CN109992448B - 文件变化增量备份方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种文件变化增量备份方法、装置、设备及介质，该方法包括：获取文件变化增量并缓存，检测到系统存在异常，停止对文件变化增量读请求，将文件变化增量备份到日志临时记录区，系统重新启动，检查日志临时记录区是否缓存有文件变化增量的数据，如果系统缓存有文件变化增量的数据，则日志临时记录区将文件变化增量的数据恢复到内核驱动单元。本发明实施例的文件变化增量备份方法、装置、设备及介质，能够解决客户生产端系统发生异常时必须全量备份的问题，实现了文件变化增量的增量备份。

Description

文件变化增量备份方法、装置、设备及介质

技术领域

本发明涉及数据备份技术领域，尤其涉及一种文件变化增量备份方法、装置、设备及介质。

背景技术

现有的容灾备份技术，对于文件变化实时备份的处理：通过操作系统底层捕获客户生产端变化的监控文件，监控文件会缓存在客户生产端中，且客户生产端会实时将新增的文件、变化文件的增量部分发送到容灾备份存储端服务器进行保存。

如果在文件实时备份过程中，客户生产端系统发生异常，例如，客户生产端系统出现生产端服务器下电、系统异常宕机等情况，虽然做了容灾备份，但是存在客户生产端增量数据丢失的可能，在生产端服务器重新启动后，必须要重新做全量备份，才能使得后续增量备份正常衔接。

综上所述，现有技术在客户生产端系统发生异常时，必须做全量备份，影响客户容灾备份的效果，未能实现增量备份。

发明内容

本发明实施例提供了一种文件变化增量备份方法、装置、设备及介质，当检测到系统和业务异常时，通过发送异常处理通知，及时刷新客户生产端增量数据到客户生产端存储中，从而在客户生产端服务器重启后，可以进行后续增量备份，不必重新进行全量备份。

第一方面，本发明实施例提供了一种文件变化增量备份方法，方法包括：

获取文件变化增量并缓存；

检测到系统存在异常，停止对文件变化增量读请求；

将文件变化增量备份到日志临时记录区；

系统重新启动，检查日志临时记录区是否缓存有文件变化增量的数据；

如果系统缓存有文件变化增量的数据，则日志临时记录区将文件变化增量的数据恢复到内核驱动单元。

第二方面，本发明实施例提供了一种文件变化增量备份装置，装置包括：内核驱动单元，用户进程单元，系统异常检测单元；

内核驱动单元，用于获取文件变化增量并缓存；

用户进程单元，用于从内核驱动单元读取的文件变化增量备份；

系统异常检测单元，用于检测系统异常，控制用户进程单元停止对内核驱动单元的文件变化增量读取请求，并控制内核驱动单元将文件变化增量备份到日志临时记录区。

本发明实施例提供了一种文件变化增量备份设备，包括：至少一个处理器、至少一个存储器以及存储在存储器中的计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序指令，当计算机程序指令被处理器执行时实现如上述实施方式中第一方面的方法。

本发明实施例提供的文件变化增量备份方法、装置、设备及介质，具有以下有益效果：

通过增加系统异常检测和处理环节，实现客户生产端系统异常重启后，能保证增量数据不丢失，直接继续做实时增量处理的技术效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图作简单地介绍，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明一个实施例的文件变化增量备份方法流程图；

图2示出了本发明另一实施例的文件变化增量备份方法流程图；

图3示出了本发明一个实施例的文件变化增量备份装置简单结构示意图；

图4示出了本发明一个实施例的文件变化增量备份装置具体结构示意图；

图5示出了本发明一个实施例的文件变化增量备份方法的数据处理流程图。

图6示出了本发明实施例提供的文件变化增量备份设备的硬件结构示意图。

具体实施方式

下面将详细描述本发明的各个方面的特征和示例性实施例，为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细描述。应理解，此处所描述的具体实施例仅被配置为解释本发明，并不被配置为限定本发明。对于本领域技术人员来说，本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

下面结合附图，详细描述根据本发明实施例的文件变化增量备份方法、装置、设备及介质。应注意，这些实施例并不是用来限制本发明公开的范围。

本发明一个实施例提供了一种文件变化增量备份方法，结合图1，该方法包括：

步骤S1，获取文件变化增量并缓存。具体地为，客户生产端接收外部文件，其内核驱动单元负责对系统调用write进行拦截，获取文件变化数据，对数据进行过滤筛选，将文件变化增量进行缓存。用户进程单元实时地从内核驱动单元读取文件变化增量的数据，并重新组织数据，达到数据扰码、易于传输的效果，并在系统未发生异常时，将从内核驱动单元读取的文件变化增量的数据后发送到容灾备份份端。

步骤S2：检测到系统存在异常，停止对文件变化增量读请求。具体地为，系统异常检测单元，检测到系统发生异常，在系统发生异常时，在系统异常检测单元控制下，用户进程单元停止对内核驱动单元的文件变化增量读取请求。其中，检测到系统存在异常包括：检测到系统存在服务器掉电、CPU异常、内存异常和业务进程挂死异常。

步骤S3：将文件变化增量备份到日志临时记录区。具体地为，在用户进程单元停止对内核驱动单元的文件变化增量读取请求之后，系统异常检测单元还控制用户进程单元将内核驱动单元的文件变化增量备份到日志临时记录区，将文件变化增量备份到日志临时记录区的操作需在系统重新启动前完成，用以达到持久化保存内核缓存中的增量数据。

步骤S4：系统重新启动，检查日志临时记录区是否缓存有文件变化增量的数据。

步骤S5：如果系统缓存有文件变化增量的数据，则日志临时记录区将文件变化增量的数据恢复到内核驱动单元。

为了便于理解，图2示出了本发明另一实施例的文件变化增量备份方法流程图。图2与图1相同的步骤使用相同的编号。如图2所示，在内核驱动单元的文件变化增量恢复之后，还包括：

步骤S6：日志临时记录区清除文件变化增量的数据。

步骤S7：用户进程单元从内核驱动单元读取文件变化增量的数据后发送到备份端。

具体地为，内核驱动单元的数据恢复后，日志临时记录区清除文件变化增量的数据，完成增量备份；用户进程单元继续按照正常流程将从内核驱动单元读取文件变化增量的数据实时增量处理并发送到备份端。本发明的文件变化增量备份方法，主动检测各类导致系统重启的异常，并在异常发生时，主动进行增量缓存数据的持久化保存，来避免增量缓存数据的丢失，从而保证系统异常重启后，继续实时增量备份，而不必再发起全量备份。

图3示出了本发明一个实施例的文件变化增量备份装置简单结构示意图，该装置包括：内核驱动单元，用户进程单元，系统异常检测单元；

内核驱动单元，负责对系统调用write进行拦截，用于获取文件变化增量并缓存；

用户进程单元，用于从内核驱动单元读取文件变化增量的数据，并重新组织数据，达到数据扰码、易于传输的效果，并在系统未发生异常时，将从内核驱动单元读取的文件变化增量的数据后发送到容灾备份份端；系统发生异常时，用户进程单元将内核驱动单元的文件变化增量备份到日志临时记录区，用以达到持久化保存内核缓存中的增量数据。

系统异常检测单元，用于检测系统异常，在系统发生异常时，控制用户进程单元停止对内核驱动单元的文件变化增量读取请求，并控制用户进程单元将内核驱动单元的文件变化增量备份到日志临时记录区，将文件变化增量备份到日志临时记录区的操作需在系统重新启动前完成。其中，该装置在系统重新启动后，系统会检查日志临时记录区是否缓存有文件变化增量的数据。如果日志临时记录区缓存有文件变化增量的数据，则日志临时记录区将文件变化增量的数据恢复到内核驱动单元。内核驱动单元的数据恢复后，日志临时记录区清除文件变化增量的数据，完成增量备份；用户进程单元继续按照正常流程将从内核驱动单元读取文件变化增量的数据实时增量处理并发送到备份端。系统异常包括：服务器掉电、CPU异常、内存异常、业务进程挂死。本发明的文件变化增量备份装置，主动检测各类导致系统重启的异常，并在异常发生时，主动进行增量缓存数据的持久化保存，来避免增量缓存数据的丢失，从而保证系统异常重启后，继续实时增量备份，而不必再发起全量备份。

图4示出了本发明一个实施例的文件变化增量备份装置具体结构示意图，producer为客户生产端，backup为容灾备份端，文件包括file 1,file 2至file n,OSkernel为操作系统内核，driver为内核驱动单元，iodaemon为用户进程单元，detector为系统异常检测单元，logfile为日志临时记录区，server为容灾备份端服务器，store为容灾备份端存储器。

现有技术中，客户生产端producer接收文件file 1,file 2至file n，内核驱动单元driver，获取用户文件变化增量的数据并缓存，用户进程单元IODaemon从内核驱动单元driver的缓存中取出数据并发送到容灾备份端backup，这中间有一定的时间差。用户进程单元IODaemon不断的读取内核驱动单元driver的缓存，获取增量数据，按文件、时间重新组织数据，直接发送组织后的增量数据到容灾备份端backup的服务器server，容灾备份端存储器store按照文件、时间存储增量数据。如果此时客户生产端producer的系统服务器因异常掉电、CPU异常、内存异常、业务进程异常等原因发生复位，则内核驱动单元drive缓存的数据就会丢失。当客户生产端producer服务器再次启动后，由于内核驱动单元drive缓存的数据丢失，容灾备份端backup系统需要重新做一次全量备份。而对于一次全量备份的时间数据量很大，则全量备份的时间较长。

本发明相较现有技术的改进包括增加系统异常检测单元detector，能够实时监测客户生产端producer的系统是否发生异常，在客户生产端producer的系统发生诸如服务器掉电、CPU异常、内存异常、业务进程挂死等异常时，控制用户进程单元iodaemon停止对内核驱动单元的文件变化增量读取请求，并控制用户进程单元iodaemon将内核驱动单元driver的文件变化增量备份到日志临时记录区logfile，将文件变化增量备份到日志临时记录区logfile的操作需在系统重新启动前完成。本发明的装置在系统重新启动后，系统会检查日志临时记录区logfile是否缓存有文件变化增量的数据。如果日志临时记录区logfile缓存有文件变化增量的数据，则日志临时记录区logfile将文件变化增量的数据恢复到内核驱动单元driver。内核驱动单元driver的数据恢复后，日志临时记录区logfile清除文件变化增量的数据，完成增量备份；用户进程单元iodaemon继续按照正常流程将从内核驱动单元driver读取文件变化增量的数据实时增量处理并发送到容灾备份端backup。

图5示出了本发明一个实施例的文件变化增量备份方法的数据处理流程图。如图5所示，数据文件data file输入内核KERNEL，经过内核文件操作kernel file operation进入内核驱动单元DRIVER，内核驱动单元DRIVER通过对系统调用write进行拦截，获取文件数据变动，对数据进行过滤筛选data filter和数据处理data handler后，将目标数据缓存在data record。客户生产端producer的系统服务器发生异常掉电、CPU异常、内存异常、业务进程异常等异常时，系统异常检测单元detector通知内核驱动单元driver的data record停止对于用户进程单元IODaemon读请求read data的响应。系统异常检测单元detector，通知用户进程单元IODaemon的日志临时文件写入请求write log file将内核驱动单元driver缓存的文件增量变化备份到日志临时记录区log file。备份的数据包括：序号最大值和最小值以及全部的数据记录。内核驱动单元driver缓存的数据备份完毕之后，退出系统重启前的处理，系统进入重新启动流程。结合图4，在系统重新启动后，系统会检查日志临时记录区logfile是否缓存有文件变化增量的数据。如果日志临时记录区logfile缓存有文件变化增量的数据，则日志临时记录区logfile将文件变化增量的数据恢复到内核驱动单元driver。内核驱动单元driver的数据恢复后，日志临时记录区logfile清除文件变化增量的数据，完成增量备份；用户进程单元iodaemon继续按照正常流程将从内核驱动单元driver读取文件变化增量的数据实时增量处理并发送到容灾备份端backup。

本发明主要是基于生产端服务器内核驱动中及时捕获文件变化，将增量数据缓存在内核中，以支持及时组织并发送增量数据到备份端，当服务器发生诸如掉电、CPU异常、内存异常、业务进程异常等导致的可能重新启动时，系统主动检测到这些异常，并通过对内核驱动中缓存数据的持久化保存，从而在该服务器重启后，可以继续进行增量备份，不必重新进行全量备份。

本发明检测系统异常的途径有如下几种：

(1)检测内核驱动单元driver的缓冲占用率，当缓冲即将占满时触发异常处理流程；

(2)检测用户进程单元IODaemon，当超时未请求驱动数据时触发异常处理流程；

(3)向系统注册复位事件，当系统即将重启时触发异常处理流程；极端情况下，如果客户瞬时插入大量的增量数据，且同时发生了系统异常复位，由于内核驱动的缓存大小有限制，限定为100个Buffer，每个Buffer大小为KBytes级到10MBytes左右，捕获的增量数据大小是有限制的，所以是来得及持久化保存的。前提是异常掉电场景，有UPS电源供电。

图6示出了本发明实施例提供的文件变化增量备份设备的硬件结构示意图。

文件变化增量备份设备可以包括处理器401以及存储有计算机程序指令的存储器402。

具体地，上述处理器401可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，ASIC)，或者可以被配置成实施本发明实施例的一个或多个集成电路。

存储器402可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器402可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器402可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器402可在数据处理装置的内部或外部。在特定实施例中，存储器402是非易失性固态存储器。在特定实施例中，存储器402包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

处理器401通过读取并执行存储器402中存储的计算机程序指令，以实现上述实施例中的任意一种文件变化增量备份方法。

在一个示例中，文件变化增量备份设备还可包括通信接口403和总线410。其中，如图6所示，处理器401、存储器402、通信接口403通过总线410连接并完成相互间的通信。

通信接口403，主要用于实现本发明实施例中各模块、装置、单元和/或设备之间的通信。

总线410包括硬件、软件或两者，将文件变化增量备份设备的部件彼此耦接在一起。举例来说而非限制，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线410可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

另外，结合上述实施例中的文件变化增量备份方法，本发明实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种文件变化增量备份方法。

需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。

以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时，其可以例如是电子电路、专用集成电路(ASIC)、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、ROM、闪存、可擦除ROM(EROM)、软盘、CD-ROM、光盘、硬盘、光纤介质、射频(RF)链路，等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。

还需要说明的是，本发明中提及的示例性实施例，基于一系列的步骤或者装置描述一些方法或系统。但是，本发明不局限于上述步骤的顺序，也就是说，可以按照实施例中提及的顺序执行步骤，也可以不同于实施例中的顺序，或者若干步骤同时执行。

以上所述，仅为本发明的具体实施方式，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、模块和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。应理解，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。

Claims (8)

1.一种文件变化增量备份方法，其特征在于，所述方法包括：

获取文件变化增量并缓存；

检测到系统存在异常，停止对文件变化增量读请求；

将文件变化增量备份到日志临时记录区；

系统重新启动，检查日志临时记录区是否缓存有文件变化增量的数据；

如果系统缓存有文件变化增量的数据，则日志临时记录区将文件变化增量的数据恢复到内核驱动单元，以使用户进程单元从所述内核驱动单元读取所述文件变化增量的数据后发送到备份端。

2.根据权利要求1所述的文件变化增量备份方法，其特征在于，在所述的日志临时记录区将文件变化增量的数据恢复到内核驱动单元之后，还包括：日志临时记录区清除文件变化增量的数据。

3.根据权利要求1所述的文件变化增量备份方法，其特征在于，所述检测到系统存在异常包括：

检测到系统存在服务器掉电、CPU异常、内存异常和业务进程挂死异常。

4.一种文件变化增量备份装置，其特征在于，该装置包括：内核驱动单元，用户进程单元，系统异常检测单元；

所述内核驱动单元，用于获取文件变化增量并缓存；

所述用户进程单元，用于从内核驱动单元读取文件变化增量；

所述系统异常检测单元，用于检测系统异常，控制用户进程单元停止对内核驱动单元的文件变化增量读取请求，并控制用户进程单元将内核驱动单元的文件变化增量备份到日志临时记录区；

所述用户进程单元还用于在系统异常时，将所述文件变化增量存储至日志临时记录区；以及，在系统重启后，将文件变化增量的数据发送到备份端。

5.根据权利要求4所述的文件变化增量备份装置，其特征在于，该装置在系统重新启动后，系统会检查日志临时记录区是否缓存有文件变化增量的数据；

如果日志临时记录区缓存有文件变化增量的数据，则日志临时记录区将文件变化增量的数据恢复到内核驱动单元。

6.根据权利要求4所述的文件变化增量备份装置，其特征在于，所述系统异常包括：服务器掉电、CPU异常、内存异常和业务进程挂死。

7.一种文件变化增量备份设备，其特征在于，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如权利要求1-3任一项所述的方法。

8.一种计算机可读存储介质，其上存储有计算机程序指令，其特征在于，当所述计算机程序指令被处理器执行时实现如权利要求1-3中任一项所述的方法。

Images