CN102207897A - 一种增量备份方法 - Google Patents

Abstract

本发明涉及数据备份技术，特别涉及计算机系统中磁盘增量备份技术。本发明增量备份方法，在增量备份程序中增加了一个有效位图，用于标记有效数据存储单元，在进行增量备份时只备份有效数据的增量，减少数据冗余量，提高备份效率；本发明在增量备份程序中增加了一个监控位图，用于标记数据变化的存储单元，在监控有效时备份有效数据的增量，监控无效时则对所有有效数据进行备份。在程序完全正常时高效率完成增量备份，监控程序异常时也能够保证有效数据增量不丢失。

Description

一种增量备份方法

技术领域

本发明涉及数据备份技术，特别涉及计算机系统中磁盘增量备份技术。

背景技术

数据备份是数据管理的一个重要内容，对于数据的恢复具有重要意义。增量备份是针对上一次备份后，所有发生变化的数据进行备份，即备份数据的增量。目前数据增量备份的方法有：

1、采用实时监控的方式来跟踪数据的更改记录，完成增量数据备份。如IBM公司在美国申请的US 6397229号专利(公开日：2002.05.28)。

该专利描述的增量备份方案包含一个监控设备或程序，一个或多个存储设备，一个或多个位图。其中每个位图对应一个存储设备，位图中的每个位代表该存储设备上一个存储单元。其中监控设备或程序记录对存储设备的写操作。当存储设备上的存储单元发生改变时，设置位图中对应标识位。当增量备份请求到达时，将位图中标记的存储单元的数据备份到镜像或其他存储设备，同时清除位图中对应的标记；监控设备或程序继续记录存储单元的数据变化，以便下次增量备份的实施。

该增量备份方式的优点是正常情况下备份数据较完整，速度较快。但是该增量备份方式的缺点是所有修改的数据都将备份，而有些数据可能并非用户或系统关心的有效数据，存在较多的冗余数据，如一个长时间使用后的存储区域(或区域)，进行格式化后，对于用户和系统，有效数据很少，但监控位图记录的数据变化可能会很多，此时使用监控方式备份的数据大部分为冗余数据。同时，该增量备份方式无法记录在监控外的数据变化，因此无法备份监控外修改的数据，造成备份数据不一致。监控外修改的情况很多，例如：1)在没有监控程序运行的操作系统或者计算机上对存储数据进行修改；2)由于系统掉电、崩溃等，造成监控位图无法正常保存的情况，都会造成该增量备份方式无法检查和保证监控的连续性。

2、通过文件系统关键数据(如文件的修改时间等属性)进行HASH值比较，如美国专利US7831789(公开日：2010.11.09)。

US7831789号专利描述的增量备份方式为：首先为存储器建立一个位图，其中，位图中的每个位代表存储器上的一个存储单元；在位图上将所有需要备份的单元对应的位做上记号；从存储器某个描述符区域提取文件和目录的描述符，为每个文件或目录的描述符生成一个散列函数值；与先前备份的文件描述符的散列函数值比较，检查各存储单元散列函数值是否相同；去除位图中相同单元的记号；给位图中有标记的各单元备份内容；最后根据位图中的标记对相应的存储单元数据进行备份，形成备份数据镜像。

该增量备份方式的优点是只要用户通过文件系统标准方式完成数据的修改，都能进行准确的备份，对操作系统的依赖性小。但是该增量备份方式的缺点是需要分析存储器的文件系统格式，即需要对每种文件系统的存储格式都很了解，才能提取文件的关键属性等重要的描述符，一旦文件系统的存储格式改变后，其实现难度较大，兼容性差；同时，当修改数据没有通过文件系统来实施时，无法根据文件的描述符判断出数据是否发生变更，造成备份的数据不完整；同时，由于每次增量备份过程都需要分析和比较文件描述符信息，因此对于文件系统较复杂的存储设备环境，备份过程分析比较的数据量较大，所需要的时间较长。

由此可见，现有增量备份技术要么难以处理备份软件监控外修改或是通过非文件系统方式修改的数据，要么通过文件属性比较的方式很难兼容每种文件系统的发展趋势，数据备份的完整性得不到最好的保证，而且备份过程的性能相对较低。

发明内容

本发明所要解决的技术问题，就是针对现有技术的上述缺点，提供一种快速、高效、精准的数据增量备份方法，能够安全无误的实现大数据的增量备份。

本发明解决所述技术问题，采用的技术方案是，一种增量备份方法，包括如下步骤：

a、将拟备份的存储区域划分为N个存储单元，N≥1，N为整数；

b、建立所述存储区域的有效位图，标记有效数据存储单元；

c、监控存储区域数据变化，并校验所述监控是否有效，如果监控有效，进入步骤d，如果监控无效，进入步骤g；

d、建立监控位图，标记数据变化的存储单元；

e、根据有效位图和监控位图得到有效数据变更位图；

f、比较有效数据变更位图标记的存储单元数据的hash值，与对应存储单元前一次备份时的hash值，相等则不备份，否则备份该存储单元数据；

g、比较有效位图标记的存储单元数据的hash值，与对应存储单元前一次备份时的hash值，相等则不备份，否则备份该存储单元数据。

本发明在增量备份程序中增加了一个有效位图，用于标记有效数据存储单元，在进行增量备份时只备份有效数据的增量，减少数据冗余量，提高备份效率；本发明在增量备份程序中增加了一个监控位图，用于标记数据变化的存储单元，在监控有效时备份有效数据的增量，监控无效时则对所有有效数据进行备份。在程序完全正常时高效率完成增量备份，监控程序异常时也能够保证有效数据增量不丢失。

优选的，步骤a中，所述N个存储单元均分所述存储区域。平均划分存储区域可以简化程序，更容易实现。

具体的，步骤c中，校验所述监控是否有效的方法是：在存储区域中设定校验区域，当该存储区域上任意存储单元数据发生改变，该校验区域一定会发生改变，通过验证校验区域，判断监控外是否发生数据变更；若监控外发生数据变更，则监控无效，否则监控有效。本方案提供了一种有效校验监控是否有效的手段，占用的系统资源少，容易实现。

具体的，步骤e中，对有效位图和监控位图进行逻辑与运算得到有效数据变更位图。利用简单的逻辑与运算得到有效数据变更位图，计算机程序容易实现。

进一步的，所述存储区域位于一个或多个存储设备中。本发明中，拟备份的存储区域，可以是同一存储设备的某一个或几个存储区域，也可以是位于不同存储设备的几个不同存储区域。

具体的，所述存储设备为硬盘。本发明的存储设备可以是IDE硬盘或SCSI硬盘，也可以是其他存储设备，如U盘等移动存储设备。

具体的，所述存储区域为硬盘的物理分区，其对应的存储单元为硬盘的扇区或簇。

或者，所述存储区域为硬盘的逻辑分区，如C盘、D盘等。

本发明的有益效果是，通过校验监控程序，能准确的判断监控是否有效，结合数据块比较的方法，解决了备份数据不完整的问题，结合监控位图与有效位图，解决了数据冗余的问题，从而克服现有技术增量备份方式的缺点。

附图说明

图1是本发明程序流程图。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

本发明增量备份方法，增加了有效位图和监控位图，并设置了监控校验程序。有效位图用于标记有效数据存储单元，在进行增量备份时只备份有效数据的增量，减少数据冗余量，提高备份效率；监控位图用于标记数据变化的存储单元，在监控有效时对有效数据的增量进行hash值比较，减少了比较和备份的数据冗余量；监控无效时则对所有有效数据进行hash值比较，能达到完整备份增量数据的目的。

本发明技术方案包括：

1、一个或多个存储区域，这些存储区域可以位于一个或多个存储设备中；上述每个存储区域按既有规则划分为N等份，划分规则应与上次备份时划分规则一致，以避免丢失数据。

2、监控模块。监控模块监视并记录上述存储区域上的数据变更，监控模块中包含一个或多个监控位图，监控位图中每个位代表存储区域上一个存储单元是否发生变更；监控位图记录了上一次备份后存储区域上发生变更的数据对应存储单元的集合。

3、备份模块，其中包含一个或多个有效位图，有效位图每个位代表存储区域上一个存储单元是否为有效数据；有效位图反映了备份时刻点存储区域上所有有效数据对应存储单元的集合；

4、校验模块，校验监控是否有效。通过校验模块判断是否在监控外发生数据变更，若监控外发生数据变更，则监控无效，否则监控有效。可以在每个存储区域中设定一个校验区域，当其中任意存储单元数据发生改变，该校验区域一定会发生改变，通过验证校验区域，判断监控外是否发生数据变更。

增量备份步骤如下：

监控有效时，使用上述监控位图和有效位图，计算出有效数据变更位图，以减少监控位图中的冗余数据。根据有效数据变更位图比较当前存储单元与前一次备份对应存储单元的hash值，如果相等则不备份，否则备份该存储单元，以减少写入的备份数据量。

监控失效时，根据有效位图获取存储区域中所有有效数据对应存储单元，分别与前次备份的对应存储单元比较hash值，如果相同则不备份，否则备份该存储单元。

实施例

如图1所示，当一个增量任务到达时，备份程序将拟备份区域等分为N个存储单元，其中划分规则与完全备份时一致。

备份程序建立有效位图b1，其中标记拟备份区域的有效数据存储单元。

检查监控的有效性：如果监控有效则获取当前监控位图b2，其中标记了数据发生变化的存储单元。同时监控模块创建新的位图b3继续监控。

如果监控有效，备份程序通过逻辑与操作合并有效位图b1和监控为图b2，得到有效数据变更位图b4；由于b1记录的是有效数据，通过合并，去掉了监控位图中可能存在的冗余数据。

如果监控有效，则根据位图b4找到存放有效变更数据的存储单元，计算hash值；

如果监控失效，则根据位图b1找到存放有效数据的存储单元，计算hash值。

将上述存储单元的hash值与上一次备份时对应存储单元的hash值进行比较，相同则不备份，否则备份该存储单元数据及hash值。

备份剩余存储单元，直至所有存储单元均备份完成。

Claims (9)

1.一种增量备份方法，其特征在于，包括如下步骤：

a、将拟备份的存储区域划分为N个存储单元，N≥1，N为整数；

b、建立所述存储区域的有效位图，标记有效数据存储单元；

c、监控存储区域数据变化，并校验所述监控是否有效，如果监控有效，进入步骤d，如果监控无效，进入步骤g；

d、建立监控位图，标记数据变化的存储单元；

e、根据有效位图和监控位图得到有效数据变更位图；

f、比较有效数据变更位图标记的存储单元数据的hash值，与对应存储单元前一次备份时的hash值，相等则不备份，否则备份该存储单元数据；

g、比较有效位图标记的存储单元数据的hash值，与对应存储单元前一次备份时的hash值，相等则不备份，否则备份该存储单元数据。

2.根据权利要求1所述的一种增量备份方法，其特征在于，步骤a中，所述N个存储单元均分所述存储区域。

3.根据权利要求1所述的一种增量备份方法，其特征在于，步骤c中，校验所述监控是否有效的方法是：在存储区域中设定校验区域，当该存储区域上任意存储单元数据发生改变，该校验区域一定会发生改变，通过验证校验区域，判断监控外是否发生数据变更；若监控外发生数据变更，则监控无效，否则监控有效。

4.根据权利要求1所述的一种增量备份方法，其特征在于，步骤e中，对有效位图和监控位图进行逻辑与运算得到有效数据变更位图。

5.根据权利要求1～4任意一项所述的一种增量备份方法，其特征在于，所述存储区域位于一个或多个存储设备中。

6.根据权利要求5所述的一种增量备份方法，其特征在于，所述存储设备为硬盘。

7.根据权利要求6所述的一种增量备份方法，其特征在于，所述存储区域为硬盘的物理分区。

8.根据权利要求7所述的一种增量备份方法，其特征在于，所述存储单元为硬盘的扇区或簇。

9.根据权利要求6所述的一种增量备份方法，其特征在于，所述存储区域为硬盘的逻辑分区。