CN102184128A - 快速磁盘增量备份方法 - Google Patents

Abstract

本发明涉及数据备份技术。本发明针对现有技术增量备份方法，冻结系统写的时间太长，容易造成系统卡死的问题，公开了一种快速增量备份方法。本发明的增量备份方法，把生成位图和比较位图放在冻结和解冻系统写的时间外，极大的减少了连续冻结系统写的时间，减轻对用户正常操作影响。本发明通过比较文件描述的哈希值来直接生成需要进行增量备份的位图，即与镜像中文件描述不一样的都需要备份。同时本发明采用比较方式进行增量备份，不需要连续监控卷或分区改动，可以避免异常情况下监视不连续造成的问题。本发明主要用于磁盘数据增量备份，特别适用于NTFS系统中数据增量备份。

Description

快速磁盘增量备份方法

技术领域

本发明涉及数据备份技术，特别涉及计算机系统中磁盘增量备份技术。

背景技术

数据备份是数据管理的一个重要内容，对于数据的恢复具有重要意义。增量备份是针对上一次备份后，所有发生变化的磁盘数据进行备份。目前的磁盘增量备份有以下几种方法：

一种磁盘增量备份方式是采用监视卷方式。在完整备份整个选择的目标卷后，使用卷或磁盘过滤驱动，对该目标卷集合进行监视，如果有修改，在对应的位图上标记；下次备份时，以该标记的位图备份目标分区或磁盘的数据。采用卷或磁盘监视方式实现，必须保证在上一次备份到本次开始备份这段时间连续的监视，如果出现监视中断，这种方式实现的增量备份就会失效。例如出现系统蓝屏，电脑突然掉电等情况时，就不能做到连续监视。还有移动硬盘在一个电脑上使用后移动到另外的电脑上使用，或在一台电脑上有多个操作系统，并在不同操作系统种切换时更容易出现这类故障。另外，这种增量备份方式在没有备份时也需要对系统进行连续监视，对系统性能有一定影响；其适用范围必须有监视驱动，如果不能做到监视卷和磁盘，该方式也会失效。

美国专利(专利号：US7366859，公开日：2008.04.29)公开了一种通过位图比较方式进行的磁盘增量备份的方法。其步骤顺序是：使用卷或磁盘过滤驱动，先冻结系统的写操作；通过驱动的专用接口读取每个卷的位图；再通过读取卷的文件描述符和镜像文件中的文件描述符，比较这两者，如果相同，则清除卷的位图中相应的位；解冻系统写操作；最后按这个位图备份该卷数据，形成该备份的增量。该方法从冻结系统写到解冻这个过程中，需完成整个位图的比较，耗费的时间较长，例如在NTFS(New Technology File System新技术文件系统)中如果MFT(Master File Table主文件表)很大，并且在卷上的分布很离散，位图的比较的过程可能需要几个小时，这么长时间阻止系统写操作，会导致系统卡死，影响用户的正常操作。

在US7366859号专利中，先读取卷的位图，再通过比较清除未改动的文件的相应位图，在某些异常情况下会导致数据丢失。比如NTFS文件系统，里面有个系统的位图文件，这个位图文件描述整个文件卷的扇区使用情况，即那些簇(可以按比例转换成扇区)已经被文件使用，另外的则是空闲簇，在新的文件需要时申请使用。另外在NTFS中每个文件描述也记录该文件使用了那些簇，可以通过所有文件描述得到该文件系统使用了那些簇。需要说明的是，在NTFS文件系统中，读取所有文件描述可能会花费很长时间，但是通过文件描述来得到需要备份数据的位图，比较准确，不会丢失有用的数据。这两种方式得到的位图在通常情况下是一致的，但在某些异常情况下会不一致。如系统的位图文件表明某数据段为空闲簇，但实际上有文件使用。这种情况就是导致本应该备份的数据没有备份，还原时就会导致数据丢失。

另外，分区备份的数据量比较大，备份时间比较长，在热备份过程中，分区的数据一直在修改，如果备份的数据不是某一时刻的数据，会导致数据的不一致，会引起问题。比如系统分区，使用该不一致的数据还原后有可能会引起系统不能启动的严重后果。在US7366859号专利中，没有指出使用快照，在某些情况下会引起问题。

发明内容

本发明所要解决的技术问题，就是针对上述增量备份技术的缺点，特别是针对US7366859号专利公开的增量备份方法，冻结系统写的时间太长，容易造成系统卡死的问题，提供一种快速增量备份方法，提高数据备份的可靠性，降低对系统正常操作的干扰。

本发明解决所述技术问题，采用的技术方案是，快速磁盘增量备份方法，其特征在于，顺序执行如下步骤：

a、生成拟备份的磁盘空间全位图；

b、通过卷或磁盘过滤驱动，刷新缓存并冻结系统写操作；

c、把所述全位图发给卷或磁盘过滤驱动；

d、解冻系统写操作，进入步骤h；如果系统有写操作则同时执行步骤e至步骤g；

e、读出该写操作对应的扇区数据，放入紧急通道后执行该写操作；

f、从全位图中清除对应扇区的相应位；

g、计算紧急通道中数据的哈希值，读取上一次备份的镜像中相应数据的哈希值，比较这两个哈希值，如果相同则不备份该数据，否则备份该数据；

h、读取所述磁盘空间文件描述并生成哈希值；

i、比较所述哈希值与上一次备份的镜像中相应文件描述的哈希值，根据比较结果生成新位图；

j、按照所述新位图备份数据。

本发明的增量备份方法，把生成位图和比较位图放在冻结和解冻系统写的时间外，极大的减少了连续冻结系统写的时间，减轻对用户正常操作影响。针对US7366859号专利先生成位图，再通过比较去除不需要备份的位图，在文件系统异常的情况下可能导致数据丢失，本发明通过比较文件描述的哈希值来直接生成需要进行增量备份的位图，即与镜像中文件描述不一样的都需要备份。同时本发明采用比较方式进行增量备份，不需要连续监控卷或分区改动，可以避免异常情况下监视不连续造成的问题。

一般来说文件关联的数据是用户最有效的数据，本发明是以比较文件描述方式，同时考虑一些文件系统固有的数据，来生成需要备份数据的位图。为了提高比较速度，本发明采用比较文件描述的哈希值来加快比较速度。如果文件系统中通过两种以上方式得到文件系统中的使用空间，比如NTFS文件系统，本发明可以有效的减少位图不一致导致丢失用户有用数据的风险。因为本发明始终以文件描述来生成备份数据的位图，文件描述能正确描述文件的有效数据，不会丢失有效数据。而系统本身的位图文件仅仅是加快系统启动，但系统本身位图文件可能会与实际的位图不一致，这就导致多备份数据或少备份数据。目前通过统计数据表明，在WINDOWS系统中，使用NTFS文件系统格式越来越多，这更体现本发明的价值。

进一步的，步骤j中，备份数据时针对每个数据块生成哈希值并与上一次备份的镜像中相应数据块的哈希值比较，相同则不备份。并且上一次备份的镜像中相应数据块的哈希值可以一次全部读入内存中，也可以根据需要缓存一部分。

在具体备份时还通过数据块哈希值比较，哈希值相同的数据块不备份，不同的才备份，进一步减少备份的数据量，提高备份速度。特别是因为用户采用增量备份比较频繁，该方案更能节省用户的存储空间和更有速度方面的优势，既能够保证备份数据的一致性，又兼顾排除已经备份的数据，提高备份速度。

进一步的，步骤a中，采用快照技术按整个卷生成拟备份的磁盘空间全位图。

这里快照技术采用紧急数据通道，保证所有备份的磁盘数据是某一时刻点整个分区或卷的数据状态，使备份的数据保持一致性。特别是系统分区，在保证数据一致性情况下才能保证系统分区还原的成功率。该方案有效的结合快照技术，生成全位图时，是按整个卷来生成，也就是整个卷或者磁盘的数据都有效，不需要读取卷或者磁盘的相关信息来确定，位图中所有位只是一次付值操作，所以生成位图的时间比较快。当然为了减少紧急通道的数据以及处理时间，可以提前排除页面文件，因为页面文件通常读写比较频繁，同时其数据是不需要备份的，系统每次重启时这个文件的数据都会重新初始化。

具体的，所述磁盘空间为磁盘的物理分区，如磁盘的扇区或簇；或者，所述磁盘空间为磁盘的逻辑分区。

本发明的增量备份方法可以用于备份磁盘的各个物理存储空间，如磁盘的扇区或簇中的数据；本发明的增量备份方法也可以用于备份磁盘的逻辑分区，如C盘、D盘、E盘等的数据。

更具体的，步骤h中，所述文件描述为主文件表入口标识。

每个MFT的入口标识通常为1K大小，其中记录了大量的文件信息，非常适合用于文件的描述。NTFS可以在文件的MFT入口中存储非常小的文件的全部内容；对于大一些的文件，这些入口会标识出包含文件数据的簇。

进一步的，步骤h中，所述文件描述包括文件的时戳、校验和或源数据的位置信息这些反映文件属性的重要参数。

本发明的有益效果是，冻结系统写到允许系统写这个过程比较短，能够尽量减少增量备份对系统正常操作的影响，对于MFT很大的NTFS具有特别的意义。本发明生成全位图时，是按整个卷来生成，所有卷和磁盘数据都有效，不需要读取卷或者磁盘的相关信息来确定，位图中所有位只是一次付值操作，所以生成位图的时间比较快；因为通常情况下，只有页面文件访问比较频繁，同时页面文件是不需要备份的，为了加快卷或磁盘过滤驱动处理速度，并可以清除页面文件对应的位，页面文件占用硬盘上的位置相对固定，获取页面文件占用硬盘上的位置信息也比较快，这样就能减少紧急数据通道的数据，减低紧急数据处理时间。这两个方面结合进一步降低了执行增量备份时对系统的影响。本发明在未执行增量备份时，卷或磁盘过滤驱动不工作，基本不会对系统性能产生影响，本发明不采用连续监视方式，也不存在连续监视方式的缺点。在本发明中，磁盘增量备份与磁盘快照技术紧密结合，既保证备份速度，又保证数据的一致性。本发明中，通过比较生成位图后，在备份之前，通过剔除已经备份的位图，合并两个位图，这进一步减少备份时处理的数据量，同时能极大的优化内存的合理使用。

附图说明

图1是系统层次结构示意图；

图2是本发明的增量备份流程图；

图3是紧急通道数据处理流程图。

图中：

1-应用层；101-系统应用层管理程序；102-其他应用程序；103-本发明的备份程序；

2-内核层；200-内核接口层，应用层的程序需要的内核服务必须经过该层转发；201-卷的文件系统层，如FAT，NTFS等文件系统内核驱动，把连续的扇区块组织成树形结构的文件目录形式，方便应用程序有效的使用；202-卷过滤层；203-卷管理层；204-磁盘过滤层；205-磁盘管理层；206-硬件驱动层。

具体实施方式

下面结合附图及实施例，详细描述本发明的技术方案。

在备份之前，根据拟备份的磁盘空间卷的大小，把备份的目标卷划分成合适大小的数据块，并通过较小的数据结构来描述这些块的两种状态：是已经备份或未备份，我们称之为位图。位图不能太大，否则会占用较多的系统内存，导致系统性能降低。其划分原则是在系统内存足够的情况下最好把数据块划分小一点。

磁盘备份(包括增量备份)需要保证数据的一致性，即是指定时刻点形成快照的数据。因为备份数据的过程比较长，并且允许文件系统写，如果不能保证备份的数据是某一时刻的数据，会导致数据混乱。

本发明的技术方案是首先形成目标卷或磁盘的快照，通过卷或磁盘过滤驱动完成。本发明的快照方法是，给卷或磁盘驱动设置全位图，并在某一时刻点后，所有对该需要备份的卷或磁盘写，都需要先读取该时刻点的数据，再允许写，并在对应位图中清除相应的位图。这些读取该时刻点的数据被放入紧急通道，紧急通道数据和未被写的数据形成该备份卷或磁盘的该时刻的静态数据。首先是形成目标卷或磁盘的完整位图(全位图)，不管位图对应的数据块是否为空闲的或未使用的，都标记为需要备份。因为系统分区的页面文件访问比较频繁，并且这些数据是系统的临时数据，对用户来说是无用的。并且在备份过程中，页面文件对应到卷上的位置是不会变化的。所以可以把类似页面文件的这些数据块在完整位图中对应的位清除，减少不必要的监视数据。刷新卷或磁盘缓存，冻结所有文件系统的写操作，把上面生成的全位图同步到卷或磁盘过滤驱动，再解冻，允许文件系统写操作。从冻结文件系统的写操作开始，卷或磁盘过滤驱动都需要检查写的范围，如果写的范围对应的位图中位已经清除，则直接向下层转发；如果位图中对应的位标记，则需要先读取对应的数据块，并放入数据紧急通道后清除全位图中对应的位，再向下层转发该写操作。因为数据备份时是通过卷或磁盘过滤驱动读取，这样就形成了备份的目标卷或磁盘是一个时刻点的快照数据。并且在备份中对系统的其他应用程序影响很小。

目前紧急通道的数据不能放太多，由专有线程把这些数据转移到文件中缓存或直接备份到镜像文件中。在向镜像中备份时，需要把该数据计算成哈希值，与以前对应镜像备份中的哈希值比较，如果不同才备份。如果是相同的，表示数据未改变，不备份。无论哈希值相同与否，都需要从全位图中清除相应的位。

在卷或磁盘快照建立后，为了提高效率需要生成需要备份的有效位图。文件系统，比如FAT(File Allocation Table文件分配表)、NTFS，把连续的扇区按文件和目录形式组织成树型结构，这些连续扇区就是一个卷。文件和目录数据在卷上是离散分布的，并有很多空闲扇区。对用户和系统来说，文件和目录数据才是有效的，所以备份程序就应该备份这些有效数据。对NTFS来说，因为文件和目录的数据的位置信息都记录在FileRecord(文件记录)中，这些FileRecord组成MFT表，也是一个文件。读取FileRecord提取关键信息生成哈希值，与在备份镜像中对应的哈希值比较，如果不同，在全位图上标记生成新位图。当然生成新位图时读取FileRecord也可能从紧急通道中取得，因为必须保证是某一时刻点需要备份的数据。最后形成了一个需要增量备份的新位图，这个新位图的数据块大小与全位图一致。

合并全位图和新位图形成增量位图。合并规则是全位图和新位图对应位都标记时，增量位图对应位才标记。合并全位图和新位图的目的是进一步加快数据处理速度，因为新位图中的有些数据已经备份或处理，合并后需要备份的数据会更少。当然也可以不合并，如果对应的数据快已经备份，这会增加读原始数据生成哈希值并与以前的哈希值比较的时间。按增量位图备份数据，在备份时需要计算数据块的哈希值，并与之前备份镜像中相应数据块的哈希值比较，如果不同才备份该数据。

实施例

本例的系统层次结构如图1所示。需要特别说明的是在备份程序103中有一份位图，在卷过滤驱动202或磁盘过滤驱动204中也有一份位图。备份程序涉及到的模块是备份程序103，和卷过滤驱动202或磁盘过滤驱动204。

图2描述备份的主要过程。首先是备份程序103生成全位图，在把全位图发送给卷过滤驱动202或磁盘过滤驱动204。卷过滤驱动202或磁盘过滤驱动204(以下简称过滤驱动)，先刷新缓存，冻结所有文件系统来的写操作，保存全位图，如果是NTFS，需要记录MFT表的位置。再解冻所有文件系统来的写操作。释放备份程序中的全位图。通过读取并分析MFT表中的FileRecord信息，生成哈希值，并与之前备份镜像中对应的哈希值比较，根据比较结果生成新位图。把新位图和过滤驱动中的全位图合并成增量位图。现在备份程序103和过滤驱动中的位图都变成了增量位图。根据增量位图，顺序的读取数据块并清除增量位图中对应的位，生成哈希值，与之前的镜像备份中的对应哈希值比较，不同则备份。

图3描述紧急数据处理过程。在过滤驱动中，每收到文件系统来的写操作，就需要先冻结该写操作，检查对应位图的位是否标记，如果未标记，解冻该写操作。如果标记，则读取对应的数据块，放入紧急通道，清除对应位图，解冻该写操作。在备份程序103中，从紧急通道中读取数据，生成哈希值，与之前的备份镜像中的对应哈希值比较，如果相同则完成本次操作；不同则备份，如果正在比较生成新位图，同时还需要检查数据是否是关键数据，并根据该数据决定是否在新位图中标记；如果是在备份过程中，则需要清除备份程序103中位图相应的位。

Claims (10)

1.快速磁盘增量备份方法，其特征在于，顺序执行如下步骤：

a、生成拟备份的磁盘空间全位图；

b、通过卷或磁盘过滤驱动，刷新缓存并冻结系统写操作；

c、把所述全位图发给卷或磁盘过滤驱动；

d、解冻系统写操作，进入步骤h；如果系统有写操作则同时执行步骤e至步骤g；

e、读出该写操作对应的扇区数据，放入紧急通道后执行该写操作；

f、从全位图中清除对应扇区的相应位；

g、计算紧急通道中数据的哈希值，读取上一次备份的镜像中相应数据的哈希值，比较这两个哈希值，如果相同则不备份该数据，否则备份该数据；

h、读取所述磁盘空间文件描述并生成哈希值；

i、比较所述哈希值与上一次备份的镜像中相应文件描述的哈希值，根据比较结果生成新位图；

j、按照所述新位图备份数据。

2.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，步骤j中，备份数据时针对每个数据块生成哈希值并与上一次备份的镜像中相应数据块的哈希值比较，相同则不备份。

3.根据权利要求2所述的快速磁盘增量备份方法，其特征在于，上一次备份的镜像中相应数据块的哈希值可以一次全部读入内存中，也可以根据需要缓存一部分。

4.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，步骤a中，采用快照技术按整个卷生成拟备份的磁盘空间全位图。

5.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，所述磁盘空间为磁盘的物理分区。

6.根据权利要求5所述的快速磁盘增量备份方法，其特征在于，所述物理分区为磁盘的扇区或簇。

7.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，所述磁盘空间为磁盘的逻辑分区。

8.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，步骤h中，所述文件描述为主文件表入口标识。

9.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，步骤h中，所述文件描述包括文件的时戳或校验和。

10.根据权利要求1所述的快速磁盘增量备份方法，其特征在于，步骤h中，所述文件描述包括文件源数据的位置信息。

Images