CN1331063C - 基于数据卷快照的在线数据备份方法 - Google Patents

Abstract

本发明公开了一种基于数据卷快照的在线数据备份方法，使用本发明方法的文件系统为每个需要做备份的卷创建一个描述数据卷数据信息的快照或者元数据快照；该元数据快照将原始卷按照事先指定的粒度划分为多个逻辑数据块，并在内存中维护一个与数据卷对应的位图，使用0和1的方式来记录对应的数据块是否被修改；由于不使用文件系统的文件备份标志位，因此不受文件系统备份功能的限制。若采用元数据快照，则对数据卷的数据进行修改时，系统仅在位图中修改数据块对应的标识位，并不建立真正的快照；进行增量备份时建立真正的快照，同时停止对内存中位图的修改，再根据内存中位图标示的需要备份的数据块位置，进行备份；避免了COW操作的频繁进行。

Description

基于数据卷快照的在线数据备份方法

技术领域

本发明涉及一种在线数据备份方法，特别是涉及一种基于数据卷快照的在线数据备份方法，尤其是涉及一种基于元数据快照的在线数据备份方法，属于计算机技术领域。

背景技术

数据备份对于各种计算机系统都是保护数据不丢失的一种非常重要的手段，尤其在系统数据非常重要的时候，经常进行数据备份能够减少偶然破坏造成的损失，保证系统能够从错误中恢复正常运行。

在进行数据备份之前，首先要选择合适的备份策略，这将决定何时需要备份，采用何种备份方式，以及出现故障时进行恢复的方式。

通常使用的备份方式有三种：

1、完全备份，每隔一定时间就对系统进行一次全面的备份，这样在备份间隔期间出现数据丢失等问题，就可以使用上一次的备份数据恢复到上次备份时的数据状况。这是最基本的备份方式，但是每次都需要备份所有的数据，每次备份的工作量很大，也需要大量的备份介质，因此这种备份不能进行得太频繁，只能每隔一段较长的时间才进行一次完全备份；然而采用这种备份策略，一旦发生数据丢失，就只能恢复到上次完全备份的数据，这期间内更新的数据有可能丢失。

2、增量备份：在开始增量备份前先要进行一次完全备份，然后每隔一个较短的时间进行一次增量备份，仅仅备份在这个期间更改的内容；经过一个较长的时间后再重新进行一次完全备份，之后再重新开始前面所述的增量备份过程，形成一个增量备份循环。由于只在经过一个较长周期才进行一次完全备份，其他时间只进行更新数据的增量备份，因此工作量小，可以进行较为频繁的备份。例如以一个月为一个周期，进行一次完全备份，每天晚上0点进行这一天数据改变的增量备份；一旦发生数据丢失，首先将数据恢复到最近的一个完全备份，然后按日期先后逐个恢复每天的增量备份，就能恢复到前一天的情况。这种备份方法比较经济。

3、数据快照，数据快照技术可以使用户在正常业务应用不受影响的情况下，实时提取当前在线业务数据。这意味着，用户在进行例如系统数据备份，业务数据分析，加载数据仓库，生成报表等操作时，不需要停止正常的业务应用，从而大大增加了整个业务系统的连续性，为实现真正的7×24运转提供了保证。

快照实质上是当前卷信息在某一个时间点的冻结版本，这个冻结版本的卷作为一个新的卷存储，每一个冻结版本的卷就叫做一个快照卷；看上去快照类似于卷的一个完全备份，但由于创建快照并没有将原始卷的数据真正的拷贝出来，而只是创建了原始卷数据的一个镜像，因此创建一个快照与原始卷的数据大小无关，只需要几秒钟，要比创建一个完全备份要快捷得多。创建快照之后，快照卷将根据原始卷的每个写操作和修改前的数据保存在快照卷事先划分的磁盘空间中。

常见的完全和增量备份是基于文件系统的，要和一个重要的标记位结合使用，这个标记位就是备份标志位，用于标记此文件是否应该被备份，增量备份在每次备份后修改备份标记位。

在每次进行写操作时，文件系统都需要先判断该节点是否修改过，并且将备份标志位写入，然后才能真正进行写操作。这样势必会影响系统的读写效率，经过测试发现支持增量备份的文件系统的写性能要比正常的文件系统的写性能下降15％左右。

如果文件系统不支持这种备份标志位，建立增量备份就比较繁琐。第一步是产生一个在过去一段时间里更改过的档案的列表，在不同的操作系统需要不同的命令来实现，在UNIX系统中通常由find命令实现。用这种方式实现增量备份的效率比较低，在备份过程中需要消耗大量的系统资源。

专利号为6,101,585的美国专利“Mechanism for incremental backup ofon-line files”公开了一种在线文件增量备份机制，该机制包含了一个与系统中每个文件相关联的存档位变化值(archive bit change number，简称ABCN)，在当前备份过程中，如果文件被修改，文件系统将修改ABCN。每次文件被修改之后，ABCN属性值都将增加，以便于下一次作增量备份时，保证该文件能够被正确的备份。使用该方法纪录的数据单位是文件，即只要文件被修改，该文件在下次增量备份时就必须被备份。如果文件尺寸比较大，备份的数据就会比较大，尽管实际上可能只修改了文件中的很少的数据。

发明内容

本发明的目的是提供一种基于数据卷快照的在线数据备份方法，实现与文件系统无关的在线完全/增量备份，降低备份对系统的性能影响，提高备份的效率。

本发明的目的是通过以下技术方案实现的：

一种基于数据卷快照的在线数据备份方法，至少包括以下步骤：

步骤1：在系统运行过程中维护需要进行备份的数据卷的修改信息；

步骤2：对数据卷进行增量备份时，对需要进行备份的数据卷做快照，同时停止对所述需要进行备份的数据卷的修改信息的维护操作；

步骤3：根据所述需要进行备份的数据卷的修改信息和步骤2所得的快照进行增量备份；

步骤4：备份结束后，清除所述进行备份的数据卷的修改信息。

需要进行备份的数据卷至少创建一个元数据快照，用于记录所述数据卷的修改信息；

或者，需要做备份的数据卷至少创建一个元数据快照，用于记录所述数据卷的修改信息，且该元数据快照存放在存储器中。元数据快照记录数据卷的元数据，该元数据至少包括所述数据卷的逻辑结构信息；所述的数据卷按照事先指定的粒度划分为多个逻辑数据块，元数据快照中至少设有一个用于记录数据卷中逻辑数据块修改信息的位图，该位图使用0和1的方式记录对应的逻辑数据块是否被修改，当位图的某一位记录为1时，表示该位对应的逻辑数据块已被修改；存储在内存中的位图数据定时写到外存中，用于当系统重新启动时进行数据的重构。

系统重新启动时的重构至少执行以下步骤：

步骤一、从外存读出位图数据；

步骤二、将读出的位图数据重构到内存中。

上述基于数据卷快照的在线数据备份方法中所述外存至少包括：磁盘存储器、非易失闪存、磁带存储器之一或其组合。

通过上述技术方案可知，本发明具有如下优点：

1、不受具体文件系统功能的限制。使用本发明方法的文件系统为每个需要做备份的卷创建一个快照或者描述数据卷数据信息的元数据快照；该元数据快照将原始卷按照事先指定的粒度重新划分为多个逻辑数据块，并在内存中维护一个与数据卷对应的位图，使用0和1的方式来记录对应的数据块是否被修改；由于不使用文件系统的文件备份标志位，因此不受文件系统备份功能的限制。

2、占用系统资源少，备份效率高；如果采用元数据快照的方式，则对数据卷的数据进行修改时，系统仅在位图中修改数据块对应的标识位，并不建立真正的快照；进行增量备份时建立真正的快照，同时停止对内存中位图的修改，然后根据内存中位图标示的需要备份的数据块位置，进行备份，避免了写入时拷贝(COPY-ON-WRITE，简称COW)操作的频繁进行，在实现在线增量备份的同时避免了系统性能的大幅下降。

附图说明

图1为快照系统的COW原理流程图，

图2为实施例二元数据位图和原始卷逻辑数据块的对应关系图；

图3为实施例二存在元数据快照的文件系统对数据块进行修改操作的流程图；

图4为实施例二Linux系统下的LVM原理图；

图5为实施例二利用元数据快照进行增量备份的原理图。

具体实施方式

以下，结合具体实施例并参照附图，对本发明做进一步的详细说明。

实施例一：

系统为每个需要做备份的卷创建第一快照，并在系统运行中维护该第一快照，在做增量备份时，建立第二块照并停止对第一快照的维护；第一快照维护上一次备份至今被修改过的数据块，第二快照维护备份时刻数据卷(被称为原始卷)的状态。在备份过程中，系统从第一个快照中读取修改过的块号，真正的数据从第二快照和原始卷中读取。

由于该增量备份的实现方法不涉及文件系统的文件备份标志位，因此不受文件系统备份功能的限制。

实施例二：

在实施例一中，第一快照虽然可以记录从快照创建以来所有修改过的块号，但是同时快照需要进行COW操作，在系统运行过程中，快照的持续存在会降低系统性能，消耗大量的系统资源。

如图1所示，为快照系统的COW操作流程图；系统每次进行写操作时，需要先将读出的相应块的数据和块号写到快照卷的指定位置上，然后再进行写操作；这样势必会影响系统的读写效率，经测试发现，如果系统中存在快照，会导致系统的写性能急剧下降70％左右。

实际上，在纪录增量备份时，并不需要知道每个数据块上记录的具体数据，只需要知道到底有哪些数据块是被修改过的。因此本实施例采用基于元数据记录的方法构建了特殊的快照——元数据快照，这个快照只纪录修改的数据块号，而不维护该数据块的真实数据。

如图2所示，系统为每个需要做备份的卷创建一个元数据快照，元数据快照记录了原始卷的当前逻辑结构，将原始卷中按照事先指定的粒度划分为多个逻辑数据块，并在内存中维护一个相应的位图，使用0和1的方式来记录对应的逻辑数据块是否被修改。对某逻辑数据块进行写操作时，将位图中的相应位置置1，标示该逻辑数据块被修改；需要进行增量备份操作时，创建一个真正的快照，同时停止对内存中位图的修改，然后根据内存中位图标示的需要备份的逻辑数据块位置，进行备份。

由于位图结构是存储在内存空间中的，如果系统崩溃或者重新启动，记录的数据就会丢失，增量备份就无法完成，因此这些数据需要写到磁盘上。如果采用及时写的记录方式，每次对位图的修改都需要写入磁盘中，则写的次数过于频繁，对系统的写性能影响太大，因此采用定时批量写的方式，每经过一段时间(如15分钟)，将位图写入磁盘中；备份过程如图3所示；在重新系统启动时，从磁盘读出相应的位图结构，并重构到内存中。

本实施例的在线增量备份方法应用于基于Linux系统的逻辑卷管理(Logic Volume Mange，简称LVM)的文件系统。LVM是通过在I/O子系统中增加一个额外的层来实现的；这个加在文件系统和物理磁盘驱动之间的层称之为逻辑卷设备驱动(Logical volume device driver，简称LVDD)层。

如图4所示，通过这个额外的LVDD层，上层的文件系统或者其他应用获得了一个对磁盘或者分区的虚拟视图。LVM在磁盘、分区或者软件磁盘阵列上创建物理卷，并把这些物理卷通过串联或者分条的方式组合成称为卷组(VG)的存储池。以物理块(Physical Extents，简称PEs)为单位把卷组的空间划分给逻辑卷(LV)后，就可以像使用/disk/partition(/盘号/分区)一样使用/dev/vg-name/1v-nam6(设备/卷组名/逻辑卷名)来访问逻辑卷了，并且可以在联机的时候扩展或者减少VG和LV的空间。

在系统中创建一个元数据快照，记录逻辑卷的元数据，在磁盘上划分一块磁盘空间来存储元数据快照的位图数据，将该磁盘空间注册为LVM的快照卷类型，创建之后将位图写入核心内存中；系统在内存中维护一个被修改过的快照的数据结构，快照的状态为元数据，以及一个针对原始卷，按照一定数据块大小划分的位图(通常为16K，该数值可以在创建元数据快照时指定)，如图2所示。

当对原始卷的数据块进行写操作时，首先需要判断该卷是否存在元数据快照，如果存在，则判断内存中对应的位图点是否置1，如果没有，则将其置1；然后判断是否存在普通快照，如果存在，则采用正常的快照的COW的过程进行正常的快照操作。

系统维护一个定时运行的线程，每隔一段时间(这个时间间隔可以在LVM启动时指定，建议为15分钟)将内存中的位图全部写到元数据快照事先指定的磁盘位置上；如果卸载LVM模块或者关闭操作系统，则在模块卸载前强制完成一次定时写，将内存中的位图全部写到元数据快照事先指定的磁盘位置上；当系统重新启动，或者LVM模块重新启动时，首先需要启动定时写线程，然后从磁盘中读取出元数据的信息，并重构到核心内存中。

这里提到的增量备份过程适用于所有基于块设备读写的备份程序。假设前面提到的元数据快照已经创建并运行，增量备份程序的使用过程步骤如下：

步骤一：创建一个需要备份卷的快照，同时将正在运行中的元数据快照停止；

步骤二：备份程序根据元数据快照提供的应用程序接口，从内存中获得元数据快照的位图，并将其转换为真正的底层设备块号；

步骤三：备份程序采用块设备读的方式根据步骤二所获得块号直接读取快照的相应位置，即可完成增量备份。

步骤四：增量备份结束后，清除元数据快照位图中记录的修改信息，重新开始元数据快照的维护。

下面举例详细说明增量备份的具体过程。

如附图5所示，假设需要备份从上午7:00到12:00之间被修改的数据块；元数据快照1记录了从上午7:00到12:00之间被修改的数据块的块号；备份时创建了一个快照2，用于跟踪这次备份开始以来(12:00以后)所有被修改的数据块的块号和数据内容。

假设原始卷在上午7点钟的时候各数据块的数据值为A°、B°、C°、D°、E°、F°、G°、H°、I°，从上午7:00到12:00之间被修改的数据块为A°、E°、H°、I°，在7点钟创建的元数据快照记录了7点到12点之间数据块A、E、H、I需要备份，应该备份的数据为A′、E′、H″和I′。同时在备份过程中(12:00以后)，数据块E被修改成E″；

备份步骤如下：

一、在元数据快照1中读取数据块号，发现数据块A需要备份；

二、检查快照2中有没有纪录数据块A的数据，如果没有，则读取原始卷3的数据块A的数据A′；

(在这段时间内(假设在12:02)，数据块E的数据被修改成了E″，在修改之前，快照2会拷贝数据块E的原始数据E′，然后系统再进行E″的写操作。)

三、备份程序在元数据快照1中读取数据块号，发现数据块E需要备份；

四、检查快照2中有没有纪录数据块E的数据，发现已经存在COW数据；

五、备份程序读取快照中记录的数据E′；

六、转到步骤一，与备份A相同的过程，将数据H″和I′备份出来；

七、7:00-12:00之间的增量备份完成。

上述实施例也可基于其他操作系统的逻辑卷管理和逻辑卷设备驱动层。对于其他操作系统中的卷管理程序，只要该程序支持快照功能，都可以按照前面提供的方法，创建元数据快照，然后按照实施例提供的步骤，实现数据卷的在线增量备份。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (8)

1、一种基于数据卷快照的在线数据备份方法，其特征在于：

步骤1：在系统运行过程中维护需要进行备份的数据卷的修改信息；

步骤2：对数据卷进行增量备份时，对需要进行备份的数据卷做快照，同时停止对所述需要进行备份数据卷的修改信息的维护操作；

步骤3：根据所述需要进行备份数据卷的修改信息和步骤2所得的快照进行增量备份；

步骤4：备份结束后，清除所述进行备份的数据卷的修改信息。

2、根据权利要求1所述的基于数据卷快照的在线数据备份方法，其特征在于：所述的需要进行备份的数据卷至少创建有一个元数据快照，用于记录所述数据卷的修改信息。

3、根据权利要求1所述的基于数据卷快照的在线数据备份方法，其特征在于：所述的需要进行备份的数据卷至少创建有一个元数据快照，并且该元数据快照存放在存储器中，用于记录所述数据卷的修改信息。

4、根据权利要求3所述的基于数据卷快照的在线数据备份方法，其特征在于：所述元数据快照记录对应数据卷的元数据，该元数据至少包括所述数据卷的逻辑结构信息；所述的数据卷按照事先指定的粒度划分为多个逻辑数据块，元数据快照中至少设有一个用于记录数据卷中逻辑数据块修改信息的位图。

5、根据权利要求4所述的基于数据卷快照的在线数据备份方法，其特征在于：所述位图存储在系统的内存中，以提高系统运行性能。

6、根据权利要求5所述的基于数据卷快照的在线数据备份方法，其特征在于：所述的位图数据定时存储到外存中，用于当系统重新启动时进行数据的重构。

7、根据权利要求6所述的基于数据卷快照的在线数据备份方法，其特征在于，系统重新启动时的重构至少执行以下步骤：

步骤一、从外存读出位图数据；

步骤二、将读出的位图数据重构到内存中。

8、根据权利要求6或7所述的基于数据卷快照的在线数据备份方法，其特征在于：所述外存至少包括：磁盘存储器、非易失闪存、磁带存储器之一或其组合。