CN101387976A - 一种基于数据差异的逻辑卷快速同步方法 - Google Patents

Abstract

本发明涉及一种基于数据差异的逻辑卷快速同步方法，属于计算机数据存储技术领域该方法根据源卷和目的卷上的文件系统信息找到各自逻辑卷上已使用的数据块，比较源逻辑卷与目的逻辑卷上对应的数据块对，计算该数据块对的两个特征值，若该两个特征值不相同，则对该数据块对进行同步处理，否则，不进行同步处理。本发明在数据同步时只比较已使用的数据块，明显的减少了数据比较的范围，同时在同步时只同步发生变化的数据块，有效减少了同步的数据量。

Description

一种基于数据差异的逻辑卷快速同步方法

技术领域

本发明属于计算机数据存储技术领域，主要解决连续数据保护系统中源卷与目的卷数据不一致时，将源卷与目的卷的数据进行快速同步，使数据重新达到一致的问题。

背景技术

如今，计算机无论对于个人、企业还是政府的重要性越来越大，尤其是存储在计算机中的重要数据，一旦这些数据丢失和被破坏，损失将难以估计，现有的数据保护技术，如RAID、远程镜像、卷影复制服务、快照等，从实现层次上可分为物理块级、逻辑卷级、文件级或应用级。其中在逻辑卷级进行数据保护具有与上层应用和具体物理设备无关等优点。

当数据由于软，硬件故障遭受破坏后，数据恢复所需时间的长短在很大程度上影响了损失的大小，当需要进行恢复时，如何快速、有效的将目的卷上的数据同步到源卷上，是数据保护系统的一个重要指标；同时经过一段时间运行后，源卷与目的卷上的数据不一致，此时如何快速的使源卷与目的卷上的数据一致，是需要考虑的另一个重要问题。

在数据保护系统中，数据操作通常集中在被保护数据的有限区域，因此存在大量的未变化数据，即保护数据和被保护数据将存在大量的相同数据，在数据同步时为减少同步数据量和同步时间这些数据不需要进行传输。

Rsync是基于Unix/Linux平台上性能优异的备份/恢复程序，其独特的Rsync算法能够快速地找到目标文件与备份文件之间的差异，在网络上只传输文件的差异部分，使本地和远程两个主机之间的文件达到同步，具有占用网络带宽少、同步速度快等特点。

虽然Rsync具有诸多优点，但由于在文件系统级实现，在文件系统视图中相同数据，在逻辑卷上数据并不一定相同，即文件系统上相同的文件，可以存在于逻辑卷上不同的位置，因此Rsync只能保证文件系统级的数据同步，而无法满足逻辑卷级数据严格相同的同步要求。

发明内容

本发明的目的是解决当系统运行一段时间后源卷与目的卷数据发生不一致或源卷数据遭受破坏时，进行快速数据同步使源卷与目的卷的数据重新达到一致状态的问题；提出一种基于数据差异的逻辑卷数据快速同步方法，本发明在数据同步时只比较已使用数据块，明显的减少了数据比较的范围，同时在同步时只同步发生变化的数据块，有效减少了同步的数据量。

本发明提出的一种基于数据差异的逻辑卷数据快速同步方法，其特征在于；

根据源卷和目的卷的文件系统信息找到各自逻辑卷上已使用的数据块，比较源逻辑卷与目的逻辑卷上对应的数据块(位置相同、大小相等的数据块)对，计算该数据块对的两个特征值，若该两个特征值不相同(表示数据有变化)，则对该数据块对进行同步处理，否则，不进行同步处理。

该方法设源逻辑卷L1在机器M1上，目的逻辑卷L2在机器M2上，L1与L2大小相同，而且L1与L2的数据块大小相同，M1和M2通过网络连接，当要将L2上的数据同步到L1的状态时，设一次比较的数据块数量为K块，K最大值为MAX，最小值为MIN，该方法包括以下步骤：

1)M1与M2同时解析L1，L2上文件系统信息，读取所述逻辑卷L1，L2的数据空间使用情况的位图信息Bitmap1，

Bitmap2(位图信息中每一位对应逻辑卷一个数据块的使用情况，

Bitmap1，

Bitmap2中每一位是一一对应的，每一位由0或1组成)，其中0表示未使用，1表示已使用；

2)M1将

Bitmap1发送到M2；

3)M2比较

Bitmap1与

Bitmap2中对应的每一位，获取对应位连续都为1的个数，同时判断是否比较完成，若是则结束，否则进入步骤4)；

4)M2从连续都为1的个数对应的数据块中动态确定比较信息(包括数据块数量K的大小、数据块的起始位置)；

5)M2根据步骤4)中确定的比较信息，从L2中预取已使用数据块并存放至M2中的缓冲区；

6)M2根据步骤4)中获取的比较信息发送给M1，M1根据步骤4)中确定的比较信息，从L1中预取已使用数据块并存放至M1中的缓冲区；

7)M1，M2同时计算存储在各自缓冲区中相同位置相同大小的已使用数据块的特征值(比如采用CRC校验，MD4值等作为特征值)；

8)M1将计算得到的特征值发送给M2，M2将接收到的M1发送的特征值和本端计算得到的特征值进行比较，若相同则进入步骤3)，否则进入步骤9)；

9)M2将特征值不相同对应的数据块发送到M1，进入步骤3)，M1将该数据块写入相应的逻辑卷位置。

本发明的技术特点和效果：

本发明在数据比较时根据源卷和目的卷的数据块使用情况，预取N块(N为预设值，取正整数)已使用数据块以达到减小数据读取次数，提高性能的目的。

在比较源卷与目的卷上对应数据块时，本发明采用动态算法，根据历史的数据比较记录，调整比较数据块的大小。

本发明提出的连续数据保护系统快速同步方法，充分利用源卷与目的卷的文件系统信息，在数据同步时只比较已使用数据块明显的减少了数据比较的范围，同时在同步时只同步发生变化的数据块，有效减少了同步的数据量。

本方法适用于逻辑卷级连续数据保护系统的实现，在系统需要进行数据同步时快速查找发生不一致的数据块，并通过网络传送到对端。

本方法在文件系统下层实现，与上层应用无关，具有很强的通用性。

经过实验证明，该方法能解决连续数据保护系统在需要进行数据同步时，快速的使源卷与目的卷的数据一致的问题。

附图说明

图1为本发明的方法总体流程框图。

图2为本发明的读取卷空间使用情况的位图信息的具体实施例流程框图。

图3为本发明的动态确定数据比较大小具体实施例流程框图。

图4为本发明的预取已使用数据具体实施例流程框图。

具体实施方式

本发明提出一种基于数据差异的逻辑卷数据快速同步方法结合附图及实施例进一步说明如下：

本发明方法根据源卷和目的卷的文件系统信息找到各自逻辑卷上已使用的数据块，比较源逻辑卷与目的逻辑卷上对应的数据块对，计算该数据块对的两个特征值，若该两个特征值不相同，则对该数据块对进行同步处理，否则，不进行同步处理。

本发明的方法实施例具体包括以下步骤：

该方法设源逻辑卷L1在机器M1上，目的逻辑卷L2在机器M2上，L1与L2大小相同，而且L1与L2的数据块大小相同，机器M1和机器M2通过网络连接，当要将L2上的数据同步到L1的状态时，设一次比较的数据块数量为K块，K最大值为MAX，最小值为MIN，表示为MIN≦K≦MAX(MIN、MAX取巧决于卷大小及和数据块大小，通常MIN取16，MAX取512)，

该方法流程如图1所示，包括以下步骤：

1)M1与M2分别同时解析L1，L2上文件系统信息，读取该两个逻辑卷的空间使用情况的位图信息

Bitmap1，

Bitmap2(位图信息中每一位对应逻辑卷一个数据块的使用情况，

Bitmap1，

Bitmap2中每一位是一一对应的，每一位由0或1组成，0表示未使用，1表示已使用)；

2)M1将

Bitmap1发送到机器M2；

3)M2比较

Bitmap1与

Bitmap2中对应的每一位，获取对应位连续都为1的个数，同时判断是否比较完成，若是则结束，否则进入步骤4)；

4)M2从连续都为1的个数对应的数据块中动态确定比较信息(包括数据块数量K的大小、数据块的起始位置)；

5)M2根据步骤4)中确定的比较信息，，从L2中预取已使用数据并存放至M2中的缓冲区；

6)M2根据步骤4)中获取的比较信息发送给M1，M1根据步骤4)中确定的比较信息，从L1中预取已使用数据块并存放至M1中的缓冲区；

7)M1，M2同时计算存储在各自缓冲区中相同位置相同大小的已使用数据块的特征值(比如采用CRC校验，MD4值等作为特征值)；

8)M1将计算得到的特征值发送给M2，M2将接收到的M1发送的特征值和本端计算得到的特征值进行比较，若相同则进入步骤3)，否则进入步骤9)；

9)M2将特征值不相同对应的数据块发送到M1，进入步骤3)，M1将数据块写入相应的逻辑卷位置。

上述步骤1)读取卷(指源卷或目的卷，方法相同)空间使用情况的位图信息的具体实现方法如图2所示，包括以下步骤：

(11)读取该卷的文件系统中的超级块数据；

(12)判断该卷的文件系统是否为有效的文件系统(例如：Windows NTFS，FAT等文件系统)，若不是则结束，否则进入步骤(13)；

(13)从(11)读出的超级块数据查找到该文件系统的主文件表；

(14)在该主文件表中查找到指示该卷空间使用情况的位图信息并保存为$Bitmap。上述步骤4)中，从连续都为1的个数对应的数据块中动态确定比较信息流程如图3所示，包括以下步骤：

(41)获取前一次L1与L2对应数据块特征值比较结果(初始时设成未变化)，若未发生变化转入步骤(42)，否则进入步骤(44)；

(42)获取前N次(N为预设值，N值的取值范围决定于数据使用的时间长短，一般为10≤N≤30)L1与L2对应数据块特征值比较结果，若连续N未发生变化，进入步骤(43)，否则结束；

(43)增长K值，且不超过最大值MAX(例如取512)，然后结束；

(44)获取前N次L1与L2对应数据块特征值比较结果，若连续N(N为预设值)发生变化，进入步骤(45)，否则结束；

(45)减小K值，且不小于最小值MIN(例如取16)，然后结束。

上述步骤5)中，从L2中预取已使用数据并存放至M2中的缓冲区如图4所示，具体说明如下：

(51)判断缓冲区是已满，若已满等待结束，否则进行步骤(52)；

(52)读取L2的

Bitmap2，查找L2上连续已使用数据块，一次性将该连续已使用数据块读取并存入到M2的缓冲区中。

Claims (5)

1、一种基于数据差异的逻辑卷数据快速同步方法，其特征在于，该方法根据源卷和目的卷上的文件系统信息找到各自逻辑卷上已使用的数据块，比较源逻辑卷与目的逻辑卷上对应的数据块对，计算该数据块对的两个特征值，若该两个特征值不相同，则对该数据块对进行同步处理，否则，不进行同步处理。

2、如权利要求1所述，其特征在于，该方法包括：设源逻辑卷L1在机器M1上，目的逻辑卷L2在机器M2上，L1与L2大小相同，而且L1与L2的数据块大小相同，M1和M2通过网络连接，当要将L2上的数据同步到L1的状态时，设一次比较的数据块数量为K块，该方法具体包括以下步骤：

1)M1与M2分别同时解析L1，L2上文件系统信息，读取所述逻辑卷L1，L2上的数据空间使用情况的由0或1组成的位图信息$Bitmap1，$Bitmap2，其中0表示未使用，1表示已使用；

2)M1将$Bitmap1发送到M2；

3)M2比较$Bitmap1与＄Bitmap2中对应的每一位，获取对应位连续都为1的个数，同时判断是否比较完成，若是则结束，否则进入步骤4)；

4)M2从连续都为1的个数对应的数据块中动态确定比较信息；

5)M2根据步骤4)中确定的比较信息，从L2中预取已使用的数据块并存放至M2中的缓冲区；

6)M2根据步骤4)中获取的比较信息发送给M1，M1根据步骤4)中确定的比较信息，从L1中预取已使用的数据块并存放至M1中的缓冲区；

7)M1，M2同时计算存储在各自缓冲区中相同位置相同大小的已使用的数据块的特征值；

8)M1将计算得到的特征值发送给M2，M2将接收到的M1发送的特征值和本端计算得到的特征值进行比较，若相同则进入步骤3)，否则进入步骤9)；

9)M2将特征值不相同对应的数据块发送到M1，进入步骤3)，M1将该数据块写入相应的逻辑卷位置。

3、如权利要求2所述的方法，其特征在于，其特征在于，所述步骤1)读取逻辑卷数据空间使用情况的位图信息，具体包括以下步骤：

(11)读取该卷的文件系统中的超级块数据；

(12)判断该卷的文件系统是否为有效的文件系统，若不是则结束，否则进入步骤(13)；

(13)从(11)读出的超级块数据查找到该文件系统的主文件表；

(14)在该主文件表中查找到指示该卷空间使用情况的位图信息并保存为$Bitmap。

4、如权利要求2所述的方法，其特征在于，其特征在于，上述步骤4)中，从连续都为1的个数对应的数据块中动态确定比较信息，具体包括以下步骤：

(41)获取前一次L1与L2对应数据块特征值比较结果，若未发生变化转入步骤(42)，否则进入步骤(44)；

(42)获取前N次L1与L2对应数据块特征值比较结果，若连续N未发生变化，进入(43)步，否则结束；

(43)增长K值，且不超过最大值，然后结束；

(44)获取前N次L1与L2对应数据块特征值比较结果，若连续N(N为预设值)发生变化，进入(45)步，否则结束；

(45)减小K值，且不小于最小值，然后结束。

5、如权利要求2所述的方法，其特征在于，其特征在于，上述步骤5)中，从L2中预取已使用数据并存放至M2中的缓冲区，具体包括以下步骤：

(51)判断缓冲区是已满，若已满等待结束，否则进行步骤(52)；

(52)读取L2的$Bitmap2，查找L2上连续已使用数据块，一次性将该连续已使用数据块读取并存入到M2的缓冲区中。

Images