CN101826041A

CN101826041A - 一种逻辑卷数据同步数据预取方法

Info

Publication number: CN101826041A
Application number: CN200910118818A
Authority: CN
Inventors: 詹求翔
Original assignee: Individual
Current assignee: Individual
Priority date: 2009-03-02
Filing date: 2009-03-02
Publication date: 2010-09-08

Abstract

本发明属于计算机数据存储技术领域，主要解决连续数据保护系统中源卷与目的卷数据不一致时，将源卷与目的卷的数据进行快速同步，使数据重新达到一致时进行数据预取的问题。本发明的目的是解决当系统运行一段时间后源卷与目的卷数据发生不一致或源卷数据遭受破坏时，需要快速同步使源卷与目的卷的数据使它们重新达到一致状态时，进行快速的源端与目的端数据快速比较的问题。本发明适用于逻辑卷级连续数据保护系统，在系统需要进行数据同步时快速查找发生不一致的数据块，并通过网络传送到对端。在进行逻辑卷级数据同步、恢复过程中，源卷端的操作步骤主要包括：1)数据预取；2)特征值计算；3)接收对端特征值；4)差异数据传输等四个过程。

Description

一种逻辑卷数据同步数据预取方法

技术领域

本发明属于计算机数据存储技术领域，主要解决连续数据保护系统中源卷与目的卷数据不一致时，将源卷与目的卷的数据进行快速同步，使数据重新达到一致时进行数据预取的问题。

背景技术

如今，计算机无论对于个人、企业还是政府的重要性越来越大，尤其是存储在计算机中的重要数据，一旦这些数据丢失和被破坏，损失将难以估计，现有的数据保护技术，如RAID、远程镜像、卷影复制服务、快照等，从实现层次上可分为物理块级、逻辑卷级、文件级或应用级。其中在逻辑卷级进行数据保护具有与上层应用和具体物理设备无关等优点。当数据由于软，硬件故障遭受破坏后，数据恢复所需时间的长短在很大程度上影响了损失的大小，当需要进行恢复时，如何快速、有效的将目的卷上的数据同步到源卷上，是数据保护系统的一个重要指标；同时经过一段时间运行后，源卷与目的卷上的数据不一致，此时如何快速的使源卷与目的卷上的数据一致，是需要考虑的另一个重要问题。

为了提高在数据同步时的性能，源卷和目的卷端采用多线程进行处理，让数据同步的各过程能并发执行。

发明内容

本发明的目的是解决当系统运行一段时间后源卷与目的卷数据发生不一致或源卷数据遭受破坏时，需要快速同步使源卷与目的卷的数据使它们重新达到一致状态时，进行快速的源端与目的端数据快速比较的问题。本发明适用于逻辑卷级连续数据保护系统，在系统需要进行数据同步时快速查找发生不一致的数据块，并通过网络传送到对端。

在进行逻辑卷级数据同步、恢复过程中，源卷端的操作步骤主要包括：1)数据预取；2)特征值计算；3)接收对端特征值；4)差异数据传输等四个过程。

本发明为了提高程序的执行性能，采用多线程并发流水线处理方式。数据预取线程根据逻辑卷的位图使用信息从本地逻辑卷中将有效的数据块读出，并写入到数据缓冲池中；特征值计算线程负责计算缓冲池中数据块的特征，并将特征值信息填入到特征值列表中；对端特征值接收线程，接收对端传送来的特征值信息，并将信息填入到特征值列表中；差量数据传送线程负责比较特征值列表中数据块特征值，并将发生变化的数据发送到对端。

本发明在数据同步目的端，操作步骤主要包括三个过程：1)数据预取；2)特征值计算发送；3)差量数据接收存储。同理为了提高性能，采用多线程并发流水线处理方式。数据预取线程负责从逻辑卷中读取已使用的有效数据块，并存放在数据缓冲池中，特征值计算线程从数据缓冲池中读取数据块并计算其特征值，然后将数据块的偏移地址与特征值发送到源端，差量数据接收线程负责接收由源端发送的发生变化的数据块，并将数据块根据其偏移地址写入到本地逻辑卷。

逻辑卷快速同步、恢复工作流程如下所述：

假设有两台机器M1和M2。目的卷L1在机器M1上，源卷L2在机器M2上，L2是L1的保护卷，机器M1和机器M2通过网络连接起来，现在需要将L1恢复到L2的状态，即将L2同步到L1上，设数据比较大小为K块，M1，M2按以下步骤进行快速数据恢复：

1、M1，M2同时解析L1，L2上文件系统信息，提取并生成空间使用情况二进制信息位图文件$Bitmap1，$Bitmap2文件，文件中每一位对应卷一个数据块的使用情况，0表示未使用，1表示已使用，由于L2是L1的大小相同，而且数据块大小相同，因此$Bitmap1，$Bitmap2文件中每一位是一一对应的，M1，M2分别将自己解析得到的位图文件发送给对端；

2、M1启动目的端的3个工作线程，M2启动源端的4个工作线，除读取线程，其余线程都处理阻塞状态，等待相应信号量；

3、M1，M2的读取线程根据本节后面描述的算法解析$Bitmap1，$Bitmap2顺序读取对应的使用数据块，都并它存放到缓冲区中，并通过信号通知特征值计算线程开始工作，若缓冲区满，则线程阻塞。

4、M1中的特征值计算线程从缓冲区中读取数据并计算出特征值后将其发送到M2；

5、M2中的特征值计算线程从缓冲区中读取数据并计算出特征值然后存放到特征值表中，并通过通知差量数据传送线程。

6、M2中的对端特征值接收线程接收M1发送的特征值，并存放到特征值表中，并通过通知差量数据传送线程。

7、M2中差量数据传送线程比较源端特征值和保护端特征值两个字段都填有数据的记录，若不同则表示数据发生变化，从缓冲区中将数据发送给源端，否则将不需要发送，最后将数据从缓冲区中移除。

8、M1中差异数据写线程接收由保护端发送回来变化数据都写入源卷。

9、当M1，M2中的数据全部比较后程序工作结果。

本发明的技术特点和效果：

本发明提出的连续数据保护系统快速同步方法，充分利用利用进行数据同步时具有并行性的特点，将串行的数据处理过程并行化，达到流水线处理的效果，有效的减少了同步时间。该设计方法在文件系统下层实现，与上层应用无关，具有很强的通用性。

经过实验证明，该方法能解决连续数据保护系统在需要进行数据同步时，快速的使源卷与目的卷的数据一致的问题。

附图说明

图1为源卷端流程图。

图2为目的卷端流程图。

具体实施方式

本发明提出的远程备份设备临时异常情况下将变化的数据在本地缓存和有效组织的方法结合附图及实施例进一步说明如下：

本发明源卷端数据预取处理如图1所示，包括以下步骤：

(11)数据预取线程根据逻辑卷的位图使用信息从本地逻辑卷中将有效的数据块读出，并写入到数据缓冲池中；

(12)特征值计算线程负责计算缓冲池中数据块的特征，并将特征值信息填入到特征值列表中；

(13)对端特征值接收线程，接收对端传送来的特征值信息，并将信息填入到特征值列表中；

(14)差量数据传送线程负责比较特征值列表中数据块特征值，并将发生变化的数据发送到对端；

目的卷端数据处理流程如图2所示：

(21)数据预取线程负责从逻辑卷中读取已使用的有效数据块，并存放在数据缓冲池中，

(22)特征值计算线程从数据缓冲池中读取数据块并计算其特征值，然后将数据块的偏移地址与特征值发送到源端，

(23)差量数据接收线程负责接收由源端发送的发生变化的数据块，并将数据块根据其偏移地址写入到本地逻辑卷。

Claims

1.一种逻辑卷数据，逻辑卷有文件系统。

2.一种逻辑卷数据预取方法，该方法包括多个线程。

3.根据权利1所述，多个线程间按流水线方式进行工作。