CN111045865A - 一种基于块复制的实时同步方法及系统 - Google Patents

Abstract

本发明公开了一种基于块复制的实时同步系统及方法，所述方法包括如下步骤：步骤S1，于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块；步骤S2，对源端磁盘空间进行划分，根据划分结果于驱动模块构建源端磁盘的位图；步骤S3，利用所述驱动模块实时捕捉源端磁盘上的数据变化，并将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块；步骤S4，所述备份模块根据获得的位图，将源端磁盘上相应块的数据备份到备端，通过本发明，可实现基于块复制的实时同步目的。

Description

一种基于块复制的实时同步方法及系统

技术领域

本发明涉及数据同步技术领域，特别是涉及一种基于块复制的实时同步方法及系统。

背景技术

数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。其实数据备份的本质就是数据的拷贝，当然数据备份这也不仅仅是数据复制那么简单，但是毫无疑问数据复制是数据备份最重要也是最基础的一步，无论什么样的数据备份技术或方法都是以数据同步为前提的。

传统的数据备份技术一般都是定时或监测到源端磁盘数据变化时，将源端磁盘的数据全部同步到备端磁盘上，这种方式简单易行，但是很多时候的数据同步都只是磁盘很小一部分数据发生了变化，很多数据同步都是在做无用功，造成了磁盘读写资源的大量浪费。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种基于块复制的实时同步方法及系统，以实现基于块复制的实时同步目的。

为达上述目的，本发明提出一种基于块复制的实时同步系统，包括：

位图构建模块，用于对源端磁盘空间进行划分，根据划分结果于驱动模块中构建源端磁盘的位图；

驱动模块，用于实时捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块；

备份模块，根据获得的位图，将源端磁盘上相应块的数据备份到备端。

优选地，所述位图构建模块对源端磁盘空间划分为N-1个空间大小相等以及最后一个小于或等于其他大小的小磁盘空间，并对其构建位图，所述位图中的位与各小磁盘空间对应。

优选地，所述位图构建模块于构建位图后，对所述位图的每个位的值进行初始化，对所述位图的每个位置位，以表示对应的所有数据块的数据均需同步。

优选地，所述驱动模块位于源端的文件系统之下和硬件磁盘驱动之上。

优选地，所述驱动模块时刻监听并捕获上层发往源端磁盘驱动的写IO，于获取到磁盘的数据变化信息，则更新位图，将其位图中对应的位置位，以表示该位对应的数据块有数据变化，并将更新后的位图发给所述备份模块，于位图成功发送之后，将置位的位复位，以表示该位对应的数据块无数据变化，以便后续对磁盘数据的监测。

优选地，在所述位图构建模块构建并初始化位图后，所述驱动模块将该位图传送给所述备份模块，并将构建于驱动模块中的该位图中所有的位全部复位。

优选地，所述备份模块于接收到所述驱动模块发送的位图后，将当前接收到的位图与前一次接收到的位图进行整合，并根据整合后的位图将源端磁盘上相应块的数据备份到备端。

优选地，所述备份模块根据整合后的位图中的信息，将对应的源端磁盘中有数据变化的数据块逐一备份至备端，并于每完成一个块的备份时，将所述备份模块中的位图中对应的位复位。

优选地，在所述驱动模块将其位图传送给所述备份模块后，当源端机器出现异常情况时，所述备份模块先将该位图保存在文件中，当源端机器重启后，所述备份模块优先以该文件中的位图为主进行备份，若此时所述驱动模块捕获到了新的数据变化，则将从所述驱动模块获得的新位图与该位图进行合并后进行同步备份。

为达到上述目的，本发明还提供一种基于块复制的实时同步方法，包括如下步骤：

步骤S1，于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块，以实时捕捉源端磁盘上的数据变化；

步骤S2，对源端磁盘空间进行划分，根据划分结果于驱动模块构建源端磁盘的位图；

步骤S3，利用所述驱动模块实时捕捉源端磁盘上的数据变化，并将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块；

步骤S4，所述备份模块根据获得的位图，将源端磁盘上相应块的数据备份到备端。

与现有技术相比，本发明一种基于块复制的实时同步系统及方法通过于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块，利用驱动模块捕捉源端磁盘的IO的操作，将产生该些变化的IO操作转化成位图中的位图信息传送至备份模块，由备份模块根据位图信息将源端磁盘上相应块的数据备份到备端，实现了基于块复制的实时同步目的，通过本发明，可以可以随时将源端磁盘数据备份至备端磁盘。

附图说明

图1为本发明一种基于块复制的实时同步系统的系统架构图；

图2为本发明具体实施例中驱动模块所应用的系统的系统结构图；

图3为本发明具体实施例中驱动模块监控处理的示意图；

图4为本发明具体实施例中位图创建及更新的示意图；

图5为本发明一种基于块复制的实时同步方法的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

在本发明之基于块复制的实时同步中，实时指的是当磁盘上发生数据变化时，第一时间可以将变化的部分备份到备端(所述备端为用来存储备份源磁盘数据的一端)，只要有数据变化，会立刻同步。块的含义则指的是：在备份的过程中，通过将源端磁盘均等分成若干块(最后一块小于或等于其他块的大小)，当源端磁盘上有数据发生变化的时候，先定位变化数据属于源磁盘上的哪些块，然后将这么块上的数据备份到备端，从而达到一个备份的过程。

图1为本发明一种基于块复制的实时同步系统的系统架构图。如图1所示，本发明一种基于块复制的实时同步系统，应用于源端，包括：

位图构建模块100，用于对源端磁盘空间进行划分，根据划分结果于驱动模块构建源端磁盘的位图(bitmap)。

在本发明具体实施例中，位图构建模块100对源端磁盘空间平均划分为空间大小相等的N个小磁盘空间(若无法平均划分，则对源端磁盘空间划分为N-1个空间大小相等以及最后一个小于其他大小的小磁盘空间)，并对其构建位图，所述位图中的位与各小磁盘空间对应，位图位数的多少N主要取决于源磁盘的大小和人为定义一个块的大小，假设源磁盘的容量是1G，定义一个块的大小为1M，那么位图(bitmap)的位数为1G/1M＝1024个位数(一位代表人为定义的一个块)。于构建位图后，对所述位图的每个位的值进行初始化，在本发明具体实施例中，将所述位图的每一位的值初始化为1，本发明中，规定0表示对应的小磁盘空间无数据变化，1表示对应的小磁盘空间有数据变化，在初始状态，显然所有的数据都是没有同步过的，因此，会将位图的每一位的值初始化为1。

驱动模块101，位于源端的文件系统之下和硬件磁盘驱动之上，以实时捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块102。

在本发明具体实施例中，由于在生产端(源端)需要捕捉数据变化的位置，当源端磁盘上发生数据变化时，首先需要明确变化数据所处的位置，因此设置驱动模块101位于文件系统之下和硬件磁盘驱动之上，以用来实时捕捉源磁盘上的数据变化，如图2所示，所述驱动模块101用于监控上层发往磁盘驱动上的IO操作，所述驱动模块101的行为是实时性质的，即无时无刻都处于监控状态。

一般来说，读操作不会产生数据变化，因此，本发明主要获取写操作产生的数据变化。也就是说，驱动模块101会时刻监听并捕获上层发往源端磁盘驱动的写IO，一旦获取，会立刻更新将其位图(bitmap)中对应的位置1，然后将当前的位图(bitmap)发给备份程序，并于成功发送之后，立刻将位图(其bitmap)原来1的位置为0，如图3所示。

需说明的是，在位图构建模块100构建并初始化位图后，所述驱动模块101即会将该位图(bitmap)传给备份模块102，同时将构建于驱动模块101中的位图(bitmap)中所有的位全部置为0，以便实时捕捉源端磁盘上的数据变化，并将其转化成位图中的位图信息。

如图4所示，假设源端为一个90MB的磁盘的物理布局，将其从空间上划分为相等的9份，每一份代表10MB的空间，位图构建模块100创建相应的位图(bitmap)，在进行完第一次全同步之后，驱动模块101的位图上的所有位则变为0；当第一次往源端磁盘上更新一些数据，假设这些数据最终落盘在10～20M和30～40M的数据块上，驱动模块101监测到该些数据变化后，则会将位图(bitmap)上块2和块4从0变为1；当第二次继续往源端磁盘上更新一些数据，假设这些数据最终落盘在10～20M和50～60M上，若之前位图中块2对应的位仍为1(即未同步)，则此时只需将位图(bitmap)中块6对应的位从0变为1即可。

备份模块102，于接收到驱动模块101发送的位图后，将当前接收到的位图与前一次接收到的位图进行整合，根据整合后的位图的位图信息将源端磁盘上相应块的数据备份到备端。

当进行初次全盘同步备份时，也就是说，备份模块102第一次收到驱动模块101发送的位图时，此时备份模块102会根据收到的位图(bitmap)中的信息将源端磁盘中对应的区域中数据逐一备份至备端，并于每完成一个块的备份时，将备份模块102中的位图(bitmap)中对应的位置为0，等到备份程序中bitmap全部位置为0后，则表示初次全盘同步备份完成。

当接收到驱动模块101发送的位图时，不管当前的同步备份是否完成，有数据变化而没完成同步的数据块，其对应的位图(bitmap)中的位不会自己变为0，没有来得及同步的数据块，对应的位图(bitmap)的位还是1，这时候备份模块会将原来的位图(bitmap)和当前驱动模块101发过来的位图(bitmap)进行一个整合，并将整合过的位图(bitmap)为备份依据，进行新的一轮备份。

由于机器存在的不确定性，如果生产端机器突然出现异常等情况，实时同步备份还没有完全备份结束(这里的结束指的是没有需要备份的数据，因为实时备份的情况下，备份模块会一直处于工作状态下，一旦有新的数据，会立刻进行备份)。具体地说，当驱动模块101将其位图(bitmap)传送给备份模块102后，当源端机器出现异常情况时，备份模块102则会先将该位图(bitmap)保存在文件中，当源端机器重启后，备份模块102则优先以该位图(bitmap)中的为主进行备份，若此时驱动模块101捕获到了新的写操作，会和该位图(bitmap)进行合并然后进行同步备份。

本发明在备份的过程中，可以忽略文件及其结构，处理过程简洁，因此在执行过程中所发费在搜索操作上的开销较小，备份性能很高。此外，本发明备份的对象是磁盘，所以它不受文件系统的限制，可以支持各种文件系统，甚至没有文件系统的磁盘也可以进行数据备份。有的时候，在备份过程中，可以修改磁盘上卷的属性(增减，扩容压缩)，进行一次增量备份之后，也可以保证数据的一致性。用途广泛。

图5为本发明一种基于块复制的实时同步方法的步骤流程图。如图5所示，本发明一种基于块复制的实时同步方法，包括如下步骤：

步骤S1，于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块，以实时捕捉源端磁盘上的数据变化。

在本发明具体实施例中，由于在生产端(源端)需要捕捉数据变化的位置，当源端磁盘上发生数据变化时，首先需要明确变化数据所处的位置，因此设置驱动模块101位于文件系统之下和硬件磁盘驱动之上，以用来实时捕捉源磁盘上的数据变化。

步骤S2，对源端磁盘空间进行划分，根据划分结果于驱动模块构建源端磁盘的位图(bitmap)。

在本发明具体实施例中，对源端磁盘空间平均划分为空间大小相等的N个小磁盘空间(若无法平均划分，则对源端磁盘空间划分为N-1个空间大小相等以及最后一个小于其他大小的小磁盘空间)，并对其构建位图，所述位图中的位与各小磁盘空间对应，位图位数的多少N主要取决于源磁盘的大小和人为定义一个块的大小，假设源磁盘的容量是1G，定义一个块的大小为1M，那么位图(bitmap)的位数为1G/1M＝1024个位数(一位代表人为定义的一个块)。于构建位图后，对所述位图的每个位的值进行初始化，在本发明具体实施例中，将所述位图的每一位的值初始化为1，本发明中，规定0表示对应的小磁盘空间无数据变化，1表示对应的小磁盘空间有数据变化，在初始状态，显然所有的数据都是没有同步过的，因此，会将位图的每一位的值初始化为1。

步骤S3，利用所述驱动模块实时捕捉源端磁盘上的数据变化，并将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块。

一般来说，读操作不会产生数据变化，因此，本发明主要获取写操作产生的数据变化。具体地说，驱动模块会时刻监听并捕获上层发往源端磁盘驱动的写IO，一旦获取，会立刻更新将其位图(bitmap)中对应的位置1，然后将当前的位图(bitmap)发给备份程序，并于成功发送之后，立刻将位图(其bitmap)原来1的位置为0。

需说明的是，在构建并初始化位图后，所述驱动模块即会将该位图(bitmap)传给备份模块，同时将构建于驱动模块中的位图(bitmap)中所有的位全部置为0，以便后续实时捕捉源端磁盘上的数据变化，并将其转化成位图中的位图信息。

步骤S4，所述备份模块于接收到驱动模块发送的位图后，将当前接收到的位图与前一次接收到的位图进行整合，并根据整合后的位图的位图信息将源端磁盘上相应块的数据备份到备端。

当进行初次全盘同步备份时，也就是说，备份模块第一次收到驱动模块发送的位图时，此时备份模块会根据收到的位图(bitmap)中的信息将源端磁盘中对应的区域中数据逐一备份至备端，并于每完成一个块的备份时，将备份模块102中的位图(bitmap)中对应的位置为0，等到备份程序中bitmap全部位置为0后，则表示初次全盘同步备份完成。

在同步过程中，当备份模块接收到驱动模块发送的位图时，不管当前的同步备份是否完成，有数据变化而没完成同步的数据块，其对应的位图(bitmap)中的位不会自己变为0，没有来得及同步的数据块，对应的位图(bitmap)的位还是1，这时候备份模块会将原来的位图(bitmap)和当前驱动模块发过来的位图(bitmap)进行一个整合，并将整合过的位图(bitmap)为备份依据，进行新的一轮备份。

由于机器存在的不确定性，如果生产端机器突然出现异常等情况，实时同步备份还没有完全备份结束(这里的结束指的是没有需要备份的数据，因为实时备份的情况下，备份模块会一直处于工作状态下，一旦有新的数据，会立刻进行备份)，优选地，当驱动模块将其位图(bitmap)传送给备份模块后，当源端机器出现异常情况时，备份模块则会先将该位图(bitmap)保存在文件中，当源端机器重启后，备份模块则优先以该位图(bitmap)中的为主进行备份，若此时驱动模块捕获到了新的写操作，会和该位图(bitmap)进行合并然后进行同步备份。

实施例

在本实施例中，首先需要指定机器上一个磁盘，针对该磁盘，创建一个与之对应的保护策略，这里如果想保护多颗磁盘，则需要建立多个保护策略，即一个保护策略对应一颗磁盘。这么做的好处是将磁盘彼此之间分开，使它们可以独立的进行备份策略，彼此不会受到其他磁盘同步出现错误带来的影响。

在创建策略之前，于源端磁盘的机器则需要设置驱动模块和备份模块，以搭建本发明之基于块复制的实时同步的环境，以下为本发明的过程及原理，具体步骤如下。

保护策略的创建：假设一台机器上的系统盘(一般为C盘)所在的物理磁盘号为磁盘0(可以通过计算机->管理->磁盘管理来获取该信息)，除此之外，可能还存在所谓的D.E等分区，那么，本发明创建的保护策略是针对这个磁盘0的(即同时保护C.D.E等)，创建完之后，会生成如图4所示的位图(bitmap)。此时位图(bitmap)中的所有位均置为1，因为对于刚创建的策略来说，显然所有的数据都是没有同步过的。

初次全盘同步备份：因为本发明是基于块复制的实时同步备份方法，所以创建完策略之后会立刻进入同步状态(假设之后没有写数据)。首先，驱动模块会将其位图(bitmap)传给备份模块，传至备份模块后，此时，驱动模块中的位图(bitmap)中所有的位全部置为0。备份模块则会根据收到的位图(bitmap)中的信息将源端磁盘中对应的区域中数据进行备份，每完成一个块的备份时，备份模块中的位图(bitmap)中对应的位置为0，等到备份模块中位图(bitmap)全部位置为0后，则表示初次全完同步完成。

后续增量同步备份：上述初次全盘同步备份过程中假设是没有写操作，然而现实中这种情况的存在性很低，系统盘一般时刻都会有写操作，当驱动模块将创建好的位图(bitmap)发送给备份程序时，此时，系统盘立马就会有写操作，此时，驱动模块会时刻监听并捕获上层发往磁盘驱动的写IO，一旦获取，会立刻更新将其位图(bitmap)中对应的位置1，然后将当前的位图(bitmap)发给备份模块，成功发送之后，则会立刻将其位图(bitmap)中原来1的位置为0。当备份模块接收到位图时，不管初次同步备份有没有完成，备份模块会将自己原来的位图(bitmap)和本次驱动模块发过来的位图(bitmap)进行一个整合，并以整合过的bitmap为备份依据，进行新的一轮备份，如果源端磁盘一直都有写操作，那么此同步过程将会一直循环下去。

异常出错情况下的自我调节：由于机器存在的不确定性，如果生产端机器突然出现异常等情况，实时同步备份还没有完全备份结束(这里的结束指的是没有需要备份的数据，因为实时备份的情况下，备份模块会一直处于工作状态下，一旦有新的数据，会立刻进行备份)。当驱动模块将其位图(bitmap)传送给备份模块后，当源端机器出现异常情况时，备份程序会先将该份位图(bitmap)保存在文件中，当源端机器重启后，备份模块则优先以该位图(bitmap)为主进行备份。如果此时驱动模块捕获到了新的写操作，则会和现有的位图(bitmap)进行合并然后备份。这里需说明的是，本发明之备份模块中位图(bitmap)上的位从1置为0的前提是：备端将该块的数据成功写入到备端磁盘上，这样一来确保了备份的准确性。

综上所述，本发明一种基于块复制的实时同步系统及方法通过于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块，利用驱动模块捕捉源端磁盘的IO的操作，将产生该些变化的IO操作转化成位图中的位图信息传送至备份模块，由备份模块根据位图信息将源端磁盘上相应块的数据备份到备端，实现了基于块复制的实时同步目的，通过本发明，可以可以随时将源端磁盘数据备份至备端磁盘。

与现有技术相比，本发明具有如下优点：

1、实时性：在实时备份时，每次源端往磁盘写数据的时候，都会被驱动所捕获，会将变化数据及时传输到备端，完成数据同步。

2、高效性：在本发明中，驱动模块是位于文件系统之下和硬件磁盘驱动之上的，忽略了文件和结构，处理过程简洁，因此在执行过程中所花费在搜索操作上的开销较少，备份的性能很高，而且当文件出现一个很小的改动的时候，它不需要对整个文件做备份，只是会去对做改动部分的磁盘块进行备份，有效的提高了备份效率，节省了备份时间。数据在内核态进行转发，不通过用户层，避免了进程的来回切换开销。

3、不依赖文件系统：本发明中，驱动没模块是基于磁盘块进行备份的，所以它不受文件系统的限制，可以支持各种文件系统甚至没有文件系统的磁盘也可以进行数据备份。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种基于块复制的实时同步系统，包括：

位图构建模块，用于对源端磁盘空间进行划分，根据划分结果于驱动模块中构建源端磁盘的位图；

驱动模块，用于实时捕捉源端磁盘上的数据变化，将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块；

备份模块，根据获得的位图，将源端磁盘上相应块的数据备份到备端。

2.如权利要求1所述的一种基于块复制的实时同步系统，其特征在于：所述位图构建模块对源端磁盘空间划分为N-1个空间大小相等以及最后一个小于或等于其他大小的小磁盘空间，并对其构建位图，所述位图中的位与各小磁盘空间对应。

3.如权利要求2所述的一种基于块复制的实时同步系统，其特征在于：所述位图构建模块于构建位图后，对所述位图的每个位的值进行初始化，对所述位图的每个位置位，以表示对应的所有数据块的数据均需同步。

4.如权利要求2所述的一种基于块复制的实时同步系统，其特征在于:所述驱动模块位于源端的文件系统之下和硬件磁盘驱动之上。

5.如权利要求4所述的一种基于块复制的实时同步系统，其特征在于:所述驱动模块时刻监听并捕获上层发往源端磁盘驱动的写IO，于获取到磁盘的数据变化信息，则更新位图，将其位图中对应的位置位，以表示该位对应的数据块有数据变化，并将更新后的位图发给所述备份模块，于位图成功发送之后，将置位的位复位，以表示该位对应的数据块无数据变化，以便后续对磁盘数据的监测。

6.如权利要求5所述的一种基于块复制的实时同步系统，其特征在于:在所述位图构建模块构建并初始化位图后，所述驱动模块将该位图传送给所述备份模块，并将构建于驱动模块中的该位图中所有的位全部复位。

7.如权利要求6所述的一种基于块复制的实时同步系统，其特征在于:所述备份模块于接收到所述驱动模块发送的位图后，将当前接收到的位图与前一次接收到的位图进行整合，并根据整合后的位图将源端磁盘上相应块的数据备份到备端。

8.如权利要求7所述的一种基于块复制的实时同步系统，其特征在于:所述备份模块根据整合后的位图中的信息，将对应的源端磁盘中有数据变化的数据块逐一备份至备端，并于每完成一个块的备份时，将所述备份模块中的位图中对应的位复位。

9.如权利要求1所述的一种基于块复制的实时同步系统，其特征在于:在所述驱动模块将其位图传送给所述备份模块后，当源端机器出现异常情况时，所述备份模块先将该位图保存在文件中，当源端机器重启后，所述备份模块优先以该文件中的位图为主进行备份，若此时所述驱动模块捕获到了新的数据变化，则将从所述驱动模块获得的新位图与该位图进行合并后进行同步备份。

10.一种基于块复制的实时同步方法，包括如下步骤：

步骤S1，于源端的文件系统之下和硬件磁盘驱动之上设置驱动模块；

步骤S2，对源端磁盘空间进行划分，根据划分结果于驱动模块构建源端磁盘的位图；

步骤S3，利用所述驱动模块实时捕捉源端磁盘上的数据变化，并将产生该些变化的IO操作转化成位图中的位图信息，并将位图传送至备份模块；

步骤S4，所述备份模块根据获得的位图，将源端磁盘上相应块的数据备份到备端。

Images