CN111737260A - 一种数据复制一致性检查的方法及系统 - Google Patents

Abstract

本发明提出了一种数据复制一致性检查的方法及系统，其中，该方法包括：根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；将第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值；根据相同的预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；将第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值；比较第二哈希值与第四哈希值，如果相等则判定数据一致，如果不相等则判定数据不一致。利用本发明提出的数据复制一致性检查的方法及系统，可以在确保一致性检查准确性的前提下，降低传输数据量、计算量并且缩短比对处理的耗时。

Description

一种数据复制一致性检查的方法及系统

技术领域

本发明涉及分布式计算技术领域，尤指一种数据复制一致性检查的方法及系统。

背景技术

在分布式计算领域，广泛通过数据复制技术将数据从源系统同步到目标系统。为确保数据复制的正确性，需要定期检查目标系统与源系统复制数据是否一致。

为了检查数据复制一致性，最直接的方法是全量数据比对。具体方法是：从源系统读取数据，将数据发送到目标系统，逐一比对。

另外，还有一种可选方法是全量数据计算哈希值，具体方法是：从源系统按特定顺序(需要严格排序)读取数据，将所有数据连接起来组成一个字节流，针对该字节流计算哈希值Hasha；在目标系统，用同样方法计算哈希值Hashb，并与源系统得到的Hasha比较，如果二者相等，则认为数据一致，否则认为数据不一致。

综上来看，第一种方式通过全量数据比对，该方法会存在传输数据量比较大、比对耗时较长等问题；第二种方式通过全量数据计算哈希值进行比对，该方式会存在计算量太大等问题。

因此，亟需一种可以克服上述问题，降低传输数据量、耗时短且计算量较小的检查目标系统与源系统复制数据是否一致的方案。

发明内容

为克服上述问题，本发明提出了一种数据复制一致性检查的方法及系统，该方法及系统分别对源系统及目标系统的每条数据采用哈希算法计算哈希值，进而将该些哈希值连接组成一个字节流再次利用哈希算法计算哈希值，通过比较该计算结果判断数据复制的一致性。其中所采用的两种哈希算法可以根据所要计算的数据的特点，采用不同类型的哈希算法，从而降低计算量；整体方案在实施过程中相较于现有技术可以降低传输数据量、缩短处理耗时。

在本发明的第一方面，提出了一种数据复制一致性检查的方法，该方法包括：

根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；

将所述第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值；

根据相同的所述预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；

将所述第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值；

比较所述第二哈希值与第四哈希值，如果相等则判定数据一致，如果不相等则判定数据不一致。

在本发明的第二方面，提出了一种数据复制一致性检查的系统，该系统包括：

源系统第一计算模块，用于根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；

源系统第二计算模块，用于将所述第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值；

目标系统第一计算模块，用于根据相同的所述预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；

目标系统第二计算模块，用于将所述第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值；

一致性检查模块，用于比较所述第二哈希值与第四哈希值，如果相等则判定数据一致，如果不相等则判定数据不一致。

在本发明的第三方面，提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现数据复制一致性检查的方法。

在本发明的第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现数据复制一致性检查的方法。

利用本发明提出的数据复制一致性检查的方法及系统，可以在确保一致性检查准确性的前提下，降低传输数据量、计算量并且缩短比对处理的耗时。

附图说明

为了更清楚地说明本申请实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明一实施例的数据复制一致性检查的系统架构示意图。

图2是本发明一实施例的源系统的数据处理流程示意图。

图3是本发明一实施例的目标系统的数据处理流程示意图。

图4是本发明一实施例的数据复制一致性检查的方法流程示意图。

图5是本发明另一实施例的数据复制一致性检查的方法流程示意图。

图6是本发明一实施例的计算机设备结构示意图。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整地传达给本领域的技术人员。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据复制一致性检查的方法及系统。

在本发明实施例中，需要说明的术语有：

数据复制：将一组数据从一个源系统拷贝到一个或多个目标系统的技术。典型的场景如，源数据库MySQL，通过binlog将数据变化发送给目标数据库；目标数据库MySQL通过应用收到的binlog，实现数据复制。

哈希：将任意长度的输入，通过散列算法变换为固定长度的输出。

下面参考本发明的若干代表性实施方式，详细阐释本发明的原理和精神。

图1是本发明一实施例的数据复制一致性检查的系统架构示意图。如图1所示，该系统包括：

源系统第一计算模块110，用于根据预设顺序对源系统100中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；

源系统第二计算模块120，用于将所述第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值；

目标系统第一计算模块130，用于根据相同的所述预设顺序对目标系统200中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；

目标系统第二计算模块140，用于将所述第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值；

一致性检查模块150，用于比较所述第二哈希值与第四哈希值，如果相等则判定数据一致，如果不相等则判定数据不一致。

在一实施例中，参考图1，该系统还包括：

数据复制模块160，用于将源系统100中的原始数据复制至目标系统200。

在一实施例中，源系统第一计算模块110及目标系统第一计算模块130可以分别设置在对应的源系统100和目标系统200中，这样可以直接在保存数据的系统内，直接完成第一哈希值及第三哈希值的计算。进一步的，在进行第二哈希算法计算第二哈希值及第四哈希值时，只需要从保存数据的系统获取较少的数据量，减少网络传输需求。

举例而言，一条原始数据1600字节，经过第一哈希算法计算后，所得到的哈希值只保留16字节。

进一步的，将按预设顺序(需要严格排序)计算得到的第一哈希值，连接组成一个字节流；进而对该字节流进行第二哈希算法计算得到第二哈希值。

具体的，参考图2，为本发明一实施例的源系统的数据处理流程示意图。

如图2所示，在源系统100中，可以对每条原始数据设置顺序编号，例如，数据1、数据2、数据3、…、数据N。

由源系统第一计算模块110，按照所述顺序编号分别对所述源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值Hash[1,2,3,…,N]；其中，1,2,3,…,N为每条原始数据对应的顺序编号。

这里，第一哈希算法可以采用计算量较少的算法，以降低计算量以及确保计算速度，例如，CRC32、CRC64或MurmurHash哈希算法。

计算完成后，将所述第一哈希值连接组成一字节流，进而由源系统第二计算模块120，利用第二哈希算法计算得到第二哈希值HashA；

这里，第二哈希算法可以采用哈希冲突较少的算法，以保证一致性检查的准确性，例如，MD5、SHA1、SHA256、SHA384或SHA512哈希算法。

上述所采用的哈希算法仅为示例性的，在实际应用中可以根据情况进行调整。

进一步的，参考图3，为本发明一实施例的目标系统的数据处理流程示意图。该系统的数据处理流程与源系统100相同。

如图3所示，在目标系统200中，可以对复制的每条数据，设置与所述源系统中对应的原始数据相同的顺序编号，例如，数据1、数据2、数据3、…、数据N。

由目标系统第一计算模块120，按照所述顺序编号分别对所述目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值Hash'[1,2,3,…,N]；其中，1,2,3,…,N为每条原始数据对应的顺序编号。

计算完成后，将所述第三哈希值连接组成一字节流，进而由目标系统第二计算模块140，利用第二哈希算法计算得到第二哈希值HashB；

最后，由一致性检查模块150比较HashA及HashB，如果相等则判定数据一致，如果不相等则判定数据不一致。

利用哈希算法时理论上存在哈希冲突，导致判断失误，但是，在合理选择哈希算法的前提下，在检查数据复制一致性的场景下检查数据一致性误判的概率极低，可以有效进行数据复制一致性检查。

基于上述过程，在满足一定可靠性的前提下，需要从源系统传递到目标系统的数据量极少，减少了网络传输需求。

相较于现有技术，利用上述系统进行数据复制一致性检查时，可以在确保一致性检查准确性的前提下，降低传输数据量、计算量并且缩短比对处理的耗时。

应当注意，尽管在上文详细描述中提及了数据复制一致性检查的系统的若干模块，但是这种划分仅仅是示例性的并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块的特征和功能可以在一个模块中具体化。反之，上文描述的一个模块的特征和功能可以进一步划分为由多个模块来具体化。

在介绍了本发明示例性实施方式的系统之后，接下来，参考图4对本发明示例性实施方式的数据复制一致性检查的方法进行介绍。

数据复制一致性检查的方法的实施可以参见上述系统的实施，重复之处不再赘述。

基于同一发明构思，本发明还提出了一种数据复制一致性检查的方法，如图4所示，该方法包括：

步骤S401，根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；其中，详细过程为：

对所述源系统中每条原始数据设置顺序编号；

按照所述顺序编号分别对所述源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值Hash[1,2,3,…,N]；其中，1,2,3,…,N为每条原始数据对应的顺序编号。

步骤S402，将所述第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值，如HashA；

步骤S403，根据相同的所述预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；其中，详细过程为：

对目标系统中复制的每条数据，设置与所述源系统中对应的原始数据相同的顺序编号；

按照所述顺序编号分别对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值Hash'[1,2,3,…,N]；其中，1,2,3,…,N为复制的每条数据对应的顺序编号。

步骤S404，将所述第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值，如HashB；

步骤S405，比较所述第二哈希值HashA与第四哈希值HashB，如果相等则判定数据一致，如果不相等则判定数据不一致。

在另一实施例中，参考图5，为本发明另一实施例的数据复制一致性检查的方法流程示意图。如图5所示，该方法还包括：

步骤S400，将源系统中的原始数据复制至目标系统。

在另一实施例中，所述第一哈希算法采用CRC32、CRC64或MurmurHash哈希算法。

在另一实施例中，所述第二哈希算法采用MD5、SHA1、SHA256、SHA384或SHA512哈希算法。

需要说明的是，尽管在上述实施例及附图中以特定顺序描述了本发明方法的操作，但是，这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

参考表1，将本发明提出的数据复制一致性检查的方法与现有技术进行比较可知：

表1

经过比较可知，本发明提出的方法可以使用较少资源，迅速、准确的完成数据复制的一致性检查。

基于前述发明构思，如图6所示，本发明还提出了一种计算机设备600，包括存储器610、处理器620及存储在存储器610上并可在处理器620上运行的计算机程序630，所述处理器620执行所述计算机程序630时实现前述数据复制一致性检查的方法。

基于前述发明构思，本发明还提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现前述数据复制一致性检查的方法。

利用本发明提出的数据复制一致性检查的方法及系统，可以在确保一致性检查准确性的前提下，降低传输数据量、计算量并且缩短比对处理的耗时。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种数据复制一致性检查的方法，其特征在于，该方法包括：

根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；

将所述第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值；

根据相同的所述预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；

将所述第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值；

比较所述第二哈希值与第四哈希值，如果相等则判定数据一致，如果不相等则判定数据不一致。

2.根据权利要求1所述的数据复制一致性检查的方法，其特征在于，该方法还包括：

将源系统中的原始数据复制至目标系统。

3.根据权利要求1所述的数据复制一致性检查的方法，其特征在于，所述第一哈希算法采用CRC32、CRC64或MurmurHash哈希算法。

4.根据权利要求1所述的数据复制一致性检查的方法，其特征在于，所述第二哈希算法采用MD5、SHA1、SHA256、SHA384或SHA512哈希算法。

5.根据权利要求1所述的数据复制一致性检查的方法，其特征在于，根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值，包括：

对所述源系统中每条原始数据设置顺序编号；

按照所述顺序编号分别对所述源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值Hash[1,2,3,…,N]；其中，1,2,3,…,N为每条原始数据对应的顺序编号。

6.根据权利要求1所述的数据复制一致性检查的方法，其特征在于，根据相同的所述预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值，包括：

对目标系统中复制的每条数据，设置与所述源系统中对应的原始数据相同的顺序编号；

按照所述顺序编号分别对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值Hash'[1,2,3,…,N]；其中，1,2,3,…,N为复制的每条数据对应的顺序编号。

7.一种数据复制一致性检查的系统，其特征在于，该系统包括：

源系统第一计算模块，用于根据预设顺序对源系统中每条原始数据，分别利用第一哈希算法计算得到第一哈希值；

源系统第二计算模块，用于将所述第一哈希值连接组成一字节流，利用第二哈希算法计算得到第二哈希值；

目标系统第一计算模块，用于根据相同的所述预设顺序对目标系统中复制的每条数据，分别利用第一哈希算法计算得到第三哈希值；

目标系统第二计算模块，用于将所述第三哈希值连接组成一字节流，利用第二哈希算法计算得到第四哈希值；

一致性检查模块，用于比较所述第二哈希值与第四哈希值，如果相等则判定数据一致，如果不相等则判定数据不一致。

8.根据权利要求7所述的数据复制一致性检查的系统，其特征在于，该系统还包括：

数据复制模块，用于将源系统中的原始数据复制至目标系统。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6任一所述方法。

Images