CN110413693A - 一种数据库实时同步系统数据一致性的检验方法及装置 - Google Patents

Abstract

本发明公开了一种数据库实时同步系统数据一致性的检验方法及装置，所述方法包括如下步骤：步骤S1，保持源端数据库到目标数据库的同步任务处于执行状态，获取源端数据库当前时间点T1；步骤S2，检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，根据判断结果确定返回步骤S1或暂停同步任务；步骤S3，获取目标数据库的当前时间点T2；步骤S4，获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告，本发明可在源端数据库有数据变化的情况下实现数据一致性检验的目的，提高了同步数据一致性的检测效率，确保了数据库同步系统的正确运行。

Description

一种数据库实时同步系统数据一致性的检验方法及装置

技术领域

本发明涉及计算机数据库同步领域，特别是涉及一种数据变化情况下的数据库实时同步系统数据一致性的检验方法及装置。

背景技术

随着信息化建设的高速发展，信息系统已经成为企业维持业务运转的关键，企业迫切需要提高信息系统的可用性，保证业务的连续性，最大限度地减少因灾难或故障所带来的损失。另一方面，多样化的业务类型导致数据访问需求的日趋复杂化，数据量的急剧攀升也导致数据库服务器不堪重负，企业同样迫切需要提高信息系统的运行效率。

数据库实时同步系统基于成熟的关系数据模型和标准接口，能以极少的系统开支实现秒级数据实时同步，可广泛应用于应急系统、容灾备份、负载均衡、数据移植、联机维护、多业务中心等业务领域。

在数据库同步中，需要验证源端与目标端数据库的数据是否一致，即数据一致性检验，也就是两侧表的数据是否一致。在实时同步系统中，源端数据库的数据在实时变化，目标库也随之实时更新，但是由于延迟，目标数据库数据可能比源端数据库数据落后，现有技术中，数据一致性的检验一般是在源端数据库没有数据变化的情况下才能进行，而在源端数据库有数据变化时，无法实时准确地进行源端数据库与目标数据库的数据一致性的检验。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种数据库实时同步系统数据一致性的检验方法及装置，以在源端数据库有数据变化的情况下实现数据一致性检验的目的，提高同步数据一致性的检测效率，确保数据库同步系统的正确运行。

为达上述目的，本发明提出一种数据库实时同步系统数据一致性的检验方法，包括如下步骤：

步骤S1，保持源端数据库到目标数据库的同步任务处于执行状态，获取源端数据库当前时间点T1；

步骤S2，检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，根据判断结果确定返回步骤S1或暂停同步任务；

步骤S3，获取目标数据库的当前时间点T2；

步骤S4，获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告。

优选地，所述时间点T1与时间点T2为对应数据库的时间戳信息。

优选地，所述数据D1为源端数据库以T1时间点做快照获得的数据，所述数据D2为目标数据库以T2时间点做快照获得的数据。

优选地，于步骤S2中，若所述目标数据库已经完成同步的变化数据的时间大于T1，则返回步骤S1，若所述目标数据库已经完成同步的变化数据的时间小于T1，则进行等待，直到下一个将要同步的变化数据的时间大于T1，并暂停同步任务。

优选地，于步骤S4之前，还包括如下步骤：

在获取目标数据库的当前时间点T2后，启动并继续执行所述同步任务。

为达到上述目的，本发明还提供一种数据库实时同步系统数据一致性的检验装置，包括：

源端数据库时间点获取单元，用于获取源端数据库当前时间点T1；

同步任务执行程度判断处理单元，用于检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，并根据判断结果确定返回所述源端数据库时间点获取单元或暂停同步任务；

目标数据库时间点获取单元，用于获取目标数据库的当前时间点T2；

数据比对单元，用于获取所述源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告。

优选地，所述时间点T1与时间点T2为对应数据库的时间戳信息。

优选地，所述数据D1为源端数据库以T1时间点做快照获得的数据，所述数据D2为目标数据库以T2时间点做快照获得的数据。

优选地，于所述同步任务执行程度判断处理单元中，若所述目标数据库已经完成同步的变化数据的时间大于时间点T1，则返回所述源端数据库时间点获取单元，若所述目标数据库已经完成同步的变化数据的时间小于时间点T1，则进行等待，直到下一个将要同步的变化数据的时间大于时间点T1，并暂停同步任务。

优选地，所述装置还包括同步任务启动单元，用于在所述目标数据库时间点获取单元获取到目标数据库的当前时间点T2后，启动所暂停的同步任务，以继续执行所述同步任务。

与现有技术相比，本发明一种数据库实时同步系统数据一致性的检验方法及装置通过获取源端数据库当前时间点T1，将该时间点T1发送到目标端，检查目标端同步任务的执行进度是否同步到了所述当前时间点T1，并于目标数据库数据同步到源库时间点T1时，获取目标数据库当前时间点T2，并获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2进行比对，实现了在数据库实时同步过程中进行动态表对比，从而在源端数据库有数据变化的情况下实现数据一致性检验的目的，提高了同步数据一致性的检测效率，确保了数据库同步系统的正确运行。

附图说明

图1为本发明一种数据库实时同步系统数据一致性的检验方法的步骤流程图；

图2为本发明一种数据库实时同步系统数据一致性的检验装置的系统架构图；

图3为本发明具体实施例中数据库实时同步系统数据一致性的检验过程示意图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种数据库实时同步系统数据一致性的检验方法的步骤流程图。如图1所示，本发明一种数据库实时同步系统数据一致性的检验方法，包括如下步骤：

步骤S1，保持源端数据库到目标数据库的同步任务处于执行状态，获取源端数据库当前时间点T1。在本发明具体实施例中，源端数据库的变化数据需要携带其变化的时间点，所述当前时间点T1为时间戳信息SCN。

一般来说，数据库有自己的时间轴，而且每个操作都有一个执行时间，即时间戳信息SCN。针对不同的数据库平台，时间戳信息将有所不同。对于Oracle数据库来说，可供校验使用的时间戳信息为SCN。所谓的SCN全称为System Change Number，是Oracle数据库的一个内部时间戳，用于标识数据库某个确切提交的版本。在事务提交或者回滚时，它被赋予一个唯一的标识事务的SCN，用来保证数据的一致性，作为数据库内部的逻辑时钟，数据库事务依SCN而排序，SCN在数据库中是唯一的，并随时间而增加，除非重建数据库，SCN的值永远不会被重置为0。

步骤S2，检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，根据判断结果确定返回步骤S1或暂停同步任务。也就是说，在同步过程中，目标数据库由于数据落后需要检查是否同步到了源端数据库时间点T1，在本发明具体实施例中，若目标数据库已经完成同步的变化数据的时间大于时间点T1，则返回步骤S1，若目标数据库已经完成同步的变化数据的时间小于时间点T1，则进行等待，直到下一个将要同步的变化数据的时间大于时间点T1，并暂停同步任务。具体地说，为了保证源端数据库与目标数据库表数据的对比结果正确，就需要在目标数据库选择一个合适的目标库时间点，在该目标库时间点，来自源端数据库的当前时间点T1之前的增量数据都已装载到目标数据库，在时间点T1之后的增量数据都没有装载，如果目标数据库已同步的数据的时间大于时间点T1，即说明时间点T1之后的数据已经装载到目标数据库，也就是说目标数据库当前时间点的数据跟源端数据库T1时间点的数据不同，不能用作快照时间点。

步骤S3，获取目标数据库的当前时间点T2。也就是说，经过前述步骤，源端数据库的时间点T1前的数据都已装载到目标数据库，而时间点T1之后的数据还没有装载，即认为目标数据库数据和源端数据库数据持平，该时间点T2正是源端数据库时间点T1对应的目标数据库时间点。

步骤S4，获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告。在本发明具体实施例中，源端数据库以T1时间点做快照，获得T1时间点数据D1，目标数据库以T2时间点做快照，获得T2时间点数据D2，然后对比数据差异，根据对比结果生成对比报告。

优选地，于步骤S4之前，还包括如下步骤：

在获取到目标数据库的当前时间点T2后，继续同步任务。由于在获得正确的时间点后，可以再用数据库的快照功能，快照机制保证读取的数据是指定时间点的数据，不受数据变化的影响，所以此时同步可以继续，与对比同时进行。一般来说，同步的进度不能耽误太久，因为目标数据库的数据有可能是有业务需要及时用的。

图2为本发明一种数据库实时同步系统数据一致性的检验装置的系统架构图。如图2所示，本发明一种数据库实时同步系统数据一致性的检验装置，包括：

源端数据库时间点获取单元201，用于获取源端数据库当前时间点T1。在本发明中，保持源端数据库到目标数据库的同步任务处于执行状态，源端数据库时间点获取单元201获取源端数据库当前时间点T1。在本发明具体实施例中，源端数据库的变化数据需要携带其变化的时间点，所述当前时间点T1则为时间戳信息SCN。

一般来说，数据库有自己的时间轴，而且每个操作都有一个执行时间，即时间戳信息SCN。针对不同的数据库平台，时间戳信息将有所不同。对于oracle数据库来说，可供校验使用的时间戳信息为SCN。所谓的SCN全称为System Change Number，是oracle database的一个内部时间戳，用于标识数据库某个确切提交的版本。在事务提交或者回滚时，它被赋予一个唯一的标识事务的SCN，用来保证数据的一致性，作为数据库内部的逻辑时钟，数据库事务依SCN而排序，SCN在数据库中是唯一的，并随时间而增加，除非重建数据库，SCN的值永远不会被重置为0。

同步任务执行程度判断处理单元202，用于检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，并根据判断结果确定返回源端数据库时间点获取单元201或暂停同步任务。也就是说，在同步过程中，目标数据库由于数据落后需要检查是否同步到了源端数据库时间点T1，在本发明具体实施例中，若目标数据库已经完成同步的变化数据的时间大于时间点T1，则返回源端数据库时间点获取单元201，若目标数据库已经完成同步的变化数据的时间小于时间点T1，则进行等待，直到下一个将要同步的变化数据的时间大于时间点T1，并暂停同步任务。具体地说，为了保证源端数据库与目标数据库表数据的对比结果正确，就需要在目标数据库选择一个合适的目标库时间点，在该目标库时间点，来自源端数据库的当前时间点T1之前的增量数据都已装载到目标数据库，在时间点T1之后的增量数据都没有装载，如果目标数据库已同步的数据的时间大于时间点T1，即说明时间点T1之后的数据已经装载到目标数据库，也就是说目标数据库当前时间点的数据跟源端数据库T1时间点的数据不同，不能用作快照时间点。

目标数据库时间点获取单元203，用于获取目标数据库的当前时间点T2。也就是说，经过同步任务执行程度判断处理单元202，源端数据库的时间点T1前的数据都已装载到目标数据库，而时间点T1之后的数据还没有装载，该时间点T2正是源端数据库时间点T1对应的目标数据库时间点。

数据比对单元204，用于获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告。在本发明具体实施例中，源端数据库以T1时间点做快照，获得T1时间点数据D1，目标数据库以T2时间点做快照，获得T2时间点数据D2，然后对比数据差异，根据对比结果生成对比报告。

优选地，本发明一种数据库实时同步系统数据一致性的检验装置还包括：

同步任务启动单元，用于在目标数据库时间点获取单元203获取到目标数据库的当前时间点T2后，启动同步任务，以继续同步任务。由于在获得正确的时间点后，可以再用数据库的快照功能，快照机制保证读取的数据是指定时间点的数据，不受数据变化的影响，所以此时同步可以继续，与对比同时进行。一般来说，同步的进度不能耽误太久，因为目标数据库的数据有可能是有业务需要及时用的。

图3为本发明具体实施例中数据库实时同步系统数据一致性的检验过程示意图。以下将通过一具体实施例来进一步说明本发明之数据一致性检验过程：

步骤一，保持源库到目标库的同步任务处于执行状态，源库的变化数据需要携带其变化的时间点，获取源端数据库的时间点T1，数据库有自己的时间轴，而且每个操作都有一个执行时间，在本实施例中，源端数据库与目标数据库均为Oracle数据库，其采用递增的序号SCN作为时间轴；

步骤二，将源端数据库的时间点T1发送到目标端；

步骤三，检查同步任务的执行进度，如果目标数据库已经完成同步的变化数据的时间大于T1，则返回重复步骤一；如果已经完成同步的变化数据的时间小于T1，则等待，直到下一个将要同步的变化数据的时间大于T1；

步骤四，暂停同步任务；

步骤五，获取目标数据库的时间点T2。在本实施例中，该时间点T2就是目标数据库当前的SCN。经过前面的步骤，源端数据库的时间点T1前的数据都已装载到目标数据库，时间点T1之后的数据还没有装载，该时间点T2正好是源端数据库时间点T1对应的目标数据库时间点；

步骤六，继续同步任务。在拿到正确的时间点后，可以利用数据库的快照功能，快照机制保证读取的数据是指定时间点的数据，不受数据变化的影响。所以此时同步可以继续，与对比同时进行。一般来说，同步的进度不能耽误太久，因为目标数据库的数据有可能是有业务要用的。

步骤七，源端数据库以T1时间点做快照，目标数据库以T2时间点做快照，同时查询数据，并对比数据差异。

步骤八，生成对比报告，对比完成。

综上所述，本发明一种数据库实时同步系统数据一致性的检验方法及装置通过获取源端数据库当前时间点T1，将该时间点T1发送到目标端，检查目标端同步任务的执行进度是否同步到了所述当前时间点T1，并于目标数据库数据同步到源库时间点T1时，获取目标数据库当前时间点T2，并获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2进行比对，实现了在数据库实时同步过程中进行动态表对比，从而在源端数据库有数据变化的情况下实现数据一致性检验的目的，提高了同步数据一致性的检测效率，确保了数据库同步系统的正确运行。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (10)

1.一种数据库实时同步系统数据一致性的检验方法，包括如下步骤：

步骤S1，保持源端数据库到目标数据库的同步任务处于执行状态，获取源端数据库当前时间点T1；

步骤S2，检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，根据判断结果确定返回步骤S1或暂停同步任务；

步骤S3，获取目标数据库的当前时间点T2；

步骤S4，获取源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告。

2.如权利要求1所述的一种数据库实时同步系统数据一致性的检验方法，其特征在于：所述时间点T1与时间点T2为对应数据库的时间戳信息。

3.如权利要求2所述的一种数据库实时同步系统数据一致性的检验方法，其特征在于：所述数据D1为源端数据库以T1时间点做快照获得的数据，所述数据D2为目标数据库以T2时间点做快照获得的数据。

4.如权利要求3所述的一种数据库实时同步系统数据一致性的检验方法，其特征在于：于步骤S2中，若所述目标数据库已经完成同步的变化数据的时间大于时间点T1，则返回步骤S1，若所述目标数据库已经完成同步的变化数据的时间小于时间点T1，则进行等待，直到下一个将要同步的变化数据的时间大于时间点T1，并暂停同步任务。

5.如权利要求4所述的一种数据库实时同步系统数据一致性的检验方法，其特征在于，于步骤S4之前，还包括如下步骤：

在获取目标数据库的当前时间点T2后，启动并继续执行所述同步任务。

6.一种数据库实时同步系统数据一致性的检验装置，包括：

源端数据库时间点获取单元，用于获取源端数据库当前时间点T1；

同步任务执行程度判断处理单元，用于检查目标数据库同步任务的执行进度是否同步到了所述当前时间点T1，并根据判断结果确定返回所述源端数据库时间点获取单元或暂停同步任务；

目标数据库时间点获取单元，用于获取目标数据库的当前时间点T2；

数据比对单元，用于获取所述源端数据库T1时间点的数据D1以及目标数据库T2时间点的数据D2，并对其进行对比，生成对比报告。

7.如权利要求6所述的一种数据库实时同步系统数据一致性的检验装置，其特征在于：所述时间点T1与时间点T2为对应数据库的时间戳信息。

8.如权利要求7所述的一种数据库实时同步系统数据一致性的检验装置，其特征在于：所述数据D1为源端数据库以T1时间点做快照获得的数据，所述数据D2为目标数据库以T2时间点做快照获得的数据。

9.如权利要求8所述的一种数据库实时同步系统数据一致性的检验装置，其特征在于：于所述同步任务执行程度判断处理单元中，若所述目标数据库已经完成同步的变化数据的时间大于时间点T1，则返回所述源端数据库时间点获取单元，若所述目标数据库已经完成同步的变化数据的时间小于时间点T1，则进行等待，直到下一个将要同步的变化数据的时间大于时间点T1，并暂停同步任务。

10.如权利要求9所述的一种数据库实时同步系统数据一致性的检验装置，其特征在于：所述装置还包括同步任务启动单元，用于在所述目标数据库时间点获取单元获取到目标数据库的当前时间点T2后，启动所暂停的同步任务，以继续执行所述同步任务。