CN111143470A - 跨平台数据库数据同步比对方法及装置 - Google Patents

Abstract

本发明公开了一种跨平台数据库数据同步比对方法及装置，该方法包括：根据源端数据库中待同步数据表的表结构对待同步数据表进行更新操作，获取更新结果；预设时间间隔后，根据更新操作的内容，在目的端数据库进行查询操作，获取查询结果；将更新结果与查询结果进行比对，生成比对结果。本发明可以根据源端数据库中待同步数据表的表结构自动对待同步数据表进行更新操作，获取更新结果，并根据更新操作的内容，在目的端数据库自动进行查询操作，获取查询结果，再将更新结果与查询结果进行比对，自动生成比对结果，整个数据同步对比过程均可自动完成，无需人工参与，提高了对更数据同步结果验证的准确率，节省了大量的人力资源，工作效率较高。

Description

跨平台数据库数据同步比对方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种跨平台数据库数据同步比对方法及装置。

背景技术

在实际产品架构设计中，经常会遇到数据同步的场景，即通过数据同步工具，实现跨平台异构数据库之间的数据同步。但是目前数据同步结果正确性的验证，需要人工去操作比对，且比对依赖于表结构、字段类型，而对于上百个字段的数据表，难以保证对每个字段的修改、以及对边界值的更新都为正确，对更数据同步结果的验证准确率较低，且验证过程需要大量的人工操作，不仅会消耗大量的人力资源，而且工作效率较低。

发明内容

本发明实施例提供一种跨平台数据库数据同步比对方法，用以提高对更数据同步结果验证的准确率和工作效率，节省人力资源，该方法包括：

根据源端数据库中待同步数据表的表结构对所述待同步数据表进行更新操作，获取更新结果；

将所述更新操作的内容发送给目的端数据库，根据所述更新操作的内容，预设时间间隔后，在目的端数据库进行查询操作，获取查询结果；

将更新结果与查询结果进行比对，生成比对结果。

可选的，所述更新操作包括：增加操作、修改操作和删除操作。

可选的，所述修改操作包括：逐字段更新操作和边界值更新操作。

可选的，所述方法还包括：

将所述比对结果存储至预设报表中。

本发明实施例还提供一种跨平台数据库数据同步比对装置，用以提高对更数据同步结果验证的准确率和工作效率，节省人力资源，该装置包括：

更新模块，用于根据源端数据库中待同步数据表的表结构对所述待同步数据表进行更新操作，获取更新结果；

查询模块，用于将所述更新操作的内容发送给目的端数据库，根据所述更新操作的内容，预设时间间隔后，在目的端数据库进行查询操作，获取查询结果；

对比模块，用于将更新结果与查询结果进行比对，生成比对结果。

可选的，所述更新操作包括：增加操作、修改操作和删除操作。

可选的，所述修改操作包括：逐字段更新操作和边界值更新操作。

可选的，所述装置还包括：

存储模块，用于将所述比对结果存储至预设报表中。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

本发明实施例提供的跨平台数据库数据同步比对方法及装置，可以根据源端数据库中待同步数据表的表结构自动对待同步数据表进行更新操作，获取更新结果，并在预设时间间隔后，将更新操作的内容发送给目的端数据库，根据更新操作的内容，在目的端数据库自动进行查询操作，获取查询结果，再将更新结果与查询结果进行比对，自动生成比对结果，整个数据同步对比过程均可自动完成，无需人工参与，不仅提高了对更数据同步结果验证的准确率，而且节省了大量的人力资源，工作效率较高。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本发明实施例中跨平台数据库数据同步比对方法的流程图；

图2为本发明实施例中跨平台数据库数据同步比对方法的又一流程图。

图3为本发明实施例中跨平台数据库数据同步比对装置的结构示意图；

图4为本发明实施例中跨平台数据库数据同步比对装置的又一结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

需要说明的是，本申请中的数据同步指的是：不同数据库之间的数据同步，通常由第三方软件完成。即将源端数据库端中的数据进行更新，通过某种技术手段，如MQ(MessageQueue消息队列)通道，在短时间内，同步至目的端数据库。源数据库与目的端数据库可以跨平台，可为不同的数据库产品。

图1示出本发明实施例提供的跨平台数据库数据同步比对方法，如图1所示，该方法包括：

步骤101、根据源端数据库中待同步数据表的表结构对所述待同步数据表进行更新操作，获取更新结果。

在本实施例中，更新操作包括：增加操作、修改操作和删除操作。其中，修改操作包括：逐字段更新操作和边界值更新操作。

具体实施时，可以根据源端数据库中待同步数据表的表结构生成DML(DataManipulation Language，数据操作语言)指令，通过调用DML指令，获取对待同步数据表的增加、修改、删除脚本，并将该增加、修改、删除脚本发送至源端数据库中，获取更新结果。

步骤102、预设时间间隔后，将所述更新操作的内容发送给目的端数据库，根据所述更新操作的内容，在目的端数据库进行查询操作，获取查询结果。

具体实施时，在每一次完成上述更新操作后，根据更新操作的内容，获取查询脚本，然后经过路由选择，将查询脚本发送至目的端数据库，在目的端数据库进行查询操作，获取查询结果。

其中，“路由选择”指的是：根据具体的操作内容选择具体的数据库。例如，在进行更新操作时，路由选择即为源端数据库，而在进行查询操作时，路由选择即为目的端数据库。

需要说明的是，“将所述更新操作的内容发送给目的端数据库”具体指的是：将能够反映更新操作的内容的标识信息发送给目的端数据库，进而在目的端数据库中与待同步数据表对应的数据表进行查询，判断两个数据表在更新操作后是否一致。

“预设时间间隔”指的是等待数据更新同步的时间。

步骤103、将更新结果与查询结果进行比对，生成比对结果。

由图1可知，本发明实施例提供的跨平台数据库数据同步比对方法，可以根据源端数据库中待同步数据表的表结构自动对待同步数据表进行更新操作，获取更新结果，并在预设时间间隔后，将更新操作的内容发送给目的端数据库，根据更新操作的内容，在目的端数据库自动进行查询操作，获取查询结果，再将更新结果与查询结果进行比对，自动生成比对结果，整个数据同步对比过程均可自动完成，无需人工参与，不仅提高了对更数据同步结果验证的准确率，而且节省了大量的人力资源，工作效率较高。

为了便于用户查看比对结果，如附图2所示，该方法还包括：

步骤201、将比对结果存储至预设报表中。

在本实施例中，预设报表可以汇总单个表或多个表的比对结果。

下面以源端数据库为主机平台数据库DB2，目的端数据库为X86平台ORACLE数据库，同步工具为IBM公司的QREP(queue Replication数据同步工具)产品为例对本发明进行说明：

1、在利用本发明进行增加(也称插入)操作时，对比方法如下：

①、输入待比对的数据表的表名，新建一个空的表实体。

②、调用DML指令，获取待比对的数据表的插入实体，并将其转化为表实体(其中，“实体”指的是数据表中的一条记录)。根据反射机制，获取表实体的所有属性名，再拼接字段得到属性对应的建立方法，根据表结构给属性建立相应的值。

③、发起插入操作，该操作会被会被后续的路由选择操作拦截。

④、通过路由选择操作确定数据库：

该部分通过SPRING AOP切面实现。其中，Spring为开发框架，AOP为切面技术，具体实施例时，定义切点，截取增加、删除、修改、查询接口。

在执行接口方法前，获取执行的方法名，同定义的数据路由规则(配置在文件中，启动SPRING容器时加载进内存中)进行比较，设置不同的数据源，此处为写数据源，即主机DB2(源端数据库)。

⑤、在上述更新完成后，等待1秒(数据更新同步时间)，根据更新实体(实体主键)，发起查询操作，该操作也会被路由操作拦截。

⑥、通过路由选择操作确定数据库：

同第④步操作，根据执行方法名，选择读数据源，此处为ORACLE(目的端数据库)。

⑦、将上述插入实体与查询实体进行比对，并输出比对结果。

在此过程中，通过反射机制获取实体的所有字段属性，进行逐字段比对，生成每个字段的比对结果。

2、在利用本发明进行逐字段更新操作时，对比方法如下：

①、调用DML指令，获取待同步数据表中某一字段的更新实体。

②、根据待同步数据表的表结构生成更新实体，并返回。

此处根据字段类型生成字段正常值，例如，将XXXX更新为YYYY，将999更新为111。

③、根据更新实体发起更新操作。

④、选择数据源-此处为写数据源：主机DB2(源端数据库)。

⑤、获取查询实体。

⑥、选择数据源-此处为读数据源：ORACLE(目的端数据库)。

⑦、将更新实体与查询实体进行比对，并输出比对结果。

循环执行①-⑦步，进行逐字段正常值更新。

3、在利用本发明进行边界值更新操作时，对比方法如下：

①、调用DML指令，获取待同步数据表中某一字段的更新实体。

②、根据待同步数据表的表结构生成更新实体，并返回。

此处根据边界值库、字段类型生成字段边界值，如，将空字段更新为零、将数字类型更新为最大值或最小值等。

③、根据更新实体发起更新操作。

④、选择数据源-此处为写数据源：主机DB2(源端数据库)。

⑤、获取查询实体。

⑥、选择数据源-此处为读数据源：ORACLE(目的端数据库)。

⑦、将更新实体与查询实体进行比对，并输出比对结果。

循环执行①-⑦步，进行逐字段正常值更新。

4、在利用本发明进行删除操作时，对比方法如下：

①、根据更新实体发起删除操作。

②、选择数据源-此处为写数据源：主机DB2(源端数据库)。

③、获取查询实体。

④、选择数据源-此处为读数据源：ORACLE(目的端数据库)。

⑤、将更新实体与查询实体进行比对，并输出比对结果，如果未查询到记录，则更新成功。

基于同一发明构思，本发明实施例中还提供了一种跨平台数据库数据同步比对装置，如下面的实施例所述。由于跨平台数据库数据同步比对装置解决问题的原理与跨平台数据库数据同步比对方法相似，因此，跨平台数据库数据同步比对装置的实施可以参见跨平台数据库数据同步比对方法的实施，重复之处不再赘述。以下所使用的，术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3为本发明实施例提供的跨平台数据库数据同步比对装置，如附图3所示，该装置包括：

更新模块301，用于根据源端数据库中待同步数据表的表结构对所述待同步数据表进行更新操作，获取更新结果。

查询模块302，用于预设时间间隔后，将所述更新操作的内容发送给目的端数据库，根据所述更新操作的内容，在目的端数据库进行查询操作，获取查询结果。

对比模块303，用于将更新结果与所述查询结果进行比对，生成比对结果。

在本发明实施例中，所述更新操作包括：增加操作、修改操作和删除操作。

在本发明实施例中，所述修改操作包括：逐字段更新操作和边界值更新操作。

在本发明实施例中，如附图4所示，该装置还包括：

存储模块401，用于将所述比对结果存储至预设报表中。

本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述方法的计算机程序。

综上，本发明可以根据源端数据库中待同步数据表的表结构自动对待同步数据表进行更新操作，获取更新结果，并根据更新操作的内容，在目的端数据库自动进行查询操作，获取查询结果，再将更新结果与查询结果进行比对，自动生成比对结果，整个数据同步对比过程均可自动完成，无需人工参与，不仅提高了对更数据同步结果验证的准确率，而且节省了大量的人力资源，工作效率较高。

在实施例中，通过边界值更新操作能进一步保证更新的准确性，增大测试覆盖面。通过生成报表，可以汇总单个表或多个表的比对结果，更便于用户查看比对结果。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种跨平台数据库数据同步比对方法，其特征在于，包括：

根据源端数据库中待同步数据表的表结构对所述待同步数据表进行更新操作，获取更新结果；

预设时间间隔后，将所述更新操作的内容发送给目的端数据库，根据所述更新操作的内容，在目的端数据库进行查询操作，获取查询结果；

将更新结果与查询结果进行比对，生成比对结果。

2.如权利要求1所述的方法，其特征在于，所述更新操作包括：增加操作、修改操作和删除操作。

3.如权利要求2所述的方法，其特征在于，所述修改操作包括：逐字段更新操作和边界值更新操作。

4.如权利要求1所述的方法，其特征在于，还包括：

将所述比对结果存储至预设报表中。

5.一种跨平台数据库数据同步比对装置，其特征在于，包括：

更新模块，用于根据源端数据库中待同步数据表的表结构对所述待同步数据表进行更新操作，获取更新结果；

查询模块，用于将所述更新操作的内容发送给目的端数据库，根据所述更新操作的内容，预设时间间隔后，在目的端数据库进行查询操作，获取查询结果；

对比模块，用于将更新结果与查询结果进行比对，生成比对结果。

6.如权利要求5所述的装置，其特征在于，所述更新操作包括：增加操作、修改操作和删除操作。

7.如权利要求6所述的装置，其特征在于，所述修改操作包括：逐字段更新操作和边界值更新操作。

8.如权利要求5所述的装置，其特征在于，还包括：

存储模块，用于将所述比对结果存储至预设报表中。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一所述方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一所述方法的计算机程序。

Images