CN111930842B - 一种数据核对方法及装置 - Google Patents

Abstract

本发明提供一种数据核对方法及装置，可用于大数据技术领域。所述方法包括：获取主数据库的包括数据标识的第一待核对数据表数据；根据数据标识查询获得至少一个副本数据库的第二待核对数据表数据；若判断获知第一待核对数据表数据的数据版本号与第二待核对数据表数据的数据版本号一致，则将第二待核对数据表数据转换成主数据库的数据格式，获得副本数据库的第二待核对数据表数据的转换数据；若判断获知第一待核对数据表数据与第二待核对数据表数据的转换数据匹配，则确定第一待核对数据表数据与第二待核对数据表数据一致。所述装置用于执行上述方法。本发明实施例提供的数据核对方法及装置，提高了不同数据库之间的数据核对的准确性。

Description

一种数据核对方法及装置

技术领域

本发明涉及大数据技术领域，具体涉及一种数据核对方法及装置。

背景技术

在数据库的实际使用中，会遇到数据库的数据一致性核对的问题，需要对两个数据库的数据进行核对，以验证数据的一致性。

现有技术中，数据库的数据核对技术多为相同结构数据库的数据核对或者简单的数据版本核对，异构数据库之间的数据核对不够精确，上述数据库例如为分布式数据库。因此，如何准确实现对异构数据库之间的数据一致性核对本领域需要解决的重要课题。

发明内容

针对现有技术中的问题，本发明实施例提供一种数据核对方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种数据核对方法，包括：

获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；

根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；

若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致，则将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；

若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，则确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

另一方面，本发明提供一种数据核对装置，包括：

获取单元，用于获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；

查询单元，用于根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；

转换单元，用于在判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致之后，将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；

核对单元，用于在判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配之后，确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

再一方面，本发明提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述任一实施例所述数据核对方法的步骤。

又一方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述任一实施例所述数据核对方法的步骤。

本发明实施例提供的数据核对方法及装置，获取主数据库的第一待核对数据表数据，根据数据标识查询获得至少一个副本数据库的第二待核对数据表数据，在判断获知主数据库的第一待核对数据表数据的版本号与副本数据库的第二待核对数据表数据的版本号一致之后，将副本数据库的第二待核对数据表数据转换成主数据库的数据格式，获得副本数据库的第二待核对数据表数据的转换数据，在判断获知主数据库的第一待核对数据表数据与副本数据库的第二待核对数据表数据的转换数据匹配之后，确定主数据库的第一待核对数据表数据与副本数据库的第二待核对数据表数据一致，提高了不同数据库之间的数据核对的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明第一实施例提供的数据核对方法的流程示意图。

图2是本发明第二实施例提供的数据核对方法的流程示意图。

图3是本发明第三实施例提供的数据核对系统的结构示意图。

图4是本发明第四实施例提供的数据核对装置的结构示意图。

图5是本发明第五实施例提供的数据核对装置的结构示意图。

图6是本发明第六实施例提供的数据核对装置的结构示意图。

图7是本发明第七实施例提供的数据核对装置的结构示意图。

图8是本发明第八实施例提供的数据核对装置的结构示意图。

图9是本发明第九实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。主数据库存在至少一个对应的副本数据库，主数据库和副本数据库是异构数据库或者同类型数据库的不同数据库产品，例如，主数据库为Oracle数据库，副本数据库为MySQL数据库。主数据库的数据表与对应的副本数据库的数据表的表名称和各个字段名称不同，但主数据库的数据表与对应的副本数据库的数据表的各个字段具有一一对应的映射关系。主数据库和每个副本数据库之间具有数据同步机制，当主数据库的数据发生变化时，会同步到每个副本数据库。

图1是本发明第一实施例提供的数据核对方法的流程示意图，如图1所示，本发明实施例提供的数据核对方法，包括：

S101、获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；

具体地，服务器可以获取主数据库的一条待核对数据作为主数据库的第一待核对数据表数据，所述第一待核对数据可以包括主数据库标识、主数据库的数据表标识、数据标识、数据标识对应的数据、版本号。其中，所述主数据库标识与所述主数据库对应，主数据库的数据表标识与主数据库的数据表对应，数据标识对应的数据可以包括至少一个字段名称以及每个字段名称对应的字段值。其中，所述数据标识可以采用主数据库的数据表的主键标识，例如客户编号、多个字段的联合主键等，根据实际需要进行设置，本发明实施例不做限定。主数据库的每条待核对数据与数据标识一一对应。本发明实施例提供的数据核对方法的执行主体包括但不限于服务器。

S102、根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；

具体地，所述服务器在获得所述主数据库的第一待核对数据表数据包括的数据标识之后，会根据所述数据标识查询每个副本数据库的待核对数据，如果在所述副本数据库查询到与所述数据标识对应的一条待核对数据，将在所述副本数据库的待核对数据中查询到的与所述数据标识对应的一条待核对数据，作为所述副本数据库的第二待核对数据表数据。其中，所述主数据库与至少一个副本数据库对应。每个副本数据库的第二待核对数据表数据可以包括副本数据库标识、副本数据库的数据表标识、数据标识、数据标识对应的数据、版本号。所述第二待核对数据表数据的数据标识来源于所述主数据库。

S103、若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致，则将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；

具体地，对于每个副本数据库的第二待核对数据表数据，所述服务器将所述主数据库的第一待核对数据表数据的版本号与所述副本数据库的第二待核对数据表数据的版本号进行比较，如果所述主数据库的第一待核对数据表数据的版本号与所述副本数据库的第二待核对数据表数据的版本号一致，那么所述服务器将所述副本数据库的第二待核对数据表数据包括的数据标识对应的数据转换成所述主数据库的数据格式，以便与所述主数据库的第一待核对数据表数据进行比较，可以获得所述副本数据库的第二待核对数据表数据的转换数据。如果所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致，说明主数据库和副本数据库在数据同步时出现异常。

例如，主数据库在每次数据更新时，都会给更新的数据配置唯一对应的数据版本号，在与副本数据库进行数据同步时，将更新的数据和对应的数据版本号提供给副本数据库，副本数据库在将更新的数据转换为本地数据保存时会保留数据版本号。

S104、若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，则确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

具体地，在获得所述副本数据库的第二待核对数据表数据的转换数据之后，所述服务器将所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据进行比较，如果所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据相同，即上述数据标识对应的数据包括的各个字段名称与转换数据包括的各个字段名称相同，并且每个相同字段名称对应的字段值也相同，那么所述服务器可以判断出所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，那么可以确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

本发明实施例提供的数据核对方法，获取主数据库的第一待核对数据表数据，根据数据标识查询获得至少一个副本数据库的第二待核对数据表数据，在判断获知主数据库的第一待核对数据表数据的数据版本号与副本数据库的第二待核对数据表数据的数据版本号一致之后，将副本数据库的第二待核对数据表数据转换成主数据库的数据格式，获得副本数据库的第二待核对数据表数据的转换数据，在判断获知主数据库的第一待核对数据表数据与副本数据库的第二待核对数据表数据的转换数据匹配之后，确定主数据库的第一待核对数据表数据与副本数据库的第二待核对数据表数据一致，提高了不同数据库之间的数据核对的准确性。

图2是本发明第二实施例提供的数据核对方法的流程示意图，如图2所示，所述将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据包括：

S1031、解析所述副本数据库的第二待核对数据表数据，获得所述副本数据库的数据表的各个字段以及对应的字段值；

具体地，所述副本数据库的第二待核对数据表数据包括数据标识对应的数据，上述数据标识对应的数据可以包括至少一个字段名称和所述字段名称对应的字段值，所述服务器解析所述副本数据库的第二待核对数据表数据，可以获得所述副本数据库的数据表的各个字段以及各个字段对应的字段值。

S1032、根据主副本数据库数据表字段对照关系表将所述副本数据库的数据表的各个字段转换成所述主数据库的对应数据表的字段，并将所述副本数据库的数据表的各个字段对应的字段值与转换后的字段对应。

具体地，所述服务器在获得所述副本数据库的数据表的各个字段以及对应的字段值之后，可以根据主副本数据库数据表字段对照关系表将所述副本数据库的数据表的各个字段转换成所述主数据库的对应数据表的字段，即从上述主副本数据库数据表字段对照关系表查询所述副本数据库的数据表的各个字段在主数据库对应的数据表中的字段，作为转换后的字段，然后将所述副本数据库的数据表的各个字段对应的字段值与转换后的字段对应。

其中，所述主副本数据库数据表字段对照关系表可以由副本数据库提供给所述服务器。所述主副本数据库数据表字段对照关系表可以包括主副本数据库数据结构对照关系表，如表1所示，示出了主数据库和副本数据库的部分数据对应关系，副本数据库的表标识：客户信息表，与主数据库的表标识：集团信息表对应，副本数据库的字段名称：客户类型，与主数据库的字段名称：集团客户分类对应。其中，所述主副本数据库数据结构对照关系表是预设的。

表1主副本数据库数据结构对照关系表示例

所述主副本数据库数据表字段对照关系表还可以包括主副数据库字段数据字典，如表2所示，示出了主数据库和副本数据库的部分数据字段的对照关系，副本数据库字段数据字典中的字段名称：企业，与主数据库字段数据字典的字段名称：法人相对应，副本数据库字段数据字典中的字段名称：事业单位，与主数据库字段数据字典的字段名称：政府机关相对应，

表2主副本数据库字段数据字典示例

副本数据库字段数据字典	对照关系	主数据系统字段数据字典
			1：企业	等于	1、法人
2、事业单位	等于	2、政府机关

通过所述主副本数据库数据表字段对照关系表，既可以将各副本数据库的数据结构和数据字典与主数据库进行一一对应，为后续主数据库和副本数据库的数据核对提供基础。所述主副本数据库数据表字段对照关系表可作为参数文件，在各副本数据库进行配置，当副本数据库的参数文件发生变化时，由副本数据库向所述服务器提供最新的参数文件。其中，每个副本数据库对应一个所述主副本数据库数据表字段对照关系表。

在上述各实施例的基础上，进一步地，本发明实施例提供的数据核对方法还包括：

若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致，则记录数据同步异常。

具体地，对于每个副本数据库的第二待核对数据表数据，所述服务器将所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号进行比较，如果所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致，说明主数据库和副本数据库在数据同步时出现异常，所述服务器会记录该副本数据库与主数据库之间数据同步异常。

在上述各实施例的基础上，进一步地，本发明实施例提供的数据核对方法还包括：

在获取主数据库的第一待核对数据表数据之前，接收所述主数据库的待核对数据和所述副本数据库的待核对数据并独立存储。

具体地，主数据库每次在数据发生变更之后，可以将变更的数据同步到副本数据库。所述服务器在获取主数据库的第一待核对数据表数据之前，可以从所述主数据库接收每次变更的数据，作为所述主数据库的待核对数据进行存储，所述主数据库的待核对数据包括至少一条待核对数据。所述服务器还会从所述副本数据库接收所述副本数据库在主数据库每次数据变更之后同步的数据，作为所述副本数据库的待核对数据进行存储，所述副本数据库的待核对数据包括至少一条待核对数据。其中，所述服务器可以将所述主数据库的待核对数据和所述副本数据库的待核对数据独立存储，以提高后续数据访问的效率。

例如，所述服务器从所述主数据库接收的每次变更的数据可以以数据报文的形式传输，所述数据报文可以包括主数据库标识、主数据库表标识、至少一条待核对数据、数据更新时间戳、主数据库标识对应的副数据库标识等，根据实际需要进行设置，本发明实施例不做限定。其中，每条待核对数据可以包括数据版本号、数据标识、数据标识对应的数据，所述数据标识对应的数据可以包括至少一个字段名称以及每个字段名称对应的字段值。

所述服务器从所述副本数据库接收的在主数据库每次数据变更之后同步的数据可以以数据报文的形式传输，所述数据报文可以包括主数据库名称、主数据库表名称、副本数据库名称、副本数据库表名称、至少一条待核对数据、数据更新时间戳、副本数据库标识对应的主数据库标识等，根据实际需要进行设置，本发明实施例不做限定。其中，每条待核对数据可以包括数据版本号、数据标识、数据标识对应的数据，所述数据标识对应的数据可以包括至少一个字段名称以及每个字段名称对应的字段值。

在上述各实施例的基础上，进一步地，所述获取主数据库的第一待核对数据表数据包括：

从落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中，获取所述第一待核对数据。

具体地，所述服务器可以从落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中，获取每条待核对数据作为所述第一待核对数据，进行数据核对，即会对落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中的每条待核对数据，逐条进行数据核对。其中，所述落库时间是指所述主数据库的待核对数据在所述服务器的存储时间。所述预设时间段根据实际需要进行设置，本发明实施例不做限定。

例如，针对所述主数据库的待核对数据是定期核对的，所述服务器每次可以获取落库时间在[T-X，T-Y]时间范围内的数据作为本次数据核对范围，其中T为当前时间，X和Y可以根据主数据库和副本数据库数据的同步完成时间来设置，需要保证副本数据库在[T-Y,T]的时间范围内能够完成主数据库变更数据的同步，同时[T-X，T-Y]时间范围的设置要根据主数据库数据更新频度来设计，[T-X，T-Y]时间范围内的数据量不能过多，要保证在下一次数据核对启动前能够完成本次数据核对。比如设置对待核对数据表数据每10分钟核对一次，每次核对T-30分钟至T-20分钟之间落库的数据。所述服务器会对本次数据核对范围的待核对数据，逐条进行核对。

在上述各实施例的基础上，进一步地，本发明实施例提供的数据核对方法还包括：

若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据不匹配，则记录数据同步异常。

具体地，在获得所述副本数据库的第二待核对数据表数据的转换数据之后，所述服务器将所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据进行比较，如果所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据不完全相同，即上述数据标识对应的数据包括的各个字段名称与转换数据包括的各个字段名称存在不相同的字段名称，或者各个相同的字段名称对应的字段值存在不相同的字段值，那么所述服务器可以判断出所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据不匹配，说明主数据库和副本数据库在数据同步时出现异常，所述服务器会记录该副本数据库与主数据库之间数据同步异常。

在上述各实施例的基础上，进一步地，所述获取主数据库的第一待核对数据表数据包括：

周期性地获取所述主数据库的第一待核对数据表数据。

具体地，由于主数据库的数据存在定期或者不定期的更新，并会在每次更新之后都同步到副本数据库。所述服务器可以周期性地获取所述主数据库的第一待核对数据表数据，以对所述主数据库的第一待核对数据表数据进行数据核对，即每次获取所述主数据库的第一待核对数据表数据之后，依次执行步骤S102、S103和S104，进行数据核对。其中，所述周期根据实际需要进行设置，例如每10分钟核对一次。

所述服务器在完成数据核对之后，可以按照主数据库+主数据库数据表+报告生成周期维度的数据核对报告，其中数据核对报告的生成周期可根据实际需要设置，比如1小时生成一份报告，本发明实施例不做限定。将数据同步异常日志中的记录按上述维度生成数据核对报告，数据核对报告的内容可以包括同步出现异常的副本数据库标识、主数据库数据表标识、主数据库数据标识、同步异常的主数据库字段、同步异常的主数据库字段值、副本数据库数据表标识、副本数据库数据标识、同步异常的副本数据库字段、同步异常的副本数据库字段值、数据更新时间戳、数据核对时间等信息。

本发明实施例提供的数据核对方法，可以在主数据库与至少一个副本数据进行数据同步之后，及时发现数据同步的异常。特别是对于研发需要而设置的主数据库和对应的副本数据库，对于重要的业务开关、业务权限的同步情况能够实时监控，及时规避由于数据同步导致的业务风险。

此外，本发明实施例提供的数据核对方法，可支持一个主数据库和多个副本数据库的数据核对、可屏蔽主数据和副本数据库的数据结构差异、可兼容每个副本数据库的同步数据字段个数的不同及格式不同等数据差异，弥补现有数据库数据核对技术的局限性。

图3是本发明第三实施例提供的数据核对系统的结构示意图，如图3所示，本发明实施例提供的不同数据库的数据核对系统包括主数据库服务器1、至少一个副本数据库服务器2和数据核对服务器3，其中：

主数据库服务器1与每个副本数据库服务器2通信连接，主数据库服务器1与数据核对服务器3通信连接，数据核对服务器3与每个副本数据库服务器2通信连接。

主数据库服务器1可以包括第一数据存储模块11和第一数据传输代理模块12，第一数据存储模块11和第一数据传输代理模块12相连。第一数据存储模块11用于存储主数据库的数据，第一数据传输代理模块12用于向每个副本数据库服务器2发送同步数据，以及向数据核对服务器3发送主数据库的待核对数据。其中，主数据库在发生数据变化时，第一数据传输代理模块12将变化的数据以数据报文的形式发送给数据核对服务器3进行数据核对。

由于主数据库和副本数据库的数据结构存在不一致的情况，所以主数据库与各个副本数据库之间的同步数据以主数据库的数据表结构为标准格式进行数据传输。主数据库服务器1将主数据库的各个数据表结构形成配置文件，配置文件可以包括主数据库标识、主数据库数据表标识、数据表标识对应的数据等信息，数据表标识对应的数据可以包括数据标识、数据表字段名称、数据表字段类型、数据表字段长度、数据表字段字典、数据表字段约束、数据表字段值等，每个配置文件应包括主数据库的至少一个数据表的全量字段。主数据库服务器1会将配置文件发送给每个副本数据库服务器2。

主数据库服务器1与数据核对服务器3之间的待核对数据传输格式可以根据数据核对的需要统一制定规范，可以包括主数据库标识、主数据库表标识、数据版本号、数据标识、数据标识对应的数据、数据更新时间戳、主数据库标识对应的副数据库标识等。其中，数据标识对应的数据可以包括至少一个字段名称以及每个字段名称对应的字段值。

副本数据库服务器2可以包括第二数据存储模块21和第二数据传输代理模块22，第二数据存储模块21和第二数据传输代理模块22相连，第二数据传输代理模块22分别与第一数据传输代理模块12和第三数据存储模块31相连。第二数据存储模块21用于存储副本数据库的数据，第二数据传输代理模块22用于接收主数据库服务器1发送的同步数据，以及向数据核对服务器3发送副本数据库的待核对数据。其中，副本数据库在发生数据变化时，第二数据传输代理模块22将变化的数据以数据报文的形式发送给数据核对服务器3进行数据核对。

副本数据库服务器2与数据核对服务器3之间的待核对数据传输格式可以根据数据核对的需要统一制定规范，可以包括主数据库名称、主数据库表名称、副本数据库名称、副本数据库表名称，数据版本号、数据标识、数据标识对应的数据、数据更新时间戳、副本数据库标识对应的主数据库标识等，根据实际需要进行设置，本发明实施例不做限定。所述数据标识对应的数据可以包括至少一个字段名称以及每个字段名称对应的字段值。其中，副本数据库服务器2与数据核对服务器3之间传输的数据标识是副本数据库服务器2与主数据库服务器1之间进行数据同步时获得的。

数据核对服务器3可以包括第三数据存储模块31和数据核对模块32，第三数据存储模块31和数据核对模块32相连，第三数据存储模块31与第一数据传输代理模块12相连。第三数据存储模块31用于存储主数据库的待核对数据和至少一个副本数据库的待核对数据。数据核对服务器3用于执行本发明实施例提供的数据核对方法，数据核对模块32可以根据数据标识从主数据库的待核对数据中获得主数据库的第一待核对数据表数据，并根据所述数据标识从副本数据库的待核对数据中查询获得至少一个副本数据库的第二待核对数据表数据。

其中，第三数据存储模块31在接收到第一数据传输代理模块12和第二数据传输代理模块22以数据报文形式传输进来的数据时，第三数据存储模块31会对接收到的数据报文进行解析，可以根据数据库信息+数据表标识查找对应数据存储的区域，如果未查找到对应的数据存储区域，可以根据数据库信息+数据表标识自动创建对应的数据存储区域，并将数据存储在对应的数据存储区域中，同时登记落库时间。第三数据存储模块31可以对主数据库和副本数据库的数据独立存储。在数据存储时，针对同一个数据来源(即数据库和数据表均相同)的相同数据标识对应数据，通过判断接收的数据版本号与存储的数据版本号的关系，如果接收的数据版本号大于当前存储的数据版本号则认为是最新数据，并用接收到的数据替换存储的数据，接收的数据版本号小于当前存储的数据版本号则丢弃接收的数据，对于每个数据标识对应的数据只保留最新版本。

下面以一个具体的实施例来说明数据核对服务器3执行本发明实施例提供的数据核对方法的具体过程，步骤如下：

第一步：数据核对服务器3判断出到达本轮数据核对启动时间，进入第二步。其中，设置数据核对每10分钟启动一次。

第二步：数据核对服务器3从主数据库的数据存储区域中获取一条待核对数据作为主数据库的第一待核对数据表数据；其中，第一待核对数据表数据包括数据标识。

第三步：数据核对服务器3根据所述数据标识，从每个副本数据库的数据存储区域中查找所述数据标识对应数据，将查找到的与所述数据标识对应的数据作为副本数据库的第二待核对数据表数据。

第四步：数据核对服务器3从主数据库的第一待核对数据表数据中获得数据版本号，并从副本数据库的第二待核对数据表数据中获得数据版本号，判断第一待核对数据表数据的数据版本号与第二待核对数据表数据的数据版本号是否一致，如果一致，那么进入第五步；如果不一致，那么进入第七步。

第五步：数据核对服务器3解析所述副本数据库的第二待核对数据表数据，获得所述副本数据库的数据表的各个字段以及对应的字段值，根据主副本数据库数据表字段对照关系表将所述副本数据库的数据表的各个字段转换成所述主数据库的对应数据表的字段，并将所述副本数据库的数据表的各个字段对应的字段值与转换后的字段对应，从而获得所述副本数据库的第二待核对数据表数据的转换数据。

第六步：数据核对服务器3判断所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据是否匹配，如果匹配，那么进入第八步，如果不匹配，那么进入第七步。

第七步：数据核对服务器3记录主数据库和副本数据库的数据同步异常。

第八步：数据核对服务器3判断本次数据核对是否完成，如果还有其他副本数据库的第二待核对数据需要核对，回到第四步；如果本次数据核对完成，即没有副本数据库的第二待核对数据需要核对，进入第九步。

第九步：数据核对服务器3判断主数据库的本次待核对数据是否核对完成，如果还有待核对数据没有核对，回到第二步；如果主数据库的本次待核对数据核对完成，那么进入到第十步。其中，主数据库的本次待核对数据可以是落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据。

第十步：本轮数据核对结束。

可理解的是，为了提高数据核对的效率，可以为主数据库的每条待核对数据启动独立线程，进行数据核对。

图4是本发明第四实施例提供的数据核对装置的结构示意图，如图4所示，本发明实施例提供的数据核对装置包括获取单元401、查询单元402、转换单元403和核对单元404，其中：

获取单元401用于获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；查询单元402用于根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；转换单元403用于在判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致之后，将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；核对单元404用于在判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配之后，确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

具体地，获取单元401可以获取主数据库的一条待核对数据作为主数据库的第一待核对数据表数据，所述第一待核对数据可以包括主数据库标识、主数据库的数据表标识、数据标识、数据标识对应的数据、版本号。其中，所述主数据库标识与所述主数据库对应，主数据库的数据表标识与主数据库的数据表对应，数据标识对应的数据可以包括至少一个字段名称以及每个字段名称对应的字段值。其中，所述数据标识可以采用主数据库的数据表的主键标识，例如客户编号、多个字段的联合主键等，根据实际需要进行设置，本发明实施例不做限定。主数据库的每条待核对数据与数据标识一一对应。

在获得所述主数据库的第一待核对数据表数据包括的数据标识之后，查询单元402会根据所述数据标识查询每个副本数据库的待核对数据，如果在所述副本数据库查询到与所述数据标识对应的一条待核对数据，将在所述副本数据库的待核对数据中查询到的与所述数据标识对应的一条待核对数据，作为所述副本数据库的第二待核对数据表数据。其中，所述主数据库与至少一个副本数据库对应。每个副本数据库的第二待核对数据表数据可以包括副本数据库标识、副本数据库的数据表标识、数据标识、数据标识对应的数据、版本号。所述第二待核对数据表数据的数据标识来源于所述主数据库。

对于每个副本数据库的第二待核对数据表数据，转换单元403将所述主数据库的第一待核对数据表数据的版本号与所述副本数据库的第二待核对数据表数据的版本号进行比较，如果所述主数据库的第一待核对数据表数据的版本号与所述副本数据库的第二待核对数据表数据的版本号一致，那么转换单元403将所述副本数据库的第二待核对数据表数据包括的数据标识对应的数据转换成所述主数据库的数据格式，以便与所述主数据库的第一待核对数据表数据进行比较，可以获得所述副本数据库的第二待核对数据表数据的转换数据。如果所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致，说明主数据库和副本数据库在数据同步时出现异常。

在获得所述副本数据库的第二待核对数据表数据的转换数据之后，核对单元404将所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据进行比较，如果所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据相同，即上述数据标识对应的数据包括的各个字段名称与转换数据包括的各个字段名称相同，并且每个相同字段名称对应的字段值也相同，那么核对单元404可以判断出所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，那么可以确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

本发明实施例提供的数据核对装置，获取主数据库的第一待核对数据表数据，根据数据标识查询获得至少一个副本数据库的第二待核对数据表数据，在判断获知主数据库的第一待核对数据表数据的数据版本号与副本数据库的第二待核对数据表数据的数据版本号一致之后，将副本数据库的第二待核对数据表数据转换成主数据库的数据格式，获得副本数据库的第二待核对数据表数据的转换数据，在判断获知主数据库的第一待核对数据表数据与副本数据库的第二待核对数据表数据的转换数据匹配之后，确定主数据库的第一待核对数据表数据与副本数据库的第二待核对数据表数据一致，提高了不同数据库之间的数据核对的准确性。

图5是本发明第五实施例提供的数据核对装置的结构示意图，如图5所示，在上述各实施例的基础上，进一步地，转换单元403包括解析子单元4031和转换子单元4032，其中：

解析子单元4031用于解析所述副本数据库的第二待核对数据表数据，获得所述副本数据库的数据表的各个字段以及对应的字段值；转换子单元4032用于根据主副本数据库数据表字段对照关系表将所述副本数据库的数据表的各个字段转换成所述主数据库的对应数据表的字段，并将所述副本数据库的数据表的各个字段对应的字段值与转换后的字段对应。

具体地，所述副本数据库的第二待核对数据表数据包括数据标识对应的数据，上述数据标识对应的数据可以包括至少一个字段名称和所述字段名称对应的字段值，解析子单元4031解析所述副本数据库的第二待核对数据表数据，可以获得所述副本数据库的数据表的各个字段以及各个字段对应的字段值。

在获得所述副本数据库的数据表的各个字段以及对应的字段值之后，转换子单元4032可以根据主副本数据库数据表字段对照关系表将所述副本数据库的数据表的各个字段转换成所述主数据库的对应数据表的字段，即从上述主副本数据库数据表字段对照关系表查询所述副本数据库的数据表的各个字段在主数据库对应的数据表中的字段，作为转换后的字段，然后将所述副本数据库的数据表的各个字段对应的字段值与转换后的字段对应。

图6是本发明第六实施例提供的数据核对装置的结构示意图，如图6所示，在上述各实施例的基础上，进一步地，本发明实施例提供的数据核对装置还包括第一记录单元405，其中：

第一记录单元405用于在判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致之后，记录数据同步异常。

具体地，对于每个副本数据库的第二待核对数据表数据，第一记录单元405将所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号进行比较，如果所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致，说明主数据库和副本数据库在数据同步时出现异常，第一记录单元405会记录该副本数据库与主数据库之间数据同步异常。

图7是本发明第七实施例提供的数据核对装置的结构示意图，如图7所示，在上述各实施例的基础上，进一步地，本发明实施例提供的数据核对装置还包括接收单元406，其中：

接收单元406用于在获取主数据库的第一待核对数据表数据之前，接收所述主数据库的待核对数据和所述副本数据库的待核对数据并独立存储。

具体地，主数据库每次在数据发生变更之后，可以将变更的数据同步到副本数据库。在获取主数据库的第一待核对数据表数据之前，接收单元406可以从所述主数据库接收每次变更的数据，作为所述主数据库的待核对数据进行存储，所述主数据库的待核对数据包括至少一条待核对数据。接收单元406还会从所述副本数据库接收所述副本数据库在主数据库每次数据变更之后同步的数据，作为所述副本数据库的待核对数据进行存储，所述副本数据库的待核对数据包括至少一条待核对数据。其中，所述服务器可以将所述主数据库的待核对数据和所述副本数据库的待核对数据独立存储，以提高后续数据访问的效率。

在上述各实施例的基础上，进一步地，获取单元401具体用于：

从落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中，获取所述第一待核对数据表数据。

具体地，获取单元401可以从落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中，获取每条待核对数据作为所述第一待核对数据，进行数据核对，即会对落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中的每条待核对数据，逐条进行数据核对。其中，所述落库时间是指所述主数据库的待核对数据在所述服务器的存储时间。所述预设时间段根据实际需要进行设置，本发明实施例不做限定。

图8是本发明第八实施例提供的数据核对装置的结构示意图，如图8所示，在上述各实施例的基础上，进一步地，本发明实施例提供的数据核对装置还包括：

第二记录单元407用于在判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据不匹配之后，记录数据同步异常。

具体地，在获得所述副本数据库的第二待核对数据表数据的转换数据之后，第二记录单元407将所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据进行比较，如果所述主数据库的第一待核对数据表数据包括的数据标识对应的数据与所述副本数据库的第二待核对数据表数据的转换数据不完全相同，即上述数据标识对应的数据包括的各个字段名称与转换数据包括的各个字段名称存在不相同的字段名称，或者各个相同的字段名称对应的字段值存在不相同的字段值，那么第二记录单元407可以判断出所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据不匹配，说明主数据库和副本数据库在数据同步时出现异常，第二记录单元407会记录该副本数据库与主数据库之间数据同步异常。

在上述各实施例的基础上，进一步地，获取单元401具体用于：

周期性地获取所述主数据库的第一待核对数据表数据。

具体地，由于主数据库的数据存在定期或者不定期的更新，并会在每次更新之后都同步到副本数据库。获取单元401可以周期性地获取所述主数据库的第一待核对数据表数据，以对所述主数据库的第一待核对数据表数据进行数据核对。其中，所述周期根据实际需要进行设置，例如每10分钟核对一次。

本发明实施例提供的装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图9是本发明一实施例提供的电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)901、通信接口(Communications Interface)902、存储器(memory)903和通信总线904，其中，处理器901，通信接口902，存储器903通过通信总线904完成相互间的通信。处理器901可以调用存储器903中的逻辑指令，以执行如下方法：获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致，则将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，则确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

此外，上述的存储器903中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致，则将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，则确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致，则将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，则确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种数据核对方法，其特征在于，包括：

获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；

根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；

若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致，则将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；

若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配，则确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致；

其中，为所述主数据库的每条第一待核对数据表数据启动独立线程，进行数据核对。

2.根据权利要求1所述的方法，其特征在于，所述将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据包括：

解析所述副本数据库的第二待核对数据表数据，获得所述副本数据库的数据表的各个字段以及对应的字段值；

根据主副本数据库数据表字段对照关系表将所述副本数据库的数据表的各个字段转换成所述主数据库的对应数据表的字段，并将所述副本数据库的数据表的各个字段对应的字段值与转换后的字段对应。

3.根据权利要求1所述的方法，其特征在于，还包括：

若判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号不一致，则记录数据同步异常。

4.根据权利要求1所述的方法，其特征在于，还包括：

在获取主数据库的第一待核对数据表数据之前，接收所述主数据库的待核对数据和所述副本数据库的待核对数据并独立存储。

5.根据权利要求4所述的方法，其特征在于，所述获取主数据库的第一待核对数据表数据包括：

从落库时间在当前时间之前预设时间段内的所述主数据库的待核对数据中，获取所述第一待核对数据表数据。

6.根据权利要求1所述的方法，其特征在于，还包括：

若判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据不匹配，则记录数据同步异常。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取主数据库的第一待核对数据表数据包括：

周期性地获取所述主数据库的第一待核对数据表数据。

8.一种数据核对装置，其特征在于，包括：

获取单元，用于获取主数据库的第一待核对数据表数据，所述主数据库的第一待核对数据表数据包括数据标识；

查询单元，用于根据所述数据标识查询获得至少一个副本数据库的第二待核对数据表数据；

转换单元，用于在判断获知所述主数据库的第一待核对数据表数据的数据版本号与所述副本数据库的第二待核对数据表数据的数据版本号一致之后，将所述副本数据库的第二待核对数据表数据转换成所述主数据库的数据格式，获得所述副本数据库的第二待核对数据表数据的转换数据；

核对单元，用于在判断获知所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据的转换数据匹配之后，确定所述主数据库的第一待核对数据表数据与所述副本数据库的第二待核对数据表数据一致；

其中，为所述主数据库的每条第一待核对数据表数据启动独立线程，进行数据核对。

9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。