CN109857806A - 数据库表的同步验证方法及装置 - Google Patents

Abstract

本发明实施例提供一种数据库表的同步验证方法及装置，方法包括：将业务系统保存的数据库表作为目标数据库表，对目标数据库表中各表行数据的关键字段执行第一操作，获得目标数据库表中各表行数据的关键字段的唯一标识集合；将配置系统中的配置数据抽象成与目标数据库表结构一致的虚拟数据库表，作为源数据库表，对源数据库表中各表行数据的关键字段执行第一操作，获得源数据库表中各表行数据的关键字段的唯一标识集合；计算源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若第一差集不为空，则结合第一差集对目标数据库表进行更新。本发明实施例通过数学集合的思想进行代码比对，大大的提高了生产力。

Description

数据库表的同步验证方法及装置

技术领域

本发明实施例涉及数据同步技术领域，更具体地，涉及数据库表的同步验证方法及装置。

背景技术

配置系统每天都要和业务系统交互大量数据，由于配置系统数据离散，与目标系统数据表结构不一致，因此如何验证数据是否准确一致是一个很难解决的难题。在大量数据的前提下，由于各个系统间的主键ID都不同，并且配置数据离散分布在多张表中，靠人工逐行、逐表比对数据显然成本过高，并且效率低下，容易出错。而通过清空业务系统的本地数据，再新增另一个数据的话会造成主键ID不一致的情况，并且对于已关联的数据破坏巨大，而且磁盘碎片也会非常多。

发明内容

本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的数据库表的同步验证方法及装置。

第一个方面，本发明实施例提供一种数据库表的同步验证方法，包括：

将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合；

将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合；

计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

第二个方面，本发明实施例提供一种数据库表的同步验证装置，包括：

目标数据库表操作模块，用于将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合；

源数据库表操作模块，用于将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合；

更新模块，用于计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所提供的方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。

本发明实施例提供的数据库表的同步验证方法及装置，通过根据业务系统中的数据库表结构，对配置系统的配置数据进行抽象，获得源数据库表，克服了配置系统中配置数据离散化，不易比对的缺陷；对业务系统和配置系统的数据库表的表行数据的关键字段执行第一操作，生成对应的唯一标识，使得数据库表作为一个由若干个标识组成的集合，通过计算两个集合的差集，确定目标数据库表中有哪些表行数据需要修改，通过数学集合的思想进行代码比对，大大的提高了生产力。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的数据库表的同步验证方法的流程示意图；

图2为本发明实施例提供的数据库表的同步验证装置的结构示意图；

图3为本发明实施例提供的电子设备的实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了克服现有技术的上述问题，本发明实施例提供了一种数据库表的同步验证方法，其发明构思为：对配置系统以及业务系统本地的关键字段上的表行数据采用同样的算法生成对应的唯一标识，再对两类唯一标识进行一致性验证，根据一致性验证的结果对本地保存的数据库表进行更新，本发明实施例通过书信集合的思想进行代码比对，大大提高了数据库表的同步验证速率，提高了生产力。

图1为本发明实施例提供的数据库表的同步验证方法的流程示意图，如图所示，包括：

S101、将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合。

在本发明实施例中，业务系统中记录有各种数据库表，数据库表是一系列二维数组的集合，用来代表和储存数据对象之间的关系。它由纵向的列和横向的行组成，例如一个有关城市二手房交易的表中，每个列包含的是一个特定类型的信息，每行则包含了某个特定类型的具体信息，例如，“city”一列用于记录各城市的名称。关键字段即数据库表中比较重要的列，比如，“city”即作为一个关键字段，在该列中，分别记录了“北京”、“苏州”、“武汉”、“济南”等表行数据。本发明实施例通过第一操作，生成各表行数据的唯一标识。第一操作即用于产生唯一标识的方法，例如哈希运算、snowflake算法等等。

S102、将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合。

可以理解的是，配置数据是配置系统中与业务相关的数据，例如业务流程数据：流程节点、流程待办、流程待办完成字段、流程待办附件，还比如交易单规则、流程人员等等，这些数据都是离散数据，本发明实施例为了克服配置系统中数据离散、不易对比的缺陷，本发明实施例参照目标数据库表结构，对配置系统中的配置数据抽象成虚拟数据库表。由于配置数据本身就是表，但与目标系统中的表结构不一样，因此，本发明实施例将配置数据映射成一个虚拟数据库表。在具体实现时，可以通过php数组的方式进行映射。

应当理解，通过对源数据库表中各表行数据的关键字段执行第一操作，即可获得目标数据库表中各表行数据的关键字段的唯一标识集合。

S103、计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

例如，源数据表的“city”字段共记录了“北京”、“苏州”和“武汉”，共三条表行数据，通过对三条表行数据执行第一操作，分别获得了三条表行数据对应的唯一标识：hash1、hash2和hash3，而目标数据库表的“city”字段共记录了“北京”、“武汉”和“杭州”，共3条表行数据，通过对三条表行数据执行第一操作，分别获得了三条表行数据对应的唯一标识：hash1、hash3和hash4，通过计算差集可知，目标数据库表的唯一标识相比源数据库表的唯一标识缺少了hash2，增加了hash4，因此，可以根据数据库实务机制，对hash2对应的表行数据进行增加，而对hash4对应的表行数据进行删减，即可实现本地保存的数据库表的更新。即，若出现增加的唯一标识，则将所述增加的唯一标识对应的表行数据从所述本地保存的数据库表中删除；若出现缺失的唯一标识，则将所述缺失的唯一标识对应的表行数据增加至所述本地保存的数据库表中。需要说明的是数据库实务机制是一种预处理手段，通过在事务中进行模拟执行，若执行结果符合预期，则真实执行，若不符合预期，只需对事务进行回滚操作即可，大大提高了同步验证的效率。

在上述各实施例的基础上，作为一种可选实施例，第一操作为MD5加密计算。

需要说明的是，当表行数据中的字数较多时，拼在一起的长度会非常长，因此本发明实施例通过采样MD5加密计算，将唯一标识的长度控制在16位。为一致性验证提供了便利。

在上述各实施例的基础上，作为一种可选实施例，计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，具体为：计算所述目标数据库表的唯一标识集合中相比所述源数据库表的唯一标识集合的增加的唯一标识和/或缺失的唯一标识。

在上述各实施例的基础上，作为一种可选实施例，根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新，具体为：

根据数据库事务机制，模拟执行更新方案，计算模拟执行更新后的源数据库表的唯一标识集合与目标数据库表的唯一标识集合的差集，作为第二差集，判断所述第二差集是否为空；

若所述第二差集为空，则向所述业务系统提交数据库事务，以更新所述目标数据库表。

需要说明的是，事务机制是数据库特有的术语，是指单个逻辑工作单元执行的一系列操作，同步发生数据更新时，防止数据的不一致。事务机制可以理解为一种预处理手段，比如一个事务：在A表中添加一条记录，通过提交该事务，就会对该事务进行记录和执行。本发明实施例通过数据库事务机制，模拟执行更新方案，而不是直接执行更新方案。在本发明实施例中，更新方案为：若所述第一差集中存在所述增加的唯一标识，则将所述增加的唯一标识对应的表行数据从所述目标数据库表中删除；若所述第一差集中存在所述缺失的唯一标识，则将所述缺失的唯一标识对应的表行数据增加至所述目标数据库表中。

若模拟执行更新方案后获知第二差集为空，则向所述业务系统提交数据库事务，以更新目标数据库表；若获知第二差集不为空，则对数据库事务进行回滚操作，当对数据库事务进行回滚操作后，数据库事务就删除了，而对应的目标数据库表中也不会更新数据。

本发明实施例通过增加二次计算差集的步骤，增强了对数据库表同步验证的监控，一般情况下，如果同步失败，很可能出现了少见的bug，这个时候对事务进行回滚操作，其实质是对数据库表的保护，方便人工进行排查。

图2为本发明实施例提供的数据库表的同步验证装置的结构示意图，如图2所示，该数据库表的同步验证装置包括：目标数据库表操作模块201、源数据库表操作模块202和更新模块203，其中，

目标数据库表操作模块201，用于将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合。

在本发明实施例中，业务系统中记录有各种数据库表，数据库表是一系列二维数组的集合，用来代表和储存数据对象之间的关系。它由纵向的列和横向的行组成，例如一个有关城市二手房交易的表中，每个列包含的是一个特定类型的信息，每行则包含了某个特定类型的具体信息，例如，“city”一列用于记录各城市的名称。关键字段即数据库表中比较重要的列，比如，“city”即作为一个关键字段，在该列中，分别记录了“北京”、“苏州”、“武汉”、“济南”等表行数据。本发明实施例通过第一操作，生成各表行数据的唯一标识。第一操作即用于产生唯一标识的方法，例如哈希运算、snowflake算法等等。在一个可选实施例中，第一操作为MD5加密计算。

源数据库表操作模块202，用于将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合。

可以理解的是，配置数据是配置系统中与业务相关的数据，例如业务流程数据：流程节点、流程待办、流程待办完成字段、流程待办附件，还比如交易单规则、流程人员等等，这些数据都是离散数据，本发明实施例为了克服配置系统中数据离散、不易对比的缺陷，本发明实施例参照目标数据库表结构，对配置系统中的配置数据抽象成数据库表。应当理解，通过对源数据库表中各表行数据的关键字段执行第一操作，即可获得目标数据库表中各表行数据的关键字段的唯一标识集合。

更新模块203，用于计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

例如，源数据表的“city”字段共记录了“北京”、“苏州”和“武汉”，共三条表行数据，通过对三条表行数据执行第一操作，分别获得了三条表行数据对应的唯一标识：hash1、hash2和hash3，而目标数据库表的“city”字段共记录了“北京”、“武汉”和“杭州”，共3条表行数据，通过对三条表行数据执行第一操作，分别获得了三条表行数据对应的唯一标识：hash1、hash3和hash4，通过一致性验证可知，目标数据库表的唯一标识相比源数据库表的唯一标识缺少了hash2，增加了hash4，因此，可以对hash2对应的表行数据进行增加，而对hash4对应的表行数据进行删减，即可实现本地保存的数据库表的更新。即，若出现增加的唯一标识，则将所述增加的唯一标识对应的表行数据从所述本地保存的数据库表中删除；若出现缺失的唯一标识，则将所述缺失的唯一标识对应的表行数据增加至所述本地保存的数据库表中。

本发明实施例提供的数据库表的同步验证装置，具体执行上述各数据库表的同步验证方法实施例流程，具体请详见上述各数据库表的同步验证方法实施例的内容，在此不再赘述。本发明实施例提供的数据库表的同步验证装置通过数学集合的思想进行代码比对，大大的提高了生产力。

图3为本发明实施例提供的电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)310、通信接口(Communications Interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储在存储器330上并可在处理器310上运行的计算机程序，以执行上述各实施例提供的数据库表的同步验证方法，例如包括：将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合；将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合；计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本发明实施例还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例提供的数据库表的同步验证方法，例如包括：将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合；将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合；计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种数据库表的同步验证方法，其特征在于，包括：

将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合；

将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合；

计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

2.根据权利要求1所述的同步验证方法，其特征在于，所述第一操作为MD5加密计算。

3.根据权利要求1所述的同步验证方法，其特征在于，所述计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，具体为：计算所述目标数据库表的唯一标识集合中相比所述源数据库表的唯一标识集合的增加的唯一标识和/或缺失的唯一标识。

4.根据权利要求3所述的同步验证方法，其特征在于，所述根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新，具体为：

根据数据库事务机制，模拟执行更新方案，计算模拟执行更新后的源数据库表的唯一标识集合与目标数据库表的唯一标识集合的差集，作为第二差集，判断所述第二差集是否为空；

若所述第二差集为空，则向所述业务系统提交数据库事务，以更新所述目标数据库表。

5.根据权利要求4所述的同步验证方法，其特征在于，所述更新方案为：

若所述第一差集中存在所述增加的唯一标识，则将所述增加的唯一标识对应的表行数据从所述目标数据库表中删除；

若所述第一差集中存在所述缺失的唯一标识，则将所述缺失的唯一标识对应的表行数据增加至所述目标数据库表中。

6.根据权利要求4所述的同步验证方法，其特征在于，所述判断所述第二差集是否为空，之后还包括：

若所述第二差集不为空，则对所述数据库事务进行回滚操作。

7.一种数据库表的同步验证装置，其特征在于，包括：

目标数据库表操作模块，用于将业务系统保存的数据库表作为目标数据库表，对所述目标数据库表中各表行数据的关键字段执行第一操作，获得所述目标数据库表中各表行数据的关键字段的唯一标识集合；

源数据库表操作模块，用于将配置系统中的配置数据抽象成与所述目标数据库表结构一致的虚拟数据库表，作为源数据库表，对所述源数据库表中各表行数据的关键字段执行所述第一操作，获得所述源数据库表中各表行数据的关键字段的唯一标识集合；

更新模块，用于计算所述源数据库表的唯一标识集合与对所述目标数据库表的唯一标识集合的差集，作为第一差集，若所述第一差集不为空，则根据数据库事务机制，结合所述第一差集对所述目标数据库表进行更新。

8.根据权利要求7所述的同步验证装置，其特征在于，所述第一操作为MD5加密计算。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述处理器通信连接的至少一个存储器，其中：

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如权利要求1至6中任意一项所述的数据库表的同步验证方法。

10.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如权利要求1至6中任意一项所述的数据库表的同步验证方法。