CN108062325A - 比较方法和比较系统 - Google Patents

Abstract

本发明实施例提供一种比较方法，用于比较第一数据库表和第二数据库表的数据差异，包括：根据第一数据库表生成第一集合；根据第二数据库表生成第二集合；以及通过计算所述第一集合和所述第二集合的差集，从而获取第一数据库表和第二数据库表的差异数据。该比较方法通过将数据库表的数据转换为集合进行比较，由于不需要频繁地访问数据库，不需要逐行逐列进行比较，从而提高了比较效率。本发明实施例同时提供一种比较系统。

Description

比较方法和比较系统

技术领域

本发明涉及计算机研发领域，具体涉及一种比较方法和比较系统。

背景技术

随着互联网行业的蓬勃发展，业务数据的准确性对于用户显得尤为重要，所以重要数据与相关数据比对，也成为很多应用系统的必备功能。但是，由于传统业务数据对比方法效率较低，且对数据库性能影响较大，所以需要一种快速对比方法查找出数据的差集异。

如图1所示，现有技术的比较两个数据库表数据的方法包括以下步骤。

1.从本系统或其他系统抽取需比对的两份数据；

2.将查询到的数据保存到两个数据库表中，将将作为比对基准数据库表称为主数据表，另一张表成为从数据表；

3.从主从数据表中分别读取数据，并保存到服务器的内存里；

4.在内存中逐条比对数据，获得比对结果；

5.根据比对结果标记主从表的差集异记录。

上述的比对方法效率需要逐行逐列比对两个数据库表的数据，执行效率较低，尤其是在主从表的数据量比较大的情况下，需要花费大量的时间。

发明内容

有鉴于此，本发明提供一种比较方法和比较系统，用于比较数据库表的数据，以提高两个数据库表的比对效率。

根据本发明实施例的第一方面，提供一种比较方法，用于比较第一数据库表和第二数据库表的数据差异，包括：

根据第一数据库表生成第一集合；

根据第二数据库表生成第二集合；以及

通过计算所述第一集合和所述第二集合的差集，从而获取第一数据库表和第二数据库表的差异数据。

可选地，所述根据所述第一数据库表生成第一集合包括：

从所述第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，所述一列第一字符串的每个第一字符串组成所述第一集合；

所述根据第二数据库表生成第二集合包括：

从所述第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，所述一列第二字符串的每个第二字符串组成所述第二集合。

可选地，所述第一数据库表和所述第二数据库表为主从表。

可选地，所述从所述第一数据库表中选取至少一列的数据包括：从所述第一数据库表中选取至少主键列的数据，

所述从所述第二数据库表中选取至少一列的数据包括：从所述第二数据库表中选取至少外键列的数据。

可选地，还包括：

根据所述差集包含的第一字符串，逐一标记所述第一数据库表的对应行。

可选地，所述第一集合和所述第二集合通过Hash表存储，通过Hash算法计算所述第一集合和所述第二集合的差集。

可选地，所述第一集合和所述第二集合为Redis的Set集；所述计算所述第一集合和所述第二集合的差集为：通过Redis的Sdiff命令计算所述第一集合和所述第二集合的差集。

可选地，所述第一数据库表和第二数据库表是关系型数据库的数据库表。

可选地，还包括：从业务表中分别导出若干列数据生成所述第一数据库表和所述第二数据库表。

根据本发明实施例的第二方面，提供一种比较系统，用于比较第一数据库表和第二数据库表的数据差集异，包括：

第一生成单元，用于根据第一数据库表生成第一集合；

第二生成单元，用于根据第二数据库表生成第二集合；

计算单元，用于计算所述第一集合和所述第二集合的差集；

获取单元，用于根据所述差集获取第一数据库表和第二数据库表的差异数据。

可选地，所述第一生成单元包括：

从所述第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，所述一列第一字符串的每个第一字符串组成所述第一集合；

所述第二生成单元包括：

从所述第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，所述一列第二字符串的每个第二字符串组成所述第二集合。

可选地，所述第一数据库表和所述第二数据库表为主从表。

可选地，所述第一生成单元包括：从所述第一数据库表中选取至少主键列的数据，所述第二生成单元包括：从所述第二数据库表中选取至少外键列的数据。

可选地，还包括：标记单元，用于根据所述差集包含的第一字符串，逐一标记所述第一数据库表的对应行。

可选地，还包括：导出单元，用于将业务表中分别导出若干列生成所述第一数据库表和所述第二数据库表。

在本发明实施例中，通过将数据库表的数据转换为集合进行比较，由于不需要频繁地访问数据库，不需要逐行逐列进行比较，从而提高了比较效率。

更进一步，将每行的数据转换成一个字符串存储在集合中，根据集合提供的HASH算法进行比较，比数据库系统的比较效率更高。

附图说明

通过参照以下附图对本发明实施例的描述，本发明的上述以及其它目的、特征和优点将更为清楚，在附图中：

图1是根据本发明实施例的比较两个数据库表数据的方法的示意图；

图2是根据本发明实施例的比较方法的流程图；

图3是根据本发明另一实施例的比较方法的流程图；

图4是根据本发明另一实施例的比较方法的流程图；

图5是根据本发明实施例的比较系统的结构图；

图6是根据本发明另一实施例的比较系统的结构图。

具体实施方式

以下基于实施例对本发明进行描述，但是本发明并不仅仅限于这些实施例。在下文对本发明的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本发明。为了避免混淆本发明的实质，公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。

附图中的流程图、框图图示了本发明实施例的系统、方法、装置的可能的体系框架、功能和操作，流程图和框图上的方框可以代表一个模块、程序段或仅仅是一段代码，所述模块、程序段和代码都是用来实现规定逻辑功能的可执行指令。也应当注意，所述实现规定逻辑功能的可执行指令可以重新组合，从而生成新的模块和程序段。因此附图的方框以及方框顺序只是用来更好的图示实施例的过程和步骤，而不应以此作为对发明本身的限制。

图2是根据本发明实施例的比较方法的流程图。所述比较方法应用于比较第一数据库表和第二数据库表的数据差集异，具体包括以下步骤。

在步骤201中，根据第一数据库表生成第一集合。

在步骤202中，根据第二数据库表生成第二集合。

由一个或多个元素所构成的叫做集合。在上述步骤中，基于第一数据库表的数据构建第一集合，基于第二数据库表的数据构建第二集合。例如，从第一数据库表中读取所有数据，将每行数据组合起来构成第一集合的一个元素，类似{[业务流水号1，业务名称1，金额1]，[业务流水号2，业务名称2，金额2]……}；按同样的方式构建第二集合。其中，[业务流水号1，业务名称1，金额1]和[业务流水号2，业务名称2，金额2]分别是集合的一个元素。

在步骤203中，通过计算第一集合和第二集合的差集，从而获取第一数据库表和第二数据库表的差异数据。

对于第一集合和第二集合，所有属于第一集合且不属于第二集合的元素构成的集合，叫做第一集合与第二集合的差集，即把集合{x∣x∈第一集合,且第二集合}叫做第一集合与第二集合的差集。例如，第一集合{[业务流水号1，业务名称1，金额1]，[业务流水号2，业务名称2，金额2]……}，如果第二集合中不存在元素[业务流水号1，业务名称1，金额1]，则元素[业务流水号1，业务名称1，金额1]会为第一集合和第二集合的差集里的一个元素。

在本发明实施例中，通过将数据库表的数据转换为集合进行比较，由于不需要频繁地访问数据库，不需要逐行逐列进行比较，从而提高了比较效率。

进一步地，由于现有的计算机语言基本上都开发了用于集合存储和集合运算的功能模块或代码包，因此本发明实施例可以直接调用相关接口完成上述第一集合和第二集合的比较。

但图1所示的实施例也有缺点，例如，集合内的每一元素都包含多个字段，在比较第一集合和第二集合的元素时，需要比较每个字段，从而降低了比较效率。

有鉴于此，图3给出了本发明另一实施例的比较方法的流程图，具体包括以下步骤。

在步骤301中，从第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，该一列第一字符串的每个第一字符串组成第一集合。

在步骤302中，从第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，该一列第二字符串的每个第二字符串组成第二集合。

在步骤303中，通过计算第一集合和第二集合的差集，从而获取第一数据库表和第二数据库表的差异数据。

在本发明实施例中，通过拼接多列数据获得第一字符串的集合和第二字符串的集合，进而在计算两个集合之差集时，只需要比较两个字符串，从而提高了比较效率。

举例说明，orders表记录了每笔订单信息，flowGoods表记录了订单的物流记录，当比较物流信息和订单数据是否匹配时，根据本发明实施例，将orders表的订单ID和货物ID拼接生成新的列，将flowGoods表中的订单ID和货物ID拼接生成新的列，将两个新的列分别组成集合，比较两个集合获得差异数据，根据差异数据确定哪些订单ID未在flowGoods中出现，进而确定哪些订单没有派送出去。

进一步地，第一集合和第二集合可以通过Hash表存储，通过Hash算法计算第一集合和第二集合的差集。Hash表是根据关键码值(Key value)而直接进行访问的数据结构。目前很种编程语言都有支持Hash表的数据对象，例如Java、Python语言中的Set(集)、List(列表)、Map(散射)，这些对象包含多个基于Hash算法的方法能很方便地计算出第一集合和第二集合的差集。

此外，Redis数据库的Set对象也是第一集合和第二集合比较的优选实现方式。根据第一数据库表生成Redis的一个Set对象，根据第二数据库表生成Redis的另一个Set对象，通过Redis提供的Sdiff指令比较两个Set对象。Sdiff指令的输入参数为两个集合，输出参数是两个集合的差集。需要指出的是，Redis是一个基于Key-Value对的非关系型数据库，大部分运算都通过内存完成，因此，运算效率要比关系型数据较高。

图4是根据本发明另一实施例的比较方法的流程图。所述比较方法包括以下步骤。

在步骤401中，将业务表中分别导出若干列生成第一数据库表和第二数据库表。

例如，从上述的orders表和flowGoods表中分别导出若干列，组成两个临时表，在临时表中进行后续的操作。这样做的目的是避免影响实时业务处理。

在步骤402中，从第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，该一列第一字符串的每个第一字符串组成所述第一集合

在步骤403中，从第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，该一列第二字符串的每个第二字符串组成所述第二集合

在步骤404中，通过计算第一集合和第二集合的差集，从而获取第一数据库表和第二数据库表的差异数据。

在步骤405中，根据差集包含的第一字符串，逐一标记第一数据库表的对应行。

在步骤405中，差集中的每个字符串都对应第一数据库表的一行记录，根据该字符串，找到第一数据库表内的对应记录，并标记该记录。

进一步分析可知，上述的比较方法尤其适用于关系型数据库中的主从表的数据比较，即第一数据库表为主表，第二数据库表为从表，则从主表中选取主键及其他列字段拼接成第一字符串，在从表中选取外键及其他列字段拼接成第二字符串，并进行第一字符串和第二字符串的比较。这种比较方法在项目运维中很有应用价值。

图5是根据本发明实施例的比较系统的结构图。所述比较系统包括第一生成单元501、第二生成单元502、计算单元503和获取单元504。

第一生成单元501用于根据第一数据库表生成第一集合。

第二生成单元502用于根据第二数据库表生成第二集合。

第一生成单元501基于第一数据库表的数据构建第一集合，第二生成单元502基于第二数据库表的数据构建第二集合。例如，第一生成单元501从第一数据库表中读取所有列，将一行数据组合起来构成第一集合的一个元素，得到的集合类似{[业务流水号1，业务名称1，金额1]，[业务流水号2，业务名称2，金额2]……}。同样，第二生成单元501也得到类似的集合。

第二生成单元502用于计算第一集合和第二集合的差集。第二生成单元502将第一集合和第二集合相减，得到一个差的集合。

获取单元504用于根据差集获取第一数据库表和第二数据库表的差异数据。

进一步地，第一生成单元501从第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，所述一列第一字符串的每个第一字符串组成所述第一集合。第二生成单元502从第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，所述一列第二字符串的每个第二字符串组成所述第二集合。

进一步地，第一数据库表和第二数据库表为关系型数据库中的主从表。第一生成单元501从第一数据库表中选取至少主键列的数据生成第一字符串，第二生成单元502从第二数据库表中选取至少外键列的数据生成第二字符串。

图6是根据本发明另一实施例的比较系统的结构图。所述比较系统包括第一生成单元601、第二生成单元602、计算单元603、获取单元604和标记单元605。

第一生成单元601用于根据第一数据库表生成第一集合。

第二生成单元602用于根据第二数据库表生成第二集合。

第一生成单元601基于第一数据库表的数据构建第一集合，第二生成单元602基于第二数据库表的数据构建第二集合。例如，第一生成单元601从第一数据库表中读取所有列，将一行数据组合起来构成第一集合的一个元素，得到的集合类似{[业务流水号1，业务名称1，金额1]，[业务流水号2，业务名称2，金额2]……}。同样，第二生成单元601也得到类似的集合。

第二生成单元602用于计算第一集合和第二集合的差集。第二生成单元602将第一集合和第二集合相减，得到一个差的集合。

获取单元604用于根据差集获取第一数据库表和第二数据库表的差异数据。

标记单元605用于根据差集包含的第一字符串，逐一标记所述第一数据库表对应行。

进一步地，所述比较系统还包括导出单元，导出单元用于将业务表中分别导出若干列数据生成第一数据库表和第二数据库表。

本领域的技术人员可以理解，本发明的方法的步骤和系统的单元对应，在方法中描述的内容也适用于系统中的单元，因此以相对简略的方式描写系统的各个单元。

本发明实施例提供的方法和系统不仅可以减少对比差异时对业务数据表的压力，避免影响正常的业务交易；同时，可以快速高效的对比出存在差异的数据。既能提高业务数据对比的效率，同时，降低对正常业务交易的影响。

系统的各个模块或单元可以通过硬件、固件或软件实现。软件例如包括采用JAVA、C/C++/C#、SQL等各种编程语言形成的编码程序。虽然在方法以及方法图例中给出本发明实施例的步骤以及步骤的顺序，但是所述步骤实现规定的逻辑功能的可执行指令可以重新组合，从而生成新的步骤。所述步骤的顺序也不应该仅仅局限于所述方法以及方法图例中的步骤顺序，可以根据功能的需要随时进行调整。例如将其中的某些步骤并行或按照相反顺序执行。

根据本发明的系统和方法可以部署在单个或多个服务器上。例如，可以将不同的模块分别部署在不同的服务器上，形成专用服务器。或者，可以在多个服务器上分布式部署相同的功能单元、模块或系统，以减轻负载压力。所述服务器包括但不限于在同一个局域网以及通过Internet连接的多个PC机、PC服务器、刀片机、超级计算机等。

以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域技术人员而言，本发明可以有各种改动和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (15)

1.一种比较方法，用于比较第一数据库表和第二数据库表的数据差异，包括：

根据第一数据库表生成第一集合；

根据第二数据库表生成第二集合；以及

通过计算所述第一集合和所述第二集合的差集，从而获取第一数据库表和第二数据库表的差异数据。

2.根据权利要求1所述的比较方法，其中，所述根据所述第一数据库表生成第一集合包括：

从所述第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，所述一列第一字符串的每个第一字符串组成所述第一集合；

所述根据第二数据库表生成第二集合包括：

从所述第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，所述一列第二字符串的每个第二字符串组成所述第二集合。

3.根据权利要求2所述的比较方法，所述第一数据库表和所述第二数据库表为主从表。

4.根据权利要求3所述的比较方法，其中，所述从所述第一数据库表中选取至少一列的数据包括：从所述第一数据库表中选取至少主键列的数据，

所述从所述第二数据库表中选取至少一列的数据包括：从所述第二数据库表中选取至少外键列的数据。

5.根据权利要求2所述的比较方法，还包括：

根据所述差集包含的第一字符串，逐一标记所述第一数据库表的对应行。

6.根据权利要求1所述的比较方法，其中，所述第一集合和所述第二集合通过Hash表存储，通过Hash算法计算所述第一集合和所述第二集合的差集。

7.根据权利要求1所述的比较方法，其中，所述第一集合和所述第二集合为Redis的Set集；

所述计算所述第一集合和所述第二集合的差集为：

通过Redis的Sdiff命令计算所述第一集合和所述第二集合的差集。

8.根据权利要求1所述的比较方法，其中，所述第一数据库表和第二数据库表是关系型数据库的数据库表。

9.根据权利要求8所述的比较方法，还包括：从业务表中分别导出若干列数据生成所述第一数据库表和所述第二数据库表。

10.一种比较系统，用于比较第一数据库表和第二数据库表的数据差集异，包括：

第一生成单元，用于根据第一数据库表生成第一集合；

第二生成单元，用于根据第二数据库表生成第二集合；

计算单元，用于计算所述第一集合和所述第二集合的差集；

获取单元，用于根据所述差集获取第一数据库表和第二数据库表的差异数据。

11.根据权利要求10所述的比较系统，所述第一生成单元包括：

从所述第一数据库表中选取至少一列的数据，按行拼接成一列第一字符串，所述一列第一字符串的每个第一字符串组成所述第一集合；

所述第二生成单元包括：

从所述第二数据库表中选取至少一列的数据，按行拼接成一列第二字符串，所述一列第二字符串的每个第二字符串组成所述第二集合。

12.根据权利要求11所述的比较系统，所述第一数据库表和所述第二数据库表为主从表。

13.根据权利要求12所述的比较系统，其中，所述第一生成单元包括：从所述第一数据库表中选取至少主键列的数据，

所述第二生成单元包括：从所述第二数据库表中选取至少外键列的数据。

14.根据权利要求11所述的比较系统，还包括：

标记单元，用于根据所述差集包含的第一字符串，逐一标记所述第一数据库表的对应行。

15.根据权利要求10所述的比较方法，还包括：导出单元，用于将业务表中分别导出若干列生成所述第一数据库表和所述第二数据库表。