CN114996288A - 数据比对方法及装置、计算机存储介质、电子设备 - Google Patents

Abstract

本公开涉及计算机技术领域，提供了一种数据比对方法、数据比对装置、计算机存储介质、电子设备，其中，数据比对方法包括：获取目标表中包含的多个字段，目标表为存放目标数据的数据表；目标数据为从源表中同步过来的数据；源表为存放源数据的数据表；从目标表中查询每个字段对应的目标数据集，并对目标数据集中的多个目标数据进行排序处理，得到第一数据序列；从源表中查询每个字段对应的源数据集，并对源数据集中的多个源数据进行排序处理，得到第二数据序列；利用多个进程并发对多个字段对应的第一数据序列和第二数据序列进行比对处理，得到数据比对结果。本公开能够在保证数据比对结果准确度的同时，提升数据比对效率。

Description

数据比对方法及装置、计算机存储介质、电子设备

技术领域

本公开涉及计算机技术领域，特别涉及一种数据比对方法、数据比对装置、计算机存储介质及电子设备。

背景技术

随着计算机及互联网技术的迅速发展与进步，经常会出现数据库同步的需求，在数据同步之后，需要验证数据同步结果是否准确无误。

目前，一般是采用人工比对的方式来确定数据同步结果。然而，上述方案准确性得不到保证，且在数据量较大的情况下，效率较低。

鉴于此，本领域亟需开发一种新的数据比对方法及装置。

需要说明的是，上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。

发明内容

本公开的目的在于提供一种数据比对方法、数据比对装置、计算机存储介质及电子设备，进而至少在一定程度上克服由于相关技术的限制而导致的无法在保证数据比对结果准确性的同时，兼顾数据比对效率的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的第一方面，提供一种数据比对方法，包括：获取目标表中包含的多个字段，所述目标表为存放目标数据的数据表；所述目标数据为从源表中同步过来的数据；所述源表为存放源数据的数据表；从所述目标表中查询每个字段对应的目标数据集，并对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列；从所述源表中查询每个字段对应的源数据集，并对所述源数据集中的多个源数据进行排序处理，得到第二数据序列；利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果。

在本公开的示例性实施例中，所述获取目标表中包含的多个字段，包括：根据所述目标表的标识信息，从信息数据库中查询所述目标表中包含的多个字段；其中，所述信息数据库用于存储不同的目标表所包含的字段。

在本公开的示例性实施例中，所述方法还包括：在从所述目标表中查询每个字段对应的目标数据集之后，将所述目标数据集中的多个目标数据转换为指定格式；以及，在从所述源表中查询每个字段对应的源数据集之后，将所述源数据集中的多个源数据转换为所述指定格式；其中，所述指定格式包括以下任一：关键字-键值格式、键值格式。

在本公开的示例性实施例中，其特征在于，所述对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列，包括：获取每个目标数据在所述目标表中的主键索引；根据所述主键索引对所述多个目标数据进行排序处理，得到所述第一数据序列。

在本公开的示例性实施例中，所述对所述源数据集中的多个源数据进行排序处理，得到第二数据序列，包括：获取每个源数据在所述源表中的主键索引；根据所述主键索引对所述多个目标数据进行排序处理，得到所述第二数据序列。

在本公开的示例性实施例中，所述第一数据序列和所述第二数据序列为数组形式。

在本公开的示例性实施例中，在得到数据比对结果之后，所述方法还包括：当目标数据与其所对应的源数据不一致时，对所述源数据再次进行同步处理。

根据本公开的第二方面，提供一种数据比对装置，包括：获取模块，用于获取目标表中包含的多个字段，所述目标表为存放目标数据的数据表；所述目标数据为从源表中同步过来的数据；所述源表为存放源数据的数据表；第一查询模块，用于从所述目标表中查询每个字段对应的目标数据集，并对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列；第二查询模块，用于从所述源表中查询每个字段对应的源数据集，并对所述源数据集中的多个源数据进行排序处理，得到第二数据序列；数据比对模块，用于利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果。

根据本公开的第三方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的数据比对方法。

根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的数据比对方法。

由上述技术方案可知，本公开示例性实施例中的数据比对方法、数据比对装置、计算机存储介质及电子设备至少具备以下优点和积极效果：

在本公开的一些实施例所提供的技术方案中，一方面，先获取目标表中包含的多个字段，再从所述目标表中查询每个字段对应的目标数据集，以及，从源表中查询每个字段对应的源数据集，能够在源表数据量大于目标表的情况下，根据目标表包含的字段快速获取到需要比对的源数据集，提升数据的获取效率。进一步的，对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列，以及，对所述源数据集中的多个源数据进行排序处理，得到第二数据序列，使得每个目标数据与其需要对比的源数据之间具备预设的顺序对应关系，避免将不具备对应关系的目标数据与源数据进行比对所导致的比对结果输出错误的问题，保证数据比对结果的准确度。另一方面，利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果，能够在需要比对的数量较大的情况下，快速执行上述比对处理过程，从而，在保证比对结果准确度的同时，还能够提升数据比对效率。

本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出本公开实施例中数据比对方法的流程示意图；

图2示出本公开实施例中对目标数据集中的多个目标数据进行排序处理，得到第一数据序列的流程示意图；

图3示出本公开实施例中对源数据集中的多个源数据进行排序处理，得到第二数据序列的流程示意图；

图4示出本公开实施例中数据比对方法的整体流程示意图；

图5示出本公开示例性实施例中数据比对装置的结构示意图；

图6示出本公开示例性实施例中电子设备的结构示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。

本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。

现代软件系统协作经常会有数据库同步的需求，在数据同步之后，需要验证数据库同步是否正确。

相关技术中，一般是采用以下两种方式来验证数据同步结果：

第一种方式是采用人工执行SQL(Structured Query Language，结构化查询语言)查询源表的数据量和目标表的数据量，进而，随机抽查数据进行比对，以确定数据同步结果。该方式虽然能够快速对比出源表和目标表中的数据是否一致，但是随机抽样的结果无法百分百保证所有数据的迁移均准确无误，因此，得到的数据同步结果的可靠性得不到有效保障。

第二种方式是使用程序一次性查出源表和目标表中的所有的数据，进而，对数据进行一一比对。该方式虽能保证数据同步结果的可靠性，但在数据量较大的情况下，效率较低。

在本公开的实施例中，首先提供了一种数据比对方法，至少在一定程度上克服相关技术中无法在保证数据比对结果准确性的同时，兼顾数据比对效率的缺陷。

图1示出本公开实施例中数据比对方法的流程示意图，该数据比对方法的执行主体可以是对数据进行比对处理的服务器。

参考图1，根据本公开的一个实施例的数据比对方法包括以下步骤：

步骤S110，获取目标表中包含的多个字段，目标表为存放目标数据的数据表；目标数据为从源表中同步过来的数据；源表为存放源数据的数据表；

步骤S120，从目标表中查询每个字段对应的目标数据集，并对目标数据集中的多个目标数据进行排序处理，得到第一数据序列；

步骤S130，从源表中查询每个字段对应的源数据集，并对源数据集中的多个源数据进行排序处理，得到第二数据序列；

步骤S140，利用多个进程并发对多个字段对应的第一数据序列和第二数据序列进行比对处理，得到数据比对结果。

在图1所示实施例所提供的技术方案中，一方面，先获取目标表中包含的多个字段，再从目标表中查询每个字段对应的目标数据集，以及，从源表中查询每个字段对应的源数据集，能够在源表数据量大于目标表的情况下，根据目标表包含的字段快速获取到需要比对的源数据集，提升数据的获取效率。进一步的，对目标数据集中的多个目标数据进行排序处理，得到第一数据序列，以及，对源数据集中的多个源数据进行排序处理，得到第二数据序列，使得每个目标数据与其需要对比的源数据之间具备预设的顺序对应关系，避免将不具备对应关系的目标数据与源数据进行比对所导致的比对结果输出错误的问题，保证数据比对结果的准确度。另一方面，利用多个进程并发对多个字段对应的第一数据序列和第二数据序列进行比对处理，得到数据比对结果，能够在需要比对的数量较大的情况下，快速执行上述比对处理过程，从而，在保证比对结果准确度的同时，还能够提升数据比对效率。

以下对图1中的各个步骤的具体实现过程进行详细阐述：

在本公开的示例性实施例中，数据同步即将源表中的源数据同步至目标表的过程。

源表可以理解为：在数据同步的过程中被抽取数据的数据表，源表中存放有源数据。

目标表可以理解为：在数据同步的过程中被抽取数据所要导入的数据表，目标表中存放有从源表中同步过来的目标数据。

在步骤S110中，获取目标表中包含的多个字段。

在一种可选的实施方式中，可以根据目标表的标识信息，从信息数据库(information_schema)中查询目标表中包含的多个字段。

其中，标识信息可以是目标表的名称(例如：人员信息表)、编号等，可以根据实际情况自行设定，本公开对此不作特殊限定。

information_schema是数据库软件(比如MySQL、SQL server)自带的一个系统数据库，用于存储数据库元数据(关于数据的数据)，例如数据库名、表名、各个业务表所包含的字段、列的数据类型。通过information_schema里的syscolumns视图可以快速查询某个业务表包含的字段，并且，不会影响业务表中其他数据的查询。示例性的，可以在上述syscolumns视图中输入上述目标表的标识信息，以查询到目标表包含的字段。

字段表示与对象或类关联的变量，也叫做属性。在数据库中，大多数情况下，表的“列”被称为字段，每个字段包含某一专题的信息，示例性的，字段可以是“姓名”、“性别”、“工号”等。

在另一种可选的实施方式中，也可以直接统计目标表中所包含的多个字段，可以根据实际情况自行设定，本公开对此不作特殊限定。

在获取到目标表包含的字段之后，可以将所有的字段放到一个列表list里面暂存，便于后续进行调用。

以下以python编程语言为例说明本公开中如何从information_schema中查询目标表中所包含的多个字段，并将获得的多个字段暂存在list中：

def getSinkDatafield(sinkTable):

getFiledsql＝"select column_name from information_schema.columnswhere table_name＝'"+sinkTable+"'and table_schema＝'dplat_market_api'"

list＝dp.getListFromMysql(getFiledsql)

Return list

其中，sinkTable表示上述目标表。

在步骤S120中，从目标表中查询每个字段对应的目标数据集，并对目标数据集中的多个目标数据进行排序处理，得到第一数据序列。

本步骤中，鉴于每个字段下存储有目标表中的一整列数据(即多个目标数据)，从而，可以从目标表中查询每个字段对应的目标数据集。示例性的，以字段“姓名”为例进行说明，则获取到的字段“姓名”对应的目标数据集可以是：张三-李四-……-王五。

在获取到上述目标数据集之后，可以先将上述目标数据集中的多个目标数据的格式进行统一，示例性的，可以将其统一转换为key-value格式(即关键字-键值格式)，或者，转换为value格式(即键值格式)，以便于后续在格式统一的前提下进行数据比对，提升数据比对效率及准确率。

在进行格式转换之后，可以对上述目标数据集中的多个目标数据进行排序处理，以得到第一数据序列。

参考图2，图2示出本公开实施例中对目标数据集中的多个目标数据进行排序处理，得到第一数据序列的流程示意图，包含步骤S201-步骤S202：

在步骤S201中，获取每个目标数据在目标表中的主键索引。

本步骤中，可以获取每个目标数据在目标表中的主键索引。主键索引指的就是主键对应的索引，是一种特殊的唯一索引，一个表只能有一个主键且不允许有空值，索引列只能出现一次且必须唯一。主键是表中的一个或多个字段，它的值用于惟一地标识表中的某一条记录，使用索引可快速访问数据库表中的特定信息。主键可以保证记录的唯一和主键域非空，数据库管理系统对于主键自动生成唯一索引，所以主键本身也是一个特殊的索引。因此，本公开中的主键索引可以是主键对应的索引，也可以是主键本身。

以目标表的主键为“工号”为例进行说明，则主键索引可以是每个人员信息(即目标数据)对应的工号，也可以是为每个工号预先创建的索引值(例如：唯一ID，Identification，标识)，可以根据实际情况自行设定，本公开对此不作特殊限定。

在步骤S202中，根据主键索引对多个目标数据进行排序处理，得到第一数据序列。

本步骤中，在确定出每个目标数据对应的主键索引之后，可以根据主键索引对多个目标数据进行排序处理，得到第一数据序列。示例性的，可以按照主键索引由小到大(或由大到小，可以根据实际情况自行设定，本公开对此不作特殊限定)的顺序，对上述多个目标数据进行排序处理，得到第一数据序列。

需要说明的是，可以将上述第一数据序列设置为数组形式，以便于后续直接对数组中的对应元素执行比对过程。以将目标数据转换为value格式为例进行说明，则示例性的，字段“姓名”对应的第一数据序列A1可以是：【(张三)，(李四)，……，(王五)】。

在步骤S130中，从源表中查询每个字段对应的源数据集，并对源数据集中的多个源数据进行排序处理，得到第二数据序列。

本步骤中，鉴于源表中包含的字段可能比目标表中包含的字段多，为了避免对相关未同步数据的无效比对，可以直接从源表中查询(通过步骤S110中获取到的目标表中包含的)每个字段所对应的源数据集，以提升数据比对效率。

鉴于每个字段下存储有源表中的一整列数据(即多个源数据)，从而，可以从源表中查询每个字段对应的源数据集。示例性的，以字段“姓名”为例进行说明，则获取到的字段“姓名”对应的源数据集可以是：张三-李四-……-王五。

在获取到上述源数据集之后，可以先将上述源数据集中的多个源数据的格式进行统一。示例性的，可以与上述目标数据的格式保持一致，当上述目标数据为key-value格式时，可以将源数据统一转换为key-value格式，当上述目标数据为value格式时，可以将源数据统一转换为value格式，以便于后续进行数据比对。

在进行格式转换之后，可以对上述源数据集中的多个源数据进行排序处理，以得到第二数据序列。

参考图3，图3示出本公开实施例中对源数据集中的多个源数据进行排序处理，得到第二数据序列的流程示意图，包含步骤S301-步骤S302：

在步骤S301中，获取每个源数据在源表中的主键索引。

本步骤中，可以获取每个源数据在源表中的主键索引，示例性的，主键索引可以是源表中每行数据的ID(Identification，标识)，每行数据对应唯一ID。

在步骤S302中，根据主键索引对多个源数据进行排序处理，得到第二数据序列。

本步骤中，在确定出每个源数据对应的主键索引之后，可以根据主键索引对多个源数据进行排序处理，得到第二数据序列。示例性的，可以按照主键索引由小到大(或由大到小，可以根据实际情况自行设定，本公开对此不作特殊限定)的顺序，对上述多个源数据进行排序处理，得到第二数据序列。

需要说明的是，可以将上述第二数据序列设置为数组形式，以将源数据转换为value格式为例进行说明，则示例性的，字段“姓名”对应的第一数据序列B1可以是：【(张三)，(李四)，……，(王五)】。

类似的，可以依次获取每个字段对应的第一数据序列和第二数据序列，直至获取到上述多个字段分别对应的第一数据序列和第二数据序列，进而，可以执行以下步骤S140。

在步骤S140中，利用多个进程并发对多个字段对应的第一数据序列和第二数据序列进行比对处理，得到数据比对结果。

本步骤中，可以为每个字段设置一个进程来并发执行上述比对处理的过程，以提升比对效率。以上述多个字段的数目为10进行举例说明，则可以设置10个进程来并发执行上述10个字段对应的第一数据序列和第二数据序列的比对过程，以得到每个字段对应的数据比对结果。

可选的，鉴于第一数据序列和第二数据序列中分别包含多个元素，从而，还可以在每个进程下设置多个线程，来执行每个字段中所包含的多个数据。以上述第一数据序列和第二数据序列中各包含20个元素为例进行说明，则可以在每个进程下设置20个线程，以执行上述第一数据序列和第二数据序列中20对元素之间的比对过程，从而，提升数据比对效率。

其中，进程指的是正在运行中的应用程序，每个进程都有自己独立的地址空间(内存空间)，每当用户启动一个进程时，操作系统就会为该进程分配一个独立的内存空间，让应用程序在这个独立的内存空间中运行。

线程是一个轻量级的子进程，是最小的处理单元；是一个单独的执行路径。可以说线程是进程的子集(部分)。线程是独立的。如果在一个线程中发生异常，则不会影响其他线程。

数据比对结果即上述第一数据序列中所包含的目标数据与上述第二数据序列中所包含的源数据是否一致的描述信息，例如：A1与B1中的所有数据一致，或，A1与B1中的数据M不一致，具体内容可以根据实际情况自行设定，本公开对此不作特殊限定。

示例性的，以下以python编程语言为例说明本公开中具体如何输出A1与B1之间的数据比对结果：

cmpret＝complist(A1,B1)

if cmpret＝＝0:

print"结果一致"

else:

print s2,"结果不一致"

即在cmpret为0时，输出“结果一致”，在cmpret不为0时，输出“结果不一致”。在得到数据比对结果之后，若目标数据M与其所对应的源数据N不一致，则可以对其源数据N再次进行同步处理，以保证目标表和源表中数据的一致性。

参考图4，图4示出本公开实施例中数据比对方法的整体流程示意图，具体的，

可以先查询目标表的所有字段(例如：字段1、字段2、字段3……字段N)；

进而，可以从目标表中获取每个字段下包含的数据，以数组格式输出；以及，从源表中获取每个字段下包含的数据，以数组形式输出；

进一步的，可以基于与N个字段对应的N个进程，执行上述数据的比对过程，具体的，可以通过进程1执行目标表中字段1的数据与源表中字段1的数据之间的比对过程，通过进程2执行目标表中字段2的数据与源表中字段2的数据之间的比对过程，通过进程3执行目标表中字段3的数据与源表中字段3的数据之间的比对过程，……，以及，通过进程N执行目标表中字段N的数据与源表中字段N的数据之间的比对过程，以得到数据比对结果。

基于以上技术方案，一方面，本公开通过对全量数据进行逐一比对，能够避免由于人工比对数据所导致的准确性无法得到保障的问题；另一方面，本公开通过设置多进程进行并发比对，解决了数据量大的情况下对比时间过长的问题，提高了数据比对效率。

本公开还提供了一种数据比对装置，图5示出本公开示例性实施例中数据比对装置的结构示意图；如图5所示，数据比对装置500可以包括获取模块510、第一查询模块520、第二查询模块530和数据比对模块540。其中：

获取模块510，用于获取目标表中包含的多个字段，所述目标表为存放目标数据的数据表；所述目标数据为从源表中同步过来的数据；所述源表为存放源数据的数据表；

第一查询模块520，用于从所述目标表中查询每个字段对应的目标数据集，并对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列；

第二查询模块530，用于从所述源表中查询每个字段对应的源数据集，并对所述源数据集中的多个源数据进行排序处理，得到第二数据序列；

数据比对模块540，用于利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果。

在本公开的示例性实施例中，获取模块510，被配置为：

根据所述目标表的标识信息，从信息数据库中查询所述目标表中包含的多个字段；其中，所述信息数据库用于存储不同的目标表所包含的字段。

在本公开的示例性实施例中，第二查询模块520，被配置为：

在从所述目标表中查询每个字段对应的目标数据集之后，将所述目标数据集中的多个目标数据转换为指定格式；其中，所述指定格式包括以下任一：关键字-键值格式、键值格式。

在本公开的示例性实施例中，第二查询模块530，被配置为：

在从所述源表中查询每个字段对应的源数据集之后，将所述源数据集中的多个源数据转换为指定格式；其中，所述指定格式包括以下任一：关键字-键值格式、键值格式。

在本公开的示例性实施例中，第一查询模块520，被配置为：

获取每个目标数据在所述目标表中的主键索引；根据所述主键索引对所述多个目标数据进行排序处理，得到所述第一数据序列。

在本公开的示例性实施例中，第二查询模块530，被配置为：

获取每个源数据在所述源表中的主键索引；根据所述主键索引对所述多个目标数据进行排序处理，得到所述第二数据序列。

在本公开的示例性实施例中，所述第一数据序列和所述第二数据序列为数组形式。

在本公开的示例性实施例中，在得到数据比对结果之后，数据比对模块540，被配置为：

当目标数据与其所对应的源数据不一致时，对所述源数据再次进行同步处理。

上述数据比对装置中各模块的具体细节已经在对应的数据比对方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。

本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的方法。

此外，在本公开实施例中还提供了一种能够实现上述方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

下面参照图6来描述根据本公开的这种实施方式的电子设备600。图6显示的电子设备600仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图6所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：上述至少一个处理单元610、上述至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630以及显示单元640。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1中所示的：步骤S110，获取目标表中包含的多个字段，所述目标表为存放目标数据的数据表；所述目标数据为从源表中同步过来的数据；所述源表为存放源数据的数据表；步骤S120，从所述目标表中查询每个字段对应的目标数据集，并对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列；步骤S130，从所述源表中查询每个字段对应的源数据集，并对所述源数据集中的多个源数据进行排序处理，得到第二数据序列；步骤S140，利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果。

存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(ROM)6203。

存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器660通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

Claims (10)

1.一种数据比对方法，其特征在于，包括：

获取目标表中包含的多个字段，所述目标表为存放目标数据的数据表；所述目标数据为从源表中同步过来的数据；所述源表为存放源数据的数据表；

从所述目标表中查询每个字段对应的目标数据集，并对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列；

从所述源表中查询每个字段对应的源数据集，并对所述源数据集中的多个源数据进行排序处理，得到第二数据序列；

利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果。

2.根据权利要求1所述的方法，其特征在于，所述获取目标表中包含的多个字段，包括：

根据所述目标表的标识信息，从信息数据库中查询所述目标表中包含的多个字段；

其中，所述信息数据库用于存储不同的目标表所包含的字段。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在从所述目标表中查询每个字段对应的目标数据集之后，将所述目标数据集中的多个目标数据转换为指定格式；以及，

在从所述源表中查询每个字段对应的源数据集之后，将所述源数据集中的多个源数据转换为所述指定格式；

其中，所述指定格式包括以下任一：关键字-键值格式、键值格式。

4.根据权利要求1至3任意一项所述的方法，其特征在于，所述对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列，包括：

获取每个目标数据在所述目标表中的主键索引；

根据所述主键索引对所述多个目标数据进行排序处理，得到所述第一数据序列。

5.根据权利要求1至3任意一项所述的方法，其特征在于，所述对所述源数据集中的多个源数据进行排序处理，得到第二数据序列，包括：

获取每个源数据在所述源表中的主键索引；

根据所述主键索引对所述多个目标数据进行排序处理，得到所述第二数据序列。

6.根据权利要求1或2所述的方法，其特征在于，所述第一数据序列和所述第二数据序列为数组形式。

7.根据权利要求1或2所述的方法，其特征在于，在得到数据比对结果之后，所述方法还包括：

当目标数据与其所对应的源数据不一致时，对所述源数据再次进行同步处理。

8.一种数据比对装置，其特征在于，包括：

获取模块，用于获取目标表中包含的多个字段，所述目标表为存放目标数据的数据表；所述目标数据为从源表中同步过来的数据；所述源表为存放源数据的数据表；

第一查询模块，用于从所述目标表中查询每个字段对应的目标数据集，并对所述目标数据集中的多个目标数据进行排序处理，得到第一数据序列；

第二查询模块，用于从所述源表中查询每个字段对应的源数据集，并对所述源数据集中的多个源数据进行排序处理，得到第二数据序列；

数据比对模块，用于利用多个进程并发对所述多个字段对应的第一数据序列和所述第二数据序列进行比对处理，得到数据比对结果。

9.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～7中任意一项所述的数据比对方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1～7中任意一项所述的数据比对方法。

Images