CN108268496A - 数据的校验方法及装置 - Google Patents

Abstract

本申请公开了一种数据的校验方法及装置。该方法包括：根据待校验数据的数据属性，确定查询维度；根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断源数据集和目标数据集是否相同；如果是，则判断数据校验成功；否则，判断数据校验失败。通过本申请，解决了相关技术中数据库中的数据进行校验的效率较低的问题。

Description

数据的校验方法及装置

技术领域

本申请涉及数据库技术领域，具体而言，涉及一种数据的校验方法及装置。

背景技术

当前，在软件开发、数据分析的企业中，经常需要将数据从一个数据库转移到另外一个数据库。然而数据转移的过程可能不是完全相同的数据库模式以及表结构重用，可能会对表结构进行改造。在此基础上，数据转移完毕之后，还需要验证数据转移是否正确。例如，数据在源数据库A中存储了一些数据，需将源数据库A的数据，导入目标数据库B。如果是不同表的数据拼接，导入过程中可能有格式变化，数据导入目标数据库B后，需要验证目标数据库中的数据是否和源数据库A中的数据一致。一致的定义为：源数据库A和目标数据库B中的数据做相同的统计，数据完全相等。数据对比可以通过人工或者程序实现。但是两种对比方法都需要大量的人工，存在重复性劳动，效率也较低。

针对相关技术中数据库中的数据进行校验的效率较低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据的校验方法及装置，以解决相关技术中数据库中的数据进行校验的效率较低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据的校验方法。该方法包括：根据待校验数据的数据属性，确定查询维度；根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断源数据集和目标数据集是否相同；如果是，则判断数据校验成功；否则，判断数据校验失败。

进一步地，根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集包括：创建第一查询脚本和第二查询脚本，其中，第一查询脚本用于根据查询维度从源数据库中进行数据查询，第二查询脚本用于根据查询维度从目标数据库中进行数据查询；采用第一查询脚本从源数据库中查询到源数据集；以及采用第二查询脚本从源数据库中查询到目标数据集。

进一步地，判断源数据集和目标数据集是否相同包括：从源数据集中多个数据列中确定第一标识列；从目标数据集中多个数据列中确定第二标识列；以及根据第一标识列和第二标识列校验源数据集中的数据与目标数据集中的数据是否相同。

进一步地，判断所述源数据集中的数据与目标数据集中的数据是否相同包括：比较第一标识列中的数据与第二标识列中的数据是否相同；如果第一标识列中的数据与第二标识列中的数据相同，比较源数据集中非第一标识列中的数据与目标数据集中非第二标识列中的数据是否相同。

进一步地，在判断出源数据集和目标数据集不相同，判断数据校验失败之后，该方法还包括：获取源数据集与目标数据集中相同的数据列，和/或，获取源数据集与目标数据集中不同的数据列；以及显示源数据集与目标数据集中相同的数据列，和/或，显示源数据集与目标数据集中不同的数据列。

进一步地，源数据库中包括第一数据表和第二数据表，其中，第一数据表和第二数据表均包含相同的外键列，在根据查询维度分别在源数据库和目标数据库中进行数据查询之前，该方法还包括：通过外键列将第一数据表和第二数据表进行拼接，得到第三数据表；以及将第三数据表导入目标数据库。

为了实现上述目的，根据本申请的另一方面，提供了一种数据的校验装置。该装置包括：确定单元，用于根据待校验数据的数据属性，确定查询维度；查询单元，用于根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断单元，用于判断源数据集和目标数据集是否相同；判定单元，用于在所述源数据集和所述目标数据集相同的情况下，判断数据校验成功；否则，判断数据校验失败。

进一步地，查询单元包括：创建模块，用于创建第一查询脚本和第二查询脚本，其中，第一查询脚本用于根据查询维度从源数据库中进行数据查询，第二查询脚本用于根据查询维度从目标数据库中进行数据查询；第一查询模块，用于采用第一查询脚本从源数据库中查询到源数据集；以及第二查询模块，用于采用第二查询脚本从源数据库中查询到目标数据集。

进一步地，判断单元包括：第一确定模块，用于从源数据集中多个数据列中确定第一标识列；第二确定模块，用于从目标数据集中多个数据列中确定第二标识列；以及校验模块，用于根据第一标识列和第二标识列校验源数据集中的数据与目标数据集中的数据是否相同。

进一步地，校验模块包括：第一比较子模块，用于比较第一标识列中的数据与第二标识列中的数据是否相同；第二比较子模块，用于在第一标识列中的数据与第二标识列中的数据相同的情况下，比较源数据集中非第一标识列中的数据与目标数据集中非第二标识列中的数据是否相同。

通过本申请，采用以下步骤：根据待校验数据的数据属性，确定查询维度；根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断源数据集和目标数据集是否相同；如果是，则判断数据校验成功；否则，判断数据校验失败，解决了相关技术中数据库中的数据进行校验的效率较低的问题，通过判断源数据集和目标数据集是否相同，从而提升了对数据库中的数据进行校验的效率的效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的数据的校验方法的流程图；以及

图2是根据本申请实施例提供的数据的校验装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请的实施例，提供了一种数据的校验方法。

图1是根据本申请实施例的数据的校验方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，根据待校验数据的数据属性，确定查询维度。

在实际应用中，经常需要将数据从一个数据库转移到另外一个数据库。为了校验数据导入是否成功，根据待校验数据的数据属性，确定查询维度。例如，根据待校验数据的数据属性，确定查询的维度为性别。

步骤S102，根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集。

需要说明的是，在本申请中的目标数据库是将源数据库中的数据导入的数据库。

可选地，在本申请实施例提供的数据的校验方法中，源数据库中包括第一数据表和第二数据表，其中，第一数据表和第二数据表均包含相同的外键列，在根据查询维度分别在源数据库和目标数据库中进行数据查询之前，该方法还包括：通过外键列将第一数据表和第二数据表进行拼接，得到第三数据表；以及将第三数据表导入目标数据库。

也即，在根据查询维度分别在源数据库和目标数据库中进行数据查询之前，已将将源数据库中的数据导入到目标数据库中。为了校验源数据库中的数据导入到目标数据库中是否成功，在将源数据库中的数据导入到目标数据库之后，根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集。

可选地，在本申请实施例提供的数据的校验方法中，根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集包括：创建第一查询脚本和第二查询脚本，其中，第一查询脚本用于根据查询维度从源数据库中进行数据查询，第二查询脚本用于根据查询维度从目标数据库中进行数据查询；采用第一查询脚本从源数据库中查询到源数据集；以及采用第二查询脚本从源数据库中查询到目标数据集。

需要说明的是，上述的查询脚本可以为SQL脚本。在假设数据导入没有问题的情况下，通过第一查询脚本在源数据库查询到的数据集与通过第二查询脚本在目标数据库中查询到的数据集中的内容应该相同。

步骤S103，判断源数据集和目标数据集是否相同。

可选地，在本申请实施例提供的数据的校验方法中，判断源数据集和目标数据集是否相同包括：从源数据集中多个数据列中确定第一标识列；从目标数据集中多个数据列中确定第二标识列；以及根据第一标识列和第二标识列校验源数据集中的数据与目标数据集中的数据是否相同。

例如，采用第一查询脚本从源数据库中查询到的源数据集为X，采用第二查询脚本从源数据库中查询到的目标数据集为Y。确定X和Y中每一个数据集的标识列，标识列可能是数据集中的一列，或者多列的组合，根据X和Y中的标识列校验源数据集中的数据与目标数据集中的数据是否相同。

可选地，在本申请实施例提供的数据的校验方法中，判断源数据集中的数据与目标数据集中的数据是否相同包括：比较第一标识列中的数据与第二标识列中的数据是否相同；如果第一标识列中的数据与第二标识列中的数据相同，比较源数据集中非第一标识列中的数据与目标数据集中非第二标识列中的数据是否相同。

例如，采用第一查询脚本从源数据库中查询到的源数据集为X，采用第二查询脚本从源数据库中查询到的目标数据集为Y。确定X和Y中每一个数据集的标识列，标识列可能是数据集中的一列，或者多列的组合。比较X和Y中标识列中的数据是否相同，在X和Y中标识列相同的行中的数据相同的情况下，比较除了标识列的其他列中的数据是否相同，若相同，则认为源数据集中的数据与目标数据集中的数据相同，也即，将目标数据集从源数据库中导入到目标数据库数据无误。若不同，则认为源数据集中的数据与目标数据集中的数据不相同，也即确定将目标数据集从源数据库中导入到目标数据库的数据存在问题。

步骤S104，如果是，则判断数据校验成功。

在判断出源数据集和目标数据集相同的情况下，判断数据校验成功，也即从源数据库中导入到目标数据库的数据不存在问题。

步骤S105，否则，判断数据校验失败。

在判断出源数据集和目标数据集不相同的情况下，判断数据校验失败，也即从源数据库中导入到目标数据库的数据存在问题。

可选地，在本申请实施例提供的数据的校验方法中，在判断出源数据集和目标数据集不相同，判断数据校验失败之后，该方法还包括：获取源数据集与目标数据集中相同的数据列，和/或，获取源数据集与目标数据集中不同的数据列；以及显示源数据集与目标数据集中相同的数据列，和/或，显示源数据集与目标数据集中不同的数据列。

通过以上内容，可以显示源数据集与目标数据集中相同的数据列，也可以显示源数据集与目标数据集中不同的数据列。也即，能够快速有效的查看到数据的相同部分和不同部分。

本申请实施例提供的数据的校验方法，通过根据待校验数据的数据属性，确定查询维度；根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断源数据集和目标数据集是否相同；如果是，则判断数据校验成功；否则，判断数据校验失败，解决了相关技术中数据库中的数据进行校验的效率较低的问题，通过判断源数据集和目标数据集是否相同，从而提升了对数据库中的数据进行校验的效率的效果。

以一个示例进行说明本申请实施例提供的数据的校验方法，假设源数据库A具有数据表Table1和Table2，如下：

Table1

ID	姓名	性别	地址
				1	张三	男	学院路
2	李四	女	学院路
				3	王五	男	学院路
4	赵六	女	中关村
				5	钱七	男	中关村
6	孙八	女	中关村

Table2

ID	年度	语文	数学	英语
					1	2014	80	67	45
2	2014	86	45	86
					3	2014	98	86	80
4	2014	67	80	86
					5	2014	45	86	86
6	2014	86	98	98
					1	2015	86	67	86
2	2015	86	80	80
					3	2015	98	86	86
4	2015	45	86	86
					5	2015	86	80	86
6	2015	80	98	86

现在将源数据库A的数据导入到目标数据库B，导入过程中将上述Table1(第一数据表)和Table2(第二数据表)的数据进行了数据拼接后，导入到目标数据库B中(为了示意，下方第一行张三的语文成绩的数据导入错误)如下：

Table3

对比上述源数据库A和目标数据库B中的数据，那么按照本申请实施例提供的数据的校验方法，会首先创建两组SQL脚本，这两组脚本分别统计源数据库A和目标数据B中不同性别的同学的成绩的总和。从上述数据导入过程可以看出，数据处理后在两个数据库中不同性别的同学的成绩的总和应该是相等的。

脚本系列1(对应上述第一查询脚本)

脚本系列2(对应上述第二查询脚本)

利用上述两个查询分别从源数据库A中查询到Table4(源数据集)和从目标数据库B中查询到Table5(目标数据集)，可以分别得到如下的数据集：

Table4

性别	语文	数学	英语
				男	493	472	469
女	450	487	522

Table5

上述Table4和Table5两个数据集，确定标识列为性别列(通过配置指定)，对性别相同的行分别进行比较，得出如下对比结果：

有差异的行

性别	语文	数学	英语	语文	数学	英语
							男	493	472	469	501	472	469

相同的行

性别	语文	数学	英语	语文	数学	英语
							女	450	487	522	450	487	522

通过上述对比后，可以看到数据对比显示输入导入有误。

也即，本申请实施例提供的数据的校验方法，可以针对两个以上的数据库的数据进行对比，如果是需要对比两个数据库只需提供查询脚本就可以实现，程序会自动对比，并提供数据相同和不同的详细信息。从而能够快速有效的对比数据的相同部分和不同部分。进而达到了提升数据库中的数据进行校验的效率的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种数据的校验装置，需要说明的是，本申请实施例的数据的校验装置可以用于执行本申请实施例所提供的用于数据的校验方法。以下对本申请实施例提供的数据的校验装置进行介绍。

图2是根据本申请实施例的数据的校验装置的示意图。如图2所示，该装置包括：确定单元10、查询单元20、判断单元30和判定单元40。

具体地，确定单元10，用于根据待校验数据的数据属性，确定查询维度。

查询单元20，用于根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集。

判断单元30，用于判断源数据集和目标数据集是否相同。

判定单元40，用于在源数据集和目标数据集相同的情况下，则判断数据校验成功；否则，判断数据校验失败。

本申请实施例提供的数据的校验装置，通过确定单元10根据待校验数据的数据属性，确定查询维度；查询单元20根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断单元30判断源数据集和目标数据集是否相同；判定单元40在是的情况下，则判断数据校验成功；否则，判断数据校验失败。解决了相关技术中数据库中的数据进行校验的效率较低的问题，通过判断源数据集和目标数据集是否相同，从而提升了对数据库中的数据进行校验的效率的效果。

可选地，在本申请实施例提供的数据的校验装置中，查询单元20包括：创建模块，用于创建第一查询脚本和第二查询脚本，其中，第一查询脚本用于根据查询维度从源数据库中进行数据查询，第二查询脚本用于根据查询维度从目标数据库中进行数据查询；第一查询模块，用于采用第一查询脚本从源数据库中查询到源数据集；以及第二查询模块，用于采用第二查询脚本从源数据库中查询到目标数据集。

可选地，在本申请实施例提供的数据的校验装置中，判断单元30包括：第一确定模块，用于从源数据集中多个数据列中确定第一标识列；第二确定模块，用于从目标数据集中多个数据列中确定第二标识列；以及校验模块，用于根据第一标识列和第二标识列校验源数据集中的数据与目标数据集中的数据是否相同。

可选地，在本申请实施例提供的数据的校验装置中，校验模块包括：第一比较子模块，用于比较第一标识列中的数据与第二标识列中的数据是否相同；第二比较子模块，用于在第一标识列中的数据与第二标识列中的数据相同的情况下，比较源数据集中非第一标识列中的数据与目标数据集中非第二标识列中的数据是否相同。

所述数据的校验装置包括处理器和存储器，上述确定单元10、查询单元20、判断单元30和判定单元40等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元实现相应功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数校验数据库中的数据。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本申请还提供了一种计算机程序产品的实施例，当在数据处理设备上执行时，适于执行初始化有如下方法步骤的程序代码：根据待校验数据的数据属性，确定查询维度；根据查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；判断源数据集和目标数据集是否相同；如果是，则判断数据校验成功；否则，判断数据校验失败。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种数据的校验方法，其特征在于，包括：

根据待校验数据的数据属性，确定查询维度；

根据所述查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；

判断所述源数据集和所述目标数据集是否相同；

如果是，则判断数据校验成功；否则，判断数据校验失败。

2.根据权利要求1所述的方法，其特征在于，根据所述查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集包括：

创建第一查询脚本和第二查询脚本，其中，所述第一查询脚本用于根据所述查询维度从所述源数据库中进行数据查询，所述第二查询脚本用于根据所述查询维度从所述目标数据库中进行数据查询；

采用所述第一查询脚本从所述源数据库中查询到所述源数据集；以及

采用所述第二查询脚本从所述源数据库中查询到所述目标数据集。

3.根据权利要求1所述的方法，其特征在于，判断所述源数据集和所述目标数据集是否相同包括：

从所述源数据集中多个数据列中确定第一标识列；

从所述目标数据集中多个数据列中确定第二标识列；以及

根据所述第一标识列和所述第二标识列校验所述源数据集中的数据与所述目标数据集中的数据是否相同。

4.根据权利要求3所述的方法，其特征在于，判断所述源数据集和所述目标数据集是否相同包括：

比较所述第一标识列中的数据与所述第二标识列中的数据是否相同；

如果所述第一标识列中的数据与所述第二标识列中的数据相同，比较所述源数据集中非所述第一标识列中的数据与所述目标数据集中非所述第二标识列中的数据是否相同。

5.根据权利要求1所述的方法，其特征在于，在判断出所述源数据集和所述目标数据集不相同，判断数据校验失败之后，所述方法还包括：

获取所述源数据集与所述目标数据集中相同的数据列，和/或，获取所述源数据集与所述目标数据集中不同的数据列；以及

显示所述源数据集与所述目标数据集中相同的数据列，和/或，显示所述源数据集与所述目标数据集中不同的数据列。

6.根据权利要求1所述的方法，其特征在于，所述源数据库中包括第一数据表和第二数据表，其中，所述第一数据表和所述第二数据表均包含相同的外键列，在根据所述查询维度分别在源数据库和目标数据库中进行数据查询之前，所述方法还包括：

通过所述外键列将所述第一数据表和所述第二数据表进行拼接，得到第三数据表；以及

将所述第三数据表导入所述目标数据库。

7.一种数据的校验装置，其特征在于，包括：

确定单元，用于根据待校验数据的数据属性，确定查询维度；

查询单元，用于根据所述查询维度分别在源数据库和目标数据库中进行数据查询，得到源数据集和目标数据集；

判断单元，用于判断所述源数据集和所述目标数据集是否相同；

判定单元，用于在所述源数据集和所述目标数据集相同的情况下，判断数据校验成功；否则，判断数据校验失败。

8.根据权利要求7所述的装置，其特征在于，所述查询单元包括：

创建模块，用于创建第一查询脚本和第二查询脚本，其中，所述第一查询脚本用于根据所述查询维度从所述源数据库中进行数据查询，所述第二查询脚本用于根据所述查询维度从所述目标数据库中进行数据查询；

第一查询模块，用于采用所述第一查询脚本从所述源数据库中查询到所述源数据集；以及

第二查询模块，用于采用所述第二查询脚本从所述源数据库中查询到所述目标数据集。

9.根据权利要求7所述的装置，其特征在于，所述判断单元包括：

第一确定模块，用于从所述源数据集中多个数据列中确定第一标识列；

第二确定模块，用于从所述目标数据集中多个数据列中确定第二标识列；以及

校验模块，用于根据所述第一标识列和所述第二标识列校验所述源数据集中的数据与所述目标数据集中的数据是否相同。

10.根据权利要求9所述的装置，其特征在于，所述校验模块包括：

第一比较子模块，用于比较所述第一标识列中的数据与所述第二标识列中的数据是否相同；

第二比较子模块，用于在所述第一标识列中的数据与所述第二标识列中的数据相同的情况下，比较所述源数据集中非所述第一标识列中的数据与所述目标数据集中非所述第二标识列中的数据是否相同。