CN111737349A

CN111737349A - 数据一致性校验方法及装置

Info

Publication number: CN111737349A
Application number: CN202010558190.4A
Authority: CN
Inventors: 于东东; 邢利菲; 于敛青; 何骏
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2020-06-18
Filing date: 2020-06-18
Publication date: 2020-10-02
Anticipated expiration: 2040-06-18
Also published as: CN111737349B

Abstract

本发明公开了一种数据一致性校验方法及装置，其中该方法包括：获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；根据租户清单，获取租户的租户信息及文件信息；比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数；比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性。本发明可以提高数据一致性校验的准确性，进而保证了大数据平台迁移后以及平台平行期间，目标平台的数据的准确性，有利于目标平台的稳定运行。

Description

数据一致性校验方法及装置

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据一致性校验方法及装置。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在大数据平台的数据迁移过程中，数据文件、元数据信息等大量数据从原始平台迁移到目标平台，由于系统不稳定性、新版本的兼容性及系统间网络等其他因素可能导致数据丢失，造成目标平台的数据迁移结果和原始平台数据不一致，进一步导致目标平台每日批量加工后的数据不准确、功能不稳定，影响外部客户使用。如图1所示，图1为大数据平台迁移过程中数据流向的示意图。为了保证目标平台数据及功能的正确性，需要一种在大数据平台数据迁移完成后后，以及原始平台和目标平台的并行期间，对目标平台的数据与原始平台的数据一致性校验的方法。

然而，现有的数据一致性的校验方法存在不足之处，其在数据迁移后及并行期间，通常采用抽样对比的方法。然而抽样检测样本的数据量偏少，容易遗漏错误数据，进而导致校验结果不准确；同时，抽取样本检测通常由人工完成，而人为对比经常含有主观性，例如比对方式，抽样方式都会因人而异，使得数据校验结果受到极大的人为因素干扰。

此外，现有的数据一致性的校验方法一般只选择对数据的某一方面进行校验，例如通过仅对比原始平台与目标平台的数据表字段进行校验，因而其校验结果容易产生偏差，与实际情况不符，进而影响校验结果的准确性。

发明内容

本发明实施例提供一种数据一致性校验方法，用以提高数据一致性校验的准确性，该方法包括：

获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；

根据租户清单，获取租户的租户信息及文件信息；

比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；

根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数；

比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；

根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性。

本发明实施例还提供一种数据一致性校验装置，用以提高数据一致性校验的准确性，该装置包括：

租户清单及登录信息获取模块，用于获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；

租户信息及文件信息获取模块，用于根据租户清单，获取租户的租户信息及文件信息；

文件级比对模块，用于比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；

数据表记录数获取模块，用于根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数；

数据级比对模块，用于比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；

数据一致性校验模块，用于根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性。

本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述数据一致性校验方法。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有执行上述数据一致性校验方法的计算机程序。

本发明实施例中，获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；根据租户清单，获取租户的租户信息及文件信息；相较于现有技术中抽样检查的方案，通过对租户清单内所有用户进行数据校验，有利于避免因抽样造成的遗漏错误数据，提高了对数据一致性的校验的准确性。比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性；相较于人工比对的方式，通过对所有的数据采取一致的比对方式，避免了数据校验结果受到人为的干扰，提高了数据一致性校验的准确性；同时，相较于现有技术中只选择对数据的某一方面进行校验进行校验的方式，通过文件级及数据级的比对方式，可以更全面的对大数据迁移前后原始平台及目标平台的数据进行比对，避免产生偏差，提高数据一致性的校验的准确性，进而保证了大数据平台迁移后以及平台平行期间，目标平台的数据的准确性，有利于目标平台的稳定运行。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为大数据平台迁移过程中数据流向的示意图；

图2为本发明实施例中数据一致性校验方法的示意图；

图3为本发明实施例中文件级比对的流程示意图；

图4为本发明实施例中数据级比对的流程示意图；

图5为本发明实施例中数据一致性校验装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。

本发明实施例提供了一种数据一致性校验方法，用以提高数据一致性校验的准确性。图2为本发明实施例中数据一致性校验方法的示意图。如图2所示，本发明所述的方法包括：

步骤201，获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；

步骤202，根据租户清单，获取租户的租户信息及文件信息；

步骤203，比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；

步骤204，根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数；

步骤205，比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；

步骤206，根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性。

由图2所示流程可以得知，本发明实施例中，获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；根据租户清单，获取租户的租户信息及文件信息；相较于现有技术中抽样检查的方案，通过对租户清单内所有用户进行数据校验，有利于避免因抽样造成的遗漏错误数据，提高了对数据一致性的校验的准确性。比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性；相较于人工比对的方式，通过对所有的数据采取一致的比对方式，避免了数据校验结果受到人为的干扰，提高了数据一致性校验的准确性；同时，相较于现有技术中只选择对数据的某一方面进行校验进行校验的方式，通过文件级及数据级的比对方式，可以更全面的对大数据迁移前后原始平台及目标平台的数据进行比对，避免产生偏差，提高数据一致性的校验的准确性，进而保证了大数据平台迁移后以及平台平行期间，目标平台的数据的准确性，有利于目标平台的稳定运行。

具体实施时，首先获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息。实施例中，可以从元数据库MetaDB中获取用户组合清单。

具体实施时，在获取租户清单之后，可以根据租户清单，获取租户的租户信息及文件信息。实施例中，租户清单可以包含租户的用户名。实施例中，租户清单还可以包括认证信息以及所属组等详细信息。实施例中，为了避免人工操作的繁琐流程，还可以设定比对日期，根据设定的比对日期，从租户清单中获取比对日期的租户信息及文件信息。

具体实施时，比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果。实施例中，用于比对的文件信息可以包括：文件目录数、文件目录名称、文件名称、文件大小和文件修改时间其中之一或任意组合。

实施例中，在获得文件级比对结果之后，所比对结果中有租户的文件信息存在差异，则在后续进行数据级比对时，将重点对有差异的文件的元数据进行重点比对和校验。

下面通过一实施例来说明本发明实施例中文件级比对的流程。图3为本发明实施例中文件级比对的流程示意图。如图3所示：

1、分别从原始平台与目标平台的MetaDB中获取原始；

2、根据租户清单，获取尚未获取文件信息的一个租户；

3、计算当前租户的所有目录名称、文件名称、文件大小、文件修改时间等信息并保存；

4、更新当前租户状态为已处理状态；

5、根据当前平台的租户清单，判断平台中的所有用户是否已经处理完毕；

6、若处理完毕，则比对原始平台与目标平台的租户文件信息，获得文件级比对结果；若未处理完毕，则重复执行步骤2至步骤6。

具体实施时，可以根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数。

实施例中，可以根据租户的租户信息及租户数据库的登录信息，生成数据表记录数SQL查询脚本；通过数据表记录数SQL查询脚本，从租户数据库获取租户的数据表记录数。

实施例中，为了生成SQL查询脚本，可以根据租户的租户信息，获取租户的数据表名称；根据租户的租户信息、租户数据库的登录信息和租户的数据表名称，生成数据表记录数SQL查询脚本。

实施例中，在大数据平台中，查询用户数据记录需要先登录用户数据库进行认证才可以进行查询，因此每一次查询用户的一张数据表记录数前都需要进行一次登录认证。为了提高校验速度，还可以根据租户的租户信息及租户数据库的登录信息，生成查询租户每张数据表记录数的SQL查询语句；对查询租户每张数据表记录数的SQL查询语句进行拼接，生成数据表记录数SQL查询脚本。由于用于查询租户的每张数据表记录数的SQL查询语句被拼接成一个SQL查询脚本，因此只需要一次登录用户的数据库，即可以通过该SQL查询脚本查询该用户数据库中的所有数据表的记录数，提高查询效率，进而调高校验速度。

具体实施时，比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果。

下面通过一实施例来说明本发明实施例中数据级级比对的流程。图4为本发明实施例中数据级比对的流程示意图。如图4所示：

1、分别获取原始平台、目标平台的租户清单以及租户数据库登陆信息，并保存到文件中；

2、根据租户信息查询租户下所有的数据表名称并保存；

3、根据租户清单，获取未处理的一个租户信息；

4、根据当前租户信息及租户数据库的登录信息动态生成查询所有数据表记录数sql脚本并存储到文件中；

5、仅一次登录租户数据库，执行sql脚本查询数据库中数据表记录数，将执行结果存储到文件中；

6、根据查询结果获取当前租户每张数据表的记录数，并保存；

7、判断租户数据表及记录数是否处理完毕；

8、若处理完毕，则比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；若未处理完毕，则重复执行步骤2至步骤8。

具体实施时，根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性。

实施例中，为了校验原始平台与目标平台的数据一致性，还可以利用校验结果生成校验报告；进一步地，可以根据校验报告，对不一致的数据进行修改，从而保证了大数据平台迁移后以及平台平行期间，目标平台的数据的准确性，有利于目标平台的稳定运行。

本发明实施例中还提供了一种数据一致性校验装置，如下面的实施例所述。由于该装置解决问题的原理与数据一致性校验方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

图5为本发明实施例中数据一致性校验装置的结构示意图，如图5所示，所述数据一致性校验装置可以包括：

租户清单及登录信息获取模块501，用于获取大数据迁移的原始平台及目标平台的租户清单、和租户数据库的登录信息；

租户信息及文件信息获取模块502，用于根据租户清单，获取租户的租户信息及文件信息；

文件级比对模块503，用于比对原始平台与目标平台相同租户的文件信息，获得文件级比对结果；

数据表记录数获取模块504，用于根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数；

数据级比对模块505，用于比对原始平台与目标平台相同租户的数据表记录数，获得数据级比对验结果；

数据一致性校验模块506，用于根据文件级比对结果及数据级比对结果，校验原始平台与目标平台的数据一致性。

实施例中，数据表记录数获取模块504具体可以用于：

根据租户的租户信息及租户数据库的登录信息，生成数据表记录数SQL查询脚本；

通过数据表记录数SQL查询脚本，从租户数据库获取租户的数据表记录数。

实施例中，数据表记录数获取模块504具体可以用于：

根据租户的租户信息，获取租户的数据表名称；

根据租户的租户信息、租户数据库的登录信息和租户的数据表名称，生成数据表记录数SQL查询脚本；

实施例中，数据表记录数获取模块具体还可以用于：

根据租户的租户信息及租户数据库的登录信息，生成查询租户每张数据表记录数的SQL查询语句；

对查询租户每张数据表记录数的SQL查询语句进行拼接，生成数据表记录数SQL查询脚本；

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种数据一致性校验方法，其特征在于，包括：

根据租户清单，获取租户的租户信息及文件信息；

2.如权利要求1所述的方法，其特征在于，根据租户的租户信息及租户数据库的登录信息，从租户数据库获取租户的数据表记录数，包括：

3.如权利要求2所述的方法，其特征在于，根据租户的租户信息及租户数据库的登录信息，生成数据表记录数SQL查询脚本，包括：

根据租户的租户信息，获取租户的数据表名称；

根据租户的租户信息、租户数据库的登录信息和租户的数据表名称，生成数据表记录数SQL查询脚本。

4.如权利要求2所述的方法，其特征在于，根据租户的租户信息及租户数据库的登录信息，生成数据表记录数SQL查询脚本，包括：

对查询租户每张数据表记录数的SQL查询语句进行拼接，生成数据表记录数SQL查询脚本。

5.如权利要求1所述的方法，其特征在于，所述文件信息包括：文件目录数、文件目录名称、文件名称、文件大小和文件修改时间其中之一或任意组合。

6.一种数据一致性校验装置，其特征在于，包括：

7.如权利要求6所述的装置，其特征在于，所述数据表记录数获取模块，具体用于：

8.如权利要求7所述的装置，其特征在于，所述数据表记录数获取模块，具体用于：

根据租户的租户信息，获取租户的数据表名称；

9.如权利要求7所述的装置，其特征在于，所述数据表记录数获取模块，具体用于：

10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一所述方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至5任一所述方法的计算机程序。