CN116401229A - 数据库的数据校验方法、装置及设备 - Google Patents

Abstract

本申请涉及一种数据库的数据校验方法、装置及设备，涉及数据库技术领域，该方法包括：获取数据库的待校验集合信息，待校验集合信息包含源集合信息和目标集合信息，依据源集合信息和目标集合信息进行哈希校验，得到哈希校验信息，依据哈希校验信息，按照预设的校验规则进行校验处理，得到待校验集合信息对应的数据校验结果，通过对源集合和目标集合进行哈希校验，进而快速确定数据校验结果，提升整体的校验速度，能够在较短时间内完成数据迁移前后的准确性校验。

Description

数据库的数据校验方法、装置及设备

技术领域

本申请涉及数据库技术领域，尤其涉及一种数据库的数据校验方法、装置及设备。

背景技术

目前，随着互联网技术的发展，传统集中式数据库已逐步遇到瓶颈，尤其是金融、电信行业的数据库正逐步迁移到具有高并发、低延时特征的分布式数据库，此时数据迁移后如何校验数据的准确性尤为重要。

现有的数据库校验方法进行数据库的数据校验时，通常是利用校验软件从源端和目的端数据库中分别获取校验表(即数据库表)的记录数，以对记录数进行校验，校验结果为记录数一致时，获取源端主键值和主键所在行32位循环冗余校验(CyclicRedundancyCheck，CRC)值，以源端主键值为带入条件，依次从目的端数据库获取对应的主键行的CRC32值并于源端主键行CRC32值进行校验，若校验比对正常，则抛出两表数据一致，否则抛出校验结果不一致。然而，现有的数据库校验方法在进行数据库的数据校验时需要针对每一行数据一行一行进行校验，即需要针对每一个数据库表中的每一行数据进行校验，数据校验速度慢，对于金融、电信等数据量较大的行业，无法满足较短校验时间的需求。

发明内容

本申请提供了一种数据库的数据校验方法、装置及设备，以通过对源集合和目标集合进行哈希校验，进而快速确定数据校验结果，提升整体的校验速度，能够在较短时间内完成数据迁移前后的准确性校验，解决了现有的数据库数据校验方法只能针对每一行数据一行一行进行校验所导致的问题。

第一方面，本申请提供了一种数据库的数据校验方法，包括：

获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息；

依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息；

依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

可选的，所述获取数据库的待校验集合信息，包括：

依据所述数据库的校验表信息进行分割处理，得到行集合信息和所述行集合信息对应的标识信息；

按照预设的哈希生成方式对所述行集合信息进行处理，得到所述行集合信息对应的哈希信息；

基于所述行集合信息，结合所述标识信息和所述哈希信息，生成待校验集合信息。

可选的，所述数据库包含源端数据库和目的端数据库，所述依据所述数据库的校验表信息进行分割处理，得到行集合信息，包括：

分别获取所述源端数据库的源校验表和目的端数据库的目标校验表；

按照预设的校验方式对所述源校验表和所述目标校验表进行记录数校验，得到记录数校验结果；

若所述记录数校验结果为记录数校验一致结果，则按照预设的抽取方式分别对所述源校验表和所述目标校验表进行字段抽取，得到源字段行信息和目标字段行信息；

分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息。

可选的，所述分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息，包括：

基于所述源字段行信息，按照预设的深度配置信息对所述源校验表进行分割，得到至少一个源行集合信息；

基于所述目标字段行信息，按照预设的深度配置信息对所述目标校验表进行分割，得到至少一个目标行集合信息；

将所述源行集合信息和所述目标行集合信息确定为所述行集合信息。

可选的，所述依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息，包括：

从所述源集合信息中提取源标识信息和源哈希信息，并从所述目标集合信息中提取目标标识信息和目标哈希信息；

针对所述源标识信息和所述目标标识信息，判断所述源哈希信息与所述目标哈希信息是否相匹配；

若所述源哈希信息与所述目标哈希信息相匹配，则确定哈希校验成功，将哈希校验成功信息确定为所述哈希校验信息；

若所述源哈希信息与所述目标哈希信息不匹配，则确定哈希校验失败，将哈希校验失败信息确定为所述哈希校验信息。

可选的，所述依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果，包括：

若所述哈希校验信息为哈希校验失败信息，则按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，并记录迭代次数；

判断所述迭代次数是否达到预设的迭代次数阈值；

若所述迭代次数达到预设的迭代次数阈值，则基于所述异常行集合进行循环冗余校验，得到所述数据校验结果。

可选的，所述按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，包括：

按照预设的校验规则分别对所述源集合信息和所述目标集合信息进行重新划分，得到所述源集合信息对应的源划分集合信息和所述目标集合信息对应的目标划分集合信息；

判断所述源划分集合信息和所述目标划分集合信息是否相匹配；

若所述源划分集合信息和所述目标划分集合信息不匹配，则基于所述源划分集合信息和/或所述目标划分集合信息，确定异常行集合。

可选的，所述方法还包括：

若所述哈希校验信息为哈希校验成功信息，则基于所述哈希校验成功信息，将数据校验成功结果确定为所述数据校验结果。

第二方面，本申请提供了一种数据库的数据校验装置，包括：

待校验集合信息获取模块，用于获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息；

哈希校验模块，用于依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息；

校验处理模块，用于依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

第三方面，本申请提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现如第一方面任一项实施例所述的数据库的数据校验方法的步骤。

综上，本申请实施例通过获取数据库的待校验集合信息，待校验集合信息包含源集合信息和目标集合信息，依据源集合信息和目标集合信息进行哈希校验，得到哈希校验信息，依据哈希校验信息，按照预设的校验规则进行校验处理，得到待校验集合信息对应的数据校验结果，通过对源集合和目标集合进行哈希校验，进而快速确定数据校验结果，提升整体的校验速度，能够在较短时间内完成数据迁移后的准确性校验，解决了现有的数据库数据校验方法只能针对每一行数据一行一行进行校验所导致的问题。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种数据库的数据校验方法的流程示意图；

图2是本申请一个可选实施例提供的一种数据库的数据校验方法的步骤流程示意图；

图3是本申请一个可选实施例提供的一种数据库的校验规则示意图；

图4为本申请实施例提供的一种数据库的数据校验装置的结构框图；

图5是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

在相关技术中，现有的数据库校验方法通过校验软件从源端、目的端数据库获取校验表的记录数后，对记录数进行校验，若两个校验表的记录数一致，则对有主键或者唯一索引的校验表进行CRC32值校验。然而，现有的数据库校验方法无法对无主键或无唯一索引的校验表进行校验。可见，现有的数据库校验方法存在两个问题：①需要一行一行进行校验，校验速度慢；无法对无主键/无唯一索引表进行校验。

为解决上述问题，本申请实施例提供了一种数据库的数据校验方法、装置及设备，通过获取数据库的待校验集合信息，依据待校验集合信息中的源集合信息和目标集合信息进行哈希校验，得到哈希校验信息，随后依据哈希校验信息，按照预设的校验规则进行校验处理，得到待校验集合信息对应的数据校验结果，通过对源集合和目标集合进行哈希校验，进而快速确定数据校验结果，提升整体的校验速度，能够在较短时间内完成数据迁移前后的准确性校验，并且利用哈希校验的方式，实现对无主键或无唯一索引的数据表进行校验，解决了现有的数据库数据校验方法只能针对每一行数据一行一行进行校验所导致的问题。

为便于对本申请实施例的理解，下面将结合附图以及具体实施例做进一步的解释说明，实施例并不构成对本申请实施例的限定。

图1为本申请实施例提供的一种数据库的数据校验方法的流程示意图。如图1所示，本申请实施例提供的数据库的数据校验方法具体可以包括如下步骤：

步骤110，获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息。

具体的，源集合信息可以包含源行集合、源行集合对应的源标识信息和源哈希(hash)信息，该源行集合可以包含源端数据库中数据表的行数据，如可以包含源端数据库内某个数据表的一行或多行数据，本申请实施例对此不做限制。其中，源标识信息可以用于标识源行集合，源哈希信息可以是源行集合对应的哈希值，本申请实施例对此不做限制；目标集合信息可以包含目标行集合、目标行集合对应的目标标识信息和目标哈希信息，该目标行集合可以包含目的端数据库中数据表的行数据，如可以包含目的端数据库内某个数据表的一行或多行数据，本申请实施例对此也不做限制。其中，目标标识信息可以用于标识目标行集合，目标哈希信息可以是目标行集合对应的哈希值，本申请实施例对此不做限制。

具体而言，本申请实施例在进行数据库校验时，可以从源端数据库中获取源集合信息，并可以从目的端数据库中获取目标集合信息，随后可以将源集合信息和目标集合信息作为待校验集合信息，以便后续可以依据待校验集合信息中的源集合信息和目标集合信息进行哈希校验，即执行步骤120。

在具体实现中，本申请实施例中的源端数据库可以是指进行数据迁移前的数据库，目的端数据库可以是指进行数据迁移后的数据库，本申请实施例提供的数据库的数据校验方法可以用于跨异构数据库迁移后数据校验，也可以用于非异构数据库迁移前后数据校验。例如，源端数据库和目的端数据库可以是结构相同的数据库，如源端数据库和目的端数据库都可以是分布式数据库；也可以是异构数据库，如源端数据库可以是传统集中式数据库，目的端数据库可以是分布式数据库，实现集中式数据库迁移到分布式数据库的数据一致性校验，本申请实施例对此不做限制。具体而言，将数据库的数据从源端数据库迁移到目的端数据库后，可以针对目的端数据库的数据，结合源端数据库的数据进行数据校验，如可以按照预设的分割方式，对源端数据库中的数据表和目的端数据库中的数据表进行分割，将源端数据库和目的端数据库的数据表分割成为一个或多个行集合，随后可以利用预设的哈希算法生成每个行集合对应的哈希值，并可以确定每个行集合对应的标识，基于行集合、行集合对应的哈希值以及行集合对应的标识，生成源集合信息和目标集合信息，以便后续可以对源集合信息和目标集合信息进行哈希校验。

步骤120，依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息。

具体的，哈希校验信息可以包含哈希校验成功信息和哈希校验失败信息，本申请实施例对此不做限制。具体而言，本申请实施例确定源集合信息和目标集合信息后，可以依据源集合信息和目标集合信息进行哈希校验，如可以分别从源集合信息和目标集合信息中提取哈希值和标识，判断标识相同的源集合信息和哈希值与目标集合信息的哈希值是否一致，若源集合信息的哈希值与目标集合信息的哈希值一致，则可以生成哈希校验成功信息，后续可以基于哈希校验成功信息，确定源集合信息和目标集合信息一致，即源集合信息对应的数据表与目标集合信息对应的数据表的数据一致，从而可以确定源端数据库的数据与目的端数据库的数据一致；若源集合信息的哈希值与目标集合信息的哈希值不一致，则可以生成哈希校验失败信息。

步骤130，依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

具体的，数据校验结果包含数据校验成功结果和数据校验失败结果，本申请实施例对此不做限制。具体而言，本申请实施例可以依据哈希校验信息，按照预设的校验规则对源集合信息和目标集合信息进行校验处理，得到待校验集合信息对应的数据校验结果。通过对源集合信息和目标集合信息进行哈希校验，从而可以无需针对数据表中的每一个行数据进行一行一行的校验，实现对数据迁移后的准确性校验，提高校验速度，并且利用哈希校验的方式，实现对无主键或无唯一索引的数据表进行校验。

例如，在哈希校验信息为哈希校验成功信息的情况下，可以确定源集合信息和目标集合信息一致，随后可以生成数据校验成功结果。在哈希校验信息为哈希校验失败信息的情况下，可以确定源集合信息和目标集合信息不一致，如可能是源集合信息和目标集合信息中存在数据不一致的行，此时可以按照预设的校验规则对源集合信息和目标集合信息进行校验处理，如可以针对源集合信息和目标集合信息进行重新划分，即分别将源集合信息和目标集合信息重新划分为原来的一半，得到重新划分后的集合信息，按照重新划分后的集合信息重新执行哈希校验，将哈希校验信息为哈希校验失败信息的重新划分后的集合信息进行循环划分，并可以设定循环次数，在达到循环次数后，将依据校验失败的集合信息作为失败行集合，针对失败行集合进行循环冗余校验，判断失败行集合中的源行集合与目标行集合是否一致，若不一致，则可以得到循环冗余校验失败结果，随后可以基于循环冗余校验失败结果，确定数据校验失败结果，若一致，则可以得到循环冗余校验成功结果，随后可以基于循环冗余校验成功结果，确定数据校验成功结果。

可见，本申请实施例通过获取数据库的待校验集合信息，待校验集合信息包含源集合信息和目标集合信息，依据源集合信息和目标集合信息进行哈希校验，得到哈希校验信息，依据哈希校验信息，按照预设的校验规则进行校验处理，得到待校验集合信息对应的数据校验结果，通过对源集合和目标集合进行哈希校验，进而快速确定数据校验结果，提升整体的校验速度，能够在较短时间内完成数据迁移后的准确性校验，并且利用哈希校验的方式，实现对无主键或无唯一索引的数据表进行校验，解决了现有的数据库数据校验方法只能针对每一行数据一行一行进行校验所导致的问题。

参照图2，示出了本申请一个可选实施例提供的一种数据库的数据校验方法的步骤流程示意图。该数据库的数据校验方法具体可以包括如下步骤：

步骤210，获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息。

在具体实现中，源集合信息和目标集合信息都可以是行集合桶，该行集合桶可以包含一行或多行数据(其中，一行或多行数据都可以来源于数据表)，本申请实施例对此不做限制。具体而言，本申请实施例可以通过哈希桶的校验算法，分别将源端数据库和目的端数据库的校验表(校验表可以包含需要进行校验的数据表)的数据按序分割成固定大小的行集合桶，其中，源端数据库的行集合桶可以作为源集合信息，目的端数据库的行集合桶可以作为目标集合信息，本申请实施例对此不做限制。

可选的，上述获取数据库的待校验集合信息，具体可以包括以下子步骤：

子步骤2101，依据所述数据库的校验表信息进行分割处理，得到行集合信息。

具体的，校验表信息可以包含待校验数据表，本申请实施例对此不做限制；行集合信息可以是行集合桶，该行集合桶可以包含分割后的待校验表数据，本申请实施例对此不做限制。具体而言，本申请实施例可以分别对源端数据库和目的端数据库的待校验表进行分割处理，得到源端数据库对应的行集合桶和目的端数据库对应的行集合桶。

在一个可选实施例中，本申请实施例在数据库包含源端数据库和目的端数据库的情况下，所述依据所述数据库的校验表信息进行分割处理，得到行集合信息，具体可以包括：分别获取所述源端数据库的源校验表和目的端数据库的目标校验表；按照预设的校验方式对所述源校验表和所述目标校验表进行记录数校验，得到记录数校验结果；若所述记录数校验结果为记录数校验一致结果，则按照预设的抽取方式分别对所述源校验表和所述目标校验表进行字段抽取，得到源字段行信息和目标字段行信息；分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息。

具体而言，本申请实施例可以分别从源端数据库和目的端数据中获取源校验表和目标校验表，随后可以按照预设的校验方式对源校验表和目标校验表进行记录数校验，如记录数校验可以是分别获取源校验表的数据行数(即记录数)和目标校验表的数据行数，判断源校验表和目标校验表的数据行数是否一致，即判断源校验表的数据行数是否与目标校验表的数据行数一样多，若确定数据行数一致，则可以确定两个校验表的记录数一致，得到记录数校验一致结果，以作为记录数校验结果，随后可以按照预设的抽取方式分别对源校验表和目标校验表进行字段抽取，如可以判断源校验表和目标校验表中是否存在主键/唯一索引键，若确定源校验表和目标校验表中存在主键/唯一索引键，则可以按照主键/唯一索引键对源校验表和目标校验表中各字段进行排序，得到源校验表对应的源字段行信息和目标校验表对应的目标字段行信息，基于源字段行信息对源校验表进行分割，得到源校验表对应的源行集合信息，基于目标字段信息对目标校验表进行分割，得到目标行集合信息，将源行集合信息和目标行集合信息作为行集合信息。若确定源校验表和目标校验表中不存在主键/唯一索引键，即源校验表和目标校验表均为无主键/无唯一索引键的校验表，则可以获取预设的字段排序或开发人员选定的字段排序，以作为源字段行信息和目标字段行信息，从而实现对无主键/无唯一索引键的校验表进行数据校验，即实现对无主键/无唯一索引表进行校验，解决了现有数据库数据校验方法无法对无主键/无唯一索引表进行校验所导致的问题。

在具体实现中，本申请实施例可以预设深度配置信息，该深度配置信息可以用于确定分割的行集合的大小。具体而言，源校验表和目标校验表都可以包含一行或多行数据，深度配置信息可以用于确定分割的行数据的量，如对于源校验表和目标校验表，可以设置每50000行数据为一个行集合，本申请实施例对此不做限制。

在一个可选实施例中，本申请实施例分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息，具体可以包括：基于所述源字段行信息，按照预设的深度配置信息对所述源校验表进行分割，得到至少一个源行集合信息；基于所述目标字段行信息，按照预设的深度配置信息对所述目标校验表进行分割，得到至少一个目标行集合信息；将所述源行集合信息和所述目标行集合信息确定为所述行集合信息。

作为一个示例，参照图3，可以预先设置校验程序，通过校验程序对源端数据库、目的端数据库的校验表的记录数进行记录数校验，若确定记录数一致，则校验程序可以按照主键/唯一索引键排序从源端和目的端进行数据抽取，如无主键/唯一索引可由操作人员选定排序抽取字段(如可以选择离散度大的字段，如手机号)，随后可以获取深度配置信息，校验程序可以根据深度配置信息，确定行集合桶的深度，如50000行为一个桶的深度，按照桶的深度，结合字段顺序分别对源校验表和目标检验表进行分割，得到源行集合信息和目标行集合信息。

子步骤2102，按照预设的哈希生成方式对所述行集合信息进行处理，得到所述行集合信息对应的哈希信息和所述行集合信息对应的标识信息。

在具体实现中，本申请实施例可以预设哈希算法，以作为预设的哈希生成方式。确定行集合信息后，可以按照预设的哈希生成方式对行集合信息进行处理，如可以按照哈希算法，分别生成源行集合对应的源哈希值和目标行集合对应的目标哈希值，以将源哈希值作为源行集合对应的源哈希信息，将目标哈希值作为目标行集合对应的目标哈希信息，并可以生成源行集合对应的源标识信息和目标行集合对应的目标标识信息。其中，源标识信息和目标标识信息都可以是编号，如可以是编号1至N(N为整数)，本申请实施例对此不做限制。

子步骤2103，基于所述行集合信息，结合所述标识信息和所述哈希信息，生成待校验集合信息。

具体而言，本申请实施例可以基于行集合信息，结合标识信息和哈希信息，生成待校验集合信息，如可以基于源行集合信息，结合源标识信息和源哈希信息，生成源集合信息，基于目标行集合信息，集合目标标识信息和目标哈希信息，生成目标集合信息，进而将源集合信息和目标集合信息作为待校验集合信息，通过对校验表进行合理分割，得到行集合，进而利用哈希的方式生成行集合对应的哈希值，后续可以对整个行集合进行哈希校验，从而避免一行一行进行校验而导致校验速度慢的问题，提高校验速度，在数据量小的情况下或数量大的情况下均可以满足较短校验时间的需求。

作为一个示例，参照图3，得到行集合桶后，校验程序可以根据预设的哈希生成方式，计算出每个行集合桶对应的hash值，即每个行集合桶包含桶编号、桶记录对应hash值以及行记录(如50000行)。

步骤220，从所述源集合信息中提取源标识信息和源哈希信息，并从所述目标集合信息中提取目标标识信息和目标哈希信息。

具体的，本申请实施例进行哈希校验时，可以从源集合信息中提取源标识信息和源哈希信息，并可以从目标集合信息中提取目标标识信息和目标哈希信息，以便后续可以对标识信息相同的源集合信息和目标集合信息进行哈希校验。

步骤230，针对所述源标识信息和所述目标标识信息，判断所述源哈希信息与所述目标哈希信息是否相匹配。

具体而言，本申请实施例可以将源标识信息和目标标识信息进行比对，判断源标识信息和目标标识信息是否一致，若确定源标识信息和目标标识信息一致，则可以判断源哈希信息与目标哈希信息是否相匹配，如可以是判断源集合信息对应的哈希值是否与目标集合信息对应的哈希值一致，若确定源集合信息对应的哈希值与目标集合信息对应的哈希值一致，则可以确定源哈希信息与目标哈希信息相匹配；若确定源集合信息对应的哈希值与目标集合信息对应的哈希值不一致，则可以确定源哈希信息与目标哈希信息不匹配。

步骤240，若所述源哈希信息与所述目标哈希信息相匹配，则确定哈希校验成功，将哈希校验成功信息确定为所述哈希校验信息。

具体的，本申请实施例可以在源哈希信息与目标哈希信息相匹配时，确定哈希校验成功，随后可以生成哈希校验成功信息，并可以将哈希校验成功信息确定为哈希校验信息。

在具体实现中，源哈希信息与目标哈希信息相匹配，可以确定源集合信息和目标集合信息是相同的，源集合信息和目标集合信息对应的表数据一致，后续可以基于哈希校验成功信息，生成数据校验成功结果，以作为数据校验结果，即执行步骤290。

步骤250，若所述源哈希信息与所述目标哈希信息不匹配，则确定哈希校验失败，将哈希校验失败信息确定为所述哈希校验信息。

在具体实现中，若源哈希信息与目标哈希信息不匹配，则说明源集合信息和目标集合信息中存在数据不一致的行，可能存在一行或多行数据不一致的情况，导致在哈希生成时，源集合信息对应的哈希值与目标集合信息对应的哈希值不一致，可以确定哈希校验失败，并可以生成哈希校验失败信息，将哈希校验失败信息作为哈希校验信息，后续可以基于哈希校验失败信息对源集合信息和目标集合信息进行迭代校验，从而可以查找出源集合信息和目标集合信息中不一致的行数据，实现快速过滤出一致的行数据和不一致的行数据，提升整体的校验速度。

步骤260，若所述哈希校验信息为哈希校验失败信息，则按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，并记录迭代次数。

具体的，迭代次数可以用于停止进行迭代校验，本申请实施例对此不做限制；异常行集合可以包含不一致的行数据，本申请实施例对此不做限制。具体而言，本申请实施例可以在哈希校验信息为哈希校验失败信息时，确定源集合信息和目标集合信息中可能存在不一致的行数据，可以按照预设的校验规则，对源集合信息和目标集合信息进行迭代校验，如可以将源集合信息对应的源行集合和目标集合信息对应的目标行集合进行重新划分，将源行集合和目标行集合重新划分为多个对应的行集合，按照划分后的行集合重新进行哈希校验，从而可以确定异常行集合，并可以记录重新划分次数，以作为迭代次数。

在具体实现中，将源行集合和目标行集合重新划分为多个对应的行集合后，可以得到划分后的源划分集合信息和目标划分集合信息。随后可以对源划分集合信息和目标划分集合信息重新进行哈希校验，根据哈希校验结果，判断划分后的源划分集合信息和目标划分集合信息是否一致，若一致，则可以确定该重新划分后的源划分集合信息和目标划分集合信息中的行数据是一致的，若不一致，则可以确定该重新划分后的源划分集合信息和目标划分集合信息中的行数据是不一致的，该源划分集合信息和目标划分集合信息中存在不一致的行数据，可以针对存在不一致的行数据的源划分集合信息和目标划分集合信息进行多次重新划分和哈希校验，从而可以有效确定不一致的行数据，得到异常行集合。

在一个可选实施例中，本申请实施例按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，具体可以包括：按照预设的校验规则分别对所述源集合信息和所述目标集合信息进行重新划分，得到所述源集合信息对应的源划分集合信息和所述目标集合信息对应的目标划分集合信息；判断所述源划分集合信息和所述目标划分集合信息是否相匹配；若所述源划分集合信息和所述目标划分集合信息不匹配，则基于所述源划分集合信息和/或所述目标划分集合信息，确定异常行集合。通过对哈希校验失败的源集合信息和目标集合信息进行迭代校验，实现对异常行数据的定位，能快速过滤出一致的行数据和不一致的行数据，满足较短校验时间的要求。

步骤270，判断所述迭代次数是否达到预设的迭代次数阈值。

在具体实现中，为避免过多的迭代验证导致整体的校验速度变慢，本申请实施例可以预设迭代次数阈值，确定迭代次数后，可以判断迭代次数是否达到预设的迭代次数阈值，以便可以在迭代次数达到预设的迭代次数阈值时，停止迭代验证。

步骤280，若所述迭代次数达到预设的迭代次数阈值，则基于所述异常行集合进行循环冗余校验，得到所述数据校验结果。

具体而言，本申请实施例可以在迭代次数达到预设的迭代次数阈值时，停止进行迭代验证，随后可以基于异常行集合进行拆分，针对异常行集合中的每一行数据进行循环冗余校验，确定源集合信息和目标集合信息中不一致的行数据，以作为数据校验结果。

作为一个示例，完成行集合桶划分后，可以根据行集合桶对应的编号和哈希值对源端数据库和目的端数据库的行集合桶进行哈希校验，若哈希校验成功，则可以生成哈希校验成功信息，返回校验一致结果，若哈希校验失败，则可以生成哈希校验失败信息，返回校验不一致结果，此时可以确定行集合桶校验失败。随后可以针对校验失败的行集合桶，进行重新划分，可以按照行集合桶的深度的一半进行重新划分，得到两个行集合桶、每个行集合桶对应的编号和哈希值。例如，源行集合桶A和目标行集合桶B均是深度为50000行的行集合桶，可以按照25000行的深度，将源行集合桶A划分为源行集合桶A1和源行集合桶A2，并可以将目标行集合桶B划分为目标行集合桶B1和目标行集合桶B2，通过哈希生成方式分别生成源行集合桶A1、源行集合桶A2、目标行集合桶B1以及目标行集合桶B2对应的哈希值和编号，将编号相同的划分后的源行集合桶和目标行集合桶进行哈希校验，针对哈希校验结果不一致的源行集合桶和目标行集合桶重复执行划分验证的步骤，并且在多次划分验证均为验证失败的情况下，停止重复执行划分验证的步骤，得到验证失败记录，该验证失败记录可以包含不一致行集合，从而能有效确定不一致的行数据。随后可以针对验证失败记录中的不一致行集合进行循环冗余校验，针对不一致行集合进行全行计算CRC32值得到源端数据库和目的端数据库的匹配列表，该匹配列表包含不一致行集合中每一行行数据的匹配列值以及匹配列值对应CRC32值。随后可以将源端数据库的每一行行数据的匹配列值作为带入条件，依次比较源端数据库和目的端数据库的CRC32值，若每一行的校验比对均为一致，则确定源端数据库的校验表和目的端数据库的校验表的数据一致，得到数据校验成功结果；若存在校验比对不一致的行数据，则确定源端数据库的校验表和目的端数据库的校验表的数据一致，得到数据校验失败结果，随后可以抛出校验比对不一致的行数据，从而实现快速过滤出一致的行数据和不一致的行数据，提升整体的校验速度。

步骤290，若所述哈希校验信息为哈希校验成功信息，则基于所述哈希校验成功信息，将数据校验成功结果确定为所述数据校验结果。

具体的，本申请实施例可以在哈希校验信息为哈希校验成功信息时，确定源集合信息和目标集合信息中不存在数据不一致的行，可以基于哈希校验成功信息，生成数据校验成功结果，并可以数据校验成功结果确定为数据校验结果，从而无需一行一行进行数据校验，提升数据校验速度，并且能够实现对无主键/无唯一索引表进行校验，解决了现有的数据库数据校验方法只能针对每一行数据一行一行进行校验所导致的问题。

综上，本申请实施例通过获取数据库的待校验集合信息，从待校验集合信息中的源集合信息中提取源标识信息和源哈希信息，并从待校验集合信息中的目标集合信息中提取目标标识信息和目标哈希信息，针对源标识信息和目标标识信息，判断源哈希信息与目标哈希信息是否相匹配，以在源哈希信息与目标哈希信息相匹配时，确定哈希校验成功，将哈希校验成功信息确定为哈希校验信息，进而基于哈希校验成功信息，将数据校验成功结果确定为数据校验结果；在哈希校验信息为哈希校验失败信息时，按照预设的校验规则对源集合信息和目标集合信息进行迭代校验，得到异常行集合，并记录迭代次数，以在迭代次数达到预设的迭代次数阈值时，基于异常行集合进行循环冗余校验，得到数据校验结果，，通过对源集合和目标集合进行哈希校验，进而快速确定数据校验结果，提升整体的校验速度，能够在较短时间内完成数据迁移后的准确性校验，并且可以对无主键/无唯一索引的表进行数据校验，解决了现有的数据库数据校验方法只能针对每一行数据一行一行进行校验所导致的问题的同时，还解决了现有的数据库数据校验方法无法对无主键/无唯一索引的表进行数据校验所导致的问题。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请实施例并不受所描述的动作顺序的限制，因为依据本申请实施例，某些步骤可以采用其他顺序或者同时进行。

如图4所示，本申请实施例还提供了一种数据库的数据校验装置400，包括：

待校验集合信息获取模块410，用于获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息；

哈希校验模块420，用于依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息；

校验处理模块430，用于依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

可选的，所述待校验集合信息获取模块410，包括：

分割处理子模块，用于依据所述数据库的校验表信息进行分割处理，得到行集合信息；

行集合处理子模块，用于按照预设的哈希生成方式对所述行集合信息进行处理，得到所述行集合信息对应的哈希信息和所述行集合信息对应的标识信息；

待校验集合信息生成子模块，用于基于所述行集合信息，结合所述标识信息和所述哈希信息，生成待校验集合信息。

可选的，所述数据库包含源端数据库和目的端数据库，所述分割处理子模块，包括：

校验表获取单元，用于分别获取所述源端数据库的源校验表和目的端数据库的目标校验表；

记录数校验单元，用于按照预设的校验方式对所述源校验表和所述目标校验表进行记录数校验，得到记录数校验结果；

字段抽取单元，用于在所述记录数校验结果为记录数校验一致结果时，按照预设的抽取方式分别对所述源校验表和所述目标校验表进行字段抽取，得到源字段行信息和目标字段行信息；

分割单元，用于分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息。

可选的，所述分割单元，具体用于基于所述源字段行信息，按照预设的深度配置信息对所述源校验表进行分割，得到至少一个源行集合信息；基于所述目标字段行信息，按照预设的深度配置信息对所述目标校验表进行分割，得到至少一个目标行集合信息；将所述源行集合信息和所述目标行集合信息确定为所述行集合信息。

可选的，所述哈希校验模块420，包括：

提取子模块，用于从所述源集合信息中提取源标识信息和源哈希信息，并从所述目标集合信息中提取目标标识信息和目标哈希信息；

判断子模块，用于针对所述源标识信息和所述目标标识信息，判断所述源哈希信息与所述目标哈希信息是否相匹配；

哈希校验信息确定子模块，用于在所述源哈希信息和所述目标哈希信息相匹配时，则确定哈希校验成功，将哈希校验成功信息确定为所述哈希校验信息；在所述源哈希信息和所述目标哈希信息不匹配时，确定哈希校验失败，将哈希校验失败信息确定为所述哈希校验信息。

可选的，所述校验处理模块430，包括：

迭代校验子模块，用于在所述哈希校验信息为哈希校验失败信息时，按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，并记录迭代次数；

判断子模块，用于判断所述迭代次数是否达到预设的迭代次数阈值；

循环冗余校验子模块，用于在所述迭代次数达到预设的迭代次数阈值时，基于所述异常行集合进行循环冗余校验，得到所述数据校验结果。

可选的，所述迭代校验子模块，具体用于：按照预设的校验规则分别对所述源集合信息和所述目标集合信息进行重新划分，得到所述源集合信息对应的源划分集合信息和所述目标集合信息对应的目标划分集合信息；判断所述源划分集合信息和所述目标划分集合信息是否相匹配；若所述源划分集合信息和所述目标划分集合信息不匹配，则基于所述源划分集合信息和/或所述目标划分集合信息，确定异常行集合。

可选的，所述数据库的数据校验装置400，还包括：

数据校验成功结果确定模块，用于在所述哈希校验信息为哈希校验成功信息时，基于所述哈希校验成功信息，将数据校验成功结果确定为所述数据校验结果。

需要说明的是，本申请实施例提供的数据库的数据校验装置可执行本申请任意实施例所提供的数据库的数据校验方法，具备执行数据库的数据校验方法相应的功能和有益效果。

在具体实现中，上述数据库的数据校验装置可以集成在设备中，使得该设备可以依据待校验集合信息进行哈希校验，得到数据校验结果，作为电子设备，实现无需一行一行进行数据校验，也可以实现对无主键/无唯一索引的数据表的数据校验。该电子设备可以是由两个或多个物理实体构成，也可以是一个物理实体构成，如电子设备可以是个人计算机(Personal Computer，PC)、电脑、服务器等，本申请实施例对此不作具体限制。

如图5所示，本申请实施例提供提供了一种电子设备，包括处理器111、通信接口112、存储器113和通信总线114，其中，处理器111，通信接口112，存储器113通过通信总线114完成相互间的通信；存储器113，用于存放计算机程序；处理器111，用于执行存储器113上所存放的程序时，实现前述任意一个方法实施例提供的数据库的数据校验方法的步骤。示例性的，数据库的数据校验方法的步骤可以包括如下步骤：获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息；依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息；依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如前述任意一个方法实施例提供的数据库的数据校验方法的步骤。

需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据库的数据校验方法，其特征在于，包括：

获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息；

依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息；

依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

2.根据权利要求1所述的方法，其特征在于，所述获取数据库的待校验集合信息，包括：

依据所述数据库的校验表信息进行分割处理，得到行集合信息；

按照预设的哈希生成方式对所述行集合信息进行处理，得到所述行集合信息对应的哈希信息和所述行集合信息对应的标识信息；

基于所述行集合信息，结合所述标识信息和所述哈希信息，生成待校验集合信息。

3.根据权利要求2所述的方法，其特征在于，所述数据库包含源端数据库和目的端数据库，所述依据所述数据库的校验表信息进行分割处理，得到行集合信息，包括：

分别获取所述源端数据库的源校验表和目的端数据库的目标校验表；

按照预设的校验方式对所述源校验表和所述目标校验表进行记录数校验，得到记录数校验结果；

若所述记录数校验结果为记录数校验一致结果，则按照预设的抽取方式分别对所述源校验表和所述目标校验表进行字段抽取，得到源字段行信息和目标字段行信息；

分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息。

4.根据权利要求3所述的方法，其特征在于，所述分别基于所述源字段行信息和所述目标字段行信息进行分割，得到所述行集合信息，包括：

基于所述源字段行信息，按照预设的深度配置信息对所述源校验表进行分割，得到至少一个源行集合信息；

基于所述目标字段行信息，按照预设的深度配置信息对所述目标校验表进行分割，得到至少一个目标行集合信息；

将所述源行集合信息和所述目标行集合信息确定为所述行集合信息。

5.根据权利要求1所述的方法，其特征在于，所述依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息，包括：

从所述源集合信息中提取源标识信息和源哈希信息，并从所述目标集合信息中提取目标标识信息和目标哈希信息；

针对所述源标识信息和所述目标标识信息，判断所述源哈希信息与所述目标哈希信息是否相匹配；

若所述源哈希信息与所述目标哈希信息相匹配，则确定哈希校验成功，将哈希校验成功信息确定为所述哈希校验信息；

若所述源哈希信息与所述目标哈希信息不匹配，则确定哈希校验失败，将哈希校验失败信息确定为所述哈希校验信息。

6.根据权利要求5所述的方法，其特征在于，所述依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果，包括：

若所述哈希校验信息为哈希校验失败信息，则按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，并记录迭代次数；

判断所述迭代次数是否达到预设的迭代次数阈值；

若所述迭代次数达到预设的迭代次数阈值，则基于所述异常行集合进行循环冗余校验，得到所述数据校验结果。

7.根据权利要求6所述的方法，其特征在于，所述按照预设的校验规则对所述源集合信息和所述目标集合信息进行迭代校验，得到异常行集合，包括：

按照预设的校验规则分别对所述源集合信息和所述目标集合信息进行重新划分，得到所述源集合信息对应的源划分集合信息和所述目标集合信息对应的目标划分集合信息；

判断所述源划分集合信息和所述目标划分集合信息是否相匹配；

若所述源划分集合信息和所述目标划分集合信息不匹配，则基于所述源划分集合信息和/或所述目标划分集合信息，确定异常行集合。

8.根据权利要求6所述的方法，其特征在于，还包括：

若所述哈希校验信息为哈希校验成功信息，则基于所述哈希校验成功信息，将数据校验成功结果确定为所述数据校验结果。

9.一种数据库的数据校验装置，其特征在于，包括：

待校验集合信息获取模块，用于获取数据库的待校验集合信息，所述待校验集合信息包含源集合信息和目标集合信息；

哈希校验模块，用于依据所述源集合信息和所述目标集合信息进行哈希校验，得到哈希校验信息；

校验处理模块，用于依据所述哈希校验信息，按照预设的校验规则进行校验处理，得到所述待校验集合信息对应的数据校验结果。

10.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现权利要求1-8任一项所述的数据库的数据校验方法的步骤。

Images