CN115438001A - 一种数据迁移验证方法、装置、设备及存储介质 - Google Patents

Abstract

本文涉及自动程序设计领域，提供了一种数据迁移验证方法、装置、设备及存储介质，其中，方法包括：将源文件中的数据迁移至目标文件；比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。本文能够即快速又准确地完成迁移验证，摆脱了具体数据的直接对比验证，具有良好的普适性。

Description

一种数据迁移验证方法、装置、设备及存储介质

技术领域

本文涉及自动程序设计领域，尤其涉及一种数据迁移验证方法、装置、设备及存储介质。

背景技术

本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

在数据迁移过程中，必不可少的一步是验证迁移结果的正确性，即比对迁出方提供的迁出数据以及迁入方导入的迁入数据是否一致。现有技术中，主要存在如下两类方式进行数据迁移验证：

第一类为人工对比的方式，数据迁移往往需要迁移千万级甚至上亿级别历史数据，具有字段多、数据量大等特性，传统的人工比对方式仅能验证迁移数据的个数是否匹配，无法对具体的数据进行逐一验证，即使逐一验证，也存在漏验证及误验证的风险。

第二类为自动化验证方式，现有自动化验证方式通常为逐一比对迁出数据及迁入数据，该类方式相较于人工对比的方式虽然在一定程度上能够节省人力，提升效率，但当迁移数据量巨大时，仍存在验证速度慢的问题，因此并不适用于海量数据的迁移验证。

发明内容

本文用于解决现有数据迁移验证方法存在验证效率低，不适用于海量数据迁移的场景。

为了解决上述技术问题，本文一方面提供一种数据迁移验证方法，包括：

将源文件中的数据迁移至目标文件；

比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；

比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。

作为本文进一步实施例中，数据特征包括：数据量、数据行数及数值数据之和。

作为本文进一步实施例中，所述哈希算法执行过程包括：

判断输入文件的数据量是否大于预定值，其中，输入文件为源文件或目标文件；

若否，则对输入文件进行哈希计算，得到输入文件的哈希数据；

若是，则对所述输入文件进行切割处理，得到多个子文件；

启动多个哈希计算线程对每一子文件并行进行哈希计算；

汇总所有子文件的哈希计算结果，得到输入文件的哈希数据。

作为本文进一步实施例中，对待处理文件进行哈希计算包括：

由预设数据窗口从待处理文件中滑动读取数据，对读取的数据进行哈希计算，得到读取数据的哈希值；

将计算得到的哈希值按读取顺序进行存储，得到待处理数据的哈希计算结果；

其中，待处理文件为输入文件或子文件。

作为本文进一步实施例中，比较源文件哈希数据及目标文件哈希数据包括：

逐一比较源文件哈希数据及目标文件哈希数据中相同位置的哈希值；

当出现哈希值不同时，确定该不同哈希值对应的数据行数；

删除源文件中该数据行数之前的数据，以得到更新后源文件；

对更新后源文件重新进行数据迁移及验证处理。

作为本文进一步实施例中，对所述输入文件进行切割处理，得到多分子文件包括：

确定剩余计算资源信息；

根据所述剩余计算资源信息确定子文件数量；

根据子文件数量，对所述输入文件进行切割处理，得到多分子文件。

作为本文进一步实施例中，根据所述剩余计算资源信息确定子文件数量包括利用如下公式计算子文件数量：

Y为子文件数量，X为剩余计算资源，A为单哈希计算线程计算所需资源信息。

本文另一方面提供一种数据迁移验证装置，包括：

迁移单元，用于将源文件中的数据迁移至目标文件；

第一验证单元，用于比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；

第二验证单元，用于比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。

本文第三方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一实施例所述方法。

本文第四方面提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被计算机设备的处理器运行时，执行根据前述任一实施例所述方法的指令。

本文第五方面提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现前述任一实施例所述方法。

本文提供的数据迁移验证方法及装置通过将源文件中的数据迁移至目标文件后比较源文件中数据特征与目标文件中数据特征是否一致，能够快速识别出丢数据异常情况，在未出现丢数据异常情况下，通过将源文件及目标文件分别输入至哈希算法中得到源文件哈希数据及目标文件哈希数据，比较源文件哈希数据及目标文件哈希数据，能够即快速又准确地完成迁移验证，摆脱了具体数据的直接对比验证，具有良好的普适性(适用于海量数据的迁移验证)。

为让本文的上述和其他目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附图式，作详细说明如下。

附图说明

为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本文实施例数据迁移验证方法的流程图；

图2示出了本文实施例哈希算法执行过程的流程图；

图3示出了本文实施例哈希计算过程的流程图；

图4示出了本文实施例源文件及目标文件哈希数据比较过程的流程图；

图5示出了本文实施例输入文件切分过程的流程图；

图6示出了本文实施例数据迁移验证装置的结构图；

图7示出了本文实施例计算机设备的结构图。

附图符号说明：

601、迁移单元；

602、第一验证单元；

603、第二验证单元；

702、计算机设备；

704、处理器；

706、存储器；

708、驱动机构；

710、输入/输出模块；

712、输入设备；

714、输出设备；

716、呈现设备；

718、图形用户接口；

720、网络接口；

722、通信链路；

724、通信总线。

具体实施方式

下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。

需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。

需要说明的是，本文的数据迁移验证方法及装置可用于金融领域，例如金融机构的数据中心，也可用于除金融领域之外的任意领域，例如互联网领域中的数据中心，本文数据迁移验证方法及装置的应用领域不做限定。

本文一实施例中，提供一种数据迁移验证方法，用于解决现有技术中数据迁移验证方法存在浪费人力、验证效率低及准确性差的问题。具体的，如图1所示，数据迁移验证方法包括：

步骤101，将源文件中的数据迁移至目标文件；

步骤102，比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则执行步骤103；

步骤103，将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；

步骤104，比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。

本实施例提供的数据迁移验证方法应用于后台服务器，通过执行上述步骤102，能够快速识别出丢数据异常情况，在未出现丢数据异常情况下，通过步骤103及步骤104能够即快速又准确地完成迁移验证，摆脱了具体数据的直接对比验证，具有良好的普适性(适用于海量数据的迁移验证)。

上述步骤101实施时，可按照预设计划确定源文件及目标文件，还可根据用户需求指定源文件及目标文件，例如新旧系统切换时。源文件中存储有待迁移数据，具体实施时，本文所述的源文件可以由文件名、待迁移数据的行号确定。目标文件用于存储从源文件中迁移出的数据。源文件及目标文件可位于不同的存储介质。

上述步骤102实施时，数据特征包括但不限于数据量、数据行数及数值数据之和(例如交易金额字段，数值数据之和为所有交易金额之和)。

上述步骤103实施时，可选用选用现有技术中的哈希算法，例如SHA-1、SHA-224、SHA-256、SHA-384，和SHA-512。对源文件及目标文件整个文件进行哈希运算时，得到的源文件哈希数据为源文件哈希序列，得到的目标文件哈希数据为目标文件哈希序列。哈希算法可以将任意长度的消息，映射为一个长度较短且固定长度的字符串。消息中任何一点微小的改动，都会生成不同的哈希计算结果(哈希值)。

具体实施时，步骤102及步骤103中的源文件数据及目标文件中的数据按照相同的数据迁移规则迁移为文件，通过sql命令直接实现。

上述步骤104实施时，当源文件哈希数据与目标文件哈希数据不一致时，说明数据迁移过程中出现了异常(例如乱码，丢数据等)。当源文件哈希数据与目标文件哈希数据一致时，说明数据迁移过程未出现异常，保存目标文件，同时删除源文件。

本文一实施例中，为了避免进一步提高迁移数据校验效率，如图2所示，哈希算法执行过程包括：

步骤201，判断输入文件的数据量是否大于预定值，其中，输入文件为源文件或目标文件，即对源文件及目标文件分别执行步骤201至步骤205；

若否，则执行步骤202，若是，则执行步骤203；

步骤202，对输入文件进行哈希计算，得到输入文件的哈希数据；

步骤203，对所述输入文件进行切割处理，得到多个子文件；

步骤204，启动多个哈希计算线程对每一子文件并行进行哈希计算；

步骤205，汇总所有子文件的哈希计算结果，得到输入文件的哈希数据。

本实施例依据输入数据的数据量确定是否需要并行执行哈希计算，从而能够提高哈希计算效果，进而提升数据迁移验证效率，尤其适用于大数据量的数据迁移。

步骤201中，预定值可根据数据迁移优先级而定，优先级越高，预定值越小。优先级可根据迁移数据的重要程度而定。重要程度可由用户设定。

步骤202中启动哈希计算线程对输入文件进行计算，得到哈希数据。

步骤203中，可将输入文件且分为数据量相同的子文件，或将输入文件且分为N个子文件，N为正整数，可由用户设定。

步骤204中，每一哈希计算线程处理一子文件，通过步骤204能够同时得到各子文件的哈希计算结果。

步骤205中，汇总所有子文件的哈希计算结果即将所有子文件的哈希计算结果进行拼接处理，拼接顺序可与子文件切分顺序相同。

本文一实施例中，为了当数据迁移发送数据遗漏异常时，能够准确定位遗漏位置，如图3所示，对待处理文件进行哈希计算包括：

步骤301，由预设数据窗口从待处理文件中滑动读取数据，对读取的数据进行哈希计算，得到读取数据的哈希值；

步骤302，将计算得到的哈希值按读取顺序进行存储，得到待处理数据的哈希计算结果。其中，待处理文件为输入文件或子文件。

详细的说，预设数据窗口中规定有每次读取的预设行数，具体预设行数可根据需求设定，例如为每次取100条数据。预设数据窗口可按照每次间隔1至预设行数的顺序进行滑动。

步骤302中可对步骤301计算得到的哈希值进行拼接处理，得到哈希计算结果。

本步骤能够根据异常哈希值的位置定位异常迁移数据位置，后续仅对异常迁移数据位置之后的数据进行迁移操作，能够避免从头到尾从新进行数据迁移，提高数据迁移效率。

进一步的，如图4所示，上述步骤104比较源文件哈希数据及目标文件哈希数据包括：

步骤401，逐一比较源文件哈希数据及目标文件哈希数据中相同位置的哈希值；

步骤402，当出现哈希值不同时，确定该不同哈希值对应的数据行数；

步骤403，删除源文件中该数据行数之前的数据，以得到更新后源文件；

步骤404，对更新后源文件重新进行数据迁移及验证处理。

本文一实施例中，如图5所示，步骤203对输入文件进行切割处理，得到多分子文件包括：

步骤501，确定剩余计算资源信息；

步骤502，根据剩余计算资源信息确定子文件数量；

步骤503，根据子文件数量，对输入文件进行切割处理，得到多分子文件。

详细的说，步骤501中剩余计算资源信息包括但不限于CPU、内存量等信息。

对于步骤502中，根据所述剩余计算资源信息确定子文件数量包括利用如下公式计算子文件数量：

Y为子文件数量，X为剩余计算资源，A为单哈希计算线程计算所需资源信息。

当剩余所需资源信息包括多个参数时，对每一参数利用上一公式计算子文件数量，取最小子文件数量为最终子文件数量。

本实施例根据剩余计算资源能够动态地、合理地确定子文件数量，即保证并发计算能够正常进行。

基于同一发明构思，本文还提供一种数据迁移验证装置，如下面的实施例所述。由于数据迁移验证装置解决问题的原理与数据迁移验证方法相似，因此，数据迁移验证装置的实施可以参见数据迁移验证方法，重复之处不再赘述。

具体的，如图6所示，一种数据迁移验证装置，包括：

迁移单元601，用于将源文件中的数据迁移至目标文件；

第一验证单元602，用于比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；

第二验证单元603，用于比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。

本实施例通过将源文件中的数据迁移至目标文件后比较源文件中数据特征与目标文件中数据特征是否一致，能够快速识别出丢数据异常情况，在未出现丢数据异常情况下，通过将源文件及目标文件分别输入至哈希算法中得到源文件哈希数据及目标文件哈希数据，比较源文件哈希数据及目标文件哈希数据，能够即快速又准确地完成迁移验证，摆脱了具体数据的直接对比验证，具有良好的普适性(适用于海量数据的迁移验证)。

本文一实施例中，如图7所示，还提供一种计算机设备702，包括存储器706、处理器704及存储在存储器706上并可在处理器704上运行的计算机程序，处理器704执行计算机程序时实现前述任一实施例所述方法。具体的，处理器704诸如一个或多个中央处理单元(CPU)，每个处理单元可以实现一个或多个硬件线程。存储器706用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器706可以包括以下任一项或多种组合：任何类型的RAM，任何类型的ROM，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备702的固定或可移除部件。在一种情况下，当处理器704执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备702可以执行相关联指令的任一操作。计算机设备702还包括用于与任何存储器交互的一个或多个驱动机构708，诸如硬盘驱动机构、光盘驱动机构等。

计算机设备702还可以包括输入/输出模块710(I/O)，其用于接收各种输入(经由输入设备712)和用于提供各种输出(经由输出设备714)。一个具体输出机构可以包括呈现设备716和相关联的图形用户接口718(GUI)。在其他实施例中，还可以不包括输入/输出模块710(I/O)、输入设备712以及输出设备714，仅作为网络中的一台计算机设备。计算机设备702还可以包括一个或多个网络接口720，其用于经由一个或多个通信链路722与其他设备交换数据。一个或多个通信总线724将上文所描述的部件耦合在一起。

通信链路722可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路722可以包括由任何协议或协议组合支配的硬连线链路、无线链路、路由器、网关功能、名称服务器等的任何组合。

对应于图1至图5中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。

本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图1至图5所示的方法。

本文实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现前述任一实施例所述方法。

应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。

还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。

另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

Claims (11)

1.一种数据迁移验证方法，其特征在于，包括：

将源文件中的数据迁移至目标文件；

比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；

比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。

2.如权利要求1所述的方法，其特征在于，所述数据特征包括：数据量、数据行数及数值数据之和。

3.如权利要求1所述的方法，其特征在于，所述哈希算法执行过程包括：

判断输入文件的数据量是否大于预定值，其中，输入文件为源文件或目标文件；

若否，则对输入文件进行哈希计算，得到输入文件的哈希数据；

若是，则对所述输入文件进行切割处理，得到多个子文件；

启动多个哈希计算线程对每一子文件并行进行哈希计算；

汇总所有子文件的哈希计算结果，得到输入文件的哈希数据。

4.如权利要求3所述的方法，其特征在于，对待处理文件进行哈希计算包括：

由预设数据窗口从待处理文件中滑动读取数据，对读取的数据进行哈希计算，得到读取数据的哈希值；

将计算得到的哈希值按读取顺序进行存储，得到待处理数据的哈希计算结果；

其中，待处理文件为输入文件或子文件。

5.如权利要求4所述的方法，其特征在于，比较源文件哈希数据及目标文件哈希数据包括：

逐一比较源文件哈希数据及目标文件哈希数据中相同位置的哈希值；

当出现哈希值不同时，确定该不同的哈希值对应的数据行数；

删除源文件中该数据行数之前的数据，以得到更新后源文件；

对更新后源文件重新进行数据迁移及验证处理。

6.如权利要求3所述的方法，其特征在于，对所述输入文件进行切割处理，得到多分子文件包括：

确定剩余计算资源信息；

根据所述剩余计算资源信息确定子文件数量；

根据子文件数量，对所述输入文件进行切割处理，得到多分子文件。

7.如权利要求6所述的方法，其特征在于，根据所述剩余计算资源信息确定子文件数量包括利用如下公式计算子文件数量：

Y为子文件数量，X为剩余计算资源，A为单哈希计算线程计算所需资源信息。

8.一种数据迁移验证装置，其特征在于，包括：

迁移单元，用于将源文件中的数据迁移至目标文件；

第一验证单元，用于比较源文件中数据特征与目标文件中数据特征是否一致，若不一致，则数据迁移验证失败，若一致，则将源文件及目标文件分别输入至哈希算法中，得到源文件哈希数据及目标文件哈希数据；

第二验证单元，用于比较源文件哈希数据及目标文件哈希数据，若不一致，则数据迁移验证失败，若一致，则数据迁移验证成功。

9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7任意一项所述方法。

10.一种计算机存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被计算机设备的处理器运行时，执行根据权利要求1至7任意一项所述方法的指令。

11.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至7任意一项所述方法。

Images