CN116881226A - 一种多系统间数据迁移测试的数据校验方法 - Google Patents

Abstract

本发明涉及一种多系统间数据迁移测试的数据校验方法，方法包括以下步骤：S1、设计数据迁移方案，确定数据迁移方案的数据迁移映射规则和例外数据说明；S2、建立通用的数据迁移测试数据库，首先将源系统的表数据加载至迁移测试数据库的源表中；S3、根据数据迁移映射规则对数据库的源表的数据进行抽取和转换，然后将转换后的数据装载到迁移测试数据库的目标表；S4、对目标表的数据和源表的数据进行校验；S5、重复执行S1～S4，直至完成所有系统之间的数据迁移校验，对系统进行联机测试，完成整体的数据迁移测试。与现有技术相比，本发明具有确保数据迁移的一致性、正确性等优点。

Description

一种多系统间数据迁移测试的数据校验方法

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种多系统间数据迁移测试的数据校验方法。

背景技术

数据迁移是指选择、准备、提取和转换数据，并将数据从一个计算机存储系统永久地传输到另一个计算机存储系统的过程，验证迁移数据的完整性，也是整个数据迁移过程中重要的一部分。

然而，当前数据迁移测试由于迁移方案不明确，造成测试时间严重不足；在数据迁移测试的实施上，存在测试环境和测试数据要求不明确、测试方法不统一。以上问题会影响测试进度，进而无法确保迁移数据的一致性、正确性，无法确保迁移数据准确性。当前数据迁移测试方法无法确保迁移的每条数据是否按照对应的数据迁移映射规则进行迁移。

数据迁移后的校验是对迁移工作的检查，数据校验的结果是判断目标系统是否正式启用的重要依据。在数据迁移完成后，如何对数据迁移的一致性、正确性进行验证，确保迁移数据的准确性，是一个亟待解决的问题。

综上所述，现有的数据迁移后的校验存在测试环境和测试数据要求不明确、测试方法不统一，无法确保数据迁移的一致性、正确性的问题。

发明内容

本发明的目的就是为了克服数据迁移后校验不准确而提供的一种多系统间数据迁移测试的数据校验方法，能够对迁移数据实现高效、准备和全面的校验。

本发明的目的可以通过以下技术方案来实现：

一种多系统间数据迁移测试的数据校验方法，方法包括以下步骤：

S1、设计数据迁移方案，确定数据迁移方案的数据迁移映射规则和例外数据说明；

S2、建立通用的数据迁移测试数据库，首先将源系统的表数据加载至迁移测试数据库的源表中；

S3、根据数据迁移映射规则对数据库的源表的数据进行抽取和转换，然后将转换后的数据装载到迁移测试数据库的目标表，所述目标表与一个或多个源表对应；

S4、对目标表的数据和源表的数据进行校验，判断两个表的数据是否符合数据迁移映射规则，若是，则将迁移测试数据库的目标表的数据加载到目标系统中，反之则上报校验错误或例外数据；

S5、重复执行S1～S4，直至完成所有系统之间的数据迁移校验，对系统进行联机测试，完成整体的数据迁移测试，所述联机测试具体包括功能测试阶段和演练测试阶段。

进一步地，数据迁移映射规则包括直接映射和非直接映射，

所述直接映射的规则为源表的某些字段直接迁移至目标表中；

所述非直接映射的规则包括字段运算、字符串处理、空值判断和日期转换。

进一步地，字段运算具体为：直接基于数学运算计算目标表的部分字段，所述数学运算具体为依次按正整数编号；

字符串处理具体为：从源表的某个字符串中截取需要的字符段，基于数学判断或字符串转换得到新的数据，将新的数据迁移至目标表的对应字段处；

空值判断具体为：若目标表的某个字段无对应的源表的迁移映射规则，则判断该目标表的字段是否不可为空，若是，则填充默认值，反之，默认为空；

日期转换具体为：从源表的字符中提取日期数据后，根据目标表需要的日期格式进行转换，然后迁移至目标表的对应字段处。

进一步地，S4中，对目标表的数据和源表的数据进行校验时，先对第一个目标表和该目标表对应的所有的源表的数据进行校验，然后对第二个目标表和该目标表对应的所有的源表的数据进行校验，以此类推。

进一步地，判断两个表的数据是否符合数据迁移映射规则时，

若数据迁移映射规则为直接映射，则判断进行迁移前后的数值是否相同，若相同，则符合数据迁移映射规则，反之不符合；

若数据迁移映射规则为非直接映射，则判断迁移后的目标表的数据是否为迁移前的源表的对应的数据采用数据迁移映射规则转换后得到的，若是，则符合数据迁移映射规则，反之不符合。

进一步地，判断两个表的数据是否符合数据迁移映射规则时，还需要判断源表迁移前的数据总量和目标表迁移后的数据总量是否相同，若相同则符合数据迁移映射规则，反之不符合。

进一步地，S4中判断两个表的数据是否符合数据迁移映射规则时，若不符合，则基于例外数据说明判断迁移的数据是否属于例外数据，若是，则针对例外数据的产生原因进行修正，修正后返回S3再次进行数据迁移和校验；反之，上报校验错误。

进一步地，例外数据的产生原因包括数据迁移映射规则问题、迁移程序问题和生产数据问题；

针对数据迁移映射规则问题进行修正具体为：调整、增加或删除数据迁移映射规则；

针对迁移程序问题进行修正具体为：修改完善迁移数据的程序；

针对生产数据问题进行修正具体为：对不合法或错误的源表数据对应的源系统数据进行清理。

进一步地，在功能测试阶段，在模拟生产环境，对源系统的表数据加载脱敏生产数据，进行业务延续性测试、端到端测试和例外数据说明测试，在演练测试阶段，在与生产环境一致的环境中，对源系统的表数据装载实际的生产数据，实施业务延续性测试、端到端测试和例外数据说明测试。

进一步地，业务延续性测试为系统间当前数据的状态及后续数据的状态在迁移前后处理是否正确的测试；

端到端测试为系统间的数据流向的端到端验证；

例外数据说明测试为系统在例外数据情况下的处理是否正确的测试。

与现有技术相比，本发明具有以下有益效果：

(1)本发明通过建立数据迁移测试数据库，用于统一调度源表和目标表中对应的数据，在数据迁移测试数据库中对目标表的数据和源表的数据进行校验，梳理源系统向目标系统进行数据迁移的迁移规则、例外数据调整说明等相关信息，然后在测试数据库中判断源表的迁移前每条数据与目标表的迁移后数据之间的关系是否符合数据迁移映射规则，实现源系统迁移数据表和目标系统迁移数据表的统一校验，确保数据迁移的一致性。

(2)本发明还对数据迁移测试数据库进行联机测试，通过不同的环境和数据，采用不同视角的人员实施数据迁移测试，不断优化，提高实施效率，满足业务需求。

附图说明

图1为本发明的流程图；

图2为源系统的数据库和目标系统的数据库和迁移测试数据库的一种实施例图；

图3为迁移规则原理图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

本发明旨在提供一种多系统间的数据迁移测试方法，不同于传统的数据迁移测试方法，存在测试环境和测试数据要求不明确、测试方法不统一，无法确保数据迁移的一致性、正确性的问题。本发明所述的数据迁移测试方法，能够对迁移数据实现高效、准备和全面的校验。本发明的流程图如图1所示。

本发明中，源表指迁移测试数据库中源系统的数据结构和数据内容；目标表指迁移测试数据库中目标系统的数据结构和数据内容。数据迁移映射规则包括迁移前源表中字段与迁移后目标表字段之间的映射关系、迁移数据表、数据迁移的时间跨度、源表与目标表的映射关系等。本发明的实施案例中，基于标准的SQL语言，对迁移测试数据库按需进行查询、统计、分析及数据校验操作。

本发明将技术与业务深度融合，确保技术充分了解业务需求、业务按实际生产演练来清理例外数据，验证迁移程序与数据质量以及业务处理流程的兼容性；经过多轮次实施演练，通过不同的环境和数据，采用不同视角的人员实施数据迁移测试，不断优化，提高实施效率，满足业务需求，对迁移数据实现高效、准确和全面的校验。

本发明的方法包括以下步骤：

S1、设计数据迁移方案，确定数据迁移方案的数据迁移映射规则和例外数据说明；

S2、建立通用的数据迁移测试数据库，首先将源系统的表数据加载至迁移测试数据库的源表中；

S3、根据数据迁移映射规则对数据库的源表的数据进行抽取和转换，然后将转换后的数据装载到迁移测试数据库的目标表，所述目标表与一个或多个源表对应；

S4、对目标表的数据和源表的数据进行校验，判断两个表的数据是否符合数据迁移映射规则，若是，则将迁移测试数据库的目标表的数据加载到目标系统中，反之则上报校验错误或例外数据；

S5、重复执行S1～S4，直至完成所有系统之间的数据迁移校验，对系统进行联机测试，完成整体的数据迁移测试，联机测试具体包括功能测试阶段和演练测试阶段。

S1中，数据迁移映射规则，由开发人员分析目标系统数据库表结构，以源系统数据库作参照，分析数据在各表中的流向，梳理源系统向目标系统进行数据迁移的表清单，确定映射关系时，需要定义迁移数据表、定义迁移规则、例外数据调整说明等相关信息。数据迁移映射规则也包括迁移前数据表中的字段与迁移后数据表中的字段之间的映射关系。

数据迁移映射规则是将字段从源表迁移到目标表的匹配过程，连接了源系统与目标系统或数据模型之间的差异，因此当数据从源系统数据库迁移至目标系统数据库，迁移数据是准确和可用的。

源表数据到目标表数据的迁移映射规则的复杂性各不相同，复杂程度取决于数据层次结构、以及源表数据和目标表数据结构之间的差异，数据库分为以下两类：

同构数据库：指数据库类型、表结构均不变。

异构数据库：指使用不同类型数据库，或修改了数据库表结构，将源数据库数据迁移至目标数据库。由于数据库或表结构有变，必须对源表数据与目标表数据进行分析，确定数据迁移映射规则，再根据数据迁移映射规则对迁移数据进行抽取、转换、装载等操作。

数据迁移是指选择、准备、提取和转换数据，并将数据从一个计算机存储系统永久地传输到另一个计算机存储系统的过程。验证迁移数据的完整性、可用性，是整个迁移过程重要的一部分。

数据迁移是根据数据迁移映射规则在短时间内完成对源表大批量数据的提取和转换，数据迁移映射规则决定了迁移数据的质量。因此，大量的工作都需要在准备阶段完成，设计数据迁移方案、梳理数据迁移映射规则，充分而周到的准备工作是完成数据迁移主要基础。

举例来说，假设源表-A表、目标表-B表如下所示：

表A源表

表B目标表

A表的数据校验任务包括内容化结构类型如身份证号、姓名、身高及籍贯地址。将身份证号作为主键，可以标记这个数据的唯一性。

目标系统表B的数据是根据迁移数据映射规则从源系统表A中迁移后得到的，数据迁移映射规则如下：

1.直接映射：源表的某些字段可以直接迁移至目标表中，但要注意字段的长度和精度是否一致，如目标表B的姓名、身份证号、身高、籍贯地址从源系统表A中复制迁移即可。

2.非直接映射：

2.1字段运算：目标表中的字段值是根据数学运算得到的，如目标表B表的主键是自动生成，确保唯一性即可。

2.2字符串处理：从源系统表的某个字符串字段中经常可以获得特定信息，如身份证号。而且，经常会有数值型以字符串形式体现，对字符串的操作通常有类型转换、字符串截取等。如目标表B表的性别、出生日期、年龄是根据源系统表A的身份证号计算、或截取得到的，其迁移映射规则为：

性别：身份证号第17位奇数为男性，偶数为女性。

出生日期：身份证号第7位至14位为出生日期。

年龄：当前系统时间减去出生日期。

2.3空值判断：若源系统表中的字段值为宿舍，是否直接迁移。若目标表中某个字段无对应的源系统表的迁移映射规则，考虑目标表中该字段是否可为空；若不可为空，则在迁移时直接填充默认值；若可为空，则在迁移时默认为空。源系统表A无用户的手机号，则目标表B表的手机号在迁移时可默认为空。

2.4日期转换：需要考虑源系统表、目标系统表对日期的表示方法。如目标表B表的出生日期，在源系统表A中无出生日期字段，目标表B表的出生日期为yyyyMMdd格式，可从源系统表A的身份证号中截取获取。

本发明的数据迁移映射规则，是分析目标系统数据库表结构，以源系统数据库作参照，分析数据在各表中的流向，梳理源系统向目标系统进行数据迁移的表清单。对源系统和目标系统数据库表中的字段名称、类型、精度和约束等都有详细的描述，对需要进行迁移转换的数据都有对应的迁移规则。

S2中，建立通用的数据迁移测试数据库，用于统一调度源表和目标表中对应的数据。本发明的数据迁移测试中，通过技术手段对迁移数据进行测试是在迁移测试数据库中进行，开发人员根据数据迁移映射规则通过文传、或SQL程序将同构、异构的源系统表数据加载至迁移测试数据库的源表中，并编写程序依据数据迁移映射规则对源表数据进行抽取。S3中，基于数据迁移映射规则对源表数据进行转换后，装载到迁移测试数据库的目标表。S2和S3中的源系统的数据库和目标系统的数据库和迁移测试数据库的对应关系如图2所示。图2中，源系统的数据库为关系型数据库mysql、Oracle，目标系统的数据库为关系型数据库Oracle。

S3中，根据数据迁移映射规则对数据库的源表的数据进行抽取和转换，然后将转换后的数据装载到迁移测试数据库的目标表的原理如图3所示。

执行S4的对目标表的数据和源表的数据进行校验，判断两个表的数据是否符合数据迁移映射规则时，先对第一个目标表和该目标表对应的所有的源表的数据进行校验，然后对第二个目标表和该目标表对应的所有的源表的数据进行校验，以此类推。以图2为例，分别判断源系统A1、源系统A2、源系统A3中的源表迁移前数据和目标系统B1、目标系统B2、目标系统B3中目标表迁移后数据之间的关系是否符合数据迁移映射规则，则：

1、判断源系统A1、源系统A2、源系统A3中的源表迁移前数据和目标系统B1中目标表迁移后数据之间的关系是否符合数据迁移映射规则；

2、判断源系统A1、源系统A2中源表的迁移前数据和目标系统B2中目标表的迁移后的数据是否符合数据迁移映射规则；

3、判断源系统A3中源表的迁移前数据和目标系统B3中目标表的迁移后的数据是否符合数据迁移映射规则。

基于迁移映射规则的校验，可以实现源系统迁移数据表和目标系统迁移数据表的数据结构校验，如属性名称、数据类型、精度和约束等校验；实现源系统迁移数据表和目标系统迁移数据表的数据内容校验，如固定值、默认值、表字段值、表字段值转换等校验。

S4的校验中，对迁移规则的测试规则定制化，实现对不同数据字段定制不同的测试点，完成迁移数据的数据结构、数据内容等校验。根本思想是依据数据迁移映射规则，对比源系统和目标系统的数据差异，发现迁移数据的问题。

S4的校验为：

首先需要判断源表迁移前的数据总量和目标表迁移后的数据总量是否相同，若源表迁移前的数据总量和目标表迁移后的数据总量之间的关系不符合数据迁移映射规则，则数据迁移失败。若目标表迁移后的数据总量是源表迁移前的数据总量通过数据迁移映射规则处理后得到的，则确定源表迁移前的数据总量和目标表迁移后的数据总量符合数据迁移映射规则。

其次判断源表迁移前的数据与目标表迁移后的数据之间的关系是否符合数据迁移映射规则，分为直接映射和非直接映射两种情况：

直接映射：

①判断进行直接映射迁移的数据在迁移前的数值和目标表迁移后的对应数值是否相同；

②若进行直接映射迁移的数据在源表迁移前的数值和目标表迁移后的对应数值相同，则确定迁移前的数值和迁移后的数值之间的关系符合对应的数据迁移映射规则；

③若进行直接映射迁移的数据在源表迁移前的对应数值和目标表迁移后的对应数值不同，则确定迁移前的数值和迁移后的数值之间的关系不符合数据迁移映射规则，则数据迁移失败。

非直接映射：

①判断非直接映射的数据在目标表迁移后对应的数值是否为源表迁移前对应的数值通过数据迁移映射规则处理后得到的；

②若非直接映射的数据在目标表迁移后对应的数值是源表迁移前对应的数值通过数据迁移映射规则处理后得到的，则确定数据迁移前的数值和迁移后的数值之间的关系符合对应的数据迁移映射规则；

③若非直接映射的数据在目标表迁移后对应的数值不是源表迁移前对应的数值通过数据迁移映射规则处理后得到的，则确定数据迁移前的数值和迁移后的数值之间的关系不符合对应的数据迁移映射规则，则数据迁移失败。

此外，若判断结果为不符合，则基于例外数据说明判断迁移的数据是否属于例外数据，若是，则针对例外数据的产生原因进行修正，修正后返回S3再次进行数据迁移和校验；反之，上报校验错误。

对于例外数据，当源表数据迁移到目标表后，如果存在源系统表数据不符合迁移规则或数据本身非法等原因，则迁移的同时，需对迁移例外数据进行调整。例外数据原因包括：数据迁移映射规则问题，由于数据迁移映射规则的错误或映射关系的错误，需要调整数据迁移映射规则，或增加、修改映射关系。迁移程序问题，数据迁移程序未按照数据迁移映射规则的描述实现功能，需要修改完善迁移程序。生产数据问题，源系统数据不合法或错误，需业务人员对源系统数据进行清理。例外数据分为A、B、C类型：测试实施中，A类、B类例外必须解决，投产时，不能存在A类例外，否则主为投产失败；C类例外出现后，需要业务人员协助分析产生的原因，不影响投产和客户数据。

S5中的联机测试是使用迁移数据对目标系统的联机业务功能进行测试，以验证迁移数据满足目标系统的应用逻辑要求，测试方法包括业务延续性测试、端到端测试。其中，业务延续性测试，侧重产品功能的业务流程以及业务中间状态的处理逻辑，强调其当前状态及后续状态迁移前后处理是否正确；端到端测试，贯穿整个软件产品周期，以确保应用程序按预期运行，强调产品的系统依赖关系，并确保所有集成的部分按预期协同工作。

本发明提出一种多系统间的数据迁移测试方法，通过建立数据迁移测试数据库，用于统一调度源表和目标表中对应的数据。在数据迁移测试阶段，采用技术与业务深度整合、密切协作，根据实施阶段环境和数据以及人员的不同，明确测试方法。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种多系统间数据迁移测试的数据校验方法，其特征在于，方法包括以下步骤：

S1、设计数据迁移方案，确定数据迁移方案的数据迁移映射规则和例外数据说明；

S2、建立通用的数据迁移测试数据库，首先将源系统的表数据加载至迁移测试数据库的源表中；

S3、根据数据迁移映射规则对数据库的源表的数据进行抽取和转换，然后将转换后的数据装载到迁移测试数据库的目标表，所述目标表与一个或多个源表对应；

S4、对目标表的数据和源表的数据进行校验，判断两个表的数据是否符合数据迁移映射规则，若是，则将迁移测试数据库的目标表的数据加载到目标系统中，反之则上报校验错误或例外数据；

S5、重复执行S1～S4，直至完成所有系统之间的数据迁移校验，对系统进行联机测试，完成整体的数据迁移测试，所述联机测试具体包括功能测试阶段和演练测试阶段。

2.根据权利要求1所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，数据迁移映射规则包括直接映射和非直接映射，

所述直接映射的规则为源表的某些字段直接迁移至目标表中；

所述非直接映射的规则包括字段运算、字符串处理、空值判断和日期转换。

3.根据权利要求2所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，字段运算具体为：直接基于数学运算计算目标表的部分字段，所述数学运算具体为依次按正整数编号；

字符串处理具体为：从源表的某个字符串中截取需要的字符段，基于数学判断或字符串转换得到新的数据，将新的数据迁移至目标表的对应字段处；

空值判断具体为：若目标表的某个字段无对应的源表的迁移映射规则，则判断该目标表的字段是否不可为空，若是，则填充默认值，反之，默认为空；

日期转换具体为：从源表的字符中提取日期数据后，根据目标表需要的日期格式进行转换，然后迁移至目标表的对应字段处。

4.根据权利要求2所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，S4中，对目标表的数据和源表的数据进行校验时，先对第一个目标表和该目标表对应的所有的源表的数据进行校验，然后对第二个目标表和该目标表对应的所有的源表的数据进行校验，以此类推。

5.根据权利要求4所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，判断两个表的数据是否符合数据迁移映射规则时，

若数据迁移映射规则为直接映射，则判断进行迁移前后的数值是否相同，若相同，则符合数据迁移映射规则，反之不符合；

若数据迁移映射规则为非直接映射，则判断迁移后的目标表的数据是否为迁移前的源表的对应的数据采用数据迁移映射规则转换后得到的，若是，则符合数据迁移映射规则，反之不符合。

6.根据权利要求5所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，判断两个表的数据是否符合数据迁移映射规则时，还需要判断源表迁移前的数据总量和目标表迁移后的数据总量是否相同，若相同则符合数据迁移映射规则，反之不符合。

7.根据权利要求4所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，S4中判断两个表的数据是否符合数据迁移映射规则时，若不符合，则基于例外数据说明判断迁移的数据是否属于例外数据，若是，则针对例外数据的产生原因进行修正，修正后返回S3再次进行数据迁移和校验；反之，上报校验错误。

8.根据权利要求7所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，例外数据的产生原因包括数据迁移映射规则问题、迁移程序问题和生产数据问题；

针对数据迁移映射规则问题进行修正具体为：调整、增加或删除数据迁移映射规则；

针对迁移程序问题进行修正具体为：修改完善迁移数据的程序；

针对生产数据问题进行修正具体为：对不合法或错误的源表数据对应的源系统数据进行清理。

9.根据权利要求1所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，在功能测试阶段，在模拟生产环境，对源系统的表数据加载脱敏生产数据，进行业务延续性测试、端到端测试和例外数据说明测试，在演练测试阶段，在与生产环境一致的环境中，对源系统的表数据装载实际的生产数据，实施业务延续性测试、端到端测试和例外数据说明测试。

10.根据权利要求9所述的一种多系统间数据迁移测试的数据校验方法，其特征在于，业务延续性测试为系统间当前数据的状态及后续数据的状态在迁移前后处理是否正确的测试；

端到端测试为系统间的数据流向的端到端验证；

例外数据说明测试为系统在例外数据情况下的处理是否正确的测试。