CN111966665A - 数据迁移测试方法及装置 - Google Patents
数据迁移测试方法及装置 Download PDFInfo
- Publication number
- CN111966665A CN111966665A CN202010825151.6A CN202010825151A CN111966665A CN 111966665 A CN111966665 A CN 111966665A CN 202010825151 A CN202010825151 A CN 202010825151A CN 111966665 A CN111966665 A CN 111966665A
- Authority
- CN
- China
- Prior art keywords
- data
- migration
- test
- target system
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000005012 migration Effects 0.000 title claims abstract description 290
- 238000013508 migration Methods 0.000 title claims abstract description 273
- 238000010998 test method Methods 0.000 title claims description 24
- 238000012360 testing method Methods 0.000 claims abstract description 271
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 24
- 238000012550 audit Methods 0.000 claims description 18
- 238000012795 verification Methods 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 8
- 238000004519 manufacturing process Methods 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000011990 functional testing Methods 0.000 description 15
- 238000005553 drilling Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 238000004458 analytical method Methods 0.000 description 11
- 238000007726 management method Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 10
- 238000013507 mapping Methods 0.000 description 9
- 238000011161 development Methods 0.000 description 6
- 238000011068 loading method Methods 0.000 description 4
- 238000012552 review Methods 0.000 description 4
- 238000013509 system migration Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000004140 cleaning Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013075 data extraction Methods 0.000 description 1
- 238000013496 data integrity verification Methods 0.000 description 1
- 238000000586 desensitisation Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3664—Environments for testing or debugging software
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/36—Preventing errors by testing or debugging software
- G06F11/3668—Software testing
- G06F11/3672—Test management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
Abstract
本发明公开了一种数据迁移测试方法及装置，其中，该方法包括：获取源系统和目标系统的数据比对结果；根据数据比对结果，生成数据结构测试模板和数据内容测试模板；基于数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，迁移数据表为包含迁移数据的数据表；根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统；根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。本发明能够大大提高数据迁移测试的实施效率，满足更多的业务需求。
Description
技术领域
本发明涉及计算机软件技术领域，尤其涉及一种数据迁移测试方法及装置。
背景技术
本部分旨在为权利要求书中陈述的本发明实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
根据集中式、分布式技术架构规划的工作要求，需要将一部分部署、运行于小型机的系统下移至x86平台，以有效降低IT系统在资源方面的投入成本。
在将应用系统从小型机下移到x86平台的过程中，需要进行数据迁移，而数据迁移过程导致与业务协调沟通成本较高，由于数据迁移方案迟迟不明确，造成时间严重不足，在数据迁移测试的实施上，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的问题。
针对上述问题，目前尚未提出有效的解决方案。
发明内容
本发明实施例中提供了一种数据迁移测试方法，用以解决现有的数据迁移测试方案，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的技术问题，该方法包括：获取源系统和目标系统的数据比对结果；根据数据比对结果，生成数据结构测试模板和数据内容测试模板；基于数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，迁移数据表为包含迁移数据的数据表；根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统；根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。
本发明实施例中还提供了一种数据迁移测试装置，用以解决现有的数据迁移测试方案，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的技术问题，该装置包括：数据比对模块，用于获取源系统和目标系统的数据比对结果；测试模板生成模块，用于根据数据比对结果，生成数据结构测试模板和数据内容测试模板；迁移数据表校验模块，用于基于数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，迁移数据表为包含迁移数据的数据表；数据迁移模块，用于根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统；测试模块，用于根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。
本发明实施例中还提供了一种计算机设备，用以解决现有的数据迁移测试方案，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的数据迁移测试方法。
本发明实施例中还提供了一种算机可读存储介质，用以解决现有的数据迁移测试方案，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的技术问题，该计算机可读存储介质存储有执行上述数据迁移测试方法的计算机程序。
本发明实施例中，通过获取源系统和目标系统的数据比对结果，进而根据数据比对结果，生成数据结构测试模板和数据内容测试模板，以便基于数据结构测试模板对迁移数据表的数据结构进行校验，基于数据内容测试模板对迁移数据表的数据内容进行校验，最后根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统，并根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试，与现有技术中直接将源系统的数据迁移到目标系统的技术方案相比，本发明实施例将技术和业务应深度融合，确保技术充分了解业务需求、业务按实际生产演练来清理例外数据，验证迁移程序与数据质量以及业务处理流程的兼容性；从整体任务上统一协调，经过多轮次实施演练，通过不同的环境和数据，采用不同视角的人员实施数据迁移测试，不断优化，提高数据迁移测试的实施效率，满足更多的业务需求。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本发明实施例中提供的一种数据迁移测试方法流程图；
图2为本发明实施例中提供的一种数据迁移测试的具体实现流程图；
图3为本发明实施例中提供的一种定制测试模板的过程示意图；
图4为本发明实施例中提供的一种数据迁移过程中产生的数据表示意图；
图5为本发明实施例中提供的一种联机测试示意图；
图6为本发明实施例中提供的一种数据迁移测试系统示意图；
图7为本发明实施例中提供的一种数据迁移测试装置示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
本发明实施例中提供了一种数据迁移测试方法，图1为本发明实施例中提供的一种数据迁移测试方法流程图，如图1所示，该方法可以包括如下步骤：
S101，获取源系统和目标系统的数据比对结果。
本发明实施例中提供的数据迁移测试方法，可以应用但不限于将应用系统从小型机(也称为“小机”)下移到x86平台过程中。当本发明实施例中提供的数据迁移测试方法应用于系统从小型机下移到x86平台的情况下，则上述S101中的源系统是指部署于小型机上的应用系统；而目标系统是指部署于x86平台的应用系统。
S102，根据数据比对结果，生成数据结构测试模板和数据内容测试模板。
本发明实施例中数据结构测试模板，用于实现应用系统迁移数据表的基础结构校验，包括但不限于属性名称、数据类型、精度和约束等校验；数据内容测试模板，用于实现应用系统迁移数据表中的基础数据内容校验，包括但不限于固定值、默认值、参数值、表字段值、表字段值加工等校验。
S103，基于数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，迁移数据表为包含迁移数据的数据表。
本发明实施例中，通过定制化数据结构测试模板和数据内容测试模板，能够实现对数据结构和数据内容的校验。
S104，根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统。
为了实现双重核对，在一个实施例中，本发明实施例中提供的数据迁移测试方法还可以包括如下步骤：获取数据迁移过程中产生的迁移审计报表；验证源系统中的原始数据表与迁移审计报表是否一致；验证目标系统中的业务检查表与迁移审计报表是否一致。
S105，根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。
在具体实施时，上述S105可以通过如下步骤来实现：获取不同测试阶段对应的测试环境、测试数据和测试方法；在不同测试阶段，利用不同的测试数据，采用不同的测试方法，对不同测试环境下目标系统的联机业务功能进行测试。
在一个实施例中，本发明实施例中提供的数据迁移测试方法还可以包括如下步骤：获取源系统中未成功迁移至目标系统的例外数据；根据例外数据，生成修改后的迁移数据表；根据修改后的迁移数据表，将例外数据从源系统迁移至目标系统。
本发明实施例依据迁移规则，对比源系统和目标系统数据差异，发现迁移数据的问题，通过定制数据结构的测试模板，实现应用系统迁移数据表的基础结构校验，如属性名称、数据类型、精度和约束等校验；通过定制数据内容的测试模板，实现应用系统迁移数据表中的基础数据内容校验，如固定值、默认值、参数值、表字段值、表字段值加工等校验。
当数据从源系统迁移至目标系统后，如果存在源系统表数据不符合迁移规则或数据本身不合法，则迁移的同时，对迁移例外数据进行调整。使用迁移数据测试目标系统的联机业务功能，以验证迁移数据是否满足目标系统的应用逻辑要求，测试方法包括业务延续性测试、端到端测试。其中，业务延续性测试侧重产品功能的业务流程以及业务中间状态的处理逻辑，强调其当前状态及后续状态迁移前后处理是否正确；端到端测试贯穿各产品功能衔接及数据流向的端到端验证，强调产品功能内部/外部接口之间的横向业务关系。
在具体实施时，本发明实施例中提供的数据迁移测试方案，可以包括但不限于如下三个部分：
①定义迁移规则：“以目标系统数据结构为索引，源系统作参照”，分析数据在各表中的流向，列出向目标系统提供数据的表清单及迁移相关信息。在源系统和目标系统数据字典中对数据表中字段的名称、类型、精度和约束等都要详细的描述，对需要进行迁移转换的数据字段应该一一对应，明确数据字段的迁移方向、迁移属性和迁移说明等。
②报表核对：数据迁移过程会产生若干报表，首先数据从源系统迁出至中间文件后，将产生迁移审计报表；如果此时存在源系统数据不符合迁移规则或产品没有在相关迁移码表中定义或数据本身非法等原因，则迁出的同时，将产生迁移例外报表；其次数据由中间文件迁入至目标系统后，将产生相应的业务检查报表。报表核对遵循“迁出源系统的原始数据报表与中间文件审计报表核对，中间文件审计报表与迁入目标系统业务检查报表”双重核对的原则，如有不符，则检查例外报表。
源系统迁移至目标系统后，如果存在源系统表数据不符合迁移规则或数据本身非法等原因，则迁移的同时，需对迁移例外数据进行调整，如调整迁移规则、修改迁移程序、完善补录文本、前台手工调整、后台数据变更等。
③数据迁移测试：采用技术与业务深度融合、密切协作，明确“牵头管理、分工负责”原则，从整体任务上协调测试过程，根据实施阶段环境和数据以及人员的不同，明确测试方法和准出标准。
本发明实施例将技术和业务应深度融合，确保技术充分了解业务需求、业务按实际生产演练来清理例外数据，验证迁移程序与数据质量以及业务处理流程的兼容性；从整体任务上统一协调，经过多轮次实施演练，通过不同的环境和数据，采用不同视角的人员实施数据迁移测试，不断优化，提高实施效率，满足业务需求。
图2为本发明实施例中提供的一种数据迁移测试的具体实现流程图，如图2所示，包括如下步骤：
(1)下发测试调度指令：
从数据迁移整体任务上协调数据迁移过程、迁移测试过程中的任务执行次序，保障整个任务执行过程有序、正确和按时完成。从每个过程中的工作事项、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
(2)数据差异分析：
小机下移工作采用Web、AP、DB逐层由易到难推进Web服务器、AP应用下移，并逐步启动DB下移试点，原则上数据规模大的对客服务、交易类产品，采用小机平台Oracle，其他产品原则上采用x86平台的Oracle或分布式数据库；后线数据分析类产品原则上采用x86平台的MPP数据库。根据小机下移工作安排，结合DB下移试点要求及下移数据库类型和表结构是否变化，可分为同构数据库下移或异构数据库下移两种。
同构数据库下移：
A.指数据库类型，表结构均不变化。
B.仅将数据库运行平台从AIX上迁移到RedHat操作系统上，数据库仅进行目标版本升级。
异构数据库下移：
A.新建MPP类型数据库(GBASE)，使用了不同类型数据库，或修改了数据库表结构，将原数据库数据迁移至新目标数据库。
B.由于数据库或表结构变化，必须需要进行数据库数据抽取、转换、装载等动作。
(3)定义迁移表：
“以目标系统数据结构为索引，源系统作参照”，分析数据在各表中的流向，列出向目标系统提供数据的表清单及迁移相关信息。
(4)定义迁移规则：
在源系统和目标系统数据字典中对数据表中字段的名称、类型、精度和约束等都要详细的描述，如表1所示，对需要进行迁移转换的数据字段应该一一对应，并明确数据字段的迁移方向、迁移属性和迁移说明等。
表1迁移规则
(5)数据迁出、中间文件、数据迁入：
迁移过程会产生若干迁移报表，首先源系统批量生成原始数据报表；其次数据从源系统迁出至中间文件后，将产生迁移审计报表；如果此时存在源系统数据不符合迁移规则或数据本身非法等原因，则迁出的同时，将产生迁移例外报表；然后数据由中间文件迁入至目标系统后，将产生相应的业务检查报表。
(6)批量/联机业务：
执行批量，启动联机进入交易模式。
(7)数据迁移测试：
采用技术与业务深度融合、密切协作，明确“牵头管理、分工负责”原则，从整体任务上协调测试过程，如表2所示，根据实施阶段环境和数据以及人员的不同，明确测试方法和准出标准。
表2分阶段数据迁移测试说明
(8)迁移规则测试：
图3为本发明实施例中提供的一种定制测试模板的过程示意图，如图3所示，对迁移规则的测试规则定制化，实现对不同数据字段定制不同测试点，完成迁移数据的数据结构、数据内容等校验。根本思想是依据迁移规则，对比源系统和目标系统数据差异，发现迁移数据的问题。本发明实施例中定制的测试模板包括数据结构测试模板和数据内容测试模板两种。
(9)报表核对：
报表的核对遵循“迁出源系统的原始数据报表与中间文件审计报表核对，中间文件审计报表与迁入目标系统的业务检查报表”双重核对的原则，如有不符请检查例外报表。图4示出了数据迁移过程中产生的数据表。各个数据表的说明如表3所示。
表3数据迁移过程中产生的数据表说明
(10)例外报表调整说明
当源系统迁移至目标系统后，如果存在源系统表数据不符合迁移规则或数据本身非法等原因，则迁移的同时，需对迁移例外数据进行调整。
例外数据原因：迁移规则问题，由于迁移规则的错误或映射关系的错误，需要调整迁移需求文档，或增加修改映射关系。迁移程序问题，数据迁移程序未按照迁移需求文档的描述实现功能，需修改完善迁移程序。生产数据问题，源系统数据不合法或错误，需业务人员对源系统数据进行清理。
例外数据分A、B、C类型：测试实施中，A类例外必须解决，投产时，不能存在A类例外，否则认为投产失败；B类例外，业务人员可以在源系统进行清理，也可以投产后在线进行清理；C类例外出现后，需要业务人员协助分析产生的原因，不影响投产和客户数据。
(11)联机测试：
图5为本发明实施例中提供的一种联机测试示意图，如图5所示，使用迁移数据对目标系统的联机业务功能进行测试，以验证迁移数据满足目标系统的应用逻辑要求，测试方法包括业务延续性测试、端到端测试。其中，业务延续性测试，侧重产品功能的业务流程以及业务中间状态的处理逻辑，强调其当前状态及后续状态迁移前后处理是否正确；端到端测试，贯穿各产品功能衔接及数据流向的端到端验证，强调产品功能内部/外部接口之间的横向业务关系。
图6为本发明实施例中提供的一种数据迁移测试系统示意图，如图6所示，本发明实施例中提供的数据迁移测试系统可以包括调度模块、规则模块、迁移模块和实施模块。其中，调度模块，用于统筹协调数据迁移整体工作，从整体任务上协调数据迁移过程、迁移测试过程中的任务执行次序，保障整个任务执行过程有序、正确和按时完成；规则模块，用于组织落实数据迁移需求，明确数据迁移规则，并用于迁移规则调整、更新、发布和培训，以及分析例外数据、制订例外数据调整办法等；迁移模块，用于解释源系统和目标系统数据结构及迁移程序处理逻辑，确定迁移规则，以及开发产品的数据迁移程序，分析数据迁移测试中发现的迁移程序问题，并修订程序等；实施模块，用于组织实施阶段环境和数据的准备和迁移测试工作，完成迁移规则测试、报表核对、联机测试。
基于图6所示的各个模块，内部测试流程步骤如下：
1)在规则模块，开发人员结合DB下移试点要求及源系统和目标系统差异分析，“以目标系统数据结构为索引，源系统作参照”，分析数据在各表中的流向，列出向目标系统提供数据的表清单，通过定义迁移数据表、定义迁移规则、例外报表调整说明等迁移相关信息，传送给迁移模块和实施模块。
2)在迁移模块接收规则模块发送的迁移相关信息，开发人员组织开发产品的数据迁移程序，分析解决运行中出现的应用程序问题及版本管理等。
3)在实施模块接收到规则模块发送的迁移相关信息，开发人员组织定制迁移规则的测试规则、报表核对、联机测试等迁移测试点，并在测试点分析的基础上，组织编写完成内部测试案例并评审。
4)在实施模块，开发人员根据测试任务分析涉及到的应用系统范围，汇总各环境使用方的需求，整合形成内部测试开展所需的测试环境清单，向资源管理部提出申请，申请单中应包括具体的完成时间要求和使用期限。
5)在实施模块，开发人员根据任务对数据的相关需求，采用手工或技术手段预埋数据到开发环境中。
6)调度模块下达迁移指令给迁移模块，并对迁移过程的工作事项、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
7)调度模块下达测试指令给实施模块，并对测试过程的案例执行、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
8)在实施模块，开发人员测试发现迁移规则的错误或映射关系的错误，传送给规则模块调整迁移规则或修改映射关系。
9)在实施模块，开发人员测试发现数据迁移程序未按照迁移需求文档的描述实现功能错误，传送给迁移模块修改迁移程序。
10)在实施模块，开发人员发现源系统数据不合法或错误，需对源系统数据进行清理，传送给规则模块制订例外数据清理办法。
11)在实施模块，开发人员对通过内部测试的要在《内部测试报告》内体现项目涉及的各产品的测试结果；对于“不满足准出条件”则重复执行步骤1)到步骤10)，直至满足准出条件。
基于图6所示的各个模块，功能测试流程步骤如下：
1)在规则模块，开发人员结合DB下移试点要求及源系统和目标系统差异分析，“以目标系统数据结构为索引，源系统作参照”，分析数据在各表中的流向，列出向目标系统提供数据的表清单，通过定义迁移数据表、定义迁移规则、例外报表调整说明等迁移相关信息，传送给迁移模块和实施模块。
2)在迁移模块接收规则模块发送的迁移相关信息，开发人员组织开发产品的数据迁移程序，分析解决运行中出现的应用程序问题及版本管理等。
3)在实施模块，测试经理组织对测试任务进行整理和分析，明确测试范围和测试策略、环境资源需求进行分析、测试数据分析，编写功能测试方案并评审。
4)在实施模块，测试经理根据《功能测试方案》组织数据迁移测试点分析，根据定义迁移数据表、定义迁移规则，定制迁移规则的测试规则、报表核对、联机测试等测试点，并在测试点分析的基础上，组织编写完成功能测试案例并评审。
5)在实施模块，测试经理根据测试任务分析涉及到的应用系统范围，汇总各环境使用方的需求，模拟生产环境采用最小集搭建原则，整合形成功能测试开展所需的环境清单，包括具体的完成时间要求和使用期限，并组织相关部门召开“功能测试环境搭建申请”会议，经与会方同意后，参照《功能测试环境管理办法》流程进行申请。
6)在实施模块，测试经理根据测试任务对生产数据的相关需求，分析涉及到的应用系统范围。根据生产数据借用管理办法提出生产数据借用申请，申请的生产数据需经过数据脱敏程序脱敏处理后装载到功能测试环境中。
7)调度模块下达迁移指令给迁移模块，并对迁移过程的工作事项、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
8)调度模块下达测试指令给实施模块，并对测试过程的案例执行、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
9)在实施模块，测试人员测试发现迁移规则的错误或映射关系的错误，传送给规则模块调整迁移规则或修改映射关系。
10)在实施模块，测试人员测试发现数据迁移程序未按照迁移需求文档的描述实现功能错误，传送给迁移模块修改迁移程序。
11)在实施模块，测试人员发现源系统数据不合法或错误，需对源系统数据进行清理，传送给规则模块制订例外数据清理办法。
12)在实施模块，测试经理依据功能测试的准出标准，对通过功能测试的要在《功能测试报告》中有“满足准出条件，准予准出”意见；对于“不满足准出条件”则重复执行步骤1)到步骤11)，直至满足准出条件。
基于图6所示的各个模块，演练测试流程步骤如下：
1)在规则模块，开发人员结合DB下移试点要求及源系统和目标系统差异分析，“以目标系统数据结构为索引，源系统作参照”，分析数据在各表中的流向，列出向目标系统提供数据的表清单，通过定义迁移数据表、定义迁移规则、例外报表调整说明等迁移相关信息，传送给迁移模块和实施模块。
2)在迁移模块接收规则模块发送的迁移相关信息，开发人员组织开发产品的数据迁移程序，分析解决运行中出现的应用程序问题及版本管理等。
3)在实施模块，业务人员组织对测试任务进行整理和分析，明确测试范围和测试策略、环境资源需求进行分析、测试数据分析，编写演练测试方案。
4)在实施模块，业务人员根据《演练测试方案》组织数据迁移测试点分析，通过定义迁移数据表、定义迁移规则等迁移相关信息，定制迁移规则的测试规则、报表核对、联机测试等测试点，并在测试点分析的基础上，组织编写完成演练测试案例并评审。
5)在实施模块，业务人员根据测试任务分析涉及到的应用系统范围，汇总各环境使用方的需求，采用与生产环境一致的原则，整合形成演练测试开展所需的环境清单，包括具体的完成时间要求和使用期限，并组织相关部门召开“演练测试环境搭建申请”会议，经与会方同意后，由科技部将所需的演练测试环境申请单提交给科运中心。
6)在实施模块，业务人员根据测试任务对生产数据的相关需求，分析涉及到的应用系统范围。根据生产数据借用管理办法提出生产数据借用申请，审批通过后，再进行安全合规性和资料完整性进行审核，通过后按照科运中心规定的流程和要求，提交生产数据借用申请，并将获取的生产数据装载到演练测试环境中。
7)调度模块下达迁移指令给迁移模块，并对迁移过程的工作事项、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
8)调度模块下达测试指令给实施模块，并对测试过程的案例执行、关键步骤、完成时间、执行人、执行条件等协调，保障过程工作的正确和按时完成。
9)在实施模块，业务人员测试发现迁移规则的错误或映射关系的错误，传送给规则模块调整迁移规则或修改映射关系。
10)在实施模块，业务人员测试发现数据迁移程序未按照迁移需求文档的描述实现功能错误，传送给迁移模块修改迁移程序。
11)在实施模块，业务人员发现源系统数据不合法或错误，需对源系统数据进行清理，传送给规则模块制订例外数据清理办法。
12)在实施模块，业务人员依据演练测试的准出标准，对通过演练测试的要在《演练测试报告》中有“满足准出条件，准予准出”意见；对于“不满足准出条件”则重复执行步骤1)到步骤11)，直至满足准出条件。
基于同一发明构思，本发明实施例中还提供了一种数据迁移测试装置，如下面的实施例所述。由于该装置解决问题的原理与数据迁移测试方法相似，因此该装置的实施可以参见数据迁移测试方法的实施，重复之处不再赘述。
图7为本发明实施例中提供的一种数据迁移测试装置示意图，如图7所示，该装置可以包括：数据比对模块71、测试模板生成模块72、迁移数据表校验模块73、数据迁移模块74和测试模块75。
其中，数据比对模块71，用于获取源系统和目标系统的数据比对结果；测试模板生成模块72，用于根据数据比对结果，生成数据结构测试模板和数据内容测试模板；迁移数据表校验模块73，用于基于数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，迁移数据表为包含迁移数据的数据表；数据迁移模块74，用于根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统；测试模块75，用于根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。
可选地，上述测试模块75还可以用于获取不同测试阶段对应的测试环境、测试数据和测试方法，以及在不同测试阶段，利用不同的测试数据，采用不同的测试方法，对不同测试环境下目标系统的联机业务功能进行测试。
在一个实施例中，本发明实施例中提供的数据迁移测试装置还可以包括：迁移数据表获取模块76，用于获取数据迁移过程中产生的迁移审计报表；第一数据核查模块77，用于验证源系统中的原始数据表与迁移审计报表是否一致；第二数据核查模块78，用于验证目标系统中的业务检查表与迁移审计报表是否一致。
在一个实施例中，本发明实施例中提供的数据迁移测试装置还可以包括：迁移数据表调整模块79，用于获取源系统中未成功迁移至目标系统的例外数据，根据例外数据，生成修改后的迁移数据表，并根据修改后的迁移数据表，将例外数据从源系统迁移至目标系统。
基于同一发明构思，本发明实施例中还提供了一种计算机设备，用以解决现有的数据迁移测试方案，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的技术问题，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述的数据迁移测试方法。
基于同一发明构思，本发明实施例中还提供了一种算机可读存储介质，用以解决现有的数据迁移测试方案，由于缺少整体协调测试过程中的执行情况，存在测试环境和测试数据要求不明确、测试方法不统一的技术问题，该计算机可读存储介质存储有执行上述数据迁移测试方法的计算机程序。
本发明实施例中提供了一种数据迁移测试方法、装置、计算机设备及计算机可读存储介质，与现有技术中直接将源系统的数据迁移到目标系统的技术方案相比，本发明实施例，通过对源系统和目标系统进行数据差异分析，定义迁移数据表、定义迁移规则和例外数据说明，经过数据的迁出过程和迁入过程，以及中间文件对数据的转换运算，再将数据加载到目标系统，能够从整体测试任务上统一协调，根据实施阶段环境和数据以及人员的不同，明确数据迁移测试方法和准出标准，保证数据迁移测试过程有序、正确和按时完成。
通过本发明实施例，能够实现但不限于如下技术效果：
①针对现有技术中，将应用系统从小型机下移到x86平台过程中，存在技术与业务协调沟通成本较高、实施效率较低的问题，本发明实施例中提供的数据迁移测试方案，采用技术与业务深度融合、密切协作，落实“牵头管理、分工负责”原则，从整体任务上协调测试过程有序、正确和按时完成。
②针对现有技术中，将应用系统从小型机下移到x86平台过程中，存在测试实施环境、数据及人员要求不明确，测试不充分的问题，本发明实施例中提供的数据迁移测试方案，分三个测试实施阶段对测试环境和测试数据进行要求：1)内部测试阶段，依据数据迁移映射规则，根据任务对数据的相关需求预埋数据到开发环境，由开发人员负责测试实施；2)功能测试阶段，模拟生产环境采用最小集搭建原则，在功能测试环境装载脱敏生产数据或者根据任务对数据的相关需求，采用手工或技术手段预埋数据，如非结构化数据(影像文件等)，由测试人员负责测试实施；3)演练测试阶段，采用与生产环境一致的原则，在演练环境装载真实生产数据，由业务人员负责测试实施。
③针对现有技术中，将应用系统从小型机下移到x86平台过程中，存在测试方法不统一、测试不规范的问题，本发明实施例中提供的数据迁移测试方案，明确测试实施阶段，以不同视角的人员采用不同的数据迁移测试方法：1)内部测试阶段：由开发人员在开发环境预埋数据实施迁移规则测试、报表核对和例外数据说明；2)功能测试阶段：由测试人员在模拟生产环境中装载脱敏生产数据实施业务延续性测试、端到端测试和例外数据说明；3)演练测试阶段：由业务人员在与生产环境一致的环境中装载生产数据实施迁移规则测试、报表核对、业务延续性测试、端到端测试和例外数据说明。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种数据迁移测试方法，其特征在于，包括：
获取源系统和目标系统的数据比对结果；
根据所述数据比对结果，生成数据结构测试模板和数据内容测试模板；
基于所述数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，所述迁移数据表为包含迁移数据的数据表；
根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统；
根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取数据迁移过程中产生的迁移审计报表；
验证源系统中的原始数据表与迁移审计报表是否一致；
验证目标系统中的业务检查表与迁移审计报表是否一致。
3.如权利要求1所述的方法，其特征在于，根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试，包括：
获取不同测试阶段对应的测试环境、测试数据和测试方法；
在不同测试阶段，利用不同的测试数据，采用不同的测试方法，对不同测试环境下目标系统的联机业务功能进行测试。
4.如权利要求1所述的方法，其特征在于，所述方法还包括：
获取源系统中未成功迁移至目标系统的例外数据；
根据所述例外数据，生成修改后的迁移数据表；
根据修改后的迁移数据表，将所述例外数据从源系统迁移至目标系统。
5.一种数据迁移测试装置，其特征在于，包括：
数据比对模块，用于获取源系统和目标系统的数据比对结果；
测试模板生成模块，用于根据所述数据比对结果，生成数据结构测试模板和数据内容测试模板；
迁移数据表校验模块，用于基于所述数据结构测试模板对迁移数据表的数据结构进行校验，并基于数据内容测试模板对迁移数据表的数据内容进行校验，其中，所述迁移数据表为包含迁移数据的数据表；
数据迁移模块，用于根据校验后的迁移数据表，将迁移数据从源系统迁移至目标系统；
测试模块，用于根据迁移至目标系统的迁移数据，对目标系统的联机业务功能进行测试。
6.如权利要求5所述的装置，其特征在于，所述装置还包括：
迁移数据表获取模块，用于获取数据迁移过程中产生的迁移审计报表；
第一数据核查模块，用于验证源系统中的原始数据表与迁移审计报表是否一致；
第二数据核查模块，用于验证目标系统中的业务检查表与迁移审计报表是否一致。
7.如权利要求5所述的装置，其特征在于，所述测试模块还用于获取不同测试阶段对应的测试环境、测试数据和测试方法，以及在不同测试阶段，利用不同的测试数据，采用不同的测试方法，对不同测试环境下目标系统的联机业务功能进行测试。
8.如权利要求5所述的装置，其特征在于，所述装置还包括：
迁移数据表调整模块，用于获取源系统中未成功迁移至目标系统的例外数据，根据所述例外数据，生成修改后的迁移数据表，并根据修改后的迁移数据表，将所述例外数据从源系统迁移至目标系统。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至4任一项所述的数据迁移测试方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求1至4任一项所述数据迁移测试方法的计算机程序。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825151.6A CN111966665B (zh) | 2020-08-17 | 2020-08-17 | 数据迁移测试方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010825151.6A CN111966665B (zh) | 2020-08-17 | 2020-08-17 | 数据迁移测试方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111966665A true CN111966665A (zh) | 2020-11-20 |
| CN111966665B CN111966665B (zh) | 2024-01-19 |
Family
ID=73389031
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010825151.6A Active CN111966665B (zh) | 2020-08-17 | 2020-08-17 | 数据迁移测试方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111966665B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113110995A (zh) * | 2021-04-19 | 2021-07-13 | 中国工商银行股份有限公司 | 系统迁移的测试方法及装置 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130311423A1 (en) * | 2012-03-26 | 2013-11-21 | Good Red Innovation Pty Ltd. | Data selection and identification |
| CN110297813A (zh) * | 2019-05-22 | 2019-10-01 | 平安银行股份有限公司 | 数据迁移方法、装置、计算机设备及存储介质 |
| CN111367886A (zh) * | 2020-03-02 | 2020-07-03 | 中国邮政储蓄银行股份有限公司 | 数据库中数据迁移的方法及装置 |
-
2020
- 2020-08-17 CN CN202010825151.6A patent/CN111966665B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20130311423A1 (en) * | 2012-03-26 | 2013-11-21 | Good Red Innovation Pty Ltd. | Data selection and identification |
| CN110297813A (zh) * | 2019-05-22 | 2019-10-01 | 平安银行股份有限公司 | 数据迁移方法、装置、计算机设备及存储介质 |
| CN111367886A (zh) * | 2020-03-02 | 2020-07-03 | 中国邮政储蓄银行股份有限公司 | 数据库中数据迁移的方法及装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113110995A (zh) * | 2021-04-19 | 2021-07-13 | 中国工商银行股份有限公司 | 系统迁移的测试方法及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111966665B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7895565B1 (en) | Integrated system and method for validating the functionality and performance of software applications | |
| CN109726132A (zh) | 一种软件测试方法及软件测试自动化管理系统 | |
| Kazman et al. | Scenario-based analysis of software architecture | |
| Dowson | Software process themes and issues | |
| US7490319B2 (en) | Testing tool comprising an automated multidimensional traceability matrix for implementing and validating complex software systems | |
| CN108345532A (zh) | 一种自动化测试用例生成方法和装置 | |
| CN106776326B (zh) | 一种数据分析模型的建模方法及系统 | |
| CN109901872A (zh) | 一种企业信息化系列产品版本管控方法 | |
| Alghamdi et al. | Impact of design patterns on software maintainability | |
| CN111966665B (zh) | 数据迁移测试方法及装置 | |
| Fagerström et al. | Verdict machinery: On the need to automatically make sense of test results | |
| CN106201888A (zh) | 智能视频叠加处理器自动测试方法及装置 | |
| CN102591779A (zh) | 基于工作流的通用软件测试过程模型的建立方法 | |
| Mendoza et al. | Detecting architectural issues during the continuous integration pipeline | |
| Maiden et al. | Innovative requirements engineering applied to ATM | |
| CN109669868A (zh) | 软件测试的方法及系统 | |
| Mays et al. | PDM: A requirements methodology for software system enhancements | |
| Beer et al. | Issues in testing dependable event-based systems at a systems integration company | |
| Deuter et al. | Measuring the software size of sliced V-model projects | |
| CN106201885A (zh) | 人脸检测比对抓拍处理器自动测试方法及装置 | |
| Damm | Evaluating and Improving Test Efficiency | |
| Far | Software reliability engineering for agile software development | |
| Rodríguez Jacas | Design of a verification and validation framework for an aircraft trajectory computation software suite | |
| Alkhafidl et al. | Web-Based Application Development for Applying Research or Internship Cover Letters at Kalbis Institute | |
| Kuchár | Test and Behavior-driven Development in Software Companies |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |