CN112579569A - 一种数据迁移方法和装置 - Google Patents

Abstract

本发明公开了一种数据迁移方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：接收数据迁移任务，根据数据迁移任务，配置多个待迁移业务模块对应的参数文件；利用主控制进程读取子控制进程的并发数，并按照子控制进程的并发数，启动多个子控制进程；利用主控制进程和多个子控制进程，根据多个待迁移业务模块之间的依赖关系和每个待迁移业务模块对应的数据迁移信息，结合数据库信息，执行数据迁移。该实施方式能够实现并发执行多个待迁移业务模块的数据迁移，提高数据迁移的效率，减少人工干预，自动化程度高。

Description

一种数据迁移方法和装置

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据迁移方法和装置。

背景技术

数据库的广泛应用和企业业务的不断发展，将一个数据库中的数据迁移到另一个数据库中已经成为一种常见的数据库操作。为了保证业务数据的连续性和可追溯性，企业需要将旧系统中存储的业务数据，按照新的业务逻辑进行加工整合后，存储于新系统中。

当前进行不同系统间的数据迁移时，通常是需要通过SQL(Structured QueryLanguage，结构化查询语言)脚本进行数据行级别的操作。但现有迁移方式面对复杂的业务甚至系统级别的数据迁移，不能并发处理，同时存在依赖关系的数据迁移脚本复杂，数据校验滞后，人工干预较多，且迁移过程中一旦出错，不容易追溯，存在自动化程度较低、效率低下的问题。

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法和装置，能够实现并发执行多个待迁移业务模块的数据迁移，提高数据迁移的效率，减少人工干预，自动化程度高。

为实现上述目的，根据本发明实施例的一个方面，提供了一种数据迁移方法。

本发明实施例的一种数据迁移方法，包括：接收数据迁移任务，根据所述数据迁移任务，配置多个待迁移业务模块对应的参数文件，其中，所述参数文件包括：数据库信息、所述多个待迁移业务模块之间的依赖关系、每个所述待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数；利用主控制进程读取所述子控制进程的并发数，并按照所述子控制进程的并发数，启动多个子控制进程；利用主控制进程和多个子控制进程，根据所述多个待迁移业务模块之间的依赖关系和每个所述待迁移业务模块对应的数据迁移信息，结合所述数据库信息，执行数据迁移。

可选地，所述利用主控制进程和多个子控制进程，根据所述多个待迁移业务模块之间的依赖关系和每个所述待迁移业务模块对应的数据迁移信息，结合所述数据库信息，执行数据迁移，包括：利用主控制进程，根据所述多个待迁移业务模块之间的依赖关系，确定所述多个待迁移业务模块对应的迁移顺序；利用主控制进程，按照所述多个待迁移业务模块对应的迁移顺序，将所述多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中；利用子控制进程，根据目标业务模块的模块唯一标识，查询所述目标业务模块对应的数据迁移信息，然后根据所述目标业务模块对应的数据迁移信息，结合所述数据库信息，对所述目标业务模块执行数据迁移；其中，所述目标业务模块为传入子控制进程的模块唯一标识对应的待迁移业务模块。

可选地，所述数据迁移信息包括：存储过程、子任务脚本和子任务脚本对应的数据校验脚本；所述数据库信息包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息；以及，所述根据所述目标业务模块对应的数据迁移信息，结合所述数据库信息，对所述目标业务模块执行数据迁移，包括：调用所述目标业务模块对应的存储过程，根据所述源数据库与目的数据库之间的连接信息，执行所述目标业务模块包含的子任务脚本，以便将所述目标业务模块的数据从所述源数据库迁移至所述目的数据库；在将所述目标业务模块包含的子任务脚本执行完成后，执行所述目标业务模块包含的子任务脚本对应的数据校验脚本；若校验通过，则标记所述目标业务模块的数据迁移状态为已迁移完成，若校验不通过，则标记所述目标业务模块的数据迁移状态为未迁移完成。

可选地，在对所述目标业务模块执行数据迁移之后，所述方法还包括：判断是否存在未执行数据迁移的待迁移业务模块，且所述未执行数据迁移的待迁移业务模块依赖的业务模块的数据迁移状态为已迁移完成；若是，则利用主控制进程，将所述未执行数据迁移的待迁移业务模块的模块唯一标识作为参数，传入所述目标业务模块对应的子控制进程中，以便对所述未执行数据迁移的待迁移业务模块的模块执行数据迁移；其中，所述目标业务模块对应的子控制进程为对所述目标业务模块执行数据迁移的子控制进程。

可选地，在标记所述目标业务模块的数据迁移状态为未迁移完成之后，所述方法还包括：在修复所述目标业务模块存在的数据迁移异常后，利用主控制进程标记所述目标业务模块的数据迁移状态为已迁移完成。

可选地，所述方法还包括：利用主控制进程调用mkfilo方法创建命名管道，然后根据所述子控制进程的并发数，向所述命名管道中循环写入多个空行数据，以初始化所述命名管道；其中，所述多个空行数据的数据行数为所述子控制进程的并发数。

可选地，所述按照所述多个待迁移业务模块对应的迁移顺序，将所述多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中，包括：依次读取所述多个空行数据；每读取一个空行数据，按照所述多个待迁移业务模块对应的迁移顺序，从所述多个待迁移业务模块中选择一个待迁移业务模块；将选择的待迁移业务模块的模块唯一标识作为参数，传入进程状态为空闲的子控制进程中。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种数据迁移装置。

本发明实施例的一种数据迁移装置，包括：配置模块，用于接收数据迁移任务，根据所述数据迁移任务，配置多个待迁移业务模块对应的参数文件，其中，所述参数文件包括：数据库信息、所述多个待迁移业务模块之间的依赖关系、每个所述待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数；启动模块，用于利用主控制进程读取所述子控制进程的并发数，并按照所述子控制进程的并发数，启动多个子控制进程；迁移模块，用于利用主控制进程和多个子控制进程，根据所述多个待迁移业务模块之间的依赖关系和每个所述待迁移业务模块对应的数据迁移信息，结合所述数据库信息，执行数据迁移。

可选地，所述迁移模块还用于：利用主控制进程，根据所述多个待迁移业务模块之间的依赖关系，确定所述多个待迁移业务模块对应的迁移顺序；利用主控制进程，按照所述多个待迁移业务模块对应的迁移顺序，将所述多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中；利用子控制进程，根据目标业务模块的模块唯一标识，查询所述目标业务模块对应的数据迁移信息，然后根据所述目标业务模块对应的数据迁移信息，结合所述数据库信息，对所述目标业务模块执行数据迁移；其中，所述目标业务模块为传入子控制进程的模块唯一标识对应的待迁移业务模块。

可选地，所述数据迁移信息包括：存储过程、子任务脚本和子任务脚本对应的数据校验脚本；所述数据库信息包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息；以及，所述迁移模块还用于：调用所述目标业务模块对应的存储过程，根据所述源数据库与目的数据库之间的连接信息，执行所述目标业务模块包含的子任务脚本，以便将所述目标业务模块的数据从所述源数据库迁移至所述目的数据库；在将所述目标业务模块包含的子任务脚本执行完成后，执行所述目标业务模块包含的子任务脚本对应的数据校验脚本；若校验通过，则标记所述目标业务模块的数据迁移状态为已迁移完成，若校验不通过，则标记所述目标业务模块的数据迁移状态为未迁移完成。

可选地，所述迁移模块还用于：判断是否存在未执行数据迁移的待迁移业务模块，且所述未执行数据迁移的待迁移业务模块依赖的业务模块的数据迁移状态为已迁移完成；若是，则利用主控制进程，将所述未执行数据迁移的待迁移业务模块的模块唯一标识作为参数，传入所述目标业务模块对应的子控制进程中，以便对所述未执行数据迁移的待迁移业务模块的模块执行数据迁移；其中，所述目标业务模块对应的子控制进程为对所述目标业务模块执行数据迁移的子控制进程。

可选地，所述迁移模块还用于：在修复所述目标业务模块存在的数据迁移异常后，利用主控制进程标记所述目标业务模块的数据迁移状态为已迁移完成。

可选地，所述启动模块还用于：利用主控制进程调用mkfilo方法创建命名管道，然后根据所述子控制进程的并发数，向所述命名管道中循环写入多个空行数据，以初始化所述命名管道；其中，所述多个空行数据的数据行数为所述子控制进程的并发数。

可选地，所述迁移模块还用于：依次读取所述多个空行数据；每读取一个空行数据，按照所述多个待迁移业务模块对应的迁移顺序，从所述多个待迁移业务模块中选择一个待迁移业务模块；将选择的待迁移业务模块的模块唯一标识作为参数，传入进程状态为空闲的子控制进程中。

为实现上述目的，根据本发明实施例的又一个方面，提供了一种电子设备。

本发明实施例的一种电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明实施例的数据迁移方法。

为实现上述目的，根据本发明实施例的还一个方面，提供了一种计算机可读介质。

本发明实施例的一种计算机可读介质，其上存储有计算机程序，程序被处理器执行时实现本发明实施例的数据迁移方法。

上述发明中的一个实施例具有如下优点或有益效果：对数据迁移任务对应的参数信息进行配置化，设置数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数，能够自动顺序执行多个待迁移业务模块的数据迁移，避免了现有数据迁移方法存在的数据迁移脚本复杂的问题，还能够通过主控制进程和多个子控制进程实现并发执行多个待迁移业务模块的数据迁移，提高数据迁移的效率，减少人工干预，自动化程度高；并且，数据迁移信息包括存储过程，满足了各个待迁移业务模块的迁移通过独立的存储过程进行处理，因此若某待迁移业务模块出现迁移异常时，无需中断整个数据迁移任务，进一步提高数据迁移的效率；此外，数据迁移信息包括子任务脚本和子任务脚本对应的数据校验脚本，保证了数据迁移的正确性；还有，通过命名管道实现数据迁移任务的多进程并发调度，能够加快数据迁移的速度。

上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。

附图说明

附图用于更好地理解本发明，不构成对本发明的不当限定。其中：

图1是根据本发明实施例的数据迁移方法的主要步骤的示意图；

图2是根据本发明实施例的利用主进程和多个子控制进程执行数据迁移的主要过程的示意图；

图3是根据本发明实施例的对目标业务模块执行数据迁移的主要过程的示意图；

图4是根据本发明实施例的数据迁移装置的主要模块的示意图；

图5是本发明实施例可以应用于其中的示例性系统架构图；

图6是适于用来实现本发明实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

以下结合附图对本发明的示范性实施例做出说明，其中包括本发明实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。

图1是根据本发明实施例的数据迁移方法的主要步骤的示意图。作为本发明的实施例，如图1所示，数据迁移方法的主要步骤可以包括步骤S101至步骤S103。

步骤S101：接收数据迁移任务，根据数据迁移任务，配置多个待迁移业务模块对应的参数文件。

数据迁移任务是指将旧系统中存储的业务数据，按照新的业务逻辑进行加工整合后，存储于新系统中；也即，数据迁移任务是指将系统中涉及到的业务模块对应的业务数据，从源数据库迁移至目的数据库中。数据迁移任务对应的迁移对象为业务模块对应的业务数据；源数据库为迁移前，业务模块对应的业务数据的存储位置；目的数据库为迁移后，业务模块对应的业务数据的存储位置。

本发明实施例中，通过数据迁移任务，可以获取到多个待迁移业务模块，还可以获取到源数据库和目的数据库，进而可以配置该数据迁移任务对应的参数文件，即多个待迁移业务模块对应的参数文件。其中，参数文件可以包括：数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数。为了便于理解，接下来对参数文件包含的信息进行说明。

(1)数据库信息可以理解为与数据库相关的信息，具体可以包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息。其中，连接信息可以为数据库的网络地址、连接数据库的用户名和密码。通过连接信息，可以建立源数据库与目的数据库之间的连接，其是将数据从源数据库迁移至目的数据库的前提条件。

(2)多个待迁移业务模块之间的依赖关系是指各个待迁移业务模块在处理顺序上的依赖关系。例如，待迁移业务模块有用户信息模块、缴费业务模块、支付业务模块。在数据迁移时，这些模块之间存在前后处理的依赖关系，如先迁移用户信息模块，然后迁移缴费业务模块，最后迁移支付业务模块。那么用户信息模块和缴费业务模块之间存在依赖关系，也即，用户信息模块为缴费业务模块的前置依赖模块。并且，缴费业务模块和支付业务模块之间存在依赖关系，也即，缴费业务模块为支付业务模块的前置依赖模块。得到多个待迁移业务模块之间的依赖关系，则就可以按照依赖关系获取到多个待迁移业务模块的迁移顺序。

(3)每个待迁移业务模块对应的数据迁移信息包括每个待迁移业务模块对应的存储过程、每个待迁移业务模块包含的子任务脚本和子任务脚本对应的数据校验脚本。

存储过程是指在大型数据库系统中，一组为了完成特定功能的SQL语句集，它存储在数据库中，一次编译后永久有效，用户通过指定存储过程的名字并给出参数(如果该存储过程带有参数)来执行它。存储过程是数据库中的一个重要对象，在数据量特别庞大的情况下利用存储过程能达到倍速的效率提升。本发明实施例中，可以为每个待迁移业务模块配置该业务模块对应的存储过程，从而可以满足各个待迁移业务模块的迁移通过独立的存储过程进行处理，因此若某待迁移业务模块出现迁移异常时，无需中断整个数据迁移任务，进一步提高数据迁移效率。考虑到数据迁移信息包括存储过程，因此本发明实施例提供的数据迁移方法应用于具有存储过程的数据库，如Oracle Database，其是甲骨文公司的一款关系数据库管理系统。

子任务脚本为待迁移业务模块中更细层级的处理单元。比如，用户信息模块对应的业务数据包括：对公客户信息、对私客户信息和客户所属分支网点信息，那么用户信息模块包含对对公客户信息进行数据迁移的子任务脚本1、对对私客户信息进行数据迁移的子任务脚本2和对客户所属分支网点信息进行数据迁移的子任务脚本3。并且，用户信息模块还包含子任务脚本1对应的数据校验脚本1、子任务脚本2对应的数据校验脚本2和子任务脚本3对应的数据校验脚本3。也就是说，可以利用数据校验脚本1对对公客户信息的数据迁移进行校验，利用数据校验脚本2对对私客户信息的数据迁移进行校验，利用数据校验脚本3对客户所属分支网点信息的数据迁移进行校验。具体地，可以校验迁移前后的数据条数是否一致、校验迁移前后的收入支出金额是否一致、校验迁移前后的流水是否一致等。

(4)子控制进程的并发数是指可以并发进行数据迁移的进程数量。如子控制进程的并发数为2，那么可以同时执行2个待迁移业务模块的数据迁移。现有技术的数据迁移方法存在不能并发处理的问题，而本发明实施例提供的数据迁移方法中，可以配置子控制进程的并发数，从而可以并发执行多个待迁移业务模块的数据迁移，进一步提高数据迁移的效率。

步骤S102：利用主控制进程读取子控制进程的并发数，并按照子控制进程的并发数，启动多个子控制进程。

主控制进程和子控制进程结合一起，执行数据迁移任务。其中，主控制进程用于管理子控制进程，在读取子控制进程的并发数后，即获取子控制进程的数量后，主控制进程可以根据子控制进程的数量，启动多个子控制进程，以便于多个子控制进程对多个待迁移业务模块执行数据迁移。需要注意的是，子控制进程的数量与待迁移业务模块的数量可以不同。如子控制进程的并发数为2，待迁移业务模块的数量为10个，那么主控制进程可以启动2个子控制进程，然后这2个子控制进程对10个待迁移业务模块执行数据迁移。

步骤S103：利用主控制进程和多个子控制进程，根据多个待迁移业务模块之间的依赖关系和每个待迁移业务模块对应的数据迁移信息，结合数据库信息，执行数据迁移。

多个子控制进程被启动后，可以利用主控制进程和多个子控制进程对多个待迁移业务模块执行数据迁移。在执行数据迁移的过程中，需要依据步骤S101中配置的多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息和数据库信息。

图2是根据本发明实施例的利用主进程和多个子控制进程执行数据迁移的主要过程的示意图。如图2所示，利用主进程和多个子控制进程执行数据迁移的主要过程可以包括：

步骤S201：利用主控制进程，根据多个待迁移业务模块之间的依赖关系，确定多个待迁移业务模块对应的迁移顺序。

在上文步骤S101中已经说明，多个待迁移业务模块之间的依赖关系是指各个待迁移业务模块在处理顺序上的依赖关系。因此，主控制进程可以根据多个待迁移业务模块之间的依赖关系，确定多个待迁移业务模块对应的迁移顺序。比如，有Y1至Y10这10个待迁移业务模块，依赖关系是Y3需要依赖Y1和Y2、Y7需要依赖Y6、Y6需要依赖Y4，那么这10个待迁移业务模块对应的迁移顺序可以为：Y1、Y2、Y3、Y4、Y5、Y6、Y7、Y8、Y9、Y10。

步骤S202：利用主控制进程，按照多个待迁移业务模块对应的迁移顺序，将多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中。

主控制进程用于管理子控制进程，因此主控制进程确定多个待迁移业务模块对应的迁移顺序后，可以按照迁移顺序，依次将多个待迁移业务模型的模块唯一标识作为参数传入多个子控制进程中，使得子控制进程得到需要对哪个待迁移业务模块执行数据迁移。如，有A和B这2个子控制进程，需要对Y1至Y10这10个待迁移业务模块进行数据迁移，且迁移顺序为从Y1至Y10。那么首先将Y1的模块唯一标识传入子控制进程A中，将Y2的模块唯一标识传入子控制进程B中；然后，在子控制进程A或B完成数据迁移后，即子控制进程A或B的进程状态为空闲，可以按照迁移顺序将Y3的模块唯一标识传入进程状态为空闲的子进程，以便该子进程可以对Y3执行数据迁移。同理，按照迁移顺序，依次将Y4至Y10的模块唯一标识传入进程状态为空闲的子进程。

作为本发明的实施例，数据迁移方法还可以包括：利用主控制进程调用mkfilo方法创建命名管道，然后根据子控制进程的并发数，向命名管道中循环写入多个空行数据，以初始化命名管道。其中，多个空行数据的数据行数为子控制进程的并发数。mkfilo方法为创建命名管道的方法。命名管道，即Named Pipes，是一种简单的进程间通信机制，可在同一台计算机的不同进程之间或在跨越一个网络的不同计算机的不同进程之间，支持可靠的、单向或双向的数据通信。本发明实施例提供的数据迁移方法，通过命名管道实现数据迁移任务的多进程并发调度，从而可以加快数据迁移的速度。

进一步地，按照多个待迁移业务模块对应的迁移顺序，将多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中，可以包括：依次读取多个空行数据；每读取一个空行数据，按照多个待迁移业务模块对应的迁移顺序，从多个待迁移业务模块中选择一个待迁移业务模块；将选择的待迁移业务模块的模块唯一标识作为参数，传入进程状态为空闲的子控制进程中。如，需要对Y1至Y10这10个待迁移业务模块进行数据迁移，且迁移顺序为从Y1至Y10。有A和B这2个子控制进程，那么空行数据的数据行数为2行。首先，在确定子控制进程A和B的进程状态均为空闲后，可以读取这2行空行数据，从而可以将Y1的模块唯一标识传入子控制进程A中，将Y2的模块唯一标识传入子控制进程B中；然后，在子控制进程A或B完成数据迁移后，即子控制进程A或B的进程状态为空闲，那么可以读取一个空行数据，进而可以按照迁移顺序将Y3的模块唯一标识传入进程状态为空闲的子进程，以便该子进程可以对Y3执行数据迁移。同理，若子控制进程A或B的进程状态为空闲，则读取一行空行数据，接着可以按照迁移顺序，依次将Y4至Y10的模块唯一标识传入进程状态为空闲的子进程。

步骤S203：利用子控制进程，根据目标业务模块的模块唯一标识，查询目标业务模块对应的数据迁移信息，然后根据目标业务模块对应的数据迁移信息，结合数据库信息，对目标业务模块执行数据迁移。

其中，目标业务模块为传入子控制进程的模块唯一标识对应的待迁移业务模块。如，将Y1的模块唯一标识传入子控制进程A中，那么子控制进程A可以根据Y1的模块唯一标识，查询Y1对应的数据迁移信息，然后按照Y1对应的数据迁移信息，并结合数据库信息，对Y1执行数据迁移。在步骤S101中，已经说明数据迁移信息可以包括：存储过程、子任务脚本和子任务脚本对应的数据校验脚本，数据库信息包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息。

图3是根据本发明实施例的对目标业务模块执行数据迁移的主要过程的示意图。如图3所示，对目标业务模块执行数据迁移的主要过程可以包括：

步骤S301：调用目标业务模块对应的存储过程，根据源数据库与目的数据库之间的连接信息，执行目标业务模块包含的子任务脚本，以便将目标业务模块的数据从源数据库迁移至目的数据库；

步骤S302：在将目标业务模块包含的子任务脚本执行完成后，执行目标业务模块包含的子任务脚本对应的数据校验脚本；

步骤S303：若校验通过，则标记目标业务模块的数据迁移状态为已迁移完成；

步骤S304：若校验不通过，则标记目标业务模块的数据迁移状态为未迁移完成。

假设说，目标业务模块为Y1，将Y1的模块唯一标识传入子控制进程A中，那么子控制进程A对Y1执行数据迁移。具体的数据迁移过程为：

(1)子控制进程A调用Y1对应的存储过程，并根据源数据库与目的数据库之间的连接信息，执行Y1包含的子任务脚本，以便将Y1的数据从源数据库迁移至目的数据库。需要注意的是，若Y1包含多个类型的业务数据，那么每个类型的业务数据对应一个子任务脚本，则需要按照多个类型的业务数据的迁移顺序，依次执行每个类型的业务数据对应子任务脚本，也即，依次将每个类型的业务数据从源数据库中迁移至目的数据库中。

(2)在将Y1包含的子任务脚本执行完成后，执行Y1包含的子任务脚本对应的数据校验脚本。若校验通过，则标记Y1的数据迁移状态为已迁移完成；若校验不通过，则标记Y1的数据迁移状态为未迁移完成。

需要注意的是，若Y1包含多个类型的业务数据，那么每个类型的业务数据对应一个子任务脚本，则需要按照多个类型的业务数据的迁移顺序，依次执行每个类型的业务数据对应子任务脚本。在将类型L1的业务数据对应的子任务脚本执行完成后，需要执行该子任务脚本对应的数据校验脚本，也即，对类型L1的业务数据的数据迁移进行校验。若校验通过，则按照多个类型的业务数据的迁移顺序，对类型L1的下一个类型的业务数据执行数据迁移。若校验不通过，则需要查询并解决类型L1的业务数据在数据迁移过程中存在的问题，然后再对类型L1的下一个类型的业务数据执行数据迁移。显然，若Y1包含的所有类型的业务数据对应的数据迁移校验均通过，则标记Y1的的数据迁移状态为已迁移完成，否则，标记Y1的数据迁移状态为未迁移完成。

作为本发明的实施例，在标记目标业务模块的数据迁移状态为未迁移完成之后，数据迁移方法还可以包括：在修复目标业务模块存在的数据迁移异常后，利用主控制进程标记目标业务模块的数据迁移状态为已迁移完成。各待迁移业务模块的数据迁移通过独立的存储过程进行处理，若数据迁移过程中，某待迁移业务模块报错，可手动修复问题，然后主控制进程可自动调起，标记该待迁移业务模块的数据迁移状态为已迁移完成，无需中断整个数据迁移作业。

作为本发明的实施例，在对目标业务模块执行数据迁移之后，数据迁移方法还可以包括：判断是否存在未执行数据迁移的待迁移业务模块，且未执行数据迁移的待迁移业务模块依赖的业务模块的数据迁移状态为已迁移完成；若是，则利用主控制进程，将未执行数据迁移的待迁移业务模块的模块唯一标识作为参数，传入目标业务模块对应的子控制进程中，以便对未执行数据迁移的待迁移业务模块的模块执行数据迁移；其中，目标业务模块对应的子控制进程为对目标业务模块执行数据迁移的子控制进程。

假设说，有A和B这2个子控制进程，需要对Y1至Y10这10个待迁移业务模块进行数据迁移，且迁移顺序为从Y1至Y10。在利用子控制进程A对Y1执行数据迁移后，主控制进程需要判断Y2至Y10中是否存在未执行数据迁移的模块，且未执行数据迁移的模块依赖的业务模块的数据迁移状态为已迁移完成。如得到Y3还未执行数据迁移，且Y3依赖的Y1和Y2已迁移完成，那么主控制进程可以将Y3的模块唯一标识作为参数，传入子控制进程A中，这样A可以对Y3执行数据迁移。也就是说，在某子控制进程对某待迁移业务模块执行数据迁移后，需要判断是否还有待迁移业务模块需要该子控制进程执行数据迁移。

本发明实施例的数据迁移方法，对数据迁移任务对应的参数信息进行配置化，设置数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数，能够自动顺序执行多个待迁移业务模块的数据迁移，避免了现有数据迁移方法存在的数据迁移脚本复杂的问题，还能够通过主控制进程和多个子控制进程实现并发执行多个待迁移业务模块的数据迁移，提高数据迁移的效率，减少人工干预，自动化程度高；并且，数据迁移信息包括存储过程，满足了各个待迁移业务模块的迁移通过独立的存储过程进行处理，因此若某待迁移业务模块出现迁移异常时，无需中断整个数据迁移任务，进一步提高数据迁移的效率；此外，数据迁移信息包括子任务脚本和子任务脚本对应的数据校验脚本，保证了数据迁移的正确性；还有，通过命名管道实现数据迁移任务的多进程并发调度，能够加快数据迁移的速度。

图4是根据本发明实施例的数据迁移装置的主要模块的示意图。如图4所示，数据迁移装置400的主要模块可以包括：配置模块401、启动模块402和迁移模块403。

其中，配置模块401可用于：接收数据迁移任务，根据数据迁移任务，配置多个待迁移业务模块对应的参数文件。其中，参数文件可以包括：数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数。启动模块402可用于：利用主控制进程读取子控制进程的并发数，并按照子控制进程的并发数，启动多个子控制进程。迁移模块403可用于：利用主控制进程和多个子控制进程，根据多个待迁移业务模块之间的依赖关系和每个待迁移业务模块对应的数据迁移信息，结合数据库信息，执行数据迁移。

作为本发明的实施例，迁移模块403还可用于：利用主控制进程，根据多个待迁移业务模块之间的依赖关系，确定多个待迁移业务模块对应的迁移顺序；利用主控制进程，按照多个待迁移业务模块对应的迁移顺序，将多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中；利用子控制进程，根据目标业务模块的模块唯一标识，查询目标业务模块对应的数据迁移信息，然后根据目标业务模块对应的数据迁移信息，结合数据库信息，对目标业务模块执行数据迁移。其中，目标业务模块为传入子控制进程的模块唯一标识对应的待迁移业务模块。

作为本发明的实施例，数据迁移信息包括：存储过程、子任务脚本和子任务脚本对应的数据校验脚本。数据库信息包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息。以及，迁移模块403还可用于：调用目标业务模块对应的存储过程，根据源数据库与目的数据库之间的连接信息，执行目标业务模块包含的子任务脚本，以便将目标业务模块的数据从源数据库迁移至目的数据库；在将目标业务模块包含的子任务脚本执行完成后，执行目标业务模块包含的子任务脚本对应的数据校验脚本；若校验通过，则标记目标业务模块的数据迁移状态为已迁移完成，若校验不通过，则标记目标业务模块的数据迁移状态为未迁移完成。

作为本发明的实施例，迁移模块403还可用于：判断是否存在未执行数据迁移的待迁移业务模块，且未执行数据迁移的待迁移业务模块依赖的业务模块的数据迁移状态为已迁移完成；若是，则利用主控制进程，将未执行数据迁移的待迁移业务模块的模块唯一标识作为参数，传入目标业务模块对应的子控制进程中，以便对未执行数据迁移的待迁移业务模块的模块执行数据迁移。其中，目标业务模块对应的子控制进程为对目标业务模块执行数据迁移的子控制进程。

作为本发明的实施例，迁移模块403还可用于：在修复目标业务模块存在的数据迁移异常后，利用主控制进程标记目标业务模块的数据迁移状态为已迁移完成。

作为本发明的实施例，启动模块402还可用于：利用主控制进程调用mkfilo方法创建命名管道，然后根据子控制进程的并发数，向命名管道中循环写入多个空行数据，以初始化命名管道。其中，多个空行数据的数据行数为子控制进程的并发数。

作为本发明的实施例，迁移模块403还可用于：依次读取多个空行数据；每读取一个空行数据，按照多个待迁移业务模块对应的迁移顺序，从多个待迁移业务模块中选择一个待迁移业务模块；将选择的待迁移业务模块的模块唯一标识作为参数，传入进程状态为空闲的子控制进程中。

根据本发明实施例的数据迁移装置，对数据迁移任务对应的参数信息进行配置化，设置数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数，能够自动顺序执行多个待迁移业务模块的数据迁移，避免了现有数据迁移方法存在的数据迁移脚本复杂的问题，还能够通过主控制进程和多个子控制进程实现并发执行多个待迁移业务模块的数据迁移，提高数据迁移的效率，减少人工干预，自动化程度高；并且，数据迁移信息包括存储过程，满足了各个待迁移业务模块的迁移通过独立的存储过程进行处理，因此若某待迁移业务模块出现迁移异常时，无需中断整个数据迁移任务，进一步提高数据迁移的效率；此外，数据迁移信息包括子任务脚本和子任务脚本对应的数据校验脚本，保证了数据迁移的正确性；还有，通过命名管道实现数据迁移任务的多进程并发调度，能够加快数据迁移的速度。

图5示出了可以应用本发明实施例的数据迁移方法或数据迁移装置的示例性系统架构500。

如图5所示，系统架构500可以包括终端设备501、502、503，网络504和服务器505。网络504用以在终端设备501、502、503和服务器505之间提供通信链路的介质。网络504可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备501、502、503通过网络504与服务器505交互，以接收或发送消息等。终端设备501、502、503可以是具有显示屏并且支持网页浏览的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。

服务器505可以是提供各种服务的服务器，例如作为用户利用终端设备501、502、503进行数据迁移的过程中，提供支持的后台管理服务器(仅为示例)；再例如，服务器505可以完成本发明实施例的数据迁移。

需要说明的是，本发明实施例所提供的数据迁移方法一般由服务器505执行，相应地，数据迁移装置一般设置于服务器505中。

应该理解，图5中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。

下面参考图6，其示出了适于用来实现本发明实施例的终端设备的计算机系统600的结构示意图。图6示出的终端设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，计算机系统600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的动作和处理。在RAM 603中，还存储有系统600操作所需的各种程序和数据。CPU 601、ROM 602以及RAM 603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地，根据本发明公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。在该计算机程序被中央处理单元(CPU)601执行时，执行本发明的系统中限定的上述功能。

需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本发明实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的模块也可以设置在处理器中，例如，可以描述为：一种处理器包括配置模块、启动模块和迁移模块。其中，这些模块的名称在某种情况下并不构成对该模块本身的限定，例如，配置模块还可以被描述为“接收数据迁移任务，根据数据迁移任务，配置多个待迁移业务模块对应的参数文件的模块”。

作为另一方面，本发明还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的设备中所包含的；也可以是单独存在，而未装配入该设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该设备执行时，使得该设备包括：接收数据迁移任务，根据数据迁移任务，配置多个待迁移业务模块对应的参数文件，其中，参数文件包括：数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数；利用主控制进程读取子控制进程的并发数，并按照子控制进程的并发数，启动多个子控制进程；利用主控制进程和多个子控制进程，根据多个待迁移业务模块之间的依赖关系和每个待迁移业务模块对应的数据迁移信息，结合数据库信息，执行数据迁移。

根据本发明实施例的技术方案，对数据迁移任务对应的参数信息进行配置化，设置数据库信息、多个待迁移业务模块之间的依赖关系、每个待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数，能够自动顺序执行多个待迁移业务模块的数据迁移，避免了现有数据迁移方法存在的数据迁移脚本复杂的问题，还能够通过主控制进程和多个子控制进程实现并发执行多个待迁移业务模块的数据迁移，提高数据迁移的效率，减少人工干预，自动化程度高；并且，数据迁移信息包括存储过程，满足了各个待迁移业务模块的迁移通过独立的存储过程进行处理，因此若某待迁移业务模块出现迁移异常时，无需中断整个数据迁移任务，进一步提高数据迁移的效率；此外，数据迁移信息包括子任务脚本和子任务脚本对应的数据校验脚本，保证了数据迁移的正确性；还有，通过命名管道实现数据迁移任务的多进程并发调度，能够加快数据迁移的速度。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (16)

1.一种数据迁移方法，其特征在于，包括：

接收数据迁移任务，根据所述数据迁移任务，配置多个待迁移业务模块对应的参数文件，其中，所述参数文件包括：数据库信息、所述多个待迁移业务模块之间的依赖关系、每个所述待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数；

利用主控制进程读取所述子控制进程的并发数，并按照所述子控制进程的并发数，启动多个子控制进程；

利用主控制进程和多个子控制进程，根据所述多个待迁移业务模块之间的依赖关系和每个所述待迁移业务模块对应的数据迁移信息，结合所述数据库信息，执行数据迁移。

2.根据权利要求1所述的方法，其特征在于，所述利用主控制进程和多个子控制进程，根据所述多个待迁移业务模块之间的依赖关系和每个所述待迁移业务模块对应的数据迁移信息，结合所述数据库信息，执行数据迁移，包括：

利用主控制进程，根据所述多个待迁移业务模块之间的依赖关系，确定所述多个待迁移业务模块对应的迁移顺序；

利用主控制进程，按照所述多个待迁移业务模块对应的迁移顺序，将所述多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中；

利用子控制进程，根据目标业务模块的模块唯一标识，查询所述目标业务模块对应的数据迁移信息，然后根据所述目标业务模块对应的数据迁移信息，结合所述数据库信息，对所述目标业务模块执行数据迁移；其中，

所述目标业务模块为传入子控制进程的模块唯一标识对应的待迁移业务模块。

3.根据权利要求2所述的方法，其特征在于，所述数据迁移信息包括：存储过程、子任务脚本和子任务脚本对应的数据校验脚本；所述数据库信息包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息；以及，

所述根据所述目标业务模块对应的数据迁移信息，结合所述数据库信息，对所述目标业务模块执行数据迁移，包括：

调用所述目标业务模块对应的存储过程，根据所述源数据库与目的数据库之间的连接信息，执行所述目标业务模块包含的子任务脚本，以便将所述目标业务模块的数据从所述源数据库迁移至所述目的数据库；

在将所述目标业务模块包含的子任务脚本执行完成后，执行所述目标业务模块包含的子任务脚本对应的数据校验脚本；

若校验通过，则标记所述目标业务模块的数据迁移状态为已迁移完成，若校验不通过，则标记所述目标业务模块的数据迁移状态为未迁移完成。

4.根据权利要求3所述的方法，其特征在于，在对所述目标业务模块执行数据迁移之后，所述方法还包括：

判断是否存在未执行数据迁移的待迁移业务模块，且所述未执行数据迁移的待迁移业务模块依赖的业务模块的数据迁移状态为已迁移完成；

若是，则利用主控制进程，将所述未执行数据迁移的待迁移业务模块的模块唯一标识作为参数，传入所述目标业务模块对应的子控制进程中，以便对所述未执行数据迁移的待迁移业务模块的模块执行数据迁移；其中，

所述目标业务模块对应的子控制进程为对所述目标业务模块执行数据迁移的子控制进程。

5.根据权利要求3所述的方法，其特征在于，在标记所述目标业务模块的数据迁移状态为未迁移完成之后，所述方法还包括：

在修复所述目标业务模块存在的数据迁移异常后，利用主控制进程标记所述目标业务模块的数据迁移状态为已迁移完成。

6.根据权利要求2至5任一所述的方法，其特征在于，所述方法还包括：

利用主控制进程调用mkfilo方法创建命名管道，然后根据所述子控制进程的并发数，向所述命名管道中循环写入多个空行数据，以初始化所述命名管道；其中，

所述多个空行数据的数据行数为所述子控制进程的并发数。

7.根据权利要求6所述的方法，其特征在于，所述按照所述多个待迁移业务模块对应的迁移顺序，将所述多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中，包括：

依次读取所述多个空行数据；

每读取一个空行数据，按照所述多个待迁移业务模块对应的迁移顺序，从所述多个待迁移业务模块中选择一个待迁移业务模块；

将选择的待迁移业务模块的模块唯一标识作为参数，传入进程状态为空闲的子控制进程中。

8.一种数据迁移装置，其特征在于，包括：

配置模块，用于接收数据迁移任务，根据所述数据迁移任务，配置多个待迁移业务模块对应的参数文件，其中，所述参数文件包括：数据库信息、所述多个待迁移业务模块之间的依赖关系、每个所述待迁移业务模块对应的数据迁移信息、以及子控制进程的并发数；

启动模块，用于利用主控制进程读取所述子控制进程的并发数，并按照所述子控制进程的并发数，启动多个子控制进程；

迁移模块，用于利用主控制进程和多个子控制进程，根据所述多个待迁移业务模块之间的依赖关系和每个所述待迁移业务模块对应的数据迁移信息，结合所述数据库信息，执行数据迁移。

9.根据权利要求8所述的装置，其特征在于，所述迁移模块还用于：

利用主控制进程，根据所述多个待迁移业务模块之间的依赖关系，确定所述多个待迁移业务模块对应的迁移顺序；

利用主控制进程，按照所述多个待迁移业务模块对应的迁移顺序，将所述多个待迁移业务模块的模块唯一标识作为参数，传入多个子控制进程中；

利用子控制进程，根据目标业务模块的模块唯一标识，查询所述目标业务模块对应的数据迁移信息，然后根据所述目标业务模块对应的数据迁移信息，结合所述数据库信息，对所述目标业务模块执行数据迁移；其中，

所述目标业务模块为传入子控制进程的模块唯一标识对应的待迁移业务模块。

10.根据权利要求9所述的装置，其特征在于，所述数据迁移信息包括：存储过程、子任务脚本和子任务脚本对应的数据校验脚本；所述数据库信息包括：源数据库、目的数据库、以及源数据库与目的数据库之间的连接信息；以及，

所述迁移模块还用于：

调用所述目标业务模块对应的存储过程，根据所述源数据库与目的数据库之间的连接信息，执行所述目标业务模块包含的子任务脚本，以便将所述目标业务模块的数据从所述源数据库迁移至所述目的数据库；

在将所述目标业务模块包含的子任务脚本执行完成后，执行所述目标业务模块包含的子任务脚本对应的数据校验脚本；

若校验通过，则标记所述目标业务模块的数据迁移状态为已迁移完成，若校验不通过，则标记所述目标业务模块的数据迁移状态为未迁移完成。

11.根据权利要求10所述的装置，其特征在于，所述迁移模块还用于：

判断是否存在未执行数据迁移的待迁移业务模块，且所述未执行数据迁移的待迁移业务模块依赖的业务模块的数据迁移状态为已迁移完成；

若是，则利用主控制进程，将所述未执行数据迁移的待迁移业务模块的模块唯一标识作为参数，传入所述目标业务模块对应的子控制进程中，以便对所述未执行数据迁移的待迁移业务模块的模块执行数据迁移；其中，

所述目标业务模块对应的子控制进程为对所述目标业务模块执行数据迁移的子控制进程。

12.根据权利要求10所述的装置，其特征在于，所述迁移模块还用于：

在修复所述目标业务模块存在的数据迁移异常后，利用主控制进程标记所述目标业务模块的数据迁移状态为已迁移完成。

13.根据权利要求9至12任一所述的装置，其特征在于，所述启动模块还用于：

利用主控制进程调用mkfilo方法创建命名管道，然后根据所述子控制进程的并发数，向所述命名管道中循环写入多个空行数据，以初始化所述命名管道；其中，

所述多个空行数据的数据行数为所述子控制进程的并发数。

14.根据权利要求13所述的装置其特征在于，所述迁移模块还用于：

依次读取所述多个空行数据；

每读取一个空行数据，按照所述多个待迁移业务模块对应的迁移顺序，从所述多个待迁移业务模块中选择一个待迁移业务模块；

将选择的待迁移业务模块的模块唯一标识作为参数，传入进程状态为空闲的子控制进程中。

15.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的方法。

16.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-7中任一所述的方法。

Images