CN110895522B

CN110895522B - 数据迁移方法及系统

Info

Publication number: CN110895522B
Application number: CN201911213493.6A
Authority: CN
Inventors: 王运林; 李宁
Original assignee: Bank of China Ltd
Current assignee: Bank of China Ltd
Priority date: 2019-12-02
Filing date: 2019-12-02
Publication date: 2022-06-03
Anticipated expiration: 2039-12-02
Also published as: CN110895522A

Abstract

本发明提供一种数据迁移方法及系统。该方法包括：AIX模块根据数据迁移控制指令和数据迁移表清单生成并发送数据库建表语句指令至主机模块；主机模块根据数据库建表语句指令发送DB2数据库建表语句至AIX模块；AIX模块根据DB2数据库建表语句和数据字典生成并上传主机数据采集脚本至主机模块；主机模块编译运行主机数据采集脚本，得到DB2数据库表数据；将DB2数据库表数据导入顺序文件，发送顺序文件至AIX模块；AIX模块根据建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本；执行控制脚本以将顺序文件中的数据导入Oracle数据库。本发明可以提高数据迁移的效率和质量。

Description

数据迁移方法及系统

技术领域

本发明涉及数据迁移技术领域，具体地，涉及一种数据迁移方法及系统。

背景技术

各大银行的银行核心系统的其中一项重要工作是核心业务数据的跨平台迁移。目前数据迁移的流程全部为手工操作，操作流程多、步骤复杂，易出错且实时性得不到保障。

发明内容

本发明实施例的主要目的在于提供一种数据迁移方法及系统，以提高数据迁移的效率和质量。

为了实现上述目的，本发明实施例提供一种数据迁移方法，包括：

JAVA模块发送数据迁移控制指令至AIX模块；

AIX模块根据数据迁移控制指令和预先获取的数据迁移表清单生成数据库建表语句指令，发送数据库建表语句指令至主机模块；

主机模块根据数据库建表语句指令发送DB2数据库建表语句至AIX模块；

AIX模块根据DB2数据库建表语句和预先获取的数据字典生成主机数据采集脚本，将主机数据采集脚本上传至主机模块；

主机模块编译运行主机数据采集脚本，得到DB2数据库表数据；

主机模块将DB2数据库表数据导入顺序文件，发送顺序文件至AIX模块；

JAVA模块发送建表控制指令至AIX模块；

AIX模块根据建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本；

AIX模块执行控制脚本以将顺序文件中的数据导入Oracle数据库。

本发明实施例还提供一种数据迁移系统，包括：

JAVA模块，用于发送数据迁移控制指令至AIX模块；发送建表控制指令至AIX模块；

AIX模块，用于根据数据迁移控制指令和预先获取的数据迁移表清单生成数据库建表语句指令，发送数据库建表语句指令至主机模块；根据DB2数据库建表语句和预先获取的数据字典生成主机数据采集脚本，将主机数据采集脚本上传至主机模块；根据建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本；执行控制脚本以将顺序文件中的数据导入Oracle数据库；

主机模块，用于根据数据库建表语句指令发送DB2数据库建表语句至AIX模块；编译运行主机数据采集脚本，得到DB2数据库表数据；将DB2数据库表数据导入顺序文件，发送顺序文件至AIX模块。

本发明实施例的数据迁移方法及系统中的AIX模块根据JAVA模块发送的数据迁移控制指令和数据迁移表清单从主机模块获取DB2数据库建表语句，根据DB2数据库建表语句和数据字典生成主机数据采集脚本；主机模块编译运行主机数据采集脚本，得到DB2数据库表数据，将DB2数据库表数据导入顺序文件；AIX模块根据JAVA模块发送的建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本，执行控制脚本以将顺序文件中的数据导入Oracle数据库，以提高数据迁移的效率和质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例中数据迁移方法的流程图；

图2是本发明实施例中数据迁移系统的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)，或者硬件和软件结合的形式。

鉴于目前数据迁移的流程全部为手工操作，步骤复杂，易出错且实时性得不到保障，本发明实施例提供一种数据迁移方法，以提高数据迁移的效率和质量。以下结合附图对本发明进行详细说明。

图1是本发明实施例中数据迁移方法的流程图。如图1所示，数据迁移方法可以包括：

S101：JAVA模块发送数据迁移控制指令至AIX模块。

S102：AIX模块根据数据迁移控制指令和预先获取的数据迁移表清单生成数据库建表语句指令，发送数据库建表语句指令至主机模块。

其中，AIX模块为IBM小型机操作系统。

S103：主机模块根据数据库建表语句指令发送DB2数据库建表语句至AIX模块。

其中，主机模块为ZOS大型机操作系统或IBM大型机操作系统，可以通过文件传输协议(FTP)发送DB2数据库建表语句至AIX模块。

S104：AIX模块根据DB2数据库建表语句和预先获取的数据字典生成主机数据采集脚本，将主机数据采集脚本上传至主机模块。

其中，AIX模块可以通过文件传输协议将主机数据采集脚本上传至主机模块。数据字典为银行核心系统维护的一份文件，用于记录DB2数据库中每张表字段的名称、类型、长度、具体含义等信息。

S105：主机模块编译运行主机数据采集脚本，得到DB2数据库表数据。

S106：主机模块将DB2数据库表数据导入顺序文件，发送顺序文件至AIX模块。

具体实施时，可以调用主机模块中的REXX脚本编译运行主机数据采集脚本，以及将DB2数据库表数据导入顺序文件(QSAM文件)。

主机模块将DB2数据库表数据导入顺序文件之后，还可以包括：主机模块对顺序文件进行转码处理，得到转码后的顺序文件。

其中，转码是将EIDCIB码制的文件转为UTF-8码制的文件。

发送顺序文件至AIX模块包括：主机模块发送转码后的顺序文件至AIX模块。

S107：JAVA模块发送建表控制指令至AIX模块。

S108：AIX模块根据建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本。

一实施例中，S108包括：

AIX模块根据建表控制指令和DB2数据库表建表语句生成Oracle数据库建表脚本；

AIX模块根据Oracle数据库建表脚本分别生成Oracle数据库和控制脚本。

其中，控制脚本可以是SQL_LOADER控制脚本。

S109：AIX模块执行控制脚本以将顺序文件中的数据导入Oracle数据库。

其中，可以由AIX模块中的PERL脚本执行S108和S109。

执行S109之后，还可以包括：AIX模块生成数据迁移结果至JAVA模块；JAVA模块上传数据迁移结果供前端开发人员查看。

图1所示的数据迁移方法的执行主体可以为计算机。由图1所示的流程可知，本发明实施例的数据迁移方法中的AIX模块根据JAVA模块发送的数据迁移控制指令和数据迁移表清单从主机模块获取DB2数据库建表语句，根据DB2数据库建表语句和数据字典生成主机数据采集脚本；主机模块编译运行主机数据采集脚本，得到DB2数据库表数据，将DB2数据库表数据导入顺序文件；AIX模块根据JAVA模块发送的建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本，执行控制脚本以将顺序文件中的数据导入Oracle数据库，以提高数据迁移的效率和质量。

本发明的具体流程如下：

1、JAVA模块发送数据迁移控制指令至AIX模块。

2、AIX模块根据数据迁移控制指令和预先获取的数据迁移表清单生成数据库建表语句指令，发送数据库建表语句指令至主机模块。

3、主机模块根据数据库建表语句指令，通过文件传输协议发送DB2数据库建表语句至AIX模块。

4、AIX模块根据DB2数据库建表语句和预先获取的数据字典生成主机数据采集脚本，通过文件传输协议将主机数据采集脚本上传至主机模块。

5、主机模块调用REXX脚本编译运行主机数据采集脚本，得到DB2数据库表数据。

6、主机模块调用REXX脚本将DB2数据库表数据导入顺序文件。

7、主机模块对顺序文件进行转码处理，得到转码后的顺序文件，并发送转码后的顺序文件至AIX模块。

8、JAVA模块发送建表控制指令至AIX模块。

9、AIX模块中的PERL脚本根据建表控制指令和DB2数据库表建表语句生成Oracle数据库建表脚本。

10、AIX模块中的PERL脚本根据Oracle数据库建表脚本分别生成Oracle数据库和SQL_LOADER控制脚本。

11、AIX模块中的PERL脚本执行控制脚本以将顺序文件中的数据导入Oracle数据库。

12、AIX模块生成数据迁移结果至JAVA模块。

13、JAVA模块上传数据迁移结果供前端开发人员查看。

综上，本发明实施例的数据迁移方法中的AIX模块根据JAVA模块发送的数据迁移控制指令和数据迁移表清单从主机模块获取DB2数据库建表语句，根据DB2数据库建表语句和数据字典生成主机数据采集脚本；主机模块编译运行主机数据采集脚本，得到DB2数据库表数据，将DB2数据库表数据导入顺序文件；AIX模块根据JAVA模块发送的建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本，执行控制脚本以将顺序文件中的数据导入Oracle数据库，以提高数据迁移的效率和质量。

基于同一发明构思，本发明实施例还提供了一种数据迁移系统，由于该系统解决问题的原理与数据迁移方法相似，因此该系统的实施可以参见方法的实施，重复之处不再赘述。

图2是本发明实施例中数据迁移系统的结构框图。如图2所示，数据迁移系统包括：

在其中一种实施例中，AIX模块具体用于：

根据建表控制指令和DB2数据库表建表语句生成Oracle数据库建表脚本；

根据Oracle数据库建表脚本分别生成Oracle数据库和控制脚本。

在其中一种实施例中，AIX模块具体用于：通过文件传输协议将主机数据采集脚本上传至主机模块。

在其中一种实施例中，主机模块还用于：

对顺序文件进行转码处理，得到转码后的顺序文件；

主机模块具体用于：

发送转码后的顺序文件至AIX模块。

在其中一种实施例中，AIX模块还用于：

生成数据迁移结果至JAVA模块；

JAVA模块还用于：上传数据迁移结果。

综上，本发明实施例的数据迁移系统中的AIX模块根据JAVA模块发送的数据迁移控制指令和数据迁移表清单从主机模块获取DB2数据库建表语句，根据DB2数据库建表语句和数据字典生成主机数据采集脚本；主机模块编译运行主机数据采集脚本，得到DB2数据库表数据，将DB2数据库表数据导入顺序文件；AIX模块根据JAVA模块发送的建表控制指令和DB2数据库表建表语句分别生成Oracle数据库和控制脚本，执行控制脚本以将顺序文件中的数据导入Oracle数据库，以提高数据迁移的效率和质量。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

本领域技术人员还可以了解到本发明实施例列出的各种说明性逻辑块(illustrative logical block)，单元，和步骤可以通过电子硬件、电脑软件，或两者的结合进行实现。为清楚展示硬件和软件的可替换性(interchangeability)，上述的各种说明性部件(illustrative components)，单元和步骤已经通用地描述了它们的功能。这样的功能是通过硬件还是软件来实现取决于特定的应用和整个系统的设计要求。本领域技术人员可以对于每种特定的应用，可以使用各种方法实现所述的功能，但这种实现不应被理解为超出本发明实施例保护的范围。

本发明实施例中所描述的方法或算法的步骤可以直接嵌入硬件、处理器执行的软件模块、或者这两者的结合。软件模块可以存储于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或本领域中其它任意形式的存储媒介中。示例性地，存储媒介可以与处理器连接，以使得处理器可以从存储媒介中读取信息，并可以向存储媒介存写信息。可选地，存储媒介还可以集成到处理器中。处理器和存储媒介可以设置于ASIC中，ASIC可以设置于用户终端中。可选地，处理器和存储媒介也可以设置于用户终端中的不同的部件中。

在一个或多个示例性的设计中，本发明实施例所描述的上述功能可以在硬件、软件、固件或这三者的任意组合来实现。如果在软件中实现，这些功能可以存储与电脑可读的媒介上，或以一个或多个指令或代码形式传输于电脑可读的媒介上。电脑可读媒介包括电脑存储媒介和便于使得让电脑程序从一个地方转移到其它地方的通信媒介。存储媒介可以是任何通用或特殊电脑可以接入访问的可用媒体。例如，这样的电脑可读媒体可以包括但不限于RAM、ROM、EEPROM、CD-ROM或其它光盘存储、磁盘存储或其它磁性存储装置，或其它任何可以用于承载或存储以指令或数据结构和其它可被通用或特殊电脑、或通用或特殊处理器读取形式的程序代码的媒介。此外，任何连接都可以被适当地定义为电脑可读媒介，例如，如果软件是从一个网站站点、服务器或其它远程资源通过一个同轴电缆、光纤电缆、双绞线、数字用户线(DSL)或以例如红外、无线和微波等无线方式传输的也被包含在所定义的电脑可读媒介中。所述的碟片(disk)和磁盘(disc)包括压缩磁盘、镭射盘、光盘、DVD、软盘和蓝光光盘，磁盘通常以磁性复制数据，而碟片通常以激光进行光学复制数据。上述的组合也可以包含在电脑可读媒介中。

Claims

1.一种数据迁移方法，其特征在于，包括：

JAVA模块发送数据迁移控制指令至AIX模块；

所述AIX模块根据所述数据迁移控制指令和预先获取的数据迁移表清单生成数据库建表语句指令，发送所述数据库建表语句指令至主机模块；

所述主机模块根据所述数据库建表语句指令发送DB2数据库建表语句至所述AIX模块；

所述AIX模块根据所述DB2数据库建表语句和预先获取的数据字典生成主机数据采集脚本，将所述主机数据采集脚本上传至所述主机模块；

所述主机模块编译运行所述主机数据采集脚本，得到DB2数据库表数据；

所述主机模块将所述DB2数据库表数据导入顺序文件，发送该顺序文件至所述AIX模块；

所述JAVA模块发送建表控制指令至所述AIX模块；

所述AIX模块根据所述建表控制指令和所述DB2数据库表建表语句分别生成Oracle数据库和控制脚本；

所述AIX模块执行所述控制脚本以将所述顺序文件中的数据导入所述Oracle数据库。

2.根据权利要求1所述的数据迁移方法，其特征在于，所述AIX模块根据所述建表控制指令和所述DB2数据库表建表语句分别生成Oracle数据库和控制脚本，包括：

所述AIX模块根据所述建表控制指令和所述DB2数据库表建表语句生成Oracle数据库建表脚本；

所述AIX模块根据所述Oracle数据库建表脚本分别生成Oracle数据库和控制脚本。

3.根据权利要求1所述的数据迁移方法，其特征在于，

所述AIX模块通过文件传输协议将所述主机数据采集脚本上传至所述主机模块。

4.根据权利要求1所述的数据迁移方法，其特征在于，还包括：

所述主机模块对所述顺序文件进行转码处理，得到转码后的顺序文件；

发送所述顺序文件至所述AIX模块包括：

所述主机模块发送转码后的顺序文件至所述AIX模块。

5.根据权利要求1所述的数据迁移方法，其特征在于，还包括：

所述AIX模块生成数据迁移结果至所述JAVA模块；

所述JAVA模块上传所述数据迁移结果。

6.一种数据迁移系统，其特征在于，包括：

JAVA模块，用于发送数据迁移控制指令至AIX模块；发送建表控制指令至所述AIX模块；

AIX模块，用于根据所述数据迁移控制指令和预先获取的数据迁移表清单生成数据库建表语句指令，发送所述数据库建表语句指令至主机模块；根据DB2数据库建表语句和预先获取的数据字典生成主机数据采集脚本，将所述主机数据采集脚本上传至所述主机模块；根据所述建表控制指令和所述DB2数据库表建表语句分别生成Oracle数据库和控制脚本；执行所述控制脚本以将顺序文件中的数据导入所述Oracle数据库；

主机模块，用于根据所述数据库建表语句指令发送所述DB2数据库建表语句至所述AIX模块；编译运行所述主机数据采集脚本，得到DB2数据库表数据；将所述DB2数据库表数据导入所述顺序文件，发送该顺序文件至所述AIX模块。

7.根据权利要求6所述的数据迁移系统，其特征在于，所述AIX模块具体用于：

根据所述建表控制指令和所述DB2数据库表建表语句生成Oracle数据库建表脚本；

根据所述Oracle数据库建表脚本分别生成Oracle数据库和控制脚本。

8.根据权利要求6所述的数据迁移系统，其特征在于，所述AIX模块具体用于：通过文件传输协议将所述主机数据采集脚本上传至所述主机模块。

9.根据权利要求6所述的数据迁移系统，其特征在于，所述主机模块还用于：

对所述顺序文件进行转码处理，得到转码后的顺序文件；

所述主机模块具体用于：

发送转码后的顺序文件至所述AIX模块。

10.根据权利要求6所述的数据迁移系统，其特征在于，所述AIX模块还用于：

生成数据迁移结果至所述JAVA模块；

所述JAVA模块还用于：上传所述数据迁移结果。