CN114138714B - 数据迁移的方法、装置、存储介质及电子设备 - Google Patents

Abstract

本申请实施例提供的数据迁移的方法、装置、存储介质及电子设备，属于数据处理领域，以表数据导出为基础，辅以配置数据迁移的导出文件的文件名、导出文件列名、数据库查询语句，通过调用DB2数据库的API接口将数据从数据库导出为约定的外部文件格式。本申请实施例在程序的后续使用中通过配置即可支持集中交易系统与新一代交易系统间的数据迁移，具有可拓展、便捷、高效等优点。

Description

数据迁移的方法、装置、存储介质及电子设备

技术领域

本公开实施例涉及数据处理领域，具体地涉及一种数据迁移的方法、装置、存储介质及电子设备。

背景技术

随着新一代交易系统的广泛应用，集中交易系统和新一代交易系统之间数据的交互愈加频繁和重要。在新一代交易系统应用前，证券公司的各个交易系统大多是集中交易系统的同构系统，因此数据交互都是通过脚本进行数据的导入导出。新一代交易系统应用后，需要进行集中交易系统与其异构系统之间的数据交互，因为异构系统的数据库、代码架构不同，不同系统之间的数据需要进行逻辑运算来转换，因此导出时需要在程序中对不同系统之间数据交互涉及到的数据表进行单独处理。然而，随着新一代交易系统的业务逐步拓展，需要从集中交易系统中获取的交易数据逐步增多，其中包括许多不需要转换的数据。若按照现有技术的处理逻辑，一旦在不同系统间有新的数据需要迁移，就需要修改程序，在程序中对每个数据表进行单独的处理，不仅造成代码冗余，而且降低数据在不同系统之间迁移的效率。

发明内容

本公开的目的在于，针对现有技术中存在的问题，提供一种数据迁移的方法、装置、存储介质及电子设备，提高数据迁移的效率、便捷和可拓展性。

根据本公开的一个方面，提出一种数据迁移的方法，包括

响应于数据迁移请求，获取待迁移初始数据；

基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移；

基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

基于所述配置信息中的导出文件的文件名创建导出文件，将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

在一些实施例中，所述数据迁移的方法还包括：所述待迁移初始数据具体为数据库的一个或多个数据表。

在一些实施例中，所述数据迁移的方法还包括：若导出的字段名位为空，表示需要查询所述数据表中所有字段。

在一些实施例中，所述数据迁移的方法还包括：所述导出文件的文件名包括文件的扩展名，用于标识导出文件的格式。

在一些实施例中，所述数据迁移的方法还包括：所述查询条件中包括迁移目标系统的系统分组号。

在一些实施例中，所述数据迁移的方法还包括：若查询条件中有需要替换的内容，被替换的内容通过特殊字符标识。

在一些实施例中，所述数据迁移的方法还包括：所述数据库具体为DB2，所述API具体为sqluexpr。

在一些实施例中，所述数据迁移的方法还包括：调用所述sqluexpr的入参是所述文件名、所述查询语句、文件类型修饰符。

在一些实施例中，所述数据迁移的方法还包括：通过文件类型修饰符完善所述导出的数据。

在一些实施例中，所述数据迁移的方法还包括：调用API导出数据的同时生成日志文件。

根据本公开的另一个方面，提出一种数据迁移的装置，包括获取模块，用于响应于数据迁移请求，获取待迁移初始数据；

生成模块，用于基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移；

配置模块，用于基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

导出模块，用于基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

创建模块，用于基于所述配置信息中的导出文件的文件名创建导出文件；

第一写入模块，用于将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

第二写入模块，用于逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如上任一实施例所述的数据迁移的方法中的步骤。

本申请实施例还提供一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如上任一实施例所述的数据迁移的方法中的步骤。

本申请实施例提供的数据迁移的方法、装置、计算机可读存储介质及电子设备，以表数据导出为基础，辅以配置数据迁移的导出文件的文件名、导出文件列名、数据库查询语句，通过调用DB2数据库的API接口将数据从数据库导出为约定的外部文件格式。本申请实施例在程序的后续使用中通过配置即可支持集中交易系统与新一代交易系统间的数据迁移，具有可拓展、便捷、高效等优点。

附图说明

下面结合附图，通过对本公开的具体实施方式详细描述，将使本公开的技术方案及其它有益效果显而易见。

图1为本申请实施例提供的数据迁移方法的一种流程示意图。

图2为本申请实施例提供的数据迁移装置的一种结构示意图。

图3本申请实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。本公开的说明书和权利要求书以及附图中的术语 “包括”和“具有”以及它们的任何变形，意图在于覆盖不排它的包含。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

以下将分别对本申请实施例提供的一种数据迁移方法、装置、计算机可读存储介质及电子设备进行详细说明。需说明的是，以下实施例的序号不作为对实施例优选顺序的限定

实施例一：

具体地，请参阅图1，为本公开实施例一提供的数据迁移的方法流程示意图。采用本公开提供的方法对数据迁移的步骤如下：

S1响应于数据迁移请求，获取待迁移初始数据。

首先通过柜台终端的文件迁移菜单向后台发送请求，请求包中包括了日期与业务功能号；后台接收到请求包按照业务功能号开始处理对应的业务，需提前约定业务功能号与对应的功能，这里的业务功能号即为进行数据导出。导出需要进行复杂逻辑处理的表数据后，基于表数据设置配置信息，开始进行配置化的数据迁移，这里的表数据即为待迁移的初始数据，在一个实施例中，表数据可以是数据库的一个或多个数据表。

S2基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移。

数据迁移的配置信息存放于一张配置表中，表中主要包括取数的数据表表名、导出文件的文件名、生成文件的首行、导出的字段名、导出的查询条件、是否迁移等字段。

在一个实施例中，其中导出文件的文件名中包含文件的拓展名，本实施例中用于生成的文件为csv格式，本领域技术人员也可根据具体应用场景需求生成多种格式的外部文件。

S3基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句。

查询数据迁移配置表，根据迁移的具体数据要求，将需要迁移的配置信息查出后，逐条进行处理；配置取数的数据表表名、导出字段、导出的查询条件，组成动态SQL语句，即查询语句。

在一个实施例中，若导出的字段名为空，则用“*”替代，表明需要查询出表中所有字段；若查询条件中有需要替换的内容，则需要特殊处理，被替换的内容需要提前约定，以便在程序中定位，例如本方法中约定若查询条件中存在“$TODAY$”，则使用柜台终端传的日期替代。

在一个实施例中，证券公司往往有多个异构系统需要进行数据迁移，具体的系统信息存放在集中交易的服务器配置表中。对于多个目标系统，程序是多进程处理的，每个进程对应一个目标系统的数据迁移。对于需要迁移的具体客户数据，为了准确导出属于目标系统的客户数据，查询条件中包括了系统分组号用于指定目标系统。因存在多个目标系统，约定使用“$CURSYSNO$”字符标识系统分组号，拼接动态SQL时将“$CURSYSNO$”字符替换为当前数据迁移的目标系统分组号。

S4基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件。

可以先创建中间文件。中间文件名类似导出文件名以便形成对应的关系。

在一个实施例中，数据库具体可以是DB2，调用的相应API接口可以是调用sqluexpr()，

在一个实施例中，具体的将文件名、查询语句、文件类型修饰符等作为入参，调用sqluexpr()生成中间文件，其存放的即为需要迁移的数据。

在一个实施例中，指定文件类型修饰符用以完善导出的数据。数据迁移过程中，导出的数据前面不需要补0，然而若无修饰符，数据前会有无意义的0，因此本实施例中使用striplzeros文件类型修饰符，意义为数字类型前面不补0。同时，程序中还使用文件类型修饰符decplusblank，意义为指定不要在正的十进制值前面加上加号（+）；通过上述文件类型修饰符完善导出数据，基本满足迁移的数据要求，而上述文件类型修饰符是固定写在程序中而非由配置信息提供，这样的设置进一步增加了数据迁移的效率，本领域技术人员可以理解的是，可以根据具体的应用场景需要，添加其他文件类型修饰符。

在一个实施例中，API接口sqluexpr()被调用时同时生成日志文件，用于保存数据导出的相关信息，所述日志文件可以用于辅助检查数据，若导出出错，通过日志文件方便快速定位错误原因。

S5基于所述配置信息中的导出文件的文件名创建导出文件，将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行。

创建导出文件，并在导出文件的首行写入配置信息中的导出文件首行字段的内容作为导出文件的列名，列名需要与导出数据的每一列对应起来，因此配置表中导出文件的首行、导出的字段名字段必须是一一对应的关系；若导出的字段名字段为空，则导出文件的首行字段中必须要包含表中的所有字段且顺序与数据表结构相同。

S6逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

将中间文件的内容全部插入导出文件后，删除中间文件。

在一个实施例中，在数据迁移配置表中，需要关注“是否迁移”字段，程序中只导出此字段为1的数据。对于暂不需要迁移的数据，只需要将此字段值置为0，表示不需要迁移，程序会自动进行过滤。

本实施例将导出功能嵌入程序中，与使用脚本导出数据相比，具有操作便捷性，同时在设置导出文件时可以基于实际应用场景需要灵活设置导出文件格式，具有通用性；此外，本实施例通过配置表给程序提供数据迁移信息以达到生成导出文件的目的，具有良好的可拓展性。

实施例二：

基于上述实施例公开的一种数据迁移方法，本实施例对应公开了一种数据迁移装置，该装置具体可以包括：

获取模块201，用于响应于数据迁移请求，获取待迁移初始数据；

首先通过柜台终端的文件迁移菜单向后台发送请求，请求包中包括了日期与业务功能号；后台接收到请求包按照业务功能号开始处理对应的业务，需提前约定业务功能号与对应的功能，这里的业务功能号即为进行数据导出。导出需要进行复杂逻辑处理的表数据后，基于表数据设置配置信息，开始进行配置化的数据迁移，这里的表数据即为待迁移的初始数据，在一个实施例中，表数据可以是数据库的一个或多个数据表。

生成模块202，用于基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移；

数据迁移的配置信息存放于一张配置表中，表中主要包括取数的数据表表名、导出文件的文件名、生成文件的首行、导出的字段名、导出的查询条件、是否迁移等字段。

在一个实施例中，其中导出文件的文件名中包含文件的拓展名，本实施例中用于生成的文件为csv格式，可根据具体应用场景需求生成多种格式的外部文件。

配置模块203，用于基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

查询数据迁移配置表，根据迁移的具体数据要求，将需要迁移的配置信息查出后，逐条进行处理；配置取数的数据表表名、导出字段、导出的查询条件，组成动态SQL语句，即查询语句。

在一个实施例中，若导出的字段名为空，则用“*”替代，表明需要查询出表中所有字段；若查询条件中有需要替换的内容，则需要特殊处理，被替换的内容需要提前约定，以便在程序中定位，例如本方法中约定若查询条件中存在“$TODAY$”，则使用柜台终端传的日期替代。

在一个实施例中，证券公司往往有多个异构系统需要进行数据迁移，具体的系统信息存放在集中交易的服务器配置表中。对于多个目标系统，程序是多进程处理的，每个进程对应一个目标系统的数据迁移。对于需要迁移的具体客户数据，为了准确导出属于目标系统的客户数据，查询条件中包括了系统分组号用于指定目标系统。因存在多个目标系统，约定使用“$CURSYSNO$”字符标识系统分组号，拼接动态SQL时将“$CURSYSNO$”字符替换为当前数据迁移的目标系统分组号。

导出模块204，用于基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

可以先创建中间文件。中间文件名类似导出文件名以便形成对应的关系。

在一个实施例中，数据库具体可以是DB2，调用的相应API接口可以是调sqluexpr()，

在一个实施例中，具体的将文件名、查询语句、文件类型修饰符等作为入参，生成中间文件，其存放的即为需要迁移的数据。

在一个实施例中，指定文件类型修饰符用以完善导出的数据。数据迁移过程中，导出的数据前面不需要补0，然而若无修饰符，数据前会有无意义的0，因此本实施例中使用的striplzeros文件类型修饰符，意义为数字类型前面不补0。同时，程序中还使用文件类型修饰符decplusblank，意义为指定不要在正的十进制值前面加上加号（+）；通过上述文件类型修饰符完善导出数据，基本满足迁移的数据要求，而上述文件类型修饰符是固定写在程序中而非由配置信息提供，这样的设置进一步增加了数据迁移的效率，本领域技术人员可以理解的是，可以根据具体的应用场景需要，添加其他文件类型修饰符。

在一个实施例中，API接口sqluexpr()被调用时同时生成日志文件，用于保存数据导出的相关信息，所述日志文件可以用于辅助检查数据，若导出出错，通过日志文件方便快速定位错误原因。

创建模块205，用于基于所述配置信息中的导出文件的文件名创建导出文件；

第一写入模块206，用于将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

创建导出文件，并在导出文件的首行写入配置信息中的导出文件首行字段的内容作为导出文件的列名，列名需要与导出数据的每一列对应起来，因此配置表中导出文件的首行、导出的字段名字段必须是一一对应的关系；若导出的字段名字段为空，则导出文件的首行字段中必须要包含表中的所有字段且顺序与数据表结构相同。

第二写入模块207，用于逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

将中间文件的内容全部插入导出文件后，删除中间文件。

在一个实施例中，在数据迁移配置表中，需要关注“是否迁移”字段，程序中只导出此字段为1的数据。对于暂不需要迁移的数据，只需要将此字段值置为0，表示不需要迁移，程序会自动进行过滤。

实施例三

相应的，本申请实施例还提供一种电子设备300，该电子设备300可以为终端或者服务器。如图3所示，图3为本申请实施例提供的电子设备300的结构示意图。

该电子设备300包括有一个或者一个以上处理核心的处理器301、有一个或一个以上计算机可读存储介质的存储器302及存储在存储器302上并可在处理器上运行的计算机程序。其中，处理器301与存储器302电性连接。本领域技术人员可以理解，图中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器301是电子设备300的控制中心，利用各种接口和线路连接整个电子设备300的各个部分，通过运行或加载存储在存储器302内的软件程序（计算机程序）和/或单元，以及调用存储在存储器302内的数据，执行电子设备300的各种功能和处理数据，从而对电子设备300进行整体监控。

在本申请实施例中，电子设备300中的处理器301会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器302中，并由处理器301来运行存储在存储器302中的应用程序，从而实现各种功能：

基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移；

基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

基于所述配置信息中的导出文件的文件名创建导出文件，

将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

可选的，如图3所示，电子设备300还包括：数据导出电路303、通讯模块304、输入单元305以及电源306。其中，处理器301分别与数据导出电路303、通讯模块304、输入单元305以及电源306电性连接。本领域技术人员可以理解，图3中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

数据导出电路303可用于导出数据到导出文件。

通信模块304可用于与其他设备通信。

输入单元305可用于接收输入的数字、字符信息或用户特征信息（例如指纹、虹膜、面部信息等），以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源306用于给电子设备300的各个部件供电。可选的，电源306可以通过电源管理系统与处理器301逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源306还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

实施例四

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种数据迁移方法中的步骤。例如，该计算机程序可以执行如下步骤：

响应于数据迁移请求，获取待迁移初始数据；

基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移；

基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

基于所述配置信息中的导出文件的文件名创建导出文件，

将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该计算机可读存储介质可以包括：只读存储器（ROM，Read Only Memory）、随机存取记忆体（RAM，Random Access Memory）、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种数据迁移方法中的步骤，因此，可以实现本申请实施例所提供的任一种数据迁移方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种数据迁移方法、装置、计算机可读存储介质及电子设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (12)

1.一种数据迁移的方法，其特征在于，所述方法包括：

响应于数据迁移请求，获取待迁移初始数据；

基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移，所述导出文件的文件名包括文件的扩展名；

基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

基于所述配置信息中的导出文件的文件名创建导出文件，将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

2.根据权利要求1所述的方法，其特征在于，所述待迁移初始数据具体为数据库的一个或多个数据表。

3.根据权利要求1所述的方法，其特征在于，若导出的字段名位为空，表示需要查询所述数据表中所有字段。

4.根据权利要求1所述的方法，其特征在于，所述查询条件中包括迁移目标系统的系统分组号。

5.根据权利要求1所述的方法，其特征在于，若查询条件中有需要替换的内容，被替换的内容通过特殊字符标识。

6.根据权利要求2所述的方法，其特征在于，所述数据库具体为DB2，所述API具体为sqluexpr。

7.根据权利要求6所述的方法，其特征在于，调用所述sqluexpr的入参是所述文件名、所述查询语句、文件类型修饰符。

8.根据权利要求7所述的方法，其特征在于，所述文件类型修饰符用于完善所述导出的数据。

9.根据权利要求1所述的方法，其特征在于，调用API导出数据的同时生成日志文件。

10.一种数据迁移的装置，其特征在于，所述装置包括：

获取模块，用于响应于数据迁移请求，获取待迁移初始数据；

生成模块，用于基于所述初始数据生成数据迁移配置信息，所述配置信息包括数据表表名、导出文件的文件名、导出文件的首行、导出的字段名、导出的查询条件、是否迁移，所述导出文件的文件名包括文件的扩展名；

配置模块，用于基于所述配置信息，拼接配置信息中的数据表表名、导出的字段名、导出的查询条件，组成查询语句；

导出模块，用于基于所述初始数据和所述查询语句调用相应API导出数据，并将导出的数据写入中间文件；

创建模块，用于基于所述配置信息中的导出文件的文件名创建导出文件；

第一写入模块，用于将所述配置信息中的导出文件首行字段的内容插入所述导出文件的首行；

第二写入模块，用于逐行读取所述中间文件，并将逐行读取的所述中间文件，从导出文件的次行起依次对应插入到导出文件的各行中。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序适于处理器进行加载，以执行如权利要求1-9任一项所述的数据迁移的方法中的步骤。

12.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器通过调用所述存储器中存储的所述计算机程序，执行如权利要求1-9任一项所述的数据迁移的 方法中的步骤。

Images