CN110275914A - 跨数据库的数据迁移方法、装置和存储介质 - Google Patents

Abstract

本发明公开了一种跨数据库的数据迁移方法，包括：获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；读取所述源数据库中的待迁移数据；通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。本发明还公开了一种跨数据库的数据迁移装置和存储介质。本发明跨数据库的数据迁移过程简单出错率低。

Description

跨数据库的数据迁移方法、装置和存储介质

技术领域

本发明涉及数据库领域，尤其涉及一种跨数据库的数据迁移方法、装置和存储介质。

背景技术

在很多实际场景中，基于对数据库系统的更新换代需求，需要对新老系统进行跨数据库的数据迁移，以将老系统的老数据库中的数据迁移至新系统的新数据库中。现有的跨数据库的数据迁移做法一般是先将老数据库中的数据导出文本文件，然后将文本文件导入到新数据库中，最后在新数据库中对每一个数据进行转码，以完成数据迁移。然而，对于数据庞大、数据库对象很多的数据库，在老数据库中数据导出后再进一步导入新数据库再进一步对数据进行转码的过程十分复杂出错率高。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

发明内容

本发明的主要目的在于提供一种跨数据库的数据迁移方法、装置和存储介质，旨在解决跨数据库的数据迁移过程复杂出错率高的技术问题。

为实现上述目的，本发明提供一种跨数据库的数据迁移方法，所述跨数据库的数据迁移方法包括：获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；读取所述源数据库中的待迁移数据；通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

可选地，所述获取源数据库中的待迁移数据所属源数据库对象的类型的步骤之前还包括：创建目标数据库，建立源数据库与目标数据库的数据源连接。

可选地，所述读取所述源数据库中的待迁移数据的步骤之后还包括：利用水壶数据转换工具生成迁移脚本。

可选地，所述通过迁移脚本对所述待迁移数据进行格式转换的步骤包括：利用所述迁移脚本依次对多个待迁移数据进行格式转换。

可选地，所述源数据库对象包括表、视图、索引、存储过程、函数和触发器中的至少一种。

可选地，若所述源数据库对象包括表，所述通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据的步骤包括：通过迁移脚本对表中的待迁移数据进行字符集编码，获得符合所述目标数据库格式的目标数据。

可选地，所述字符集编码采用的编码格式为万国码。

此外，为实现上述目的，本发明还提供一种跨数据库的数据迁移装置，所述跨数据库的数据迁移装置包括：

获取模块，用于获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；

读取模块，用于读取所述源数据库中的待迁移数据；

格式转换模块，用于通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；

填充模块，用于将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

此外，为实现上述目的，本发明还提供一种跨数据库的数据迁移装置，所述跨数据库的数据迁移装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跨数据库的数据迁移程序，所述跨数据库的数据迁移程序被所述处理器执行时实现如上述的跨数据库的数据迁移方法的步骤。

此外，为实现上述目的，本发明还提供一种存储介质，存储介质上存储有跨数据库的数据迁移程序，所述跨数据库的数据迁移程序被处理器执行时实现如上述的跨数据库的数据迁移方法的步骤。

本发明实施例提出的一种跨数据库的数据迁移方法、装置和存储介质，通过获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象，直接读取所述源数据库中的待迁移数据，并对待迁移数据进行格式转换获得目标数据，将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移，无需将源数据库中的待迁移数据导出至目标数据库中，迁移过程简单避免了复杂的导出导入操作降低了出错率。

附图说明

图1为本发明实施例方案涉及的硬件运行环境的终端结构示意图；

图2为本发明跨数据库的数据迁移方法实施例的流程示意图；

图3为图2中本发明跨数据库的数据迁移方法实施例的步骤S202之前的步骤流程示意图；

图4为图2中本发明跨数据库的数据迁移方法实施例的步骤S204之后的步骤流程示意图；

图5为本发明跨数据库的数据迁移装置实施例的结构框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是PC，也可以是智能手机、平板电脑、便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

可选地，终端还可以包括摄像头、RF(Radio Frequency，射频)电路，传感器、音频电路、WiFi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及跨数据库的数据迁移程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的跨数据库的数据迁移程序，并执行以下操作：获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；读取所述源数据库中的待迁移数据；通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

可选地，所述获取源数据库中的待迁移数据所属源数据库对象的类型的步骤之前还包括：创建目标数据库，建立源数据库与目标数据库的数据源连接。

可选地，所述读取所述源数据库中的待迁移数据的步骤之后还包括：利用水壶数据转换工具生成迁移脚本。

可选地，所述通过迁移脚本对所述待迁移数据进行格式转换的步骤包括：利用所述迁移脚本依次对多个待迁移数据进行格式转换。

可选地，所述源数据库对象包括表、视图、索引、存储过程、函数和触发器中的至少一种。

可选地，若所述源数据库对象包括表，所述通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据的步骤包括：通过迁移脚本对表中的待迁移数据进行字符集编码，获得符合所述目标数据库格式的目标数据。

可选地，所述字符集编码采用的编码格式为万国码。

参照图2，一种跨数据库的数据迁移方法实施例，所述跨数据库的数据迁移方法包括：

步骤S202，获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；

其中，源数据库可以是Oracle数据库，还可以是MySQL数据库。目标数据库可以是与源数据库种类相同的数据库，也可以是种类不同的数据库。源数据库可以存储于终端上，还可以存储于与终端通信连接的其他设备上。目标数据库也可以存储于终端上，还可以存储于与终端通信连接的其他设备上。源数据库对象可以包括表、视图、索引、存储过程、函数和触发器中的至少一种。待迁移数据存储于多个源数据库对象中。

具体地，终端获取源数据库中的待迁移数据所属源数据库对象的类型和数量。进一步地，终端根据源数据库对象的类型和数量在目标数据库中生成对应的待填充数据库对象。待填充数据库的类型和数量与源数据库对象的类型和数量一致。例如源数据库对象为n张a*b的源表、m张源视图，则对应的待填充数据库为n张a*b的待填充表、m张待填充视图，其中，源数据库对象中存储有待迁移数据，待填充对象内的数据为空。

参照图3，在其中一个实施例中，步骤S202之前还包括：

步骤S302，创建目标数据库，建立源数据库与目标数据库的数据源连接。

终端在本地或者与终端通信连接的目标设备上创建目标数据库。进一步地，终端建立源数据库与目标数据库的数据源连接，以使终端可以直接读取源数据库中的待迁移数据，并将迁移数据转移至目标数据库中，而无需将源数据库中的待迁移数据导入目标数据库中再对待迁移数据进行转码。本实施例中，终端利用水壶(kettle)数据转换工具建立源数据库与目标数据库的数据源连接。

步骤S204，读取所述源数据库中的待迁移数据；

具体地，终端依次读取各源数据库对象中的待迁移数据，以执行步骤S206。

步骤S206，通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；

待迁移数据的数据类型包括字符串类型、数字类型、以及日期类型等。而对于字符串类型、数字类型、以及日期类型均包含多种子类型。例如字符串类型包括CHAR类型、NCHAR类型、VARCHAR类型、VARCHAR2类型以及NVARCHAR2类型等。数字类型包括INT类型和浮点数等。日期类型包括DATE类型、时间戳(TIMESTAMP)类型、带时区的时间戳(TIMESTAMP WITHTIME ZONE)类型等。源数据库中的待迁移数据的数据类型与目标数据库所需的目标数据的数据类型可能不同，因此需要对待迁移数据进行格式转换，以将待迁移数据转换成符合目标数据库的数据类型。具体地，通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据。

参照图4，在其中一个实施例中，在步骤S204之后还包括：S402，利用水壶数据转换工具生成迁移脚本。

终端利用kettle生成迁移脚本以执行步骤S206。其中，利用kettle生成的迁移脚本可对不同的源数据库对象中的待迁移数据进行处理。

进一步地，所述通过迁移脚本对所述待迁移数据进行格式转换的步骤包括：利用所述迁移脚本依次对多个待迁移数据进行格式转换。

具体地，终端利用迁移脚本依次对多个源数据库对象中的多个待迁移数据进行处理，获得符合所述目标数据库格式的多个目标数据。

在其中一个实施例中，若所述源数据库对象包括表，所述步骤S206包括：通过迁移脚本对表中的待迁移数据进行字符集编码，获得符合所述目标数据库格式的目标数据。

终端利用迁移脚本依次对各表中的各待迁移数据进行字符集编码，获得符合目标数据库格式的目标数据。具体地，终端利用迁移脚本将待迁移数据转码为中间字符集的数据，并进一步将中间字符集的数据转码为目标数据。其中，字符集编码采用的编码格式为万国码。

若所述源数据库对象包括视图，则终端利用迁移脚本通过视图嵌套将视图包含的待迁移数据转换为目标数据库所需的视图格式，即获得目标数据。

此外，对于索引、存储过程、函数和触发器等源数据库对象，终端可利用kettle通过迁移脚本将索引、存储过程、函数和触发器等源数据库对象中包含的待迁移数据直接转换为目标数据。

步骤S208，将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

终端依次将目标数据插入对应的待填充数据库对象中。即若待迁移数据a存储于源数据库对象D中，根据该源数据库对象D在目标数据库中生成的与源数据库对象D类型一致的目标数据库为D’，则将通过对待迁移数据a进行格式转换获得的目标数据b插入目标数据库D’中。在对所有目标数据插入对应的待填充数据库对象中后，完成跨数据库的数据迁移。

本实施例中，通过获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象，直接读取所述源数据库中的待迁移数据，并对待迁移数据进行格式转换获得目标数据，将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移，无需将源数据库中的待迁移数据导出至目标数据库中，迁移过程简单避免了复杂的导出导入操作降低了出错率。

参照图5，本发明实施例还提出一种跨数据库的数据迁移装置，所述跨数据库的数据迁移装置包括：

获取模块510，用于获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；

读取模块520，用于读取所述源数据库中的待迁移数据；

格式转换模块530，用于通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；

填充模块540，用于将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

可选地，所述跨数据库的数据迁移装置还包括：创建模块，用于创建目标数据库，建立源数据库与目标数据库的数据源连接。

可选地，格式转换模块530，还用于利用水壶数据转换工具生成迁移脚本。

可选地，格式转换模块530，还用于利用所述迁移脚本依次对多个待迁移数据进行格式转换。

可选地，所述源数据库对象包括表、视图、索引、存储过程、函数和触发器中的至少一种。

可选地，若所述源数据库对象包括表，格式转换模块530，还用于通过迁移脚本对表中的待迁移数据进行字符集编码，获得符合所述目标数据库格式的目标数据。

可选地，所述字符集编码采用的编码格式为万国码。

本发明实施例还提出一种跨数据库的数据迁移装置，所述跨数据库的数据迁移装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跨数据库的数据迁移程序，所述跨数据库的数据迁移程序被所述处理器执行时实现如上述的跨数据库的数据迁移方法实施例的步骤。

本发明实施例还提出一种存储介质，所述存储介质上存储有跨数据库的数据迁移程序，所述跨数据库的数据迁移程序被所述处理器执行时实现如上述的跨数据库的数据迁移方法实施例的步骤。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种跨数据库的数据迁移方法，其特征在于，所述跨数据库的数据迁移方法包括以下步骤：

获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；

读取所述源数据库中的待迁移数据；

通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；

将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

2.如权利要求1所述的跨数据库的数据迁移方法，其特征在于，所述获取源数据库中的待迁移数据所属源数据库对象的类型的步骤之前还包括：

创建目标数据库，建立源数据库与目标数据库的数据源连接。

3.如权利要求1所述的跨数据库的数据迁移方法，其特征在于，所述读取所述源数据库中的待迁移数据的步骤之后还包括：

利用水壶数据转换工具生成迁移脚本。

4.如权利要求1所述的跨数据库的数据迁移方法，其特征在于，所述通过迁移脚本对所述待迁移数据进行格式转换的步骤包括：

利用所述迁移脚本依次对多个待迁移数据进行格式转换。

5.如权利要求1-4任一项所述的跨数据库的数据迁移方法，其特征在于，所述源数据库对象包括表、视图、索引、存储过程、函数和触发器中的至少一种。

6.如权利要求5所述的跨数据库的数据迁移方法，其特征在于，若所述源数据库对象包括表，所述通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据的步骤包括：

通过迁移脚本对表中的待迁移数据进行字符集编码，获得符合所述目标数据库格式的目标数据。

7.如权利要求6所述的跨数据库的数据迁移方法，其特征在于，所述字符集编码采用的编码格式为万国码。

8.一种跨数据库的数据迁移装置，其特征在于，所述跨数据库的数据迁移装置包括：

获取模块，用于获取源数据库中的待迁移数据所属源数据库对象的类型，并根据所述类型在目标数据库中生成对应的待填充数据库对象；

读取模块，用于读取所述源数据库中的待迁移数据；

格式转换模块，用于通过迁移脚本对所述待迁移数据进行格式转换，获得符合所述目标数据库格式的目标数据；

填充模块，用于将所述目标数据插入所述待填充数据库对象中，以实现跨数据库的数据迁移。

9.一种跨数据库的数据迁移装置，其特征在于，所述跨数据库的数据迁移装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的跨数据库的数据迁移程序，所述跨数据库的数据迁移程序被所述处理器执行时实现如权利要求1至7中任一项所述的跨数据库的数据迁移方法的步骤。

10.一种存储介质，其特征在于，所述存储介质上存储有跨数据库的数据迁移程序，所述跨数据库的数据迁移程序被处理器执行时实现如权利要求1至7中任一项所述的跨数据库的数据迁移方法的步骤。