CN111984621A - 一种异构数据库迁移方法、装置及存储介质 - Google Patents

Abstract

本公开提供一种异构数据库迁移方法、装置及存储介质，用于解决异构数据库迁移效率低、不稳定等技术问题。本公开基于源表之间的依赖关系及数据量对源表进行分组，并通过多个迁移任务并行执行源数据库的导出及向目的数据库的导入步骤。在数据导出和导入过程中迁移的数据不落地，直接通过内存缓存分批导入，提高了迁移的效率。在迁移中断的情况下，可查找到中断时迁移的偏移量，重新迁移时基于偏移量增量迁移，提高了迁移的稳定性。

Description

一种异构数据库迁移方法、装置及存储介质

技术领域

本公开涉及数据库技术领域，尤其涉及一种异构数据库迁移方法、装置及存储介质。

背景技术

在现代企业的业务系统中，关系型数据库(Relation Database Manage System，RDBMS)在数据存储中仍然占据着最为重要的地位。随着企业业务的扩展，业务系统不断增加，会使用到多种不同的RDBMS。此时如果需要对不同业务系统的数据进行整合分析，或者是更换数据库，都面临着异构数据库的迁移需求。

PostgreSQL、Oracle、SQL server等关系型数据库，在企业中被广泛应用，因此这些数据库都面临着异构数据库迁移的需求。数据库迁移是一个将数据从源端数据库传送到目标端数据库的过程，在常规的处理方法中，数据库管理员(DBA)需要先将源端数据库的数据备份出来，然后进行手动的语法适配(将源端的数据库的SQL语法转换为目标端数据库的SQL语法)，然后传输到目标端数据库所在服务器，再导入目标端数据库。这个过程的弊端在于过程繁琐复杂，耗时长，占用资源多、容易出错导致迁移失败。

发明内容

有鉴于此，本公开提供一种异构数据库迁移方法、装置及存储介质，用于解决异构数据库迁移效率低、不稳定等技术问题。

基于本公开一实施例，本公开提供了一种异构数据库迁移方法，包括：

对源数据库中待迁移的源表进行分组，将具有依赖关系的源表分在同一分组中且将被依赖的源表放在依赖该被依赖的源表的前面；

根据分组数量生成相同数量的迁移任务，所述迁移任务并行运行；

所述迁移任务将分组内的源表依顺序导出为SQL部分和表内数据部分，并根据预设的源数据库和目的数据库之间的SQL语法映射关系对SQL部分进行SQL语法转换；

迁移任务首先执行SQL部分，然后再将表内数据部分导入到目的数据库中。

基于本公开实施例，进一步地，该方法还包括：

在基于依赖关系对源表进行分组的基础上，还根据每个源表的大小，均衡每个分组的数据量。

基于本公开实施例，进一步地，所述SQL部分和表内数据部分缓存在内存中，迁移任务直接从内存中读取缓存的SQL部分和表内数据部分并进行导入操作。

基于本公开实施例，进一步地，该方法还包括：

在执行向目的数据库导入表内数据的操作中断的情况下，从目的数据库中获取目的表的最新写入位置信息，根据目的表的最新写入位置信息确定源表的表内数据中断位置，从中断位置继续执行导入操作。

基于本公开实施例，进一步地，通过预先编写的自动化执行脚本，自动执行所述源表分组、对SQL部分进行SQL语法转换以及导入步骤。

基于本公开实施例，进一步地，本公开还提供了一种异构数据库迁移装置，该装置包括：

分组模块，用于对源数据库中待迁移的源表进行分组，将具有依赖关系的源表分在同一分组中且将被依赖的源表放在依赖该被依赖的源表的前面；

任务模块，用于根据分组数量生成相同数量的迁移任务，所述迁移任务并行运行；

导出模块，用于所述迁移任务将分组内的源表依顺序导出为SQL部分和表内数据部分，并根据预设的源数据库和目的数据库之间的SQL语法映射关系对SQL部分进行SQL语法转换；

导入模块，用于所述迁移任务执行SQL部分，然后再将表内数据部分导入到目的数据库中。

基于本公开实施例，进一步地，所述分组模块在基于依赖关系对源表进行分组的基础上，还根据每个源表的大小，均衡每个分组的数据量。

基于本公开实施例，进一步地，所述导出模块生成的SQL部分和表内数据部分缓存在内存中，所述导入模块直接从内存中读取缓存的SQL部分和表内数据部分并进行导入操作。

基于本公开实施例，进一步地，该装置还包括：

断点增量导入模块，用于在执行向目的数据库导入表内数据的操作中断的情况下，从目的数据库中获取目的表的最新写入位置信息，根据目的表的最新写入位置信息确定源表的表内数据中断位置，从中断位置继续执行导入操作。

基于本公开实施例，还提供一种存储介质，其上存储有计算机程序，所述计算机程序当被处理器执行时实现如前述异构数据库迁移方法的方法步骤功能。

本公开基于源表之间的依赖关系及数据量对源表进行分组，并通过多个迁移任务并行执行源数据库的导出及向目的数据库的导入步骤。在数据导出和导入过程中迁移的数据不落地，直接通过内存缓存分批导入，提高了迁移的效率。在迁移中断的情况下，可查找到中断时迁移的偏移量，重新迁移时基于偏移量增量迁移，提高了迁移的稳定性。

附图说明

为了更加清楚地说明本公开实施例或者现有技术中的技术方案，下面将对本公开实施例或者现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据本公开实施例的这些附图获得其他的附图。

图1为本公开一实施例提供的一种异构数据库迁移方法的方法流程图；

图2为本公开一实施例提供的异构数据库迁移过程示意图；

图3为本公开一实施例对源表进行分组的步骤示意图；

图4为本公开一实施例中迁移中断的处理步骤示意图；

图5为本公开一实施例提供的一种异构数据库迁移装置结构示意图；

图6为本公开一实施例提供的一种异构数据库迁移设备结构示意图。

具体实施方式

在本公开实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本公开实施例。本公开实施例和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。本公开中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开实施例范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开的目的之一是提出一种异构数据库迁移方法，该方法使用并行处理模式缩短了迁移所用时间，并且能够实现在迁移中断后，在已迁移成功的数据基础上增量迁移，提高了迁移的稳定性。图1为本公开一实施例提供的一种异构数据库迁移方法的方法流程图，该方法包括：

步骤101.对源数据库中待迁移的源表进行分组，将具有依赖关系的源表分在同一分组中且将被依赖的源表放在依赖该被依赖的源表的前面；

该步骤中，源表之间的依赖关系可通过源数据库中的数据字典获得，例如源表1的一个字段关联到源表2的一个主键字段，只有在源表2中存在主键1的情况下才能向源表1插入包含主键1的记录，数据字典中会记录具有依赖关系的源表之间的依赖关系。

本公开一实施例通过脚本读取源数据库中的数据字典，基于数据字典中记录的源表之间的依赖关系对源表进行分组，将具有依赖关系的源表分在一组，且将被依赖的源表放在依赖该被依赖表的表的前面，这样做的目的是在表迁移时首先迁移被依赖的表。

在本公开另一实施例中，在基于依赖关系对源表进行分组的基础上，还会根据每个源表的大小，均衡每个分组的数据量，使得所有分组的数据量尽量均衡分布。所述源表的大小也可通过数据字典进行获取，在获得每个源表的大小后，对于没有依赖关系的源表，基于均衡算法对源表的分组进行调整，以达到每个分组的数据量均衡的目的。

步骤102.根据分组数量生成相同数量的迁移任务，所述迁移任务并行运行；

本公开实施例通过解决源数据库中源表之间的依赖关系，对源数据库中源表进行合理分组，使得对源数据库进行迁移时，可以启动多个迁移任务并行迁移，从而提高迁移速度。

步骤103.所述迁移任务将分组内的源表依顺序导出为SQL部分和表内数据部分，并根据预设的源数据库和目的数据库之间的SQL语法映射关系对SQL部分进行SQL语法转换；

以PostgreSQL数据库向Oracle数据库迁移为例，由于两个异构数据库在SQL语法上有差异，因此需要进行SQL部分的SQL语法的转换。

本公开一实施例中，为了提高数据库迁移的效率和安全性，在执行数据库迁移的设备上，不进行迁移数据的落地操作即不做表内数据的本地磁盘写入操作，直接通过内存进行数据的缓存和交换，直接从内存中读取缓存的SQL部分和表内数据部分，例如以内存文件或内存表等方式缓存生成的SQL部分和表内数据，然后直接从内存中读取缓存的SQL部分和表内数据部分，执行导入操作。

步骤104.迁移任务首先执行SQL部分，然后再将表内数据部分导入到目的数据库中。

该步骤中，迁移任务在将源表的表内数据导入到目的数据库的目的表之前，首先记录待导入的源表的表对象标识，以备在表内数据导入中断的情况下，从中断的位置进行增量导入。

步骤105.在执行向目的数据库导入表内数据的操作中断的情况下，从目的数据库中获取目的表的最新写入位置信息，根据目的表的最新写入位置信息确定源表的表内数据中断位置，从中断位置继续执行导入操作。

本公开实施例中的源数据库和目的数据库为异构数据库，可以是PostgreSQL、Oracle、DB2、MySQL等数据库中任何两种不同关系型数据库，不同数据库之间的差别主要在于SQL语法的区别，例如两种不同的数据库的SQL语句中的关键字或语法格式有区别，因此需要预先提供源数据库和目的数据库之间的SQL语法映射文件。图2为本公开一实施例提供的异构数据库迁移过程示意图，该示例中以PostgreSQL为源数据库，目的数据库以MySQL、Oracle或MariaDB为例。整体流程说明如下：

步骤201.对PostgreSQL源数据库中待迁移的源表进行信息的收集。

该步骤中，可通过预先编制的脚本语言，以管理员角色运行，通过数据库数据字典或存储的元数据信息获取PostgreSQL数据库中的待迁移的源表相关的信息，例如通过在PostgreSQL数据库执行VACUUM FULL操作，收集数据库对象的统计信息，以确保数据库数据字典中存储的统计信息的准确性。

该步骤中的数据字典信息包括待迁移的源表信息、源表之间的依赖关系信息、数据对象统计信息等，数据对象统计信息包括源表个数、源表大小、索引个数及大小等信息。

步骤202.将PostgreSQL数据库中待迁移的源表根据表存储大小较均匀地分组，其中所述源表指排除系统表以外的需要迁移的用户表。

图3为本公开一实施例对源表进行分组的步骤示意图，首先查询出源数据库中的所有用户表的存储信息(使用数据字典表pg_database，information_schema.tables查找)，根据存储大小进行排序，然后根据用户提供的并行度(n)，将表分为n组，给表编号，例如上图所示，将表分为3组，表的编号分别是0,1，2。然后查找出表之间的依赖关系(使用数据字典表pg_constraint查找主外键依赖关系)，将有依赖关系的表的编号进行调整，调整成相同编号。例如表对象标识6307884的源表1与表对象标识为6307905的源表2之间具有关联关系，源表1和源表2通过主外键关系表关联，主表为源表1，源表2依赖于源表1，将有外键约束的源表2的分组编号修改成与主表一致，如图3所示，源表1和源表2的分组编号都为0，且源表2被置于源表1的后面。最后将统计的表对象标识tableoid与分组编号信息写入文件保存。以上操作既保证了有依赖关系的表在导出时具有顺序，也保证了并行迁移时各个进程迁移数据量大致相等。

步骤203.根据分组数量生成相同数量的迁移任务，并行运行迁移任务；

步骤204.迁移任务启动后，首先将分组内的源表依顺序导出为SQL部分和表内数据两个部分，并根据预设的PostgreSQL源数据库和目的数据库之间的SQL语法映射文件对SQL部分进行SQL语法转换。

目标数据以Oracle为例，预先添加PostgreSQL和Oracle的SQL语法映射文件(主要是创建表SQL语法中涉及到的关键字和字段类型的映射关系)，可以提前准备PostgreSQL与多种异构数据库的语法映射表，以支持对多种异构数据库的迁移。

N个迁移任务(N为并行度)pg_dump进行数据导出。导出的数据通过管道符传入SQL语法转换的脚本，并读取SQL语法映射文件，进行语法转化。

每个源表的导出数据包含两部分：第一部分SQL部分，SQL部分主要包括结构定义语言部分，用于在目的数据库中构建数据库表结构，例如，Create建表SQL语句，建表SQL语句的语法转换主要是字段类型的转换；第二部分是表内数据部分，该部分为源表中的数据，可以通过格式文件例如csv文件形式存储表数据，可通过调用load程序方式将表内数据写入Oracle数据库，其他数据库也具有类似于Oracle来加载csv格式表数据的方法。

步骤205.迁移任务通过调用目的数据库的导入工具执行SQL部分，然后再将表内数据导入到目的数据库中。

本公开一实施例中，在完成SQL语法映射后，将SQL部分输入到Oracle客户端，Oracle客户端连接服务端，连接成功后执行SQL部分，从而在目的数据库中建立起与源数据库一样的表结构，在SQL部分执行完毕后，在执行将每个源表数据导入之前，将当前要导入的表对象标识tableoid写入文件保存，以备后续进行断点续传，增量备份使用。

对于具有大量数据的数据库的迁移来说，整个的数据库迁移过程时间通常会比较长，对于服务器、网络等软硬件的稳定性要求比较高，如果在将源表的数据导入目的数据库的过程中，导入程序或网络产生故障导致导入过程中断话，将不得不再次进行导入，为了提高迁移效率，本公开一实施例还提供进行断点续传，增量迁移的步骤。

步骤206.根据中断时记录的表对象标识从源数据库中获取源表信息，根据源表信息再到目的数据库中定位目的表及最后一条成功写入的记录，根据目的表中最后一条成功写入的记录信息在源数据库中定位源表中中断的记录位置。

图4为本公开一实施例中迁移中断的处理步骤示意图，当迁移过程中PostgreSQL服务，Oracle数据库服务崩溃，或者迁移时出现报错时，迁移可能会中断，在导入数据过程中断的情况下，可通过读取前述步骤中写入的表对象标识tableoid，此tableoid正是迁移中断时正在迁移的表，然后通过tableoid在PostgreSQL中找到tableoid对应的源表信息，所述源表信息包括源数据库名称、模式名称、源表名称等，再根据源表信息在目的数据库Oracle数据库中定位对应的目的表，在Oracle数据库中定位到目的表的最新插入记录即在中断时最后一条成功插入的记录，根据最新插入记录的记录标识或关键字等能够唯一定位记录的标识，再回到源数据库PostgreSQL数据库中查找到这条记录对应的ctid，重新迁移时会跳过已迁移的数据，接着上次中断的位置继续迁移。其中，ctid表示PostgreSQL数据库中数据行在它所处的表内的物理位置，通过ctid可以快速的定位数据行。

本公开一实施例以Oracle数据库为例，在目的数据库中定位迁移中断的记录位置的方法可以为：

在Oracle数据库中根据定位到表，查询出表中记录的rowid，然后使用rdbms.rowid_row_number(rowid)函数找到记录的rownum，根据rownum排序找到rownum最大的记录即为最新插入的记录，然后查找当前记录在表中的重复次数(假设为n)。根据在Oracle中查找到的记录内容，在PostgreSQL中在对应的表中查找出记录的ctid，如果查到m条记录，取第n条记录的ctid，重新迁移时会跳过小于此ctid的数据，继续往下迁移。

步骤207.根据定位的源表中中断的记录位置，重新生成未导入目的表的记录组成的表内数据文件，迁移任务将重新生成的表内数据文件中的未导入记录导入到目的数据库中。

为提高整个数据库迁移过程的效率，本公开一实施例通过预先编写的自动化执行脚本，自动执行上述的源表分组、对SQL部分进行SQL语法转换以及导入步骤。在迁移的过程中只需提供异构数据库SQL语法的映射文件，整个迁移过程即可自动化地执行。

图5为本公开一实施例提供的一种异构数据库迁移装置结构示意图，该装置中的各功能模块可以采用软件模块形式实现，也可以采用硬件单元方式实现。该装置的各模块的功能与本公开实施提供的异构数据库迁移方法中的各步骤具有对应关系。该装置中的各模块可以在一个硬件设备上执行，也可以由不同的硬件设备分别实施本公开提供的方法中的一个或多个步骤或模块功能。该装置500包括：分组模块510、任务模块520、导出模块530、导入模块540。

分组模块510，用于对源数据库中待迁移的源表进行分组，将具有依赖关系的源表分在同一分组中且将被依赖的源表放在依赖该被依赖的源表的前面。

任务模块520，用于根据分组数量生成相同数量的迁移任务，所述迁移任务并行运行。

导出模块530，用于所述迁移任务将分组内的源表依顺序导出为SQL部分和表内数据部分，并根据预设的源数据库和目的数据库之间的SQL语法映射关系对SQL部分进行SQL语法转换。

导入模块540，用于所述迁移任务执行SQL部分，然后再将表内数据部分导入到目的数据库中。

在本公开一实施例中，分组模块510在基于依赖关系对源表进行分组的基础上，还根据每个源表的大小，均衡每个分组的数据量。

在本公开一实施例中，导出模块530生成的SQL部分和表内数据部分缓存在内存中，导入模块540直接从内存中读取缓存的SQL部分和表内数据部分并进行导入操作。

在本公开一实施例中，所述装置还包括：

断点增量导入模块550，用于在执行向目的数据库导入表内数据的操作中断的情况下，从目的数据库中获取目的表的最新写入位置信息，根据目的表的最新写入位置信息确定源表的表内数据中断位置，从中断位置继续执行导入操作。

图6为本公开一实施例提供的一种异构数据库迁移设备结构示意图，该设备600包括：诸如中央处理单元(CPU)的处理器610、内部总线620、网络接口640以及计算机可读存储介质630。其中，处理器610与计算机可读存储介质630可以通过内部总线620相互通信。计算机可读存储介质630内可存储本公开提供的用于实施异构数据库迁移方法的计算机程序，当计算机程序被处理器610执行时即可实现本公开提供的异构数据库迁移方法的各步骤功能。

以上所述仅为本公开的实施例而已，并不用于限制本公开。对于本领域技术人员来说，本公开可以有各种更改和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本公开的权利要求范围之内。

Claims (10)

1.一种异构数据库迁移方法，其特征在于，所述方法包括：

对源数据库中待迁移的源表进行分组，将具有依赖关系的源表分在同一分组中且将被依赖的源表放在依赖该被依赖的源表的前面；

根据分组数量生成相同数量的迁移任务，所述迁移任务并行运行；

所述迁移任务将分组内的源表依顺序导出为SQL部分和表内数据部分，并根据预设的源数据库和目的数据库之间的SQL语法映射关系对SQL部分进行SQL语法转换；

迁移任务首先执行SQL部分，然后再将表内数据部分导入到目的数据库中。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在基于依赖关系对源表进行分组的基础上，还根据每个源表的大小，均衡每个分组的数据量。

3.根据权利要求1所述的方法，其特征在于，

所述SQL部分和表内数据部分缓存在内存中，迁移任务直接从内存中读取缓存的SQL部分和表内数据部分并进行导入操作。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在执行向目的数据库导入表内数据的操作中断的情况下，从目的数据库中获取目的表的最新写入位置信息，根据目的表的最新写入位置信息确定源表的表内数据中断位置，从中断位置继续执行导入操作。

5.根据权利要求1所述的方法，其特征在于，

通过预先编写的自动化执行脚本，自动执行所述源表分组、对SQL部分进行SQL语法转换以及导入步骤。

6.一种异构数据库迁移装置，其特征在于，该装置包括：

分组模块，用于对源数据库中待迁移的源表进行分组，将具有依赖关系的源表分在同一分组中且将被依赖的源表放在依赖该被依赖的源表的前面；

任务模块，用于根据分组数量生成相同数量的迁移任务，所述迁移任务并行运行；

导出模块，用于所述迁移任务将分组内的源表依顺序导出为SQL部分和表内数据部分，并根据预设的源数据库和目的数据库之间的SQL语法映射关系对SQL部分进行SQL语法转换；

导入模块，用于所述迁移任务执行SQL部分，然后再将表内数据部分导入到目的数据库中。

7.根据权利要求6所述的装置，其特征在于，

所述分组模块在基于依赖关系对源表进行分组的基础上，还根据每个源表的大小，均衡每个分组的数据量。

8.根据权利要求6所述的装置，其特征在于，

所述导出模块生成的SQL部分和表内数据部分缓存在内存中，所述导入模块直接从内存中读取缓存的SQL部分和表内数据部分并进行导入操作。

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

断点增量导入模块，用于在执行向目的数据库导入表内数据的操作中断的情况下，从目的数据库中获取目的表的最新写入位置信息，根据目的表的最新写入位置信息确定源表的表内数据中断位置，从中断位置继续执行导入操作。

10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序当被处理器执行时实现如权利要求1至5中任一项的方法步骤功能。

Images