CN115858503B - 一种基于迁移链表的异构数据库迁移管理方法及系统 - Google Patents

Abstract

本发明公开了一种基于迁移链表的异构数据库信息迁移的管理方法及系统。根据迁移信息的种类，展开第一数据库的多个关系节点，读取关系节点的存储信息，生成第一映射表，展开第二数据库的多个数据节点，读取数据节点的存储信息，生成第二映射表，建立第一数据关系节点与第二数据库数据节点的连接，生成多条迁移链表，基于迁移链表实现异构数据库的信息迁移。另外，本发明还通过服务器内虚拟机监测迁移链表数据节点的资源负载，切断资源负载过高的迁移链路，并将负载过高迁移链路的数据节点重新匹配最优化的关系节点，建立新的迁移路径，减轻数据节点的负载。

Description

一种基于迁移链表的异构数据库迁移管理方法及系统

技术领域

本发明涉及异构数据迁移技术，尤其涉及一种基于迁移链表的异构数据库迁移管理方法及系统。

背景技术

随着企业信息化建设程度的不断提高，信息系统的更换换代频率不断提高，在部分应用场景下，异构数据库的业务数据转移需要负担额外的工作量，且异构数据库信息迁移的不稳定性更强，节点与节点之间的数据流传输可能会出现负载过高、传输效率低下等现实问题。现有技术中，CN109101627B公开了一种异构数据库同步方法及装置，能够避免与源端应用争抢数据库资源的基础上，有效实现异构数据库数据的同步传输，相对而言提升了异构数据库信息传输的效率。此外，CN111984621B公开了一种异构数据库迁移方法、装置及存储介质，结合底层数据库源表之间的依赖关系进行分组，针对不同迁移任务采用不同的源数据库的数据传输方法。上述公开的技术方案没有考虑到数据库迁移后数据的无序性以及数据丢失的实际问题，且对于大规模、高负载条件下的异构数据库信息迁移没有提出有效的技术手段解决这一技术问题。因此，现有技术有必要进一步改进。

发明内容

针对上述问题，本发明提供了一种基于迁移链表的异构数据库迁移管理方法。该管理方法用于关系型数据库与文档型数据库之间的大规模信息迁移，通过确定迁移信息的种类，建立第一数据库关系节点与第二数据库数据节点之间的连接，并通过在服务器内配置虚拟机监测关系节点与数据节点迁移链表的资源负载，匹配最优化的关系节点与数据节点迁移路径。进一步的，本发明还提供了一种基于迁移链表的用于异构数据库迁移管理方法的管理系统。

本申请的发明目的可通过以下技术手段实现：

一种基于迁移链表的异构数据库迁移管理方法，包括以下步骤：

步骤1：服务器内配置有多个虚拟机，虚拟机接收来自用户端的迁移指令，生成至少一个的配置信息表，并发送至多个备查模块；

步骤2：第一备查模块K₁关闭第一数据库的传输通道，基于配置信息表生成多个第一标签，第一数据库接入服务器；

步骤3：第一数据库读取第一标签，并展开第一标签中的n个关系节点，读取n个关系节点的存储信息，生成第一映射表，发送至迁移模块；

步骤4：迁移模块遍历除第一备查模块K₁以外的备查模块，选定至少一个的第二备查模块K₂为迁移对象；

步骤5：第二备查模块K₂关闭第二数据库的传输通道，基于配置信息表生成多个第二标签，第二数据库接入服务器；

步骤6：第二数据库读取第二标签，并展开m个数据节点，读取数据节点的存储信息，生成第二映射表，发送至迁移模块；

步骤7：迁移模块建立第一映射表与第二映射表的连接，其中，n个关系节点与m个数据节点基于配置信息表相互匹配，n≤m，建立第一迁移链表V_i，i=1,2,…,n，未完成配置信息表匹配的m-n个数据节点进入空闲状态，进入第一迁移期；

步骤8：虚拟机基于迁移链表迁移数据，虚拟机周期性遍历n条迁移链表，获取已经匹配的数据节点的资源负载，若第一迁移链表V_i的资源负载G满足G＜T，则维持该迁移链表不变，进入步骤10，反之，进入步骤9，T为预设的负载阈值；

步骤9：虚拟机切断第一迁移链表V_i，第一迁移链表V_i对应的关系节点P_i进入迁移等待池，迁移链表V_i对应的数据节点R_i进入空闲状态，虚拟机生成一日志文件至迁移模块；

步骤10：若第一迁移期结束，进入步骤11，否则返回至步骤8；

步骤11：迁移等待池内包含k个关系节点，k≤n，迁移模块基于日志文件和配置信息表匹配关系节点P_i与数据节点R_i，i=1,2,…,k，建立第二迁移链表V_i＇，进入第二迁移期，完成数据传输。

在本发明中，迁移模块根据未完成配置信息表匹配的m-n个数据节点，生成m-n个数据需求表，并将数据需求表发送至用户端。

在本发明中，迁移指令通过迁移模块选取第二数据库，配置信息表包括所属服务器、所属数据库、所属文档、迁移文档上限、缓存信息。

在本发明中，第一映射表为群组工作平台发文表单，群组工作平台发文表单按读取顺序依次包括拟稿人、标题、正文、附件、审批记录，第二映射表为EKP发文表单，EKP发文表单按照读取顺序依次包括标题、拟稿人、正文、附件、审批记录。

在本发明中，服务器中生成多个文档对象，所述多个文档对象为第一标签。

在本发明中，服务器中生成多个模型类代码，绑定来自模型中至少一个的属性值，该属性值为第二标签。

在本发明中，虚拟机计算n条迁移链表的资源占用率，获取资源负载G包括I/O负荷g₁、存储负荷g₂、网络负荷g₃，G=(w₁g₁+w₂g₂+w₃g₃)/(w₁+w₂+w₃)，其中，w₁为I/O负荷g₁的权值，w₂为存储负荷g₂的权值，w₃为网络负荷g₃的权值。

在本发明中，I/O负荷g₁=F_i ⁿ/(1-F)，存储负荷g₂=L_i ⁿ/(1-L)，网络负荷g₃=B_i ⁿ/(1-B)，其中，i=1,2,…,n，F_i ⁿ为数据节点i的I/O占用率，F为第二数据库的I/O占用率，L_i ⁿ为数据节点i的空间占用率，L为第二数据库的空间占用率，B_i ⁿ为数据节点i的网络占用率，B为第二数据库的网络占用率。

本发明中，步骤7中，n个关系节点读取配置信息表，生成一索引符，m个数据节点读取配置信息表，生成一标识符，索引符与标识符配对，建立n个关系节点传输数据流至m个数据节点。

一种基于迁移链表的异构数据库迁移管理方法的管理系统，包括：第一数据库、第二数据库、服务器、迁移模块、多个备查模块、用户端，

第一数据库为待传输数据库，应用于群组工作平台的数据库组件；

 第二数据库为待接收数据库，应用于Java Spring框架下的任意数据库组件；

服务器与第一数据库、第二数据库相连接，服务器包括多个虚拟机，虚拟机对第一数据库中n个关系节点以及第二数据中m个数据节点的资源参数进行监控，计算n个关系节点与m个数据节点的资源负载G；

迁移模块用于接收第一数据库与第二数据库的第一映射表与第二映射表，建立第一数据库n个关系节点与第二数据库m个数据节点的配对，其中包含迁移等待池，若第一迁移链表V_i的资源负载G满足G＜T，则维持该迁移链表不变，反之，虚拟机切断第一迁移链表V_i，第一迁移链表V_i对应的关系节点P_i进入迁移等待池，其中，T为预设的负载阈值；

多个备查模块分别对应唯一一个数据库，其中包括第一备查模块K₁、第二备查模块K₂，第一备查模块K₁具有可调用第一数据库的所有权限，第二备查模块K₂具有可调用第二数据的所有权限；

用户端为计算机平台上基于.net构建的数据迁移平台，其中包括文档配置、字段配置、迁移日志、服务器配置的选项。

实施本发明的基于迁移链表的异构数据库迁移管理方法及系统，具有以下有益效果：通过迁移链表建立第一数据库关系节点与第二数据库数据节点之间的连接，按照配置信息表实现指定信息的迁移路径，有效减少了异构数据库大规模信息迁移的故障发生率，提高了大规模信息迁移的效率，在同等的迁移时间内，本发明提供的技术手段相比现有技术可以实现更大容量、更加精准的信息迁移效果。另外，通过在服务器内配置虚拟机监测关系节点与数据节点迁移链表的资源负载，减轻了数据节点在信息迁移过程中的负载，选择最优迁移路径完成信息迁移，进一步的提高了数据迁移的效率。

附图说明

图1为本发明中群组工作平台与关系型数据库平台执行信息迁移过程的底层逻辑示意图；

图2为本发明的基于迁移链表的异构数据库迁移管理方法的流程图；

图3为本发明建立第一迁移链表的示意图；

图4为本发明的群组工作平台与关系数据库平台通过第一映射表与第二映射表连接后的读取顺序变化示意图；

图5为本发明的基于迁移链表的用于实现异构数据库迁移管理方法的管理系统的硬件框图。

实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种异构数据库信息迁移的管理方法及系统，参照图1，迁移模块连接群组工作平台与关系型数据库平台，其中群组工作平台的数据库存储格式为NSF数据，关系型数据库平台的数据库存储格式为SQL DB，通过确定迁移信息的种类，建立第一数据库关系节点与第二数据库数据节点之间的连接，并通过在服务器内配置虚拟机监测关系节点与数据节点迁移链表的资源负载，匹配最优化的关系节点与数据节点迁移路径。

在服务器内单独建立ekp迁移环境，根据信息迁移要求制定用于迁移的功能模块，具体配置包括群组工作平台的ip地址、diiop端口、用户密码。在群组工作平台中的Directory(name.nsf)中的Server文档配置页面内执行如下预处理步骤：

打开Internet协议页签的Http页签，打开“允许HTTP客户浏览数据库”，并在安全页签内设置Java/Com限制，运行有限制和无限制的java/javascript/com:*，打开端口页签中Internet页签的IIOP页签，设置HTTP的端口号，设置验证选型的口令与名。

在本实施例中，服务器上启动HTTP与DIIOP任务，需要确保上述任务在Notes.ini文件的Server Tasks变量的任务列表中，在Server文档配置之后，所述任务应该包含在现有任务列表中，Notes.ini文件需要包含下述行：

 ServerTasks=Update,Replica,Router,AMgr,

 AdminP,CalConn,Sched,DIIOP,HTTP,LDAP

 关闭用户端访问ekp系统与群组工作平台的系统权限，在信息迁移中预备部分信息作为迁移完成后的核对资料。执行如下的迁移过程，用到本发明实施的一种基于迁移链表的异构数据库迁移管理方法，参照图2，包括以下步骤：

步骤1：在服务器中配置有多个JVM类虚拟机，所述虚拟机接收来自用户端的迁移指令，按照数据传输容量设置一负载阈值T，基于迁移指令生成至少一个的配置信息表，迁移指令通过用户端选取转移数据对象，配置信息表包括所属服务器、所属数据库、所属文档、迁移文档上限、缓存信息，服务器发送配置信息表至多个备查模块。

在本实施例中，若服务器u数据传输容量为C，则该服务器所能够承载第一数据库、第二数据库的访问开销为M，服务器信息迁移的频率为f，则该条件下设定的负载阈值T=C+(M×f)，一般情况下，T的取值范围可在70%-85%之间。任意一服务器处理不同数据库之间信息迁移过程的负载阈值T为动态变化的。

步骤2：多个备查模块读取配置信息表，提取配置信息表中所属数据库信息，配置信息表中所属数据库信息中包含第一备查模块K₁、第二备查模块K₂，第一备查模块K₁关闭第一数据库的传输通道，此时第一数据库接入第一备查模块K₁，第一备查模块K₁基于配置信息表生成多个第一标签。在本实施例中，第一数据库中在服务器中生成多个文档对象，所述多个文档对象为第一标签。

步骤3：第一数据库读取第一标签，并根据数据库的底层逻辑结构展开n个关系节点，各个关系节点为群组工作平台发文表单中读取n个关系节点的存储信息，生成第一映射表，第一映射表为群组工作平台发文表单，其中按读取顺序依次为拟稿人、标题、正文、附件、审批记录，第一数据库的第一备查模块K₁发送第一映射表至迁移模块。

步骤4：参照图3，迁移模块基于第一映射表遍历除第一备查模块K₁以外的备查模块，第一映射表中包含有i个关系节点的存储信息，迁移模块选定至少一个的第二备查模块K₂为迁移对象。其中，第一映射表的群组工作平台发文表单中包含多个数据块，任意一个数据块对应单独的控制请求。

步骤5：第二备查模块K₂控制第二数据库的传输通道，迁移模块基于第一映射表选定第一备查模块K₁为数据库信息的迁出方，第二备查模块K₂为数据库信息的接收方，第二备查模块K₂关闭第二数据库的传输通道，第二数据库接入服务器，基于配置信息表生成多个第二标签。在本实施例中，第二数据库中在服务器中生成多个模型类代码，其绑定来自模型中至少一个的属性值，该属性值为第二标签。

步骤6：第二数据库读取第二标签，并展开m个数据节点，读取m个数据节点的存储信息，生成第二映射表，发送至迁移模块。其中，第二映射表为EKP发文表单，其中包括按照读取顺序依次为标题、拟稿人、正文、附件、审批记录。参照图4，第一映射表与第二映射表在迁移模块内的读取顺序发生改变，分别用于匹配群组工作平台发文表单以及EKP发文表单。

步骤7：迁移模块建立第一映射表与第二映射表的连接，其中，n个关系节点与m个数据节点基于配置信息表相互匹配，n≤m，建立第一迁移链表V_i，i=1,2,…,n，未完成配置信息表匹配的m-n个数据节点进入空闲状态。

在本实施例中，n个关系节点为数据库信息迁出方，m个数据节点为数据库信息接收方，n个关系节点读取配置信息表，生成一索引符，m个数据节点读取配置信息表，生成一标识符，索引符与标识符配对，建立n个关系节点传输数据流至m个数据节点。

步骤8：虚拟机基于迁移链表迁移数据，迁移链表开始迁移信息，虚拟机周期性遍历n条迁移链表，获取已经匹配的数据节点的资源负载，若第一迁移链表V_i的资源负载G满足G＜T，则维持该迁移链表不变，反之，进入步骤9，T为预设的负载阈值。

在本实施例中，虚拟机计算n条迁移链表的资源占用率，获取资源负载G包括I/O负荷g₁、存储负荷g₂、网络负荷g₃，G=(w₁g₁+w₂g₂+w₃g₃)/(w₁+w₂+w₃)，其中，w₁为I/O负荷g₁的权值，w₂为存储负荷g₂的权值，w₃为网络负荷g₃的权值，w₁+ w₂+w₃≠1。其中，I/O负荷g₁=F_i ⁿ/(1-F)，存储负荷g₂=L_i ⁿ/(1-L)，网络负荷g₂=B_i ⁿ/(1-B)，其中，i=1,2,…,n，F_i ⁿ为数据节点i的I/O占用率，F为第二数据库的I/O占用率，L_i ⁿ为数据节点i的空间占用率，L为第二数据库的空间占用率，B_i ⁿ为数据节点i的网络占用率，B为第二数据库的的网络占用率。其中，I/O占用率是指数据节点或第二数据库占用I/O端口数量与所在硬件设备的I/O端口总数之比，；空间占用率是指数据节点或第二数据库占用存储空间的大小与存储空间总大小之比，；网络占用率是指数据节点或第二数据库占用网络带宽资源与网络带宽总资源之比，。

步骤9：虚拟机切断第一迁移链表V_i，第一迁移链表V_i对应的关系节点P_i进入迁移等待池，第一迁移链表V_i对应的数据节点R_i进入空闲状态，虚拟机生成一日志文件至迁移模块，若第一迁移期结束，进入步骤10，否则返回至步骤8。

在本实施例中，迁移等待池中包含多个已切断迁移链表的关系节点，迁移等待池为存储的所有关系节点分配一时间戳，虚拟机生成的日志文件中包含有迁移等待池中所有关系节点的时间戳。

步骤10：等待所有关系节点均建立迁移链表后，迁移等待池内包含k个关系节点，k≤n，迁移模块基于日志文件和配置信息表匹配关系节点P_i与数据节点R_i，i=1,2,…,k，建立第二迁移链表V_i＇，进入第二迁移期，完成数据传输。

参照图5的本发明的这种基于迁移链表的异构数据库迁移管理方法的管理系统，包括：第一数据库、第二数据库、服务器、迁移模块、多个备查模块、用户端。其中，第一数据库为待传输数据库，应用于群组工作平台的数据库组件。第二数据库为待接收数据库，应用于Java Spring框架下的任意数据库组件。

服务器与第一数据库、第二数据库相连接，服务器包括多个虚拟机，虚拟机对第一数据库中n个关系节点以及第二数据中m个数据节点的资源参数进行监控，计算n个关系节点与m个数据节点的资源负载G。

迁移模块用于接收第一数据库与第二数据库的第一映射表与第二映射表，建立第一数据库n个关系节点与第二数据库m个数据节点的配对，其中包含迁移等待池，所述迁移等待池中存储有资源负载G＜T的迁移链表所对应的关系节点信息。

迁移模块用于接收第一数据库与第二数据库的第一映射表与第二映射表，建立第一数据库n个关系节点与第二数据库m个数据节点的配对，其中包含迁移等待池，所述迁移等待池中存储有资源负载G＜T的迁移链表所对应的关系节点信息。多个备查模块分别对应唯一一个数据库，其中包括第一备查模块K₁、第二备查模块K₂，第一备查模块K₁具有可调用第一数据库的所有权限，第二备查模块K₂具有可调用第二数据的所有权限。用户端为计算机平台上基于.net构建的数据迁移平台，其中包括文档配置、字段配置、迁移日志、服务器配置的选项。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改，等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种基于迁移链表的异构数据库迁移管理方法，其特征在于，包括以下步骤：

步骤1：服务器内配置有多个虚拟机，虚拟机接收来自用户端的迁移指令，生成至少一个配置信息表，并发送至多个备查模块；

步骤2：第一备查模块K₁关闭第一数据库的传输通道，基于配置信息表生成多个第一标签，第一数据库接入服务器，其中，服务器中生成多个文档对象，所述多个文档对象为第一标签；

步骤3：第一数据库读取第一标签，并展开第一标签中的n个关系节点，读取n个关系节点的存储信息，生成第一映射表，发送至迁移模块；

步骤4：迁移模块遍历除第一备查模块K₁以外的备查模块，选定至少一个第二备查模块K₂为迁移对象；

步骤5：第二备查模块K₂关闭第二数据库的传输通道，基于配置信息表生成多个第二标签，第二数据库接入服务器，服务器中生成多个模型类代码，绑定来自模型中至少一个的属性值，该属性值为第二标签；

步骤6：第二数据库读取第二标签，并展开m个数据节点，读取数据节点的存储信息，生成第二映射表，发送至迁移模块；

步骤7：迁移模块建立第一映射表与第二映射表的连接，其中，n个关系节点与m个数据节点基于配置信息表相互匹配，n≤m，建立第一迁移链表V_i，i=1,2,…,n，未完成配置信息表匹配的m-n个数据节点进入空闲状态，进入第一迁移期；

步骤8：虚拟机基于迁移链表迁移数据，虚拟机周期性遍历n条迁移链表，获取已经匹配的数据节点的资源负载，若第一迁移链表V_i的资源负载G满足G＜T，则维持该迁移链表不变，进入步骤10，反之，进入步骤9，T为预设的负载阈值；

步骤9：虚拟机切断第一迁移链表V_i，第一迁移链表V_i对应的关系节点P_i进入迁移等待池，迁移链表V_i对应的数据节点R_i进入空闲状态，虚拟机生成一日志文件至迁移模块；

步骤10：若第一迁移期结束，进入步骤11，否则返回至步骤8；

步骤11：迁移等待池内包含k个关系节点，k≤n，迁移模块基于日志文件和配置信息表匹配关系节点P_i与数据节点R_i，i=1,2,…,k，建立第二迁移链表V_i＇，进入第二迁移期，完成数据传输，迁移模块根据未完成配置信息表匹配的m-n个数据节点，生成m-n个数据需求表，并将数据需求表发送至用户端。

2.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，迁移指令通过迁移模块选取第二数据库，配置信息表包括所属服务器、所属数据库、所属文档、迁移文档上限、缓存信息。

3.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，第一映射表为群组工作平台发文表单，群组工作平台发文表单按读取顺序依次包括拟稿人、标题、正文、附件、审批记录，第二映射表为EKP发文表单，EKP发文表单按照读取顺序依次包括标题、拟稿人、正文、附件、审批记录。

4.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，虚拟机计算n条迁移链表的资源占用率，获取资源负载G包括I/O负荷g₁、存储负荷g₂、网络负荷g₃，G=(w₁g₁+w₂g₂+w₃g₃)/(w₁+w₂+w₃)，其中，w₁为I/O负荷g₁的权值，w₂为存储负荷g₂的权值，w₃为网络负荷g₃的权值。

5.根据权利要求4所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，I/O负荷g₁=F_i ⁿ/(1-F)，存储负荷g₂=L_i ⁿ/(1-L)，网络负荷g₃=B_i ⁿ/(1-B)，其中，i=1,2,…,n，F_i ⁿ为数据节点i的I/O占用率，F为第二数据库的I/O占用率，L_i ⁿ为数据节点i的空间占用率，L为第二数据库的空间占用率，B_i ⁿ为数据节点i的网络占用率，B为第二数据库的网络占用率。

6.根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法，其特征在于，步骤7中，n个关系节点读取配置信息表，生成一索引符，m个数据节点读取配置信息表，生成一标识符，索引符与标识符配对，建立n个关系节点传输数据流至m个数据节点。

7.一种根据权利要求1所述的基于迁移链表的异构数据库迁移管理方法的管理系统，包括：第一数据库、第二数据库、服务器、迁移模块、多个备查模块、用户端，

第一数据库为待传输数据库，应用于群组工作平台的数据库组件；

第二数据库为待接收数据库，应用于Java Spring框架下的任意数据库组件；

服务器与第一数据库、第二数据库相连接，服务器包括多个虚拟机，虚拟机对第一数据库中n个关系节点以及第二数据中m个数据节点的资源参数进行监控，计算n个关系节点与m个数据节点的资源负载G；

迁移模块用于接收第一数据库与第二数据库的第一映射表与第二映射表，建立第一数据库n个关系节点与第二数据库m个数据节点的配对，其中包含迁移等待池，若第一迁移链表V_i的资源负载G满足G＜T，则维持该迁移链表不变，反之，虚拟机切断第一迁移链表V_i，第一迁移链表V_i对应的关系节点P_i进入迁移等待池，其中，T为预设的负载阈值；

多个备查模块分别对应唯一一个数据库，其中包括第一备查模块K₁、第二备查模块K₂，第一备查模块K₁具有可调用第一数据库的所有权限，第二备查模块K₂具有可调用第二数据的所有权限；

用户端为计算机平台上基于.net构建的数据迁移平台，其中包括文档配置、字段配置、迁移日志、服务器配置的选项。

Images