CN118012849A - 一种智能数据迁移方法及系统 - Google Patents

Abstract

本申请涉及数据库技术领域，提供了一种智能数据迁移方法及系统。该方法包括：通过获取源端数据库的数据结构，生成目标数据库的数据模型，并基于动态映射规则，将源端数据库中的数据迁移至目标数据库，通过自动化方式构建目标数据库的数据模型，避免了人工配置导致的效率低的问题，提高了数据迁移的效率。

Description

一种智能数据迁移方法及系统

技术领域

本发明涉及数据库技术领域，尤其是涉及一种智能数据迁移方法及系统。

背景技术

随着企业经营数据量的不断增长和业务需求变化，数据迁移成为实现数据整合、转移和更新的重要环节。

现有技术中，数据迁移的目标是将数据从源端系统迁移到一个全新的目标库，迁移时通常需要手动配置目标库的数据模型和映射规则，工作繁琐，导致数据迁移效率低。

发明内容

针对上述现有技术的不足，本发明提供一种智能数据迁移方法及系统。

一种智能数据迁移方法，所述方法包括：

获取源端数据库的数据结构；

根据所述数据结构，生成目标数据库的数据模型；

基于动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库；

其中，所述源端数据库和所述目标数据库为连接状态。

在本发明一个实施例中，所述获取源端数据库的数据结构，包括：

获取所述源端数据库的元数据；

对所述元数据进行数据分析，识别所述元数据中携带的数据类型、数据关系和数据表关联关系；

基于所述的数据类型、数据关系和数据表关联关系，构建所述源端数据库的数据结构。

在本发明一个实施例中，所述根据所述数据结构，生成目标数据库的数据模型，包括：

基于所述数据结构，对源端数据库和目标数据库中的字段进行相似性分析；

基于相似性分析的结果，通过智能数据模型生成算法处理所述数据结构，得到目标数据库的数据模型；

其中，所述数据模型中至少包括目标数据库的结构、关系、属性。

在本发明一个实施例中，所述方法还包括：

配置所述源端数据库的字段与目标数据库中字段的映射关系、动态映射条件和映射操作；

根据所述映射关系、动态映射条件和映射操作，得到所述动态映射规则；

其中，所述映射关系包括字段的相似性、数据类型的对应关系；所述动态映射条件用于测试待映射字段是否触发映射条件；所述映射操作用于定义在满足所述动态映射条件时执行的操作。

在本发明一个实施例中，所述基于动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库，包括：

通过迁移执行引擎，运行所述动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库。

在本发明一个实施例中，所述根据所述数据结构，生成目标数据库的数据模型之后，所述方法还包括：

根据所述目标数据库的设计性能参数，优化所述数据模型。

在本发明一个实施例中，还包括：

将所述动态映射规则和所述数据模型备份。

一种智能数据迁移系统，所述系统分别与源端数据库和目标数据库连接，所述系统包括：

数据处理模块，用于从源端数据库中提取元数据，并进行分析得到源端数据库的数据结构；

智能模型生成模块，用于根据所述数据结构，得到所述目标数据库的数据模型；

动态映射规则模块，用于生成所述源端数据库与所述目标数据库之间的动态映射规则，以使得所述目标数据库适应所述源端数据库的结构变更；

迁移执行引擎，用于执行所述动态映射规则，将源端数据库的数据自动迁移至所述目标数据库。

在本发明一个实施例中，所述系统还包括：存储模块，用于存储所述数据模型和所述动态映射规则。

在本发明一个实施例中，所述系统还包括：

优化模块，用于根据所述目标数据库的设计性能参数，优化所述数据模型。

本发明通过获取源端数据库的数据结构，生成目标数据库的数据模型，并基于动态映射规则，将源端数据库中的数据迁移至目标数据库，通过自动化方式构建目标数据库的数据模型，避免了人工配置导致的效率低的问题，提高了数据迁移的效率。

附图说明

图1为本发明一个实施例中提供的智能数据迁移方法的流程示意图；

图2为本发明另一个实施例中提供的智能数据迁移方法的流程示意图；

图3为本发明一个实施例中提供的智能数据迁移系统的结构框图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

需要说明的是，本发明实施例所涉及的术语“第一\第二”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二”在允许的情况下可以互换特定的顺序或先后次序。应该理解“第一\第二”区分的对象在适当情况下可以互换，以使这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

数据迁移是将数据从一个存储系统或计算环境转移到另一个存储系统或计算环境的过程，其中，目标库既没有现有的表结构，也没有预先定义的数据模型。传统的数据迁移方法为手动创建目标库的数据模型和映射规则，不仅繁琐耗时，而且容易引入错误。此外，当源端数据库结构变化或迁移需求发生变更时，现有的迁移方案通常缺乏自适应性，需要大量的人工干预。为了解决上述问题，提出了本申请提出了一种智能数据迁移方法，从零开始生成目标库的数据模型，利用数据结构分析和智能模型生成算法，实现源端数据库结构到目标库数据模型的自动映射和迁移。

本申请提供的智能数据迁移方法，可以应用于服务器，该服务器可以用独立的服务器或者是多个服务器组成的服务器集群来实现。

在一个实施例中，如图1所示，提供了一种智能数据迁移方法，以该方法应用于服务器为例进行说明，包括以下步骤：

S110，获取源端数据库的数据结构。

其中，数据结构指的是计算机中存储、组织数据的方式。数据结构是一种具有一定逻辑关系，在计算机中应用某种存储结构，并且封装了相应操作的数据元素集合。它包含三方面的内容，逻辑关系、存储关系及操作。

具体实现中，服务器可以通过数据库查询语言(Structured Query Language，SQL)或应用程序编程接口(Application Programming Interface，API)访问源端数据库，以提取该数据库的数据结构。

S120，根据所述数据结构，生成目标数据库的数据模型。

其中，目标数据库的数据模型，指的是目标数据库的表示关系数据对象(例如，表、列、主键和外键)及其关系。

具体实现中，服务器可以根据分析源端数据库的数据结构，识别源端数据库的数据结构的层级、数据之间的逻辑关系、以及源端数据库和目标数据库的字段相似性，提炼其中的结构、关系、属性，以及字段等，生成目标数据库的数据模型，以确保生成模型和源端数据库结构相匹配。

S130，基于动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库；

其中，动态映射规则，是在生成目标数据库的数据模型时，生成的源端数据库的字段与目标数据库中的目标字段进行匹配的机制。当执行数据迁移时，符合动态映射规则的数据将从源端数据库中迁移至目标数据库的相应字段。

具体实现中，服务器可以通过执行迁移引擎，通过动态映射规则，进行数据转换、加载、验证，将数据从源端数据库迁移至目标数据库，确保数据在迁移过程中的一致性和完整性。

上述智能数据迁移方法中，获取源端数据库的数据结构，生成目标数据库的数据模型，并基于动态映射规则，将源端数据库中的数据迁移至目标数据库，通过自动化方式构建目标数据库的数据模型，避免了人工配置导致的效率低的问题，提高了数据迁移的效率。

在一个实施例中，S110中确定取源端数据库的数据结构的步骤包括：

获取所述源端数据库的元数据；对所述元数据进行数据分析，识别所述元数据中携带的数据类型、数据关系、数据字段和数据表关联关系；基于所述的数据类型、数据关系、数据字段和数据表关联关系，构建所述源端数据库的数据结构。

本实施例中，服务器建立到源端数据库和目标库的连接。通过配置合适的数据库连接参数，确保系统能够访问源端数据库和目标库。使用数据库查询语言(SQL)或相关API，抽取源端数据库的元数据，包括表名、字段名、数据类型、键、索引等信息，对抽取的元数据进行分析，以识别不同的数据类型、关系以及数据表之间的关联关系，构建源端数据库的数据结构。

上述实施例的方案，自动提取并分析源端数据库的数据结构，为确定目标数据库的数据模型提供基础数据，提升了目标数据库的数据模型构建的效率。

在一个实施例中，S120中确定根据所述数据结构，生成目标数据库的数据模型的步骤包括：

基于所述数据结构，对源端数据库和目标数据库中的的字段进行相似性分析；基于相似性分析的结果，通过智能数据模型生成算法处理所述数据结构，得到目标数据库的数据模型。其中，所述数据模型中至少包括目标数据库的结构、关系、属性。

本实施例中，服务器可以预先配置智能数据模型生成算法模型，，用于基于源端数据库的数据结构，生成目标数据库的数据模型，并能够根据实际迁移任务的反馈经验，动态调整模型生成过程中的权重和规则。在一些情况下，智能数据模型生成算法模型可以是迁移学习算法，迁移学习可以用于构建目标数据库的数据模型。当源数据库和目标数据库之间存在一定的相关性或相似性时，迁移学习可以帮助将从源数据库学到的知识和模式迁移到目标数据库上，从而加速目标数据库数据模型的构建和优化过程，同时在迁移策略上，根据源数据库和目标数据库的数据特点和模型需求，实现数据模型之间的无缝迁移和知识传递。此处对迁移学习的模型选型不做具体限定。

具体实现中，在获取源端数据库的数据结构的基础上，服务器可以算法进行源端数据库和目标数据库的字段相似性分析。通过比较字段名、数据类型、约束等属性，确定在源端和目标库中具有相似特征的字段。这有助于建立初始的字段映射关系。其中，相似度算法可以是现有技术中可以文本相似度计算功能的算法，此处不做具体限定。

利用相似性分析的结果，智能数据模型生成算法模型根据源端数据库的数据结构生成目标库的数据模型。该数据模型中，包括目标数据中的表的结构、关系、主键、外键等定义，确保生成的模型与源端数据库结构相匹配。

上述实施例的方案，通过智能算法实现源端数据库的数据结构生成目标数据库的数据模型，实现了目标数据库的自动化配置，提升了配置效率和准确性。

在一个实施例中，上述各实施例的方法还包括：

配置所述源端数据库的字段与目标数据库中字段的映射关系、动态映射条件和映射操作；根据所述映射关系、动态映射条件和映射操作，得到所述动态映射规则；

其中，所述映射关系包括字段的相似性、数据类型的对应关系；所述动态映射条件用于测试待映射字段是否触发映射条件；所述映射操作用于定义在满足所述动态映射条件时执行的操作。

本实施例中，服务器在生成目标数据库的数据模型时，根据源端数据库和目标数据库之间的关系，配置动态映射规则。该动态映射规则包括映射关系、动态映射条件和映射操作，以确定源端数据库中的数据迁移到目标数据库时的对应关系、验证条件，以及如何执行迁移操作。

在一些情况下，数据迁移还可能涉及存储架构方面的考虑因素，例如更改数据类型。通过配置动态映射规则，可以在源端数据库结构变更的情况下，自动调整。

上述实施例的方案，通过配置动态映射规则，提升了数据迁移的一致性和可靠性。

在一个实施例中，服务器可以根据待迁移数据选择对应的执行引擎，利用迁移执行引擎，自动执行数据迁移操作。引擎根据生成的动态映射规则进行数据转换、加载、验证等步骤，确保数据在迁移过程中的一致性和完整性。

在一个实施例中，在生成数据模型之后，服务器可以根据目标数据库的设计性能参数，优化数据模型，以匹配需求，避免复杂业务数据情况下导致的结构错误。服务器可以通过执行多次数据模型生成过程来筛选最合适的数据模型，也可以根据识别出来的异常进行针对性修正。

在一个实施例中，服务器可以将生成的映射规则和数据模型存储在专门的存储中进行备份，以备将来的数据迁移任务使用。这提高了映射规则的可重用性，减少了重复的分析工作。

在一个实施例中，智能数据模型生成算法可以引入了自适应性和自学习机制，使算法能够根据实际迁移任务的反馈经验，动态调整模型生成过程中的权重和规则。这有助于算法更好地适应不同类型的数据库结构和迁移任务。

在一个实施例中，如图2所示，提供了一种智能数据迁移方法，包括：

步骤S210，智能数据迁移系统连接到源端数据库和目标数据库。通过配置合适的数据库连接参数，确保系统能够访问源端数据库和目标库。

步骤S220，抽取源端数据库元数据。使用数据库查询语言(SQL)或相关API，抽取源端数据库的元数据，包括表名、字段名、数据类型、键、索引等信息。这些元数据将用于后续的数据结构分析。

步骤S230，运行智能数据迁移系统的数据结构分析模块，对抽取的元数据进行分析。该模块识别不同的数据类型、关系以及数据表之间的关联关系，并构建源端数据库的数据结构图。

步骤S240，智能数据模型生成。应用智能数据模型生成算法，根据数据结构图生成目标库的数据模型。算法考虑到源端数据库的数据结构，生成目标库表的结构、关系、主键、外键等定义。

步骤S250，动态映射规则生成：在模型生成的同时，创建动态映射规则。这些规则能够根据数据类型、字段名相似性等动态调整，确保在源端数据库结构变更时仍能够正确映射数据。

步骤S260，目标库数据模型优化。优化生成的目标库数据模型，考虑到目标库的性能要求、索引设计等因素。这确保了生成的数据模型符合目标库的最佳实践。

步骤S270，映射规则存储和管理。将生成的映射规则和数据模型存储在相应的存储中，以备将来的数据迁移任务使用。这提高了映射规则的可重用性，减少了重复的分析工作。

步骤S280，迁移执行引擎的应用。使用迁移执行引擎，根据生成的映射规则自动执行数据迁移操作。这包括数据转换、加载、验证等步骤，确保数据在迁移过程中的一致性和完整性。

上述实施例的方法，通过智能数据模型生成和迁移机制，实现了从源端数据库到目标库的自动化映射，减少了手动干预的需求。这提高了数据迁移的效率。引入了动态映射规则生成机制，系统能够适应源端数据库结构的变化。通过自动数据模型生成和映射规则生成，减少了手动创建数据模型和映射规则的工作量，从而降低了由人为错误引起的数据不一致性的风险。智能数据模型生成确保了目标库的数据模型与源端数据库结构的一致性，从而提高了数据迁移过程中的数据一致性。这有助于保持业务数据的准确性和完整性。自动化和智能化的迁移过程减少了人工干预，降低了迁移过程的时间和成本。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明所必须的。

在一个实施例中，如图3所示，提供了一种智能数据迁移系统，系统分别与源端数据库和目标数据库连接，该系统包括：

数据处理模块，用于从源端数据库中提取元数据，并进行分析得到源端数据库的数据结构；

智能模型生成模块，用于根据所述数据结构，得到所述目标数据库的数据模型；

动态映射规则模块，用于生成所述源端数据库与所述目标数据库之间的动态映射规则，以使得所述目标数据库适应所述源端数据库的结构变更；

迁移执行引擎，用于执行所述动态映射规则，将源端数据库的数据自动迁移至所述目标数据库。

上述系统，构建源端数据库和目标数据库的连接，通过数据处理模块得到源端数据库的数据结构，并通过算法基于数据结构得到目标数据库的数据模型，进而配置源端数据库和目标数据库之间的动态映射规则，通过迁移执行引擎执行动态映射规则，将源端数据库的数据自动迁移至所述目标数据库。通过自动化方式构建目标数据库的数据模型，避免了人工配置导致的效率低的问题，提高了数据迁移的效率。

在一个实施例中，系统还包括，存储模块，用于存储所述数据模型和所述动态映射规则。

在一个实施例中，系统还包括：优化模块，用于根据所述目标数据库的设计性能参数，优化所述数据模型。

本领域技术人员可以理解，图3中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种智能数据迁移方法，其特征在于，所述方法包括：

获取源端数据库的数据结构；

根据所述数据结构，生成目标数据库的数据模型；

基于动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库；

其中，所述源端数据库和所述目标数据库为连接状态。

2.根据权利要求1所述的方法，其特征在于，所述获取源端数据库的数据结构，包括：

获取所述源端数据库的元数据；

对所述元数据进行数据分析，识别所述元数据中携带的数据类型、数据关系和数据表关联关系；

基于所述的数据类型、数据关系和数据表关联关系，构建所述源端数据库的数据结构。

3.根据权利要求1所述的方法，其特征在于，所述根据所述数据结构，生成目标数据库的数据模型，包括：

基于所述数据结构，对源端数据库和目标数据库中的字段进行相似性分析；

基于相似性分析的结果，通过智能数据模型生成算法处理所述数据结构，得到目标数据库的数据模型；

其中，所述数据模型中至少包括目标数据库的结构、关系、属性。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

配置所述源端数据库的字段与目标数据库中字段的映射关系、动态映射条件和映射操作；

根据所述映射关系、动态映射条件和映射操作，得到所述动态映射规则；

其中，所述映射关系包括字段的相似性、数据类型的对应关系；所述动态映射条件用于测试待映射字段是否触发映射条件；所述映射操作用于定义在满足所述动态映射条件时执行的操作。

5.根据权利要求1所述的方法，其特征在于，所述基于动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库，包括：

通过迁移执行引擎，运行所述动态映射规则，将所述源端数据库中的数据迁移至所述目标数据库。

6.根据权利要求1至5任一项所述的方法，其特征在于，所述根据所述数据结构，生成目标数据库的数据模型之后，所述方法还包括：

根据所述目标数据库的设计性能参数，优化所述数据模型。

7.根据权利要求1至5任一项所述的方法，其特征在于，还包括：

将所述动态映射规则和所述数据模型备份。

8.一种智能数据迁移系统，其特征在于，所述系统分别与源端数据库和目标数据库连接，包括：

数据处理模块，用于从源端数据库中提取元数据，并进行分析得到源端数据库的数据结构；

智能模型生成模块，用于根据所述数据结构，得到所述目标数据库的数据模型；

动态映射规则模块，用于生成所述源端数据库与所述目标数据库之间的动态映射规则，以使得所述目标数据库适应所述源端数据库的结构变更；

迁移执行引擎，用于执行所述动态映射规则，将源端数据库的数据自动迁移至所述目标数据库。

9.根据权利要求8所述的系统，其特征在于，所述系统还包括：

存储模块，用于存储所述数据模型和所述动态映射规则。

10.根据权利要求9所述的系统，其特征在于，所述系统还包括：

优化模块，用于根据所述目标数据库的设计性能参数，优化所述数据模型。