CN103218402A - 通用的数据库数据结构与数据迁移系统及其方法 - Google Patents

Abstract

本发明涉及一种通用的数据库数据结构与数据迁移的方法与系统，该系统包括中间领域对象模块、数据库适配器模块和标准领域对象存储模块，所述的数据库适配器模块通过其数据库对象分析器对数据库对象进行分析与解构，将数据库对象转换成中间领域对象模块中定义的标准领域对象并进行存储管理，并且可根据用户命令使用不同的数据库适配器将领域对象转换成其他数据库对象；由于其使用中间领域对象技术，因此避免了在两种不同的数据库之间转换时导致的数据库互相依赖问题。同时由于其数据库适配技术的使用，使该系统可以简单的扩展出支持SQL92、SQL95标准的其他数据库。

Description

通用的数据库数据结构与数据迁移系统及其方法

技术领域

本发明涉及计算机信息技术领域，具体涉及一种通用的数据库数据结构与数据迁移系统及其方法。

背景技术

在企业的信息系统开发中，基于产品化的开发模式占有非常重要的地位，从软件的架构复用、编码级复用、数据库复用等各方面提升复用效率，达到产品复用的目的，最终达到提升实施效率、提高产品质量和降低开发成本的目标。其中在实现数据库复用时一般情况下需要支持多种数据库，而在当前的数据库市场中，大部分数据库均支持SQL92、SQL95等标准，但是在具体使用上其均有着带有各自特性的一套体系，在数据类型、数据库函数等方面有着较大的差异使得在多种数据库之间的数据结构与数据的迁移成为一个普遍的问题，如何快速地在多种数据库系统之间同步修改过的数据库对象，包括表结构、主键、外键、唯一键以及表中的数据变得非常重要，这可以极大地降低开发成本，缩短软件开发周期。通过开发一个通用的数据库数据结构与数据迁移的方法与系统，自动化地、快速地在多种数据库之间迁移，使其安全性、稳定性、及时性、高效性均可得到一定的保障。在以往较为常见的企业级信息系统的开发中，一旦涉及到往另外一种数据库迁移时，通常使用人工创建数据库结构并导入数据，或者通过数据库设计工具反向工程并生成新数据库脚本等方式，这些方式方法一般情况存在以下缺点：1、工作量大，企业级信息系统中往往存在数以百计的数据表。2、维护频率高，在开发过程中以及后期的项目维护过程中，数据表往往会持续的发生变化（包括表结构，表数据等），每次变化之后都需要进行数据库同步迁移。3、工作复杂，在信息系统的开发中对数据表及其数据的修改往往只涉及小范围的改动，但是却需要在多种数据库中同步。4、差异性大，不同的数据库之间往往存在比较大的差异，包括语法、函数、关键字、数据类型等，对实施数据库迁移的人员的技术要求高。

经对现有技术进行检索，检索到如下文献：

关键词：数据表

相关检索结果1：

申请（专利）号:201210289191.9名称:一种基于表关联分析的数据表迁移的方法

摘要:本发明公开了一种基于表关联分析的数据表迁移的方法，该方法在预迁移检查模块引入表关联性分析，自动识别需要迁移数据。并采用多线程并行机制进行迁移检查，最后进行数据提取及数据转换产生目标数据，根据目标数据建立新的表以及进行共享表的特殊处理，对共享表进行复制表策略，提高系统并行性，更加适用于分布式系统。在迁移过程采用复制表策略，将对正常用户的影响降到最低。

技术要点比较：

本发明的方法与上述的一种基于表关联分析的数据表迁移的方法的主要区别在于:

1．中间领域对象：本发明基于面向对象方法设计与开发，通过中间领域对象增强了软件的复用性，可以同时支持多种数据库的迁移。

2．自动适配技术：本发明针对企业信息系统的开发过程与维护过程，可自动根据数据库类型选择合适的适配器，减少人工干预的步骤，实现自动化迁移。

发明内容

本发明的目的是克服了上述现有技术中的缺点，提供一种结构简单的应用范围广泛的能够有效的实现数据库结构与数据迁移的方法与系统。

根据本发明的一个方面，提供一种通用的数据库数据结构与数据迁移系统，包括中间领域对象模块、数据库适配器模块、标准领域对象存储模块，其中：

所述数据库适配器模块用于对数据库对象进行分析与解构，将数据库对象转换成中间领域对象模块中定义的领域对象并进行存储管理，并且根据用户命令将领域对象转换成其他数据库对象；

所述数据库适配器模块读取数据库系统表获取数据库对象信息，并在分析与解构数据库对象信息数据之后，将数据库对象信息解析为领域对象送至中间领域对象模块中管理，并发送至标准领域对象存储模块；

所述标准领域对象存储模块在接收到领域对象后，将领域对象存储于系统内存中并写入本地缓存。

优选地，所述数据库适配器模块包括数据库对象分析器组件、数据导入适配器组件、数据库对象与领域对象转换器组件、数据脚本生成器组件，其中：

所述数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息，将数据库对象信息发送至数据库对象分析器组件中，数据库对象分析器组件分析数据库对象信息中的表对象及表对象属性之后，将表对象及表对象属性发送至数据库对象与领域对象转换器组件中，所述数据脚本生成器组件将领域对象发送至数据库对象与领域对象转换器并将领域对象返回的脚本整理输出。

优选地，所述中间领域对象模块包括对象管理器组件和对标准数据库对象建模的组件，所述对标准数据库对象建模的组件包括数据库组件、表组件、列组件、数据行组件、主键组件、外键组件和唯一键组件，所述对标准数据库对象建模的组件被数据库适配器模块中的数据库对象与领域对象转换器创建，所述对标准数据库对象建模的组件均用于实现对标准数据库对象的描述与操作；对象管理器组件用于管理已经创建的中间领域对象。

优选地，所述标准领域对象存储模块包括数据处理组件，所述数据处理组件实现对中间领域对象的读写等操作，支持XML、实时数据库这些方式。

根据本发明的另一个方面，提供一种基于权利要求1至4中任一项所述的通用的数据库数据结构与数据迁移系统的方法，包括以下步骤：

步骤1：数据库适配器模块的数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息；

步骤2：数据库适配器模块的数据库对象分析器组件接收数据导入适配器组件读取的数据库对象原始信息，分析数据库对象的依赖信息及依赖信息的属性；

步骤3：数据库适配器模块的数据库对象与领域对象转换器组件接收数据库对象分析器组件分析后的数据与数据库对象属性数据后，将数据与数据库对象属性数据转换为在系统中通用的标准数据库中间领域对象组件；

步骤4：中间领域对象模块的对象管理器组件和数据库适配器模块的数据库对象与领域对象转换器组件相连接，接收已经创建的中间领域对象并进行管理与维护；

步骤5：标准领域对象存储模块的数据处理组件与中间领域对象模块的对象管理器组件相连接，将对象管理器组件中维护的各种数据库对象存储于相应的介质中；

步骤6：数据库适配器模块的数据脚本生成器组件与中间领域对象模块的对象管理器组件相连接，可以将对象管理器组件中维护的各种数据库对象生成相对应的脚本。

优选地，所述步骤1具体包括以下步骤：

步骤101：数据导入适配器组件从对应的数据库中读取系统表信息来获取数据库对象信息；

步骤102：打包读取到的数据库对象信息，数据库对象信息包括表、列、数据类型、长度、主键、外键、唯一键。

优选地，所述步骤2具体包括以下步骤：

步骤201：数据库分析组件接收打包的数据库对象信息，并分析数据库对象的属性，属性包括：表、列、行、数据类型、长度、主键、外键、唯一键；

步骤202：数据库分析组件在分析好原始数据之后，将分析结果及数据发送到数据库对象与领域对象转换器组件。

优选地，所述步骤3具体包括以下步骤：

步骤301：数据库对象与领域对象转换器组件接收分析过的数据库数据并将数据库数据转换为系统中通用的标准数据库中间领域对象；

步骤302：数据库对象与领域对象转换器组件在转换好数据库中间领域对象后，将数据库中间领域对象返回至中间领域对象模块的对象管理器组件。

优选地，所述步骤4具体包括以下步骤：

步骤401：对象管理器组件接收并管理中间领域对象，开放增、删、改、查这些接口实现对领域对象的管理；

优选地，所述的步骤5具体包括以下步骤：

步骤501：数据处理组件负责将对象管理器组件中维护管理的中间领域对象存储于相应的介质中，其中，数据处理组件所支持的存储介质包括：本地文件、网络，数据处理组件所支持的存储格式包括：XML、数据库表。

优选地，所述的步骤6具体包括以下步骤：

步骤601：数据库脚本生成器负责将维护在对象管理组件中的各种数据库对象生成相应的脚本。

采用本发明上述技术方案，由于中间领域对象技术，因此避免了在需要对原始数据库迁移到多种不同的数据库时，重复的从原始数据库中读取信息的过程，而是通过将原始数据分析整理为符合SQL92、SQL95标准的中间对象，并再次转换为其他数据库对象。同时由于差异性分析技术，避免了对相同的数据结构与数据的覆盖操作，提高了运行效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为根据本发明提供的通用的数据库数据结构与数据迁移系统的模块结构示意图。

图2为根据本发明提供的通用的数据库数据结构与数据迁移系统的架构示意图。

图3为根据本发明提供的通用的数据库数据结构与数据迁移系统中各模块的数据交换方式的示意图。

图4为根据本发明提供的通用的数据库数据结构与数据迁移系统的流程图。

图5为根据本发明提供的通用的数据库数据结构与数据迁移系统的中间领域对象模块类图。

图6为根据本发明提供的通用的数据库数据结构与数据迁移系统的数据库适配器模块类图。

图7为根据本发明提供的通用的数据库数据结构与数据迁移系统的标准领域对象存储模块类图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进。这些都属于本发明的保护范围。

请参阅图1及图2所示，为本发明所提供的通用的数据库数据结构与数据迁移的方法与系统的一种实施方式。其中，图1为该系统的功能模块结构示意图，图2为该系统的系统架构示意图。

该系统包括中间领域对象模块、数据库适配器模块和标准领域对象存储模块，所述的数据库适配器模块通过其数据库对象分析器组件对数据库对象进行分析与解构，将数据库对象转换成中间领域对象模块中定义的领域对象并进行存储管理，并且可根据用户命令使用不同的数据库适配器将领域对象转换成其他数据库对象。

所述的数据库适配器模块包括数据库对象分析器组件、数据导入适配器组件、数据库对象与领域对象转换器组件和数据脚本生成器组件，所述的数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息，将其发送至数据库对象分析器组件中，经过分析其中的表对象及其属性之后将其发送至数据库对象与领域对象转换器组件中。所述的数据脚本生成器组件将领域对象发送至数据库对象与领域对象转换器并将其返回的脚本整理输出。

所述的中间领域对象模块包括对标准数据库对象建模的组件和对象管理器组件，对标准数据库对象建模的组件包括数据库组件、表组件、列组件、数据行组件、主键组件、外键组件和唯一键组件，所述的数据库组件被数据库适配器模块中的数据库对象与领域对象转换器创建，其中包括需要转换的表组件、列组件等各种数据库对象建模组件，这些组件均用于实现对标准数据库对象的描述与操作。对象管理器组件用于管理已经创建的中间领域对象。

所述的标准领域对象存储模块包含数据处理组件，所述的数据处理组件实现对中间领域对象的读写等操作，支持XML、实时数据库等多种方式。

如图3所示，所述的中间领域对象模块、数据库适配器模块和标准领域对象存储模块之间均是进程内通讯。

请参阅图4所示，为本发明所提供的利用所述通用的数据库数据结构与数据迁移系统的方法，该方法包括以下步骤：

步骤（1）：数据库适配器模块的数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息；

步骤（2）：数据库适配器模块的数据库对象分析器组件接收数据导入适配器组件读取的数据库对象原始信息，分析数据库对象的依赖信息及其属性；

步骤（3）：数据库适配器模块的数据库对象与领域对象转换器组件接收数据库对象分析组件分析后的数据与数据库对象属性等数据后将其转换为在系统中通用的标准数据库中间领域对象组件；

步骤（4）：中间领域对象模块的对象管理器组件和数据库适配器模块的数据库对象与领域对象转换器组件相连接，接收已经创建的中间领域对象并进行管理与维护；

步骤（5）：标准领域对象存储模块的数据处理组件与中间领域对象模块的对象管理器组件相连接，将对象管理器组件中维护的各种数据库对象存储于相应的介质中；

步骤（6）：数据库适配器模块的数据脚本生成器组件与中间领域对象模块的对象管理器组件相连接，可以将对象管理器组件中维护的各种数据库对象生成相对应的脚本。

所述通用的数据库数据结构与数据迁移的方法与系统中，所述的中间领域对象模块包括对象管理器组件、数据库组件、表组件、列组件、数据行组件、主键组件、外键组件和唯一键组件，所述的数据库适配器模块包括数据库对象分析器组件、数据导入适配器组件、数据库对象与领域对象转换器组件和数据脚本生成器组件，所述的标准领域对象存储模块包括数据处理组件，所述的步骤（1）具体包括以下步骤：

步骤（11）：数据导入适配器组件从对应的数据库中读取系统表信息来获取数据库对象信息；

步骤（12）：打包读取到的数据库对象信息，其中包括表、列、数据类型、长度、主键、外键、唯一键等等信息；

所述的步骤（2）具体包括以下步骤：

步骤（21）：数据库分析组件接收打包的数据库对象信息，并分析数据库对象的属性，包括：表、列、行、数据类型、长度、主键、外键、唯一键等信息；

步骤（22）：数据库分析组件在分析好原始数据之后，将分析结果及数据发送到数据库对象与领域对象转换器组件；

所述的步骤（3）具体包括以下步骤：

步骤（31）：数据库对象与领域对象转换器组件接收分析过的数据库数据并将其转换为系统中通用的标准数据库中间领域对象；

步骤（32）：数据库对象与领域对象转换器组件在转换好数据库中间领域对象后，将其返回至中间领域对象模块的对象管理器组件；

所述的步骤（4）具体包括以下步骤：

步骤（41）：对象管理器组件接收并管理中间领域对象，开放增、删、改、查等接口实现对领域对象的管理；

所述的步骤（5）具体包括以下步骤：

步骤（51）：数据处理组件负责将对象管理器组件中维护管理的中间领域对象存储于相应的介质中，其中，数据处理组件所支持的存储介质包括：本地文件、网络，数据处理组件所支持的存储格式包括：XML、数据库表；

所述的步骤（6）具体包括以下步骤：

步骤（61）：数据库脚本生成器负责将维护在对象管理组件中的各种数据库对象生成相应的脚本；

如图2所示，是利用本发明的一种通用的数据库数据结构与数据迁移的方法与系统的系统架构示意图。该实施方式中所提供的一种通用的数据库数据结构与数据迁移的方法与系统，其各功能模块及对应的功能如下表1所示：

表1基于一种通用的数据库数据结构与数据迁移的方法与系统的各模块功能表

其中，该系统的各功能模块构成如下：

一、中间领域对象模块由两大部分组成：对象管理器组件负责管理与维护系统中已经生成的数据库对象模块；数据库对象描述组件负责对各种数据库对象进行描述；其中数据库描述组件包括：数据库组件、表组件、列组件、数据行组件、主键组件、外键组件和唯一键组件，如图5所示。

二、数据库适配器模块由四大部分组成：数据库对象分析器组件负责分析数据库中的对象以及属性和依赖关系；数据导入适配器组件负责从对应的数据库系统中读取系统表获取数据库对象信息；数据库对象与领域对象转换器组件负责在数据库对象与领域对象之间互相转换；数据脚本生成器组件负责将对象管理器组件中维护的各种数据库对象生成相对应的脚本。

三、标准领域对象存储模块由一部分组成：数据处理组件负责对中间领域对象的读写等操作，支持XML、实时数据库等多种方式。

在本发明的应用中，首先数据库适配器模块的数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息并将该原始信息发送到数据库适配器模块的数据库对象分析器组件中，分析数据库对象的依赖信息及其属性，数据库适配器模块的数据库对象与领域对象转换器组件接收数据库对象分析组件分析后的数据与数据库对象属性等数据后将其转换为在系统中通用的标准数据库中间领域对象组件，由中间领域对象模块的对象管理器组件，接收已经创建的中间领域对象并进行管理与维护，标准领域对象存储模块的数据处理将对象管理器组件中维护的各种数据库对象存储于相应的介质中,然后数据库适配器模块的数据脚本生成器组件响应数据库对象管理器组件的请求将对象管理器组件中维护的各种数据库对象生成相对应的脚本。

采用本发明的通用的数据库数据结构与数据迁移的方法与系统，可以将以往开发过程中经常需要反复的数据库迁移工作自动完成，避免了由于人工介入导致的不稳定性，以及节约了这部分重复劳动消耗的大量人力与物力。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变形或修改，这并不影响本发明的实质内容。

Claims (11)

1.一种通用的数据库数据结构与数据迁移系统，其特征在于，包括中间领域对象模块、数据库适配器模块、标准领域对象存储模块，其中：

所述数据库适配器模块用于对数据库对象进行分析与解构，将数据库对象转换成中间领域对象模块中定义的领域对象并进行存储管理，并且根据用户命令将领域对象转换成其他数据库对象；

所述数据库适配器模块读取数据库系统表获取数据库对象信息，并在分析与解构数据库对象信息数据之后，将数据库对象信息解析为领域对象送至中间领域对象模块中管理，并发送至标准领域对象存储模块；

所述标准领域对象存储模块在接收到领域对象后，将领域对象存储于系统内存中并写入本地缓存。

2.根据权利要求1所述的通用的数据库数据结构与数据迁移系统，其特征在于，所述数据库适配器模块包括数据库对象分析器组件、数据导入适配器组件、数据库对象与领域对象转换器组件、数据脚本生成器组件，其中：

所述数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息，将数据库对象信息发送至数据库对象分析器组件中，数据库对象分析器组件分析数据库对象信息中的表对象及表对象属性之后，将表对象及表对象属性发送至数据库对象与领域对象转换器组件中，所述数据脚本生成器组件将领域对象发送至数据库对象与领域对象转换器并将领域对象返回的脚本整理输出。

3.根据权利要求1所述的通用的数据库数据结构与数据迁移系统，其特征在于，所述中间领域对象模块包括对象管理器组件和对标准数据库对象建模的组件，所述对标准数据库对象建模的组件包括数据库组件、表组件、列组件、数据行组件、主键组件、外键组件和唯一键组件，所述对标准数据库对象建模的组件被数据库适配器模块中的数据库对象与领域对象转换器创建，所述对标准数据库对象建模的组件均用于实现对标准数据库对象的描述与操作；对象管理器组件用于管理已经创建的中间领域对象。

4.根据权利要求1所述的通用的数据库数据结构与数据迁移系统，其特征在于，所述标准领域对象存储模块包括数据处理组件，所述数据处理组件实现对中间领域对象的读写等操作，支持XML、实时数据库这些方式。

5.一种基于权利要求1至4中任一项所述的通用的数据库数据结构与数据迁移系统的方法，其特征在于，包括以下步骤：

步骤1：数据库适配器模块的数据导入适配器组件从对应的数据库系统中读取系统表获取数据库对象信息；

步骤2：数据库适配器模块的数据库对象分析器组件接收数据导入适配器组件读取的数据库对象原始信息，分析数据库对象的依赖信息及依赖信息的属性；

步骤3：数据库适配器模块的数据库对象与领域对象转换器组件接收数据库对象分析器组件分析后的数据与数据库对象属性数据后，将数据与数据库对象属性数据转换为在系统中通用的标准数据库中间领域对象组件；

步骤4：中间领域对象模块的对象管理器组件和数据库适配器模块的数据库对象与领域对象转换器组件相连接，接收已经创建的中间领域对象并进行管理与维护；

步骤5：标准领域对象存储模块的数据处理组件与中间领域对象模块的对象管理器组件相连接，将对象管理器组件中维护的各种数据库对象存储于相应的介质中；

步骤6：数据库适配器模块的数据脚本生成器组件与中间领域对象模块的对象管理器组件相连接，可以将对象管理器组件中维护的各种数据库对象生成相对应的脚本。

6.根据权利要求5所述的基于通用的数据库数据结构与数据迁移系统的方法，其特征在于，所述步骤1具体包括以下步骤：

步骤101：数据导入适配器组件从对应的数据库中读取系统表信息来获取数据库对象信息；

步骤102：打包读取到的数据库对象信息，数据库对象信息包括表、列、数据类型、长度、主键、外键、唯一键。

7.根据权利要求5所述的基于通用的数据库数据结构与数据迁移系统的方法，其特征在于，所述步骤2具体包括以下步骤：

步骤201：数据库分析组件接收打包的数据库对象信息，并分析数据库对象的属性，属性包括：表、列、行、数据类型、长度、主键、外键、唯一键；

步骤202：数据库分析组件在分析好原始数据之后，将分析结果及数据发送到数据库对象与领域对象转换器组件。

8.根据权利要求5所述的基于通用的数据库数据结构与数据迁移系统的方法，其特征在于，所述步骤3具体包括以下步骤：

步骤301：数据库对象与领域对象转换器组件接收分析过的数据库数据并将数据库数据转换为系统中通用的标准数据库中间领域对象；

步骤302：数据库对象与领域对象转换器组件在转换好数据库中间领域对象后，将数据库中间领域对象返回至中间领域对象模块的对象管理器组件。

9.根据权利要求5所述的基于通用的数据库数据结构与数据迁移系统的方法，其特征在于，所述步骤4具体包括以下步骤：

步骤401：对象管理器组件接收并管理中间领域对象，开放增、删、改、查这些接口实现对领域对象的管理。

10.根据权利要求5所述的基于通用的数据库数据结构与数据迁移系统的方法，其特征在于，所述的步骤5具体包括以下步骤：

步骤501：数据处理组件负责将对象管理器组件中维护管理的中间领域对象存储于相应的介质中，其中，数据处理组件所支持的存储介质包括：本地文件、网络，数据处理组件所支持的存储格式包括：XML、数据库表。

11.根据权利要求5所述的基于通用的数据库数据结构与数据迁移系统的方法，其特征在于，所述的步骤6具体包括以下步骤：

步骤601：数据库脚本生成器负责将维护在对象管理组件中的各种数据库对象生成相应的脚本。

Images