CN103530327A

CN103530327A - 一种从非关系型数据库到关系型数据库的数据迁移方法

Info

Publication number: CN103530327A
Application number: CN201310443352.XA
Authority: CN
Inventors: 李秀; 闫天翔; 高福信; 余谨
Original assignee: Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Graduate School Tsinghua University
Priority date: 2013-09-25
Filing date: 2013-09-25
Publication date: 2014-01-22
Anticipated expiration: 2033-09-25
Also published as: CN103530327B

Abstract

本发明涉及一种从非关系型数据库到关系型数据库的数据迁移方法,包括如下步骤：连接需要进行数据迁移的非关系型数据库，获取数据库中的表格信息；选择需要进行数据迁移的表和数据库模式定义方法，其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据；将信息从非关系型数据库中导出到定义的xml文件中；将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式；连接对应的关系型数据库，根据xml文件中的数据库设计模式，建立对应的数据表；按照index元素中的索引信息，建立对应的索引。本发明解决了非关系数据库（如MonogDB）到关系型数据库进行数据迁移时所具有的反范式设计、无模式化和特殊数据类型的问题。

Description

一种从非关系型数据库到关系型数据库的数据迁移方法

技术领域

本发明涉及一种从非关系型数据库到关系型数据库的数据迁移方法。

背景技术

目前的应用中普遍存在需要处理来自于多个数据库的异构数据问题，现有技术主要解决在几种常用的关系型数据库，如Oracle，MySQL，Microsoft SQL Server之间进行数据的迁移。随着非关系型数据库的出现和发展，越来越多的应用中同时使用了关系型数据库和非关系型数据库，需要解决非关系型数据库和关系型数据库之间数据迁移的难题。

MongoDB与关系型数据库之间数据迁移相比于关系型数据库之间数据迁移，需要解决的难题主要有以下几点：

1.MongoDB数据库设计常采用反范式设计，不同于关系型数据库的范式化设计，允许字段的冗余，牺牲空间来换取时间。

2.MonogDB数据库中的表格具有无模式的特点，表格并没有统一的模式，例如两条记录可以包含不同的属性列等。

3.MongoDB中有特殊的数组和嵌入文档两种数据类型，在关系型数据库中并没有数据类型与此对应。

现有技术一般都是在主流的几种关系型数据库之间迁移数据。解决数据迁移时数据库设计模式的提取、数据库设计模式的转换和数据异构的冲突的问题。因为关系型数据库都是按照范式化准则设计，在数据库设计模式上具有很高的相似性，而非关系型数据库的设计理念不同于关系型数据库，常采用反范式的方法设计，且每种非关系型数据库都具有自身的特点，已有的方法并不能解决非关系型数据库与关系型数据库之间数据迁移的问题。

例如，河海大学硕士贾长云在其硕士论文《基于XML的异构数据库数据交换的研究与实现——校园网信息管理平台中的数据交换》中提出来的方法，是以XML文件作为中间载体，解决了Oracle数据库与SQL Server2000数据库之间的数据交换。其算法流程包括以下几个部分：提取源数据库设计模式，进行源数据库与目标数据库之间的数据模式映射，导出数据，按照目标数据库数据模式导入数据，对数据异构冲突进行处理几个步骤。

上述现有技术不能解决从非关系型数据库到关系型数据库的数据迁移问题。

发明内容

本发明的目的就是为了解决从非关系型数据库到关系型数据库的数据迁移问题，提出一种从非关系型数据库到关系型数据库的数据迁移方法。

为此，本发明的方法包括如下步骤：A、连接需要进行数据迁移的非关系型数据库，获取数据库中的表格信息；B、根据用户的输入，选择需要进行数据迁移的表和数据库模式定义方法，其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据四种方法；C、将信息从非关系型数据库中导出到定义的xml文件中；D、将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式；E、连接对应的关系型数据库，根据xml文件中的数据库设计模式，建立对应的数据表；F、按照index元素中的索引信息，建立对应的索引；G、返回数据迁移结果。

优选地，本发明还包括如下特征：

其中步骤B中，用户自定义是指：用户自己定义数据库的每一个字段，包括字段名称、数据类型、字段别名、非空约束、主键约束；程序将用户定义的数据库模式存储到xml文件的meta元素中，供下一步处理；并集兼容是指：程序分析数据库中的所有数据，提取字段信息，对行记录中存在不同字段的情况，取并集处理，包含所有的数据列；程序将提取的数据库设计模式存储到xml文件的meta元素中，供下一步处理；交集兼容是指:程序分析数据库中的所有数据，提取字段信息，对行记录中存在不同字段的情况，取交集处理，包含所有记录共有数据列；程序将提取的数据库设计模式存储到xml文件的meta元素中，供下一步处理；首条数据是指：程序分析数据库中的第一条数据，提取字段信息；程序将提取的数据库设计模式存储到xml文件的meta元素中，供下一步处理。

其中步骤C中，表名信息存储在xml文件的根元素的name属性中，数据库的设计模式信息存储在meta元素中，数据信息存储在data元素中，索引信息存储在index元素中。

其中步骤D中，对嵌入文档的处理方法如下：对表格进行拆分，字段信息存储到以字段名作为表名新建的表格中，原表的对应字段类型变成string型，存储新建的表格的表名；新建表格中增加主键字段，保证记录的唯一性，以原表格的主键作为外键与原表格建立连接，嵌入文档的子文档作为新建表格的数据列；如果存在多重嵌入文档，则递归进行此操作；当需要获取原表的嵌入文档信息时，通过原表相应字段存储的新建表的表名和原表的主键从新建表中获取对应信息。

其中步骤D中，对数组的处理方法如下：对表格进行拆分，字段信息存储到以字段名作为表名新建的表格中，原表的对应字段类型变成string型，存储新建的表格的表名；新建表格中使用复合主键，主键包括原表的主键和数值在原数组中的序号；新建表格中的数据列字段名为数组字段字段名；如果存在多重嵌入数组，则递归进行此操作；当需要获取原表的数组字段信息时，通过原表相应字段存储的新建表的表名和原表的主键和数据在原数组中的序号，从新建表中获取对应数值。

其中步骤E中，对于嵌入文档和数组两种数据类型所拆分出来的新表与原表建立外键约束，并在导入过程中需要对可能遇到的数据异构冲突进行处理。

本发明利用数据中间载体的XML文件具有可定义的特点，配合从无模式的非关系型数据库表格中自动提取数据库设计模式的自定义、并集兼容、交集兼容和首条数据四种方法，从而可以设计特殊的定义结构适用于解决非关系数据库（如MonogDB）到关系型数据库进行数据迁移时所具有的反范式设计、无模式化和特殊数据类型的问题。

本发明还对非关系型数据库中的数组和嵌入文档两种特殊数据类型进行了表格拆分方法处理。

附图说明

图1是本发明实施例算法程序流程图。

图2a、图2b是本发明实施例对嵌入文档和数组两种特殊数据类型的处理前后示例图。

图3是将MongoDB中的device表导入到MySQL时MongoDB中的device表。

具体实施方式

本实施例针对于非关系型数据库MongoDB相比于关系型数据库的不同点，对从MongoDB到关系型数据库的数据迁移难题进行了解决。解决了从MongoDB到关系型数据库不同于关系型数据库之间数据迁移的数据库设计模型提取时的MongoDB的无模式问题、数据库设计模型转换时的MongoDB反范式设计问题、数据类型映射时MongoDB特有的数组和嵌入文档数据类型问题的处理。

本实施例相比于传统的方法，可以有效地解决MongoDB到关系型数据库的数据迁移问题。使用并集兼容、交集兼容、首条数据三种方法解决MongoDB的无模式特点在迁移中的问题。使用特殊设计的表格拆分方法解决MongoDB特有的数组和嵌入文档数据类型的处理问题和MongoDB的反范式设计问题。但本发明并不限于适用于MongoDB数据库。

该实施例提供了一种从MongoDB到主流关系型数据库的数据迁移方法，如图1所示，其步骤如下所述：

1.连接需要进行数据迁移的MongoDB数据库（S101），获取数据库中的表格信息（S102）。

2.用户选择需要进行数据迁移的表（MongoDB中称为集合）（S103）和数据库模式定义方法（S104-S107），其中数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据四种方法，方法说明参见数据库模式定义方法说明表。

表1数据库模式定义方法说明表

Figure 193112DEST_PATH_GDA0000416450700000031

用户如果想要保留原表格中所有的信息就选择并集兼容；如果只想保留所有记录都共有的信息，就选择交集兼容；并集兼容和交集兼容都需要处理表格中所有的记录，需要耗费较多时间，如果表格结构统一，第一条记录的模式就可以满足要求，就选择首条数据，这种方法最快捷，只处理第一条记录。如果上述三种方法都不能满足用户的要求，或者用户有更细致的要求，可以通过用户自定义方法，自己定义数据库模式。

3.将信息从MongoDB中导出到定义的xml文件中（S108、S115），其中表名信息存储在xml文件的根元素（table元素）的name属性中，数据库的设计模式信息（即由上面所说的“数据库模式定义”所定义的模式信息）存储在meta元素中，数据信息存储在data元素中，索引信息存储在index元素中。作为数据中间载体的XML文件定义如下面程序段1这段xml定义文件所示:

程序段1：

上述程序中，根元素为table元素，根元素包括meta、index、data三个子元素，meta元素存储表格的设计模式，meta元素的每一个子元素为表格的一个数据列，元素名为列名，元素属性说明列的数据类型、完整性约束信息等，例如“DataType”属性说明字段的数据类型信息，“PK”属性说明字段的主键信息，“Null”属性说明字段的非空信息，“Alias”属性说明字段的别名信息，“FillValue”属性说明字段的默认填充值信息。index元素存储表格的索引信息。index的每一个子元素为表格的一个索引，元素名为索引名，每个元素具有属性“direction”说明索引方向，1为升序，-1为降序。data元素存储表格的数据信息。data的子元素为dataItem，每一个dataItem元素是一条记录数据。dataItem元素的子元素为该条行记录所具有的属性字段，元素名为字段名，元素值为字段值。

每个子元素的定义参见table元素子元素定义表、meta元素子元素属性定义表：

表2table元素子元素定义表

Figure 827672DEST_PATH_GDA0000416450700000042

Figure 222882DEST_PATH_GDA0000416450700000051

表3meta元素子元素属性定义表

Figure 224204DEST_PATH_GDA0000416450700000052

在图2a、图2b中有些属性没出现，是因为如果字段有对应的约束信息，则会有对应的属性说明，例如对于“_id”字段是有PK和Null属性说明是主键并要求非空，如果没有对应的约束，则不会出现对应的属性。

数据库的设计模式信息获取按照上一步中选择的方法（是指上面所说的“四种方法”）获取。

4.将MongoDB的数据库设计模式转变成对应的关系型数据库的设计模式（S109），其中数据类型的转化参见MongoDB常用数据类型与几种主流关系型数据库数据类型的对应关系表（表4）。

表4MongoDB常用数据类型与几种主流关系型数据库数据类型的对应关系表

Figure 46667DEST_PATH_GDA0000416450700000053

此外，MongoDB特有的数据类型数组(array)和嵌入文档(embeded document）需要特殊处理，做表格的拆分，具体拆分方法参见数据迁移中对嵌入文档和数组两种特殊数据类型的处理方法示例图（图2a、图2b,分别是数据迁移前和迁移后示意图）和MongoDB中嵌入文档和数组的处理方法说明表（表5）。

表5MongoDB中嵌入文档和数组的处理方法说明表

Figure 450284DEST_PATH_GDA0000416450700000061

5.连接对应的关系型数据库，根据xml文件中的数据库设计模式，建立对应的数据表（S110）。对于嵌入文档和数组两种数据类型所拆分出来的新表与原表需要建立外键约束。例如，MySQL中创建外键的语句为Constraint外键名foreign key字段名references主表名主键字段在所举例子中，字段site为嵌入文档类型，拆分出新表site，site表中的deviceId与主表device表的_id字段之间建立外键约束，即在建立新表site表时使用语句“Constraint deviceId foreign key deviceId references device_id”。

6.将xml文件中的数据按照定义的数据库模式导入到关系型数据库中（S111-S113）。在导入过程中需要对可能遇到的数据异构冲突进行处理，常见的数据异构冲突说明及解决方法见数据异构冲突解决方法说明表（表6）。

表6数据异构冲突解决方法说明表

Figure 807578DEST_PATH_GDA0000416450700000062

7.按照index元素中的索引信息，建立对应的索引（S114）。

8.返回数据迁移结果（S117），程序结束。

返回数据迁移结果的信息包括导入是否成功、获取的MongoDB中数据记录总数和成功导入到关系型数据库中的数据记录总数三条信息。主要就是说明是否导入成功，在图1中的“设计模式与MongoDB中数据是否兼容（S116）”为否的情况的分支直接到达了“返回数据迁移结果（S117）”这一步，返回的结果就是导入不成功，这种情况就是用户在认为目标数据库中已经存在对应的表时，跳过数据库模式定义步骤，直接导入数据，程序需要判断关系型数据库中已经存在的表与从MongoDB中获取将要导入的数据之间是否兼容，如果不兼容，将不能导入，直接返回导入数据失败的结果。其他路径就会进行数据的导入，一般返回导入成功，并说明从mongodB中导出的记录总数和成功导入的记录总数。

针对图1，下面用一个简单数据库对整个流程进行进一步的举例说明：

下文以将MongoDB中的device表导入到MySQL中为例，说明上述算法流程。MongoDB数据库中的device表，表中有ADCP和CTD两个设备的信息，如图3所示，是本示例中MongoDB中的device表。

其中包括_id、deviceName、site、keywords四个字段，其中site字段是嵌入文档数据类型，site字段中包括lat、lon和depth三个字段。keywords是数组类型，它的数组元素是String类型。

数据信息导出到XML文件中如程序所示：程序段2：

Figure 492954DEST_PATH_GDA0000416450700000072

Figure 229966DEST_PATH_GDA0000416450700000081

其中程序段2是meta元素信息，包括了所有字段的定义信息，即数据库模式定义信息，程序段3是index元素信息，包括了表格的索引信息。程序段4是dataItem元素中设备ADCP这条数据信息（由于内容过长，只截选了一条数据记录）。

数据库模式信息根据导入到的关系型数据库做对应变化，此处是导入MySQL数据库，变化发生在meta元素中，例如“String”类型变成了“VARCHAR”类型，如下程序段5所示：

Figure 940302DEST_PATH_GDA0000416450700000082

数据导入到MySQL数据库中，因为包含嵌入文档和数组这两种类型，所以导出到MySQL数据库中对应三张表。即device表和新建的site和keywords表，表中内容分别如表8-表10所示。

表8：实施例中导入到MySQL中的device表

_id	deviceName	site	keywords
				16901	声谱多普勒流速剖面仪（ADCP）	site	keywords

[0070]

27901

温盐深仪（CTD）

site

keywords

表9：实施例中，导入到MySQL中新建的site表

_id	deviceld	lat	lon	depth
					1	16901	21.56	110.44	500
2	27901	21.56	110.44	1500

表10：实施例中，导入到MySQL中新建的keywords表

deviceld	num	keyword
			16901	1	声速
16901	2	盐度
			16901	3	温度
16901	4	流速
			16901	5	姿态角
27901	1	温度
			27901	2	电导率
27901	3	压力
			27901	4	盐度
27901	5	声速

综上所述，本发明包括但不限于如下要点：对数据中间载体的XML文件的定义，包括根元素table元素，和meta、index、data三个子元素。此种定义结构适用于解决非关系数据库MonogDB到关系型数据库进行数据迁移所具有的反范式设计、无模式化和特殊数据类型的问题。对MonogDB中的数组和嵌入文档两种特殊数据类型处理的表格拆分方法。从无模式的MongoDB表格中自动提取数据库设计模式的并集兼容、交集兼容和首条数据三种方法定义。

本实施例在设计时考虑了非关系型数据库MongoDB本身所特有的特点，给出了一种数据迁移方法，可以解决MongoDB到主流关系型数据库之间的迁移方法，在解决与传统的关系型数据库间数据迁移所共有的数据异构冲突，数据库设计模式变换等问题的基础上，针对MongDB本身的特点，解决了非关系型到关系型数据库的数据转换会遇到的数据库反范式设计、表格的无模式化和MongoDB特有的数据类型数组和嵌入文档的难题。可以有效地应用于从MonoDB到关系型数据库的数据迁移工作。应当理解，本方法也可以扩展到其他非关系型数据库。

Claims

1.一种从非关系型数据库到关系型数据库的数据迁移方法,其特征是，包括如下步骤：

A、连接需要进行数据迁移的非关系型数据库，获取数据库中的表格信息；

B、根据用户的输入，选择需要进行数据迁移的表和数据库模式定义方法，其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据四种方法；

C、将信息从非关系型数据库中导出到定义的xml文件中；

D、将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式；

E、连接对应的关系型数据库，根据xml文件中的数据库设计模式，建立对应的数据表；

F、按照index元素中的索引信息，建立对应的索引；

G、返回数据迁移结果。

2.如权利要求1所述的数据迁移方法,其特征是：其中步骤B中，

用户自定义是指：用户自己定义数据库的每一个字段，包括字段名称、数据类型、字段别名、非空约束、主键约束；程序将用户定义的数据库模式存储到xml文件的meta元素中，供下一步处理；

并集兼容是指：程序分析数据库中的所有数据，提取字段信息，对行记录中存在不同字段的情况，取并集处理，包含所有的数据列；程序将提取的数据库设计模式存储到xml文件的meta元素中，供下一步处理；

交集兼容是指:程序分析数据库中的所有数据，提取字段信息，对行记录中存在不同字段的情况，取交集处理，包含所有记录共有数据列；程序将提取的数据库设计模式存储到xml文件的meta元素中，供下一步处理；

首条数据是指：程序分析数据库中的第一条数据，提取字段信息；程序将提取的数据库设计模式存储到xml文件的meta元素中，供下一步处理。

3.如权利要求1所述的数据迁移方法,其特征是：其中步骤C中，表名信息存储在xml文件的根元素的name属性中，数据库的设计模式信息存储在meta元素中，数据信息存储在data元素中，索引信息存储在index元素中。

4.如权利要求1所述的数据迁移方法,其特征是：其中步骤D中，对嵌入文档的处理方法如下：对表格进行拆分，字段信息存储到以字段名作为表名新建的表格中，原表的对应字段类型变成string型，存储新建的表格的表名；新建表格中增加主键字段，保证记录的唯一性，以原表格的主键作为外键与原表格建立连接，嵌入文档的子文档作为新建表格的数据列；如果存在多重嵌入文档，则递归进行此操作；当需要获取原表的嵌入文档信息时，通过原表相应字段存储的新建表的表名和原表的主键从新建表中获取对应信息。

5.如权利要求1所述的数据迁移方法,其特征是：其中步骤D中，对数组的处理方法如下：对表格进行拆分，字段信息存储到以字段名作为表名新建的表格中，原表的对应字段类型变成string型，存储新建的表格的表名；新建表格中使用复合主键，主键包括原表的主键和数值在原数组中的序号；新建表格中的数据列字段名为数组字段字段名；如果存在多重嵌入数组，则递归进行此操作；当需要获取原表的数组字段信息时，通过原表相应字段存储的新建表的表名和原表的主键和数据在原数组中的序号，从新建表中获取对应数值。

6.如权利要求1所述的数据迁移方法,其特征是：其中步骤E中，对于嵌入文档和数组两种数据类型所拆分出来的新表与原表建立外键约束，并在导入过程中需要对可能遇到的数据异构冲突进行处理。