CN103530327B - 一种从非关系型数据库到关系型数据库的数据迁移方法 - Google Patents
一种从非关系型数据库到关系型数据库的数据迁移方法 Download PDFInfo
- Publication number
- CN103530327B CN103530327B CN201310443352.XA CN201310443352A CN103530327B CN 103530327 B CN103530327 B CN 103530327B CN 201310443352 A CN201310443352 A CN 201310443352A CN 103530327 B CN103530327 B CN 103530327B
- Authority
- CN
- China
- Prior art keywords
- data
- database
- field
- information
- newly
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/284—Relational databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/214—Database migration support
Landscapes
- Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本发明涉及一种从非关系型数据库到关系型数据库的数据迁移方法,包括如下步骤:连接需要进行数据迁移的非关系型数据库,获取数据库中的表格信息;选择需要进行数据迁移的表和数据库模式定义方法,其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据;将信息从非关系型数据库中导出到定义的xml文件中;将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式;连接对应的关系型数据库,根据xml文件中的数据库设计模式,建立对应的数据表;按照index元素中的索引信息,建立对应的索引。本发明解决了非关系数据库(如MonogDB)到关系型数据库进行数据迁移时所具有的反范式设计、无模式化和特殊数据类型的问题。
Description
技术领域
本发明涉及一种从非关系型数据库到关系型数据库的数据迁移方法。
背景技术
目前的应用中普遍存在需要处理来自于多个数据库的异构数据问题,现有技术主要解决在几种常用的关系型数据库,如Oracle,MySQL,Microsoft SQL Server之间进行数据的迁移。随着非关系型数据库的出现和发展,越来越多的应用中同时使用了关系型数据库和非关系型数据库,需要解决非关系型数据库和关系型数据库之间数据迁移的难题。
MongoDB与关系型数据库之间数据迁移相比于关系型数据库之间数据迁移,需要解决的难题主要有以下几点:
1.MongoDB数据库设计常采用反范式设计,不同于关系型数据库的范式化设计,允许字段的冗余,牺牲空间来换取时间。
2.MonogDB数据库中的表格具有无模式的特点,表格并没有统一的模式,例如两条记录可以包含不同的属性列等。
3.MongoDB中有特殊的数组和嵌入文档两种数据类型,在关系型数据库中并没有数据类型与此对应。
现有技术一般都是在主流的几种关系型数据库之间迁移数据。解决数据迁移时数据库设计模式的提取、数据库设计模式的转换和数据异构的冲突的问题。因为关系型数据库都是按照范式化准则设计,在数据库设计模式上具有很高的相似性,而非关系型数据库的设计理念不同于关系型数据库,常采用反范式的方法设计,且每种非关系型数据库都具有自身的特点,已有的方法并不能解决非关系型数据库与关系型数据库之间数据迁移的问题。
例如,河海大学硕士贾长云在其硕士论文《基于XML的异构数据库数据交换的研究与实现——校园网信息管理平台中的数据交换》中提出来的方法,是以XML文件作为中间载体,解决了Oracle数据库与SQL Server2000数据库之间的数据交换。其算法流程包括以下几个部分:提取源数据库设计模式,进行源数据库与目标数据库之间的数据模式映射,导出数据,按照目标数据库数据模式导入数据,对数据异构冲突进行处理几个步骤。
上述现有技术不能解决从非关系型数据库到关系型数据库的数据迁移问题。
发明内容
本发明的目的就是为了解决从非关系型数据库到关系型数据库的数据迁移问题,提出一种从非关系型数据库到关系型数据库的数据迁移方法。
为此,本发明的方法包括如下步骤:A、连接需要进行数据迁移的非关系型数据库,获取数据库中的表格信息;B、根据用户的输入,选择需要进行数据迁移的表和数据库模式定义方法,其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据四种方法;C、将信息从非关系型数据库中导出到定义的xml文件中;D、将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式;E、连接对应的关系型数据库,根据xml文件中的数据库设计模式,建立对应的数据表;F、按照index元素中的索引信息,建立对应的索引;G、返回数据迁移结果。
优选地,本发明还包括如下特征:
其中步骤B中,用户自定义是指:用户自己定义数据库的每一个字段,包括字段名称、数据类型、字段别名、非空约束、主键约束;程序将用户定义的数据库模式存储到xml文件的meta元素中,供下一步处理;并集兼容是指:程序分析数据库中的所有数据,提取字段信息,对行记录中存在不同字段的情况,取并集处理,包含所有的数据列;程序将提取的数据库设计模式存储到xml文件的meta元素中,供下一步处理;交集兼容是指:程序分析数据库中的所有数据,提取字段信息,对行记录中存在不同字段的情况,取交集处理,包含所有记录共有数据列;程序将提取的数据库设计模式存储到xml文件的meta元素中,供下一步处理;首条数据是指:程序分析数据库中的第一条数据,提取字段信息;程序将提取的数据库设计模式存储到xml文件的meta元素中,供下一步处理。
其中步骤C中,表名信息存储在xml文件的根元素的name属性中,数据库的设计模式信息存储在meta元素中,数据信息存储在data元素中,索引信息存储在index元素中。
其中步骤D中,对嵌入文档的处理方法如下:对表格进行拆分,字段信息存储到以字段名作为表名新建的表格中,原表的对应字段类型变成string型,存储新建的表格的表名;新建表格中增加主键字段,保证记录的唯一性,以原表格的主键作为外键与原表格建立连接,嵌入文档的子文档作为新建表格的数据列;如果存在多重嵌入文档,则递归进行此操作;当需要获取原表的嵌入文档信息时,通过原表相应字段存储的新建表的表名和原表的主键从新建表中获取对应信息。
其中步骤D中,对数组的处理方法如下:对表格进行拆分,字段信息存储到以字段名作为表名新建的表格中,原表的对应字段类型变成string型,存储新建的表格的表名;新建表格中使用复合主键,主键包括原表的主键和数值在原数组中的序号;新建表格中的数据列字段名为数组字段字段名;如果存在多重嵌入数组,则递归进行此操作;当需要获取原表的数组字段信息时,通过原表相应字段存储的新建表的表名和原表的主键和数据在原数组中的序号,从新建表中获取对应数值。
其中步骤E中,对于嵌入文档和数组两种数据类型所拆分出来的新表与原表建立外键约束,并在导入过程中需要对可能遇到的数据异构冲突进行处理。
本发明利用数据中间载体的XML文件具有可定义的特点,配合从无模式的非关系型数据库表格中自动提取数据库设计模式的自定义、并集兼容、交集兼容和首条数据四种方法,从而可以设计特殊的定义结构适用于解决非关系数据库(如MonogDB)到关系型数据库进行数据迁移时所具有的反范式设计、无模式化和特殊数据类型的问题。
本发明还对非关系型数据库中的数组和嵌入文档两种特殊数据类型进行了表格拆分方法处理。
附图说明
图1是本发明实施例算法程序流程图。
图2a、图2b是本发明实施例对嵌入文档和数组两种特殊数据类型的处理前后示例图。
图3是将MongoDB中的device表导入到MySQL时MongoDB中的device表。
具体实施方式
本实施例针对于非关系型数据库MongoDB相比于关系型数据库的不同点,对从MongoDB到关系型数据库的数据迁移难题进行了解决。解决了从MongoDB到关系型数据库不同于关系型数据库之间数据迁移的数据库设计模型提取时的MongoDB的无模式问题、数据库设计模型转换时的MongoDB反范式设计问题、数据类型映射时MongoDB特有的数组和嵌入文档数据类型问题的处理。
本实施例相比于传统的方法,可以有效地解决MongoDB到关系型数据库的数据迁移问题。使用并集兼容、交集兼容、首条数据三种方法解决MongoDB的无模式特点在迁移中的问题。使用特殊设计的表格拆分方法解决MongoDB特有的数组和嵌入文档数据类型的处理问题和MongoDB的反范式设计问题。但本发明并不限于适用于MongoDB数据库。
该实施例提供了一种从MongoDB到主流关系型数据库的数据迁移方法,如图1所示,其步骤如下所述:
1.连接需要进行数据迁移的MongoDB数据库(S101),获取数据库中的表格信息(S102)。
2.用户选择需要进行数据迁移的表(MongoDB中称为集合)(S103)和数据库模式定义方法(S104-S107),其中数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据四种方法,方法说明参见数据库模式定义方法说明表。
表1数据库模式定义方法说明表
用户如果想要保留原表格中所有的信息就选择并集兼容;如果只想保留所有记录都共有的信息,就选择交集兼容;并集兼容和交集兼容都需要处理表格中所有的记录,需要耗费较多时间,如果表格结构统一,第一条记录的模式就可以满足要求,就选择首条数据,这种方法最快捷,只处理第一条记录。如果上述三种方法都不能满足用户的要求,或者用户有更细致的要求,可以通过用户自定义方法,自己定义数据库模式。
3.将信息从MongoDB中导出到定义的xml文件中(S108、S115),其中表名信息存储在xml文件的根元素(table元素)的name属性中,数据库的设计模式信息(即由上面所说的“数据库模式定义”所定义的模式信息)存储在meta元素中,数据信息存储在data元素中,索引信息存储在index元素中。作为数据中间载体的XML文件定义如下面程序段1这段xml定义文件所示:
程序段1:
上述程序中,根元素为table元素,根元素包括meta、index、data三个子元素,meta元素存储表格的设计模式,meta元素的每一个子元素为表格的一个数据列,元素名为列名,元素属性说明列的数据类型、完整性约束信息等,例如“DataType”属性说明字段的数据类型信息,“PK”属性说明字段的主键信息,“Null”属性说明字段的非空信息,“Alias”属性说明字段的别名信息,“FillValue”属性说明字段的默认填充值信息。index元素存储表格的索引信息。index的每一个子元素为表格的一个索引,元素名为索引名,每个元素具有属性“direction”说明索引方向,1为升序,-1为降序。data元素存储表格的数据信息。data的子元素为dataItem,每一个dataItem元素是一条记录数据。dataItem元素的子元素为该条行记录所具有的属性字段,元素名为字段名,元素值为字段值。
每个子元素的定义参见table元素子元素定义表、meta元素子元素属性定义表:
表2table元素子元素定义表
表3meta元素子元素属性定义表
在图2a、图2b中有些属性没出现,是因为如果字段有对应的约束信息,则会有对应的属性说明,例如对于“_id”字段是有PK和Null属性说明是主键并要求非空,如果没有对应的约束,则不会出现对应的属性。
数据库的设计模式信息获取按照上一步中选择的方法(是指上面所说的“四种方法”)获取。
4.将MongoDB的数据库设计模式转变成对应的关系型数据库的设计模式(S109),其中数据类型的转化参见MongoDB常用数据类型与几种主流关系型数据库数据类型的对应关系表(表4)。
表4MongoDB常用数据类型与几种主流关系型数据库数据类型的对应关系表
此外,MongoDB特有的数据类型数组(array)和嵌入文档(embeded document)需要特殊处理,做表格的拆分,具体拆分方法参见数据迁移中对嵌入文档和数组两种特殊数据类型的处理方法示例图(图2a、图2b,分别是数据迁移前和迁移后示意图)和MongoDB中嵌入文档和数组的处理方法说明表(表5)。
表5MongoDB中嵌入文档和数组的处理方法说明表
5.连接对应的关系型数据库,根据xml文件中的数据库设计模式,建立对应的数据表(S110)。对于嵌入文档和数组两种数据类型所拆分出来的新表与原表需要建立外键约束。例如,MySQL中创建外键的语句为Constraint外键名foreign key字段名references主表名主键字段在所举例子中,字段site为嵌入文档类型,拆分出新表site,site表中的deviceId与主表device表的_id字段之间建立外键约束,即在建立新表site表时使用语句“Constraint deviceId foreign key deviceId references device_id”。
6.将xml文件中的数据按照定义的数据库模式导入到关系型数据库中(S111-S113)。在导入过程中需要对可能遇到的数据异构冲突进行处理,常见的数据异构冲突说明及解决方法见数据异构冲突解决方法说明表(表6)。
表6数据异构冲突解决方法说明表
7.按照index元素中的索引信息,建立对应的索引(S114)。
8.返回数据迁移结果(S117),程序结束。
返回数据迁移结果的信息包括导入是否成功、获取的MongoDB中数据记录总数和成功导入到关系型数据库中的数据记录总数三条信息。主要就是说明是否导入成功,在图1中的“设计模式与MongoDB中数据是否兼容(S116)”为否的情况的分支直接到达了“返回数据迁移结果(S117)”这一步,返回的结果就是导入不成功,这种情况就是用户在认为目标数据库中已经存在对应的表时,跳过数据库模式定义步骤,直接导入数据,程序需要判断关系型数据库中已经存在的表与从MongoDB中获取将要导入的数据之间是否兼容,如果不兼容,将不能导入,直接返回导入数据失败的结果。其他路径就会进行数据的导入,一般返回导入成功,并说明从mongodB中导出的记录总数和成功导入的记录总数。
针对图1,下面用一个简单数据库对整个流程进行进一步的举例说明:
下文以将MongoDB中的device表导入到MySQL中为例,说明上述算法流程。MongoDB数据库中的device表,表中有ADCP和CTD两个设备的信息,如图3所示,是本示例中MongoDB中的device表。
其中包括_id、deviceName、site、keywords四个字段,其中site字段是嵌入文档数据类型,site字段中包括lat、lon和depth三个字段。keywords是数组类型,它的数组元素是String类型。
数据信息导出到XML文件中如程序所示:程序段2:
其中程序段2是meta元素信息,包括了所有字段的定义信息,即数据库模式定义信息,程序段3是index元素信息,包括了表格的索引信息。程序段4是dataItem元素中设备ADCP这条数据信息(由于内容过长,只截选了一条数据记录)。
数据库模式信息根据导入到的关系型数据库做对应变化,此处是导入MySQL数据库,变化发生在meta元素中,例如“String”类型变成了“VARCHAR”类型,如下程序段5所示:
数据导入到MySQL数据库中,因为包含嵌入文档和数组这两种类型,所以导出到MySQL数据库中对应三张表。即device表和新建的site和keywords表,表中内容分别如表8-表10所示。
表8:实施例中导入到MySQL中的device表
_id | deviceName | site | keywords |
16901 | 声谱多普勒流速剖面仪(ADCP) | site | keywords |
27901 | 温盐深仪(CTD) | site | keywords |
表9:实施例中,导入到MySQL中新建的site表
_id | deviceld | lat | lon | depth |
1 | 16901 | 21.56 | 110.44 | 500 |
2 | 27901 | 21.56 | 110.44 | 1500 |
表10:实施例中,导入到MySQL中新建的keywords表
deviceld | num | keyword |
16901 | 1 | 声速 |
16901 | 2 | 盐度 |
16901 | 3 | 温度 |
16901 | 4 | 流速 |
16901 | 5 | 姿态角 |
27901 | 1 | 温度 |
27901 | 2 | 电导率 |
27901 | 3 | 压力 |
27901 | 4 | 盐度 |
27901 | 5 | 声速 |
综上所述,本发明包括但不限于如下要点:对数据中间载体的XML文件的定义,包括根元素table元素,和meta、index、data三个子元素。此种定义结构适用于解决非关系数据库MonogDB到关系型数据库进行数据迁移所具有的反范式设计、无模式化和特殊数据类型的问题。对MonogDB中的数组和嵌入文档两种特殊数据类型处理的表格拆分方法。从无模式的MongoDB表格中自动提取数据库设计模式的并集兼容、交集兼容和首条数据三种方法定义。
本实施例在设计时考虑了非关系型数据库MongoDB本身所特有的特点,给出了一种数据迁移方法,可以解决MongoDB到主流关系型数据库之间的迁移方法,在解决与传统的关系型数据库间数据迁移所共有的数据异构冲突,数据库设计模式变换等问题的基础上,针对MongDB本身的特点,解决了非关系型到关系型数据库的数据转换会遇到的数据库反范式设计、表格的无模式化和MongoDB特有的数据类型数组和嵌入文档的难题。可以有效地应用于从MonoDB到关系型数据库的数据迁移工作。应当理解,本方法也可以扩展到其他非关系型数据库。
Claims (5)
1.一种从非关系型数据库到关系型数据库的数据迁移方法,其特征是,包括如下步骤:
A、连接需要进行数据迁移的非关系型数据库,获取数据库中的表格信息;
B、根据用户的输入,选择需要进行数据迁移的表和数据库模式定义方法,其中可选择的数据库模式定义方法包括用户自定义、并集兼容、交集兼容、首条数据四种方法;
C、将信息从非关系型数据库中导出到定义的xml文件中;
D、将非关系型数据库的数据库设计模式转变成对应的关系型数据库的设计模式;
E、连接对应的关系型数据库,根据xml文件中的数据库设计模式,建立对应的数据表;
F、按照index元素中的索引信息,建立对应的索引;
G、返回数据迁移结果;
其中步骤D中,对嵌入文档的处理方法如下:对表格进行拆分,字段信息存储到以字段名作为表名新建的表格中,原表的对应字段类型变成string型,存储新建的表格的表名;新建表格中增加主键字段,保证记录的唯一性,以原表格的主键作为外键与原表格建立连接,嵌入文档的子文档作为新建表格的数据列;如果存在多重嵌入文档,则递归进行此操作;当需要获取原表的嵌入文档信息时,通过原表相应字段存储的新建表的表名和原表的主键从新建表中获取对应信息。
2.如权利要求1所述的数据迁移方法,其特征是:其中步骤B中,
用户自定义是指:用户自己定义数据库的每一个字段,包括字段名称、数据类型、字段别名、非空约束、主键约束;程序将用户定义的数据库模式存储到xml文件的meta元素中,供下一步处理;
并集兼容是指:程序分析数据库中的所有数据,提取字段信息,对行记录中存在不同字段的情况,取并集处理,包含所有的数据列;程序将提取的数据库设计模式存储到xml文件的meta元素中,供下一步处理;
交集兼容是指:程序分析数据库中的所有数据,提取字段信息,对行记录中存在不同字段的情况,取交集处理,包含所有记录共有数据列;程序将提取的数据库设计模式存储到xml文件的meta元素中,供下一步处理;
首条数据是指:程序分析数据库中的第一条数据,提取字段信息;程序将提取的数据库设计模式存储到xml文件的meta元素中,供下一步处理。
3.如权利要求1所述的数据迁移方法,其特征是:其中步骤C中,表名信息存储在xml文件的根元素的name属性中,数据库的设计模式信息存储在meta元素中,数据信息存储在data元素中,索引信息存储在index元素中。
4.如权利要求1所述的数据迁移方法,其特征是:其中步骤D中,对数组的处理方法如下:对表格进行拆分,字段信息存储到以字段名作为表名新建的表格中,原表的对应字段类型变成string型,存储新建的表格的表名;新建表格中使用复合主键,主键包括原表的主键和数值在原数组中的序号;新建表格中的数据列字段名为数组字段字段名;如果存在多重嵌入数组,则递归进行此操作;当需要获取原表的数组字段信息时,通过原表相应字段存储的新建表的表名和原表的主键和数据在原数组中的序号,从新建表中获取对应数值。
5.如权利要求1所述的数据迁移方法,其特征是:其中步骤E中,对于嵌入文档和数组两种数据类型所拆分出来的新表与原表建立外键约束,并在导入过程中需要对可能遇到的数据异构冲突进行处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310443352.XA CN103530327B (zh) | 2013-09-25 | 2013-09-25 | 一种从非关系型数据库到关系型数据库的数据迁移方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201310443352.XA CN103530327B (zh) | 2013-09-25 | 2013-09-25 | 一种从非关系型数据库到关系型数据库的数据迁移方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103530327A CN103530327A (zh) | 2014-01-22 |
CN103530327B true CN103530327B (zh) | 2016-08-17 |
Family
ID=49932337
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201310443352.XA Active CN103530327B (zh) | 2013-09-25 | 2013-09-25 | 一种从非关系型数据库到关系型数据库的数据迁移方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN103530327B (zh) |
Families Citing this family (37)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778239B (zh) * | 2014-01-28 | 2017-02-01 | 北京京东尚科信息技术有限公司 | 一种多数据库数据管理方法及系统 |
CN104809143B (zh) * | 2014-01-29 | 2019-05-28 | 西门子公司 | 用于将表格信息植入信息库的方法和装置 |
CN103810275B (zh) * | 2014-02-13 | 2018-02-09 | 清华大学 | 用于非关系与关系型数据库间数据交互的方法和装置 |
CN103902651B (zh) * | 2014-02-19 | 2017-01-11 | 南京大学 | 一种基于MongoDB的云端代码查询方法与装置 |
CN103955517B (zh) * | 2014-05-05 | 2017-05-03 | 中国工商银行股份有限公司 | 将文档型数据库的数据转换至关系型数据库的方法及系统 |
CN105373561B (zh) * | 2014-08-28 | 2019-02-15 | 国际商业机器公司 | 识别非关系数据库中的记录模式的方法和设备 |
KR101674924B1 (ko) * | 2014-09-26 | 2016-11-22 | 삼성에스디에스 주식회사 | 데이터베이스 마이그레이션 방법 및 그 장치 |
CN104794244B (zh) * | 2015-05-13 | 2018-02-16 | 南京大学 | 一种基于MongoDB实现图转换的方法和装置 |
CN106326222B (zh) * | 2015-06-16 | 2019-08-02 | 阿里巴巴集团控股有限公司 | 一种数据处理方法和装置 |
CN106484740B (zh) * | 2015-09-01 | 2019-08-30 | 北京国双科技有限公司 | 一种数据表连接方法及装置 |
US9607063B1 (en) | 2015-12-10 | 2017-03-28 | International Business Machines Corporation | NoSQL relational database (RDB) data movement |
CN106933859B (zh) * | 2015-12-30 | 2020-10-20 | 中国移动通信集团公司 | 一种医疗数据的迁移方法和装置 |
CN106980621A (zh) * | 2016-01-18 | 2017-07-25 | 北京京东尚科信息技术有限公司 | 基于MongoDB的事件归档和查询的方法和装置 |
CN105938479B (zh) * | 2016-03-31 | 2019-10-22 | 华南师范大学 | 一种关系表与非关系表的结构转换方法 |
CN105912665B (zh) * | 2016-04-12 | 2019-05-03 | 清华大学 | 一种Neo4j向关系型数据库的模型转换和数据迁移方法 |
CN106095879A (zh) * | 2016-06-07 | 2016-11-09 | 中国建设银行股份有限公司 | 一种大数据分析方法和系统 |
CN106095991B (zh) * | 2016-06-21 | 2019-07-09 | 南京大学 | 一种自动生成从关系型数据库向MongoDB数据库数据迁移的代码的方法 |
CN106202008B (zh) * | 2016-06-28 | 2019-04-05 | 武汉斗鱼网络科技有限公司 | 一种MySQL数据库结构化文档生成方法及装置 |
CN106547835B (zh) * | 2016-08-04 | 2019-12-17 | 贵阳朗玛信息技术股份有限公司 | 调用数据库存储过程的方法及装置 |
CN106326466A (zh) * | 2016-08-31 | 2017-01-11 | 天津南大通用数据技术股份有限公司 | 一种异构表间数据交换方法及装置 |
CN106570093B (zh) * | 2016-10-24 | 2020-03-27 | 南京中新赛克科技有限责任公司 | 一种基于独立元数据组织结构的海量数据迁移方法和装置 |
CN106528898A (zh) * | 2017-01-04 | 2017-03-22 | 泰康保险集团股份有限公司 | 将非关系型数据库数据转换到关系型数据库的方法及装置 |
CN107545044A (zh) * | 2017-08-15 | 2018-01-05 | 北京微影时代科技有限公司 | 一种数据表建立方法、电子设备及存储介质 |
CN108153911B (zh) * | 2018-01-24 | 2022-07-19 | 广西师范学院 | 数据的分布式云存储方法 |
CN108388606B (zh) * | 2018-02-06 | 2022-01-25 | 福建星瑞格软件有限公司 | 一种校验Sql语句中库表字段名的方法以及计算机设备 |
CN108710667A (zh) * | 2018-05-15 | 2018-10-26 | 成都宇友科技有限公司 | 一种基于大数据的字符类型转换方法 |
CN108763432B (zh) * | 2018-05-24 | 2021-05-25 | 思派(北京)网络科技有限公司 | 一种应用于互联网医疗的跨平台数据整合方法 |
CN110716913B (zh) * | 2019-07-31 | 2022-12-20 | 安徽四创电子股份有限公司 | 一种Kafka与Elasticsearch数据库数据的互相迁移方法 |
CN110674113A (zh) * | 2019-09-24 | 2020-01-10 | 咪咕音乐有限公司 | 数据的一键迁移方法、装置、电子设备及存储介质 |
CN112783856A (zh) * | 2019-11-07 | 2021-05-11 | 北京沃东天骏信息技术有限公司 | 数据迁移方法和装置 |
CN111241060A (zh) * | 2020-01-08 | 2020-06-05 | 苏州科达科技股份有限公司 | 数据迁移方法、系统、设备及存储介质 |
CN111414331B (zh) * | 2020-03-26 | 2023-08-08 | 北京字节跳动网络技术有限公司 | 在线协同知识库的文档导入方法、装置、存储介质及设备 |
CN112612786A (zh) * | 2020-11-24 | 2021-04-06 | 北京思特奇信息技术股份有限公司 | 一种大数据量的行列转换方法及系统 |
CN113254446B (zh) * | 2021-05-26 | 2023-05-12 | 深圳壹账通智能科技有限公司 | 数据融合方法、装置、电子设备及介质 |
CN113778988A (zh) * | 2021-08-23 | 2021-12-10 | 咪咕数字传媒有限公司 | 数据处理方法、装置、设备及计算机程序产品 |
US11741134B2 (en) | 2021-09-07 | 2023-08-29 | Oracle International Corporation | Conversion and migration of key-value store to relational model |
US11663189B1 (en) | 2021-12-01 | 2023-05-30 | Oracle International Corporation | Generating relational table structures from NoSQL datastore and migrating data |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1687927A (zh) * | 2005-05-08 | 2005-10-26 | 浙江大学 | 一种实现信息系统数据自动交换的方法 |
CN102929933A (zh) * | 2012-09-21 | 2013-02-13 | 北京世纪高通科技有限公司 | 数据处理的方法和装置 |
-
2013
- 2013-09-25 CN CN201310443352.XA patent/CN103530327B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1687927A (zh) * | 2005-05-08 | 2005-10-26 | 浙江大学 | 一种实现信息系统数据自动交换的方法 |
CN102929933A (zh) * | 2012-09-21 | 2013-02-13 | 北京世纪高通科技有限公司 | 数据处理的方法和装置 |
Non-Patent Citations (4)
Title |
---|
Application of PCM based Image Segmentation inSeafloor Observatory Network using SOA;Li Xiu et al;《2013 International Conference on Service Science》;20130413;第239-243页 * |
Design of Data Management System for Seafloor Observatory Network;Li Xiu et al;《2013 International Conference on Service Science》;20130413;第147-150页 * |
PostgreSQL与MongoDB的数据迁移与应用适配;王博然;《北京工业职业技术学院学报》;20130430;第12卷(第2期);第26-30页 * |
常见非关系型数据库(NoSQL)推荐介绍;毁灭号;《360doc图书馆》;20110429;第1-4页 * |
Also Published As
Publication number | Publication date |
---|---|
CN103530327A (zh) | 2014-01-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103530327B (zh) | 一种从非关系型数据库到关系型数据库的数据迁移方法 | |
CN106227800B (zh) | 一种高度关联大数据的存储方法及管理系统 | |
CN106933833B (zh) | 一种基于空间索引技术的位置信息快速查询方法 | |
CN102662974B (zh) | 一种基于邻接节点树的网络图索引方法 | |
CN104899295B (zh) | 一种异构数据源数据关联分析方法 | |
JP6262874B2 (ja) | データベース実現方法 | |
CN111026874A (zh) | 知识图谱的数据处理方法及服务器 | |
CN104657430A (zh) | 一种数据采集的方法和系统 | |
CN103678550A (zh) | 一种基于动态索引结构的海量数据实时查询方法 | |
CN106503214A (zh) | 一种基于Redis内存数据库的复杂规则匹配方法 | |
CN104462351B (zh) | 一种面向MapReduce范型的数据查询模型与方法 | |
CN104573022A (zh) | 一种HBase的数据查询方法及装置 | |
CN106897285A (zh) | 数据要素抽取分析系统及数据要素抽取分析方法 | |
CN110750599A (zh) | 一种基于实体建模的关联信息抽取和显示方法 | |
CN104268298A (zh) | 一种创建数据库索引及其查询的方法 | |
CN102591960A (zh) | 农业经济电子地图数据服务接口方法 | |
CN106095964A (zh) | 一种对数据进行可视化归档与搜索的方法 | |
CN104021210B (zh) | 以GeoJSON格式半结构化方式存储地理数据的MongoDB集群的地理数据读写方法 | |
CN103377236B (zh) | 一种用于分布式数据库的连接查询方法及系统 | |
CN106202540A (zh) | 一种大型应用系统的数据库可横向扩展方法 | |
CN109150964A (zh) | 一种可迁移的数据管理方法及服务迁移方法 | |
US7467130B2 (en) | Method for converting chained join tables to tree structure, and a program for converting the same | |
US20070050420A1 (en) | Method and apparatus for transferring data between databases | |
CN105159925A (zh) | 一种数据库集群数据分配方法及系统 | |
CN103793401B (zh) | 建立多个数据库表的共享索引的方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |