CN102308297A

CN102308297A - 一种数据迁移方法、数据迁移装置及数据迁移系统

Info

Publication number: CN102308297A
Application number: CN2011800012395A
Authority: CN
Inventors: 李丽娟
Original assignee: Huawei Technologies Co Ltd
Current assignee: Huawei Technologies Co Ltd
Priority date: 2011-07-13
Filing date: 2011-07-13
Publication date: 2012-01-04
Anticipated expiration: 2031-07-13
Also published as: CN102308297B; WO2012083679A1

Abstract

一种数据迁移方法、数据迁移装置及数据迁移系统，所述方法包括：从关系数据库中获取关系数据库表SCHEMA信息；将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；按照所述映射关系表，将关系数据库的数据导入带非关系数据库XML模型中。本发明解决把关系数据库中的数据平滑迁移到非关系数据库中的技术问题，实现了业务数据的平滑切换。

Description

一种数据迁移方法、数据迁移装置及数据迁移系统

技术领域

本发明涉及数据处理技术领域，特别涉及一种数据迁移方法、数据迁移装置及数据迁移系统。

背景技术

随着数据库应用范围的扩大，关系数据库的功能得到扩展，但是复杂度和使用成本也随之大幅提高。很多应用并不需要关系数据库的复杂功能，同时受关系数据库的数据模型限制而无法针对性地优化。特别是随着web2.0业务的发展和网络内容的暴增，对数据库系统产生了新的需求，这些需求要求数据库具有海量存储与并发、弹性扩展、高可靠、高可用、低成本、弹性表结构等特征，但是，传统的关系数据库无法实现这些特征。基于此，业界提出了各种no sql非关系数据库，这类数据库具有自组织、自管理、低成本、弹性可扩展、

海量存储、高并发访问、查询关系简单等特性。出于成本、可扩展性、效率、自主功能定制等方面的考虑，当前很多业务都希望尽可能将关系数据库中的数据切换到非关系数据库。但是，由于数据模型的差异，关系数据库中的数据无法直接迁移到非关系数据库。

在对现有技术的研究和实践过程中，本发明的发明人发现，目前业界需要一种实现关系数据库与非关系数据库之间的数据模型的映射。

发明内容

有鉴于此，本发明实施例提供一种数据迁移方法、装置及数据迁移系统，可以把关系数据库中的数据平滑迁移到非关系数据库中。

本发明实施例提供一种数据迁移的方法，所述方法包括：

从关系数据库中获取关系数据库表SCHEMA信息；

将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；

按照所述映射关系表中记录的映射关系，将关系数据库的数据导入非关系数据库中。

本发明实施例还提供一种数据迁移装置，所述装置包括：

第一获取单元，用于从关系数据库中获取关系数据库库表SCHEMA信息；

映射单元，用于将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；

数据迁移单元，用于按照所述映射关系表中记录的映射关系，将关系数据库的数据导入带非关系数据库中。

本发明实施例再提供一种数据迁移系统，至少包括一个关系数据库和一个非关系数据库，还包括：数据迁移装置，用于从关系数据库中获取关系数据库库表SCHEMA信息；将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；按照所述映射关系表中记录的映射关系，将关系数据库的数据导入带非关系数据库中。

由上述可知，本发明实施例提出了一种关系数据库与非关系数据库间数据迁移的方法、数据迁移装置及数据迁移系统，可以用于把传统关系数据库的数据迁移到非关系数据库等中，实现了数据业务的平滑迁移。本发明实施例中的数据迁移是自动的、不但保证了迁移的可靠性，还提高了数据迁移的效率，从而实现了业务的平滑切换。

附图说明

图1为本发明实施例1提供的一种数据迁移的方法的流程图；

图2为本发明实施例2提供的一种数据迁移的方法的流程图；

图3为本发明实施例提供的一种各种模式下SCHEMA映射的流程图；

图4为本发明实施例提供的一种数据导入流程的流程图；

图5为本发明实施例提供的一种数据迁移装置的结构示意图；

图6为本发明实施例提供饿一种数据迁移系统的结构示意图；

图7为本发明实施例提供饿一种数据迁移系统的应用实例结构图。

具体实施方式

为了使本技术领域的人员更好地理解本发明实施例的方案，下面结合附图和实施方式对本发明实施例作进一步的详细说明。

请参阅图1，为本发明实施例1提供一种数据迁移方法的流程图，所述方法包括：

步骤101：从关系数据库中获取关系数据库表SCHEMA信息；

一种获取的过程是，SCHEMA映射引擎先向所述关系数据库中发送获取SCHEMA信息的请求；接收所述关系数据库反馈的所述SCHEMA信息。

步骤102：将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；

也就是说，SCHEMA映射引擎将所述SCHEMA信息映射成关系数据库XML模型；按照SCHEMA的定义，将所述关系数据库XML模型映射为非关系数据库XML模型，并在映射关系表中记录对应的映射关系。

其中，将所述关系数据库XML模型映射为非关系数据库XML模型包括：将所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式，其中，

当配置为规范化处理模式时，将关系数据库中的每个表都映射为非关系数据库中一个column family，并在映射关系表中记录对应的映射关系；

当配置为非规范化处理模式时，将多个关系数据库中的表映射为非关系数据库中一个column family。

步骤103：按照所述映射关系表，将关系数据库的数据导入带非关系数据库XML模型中。

优选的，在上述实施例的步骤101之前，所述方法还可以包括：在所述非关系数据库中增加非关系数据对象表SCHEMA的定义；具体包括：增加对column family的主键的SCHEMA约束定义；增加对column family的具体列的SCHEMA约束定义；将一个或多个联合主键的关系数据库表中映射为非关系数据库中的super column family。

优选的，在上述实施例的步骤101之前，所述方法还可以包括：建立关系数据库中的关系表与非关系数据库的非关系表的映射关系表，并在映射关系表中记录上述SCHEMA定义的映射关系。

其中，步骤103中，按照所述映射关系表中记录的映射关系，将关系数据库的数据导入带非关系数据库中具体包括：

根据所述非关系数据库XML模型生成数据定义命令；向非关系数据库发送所述数据定义命令，创建非关系数据库中的SCHEMA；从所述关系数据库中获取数据集：具体包括：扫描非关系数据库XML模型和映射关系表，生成SQL查询语句，利用所述SQL查询语句从所述关系数据库中获取数据集；根据所述映射关系表中记录的对应映射关系将所述数据集导入所述非关系数据库的SCHEMA中。

优选的，在步骤103之后，所述方法还可以包括：在所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式时，对映射关系表中记录中的映射关系进行优化配置。

本发明实施例提出了一种关系数据库与非关系数据库间数据迁移的方法，可以用于把传统关系数据库的数据迁移到非关系数据库(比如新兴的类Bigtable数据模型)等中，实现了数据业务的平滑迁移。本发明实施例中的数据迁移是自动的、不但保证了迁移的可靠性，还提高了数据迁移的效率，从而实现了业务的平滑切换。

还请参阅图2，为本发明实施例2提供一种数据迁移方法的流程图，所述方法包括：

步骤201：在非关系数据库中增加SCHEMA定义；

在该实施例中，非关系数据库以类Bigtable数据为例，但并不限于此，也就是说，SCHEMA映射引擎先在类Bigtable数据模型的非关系数据库中增加SCHEMA定义，其具体的过程为：

由于目前的类Bigtable数据模型的非关系数据库只能定义Keyspace(键值空间)和column family(列族)，从概念上这两个定义可以对应关系数据库中的db(数据库)和表Table。为了实现数据库中的关系表到非关系数据库中的非关系表的映射，需要在非关系数据库中增加非关系数据库表的SCHEMA约束定义，具体的定义过程为：

首先，增加对column family的主键(row key)的SCHEMA约束定义，对应关系数据库的主键定义；

然后，增加column family下具体列的SHCEMA约束定义，即定义一个column family下具体有哪些列及其列名、类型、长度、是否可以为空、默认值等，对应关系数据库的列SCHEMA定义；

最后，为了将一个或多个联合主键的关系数据库表中映射为非关系数据库中的一个超级列族(super column family)，需要增加关系数据库表转换为super column family的约束定义，需要定义super column的约束。在关系数据库表的SCHMEMA定义中，当只有一个联合主键时，联合主键的值映射为supercolumn的名；当有两个以上联合主键定义时，把联合主键的值进行级联拼接后映射为super column的名，级联的顺序可以指定，级联字段越靠前，查询时对其搜索的速度越快。

步骤201：建立关系数据库中的关系表与非关系数据库的非关系表的映射关系表，并在映射关系表中记录上述SCHEMA定义的映射关系；

其中，SCHEMA映射引擎建立的所述关系表与非关系表的映射关系如表1至表3所示：

表1：

用户基本信息表ispace_user_info

表2：

统一消息表ispace_message_info

表3：

统一消息状态报告表ispace_message_recv

步骤203：向关系数据库获取SCHEMA信息，并把所述SCHEMA信息映射成XML模型；

也就是说，在启动SCHEMA映射时，SCHEMA映射引擎首先会从关系数据库中请求获取SCHEMA信息，并把它映射为XML模型。

其中，把关系数据库表映射到标准的XML模型有很多方法，如.net、Delphi等都提供了自动转换的方式，基本上是一一映射，当然，也可以参考其实现或直接调用所提供的方法，本发明实施例不作限制，在该实施例中，映射的转换规则为：数据库对应XML的db节点，节点内包含此数据库内所有Table的描述信息；每一个关系表对应XML的一个table节点，节点内包含此表中每个行的SCHEMA信息；表内的每一行对应XML的一个column节点，节点内一一映射的描述了相应关系表中每一行的SCHEMA，其中此column为主键，则增加isRowKey＝true，如果此column为联合主键，则增加isUnionKey＝true。

比如，统一消息状态报告表如表4所示，

表4

统一消息状态报告表ispace_message_recv

上述表4可以通过下述程序来实现：

步骤204：将XML模型映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；

本实施例提供一个配置接口，可配置SCHEMA映射引擎的默认映射模式为规范化处理模式或非规范化处理模式；还可以实现可定制的映射过程和对映射结果进行调优。

1)配置SCHEMA映射引擎的默认映射模式为规范化处理模式

首先，当SCHEMA映射引擎配置为规范化处理模式时，关系数据库中的每个表都映射为非关系数据库的一个column family。

根据非关系数据库的SCHEMA定义，SCHEMA映射引擎顺序扫描直接映射生成的XML文件，对扫描到的每个数据库db节点映射成非关系数据库的Keyspace节点并加上默认属性定义，这些属性至少包含副本数、副本分布策略；对在一个db内扫描到的每一个table节点映射成一个column family节点，columnfamily的列类型需根据表内的列SCHEMA定义来决定，如果列定义中包含联合字段(联合主键)，则列类型为“super”，否则为“standard”，一个table节点映射成一个column family节点时，还需加上必要的模式属性，这些属性至少包含列排序类型、缓存配置等；对一个table节点内扫描到的每一个column节点直接映射成column节点，如果某column节点为联合主键，则在非关系数据库XML描述为isKey＝true，并把第一个扫描到的联合主键加上isPrefix＝true，其它联合主键isPrefix＝false。

上述过程可以下述程序来实现，但并不限于此。

由上述程序可以得到下述程序：

上述程序段中，第一段xml程序为关系数据库表直接映射成的关系表xml文件，第二段为加上了默认属性值映射成的的非关系表xml文件；映射成非关系表xml文件后就可以直接映射成非关系Keyspace和columfamily，并据此创建非关系表。

其次，启动对每个数据库的映射过程前新建一张映射关系表，记录每个db中关系表与非关系表之间的映射关系。SCHEMA映射引擎每完成一个table的映射，则在数据迁移装置中的映射关系表中记录映射关系。如表5所示，

表5

2)配置SCHEMA映射引擎的默认映射模式为非规范化处理模式

本实施例中，关系数据模型设计时应遵循尽量减少数据冗余，即规范化的原则。公用数据全部提取出来单独存放在一个表中，其他表和它建立外键关联。而非关系数据库由于使用廉价服务器构成分布式集群，具有很好的弹性扩展性，允许数据冗余，而且为了提高查找效率，能整合在一个表中存放的数据一般不分表存放，所以从关系数据库表到非关系数据库表的映射过程中，为了提高迁移后数据的操作效率，满足非关系数据库建模的原则，需要把多个关系数据库表映射成一个非关系数据库column family，即进行非规范化处理或冗余化处理。

也就是说，当配置映射默认模式为非规范化模式时，SCHEMA映射引擎执行时，应去掉关系表中的所有外键，把公用表中的数据分散存放到外键所在的表中。

同样，启动对每个数据库的映射过程前新建一张映射关系表，记录每个db中关系表与非关系表之间的映射关系。SCHEMA映射引擎每完成一个table的映射，则在建立的映射关系表中记录映射关系。

根据非关系数据库的SCHEMA定义，SCHEMA映射引擎顺序扫描直接映射生成的XML文件，对扫描到的每个数据库db节点映射成非关系数据库的Keyspace节点并加上默认属性定义，这些属性至少包含副本数、副本分布策略；对在一个db内扫描到的每一个table节点检查是否有isForeignKey＝true的列，如果有，则首先在映射关系表中对应的行的“关联表”这一列填上外键引用的表，并在外键引用表所在行的“无需映射”这一列赋为true，具体表6所示；如果没有，则参照规范化处理方式执行一对一映射。

表6

其中，在该实施例中，column family的列类型需根据表内的列SCHEMA定义来决定，如果列定义中包含联合字段(联合主键)，则列类型为“super”，否则为“standard”，一个table节点映射成一个column family节点时还需加上必要的模式属性，这些属性至少包含列排序类型、缓存配置；对一个table节点内扫描到的每一个column节点直接映射成column节点，如果某column节点为联合主键，则在非关系数据库XML描述为isKey＝true，并把第一个扫描到的联合主键加上isPrefix＝true，其它联合主键isPrefix＝false。如果检查到在映射关系表中，正在执行映射的这个表有关联表，则把关联表中的所有列作为普通的列映射到非关系数据库XML文件中，并取消原来的外键定义。该过程可以对程序1和程序2进行改进，得到程序3，具体如下所示：

程序1

程序2

程序3

步骤205：根据所述非关系数据库XML模型生成数据定义命令；

步骤206：向非关系数据库发送所述数据定义命令，创建非关系数据库中的SCHEMA；

步骤207：从所述关系数据库中获取数据集；

步骤208：根据所述映射关系表中记录的对应映射关系将所述数据集导入所述非关系数据库的SCHEMA中。

优选的，在步骤204后，在所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式时，对映射关系表中记录中的映射关系进行优化配置：

也就是说，SCHEMA映射引擎执行规范化处理模式/非规范化的前提下，还可以通过配置接口修改映射关系表，使得在保证大部分执行规范化/非规范化映射的条件下，指定部分进行非规范化/规范化映射，具体执行过程为：

1)配置数据迁移装置的默认模式为SCHEMA映射模式，SCHEMA映射引擎完成自动SCHEMA映射，生成非关系数据库XML文件，填写好映射关系表；

2)修改映射关系表，指定部分表执行非规范化(规范化处理模式下)/规范化(非规范化处理模式下)处理方式，接着配置数据迁移装置为映射与迁移模式，SCHEMA映射引擎启动自动映射，重新根据已经填好的映射关系表生成非关系数据库XML文件；

3)触发执行器根据映射关系进行数据迁移。

通过数据迁移装置提供的配置接口还可修改Keyspace和column family的默认属性定义，根据业务的需求进行调优，具体的执行过程为：

配置数据迁移装置为SCHEMA映射模式，SCHEMA映射引擎自动完成数据模型映射，生成非关系数据库XML文件，填写好映射关系表；

根据业务需求修改属性，再配置为数据迁移模式；

触发执行器根据映射关系迁移数据。

为了便于本领域技术人员的理解，下面以具体的实例来说明。

还请参阅图3，为本发明实施例提供一种各种模式下SCHEMA信息映射成非关系数据库XML的流程图，在该实施例中，对各种模式下SCHEMA映射的过程进行详细的描述，如图所示，包括：

步骤301：判断是否为规范化模式；如果是，执行步骤302；否则执行步骤303；

步骤302：设置SCHEMA映射引擎为规范化模式；

步骤303：设置SCHEMA映射引擎为非规范化模式；

步骤304：SCHEMA映射引擎判断映射模式，如果为SCHEMA映射模式，则执行步骤305：如果为映射与数据迁移模式，则执行步骤310；

步骤305：从关系数据库中获取SCHEMA信息，并将所述SCHEMA信息直接映射成关系数据XML模型；

步骤306：根据规范模式和映射关系表的配置把所述关系数据XML模型映射成非关系数据模型XML；

步骤307：判断映射关系表中是否存在对应的项，如果是，执行步骤308；否则，执行步骤309；

步骤308：按照对应关系表中的配置进行映射，结束；

步骤309：按照规范模式中配置进行映射，并填写映射关系对应表，结束；

步骤310：从关系数据库中获取SCHEMA信息，并将所述SCHEMA信息直接映射成关系数据XML模型；

步骤311：根据规范模式和映射关系表的配置把所述关系数据XML模型映射成非关系数据模型XML；

步骤312：判断映射关系表中是否存在对应的项，如果是，执行步骤313；否则，执行步骤314；

步骤313：按照对应关系表中的配置进行映射，之后，执行步骤315；

步骤314：按照规范模式中配置进行映射，并填写映射关系对应表，之后，执行步骤315；

步骤315：触发执行器执行数据迁移过程。

也就是说，图3描述了从关系数据库到非关系数据库的SCHEMA映射过程。从关系数据库到类Bigtable数据模型的非关系数据库的数据导入流程，其中，数据导入流程由数据迁移装置中的执行器来执行，包括：

1)执行器向非关系数据库发出数据定义命令，根据上述SCHEMA映射过程生成的非关系数据库XML模型，创建非关系数据库中的SCHEMA信息；

2)执行器顺序扫描直接映射XML文件的每一个table，并查看映射关系表，判断此表是否不需要映射，如果不需要，则忽略此表继续扫描下一个表；如果此表为最后一个表，则结束；如果需要映射，执行步骤3)；

3)判断此表是否有关联表，如果有，则根据直接映射的XML文件生成SQL查询，从关系数据库中提取源表及其关联表的数据集；如果没有，则根据直接映射的XML文件生成SQL查询，从关系数据库中提取源表的数据集；

4)根据对应的非关系数据模型XML生成对非关系数据库的数据导入方式根据SCHEMA映射关系主动调用非关系数据库的数据导入接口，把数据集导入非关系数据库；

5)判断是否还有需要映射的table，如果有，则回到第1步，否则结束。

其具体数据导入过程如图4所示，图4为本发明实施例提供的一种数据导入的流程图，具体包括：

步骤401：触发执行器执行数据迁移；

步骤402：根据非关系数据模型XML，调用非关系数据库接口创建非关系数据表；

步骤403：顺序扫描直接映射XML的一个表Table，并查看映射关系表，判断此表Table是否不需要映射；如果是，执行步骤410；否则，执行步骤404；

步骤404：判断表Table是否有关联表，如果有，执行步骤405；否则，执行步骤406；

步骤405：生成从源表及其关联表，提取数据的SQL，从关系数据库中提取出数据集；

步骤406：生成源表，提取数据的SQL，从关系数据库中提取出数据集；

步骤407：根据对应的非关系数据模型XML生成对非关系数据库的数据导入函数；

步骤408：从数据集中循环取出数据条，并用导入函数进行导入数据条；

步骤409：判断是否还有表Table需要扫描，如果是，返回步骤403；否则，执行步骤411；

步骤410：判断是否还有表Table需要扫描，如果是，返回步骤403；否则。执行步骤411；

步骤411：结束。

基于上述实施例的实现过程，本发明实施例还提供的一种数据迁移装置，其结构示意图如图5所示，所述装置包括：第一获取单元51，映射单元52，数据迁移单元53，其中，所述第一获取单元51，用于从关系数据库中获取关系数据库表SCHEMA信息；所述映射单元52，用于将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；所述数据迁移单元53，用于按照所述映射关系表中记录的映射关系，将关系数据库的数据导入带非关系数据库中。

上述装置的单元可以是由处理器、存储器或特种用途电路等实现。

优选的，所述装置还可以进一步包括：定义单元，与第一获取单元连接，用于在所述非关系数据库中增加非关系数据对象表SCHEMA的定义，具体包括：增加对column family的主键的SCHEMA约束定义；增加对column family的具体列的SCHEMA约束定义；将一个或多个联合主键的关系数据库表中映射为非关系数据库中的super column family。其具体的定义过程上述，在此不再赘述。

优选的，所述装置还可以进一步包括：建立单元，与所述映射单元连接，用于建立关系数据库中的关系表与非关系数据库的非关系表的映射关系表。

其中，所述第一获取单元包括：第一发送单元和第一接收单元，其中，所述第一发送单元，用于向所述关系数据库中发送获取SCHEMA信息的请求；所述第一接收单元，用于接收所述关系数据库反馈的所述SCHEMA信息。

其中，所述映射单元包括：第一映射单元和第二映射单元，其中，所述第一映射单元，用于将所述SCHEMA信息映射成关系数据库XML模型；所述第二映射单元，用于按照SCHEMA的定义，将所述关系数据库XML模型映射为非关系数据库XML模型，并在映射关系表中记录对应的映射关系。

所述第二映射单元又包括：规范化处理模式映射单元和/或非规范化处理模式映射单元，其中，所述规范化处理模式映射单元，用于将所述关系数据库XML模型配置为规范化处理模式，并将关系数据库中的每个表都映射为非关系数据库中一个column family，并在映射关系表中记录对应的映射关系；所述非规范化处理模式映射单元，用于将所述关系数据库XML模型配置为非规范化处理模式，并将多个关系数据库中的表映射为非关系数据库中一个column family，并在映射关系表中记录对应的映射关系。

优选的，所述装置还可以进一步包括：配置优化单元，与所述第二映射单元连接，用于在所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式时，对映射关系表中记录中的映射关系进行优化配置。

在上述实施例中，所述第一获取单元包括：扫描单元，生成单元和数据获取单元，其中，所述扫描单元，用于扫描非关系数据库XML模型和映射关系表，得到扫描结果；所述生成单元，用于根据所述扫描结果生成SQL查询语句；所述数据获取单元，用于利用所述SQL查询语句从所述关系数据库中获取数据集。

在上述实施例中，所述数据迁移单元包括：生成单元，创建单元，第二获取单元和数据导入单元，其中，所述生成单元，用于根据所述非关系数据库XML模型生成数据定义命令；所述创建单元，用于向非关系数据库发送所述数据定义命令，创建非关系数据库中的SCHEMA；所述第二获取单元，用于第二从所述关系数据库中获取数据集；所述数据导入单元，用于根据所述映射关系表中记录的对应映射关系将所述数据集导入所述非关系数据库的SCHEMA中。

所述装置中各个单元的功能和作用的实现过程，详见上述方法中对应步骤的实现过程，在此不再赘述。

相应，本发明实施例还提供一种数据迁移系统，其结构示意图详见图6，所述系统包括：至少包括一个关系数据库(图中以关系数据库61和62为例，但并不限于此)、至少一个非关系数据库(图中以非关系数据库631和632为例，但并不限于此)和数据迁移装置63。其中，所述数据迁移装置63用于从关系数据库中获取关系数据库表SCHEMA信息(比如关系数据库61)；将所述SCHEMA信息分别映射成非关系数据库XML模型，并在映射关系表中分别记录对应的映射关系；按照所述映射关系表，将关系数据库(比如关系数据库61)的数据导入非关系数据库中(比如非关系数据库631)。当并不限于此，也可以将非关系数据库的数据迁移到多个非关系数据库中，或者把多个关系数据库中的数据迁移到一个非关系数据库中，其实现过程类似，本发明实施例不作限制。

其中，所述系统的中的数据迁移装置如上述实施例中的数据迁移装置，具体如上所述，在此不再赘述。

本发明实施例中的数据迁移装置，可以根据关系数据库和非关系数据库的建模差异，针对现有从关系数据库到非关系数据库的数据迁移需求，实现了从关系数据库多表到非关系数据库单表映射机制。传统关系数据模型设计时遵循尽量减少数据冗余，即规范化的原则，公用数据全部提取出来单独存放在一个表中，其他表和它建立关联。而非关系数据库使用廉价服务器构成分布式集群，允许数据冗余，且为了提高查找效率，能整合在一个表中的数据一般不分表存放，所以从关系数据库表到非关系数据库表的映射过程中，为了提高迁移后数据的操作效率，需要把多个关系数据库表映射成一个非关系数据库column family，即非规范化的原则。本发明实施例的装置能自动公用表分散存储到外键所在的表。充分保证了迁移后数据的操作效率和方便的访问模式。

还请参阅图7，为本发明实施例提供的一种数据迁移系统的结构示意图，所述系统包括：至少一个数据关系库(本实施例以一个数据关系库为例)71、至少一个非数据关系库(本实施例以一个非数据关系库为例)72，以及分别与数据关系库与非数据关系库连接的数据迁移装置73，但并不限于此。上述装置可以是由处理器、存储器或特种用途电路等实现。

在该实施例中，所述关系数据库71：可以是MySql，DB2，Oracle等，用二维表来表示实体及其联系：用表格表示实体集，用列表示属性，表结构表示实体型；用表间的特定冗余信息表示实体间的联系(主键、外键)。其优点是：完整性容易表述；简单，表的概念直观、单一，用户易于理解；坚实的理论基础(关系代数)；非过程化的数据请求，请求数据可以不指明路径；数据独立性高，用户只需提出“做什么”，无须说明“怎么做”；支持集合操作。

所述非关系数据库72：可以是数据模型为类Bigtable的非关系数据库、云数据库或no sql数据库等。而所述类Bigtable数据模型的非关系数据库是有廉价的服务器构成的集群，集群能自组织、自管理，作为一个整体对外提供服务。这类数据库都具有低成本、弹性可扩展、海量存储、高并发、自主功能定制、弱关系性等特征。

所述数据迁移装置73：可以是硬件装置或软件装置，用于实现关系数据库与类Bigtable数据模型的非关系数据库之间的数据映射与迁移过程。其具体过程为从关系数据库中获取SCHEMA信息，把它映射成非关系数据库SCHEMA，并根据这种映射关系把数据从关系数据库中取出来导入到非关系数据库中。其中，所述根据这种映射关系把数据从关系数据库中取出来导入到非关系数据库中包括：根据所述非关系数据库XML模型生成数据定义命令；向非关系数据库发送所述数据定义命令，创建非关系数据库中的SCHEMA；从所述关系数据库中获取数据集；根据所述映射关系表中记录的对应映射关系将所述数据集导入所述非关系数据库的SCHEMA中。

其中，所述数据迁移装置73包括：第一获取单元731，用于从关系数据库中获取关系数据库表SCHEMA信息；其具体的获取过程详见上述，在此不再赘述；SCHEMA映射引擎(即映射单元)732，用于将所述SCHEMA信息映射成非关系数据库XML模型；执行器(即数据迁移单元)733，用于按照所述映射关系表，将关系数据库的数据导入带非关系数据库XML模型中。

所述数据迁移装置73还可以包括映射关系表730，该表是由建立单元建立的；该映射关系表中记录了将所述SCHEMA信息映射成非关系数据库XML模型的映射关系。

所述数据迁移装置73还可以包括定义单元，用于在所述非关系数据库中增加非关系数据对象表SCHEMA的定义等

所述装置还可以包括：配置优化单元，用于在所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式时，对映射关系表中记录中的映射关系进行优化配置，具体可以通过配置接口734。

本发明实施例提出了一种关系数据库与非关系数据库间数据迁移的方法、装置及系统，可以用于传统的关系数据库与类Bigtable数据模型的非关系数据库之间的数据迁移。通过本发明实施例中的数据迁移装置，使得业务可以通过一种可靠的、快速、便捷的方式进行数据迁移，平滑过渡到非关系数据库，利用非关系数据库的低成本、弹性可扩展性、高效率高并发等优势提升业务的竞争力。

本发明实施例中，可以在任何时候把数据库中的业务数据切换到类Bigtable数据模型的非关系数据库中，且整个数据迁移过程都是自动的，还节约了成本和减少了出错率，实现了业务数据的平滑迁移。

进一步，本发明实施例中，数据迁移装置还提供了配置接口，可以定制数据的迁移方式，以及根据业务需求对数据表进行调优，还可以通过该配置接口修改映射关系表，从而添加更多的属性，实现更多定制的映射关系。这种可配置的数据迁移过程，使得业务在把数据从关系数据库迁移到非关系数据库之后，能根据非关系数据库的建模特征进行数据迁移，充分发挥非关系数据库的优势，提高迁移后的数据的访问效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以可借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以保存在一个非易失性保存介质(例如，可以是只读存储器(ROM)，U盘，移动硬盘，随机存取存储器(RAM)、磁碟或者光盘等各种可以存储程序代码的介质等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，在没有超过本申请的精神和范围内，可以通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，所描述系统，装置和方法以及不同实施例的示意图，在不超出本申请的范围内，可以与其它系统，模块，技术或方法结合或集成。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

显然，本领域的技术人员应该明白，上述的本发明的各单元或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个单元或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims

1.一种数据迁移的方法，其特征在于，包括：

从关系数据库中获取关系数据库表SCHEMA信息；

2.根据权利要求1所述的方法，其特征在于，还包括：在所述非关系数据库中增加非关系数据库表SCHEMA的定义。

3.根据权利要求2所述的方法，其特征在于，所述在所述非关系数据库中增加非关系数据库表SCHEMA的定义包括：

增加对列族column family的主键的SCHEMA约束定义；

增加对所述column family的具体列字段的SCHEMA约束定义；

将带一个或多个联合主键的关系数据库表中映射为非关系数据库中的超级列族super column family。

4.根据权利要求3所述的方法，其特征在于，还包括：

建立关系数据库中的关系表与非关系数据库的非关系表的映射关系表，并在映射关系表中记录所述SCHEMA定义的映射关系。

5.根据权利要求1所述的方法，其特征在于，所述从关系数据库中获取关系数据库表SCHEMA信息包括：

向所述关系数据库中发送获取SCHEMA信息的请求；

接收所述关系数据库反馈的所述SCHEMA信息。

6.根据权利要求2至5任一项所述的方法，其特征在于，所述将所述关系数据库表SCHEMA信息映射成非关系数据库XML模型包括：

将所述SCHEMA信息映射成关系数据库XML模型；

按照所述SCHEMA的定义，将所述关系数据库XML模型映射为非关系数据库XML模型，并在映射关系表中记录对应的映射关系。

7.根据权利要求6所述的方法，其特征在于，所述将所述关系数据库XML模型映射为非关系数据库XML模型包括：将所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式，其中，

8.根据权利要求7所述的方法，其特征在于，还包括

在所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式时，对映射关系表中记录中的映射关系进行优化配置。

9.根据权利要求2至8任一项所述的方法，其特征在于，所述按照所述映射关系表中记录的映射关系，将关系数据库的数据导入带非关系数据库中包括：

根据所述非关系数据库XML模型生成数据定义命令；

向非关系数据库发送所述数据定义命令，创建非关系数据库中的SCHEMA；

从所述关系数据库中获取数据集；

根据所述映射关系表中记录的对应映射关系将所述数据集导入所述非关系数据库的SCHEMA中。

10.根据权利要求1至9任一项所述的方法，其特征在于，所述从所述关系数据库中获取数据集包括：

扫描非关系数据库XML模型和映射关系表，生成SQL查询语句，利用所述SQL查询语句从所述关系数据库中获取数据集。

11.一种数据迁移装置，其特征在于，包括：

12.根据权利要求11所述的装置，其特征在于，所述装置还包括：

定义单元，用于在所述非关系数据库中增加非关系数据库表SCHEMA的定义，具体包括：增加对column family的主键的SCHEMA约束定义；增加对column family的具体列的SCHEMA约束定义；将一个或多个联合主键的关系数据库表中映射为非关系数据库中的super column family。

13.根据权利要求11或12所述的装置，其特征在于，所述装置还包括：

建立单元，与所述映射单元连接，用于建立关系数据库中的关系表与非关系数据库的非关系表的映射关系表。

14.根据权利要求11或12所述的装置，其特征在于，所述第一获取单元包括：

第一发送单元，用于向所述关系数据库中发送获取SCHEMA信息的请求；

第一接收单元，用于接收所述关系数据库反馈的所述SCHEMA信息。

15.根据权利要求12所述的装置，其特征在于，所述映射单元包括：

第一映射单元，用于将所述SCHEMA信息映射成关系数据库XML模型；

第二映射单元，用于按照SCHEMA的定义，将所述关系数据库XML模型映射为非关系数据库XML模型，并在映射关系表中记录对应的映射关系。

16.根据权利要求12所述的装置，其特征在于，所述第二映射单元包括：

规范化处理模式映射单元，用于将所述关系数据库XML模型配置为规范化处理模式，并将关系数据库中的每个表都映射为非关系数据库中一个column family，并在映射关系表中记录对应的映射关系；和/或

非规范化处理模式映射单元，用于将所述关系数据库XML模型配置为非规范化处理模式，并将多个关系数据库中的表映射为非关系数据库中一个column family，并在映射关系表中记录对应的映射关系。

17.根据权利要求16所述的装置，其特征在于，所述装置还包括：

配置优化单元，用于在所述关系数据库XML模型配置为规范化处理模式或者非规范化处理模式时，对映射关系表中记录中的映射关系进行优化配置。

18.根据权利要求11至17任一项所述的装置，其特征在于，所述第一获取单元包括：

扫描单元，用于扫描非关系数据库XML模型和映射关系表，得到扫描结果；

生成单元，用于根据所述扫描结果生成SQL查询语句；

数据获取单元，用于利用所述SQL查询语句从所述关系数据库中获取数据集。

19.根据权利要求11至17任一项所述的装置，其特征在于，所述数据迁移单元包括：

生成单元，用于根据所述非关系数据库XML模型生成数据定义命令；

创建单元，用于向非关系数据库发送所述数据定义命令，创建非关系数据库中的SCHEMA；

第二获取单元，用于第二从所述关系数据库中获取数据集；

数据导入单元，用于根据所述映射关系表中记录的对应映射关系将所述数据集导入所述非关系数据库的SCHEMA中。

20.一种数据迁移系统，至少包括一个关系数据库和一个非关系数据库，其特征在于，还包括：数据迁移装置，用于从关系数据库中获取关系数据库库表SCHEMA信息；将所述SCHEMA信息映射成非关系数据库XML模型，并在映射关系表中记录对应的映射关系；按照所述映射关系表中记录的映射关系，将关系数据库的数据导入带非关系数据库中。

21.根据权利要求20所述的系统，其特征在于，所述数据迁移装置如权利要求11至19任一项所述的数据迁移装置。