CN103631907A

CN103631907A - 一种将关系型数据迁移至HBase的方法及系统

Info

Publication number: CN103631907A
Application number: CN201310612192.7A
Authority: CN
Inventors: 戴娇; 文杰; 韩冀中; 周薇
Original assignee: Institute of Information Engineering of CAS
Current assignee: Institute of Information Engineering of CAS
Priority date: 2013-11-26
Filing date: 2013-11-26
Publication date: 2014-03-12
Anticipated expiration: 2033-11-26
Also published as: CN103631907B

Abstract

本发明涉及一种将关系型数据迁移至HBase的方法及系统，包括关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块；通过在HBase数据库中设计映射关系表，存储原关系数据库中模式信息与HBase数据库中模式信息的映射关系，完整保留了原关系数据库中数据表格的模式信息，且可灵活配置映射方式，为用户提供了更多的选择，且HBase的高效数据组织方式，大大提高了访问性能，节省了存储空间，同时提供数据导出功能，实现与其他子系统的数据交互，另外，数据查询功能支持SQL查询，将SQL查询语句转换成HBase数据库的查询语句，使用户更平滑地过渡到HBase数据库。

Description

一种将关系型数据迁移至HBase的方法及系统

技术领域

本发明涉及数据存储与管理领域，尤其涉及一种将传统关系型数据库中的关系型数据迁移至HBase数据库的方法及系统。

背景技术

随着数据生成方式的多元化与数据接入方式的多样化及便捷化，各种业务系统中的数据都急剧膨胀。相应地，传统方式下，使用关系型数据库管理的数据，在存储容量与访问量上不断发生量级上的增加。传统关系库面临严峻的挑战。

近年来，NoSQL数据库在工业界和研究领域蓬勃发展。NoSQL数据库天然的分布式架构，自动完成数据的水平划分与访问的并发，在数据存储量及读写性能较传统关系型数据库有了极大的提升。工业界与研究机构都纷纷推出相关软件，HBase即为其中的一员。HBase是一个分布式的、面向列存储的数据库，具有高可靠性、高可扩展性，能在普通硬件环境基础上支撑十亿量级行，百万量级列的“大表”，并支持在这样规模数据上的随机、实时读写操作。HBase提供类似于表格的存储视图，与普通二维表格不同的是，表的属性列可以按需动态调整，表的记录按照列方向而非行方向进行组织。一行数据有行键与若干列簇组成，行键与列簇组成该表的schema，在表格创建后保持不变。而列簇则由若干列组成，可以在数据更新时动态增减列簇中的列。

参照Google的BigTable实现的HBase，目前是Apache的顶级项目，该开源社区蓬勃发展的同时，HBase的应用也越来越广泛，已经在Yahoo!，Facebook等多家公司成功应用。应用过程中，不可避免地涉及到数据迁移，即从从原有数据平台迁移至HBase，如：从Mysql、Oracle等关系型数据库移出。

Apache出品的Sqoop系统即提供从关系数据库读取整库的数据，并指定列为行键，将数据记录作为值存入HBase某一行的列簇中。这种迁移存在以下问题：1）丢失数据模式信息与数据唯一性保证，如数据类型、是否允许非空。2）列过多，对读写性能造成一定的影响。3）不恰当的行键的设计，可能会造成空间的浪费。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种将关系型数据迁移至HBase的方法及系统，完整保留了原关系数据库中数据表格的模式信息，可灵活配置映射方式，提高了访问性能，节省了存储空间。

本发明解决上述技术问题的技术方案如下：一种将关系型数据迁移至HBase的方法，包括如下步骤：

步骤1：建立HBase数据库，并建立用于存储关系数据库中数据表与HBase中相应的数据存储表间映射关系的映射关系表；

步骤2：选定一个或一个以上的关系型数据表，并为选定的每个关系型数据表定义映射方式，记录在映射关系表中；

步骤3：导入数据时，查询映射关系表中的映射方式，并根据映射方式建立相应的数据存储表；

步骤4：将步骤2中所述一个或一个以上的关系型数据表中的数据按照步骤3中所述的映射关系迁移至建立的数据存储表中；

步骤5：判断是否还有关系型数据要迁移到HBase数据库中，如果有返回步骤2,否则结束。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，上述技术方案还包括当要从HBase数据库中导出数据时，具体实现如下：首先，根据用户提供的导出配置文件获取待导出数据在原关系型数据表中的位置信息；其次，根据待导出数据在原关系型数据表中的位置信息，在映射关系表中查找出待导出数据在HBase数据库的数据存储表中相应的位置信息；最后，按照关系映射表中定义的数据类型将待导出数据导出。

进一步，上述技术方案还包括当要从HBase数据库中查询数据时，具体实现如下：首先，解析所述查询语句，提取出查询信息，并转换成HBase数据库的查询语句；其次，根据已转换的查询语句在映射关系表中查找待查询数据在数据存储表中的位置信息；最后，根据查询到的位置信息，查询数据存储表中的相应数据。

进一步，步骤2中所述映射方式为包括表映射方式和列映射方式，

所述表映射方式包括一对一映射和多对一映射，具体体现在表名的映射，所述表名的映射为根据表名转换运算进行映射，表名转换运算包括一对一哈希运算和多对一哈希运算；

所述列映射方式包括默认方式、时序方式和用户自定义方式，所述默认方式即关系数据库中表格内所有列与HBase的数据存储表格的一个列簇内的所有列一一对应；所述时序方式即将关系数据库中表格内所有时间值属性列在HBase的数据存储表中单独定义一个列簇，该列簇包含一个列，将迁移的数据按照不同时间点对应于该列不同的时间戳上；所述用户自定义映射即根据用户的需要进行自定义。

进一步，步骤3中根据映射方式建立相应的数据存储表，所述数据存储表中包括一个特殊的列即为行键列，所述行键列的映射方式包括单关键字型和多关键字型，所述单关键字型是以原关系数据库中表格的一个列属性直接作为行键，多关键字型是将原关系数据库中表格的多个列属性拼接为一个行键，所选列属性、用于拼接各列属性的连接字符或字符串，以及行键的排列顺序由用户自定义。

进一步，步骤4的具体实现包括数据读取和数据写入，其中数据读取包括两种方式，一是通过JDBC从关系数据库中读取数据，二是通过中间文件从关系数据库中读取数据；导入数据时，首先在映射关系表中查找相关的映射关系，将读取的数据转换成二进制串，根据映射关系将写入到相应的数据存储表中。

本发明解决上述技术问题的另一技术方案如下：一种将关系型数据迁移至HBase的系统，包括一个或一个以上的关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块；

所述每个关系数据库，其用于存储关系型数据，作为数据迁移的源端；

所述HBase数据库，其用于建立映射关系表来存储关系数据库中数据表与HBase中相应的数据存储表间的映射关系，并将从关系型数据库中迁移来的数据按照预定的映射关系存储在相应的数据存储表中；

所述SQL解析模块，其用于提供SQL查询功能，对SQL查询语句进行解析，并将解析出的查询信息传送给查询转换模块；

所述查询转换模块，其用于将接收的查询信息转换成HBase数据库的查询语句，并传送给数据模式管理模块；

所述数据模式管理模块，其用于在向HBase导入、导出和查询数据时，调取相应接口，在HBase的映射关系表中查询映射关系，为数据导入、导出和查询提供查询依据。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，所述预定的映射关系包括表映射方式和列映射方式，

进一步，所述关系数据库提供JDBC接口以实现关系数据库中表格模式的获取及待迁移数据的读取；所述HBase数据库提供接口以实现数据的读写。

进一步，所述SQL解析模块包括语法解析单元和语义解析单元；

所述语法解析单元，其用于通过正则表达式判断SQL查询语句的合法性；

所述语义查询单元，其用于提取具体的查询信息。

进一步，所述映射关系表包括行键和一个列簇，所述列簇中包括若干列，分别为tOc、TN、aNULL、DT、DL、isK、CFN、CN、TS；其中，tOc标识所填内容为表信息还是列信息，TN中所填内容为表名，aNULL标识能否允许为空，DT标识数据类型，DL标识数据长度，isK标识是否主键，CFN标识是否为时序映射、CN为主键名，TS为时间戳方式。

本发明的有益效果是：本发明通过在HBase数据库中设计映射关系表，存储原关系数据库中模式信息与HBase数据库中模式信息的映射关系，完整保留了原关系数据库中数据表格的模式信息，且可灵活配置映射方式，为用户提供了更多的选择，且HBase的高效数据组织方式，大大提高了访问性能，节省了存储空间，同时提供数据导出功能，实现与其他子系统的数据交互，另外，数据查询功能支持SQL查询，将SQL查询语句转换成HBase数据库的查询语句，使用户更平滑地过渡到HBase数据库。

附图说明

图1为本发明所述一种将关系型数据迁移至HBase的方法流程图；

图2为本发明所述一种将关系型数据迁移至HBase的系统框图；

图3为按关键字查询关系数据库与HBase数据库时的查询性能对比图；

图4为按条件查询关系数据库与HBase数据库时的查询性能对比图。

附图中，各标号所代表的部件列表如下：

1、关系数据库，2、HBase数据库，3、SQL解析模块，4、查询转换模块，5、数据模式管理模块。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，一种将关系型数据迁移至HBase的方法，包括如下步骤：

其中，上述技术方案还包括当要从HBase数据库中导出数据时，具体实现如下：首先，根据用户提供的导出配置文件获取待导出数据在原关系型数据表中的位置信息；其次，根据待导出数据在原关系型数据表中的位置信息，在映射关系表中查找出待导出数据在HBase数据库的数据存储表中相应的位置信息；最后，按照关系映射表中定义的数据类型将待导出数据导出。

其中，上述技术方案还包括当要从HBase数据库中查询数据时，具体实现如下：首先，解析所述查询语句，提取出查询信息，并转换成HBase数据库的查询语句；其次，根据已转换的查询语句在映射关系表中查找待查询数据在数据存储表中的位置信息；最后，根据查询到的位置信息，查询数据存储表中的相应数据。

映射关系表逻辑上包括表名映射和列映射表。关系数据库中通常包含库、模式、表格或类似的三层视图；而HBase数据库中的表格是平坦化组织的，表格之上没有模式、库之类的概念。因此需要将关系数据库的树状名字空间映射为平坦的名字空间，表名映射表中存储的即是以上映射关系。关系数据库与HBase更大的不同在于，关系数据库的表格属性是行、列二维的，而HBase是多维的，行方向为行键维，列方向有列簇和列。为了提高访问性能，Hbase中的数据存储表的模式设计应充分利用其特性进行数据组织和存储。

所述原关系数据库中的数据表与HBase中数据存储表的映射关系包括表映射方式和列映射方式，

所述表映射方式包括一对一映射和多对一映射，具体体现在表名的映射，所述表名的映射为根据表名转换运算进行映射，表名转换运算包括一对一哈希运算和多对一哈希运算。

其中，一对一映射；将关系型数据库中一个数据表映射到HBase数据库中的一个数据存储表中，原关系型数据库中的数据表的表名经过一致的hash计算得到映射后的表名，即为HBase中对应的表名，此种一对一映射为本系统提供的默认的表映射方式。

而表的多对一的表映射方式，即对于表达相同业务且表格模式一致的多张表（来自同一关系型数据库或多个关系型数据库），允许用户将其映射到HBase的一个数据存储表中，原关系型数据库中的多个数据表的表名经过一致的hash计算得到映射后的表名，即为HBase中对应的表名，此种多对一映射为本系统提供的多对一表映射方式。

所述数据存储表中包括一个特殊的列即为行键列，所述行键列的映射方式包括单关键字型和多关键字型，所述单关键字型是以原关系数据库中表格的一个列属性直接作为行键，多关键字型是将原关系数据库中表格的多个列属性拼接为一个行键，所选列属性、用于拼接各列属性的连接字符或字符串，以及行键的排列顺序由用户自定义。

实施例1中，表映射采用一对一映射，列映射采用默认方式，行键为多关键字型。如表1为关系数据库中表名为t1的模式定义，表2、表3分别为映射到HBase中相应的表名为hash(t1)的模式定义及数据存储表格模式。

表1

表2

表3

实施例2中，表映射采用多对一映射，列映射采用时序方式，行键为单关键字型。如表4所示，为关系数据库中存储的一张采样表，该采样表的生成时间为2013年11月12日，表5为关系数据库中存储的另一张采样表，该采样表的生成时间为2013年11月13日，由于表4和和表5表达的业务相同，且表格模式相同，为控制单表的数据量，进而提高局部访问性能，按日生成的年度日志信息表，可以将日期信息存储在列的时间戳上，从而将多天的表格合并存储为一张表。因此，可以将表4和表5合并存储为表6，其中表6为HBase中的一张数据存储表。

表4

ID	采样值
		123	12.1
...	...

表5

ID	采样值
		123	11.1
...	...

表6

实施例3中，表映射采用一对一映射，列映射采用时序方式，行键为单关键字型。表7为关系数据库中的一张数据表，表8为映射到HBase中相应的数据存储表。

表7

ID	0点0分	0点15分	0点30分	...	23点45分
						123	12.1	15.1	13.1	...	1.1
124	11.1	16.1	18.1	...	8.1
						...	...	...	...	...	...

表8

上述按时序方式进行列映射，即将关系数据库中表格内所有时间值属性列在HBase的数据存储表中单独定义一个列簇，该列簇包含一个列，将迁移的数据按照不同时间点对应于该列不同的时间戳上。

批量数据导入分为数据读取与数据写入两部分，其中读取方式可分为两种：1）通过JDBC从关系数据库读取数据；2）通过中间文件读取数据，业务系统一般都会约定数据库的导出文件格式以实现与其它系统的交互，典型的如：通用的XML文件格式，电力系统中基于CIM提出的CIME交换文件格式。这些文件都可以作为本系统的输入。导入数据时，首先读取关系数据表格的元数据信息，即表格的模式信息，为每张表格定义映射关系，将定义的映射关系存储在映射关系表中，供数据导出与查询使用。

HBase数据库数据导出功能。如前所述，原有的业务系统为了与其它子系统进行数据交换，会约定数据库导出数据的格式，因此本系统提供了相应的数据导出功能。与导入功能类似，亦支持通用的XML、CIM/E及用户自定义的各种导出格式。导出数据时，查询映射关系表，得到相应的映射关系，根据映射关系在数据存储表中找到所需数据，并按照映射关系表中定义的数据类型返回给用户。

SQL查询功能。为了使用户更平滑地过渡到HBase数据库，本系统提供类SQL查询功能，支持基本的SQL语法。特别的，对于前文所述时序方式导入的表格，支持timestamp关键字，以提供更高效的查询性能。

如图2所示，一种将关系型数据迁移至HBase的系统，包括一个或一个以上的关系数据库1、HBase数据库2、SQL解析模块3、查询转换模块4和数据模式管理模块5；

所述每个关系数据库1，其用于存储关系型数据，作为数据迁移的源端；

所述HBase数据库2，其用于建立映射关系表来存储关系数据库中数据表与HBase中相应的数据存储表间的映射关系，并将从关系型数据库中迁移来的数据按照预定的映射关系存储在相应的数据存储表中；

所述SQL解析模块3，其用于提供SQL查询功能，对SQL查询语句进行解析，并将解析出的查询信息传送给查询转换模块4；

所述查询转换模块4，其用于将接收的查询信息转换成HBase数据库的查询语句，并传送给数据模式管理模块5；

所述数据模式管理模块5，其用于在向HBase导入、导出和查询数据时，调取相应接口，在HBase的映射关系表中查询映射关系，为数据导入、导出和查询提供查询依据。

迁移的数据源端与数据目的端，即分别为关系数据库和HBase，二者提供基本的存储支撑，提供表格视图。关系数据库提供通用的JDBC接口以实现数据库表格模式的获取及数据的读取；HBase提供put、get等接口实现数据的读写。

SQL解析模块，SQL解析模块主要分为语法解析和语义解析，语法解析主要通过正则表达式判断查询语句的合法性；语义解析将提取出关键字、操作对象、查询操作类型、查询条件等信息，如“update”、“student_table”、“where”、“count”等查询信息，并将解析出的查询信息发送给查询转换模块。

查询转化模块，将接收的查询信息转换成HBase的查询语句，并在数据模式管理模块的协助下，完成操作对象、查询条件等的转换，如表名的转化、timestamp查询条件的转化。

数据模式管理模块，数据模式的映射关系以表格形式存储于Hbase映射关系表中，支撑表格的创建及查询转化。

如表9所示，HBbase中的映射关系表简称为：SchMngTable，其行键为表名或者表名与列名的联接，具有一个名为CF的列簇，当行键为表名时，列信息为映射后的HBase中的表名；当行键为表名与列名的联接时，列信息中包含列的属性。因此CF下包含以下列：tOc（table or column，表信息还是列信息）、TN（table name，表名）、aNULL（allow null,能否允许为空）、DT（data type,数据类型、DL(data length,数据长度)、isK(是否主键)以及表达时序映射的CFN（column family name）、CN（column name）与TS（timestamp，时间戳方式）。

表9

下面结合实际的表格数据的具体对本发明进行说明：

1.数据库初始化

在HBase中创建映射关系表，包含行键、一个列簇与以下列：tOc、TN、aNULL、DT、DL、isK、CFN、CN与TS。这些列簇的含义分别为：表格还是列、表名、是否允许为空、数据类型、数据长度、是否为主键、列簇名、列名、时间戳。

2.历史数据导入

指定待迁移数据的关系型数据库，并为待迁移数据的每张表格定义相应的表映射方式和列映射方式。为更加清晰的表达时序方式，假定数据库中存在一张周期性生成的数据表格，除行键外的其它列表达的是时刻信息，如3600列表达一小时内的每一秒钟、或者96列表达一天的每一刻钟。此时建议用户使用时序方式进行列映射。

创建一个数据存储表之前，将在映射关系表中写入两记录：第一条记录标示要建立的所述数据存储表该表，其行键为:数据库名.模式名.表名，列值为t（table or column,表信息）、TN（table name，表名），其它列为NULL；第二条记录标示要建立的数据存储表各列的属性，各列的值分别为：c（table or column,列信息）、N（allow null,不允许为空）、int（datatype,数据类型）、8(data length,数据长度)、Y(是主键)以及表达时序映射的CF1（column family name）、C（column name）与TS1（timestamp，时间戳方式为时序方式）。

读取被迁移数据，写入HBase，即完成数据导入。如前所述，数据的读取分为传统的JDBC接口方式与用户自定义的文件格式。在此以JDBC接口方式为例说明本方法的实施。首先通过JDBC接口读取数据库的元数据信息，得到数据库的所有表名，根据映射关系表，为每张表在HBase中创建数据存储表。创建完成后，通过JDBC接口完成每张表格的数据读取，将读取到的数据转化为二进制串存入相应的数据存储表。

3.HBase中数据导出。

本节以从HBase数据库数据中导出CIME文件为例说明数据记录导出的功能。首先，从用户提供的导出配置中读出待导出的表以及列信息，然后在映射关系表中查询对应HBase中的表名、列簇、列名，以及可能由映射得到的时间戳信息,最后读取HBase中相应的数据存储表中的记录，并按照映射关系表中约定的数据类型，将存储的数据导出至CIME文件。

4.HBase中数据查询。

本系统提供SQL查询功能，兼容关系数据库的语法，同时提供timestamp关键字以提供更高效的查询性能。

在某生产系统中选取了1张具有时序特征的典型表格，通过测试迁移(使用时序方式进行列映射)前后的查询性能验证本系统的有效性；查询语句选取了关键字查询和条件查询。

图3与图4分别展示了关键字查询与条件查询下关系数据库与HBase（单机、多机分别指1个数据节点和2个数据节点）的查询性能对比，其中横轴代表数据表格的记录数，即查询规模从1000变化至1,000,000；纵轴代表首记录返回时间。从图3与图4的对比结果可知，按关键字查询时，HBase的性能提升为3-5倍；按条件查询时，数据规模越大HBase的性能优势越明显。同时，随着数据规模的增加关系数据库上的两种查询性能都不断下降，而HBase则表现稳定，访问时间基本不变。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种将关系型数据迁移至HBase的方法，其特征在于，包括如下步骤：

2.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，还包括当要从HBase数据库中导出数据时，具体实现如下：首先，根据用户提供的导出配置文件获取待导出数据在原关系型数据表中的位置信息；其次，根据待导出数据在原关系型数据表中的位置信息，在映射关系表中查找出待导出数据在HBase数据库的数据存储表中相应的位置信息；最后，按照关系映射表中定义的数据类型将待导出数据导出。

3.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，还包括当要从HBase数据库中查询数据时，具体实现如下：首先，解析所述查询语句，提取出查询信息，并转换成HBase数据库的查询语句；其次，根据已转换的查询语句在映射关系表中查找待查询数据在数据存储表中的位置信息；最后，根据查询到的位置信息，查询数据存储表中的相应数据。

4.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，步骤2中所述映射方式为包括表映射方式和列映射方式，

5.根据权利要求4所述一种将关系型数据迁移至HBase的方法，其特征在于，步骤3中根据映射方式建立相应的数据存储表，所述数据存储表中包括一个特殊的列即为行键列，所述行键列的映射方式包括单关键字型和多关键字型，所述单关键字型是以原关系数据库中表格的一个列属性直接作为行键，多关键字型是将原关系数据库中表格的多个列属性拼接为一个行键，所选列属性、用于拼接各列属性的连接字符或字符串，以及行键的排列顺序由用户自定义。

6.根据权利要求1所述一种将关系型数据迁移至HBase的方法，其特征在于，步骤4的具体实现包括数据读取和数据写入，其中数据读取包括两种方式，一是通过JDBC从关系数据库中读取数据，二是通过中间文件从关系数据库中读取数据；导入数据时，首先在映射关系表中查找相关的映射关系，将读取的数据转换成二进制串，根据映射关系将其写入到相应的数据存储表中。

7.一种将关系型数据迁移至HBase的系统，其特征在于，包括一个或一个以上的关系数据库、HBase数据库、SQL解析模块、查询转换模块和数据模式管理模块；

8.根据权利要求7所述一种将关系型数据迁移至HBase的系统，其特征在于，所述预定的映射关系包括表映射方式和列映射方式，

所述列映射方式包括默认方式、时序方式和用户自定义方式，所述默认方式即关系数据库中表格内所有列与HBase的数据存储表格的一个列簇内的所有列一一对应；所述时序方式即将关系数据库中表格内所有时间值属性列在HBase的数据存储表中单独定义一个列簇，该列簇包含一个列，将迁移的数据按照不同时间点对应于该列不同的时间戳上；用户自定义映射即根据用户的需要进行自定义。

9.根据权利要求7所述一种将关系型数据迁移至HBase的系统，其特征在于，所述关系数据库提供JDBC接口以实现关系数据库中表格模式的获取及待迁移数据的读取；所述HBase数据库提供接口以实现数据的读写。

10.根据权利要求7所述一种数据迁移的方法，其特征在于，所述SQL解析模块包括语法解析单元和语义解析单元；

所述语义查询单元，其用于提取具体的查询信息。

11.根据权利要求7所述一种将关系型数据迁移至HBase的系统，其特征在于，所述映射关系表包括行键和一个列簇，所述列簇中包括若干列，分别为tOc、TN、aNULL、DT、DL、isK、CFN、CN、TS；其中，tOc标识所填内容为表信息还是列信息，TN中所填内容为表名，aNULL标识能否允许为空，DT标识数据类型，DL标识数据长度，isK标识是否主键，CFN标识是否为时序映射、CN为主键名，TS为时间戳方式。