CN105868370A - 读写分离的HBase入库装置及方法 - Google Patents

Abstract

本发明涉及数据处理技术领域，尤其涉及一种读写分离的HBase入库装置及方法，读写分离的HBase入库装置，包括regionServer，regionServer包括WriteRegionServer和ReadRegionServer，读写分离的HBase入库装置还包括HBase元数据表，HBase元数据表用于记录region的主副本所在的WriteRegionServer的地址和region的备份副本所在的ReadRegionServer的地址。本发明将regionServer分成了WriteRegionServer和ReadRegionServer，WriteRegionServer负责写操作，ReadRegionServer负责读操作，通过读写分离实现了HBase的实时入库，且入库效率较高，同时还支持流式数据源。

Description

读写分离的HBase入库装置及方法

技术领域

本发明涉及数据处理技术领域，尤其涉及一种读写分离的HBase入库装置及方法。

背景技术

随着大数据技术的发展和应用，HBase逐渐成为业界广泛使用的NoSQL分布式存储系统，它具有高可靠、面向列、开源等特点，已被Facebook、阿里巴巴等公司成功用于生产系统。

目前HBase对外提供两种数据写入方式：

1)批量加载

如图3所示，批量加载依赖于MapReduce框架，运行MapReduce任务，以待入库的数据为输入，将输入数据转换为HFile，存储在HDFS上，再由HBase提供的bulkLoad接口将HFile移动到HBase数据目录下，该方式适合加载大量的离线数据，但是时延大。

2)利用HBase的put接口

如图4所示，入库程序从数据源中获取数据，构造HBase可识别的put结构，调用HBase对外提供的put接口，将数据加载到HBase中。regionServer收到put请求后，会先将数据写到内存中，当内存中的数据超过一定大小或数据被写入内存超过一定时间，regionServer会将内存中的数据写出到文件系统中，形成HFile文件。

现有入库方案的主要问题有：

批量加载需要依赖于MapReduce框架，MapReduce任务比较耗费资源，影响其它进程的稳定运行，无法直接对流式数据入库，只能以固定的文件作为加载任务的输入。由于批量加载需要依赖MapReduce框架，因此数据入库的时延较大，实时性不好。

利用HBase的put接口实时入库程序会持续的对HBase集群进行写操作(put)，占用大量资源(如CPU)，读操作(get、scan)的性能会受到严重影响。其中，region有主副本和备份副本，HBase的regionServer集群随机选择管理哪个主副本和备份副本，读写未分离。

发明内容

本发明的目的是克服现有技术存在的缺陷，提供高效的实时入库方案，同时保证实时入库运行时，不影响其它进程正常稳定的运行。

实现本发明目的的技术方案是：读写分离的HBase入库装置，包括regionServer，regionServer包括WriteRegionServer和ReadRegionServer，读写分离的HBase入库装置还包括HBase元数据表，HBase元数据表用于记录region的主副本所在的WriteRegionServer的地址和region的备份副本所在的ReadRegionServer的地址，

HBaseClient从HBase元数据表中获取读取请求所对应的region所在的ReadRegionServer的地址，然后将读取请求发送给对应的ReadRegionServer，ReadRegionServer接收到读取请求后，从HDFS和ReadRegionServer的内存中读取相应的数据返回给HBaseClient；

HBaseClient从HBase元数据表中获取写入请求所对应的region所在的WriteRegionServer的地址，将写入请求发送给对应的WriteRegionServer，WriteRegionServer收到写入的数据进行保存。

实现本发明目的的技术方案是：利用读写分离的HBase入库装置进行入库的方法，包括如下步骤：

1)首先HBaseClient判断发送的请求类型；

2)如果是读取请求，HBaseClient从HBase元数据表中获取读取请求所对应的region所在的ReadRegionServer的地址，然后将读取请求发送给对应的ReadRegionServer，ReadRegionServer接收到读取请求后，从HDFS和ReadRegionServer内存中读取相应的数据返回给HBaseClient；

3)如果是写入请求，HBaseClient从HBase元数据表中获取写入请求所对应的region所在的WriteRegionServer的地址，将写入请求发送给对应的WriteRegionServer，WriteRegionServer收到写入的数据进行保存。

本发明具有积极的效果：本发明将regionServer分成了WriteRegionServer和ReadRegionServer，WriteRegionServer负责写操作，ReadRegionServer负责读操作，通过读写分离实现了HBase的实时入库，且入库效率较高，同时还支持流式数据源。

附图说明

为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明，其中：

图1是本发明的原理框图；

图2是发起读写请求的流程图；

图3是本发明现有技术的原理图；

图4是本发明现有技术的原理图。

具体实施方式

如图1所示，本发明公开了一种读写分离的HBase入库装置，包括regionServer，regionServer包括WriteRegionServer和ReadRegionServer，读写分离的HBase入库装置还包括HBase元数据表，HBase元数据表用于记录region的主副本所在的WriteRegionServer的地址和region的备份副本所在的ReadRegionServer的地址，

HBaseClient从HBase元数据表中获取读取请求所对应的region所在的ReadRegionServer的地址，然后将读取请求发送给对应的ReadRegionServer，ReadRegionServer接收到读取请求后，从HDFS和ReadRegionServer的内存中读取相应的数据返回给HBaseClient；

HBaseClient从HBase元数据表中获取写入请求所对应的region所在的WriteRegionServer的地址，将写入请求发送给对应的WriteRegionServer，WriteRegionServer收到写入的数据进行保存。

其中，HBase的一个region可以有region的主副本和region的备份副本，其中region的主副本接收写入请求，region的备份副本只能接收读取请求。WriteRegionServer只服务于region的主副本，只接收写操作；ReadRegionServer只服务于region的备份副本，只接收读操作。具体可以通过增加regionServer属性标识，用以标记regionServer是WriteRegionServer还是写ReadRegionServer。

发起读写请求的流程如图2所示，首先HBaseClient发起读取请求或者写入请求，然后HBaseClient判断请求的类型，如果是写入请求，HBaseClient从HBase元数据表中获取写入请求所对应的region所在的WriteRegionServer的地址，然后将写入请求发送给对应的WriteRegionServer，等待响应；如果是读取请求，HBaseClient从HBase元数据表中获取读取请求所对应的region所在的ReadRegionServer的地址，然后将读取请求发送给对应的ReadRegionServer，等待响应。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.读写分离的HBase入库装置，包括regionServer，其特征在于：所述的regionServer包括WriteRegionServer和ReadRegionServer，所述的读写分离的HBase入库装置还包括HBase元数据表，所述的HBase元数据表用于记录region的主副本所在的WriteRegionServer的地址和region的备份副本所在的ReadRegionServer的地址，

HBaseClient从HBase元数据表中获取读取请求所对应的region所在的ReadRegionServer的地址，然后将读取请求发送给对应的ReadRegionServer，ReadRegionServer接收到读取请求后，从HDFS和ReadRegionServer的内存中读取相应的数据返回给HBaseClient；

HBaseClient从HBase元数据表中获取写入请求所对应的region所在的WriteRegionServer的地址，将写入请求发送给对应的WriteRegionServer，WriteRegionServer收到写入的数据进行保存。

2.利用权利要求1所述读写分离的HBase入库装置进行入库的方法，其特征在于：包括如下步骤：

1)首先HBaseClient判断发送的请求类型；

2)如果是读取请求，HBaseClient从HBase元数据表中获取读取请求所对应的region所在的ReadRegionServer的地址，然后将读取请求发送给对应的ReadRegionServer，ReadRegionServer接收到读取请求后，从HDFS和ReadRegionServer内存中读取相应的数据返回给HBaseClient；

3)如果是写入请求，HBaseClient从HBase元数据表中获取写入请求所对应的region所在的WriteRegionServer的地址，将写入请求发送给对应的WriteRegionServer，WriteRegionServer收到写入的数据进行保存。