CN106557561A - 基于HBase的海量传感器数据存储系统及方法 - Google Patents

Abstract

本发明公开了一种基于HBase的海量传感器数据存储系统，本发明基于HBase分布式数据库集群设计了存储海量传感器数据存储系统和方法，对数据接收层进行流量分流，避免了高并发场景下的海量传感器数据阻塞的情况发生；对HBase分布式数据库集群进行适用于存储大规模传感器数据的预分区建表操作，避免了由HBase分布式数据库集群自身引起的数据存储热点问题；对行键和列名进行了适用于存储大规模传感器数据的优化操作，使得海量传感器数据可以按照时间序列的特点连续的存储在HBase分布式数据库集群内，避免了数据存储分散的问题。实现了基于HBase的海量传感器数据的存储。本发明简单易行，使用效果好。

Description

基于HBase的海量传感器数据存储系统及方法

技术领域

本发明涉及大数据技术领域，尤其是一种基于HBase的海量传感器数据存储系统及方法。

背景技术

随着科学技术的不断进步，诸如wifi，光敏传感器，温度传感器等的传感器也不断的走进我们的生活。因此，收集并分析传感器数据对监控和预测环境变化具有重要的意义。当传感器数量不断增加时，传感器数据规模也会相应的不断增大，这给海量传感器数据存储系统带来巨大的压力。上述传感器数据是典型的时序数据，具有并发程度高、时间序列化、数据总体规模大的特点。针对海量传感器数据的特点，使用基于Netty框架编写的数据缓存中间件集群接收传感器集群所发出的数据请求，Netty是一个基于事件驱动的异步通信框架。其在处理大规模时序数据存储的场景中表现良好。

传统的关系型数据库在存储海量传感器数据时显现出性能差，可扩展性低，支撑容量有限的缺点，其性能已无法达到存储海量数据的要求。HBase是运行在Hadoop分布式系统架构上的NoSQL数据库，其基于分布式，面向列存储，表稀疏，支持高并发事务的特点非常适合存储海量传感器数据，因此，本系统采用HBase作为后端的存储介质。

使用HBase存储大规模、高并发的数据已成为较为成熟的解决方案，但在使用HBase存储海量传感器数据时，由于HBase自身的机制和大规模传感器数据的特点，会产生数据存储延迟、存储热点问题和数据存储分散问题，此类问题在存储海量传感器数据时更为突出，严重影响分布式系统的性能。

发明内容

本发明的目的是：提供了一种基于HBase的海量传感器数据存储系统及方法，它针对大规模传感器数据，克服了数据存储延迟、存储热点问题和数据存储分散问题，提高了海量传感器数据传输的流畅度，实现了基于HBase的海量传感器数据的存储，以克服现有技术不足。

本发明是这样实现的：基于HBase的海量传感器数据存储系统，它包括传感器集群，传感器集群与数据缓存中间件集群连接，数据缓存中间件集群与HBase分布式数据库集群连接。

所述的传感器集群用于收集海量传感器数据，并按照已定义的数据格式将数据发送至数据缓存中间件集群，传感器集群已定义的数据格式为JSON，具体格式为包含传感器标识(id)、总共收集到的信息数目(count)、本地时间(time)、数据标识(data)等数据条目，以传感器收集mac地址为例，具体格式为：{“id”:“0001”,“count”:“100”,“time”:“2016-08-0710:00:00”,“data”:[{“mac”:“8c:77:16:b8:10:f0”}]}

所述传感器集群的数据发送功能的发送方式为HTTP方式。

所述的数据缓存中间件集群分由一个主节点和两个以上的从节点组成，主节点负责日志记录及流量监控，从节点负责接收传感器数据发出的数据请求，并在接受数据请求后向主节点发出报告。

所述的日志记录是，将传感器集群发出的HTTP请求进行记录形成日志，以便错误处理。

所述的流量监控是，对传感器集群提交的数据进行分析并记录其接收时间和数据的大小。

基于HBase的海量传感器数据存储方法，其特征在于：包括如下步骤：

1)根据大规模传感器数据的特点，设计了适用于存储大规模传感器数据的预分区原则，依据此原则在HBase分布式数据库中进行建表操作；

2)按照已定义的规则生成行键；

3)生成满足时间序列特点列名。

所述的步骤1)的操作具体如下：

a)将传感器集群进行平均分组，形成若干传感器子集群；

b)赋予每组传感器子集群一个组号；

c)将每组传感器子子集群按照组号以预分区的形式在HBase分布式数据库中进行建表操作。

步骤2)中的规则定义为：

规则1、行键由传感器集群的分组号和当前接收到传感器数据请求的UNIX秒级时间戳组成；

规则2、对当前接收到传感器数据请求的UNIX秒级时间戳末尾两位进行进行替换操作，将末尾两位真实值替换为0。

所述的步骤3)中生成满足时间序列特点的列名为将当前接收到传感器数据请求的UNIX秒级时间戳末尾两位真实值作为列名。

由于采用了上述技术方案，与现有技术相比，本发明基于HBase分布式数据库集群设计了存储海量传感器数据存储系统和方法，对数据接收层进行流量分流，避免了高并发场景下的海量传感器数据阻塞的情况发生；对HBase分布式数据库集群进行适用于存储大规模传感器数据的预分区建表操作，避免了由HBase分布式数据库集群自身引起的数据存储热点问题；对行键和列名进行了适用于存储大规模传感器数据的优化操作，使得海量传感器数据可以按照时间序列的特点连续的存储在HBase分布式数据库集群内，避免了数据存储分散的问题。实现了基于HBase的海量传感器数据的存储。本发明简单易行，使用效果好。

附图说明

图1为本发明基于HBase的海量传感器数据存储系统的系统架构图；

图2为本发明基于HBase的海量传感器数据存储系统的业务处理流程图；

图3为本发明基于HBase的海量传感器数据存储系统数据缓存中间件集群业务处理流程图；

图4为本发明基于HBase的海量传感器数据存储方法的行键示意图；

图5为本发明基于HBase的海量传感器数据存储方法的分区界限示意图；

图6为本发明基于HBase的海量传感器数据存储方法的HBase分布式数据库表逻辑结构示意图。

图7为本发明基于HBase的海量传感器数据存储系统及方法的实验结果。

具体实施方式

下面结合附图对本发明作进一步的详细说明，但不作为对本发明的任何限制

本发明的实施例：基于HBase的海量传感器数据存储系统及方法，图1示出了本发明基于HBase的海量传感器数据存储系统的系统架构图，参考图1，该系统包括传感器集群，数据缓存中间件集群合HBase分布式数据库集群。传感器集群包括传感器子集群，数据缓存中间件集群包括数据缓存中间件子节点和数据缓存中间件主节点。

传感器集群，用于探测数据，封装数据，发送数据，是基于HBase的海量传感器数据存储系统的数据来源。传感器集群被分为若干传感器子集群。

数据缓存中间件集群，用于缓存数据，分析数据，将数据存入HBase分布式数据库。数据缓存中间件集群分为数据缓存中间件子节点和数据缓存中间件主节点，数据缓存中间件子节点负责接收数据、统计数据，数据缓存中间件主节点负责日志记录和流量监控。

HBase分布式数据库集群，用于作为海量传感器数据的最终存储介质。

如图1所示，在该系统中，传感器集群被分成若干传感器子集群，每个传感器子集群会有一个全局唯一的组号，每台传感器会有一个全局唯一的传感器编号，每个传感器子集群会与一个数据缓存中间件子节点达成协议。数据缓存中间件集群分为数据缓存中间件子节点和数据缓存中间件主节点，每个数据缓存中间件子节点负责接收一个传感器子集群所发出的数据存储请求，对数据存储请求进行统计之后将统计结果发送至数据缓存中间件主节点并最终将数据存储至HBase分布式数据库集群，数据缓存中间件主节点负责接收所有数据缓存中间件子节点所发出的数据统计结果并对统计结果进行日志记录和流量监控。HBase分布式数据集群作为海量传感器数据的最终存储介质，接收所有数据缓存中间件子节点发出的数据存储请求。

图2示出了本发明基于HBase的海量传感器数据存储系统的业务处理流程图，如图2所示，该系统可采用如下步骤实现海量传感器数据的存储。

步骤1.传感器集群探测数据

步骤2.传感器集群封装数据，在此步骤中，传感器集群封装数据的格式为JSON格式。

步骤3.传感器集群发送数据，在此步骤中，传感器会将已封装的数据发送至与其所在传感器子集群达成协议的数据缓存中间件子节点的协议端口。

步骤4.数据缓存中间件子节点在接收数据之后会对接收到的数据进行统计分析，得出统计结果流量，接收时间，传感器编号，传感器子集群号。然后对统计结果按照已定义的格式进行封装，已定义格式为JSON格式。

步骤5.判断是否已向数据缓存中间件主节点发送统计结果。

步骤6.若已向数据缓存中间件主节点发送统计结果，则数据缓存中间件集群则直接将数据存入HBase分布式数据库集群，若未向数据缓存中间件主节点发送统计结果，则应先向数据缓存中间件主节点发送统计结果。

图3示出了本发明基于HBase的海量传感器数据存储系统数据缓存中间件集群业务处理流程图，如图3所示，数据缓存中间件采用如下步骤实现。

步骤1.数据缓存中间件集群开启，数据缓存中间件集群一经开启，便会绑定与传感器子集群达成协议的协议端口，传感器子集群会将数据发送到此端口。

步骤2.数据缓存中间件集群子节点开始接收数据。

步骤3.数据缓存中间件集群子节点统计数据，数据缓存中间件集群子节点对已接收的数据进行统计分析，得出统计结果流量，接收时间，传感器编号，传感器子集群号并对统计结果按照已定义的格式进行封装，已定义的格式为JSON格式。

步骤4.数据缓存中间件子节点将统计结果发送至数据缓存中间件主节点，数据缓存中间件子节点以HTTP通信的方式将已封装的统计结果发送至数据缓存中间件主节点。

步骤5.数据缓存中间件子节点将数据存储至HBase分布式数据库集群。

步骤6.数据缓存中间件主节点接收统计结果。

步骤7.数据缓存中间件主节点编辑日志记录，数据缓存中间件主节点按照已接收的统计结果，进行日志编辑操作。

步骤8.数据缓存中间件主节点保存统计结果，数据缓存中间件主节点对已接收的统计结果进行保存。

图4示出了本发明基于HBase的海量传感器数据存储方法的行键示意图，如图4所示，基于HBase的海量传感器数据存储方法的行键由传感器编号和经规则定义的UNIX时间戳组成，高8位为传感器编号，低10位为经规则定义的UNIX时间戳，共18位。

图5示出了本发明基于HBase的海量传感器数据存储方法的分区界限示意图，如图5所示，基于HBase的海量传感器数据存储方法的分区界限由传感器子集群组号和10位数字0组成，高8位为传感器子集群号，低10位为10位数字0，共18位。每个分区界限将区别两个分区，因HBase分布式数据库集群在存储数据时，会按照行键字典序对数据进行排列，故每个分区负责存储一个传感器子集群所提交的数据。

图6示出了本发明基于HBase的海量传感器数据存储方法的HBase分布式数据库表逻辑结构示意图，如图6所示，基于HBase的海量传感器数据存储方法的HBase分布式数据库表逻辑结构包括行键和列族，行键设计如图4所示，列族设计包括若干满足时间序列特点的列名，满足时间序列特点的列名为将当前接收到传感器数据请求的UNIX秒级时间戳末尾两位真实值作为列名。按照基于HBase的海量传感器数据存储方法的HBase分布式数据库表逻辑结构设计，每100秒内的数据将会具备同样的行键。

图7示出了本发明基于HBase的海量传感器数据存储系统及方法的实验结果，实验中传感器数据的内容为mac地址、相应的rssi值和UNIX时间戳，Json字符串的内容具体包含传感器标识(id)、总共收集到的信息数目(count)、本地时间(time)、数据标识(data)等数据条目，其中数据标识(data)包括mac地址(mac)、UNIX时间戳(us_timespec)和rssi值(rssi)，具体格式为：{“id”:“”,“count”:“”,“time”:“”,“data”:[{“mac”:“”]，“rssi”:“”,“us_timespec”:“”}，{“mac”:“”]，“rssi”:“”,“us_timespec”:“”}]}，实验固定每条Json字符串包含50个设备的mac地址(mac)，rssi值(rssi)和UNIX时间戳(us_timespec)，且采用4个传感器不间断收集并发送传感器数据。实验采用每秒钟存储数据量每秒存储数据量作为的性能的衡量指标，共分为6组进行，各实验组别设置不同的待存储数据总量。

如图7所示，当待存储数据总量为5000条时，性能达到最高,为47.619条/秒,当待存储数据总量为20000条时,性能达到最低,为41.407条/秒,相差6.212条/秒。当待存储数据总量由15000条上升至25000条时,性能略有波动。当待存储数据总量大于20000条时,性能趋于稳定,最大相差0.259条/秒。

以上所述，仅是本发明的较佳实例而已，并非对本发明做任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。

Claims (10)

1.一种基于HBase的海量传感器数据存储系统，其特征在于：它包括传感器集群，传感器集群与数据缓存中间件集群连接，数据缓存中间件集群与HBase分布式数据库集群连接。

2.根据权利要去要求1所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的传感器集群用于收集海量传感器数据，并按照已定义的数据格式将数据发送至数据缓存中间件集群，传感器集群已定义的数据格式为JSON。

3.根据权利要去要求2所述的基于HBase的海量传感器数据存储系统，其特征在于：所述传感器集群的数据发送功能的发送方式为HTTP方式。

4.根据权利要去要求1所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的数据缓存中间件集群分由一个主节点和两个以上的从节点组成，主节点负责日志记录及流量监控，从节点负责接收传感器数据发出的数据请求，并在接受数据请求后向主节点发出报告。

5.根据权利要去要求4所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的日志记录是，将传感器集群发出的HTTP请求进行记录形成日志，以便错误处理。

6.根据权利要去要求4所述的基于HBase的海量传感器数据存储系统，其特征在于：所述的流量监控是，对传感器集群提交的数据进行分析并记录其接收时间和数据的大小。

7.一种采用权利要求1所述的系统的基于HBase的海量传感器数据存储方法，其特征在于：包括如下步骤：

1)根据大规模传感器数据的特点，设计了适用于存储大规模传感器数据的预分区原则，依据此原则在HBase分布式数据库中进行建表操作；

2)按照已定义的规则生成行键；

3)生成满足时间序列特点列名。

8.根据权利要求7所述的基于HBase的海量传感器数据存储方法，其特征在于：所述的步骤1)的操作具体如下：

a)将传感器集群进行平均分组，形成若干传感器子集群；

b)赋予每组传感器子集群一个组号；

c)将每组传感器子子集群按照组号以预分区的形式在HBase分布式数据库中进行建表操作。

9.根据权利要求7所述的基于HBase的海量传感器数据存储方法，其特征在于：步骤2)中的规则定义为：

规则1、行键由传感器集群的分组号和当前接收到传感器数据请求的UNIX秒级时间戳组成；

规则2、对当前接收到传感器数据请求的UNIX秒级时间戳末尾两位进行进行替换操作，将末尾两位真实值替换为0。

10.根据权利要求7所述的基于HBase的海量传感器数据存储方法，其特征在于：所述的步骤3)中生成满足时间序列特点的列名为将当前接收到传感器数据请求的UNIX秒级时间戳末尾两位真实值作为列名。