CN104850640A

CN104850640A - 一种基于HBase的电网设备状态监测数据存储和查询方法及系统

Info

Publication number: CN104850640A
Application number: CN201510274013.2A
Authority: CN
Inventors: 宋亚奇; 朱永利; 李莉
Original assignee: North China Electric Power University
Current assignee: North China Electric Power University
Priority date: 2015-05-26
Filing date: 2015-05-26
Publication date: 2015-08-19

Abstract

本发明涉及一种基于HBase的电网设备状态监测数据存储和查询方法及系统，方法包括：汇聚节点收集状态监测数据，并上传至HDFS主控节点：HDFS主控节点把接收到的状态监测数据合并生成大文件，并上传到HDFS；MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生成rowkey，根据rowkey构建HBase表；设置查询条件，HBase根据所述查询条件和rowkey进行查询。本发明将电网设备状态监测数据与HBase、HDFS相结合，能够支持海量状态检测数据的可靠存储和快速的多条件查询。

Description

一种基于HBase的电网设备状态监测数据存储和查询方法及系统

技术领域

本发明属于电力系统网络化监控及信息处理技术领域，尤其涉及一种基于HBase的电网设备状态监测数据存储和查询方法及系统。

背景技术

现代电网要求可靠、安全、经济、高效运行，这需要对组成电网的主要设备的健康状况进行在线监测、数据搜集和评估。监测数据以“数据点”(单个设备的一个属性)为单位，描述一项数据指标，形成时间序列数据。由于电网设备数量大，采样率高，监测数据规模呈现海量。现有电网设备状态监测主站系统普遍采用企业级关系数据库进行数据的集中存储。由于关系型数据库以及所采用的按行存储模式主要被设计为支持数据记录和事务处理(OLTP)，能够进行多条件的查询，但支持的数据量规模小，不能满足电网状态监测数据的海量存储需求；另外，当存储的数据量较大时，数据装载以及查询时性能下降明显，不能很好的适应状态监测大数据的准实时处理应用需求。目前，只有少量的监测数据上传到主站系统，大量可能隐含重大价值的数据被丢弃，造成数据的极大浪费。

另外，状态监测数据也可以直接以文本文件的形式存储，并保存到磁盘阵列中，这种方式只适合对数据进行存储备份，查询功能只能在应用软件层上实现，实现复杂、功能不稳定，系统代价大，更不易实现多条件复杂查询。

Hadoop云计算平台具备可靠性高、数据存储量大、数据并行处理等优势，目前成为信息技术领域的研究热点。广泛应用于生物信息处理、搜索引擎、文本分类等领域。Hadoop提供了一个分布式的数据库系统HBase，是建立在HDFS之上，提供高可靠性、高性能、列存储、可伸缩、实时读写的数据库系统，这为实现海量电网设备状态监测数据的存储和快速查询提供了新的技术支持。但是HBase介于nosql和RDBMS之间，仅能通过主键(rowkey)和主键的range来检索数据，仅支持单行事务。用户在使用电网设备状态监测系统时，通常需要利用多个条件对监测数据进行综合查询。因此要应用HBase进行电网设备状态监测数据的存储，需要对其逻辑存储模式进行有效的设计。

电网设备状态监测数据的格式可描述如下表一：

表一

状态监测数据的查询条件包括：1)按照设备类型和设备编号查询；2)按照采集时间查询；3)同时按照设备类型、设备编号和采集时间进行查询。HBase按照rowkey字典序来存放数据，并提供了3种访问数据的方式：1)根据单个rowkey调用get接口访问；2)根据rowkey范围调用scan接口访问；3)全表扫描。由于HBase的上述访问接口远不及关系数据库提供的SQL语言的功能，为支持上述查询需求，需要设计状态监测数据在HBase中有效的逻辑存储模式和查询方法。

发明内容

本发明针对输变电设备状态监测系统中的查询需求，基于HBase提出了一种新的电网设备状态监测数据存储和查询方法，以支持海量状态监测数据的可靠存储和快速的多条件查询。

为了实现上述目的，本发明提出的基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，包括：汇聚节点收集状态监测数据，并上传至HDFS主控节点；HDFS主控节点把接收到的状态监测数据合并生成大文件，并上传到HDFS；MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生成rowkey，根据rowkey构建HBase表；设置查询条件，HBase根据所述查询条件和rowkey进行查询。

一种实施上述方法的系统，其特征在于，包括汇聚节点、HDFS主控节点、HDFS、HBase和查询客户端，汇聚节点收集状态监测数据，并上传至HDFS主控节点，HDFS主控节点把接收到的状态监测数据合并生成大文件，并上传到HDFS，HDFS中的MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生成rowkey，根据rowkey构建HBase表，查询客户端用于设置查询条件和接收查询结果，HBase根据所述查询条件和rowkey进行查询。

本发明将电网设备状态监测数据与HBase、HDFS相结合，构建了基于HBase的电网设备状态监测数据存储和查询方法及系统，支持海量数据的可靠存储和快速查询，通过对rowkey的优化设计，实现多条件快速查询。

进一步地，将设备编号和采集时间转换为整型，再采用Z曲线对设备编号和采集时间进行重新编码，z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))，把所述rowkey设计为rowkey＝设备类型编号+z-order。通过在rowkey中包含设备类型编号、设备编号和采集时间三种条件信息，构建的HBase表支持前述单一条件或多条件查询。

更进一步，所述查询条件设置为关键字Q(Q.S，Q.R)查询，其中，Q.S为设备类型集，Q.R为查询的设备编号范围和采样时间范围，根据所述z-order＝f_{Z曲线变换}（Int(设备编号)，Int(采集时间))对Q.R进行Z曲线变换，得到z-order的范围z-rang，根据Q.S和z-rang调用HBase的scan接口进行查询。通过将查询的设备编号范围和采样时间范围变换为rowkey中相应部分数据的形式，并与设备类型相结合，可实现设备类型、设备编号范围和采样时间范围三种条件的快速查询。

附图说明

图1为电网设备状态监测数据存储和查询系统结构示意图；

图2为循环缓冲池结构示意图；

图3为MapReduce模块并行化数据读取和数据插入示意图。

下面结合附图对本发明作详细描述。

具体实施方式

参见图1，电网设备状态监测数据存储和查询系统包括汇聚节点、HDFS主控节点、HDFS、HBase和查询客户端。本发明电网设备状态监测数据存储和查询方法包括：

步骤一：汇聚节点收集状态监测数据，并上传至HDFS主控节点。

汇聚节点为电网设备状态监测系统的组成部分，负责状态监测数据的收集，状态监测数据暂时以HDFS文件的形式组织，文件格式采用文本文件的方式，每条数据以换行符作为分隔。暂存数据的文件以设备编号和采集数据的起始时间进行命名。汇聚节点的接收程序接收状态监测数据后，先进行预处理即数据清洗，去除脏数据，之后保存至内存数据缓冲区中。为了防止高采样率导致的数据丢失，采用了循环缓冲池进行数据缓存，如图2所示，当缓冲区i满时，启动缓冲区(i+1)mod N进行数据收集。当汇聚节点接收程序缓存数据到预先设定阈值δ₁(δ₁取64MB的整数倍)时，将缓存中的数据发送至HDFS主控节点。

步骤二：HDFS主控节点把接收到的状态监测数据合并生成大文件，并上传到HDFS。

HDFS主控节点按照δ₁大小将接收到的缓冲数据首先存储为本地文件。由于HDFS被设计为大文件的读写，因此待本地文件数量累计达到预先设置的阈值δ₂时，利用SequenceFile将δ₂个本地文件进行合并，生成规模为(δ₁*δ₂)的大文件，并启动文件上传至HDFS的流程。SequenceFile文件是Hadoop用来存储二进制形式的key-value对而设计的一种平面文件，利用该文件格式可以进行文件的合并和文件的压缩。HDFS主控节点首先建立本地上传文件流，并建立HDFS上传通道，建立缓冲段，将缓冲段传入HDFS上传通道，进行数据上送。

步骤三：MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生成rowkey，根据rowkey构建HBase表。

HDFS包括MapReduce模块，MapReduce模块为基于MapReduce并行编程模型编写的并行化数据读取程序，批量并行读取暂存于HDFS中的状态监测数据。Map过程接收HDFS文件作为输入，按行每次读取一条记录，并根据记录中的内容生成rowkey，生成rowkey之后将本条记录插入到HBase表中，根据rowkey构建HBase表。MapReduce模块仅包含Map过程，省去了由Map到Reduce过程的通信开销，节约了网络带宽，提升了转换性能。MapReduce模块并行化数据读取和数据插入过程如图3所示。

为了能够同时支持在rowkey上对设备编号以及时间同时进行查询，先将设备编号和采集时间转换为整型，之后采用Z曲线对设备编号和采集时间进行重新编码，得到z-order，z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))。把rowkey设计为rowkey＝设备类型+z-order，对于一条状态监测数据，其rowkey由两部分构成：设备类型和z-order值。

根据已经生成的rowkey，将相应数据记录插入到HBase表中，构建了HBase表并装载了数据。HBase表的逻辑结构如表二所示。

表二

HBase表包括rowkey、Time Stamp和列族，Time Stamp为每次数据操作对应关联的时间戳，列族包括设备类型、设备编号和N个连续采样点数据三列。

步骤四：设置查询条件，HBase根据所述查询条件和rowkey进行查询。

设计好rowkey和构建好HBase表之后，HBase可根据rowkey进行检索了。根据rowkey＝设备类型+z-order，z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))，z-order体现的是设备编号和采集时间信息，可在设备类型、设备编号和采集时间三个条件范围为内，通过查询条件的设置，检索到符合查询条件的全部状态监测数据记录。查询条件可以是设备类型条件、或设备编号和采集时间条件，还可以是包括设备类型、设备编号和采集时间三者的条件。

在实际使用中，最关注的查询是包括设备类型、设备编号和采集时间三者的条件查询，因此将查询条件设置为关键字Q(Q.S，Q.R)查询，其中，Q.S为设备类型集合，Q.R为查询的设备编号范围和采样时间范围，根据z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))对Q.R进行Z曲线变换，得到z-order的范围z-rang，取Q.S中的一个设备类型k1，将k1和z-range拼接组合，形成查询条件，调用HBase的scan接口进行查询。对Q.S中的所有设备类型查到的候选集取并集，作为查询结果。

查询客户端用于设置查询条件和接收查询结果，在查询客户端把查询条件设置为关键字Q(Q.S，Q.R)查询，在实际使用中只需要在查询客户端输入Q.S和Q.R具体条件，即很快就能获得符合查询条件的全部状态监测数据记录，非常快速和方便。

本发明基于HBase的电网设备状态监测数据存储和查询方法及系统，将电网设备状态监测数据与HBase、HDFS相结合，能够支持海量状态检测数据的可靠存储和快速的多条件查询。

Claims

1.一种基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，包括：

汇聚节点收集状态监测数据，并上传至HDFS主控节点；

HDFS主控节点把接收到的状态监测数据合并生成大文件，并上传到HDFS；

MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生成rowkey，根据rowkey构建HBase表；

设置查询条件，HBase根据所述查询条件和rowkey进行查询。

2.根据权利要求1所述的基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，将设备编号和采集时间转换为整型，再采用Z曲线对设备编号和采集时间进行重新编码，z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))，把所述rowkey设计为rowkey＝设备类型编号+z-order。

3.根据权利要求2所述的基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，所述查询条件设置为关键字Q(Q.S，Q.R)查询，其中，Q.S为设备类型集，Q.R为查询的设备编号范围和采样时间范围，根据所述z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))对Q.R进行Z曲线变换，得到z-order的范围z-rang，根据Q.S和z-rang调用HBase的scan接口进行查询。

4.根据权利要求3所述的基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，当汇聚节点接收的缓存数据到预先设定阈值δ₁时，将缓存中的数据发送至HDFS主控节点，HDFS主控节点按照δ₁大小将接收到的缓冲数据首先存储为本地文件，待本地文件数量累计达到预先设置的阈值时δ₂，利用SequenceFile将δ₂个本地文件合并生成规模为(δ₁*δ₂)的大文件，并启动文件上传至HDFS的流程。

5.根据权利要求4所述的基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，所述HBase表包括rowkey、时间戳和列族，列族包括设备类型、设备编号和N个连续采样点数据三列。

6.根据权利要求5所述的基于HBase的电网设备状态监测数据存储和查询方法，其特征在于，所述汇聚节点接收状态检测数据后进行数据清洗，并采用循环缓冲池进行数据缓存。

7.一种实施权利要求1所述方法的系统，其特征在于，包括汇聚节点、HDFS主控节点、HDFS、HBase和查询客户端，汇聚节点收集状态监测数据，并上传至HDFS主控节点，HDFS主控节点把接收到的状态监测数据合并生成大文件，并上传到HDFS，HDFS中的MapReduce模块读取上传到HDFS中的数据，并根据读取的数据生成rowkey，根据rowkey构建HBase表，查询客户端用于设置查询条件和接收查询结果，HBase根据所述查询条件和rowkey进行查询。

8.根据权利要求7所述系统，其特征在于，所述MapReduce模块将设备编号和采集时间转换为整型，再采用Z曲线对设备编号和采集时间进行重新编码，z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))，把所述rowkey设计为rowkey＝设备类型编号+z-order。

9.根据权利要求8所述系统，其特征在于，所述查询条件设置为关键字Q(Q.S，Q.R)查询，其中，Q.S为设备类型集合，Q.R为查询的设备编号范围和采样时间范围，根据所述z-order＝f_{Z曲线变换}(Int(设备编号)，Int(采集时间))对Q.R进行Z曲线变换，得到z-order的范围z-rang，根据Q.S和z-rang调用HBase的scan接口进行查询。

10.根据权利要求9所述系统，其特征在于，当汇聚节点接收的缓存数据到预先设定阈值δ₁时，将缓存中的数据发送至HDFS主控节点，HDFS主控节点按照δ₁大小将接收到的缓冲数据首先存储为本地文件，待本地文件数量累计达到预先设置的阈值时δ₂，利用SequenceFile将δ₂个本地文件合并生成规模为(δ₁*δ₂)的大文件，并启动文件上传至HDFS的流程。