CN107943831B - 一种基于HBase的电网历史数据集中存储方法 - Google Patents

Abstract

本发明公开了一种基于HBase的电网历史数据集中存储方法，属于电力系统数据库技术领域。本发明包括遥测数据采集定义步骤、遥测数据采集步骤及遥测数据存储步骤，遥测数据采集定义步骤确定遥测数据来源及数据采集周期，遥测数据采集步骤从指定的数据源按周期抽取历史数据形成历史数据文件，实现遥测历史数据的统一收集，遥测数据存储步骤将抽取的历史数据存储到HBase数据库中实现遥测历史数据的集中存储。本发明实现了全网范围内的历史数据自动分布式收集功能，基于HBase数据库特点解决海量历史数据集中存储问题，与传统基于关系数据库的历史数据存储相比，在百万级数据量前提下具有更稳定的写入和查询性能，为后续基于历史数据的深度数据应用提供数据基础。

Description

一种基于HBase的电网历史数据集中存储方法

技术领域

本发明属于电力系统数据库技术领域，更准确地说，本发明涉及一种基于HBase的电网历史数据集中存储方法。

背景技术

随着特高压大电网的发展，以及互联电网的运行和智能电网技术的推广应用对调度运行管理和电网运行数据的综合运用提出更高要求，各级调度中心纷纷开展了相关数据中心的研究工作，包括模型数据中心、运行数据中心、实时数据中心。其中，运行数据中心需要管理全网历史数据和告警数据的收集、存储以及查询，因此运行数据中心首先需要解决数据收集问题，然后解决海量数据的集中存储和快速查询问题。但是传统的基于关系数据库的历史数据存储很难解决上述问题。

HBase(Hadoop Database)是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。如能基于HBase构建一种电网历史数据集中存储方法，显然能够有效解决上述数据收集问题及海量数据的集中存储和快速查询问题。

发明内容

本发明目的是：针对现有技术的不足，提供一种基于HBase的电网历史数据集中存储方法。该方法能够在不影响当前在运调度自动化系统实时运行的基础上，实现全网范围内历史数据的统一收集和集中存储，进一步整合全网范围内历史数据，为后续基于历史数据的深度数据应用提供数据基础。

具体地说，本发明是采用以下技术方案实现的，包括遥测数据采集定义步骤、遥测数据采集步骤及遥测数据存储步骤，其中，

所述遥测数据采集定义步骤获取数据中心已定义遥测数据和已配置数据源，确定遥测数据和来源及数据采集周期；

所述遥测数据采集步骤从指定的数据源按周期抽取历史数据形成历史数据文件，实现遥测历史数据的统一收集；

所述遥测数据存储步骤将抽取的历史数据存储到HBase数据库中，实现遥测历史数据的集中存储。

上述技术方案的进一步特征在于，所述遥测数据采集定义步骤具体为：

首先从数据中心系统关系数据库中获取全网遥测数据信息，所述全网遥测数据信息包括唯一标识ID、遥测名称及所属应用，然后读取数据中心系统中已配置数据源信息，所述数据源信息包括数据源编号及数据源名称，最后创建遥测数据与数据源数据对应关系确定遥测数据的数据来源及采集周期，最终在关系数据库的遥测数据采集定义表中创建一条记录；

所述数据中心系统是一个独立于实时运行电网调度自动化系统的、具有独立软硬件配置的用于对全网电网调度自动化系统产生的模型数据及历史数据进行有机整合和统一管理的系统；

所述唯一标识ID是指电网调度自动化系统中模型标识，其采用分段标识方式，包括模型对象号、数据源编号、量测类型编号及顺序记录号；

所述数据源是指某一电网调度自动化系统，在全网区域内的所有调度自动化系统预先分配唯一数据源编码和数据源名称，为遥测数据指定数据源，指明相关遥测历史数据从哪个调度自动化系统抽取数据。

上述技术方案的进一步特征在于，所述遥测数据采集步骤具体为：

包括运行在各电网调度自动化系统中的基于关系数据库的历史数据查询服务过程和运行在数据中心的数据抽取服务过程；

所述基于关系数据库的历史数据查询服务过程是指电网调度自动化系统提供的历史数据查询服务，根据唯一标识ID、采样周期及所属应用查询历史数据；

所述数据抽取服务过程包括数据抽取总控进程和数据抽取进程，数据抽取总控进程用于监视遥测数据采集定义表，当出现新的数据源时自动启动针对该数据源的数据抽取进程，数据抽取进程根据启动参数用于抽取指定数据源历史数据，其首先从遥测数据采集定义表中过滤出该数据源遥测数据范围，然后根据采样周期进行分组，最后根据采集周期通过该数据源的历史数据查询服务抽取数据，并把数据存储到本地。

上述技术方案的进一步特征在于，所述遥测数据存储步骤具体为：

采用轮询方式逐个查询数据源对应的本地文件目录，当目录非空时读取最早的N个文件进行处理，首先逐行读取文件内容，解析行内的唯一标识ID生成格式化唯一标识ID，解析行内的时间信息，在此基础上增加预留值生成RowKey，将RowKey、采样值及质量码打包生成一个提交数据点，一次目录轮询生成一批数据提交点，然后通过封装的HBase提交接口批量提交数据到HBase数据库中；

所述RowKey采用分段设计，包括三个字段信息：格式化唯一标识ID、时间及预留值；

所述RowKey、采样值及质量码构成历史数据存储表表结构的一行记录，其中RowKey是关键字，值和质量码同属于一个列簇。

本发明的有益效果如下：本发明为电网数据中心提供了一种不影响当前在运调度自动化系统的、自动分布式收集全网历史数据的方法，在解决数据收集的同时提供了海量历史数据集中存储功能，为后续基于历史数据的深度数据应用提供了数据基础。

附图说明

图1是基于HBase的电网历史数据集中存储示意图。

图2是遥测数据采集定义表结构示意图。

图3是遥测历史数据存储RowKey结构示意图。

图4是遥测历史数据储存HBase表结构示意图。

具体实施方式

下面参照附图对本发明作进一步详细描述。

为解决电网数据库系统的数据收集问题及海量数据的集中存储和快速查询问题，本实施例采用基于HBase的电网历史数据集中存储技术方案，主要由遥测数据采集定义模块、遥测数据采集模块和遥测数据存储模块组成。

遥测数据采集定义模块部署在数据中心系统中，其首先从数据中心系统关系数据库中获取全网遥测数据信息包括唯一标识ID、遥测名称、所属应用，然后读取数据中心系统中已配置数据源信息包括数据源编号、数据源名称，最后提供图形化界面方式创建遥测数据与数据源数据对应关系即通过人工操作的方式确定遥测数据的数据来源及采集周期，最终在关系数据库的遥测数据采集定义表中创建一条记录。除手工确定遥测数据和数据源对应关系外，也支持自动定义方式即根据唯一标识ID中的模型所属区域信息确定数据来源。

数据中心系统是一个独立于实时运行电网调度自动化系统的，具有独立软、硬件配置的，用于对全网电网调度自动化系统产生的模型数据、历史数据进行有机整合、统一管理的系统。

唯一标识ID是指电网调度自动化系统中模型标识，其采用分段标识方式，包括模型对象号即表号、数据源编号即区域号、量测类型编号即域号、顺序记录号。

数据源是指某一电网调度自动化系统，在全网区域内的所有调度自动化系统预先分配唯一数据源编码和数据源名称，为遥测数据指定数据源即指明该遥测历史数据从哪个调度自动化系统抽取数据。

遥测数据采集模块包括运行在各电网调度自动化系统中的基于关系数据库的历史数据查询服务和运行在数据中心的数据抽取服务。

基于关系数据库的历史数据查询服务是指电网调度自动化系统提供的历史数据查询服务，其提供根据唯一标识ID、采样周期、所属应用查询历史数据功能。

数据抽取服务包括数据抽取总控进程和数据抽取进程。数据抽取总控进程用于监视遥测数据采集定义表，当出现新的数据源时自动启动针对该数据源的数据抽取进程。数据抽取进程根据启动参数用于抽取指定数据源历史数据，其首先从遥测数据采集定义表中过滤出该数据源遥测数据范围，然后根据采样周期进行分组，最后根据采集周期通过该数据源的历史数据查询服务抽取数据，并把数据存储到本地磁盘。本地文件存储按时间、唯一标识ID、值、质量码进行存储，一行记录代表一个遥测值某个时刻的采样数据。除定时抽取数据外，根据启动参数支持从某一数据源抽取指定时间段历史数据的功能。

遥测数据存储模块涉及RowKey结构、存储表结构和遥测数据存储进程三个部分。

基于HBase的历史数据存储其RowKey采用分段设计，包括三个字段信息：格式化唯一标识ID、时间、预留值。格式化唯一标识ID指把表号、区域号、域号、记录号从唯一标识ID中提取出来，并按照表号、区域号、域号、记录号排列，其中区域号占3位，表号、区域各占5位，记录号占10位，不足位则前面补0；时间采用“yyyymmddhh24miss”格式，其长度为14；预留值设置长度为3，默认值为“000”。

基于HBase的历史数据存储表表结构采用长窄表结构，即一行记录表示一个遥测数据某个时刻的采样值。一行记录包括RowKey、值、质量码三个字段，其中RowKey是关键字，值和质量码同属于一个列簇。遥测数据按所属应用存储到不同的HBase数据库表中，例如SCADA应用历史数据存储表为yc_hs_scada，PAS应用历史数据存储表为yc_hs_pas，以此类推。

遥测数据存储进程采用轮询方式逐个查询数据源对应的本地文件目录，当目录非空时读取最早的N个文件进行处理，首先逐行读取文件内容，解析该行内的唯一标识ID生成格式化唯一标识ID，解析该行内的时间信息，在此基础上增加预留值生成RowKey，将RowKey、采样值、质量码打包生成一个提交数据点，一次目录轮询可生成一批数据提交点，然后通过封装的HBase提交接口批量提交数据到HBase数据库中。

以下以某省调数据中心为例，从其所辖地调和省调抽取遥测历史数据进行集中存储说明本实施方式。

如图1所示，在某省调数据中心部署遥测数据采集定义模块、遥测数据采集模块以及遥测数据存储模块。

首先，通过人工定义方式或者自动定义方式由遥测数据采集定义模块生成遥测数据和数据源数据对应关系，该对应关系存储在遥测采集定义表中。遥测采集定义表结构如图2所示，例如创建如下记录：

唯一标识ID	遥测名称	采集周期	所属应用	数据源
					115686602142908433	#2发电机/电流值(A)	5分钟	SCADA	地调A

然后，遥测数据采集模块中的遥测数据采集总控进程如果发现是新增数据源，则启动该数据源对应的遥测数据抽取进程。遥测数据抽取进程根据启动参数以及遥测采集定义表确定需要抽取的遥测数据范围，并根据采集周期进行分组，对每个分组按时间进行轮询，定期从数据源中基于关系数据库的历史数据查询服务抽取数据，并把数据存储到本地磁盘。

最后，遥测数据存储进程采用轮询方式逐个查询数据源对应的本地文件目录，当目录非空时读取最早的N个文件进行处理，首先逐行读取文件内容，解析该行内的唯一标识ID生成格式化唯一标识ID，解析该行内的时间信息，在此基础上增加预留值生成RowKey(RowKey格式如图3所示)，将RowKey、采样值、质量码打包生成一个提交数据点，一次目录轮询可生成一批数据提交点，然后通过封装的HBase提交接口批量提交数据到HBase数据库中对应应用的遥测历史数据存储表中(存储表表结构如图4所示)。假设根据上述遥测采集定义表抽取到其2017-01-01 00:00:00时刻历史值为608，质量码为0，则该数据存储到HBase时RowKey值为0041101000090000000001720170101000000000，metric:V为608，metric:Q为0。

虽然本发明已以较佳实施例公开如上，但实施例并不是用来限定本发明的。在不脱离本发明之精神和范围内，所做的任何等效变化或润饰，同样属于本发明之保护范围。因此本发明的保护范围应当以本申请的权利要求所界定的内容为标准。

Claims (1)

1.一种基于HBase的电网历史数据集中存储方法，其特征在于，包括遥测数据采集定义步骤、遥测数据采集步骤及遥测数据存储步骤，其中，

所述遥测数据采集定义步骤获取数据中心已定义遥测数据和已配置数据源，确定遥测数据和来源及数据采集周期；

所述遥测数据采集步骤从指定的数据源按周期抽取历史数据形成历史数据文件，实现遥测历史数据的统一收集；

所述遥测数据存储步骤将抽取的历史数据存储到HBase数据库中，实现遥测历史数据的集中存储；

所述遥测数据采集定义步骤具体为：

首先从数据中心系统关系数据库中获取全网遥测数据信息，所述全网遥测数据信息包括唯一标识ID、遥测名称及所属应用，然后读取数据中心系统中已配置数据源信息，所述数据源信息包括数据源编号及数据源名称，最后创建遥测数据与数据源数据对应关系确定遥测数据的数据来源及采集周期，最终在关系数据库的遥测数据采集定义表中创建一条记录；

所述数据中心系统是一个独立于实时运行电网调度自动化系统的、具有独立软硬件配置的用于对全网电网调度自动化系统产生的模型数据及历史数据进行有机整合和统一管理的系统；

所述唯一标识ID是指电网调度自动化系统中模型标识，其采用分段标识方式，包括模型对象号、数据源编号、量测类型编号及顺序记录号；

所述数据源是指某一电网调度自动化系统，在全网区域内的所有调度自动化系统预先分配唯一数据源编码和数据源名称，为遥测数据指定数据源，指明相关遥测历史数据从哪个调度自动化系统抽取数据；

所述遥测数据采集步骤具体为：

包括运行在各电网调度自动化系统中的基于关系数据库的历史数据查询服务过程和运行在数据中心的数据抽取服务过程；

所述基于关系数据库的历史数据查询服务过程是指电网调度自动化系统提供的历史数据查询服务，根据唯一标识ID、采样周期及所属应用查询历史数据；

所述数据抽取服务过程包括数据抽取总控进程和数据抽取进程，数据抽取总控进程用于监视遥测数据采集定义表，当出现新的数据源时自动启动针对该数据源的数据抽取进程，数据抽取进程根据启动参数用于抽取指定数据源历史数据，其首先从遥测数据采集定义表中过滤出该数据源遥测数据范围，然后根据采样周期进行分组，最后根据采集周期通过该数据源的历史数据查询服务抽取数据，并把数据存储到本地；

所述遥测数据存储步骤具体为：

采用轮询方式逐个查询数据源对应的本地文件目录，当目录非空时读取最早的N个文件进行处理，首先逐行读取文件内容，解析行内的唯一标识ID生成格式化唯一标识ID，解析行内的时间信息，在此基础上增加预留值生成RowKey，将RowKey、采样值及质量码打包生成一个提交数据点，一次目录轮询生成一批数据提交点，然后通过封装的HBase提交接口批量提交数据到HBase数据库中；

所述RowKey采用分段设计，包括三个字段信息：格式化唯一标识ID、时间及预留值；

所述RowKey、采样值及质量码构成历史数据存储表表结构的一行记录，其中RowKey是关键字，值和质量码同属于一个列簇。

Images