CN107609085A - 一种基于大数据技术的智能电网量测数据处理方法及系统 - Google Patents

Abstract

本发明一种基于大数据技术的智能电网量测数据处理方法及系统。随着智能电网信息化不断发展，调度自动化和采集监测类系统积累了海量的电网量测数据。目前采用的传统关系型数据库用于电力信息系统量测数据存储，存在处理效率低的问题。本发明针对传统关系型数据库用于电力信息系统量测数据处理效率低的问题，设计并实现了基于大数据技术的量测数据处理系统。

Description

一种基于大数据技术的智能电网量测数据处理方法及系统

技术领域

本发明涉及一种电网的量测数据处理方法，特别是一种基于大数据技术的智能电网量测数据处理方法及系统。

技术背景

随着智能电网信息化不断发展，调度自动化和采集监测类系统积累了海量的电网量测数据，量测数据作为电网领域四大数据类型之一，是设备状态监测、辅助决策分析、大数据挖掘的重要基础，目前采用传统关系型数据库进行存储，传统关系型数据库用于电力信息系统量测数据存在处理效率低的问题。随着大数据技术的不断成熟，先进的存储与计算架构与传统架构在性能和扩展性上不断拉开差距，采用传统架构的关系型数据库逐渐暴露出技术不足与局限性，不能够很好的支撑大数据环境下对量测数据的高效计算与深度挖掘。

发明内容

本发明针对传统关系型数据库用于电力信息系统量测数据处理效率低的问题，设计并实现了基于大数据技术的量测数据处理系统，该系统分为数据接入、实时处理、数据存储、数据访问接口四个功能模块，其中，数据接入模块基于分布式消息队列技术，实现了大规模量测数据的缓冲接入；实时处理模块基于流计算技术，提高了量测数据在入库前的实时处理效率；数据存储模块设计了量测数据列式存储模型，实现了大规模量测数据的高效存取；数据访问接口模块由结合量测数据特点的统一访问接口UAPI组件实现。

数据接入模块应用Kafka组件，Kafka是一种高吞吐量的分布式发布订阅消息系统，通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于TB的消息存储也能够保持长时间的稳定性能。高吞吐量对于非常普通的硬件，Kafka也支持每秒数百万的消息，支持通过 Kafka服务器和消费机集群来分区消息，支持Hadoop并行数据加载。

实时处理模块应用Storm组件，Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。

数据存储模块应用HBase存储系统，HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价 PC Server上搭建起大规模结构化存储存储。

技术方案：

本发明一种基于大数据技术的智能电网量测数据处理方法及系统包括数据接入、实时处理、数据存储、数据访问接口四个功能模块。

数据接入模块，抽取原业务系统数据：从多个源业务系统中抽取出数据，并对数据的正确性与完整性进行校验，对存在错误的数据进行校正。

进一步地，业务系统进入各自的适配器：由于生产系统众多，数据接口实现方式千差万别，量测数据接入系统前需要定制适配器与数据源系统对接，一是用于协议转换，二是用于对生数据进行初步加工，使其格式统一。

进一步地，数据统一进入Kafka消息队列：适配器一端连接数据源系统，一段连接量测数据处理系统的Kafka组件，根据接入数据类型的不同在Kafka上配置不同的消息队列，一个数据源系统接入的量测数据类型可能有多种，即一个数据源系统可能对应Kafka中的多个队列。由于Kafka是分布式消息队列，具有异步通信特点，其吞吐量非常大，可以同时接入多套数据源系统，各源业务系统由部署在各业务服务器上的软件系统实现，并且能够对峰值巨大的数据起到缓冲作用，避免对整个系统构成冲击。

实时处理模块，采用Storm组件进行实时计算：在量测数据入库前，采用Storm组件对数据流进行流计算。由于Kafka中不同消息队列对应不同的量测数据类型，处理方式千差万别，所以需要根据业务需求开发相应的Storm处理逻辑。Strom作为一个分布式实时计算系统，提供了很好的并行流计算框架，可以对数据进行分布式加工处理，支持大规模数据的实时计算。此过程主要完成两类工作，一是对进入系统的数据进行深度加工，例如数据补全、数据质量检查等。加工后的数据一般存储于Hbase和Redis中；二是对流过的数据进行统计分析，一般分析后的数据作废，只保留分析结果存储于Mysql中。对于第一种情况，其中的Redis主要用于热数据缓存，因为第一种情况一般是对量测数据的入库处理，入库后的数据需要被频繁访问，而越新的数据访问热度往往越高。为了提高热数据的访问效率，数据存储到 Hbase时同时存储一份到Redis，Redis作为内存数据库具有更高的访问效率。需要说明的是Redis只保存最近一段时间的数据，数据超过一定时间将被定期清除。

数据存储模块，根据存储模型对数据进行存储：数据的存储方式至关重要，它对数据的存储、修改、查询等操作的效率有着直接的影响。总体而言，数据的存储方式可以被分为两种：随机存储方式和固定存储方式。这两种方法各有利弊，如何选择取决于实际的具体需求。在大数据的情况下，数据量非常庞大，多达数TB乃至数PB，读取数据时需要在磁盘或内存里四处查找，这样不仅增加了数据读取代价，而且也加重了系统负担。如果能够把经常需要读取的数据集中存储在一起(物理上放在位置比较靠近的地方)，这样，磁盘在实际存取时就能通过少量的IO次数把数据读取出来，即将随机IO转化为顺序 IO，此时则不论处理范围有多大，均能够获得非常好的读取效率。改进数据存储策略已经成为提升大数据系统数据处理性能的热点研究方向，本发明着重讨论海量量测数据在Hbase列式存储中的存储模型，在深入研究Hbase存储机制的前提下，针对量测数据应用时的断面访问和批量访问特点设计了高效的存储模型。

数据访问接口，业务系统对数据进行访问：本系统根据数据的时效性特点将数据存储在Redis缓存和Hbase列式存储中，并且对量测数据的存储模型进行了设计，如果要求上层应用直接操作多种存储容器，操作较为复杂，为了屏蔽数据访问的复杂度，本系统设计基于大数据平台原生态接口，构造统一访问接口UAPI，屏蔽底层数据的存储细节，使得业务应用根据电网模型访问数据，配套机制实现结果缓存、访问分流、高可用等功能，由于UAPI的构造跟具体数据应用场景关系密切，本文不做过多阐述。

附图说明：图1一种基于大数据技术的智能电网量测数据处理方法及系统

具体实施方法：

本发明一种基于大数据技术的智能电网量测数据处理方法及系统，结合附图进行以下说明：

1、抽取原业务系统数据：从多个源业务系统中抽取出数据，并对数据的正确性与完整性进行校验，对存在错误的数据进行校正。

2、业务系统进入各自的适配器：由于生产系统众多，数据接口实现方式千差万别，量测数据接入系统前需要定制适配器与数据源系统对接，一是用于协议转换，二是用于对生数据进行初步加工，使其格式统一。

3、数据统一进入Kafka消息队列：适配器一端连接数据源系统，一段连接量测数据处理系统的Kafka组件，根据接入数据类型的不同在Kafka上配置不同的消息队列，一个数据源系统接入的量测数据类型可能有多种，即一个数据源系统可能对应Kafka中的多个队列。由于Kafka是分布式消息队列，具有异步通信特点，其吞吐量非常大，可以同时接入多套数据源系统，各源业务系统由部署在各业务服务器上的软件系统实现，并且能够对峰值巨大的数据起到缓冲作用，避免对整个系统构成冲击。

4、采用Storm组件进行实时计算：在量测数据入库前，采用Storm 组件对数据流进行流计算。由于Kafka中不同消息队列对应不同的量测数据类型，处理方式千差万别，所以需要根据业务需求开发相应的 Storm处理逻辑。Strom作为一个分布式实时计算系统，提供了很好的并行流计算框架，可以对数据进行分布式加工处理，支持大规模数据的实时计算。此过程主要完成两类工作，一是对进入系统的数据进行深度加工，例如数据补全、数据质量检查等。加工后的数据一般存储于Hbase和Redis中；二是对流过的数据进行统计分析，一般分析后的数据作废，只保留分析结果存储于Mysql中。对于第一种情况，其中的Redis主要用于热数据缓存，因为第一种情况一般是对量测数据的入库处理，入库后的数据需要被频繁访问，而越新的数据访问热度往往越高。为了提高热数据的访问效率，数据存储到Hbase时同时存储一份到Redis，Redis作为内存数据库具有更高的访问效率。需要说明的是Redis只保存最近一段时间的数据，数据超过一定时间将被定期清除。

5、根据存储模型对数据进行存储：数据的存储方式至关重要，它对数据的存储、修改、查询等操作的效率有着直接的影响。总体而言，数据的存储方式可以被分为两种：随机存储方式和固定存储方式。这两种方法各有利弊，如何选择取决于实际的具体需求。在大数据的情况下，数据量非常庞大，多达数TB乃至数PB，读取数据时需要在磁盘或内存里四处查找，这样不仅增加了数据读取代价，而且也加重了系统负担。如果能够把经常需要读取的数据集中存储在一起(物理上放在位置比较靠近的地方)，这样，磁盘在实际存取时就能通过少量的IO次数把数据读取出来，即将随机IO转化为顺序IO，此时则不论处理范围有多大，均能够获得非常好的读取效率。改进数据存储策略已经成为提升大数据系统数据处理性能的热点研究方向，本发明着重讨论海量量测数据在Hbase列式存储中的存储模型，在深入研究Hbase存储机制的前提下，针对量测数据应用时的断面访问和批量访问特点设计了高效的存储模型。

6、业务系统对数据进行访问：本系统根据数据的时效性特点将数据存储在Redis缓存和Hbase列式存储中，并且对量测数据的存储模型进行了设计，如果要求上层应用直接操作多种存储容器，操作较为复杂，为了屏蔽数据访问的复杂度，本系统设计基于大数据平台原生态接口，构造统一访问接口UAPI，屏蔽底层数据的存储细节，使得业务应用根据电网模型访问数据，配套机制实现结果缓存、访问分流、高可用等功能，由于UAPI的构造跟具体数据应用场景关系密切，本文不做过多阐述。

部署在硬件上的实施效果：

以某网省用电信息采集系统量测数据处理为例，Windows服务器部署三个软件，分别是海量平台一发双收工具、Mysql数据库以及 SFTP服务。海量平台一发双收工具用于将业务系统的数据转换为标准形式的E文件；Mysql数据与用于存储业务系统的档案数据；SFTP 服务用于提供E文件下载服务。

两台Linux服务器中的第一台服务器部署五个组件，分别是SFTP下载组件、Eparse组件、RPC组件、RedisLoader组件以及Kafka2hbase 组件。另一台Linux服务器部署Kafka2hbase组件。SFTP下载组件用于将海量一发双收工具生成的E文件下载到Linux服务器本地文件夹；Eparse组件用于将E文件进行解析，写入分布式消息队列Kafka 中；RPC组件用于各组件的通信；Kafka2hbase组件将消息队列中的数据写入Hbase；RedisLoader组件将消息队列中的数据写入Redis。在该网省现场，Kafka2hbase写入大数据平台服务器Hbase数据库中的写入速率可达到75M每秒，满足该网省用电信息采集系统采集监测数据应用需求。

有益效果：应用先进的大数据技术对智能电网中海量的量测数据进行准确、高速的处理。

Claims (5)

1.一种基于大数据技术的智能电网量测数据处理方法及系统，其特征在于，该系统分为数据接入、实时处理、数据存储、数据访问接口四个功能模块，其中，数据接入模块基于分布式消息队列技术，实现了大规模量测数据的缓冲接入；实时处理模块基于流计算技术，提高了量测数据在入库前的实时处理效率；数据存储模块设计了量测数据列式存储模型，实现了大规模量测数据的高效存取；数据访问接口模块由结合量测数据特点的统一访问接口UAPI组件实现。

2.根据权利要求1中所述，一种基于大数据技术的智能电网量测数据处理方法及系统，其特征在于，该系统中数据接入模块，抽取原业务系统数据：从多个源业务系统中抽取出数据，并对数据的正确性与完整性进行校验，对存在错误的数据进行校正；

进一步地，业务系统进入各自的适配器：由于生产系统众多，数据接口实现方式千差万别，量测数据接入系统前需要定制适配器与数据源系统对接，一是用于协议转换，二是用于对生数据进行初步加工，使其格式统一；

进一步地，数据统一进入Kafka消息队列：适配器一端连接数据源系统，一段连接量测数据处理系统的Kafka组件，根据接入数据类型的不同在Kafka上配置不同的消息队列，一个数据源系统接入的量测数据类型可能有多种，即一个数据源系统可能对应Kafka中的多个队列，由于Kafka是分布式消息队列，具有异步通信特点，其吞吐量非常大，可以同时接入多套数据源系统，各源业务系统由部署在各业务服务器上的软件系统实现，并且能够对峰值巨大的数据起到缓冲作用，避免对整个系统构成冲击。

3.根据权利要求1中所述，一种基于大数据技术的智能电网量测数据处理方法及系统，其特征在于，该系统中实时处理模块，采用Storm组件进行实时计算。

4.根据权利要求1中所述，一种基于大数据技术的智能电网量测数据处理方法及系统，其特征在于，该系统中数据存储模块，在深入研究Hbase存储机制的前提下，针对量测数据应用时的断面访问和批量访问特点设计了高效的存储模型。

5.根据权利要求1中所述，一种基于大数据技术的智能电网量测数据处理方法及系统，其特征在于，数据访问接口，本系统设计基于大数据平台原生态接口，构造统一访问接口UAPI，屏蔽底层数据的存储细节，使得业务应用根据电网模型访问数据，配套机制实现结果缓存、访问分流、高可用等功能。