CN107730394B - 基于大数据的全景电网多元异构数据融合方法 - Google Patents

Abstract

本发明提出一种基于大数据解决全景电网多元异构数据融合的有效方法，定义常规广域测量系统、故障录波器、轻型广域测量系统的通信规约，明确各自的量测数据格式与类型；然后对主站监听的数据帧分流解码，在内存中高效抽取、存储、清洗、标准化数据后，在多机分布式的非关系型数据库中管理大规模异构数据；最后，在底层数据接口上进行大数据的在线分析与离线知识发现。本发明有益效果：本发明通过大规模异构数据融合实现将三种电网监测系统统一在一个平台框架下综合分析，实现电网多电压等级的全景式动态行为监测，充分利用现有设备资源减少重复投资的同时，全面提高了电网的运行控制水平。

Description

基于大数据的全景电网多元异构数据融合方法

技术领域

本发明涉及电力系统状态监测领域，具体涉及一种基于大数据的全景电网多元异构数据融合方法。

背景技术

当前，我国正处在能源革命和工业转型关键时期，大幅度提高新能源发电比例从而降低煤的比例、大力发展电动汽车从而降低石油的使用比例已成为国家发展战略。间歇式新能源并网使低压电网电源增多，动态行为更加复杂。根据国网公司特高压电网建设规划部署，多个区域电网运行将面临特高压联网、多直流馈入、新能源的大规模接入和用户侧的深入互动参与等更为复杂的运行环境。目前，国内外电网动态监测技术大都集中在高电压等级，低压电网动态监测技术和产品匮乏。随着未来低压电网电源出力波动、负荷变化将更加剧烈，迫切需要为电网运行提供新一代决策支持系统。

状态监测与优化调度是电网安全、高效运行的保障。常规电网同步监测以PMU为主，主要针对500kV变电站和重要电厂，不考虑低电压等级电网，难以捕捉和重演某些局部地区的扰动后动态过程。故障录波器能够对故障前后一段时间状态进行高精度记录，但并不将无故障时数据上传至调度中心，且其数据采集时间和存储量有限，不能够对系统动态进行连续监测。轻型相量测量装置(PMU Light)，目前配置在380/220V用户终端，构建了轻型广域测量系统(WAMS Light)有益补充了现有电网动态监测系统，弥补了中国低压侧广域同步测量的空白。目前，上述三种电网监测系统独立运行，没有充分发挥互补优势；但三套系统都具有 GPS时标，如果进行充分的数据整合，在不显著增加硬件投资的情况下，即可建立覆盖电网各电压等级的全景式同步监测系统，为全面监测、分析和掌握高低侧电网的动态过程提供有力支撑。

这三种监测设备在实际运行的不间断监测过程中会产生大量数据，其数据特性满足大数据的五个特性，一是数据量大(Volume)、二是处理速度快(Velocity)、三是数据类型多 (Variety)、四是价值大(Value)、五是精确性高(Veracity)。需要构建大数据的综合处理架构来进行分析挖掘信息，然后将信息转化为知识，通过可视化展现与表达，辅助实际电网的运行控制。

发明内容

本发明的目的是解决全景式电网检测系统的多元异构数据融合问题，整合常规广域测量系统、故障录波器与轻型广域量测系统数据，定义数据传输格式与结构化类型，并在考虑了采集数据规模量大的特点后，设计异构大数据的转化、抽取、存储架构，进行数据挖掘、知识发现来对高低侧电网动态进行同步监测，以大数据技术服务电网优化调度决策，全面提升电网监测和运行调度水平。

下面将按照步骤详细介绍：

步骤1)：构建整合了常规广域测量系统、故障录波器与轻型广域量测系统的全景式电网网络拓扑结构，利用MVC 3层架构设计确定平台整体框架。

步骤2)：确定常规PMU、故障录波器、PMU Light三种设备与主站交互数据的传输方式与数据帧配置。

步骤3)：明确这三种设备的量测数据类型与结构特点、数据采集频率、发送间隔与各自 GPS时标的精度。

步骤4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的网络监听收集这三种格式的实时数据帧完成数据集中。

步骤5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入相应的处理单元进行分流。

步骤6)：分流后的数据各自进行解码，根据数据帧格式抽取各物理量的量测值在计算机内存中等待整合存储。

步骤7)：对不同子系统的相同类型数据选择统一的标准做一致化处理，获得标准化数据。

步骤8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据等问题，对数据进行清洗，填补缺失数据、删除重复数据，以提高后续数据挖掘的质量。

步骤9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层 HDFS分布式文件系统中，确定异构数据在HBase中的存储格式。

步骤10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问。

步骤11)：在大规模数据集的挖掘上，借助大数据挖掘工具MapReduce、Mahout完成在 HDFS基础上进行数据挖掘可以对电力系统状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析等问题进行知识发现。

步骤12)：在小规模数据集的挖掘上，利用Hadoop Streaming实现非Java语言的接入，综合利用R、python、C++其它语言在小规模数据上挖掘的优势进行知识发现。

步骤13)：将仪器数据分析的结果存储在关系型数据库mysql上，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理。

步骤14)：结合人机功效学进行数据可视化，在人机交互平台综合显示三个系统的直接量测信息与数据挖掘后的知识发现信息。

本发明的有益效果是：

本发明方法深度整合常规广域测量系统、故障录波器、轻型广域测量系统的异构数据源，进行三种异构量测数据的接收、判定、抽取、转化、存储、清理与加载，构建适应于大规模数据流的实时处理架构，挖掘电力大数据间的隐含信息，从而在一个综合框架下全景式监测与分析各电压等级下电网的动态行为，具体效果如下：

1)提出一种可以融合PMU、故障录波器、PMU Light等异构型数据源的方法，借此整合了目前电网监测中的三种装置：对高压电网监测，数据汇总到调度中心的PMU；数据就地存储，需要时可远方查看的故障录波器；在220V最低电压等级监测电网，数据汇总到全国数据中心主站的PMU Light。综合三个系统特点建立全电网的大规模状态监测系统，将量测数据的时间尺度缩短到ms级的同时，监测范围也拓展到更大范围内的电压等级

2)充分利用已有的PMU设备资源，现有的常规广域测量系统已在全国500KV变电站全部实现覆盖，发电厂300MW以上发电机均装设PMU，安装总量已超过3000个。将现有数据源整合现有避免了重新构建监测网络的重复投资。

3)基于Hadoop开源结构设计兼容PMU、PMU Light和故障录波器的大数据处理。电网规模越来越大使得数据源急剧增加，电网中获取的数据也越来越多。该方法完成了异构数据在内存中的实时高效处理、抽取与清理整合，充分适应了大数据的“5V”特性，构建电网监测大数据的存储、查询、在线知识发现与离线信息分析，为电网运行控制和优化调度提供数据支撑。

附图说明

图1是本发明方法系统网络拓扑图；

图2是本发明方法调度中心架构图；

图3是本发明方法数据处理流程图。

具体实施方式：

下面结合附图与实例对本发明做进一步说明：

本发明的目的是基于大数据解决全景电网多元异构数据融合难题，确定常规广域测量系统、故障录波器、轻型广域测量系统通信规约、各自的量测数据格式与类型；然后对主站监听的数据帧分流解码，在内存中高效抽取、存储、清洗数据后，多机分布式管理大规模异构数据；最后，在底层数据接口上进行大数据的在线分析与离线知识发现。将三种系统统一在一个平台框架下综合分析，实现电网多电压等级的全景式动态行为监测，充分利用现有设备资源的同时，全面提高电网的运行控制水平。

下面将按照步骤详细介绍：

步骤1)构建整合了常规广域测量系统、故障录波器与轻型广域量测系统的全景式电网网络拓扑结构，利用MVC 3层架构设计确定平台整体框架。

根据各自通信方式特点建立如图1所示的系统网络拓扑结构，系统由分布在不同电压等级的量测设备、数据传输网络、管理调度中心三部分组成。本专利在电网中按如下配置量测设备：常规广域测量系统(WAMS)、故障录波器部署在关键高压网络节点，利用各级电网间的专用光纤通信线路通信；轻型广域量测系统(WAMS Light)配置在380/220V用户终端，即可采用便捷的Internet有线，也可以采用3G无线通信方式，通信方式采用多模式使装置在配网的安装范围更广更便捷。设置防火墙对WAMS Light所用的外部连接网络进行过滤，管理调度中心的内部局域网与外部网络的访问权限，防止非法网络入侵威胁数据安全。

在调度中心中采用如图2所示的MVC 3层架构设计完成数据综合分析：

(1)显示层：为用户提供方便、易用和友好的界面，普通用户可以通过页面浏览和查询电力系统数据，高级用户可以利用系统提供的公共API接口，扩展系统。

(2)业务逻辑层：基于Hadoop架构并行处理海量电力系统异构型数据，并对整个平台系统分布式设备配置管理，挖掘异构数据，监测电网动态行为。

(3)数据资源层：，抽取、转化、分布式存储和管理海量电力系统异构型数据，作为整个平台的数据资源基础。

步骤2)：确定常规PMU、故障录波器、PMU Light三种设备与主站交互数据的传输方式与数据帧配置。

本专利中定义同步相量测量装置PMU的数据帧格式如表1所示，数据帧以2个字节的 SYNC字开始，其后紧随2字节的FRAMESIZE字和4字节的SOC时标。这个次序提供了帧类型的辨识和同步的信息。SYNC字的4-6位定义了帧的类型，所有帧以CRC16的校验字结束。

表1-1 PMU数据帧结构

表1-2 故障录波器数据帧结构

编号	字段	最大字符长度	说明
				1	N	10	采样数
2	TIMESTAMP	10	时间标志
				3	Ak	6	模拟通道数据值(逗号分隔)
4	Dk	1	状态通道数据值(逗号分隔)
				5	<CR/LF>	1	终止标志

表1-3 PMU Light数据帧结构

表2 HBase异构数据存储实例

表3-1 HBase数据的物理视图表(1)

表3-2 HBase数据的物理视图表(2)

表3-3 HBase数据的物理视图表(3)

故障录波器与主站/子站通信的信息为状态量、模拟量、故障录波数据，确定数据格式如表2所示。其中故障录波文件用分为二进制数据文件、ASCII数据文件，文件中的每个采样信息包含着采样数量、时间标记和每个通道的数据值，用逗号分界格式区分通道，<CR/LF> 分隔各个采样点。

轻型广域测量装置数据帧相对而言比较简单，以ASCII方式表示的数据帧如表3所示，包含标志位、设备编号、量测数据与结束位组成。

步骤3)：明确这三种设备的量测数据类型与结构特点，分析数据采集频率与发送间隔，获得各自GPS时标的精度。

本专利对量测设备发送至主站的数据类型与数据间隔按如下规范：PMU的量测数据包括数据时标、三相电压、电流、相角、功率、频率及其变化量和开关量等信息；故障录播器记录数据时标、模拟量和开关量；PMU Light则为数据时标、低压电网的电压、相角与频率。在向主站发送数据的时间间隔上，PMU与PMU Light间隔为毫秒级，而故障录波器则是在故障发生时刻才会记录数据，发送数据时间精度需在微秒级。

步骤4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的监听接口收集这三种格式的数据帧完成数据集中。

本专利的主站监听采用TCP/IP协议完成数据集中接收。PMU在网络通信方式下底层传输协议采用TCP/IP协议；故障录波器在其网络方式时采用TCP/IP，网络方式的应用层报文包含完整的通信帧；PMU Light也统一选择为TCP/IP协议进行网络传输。

步骤5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入不同处理单元进行分流。根据步骤2)及其附表中对标志位的描述，对通过网络监听收到的数据判断设备源，并分流到各自的单元待处理，不同处理单元根据数据帧格式特点进行设计。

步骤6)：分流后的数据各自进行解码，区分数据帧的格式类型。根据数据帧格式与关键标志位抽取出各量测的电压、频率、相角等多种物理量的量测值在计算机内存中等待整合存储。

步骤7)：对不同子系统的相同类型数据选择统一的标准做一致化处理，获得标准化数据。因为三种设备的数据存在共有类型与独有类型，共有数据类型的量测精度与设备有关，需要按最高精度标准统一化，以方便在数据存储时对数据聚合。如在时间格式上，故障录波器时间尺度在微妙级，也将PMU、PMU Light的数据由毫秒级进行位数拓展到微妙级存储。

步骤8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据等问题，需要对数据进行清洗。网络不稳定等因素会出现某时标数据丢失和某时标数据重复接收的情况，针对这两种情况，分别通过插值填补缺失数据与删除重复时标数据处理，避免造成冗余数据浪费存储空间与缺失数据影响计算等情况出现，从而提高后续数据挖掘结果的质量。

步骤9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层 HDFS分布式文件系统中，确定异构数据在HBase中的存储格式。在HBase的底层接入HDFS 分布式文件系统，将量测数据借此保留在多机集群中，借助HDFS的自组织管理，用户无需具体配置每台机组上的底层数据，从而在大量廉价的硬件设备组成的集群上管理量测数据、运行应用程序。

集成Hadoop与ZooKeeper的分布式应用开源协调服务，在大数据监测平台运行过程中协调各项分布式进程。本专利使用ZooKeeper提供的接口对集群提供同步、配置管理、分组和命名等，构建一个具有高可靠性和良好扩展性的并行分布式全景电网监测系统。

针对PMU、轻型测量装置和故障录波器三种仪器数据的异构、多样、动态变化的特点，设计其在HBase中的存储格式。仪器数据在表格中会被保存为字符串的格式，行键值设置为仪器编号，如PMU_01、PMUL_01、WDGL_01(故障录波器)等。将三种采集数据中的数据时标统一存储为时间戳，代表一个数据版本。为了提高查询效率与促进数据整合应尽量减少列族的数量，将PMU、轻型测量装置和故障录波器分别用字母P、L、W代替，通过步骤 7)的同类数据整合与标准化，将三种仪器两两之间的相同数据种类的列族分别设置为CS_PL、 CS_LW、CS_WP，三种仪器独有的数据种类的列族分别设置为CD_P、CD_L、CD_W，三种共有的数据种类列族设置为CS_PLW，某一存储实例如表2所示。在HBase中对量测数据采用稀疏存储，虽然在表2示的截取一部分数据的列表中，它的概念视图中某些列可以是空白的。但在物理存储上，表格是按照列来保存的，所以空白列实际上并不会被存储，数据相对应的物理视图如表3所示。HBase会保留一定数量的历史数据，数量值由用户根据存储的集群大小进行指定。

步骤10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问。根据上面的存储格式，时间戳为数据时标，行健为仪器编号，列关键字的格式为<列族>：<类型>，如某列表示为<CS_PL>：<Ph_Ua>代表a 相电压的相位。通过行健、行健+时间戳、行健+列、行健+列+时间戳等操作就可以定位特定的量测数据。并根据HBase Shell与Java API可以分别在Linux terminal与JRE环境下完成表格中的数据创建、插入、删除、查询等操作。

步骤11)：在大规模数据集的挖掘上，借助大数据挖掘工具MapReduce、Mahout在HDFS 基础上进行数据挖掘对监测的电力系统状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析等问题进行知识发现。步骤9)完成了异构数据的融合，并实际将数据存储在HDFS中，本专利利用Hive的类SQL的查询语言HiveQL管理HDFS的数据仓库，实现数据ETL(抽取、转化、加载)、数据存储管理和大型数据集的查询分析，对大规模数据集批量处理。但Hive对数据的处理存在高延迟性，不提供在线事务服务与实施查询功能。所以在本专利的同步监测大数据平台上使用Hive支撑数据进行离线的知识分析发现，而用HBase数据库对数据进行实时操作。

为更加高效的开发量测数据高级应用程序，本专利集成了Mahout辅助实现对平台数据的挖掘，其包含的多种算法方便程序开发，完成电力系统安全评估、状态估计、故障诊断、预测分析等。用户也可以在调度中心编写MapReduce作业并提交给平台自动处理，其与HDFS 无缝链接，可以更高效分析大规模的量测数据。

步骤12)：在小规模数据集的挖掘上，本专利利用Hadoop Streaming实现了非Java语言的接入，综合利用R、python、C++其它语言在数据挖掘上的优势进行知识发现。本专利利用 Hadoop Streaming提供的一个便于进行MapReduce编程的工具包，使用可执行文件或脚本文件充当Mapper或Reducer，采取C++、Shell、Python、Ruby、PHP、Perl、R等编写MapReduce 程序，然后通过Streaming提供的标准输入STDIN和标准输出STDOUT来进行数据交换。如本专利将R语言引入到Hadoop中，用于小规模数据集的挖掘、预测分析、数理统计、数据可视化等操作。

步骤13)：将仪器数据分析的结果存储在关系型数据库mysql上，直接用结构化查询语言直接操作数据库，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理。

步骤14)：结合人机功效学进行数据可视化，本专利由HBase读取三个系统的直接量测信息，从mysql中获得数据挖掘后的知识发现数据，将枯燥的大量数据以图像、颜色、粗细、纹理等形式展示，构建二维、三维空间下的人机交互平台。如结合地理信息系统显示量测信息，并1s实时随动刷新一次；在大尺度时间窗内显示量测数据随时间波动曲线；通过直方图展现频率分布、安全裕度等可以统计量化分析的数据；结合空间插值与多帧动画显示动态事件的三维变化过程。

Claims (1)

1.一种基于大数据的全景电网多元异构数据融合方法，其特征是，包括如下步骤：步骤1)：构建整合了常规广域测量系统、故障录波器与轻型广域量测系统的全景式电网网络拓扑结构，利用MVC3层架构设计确定平台整体框架；步骤 2)：确定常规 PMU、故障录波器、PMULight 三种设备与主站交互数据的传输方式与数据帧配置；步骤 3)：明确这三种设备的量测数据类型与结构特点、数据采集频率、发送间隔与各自GPS时标的精度；步骤 4)：建立设备与主站的连接通信，收集各站点设备的量测数据，在主站设置统一的监听接口收集这三种格式的数据帧完成数据集中；步骤 5)：对收集到的数据帧根据各自的标志位特点进行数据类型判定，区分每一条数据来自何种设备，将数据送入相应的处理单元进行分流；步骤6)：分流后的数据各自进行解码，根据数据帧格式抽取各物理量的量测值在计算机内存中等待整合存储；步骤 7)：对不同子系统的相同类型数据选择统一的标准做一致化处理，获得标准化数据；步骤 8)：由于原始数据中会发生噪声数据、冗余数据及缺失数据的问题，对数据进行清洗，填补缺失数据、删除重复数据，以提高后续数据挖掘的质量；步骤 9)：将预处理后的仪器异构数据通过HBase分布式数据库提供的接口存入到底层HDFS分布式文件系统中，确定异构数据在HBase中的存储格式；针对PMU、轻型测量装置和故障录波器三种仪器数据的异构、多样、动态变化的特点，设计其在HBase中的存储格式，仪器数据在表格中会被保存为字符串的格式，行键值设置为仪器编号，将三种采集数据中的数据时标统一存储为时间戳，代表一个数据版本；步骤 10)：定位提取HBase中的大量异构数据，利用HBase非关系型数据库的特点实现对大规模异构数据的随机、实时读写查询访问；根据上面的存储格式，时间戳为数据时标，行健为仪器编号，列关键字的格式为<列族>：<类型>，通过行健、行健+时间戳、行健+列、行健+列+时间戳操作就可以定位特定的量测数据；并根据HBaseShell与Java API可以分别在Linux terminal与JRE环境下完成表格中的数据创建、插入、删除、查询操作；步骤 11)：在大规模数据集的挖掘上，借助大数据挖掘工具 MapReduce、Mahout完成在HDFS基础上进行数据挖掘对电力系统状态估计、频率稳定、功角稳定、电压稳定、解列控制、故障诊断、网络拓扑分析的问题进行知识发现；步骤 12)：在小规模数据集的挖掘上，利用 Hadoop Streaming 实现非Java语言的接入，综合利用 R、python、C++语言在小规模数据上挖掘的优势进行知识发现；步骤 13)：将仪器数据分析的结果存储在关系型数据库mysql上，发挥其对小规模数据集查询方便、维护方便的优势进行组织管理；步骤14)：结合人机功效学进行数据可视化，在人机交互平台综合显示三个系统的直接量测信息与数据挖掘后的知识发现信息。

Images