CN104408667A - 一种电能质量综合评估的方法和系统 - Google Patents

一种电能质量综合评估的方法和系统 Download PDF

Info

Publication number
CN104408667A
CN104408667A CN201410667198.9A CN201410667198A CN104408667A CN 104408667 A CN104408667 A CN 104408667A CN 201410667198 A CN201410667198 A CN 201410667198A CN 104408667 A CN104408667 A CN 104408667A
Authority
CN
China
Prior art keywords
data
classification
key
probability
value pair
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410667198.9A
Other languages
English (en)
Other versions
CN104408667B (zh
Inventor
张华赢
胡子珩
姚森敬
曹军威
高田
王淼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhangjiagang Smartgrid Research Institute Co ltd
Shenzhen Power Supply Co ltd
Tsinghua University
Original Assignee
Zhangjiagang Smartgrid Research Institute Co ltd
Shenzhen Power Supply Co ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhangjiagang Smartgrid Research Institute Co ltd, Shenzhen Power Supply Co ltd, Tsinghua University filed Critical Zhangjiagang Smartgrid Research Institute Co ltd
Priority to CN201410667198.9A priority Critical patent/CN104408667B/zh
Publication of CN104408667A publication Critical patent/CN104408667A/zh
Application granted granted Critical
Publication of CN104408667B publication Critical patent/CN104408667B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/06Energy or water supply

Landscapes

  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Economics (AREA)
  • Public Health (AREA)
  • Water Supply & Treatment (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Supply And Distribution Of Alternating Current (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提供一种电能质量综合评估的方法,包括根据电能质量监测数据、公共信息数据及电力用户数据,得到分布式J个数据采集节点分别对应的J个样本集;提取共同的用户特征向量,得到对应的J个训练样本集,并进行数据转换,得到以数据块方式存储的J个数据集;将K个安全级别作为共同分类属性中的类别,并对J个数据集进行分类和计算,得到对应的每一类别的先验概率及条件概率;通过贝叶斯公式得到每一类别的类别概率,并确定类别概率中数值最大的类别对应的安全级别为电力线路当前电能质量的安全级别。实施本发明,综合考虑多种数据,通过海量样本来训练贝叶斯分类模型,然后根据模型能够快速的评估和预测暂态电能质量。

Description

一种电能质量综合评估的方法和系统
技术领域
本发明涉及电力系统技术领域和计算机数据处理技术领域,尤其涉及一种电能质量综合评估的方法和系统。 
背景技术
电能质量综合评估的结果往往作为供用电双方制定供电合同的依据,有助于供用电双方明确电能质量责任,并可作为电能商品分质计价的重要参考。同时,电能质量综合评估是进行电能质量治理的前提,是对电网供电点电能质量的量化指标,对于干扰源与敏感用户的供电方案制定、电源点的选择有重要意义。 
目前,虽然有许多国家标准和文献都对电能质量各单项指标的评估方法做了研究,但是针对电能质量综合评估的研究较少,主要原因在于:当电能质量的多个指标共同作用到一个电力系统时,不同等级的各项评估指标的组合对电力系统的影响,以及对电力系统中运行设备的影响甚至于损坏形成的差别都较大,同时由于不同的用电设备对电能质量各评估指标的重视程度也不相同,所以实现对电能质量的综合评估是非常复杂和困难的。 
鉴于电能质量的基本特征量是共同作用在同一电气设备上的,设备的工作状态和性能是由电能质量多项指标共同决定的。由此可见,虽然电能质量特征量是多元化的,但是其对设备性能的影响结果是需要综合多项特征指标来评估的。例如,连续型的谐波和负序对同步电机造成的影响很类似,当衡量谐波电流引起同步电机的附加损耗和发热时,往往折算成等效的基波负序电流来考虑。这就相当于把实时的谐波和负序电流进行综合评估,然后与限值比较以判断对出力的影响。此外,当电压暂降的电压幅值和持续时间超过设备的敏感曲线时,虽然并未出现电气连接的断开,但可能对用户造成比断电还严重的后果。因此,对于电能质量的综合评估除了考虑各单项指标外,还需要考虑用户负荷的实际情况。电能质量扰动对于用户设备和负荷的影响决定了综合评估的结果。 
电能质量综合评估的研究焦点是如何科学、客观地将一个多指标问题综合成单一量化的指标问题,从而评定电能质量的等级。现有技术中,电能质量综合评估建立于单项评估基础上,其对应的方法是把部分或全部电能质量扰动或某项电能质量扰动的多个特征指标按属性量化后,采用归一、综合的算法得到一个综合指标或综合等级,缺点在于:各电能质量指标具有明显的不相关性,从而导致它们相应的加权系数难以确定。                                                    
发明内容
本发明实施例所要解决的技术问题在于,提供一种电能质量综合评估的方法和系统,针对暂态电能质量问题,采用分布式贝叶斯分类算法,综合考虑电能质量监测数据、公共信息数据及电力用户数据,并通过模仿和学习相关大数据中的海量样本来训练贝叶斯分类模型,然后根据贝叶斯分类模型能够快速的评估和预测暂态电能质量。 
为了解决上述技术问题,本发明实施例提供了一种电能质量综合评估的方法,其在任一电力线路上实现,所述方法包括: 
a、根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据,得到所述J个数据采集节点分别对应的J个样本集;其中,J为正整数;
b、根据所述得到的J个样本集,设置N个用户特征属性,且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量,并根据所述提取的共同用户特征向量,得到所述J个数据采集节点分别对应的J个训练样本集,进一步将所述J个训练样本集进行统一的数据转换和集成后,得到以数据块方式存储于所述J个数据采集节点的J个数据集;其中,M≤N,N与M均为正整数;所述M个用户特征向量为 ; 
c、将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别,并对所述J个数据集进行分类和计算,得到分类后的J个数据集对应的每一类别的先验概率及条件概率;其中,K为正整数;所述K个类别为
d、根据所述得到的每一类别的先验概率及条件概率,通过贝叶斯公式得到每一类别的类别概率,并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。
其中,所述步骤c的具体步骤包括: 
将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别; 
根据各数据集中的数据块数据,计算出各数据集中与数据块对应的多个输入分片,并根据所述计算出的各数据集中数据块对应的多个输入分片,构建各数据集中与所述输入分片对应的多个映射器; 
使用MAP函数将各映射器的数据转换成key为Ci的第一键值对,计算出各映射器中每一类别的样本数目和样本总数目,且将所述第一键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中类Ci的样本总数及其对应的先验概率P(Ci);其中,Ci为所述K个类别其中任一;i≤K,i为正整数; 
使用MAP函数将各映射器的数据转换成key为(Ci,xj)的第二键值对,计算出各映射器中每一类别分别对应的各用户特征向量的样本数目,且将所述第二键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率P(Ci)得出对应的条件概率P(X|Ci);其中,xj为所述M个用户特征向量其中任一;j≤M,j为正整数;
其中,所述预设的函数为哈希函数,所述哈希函数公式为。 
其中,所述步骤a中的“所述电力线路的电能质量监测数据”可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。 
其中,所述步骤a中的“K个安全级别”有四个,包括类别为C1的正常状态、类别为C2的异常状态、类别为C3的故障和类别为C4的严重状态。 
本发明实施例还提供了一种电能质量综合评估的系统,其在任一电力线路上实现,所述系统包括: 
样本集获取单元,用于根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据,得到所述J个数据采集节点分别对应的J个样本集;其中,J为正整数;
训练样本集确定单元,用于根据所述得到的J个样本集,设置N个用户特征属性,且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量,并根据所述提取的共同用户特征向量,得到所述J个数据采集节点分别对应的J个训练样本集,进一步将所述J个训练样本集进行统一的数据转换和集成后,得到以数据块方式存储于所述J个数据采集节点的J个数据集;其中,M≤N,N与M均为正整数;所述M个用户特征向量为; 
概率计算单元,用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别,并对所述J个数据集进行分类和计算,得到分类后的J个数据集对应的每一类别的先验概率及条件概率;其中,K为正整数;所述K个类别为
安全级别评估单元,用于根据所述得到的每一类别的先验概率及条件概率,通过贝叶斯公式得到每一类别的类别概率,并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。
其中,所述概率计算单元包括: 
类别设定模块,用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别; 
数据映射模块,用于根据各数据集中的数据块数据,计算出各数据集中与 数据块对应的多个输入分片,并根据所述计算出的各数据集中数据块对应的多个输入分片,构建各数据集中与所述输入分片对应的多个映射器; 
先验概率计算模块,用于使用MAP函数将各映射器的数据转换成key为Ci的第一键值对,计算出各映射器中每一类别的样本数目和样本总数目,且将所述第一键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中类Ci的样本总数及其对应的先验概率P(Ci);其中,Ci为所述K个类别其中任一;i≤K,i为正整数; 
条件概率计算模块,用于使用MAP函数将各映射器的数据转换成key为(Ci,xj)的第二键值对,计算出各映射器中每一类别分别对应的各用户特征向量的样本数目,且将所述第二键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率P(Ci)得出对应的条件概率P(X|Ci);其中,xj为所述M个用户特征向量其中任一;j≤M,j为正整数;  P ( X | C i ) = Σ j = 1 M P ( x j | C i )
其中,所述预设的函数为哈希函数,所述哈希函数公式为。 
其中,所述电力线路的电能质量监测数据可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。 
其中,所述K个安全级别有四个,包括类别为C1的正常状态、类别为C2的异常状态、类别为C3的故障和类别为C4的严重状态。 
实施本发明实施例,具有如下有益效果: 
1、在本发明实施例中,由于基于Hadoop架构的电能质量分布式文件管理,能提供高吞吐量的数据访问,可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块,具有高容错性和可移植性;
2、在本发明实施例中,由于基于MapReduce的分布式贝叶斯分类,构造 “Map(映射)”函数和“Reduce(规约)”函数实现能质量监测数据、公共信息数据及电力用户数据等大数据的并行处理,加快了处理速度,提高了数据处理的吞吐量,并通过模仿和学习相关大数据中的海量样本来训练贝叶斯分类模型,然后根据贝叶斯分类模型能够快速的评估和预测暂态电能质量。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,根据这些附图获得其他的附图仍属于本发明的范畴。 
图1为本发明实施例提供的电能质量综合评估的方法的流程图; 
图2为本发明实施例提供的电能质量综合评估的方法的应用场景中基于MapReduce计算框架获取条件概率的结构示意图;
图3为本发明实施例提供的电能质量综合评估的方法的应用场景中历史数据用于确定分类器准确性的结果对比图;
图4为本发明实施例提供的电能质量综合评估的方法的应用场景中在线监测数据用于评估电能质量安全级别的示意图;
图5为本发明实施例提供的电能质量综合评估的系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。 
如图1所示,为本发明实施例提供的一种电能质量综合评估的方法,其在任一电力线路上实现,所述方法包括: 
步骤S101、根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据,得到所述J个数据采集节点分别对应的J个样本集;其中,J为正整数;
具体过程为,将电能质量评估的数据源扩展到包含电能质量监测数据、公共信息数据和电力用户数据,通过多源数据融合和数据集成,实现跨业务系统、跨安全区域、多传感器之间的数据采集和集成,统一用于分类的样本集的数据结构,并可分为海量历史数据和实时数据进行处理,从而在各个数据采集节点上实现分布式地包括存放电力线路的电能质量监测数据、公共信息数据及电力用户数据的数据集。
步骤S102、根据所述得到的J个样本集,设置N个用户特征属性,且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量,并根据所述提取的共同用户特征向量,得到所述J个数据采集节点分别对应的J个训练样本集,进一步将所述J个训练样本集进行统一的数据转换和集成后,得到以数据块方式存储于所述J个数据采集节点的J个数据集;其中,M≤N,N与M均为正整数;所述M个用户特征向量为; 
具体过程为,电能质量监测数据、公共信息数据和电力用户数据构成的海量数据中,设置所有数据对应的N个用户特征属性,一个用户特征属性对应一种数据。为了便于分析和评估,提取M个用户特征属性为所有数据采集节点的公共用户特征向量,并提取与M个用户特征属性对应的数据构成训练样本集,通过统一的数据转换成PQDIF格式进行存储后,得到各个数据采集节点分别对应的数据集。
电能质量监测数据包括监测数据包括电压、电流和频率的有效值,以及电压合格率(电压偏差)、三相不平衡度、电压波形畸变率及闪变等数据,将其分为历史数据和在线监测数据两类进行处理。对于海量历史数据,按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换,生成训练集和测试集;对于在线监测数据,数据通过增量数据采样获取,同时将采样结果实时转换为PQDIF格式进行存储,结合评估节点的其他数据共同生成实时评估样本集。 
其中,PQDIF是一种平面文件结构,其中的各记录链接而成,通过标记元素结构将数据的物理属性和逻辑属性分离,使多数据源具有良好的兼容性,便于实现数据共享,为分析电网的电能质量问题以及实现电能质量管理和分析系统提供一种很好的数据结构。在PQDIF文件中,每个记录类型都有相同的基础结构,它包括记录头和记录体两部分,记录头是每个记录的唯一标识符,指定了记录的标签、大小、状态信息,以及指向下一个记录的绝对链接。记录体有一系列的元素组成,包括集合、标量、矢量等,记录题以一个集合开始,集合中每一个元素对应着一个标签,该标签由元素在记录中的位置所产生,并由记录头重的标签所标识。 
对于公共信息数据和电力用户数据,数据属性为离散型属性(如用户敏感度等级、天气情况等),可直接作为样本的特征项进行处理;数据属性为数值型时(如电压暂降深度),则将其转化为离散型属性,通常使用值域平均划分的方法进行离散化处理;对于难以转化的数值型属性(如用户投诉次数、用户负荷容量等),则使用公式(1)归一化方法连续型属性转换为离散型属性进行处理。 
f ( x k ) = x k - min ( x i ) max ( x i ) - min ( x i ) , i = 1 , . . . n - - - ( 1 )
因此,将电能质量监测数据、电力用户数据和公共信息数据三类数据经转换成PQDIF格式后,形式化表示为一个M+1维向量的形式为{x1,x2,...xM,Ci}。其中,{x1,x2,...xM}等特征项为用于电能质量评估的各个属性,Ci为电能质量的评估结果。 
本发明实施例中J个数据集中电能质量数据均基于Hadoop架构的分布式文件管理,主要由Hadoop中的分布式文件系统(HDFS)实现数据的分布式管理。HDFS采用主/从架构,由一定数量的数据节点(Datanode)和一个命名节点(Namenode)组成。其技术特点是,将分布式的电能质量监测点作为Datanode,负责管理该监测点的电能质量监测数据,并在内部将数据划分成一个或多个数据块(Block),并在Namenode的统一调度下进行数据块的创建、删除和复制。通常由电能质量数据中心作为Namenode,负责执行文件系统的命名空间操作,如打开、关闭、重命名文件等,同时负责数据块到具体DataNode节点的映射。使用名字节点和数据节点的主从结构,能提供高吞吐量的数据访问,可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块,具有高容错性和可移植性。 
步骤S103、将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别,并对所述J个数据集进行分类和计算,得到分类后的J个数据集对应的每一类别的先验概率及条件概率;其中,K为正整数;所述K个类别为; 
具体过程为,由于电能质量数据均基于Hadoop架构的分布式文件管理,因此通过采用MapReduce并行计算模型实现数据挖掘算法的并行化。基于MapReduce进行涉及4个的实体包括:(1) Client,负责编写mapreduce程序,配置任务,提交作业;(2) JobTracker,负责初始化任务,将任务分配给TaskTracker并协调整个作业的执行,同个任务只允许有一个JobTracker;(3)TaskTracker,负责在分配的数据片段上执行Map或Reduce任务;(4)HDFS:负责保存任务的数据、配置信息、结果数据等。
在MapReduce计算框架下,具体步骤如下: 
步骤S201、将电能质量的K个安全级别分别作为J个数据集对应共同分类属性中的K个类别;
应当说明的是,本发明实施例中分布式贝叶斯分类的任务就是将评估样本划分有正常状态、异常状态、严重状态和故障状态四个类别,因此安全级别数量K为4,并分别记为类C1、C2、C3和C4,从而构成类别集合
步骤S202、根据各数据集中的数据块数据,计算出各数据集中与数据块对应的多个输入分片,并根据计算出的各数据集中数据块对应的多个输入分片,构建各数据集中与输入分片对应的多个映射器;
具体为,MapReduce会根据输入文件(每一数据集的Block)计算出多个Input Split(输入分片),每一Input Split中均记录了分片长度和数据位置,真正的数据存放于HDFS系统中的数据块(block);MAP阶段会从Input Split中获取数据,使得在每一个数据集上均会映射得到与Input Split对应的多个Mapper(映射器)。.
步骤S203、使用MAP函数将各映射器的数据转换成key为Ci的第一键值对,计算出各映射器中每一类别的样本数目和样本总数目,且将第一键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将第一键值对中相同key的分片分配至同一个 Reduce 函数,进一步计算出Reduce 函数中类Ci的样本总数及其对应的先验概率;其中,Ci 为K个类别其中任一;i≤K,i为正整数;
具体为,MAP阶段使用MAP函数将每个Mapper的数据转换成key为Ci的第一键值对,并在每个Mapper中分别计算类C1、C2、C3和C4中的样本数目和样本总数目,输出数据的Key为样本所属的类别包括C1、C2、C3和C4 ;Shuffle(洗牌)阶段将每个Mapper输出的数据进行排序,按照键进行排序,并对排序后的键值对进行分片,使用预设的哈希函数保证第一键值对中相同key的Map输出(即排序后分片的键值对)被分配至同一个Reducer中;Reduce阶段将获得所有Mapper输出中与之相关的数据,可以容易地计算出类C1、C2、C3和C4的样本总数及每一类别对应的先验概率
步骤S204、使用MAP函数将各映射器的数据转换成key为(Ci,xj)的第二键值对,计算出各映射器中每一类别分别对应的各用户特征向量的样本数目,且将第二键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将第二键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率P(Ci)得出对应的条件概率P(X|Ci);其中,xj为所述M个用户特征向量其中任一;j≤M,j为正整数;
具体为,MAP阶段使用MAP函数将每个Mapper的数据转换成key为(Ci,xj)的第二键值对,使得在每个Mapper中分别计算每一类别分别对应的各用户特征向量的样本数目,输出数据的Key为(Ci,xj);Shuffle阶段将每个Mapper输出的数据进行排序,按照键进行排序,并对排序后的键值对进行分片,使用预设的哈希函数保证一键值对中相同key的Map输出(即排序后分片的键值对)被分配至同一个Reducer中;Reduce阶段计算出属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率得出对应的条件概率;如图2所示,为本发明实施例中步骤S204获取条件概率的应用场景的结构示意图。 
步骤S104、根据所述得到的每一类别的先验概率及条件概率,通过贝叶斯公式得到每一类别的类别概率,并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。 
具体过程为,根据每一类别的先验概率P(Ci)及条件概率P(X|Ci),根据贝叶斯公式(2)得到每一类别的类别概率P(Ci|X), 
P ( C i | X ) = P ( X | C i ) P ( C i ) P ( X ) - - - ( 2 )
并根据公式(3), 
f ( X ) = max i = 1,2,3,4 P ( C i | X ) - - - ( 3 )
确定类别概率P(Ci|X)中数值最大的类别Ci对应的安全级别,且将该安全级别作为电力线路当前电能质量的安全级别。作为一个例子,通过得到类别概率P(C2|X)数值最大,确定类别C2对应的安全级别为异常状态,因此评估出电力线路当前电能质量的安全级别为异常状态。 
可以理解的是,通过海量历史数据,按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换,生成训练集和测试集,根据本发明实施例提供的电能质量综合评估的方法,评估电力线路当前电能质量的安全级别,将评估结果与现实检测结果相对比,如图3所示;如果准确率高于一定阈值(如90%),则认为由提取的M个用户特征向量构成的分类器是有效的;否,则认为该分类器是无效的,可重新提取多个用户特征向量构成新分类器,并检测评估结果与现实检测结果对比的准确率,直至得到评估的准确率高于该阈值(如90%)为止,从而确定最终构成的分类器是有效的。 
将在线监测数据构成实时评估样本集,直接通过前述确定为有效的分类器,评估电力线路当前电能质量的安全级别,如图4所示。 
如图5所示,为本发明实施例提供的一种电能质量综合评估的系统,其在任一电力线路上实现,所述系统包括: 
样本集获取单元110,用于根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据,得到所述J个数据采集节点分别对应的J个样本集;其中,J为正整数;
训练样本集确定单元120,用于根据所述得到的J个样本集,设置N个用户特征属性,且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量,并根据所述提取的共同用户特征向量,得到所述J个数据采集节点分别对应的J个训练样本集,进一步将所述J个训练样本集进行统一的数据转换和集成后,以数据块方式存储于所述J个数据采集节点的J个数据集;其中,M≤N,N与M均为正整数;所述M个用户特征向量为X={x1,x2,…xM}; 
概率计算单元130,用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别,并对所述J个数据集进行分类和计算,得到分类后的J个数据集对应的每一类别的先验概率及条件概率;其中,K为正整数;所述K个类别为
安全级别评估单元140,用于根据所述得到的每一类别的先验概率及条件概率,通过贝叶斯公式得到每一类别的类别概率,并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。
其中,所述概率计算单元130包括: 
类别设定模块1301,用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别; 
数据映射模块1302,用于根据各数据集中的数据块数据,计算出各数据集中与数据块对应的多个输入分片,并根据所述计算出的各数据集中数据块对应的多个输入分片,构建各数据集中与所述输入分片对应的多个映射器; 
先验概率计算模块1303,用于使用MAP函数将各映射器的数据转换成key为Ci的第一键值对,计算出各映射器中每一类别的样本数目和样本总数目,且将所述第一键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中类Ci的样本总数及其对应的先验概率P(Ci);其中,Ci为所述K个类别其中任一;i≤K,i为正整数; 
条件概率计算模块1304,用于使用MAP函数将各映射器的数据转换成key为(Ci,xj)的第二键值对,计算出各映射器中每一类别分别对应的各用户特征向量的样本数目,且将所述第二键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率P(Ci)得出对应的条件概率P(X|Ci);其中,xj为所述M个用户特征向量其中任一;j≤M,j为正整数;  P ( X | C i ) = Σ j = 1 M P ( x j | C i ) .
其中,所述预设的函数为哈希函数,所述哈希函数公式为。 
其中,所述电力线路的电能质量监测数据可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。 
其中,所述K个安全级别有四个,包括类别为C1的正常状态、类别为C2的异常状态、类别为C3的故障和类别为C4的严重状态。 
实施本发明实施例,具有如下有益效果: 
1、在本发明实施例中,由于基于Hadoop架构的电能质量分布式文件管理,能提供高吞吐量的数据访问,可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块,具有高容错性和可移植性;
2、在本发明实施例中,由于基于MapReduce的分布式贝叶斯分类,构造 “Map(映射)”函数和“Reduce(规约)”函数实现能质量监测数据、公共信息数据及电力用户数据等大数据的并行处理,加快了处理速度,提高了数据处理的吞吐量,并通过模仿和学习相关大数据中的海量样本来训练贝叶斯分类模型,然后根据贝叶斯分类模型能够快速的评估和预测暂态电能质量。
值得注意的是,上述系统实施例中,所包括的各个系统单元只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。 
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,所述的程序可以存储于一计算机可读取存储介质中,所述的存储介质,如ROM/RAM、磁盘、光盘等。 
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。 

Claims (10)

1.一种电能质量综合评估的方法,其特征在于,其在任一电力线路上实现,所述方法包括:
a、根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据,得到所述J个数据采集节点分别对应的J个样本集;其中,J为正整数;
b、根据所述得到的J个样本集,设置N个用户特征属性,且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量,并根据所述提取的共同用户特征向量,得到所述J个数据采集节点分别对应的J个训练样本集,进一步将所述J个训练样本集进行统一的数据转换和集成后,得到以数据块方式存储于所述J个数据采集节点的J个数据集;其中,M≤N,N与M均为正整数;所述M个用户特征向量为 ; 
c、将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别,并对所述J个数据集进行分类和计算,得到分类后的J个数据集对应的每一类别的先验概率及条件概率;其中,K为正整数;所述K个类别为
d、根据所述得到的每一类别的先验概率及条件概率,通过贝叶斯公式得到每一类别的类别概率,并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。
2.如权利要求1所述的方法,其特征在于,所述步骤c的具体步骤包括: 
将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别; 
根据各数据集中的数据块数据,计算出各数据集中与数据块对应的多个输入分片,并根据所述计算出的各数据集中数据块对应的多个输入分片,构建各数据集中与所述输入分片对应的多个映射器; 
使用MAP函数将各映射器的数据转换成key为Ci的第一键值对,计算出各 映射器中每一类别的样本数目和样本总数目,且将所述第一键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中类Ci的样本总数及其对应的先验概率P(Ci);其中,Ci为所述K个类别其中任一;i≤K,i为正整数; 
使用MAP函数将各映射器的数据转换成key为(Ci,xj)的第二键值对,计算出各映射器中每一类别分别对应的各用户特征向量的样本数目,且将所述第二键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率P(Ci)得出对应的条件概率P(X|Ci);其中,xj为所述M个用户特征向量其中任一;j≤M,j为正整数;
3.如权利要求2所述的方法,其特征在于,所述预设的函数为哈希函数,所述哈希函数公式为
4.如权利要求1所述的方法,其特征在于,所述步骤a中的“所述电力线路的电能质量监测数据”可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。
5.如权利要求1至4中任一项所述的方法,其特征在于,所述步骤a中的“K个安全级别”有四个,包括类别为C1的正常状态、类别为C2的异常状态、类别为C3的故障和类别为C4的严重状态。
6.一种电能质量综合评估的系统,其特征在于,其在任一电力线路上实现,所述系统包括:
样本集获取单元,用于根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据,得到所述J个数据采集节点分别对应的J个样本集;其中,J为正整数;
训练样本集确定单元,用于根据所述得到的J个样本集,设置N个用户特征属性,且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量,并根据所述提取的共同用户特征向量,得到所述J个数据采集节点分别对应的J个训练样本集,进一步将所述J个训练样本集进行统一的数据转换和集成后,得到以数据块方式存储于所述J个数据采集节点的J个数据集;其中,M≤N,N与M均为正整数;所述M个用户特征向量为; 
概率计算单元,用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别,并对所述J个数据集进行分类和计算,得到分类后的J个数据集对应的每一类别的先验概率及条件概率;其中,K为正整数;所述K个类别为
安全级别评估单元,用于根据所述得到的每一类别的先验概率及条件概率,通过贝叶斯公式得到每一类别的类别概率,并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。
7.如权利要求6所述的系统,其特征在于,所述概率计算单元包括: 
类别设定模块,用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别; 
数据映射模块,用于根据各数据集中的数据块数据,计算出各数据集中与数据块对应的多个输入分片,并根据所述计算出的各数据集中数据块对应的多个输入分片,构建各数据集中与所述输入分片对应的多个映射器; 
先验概率计算模块,用于使用MAP函数将各映射器的数据转换成key为Ci的第一键值对,计算出各映射器中每一类别的样本数目和样本总数目,且将所述第一键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中类Ci的样本总数及其对应的先验概率P(Ci);其中,Ci为所述K个类别其中任一;i≤K,i为正整数; 
条件概率计算模块,用于使用MAP函数将各映射器的数据转换成key为(Ci,xj)的第二键值对,计算出各映射器中每一类别分别对应的各用户特征向量 的样本数目,且将所述第二键值对按照键进行排序,并对排序后的键值对进行分片,以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数,进一步计算出Reduce函数中属于类Ci的所有样本中第j个属性为xj的总数,并根据先验概率P(Ci)得出对应的条件概率P(X|Ci);其中,xj为所述M个用户特征向量其中任一;j≤M,j为正整数; 
8.如权利要求7所述的系统,其特征在于,所述预设的函数为哈希函数,所述哈希函数公式为
9.如权利要求6所述的系统,其特征在于,所述电力线路的电能质量监测数据可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。
10.如权利要求6至9中任一项所述的系统,其特征在于,所述K个安全级别有四个,包括类别为C1的正常状态、类别为C2的异常状态、类别为C3的故障和类别为C4的严重状态。
CN201410667198.9A 2014-11-20 2014-11-20 一种电能质量综合评估的方法和系统 Active CN104408667B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410667198.9A CN104408667B (zh) 2014-11-20 2014-11-20 一种电能质量综合评估的方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410667198.9A CN104408667B (zh) 2014-11-20 2014-11-20 一种电能质量综合评估的方法和系统

Publications (2)

Publication Number Publication Date
CN104408667A true CN104408667A (zh) 2015-03-11
CN104408667B CN104408667B (zh) 2017-10-03

Family

ID=52646296

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410667198.9A Active CN104408667B (zh) 2014-11-20 2014-11-20 一种电能质量综合评估的方法和系统

Country Status (1)

Country Link
CN (1) CN104408667B (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105336143A (zh) * 2015-11-19 2016-02-17 国家电网公司 基于云计算的供电质量检测系统
CN105427184A (zh) * 2015-11-06 2016-03-23 南京信息工程大学 一种基于Hadoop的用电反馈实现方法
CN106651424A (zh) * 2016-09-28 2017-05-10 国网山东省电力公司电力科学研究院 基于大数据技术的电力用户画像建立与分析方法
CN108053095A (zh) * 2017-11-22 2018-05-18 全球能源互联网研究院有限公司 一种电能质量扰动事件特征提取方法及系统
CN108549903A (zh) * 2018-03-27 2018-09-18 江南大学 一种聚合反应过程的质量模式监测方法
CN108763952A (zh) * 2018-05-03 2018-11-06 阿里巴巴集团控股有限公司 一种数据分类方法、装置及电子设备
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法
CN110084408A (zh) * 2019-04-08 2019-08-02 上海国孚电力设计工程股份有限公司 电能质量数据的分布式处理方法及系统
CN110309177A (zh) * 2018-03-23 2019-10-08 腾讯科技(深圳)有限公司 一种数据处理的方法以及相关装置
CN110362829A (zh) * 2019-07-16 2019-10-22 北京百度网讯科技有限公司 结构化病历数据的质量评估方法、装置及设备
CN110555070A (zh) * 2018-06-01 2019-12-10 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN111177650A (zh) * 2019-12-18 2020-05-19 国网浙江省电力有限公司绍兴供电公司 一种配电网电能质量监测与综合评估系统及方法
CN111858478A (zh) * 2020-07-24 2020-10-30 深圳市航天泰瑞捷电子有限公司 一种用电数据信息的多维度数据处理方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340552A (ja) * 2005-06-03 2006-12-14 Toshiba Corp 電力品質評価システムとその方法、およびプログラム
CN101465546A (zh) * 2009-01-08 2009-06-24 上海交通大学 电能质量综合评估系统
CN102339355A (zh) * 2011-03-03 2012-02-01 河南电力试验研究院 电能质量综合评估归一化处理方法
CN102938130A (zh) * 2012-11-09 2013-02-20 内蒙古东部电力有限公司电力科学研究院 一种基于PQView的电能质量性能指标综合评估方法
CN104156881A (zh) * 2014-06-20 2014-11-19 天津大学 配电网故障风险综合评估方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006340552A (ja) * 2005-06-03 2006-12-14 Toshiba Corp 電力品質評価システムとその方法、およびプログラム
CN101465546A (zh) * 2009-01-08 2009-06-24 上海交通大学 电能质量综合评估系统
CN102339355A (zh) * 2011-03-03 2012-02-01 河南电力试验研究院 电能质量综合评估归一化处理方法
CN102938130A (zh) * 2012-11-09 2013-02-20 内蒙古东部电力有限公司电力科学研究院 一种基于PQView的电能质量性能指标综合评估方法
CN104156881A (zh) * 2014-06-20 2014-11-19 天津大学 配电网故障风险综合评估方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
GNACINSKI P,MINDYKOWSKI J,TARASIUK T: "A new concept of the power quality temperature factor and its experimental verification", 《IEEE TRANSACTIONS ON INSTRUMENTATION AND MEASUREMENT》 *
ZHANG S B,HAN J Z,LIU Z Y: "Spatial queries evaluation with MapReduce", 《PROCEEDINGS OF THE 2009 EIGHTH INTERNATIONAL CONFERENCE ON GRID AND COOPERATIVE COMPUTING》 *
刘颖英,徐永海,肖湘宁: "地区电网电能质量综合评估新方法", 《中国电机工程学报》 *
孙士强: "电能质量综合评估方法的研究", 《中国优秀硕士学位论文全文数据库 工程科技Ⅱ辑》 *
管春: "电能质量综合检测与分析系统研究", 《中国博士学位论文全文数据库 工程科技Ⅱ辑》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105427184A (zh) * 2015-11-06 2016-03-23 南京信息工程大学 一种基于Hadoop的用电反馈实现方法
CN105336143A (zh) * 2015-11-19 2016-02-17 国家电网公司 基于云计算的供电质量检测系统
CN106651424B (zh) * 2016-09-28 2020-05-22 国网山东省电力公司电力科学研究院 基于大数据技术的电力用户画像建立与分析方法
CN106651424A (zh) * 2016-09-28 2017-05-10 国网山东省电力公司电力科学研究院 基于大数据技术的电力用户画像建立与分析方法
CN108053095A (zh) * 2017-11-22 2018-05-18 全球能源互联网研究院有限公司 一种电能质量扰动事件特征提取方法及系统
CN108053095B (zh) * 2017-11-22 2024-03-19 全球能源互联网研究院有限公司 一种电能质量扰动事件特征提取方法及系统
CN110309177B (zh) * 2018-03-23 2023-11-03 腾讯科技(深圳)有限公司 一种数据处理的方法以及相关装置
CN110309177A (zh) * 2018-03-23 2019-10-08 腾讯科技(深圳)有限公司 一种数据处理的方法以及相关装置
CN108549903A (zh) * 2018-03-27 2018-09-18 江南大学 一种聚合反应过程的质量模式监测方法
CN108549903B (zh) * 2018-03-27 2022-04-05 江南大学 一种聚合反应过程的质量模式监测方法
CN108763952A (zh) * 2018-05-03 2018-11-06 阿里巴巴集团控股有限公司 一种数据分类方法、装置及电子设备
CN110555070A (zh) * 2018-06-01 2019-12-10 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN110555070B (zh) * 2018-06-01 2021-10-22 百度在线网络技术(北京)有限公司 用于输出信息的方法和装置
CN109783556A (zh) * 2018-12-24 2019-05-21 浙江工业大学 基于Hadoop和SSM架构的电能质量治理设备在线监控系统及构建方法
CN110084408A (zh) * 2019-04-08 2019-08-02 上海国孚电力设计工程股份有限公司 电能质量数据的分布式处理方法及系统
CN110362829A (zh) * 2019-07-16 2019-10-22 北京百度网讯科技有限公司 结构化病历数据的质量评估方法、装置及设备
CN110362829B (zh) * 2019-07-16 2023-01-03 北京百度网讯科技有限公司 结构化病历数据的质量评估方法、装置及设备
CN111177650A (zh) * 2019-12-18 2020-05-19 国网浙江省电力有限公司绍兴供电公司 一种配电网电能质量监测与综合评估系统及方法
CN111177650B (zh) * 2019-12-18 2023-11-10 国网浙江省电力有限公司绍兴供电公司 一种配电网电能质量监测与综合评估系统及方法
CN111858478A (zh) * 2020-07-24 2020-10-30 深圳市航天泰瑞捷电子有限公司 一种用电数据信息的多维度数据处理方法和装置

Also Published As

Publication number Publication date
CN104408667B (zh) 2017-10-03

Similar Documents

Publication Publication Date Title
CN104408667A (zh) 一种电能质量综合评估的方法和系统
CN108510006B (zh) 一种基于数据挖掘的企业用电量分析与预测方法
Corizzo et al. Anomaly detection and repair for accurate predictions in geo-distributed big data
Fiot et al. Electricity demand forecasting by multi-task learning
CN102819772B (zh) 电力配网建设物资需求预测方法及装置
Lamba et al. Uses of cluster computing techniques to perform big data analytics for smart grid automation system
Gerwig Short term load forecasting for residential buildings—An extensive literature review
CN113469266B (zh) 一种基于改进深度卷积神经网络的窃电行为检测方法
Dong et al. Forecasting smart meter energy usage using distributed systems and machine learning
CN105373620A (zh) 大规模电池储能电站海量电池数据异常检测方法及系统
Li et al. Deep learning-based transient stability assessment framework for large-scale modern power system
Fang et al. A novel application of artificial neural network for wind speed estimation
Shi et al. A novel approach to detect electricity theft based on conv-attentional Transformer Neural Network
Shao et al. Big data outlier detection model based on improved density peak algorithm
Ausmus et al. Big data analytics and the electric utility industry
Hijazi et al. Transfer learning for transient stability predictions in modern power systems under enduring topological changes
Yu et al. Rainfall time series forecasting based on Modular RBF Neural Network model coupled with SSA and PLS
CN103207804A (zh) 基于集群作业日志的MapReduce负载模拟方法
Mohanty et al. Predicting daily household energy usages by using Model Agnostic Language for Exploration and Explanation
Codal et al. Big Data in Smart Energy Systems: A Critical Review
Ananthu et al. Prominent smart grid measurements by RAP-NN to warrant the reliability of the PV system
Dong et al. Nontechnical loss detection of electricity based on neural architecture search in distribution power networks
Geng et al. Study on index model of tropical cyclone intensity change based on projection pursuit and evolution strategy
Zhang et al. Research on power system fault prediction based on GA-CNN-BiGRU
Subhash et al. Analysis of Smart Grid Data for Appliance Prediction and Efficient Power Consumption

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant