CN104408667A - 一种电能质量综合评估的方法和系统 - Google Patents

Abstract

本发明提供一种电能质量综合评估的方法，包括根据电能质量监测数据、公共信息数据及电力用户数据，得到分布式J个数据采集节点分别对应的J个样本集；提取共同的用户特征向量，得到对应的J个训练样本集，并进行数据转换，得到以数据块方式存储的J个数据集；将K个安全级别作为共同分类属性中的类别，并对J个数据集进行分类和计算，得到对应的每一类别的先验概率及条件概率；通过贝叶斯公式得到每一类别的类别概率，并确定类别概率中数值最大的类别对应的安全级别为电力线路当前电能质量的安全级别。实施本发明，综合考虑多种数据，通过海量样本来训练贝叶斯分类模型，然后根据模型能够快速的评估和预测暂态电能质量。

Description

一种电能质量综合评估的方法和系统

技术领域

本发明涉及电力系统技术领域和计算机数据处理技术领域，尤其涉及一种电能质量综合评估的方法和系统。 

背景技术

电能质量综合评估的结果往往作为供用电双方制定供电合同的依据，有助于供用电双方明确电能质量责任，并可作为电能商品分质计价的重要参考。同时，电能质量综合评估是进行电能质量治理的前提，是对电网供电点电能质量的量化指标，对于干扰源与敏感用户的供电方案制定、电源点的选择有重要意义。 

目前，虽然有许多国家标准和文献都对电能质量各单项指标的评估方法做了研究，但是针对电能质量综合评估的研究较少，主要原因在于：当电能质量的多个指标共同作用到一个电力系统时，不同等级的各项评估指标的组合对电力系统的影响，以及对电力系统中运行设备的影响甚至于损坏形成的差别都较大，同时由于不同的用电设备对电能质量各评估指标的重视程度也不相同，所以实现对电能质量的综合评估是非常复杂和困难的。 

鉴于电能质量的基本特征量是共同作用在同一电气设备上的，设备的工作状态和性能是由电能质量多项指标共同决定的。由此可见，虽然电能质量特征量是多元化的，但是其对设备性能的影响结果是需要综合多项特征指标来评估的。例如，连续型的谐波和负序对同步电机造成的影响很类似，当衡量谐波电流引起同步电机的附加损耗和发热时，往往折算成等效的基波负序电流来考虑。这就相当于把实时的谐波和负序电流进行综合评估，然后与限值比较以判断对出力的影响。此外，当电压暂降的电压幅值和持续时间超过设备的敏感曲线时，虽然并未出现电气连接的断开，但可能对用户造成比断电还严重的后果。因此，对于电能质量的综合评估除了考虑各单项指标外，还需要考虑用户负荷的实际情况。电能质量扰动对于用户设备和负荷的影响决定了综合评估的结果。 

电能质量综合评估的研究焦点是如何科学、客观地将一个多指标问题综合成单一量化的指标问题，从而评定电能质量的等级。现有技术中，电能质量综合评估建立于单项评估基础上，其对应的方法是把部分或全部电能质量扰动或某项电能质量扰动的多个特征指标按属性量化后，采用归一、综合的算法得到一个综合指标或综合等级，缺点在于：各电能质量指标具有明显的不相关性，从而导致它们相应的加权系数难以确定。                                                    

发明内容

本发明实施例所要解决的技术问题在于，提供一种电能质量综合评估的方法和系统，针对暂态电能质量问题，采用分布式贝叶斯分类算法，综合考虑电能质量监测数据、公共信息数据及电力用户数据，并通过模仿和学习相关大数据中的海量样本来训练贝叶斯分类模型，然后根据贝叶斯分类模型能够快速的评估和预测暂态电能质量。 

为了解决上述技术问题，本发明实施例提供了一种电能质量综合评估的方法，其在任一电力线路上实现，所述方法包括： 

a、根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据，得到所述J个数据采集节点分别对应的J个样本集；其中，J为正整数；

b、根据所述得到的J个样本集，设置N个用户特征属性，且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量，并根据所述提取的共同用户特征向量，得到所述J个数据采集节点分别对应的J个训练样本集，进一步将所述J个训练样本集进行统一的数据转换和集成后，得到以数据块方式存储于所述J个数据采集节点的J个数据集；其中，M≤N，N与M均为正整数；所述M个用户特征向量为 ； 

c、将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别，并对所述J个数据集进行分类和计算，得到分类后的J个数据集对应的每一类别的先验概率及条件概率；其中，K为正整数；所述K个类别为；

d、根据所述得到的每一类别的先验概率及条件概率，通过贝叶斯公式得到每一类别的类别概率，并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。

其中，所述步骤c的具体步骤包括： 

将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别； 

根据各数据集中的数据块数据，计算出各数据集中与数据块对应的多个输入分片，并根据所述计算出的各数据集中数据块对应的多个输入分片，构建各数据集中与所述输入分片对应的多个映射器； 

使用MAP函数将各映射器的数据转换成key为C_i的第一键值对，计算出各映射器中每一类别的样本数目和样本总数目，且将所述第一键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中类C_i的样本总数及其对应的先验概率P(C_i)；其中，C_i为所述K个类别其中任一；i≤K，i为正整数； 

使用MAP函数将各映射器的数据转换成key为(C_i,x_j)的第二键值对，计算出各映射器中每一类别分别对应的各用户特征向量的样本数目，且将所述第二键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率P(C_i)得出对应的条件概率P(X|C_i)；其中，x_j为所述M个用户特征向量其中任一；j≤M，j为正整数；

其中，所述预设的函数为哈希函数，所述哈希函数公式为。 

其中，所述步骤a中的“所述电力线路的电能质量监测数据”可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。 

其中，所述步骤a中的“K个安全级别”有四个，包括类别为C₁的正常状态、类别为C₂的异常状态、类别为C₃的故障和类别为C₄的严重状态。 

本发明实施例还提供了一种电能质量综合评估的系统，其在任一电力线路上实现，所述系统包括： 

样本集获取单元，用于根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据，得到所述J个数据采集节点分别对应的J个样本集；其中，J为正整数；

训练样本集确定单元，用于根据所述得到的J个样本集，设置N个用户特征属性，且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量，并根据所述提取的共同用户特征向量，得到所述J个数据采集节点分别对应的J个训练样本集，进一步将所述J个训练样本集进行统一的数据转换和集成后，得到以数据块方式存储于所述J个数据采集节点的J个数据集；其中，M≤N，N与M均为正整数；所述M个用户特征向量为； 

概率计算单元，用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别，并对所述J个数据集进行分类和计算，得到分类后的J个数据集对应的每一类别的先验概率及条件概率；其中，K为正整数；所述K个类别为；

安全级别评估单元，用于根据所述得到的每一类别的先验概率及条件概率，通过贝叶斯公式得到每一类别的类别概率，并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。

其中，所述概率计算单元包括： 

类别设定模块，用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别； 

数据映射模块，用于根据各数据集中的数据块数据，计算出各数据集中与 数据块对应的多个输入分片，并根据所述计算出的各数据集中数据块对应的多个输入分片，构建各数据集中与所述输入分片对应的多个映射器； 

先验概率计算模块，用于使用MAP函数将各映射器的数据转换成key为C_i的第一键值对，计算出各映射器中每一类别的样本数目和样本总数目，且将所述第一键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中类C_i的样本总数及其对应的先验概率P(C_i)；其中，C_i为所述K个类别其中任一；i≤K，i为正整数； 

条件概率计算模块，用于使用MAP函数将各映射器的数据转换成key为(C_i,x_j)的第二键值对，计算出各映射器中每一类别分别对应的各用户特征向量的样本数目，且将所述第二键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率P(C_i)得出对应的条件概率P(X|C_i)；其中，x_j为所述M个用户特征向量其中任一；j≤M，j为正整数；  $P\left(X\right|C_i)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}P\left(x_j\right|C_i)$

其中，所述预设的函数为哈希函数，所述哈希函数公式为。 

其中，所述电力线路的电能质量监测数据可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。 

其中，所述K个安全级别有四个，包括类别为C₁的正常状态、类别为C₂的异常状态、类别为C₃的故障和类别为C₄的严重状态。 

实施本发明实施例，具有如下有益效果： 

1、在本发明实施例中，由于基于Hadoop架构的电能质量分布式文件管理，能提供高吞吐量的数据访问，可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块，具有高容错性和可移植性；

2、在本发明实施例中，由于基于MapReduce的分布式贝叶斯分类，构造 “Map（映射）”函数和“Reduce（规约）”函数实现能质量监测数据、公共信息数据及电力用户数据等大数据的并行处理，加快了处理速度，提高了数据处理的吞吐量，并通过模仿和学习相关大数据中的海量样本来训练贝叶斯分类模型，然后根据贝叶斯分类模型能够快速的评估和预测暂态电能质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。 

图1为本发明实施例提供的电能质量综合评估的方法的流程图； 

图2为本发明实施例提供的电能质量综合评估的方法的应用场景中基于MapReduce计算框架获取条件概率的结构示意图；

图3为本发明实施例提供的电能质量综合评估的方法的应用场景中历史数据用于确定分类器准确性的结果对比图；

图4为本发明实施例提供的电能质量综合评估的方法的应用场景中在线监测数据用于评估电能质量安全级别的示意图；

图5为本发明实施例提供的电能质量综合评估的系统的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。 

如图1所示，为本发明实施例提供的一种电能质量综合评估的方法，其在任一电力线路上实现，所述方法包括： 

步骤S101、根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据，得到所述J个数据采集节点分别对应的J个样本集；其中，J为正整数；

具体过程为，将电能质量评估的数据源扩展到包含电能质量监测数据、公共信息数据和电力用户数据，通过多源数据融合和数据集成，实现跨业务系统、跨安全区域、多传感器之间的数据采集和集成，统一用于分类的样本集的数据结构，并可分为海量历史数据和实时数据进行处理，从而在各个数据采集节点上实现分布式地包括存放电力线路的电能质量监测数据、公共信息数据及电力用户数据的数据集。

步骤S102、根据所述得到的J个样本集，设置N个用户特征属性，且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量，并根据所述提取的共同用户特征向量，得到所述J个数据采集节点分别对应的J个训练样本集，进一步将所述J个训练样本集进行统一的数据转换和集成后，得到以数据块方式存储于所述J个数据采集节点的J个数据集；其中，M≤N，N与M均为正整数；所述M个用户特征向量为； 

具体过程为，电能质量监测数据、公共信息数据和电力用户数据构成的海量数据中，设置所有数据对应的N个用户特征属性，一个用户特征属性对应一种数据。为了便于分析和评估，提取M个用户特征属性为所有数据采集节点的公共用户特征向量，并提取与M个用户特征属性对应的数据构成训练样本集，通过统一的数据转换成PQDIF格式进行存储后，得到各个数据采集节点分别对应的数据集。

电能质量监测数据包括监测数据包括电压、电流和频率的有效值，以及电压合格率（电压偏差）、三相不平衡度、电压波形畸变率及闪变等数据，将其分为历史数据和在线监测数据两类进行处理。对于海量历史数据，按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换，生成训练集和测试集；对于在线监测数据，数据通过增量数据采样获取，同时将采样结果实时转换为PQDIF格式进行存储，结合评估节点的其他数据共同生成实时评估样本集。 

其中，PQDIF是一种平面文件结构，其中的各记录链接而成，通过标记元素结构将数据的物理属性和逻辑属性分离，使多数据源具有良好的兼容性，便于实现数据共享，为分析电网的电能质量问题以及实现电能质量管理和分析系统提供一种很好的数据结构。在PQDIF文件中，每个记录类型都有相同的基础结构，它包括记录头和记录体两部分，记录头是每个记录的唯一标识符，指定了记录的标签、大小、状态信息，以及指向下一个记录的绝对链接。记录体有一系列的元素组成，包括集合、标量、矢量等，记录题以一个集合开始，集合中每一个元素对应着一个标签，该标签由元素在记录中的位置所产生，并由记录头重的标签所标识。 

对于公共信息数据和电力用户数据，数据属性为离散型属性（如用户敏感度等级、天气情况等），可直接作为样本的特征项进行处理；数据属性为数值型时（如电压暂降深度），则将其转化为离散型属性，通常使用值域平均划分的方法进行离散化处理；对于难以转化的数值型属性（如用户投诉次数、用户负荷容量等），则使用公式（1）归一化方法连续型属性转换为离散型属性进行处理。 

$f\left(x_k\right)=\frac{x_k-\min \left(x_i\right)}{\max \left(x_i\right)-\min \left(x_i\right)},i=1,...n---\left(1\right)$

因此，将电能质量监测数据、电力用户数据和公共信息数据三类数据经转换成PQDIF格式后，形式化表示为一个M+1维向量的形式为{x₁,x₂,...x_M,C_i}。其中，{x₁,x₂,...x_M}等特征项为用于电能质量评估的各个属性，C_i为电能质量的评估结果。 

本发明实施例中J个数据集中电能质量数据均基于Hadoop架构的分布式文件管理，主要由Hadoop中的分布式文件系统（HDFS）实现数据的分布式管理。HDFS采用主/从架构，由一定数量的数据节点(Datanode)和一个命名节点(Namenode)组成。其技术特点是，将分布式的电能质量监测点作为Datanode，负责管理该监测点的电能质量监测数据，并在内部将数据划分成一个或多个数据块（Block），并在Namenode的统一调度下进行数据块的创建、删除和复制。通常由电能质量数据中心作为Namenode，负责执行文件系统的命名空间操作，如打开、关闭、重命名文件等，同时负责数据块到具体DataNode节点的映射。使用名字节点和数据节点的主从结构，能提供高吞吐量的数据访问，可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块，具有高容错性和可移植性。 

步骤S103、将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别，并对所述J个数据集进行分类和计算，得到分类后的J个数据集对应的每一类别的先验概率及条件概率；其中，K为正整数；所述K个类别为； 

具体过程为，由于电能质量数据均基于Hadoop架构的分布式文件管理，因此通过采用MapReduce并行计算模型实现数据挖掘算法的并行化。基于MapReduce进行涉及4个的实体包括：（1） Client，负责编写mapreduce程序，配置任务，提交作业；（2） JobTracker，负责初始化任务，将任务分配给TaskTracker并协调整个作业的执行，同个任务只允许有一个JobTracker；（3）TaskTracker，负责在分配的数据片段上执行Map或Reduce任务；（4）HDFS：负责保存任务的数据、配置信息、结果数据等。

在MapReduce计算框架下，具体步骤如下： 

步骤S201、将电能质量的K个安全级别分别作为J个数据集对应共同分类属性中的K个类别；

应当说明的是，本发明实施例中分布式贝叶斯分类的任务就是将评估样本划分有正常状态、异常状态、严重状态和故障状态四个类别，因此安全级别数量K为4，并分别记为类C₁、C₂、C₃和C₄，从而构成类别集合；

步骤S202、根据各数据集中的数据块数据，计算出各数据集中与数据块对应的多个输入分片，并根据计算出的各数据集中数据块对应的多个输入分片，构建各数据集中与输入分片对应的多个映射器；

具体为，MapReduce会根据输入文件（每一数据集的Block）计算出多个Input Split（输入分片），每一Input Split中均记录了分片长度和数据位置，真正的数据存放于HDFS系统中的数据块（block）；MAP阶段会从Input Split中获取数据，使得在每一个数据集上均会映射得到与Input Split对应的多个Mapper（映射器）。.

步骤S203、使用MAP函数将各映射器的数据转换成key为C_i的第一键值对，计算出各映射器中每一类别的样本数目和样本总数目，且将第一键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将第一键值对中相同key的分片分配至同一个 Reduce 函数，进一步计算出Reduce 函数中类C_i的样本总数及其对应的先验概率；其中，C_i 为K个类别其中任一；i≤K，i为正整数；

具体为，MAP阶段使用MAP函数将每个Mapper的数据转换成key为C_i的第一键值对，并在每个Mapper中分别计算类C₁、C₂、C₃和C₄中的样本数目和样本总数目，输出数据的Key为样本所属的类别包括C₁、C₂、C₃和C₄ ；Shuffle（洗牌）阶段将每个Mapper输出的数据进行排序，按照键进行排序，并对排序后的键值对进行分片，使用预设的哈希函数保证第一键值对中相同key的Map输出（即排序后分片的键值对）被分配至同一个Reducer中；Reduce阶段将获得所有Mapper输出中与之相关的数据，可以容易地计算出类C₁、C₂、C₃和C₄的样本总数及每一类别对应的先验概率。

步骤S204、使用MAP函数将各映射器的数据转换成key为(C_i,x_j)的第二键值对，计算出各映射器中每一类别分别对应的各用户特征向量的样本数目，且将第二键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将第二键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率P(C_i)得出对应的条件概率P(X|C_i)；其中，x_j为所述M个用户特征向量其中任一；j≤M，j为正整数；

具体为，MAP阶段使用MAP函数将每个Mapper的数据转换成key为（C_i,x_j）的第二键值对，使得在每个Mapper中分别计算每一类别分别对应的各用户特征向量的样本数目，输出数据的Key为（C_i,x_j）；Shuffle阶段将每个Mapper输出的数据进行排序，按照键进行排序，并对排序后的键值对进行分片，使用预设的哈希函数保证一键值对中相同key的Map输出（即排序后分片的键值对）被分配至同一个Reducer中；Reduce阶段计算出属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率得出对应的条件概率；如图2所示，为本发明实施例中步骤S204获取条件概率的应用场景的结构示意图。 

步骤S104、根据所述得到的每一类别的先验概率及条件概率，通过贝叶斯公式得到每一类别的类别概率，并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。 

具体过程为，根据每一类别的先验概率P(C_i)及条件概率P(X|C_i)，根据贝叶斯公式(2)得到每一类别的类别概率P(C_i|X)， 

$P\left(C_i\right|X)=\frac{P\left(X\right|C_i)P\left(C_i\right)}{P\left(X\right)}---\left(2\right)$

并根据公式(3)， 

$f\left(X\right)=\underset{i=\mathrm{1,2,3,4}}{\max }P\left(C_i\right|X)---\left(3\right)$

确定类别概率P(C_i|X)中数值最大的类别C_i对应的安全级别，且将该安全级别作为电力线路当前电能质量的安全级别。作为一个例子，通过得到类别概率P(C₂|X)数值最大，确定类别C₂对应的安全级别为异常状态，因此评估出电力线路当前电能质量的安全级别为异常状态。 

可以理解的是，通过海量历史数据，按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换，生成训练集和测试集，根据本发明实施例提供的电能质量综合评估的方法，评估电力线路当前电能质量的安全级别，将评估结果与现实检测结果相对比，如图3所示；如果准确率高于一定阈值（如90%），则认为由提取的M个用户特征向量构成的分类器是有效的；否，则认为该分类器是无效的，可重新提取多个用户特征向量构成新分类器，并检测评估结果与现实检测结果对比的准确率，直至得到评估的准确率高于该阈值（如90%）为止，从而确定最终构成的分类器是有效的。 

将在线监测数据构成实时评估样本集，直接通过前述确定为有效的分类器，评估电力线路当前电能质量的安全级别，如图4所示。 

如图5所示，为本发明实施例提供的一种电能质量综合评估的系统，其在任一电力线路上实现，所述系统包括： 

样本集获取单元110，用于根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据，得到所述J个数据采集节点分别对应的J个样本集；其中，J为正整数；

训练样本集确定单元120，用于根据所述得到的J个样本集，设置N个用户特征属性，且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量，并根据所述提取的共同用户特征向量，得到所述J个数据采集节点分别对应的J个训练样本集，进一步将所述J个训练样本集进行统一的数据转换和集成后，以数据块方式存储于所述J个数据采集节点的J个数据集；其中，M≤N，N与M均为正整数；所述M个用户特征向量为X=｛x₁，x₂，…x_M｝； 

概率计算单元130，用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别，并对所述J个数据集进行分类和计算，得到分类后的J个数据集对应的每一类别的先验概率及条件概率；其中，K为正整数；所述K个类别为；

安全级别评估单元140，用于根据所述得到的每一类别的先验概率及条件概率，通过贝叶斯公式得到每一类别的类别概率，并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。

其中，所述概率计算单元130包括： 

类别设定模块1301，用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别； 

数据映射模块1302，用于根据各数据集中的数据块数据，计算出各数据集中与数据块对应的多个输入分片，并根据所述计算出的各数据集中数据块对应的多个输入分片，构建各数据集中与所述输入分片对应的多个映射器； 

先验概率计算模块1303，用于使用MAP函数将各映射器的数据转换成key为C_i的第一键值对，计算出各映射器中每一类别的样本数目和样本总数目，且将所述第一键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中类C_i的样本总数及其对应的先验概率P(C_i)；其中，C_i为所述K个类别其中任一；i≤K，i为正整数； 

条件概率计算模块1304，用于使用MAP函数将各映射器的数据转换成key为(C_i,x_j)的第二键值对，计算出各映射器中每一类别分别对应的各用户特征向量的样本数目，且将所述第二键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率P(C_i)得出对应的条件概率P(X|C_i)；其中，x_j为所述M个用户特征向量其中任一；j≤M，j为正整数；  $P\left(X\right|C_i)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}P\left(x_j\right|C_i).$

其中，所述预设的函数为哈希函数，所述哈希函数公式为。 

其中，所述电力线路的电能质量监测数据可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。 

其中，所述K个安全级别有四个，包括类别为C₁的正常状态、类别为C₂的异常状态、类别为C₃的故障和类别为C₄的严重状态。 

实施本发明实施例，具有如下有益效果： 

1、在本发明实施例中，由于基于Hadoop架构的电能质量分布式文件管理，能提供高吞吐量的数据访问，可实现大规模数据集和流数据的存储管理、副本动态调节、传输控制和数据分块，具有高容错性和可移植性；

2、在本发明实施例中，由于基于MapReduce的分布式贝叶斯分类，构造 “Map（映射）”函数和“Reduce（规约）”函数实现能质量监测数据、公共信息数据及电力用户数据等大数据的并行处理，加快了处理速度，提高了数据处理的吞吐量，并通过模仿和学习相关大数据中的海量样本来训练贝叶斯分类模型，然后根据贝叶斯分类模型能够快速的评估和预测暂态电能质量。

值得注意的是，上述系统实施例中，所包括的各个系统单元只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。 

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。 

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。 

Claims (10)

1.一种电能质量综合评估的方法，其特征在于，其在任一电力线路上实现，所述方法包括：

a、根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据，得到所述J个数据采集节点分别对应的J个样本集；其中，J为正整数；

b、根据所述得到的J个样本集，设置N个用户特征属性，且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量，并根据所述提取的共同用户特征向量，得到所述J个数据采集节点分别对应的J个训练样本集，进一步将所述J个训练样本集进行统一的数据转换和集成后，得到以数据块方式存储于所述J个数据采集节点的J个数据集；其中，M≤N，N与M均为正整数；所述M个用户特征向量为 ； 

c、将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别，并对所述J个数据集进行分类和计算，得到分类后的J个数据集对应的每一类别的先验概率及条件概率；其中，K为正整数；所述K个类别为；

d、根据所述得到的每一类别的先验概率及条件概率，通过贝叶斯公式得到每一类别的类别概率，并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。

2.如权利要求1所述的方法，其特征在于，所述步骤c的具体步骤包括： 

将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别； 

根据各数据集中的数据块数据，计算出各数据集中与数据块对应的多个输入分片，并根据所述计算出的各数据集中数据块对应的多个输入分片，构建各数据集中与所述输入分片对应的多个映射器； 

使用MAP函数将各映射器的数据转换成key为C_i的第一键值对，计算出各 映射器中每一类别的样本数目和样本总数目，且将所述第一键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中类C_i的样本总数及其对应的先验概率P(C_i)；其中，C_i为所述K个类别其中任一；i≤K，i为正整数； 

使用MAP函数将各映射器的数据转换成key为(C_i,x_j)的第二键值对，计算出各映射器中每一类别分别对应的各用户特征向量的样本数目，且将所述第二键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率P(C_i)得出对应的条件概率P(X|C_i)；其中，x_j为所述M个用户特征向量其中任一；j≤M，j为正整数；

3.如权利要求2所述的方法，其特征在于，所述预设的函数为哈希函数，所述哈希函数公式为。

4.如权利要求1所述的方法，其特征在于，所述步骤a中的“所述电力线路的电能质量监测数据”可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。

5.如权利要求1至4中任一项所述的方法，其特征在于，所述步骤a中的“K个安全级别”有四个，包括类别为C₁的正常状态、类别为C₂的异常状态、类别为C₃的故障和类别为C₄的严重状态。

6.一种电能质量综合评估的系统，其特征在于，其在任一电力线路上实现，所述系统包括：

样本集获取单元，用于根据分布式地预先存放于J个数据采集节点上的所述电力线路的电能质量监测数据、公共信息数据及电力用户数据，得到所述J个数据采集节点分别对应的J个样本集；其中，J为正整数；

训练样本集确定单元，用于根据所述得到的J个样本集，设置N个用户特征属性，且提取M个所述用户特征属性作为所述J个数据采集节点共同的用户特征向量，并根据所述提取的共同用户特征向量，得到所述J个数据采集节点分别对应的J个训练样本集，进一步将所述J个训练样本集进行统一的数据转换和集成后，得到以数据块方式存储于所述J个数据采集节点的J个数据集；其中，M≤N，N与M均为正整数；所述M个用户特征向量为； 

概率计算单元，用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别，并对所述J个数据集进行分类和计算，得到分类后的J个数据集对应的每一类别的先验概率及条件概率；其中，K为正整数；所述K个类别为；

安全级别评估单元，用于根据所述得到的每一类别的先验概率及条件概率，通过贝叶斯公式得到每一类别的类别概率，并确定所述得到的类别概率中数值最大的类别对应的安全级别为所述电力线路当前电能质量的安全级别。

7.如权利要求6所述的系统，其特征在于，所述概率计算单元包括： 

类别设定模块，用于将电能质量的K个安全级别分别作为所述J个数据集对应共同分类属性中的K个类别； 

数据映射模块，用于根据各数据集中的数据块数据，计算出各数据集中与数据块对应的多个输入分片，并根据所述计算出的各数据集中数据块对应的多个输入分片，构建各数据集中与所述输入分片对应的多个映射器； 

先验概率计算模块，用于使用MAP函数将各映射器的数据转换成key为C_i的第一键值对，计算出各映射器中每一类别的样本数目和样本总数目，且将所述第一键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第一键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中类C_i的样本总数及其对应的先验概率P(C_i)；其中，C_i为所述K个类别其中任一；i≤K，i为正整数； 

条件概率计算模块，用于使用MAP函数将各映射器的数据转换成key为(C_i,x_j)的第二键值对，计算出各映射器中每一类别分别对应的各用户特征向量 的样本数目，且将所述第二键值对按照键进行排序，并对排序后的键值对进行分片，以及使用预设的函数分别将所述第二键值对中相同key的分片分配至同一个Reduce函数，进一步计算出Reduce函数中属于类C_i的所有样本中第j个属性为x_j的总数，并根据先验概率P(C_i)得出对应的条件概率P(X|C_i)；其中，x_j为所述M个用户特征向量其中任一；j≤M，j为正整数； 

8.如权利要求7所述的系统，其特征在于，所述预设的函数为哈希函数，所述哈希函数公式为。

9.如权利要求6所述的系统，其特征在于，所述电力线路的电能质量监测数据可按照IEEE的电能质量数据交换格式PQDIF进行数据统一转换。

10.如权利要求6至9中任一项所述的系统，其特征在于，所述K个安全级别有四个，包括类别为C₁的正常状态、类别为C₂的异常状态、类别为C₃的故障和类别为C₄的严重状态。