CN109492683A - 一种针对广域量测电力大数据数据质量的快速在线评估方法 - Google Patents

Abstract

本发明公开一种针对广域量测电力大数据数据质量的快速在线评估方法，属于电力系统大数据应用领域，包括以下步骤：获取给定时段内广域量测系统的实时电力大数据；采用改进的MapReduce并行化K‑means聚类算法进行快速的预处理；采用基于KNN的快速密度峰值异常值检测算法对其进行正确性评估；再进行完整性、唯一性、准确性、一致性、有效性评估，根据评估指标I_i设计各个指标对应的评估规则R_r(r＝1,2,3……n)；利用层次分析法确定各评估指标的权重系数W_w；统计满足评估规则R_r(I_i)的数据个数百分比S_s，再根据得到的权重系数W_w和检测结果S_s，计算出电力大数据质量的综合评估值X。本发明解决了电力大数据质量快速评估问题，是基于WAMS的电网在线应用的基础性工作。

Description

一种针对广域量测电力大数据数据质量的快速在线评估方法

技术领域

本发明属于电力系统大数据应用领域，公开一种针对广域量测电力大数据数据质量的快速在线评估方法。

背景技术

在传统数据质量评估技术基础上，考虑广域量测系统电力大数据特征，评估电力大数据质量，确保获得可信度高和项目应用目标适用的电网量测大数据，对电力系统大数据的应用具有重要意义。

电力行业面临着正在形成的大数据环境，大数据时代对电力行业发展提出新的挑战，但也带来新的发展机遇。近十年来，随着我国经济的快速发展，电网规模不断扩大。在“西电东送、南北互供、全国联网”的建设方针下，我国各地区电网互联程度逐渐加深，交流同步互联和交直流混合互联并存，超大规模的互联电力系统的正在逐步形成。广域量测系统(Wide Area Measurement System,WAMS)是以同步向量测量技术为基础，以电力系统动态过程检测、分析和控制为目标的实时监控系统,具有异地高精度同步向量测量、高速通信和快速反应等技术特点，已在我国互联电网的动态过程实时监控领域广泛配置。面对这种海量数据的增加，多数电力部门仅使用传统的数据分析方法和简单的传统统计方法进行数据分析和数据质量评估，适用性并不好；而且由于广域量测数据量大、数据处理复杂以及数据应用的原理复杂，目前对于广域量测大数据深度挖掘分析不够、实用化的高级应用欠缺，制约了广域量测数据在电网安全运行中的应用。数据背后隐藏的深层次知识无法有效得以理解使用，相反却带来了“数据灾难”和“数据荒废”，上述问题使得实际电网中广域量测数据大量闲置，无法充分发挥其应有的价值。

发明内容

针对现有技术的不足，本发明提出了一种针对广域量测电力大数据数据质量的快速在线评估方法，在传统数据质量评估技术基础上，充分考虑了广域量测系统电力大数据特征，进行电力大数据质量评估，确保快速获得可信度高和项目应用目标适用的电网量测大数据。

本发明采用如下技术方案：

一种针对广域量测电力大数据数据质量的快速在线评估方法，包括如下步骤：

步骤1：获取给定时段内广域量测系统的实时电力大数据；

步骤2：采用MapReduce并行化K-means聚类算法对确定的电力大数据对象进行快速的预处理：将电力大数据集通过K-means聚类算法分类为若干小数据集，且每个小数据集中的数据对象之间具有相似性；

步骤3：对经过预处理的电力大数据对象采用基于KNN的快速密度峰值异常值检测算法来进行正确性指标的评估：基于小数据集中每个样本与其他样本之间的欧氏距离来计算该样本的局部密度，并根据局部密度得到KNN距离，然后将局部密度小于预设密度阈值和KNN距离大于预设距离阈值的样本作为异常数据，并据此评估电力大数据对象的正确性；

步骤4：继续对经过预处理的电力大数据对象进行评估：基于完整性、唯一性、准确性、一致性和有效性这五个评估指标建立对应的电力大数据质量评估规则，评估规则即判断数据是否符合评估要求的规则，其中完整性是检测数据是否存在缺失记录或缺失字段，唯一性是检测数据是否存在重复的记录，准确性是检测数据值的精度是否符合要求，一致性是检测同一属性数据在表达格式上是否一致，有效性是检测数据是否符合数据格式和值域范围的要求；

步骤5：利用层次分析法快速确定各评估指标的权重系数：根据步骤3和4中的评估指标和评估规则，采用1-9标度法形成判断矩阵并检验判断矩阵的一致性，再对判断矩阵进行列归一化并计算每一行的平均值，得到评估指标的权重系数；

步骤6：根据电力大数据质量评估规则中的每条评估规则，对经过预处理的电力大数据对象进行快速检测分析，统计满足评估规则的数据个数百分比，再根据步骤5中得到的各评估指标权重系数和检测结果，计算出电力大数据质量的综合评估值。

所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，所述步骤2包括以下步骤：

以步骤1中得到的电力大数据对象作为聚类样本集H＝{h₁,h₂,...,h_j,...,h_n}，其中h_j为数据对象，将原始数据分成k个类别，其中k≤n，用s_i(i＝1,2,...,k)表示在n个数据对象中选出的k个聚类中心，聚类中心s_i(i＝1,2,...,k)是同一类别数据对象的算数平均值，即

其中N_i为类i的数据对象个数，h_i为类i中的数据对象；

对于不属于聚类中心的数据对象，根据到每一个聚类中心的相似度即欧氏距离进行分配，然后重新计算新的聚类中心即聚类对象的均值，不断重复此过程直至标准测度函数收敛，标准测度函数为

其中h_j为类i中的数据对象，J为聚类样本集中所有数据的均方差之和。

所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，所述步骤3包括以下步骤：

在步骤2中得到的每个小数据集中，计算任一样本x_i与其他样本之间的欧氏距离d(x_i,x_j)，并将计算结果按照升序排列，以对应第k个距离的样本为N_k(x_i)，x_i的K个最近邻为：

N(x_i)＝{j∈X|d(x_i,x_j)≤d(x_i,N_k(x_i))}

用N(x_i)来计算x_i的局部密度

其中K＝ρN，ρ是数据集的总样本数N的百分比；

KNN距离为：

其中d_ij为x_i与x_j之间的距离；

异常样本为：局部密度且距离值其中，局部密度阈值为：

距离阈值的定义为：

其中γ_ρ和γ_δ为经验参数。

所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，所述步骤4包括以下步骤：

基于完整性评估指标建立评估规则：检验数据是否存在缺失值；

基于唯一性评估指标建立评估规则：检测数据中是否存在以下情况：(1)数据表中是否存在两个相同的时间变量；(2)数据表中是否存在两个相同的统计指标名；(3)不同行或列对应的数值数据的相同个数是否超过预设阈值；

基于准确性评估指标建立评估规则：预先定义记录的参考精度值即数据小数点后的位数，然后再考察数据集中各数据记录的精度是否满足要求；

基于一致性评估指标建立评估规则：预先设定不同属性数据的标准表达格式，然后检测该属性下的所有数据的表达格式是否与标准表达格式一致；

基于有效性评估指标建立评估规则：先统计出每一个属性数据的所有有效格式，然后再将某属性下的所有数据与有效格式逐一进行对比，检验是否符合要求；然后检查数值数据的大小是否处于预设的值域范围之内。

所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，所述步骤5包括以下步骤：

1)根据选择的评估指标和设计的评估规则之间的关系采用1-9标度法，形成判断矩阵，所述的判断矩阵利用各评估指标之间的标度关系形成，各指标的标度则由两个元素相比的重要性来确定；

2)检验判断矩阵的一致性，即检验判断矩阵中的数据在表达格式上是否一致；

3)对其判断矩阵进行列归一化，即通过判断矩阵中的每一个列数据除以该列数据之和得到一个新数值，然后对归一化后的矩阵的每一行计算出平均值，得到评估指标的权重系数。

所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，所述步骤6包括以下步骤：

对所选定的电力大数据对象进行检测分析，统计满足评估规则的数据个数百分比S_s，再根据步骤5中得到的各评估指标权重系数W_w和检测结果S_s，计算出电力大数据质量的综合评估值X：

本发明的技术效果在于，在传统数据质量评估技术基础上，充分考虑了广域量测系统电力大数据特征，进行电力大数据质量评估，确保快速获得可信度高和项目应用目标适用的电网量测大数据。本发明解决了电力大数据质量快速评估问题，是基于WAMS的电网在线应用的基础性工作，有利于对电力大数据进行充分有效的利用，发挥其价值。

附图说明

图1为本发明的整体实施流程图。

具体实施方式

本发明提出的一种针对广域量测电力大数据数据质量的快速在线评估方法，其整体实施流程见图1。

步骤1：获取给定时段内广域量测系统的实时电力大数据，并确定评估电力大数据对象；

首先，获取给定时段内广域量测系统的实时电力大数据。而在进行电力大数据质量评估时，可以根据用户对于出电力大数据质量评估的需求，先确定哪些电力大数据对象是用户感兴趣的，将用户感兴趣的相应数据进行提取处理，可减少后续的运算处理量，相应的减少运算时间。

步骤2：采用MapReduce并行化的K-means聚类算法对确定的电力大数据对象进行快速的预处理。通过将K-means聚类算法并行化，可有效的提高聚类算法的处理效率。

采用K-means可将电力大数据对象按照相似性分成k类，即把大数据集分类为若干小数据集，由于电力大数据对象的数据量极为庞大，如果直接处理的话，运算效率会相当低下，而经过聚类处理的每个小数据集中的数据对象之间具有相当程度的相似性，这样可极大提高数据处理的速度。进行聚类的基本过程如下：

给定聚类样本集H＝{h₁,h₂,...,h_j,...,h_n}，其中h_j为数据对象。在给定分类组数k(k≤n)的情况下，将原始数据分成k个类别，用s_i(i＝1,2,...,k)表示在n个数据对象中选出的k个聚类中心。聚类中心s_i(i＝1,2,...,k)是同一类别数据对象的算数平均值，即

式中：N_i为类i的数据对象个数；h_i为类i中的数据对象。

对于其他的数据对象，根据到每一个聚类中心的相似度(欧氏距离)进行分配，重新计算新的聚类中心(即聚类对象的均值)，不断重复此过程直至标准测度函数收敛，即分类(聚类中心)趋于稳定为止。标准测度函数定义为

式中：h_j为类i中的数据对象；J为聚类样本集中所有数据的均方差之和。

步骤3：针对经过预处理的电力大数据对象，首先采用基于KNN的快速密度峰值异常值检测算法对其进行正确性评估；

该算法的核心是用KNN思想计算所选电力大数据对象的局部密度和距离，基于KNN的局部密度和距离在计算时既考虑了数据集的全局特征，也考虑了数据集的局部特点，同时给出异常值判断规则，因此提高了异常值的检测速度和精度，得到正确性评估结果。

在原始数据集中，计算任一样本x_i与其他样本之间的欧氏距离d(x_i,x_j)，并将计算结果按照升序排列，记对应第k个距离的样本为N_k(x_i)，x_i的K个最近邻为：

N(x_i)＝{j∈X|d(x_i,x_j)≤d(x_i,N_k(x_i))} (4)

用N(x_i)来计算x_i的局部密度

式中，K由参数ρ确定，ρ是样本数N的百分比，K＝ρN，局部密度的值越大，表示x_i的密度越大。

在式(5)的基础上给出KNN距离的定义为：

其中d_ij为x_i与x_j之间的距离。

计算出样本的之后，确定数据集中的异常值。数据集中局部密度较小、距离较大的点有可能是异常值，因为其周围的邻居较少且与其他样本的距离较大。本文认为异常样本应满足如下条件：局部密度且距离值时，则该样本点可以判定为异常值。其中，局部密度阈值的定义为：

距离阈值的定义为：

式中，N为数据集的总样本数，γ_ρ和γ_δ为经验参数，其中经验参数的具体数值只能通过实验或者统计得到，针对不同的数据取值可能不一样。

步骤4：再对经过预处理的电力大数据对象进行完整性、唯一性、准确性、一致性、有效性评估，并根据评估指标I_i设计各个指标对应的电力大数据质量评估规则R_r(r＝1,2,3……n)；

借鉴于传统数据质量评估技术的评估指标，针对广域量测系统的实时电力大数据，提出的典型电力大数据质量评估指标包括正确性、完整性、唯一性、准确性、一致性、有效性，并根据评估指标I_i设计各个指标对应的电力大数据质量评估规则，通过这六个大数据质量评估指标对目标电力大数据对象进行进一步的质量评估。其中各评估规则具体解释如下：

正确性：包括事实符合性和输入正确性两个方面，主要用于描述数据是否与其对应的客观实体的特征相一致。检测原理：检验数据是否存在异常值。

完整性：描述数据是否存在缺失记录或缺失字段。检测原理：检验数据是否存在缺失值。

唯一性：描述数据是否存在重复的记录。检测原理：(1)数据表中是否存在两个相同的时间变量；(2)数据表中是否存在两个相同的统计指标名；(3)不同行或列对应的数值数据是否完全一致或相同个数是否超过某一阈值。

准确性：描述数据值的精度是否符合要求。检测原理：预先定义记录的参考精度值，然后再考察数据集中各数据记录的精度是否满足这一要求。

一致性：描述同一属性数据在表达格式上是否一致，一致性分析主要从以下两个方面进行：表达一致性和格式一致性。检测原理：预先设定一种参考格式，然后通过扫描该属性下的所有数据，将每一个案的表达格式与参考格式进行对比分析，以考察两者是否一致，若存在差异，则认为该数据的格式不符合要求。

有效性：包括格式有效性和数值有效性两个方面，任何数据都应该符合特定的数据格式以及值域范围。检测原理：先统计出每一个属性数据的所有有效格式，然后再将某属性下的所有数据与其有效格式逐一进行对比，检验是否符合要求；数值有效性通常分析的是，数据的大小是否介于某一值域范围之内。

步骤5：利用层次分析法快速确定各评估指标的权重系数W_w；

由于不同的电力大数据集对电力大数据质量有各自不同的要求，因此对评估指标的权重也各不相同，评估指标赋予的权值越大，说明该指标与电力大数据质量水平的关联度越大，反之，则越小。本发明利用层次分析法确定各评估指标的权重系数W_w，过程如下：

1)根据选择的评估指标和设计的评估规则之间的关系，建立系统的递阶的层次结构。这里所提出的的层次结构是通过层次分析法来建立，层次分析法简称AHP，是指将与决策总是有关的元素分解成目标、准则、方案等层次，在此基础之上进行定性和定量分析的决策方法。在本方法中数据质量评估是目标，六个评估指标是准则，六个评估指标对应的评估规则是方案。

2)采用“1-9标度法”，形成判断矩阵。这里提出的判断矩阵是利用各评估指标之间的标度关系形成，各指标的标度则由两个元素相比的重要性来确定。例：正确性与完整性相比稍微重要则其标度为3，正确性与唯一性相比强烈重要则其标度为6。具体示例可参见下表1：

表1正确性与唯一性判断矩阵

3)检验判断矩阵的一致性，即检验判断矩阵中的数据在表达格式上是否一致。；

4)对其判断矩阵进行列归一化(列数据/列数据之和)，即把判断矩阵中的每一个列数据除以该列数据之和得到一个新数值，然后对归一化后的矩阵的每一行计算出平均值，得到评估指标的权重系数W_w。具体示例可参见下表2、表3：

表2完整判断矩阵

表3列归一化及权重

步骤6：根据电力大数据质量评估规则R_r集中的每条评估规则，对所选定的电力大数据对象进行检测分析，统计满足评估规则R_r(I_i)的数据个数百分比S_s，再根据步骤5中得到的各评估指标权重系数W_w和检测结果S_s，计算出电力大数据质量的综合评估值X：

对于具体的质量水平评判，可参考以下规则：若X∈(95，100]则评定该评估电力大数据对象的数据质量水平为“优”，若X∈(90，95]则评定该评估电力大数据对象的数据质量水平为“良”，若X∈(85，90]则评定该评估电力大数据对象的数据质量水平为“中”，若X∈(0，85]则评定该评估电力大数据对象的数据质量水平为“差”。实际实施时也可根据需要来制定具体的评判规则。

以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的保护范畴。

Claims (6)

1.一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，包括如下步骤：

步骤1：获取给定时段内广域量测系统的实时电力大数据；

步骤2：采用MapReduce并行化K-means聚类算法对确定的电力大数据对象进行快速的预处理：将电力大数据集通过K-means聚类算法分类为若干小数据集，且每个小数据集中的数据对象之间具有相似性；

步骤3：对经过预处理的电力大数据对象采用基于KNN的快速密度峰值异常值检测算法来进行正确性指标的评估：基于小数据集中每个样本与其他样本之间的欧氏距离来计算该样本的局部密度，并根据局部密度得到KNN距离，然后将局部密度小于预设密度阈值和KNN距离大于预设距离阈值的样本作为异常数据，并据此评估电力大数据对象的正确性；

步骤4：继续对经过预处理的电力大数据对象进行评估：基于完整性、唯一性、准确性、一致性和有效性这五个评估指标建立对应的电力大数据质量评估规则，评估规则即判断数据是否符合评估要求的规则，其中完整性是检测数据是否存在缺失记录或缺失字段，唯一性是检测数据是否存在重复的记录，准确性是检测数据值的精度是否符合要求，一致性是检测同一属性数据在表达格式上是否一致，有效性是检测数据是否符合数据格式和值域范围的要求；

步骤5：利用层次分析法快速确定各评估指标的权重系数：根据步骤3和4中的评估指标和评估规则，采用1-9标度法形成判断矩阵并检验判断矩阵的一致性，再对判断矩阵进行列归一化并计算每一行的平均值，得到评估指标的权重系数；

步骤6：根据电力大数据质量评估规则中的每条评估规则，对经过预处理的电力大数据对象进行快速检测分析，统计满足评估规则的数据个数百分比，再根据步骤5中得到的各评估指标权重系数和检测结果，计算出电力大数据质量的综合评估值。

2.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤2包括以下步骤：

以步骤1中得到的电力大数据对象作为聚类样本集H＝{h₁,h₂,...,h_j,...,h_n}，其中h_j为数据对象，将原始数据分成k个类别，其中k≤n，用s_i(i＝1,2,...,k)表示在n个数据对象中选出的k个聚类中心，聚类中心s_i(i＝1,2,...,k)是同一类别数据对象的算数平均值，即

其中N_i为类i的数据对象个数，h_i为类i中的数据对象；

对于不属于聚类中心的数据对象，根据到每一个聚类中心的相似度即欧氏距离进行分配，然后重新计算新的聚类中心即聚类对象的均值，不断重复此过程直至标准测度函数收敛，标准测度函数为

其中h_j为类i中的数据对象，J为聚类样本集中所有数据的均方差之和。

3.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤3包括以下步骤：

在步骤2中得到的每个小数据集中，计算任一样本x_i与其他样本之间的欧氏距离d(x_i,x_j)，并将计算结果按照升序排列，以对应第k个距离的样本为N_k(x_i)，x_i的K个最近邻为：

N(x_i)＝{j∈X|d(x_i,x_j)≤d(x_i,N_k(x_i))}

用N(x_i)来计算x_i的局部密度

其中K＝ρN，ρ是数据集的总样本数N的百分比；

KNN距离为：

其中d_ij为x_i与x_j之间的距离；

异常样本为：局部密度且距离值其中，局部密度阈值为：

距离阈值的定义为：

其中γ_ρ和γ_δ为经验参数。

4.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤4包括以下步骤：

基于完整性评估指标建立评估规则：检验数据是否存在缺失值；

基于唯一性评估指标建立评估规则：检测数据中是否存在以下情况：(1)数据表中是否存在两个相同的时间变量；(2)数据表中是否存在两个相同的统计指标名；(3)不同行或列对应的数值数据的相同个数是否超过预设阈值；

基于准确性评估指标建立评估规则：预先定义记录的参考精度值即数据小数点后的位数，然后再考察数据集中各数据记录的精度是否满足要求；

基于一致性评估指标建立评估规则：预先设定不同属性数据的标准表达格式，然后检测该属性下的所有数据的表达格式是否与标准表达格式一致；

基于有效性评估指标建立评估规则：先统计出每一个属性数据的所有有效格式，然后再将某属性下的所有数据与有效格式逐一进行对比，检验是否符合要求；然后检查数值数据的大小是否处于预设的值域范围之内。

5.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤5包括以下步骤：

1)根据选择的评估指标和设计的评估规则之间的关系采用1-9标度法，形成判断矩阵，所述的判断矩阵利用各评估指标之间的标度关系形成，各指标的标度则由两个元素相比的重要性来确定；

2)检验判断矩阵的一致性，即检验判断矩阵中的数据在表达格式上是否一致；

3)对其判断矩阵进行列归一化，即通过判断矩阵中的每一个列数据除以该列数据之和得到一个新数值，然后对归一化后的矩阵的每一行计算出平均值，得到评估指标的权重系数。

6.根据权利要求1所述的一种针对广域量测电力大数据数据质量的快速在线评估方法，其特征在于，所述步骤6包括以下步骤：

对所选定的电力大数据对象进行检测分析，统计满足评估规则的数据个数百分比S_s，再根据步骤5中得到的各评估指标权重系数W_w和检测结果S_s，计算出电力大数据质量的综合评估值X：