CN108564133A - 基于大数据技术的电网量测数据智能处理系统 - Google Patents

Abstract

本发明提供了基于大数据技术的电网量测数据智能处理系统，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。

Description

基于大数据技术的电网量测数据智能处理系统

技术领域

本发明涉及电网量测数据处理技术领域，具体涉及基于大数据技术的电网量测数据智能处理系统。

背景技术

随着智能电网信息化不断发展，调度自动化和采集监测类系统积累了海量的电网量测数据，量测数据作为电网领域四大数据类型之一，是设备状态监测、辅助决策分析、大数据挖掘的重要基础。目前，采用电网量测数据进行设备状态分析时，直接采用采集的电网量测数据进行建模，而电网量测数据本身存在的缺陷将会大大降低建模分析的精度。

发明内容

针对上述问题，本发明提供基于大数据技术的电网量测数据智能处理系统。

本发明的目的采用以下技术方案来实现：

提供了基于大数据技术的电网量测数据智能处理系统，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。

优选地，聚类处理单元对智能电网量测数据进行聚类处理，具体包括：

(1)对存在0值或负值的智能电网量测数据进行预处理，将0值或负值替换为预先设定的替代值，提取设定时间段的智能电网量测数据作为一个智能电网量测数据集，设为X；

(2)在第一次迭代时，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为第一个簇中心点O₁，计算其余智能电网量测数据与该簇中心点O₁之间的相似度，若智能电网量测数据x_i与簇中心点O₁之间的相似度大于设定的相似度阈值，则将智能电网量测数据x_i分配到该簇中心点O₁，并进行标记；

(3)令迭代次数λ加1，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为另一个簇中心点O_λ+1，计算其余智能电网量测数据与该簇中心点O_λ+1之间的相似度；

智能电网量测数据x_j未标记时，若智能电网量测数据x_j与O_λ+1之间的相似度大于设定的相似度阈值，则将智能电网量测数据x_j分配到该簇中心点O_λ+1，并进行标记；

智能电网量测数据x_j已标记时，当智能电网量测数据x_j与O_λ+1之间的相似度大于设定的相似度阈值并且满足再分配条件时，将智能电网量测数据x_j分配到该簇中心点O_λ+1，其余情况不对已标记的智能电网量测数据x_j作任何操作；

(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的智能电网量测数据皆已被标记，执行(5)；

(5)更新每个簇的簇中心点为该簇中所有智能电网量测数据的均值，分配每个非簇中心点到与它相似度最高的簇中心点所在的簇，当所有的簇中心点都不再更新时，算法停止。

优选地，设定所述再分配条件为：

式中，S(x_k,O_λ+1)表示智能电网量测数据x_k与簇中心点O_λ+1之间的相似度，S(x_k,O_k0)为智能电网量测数据x_k与其所分配的簇中心点之间的相似度；为智能电网量测数据x_k所在簇已有的智能电网量测数据个数，ζ为设定的调节系数，ζ的设定取值范围为[0.80,1.0)，N_T为设定的个数阈值，用以限制簇规模，为设定的比较取值函数，当时，当时，

优选地，异常检测单元对聚类处理后的智能电网量测数据进行异常检测，具体包括：若聚类后存在一个簇的智能电网量测数据个数低于设定的个数阈值，则将该簇视为异常簇，将异常簇中的所有智能电网量测数据视为异常智能电网量测数据。

优选地，设智能电网量测数据集X＝)x₁,x₂,…,x_n}，每个智能电网量测数据x_i的维数为β，求取智能电网量测数据集X的第α维属性值的均值σ_α和标准差δ_α：

式中，x_iα为智能电网量测数据集X的智能电网量测数据x_i的第α维属性值，α＝1,…,β；

设定智能电网量测数据x_k与簇中心点O_l之间的相似度的计算公式为：

式中，S(x_k,O_l)表示智能电网量测数据x_k与簇中心点O_l之间的相似度，x_kα表示智能电网量测数据x_k的第α维属性值，O_lα表示簇中心点O_l的第α维属性值，min表示取最小值，max表示取最大值，当x_k1＝O_l1时，表示第α维属性值的变差系数权值，σ_γ为智能电网量测数据集X的第γ维属性值的均值，δ_γ为智能电网量测数据集X的第γ维属性值的标准差，γ＝1,…,β，β为智能电网量测数据的维数。

本发明的有益效果为：通过设置预处理模块，对数据采集模块采集的智能电网量测数据进行聚类和异常检测处理，提高了智能电网量测数据的质量，将预处理后的智能电网量测数据用于建模分析，大大提高了建模分析的精度和效率。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1是本发明一个示例性实施例的电网量测数据智能处理系统的结构示意框图；

图2是本发明一个示例性实施例的预处理模块的结构示意框图。

附图标记：

数据接入模块1、预处理模块2、分析模块3、聚类处理单元10、异常检测单元20。

具体实施方式

结合以下实施例对本发明作进一步描述。

参见图1，本实施例提供的基于大数据技术的电网量测数据智能处理系统，包括依次连接的数据接入模块1、预处理模块2、分析模块3。

其中，数据接入模块1用于对接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据。

其中，预处理模块2用于对数据接入模块1接收的智能电网量测数据进行预处理。

其中，分析模块3用于对预处理后的智能电网量测数据进行建模分析处理。

在一个实施例中，如图2所示，预处理模块2包括聚类处理单元10、异常检测单元20，聚类处理单元10用于对智能电网量测数据进行聚类处理，异常检测单元20用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块3。

本发明上述实施例通过设置预处理模块，对数据采集模块采集的智能电网量测数据进行聚类和异常检测处理，提高了智能电网量测数据的质量，将预处理后的智能电网量测数据用于建模分析，大大提高了建模分析的精度和效率。

在一个实施例中，聚类处理单元10用于对智能电网量测数据进行聚类处理，具体包括：

(1)对存在0值或负值的智能电网量测数据进行预处理，将0值或负值替换为预先设定的替代值，提取设定时间段的智能电网量测数据作为一个智能电网量测数据集，设为X；

(2)在第一次迭代时，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为第一个簇中心点O₁，计算其余智能电网量测数据与该簇中心点O₁之间的相似度，若智能电网量测数据x_i与簇中心点O₁之间的相似度大于设定的相似度阈值，则将智能电网量测数据x_i分配到该簇中心点O₁，并进行标记；

(3)令迭代次数λ加1，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为另一个簇中心点O_λ+1，计算其余智能电网量测数据与该簇中心点O_λ+1之间的相似度；

智能电网量测数据x_j未标记时，若智能电网量测数据x_j与O_λ+1之间的相似度大于设定的相似度阈值，则将智能电网量测数据x_j分配到该簇中心点O_λ+1，并进行标记；

智能电网量测数据x_j已标记时，当智能电网量测数据x_j与O_λ+1之间的相似度大于设定的相似度阈值并且满足下列再分配条件时，将智能电网量测数据x_j分配到该簇中心点O_λ+1，其余情况不对已标记的智能电网量测数据x_j作任何操作：

式中，S(x_k,O_λ+1)表示智能电网量测数据x_k与簇中心点O_λ+1之间的相似度，S(x_k,O_k0)为智能电网量测数据x_k与其所分配的簇中心点之间的相似度；为智能电网量测数据x_k所在簇已有的智能电网量测数据个数，ζ为设定的调节系数，ζ的设定取值范围为[0.80,1.0)，N_T为设定的个数阈值，用以限制簇规模，为设定的比较取值函数，当时，当时，

(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的智能电网量测数据皆已被标记，执行(5)；

(5)更新每个簇的簇中心点为该簇中所有智能电网量测数据的均值，分配每个非簇中心点到与它相似度最高的簇中心点所在的簇，当所有的簇中心点都不再更新时，算法停止。

本实施例设定了针对智能电网量测数据的聚类处理机制，该机制能够简单快捷地完成智能电网量测数据的聚类，不需要预先指定簇的个数，其中创新性地设定了再分配条件，该再分配条件中，通过簇内已有的智能电网量测数据数量与设定的个数阈值之间的关系，设置了智能电网量测数据与原分配的簇中心点的相似度的衰减系数。本实施例通过将满足再分配条件的智能电网量测数据重新分配到新的簇中心点中，能够使得每一个智能电网量测数据都能够分配给与它相似度满足要求的簇，且通过衰减系数的设置，能够有利于在保障聚类精确度的前提下使得簇规模更加趋于均匀。

其中，智能电网量测数据与簇中心点之间的相似度可以采用现有的相似度函数进行计算，例如采用余弦相似性、皮尔逊相关系数等进行度量。

在一个优选实施例中，设智能电网量测数据集X＝{x₁,x₂,…,x_n}，每个智能电网量测数据x_i的维数为β，求取智能电网量测数据集X的第α维属性值的均值δ_α和标准差σ_α：

式中，x_iα为智能电网量测数据集X的智能电网量测数据x_i的第α维属性值，α＝1,…,β；

设定智能电网量测数据x_k与簇中心点O_l之间的相似度的计算公式为：

式中，S(x_k,O_l)表示智能电网量测数据x_k与簇中心点O_l之间的相似度，x_kα表示智能电网量测数据x_k的第α维属性值，O_lα表示簇中心点O_l的第α维属性值，min表示取最小值，max表示取最大值，当x_kα＝O_lα时，表示第α维属性值的变差系数权值，σ_γ为智能电网量测数据集X的第γ维属性值的标准差，δ_γ为智能电网量测数据集X的第γ维属性值的均值，γ＝1,…,β，β为智能电网量测数据的维数。

本实施例创新性地设定了相似度的计算公式，该计算公式中，属性分布的偏离程度越小的变差系数权值更小，而属性分布的偏离程度越大的变差系数权值越大。

现有技术中常采用绝对距离来衡量两个智能电网量测数据之间的差异性，如欧式距离、曼哈顿距离等，也就是说两个智能电网量测数据之间的距离越大表明两者的相似性越小，反之则相似性越大，但是这种距离度量方式通常涉及到对象的所有属性，并认为这些属性对于距离度量的重要性是相同的。本实施例的上述相似度计算公式考虑了智能电网量测数据的属性因素，为不同的维度上的属性值加以不同的权重值，让不同维度按照变差系数权值的大小在聚类中起不同的作用，能够使得某些特征维度上的智能电网量测数据差异得到区分，解决了因不同特征维度上的量纲不同导致的聚类效果不佳的问题，提高了聚类划分的精度和效率；本实施例还能够避免任何不必要的数据转换，使得对智能电网量测数据的聚类更加简单快捷。

在一个实施例中，异常检测单元20对聚类处理后的智能电网量测数据进行异常检测，具体包括：

(1)若聚类后存在一个簇的智能电网量测数据个数低于设定的个数阈值，则将该簇视为异常簇，将异常簇中的所有智能电网量测数据视为异常智能电网量测数据；

(2)计算其他正常簇的簇中心点与异常簇的簇中心点之间的相似度；

(3)若存在一个异常簇的簇中心点与正常簇的簇中心点之间的相似度大于设定的簇相似度阈值，则将该正常簇作为待检测簇，并利用该异常簇的智能电网量测数据来检测待检测簇中的智能电网量测数据，具体为：

1)设该异常簇的智能电网量测数据集合为X_ρ＝{x₁,x₂,..,x_ρ}，将{x₁,x₂,..,x_ρ}中的智能电网量测数据进行归一化处理，并将归一化处理后的智能电网量测数据按照从小到大的顺序进行排序，将排序后的智能电网量测数据进行反归一化处理，获取反归一化处理后的智能电网量测数据集合中的中位数x_med；

2)检测待检测簇中的智能电网量测数据，若待检测簇中的智能电网量测数据满足下列异常条件时，将智能电网量测数据视为异常智能电网量测数据：

式中，表示智能电网量测数据的第α维属性值，x_med,α表示中位数x_med的第α维属性值，β为智能电网量测数据的维数，S_t为另一设定的相似度阈值，为设定的取小值函数，当时，当时，为设定的取大值函数，当时，当时，

由于规模性较小的簇中的智能电网量测数据之间相对较为松散，而且相对于其他智能电网量测数据较为孤立，因此现有技术中通常将规模较小的簇中的数据视为异常数据。基于此，本实施例对聚类处理后的智能电网量测数据进行异常点检测，从中创新性地提出了用于检测智能电网量测数据是否为异常的异常条件，该异常条件根据智能电网量测数据与相似度最高的异常簇的中位数之间的相似度阈值来判断该智能电网量测数据是否为异常智能电网量测数据，具备一定的检测精度，检测方式简单有效。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (5)

1.基于大数据技术的电网量测数据智能处理系统，其特征是，包括依次连接的数据接入模块、预处理模块、分析模块，其中数据接入模块用于接收多个数据采集模块发送的智能电网量测数据，其中数据采集模块用于采集所在监测节点上的智能电网量测数据；所述预处理模块用于对数据接入模块接收的智能电网量测数据进行预处理，预处理模块包括聚类处理单元、异常检测单元，聚类处理单元用于对智能电网量测数据进行聚类处理，异常检测单元用于对聚类处理后的智能电网量测数据进行异常检测，对检测出的异常智能电网量测数据进行标记，并将所有的智能电网量测数据发送至分析模块；所述的分析模块用于对预处理后的智能电网量测数据进行建模分析处理。

2.根据权利要求1所述的基于大数据技术的电网量测数据智能处理系统，其特征是，聚类处理单元对智能电网量测数据进行聚类处理，具体包括：

(1)对存在0值或负值的智能电网量测数据进行预处理，将0值或负值替换为预先设定的替代值，提取设定时间段的智能电网量测数据作为一个智能电网量测数据集，设为X；

(2)在第一次迭代时，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为第一个簇中心点O₁，计算其余智能电网量测数据与该簇中心点O₁之间的相似度，若智能电网量测数据x_i与簇中心点O₁之间的相似度大于设定的相似度阈值，则将智能电网量测数据x_i分配到该簇中心点O₁，并进行标记；

(3)令迭代次数λ加1，选择智能电网量测数据集X中的第一个未标记的智能电网量测数据作为另一个簇中心点O_λ+1，计算其余智能电网量测数据与该簇中心点O_λ+1之间的相似度；

智能电网量测数据x_j未标记时，若智能电网量测数据x_j与O_λ+1之间的相似度大于设定的相似度阈值，则将智能电网量测数据x_j分配到该簇中心点O_λ+1，并进行标记；

智能电网量测数据x_j已标记时，当智能电网量测数据x_j与O_λ+1之间的相似度大于设定的相似度阈值并且满足再分配条件时，将智能电网量测数据x_j分配到该簇中心点O_λ+1，其余情况不对已标记的智能电网量测数据x_j作任何操作；

(4)重复(3)直至迭代次数λ达到设定的阈值或者所有的智能电网量测数据皆已被标记，执行(5)；

(5)更新每个簇的簇中心点为该簇中所有智能电网量测数据的均值，分配每个非簇中心点到与它相似度最高的簇中心点所在的簇，当所有的簇中心点都不再更新时，算法停止。

3.根据权利要求2所述的基于大数据技术的电网量测数据智能处理系统，其特征是，设定所述再分配条件为：

式中，S(x_k，O_λ+1)表示智能电网量测数据x_k与簇中心点O_λ+1之间的相似度，S(x_k，O_k0)为智能电网量测数据x_k与其所分配的簇中心点之间的相似度；为智能电网量测数据x_k所在簇已有的智能电网量测数据个数，ζ为设定的调节系数，ζ的设定取值范围为[0.80，1.0)，N_T为设定的个数阈值，用以限制簇规模，为设定的比较取值函数，当时，当时，

4.根据权利要求1-3任一项所述的基于大数据技术的电网量测数据智能处理系统，其特征是，异常检测单元对聚类处理后的智能电网量测数据进行异常检测，具体包括：若聚类后存在一个簇的智能电网量测数据个数低于设定的个数阈值，则将该簇视为异常簇，将异常簇中的所有智能电网量测数据视为异常智能电网量测数据。

5.根据权利要求4所述的基于大数据技术的电网量测数据智能处理系统，其特征是，设智能电网量测数据集X＝{x₁，x₂，...，x_n}，每个智能电网量测数据x_i的维数为β，求取智能电网量测数据集X的第α维属性值的均值δ_α和标准差σ_α：

式中，x_iα为智能电网量测数据集X的智能电网量测数据x_i的第α维属性值，α＝1，...，β；

设定智能电网量测数据x_k与簇中心点O_l之间的相似度的计算公式为：

式中，S(x_k，O_l)表示智能电网量测数据x_k与簇中心点O_l之间的相似度，x_kα表示智能电网量测数据x_k的第α维属性值，O_lα表示簇中心点O_l的第α维属性值，min表示取最小值，max表示取最大值，当x_kα＝O_lα时， 表示第α维属性值的变差系数权值，σ_γ为智能电网量测数据集X的第γ维属性值的标准差，δ_γ为智能电网量测数据集X的第γ维属性值的均值，γ＝1，...，β，β为智能电网量测数据的维数。