CN109858522A - 一种基于数据挖掘的管理线损异常识别方法 - Google Patents

Abstract

本发明涉及一种基于数据挖掘的管理线损异常识别方法，其技术特点在于：步骤1、采用滑动窗口法对预处理后的管理线损时间序列数据进行子序列分割；步骤2、构建基于神经网络的时间序列预测模型，获得管理线损子序列的预测值，并将预测值和实测值间差异范围大于预设阈值的子序列判定为异常子序列；步骤3、针对异常子序列提取其特征变量，建立管理线损特征样本集合，并采用三种不同算法进行聚类；步骤4、对三种聚类结果进行簇匹配，采用多数投票聚类集成法获得最终聚类结果，通过比较簇内对象数目与预设阈值的差异大小，得出管理线损异常子序列的具体分类情况。本发明可以快速准确地识别管理线损的异常情况，具有更好的稳定性和实用性。

Description

一种基于数据挖掘的管理线损异常识别方法

技术领域

本发明属于线损异常检测技术领域，涉及管理线损异常识别方法，尤其是一种基于数据挖掘的管理线损异常识别方法。

背景技术

随着工业化、城镇化进程加快和消费结构持续升级，我国能源需求特别是电能需求呈现刚性增长趋势。配电网电能损耗特别是管理线损一直较高，公用线路以及台区低压用户线损问题更为显著，导致配电网线损在整个电网线损中占有相当大的比例，给国家造成了大量的资源浪费。配电网线损成因较为复杂，管理线损主要是是由于管理工作上的原因造成的，它包括：各种各样的电度表综合误差、抄表不同时、漏抄及错抄错算所造成的统计数值不准确；带电设备绝缘不良引起的漏电、无表用电和窃电等造成的损失电量。

传统的线损分析过程中较少有将管理线损作为影响线损的因素加以考虑。目前，针对管理线损的异常识别问题，部分文献在提取管理线损特征变量后，采用K-means聚类方法进行异常检测。虽然K-means算法原理简单，实现方便，收敛速度快，但是聚类结果很大程度上取决于参数及初始化，且单一聚类算法并不能准确揭示各种数据集所呈现出来的多种多样的簇结构。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、计算精度高且计算速度快的基于数据挖掘的管理线损异常识别方法。

本发明解决其现实问题是采取以下技术方案实现的：

一种基于数据挖掘的管理线损异常识别方法，包括以下步骤：

步骤1、获取管理线损的特征数据；

步骤2、对步骤1采集的数据进行预处理，得到管理线损时间序列数据；

步骤3、对采用滑动窗口法对步骤2的预处理后的管理线损时间序列数据进行子序列分割；

步骤4、构建基于神经网络的时间序列预测模型，获取管理线损子序列的预测值，判断预测值和实测值间差异范围是否大于预设阈值，若是，则子序列为异常子序列，转至步骤5，否则转步骤4继续预测；

步骤5、提取步骤4判定的异常子序列的特征变量，建立管理线损特征样本集合；

步骤6、通过多种聚类算法对步骤5得到的特征数据聚类，并对多种聚类结果进行簇匹配；

步骤7、采用多数投票聚类集成方法获得最终聚类结果并通过比较簇内对象数目与预设阈值的差异大小，划分管理线损子序列的异常情况类别。

而且，所述步骤2的具体步骤包括：

(1)生成管理线损时间序列数据；

(2)处理缺失值：当对象有多个属性缺失值且被删除的含缺失值的对象所占数据量非常小的情况下，采用简单删除法，否则采取均值填充法补充缺失值；

(3)对数据进行归一化处理：

归一化函数为：

其中，x和x_i分别为归一前后的数据；x_max和x_min分别是数列的最大值和最小值。

而且，所述步骤3的具体步骤包括：

(1)设定滑动窗口的宽度，将时间窗口放在时间序列数据的起始位置，得到对应序列上长度为滑动窗口宽度的一段子序列；

(2)向后移动时间窗口，把时间序列的第二个点作为起始位置，形成另一个子序列；并依次类推。

而且，所述步骤4的具体步骤包括：

(1)采用基于时间序列数据的BP神经网络预测模型，以历史数据作为输入变量，管理线损预测值作为输出变量；

(2)利用滚动预测法，将网络输出变量的实际管理线损值反馈回输入端，若存在待预测的子序列管理线损值，则转至步骤(2)，否则结束预测；

(3)获取子序列预测值，比较子序列的管理线损预测值与实际值，若二者差值大于预设阈值，则认为该子序列存在异常情况，须进一步分析。

而且，所述步骤5提取的异常子序列的3个特征变量分别是平均线损率、线损率标准差和线损率变化趋势：

异常子序列平均线损率：

异常子序列线损率标准差：

异常子序列线损率变化趋势：

其中，μ₁为异常子序列前半段时间的平均值，μ₂为异常子序列后半段时间的平均值。

而且，所述步骤6的具体步骤包括：

(1)采用K-means算法、E-M算法和FCM算法对步骤5得到的特征数据聚类，生成三种聚类结果，将E-M算法和FCM算法的聚类结果“硬化”；

(2)对三种聚类结果进行簇匹配；

而且，所述步骤6第(2)步的具体步骤包括：

①设定聚类个数为k，采用K-means算法、E-M算法和FCM算法生成三种聚类结果，将E-M算法和FCM算法的聚类结果“硬化”，即将数据对象划分到概率或隶属度最大的簇，聚类结果分别是{C₁ ^(a)，C₂ ^(a)，…，C_k ^(a)}、{C₁ ^(b)，C₂ ^(b)，…，C_k ^(b)}、{C₁ ^(c)，C₂ ^(c)，…，C_k ^(c)}；

②统计每一对簇标记C_i ^(a)和C_j ^(b)中相同数据对象的个数，并以此建立一个k阶方阵，记为MATCH⁽¹⁾；

③遍历方阵MATCH⁽¹⁾找出相同数据对象的个数最多的一对簇标记进行簇匹配，并删除相应矩阵元素；若矩阵所有元素均被删除，则转至步骤④，否则转步骤③；

④统计每一对簇标记C_i ^(b)和C_j ^(c)中相同数据对象的个数，并以此建立一个k阶方阵，记为MATCH⁽²⁾；

⑤遍历方阵MATCH⁽²⁾找出相同数据对象的个数最多的一对簇标记进行簇匹配，并删除相应矩阵元素；若矩阵所有元素均被删除，则簇匹配完成，匹配结果为{C₁，C₂，…，C_k}，否则转步骤⑤。

而且，所述步骤7的具体步骤包括：

(1)采用多数投票法进行聚类集成，将数据对象划分到三种聚类结果标签次数最多的簇中；

(2)分析聚类形成的簇，若簇内对象数目小于预设阈值，则划分子序列为第一类异常情况，否则划分为第二类异常情况。

本发明的优点和有益效果：

1、本发明利用数据挖掘手段对海量管理线损数据进行处理，构建基于时间序列数据的BP神经网络预测模型预测管理线损，能够显示异常点子序列的异常情况，提高了管理线损异常诊断的针对性；通过多种算法对异常子序列聚类并集成，充分利用了各种聚类算法的特性，提高了聚类结果的质量，能够为电力部门对管理线损异常情况的分类提供准确可靠的指导意见。

2、本发明结合配电网的实际情况，研究配电网管理线损异常识别方法，在所需获得的参数资料、数据完整的情况下，探讨出计算速度快、算法精度高的算法，根据大数据等研究理论，分析电能损失分布规律，对降低配电网电能损耗、加强电网经济运行具有重要的理论与现实意义。

附图说明

图1为本发明的处理流程图。

具体实施方式

以下结合附图对本发明实施例作进一步详述：

一种基于数据挖掘的管理线损异常识别方法，如图1所示，包括以下步骤：

步骤1、获取管理线损的特征数据；

步骤2、对步骤1采集的数据进行预处理，得到管理线损时间序列数据；

所述步骤2的具体步骤包括：

(1)生成管理线损时间序列数据；

(2)处理缺失值：当对象有多个属性缺失值且被删除的含缺失值的对象所占数据量非常小的情况下，采用简单删除法，否则采取均值填充法补充缺失值；

(3)对数据进行归一化处理：

归一化函数为：

其中x和x_i分别为归一前后的数据，x_max和x_min分别是数列的最大值和最小值。

步骤3、对采用滑动窗口法对步骤2的预处理后的管理线损时间序列数据进行子序列分割；

所述步骤3的具体步骤包括：

(1)设定滑动窗口的宽度，将时间窗口放在时间序列数据的起始位置，得到对应序列上长度为滑动窗口宽度的一段子序列；

(2)向后移动时间窗口，把时间序列的第二个点作为起始位置，形成另一个子序列；并依次类推。

在本实施例中，设定滑动窗口的宽度为2个小时，管理线损的更新频率为15min，最新接受数据点为1号10：00，那么分割的每个子序列有8个数据，如表1所示。

表1基于滑动窗口的线损子序列分割

步骤4、构建基于神经网络的时间序列预测模型，获取管理线损子序列的预测值，判断预测值和实测值间差异范围是否大于预设阈值，若是，则子序列为异常子序列，转至步骤5，否则转步骤4继续预测；

所述步骤4的具体步骤包括：

(1)采用基于时间序列数据的BP神经网络预测模型，以历史数据作为输入变量，管理线损预测值作为输出变量；

(2)利用滚动预测法，将网络输出变量的实际管理线损值反馈回输入端，若存在待预测的子序列管理线损值，则转至步骤(2)，否则结束预测；

(3)获取子序列预测值，比较子序列的管理线损预测值与实际值，若二者差值大于预设阈值，则认为该子序列存在异常情况，须进一步分析。

在本实施例中，(1)设管理线损时间序列为{x_i}，其中历史数据[x_n，x_n+1，…，x_n+m]，预测x_n+m+1的管理线损值，其预测用函数关系可表示为：x_n+m+1＝f(x_n，x_n+1，…，x_n+m)；

(2)采用基于时间序列数据的BP神经网络预测模型，BP神经网络来拟合函数f(·)，以历史数据[x_n，x_n+1，…，x_n+m]作为输入变量，x_n+m+1的管理线损预测值作为输出变量；

(3)利用滚动预测法，将网络输出变量x_n+m+1的实际管理线损值反馈回输入端，再令n＝n+1，若存在待预测的子序列管理线损值，则转至步骤(2)否则结束预测；

(4)获取子序列预测值，比较子序列的管理线损预测值与实际值，若二者差值大于预设阈值的个数超过50％，则认为该子序列存在异常情况，须进一步分析。

步骤5、提取步骤4判定的异常子序列的特征变量，建立管理线损特征样本集合；

所述步骤5提取的异常子序列的3个特征变量分别是平均线损率、线损率标准差和线损率变化趋势：

异常子序列平均线损率：

异常子序列线损率标准差：

异常子序列线损率变化趋势：

其中，μ₁为异常子序列前半段时间的平均值，μ₂为异常子序列后半段时间的平均值。

步骤6、通过多种聚类算法对步骤5得到的特征数据聚类，并对多种聚类结果进行簇匹配；

所述步骤6的具体步骤包括：

(1)采用K-means算法、E-M算法和FCM算法对步骤5得到的特征数据聚类，生成三种聚类结果，将E-M算法和FCM算法的聚类结果“硬化”；

(2)对三种聚类结果进行簇匹配；

所述步骤6第(2)步的具体步骤包括：

①设定聚类个数为k，采用K-means算法、E-M算法和FCM算法生成三种聚类结果，将E-M算法和FCM算法的聚类结果“硬化”，即将数据对象划分到概率或隶属度最大的簇，聚类结果分别是{C₁ ^(a)，C₂ ^(a)，…，C_k ^(a)}、{C₁ ^(b)，C₂ ^(b)，…，C_k ^(b)}、{C₁ ^(c)，C₂ ^(c)，…，C_k ^(c)}；

②统计每一对簇标记C_i ^(a)和C_j ^(b)中相同数据对象的个数，并以此建立一个k阶方阵，记为MATCH⁽¹⁾；

③遍历方阵MATCH⁽¹⁾找出相同数据对象的个数最多的一对簇标记进行簇匹配，并删除相应矩阵元素；若矩阵所有元素均被删除，则转至步骤④，否则转步骤③；

④统计每一对簇标记C_i ^(b)和C_j ^(c)中相同数据对象的个数，并以此建立一个k阶方阵，记为MATCH⁽²⁾；

⑤遍历方阵MATCH⁽²⁾找出相同数据对象的个数最多的一对簇标记进行簇匹配，并删除相应矩阵元素；若矩阵所有元素均被删除，则簇匹配完成，匹配结果为{C₁，C₂，…，C_k}，否则转步骤⑤。

步骤7、采用多数投票聚类集成方法获得最终聚类结果并通过比较簇内对象数目与预设阈值的差异大小，划分管理线损子序列的异常情况类别。

所述步骤7的具体步骤包括：

(1)采用多数投票法进行聚类集成，将数据对象划分到三种聚类结果标签次数最多的簇中；

(2)分析聚类形成的簇，若簇内对象数目小于预设阈值，则划分子序列为第一类异常情况，否则划分为第二类异常情况。

其中，第一类异常情况指例如漏电、违法用电等连续时间内发生的问题；第二类异常情况指例如抄表错误、传感器数据错传漏传等非连续性时间内发生的问题。

需要强调的是，本发明所述实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种基于数据挖掘的管理线损异常识别方法，其特征在于：包括以下步骤：

步骤1、获取管理线损的特征数据；

步骤2、对步骤1采集的数据进行预处理，得到管理线损时间序列数据；

步骤3、对采用滑动窗口法对步骤2的预处理后的管理线损时间序列数据进行子序列分割；

步骤4、构建基于神经网络的时间序列预测模型，获取管理线损子序列的预测值，判断预测值和实测值间差异范围是否大于预设阈值，若是，则子序列为异常子序列，转至步骤5，否则转步骤4继续预测；

步骤5、提取步骤4判定的异常子序列的特征变量，建立管理线损特征样本集合；

步骤6、通过多种聚类算法对步骤5得到的特征数据聚类，并对多种聚类结果进行簇匹配；

步骤7、采用多数投票聚类集成方法获得最终聚类结果并通过比较簇内对象数目与预设阈值的差异大小，划分管理线损子序列的异常情况类别。

2.根据权利要求1所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤2的具体步骤包括：

(1)生成管理线损时间序列数据；

(2)处理缺失值：当对象有多个属性缺失值且被删除的含缺失值的对象所占数据量非常小的情况下，采用简单删除法，否则采取均值填充法补充缺失值；

(3)对数据进行归一化处理：

归一化函数为：

其中，x和x_i分别为归一前后的数据；x_max和x_min分别是数列的最大值和最小值。

3.根据权利要求1所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤3的具体步骤包括：

(1)设定滑动窗口的宽度，将时间窗口放在时间序列数据的起始位置，得到对应序列上长度为滑动窗口宽度的一段子序列；

(2)向后移动时间窗口，把时间序列的第二个点作为起始位置，形成另一个子序列；并依次类推。

4.根据权利要求1所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤4的具体步骤包括：

(1)采用基于时间序列数据的BP神经网络预测模型，以历史数据作为输入变量，管理线损预测值作为输出变量；

(2)利用滚动预测法，将网络输出变量的实际管理线损值反馈回输入端，若存在待预测的子序列管理线损值，则转至步骤(2)，否则结束预测；

(3)获取子序列预测值，比较子序列的管理线损预测值与实际值，若二者差值大于预设阈值，则认为该子序列存在异常情况，须进一步分析。

5.根据权利要求1所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤5提取的异常子序列的3个特征变量分别是平均线损率、线损率标准差和线损率变化趋势：

异常子序列平均线损率：

异常子序列线损率标准差：

异常子序列线损率变化趋势：

其中，μ₁为异常子序列前半段时间的平均值，μ₂为异常子序列后半段时间的平均值。

6.根据权利要求1所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤6的具体步骤包括：

(1)采用K-means算法、E-M算法和FCM算法对步骤5得到的特征数据聚类，生成三种聚类结果，将E-M算法和FCM算法的聚类结果“硬化”；

(2)对三种聚类结果进行簇匹配。

7.根据权利要求6所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤6第(2)步的具体步骤包括：

①设定聚类个数为k，采用K-means算法、E-M算法和FCM算法生成三种聚类结果，将E-M算法和FCM算法的聚类结果“硬化”，即将数据对象划分到概率或隶属度最大的簇，聚类结果分别是{C₁ ^(a)，C₂ ^(a)，…，C_k ^(a)}、{C₁ ^(b)，C₂ ^(b)，…，C_k ^(b)}、{C₁ ^(c)，C₂ ^(c)，…，C_k ^(c)}；

②统计每一对簇标记C_i ^(a)和C_j ^(b)中相同数据对象的个数，并以此建立一个k阶方阵，记为MATCH⁽¹⁾；

③遍历方阵MATCH⁽¹⁾找出相同数据对象的个数最多的一对簇标记进行簇匹配，并删除相应矩阵元素；若矩阵所有元素均被删除，则转至步骤④，否则转步骤③；

④统计每一对簇标记C_i ^(b)和C_j ^(c)中相同数据对象的个数，并以此建立一个k阶方阵，记为MATCH⁽²⁾；

⑤遍历方阵MATCH⁽²⁾找出相同数据对象的个数最多的一对簇标记进行簇匹配，并删除相应矩阵元素；若矩阵所有元素均被删除，则簇匹配完成，匹配结果为{C₁，C₂，…，C_k}，否则转步骤⑤。

8.根据权利要求1所述的一种基于数据挖掘的管理线损异常识别方法，其特征在于：所述步骤7的具体步骤包括：

(1)采用多数投票法进行聚类集成，将数据对象划分到三种聚类结果标签次数最多的簇中；

(2)分析聚类形成的簇，若簇内对象数目小于预设阈值，则划分子序列为第一类异常情况，否则划分为第二类异常情况。