CN106909664A - 一种电力设备数据流故障识别方法 - Google Patents

Abstract

本发明涉及一种电力设备数据流故障识别方法。该方法基于关联规则和聚类算法的数据清洗，利用关联规则找出数据集中具有关联性的序列；然后针对单一序列利用DBSCAN算法和FCM算法将异常数据分为可以清洗的传感器异常和不可以清洗的设备异常；针对关联序列，则利用其关联性并结合聚类的方法找到传感器异常和设备异常；最后对传感器异常进行数据清洗。本发明实现了很好的处理大数据的数据异常检测和清洗的问题。

Description

一种电力设备数据流故障识别方法

技术领域

本发明涉及一种电力设备数据流故障识别方法。

背景技术

随着智能电网的建设和发展，电力系统输变电设备监测数据的质量性和准确性的要求越来越高，数据清洗在对电网的运行状态的分析和预测也越来越重要。文献《Anomalydetection in nuclear power plant data using support vector data description》中采用的是基于中心聚类的方法对时间序列中的异常数据进行检测和表征，提出了用一个时空聚类来显示每个窗口的结构并进行分析，考虑其中每个子序列的异常度。文献《Adensity based algorithm for discovering clusters in large spatial databaseswith noise》是利用稀疏表示方法对异常数据进行检测和清洗。其创新之处在于能够在没有假设生成任何模型信号的时候，同时能够捕捉变量关系和时域相关性。文献《基于数据流技术的WAMS数据预处理》是利用支持向量机的方法来对核电站采集的数据异常进行检测和处理。其优点在于提高了多元异常检测算法对噪声的检测率，降低了误报率。

发明内容

本发明的目的在于提供一种电力设备数据流故障识别方法，该方法实现了的处理大数据的数据异常检测和清洗的问题。

为实现上述目的，本发明的技术方案是：一种电力设备数据流故障识别方法，包括如下步骤，

S1：时间序列的符号化；

S2：进行序列间关联度的计算；

S3：通过聚类算法找单一序列异常值；

S4：进行数据流异常识别；

S5：进行数据清洗。

在本发明一实施例中，所述步骤S1的具体实现如下：

对一个时间序列T，用长度为l的滑动窗口截得n个子序列；对该n个子序列进行线性拟合后，再对其进行标准化，使斜率的数值都落在[-1,1]之间，然后将标准化后的斜率根据其数值大小进行符号化，从而将该时间序列从数值型转换为布尔型。

在本发明一实施例中，所述步骤S2的具体实现如下：

在计算两个时间序列的关联度过程中，设这两个时间序列为T₁和T₂，并设A和B属于事务集D，其中A＝{A₁,A₂,...,A_p}，B＝{B₁,B₂,...,B_q}，A₁,A₂,...,A_p表示根据步骤S1将时间序列T₁转化成的布尔型值，B₁,B₂,...,B_q表示根据步骤S1将时间序列T₂转化成的布尔型值；令规则A_i→B_j是满足最小置信度和最小支持度且兴趣度大于1的关联规则，n_ij是规则A_i→B_j在事务集D中出现的次数，则

在本发明一实施例中，所述步骤S3中采用的聚类算法为DBSCAN算法。

在本发明一实施例中，所述步骤S4的具体实现如下：

S41：读入历史数据流，然后利用Apriori算法进行关联规则分析，对没有关联序列的单一序列利用DBSCAN聚类分析找到序列中的异常点，然后再对序列进行FCM聚类分析并匹配结果波形，判断异常类型；

S42：若关联的序列中只有个别序列在该时刻出现了异常，则认为是传感器异常，需要对数据点进行清洗；对于错误数据、缺失值异常点，用插值法进行清洗，直接替换；对由通讯噪声或者外界干扰产生的异常点、由暂时性水平迁移引发的异常点，用均值回归法对数据进行平滑；

S43：若关联的序列在同一时刻同时出现了异常，则认为该点是设备异常，需要对设备故障类型进行排查。

相较于现有技术，本发明具有以下有益效果：本发明方法基于关联规则和聚类算法的数据清洗，利用关联规则找出数据集中具有关联性的序列；然后针对单一序列利用DBSCAN算法和FCM算法将异常数据分为可以清洗的传感器异常和不可以清洗的设备异常；针对关联序列，则利用其关联性并结合聚类的方法找到传感器异常和设备异常；最后对传感器异常进行数据清洗；本发明实现了的处理大数据的数据异常检测和清洗的问题。

附图说明

图1为本发明关联规则分析序列趋势流程图。

图2为本发明数据异常点检测流程图。

图3本发明一实施例通讯噪声异常清洗图。

图4本发明一实施例单一序列异常点检测分析结果图。

图5本发明一实施例错误数据和其他异常清洗图。

具体实施方式

下面结合附图，对本发明的技术方案进行具体说明。

如图1-2所示，本发明的一种电力设备数据流故障识别方法，包括如下步骤，

S1：时间序列的符号化；

S2：进行序列间关联度的计算；

S3：通过聚类算法找单一序列异常值；

S4：进行数据流异常识别；

S5：进行数据清洗。

所述步骤S1的具体实现如下：

对一个时间序列T，用长度为l的滑动窗口截得n个子序列；对该n个子序列进行线性拟合后，再对其进行标准化，使斜率的数值都落在[-1,1]之间，然后将标准化后的斜率根据其数值大小进行符号化，从而将该时间序列从数值型转换为布尔型。

所述步骤S2的具体实现如下：

在计算两个时间序列的关联度过程中，设这两个时间序列为T₁和T₂，并设A和B属于事务集D，其中A＝{A₁,A₂,...,A_p}，B＝{B₁,B₂,...,B_q}，A₁,A₂,...,A_p表示根据步骤S1将时间序列T₁转化成的布尔型值，B₁,B₂,...,B_q表示根据步骤S1将时间序列T₂转化成的布尔型值；令规则A_i→B_j是满足最小置信度和最小支持度且兴趣度大于1的关联规则，n_ij是规则A_i→B_j在事务集D中出现的次数，则

所述步骤S3中采用的聚类算法为DBSCAN算法。

所述步骤S4的具体实现如下：

S41：读入历史数据流，然后利用Apriori算法进行关联规则分析，对没有关联序列的单一序列利用DBSCAN聚类分析找到序列中的异常点，然后再对序列进行FCM聚类分析并匹配结果波形，判断异常类型；

S42：若关联的序列中只有个别序列在该时刻出现了异常，则认为是传感器异常，需要对数据点进行清洗；对于错误数据、缺失值异常点，用插值法进行清洗，直接替换；对由通讯噪声或者外界干扰产生的异常点、由暂时性水平迁移引发的异常点，用均值回归法对数据进行平滑；

S43：若关联的序列在同一时刻同时出现了异常，则认为该点是设备异常，需要对设备故障类型进行排查。

以下为本发明的具体实施过程。

本发明的一种电力设备数据流故障识别方法，基于关联规则和聚类算法的数据清洗。利用关联规则找出数据集中具有关联性的序列。然后针对单一序列利用DBSCAN算法和FCM算法将异常数据分为可以清洗的传感器异常和不可以清洗的设备异常。针对关联序列，则利用其关联性并结合聚类的方法找到传感器异常和设备异常。最后对传感器异常进行数据清洗。

步骤一：时间序列的符号化

对输入长度为length_data的原始数据，用长度为l的滑动窗口截得n个子序列。对子序列进行线性拟合后，再对其进行标准化，使斜率的数值都落在[-1,1]之间，然后将标准化后的斜率根据其数值大小进行符号化^[15]。对输入的时间序列x₁和x₂，将其子序列的斜率分段符号化表示的表格如表1所示：

表1子序列符号化表示

区间范围
			[-1,-0.6]	1a	2a
[-0.6,-0.2]	1b	2b
			[-0.2.0.2]	1c	2c
[0.2,0.6]	1d	2d
			[0.6,1.0]	1e	2e

通过以上工作，可以完成将输入量从数值型转换到布尔型。然后将输入的序列中同时段的两个子序列基本项合并在一起组成一个事物，如{1b2a}。所有的事物组合在一起就构成了一个事物集D。事务集D中共有n个事务，对事务集D用Apriori算法进行关联规则分析，就可以得到基本项之间的关联规则，即多元时间序列之间变化趋势的关联规则。

步骤二：序列间关联度的计算

定义1-1关联规则是形如A→B的蕴含式，其中I＝{i₁,i₁,…,i_m}；

需要用支持度、置信度、兴趣度等参数来衡量这条规则是否有用。

定义1-2规则A→B在事务集D中的支持度s表示为D中同时包含项集A和项集B的事务出现的概率：

s＝P(AB) (1)

定义1-3规则A→B在事务集D中的置信度c是条件概率，表示为在包含项集A的事务中同时也包含项集B的事务的概率：

c＝P(B|A) (2)

定义1-4规则A→B的兴趣度i反映了项集A和项集B的相关程度：

公式1-1若对序列A和序列B，其中规则X_i→Y_i是满足最小置信度和最小支持度且兴趣度大于1的关联规则，n_i是规则X_i→Y_i在事务集D中出现的次数，则

本文先利用滑动窗口模型来对时间序列数据分段。然后利用线性回归方法对每一段进行拟合达到数据压缩的目的。该方案在满足时效性的同时，也能保证数据变得平滑并且还可以去除噪声。然后利用Apriori进行关联分析，具体流程图如图1所示。

步骤三：聚类算法找单一序列异常值

DBSCAN算法是一种基于密度模式的空间数据聚类方法。该算法可以将原先具有高密度的区域划分成不同的簇，并且可以针对具有“噪声的”空间数据中也能发现任意形状的聚类模式和相似簇群。DBSCAN算法最为核心的思想是：对于每一种聚类中的每个分析对象，在给定的半径(常用Eps表示)的邻域(neighborhood)内数据对象个数必须要大于初始设定的给定值。即邻域密度必须要大于一定的阈值(常用MinPts表示)。DBSCAN算法通过检索相邻点，对所有的数据只用查询搜索一次就可以得到最后的结果，所以其运行速度很快。并且DBSCAN还有一个很大的有点在于它能够处理任意形状的聚类性质，并不受噪声的干扰，并且还能够根据阈值MinPts来去除含有的噪声^[16-17]。

步骤四：数据流异常识别

如图2所示，异常点划分为五种类型，分别为：错误数据、缺失值、由通讯噪声或者外界干扰产生的异常点、由暂时性水平迁移引发的异常点以及其他类型异常点。将前四种类型的异常划为传感器异常，即在数据传输或者传感器检测时发生的异常，该类异常需要进行数据清洗。而对于其他类型的异常点本文认为是由设备故障引发的异常，即为设备异常。针对设备异常的数据点，则不需要进行清洗，而是需要针对该点进行分析设备的异常类型。

流程如下

1、首先读入历史数据流，然后利用Apriori算法进行关联规则分析，对没有关联序列的单一序列利用DBSCAN聚类分析找到序列中的异常点，然后再对序列进行FCM聚类分析并匹配结果波形，

2、若关联的序列中只有个别序列在该时刻出现了异常，则认为是传感器异常，需要对数据点进行清洗。对于错误数据、缺失值等异常，用插值法进行清洗，直接替换。对通讯噪声和暂时性水平迁移，用均值回归法对数据进行平滑。

3、若关联的序列在同一时刻同时出现了异常，则认为该点是设备异常，需要对设备故障类型进行排查。

具体实例说明

以具体电网环境温度数据为例。其中原始数据总长为480，FCM分析中的序列数n＝10，q＝48。

图3第一张子图表示的是通过DBSCAN聚类方法找到的异常点，发现异常点的分布比较密集。第二张子图表示的是通过FCM聚类方法得到的波形特点。综合比较第一张和第二张子图可以发现DBSCAN算法分析得到的异常点具有波动性并且FCM分析得到的波形是连续几段都有异常，说明了该段是由通讯噪声或者外界干扰产生的异常点，属于传感器异常需要进行清洗。通过均值回归方法对数据进行平滑处理后得到的图像如第三张子图所示。

图4中结合第一张和第二张子图可以发现DBSCAN算法分析得到的异常点很密集并且通过FCM分析得到的波形异常度很高，说明该段是由暂时性水平迁移引发的异常点，属于传感器异常需要进行清洗。通过均值回归方法对数据进行平滑处理得到的图像如第三张子图所示。

图5中发现通过DBSCAN算法发现的异常点主要分布在两个位置，且都是孤立的异常点。然后通过FCM分析结果波形可以发现，在第一个异常点的位置，其对应的异常度的数值很大，说明该点为错误数据，属于传感器异常，所以需要对该点进行数据清洗。在第二个异常点的位置，其对应的异常度不是很大并且和周围的异常度比较接近，所以该点为其他类型异常点，属于不可清洗的设备异常。将可以清洗的异常点进行清洗之后得到的图像如第三张子图所示。

以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (5)

1.一种电力设备数据流故障识别方法，其特征在于：包括如下步骤，

S1：时间序列的符号化；

S2：进行序列间关联度的计算；

S3：通过聚类算法找单一序列异常值；

S4：进行数据流异常识别；

S5：进行数据清洗。

2.根据权利要求1所述的一种电力设备数据流故障识别方法，其特征在于：所述步骤S1的具体实现如下：

对一个时间序列T，用长度为l的滑动窗口截得n个子序列；对该n个子序列进行线性拟合后，再对其进行标准化，使斜率的数值都落在[-1,1]之间，然后将标准化后的斜率根据其数值大小进行符号化，从而将该时间序列从数值型转换为布尔型。

3.根据权利要求1所述的一种电力设备数据流故障识别方法，其特征在于：所述步骤S2的具体实现如下：

在计算两个时间序列的关联度过程中，设这两个时间序列为T₁和T₂，并设A和B属于事务集D，其中A＝{A₁,A₂,...,A_p}，B＝{B₁,B₂,...,B_q}，A₁,A₂,...,A_p表示根据步骤S1将时间序列T₁转化成的布尔型值，B₁,B₂,...,B_q表示根据步骤S1将时间序列T₂转化成的布尔型值；令规则A_i→B_j是满足最小置信度和最小支持度且兴趣度大于1的关联规则，n_ij是规则A_i→B_j在事务集D中出现的次数，则

$s(T_1\→T_2)=\frac{{\mathrm{\Σn}}_{ij}\·s(A_i\→B_j)}{{\mathrm{\Σn}}_{ij}}---\left(1\right)$

$i(T_1\→T_2)=\frac{{\mathrm{\Σn}}_{ij}\·i(A_{ij}\→B_{ij})}{{\mathrm{\Σn}}_{ij}}---\left(2\right).$

4.根据权利要求1所述的一种电力设备数据流故障识别方法，其特征在于：所述步骤S3中采用的聚类算法为DBSCAN算法。

5.根据权利要求1所述的一种电力设备数据流故障识别方法，其特征在于：所述步骤S4的具体实现如下：

S41：读入历史数据流，然后利用Apriori算法进行关联规则分析，对没有关联序列的单一序列利用DBSCAN聚类分析找到序列中的异常点，然后再对序列进行FCM聚类分析并匹配结果波形，判断异常类型；

S42：若关联的序列中只有个别序列在该时刻出现了异常，则认为是传感器异常，需要对数据点进行清洗；对于错误数据、缺失值异常点，用插值法进行清洗，直接替换；对由通讯噪声或者外界干扰产生的异常点、由暂时性水平迁移引发的异常点，用均值回归法对数据进行平滑；

S43：若关联的序列在同一时刻同时出现了异常，则认为该点是设备异常，需要对设备故障类型进行排查。