CN105138413A - 一种配电网在线数据异常检测方法 - Google Patents

Abstract

本发明提供一种配电网在线数据异常检测方法，根据语法规范，定义配电网在线数据的语法异常规则；从配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据，并预处理配电网在线数据，得到配电网在线筛选数据；根据配电网在线筛选数据及用户的使用参数，生成筛选异常规则；根据语法异常规则和筛选异常规则对配电网在线数据进行异常检测，得到检测结果序列集；根据异常程度对检测结果序列集排序，得到最终检测结果。本发明提出的检测方法，能够高效率、实时且灵活地对配电网在线数据进行异常检测，进而提升了配电网在线数据质量，实现了从海量配电网在线数据中快速地找到异常数据，提高了配电网仿真计算和状态监测等工作结果的精确度。

Description

一种配电网在线数据异常检测方法

技术领域

本发明涉及配电网在线数据检测领域，具体涉及一种配电网在线数据异常检测方法。

背景技术

配电网规模大，范围广，负担着直接为广大用户供电的任务。近年来，生产生活领域对电力的需求逐年增长，配电网承担的负载越来越高，对供电质量的要求越来越严格。为了对配电网的运行情况进行监控，配电网终端对电流、电压、开关位置等状态量进行了采集，采集频率较高使得总体采集数据量级非常大。因此，对采集到的大规模配电网数据进行异常运行状态分析成为越来越重要的问题。

现在的配电网在线数据异常检测方法主要分为三类：一是先将配电网在线数据分成若干数据段，再在这些数据段中找出与其他数据段距离较大的数据段，这种方法简洁直观，但检测出的异常结果的长度是固定的，同时检测结果过分依赖于对配电网在线数据的人工划分；二是利用模式匹配的方法进行异常数据的检测，这类方法对训练集的依赖过大；三是通过定义正常数据段的规则进行配电网在线数据的异常检测，这种方法具有良好的可扩展性，能够适用于不同类型配电网在线数据的异常检测。

在当前的基于规则的配电网在线数据的异常检测方法中，规则是由时间段组成的，这种组成规则的方式虽然有效，但在进行规则提取和异常子序列检测时需要用复杂的算法(时间复杂度为O(n²))对被检测的配电网在线数据进行分段，影响了检测效率，也无法对配电网数据进行实时异常检测。

因此，对于大规模配电网在线数据，需要一种新的高效、灵活的实时检测方法去解决配电网在线数据的异常检测问题。

发明内容

有鉴于此，本发明提供的一种配电网在线数据异常检测方法，该方法能够高效率、实时且灵活地对配电网在线数据进行异常检测，进而提升了配电网在线数据质量，实现了从海量配电网在线数据中快速地找到异常数据，提高了配电网仿真计算和状态监测等工作结果的精确度。

本发明的目的是通过以下技术方案实现的：

一种配电网在线数据异常检测方法，所述方法包括如下步骤：

步骤1.根据语法规范，定义配电网在线数据的语法异常规则；

步骤2.从所述配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据，并预处理所述配电网在线数据，得到配电网在线筛选数据；

步骤3.根据所述配电网在线筛选数据及用户的使用参数，生成筛选异常规则；

步骤4.根据所述语法异常规则和筛选异常规则对所述配电网在线数据进行异常检测，得到检测结果序列集；

步骤5.根据异常程度对所述检测结果序列集排序，得到最终检测结果。

优选的，所述步骤1中的所述语法异常规则为包括一个或多个规则元组的序列,每个所述规则元组均对应时间序列中的一个时序点；所述规则元组的形式如下：

<规则元组>＝{<数值下限>，<数值上限>，<方向>}

<数值下限>和<数值上限>为已定义的参数、具体的值或者表达式；<方向>为up、dw、eq、ud或数值，其中，up表示下一个值比当前值大，dw表示下一个值比当前值小，eq表示下一个值等于当前值，ud表示下一个值与当前值无关，数值表示以当前所述时序点为起点的序列段的斜率。

优选的，所述步骤2，包括：

2-1.从所述配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据；

2-2.利用SAX解析方法对筛选后的所述配电网在线数据进行符号化预处理，得到符号序列；

2-3.提取所述符号序列中全部的出现次数不少于2次的符号子序列，及所述符号子序列在所述符号序列中的间隔序列；

2-4.将所述符号子序列及所述间隔序列均存入集合中；

2-5.根据所述集合，建立以所述间隔序列为键值的二叉堆；

2-6.在所述二叉堆中，选取满足length(T)<＝length(t)*count(T,t)*θ的符号序列T；

其中，t是所述符号子序列；T是所述符号序列；count(T，t)表示t在T中出现的次数，length(T)表示符号序列T的长度；length(t)表示符号子序列t的长度；θ为用户输入的经验参数。

优选的，所述步骤4之前，还包括：

a.对所述语法异常规则和所述筛选异常规则分别进行格式分析；

b.将所述语法异常规则和所述筛选异常规则中格式符合检测要求的规则放入规则文件。

优选的，所述步骤4，包括：4-1.根据所述规则文件，进行时间序列异常模式检测，得到检测的初始结果；

4-2.将测试时间序列分成若干序列段，并指定初始均值和标准差；

4-3.在一个所述序列段中，对于所述初始结果中的每一条规则，分别判断所有长度与所述规则相同的子序列是否满足这条规则；若不满足，则继续对下一条规则进行判断；若满足，则输出这个子序列为异常子序列；直到判断完所述初始结果中的全部规则；

4-4.全部的所述异常子序列组成所述检测结果序列集。

优选的，所述步骤5中的对所述检测结果序列集排序的排序原则，包括：

c.所述检测结果序列集中的子序列的异常程度是该子序列中每个点的异常程度的平均值；

d.所述子序列中每个点的异常程度与该点被判定为异常的规则的数量呈正相关的关系；

e.所述子序列中每个点的异常程度与该点被判定为异常的相同规则的数量呈负相关的关系。

优选的，所述步骤5，包括：

5-1.定义一个频率矩阵F：

其中，F中的每一个元素f_ij表示序列中的第j个点被第i条规则检测出的次数；n为子序列的总数；m为规则的总数；

5-2.得到序列点p_j的分数的计算公式为：

$Score\left(p_j\right)=\underset{i=1}{\overset{m}{\&Sigma;}}\frac{1}{f_{i,j}};$

5-3.分别算出所述检测结果序列集中的每一条子序列的分数；所述子序列＜p₁,p₂,...,p_n＞的分数的计算公式为：

$Score(p_1,p_2,...,p_n)=\underset{i=1}{\overset{n}{\&Sigma;}}\frac{Score\left(p_i\right)}{n};$

5-4.再按照每一条子序列的分数的降序对所述子序列进行排序，得到最终检测结果。

从上述的技术方案可以看出，本发明提供了一种配电网在线数据异常检测方法，根据语法规范，定义配电网在线数据的语法异常规则；从配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据，并预处理配电网在线数据，得到配电网在线筛选数据；根据配电网在线筛选数据及用户的使用参数，生成筛选异常规则；根据语法异常规则和筛选异常规则对配电网在线数据进行异常检测，得到检测结果序列集；根据异常程度对检测结果序列集排序，得到最终检测结果。本发明提出的检测方法，能够高效率、实时且灵活地对配电网在线数据进行异常检测，进而提升了配电网在线数据质量，实现了从海量配电网在线数据中快速地找到异常数据，提高了配电网仿真计算和状态监测等工作结果的精确度。

与最接近的现有技术比，本发明提供的技术方案具有以下优异效果：

1、本发明所提供的技术方案，能够高效率、实时且灵活地对配电网在线数据进行异常检测，进而提升了配电网在线数据质量，实现了从海量配电网在线数据中快速地找到异常数据，提高了配电网仿真计算和状态监测等工作结果的精确度。

2、本发明所提供的技术方案设计了配电网在线数据的异常检测方法，该方法充分利用了配电网在线数据异常模式可以被人工定义，以及基于规则的时间序列异常检测高效的特点，为配电网数据的异常检测提供了灵活的解决方案，对于提升我院在配电网大数据智能分析领域的影响力具有积极作用。

3、本发明所提供的技术方案，可处理在线实时数据，在对一段配电网数据处理完成后，会更新相关参数，并利用更新后的值处理下一段配电网数据。

4、本发明所提供的技术方案设计了异常结果的排序方法，可以对检测出的异常序列按照异常程度进行排序，方便了用户对异常结果的筛选。

5、本发明提供的技术方案，应用广泛，具有显著的社会效益和经济效益。

附图说明

图1是本发明的一种配电网在线数据异常检测方法的流程图；

图2是本发明的检测方法中步骤2的流程示意图；

图3是本发明的检测方法中步骤4的流程示意图；

图4是本发明的检测方法中步骤5的流程示意图；

图5是本发明的一种配电网在线数据异常检测方法的应用例的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明提供一种配电网在线数据异常检测方法，包括如下步骤：

步骤1.根据语法规范，定义配电网在线数据的语法异常规则；

步骤2.从配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据，并预处理配电网在线数据，得到配电网在线筛选数据；

步骤3.根据配电网在线筛选数据及用户的使用参数，生成筛选异常规则；

步骤4.根据语法异常规则和筛选异常规则对配电网在线数据进行异常检测，得到检测结果序列集；

步骤5.根据异常程度对检测结果序列集排序，得到最终检测结果。

其中，语法异常规则为包括一个或多个规则元组的序列,每个规则元组均对应时间序列中的一个时序点；规则元组的形式如下：

<规则元组>＝{<数值下限>，<数值上限>，<方向>}

<数值下限>和<数值上限>为已定义的参数、具体的值或者表达式；<方向>为up、dw、eq、ud或数值，其中，up表示下一个值比当前值大，dw表示下一个值比当前值小，eq表示下一个值等于当前值，ud表示下一个值与当前值无关，数值表示以该点为起点的序列段的斜率。

如图2所示，步骤2，包括：

2-1.从配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据；

2-2.利用SAX解析方法对筛选后的配电网在线数据进行符号化预处理，得到符号序列；

2-3.提取符号序列中全部的出现次数不少于2次的符号子序列，及符号子序列在符号序列中的间隔序列；

2-4.将符号子序列及间隔序列均存入集合中；

2-5.根据集合，建立以间隔序列为键值的二叉堆；

2-6.在二叉堆中，选取满足length(T)<＝length(t)*count(T,t)*θ的符号序列T；

其中，t是符号子序列；T是符号序列；count(T，t)表示t在T中出现的次数，length(T)表示符号序列T的长度；length(t)表示符号子序列t的长度；θ为用户输入的经验参数。

步骤4之前，还包括：

a.对语法异常规则和筛选异常规则分别进行格式分析；

b.将语法异常规则和筛选异常规则中格式符合检测要求的规则放入规则文件。

如图3所示，步骤4，包括：

4-1.根据规则文件，进行时间序列异常模式检测，得到检测的初始结果；

4-2.将测试时间序列分成若干序列段，并指定初始均值和标准差；

4-3.在一个序列段中，对于初始结果中的每一条规则，分别判断所有长度与规则相同的子序列是否满足这条规则；若不满足，则继续对下一条规则进行判断；若满足，则输出这个子序列为异常子序列；直到判断完初始结果中的全部规则；

4-4.全部的异常子序列组成检测结果序列集。

步骤5中的对检测结果序列集排序的排序原则，包括：

c.检测结果序列集中的子序列的异常程度是该子序列中每个点的异常程度的平均值；

d.子序列中每个点的异常程度与该点被判定为异常的规则的数量呈正相关的关系；

e.子序列中每个点的异常程度与该点被判定为异常的相同规则的数量呈负相关的关系。

如图4所示，步骤5，包括：

5-1.定义一个频率矩阵F：

其中，F中的每一个元素f_ij表示序列中的第j个点被第i条规则检测出的次数；n为子序列的总数；m为规则的总数；

5-2.得到序列点p_j的分数的计算公式为：

$Score\left(p_j\right)=\underset{i=1}{\overset{m}{\&Sigma;}}\frac{1}{f_{i,j}};$

5-3.分别算出检测结果序列集中的每一条子序列的分数；子序列＜p₁,p₂,...,p_n＞的分数的计算公式为：

$Score(p_1,p_2,\mathrm{...},p_n)=\underset{i=1}{\overset{n}{\&Sigma;}}\frac{Score\left(p_i\right)}{n};$

5-4.再按照每一条子序列的分数的降序对子序列进行排序，得到最终检测结果。

如图5所示，本发明提供一种配电网在线数据异常检测方法的应用例，对配电网运行和故障过程中产生的海量实时在线数据(包括配电网自动化终端采集数据，电力负荷数据，营销数据等)进行清洗，该范明包括规则挖掘、规则定义、异常检测三个过程。本发明的核心部分是配电网在线数据异常模式的定义方法和挖掘方法，的方法包括如下步骤：

步骤1：由电力行业的业务专家根据规则的语法规范人工定义配电网在线数据的异常规则；

步骤2：选取训练配电网功率数据集，从训练数据集中挖掘出时间序列的异常规则；

步骤3：根据步骤1和步骤2产生的规则，从测试数据集中找到候选异常配电网数据，并按照异常程度进行排序后输出这些配电网数据。

步骤2中包括以下步骤：

B1.选取长度合适的配电网在线数据。

B2.利用SAX方法将上一步中的配电网在线数据进行符号化预处理。

B3.对于上一步中预处理后的符号序列，提取其中所有出现次数不少于2所有符号子序列。

B4.对于第B3步中的每个符号子序列，得到其在第B2步符号序列中的间隔序列。

B5.对于第B4步骤的间隔序列，以间隔长度为键值建立二叉堆。

B6.在第B5步的二叉堆中，找到满足length(T)<＝length(t)*count(T,t)*θ的符号序列T，其中，序列t是B3步骤中的符号序列，count(T，t)表示t在T中出现的次数，length(T)表示序列T的长度。

步骤3中包括以下步骤：

C1.对步骤1和步骤2中的规则序列进行格式检查。

C2.对测试时间序列分成若干段，并指定初始均值μ和标准差σ。

C3.在C2步骤的一个序列段中，对于每一条步骤中的规则i，设该规则的长度为Li，判断所有长度为Li的子序列是否满足这条规则，若满足，则输出这个子序列为异常子序列。

C4对所有检测到的异常子序列按照异常程度进行排序。

以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，而这些未脱离本发明精神和范围的任何修改或者等同替换，其均在申请待批的本发明的权利要求保护范围之内。

Claims (7)

1.一种配电网在线数据异常检测方法，其特征在于，所述方法包括如下步骤：

步骤1.根据语法规范，定义配电网在线数据的语法异常规则；

步骤2.从所述配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据，并预处理所述配电网在线数据，得到配电网在线筛选数据；

步骤3.根据所述配电网在线筛选数据及用户的使用参数，生成筛选异常规则；

步骤4.根据所述语法异常规则和筛选异常规则对所述配电网在线数据进行异常检测，得到检测结果序列集；

步骤5.根据异常程度对所述检测结果序列集排序，得到最终检测结果。

2.如权利要求1所述的方法，其特征在于，所述步骤1中的所述语法异常规则为包括一个或多个规则元组的序列,每个所述规则元组均对应时间序列中的一个时序点；所述规则元组的形式如下：

<规则元组>＝{<数值下限>，<数值上限>，<方向>}

<数值下限>和<数值上限>为已定义的参数、具体的值或者表达式；<方向>为up、dw、eq、ud或数值，其中，up表示下一个值比当前值大，dw表示下一个值比当前值小，eq表示下一个值等于当前值，ud表示下一个值与当前值无关，数值表示以当前所述时序点为起点的序列段的斜率。

3.如权利要求2所述的方法，其特征在于，所述步骤2，包括：

2-1.从所述配电网的检测训练集中筛选出满足检测要求的长度范围的配电网在线数据；

2-2.利用SAX解析方法对筛选后的所述配电网在线数据进行符号化预处理，得到符号序列；

2-3.提取所述符号序列中全部的出现次数不少于2次的符号子序列，及所述符号子序列在所述符号序列中的间隔序列；

2-4.将所述符号子序列及所述间隔序列均存入集合中；

2-5.根据所述集合，建立以所述间隔序列为键值的二叉堆；

2-6.在所述二叉堆中，选取满足length(T)<＝length(t)*count(T,t)*θ的符号序列T；

其中，t是所述符号子序列；T是所述符号序列；count(T，t)表示t在T中出现的次数，length(T)表示符号序列T的长度；length(t)表示符号子序列t的长度；θ为用户输入的经验参数。

4.如权利要求3所述的方法，其特征在于，所述步骤4之前，还包括：

a.对所述语法异常规则和所述筛选异常规则分别进行格式分析；

b.将所述语法异常规则和所述筛选异常规则中格式符合检测要求的规则放入规则文件。

5.如权利要求4所述的方法，其特征在于，所述步骤4，包括：4-1.根据所述规则文件，进行时间序列异常模式检测，得到检测的初始结果；

4-2.将测试时间序列分成若干序列段，并指定初始均值和标准差；

4-3.在一个所述序列段中，对于所述初始结果中的每一条规则，分别判断所有长度与所述规则相同的子序列是否满足这条规则；若不满足，则继续对下一条规则进行判断；若满足，则输出这个子序列为异常子序列；直到判断完所述初始结果中的全部规则；

4-4.全部的所述异常子序列组成所述检测结果序列集。

6.如权利要求5所述的方法，其特征在于，所述步骤5中的对所述检测结果序列集排序的排序原则，包括：

c.所述检测结果序列集中的子序列的异常程度是该子序列中每个点的异常程度的平均值；

d.所述子序列中每个点的异常程度与该点被判定为异常的规则的数量呈正相关的关系；

e.所述子序列中每个点的异常程度与该点被判定为异常的相同规则的数量呈负相关的关系。

7.如权利要求6所述的方法，其特征在于，所述步骤5，包括：

5-1.定义一个频率矩阵F：

其中，F中的每一个元素f_ij表示序列中的第j个点被第i条规则检测出的次数；n为子序列的总数；m为规则的总数；

5-2.得到序列点p_j的分数的计算公式为：

$Score\left(p_j\right)=\underset{i=1}{\overset{m}{\&Sigma;}}\frac{1}{f_{i,j}};$

5-3.分别算出所述检测结果序列集中的每一条子序列的分数；所述子序列＜p₁,p₂,...,p_n＞的分数的计算公式为：

$Score(p_1,p_2,...,p_n)=\underset{i=1}{\overset{n}{\&Sigma;}}\frac{Score\left(p_i\right)}{n};$

5-4.再按照每一条子序列的分数的降序对所述子序列进行排序，得到最终检测结果。