CN114244748A - 电力信息通信数据质量异常的检测方法及检测系统 - Google Patents

Abstract

本发明提供了一种电力信息通信数据质量异常的检测方法及检测系统，其中，检测方法包括：根据语法规范，定义电力信息通信网的语法异常规则；基于语法异常规则，选择满足要求的电力信息的通信数据，并对通信数据进行预处理，获取电力信息的通信筛选数据；根据通信筛选数据和用户的使用参数，获取筛选异常规则；基于语法异常规则和筛选异常规则，对通信筛选数据进行异常检测，获取检测结果序列集；基于异常程度，对检测结果序列集进行排序，获取通信数据质量异常的检测结果。提升了电力信息通信统计数据质量，实现了从海量统计数据中快速地找到异常数据，进而提高了电力信息通信网仿真计算和状态监测等工作结果的精确度。

Description

电力信息通信数据质量异常的检测方法及检测系统

技术领域

本发明涉及通信数据技术领域，尤其涉及一种电力信息通信数据质量异常的检测方法及检测系统。

背景技术

目前，电力信息通信业务系统中已经累积了大量的电力信息通信统计数据，其中不可避免的会有异常、冗余或不完整的统计数据，由此产生的电力信息通信统计数据的异常、冗余与遗漏等质量问题日益突出，无法满足数据挖掘算法要求，从中精准挖掘有效信息也存在巨大挑战，海量统计数据中无意义的成分很多，严重影响数据挖掘算法的执行效率，随着应用的深入，暴露出统计数据重复录入、存储，统计数据质量有待提高等问题，统计数据质量的提高已经成为数据挖掘系统实现过程中的关键问题。

针对电力信息通信统计数据数量多、来源广、种类庞杂、缺乏统一规范标准、数据质量管控滞后等特点引起的统计数据质量不高问题，传统的数据稽查手段匮乏已经难以适应当前电力信息通信业务快速发展需求。

因此，有必要开发一种电力信息通信数据质量异常的检测方法及检测系统，能够高效且灵活地对电力信息通信统计数据质量进行异常检测，提升了电力信息通信统计数据质量，实现了从海量统计数据中快速地找到异常数据，进而提高了电力信息通信网仿真计算和状态监测等工作结果的精确度。

发明内容

本发明旨在解决现有技术或相关技术中存在的技术问题之一。

为此本发明一方面提出了一种电力信息通信数据质量异常的检测方法。

有鉴于此，本发明提出了一种电力信息通信数据质量异常的检测方法，所述检测方法包括：

根据语法规范，定义电力信息通信网的语法异常规则；

基于所述语法异常规则，选择满足要求的电力信息的通信数据，并对所述通信数据进行预处理，获取所述电力信息的通信筛选数据；

根据所述通信筛选数据和用户的使用参数，获取筛选异常规则；

基于所述语法异常规则和所述筛选异常规则，对所述通信筛选数据进行异常检测，获取检测结果序列集；

基于异常程度，对所述检测结果序列集进行排序，获取所述通信数据质量异常的检测结果。

进一步地，所述语法异常规则包括一个活多个规则元组的序列。

进一步地，所述规则元组为：

<规则元组>＝{<数值下限>，<数值上限>，<方向>}；

其中，<数值下限>和<数值上限>为已定义的参数，具体的值或者表达式；<方向>为up、dw、eq、ud或数值，其中，up表示下一个值比当前值大，dw表示下一个值比当前值小，eq表示下一个值等于当前值，ud表示下一个值与当前值无关，数值表示以当前时序点为起点的序列段的斜率。

进一步地，对所述通信数据进行预处理包括：

对所述通信数据进行符号化预处理，获取得到符号序列；

提取所述符号序列中全部的出现次数不少于2次的符号子序列，及所述符号子序列在所述符号序列中的间隔序列；

将所述符号子序列及间隔序列均存入集合中，获取通信筛选数据。

进一步地，获取所述筛选异常规则后，对所述语法异常规则和所述筛选异常规则分别进行格式分析，将所述语法异常规则和所述筛选异常规则中格式符合检测要求的规则放入规则文件。

进一步地，获取所述检测结果序列集包括：

根据所述规则文件，进行时间序列的异常模式检测，得到检测的初始结果；

将检测的所述时间序列分成若干序列段，并指定初始均值和标准差；

在一个所述序列段中，对于所述初始结果中的每一条规则，分别判断所有长度与规则相同的子序列是否满足这条规则；

若不满足，则继续对下一条规则进行判断；若满足，则输出这个子序列为异常子序列；直到判断完所述初始结果中的全部规则；

全部的异常子序列组成所述检测结果序列集。

进一步地，获取所述通信数据质量异常的检测结果包括：

计算所述检测结果序列集中每一条所述异常子序列的分数；

根据所述异常子序列的分数，对所述异常子序列进行降序排列，获取所述通信数据质量异常的检测结果。

进一步地，所述分数的计算方法为：

定义一个频率矩阵F：

其中，F中的每一个元素f_ij表示序列中的第j个点被第i条规则检测出的次数；n为子序列的总数；m为规则的总数；

得到序列点p_j的分数的计算公式为：

分别算出检测结果序列集中的每一条子序列的分数，子序列＜p₁,p₂,...,p_n＞的分数的计算公式为：

再按照每一条子序列的分数的降序对子序列进行排序，得到最终检测结果。

本发明的另一方面提出了一种电力信息通信数据质量异常的检测系统，所述检测系统包括：

语法异常规则模块，根据语法规范，定义电力信息通信网的语法异常规则模块；

通信筛选数据模块，基于所述语法异常规则，选择满足要求的电力信息的通信数据，并对所述通信数据进行预处理，获取所述电力信息的通信筛选数据模块；

筛选异常规则模块，根据所述通信筛选数据和用户的使用参数，获取筛选异常规则模块；

检测结果序列集模块，基于所述语法异常规则和所述筛选异常规则，对所述通信筛选数据进行异常检测，获取检测结果序列集模块；

检测结果模块，基于异常程度，对所述检测结果序列集进行排序，获取所述通信数据质量异常的检测结果。

进一步地，所述语法异常规则模块包括一个或多个规则元组的序列。

本发明提供的技术方案可以包括以下有益效果：

根据语法异常规则和筛选异常规则获得检测结果序列集，通过检测结果序列集进行排序，方便了用户对异常结果的筛选，能够高效且灵活地对电力信息通信统计数据质量进行异常检测，提升了电力信息通信统计数据质量，实现了从海量统计数据中快速地找到异常数据，进而提高了电力信息通信网仿真计算和状态监测等工作结果的精确度。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了根据本发明一个实施例的电力信息通信数据质量异常的检测方法的流程示意图；

图2示出了根据本发明一个实施例的通信数据进行预处理的流程示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的装置和方法的例子。

图1示出了根据本发明一个实施例的电力信息通信数据质量异常的检测方法的流程示意图。

如图1所示，本发明一方面提供了一种电力信息通信数据质量异常的检测方法，该检测方法包括：

步骤1，根据语法规范，定义电力信息通信网的语法异常规则；

步骤2，基于语法异常规则，选择满足要求的电力信息的通信数据，并对通信数据进行预处理，获取电力信息的通信筛选数据；

步骤3，根据通信筛选数据和用户的使用参数，获取筛选异常规则；

步骤4，基于语法异常规则和筛选异常规则，对通信筛选数据进行异常检测，获取检测结果序列集；

步骤5，基于异常程度，对检测结果序列集进行排序，获取通信数据质量异常的检测结果。

根据语法异常规则和筛选异常规则获得检测结果序列集，通过检测结果序列集进行排序，方便了用户对异常结果的筛选，能够高效且灵活地对电力信息通信统计数据质量进行异常检测，提升了电力信息通信统计数据质量，实现了从海量统计数据中快速地找到异常数据，进而提高了电力信息通信网仿真计算和状态监测等工作结果的精确度。

需要说明的是，步骤1具体是依据国家电网公司数据的语法规范定义电力信息通信网的正常数据段，正常数据段包括数据定义、语法、长度、属性等。例如：交换机设备编码为数字和英文字母组成，长度为17位，根据正常数据段，由国家电网公司的业务专家人工定义电力信息通信网数据的语法异常规则；步骤2中满足要求包括筛选过滤掉正常数据，将数据质量异常的检测范围缩小；步骤3中用户的使用参数是指数据间的关系，用户根据经验判断数据间的关系，针对不同的关系，建立不同的规则，筛选数据的关系包括单一数据、有直接逻辑关系的多个数据和不存在明显求解关系的多个数据；步骤5中异常程度是指，检测结果序列集中异常子序列的分数就是异常程度。

进一步地，语法异常规则包括一个活多个规则元组的序列。

其中，规则元组为：

<规则元组>＝{<数值下限>，<数值上限>，<方向>}；

其中，<数值下限>和<数值上限>为已定义的参数，具体的值或者表达式；<方向>为up、dw、eq、ud或数值，其中，up表示下一个值比当前值大，dw表示下一个值比当前值小，eq表示下一个值等于当前值，ud表示下一个值与当前值无关，数值表示以当前时序点为起点的序列段的斜率。

需要说明的是，<数值下限>和<数值上限>就是设置一个最大阈值和一个最小阈值，然后对每个数据进行比对筛选。

图2示出了根据本发明一个实施例的通信数据进行预处理的流程示意图。

如图2所示，对通信数据进行预处理包括：

步骤201，对通信数据进行符号化预处理，获取得到符号序列；

步骤202，提取符号序列中全部的出现次数不少于2次的符号子序列，及符号子序列在符号序列中的间隔序列；

步骤203，将符号子序列及间隔序列均存入集合中，获取通信筛选数据。

具体地，将待检测数据利用SAX方法进行符号化预处理，将待检测数据转换成多段等长的时间间隔，进而对每一段时间间隔内的数据进行聚合，预处理后的符号序列，提取其中所有出现次数不少于2所有符号子序列和其在符号序列中的时间序列，时序点过程保留了将每一条数据的时间信息和动态变化模式。对电力信息通信网的运行数据、过程数据和动态数据，能够高效地进行异常检测。

需要说明的是，每个规则元组均对应时间序列中的一个时序点。

其中，根据集合，建立以时间序列为键值的二叉堆，选取满足length(T)≤length(t)*count(T，t)*θ的符号序列T，其中，t是符号子序列，T是符号序列，count(T，t)表示t在T中出现的次数，length(T)表示符号序列T的长度，length(t)表示符号子序列t的长度，θ为用户输入的经验参数。通过此方法可以筛选出大部分异常数据，进一步缩小数据质量异常的检测范围。

进一步地，获取筛选异常规则后，对语法异常规则和筛选异常规则分别进行格式分析分析这两种规则中电力信息通信数据长度、属性、相关性，是否符合length(T)≤length(t)*count(T，t)*θ，将语法异常规则和筛选异常规则中格式符合上述公式条件的规则放入规则文件。

进一步地，获取检测结果序列集包括：

根据规则文件，进行时间序列的异常模式检测，得到检测的初始结果；

将检测的时间序列分成若干序列段，并指定初始均值和标准差；

在一个序列段中，对于初始结果中的每一条规则，分别判断所有长度与规则相同的子序列是否满足这条规则；

若不满足，则继续对下一条规则进行判断；若满足，则输出这个子序列为异常子序列；直到判断完初始结果中的全部规则；

全部的异常子序列组成检测结果序列集。

需要说明的是，对语法异常规则和筛选异常规则中的规则序列进行格式分析，对测试时间序列分成若干段，每一段就是子序列。针对一个子序列分别与规则文件中的所有规则比较，若满足规则文件中的规则，则输出这个子序列为异常子序列，若不满足，继续对该下一个子序列分别与所有规则比较。直到每一段序列段都比较完，输出所有异常子序列。

进一步地，获取通信数据质量异常的检测结果包括：

计算检测结果序列集中每一条异常子序列的分数；

根据异常子序列的分数，对异常子序列进行降序排列，获取通信数据质量异常的检测结果。

其中，对检测结果序列集排序的排序原则为：

检测结果序列集中的子序列的异常程度是该子序列中每个点的异常程度的平均值；子序列中每个点的异常程度与该点被判定为异常的规则的数量呈正相关的关系；子序列中每个点的异常程度与该点被判定为异常的相同规则的数量呈负相关的关系。按照这个排序原则进行异常子序列分数计算。

具体地，分数的计算方法为：

定义一个频率矩阵F：

其中，F中的每一个元素f_ij表示序列中的第j个点被第i条规则检测出的次数；n为子序列的总数；m为规则的总数；

得到序列点p_j的分数的计算公式为：

分别算出检测结果序列集中的每一条子序列的分数，子序列＜p₁,p₂,...,p_n＞的分数的计算公式为：

再按照每一条子序列的分数的降序对子序列进行排序，得到最终检测结果。

实施例1

一种电力信息通信数据质量异常的检测方法，能够高效率且灵活地对电力信息通信网数据进行数据异常检测，进而提升了电力信息通信网数据质量，实现了从海量数据中快速地找到异常数据，提高了电力信息通信网仿真计算和状态监测等工作结果的精确度，针对电力信息通信网运行数据、过程数据、实时数据进行异常检测，检测过程包括电力信息通信网数据筛选、异常规则定义、异常检测三个过程。具体步骤如下：

由国家电网公司的业务专家依据国家电网公司数据的语法规范，人工定义电力信息通信网数据的语法异常规则；

根据语法异常规则，过滤掉正常数据，筛选出异常检测数据，从异常检测数据中挖掘出时间序列的异常规则；

具体地，(1)选取异常检测数据；(2)利用SAX方法将异常检测数据进行符号化预处理；(3)对于(2)中预处理后的符号序列，提取其中所有出现次数不少于2所有符号子序列；(4)对于(3)中的每个符号子序列，得到其在第(2)步符号序列中的间隔序列；(5)对于(4)中的间隔序列，以间隔长度为键值建立二叉堆；(6)在(5)的二叉堆中，找到满足length(T)≤length(t)*count(T，t)*θ的符号序列T，其中，序列t是(3)中的符号序列，count(T，t)表示t在T中出现的次数，length(T)表示序列T的长度。

根据前两步产生的规则，对电力信息通信网的异常检测数据进行异常检测，并按照异常程度进行排序后输出这些电力信息通信网的异常数据。

具体地，(1)对前两步中的规则序列进行格式分析；(2)对测试时间序列分成若干段，并指定初始均值μ和标准差σ；(3)在(2)的一个序列段中，对于每一条步骤中的规则i，设该规则的长度为Li，判断所有长度为Li的子序列是否满足这条规则，若满足，则输出这个子序列为异常子序列；(4)对所有检测到的异常子序列按照异常程度进行排序。

实施例2

本实施例提供了一种电力信息通信数据质量异常的检测系统，该检测系统包括：

语法异常规则模块，根据语法规范，定义电力信息通信网的语法异常规则模块；

通信筛选数据模块，基于语法异常规则，选择满足要求的电力信息的通信数据，并对通信数据进行预处理，获取电力信息的通信筛选数据模块；

筛选异常规则模块，根据通信筛选数据和用户的使用参数，获取筛选异常规则模块；

检测结果序列集模块，基于语法异常规则和筛选异常规则，对通信筛选数据进行异常检测，获取检测结果序列集模块；

检测结果模块，基于异常程度，对检测结果序列集进行排序，获取通信数据质量异常的检测结果。

其中，语法异常规则模块包括一个或多个规则元组的序列。

具体地，(1)选取异常检测数据；(2)利用SAX方法将异常检测数据进行符号化预处理；(3)对于(2)中预处理后的符号序列，提取其中所有出现次数不少于2所有符号子序列；(4)对于(3)中的每个符号子序列，得到其在第(2)步符号序列中的间隔序列；(5)对于(4)中的间隔序列，以间隔长度为键值建立二叉堆；(6)在(5)的二叉堆中，找到满足length(T)≤length(t)*count(T，t)*θ的符号序列T，其中，序列t是(3)中的符号序列，count(T，t)表示t在T中出现的次数，length(T)表示序列T的长度。

更进一步地，(7)对基于语法异常规则和筛选异常规则进行格式分析；(8)对测试时间序列分成若干段，并指定初始均值μ和标准差σ；(9)在(8)的一个序列段中，对于每一条步骤中的规则i，设该规则的长度为Li，判断所有长度为Li的子序列是否满足这条规则，若满足，则输出这个子序列为异常子序列；(10)对所有检测到的异常子序列按照异常程度进行排序。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (10)

1.一种电力信息通信数据质量异常的检测方法，其特征在于，所述检测方法包括：

根据语法规范，定义电力信息通信网的语法异常规则；

基于所述语法异常规则，选择满足要求的电力信息的通信数据，并对所述通信数据进行预处理，获取所述电力信息的通信筛选数据；

根据所述通信筛选数据和用户的使用参数，获取筛选异常规则；

基于所述语法异常规则和所述筛选异常规则，对所述通信筛选数据进行异常检测，获取检测结果序列集；

基于异常程度，对所述检测结果序列集进行排序，获取所述通信数据质量异常的检测结果。

2.根据权利要求1所述的电力信息通信数据质量异常的检测方法，其特征在于，所述语法异常规则包括一个或多个规则元组的序列。

3.根据权利要求2所述的电力信息通信数据质量异常的检测方法，其特征在于，所述规则元组为：

<规则元组>＝{<数值下限>，<数值上限>，<方向>}；

其中，<数值下限>和<数值上限>为已定义的参数，具体的值或者表达式；<方向>为up、dw、eq、ud或数值，其中，up表示下一个值比当前值大，dw表示下一个值比当前值小，eq表示下一个值等于当前值，ud表示下一个值与当前值无关，数值表示以当前时序点为起点的序列段的斜率。

4.根据权利要求1所述的电力信息通信数据质量异常的检测方法，其特征在于，对所述通信数据进行预处理包括：

对所述通信数据进行符号化预处理，获取得到符号序列；

提取所述符号序列中全部的出现次数不少于2次的符号子序列，及所述符号子序列在所述符号序列中的间隔序列；

将所述符号子序列及间隔序列均存入集合中，获取通信筛选数据。

5.根据权利要求1所述的电力信息通信数据质量异常的检测方法，其特征在于，获取所述筛选异常规则后，对所述语法异常规则和所述筛选异常规则分别进行格式分析，将所述语法异常规则和所述筛选异常规则中格式符合检测要求的规则放入规则文件。

6.根据权利要求5所述的电力信息通信数据质量异常的检测方法，其特征在于，获取所述检测结果序列集包括：

根据所述规则文件，进行时间序列的异常模式检测，得到检测的初始结果；

将检测的所述时间序列分成若干序列段，并指定初始均值和标准差；

在一个所述序列段中，对于所述初始结果中的每一条规则，分别判断所有长度与规则相同的子序列是否满足这条规则；

若不满足，则继续对下一条规则进行判断；若满足，则输出这个子序列为异常子序列；直到判断完所述初始结果中的全部规则；

全部的异常子序列组成所述检测结果序列集。

7.根据权利要求6所述的电力信息通信数据质量异常的检测方法，其特征在于，获取所述通信数据质量异常的检测结果包括：

计算所述检测结果序列集中每一条所述异常子序列的分数；

根据所述异常子序列的分数，对所述异常子序列进行降序排列，获取所述通信数据质量异常的检测结果。

8.根据权利要求6所述的电力信息通信数据质量异常的检测方法，其特征在于，所述分数的计算方法为：

定义一个频率矩阵F：

其中，F中的每一个元素f_ij表示序列中的第j个点被第i条规则检测出的次数；n为子序列的总数；m为规则的总数；

得到序列点p_j的分数的计算公式为：

分别算出检测结果序列集中的每一条子序列的分数，子序列＜p₁,p₂,...,p_n＞的分数的计算公式为：

再按照每一条子序列的分数的降序对子序列进行排序，得到最终检测结果。

9.一种电力信息通信数据质量异常的检测系统，其特征在于，所述检测系统包括：

语法异常规则模块，根据语法规范，定义电力信息通信网的语法异常规则模块；

通信筛选数据模块，基于所述语法异常规则，选择满足要求的电力信息的通信数据，并对所述通信数据进行预处理，获取所述电力信息的通信筛选数据模块；

筛选异常规则模块，根据所述通信筛选数据和用户的使用参数，获取筛选异常规则模块；

检测结果序列集模块，基于所述语法异常规则和所述筛选异常规则，对所述通信筛选数据进行异常检测，获取检测结果序列集模块；

检测结果模块，基于异常程度，对所述检测结果序列集进行排序，获取所述通信数据质量异常的检测结果。

10.根据权利要求9所述的电力信息通信数据质量异常的检测系统，其特征在于，所述语法异常规则模块包括一个或多个规则元组的序列。

Images