CN115470831B - 一种基于频繁项集推理的水电信号异常判断方法 - Google Patents

Abstract

本发明涉及水电监控技术领域，公开了一种基于频繁项集推理的水电信号异常判断方法。本发明包括：获取原始数据，从原始数据中提取出信号数据和动作数据并进行预处理，构建信号数据和动作数据结合的信号+动作对；对信号+动作对进行关系挖掘，获取伴生关系集、共生关系集和因果关系集；根据伴生关系集、共生关系集和因果关系集对新到的连续的信号组成的信号流进行检测，判断信号流中是否存在异常，对存在异常的信号区间进行标注。本发明从频繁模式的角度定义信号关系，基于apriori和prefixSpan算法提出关系挖掘方法，得到共生，伴生和因果关系所对应的信号对，基于信号关系对到来的日志信号进行自动判断异常，提高异常检测效率。

Description

一种基于频繁项集推理的水电信号异常判断方法

技术领域

本发明涉及水电监控技术领域，具体地说，是一种基于频繁项集推理的水电信号异常判断方法，用于对水电信号监控系统中的机组运行信号进行异常检测。

背景技术

水电信号监控系统信号监视是运行值班的核心工作，可靠、精准的信号监视是流域梯级电站群安全运行的重要保障。目前，大部分水电站已经全部实现以“四遥”功能为核心的监视控制，水电站实时向调控端（集控或中控室）上送各受控水电站遥测、遥信等大量信息，由人工24小时监视并根据信息级别、内容，采取相应的处理措施。

目前，针对智能电网的大数据技术研究得到了电力行业及相关专家学者的充分重视。然而，针对水电站的大数据工程应用技术研究却处于刚起步的阶段。现有模式下，水电监控信号智能监视存在以下挑战：（1）监控信息量大，人工监控工作繁重。（2）信号隐性知识复杂，分析难度大。（3）无效动态监控信号告警率高。

为了解决上述问题，本发明提出了一种基于信号关系的系统异常判断方法，利用频繁模式挖掘算法apriori和序列频繁模式挖掘算法prefixSpan，抽取了信号间的共生，伴生，因果三种关系。然后，基于挖掘到的信号关系对实时的系统日志信号进行在线检测，判断出可能存在异常信号的区间。

发明内容

本发明的目的在于提供一种基于频繁项集推理的水电信号异常判断方法，实现对水电信号监控系统中的机组运行信号进行异常检测的效果。

本发明通过下述技术方案实现：一种基于频繁项集推理的水电信号异常判断方法，包括以下步骤：

步骤S1，获取原始数据，从原始数据中提取出信号数据和动作数据并进行预处理，构建信号数据和动作数据结合的信号+动作对；

步骤S2，基于apriori算法和prefixSpan算法对所述信号+动作对进行关系挖掘，获取伴生关系集、共生关系集和因果关系集；

步骤S3，根据所述伴生关系集、共生关系集和因果关系集对新到的连续的信号组成的信号流进行检测，判断信号流中是否存在异常，对存在异常的信号区间进行标注。

为了更好地实现本发明，进一步地，所述步骤S1中从原始数据中提取出信号数据和动作数据并进行预处理的过程包括：

对原始数据进行预处理；

判断是否还有未做预处理的数据，如果是，先去除动作数据中的数字数据，再合并信号数据中的信号逻辑名数据和动作数据组成信号逻辑名+动作对；

添加信号逻辑名+动作对至预处理后的数据，构建信号数据和动作数据结合的信号+动作对。

为了更好地实现本发明，进一步地，所述步骤S1中的原始数据包括水电信号监控系统中监控系统运行时记录的日志文件样例。

为了更好地实现本发明，进一步地，所述步骤S2包括：

定义信号区间、因果关系、伴生关系和共生关系这三种信号关系；

在预处理后的数据中抽取连续M条数据，所述M条数据为M条信号逻辑名+动作对；

对M条数据进行信号区间划分，使用apriori算法和prefixSpan算法对划分后的数据进行关系挖掘获取二阶频繁项集Lp和二阶频繁项集La；

从挖掘出的二阶频繁项集中按照对应关系的支持度参数阈值和置信度参数阈值进行过滤，得到最终的伴生关系集、共生关系集和因果关系集。

为了更好地实现本发明，进一步地，所述apriori算法用于挖掘序列的伴生关系和共生关系；

根据伴生关系支持度和置信度过滤二阶频繁项集La获取伴生关系集；

根据共生关系支持度和置信度过滤二阶频繁项集La获取共生关系集。

为了更好地实现本发明，进一步地，所述prefixSpan算法用于挖掘需要序列的因果关系；

根据因果关系支持度和置信度过滤二阶频繁项集Lp获取因果关系集。

为了更好地实现本发明，进一步地，所述步骤S3包括：

对新接收的连续信号进行异常判断；

对当前需要处理的数据条数用N表示，对于从信号区间大小为a，步长为b的数据上挖掘出来的关系，使用同样的信号区间大小和步长参数对这N条数据进行处理；

对每一个信号区间进行异常判断，为每一个信号区间维护共生关系异常数、伴生关系异常数和因果关系异常数三个数值，这三个数值初始设为0；

对每一个信号区间，若某条关系在信号区间上出错，则对相应种类关系的异常数数值加1。

本发明与现有技术相比，具有以下优点及有益效果：

本发明从频繁模式的角度定义信号关系，并基于apriori算法和prefixSpan算法提出关系挖掘方法，得到共生，伴生和因果关系所对应的信号对，然后基于挖掘得到的信号关系，对到来的日志信号进行自动判断异常，提高异常检测效率。

附图说明

本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。

图1为本发明提供的一种基于频繁项集推理的水电信号异常判断方法的流程图。

图2为本发明提供的一种基于频繁项集推理的水电信号异常判断方法中数据预处理的流程图。

图3为本发明提供的一种基于频繁项集推理的水电信号异常判断方法中关系挖掘的流程图。

图4为本发明提供的水电信号监控系统运行时记录的日志文件样例示意图。

图5为本发明使用到的符号含义的示意图。

图6为本发明提供的一种基于频繁项集推理的水电信号异常判断方法中异常检测的上部分流程图。

图7为本发明提供的一种基于频繁项集推理的水电信号异常判断方法中异常检测的下部分流程图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

本实施例的一种基于频繁项集推理的水电信号异常判断方法，如图1所示，本发明的总体思路为：

首先进行数据预处理，从原始数据中提取出“信号”数据和“动作”数据，构建“信号+动作”对。

再进行关系挖掘，在经过预处理后的“信号+动作”对上，基于apriori算法和prefixSpan算法挖掘出共生，伴生，因果三种关系。

最后进行异常判断，基于挖掘得到的三种信号关系，对到达的信号流进行检测，判断信号流中是否存在异常，对存在异常的信号区间（窗口）予以标注。

需要说明的是，本发明中使用到的符号含义如图5所示。

实施例2：

本实施例在实施例1的基础上做进一步优化，在本实施例中，如图4所示，给出了水电信号监控系统中系统运行时记录的日志文件样例，即原始数据。其中第一列为信号序列，第二列为信号发出的时间，第三列和第四列分别为信号的逻辑名和中文名，第五列为信号当前动作，第六列为信号是否下达成功，第七列为该行数据采集自哪个设备，无实际业务关联关系。

在水电信号监控系统中，信号由水电信号监控系统中各个设备所产生，是监控人员所关注的设备参数；动作，是该设备参数的动作。一个信号会对应其相应的动作，即表示某个设备的某参数发生了什么变化或操作。因此，本发明认为，对水电信号监控系统进行异常监控需要把信号和其对应的动作结合起来进行判断。所以，在数据预处理时，本发明会将原始日志记录中每一行的信号和动作合并处理，即“信号+动作”对。在信号异常检测时，就根据“信号+动作”学习信号之间的关系，然后用于异常判定。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例在上述实施例1或2的基础上做进一步优化，如图2所示是本发明中从原始数据中提取出信号数据和动作数据并进行预处理的过程示意图，构建信号数据和动作数据结合的数据对以及对数据对的关系挖掘，实际上指的是对信号数据和动作数据之间关系的挖掘。

如图4所示，比如：“3F：导叶开度>35%(大轴补气用) 复归”和“3F：投入/退出中心孔补气电磁空气阀复归”之间的关系，对于“3F:导叶开度>35%(大轴补气用) 复归”这个信号动作数据对，其中“3F：导叶开度>35%(大轴补气用) ”是信号数据，“复归”是动作数据。同样的，对于“3F：投入/退出中心孔补气电磁空气阀复归”这个信号动作数据对，“3F：投入/退出中心孔补气电磁空气阀”是信号数据，“复归”是动作数据。

故预处理的主要目标是构建信号数据和动作数据结合的数据对，即信号+动作对。对于每一行数据，只保留其信号逻辑名数据（逻辑名和中文名一一对应，而逻辑名在程序运行中处理速度更快）和动作数据，并且，由于对于只有数值不同的同种动作，应视为同一动作，如：无功功率调节 (MVar): -35.44和无功功率调节 (MVar): -27.70，我们删去动作数据中的数字。

本实施例的其他部分与上述实施例1或2相同，故不再赘述。

实施例4：

本实施例在上述实施例1-3任一项的基础上做进一步优化，在本实施例中，本发明的目标是对水电信号监控系统中的机组运行信号进行异常检测，根据信号之间的逻辑关系进行异常判断。基于apriori算法和prefixSpan算法对所述信号+动作对进行关系挖掘，获取伴生关系集、共生关系集和因果关系集，首先需要定义三种信号关系：因果关系、伴生关系和共生关系。相关定义如下：

定义1：信号区间（窗口）：用集合S={st1, st2,…, stn}表示，si为信号，ti为时间，满足t1<t2<…<tn。

定义2：因果关系：给定,  ,当，存在，且满足tn<tm，则是的原因,记为。

定义3：伴生关系：给定, ,当，存在，则和是伴生关系，记为 。

定义4：共生关系：给定, ,当，存在，并且当，存在，则与是共生关系，记为。

本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。

实施例5：

本实施例在上述实施例1-4任一项基础上做进一步优化，在定义了关系之后，就需要对系统运行日志中的信号进行关系挖掘。

本发明根据定义的信号关系，创新地提出通过频繁子项实现信号关系挖掘。为了达到此目的，采用了两个经典算法：apriori算法和prefixSpan算法。本发明实现信号关系挖掘的流程如图3所示。

该部分是本发明的核心，或主要创新之处。首先，本发明首次给出了水电机组中系统信号之间的三个关系定义。然后，提出通过挖掘频繁子项进行信号关系挖掘的思路。最后，采用apriori算法和prefixSpan算法辅助本发明实现信号关系挖掘。其中，根据关系定义，需要设定支持度(sup)和置信度(conf)这两个指标。三种关系的指标设置情况如下：

因果关系：给定A，B两个信号，这两个信号可以组成两种频繁子项，即[AB]和[BA],要判断A，B为因果关系，即A是B的原因，表示为，则需满足以下指标：支持度Support(A,B)>0.001，同时[BA]置信度conf(A,B)>0.9且[BA]置信度conf (B,A)<0.3。由于这里需要根据A，B的先后顺序来计算置信度、支持度，所以采用prefixSpan算法实现，其中，

；

；

；

伴生关系：给定A，B两个信号，这两个信号可以组成两种频繁子项，即[AB]和[BA],要判断A，B为伴生关系，即B是A的伴生，表示为，则需满足以下指标：支持度Support(A,B)>0.001，同时[AB]置信度conf(A,B)>0.9且[BA]置信度conf (B,A)<0.3。根据关系定义，伴生关系不要求A，B的先后时间顺序，所以采用apriori算法实现。置信度，支持度的计算方法与前面的定义一样。

共生关系：给定A，B两个信号，这两个信号可以组成两种频繁子项，即[AB]和[BA],要判断A，B为共生关系，即A与B相互伴生，表示为，则需满足以下指标：支持度Support(A,B)>0.001，同时[AB]置信度conf(A,B)>0.9且[BA]置信度conf (B,A) >0.9。根据关系定义，共生关系不要求A，B的先后时间顺序，也采用apriori算法实现。置信度，支持度的计算方法与前面的定义一样。

此外，前面提到需要对这M条数据进行信号区间（窗口）划分，这里就会涉及三个参数，即M，a，b。M为挖掘关系时采用的信号数量，本发明建议至少10万条才能达到比较好的效果。a是划分的信号区间（窗口）大小，本发明从实验中发现设置10比较合适，即一个信号区间（窗口）包含10条信号。这个设置与信号产生的间隔相关，设置10，大概会囊括1分钟左右的信号。b是信号区间（窗口）滑动的步长，本发明从实验中发现，建议设置2比较合适。

本实施例的其他部分与上述实施例1-4任一项相同，故不再赘述。

实施例6：

本实施例在上述实施例1-5任一项基础上做进一步优化，第二步的关系挖掘是在第一步预处理后的数据中抽取的连续M条数据上进行。异常判断则是对新来的连续信号进行异常判断，用N表示当前需要处理的数据条数。对于从信号区间（窗口）大小为a，步长为b的数据上挖掘出来的关系，使用同样的信号区间（窗口）大小和步长参数对这N条数据进行处理。

为对每一个信号区间（窗口）进行异常判断。为每一个信号区间（窗口）维护三个数值：共生关系异常数、伴生关系异常数、因果关系异常数，这三个数值初始为0。对每一个信号区间（窗口），若某条关系在信号区间（窗口）上出错，则对相应种类关系的异常数数值加1。

对于一对信号关系是否在信号区间（窗口）内出错的具体判断如下：

对于一对共生关系。若在信号区间（窗口）内时不在信号区间（窗口）内；或在信号区间（窗口）内，不在信号区间（窗口）内，则该关系在信号区间（窗口）内出错。

对于一对伴生关系。当在信号区间（窗口）内时，若不在信号区间（窗口）内，则该关系在信号区间（窗口）内出错。

对于一对因果关系，当在信号区间（窗口）内时，若不在信号区间（窗口）内或在信号区间（窗口）内但，则该关系在信号区间（窗口）内出错。

异常判断流程如图6和图7所示。

该部分也是本发明的核心，目前还没有相关发明方法通过本文提出的信号关系实现信号异常检测。参数a和b就是信号区间（窗口）大小和移动步长，设置与前面一致。N是当前需要处理的数据条数。

本实施例的其他部分与上述实施例1-5任一项相同，故不再赘述。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (4)

1.一种基于频繁项集推理的水电信号异常判断方法，其特征在于，包括以下步骤：

步骤S1，获取原始数据，从原始数据中提取出信号数据和动作数据并进行预处理，构建信号数据和动作数据结合的信号+动作对；

步骤S2，基于apriori算法和prefixSpan算法对所述信号+动作对进行关系挖掘，获取伴生关系集、共生关系集和因果关系集；

步骤S3，根据所述伴生关系集、共生关系集和因果关系集对新到的连续的信号组成的信号流进行检测，判断信号流中是否存在异常，对存在异常的信号区间进行标注；

所述步骤S2包括：

定义信号区间、因果关系、伴生关系和共生关系这三种信号关系；

在预处理后的数据中抽取连续M条数据，所述M条数据为M条信号逻辑名+动作对；

对M条数据进行信号区间划分，使用apriori算法和prefixSpan算法对划分后的数据进行关系挖掘获取二阶频繁项集Lp和二阶频繁项集La；

从挖掘出的二阶频繁项集中按照对应关系的支持度参数阈值和置信度参数阈值进行过滤，得到最终的伴生关系集、共生关系集和因果关系集；

所述apriori算法用于：挖掘序列的伴生关系和共生关系；根据伴生关系支持度和置信度过滤二阶频繁项集La获取伴生关系集；根据共生关系支持度和置信度过滤二阶频繁项集La获取共生关系集；

所述prefixSpan算法用于：挖掘需要序列的因果关系；根据因果关系支持度和置信度过滤二阶频繁项集Lp获取因果关系集。

2.根据权利要求1所述的一种基于频繁项集推理的水电信号异常判断方法，其特征在于，所述步骤S1中从原始数据中提取出信号数据和动作数据并进行预处理的过程包括：

对原始数据进行预处理；

判断是否还有未做预处理的数据，如果是，先去除动作数据中的数字数据，再合并信号数据中的信号逻辑名数据和动作数据组成信号逻辑名+动作对；

添加信号逻辑名+动作对至预处理后的数据，构建信号数据和动作数据结合的信号+动作对。

3.根据权利要求2所述的一种基于频繁项集推理的水电信号异常判断方法，其特征在于，所述步骤S1中的原始数据包括水电信号监控系统中监控系统运行时记录的日志文件样例。

4.根据权利要求1-3任一项所述的一种基于频繁项集推理的水电信号异常判断方法，其特征在于，所述步骤S3包括：

对新接收的连续信号进行异常判断；

对当前需要处理的数据条数用N表示，对于从信号区间大小为a，步长为b的数据上挖掘出来的关系，使用同样的信号区间大小和步长参数对这N条数据进行处理；

对每一个信号区间进行异常判断，为每一个信号区间维护共生关系异常数、伴生关系异常数和因果关系异常数三个数值，这三个数值初始设为0；

对每一个信号区间，若某条关系在信号区间上出错，则对相应种类关系的异常数数值加1。

Images