CN110445665B - 基于改进gsp的电力通信网络告警关联挖掘方法 - Google Patents

Abstract

本发明公开了一种基于改进GSP的电力通信网络告警关联挖掘方法，包括以下步骤：(1)收集历史告警数据，建立历史告警数据库，并对历史告警数据进行预处理；(2)从与所述步骤(1)同步生成的网络拓扑数据库中分析网元设备之间的拓扑关系，生成网络拓扑模型；(3)将步骤(1)的预处理后的历史告警数据通过访问步骤(2)的网络拓扑模型关联频繁序列的数据挖掘，形成告警关联规则与序列经验库；(4)收集实时告警数据，建立实时告警数据库，并对实时告警数据进行预处理；(5)将预处理后的实时告警数据结合的告警关联规则与序列经验库进行数据分析，再结合步骤(2)的网络拓扑模型构建告警实时依赖模型，从而实现根告警的定位分析。

Description

基于改进GSP的电力通信网络告警关联挖掘方法

技术领域

本发明涉及电力系统的数据管理领域，具体涉及基于改进GSP的电力通信网络告警关联挖掘方法。

背景技术

近年来，电力行业信息化、智能化水平的持续提高，作为承载众多电网业务的电力通信系统，其在总体规模、网络容量、网架结构、覆盖范围和承载能力等各个方面均得到长足的发展。电力通信在智能电网体系中的基础性技术支撑作用越发突显，这对大规模通信网络的整体管控和风险防范提出了更高运维管理要求。当前的电力通信网络环境具有异构、网络规模大、分布式部署并且网络的结构和状态经常会发生变化等特征。同时同一类型的网络设备有众多的生产厂家。在这样的大规模分布式网络环境中实际运行的网络设备会由于各种原因而产生种类繁多的告警，电力通信网络日趋复杂的拓扑结构以及承载业务的多样性影响，告警与故障呈现出的不确定性关系日益凸显出现来，同一个告警消息的诱因可能是多个故障共同的结果，也可能是单故障的结果，因而难以根据收集到的告警消息确定故障的位置以及确切的故障数目。故障定位中故障与告警之间的不确定性关系，使故障分析的研宄点集中为如何处理告警与故障的关系，进而通过对这种关系的处理来有效完成网络故障分析；此外，电力通信网络复杂、异质的特性决定了通信运行维护人员在告警监视的实时性与故障处置的及时性方面始终面临着极大的挑战。

在一个现实的电力通信网络中，通常包含着多个设备厂家、不同技术体制的系统和设备，这些系统和设备会以光、电方式通过各种物理介质连接起来，相互之间存在着复杂的关联关系。在运行中的通信网络中，一个故障往往会引发不同系统/设备之间，以及同一设备不同层次的多个告警事件，而且告警事件的种类和原因各不相同。这些众多的告警信息错综叠加，使得发生故障的真正根原因告警被掩盖掉了，运维人员不得不花费大量时间与精力来诊断故障原因，造成运行维护效率低下，现场故障处置缓慢等问题。目前针对电力通信告警关联分析的方法主要有基于规则(Rule-Based)、基于事例推理(Case-BasedReasoning)、基于因果关系(Casual-ModelApproach)，以及基于模型(Model-Based)等分析方法。这些分析方法通常需要借助专家经验构建出相应的分析模型或甄别规则，具有针对性强、处理准确性高等优点。但随着网络结构的日趋复杂，告警发生机制以及告警之间关联关系的不断变化，纯粹依赖于专家经验很难真正构建出跨系统、跨厂家的动态关联分析模型。因此，利用数据挖掘分析海量告警，从中挖掘出告警之间的关联关系已成为一种发展趋势。

在电力通信网中，设备网元之间是相互关联、相互影响的关系。通常某一设备网元发生故障或异常，会引发同一拓扑关系图内多个相关设备网元或承载业务的告警，这种情况称之为告警传播。告警传播的路径可以是纵向的，即从物理层面向上层逻辑层面和业务层面扩散；也可以是横向的，即向周边的网元或系统扩散。因此，告警关联需要发现这些原始告警信息之间的关联关系，进而定位出发生故障的实际根原因告警。其形式化定义为：告警事件a和告警事件集合{a₁，a₂，…，a_n}有相关性，则

表示a为根原因告警，由其引发了一系列告警事件集合。

如图1所示，告警的关联关系一般分成主次告警关系和衍生告警关系。而其中衍生告警关系又可细分为阈值触发告警关系和同源关联告警关系，主次告警关系表示存在着由主要告警引发一系列次要告警的因果关系，在实际操作中可屏蔽掉次要告警，只对主要告警进行展示与操作即可。阈值触发告警关系表示在某一划定区域和时域范围内，多次发生的同类型告警超过了指定数量或比例的门限阈值后，衍生出一条新的告警信息。同源关联告警关系表示对同一资源拓扑关系内无明显因果关系的一批告警信息进行归并，衍生出一条新的告警信息。

因此，电力通信网络中的告警关联挖掘需要从海量原始告警信息中找出各类告警信息之间直接或间接存在的关联关系规律，从而提升告警定位的准确性。这种关联关系规律一般是从频繁出现的告警信息集合中找出集合内告警之间的内在关系，所以告警关联挖掘可间接转变为发现具有频繁模式特性的告警信息集合。

因此，有必要开发一种利用数据挖掘分析海量告警，从中挖掘出告警之间的关联关系的基于改进GSP的电力通信网络告警关联挖掘方法。

发明内容

本发明要解决的技术问题是，提供一种基于改进GSP的电力通信网络告警关联挖掘方法，利用改进的GSP算法构建通信网络拓扑模型作为网络拓扑约束，实现了对电力通信告警关联分析具有较好的准确性及适用性。

为解决上述技术问题，本发明采用的技术方案是：该基于改进GSP的电力通信网络告警关联挖掘方法，具体包括以下步骤：

(1)收集历史告警数据，建立历史告警数据库，并对所述历史告警数据进行预处理；

(2)从与所述步骤(1)同步生成的网络拓扑数据库中分析网元设备之间的拓扑关系，生成网络拓扑模型；

(3)将步骤(1)的预处理后的所述历史告警数据通过访问所述步骤(2)的网络拓扑模型关联频繁序列的数据挖掘，形成告警关联规则与序列经验库；

(4)收集实时告警数据，建立实时告警数据库，并对实时告警数据进行预处理；

(5)将所述步骤(4)中的预处理后的实时告警数据结合所述步骤(3)的告警关联规则与序列经验库进行数据分析，再结合步骤(2)的网络拓扑模型构建告警实时依赖模型，从而实现根告警的定位分析。

采用上述技术方案，采用通信告警实验数据对传统GSP与改进GSP进行告警关联的数据挖掘，测试结果表明改进的GSP在电力通信网络的关联分析中具有较好的适用性，为进一步研究通信告警关联挖掘奠定了一定的工程实践基础。后续工作中，将继续完善电力通信网络的分层模型，使得网络拓扑约束能够真实反映复杂网络环境下不同设备网元之间的真实连接关系，同时加大对原始告警信息的数据挖掘范围与深度，确保改进GSP算法能够指导实际的通信网络运行维护工作。

作为本发明的优选技方方案，所述步骤(1)中利用电力通信网络收集历史告警数据，并对所述历史告警数据通过压缩、布尔化和归一化进行预处理。利用电力通信网络收集到的海量原始历史告警数据，通过对告警的压缩、布尔化和归一化等预处理，消除数据冗余和不一致性。

作为本发明的优选技方方案，所述步骤(3)中访问网络拓扑模型进行关联频繁序列挖掘采用告警关联规则挖掘和告警序列模式挖掘；若候选序列不在所述网络拓扑模型中，则说明候选序列中的设备网元之间不存在告警传输路径，可以过滤掉该候选序列，从而获得经过剪枝后的候选序列集作为告警关联规则与序列经验库。从网络拓扑数据库中分析网元设备之间的拓扑关系，生成网络拓扑模型；在进行告警关联规则挖掘和告警序列模式挖掘时，访问网络拓扑模型；若候选序列不在网络拓扑模型中，则说明候选序列中的设备网元之间不存在告警传输路径，可以过滤掉该候选序列。经过剪枝后的候选序列集可作为告警关联规则与序列经验库。从而为后续实时告警的相似性分析提供科学依据，最终实现根告警的准确定位。

作为本发明的优选技方方案，所述步骤(3)中访问网络拓扑模型进行告警关联规则挖掘和告警序列模式挖掘时所采用的算法的步骤为：

S31设定原始序列集为S，最小支持度为Sup_min；

S32设定i＝1，遍历原始序列集S，生成长度Length＝i＝1，满足最小支持度Sup_min的初始频繁序列集L_i＝1；

S33遍历长度Length＝i的频繁序列集L_i，通过连接操作和剪枝操作生成长度Length＝i+1的候选序列集C_L_i+1；

S34遍历原始序列集S，计算候选序列集C_L_i+1中；每个候选序列的支持度，若支持度满足最小支持度Sup_min，则将其放入Length＝i+1的频繁序列集L_i+1；

S35若Length＝i+1的频繁序列集L_i+1为空，表示无新的频繁序列产生，则算法结束；否则令i＝i+1，重复步骤S33。

作为本发明的优选技方方案，所述步骤S33中的连接操作的具体方法为：若长度Length＝n的两个频繁序列S₁＝{s₁，s₂，…，s_n}和S₂＝{s′₁，s′₂，…，s′_n}，满足条件s₁＝s′₂，s₂＝s′₃，…，s_n-1＝s′_n，则S₁和S₂可通过连接生成长度Length＝n+1的候选序列C_i+1＝{s′₁，s′₂，…，s′_n，s_n}。

作为本发明的优选技方方案，所述步骤S33中的剪枝操作的具体方法为：若候选序列C_i+1＝{s′₁，s′₂，…，s′_n，s_n}中只要存在一个不是频繁序列的子序列，则C_i+1肯定不是频繁序列，可将C_i+1从候选序列集C_L_i+1中去除。

作为本发明的优选技方方案，所述步骤(2)中的所述网络拓扑模型采用SDH网络分层模型，是由SDH传输网络进行抽象，建立SDH的网络拓扑模型。

作为本发明的优选技方方案，所述SDH传输网络的实体类型包括分插复用器、同步数字交叉连接设备、终端复用器、再生中继器以及传输线路。在通信网络中告警的传播必然是沿着拓扑连接进行上下左右的扩散，因此将网络拓扑结构作为GSP算法的额外约束条件可以提高告警挖掘的针对性和有效性。

SDH传输网络作为电力通信的核心骨干层，是日常运行维护的重点监视对象。SDH传输网络中的实体类型主要有分插复用器(ADM)、同步数字交叉连接设备(DXC)、终端复用器(TM)、再生中继器(REG)以及传输线路(Trans Link)等。SDH传输网络中对数据信息的放大、复用和再生等操作，以及支路之间的交叉连接实现可通过这些传输设备来实现。在TM与TM之间物理链路上承载的是端到端业务通道。通过对SDH传输网络进行抽象，建立SDH的拓扑模型图，从而能够直观、明晰地反映网络中各组成部分之间的物理与逻辑关系，通过采集SDH网管系统北向接口的配置信息，依据分层模型构建相关的网络拓扑约束关系，在传统GSP序列模式算法中引入网络拓扑约束关系，可以有效降低噪音和数据缺失带来的不利影响，过滤掉可能存在逻辑错误的频繁序列，进而有效提高挖掘的效率与正确性。

本方法的优势在于采用通信告警实验数据对传统GSP与改进GSP进行告警关联的数据挖掘，测试结果表明改进的GSP在电力通信网络的关联分析中具有较好的和准确性和适用性。

附图说明

下面结合附图和本发明的实施方式进一步详细说明：

图1是告警关联分类图；

图2是基于改进GSP的电力通信网络告警关联挖掘方法的流程示意图；

图3是基于改进GSP的电力通信网络告警关联挖掘方法的SDH网络分层模型示意图。

具体实施方式

如图2所示，该基于改进GSP的电力通信网络告警关联挖掘方法，具体包括以下步骤：

(1)收集历史告警数据，建立历史告警数据库，并对所述历史告警数据进行预处理；

所述步骤(1)中利用电力通信网络收集历史告警数据，并对所述历史告警数据通过压缩、布尔化和归一化进行预处理。利用电力通信网络收集到的海量原始历史告警数据，通过对告警的压缩、布尔化和归一化等预处理，消除数据冗余和不一致性；

(2)从与所述步骤(1)同步生成的网络拓扑数据库中分析网元设备之间的拓扑关系，生成网络拓扑模型；

(3)将步骤(1)的预处理后的所述历史告警数据通过访问所述步骤(2)的网络拓扑模型关联频繁序列的数据挖掘，形成告警关联规则与序列经验库；

所述步骤(3)中访问网络拓扑模型进行关联频繁序列挖掘采用告警关联规则挖掘和告警序列模式挖掘；若候选序列不在所述网络拓扑模型中，则说明候选序列中的设备网元之间不存在告警传输路径，可以过滤掉该候选序列，从而获得经过剪枝后的候选序列集作为告警关联规则与序列经验库；从网络拓扑数据库中分析网元设备之间的拓扑关系，生成网络拓扑模型；在进行告警关联规则挖掘和告警序列模式挖掘时，访问网络拓扑模型；若候选序列不在网络拓扑模型中，则说明候选序列中的设备网元之间不存在告警传输路径，可以过滤掉该候选序列；经过剪枝后的候选序列集可作为告警关联规则与序列经验库；从而为后续实时告警的相似性分析提供科学依据，最终实现根告警的准确定位；

所述步骤(3)中访问网络拓扑模型进行告警关联规则挖掘和告警序列模式挖掘时所采用的算法的步骤为：

S31设定原始序列集为S，最小支持度为Sup_min；

S32设定i＝1，遍历原始序列集S，生成长度Length＝i＝1，满足最小支持度Sup_min的初始频繁序列集L_i＝1；

S33遍历长度Length＝i的频繁序列集L_i，通过连接操作和剪枝操作生成长度Length＝i+1的候选序列集C_L_i+1；

所述步骤S33中的连接操作的具体方法为：若长度Length＝n的两个频繁序列S₁＝{s₁，s₂，…，s_n}和S₂＝{s′₁，s′₂，…，s′_n}，满足条件s₁＝s′₂，s₂＝s′₃，…，s_n-1＝s′_n，则S₁和S₂可通过连接生成长度Length＝n+1的候选序列C_i+1＝{s′₁，s′₂，…，s′_n，s_n}；

所述步骤S33中的剪枝操作的具体方法为：若候选序列C_i+1＝{s′₁，s′₂，…，s′_n，s_n}中只要存在一个不是频繁序列的子序列，则C_i+1肯定不是频繁序列，可将C_i+1从候选序列集C_L_i+1中去除；

S34遍历原始序列集S，计算候选序列集C_L_i+1中；每个候选序列的支持度，若支持度满足最小支持度Sup_min，则将其放入Length＝i+1的频繁序列集L_i+1；

S35若Length＝i+1的频繁序列集L_i+1为空，表示无新的频繁序列产生，则算法结束；否则令i＝i+1，重复步骤S33；

(4)收集实时告警数据，建立实时告警数据库，并对实时告警数据进行预处理；

(5)将所述步骤(4)中的预处理后的实时告警数据结合所述步骤(3)的告警关联规则与序列经验库进行数据分析，再结合步骤(2)的网络拓扑模型构建告警实时依赖模型，从而实现根告警的定位分析；

如图3所示，所述步骤(2)中的所述网络拓扑模型采用SDH网络分层模型，是由SDH传输网络进行抽象，建立SDH的网络拓扑模型；所述SDH传输网络的实体类型包括分插复用器、同步数字交叉连接设备、终端复用器、再生中继器以及传输线路。在通信网络中告警的传播必然是沿着拓扑连接进行上下左右的扩散，因此将网络拓扑结构作为GSP算法的额外约束条件可以提高告警挖掘的针对性和有效性。

采用该基于改进GSP的电力通信网络告警关联挖掘方法从某省传输网中获取一月内产生的原始告警信息65714个，分别采用传统GSP与改进GSP进行关联频繁序列的数据挖掘。在传统GSP算法中滑动步长采用定长时间，设定时间窗口大小为1600s，定长时间为940s，从而确保邻近的原始告警信息能够划分到同一个事务中。在改进GSP算法中以网络拓扑约束动态调整时间窗口的大小，尽量避免具有相关性的原始告警划分到不同的事务中。选择不同的最小支持度Sup_min＝{0.7，0.6，0.5，0.4}分别对传统GSP和改进GSP进行测试。其测试对比结果如表1所示。

表1原始告警数据测试对比表

测试对比结果表明，在最小支持度Sup_min＝0.5时，改进GSP算法执行时间只是传统GSP算法执行时间的1/3，改进GSP挖掘出的频繁序列模式数量也只是传统GSP挖掘出的频繁序列模式数量的1.3％。可见网络拓扑约束的引入，从根源上能够有效过滤掉大量不符合网络实际拓扑的无用频繁序列模式，从而使得改进GSP在数据挖掘算法的速度与精度上均明显优于传统GSP。

上面结合附图对本发明的实施方式作了详细的说明，但是本发明不限于上述实施方式，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。

Claims (6)

1.一种基于改进GSP的电力通信网络告警关联挖掘方法，其特征在于，具体包括以下步骤：

(1)收集历史告警数据，建立历史告警数据库，并对所述历史告警数据进行预处理；

(2)从与所述步骤(1)同步生成的网络拓扑数据库中分析网元设备之间的拓扑关系，生成网络拓扑模型；

(3)将步骤(1)的预处理后的所述历史告警数据通过访问所述步骤(2)的网络拓扑模型关联频繁序列的数据挖掘，形成告警关联规则与序列经验库；

(4)收集实时告警数据，建立实时告警数据库，并对实时告警数据进行预处理；

(5)将所述步骤(4)中的预处理后的实时告警数据结合所述步骤(3)的告警关联规则与序列经验库进行数据分析，再结合步骤(2)的网络拓扑模型构建告警实时依赖模型，从而实现根告警的定位分析；

所述步骤(3)中访问网络拓扑模型进行关联频繁序列挖掘采用告警关联规则挖掘和告警序列模式挖掘；若候选序列不在所述网络拓扑模型中，则说明候选序列中的设备网元之间不存在告警传输路径，可以过滤掉该候选序列，从而获得经过剪枝后的候选序列集作为告警关联规则与序列经验库；

所述步骤(3)中访问网络拓扑模型进行告警关联规则挖掘和告警序列模式挖掘时所采用的算法的步骤为：

S31设定原始序列集为S，最小支持度为Sup_min；

S32设定i＝1，遍历原始序列集S，生成长度Length＝i＝1，满足最小支持度Sup_min的初始频繁序列集L_i＝1；

S33遍历长度Length＝i的频繁序列集L_i，通过连接操作和剪枝操作生成长度Length＝i+1的候选序列集C_L_i+1；

S34遍历原始序列集S，计算候选序列集C_L_i+1中；每个候选序列的支持度，若支持度满足最小支持度Sup_min，则将其放入Length＝i+1的频繁序列集L_i+1；

S35若Length＝i+1的频繁序列集L_i+1为空，表示无新的频繁序列产生，则算法结束；否则令i＝i+1，重复步骤S33。

2.根据权利要求1所述的基于改进GSP的电力通信网络告警关联挖掘方法，其特征在于，所述步骤(1)中利用电力通信网络收集历史告警数据，并对所述历史告警数据通过压缩、布尔化和归一化进行预处理。

3.根据权利要求1所述的基于改进GSP的电力通信网络告警关联挖掘方法，其特征在于，所述步骤S33中的连接操作的具体方法为：若长度Length＝n的两个频繁序列S₁＝{s₁，s₂，…，s_n}和S₂＝{s′₁，s′₂，…，s′_n}，满足条件s₁＝s′₂，s₂＝s′₃，…，s_n-1＝s′_n，则S₁和S₂可通过连接生成长度Length＝n+1的候选序列C_i+1＝{s′₁，s′₂，…，s′_n，s_n}。

4.根据权利要求3所述的基于改进GSP的电力通信网络告警关联挖掘方法，其特征在于，所述步骤S33中的剪枝操作的具体方法为：若候选序列C_i+1＝{s′₁，s′₂，…，s′_n，s_n}中只要存在一个不是频繁序列的子序列，则C_i+1肯定不是频繁序列，可将C_i+1从候选序列集C_L_i+1中去除。

5.根据权利要求1所述的基于改进GSP的电力通信网络告警关联挖掘方法，其特征在于，所述步骤(2)中的所述网络拓扑模型采用SDH网络分层模型，是由SDH传输网络进行抽象，建立SDH的网络拓扑模型。

6.根据权利要求5所述的基于改进GSP的电力通信网络告警关联挖掘方法，其特征在于，所述SDH传输网络的实体类型包括分插复用器、同步数字交叉连接设备、终端复用器、再生中继器以及传输线路。

Images