CN101997709A - 一种根告警数据分析的方法及其系统 - Google Patents

Abstract

本发明提供一种根告警数据分析的方法及其系统，该方法应用于包括具有指示网元连接关系的端到端模型的系统中，包括：按网元类型和告警原因将历史告警数据全集分成多个告警子集；将划分得到的告警子集两两任意组合，如计算得到每一种组合中的该两个告警子集在历史告警全集中的支持度大于设定的第一阈值，再对该两个告警子集中的每一个告警子集，分别判断在该告警子集中告警存在的条件下，另一个告警子集中的告警同时存在的条件概率是否大于设定的第二阈值，如是，则判定作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警。通过本发明可以实现自动发现根告警与冗余告警的关联规则，可以有效减少综合网管中的活动的告警数量。

Description

一种根告警数据分析的方法及其系统

技术领域

本发明涉及电信网管故障管理领域，更具体地涉及电信网管尤其是国家级省级大型综合网管中基于端到端模型的根告警数据分析的方法及其系统。

背景技术

综合网管系统建立在各专业电信网管系统的基础之上，通过标准接口，实现跨专业网的数据集中、管理和分析。其中故障管理需要在界面上进行实时呈现反映网元设备故障状态的活动告警，以便维护人员根据这些告警进行相应的日常维护，确保电信网络的稳定运行。由于各个专业网管上的活动告警都有一定的数据规模(K数量级)，集中汇聚到综合网管后其数量就相当庞大(10K数量级)，如此多的活动告警既无法在界面上有效显示，操作维护人员也无法进行处理。根据实际的运营经验，发生故障的网元设备是少数，当某个网元设备(这里称之为主设备)发生故障并上报告警的时候，与该网元有连接关系的其它网元设备(包括跨专业的网元)也会产生一系列的告警，这些告警其实就是冗余告警，应该被主设备上的告警压缩抑制。这样可以有效减少综合网管中的活动告警数量，以便于操作维护人员准确定位故障网元，派发故障单给相关人员进行网络维护。

在传统的网管系统中，告警压缩主要根据硬件专家提供业务知识而定制的处理逻辑或关联规则，系统根据这些预定义的关联规则来确认告警之间的相关性，过滤冗余告警。然而，综合网管管理各个专业的网元设备，网元设备间的连接最终取决于现场工程实施，单纯依靠专家提供关联规则不太现实，工作量大、效率低，而且规则数也比较有限。

发明内容

本发明要解决的技术问题是提供一种根告警数据分析的方法及其系统，以利用已有的海量历史告警数据和端到端模型中网元连接关系，通过数据挖掘来实现自动判定根告警与冗余告警的关联规则，进而可以用根告警来压缩抑制相应的冗余告警。

为了解决上述问题，本发明提供了一种根告警数据分析的方法，应用于包括具有指示网元连接关系的端到端模型的系统中，包括：

按网元类型和告警原因将历史告警数据全集分成多个告警子集，同一告警子集中所有告警的网元类型和告警原因相同；

将划分得到的告警子集两两任意组合，对每一种组合中的两个告警子集，如计算得到的该两个告警子集在历史告警全集中的支持度大于设定的第一阈值，再对该两个告警子集中的每一个告警子集，分别判断在该告警子集中告警存在的条件下，另一个告警子集中的告警同时存在的条件概率是否大于设定的第二阈值，如是，则判定作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警。

进一步地，上述方法还可具有以下特点：用所述判定为根告警的告警子集中的告警屏蔽相对于该根告警为冗余告警的所述另一个告警子集中的告警。

进一步地，上述方法还可具有以下特点：所述支持度为所述两个告警子集并集的告警总数与所述历史告警数据全集的告警总数的比例。

进一步地，上述方法还可具有以下特点：所述条件概率为所述两个告警子集中的其中一个告警子集的告警存在的条件下，另一个告警子集中的告警同时存在的告警数与作为条件的所述告警子集中的告警数的比例。

进一步地，上述方法还可具有以下特点：所述在该告警子集中告警存在的条件下，另一个告警子集中的告警同时存在的判断具体为，若所述两个告警子集中的告警发生的时间差的绝对值小于第一时间因子，并且当故障消除时所述两个告警子集中的告警消除的时间差的绝对值小于第二时间因子，则判断所述两个告警子集中的告警同时存在。

本发明还提供一种根告警数据分析的系统，包括具有指示网元连接关系的端到端模型，其中，包括：

拆分单元，其用于按网元类型和告警原因将历史告警数据全集分成多个告警子集，同一告警子集中所有告警的网元类型和告警原因相同；

支持度计算单元，将划分得到的告警子集两两任意组合，计算每一种组合中的两个告警子集在历史告警全集中的支持度；

置信度计算单元，若所述支持度计算单元所计算的支持度大于第一阈值，则所述置信度计算单元对该两个告警子集中的每一个告警子集，分别计算在该告警子集中告警存在的条件下，另一个告警子集中告警同时存在的条件概率；

判定单元，若所述条件概率大于第二阈值，则所述判定单元判定在所述置信度计算单元计算条件概率过程中作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警。

进一步地，上述系统还可具有以下特点：屏蔽单元，用所述判定为根告警的告警子集中的告警屏蔽相对于该根告警为冗余告警的所述另一个告警子集中的告警。

进一步地，上述系统还可具有以下特点：所述置信度计算单元中包括判断模块、记录模块和计算模块，

若所述两个告警子集中的告警发生的时间差的绝对值小于第一时间因子，并且当故障消除时所述两个告警子集中的告警消除的时间差的绝对值小于第二时间因子，则所述判断模块判断所述两个告警子集中的告警同时存在；

若所述两个告警子集中的告警同时存在，则所述记录模块记录所述两个告警子集中的告警同时存在的告警数；

所述计算模块计算所述两个告警子集中的告警同时存在的告警数与所述两个告警子集中的每一告警子集的告警数的比例。

综上所述，本发明提供的根告警数据分析的方法及其系统可以对存储在数据库中的大量历史告警进行告警数据挖掘分析，可以实现自动发现根告警与冗余告警的关联规则，进而可以用根告警来屏蔽或压缩抑制相对冗余告警，可以有效减少综合网管中的活动的告警数量，以便于操作维护人员准确定位故障网元，从而将派发故障单给相关人员进行网络维护。

附图说明

图1为典型的端到端模型连接的示意图；

图2为根据本发明实施例的根告警数据分析的系统的示意图；

图3为根据本发明实施例的根告警数据分析的方法的流程图；

图4为根据本发明的根告警数据分析的方法的应用示例的流程图。

具体实施方式

端到端是源和目的之间的逻辑通信连接链路，这条逻辑链路可能经过了很复杂的物理路线，如图1所示，就是一个典型的端到端模型连接。综合网管的端到端模型管理主要管理跨多个网元的端到端逻辑连接和该逻辑连接所基于相邻网元之间的物理连接。

本发明提供的根告警数据分析的方法主要是利用端到端模型中网元发出的已有的海量历史告警数据和端到端模型中网元的连接关系，通过数据挖掘来实现自动判定根告警与冗余告警的关联规则。

下面结合附图及实施例对本发明的技术方案进行更详细的说明。

图2是本发明实施例的根告警数据分析的系统的示意图，本发明实施例的根告警数据分析的系统包括端到端模型，可以从该端到端模型获取网元连接关系，如2图所示，该系统包括：

拆分单元，其用于按网元类型和告警原因将历史告警数据全集分成多个告警子集，同一告警子集中所有告警的网元类型和告警原因相同。

支持度计算单元，将划分得到的告警子集两两任意组合，计算每一种组合中的两个告警子集在历史告警全集中的支持度。

置信度计算单元，若所述支持度计算单元所计算的支持度大于第一阈值，则所述置信度计算单元对该两个告警子集中的每一个告警子集，分别计算在该告警子集中告警存在的条件下，另一个告警子集中告警同时存在的条件概率；

其中置信度计算单元中包括判断模块、记录模块和计算模块，

若所述支持度大于第一指定值，则所述判断模块判断所述两个告警子集中的告警是否同时存在，若所述两个告警子集中的告警发生的时间差的绝对值小于第一时间因子，并且当故障消除时所述两个告警子集中的告警消除的时间差的绝对值小于第二时间因子，则所述判断模块判断所述两个告警子集中的告警同时存在，

若所述两个告警子集中的告警同时存在，则所记录模块记录所述两个告警子集中同时存在的告警，

所述计算模块计算所记录同时存在的告警数与所述两个告警子集中的一个告警子集的告警数的比例。

判定单元，若所述条件概率大于第二阈值，则所述判定单元判定在所述置信度计算单元计算条件概率过程中作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警。

该系统还包括屏蔽单元，用所述判定为根告警的告警子集中的告警屏蔽相对于该根告警为冗余告警的所述另一个告警子集中的告警。

图3是根据本发明实施例的根告警数据分析的方法的流程图。如图3所示，本发明实施例的根告警数据分析的方法包括：

步骤S101，按网元类型和告警原因将海量的历史告警数据全集分成多个告警子集，同一告警子集中所有告警的网元类型和告警原因相同；

这里的历史告警数据具有上千万条，每条历史告警数据中包括多个不同网元类型和不同告警原因的告警，每个告警数据中包括多个重要属性：网元位置、严重级别、网元类型、告警类型、产生时间和告警原因等。

可以将总的历史告警数据当成一个全集，假设系统中存在的网元类型集合为N＝{n₁，n₂，n₃，...，n_i，...}，告警原因集合为C＝{c₁，c₂，c₃，...，c_j，...}，那么按网元类型N和告警原因C的笛卡尔积可以将历史告警全集A分为多个告警子集

那么，任意两个告警子集

知

的关联分析涉及到支持度和置信度两个指标的计算。

步骤S102，将划分得到的告警子集两两任意组合，计算每一种组合中的两个告警子集在历史告警全集中的支持度；

任两个告警子集在历史告警全集中的支持度可以表示为：

支持度

即，计算任意两个告警子集并集的记录数占历史告警数据全集的记录数的百分比。若支持度太小(比如，低于1％)，则表示

和

告警出现的概率很小，不能确定两者关联程度。也就是说明这两类告警出现的数量很小，不能用来计算后面的置信度，其计算结果不能上升为普遍规律。只有支持度大于设定的第一阈值，下面计算置信度才有意义，该第一阈值可以由用户或专家根据实际的情况设置。

步骤S103，若步骤S102中的支持度大于第一阈值，则对该两个告警子集中的每一个告警子集，分别计算在该告警子集中告警存在的条件下，另一个告警子集中告警同时存在的条件概率；

该条件概率表示两个告警子集中同时存在的告警数与作为条件的所述告警子集中的告警数的比例。

可以表示为置信度：

$\mathrm{confidence}(A_{n_i,c_j}\⇒A_{n_x,c_y})=P\left(A_{n_i,c_j}\right|A_{n_x,c_y})$

$=P(A_{n_i,c_j}\∩A_{n_x,c_y})/P\left(A_{n_x,c_y}\right)$

在一端到端连接中，在网元类型为n_x的网元上存在告警原因为c_y的告警的条件下，网元类型为n_i的网元存在告警原因为c_j的告警的条件概率。也就是在网元类型为n_x的网元上存在告警原因为c_y的告警的条件下，网元类型为n_x的网元上存在告警原因为c_y的告警和网元类型为n_i的网元存在告警原因为c_j的告警同时存在的概率。

这里将涉及在两个不同的告警子集中的告警同时存在的判断，若在两个不同的告警子集中的两个告警发生的时间差的绝对值小于第一时间因子T1以及处理完故障时告警清除的时间差的绝对值都小于设定的第二时间因子T2(第一时间因子T1和第二时间因子T2根据具体系统情况指定，默认值为1分钟)，则判断这两个告警是同时存在。

步骤S104，若步骤S103中的条件概率大于第二阈值，则确定在计算条件概率过程中作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警；

根据数据挖掘中数据相关性分析理论，若步骤S103中，在网元类型n_x的网元上存在告警原因c_y的告警的条件下，网元类型n_i的网元存在告警原因c_j的告警的条件概率大于第二阈值(该第二阈值可以由用户或专家根据

可以采用该根告警来屏蔽或者抑制同一端到端连接中相对的冗余告警。

上述条件概率的值越大，即置信度越大，说明告警子集

中的告警和告警子集

中的告警的相关程度越强，那么在同一端到端连接上，可以确定根故障是发生在告警子集

中的告警存在的网元，即可判定该告警就是相对的根告警，就可以用该根告警屏蔽或抑制相对的冗余告警。

在完成全部统计计算后，列出支持度大于某个指定值(例如：1％)且置信度大于某个指定值(例如：80％)的关联告警分类与

经筛选后，添加到综合网管系统中生效，可以用作为根告警的网元类型为n_x告警原因为c_y的告警去屏蔽或压缩抑制一个端到端连接上的相对的冗余告警(网元类型为n_i告警原因为c_j的告警)。

使用本发明的方法，解决了海量历史告警数据的计算复杂度问题，能够自动进行基于端到端模型中的网元连接关系的告警挖掘分析出根告警，可以判定根故障是出现在分析出来的根告警所在的网元中的一个上，找出基于端到端连接的根告警与冗余告警的关联规则，很大程度地提高综合网管的告警压缩率。

下面参见图4，对本发明的根告警数据分析的方法进行详细的说明。图4是根据本发明的根告警数据分析的方法的应用示例的流程图，包括：

步骤S01：把历史告警数据放入历史告警表HisAlarm中，然后进行数据清理，主要清除发生时间异常的告警数据和重复的告警数据。

步骤S02：统计历史告警表HisAlarm中历史告警数据的记录数M。

步骤S03：按网元类型NetypeID与告警原因CauseID的笛卡尔积循环创建多个告警子表HisAlarm_[NetypeID]_[CauseID]。

步骤S04：统计网元类型为n_x并且告警原因为c_y的告警子表HisAlarm_[n_x]_[c_y]中的告警记录Record_[n_x]_[c_y]的记录数

步骤S05：根据告警子表HisAlarm_[n_x]_[c_y]和告警子表HisAlarm_[n_i]_[c_j]构造告警记录Record_[n_x]_[c_y]和告警记录Record_[n_i]_[c_j]关联的关联告警子表Corelation_[n_i]_[c_j]_[n_x]_[c_y]，具体方法如下：

遍历告警子表HisAlarm_[n_x]_[c_y]中所有的告警记录Record_[n_x]_[c_y]，如果在告警子表HisAlarm_[n_i]_[c_j]中查找存在满足下面两个条件的告警记录Record_[n_i]_[c_j]，则将Record_[n_x]_[c_y]和Record_[n_i]_[c_j]插入到Corelation_[n_i]_[c_j]_[n_x]_[c_y]表：

1)Record_[n_i]_[c_j]和Record_[n_x]_[c_y]所在的网元归属于同一个端到端连接；

系统中的端到端管理中存在端到端模型，里面记录了所有端到端连接的信息，即一个端到端连接经过了哪些网元。例如，Record_[n_i]_[c_j]和Record_[n_x]_[c_y]所在网元分别是网元NE_[n_i]_[c_j]和网元NE_[n_x]_[c_y]，只要任一端到端连接中同时存在NE_[n_i]_[c_j]和NE_[n_x]_[c_y]，那么表明两个告警记录所在网元有连接关系。

2)Record_[n_i]_[c_j]和Record_[n_x]_[c_y]发生时间差的绝对值和故障消除时告警消除的时间差的绝对值都小于相关时间因子T。

步骤S06：统计Corelation_[n_i]_[c_j]_[n_x]_[c_y]表中关联告警的记录数

步骤S07：清除所有的中间表，汇总所有的分析结果，根据M、

计算支持度

和置信度 $\mathrm{confidence}(A_{n_i,c_j}={=>A}_{n_x,c_y}).$

计算任两类告警的支持度，计算公式如下：

$\mathrm{support}(A_{n_i,c_j}\⇒A_{n_x,c_y})=P(A_{n_i,c_j}\∪A_{n_x,c_y})$

$=(M_{n_i,c_j}+M_{n_x,c_y})/M,$

其中，

M为历史告警的记录数；

为网元类型为n_i并且告警原因为c_j的告警的记录数；

为网元类型为n_x并且告警原因为c_y的告警的记录数；

为

与

告警子集并集的告警数在整个历史告警数据全集中的概率。

若

(例如：1％)，则计算该两个告警子集中的告警的置信度，置信度的计算公式如下：

$\mathrm{confidence}(A_{n_i,c_j}==>A_{n_x,c_y})=P(A_{n_i,c_j}\∩A_{n_x,c_y})/P\left(A_{n_x,c_y}\right)$

其中，

表示网元类型为n_x并且告警原因为c_y的告警在整个历史告警数据全集中的比例，也就是

中的告警出现的概率；

表示网元类型为n_x并且告警原因为c_y的告警和同一端到端连接中存在网元类型为n_i并且告警原因为c_j的告警同时出现的概率，其中：

M为历史告警的记录数；

为网元类型为n_x并且告警原因为c_y的告警的记录数；

为网元类型为n_x并且告警原因为c_y的告警和同一端到端连接中存在网元类型为n_i并且告警原因为c_j的告警同时出现的记录数。

步骤S08：若上述置信度大于第二阈值，则可以判定作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警，则可以用该根告警屏蔽相对的冗余告警；

若上述

(如：80％)，表明一个端到端连接中中的告警是相对于中告警的根告警，可以用该根告警(

中的告警)屏蔽或者压缩该端到端连接上与其相对的冗余告警(即，

中的告警)。

本发明提供的根告警数据分析的方法可以基于系统中的端到端模型的网元的连接关系对存储在数据库中的海量历史告警数据进行告警数据挖掘分析，可以实现自动发现根告警与冗余告警的关联规则，进而可以用根告警来压缩抑制相对的冗余告警，可以有效减少综合网管中的活动的告警数量，以便于操作维护人员准确定位故障网元，派发故障单给相关人员进行网络维护。

以上实施例仅是为说明根据本发明的基于端到端模型的根故障分析的方法的示例，不应当理解为对本发明的限制，根据本发明的技术方案及其较佳实施例的描述，可以做出各种可能的等同改变或替换，而所有这些改变或替换都应属于本发明的权利要求的保护范围。

Claims (8)

1.一种根告警数据分析的方法，应用于包括具有指示网元连接关系的端到端模型的系统中，包括：

按网元类型和告警原因将历史告警数据全集分成多个告警子集，同一告警子集中所有告警的网元类型和告警原因相同；

将划分得到的告警子集两两任意组合，对每一种组合中的两个告警子集，如计算得到的该两个告警子集在历史告警全集中的支持度大于设定的第一阈值，再对该两个告警子集中的每一个告警子集，分别判断在该告警子集中告警存在的条件下，另一个告警子集中的告警同时存在的条件概率是否大于设定的第二阈值，如是，则判定作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警。

2.如权利要求1所述的方法，其特征在于，

用所述判定为根告警的告警子集中的告警屏蔽相对于该根告警为冗余告警的所述另一个告警子集中的告警。

3.如权利要求1所述的方法，其特征在于，

所述支持度为所述两个告警子集并集的告警总数与所述历史告警数据全集的告警总数的比例。

4.如权利要求1所述的方法，其特征在于，所述条件概率为所述两个告警子集中的其中一个告警子集的告警存在的条件下，另一个告警子集中的告警同时存在的告警数与作为条件的所述告警子集中的告警数的比例。

5.如权利要求1至4任一项所述的方法，其特征在于，所述在该告警子集中告警存在的条件下，另一个告警子集中的告警同时存在的判断具体为，

若所述两个告警子集中的告警发生的时间差的绝对值小于第一时间因子，并且当故障消除时所述两个告警子集中的告警消除的时间差的绝对值小于第二时间因子，则判断所述两个告警子集中的告警同时存在。

6.一种根告警数据分析的系统，包括具有指示网元连接关系的端到端模型，其中，包括：

拆分单元，其用于按网元类型和告警原因将历史告警数据全集分成多个告警子集，同一告警子集中所有告警的网元类型和告警原因相同；

支持度计算单元，将划分得到的告警子集两两任意组合，计算每一种组合中的两个告警子集在历史告警全集中的支持度；

置信度计算单元，若所述支持度计算单元所计算的支持度大于第一阈值，则所述置信度计算单元对该两个告警子集中的每一个告警子集，分别计算在该告警子集中告警存在的条件下，另一个告警子集中告警同时存在的条件概率；

判定单元，若所述条件概率大于第二阈值，则所述判定单元判定在所述置信度计算单元计算条件概率过程中作为条件的该告警子集中的告警是相对于另一个告警子集中告警的根告警。

7.如权利要求6所述的系统，其特征在于，还包括，

屏蔽单元，用所述判定为根告警的告警子集中的告警屏蔽相对于该根告警为冗余告警的所述另一个告警子集中的告警。

8.如权利要求6或7所述的系统，其特征在于，所述置信度计算单元中包括判断模块、记录模块和计算模块，

若所述两个告警子集中的告警发生的时间差的绝对值小于第一时间因子，并且当故障消除时所述两个告警子集中的告警消除的时间差的绝对值小于第二时间因子，则所述判断模块判断所述两个告警子集中的告警同时存在；

若所述两个告警子集中的告警同时存在，则所述记录模块记录所述两个告警子集中的告警同时存在的告警数；

所述计算模块计算所述两个告警子集中的告警同时存在的告警数与所述两个告警子集中的每一告警子集的告警数的比例。

Images