CN112615735A - 一种基于贝叶斯网络的告警根因分析方法及过滤方法 - Google Patents

Abstract

本发明提出了一种基于贝叶斯网络的告警根因分析方法及过滤方法，通过构建告警贝叶斯网络，并用于分析告警之间的关联关系，以准确找到根源告警。同时，本发明结合Spark计算引擎并行优化算法，很大程度上提高了算法的时间效率；并且对网络告警进行预处理，过滤网络中发生频率高、持续时间短而重要程度低的颤动告警，以提高告警训练数据的质量，使得构建的告警贝叶斯网络模型的准确度更高。本发明基于上述操作，在准确率和时间效率表现优异，并且在大数据的环境下，能通过和spark框架结合，提升算法的时间效率，能更好的适应大数据环境。

Description

一种基于贝叶斯网络的告警根因分析方法及过滤方法

技术领域

本发明属于计算机智能运维告警根因分析技术领域，具体地说，涉及一种基于贝叶斯网络的告警根因分析方法及过滤方法。

背景技术

电信网络中，网络组件通过应用/服务调用而关联。当网络中的某些组件发生故障或监控指标出现异常时，与其相关联的组件或应用会受到不同程度的影响。因此，在网络告警系统中，当某些组件发生告警后，告警可能沿着调用链方向传播。准确分析网络告警根源是进行故障处理的关键，对于提高网络运维效率具有重要意义。

发明内容

本发明针对现有技术的上述需求，提出了一种基于贝叶斯网络的告警根因分析方法及过滤方法，本发明基于贝叶斯网络的分析算法SK2，并结合Spark框架对根因分析进行并行优化，同时针对电信运维应用中存在大量颤动告警的情况，提出了颤动告警过滤方法，以减小颤动告警对训练贝叶斯网络的影响。本发明通过上述操作实现了准确地告警数据的根因分析。

本发明具体实现内容如下：

本发明提出了一种基于贝叶斯网络的告警根因分析方法，首先使用告警数据构建告警训练集；然后利用告警训练集结合Spark引擎训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络；最后根据告警贝叶斯网络分析实时告警，找到实时告警之间的关联关系，从而定位根源告警。

为了更好地实现本发明，进一步地，所述构建告警训练集的具体步骤为：

首先给出一个历史告警数据集M，所述历史告警数据集M中包括n个告警种类；

然后根据历史告警数据集M生成一个m×n大小的共现矩阵D；

接着定义一个时间窗口的大小，将告警数据在所述时间窗口进行标记，并构建为一个训练case；

然后移动时间窗口，构建出下一个训练case；

最后将所有构建出的训练case存储在共现矩阵D中得到完整的告警训练集，设定在共现矩阵D上的索引gij为位置(i,j)，代表第i个训练case所对应的关联告警事物集中的第j个告警元，用值x代表位置(i,j)上的告警是否发生，所述x取值范围为0或1，当x等于1时代表告警发生，当x等于0时代表告警不发生。

为了更好地实现本发明，进一步地，所述训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络的具体步骤为：

首先创建一个包含X个分区的弹性分布式数据集RDD，采用自定义的分区策略划分多个分区；

然后在每个分区映射同一个告警训练集和一个告警元；

接着在每一个分区中都进行相同的父节点集Pa计算，进行网络结构的评分；

然后汇总收集评分结果；

最后根据评分结构生成告警贝叶斯网络模型。

为了更好地实现本发明，进一步地，进行相同的父节点集Pa计算和网络结构的评分的具体步骤为：

首先，初始化父节点集Pa：＝{}；

其次，计算每个分区对应告警种类i与父节点集Pa的结构评分g_old；

然后，找到order中i的前缀节点z，计算i与(Pa∪z)的结构评分g_new；当结构评分g_new＞结构评分g_old时，将结构评分g_old的值赋值给结构评分g_new；将Pa∪{z}的值赋值给父节点集Pa。

本发明还提出了一种网络的颤动告警的过滤方法，用于上述的告警根因分析方法，所述过滤方法具体步骤为：在使用告警数据构建告警训练集之前，对网络的告警数据进行预处理过滤，具体处理方法为：设定告警权重条件，告警平均存活时间条件，告警量条件和所有告警元示例存活条件；给定参数组(a,b,c,d)和M个告警元，设定所有告警元的实例的平均存活时间为t，对于M个告警元中的任意告警元X的一个告警实例X.x，若告警实例X.x满足告警权重条件，告警平均存活时间条件，告警量条件和所有告警元示例存活条件，则认定告警实例X.x为高频颤动告警，将告警数据中的高频颤动告警删除过滤后，再将告警数据用于所述告警根因分析方法中；所述参数组(a,b,c,d)为根据具体场景设定的自定义值。

为了更好地实现本发明，进一步地，设定告警元X的一个告警实例X.x的持续时间为T，同时在时间T持续期间有Y个除告警实例X.x外的告警实例发生，则得到告警实例X.x的权重W_X,x为：

设定若告警元X在一段时间内发生了n次告警，则在这一段时间内告警X的权重WX为：

所述告警权重条件为：告警元X为权重最小的前a％之一；

所述告警平均存活时间条件为：告警元X的平均存活时间小于bt；

所述告警量条件为：告警元X为告警量最大的前c％之一；

所述所有告警元示例存活条件为：告警元X的所有实例为存活时间最小的前d％之一。

本发明具有以下优点及有益效果：

本发明通过构建告警贝叶斯网络，并用于分析告警之间的关联关系，以准确找到根源告警。同时，本发明结合Spark计算引擎并行优化算法，很大程度上提高了算法的时间效率；并且对网络告警进行预处理，过滤网络中发生频率高、持续时间短而重要程度低的颤动告警，以提高告警训练数据的质量，使得构建的告警贝叶斯网络模型的准确度更高。

附图说明

图1为本发明大致流程示意图；

图2为过滤示意图；

图3为告警仿真数据生成流程图；

图4为n＝100,p＝0.12时的算法的时间效率对比图；

图5为n＝100,p＝0.16时的算法的时间效率对比图；

图6为n＝100,p＝0.12时的算法的算法正确率对比图；

图7为n＝100,p＝0.16时的算法的算法正确率对比图；

图8为2.5万条串行化训练告警数据和10万条并行化训练告警数据所花时间对比图；

图9为10万条串行化训练告警数据和10万条并行化训练告警数据所花时间对比图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

本实施例提出了一种网络的颤动告警的过滤方法，如图2所示，对网络告警进行预处理，过滤网络中发生频率高、持续时间短而重要程度低的颤动告警，以减少网络监控中心处理的告警量，同时提高网络告警根源定位的准确性。

具体为：

首先给出以下几个定义：

定义1：若告警X的一个告警实例X.x的持续时间为T,同时在这个时期内有Y个其它告警实例发生，则X.x的权重WX,x为：

根据定义1可知，在一个告警的存活期内发生告警的其他有效告警元越密集，则该告警的权重越大，重要程度越大。

定义2：若告警X在一段时间内发生了n次告警，则告警X在这段时间内的权重WX为：

定义3：给定参数组(a,b,c,d)和M个告警元，设所有告警实例的平均存活时间为t,如果任意告警元X的一个实例X.x满足以下条件，则称X.x为高频颤动告警：

条件1：告警元X为权重最小的前a％之一；

条件2：告警元X的平均存活时间小于bt；

条件3：告警元X为告警量最大的前c％之一；

条件4：告警元X的所有实例为存活时间最小的前d％之一。

对于任何的告警数据集，t可以通过计算获得，(a,b,c,d)可根据具体的场景配置，基于以上的定义，我们可以过滤掉网络中高频颤动告警。

实施例2：

本实施例还提出了一种基于贝叶斯网络的告警根因分析方法，如图1所示，

步骤1：预处理：对网络告警进行预处理，过滤网络中发生频率高、持续时间短而重要程度低的颤动告警，以减少网络监控中心处理的告警量，同时提高网络告警根源定位的准确性。

具体为：

首先给出以下几个定义：

定义1：若告警X的一个告警实例X.x的持续时间为T,同时在这个时期内有Y个其它告警实例发生，则X.x的权重WX,x为：

根据定义1可知，在一个告警的存活期内发生告警的其他有效告警元越密集，则该告警的权重越大，重要程度越大。

定义2：若告警X在一段时间内发生了n次告警，则告警X在这段时间内的权重WX为：

定义3：给定参数组(a,b,c,d)和M个告警元，设所有告警实例的平均存活时间为t,如果任意告警元X的一个实例X.x满足以下条件，则称X.x为高频颤动告警：

条件1：告警元X为权重最小的前a％之一；

条件2：告警元X的平均存活时间小于bt；

条件3：告警元X为告警量最大的前c％之一；

条件4：告警元X的所有实例为存活时间最小的前d％之一。

对于任何的告警数据集，t可以通过计算获得，(a,b,c,d)可根据具体的场景配置，基于以上的定义，我们可以过滤掉网络中高频颤动告警。

步骤2、构建告警训练集：首先，定义时间窗口的大小，将步骤1预处理过后的告警数据在此时间窗口内的告警进行标记，并构建一个训练case；然后，移动时间窗口，构造下一个训练集；最后，构造出完整的告警训练集。

具体为：

首先给出如下定义

定义：给定一个历史告警数据集合M，其中包括n个告警种类，可生成一个m×n大小的共现矩阵Dm×n，在共现矩阵D中索引为(i,j)的位置上面存储有值x(即gij)，其代表第i个训练case所对应的关联告警事务集中，第j个告警元是否出现。其中x的取值范围为0或1，1代表告警发生，0代表告警不发生。

例如，假设告警的种类为X,Y,Z,A,B,C，给定时间t1,t2,在[t1,t2]中我们从过滤后的告警数据中得到一组告警实例[X₁,Y₁,X₂,A₁,X₃,C₁,Y₂]，那么training_i＝[1,1,0,1,0,1],该数组的索引从0-5依次代表X,Y,Z,A,B,C。当training_i构造完，我们为下一个training_i设定时间范围，此时我们令t₁＝t₂-random,其原因是我们想让这个训练集实例覆盖上一个训练集实例的末尾部分，以构成连续的告警实例。最后输出告警训练集，即共现矩阵D。

步骤3、利用步骤2中制作好的训练集并结合Spark训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络，如图1所示；

具体为：

①创建一个包含X个分区的弹性分布式数据集RDD，采用自定义分区策略划分分区；

②每个分区映射同一个训练集D和一个告警元；

③每个弹性分布式数据集RDD执行以下相同的计算步骤：

a.初始化父节点集Pa:＝{}；

b.计算每个分区对应告警种类i与Pa的结构评分记为gold；

c.OKToProceed:＝true

d.While OKToProceed&&|Pa|<u:

找到order中i的前缀节点z,计算i与(Pa∪z)的结构评分，记为gnew；

当结构评分gnew＞结构评分gold时，将结构评分gold的值赋值给结构评分gnew；将Pa∪{z}的值赋值给父节点集Pa；

else OKToProceed:＝false；

end{while}；

write{‘告警:’i，‘对应的父告警’:Pa}；

其中P_a表示告警种类i对应的父告警集合，g_old表示告警种类i与父告警集合P_a对应的网络结构评分，OKToProceed为初始化参数，赋值为true；|P_a|<u表示告警i对应的父告警的个数小于我们指定的个数u；order是根据经验给出的告警种类之间的相对顺序，g_new为告警i的父告警集合P_a新加入节点z与告警i的最新网络结构评分；如果g_new>g_old,则把g_new的值赋值给g_old，同时把节点z加入P_a集合，继续执行循环，否则令OKToProceed为false，结束循环，最后输出告警i对应的父告警集合P_a。

④从线程池中获取一个线程t,提交弹性分布式数据集RDD到Spark集群开始计算。

⑤从spark收集计算结果，得到告警贝叶斯网络

步骤4、根据步骤3得到的告警贝叶斯网络分析实时告警，找到实时告警之间的关联关系，从而准确定位到根源告警。

本实施例的其他部分与上述实施例1相同，故不再赘述。

实施例3：

本实施例在上述实施例2的基础上，本实施例中采用仿真数据，为了提高产生告警数据的质量以及更加符合实际应用场景中电信网络告警产生的规则，我们使用Paul Erd″os and Alfr′ed R′enyi defined in 1959,On random graphs I.PublicationesMathematicae Debrecen提出的两种网络拓扑图生成方法中(G(n,p)和G(n,M))的一种，即G(n,p)方法，并以该方法生成的随机图为依据，产生告警仿真数据，其流程如附图3；

我们将用Apriori、FP-growth、改进的prefixspan算法作为对照试验。实验将令n＝100,p＝0.12时，产生3万条告警，去除颤动告警后以1万、1.5万、2万、2.2万、2.5万告警作为训练集来测试算法,当n＝100,p取0.16同上。产生仿真数据的参数t1∈[0,300],t2、t4∈[300,480],t3∈[50,150],P为0.4。对照实验中的最小支持度min_support＝20,置信度为0.1。

首先，对比算法的时间效率，其结果如图4、图5所示。从结果我们可以发现，Apriori算法的时间效率最低，因为它要多次扫描数据库，在大规模数据中效率很低。而FP-growth算法由于只扫描两次数据库，所以效率相对于Apriori有很大的提升。改进的PrefixSpan算法由于不会产生候选序列，避免了对候选序列进行操作的开销，所以时间效率明显高于Apriori和FP-growth算法。我们能看到SK2算法的时间效率最稳定，不会依赖p的改变而改变，而只跟数据集的大小有关，因为在计算网络结构评分的时候，是在整个数据集上进行计算，只要数据集的大小不发生变化，则时间效率基本保持一致。

其次，对比算法推理告警根源的准确率，其结果如图6、图7所示。从结果我们可以发现，当数据量较少时，基于数据挖掘的算法的准确率要高于SK2算法，但随着告警数据量的增加，SK2算法的准确率实现反超，表现的更加良好，当产生的告警数量更多，发现的证据越多，贝叶斯推理的准确性就越高，这也证明了在自然界中支持某项属性的事件发生得愈多，则该事件发生的的可能性就愈大。

最后，通过结合Spark框架对算法进行并行优化，优化前后的对比如图8、图9所示。我们将告警训练集从25000条提高到10万条告警，在其他参数不变的情况下，我们来对比串行化训练25000条告警数据与并行化训练10万条告警数据所花的时间，以及串行化、并行化训练10w条告警的对比，可以看到并行训练10w条告警所花的时间与串行化训练2.5w条告警所花的时间只差大约20s，如果除去Spark跟集群发送数据的通信时间，那么两者的时间非常接近。而训练10w条告警时，并行化的优势立马显现出来。

由此可见，本发明提出的一种基于贝叶斯网络的告警根因分析方法，在准确率和时间效率表现优异，并且在大数据的环境下，能通过和spark框架结合，提升算法的时间效率，能更好的适应大数据环境。

本实施例的其他部分与上述实施例2相同，故不再赘述。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化，均落入本发明的保护范围之内。

Claims (6)

1.一种基于贝叶斯网络的告警根因分析方法，其特征在于，首先使用告警数据构建告警训练集；然后利用告警训练集结合Spark引擎训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络；最后根据告警贝叶斯网络分析实时告警，找到实时告警之间的关联关系，从而定位根源告警。

2.如权利要求1所述的一种基于贝叶斯网络的告警根因分析方法，其特征在于，所述构建告警训练集的具体步骤为：

首先给出一个历史告警数据集M，所述历史告警数据集M中包括n个告警种类；

然后根据历史告警数据集M生成一个m×n大小的共现矩阵D；

接着定义一个时间窗口的大小，将告警数据在所述时间窗口进行标记，并构建为一个训练case；

然后移动时间窗口，构建出下一个训练case；

最后将所有构建出的训练case存储在共现矩阵D中得到完整的告警训练集，设定在共现矩阵D上的索引gij为位置(i,j)，代表第i个训练case所对应的关联告警事物集中的第j个告警元，用值x代表位置(i,j)上的告警是否发生，所述x取值范围为0或1，当x等于1时代表告警发生，当x等于0时代表告警不发生。

3.如权利要求2所述的一种基于贝叶斯网络的告警根因分析方法，其特征在于，所述训练告警贝叶斯网络，并根据网络结构评分更新贝叶斯网络的具体步骤为：

首先创建一个包含X个分区的弹性分布式数据集RDD，采用自定义的分区策略划分多个分区；

然后在每个分区映射同一个告警训练集和一个告警元；

接着在每一个分区中都进行相同的父节点集Pa计算，进行网络结构的评分；

然后汇总收集评分结果；

最后根据评分结构生成告警贝叶斯网络模型。

4.如权利要求3所述的一种基于贝叶斯网络的告警根因分析方法，其特征在于，进行相同的父节点集Pa计算和网络结构的评分的具体步骤为：

首先，初始化父节点集Pa：＝{}；

其次，计算每个分区对应告警种类i与父节点集Pa的结构评分g_old；

然后，找到order中i的前缀节点z，计算i与(Pa∪z)的结构评分g_new；当结构评分g_new＞结构评分g_old时，将结构评分g_old的值赋值给结构评分g_new；将Pa∪{z}的值赋值给父节点集Pa。

5.一种网络的颤动告警的过滤方法，用于权利要求1-4任一项所述的告警根因分析方法，其特征在于，在使用告警数据构建告警训练集之前，对网络的告警数据进行预处理过滤，具体处理方法为：设定告警权重条件，告警平均存活时间条件，告警量条件和所有告警元示例存活条件；给定参数组(a,b,c,d)和M个告警元，设定所有告警元的实例的平均存活时间为t，对于M个告警元中的任意告警元X的一个告警实例X.x，若告警实例X.x满足告警权重条件，告警平均存活时间条件，告警量条件和所有告警元示例存活条件，则认定告警实例X.x为高频颤动告警，将告警数据中的高频颤动告警删除过滤后，再将告警数据用于所述告警根因分析方法中；所述参数组(a,b,c,d)为根据具体场景设定的自定义值。

6.如权利要求5所述的一种网络的颤动告警的过滤方法，其特征在于，设定告警元X的一个告警实例X.x的持续时间为T，同时在时间T持续期间有Y个除告警实例X.x外的告警实例发生，则得到告警实例X.x的权重W_X,x为：

设定若告警元X在一段时间内发生了n次告警，则在这一段时间内告警X的权重WX为：

所述告警权重条件为：告警元X为权重最小的前a％之一；

所述告警平均存活时间条件为：告警元X的平均存活时间小于bt；

所述告警量条件为：告警元X为告警量最大的前c％之一；

所述所有告警元示例存活条件为：告警元X的所有实例为存活时间最小的前d％之一。

Images