CN105677759B - 一种信息通信网络中的告警关联性分析方法 - Google Patents

一种信息通信网络中的告警关联性分析方法 Download PDF

Info

Publication number
CN105677759B
CN105677759B CN201511021147.XA CN201511021147A CN105677759B CN 105677759 B CN105677759 B CN 105677759B CN 201511021147 A CN201511021147 A CN 201511021147A CN 105677759 B CN105677759 B CN 105677759B
Authority
CN
China
Prior art keywords
alarm
network
item
node
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511021147.XA
Other languages
English (en)
Other versions
CN105677759A (zh
Inventor
周文婷
王远征
李雪梅
樊秀娟
崔力民
许鸿飞
于忠迎
张海波
张玮
王鑫
褚明丽
寇晓溪
于蒙
徐鑫
周则军
赵庆凯
杨帆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BEIJING HUITONG JINCAI INFORMATION TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Jibei Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Xinjiang Electric Power Co Ltd
Original Assignee
BEIJING HUITONG JINCAI INFORMATION TECHNOLOGY Co Ltd
State Grid Corp of China SGCC
State Grid Jibei Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Xinjiang Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BEIJING HUITONG JINCAI INFORMATION TECHNOLOGY Co Ltd, State Grid Corp of China SGCC, State Grid Jibei Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Xinjiang Electric Power Co Ltd filed Critical BEIJING HUITONG JINCAI INFORMATION TECHNOLOGY Co Ltd
Priority to CN201511021147.XA priority Critical patent/CN105677759B/zh
Publication of CN105677759A publication Critical patent/CN105677759A/zh
Application granted granted Critical
Publication of CN105677759B publication Critical patent/CN105677759B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2458Special types of queries, e.g. statistical queries, fuzzy queries or distributed queries
    • G06F16/2465Query processing support for facilitating data mining operations in structured databases
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2455Query execution
    • G06F16/24564Applying rules; Deductive queries

Abstract

本发明公开了一种信息通信网络中的告警关联性分析方案,针对树形层次结构网络的拓扑的研究,根据网络节点的发生故障的时间、空间相关性,定义树形层次结构网络中的上层网络节点的时空相关性,基于上层网络节点的时空相关性,对树形层次网络中的上层节点进行分簇,根据分簇结果将总的告警数据库划分为多个子告警数据库,根据告警项的属性,如告警发生的频率、告警重要性级别、告警故障类型,确定各告警项的权重,利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘。本发明旨在解决树形层次化结构的信息与通信网络中的告警相关性分析问题,可以从大量告警信息中高效的挖掘到所感兴趣的告警关联规则。

Description

一种信息通信网络中的告警关联性分析方法
技术领域
本发明涉及通信网络技术领 域,特别是指一种信息通信网络中的告警关联性分析方法。
背景技术
信息网络技术和通信网络技术逐步走向融合,将实现网络的一体化,全网统一规划、建设、维护和优化,提升网络的服务质量。同时,由于信息网络技术和通信网络技术的融合,网络用户数的指数性增长,网络规模会越来越庞大,网络终端设备的种类呈现猛增趋势,网络故障发生的突然性增加,故障的原因更加多样性,导致整个网络的维护、管理、操作日益困难。告警与故障发生的根源并不是一一对应的关系,快速有效的找到告警产生的根源故障是网络技术人员研究的重要问题。处理告警数据的难点在于对大量数据的处理上,即从大量的告警信息中找到有效的故障根源信息。
为此,引入告警关联技术,管理中心自动分析告警信息流,通过对告警事件间的关联性分析,将大量告警数据所表示的有用信息集中到少量的告警数据上,从而减少告警数据的数量,可以有效地提高故障根源定位效率。目前,关于告警关联的分析方法有很多,主要有下面几种:基于规则推理、案例推理、模型推理、模糊逻辑、数据挖掘的告警关联技术。基于数据挖掘的告警关联分析技术,对过去告警数据库的归纳学习,从大量模糊的、不确定的、不完整的告警信息中挖掘出有效的信息,网络发生改变时,能够及时做出相应的调整,具有良好的自学习能力、适应性、可扩展性等特点,能快速有效的处理大量的网络告警数据,成为现在告警关联分析技术领域的研究热点。
然而,随着通信网络与信息网络的融合,大数据时代的到来,告警故障数据库的增大,对告警关联分析算法的性能有了更高的要求。关联规则挖掘的速率直接影响网络故障定位的效率。另外,树形的层次化结构网络在通信网络和信息网络中是一种常见模型,目前,在该网络场景下针对告警相关性 分析还没有相应的研究。
发明内容
有鉴于此,本发明的目的在于提出一种针对告警相关性分析的树形的层次化结构网络。
基于上述目的本发明提供的一种信息通信网络中的告警关联性分析方法,包括以下步骤:
1)根据网络节点的发生故障的时间、空间相关性,定义树形层次结构网络中的上层网络节点的时空相关性;
2)基于上层网络节点的时空相关性,对树形层次网络中的上层节点进行分簇,根据分簇结果将总的告警数据库划分为多个子告警数据库;
3)根据告警项的属性,确定各告警项的权重;
4)利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘。
进一步的,还包括使用2项集支持度的形式定义网络故障事务的相关性:
|Di∩j|表示在总的网络故障数据库中,节点i子网和节点j子网同时发生故障的事务项总数,|D|表示总的故障事务项的数目,定义网络故障事务的相关性为节点i子网和节点j子网同时发生故障的事务总数与总的故障事务项数的比值,即关联规则挖掘中的2项集支持度。
进一步的,考虑时间、空间相关度,将网络故障事务相关性定义为:
其中,|Di∩j|表示在总的网络故障数据库中,节点i子网和节点j子网同时发生故障的事务项总数,|D|表示总的故障事务项的数目,Nij表示节点i和j的在总时间范围内直接相互通信次数,N表示总通信次数,tni和tnj表示节 点i和j发生故障的时间,Δt表示在所有时间段上的平均故障发生时间差,定义网络故障事务的相关性为节点i子网和节点j子网同时发生故障的事务总数与总的故障事务项数的比值,并规定:当CorD(i,j)>α时,两个节点子网络间相关性强;否则,认为两节点子网络间相关性微弱,即不相关,α(0<α<1)为子网络间故障事务关联性的门限值。
进一步的,根据定义的网络故障关联性,对网络进行分簇处理,根据分簇结果,将整个网络告警数据库划分为多个子网络告警数据库。
进一步的,所述根据告警项的属性,确定各告警项的权重具体为:
步骤1:将问题层次结构化,构建问题的递阶层次结构模型,;
步骤2:针对每一个有支配能力的指标,构建成对比较矩阵;
步骤3:计算各指标对于各支配指标的权重,且检验成对比较矩阵的一致性;
步骤4:计算各指标对目标层的权重。
进一步的,所述的利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘的具体步骤为:
步骤一:扫描告警事务数据库T,得到告警事务中的所有告警项目,并按字典顺序排列;
步骤二:根据告警项的各属性值,如告警发生频率、告警重要级别、告警故障类型等,利用层次分析法计算各告警项目的权值;
步骤三:扫描告警事务数据库T,根据告警项目的权值,计算各告警事务项集t的权重值
步骤四:根据各告警事务项集的权重,计算各告警项集的加权支持度
根据预先设定的最小支持度阈值,产生加权的告警频繁k项集;
步骤五:将告警频繁k项集,根据告警加权项目集的先验性质,采用优化拼接和减枝方法,产生告警项目的候选k+1项集,计算候选告警k+1项集的 加权支持度,产生加权的告警频繁k+1项集;
步骤六:重复步骤四,直到无法继续产生告警频繁项目集。
从上面所述可以看出,本发明提供的信息通信网络中的告警关联性分析方案,由于针对树形层次结构网络的拓扑的研究,根据网络节点的发生故障的时间、空间相关性,定义树形层次结构网络中的上层网络节点的时空相关性,基于上层网络节点的时空相关性,对树形层次网络中的上层节点进行分簇,根据分簇结果将总的告警数据库划分为多个子告警数据库,根据告警项的属性,如告警发生的频率、告警重要性级别、告警故障类型,确定各告警项的权重,利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘。从而可以从大量告警信息中高效的挖掘到所感兴趣的告警关联规则。
附图说明
图1为数据库压缩的告警相关性树形图;
图2为加权的Apriori关联规则算法的流程图;
图3为根据告警项的属性确定各告警项权重的递阶层次结构模型图;
图4为告警关联算法与普通算法产生候选项集的数量条形图;
图5为警关联算法与普通算法产生加权频繁项集的时间折线图;
图6为告警关联算法与普通算法产生感兴趣的告警频繁项在总告警频繁项中所占的比例的条形图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
本发明提出的信息通信网络中的告警关联性分析方案是基于数据库压缩的告警相关性分析方案。如图1所示,为数据库压缩的告警相关性树形图。进一步地,本发明根据树形层次结构网络的拓扑的研究,提出将整个信息通信网络划分为多个不同的子网络,将告警数据库分为多个子告警数据库,然后使用加权的Apriori关联规则算法挖掘各子告警数据库中的关联规则,如图2所示,为加权的Apriori关联规则算法的流程图。
本发明的基本技术思路是,在树形的层次结构网络中,基于网络节点时空相关性对网络进行分簇,根据分簇结果将网络划分为多个子网络,从而告警数据库被分为多个子告警数据库,减小了告警数据库的规模。根据各告警 项的属性如:告警发生的频率、告警的重要级别、告警故障类型等,利用层次分析法确定告警权值,然后利用加权的Apriori关联规则挖掘算法挖掘各子告警数据库中的告警关联规则。
所述树形层次化结构网络中的基于数据库压缩的告警相关性分析方法包括:
根据网络节点的发生故障的时间、空间相关性,定义树形层次结构网络中的上层网络节点的时空相关性;
基于上层网络节点的时空相关性,对树形层次网络中的上层节点进行分簇,根据分簇结果将总的告警数据库划分为多个子告警数据库;
根据告警项的属性,如告警发生的频率、告警重要性级别、告警故障类型,确定各告警项的权重;
利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘。
进一步,所述根据网络节点的发生故障的时间、空间相关性,定义树形层次结构网络中的上层网络节点的时空相关性:
假设该两层的网络中上层网络节点个数为M,即有M个分支网络,发生故障的信息数据库D={t1,t2,…,tn},tn为故障信息的时间标识,每个tn时刻有一组上层网络节点故障信息。m表示在tn时刻发生故障的上层网络节点标号,即表示子网m内发生了故障。
使用2项集支持度的形式定义网络故障事务的相关性:
|Di∩j|表示在总的网络故障数据库中,节点i子网和节点j子网同时发生故障的事务项总数,|D|表示总的故障事务项的数目。定义网络故障事务的相关性为节点i子网和节点j子网同时发生故障的事务总数与总的故障事务项数的比值,即关联规则挖掘中的2项集支持度。节点i子网和节点j子网同时发生故障的次数占总的事务项数的比例越大,则其相关度越高,相反,则相关性越低。
一般情况下,故障数据库的统计并非是连续时间下对故障发生的信息进行统计,而是将时间离散化,在一段时间间隔内定期进行统计。因此当某一时刻统计到节点i子网与节点j子网发生了故障,很可能两个网络不是同一时 刻发生了故障,而是有一定的时间间隔。根据逻辑推理可以得出,两个网络发生故障的时间间隔越短,则两个网络的关联性越强。因此,假设t1,t2,…,tn为故障数据统计的时刻,各时刻间有相同的时间间隔,即t2-t1=…=tn-tn-1,当tn时刻节点i网络和j网络发生故障,则其可能在tn-1~tn时间段发生故障,假设节点i和j发生故障的时间为tni和tnj,则其在所有时间段上的平均故障发生时间差为
两个网络发生故障时间越相近,则故障发生的关联性越大,否则故障发生的关联性越小。
根据通信网络的树形多层结构模型,同层网络节点间的通信需要通过上层网络节点间接进行信息交互,如果网络节点i和j之间经常通信,则表示节点i子网络和j子网络内节点的通信比较频繁。那么,双方互相通信时,若一方的设备出现故障或者通信链路受到破坏,则另一方必将受到影响,这样,当故障发生时,节点i子网络和j子网络内互相通信的两个网络节点将同时产生告警。因此,两个网络节点间的通信次数也将影响其关联程度。假设节点i和j的在总时间范围内直接相互通信次数为Nij,其占总通信次数的比例越大,则其关联性越大,否则,两个节点间基本不相互通信,则故障发生的关联性越小。
根据上面的描述,考虑时间、空间相关度,将网络故障事务相关性重新修正为下式
其中,规定:当CorD(i,j)>α时,两个节点子网络间相关性强;否则,认为两节点子网络间相关性微弱,即不相关。α(0<α<1)为子网络间故障事务关联性的门限值。
所述基于上层网络节点的时空相关性,对树形层次网络中的上层节点进行分簇,根据分簇结果将总的告警数据库划分为多个子告警数据库包括:
根据网络间发生故障的时空相关性定义,可以判断两个子网络间故障发 生的关联程度,如果两个网络间的故障关联程度微弱,则将两个网络的所有告警信息一起挖掘关联规则意义不大,很可能挖掘到的告警关联规则没有实际意义,是一些对网络管理人员没有价值的信息。根据上一节定义的网络故障关联度,考虑了网络发生故障的关联性以及网络间发生故障的时空相关性,对网络进行分簇处理,根据分簇结果,将整个网络告警数据库划分为多个子网络告警数据库,后续将对子网络告警数据库进行关联规则挖掘,从而提高挖掘规则的准确度和挖掘效率。
应用图论的知识,定义G={V,E},V表示顶点,即子网络的集合,使用该子网络根节点的标号表示,E表示边,即两个子网络之间的故障发生的关联程度。根据网络故障关联度,定义关联度指示函数:
α(0<α<1)表示两个子网络间关联程度的门限值,另外,定义e(i,i)=1,表示子网络自身相关,关联性很强。根据关联度指示函数,构建一个二值网络关联度矩阵:
由关联度矩阵可以看出,各子网络间的关联程度。关联度矩阵呈对称阵,则第i行与第i列均表示子网络i与其他子网络的关联程度。由此可以定义子网络k的关联度:
当dG(vk)=0时,称vk为零度节点,表示子网络k与其他子网络关联度都很小,这样的子网络自成一簇,该网络内的告警单独进行规则挖掘。分析可知,网络的关联度越大,则该网络与其他子网络的故障关联性越大,反之,与其他网络的故障关联性越小。
所述基于上层网络节点的时空相关性,对树形层次网络中的上层节点的分簇,具体步骤如下:
步骤一,用顶点集合V构建关联度矩阵AG,初始化迭代因子h=1,孤立 顶点集合分簇集合节点集合
步骤二,找到所有的零度节点vk,更新S=S∪vk;剩余顶点集合记为Φ1=V-S;
步骤三,分簇:a)找顶点k=argmin(dG(vk)),去掉关联度矩阵的第k行、第k列,更新节点集合Bh=Bh∩vk;b)循环执行a)直到AG为全1矩阵;c)更新Φh=Φh-Bh,则Φh为第h个簇;
步骤四,用顶点集合Bh重新构建AG≠0,更新节点集合Φh+1=Bh,更新迭代因子h=h+1,执行步骤三;如果AG为全1矩阵或者|Bh|=1,如果|Bh|=1,则Φh+1=Bh
步骤五,将孤立顶点集合S中的顶点各自成一簇。
根据上述的分簇机制,将关联性强的网络分为一簇,一簇中的网络产生的告警进行关联规则挖掘,而簇之间的网络告警将分开进行规则挖掘。通过分簇机制,将全网的告警数据库划分为多个内部关联性强的子告警数据库,从而提升告警规则挖掘的效率。基于时空相关性的网络分簇结果为:C1,C2,…,Ck,k为分簇后的集合数。
所述根据告警项的属性,如告警发生的频率、告警重要性级别、告警故障类型,确定各告警项的权重包括:
告警是由多个属性组成的发生异常的通告信息,告警关联规则的挖掘应该将挖掘的重点放在人们感兴趣的告警上,这样才能挖掘出有价值的告警。本文将重点放在根源告警上,希望挖掘到更多的根源告警的关联规则。因此每个告警项不能同等对待,本发明为每个告警分配特定的权重,来描述其为根告警的可能性。每个告警项的权重由告警频率、告警紧急程度、告警故障类型等属性决定,使用层次分析法确定每个权重大小,权重的大小反映了该告警成为根源告警的可能性大小。在规则挖掘过程中,通过对每个告警项赋予特定的权值,有助于找到我们所需要的告警规则,即根告警的关联规则。
对Ck子网络内所有告警进行关联规则挖掘,分析告警与告警间的关联性。给定告警数据库T={t1,t2,…,tn},tn为收集告警信息的时间标识,每个tn时刻有一组Ck子网络内的告警信息,则可以用In表示tn时刻的一条告警事务项。告警项目的集合为I={i1,i2,…,im},表示该子网络内有m种告警,每一条告 警事务项In都对应告警项目集合I的一个子集,并赋予每一个告警事务项标识符TID。集合I={i1,i2,…,im}中的每个告警项目im都被赋以特定的权值wm,来表示该告警项目的重要性,其中0≤wm≤1。每条告警事务由告警项目组成,因此根据每个告警项的权值,可以确定每一条告警事务的权重。
所述根据告警项的属性,如告警发生的频率、告警重要性级别、告警故障类型,确定各告警项的权重具体步骤为:
步骤1:将问题层次结构化,构建问题的递阶层次结构模型。
如图3所示,为为根据告警项的属性确定各告警项权重的递阶层次结构模型图。首先,对所要解决的问题进行分析,根据其要达到的目标,将问题分为多个要素,这里称为指标。根据各指标间的从属关系将各指标划分为目标层、准则层和方案层,其中目标层为问题最终要达到的目标,准则层为影响目标的各项因素,可以为多层,方案层为决策中可供选择的各方案。将告警项目成为根源告警的可能性作为目标层,即表示该问题的最终目标是找到最有可能成为根源告警的告警项。
步骤2:针对每一个有支配能力的指标,构建成对比较矩阵。
针对每一个有支配能力的指标,其所支配的指标对其产生影响的重要程度不同。引入1-9标度法对指标的重要性成对、定量化地比较,将下层指标{e1,e2…,en}对准则层p的重要性进行排列,分别进行记分表示其重要程度,分数用Si来表示。比如选择1~9的尺度进行打分,最为重要的赋以值9,相对最不重要的那个因素赋以值1。根据下式计算出各个分数值的间隔:
其中,Lu、Ll分别为尺度的最大值、最小值;Np为下层次指标的个数,即影响上层次支配指标的因素的个数;G取最接近的整数值,为各个分数值的间隔。例如本例中,选取1-9尺度,参数个数为3,则间隔值G为3。也就是说,按照重要性排列,分别赋以各个因素1、4、7,即每个下层指标ei都有对应的Si,这样便于定量到定性的变化。
每个因素对应一个重要性分数值,用这些分数值来构建成对比较阵,即元素之间进行比较,计算公式见下面各式:
RSij=1; Si=Sj
其中,Si、Sj是下层指标ei与ej的重要程度分数值,RSij是下层指标ei与ej的相对比较值。因为各个下层指标的分数值Si已经求得,两两成对进行比较可以得到一个成对比较阵,记为矩阵A。
得到的矩阵A是3×3矩阵,取决于下层次的指标因素有3个,可以看出由这种方法得到的矩阵A为正互反阵。
步骤3:计算各指标对于各支配指标的权重,且检验成对比较矩阵的一致性。
假设成对比较矩阵A的最大特征根为λmax,其相应的特征向量经归一化后,可记为β={β12,…,βn},即满足Aβ=λmaxβ的β,其中βi表示下层第i指标对于上层准则的相对权重。由正互反矩阵的Pcrron定理可知,成对比较矩阵A的最大特征值一定存在并且是唯一,且最大特征值对应的特征向量的分量均为正数。
上面对权重的计算是在成对比较矩阵A具有一致性的条件下,成对比较矩阵A的最大特征值唯一存在,其对应的归一化特征向量可作为权重。
接下来,检验成对比较矩阵A的一致性。
根据定理:n阶正互反阵A的最大特征根λmax≥n,当且仅当λmax=n时A为一致矩阵。通常情况下,成对比较矩阵A都不具有一致性,为了评价成对矩阵A的一致性,设定一致性指标:
当CI=0,有完全的一致性;CI接近于0,有满意的一致性;CI越大, 不一致越严重。为衡量CI的大小,引入随机一致性指标RI
表1.随机一致性指标RI
n 1 2 3 4 5 6 7 8 9 10 11
RI 0 0 0.58 0.90 1.12 1.24 1.32 1.41 1.45 1.49 1.51
定义一致性比率:
当一致性比率应满足条件CR=CI/RI<0.1时,成对比较矩阵A的一致性程度通过检验,认为其不一致程度在可接受的范围之内。否则,需要调整aij,重新构建成对比较矩阵A。
步骤4:计算各指标对目标层的权重。
假设第k-1层有nk-1个指标,这些指标相对最高层即目标层指标的权重记为第k层有nk个指标,其对上一层即第k-1层的第j个支配指标的权重记为其中若第k层第i指标不受第j个指标支配,则权重ρij=0,则第k层上各指标相对于目标层的权重为:
所述利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘包括:
根据告警项目的权重,可以确定每一个告警事务项的权重。告警事务项t的权重W(t)可由下式计算:
其中,|t|表示告警事务项t中包含的告警项目的个数,wi为告警事务项中包含的告警项目i的权重,则告警事务项t的权重为所包含的告警项目的权重的算术平均值。
告警项目集X的加权的支持度wsup(X)可由下式计算:
其中,分子为所有包含告警项目集X的告警事务项的权重之和,分母为告警事务数据库T中所有的告警事务项的权重和,告警项目集X的加权支持度为二者之比。
告警项目集X∪Y的加权支持度为:
其中,分子为所有包含告警项目集X∪Y的告警事务项的权重之和,分子为告警事务数据库T中所有的告警事务项的权值和,告警项集X∪Y的加权支持度为二者之比。
根据性质1:假如X为频繁告警项目集,那么X的任意一个告警项目子集都为频繁告警项目集,得到拼接策略,将频繁告警(k-1)项集通过特定的方式进行拼接,产生候选告警k项集。
根据性质2:假如X为非频繁告警项目集,那么X的任意告警项目超集都为非频繁告警项目集。可对任意的频繁告警k项集X进行检测,假若其中的一个子集不在频繁告警(k-1)项集中,则X为非频繁告警项集。
所述利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘具体步骤为:
步骤一:扫描告警事务数据库T,得到告警事务中的所有告警项目,并按字典顺序排列。
步骤二:根据告警项的各属性值,如告警发生频率、告警重要级别、告警故障类型等,利用层次分析法计算各告警项目的权值。
步骤三:扫描告警事务数据库T,根据告警项目的权值,计算各告警事务项集t的权重值
步骤四:根据各告警事务项集的权重,计算各告警项集的加权支持度
根据预先设定的最小支持度阈值,产生加权的告警频繁k项集。
步骤五:将告警频繁k项集,根据告警加权项目集的先验性质,采用优化拼接和减枝方法,产生告警项目的候选k+1项集,计算候选告警k+1项集的加权支持度,产生加权的告警频繁k+1项集。
步骤六:重复步骤四,直到无法继续产生告警频繁项目集。
对于本领域的技术人员来说,可以根据以上技术方案以及构思,做出其他各种相应的改变和变形,而这所有的改变和变形都应该属于本发明权利要求的保护范围之内。
本发明的实施效果可通过以下仿真做进一步的说明:
仿真条件
在关联规则挖掘中,一个经典的数据集合成工具IBM Quest Market-BasedSynthetic Data Generator用于生成标准的试验数据。本研究使用IBM数据集生成器在XP系统下生成多组不同的数据集,进行对比试验。
对比试验的内容和结果如下:
如图4所示,为告警关联算法与普通算法产生候选项集的数量条形图,如图5所示,为警关联算法与普通算法产生加权频繁项集的时间折线图。对不同支持度下本文提出的告警关联算法与普通的关联规则算法进行了性能比较。告警事务数设为800,项目数设为9,事务平均宽度为5,将最小加权支持度分别设置为0.1、0.15、0.2、0.25和0.3的情况下,比较本文提出的告警关联算法与普通算法产生候选项集的数量以及本文提出的告警关联算法与普通算法产生加权频繁项集的时间。
可以看出,通过使用本发明的方案进行关联挖掘,产生的候选项集多于普通的方案,因为本发明方案针对信息通信网络的分层结构,对上层网络节点做了分簇处理,对多个子告警数据库进行频繁项的挖掘,子告警数据库中的告警间的相关性比较大,可近似认为两个子告警数据库间是独立的,因此当子告警数据库合并时,根据支持度的定义,告警项集的支持度会减小,从而在相同的最小支持度阈值下未分簇时挖掘到的告警频繁项数量较少。另外,利用层次分析法确定告警项的权值,为我们感兴趣的告警设定更高的权重,在频繁项的挖掘中可以产生更多的根源告警频繁项集,也增加了频繁项 的数量。
可以看出本发明中的告警关联方法产生加权频繁项集的时间少于普通的关联方法,这是由于对上层网络的分簇处理,使得告警数据库分成了多个子数据库,告警数据库信息数量的减小,提高了关联的效率。可以看出当加权支持度越小时,本算法的效率优势越明显,相反,加权支持度越大时,本发明的效率提升并不明显,这是由于告警事务项的分布密度不高,加权支持度的增大使得高维的频繁项集显著减少,算法的效率提升减小。
如图6所示,为告警关联算法与普通算法产生感兴趣的告警频繁项在总告警频繁项中所占的比例的条形图,比较了不同支持度下本发明的告警关联方案与普通的方案挖掘我们所感兴趣的告警项的能力。告警事务数设为200,项目数设为9,事务平均宽度为5,将最小加权支持度分别设置为0.05、0.1、0.15、0.2、0.25和0.3的情况下,比较本发明提出的告警关联算法与普通算法产生感兴趣的告警频繁项在总告警频繁项中所占的比例,结果如图6所示。这里使用层次分析法得到各告警的权重如下:
表2.告警项的权重
从告警项目的权重可以看出,告警项目9权重最大,即其成为根告警的可能性最大,其为我们所感兴趣的告警项目,因此在告警关联规则挖掘中,希望挖掘到更多关于告警项9的信息。从图6可以看出,通过使用本发明方案进行关联挖掘,产生的关于告警项9的频繁项集占总的告警频繁项集的比例增大,因为本发明中采用了加权的关联规则挖掘算法,采用层次分析法确定告警项的权重,权重越大表明该告警成为根源告警的可能性越大,因此可以产生更多的根源告警频繁项集。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行 组合,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种信息通信网络中的告警关联性分析方法,其特征在于,包括以下步骤:
1)根据网络节点的发生故障的时间、空间相关性,定义树形层次结构网络中的上层网络节点的时空相关性;
2)基于上层网络节点的时空相关性,对树形层次网络中的上层节点进行分簇,根据分簇结果将总的告警数据库划分为多个子告警数据库;
3)根据告警项的属性,确定各告警项的权重;
4)利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘;
所述根据告警项的属性,确定各告警项的权重具体为:
步骤1:将问题层次结构化,构建问题的递阶层次结构模型;
步骤2:针对每一个有支配能力的指标,构建成对比较矩阵;
步骤3:计算各指标对于各支配指标的权重,且检验成对比较矩阵的一致性;
步骤4:计算各指标对目标层的权重。
2.根据权利要求1所述的信息通信网络中的告警关联性分析方法,其特征在于,还包括使用2项集支持度的形式定义网络故障事务的相关性:
|Di∩j|表示在总的网络故障数据库中,节点i子网和节点j子网同时发生故障的事务项总数,|D|表示总的故障事务项的数目,定义网络故障事务的相关性为节点i子网和节点j子网同时发生故障的事务总数与总的故障事务项数的比值,即关联规则挖掘中的2项集支持度。
3.根据权利要求2所述的信息通信网络中的告警关联性分析方法,其特征在于,考虑时间、空间相关度,将网络故障事务相关性定义为:
其中,|Di∩j|表示在总的网络故障数据库中,节点i子网和节点j子网同时发生故障的事务项总数,|D|表示总的故障事务项的数目,Nij表示节点i和j的在总时间范围内直接相互通信次数,N表示总通信次数,tni和tnj表示节点i和j发生故障的时间,Δt表示在所有时间段上的平均故障发生时间差,定义网络故障事务的相关性为节点i子网和节点j子网同时发生故障的事务总数与总的故障事务项数的比值,并规定:当CorD(i,j)>α时,两个节点子网络间相关性强;否则,认为两节点子网络间相关性微弱,即不相关,α(0<α<1)为子网络间故障事务关联性的门限值。
4.根据权利要求3所述的信息通信网络中的告警关联性分析方法,其特征在于,根据定义的网络故障关联性,对网络进行分簇处理,根据分簇结果,将整个网络告警数据库划分为多个子网络告警数据库。
5.根据权利要求1所述的信息通信网络中的告警关联性分析方法,其特征在于,所述的利用加权的Apriori关联规则算法对各自告警数据库进行关联规则挖掘的具体步骤为:
步骤一:扫描告警事务数据库T,得到告警事务中的所有告警项目,并按字典顺序排列;
步骤二:根据告警项的各属性值,所述属性值包括:告警发生频率、告警重要级别、告警故障类型,利用层次分析法计算各告警项目的权值;
步骤三:扫描告警事务数据库T,根据告警项目的权值,计算各告警事务项集t的权重值
步骤四:根据各告警事务项集的权重,计算各告警项目集的加权支持度
其中,X表示告警项目集,
根据预先设定的最小支持度阈值,产生加权的告警频繁k项集;
步骤五:将告警频繁k项集,根据告警加权项目集的先验性质,采用优化拼接和减枝方法,产生告警项目的候选k+1项集,计算候选告警k+1项集的加权支持度,产生加权的告警频繁k+1项集;
步骤六:重复步骤四,直到无法继续产生告警频繁项目集。
CN201511021147.XA 2015-12-30 2015-12-30 一种信息通信网络中的告警关联性分析方法 Active CN105677759B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511021147.XA CN105677759B (zh) 2015-12-30 2015-12-30 一种信息通信网络中的告警关联性分析方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511021147.XA CN105677759B (zh) 2015-12-30 2015-12-30 一种信息通信网络中的告警关联性分析方法

Publications (2)

Publication Number Publication Date
CN105677759A CN105677759A (zh) 2016-06-15
CN105677759B true CN105677759B (zh) 2019-11-12

Family

ID=56297970

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511021147.XA Active CN105677759B (zh) 2015-12-30 2015-12-30 一种信息通信网络中的告警关联性分析方法

Country Status (1)

Country Link
CN (1) CN105677759B (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107548087A (zh) * 2016-06-24 2018-01-05 中兴通讯股份有限公司 一种告警关联分析的方法及装置
CN106571963A (zh) * 2016-10-27 2017-04-19 北京汇通金财信息科技有限公司 一种信息通信网络间故障的定位方法
CN108073134A (zh) * 2016-11-18 2018-05-25 中国科学院沈阳计算技术研究所有限公司 一种基于数控系统功能安全阈值的报警方法
CN106685694B (zh) * 2016-11-24 2020-05-08 国家电网公司 一种信息系统告警相关性分析方法及系统
US9768928B1 (en) * 2016-12-16 2017-09-19 Futurewei Technologies, Inc. High dimensional (HiDi) radio environment characterization and representation
CN106991141B (zh) * 2017-03-21 2020-12-11 北京邮电大学 一种基于深度剪枝策略的关联规则挖掘方法
CN109150572B (zh) * 2017-06-28 2020-07-24 华为技术有限公司 实现告警关联的方法、装置以及计算机可读存储介质
CN109245910B (zh) * 2017-07-10 2023-03-24 中兴通讯股份有限公司 识别故障类型的方法及装置
CN107562608B (zh) * 2017-08-11 2020-11-03 东软集团股份有限公司 资源指标重要度评估方法及装置
CN107479492A (zh) * 2017-10-18 2017-12-15 江西电力职业技术学院 变电站数据采集装置及系统
CN107918670A (zh) * 2017-11-29 2018-04-17 国网电力信息通信有限公司 一种应用于电力通信系统的告警处理方法
CN108111346B (zh) * 2017-12-19 2021-05-04 深圳市麦斯杰网络有限公司 告警关联分析中频繁项集的确定方法、装置及存储介质
CN107992012B (zh) * 2017-12-20 2020-09-25 联想(北京)有限公司 用于获取生产线工序间相关性的方法和装置
CN108595667B (zh) * 2018-04-28 2020-06-09 广东电网有限责任公司 一种网络异常数据的关联性分析方法
CN108829794B (zh) * 2018-06-04 2022-04-12 北京交通大学 基于区间图的告警分析方法
CN109189736B (zh) * 2018-08-01 2021-01-26 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109327331A (zh) * 2018-09-18 2019-02-12 北京邮电大学 通信网络中故障定位方法和装置
CN109597836B (zh) * 2018-11-29 2023-06-27 武汉大学 一种基于加权矩阵的通信设备告警关联规则挖掘方法
CN110061867B (zh) * 2019-04-02 2022-01-07 武汉烽火技术服务有限公司 基于故障源告警强度的通信网告警分析方法及系统
CN111950270B (zh) * 2019-04-29 2023-11-24 中国移动通信集团湖北有限公司 通信网络告警关联方法、装置及计算设备
CN110647539B (zh) * 2019-09-26 2022-06-24 汉纳森(厦门)数据股份有限公司 一种用于车辆故障的预测方法和系统
CN111143428B (zh) * 2019-11-30 2023-01-31 贵州电网有限责任公司 一种基于关联分析法的保护异常告警处理方法
CN111107158B (zh) * 2019-12-26 2023-02-17 远景智能国际私人投资有限公司 用于物联网设备集群中的告警方法、装置、设备及介质
CN111431736B (zh) * 2020-02-27 2022-05-13 华为技术有限公司 告警关联规则生成方法和装置
CN111415538A (zh) * 2020-04-29 2020-07-14 常开旺 一种智慧教室系统
CN111579978B (zh) * 2020-05-18 2024-01-02 珠海施诺电力科技有限公司 一种基于人工智能技术实现继电器故障识别的系统及方法
CN113839799B (zh) * 2020-06-24 2023-05-05 中国移动通信集团广东有限公司 一种告警关联规则挖掘方法及装置
CN114124654B (zh) * 2020-08-10 2023-10-27 中国移动通信集团浙江有限公司 告警合并方法、装置、计算设备及计算机存储介质
CN114430360B (zh) * 2020-10-14 2024-03-12 中国移动通信集团山东有限公司 一种互联网安全监控方法、电子设备和存储介质
CN112398693A (zh) * 2020-11-17 2021-02-23 国网四川省电力公司经济技术研究院 一种面向电力物联网感知层安全防护能力的评估方法
CN112988525B (zh) * 2021-03-22 2022-07-22 新华三技术有限公司 一种告警关联规则的匹配方法及装置
CN113904443B (zh) * 2021-09-28 2023-01-06 国网江苏省电力有限公司连云港供电分公司 多维度空间可视化的现场变电设备监控与预警系统
CN114500229B (zh) * 2021-12-30 2024-02-02 国网河北省电力有限公司信息通信分公司 基于时空信息的网络告警定位及分析方法
CN115442222A (zh) * 2022-07-29 2022-12-06 北京云狐信息有限公司 一种基于机器学习的网络故障定位方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102136949A (zh) * 2011-03-24 2011-07-27 国网电力科学研究院 一种基于网络和时间的告警相关性分析方法及系统
CN102938708A (zh) * 2012-11-05 2013-02-20 国网电力科学研究院 基于告警传播模式的告警相关性分析系统及其分析方法
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2461069C (en) * 2003-03-17 2013-08-13 Tyco Telecommunications (Us) Inc. System and method for fault diagnosis using distributed alarm correlation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102136949A (zh) * 2011-03-24 2011-07-27 国网电力科学研究院 一种基于网络和时间的告警相关性分析方法及系统
CN102938708A (zh) * 2012-11-05 2013-02-20 国网电力科学研究院 基于告警传播模式的告警相关性分析系统及其分析方法
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"树形层次结构网络中的告警关联性分析以及故障定位";褚明丽;《中国优秀硕士学位论文全文数据库信息科技辑》;20170310;第I138-3708页 *

Also Published As

Publication number Publication date
CN105677759A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
CN105677759B (zh) 一种信息通信网络中的告警关联性分析方法
Hernández et al. Classification of graph metrics
Yang et al. A time efficient approach for detecting errors in big sensor data on cloud
US8015139B2 (en) Inferring candidates that are potentially responsible for user-perceptible network problems
US7043661B2 (en) Topology-based reasoning apparatus for root-cause analysis of network faults
US8051330B2 (en) Fault location in telecommunications networks using bayesian networks
Shafiq et al. Identifying leaders and followers in online social networks
Bennacer et al. Self-diagnosis technique for virtual private networks combining Bayesian networks and case-based reasoning
US10225165B2 (en) Apparatus and method for processing data streams in a communication network
CN105550714A (zh) 一种异构网络环境中告警信息的聚类融合方法
KR102087959B1 (ko) 통신망의 인공지능 운용 시스템 및 이의 동작 방법
CN112559237B (zh) 运维系统排障方法、装置、服务器和存储介质
CN107623924A (zh) 一种验证影响关键质量指标kqi相关的关键性能指标kpi的方法和装置
CN115237717A (zh) 一种微服务异常检测方法和系统
Pan et al. A ${Q} $-learning based framework for congested link identification
Deligiannakis et al. Another outlier bites the dust: Computing meaningful aggregates in sensor networks
CN104518896A (zh) 基于内部网关协议路由介数的网络脆弱性分析方法和装置
Ni et al. Ranking causal anomalies by modeling local propagations on networked systems
CN106874423A (zh) 搜索控制方法和系统
Rashmi et al. A review on overlapping community detection methodologies
Sheikhan et al. Using particle swarm optimization in fuzzy association rules‐based feature selection and fuzzy ARTMAP‐based attack recognition
Phan-Vu et al. A Scalable Multi-factor Fault Analysis Framework for Information Systems
Yan et al. Sim-watchdog: Leveraging temporal similarity for anomaly detection in dynamic graphs
CN104636422B (zh) 用于挖掘数据集中的模式的方法和系统
Li et al. Sgvcut: a vertex-cut partitioning tool for random walks-based computations over social network graphs

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant