CN105550714A - 一种异构网络环境中告警信息的聚类融合方法 - Google Patents
一种异构网络环境中告警信息的聚类融合方法 Download PDFInfo
- Publication number
- CN105550714A CN105550714A CN201511021431.7A CN201511021431A CN105550714A CN 105550714 A CN105550714 A CN 105550714A CN 201511021431 A CN201511021431 A CN 201511021431A CN 105550714 A CN105550714 A CN 105550714A
- Authority
- CN
- China
- Prior art keywords
- alarm
- warning information
- warning
- attribute
- cluster
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Cheminformatics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
Abstract
本发明公开了一种异构网络环境中告警信息的聚类融合方法。首先,通过一定的告警预处理方法,实现异构网络中告警帧格式的统一和告警之间相似度矩阵的建立;之后,利用模糊聚类算法,实现相似告警的聚类分析,根据告警距离故障根源的远近程度,将异构网中的告警分成多个模糊告警簇;进而,利用Dempster-Shafer理论将一个模糊告警簇中的告警信息进行融合,同时考虑告警置信度的融合,最终形成一个综合告警信息,实现异构网络中告警数据量的缩减。引入的综合告警的概念将会极大地提升信息通信网中告警处理的效率,从而减少告警数据库的告警处理时长。
Description
技术领域
本发明涉及无线通信领域,特别是指一种异构网络环境中告警信息的聚类融合方法。
背景技术
随着通信网络的不断发展,无线网络不论在容量上还是在复杂度上都变得越来越大,与此同时,在通信网络中,对于各类型信息的管理也就变得越来越困难。其中之一就是网络中的告警故障信息,随着通信网络整体规模的日益增大,通信网存在告警故障的可能性也就随之增高,识别并及时纠正通信网络中的故障是保障通信网络正常运行的重要基础,同时由于告警故障会和网络中提供的服务之间产生交互影响,会对服务供应商造成非常大的维护开销。因此,如何更加有效且高效地处理这些告警信息将直接决定着服务提供商的服务质量以及未来发展。
通信网中告警故障管理的重要性在异构网络中则显得更为突出。随着无线通信领域的不断进步,在过去的20年里,无线通信从以模拟调制为基础的第一代无线通信系统(1G),到以GSM(GlobalSystemforMobileCommunications)和IS95为代表的第二代无线通信系统(2G),再到以WCDMA(WidebandCDMA)和TD-SCDMA(TimeDivision-SynchronousCDMA)为代表的第三代无线通信系统(3G),最后到目前的3GPP提出的LTE-advanced支持的第四代无线通信系统(4G)。从以上的发展轨迹不难看出,现代通信网中存在的接入技术的种类越来越繁多,这也就代表着不同的网络制式越来越多,不同的标准体系越来越多,因此在这样的条件下,告警信息的处理对于服务供应商来说则更为困难,因为他们需要面对的不仅是庞大的告警数据量,还有门类、格式繁多的不同制式的告警信息,这些来自于不同网络的告警信息不仅数据量大,而且种类繁多,对于服务运营商来讲则是一次更大的挑战和课题。
目前,对于通信网络中告警信息的处理,大体上可以分成如下几个层面:
第一个层面是告警故障的收集层面,在这个层面上,主要考虑的问题是如何有效且高效地搜集网络中存在的告警信息,并通过这些方法为后续的告警信息的处理提供良好的基础,从而实现高效的网络告警信息处理方案。
第二个层面是告警故障的分析层面。在这个层面上,主要考虑的问题是如何对已经搜集到的告警信息进行有效的分析,从而产生出相应的告警规则,便于进一步对由这些告警产生的故障进行排查和处理。
第三个层面是告警故障的诊断层面,在这个层面上,主要考虑的问题是如何根据网络中产生的告警信息高效地确定网络中产生的具体故障,并根据最终的诊断决策来修复网络故障,从而提高通信网络服务的稳定性和鲁棒性。
通过以上三个层次对通信网络中告警信息处理的分析,大致可以看出通信网络中告警信息处理的整体背景。首先就是告警的收集,它作为后续处理的基础,很大程度上决定着告警信息处理的效率;其次就是告警的分析,它是告警信息处理的核心部分,该部分的有效性直接影响了告警信息处理方案的优劣性;进而是最后告警的诊断部分,这一部分实质上是作为告警分析处理方案的落地步骤,在这一层面上很难直接通过优化算法来实现信息处理效率的提高,因为这一层面主要是根据告警关联分析产生的规则来定位故障,可优化的空间非常有限。因此,在这样的背景下,为了提高通信网络,尤其是异构网络中,告警信息的处理效率,研究的重点在告警信息的收集层面上。
发明内容
有鉴于此,本发明的目的在于提出一种优化异构网络中现有告警处理方案的效率,提升告警信息的处理速度,有效减少告警信息的处理时间,同时降低网络的运行负载,为其今后保证更为稳定,更为便捷的通信增添了保障的方法。
基于上述目的,本发明提供一种异构网络环境中告警信息的聚类融合方法,包括:
通过对告警信息字段的取舍,将异构网络中的所有告警信息进行帧格式的统一并建立告警信息之间的相似度矩阵;
基于模糊逻辑,通过告警信息属性的相似度对所述帧格式统一的告警信息进行聚类分析,根据告警距离故障根源的远近程度,将异构网中的告警分成多个模糊告警簇;
将所述聚类后的告警信息进行融合并将告警信息的置信度融合,生成综合告警信息。
进一步的,所述对告警信息字段的取舍,将异构网络中的所有告警信息进行帧格式的统一的步骤具体为:
根据告警信息的字段信息能否为定位故障根源提供有用的依据来选取字段,进而选取告警设备的编号字段、告警设备的网络地址字段、告警的类型字段、告警的紧急程度字段和告警的频次字段。
进一步的,所述告警信息属性的相似度是通过距离的概念来衡量的,所述距离的可通过下式来描述:
其中,p表示告警项i和告警项j中包含的属性数,f指的是p个属性中特定的某一个属性,w(f)表示的是属性f在“距离”计算中所占的权重,是一个指示变量,它只有0和1两种取值,此外,表示的是告警项i和告警项j在属性f层面上的“距离”。
所述告警信息属性包括数值型、布尔型和枚举型,其中
进一步的,所述告警信息的属性包括数值型属性、布尔型属性和枚举型属性。
数值型属性包括整数型变量、实数型变量、字节型变量和时间型变量,其间的“距离”定义为相应的欧几里德距离,其计算的公式可以表示为:
其中,告警项i=(xi1,xi2,…,xip)和告警项j=(xj1,xj2,…,xjp)是两个分别包含p个属性的告警信息,此外,公式中的wf(f=1~p)表示的是告警项中相应属性f的权重大小;
布尔型属性对应的变量就是布尔型变量,其间“距离”的计算采用著名的匹配系数法,它的定义式表示如下:
其中,q表示的含义是告警项i和告警项j中都等于1的属性数,t表示的是告警项i和告警项j中都等于0的属性数,r则表示告警项i中等于1而告警项j中等于0的属性数,s则代表告警项i中等于0而告警项j中等于1的属性数;
枚举型属性是一种状态变量,,其间“距离”的计算同样可以采用匹配的思想来进行,具体的“距离”计算公式如下所示:
其中,m表示告警项i和告警项j中取值相同的属性数,即为两个告警之间的匹配数,而p则表示告警信息中全部的属性数目。
进一步的,对所述帧格式统一的告警信息进行聚类具体为:
(1):初始化聚类中心和所有告警项的隶属度向量,同时对这些向量进行归一化处理,生成符合方案标准的隶属度矩阵U;
(2):根据隶属度矩阵U求出C个模糊告警簇的中心,即聚类中心ci,其中i=1,2,…,C;
(3):计算相应目标函数的数值。如果所得的目标函数值低于预期的门限值,或与上一次迭代相比的差值小于某个门限值,则说明聚类结果符合网络中的要求,进而停止迭代,聚类结束,否则,继续进行第(4)步;
(4):更新隶属度矩阵U,然后返回第二步。
进一步的,所述将所述聚类后的告警信息进行融合并将告警信息的置信度融合,具体为:利用Dempster-Shafer理论来将模糊告警簇中的告警进行融合,融合后形成的综合告警,并利用Dempster-Shafer理论实现告警置信度的融合。
从上面所述可以看出,本发明提供的一种异构网络环境中告警信息的聚类融合方法,通过告警预处理方法,实现异构网络中告警帧格式的统一和告警之间相似度矩阵的建立;之后,利用模糊聚类算法,实现相似告警的聚类分析,根据告警距离故障根源的远近程度,将异构网中的告警分成多个模糊告警簇;进而,利用Dempster-Shafer理论将一个模糊告警簇中的告警信息进行融合,同时考虑告警置信度的融合,最终形成一个综合告警信息,最终实现了告警数据库的缩减,并提升了异构网络中告警信息管理的效率和有效性,为异构网络中进一步的故障定位和维护提供了良好的前提和基础。
附图说明
图1为本发明聚类融合方法的整体架构示意图;
图2为本发明异构网络中告警的统一帧格式示意图;
图3为本发明模糊告警簇中的告警融合方案示意图;
图4为仿真验证中本发明模糊聚类的目标函数的收敛图;
图5为仿真验证中初级告警信息聚类示意图;
图6a为仿真验证中第一类初级告警置信度示意图;
图6b为仿真验证中第一类综合告警置信度示意图;
图6c为仿真验证中第二类初级告警置信度示意图;
图6d为仿真验证中第二类综合告警置信度示意图;
图6e为仿真验证中第三类初级告警置信度示意图;
图6f为仿真验证中第三类综合告警置信度示意图;
图6g为仿真验证中第四类初级告警置信度示意图;
图6h为仿真验证中第四类综合告警置信度示意图;
图7为仿真验证中本发明告警信息融合处理方法和普通告警信息融合处理方法对比效果图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。
结合异构网络架构,先给出聚类融合方法的整体架构,如图1所示为本发明聚类融合方法的整体架构示意图。对于异构网络中来自不同子网的告警信息,首先进行必要的预处理,使它们具备相同的制式与格式,进而对他们进行聚类处理,将一些相似的告警信息聚为一类,并将这些相似的告警信息融合为一个综合的告警信息,从而有效地减少告警数据库的大小。此后,为了获得相应的综合告警的置信度,同样需要对子网中的低级告警进行置信度的融合,从而能够对某一类的告警信息具有更为全面的综合认知,最终实现信息通信网中告警信息的统一运维。
在异构网络环境中,整个网络系统通常是由很多不同的子网构成的,这些子网的结构和帧格式通常存在着很大的差异,例如有些子网隶属于3G系统,有些子网隶属于4G系统。因此,要实现整个网络的统一管理和运维,对于整个网络系统中的告警信息要有一个统一的处理方式。为此,首先要做的就是要将不同子网中的不同制式的告警信息统一起来,以便能够进行统一的运维处理,也就是告警预处理。
在异构网络中,不同子网之间告警信息的差别有很多种体现,其中之一就是每个子网内部的告警帧格式的不同,因此要实现多个子网在异构网络中的统一告警处理,就有必要对异构网络中的所有告警信息进行帧格式的统一。
在每个子网内部的标准告警帧格式中,都包含了很多告警相关的字段。例如,根据ITU-T的X.733标准中推荐的,一个告警信息通常应当包括告警的种类、告警的发生时间,告警设备的编号,以及告警设备的名称等等。一般告警中包含的常见字段信息见表1中所示。在不同的子网中,不同的标准告警帧格式决定了每个子网中告警信息所包含的字段不完全相同,如何进行取舍从而实现告警帧格式的统一便是这里的关键性问题。
表1常见的告警信息表
由于网络中每个实体和设备其网络视野的有限性,它们所发出的告警信息也只是针对它们视野范围内所观察到的故障特征,因此在绝大多数的告警信息中,告警本身并没有包含譬如根源性原因的字段信息,而这些信息确是进行网络维护的重要依据和方向。所以,在构建异构网络中的统一告警帧格式时,对于告警字段取舍的重要依据就在于,某个特定的字段信息能否为定位故障根源提供有用的依据,如果有用则保留,如果没用则舍去。根据这样的取舍原则,给出异构网络中告警的统一帧格式,如图2所示。
之所以选取这五个字段的信息作为异构网中的统一告警帧格式信息,是因为这五个字段的信息能够确定告警信息的故障根源提供重要的依据。以下,就分别针对这五个字段信息,对每一个字段进行介绍,并说明这些字段信息包含的内容以及它们与故障根源信息之间的关系。
Network_NUMBER(告警设备的编号)字段:主要包含的信息是故障发生网络所对应的编号,即通过这个字段的信息,可以确定出故障大体发生的网络位置,从而有助于进行下一步的具体故障定位和网络维护。由于这个网络的编号通常是对应于一个比较大的范围区域,因此,通过这个字段一般就可以确定出根源故障的大体网络位置,从而方便网管人员对根源故障进行定位和维护。
Host_ID(告警设备的网络地址)字段:主要包含的是告警故障设备所对应的网络地址,通过这个字段的信息,可以得出某个告警的发端设备的地址,这就为进一步排查这个告警的根源提供了方便。虽然在这个字段中并没有给出直接的有关根源故障的信息,但通过告警的发端地址,我就可以寻根溯源,从而找出最终的根源故障,因此这个字段的信息对于进行后期的故障定位也是必不可少的一个重要信息。
Alarm_TYPE(告警的类型)字段:主要包含的是告警信息本身的类型。在本研究中,为了建模和仿真的方便,假设网络中的告警类型有三种,即物理层告警、链路层告警、网络层告警和应用层告警,并且这其中的每一种告警类型分别对应Alarm_TYPE=4、Alarm_TYPE=3、Alarm_TYPE=2和Alarm_TYPE=1。从应用层到网络层,最后再到物理层,越是底层的故障告警就越趋近于根源故障。因此,通过这个字段的信息,也可以大体对网络中告警的故障根源做一个判断,根据Alarm_TYPE的取值,其数值越大就越说明这个告警的产生来源越趋近于故障根源,进而由此得出相关故障根源的定位信息。
Alarm_LEVEL(告警的紧急程度)字段:包含的是告警信息紧急程度的指示。在本研究中,同样为了建模的方便,假设网络中告警信息的紧急程度分为四种,即紧急告警、严重告警、一般告警和轻度告警,其分别对应的字段信息为Alarm_LEVEL=4、Alarm_LEVEL=3、Alarm_LEVEL=2和Alarm_LEVEL=1。根据常理,越是紧急的告警信息也就越是趋近于故障根源,因此,根据Alarm_LEVEL字段的取值大小,同样可以获取一些有关故障根源定位的信息,从而方便异构网中的网络维护。
Alarm_FREQUENCY(告警的频次)字段:包含的是告警发生频次的信息。和上面几个字段相似,这个字段同样可以为告警故障根源的定位提供依据。通常来说,一个告警发生的频次越高,其趋于故障根源的可能性就越大,因此,根据告警频次Alarm_FREQUENCY字段的取值,可以获取相关的根源定位信息。
在统一了异构网络中告警信息的帧格式后,为了实现后续的聚类融合方案,在前期的预处理中还必须对告警间相应的属性值进行相似度的计算。之所以要计算相应属性间的相似度,目的就在于后续对告警信息的聚类分析,这样一来,就可以对异构网络中的告警信息进行分类处理,从而大大减少了告警处理的数据量。因此,要实现聚类融合方案,预处理中告警属性相似度的计算是非常必要的。
告警属性间的相似度是通过“距离”的概念来衡量的。对于异构网络中告警设备发出来的低级告警,其中包含有很多种类的属性值,而且不同种类的属性值其间“距离”的计算方式也是不同的,因此,为了更好地实现预处理中相似度计算的步骤,分别对常见类型的属性之间的“距离”计算给出定义和说明。在告警信息中,常见的属性类型有:数值型、布尔型和枚举型。
数值型属性。在告警信息中,这种类型的属性值是最为常见的,它一般包括整数型变量、实数型变量、字节型变量和时间型变量。举例来说,告警信息中的端口信息和时间信息等都属于这种类型的属性。在本文中,对于这种属性值,其间的“距离”定义为相应的欧几里德距离,其计算的公式可以表示为:
其中,告警项i=(xi1,xi2,…,xip)和告警项j=(xj1,xj2,…,xjp)是两个分别包含p个属性的告警信息,此外,公式中的wf(f=1~p)表示的是告警项中相应属性f的权重大小。
布尔型属性。这种属性所对应的变量就是布尔型变量,布尔型变量的取值通常只有两种,即0或1,通常0和1表示的不是数量上多少的关系,而是一种或有或无的状态,所以布尔型变量其实质上是一种二元状态变量。对于这种属性值,其间“距离”的计算采用著名的匹配系数法,它的定义式表示如下:
其中,q表示的含义是告警项i和告警项j中都等于1的属性数,t表示的是告警项i和告警项j中都等于0的属性数,r则表示告警项i中等于1而告警项j中等于0的属性数,s则代表告警项i中等于0而告警项j中等于1的属性数。通过这种匹配系数法,最终可以得到布尔型属性间的“距离”,从而进一步评估其间的相似度。
枚举型属性。这种类型的属性和布尔型属性不同,最主要的区别就在于枚举型属性它具有多个取值的可能,而并非只有0和1两种取值。从本质上讲,枚举型变量也是一种状态变量,而非数值变量,但其表征的不是二元状态,而是一个多元状态的集合。针对这种类型的属性,其间“距离”的计算同样可以采用匹配的思想来进行,具体的“距离”计算公式如下所示:
其中,m表示告警项i和告警项j中取值相同的属性数,即为两个告警之间的匹配数,而p则表示告警信息中全部的属性数目。
通过以上的定义和说明,可以对告警信息中不同种类的属性进行“距离”即相似度的计算,从而方便对告警信息相似度的量化。结合上述的定义和计算,包含p个不同类型属性的告警项i和告警项j之间的“距离”可以由下式进行描述:
其中,p表示告警项i和告警项j中包含的属性数,f指的是p个属性中特定的某一个属性。w(f)表示的是属性f在“距离”计算中所占的权重。是一个指示变量,它只有0和1两种取值。此外,表示的是告警项i和告警项j在属性f层面上的“距离”。最终通过这个计算公式,可以根据两个告警信息在各个属性层面上的“距离”,计算分析出两个告警项之间的相似程度。
在本发明中,模糊告警聚类是要将n个告警项(n个向量)xi(i=1,2,…,n)分别归属到c个模糊告警簇中,如果告警聚类的分簇结果满足相应的聚类目标函数值要求,则这个告警聚类的结果就是符合网络要求的,否则还需要不断的进行迭代分类和计算,直至满足目标函数的需求。在成功对网络中的告警信息进行聚类后,便可以分别得出每个告警聚类簇的中心,并且网络中搜集到的低级告警信息都将以某个[0,1]区间内的隶属度归类于某一类告警分簇。在这个模糊分簇的过程中,通过隶属度矩阵U={uij∈[0,1]|1≤i≤C,1≤j≤n}来表征每个告警项关于每个告警簇的隶属程度,进一步将每个告警项的隶属度向量进行归一化后,每个告警项对于所有告警聚类簇的隶属度之和就等于1,如下式所示。
在告警聚类方案中,所采用的聚类目标函数形式如下式所示:
其中,uij即为所说的告警隶属度,它满足uij∈[0,1];而ci(i=1,2,3,...,C)则表示第i个模糊告警簇的中心;dij=||ci-xj||则表示第i个模糊告警簇中心距离告警项j之间的“距离”(这里“距离”的定义与前面相似度的衡量类似);最后,目标函数中的m表示聚类过程的加权指数,其取值范围是m∈[1,∞)。从目标函数的定义式可以看出,-所构造的目标函数是各个告警项与所有聚类中心加权“距离”的总和,因此,为了实现最优的告警聚类,应尽可能地去最小化相应的目标函数值,从而实现更加“紧凑”的告警聚类。为了获取这样的最优聚类,采用凸优化中的投影梯度算法,通过不断的迭代从而实现最优的聚类方案。
在优化的过程中,为了获取取得最小目标函数值的必要条件,还需要构造如下的拉格朗日函数:
其中,λj(j=1,2,…,n)表示的是n个隶属度约束条件的拉格朗日乘子,这些乘子都是非负的变量。进一步,对构造的拉格朗日函数求导,便得出了取得最优目标函数值的必要条件,如下所示:
在通过多次的迭代后,便可以获得相应最优聚类方案的C个聚类中心以及n个告警项所对应的C×n隶属度矩阵,最终根据最大隶属度的选取原则,将每个告警项归属到它相应隶属度最大的模糊告警簇中,从而实现最终的模糊告警聚类方案。在这个方案中,有两个算法参数非常关键,其一是模糊告警簇的个数,也就是聚类中心的个数C,其二就是目标函数中的加权指数m。首先,对于模糊告警簇个数C的选择,它应当满足C>1的条件,并且C的取值应远小于告警项的数目n;其次,对于加权指数m,它控制的是整个聚类方案的聚类强度,如果m太大,则聚类的要求会偏高,从而导致聚类的效果减弱,同样地如果m太小,聚类的过程会过于宽泛,导致聚类结果的意义不明显。因此,合理地选择模糊告警簇个数C和加权指数m对告警聚类方案的实施具有着重大的意义。
为了能够有效地减少告警数据库中的告警数目,利用Dempster-Shafer理论来将模糊告警簇中的告警进行融合,融合后形成的综合告警,其属性值将是模糊告警簇中所有低级告警的综合考量。同时,为了更好地表征一个综合告警的可信程度,同样利用Dempster-Shafer理论实现了告警置信度的融合,从而能够通过综合告警更为全面地了解网络中的状态和故障。需要指出的是,所提出的融合方案中,低级告警的置信度是直接通过专家系统给出的。具体融合方案如图3所示。图3为本发明糊告警簇中的告警融合方案示意图。
以下,便给出基于Dempster-Shafer理论的告警信息融合法则。在异构网络中,此时要做的就是将多个低级告警信息融合为一个综合告警信息,同时结合置信度的融合,最终生成一个更具综合性,更具说明性的告警证据信息。
首先,考虑只有两个告警项进行融合的情形。这里,假设m1,m2是告警空间Θ上的两个质量函数,Bel1,Bel2是其分别对应的信任函数,同时假设其焦元分别为A1,A2,…,Ak和B1,B2,…,Bl。如果这两个告警信息所给出的证据并不是完全的相悖和冲突,那么对于非空集合A,就可以采用如下的融合规则:
其中,
其次,考虑网络中多个告警项进行融合的情形。如果在异构网络中同时存在多批的告警项需要进行融合,那么,与上面两个告警项融合的情形类似,如果告警1到告警n所对应的质量函数分别表示为m1,m2,…,mn,则可以采用如下的告警融合规则来实现合成:
这里,
有关于告警置信度的融合,也可采用类似的融合机制来进行,相应的融合规则是一样的。通过上述的这种告警融合方案,便可以将模糊告警簇中的低级告警信息进行融合,从而得到相应的综合告警信息,同时获得模糊告警簇相应的综合置信度,最终实现了告警数据库的缩减,并提升了异构网络中告警信息管理的效率和有效性,为异构网络中进一步的故障定位和维护提供了良好的前提和基础。
在本发明中,还对异构网络告警聚类融合方案进行仿真验证,这里,采用的仿真平台是Matlab2012a。在具体展现仿真结果之前,有必要对仿真中涉及的一些具体参数做一些说明。
考虑到仿真过程中模糊化处理的方便以及仿真结果的展示,在这里考虑的异构网中的标准告警帧格式只包含三个字段的信息,它们分别是告警级别、告警类型以及告警计数。对这三个字段的模糊化信息做以下说明:
告警级别:1,2,3,4,5——分别对应“警告”,“轻微”,“一般”,“严重”,“紧急”。
告警类型:1,2,3,4——分别对应“应用层告警”,“服务层告警”,“网络层告警”,“设备层告警”。
告警计数:表示一条告警信息出现的次数。
三条属性的数值越大代表的告警故障越趋近于根源故障,根据不同告警信息的属性值将其进行聚类,减少低级告警的数目,同时通过低级告警信息之间的置信度的融合,进而形成置信度更高的综合告警,实现信息通信网络中告警信息的聚类融合。
通过模糊聚类算法,可以实现告警信息的动态聚类,将相似的告警信息聚到一起,形成一个模糊告警簇,方便进一步的融合处理。图4为仿真验证中本发明模糊聚类的目标函数的收敛图。如图4所示,将20个告警项,根据其属性值的相似性,将其分为4个模糊告警簇,这样的处理大大地提高了对于告警数据库的管理。
图5为仿真验证中初级告警信息聚类示意图。由图5可以看出,此方案中采用的聚类算法是收敛的。模糊聚类的目标函数,通过不断的迭代更新,最终稳定到了最优的目标函数值上,因此,可以看出,在此方案中对告警的分类是稳定的,该分类结果并不会随着告警数据库的更新而改变,这样的聚类结果是有效且稳定的。
图6a为仿真验证中第一类初级告警置信度示意图;
图6b为仿真验证中第一类综合告警置信度示意图;
图6c为仿真验证中第二类初级告警置信度示意图;
图6d为仿真验证中第二类综合告警置信度示意图;
图6e为仿真验证中第三类初级告警置信度示意图;
图6f为仿真验证中第三类综合告警置信度示意图;
图6g为仿真验证中第四类初级告警置信度示意图;
图6h为仿真验证中第四类综合告警置信度示意图。
由图6a、图6b、图6c、图6d、图6e、图6f、图6g和图6h可以看出,通过对多个初级告警信息置信度的融合,利用Dempster-Shafer融合理论得出了融合后综合告警的置信度。从图中不难看出,最终得到的综合告警的置信度实际上是对多个初级告警置信度的整体反应,综合告警的置信度从整体上反映出了某一类告警的可信程度,这对于进一步管理聚类后的告警信息非常有用,因为通过综合告警置信度这个指标,可以进一步将一类告警视为一个单一的告警来处理,这将极大地提升网络中告警信息处理的效率。
图7为仿真验证中本发明告警信息融合处理方法和普通告警信息融合处理方法对比效果图。通过图7,可以看出,相比于普通的告警信息处理方案,本文所提出的告警信息融合方案,在告警数目繁多时将具有更高的处理效率。当告警数目较低时,本研究所提出的方案并没有很大的优势,其原因在于方案中所涉及的聚类融合技术在告警数目很少时,几乎无法体现出综合告警所带来的优势,反而会进一步增加复杂度,因此性能不是很好。而在实际的网络环境中,告警的数量往往是非常巨大的,在这样的环境中,所引入的综合告警的概念将会极大地提升信息通信网中告警处理的效率,从而减少告警数据库的告警处理时长。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本公开的范围(包括权利要求)被限于这些例子;在本发明的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,并存在如上所述的本发明的不同方面的许多其它变化,为了简明它们没有在细节中提供。因此,凡在本发明的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (6)
1.一种异构网络环境中告警信息的聚类融合方法,其特征在于,包括:
通过对告警信息字段的取舍,将异构网络中的所有告警信息进行帧格式的统一并建立告警信息之间的相似度矩阵;
基于模糊逻辑,通过告警信息属性的相似度对所述帧格式统一的告警信息进行聚类分析,根据告警距离故障根源的远近程度,将异构网中的告警分成多个模糊告警簇;
将所述聚类后的告警信息进行融合并将告警信息的置信度融合,生成综合告警信息。
2.根据权利要求1所述的方法,其特征在于,所述对告警信息字段的取舍,将异构网络中的所有告警信息进行帧格式的统一的步骤具体为:
根据告警信息的字段信息能否为定位故障根源提供有用的依据来选取字段,进而选取告警设备的编号字段、告警设备的网络地址字段、告警的类型字段、告警的紧急程度字段和告警的频次字段。
3.根据权利要求1所述的方法,其特征在于,所述告警信息属性的相似度是通过距离的概念来衡量的,所述距离的可通过下式来描述:
其中,p表示告警项i和告警项j中包含的属性数,f指的是p个属性中特定的某一个属性,w(f)表示的是属性f在“距离”计算中所占的权重,是一个指示变量,它只有0和1两种取值,此外,表示的是告警项i和告警项j在属性f层面上的“距离”。
4.根据权利要求3所述的方法,其特征在于,所述告警信息的属性包括数值型属性、布尔型属性和枚举型属性;
数值型属性包括整数型变量、实数型变量、字节型变量和时间型变量,其间的“距离”定义为相应的欧几里德距离,其计算的公式可以表示为:
其中,告警项i=(xi1,xi2,…,xip)和告警项j=(xj1,xj2,…,xjp)是两个分别包含p个属性的告警信息,此外,公式中的wf(f=1~p)表示的是告警项中相应属性f的权重大小;
布尔型属性对应的变量就是布尔型变量,其间“距离”的计算采用著名的匹配系数法,它的定义式表示如下:
其中,q表示的含义是告警项i和告警项j中都等于1的属性数,t表示的是告警项i和告警项j中都等于0的属性数,r则表示告警项i中等于1而告警项j中等于0的属性数,s则代表告警项i中等于0而告警项j中等于1的属性数;
枚举型属性是一种状态变量,,其间“距离”的计算同样可以采用匹配的思想来进行,具体的“距离”计算公式如下所示:
其中,m表示告警项i和告警项j中取值相同的属性数,即为两个告警之间的匹配数,而p则表示告警信息中全部的属性数目。
5.根据权利要求1所述的方法,其特征在于,对所述帧格式统一的告警信息进行聚类具体为:
(1):初始化聚类中心和所有告警项的隶属度向量,同时对这些向量进行归一化处理,生成符合方案标准的隶属度矩阵U;
(2):根据隶属度矩阵U求出C个模糊告警簇的中心,即聚类中心ci,其中i=1,2,…,C;
(3):计算相应目标函数的数值。如果所得的目标函数值低于预期的门限值,或与上一次迭代相比的差值小于某个门限值,则说明聚类结果符合网络中的要求,进而停止迭代,聚类结束,否则,继续进行第(4)步;
(4):更新隶属度矩阵U,然后返回第二步。
6.根据权利要求1所述的方法,其特征在于,所述将所述聚类后的告警信息进行融合并将告警信息的置信度融合,具体为:
利用Dempster-Shafer理论来将模糊告警簇中的告警进行融合,融合后形成的综合告警,并利用Dempster-Shafer理论实现告警置信度的融合。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511021431.7A CN105550714A (zh) | 2015-12-30 | 2015-12-30 | 一种异构网络环境中告警信息的聚类融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201511021431.7A CN105550714A (zh) | 2015-12-30 | 2015-12-30 | 一种异构网络环境中告警信息的聚类融合方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN105550714A true CN105550714A (zh) | 2016-05-04 |
Family
ID=55829897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201511021431.7A Pending CN105550714A (zh) | 2015-12-30 | 2015-12-30 | 一种异构网络环境中告警信息的聚类融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105550714A (zh) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106411584A (zh) * | 2016-09-21 | 2017-02-15 | 武汉日电光通信工业有限公司 | 一种基于加权距离的通信业务告警分析方法及系统 |
CN106843111A (zh) * | 2017-03-10 | 2017-06-13 | 中国石油大学(北京) | 油气生产系统报警信号根原因精确溯源方法及装置 |
CN107819606A (zh) * | 2017-09-29 | 2018-03-20 | 北京金山安全软件有限公司 | 一种网络所受攻击的报警方法及装置 |
CN108696391A (zh) * | 2018-05-10 | 2018-10-23 | 浙江八方电信有限公司 | 一种应用于移动网络优化告警时序聚类算法 |
CN108809757A (zh) * | 2018-05-22 | 2018-11-13 | 平安科技(深圳)有限公司 | 一种系统告警方法、存储介质和服务器 |
CN108809783A (zh) * | 2017-04-27 | 2018-11-13 | 通用汽车环球科技运作有限责任公司 | 用于诊断控制器区域网络的方法和系统 |
CN109191023A (zh) * | 2018-11-07 | 2019-01-11 | 广东电网有限责任公司 | 一种电网告警信息快速处理方法及装置 |
CN109992484A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 一种网络告警相关性分析方法、装置和介质 |
CN109995561A (zh) * | 2017-12-30 | 2019-07-09 | 中国移动通信集团福建有限公司 | 通信网络故障定位的方法、装置、设备及介质 |
CN110261706A (zh) * | 2019-07-22 | 2019-09-20 | 西南交通大学 | 一种基于邻域距离的输电线路故障检测方法 |
CN110351150A (zh) * | 2019-07-26 | 2019-10-18 | 中国工商银行股份有限公司 | 故障根源确定方法及装置、电子设备和可读存储介质 |
CN110472657A (zh) * | 2019-07-04 | 2019-11-19 | 西北工业大学 | 基于信任函数理论的图像分类方法 |
CN111260504A (zh) * | 2020-02-11 | 2020-06-09 | 吴龙圣 | 智能电网监控方法、系统及智能电网控制器 |
CN111739243A (zh) * | 2020-05-14 | 2020-10-02 | 电子科技大学 | 一种基于d-s证据理论的火灾状态检测方法 |
CN111884832A (zh) * | 2020-06-29 | 2020-11-03 | 华为技术有限公司 | 一种获取无源网络拓扑信息的方法及相关设备 |
CN111898647A (zh) * | 2020-07-07 | 2020-11-06 | 贵州电网有限责任公司 | 一种基于聚类分析的低压配电设备误告警识别方法 |
CN112564988A (zh) * | 2021-02-19 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 告警处理方法、装置及电子设备 |
CN113162801A (zh) * | 2021-03-26 | 2021-07-23 | 中国联合网络通信集团有限公司 | 一种告警分析方法、装置及存储介质 |
CN113904815A (zh) * | 2021-09-22 | 2022-01-07 | 深信服科技股份有限公司 | 一种告警聚合方法、装置、设备及计算机存储介质 |
WO2023071761A1 (zh) * | 2021-10-29 | 2023-05-04 | 深圳前海微众银行股份有限公司 | 一种异常定位方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472916A (zh) * | 2003-06-24 | 2004-02-04 | 北京邮电大学 | 大规模分布式入侵检测系统的数据融合机制 |
CN101441718A (zh) * | 2008-12-19 | 2009-05-27 | 福建三元达通讯股份有限公司 | 传感器信息融合装置及其方法 |
US20140096045A1 (en) * | 2012-09-28 | 2014-04-03 | Fluke Corporation | Alarm clustering mechanism |
US20150370799A1 (en) * | 2014-06-24 | 2015-12-24 | Vmware, Inc. | Method and system for clustering and prioritizing event messages |
-
2015
- 2015-12-30 CN CN201511021431.7A patent/CN105550714A/zh active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1472916A (zh) * | 2003-06-24 | 2004-02-04 | 北京邮电大学 | 大规模分布式入侵检测系统的数据融合机制 |
CN101441718A (zh) * | 2008-12-19 | 2009-05-27 | 福建三元达通讯股份有限公司 | 传感器信息融合装置及其方法 |
US20140096045A1 (en) * | 2012-09-28 | 2014-04-03 | Fluke Corporation | Alarm clustering mechanism |
US20150370799A1 (en) * | 2014-06-24 | 2015-12-24 | Vmware, Inc. | Method and system for clustering and prioritizing event messages |
Non-Patent Citations (3)
Title |
---|
冷晓杰: "基于告警模糊关联规则并行挖掘的多域分布式网络故障诊断", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊 )》 * |
刘盼: "基于多层模糊关联规则挖掘的网络告警相关性分析", 《中国优秀硕士学位论文全文数据库信息科技辑(月刊 )》 * |
文颖: "考虑置信度的告警信息融合技术的研究", 《中国优秀博硕士学位论文全文数据库 (硕士)信息科技辑(月刊 )》 * |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106411584A (zh) * | 2016-09-21 | 2017-02-15 | 武汉日电光通信工业有限公司 | 一种基于加权距离的通信业务告警分析方法及系统 |
CN106411584B (zh) * | 2016-09-21 | 2019-10-22 | 武汉众邦领创技术有限公司 | 一种基于加权距离的通信业务告警分析方法及系统 |
CN106843111A (zh) * | 2017-03-10 | 2017-06-13 | 中国石油大学(北京) | 油气生产系统报警信号根原因精确溯源方法及装置 |
CN108809783B (zh) * | 2017-04-27 | 2021-03-16 | 通用汽车环球科技运作有限责任公司 | 用于诊断控制器区域网络的方法和系统 |
CN108809783A (zh) * | 2017-04-27 | 2018-11-13 | 通用汽车环球科技运作有限责任公司 | 用于诊断控制器区域网络的方法和系统 |
CN107819606A (zh) * | 2017-09-29 | 2018-03-20 | 北京金山安全软件有限公司 | 一种网络所受攻击的报警方法及装置 |
CN109995561B (zh) * | 2017-12-30 | 2022-03-29 | 中国移动通信集团福建有限公司 | 通信网络故障定位的方法、装置、设备及介质 |
CN109995561A (zh) * | 2017-12-30 | 2019-07-09 | 中国移动通信集团福建有限公司 | 通信网络故障定位的方法、装置、设备及介质 |
CN109992484A (zh) * | 2018-01-02 | 2019-07-09 | 中国移动通信有限公司研究院 | 一种网络告警相关性分析方法、装置和介质 |
CN109992484B (zh) * | 2018-01-02 | 2023-09-19 | 中国移动通信有限公司研究院 | 一种网络告警相关性分析方法、装置和介质 |
CN108696391A (zh) * | 2018-05-10 | 2018-10-23 | 浙江八方电信有限公司 | 一种应用于移动网络优化告警时序聚类算法 |
CN108809757A (zh) * | 2018-05-22 | 2018-11-13 | 平安科技(深圳)有限公司 | 一种系统告警方法、存储介质和服务器 |
CN108809757B (zh) * | 2018-05-22 | 2021-06-15 | 平安科技(深圳)有限公司 | 一种系统告警方法、存储介质和服务器 |
CN109191023A (zh) * | 2018-11-07 | 2019-01-11 | 广东电网有限责任公司 | 一种电网告警信息快速处理方法及装置 |
CN110472657B (zh) * | 2019-07-04 | 2021-09-03 | 西北工业大学 | 基于信任函数理论的图像分类方法 |
CN110472657A (zh) * | 2019-07-04 | 2019-11-19 | 西北工业大学 | 基于信任函数理论的图像分类方法 |
CN110261706A (zh) * | 2019-07-22 | 2019-09-20 | 西南交通大学 | 一种基于邻域距离的输电线路故障检测方法 |
CN110261706B (zh) * | 2019-07-22 | 2020-09-29 | 西南交通大学 | 一种基于邻域距离的输电线路故障检测方法 |
CN110351150B (zh) * | 2019-07-26 | 2022-08-16 | 中国工商银行股份有限公司 | 故障根源确定方法及装置、电子设备和可读存储介质 |
CN110351150A (zh) * | 2019-07-26 | 2019-10-18 | 中国工商银行股份有限公司 | 故障根源确定方法及装置、电子设备和可读存储介质 |
CN111260504B (zh) * | 2020-02-11 | 2020-11-17 | 南京瀚元科技有限公司 | 智能电网监控方法、系统及智能电网控制器 |
CN111260504A (zh) * | 2020-02-11 | 2020-06-09 | 吴龙圣 | 智能电网监控方法、系统及智能电网控制器 |
CN111739243A (zh) * | 2020-05-14 | 2020-10-02 | 电子科技大学 | 一种基于d-s证据理论的火灾状态检测方法 |
CN111884832B (zh) * | 2020-06-29 | 2022-06-14 | 华为技术有限公司 | 一种获取无源网络拓扑信息的方法及相关设备 |
CN111884832A (zh) * | 2020-06-29 | 2020-11-03 | 华为技术有限公司 | 一种获取无源网络拓扑信息的方法及相关设备 |
CN111898647A (zh) * | 2020-07-07 | 2020-11-06 | 贵州电网有限责任公司 | 一种基于聚类分析的低压配电设备误告警识别方法 |
CN112564988B (zh) * | 2021-02-19 | 2021-06-18 | 腾讯科技(深圳)有限公司 | 告警处理方法、装置及电子设备 |
CN112564988A (zh) * | 2021-02-19 | 2021-03-26 | 腾讯科技(深圳)有限公司 | 告警处理方法、装置及电子设备 |
CN113162801A (zh) * | 2021-03-26 | 2021-07-23 | 中国联合网络通信集团有限公司 | 一种告警分析方法、装置及存储介质 |
CN113904815A (zh) * | 2021-09-22 | 2022-01-07 | 深信服科技股份有限公司 | 一种告警聚合方法、装置、设备及计算机存储介质 |
CN113904815B (zh) * | 2021-09-22 | 2024-05-28 | 深信服科技股份有限公司 | 一种告警聚合方法、装置、设备及计算机存储介质 |
WO2023071761A1 (zh) * | 2021-10-29 | 2023-05-04 | 深圳前海微众银行股份有限公司 | 一种异常定位方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105550714A (zh) | 一种异构网络环境中告警信息的聚类融合方法 | |
Li et al. | Analysis framework of network security situational awareness and comparison of implementation methods | |
Li et al. | A comparative analysis of evolutionary and memetic algorithms for community detection from signed social networks | |
CN110223168A (zh) | 一种基于企业关系图谱的标签传播反欺诈检测方法及系统 | |
CN109784636A (zh) | 欺诈用户识别方法、装置、计算机设备及存储介质 | |
Zekun et al. | Identification of key nodes in aircraft state network based on complex network theory | |
Chopade et al. | A framework for community detection in large networks using game-theoretic modeling | |
Zhang et al. | Fuzzy evaluation of network vulnerability | |
CN109872003A (zh) | 对象状态预测方法、系统、计算机设备及存储介质 | |
CN104881735A (zh) | 用于支撑智慧城市运行管理的智能电网大数据挖掘系统及方法 | |
CN111738817A (zh) | 识别风险社区的方法及系统 | |
CN108549907A (zh) | 一种基于多源迁移学习的数据校验方法 | |
CN107729939A (zh) | 一种面向新增电网资源的cim模型扩展方法及装置 | |
CN104363104A (zh) | 一种面向用户需求的海量多元数据态势显示系统与方法 | |
Liu et al. | Link prediction model for weighted networks based on evidence theory and the influence of common neighbours | |
Zhang et al. | Hierarchical network security situation awareness data fusion method in cloud computing environment | |
Yin et al. | Syncretic K-shell algorithm for node importance identification and invulnerability evaluation of urban rail transit network | |
Hui | Construction of information security risk assessment model in smart city | |
CN113762703A (zh) | 确定企业画像的方法和装置、计算设备和存储介质 | |
Jiang et al. | On spectral graph embedding: A non-backtracking perspective and graph approximation | |
CN114978878B (zh) | 定位方法、装置、电子设备及计算机可读存储介质 | |
CN116668105A (zh) | 一种结合工控安全知识图谱的攻击路径推理系统 | |
Zhao et al. | A novel higher-order neural network framework based on motifs attention for identifying critical nodes | |
CN114900435B (zh) | 一种连接关系预测方法及相关设备 | |
Ji et al. | A novel method of intrusion detection based on federated transfer learning and convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20160504 |