CN109189736A - 一种告警关联规则的生成方法和装置 - Google Patents

一种告警关联规则的生成方法和装置 Download PDF

Info

Publication number
CN109189736A
CN109189736A CN201810863805.7A CN201810863805A CN109189736A CN 109189736 A CN109189736 A CN 109189736A CN 201810863805 A CN201810863805 A CN 201810863805A CN 109189736 A CN109189736 A CN 109189736A
Authority
CN
China
Prior art keywords
alarm
sequence
log
alarm log
frequent mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810863805.7A
Other languages
English (en)
Other versions
CN109189736B (zh
Inventor
赵良
王光全
张贺
廖军
郑滟雷
黄兵明
孙钦栋
乔月强
刘晓村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN201810863805.7A priority Critical patent/CN109189736B/zh
Publication of CN109189736A publication Critical patent/CN109189736A/zh
Application granted granted Critical
Publication of CN109189736B publication Critical patent/CN109189736B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3003Monitoring arrangements specially adapted to the computing system or computing system component being monitored
    • G06F11/3048Monitoring arrangements specially adapted to the computing system or computing system component being monitored where the topology of the computing system or computing system component explicitly influences the monitoring activity, e.g. serial, hierarchical systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例提供一种告警关联规则的生成方法和装置,涉及网络告警分析技术领域,能够生成带有关联条件的关联规则。该方法包括:获取告警日志、网络拓扑数据和业务数据;根据网络拓扑数据、业务数据和告警日志获取告警日志之间的关联关系;根据时间窗和告警日志发生时间生成目标告警日志序列;根据告警日志之间关联关系从目标告警日志序列中构建事务项;根据事务项中首个告警日志的类型获得不同的事务项集合;当确定事务项集合中事务项的个数大于等于最少出现次数时,根据R‑PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列;根据频繁模式序列生成告警关联规则并存储在数据库中。

Description

一种告警关联规则的生成方法和装置
技术领域
本发明涉及网管告警分析技术领域领域,尤其涉及一种告警关联规则的生成方法和装置。
背景技术
随着现代高新技术的迅速发展以及传输网络规模和复杂度的不断增加,现网运营维护变得越来越繁杂,运维人员每天必须面对各种通信传输设备产生的海量实时告警信息。现有的网络管理系统已经无法在异常状况发生时为运维人员提供足够的支持,许多问题不能被及时发现而导致不断传播升级甚至影响所有业务。如果发生故障告警时还需要花费大量时间去寻找问题根源和解决办法,那么即使是细微的问题也可能会迅速地升级扩大。由于传输网络的海量告警信息具备一定的相关性,同一故障往往在网络层面上引发若干告警。如何借助告警间的相关性分析,从大量的告警中找到根源告警,压缩或过滤重复告警、衍生告警和不重要的告警是亟需解决的问题。
目前工程上对于告警关联和压缩通用的方式是基于人工规则,即根据已有的网络理论知识及积累的业务相关性经验总结出相关规则指导告警的关联溯源关系,从而梳理告警信息,提炼根源告警。此外,近年来随着人工智能和机器学习等技术的蓬勃发展,目前也有一些通过现网历史告警数据直接挖掘告警关联规则的方法。
对于人工总结的告警关联规则,一方面现网告警与网络结构、配置场景、业务模型等具有强相关性,这些人工总结的告警规则与现网告警的实际匹配度较差;另一方面,为避免造成重要告警的忽略,人工告警规则制定的弹性力度大,对于告警的归纳能力非常有限度。对于目前通过现网历史告警数据挖掘关联规则的方法,这些方法一般仅能识别某些告警之间的相关性,无法提供满足这些相关性的告警是在何种约束条件下产生的,即无法结合相应的通信业务模型和网络拓扑结构。这些方法只能在应用告警规则做具体的告警识别时,按照预先设定的若干条件逐一去试,满足条件之一则认为告警之间具有关联性,这无疑告警关联造成了很高的误判率。
发明内容
本发明的实施例提供一种告警关联规则的生成方法和装置,能够生成带有关联条件的关联规则。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供一种告警关联规则的生成方法,包括:
获取告警日志、网络拓扑数据和业务数据;
根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系;
根据预设时间长度和告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;
根据目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志;
根据事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;
当确定事务项集合中事务项的个数大于等于最少出现次数时,根据事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan(RestrictionPrefixSpan,约束条件的PrefixSpan)算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系;
根据频繁模式序列生成告警关联规则并存储在数据库中。
上述实施例提供的技术方案,结合告警数据、拓扑数据、业务数据以及本发明提出的改进后的挖掘算法即R-PrefixSpan算法,自动挖掘出带有严格约束条件的告警关联规则,能够对传输网络中众多告警日志的关联规则进行总结,最终生成的带有关联条件的关联规则,相比现有技术而言,更高程度的匹配了现网实际的告警数据,提供了更加精准的关联规则。
可选的,根据网络拓扑数据、业务数据和告警日志中的节点信息获取告警日志之间的拓扑关系和业务关系之前还包括:
根据告警日志中的节点信息、发生时间和名称确定重复告警日志集,重复告警日志集中每一个告警日志中的节点信息、发生时间和名称均相同;
将重复告警日志集中包含的设备日志流水号最小的告警日志保留,其余删除。
可选的,根据预设时间长度和告警日志包含的发生时间从所有告警日志中生成目标告警日志序列包括:
根据告警日志包含的网管日志流水号对告警日志进行排序生成告警日志序列;
根据告警日志包含的设备日志流水号对告警日志序列中告警日志包含的设备信息相同的告警日志的序列位置进行调整;
根据告警日志序列中每一个告警日志包含的发生时间从告警日志序列中获取目标告警日志序列,目标告警日志序列中第一个告警日志的发生时间和最后一个告警日志的发生时间的差值为预设时间长度。
可选的,根据事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度包括:
根据事务项集合中各个告警日志与其前一个告警日志的关联关系构建关联矩阵;
以事务项集合中包含的每一个告警日志作为频繁模式序列前缀,根据关联矩阵从事务项集合中获取每一个频繁模式序列前缀对应的带有子关联矩阵的频繁模式投影序列;
根据最小支持度从频繁模式投影序列中获取带有关联条件的频繁模式序列后缀,关联条件为频繁模式序列后缀包括的告警日志和频繁模式序列前缀包括的告警日志的关联关系;
将频繁模式序列前缀和频繁模式序列后缀合并为频繁模式序列;
当确定频繁模式序列的模式长度大于等于最大模式长度时,确定频繁模式序列为包含有关联条件的频繁模式序列;当确定频繁模式序列的模式长度小于等于最大模式长度时,将频繁模式序列前缀更新为频繁模式序列。
可选的,告警关联规则包括:
将包含频繁模式序列中第一个告警日志作为根源告警,将频繁模式序列中除第一个告警日志以外的第n个告警日志作为第n-1个告警日志在满足第n个告警日志与第n-1个告警日志的关联关系下的衍生告警;n≥2且为正整数。
可选的,根据频繁模式序列生成告警关联规则并存储之前还包括:
将所有频繁模式序列中首个告警日志的类型不为预设类型的频繁模式序列删除。
可选的,根据频繁模式序列生成告警关联规则并存储在数据库中包括:
计算频繁模式序列对应的事务项集合中包含有频繁模式序列的事务项占对应的事务项集合中事务项总数的占比值,并将占比值作为根据频繁模式序列生成的告警关联规则的置信度;
将置信度小于最小置信度的告警关联规则删除;
当数据库中存在与告警关联规则相同的目标告警关联规则时,若告警关联规则的置信度大于等于数据库中存储的目标告警关联规则的置信度,则使用告警关联规则替代目标告警关联规则;若告警关联规则的置信度小于数据库中存储的目标告警关联规则的置信度,则删除告警关联规则。
第二方面,提供一种告警关联规则的生成装置,包括:获取模块、序列生成模块、事务项生成模块、集合生成模块、判断模块、处理模块和规则生成模块;
获取模块,用于获取告警日志、网络拓扑数据和业务数据;
获取模块还用于根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系;
序列生成模块,用于根据预设时间长度和获取模块获取的告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;
事务项生成模块,用于根据获取模块获取的序列生成模块生成的目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志;
集合生成模块,用于根据事务项生成模块构建的事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;
处理模块,用于在判断模块确定集合生成模块生成的事务项集合中事务项的个数大于等于最少出现次数时,根据获取模块获取的事务项集合中每一个事务项中各个告警日志之间的关联关系,依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系;
规则生成模块,用于根据处理模块选取的频繁模式序列生成告警关联规则并存储在数据库中。
可选的,获取模块在根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系之前还用于:
根据告警日志中的节点信息、发生时间和名称确定重复告警日志集,重复告警日志集中每一个告警日志中的节点信息、发生时间和名称均相同;
将重复告警日志集中包含的设备日志流水号最小的告警日志保留,其余删除。
可选的,序列生成模块具体用于:
根据获取模块获取的告警日志包含的网管日志流水号对告警日志进行排序生成告警日志序列;
根据告警日志包含的设备日志流水号对告警日志序列中告警日志包含的设备信息相同的告警日志的序列位置进行调整;
根据告警日志序列中每一个告警日志包含的发生时间从告警日志序列中获取目标告警日志序列,目标告警日志序列中第一个告警日志的发生时间和最后一个告警日志的发生时间的差值为预设时间长度。
可选的,处理模块具体用于:
根据获取模块获取的事务项生成模块生成的事务项集合中各个告警日志与其前一个告警日志的关联关系构建关联矩阵;
以事务项集合中包含的每一个告警日志作为频繁模式序列前缀,根据关联矩阵从事务项集合中获取每一个频繁模式序列前缀对应的带有子关联矩阵的频繁模式投影序列;
根据最小支持度从频繁模式投影序列中获取带有关联条件的频繁模式序列后缀,关联条件为频繁模式序列后缀包括的告警日志和频繁模式序列前缀包括的告警日志的关联关系;
将频繁模式序列前缀和频繁模式序列后缀合并为频繁模式序列;
当判断模块确定频繁模式序列的模式长度大于最大模式长度时,确定频繁模式序列为包含有关联条件的频繁模式序列;当判断模块确定频繁模式序列的模式长度小于等于最大模式长度时,将频繁模式序列前缀更新为频繁模式序列。
可选的,规则生成模块生成的告警关联规则包括:
将频繁模式序列中第一个告警日志作为根源告警,将频繁模式序列中除第一个告警日志以外的第n个告警日志作为第n-1个告警日志在满足第n个告警日志与第n-1个告警日志的关联关系下的衍生告警;n≥2且为正整数。
可选的,规则生成模块在根据处理模块选取的频繁模式序列生成告警关联规则并存储之前还用于:
将所有处理模块选取的频繁模式序列中首个告警日志的类型不为预设类型的频繁模式序列删除。
可选的,规则生成模块具体用于:
计算处理模块选取的频繁模式序列对应的事务项集合中包含有频繁模式序列的事务项占对应的事务项集合中事务项总数的占比值,并将占比值作为根据频繁模式序列生成的告警关联规则的置信度;
将置信度小于最小置信度的告警关联规则删除;
当数据库中存在与告警关联规则相同的目标告警关联规则时,若判断模块确定告警关联规则的置信度大于等于数据库中存储的目标告警关联规则的置信度,则使用告警关联规则替代目标告警关联规则;若判断模块确定告警关联规则的置信度小于数据库中存储的目标告警关联规则的置信度,则删除告警关联规则。
本发明实施例提供的告警关联规则的生成方法和装置,该方法包括:获取告警日志、网络拓扑数据和业务数据;根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系;根据预设时间长度和告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;根据目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志;根据事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;当确定事务项集合中事务项的个数大于等于最少出现次数时,根据事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系;根据频繁模式序列生成告警关联规则并存储在数据库中。在本发明实施例中,在需要对传输网络中产生的告警规则进行分析以生成告警关联规则时,首先根据业务数据和拓扑数据获得告警日志之间的关联关系(业务关系和拓扑关系),然后针对每一条告警日志按照时间窗和告警日志的发生时间产生多个顺序排列的目标告警日志序列,然后便可以根据前述的关联关系从目标告警日志序列中产生含有多个告警日志的事务项,再将以同一类告警日志打头的事务项确定为一个事务项集合,然后根据各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,同时设定该频繁模式序列的限制为其支持度大于等于最小支持度且其模式长度小于等于最大模式长度;最后便可以依据该频繁模式序列生成需要的告警关联规则并存储。因为在整个告警关联规则的生成过程中不仅只考虑告警日志中包含的信息还结合业务数据和拓扑数据找出了各个告警日志之间的关联关系,使得最后生成的告警关联规则包含有其中各个告警日志之间的关联条件即只有在满足这些关联条件的基础上该关联规则才是正确的,相比于现有的技术方案而言,本发明实施例提供的技术方案生成的告警关联规则更加精确,避免了因为告警关联的误判而导致传输网络维护人员对网络故障误判端。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为现有技术提供的一种网络拓扑图;
图2为本发明实施例提供的技术方案概述图;
图3为本发明实施例提供的一种告警关联规则的生成方法流程示意图;
图4为本发明实施例提供的另一种告警关联规则的生成方法流程示意图;
图5为本发明实施例提供的一种R-PrefixSpan算法流程图;
图6为本发明实施例提供的一种告警关联规则的生成装置结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
还需要说明的是,本发明实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。
现有的针对传输网络中告警日志分析所采用的告警关联规则的生成方法一般仅能识别某些告警之间的相关性,无法提供满足这些相关性的告警是在何种约束条件下产生的,即无法结合相应的通信业务数据和网络拓扑数据。这些方法只能在应用告警规则做具体的告警识别时,按照预先设定的若干条件逐一去试,满足条件之一则认为告警之间具有关联性,这无疑告警关联造成了很高的误判率。例如参照图1所示,挖掘出的告警关联规则结果为:【根源告警:物理端口down->衍生告警:链路断开】,对于图1所示的拓扑图而言,当同一时刻,网元A的端口0/1/0上报物理端口down告警,网元B的端口0/1/1上报链路断开告警时,这两个告警的关联关系从原理上讲是正确的;但当网元A的端口0/1/0上报物理端口down告警,网元B的端口0/1/2上报链路断开告警时,这两个告警的关联关系从原理上讲是错误的,而目前的挖掘规则会将这两种情况都认为是具备关联关系,无法区分具体产生的条件。这无疑降低了告警关联的准确度。
为了解决上述问题,研究人员基于如图2所示的思路进行研究:
首先从数据库(可以是传输网络上的云端数据库也可以是人为存储数据的数据库)获取数据,主要包括告警数据、网络拓扑数据和业务数据等,之后根据数据构造事务项及事务项集,然后采用改进的PrefixSpan算法(即本发明实施例中的R-PrefixSpan算法)进行带条件的关联规则挖掘,将产生的结果保存起来作为告警过滤的基础。相关的程序或设备主要应当具备功能如下:
1)事务项构建:关联规则挖掘的基础是事务项的集合,集合内的每个元素是一个事务项,在同一事务项内的数据间具有较强的关联关系。事务项构建功能将告警数据按时间先后和时间间隔组合成不同的事务项,并加入事务项集用于关联规则挖掘。
2)规则挖掘:规则挖掘功能基于事务项集,采用改进的PrefixSpan算法,从数据中分析出相应的带关联条件的告警关联规则。用户需要在算法实施前提前确定好最小支持度、最小置信度、最大模式长度、最少出现次数等参数。最小支持度表示某一频繁模式序列在其对应的事务项集合中最小出现的次数,只有当该频繁模式序列在其对应的事务项集合中的出现次数大于最小支持度时,这个频繁项才被认为有效。最小置信度表示某一规则被接受的最小概率值,只有在根源告警推出衍生告警的概率大于最小置信度时,这个规则才被认为有效。最大模式长度表示频繁模式序列最大的长度,主要用于加快算法的执行速度,例如若最大模式长度设置为3,则一个根源告警最多会导致两个衍生告警。最少出现次数表示事务项集合中事务项总数的门限值。
3)时间约束:时间约束功能主要是在规则挖掘过程中,检查产生的中间结果是否能够满足关联告警之间应该满足的时间约束条件,例如最大时间窗或最大时间间隔等。只有满足时间约束的中间结果才认为是有效的,否则直接剪枝以提高关联规则挖掘效率。
基于上述研究思路,参照图3所示,本发明实施例提供一种告警关联规则的生成方法,包括:
301、获取告警日志、网络拓扑数据和业务数据。
示例性的,这三类数据可以存储在传输网络中的云端数据库,也可以是人为存储在特定的数据库中;可以在数据库中分好类别,例如将数据相关性较强的数据(例如为同一拓扑结构或同一业务下的数据)保存在同一存储位置;也可以不分类别任意存储,此处不做具体限制。
另外,这里网络拓扑数据包括但不限于链路信息,业务数据包括各类业务信息,告警数据包括但不限于:发生时间、告警名称、告警级别、告警类型、告警节点、告警端口等。
302、根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系。
303、根据预设时间长度和告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前。
具体的,预设时间长度也可以叫做时间窗,此处的目标日志序列中包含多个按照时间顺序排列的告警日志。
304、根据目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志。
示例性的,在本发明实施例中预设关联关系包括以下任一种:同一网元、同一端口、直连对端网元、直连对端端口、业务对端网元、业务对端端口、环上其他网元。
305、根据事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合。
306、判断事务项集合中的事务项的个数是否大于等于最小出现次数。
当确定事务项集合中事务项的个数大于等于最少出现次数时,执行307;当确定事务项集合中事务项的个数小于最少出现次数时,流程结束,具体实际中如果是一个一个事务项集合轮流判断则结束指对下一个事务项集合进行判断,如果是一次性所有事务项集合进行判断则结束指流程结束。
307、根据事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系。
需要说明的是,上述各个步骤中的最少出现次数、最大模式长度和最小支持度
308、根据频繁模式序列生成告警关联规则并存储在数据库中。
具体的,告警关联规则包括:将包含有关联条件的频繁模式序列中第一个告警日志作为根源告警,将包含有关联条件的频繁模式序列中除第一个告警日志以外的第n个告警日志作为第n-1个告警日志在满足第n个告警日志与第n-1个告警日志的关联关系下的衍生告警;n≥2且为正整数;例如若产生的频繁模式序列为<a(b,X)>,则生成的告警规则为[a->b,X],其具体含义为a代表的告警日志为根源告警,b代表的告警日志为衍生告警,且b是在满足a和b存在X关系的条件下由a衍生而得。
在上述实施例提供的技术方案中,在需要对传输网络中产生的告警规则进行分析以生成告警关联规则时,首先根据业务数据和拓扑数据获得告警日志之间的关联关系(业务关系和拓扑关系),然后针对每一条告警日志按照时间窗和告警日志的发生时间产生多个顺序排列的目标告警日志序列,然后便可以根据前述的关联关系从目标告警日志序列中产生含有多个告警日志的事务项,再将以同一类告警日志打头的事务项确定为一个事务项集合,然后根据各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,同时设定该频繁模式序列的限制为其支持度大于等于最小支持度且其模式长度小于等于最大模式长度;最后便可以依据该频繁模式序列生成需要的告警关联规则并存储。因为在整个告警关联规则的生成过程中不仅只考虑告警日志中包含的信息还结合业务数据和拓扑数据找出了各个告警日志之间的关联关系,使得最后生成的告警关联规则包含有其中各个告警日志之间的关联条件即只有在满足这些关联条件的基础上该关联规则才是正确的,相比于现有的技术方案而言,本发明实施例提供的技术方案生成的告警关联规则更加精确,避免了因为告警关联的误判而导致传输网络维护人员对网络故障误判端。
参照图4所示,本发明还提供另一种告警关联规则的生成方法作为对上述实施例提供的告警关联规则的生成方法的补充说明,该方法包括:
401、获取告警日志、网络拓扑数据和业务数据。
402、根据告警日志中的节点信息、发生时间和名称确定重复告警日志集,重复告警日志集中每一个告警日志中的节点信息、发生时间和名称均相同。
403、将重复告警日志集中包含的设备日志流水号最小的告警日志保留,其余删除。
因为原始告警数据中包含大量同节点同时间同名告警日志,这部分重复数据对关联规则挖掘的效果影响很大,因此将这部分数据首先做压缩删除,只保留在设备日志流水号最小(发生时间最早)的一条告警日志,所以存在402和403步骤。
404、根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系。
405、根据告警日志包含的网管日志流水号对告警日志进行排序生成告警日志序列。
406、根据告警日志包含的设备日志流水号对告警日志序列中告警日志包含的设备信息相同的告警日志的序列位置进行调整。
示例性的,由于网络不同设备上的时间可能不同步,因此对同一设备的告警日志按设备日志流水号对告警数据进行顺序重排,不同设备间依然采用原始的网管日志流水号;其中首先应该是依据不同设备都会有的网管日志流水号对所有告警日志进行排序即405步骤,而后需要针对同一设备产生的告警日志按照设备日志流水号进行排序的调整即406步骤;例如存在1、2、3、4四个告警日志,其中1和2属同一设备,3和4分别属于不同的其他设备,首先按照网管日志流水号排序为1324,然后根据1和2具体的设备日志流水号可以将排列顺序调整为2314。
407、根据告警日志序列中每一个告警日志包含的发生时间从告警日志序列中获取目标告警日志序列,目标告警日志序列中第一个告警日志的发生时间和最后一个告警日志的发生时间的差值为预设时间长度。
具体的,如果某几个告警日志包含的发生时间相同,则将其当做一个整体来进行目标日志序列的获取,其中同意时间发生的几个告警日志的顺序具体参考405和406步骤的排序结果,在407步骤中不对其排序顺序做出改变。
408、根据目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项。
其中,为了保证事务项在后续的频繁模式序列的选取中存在可挖掘的告警关联规则,所以事务项中至少包括两个告警日志;
409、根据事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合。
410、判断事务项集合中事务项的个数是否大于等于最少出现次数。
当确定事务项集合中事务项的个数大于等于最少出现次数时,执行411,当确定事务项集合中事务项的个数小于最少出现次数时,流程结束。
411、根据事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度。
其中,关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系。
示例性的,以事务项集合中包括:事务项1:<acbdb>;事务项2:<acb>;事务项3:<ade>;事务项4:<adcb>;设定最小支持度为3,最大模式长度为2,对上述R-PrefixSpan算法进行说明,参照图5所示,该算法包括:
S1、根据事务项集合中各个告警日志与其前一个告警日志的关联关系构建关联矩阵。
具体根据实例事务项集合,可以形成下表1:
事务项序号 事务项序列 关联矩阵
1 <acbdb> 《3,3,2,1><3,3,3><5,0><1><>>
2 <acb> 《3,1><3><>>
3 <ade> 《2,3><0><>>
4 <adcb> 《2,3,2><0,3><3><>>
表1
初始的事务项集合和关联矩阵如表1所示。数字对应两个告警的约束条件关系,其中,0表示无关,1表示同一端口,2表示同一网元,3表示直连对端端口,4表示直连对端网元,5表示业务对端端口,6表示业务对端网元,7表示环上其他网元等;例如,对于表1中的告警事务项<acbdb>,1号告警a与2号告警c的关系为直连对端端口,则关系用3表示;1号告警a与3号告警b的关系为直连对端端口,则关系用3表示;以此类推1号a与4号、5号告警的关系为同一网元以及同一端口,则对应的关联向量为<3,3,2,1>,2号告警与后续告警的关联向量为<3,3,3>,同理,当5号告警的告警向量为<>因为5号后没有告警项。所以<acbdb>的关联矩阵为《3,3,2,1><3,3,3><5,0><0><>>。
S2、以事务项集合中包含的每一个告警日志作为频繁模式序列前缀。
S3、根据关联矩阵从事务项集合中获取每一个频繁模式序列前缀对应的带有子关联矩阵的频繁模式投影序列。
S4、根据最小支持度从频繁模式投影序列中获取带有关联条件的频繁模式序列后缀,关联条件为频繁模式序列后缀包括的告警日志和频繁模式序列前缀包括的告警日志的关联关系。
具体S2-S4步骤可以形成下表2:
因为以e为频繁模式序列前缀的话,其投影序列小于最小支持度,所以表中并未展示;以频繁模式序列前缀为a为例,根据上表中频繁模式投影序列可以得出只有<a,(c,3)>(其中3表示a和c的关联关系)和<a,(d,2)>(其中2表示a和d的关联关系)两个频繁模式序列的支持度(即以该频繁模式序列最为前缀求后缀的数量)大于了最小支持度,所以以频繁模式序列前缀为a的频繁模式序列为<a,(c,3)>和〈a,(d,2)>;其余同理可得仅有以频繁模式序列前缀为c的频繁模式序列为〈c,(b,3)>满足最小支持度条件;
示例性的,以〈a,(c,3)>为例,其可以生成的告警挂链规则为在a和c满足3代表的关联关系的条件下a根源告警衍生C衍生告警。
S5、将频繁模式序列前缀和频繁模式序列后缀合并为频繁模式序列。
具体合并得到的即上述说明中的<a,(c,3)>、<a,(d,2)>和<c,(b,3)>。
S6、判断频繁模式序列的模式长度是否大于等于最大模式长度。
若是,执行S7;若否,执行S8。
具体的,在上述具体实施例中,到S5步骤时得到的频繁模式序列的模式长度已经等于最大模式长度2了,所以执行到S7后便结束,实际中如果最大模式长度设置更大,则会在S8步骤后继续执行S3。
S7、确定频繁模式序列为包含有关联条件的频繁模式序列。
S8、将频繁模式序列前缀更新为频繁模式序列。
S8后执行S3。
412、将所有频繁模式序列中首个告警日志的类型不为预设类型的频繁模式序列删除。
具体的,以上述S1-S8中的具体实施例为例,其得到的频繁模式序列为<a,(c,3)>、<a,(d,2)>和<c,(b,3)>,而预设类型一般和事务项集合划分时每一个事务项的首个告警日志为准,所以其中<c,(b,3)>需要删除。
413、计算频繁模式序列对应的事务项集合中包含有频繁模式序列的事务项占对应的事务项集合中事务项总数的占比值,并将占比值作为根据频繁模式序列生成的告警关联规则的置信度。
414、将置信度小于最小置信度的告警关联规则删除。
4151、当数据库中存在与告警关联规则相同的目标告警关联规则时,若告警关联规则的置信度大于等于数据库中存储的目标告警关联规则的置信度,则使用告警关联规则替代目标告警关联规则;
4152、当数据库中存在与告警关联规则相同的目标告警关联规则时,若告警关联规则的置信度小于数据库中存储的目标告警关联规则的置信度,则删除告警关联规则。
综上,本发明实施例提供的告警关联规则的生成方法,该方法包括:获取告警日志、网络拓扑数据和业务数据;根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系;根据预设时间长度和告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;根据目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志;根据事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;当确定事务项集合中事务项的个数大于等于最少出现次数时,根据事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系;根据频繁模式序列生成告警关联规则并存储在数据库中。在本发明实施例中,在需要对传输网络中产生的告警规则进行分析以生成告警关联规则时,首先根据业务数据和拓扑数据获得告警日志之间的关联关系(业务关系和拓扑关系),然后针对每一条告警日志按照时间窗和告警日志的发生时间产生多个顺序排列的目标告警日志序列,然后便可以根据前述的关联关系从目标告警日志序列中产生含有多个告警日志的事务项,再将以同一类告警日志打头的事务项确定为一个事务项集合,然后根据各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,同时设定该频繁模式序列的限制为其支持度大于等于最小支持度且其模式长度小于等于最大模式长度;最后便可以依据该频繁模式序列生成需要的告警关联规则并存储。因为在整个告警关联规则的生成过程中不仅只考虑告警日志中包含的信息还结合业务数据和拓扑数据找出了各个告警日志之间的关联关系,使得最后生成的告警关联规则包含有其中各个告警日志之间的关联条件即只有在满足这些关联条件的基础上该关联规则才是正确的,相比于现有的技术方案而言,本发明实施例提供的技术方案生成的告警关联规则更加精确,避免了因为告警关联的误判而导致传输网络维护人员对网络故障误判端。
参照图6所示,本发明实施例还提供一种告警关联规则的生成装置01用于实施上述实施例提供的告警关联规则的生成方法,该装置包括:获取模块61、序列生成模块62、事务项生成模块63、集合生成模块64、判断模块65、处理模块66和规则生成模块67;
获取模块61,用于获取告警日志、网络拓扑数据和业务数据;
获取模块61还用于根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系;
序列生成模块62,用于根据预设时间长度和获取模块61获取的告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;
事务项生成模块63,用于根据获取模块61获取的序列生成模块62生成的目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志;
集合生成模块64,用于根据事务项生成模块63构建的事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;
处理模块66,用于在判断模块65确定集合生成模块64生成的事务项集合中事务项的个数大于等于最少出现次数时,根据获取模块61获取的事务项集合中每一个事务项中各个告警日志之间的关联关系,依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系;
规则生成模块67,用于根据处理模块66选取的频繁模式序列生成告警关联规则并存储在数据库02中。
可选的,获取模块61在根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系之前还用于:
根据告警日志中的节点信息、发生时间和名称确定重复告警日志集,重复告警日志集中每一个告警日志中的节点信息、发生时间和名称均相同;
将重复告警日志集中包含的设备日志流水号最小的告警日志保留,其余删除。
可选的,序列生成模块62具体用于:
根据获取模块61获取的告警日志包含的网管日志流水号对告警日志进行排序生成告警日志序列;
根据告警日志包含的设备日志流水号对告警日志序列中告警日志包含的设备信息相同的告警日志的序列位置进行调整;
根据告警日志序列中每一个告警日志包含的发生时间从告警日志序列中获取目标告警日志序列,目标告警日志序列中第一个告警日志的发生时间和最后一个告警日志的发生时间的差值为预设时间长度。
可选的,处理模块66具体用于:
根据获取模块61获取的事务项生成模块63生成的事务项集合中各个告警日志与其前一个告警日志的关联关系构建关联矩阵;
以事务项集合中包含的每一个告警日志作为频繁模式序列前缀,根据关联矩阵从事务项集合中获取每一个频繁模式序列前缀对应的带有子关联矩阵的频繁模式投影序列;
根据最小支持度从频繁模式投影序列中获取带有关联条件的频繁模式序列后缀,关联条件为频繁模式序列后缀包括的告警日志和频繁模式序列前缀包括的告警日志的关联关系;
将频繁模式序列前缀和频繁模式序列后缀合并为频繁模式序列;
当判断模块65确定频繁模式序列的模式长度大于最大模式长度时,确定频繁模式序列为包含有关联条件的频繁模式序列;当判断模块65确定频繁模式序列的模式长度小于等于最大模式长度时,将频繁模式序列前缀更新为频繁模式序列。
可选的,规则生成模块67生成的告警关联规则包括:
将频繁模式序列中第一个告警日志作为根源告警,将频繁模式序列中除第一个告警日志以外的第n个告警日志作为第n-1个告警日志在满足第n个告警日志与第n-1个告警日志的关联关系下的衍生告警;n≥2且为正整数。
可选的,规则生成模块67在根据处理模块66选取的频繁模式序列生成告警关联规则并存储之前还用于:
将所有处理模块66选取的频繁模式序列中首个告警日志的类型不为预设类型的频繁模式序列删除。
可选的,规则生成模块具体用于:
计算处理模块66选取的频繁模式序列对应的事务项集合中包含有频繁模式序列的事务项占对应的事务项集合中事务项总数的占比值,并将占比值作为根据频繁模式序列生成的告警关联规则的置信度;
将置信度小于最小置信度的告警关联规则删除;
当数据库02中存在与告警关联规则相同的目标告警关联规则时,若判断模块65确定告警关联规则的置信度大于等于数据库02中存储的目标告警关联规则的置信度,则使用告警关联规则替代目标告警关联规则;若判断模块65确定告警关联规则的置信度小于数据库02中存储的目标告警关联规则的置信度,则删除告警关联规则。
本发明实施例提供的告警关联规则的生成装置,因为该装置包括:获取模块,用于获取告警日志、网络拓扑数据和业务数据;获取模块还用于根据网络拓扑数据、业务数据和告警日志包含的节点信息获取告警日志之间的关联关系,关联关系包括拓扑关系和业务关系;序列生成模块,用于根据预设时间长度和获取模块获取的告警日志包含的发生时间从所有告警日志中生成目标告警日志序列;目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;事务项生成模块,用于根据获取模块获取的序列生成模块生成的目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除目标告警日志序列中除第一个告警日志以外的告警日志中与第一个告警日志不满足预设关联关系的告警日志以生成事务项;事务项中至少包括两个告警日志;集合生成模块,用于根据事务项生成模块构建的事务项中第一个告警日志的类型将事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;处理模块,用于在判断模块确定集合生成模块生成的事务项集合中事务项的个数大于等于最少出现次数时,根据获取模块获取的事务项集合中每一个事务项中各个告警日志之间的关联关系,依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,频繁模式序列的支持度大于等于最小支持度且频繁模式序列的模式长度小于等于最大模式长度;关联条件为频繁模式序列中各个告警日志与其前一个告警日志的关联关系;规则生成模块,用于根据处理模块选取的频繁模式序列生成告警关联规则并存储在数据库中。所以在需要对传输网络中产生的告警规则进行分析以生成告警关联规则时,可以首先根据业务数据和拓扑数据获得告警日志之间的关联关系(业务关系和拓扑关系),然后针对每一条告警日志按照时间窗和告警日志的发生时间产生多个顺序排列的目标告警日志序列,然后便可以根据前述的关联关系从目标告警日志序列中产生含有多个告警日志的事务项,再将以同一类告警日志打头的事务项确定为一个事务项集合,然后根据各个告警日志之间的关联关系依据R-PrefixSpan算法从事务项集合中选取包含有关联条件的频繁模式序列,同时设定该频繁模式序列的限制为其支持度大于等于最小支持度且其模式长度小于等于最大模式长度;最后便可以依据该频繁模式序列生成需要的告警关联规则并存储。因为在整个告警关联规则的生成过程中不仅只考虑告警日志中包含的信息还结合业务数据和拓扑数据找出了各个告警日志之间的关联关系,使得最后生成的告警关联规则包含有其中各个告警日志之间的关联条件即只有在满足这些关联条件的基础上该关联规则才是正确的,因此相比于现有的技术方案而言,本发明实施例提供的技术方案生成的告警关联规则更加精确,避免了因为告警关联的误判而导致传输网络维护人员对网络故障误判端。
本发明实施例中所有的模块或单元在实际中可以是功能性程序模块也可以是物理实体模块,具体情况依据实际而定,此处不做具体限制。
本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (14)

1.一种告警关联规则的生成方法,其特征在于,包括:
获取告警日志、网络拓扑数据和业务数据;
根据所述网络拓扑数据、所述业务数据和所述告警日志包含的节点信息获取所述告警日志之间的关联关系,所述关联关系包括拓扑关系和业务关系;
根据预设时间长度和所述告警日志包含的发生时间从所有所述告警日志中生成目标告警日志序列;所述目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;
根据所述目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除所述目标告警日志序列中除第一个告警日志以外的告警日志中与所述第一个告警日志不满足预设关联关系的告警日志,以生成事务项;所述事务项中至少包括两个告警日志;
根据所述事务项中第一个告警日志的类型将所述事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;
当确定所述事务项集合中事务项的个数大于等于最少出现次数时,根据所述事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从所述事务项集合中选取包含有关联条件的频繁模式序列,所述频繁模式序列的支持度大于等于最小支持度且所述频繁模式序列的模式长度小于等于最大模式长度;所述关联条件为所述频繁模式序列中各个告警日志与其前一个告警日志的关联关系;
根据所述频繁模式序列生成告警关联规则并存储在数据库中。
2.根据权利要求1所述的告警关联规则的生成方法,其特征在于,所述根据所述网络拓扑数据、所述业务数据和所述告警日志中的节点信息获取所述告警日志之间的拓扑关系和业务关系之前还包括:
根据所述告警日志中的节点信息、发生时间和名称确定重复告警日志集,所述重复告警日志集中每一个告警日志中的节点信息、发生时间和名称均相同;
将所述重复告警日志集中包含的设备日志流水号最小的告警日志保留,其余删除。
3.根据权利要求1所述的告警关联规则的生成方法,其特征在于,所述根据预设时间长度和所述告警日志包含的发生时间从所有所述告警日志中生成目标告警日志序列包括:
根据所述告警日志包含的网管日志流水号对所述告警日志进行排序生成告警日志序列;
根据告警日志包含的设备日志流水号对所述告警日志序列中告警日志包含的设备信息相同的告警日志的序列位置进行调整;
根据所述告警日志序列中每一个告警日志包含的发生时间从所述告警日志序列中获取目标告警日志序列,所述目标告警日志序列中第一个告警日志的发生时间和最后一个告警日志的发生时间的差值为预设时间长度。
4.根据权利要求1所述的告警关联规则的生成方法,其特征在于,所述根据所述事务项集合中每一个事务项中各个告警日志之间的关联关系依据R-PrefixSpan算法从所述事务项集合中选取包含有关联条件的频繁模式序列,所述频繁模式序列的支持度大于等于最小支持度且所述频繁模式序列的模式长度小于等于最大模式长度包括:
根据所述事务项集合中各个告警日志与其前一个告警日志的关联关系构建关联矩阵;
以所述事务项集合中包含的每一个告警日志作为频繁模式序列前缀,根据所述关联矩阵从所述事务项集合中获取每一个频繁模式序列前缀对应的带有子关联矩阵的频繁模式投影序列;
根据最小支持度从所述频繁模式投影序列中获取带有关联条件的频繁模式序列后缀,所述关联条件为所述频繁模式序列后缀包括的告警日志和所述频繁模式序列前缀包括的告警日志的关联关系;
将所述频繁模式序列前缀和所述频繁模式序列后缀合并为频繁模式序列;
当确定所述频繁模式序列的模式长度大于最大模式长度时,确定所述频繁模式序列为所述包含有关联条件的频繁模式序列;当确定所述频繁模式序列的模式长度小于等于所述最大模式长度时,将所述频繁模式序列前缀更新为所述频繁模式序列。
5.根据权利要求1所述的告警关联规则的生成方法,其特征在于,所述告警关联规则包括:
将所述频繁模式序列中第一个告警日志作为根源告警,将所述频繁模式序列中除第一个告警日志以外的第n个告警日志作为第n-1个告警日志在满足第n个告警日志与第n-1个告警日志的关联关系下的衍生告警;n≥2且为正整数。
6.根据权利要求1所述的告警关联规则的生成方法,其特征在于,所述根据所述频繁模式序列生成告警关联规则并存储之前还包括:
将所有所述频繁模式序列中首个告警日志的类型不为预设类型的频繁模式序列删除。
7.根据权利要求1所述的告警关联规则的生成方法,其特征在于,所述根据所述频繁模式序列生成告警关联规则并存储在数据库中包括:
计算所述频繁模式序列对应的事务项集合中包含有所述频繁模式序列的事务项占所述对应的事务项集合中事务项总数的占比值,并将所述占比值作为根据所述频繁模式序列生成的告警关联规则的置信度;
将置信度小于最小置信度的告警关联规则删除;
当数据库中存在与所述告警关联规则相同的目标告警关联规则时,若所述告警关联规则的置信度大于等于所述数据库中存储的所述目标告警关联规则的置信度,则使用所述告警关联规则替代所述目标告警关联规则;若所述告警关联规则的置信度小于所述数据库中存储的所述目标告警关联规则的置信度,则删除所述告警关联规则。
8.一种告警关联规则的生成装置,其特征在于,包括:获取模块、序列生成模块、事务项生成模块、集合生成模块、判断模块、处理模块和规则生成模块;
所述获取模块,用于获取告警日志、网络拓扑数据和业务数据;
所述获取模块还用于根据所述网络拓扑数据、所述业务数据和所述告警日志包含的节点信息获取所述告警日志之间的关联关系,所述关联关系包括拓扑关系和业务关系;
所述序列生成模块,用于根据预设时间长度和所述获取模块获取的所述告警日志包含的发生时间从所有所述告警日志中生成目标告警日志序列;所述目标告警日志序列中每一个告警日志的发生时间均在其后一个告警日志之前;
所述事务项生成模块,用于根据所述获取模块获取的所述序列生成模块生成的所述目标告警日志序列中第一个告警日志和其余告警日志的关联关系,删除所述目标告警日志序列中除第一个告警日志以外的告警日志中与所述第一个告警日志不满足预设关联关系的告警日志以生成事务项;所述事务项中至少包括两个告警日志;
所述集合生成模块,用于根据所述事务项生成模块构建的所述事务项中第一个告警日志的类型将所述事务项分类,将每一类的事务项均作为一个整体生成不同类的事务项集合;
所述处理模块,用于在所述判断模块确定所述集合生成模块生成的所述事务项集合中事务项的个数大于等于最少出现次数时,根据所述获取模块获取的所述事务项集合中每一个事务项中各个告警日志之间的关联关系,依据R-PrefixSpan算法从所述事务项集合中选取包含有关联条件的频繁模式序列,所述频繁模式序列的支持度大于等于最小支持度且所述频繁模式序列的模式长度小于等于最大模式长度;所述关联条件为所述频繁模式序列中各个告警日志与其前一个告警日志的关联关系;
所述规则生成模块,用于根据所述处理模块选取的所述频繁模式序列生成告警关联规则并存储在数据库中。
9.根据权利要求8所述的告警关联规则的生成装置,其特征在于,所述获取模块在根据所述网络拓扑数据、所述业务数据和所述告警日志包含的节点信息获取所述告警日志之间的关联关系之前还用于:
根据所述告警日志中的节点信息、发生时间和名称确定重复告警日志集,所述重复告警日志集中每一个告警日志中的节点信息、发生时间和名称均相同;
将所述重复告警日志集中包含的设备日志流水号最小的告警日志保留,其余删除。
10.根据权利要求8所述的告警关联规则的生成装置,其特征在于,所述序列生成模块具体用于:
根据所述获取模块获取的所述告警日志包含的网管日志流水号对所述告警日志进行排序生成告警日志序列;
根据所述告警日志包含的设备日志流水号对所述告警日志序列中告警日志包含的设备信息相同的告警日志的序列位置进行调整;
根据所述告警日志序列中每一个告警日志包含的发生时间从所述告警日志序列中获取目标告警日志序列,所述目标告警日志序列中第一个告警日志的发生时间和最后一个告警日志的发生时间的差值为预设时间长度。
11.根据权利要求8所述的告警关联规则的生成装置,其特征在于,所述处理模块具体用于:
根据所述获取模块获取的所述事务项生成模块生成的所述事务项集合中各个告警日志与其前一个告警日志的关联关系构建关联矩阵;
以所述事务项集合中包含的每一个告警日志作为频繁模式序列前缀,根据所述关联矩阵从所述事务项集合中获取每一个频繁模式序列前缀对应的带有子关联矩阵的频繁模式投影序列;
根据最小支持度从所述频繁模式投影序列中获取带有关联条件的频繁模式序列后缀,所述关联条件为所述频繁模式序列后缀包括的告警日志和所述频繁模式序列前缀包括的告警日志的关联关系;
将所述频繁模式序列前缀和所述频繁模式序列后缀合并为频繁模式序列;
当所述判断模块确定所述频繁模式序列的模式长度大于最大模式长度时,确定所述频繁模式序列为所述包含有关联条件的频繁模式序列;当所述判断模块确定所述频繁模式序列的模式长度小于等于所述最大模式长度时,将所述频繁模式序列前缀更新为所述频繁模式序列。
12.根据权利要求8所述的告警关联规则的生成装置,其特征在于,所述规则生成模块生成的告警关联规则包括:
将所述频繁模式序列中第一个告警日志作为根源告警,将所述频繁模式序列中除第一个告警日志以外的第n个告警日志作为第n-1个告警日志在满足第n个告警日志与第n-1个告警日志的关联关系下的衍生告警;n≥2且为正整数。
13.根据权利要求8所述的告警关联规则的生成装置,其特征在于,所述规则生成模块在根据所述处理模块选取的所述频繁模式序列生成告警关联规则并存储之前还用于:
将所有所述处理模块选取的所述频繁模式序列中首个告警日志的类型不为预设类型的频繁模式序列删除。
14.根据权利要求8所述的告警关联规则的生成装置,其特征在于,所述规则生成模块具体用于:
计算所述处理模块选取的所述频繁模式序列对应的事务项集合中包含有所述频繁模式序列的事务项占所述对应的事务项集合中事务项总数的占比值,并将所述占比值作为根据所述频繁模式序列生成的告警关联规则的置信度;
将置信度小于最小置信度的告警关联规则删除;
当数据库中存在与所述告警关联规则相同的目标告警关联规则时,若所述判断模块确定所述告警关联规则的置信度大于等于所述数据库中存储的所述目标告警关联规则的置信度,则使用所述告警关联规则替代所述目标告警关联规则;若所述判断模块确定所述告警关联规则的置信度小于所述数据库中存储的所述目标告警关联规则的置信度,则删除所述告警关联规则。
CN201810863805.7A 2018-08-01 2018-08-01 一种告警关联规则的生成方法和装置 Active CN109189736B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810863805.7A CN109189736B (zh) 2018-08-01 2018-08-01 一种告警关联规则的生成方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810863805.7A CN109189736B (zh) 2018-08-01 2018-08-01 一种告警关联规则的生成方法和装置

Publications (2)

Publication Number Publication Date
CN109189736A true CN109189736A (zh) 2019-01-11
CN109189736B CN109189736B (zh) 2021-01-26

Family

ID=64937779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810863805.7A Active CN109189736B (zh) 2018-08-01 2018-08-01 一种告警关联规则的生成方法和装置

Country Status (1)

Country Link
CN (1) CN109189736B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149223A (zh) * 2019-05-10 2019-08-20 中国联合网络通信集团有限公司 故障定位方法和设备
CN110188025A (zh) * 2019-05-31 2019-08-30 安徽继远软件有限公司 一种告警日志的高效关联方法
CN110597777A (zh) * 2019-09-18 2019-12-20 金瓜子科技发展(北京)有限公司 一种日志处理方法和装置
CN111106972A (zh) * 2020-01-22 2020-05-05 中国人民解放军61623部队 一种程控和传输跨专业告警关联方法及系统
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN112994910A (zh) * 2019-12-13 2021-06-18 中盈优创资讯科技有限公司 网络端口告警信息的处理方法及装置
CN113138891A (zh) * 2020-01-19 2021-07-20 上海臻客信息技术服务有限公司 一种基于日志的业务监控系统
CN113259176A (zh) * 2021-06-11 2021-08-13 长扬科技(北京)有限公司 一种告警事件分析方法和装置
CN113377623A (zh) * 2021-07-02 2021-09-10 华青融天(北京)软件股份有限公司 告警规则的自动生成方法、装置和电子设备
CN113381890A (zh) * 2021-06-08 2021-09-10 中国电信股份有限公司 告警信息关联方法、装置、电子设备和可读存储介质
CN114143162A (zh) * 2020-08-13 2022-03-04 中盈优创资讯科技有限公司 基于缓存的网络设备syslog信息的规则匹配方法
CN114257490A (zh) * 2020-09-22 2022-03-29 中国移动通信集团设计院有限公司 无线网络性能告警分析方法及装置

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119302A (zh) * 2007-09-06 2008-02-06 华中科技大学 一种挖掘事务数据流上最近时间窗口内频繁模式的方法
CN101247269A (zh) * 2008-03-05 2008-08-20 中兴通讯股份有限公司 一种自动发现判定冗余告警的关联规则的方法
CN101888309A (zh) * 2010-06-30 2010-11-17 中国科学院计算技术研究所 在线日志分析方法
CN101937447A (zh) * 2010-06-07 2011-01-05 华为技术有限公司 一种告警关联规则挖掘方法、规则挖掘引擎及系统
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102111296A (zh) * 2011-01-10 2011-06-29 浪潮通信信息系统有限公司 基于最大频繁项集的通信告警关联规则挖掘方法
CN102142992A (zh) * 2011-01-11 2011-08-03 浪潮通信信息系统有限公司 通信告警频繁项集挖掘引擎及冗余处理方法
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法
JP2015148867A (ja) * 2014-02-05 2015-08-20 株式会社日立パワーソリューションズ 情報処理装置、診断方法、およびプログラム
CN105677759A (zh) * 2015-12-30 2016-06-15 国家电网公司 一种信息通信网络中的告警关联性分析方法
CN106603317A (zh) * 2017-02-20 2017-04-26 山东浪潮商用系统有限公司 一种基于数据挖掘技术的告警监控策略的分析方法
CN107181604A (zh) * 2016-03-09 2017-09-19 华为技术有限公司 一种告警关联规则的生成方法、告警压缩方法以及装置
CN107592223A (zh) * 2017-09-11 2018-01-16 北京富通东方科技有限公司 一种基于大数据的智能告警处理方法
CN109714180A (zh) * 2017-10-26 2019-05-03 中兴通讯股份有限公司 压减冗余告警的方法、相应设备及存储介质
CN110149223A (zh) * 2019-05-10 2019-08-20 中国联合网络通信集团有限公司 故障定位方法和设备

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101119302A (zh) * 2007-09-06 2008-02-06 华中科技大学 一种挖掘事务数据流上最近时间窗口内频繁模式的方法
CN101247269A (zh) * 2008-03-05 2008-08-20 中兴通讯股份有限公司 一种自动发现判定冗余告警的关联规则的方法
CN101937447A (zh) * 2010-06-07 2011-01-05 华为技术有限公司 一种告警关联规则挖掘方法、规则挖掘引擎及系统
CN101888309A (zh) * 2010-06-30 2010-11-17 中国科学院计算技术研究所 在线日志分析方法
CN102111296A (zh) * 2011-01-10 2011-06-29 浪潮通信信息系统有限公司 基于最大频繁项集的通信告警关联规则挖掘方法
CN102142992A (zh) * 2011-01-11 2011-08-03 浪潮通信信息系统有限公司 通信告警频繁项集挖掘引擎及冗余处理方法
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
JP2015148867A (ja) * 2014-02-05 2015-08-20 株式会社日立パワーソリューションズ 情報処理装置、診断方法、およびプログラム
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法
CN105677759A (zh) * 2015-12-30 2016-06-15 国家电网公司 一种信息通信网络中的告警关联性分析方法
CN107181604A (zh) * 2016-03-09 2017-09-19 华为技术有限公司 一种告警关联规则的生成方法、告警压缩方法以及装置
CN106603317A (zh) * 2017-02-20 2017-04-26 山东浪潮商用系统有限公司 一种基于数据挖掘技术的告警监控策略的分析方法
CN107592223A (zh) * 2017-09-11 2018-01-16 北京富通东方科技有限公司 一种基于大数据的智能告警处理方法
CN109714180A (zh) * 2017-10-26 2019-05-03 中兴通讯股份有限公司 压减冗余告警的方法、相应设备及存储介质
CN110149223A (zh) * 2019-05-10 2019-08-20 中国联合网络通信集团有限公司 故障定位方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
董义维: ""基于数据挖掘的系统入侵报警识别技术"", 《网络安全技术与应用》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110149223A (zh) * 2019-05-10 2019-08-20 中国联合网络通信集团有限公司 故障定位方法和设备
CN110188025A (zh) * 2019-05-31 2019-08-30 安徽继远软件有限公司 一种告警日志的高效关联方法
CN110188025B (zh) * 2019-05-31 2022-05-10 安徽继远软件有限公司 一种告警日志的高效关联方法
CN110597777A (zh) * 2019-09-18 2019-12-20 金瓜子科技发展(北京)有限公司 一种日志处理方法和装置
CN111221702A (zh) * 2019-11-18 2020-06-02 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN111221702B (zh) * 2019-11-18 2024-02-27 上海维谛信息科技有限公司 基于日志分析的异常处理方法、系统、终端及介质
CN112994910A (zh) * 2019-12-13 2021-06-18 中盈优创资讯科技有限公司 网络端口告警信息的处理方法及装置
CN113138891A (zh) * 2020-01-19 2021-07-20 上海臻客信息技术服务有限公司 一种基于日志的业务监控系统
CN111106972A (zh) * 2020-01-22 2020-05-05 中国人民解放军61623部队 一种程控和传输跨专业告警关联方法及系统
CN111106972B (zh) * 2020-01-22 2022-04-01 中国人民解放军61623部队 一种程控和传输跨专业告警关联方法及系统
CN114143162A (zh) * 2020-08-13 2022-03-04 中盈优创资讯科技有限公司 基于缓存的网络设备syslog信息的规则匹配方法
CN114257490A (zh) * 2020-09-22 2022-03-29 中国移动通信集团设计院有限公司 无线网络性能告警分析方法及装置
CN114257490B (zh) * 2020-09-22 2023-08-15 中国移动通信集团设计院有限公司 无线网络性能告警分析方法及装置
CN113381890A (zh) * 2021-06-08 2021-09-10 中国电信股份有限公司 告警信息关联方法、装置、电子设备和可读存储介质
CN113381890B (zh) * 2021-06-08 2023-01-13 天翼云科技有限公司 告警信息关联方法、装置、电子设备和可读存储介质
CN113259176B (zh) * 2021-06-11 2021-10-08 长扬科技(北京)有限公司 一种告警事件分析方法和装置
CN113259176A (zh) * 2021-06-11 2021-08-13 长扬科技(北京)有限公司 一种告警事件分析方法和装置
CN113377623A (zh) * 2021-07-02 2021-09-10 华青融天(北京)软件股份有限公司 告警规则的自动生成方法、装置和电子设备
CN113377623B (zh) * 2021-07-02 2024-05-28 华青融天(北京)软件股份有限公司 告警规则的自动生成方法、装置和电子设备

Also Published As

Publication number Publication date
CN109189736B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
CN109189736A (zh) 一种告警关联规则的生成方法和装置
US7043661B2 (en) Topology-based reasoning apparatus for root-cause analysis of network faults
Di Francescomarino et al. Clustering-based predictive process monitoring
Wang et al. Cleaning structured event logs: A graph repair approach
CN108737182A (zh) 系统异常的处理方法及系统
CN113282461B (zh) 传输网的告警识别方法和装置
CN110609759A (zh) 一种故障根因分析的方法及装置
CN100589418C (zh) 告警相关性规则的生成方法及生成系统
CN107918629B (zh) 一种告警故障的关联方法和装置
CN102291247A (zh) 告警关联图生成方法、装置及关联告警确定方法、装置
Ramarao et al. On finding and updating shortest paths distributively
CN110147387A (zh) 一种根因分析方法、装置、设备及存储介质
US20060294220A1 (en) Diagnostics and resolution mining architecture
CN105827422A (zh) 一种确定网元告警关联关系的方法及装置
CN114579409A (zh) 告警方法、装置、设备及存储介质
CN107111609A (zh) 用于神经语言行为识别系统的词法分析器
CN106878038A (zh) 一种通信网络中故障定位方法及装置
CN105760279A (zh) 分布式数据库集群故障预警关联树生成方法及系统
CN112559237A (zh) 运维系统排障方法、装置、服务器和存储介质
CN113409016A (zh) 应用于大数据云办公的信息处理方法、服务器及介质
Omori et al. Comparing concept drift detection with process mining tools
CN110399261B (zh) 一种基于共现图的系统告警聚类分析方法
CN114465875A (zh) 故障处理方法及装置
Kong et al. An Efficient Heuristic Method for Repairing Event Logs Independent of Process Models.
Ricker Asymptotic minimal communication for decentralized discrete-event control

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant