CN101937447A - 一种告警关联规则挖掘方法、规则挖掘引擎及系统 - Google Patents

一种告警关联规则挖掘方法、规则挖掘引擎及系统 Download PDF

Info

Publication number
CN101937447A
CN101937447A CN2010101972750A CN201010197275A CN101937447A CN 101937447 A CN101937447 A CN 101937447A CN 2010101972750 A CN2010101972750 A CN 2010101972750A CN 201010197275 A CN201010197275 A CN 201010197275A CN 101937447 A CN101937447 A CN 101937447A
Authority
CN
China
Prior art keywords
alarm
item
support
frequent item
frequent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010101972750A
Other languages
English (en)
Other versions
CN101937447B (zh
Inventor
周伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN2010101972750A priority Critical patent/CN101937447B/zh
Publication of CN101937447A publication Critical patent/CN101937447A/zh
Application granted granted Critical
Publication of CN101937447B publication Critical patent/CN101937447B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Alarm Systems (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明实施例公开一种告警关联规则的挖掘方法、装置及系统,其中,该方法包括:获得告警序列,所述告警序列包括多条告警;计算每个k-项集的支持度,得到k-项频繁项集集合;由该k-项频繁项集集合生成k+1-项频繁项集集合;针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集;从而,在告警关联规则的挖掘过程中,减少了由于置信度参数的影响而产生的虚假规则,有效减少关联规则结果集中的虚假规则。

Description

一种告警关联规则挖掘方法、规则挖掘引擎及系统
技术领域
本发明实施例涉及通信技术领域,特别是涉及一种告警关联规则挖掘方法、规则挖掘引擎及系统。
背景技术
在通信网络运行过程中,电信设备每天都会产生大量告警,而且一个设备故障会引起其他设备产生告警。70年代有人提出了使用规则引擎根据告警关联规则自动处理电信告警。随着网络的发展,网络结构越来越复杂,电信设备之间的关系也越来越复杂,导致人工很难完整的定义告警关联规则。
在告警关联规则挖掘领域,有人提出将频繁模式的挖掘技术应用于告警关联规则的挖掘,频繁模式即事件序列上频繁出现且相互临近并有一定结构关系的事件类型的集合。频繁模式可以认为是关联规则。对于频繁模式的挖掘,有人提出在事件序列中滑动窗口的WinEPI算法。现有技术中WinEPI算法被应用于告警关联规则的挖掘,该算法利用滑动窗口来指定事件在时间上的相邻程度并发现事件序列中事件间在时间上的偏序关系。
具体的,应用到告警关联规则挖掘中,每一条告警就是一个事件,每条告警的所属网元、所属地域和所属设备名称就是该事件的属性。而网元的集合、地域集合及设备的集合则分别是对应的属性域。事件序列即一系列有顺序的事件集合,并且每个事件都有一个与其相关联的发生时间,网络中的告警日志或告警数据库便是待分析的事件序列。如图1所示,为一个抽象的事件序列的例子,其中:时间窗口是一个半开半闭的时间区间,如[35,40),包含告警事件<A,35>,不包含告警事件<F,40>。窗口滑动步长指两个连续窗口的起始时间之差,取值不大于时间窗口的长度。一个时间窗口中的告警序列即是一个事务。不包含任何事件的窗口称为无效窗口,在计算一个事件序列上的窗口总数时,不统计无效窗口。
发明人在实现本发明的过程中,发现:在电信网络中,告警之间的频繁程度相差很大,有些告警经常发生,有些告警较少发生,如图2所示,告警A是经常发生的告警,在一个时间段内连续多次发生;告警B是偶然告警,在一个时间段内发生一次或少数几次。告警A和告警B之间实际上没有关联关系(因为无论告警B是否发生,告警A发生的概率都接近100%),但采用现有的WinEPI算法挖掘告警关联规则的应用过程中,会误认为告警A和告警B之间有强关联关系(即模式
Figure BSA00000137983700021
是强关联规则),从而现有技术输出的关联规则结果集中会存在虚假规则。
发明内容
本发明实施例提供一种告警关联规则挖掘方法、规则挖掘引擎及系统,以减少关联规则结果集中的虚假规则。
本发明实施例提供如下技术方案:
一方面,本发明实施例提供一种告警子系统,包括:
规则挖掘引擎,用于获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示,N为该告警序列的总告警类型数;计算每个k-项集的支持度,得到包含支持度不小于最小支持度的k-项集的k-项频繁项集集合,其中k-项集表示k种告警类型的集合,k={1,2,...,L,...,N};由该k-项频繁项集集合生成k+1-项频繁项集集合;针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;并将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集;
规则推理引擎,用于接收所述规则挖掘引擎输出的关联规则结果集,并对输入的告警与所述关联规则结果集中的关联规则进行匹配,根据匹配结果以关联的告警处理方式处理所述告警。
另一方面,本发明实施例提供一种告警关联规则的挖掘方法,该方法包括:
获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示;
计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中总告警类型数;
由该k-项频繁项集集合生成k+1-项频繁项集集合;
针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集。
另一方面,本发明实施例提供一种告警关联规则的规则挖掘引擎,包括:
告警获得单元,用于获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示;
执行单元,用于计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中总告警类型数。
另一方面,本发明实施例提供一种网络管理系统,包括:电信设备和所述的告警子系统。
可见,本发明实施例在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,由规则挖掘引擎根据k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。从而,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则减少关联规则结果集中的虚假规则。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为一个抽象的事件序列示例;
图2为一个告警序列的示例;
图3为本发明实施例的一种告警子系统的结构示意图;
图4为本发明实施例的一种告警关联规则的挖掘方法的流程示意图;
图5为本发明实施例的另一种告警关联规则的挖掘方法的流程示意图;
图6为本发明实施例的涉及的告警序列T的示例;
图7a为本发明实施例的一种告警关联规则的挖掘方法的交互示意图;
图7b为本发明实施例的一种网络管理系统的结构示意图;
图8a为本发明实施例的另一种告警关联规则的挖掘方法的交互示意图;
图8b为本发明实施例的另一种网络管理系统的结构示意图;
图9为本发明实施例的一种规则挖掘引擎的结构示意图;
图10为本发明实施例的应用于告警子系统中的一种规则挖掘引擎的结构示意图;
图11为本发明实施例的应用于告警子系统中的另一种规则挖掘引擎的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
首先介绍本发明实施例的告警关联规则挖掘方案涉及的相关定义,如下:
告警:每条告警至少用告警类型属性和告警发生时间来表示,每条告警可以以一个二元组(A,t)表示,A表示告警类型属性,t表示告警发生时间。需要说明的是,告警类型属性至少可以由告警类型字段和告警网元ID字段组合表示,进一步的,告警类型字段至少可以用告警类型ID、告警子类型ID组合表示。
告警序列T:由一系列具有时间偏序关系的告警组成的序列,时间区间为[Ts,Tend],这里的Ts表示起始时间,Tend表示结束时间。
项集:表示告警类型的集合,其中:ii表示告警类型。包含k个项的项集称为k-项集,这里的项表示一种告警类型。具体的,k-项集表示k种告警类型的集合,1-项集表示一种告警类型的集合,如ii为1-项集,ii,i2,...,ik为k-项集。k-项集简称为P(k),不包含ik项的k-项集简称为:P(k+1)/ik。项集也可以理解为模式。
支持度:k-项集的支持度定义为:
Figure BSA00000137983700061
α表示k-项集,如i1,i2,...,ik,举例说明,α发生的窗口数指的是告警类型i1,i2,...,ik共同发生的窗口数。特别的,1-项集ii的支持度定义为:
Figure BSA00000137983700062
需要说明的是,最小支持度min_sup可以是人工指定的阈值。
极大置信度:k-项集的极大置信度定义为:
Figure BSA00000137983700063
ii表示告警类型,α表示k-项集,如i1,i2,...,ik。特别的,1-项集不定义极大置信度。需要说明的是,最小置信度min_conf可以是人工指定的阈值。
频繁项集:支持度不小于最小支持度的项集称为频繁项集。
关联规则:极大置信度不小于最小置信度的频繁项集称为关联规则。极大关联规则定义为:Rulemax={i1i2...ik},ii表示告警类型。
请参阅图3,为本发明实施例的一种告警子系统,该告警子系统用于管理电信设备告警,如图3所示,本发明实施例的告警子系统包括:
规则挖掘引擎10,用于获得告警序列,所述告警序列包括多条告警,每条告警至少用告警发生时间和告警类型属性表示,N为该告警序列的总告警类型数;计算每个k-项集的支持度,得到包含支持度不小于最小支持度的k-项集的k-项频繁项集集合,其中k-项集表示k种告警类型的集合,k={1,2,...,L,...,N};由该k-项频繁项集集合生成k+1-项频繁项集集合;针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;并将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集;
规则推理引擎20,用于接收规则挖掘引擎10输出的关联规则结果集,并对输入的告警与所述关联规则结果集中的关联规则进行匹配,根据匹配结果以关联的告警处理方式处理所述告警。具体的,这里的告警处理方式可以是对告警字段进行过滤、合并、修改或删除处理等等,也可以是不做任何处理。
在一种实现方式下,规则推理引擎20具体用于接收规则挖掘引擎10输出的关联规则结果集,并对输入的告警与该关联规则结果集中的关联规则进行匹配,根据匹配结果执行预先定义的告警处理动作。例如:如果输入的告警能匹配关联规则{AC},则处理能匹配该关联规则的告警,这里的告警处理动作可以是上述的删除、过滤、合并或修改告警字段等操作中的一种或多种。应当理解的是,这里的告警处理动作具体可根据业务需求而定。如果输入的告警与关联规则A=>B无法匹配,可以不做任何改动。应当理解的是,也可以改变告警字段,具体可根据业务需求而定。
进一步的,本发明实施例的告警子系统可以包括:告警存储设备30,用于存储电信设备产生的告警。这里存储的告警可以是电信设备产生的原始告警,也可以是处理后的告警。
相应的,规则挖掘引擎10具体用于从告警存储设备30读取告警序列,所述告警序列包括多条告警,每条告警至少用告警发生时间和告警类型属性表示,N为该告警序列的总告警类型数;计算每个k-项集的支持度,得到包含支持度不小于最小支持度的k-项集的k-项频繁项集集合,其中k-项集表示k种告警类型的集合,k={1,2,...,L,...,N};由该k-项频繁项集集合生成k+1-项频繁项集集合;针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据作为分母的、该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;并将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集。
相应的,规则推理引擎20进一步用于将处理后的告警保存到告警存储设备30。应当理解,这里的告警存储设备30具体可以是告警数据库,数量可以是一个或多个。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700081
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700082
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700091
Figure BSA00000137983700092
往往会共同出现,并且规则
Figure BSA00000137983700093
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
请参阅图4,为本发明实施例的一种告警关联规则的挖掘方法的流程示意图,可以应用于如图3所示的告警子系统中的规则挖掘引擎,该方法可以包括如下步骤:
S401、获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示;
具体的,根据配置的告警序列T的起始时间和结束时间从告警数据库中读取发生在所述起始时间和结束时间之间的告警。
每条告警表示为二元组形式(A,t),这里的A表示告警特征属性,t表示告警发生时间。
S402、计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中总告警类型数;
应当理解的是,本发明实施例方法从k=1开始执行,即计算告警序列中每种告警类型的支持度。
S403、由该k-项频繁项集集合生成k+1-项频繁项集集合,其中k={1,2,...,L,...,N};
S404、针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集。
具体的,根据作为分母的、该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;如果所述极大置信度不小于最小置信度,将该k+1-项频繁项集加入关联规则结果集。
在一种实现方式下,S401包括:根据配置的告警序列的起始时间和结束时间,以及告警关键字段从告警存储设备中读取发生在所述起始时间和结束时间之间的告警的关键属性,并输出告警序列,所述告警序列中的每条告警用二元组形式(A,t)表示,A表示告警类型属性,t表示告警发生时间;
相应的,本实施例方法进一步包括:统计所述告警序列中告警的类型,N为所述告警序列中总告警类型数。
在另一种实现方式下,S401包括:根据配置的告警序列的起始时间和结束时间,从告警存储设备中读取发生在所述起始时间和结束时间之间的告警序列;
相应的,本实施例方法进一步包括:根据配置的告警关键字段将所述告警序列中的每条告警数据转换为规范的二元组形式(A,t),输出规范化后的告警序列并统计所述规范化后的告警序列T中告警的类型,其中A表示告警类型属性,t表示告警发生时间,N为所述规范化后的告警序列T中总告警类型数。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700111
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700112
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700113
Figure BSA00000137983700114
往往会共同出现,并且规则
Figure BSA00000137983700115
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
请参阅图5,为本发明实施例的另一种告警关联规则的挖掘方法的流程示意图,可以应用于如图3所示的告警子系统中的规则挖掘引擎,其中:
输入:告警序列T,告警类型I={i1,i2,...,in},模式α=i1,i2,...,ik(k≤n),时间窗口长度win,窗口滑动步长step。
输出:关联规则结果集。
其中,该方法可以包括如下步骤:
S501、读取告警序列T,并进行预处理,即根据时间窗口长度win和窗口滑动步长step将该告警序列T划分为多个窗口:
具体的,从告警序列T的起始时间0开始,[0,win)的时间长度为第1个窗口,[0+step,win+step)为第2个窗口,...,依次类推,直到最后一个窗口的结束时间刚好大于或等于T的结束时间为止,将告警序列T划分为
Figure BSA00000137983700121
个窗口,
Figure BSA00000137983700122
表示向上取整。如果一个窗口内没有任何告警发生,则将该窗口记为无效窗口。则
S502、计算所有k-项集的支持度(即sup(ii)),将支持度不小于最小支持度(即sup(ii)≥min_sup)的k-项集加入k-项频繁项集集合,本步骤中k=1;
应当理解的是,这里是计算告警序列T中每种告警类型的支持度。具体的,统计每种告警类型ii发生的窗口数,并基于
Figure BSA00000137983700124
计算每种告警类型ii的支持度。需要说明的是,同一种告警类型在同一窗口发生多次只记一次。
S503、从k-项频繁项集集合中选取两个未被同时选择过的k-项集,这两个k-项集中有k-1个项都相同;
这两个k-项集分别可表示为P(k+1)/ik和P(k+1)/ik+1
S504、取所述两个k-项集的合集生成k+1-项集,计算该k+1-项集的支持度,如果其支持度不小于最小支持度,则将该k+1-项集加入k+1-项频繁项集集合;反之,可以丢弃。
这里以i1,i2,...,ik,ik+1来表示该k+1-项集,具体的过程包括:统计告警类型i1,i2,...,ik,ik+1共同发生的窗口数,需要说明的是,本发明实施例中不考虑每种告警类型发生的次数,只要在同一个窗口告警类型i1,i2,...,ik,ik+1均出现至少一次,则i1,i2,...,ik,ik+1共同发生的窗口数增加1;
基于
Figure BSA00000137983700131
计算该k+1-项集的支持度;
如果sup(i1,i2,...,ik,ik+1)≥min_sup,则将该k+1-项集i1,i2,...,ik,ik+1加入k+1-项频繁项集集合;反之,可以丢弃。
S505、判断k+1-项频繁项集集合是否为空,如果不为空,进入步骤S506,反之,进入步骤S508。
S506、针对所述k+1-项频繁项集集合中的每个k+1-项频繁项集,计算该k+1-项频繁项集的极大置信度,如果该k+1-项频繁项集的极大置信度不小于最小置信度,则进入步骤S507;反之,可以丢弃;
这里以i1,i2,...,ik,ik+1来表示该k+1-项频繁项集,具体的过程包括:基于
Figure BSA00000137983700132
计算该k+1-项频繁项集的极大置信度,其中:max[sup(i1),sup(i2),...,sup(ik),sup(ik+1)]表示sup(ii)中的最大值。
如果confmax(i1,i2,...,ik,ik+1)≥min_conf,则进入步骤S507;反之,可以丢弃。
S507、将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集。设k=k+1,返回执行步骤S503。
S508、合并关联规则结果集中具有包含关系的关联规则,保留极大规则,输出合并后的关联规则结果集。这是可选步骤。流程结束。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700141
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700142
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700151
Figure BSA00000137983700152
往往会共同出现,并且规则
Figure BSA00000137983700153
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
进一步的,本发明实施例在告警关联规则的挖掘过程中,提高了挖掘速度,从而提高了系统处理性能。具体的:在现有技术方案中,由k-项频繁项集生成k+1-项候选项集时,过程如下:设i1,i2,...,ik-1,ik和i1,i2,...,ik-1,ik+1为k-项频繁项集,记为P(k+1)/ik+1和P(k+1)/ik,即k+1-项集P(k+1)分别去掉ik+1和ik后得到的项集。然后查找如下k-项集P(k+1)/i1,P(k+1)/i2,...,P(k+1)/ik-1是否都是频繁项集。若都存在,则P(k+1)为k+1-项候选项集,然后将所有的k+1-项候选项集统计支持度,检查是否满足最小支持度的要求。采用本发明实施例的极大置信度定义后,要求P(k+1)满足新的置信度要求,即
Figure BSA00000137983700154
sup(P(k+1))≥max(sup(ii))×min_conf,根据Apriori性质:所有频繁项集的子集必然是频繁项集,所以P(k+1)的任意子集都必须满足sup((P(k+1)的任意子集)≥max(sup(ii))×min_conf。这样,对于每个频繁项,我们都已经记录了其支持度,在由P(k+1)/ik+1和P(k+1)/ik构造准k+1-项候选项集P(k+1)时,我们首先判断
Figure BSA00000137983700155
如果不成立,则说明P(k+1)不满足置信度条件,无需再判断每个子集是否是频繁项集,从而提高了告警关联规则的挖掘处理速度,进而提高了系统处理性能。
为了便于理解,下面结合一个实例来介绍本发明实施例方案:
如图6所示,为本发明实施例涉及的告警序列T,其中,告警序列T中共有三种类型告警,分别为A、B、C,时间窗口长度为10秒,滑动步长为5秒,最小支持度0.1,最小置信度0.5。基于图6所示的告警序列下的告警关联规则的挖掘实例,介绍如下:
1、根据时间窗口和滑动步长将告警序列T划分为15个窗口,如图6中的win1-win15,分别计算告警类型A、B、C的支持度:
sup(A)=13/15=0.867>0.1
sup(B)=5/15=0.333>0.1
sup(C)=8/15=0.533>0.1
则生成1-项频繁项集集合{{A},{B},{C}}
2、从1-项频繁项集集合中选取两个未被同时选择过的1-项集,这两个1-项集中有0个项相同。本实例中,可选取{A},{B}或{A},{C}或{B},{C}。
3、将选取出的两个1-项集合并为一个2-项集并计算该2-项集的支持度:
sup(AB)=4/15=0.267>0.1
sup(AC)=7/15=0.467>0.1
sup(BC)=2/15=0.133>0.1
则生成2-项频繁项集集合{{AB},{AC},{BC}}
4、判断2-项频繁项集集合是否为空,在本实例中,该2-项频繁项集集合不为空,进入下一步。
5、计算每个2-项频繁项集的极大置信度:
conf max ( AB ) = sup ( AB ) max ( sup ( A ) , sup ( B ) ) = 4 / 15 13 / 15 = 4 / 13 < 0.5
conf max ( AC ) = sup ( AC ) max ( sup ( A ) , sup ( C ) ) = 7 / 15 13 / 15 = 7 / 13 > 0.5
conf max ( BC ) = sup ( BC ) max ( sup ( B ) , sup ( C ) ) = 2 / 15 8 / 15 = 2 / 8 < 0.5
6、2-项集{AC}的极大置信度不小于最小置信度,将其加入告警关联规则结果集{{AC}};
7、从2-项频繁项集集合{{AB},{AC},{BC}}中选取两个未被同时选择过的2-项集,这两个1-项集中有1个项相同。本实例中,可选取{AB},{AC}或{AB},{BC}或{AC},{BC}
8、将选取出的2-项集合并为一个3-项集,并计算该3-项集的支持度:sup(ABC)=1/15=0.067<0.1
9、3-项集{ABC}的极大置信度小于最小置信度,丢弃该3-项集;相应的,在本实例中,3-项频繁项集集合为空;以及,相应的,输出告警关联规则结果集{{AC}};
10、可选的,合并关联规则结果集中具有包含关系的关联规则,保留极大规则,输出合并后的关联规则结果集。由于本例中只有一个关联规则,则最终输出的关联规则结果集为{{AC}}。
下面结合一个具体的应用来描述本发明方案:
请参阅图7a,为本发明实施例一种告警关联规则的挖掘方法的交互示意图,该方法应用于如图7b所示的网络管理系统下,其中,所述网络管理系统包括:电信设备70:电信告警的产生源,在电信设备运行期间会产生电信告警;以及,告警子系统:网络管理系统中专用于管理设备告警的子系统,其中,告警子系统包括:规则挖掘引擎71:用于执行本发明实施例所述的规则挖掘方法;规则推理引擎72:用于对输入的告警与已注入的告警关联规则进行匹配,并处理告警;可选的,还包括,告警数据库73:用于保存告警;告警展示界面74:用于向网络管理员展示告警。
如图7a所示,该方法可以包括如下步骤:
S701、电信设备70在运行期间产生并上报告警;这里的告警为原始告警;
S702a-702b、告警保存到告警数据库73之后,发送到告警展示界面以向网络管理员展示该告警;
S703、规则挖掘引擎71从告警数据库73中读取已保存的告警数据;
具体的,根据配置的告警序列T的起始时间和结束时间从告警数据库73中读取发生在告警序列T的起始时间和结束时间之间的告警数据。需要说明的是,对于读取的对象,在一种实现方式下,可以是读取告警的所有属性;在另一种实现方式下,可以是读取告警的部分关键属性,即至少包括告警类型属性和告警发生时间,应当理解的是,还可以包括告警停止时间、告警确认时间等其他字段。这里的告警类型属性至少可以由告警类型字段和告警网元ID字段组合而成,进一步的,这里的告警类型字段至少可以用告警类型ID、告警子类型ID组合表示。
在一种实现方式下,S703具体为:规则挖掘引擎71从告警数据库73中读取发生在告警序列T的起始时间和结束时间之间的每条告警数据(A,t),A表示告警类型属性,其至少可以由告警网元ID、告警类型ID、告警子类型ID组合而成,t表示告警发生时间。
S704、规则挖掘引擎71采用前述实施例的告警关联规则的挖掘方法,对S703中读取的告警数据进行处理,输出告警关联规则,亦即告警关联规则结果集。详情请参阅前面的方法实施例,这里不再赘述。
S705、规则挖掘引擎71将告警关联规则注入规则推理引擎72中。
S706、电信设备70再次上报告警,电信设备再次上报的告警输入规则推理引擎72。
S707、当规则推理引擎72中注入有告警关联规则之后,由规则推理引擎72对输入的告警与已注入的告警关联规则之间进行匹配,并根据匹配结果处理告警。
需要说明的是,这里的处理告警可以是执行预定义的动作。预定义的动作主要是由具体业务决定的,即根据具体业务需求而定的,包括但不限于本发明实施例涉及的处理方式:
如果匹配上,处理方式包括:过滤、删除、合并、修改告警字段等等,未来也许还有其他新的处理方式。
如果不能匹配上,可以不做任何改动,也可以改变告警字段,未来也许会有其他处理方式。
例如:如果输入的告警能匹配告警关联规则A=>B,则处理能匹配该告警规则的告警,这里的处理可以是上述的过滤、删除、合并、修改告警字段等操作中的一种或多种。
S708、规则推理引擎72完成推理(即匹配和处理)之后,将处理后的告警发送至告警数据库73以保存到告警数据库73。
S709、处理后的告警保存到告警数据库73之后,发送到告警展示界面以展示处理后的告警。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700191
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700192
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700201
Figure BSA00000137983700202
往往会共同出现,并且规则
Figure BSA00000137983700203
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
请参阅图8a,为本发明实施例另一种告警关联规则的挖掘方法的交互示意图,该方法应用于如图8b所示的网络管理系统下,其中,所述网络管理系统包括:电信设备80:电信告警的产生源,在电信设备运行期间会产生电信告警;以及,告警子系统:网络管理系统中专用于管理设备告警的子系统,其中,告警子系统包括:规则挖掘引擎81:用于执行本发明实施例所述的规则挖掘方法;规则推理引擎82:用于对输入的告警与已注入的告警关联规则进行匹配,并处理告警;可选的,还包括,告警数据库83:用于保存告警;告警展示界面84:用于向网络管理员展示告警。本实施例中,规则挖掘引擎81的部署与图7b所示的实施例稍有差异。
如图8a所示,该方法可以包括如下步骤:
S801、电信设备80在运行期间产生并上报告警;这里的告警为原始告警;
S802a-802b、告警保存到告警数据库83之后,发送到告警展示界面以向网络管理员展示该告警;
S803、规则挖掘引擎81从告警数据库83中读取已保存的告警数据;
具体的,根据配置的告警序列T的起始时间和结束时间从告警数据库83中读取发生在告警序列T的起始时间和结束时间之间的告警数据。需要说明的是,对于读取的对象,在一种实现方式下,可以是读取告警的所有属性;在另一种实现方式下,可以是读取告警的部分关键属性,至少包括告警类型属性和告警发生时间,应当理解的是,还可以包括告警停止时间、告警确认时间等其他字段。这里的告警类型属性至少可以由告警类型字段和告警网元ID字段组合而成,进一步的,这里的告警类型字段至少可以用告警类型ID、告警子类型ID组合表示。
在一种实现方式下,S803具体为:规则挖掘引擎81从告警数据库83中读取发生在告警序列T的起始时间和结束时间之间的每条告警数据(A,t),A表示告警类型属性,其是由告警网元ID、告警类型ID、告警子类型ID组合而成,t表示告警发生时间。
S804、规则挖掘引擎81采用前述实施例的告警关联规则的挖掘方法,对S803中读取的告警数据进行处理,输出告警关联规则,亦即告警关联规则结果集。详情请参阅前面的方法实施例,这里不再赘述。
S805、规则挖掘引擎81将告警关联规则注入规则推理引擎82中。
S806、电信设备80再次上报告警;
S807a-807b、告警保存到告警数据库83之后,发送到告警展示界面以向网络管理员展示该告警;这里的告警是原始告警。
S808、规则挖掘引擎81从告警数据库83中读取已保存的、S806再次上报的告警数据。
S809a-809b、规则推理引擎82对读取到的告警与已注入的告警关联规则之间进行匹配,并根据匹配结果对告警数据库83中对应的告警执行预定义的动作。
需要说明的是,这里预定义的动作主要是由具体业务决定的,即根据具体业务需求而定的,包括但不限于本发明实施例涉及的处理方式:
如果匹配上,处理方式包括:过滤、删除、合并、修改告警字段等等,未来也许还有其他新的处理方式。
如果不能匹配上,可以不做任何改动,也可以改变告警字段,未来也许会有其他处理方式。
例如:如果读取的告警能匹配告警关联规则A=>B,则处理告警数据库中对应的告警,这里的处理可以是上述的过滤、删除、合并、修改告警字段等操作中的一种或多种。
S810、修改展示界面中相应的告警。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700222
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700231
Figure BSA00000137983700232
往往会共同出现,并且规则
Figure BSA00000137983700233
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
请参阅图9,为本发明实施例的一种规则挖掘引擎的结构示意图,如图9所示,本发明实施例的规则挖掘引擎,可以包括:
告警获得单元91,用于获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示;
具体的,根据配置的告警序列T的起始时间和结束时间从告警数据库中读取发生在告警序列T的起始时间和结束时间之间的告警数据。需要说明的是,对于读取的对象,在一种实现方式下,可以是读取告警的所有属性;在另一种实现方式下,可以是读取告警的部分关键属性,至少包括告警类型属性和告警发生时间,应当理解的是,还可以包括告警停止时间、告警确认时间等其他字段。这里的告警类型属性至少可以由告警类型字段和告警网元ID字段组合而成,进一步的,这里的告警类型字段至少可以用告警类型ID、告警子类型ID组合表示。
在一种实现方式下,告警获得单元91具体用于读取发生在告警序列T的起始时间和结束时间之间的每条告警数据,每条告警表示为二元组形式(A,t),A表示告警类型属性,该告警类型属性是至少由告警网元ID、告警类型ID、告警子类型ID组合而成,t表示告警发生时间。
以及,执行单元92,用于计算每个k-项集的支持度,得到k-项频繁项集集合,该集合包含支持度不小于最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中总告警类型数。
关于如上功能单元的具体实现可参考方法实施例的描述。
本发明实施例装置的各个单元可以集成于一体,也可以分离部署。上述单元可以合并为一个单元,也可以进一步拆分成多个子单元。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700241
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700242
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700251
Figure BSA00000137983700252
往往会共同出现,并且规则在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
请参阅图10,为本发明实施例的应用于告警子系统中的一种规则挖掘引擎的结构示意图,如图10所示,本发明实施例的规则挖掘引擎,可以包括:
第一参数配置模块14,用于接收并保存配置的参数,所述配置的参数包括:最小置信度、最小支持度、时间窗口长度、窗口滑动步长、告警关键字段、告警序列T的起始时间和结束时间;
其中,这里的告警关键字段至少包括告警类型属性和告警发生时间,应当理解的是,还可以包括告警停止时间、告警确认时间等其他字段。这里的告警类型属性至少可以由告警类型字段和告警网元ID字段组合而成,进一步的,这里的告警类型字段至少可以用告警类型ID、告警子类型ID组合表示。
在一种实现方式下,参数配置模块14具体可以是GUI界面或命令行工具或其它接口,供参数配置者配置参数。
第一告警读取模块11,用于根据所述配置的告警序列T的起始时间和结束时间,以及告警关键字段从告警数据库31中读取发生在所述起始时间和结束时间之间的告警的关键属性,并输出告警序列T,其中告警序列T中的每条告警用二元组形式(A,t)表示;A表示告警类型属性,该告警类型属性是至少由告警网元ID、告警类型ID、告警子类型ID组合而成,t表示告警发生时间。
第一告警规范化模块12,用于统计告警读取模块11输出的告警序列T中告警的类型,N为该告警序列T中总告警类型数;较优的,还用于生成告警类型集合(如I={i1,i2,...,in})。
第一执行模块13,用于根据所述配置的时间窗口长度和窗口滑动步长将所述告警序列T划分为多个窗口,计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于配置的最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于配置的最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,向规则推理引擎21输出关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列T中总告警类型数。
关于如上功能单元的具体实现可参考方法实施例的描述。
本发明实施例装置的各个单元可以集成于一体,也可以分离部署。上述单元可以合并为一个单元,也可以进一步拆分成多个子单元。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700271
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700272
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700273
Figure BSA00000137983700274
往往会共同出现,并且规则
Figure BSA00000137983700275
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
请参阅图11,为本发明实施例的应用于告警子系统中的另一种规则挖掘引擎的结构示意图,与图10所示实施例稍有差异,如图11所示,本发明实施例的规则挖掘引擎,可以包括:
第二参数配置模块14′,用于接收并保存配置的参数,所述配置的参数包括:最小置信度、最小支持度、时间窗口长度、窗口滑动步长、告警关键字段、告警序列T的起始时间和结束时间;
其中,这里的告警关键字段至少包括告警类型属性和告警发生时间,应当理解的是,还可以包括告警停止时间、告警确认时间等其他字段。这里的告警类型属性至少可以由告警类型字段和告警网元ID字段组合而成,进一步的,这里的告警类型字段至少可以用告警类型ID、告警子类型ID组合表示。
在一种实现方式下,参数配置模块14′具体可以是GUI界面或命令行工具或其它接口,供参数配置者配置参数。
第二告警读取模块11′,用于根据所述配置的告警序列T的起始时间和结束时间,从告警数据库31′中读取发生在所述起始时间和结束时间之间的告警序列T。
第二告警规范化模块12′,用于根据所述配置的告警关键字段将告警读取模块11′输出的告警序列中的每条告警数据转换为二元组形式(A,t),输出规范化后的告警序列T并统计规范化后的告警序列T中告警的类型;较优的,还用于生成告警类型集合,其中,N为规范化后的告警序列T中总告警类型数,A表示告警类型属性,该告警类型属性至少由告警网元ID、告警类型ID、告警子类型ID组合而成,t表示告警发生时间。
实际应用中,告警规范化模块12′进一步用于对时间字段进行规范化处理,例如时区、夏令时转换。
以及,较优的,告警规范化模块12′进一步用于保存规范化前后的告警序列。
第二执行模块13′,用于根据所述配置的时间窗口长度和窗口滑动步长将规范化后的告警序列T划分为多个窗口,并计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,并向规则推理引擎21′输出关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该规范化后的告警序列T中总告警类型数。
关于如上功能单元的具体实现可参考方法实施例的描述。
本发明实施例装置的各个单元可以集成于一体,也可以分离部署。上述单元可以合并为一个单元,也可以进一步拆分成多个子单元。
可见,本发明实施例相对于现有技术,在告警关联规则的挖掘过程中,通过使用新定义的极大置信度,减少了由于置信度参数的影响而产生的虚假规则,从而减少关联规则结果集中的虚假规则。具体的:正如本领域技术人员所知,多种告警类型同时发生的概率越大,则所述多种告警类型它们之间就越可能具有强关联关系,现有WinEPI算法中,针对频繁模式P=i1,i2,...,ik,ik+1,其支持度为sup(P),则由该模式得到所有满足条件的关联规则的方法如下:如果
Figure BSA00000137983700291
则认为属于满足条件的关联规则。同理,计算
Figure BSA00000137983700301
满足条件则保留规则。这些规则在计算置信度时,分子都相同,不同的是分母,即分母为该模式中各个项(即告警类型)的支持度。相对于现有技术,本发明实施例的告警子系统中,由规则挖掘引擎根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,并将极大置信度不小于最小置信度的k+1-项频繁项集加入关联规则结果集,这样的话,由该k+1-项频繁项集(亦即模式)得到的所有规则(即规则的前件和后件为该模式的子集)的传统置信度均不小于最小置信度,从而可以认为该k+1-项频繁项集中的所有项(亦即告警类型)均同时出现的概率会很大,由此该k+1-项频繁项集中的所有项可认为构成一种强亲密度关联模式,表达的关联程度更强。
进一步的,本发明实施例在告警关联规则的挖掘过程中,减缓了现有WinEPI算法可能导致内存不足的问题。具体的:由于使用了滑动窗口,窗口中的告警顺序无法表示告警之间的实际衍生关系,另外,由于电信网络中存在传输、延时、丢失等问题,进一步干扰了告警顺序。实际应用中,规则
Figure BSA00000137983700302
Figure BSA00000137983700303
往往会共同出现,并且规则
Figure BSA00000137983700304
在实际中并不能表示告警A是告警B的根源告警。因此这种前后件的规则定义在电信告警挖掘中意义不大,考虑到这些,本发明实施例通过考察“告警A和告警B同时发生”的概率,相对于现有WinEPI算法考察“告警A发生的情况下告警B发生”的概率的情况,从而减缓现有WinEPI方法中候选项集的数量太多所导致的内存不足问题。
进一步的,本发明实施例在告警关联规则的挖掘过程中,提高了挖掘速度,从而提高了系统处理性能。具体的:在现有技术方案中,由k-项频繁集生成k+1项候选集时,操作过程如下:设i1,i2,...,ik-1,ik和i1,i2,...,ik-1,ik+1为k-项频繁项集,记为P(k+1)/ik+1和P(k+1)/ik,即k+1-项集P(k+1)分别去掉ik+1和ik后得到的项集。然后查找如下k-项集P(k+1)/i1,P(k+1)/i2,...,P(k+1)/ik-1是否都是频繁项集。若都存在,则P(k+1)为k+1-项候选项集,然后将所有的k+1-项候选项集统计支持度,看是否满足最小支持度的要求。采用本发明实施例的极大置信度定义后,要求P(k+1)满足新的置信度要求,即
Figure BSA00000137983700311
sup(P(k+1))≥max(sup(ii))×min_conf,根据Apriori性质:所有频繁项集的子集必然是频繁项集,所以P(k+1)的任意子集都必须满足sup((P(k+1)的任意子集)≥max(sup(ii))×min_conf。这样,对于每个频繁项,我们都已经记录了其支持度,在由P(k+1)/ik+1和P(k+1)/ik构造准k+1-项候选项集P(k+1)时,我们首先判断
Figure BSA00000137983700312
如果不成立,则说明P(k+1)不满足置信度条件,无需再判断每个子集是否是频繁项集,从而提高了告警关联规则的挖掘处理速度,进而提高了系统处理性能。
需要说明的是,前述实施例描述中所采用的第一、第二、第三的说法,没有限定顺序的意思,仅为方便区分而已。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件(如处理器)来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random Access Memory,RAM)等。
以上所述仅是本发明的具体实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (14)

1.一种告警子系统,其特征在于,包括:
规则挖掘引擎,用于获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示,N为该告警序列的总告警类型数;计算每个k-项集的支持度,得到包含支持度不小于最小支持度的k-项集的k-项频繁项集集合,其中k-项集表示k种告警类型的集合,k={1,2,...,L,...,N};由该k-项频繁项集集合生成k+1-项频繁项集集合;针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;并将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集;
规则推理引擎,用于接收所述规则挖掘引擎输出的关联规则结果集,并对输入的告警与所述关联规则结果集中的关联规则进行匹配,根据匹配结果以关联的告警处理方式处理所述告警。
2.根据权利要求1所述的系统,其特征在于,所述系统进一步包括:
告警存储设备,用于存储电信设备产生的告警;
所述规则挖掘引擎具体用于从告警存储设备读取告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示,N为该告警序列的总告警类型数;计算每个k-项集的支持度,得到包含支持度不小于最小支持度的k-项集的k-项频繁项集集合,其中k-项集表示k种告警类型的集合,k={1,2,...,L,...,N};由该k-项频繁项集集合生成k+1-项频繁项集集合;针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;并将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集;
所述规则推理引擎进一步用于将处理后的告警保存到告警存储设备。
3.一种告警关联规则的挖掘方法,其特征在于,该方法包括:
获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示;
计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中总告警类型数;
由该k-项频繁项集集合生成k+1-项频繁项集集合;
针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集。
4.根据权利要求3所述的方法,其特征在于,所述根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度,包括:
根据作为分母的、k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和作为分子的、该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度。
5.根据权利要求3或4所述的方法,其特征在于,所述由该k-项频繁项集集合生成k+1-项频繁项集集合,包括:
从该k-项频繁项集集合中选取两个未被同时选择过的k-项集,所述两个k-项集中有k-1个项相同,k={1,2,...,L,...,N};
取所述两个k-项集的合集生成k+1-项集,计算该k+1-项集的支持度,将支持度不小于最小支持度的k+1-项集加入k+1-项频繁项集集合。
6.根据权利要求3或4所述的方法,其特征在于,所述方法进一步包括:判断该k+1-项频繁项集集合是否为空,如果该k+1-项频繁项集集合不为空,则执行计算所述k+1-项频繁项集集合中的每个k+1-项频繁项集的极大置信度的步骤。
7.根据权利要求6所述的方法,其特征在于,如果该k+1-项频繁项集集合为空,所述方法进一步包括:合并所述关联规则结果集中具有包含关系的关联规则,并输出合并后的关联规则结果集。
8.根据权利要求3或4所述的方法,其特征在于,所述获得告警序列,包括:根据配置的告警序列的起始时间和结束时间,以及告警关键字段从告警存储设备中读取发生在所述起始时间和结束时间之间的告警的关键属性,并输出告警序列,所述告警序列中的每条告警用二元组形式(A,t)表示,A表示告警类型属性,t表示告警发生时间;
所述方法进一步包括:统计所述告警序列中告警的类型,N为所述告警序列中总告警类型数。
9.根据权利要求3或4所述的方法,其特征在于,所述获得告警序列,包括:根据配置的告警序列的起始时间和结束时间,从告警存储设备中读取发生在所述起始时间和结束时间之间的告警序列;
所述方法进一步包括:根据配置的告警关键字段将所述告警序列中的每条告警数据转换为规范的二元组形式(A,t),输出规范化后的告警序列并统计所述规范化后的告警序列中告警的类型,A表示告警类型属性,t表示告警发生时间,N为所述规范化后的告警序列中总告警类型数。
10.一种告警关联规则的规则挖掘引擎,其特征在于,包括:
告警获得单元,用于获得告警序列,所述告警序列包括多条告警,每条告警至少用告警类型属性和告警发生时间表示;
执行单元,用于计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中总告警类型数。
11.根据权利要求10所述的装置,其特征在于,所述装置进一步包括:
参数配置模块,用于接收并保存配置的参数,所述配置的参数包括:最小置信度、最小支持度、时间窗口长度、窗口滑动步长、告警关键字段、告警序列的起始时间和结束时间。
12.根据权利要求11所述的装置,其特征在于,所述告警获得单元为第一告警读取模块,用于根据所述配置的告警序列的起始时间和结束时间,以及告警关键字段从告警存储设备中读取发生在所述起始时间和结束时间之间的告警的关键属性,并输出告警序列,其中该告警序列中的每条告警用二元组形式(A,t)表示,A表示告警类型属性,t表示告警发生时间;
所述装置进一步包括:第一告警规范化模块,用于统计所述告警序列中告警的类型,N为该告警序列中总告警类型数;
第一执行模块具体用于根据所述配置的所述时间窗口长度和窗口滑动步长将所述的告警序列划分为多个窗口,并计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集所包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,并向规则推理引擎21输出关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该告警序列中的总告警类型数。
13.根据权利要求11所述的装置,其特征在于,进一步包括:
告警获得单元为第二告警读取模块,用于根据所述配置的告警序列的起始时间和结束时间,从告警存储设备读取发生在所述起始时间和结束时间之间的告警序列;
所述装置进一步包括:第二告警规范化模块,用于根据所述配置的告警关键字段将所述告警读取模块输出的告警序列中的每条告警数据转换为二元组形式(A,t),输出规范化后的告警序列并统计所述规范化后的告警序列中告警的类型,其中,N为所述规范化后的告警序列中总告警类型数,A表示告警类型属性,t表示告警发生时间;
第二执行模块具体用于根据所述配置的时间窗口长度和窗口滑动步长将所述的告警序列划分为多个窗口,计算每个k-项集的支持度,得到k-项频繁项集集合,该k-项频繁项集集合包含支持度不小于最小支持度的k-项集;由该k-项频繁项集集合生成k+1-项频繁项集集合,针对该k+1-项频繁项集集合中的每个k+1-项频繁项集,根据该k+1-项频繁项集包含的k+1个1-项集的支持度中的最大值和该k+1-项频繁项集的支持度,计算该k+1-项频繁项集的极大置信度;将极大置信度不小于最小置信度的k+1-项频繁项集作为关联规则加入关联规则结果集,并向规则推理引擎输出关联规则结果集,其中,k={1,2,...,L,...,N},k-项集表示k种告警类型的集合,N为该规范化后的告警序列中的总告警类型数。
14.一种网络管理系统,其特征在于,包括:电信设备和如权利要求1或2所述的告警子系统。
CN2010101972750A 2010-06-07 2010-06-07 一种告警关联规则挖掘方法、规则挖掘引擎及系统 Expired - Fee Related CN101937447B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2010101972750A CN101937447B (zh) 2010-06-07 2010-06-07 一种告警关联规则挖掘方法、规则挖掘引擎及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2010101972750A CN101937447B (zh) 2010-06-07 2010-06-07 一种告警关联规则挖掘方法、规则挖掘引擎及系统

Publications (2)

Publication Number Publication Date
CN101937447A true CN101937447A (zh) 2011-01-05
CN101937447B CN101937447B (zh) 2012-05-23

Family

ID=43390779

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2010101972750A Expired - Fee Related CN101937447B (zh) 2010-06-07 2010-06-07 一种告警关联规则挖掘方法、规则挖掘引擎及系统

Country Status (1)

Country Link
CN (1) CN101937447B (zh)

Cited By (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102111296A (zh) * 2011-01-10 2011-06-29 浪潮通信信息系统有限公司 基于最大频繁项集的通信告警关联规则挖掘方法
CN102142992A (zh) * 2011-01-11 2011-08-03 浪潮通信信息系统有限公司 通信告警频繁项集挖掘引擎及冗余处理方法
CN102609830A (zh) * 2012-02-16 2012-07-25 南京理工大学 一种基于关联规则的物流仓储仓位分配方法
CN103324712A (zh) * 2013-06-19 2013-09-25 西北工业大学 一种无冗余情节规则的抽取方法
CN104182528A (zh) * 2014-08-27 2014-12-03 广西教育学院 基于偏序模式的教育信息化课程关联模式发现方法及系统
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法
CN104460651A (zh) * 2014-10-24 2015-03-25 北京交控科技有限公司 一种基于自主学习的zc双系宕机故障预警方法与装置
CN104765810A (zh) * 2015-04-02 2015-07-08 西安电子科技大学 基于布尔矩阵的诊疗规则挖掘方法
CN104809216A (zh) * 2015-04-29 2015-07-29 赵蒙海 基于数据挖掘的分析模型及引擎系统
WO2016029570A1 (zh) * 2014-08-28 2016-03-03 北京科东电力控制系统有限责任公司 一种面向电网调度的智能告警分析方法
CN105447134A (zh) * 2015-11-20 2016-03-30 央视国际网络无锡有限公司 频繁项集挖掘算法的优化方法
CN105589907A (zh) * 2014-12-30 2016-05-18 中国银联股份有限公司 数据关联规则的挖掘
CN105989095A (zh) * 2015-02-12 2016-10-05 香港理工大学深圳研究院 顾及数据不确定性的关联规则显著性检验方法及装置
CN106126577A (zh) * 2016-06-17 2016-11-16 北京理工大学 一种基于数据源划分矩阵的加权关联规则挖掘方法
CN103793589B (zh) * 2012-10-31 2017-01-18 中国科学院软件研究所 一种高速列车故障处理方法
CN106528313A (zh) * 2016-10-24 2017-03-22 中国银联股份有限公司 一种主机变量异常检测方法及系统
CN106789145A (zh) * 2016-03-30 2017-05-31 新华三技术有限公司 一种告警信息推送方法及装置
CN106778048A (zh) * 2017-03-10 2017-05-31 广州视源电子科技股份有限公司 数据处理的方法及装置
CN107291716A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种链路数据校验方法及装置
CN107315831A (zh) * 2017-07-10 2017-11-03 北京神州泰岳软件股份有限公司 一种挖掘规则关联模型未知关联关系的方法及装置
CN108111346A (zh) * 2017-12-19 2018-06-01 深圳市麦斯杰网络有限公司 告警关联分析中频繁项集的确定方法、装置及存储介质
CN108363364A (zh) * 2017-12-29 2018-08-03 武汉武钢众鹏信息系统有限公司 一种基于工业大数据驱动的报警方法
CN109189736A (zh) * 2018-08-01 2019-01-11 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109218255A (zh) * 2017-06-30 2019-01-15 中国电信股份有限公司 安全防护方法、控制系统和安全防护系统
CN109358602A (zh) * 2018-10-23 2019-02-19 山东中创软件商用中间件股份有限公司 一种故障分析方法、装置及相关设备
CN109412867A (zh) * 2018-12-06 2019-03-01 国家电网有限公司信息通信分公司 一种告警关联合并方法、装置、系统、设备和存储介质
CN109753526A (zh) * 2018-12-28 2019-05-14 四川新网银行股份有限公司 一种基于时序相似度对告警信息分析查询的装置及方法
CN109768895A (zh) * 2019-03-29 2019-05-17 南京邮电大学 一种网络切片故障管理方法及系统
CN109905261A (zh) * 2017-12-08 2019-06-18 华为技术有限公司 故障诊断方法及装置
CN109905270A (zh) * 2018-03-29 2019-06-18 华为技术有限公司 定位根因告警的方法、装置和计算机可读存储介质
CN110188025A (zh) * 2019-05-31 2019-08-30 安徽继远软件有限公司 一种告警日志的高效关联方法
CN110300011A (zh) * 2018-03-23 2019-10-01 中国移动通信集团有限公司 一种告警根因定位方法、装置和计算机可读存储介质
CN110399278A (zh) * 2019-07-24 2019-11-01 江苏物联网研究发展中心 基于数据中心异常监控的告警融合系统及方法
CN110399262A (zh) * 2019-06-17 2019-11-01 平安科技(深圳)有限公司 运维监测告警收敛方法、装置、计算机设备及存储介质
CN110503247A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 电信网络告警预测方法及系统
CN110968631A (zh) * 2019-11-30 2020-04-07 航天科技控股集团股份有限公司 一种基于tbox的车辆故障告警方法
CN111161324A (zh) * 2019-11-20 2020-05-15 山东工商学院 一种基于自适应多模更新策略的目标跟踪方法
CN112087323A (zh) * 2020-08-19 2020-12-15 烽火通信科技股份有限公司 告警相关性分析方法、装置、设备及可读存储介质
CN112286987A (zh) * 2020-10-21 2021-01-29 国网电力科学研究院武汉南瑞有限责任公司 基于Apriori算法的电力物联异常告警压缩方法
CN112559569A (zh) * 2020-12-11 2021-03-26 广东电力通信科技有限公司 一种复合条件的告警规则处理方法
CN113360350A (zh) * 2020-03-03 2021-09-07 中国移动通信集团贵州有限公司 定位网络设备根因告警的方法、装置、设备和存储介质
CN113539502A (zh) * 2021-07-15 2021-10-22 中国人民解放军联勤保障部队第九六〇医院 一种基于临床电子病历的药品不良反应数据模拟算法
CN114826717A (zh) * 2022-04-18 2022-07-29 深信服科技股份有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN115470831A (zh) * 2022-11-03 2022-12-13 四川中电启明星信息技术有限公司 一种基于频繁项集推理的水电信号异常判断方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9710364B2 (en) 2015-09-04 2017-07-18 Micron Technology Licensing, Llc Method of detecting false test alarms using test step failure analysis

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097367A1 (en) * 2001-10-12 2003-05-22 International Business Machines Corporation Systems and methods for pairwise analysis of event data
US20050080806A1 (en) * 2003-10-08 2005-04-14 Doganata Yurdaer N. Method and system for associating events
CN1878093A (zh) * 2006-07-19 2006-12-13 华为技术有限公司 安全事件关联分析方法和系统
CN101242278A (zh) * 2008-02-18 2008-08-13 华中科技大学 网络多步攻击意图在线识别方法
CN101247269A (zh) * 2008-03-05 2008-08-20 中兴通讯股份有限公司 一种自动发现判定冗余告警的关联规则的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030097367A1 (en) * 2001-10-12 2003-05-22 International Business Machines Corporation Systems and methods for pairwise analysis of event data
US20050080806A1 (en) * 2003-10-08 2005-04-14 Doganata Yurdaer N. Method and system for associating events
CN1878093A (zh) * 2006-07-19 2006-12-13 华为技术有限公司 安全事件关联分析方法和系统
CN101242278A (zh) * 2008-02-18 2008-08-13 华中科技大学 网络多步攻击意图在线识别方法
CN101247269A (zh) * 2008-03-05 2008-08-20 中兴通讯股份有限公司 一种自动发现判定冗余告警的关联规则的方法

Cited By (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102111296A (zh) * 2011-01-10 2011-06-29 浪潮通信信息系统有限公司 基于最大频繁项集的通信告警关联规则挖掘方法
CN102142992A (zh) * 2011-01-11 2011-08-03 浪潮通信信息系统有限公司 通信告警频繁项集挖掘引擎及冗余处理方法
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102098175B (zh) * 2011-01-26 2015-07-01 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102609830B (zh) * 2012-02-16 2015-09-30 南京理工大学 一种基于关联规则的物流仓储仓位分配方法
CN102609830A (zh) * 2012-02-16 2012-07-25 南京理工大学 一种基于关联规则的物流仓储仓位分配方法
CN103793589B (zh) * 2012-10-31 2017-01-18 中国科学院软件研究所 一种高速列车故障处理方法
CN103324712A (zh) * 2013-06-19 2013-09-25 西北工业大学 一种无冗余情节规则的抽取方法
CN104182528A (zh) * 2014-08-27 2014-12-03 广西教育学院 基于偏序模式的教育信息化课程关联模式发现方法及系统
CN104182528B (zh) * 2014-08-27 2017-07-07 广西教育学院 基于偏序模式的教育信息化课程关联模式发现方法及系统
WO2016029570A1 (zh) * 2014-08-28 2016-03-03 北京科东电力控制系统有限责任公司 一种面向电网调度的智能告警分析方法
CN104460651A (zh) * 2014-10-24 2015-03-25 北京交控科技有限公司 一种基于自主学习的zc双系宕机故障预警方法与装置
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法
CN104361036B (zh) * 2014-10-29 2017-10-17 国家电网公司 告警事件关联规则挖掘方法
CN105589907A (zh) * 2014-12-30 2016-05-18 中国银联股份有限公司 数据关联规则的挖掘
CN105989095A (zh) * 2015-02-12 2016-10-05 香港理工大学深圳研究院 顾及数据不确定性的关联规则显著性检验方法及装置
CN105989095B (zh) * 2015-02-12 2019-09-06 香港理工大学深圳研究院 顾及数据不确定性的关联规则显著性检验方法及装置
CN104765810A (zh) * 2015-04-02 2015-07-08 西安电子科技大学 基于布尔矩阵的诊疗规则挖掘方法
CN104765810B (zh) * 2015-04-02 2018-03-06 西安电子科技大学 基于布尔矩阵的诊疗规则挖掘方法
CN104809216A (zh) * 2015-04-29 2015-07-29 赵蒙海 基于数据挖掘的分析模型及引擎系统
CN104809216B (zh) * 2015-04-29 2018-06-05 赵蒙海 基于数据挖掘分析模型的引擎系统
CN105447134A (zh) * 2015-11-20 2016-03-30 央视国际网络无锡有限公司 频繁项集挖掘算法的优化方法
CN105447134B (zh) * 2015-11-20 2019-03-08 央视国际网络无锡有限公司 频繁项集挖掘算法的优化方法
CN107291716B (zh) * 2016-03-30 2020-07-21 阿里巴巴集团控股有限公司 一种链路数据校验方法及装置
CN107291716A (zh) * 2016-03-30 2017-10-24 阿里巴巴集团控股有限公司 一种链路数据校验方法及装置
CN106789145A (zh) * 2016-03-30 2017-05-31 新华三技术有限公司 一种告警信息推送方法及装置
CN106789145B (zh) * 2016-03-30 2021-04-02 新华三技术有限公司 一种告警信息推送方法及装置
CN106126577A (zh) * 2016-06-17 2016-11-16 北京理工大学 一种基于数据源划分矩阵的加权关联规则挖掘方法
CN106528313A (zh) * 2016-10-24 2017-03-22 中国银联股份有限公司 一种主机变量异常检测方法及系统
CN106778048A (zh) * 2017-03-10 2017-05-31 广州视源电子科技股份有限公司 数据处理的方法及装置
CN106778048B (zh) * 2017-03-10 2019-07-16 广州视源电子科技股份有限公司 数据处理的方法及装置
CN109218255A (zh) * 2017-06-30 2019-01-15 中国电信股份有限公司 安全防护方法、控制系统和安全防护系统
CN109218255B (zh) * 2017-06-30 2021-06-04 中国电信股份有限公司 安全防护方法、控制系统和安全防护系统
CN107315831B (zh) * 2017-07-10 2019-06-07 北京神州泰岳软件股份有限公司 一种挖掘规则关联模型未知关联关系的方法及装置
CN107315831A (zh) * 2017-07-10 2017-11-03 北京神州泰岳软件股份有限公司 一种挖掘规则关联模型未知关联关系的方法及装置
CN109905261A (zh) * 2017-12-08 2019-06-18 华为技术有限公司 故障诊断方法及装置
CN108111346B (zh) * 2017-12-19 2021-05-04 深圳市麦斯杰网络有限公司 告警关联分析中频繁项集的确定方法、装置及存储介质
CN108111346A (zh) * 2017-12-19 2018-06-01 深圳市麦斯杰网络有限公司 告警关联分析中频繁项集的确定方法、装置及存储介质
CN108363364A (zh) * 2017-12-29 2018-08-03 武汉武钢众鹏信息系统有限公司 一种基于工业大数据驱动的报警方法
CN110300011A (zh) * 2018-03-23 2019-10-01 中国移动通信集团有限公司 一种告警根因定位方法、装置和计算机可读存储介质
CN109905270A (zh) * 2018-03-29 2019-06-18 华为技术有限公司 定位根因告警的方法、装置和计算机可读存储介质
CN109189736A (zh) * 2018-08-01 2019-01-11 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109358602A (zh) * 2018-10-23 2019-02-19 山东中创软件商用中间件股份有限公司 一种故障分析方法、装置及相关设备
CN109412867A (zh) * 2018-12-06 2019-03-01 国家电网有限公司信息通信分公司 一种告警关联合并方法、装置、系统、设备和存储介质
CN109412867B (zh) * 2018-12-06 2022-02-08 国家电网有限公司信息通信分公司 一种告警关联合并方法、装置、系统、设备和存储介质
CN109753526A (zh) * 2018-12-28 2019-05-14 四川新网银行股份有限公司 一种基于时序相似度对告警信息分析查询的装置及方法
CN109768895A (zh) * 2019-03-29 2019-05-17 南京邮电大学 一种网络切片故障管理方法及系统
CN110188025B (zh) * 2019-05-31 2022-05-10 安徽继远软件有限公司 一种告警日志的高效关联方法
CN110188025A (zh) * 2019-05-31 2019-08-30 安徽继远软件有限公司 一种告警日志的高效关联方法
CN110399262A (zh) * 2019-06-17 2019-11-01 平安科技(深圳)有限公司 运维监测告警收敛方法、装置、计算机设备及存储介质
CN110399278A (zh) * 2019-07-24 2019-11-01 江苏物联网研究发展中心 基于数据中心异常监控的告警融合系统及方法
CN110399278B (zh) * 2019-07-24 2023-06-06 江苏物联网研究发展中心 基于数据中心异常监控的告警融合系统及方法
CN110503247A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 电信网络告警预测方法及系统
CN111161324B (zh) * 2019-11-20 2023-06-23 山东工商学院 一种基于自适应多模更新策略的目标跟踪方法
CN111161324A (zh) * 2019-11-20 2020-05-15 山东工商学院 一种基于自适应多模更新策略的目标跟踪方法
CN110968631A (zh) * 2019-11-30 2020-04-07 航天科技控股集团股份有限公司 一种基于tbox的车辆故障告警方法
CN113360350A (zh) * 2020-03-03 2021-09-07 中国移动通信集团贵州有限公司 定位网络设备根因告警的方法、装置、设备和存储介质
CN112087323A (zh) * 2020-08-19 2020-12-15 烽火通信科技股份有限公司 告警相关性分析方法、装置、设备及可读存储介质
CN112286987B (zh) * 2020-10-21 2022-04-29 国网电力科学研究院武汉南瑞有限责任公司 基于Apriori算法的电力物联异常告警压缩方法
CN112286987A (zh) * 2020-10-21 2021-01-29 国网电力科学研究院武汉南瑞有限责任公司 基于Apriori算法的电力物联异常告警压缩方法
CN112559569A (zh) * 2020-12-11 2021-03-26 广东电力通信科技有限公司 一种复合条件的告警规则处理方法
CN112559569B (zh) * 2020-12-11 2023-07-21 广东电力通信科技有限公司 一种复合条件的告警规则处理方法
CN113539502A (zh) * 2021-07-15 2021-10-22 中国人民解放军联勤保障部队第九六〇医院 一种基于临床电子病历的药品不良反应数据模拟算法
CN114826717A (zh) * 2022-04-18 2022-07-29 深信服科技股份有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN114826717B (zh) * 2022-04-18 2024-02-23 深信服科技股份有限公司 一种异常访问检测方法、装置、电子设备及存储介质
CN115470831A (zh) * 2022-11-03 2022-12-13 四川中电启明星信息技术有限公司 一种基于频繁项集推理的水电信号异常判断方法
CN115470831B (zh) * 2022-11-03 2023-04-18 四川中电启明星信息技术有限公司 一种基于频繁项集推理的水电信号异常判断方法

Also Published As

Publication number Publication date
CN101937447B (zh) 2012-05-23

Similar Documents

Publication Publication Date Title
CN101937447B (zh) 一种告警关联规则挖掘方法、规则挖掘引擎及系统
US20160239660A1 (en) Sequence identification
Yao et al. On reduct construction algorithms
US7685141B2 (en) Connection sub-graphs in entity relationship graphs
CN102195899B (zh) 通信网络的信息挖掘方法与系统
CN105843947A (zh) 基于大数据关联规则挖掘的异常行为检测方法和系统
CN108628906A (zh) 短文本模板挖掘方法、装置、电子设备和可读存储介质
Li et al. Direct candidates generation: a novel algorithm for discovering complete share-frequent itemsets
Weyer et al. Finite sample properties of linear model identification
Effendi et al. Discovering process model from event logs by considering overlapping rules
Dickens et al. Order-invariant cardinality estimators are differentially private
Gambs et al. Reconstruction attack through classifier analysis
CN105183785B (zh) 一种保护原交易数据集关联规则的数据挖掘方法及系统
CN107291877A (zh) 一种基于Apriori算法的频繁项集挖掘方法
CN104794234B (zh) 用于同业对标的数据处理方法和装置
Junuthula et al. Leveraging friendship networks for dynamic link prediction in social interaction networks
Kim et al. Visualization support for multi-criteria decision making in software issue propagation
CN110851684B (zh) 一种基于三元关联图的社交话题影响力识别方法及装置
CN112765313A (zh) 一种基于原文和评论信息分析算法的虚假信息检测方法
Seebacher et al. Visual analytics of conversational dynamics
Raıssi et al. Need for speed: Mining sequential patterns in data streams
Oselio et al. Information extraction from large multi-layer social networks
CN107145599A (zh) 一种大数据资产管理系统
Zhang et al. Web service community discovery based on spectrum clustering
Gomes et al. Exploiting Runtime Variation in Complete Solvers.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120523

Termination date: 20150607

EXPY Termination of patent right or utility model