CN109412867B - 一种告警关联合并方法、装置、系统、设备和存储介质 - Google Patents

一种告警关联合并方法、装置、系统、设备和存储介质 Download PDF

Info

Publication number
CN109412867B
CN109412867B CN201811485714.0A CN201811485714A CN109412867B CN 109412867 B CN109412867 B CN 109412867B CN 201811485714 A CN201811485714 A CN 201811485714A CN 109412867 B CN109412867 B CN 109412867B
Authority
CN
China
Prior art keywords
alarm
association
item set
item
items
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201811485714.0A
Other languages
English (en)
Other versions
CN109412867A (zh
Inventor
何云瑞
崔硕
李扬
陈亮
王宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Information and Telecommunication Co Ltd
Original Assignee
State Grid Information and Telecommunication Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Information and Telecommunication Co Ltd filed Critical State Grid Information and Telecommunication Co Ltd
Priority to CN201811485714.0A priority Critical patent/CN109412867B/zh
Publication of CN109412867A publication Critical patent/CN109412867A/zh
Application granted granted Critical
Publication of CN109412867B publication Critical patent/CN109412867B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06—Management of faults, events, alarms or notifications
    • H04L41/0631—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • H04L41/065—Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis involving logical or physical relationship, e.g. grouping and hierarchies

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明涉及网络监控技术领域，特别是涉及一种告警关联合并方法、装置、系统、设备和存储介质。方法包括：获取告警数据，将告警数据中的告警项按照告警时间顺序排列后得到告警序列，并按照预设的时间间隔将告警序列划分为两个或两个以上告警组；根据告警组计算由至少一个告警项组成的告警项集的告警支持度，获得告警频繁项集；根据告警支持度计算告警频繁项集中包含的告警项集之间的关联置信度，以创建告警项集之间的关联规则；根据关联规则将告警数据中具有关联关系的告警项集进行合并。本发明实施例中的告警关联合并方法，通过对告警项以及告警项之间的关联规则进行挖掘并将告警项进行合并，减少冗余告警数量，降低对告警通知所用网关的压力。

Description

一种告警关联合并方法、装置、系统、设备和存储介质
技术领域
本发明涉及网络监控技术领域，特别是涉及一种告警关联合并方法、装置、系统、设备和存储介质。
背景技术
在网络管理领域，告警是对构成网络的软硬件系统的设备组件出现错误或异常状态时的事件记录。其中电信网络规模庞大，结构复杂，设备多样，构成的系统中各种软硬件模块每天都会产生大量的告警。
由于这些大量的告警信息中有一些告警之间是有关联的，所以现有技术常常使用告警关联规则对这些大量的告警信息进行合并压缩，已得到真正的告警源。其中比较常用的关联规则挖掘算法多以Apriori算法(关联规则算法)为基础，挖掘告警信息之间的关联规则，但该算法需多次扫描数据库并生成大量候选集，效率较低；另外还可以使用FP-growth算法基于频繁模式树对频繁项集进行挖掘，只需扫描数据库两次且不需要产生候选集，计算量小且节省了空间资源，但该算法在第二次扫描数据库时仍需要递归产生大量条件FP-growth树，耗费存储空间和时间。
可见，现有技术对于告警合并压缩处理方法或处理流程复杂，效率低，或计算量大，存储空间需求大、处理时间长，无法满足当前网络规模庞大的情况下信息处理的需求。
发明内容
基于此，有必要针对上述的问题，提供一种告警关联合并方法、装置、系统、设备和存储介质。
在其中一个实施例中，本发明提供了一种告警关联合并方法，所述方法包括如下步骤：
获取告警数据，将所述告警数据中的告警项按照告警时间顺序排列后得到告警序列，并按照预设的时间间隔将所述告警序列划分为两个或两个以上告警组；
根据所述告警组计算由至少一个所述告警项组成的告警项集的告警支持度，获得告警频繁项集，所述告警频繁项集中包含的所述告警项集的告警支持度不小于预设的支持度阈值；
根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，所述关联规则用于判断所述告警项之间是否关联；
根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩。
进一步的，所述根据所述告警组计算由至少一个所述告警项组成的告警项集的告警支持度，获得告警频繁项集，具体包括：
扫描所有所述告警组，统计每个所述告警项集出现的告警次数和所有拥有相同数量所述告警项的所述告警项集出现的告警总次数；
计算单个所述告警项集出现的告警次数与所述告警总次数的比值，将所述比值作为告警支持度；
将所述告警支持度不小于预设支持度阈值的所述告警项集集合成所述告警频繁项集。
进一步的，所述扫描所有拥有相同数量所述告警项的所述告警组，统计每个所述告警项集出现的告警次数和所有所述告警项集出现的告警总次数，具体包括：
单独扫描所有所述告警组，统计所述告警项集出现的第一告警次数；
同时扫描相邻时间段的两个所述告警组，统计由两个所述告警组中包含的所述告警项组成的所述告警项集出现的第二告警次数和所有所述告警项集出现的告警总次数。
进一步的，所述根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，具体包括：
根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，计算所述关联置信度的公式可表示为：
Figure BDA0001894174550000031
其中，cn为关联置信度，P(M)为告警项集M的告警支持度，P(N)为告警项N集的告警支持度，P(M∩N)为包含了告警事项集M与告警事项集N的告警项集的告警支持度；
若所述关联置信度大于预设的关联置信度阈值，则认为告警事项集M与N之间关联。
进一步的，所述根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩，具体为：
若所述告警项集之间满足所述关联规则，则将两个或两个以上所述告警项集收敛为一个中间告警项集，所述中间告警项集为符合所述关联规则的所述告警项集中告警支持度最高的一个。
在其中一个实施例中，本发明提供了一种告警关联合并装置，包括：
告警预处理模块，用于获取告警数据，将所述告警数据中的告警项按照告警时间顺序排列后，并按照预设的时间间隔划分为两个或两个以上告警组；
频繁项集创建模块，用于根据所述告警组计算由至少一个所述告警项组成的告警项集的告警支持度，获得告警频繁项集，所述告警频繁项集中包含的所述告警项集的告警支持度不小于预设的支持度阈值；
关联规则创建模块，用于根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，所述关联规则用于判断所述告警项之间是否关联；
告警压缩合并模块，用于根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩。
在其中一个实施例中，本发明还提供一种告警关联合并系统，包括：
告警监控终端，用于监控设备发生的告警项，并将对应的告警数据发送至告警关联合并装置；
告警处理终端，包括所述告警关联合并装置，用于接收并处理所述告警数据，以合并和压缩关联告警项。
在其中一个实施例中，本发明还提供一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述告警关联合并方法的步骤。
在其中一个实施例中，本发明还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述告警关联合并方法的步骤。
本发明实施例中的告警关联合并方法、装置、系统、设备和存储介质，通过对告警项进行排列和分组，进而对告警项以及告警项之间的关联规则进行挖掘并将告警项进行合并，并优化了置信度的算法，可用于因网络故障导致的大规模网络故障的场景，减少冗余告警数量，降低对告警通知所用短信网关的压力，并能有效帮助在海量告警中定位根源告警信息，为快速恢复系统正常运行提供参考。
附图说明
图1为一个实施例中提供的告警关联合并方法的应用环境图；
图2为一个实施例中提供的告警关联合并方法的流程图；
图3为一个实施例中提供的获得告警频繁项集的流程图；
图4为一个实施例中提供的扫描告警组的流程图；
图5为一个实施例中提供的告警序列的示意图；
图6为一个实施例中提供的告警关联合并装置的结构框图；
图7为一个实施例中提供的频繁项集创建模块的结构框图；
图8为一个实施例中提供的统计单元的结构框图；
图9为一个实施例中提供的告警关联合并系统的结构框图；
图10为一个实施例中计算机设备的内部结构框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但除非特别说明，这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一xx单元称为第二xx单元，且类似地，可将第二xx单元称为第一xx单元。
图1为一个实施例中提供的告警关联合并方法的应用环境图，如图1所示，在该应用环境中，包括告警设备110、告警监控终端120、计算机设备130。
告警设备110可以是具有软硬件的系统设备或设备组件，比如电信网络系统软硬件设备或设备组件，其能够根据设备本身的异常状态产生对应的报警。
告警监控终端120可以是具有告警信息采集功能的监控系统或者装置，通过监视告警设备110，并将告警设备产生的告警进行处理，获得告警数据。
计算机设备120用于运行本发明实施例中的告警关联合并方法，可以是独立的物理服务器或终端，也可以是多个物理服务器构成的服务器集群，可以是提供云服务器、云数据库、云存储和CDN(Content Delivery Network，内容分发网络)等基础云计算服务的云服务器，具体可以是笔记本电脑、计算机等，本发明不进行严格限制。
实施例一
如图2所示，在一个实施例中，提出了一种告警关联合并方法，本实施例主要以该方法应用于上述图1中的计算机设备130来举例说明，具体可以包括以下步骤：
步骤S201，获取告警数据，将告警数据中的告警项按照告警时间顺序排列后得到告警序列，并按照预设的时间间隔将告警序列划分为两个或两个以上告警组；
步骤S202，根据告警组计算由至少一个告警项组成的告警项集的告警支持度，获得告警频繁项集，告警频繁项集中包含的告警项集的告警支持度不小于预设的支持度阈值；
步骤S203，根据告警支持度计算告警频繁项集中包含的告警项集之间的关联置信度，以创建告警项集之间的关联规则，关联规则用于判断告警项之间是否关联；
步骤S204，根据关联规则将告警数据中具有关联关系的告警项集进行合并和压缩。
在本发明实施例中，告警数据是指设备或系统发生故障时，监控单元将视故障情况给出告警信号，并对告警信号进行统计及记录，生成的记录信息即告警数据，告警数据通常至少包含告警项和告警时间，告警项用于标识告警的具体类型，高警时间为告警发生的时间。
在本发明实施例中，关联规则是指事项之间是否存在关联关系，其中主要通过支持度和置信度衡量，支持度是指两个或者两个事项同时发生的概率，置信度是指这两个或者两个以上事项其中一个发生时，另一个发生的概率，当两者均大于对应的某个设定值的时候，认为两个或者两个以上的事项之间满足关联规则，即他们互相关联，比如事件X和Y符合关联规则，X发生时伴随Y的发生，则表示为
Figure BDA0001894174550000071
若Y发生时常常伴随X发生，则表示为
Figure BDA0001894174550000072
如图3所示，在本发明实施例中，步骤S202即根据告警组计算由至少一个告警项组成的告警项集的告警支持度，获得告警频繁项集，具体包括：
步骤S301，扫描所有告警组，统计每个告警项集出现的告警次数和所有拥有相同数量所述告警项的告警项集出现的告警总次数；
步骤S302，计算单个告警项集出现的告警次数与告警总次数的比值，将比值作为告警支持度；
步骤S303，将告警支持度不小于预设支持度阈值的告警项集集合成告警频繁项集。
在本发明实施例中，步骤S301即扫描所有告警组，统计每个告警项集出现的告警次数和所有拥有相同数量所述告警项的告警项集出现的告警总次数，具体包括：
步骤S401，单独扫描所有告警组，统计告警项集出现的第一告警次数；
步骤S402，同时扫描相邻时间段的两个告警组，统计由两个告警组中包含的告警项组成的告警项集出现的第二告警次数和所有告警项集出现的告警总次数。
具体的，如图5所示，比如获取告警数据并将告警数据中的告警项按照告警时间顺序排列后，得到一个告警序列S＝{s，Ts，Te}，S＝{s，Ts，Te}表示告警序列由告警数据中的告警项在时间区间[Ts，Te]内按照发生时间的先后排序排列而成，本发明实施例中，Ts为0。按照预设的时间间隔将告警序列划分为两个或两个以上告警组Sv＝{sv，ts，te}，其中ts≥Ts，te≤Te，te-ts为预设的时间间隔，记作w，在本发明实施例中，w为30s，告警组由多个告警项(G，t)组成，其中G为告警项名称，对应本发明实施例中的A、B、C、D、E和F等事项，t为告警项告警时间。
单独扫描所有告警组时，先从当前时间ts开始扫描，一直到te+tb，刚好完成一个告警组的扫描，再从当前时间te+tb开始继续扫描相邻时间的下一个告警组，统计告警项集出现的第一告警次数。同时扫描相邻时间段的两个告警组时，先从当前时间ts开始扫描，一直到te+2tb，刚好完成两个相邻时间段的告警组的扫描，统计由两个告警组中包含的告警项组成的告警项集出现的第二告警次数和所有告警项集出现的告警总次数。
在本发明实施例中，考虑实际应用时，规则
Figure BDA0001894174550000081
和
Figure BDA0001894174550000082
往往会共同出现，并且规则
Figure BDA0001894174550000083
并不能在实际中表示告警项X是告警项Y的根源告警，因此这种前后告警的规则定义在电信告警挖掘中意义不大，本发明实施例通过考虑告警项X和告警项Y在某段时间内共同发生的概率，以便减缓告警关联计算数量太多导致的内存不足的问题。
比如，对于图5所示的包含告警项A和B的告警项集，单独扫描告警组S1，其出现告警项A和B均发生1次，则认为对应的告警项集出现1次，单独扫描至S2、S3、S4均没有出现告警项A和B均发生的情况，同时扫描S3、S4两个告警组时，发现在S3发生告警项B的情况下，在S4发生了告警项A，即认为对应的告警项集出现1次，同样的对后面的告警组进行相同的扫描，最后，统计包含有告警项A和B的告警项集出现的次数为2次。对于其他的告警项集进行同样的扫描计算，得出结果如下表1所示。
表1：
告警项集 告警项 次数 告警项集 告警项 次数
1 A 4 8 AD 5
2 B 2 9 AE 3
3 C 3 10 BC 1
4 D 4 11 BD 2
5 E 3 12 BE 2
6 AB 2 13 CD 4
7 AC 3 14 CE 3
在本发明实施例中，仅以计算告警项数为1～2的告警项集的支持度和置信度为例，其他更多数量告警项的告警项集的计算方法相同，本发明实施例不进一步详细说明。
进一步的，通过表1计算单个告警项集出现的告警次数与告警总次数的比值，将比值作为告警支持度。比如，对于表1中的告警项集1，其包含报警项A，告警项集1出现次数为4次，所有拥有相同数量告警项的告警项集包括了告警项集1～4，则出现的告警总次数为4+2+3+4+3＝16次，则告警项集1的告警支持度为4/16＝0.25，其他告警项集的计算方式相同，最后计算结果如表2所示。
将表2中的告警项集的告警支持度与预设的支持度阈值比较，若小于预设的支持度阈值，则该告警项集不属于告警频繁项集，将其去掉。在本发明实施例中，将预设的支持度阈值设置为0.04，则上述表2中的所有告警项集均包括在告警频繁项集中。
表2：
告警项集 告警项 支持度 告警项集 告警项 支持度
1 A 0.25 8 AD 0.2
2 B 0.125 9 AE 0.12
3 C 0.1875 10 BC 0.04
4 D 0.25 11 BD 0.08
5 E 0.1875 12 BE 0.08
6 AB 0.08 13 CD 0.16
7 AC 0.12 14 CE 0.12
进一步的，结合表1表2，计算告警频繁项集中包含的告警项集之间的关联置信度，以创建告警项集之间的关联规则，关联规则用于判断告警项之间是否关联。
在本发明实施例中，根据告警支持度计算告警频繁项集中包含的告警项集之间的关联置信度，以创建告警项集之间的关联规则，具体包括：
根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，计算所述关联置信度的公式可表示为：
Figure BDA0001894174550000101
其中，cn为关联置信度，P(M)为告警项集M的告警支持度，P(N)为告警项N集的告警支持度，P(M∩N)为包含了告警事项集M与告警事项集N的告警项集的告警支持度；
具体的，结合上述表2，计算告警项集1和告警项集2之间的关联置信度时，取P(M∩N)＝0.08，P(M)＝0.25，P(N)＝0.125，算出cn＝0.272，其他告警项集之间关联置信度的计算方式相同，最后计算结果如表3所示。
表3：
告警项集 告警项 关联置信度 告警项集 告警项 关联置信度
6 AB 0.272 11 BD 0.272
7 AC 0.378 12 BE 0.344
8 AD 0.67 13 CD 0.577
9 AE 0.378 14 CE 0.471
10 BC 0.147
若所述关联置信度大于预设的关联置信度阈值，则认为告警事项集M与N之间关联。在本发明实施例中，将关联置信度阈值设置为0.3，则最终上述告警项集7、8、9、12、13、14关联规则均成立，即告警项A与C、A与D、A与E、B与E、C与D、C与E均关联，当其中一项告警项发生时，可认为常常伴随另一个告警项发生；告警项6、10、11关联规则不成立，即告警项A与B、B与C、B与D之间无关联，当其中一项告警项发生时，另一个告警项的规律无法确定。
在本发明的其他实施例中，还可以进一步计算其他告警项集的关联关系，比如计算告警项集告警项集之间的关系，以便进一步压缩告警项条数，比如计算告警项集3和告警项集6的置信度，判断告警项A、B、C之间是否关联，本发明不进一步计算。
在本发明实施例中，根据关联规则将告警数据中具有关联关系的告警项集进行合并和压缩，具体为：
若告警项集之间满足关联规则，则将两个或两个以上告警项集收敛为一个中间告警项集，中间告警项集为符合关联规则的告警项集中告警支持度最高的一个，当告警项集中的任意一个告警项发生时均产生同一条告警，降低告警项的类型和次数，减少冗余告警数量，降低对告警通知所用短信网关的压力，并能有效帮助在海量告警中定位根源告警信息。
本发明实施例中的告警关联合并方法，通过对告警项进行排列和分组，进而对告警项以及告警项之间的关联规则进行挖掘并将告警项进行合并，并优化了置信度的算法，可用于因网络故障导致的大规模网络故障的场景，减少冗余告警数量，降低对告警通知所用短信网关的压力，并能有效帮助在海量告警中定位根源告警信息，为快速恢复系统正常运行提供参考。
实施例二
如图6所示，在一个实施例中，提供了一种告警关联合并装置，该告警关联合并装置可以集成于上述的计算机设备130中，具体可以包括：
告警预处理模块601，用于获取告警数据，将告警数据中的告警项按照告警时间顺序排列后得到告警序列，并按照预设的时间间隔将告警序列划分为两个或两个以上告警组；
频繁项集创建模块602，用于根据所述告警组计算由至少一个所述告警项组成的告警项集的告警支持度，获得告警频繁项集，所述告警频繁项集中包含的所述告警项集的告警支持度不小于预设的支持度阈值；
关联规则创建模块603，用于根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，所述关联规则用于判断所述告警项之间是否关联；
告警压缩合并模块604，用于根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩。
在本发明实施例中，告警数据是指设备或系统发生故障时，监控单元将视故障情况给出告警信号，并对告警信号进行统计及记录，生成的记录信息即告警数据，告警数据通常至少包含告警项和告警时间，告警项用于标识告警的具体类型，高警时间为告警发生的时间。
在本发明实施例中，关联规则是指事项之间是否存在关联关系，其中主要通过支持度和置信度衡量，支持度是指两个或者两个事项同时发生的概率，置信度是指这两个或者两个以上事项其中一个发生时，另一个发生的概率，当两者均大于对应的某个设定值的时候，认为两个或者两个以上的事项之间满足关联规则，即他们互相关联，比如事件X和Y符合关联规则，X发生时伴随Y的发生，则表示为
Figure BDA0001894174550000131
若Y发生时常常伴随X发生，则表示为
Figure BDA0001894174550000132
在本发明实施例中，考虑实际应用时，规则
Figure BDA0001894174550000133
和
Figure BDA0001894174550000134
往往会共同出现，并且规则
Figure BDA0001894174550000135
并不能在实际中表示告警项X是告警项Y的根源告警，因此这种前后告警的规则定义在电信告警挖掘中意义不大，本发明实施例通过考虑告警项X和告警项Y在某段时间内共同发生的概率，以便减缓告警关联计算数量太多导致的内存不足的问题。
如图7所示，在本发明实施例中，频繁项集创建模块602，包括：
统计单元701，用于扫描所有告警组，统计每个告警项集出现的告警次数和所有告警项集出现的告警总次数；
支持度计算单元702，计算单个告警项集出现的告警次数与告警总次数的比值，将比值作为告警支持度；
频繁项集合单元703，用于将告警支持度不小于预设支持度阈值的告警项集集合成告警频繁项集。
如图8所示，在本发明实施例中，统计单元701具体包括：
单独扫描子单元801，用于单独扫描所有告警组，统计告警项集出现的第一告警次数；
合并扫描子单元802，用于扫描相邻时间段的两个告警组，统计由两个告警组中包含的告警项组成的告警项集出现的第二告警次数和所有告警项集出现的告警总次数。
在本发明实施例中，所述根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，具体包括：
根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，计算所述关联置信度的公式可表示为：
Figure BDA0001894174550000141
其中，cn为关联置信度，P(M)为告警项集M的告警支持度，P(N)为告警项N集的告警支持度，P(M∩N)为包含了告警事项集M与告警事项集N的告警项集的告警支持度；
若所述关联置信度大于预设的关联置信度阈值，则认为告警事项集M与N之间关联。
在本发明实施例中，所述根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩，具体为：
若所述告警项集之间满足所述关联规则，则将两个或两个以上告警项集收敛为一个中间告警项集，中间告警项集为符合所述关联规则的所述告警项集中告警支持度最高的一个。
本发明实施例中的告警关联合并装置，通过对告警项进行排列和分组，进而对告警项以及告警项之间的关联规则进行挖掘并将告警项进行合并，并优化了置信度的算法，可用于因网络故障导致的大规模网络故障的场景，减少冗余告警数量，降低对告警通知所用短信网关的压力，并能有效帮助在海量告警中定位根源告警信息，为快速恢复系统正常运行提供参考。
实施例三
如图9所示，在一个实施例中，提供了一种告警关联合并系统，本发明实施例提供的一种告警关联合并系统，包括：
告警监控终端901，用于监控设备发生的告警项，并将对应的告警数据发送至告警关联合并装置；
告警处理终端902，包括实施例二所述的告警关联合并装置，用于接收并处理告警数据，以合并和压缩关联告警项。
本发明实施例中的告警关联合并系统，通过对告警项进行排列和分组，进而对告警项以及告警项之间的关联规则进行挖掘并将告警项进行合并，并优化了置信度的算法，可用于因网络故障导致的大规模网络故障的场景，减少冗余告警数量，降低对告警通知所用短信网关的压力，并能有效帮助在海量告警中定位根源告警信息，为快速恢复系统正常运行提供参考。
实施例四
如图10所示，为本发明实施例提供的一种计算机设备的结构框图，本发明实施例提供的一种计算机设备，包括存储器1001、处理器1002、通信模块1003和用户接口1004。
存储器1001中存储有操作系统1005，用于处理各种基本系统服务和用于执行硬件相关任务的程序；还存储有应用软件1006，用于实现本发明实施例中的形体训练方法的各个步骤。
在本发明实施例中，存储器1001可以是高速随机存取存储器，诸如DRAM、SRAM、DDR、RAM、或者其他随机存取固态存储设备，或者非易失性存储器，诸如一个或多个硬盘存储设备、光盘存储设备、内存设备等。
在本发明实施例中，处理器1002可通过通信模块1003接收和发送数据以实现网络通信或者本地通信。
用户接口1004可以包括一个或多个输入设备1007，比如键盘、鼠标、触屏显示器，用户接口1004还可以包括一个或者多个输出设备1008，比如显示器、扩音器等。
实施例五
另外，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述实施例中的告警关联合并方法的步骤。
应该理解的是，虽然本发明各实施例的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，各实施例中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (5)

1.一种告警关联合并方法，其特征在于，所述方法包括如下步骤：
获取告警数据，将所述告警数据中的告警项按照告警时间顺序排列后得到告警序列，并按照预设的时间间隔将所述告警序列划分为两个或两个以上告警组；
根据所述告警组计算由至少一个所述告警项组成的告警项集的告警支持度，获得告警频繁项集，具体包括：扫描所有所述告警组，统计每个所述告警项集出现的告警次数和所有拥有相同数量所述告警项的所述告警项集出现的告警总次数，具体包括：单独扫描所有所述告警组，统计所述告警项集出现的第一告警次数；同时扫描相邻时间段的两个所述告警组，统计由两个所述告警组中包含的所述告警项组成的所述告警项集出现的第二告警次数和所有所述告警项集出现的告警总次数；计算单个所述告警项集出现的告警次数与所述告警总次数的比值，将所述比值作为告警支持度；将所述告警支持度不小于预设支持度阈值的所述告警项集集合成所述告警频繁项集；所述告警频繁项集中包含的所述告警项集的告警支持度不小于预设的支持度阈值；
根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，具体包括：根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，计算所述关联置信度的公式可表示为：
Figure FDA0003285202090000011
其中，cn为关联置信度，P(M)为告警项集M的告警支持度，P(N)为告警项N集的告警支持度，P(M∩N)为包含了告警事项集M与告警事项集N的告警项集的告警支持度；若所述关联置信度大于预设的关联置信度阈值，则认为告警事项集M与N之间关联；所述关联规则用于判断所述告警项之间是否关联；
根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩。
2.如权利要求1所述的告警关联合并方法，其特征在于，所述根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩，具体为：
若所述告警项集之间满足所述关联规则，则将两个或两个以上所述告警项集收敛为一个中间告警项集，所述中间告警项集为符合所述关联规则的所述告警项集中告警支持度最高的一个。
3.一种告警关联合并系统，其特征在于，包括：
告警监控终端，用于监控设备发生的告警项，并将对应的告警数据发送至告警关联合并装置；
告警处理终端，包括告警关联合并装置，用于接收并处理所述告警数据，以合并和压缩关联告警项；
所述告警关联合并装置，包括：
告警预处理模块，用于获取告警数据，将所述告警数据中的告警项按照告警时间顺序排列后，并按照预设的时间间隔划分为两个或两个以上告警组；
频繁项集创建模块，用于根据所述告警组计算由至少一个所述告警项组成的告警项集的告警支持度，获得告警频繁项集，所述告警频繁项集中包含的所述告警项集的告警支持度不小于预设的支持度阈值；
关联规则创建模块，用于根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，所述关联规则用于判断所述告警项之间是否关联；根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，以创建所述告警项集之间的关联规则，具体包括：根据所述告警支持度计算所述告警频繁项集中包含的所述告警项集之间的关联置信度，计算所述关联置信度的公式可表示为：
Figure FDA0003285202090000031
其中，cn为关联置信度，P(M)为告警项集M的告警支持度，P(N)为告警项N集的告警支持度，P(M∩N)为包含了告警事项集M与告警事项集N的告警项集的告警支持度；若所述关联置信度大于预设的关联置信度阈值，则认为告警事项集M与N之间关联；所述关联规则用于判断所述告警项之间是否关联；
告警压缩合并模块，用于根据所述关联规则将所述告警数据中具有关联关系的告警项集进行合并和压缩。
4.一种计算机设备，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行权利要求1至2中任一项权利要求所述告警关联合并方法的步骤。
5.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行权利要求1至2中任一项权利要求所述告警关联合并方法的步骤。
CN201811485714.0A 2018-12-06 2018-12-06 一种告警关联合并方法、装置、系统、设备和存储介质 Expired - Fee Related CN109412867B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811485714.0A CN109412867B (zh) 2018-12-06 2018-12-06 一种告警关联合并方法、装置、系统、设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811485714.0A CN109412867B (zh) 2018-12-06 2018-12-06 一种告警关联合并方法、装置、系统、设备和存储介质

Publications (2)

Publication Number Publication Date
CN109412867A CN109412867A (zh) 2019-03-01
CN109412867B true CN109412867B (zh) 2022-02-08

Family

ID=65457536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811485714.0A Expired - Fee Related CN109412867B (zh) 2018-12-06 2018-12-06 一种告警关联合并方法、装置、系统、设备和存储介质

Country Status (1)

Country Link
CN (1) CN109412867B (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109993661B (zh) * 2019-04-04 2020-04-17 凯泰铭科技（北京）有限公司 一种保险理赔数据分析方法和系统
CN110149223B (zh) * 2019-05-10 2022-04-15 中国联合网络通信集团有限公司 故障定位方法和设备
CN110245056A (zh) * 2019-06-10 2019-09-17 中国工商银行股份有限公司 运维告警信息处理方法及装置
CN110457185B (zh) * 2019-07-25 2024-01-23 北京奇艺世纪科技有限公司 一种异常报警方法、装置及电子设备
CN110503247A (zh) * 2019-08-01 2019-11-26 中国科学院深圳先进技术研究院 电信网络告警预测方法及系统
CN110730100B (zh) * 2019-10-21 2022-03-08 中国民航信息网络股份有限公司 一种告警信息处理方法、装置及服务器
CN111267908A (zh) * 2020-02-26 2020-06-12 深圳市中兴系统集成技术有限公司 一种应用于轨道交通的集中告警系统及告警处理方法
CN111431736B (zh) * 2020-02-27 2022-05-13 华为技术有限公司 告警关联规则生成方法和装置
CN113360350B (zh) * 2020-03-03 2024-06-18 中国移动通信集团贵州有限公司 定位网络设备根因告警的方法、装置、设备和存储介质
CN113708949A (zh) * 2020-05-22 2021-11-26 亚信科技（中国）有限公司 一种告警根因定位方法及装置
CN113839799B (zh) * 2020-06-24 2023-05-05 中国移动通信集团广东有限公司 一种告警关联规则挖掘方法及装置
CN112559569B (zh) * 2020-12-11 2023-07-21 广东电力通信科技有限公司 一种复合条件的告警规则处理方法
CN112735103A (zh) * 2020-12-16 2021-04-30 中盈优创资讯科技有限公司 一种告警关联识别方法、装置及设备
CN112596990B (zh) * 2020-12-24 2022-10-14 科华恒盛股份有限公司 告警风暴的处理方法、装置及终端设备
CN112699005A (zh) * 2020-12-30 2021-04-23 网宿科技股份有限公司 服务器硬件故障监控的方法、电子设备及存储介质
CN112818183B (zh) * 2021-02-03 2024-05-17 恒安嘉新（北京）科技股份公司 一种数据合成方法、装置、计算机设备和存储介质
CN112866933B (zh) * 2021-03-18 2022-10-14 厦门科灿信息技术有限公司 控制告警短信发送的方法、装置及终端
CN112714030B (zh) * 2021-03-24 2021-06-22 腾讯科技（深圳）有限公司 告警方法、装置、设备及计算机可读存储介质
CN113297042B (zh) * 2021-07-26 2021-10-22 云智慧（北京）科技有限公司 一种告警消息的处理方法、装置及设备
CN113536312A (zh) * 2021-07-28 2021-10-22 工银科技有限公司 告警信息处理方法及装置
CN113722192B (zh) * 2021-09-07 2023-10-27 北京奇艺世纪科技有限公司 一种告警分级方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247269A (zh) * 2008-03-05 2008-08-20 中兴通讯股份有限公司 一种自动发现判定冗余告警的关联规则的方法
CN101937447A (zh) * 2010-06-07 2011-01-05 华为技术有限公司 一种告警关联规则挖掘方法、规则挖掘引擎及系统
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN102111296A (zh) * 2011-01-10 2011-06-29 浪潮通信信息系统有限公司 基于最大频繁项集的通信告警关联规则挖掘方法
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040181685A1 (en) * 2002-04-01 2004-09-16 Navjot Marwaha System and method for handling distribution of alerts

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101247269A (zh) * 2008-03-05 2008-08-20 中兴通讯股份有限公司 一种自动发现判定冗余告警的关联规则的方法
CN101937447A (zh) * 2010-06-07 2011-01-05 华为技术有限公司 一种告警关联规则挖掘方法、规则挖掘引擎及系统
CN102111296A (zh) * 2011-01-10 2011-06-29 浪潮通信信息系统有限公司 基于最大频繁项集的通信告警关联规则挖掘方法
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN104361036A (zh) * 2014-10-29 2015-02-18 国家电网公司 告警事件关联规则挖掘方法

Also Published As

Publication number Publication date
CN109412867A (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN109412867B (zh) 一种告警关联合并方法、装置、系统、设备和存储介质
US10171335B2 (en) Analysis of site speed performance anomalies caused by server-side issues
US10263833B2 (en) Root cause investigation of site speed performance anomalies
JP6079243B2 (ja) 障害分析支援装置、障害分析支援方法、及びプログラム
CN111431736B (zh) 告警关联规则生成方法和装置
CN101997709A (zh) 一种根告警数据分析的方法及其系统
CN114461792A (zh) 告警事件关联方法、装置、电子设备、介质及程序产品
US10504026B2 (en) Statistical detection of site speed performance anomalies
CN111277274A (zh) 数据压缩方法、装置、设备及存储介质
US10810458B2 (en) Incremental automatic update of ranked neighbor lists based on k-th nearest neighbors
CN116804957A (zh) 一种系统监控方法及装置
CN113326064A (zh) 划分业务逻辑模块的方法、电子设备及存储介质
US11269706B2 (en) System and method for alarm correlation and aggregation in IT monitoring
CN110838940B (zh) 地下电缆巡检任务配置方法和装置
CN110765131B (zh) 货源数据的数据压缩方法、装置、计算机设备和存储介质
CN113434471A (zh) 数据处理方法、装置、设备及计算机存储介质
CN112612679A (zh) 系统运行状态监控方法、装置、计算机设备和存储介质
CN117170894A (zh) 基于实时计算的事件中心管理方法和装置
CN114338435B (zh) 网络变更监控方法、装置、计算机设备和存储介质
CN114185920A (zh) 日志数据处理方法、装置、计算机设备和存储介质
CN110489208B (zh) 虚拟机配置参数核查方法、系统、计算机设备和存储介质
CN114610560A (zh) 系统异常监控方法、装置和存储介质
CN106777981B (zh) 一种行为数据的校验方法及装置
CN111061712A (zh) 一种数据连接操作的处理方法及装置
CN117668042A (zh) 排行榜的数据对账方法、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20220208