CN110188025B - 一种告警日志的高效关联方法 - Google Patents

一种告警日志的高效关联方法 Download PDF

Info

Publication number
CN110188025B
CN110188025B CN201910471153.7A CN201910471153A CN110188025B CN 110188025 B CN110188025 B CN 110188025B CN 201910471153 A CN201910471153 A CN 201910471153A CN 110188025 B CN110188025 B CN 110188025B
Authority
CN
China
Prior art keywords
alpha
event
frequent
time period
obtaining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910471153.7A
Other languages
English (en)
Other versions
CN110188025A (zh
Inventor
李昂
赵峰
乔林
徐立波
王琼
姚峰
杨波
王怀宇
刘树吉
程周育
窦国贤
顾昊旻
巫乾军
朱亮
陆宏波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Global Energy Interconnection Research Institute
NARI Group Corp
Anhui Jiyuan Software Co Ltd
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Original Assignee
State Grid Corp of China SGCC
State Grid Information and Telecommunication Co Ltd
Global Energy Interconnection Research Institute
NARI Group Corp
Anhui Jiyuan Software Co Ltd
Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd
Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, State Grid Information and Telecommunication Co Ltd, Global Energy Interconnection Research Institute, NARI Group Corp, Anhui Jiyuan Software Co Ltd, Information and Telecommunication Branch of State Grid Liaoning Electric Power Co Ltd, Information and Telecommunication Branch of State Grid Gansu Electric Power Co Ltd filed Critical State Grid Corp of China SGCC
Priority to CN201910471153.7A priority Critical patent/CN110188025B/zh
Publication of CN110188025A publication Critical patent/CN110188025A/zh
Application granted granted Critical
Publication of CN110188025B publication Critical patent/CN110188025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/30—Monitoring
    • G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
    • G06F11/3466—Performance evaluation by tracing or monitoring
    • G06F11/3476—Data logging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Economics (AREA)
  • Computer Hardware Design (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Debugging And Monitoring (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本发明公开了一种告警日志的高效关联方法，其步骤包括：1、序列化告警信息日志，获得时间段‑事件集表；2、均分时间‑事件集表，改变数据结构，获得事件‑时间段集表；3、迭代计算频繁项集；4、推送重要度最高若干告警信息。本发明能高效地处理海量告警信息，推送引发告警风暴的告警条目，从而大大减少运维人员的工作负担，并且为分布式告警日志处理提供了可靠的方法。

Description

一种告警日志的高效关联方法
技术领域
本发明属于运维系统优化领域，具体地说是一种告警日志的高效关联方法。
背景技术
当前，处于数据大爆炸的时代，不同的公司都有自己的运维系统，这些运维系统负责维护并确保整个服务的高可用性，同时不断优化系统架构提升部署效率、优化资源利用率提高整体ROI。运维系统中最重要的环节就是告警的产生和推送，由于系统故障的特殊性，系统的某个模块发生错误，往往会产生风暴式的告警信息，这就对运维人员排查系统故障造成了极大的困难，运维人员的经验成为了提高排除故障效率的关键，这对于具有复杂IT基础架构，并且信息通信运维对象的规模和复杂度日益提高的企业造成了巨大的困扰。这些因素导致了过去互联网的IT基础架构运维经验已经无法满足现今的需求，必须针对现在企业架构的特点设计专有方法和技术。
现有的一些告警信息优化的方法，往往利用的传统的Apriori算法，不能够分布式处理的同时，还会产生数量级的数据，这对于告警日志规模越来越大的企业显然是不适用的。
发明内容
本发明为了克服现有技术存在的不足之处，提出一种告警日志的高效关联方法，以期能快速、有效、动态地关联日志中的各类事件，从而为运维人员高效排除系统故障提供可靠的技术支持。
本发明为解决技术问题采用如下技术方案：
本发明一种告警日志的高效关联方法，所述告警信息是由n条有时间信息的告警条目组成，记为I＝{I1,I2...,Ii,...,In}，其中，Ii表示第i条告警条目，且第i条告警条目由三个特征组成，分别为第i个时间特征ti，第i个事件特征ei和第i个紧急度pi，1≤i≤n；
定义
Figure GDA0003561640790000011
为时间段-事件集合，其中，
Figure GDA0003561640790000012
表示第k1个时间特征
Figure GDA0003561640790000013
至第k2个时间特征
Figure GDA0003561640790000014
之间的时间段
Figure GDA0003561640790000015
中出现的非重复事件集合，且
Figure GDA0003561640790000016
ey表示第y个事件特征，1≤kh≤n,1≤y＜n；
定义
Figure GDA0003561640790000017
为事件-时间段集合，其中，
Figure GDA0003561640790000018
表示第z个事件特征ez所出现的时间段，且
Figure GDA0003561640790000019
表示第kβ个时间特征
Figure GDA00035616407900000110
到第kβ+1个时间特征
Figure GDA00035616407900000111
之间的时间段；1≤y≤z＜n；
定义F＝{F1,F2,...,Fα,...,Fu}为频繁项集合，其中，Fα表示频繁α项集；其特点是，所述关联方法是按如下步骤进行：
步骤1、定义时间起始点为start，定义临时事件集合为temp，初始化i＝2，start＝1，temp＝{e1}；
步骤2、利用式(1)得到相邻两条日志条目的时间差Δti,i-1：
Δti,i-1＝ti-ti-1 (1)
步骤3、判断Δti,i-1≤Δt是否成立，若成立，则直接执行步骤4；否则，将temp赋值给
Figure GDA0003561640790000021
并令临时事件集合temp为空集，令start＝i-1后执行步骤4；其中，Δt表示所设定的时间差阈值；
步骤4、判断
Figure GDA0003561640790000022
是否成立，若成立，将第i个事件特征ei添加到temp后，执行步骤5；否则，直接执行步骤5；
步骤5、将i+1赋值给i后，判断i＞n是否成立，若成立，则执行步骤6；否则，返回步骤2顺序执行，从而获得时间段-事件集合
Figure GDA0003561640790000023
步骤6、均分所述时间段-事件集合
Figure GDA0003561640790000024
得到第一时间段-事件集合
Figure GDA0003561640790000025
和第二时间段-事件集合
Figure GDA0003561640790000026
其中
Figure GDA0003561640790000027
步骤7、定义候选α项集为Cα，定义Cα[d]为候选α项集Cα中第d个元素，且
Figure GDA0003561640790000028
为候选α项集Cα中第d个元素的第α项，初始化α＝1、Cα为空集、Fα为空集；
步骤8、定义变量为j，并初始化j＝1；
步骤9、判断
Figure GDA0003561640790000029
是否成立，若成立，则将第j个事件特征ej添加到Cα中，并执行步骤10；否则，直接执行步骤10；
步骤10、将j+1赋值给j后，判断j＞n是否成立，若成立，则执行步骤11；否则，返回步骤9，从而得到候选α项集Cα＝{e1,e2,....,ez}；
步骤11、定义变量为m，并初始化m＝1；
步骤12、对于第m个事件特征em，在第一时间段-事件集合
Figure GDA00035616407900000210
和第二时间段-事件集合
Figure GDA0003561640790000031
中分别查找第m个事件特征em所出现的时间段，记为
Figure GDA0003561640790000032
和
Figure GDA0003561640790000033
步骤13、将m+1赋值给m，判断m＞z是否成立，若成立，则执行步骤14；否则，返回步骤12；从而得到事件-时间段集合
Figure GDA0003561640790000034
步骤14、初始化d＝1；
步骤15、根据式(2)得到候选α项集Cα中第d个元素Cα[d]在第select时间段-事件集合
Figure GDA0003561640790000035
的支持度
Figure GDA0003561640790000036
Figure GDA0003561640790000037
式(2)中，
Figure GDA0003561640790000038
表示集合
Figure GDA0003561640790000039
的长度，即集合中时间段的个数；
Figure GDA00035616407900000310
为候选α项集Cα中第d个元素Cα[d]的第α项在第select时间段-事件集合
Figure GDA00035616407900000311
中所出现的时间段集合，其中，变量select∈{one,two}；
步骤16、根据(3)得到候选α项集Cα的第d个元素Cα[d]的总支持度sup(Cα[d])：
Figure GDA00035616407900000312
步骤17、判断α＝1是否成立，若成立，则执行步骤18；否则，执行步骤20；
步骤18、判断sup(Cα[d])≥Min_sup是否成立，若成立，则将Cα[d]加入Fα中，并执行步骤19；否则，直接执行步骤19；其中，Min_sup为所设定的最小支持度阈值；
步骤19、将d+1赋值给d，判断d＞z是否成立，若成立，则执行步骤20；否则，返回步骤18；从而得到频繁α项集Fα；
步骤20、根据式(4)得到第d个元素Cα[d]的缓存值Cache(Cα[d])：
Figure GDA00035616407900000313
步骤21、根据Apriori算法自连接规则，自连接频繁α项集Fα得到候选α+1项集Cα+1；
步骤22、初始化d＝1，初始化频繁α+1项集Fα+1为空集；定义
Figure GDA00035616407900000314
为候选α项集Cα中第d个元素Cα[d]除去最后一项
Figure GDA00035616407900000315
后的元素，即
Figure GDA00035616407900000316
步骤23、对于
Figure GDA00035616407900000317
的值进行判断：
若
Figure GDA00035616407900000318
则执行步骤24；
若
Figure GDA0003561640790000041
或{1,1}，则执行步骤25；
若
Figure GDA0003561640790000042
或{2,2}，则执行步骤26；
若
Figure GDA0003561640790000043
则执行步骤27；
若
Figure GDA0003561640790000044
则执行步骤28；
若
Figure GDA0003561640790000045
则执行步骤29；
步骤24、判断sup(Cα+1[d])≥Min_sup是否成立，若成立，则将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤29；
步骤25、判断
Figure GDA0003561640790000046
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤26、判断
Figure GDA0003561640790000047
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤27、判断
Figure GDA0003561640790000048
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤28、判断
Figure GDA0003561640790000049
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤29、判断Cα[d]是否是候选α+1项集Cα+1的最后一个元素，若是，则执行步骤30；否则，将d+1赋值给d，返回步骤23；从而得到频繁α+1项集Fα+1；
步骤30、判断频繁α+1项集Fα+1是否为空集，若成立，则执行步骤31；否则，将α+1赋值给α，返回步骤21；从而得到频繁集合F＝{F1,F2,...,Fα,...,Fu}；
步骤31、初始化s＝0，d＝1，α＝u；定义常量k0，并初始化k0＝1，记Fα[d]为频繁α项集Fα中第d个元素；
步骤32、判断Fα[d]是否是
Figure GDA00035616407900000410
的子集，若是，则执行步骤36；否则执行步骤33；
步骤33、判断Fα[d]是否是频繁α项集Fα中最后一个元素，若是，则执行步骤34；否则，将d+1赋值给d，返回步骤32；
步骤34、将α-1赋值给α，判断α＝0是否成立，若成立，则将
Figure GDA00035616407900000411
中全部事件作为结果输出，并执行步骤35；否则，初始化d＝1，返回步骤32；
步骤35、将s+1赋值给s，判断s+1＝n是否成立，若成立，则表示关联方法完成；否则，初始化d＝1，返回步骤32；
步骤36、根据Fα[d]中事件的紧急度特征，输出前top个紧急度特征最高的事件特征；其中，top为设定好的排名值。
与已有技术相比，本发明有益效果体现在：
1、本发明利用告警信息产生的特点，在保证运维人员及时正确发现和处理故障的前提下，通过划分时间段以及设立全局缓存值的技术手段，大幅度减少了计算量，为运维系统的高效运行提供了保证。
2、本发明所提出的方法不仅仅针对特定规模或者特定情境下的告警日志，只要系统日志条目之间存在关联关系，根据彼此之间关联性强弱，改变本文所设定的参数阈值，就可以做到日志条目的优化推送，应用广泛，使用方便。
3、本发明所提出的方法不要获得运维系统的全部信息，企业公司可以根据自身的隐私保护政策，只需提供本发明方法中少量相关特征就可以实现本方法，保护了企业公司的敏感信息，安全性强。
3、本发明所提出的方法不需要在企业系统架构上部署特殊构件，只需要在告警日志推送前对其进行预处理，就可以完成告警日志的关联，并推送给运维人员。减轻了部署成本，降低了应用难度。
具体实施方式
本实施例中，一种告警日志的高效关联方法，告警信息是由n条有时间信息的告警条目组成，记为I＝{I1,I2...,Ii,...,In}，假设现有国家电网IT基础架构某两天的告警中心产生的告警日志，每条告警条目的形式为：(2018/12/210：21，1.1.1.1检修公司酒泉分部7604，中)，共1816条；其中，Ii表示第i条告警条目，且第i条告警条目由三个特征组成，分别为第i个时间特征ti，第i个事件特征ei和第i个紧急度pi，1≤i≤n；比如上述示例条目的时间特征为(2018/12/210：21)，事件特征为(1.1.1.1检修公司酒泉分部7604)，紧急度为(中)；
定义
Figure GDA0003561640790000051
为时间段-事件集合，其中，
Figure GDA0003561640790000052
表示第k1个时间特征
Figure GDA0003561640790000053
至第k2个时间特征
Figure GDA0003561640790000054
之间，即时间段
Figure GDA0003561640790000055
中出现的非重复事件集合，记为
Figure GDA0003561640790000056
ey表示第y个事件特征，1≤kh≤n，1≤y＜n；比如
Figure GDA0003561640790000057
可以表示时间为(2018/12/210：21～2018/12/223：11)中发生的非重复事件(1.1.1.1检修公司酒泉分部7604，…)；
定义
Figure GDA0003561640790000061
为事件-时间段集合，其中，
Figure GDA0003561640790000062
表示第z个事件特征ez所出现的时间段，记为
Figure GDA0003561640790000063
表示第kβ个时间特征
Figure GDA0003561640790000064
到第kβ+1个时间特征
Figure GDA0003561640790000065
之间的时间段；1≤y≤z＜n；比如
Figure GDA0003561640790000066
可以表示事件(1.1.1.1检修公司酒泉分部7604)所出现的时间段(2018/12/210:21～2018/12/223：11，2018/12/38:31～2018/12/322：22，…)；
定义F＝{F1,F2,...,Fα,...,Fu}为频繁集合，其中，Fα表示频繁α项集；比如F2可以表示{[1.1.1.1检修公司酒泉分部7604,10.1.1.1,康乐县核心交换机A],[20.1.1.1泉州核心交换机B,21.1.1.1泉州核心交换机C],…},F2中每个元素,都由两个事件组成,意味着这两个事件频繁在一起发生；其特征是，关联方法是按如下步骤进行：
步骤1、定义时间起始点为start，定义临时事件集合为temp，初始化i＝2，start＝1，temp＝{e1}；
步骤2、利用式(1)得到相邻两条日志条目的时间差Δti,i-1：
Δti,i-1＝ti-ti-1 (1)
步骤3、判断Δti,i-1≤Δt是否成立，若成立，则直接执行步骤4；否则，将temp赋值给
Figure GDA0003561640790000067
并令临时事件集合temp为空集，令start＝i-1后执行步骤4；其中，Δt表示所设定的时间差阈值；即划分整个告警日志为若个时间段,当前后两条告警条目产生时间超过Δt时,则将后条告警条目划分到下一个时间段,在本实施实例中,Δt为1小时；
步骤4、判断
Figure GDA0003561640790000068
是否成立，若成立，将第i个事件特征ei添加到temp后，执行步骤5；否则，直接执行步骤5；确保temp集合中保存的事件是无重复的，在同一时间段内发生的事件只记录一次；
步骤5、将i+1赋值给i后，判断i＞n是否成立，若成立，则执行步骤6；否则，返回步骤2顺序执行，从而获得时间段-事件集合
Figure GDA0003561640790000069
比如此时已将2018/12/2～2018/12/3日的告警日志分成了4个时间段，每个时间段包含其时间段间发生的事件；
步骤6、均分所述时间段-事件集合
Figure GDA00035616407900000610
得到第一时间段-事件集合
Figure GDA00035616407900000611
和第二时间段-事件集合
Figure GDA00035616407900000612
其中
Figure GDA00035616407900000613
比如在本实施实例中，
Figure GDA00035616407900000614
包含前两个时间段，
Figure GDA00035616407900000615
包含后两个时间段；
步骤7、定义候选α项集为Cα，定义Cα[d]为候选α项集Cα中第d个元素，且
Figure GDA0003561640790000071
为候选α项集Cα中第d个元素的第α项，初始化α＝1、Cα为空集、Fα为空集；
步骤8、定义变量为j，并初始化j＝1；
步骤9、判断
Figure GDA0003561640790000072
是否成立，若成立，则将第j个事件特征ej添加到Cα中，并执行步骤10；否则，直接执行步骤10；
步骤10、将j+1赋值给j后，判断j＞n是否成立，若成立，则执行步骤11；否则，返回步骤9，从而得到候选α项集Cα＝{e1,e2,....,ez}；比如C1在本实施实例中为{1.1.1.1检修公司酒泉分部7604，10.1.1.1,康乐县核心交换机A，…},C1[1]即为1.1.1.1检修公司酒泉分部7604；
步骤11、定义变量为m，并初始化m＝1；
步骤12、对于第m个事件特征em，在第一时间段-事件集合
Figure GDA0003561640790000073
和第二时间段-事件集合
Figure GDA0003561640790000074
中分别查找第m个事件特征em所出现的时间段，记为
Figure GDA0003561640790000075
和
Figure GDA0003561640790000076
比如
Figure GDA0003561640790000077
表示的是事件(1.1.1.1检修公司酒泉分部7604)出现的时间段{(2018/12/210：21～2018/12/216：41),(2018/12/217：41～2018/12/223：20)}，
Figure GDA0003561640790000078
为空，因为事件(1.1.1.1检修公司酒泉分部7604)未在
Figure GDA0003561640790000079
中发生；
步骤13、将m+1赋值给m，判断m＞z是否成立，若成立，则执行步骤14；否则，返回步骤12；从而得到事件-时间段集合
Figure GDA00035616407900000710
步骤14、初始化d＝1；
步骤15、根据式(2)得到候选α项集Cα中第d个元素Cα[d]在第select时间段-事件集合
Figure GDA00035616407900000711
的支持度
Figure GDA00035616407900000712
Figure GDA00035616407900000713
式(2)中，
Figure GDA00035616407900000714
表示集合
Figure GDA00035616407900000715
的长度，即集合中时间段的个数；
Figure GDA00035616407900000716
为候选α项集Cα中第d个元素Cα[d]的第α项在第select时间段-事件集合
Figure GDA00035616407900000717
中所出现的时间段集合，其中，变量select∈{one,two}；比如
Figure GDA00035616407900000718
(1.1.1.1检修公司酒泉分部7604)在
Figure GDA0003561640790000081
中出现2次，所以支持度为2；
步骤16、根据(3)得到候选α项集Cα的第d个元素Cα[d]的总支持度sup(Cα[d])：
Figure GDA0003561640790000082
步骤17、判断α＝1是否成立，若成立，则执行步骤18；否则，执行步骤20；
步骤18、判断sup(Cα[d])≥Min_sup是否成立，若成立，则将Cα[d]加入Fα中，并执行步骤19；否则，直接执行步骤19；其中，Min_sup为所设定的最小支持度阈值；即将频繁出现的事件加入频繁α项集中，在本实施实例中Min_sup＝总日志大小*10％＝181；
步骤19、将d+1赋值给d，判断d＞z是否成立，若成立，则执行步骤20；否则，返回步骤18；从而得到频繁α项集Fα；
步骤20、根据式(4)得到第d个元素Cα[d]的缓存值Cache(Cα[d])：
Figure GDA0003561640790000083
比如对于事件(11.11.11.11内存溢出5604)，它在
Figure GDA0003561640790000084
支持度为120>181/2，在
Figure GDA0003561640790000085
中的支持度为15<181/2，所以它的Cache值为1；
步骤21、根据Apriori算法自连接规则，自连接频繁α项集Fα得到候选α+1项集Cα+1；比如对于频繁1项集中元素(11.11.11.11内存溢出5604)和(1.1.1.1内存溢出1302)，连接得到候选2项集的一个元素(11.11.11.11内存溢出5604，1.1.1.1内存溢出1302)；
步骤22、初始化d＝1，初始化频繁α+1项集Fα+1为空集；定义
Figure GDA0003561640790000086
为候选α项集Cα中第d个元素Cα[d]除去最后一项
Figure GDA0003561640790000087
后的元素，即
Figure GDA0003561640790000088
步骤23、对于
Figure GDA0003561640790000089
的值进行判断：
若
Figure GDA00035616407900000810
则执行步骤24；
若
Figure GDA00035616407900000811
或{1,1}，则执行步骤25；
若
Figure GDA00035616407900000812
或{2,2}，则执行步骤26；
若
Figure GDA00035616407900000813
则执行步骤27；
若
Figure GDA00035616407900000814
则执行步骤28；
若
Figure GDA0003561640790000091
则执行步骤29；
步骤24、判断sup(Cα+1[d])≥Min_sup是否成立，若成立，则将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤29；
步骤25、判断
Figure GDA0003561640790000092
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤26、判断
Figure GDA0003561640790000093
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤27、判断
Figure GDA0003561640790000094
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤28、判断
Figure GDA0003561640790000095
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；步骤23～28决定了单独事件或组合事件是否是频繁出现的，比如组合事件{(11.11.11.11内存溢出5604,1.1.1.1内存溢出1302)}在上述步骤中保留下来，那么表示它们两是频繁共同出现的；
步骤29、判断Cα[d]是否是候选α+1项集Cα+1的最后一个元素，若是，则执行步骤30；否则，将d+1赋值给d，返回步骤23；从而得到频繁α+1项集Fα+1；
步骤30、判断频繁α+1项集Fα+1是否为空集，若成立，则执行步骤31；否则，将α+1赋值给α，返回步骤21；从而得到频繁集合F＝{F1,F2,...,Fα,...,Fu}；从而得到频繁集合F＝{F1,F2,...,Fu}；当产生的频繁项集为空集时，那么不在重复执行上述循环；
步骤31、初始化s＝0，d＝1，α＝u；定义常量k0，并初始化k0＝1，记Fα[d]为频繁α项集Fα中第d个元素；
步骤32、判断Fα[d]是否是
Figure GDA0003561640790000096
的子集，若是，则执行步骤36；否则执行步骤33；例如，在本实施实例中，(11.11.11.11内存溢出5604,1.1.1.1内存溢出1302)是时间段(2018/12/210:21～2018/12/223：11)所含事件的子集，那么则执行步骤36；
步骤33、判断Fα[d]是否是频繁α项集Fα中最后一个元素，若是，则执行步骤34；否则，将d+1赋值给d，返回步骤32；即遍历完频繁α项集；
步骤34、将α-1赋值给α，判断α＝0是否成立，若成立，则将
Figure GDA0003561640790000097
中全部事件作为结果输出，并执行步骤35；否则，初始化d＝1，返回步骤32；即遍历完频繁项集合F；
步骤35、将s+1赋值给s，判断s+1＝n是否成立，若成立，则表示关联方法完成；否则，初始化d＝1，返回步骤32；即处理完所有告警条目；
步骤36、根据Fα[d]中事件的紧急度特征，输出前top个紧急度特征最高的事件特征；其中，top为设定好的排名值。在本实施实例中，事件(11.11.11.11内存溢出5604,1.1.1.1内存溢出1302，1.1.1.1检修公司酒泉分部1604，1.1.1.1主服务器无响应)是2018/12/2日所发生事件的子集，那么根据这四个事件的重要度，那么推送最重要的(1.1.1.1主服务器无响应)，因为它的重要度是(高)，其余三个事件重要度为(中)，这就完成了告警条目的优化，推送了引发海量告警的根本故障。

Claims (1)

1.一种告警日志的高效关联方法，所述告警信息是由n条有时间信息的告警条目组成，记为I＝{I1,I2...,Ii,...,In}，其中，Ii表示第i条告警条目，且第i条告警条目由三个特征组成，分别为第i个时间特征ti，第i个事件特征ei和第i个紧急度pi，1≤i≤n；
定义
Figure FDA0003561640780000011
为时间段-事件集合，其中，
Figure FDA0003561640780000012
表示第k1个时间特征
Figure FDA0003561640780000013
至第k2个时间特征
Figure FDA0003561640780000014
之间的时间段
Figure FDA0003561640780000015
中出现的非重复事件集合，且
Figure FDA0003561640780000016
ey表示第y个事件特征，1≤kh≤n,1≤y＜n；
定义
Figure FDA0003561640780000017
为事件-时间段集合，其中，
Figure FDA0003561640780000018
表示第z个事件特征ez所出现的时间段，且
Figure FDA0003561640780000019
Figure FDA00035616407800000110
表示第kβ个时间特征
Figure FDA00035616407800000111
到第kβ+1个时间特征
Figure FDA00035616407800000112
之间的时间段；1≤y≤z＜n；
定义F＝{F1,F2,...,Fα,...,Fu}为频繁项集合，其中，Fα表示频繁α项集；其特征是，所述关联方法是按如下步骤进行：
步骤1、定义时间起始点为start，定义临时事件集合为temp，初始化i＝2，start＝1，temp＝{e1}；
步骤2、利用式(1)得到相邻两条日志条目的时间差Δti,i-1：
Δti,i-1＝ti-ti-1 (1)
步骤3、判断Δti,i-1≤Δt是否成立，若成立，则直接执行步骤4；否则，将temp赋值给
Figure FDA00035616407800000113
并令临时事件集合temp为空集，令start＝i-1后执行步骤4；其中，Δt表示所设定的时间差阈值；
步骤4、判断
Figure FDA00035616407800000114
是否成立，若成立，将第i个事件特征ei添加到temp后，执行步骤5；否则，直接执行步骤5；
步骤5、将i+1赋值给i后，判断i＞n是否成立，若成立，则执行步骤6；否则，返回步骤2顺序执行，从而获得时间段-事件集合
Figure FDA00035616407800000115
步骤6、均分所述时间段-事件集合
Figure FDA00035616407800000116
得到第一时间段-事件集合
Figure FDA00035616407800000117
和第二时间段-事件集合
Figure FDA00035616407800000118
其中
Figure FDA00035616407800000119
Figure FDA00035616407800000120
步骤7、定义候选α项集为Cα，定义Cα[d]为候选α项集Cα中第d个元素，且
Figure FDA00035616407800000121
Figure FDA00035616407800000122
为候选α项集Cα中第d个元素的第α项，初始化α＝1、Cα为空集、Fα为空集；
步骤8、定义变量为j，并初始化j＝1；
步骤9、判断
Figure FDA0003561640780000021
是否成立，若成立，则将第j个事件特征ej添加到Cα中，并执行步骤10；否则，直接执行步骤10；
步骤10、将j+1赋值给j后，判断j＞n是否成立，若成立，则执行步骤11；否则，返回步骤9，从而得到候选α项集Cα＝{e1,e2,....,ez}；
步骤11、定义变量为m，并初始化m＝1；
步骤12、对于第m个事件特征em，在第一时间段-事件集合
Figure FDA0003561640780000022
和第二时间段-事件集合
Figure FDA0003561640780000023
中分别查找第m个事件特征em所出现的时间段，记为
Figure FDA0003561640780000024
和
Figure FDA0003561640780000025
步骤13、将m+1赋值给m，判断m＞z是否成立，若成立，则执行步骤14；否则，返回步骤12；从而得到事件-时间段集合
Figure FDA0003561640780000026
步骤14、初始化d＝1；
步骤15、根据式(2)得到候选α项集Cα中第d个元素Cα[d]在第select时间段-事件集合
Figure FDA0003561640780000027
的支持度
Figure FDA0003561640780000028
Figure FDA0003561640780000029
式(2)中，
Figure FDA00035616407800000210
表示集合
Figure FDA00035616407800000211
的长度，即集合中时间段的个数；
Figure FDA00035616407800000212
为候选α项集Cα中第d个元素Cα[d]的第α项在第select时间段-事件集合
Figure FDA00035616407800000213
中所出现的时间段集合，其中，变量select∈{one,two}；
步骤16、根据(3)得到候选α项集Cα的第d个元素Cα[d]的总支持度sup(Cα[d])：
Figure FDA00035616407800000214
步骤17、判断α＝1是否成立，若成立，则执行步骤18；否则，执行步骤20；
步骤18、判断sup(Cα[d])≥Min_sup是否成立，若成立，则将Cα[d]加入Fα中，并执行步骤19；否则，直接执行步骤19；其中，Min_sup为所设定的最小支持度阈值；
步骤19、将d+1赋值给d，判断d＞z是否成立，若成立，则执行步骤20；否则，返回步骤18；从而得到频繁α项集Fα；
步骤20、根据式(4)得到第d个元素Cα[d]的缓存值Cache(Cα[d])：
Figure FDA0003561640780000031
步骤21、根据Apriori算法自连接规则，自连接频繁α项集Fα得到候选α+1项集Cα+1；
步骤22、初始化d＝1，初始化频繁α+1项集Fα+1为空集；定义
Figure FDA0003561640780000032
为候选α项集Cα中第d个元素Cα[d]除去最后一项
Figure FDA0003561640780000033
后的元素，即
Figure FDA0003561640780000034
步骤23、对于
Figure FDA0003561640780000035
的值进行判断：
若
Figure FDA0003561640780000036
则执行步骤24；
若
Figure FDA0003561640780000037
或{1,1}，则执行步骤25；
若
Figure FDA0003561640780000038
或{2,2}，则执行步骤26；
若
Figure FDA0003561640780000039
则执行步骤27；
若
Figure FDA00035616407800000310
则执行步骤28；
若
Figure FDA00035616407800000311
则执行步骤29；
步骤24、判断sup(Cα+1[d])≥Min_sup是否成立，若成立，则将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤29；
步骤25、判断
Figure FDA00035616407800000312
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤26、判断
Figure FDA00035616407800000313
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤27、判断
Figure FDA00035616407800000314
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤28、判断
Figure FDA00035616407800000315
是否成立，若成立，将Cα+1[d]加入频繁α+1项集Fα+1中，并执行步骤29；否则，执行步骤24；
步骤29、判断Cα[d]是否是候选α+1项集Cα+1的最后一个元素，若是，则执行步骤30；否则，将d+1赋值给d，返回步骤23；从而得到频繁α+1项集Fα+1；
步骤30、判断频繁α+1项集Fα+1是否为空集，若成立，则执行步骤31；否则，将α+1赋值给α，返回步骤21；从而得到频繁集合F＝{F1,F2,...,Fα,...,Fu}；
步骤31、初始化s＝0，d＝1，α＝u；定义常量k0，并初始化k0＝1，记Fα[d]为频繁α项集Fα中第d个元素；
步骤32、判断Fα[d]是否是
Figure FDA0003561640780000041
的子集，若是，则执行步骤36；否则执行步骤33；
步骤33、判断Fα[d]是否是频繁α项集Fα中最后一个元素，若是，则执行步骤34；否则，将d+1赋值给d，返回步骤32；
步骤34、将α-1赋值给α，判断α＝0是否成立，若成立，则将
Figure FDA0003561640780000042
中全部事件作为结果输出，并执行步骤35；否则，初始化d＝1，返回步骤32；
步骤35、将s+1赋值给s，判断s+1＝n是否成立，若成立，则表示关联方法完成；否则，初始化d＝1，返回步骤32；
步骤36、根据Fα[d]中事件的紧急度特征，输出前top个紧急度特征最高的事件特征；其中，top为设定好的排名值。
CN201910471153.7A 2019-05-31 2019-05-31 一种告警日志的高效关联方法 Active CN110188025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910471153.7A CN110188025B (zh) 2019-05-31 2019-05-31 一种告警日志的高效关联方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910471153.7A CN110188025B (zh) 2019-05-31 2019-05-31 一种告警日志的高效关联方法

Publications (2)

Publication Number Publication Date
CN110188025A CN110188025A (zh) 2019-08-30
CN110188025B true CN110188025B (zh) 2022-05-10

Family

ID=67719508

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910471153.7A Active CN110188025B (zh) 2019-05-31 2019-05-31 一种告警日志的高效关联方法

Country Status (1)

Country Link
CN (1) CN110188025B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111726248A (zh) * 2020-05-29 2020-09-29 北京宝兰德软件股份有限公司 一种告警根因定位方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278998B1 (en) * 1999-02-16 2001-08-21 Lucent Technologies, Inc. Data mining using cyclic association rules
CN101937447A (zh) * 2010-06-07 2011-01-05 华为技术有限公司 一种告警关联规则挖掘方法、规则挖掘引擎及系统
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN107835087A (zh) * 2017-09-14 2018-03-23 北京科东电力控制系统有限责任公司 一种基于频繁模式挖掘的安全设备告警规则自动提取方法
CN109189736A (zh) * 2018-08-01 2019-01-11 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109597836A (zh) * 2018-11-29 2019-04-09 武汉大学 一种基于加权矩阵的通信设备告警关联规则挖掘方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6278998B1 (en) * 1999-02-16 2001-08-21 Lucent Technologies, Inc. Data mining using cyclic association rules
CN101937447A (zh) * 2010-06-07 2011-01-05 华为技术有限公司 一种告警关联规则挖掘方法、规则挖掘引擎及系统
CN102098175A (zh) * 2011-01-26 2011-06-15 浪潮通信信息系统有限公司 一种移动互联网告警关联规则获取方法
CN107835087A (zh) * 2017-09-14 2018-03-23 北京科东电力控制系统有限责任公司 一种基于频繁模式挖掘的安全设备告警规则自动提取方法
CN109189736A (zh) * 2018-08-01 2019-01-11 中国联合网络通信集团有限公司 一种告警关联规则的生成方法和装置
CN109597836A (zh) * 2018-11-29 2019-04-09 武汉大学 一种基于加权矩阵的通信设备告警关联规则挖掘方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于Apriori算法的时序关联关系数据挖掘装置的实现;国悦婷等;《计算机与数字工程》;20180220(第02期);全文 *
通信设备告警关联规则挖掘探索――Apriori算法的应用;吴广伟;《价值工程》;20130408(第10期);全文 *

Also Published As

Publication number Publication date
CN110188025A (zh) 2019-08-30

Similar Documents

Publication Publication Date Title
CN108197486A (zh) 大数据脱敏方法、系统、计算机可读介质及设备
CN103902407A (zh) 一种虚拟机恢复方法及服务器
CN110188025B (zh) 一种告警日志的高效关联方法
CN112990583B (zh) 一种数据预测模型的入模特征确定方法及设备
CN117595488A (zh) 一种基于负荷动态匹配的电力调度监控方法及系统
WO2016201812A1 (zh) 告警的方法及装置
Udeh et al. Autoregressive modeling of utility customer outages with deep neural networks
JPH11346438A (ja) 電力需要量予測方法
CN111767324B (zh) 一种智能关联的自适应数据分析方法及装置
Ismail et al. Principal component regression with artificial neural network to improve prediction of electricity demand.
CN117891580B (zh) 一种基于大数据的建筑工程咨询分配方法及系统
CN116226139B (zh) 一种适用大规模海洋数据的分布式存储和处理方法及系统
CN109525437B (zh) 配电网通信节点恢复方法和系统
CN108427742B (zh) 一种基于低秩矩阵的配电网可靠性数据修复方法及系统
CN107703884B (zh) 一种数控机床可用性改进方法及装置
JP5894773B2 (ja) リスク評価システム、その方法及びそのプログラム
CN115809853A (zh) 一种企业业务流程的配置优化方法、系统及存储介质
CN109857590B (zh) 一种电力调度中心的数据备份系统
CN115828901A (zh) 敏感信息识别方法、装置、电子设备及存储介质
CN111899119B (zh) 一种面向燃煤电厂的智能报警抑制方法及系统
CN114021793A (zh) 洪水预测方法及电子设备
CN113822702B (zh) 突发事件下的行业间用电量需求关联分析系统及方法
CN113743746B (zh) 模型训练方法、事件分派处理方法、设备及介质
WO2024189782A1 (ja) 処理装置、処理方法およびプログラム
CN118467991B (zh) 新能源电力系统关键环节辨识方法、系统、介质和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant