CN113986657A - 告警事件的处理方法及处理装置 - Google Patents
告警事件的处理方法及处理装置 Download PDFInfo
- Publication number
- CN113986657A CN113986657A CN202111204775.7A CN202111204775A CN113986657A CN 113986657 A CN113986657 A CN 113986657A CN 202111204775 A CN202111204775 A CN 202111204775A CN 113986657 A CN113986657 A CN 113986657A
- Authority
- CN
- China
- Prior art keywords
- alarm event
- alarm
- information
- importance
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 title claims abstract description 29
- 238000003672 processing method Methods 0.000 title claims description 16
- 238000000034 method Methods 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 21
- 238000005259 measurement Methods 0.000 claims abstract description 18
- 239000013598 vector Substances 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 9
- 239000003550 marker Substances 0.000 claims description 6
- 238000004140 cleaning Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 3
- 238000012423 maintenance Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000004590 computer program Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000000903 blocking effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 239000013307 optical fiber Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000007418 data mining Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/3065—Monitoring arrangements determined by the means or processing involved in reporting the monitored data
- G06F11/3072—Monitoring arrangements determined by the means or processing involved in reporting the monitored data where the reporting involves data filtering, e.g. pattern matching, time or event triggered, adaptive or policy-based reporting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/216—Parsing using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/284—Lexical analysis, e.g. tokenisation or collocates
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Probability & Statistics with Applications (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Quality & Reliability (AREA)
- Alarm Systems (AREA)
Abstract
公开了一种告警事件的处理方法和装置。所述方法包括:将实时接收到的告警事件进行预处理,以获得标记序列,标记序列由告警事件中的关键词组成;根据标记序列和历史告警事件分别计算出告警事件的信息量大小的度量值和重要性的度量值;基于告警事件的信息量大小的度量值和重要性的度量值计算出告警事件的信息熵;只在告警事件的信息熵大于设定阈值时将告警事件发送出去。本实施例利用自然语言文本处理的一些方法实现预处理,结合历史告警事件计算实时接收到的告警事件的信息量大小和重要性的度量值并据此得到告警事件的信息熵,以达到更准确地区分告警事件的目的,并将其中重要的告警事件发送的目的地。
Description
技术领域
本公开涉及告警处理领域,具体而言,涉及一种告警事件的处理方法及处理装置。
背景技术
在使用云服务的过程中,系统的可观测能力是不可缺少的一环。当被观测系统发生问题或者变更时,则对应的变换会形成一条条的告警事件通知给用户。而由于系统的规模化、复杂化以及告警的重复配置化,导致告警事件中存在大量的重复、冗余、低效和无效的事件,重要的事件往往隐藏在这些大量的低效和无效事件中。这给运维人员带来很多干扰。因此,去除大量的重复、低效和无效的告警事件使得重要的告警可以被更多的关注到,是一件具备很大应用价值的事情。
发明内容
有鉴于此,本公开的目的是提供一种告警事件的处理方法及处理装置,以去除大量的重复、低效和无效的告警事件从而使得重要的告警可以被更多的关注到。
第一方面,本公开实施例提供一种告警事件的处理方法,包括:
对实时收到的告警事件进行预处理,以获得标记序列,所述标记序列由所述告警事件中的关键词组成;
根据所述标记序列和历史告警事件分别计算出所述告警事件的信息量大小的度量值和重要性的度量值;
基于所述告警事件的信息量大小的度量值和重要性的度量值计算出所述告警事件的信息熵;
只在所述告警事件的信息熵大于设定阈值时将所述告警事件发送出去。
可选地,所述根据所述标记序列和历史告警事件计算出所述告警事件的重要性的度量值包括:
根据所述标记序列中的各个关键词在所述历史告警事件出现的频率和在所述告警事件出现的频率获得所述告警事件的重要性的度量值。
可选地,所述根据所述标记序列和历史告警事件计算出所述告警事件的信息量大小的度量值包括:
计算出所述标记序列中的各个关键词在所述历史告警事件中出现的事件数量和所述历史告警事件的事件总量计算出所述告警事件中的各个关键词的概率值;以及
根据所述标记序列中的各个关键词的概率值获得所述告警事件的信息量大小的度量值。
可选地,采用所述标记序列中的各个关键词的TF-IDF值组成的第一向量作为所述告警事件的重要性的度量值。
可选地,所述根据所述标记序列和历史告警事件计算出所述告警事件的信息量大小的度量值包括:采用所述标记序列中的各个关键词的概率值对数的负值组成的第二向量作为所述告警事件的信息量大小的度量值。
可选地,基于所述告警事件的信息量大小的度量值和重要性的度量值计算出所述告警事件的信息熵包括:
将所述第一向量和第二向量的乘积映射到设定的数值区间,并将最终的映射值作为所述告警事件的信息熵。
可选地,采用以下函数中的一种将所述第一向量和第二向量的乘积映射到设定的数值区间:sigmod函数、归一化函数、tanh函数、relu函数。
可选地,所述预处理包括以下处理中的一个或几项:对告警事件进行清洗、分词、过滤无意义词、词型还原、关键词抽取。
可选地,还包括:根据预设置的过滤词或优先词调整所述告警事件的信息熵。
可选地,还包括:根据预设置的优先词检索所述标记序列,如果所述标记序列包括预设置的优先词,则将所述告警事件直接发送出去。
第二方面,本公开实施例提供一种告警事件的处理装置,包括:
预处理模块,用于对实时收到的告警事件进行预处理,以获得标记序列,所述标记序列由所述告警事件中的关键词组成;
信息熵计算模块,用于根据所述标记序列和历史告警事件分别计算出所述告警事件的信息量大小的度量值和重要性的度量值,并基于所述告警事件的信息量大小的度量值和重要性的度量值计算出所述告警事件的信息熵;
告警输出模块,用于只在所述告警事件的信息熵大于设定阈值时将所述告警事件发送出去。
第三方面,本公开实施例提供一种电子设备,包括存储器和处理器,所述存储器还存储有可由所述处理器执行的计算机指令,所述计算机指令被执行时,实现上述任一项所述的处理方法。
第四方面,本公开实施例提供一种计算机可读介质,所述计算机可读介质存储有可由电子设备执行的计算机指令,所述计算机指令被执行时,实现上述任一项所述的处理方法。
本公开实施例提供的告警事件的处理方法,利用自然语言文本处理的一些方法实现预处理,结合历史告警事件计算实时接收到的告警事件的信息量大小和重要性的度量值并据此得到告警事件的信息熵,以达到更准确地区分告警事件的目的,并将其中重要的告警事件发送到目的地。进一步地,在计算实时接收到的告警事件的信息量大小和重要性的度量值时,基于词频统计值和事件概率统计值进行计算。
附图说明
通过参考以下附图对本公开实施例的描述,本公开的上述以及其它目的、特征和优点将更为清楚,在附图中:
图1是云服务的硬件部署示意图;
图2是一个应用系统、告警系统和告警展示系统的交互关系示意图;
图3是本公开一实施例提供的告警事件的处理方法的流程图;
图4是本公开另一实施例提供的告警事件的处理方法的流程图
图5是本公开一实施例提供的告警事件的处理装置的流程图;
图6示出了用于实施本公开实施例的电子设备的结构图。
具体实施方式
以下基于实施例对本公开进行描述,但是本公开并不仅仅限于这些实施例。在下文对本公开的细节描述中,详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本公开。为了避免混淆本公开的实质,公知的方法、过程、流程没有详细叙述。另外附图不一定是按比例绘制的。
缩略语和关键术语定义
告警事件:包括0-1事件和指标事件。0-1事件往往有系统的硬逻辑产生,如机器重启,数据库down机等。指标事件则是通过指标设定的告警规则产生,例如cpu大于80%。
故障定位和处理:是指运维人员接收到告警事件之后,将问题定位到具体维度(例如哪个地方、哪个用户)中的元素出现了异常,从而可以帮助运维人员快速定位到异常元素,进行恢复、重启等决策类操作。
信息量:信息论中,度量每条消息所包含的信息多少。
信息熵:信息论中,熵是接受的每条消息中包含的信息的平均值,又被称为信息熵、信源熵、平均自信息量,可以被理解为不确定性的度量,熵越大,信源的分布越随机。
TF-IDF:TF-IDF(term frequency–inverse document frequency)是一种用于信息检索与数据挖掘的常用加权技术,常用于挖掘文章中的关键词,而且算法简单高效,常被工业用于最开始的文本数据清洗。TF-IDF有两层意思,一层是"词频"(Term Frequency,缩写为TF),另一层是"逆文档频率"(Inverse Document Frequency,缩写为IDF)。
词型还原:是文本预处理中的重要部分,与词干提取(stemming)很相似。简单说来,词型还原就是去掉单词的词缀,提取单词的主干部分,通常提取后的单词会是字典中的单词,不同于词干提取(stemming),提取后的单词不一定会出现在单词中。
图1是云服务的硬件部署示意图。如图上所示,部署图100包括经由网络101联通的终端103和服务器集群102。
网络101为基于交换信号实现的各种通信技术之一或多种通信技术的组合,包括但不限于采用电和/或光传导线缆的有线技术,以及采用红外、射频和/或其它形式的无线技术。在不同的应用场景下,网络101可以是互联网、广域网或局域网,可以是有线网络或无线网络,例如网络101为公司内部的局域网。
服务器集群102由多个物理服务器构成。终端103可以是智能手机、平板电脑、笔记本电脑、台式计算机等电子设备。服务器集群102上部署各种应用系统,终端103可以经由网络101获取这些应用系统提供的服务。
图2是一个应用系统、告警系统和告警展示系统的交互关系示意图。如图上所示,至少一个应用系统101,用于产生告警事件,并将告警事件发送给告警系统202。在图上,每个应用系统101包含一个告警接口,即通过调用告警接口完成产生告警事件,并将告警事件发送给告警系统202的任务。当然,也存在其他方法收集告警事件,例如,在每个应用系统所在的服务器上安装一个告警采集器,定期产生告警事件,并将告警事件发送给告警系统202。告警系统202接收来自各个应用系统101的告警事件,对告警事件进行区分,将其中的冗余、重复、低效和无效的告警事件过滤,将重要的告警事件发送给告警展示系统203。
结合图1所示,应用系统、告警系统和告警展示系统可部署在服务器集群102中的一台或多台服务器上。运维人员可通过终端103打开告警展示系统以查看每条告警事件,当应用系统出现系统故障时,运维人员能够及时地查看到对应的告警事件。通过告警事件,运维人员能够及时定位和解决问题,以避免在系统故障产生很久以后,甚至在出现重大损失时才看到告警事件。但在此过程中,由于告警系统承担着告警过滤的重要任务,因此告警系统对于告警过滤的精准程度直接影响运维人员的工作成效,无效或低效的告警事件过多将导致运维人员无法及时关注到重要的告警事件。
因此,为了提升告警系统对于告警过滤的精准程度,本公开实施例提供一种告警事件的处理方法。图3是该处理方法的流程图。如图上所示,包括以下步骤。
在步骤S301中,对实时收到的告警事件进行预处理,以获得标记序列。
基于图2,应用系统201将各种告警事件实时发送给告警系统。其中,告警事件为文本形式,但不限于某种语言。像“服务器server1宕机”、“服务器server2受到网络攻击”、“数据库database1连接失败”等均是告警事件。
根据步骤S301,告警系统对实时收到的告警进行预处理,并通过预处理得到标记序列,标记序列由告警事件中的关键词组成。预处理包括且不限于以下步骤。第一步骤为对告警事件进行清洗,包括英文字符的大小写统一为小写、用替代词替换特殊符号、表情符。第二步骤是分词,分词是指采用诸如词典匹配、统计和深度学习模型等方法将汉字序列切分成一个个单独的词。例如,告警事件“服务器server1宕机”,经过分词操作后,变为“服务”、“服务器”、“server1”、“宕机”四个词。第三步骤是过滤无意义词。可以事先设定策略,然后根据策略确定并过滤无意义词。例如针对词语中存在的“的”、“了”这样的助词、作为定语的一些形容词,进行过滤操作。再例如,对英文中的“to”,“a”进行过滤操作。第四步骤为词型还原。这一步主要是针对英文中存在比较多的单复数、不同词结构做还原,例如,将containers,还原为container。第五步骤是关键词抽取,关键词抽取的目的是从多个词中抽取出能够代表告警事件的中心主旨的关键性的词。例如对于通过第三步骤得到的“服务”、“服务器”、“server1”、“宕机”四个词,通过关键词抽取,得到“server1”和“宕机”两个词,并由这两个词组成标记序列。但也可以直接在告警事件上执行关键词抽取,即例如,对于“服务器server1宕机”,通过自然语言处理模型从中抽取出作为关键词的词“server1”和“宕机”。应当注意,虽然上文用“第一”和“第二”这样的序数词表征各个步骤,但实际上这些步骤的执行顺序是可以调整的。
此外,在计算机处理中,对于预处理得到的标记序列,一般按照hash算法将其存储为hash结构,以便于后续统计每个词的词频信息。
在步骤S302中,根据标记序列和历史告警事件计算出告警事件的信息量大小的度量值。
在步骤S303中,根据标记序列和历史告警事件分别计算出告警事件的重要性的度量值。
继续基于图2,告警系统可提前设定告警事件的信息量大小的度量值和告警事件的重要性的度量值的计算方法,从而在步骤S302和S303根据设定的计算方法分别计算出告警事件的信息量大小的度量值和重要性的度量值。
应当注意,在设定的计算方法中,须结合历史告警事件来得到信息量大小和重要性的度量值。并且,重要性大小的度量值从词维度和事件维度进行计算,信息量的度量值是从事件维度进行计算的。
在一些实施例中,对于重要性的度量值,根据标记序列中的各个关键词在历史告警事件出现的频率和在原告警事件出现的频率获得告警事件的重要性的度量值,具体地说,首先计算标记序列中的各个关键词在历史告警事件出现的频率,然后计算标记序列中的各个关键词在原告警事件中出现的频率,最后基于各个关键词在历史告警事件出现的频率和各个关键词在告警事件出现的频率获得告警事件的重要性的度量值。
在一些实施例中,从词维度度量告警事件的重要性基于以下理念:如果一个词在历史告警事件出现的频率较低,而在告警事件中出现的频率较高,则说明这个词具有较强的区分度,因此其重要性较高,否则说明这个词的重要性较低。基于这个理念,设置满足以下条件的公式:词的重要性与该词在历史告警事件出现的频率成反比,与该词在告警事件中出现的频率成正比。
在一些实施例中,对于信息量大小的度量值,根据标记序列中的各个关键词在历史告警事件中出现的事件数量和历史告警事件的事件总量计算出告警事件的概率值,然后根据标记序列中的各个关键词的概率值获得告警事件的信息量大小的度量值。例如,关键词“server1”在500条告警事件中出现过,而历史告警事件为10000条,则关键词“server1”对应的概率值为0.05,而关键词“宕机”在1000条告警事件中出现过,则关键词“宕机”对应的概率值为0.1,然后根据0.05和0.1得到告警事件“server1宕机”的信息量大小的度量值。
应当理解,本实施例所指的历史告警事件优选为最近一个时段的历史告警事件,例如告警系统在实时收到一个告警事件之后,采用该告警事件之前的一个月内的所有告警事件作为历史事件,结合该告警事件计算该告警事件的信息量大小和重要性的度量值。
此外,还可离线计算多个关键词的信息量大小和重要性的度量值,然后,在线上时直接采用相应关键词的信息量大小和重要性的度量值,以此避免在线上进行海量计算。举例说明,离线计算出“宕机”这个关键词的信息量大小和重要性的度量值,然后在线上在本步骤中直接使用“宕机”这个关键词的信息量大小和重要性的度量值。为了避免离线计算结果“过期”,还可以定期执行离线计算以基于最新的历史告警事件得到多个关键词的信息量大小和重要性的度量值。
在步骤S304中,基于告警事件的信息量大小的度量值和重要性的度量值计算出告警事件的信息熵。
继续基于图2,告警系统可提前设定告警事件的信息熵的计算方法,从而在本步骤中根据设定的计算方法分别计算出告警事件的信息熵。
在步骤S305中,判断告警事件的信息熵大于设定阈值,如果是,则执行步骤S306。
在步骤S306中,只在告警事件的信息熵大于设定阈值时将告警事件发送出去。
继续基于图2,步骤S305和S306阐明告警系统将哪些告警事件发送给告警展示系统。通过之前的步骤,对于实时接收的告警事件得到了信息熵,告警系统将信息熵小于或等于设定阈值的告警事件阻塞下来不发送给告警展示系统,而将信息熵大于设定阈值的告警事件发送给告警展示系统。
本实施例基于自然语言文本处理方法实现预处理、利用信息熵度量事件携带的信息量和重要性以及结合历史告警事件计算实时收到的告警事件的信息熵,以达到更准确地区分告警事件,将其中的冗余、重复、低效和无效的告警事件阻塞,而将重要的告警事件发送的目的。
在一些实施例中,根据各个关键词在历史告警事件中的分布情况,提炼出知识点,并将知识点应用于未来的告警过滤,从而进一步提升系统能力。例如,对于各个关键词在历史告警事件的分布情况不断地将出现频率较高的关键词充实到词库中,词库可用于后续的告警事件的预处理。
在一些实施例,上述方法还包括配置步骤。例如设置优先级,根据优先级控制延迟度,即例如优先级较高的告警事件实时处理,优先级较低的告警事件批量处理,举例说明,对于一些常规的告警事件,将其优先级设置得较低。
进一步地,还可以根据各个关键词在历史告警事件中出现的频率和/或告警事件在历史告警事件中出现的概率设置优先级。例如,设置过滤词和优先词,如果标记序列中包含过滤词,则对应的告警事件不经由上述步骤的处理而是直接阻塞在告警系统,等候批量处理或不处理,或者,对应的告警事件依旧经过上述步骤的处理,但是在得到告警事件的信息熵之后,根据过滤词调整该告警事件的信息熵。同理,如果标记序列中包含优先词,则对应的告警事件不经过上述步骤的处理而是直接发送给告警展示系统,或者对应的告警事件依旧经过上述步骤的处理,但是在得到该告警事件的信息熵之后,根据优先词调整告警事件的信息熵。还有一种方法是,在计算出每个关键词的信息量大小和重要性的度量值后,结合每个关键词的权重算出最终的告警事件的信息量大小和重要性的度量值,每个关键词如果属于优先词之外的关键词,则得到一个默认的权重,而优先词则得到一个较高的权重,从而通过优先词增大告警事件的信息熵。
图4是本公开另一实施例提供的告警事件的处理方法的流程图,具体包括以下步骤。
在步骤S401中,对实时收到的告警事件进行预处理,以获得标记序列。
在步骤S402中,根据标记序列和历史告警事件获得每个关键词的TF-IDF值,以获得第一向量。
在步骤S403中,根据标记序列和历史告警事件计算标记序列中的每个关键词出现的概率,并基于每个关键词出现的概率获得第二向量。
在步骤S404中,基于第一向量和第二向量获得告警事件的信息熵。
在步骤S405中,判断告警事件的信息熵大于设定阈值,如果是,则执行步骤S406。
在步骤S406中,只在告警事件的信息熵大于设定阈值时将告警事件发送出去。
在本实施例中,步骤S401、S405和S406和上一实施例的步骤S301、S305和S306相同,这里就不再详细介绍。步骤S402通过TD-IDF算法计算标记序列中的每个关键词的TD-IDF值,并据此得到一个w向量。步骤S403统计根据标记序列中的各个关键词在历史告警事件中出现的事件数量和历史告警事件的事件总量计算出告警事件的概率值,然后根据标记序列中的各个关键词的概率值获得告警事件的信息量大小的度量值。其中,所述根据标记序列中的各个关键词的概率值获得告警事件的信息量大小的度量值可以是:通过公式-log(p)计算出每个关键词的概率值对数值的负值,然后各个关键词对应的值组成x向量。基于w向量和x向量获得告警事件的信息熵的步骤可以是将w向量和x向量相乘后得到的数值作为告警事件的信息熵,但该步骤还可以采用以下公式进行进一步的处理:通过激活函数(Sigmod)实现信息熵的最终值在[0,1]区间。此外,激活公式还可以替换为其他方式:通过归一化将w向量和x向量相乘后得到的数值映射到[0,1]区间,也可以替换为其他非线性函数,如tanh,relu等。
图5是本公开另一实施例提供的一种告警事件的处理装置的结构图。如图所示,处理装置500包括预处理模块501、信息熵计算模块502和告警输出模块503。
预处理模块501用于将实时收到的告警事件进行预处理,以获得标记序列,所述标记序列由告警事件中的关键词组成。
信息熵计算模块502用于根据标记序列和历史告警事件分别计算出告警事件的信息量大小的度量值和重要性的度量值,并基于告警事件的信息量大小的度量值和重要性的度量值计算出告警事件的信息熵。
告警输出模块503用于只在告警事件的信息熵大于设定阈值时将告警事件发送出去。
在预处理模块501中,预处理包括且不限于以下步骤:对告警事件进行清洗、分词、过滤无意义词、词型还原、关键词抽取。这些步骤具体可参考上文针对步骤S301的描述。
在信息熵计算模块502中,可采用设定的计算方法分别计算出告警事件的信息量大小的度量值和重要性的度量值,并根据设定的计算方法基于告警事件的信息量大小的度量值和重要性的度量值计算出信息熵。
在该计算方法中,须结合历史告警事件来得到信息量大小和重要性的度量值。并且,重要性大小的度量值是从词维度和事件维度进行计算的,重要性的度量值是从事件维度进行计算的。具体而言,对于重要性的度量值,根据标记序列中的各个关键词在历史告警事件出现的频率和在原告警事件出现的频率获得告警事件的重要性的度量值。对于信息量大小的度量值,根据标记序列中的各个关键词在历史告警事件中出现的事件数量和历史告警事件的事件总量计算出告警事件的概率值,然后根据标记序列中的各个关键词的概率值获得告警事件的信息量大小的度量值。该计算方法的具体细节可参考上文中针对步骤S303的描述。
在告警输出模块503中,判断告警事件的信息熵大于设定阈值,如果是,将告警事件发送给外部系统,如果不是,则对告警事件另行处理。这里的另行处理例如为等候批量处理、阻塞在本地等。
本公开提供了一种针对需要实时关注的告警事件的管理应用场景,当新产生的事件过来时,基于词频统计值和事件概率统计值,实时计算出事件的信息量和重要性的度量值,并据此得到告警事件的信息熵,然后根据信息熵过滤告警事件,从而达到将其中的冗余、重复、低效和无效的告警事件阻塞,将重要的告警事件发送到目的地的目的。
本公开实施例还提供一种电子设备600,如图6所示,在硬件层面,包括存储器602和处理器601,除此之外,一些情况下还包括输入输出设备603和其他硬件604。存储器602例如为高速随机存取存储器(Random-Access Memory,RAM),也可能是非易失性存储器(non-volatile memory),例如为至少1个磁盘存储器等。输入输出设备603例如为显示器、键盘、鼠标、网络控制器等设备。处理器601可以基于目前市场上各种型号的处理器构建。处理器601、存储器602、输入输出设备603和其他硬件604通过总线相互连接,该总线可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(PeripheralComponent Interconnect,外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一个线条表示,但并不表示仅有一根总线或一种类型的总线。
存储器602用于存放程序。具体地,程序可以包括程序代码,程序代码包括计算机指令。存储器可以包括内存和非易失性存储器,并向处理器601提供计算机指令和数据。处理器601从存储器602中读取对应的计算机程序到内存中然后运行,在逻辑层面上述实施例的告警事件的处理方法。
本领域的技术人员能够理解,本公开可以实现为系统、方法和计算机程序产品。因此,本公开可以具体实现为以下形式,即完全的硬件、完全的软件(包括固件、驻留软件、微代码),还可以实现为软件和硬件结合的形式。此外,在一些实施例中,本公开还可以实现为一个或多个计算机可读介质中的计算机程序产品的形式,该计算机可读介质中包含计算机可读的程序代码。
可以采用一个或多个计算机可读介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如但不限于为电、磁、光、电磁、红外线或半导体的系统、装置或器件,或其他任意以上的组合。计算机可读存储介质的更具体的例子包括:具体一个或多个导线的电连接,便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或者闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器、磁存储器或者上述任意合适的组合。在本文中,计算机可读的存储介质可以是任意包含或存储程序的有形介质,该程序可以被处理单元、装置或者器件使用,或者与其结合使用。
计算机可读信号介质可以包括在基带中或者作为截波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或者其他任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质之外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令系统、装置或器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、电线、光缆、RF等等,以及上述任意合适的组合。
可以以一种或者多种程序设计语言或者组合来编写用于执行本公开实施例的计算机程序代码。所述程序设计语言包括面向对象的程序设计语言,例如JAVA、C++,还可以包括常规的过程式程序设计语言,例如C。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述仅为本公开的优选实施例,并不用于限制本公开,对于本领域技术人员而言,本公开可以有各种改动和变化。凡在本公开的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本公开的保护范围之内。
Claims (13)
1.一种告警事件的处理方法,包括:
对实时收到的告警事件进行预处理,以获得标记序列,所述标记序列由所述告警事件中的关键词组成;
根据所述标记序列和历史告警事件分别计算出所述告警事件的信息量大小的度量值和重要性的度量值;
基于所述告警事件的信息量大小的度量值和重要性的度量值计算出所述告警事件的信息熵;
只在所述告警事件的信息熵大于设定阈值时将所述告警事件发送出去。
2.根据权利要求1所述的处理方法,其中,所述根据所述标记序列和历史告警事件计算出所述告警事件的重要性的度量值包括:
根据所述标记序列中的各个关键词在所述历史告警事件出现的频率和在所述告警事件中出现的频率获得所述告警事件的重要性的度量值。
3.根据权利要求1所述的处理方法,其中,所述根据所述标记序列和历史告警事件计算出所述告警事件的信息量大小的度量值包括:
计算出所述标记序列中的各个关键词在所述历史告警事件中出现的事件数量和所述历史告警事件的事件总量计算出所述告警事件的各个关键词的概率值;以及
根据所述标记序列中的各个关键词的概率值获得所述告警事件的信息量大小的度量值。
4.根据权利要求1或2所述的处理方法,其中,采用所述标记序列中的各个关键词的TF-IDF值组成的第一向量作为所述告警事件的重要性的度量值。
5.根据权利要求4所述的处理方法,其中,所述根据所述标记序列和历史告警事件计算出所述告警事件的信息量大小的度量值包括:采用所述标记序列中的各个关键词的概率值对数的负值组成的第二向量作为所述告警事件的信息量大小的度量值。
6.根据权利要求5所述的处理方法,其中,所述基于所述告警事件的信息量大小的度量值和重要性的度量值计算出所述告警事件的信息熵包括:
将所述第一向量和所述第二向量的乘积映射到设定的数值区间,并将最终的映射值作为所述告警事件的信息熵。
7.根据权利要求6所述的处理方法,其中,采用以下函数中的一种将所述第一向量和第二向量的乘积映射到设定的数值区间:sigmod函数、归一化函数、tanh函数、relu函数。
8.根据权利要求1所述的处理方法,其中,所述预处理包括以下处理中的一项或几项:对告警事件进行清洗、分词、过滤无意义词、词型还原、关键词抽取。
9.根据权利要求1所述的处理方法,还包括:根据预设置的过滤词或优先词调整所述告警事件的信息熵。
10.根据权利要求1所述的处理方法,还包括:根据预设置的优先词检索所述标记序列,如果所述标记序列包括预设置的优先词,则将所述告警事件直接发送出去。
11.一种告警事件的处理装置,包括:
预处理模块,用于对实时收到的告警事件进行预处理,以获得标记序列,所述标记序列由所述告警事件中的关键词组成;
信息熵计算模块,用于根据所述标记序列和历史告警事件分别计算出所述告警事件的信息量大小的度量值和重要性的度量值,并基于所述告警事件的信息量大小的度量值和重要性的度量值计算出所述告警事件的信息熵;
告警输出模块,用于只在所述告警事件的信息熵大于设定阈值时将所述告警事件发送出去。
12.一种电子设备,包括存储器和处理器,所述存储器还存储有可由所述处理器执行的计算机指令,所述计算机指令被执行时,实现所述如权利要求1至10任一项所述的处理方法。
13.一种计算机可读介质,所述计算机可读介质存储有可由电子设备执行的计算机指令,所述计算机指令被执行时,实现所述如权利要求1至10任一项所述的处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111204775.7A CN113986657A (zh) | 2021-10-15 | 2021-10-15 | 告警事件的处理方法及处理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111204775.7A CN113986657A (zh) | 2021-10-15 | 2021-10-15 | 告警事件的处理方法及处理装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN113986657A true CN113986657A (zh) | 2022-01-28 |
Family
ID=79738862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111204775.7A Pending CN113986657A (zh) | 2021-10-15 | 2021-10-15 | 告警事件的处理方法及处理装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113986657A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115189961A (zh) * | 2022-07-05 | 2022-10-14 | 中汽创智科技有限公司 | 一种故障识别方法、装置、设备及存储介质 |
-
2021
- 2021-10-15 CN CN202111204775.7A patent/CN113986657A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115189961A (zh) * | 2022-07-05 | 2022-10-14 | 中汽创智科技有限公司 | 一种故障识别方法、装置、设备及存储介质 |
CN115189961B (zh) * | 2022-07-05 | 2024-04-30 | 中汽创智科技有限公司 | 一种故障识别方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP4099170B1 (en) | Method and apparatus of auditing log, electronic device, and medium | |
CN110928718A (zh) | 一种基于关联分析的异常处理方法、系统、终端及介质 | |
CN111835760B (zh) | 报警信息处理方法及装置、计算机存储介质、电子设备 | |
CN112148772A (zh) | 告警根因识别方法、装置、设备和存储介质 | |
CN111708938B (zh) | 用于信息处理的方法、装置、电子设备和存储介质 | |
CN109471783B (zh) | 预测任务运行参数的方法和装置 | |
CN114416685A (zh) | 日志处理方法、系统和存储介质 | |
CN113961425B (zh) | 一种告警消息的处理方法、装置及设备 | |
CN113986657A (zh) | 告警事件的处理方法及处理装置 | |
CN114417118A (zh) | 一种异常数据处理方法、装置、设备以及存储介质 | |
CN113746780B (zh) | 基于主机画像的异常主机检测方法、装置、介质和设备 | |
CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
CN107122464A (zh) | 一种辅助决策系统及方法 | |
CN113535458B (zh) | 异常误报的处理方法及装置、存储介质、终端 | |
CN116668264A (zh) | 一种告警聚类的根因分析方法、装置、设备及存储介质 | |
CN116701866A (zh) | 一种基于物联网设备的园区事件联动处理方法 | |
CN113778792B (zh) | 一种it设备的告警归类方法及系统 | |
CN115603955A (zh) | 异常访问对象识别方法、装置、设备和介质 | |
CN115619245A (zh) | 一种基于数据降维方法的画像构建和分类方法及系统 | |
CN114090850A (zh) | 日志分类方法、电子设备及计算机可读存储介质 | |
CN110971501B (zh) | 广告消息的确定方法、系统、设备和存储介质 | |
CN117389827A (zh) | 故障定位方法、装置、电子设备和计算机可读介质 | |
CN117313159A (zh) | 一种数据处理方法、装置、设备以及存储介质 | |
CN117830028A (zh) | 一种数据预处理方法、引擎、设备及存储介质 | |
CN116257615A (zh) | 业务故障的检测方法、装置以及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40067025 Country of ref document: HK |