CN110730100B - 一种告警信息处理方法、装置及服务器 - Google Patents
一种告警信息处理方法、装置及服务器 Download PDFInfo
- Publication number
- CN110730100B CN110730100B CN201911002629.9A CN201911002629A CN110730100B CN 110730100 B CN110730100 B CN 110730100B CN 201911002629 A CN201911002629 A CN 201911002629A CN 110730100 B CN110730100 B CN 110730100B
- Authority
- CN
- China
- Prior art keywords
- alarm information
- information
- preset
- alarm
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Alarm Systems (AREA)
Abstract
本发明提供的一种告警信息处理方法、装置及服务器,应用于信息处理技术领域,该方法首先获取目标监控平台的告警信息,然后调用预训练的基于FP‑Tree算法训练得到的告警信息收敛模型,将告警信息输入告警信息收敛模型,对告警信息进行合并,得到合并后的告警信息。通过本发明提供的告警信息处理方法,可以实现对网络异常时目标监控平台发出的批量告警信息进行有效压缩、合并,减少需要运维人员手动处理的告警信息的数据量,降低一线运维人员的工作压力,同时,为快速定位问题根源提供有效的参考依据。
Description
技术领域
本发明属于信息处理技术领域,尤其涉及一种告警信息处理方法、装置及服务器。
背景技术
随着互联网技术的发展,网络拓扑由传统的简单网络架构,渐渐延伸发展为多地多中心的高可用复杂架构。许多公司通过建设数据中心来实现对复杂网络的动态监测,并根据监测结果对网络中存在的异常情况进行处理,从而保障网络正常运行。
在实际应用中,当异常网络事件发生时,大型复杂的网络结构会产生批量、相互关联的告警信息,这些告警信息的信息量巨大,让一线运维人员压力倍增,无法在短时间内对其中有效的告警信息进行甄别,并快速定位故障原因。
因此,如何对网络异常时的批量告警信息进行有效压缩、合并,减少运维人员需要处理的告警信息的数据量,降低一线运维人员的工作压力,为快速定位问题根源提供有效的参考依据,成为本领域技术人员需要解决的技术问题之一。
发明内容
有鉴于此,本发明的目的在于提供一种告警信息处理方法、装置及服务器,实现对网络异常时的批量告警信息进行有效压缩、合并,减少运维人员需要处理的告警信息的数据量,降低一线运维人员的工作压力,为快速定位问题根源提供有效的参考依据,具体方案如下:
第一方面,本发明提供一种告警信息处理方法,包括:
获取目标监控平台的告警信息;
调用预训练的告警信息收敛模型,其中,所述告警信息收敛模型以离线告警信息为训练样本,基于FP-Tree算法训练得到;
将所述告警信息输入所述告警信息收敛模型,对所述告警信息进行合并,得到合并后的告警信息。
可选的,训练所述告警信息收敛模型的过程,包括:
获取预设时间段内所述目标监控平台的离线告警信息;
按照预设信息处理规则解析所述离线告警信息,得到训练样本;
以合并结果趋于实际告警信息类别为训练目标,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型。
可选的,所述按照预设信息处理规则解析所述离线告警信息,得到训练样本,包括:
按照预设筛选规则,对所述离线告警信息进行筛选,得到筛选后的离线告警信息;
将所述预设时间段内的每一天划分为多个预设长度的时间片段;
根据各所述筛选后的离线告警信息的发生时间,将属于同一所述时间片段的所述筛选后的离线告警信息划分至同一信息集合,得到多组信息集合;
将所述信息集合作为训练样本。
可选的,所述预设筛选规则至少包括:
告警信息的维护人员满足预设级别要求;
告警信息处理时间处于预设时长范围内;
告警信息处于关闭状态。
可选的,所述以合并结果趋于实际告警信息类别为训练目标,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型,包括:
获取标注信息,其中,所述标注信息用于表征告警信息所属的类别;
以合并结果趋于实际告警信息类别为训练目标,根据所述标注信息,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型。
可选的,本发明第一方面任一项提供的告警信息处理方法,还包括:
发送所述合并后的告警信息至告警信息展示平台。
第二方面,本发明提供一种告警信息处理装置,包括:
第一获取单元,用于获取目标监控平台的告警信息;
调用单元,用于调用预训练的告警信息收敛模型,其中,所述告警信息收敛模型以离线告警信息为训练样本,基于FP-Tree算法训练得到;
合并单元,用于将所述告警信息输入所述告警信息收敛模型,对所述告警信息进行合并,得到合并后的告警信息。
可选的,本发明第二方面提供的告警信息处理装置,还包括:
第二获取单元,用于获取预设时间段内所述目标监控平台的离线告警信息;
解析单元,用于按照预设信息处理规则解析所述离线告警信息,得到训练样本;
训练单元,用于以合并结果趋于实际告警信息类别为训练目标,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型。
可选的,所述解析单元,用于按照预设信息处理规则解析所述离线告警信息,得到训练样本时,具体包括:
按照预设筛选规则,对所述离线告警信息进行筛选,得到筛选后的离线告警信息;
将所述预设时间段内的每一天划分为多个预设长度的时间片段;
根据各所述筛选后的离线告警信息的发生时间,将属于同一所述时间片段的所述筛选后的离线告警信息划分至同一信息集合,得到多组信息集合;
将所述信息集合作为训练样本。
第三方面,本发明提供一种服务器,包括:存储器和处理器;所述存储器存储有适于所述处理器执行的程序,以实现本发明第一方面任一项所述的告警信息处理方法。
基于上述本发明提供的告警信息处理方法,首先获取目标监控平台的告警信息,然后调用预训练的基于FP-Tree算法训练得到的告警信息收敛模型,将告警信息输入告警信息收敛模型,对告警信息进行合并,得到合并后的告警信息。通过本发明提供的告警信息处理方法,可以实现对网络异常时目标监控平台发出的批量告警信息进行有效压缩、合并,减少需要运维人员手动处理的告警信息的数据量,降低一线运维人员的工作压力,同时,为快速定位问题根源提供有效的参考依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明申请实施例提供的一种告警信息处理方法的流程图;
图2是本发明申请实施例提供的告警信息处理方法的应用场景示意图;
图3是本发明申请实施例提供的告警信息收敛模型的训练流程图;
图4是本发明申请实施例提供的告警信息处理方法涉及的时间矩阵的结构示意图;
图5是本发明申请实施例提供的告警信息处理方法涉及的滑动窗口的应用示意图;
图6是本发明申请实施例提供的一种告警信息处理装置的结构框图;
图7是本发明申请实施例提供的另一种告警信息处理装置的结构框图;
图8是本发明申请实施例提供的一种服务器的结构框图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
参见图1,图1是本发明实施例提供的告警信息处理方法的流程图,该方法可应用于具备数据处理能力的服务器,显然,在某些情况下也可选用网络侧的服务器实现;参照图1,本发明实施例提供的告警信息处理方法可以包括:
S100、获取目标监控平台的告警信息。
在发明实施例中所述及的目标监控平台,是指需要应用本发明实施例所提供的告警信息处理方法,对告警信息进行深度合并的监控平台,即可以是现有技术中可以提供告警信息的任一监控平台。
上述现有技术中的监控平台,可以对网络异常所触发的全部告警信息进行初步的压缩处理,由于其压缩处理的过程是基于规则的告警压缩机制,经过监控平台处理的告警信息的数据量仍然十分巨大,运维人员依然需要对大量的告警信息进行分析处理。本发明实施例所获取的告警信息,指的是经过现有技术中的监控平台进行简单压缩处理后的告警信息。具体的,可参见图2,图是本发明申请实施例提供的告警信息处理方法的应用场景示意图,根据图2所示内容,可以清楚的获知本发明实施例提供的告警信息处理方法的实际应用场景。
S110、调用预训练的告警信息收敛模型。
在获取到目标监控平台的告警信息后,即可调用预训练的告警信息收敛模型,该模型是以离线告警信息为训练样本,基于FP-Tree算法训练得到的,可用于对所得告警信息进行深度合并,在没有丢失原始信息的基础上,可以实现告警信息的进一步减少,并且,经过该模型压缩后的告警信息,告警信息所对应的告警事件类型更加宏观,更具代表性。
S120、将告警信息输入告警信息收敛模型,对告警信息进行合并,得到合并后的告警信息。
调用预训练的告警信息收敛模型之后,将告警信息输入告警信息收敛模型,利用模型对告警信息进行合并,进而得到合并后、总数量大为减少的告警信息。
可选的,在得到合并后的告警信息之后,还可以将合并后的告警信息发送至告警信息展示平台,对告警信息进行展示,以方便运维人员进行后续操作。
综上所述,通过本发明提供的告警信息处理方法,可以实现对网络异常时目标监控平台发出的批量告警信息进行有效压缩、合并,减少需要运维人员手动处理的告警信息的数据量,降低一线运维人员的工作压力,同时,为快速定位问题根源提供有效的参考依据,辅助故障排查人员快速准确的定位引起告警事件的故障根源。
可选的,下面对本发明实施例提供的告警信息收敛模型的训练过程进行详细介绍。可选的,参见图3,图3是本发明申请实施例提供的告警信息收敛模型的训练流程图,该流程可以包括:
S200、获取预设时间段内目标监控平台的离线告警信息。
本发明实施例中述及的预设时间段可以是能够提供离线告警信息的任意人为指定的时间段,比如几天,或时间更长的时间段,本发明实施例对于预设时间段的具体选取不做限定。
本步骤中获取的离线告警信息,是量级最大,时效性最强的一线运维数据,可以全面的反映发出告警信息的数据中心的运行情况。进一步的,由于离线警告信息的获取过程仅访问历史数据库,因此不会对目标监控平台实时存储系统的性能产生影响。
S210、按照预设信息处理规则解析离线告警信息,得到训练样本。
本步骤旨在对已经处理结束的离线入库信息进行筛选与清洗,并在完成后输出经过整合、符合业务逻辑与算法格式要求的信息数据。
首先,按照预设筛选规则,对离线告警信息进行筛选,得到筛选后的离线告警信息。具体的,预设筛选规则至少应该包括:告警信息的维护人员满足预设级别要求,如告警事件处理人为一线运维工程师;告警信息处理时间处于预设时长范围内,如告警事件处理时间小于24小时;告警信息处于关闭状态,即告警信息已经被手动关闭。通过该预设筛选规则后的离线告警信息,具有有效性、时效性和可代表性。
可选的,为了简化告警事件的标识方式,本发明实施例中还将告警信息中四个关键字段进行合并,将合并后的字段内容,作为该告警信息的唯一标识。同时,过滤不必要的字段以降低数据集的冗余性,确保在后续的分析中囊括告警事件更丰富的信息,挖掘到更深入的关联规则,同时方便后续的标注。
然后,将前述预设时间段内的每一天划分为多个预设长度的时间片段,并根据各筛选后的离线告警信息的发生时间,将属于同一时间片段的筛选后的离线告警信息划分至同一信息集合,得到多组信息集合。
可选的,由于现有技术中的监控平台在对全部告警信息收集后,已经进行了基于规则的告警信息压缩,因此,对于监控平台而言,只要消息队列中有一告警信息存在,对于来源于同一信息源的告警事件,不再重新生成一条新的告警信息,而是只改变消息队列中该告警事件LASTOCCURRENCE字段,LASTOCCURRENCE字段用于记录该告警事件的最后一次告警事件,并且,每接收到一条同一信息源的告警事件,消息队列中与该告警事件对应的TALLY字段数量加1,用以统计该告警事件总的发生次数。同时,消息队列中还设置有FIRSTOCCURRENCE字段,用于记录该告警事件的首次发生时间。
现有技术中这样的信息记录结构导致每条告警信息中间时间戳的丢失,只能得到告警事件的首末时间,使得在不同的时间片中,取得事件列表变得困难。由于时间戳的分布是未知的,盲目等分或主观假设其概率分布可能引入更大的误差。为了将告警事件按照时间戳进行有效拆分,重新组合为等间隔时间片中的事件列表,本发明实施例提供一种时间矩阵,用于对告警信息进行划分。
具体的,参见图4,图4是本发明申请实施例提供的告警信息处理方法涉及的时间矩阵的结构示意图,该示意图中以m*n矩阵为例,对告警信息的划分过程进行说明,其中,m代表前述预设时间段所包括的天数,n代表一天24h内均分的时间片段的数量,矩阵中每个时间片段有唯一的首末时间标识,将每条告警事件按照首末发生时间映射入时间矩阵中,比如,提前规定时间片段的长度为4分钟,第一个时间片段是8:18-8:22,第二个时间片段是8:22-8:26,……,第七个时间片是8:42-8:46,首个告警事件时间为8:20,最后一个告警事件的时间8:45,那么首个告警时间即映射进第一个时间片段,最后一个告警事件即映射进入第七个时间片段。以此类推,待所有筛选后的离线告警信息全部横向映射完成后,沿着纵向读出每个时间片段中的事件列表,即为将属于同一时间片段的筛选后的离线告警信息划分至同一信息集合,进而得到多组信息集合。
可选的,本发明实施例还提供下限阈值和时间滑动窗口,用以丰富和完善所得信息集合。其中,设定下限阈值是为了减少矩阵映射的量级,提前对预设时间段内相同的告警事件在数量上进行过滤,即只有重复次数超过某个预设阈值的事件得以保留,并且该预设阈值应小于后续述及的FP-Tree算法支持度,这样既成本较小地提前剔除了将会被算法所过滤的告警事件,同时又保证了预处理后的数据范围更大,不会损失后续算法所要挖掘的信息。
可选的,参见图5,图5是本发明申请实施例提供的告警信息处理方法涉及的滑动窗口的应用示意图。如图5所示,时间滑动窗口机制旨在解决由上述时间片段划分带来的信息损失问题。将时间滑动窗口的宽度设置为时间片段的长度,并设置移动步长为小于时间片段的长度。这样,通过移动时间滑动窗口,可以获取到相邻时间片段之间的关联信息,减少因离散时间划分带来的信息损失。比如,在没有使用时间滑动窗口的情况下,得到的信息集合有两个:[a,b,c,d]和[e,f,g,h],在使用时间滑动窗口之后,在相同的时间内,得到的信息集合除了上述两个,还有[e,d,e,f],实现对信息集合的补充和完善。而此处的[c,d,e,f]即为相邻时间片段之间的关联信息。
经过上述步骤的处理,可以得到多组信息集合,所得信息集合即为训练告警信息收敛模型所需的训练样本。
S220、以合并结果趋于实际告警信息类别为训练目标,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,进而得到告警信息收敛模型。
可选的,本发明实施例选用时间复杂度更低,收敛速度更快的FP-Tree算法作为告警信息收敛模型的训练基础,在保证挖掘到的信息不损失或尽可能少的损失的基础上,尽可能大压缩比地处理频繁项集的条数。
对于FP-Tree算法的具体使用过程,可以参照现有技术中的方式进行,此处暂不赘述。下面对基于该算法训练告警信息收敛模型过程中的关键步骤进行介绍。
首先,关于相同累计数的子集过滤问题。相同累计数的子集过滤遵循以下定理:频繁项集的子集仍为频繁项集。为了尽量减少信息损失,选择标准算法的输出为所有长度大于1的频繁项集及其累计数。但该全集中存在信息冗余,例如:搜索整个列表,若一个集合为另一个集合的子集,同时满足累计数相同的条件,那么意味着该子集可由另一集合分解所得到,其信息已经被其父集所包含,因此可以直接舍弃。按照频繁项集的长度进行排序,由长度较小的集合开始进行搜索检验,可以低复杂度地遍历全集,得到第一次压缩后的列表。
其次,对于不同累积数的子集的过滤。该过滤过程旨在解决全集中子集累计数大于父集的问题:由于FP-Tree算法的构建过程为查找每个子树的条件模式基(每个子树的最长路径),而频繁模式的发觉从每条最长路径开始进行子集的分解,最后将不同路径得到的相同子集进行合并,这样的机制就导致了得到的全集中子集的累计数一定大于父集的累计数。本发明实施例借鉴容斥定理的思想进行不同累计数的子集压缩,容斥定理的公式如下:
将该模块第一层过滤后的结果再次按照频繁项集的长度进行排序,由长度较小的子集向后不重复地逐层搜索检验,每一层的频繁项集长度加1。每对一个目标事件列表的检验,都将其看做容斥定理中的全集S,将其向后搜索的父集看做容斥定理中的交集,执行以下规则:1.检查目标集合的累计数,若大于比其长度大1的父集的累计数,则将目标集合的累计数与其父集的累计数的差作为目标集合新的标识;2.再次检查目标集合的累计数,若大于比其长度大2的父集的累计数,则将目标集合的累计数与其父集的累计数的和作为目标集合新的标识;3.以此类推,每增加一层和差关系改变一次;4.在完成以上过程后,检查目标集合的累计数,如果仍大于支持度,则保留该子集;若小于支持度,则将该子集删除。这样即完成了对一个目标集合的二次过滤。遍历整个全集,则可以得到二次压缩后的列表。相应的,最终得到的算法模型即为告警信息收敛模型。
可选的,为了进一步提高模型对告警信息进行合并的准确度,还需要对得到模型进行验证和修改。根据运维人员或专家输入的用于表征告警信息所属类别的标注信息,根据所得标注信息,对FP-Tree算法中的预设参量惊醒修正,直至满足预设收敛条件。可选的,预设收敛条件可以是模型输出的合并结果的正确率、可以是重复修正的次数,当然,还可以是其他收敛条件,本发明实施例对于训练过程的收敛条件的设置不做具体限定。
具体的标注过程可以分为两种,即算法训练标注和专家标注。算法训练标注是对输出结果的第一层标注,通过调整训练样本的生成过程和基于FP-Tree算法的告警信息收敛模型中所用到的各种参数,即可控制后续注入标注和反馈模块的频繁项集的数量为可人为标注的量级。此过程由算法训练人员即可完成。由于现有监控平台的架构中已有基于知识库的告警关联分析模块,通过对知识库eventid的匹配以及几个关键字段的获取,即可完成大部分频繁项集的标注。
至于专家校对过程,需要将上述算法训练标注后的结果进行专家的二次标注,该过程分为两步:1.标注算法训练人员无法标注的小部分频繁项集;2.对算法训练人员已经标注的大部分频繁项集进行校对。
可选的,在完成上述工作后,还可以对告警信息收敛模型进行线上测试,在测试过程中对模型的参数、频繁项集列表和标注信息进行再反馈、再优化。定时重新训练模型无需更改原频繁项集列表,只需增加新的条数即可,这样可以避免由重新标注带来的工作量并保证了模型的可扩展性。
综上所述,本发明实施例提供的告警信息收敛模型,基于时间矩阵、时间滑动窗口、容斥定理等内容,针对网络类告警信息进行压缩。相比于传统基于规则的告警收敛方法,可以挖掘到更加不易观察到的关联规则,实现告警信息的深度合并。传统的告警事件压缩方法,依靠领域专家的运维经验,压缩程度较小,且对经验知识的掌握程度要求较高;而本发明实施例提供的基于FP-Tree算法与时间片段划分的告警信息处理方法,可以在海量数据中探索深度规则,弥补了人工归纳告警事件的缺陷,减轻了一线运维团队的排障压力,避免处理大量重复告警信息,为快速解决告警问题,辅助故障排查人员快速准确定位事件根源提供必要保证。
下面对本发明实施例提供的告警信息处理装置进行介绍,下文描述的告警信息处理装置可以认为是为实现本发明实施例提供的告警信息处理方法,在中央设备中需设置的功能模块架构;下文描述内容可与上文相互参照。
图6为本发明申请实施例提供的一种告警信息处理装置的结构框图,参照图6,该装置可以包括:
第一获取单元10,用于获取目标监控平台的告警信息;
调用单元20,用于调用预训练的告警信息收敛模型,其中,所述告警信息收敛模型以离线告警信息为训练样本,基于FP-Tree算法训练得到;
合并单元30,用于将所述告警信息输入所述告警信息收敛模型,对所述告警信息进行合并,得到合并后的告警信息。
可选的,参见图7,图7为本发明实施例提供的另一种告警信息处理装置的结构框图,在图6所示实施例的基础上,该装置还包括:
第二获取单元40,用于获取预设时间段内的离线告警信息;
解析单元50,用于按照预设信息处理规则解析所述离线告警信息,得到训练样本;
训练单元60,用于以合并结果趋于实际告警信息类别为训练目标,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型。
可选的,所述解析单元50,用于按照预设信息处理规则解析所述离线告警信息,得到训练样本时,具体包括:
按照预设筛选规则,对所述离线告警信息进行筛选,得到筛选后的离线告警信息;
将所述预设时间段内的每一天划分为多个预设长度的时间片段;
根据各所述筛选后的离线告警信息的发生时间,将属于同一所述时间片段的所述筛选后的离线告警信息划分至同一信息集合,得到多组信息集合;
将所述信息集合作为训练样本。
可选的,参见图8,图8为本发明实施例提供的服务器的结构框图,参见图8所示,可以包括:至少一个处理器100,至少一个通信接口200,至少一个存储器300和至少一个通信总线400;
在本发明实施例中,处理器100、通信接口200、存储器300、通信总线400的数量为至少一个,且处理器100、通信接口200、存储器300通过通信总线400完成相互间的通信;显然,图8所示的处理器100、通信接口200、存储器300和通信总线400所示的通信连接示意仅是可选的;
可选的,通信接口200可以为通信模块的接口,如GSM模块的接口;
处理器100可能是一个中央处理器CPU,或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit),或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器300,存储有应用程序,可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
其中,处理器100具体用于执行存储器内的应用程序,以实现上述所述的告警信息处理方法的任一实施例。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的核心思想或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (7)
1.一种告警信息处理方法,其特征在于,包括:
获取目标监控平台的告警信息;
调用预训练的告警信息收敛模型,其中,所述告警信息收敛模型以离线告警信息为训练样本,基于FP-Tree算法训练得到;
将所述告警信息输入所述告警信息收敛模型,对所述告警信息进行合并,得到合并后的告警信息;
训练所述告警信息收敛模型的过程,包括:
获取预设时间段内所述目标监控平台的离线告警信息;
按照预设信息处理规则解析所述离线告警信息,得到训练样本;
获取标注信息,其中,所述标注信息用于表征告警信息所属的类别;
以合并结果趋于实际告警信息类别为训练目标,根据所述标注信息,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型。
2.根据权利要求1所述的告警信息处理方法,其特征在于,所述按照预设信息处理规则解析所述离线告警信息,得到训练样本,包括:
按照预设筛选规则,对所述离线告警信息进行筛选,得到筛选后的离线告警信息;
将所述预设时间段内的每一天划分为多个预设长度的时间片段;
根据各所述筛选后的离线告警信息的发生时间,将属于同一所述时间片段的所述筛选后的离线告警信息划分至同一信息集合,得到多组信息集合;
将所述信息集合作为训练样本。
3.根据权利要求2所述的告警信息处理方法,其特征在于,所述预设筛选规则至少包括:
告警信息的维护人员满足预设级别要求;
告警信息处理时间处于预设时长范围内;
告警信息处于关闭状态。
4.根据权利要求1-3任一项所述的告警信息处理方法,其特征在于,还包括:
发送所述合并后的告警信息至告警信息展示平台。
5.一种告警信息处理装置,其特征在于,包括:
第一获取单元,用于获取目标监控平台的告警信息;
调用单元,用于调用预训练的告警信息收敛模型,其中,所述告警信息收敛模型以离线告警信息为训练样本,基于FP-Tree算法训练得到;
合并单元,用于将所述告警信息输入所述告警信息收敛模型,对所述告警信息进行合并,得到合并后的告警信息;
第二获取单元,用于获取预设时间段内所述目标监控平台的离线告警信息;
解析单元,用于按照预设信息处理规则解析所述离线告警信息,得到训练样本;
训练单元,用于获取标注信息,其中,所述标注信息用于表征告警信息所属的类别;以合并结果趋于实际告警信息类别为训练目标,根据所述标注信息,重复的修正FP-Tree算法的预设参量,直至满足预设收敛条件,得到所述告警信息收敛模型。
6.根据权利要求5所述的告警信息处理装置,其特征在于,所述解析单元,用于按照预设信息处理规则解析所述离线告警信息,得到训练样本时,具体包括:
按照预设筛选规则,对所述离线告警信息进行筛选,得到筛选后的离线告警信息;
将所述预设时间段内的每一天划分为多个预设长度的时间片段;
根据各所述筛选后的离线告警信息的发生时间,将属于同一所述时间片段的所述筛选后的离线告警信息划分至同一信息集合,得到多组信息集合;
将所述信息集合作为训练样本。
7.一种服务器,其特征在于,包括:存储器和处理器;所述存储器存储有适于所述处理器执行的程序,以实现权利要求1至4任一项所述的告警信息处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911002629.9A CN110730100B (zh) | 2019-10-21 | 2019-10-21 | 一种告警信息处理方法、装置及服务器 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911002629.9A CN110730100B (zh) | 2019-10-21 | 2019-10-21 | 一种告警信息处理方法、装置及服务器 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110730100A CN110730100A (zh) | 2020-01-24 |
CN110730100B true CN110730100B (zh) | 2022-03-08 |
Family
ID=69220564
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911002629.9A Active CN110730100B (zh) | 2019-10-21 | 2019-10-21 | 一种告警信息处理方法、装置及服务器 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110730100B (zh) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111352808B (zh) * | 2020-03-03 | 2023-04-25 | 腾讯云计算(北京)有限责任公司 | 告警数据处理方法、装置、设备及存储介质 |
CN114124654B (zh) * | 2020-08-10 | 2023-10-27 | 中国移动通信集团浙江有限公司 | 告警合并方法、装置、计算设备及计算机存储介质 |
CN112182050B (zh) * | 2020-09-30 | 2024-04-30 | 中国民航信息网络股份有限公司 | 一种用户查询请求的处理方法、装置及电子设备 |
CN112506968A (zh) * | 2020-12-10 | 2021-03-16 | 上海连尚网络科技有限公司 | 信息聚合方法、装置、电子设备和计算机可读介质 |
CN113946464B (zh) * | 2021-10-19 | 2022-08-12 | 腾云悦智科技(深圳)有限责任公司 | 一种结合模型及经验的预训练和并行推演的告警降噪方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017128712A1 (zh) * | 2016-01-29 | 2017-08-03 | 华为技术有限公司 | 告警处理方法和告警处理设备 |
CN109412867A (zh) * | 2018-12-06 | 2019-03-01 | 国家电网有限公司信息通信分公司 | 一种告警关联合并方法、装置、系统、设备和存储介质 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8713581B2 (en) * | 2011-10-27 | 2014-04-29 | International Business Machines Corporation | Selected alert delivery in a distributed processing system |
CN108243058B (zh) * | 2016-12-27 | 2021-04-06 | 中国移动通信集团湖北有限公司 | 一种基于告警定位故障的方法和装置 |
CN106603317A (zh) * | 2017-02-20 | 2017-04-26 | 山东浪潮商用系统有限公司 | 一种基于数据挖掘技术的告警监控策略的分析方法 |
CN108427744B (zh) * | 2018-03-07 | 2021-05-14 | 鞍钢集团矿业有限公司 | 一种基于信息运维的智能数据关联关系确定方法 |
-
2019
- 2019-10-21 CN CN201911002629.9A patent/CN110730100B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017128712A1 (zh) * | 2016-01-29 | 2017-08-03 | 华为技术有限公司 | 告警处理方法和告警处理设备 |
CN109412867A (zh) * | 2018-12-06 | 2019-03-01 | 国家电网有限公司信息通信分公司 | 一种告警关联合并方法、装置、系统、设备和存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110730100A (zh) | 2020-01-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110730100B (zh) | 一种告警信息处理方法、装置及服务器 | |
CN110865929B (zh) | 异常检测预警方法及系统 | |
CN107608862B (zh) | 监控告警方法、监控告警装置及计算机可读存储介质 | |
CN111506478A (zh) | 基于人工智能实现告警管理控制的方法 | |
CN109787846A (zh) | 一种5g网络服务质量异常监测和预测方法及系统 | |
CN111914468A (zh) | 一种空气污染智能监控分析方法及装置 | |
CN105577440A (zh) | 一种网络故障时间定位方法和分析设备 | |
CN111782460A (zh) | 大规模日志数据的异常检测方法、装置和存储介质 | |
CN115454778A (zh) | 大规模云网络环境下的时序指标异常智能监控系统 | |
US10616040B2 (en) | Managing network alarms | |
CN105656699A (zh) | 内容分发网络的告警管理方法及系统 | |
DE112012003670T5 (de) | Fehlererkennung auf der Grundlage von Diagnoseprotokollen | |
CN116680113B (zh) | 一种设备检测实施控制系统 | |
CN114465874A (zh) | 故障预测方法、装置、电子设备与存储介质 | |
CN108108445A (zh) | 一种智能数据处理方法和系统 | |
CN108306997B (zh) | 域名解析监控方法及装置 | |
CN116523284A (zh) | 基于机器学习的业务操作流程自动化评估方法、系统 | |
CN111385273B (zh) | 一种物联网业务流程识别方法、装置、电子设备及介质 | |
CN111064637A (zh) | NetFlow数据去重方法及装置 | |
CN115238583A (zh) | 一种支持增量日志的业务流程剩余时间预测方法与系统 | |
CN113570070B (zh) | 流式数据采样与模型更新方法、装置、系统与存储介质 | |
US11641304B2 (en) | Method for managing a plurality of events | |
CN114881112A (zh) | 一种系统异常检测方法、装置、设备及介质 | |
CN116522213A (zh) | 业务状态级别分类及分类模型训练方法、电子设备 | |
CN114579519A (zh) | 文件系统的异常检测方法及装置、存储介质及电子设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |