CN115168311A - 一种告警事件处理方法、系统、存储介质和终端 - Google Patents

一种告警事件处理方法、系统、存储介质和终端 Download PDF

Info

Publication number
CN115168311A
CN115168311A CN202210759674.4A CN202210759674A CN115168311A CN 115168311 A CN115168311 A CN 115168311A CN 202210759674 A CN202210759674 A CN 202210759674A CN 115168311 A CN115168311 A CN 115168311A
Authority
CN
China
Prior art keywords
alarm
log
alarm event
directed graph
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210759674.4A
Other languages
English (en)
Inventor
刘杨
董枫
林诗超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sangfor Technologies Co Ltd
Original Assignee
Sangfor Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sangfor Technologies Co Ltd filed Critical Sangfor Technologies Co Ltd
Priority to CN202210759674.4A priority Critical patent/CN115168311A/zh
Publication of CN115168311A publication Critical patent/CN115168311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/18File system types
    • G06F16/1805Append-only file systems, e.g. using logs or journals to store data
    • G06F16/1815Journaling file systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

本申请提供一种告警事件处理方法,具体技术方案如下:基于告警事件日志,构建该告警事件日志所描述的告警有向图;将告警有向图转换为向量化告警特征;计算向量化告警特征与各告警日志簇的特征相似距离;若存在特征相似距离小于预设阈值的目标告警日志簇,将告警事件日志添加至目标告警日志簇,以对告警有向图进行告警聚合。本申请不仅能够将大量告警事件日志聚合,还能在计算特征相似距离的过程中,有效考虑告警有向图中的上下文信息,从而在保证告警事件类型不被掩盖的同时极大地减轻了运维分析的负担,提高告警事件日志的处置效率。本申请还提供一种告警事件处理系统、计算机可读存储介质和终端,具有上述有益效果。

Description

一种告警事件处理方法、系统、存储介质和终端
技术领域
本申请涉及网络安全领域,特别涉及一种告警事件处理方法、系统、存储介质和终端。
背景技术
随着企业规模的扩大以及用户数量的增加,网络攻击行为产生的告警事件的速度也在加快,人工已经无法完成对巨量告警事件的分析,更无法从海量的数据中识别出代表性的告警事件,使得告警事件的处置效率极其低下,严重影响了企业网络安全。
发明内容
本申请的目的是提供一种告警事件处理方法、告警事件处理系统、存储介质和终端,能够通过计算告警事件相似度实现对告警事件的聚合处理,提高告警事件的处理效率。
为解决上述技术问题,本申请提供一种告警事件处理方法,具体技术方案如下:
基于告警事件日志,构建该告警事件日志所描述的告警有向图;
将所述告警有向图转换为向量化告警特征;
计算所述向量化告警特征与各告警日志簇的特征相似距离;
若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
可选的,所述告警有向图具体为告警进程树;
相应地,所述将所述告警有向图转换为向量化告警特征包括:
利用特征向量化模型将所述告警有向图转换为向量化告警特征;
相应的,在将所述告警有向图转换为向量化告警特征之前,还包括:
获取告警日志数据集;
构建所述告警日志数据集中各告警日志对应的告警进程树;
遍历所述告警进程树的各个分支,得到告警特征;
将所述告警特征作为训练集,利用Graph2Vec算法进行模型训练,得到所述特征向量化模型。
可选的,构建告警事件日志对应的告警进程树包括:
确定所述告警事件日志中的进程树字段信息;
以所述进程树字段信息作为节点,根据各所述节点之间的连接关系构建有向图形式的告警进程树。
可选的,遍历所述告警进程树的各个分支,得到告警特征包括:
以所述告警进程树的根节点作为起点,以所述告警进程树的各末端作为终点确定若干分支;其中,所述告警进程树中的节点包含若干字符的字符串数据;
对于每个分支,设分支包含M个节点,拼接字符串的步进长度为1,确定拼接所述节点的拼接数量m,在每个所述分支中,第N个拼接字符串的拼接起始节点为N,字符串长度为m,得到N个拼接字符串;且N=M-m+1;
对于每个拼接字符串,利用滑动窗口从所述拼接字符串的第一个字符开始进行滑动分割,得到所述拼接字符串包含的所有分割字符串,将所述分割字符串作为告警特征。
可选的,所述将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合之后,还包括:
生成每个所述告警日志簇对应的告警事件;所述告警事件被处置时,所述告警日志簇内的所有告警事件日志被同步处置。
可选的,若与各告警日志簇的特征相似距离均不小于预设阈值,还包括:
建立告警有向图对应的新告警日志簇。
可选的,还包括:
对所述告警事件日志进行字段处理,并以字符串格式保存至告警事件数据库。
本申请还提供一种告警事件处理系统,包括:
日志获取模块,用于基于告警事件日志,构建该告警事件日志所描述的告警有向图;
向量化处理模块,用于将所述告警有向图转换为向量化告警特征;
距离计算模块,用于计算所述向量化告警特征与各告警日志簇的特征相似距离;
告警事件处理模块,用于若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上所述的方法的步骤。
本申请还提供一种终端,包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如上所述的方法的步骤。
本申请提供一种告警事件处理方法,具体技术方案如下:基于告警事件日志,构建该告警事件日志所描述的告警有向图;将所述告警有向图转换为向量化告警特征;计算所述向量化告警特征与各告警日志簇的特征相似距离;若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
本申请通过将告警事件日志转换为相应的向量化告警特征,从而与已有的告警日志簇进行特征相似距离的计算,若存在特征相似距离小于预设阈值的目标告警日志簇,将其归类至该目标告警日志簇,如此不仅能够将大量告警事件日志聚合,还能在计算特征相似距离的过程中,有效考虑告警有向图中的上下文信息,从而在保证告警事件类型不被掩盖的同时极大地减轻了运维分析的负担,提高告警事件日志的处置效率。
本申请还提供一种告警事件处理系统、计算机可读存储介质和终端,具有上述有益效果,此处不再赘述。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请实施例所提供的一种告警事件处理方法的流程图;
图2为本申请实施例所提供的另一种告警事件处理方法的流程图;
图3为本申请实施例所提供的一种特征向量化模型的生成过程流程图;
图4为本申请实施例所提供的一种告警事件处理系统结构示意图:
图5为本申请实施例所提供的一种终端的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
参见图1,图1为本申请实施例所提供的一种告警事件处理方法的流程图,该方法包括:
S101:基于告警事件日志,构建该告警事件日志所描述的告警有向图;
本步骤旨在获取告警事件日志,并构建相应的告警有向图,根据告警事件日志转换得到相应的告警有向图。在此对于如何获取该告警事件日志不作限定,一种可行的方式,可以直接从存储告警事件日志的队列例如kafka队列中获取告警事件日志,也可以从存储告警事件日志的数据库中获取,再将获取的告警事件日志转换为相应的告警有向图。
本实施例对于告警事件日志的格式亦不作限定,一种可行的实施方式中,告警事件日志可以为嵌套的json格式,例如:
{“mgrId”:30101651007,“updateTime”:1640250865,“procTree”:{“edgeInfo”:[{“edgeId”:1,“fNodeId”:“n1”,“cNodeId”:“n2”,“alertId”:“”},“ruleId”:“”],“nodeInfo”:[{“nodeId”:“n1”,“cmdLine”:“”,“pName”:“”,“path”},“nodeId”:“n2”,“cmdLine”:“”,“pName”:“”,“path”}]}}
则在转换为告警有向图的过程中,可以直接对json格式的告警事件日志解析,将其转换为相应的告警有向图,从而在告警有向图中直接反映告警事件日志中上下文之间的联系。
此外,本实施例对于告警有向图的内容不作具体限定,其可以记载着日期、时间、运行事件、事件发起方等相关信息的描述,此外还可以包含进程树相关信息,例如进程树字段等等。进程树字段中包含了进程详情和进程之间连接关系的信息。
S102:将所述告警有向图转换为向量化告警特征;
本步骤旨在将告警有向图中包含的告警数据转化为向量化的特征表示。
本实施例默认在执行本步骤前已经获取到或可应用该特征向量化模型,而对于该特征向量化模型的具体生成方式及获取方式不作限定。同理,任何能实现将告警事件日志转化为相应的向量化特征表示的模型,均可以作为本步骤中的特征向量化模型。
此外,对于本步骤中所得到的向量化告警特征,其可以采用任何可表示向量的方式,均为作为告警事件日志对应的向量化特征。且需要说明的是,每个告警事件日志,可以得到至少一条向量化告警特征,若告警事件日志较为复杂,也可以经由特征向量化模型输出对应的多条向量化告警特征,具体输出的向量化告警特征数量可以根据告警事件日志的内容以及特征向量化模型的模型结构决定。
在一种优选的执行方式中,若告警有向图为告警进程树,则本步骤可以利用特征向量化模型将告警有向图转化为向量化告警特征。
S103:计算所述向量化告警特征与各告警日志簇的特征相似距离;
本步骤需要计算特征相似距离,通常可以采用计算向量化告警特征与告警日志簇之间余弦距离的方式,也可以采用其他距离计算方式,包含但不限于欧式距离、曼哈顿距离等。任何能反映向量之间相似度的计算方式均可以应用至本步骤。
需要说明的是,默认在本步骤之前存在至少一个包含向量特征的告警日志簇。还可以存在若干为空的告警日志簇。在本步骤执行时,对上述步骤得到的向量化告警特征和告警日志簇的特征进行特征相似度度计算。
若存在一条告警事件日志生成对应多条向量化告警特征,则本步骤可以针对每条向量化告警特征进行特征相似距离的计算。此后根据计算得到的特征相似距离的结果执行步骤S104或者步骤S105.
S104:若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合;
若告警事件日志仅得到一条向量化告警特征,且计算得到的特征相似距离小于预设阈值,可以将该告警事件日志添加至目标告警日志簇,若不存在任何特征相似距离小于预设阈值的告警日志簇,则可以针对该告警事件日志建立新告警日志簇,并将其放入新告警日志簇,将前述步骤得到的向量化告警特征作为新告警日志簇的特征。
在此对于该预设阈值不作限定,可以设定其量级,例如可以为10-3级别,即特征相似距离小于千分之一时,可以认为该告警事件日志与目标告警日志簇中已存在的告警事件日志具有极高的相似度,可以归类处理,因此将其添加至目标告警日志簇中。否则,建立告警有向图对应的新告警日志簇。
若告警事件日志可得到多条向量化告警特征,分别对每条向量化告警特征执行如上特征相似距离的计算,并验证,若存在多个目标告警日志簇满足特征相似距离小于预设阈值的条件,可以将该告警事件日志视为特殊告警,单独划分至特殊告警日志簇,或者将其标记为属于多类型告警的复合体,由用户执行特殊处理。
此外,作为本步骤的一种优选执行方式,参见图2,图2为本申请实施例所提供的另一种告警事件处理方法的流程图。其可以包括如下步骤:
S201:基于告警事件日志,构建该告警事件日志所描述的告警有向图;
S202:将所述告警有向图转换为向量化告警特征;
S203:计算所述向量化告警特征与各告警日志簇的特征相似距离;
S204:若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合;
S205:若与各所述告警日志簇的特征相似距离均不小于预设阈值,建立告警有向图对应的新告警日志簇。
若与各告警日志簇的特征相似距离均不小于预设阈值,建立告警有向图对应的新告警日志簇。此时可认为该告警有向图对应新类型的告警日志,不宜与已有任一类型的告警日志采用相同的处置方式,可建立新告警日志簇加以处置。
容易理解的是,在对大量告警事件日志处置时,随着告警事件日志的告警原因不断增多,告警日志簇数量也会逐渐增多。且每个告警日志簇均包含对应类别的标记信息,以便用户对该告警日志簇内的告警事件日志一键处置。
作为更优选的实施方式,还可以生成每个告警日志簇对应的告警事件,告警事件被处置时,同一告警日志簇内的所有告警事件日志可以被同步处置。如此,采用上述过程,最后可将所有告警事件日志归类至各告警日志簇,除特征告警日志簇外,其余告警日志簇中各告警事件日志均为高度相似的告警,从而可采用相同或者相近的处置手段批量处置,大大减少需要处理的告警数量。
此外,还可以对所述告警事件日志进行字段处理,并以字符串格式保存至告警事件数据库,以便后续进行告警溯源时使用。
本申请实施例通过将告警事件日志转换为相应的向量化告警特征,从而与已有的告警日志簇进行特征相似距离的计算,若存在特征相似距离小于预设阈值的目标告警日志簇,将其归类至该目标告警日志簇,如此不仅能够将大量告警事件日志聚合,还能在计算特征相似距离的过程中,有效考虑告警有向图中的上下文信息,从而在保证告警事件类型不被掩盖的同时极大地减轻了运维分析的负担,提高告警事件日志的处置效率。
基于上述实施例,作为优选的实施例,参见图3,图3为本申请实施例所提供的一种特征向量化模型的生成过程流程图,下文为本申请提供的一种可选的特征向量化模型的构建方式,其过程包括:
S301:获取告警日志数据集;
S302:构建所述告警日志数据集中各告警日志对应的告警进程树;
本步骤旨在构建告警进程树,由于告警事件日志中可包含进程树字段信息,则本步骤旨在执行时可以先确定告警事件日志中的进程树字段信息,从而以进程树字段信息作为节点,根据各节点之间的连接关系构建有向图形式的告警进程树。
S303:遍历所述告警进程树的各个分支,得到告警特征;
本步骤旨在遍历告警进程树,以得到用于模型训练的告警特征。在此对于如何基于告警进程树得到告警特征不作限定,一种可行的方式可以如下:
第一步、以所述告警进程树的根节点作为起点,以所述告警进程树的各末端作为终点确定若干分支;
从进程树的根节点出发,依次遍历进程树各分支。每个分支都是以告警进程树的根节点作为起点,以告警进程树的末端作为终点。且告警进程树中的节点包含若干字符的字符串数据。
第二步、对于每个分支,设分支包含M个节点,拼接字符串的步进长度为1,确定拼接所述节点的拼接数量m,在每个所述分支中,第N个拼接字符串的拼接起始节点为N,字符串长度为m,得到N个拼接字符串;且N=M-m+1;
每个分支中包含了若干节点,且不同分支的节点数可能存在差异,且每个节点又包含相应的字符串数据。对于每条分支,依次取拼接数量m的连续节点得到拼接字符串,各拼接字符串的步进差值为1,则第N个拼接字符串的拼接起始节点为N,字符串长度为m,得到N个拼接字符串。举例而言,若告警进程树的某分支包含了标号分别为1-5的5个节点,且该预设数量设为3,则可得到节点1-2-3构成的第一个拼接字符串,第二个拼接字符串步进为1,即从节点2开始,可得到节点2-3-4构成的第二个拼接字符串,依此类推,还可以得到节点3-4-5构成的第三个拼接字符串。
第三步、对于每个拼接字符串,利用滑动窗口从所述拼接字符串的第一个字符开始进行滑动分割,得到所述拼接字符串包含的所有分割字符串,将所述分割字符串作为告警特征;
N元模型也即N-gram模型,其所针对的处理对象为编码数据。对编码数据中的字符数据利用滑动窗口进行处理,从而得到各告警特征,由此可见,各告警特征可由若干字符构成。举例而言,若某个编码数据为100字符,滑动窗口长度为7字符,则对该编码数据处理可得到94个告警特征。由于在第三步执行的模糊哈希处理,各编码数据的字符串长度相同,则每个编码数据得到的告警特征数量均一致。
此外,在执行第二步之后,执行第三步之前,还可以对拼接字符串进行模糊哈希编码,得到编码数据。由于各节点的字符数可能存在差异,通过对拼接字符串进行模糊哈希编码,可以统一各拼接字符串的字符数,便于后续得到相同字符数的告警特征,从而方便执行模型训练。在此对于编码后采用的字符串表示方式不作限定,例如可采用base64编码,从而将各拼接字符串转化为易于模型训练的训练数据。
还需要说明的是,不同的分支由于均以根节点为起点,使得不同分支可能存在相同的拼接字符串,经过上文步骤对所有分支处理后,可得到部分重复的告警特征。在后续执行训练过程中,即在训练集中针对重复的告警特征设定权值或者参数,以标识该告警特征的重复率,使得其可被Graph2Vec算法识别并训练,从而提高特征向量化模型的识别精度和识别效率。
S304:将所述告警特征作为训练集,利用Graph2Vec算法进行模型训练,得到所述特征向量化模型。
本步骤中,Graph2Vec算法是一种无监督的算法,用于对字符串结构的告警特征训练,得到可将告警事件日志转换为对应向量化特征表示的特征向量化模型。
在本申请的其他应用中,还可以采用Graph2Vec算法的变种算法,或者与Graph2Vec算法原理相类似的算法,均应在本申请的保护范围内。
本实施例公开了特征向量化模型的构建过程,以便将告警事件日志转换为向量化特征表示,从而实现告警事件日志的聚合,降低用户所需要处置的告警事件日志数量。
参见图4,图4为本申请实施例所提供的一种告警事件处理系统结构示意图,本申请还提供一种告警事件处理系统,包括:
日志获取模块,用于基于告警事件日志,构建该告警事件日志所描述的告警有向图;
向量化处理模块,用于将所述告警有向图转换为向量化告警特征;
距离计算模块,用于计算所述向量化告警特征与各告警日志簇的特征相似距离;
告警事件处理模块,用于若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
基于上述实施例,作为优选的实施例,还包括:
特征向量化模型生成模块,用于获取告警日志数据集;构建所述告警日志数据集中各告警日志对应的告警进程树;遍历所述告警进程树的各个分支,得到告警特征;将所述告警特征作为训练集,利用Graph2Vec算法进行模型训练,得到所述特征向量化模型。
基于上述实施例,作为优选的实施例,日志获取模块包括:
有向图构建单元,用于确定所述告警事件日志中的进程树字段信息;以所述进程树字段信息作为节点,根据各所述节点之间的连接关系构建有向图形式的告警进程树。
基于上述实施例,作为优选的实施例,特征向量化模型生成模块包括:
特征输出单元,用于以所述告警进程树的根节点作为起点,以所述告警进程树的各末端作为终点确定若干分支;其中,所述告警进程树中的节点包含若干字符的字符串数据;对于每个分支,设分支包含M个节点,拼接字符串的步进长度为1,确定拼接所述节点的拼接数量m,在每个所述分支中,第N个拼接字符串的拼接起始节点为N,字符串长度为m,得到N个拼接字符串;且N=M-m+1;对于每个拼接字符串,利用滑动窗口从所述拼接字符串的第一个字符开始进行滑动分割,得到所述拼接字符串包含的所有分割字符串,将所述分割字符串作为告警特征。
基于上述实施例,作为优选的实施例,还包括:
告警日志簇处置模块,用于生成每个所述告警日志簇对应的告警事件;所述告警事件被处置时,所述告警日志簇内的所有告警事件日志被同步处置。
基于上述实施例,作为优选的实施例,还包括:
告警日志存储模块,用于对所述告警事件日志进行字段处理,并以字符串格式保存至告警事件数据库。
上述告警事件处理系统可以是镜像文件形式,该镜像文件被执行后,可以以容器或者虚拟机的形式运行,以实现本申请所述的方法。当然也不局限为镜像文件形式,只要能够实现本申请所述的告警事件处理方法的一些软件形式都在本申请的保护范围之内,比如还可以为云计算平台中hypervisor(虚拟机监控器)中所实现的软件模块。
本申请还提供了一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的方法的步骤。该存储介质可以包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本申请还提供了一种终端,可以包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时,可以实现上述实施例所提供的方法的步骤。当然所述终端还可以包括各种网络接口,电源等组件。请参见图5,图5为本申请实施例所提供的一种终端的结构示意图,本实施例的终端可以包括:处理器2101和存储器2102。
可选的,该终端还可以包括通信接口2103、输入单元2104和显示器2105和通信总线2106。
处理器2101、存储器2102、通信接口2103、输入单元2104、显示器2105、均通过通信总线2106完成相互间的通信。
在本申请实施例中,该处理器2101,可以为中央处理器(Central ProcessingUnit,CPU),特定应用集成电路,数字信号处理器、现成可编程门阵列或者其他可编程逻辑器件等。
该处理器可以调用存储器2102中存储的程序。具体的,处理器可以执行上文的实施例中终端所执行的操作。
存储器2102中用于存放一个或者一个以上程序,程序可以包括程序代码,所述程序代码包括计算机操作指令,在本申请实施例中,该存储器中至少存储有用于实现以下功能的程序:
基于告警事件日志,构建该告警事件日志所描述的告警有向图;
将所述告警有向图转换为向量化告警特征;
计算所述向量化告警特征与各告警日志簇的特征相似距离;
若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
在一种可能的实现方式中,该存储器2102可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、以及至少一个功能所需的应用程序等;存储数据区可存储根据计算机的使用过程中所创建的数据。
此外,存储器2102可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件或其他易失性固态存储器件。
该通信接口2103可以为通信模块的接口,如GSM模块的接口。
本申请还可以包括显示器2105和输入单元2104等等。
图5所示的终端的结构并不构成对本申请实施例中终端的限定,在实际应用中终端可以包括比图5所示的更多或更少的部件,或者组合某些部件。
本申请所述的终端可以是单个硬件设备,也可以是多个硬件设备组成的集群式终端。所谓云计算平台是采用计算虚拟化、网络虚拟化、存储虚拟化技术把多个独立的物理硬件资源组织成池化资源的一种业务形态,它是一种基于虚拟化技术发展基础上软件定义资源的结构,可以提供虚拟机、容器等形态的资源能力。通过消除硬件与操作系统之间的固定关系,依赖网络的连通统一资源调度,然后提供所需要的虚拟资源和服务。
目前的云计算平台支持几种服务模式:
SaaS(Software as a Service,软件即服务):云计算平台用户无需购买软件,而改为租用部署于云计算平台的软件,用户无需对软件进行维护,软件服务提供商会全权管理和维护软件;
PaaS(Platform as a Service,平台即服务):云计算平台用户(此时通常为软件开发商)可以在云计算平台提供的架构上建设新的应用,或者扩展已有的应用,同时却不必购买开发、质量控制或生产服务器;
IaaS(Infrastructure as a Service,基础架构即服务):云计算平台通过互联网提供了数据中心、基础架构硬件和软件资源,IaaS模式下的云计算平台可以提供服务器、操作系统、磁盘存储、数据库和/或信息资源。
说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例提供的系统而言,由于其与实施例提供的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。应当指出,对于本技术领域的普通技术人员来说,在不脱离本申请原理的前提下,还可以对本申请进行若干改进和修饰,这些改进和修饰也落入本申请权利要求的保护范围内。
还需要说明的是,在本说明书中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (10)

1.一种告警事件处理方法,其特征在于,包括:
基于告警事件日志,构建该告警事件日志所描述的告警有向图;
将所述告警有向图转换为向量化告警特征;
计算所述向量化告警特征与各告警日志簇的特征相似距离;
若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
2.根据权利要求1所述的告警事件处理方法,其特征在于,所述告警有向图具体为告警进程树;
相应地,所述将所述告警有向图转换为向量化告警特征包括:
利用特征向量化模型将所述告警有向图转换为向量化告警特征;
相应的,在将所述告警有向图转换为向量化告警特征之前,还包括:
获取告警日志数据集;
构建所述告警日志数据集中各告警日志对应的告警进程树;
遍历所述告警进程树的各个分支,得到告警特征;
将所述告警特征作为训练集,利用Graph2Vec算法进行模型训练,得到所述特征向量化模型。
3.根据权利要求2所述的告警事件处理方法,其特征在于,构建告警事件日志对应的告警进程树包括:
确定所述告警事件日志中的进程树字段信息;
以所述进程树字段信息作为节点,根据各所述节点之间的连接关系构建有向图形式的告警进程树。
4.根据权利要求2所述的告警事件处理方法,其特征在于,遍历所述告警进程树的各个分支,得到告警特征包括:
以所述告警进程树的根节点作为起点,以所述告警进程树的各末端作为终点确定若干分支;其中,所述告警进程树中的节点包含若干字符的字符串数据;
对于每个分支,设分支包含M个节点,拼接字符串的步进长度为1,确定拼接所述节点的拼接数量m,在每个所述分支中,第N个拼接字符串的拼接起始节点为N,字符串长度为m,得到N个拼接字符串;且N=M-m+1;
对于每个拼接字符串,利用滑动窗口从所述拼接字符串的第一个字符开始进行滑动分割,得到所述拼接字符串包含的所有分割字符串,将所述分割字符串作为告警特征。
5.根据权利要求1所述的告警事件处理方法,其特征在于,所述将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合之后,还包括:
生成每个所述告警日志簇对应的告警事件;所述告警事件被处置时,所述告警日志簇内的所有告警事件日志被同步处置。
6.根据权利要求1所述的告警事件处理方法,其特征在于,若与各告警日志簇的特征相似距离均不小于预设阈值,还包括:
建立告警有向图对应的新告警日志簇。
7.根据权利要求1或6所述的告警事件处理方法,其特征在于,还包括:
对所述告警事件日志进行字段处理,并以字符串格式保存至告警事件数据库。
8.一种告警事件处理系统,其特征在于,包括:
日志获取模块,用于基于告警事件日志,构建该告警事件日志所描述的告警有向图;
向量化处理模块,用于将所述告警有向图转换为向量化告警特征;
距离计算模块,用于计算所述向量化告警特征与各告警日志簇的特征相似距离;
告警事件处理模块,用于若存在特征相似距离小于预设阈值的目标告警日志簇,将所述告警事件日志添加至所述目标告警日志簇,以对所述告警有向图进行告警聚合。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的告警事件处理方法的步骤。
10.一种终端,其特征在于,包括存储器和处理器,所述存储器中存有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1-7任一项所述的告警事件处理方法的步骤。
CN202210759674.4A 2022-06-30 2022-06-30 一种告警事件处理方法、系统、存储介质和终端 Pending CN115168311A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210759674.4A CN115168311A (zh) 2022-06-30 2022-06-30 一种告警事件处理方法、系统、存储介质和终端

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210759674.4A CN115168311A (zh) 2022-06-30 2022-06-30 一种告警事件处理方法、系统、存储介质和终端

Publications (1)

Publication Number Publication Date
CN115168311A true CN115168311A (zh) 2022-10-11

Family

ID=83488913

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210759674.4A Pending CN115168311A (zh) 2022-06-30 2022-06-30 一种告警事件处理方法、系统、存储介质和终端

Country Status (1)

Country Link
CN (1) CN115168311A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116361112A (zh) * 2023-03-21 2023-06-30 奇点浩翰数据技术(北京)有限公司 一种告警收敛方法和装置
CN116467139A (zh) * 2023-03-27 2023-07-21 深圳市明源云科技有限公司 系统告警重复率检测方法、电子设备及可读存储介质
CN117539665A (zh) * 2024-01-09 2024-02-09 珠海金智维信息科技有限公司 针对告警事件的高效处理方法以及计算机可读存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116361112A (zh) * 2023-03-21 2023-06-30 奇点浩翰数据技术(北京)有限公司 一种告警收敛方法和装置
CN116361112B (zh) * 2023-03-21 2024-02-20 奇点浩翰数据技术(北京)有限公司 一种告警收敛方法和装置
CN116467139A (zh) * 2023-03-27 2023-07-21 深圳市明源云科技有限公司 系统告警重复率检测方法、电子设备及可读存储介质
CN116467139B (zh) * 2023-03-27 2024-06-07 深圳市明源云科技有限公司 系统告警重复率检测方法、电子设备及可读存储介质
CN117539665A (zh) * 2024-01-09 2024-02-09 珠海金智维信息科技有限公司 针对告警事件的高效处理方法以及计算机可读存储介质
CN117539665B (zh) * 2024-01-09 2024-04-12 珠海金智维信息科技有限公司 针对告警事件的高效处理方法以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN115168311A (zh) 一种告警事件处理方法、系统、存储介质和终端
US11340924B2 (en) Machine-learning based heap memory tuning
CN114710368B (zh) 一种安全事件检测方法、装置及计算机可读存储介质
CN109522454B (zh) 自动生成web样本数据的方法
CN111143039B (zh) 一种虚拟机的调度方法、装置及计算机存储介质
CN110597847A (zh) Sql语句自动生成方法、装置、设备及可读存储介质
CN116703659A (zh) 一种应用于工程咨询的数据处理方法、装置及电子设备
CN109597982B (zh) 摘要文本识别方法及装置
CN113360300B (zh) 接口调用链路生成方法、装置、设备及可读存储介质
CN112783508B (zh) 文件的编译方法、装置、设备以及存储介质
WO2023078009A1 (zh) 一种模型权重获取方法以及相关系统
CN113032534A (zh) 对话文本的分类方法和电子设备
US20230267342A1 (en) Iterative answer and supplemental information extraction for machine reading comprehension
CN115062769A (zh) 基于知识蒸馏的模型训练方法、装置、设备及存储介质
CN114297046A (zh) 基于日志的事件获取方法、装置、设备及介质
CN113821211A (zh) 命令解析方法、装置、存储介质和计算机设备
US20220005471A1 (en) Optimization apparatus, optimization method, and program
CN113760484A (zh) 数据处理的方法和装置
CN118093518B (zh) 模型的处理方法和装置、存储介质及电子设备
CN113779450B (zh) 页面访问方法和页面访问装置
CN115718696B (zh) 源码密码学误用检测方法、装置、电子设备和存储介质
CN113361249B (zh) 文档判重方法、装置、电子设备和存储介质
CN116483735B (zh) 一种代码变更的影响分析方法、装置、存储介质及设备
US20230153634A1 (en) Composite feature engineering
CN117493553A (zh) 文本分类方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination