CN116136897A - 信息处理方法以及装置 - Google Patents

信息处理方法以及装置 Download PDF

Info

Publication number
CN116136897A
CN116136897A CN202310152647.5A CN202310152647A CN116136897A CN 116136897 A CN116136897 A CN 116136897A CN 202310152647 A CN202310152647 A CN 202310152647A CN 116136897 A CN116136897 A CN 116136897A
Authority
CN
China
Prior art keywords
information
alarm information
alarm
sample
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310152647.5A
Other languages
English (en)
Inventor
郑岩
杨洪鑫
范晓宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Advanced Nova Technology Singapore Holdings Ltd
Original Assignee
Alipay Labs Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Labs Singapore Pte Ltd filed Critical Alipay Labs Singapore Pte Ltd
Priority to CN202310152647.5A priority Critical patent/CN116136897A/zh
Publication of CN116136897A publication Critical patent/CN116136897A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods

Abstract

本说明书实施例提供信息处理方法以及装置,其中信息处理方法包括:获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。利用多个告警信息的特征信息,从多个告警信息中准确确定出主告警信息以及至少一个目标告警信息,使得针对主告警信息进行告警处理,并将确定出来的主告警信息与至少一个目标告警信息进行信息聚合,降低了除主告警信息之外的告警信息造成的噪音,进一步提高了对告警信息进行处理的效率。

Description

信息处理方法以及装置
技术领域
本说明书实施例涉及计算机技术领域,特别涉及一种信息处理方法。
背景技术
随着计算机技术的发展,计算机技术在各个领域都得到了充分的应用,例如,在异常监测领域,为防止异常事件的漏报,会对各场景中的事件做系统性的覆盖。
通常情况下,在一个事件出现异常时,与该事件相关的上下游事件会出现相关异常,进而出现相关告警,通过对事件进行系统性的覆盖,避免了异常事件发生漏报的情况,但是事件的上下游事件通常是众多的,而为处理众多的相关告警,需要人工花费大量的时间去对各相关告警进行打标,以实现降噪,因此亟需一种节省人工成本,且对相关告警进行高效降噪的处理方法。
发明内容
有鉴于此,本说明书实施例提供了一种信息处理方法。本说明书一个或者多个实施例同时涉及一种信息处理装置,一种计算设备,一种计算机可读存储介质以及一种计算机程序,以解决现有技术中存在的技术缺陷。
根据本说明书实施例的第一方面,提供了一种信息处理方法,包括:
获取多个告警信息;
基于多个告警信息的特征信息,确定主告警信息;
根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;
将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。
根据本说明书实施例的第二方面,提供了一种信息处理装置,包括:
获取模块,被配置为获取多个告警信息;
主告警信息确定模块,被配置为基于多个告警信息的特征信息,确定主告警信息;
目标告警信息确定模块,被配置为根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;
获得模块,被配置为将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。
根据本说明书实施例的第三方面,提供了一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息处理方法的步骤。
根据本说明书实施例的第四方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令,该指令被处理器执行时实现上述信息处理方法的步骤。
根据本说明书实施例的第五方面,提供了一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述信息处理方法的步骤。
本说明书一个实施例获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。利用多个告警信息的特征信息,从多个告警信息中准确确定出主告警信息以及至少一个目标告警信息,使得针对主告警信息进行告警处理,并将确定出来的主告警信息与至少一个目标告警信息进行信息聚合,使得工作人员对告警信息进行处理时,可以从信息聚合得到的告警聚合结果中确定告警发生的根因,即主告警信息,即可优先针对主告警信息进行处理,降低了除主告警信息之外的告警信息对告警处理行为造成的噪音,避免工作人员遍历各告警信息进行人工标记,进一步提高了对告警信息进行处理的效率。
附图说明
图1是本说明书一个实施例提供的一种信息处理系统架构下的交互流程示意图;
图2是本说明书一个实施例提供的一种信息处理方法的流程图;
图3是本说明书一个实施例提供的一种信息处理方法的处理过程流程图;
图4是本说明书一个实施例提供的一种信息处理方法的系统图;
图5是本说明书一个实施例提供的一种信息处理装置的结构示意图;
图6是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本说明书内涵的情况下做类似推广,因此本说明书不受下面公开的具体实施的限制。
在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本说明书一个或多个实施例范围的情况下,第一也可以被称为第二,类似地,第二也可以被称为第一。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
首先,对本说明书一个或多个实施例涉及的名词术语进行解释。
告警聚合:将多个告警合并成一个告警的能力,通常需要合并的告警是具有相关性的,可以是一个系列的上下游问题,也可以是单点异常引起的批量问题。
智能运维(AIOps,Algorithm IT Operations):使用智能算法优化技术支持的工作,使得人工经验能够被机器学习,用算法替代人类专家的复杂工作,并进一步提升准确率。
无人值守:机器人可运行能够自行工作的自动化。许多处理流程的目标是端到端自动化,机器人能够独立执行整个流程,应用于本说明书中的无人值守决策系统。
注入攻击:把用户输入的数据当作代码执行,改变数据源的计数结果,不会真的修改日志和入侵生产系统。
复杂告警:当某个异常发生时,其上下游众多,监测复杂,导致会同时出现大量告警;比如监测系统在对事件监测中,核心服务出错,通常会导致与核心服务相关的上下游事件出现异常,进而导致多个告警在短时间出现。这时,由于告警产出的内容不同,在上下游事件的监测系统看来,会认为是不同问题导致,所以很容易出现误判,需要较多的时间和人力去排查。
随着计算机技术的发展,计算机技术在各个领域都得到了充分的应用,例如,在异常监测领域,为防止异常事件的漏报,会对各场景中的事件做系统性的覆盖。通常情况下,在一个事件出现异常时,与该事件相关的上下游事件会出现相关异常,进而出现相关告警,通过对事件进行系统性的覆盖,避免了异常事件发生漏报的情况,但是事件的上下游事件通常是众多的,而为处理众多的相关告警,提供了多种解决方式:
第一种是:需要人工花费大量的时间去对各相关告警进行打标,以实现降噪,但是需要花费高昂的人工成本;第二种是:算法模型聚类的方法,简单的可以把相似的告警聚合成一个类别,但是也需要人工调优聚类的参数,使得聚合的结果更有效,但是聚类方法的主要问题是过于简单粗暴,首先缺少一个主告警,即聚类的中心点,由算法产出的中心其实是概念性的,有时并不是真实的告警,所以整个聚类结果是有偏的。另外,由于聚类的核心数量需要人工指定,这个参数也是一个未知的,因为已知的场景数不能等同于告警的中心数;第三种是:通过一个预设的网络结构,可以描述完整的事件之间上下游关系,以及关系带来的全链路。知识图谱通过对上下游关系定义规则,可以形成一个主动发现的链条,比如,通过告警A,找到告警B,进而找到告警C,最终搜索全部,但是知识图谱对于先验的知识要求最高,不但网络结构是先验的,需要人工定义图谱;连规则也是需要先验,上下游的匹配主键,以及关联的阈值、时间窗,都是需要先验定义,所以需要配套一个规则引擎来处理人工定义的部分。
为解决上述技术问题,本说明书实施例通过获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。利用多个告警信息的特征信息,从多个告警信息中准确确定出主告警信息以及至少一个目标告警信息,使得针对主告警信息进行告警处理,并将确定出来的主告警信息与至少一个目标告警信息进行信息聚合,使得工作人员对告警信息进行处理时,可以从信息聚合得到的告警聚合结果中确定告警发生的根因,即主告警信息,即可优先针对主告警信息进行处理,降低了除主告警信息之外的告警信息对告警处理行为造成的噪音,避免工作人员遍历各告警信息进行人工标记,进一步提高了对告警信息进行处理的效率。
在本说明书中,提供了一种信息处理方法,本说明书同时涉及一种信息处理装置,一种计算设备,以及一种计算机可读存储介质,在下面的实施例中逐一进行详细说明。
参见图1,图1示出了根据本说明书一个实施例提供的一种信息处理系统架构下的交互流程示意图,如图1所示,该系统包括服务端0101和客户端0102。
服务端0101:用于获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果,将告警聚合结果发送至客户端0102。
客户端0102:用于接收服务端0101发送的告警聚合结果。
应用本说明书实施例的方案,获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。利用多个告警信息的特征信息,从多个告警信息中准确确定出主告警信息以及至少一个目标告警信息,使得针对主告警信息进行告警处理,并将确定出来的主告警信息与至少一个目标告警信息进行信息聚合,降低了除主告警信息之外的告警信息造成的噪音,进一步提高了对告警信息进行处理的效率。
参见图2,图2示出了根据本说明书一个实施例提供的一种信息处理方法的流程图,具体包括以下步骤。
步骤202:获取多个告警信息。
本说明书实施例应用于具有信息处理功能的客户端或者服务端,其中客户端或者服务端可以作为无人值守决策系统。
在有对告警信息进行处理的需求时,无人值守决策系统会获取多个告警信息,告警信息可以是用户通过前端输入、发起的,也可以是无人值守决策系统从存储告警信息的异常发生捕获系统获取多个告警信息。
具体地,告警信息是指事件出现异常时出现的信息,用于提醒用户或者监测系统当前事件出现了异常,告警信息可以包括告警文本信息和告警时序信息,告警文本信息是指描述告警的文本所组成的信息,告警时序信息是指告警出现过程对应的时序信息,可以是告警对应的事件从初始异常到告警出现整个过程中对应的信息,用时序数据进行表示得到。异常发生捕获系统是指事件在发生异常时,对异常进行捕获的系统,捕获得到的可以是告警信息。
本说明书一种可能的实现方式中,可以是接收前端发起的告警信息聚合请求,可以是请求中携带有多个告警信息,无人值守决策系统通过读取请求,获得请求中携带的多个告警信息,还可以是请求中未携带有多个告警信息,而是携带有告警信息存储数据库的位置以及信息标识,无人值守决策系统通过读取请求,获得请求中携带的告警信息存储数据库的位置以及位置标识,进而获得多个告警信息,其中,告警信息存储数据库可以是监测日志生产系统,监测日志生产系统是指对日志进行检测的系统,在需要时可以对日志进行提取,无人值守决策系统,通过监测日志生产系统获取各个场景的监测日志,并将监测日志按照事件及场景进行分类,并将监测日志加工成数据源,产出得到事件、场景、维度的按照时间顺序结果,生成监测时序,其中,维度包括商户、银行、支付核验、国家地区、币种等。
本说明书另一种可能的实现方式中,可以是在异常发生时,对应的告警随之发生,无人值守决策系统通过异常捕获系统捕获对应的告警信息,并依据捕获的告警信息进行后续的处理。
可选地,获取到多个告警信息后通常会将多个告警信息对应的场景进行分类,确定主要场景,进而针对主要场景中的告警信息进行后续处理。
通过获取多个告警信息,以使后续可以基于获取到的多个告警信息进行特征信息的提取,并基于提取到的特征信息确定主告警信息和至少一个目标告警信息,并将主要告警信息和至少一个目标告警信息进行信息聚合,获得告警聚合结果,也即获取多个告警信息是必不可少的一个操作,为后续处理奠定了数据基础。
步骤204:基于多个告警信息的特征信息,确定主告警信息。
本说明书一个或多个实施例,在获取到多个告警信息后,提取各告警信息的特征信息,并基于多个告警信息的特征信息,确定主告警信息,进而使得后续基于确定的主告警信息进行信息聚合。
具体地,特征信息是指表征告警信息的特征的信息,特征信息可以是特征向量,可以是通过将告警信息中的信息维度进行降维获取得到。主告警信息是指多个告警信息中的主要告警信息,在造成异常事件中所占权重最大,比如,事件A出现异常,引起事件A的上游事件B也出现异常,同时引起事件A的下游事件C也出现异常,则确定事件A对应的信息为主告警信息。
基于多个告警信息的特征信息,确定主告警信息,具体是基于多个告警信息进行特征提取,获得多个告警信息的特征信息,根据多个告警信息的特征信息,确定主告警信息,其中,对告警信息进行特征提取是由于告警信息中包含很多冗余信息或者告警信息对应的特征维度十分稀疏,如果直接用告警信息进行处理,可能会导致输出的结果较为低效,故需要先对告警信息进行特征提取,得到告警信息的特征信息。
可选地,从告警信息中提取特征信息可以是利用特征提取模型对特征进行提取。
基于多个告警信息的特征信息,确定主告警信息的具体实现方式有多种,一种可能的实现方式中,可以是利用神经网络模型,确定主告警信息;另一种可能的实现方式中,可以是将多个告警信息的特征信息与预设特征信息进行匹配,根据匹配结果确定主告警信息,具体可以是,将多个告警信息的特征信息与预设特征信息进行匹配,获得匹配结果,在匹配结果大于预设匹配阈值的情况下,确定主告警信息。
可选地,上述步骤204,包括如下具体步骤:
将多个告警信息的特征信息输入至预先训练的信息评分模型,获得主告警信息,其中,信息评分模型为基于样本告警信息及样本告警信息对应的样本评分标签训练得到的神经网络模型。
具体地,信息评分模型是指基于模型参数对告警信息的特征信息进行评分的神经网络模型。样本告警信息是指对信息评分模型进行训练的样本数据。样本评分标签是指对信息评分模型进行训练的样本数据对应的标签,样本告警信息和样本评分标签对于信息评分模型是已知的,需要基于已知的数据对信息评分模型进行训练,提高信息评分模型的准确度,进而使得将多个告警信息的特征信息输入至预先训练的信息评分模型时,可获得主告警信息。
可选地,信息评分模型可以是二分类模型,该二分类模型输出的结果可以是0、1或0至1之间的任意数字,具体输出结果根据输入的告警信息的特征信息的不同而不同。
将多个告警信息的特征信息输入至预先训练的信息评分模型获得主告警信息的实现方式,可以是将多个告警信息的特征信息,以多个的形式或者同时输入的形式,输入至预先训练的信息评分模型,还可以是将多个告警信息的特征信息分多次,以单个的形式输入至预先训练的信息评分模型,获得主告警信息,具体实现方式的选择与信息评分模型所能实现的功能或者需求相关,在本说明书实施例中不做限定。
将多个告警信息的特征信息输入至预先训练的信息评分模型,获得主告警信息,具体是将多个告警信息的特征信息输入至预先训练的信息评分模型,获得各告警信息对应的评分结果,根据评分结果,确定主告警信息。
应用本说明书实施例的方案,将多个告警信息输入至预先训练的信息评分模型,获得主告警信息,利用信息评分模型的高准确性,使得获得的主告警信息的准确性也更多,进而提高了后续基于主告警信息进行信息聚合的效率。
可选地,上述步骤将多个告警信息的特征信息输入至预先训练的信息评分模型,获得主告警信息,包括如下具体步骤:
将多个告警信息的特征信息输入至信息评分模型,获得多个告警信息分别对应的评分结果;
将评分结果满足预设选定条件的告警信息,确定为主告警信息。
具体地,评分结果是指利用信息评分模型对告警信息的特征信息进行评分得到的结果,评分结果表征告警信息在复杂告警中所占权重的大小。预设选定条件是指预先设置对主告警信息进行选定的条件。
可选地,在获得多个告警信息分别对应的评分结果的情况下,预设选定条件可以是从评分结果中选定最大的告警信息为主告警信息,还可以是将评分结果由大到小排序,选定第一个评分结果对应的告警信息为主告警信息,还可以是将评分结果由小到大排序,选定最后一个告警信息为主告警信息。
示例性地,预设选定条件是选定评分结果最高的告警信息为主告警信息,将告警信息a、告警信息b、告警信息c对应的特征信息输入至预先训练的信息评分模型,获得告警信息a、告警信息b、告警信息c分别对应的评分结果,其中,告警信息a对应的评分结果最小,小于告警信息b对应的评分结果,告警信息b对应的评分结果小于告警信息c对应的评分结果,则选定评分结果最高的告警信息c为主告警信息。
可选地,在获取到多个告警信息时,并未对该多个告警信息对应的场景进行识别时,有多种实现方式,一种可能的实现方式,可以是在将多个告警信息的特征信息输入至信息评分结果,获得多个告警信息分别对应的评分结果之前,先识别多个告警信息对应事件的场景,按照场景对告警信息进行分类,确定主要场景,并将主要场景中的多个告警信息输入至预先训练的信息评分模型,获得多个告警信息分别对应的评分结果,其中,主要场景的确定可以是由用户进行选择,也可以是将占比最大的场景作为主要场景;另一种可能的实现方式,可以是在获取到多个告警信息分别对应的评分结果后,将满足预设选定条件的评分结果发送至前端,由用户选定主告警信息。
应用本说明书实施例的方案,将多个告警信息的特征信息输入至信息评分模型,获得多个告警信息分别对应的评分结果,并将满足预设选定条件的评分结果对应的告警信息确定为主告警信息,利用预先训练的信息评分模型获得的多个告警信息分别对应的评分结果,并基于评分结果对主告警信息进行筛选确定,使得确定出来的主告警信息的准确性更高。
可选地,信息评分模型的训练过程,包括如下具体步骤:
获取样本集,其中,样本集包括样本告警信息与样本告警信息对应的样本评分标签;
将样本告警信息的特征信息输入至信息评分模型,获得样本告警信息对应的预测评分结果;
将预测评分结果与样本评分标签进行比对,确定损失值;
根据损失值,调整信息评分模型的模型参数,并继续训练信息评分模型,直至达到训练停止条件。
具体地,样本集是指在对信息评分模型的各参数进行调整时使用的数据、标签集合,是训练样本所组成的集合,比如,样本集可以是多个告警信息,该些告警信息中的主告警信息是已经被标记好的,则可以根据该些告警信息确定出样本集,样本集中包含的样本告警信息及样本告警信息对应的样本评分标签可以是从监测日志生产系统中获取得到的。预测评分结果是指根据样本告警信息的特征信息预测得到的评分结果,该预测评分结果并不是样本告警信息真实的评分结果,是通过信息评分模型获得的。损失值是指预测评分结果与样本评分标签之间的差别,表征信息评分模型的输出与真实数据之间的差值。训练停止条件是指达到某一条件,则停止对模型的训练,比如,损失值达到预设损失值阈值,模型迭代次数达到预设次数阈值等。
获取样本集,对信息评分模型进行模型训练具体是使用注入攻击的方式,发起佯攻,用于利用告警聚合训练系统对信息评分模型进行模型训练。
可选地,将预测评分结果与样本评分标签进行比对,确定损失值,具体是将预测评分结果与样本评分标签代入损失函数进行计算,计算得到损失值,其中,计算损失值的损失函数有很多,比如,交叉熵损失函数、L1范数损失函数、最大损失函数、均方误差损失函数、对数损失函数等,具体根据实际情况进行选择,本说明书实施例对此不作任何限定。
根据损失值,调整信息评分模型的模型参数,并继续训练信息评分模型,直至达到训练停止条件,具体是根据损失值,对信息评分模型中的模型参数进行调整,并返回执行将样本告警信息输入至信息评分模型的步骤,利用信息评分模型继续进行预测,直至该信息评分模型达到训练停止条件,则获得训练后的信息评分模型,其中,返回执行的步骤中的样本告警信息是与返回执行之前的步骤对应的样本告警信息通常是不同的。
应用本说明书实施例的方案,通过将获取的样本集中的样本告警信息输入至信息评分模型,并获得预测评分结果,进而基于预测评分结果与样本评分标签进行比对,确定损失值,基于损失值对信息评分模型进行调整,并继续进行训练,直至达到训练停止条件,获得信息评分模型,通过样本集中的样本数据对信息评分模型进行训练,获得信息评分模型,使得信息评分模型的预测效率高。
可选地,上述步骤获取样本集,包括如下具体步骤:
获取多个样本告警信息,其中,多个样本告警信息包括样本主告警信息;
基于样本主告警信息的特征信息,确定标准特征信息;
将样本目标告警信息的特征信息与标准特征信息进行匹配,确定匹配结果,其中,样本目标告警信息为多个样本告警信息中的任一个;
根据匹配结果,确定样本目标告警信息对应的样本评分标签。
具体地,样本告警信息可以是从监测日志生产系统中获取得到的,样本告警信息中可以携带有样本告警文本信息和样本告警时序信息。样本主告警信息是指样本告警信息中已知的主告警信息,作为样本主告警信息。标准特征信息是指告警聚合中的标准主告警信息对应的特征信息,其中,标准主告警信息通常是指真实主告警信息。匹配结果表征样本目标告警信息的特征信息与标准特征信息之间的匹配程度,其中匹配结果可以是分值的形式,比如,匹配结果可以是0.8,80%等。
可选地,获取多个样本告警信息,无人值守决策系统通过监测日志生产系统监测到由批量告警录入时,自动获取多个告警信息作为样本告警信息进行训练;还可以是信息评分模型在应用过程中,无法确定主告警信息,则将该无法确定对应的批量告警信息作为样本告警信息。
基于样本主告警信息的特征信息,确定标准特征信息,具体是将基于样本主告警信息,提取得到样本主告警信息的特征信息,基于特征信息,确定标准特征信息,其中,基于特征信息,确定标准特征信息,可以是将主告警信息的特征信息作为标准特征信息。
将样本目标告警信息的特征信息与所述标准特征信息进行匹配,确定匹配结果,具体是,特征信息包括文本特征信息和时序特征信息,将文本特征信息与时序特征信息分别进行匹配,基于匹配得到的两个子匹配结果,确定匹配结果。
根据匹配结果,确定样本目标告警信息对应的样本评分标签,具体是将匹配结果作为样本目标告警信息对应的样本评分标签。
应用本说明书实施例的方案,获取多个样本告警信息,基于主样本告警信息的特征信息确定标准特征信息,并将样本目标告警信息与标准样本特征信息进行匹配,确定匹配结果,基于匹配结果确定各样本告警信息对应的样本评分标签,使得确定出来的各样本告警信息对应的样本评分标签是根据真实告警信息确定出来的,提高了确定样本评分标签的准确度,进而提高了后续利用信息评分模型确定主告警信息的效率。
可选地,信息处理方法,还包括如下具体步骤:
获取样本告警聚合结果,其中,样本告警聚合结果包括主告警信息以及与主告警信息具有聚合关系的至少一个聚合告警信息;
确定至少一个聚合告警信息的特征信息与主告警信息的特征信息之间的相似度;
基于相似度,确定预设相似度阈值。
本说明书一个或多个实施例中,预先根据样本告警聚合结果,确定样本告警聚合结果中包含的样本告警信息对应的相似度确定预设相似度阈值,以使后续基于预设相似度阈值及多个告警信息进行信息聚合。
具体地,样本告警聚合结果可以是根据监测日志生产系统中获取得到的多个样本告警信息经过信息聚合处理得到的,样本告警聚合结果包括主告警信息以及与主告警信息具有聚合关系的至少一个聚合告警信息。聚合关系是指告警信息之前的关联关系,比如两个告警信息对应的事件处于上下游,且其中一个事件产生告警的原因是另外一个事件出现异常,则确定该两个告警信息具有聚合关系。聚合告警信息是指与主告警信息具有聚合关系的告警信息。
确定至少一个聚合告警信息的特征信息与主告警信息的特征信息之间的相似度,可以是按照余弦相似度或者欧式距离,计算得到至少一个聚合告警信息的特征信息与主告警信息的特征信息之间的相似度,具体利用余弦相似度计算相似度的计算公式如下式(1):
Figure BDA0004093087980000101
其中,X与Y分别表示计算相似度的两个告警信息分别对应的特征信息,其中,Xi表示告警信息的特征信息X中的第i个时序数据,Yi表示告警信息的特征信息Y中的第i个时序数据,n表示特征信息中时序数据的总个数,cos(θ)表示两个特征信息之间的相似度,cos为余弦。
确定至少一个聚合告警信息的特征信息与主告警信息的特征信息之间的相似度,具体是,基于至少一个聚合告警信息中包含的聚合告警文本信息和聚合告警时序信息进行特征信息的提取,获得聚合文本特征信息和聚合时序特征信息,同理获得主告警信息对应的主文本特征信息和主时序特征信息;将聚合文本特征信息与主文本特征信息按照式(1)的计算方式得到第一相似度,将聚合时序特征信息与主时序特征信息按照式(1)的计算方式得到第二相似度,基于第一相似度与第二相似度,确定相似度。
基于至少一个聚合告警信息中包含的聚合告警文本信息进行特征信息的提取,可以是计算聚合告警文本的词向量,词向量按照顺序抽取,可以获得聚合告警文本词向量集合,该词向量集合是一个时序。
基于第一相似度与第二相似度,确定相似度,可以是将第一相似度与第二相似度相加或者按照权重进行计算再相加,将相加得到的结果作为相似度。
基于相似度,确定预设相似度阈值,具体是,基于至少一个聚合告警信息与主告警信息之间的相似度,确定预设相似度,进一步具体是,将至少一个聚合告警信息与主告警信息之间的最小的相似度对应的相似度,作为预设相似度阈值。
应用本说明书实施例的方案,获得样本告警聚合结果,确定至少一个聚合告警信息主告警信息之间的相似度,并基于相似度,确定预设相似度阈值,使得预设相似度阈值时基于真实的样本告警聚合结果经过处理获得的,进而实现了确定预设相似度阈值的准确性。
可选地,在上述步骤基于样本告警聚合结果与相似度,确定预设相似度阈值之后,还包括如下具体步骤:
将样本告警聚合结果与预设相似度阈值发送给用户;
在接收到用户反馈的调整信息的情况下,更新预设相似度阈值。
本说明书一个或多个实施例中,在根据样本告警聚合结果生成预设相似度后,可以将样本告警聚合结果与预设相似度发送给用户,并在接收到用户返回的调整信息的情况下,更新预设相似度阈值,获得更新后的预设相似度阈值,使得更新后的相似度阈值是用户认可调整过的,提高了后续基于预设相似度阈值进行处理的效率。
具体地,调整信息是指针对预设相似度阈值进行调整的信息,调整信息中可以包括用户输入的预设相似度阈值,还可以包括用户选定的遗漏的聚合告警信息。
在接收到用户反馈的调整信息的情况下,更新预设相似度阈值,具体实现方式根据调整信息的不同而不同,具体更新方式根据调整信息的不同进行不同的调整,本说明书在此不做限定。
本说明书一种可能的实现方式中,若调整信息包括用户输入的预设相似度阈值,则将用户输入的预设相似度阈值作为更新后的预设相似度阈值。
本说明书另一种可能的实现方式中,若调整信息包括用户选定的遗漏的聚合告警信息,则重新确定遗漏的聚合告警信息的特征信息与主告警信息的特征信息之间的相似度,并基于相似度重新确定预设相似度阈值。
在将告警聚合结果与预设相似度阈值发送给用户后,在没有接收到用户反馈的调整信息的情况下,不对预设相似度阈值做调整。
应用本说明书实施例的方案,将告警聚合结果与预设相似度阈值发送给用户,在接收到用户反馈的调整信息的情况下,更新预设相似度阈值,使得确定的预设相似度阈值是符合用户要求的。
可选地,信息处理方法,还包括如下具体步骤:
若将多个告警信息的特征信息输入至预先训练的信息评分模型,无法获得主告警信息,则生成识别失败信息;
将识别失败信息发送给用户,并接收用户返回的针对识别失败信息对应的标记信息;
基于标记信息,生成多个告警信息分别对应的样本评分标签;
基于多个告警信息及多个告警信息分别对应的样本评分标签,生成样本集。
本说明书一个或多个实施例中,若无法依据多个告警信息与预先训练的信息评分模型,获得主告警信息,则生成识别失败信息,并将识别失败信息发送给用户,并接收用户针对识别失败信息的标记信息,基于标记信息,获得多个告警信息对应的样本评分标签,进而生成样本集,以使基于样本集对信息评分模型进行训练。
具体地,识别失败信息是指基于信息评分模型,获得主告警信息失败的信息,识别失败信息代表信息评分模型中没有与当前多个告警信息的场景适配的模型参数。标记信息是指针对具有聚合关系的多个告警信息进行标记的信息,通过标记信息可以确定多个告警信息中的主告警信息以及与主告警信息具有聚合关系的聚合告警信息,标记信息可以包括多个告警信息与多个告警信息对应的标记。
若将所述多个告警信息的特征信息输入至预先训练的信息评分模型,无法获得主告警信息,具体是将多个告警信息输入至预先训练的信息评分模型,无法得到多个告警信息分别对应的评分结果,进而无法基于评分结果确定主告警信息。
基于所述标记信息,生成所述多个告警信息分别对应的样本评分标签,具体是基于标记信息,确定多个告警信息中的主告警信息以及与主告警信息具有聚合关系的聚合告警信息,基于主告警信息与聚合告警信息,生成多个告警信息分别对应的样本评分标签。
基于所述多个告警信息及所述多个告警信息分别对应的所述样本评分标签,生成样本集,具体是将多个告警信息中的聚合告警信息与主告警信息作为样本告警信息,并将样本告警信息及样本告警信息对应的样本评分标签作为样本集。
应用本说明书实施例的方案,若将多个告警信息的特征信息输入至预先训练的的信息评分模型,无法获得主告警信息,则通过与用户的发送与返回的信息,确定样本集,对信息评分模型进行继续训练,提高了信息评分模型的泛化能力。
步骤206:根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应。
本说明书一个或多个实施例中,在多个告警信息中确定出主告警信息后,根据多个告警信息的特征信息,从多个告警信息中确定出与主告警信息具有聚合关系的至少一个目标告警信息,使得后续可以基于主告警信息与至少一个目标告警信息进行信息聚合。
具体地,目标告警信息是指与主告警信息具有聚合关系的告警信息。
可选地,根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,可以是对多个告警信息进行特征提取,获得多个告警信息对应的特征信息,基于特征信息,从多个告警信息中确定至少一个目标告警信息。其中,基于特征信息,从多个告警信息中确定至少一个目标告警信息,具体是基于除主告警信息之外的其他告警信息的特征信息与主告警信息的特征信息,确定至少一个目标告警信息;还可以是利用多个告警信息的特征信息与神经网络模型,从多个告警信息中确定至少一个目标告警信息。
可选地,上述步骤206,包括如下具体步骤:
根据多个告警信息与主告警信息,确定待处理告警信息集合;
将待处理告警信息集合中各告警信息的特征信息与主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息。
具体地,待处理告警信息集合是指等待被确定与主告警信息是否具有聚合关系的告警信息组成的集合。比对结果表征两个告警信息之间的关联程度,其中,关联是指在事件异常维度,两个告警信息之间的关系。
根据多个告警信息,确定待处理告警信息集合,具体是将主告警信息从多个告警信息中去除,将剩余的告警信息称作待处理告警信息集合。
将待处理告警信息集合中各告警信息的特征信息与主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息,具体是将待处理告警信息集合中的各待处理告警信息分别与主告警信息进行相似度计算,计算得到相似度,根据相似度,确定至少一个目标告警信息,其中,计算相似度可利用余弦相似度或者欧氏距离进行计算。
应用本说明书实施例的方案,根据多个告警信息与主告警信息,确定待处理告警信息集合,将待处理告警信息集合中的各告警信息的特征信息分别与主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息,使得确定出来的至少一个目标告警信息是与主告警信息相对应的,便于后续基于至少一个目标告警信息与主告警信息进行信息聚合。
可选地,上述步骤将待处理告警信息集合中各告警信息的特征信息与主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息,包括如下具体步骤:
确定待处理告警信息的特征信息与主告警信息的特征信息之间的信息相似度,其中,待处理告警信息为待处理告警信息集合中的任一个告警信息;
在信息相似度大于预设相似度阈值的情况下,确定待处理告警信息为目标告警信息。
具体地,信息相似度是指两个告警信息之间的相似性。待处理告警信息是指等待被与主告警信息进行相似度计算的告警信息,且待处理告警信息被包含在待处理告警信息集合中。
确定待处理告警信息的特征信息与主告警信息的特征信息之间的相似度,具体是计算待处理告警信息的特征信息与主告警信息的特征信息之间的余弦相似度,计算余弦相似度的方式参见式(1)。
在信息相似度大于预设相似度阈值的情况下,确定待处理告警信息为目标告警信息,具体是将余弦相似度与预设相似度阈值进行比较,在余弦相似度大于预设相似度阈值的情况下,确定余弦相似度对应的待处理告警信息为目标告警信息。
应用本说明书实施例的方案,确定待处理告警信息的特征信息与主告警信息的特征信息之间的信息相似度,在信息相似度大于预设相似度阈值的情况下,确定待处理告警信息为目标告警信息,使得确定得到的目标告警信息是基于与主告警信息进行相似度计算得到的,提高了确定目标告警信息的效率。
可选地,特征信息包括文本特征信息和时序特征信息;确定待处理告警信息的特征信息与主告警信息的特征信息之间的信息相似度,包括如下具体步骤:
确定待处理告警信息的文本特征信息与主告警信息的文本特征信息之间的相似度,获得文本相似度;
确定待处理告警信息的时序特征信息与主告警信息的时序特征信息之间的相似度,获得时序相似度;
基于文本相似度与时序相似度,确定信息相似度。
具体地,文本特征信息是指基于告警信息的告警文本信息进行特征提取获得的特征信息,其中,文本特征信息的形式可以是一个时序向量。时序特征信息是指对告警信息的告警时序信息进行特征提取获得的特征信息,时序特征信息的形式可以是一个时序向量。
确定待处理告警信息的文本特征信息与主告警信息的文本特征信息之间的相似度,获得文本相似度,具体是利用上述式(1)或者欧式距离计算待处理告警信息的文本特征信息与主告警信息的文本特征信息之间的相似度。
确定待处理告警信息的时序特征信息与主告警信息的时序特征信息之间的相似度,获得时序相似度,具体是利用上述式(1)或者欧式距离计算待处理告警信息的时序特征信息与主告警信息的时序特征信息之间的相似度。
基于文本相似度与时序相似度,确定信息相似度,具体是将文本相似度与时序相似度进行相加,获得信息相似度。
确定信息相似度的确定方式需要与确定预设相似度阈值的确定方式一致,比如,预设相似度阈值在确定过程中使用的是余弦相似度,则确定信息相似度也是用余弦相似度;预设相似度阈值在确定过程中使用的是欧氏距离,则确定信息相似度也是用欧氏距离。
应用本说明书实施例的方案,通过对特征信息中包含的文本特征信息和时序特征信息对应的相似度分别进行计算,进而确定信息相似度,使得确定出来的信息相似度是包含多方面的特征的,进而基于信息相似度确定出来的至少一个目标告警信息更加的准确。
步骤208:将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。
本说明书一个或多个实施例中,在基于多个告警信息的特征信息依次确定得到主告警信息和至少一个目标告警信息之后,将主告警信息与至少一个目标告警信息进行信息聚合,获得告警聚合结果。
可选地,告警聚合结果的形式可以是将主告警信息放置于中心,将目标告警信息呈周围环状显示,还可以是将主告警信息放置在首位,目标告警信息依次排列,放置于主告警信息的后面。
将至少一个目标告警信息与主告警信息进行信息聚合,可以是将至少一个目标告警信息与主告警信息之间的信息按照信息维度和结果指标进行聚合,其中,结果指标一般用于做产品或运营活动的最终整体评价,也即根据告警信息中的维度,对告警信息做整体评价,获得结果指标,具体是按照至少一个目标告警信息与主告警信息对应的结果指标进行信息聚合;还可以是将至少一个目标告警信息合并至主告警信息中。
在获得告警聚合结果之后,可以将告警聚合结果以文本的形式反馈给用户,文本的形式发送,具体是将告警聚合结果作为正文,合并的至少一个目标告警信息的告警文本信息作为附录,并将主告警信息作为根因发送给对应的用户,该用户可以是对告警进行处理的工作人员,其中,可以将正文和附录发送给上下游事件对应的工作人员,将正文、附录和根因发送给主告警信息对应事件的工作人员。
应用本说明书实施例的方案,针对复杂告警,采用无人值守决策系统聚合告警信息,有效降低了大量告警造成的噪音以及人工处理的成本,且无人值守决策系统对于新场景、新样本的学习是自动处理的,提高了对信息处理的自动化程度。另外,针对任一场景,在识别主告警信息的实现方式中,有与场景对应的主告警信息的特征,用于从多个告警信息中确定主告警信息,以及在识别至少一个目标告警信息的实现方式中,有与场景、主告警信息的特征对应的预设相似度阈值,用以确定至少一个目标告警信息。
下述结合附图3,以本说明书提供的信息处理方法在异常告警场景的应用为例,对所述信息处理方法进行进一步说明。其中,图3示出了根据本说明书一个实施例提供的一种信息处理方法的处理过程流程图,具体包括以下步骤。
步骤302:获取多个告警信息。
当大量异常发生时,针对异常会产生大量的告警信息,获得告警信息1、告警信息2、告警信息3、告警信息4。
步骤304:将多个告警信息的特征信息输入至信息评分模型,获得多个告警信息分别对应的评分结果。
将告警信息1、告警信息2、告警信息3、告警信息4输入至信息评分模型,获得各告警信息对应的评分结果1、评分结果2、评分结果3、评分结果4。
步骤306:将评分结果满足预设选定条件的告警信息,确定为主告警信息。
将评分结果1、评分结果2、评分结果3、评分结果4按照从大到小的顺序进行排序,得到:评分结果2、评分结果3、评分结果1、评分结果4,将排在第一个的评分结果2对应的告警信息2确定为主告警信息。
步骤308:根据多个告警信息与主告警信息,确定待处理告警信息集合。
将告警信息1、告警信息3、告警信息4作为待处理告警信息集合。
步骤310:确定待处理告警信息的特征信息与主告警信息的特征信息之间的信息相似度,其中,待处理告警信息为待处理告警信息集合中的任一个告警信息。
分别计算告警信息1的特征信息、告警信息3的特征信息、告警信息4的特征信息与告警信息2的特征信息之间的余弦相似度,获得余弦相似度1、余弦相似度3、余弦相似度4。
步骤312:在信息相似度大于预设相似度阈值的情况下,确定待处理告警信息为目标告警信息。
比较余弦相似度1、余弦相似度3、余弦相似度4与预设相似度阈值之间的大小,其中,余弦相似度1与余弦相似度3均比预设相似度阈值大,则确定告警信息1与告警信息3为目标告警信息。
步骤314:将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。
将告警信息1、告警信息3与告警信息2进行信息聚合,获得告警聚合结果,并基于告警聚合结果生成文本,将文本反馈给针对告警信息对异常进行处理的工作人员,其中,文本的正文为告警聚合结果,附录为告警信息1与告警信息3最硬的场景、维度和结果指标,并将告警信息2作为根因进行发送,发送给对应的工作人员。
应用本说明书实施例的方案,获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。利用多个告警信息的特征信息,从多个告警信息中准确确定出主告警信息以及至少一个目标告警信息,使得针对主告警信息进行告警处理,并将确定出来的主告警信息与至少一个目标告警信息进行信息聚合,使得工作人员对告警信息进行处理时,可以从信息聚合得到的告警聚合结果中确定告警发生的根因,即主告警信息,即可优先针对主告警信息进行处理,降低了除主告警信息之外的告警信息对告警处理行为造成的噪音,避免工作人员遍历各告警进行人工标记,进一步提高了对告警信息进行处理的效率。
下述结合附图4,图4示出了根据本说明书一个实施例提供的信息处理方法的系统图,具体包括以下步骤。
信息处理系统包括:无人值守决策系统、监测日志生产系统、告警聚合训练系统、异常发生捕获系统、告警聚合系统,其中,信息处理系统中的无人值守决策系统是对智能运维的应用。
无人值守决策对监测日志生产系统的控制:1、获得结果统计数据,监测日志数据仓,将日志数据仓中的日志数据加工成数据源,产出按照事件、场景和维度每分钟的结果统计数据。2、生成告警信息,将时间以及结果统计数据进行整合,形成告警信息,告警信息包括告警时序信息和告警文本。
无人值守决策系统对告警聚合训练系统的控制:1、注入攻击,训练信息评分模型,使用注入攻击的方式,利用告警聚合训练系统度告警聚合系统进行训练,训练方式具体是,拆解多个告警信息的维度,确定多个告警信息所属的场景,确定目标场景,利用目标场景中的多个告警信息中的主告警信息,将主告警信息的特征信息作为标准特征信息,将多个告警信息的特征信息分别与标准特征信息进行匹配,获得匹配分值,其中,标准特征信息包括文本特征信息和时序特征信息。将目标场景中的多个告警信息作为样本告警信息,将对应的匹配分值作为与样本告警信息对应的样本评分标签,对信息评分模型进行训练,获得训练后的信息评分模型。2、确定预设相似度阈值,获取目标场景包含的多个告警信息对应的样本告警聚合结果,确定样本聚合结果中的主告警信息和聚合告警信息之间的相似度,将相似度中的最小值作为预设相似度阈值。3、人工调参优化,并将预设相似度阈值返回给用户,由人工进行调优预设相似度阈值。
无人值守决策系统对异常发生捕获系统的控制:1、捕获复杂告警,在大量异常发生时,将大量异常对应的告警信息进行捕获,获得多个告警信息。
无人值守决策系统对告警聚合系统的控制:1、利用信息评分模型确定主告警信息,将多个告警信息的特征信息输入至信息评分模型,获得多个告警信息对应的评分结果,选定评分最大的告警信息为主告警信息;若无法识别到主告警,则基于该多个告警信息对信息评分模型进行继续训练;2、确定至少一个目标告警信息,将多个告警信息中除主告警信息之外的其他告警信息的特征信息与主告警信息的特征信息计算相似度,将相似度大于相似度阈值的告警信息确定为目标告警信息;3、获得告警聚合结果,将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。
应用本说明书实施例的方案,获取多个告警信息;基于多个告警信息的特征信息,确定主告警信息;根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。利用多个告警信息的特征信息,从多个告警信息中准确确定出主告警信息以及至少一个目标告警信息,使得针对主告警信息进行告警处理,并将确定出来的主告警信息与至少一个目标告警信息进行信息聚合,使得工作人员对告警信息进行处理时,可以从信息聚合得到的告警聚合结果中确定告警发生的根因,即主告警信息,即可优先针对主告警信息进行处理,降低了除主告警信息之外的告警信息对告警处理行为造成的噪音,避免工作人员遍历各告警进行人工标记,进一步提高了对告警信息进行处理的效率。
与上述方法实施例相对应,本说明书还提供了信息处理装置实施例,图5示出了根据本说明书一个实施例提供的一种信息处理装置的结构示意图。如图5所示,该装置包括:
获取模块502,被配置为获取多个告警信息;
主告警信息确定模块504,被配置为基于多个告警信息的特征信息,确定主告警信息;
目标告警信息确定模块506,被配置为根据多个告警信息的特征信息,从多个告警信息中确定至少一个目标告警信息,其中,目标告警信息与主告警信息相对应;
获得模块508,被配置为将至少一个目标告警信息与主告警信息进行信息聚合,获得告警聚合结果。
可选地,主告警信息确定模块504,进一步被配置为将多个告警信息的特征信息输入至预先训练的信息评分模型,获得主告警信息,其中,信息评分模型为基于样本告警信息及样本告警信息对应的样本评分标签训练得到的神经网络模型。
可选地,主告警信息确定模块504,进一步被配置为将多个告警信息的特征信息输入至信息评分模型,获得多个告警信息分别对应的评分结果;将评分结果满足预设选定条件的告警信息,确定为主告警信息。
可选地,信息处理装置还包括训练模块,被配置为获取样本集,其中,样本集包括样本告警信息与样本告警信息对应的样本评分标签;将样本告警信息的特征信息输入至信息评分模型,获得样本告警信息对应的预测评分结果;将预测评分结果与样本评分标签进行比对,确定损失值;根据损失值,调整信息评分模型的模型参数,并继续训练信息评分模型,直至达到训练停止条件。
可选地,训练模块,进一步被配置为获取多个样本告警信息,其中,多个样本告警信息包括样本主告警信息;基于样本主告警信息的特征信息,确定标准特征信息;将样本目标告警信息的特征信息与标准特征信息进行匹配,确定匹配结果,其中,样本目标告警信息为多个样本告警信息中的任一个;根据匹配结果,确定样本目标告警信息对应的样本评分标签。
可选地,信息处理装置还包括预设相似度阈值确定模块,被配置为获取样本告警聚合结果,其中,样本告警聚合结果包括主告警信息以及与主告警信息具有聚合关系的至少一个聚合告警信息;确定至少一个聚合告警信息的特征信息与主告警信息的特征信息之间的相似度;基于相似度,确定预设相似度阈值。
可选地,在预设相似度阈值确定模块之后,还包括更新模块,被配置为将样本告警聚合结果与预设相似度阈值发送给用户;在接收到用户反馈的调整信息的情况下,更新预设相似度阈值。
可选地,目标告警信息确定模块506,进一步被配置为根据多个告警信息与主告警信息,确定待处理告警信息集合;将待处理告警信息集合中各告警信息的特征信息与主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息。
可选地,目标告警信息确定模块506,进一步被配置为确定待处理告警信息的特征信息与主告警信息的特征信息之间的信息相似度,其中,待处理告警信息为待处理告警信息集合中的任一个告警信息;在信息相似度大于预设相似度阈值的情况下,确定待处理告警信息为目标告警信息。
可选地,特征信息包括文本特征信息和时序特征信息;目标告警信息确定模块506,进一步被配置为确定待处理告警信息的文本特征信息与主告警信息的文本特征信息之间的相似度,获得文本相似度;确定待处理告警信息的时序特征信息与主告警信息的时序特征信息之间的相似度,获得时序相似度;基于文本相似度与时序相似度,确定信息相似度。
可选地,信息处理装置还包括样本集生成模块,被配置为若将多个告警信息的特征信息输入至预先训练的信息评分模型,无法获得主告警信息,则生成识别失败信息;将识别失败信息发送给用户,并接收用户返回的针对识别失败信息对应的标记信息;基于标记信息,生成多个告警信息分别对应的样本评分标签;基于多个告警信息及多个告警信息分别对应的样本评分标签,生成样本集。
上述为本实施例的一种信息处理装置的示意性方案。需要说明的是,该信息处理装置的技术方案与上述的信息处理方法的技术方案属于同一构思,信息处理装置的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
图6示出了根据本说明书一个实施例提供的一种计算设备的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接,数据库650用于保存数据。
计算设备600还包括接入设备640,接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(PSTN,Public SwitchedTelephone Network)、局域网(LAN,Local Area Network)、广域网(WAN,Wide AreaNetwork)、个域网(PAN,Personal Area Network)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如,网络接口卡(NIC,NetworkInterface Card))中的一个或多个,诸如IEEE802.11无线局域网(WLAN,Wireless LocalArea Networks)无线接口、全球微波互联接入(Wi-MAX,World Interoperability forMicrowave Access)接口、以太网接口、通用串行总线(USB,Universal Serial Bus)接口、蜂窝网络接口、蓝牙接口、近场通信(NFC,Near Field Communication)接口,等等。
在本说明书的一个实施例中,计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接,例如通过总线。应当理解,图6所示的计算设备结构框图仅仅是出于示例的目的,而不是对本说明书范围的限制。本领域技术人员可以根据需要,增添或替换其他部件。
计算设备600可以是任何类型的静止或移动计算设备,包括移动计算机或移动计算设备(例如,平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如,智能手机)、可佩戴的计算设备(例如,智能手表、智能眼镜等)或其他类型的移动设备,或者诸如台式计算机或个人计算机(PC,Personal Computer)的静止计算设备。计算设备600还可以是移动式或静止式的服务器。
其中,处理器620用于执行如下计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息处理方法的步骤。
上述为本实施例的一种计算设备的示意性方案。需要说明的是,该计算设备的技术方案与上述的信息处理方法的技术方案属于同一构思,计算设备的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现上述信息处理方法的步骤。
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是,该存储介质的技术方案与上述的信息处理方法的技术方案属于同一构思,存储介质的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
本说明书一实施例还提供一种计算机程序,其中,当所述计算机程序在计算机中执行时,令计算机执行上述信息处理方法的步骤。
上述为本实施例的一种计算机程序的示意性方案。需要说明的是,该计算机程序的技术方案与上述的信息处理方法的技术方案属于同一构思,计算机程序的技术方案未详细描述的细节内容,均可以参见上述信息处理方法的技术方案的描述。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
所述计算机指令包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,对于前述的各方法实施例,为了简便描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本说明书实施例并不受所描述的动作顺序的限制,因为依据本说明书实施例,某些步骤可以采用其它顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定都是本说明书实施例所必须的。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其它实施例的相关描述。
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节,也不限制该发明仅为所述的具体实施方式。显然,根据本说明书实施例的内容,可作很多的修改和变化。本说明书选取并具体描述这些实施例,是为了更好地解释本说明书实施例的原理和实际应用,从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。

Claims (14)

1.一种信息处理方法,包括:
获取多个告警信息;
基于所述多个告警信息的特征信息,确定主告警信息;
根据所述多个告警信息的特征信息,从所述多个告警信息中确定至少一个目标告警信息,其中,所述目标告警信息与所述主告警信息相对应;
将至少一个目标告警信息与所述主告警信息进行信息聚合,获得告警聚合结果。
2.如权利要求1所述的方法,基于所述多个告警信息的特征信息,确定主告警信息,包括:
将所述多个告警信息的特征信息输入至预先训练的信息评分模型,获得主告警信息,其中,所述信息评分模型为基于样本告警信息及所述样本告警信息对应的样本评分标签训练得到的神经网络模型。
3.如权利要求2所述的方法,将所述多个告警信息的特征信息输入至预先训练的信息评分模型,获得主告警信息,包括:
将所述多个告警信息的特征信息输入至所述信息评分模型,获得所述多个告警信息分别对应的评分结果;
将评分结果满足预设选定条件的告警信息,确定为主告警信息。
4.如权利要求2所述的方法,所述信息评分模型的训练过程,包括:
获取样本集,其中,所述样本集包括样本告警信息与所述样本告警信息对应的样本评分标签;
将所述样本告警信息的特征信息输入至信息评分模型,获得所述样本告警信息对应的预测评分结果;
将所述预测评分结果与所述样本评分标签进行比对,确定损失值;
根据所述损失值,调整所述信息评分模型的模型参数,并继续训练所述信息评分模型,直至达到训练停止条件。
5.如权利要求4所述的方法,获取样本集,包括:
获取多个样本告警信息,其中,所述多个样本告警信息包括样本主告警信息;
基于所述样本主告警信息的特征信息,确定标准特征信息;
将样本目标告警信息的特征信息与所述标准特征信息进行匹配,确定匹配结果,其中,所述样本目标告警信息为所述多个样本告警信息中的任一个;
根据所述匹配结果,确定所述样本目标告警信息对应的样本评分标签。
6.如权利要求5所述的方法,还包括:
获取样本告警聚合结果,其中,所述样本告警聚合结果包括主告警信息以及与所述主告警信息具有聚合关系的至少一个聚合告警信息;
确定至少一个聚合告警信息的特征信息与所述主告警信息的特征信息之间的相似度;
基于所述相似度,确定预设相似度阈值。
7.如权利要求6所述的方法,在基于所述相似度,确定预设相似度阈值之后,还包括:
将所述样本告警聚合结果与所述预设相似度阈值发送给用户;
在接收到所述用户反馈的调整信息的情况下,更新所述预设相似度阈值。
8.如权利要求1所述的方法,根据所述多个告警信息的特征信息,从所述多个告警信息中确定至少一个目标告警信息,包括:
根据所述多个告警信息与所述主告警信息,确定待处理告警信息集合;
将所述待处理告警信息集合中各告警信息的特征信息与所述主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息。
9.如权利要求8所述的方法,将所述待处理告警信息集合中各告警信息的特征信息与所述主告警信息的特征信息进行比对,基于比对结果,确定至少一个目标告警信息,包括:
确定待处理告警信息的特征信息与所述主告警信息的特征信息之间的信息相似度,其中,所述待处理告警信息为所述待处理告警信息集合中的任一个告警信息;
在所述信息相似度大于预设相似度阈值的情况下,确定所述待处理告警信息为目标告警信息。
10.如权利要求9所述的方法,所述特征信息包括文本特征信息和时序特征信息;
确定待处理告警信息的特征信息与所述主告警信息的特征信息之间的信息相似度,包括:
确定所述待处理告警信息的文本特征信息与所述主告警信息的文本特征信息之间的相似度,获得文本相似度;
确定所述待处理告警信息的时序特征信息与所述主告警信息的时序特征信息之间的相似度,获得时序相似度;
基于所述文本相似度与所述时序相似度,确定信息相似度。
11.如权利要求2所述的方法,还包括:
若将所述多个告警信息的特征信息输入至预先训练的信息评分模型,无法获得主告警信息,则生成识别失败信息;
将所述识别失败信息发送给用户,并接收所述用户返回的针对所述识别失败信息对应的标记信息;
基于所述标记信息,生成所述多个告警信息分别对应的样本评分标签;
基于所述多个告警信息及所述多个告警信息分别对应的所述样本评分标签,生成样本集。
12.一种信息处理装置,包括:
获取模块,被配置为获取多个告警信息;
主告警信息确定模块,被配置为基于所述多个告警信息的特征信息,确定主告警信息;
目标告警信息确定模块,被配置为根据所述多个告警信息的特征信息,从所述多个告警信息中确定至少一个目标告警信息,其中,所述目标告警信息与所述主告警信息相对应;
获得模块,被配置为将至少一个目标告警信息与所述主告警信息进行信息聚合,获得告警聚合结果。
13.一种计算设备,包括:
存储器和处理器;
所述存储器用于存储计算机可执行指令,所述处理器用于执行所述计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
14.一种计算机可读存储介质,其存储有计算机可执行指令,该计算机可执行指令被处理器执行时实现权利要求1至11任意一项所述方法的步骤。
CN202310152647.5A 2023-02-21 2023-02-21 信息处理方法以及装置 Pending CN116136897A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310152647.5A CN116136897A (zh) 2023-02-21 2023-02-21 信息处理方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310152647.5A CN116136897A (zh) 2023-02-21 2023-02-21 信息处理方法以及装置

Publications (1)

Publication Number Publication Date
CN116136897A true CN116136897A (zh) 2023-05-19

Family

ID=86333465

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310152647.5A Pending CN116136897A (zh) 2023-02-21 2023-02-21 信息处理方法以及装置

Country Status (1)

Country Link
CN (1) CN116136897A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886448A (zh) * 2023-09-07 2023-10-13 卓望数码技术(深圳)有限公司 一种基于半监督学习的DDoS攻击告警研判方法以及装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116886448A (zh) * 2023-09-07 2023-10-13 卓望数码技术(深圳)有限公司 一种基于半监督学习的DDoS攻击告警研判方法以及装置
CN116886448B (zh) * 2023-09-07 2023-12-01 卓望数码技术(深圳)有限公司 一种基于半监督学习的DDoS攻击告警研判方法以及装置

Similar Documents

Publication Publication Date Title
CN106778259B (zh) 一种基于大数据机器学习的异常行为发现方法及系统
CN111475804B (zh) 一种告警预测方法及系统
CN110210512B (zh) 一种自动化日志异常检测方法及系统
CN111614491B (zh) 一种面向电力监控系统安全态势评估指标选取方法及系统
CN112766550B (zh) 基于随机森林的停电敏感用户预测方法、系统、存储介质及计算机设备
CN112910859B (zh) 基于c5.0决策树和时序分析的物联网设备监测预警方法
WO2021213247A1 (zh) 一种异常检测方法及装置
CN110162970A (zh) 一种程序处理方法、装置以及相关设备
CN110287316A (zh) 一种告警分类方法、装置、电子设备及存储介质
CN111796957B (zh) 基于应用日志的交易异常根因分析方法及系统
CN113918367A (zh) 一种基于注意力机制的大规模系统日志异常检测方法
CN113067798B (zh) Ics入侵检测方法、装置、电子设备和存储介质
CN113438114B (zh) 互联网系统的运行状态监控方法、装置、设备及存储介质
CN112116168B (zh) 一种用户行为的预测方法、装置及电子设备
CN116136897A (zh) 信息处理方法以及装置
CN117216713A (zh) 故障定界方法、装置、电子设备和存储介质
CN115514581B (zh) 一种用于工业互联网数据安全平台的数据分析方法及设备
CN116757837A (zh) 一种应用于中标贷的信用风控方法及系统
CN116010221A (zh) 告警处理方法及装置
CN113535458B (zh) 异常误报的处理方法及装置、存储介质、终端
CN111798237B (zh) 基于应用日志的异常交易诊断方法及系统
Su et al. A network anomaly detection method based on genetic algorithm
CN113963234B (zh) 数据标注处理方法、装置、电子设备和介质
CN117035434B (zh) 可疑交易监测方法及装置
CN117312350B (zh) 钢铁行业碳排放数据管理方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20240221

Address after: Guohao Times City # 20-01, 128 Meizhi Road, Singapore

Applicant after: Advanced Nova Technology (Singapore) Holdings Ltd.

Country or region after: Singapore

Address before: 51 Belarusian Bashar Road, Singapore, Lai Zanda 1 # 04-08

Applicant before: Alipay laboratories (Singapore) Ltd.

Country or region before: Singapore

TA01 Transfer of patent application right
CI02 Correction of invention patent application

Correction item: Applicant

Correct: Advanced Nova Technology (Singapore) Holdings Limited

False: Advanced Nova Technology (Singapore) Holdings Limited

Number: 10-02

Volume: 40

CI02 Correction of invention patent application