CN117215882A - 基于根因分析的告警自动分级方法与系统 - Google Patents

基于根因分析的告警自动分级方法与系统 Download PDF

Info

Publication number
CN117215882A
CN117215882A CN202311243300.8A CN202311243300A CN117215882A CN 117215882 A CN117215882 A CN 117215882A CN 202311243300 A CN202311243300 A CN 202311243300A CN 117215882 A CN117215882 A CN 117215882A
Authority
CN
China
Prior art keywords
log
value
alarm
abnormal
root cause
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311243300.8A
Other languages
English (en)
Inventor
马玥
谭航
鲍全松
范亮凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jiangsu Future Networks Innovation Institute
Original Assignee
Jiangsu Future Networks Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jiangsu Future Networks Innovation Institute filed Critical Jiangsu Future Networks Innovation Institute
Priority to CN202311243300.8A priority Critical patent/CN117215882A/zh
Publication of CN117215882A publication Critical patent/CN117215882A/zh
Pending legal-status Critical Current

Links

Abstract

本发明涉及基于根因分析的告警自动分级方法与系统,该方法包括:获取监控对象的日志信息;将日志信息进行结构化处理,得到结构化的日志信息;将所述结构化的日志信息进行分类聚合,得到日志单元;判断日志单元是否异常,如是则进入下一步骤;从预先创建的知识库中调用根因分析模型,对异常日志单元进行根因分析得到异常原因,并获得对监控对象的威胁程度值reliability与损坏程度值priority;获取所述异常日志单元所标记的监控对象资产关键度值asset;根据威胁程度值reliability、损坏程度值priority和资产关键度值asset确定告警值;通过告警值确定告警等级。从而提高工程师处理工业网物联网异常日志效率和准确率。

Description

基于根因分析的告警自动分级方法与系统
技术领域
本发明涉及工业物联网数据分析技术领域,特别是一种基于根因分析的告警自动分级方法与系统。
背景技术
工业物联网是将多个搭载传感器、控制器等智能设备通过高带宽无线网络连接起来,实现互联互通。其中,设备的日志记录应用程序运行状态的一种重要工具,包括设备状态,传感器数据,设备,安全,运行状况等。但随着物联网发展,网络复杂性不断增加,增加了日志信息的分散度,也加大了用日志来排查故障的难度。日志大量低级别日志的输出,会增大输入输出的负荷,影响正常运行。同时,日志信息之间缺乏关联性,重复信息较多。同时,现有的异常日志多是依靠工程师进行,在越来越多的日志数据量时,工程师会预先设置告警等级,来决定处理异常日志的优先等级。但,物联网的数据复杂且动态变化,预先设定的告警等级有时并不能反映问题真正的严重程度,这就导致这种基于规则定义告警等级的方法会错过严重警报或浪费运维人员很多精力在处理不严重的告警中。
发明内容
本发明的目的在于提供一种基于根因分析的告警自动分级方法与系统,以提高工程师处理工业网物联网异常日志效率和准确率。
实现本发明目的的技术解决方案为:一种基于根因分析的告警自动分级方法,包括如下步骤:
S1、获取监控对象的日志信息;
S2将日志信息进行结构化处理,得到结构化的日志信息;
S3将所述结构化的日志信息进行分类聚合,得到日志单元;
S4判断日志单元是否异常,如是则进入下一步骤;
S5从预先创建的知识库中调用根因分析模型,对异常日志单元进行根因分析得到异常原因,并获得对监控对象的威胁程度值reliability与损坏程度值priority;
S6、获取所述异常日志单元所标记的监控对象资产关键度值asset;
S7、根据威胁程度值reliability、损坏程度值priority和资产关键度值asset确定告警值;
S8、通过告警值确定告警等级。
进一步的,步骤S7中,告警值通过如下公式计算:
其中,Alert_weigt为告警值,δ1,δ2,δ3为常数因子,δ12+δ3=δ4。
进一步的,步骤S3中,将所述结构化的日志信息进行分类聚合,包括:从所述结构化的日志信息中获取满足预设条件的若干个日志信息;将所述满足预设条件的若干个日志信息进行合并,得到所述日志单元。
进一步的,对异常日志单元进行根因分析模型时,调取异常原因预先设置的威胁程度值reliability。
进一步的,对损坏程度值priority分析,包括对异常日志单元的语意环境的处理,即异常日志单元的异常原因重要性与所在的环境进行评估。
进一步的,所述异常日志单元信息的重要性与所在的环境进行评估包括如下步骤:
S71得到的异常原因给定初始的损坏程度值,若异常原因为两个或以上时,则选用最高的损坏程度值作为初始损坏程度值;
S72在预先创建的知识库中设有监控对象达到损坏或不能正常运转的条件值,当执行步骤S71后,搜索所述监控对象的其它日志单元,查找其它日志单元与异常日志单位元中,是否存在监控对象达到损坏或不能正常运转的条件值,如果存在,给出条件值对应的损坏程度值覆盖初始损坏程度值;
S73在预先创建的知识库中查找设定的安全规则,如果异常日志单元的异常原因匹配安全规则,则安全规则相应的损坏程度值加上步骤S72中损坏程度值得到最终的损坏程度值priority。
进一步的,上述方法还包括根据告警级别确定对应的告警通知策略,按照所述告警通知策略执行告警通知。
本发明还提供一种基于根因分析的告警自动分级系统,包括如下模块:
日志数据处理模块,用于采集监控对象的日志信息,并对日志信息结构化处理;日志聚类模块,用于将结构化的日志信息分类聚合,得到日志单元;知识库模块,用于存储根因分析模型,安全规则,监控对象达到损坏或不能正常运转的条件值,监控对象资产关键度值asset,异常原因的reliability与损坏程度值priority;日志单元判定模块,用于存储正常历史日志并对比日志聚类模块输出的日志单元;预警等级判断模块,用于对异常日志单元调用知识库模块进行根因分析,并获得监控对象的威胁程度值reliability,损坏程度值priority,资产关键度值asset,计算告警值;输出模块,用于根据告警值确定告警等级,并根据监控对象的告警等级确定对应的告警通知策略,并按照所述告警通知策略执行告警通知。
相应的,本发明提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述方法的步骤。
本发明与现有技术相比,其显著优点是:
1、通过将日志信息结构化处理和分类聚合,得到日志单元,有利于缓解日志信息之间缺乏关联性的情况,提升日志监测的效率;
2、通过对日志单元进行对比,得到异常日志单元并调用知识库中根因分析模型,得到异常原因,并根据威胁程度值reliability、损坏程度值priority和资产关键度值asset确定告警值,再通过告警值得到相应告警等级,确定通知策略。通过威胁程度值reliability、损坏程度值priority和资产关键度值asset确定智能设备实际可能发生的损坏程度以及在整个物联网系统中的重要性,确定异常原因是否需要立即处理,将威胁最大、最受工程师关注的异常原因排到告警序列前面,帮助工程师提高处理效率。
附图说明
图1是本发明的基于根因分析的告警自动分析方法流程示意图。
具体实施方式
下面通过附图描述的实施例是示例性的,仅用于解释本申请,而不能理解为对本申请的限制。对于以下实施例中的步骤编号,其仅为了便于阐述说明而设置,对步骤之间的顺序不做任何限定,实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整以下结合附图,详细说明本发明的实施方式。
在工业物联网智能设备中,日志作为记录系统运行信息的一种方法,同时行使着排查故障定位问题的重要功能。随着智能设备的发展,复杂性的不断增加,也增加了日志信息的分散度,也加大了用日志来排查故障的难度。对此,本申请提出基于根因分析的告警自动分级方法、系统、计算机设备及存储介质,下面详细介绍本申请提出的技术方案。
实施例1
如图1所示,本申请提供一种基于根因分析的告警自动分级方法,包括如下步骤:
S1、获取监控对象的日志信息;
本申请实施例中,日志信息可以由智能设备产生。本方法首先获取所需要监控的智能设备的日志信息。本领域技术人员可以根据实际需要,周期性地或者计划性地获取日志信息,对于不同的系统,采用不同的实施方案获取日志信息。日志信息可以包括会话标识、事务标识、模块标识、日志点标识、会话开始标识、当前时间等,该日志信息还可以包括操作标识,日志来源标识等信息,本申请并不限定具体的日志信息的内容。其中,会话标识用于标记某一次事务会话;事务标识用于标记事务类型,示例性地,如处理会话单、处理定时器消息等;模块标识用于标记输出日志信息的模块名称或编号;日志点标识用于标记程序输出日志的代码点,示例性地,可以是文件名+行号经过哈希运算得到一个值;会话开始标识,用于标记某个事务会话开始;当前时间,用于标记日志提交时的本地时间;日志信息还可以包括在日志中记录的其它业务相关信息。
S2将日志信息进行结构化处理,得到结构化的日志信息;
结构化信息即能够用数据或统一的结构加以表示的信息,示例性地,可以将日志信息按照设定规则处理,得到结构化的日志信息。例如,将设备状态日志信息转化为“日志名称、设备型号、位置、时间、状态变化”的数据格式,通过规定的字符作为不同的字段之间的划分。本领域技术人员可以理解的是,以上数据格式仅是示例性的说明,并不构成对日志信息的结构化处理的方式的具体限定内容,可以通过其它的方式,进行日志信息的结构化处理。通过将日志信息进行结构化处理,简化日志解析,使得日志的后续处理、分析或查询变得方便高效,提高异常监测的效率。同时,结构化的日志信息,方便建立日志信息之间的关联,缓解日志信息冗余、杂乱无章的现象。本申请并不限定对日志信息进行结构化处理时所采用的方法,也不限定结构化的日志信息的具体表现形式。
S3将所述结构化的日志信息进行分类聚合,得到日志单元;
本申请实施例中,将所述结构化的日志信息进行分类聚合,包括:从所述结构化的日志信息中获取满足预设条件的若干个日志信息;将所述满足预设条件的若干个日志信息进行合并,得到所述日志单元。可以将结构化的日志信息按照设定标识进行分类,也可以将结构化的日志信息按照设定属性进行分类,还可以将结构化的日志信息按照设定用途进行分类,然后聚合得到日志单元。例如,将智能设备日志信息以同地区,同类设备,进行分类或者将日志信息以同一设备进行分类。通过将日志信息进行分类聚合,有利于提升日志信息之间的关联度,提升异常监测的效率。
S4判断日志单元是否异常,如是则进入下一步骤;
判断日志单元是否异常是通过日志单元与历史日志确定的正常历史日志进行对比,当超过阈值时,判定为异常日志单元。例如,当以同一设备作为日志单元时,需要对日志单元内每个信息进行历史日志信息值进行判断。当有一个信息异常时,即日志单元异常。
S5从预先创建的知识库中调用根因分析模型,对异常日志单元进行根因分析得到异常原因,并获得对监控对象的威胁程度值reliability与损坏程度值priority;
当异常日志单元进行根因分析后,异常原因是否需要立即处理,或者这种异常的原因是无用的或误报,还需要进行进一步的判断。本发明所提供的实施例通过引入排序的方法来对异常原因做威胁度分析和误告警去除。即把某一段时间内的告警进行排序,将威胁最大、最受工程师关注的异常原因排到告警序列前面。
对异常日志单元进行根因分析模型时,调取异常原因预先设置的威胁程度值reliabi lity。
一个异常原因可能引发三种可能性对智能设备的威胁程度,一类是误告警,它是由于安全设备的错误判断而产生的告警,是将正常的行为视为攻击行为而产生的告警;第二类是对目标设备存在真实威胁的告警;第三类是无用告警,即攻击行为确实发生,但是却对主机没有影响的告警。最简单的一个例子就是,异常原因是攻击者对一台Linux智能设备发动针对Windows IIS服务器的冲击波蠕虫攻击。攻击虽然发生,但是成功的概率却为0。Reliability值就是反映一个异常原因真正对目标设备产生威胁的程度,即一个损坏成功的概率。在预先设置知识库中,保存每类异常原因,对异常原因设定威胁程度值reliability。这里的威胁程度值reliability可以通过概率统计进行计算得到。
对损坏程度值priority分析,包括对异常日志单元的语意环境的处理,即异常日志单元的异常原因重要性与所在的环境进行评估,包括如下步骤:
S71得到的异常原因给定初始的损坏程度值,若异常原因为两个或以上时,则选用最高的损坏程度值作为初始损坏程度值;
S72在预先创建的知识库中设有监控对象达到损坏或不能正常运转的条件值,当执行步骤S71后,搜索所述监控对象的其它日志单元,查找其它日志单元与异常日志单位元中,是否存在监控对象达到损坏或不能正常运转的条件值,如果存在,给出条件值对应的损坏程度值覆盖初始损坏程度值;
S73在预先创建的知识库中查找设定的安全规则,如果异常日志单元的异常原因匹配安全规则,则安全规则相应的损坏程度值加上步骤S72中损坏程度值得到最终的损坏程度值priority。
损坏程度值priority反映某类异常日志单元所反应的异常原因对智能设备的攻击严重程度。攻击程度的严重与否应当依据智能设备受到异常原因的干扰是否达到设备损坏或不能运转条件以及工程师对攻击的关注程度来决定。例如,智能消毒机器人,异常日志单元反应的处理的是消毒喷头喷雾不稳定,但机器人的电源电压稳定,那么,这时的严重级别就相对较低。又例如,智能设备系统入侵,异常日志单元反应的是入侵,如果运行Unix操作系统的某台设备收到一个关于Microsoft II的攻击告警,这个告警应当被解除其严重性。
损坏程度值priority还有一个影响因素,即要达到工程师对智能设备设定的安全规则,以系统入侵时异常报警原因举例,如果某个用户建立一个连接到某台智能设备终端的可疑连接,智能设备通过不同来源进行判断应当:如果该用户来自网络外部并且正在攻击客户端数据库,将其严重度标注为最高;如果该用户来自网络内部并且正在攻击的是一台网络打印机,将其严重度标注为较低;如果该用户是在进行开发主机的正常测试,则忽略该事件。因此,通过工程师对智能设备设定安全规则,将智能设备放在具体的环境中处理,也就是说将异常原因的重要性与知识库中描述的设备损坏或不能运转的环境进行评估。上述可知,安全规则包括但不限于访问策略。安全规则可以动态的调整,每个规则描述在特定时间内,从特定源目标地址,端口到特定目的地址,端口发生的特定攻击类型的损坏程度值。如果我们收到的异常原因匹配了这对安全规则,则安全规则相应的损坏程度值加上步骤S72中损坏程度值得到最终的损坏程度值priority。
S6、获取所述异常日志单元所标记的监控对象资产关键度值asset;
同一个物联网网络里的各种不同设备,对于整个网络的良好运行肯定有着不同的价值和重要程度。而Asset值就是用来描述资产的重要程度的。该值介于0-10之间。Asset值完全由工程师自己来设定,完全视资源的相对重要性而定。
S7、根据威胁程度值reliability、损坏程度值priority和资产关键度值asset确定告警值,通过如下公式计算:
其中,Alert_weigt为告警值,δ1,δ2,δ3为常数因子,δ123=δ4
S8、通过告警值确定告警等级。
上述方法还包括根据告警级别确定对应的告警通知策略,按照所述告警通知策略执行告警通知。
实施例2
本发明的第二个实施例,该实施例还提供一种基于根因分析的告警自动分级系统,包括如下模块:
日志数据处理模块,用于采集监控对象的日志信息,并对日志信息结构化处理;
日志聚类模块,用于将结构化的日志信息分类聚合,得到日志单元;
知识库模块,用于存储根因分析模型,安全规则,监控对象达到损坏或不能正常运转的条件值,监控对象资产关键度值asset,异常原因的reliability与损坏程度值priority;
日志单元判定模块,用于存储正常历史日志并对比日志聚类模块输出的日志单元;预警等级判断模块,用于对异常日志单元调用知识库模块进行根因分析,并获得监控对象的威胁程度值reliability,损坏程度值priority,资产关键度值asset,计算告警值;
输出模块,用于根据告警值确定告警等级,并根据监控对象的告警等级确定对应的告警通知策略,并按照所述告警通知策略执行告警通知。
本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序:所述处理器执行所述计算机程序时实现上述方法的步骤。
一种计算机可读存储介质,其上存储有计算机程序,所计算机程序被处理器执行时实现上述的方法的步骤。

Claims (11)

1.一种基于根因分析的告警自动分级方法,其特征在于:包括如下步骤:
S1、获取监控对象的日志信息;
S2将日志信息进行结构化处理,得到结构化的日志信息;
S3将所述结构化的日志信息进行分类聚合,得到日志单元;
S4判断日志单元是否异常,如是则进入下一步骤;
S5从预先创建的知识库中调用根因分析模型,对异常日志单元进行根因分析得到异常原因,并获得对监控对象的威胁程度值reliability与损坏程度值priority;
S6、获取所述异常日志单元所标记的监控对象资产关键度值asset;
S7、根据威胁程度值reliability、损坏程度值priority和资产关键度值asset确定告警值;
S8、通过告警值确定告警等级。
2.根据权利要求1所述的一种基于根因分析的告警自动分级方法,其特征在于:步骤S7中,告警值通过如下公式计算:
其中,Alert_weigt为告警值,δ1,δ2,δ3为常数因子,δ12+δ3=δ4。
3.根据权利要求1所述的一种基于根因分析的告警自动分级方法,其特征在于:步骤S3中,将所述结构化的日志信息进行分类聚合,包括:从所述结构化的日志信息中获取满足预设条件的若干个日志信息;将所述满足预设条件的若干个日志信息进行合并,得到所述日志单元。
4.根据权利要求1所述的一种基于根因分析的告警自动分级方法,其特征在于:判断日志单元是否异常,是通过日志单元与历史日志确定的正常历史日志进行对比,当超过阈值时,判定为异常日志单元。
5.根据权利要求1所述的一种基于根因分析的告警自动分级方法,其特征在于:对异常日志单元进行根因分析模型时,调取异常原因预先设置的威胁程度值reliability。
6.根据权利要求1述的一种基于根因分析的告警自动分级方法,其特征在于:对损坏程度值priority分析,包括对异常日志单元的语意环境的处理,即异常日志单元的异常原因重要性与所在的环境进行评估。
7.根据权利要求7述的一种基于根因分析的告警自动分级方法,其特征在于:所述异常日志单元信息的重要性与所在的环境进行评估包括如下步骤:
S71得到的异常原因给定初始的损坏程度值,若异常原因为两个或以上时,则选用最高的损坏程度值作为初始损坏程度值;
S72在预先创建的知识库中设有监控对象达到损坏或不能正常运转的条件值,当执行步骤S71后,搜索所述监控对象的其它日志单元,查找其它日志单元与异常日志单位元中,是否存在监控对象达到损坏或不能正常运转的条件值,如果存在,给出条件值对应的损坏程度值覆盖初始损坏程度值;
S73在预先创建的知识库中查找设定的安全规则,如果异常日志单元的异常原因匹配安全规则,则安全规则相应的损坏程度值加上步骤S72中损坏程度值得到最终的损坏程度值priority。
8.根据权利要求1所述的一种基于根因分析的告警自动分级方法,其特征在于:所述方法还包括根据告警级别确定对应的告警通知策略,按照所述告警通知策略执行告警通知。
9.基于根因分析的告警自动分级系统,其特征在于:包括如下模块:
日志数据处理模块,用于采集监控对象的日志信息,并对日志信息结构化处理;
日志聚类模块,用于将结构化的日志信息分类聚合,得到日志单元;
知识库模块,用于存储根因分析模型,安全规则,监控对象达到损坏或不能正常运转的条件值,监控对象资产关键度值asset,异常原因的reliability与损坏程度值priority;
日志单元判定模块,用于存储正常历史日志并对比日志聚类模块输出的日志单元;
预警等级判断模块,用于对异常日志单元调用知识库模块进行根因分析,并获得监控对象的威胁程度值reliability,损坏程度值priority,资产关键度值asset,计算告警值;
输出模块,用于根据告警值确定告警等级,并根据监控对象的告警等级确定对应的告警通知策略,并按照所述告警通知策略执行告警通知。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于:所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN202311243300.8A 2023-09-26 2023-09-26 基于根因分析的告警自动分级方法与系统 Pending CN117215882A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311243300.8A CN117215882A (zh) 2023-09-26 2023-09-26 基于根因分析的告警自动分级方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311243300.8A CN117215882A (zh) 2023-09-26 2023-09-26 基于根因分析的告警自动分级方法与系统

Publications (1)

Publication Number Publication Date
CN117215882A true CN117215882A (zh) 2023-12-12

Family

ID=89035119

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311243300.8A Pending CN117215882A (zh) 2023-09-26 2023-09-26 基于根因分析的告警自动分级方法与系统

Country Status (1)

Country Link
CN (1) CN117215882A (zh)

Similar Documents

Publication Publication Date Title
CN112162878B (zh) 数据库故障发现方法、装置、电子设备及存储介质
CN109918279B (zh) 电子装置、基于日志数据识别用户异常操作的方法及存储介质
JP4892367B2 (ja) 異常兆候検出システム
CN101668012B (zh) 安全事件检测方法及装置
CN102447707B (zh) 一种基于映射请求的DDoS检测与响应方法
CN113051573B (zh) 一种基于大数据的主机安全实时监控警报系统
CN111585799A (zh) 网络故障预测模型建立方法及装置
CN116781347A (zh) 基于深度学习的工业物联网入侵检测方法及装置
CN111885033A (zh) 基于多源安全检测框架的机器学习场景检测方法及系统
TWM622216U (zh) 用於服務異常偵測告警的設備
CN113468530A (zh) 基于云计算的风险管理安全实时监控方法
CN115396324A (zh) 一种网络安全态势感知预警处理系统
CN113343228B (zh) 事件可信度分析方法、装置、电子设备及可读存储介质
CN109474510A (zh) 一种邮箱安全交叉审计方法、系统及存储介质
CN114357447A (zh) 攻击者威胁评分方法及相关装置
CN111614614B (zh) 应用于物联网的安全监测方法和装置
CN115659351B (zh) 一种基于大数据办公的信息安全分析方法、系统及设备
CN117478433A (zh) 一种网络与信息安全动态预警系统
CN110149303B (zh) 一种党校的网络安全预警方法及预警系统
CN117215882A (zh) 基于根因分析的告警自动分级方法与系统
CN111381567B (zh) 一种用于工业控制系统的安全检测系统和方法
CN116483663A (zh) 用于平台的异常告警方法和装置
CN111078503A (zh) 一种异常监控方法及系统
CN115189961A (zh) 一种故障识别方法、装置、设备及存储介质
CN111274089B (zh) 一种基于旁路技术的服务器异常行为感知系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination