CN110830438A - 一种异常日志告警方法、装置及电子设备 - Google Patents
一种异常日志告警方法、装置及电子设备 Download PDFInfo
- Publication number
- CN110830438A CN110830438A CN201910910539.3A CN201910910539A CN110830438A CN 110830438 A CN110830438 A CN 110830438A CN 201910910539 A CN201910910539 A CN 201910910539A CN 110830438 A CN110830438 A CN 110830438A
- Authority
- CN
- China
- Prior art keywords
- preset
- alarm
- log information
- abnormal
- rule
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L63/00—Network architectures or network communication protocols for network security
- H04L63/14—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic
- H04L63/1408—Network architectures or network communication protocols for network security for detecting or protecting against malicious traffic by monitoring network traffic
- H04L63/1425—Traffic logging, e.g. anomaly detection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/069—Management of faults, events, alarms or notifications using logs of notifications; Post-processing of notifications
Landscapes
- Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Computer Hardware Design (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Alarm Systems (AREA)
Abstract
本申请提供一种异常日志告警方法、装置及电子设备,该方法包括:采集日志信息;通过预设日志匹配规则从所述日志信息中获取异常日志信息;判断所述异常日志信息是否满足至少一个第一预设告警规则;若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警;若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则;若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。采用本申请的技术方案,能够实现异常日志的分级别告警,提高异常日志告警的及时性、准确性和灵活性。
Description
技术领域
本申请属于互联网技术领域,具体涉及一种异常日志告警方法、装置及电子设备。
背景技术
网络设备、系统及服务程序等,在运作时都会产生一个叫日志的事件记录;每一行日志都记载着日期、时间、使用者及动作等相关操作的描述。
异常日志告警技术是一种在用户浏览器端捕获当前页面代码运行异常的信息并进行上报,使页面维护人员可以及时发现异常、快速解决异常的机制。
目前现有方案中的异常日志告警方法主要包括基于异常日志存储查询的告警方式、基于路性能的告警方式和基于埋点技术的告警方式。然而基于异常日志存储查询的告警方式主要偏向于查看异常日志信息,在数据量较大时,告警不及时,基于链路性能的告警,没有从异常日志出发去分析告警,告警级别区分不够明显,误告警概率较高,基于埋点技术的告警方式主要是通过埋点技术将异常作为一个点埋到一个公共表里,使用后台部署的服务器去专门定时捞取所有埋到的点,获取埋点数据,然后对埋点数据做数据清洗,筛选出带有特定标识的异常点,进行进一步的告警处理,但基于埋点技术的告警方式,只能简单地对告警进行分析告警,且需要嵌入程序,影响程序性能。
发明内容
为了实现异常日志的分级别告警,提高异常日志告警的及时性、准确性和灵活性,本申请提出了一种异常日志告警方法、装置及电子设备。
一方面,本申请提供了一种异常日志告警方法,所述方法包括:
通过预设日志匹配规则从所述日志信息中获取异常日志信息;
判断所述异常日志信息是否满足至少一个第一预设告警规则;
若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警;
若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则;
若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。
进一步地,所述预设日志匹配规则为预设关键字,所述通过预设日志匹配规则从所述日志信息中获取异常日志信息,包括:
当所述日志信息中包含所述预设关键字时,将包含所述预设关键字的日志信息作为所述异常日志信息;或,
所述预设日志匹配规则为正则表达式,所述通过预设日志匹配规则从所述日志信息中获取异常日志信息,包括:
通过所述正则表达式,从所述日志信息中过滤出所述异常日志信息。
进一步地,在所述采集日志信息之前,所述方法还包括:
预先配置所述异常日志信息、所述第一预设告警规则、所述第一告警方式之间的第一映射关系;
预先配置所述异常日志信息、所述第二预设告警规则、所述第二告警方式之间的第二映射关系。
进一步地,所述判断所述异常日志信息是否满足至少一个第一预设告警规则,包括:
判断异常情况或异常关键字在预设时间内出现的次数是否满足所述至少一个第一预设告警规则;
所述若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警,包括:
若所述异常情况或所述异常关键字在预设时间内出现的次数满足所述至少一个第一预设告警规则,则通过所述第一映射关系获取与当前第一预设告警规则对应的第一告警方式,通过所述第一告警方式对所述异常日志信息进行告警;
其中,所述异常情况是与所述异常日志信息相关的情况,所述异常关键字是与异常日志相关的异常情况对应的关键字。
进一步地,所述若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则,包括:
若所述异常情况或所述异常关键字在预设时间内出现的次数不满足所述至少一个第一预设告警规则,则判断所述异常情况或所述异常关键字在预设时间内出现的次数是否满足所述预设数量个第二预设告警规则;
若是,则通过所述第二映射关系获取与当前预设数量个第二预设告警规则对应的预设数量个告警方式,从所述预设数量个告警方式中选取任意一个告警方式作为所述第二告警方式,通过所述第二告警方式对所述异常日志信息进行告警。
进一步地,在所述通过预设日志匹配规则从所述日志信息中获取异常日志信息之后,所述方法还包括:将所述异常日志信息分类,并将分类后的所述异常日志信息存入集群。
进一步地,在对所述异常日志信息进行告警之后,所述方法还包括:发送告警信息,其中,所述告警信息中包含所述异常日志信息的分类信息以及所述集群的链接信息。
进一步地,所述方法还包括:若满足所述至少一个第一预设告警规则的次数大于预设阈值,则电话通知工作人员。
另一方面,本申请提供了一种异常日志告警装置,所述装置包括:
采集模块,用于采集日志信息;
获取模块,用于通过预设日志匹配规则从所述日志信息中获取异常日志信息;
第一判断模块,用于判断所述异常日志信息是否满足至少一个第一预设告警规则;
第一告警模块,用于若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警;
第二判断模块,用于若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则;
第二告警模块,用于若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。
另一方面,本申请提供了一种电子设备,所述电子设备包括:
处理器,适于实现一条或一条以上指令;以及,
存储器,所述存储器存储有一条或一条以上指令,所述一条或一条以上指令适于由所述处理器加载并执行如上述所述的异常日志告警方法。
本申请提供的一种异常日志告警方法、装置及电子设备,通过预设日志匹配规则从采集的日志信息中获取异常日志信息,判断该异常日志信息是否满足至少一个第一预设告警规则,若满足,则通过第一告警方式对所述异常日志信息进行告警,若不满足,则继续判断该异常日志是否满足预设数量个第二预设告警规则,若是,则通过第二告警方式对所述异常日志信息进行告警,以此实现异常日志的分级别告警,提高异常日志告警的及时性、准确性、灵活性和定位准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本申请实施例提供一种异常日志告警系统的构架图。
图2是本申请实施例提供的一种异常日志告警方法的流程图。
图3是本申请实施例提供的所述若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警的一种流程图。
图4是采用本申请实施例中的所述若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则的流程图。
图5是本申请实施例提供的一种异常日志告警装置的示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
请参阅图1,图1所示为本申请实施例提供的一种异常日志告警系统的架构图,所述异常日志告警系统可以作为异常日志告警方法的实施环境。如图1所示,该异常日志告警系统的架构图可以至少包括:数据层、数据采集层、中间存储层、数据分析层、数据存储层、告警层等。
本说明书实施例中,中间存储层可以采用kafka,其中,是kafka一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。数据分析层可以采用storm框架,storm是一种开源的分布式实时计算系统,其可以可靠地处理无线的数据流,数据分析层可以进一步包括业务日志数据处理层、运维数据处理层、dba数据处理层、pinpoint数据处理层等,其中,dba是从事管理和维护数据库管理系统的统称,主要负责业务数据库从设计、测试到部署交付的全生命管理,Pinpoint是一个分析大型分布式系统的平台,提供解决方案来处理海量跟踪数据。
本说明书实施例中,数据中间存储层采用kafka,数据分析层采用storm框架,使得异常日志告警分析更加实时和高效。
以下介绍本申请实施例提供的一种异常日志告警方法,该异常日志告警方法可以运行于上述异常日志告警系统之中。图2是本申请实施例提供的一种异常日志告警方法的流程示意图,本说明书提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的系统或服务器产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示,所述方法可以包括:
S201.采集日志信息。
本说明书实施例中,可以根据图1中的数据采集层来采集日志信息,比如通过第三方工具filebeat来采集,其中,filebea是本地文件的日志数据采集器。
在一个可行的实施例中,在所述采集日志信息之前,所述方法还包括:
预先配置所述异常日志信息、所述第一预设告警规则、所述第一告警方式之间的第一映射关系。
预先配置所述异常日志信息、所述第二预设告警规则、所述第二告警方式之间的第二映射关系。
在一些实施例中,可以预先分析现有的异常日志曲线,根据该现有的日常日志曲线,配置相应的告警规则,并为不同的告警规则配置不同的告警方式。告警分析更加灵活。
S203.通过预设日志匹配规则从所述日志信息中获取异常日志信息。
本说明书实施例中,可以根据图1中的业务日志数据处理层,将采集到的日志信息通过预设日志匹配规则区分出是否是异常日志信息。
在一个可行的实施例中,所述预设日志匹配规则为预设关键字,则所述通过预设日志匹配规则从所述日志信息中获取异常日志信息,包括:
当所述日志信息中包含所述预设关键字时,将包含所述预设关键字的日志信息作为所述异常日志信息。
在实际应用中,可以预先设置至少一个预设关键字,然后判断采集到的日志信息中是否包含该预设关键字,如果包含,则将该日志信息作为异常日志信息。
在一个可行的实施例中,所述预设日志匹配规则为正则表达式,所述通过预设日志匹配规则从所述日志信息中获取异常日志信息,包括:
通过所述正则表达式,从所述日志信息中过滤出所述异常日志信息。
在实际应用中,还可以预先定义一些特定字符以及特定字符串的组合,将该特定字符或特定字符串的组合组成一个规则字符串,通过该规则字符串从采集到的日志信息中过滤出异常日志信息。通过正则匹配规则,可以兼容所有业务系统的日志。
在一个可行的实施例中,在所述通过预设日志匹配规则从所述日志信息中获取异常日志信息之后,所述方法还可以包括:
将所述异常日志信息分类,并将分类后的所述异常日志信息存入集群,比如存入ES集群中,而将异常日志存入ES集群中,能够便于后续的日志的查询。
S205.判断所述异常日志信息是否满足至少一个第一预设告警规则。
本说明书实施例中,在得到异常日志信息之后,可以将异常日志信息与预设告警规则相匹配。预设告警规则可以分为两类,第一类是第一预设告警规则,即高危规则,第二类是第二预设告警规则,即普通规则。高危规则匹配一个就告警,普通规则可以匹配多个,多个匹配上之后就告警。
在一个可行的实施例中,所述判断所述异常日志信息是否满足至少一个第一预设告警规则,可以包括:
判断异常情况或异常关键字在预设时间内出现的次数是否满足所述至少一个第一预设告警规则。
S207.若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警。
在一个可行的实施例中,如图3所示,所述若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警,可以包括:
S301.若所述异常情况或所述异常关键字在预设时间内出现的次数满足所述至少一个第一预设告警规则,则通过所述第一映射关系获取与当前第一预设告警规则对应的第一告警方式,通过所述第一告警方式对所述异常日志信息进行告警;
其中,所述异常情况是与所述异常日志信息相关的情况,所述异常关键字是与异常日志相关的异常情况对应的关键字。
在实际应用中,异常关键字可以是S203中的预设关键字,也可以是重新设置的关键字,比如java.lang.OutOfMemoryError等关键字,当该关键字在预设时间内出现的次数满足第一预设告警规则,就通过与第一告警规则对应的告警方式进行告警,比如,该关键字在30s出现200次,说明该情况比较危险,则可以选择与第一告警规则对应的第一告警方式,比如直接电话告警等。
在实际应用中,在没有预先设置异常关键字的情况下,还可以直接根据异常情况在预设时间内出现的次数与第一预设告警规则匹配,比如,数据库瘫痪了,这个属于比较危险的情况,如果该异常情况在30s内出现500次,则可以直接电话告警等。
在实际应用中,除了电话告警外,还可以选择钉钉告警、短信告警或邮件告警等告警方式。告警级别层层递进。
S209.若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则。
在一个可行的实施例中,如图4所示,所述若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则,可以包括:
S401.若所述异常情况或所述异常关键字在预设时间内出现的次数不满足所述至少一个第一预设告警规则,则判断所述异常情况或所述异常关键字在预设时间内出现的次数是否满足所述预设数量个第二预设告警规则。
S403.若是,则通过所述第二映射关系获取与当前预设数量个第二预设告警规则对应的预设数量个告警方式,从所述预设数量个告警方式中选取任意一个告警方式作为所述第二告警方式,通过所述第二告警方式对所述异常日志信息进行告警。
S2011.若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。
在实际应用中,如果所述异常情况或所述异常关键字在预设时间内出现的次数是否满足所述预设数量个第二预设告警规则,比如该异常关键字满足在30s内出现1次,且满足在60s内出现3次,则可以认为该异常关键字在预设时间内出现的次数满足预设数量个第二预设告警规则,则获取与该当前当前预设数量个第二预设告警规则对应的预设数量个告警方式,从所述预设数量个告警方式中选取任意一个告警方式作为所述第二告警方式,通过所述第二告警方式对所述异常日志信息进行告警,比如,通过钉钉告警方式、短信告警方式、电话告警方式或邮件告警方式。
在实际应用中,普通规则可以由业务方自由配置,高危规则可以由管理员配置。
在一个可行的实施例中,在对所述异常日志信息进行告警之后,所述方法还可以包括:
发送告警信息,其中,所述告警信息中包含所述异常日志信息的分类信息以及所述集群的链接信息。
在实际应用中,日志分析模块分析后需要告警的,把告警信息发送到kafka,告警分析模块从kafka接受告警信息,进行分析以及组装告警文案,告警文案中追加异常日志信息的分类统计数据。同时增加ES的链接,可以查看系统的最近异常日志情况。从而有效提高异常日志查询的便利性,提高用户体验。
在一个可行的实施例中,所述方法还可以包括:
若满足所述至少一个第一预设告警规则的次数大于预设阈值,则电话通知工作人员。
在实际应用中,如果是高危告警的,还要分析是否是连续出现多次,如果高危告警连续出现,说明系统存在很大的问题,就电话通知负责人员。
采用本申请实施例中的异常日志告警方法对500个应用进行异常分析,每日采集日志量达40亿,每日异常日志告警数量达2万条,告警准确率高达95%以上。
如图5所示,本说明书实施例提供了一种异常日志告警装置,所述装置包括:
采集模块501,用于采集日志信息。
获取模块503,用于通过预设日志匹配规则从所述日志信息中获取异常日志信息。
第一判断模块505,用于判断所述异常日志信息是否满足至少一个第一预设告警规则。
第一告警模块507,用于若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警。
第二判断模块509,用于若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则。
第二告警模块5011,用于若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。
在一个可行的实施例中,所述预设日志匹配规则为预设关键字,则所述获取模块503进一步可以用于:当所述日志信息中包含所述预设关键字时,将包含所述预设关键字的日志信息作为所述异常日志信息。
在一个可行的实施例中,所述预设日志匹配规则为正则表达式,则所述获取模块503进一步可以用于:通过所述正则表达式,从所述日志信息中过滤出所述异常日志信息。
在一个可行的实施例中,所述装置还可以进一步包括:
第一配置模块,用于预先配置所述异常日志信息、所述第一预设告警规则、所述第一告警方式之间的第一映射关系。
第二配置模块,用于预先配置所述异常日志信息、所述第二预设告警规则、所述第二告警方式之间的第二映射关系。
在一个可行的实施例中,第一判断模块505进一步可以用于:判断异常情况或异常关键字在预设时间内出现的次数是否满足所述至少一个第一预设告警规则。
在一个可行的实施例中,第一告警模块507进一步可以用于:若所述异常情况或所述异常关键字在预设时间内出现的次数满足所述至少一个第一预设告警规则,则通过所述第一映射关系获取与当前第一预设告警规则对应的第一告警方式,通过所述第一告警方式对所述异常日志信息进行告警;
其中,所述异常情况是与所述异常日志信息相关的情况,所述异常关键字是与异常日志相关的异常情况对应的关键字。
在一个可行的实施例中,所述第二判断模块509进一步可以包括:
若所述异常情况或所述异常关键字在预设时间内出现的次数不满足所述至少一个第一预设告警规则,则判断所述异常情况或所述异常关键字在预设时间内出现的次数是否满足所述预设数量个第二预设告警规则;
若是,则通过所述第二映射关系获取与当前预设数量个第二预设告警规则对应的预设数量个告警方式,从所述预设数量个告警方式中选取任意一个告警方式作为所述第二告警方式,通过所述第二告警方式对所述异常日志信息进行告警。
在一个可行的实施例中,所述装置还可以包括存储模块,所述存储模块用于将所述异常日志信息分类,并将分类后的所述异常日志信息存入集群。
在一个可行的实施例中,所述装置还可以包括发送模块,所述发送模块用于发送告警信息,其中,所述告警信息中包含所述异常日志信息的分类信息以及所述集群的链接信息。
在一个可行的实施例中,所述装置还可以包括通知模块,所述通知模块用于若满足所述至少一个第一预设告警规则的次数大于预设阈值,则电话通知工作人员。
本申请实施例提供的一种异常日志告警方法、装置及电子设备,通过预设日志匹配规则从采集的日志信息中获取异常日志信息,判断该异常日志信息是否满足至少一个第一预设告警规则,若满足,则通过第一告警方式对所述异常日志信息进行告警,若不满足,则继续判断该异常日志是否满足预设数量个第二预设告警规则,若是,则通过第二告警方式对所述异常日志信息进行告警,一方面实现了异常日志的分级别告警,提高异常日志告警的及时性、准确性和灵活性,另一方面,高危告警连续多次及时电话,提高告警定位准确,另一方面,该异常日志告警方法接入方便,和业务系统完全隔离,不会影响业务系统的正常运行,另一方面,可以接入复杂业务系统的所有日志进行实时分析告警,另一方面,告警文案清晰,更容易定位问题。
本实施例提供了一种电子设备,该电子设备用于实施上述方法实施例中提供的异常日志告警方法。该电子设备可以是诸如PC(PersonalComputer,个人计算机)、手机、PDA(平板电脑)等终端设备,也可以是诸如应用服务器、集群服务器等服务设备。该电子设备的内部结构可包括但不限于:处理器、网络接口及存储器。其中,电子设备内的处理器、网络接口及存储器可通过总线或其他方式连接。
其中,处理器(或称CPU(Central Processing Unit,中央处理器))是电子设备的计算核心以及控制核心。网络接口可选的可以包括标准的有线接口、无线接口(如WI-FI、移动通信接口等)。存储器(Memory)是设备中的记忆设备,用于存放程序和数据。可以理解的是,此处的存储器可以是高速RAM存储设备,也可以是非不稳定的存储设备(non-volatilememory),例如至少一个磁盘存储设备;可选的还可以是至少一个位于远离前述处理器的存储装置。存储器提供存储空间,该存储空间存储了电子设备的操作系统,可包括但不限于:Windows系统(一种操作系统),Linux(一种操作系统),Android(安卓,一种移动操作系统)系统、IOS(一种移动操作系统)系统等等,本申请对此并不作限定;并且,在该存储空间中还存放了适于被处理器加载并执行的一条或一条以上的指令,这些指令可以是一个或一个以上的计算机程序(包括程序代码)。在本说明书实施例中,处理器加载并执行存储器中存放的一条或一条以上指令,以实现上述方法实施例提供的异常日志告警方法。
本实施例提供了一种存储介质,所述存储介质可设置于电子设备之中以保存用于实现方法实施例的异常日志告警方法的相关的至少一条指令、至少一段程序、代码集或指令集,该至少一条指令、该至少一段程序、该代码集或指令集可由电子设备的处理器加载并执行以实现上述方法实施例提供的异常日志告警方法。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
需要说明的是:上述本申请实施例先后顺序仅仅为了描述,不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置和服务器实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种异常日志告警方法,其特征在于,所述方法包括:
采集日志信息;
通过预设日志匹配规则从所述日志信息中获取异常日志信息;
判断所述异常日志信息是否满足至少一个第一预设告警规则;
若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警;
若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则;
若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。
2.根据权利要求1所述的方法,其特征在于,
所述预设日志匹配规则为预设关键字,所述通过预设日志匹配规则从所述日志信息中获取异常日志信息,包括:
当所述日志信息中包含所述预设关键字时,将包含所述预设关键字的日志信息作为所述异常日志信息;或,
所述预设日志匹配规则为正则表达式,所述通过预设日志匹配规则从所述日志信息中获取异常日志信息,包括:
通过所述正则表达式,从所述日志信息中过滤出所述异常日志信息。
3.根据权利要求1所述的方法,其特征在于,在所述采集日志信息之前,所述方法还包括:
预先配置所述异常日志信息、所述第一预设告警规则、所述第一告警方式之间的第一映射关系;
预先配置所述异常日志信息、所述第二预设告警规则、所述第二告警方式之间的第二映射关系。
4.根据权利要求3所述的方法,其特征在于,
所述判断所述异常日志信息是否满足至少一个第一预设告警规则,包括:
判断异常情况或异常关键字在预设时间内出现的次数是否满足所述至少一个第一预设告警规则;
所述若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警,包括:
若所述异常情况或所述异常关键字在预设时间内出现的次数满足所述至少一个第一预设告警规则,则通过所述第一映射关系获取与当前第一预设告警规则对应的第一告警方式,通过所述第一告警方式对所述异常日志信息进行告警;
其中,所述异常情况是与所述异常日志信息相关的情况,所述异常关键字是与异常日志相关的异常情况对应的关键字。
5.根据权利要求4所述的方法,其特征在于,所述若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则,包括:
若所述异常情况或所述异常关键字在预设时间内出现的次数不满足所述至少一个第一预设告警规则,则判断所述异常情况或所述异常关键字在预设时间内出现的次数是否满足所述预设数量个第二预设告警规则;
若是,则通过所述第二映射关系获取与当前预设数量个第二预设告警规则对应的预设数量个告警方式,从所述预设数量个告警方式中选取任意一个告警方式作为所述第二告警方式,通过所述第二告警方式对所述异常日志信息进行告警。
6.根据权利要求1所述的方法,其特征在于,在所述通过预设日志匹配规则从所述日志信息中获取异常日志信息之后,所述方法还包括:
将所述异常日志信息分类,并将分类后的所述异常日志信息存入集群。
7.根据权利要求6所述的方法,其特征在于,在对所述异常日志信息进行告警之后,所述方法还包括:
发送告警信息,其中,所述告警信息中包含所述异常日志信息的分类信息以及所述集群的链接信息。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若满足所述至少一个第一预设告警规则的次数大于预设阈值,则电话通知工作人员。
9.一种异常日志告警装置,其特征在于,所述装置包括;
采集模块,用于采集日志信息;
获取模块,用于通过预设日志匹配规则从所述日志信息中获取异常日志信息;
第一判断模块,用于判断所述异常日志信息是否满足至少一个第一预设告警规则;
第一告警模块,用于若满足所述至少一个第一预设告警规则,则通过第一告警方式对所述异常日志信息进行告警;
第二判断模块,用于若不满足所述至少一个第一预设告警规则,则判断所述异常日志信息是否满足预设数量个第二预设告警规则;
第二告警模块,用于若满足所述预设数量个第二预设告警规则,则通过第二告警方式对所述异常日志信息进行告警。
10.一种电子设备,其特征在于,所述电子设备包括:
处理器,适于实现一条或一条以上指令;以及,
存储器,所述存储器存储有一条或一条以上指令,所述一条或一条以上指令适于由所述处理器加载并执行如权利要求1-8任一项所述的异常日志告警方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910910539.3A CN110830438A (zh) | 2019-09-25 | 2019-09-25 | 一种异常日志告警方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910910539.3A CN110830438A (zh) | 2019-09-25 | 2019-09-25 | 一种异常日志告警方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110830438A true CN110830438A (zh) | 2020-02-21 |
Family
ID=69548291
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910910539.3A Pending CN110830438A (zh) | 2019-09-25 | 2019-09-25 | 一种异常日志告警方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110830438A (zh) |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400156A (zh) * | 2020-03-16 | 2020-07-10 | 中国联合网络通信集团有限公司 | 日志分析方法和装置 |
CN111897834A (zh) * | 2020-08-12 | 2020-11-06 | 网易(杭州)网络有限公司 | 日志搜索方法、装置及服务器 |
CN112306812A (zh) * | 2020-11-11 | 2021-02-02 | 武汉悦学帮网络技术有限公司 | 一种日志处理方法、装置、计算机设备和存储介质 |
CN112346948A (zh) * | 2020-11-27 | 2021-02-09 | 中国农业银行股份有限公司 | 一种日志监控方法及装置 |
CN113111037A (zh) * | 2021-04-30 | 2021-07-13 | 杭州远石科技有限公司 | 日志审计告警方法、装置及存储介质 |
CN113114490A (zh) * | 2021-03-30 | 2021-07-13 | 海信集团控股股份有限公司 | 一种api调用异常告警方法、装置、设备及介质 |
CN113849337A (zh) * | 2021-11-30 | 2021-12-28 | 飞狐信息技术(天津)有限公司 | 一种系统异常的处理方法及装置 |
CN114157553A (zh) * | 2021-12-08 | 2022-03-08 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN117112371A (zh) * | 2023-10-25 | 2023-11-24 | 杭银消费金融股份有限公司 | 一种可观测全链路日志追踪方法及系统 |
CN117312098A (zh) * | 2023-11-22 | 2023-12-29 | 中国电子信息产业集团有限公司第六研究所 | 一种日志异常告警方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202511A (zh) * | 2016-07-21 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种基于日志分析的告警方法和系统 |
CN107483268A (zh) * | 2017-09-20 | 2017-12-15 | 深圳市中润四方信息技术有限公司 | 一种告警处理方法及系统 |
CN110224858A (zh) * | 2019-05-16 | 2019-09-10 | 平安科技(深圳)有限公司 | 基于日志的告警方法及相关装置 |
-
2019
- 2019-09-25 CN CN201910910539.3A patent/CN110830438A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106202511A (zh) * | 2016-07-21 | 2016-12-07 | 浪潮(北京)电子信息产业有限公司 | 一种基于日志分析的告警方法和系统 |
CN107483268A (zh) * | 2017-09-20 | 2017-12-15 | 深圳市中润四方信息技术有限公司 | 一种告警处理方法及系统 |
CN110224858A (zh) * | 2019-05-16 | 2019-09-10 | 平安科技(深圳)有限公司 | 基于日志的告警方法及相关装置 |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111400156A (zh) * | 2020-03-16 | 2020-07-10 | 中国联合网络通信集团有限公司 | 日志分析方法和装置 |
CN111897834A (zh) * | 2020-08-12 | 2020-11-06 | 网易(杭州)网络有限公司 | 日志搜索方法、装置及服务器 |
CN112306812A (zh) * | 2020-11-11 | 2021-02-02 | 武汉悦学帮网络技术有限公司 | 一种日志处理方法、装置、计算机设备和存储介质 |
CN112346948A (zh) * | 2020-11-27 | 2021-02-09 | 中国农业银行股份有限公司 | 一种日志监控方法及装置 |
CN113114490B (zh) * | 2021-03-30 | 2023-10-27 | 海信集团控股股份有限公司 | 一种api调用异常告警方法、装置、设备及介质 |
CN113114490A (zh) * | 2021-03-30 | 2021-07-13 | 海信集团控股股份有限公司 | 一种api调用异常告警方法、装置、设备及介质 |
CN113111037A (zh) * | 2021-04-30 | 2021-07-13 | 杭州远石科技有限公司 | 日志审计告警方法、装置及存储介质 |
CN113849337A (zh) * | 2021-11-30 | 2021-12-28 | 飞狐信息技术(天津)有限公司 | 一种系统异常的处理方法及装置 |
CN113849337B (zh) * | 2021-11-30 | 2022-03-01 | 飞狐信息技术(天津)有限公司 | 一种系统异常的处理方法及装置 |
CN114157553A (zh) * | 2021-12-08 | 2022-03-08 | 深圳前海微众银行股份有限公司 | 一种数据处理方法、装置、设备及存储介质 |
CN117112371A (zh) * | 2023-10-25 | 2023-11-24 | 杭银消费金融股份有限公司 | 一种可观测全链路日志追踪方法及系统 |
CN117112371B (zh) * | 2023-10-25 | 2024-01-26 | 杭银消费金融股份有限公司 | 一种可观测全链路日志追踪方法及系统 |
CN117312098A (zh) * | 2023-11-22 | 2023-12-29 | 中国电子信息产业集团有限公司第六研究所 | 一种日志异常告警方法及装置 |
CN117312098B (zh) * | 2023-11-22 | 2024-03-01 | 中国电子信息产业集团有限公司第六研究所 | 一种日志异常告警方法及装置 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110830438A (zh) | 一种异常日志告警方法、装置及电子设备 | |
US11586972B2 (en) | Tool-specific alerting rules based on abnormal and normal patterns obtained from history logs | |
CN106992994B (zh) | 一种云服务的自动化监控方法和系统 | |
CN110347716B (zh) | 日志数据处理方法、装置、终端设备及存储介质 | |
CN108170580A (zh) | 一种基于规则的日志报警方法、装置及系统 | |
CN112965874B (zh) | 一种可配置的监控告警方法及系统 | |
CN111274094B (zh) | 接口预警方法、系统、设备及存储介质 | |
US11201802B2 (en) | Systems and methods for providing infrastructure metrics | |
CN109992484B (zh) | 一种网络告警相关性分析方法、装置和介质 | |
CN115809183A (zh) | 基于知识图谱的信创终端故障发现及处置的方法 | |
CN105743730A (zh) | 为移动终端的网页服务提供实时监控的方法及其系统 | |
CN105681128A (zh) | 一种用于大数据系统状态监控的方法和装置 | |
CN112306812A (zh) | 一种日志处理方法、装置、计算机设备和存储介质 | |
CN108039971A (zh) | 一种告警方法及装置 | |
CN113282920B (zh) | 日志异常检测方法、装置、计算机设备和存储介质 | |
CN110677271B (zh) | 基于elk的大数据告警方法、装置、设备及存储介质 | |
CN110336889B (zh) | 一种数值天气预报模式运行智能监控平台和监控方法 | |
CN202009391U (zh) | 一种对信息系统运行情况进行实时监控与预警的装置 | |
CN111324583B (zh) | 一种业务日志的分类方法及装置 | |
CN112073396A (zh) | 一种内网横向移动攻击行为的检测方法及装置 | |
CN111475495A (zh) | 基于大数据的质量分析方法、系统及存储介质 | |
KR20180118869A (ko) | 통합 보안 이상징후 모니터링 시스템 | |
CN115098326A (zh) | 一种系统异常检测方法及装置、存储介质及电子设备 | |
CN114253819A (zh) | 一种用户操作监控方法、装置及相关设备 | |
CN110708296B (zh) | 一种基于长时间行为分析的vpn账号失陷智能检测模型 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200221 |
|
RJ01 | Rejection of invention patent application after publication |