CN115934487A - 日志监控告警方法、装置、计算机设备和存储介质 - Google Patents
日志监控告警方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- CN115934487A CN115934487A CN202211604836.3A CN202211604836A CN115934487A CN 115934487 A CN115934487 A CN 115934487A CN 202211604836 A CN202211604836 A CN 202211604836A CN 115934487 A CN115934487 A CN 115934487A
- Authority
- CN
- China
- Prior art keywords
- node
- monitoring
- log
- abnormal
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Debugging And Monitoring (AREA)
Abstract
本申请涉及一种日志监控告警方法、装置、计算机设备和存储介质。其中,方法包括:获取至少一个节点的启动信号;在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动监听线程;对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;对异常类型以及来源进行归并统计处理;根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。本申请将日志监控与应用解耦,降低开发人员及运维人员的工作量,利用Redis注册节点ID值,实现日志监控告警方案的分布式部署,使每个启动节点通过节点ID值实现分布式锁,以互相协调并行处理各个节点,提高应用程序的业务处理量以及负载能力。
Description
技术领域
本申请涉及数据监测技术领域,特别是涉及一种日志监控告警方法、装置、计算机设备和存储介质。
背景技术
随着社会数字化的发展,各类应用程序的负载量越来越大,使得数据处理量也越来越大,导致生成的日志量也呈数量级增加。
为了及时发现错误日志以及发出告警提醒,现有采用了监控平台实施日志监控告警技术。虽然现有技术解决了错误日志发现及告警提醒问题,但现有技术容易给应用服务器带来额外的性能开销,也带来了更多的开发成本。
比如,在应用程序中添加数据埋点的方案中,通过埋点在业务代码中捕获异常,并上报至监控平台,或发送到消息队列,由监控平台消费,最终由监控平台按规则解析后产生告警。该方案需要在业务代码上额外添加埋点监测代码,对业务代码产生影响,往往不能上报所有异常,并且导致业务代码过多冗余。
比如,在应用程序中安装数据采集探针,一种是通过探针捕获异常并上报到监控平台,或者发送到消息队列由监控平台消费,最终由监控平台按规则解析后产生告警;另一种是通过探针捕获异常后解析,符合规则的数据上报到监控平台,完成告警发送。但两种探针安装都需要检查是否正常安装以及数据是否能正常上报,都对应用服务器的性能有所消耗,且都给运维人员带来了更多的工作量和更高要求,并且第一种往往不能将所有异常完全上报,而第二种由于通过探针完成解析,会过多消耗应用服务器的性能,且需要和监控平台双向通信,才能完成规则获取及数据上报。
发明内容
基于此,针对上述技术问题,本申请提供了一种日志监控告警方法、装置、计算机设备和存储介质,使日志监控与应用解耦,降低开发人员及运维人员的工作量,利用Redis注册节点ID值,实现日志监控告警方案的分布式部署,使每个启动节点通过节点ID值实现分布式锁,以互相协调并行处理各个节点,提高应用程序的业务处理量以及负载能力。
本申请提供了一种日志监控告警方法,方法包括:
获取应用程序中的至少一个节点的启动信号;
根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;
根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
对异常类型以及来源进行归并统计处理,获取统计结果;
根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
在其中一个实施例中,根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程的步骤,包括:
根据启动信号,采用轮询机制,在Redis中触发新增key值,以表示当前启动节点的节点ID值,其中,key值通过在Redis中抢占一个递增的数值以表示节点ID值;
根据节点ID值,生成对应于启动节点的监听器,以便利用监听器启动节点监听线程,以获取各启动节点的日志数据;
以及,根据预设的节点运行状态,确定所有启动节点启动监听线程。
在其中一个实施例中,在Redis中触发新增key值的步骤之后,还包括:
根据key值,获取Key值的过期时间,以便根据过期时间确定节点监听线程的有效期限;
使得根据监听器启动节点监听线程的步骤之后,还包括:
按照预设的间隔时间,重新动态获取各节点ID值的过期时间。
在其中一个实施例中,异常监测规则包括日志采集规则、异常查询规则、异常解析规则;
根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源的步骤,包括:
根据日志采集规则,按照节点ID值,采集各启动节点的日志数据,存储至ES数据库中;
根据异常查询规则,查询ES数据库中存储的异常数据;
根据异常解析规则,对异常数据进行解析处理,获取各异常数据的异常类型和来源。
在其中一个实施例中,根据日志采集规则,按照节点ID值,采集各启动节点的日志数据,并存储至ES数据库中的步骤,包括:
获取节点总数以及当前节点ID值;
按照启动节点总数以及当前节点ID值,在ES数据库中,按照时间序列对日志数据进行分段处理,以便根据分段后的日志数据查询异常数据。
在其中一个实施例中,对异常类型以及来源进行归并统计处理,获取统计结果的步骤,包括:
获取各异常数据的异常类型以及来源;
对异常类型以及来源分别进行归并统计处理,以获取统计结果。
在其中一个实施例中,根据统计结果以及预设的告警规则,触发生成告警信息的步骤,包括:
利用预设的告警规则,将异常类型和/或来源的统计数值分别与预设阈值进行比较,若超过预设阈值,则触发生成告警信息;
其中,生成的告警信息包括:
发送给特定目标对象的告警消息,以便目标对象根据告警消息对异常节点进行修复处理;
和/或持久化的告警工单,通过告警工单控制异常节点启闭。
本申请提供了一种日志监控告警装置,装置包括:信号获取模块、监听预处理模块、异常获取模块、异常统计模块以及告警触发模块;其中,
信号获取模块用于获取应用程序中的至少一个节点的启动信号;
监听预处理模块用于根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;
异常获取模块用于根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
异常统计模块用于对异常类型以及来源进行归并统计处理,获取统计结果;
告警触发模块用于根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
本申请提供了一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现以下步骤:
获取应用程序中的至少一个节点的启动信号;
根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;
根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
对异常类型以及来源进行归并统计处理,获取统计结果;
根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
本申请提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取应用程序中的至少一个节点的启动信号;
根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;
根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
对异常类型以及来源进行归并统计处理,获取统计结果;
根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
上述日志监控告警方法、装置、计算机设备和存储介质,至少具有以下技术效果之一。
由于采用了获取应用程序中的至少一个节点的启动信号,根据启动信号进行启动节点的监听线程,因此可以知道,本技术方案是根据各个启动节点进行的监听线程,因此启动节点间的监听线程工作互不干扰。
由于采用了根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程,从而可以知道,本技术方案利用Redis数据库的特点,将节点ID值以消息队列的行驶进行存储,满足新增节点ID值的高并发需求,以及便于启动各启动节点的监听线程后,读取和更新Redis列表,以便将过期时间所对应的日志数据定时清楚,减少日志数据量存储,从而实现基于节点ID值的分布式部署,每个启动节点通过节点ID值实现分布式锁,以互相协调,使得监测平台不受日志数据量的影响,提高横向扩展日志采集解析能力,保证高可用等能力。
由于采用了根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源,进而获取异常类型以及来源统计结果后,根据统计结果再判断是否需要生成告警信息,以便对异常节点进行修复。从而可以看出,异常数据的获取及解析等工作与应用程序解耦,只基于应用程序输出的日志数据进行异常查询及解析,让应用开发人员专注于应用程序,减少运维人员的工作量,减少应用程序所在服务器的性能开销,使服务器有更多的负载能力接收、处理业务。
附图说明
图1为一个实施例中日志监控告警方法的应用环境图;
图2为一个实施例中日志监控告警方法的流程示意图;
图3为一个实施例中日志处理步骤的流程示意图;
图4为一个实施例中日志监控告警装置的结构框图;
图5为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
本申请提供的日志监控告警方法,可以应用于如图1所示的应用环境中。其中,监测程序与应用程序关联,用以获取应用程序中的节点运行信号,以便根据节点运行信号,获取各节点的运行状态信息。
可以理解的是,在一种实施方式中,所涉及的应用程序可以理解为软件服务,因此,本发明中应用程序的含义与软件服务的含义等同,所有出现应用程序的地方均可以替换为软件服务。在另一种实施方式中,云计算领域中,将计算任务分布在大量节点设备构成的资源池上,应用程序表现为能够根据需要获取计算能力、存储空间和各种软件服务。
本实施例中的应用程序可以是但不限于office应用程序、计算器应用程序、浏览器应用程序等任意一种已知应用程序,可根据需要应用于任意应用程序中。
本实施例中的监测程序用于执行日志监控告警方法步骤,能够监测应用程序及其应用程序所在服务器的使用情况。本实施例中的应用程序可以与监测程序部署在同一个服务器上,启动应用程序后再启动监测程序;也可以部署在不同的服务器上,将应用程序与监测程序建立连接关系后,通过特定的通信协议进行监测数据的传输,对此本实施方式不做限定。
在一个实施例中,如图2-3所示,提供了一种日志监控告警方法,以该方法应用于图1中的监测程序为例进行说明,包括以下步骤:
步骤S10,获取应用程序中的至少一个节点的启动信号;
步骤S20,根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;
步骤S30,根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
步骤S40,对异常类型以及来源进行归并统计处理,获取统计结果;
步骤S50,根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
在一种实施方式中,步骤S10,获取应用程序中的至少一个节点的启动信号。本实施例中的监测程序与应用程序连接,进一步地,监测程序中设置有若干探针,通过各个探针分别获取各个节点的运行信号,以便对各个节点进行监测。当获取至少一个节点的启动信号时,开始启动日志监控告警流程。
其中,应用程序在启动过程中,生成各个节点的启动信号,监测程序对于任一启动节点均形成独立的节点监听线程。
进一步说明,节点监听线程中,监听是否有新节点注册,以及是否有节点ID值过期丢失,当出现新节点注册或者存活节点不一致,暂停查询ES,重新执行节点启动过程,并结束当前监听线程。
在一种实施方式中,步骤S20,根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程的步骤,包括:
S21,根据启动信号,采用轮询机制,在Redis中触发新增key值,以表示当前启动节点的节点ID值,其中,key值通过在Redis中抢占一个递增的数值以表示节点ID值;
S22,根据节点ID值,生成对应于启动节点的监听器,以便利用监听器启动节点监听线程,以获取各启动节点的日志数据;
S23,根据预设的节点运行状态,确定所有启动节点启动监听线程。
在一种实施方式中,当节点运行状态为自旋一段时间后,以表示所有启动节点完成Redis中节点ID值的注册。
常规的轮询(Polling)机制是指一种由CPU决策如何提供周边设备服务的方式,由CPU定时发出询问,依序询问每一个周边设备是否需要服务,有需要即给予服务,服务结束后再问下一个周边,接着不断周而复始。本步骤S21中的轮询机制表现为,获取到启动信号,CPU准备新增Key值,然后发出询问,比如,依序询问,当前N值是否存在,若存在,则继续询问N+1值是否存在,若存在,则继续询问N+2是否存在,以此类推,直至问到N+M是否存在,反馈到不存在时,根据启动信号,触发N+M作为新增Key值,并将N+M表示为当前启动节点的节点ID值。进一步可以知道,本实施例中通过新增的Key值在Redis中抢占一个递增的数值以表示节点ID值。通过节点ID值形成基于Redis的分布式锁。
本实施方式中的节点ID值用于生成对应于节点的监听线程,在步骤S22-S23中,根据节点ID值生成对应于启动节点的监听器,通过监听器执行启动节点的监听线程,从而获得对应启动节点的日志数据。
在一种实施方式中,步骤S21中,在Redis中触发新增key值的步骤之后,还包括:根据key值,获取Key值的过期时间,以便根据过期时间确定节点监听线程的有效期限,使得根据监听器启动节点监听线程的步骤之后,还包括:按照预设的间隔时间,重新动态获取各节点ID值的过期时间。
进一步说明,Redis对存储值的过期处理实际上是针对Key值处理的,即过期时间的设置也是设置key值的有效时间,即为节点ID值的有效时间。通过过期时间可以使一些不必要的数据在一定时间内自动被销毁,通过定期清理过期的日志数据,可以减少数据存储量,避免Redis内存不足。
在一种实施方式中,异常监测规则包括日志采集规则、异常查询规则、异常解析规则。步骤S30,根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源的步骤,包括:
步骤S31,根据日志采集规则,按照节点ID值,采集各启动节点的日志数据,存储至ES数据库中;
步骤S32,根据异常查询规则,查询ES数据库中存储的异常数据;
步骤S33,根据异常解析规则,对异常数据进行解析处理,获取各异常数据的异常类型和来源。
其中,ES数据库表示为elasticsearch数据库,是一种具有高扩展、开源的全文检索和分析引擎的数据库,可以准确、实时地快速存储、搜索、分析海量的数据。本实施方案中根据日志采集规则,按照节点ID值,采集各启动节点的日志数据,存储至ES数据库中,以便进行异常数据采集。
由于本实施例中采用了ES数据库,因此在根据异常查询规则可以从ES数据库中查询异常数据。比如,每一个启动节点预设有正常范围的属性数值,当启动节点生成的日志数据超过正常范围时,根据异常查询规则,从ES数据库中可以直接找出异常数据。
进一步说明,本实施方式中,根据异常解析规则,对异常数据进行解析处理,以获取异常数据的异常类型和来源。本实施方式中不限定产生日志数据的具体应用程序。
在步骤S31中,根据日志采集规则,按照节点ID值,采集各启动节点的日志数据,存储至ES数据库中的步骤,包括:
获取节点总数以及当前节点ID值;
按照启动节点总数以及当前节点ID值,在ES数据库中,按照时间序列对日志数据进行分段处理,以便根据分段后的日志数据查询异常数据。
在一种实施方式中,步骤S40,对异常类型以及来源进行归并统计处理,获取统计结果的步骤,包括:
S41,获取各异常数据的异常类型以及来源;
S42,对异常类型以及来源进行归并统计处理,以获取统计结果。
在一种实施方式中,步骤S50,根据统计结果以及预设的告警规则,触发生成告警信息的步骤,包括:利用预设的告警规则,将异常类型和/或来源的统计数值与预设阈值进行比较,若超过预设阈值,则触发生成告警信息。
其中,生成的告警信息包括:
发送给特定目标对象的告警消息,以便目标对象根据告警消息对异常节点进行修复处理;
和/或持久化的告警工单,利用告警工单控制异常节点启闭。
进一步说明,本实施方式中的预设阈值包括异常类型的阈值、来源的阈值。将异常类型的统计数值与异常类型的阈值比较,若超过阈值,则触发生成告警信息。以及,将来源的统计数值与来源的阈值比较,若超过阈值,则触发生成告警信息。
本实施方式中将告警消息发送给特定目标对象,比如,飞书open.feishu机器人,机器人往飞书开发人员沟通群中发送并根据告警规则指向具体群成员,同时将告警工单持久化。进而开发人员再修复好异常节点后,在飞书群里回复机器人,飞书open.feishu机器人生成事件,以便根据事件判断是否对应于告警信息。
在对异常节点进行修复处理的步骤中,还包括并行处理往期未处理的异常节点的告警信息,具体步骤包括:获取往期超时未关闭的报警工单,关闭告警工单。其中,所要关闭的告警工单为本次未再次出现的往期超时、未关闭的告警工单。
进一步说明,本实施方式中,在执行各启动节点的监听线程之前,还需要进行日志采集规则、异常查询规则、异常解析规则、告警规则的配置,基于预先配置好的规则执行启动节点中异常数据的监听告警程序。
上述日志监控告警方法中,由于采用了获取应用程序中的至少一个节点的启动信号,根据启动信号进行启动节点的监听线程,因此可以知道,本技术方案是根据各个启动节点进行的监听线程,因此启动节点间的监听线程工作互不干扰。
由于采用了根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程,从而可以知道,本技术方案利用Redis数据库的特点,将节点ID值以消息队列的行驶进行存储,满足新增节点ID值的高并发需求,以及便于启动各启动节点的监听线程后,读取和更新Redis列表,以便将过期时间所对应的日志数据定时清楚,减少日志数据量存储,从而实现基于节点ID值的分布式部署,每个启动节点通过节点ID值实现分布式锁,以互相协调,使得监测平台不受日志数据量的影响,提高横向扩展日志采集解析能力,保证高可用等能力。
由于采用了根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源,进而获取异常类型以及来源统计结果后,根据统计结果再判断是否需要生成告警信息,以便对异常节点进行修复。从而可以看出,异常数据的获取及解析等工作与应用程序解耦,只基于应用程序输出的日志数据进行异常查询及解析,让应用开发人员专注于应用程序,减少运维人员的工作量,减少应用程序所在服务器的性能开销,使服务器有更多的负载能力接收、处理业务。
应该理解的是,虽然图2-3的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,图2-3中的至少一部分步骤可以包括多个子步骤或者多个阶段,这些子步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些子步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中,如图4所示,提供了一种日志监控告警装置,包括:信号获取模块10、监听预处理模块20、异常获取模块30、异常统计模块40以及告警触发模块50,其中,
信号获取模块10用于获取应用程序中的至少一个节点的启动信号;
监听预处理模块20用于根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;
异常获取模块30用于根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
异常统计模块40用于对异常类型以及来源进行归并统计处理,获取统计结果;
告警触发模块50用于根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
关于日志监控告警装置的具体限定可以参见上文中对于日志监控告警方法的限定,在此不再赘述。上述日志监控告警装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储日志数据以及异常数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种日志监控告警方法。
本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
获取应用程序中的至少一个节点的启动信号;根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;对异常类型以及来源进行归并统计处理,获取统计结果;根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
获取应用程序中的至少一个节点的启动信号;根据启动信号,在Redis中注册各启动节点的节点ID值,以对各启动节点进行日志监听预处理,启动各启动节点的监听线程;根据节点ID值以及预设的异常监测规则,对各启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;对异常类型以及来源进行归并统计处理,获取统计结果;根据统计结果以及预设的告警规则,触发生成告警信息,以便对异常节点进行修复处理。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。
Claims (10)
1.一种日志监控告警方法,其特征在于,所述方法包括:
获取应用程序中的至少一个节点的启动信号;
根据所述启动信号,在Redis中注册各启动节点的节点ID值,以对各所述启动节点进行日志监听预处理,启动各所述启动节点的监听线程;
根据所述节点ID值以及预设的异常监测规则,对各所述启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
对所述异常类型以及来源进行归并统计处理,获取统计结果;
根据所述统计结果以及预设的告警规则,触发生成告警信息,以便对所述异常节点进行修复处理。
2.根据权利要求1所述的日志监控告警方法,其特征在于,所述根据启动信号,在Redis中注册各启动节点的节点ID值,以对各所述启动节点进行日志监听预处理,启动各所述启动节点的监听线程的步骤,包括:
根据所述启动信号,采用轮询机制,在所述Redis中触发新增key值,以表示当前启动节点的节点ID值,其中,所述key值通过在Redis中抢占一个递增的数值以表示所述节点ID值;
根据所述节点ID值,生成对应于所述启动节点的监听器,以便利用所述监听器启动节点监听线程,以获取各所述启动节点的日志数据;
以及,根据预设的节点运行状态,确定所有所述启动节点启动监听线程。
3.根据权利要求2所述的日志监控告警方法,其特征在于,所述在Redis中触发新增key值的步骤之后,还包括:
根据所述key值,获取所述Key值的过期时间,以便根据所述过期时间确定所述节点监听线程的有效期限;
使得根据监听器启动节点监听线程的步骤之后,还包括:
按照预设的间隔时间,重新动态获取各所述节点ID值的过期时间。
4.根据权利要求1所述的日志监控告警方法,其特征在于,所述异常监测规则包括日志采集规则、异常查询规则、异常解析规则;
所述根据节点ID值以及预设的异常监测规则,对各所述启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源的步骤,包括:
根据所述日志采集规则,按照节点ID值,采集各所述启动节点的日志数据,存储至所述ES数据库中;
根据所述异常查询规则,查询所述ES数据库中存储的异常数据;
根据所述异常解析规则,对所述异常数据进行解析处理,获取各所述异常数据的异常类型和来源。
5.根据权利要求4所述的日志监控告警方法,其特征在于,所述根据日志采集规则,按照节点ID值,采集各所述启动节点的日志数据,并存储至所述ES数据库中的步骤,包括:
获取节点总数以及当前节点ID值;
按照启动节点总数以及当前节点ID值,在所述ES数据库中,按照时间序列对所述日志数据进行分段处理,以便根据分段后的日志数据查询异常数据。
6.根据权利要求1所述的日志监控告警方法,其特征在于,所述对异常类型以及来源进行归并统计处理,获取统计结果的步骤,包括:
获取各所述异常数据的异常类型以及来源;
对所述异常类型以及所述来源分别进行归并统计处理,以获取统计结果。
7.根据权利要求1或6所述的日志监控告警方法,其特征在于,根据所述统计结果以及预设的告警规则,触发生成告警信息的步骤,包括:
利用预设的告警规则,将所述异常类型和/或所述来源的统计数值分别与预设阈值进行比较,若超过所述预设阈值,则触发生成告警信息;
其中,所述生成的告警信息包括:
发送给特定目标对象的告警消息,以便所述目标对象根据所述告警消息对所述异常节点进行修复处理;
和/或持久化的告警工单,通过所述告警工单控制所述异常节点启闭。
8.一种日志监控告警装置,其特征在于,所述装置包括:
信号获取模块,用于获取应用程序中的至少一个节点的启动信号;
监听预处理模块,用于根据所述启动信号,在Redis中注册各启动节点的节点ID值,以对各所述启动节点进行日志监听预处理,启动各所述启动节点的监听线程;
异常获取模块,用于根据所述节点ID值以及预设的异常监测规则,对各所述启动节点的监听线程,进行日志异常查询,以获取异常节点的异常类型以及来源;
异常统计模块,用于对所述异常类型以及来源进行归并统计处理,获取统计结果;
告警触发模块,用于根据所述统计结果以及预设的告警规则,触发生成告警信息,以便对所述异常节点进行修复处理。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211604836.3A CN115934487A (zh) | 2022-12-14 | 2022-12-14 | 日志监控告警方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211604836.3A CN115934487A (zh) | 2022-12-14 | 2022-12-14 | 日志监控告警方法、装置、计算机设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115934487A true CN115934487A (zh) | 2023-04-07 |
Family
ID=86648817
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211604836.3A Pending CN115934487A (zh) | 2022-12-14 | 2022-12-14 | 日志监控告警方法、装置、计算机设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115934487A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116703167A (zh) * | 2023-08-08 | 2023-09-05 | 深圳市明心数智科技有限公司 | 养殖设备告警监测处理方法、装置、设备及存储介质 |
-
2022
- 2022-12-14 CN CN202211604836.3A patent/CN115934487A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116703167A (zh) * | 2023-08-08 | 2023-09-05 | 深圳市明心数智科技有限公司 | 养殖设备告警监测处理方法、装置、设备及存储介质 |
CN116703167B (zh) * | 2023-08-08 | 2024-01-26 | 深圳市明心数智科技有限公司 | 养殖设备告警监测处理方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110086649B (zh) | 异常流量的检测方法、装置、计算机设备及存储介质 | |
CN110113224B (zh) | 容量监控方法、装置、计算机设备及存储介质 | |
CN110995468B (zh) | 待分析系统的系统故障处理方法、装置、设备和存储介质 | |
CN112631913B (zh) | 应用程序的运行故障监控方法、装置、设备和存储介质 | |
CN110149421B (zh) | 域名系统的异常监测方法、系统、装置和计算机设备 | |
CN109359866B (zh) | 基于租赁设备的风险隐患监控方法、装置和计算机设备 | |
CN110752969B (zh) | 一种性能检测方法、装置、设备及介质 | |
CN115174231B (zh) | 一种基于AI Knowledge Base的网络欺诈分析方法及服务器 | |
CN115934487A (zh) | 日志监控告警方法、装置、计算机设备和存储介质 | |
CN112613993A (zh) | 交易数据处理方法、装置、计算机设备和存储介质 | |
CN111858251A (zh) | 一种基于大数据计算技术的数据安全审计方法及系统 | |
CN112612680A (zh) | 一种消息告警方法、系统、计算机设备及存储介质 | |
CN113704018A (zh) | 应用运维数据处理方法、装置、计算机设备及存储介质 | |
Astekin et al. | Incremental analysis of large-scale system logs for anomaly detection | |
CN110674149B (zh) | 业务数据处理方法、装置、计算机设备和存储介质 | |
CN111694734A (zh) | 软件接口校验方法、装置及计算机设备 | |
CN113419950A (zh) | Ui自动化脚本的生成方法、装置、计算机设备及存储介质 | |
CN111177488B (zh) | 计量设备检修处理方法、装置、计算机设备和存储介质 | |
CN117271177A (zh) | 基于链路数据的根因定位方法、装置、电子设备及存储介质 | |
CN110011845B (zh) | 日志采集方法及系统 | |
CN113472881B (zh) | 在线终端设备的统计方法和装置 | |
CN114661545A (zh) | 处理器资源的监控方法、装置、设备及存储介质 | |
CN114531338A (zh) | 一种基于调用链数据的监控告警和溯源方法及系统 | |
CN112737120A (zh) | 区域电网控制报告的生成方法、装置和计算机设备 | |
Kou et al. | An ensemble signature-based approach for performance diagnosis in big data platform |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |