CN115190002A - 告警处理方法、装置、终端设备以及存储介质 - Google Patents

告警处理方法、装置、终端设备以及存储介质 Download PDF

Info

Publication number
CN115190002A
CN115190002A CN202211107080.1A CN202211107080A CN115190002A CN 115190002 A CN115190002 A CN 115190002A CN 202211107080 A CN202211107080 A CN 202211107080A CN 115190002 A CN115190002 A CN 115190002A
Authority
CN
China
Prior art keywords
alarm
data
initial
total
configuration parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211107080.1A
Other languages
English (en)
Other versions
CN115190002B (zh
Inventor
赵孟杰
韩阳
肖群群
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing 6Cloud Technology Co Ltd
Beijing 6Cloud Information Technology Co Ltd
Original Assignee
Beijing 6Cloud Technology Co Ltd
Beijing 6Cloud Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing 6Cloud Technology Co Ltd, Beijing 6Cloud Information Technology Co Ltd filed Critical Beijing 6Cloud Technology Co Ltd
Priority to CN202211107080.1A priority Critical patent/CN115190002B/zh
Publication of CN115190002A publication Critical patent/CN115190002A/zh
Application granted granted Critical
Publication of CN115190002B publication Critical patent/CN115190002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0631Management of faults, events, alarms or notifications using root cause analysis; using analysis of correlation between notifications, alarms or events based on decision criteria, e.g. hierarchy, tree or time analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/06Management of faults, events, alarms or notifications
    • H04L41/0604Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种告警处理方法、装置、终端设备以及存储介质,属于信息处理技术领域,该方法包括:获取初始告警数据;按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;将所述总告警次数与预设的配置参数阈值进行对比;若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回缓存数据库,将所述初始告警数据写入索引数据库。本发明解决了在处理告警激增时无法提高告警准确度和降低告警研判难度的问题。

Description

告警处理方法、装置、终端设备以及存储介质
技术领域
本发明涉及告警信息处理技术领域,尤其涉及一种告警处理方法、装置、终端设备以及存储介质。
背景技术
随着科技的发展,互联网软件功能越来越丰富,所要处理的信息数据也越来越多,企业的信息化安全成为了保障企业正常运转的重中之重。网络设备作为信息的载体,安全性也备受企业重视。伴随着愈加复杂的网络环境,网络安全设备的检测类型和方法也愈加多样化,大量的检测告警数据催生了设备告警量的激增。因此,有必要对告警数据进行自动化抑制处理。
现有的告警抑制技术一般是基于特征规则进行告警匹配,对于在某种特定的网络环境下,部分特征规则会被大部分的流量数据命中,告警的研判难度增大的同时依然出现告警激增的情况。在上述情况发生时,一般会采取关闭这些会被大部分流量数据命中的特征规则的处理。这种方式虽然可以解决告警激增的一个问题,但是降低了告警的准确度,增加了技术人员对告警信息的研判难度。
因此,有必要提出一种解决的在处理告警激增时无法提高告警准确度和降低告警研判难度问题的方法。
上述内容仅用于辅助理解本发明的技术方案,并不代表承认上述内容是现有技术。
发明内容
本发明的主要目的在于提供一种告警处理方法、装置、终端设备以及存储介质,旨在解决在处理告警激增时无法提高告警准确度和降低告警研判难度的技术问题。
为实现上述目的,本发明提供一种告警处理方法,所述告警处理方法包括:
获取初始告警数据;
按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
将所述总告警次数与预设的配置参数阈值进行对比;
若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;
若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
可选地,所述获取初始告警数据的步骤包括:
对所述消息中间件进行监听;
获取所述消息中间件发送的初始告警数据。
可选地,所述按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数的步骤包括:
按照预设事件类型对所述初始告警数据进行聚合,获得聚合告警次数;
基于所述初始告警数据的事件类型,提取所述缓存数据库中对应的即时告警次数;
将所述聚合告警次数和所述即时告警次数进行累加,获得总告警次数。可选地,所述按照预设事件类型对所述初始告警数据进行聚合,获得聚合告警次数的步骤包括:
基于预设事件类型,将所述初始告警数据进行分类,得到不同事件类型的初始告警数据的聚合告警次数;
将不同事件类型的初始告警数据以及对应的聚合告警次数以键值对的形式存储到所述缓存数据库。
可选地,所述若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库中的步骤包括:
若所述总告警次数没有超过所述预设的配置参数阈值,则将所述缓存数据库中对应的所述即时告警次数替换为所述总告警次数;
将对应的事件类型作为后缀添加到所述初始告警数据中,得到组装告警数据;
将所述组装告警数据写入所述索引数据库。
可选地,所述将所述缓存数据库中对应的即时告警次数替换为所述总告警次数的步骤之后还包括:
按照预设时间将所述即时告警次数从所述缓存数据库中归零。
可选地,所述若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃的步骤包括:
将所述对应超出的数据写入所述日志;
将所述对应超出的数据从所述缓存数据库中删除。
此外,为实现上述目的,本发明还提供一种告警处理装置,所述告警处理装置包括:
获取模块,用于获取初始告警数据;
聚合模块,用于按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
对比模块,用于将总告警次数与预设的配置参数阈值进行对比;
写入模块,用于若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;以及若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
此外,为实现上述目的,本发明还提供一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的告警处理程序,所述告警处理程序被所述处理器执行时实现如上所述的告警处理方法的步骤。
此外,为实现上述目的,本发明还提供一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有告警处理程序,所述告警处理程序被处理器执行时实现如上所述的告警处理方法的步骤。
本发明实施例提出的一种告警处理方法、装置、终端设备以及存储介质,通过获取初始告警数据;按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;将所述总告警次数与预设的配置参数阈值进行对比;若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。通过对初始告警数据进行聚合,精确基于事件类型的某一类告警信息,从而提高告警数据的准确度。将没有超过配置参数阈值的告警数据进行告警组装后写入索引数据库,超过配置参数阈值的告警数据放弃,技术人员可根据相关处理结果迅速做出应对,大大降低了技术人员的研判难度。将数值比对结果不同的告警做出分离,从而解决告警激增的问题。进而解决了在处理告警激增时无法提高告警准确度和降低告警研判难度的问题,为设备安全的判定提供依据。
附图说明
图1为本发明告警处理装置所属终端设备的功能模块示意图;
图2为本发明告警处理方法一示例性实施例的流程示意图;
图3为本发明实施例中按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数的细化流程示意图。
图4为本发明告警处理方法另一示例性实施例的流程示意图;
图5为本发明实施例中若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库的细化流程示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明实施例的主要解决方案是:通过获取初始告警数据;按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;将所述总告警次数与预设的配置参数阈值进行对比;若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库。通过对初始告警数据进行聚合,精确基于事件类型的某一类告警,从而提高告警数据的准确度。将没有超过配置参数阈值的告警数据进行告警组装后写入索引数据库,超过配置参数阈值的告警数据放弃,技术人员可根据相关处理结果迅速做出应对,大大降低了技术人员的研判难度。将比对结果不同的告警做出分离,从而解决告警激增的问题。进而解决了在处理告警激增时无法提高告警准确度和降低告警研判难度的问题,为设备安全的判定提供依据。
本发明实施例涉及的技术术语:
Kafka,Kafka 是一个优秀的分布式消息中间件,许多系统都会使用Kafka作为消息通信的中间件。分布式消息是一种通信机制,消息中间件采用分布式中间代理的方式进行通信,上游系统发送消息,先存储在消息中间件,然后由消息中间件将消息分发到对应的业务模块,减少服务间耦合。
ID,Identity document,一种身份标识号码也称为序列号或帐号,是某个体系中相对唯一的编码,相当于是一种“身份证”。在某一具体的事物中,身份标识号一般是不变的,至于用什么来标识该事物,则由设计者自己制定的规则来确定。
Elasticsearch,Elasticsearch(ES)是一个基于Lucene(一个开放源代码的全文检索引擎工具包)构建的开源、分布式、接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,ES能够横向扩展至数以百计的服务器存储以及处理PB(计算机存储单位)级的数据。可以在极短的时间内存储、搜索和分析大量的数据。
Redis,Redis 是一个数据库,不过与传统数据库不同的是Redis 的数据是存在内存中的,所以读写速度非常快,因此Redis 被广泛应用于缓存方向。另外,Redis 也经常用来做分布式锁。Redis的性能优点:
高性能:
假如用户第一次访问数据库中的某些数据,这个过程会比较慢,因为是从硬盘上读取的。如果该用户访问的数据存在缓存中,这样下一次再访问这些数据的时候就可以直接从缓存中获取了。操作缓存是直接操作内存,所以速度相对硬盘要快很多。如果数据库中的对应数据改变的之后,同步改变缓存中相应的数据即可。
高并发:
Redis适合少写多读,符合缓存的适用要求。官方数据表示Redis读的速度是十几万次/秒,写的速度是八万次左右/秒。单机Redis支撑万级,如果十万以上建议用Redisreplication模式,也就是集群模式。
键值对,key-value,一种简单的对应关系,根据唯一key获取存储在其他地方的对应唯一value。
网络检测设备在检测到故障或是外界攻击等影响正常工作的不稳定因素时,会发出告警信息,告警信息内通常含有一些具体的特征信息,例如告警事件类型,数据ID,时间信息等特殊信息。技术人员需要在后台对信息进行查看,分析,再对重要告警信息进行处理。伴随着越来越多的检测设备以及检测方法,告警量也随之增加,在某一特定时刻,后台涌入大量的告警数据,技术人员面对大量的告警涌入无法快速从大量的数据中排除误判告警以及无效告警,也无法快速判断告警重要性,失去及时响应的目标需求。可能在大量的告警数据中就藏有安全威胁甚至是安全漏洞,无法保障设备的安全性能。因此,对告警数据进行自动化处理,抑制告警激增是非常有必要的。
现有技术中,用于抑制告警激增的方法通常采用使用特征规则进行匹配,达到一个筛选的效果。若在某一特定时刻,有大量的流量数据命中某些特定规则,则关闭这些特定规则,放任流入日志中去,达到一个告警量减少的效果。但是这样的做法存在安全风险,一旦有重要的告警信息被漏掉,设备的安全性就会降低。并没有解决告警准确度降低和告警研判难度大的问题。
本发明提供一种解决方案,通过获取初始告警数据;按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;将所述总告警次数与预设的配置参数阈值进行对比;若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
在测试环境上验证,在没有开启该告警处理装置的情况下,分别输入不同流量大小的数据,产生的告警分别是:370245/day,73572/day,70451/day,59165/day,53059/day;在开启该告警处理装置的情况下产生的告警分别是:52941/day,43017/day,34690/day,4268/day,4090/day,抑制率分别为85%,42%,50.8%,93%,92%。基于事件类型的聚合处理,将同类型的数据统一输出,保证了告警的准确度。将告警数据按照发生次数将不同的事件类型筛选,极大的降低了告警激增的可能性。技术人员在面对经过装置处理的告警数据时,也可根据类型事件发生次数快速响应,降低了技术人员对于告警的研判难度。同时可根据装置需要面对的对象不同,更改预设值,大大提高了装置的使用灵活性。
参照图1,图1为本发明告警处理装置所属终端设备的功能模块示意图。该告警处理装置可以为独立于终端设备的、能够进行告警处理的装置,其可以通过硬件或软件的形式承载于终端设备上。该终端设备可以为手机、平板电脑等具有数据处理功能的智能移动终端,还可以为具有数据处理功能的固定终端设备或服务器等。
在本实施例中,该告警处理装置所属终端设备至少包括输出模块110、处理器120、存储器130以及通信模块140。
存储器130中存储有操作系统以及告警处理程序,告警处理装置可以将获取的初始告警数据按照预设事件类型进行聚合处理,得到所述初始告警数据不同事件类型对应的总告警次数。再以得到的总告警次数和预设配置参数阈值进行对比;若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。初始告警数据、预设配置参数阈值、初始告警数据聚合处理得到的总告警次数、缓存数据库、索引数据库和消息中间件皆存储于该存储器130中;输出模块110可为显示屏等。通信模块140可以包括WIFI模块、移动通信模块以及蓝牙模块等,通过通信模块140与外部设备或服务器进行通信。
其中,存储器130中的告警处理程序被处理器执行时实现以下步骤:
获取初始告警数据;
按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
将所述总告警次数与预设的配置参数阈值进行对比;
若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;
若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
进一步地,存储器130中的告警处理程序被处理器执行还实现以下步骤:
对所述消息中间件进行监听;
获取所述消息中间件发送的初始告警数据。
进一步地,存储器130中的告警处理程序被处理器执行还实现以下步骤:
按照预设事件类型对所述初始告警数据进行聚合,获得聚合告警次数;
基于所述初始告警数据的事件类型,提取所述缓存数据库中对应的即时告警次数;
将所述聚合告警次数和所述即时告警次数进行累加,获得总告警次数。
进一步地,存储器130中的告警处理程序被处理器执行还实现以下步骤:
基于预设事件类型,将所述初始告警数据进行分类,得到不同事件类型的初始告警数据的聚合告警次数;
将不同事件类型的初始告警数据以及对应的聚合告警次数以键值对的形式存储到所述缓存数据库。
进一步地,存储器130中的告警处理程序被处理器执行还实现以下步骤:
若所述总告警次数没有超过所述预设的配置参数阈值,则将所述缓存数据库中对应的所述即时告警次数替换为所述总告警次数;
将对应的事件类型作为后缀添加到所述初始告警数据中,得到组装告警数据;
将所述组装告警数据写入所述索引数据库。
进一步地,存储器130中的告警处理程序被处理器执行还实现以下步骤:
按照预设时间将所述即时告警次数从所述缓存数据库中归零。
进一步地,存储器130中的告警处理程序被处理器执行还实现以下步骤:
将所述对应超出的数据写入所述日志;
将所述对应超出的数据从所述缓存数据库中删除。
本实施例通过上述方案,具体通过获取初始告警数据,按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;对告警数据进行基于事件类型的聚合能将一些重要的告警事件类型与不太重要的告警事件进行分离,实现提高告警准确度的效果。再将总告警次数和从页面预设的配置参数阈值进行比较,若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃。若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库对应事件下,将所述初始告警数据写入所述索引数据库。按照发生次数将不同的事件类型筛选,极大的降低了告警激增的可能性的同时还降低了技术人员对于告警的研判难度。
基于上述终端设备架构但不限于上述架构,提出本申请方法实施例。
本实施例方法的执行主体可以为一种告警处理装置或终端设备等,本实施例以告警处理装置进行举例,该装置包括消息中间件、缓存数据库和索引数据库。
参照图2,图2为本发明告警处理方法一示例性实施例的流程示意图。所述告警处理方法包括:
步骤S10,获取初始告警数据;
市面上现有各种各样的检测设备,它们的检测手段也多种多样,所产生的告警数据的总和是庞大的,直接获取可能会造成系统崩溃;本实施例中获取初始告警数据的步骤如下:
通过高吞吐量的订阅消息系统Kafka,利用这类系统的发布订阅特性,主动监听订阅消息系统的状态,得到初始告警数据。进而按照批处理方式将初始告警数据读取到装置中。
通过消息中间件按批次获取初始告警数据的方式很好的解决了数据大量涌入造成的系统崩溃的问题。
步骤S20,按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
参照图3,图3为本发明实施例中按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数的细化流程示意图。
告警处理装置中存储有经过预先配置的事件类型,这些事件类型囊括了可能发生的一些告警事件。若发生了陌生告警事件,装置则会将该事件类型写入缓存数据库中。因为获取到的初始告警数据信息杂乱,没有规整度,重复度高,会为后续的自动化处理带来困难,所以告警处理装置会将获得的初始告警数据进行聚合处理。具体聚合处理操作如下:
首先,通过读取存储在缓存数据库中经过预先配置的事件类型,将初始告警数据进行分类,得到不同事件类型的初始告警数据的聚合告警次数,
其次,将不同事件类型的初始告警数据以及对应的聚合告警次数以键值对的形式存储到所述缓存数据库。告警数据按照时间顺序,从消息中间件中被不断的获取,在对上一批次告警数据的完整处理步骤之后会将未到达的阈值的事件类型的次数存储在Redis缓存数据库中,构成一个闭环;
最后,对于这一批次的初始告警数据,基于事件类型,在缓存数据库中提取截止到上一批次的对应次数,得到即时告警次数。将获得的即时告警次数与聚合告警次数进行一个累加,获得总告警次数。
步骤S30,将所述总告警次数与预设的配置参数阈值进行对比;
其中,将所述总告警次数与预设的配置参数阈值进行对比的步骤具体包括:
从Redis缓存数据库中提取前端人员预先设置的配置参数阈值。所述配置参数阈值中包含有所有预设事件类型下的告警抑制的时间范围和告警抑制的限制次数。
在得到告警抑制的限制次数之后,再基于获取的初始告警数据的事件类型提取该类型下所述告警抑制的限制次数。
将读取到的告警抑制的限制次数与所述的总告警次数进行比较。
步骤S40,若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;
进行完步骤S30后,会获得一个比较结果:若所述总告警次数超过了所述预设的配置参数阈值,则进行如下处理:
首先,获取初始告警数据中超过阈值的部分数据,该部分数据的获取方法是:
在初始告警数据经过聚合后,会基于事件类型进行分类,获得基于时间类型的聚合告警次数,此过程中,同类型告警数据按照告警发生时间顺序排序。首先,即时告警次数与聚合告警次数进行累加超过配置参数阈值。其次,将即时告警次数进行1的累加直到等于配置参数阈值。最后,确定累加次数,按照告警数据排序顺序确定临界点数据位置。此时,该数据之后的所有同类型数据为超过阈值的部分数据。
其次,将这一部分数据信息写入日志中,所述数据信息包括告警特征、抑制次数和时间范围。
最后从Redis数据库中删除这一部分数据的所有信息,释放内存空间。
步骤S50,若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
进行完步骤S30后,会获得一个比较结果:若所述的总告警次数没有超过了所述预设的配置参数阈值,则进行如下处理:
将缓存数据库中对应的所述即时告警次数替换为所述总告警次数;
将本批次中该类型的数据进行告警组装,所述告警组装为将对应的事件类型作为后缀添加到所述初始告警数据中,得到组装告警数据。
将所述组装告警数据录入索引数据库,方便技术人员查验。
在本实施例中,通过获取初始告警数据,按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;对告警数据进行基于事件类型的聚合能将一些重要的告警事件类型与不太重要的告警事件进行分离,实现提高告警准确度的效果。再将总告警次数与从页面预设配置的阈值进行比较,若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃。若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。基于事件类型的聚合处理,将同类型的数据统一输出,保证了告警的准确度。将告警数据按照发生次数进行筛选,极大的降低了告警激增的可能性。技术人员在面对经过装置处理的告警数据时,也可根据类型事件发生次数快速响应,降低了技术人员对于告警的研判难度。同时可根据装置需要面对的对象不同,更改预设值,大大提高了装置的使用灵活性。
进一步地,参照图4,图4为本发明告警处理方法另一示例性实施例的流程示意图。在本实施例中,在上述步骤S40,若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃与S50步骤,若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库之后,所述告警处理方法还包括:
步骤S60:按照预设时间将所述即时告警次数从所述缓存数据库中归零;
由于正常告警数据通常是重复的,在经过一定的时间后,在Redis缓存数据库中会存有绝大部分的事件类型次数以及对应的事件信息,这显然对设备内存来说是个较为庞大数据存储负荷,不利于告警处理装置的快速运转,降低装置的告警处理能力。于是利于Redis缓存数据库的时域性,按照设定的时间范围定时清楚该Redis缓存数据库中存储的事件类型次数以及对应的事件信息,释放内存。
在本实施例中,通过设定时间,清理Redis缓存数据库中的告警数据以及对应的数据信息。使得Redis数据库不会因为接收大量的数据而产生内存崩溃的问题。同时,定时清理内存信息也能预防内存泄露等安全问题。保证了装置的正常运转。
进一步的,参照图5,图5为本发明实施例中若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库的细化流程示意图。
本实施例基于上述图2所示的实施例,在本实施例中,上述步骤S50,若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库中的步骤包括:
步骤S601,若所述总告警次数没有超过所述预设的配置参数阈值,则将所述缓存数据库中对应的所述即时告警次数替换为所述总告警次数;
对于获取的初始告警数据,在聚合处理输出总告警次数之后会被存储在缓存数据库中。当总告警次数并未超过预设的配置参数阈值时,会将Redis缓存数据库中即时告警次数替换为总告警次数。所述预设配置参数阈值为页面前端人员基于装置的承载量与告警事件种类事先设置好的参数。Redis缓存数据库中的基于事件类型的即时告警次数一直保持与上一批次的同一事件类型总告警次数一致,直到该次数达到阈值。
步骤S602,将对应的事件类型作为后缀添加到所述初始告警数据中,得到组装告警数据;
按照批次传输的告警事件,有其独特的属性,在经过按照事件类型聚合之后,输出聚合告警次数,初始告警数据其特有的数据属性以键值对的方式被存储到Redis缓存数据库。将对应的事件类型作为后缀添加到所述初始告警数据中的步骤如下:
在经过总告警次数与配置参数阈值对比之后,通过事件ID等特征信息,在Redis缓存数据库中得到对应的告警数据及其特有属性。再将事件ID等特征信息以后缀的形式添加进对应的告警数据中,得到组装告警数据。
步骤S603,将所述组装告警数据写入所述索引数据库;
技术人员在辨别告警信息时,需要从几个方面去研判,例如事件状态、告警区域、时域范围等。为了方便技术人员进行后台的查询以及分析,装置会将组装告警数据存入Elasticsearch数据库中。因此,当技术人员在查询数据时,只需要将事件类型作为查询字段,即可获得一定时间范围内的所有告警数据,极大的降低了研判的难度,同时也提高了告警的准确度。
在本实施例中,通过将所述缓存数据库中对应的所述即时告警次数替换为所述总告警次数,使得在不超过配置参数阈值的情况下,在获得每一批次告警数据时,基于事件类型,总能在Redis缓存数据库中找到对应的告警事件发生次数,保证了即时告警次数的即时性。将事件ID等特征信息作为后缀添加到所述初始告警数据中,得到组装告警数据,再将组装告警数据存入Elasticsearch数据库。方便技术人员通过Elasticsearch数据库根据告警事件字段快速获得告警数据。
此外,本发明实施例还提出一种告警处理装置,所述告警处理装置包括:
获取模块,用于获取初始告警数据;
聚合模块,用于按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
对比模块,用于将所述总告警次数与预设的配置参数阈值进行对比;
写入模块,用于若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;以及若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
值得说明的是按照批次传输的告警事件,有其独特的属性。例如:事件ID为每一个事件类型的标识,表示告警数据对应的16进制事件码;告警级别:表示告警对应故障对业务的影响程度。主告警量是指自动去重、规则压缩后的告警量;压缩比可采取(1 – 主告警量/事件数量)* 100%的计算方式进行计算;对于频繁发生的告警,需分析是否需要统一彻底解决,或者是否需要调整监控平台的告警阈值;对于不频繁发生的告警,更需要额外警惕,往往不经常发生的告警,导致的问题更严重,定位根因更久,修复耗时更长;例如时间码0x00000021表示设备可用CPU的减少,此类告警事件需要技术人员快速处理。
在本实施例中,通过根据告警信息的一些特征的专有属性进行数据聚合,并对数据次数进行汇总,再存入Redis缓存数据库中,可以有效的保留告警信息的独有特征,使每一个统计次数并不是独立的存在,而是作为以键值对形式存储的一部分。
具体地,将每一批次获取到的告警数据经过基于预设特征信息聚合后,得到次数A。再从Redis缓存数据库中将该事件类型的截止到上一次的即时告警次数B读取并输出。将次数A与次数B输入到搭建好的匹配模块,计算告警输出值A+B与预设的配置参数阈值C的数值比较结果,基于数值比较结果,判断该批次数据是输入Elasticsearch索引数据库供技术人员处理还是放弃并写入日志供技术人员后续翻看。
进一步地,企业可搭建白名单,本发明实施例中当发现告警为误报,可以将本次告警加入白名单,并设置加入白名单的规则。例如,在处理渗透工具利用行为的告警时,选择加白名单后,设置了命令行包含aa的加白规则,则该告警状态将变为已处理,后续告警处理中心不会再对命令行包含aa的渗透工具利用行为进行告警。可以在已处理列表中定位到该事件对其进行取消白名单的操作。
此外,由于正常告警数据通常是重复的,在经过一定的时间后,在Redis缓存数据库中会存有绝大部分的事件类型次数以及对应的事件信息,这显然对设备内存来说是个较为庞大数据信息总和,不利于设备的快速运转。于是可以利于Redis的时域性,定时清楚该数据库中的数据信息,释放内存。
此外,本发明还提供一种终端设备,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的告警处理程序,所述告警处理程序被所述处理器执行时实现如上所述的告警处理方法的步骤。
由于本告警处理程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有告警处理程序,所述告警处理程序被处理器执行时实现如上所述的告警处理方法的步骤。
由于本告警处理程序被处理器执行时,采用了前述所有实施例的全部技术方案,因此至少具有前述所有实施例的全部技术方案所带来的所有有益效果,在此不再一一赘述。
相比现有技术,本发明实施例提出的一种告警处理方法、装置、终端设备以及存储介质,通过获取初始告警数据;按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;将所述总告警次数与预设的配置参数阈值进行对比;若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。通过对初始告警数据进行聚合,精确基于事件类型的某一类告警信息,从而提高告警数据的准确度。将没有超过配置参数阈值的告警数据进行告警组装后写入索引数据库,超过配置参数阈值的告警数据放弃,技术人员可根据相关处理结果迅速做出应对,大大降低了技术人员的研判难度。将数值比对结果不同的告警做出分离,从而解决告警激增的问题。进而解决了在处理告警激增时无法提高告警准确度和降低告警研判难度的问题,为设备安全的判定提供依据。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本申请实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在如上的一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,被控终端,或者网络设备等)执行本申请每个实施例的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种告警处理方法,其特征在于,所述告警处理方法应用于告警系统,所述告警系统包括索引数据库和缓存数据库,所述告警处理方法包括以下步骤:
获取初始告警数据;
按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
将所述总告警次数与预设的配置参数阈值进行对比;
若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;
若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库。
2.如权利要求1所述的告警处理方法,其特征在于,所述告警系统还包括消息中间件,所述获取初始告警数据的步骤包括:
对所述消息中间件进行监听;
获取所述消息中间件发送的初始告警数据。
3.如权利要求1所述的告警处理方法,其特征在于,所述按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数的步骤包括:
按照预设事件类型对所述初始告警数据进行聚合,获得聚合告警次数;
基于所述初始告警数据的事件类型,提取所述缓存数据库中对应的即时告警次数;
将所述聚合告警次数和所述即时告警次数进行累加,获得总告警次数。
4.如权利要求3所述的告警处理方法,其特征在于,所述按照预设事件类型对所述初始告警数据进行聚合,获得聚合告警次数的步骤包括:
基于预设事件类型,将所述初始告警数据进行分类,得到不同事件类型的所述初始告警数据的聚合告警次数;
将不同事件类型的所述初始告警数据以及对应的聚合告警次数以键值对的形式存储到所述缓存数据库。
5.如权利要求3所述的告警处理方法,其特征在于,所述若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回所述缓存数据库,将所述初始告警数据写入所述索引数据库中的步骤包括:
若所述总告警次数没有超过所述预设的配置参数阈值,则将所述缓存数据库中对应的所述即时告警次数替换为所述总告警次数;
将对应的事件类型作为后缀添加到所述初始告警数据中,得到组装告警数据;
将所述组装告警数据写入所述索引数据库。
6.如权利要求5所述的告警处理方法,其特征在于,所述将所述缓存数据库中对应的所述即时告警次数替换为所述总告警次数的步骤之后还包括:
按照预设时间将所述即时告警次数从所述缓存数据库中归零。
7.如权利要求1所述的告警处理方法,其特征在于,所述告警系统还包括日志,所述若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃的步骤包括:
若所述总告警次数超过所述预设的配置参数阈值,则将所述对应超出的数据写入所述日志;
将所述对应超出的数据从所述缓存数据库中删除。
8.一种告警处理装置,其特征在于,所述告警处理装置包括:
获取模块,用于获取初始告警数据;
聚合模块,用于按照预设事件类型对所述初始告警数据进行聚合处理,获得所述初始告警数据不同事件类型对应的总告警次数;
对比模块,用于将总告警次数与预设的配置参数阈值进行对比;
写入模块,用于若所述总告警次数超过所述预设的配置参数阈值,则将所述初始告警数据中对应超出的部分数据放弃;以及若所述总告警次数没有超过所述预设的配置参数阈值,则将所述总告警次数写回缓存数据库,将所述初始告警数据写入索引数据库。
9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的告警处理程序,所述告警处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的告警处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有告警处理程序,所述告警处理程序被处理器执行时实现如权利要求1-7中任一项所述的告警处理方法的步骤。
CN202211107080.1A 2022-09-13 2022-09-13 告警处理方法、装置、终端设备以及存储介质 Active CN115190002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211107080.1A CN115190002B (zh) 2022-09-13 2022-09-13 告警处理方法、装置、终端设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211107080.1A CN115190002B (zh) 2022-09-13 2022-09-13 告警处理方法、装置、终端设备以及存储介质

Publications (2)

Publication Number Publication Date
CN115190002A true CN115190002A (zh) 2022-10-14
CN115190002B CN115190002B (zh) 2022-11-22

Family

ID=83524871

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211107080.1A Active CN115190002B (zh) 2022-09-13 2022-09-13 告警处理方法、装置、终端设备以及存储介质

Country Status (1)

Country Link
CN (1) CN115190002B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165789A1 (en) * 2006-12-29 2008-07-10 Prodea Systems, Inc. Billing, Alarm, Statistics and Log Information Handling in Multi-Services Gateway Device at User Premises
CN113448812A (zh) * 2021-07-15 2021-09-28 中国银行股份有限公司 微服务场景下的监控告警方法及装置
CN113468030A (zh) * 2021-07-16 2021-10-01 京东科技控股股份有限公司 Abs系统的监控告警方法及装置、存储介质及电子设备
CN113608839A (zh) * 2021-08-10 2021-11-05 曙光信息产业(北京)有限公司 集群告警方法、装置、计算机设备及存储介质
CN114020735A (zh) * 2021-11-10 2022-02-08 中国电信股份有限公司 安全告警日志降噪方法、装置、设备及存储介质
CN114827168A (zh) * 2022-05-07 2022-07-29 金腾科技信息(深圳)有限公司 告警聚合上报方法、装置、计算机设备及存储介质
CN114840376A (zh) * 2021-02-01 2022-08-02 山东华软金盾软件股份有限公司 一种基于Esper实现的告警聚合方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080165789A1 (en) * 2006-12-29 2008-07-10 Prodea Systems, Inc. Billing, Alarm, Statistics and Log Information Handling in Multi-Services Gateway Device at User Premises
CN114840376A (zh) * 2021-02-01 2022-08-02 山东华软金盾软件股份有限公司 一种基于Esper实现的告警聚合方法
CN113448812A (zh) * 2021-07-15 2021-09-28 中国银行股份有限公司 微服务场景下的监控告警方法及装置
CN113468030A (zh) * 2021-07-16 2021-10-01 京东科技控股股份有限公司 Abs系统的监控告警方法及装置、存储介质及电子设备
CN113608839A (zh) * 2021-08-10 2021-11-05 曙光信息产业(北京)有限公司 集群告警方法、装置、计算机设备及存储介质
CN114020735A (zh) * 2021-11-10 2022-02-08 中国电信股份有限公司 安全告警日志降噪方法、装置、设备及存储介质
CN114827168A (zh) * 2022-05-07 2022-07-29 金腾科技信息(深圳)有限公司 告警聚合上报方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
CN115190002B (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN111092852B (zh) 基于大数据的网络安全监控方法、装置、设备及存储介质
CN110347716B (zh) 日志数据处理方法、装置、终端设备及存储介质
CN110362455B (zh) 一种数据处理方法和数据处理装置
CN109325193B (zh) 基于机器学习的waf正常流量建模方法以及装置
CN111859384A (zh) 异常事件监控方法、装置、计算机设备及存储介质
CN108600172B (zh) 撞库攻击检测方法、装置、设备及计算机可读存储介质
US20200379875A1 (en) Software regression recovery via automated detection of problem change lists
CN111294233A (zh) 网络告警统计分析方法、系统及计算机可读存储介质
CN109257390B (zh) Cc攻击的检测方法、装置及电子设备
CN110809010A (zh) 威胁信息处理方法、装置、电子设备及介质
US8060577B1 (en) Method and system for employing user input for file classification and malware identification
CN112131249A (zh) 一种攻击意图识别方法及装置
CN111064719B (zh) 文件异常下载行为的检测方法及装置
CN110677271B (zh) 基于elk的大数据告警方法、装置、设备及存储介质
CN112347474A (zh) 一种安全威胁情报的构建方法、装置、设备和存储介质
CN115174233A (zh) 基于大数据的网络安全分析方法、设备、系统及介质
CN113282920B (zh) 日志异常检测方法、装置、计算机设备和存储介质
CN112287339A (zh) Apt入侵检测方法、装置以及计算机设备
CN105989152B (zh) 搜索引擎服务质量的监控方法、装置和系统
CN113901441A (zh) 一种用户异常请求检测方法、装置、设备及存储介质
CN114445088A (zh) 一种欺诈行为的判定方法、装置、电子设备和存储介质
CN115190002B (zh) 告警处理方法、装置、终端设备以及存储介质
CN111159009B (zh) 一种日志服务系统的压力测试方法及装置
CN115632884B (zh) 基于事件分析的网络安全态势感知方法与系统
KR101973728B1 (ko) 통합 보안 이상징후 모니터링 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant