CN116599820B - 一种告警过滤处理方法、装置、设备及存储介质 - Google Patents
一种告警过滤处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN116599820B CN116599820B CN202310611065.9A CN202310611065A CN116599820B CN 116599820 B CN116599820 B CN 116599820B CN 202310611065 A CN202310611065 A CN 202310611065A CN 116599820 B CN116599820 B CN 116599820B
- Authority
- CN
- China
- Prior art keywords
- filtering
- alarm
- rule
- data set
- alarm data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 410
- 238000003672 processing method Methods 0.000 title claims abstract description 18
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000000034 method Methods 0.000 claims abstract description 28
- 230000008859 change Effects 0.000 claims description 34
- 238000004590 computer program Methods 0.000 claims description 9
- 230000006835 compression Effects 0.000 description 16
- 238000007906 compression Methods 0.000 description 16
- 230000000052 comparative effect Effects 0.000 description 7
- 238000012549 training Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000012423 maintenance Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
- H04L41/06—Management of faults, events, alarms or notifications
- H04L41/0604—Management of faults, events, alarms or notifications using filtering, e.g. reduction of information by using priority, element types, position or time
Abstract
本公开提供了一种告警过滤处理方法、装置、设备及存储介质，所述方法包括：首先将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，确定第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标，如果满足则将第二告警数据集合存储至预设数据库。可见，本公开实施例利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，从而在第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标时，将第二告警数据集合存储至预设数据库，丰富了告警数据的处理方式。
Description
技术领域
本公开涉及数据处理领域，尤其涉及一种告警过滤处理方法、装置、设备及存储介质。
背景技术
在网络运维中，由于网络设备和应用系统的复杂性，可能会产生大量的告警数据，其中大部分告警数据都是无效告警数据，这些告警数据会给运维人员带来较大的工作量，通过告警数据过滤，可以将无效告警数据过滤掉，进而提高运维效率和准确性。
然而，目前告警数据过滤基于固定的过滤规则进行过滤，过滤方式较单一，因此，如何丰富告警数据的处理方式成为亟需解决的一个技术问题。
发明内容
为了解决上述技术问题，本公开实施例提供了一种告警过滤处理方法。
第一方面，本公开提供了一种告警过滤处理方法，所述方法包括：
将第一告警数据集合输入至第一告警过滤模型中，利用所述第一告警过滤模型中的第一规则集合对所述第一告警数据集合进行过滤后，输出所述第一告警数据集合对应的第二告警数据集合；其中，所述第一告警数据集合包括多条告警数据，所述第一告警数据集合为利用第二规则集合过滤后得到的，所述第一规则集合中的过滤规则为基于对所述第二规则集合中的过滤规则的修正得到；
确定所述第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标；
如果确定所述第二告警数据集合对应的告警过滤参数值满足所述预设告警过滤指标，则将所述第二告警数据集合存储至预设数据库。
一种可选的实施方式中，所述将第一告警数据集合输入至第一告警过滤模型中，利用所述第一告警过滤模型中的第一规则集合对所述第一告警数据集合进行过滤后，输出所述第一告警数据集合对应的第二告警数据集合之前，还包括：
利用动态调优模型对预设过滤规则库中的过滤规则的排列组合进行训练，得到第一规则集合中的过滤规则。
一种可选的实施方式中，所述利用动态调优模型对预设过滤规则库中的过滤规则的排列组合进行训练，得到第一规则集合中的过滤规则，包括：
将预设过滤规则库中的过滤规则进行排列组合，得到多个过滤规则序列；
为各个过滤规则序列中的每个过滤规则分别匹配过滤规则参数值，得到多个参数匹配过滤规则序列；其中，所述参数匹配过滤规则序列用于表征已匹配过滤规则参数值的序列，所述过滤规则参数值包括比例参数值、加法参数值，所述比例参数值用于表征各个过滤规则分别对应的比例系数，所述加法参数值用于表征各个过滤规则分别对应的增量值；
通过对所述过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则；其中，所述告警数据集合与所述第一告警数据集合的类型相同。
一种可选的实施方式中，所述通过对所述过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则，包括：
通过对所述比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第一预设阈值的调整后的参数匹配过滤规则序列作为目标过滤规则序列；
通过对所述目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对所述告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第二预设阈值的调整后的目标过滤规则序列作为第一规则集合中的过滤规则；其中，所述第二预设阈值小于所述第一预设阈值。
一种可选的实施方式中，所述通过对所述比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行处理之前，还包括：
基于比例参数值变化率对比例参数值进行调整；其中，所述比例参数变化率用于控制所述比例参数值的变化；
和/或，所述通过对所述目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对告警数据集合进行处理之前，还包括：
基于加法参数值变化率对加法参数值进行调整；其中，所述加法参数值变化率用于控制所述加法参数值的变化。
一种可选的实施方式中，所述第一规则集合包括：源网络协议、目的网络协议、告警标识、告警源、告警级别、告警码和告警类型中的至少一种。
一种可选的实施方式中，所述第一规则集合中的过滤规则为保留源网络协议的第一地址范围对应的告警数据，相应地，第二规则集合中的规则为保留源网络协议的第二地址范围对应的告警数据，其中，所述第一地址范围属于所述第二地址范围。
第二方面，本公开提供了一种告警过滤处理装置，所述装置包括：
过滤模块，用于将第一告警数据集合输入至第一告警过滤模型中，利用所述第一告警过滤模型中的第一规则集合对所述第一告警数据集合进行过滤后，输出所述第一告警数据集合对应的第二告警数据集合；其中，所述第一告警数据集合包括多条告警数据，所述第一告警数据集合为利用第二规则集合过滤后得到的，所述第一规则集合中的过滤规则为基于对所述第二规则集合中的过滤规则的修正得到；
确定模块，用于确定所述第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标；
存储模块，用于确定所述第二告警数据集合对应的告警过滤参数值满足所述预设告警过滤指标时，将所述第二告警数据集合存储至预设数据库。
第三方面，本公开提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现上述的方法。
第四方面，本公开提供了一种告警过滤处理设备，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现上述的方法。
第五方面，本公开提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。
本公开实施例提供的技术方案与现有技术相比至少具有如下优点：
本公开实施例提供了一种告警过滤处理方法，首先，将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，其中，第一告警数据集合包括多条告警数据，第一告警数据集合为利用第二规则集合过滤后得到的，第一规则集合中的过滤规则为基于对第二规则集合中的过滤规则的修正得到，确定第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标，如果确定第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则将第二告警数据集合存储至预设数据库。可见，本公开实施例利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，从而在第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标时，将第二告警数据集合存储至预设数据库，丰富了告警数据的处理方式。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本公开实施例提供的一种告警过滤处理方法的流程图；
图2为本公开实施例提供的另一种告警过滤处理方法的流程图；
图3为本公开实施例提供的一种告警过滤处理装置的结构示意图；
图4为本公开实施例提供的一种告警过滤处理设备的结构示意图。
具体实施方式
为了能够更清楚地理解本公开的上述目的、特征和优点，下面将对本公开的方案进行进一步描述。需要说明的是，在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本公开，但本公开还可以采用其他不同于在此描述的方式来实施；显然，说明书中的实施例只是本公开的一部分实施例，而不是全部的实施例。
为了丰富告警数据的处理方式，本公开实施例提供了一种告警过滤处理方法。
具体地，首先，将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，其中，第一告警数据集合包括多条告警数据，第一告警数据集合为利用第二规则集合过滤后得到的，第一规则集合中的过滤规则为基于对第二规则集合中的过滤规则的修正得到，确定第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标，如果确定第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则将第二告警数据集合存储至预设数据库。可见，本公开实施例利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，从而在第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标时，将第二告警数据集合存储至预设数据库，丰富了告警数据的处理方式。
基于此，本公开实施例提供了一种告警过滤处理方法，参考图1，为本公开实施例提供的一种告警过滤处理方法的流程图，该方法包括：
S101：将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合。
其中，第一告警数据集合包括多条告警数据，第一告警数据集合为利用第二规则集合过滤后得到的，第一规则集合中的过滤规则为基于对第二规则集合中的过滤规则的修正得到。
本公开实施例中，第一告警数据集合可以为利用第二告警过滤模型中的第二规则集合对原始告警数据集合进行过滤后得到。
其中，原始告警数据集合可以为目标系统在预设时间段内产生的告警数据所构成的集合。
本公开实施例中，首先将原始告警数据集合输入至第二告警过滤模型中，再利用第二告警过滤模型中的第二规则集合进行过滤后，输出原始告警数据对应的第一告警数据集合，如果该第一告警数据集合不满足预设告警过滤指标，则将该第一告警数据集合输入至第一告警过滤模型中，继续利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合。
本公开实施例中，第一规则集合中的过滤规则为基于对第二集合中的过滤规则的修正得到。
一种可选的实施方式中，第一规则集合中的过滤规则为保留源网络协议的第一地址范围对应的告警数据，相应地，第二规则集合中的规则为保留源网络协议的第二地址范围对应的告警数据。
其中，第一地址范围属于第二地址范围。
本公开实施例中，假设第二地址范围为0.0.0.0到100.255.255.255之间的所有源网络协议地址，相应地，第一地址范围可以为20.0.0.0到50.255.255.255之间的所有源网络协议地址。可以理解的是，第二规则集合中的规则属于粗粒度的过滤规则，第一规则集合中的规则属于细粒度的过滤规则。
一种可选的实施方式中，第一规则集合可以包括源网络协议网络协议、目的网络协议、告警标识、告警源、告警级别、告警码和告警类型中的至少一种。
本公开实施例中，第一规则集合可以为包括源网络协议、目的网络协议以及告警标识构成的集合，另外，第一规则集合中的过滤规则还可以进行动态调整，本公开实施例在此不做任何限定。
为了更加高效的获取第一规则集合中的过滤规则，在将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合之前，一种可选的实施方式中，利用动态调优模型对预设过滤规则库中的过滤规则的排列组合进行训练，得到第一规则集合中的过滤规则。
一种可选的实施方式中，将预设过滤规则库中的过滤规则进行排列组合，得到多个过滤规则序列，为各个过滤规则序列中的每个过滤规则分别匹配过滤规则参数值，得到多个参数匹配过滤规则序列，通过对过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合(与第一告警数据集合类型相同的集合)对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则。
其中，参数匹配过滤规则序列用于表征已匹配过滤规则参数值的序列，过滤规则参数值包括比例参数值、加法参数值。
具体地，比例参数值用于表征各个过滤规则分别对应的比例系数，加法参数值用于表征各个过滤规则分别对应的增量值。
本公开实施例中，告警过滤参数值包括告警压缩率参数值和/或告警真伪度参数值，相应地，预设告警过滤指标包括预设告警压缩率指标和/或预设告警真伪度指标。
为便于理解以告警过滤参数值为告警压缩率参数值为例进行介绍。
本公开实施例中，通过为各个过滤规则序列中的每个过滤规则分配匹配过滤规则参数值的方式，得到多个参数匹配过滤规则序列，在通过过滤规则参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警压缩率参数值，与预设告警压缩率指标之差小于预设阈值的调整后的参数匹配过滤规则序列，作为第一规则集合中的过滤规则。
一种可选的实施方式中，通过对比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第一预设阈值的调整后的参数匹配过滤规则序列作为目标过滤规则序列，再通过对目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第二预设阈值的调整后的目标过滤规则序列作为第一规则集合中的过滤规则。
其中，第二预设阈值小于第一预设阈值。
本公开实施例中，第一预设阈值和第二预设阈值可以根据需求进行设定。
另外，为了降低比例参数值、加法参数值的变化率过高或者过低对效果评价的影响，还可以基于比例参数值变化率和/或加法参数值变化率对比例参数值、加法参数值的变化率进行调整。
一种可选的实施方式中，在通过对比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行处理之前，还可以基于比例参数值变化率对比例参数值进行调整。
其中，比例参数变化率用于控制比例参数值的变化。
另一种可选的实施方式中，在通过对目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对告警数据集合进行处理之前，还可以基于加法参数值变化率对加法参数值进行调整。
其中，加法参数值变化率用于控制加法参数值的变化。
又一种可选的实施方式中，在通过对比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行处理之前，基于比例参数值变化率对比例参数值进行调整，并且在通过对目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对告警数据集合进行处理之前，基于加法参数值变化率对加法参数值进行调整。
为便于理解，假设预设过滤规则库中的过滤规则包括K1、K2...Kn，首先对K1、K2...Kn进行排列组合，得到多种排列组合方式。
以第一排列过滤规则序列为K1、K2、K3为例进行介绍，其中，第一过滤规则序列可以为多个过滤规则序列中的任一过滤规则序列。
a1、a2、a3作为K1、K2、K3分别对应的比例参数值，按照1的正态分布，对a1、a2、a3进行调整，假设调整后的比例参数值为a 1、a 2、a 3，在调整之后，得到调整后的参数匹配过滤规则序列{a 1K1 a 2K2 a 3K3}，利用同样方式对K1、K2...Kn的各个排列组合分别匹配比例参数值，通过对比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第一预设阈值的调整后的参数匹配过滤规则序列作为目标过滤规则序列。
假设目标过滤规则序列为{a 1K1 a 2K2 a 3K3}，通过对{a 1K1 a 2K2 a 3K3}中的加法参数值进行调整，假设t1、t2、t3作为K1、K2、K3分别对应的加法参数值，则通过对{a 1K1 a 2K2 a 3K3}中的加法参数值进行调整，假设调整后的加法参数值为t 1、t 2、t 3，得到调整后的目标匹配过滤规则序列{a 1K1+t 1 a 2K2+t 2 a 3K3+t 3}，利用{a 1K1+t 1 a 2K2+t 2 a 3K3+t 3}对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第二预设阈值的{a 1K1+t 1 a 2K2+t 2 a 3K3+t 3}作为第一规则集合中的过滤规则。
另外，在比例参数值、加法参数值的变化频率过高或者过低而影响效果评价时，还可以进行周期反馈，进而基于周期反馈调整比例参数值变化率和加法参数值变化率。
可见，本公开实施例中的过滤规则可以基于过滤规则参数值进行自适应调整，从而可以快速准确的过滤无效告警和次要告警，从而有效防止告警风暴，输出高价值的告警信息。
S102：确定第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标。
其中，告警过滤参数值包括告警压缩率参数值和/或告警真伪度参数值，相应地，预设告警过滤指标包括预设告警压缩率指标和/或预设告警真伪度指标。
具体地，告警压缩率参数值用于表征告警数据进行过滤处理后，被过滤的告警数据的数量与原始告警数据的数量之间的比值，告警真伪度参数值用于表征真实告警数据的数量与原始告警数据的数量之间的比值。
为便于理解，以告警过滤参数值为告警压缩率参数值和告警真伪度参数值为例进行介绍。
本公开实施例中，在输出第一告警数据集合对应的第二告警数据集合之后，确定第二告警数据集合对应的告警压缩率参数值与预设告警压缩率指标之差是否小于第三预设阈值，以及确定第二告警数据集合对应的告警真伪度参数值与预设真伪度指标之差是否小于第四预设阈值。
其中，第三预设阈值和第四预设阈值可以基于需求进行设定，本公开实施例对此不做任何限定。
S103：如果确定第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则将第二告警数据集合存储至预设数据库。
其中，预设数据库可以包括关系型数据库，本公开实施例在此不做任何限定。
继续以告警过滤参数值为告警压缩率参数值和告警真伪度参数值为例进行介绍。
本公开实施例中，如果确定第二告警数据集合对应的告警压缩率参数值与预设告警压缩率指标之差是小于第三预设阈值，并且确定第二告警数据集合对应的告警真伪度参数值与预设真伪度指标之差小于第四预设阈值，则将第二告警数据集合存储至预设数据库。
本公开实施例中，如果确定第二告警数据集合对应的告警压缩率参数值与预设告警压缩率指标之差是不小于第一预设阈值，和/或确定第二告警数据集合对应的告警真伪度参数值与预设真伪度指标之差不小于第二预设阈值，则将第二告警数据集合输入至第二告警过滤模型中，利用第二告警过滤模型中的第三规则集合对第二告警数据集合进行过滤后，输出第二告警数据集合对应的第三告警数据集合，如果确定第三告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则将第三告警数据集合存储至预设数据库中。
其中，第三规则集合的过滤规则可以为基于对第一规则集合中的过滤规则的修正得到，也可以理解为，第三规则集合的过滤规则为比第一规则集合中的过滤规则更细粒度的规则。
本公开实施例提供的告警过滤处理方法中，首先，将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，其中，第一告警数据集合包括多条告警数据，第一告警数据集合为利用第二规则集合过滤后得到的，第一规则集合中的过滤规则为基于对第二规则集合中的过滤规则的修正得到，确定第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标，如果确定第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则将第二告警数据集合存储至预设数据库。可见，本公开实施例利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，从而在第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标时，将第二告警数据集合存储至预设数据库，丰富了告警数据的处理方式。
在上述实施例的基础上，本公开实施例还提供了一种告警过滤处理方法，参考图2，为本公开实施例提供的另一种告警过滤处理方法的流程图，该方法包括：
首先，接收原始告警数据，制定告警过滤任务，设定预设告警过滤指标，然后通过第二规则集合对原始告警数据进行过滤，如将源网络协议和目的网络协议作为第二规则过滤集合，对原始告警数据进行过滤，输出第一告警数据集合，确定第一告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标，如果确定第一告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则直接输出第一告警数据集合，并将该第一告警数据集合存储于预设数据库中。
如果确定第一告警数据集合对应的告警过滤参数值不满足预设告警过滤指标，则将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，继续确定第二告警数据集合对应的告警过滤参数值是否满足预设告警指标，如果确定第二告警数据集合对应的告警过滤参数满足预设告警指标，则输出第二告警数据集合，并将该第二告警数据集合存储于预设数据库中。
如果确定如果确定第二告警数据集合对应的告警过滤参数仍不满足预设告警指标，则继续对第二告警数据集合进行过滤，直至第二告警数据集合对应的告警过滤参数满足预设告警指标。可见，本公开实施例利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，从而在第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标时，将第二告警数据集合存储至预设数据库，丰富了告警数据的处理方式。
另外，本公开实施例中的过滤规则可以基于过滤规则参数值进行自适应调整，从而可以快速准确的过滤无效告警和次要告警，从而有效防止告警风暴，输出高价值的告警信息。
基于上述方法实施例，本公开还提供了一种告警过滤处理装置，参考图3，为本公开实施例提供的一种告警过滤处理装置的结构示意图，所述装置包括：
过滤模块301，用于将第一告警数据集合输入至第一告警过滤模型中，利用所述第一告警过滤模型中的第一规则集合对所述第一告警数据集合进行过滤后，输出所述第一告警数据集合对应的第二告警数据集合；其中，所述第一告警数据集合包括多条告警数据，所述第一告警数据集合为利用第二规则集合过滤后得到的，所述第一规则集合中的过滤规则为基于对所述第二规则集合中的过滤规则的修正得到；
确定模块302，用于确定所述第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标；
存储模块303，用于确定所述第二告警数据集合对应的告警过滤参数值满足所述预设告警过滤指标时，将所述第二告警数据集合存储至预设数据库。
一种可选的实施方式中，所述装置还包括：
训练模块，用于利用动态调优模型对预设过滤规则库中的过滤规则的排列组合进行训练，得到第一规则集合中的过滤规则。
一种可选的实施方式中，所述训练模块包括：
排列组合模块，用于将预设过滤规则库中的过滤规则进行排列组合，得到多个过滤规则序列；
匹配模块，用于为各个过滤规则序列中的每个过滤规则分别匹配过滤规则参数值，得到多个参数匹配过滤规则序列；其中，所述参数匹配过滤规则序列用于表征已匹配过滤规则参数值的序列，所述过滤规则参数值包括比例参数值、加法参数值，所述比例参数值用于表征各个过滤规则分别对应的比例系数，所述加法参数值用于表征各个过滤规则分别对应的增量值；
处理模块，用于通过对所述过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则；其中，所述告警数据集合与所述第一告警数据集合的类型相同。
一种可选的实施方式中，所述处理模块包括：
第一处理子模块，用于通过对所述比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第一预设阈值的调整后的参数匹配过滤规则序列作为目标过滤规则序列；
第二处理子模块，用于通过对所述目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对所述告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第二预设阈值的调整后的目标过滤规则序列作为第一规则集合中的过滤规则；其中，所述第二预设阈值小于所述第一预设阈值。
一种可选的实施方式中，所述装置还包括：
第一调整模块，用于基于比例参数值变化率对比例参数值进行调整；其中，所述比例参数变化率用于控制所述比例参数值的变化；
和/或，所述装置还包括：
第二跳转模块，用于基于加法参数值变化率对加法参数值进行调整；其中，所述加法参数值变化率用于控制所述加法参数值的变化。
一种可选的实施方式中，所述第一规则集合包括：源网络协议、目的网络协议、告警标识、告警源、告警级别、告警码和告警类型中的至少一种。
一种可选的实施方式中，所述第一规则集合中的过滤规则为保留源网络协议的第一地址范围对应的告警数据，相应地，第二规则集合中的规则为保留源网络协议的第二地址范围对应的告警数据，其中，所述第一地址范围属于所述第二地址范围。
本公开实施例提供的告警过滤处理装置中，首先，将第一告警数据集合输入至第一告警过滤模型中，利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，其中，第一告警数据集合包括多条告警数据，第一告警数据集合为利用第二规则集合过滤后得到的，第一规则集合中的过滤规则为基于对第二规则集合中的过滤规则的修正得到，确定第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标，如果确定第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标，则将第二告警数据集合存储至预设数据库。可见，本公开实施例利用第一告警过滤模型中的第一规则集合对第一告警数据集合进行过滤后，输出第一告警数据集合对应的第二告警数据集合，从而在第二告警数据集合对应的告警过滤参数值满足预设告警过滤指标时，将第二告警数据集合存储至预设数据库，丰富了告警数据的处理方式。
除了上述方法和装置以外，本公开实施例还提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现本公开实施例所述的告警过滤处理方法。
本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现本公开实施例所述的告警过滤处理方法。
另外，本公开实施例还提供了一种告警过滤处理设备，参见图4所示，可以包括：
处理器401、存储器402、输入装置403和输出装置404。告警过滤处理设备中的处理器501的数量可以一个或多个，图4中以一个处理器为例。在本公开的一些实施例中，处理器401、存储器402、输入装置403和输出装置404可通过总线或其它方式连接，其中，图4中以通过总线连接为例。
存储器402可用于存储软件程序以及模块，处理器401通过运行存储在存储器402的软件程序以及模块，从而执行告警过滤处理设备的各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。输入装置403可用于接收输入的数字或字符信息，以及产生与告警过滤处理设备的用户设置以及功能控制有关的信号输入。
具体在本实施例中，处理器401会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中，并由处理器401来运行存储在存储器402中的应用程序，从而实现上述告警过滤处理设备的各种功能。
需要说明的是，在本文中，诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本公开的具体实施方式，使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下，在其它实施例中实现。因此，本公开将不会被限制于本文所述的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种告警过滤处理方法，其特征在于，所述方法包括：
将预设过滤规则库中的过滤规则进行排列组合，得到多个过滤规则序列；
为各个过滤规则序列中的每个过滤规则分别匹配过滤规则参数值，得到多个参数匹配过滤规则序列；其中，所述参数匹配过滤规则序列用于表征已匹配过滤规则参数值的序列，所述过滤规则参数值包括比例参数值、加法参数值，所述比例参数值用于表征各个过滤规则分别对应的比例系数，所述加法参数值用于表征各个过滤规则分别对应的增量值；
通过对所述过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则；其中，所述告警数据集合与第一告警数据集合的类型相同；
将第一告警数据集合输入至第一告警过滤模型中，利用所述第一告警过滤模型中的第一规则集合对所述第一告警数据集合进行过滤后，输出所述第一告警数据集合对应的第二告警数据集合；其中，所述第一告警数据集合包括多条告警数据，所述第一告警数据集合为利用第二规则集合过滤后得到的，所述第一规则集合中的过滤规则为基于对所述第二规则集合中的过滤规则的修正得到；
确定所述第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标；
如果确定所述第二告警数据集合对应的告警过滤参数值满足所述预设告警过滤指标，则将所述第二告警数据集合存储至预设数据库。
2.根据权利要求1所述的方法，其特征在于，所述通过对所述过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则，包括：
通过对所述比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第一预设阈值的调整后的参数匹配过滤规则序列作为目标过滤规则序列；
通过对所述目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对所述告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值与预设告警过滤指标之差小于第二预设阈值的调整后的目标过滤规则序列作为第一规则集合中的过滤规则；其中，所述第二预设阈值小于所述第一预设阈值。
3.根据权利要求2所述的方法，其特征在于，所述通过对所述比例参数值进行调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤之前，还包括：
基于比例参数值变化率对比例参数值进行调整；其中，所述比例参数值变化率用于控制所述比例参数值的变化；
和/或，所述通过对所述目标过滤规则序列中的加法参数值进行调整，利用调整后的目标过滤规则序列对告警数据集合进行过滤之前，还包括：
基于加法参数值变化率对加法参数值进行调整；其中，所述加法参数值变化率用于控制所述加法参数值的变化。
4.根据权利要求1所述的方法，其特征在于，所述第一规则集合包括：源网络协议、目的网络协议、告警标识、告警源、告警级别、告警码和告警类型中的至少一种。
5.根据权利要求1所述的方法，其特征在于，所述第一规则集合中的过滤规则为保留源网络协议的第一地址范围对应的告警数据，相应地，第二规则集合中的过滤规则为保留源网络协议的第二地址范围对应的告警数据，其中，所述第一地址范围属于所述第二地址范围。
6.一种告警过滤处理装置，其特征在于，所述装置包括：
排列组合模块，用于将预设过滤规则库中的过滤规则进行排列组合，得到多个过滤规则序列；
匹配模块，用于为各个过滤规则序列中的每个过滤规则分别匹配过滤规则参数值，得到多个参数匹配过滤规则序列；其中，所述参数匹配过滤规则序列用于表征已匹配过滤规则参数值的序列，所述过滤规则参数值包括比例参数值、加法参数值，所述比例参数值用于表征各个过滤规则分别对应的比例系数，所述加法参数值用于表征各个过滤规则分别对应的增量值；
处理模块，用于通过对所述过滤规则参数值的调整之后，利用各个调整后的参数匹配过滤规则序列分别对告警数据集合进行过滤，将过滤后的告警数据集合对应的告警过滤参数值满足预设告警过滤指标的调整后的参数匹配过滤规则序列作为第一规则集合中的过滤规则；其中，所述告警数据集合与第一告警数据集合的类型相同；
过滤模块，用于将第一告警数据集合输入至第一告警过滤模型中，利用所述第一告警过滤模型中的第一规则集合对所述第一告警数据集合进行过滤后，输出所述第一告警数据集合对应的第二告警数据集合；其中，所述第一告警数据集合包括多条告警数据，所述第一告警数据集合为利用第二规则集合过滤后得到的，所述第一规则集合中的过滤规则为基于对所述第二规则集合中的过滤规则的修正得到；
确定模块，用于确定所述第二告警数据集合对应的告警过滤参数值是否满足预设告警过滤指标；
存储模块，用于确定所述第二告警数据集合对应的告警过滤参数值满足所述预设告警过滤指标时，将所述第二告警数据集合存储至预设数据库。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有指令，当所述指令在终端设备上运行时，使得所述终端设备实现如权利要求1-5任一项所述的方法。
8.一种告警过滤处理设备，其特征在于，包括：存储器，处理器，及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-5任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310611065.9A CN116599820B (zh) | 2023-05-26 | 2023-05-26 | 一种告警过滤处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310611065.9A CN116599820B (zh) | 2023-05-26 | 2023-05-26 | 一种告警过滤处理方法、装置、设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116599820A CN116599820A (zh) | 2023-08-15 |
| CN116599820B true CN116599820B (zh) | 2024-03-19 |
Family
ID=87604307
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310611065.9A Active CN116599820B (zh) | 2023-05-26 | 2023-05-26 | 一种告警过滤处理方法、装置、设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116599820B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204613654U (zh) * | 2015-04-01 | 2015-09-02 | 江苏鸿信系统集成有限公司 | 一种智能一体化信息采集处理系统 |
| CN106411548A (zh) * | 2015-07-30 | 2017-02-15 | 中兴通讯股份有限公司 | 告警信息通知方法、装置及告警信息过滤设备 |
| CN106713017A (zh) * | 2016-12-08 | 2017-05-24 | 国网北京市电力公司 | 告警信息的处理方法及装置 |
| CN107918629A (zh) * | 2016-10-11 | 2018-04-17 | 北京神州泰岳软件股份有限公司 | 一种告警故障的关联方法和装置 |
| CN112491593A (zh) * | 2020-11-12 | 2021-03-12 | 中国联合网络通信集团有限公司 | 网元告警处理方法和装置 |
| CN114172785A (zh) * | 2021-10-21 | 2022-03-11 | 广州市百果园信息技术有限公司 | 告警信息处理方法、装置、设备和存储介质 |
-
2023
- 2023-05-26 CN CN202310611065.9A patent/CN116599820B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN204613654U (zh) * | 2015-04-01 | 2015-09-02 | 江苏鸿信系统集成有限公司 | 一种智能一体化信息采集处理系统 |
| CN106411548A (zh) * | 2015-07-30 | 2017-02-15 | 中兴通讯股份有限公司 | 告警信息通知方法、装置及告警信息过滤设备 |
| CN107918629A (zh) * | 2016-10-11 | 2018-04-17 | 北京神州泰岳软件股份有限公司 | 一种告警故障的关联方法和装置 |
| CN106713017A (zh) * | 2016-12-08 | 2017-05-24 | 国网北京市电力公司 | 告警信息的处理方法及装置 |
| CN112491593A (zh) * | 2020-11-12 | 2021-03-12 | 中国联合网络通信集团有限公司 | 网元告警处理方法和装置 |
| CN114172785A (zh) * | 2021-10-21 | 2022-03-11 | 广州市百果园信息技术有限公司 | 告警信息处理方法、装置、设备和存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| 电力通信网告警分层过滤机制的设计;张现飞等;国外电子元器件;第47-48页 * |
| 通信网网管告警过滤机制的研究与应用;石永革等;计算机工程与设计;第2169-2171页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116599820A (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20160246852A1 (en) | Systems and Methods for Quantile Estimation in a Distributed Data System | |
| CN110445828B (zh) | 一种基于Redis的数据分布式处理方法及其相关设备 | |
| CN109815085A (zh) | 告警数据的分类方法、装置和电子设备及存储介质 | |
| CN116599820B (zh) | 一种告警过滤处理方法、装置、设备及存储介质 | |
| CN110909888A (zh) | 泛型决策树构建方法、装置、设备及可读存储介质 | |
| CN108463813B (zh) | 一种进行数据处理的方法和装置 | |
| CN109325167B (zh) | 特征分析方法、装置、设备、计算机可读存储介质 | |
| CN109558403B (zh) | 数据聚合方法及装置、计算机装置及计算机可读存储介质 | |
| CN109634812B (zh) | Linux系统的进程CPU占用率控制方法、终端设备及存储介质 | |
| Kaňková et al. | Thin and heavy tails in stochastic programming | |
| CN112364264A (zh) | 一种风险防控方法、装置及设备 | |
| CN107292137A (zh) | 一种待解锁对象的确定方法及装置 | |
| CN109711222B (zh) | 射频识别防碰撞性能测试方法、测试仪器及存储介质 | |
| CN111563094A (zh) | 一种数据查询方法及装置、电子设备、计算机可读存储介质 | |
| CN116932579A (zh) | 一种数据并行聚合方法、装置、电子设备以及存储介质 | |
| CN109344166B (zh) | 数据库的监控方法、计算机可读存储介质和终端设备 | |
| CN116909623A (zh) | 运算方法、装置、电子设备和存储介质 | |
| CN112115418B (zh) | 一种偏态估计信息的获取方法、装置及设备 | |
| CN114064243A (zh) | 一种任务处理方法、装置及电子设备 | |
| CN118052208A (zh) | 报表生成方法、计算机可读存储介质、电子设备及芯片 | |
| CN117610815A (zh) | 资源限额数据处理方法、装置、计算机设备和存储介质 | |
| CN117931303A (zh) | 组件的状态管理方法、装置、设备及存储介质 | |
| CN116860714A (zh) | 一种数据处理方法、装置、电子设备和存储介质 | |
| CN117970962A (zh) | 一种凝汽器水位控制系统过程给定处理方法及装置 | |
| CN117390012A (zh) | 索引方案推荐方法、装置、电子设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB03 | Change of inventor or designer information | ||
| CB03 | Change of inventor or designer information |
Inventor after: Wang Shifeng Inventor before: Wang Shifeng Inventor before: Zhang Caixia |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |