CN109558298B - 基于深度学习模型的告警执行频率优化方法及相关设备 - Google Patents
基于深度学习模型的告警执行频率优化方法及相关设备 Download PDFInfo
- Publication number
- CN109558298B CN109558298B CN201811186842.5A CN201811186842A CN109558298B CN 109558298 B CN109558298 B CN 109558298B CN 201811186842 A CN201811186842 A CN 201811186842A CN 109558298 B CN109558298 B CN 109558298B
- Authority
- CN
- China
- Prior art keywords
- frequency
- alarm
- low
- threshold
- factor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/32—Monitoring with visual or acoustical indication of the functioning of the machine
- G06F11/324—Display of status information
- G06F11/327—Alarm or error message display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Quality & Reliability (AREA)
- Alarm Systems (AREA)
Abstract
本申请涉及负载监控技术领域，尤其涉及一种基于深度学习模型的告警执行频率优化方法及相关设备。一种基于深度学习模型的告警执行频率优化方法，包括：获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；根据所述告警信息的类别，获取不同类别告警触发阈值；根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；将告警次数超过频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，对所述告警执行的频率进行调节。本申请通过对深度学习模型实现对告警频率的自动调节。
Description
技术领域
本申请涉及负载监控技术领域，尤其涉及一种基于深度学习模型的告警执行频率优化方法及相关设备。
背景技术
告警监控不仅存在于各种设备组成的硬件环境中,也存在于各种软件应用构织的系统运营环境中。告警监控的存在不仅有利于运维管理人员快速、准确地定位发生问题的所在，以便及时排障，还可以根据反馈的告警信息跟踪故障的根源，消除隐患，从而确保系统运行的安全性和稳定性，减少甚至避免由此带来的经济损失。
目前，现有的告警功能，其执行通常是按照预设的频率执行检查的，在系统的服务器承载能力不变的情况下，随着系统中的业务量增长，服务器在单位时间内需要执行的告警检查的数量也在逐步增加。
但是，在实际生产运营环境中，绝大部分的告警在绝大部分时间均不会被触发，基于这一现状，传统的告警功能及告警机制在单位时间内消耗的资源过高，平白浪费了宝贵的系统资源，相对的，也导致了其他功能模块获得的资源减少，进而导致其他模块的运行状况恶化，最终影响到整个系统的运行效率。
发明内容
有鉴于此，有必要针对现有告警触发频率不能自动调节的问题，提供一种基于深度学习模型的告警执行频率优化方法及相关设备。
一种基于深度学习模型的告警执行频率优化方法，包括如下步骤：
获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；
根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；
根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；
设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；
将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
在其中一个实施例中，所述获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类，包括：
获取告警信息；
调取告警信息分类配置文件，所述告警信息分类配置文件包括硬件名称和告警种类，抽取所述告警信息中的特征字符；
将所述特征字符与所述配置文件中的内容进行比对，获取相似度最大的告警种类所对应的存储在所述告警信息分类配置文件中的告警类型，根据所述告警类型将所述告警信息归类。
在其中一个实施例中，所述根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点，包括：
根据预设的告警分类等级，赋予不同的告警类型以不同的告警权重；
设置一标准告警触发阈值，根据所述告警权重对所述标准告警触发阈值进行加权得到不同类别告警触发阈值；
将所述不同类别告警触发阈值入参到误差修正模型进行修正，得到修正后的不同类别告警触发阈值；
以所述修正后的不同类别告警触发阈值为告警触发的时间节点，记录所述告警触发的时间节点。
在其中一个实施例中，所述根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率，包括：
按照所述告警触发的时间节点产生的顺序，将所述告警触发的时间节点进行排序，建立一一行多列时间节点矩阵；
将所述时间节点入参到随机函数，出参后得到两个选定时间节点，若两个时间节点相同则重新入参；
以所述两个选定时间节点为获取告警发生频率的时间段，获取不同类别告警信息在某一时间段触发的频率。
在其中一个实施例中，所述设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组，包括：
获取告警触发次数的告警历史数据；
根据告警触发的时刻距离现在时刻的远近，赋予所述告警历史数据以不同的权重，计算所述告警触发次数的加权平均数得到频率阈值；
以时间为横坐标，建立告警次数直方图，以所述频率阈值为基线，所述基线与横轴平行；
获取超过所述基线的告警次数直方图构成形成高频组，获取低于所述基线的告警次数直方图构成低频组。
在其中一个实施例中，所述将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节，包括：
将所述高频组中的数据或所述低频组中的数据平均分成两组，分别为训练样本和检验样本；
将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子；
将所述检验样本入参到所述深度学习模型中进行训练得到检验高频因子或者检验低频因子；
若所述检验高频因子与所述原始高频因子的差值小于预设误差阈值，或者所述检验低频因子与所述原始低频因子的差值小于预设误差阈值，则将所述原始高频因子或者原始低频因子作为标准高频因子或者标准低频因子；
应用所述标准高频因子与所述频率阈值相乘得到高频阈值，应用所述标准低频因子对所述频率阈值相乘得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
在其中一个实施例中，所述将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子，包括：
将所述训练样本入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：
式(1)中：
t代表每一次迭代，
Gi,t表示了前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，θi,t表示训练样本的参数，θi,t+1表示梯度处理后的训练样本的参数，
η表示效率参数；
将梯度处理后的训练样本入参到深度学习模型中的卷积神经网络模型进行卷积后得到原始高频因子或者原始低频因子，其公式为：
式(2)中：
b(θi,t)表示原始高频因子或原始低频因子，
a(θi,t)表示第i个卷积输出，a(θi,t+1)表示第t+1次迭代时第i个卷积输出，
N表示卷积核的数量，
n表示近邻的卷积核个数，
k,α,β是超参数，数值范围为0～1。
一种基于深度学习模型的告警执行频率优化装置，包括如下模块：
告警信息分类模块，设置为获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；
告警条件触发模块，设置为根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；
告警频率获取模块，设置为根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；
告警信息聚类模块，设置为设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；
告警频率调节模块，设置为将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述基于深度学习模型的告警执行频率优化方法的步骤。
一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述基于深度学习模型的告警执行频率优化方法的步骤。
上述基于深度学习模型的告警执行频率优化方法及相关设备，包括：获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。本技术方案针对现有告警触发频率不能自动调节的问题，通过对深度学习模型实现对告警频率的自动调节。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。
图1为本申请的一种基于深度学习模型的告警执行频率优化方法的整体流程图；
图2为本申请的一种基于深度学习模型的告警执行频率优化方法中的告警条件触发过程示意图；
图3为本申请的一种基于深度学习模型的告警执行频率优化方法中的获取告警频率的过程示意图；
图4为本申请的一种基于深度学习模型的告警执行频率优化装置的结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。
图1为本申请一个实施例中的基于深度学习模型的告警执行频率优化方法的流程图，如图1所示，一种基于深度学习模型的告警执行频率优化方法，包括以下步骤：
S1、获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；
具体的，获取系统的实时工作参数，将实时工作参数与预设的正常参数进行比较，若实时工作参数大于正常参数，则系统内的报警单元会发送告警信息，处理器接收到告警信息后，调用配置文件对告警的信息进行拆解分析得到告警信息匹配的类型。
S2、根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；
具体的，告警信息的类别主要是从硬件和软件两个方面进行分类，其中，硬件常见的告警为内存容量饱和，CPU温度过高等，而软件的告警信息主要是，软件假死不能正常运行或者软件在运行时出现BUG。而告警触发阈值的设定是根据历史数据得到的，比如设置CPU正常工作的温度是不大于60℃，那么当CPU的温度大于60℃时，则达到告警阈值，发出告警信息。同时在同一时刻，也可能发生多个告警信息，比如由于软件的问题导致重复加载此软件，导致内存饱和，此时就发生了内存饱和的告警信息和软件不能正常运行的告警信息，因此将告警信息进行分类可以应对高并发下对告警内容的分析。
S3、根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；
具体的，通常在统计告警发生的频率时是以小时作为单位进行统计的，即在1h内发生多少次告警，相应的在这1小时内，某个具体的时段发生告警的次数较多，可以以告警次数多的时段作为统计告警频率的单元。
S4、设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；
具体的，所谓高频组是指发生告警次数较多的组，对此组需要做降频处理，而对于低频组则相应的延长统计时间。
S5、将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
具体的，应用深度学习模型对高频组或低频组的数据进行训练，主要是采用降梯度和卷积操作，对高频组和低频组的数据进行整合，使其更加符合真实值。
本申请通过上述方法步骤，实现了对告警触发频率的自动调节，可以根据单位时间内实际发生告警的次数对告警频率阈值的自动调节。
在其中一个实施例中，所述获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类，包括：
获取告警信息；
调取告警信息分类配置文件，所述告警信息分类配置文件包括硬件名称和告警种类，抽取所述告警信息中的特征字符；
具体的，所述的特征字符主要是指，硬件名称中的首字母或者告警种类的预代码，根据首字母或者预代码可以将告警信息进行精确的分析，便于统计何种类型的告警发生的频率高。
将所述特征字符与所述配置文件中的内容进行比对，获取相似度最大的告警种类所对应的存储在所述告警信息分类配置文件中的告警类型，根据所述告警类型将所述告警信息归类。
具体的，进行相似度比较时采用相似度函数进行比较，其可以采用欧式距离算法欧氏距离是最易于理解的一种距离计算方法，源自欧氏空间中两点间的距离公式。(1)二维平面上两点a(x1,y1)与b(x2,y2)间的欧氏距离：(2)三维空间两点a(x1,y1,z1)与b(x2,y2,z2)间的欧氏距离：(3)两个n维向量a(x11,x12,…,x1n)与b(x21,x22,…,x2n)间的欧氏距离。
本实施例中，通过调用配置文件对告警的类型进行归类，便于统计在某一时段内何种类型的告警发生的频率高。
图2为本申请在一个实施例中，告警条件触发过程示意图，如图所示，根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点，包括：
S201、根据预设的告警分类等级，赋予不同的告警类型以不同的告警权重；
具体的，通常告警等级分为一般、紧急和加急，其中“一般”赋予的告警权重为0.5，“紧急”赋予的权重为0.8，而“加急”的权重为1。
S202、设置一标准告警触发阈值，根据所述告警权重对所述标准告警触发阈值进行加权得到不同类别告警触发阈值；
具体的，标准告警触发阈值是根据历史数据统计得出，其可以采用的统计方法是将历史数据按照距离现在时刻的远近进行排序，赋予距离现在时刻最近的历史数据以最大的权重，而距离现在时刻最远的数据则赋予最小的权重，然后求得加权平均数即得到标准告警触发阈值。
S203、将所述不同类别告警触发阈值入参到误差修正模型进行修正，得到修正后的不同类别告警触发阈值；
具体的，建立误差修正模型，首先对变量进行协整分析，以发现变量之间的协整关系，即长期均衡关系，并以这种关系构成误差修正项。然后建立短期模型，将误差修正项看作一个解释变量，连同其它反映短期波动的解释变量一起，建立短期模型，即误差修正模型。
其中可以使用Engle-Granger两步法，由协整与误差修正模型的的关系，可以得到误差修正模型建立的E-G两步法：
第一步，进行协整回归(OLS法)，检验变量间的协整关系，估计协整向量(长期均衡关系参数)；
第二步，若协整性存在，则以第一步求到的残差作为非均衡误差项加入到误差修正模型中，并用OLS法估计相应参数。
需要注意的是：在进行变量间的协整检验时，如有必要可在协整回归式中加入趋势项，这时，对残差项的稳定性检验就无须再设趋势项。另外，第二步中变量差分滞后项的多少，可以残差项序列是否存在自相关性来判断，如果存在自相关，则应加入变量差分的滞后项。
S204、以所述修正后的不同类别告警触发阈值为告警触发的时间节点，记录所述告警触发的时间节点。
本实施例中，通过对告警条件进行分析，可以优化告警触发的过程。
图3为本申请在一个实施例中，获取告警频率的过程示意图，如图所示，所述根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率，包括：
S301、按照所述告警触发的时间节点产生的顺序，将所述告警触发的时间节点进行排序，建立一一行多列时间节点矩阵；
具体的，在一行多列时间节点矩阵中可以划分成若干个等数据的子矩阵，然后将子矩阵依次入参到随机函数，进行分段统计再汇总。
S302、将所述时间节点入参到随机函数，出参后得到两个选定时间节点，若两个时间节点相同则重新入参；
具体的，如果要使用函数rand()生成一随机数，并且使之不随单元格计算而改变，可以在编辑栏中输入“＝rand()”，保持编辑状态，然后按F9，将公式永久性地改为随机数。不过，这样只能一个一个的永久性更改，如果数字比较多，也可以全部选择之后，另外选择一个合适的位置粘贴，粘贴的方法是点击右键，选择“选择性粘贴”，然后选择“数值”，即可将之前复制的随机数公式产生的数值复制下来。
S303、以所述两个选定时间节点为获取告警发生频率的时间段，获取不同类别告警信息在某一时间段触发的频率。
具体的，对不同类别的告警信息可以应用散点图进行不同颜色的标记，即一种类型的告警信息采用一种颜色，比如CPU采用黑色，内存采用红色，然后在散点图上根据RGB值进行抽取归类，获得不同类别告警信息在某一时间段触发的频率。
本实施例中，通过不同类别的告警进行分类统计，能够精确的分析出哪种类型的发生的频率高，哪种类型的告警发生的频率低。
在一个实施例中，所述设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组，包括：
获取告警触发次数的告警历史数据；
根据告警触发的时刻距离现在时刻的远近，赋予所述告警历史数据以不同的权重，计算所述告警触发次数的加权平均数得到频率阈值；
以时间为横坐标，建立告警次数直方图，以所述频率阈值为基线，所述基线与横轴平行；
获取超过所述基线的告警次数直方图构成形成高频组，获取低于所述基线的告警次数直方图构成低频组。
本实施例中，在建立告警次数直方图时，可以根据频率阈值的不同对基线进行调节使高频组合低频组的分类更加符合实际情况。
在一个实施例中，所述将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节，包括：
将所述高频组中的数据或所述低频组中的数据平均分成两组，分别为训练样本和检验样本；
具体的，训练样本和检验样本的生成可以采用此种抽取方式，将高频组或者低频组的数据按照时间顺序进行排序，然后相邻的两个数据分别放入到训练样本中和检验样本中。
将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子；
将所述检验样本入参到所述深度学习模型中进行训练得到检验高频因子或者检验低频因子；
若所述检验高频因子与所述原始高频因子的差值小于预设误差阈值，或者所述检验低频因子与所述原始低频因子的差值小于预设误差阈值，则将所述原始高频因子或者原始低频因子作为标准高频因子或者标准低频因子；
其中，误差阈值通常设置为0.2％～0.5％，深度学习模型的训练主要是对训练样本或者检验样本进行降梯度处理使频率的差值减少更加平滑，通常采用简单移动平均线是计算与等权重的指示函数的卷积,也可以不等权重，用ones函数创建一个元素均为1的数组，然后对整个数组除以N,得到等权重，使用权值,调用convolve函数，从convolve函数对应的数组中取出中间的长度为N的部分。
应用所述标准高频因子与所述频率阈值相乘得到高频阈值，应用所述标准低频因子对所述频率阈值相乘得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
本实施例中，通过深度学习模型对高频组或者低频组的数据进行训练得到更加符合实际情况的高频阈值和低频阈值，从而更好的对告警频率进行调节。
在一个实施例中，所述将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子，包括：
将所述训练样本入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：
式(1)中：
t代表每一次迭代，
Gi,t表示了前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，θi,t表示训练样本的参数，θi,t+1表示梯度处理后的训练样本的参数，
η表示效率参数；
其中，AdaGrad算法是自适应学习率，在基本的梯度下降法优化中，有个一个常见问题是，要优化的变量对于目标函数的依赖是各不相同的。对于某些变量，已经优化到了极小值附近，但是有的变量仍然在梯度很大的地方，这时候一个统一的全局学习率是可能出现问题的。如果学习率太小，则梯度很大的变量会收敛很慢，如果梯度太大，已经优化差不多的变量可能会不稳定。
针对这个问题，当时在伯克利加州大学读博士的JhonDuchi，提出了AdaGrad(Adaptive Gradient)，字面上理解就是自适应学习率。AdaGrad的基本思想是对每个变量用不同的学习率，这个学习率在一开始比较大，用于快速梯度下降。随着优化过程的进行，对于已经下降很多的变量，则减缓学习率，对于还没怎么下降的变量，则保持一个较大的学习率。
将梯度处理后的训练样本入参到深度学习模型中的卷积神经网络模型进行卷积后得到原始高频因子或者原始低频因子，其公式为：
式(2)中：
b(θi,t)表示原始高频因子或原始低频因子，
a(θi,t)表示第i个卷积输出，a(θi,t+1)表示第t+1次迭代时第i个卷积输出，
N表示卷积核的数量，
n表示近邻的卷积核个数，
k,α,β是超参数，数值范围为0～1。
其中，卷积神经网络模型对于小卷积核无法获取全局特征的问题，通过增加网络层数，前面多层小卷积核的感受野逐渐叠加后，后面小卷积核的感受野也会逐渐扩大。而且随着网络层数的增加，每次完成卷积后都会引入ReLU激活函数，对模型引入了更多的非线性，增强了网络的拟合能力。
本实施例中，通过AdaGrad算法和卷积神经网络模型对高频因子或者低频因子进行优化，使告警频率的执行更加适应各种实际情况。
在一个实施例中，提供了基于深度学习模型的告警执行频率优化装置，如图4所示，包括如下模块：
告警信息分类模块，设置为获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；
告警触发条件模块，设置为根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；
告警频率获取模块，设置为根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；
告警信息聚类模块，设置为设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；
告警频率调节模块，设置为将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
在一个实施例中，提出了一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行上述各实施例中所述基于深度学习模型的告警执行频率优化方法的步骤。
在一个实施例中，提出了一种存储有计算机可读指令的存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行上述各实施例中所述基于深度学习模型的告警执行频率优化方法的步骤。其中，所述存储介质可以为非易失性存储介质。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁盘或光盘等。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请一些示例性实施例，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (9)
1.一种基于深度学习模型的告警执行频率优化方法，其特征在于，包括：
获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；
根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；
根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率；
设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；
将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节；
所述将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节，包括：
将所述高频组中的数据或所述低频组中的数据平均分成两组，分别为训练样本和检验样本；
将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子；
将所述检验样本入参到所述深度学习模型中进行训练得到检验高频因子或者检验低频因子；
若所述检验高频因子与所述原始高频因子的差值小于预设误差阈值，或者所述检验低频因子与所述原始低频因子的差值小于预设误差阈值，则将所述原始高频因子或者原始低频因子作为标准高频因子或者标准低频因子；
应用所述标准高频因子与所述频率阈值相乘得到高频阈值，应用所述标准低频因子对所述频率阈值相乘得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
2.根据权利要求1所述的基于深度学习模型的告警执行频率优化方法，其特征在于，所述获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类，包括：
获取告警信息；
调取告警信息分类配置文件，所述告警信息分类配置文件包括硬件名称和告警种类，抽取所述告警信息中的特征字符；
将所述特征字符与所述配置文件中的内容进行比对，获取相似度最大的告警种类所对应的存储在所述告警信息分类配置文件中的告警类型，根据所述告警类型将所述告警信息归类。
3.根据权利要求1所述的基于深度学习模型的告警执行频率优化方法，其特征在于，所述根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点，包括：
根据预设的告警分类等级，赋予不同的告警类型以不同的告警权重；
设置一标准告警触发阈值，根据所述告警权重对所述标准告警触发阈值进行加权得到不同类别告警触发阈值；
将所述不同类别告警触发阈值入参到误差修正模型进行修正，得到修正后的不同类别告警触发阈值；
以所述修正后的不同类别告警触发阈值为告警触发的时间节点，记录所述告警触发的时间节点。
4.根据权利要求1所述的基于深度学习模型的告警执行频率优化方法，其特征在于，所述根据所述告警触发的时间节点，获取不同类别告警信息在某一时间段触发的频率，包括：
按照所述告警触发的时间节点产生的顺序，将所述告警触发的时间节点进行排序，建立一一行多列时间节点矩阵；
将所述时间节点入参到随机函数，出参后得到两个选定时间节点，若两个时间节点相同则重新入参；
以所述两个选定时间节点为获取告警发生频率的时间段，获取不同类别告警信息在某一时间段触发的频率。
5.根据权利要求1所述的基于深度学习模型的告警执行频率优化方法，其特征在于，所述设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组，包括：
获取告警触发次数的告警历史数据；
根据告警触发的时刻距离现在时刻的远近，赋予所述告警历史数据以不同的权重，计算所述告警触发次数的加权平均数得到频率阈值；
以时间为横坐标，建立告警次数直方图，以所述频率阈值为基线，所述基线与横轴平行；
获取超过所述基线的告警次数直方图构成形成高频组，获取低于所述基线的告警次数直方图构成低频组。
6.根据权利要求1所述的基于深度学习模型的告警执行频率优化方法，其特征在于，所述将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子，包括：
将所述训练样本入参到深度学习模型的AdaGrad算法中，进行降梯度处理，其公式为：
式(1)中：
t代表每一次迭代，
Gi,t表示了前t步参数θi梯度的累加，ε是一个极小值，作用是防止分母为0，
θi,t表示训练样本的参数，θi,t+1表示梯度处理后的训练样本的参数，
η表示效率参数；
将梯度处理后的训练样本入参到深度学习模型中的卷积神经网络模型进行卷积后得到原始高频因子或者原始低频因子，其公式为：
式(2)中：
b(θi,t)表示原始高频因子或原始低频因子，
a(θi,t)表示第i个卷积输出，a(θi,t+1)表示第t+1次迭代时第i个卷积输出，
N表示卷积核的数量，
n表示近邻的卷积核个数，
k,α,β是超参数，数值范围为0～1。
7.一种基于深度学习模型的告警执行频率优化装置，其特征在于，包括如下模块：
告警信息分类模块，设置为获取告警信息，调取告警信息分类配置文件，对所述告警信息进行分类；
告警条件触发模块，设置为根据所述告警信息的类别，调用预设的告警类别分类表，从所述告警类别分类表中获取不同类别的告警触发阈值，当系统工作参数超过所述告警触发阈值时，告警被触发，记录告警触发的时间节点；
告警频率获取模块，设置为根据所述告警触发的时间节点，获取不同类别的告警信息在某一时间段触发的频率；
告警信息聚类模块，设置为设置一频率阈值，将告警次数超过所述频率阈值的告警信息类别进行聚类构成高频组，将告警频率低于所述频率阈值的告警信息进行聚类构成低频组；
告警频率调节模块，设置为将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节；
所述将所述高频组和所述低频组分别入参到深度学习模型中进行训练得到高频因子和低频因子，应用所述高频因子对所述频率阈值进行修正得到高频阈值，应用所述低频因子对所述频率阈值进行修正得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节，包括：
将所述高频组中的数据或所述低频组中的数据平均分成两组，分别为训练样本和检验样本；
将所述训练样本入参到所述深度学习模型中进行训练得到原始高频因子或者原始低频因子；
将所述检验样本入参到所述深度学习模型中进行训练得到检验高频因子或者检验低频因子；
若所述检验高频因子与所述原始高频因子的差值小于预设误差阈值，或者所述检验低频因子与所述原始低频因子的差值小于预设误差阈值，则将所述原始高频因子或者原始低频因子作为标准高频因子或者标准低频因子；
应用所述标准高频因子与所述频率阈值相乘得到高频阈值，应用所述标准低频因子对所述频率阈值相乘得到低频阈值，当告警触发的频率高于所述高频阈值或者低于所述低频阈值时，对所述告警执行的频率进行调节。
8.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，使得所述处理器执行如权利要求1至6中任一项权利要求所述基于深度学习模型的告警执行频率优化方法的步骤。
9.一种存储有计算机可读指令的存储介质，所述计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行如权利要求1至6中任一项权利要求所述基于深度学习模型的告警执行频率优化方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811186842.5A CN109558298B (zh) | 2018-10-12 | 2018-10-12 | 基于深度学习模型的告警执行频率优化方法及相关设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811186842.5A CN109558298B (zh) | 2018-10-12 | 2018-10-12 | 基于深度学习模型的告警执行频率优化方法及相关设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109558298A CN109558298A (zh) | 2019-04-02 |
| CN109558298B true CN109558298B (zh) | 2022-07-19 |
Family
ID=65864913
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811186842.5A Active CN109558298B (zh) | 2018-10-12 | 2018-10-12 | 基于深度学习模型的告警执行频率优化方法及相关设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109558298B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110661727B (zh) * | 2019-08-14 | 2022-09-30 | 平安普惠企业管理有限公司 | 数据传输优化方法、装置、计算机设备和存储介质 |
| CN110851321B (zh) * | 2019-10-10 | 2022-06-28 | 平安科技（深圳）有限公司 | 一种业务告警方法、设备及存储介质 |
| CN113825148B (zh) * | 2020-06-18 | 2023-08-18 | 中国移动通信集团浙江有限公司 | 网络节点告警等级的确定方法、装置及计算设备 |
| CN113986595A (zh) * | 2021-10-29 | 2022-01-28 | 深圳前海微众银行股份有限公司 | 一种异常定位方法及装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999415A (zh) * | 2012-11-22 | 2013-03-27 | 江苏睿博数据技术有限公司 | 一种告警通知功能的优化方法及设备 |
| CN104243184A (zh) * | 2013-06-06 | 2014-12-24 | 中国移动通信集团河北有限公司 | 一种告警信息的处理方法及装置 |
| CN104954178A (zh) * | 2015-05-29 | 2015-09-30 | 北京奇虎科技有限公司 | 优化系统报警的方法及装置 |
| CN107832200A (zh) * | 2017-10-24 | 2018-03-23 | 平安科技（深圳）有限公司 | 告警处理方法、装置、计算机设备及存储介质 |
| CN107861856A (zh) * | 2017-11-08 | 2018-03-30 | 郑州云海信息技术有限公司 | 云数据系统中告警信息的处理方法和计算机存储介质 |
-
2018
- 2018-10-12 CN CN201811186842.5A patent/CN109558298B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102999415A (zh) * | 2012-11-22 | 2013-03-27 | 江苏睿博数据技术有限公司 | 一种告警通知功能的优化方法及设备 |
| CN104243184A (zh) * | 2013-06-06 | 2014-12-24 | 中国移动通信集团河北有限公司 | 一种告警信息的处理方法及装置 |
| CN104954178A (zh) * | 2015-05-29 | 2015-09-30 | 北京奇虎科技有限公司 | 优化系统报警的方法及装置 |
| CN107832200A (zh) * | 2017-10-24 | 2018-03-23 | 平安科技（深圳）有限公司 | 告警处理方法、装置、计算机设备及存储介质 |
| CN107861856A (zh) * | 2017-11-08 | 2018-03-30 | 郑州云海信息技术有限公司 | 云数据系统中告警信息的处理方法和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN109558298A (zh) | 2019-04-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109558298B (zh) | 基于深度学习模型的告警执行频率优化方法及相关设备 | |
| CN108491817B (zh) | 一种事件检测模型训练方法、装置以及事件检测方法 | |
| CN109598095B (zh) | 评分卡模型的建立方法、装置、计算机设备和存储介质 | |
| EP4020315A1 (en) | Method, apparatus and system for determining label | |
| CN109447180A (zh) | 一种基于大数据和机器学习的电信诈骗上当人发现方法 | |
| CN112989332B (zh) | 一种异常用户行为检测方法和装置 | |
| CN108667678A (zh) | 一种基于大数据的运维日志安全检测方法及装置 | |
| CN112363896A (zh) | 日志异常检测系统 | |
| CN111986027A (zh) | 基于人工智能的异常交易处理方法、装置 | |
| CN114118507A (zh) | 一种基于多维信息融合的风险评估预警方法和装置 | |
| CN113901981A (zh) | 设备聚类方法、装置、计算机设备及存储介质 | |
| CN114463843A (zh) | 一种基于深度学习的多特征融合鱼类异常行为检测方法 | |
| CN116865994A (zh) | 一种基于大数据的网络数据安全预测方法 | |
| CN113962160A (zh) | 基于用户画像的互联网卡用户流失预测方法及系统 | |
| CN115545103A (zh) | 异常数据识别、标签识别方法和异常数据识别装置 | |
| CN115471871A (zh) | 一种基于目标检测和分类网络的麻鸭性别分类识别方法 | |
| CN115858606A (zh) | 时序数据的异常检测方法、装置、设备及存储介质 | |
| CN117216713A (zh) | 故障定界方法、装置、电子设备和存储介质 | |
| CN115514581B (zh) | 一种用于工业互联网数据安全平台的数据分析方法及设备 | |
| CN111984514A (zh) | 基于Prophet-bLSTM-DTW的日志异常检测方法 | |
| CN116432835A (zh) | 客户流失预警归因方法、装置、计算机设备及存储介质 | |
| WO2018162050A1 (en) | Tester and method for testing a device under test using relevance scores | |
| CN116136897A (zh) | 信息处理方法以及装置 | |
| CN107402984B (zh) | 一种基于主题的分类方法及装置 | |
| CN114238952A (zh) | 异常行为检测方法、装置、系统及计算机可读存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |