CN113052338B - 基于规则与模型增强的运维告警规则生成方法和系统 - Google Patents

Abstract

本发明提供了一种基于规则与模型增强的运维告警规则生成方法和系统，包括：规则库建立步骤：获取告警检测数据和操作命令，得到操作结果和告警检测规则；规则模型化步骤：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；模型检测强化步骤：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；新规则辅助生成步骤：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。本发明使用业务经验规则初始化机器学习模型，无需接触真实数据，提高了数据安全性，降低了部署成本。

Description

基于规则与模型增强的运维告警规则生成方法和系统

技术领域

本发明涉及数据处理、智能运维技术领域，具体地，涉及一种基于规则与模型增强的运维告警规则生成方法和系统。

背景技术

在IT运维中，各类告警监控系统发挥着巨大的作用，触发告警即异常检测的方法一般包含规则和模型两类。基于规则的方法的特点是易于理解、误报率极低，传统的专家知识库等都属于这类方法，这类方法缺点是泛化性较差，面对不断推陈出新的系统，规则显得更新不够及时，会有较多漏报，且编写规则对人力消耗较大。基于模型的方法一般将异常检测作为分类问题处理，通过标注样本训练检测模型，加入新的训练样例模型即可更新，基于模型的方法优点是准确性和泛化性均较好，缺点是数据标注成本高、存在一定的误报、主流深度学习模型可解释性较差等。目前，主流的两类异常检测方法均无法做到可解释性、泛化性、准确性、人力成本之间较好平衡。

专利文献CN112218126A(申请号：CN202011084443.5)公开了一种基于终端的内容推荐效果反馈方法、系统及设备，该专利需要通过每一个推荐终端收集每一次反馈作为优化依据，而本发明仅需要转化效果的抽样统计值；该专利需要保持推荐终端与推荐系统之间的联系以获取反馈数据，而本发明仅需要图形界面填写两个抽样统计值即可；该专利的推荐模型为规则模型，而本发明为基于规则模型拟合的机器学习模型，具备更好的泛化、平滑特性。

专利文献CN106897912A(申请号：CN201710034167.3)公开了一种基于epsilon反馈算法的推荐系统冷启动方法。该专利需要记录用户的每次反馈并用于后续的模型更新，而本发明仅需要使用采样后的转化率来进行模型更新；该专利使用用户的行为反馈来进行模型的初始化与冷启动，而本发明是使用业务经验规则来初始化模型。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种基于规则与模型增强的运维告警规则生成方法和系统。

根据本发明提供的基于规则与模型增强的运维告警规则生成方法，包括：

规则库建立步骤：获取告警检测数据和操作命令，得到操作结果和告警检测规则；

规则模型化步骤：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；

模型检测强化步骤：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；

新规则辅助生成步骤：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。

优选的，所述规则库建立步骤包括：

步骤1.1：通过API接口接收操作命令和告警检测数据；

步骤1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；

步骤1.3：返回操作命令是否执行成功的反馈值和相应结果。

优选的，所述规则模型化步骤包括：

步骤2.1：通过API接口访问规则库模块并获取告警检测规则；

步骤2.2：获取原始监测数据；

步骤2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；

步骤2.4：初始化深度神经网络分类模型，输入原始监测数据并进行训练，得出该原始监测数据是否触发告警的分类结果、告警检测模型和标注后的原始监测数据。

优选的，所述模型检测强化步骤包括：

步骤3.1：初始化深度神经网络生成模型，输入随机数字向量，输出与单条原始监测数据同格式的数据；

步骤3.2：将生成的数据与原始监测数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数，得到训练后的深度神经网络生成模型；

步骤3.3：通过训练后深度神经网络生成模型生成伪告警检测数据，将伪告警检测数据与标注后的原始监测数据混合，构成告警增强训练数据；

步骤3.4：使用告警增强训练数据训练告警检测模型，获得增强告警检测模型。

优选的，所述新规则辅助生成步骤包括：

步骤4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出模型判定告警数据；

步骤4.2：从规则库读取告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；

步骤4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据-规则判定告警数据；

步骤4.4：对疑似告警数据中的所有特征进行独热编码；

步骤4.5：计算疑似告警数据编码后的中心R，采用公式：

r是独热编码的疑似告警数据，n是数据的条目数，使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R′；

步骤4.6：计算疑似告警数据中所有数据的独立编码与R′的余弦相似度，将余弦相似度作为数据的权重，得到带权的疑似告警数据，将带权的疑似告警数据与标注后的原始监测数据混合，构成新规则训练数据；

步骤4.7：初始化Lasso线性回归模型，使用新规则训练数据训练该模型；

步骤4.8：在Lasso线性回归模型中，将权重大于0的特征取出作为候选告警正向因子，将权重小于0的特征取出作为候选告警负向因子，输出两类候选告警因子。

根据本发明提供的基于规则与模型增强的运维告警规则生成系统，包括：

规则库建立模块：获取告警检测数据和操作命令，得到操作结果和告警检测规则；

规则模型化模块：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；

模型检测强化模块：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；

新规则辅助生成模块：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合。

优选的，所述规则库建立模块包括：

模块M1.1：通过API接口接收操作命令和告警检测数据；

模块M1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；

模块M1.3：返回操作命令是否执行成功的反馈值和相应结果。

优选的，所述规则模型化模块包括：

模块M2.1：通过API接口访问规则库模块并获取告警检测规则；

模块M2.2：获取原始监测数据；

模块M2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；

模块M2.4：初始化深度神经网络分类模型，输入原始监测数据并进行训练，得出该原始监测数据是否触发告警的分类结果、告警检测模型和标注后的原始监测数据。

优选的，所述模型检测强化模块包括：

模块M3.1：初始化深度神经网络生成模型，输入随机数字向量，输出与单条原始监测数据同格式的数据；

模块M3.2：将生成的数据与原始监测数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数，得到训练后的深度神经网络生成模型；

模块M3.3：通过训练后深度神经网络生成模型生成伪告警检测数据，将伪告警检测数据与标注后的原始监测数据混合，构成告警增强训练数据；

模块M3.4：使用告警增强训练数据训练告警检测模型，获得增强告警检测模型。

优选的，所述新规则辅助生成模块包括：

模块M4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出模型判定告警数据；

模块M4.2：从规则库读取告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；

模块M4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据-规则判定告警数据；

模块M4.4：对疑似告警数据中的所有特征进行独热编码；

模块M4.5：计算疑似告警数据编码后的中心R，采用公式：

r是独热编码的疑似告警数据，n是数据的条目数，使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R′；

模块M4.6：计算疑似告警数据中所有数据的独立编码与R′的余弦相似度，将余弦相似度作为数据的权重，得到带权的疑似告警数据，将带权的疑似告警数据与标注后的原始监测数据混合，构成新规则训练数据；

模块M4.7：初始化Lasso线性回归模型，使用新规则训练数据训练该模型；

模块M4.8：在Lasso线性回归模型中，将权重大于0的特征取出作为候选告警正向因子，将权重小于0的特征取出作为候选告警负向因子，输出两类候选告警因子。

与现有技术相比，本发明具有如下的有益效果：

(1)本发明可以使用业务经验规则初始化机器学习模型，无需接触真实数据，提高数据安全性、降低部署成本；

(2)本发明的推荐模型在使用时可以无需对接详细效果反馈数据，提高数据安全性、降低部署成本；

(3)本发明的推荐模型仅需要提供采样后的转化统计结果即可以优化，提高了数据安全性，降低模型的更新成本，同时可以获得持续优化的推荐模型。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明整体模块示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

实施例1：

根据本发明提供的基于规则与模型增强的运维告警规则生成系统，参考图1，包括：规则库模块、规则模型化模块、模型检测强化模块和新规则辅助生成模块。

规则库模块，输入为：形式化描述的告警检测数据、操作命令(包括但不限于增、删、查、改)；输出为：形式化描述的规则数据、操作结果(成功、失败)。

规则模型化模块，输入为：形式化描述的告警检测规则、原始监测数据(此处原始监测数据指能够被直接用于告警检测的数据)。输出为：告警检测模型、标注后的原始监测数据。

模型检测强化模块，输入为：告警检测模型、告警对应的原始监测数据；输出为：强化后的规则检测模型、告警增强训练数据。

新规则辅助生成模块，输入为：形式化描述的规则数据、告警检测模型、告警对应的原始监测数据、非告警原始监测数据；输出为：候选告警因子集合。

根据本发明提供的基于规则与模型增强的运维告警规则生成方法，包括：

规则库模块运行方法：

步骤1.1：接受API接口的操作命令和形式化描述的规则数据；

步骤1.2：按照命令和规则数据操作进行相应操作，支持的命令包括但不限于增、删、查、改；

步骤1.3：返回命令是否执行成功的反馈值，如为查询类命令，同时返回查询结果(规则数据)。

规则模型化模块的运行方法：

输入为：形式化描述的告警检测规则、原始监测数据。输出为：告警检测模型、告警对应的原始监测数据。

步骤2.1：通过API接口访问规则库模块，从中获取告警规则数据；

步骤2.2：读取原始监测数据，即可以直接用于告警检测的数据；

步骤2.3：通过步骤1读取的规则从步骤2.2读取的数据中筛选出告警对应的原始监测数据，将筛选出的数据打上类标1(表示告警对应数据)，其余数据打上类标0(表示非告警对应的数据)；

步骤2.4：初始化一个深度神经网络分类模型，该模型支持输入原始监测数据(或原始监测数据通过各种特征工程、编码后得到的数据)，并可以给出该原始监测数据是否触发告警的分类结果；

步骤2.5：使用步骤2.3得到的数据训练步骤2.4的神经网络分类模型，得到训练后的神经网络分类模型，输出训练完毕的告警检测模型，输出标注后的原始监测数据，即经过步骤2.3处理后的数据。

模型检测强化模块运行方法：

输入为：告警检测模型、告警对应的原始监测数据；输出为：强化后的规则检测模型。

步骤3.1：读取标注后的原始监测数据，取出其中类标1的数据，即告警对应的原始监测数据；

步骤3.2：初始化一个深度神经网络分类模型，该模型的输入为单条原始监测数据，输出为0和1，0表示该条数据不是真实的告警数据，1表示该条数据是真实的告警数据；

步骤3.3：初始化一个深度神经网络生成模型，该模型的输入为一个随机数字向量(比如32位浮点数向量)，输出为与单条原始监测数据同格式的数据；

步骤3.4：随机生成一个向量输入深度神经网络生成模型，将该模型的输出数据配上类标0，而后与步骤3.1取得的数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数。经过训练，获得训练后的深度神经网络生成模型；

步骤3.5：使用步骤3.4的深度神经网络生成模型生成伪告警检测数据，数据类标1，即告警数据；将生成的告警数据与规则模型化模块生成的标注后的原始监测数据混合，构成告警增强训练数据；

步骤3.6：加载规则模型化模块生成的告警检测模型，使用告警增强训练数据训练告警检测模型，获得增强告警检测模型。

新规则辅助生成模块运行方法：

步骤4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出类标1的数据，即模型判定告警数据；

步骤4.2：从告警规则库读取形式化描述的告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；

步骤4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据-规则判定告警数据；

步骤4.4：对疑似告警数据中的所有特征进行独热编码(one hot encoding)；

步骤4.5：计算疑似告警数据编码后的中心R，采用公式：

r是独热编码的疑似告警数据，n是数据的条目数。使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R′；

步骤4.6：计算疑似告警数据中所有数据的独立编码与R′的余弦相似度，该余弦相似度作为该条数据的权重，得到带权的疑似告警数据，所有数据类标均为1。将带权的疑似告警数据与标注后的原始监测数据中的正例混合，构成新规则训练数据；

步骤4.7：初始化一个Lasso线性回归模型，使用新规则训练数据训练该模型；

步骤4.8：Lasso线性回归模型中，将权重大于0的特征取出，作为候选告警正向因子，将权重小于0的特征取出，作为候选告警负向因子，输出两类候选告警因子。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (2)

1.一种基于规则与模型增强的运维告警规则生成方法，其特征在于，包括：

规则库建立步骤：获取告警检测数据和操作命令，得到操作结果和告警检测规则；

规则模型化步骤：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；

模型检测强化步骤：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；

新规则辅助生成步骤：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合；

所述规则库建立步骤包括：

步骤1.1：通过API接口接收操作命令和告警检测数据；

步骤1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；

步骤1.3：返回操作命令是否执行成功的反馈值和相应结果；

所述规则模型化步骤包括：

步骤2.1：通过API接口访问规则库模块并获取告警检测规则；

步骤2.2：获取原始监测数据；

步骤2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；

步骤2.4：初始化深度神经网络分类模型，输入原始监测数据并进行训练，得出该原始监测数据是否触发告警的分类结果、告警检测模型和标注后的原始监测数据；

所述模型检测强化步骤包括：

步骤3.1：初始化深度神经网络生成模型，输入随机数字向量，输出与单条原始监测数据同格式的数据；

步骤3.2：将生成的数据与原始监测数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数，得到训练后的深度神经网络生成模型；

步骤3.3：通过训练后深度神经网络生成模型生成伪告警检测数据，将伪告警检测数据与标注后的原始监测数据混合，构成告警增强训练数据；

步骤3.4：使用告警增强训练数据训练告警检测模型，获得增强告警检测模型；

所述新规则辅助生成步骤包括：

步骤4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出模型判定告警数据；

步骤4.2：从规则库读取告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；

步骤4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据-规则判定告警数据；

步骤4.4：对疑似告警数据中的所有特征进行独热编码；

步骤4.5：计算疑似告警数据编码后的中心R，采用公式：

r是独热编码的疑似告警数据，n是数据的条目数，使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R^′；

步骤4.6：计算疑似告警数据中所有数据的独立编码与R^′的余弦相似度，将余弦相似度作为数据的权重，得到带权的疑似告警数据，将带权的疑似告警数据与标注后的原始监测数据混合，构成新规则训练数据；

步骤4.7：初始化Lasso线性回归模型，使用新规则训练数据训练该模型；

步骤4.8：在Lasso线性回归模型中，将权重大于0的特征取出作为候选告警正向因子，将权重小于0的特征取出作为候选告警负向因子，输出两类候选告警因子。

2.一种基于规则与模型增强的运维告警规则生成系统，其特征在于，包括：

规则库建立模块：获取告警检测数据和操作命令，得到操作结果和告警检测规则；

规则模型化模块：根据告警检测规则和原始监测数据，得到告警检测模型和标注后的原始监测数据；

模型检测强化模块：根据告警检测模型和标注后的原始监测数据，得到增强告警检测模型和告警增强训练数据；

新规则辅助生成模块：根据告警检测规则、增强告警检测模型、告警增强训练数据和原始监测数据，输出候选告警因子集合；

所述规则库建立模块包括：

模块M1.1：通过API接口接收操作命令和告警检测数据；

模块M1.2：根据操作命令和告警检测数据操作进行相应操作，所述操作命令包括增、删、查、改；

模块M1.3：返回操作命令是否执行成功的反馈值和相应结果；

所述规则模型化模块包括：

模块M2.1：通过API接口访问规则库模块并获取告警检测规则；

模块M2.2：获取原始监测数据；

模块M2.3：根据告警检测规则从原始监测数据中筛选出告警数据并进行标记；

模块M2.4：初始化深度神经网络分类模型，输入原始监测数据并进行训练，得出该原始监测数据是否触发告警的分类结果、告警检测模型和标注后的原始监测数据；

所述模型检测强化模块包括：

模块M3.1：初始化深度神经网络生成模型，输入随机数字向量，输出与单条原始监测数据同格式的数据；

模块M3.2：将生成的数据与原始监测数据混合后对深度神经网络分类模型进行训练，训练过程采用对抗生成网络损失函数，得到训练后的深度神经网络生成模型；

模块M3.3：通过训练后深度神经网络生成模型生成伪告警检测数据，将伪告警检测数据与标注后的原始监测数据混合，构成告警增强训练数据；

模块M3.4：使用告警增强训练数据训练告警检测模型，获得增强告警检测模型；

所述新规则辅助生成模块包括：

模块M4.1：加载增强告警检测模型，使用该模型对告警增强训练数据进行检测，筛选出模型判定告警数据；

模块M4.2：从规则库读取告警检测规则，使用规则对告警增强训练数据进行检测，筛选出规则判定告警数据；

模块M4.3：计算疑似告警数据：疑似告警数据＝模型判定告警数据-规则判定告警数据；

模块M4.4：对疑似告警数据中的所有特征进行独热编码；

模块M4.5：计算疑似告警数据编码后的中心R，采用公式：

r是独热编码的疑似告警数据，n是数据的条目数，使用余弦相似度法找到疑似告警数据中与R相似度最高的数据，记为R^′；

模块M4.6：计算疑似告警数据中所有数据的独立编码与R^′的余弦相似度，将余弦相似度作为数据的权重，得到带权的疑似告警数据，将带权的疑似告警数据与标注后的原始监测数据混合，构成新规则训练数据；

模块M4.7：初始化Lasso线性回归模型，使用新规则训练数据训练该模型；

模块M4.8：在Lasso线性回归模型中，将权重大于0的特征取出作为候选告警正向因子，将权重小于0的特征取出作为候选告警负向因子，输出两类候选告警因子。

Images