CN113780432B - 基于增强学习的网络信息系统运维异常智能检测方法 - Google Patents

基于增强学习的网络信息系统运维异常智能检测方法 Download PDF

Info

Publication number
CN113780432B
CN113780432B CN202111079028.5A CN202111079028A CN113780432B CN 113780432 B CN113780432 B CN 113780432B CN 202111079028 A CN202111079028 A CN 202111079028A CN 113780432 B CN113780432 B CN 113780432B
Authority
CN
China
Prior art keywords
model
trained
data
training
parameters
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111079028.5A
Other languages
English (en)
Other versions
CN113780432A (zh
Inventor
李洪成
高源�
焦利彬
王成
明月伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Defence University Of People's Liberation Army Joint Operation Institute
CETC 54 Research Institute
Original Assignee
National Defence University Of People's Liberation Army Joint Operation Institute
CETC 54 Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Defence University Of People's Liberation Army Joint Operation Institute, CETC 54 Research Institute filed Critical National Defence University Of People's Liberation Army Joint Operation Institute
Priority to CN202111079028.5A priority Critical patent/CN113780432B/zh
Publication of CN113780432A publication Critical patent/CN113780432A/zh
Application granted granted Critical
Publication of CN113780432B publication Critical patent/CN113780432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明提供了一种基于增强学习的网络信息系统运维异常智能检测方法。该方法包括如下步骤：采集网络性能参数的历史数据和待测数据，归一化后得到历史数据集和待测数据集；初始化生成模型和判别模型的超参数；用生成模型得到增强数据，用历史数据和增强数据训练判别模型，并训练生成模型；用训练后的生成模型得到增强数据，用历史数据和增强数据分别训练异常分类模型，训练好后用异常分类模型对待测数据进行分类。本发明根据原始历史数据的分布规律，扩充了训练数据集的体量，提高了分类模型的泛化能力，相较于原始数据集，经该方法处理后的增强历史数据集使分类模型的综合检测性能取得明显提升。

Description

基于增强学习的网络信息系统运维异常智能检测方法
技术领域
本发明涉及网络信息系统运维技术领域，具体地说是一种基于增强学习的网络信息系统运维异常智能检测方法。
背景技术
网络信息系统运维异常智能检测是利用网络管理系统提取的网络性能参数信息，检测出当前网络异常类型的技术。网络性能参数信息与网络异常之间的关系可以通过历史数据反映出来，通过学习历史数据可以得到异常分类模型，进而根据当前的网络性能参数信息判断异常情况。
网络异常检测技术一直受困于数据采集困难、预测精度低等关键瓶颈，难以突破。机器学习能够学习和解释浅层特征，推理高层抽象信息，完成复杂问题的精准分析与预测，为提升网络异常检测的智能化水平带来新的思路。近年来，国内外研究者利用机器学习技术在网络异常检测方面已做了不少研究工作：
电子科技大学的李彤岩博士提出了一种基于稀疏贝叶斯的通信故障告警预测方法，告警序列是一类典型的时间序列，利用稀疏贝叶斯方法对告警序列进行预测，不仅具有支持向量机SVM的避免过学习的优点，而且还可以产生比SVM更高的性能和更少的核函数，这种方法针对小样本的学习非常有效。
北京邮电大学张民团队在告警关联性分析和告警压缩方面，采用K近邻K-Means和人工神经网络ANN方法，研究过程包括选取告警属性并量化、利用K-Means进行告警分类、输入样本以获得ANN的连接权重、计算告警的综合权重以及根据实际网管告警数据进行验证分析，经现网数据验证：告警综合权重不依赖于主观判断、能够根据需求得到不同的告警压缩率、能发现和预测连锁告警。
圣玛丽亚大学的GhendyCardoso等人结合人工神经网络和专家系统针对电力系统故障区段的诊断问题进行了研究。采用神经网络对保护系统进行建模，处理继电器和断路器运行信息中的不确定性；同时结合网络拓扑结构，使用专家系统对神经网络提供的结果进行了补充。结果表明，该方法适用于实际的大型电力系统，它还能够抑制继电器和断路器跳闸信息中的噪声，自然地处理多个故障，即使在发生远程后备保护动作的情况下也能推断出解决方案。
综上，尽管业界研究人员已经取得了部分成果，然而在网络信息系统运维异常检测过程中，供模型训练的历史数据经常出现不均衡现象，也就是部分异常类型对应的数据量很多，而其他异常类型对应的数据量很少。在不均衡数据上进行训练，会极大地削弱检测算法对于多种异常类型的学习能力。在少样本场景下或数据不均衡条件下，基于机器学习的异常检测技术仍面临很大困难。
发明内容
本发明的目的就是提供一种基于增强学习的网络信息系统运维异常智能检测方法，以解决现有技术中在少样本场景下或数据不均衡条件下，异常检测技术效果较差的问题。
本发明是这样实现的：一种基于增强学习的网络信息系统运维异常智能检测方法，包括如下步骤：
a、采集网络性能参数的历史数据和待测数据；
b、对采集到的历史数据和待测数据进行归一化处理，得到历史数据集X和待测数据集；
c、初始化增强模型的超参数，将增强模型分为生成模型G和判别模型D，然后初始化生成模型G和判别模型D的超参数；
d、用生成模型G处理随机噪声z，得到增强数据G(z)，利用历史数据集X和增强数据G(z)来训练判别模型D，得到训练后的判别模型Dtrained，对生成模型G进行训练，得到训练后的生成模型Gtrained；
e、利用步骤d中得到的训练后的生成模型Gtrained对每个网络异常类型产生不同的增强数据Gtrained(z)，得到带有类型标签的数据X和数据[X+Gtrained(z)]；然后用数据X和数据[X+Gtrained(z)]分别训练异常分类模型C，训练完成后，得到对应的误差EX和E[X+Gtrained(z)]；
f、比较步骤e中得到的误差EX和E[X+Gtrained(z)]，如果EX＞E[X+Gtrained(z)]，则输出步骤e中用数据[X+Gtrained(z)]训练好的异常分类模型C；如果EX≤E[X+Gtrained(z)]，则调整生成模型G和判别模型D的超参数，重复步骤d和步骤e，直至EX＞E[X+Gtrained(z)]，并输出步骤e中用数据[X+Gtrained(z)]训练好的异常分类模型C；
g、将步骤b中得到的待测数据集输入到步骤f中得到的训练好的异常分类模型C中进行分类，得到每条待测数据对应的网络异常类型。
步骤a中所述网络性能参数包括有网络节点数量、丢包率、带宽利用率、传输字节数、包延迟、数据包长度、数据包数量和报文丢失率；步骤e中所述网络异常类型包括有网络阻塞、网络延迟和网络掉包。
步骤b中，对历史数据和待测数据进行归一化，计算公式为：
Figure BDA0003263277250000031
其中，xij表示归一化后第i条记录的第j个特征取值，dataij表示归一化前第i条记录的第j个特征取值，dataj表示由各记录的第j个特征取值组成的向量，maxdataj和mindataj分别表示各记录第j个特征的最大值和最小值。
步骤c中，在初始化增强模型的超参数过程中，生成模型G和判别模型D是三层神经网络，生成模型G和判别模型D的初始超参数分别为学习速率α＝0.2，隐藏层层数＝3，隐藏单元数分别为256、512、1024，激活函数选择为“tanh”，生成模型G的噪声输入维数为100。
步骤d包括如下步骤：
d1、用生成模型G处理随机噪声z，得到增强数据G(z)；
d2、用历史数据集X和增强数据G(z)来训练判别模型D，得到D(x)和D[G(z)]，使输出的D(x)趋近于1，D[G(z)]趋近于0，训练结束后，得到训练后的判别模型Dtrained；
d3、对生成模型G进行训练：将步骤d1中得到的增强数据G(z)输入到步骤d2中得到的训练后的判别模型Dtrained中，得到Dtrained[G(z)]，使输出的Dtrained[G(z)]趋近于1，保持Dtrained的模型参数不变，对生成模型G进行训练，训练结束后，得到训练后的生成模型Gtrained；
d4、判断Dtrained[G(z)]与0.5之间的距离、D(x)与0.5之间的距离是否均小于预设阈值，如果是，则输出此时训练后的生成模型Gtrained；如果否，则采用此时训练后的生成模型Gtrained来更新步骤d1中生成模型G，重复d1～d3步骤，直至Dtrained[G(z)]与0.5之间的距离、D(x)与0.5之间的距离均小于预设阈值，输出此时训练后的生成模型Gtrained。
步骤d2中，优化公式为：
Figure BDA0003263277250000034
判别模型D的损失函数为：lg(D(x))+lg(1-D(G(z)))；
计算判别模型D的损失函数在当前批训练数据上的平均值LD：
Figure BDA0003263277250000032
然后求解LD对判别模型参数θD的导数，用梯度上升法更新θD，训练结束后，得到训练后的判别模型Dtrained。
步骤d3中，优化公式为：
Figure BDA0003263277250000033
生成模型G的损失函数为：lg(1-D(G(z)))
计算生成模型G的损失函数在当前批训练数据上的平均值LG：
Figure BDA0003263277250000041
然后求解LG对生成模型参数θG的导数，用梯度下降法更新θG，训练结束后，得到训练后的生成模型Gtrained。
步骤e中，用数据X和数据[X+Gtrained(z)]分别训练异常分类模型C，具体步骤如下：
e1、将数据X/[X+Gtrained(z)]按照8:2的比例划分为训练集T和验证集V；
e2、初始化分类模型C的超参数，利用训练集T训练异常分类模型C，输出训练完成后的异常分类模型Ctrained；
e3、计算验证集V的误差，利用步骤e2输出的异常分类模型Ctrained，对验证集V的每条记录进行分类，计算每条记录的分类结果与实际类型的误差并求平均，得到平均误差EV；
e4、判断终止条件，更新异常分类模型C的超参数，重复步骤e2～e3；
判断当前是否满足对异常分类模型C的最大调参次数，如果满足，则画出不同超参数对应的误差曲线；如果不满足，则调整异常分类模型C的超参数，并重复步骤e2～e3，直至满足对异常分类模型C的最大调参次数，并画出不同超参数对应的误差曲线；
e5、根据误差曲线，将误差最低点对应的异常分类模型C作为最优异常分类模型C。
步骤e2中，利用训练集T训练异常分类模型C，以各条记录分类结果与异常类型标签之间的误差为损失函数，在训练集T上利用误差反向传播方法训练异常分类模型C，输出训练完成后的异常分类模型Ctrained。
本发明的方法可以提高异常检测模型的泛化能力和准确性，能够根据网络管理系统获得网络实时性能参数，来判断网络信息系统运维过程中出现异常的类型，从而提高网络信息系统异常检测的准确性和高效性，保证系统运行的可靠性。同时能够更有效地改善模型对于多数类样本的分类偏好问题，提高模型对于少数类故障样本的识别能力。
本发明提出的方法根据原始历史数据的分布规律，扩充了训练数据集的体量，提高了分类模型的泛化能力，所以相较于原始数据集，经该方法处理后的增强历史数据集使分类模型的综合检测性能取得明显提升。本发明的方法检测准确性强、不需要人为干预、自动化程度高，对少数类样本的识别能力强。
附图说明
图1是本发明中方法的整体流程图。
图2是本发明中生成模型G的训练流程图。
图3是本发明中异常分类模型C的训练流程图。
具体实施方式
如图1所示，本发明所提供的基于增强学习的网络信息系统运维异常智能检测方法，包括如下步骤：
a、采集网络性能参数的历史数据和待测数据。
从当前网络信息系统的网管系统中，获取网络性能参数集合。其中，一部分为历史数据，每一条记录表示历史上某一时刻的网络性能参数集合，每一条记录均有当时对应的网络异常类型，历史数据集DATA分为m行n列，每行就是一条记录，每行代表某时刻网络性能参数组成的特征向量，每列代表各维特征的取值。另一部分为待测数据，表示当前时刻的网络性能参数集合，为n维向量。
在历史数据和待测数据中，网络性能参数主要包括网络节点数量、丢包率、带宽利用率、传输字节数、包延迟、数据包长度、数据包数量和报文丢失率等特征；网络异常类型主要包括网络阻塞、网络延迟、网络掉包等。
b、对采集到的历史数据和待测数据进行归一化处理，得到归一化后的历史数据集和待测数据集。
为保证数据分析过程的有效性，需要对数据集进行归一化处理。采用MinmaxScaler方法对历史数据和待测数据进行归一化，计算公式为：
Figure BDA0003263277250000051
其中，xij表示归一化后数据集第i条记录的第j个特征取值，dataij表示归一化前数据集第i条记录的第j个特征取值，dataj表示由各记录的第j个特征取值组成的向量，maxdataj和mindataj分别表示各记录第j个特征的最大值和最小值。
c、初始化增强模型的超参数，将增强模型分为生成模型G和判别模型D，然后初始化生成模型G和判别模型D的超参数。
在初始化增强模型的超参数过程中，生成模型G和判别模型D是三层神经网络，生成模型G和判别模型D的初始超参数分别为学习速率α＝0.2，隐藏层层数＝3，隐藏单元数分别为256、512、1024，激活函数选择为“tanh”，生成模型G的噪声输入维数＝100。
d、用生成模型G处理随机噪声z，得到增强数据G(z)，利用历史数据集X和增强数据G(z)来训练判别模型D，得到训练后的判别模型Dtrained，对生成模型G进行训练，得到训练后的生成模型Gtrained。结合图2，本步骤具体如下：
d-1、用生成模型G处理随机噪声z，得到增强数据G(z)。
具体地说是用生成模型G处理随机噪声z，从随机噪声z的分布pZ(z)中随机采样batch个样本{z(1),…,z(batch)}，输入到生成模型G中，得到增强数据G(z)，该G(z)为{G(z(1)),…,G(z(batch))}。
d-2、用历史数据集X和增强数据G(z)来训练判别模型D，得到D(x)和D[G(z)]，使输出的D(x)趋近于1，D[G(z)]趋近于0，训练结束后，输出得到的判别模型Dtrained。
具体的步骤是从归一化后的历史数据集X的真实数据分布pX(x)中随机采样batch个样本{x(1),…,x(batch)}，将{x(1),…,x(batch)}和步骤d-1中得到的增强数据G(z)(即{G(z(1)),…,G(z(batch))})分别输入到判别模型D中进行训练，得到D(x)和D[G(z)]，使输出的D(x)趋近于1，D[G(z)]趋近于0，优化公式为：
Figure BDA0003263277250000064
判别模型D的损失函数为：lg(D(x))+lg(1-D(G(z)))；
计算判别模型D的损失函数在当前批训练数据上的平均值LD：
Figure BDA0003263277250000061
然后求解LD对判别模型参数θD的导数，用梯度上升法更新θD，训练结束后，得到训练后的判别模型Dtrained。
d-3、对生成模型G进行训练，将步骤d-1中得到的增强数据G(z)输入到步骤d-2中得到的训练后的判别模型Dtrained中，得到Dtrained[G(z)]，使输出的Dtrained[G(z)]趋近于1，保持Dtrained的模型参数不变，对生成模型G进行训练，训练结束后，得到训练后的生成模型Gtrained。
具体步骤是将步骤d-1中得到的增强数据G(z)(即{G(z(1)),…,G(z(batch))})输入到步骤d-2中训练后的判别模型Dtrained中，保持Dtrained的模型参数不变，对生成模型G进行训练，得到Dtrained[G(z)]，训练的目标是使Dtrained[G(z)]趋近于1，优化公式为：
Figure BDA0003263277250000062
将生成模型G的损失函数定义为lg(1-Dtrained(G(z)))，计算生成模型G的损失函数在当前批训练数据上的平均值
Figure BDA0003263277250000063
然后求解LG对生成模型参数θG的导数，用梯度下降法更新θG。训练结束后，得到训练后的生成模型Gtrained。
d-4、判断Dtrained[G(z)]与0.5之间的距离、D(x)与0.5之间的距离是否小于预设阈值，如果这两个距离都小于预设阈值，则输出此时的生成模型Gtrained；如果这两个距离不都小于预设阈值，则采用步骤d-3中训练后的生成模型Gtrained来更新生成模型G，重复d-1～d-3步骤，直至Dtrained[G(z)]与0.5之间的距离、D(x)与0.5之间的距离都小于预设阈值，输出此时训练后的生成模型Gtrained。
e、结合图3，利用步骤d中输出的训练后的生成模型Gtrained对每个异常类型产生不同的增强数据；设定历史数据集中共有K个异常类型，对于第k(k＝1,2，……，K)类异常类型对应的数据Xk，生成Gtrained (k)(z)，得到了带有类型标签的数据X和数据[X+Gtrained(z)]；然后用数据X和数据[X+Gtrained(z)]分别训练异常分类模型C，训练完成后，得到对应的误差EX和E[X+Gtrained(z)]。
用数据X和数据[X+Gtrained(z)]分别训练异常分类模型C，具体步骤如下：
e-1、将数据X([X+Gtrained(z)])按照8:2的比例划分为训练集T和验证集V。
e-2、初始化异常分类模型C的超参数，选定三层神经网络为异常分类模型，初始化神经网络异常分类模型的学习速率、隐藏节点数量和激活函数等超参数；利用训练集T训练异常分类模型C，输出训练完成后的异常分类模型Ctrained；以各条记录分类结果与异常类型标签之间的误差为损失函数，在训练集T上利用误差反向传播方法训练异常分类模型C，输出训练完成后的异常分类模型Ctrained。
e-3、计算验证集V的误差，利用步骤e-2输出的异常分类模型Ctrained，对验证集V的每条记录进行分类，计算每条记录的分类结果与实际类型的误差并求平均，得到平均误差EV。
e-4、判断终止条件，更新异常分类模型C的超参数，重复步骤e-2～e-3。
判断当前是否满足对异常分类模型C的最大调参次数(预设值)，如果满足，则画出不同超参数对应的误差曲线；如果不满足，则调整异常分类模型C的超参数，并重复步骤e-2～e-3，直至满足对异常分类模型C的最大调参次数，并画出不同超参数对应的误差曲线。
e-5、根据误差曲线，将误差最低点(即误差曲线的最低点)对应的异常分类模型C作为最优异常分类模型C。针对数据X，将误差曲线中的误差最低点记为EX；针对数据[X+Gtrained(z)]，将误差曲线中的误差最低点记为E[X+Gtrained(z)]。
f、比较步骤e中得到的误差EX和E[X+Gtrained(z)]，根据比较值来输出步骤e中用[X+Gtrained(z)]训练好的异常分类模型C。具体操作方法是比较步骤e中得到的误差EX和E[X+Gtrained(z)]，如果EX大于E[X+Gtrained(z)]，则输出步骤e中用[X+Gtrained(z)]训练好的异常分类模型C；如果EX小于等于E[X+Gtrained(z)]，则调整步骤d中生成模型G和判别模型D的超参数，重复步骤d和步骤e，直至EX大于E[X+Gtrained(z)]，然后输出步骤e中用[X+Gtrained(z)]训练好的最优的异常分类模型C。
g、利用训练好的最优的异常分类模型C对待测数据进行分类，将步骤b中得到的待测数据集输入到步骤f中得到的训练好的异常分类模型C中进行分类，得到每条待测数据对应的网络异常类型。

Claims (9)

1.一种基于增强学习的网络信息系统运维异常智能检测方法，其特征是，包括如下步骤：
a、采集网络性能参数的历史数据和待测数据；
b、对采集到的历史数据和待测数据进行归一化处理，得到历史数据集X和待测数据集；
c、初始化增强模型的超参数，将增强模型分为生成模型G和判别模型D，然后初始化生成模型G和判别模型D的超参数；
d、用生成模型G处理随机噪声z，得到增强数据G(z)，利用历史数据集X和增强数据G(z)来训练判别模型D，得到训练后的判别模型Dtrained，对生成模型G进行训练，得到训练后的生成模型Gtrained；
e、利用步骤d中得到的训练后的生成模型Gtrained对每个网络异常类型产生不同的增强数据Gtrained(z)，得到带有类型标签的数据X和数据[X+Gtrained(z)]；然后用数据X和数据[X+Gtrained(z)]分别训练异常分类模型C，训练完成后，得到对应的误差EX和
Figure FDA0003263277240000011
f、比较步骤e中得到的误差EX和
Figure FDA0003263277240000012
如果
Figure FDA0003263277240000013
则输出步骤e中用数据[X+Gtrained(z)]训练好的异常分类模型C；如果
Figure FDA0003263277240000014
则调整生成模型G和判别模型D的超参数，重复步骤d和步骤e，直至
Figure FDA0003263277240000015
并输出步骤e中用数据[X+Gtrained(z)]训练好的异常分类模型C；
g、将步骤b中得到的待测数据集输入到步骤f中得到的训练好的异常分类模型C中进行分类，得到每条待测数据对应的网络异常类型。
2.根据权利要求1所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤a中所述网络性能参数包括有网络节点数量、丢包率、带宽利用率、传输字节数、包延迟、数据包长度、数据包数量和报文丢失率；步骤e中所述网络异常类型包括有网络阻塞、网络延迟和网络掉包。
3.根据权利要求1所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤b中，对历史数据和待测数据进行归一化，计算公式为：
Figure FDA0003263277240000016
其中，xij表示归一化后第i条记录的第j个特征取值，dataij表示归一化前第i条记录的第j个特征取值，dataj表示由各记录的第j个特征取值组成的向量，maxdataj和mindataj分别表示各记录第j个特征的最大值和最小值。
4.根据权利要求1所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤c中，在初始化增强模型的超参数过程中，生成模型G和判别模型D是三层神经网络，生成模型G和判别模型D的初始超参数分别为学习速率α＝0.2，隐藏层层数＝3，隐藏单元数分别为256、512、1024，激活函数选择为“tanh”，生成模型G的噪声输入维数为100。
5.根据权利要求1所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤d包括如下步骤：
d1、用生成模型G处理随机噪声z，得到增强数据G(z)；
d2、用历史数据集X和增强数据G(z)来训练判别模型D，得到D(x)和D[G(z)]，使输出的D(x)趋近于1，D[G(z)]趋近于0，训练结束后，得到训练后的判别模型Dtrained；
d3、对生成模型G进行训练：将步骤d1中得到的增强数据G(z)输入到步骤d2中得到的训练后的判别模型Dtrained中，得到Dtrained[G(z)]，使输出的Dtrained[G(z)]趋近于1，保持Dtrained的模型参数不变，对生成模型G进行训练，训练结束后，得到训练后的生成模型Gtrained；
d4、判断Dtrained[G(z)]与0.5之间的距离、D(x)与0.5之间的距离是否均小于预设阈值，如果是，则输出此时训练后的生成模型Gtrained；如果否，则采用此时训练后的生成模型Gtrained来更新步骤d1中生成模型G，重复d1～d3步骤，直至Dtrained[G(z)]与0.5之间的距离、D(x)与0.5之间的距离均小于预设阈值，输出此时训练后的生成模型Gtrained。
6.根据权利要求5所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤d2中，
优化公式为：
Figure FDA0003263277240000022
判别模型D的损失函数为：lg(D(x))+lg(1-D(G(z)))；
计算判别模型D的损失函数在当前批训练数据上的平均值LD：
Figure FDA0003263277240000021
然后求解LD对判别模型参数θD的导数，用梯度上升法更新θD，训练结束后，得到训练后的判别模型Dtrained。
7.根据权利要求5所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤d3中，
优化公式为：
Figure FDA0003263277240000031
生成模型G的损失函数为：lg(1-D(G(z)))
计算生成模型G的损失函数在当前批训练数据上的平均值LG：
Figure FDA0003263277240000032
然后求解LG对生成模型参数θG的导数，用梯度下降法更新θG，训练结束后，得到训练后的生成模型Gtrained。
8.根据权利要求1所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤e中，用数据X和数据[X+Gtrained(z)]分别训练异常分类模型C，具体步骤如下：
e1、将数据X/[X+Gtrained(z)]按照8:2的比例划分为训练集T和验证集V；
e2、初始化分类模型C的超参数，利用训练集T训练异常分类模型C，输出训练完成后的异常分类模型Ctrained；
e3、计算验证集V的误差，利用步骤e2输出的异常分类模型Ctrained，对验证集V的每条记录进行分类，计算每条记录的分类结果与实际类型的误差并求平均，得到平均误差EV；
e4、判断终止条件，更新异常分类模型C的超参数，重复步骤e2～e3；
判断当前是否满足对异常分类模型C的最大调参次数，如果满足，则画出不同超参数对应的误差曲线；如果不满足，则调整异常分类模型C的超参数，并重复步骤e2～e3，直至满足对异常分类模型C的最大调参次数，并画出不同超参数对应的误差曲线；
e5、根据误差曲线，将误差最低点对应的异常分类模型C作为最优异常分类模型C。
9.根据权利要求8所述的基于增强学习的网络信息系统运维异常智能检测方法，其特征是，步骤e2中，利用训练集T训练异常分类模型C，以各条记录分类结果与异常类型标签之间的误差为损失函数，在训练集T上利用误差反向传播方法训练异常分类模型C，输出训练完成后的异常分类模型Ctrained。
CN202111079028.5A 2021-09-15 2021-09-15 基于增强学习的网络信息系统运维异常智能检测方法 Active CN113780432B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111079028.5A CN113780432B (zh) 2021-09-15 2021-09-15 基于增强学习的网络信息系统运维异常智能检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111079028.5A CN113780432B (zh) 2021-09-15 2021-09-15 基于增强学习的网络信息系统运维异常智能检测方法

Publications (2)

Publication Number Publication Date
CN113780432A CN113780432A (zh) 2021-12-10
CN113780432B true CN113780432B (zh) 2022-10-28

Family

ID=78843890

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111079028.5A Active CN113780432B (zh) 2021-09-15 2021-09-15 基于增强学习的网络信息系统运维异常智能检测方法

Country Status (1)

Country Link
CN (1) CN113780432B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514614B (zh) * 2022-11-15 2023-02-24 阿里云计算有限公司 基于强化学习的云网络异常检测模型训练方法及存储介质
CN117408679B (zh) * 2023-12-14 2024-03-22 北京星汉博纳医药科技有限公司 一种运维场景信息的处理方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
WO2020244134A1 (zh) * 2019-06-05 2020-12-10 华南理工大学 一种基于多任务特征共享神经网络的智能故障诊断方法
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109710636B (zh) * 2018-11-13 2022-10-21 广东工业大学 一种基于深度迁移学习的无监督工业系统异常检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6119112A (en) * 1997-11-19 2000-09-12 International Business Machines Corporation Optimum cessation of training in neural networks
WO2020244134A1 (zh) * 2019-06-05 2020-12-10 华南理工大学 一种基于多任务特征共享神经网络的智能故障诊断方法
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质

Also Published As

Publication number Publication date
CN113780432A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
CN113255848B (zh) 基于大数据学习的水轮机空化声信号辨识方法
CN110287983B (zh) 基于最大相关熵深度神经网络单分类器异常检测方法
CN113780432B (zh) 基于增强学习的网络信息系统运维异常智能检测方法
CN111914873A (zh) 一种两阶段云服务器无监督异常预测方法
CN112015153B (zh) 一种无菌灌装生产线异常检测系统和方法
CN110737976B (zh) 一种基于多维度信息融合的机械设备健康评估方法
CN113505655B (zh) 面向数字孪生系统的轴承故障智能诊断方法
CN111273623A (zh) 基于Stacked LSTM的故障诊断方法
CN109409444B (zh) 一种基于先验概率的多元电网故障类型的判别方法
CN117421684B (zh) 基于数据挖掘和神经网络的异常数据监测与分析方法
CN117077044B (zh) 一种发电机用真空断路器故障判别方法及装置
CN112329350A (zh) 基于隔离的飞机铅酸蓄电池异常检测半监督方法
CN112478975A (zh) 基于音频特征的电梯门故障检测方法
CN112215279B (zh) 一种基于免疫rbf神经网络的电网故障诊断方法
CN113419519A (zh) 基于宽度学习的机电产品系统或设备实时故障诊断方法
CN114037001A (zh) 基于wgan-gp-c和度量学习的机械泵小样本故障诊断方法
CN115051864B (zh) 基于pca-mf-wnn的网络安全态势要素提取方法及系统
CN112615881A (zh) 一种基于区块链的数据流检测系统
CN113884807B (zh) 基于随机森林和多层架构聚类的配电网故障预测方法
CN113112188B (zh) 一种基于预筛选动态集成的电力调度监控数据异常检测方法
CN117768235A (zh) 一种基于物联网的实时流量监测警报系统
CN114003900A (zh) 变电站二次系统网络入侵检测方法、装置及系统
CN113608968A (zh) 一种基于密度距离综合决策的电力调度监控数据异常检测方法
CN116400168A (zh) 一种基于深度特征聚类的电网故障诊断方法及系统
CN111107082A (zh) 一种基于深度信念网络的免疫入侵检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant