CN114844767A - 一种基于对抗生成网络的告警数据生成方法 - Google Patents

Abstract

本发明涉及网络告警领域，具体涉及一种基于对抗生成网络的告警数据生成方法。首先，预处理输入数据，包括去除无用信息、编码、填充等操作。然后用交叉熵损失函数预训练生成器及判别器。在对抗训练阶段，引入强化学习方法及结合Bandit算法的上限置信区间搜索算法，完成对离散数据训练过程的参数更新传递及不完整序列的模拟。在经过多轮训练过后，最终，使用训练完成的生成器生成一批告警数据。本发明针对判别器难以分辨不完整序列是否为真实数据的问题，引入结合Bandit算法的上限置信区间搜索算法，将不完整序列模拟为完整的告警数据，从而可以在生成器生成数据的任意时刻都可以通过判别器得到奖励值。

Description

一种基于对抗生成网络的告警数据生成方法

技术领域

本发明涉及网络告警领域，具体涉及一种基于对抗生成网络的告警数据生成方法。

背景技术

近年来，网络通信的发展越来越迅速，网络的结构也越来越复杂，但是网络故障的诊断和处理问题也越来越复杂。大多数故障诊断算法需要学习故障数据的特征来重构故障诊断模型，因此它们依赖于网络故障告警数据集来提供丰富的数据。

但真实网络环境中的告警数据具有采集困难，格式较为混乱等特点，采集足够告警数据作为故障诊断算法的学习依据成为了一件有挑战性的事。采用数据增强算法可以解决这一问题。

告警数据的生成可以看作是特殊情况下的文本生成，相较于传统的文本生成，告警数据生成具有格式要求更严格，内容范围更小等特点。传统的文本生成模型，如带有长短期记忆单元的循环神经网络，存在暴露偏差问题，可以通过使用生成对抗网络来避免这个问题，但传统的生成对抗网络模型在处理文本信息时存在着传递梯度更新困难、不完全序列难以区分等问题，较难适应告警数据生成的场景。

为了解现有技术的发展状况，对已有的专利和文献进行了检索、比较和分析，筛选出如下与本发明相关度比较高的技术信息：

专利方案1：CN110414604A感知对抗生成网络驱动的锂电池故障数据生成方法，涉及感知对抗生成网络驱动的锂电池故障数据生成方法，属于电池技术领域。在本方法中以外部电气参数表示的实测标注故障小样本数据为对象，考虑随机变量注入小样本故障数据的感知残差效应。以感知生成网络为对象，构建适应故障小样本数据分布的深度神经网络结构，及其感知损失函数设计策略。以对抗鉴别网络为对象，构建反映真实故障数据分布的网络结构，及其对抗损失函数构建范式，理解故障数据生成模型中真实分布与感知分布的误差传播关系及其可能的博弈模式，生成与真实故障锂电池分布接近的数据。该方法解决了目前有效可用的动力锂电池故障数据稀缺问题，提高了神经网络的训练效果，提高锂电池故障诊断模型的泛化能力弱与表达能力。缺陷：该方案旨在引入随机变量注入小样本故障数据的感知残差效应，以感知生成网络为对象，构建适应故障小样本数据分布的深度神经网络结构，从而生成与样本类似的故障数据。但在使用对抗生成网络生成故障数据过程中，未能考虑到故障数据离散性的特点并作针对性的处理，可能会导致学习不充分、生成数据效果不够好的问题。

专利方案2：CN112835709A基于生成对抗网络的云负载时序数据生成方法、系统及介质，公开了一种基于生成对抗网络的云负载时序数据生成方法、系统及介质，包括下述步骤：获取真实云环境下的负载时序数据；对获取的负载数据进行预处理；根据数据的复杂度，构建生成对抗网络，所述对抗生成网络包括生成器和判别器两部分，使用预处理后的负载时序数据，对构建的生成对抗网络进行训练，取生成对抗网络中的生成网络，从高斯分布中随机采样作为输入，生成仿真数据，作为真实数据的替代或补充。通过本方法提出的生成对抗网络，可以稳定，高效地完成训练，拟合真实数据的分布。通过从拟合的近似分布中采样，可以生成用于替代或补充真实数据，用于实际算法研究的仿真数据，从而推动云计算中心能耗，调度，资源优化算法的发展。缺陷：该方案构建生成对抗网络并进行训练，取生成对抗网络中的生成网络，从高斯分布中随机采样作为输入，生成仿真数据。同样，该方案未能考虑到故障数据离散性的特点。可能会导致学习不充分、生成数据效果不够好的问题。

常见的研究是通过数据增强方法以真实数据作为训练集，生成更多的数据分布类似于真实数据的生成数据，并用于根源告警诊断算法模型的训练数据。由于告警数据生成与文本生成任务较为类似，一些常用于文本生成任务的模型可以被应用于告警数据生成，例如，使用长短期记忆(LSTM)单元的循环神经网络(RNN)。但这一模型存在暴露偏差问题，导致数据生成效果较差。使用对抗生成网络(GAN) 生成数据可以解决这一问题，但传统的GAN较难处理离散的文本数据。因此，本发明针对这些问题，引入了强化学习方法，解决了离散数据在对抗生成网络中难以训练的问题；并且，使用上限置信区间算法，使得对抗生成网络在训练过程中，判别器可以随时评估生成文本的质量。

发明内容

本发明针对真实网络环境中告警数据较为复杂且采集困难的问题，提出一种基于对抗生成网络的告警数据生成方法。

本发明采用的技术方案为：

一种基于对抗生成网络的告警数据生成方法，包括以下过程：

S1、对输入的告警数据进行独热编码，将一段时间内的告警数据合并为一条含多条告警信息的数据，并进行填充，形成多条等长的告警数据；

S2、利用步骤S1处理后的告警数据对生成式对抗网络中的生成器及判别器分别进行预训练；并使用强化学习方法中的策略梯度方法训练生成器,具体为：生成器在生成数据的过程中，对于每一步所生成的不完整数据序列以数学模拟的方法生成完整序列，并利用判别器计算对应的奖励值，根据奖励值训练生成器；

S3、使用训练完成的生成器生成告警数据，并根据步骤S1中独热编码得到的解码器，将数字编码格式的告警数据转换为自然语言形式的告警数据。

进一步的，步骤S1具体包括：

S11、对输入的告警数据进行独热编码，组成告警数据的所有告警信息内容对应独特的编码，并将文本信息转换为离散数字信息；

S12、根据告警数据中的时间信息，将设定时间段内的告警数据合并为一条含多条告警信息的数据，形成多条告警数据；

S13、将形成的多条告警数据进行填充处理，处理为等长的数据。

进一步的，步骤S2中训练生成器及判别器时，生成器以下式为目标函数进行预训练：

其中，N为输入告警数据数量，y_ij是标签，如果类别是j，则y_ij＝1，否则y_ij＝0， p_ij为样本是j类的概率；预训练过程中以最小化目标函数为目标进行训练；

判别器以下式为目标函数进行预训练：

其中，N为输入告警数据数量，y_ij是标签，如果类别是j，则y_ij＝1，否则y_ij＝0， p_ij为样本是j类的概率；预训练过程中以最小化目标函数为目标进行训练。

进一步的，步骤S2中采用强化学习中的策略梯度方法训练生成器时，生成器的目标函数为：

其中，G_θ为生成器，θ为GRU生成器的参数，D_φ为判别器，φ为CNN判别器的参数，γ是一个告警内容的集合，每条告警数据都由γ中的元素所组成，S₀为当前序列，G_θ(y₁|S₀)则代表了生成器认为在S₀状态下，下一个生成的告警内容为y₁的概率。

进一步的，步骤S2中，使用强化学习方法中的策略梯度方法训练生成器，具体过程包括：

生成器是一个门控循环单元GRU组成的循环神经网络，生成器逐步生成一个长度为T的告警数据，得到共T个数据子序列；

对于非完整的序列Y_1:t，使用上限置信区间搜索算法，将非完整序列模拟为完整的数据；具体为：

首先在模拟的过程中，根据告警数据的信息和下一步可能产生的告警数据内容对应概率建立一棵树，在仿真中，最大化B值作为选择子节点的基准；B值定义如下：

其中，B_i,j表示在i节点处选择j分支的奖励，n表示总选择次数，n_j表示j分支的选择次数，X_j表示选择j分支的平均奖励值；

由此模拟，通过不完整序列得到完整故障数据：

将通过模拟得到的完整告警数据输入判别器，判别器得到所有生成告警数据中间得到的子序列及完整序列对应的奖励值：

根据得到的奖励值更新梯度，训练生成器。

本发明相比现有技术具有如下优点：

(1)针对其他算法模型可能具有的暴露偏差问题，引入对抗生成网络模型用以生成故障数据。并且结合强化学习中的策略梯度方法，解决对抗生成网络难以处理离散数据的问题，根据生成器生成数据得到奖励值，并由奖励值更新生成器的参数；

(2)针对判别器难以分辨不完整序列是否为真实数据的问题，引入结合 Bandit算法的上限置信区间搜索算法，将不完整序列模拟为完整的告警数据，从而可以在生成器生成数据的任意时刻都可以通过判别器得到奖励值。

附图说明

图1为本发明实施例的方法流程图。

图2为本发明实施例的GRU模型的结构图。

具体实施方式

下面结合附图对本发明作进一步解释说明。

本发明的实例中，使用数据采集于真实的网络环境之中。每一条数据中可能含有多条在同一时间段内产生的告警数据，它们具体有一定的关联关系，由一条告警引发其他的告警。如图1所示，具体分析步骤如下：

S1、对输入的告警数据进行独热编码，将一段时间内的告警数据合并为一条含多条告警信息的数据，并进行填充，形成多条等长的告警数据；S1具体包括：

S11、对输入的告警数据进行独热编码，组成告警数据的所有告警信息内容对应独特的编码，并将文本信息转换为离散数字信息；

S12、根据告警数据中的时间信息，将设定时间段内的告警数据合并为一条含多条告警信息的数据，形成多条告警数据；

S13、将形成的多条告警数据进行填充处理，处理为等长的数据，长度较短的数据会进行填0处理。原始告警数据如表1所示：

表1原始告警信息经过编码处理后的告警数据如表2所示：

表2独热编码处理后的告警数据

将同一时间段内发生的故障合并到一条数据作为一条故障数据集，然后将所有故障数据集作填充处理使所有数据长度相同，处理后的数据如表3所示

ID	data
		1	[32,3,52,33,2,5,1]
2	[12,2,35,72,3,6,39,4,26,1]
		3	[73,3,9,24,3,10,7,4,10,20,3,6,1]
4	[61,2,8,74,3,21,27,4,21,24,2,10,1]

表3合并后的告警数据

S2、利用步骤S1处理后的告警数据对生成式对抗网络中的生成器及判别器分别进行预训练；并使用强化学习方法中的策略梯度方法训练生成器,具体为：生成器在生成数据的过程中，对于每一步所生成的不完整数据序列以数学模拟的方法生成完整序列，并利用判别器计算对应的奖励值，根据奖励值训练生成器；

为了在对抗训练中，生成器及判别器可以更快地收敛，首先需要对生成器及判别器进行预训练，而不是随机赋予参数。

生成器以下式为目标函数进行预训练：

其中，N为输入告警数据数量，y_ij是标签，如果类别是j，则y_ij＝1，否则y_ij＝0， p_ij为样本是j类的概率。预训练过程中以最小化目标函数为目标进行训练；

判别器以下式为目标函数进行预训练：

其中，N为输入告警数据数量，y_ij是标签，如果类别是j，则y_ij＝1，否则y_ij＝0， p_ij为样本是j类的概率。预训练过程中以最小化目标函数为目标进行训练；

采用强化学习中的策略梯度方法训练生成器时，生成器的目标函数为：

其中，G_θ为生成器，θ为GRU生成器的参数，D_φ为判别器，φ为CNN判别器的参数，γ是一个告警内容的集合，每条告警数据都由γ中的元素所组成，S₀为当前序列，G_θ(y₁|S₀)则代表了生成器认为在S₀状态下，下一个生成的告警内容为y₁的概率。

使用强化学习方法中的策略梯度方法训练生成器，具体过程包括：

生成器是一个门控循环单元GRU组成的循环神经网络，生成器逐步生成一个长度为T的告警数据，得到共T个数据子序列；GRU模型结构如图2所示，对于某一时刻的输入x_t＝{y₁,y₂,...,y_t-1}，根据隐藏层信息h_t-1得到下一时刻的数据输出 y_t以及新的隐藏层信息h_t。图中×与+均为矩阵运算符号，σ与tanh分别代表 sigmoid与tanh激活函数，r_t、z_t、

为运算步骤中间变量。

由于判别器仅能对完整的数据进行有效的判别，判别其为真实数据或生成数据，从而得到奖励值，进而训练生成器。对于非完整的序列Y_1:t，使用上限置信区间搜索算法，将非完整序列模拟为完整的数据。

首先在模拟的过程中，根据告警数据的信息和下一步可能产生的告警数据内容对应概率建立一棵树，在仿真中，最大化B值作为选择子节点的基准；B值定义如下：

其中，B_i,j表示在i节点处选择j分支的奖励，n表示总选择次数，n_j表示j分支的选择次数，X_j表示选择j分支的平均奖励值；

由此模拟，通过不完整序列得到完整故障数据：

将通过模拟得到的完整告警数据输入判别器，判别器得到所有生成告警数据中间得到的子序列及完整序列对应的奖励值：

根据得到的奖励值更新梯度，训练生成器。将当前生成器生成一批数据并与真实数据同时作为输入训练判别器，判别器的目标函数与预训练时相同。

S3、使用训练完成的生成器生成告警数据，并根据步骤S1中独热编码得到的解码器，将数字编码格式的告警数据转换为自然语言形式的告警数据。生成的数据如表4所示：

表4对抗式生成网络生成的告警数据。

Claims (5)

1.一种基于对抗生成网络的告警数据生成方法，其特征在于，包括以下过程：

S1、对输入的告警数据进行独热编码，将一段时间内的告警数据合并为一条含多条告警信息的数据，并进行填充，形成多条等长的告警数据；

S2、利用步骤S1处理后的告警数据对生成式对抗网络中的生成器及判别器分别进行预训练；并使用强化学习方法中的策略梯度方法训练生成器，具体为：生成器在生成数据的过程中，对于每一步所生成的不完整数据序列以数学模拟的方法生成完整序列，并利用判别器计算对应的奖励值，根据奖励值训练生成器；

S3、使用训练完成的生成器生成告警数据，并根据步骤S1中独热编码得到的解码器，将数字编码格式的告警数据转换为自然语言形式的告警数据。

2.根据权利要求1所述的基于对抗生成网络的告警数据生成方法，其特征在于，步骤S1具体包括：

S11、对输入的告警数据进行独热编码，组成告警数据的所有告警信息内容对应独特的编码，并将文本信息转换为离散数字信息；

S12、根据告警数据中的时间信息，将设定时间段内的告警数据合并为一条含多条告警信息的数据，形成多条告警数据；

S13、将形成的多条告警数据进行填充处理，处理为等长的数据。

3.根据权利要求1所述的基于对抗生成网络的告警数据生成方法，其特征在于，步骤S2中训练生成器及判别器时，生成器以下式为目标函数进行预训练：

其中，N为输入告警数据数量，y_ij是标签，如果类别是j，则y_ij＝1，否则y_ij＝0，p_ij为样本是j类的概率；预训练过程中以最小化目标函数为目标进行训练；

判别器以下式为目标函数进行预训练：

其中，N为输入告警数据数量，y_ij是标签，如果类别是j，则y_ij＝1，否则y_ij＝0，p_ij为样本是j类的概率；预训练过程中以最小化目标函数为目标进行训练。

4.根据权利要求1所述的基于对抗生成网络的告警数据生成方法，其特征在于，步骤S2中采用强化学习中的策略梯度方法训练生成器时，生成器的目标函数为：

其中，G_θ为生成器，θ为GRU生成器的参数，D_φ为判别器，φ为CNN判别器的参数，γ是一个告警内容的集合，每条告警数据都由γ中的元素所组成，S₀为当前序列，G_θ(y₁|S₀)则代表了生成器认为在S₀状态下，下一个生成的告警内容为y₁的概率。

5.根据权利要求4所述的基于对抗生成网络的告警数据生成方法，其特征在于，步骤S2中，使用强化学习方法中的策略梯度方法训练生成器，具体过程包括：

生成器是一个门控循环单元GRU组成的循环神经网络，生成器逐步生成一个长度为T的告警数据，得到共T个数据子序列；

对于非完整的序列Y_1：t，使用上限置信区间搜索算法，将非完整序列模拟为完整的数据；具体为：

首先在模拟的过程中，根据告警数据的信息和下一步可能产生的告警数据内容对应概率建立一棵树，在仿真中，最大化B值作为选择子节点的基准；B值定义如下：

其中，B_i，j表示在i节点处选择j分支的奖励，n表示总选择次数，n_j表示j分支的选择次数，X_j表示选择j分支的平均奖励值；

由此模拟，通过不完整序列得到完整故障数据：

将通过模拟得到的完整告警数据输入判别器，判别器得到所有生成告警数据中间得到的子序列及完整序列对应的奖励值：

根据得到的奖励值更新梯度，训练生成器。

Images