CN113225346A - 一种基于机器学习的网络运维态势评估方法 - Google Patents

Abstract

本发明属于人工智能技术领域，具体的说是涉及一种基于机器学习的网络运维态势评估方法。本发明提供了一种适用于网络运维态势中属性复杂且关联性较弱等特点的径向基(Radial Basis Function，RBF)神经网络评估模型，该模型结合设计的网络流量态势评估分级标准与实际数据进行模型训练和评估。本发明的有益效果是：本发明通过机器学习中的RBF神经网络模型实现对网络态势的评估功能，有效地提高了网络运维中态势评估的准确性。

Description

一种基于机器学习的网络运维态势评估方法

技术领域

本发明属于人工智能技术领域，具体的说是涉及一种基于机器学习的网络运维态势评估方法。

背景技术

随着信息化进程的加快，网络深入到社会的方方面面，越来越多的领域开始使用网络化的管理，这无疑给网络管理带来许多挑战。一方面，网络结构更加复杂和庞大，出现了蜂窝网、无线传感网等庞杂的异构网络；另一方面，信息交互形式日益丰富，信息交互需求和频率激增，网络流量随之激增。这些都导致目前网络流量的运行状况难以直观描述。同时，网络运行的复杂化使得网络描述属性越来越多，其中很多属性的相互关联性是比较弱的，网络管理者难以通过十几组、甚至上百组数据准确快速地判断目前网络状态。如何快速评估当前网络运行状态、得到准确的报警信息成为目前网络管理者的痛点。

目前，网络运维态势感知常关注网络的流量状态，即网络流量态势感知，通过数据挖掘得到网络流量相关的要素，直观表现当前网络的流量运行状态，并且对可能出现的拥塞进行预测和提前预警，研究目标为监控与评估网络的流量运行状况。网络态势评估方法可以分为三种类型：基于数学模型的方法、基于知识推理的方法和基于模式识别的方法。基于数学模型的方法包括公式法、权重分析法和集对分析法等；基于知识推理的方法包括模糊推理、贝叶斯网络和D-S证据理论等；基于模式识别的方法包括灰关联分析、粗糙集理论和机器学习等。

网络流量态势感知的关键技术在于如何提取、分析多源数据，并根据已有数据对未来的发展趋势进行预测。在数据挖掘和大数据分析领域，机器学习拥有优秀的表现，并且已经在众多工程中被广泛证明其突出优势。

目前在态势评估中使用较多的是无监督的机器学习方法，用以帮助进行分类模型建立和模型匹配，其中比较典型的方法为聚类分析。有监督的机器学习方法是通过已有的训练数据样本(训练数据样本中包含数据与结果)去训练最优映射模型，再将数据输入到训练好的模型中，得到分类结果。相较于无监督的机器学习方法，有监督的机器学习方法需要耗费额外的成本给数据打上标签再进行模型的建立和匹配，但是其评估结果的准确率更高。故目前将有监督的机器学习应用于态势评估已经成为了一种新的研究趋势。

发明内容

针对上述问题，本发明提出了一种适用于网络运维态势中属性复杂且关联性较弱等特点的径向基(Radial Basis Function，RBF)神经网络评估模型，该模型结合设计的网络流量态势评估分级标准与实际数据进行模型训练和评估。

本发明的技术方案是：

一种基于机器学习的网络运维态势评估方法，包括以下步骤：

S1、数据预处理：将采集的网络态势指标数据进行数值标准化处理，将输入数据集的样本数量记为num，样本的态势指标数量记为num_in，全体特征向量表示为X_all：

求出X_all中的每列数据的均值X_mean＝[x₁(mean) x₂(mean) … x_in(mean)]与方差X_variance＝[x₁(variance) x₂(variance) … x_in(variance)]：

得到处理后的数据X′_all＝[X′(1),X′(2),...,X′(num)]为：

将得到的数据X′_all作为RBF神经网络的输入；

S2、建立RBF网络态势评估模型：确定神经网络中输入神经元个数为num_in，输出神经元个数为num_out以及隐含层神经元个数n；初始化隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b；C、σ、W、b的值均从均值为0，标准差为1的正态分布中随机选取；

S3、根据S1获取的数据X′_all，对S2建立的RBF网络态势评估模型进行训练，获得训练好的RBF网络态势评估模型，具体为：

S31、每次训练迭代过程均将全体训练样本输入RBF神经网络，计算训练样本与隐含层各中心的距离，计算隐含层各神经元的输出；

S32、计算输出层各神经元的输出，通过Softmax分类器对训练样本集合进行分类，计算分类结果的误差并作为损失函数；

S33、使用梯度下降算法反向调整隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b；

S34、判断训练次数是否达到设定上限，若训练次数未达到上限，返回S31；否则，结束训练并保存训练好的模型；

S4、利用S3训练得到的RBF模型，对网络态势指标数据进行评估。

本发明的有益效果是：本发明通过机器学习中的RBF神经网络模型实现对网络态势的评估功能，有效地提高了网络运维中态势评估的准确性。

附图说明

图1为基于RBF神经网络的网络态势评估算法流程；

图2为实施例中搭建的网络拓扑结构；

图3为基于RBF的网络态势评估模型训练过程中每迭代10次计算的训练集损失函数；

图4为基于RBF的网络态势评估模型训练过程中每迭代10次计算的训练集损失函数；

图5为基于BP的网络态势评估模型训练过程中每迭代10000次计算的训练集损失函数；

图6为基于BP的网络态势评估模型训练过程中每迭代10000次计算的训练集损失函数。

具体实施方式

下面结合附图和实施例，详细描述本发明的技术方案。

本发明的基于机器学习的网络运维态势评估方法主要使用RBF神经网络进行评估，RBF神经网络的训练流程如图1所示，评估方法的流程主要包括：

S1、定义网络运维态势的评估分级体系，将网络运维态势与评估结果建立联系。

S2、根据历史数据获得样本数据，并根据S1中定义的评估分级体系对原始样本数据进行评估分类，构建原始数据集。将原始数据集分为训练集与测试集，将训练集的样本数据用于RBF神经网络模型的训练，测试集的样本数据用于验证训练后RBF神经网络模型的有效性。

S3、对数据集进行预处理。记输入数据集的样本数量为num，样本的态势指标数量为num_in，全体特征向量表示为X_all＝[X(1),X(2),...,X(num)]^T，将X_all每列的所有数据均聚集在0附近且方差值为1，得到X′_all＝[X′(1),X′(2),...,X′(num)]^T。

S4、网络模型设计，对RBF神经网络模型进行设计，确定神经网络中输入神经元个数为num_in，输出神经元个数num_out为评估分级体系以及隐含层神经元个数n。BRF的原理主要是将输入层输入的向量X＝[x₁,x₂,...,x_{num_in}]映射到一个更高维的空间中，使得输入数据变得线性可分。因此，RBF神经网络的隐含层的神经元个数要大于输入向量的维数，即n需要大于num_in。将RBF隐含层表示为C＝[c₁,c₂,...,c_n]，经过RBF核函数的处理，隐含层各个神经元的输出可以表示为：

其中，σ为RBF核函数的宽度，RBF神经网络隐含层的输出到输出层结果Y＝[y₁,y₂,...,y_{num_out}]的过程为：

其中，y_j为输出层第j个神经元的输出，j＝1,2,...,num_out，w_i,j为隐含层第i个神经元到输出层第j个神经元的连接权重，b_j为输出层第j个神经元的偏置。在所有的训练样本训练完毕后，计算训练样本集的全局误差：

其中，Y_i为第i个训练样本的训练输出，

为第i个训练样本的期望输出，num为训练集全体样本的数目。

S5、RBF模型初始化，初始化隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b。C、σ、W、b的值均从均值为0，标准差为1的正态分布中随机选取。

S6、每次迭代过程均将全体训练样本输入RBF神经网络，计算训练样本与隐含层各中心C的距离，计算隐含层各神经元的输出，计算输出层各神经元的输出，通过Softmax分类器对训练样本集合进行分类，计算训练样本集的全局误差并根据梯度下降算法反向调整隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b。

S7、判断训练次数是否达到设定上限，若训练次数未达到上限，返回上一步。否则，结束训练并保存训练好的模型，本质上即为训练好的C、σ、W、b。并且通过观察训练过程中的损失函数(全局误差)的情况，可以适时提前终止训练过程。

S8、使用训练得到的RBF模型对测试集样本进行评估分类，验证模型的有效性。

实施例

为了检验网络态势的评估效果，本例基于Mininet平台构建了如图2所示的实验网络拓扑结构，并设计了可选择的不同态势评估等级的业务。包含2种模拟流量业务，业务1模拟文字信息交流，数据包长为200字节；业务2模拟媒体信息交流，数据包长为500字节。主机之间的流量业务关系如表1所示，每个模拟业务发送数据包的频率由评估等级决定，对应的评估等级越高，网络流量运行状态通常会越繁忙，发送数据包的频率越大。本例在Mininet平台中产生4个等级的流量业务，获得对应4个不同态势评估等级的数据集，将得到的数据集打上对应的标签，并将4个等级的有标签训练数据集整合为一个有标签数据集。最终得到的有标签数据2936组，对其进行均匀抽样，其中2202组作为训练数据集(75％)，734组作为测试数据集(25％)。

表1流量业务关系表

本例包括以下步骤：

S1、本例中基于网络拓扑，一共选用24个网络流量态势指标。对于基于RBF的网络态势评估模型，输入层神经元个数num_in设置为24，输出层神经元个数num_out设置为4，隐含层神经元个数n需要大于num_in，本例中设置为40。RBF训练过程中每次迭代使用所有训练样本进行训练，使用全局误差作为损失函数：

其中，

表示第k个训练样本的第i个输出分量的真实值，y_i(k)为第k个训练样本的第i个输出分量的训练输出值，num为训练集样本数量。根据该损失函数使用梯度下降算法，并设置梯度下降算法学习率为0.05。

S2、初始化RBF网络中隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b。C、σ、W、b的值均从均值为0，标准差为1的正态分布中随机选取。

S3、RBF训练过程中每迭代10次后计算训练集的损失函数结果如图3所示。损失函数在迭代250次之前快速下降，并在750次后逐渐平缓，在1500次左右达到收敛，此后维持在0.003左右。

S4、训练过程中每迭代10次后计算模型评估测试集的准确率结果如图4所示。基于RBF的网络态势评估模型的测试准确率在迭代200次左右时达到收敛，最高能够达到99.59％。即对于该数据集，基于RBF的网络流量态势评估算法能够正确分类734组数据中的731组。

S5、本例还设计了基于BP神经网络的网络态势评估模型进行对比。设置BP神经网络输入层神经元个数为24，输出层神经元个数为4，选用单层隐含层，隐含层神经元个数选为9。使用小批量梯度下降算法加快训练过程中每次迭代的速度，设置小批量训练样本的规模大小为64，梯度下降算法的学习率为0.05。训练过程中每迭代10000次计算全局误差记为损失函数，并计算模型评估测试集的准确率。结果图分别如图5、图6所示，损失函数在迭代50000次之前快速下降，并在此后逐渐平缓，在迭代150000次左右时达到收敛，维持在0.049左右；准确率在迭代100000次左右时便达到收敛，最高达到97.96％。

基于BP的网络流量态势评估模型单次迭代速度更快，但模型达到收敛所需要的迭代次数也更高，其每迭代10000次用时约为3.6秒，而基于RBF的网络流量态势评估算法每迭代10次用时约为8秒。此外，在设定梯度下降算法的学习率为0.05的条件下，基于BP的网络流量态势评估模型能够更快达到收敛。然而，在训练数据集的损失函数以及测试数据集的评估准确率方面，基于RBF的网络流量态势评估模型均明显优于BP。而在实际应用中，网络态势评估模型的训练可以离线进行，对于实时性的要求并不是很高，但对于网络流量态势的评估结果的准确性要求较为严苛，网络流量态势的错误评估可能会漏检网络拥塞等故障。因此需采用准确率更高的基于RBF的网络流量态势评估模型进行评估。

Claims (1)

1.一种基于机器学习的网络运维态势评估方法，其特征在于，包括以下步骤：

S1、数据预处理：将采集的网络态势指标数据进行数值标准化处理，将输入数据集的样本数量记为num，样本的态势指标数量记为num_in，全体特征向量表示为X_all：

求出X_all中的每列数据的均值X_mean＝[x₁(mean) x₂(mean) … x_in(mean)]与方差X_variance＝[x₁(variance) x₂(variance) … x_in(variance)]：

得到处理后的数据X′_all＝[X′(1),X′(2),...,X′(num)]为：

将得到的数据X′_all作为RBF神经网络的输入；

S2、建立RBF网络态势评估模型：确定神经网络中输入神经元个数为num_in，输出神经元个数为num_out以及隐含层神经元个数n；初始化隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b；C、σ、W、b的值均从均值为0，标准差为1的正态分布中随机选取；

S3、根据S1获取的数据X′_all，对S2建立的RBF网络态势评估模型进行训练，获得训练好的RBF网络态势评估模型，具体为：

S31、每次训练迭代过程均将全体训练样本输入RBF神经网络，计算训练样本与隐含层各中心的距离，计算隐含层各神经元的输出；

S32、计算输出层各神经元的输出，通过Softmax分类器对训练样本集合进行分类，计算分类结果的误差并作为损失函数；

S33、使用梯度下降算法反向调整隐含层的中心C与扩展常数σ、隐含层与输出层之间的连接权重W与偏置b；

S34、判断训练次数是否达到设定上限，若训练次数未达到上限，返回S31；否则，结束训练并保存训练好的模型；

S4、利用S3训练得到的RBF模型，对网络态势指标数据进行评估。

Images