CN111130909B - 基于自适应储备池esn的网络流量预测方法 - Google Patents

Abstract

本发明提出基于自适应储备池回声状态网络（Echo State Network,ESN）的网络流量预测方法，首先对网络流量数据进行连续采集；同时将ESN与生成对抗网络（Generative Adversarial Net,GAN）结合，构造基于自适应储备池ESN的网络流量预测模型；然后提出对抗训练算法，在训练中根据网络流量特征自动调整ESN储备池。最终使用训练好的基于自适应储备池ESN的网络流量预测模型进行网络流量预测。该方法可以自动产生适应网络流量特征的储备池，可以提高网络流量预测结果的准确率和稳定性，可以在非线性时间序列预测中取得更好的预测效果。

Description

基于自适应储备池ESN的网络流量预测方法

技术领域

本发明属于计算机应用技术领域，具体涉及一种基于自适应储备池ESN的网络流量预测方法。

背景技术

近年来，全球网络规模不断扩大，新兴网络技术层出不穷，互联网业务日益壮大。随着互联网的飞速发展，许多危机和挑战也逐渐显露。网络流量预测可以得到网络流量的变化趋势，从而促进网络拥塞控制，帮助网络资源分配，加强网络攻击防范，利于网络故障管理。因此，网络流量预测是日前网络研究的热点工作。

网络流量是具有非线性的时间序列。由于网络流量的采样时段、间隔、单位等不同，不同网络流量具有不同特征。基于神经网络的预测模型具有良好的非线性映射能力，目前已有许多神经网络模型在网络流量预测中取得较好效果。但传统的神经网络预测模型训练时容易出现过拟合、收敛慢等问题。回声状态网络(Echo State Network，ESN)具有强大的非线性处理能力和短期记忆能力，在非线性时间序列预测中的表现优于传统神经网络，且其训练过程简单，已被应用于网络流量预测领域。然而，不同网络流量具有不同特征，现已提出的诸多ESN大多具有单一固定的储备池，无法适应不同网络流量的特征。

发明内容

针对上述背景技术中提出的问题，本发明提出一种基于自适应储备池ESN的网络流量预测方法。该方法能够自动学习网络流量的特征，以提高预测性能为目标，自适应产生合适的储备池。本发明可以提高网络流量预测的准确率，可以在非线性时间序列预测中取得更好的预测效果。

本发明所述基于自适应储备池ESN的网络流量预测方法，包括如下步骤：

步骤1：采集网络流量数据；

步骤2：构造基于自适应储备池ESN的网络流量预测模型；

步骤3：使用采集到的网络流量数据训练步骤2构造的基于自适应储备池ESN的网络流量预测模型；

步骤4：使用步骤3中训练好的基于自适应储备池ESN的网络流量预测模型预测未来时刻网络流量。

进一步地，所述步骤1采集网络流量数据中，在规定的采样时间内，采集网络流量数据集合Tr＝{tr(1)，tr(2)…，tr(t)…，tr(T)}，其中tr(t)为时刻t的网络流量数据，T为采集的数据总数；

根据Tr来构造训练样本集：

(U_train，Y_train)＝{(u_train(t)，y_train(t+1))}，t＝K，K+1，…，T-1

其中u_train(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，y_train(t+1)＝tr(t+1)，K为输入窗口大小；

将(U_train，Y_train)划分为两部分，分别表示为：

(U_out，Y_out)＝{(u_out(t)，y_out(t+1))}，t＝K，K+1，…，T₁；

(U_inter，Y_inter)＝(u_inter(t)，y_inter(t+1))，t＝T₁+1，T₁+2，…，T-1。

进一步地，所述步骤2中，构造基于自适应储备池ESN的网络流量预测模型具体步骤如下：

步骤2-1：以ESN作为生成模型，以FNN作为判别模型，构造基于自适应储备池ESN的网络流量预测模型；ESN用于网络流量预测，ESN的输出结果为未来时刻网络流量；FNN用于网络流量判别，FNN的输出结果表示输入数据为真实网络流量数据的概率；

步骤2-2：确定模型的输入和输出；模型的输入向量为网络流量历史数据u(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，K为输入窗口大小；输出向量为预测数据y(t)＝tr(t+1)；

步骤2-3：设置ESN和FNN的模型参数。

进一步地，步骤2-3中，设置ESN的模型参数，具体为，ESN中包含输入层、储备池和输出层，输入层和输出层内部的神经元之间没有连接，储备池中的神经元稀疏连接；设置ESN的输入层和储备池神经元个数分别为L和N；设置储备池为环形反馈储备池，储备池中神经元以环形相连，相邻两个神经元之间具有反馈连接；设置输入连接矩阵和储备池连接矩阵的非零元素绝对值为r；构造非零元素绝对值为r，大小为L×N的输入连接矩阵Wⁱⁿ；根据环形反馈储备池结构，构造非零元素绝对值为权值r，大小为N×N的初始储备池连接矩阵W；使用tanh(·)作为储备池内部激励函数fⁱⁿ，使用恒等函数作为输出激励函数f^out；

进一步地，步骤2-3中，设置FNN的模型参数，具体为，FNN中包含输入层、隐藏层和输出层，每层内部的神经元之间没有连接，输入层和隐藏层以及输出层和隐藏层之间全连接；设置FNN的输入层和隐藏层神经元个数分别为P和Q；构造大小为P×Q的输入层和隐藏层间连接矩阵W^ih；构造大小为Q×S的隐藏层和输出层间连接矩阵W^ho；使用tanh(·)作为隐藏层激励函数f^ih，使用Sigmoid(·)作为输出层激励函数f^ho。

进一步地，所述步骤3中，训练基于自适应储备池ESN的网络流量预测模型，交替训练判别模型FNN和生成模型ESN，其中，ESN的训练又包括W和W^out两部分，W通过对抗训练算法训练，W^out通过伪逆的方法训练；训练基于自适应储备池ESN的网络流量预测模型具体步骤如下：

步骤3-1：训练ESN的W^out；把u_out(t)带入ESN中，通过如下公式计算ESN储备池内部神经元激励状态x_out(t)：

x_out(t+1)＝fⁱⁿ(W^tnu_out(t+1)+Wx_out(t))；

计算(u_out(t)，x_out(t))，直到时刻T₁；通过如下公式计算输出向量

将t+1时刻的实际输出

记为

将t+1时刻的期望输出y_out(t+1)记为y_out；收集对应期望输出y_out，用实际输出

逼近期望输出，通过伪逆的方法计算W^out；

步骤3-2：训练FNN；把u_inter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态x_inter(t)：

x_inter(t+1)＝fⁱⁿ(Wⁱⁿu_inter(t+1)+Wx_inter(t))；

计算(u_inter(t)，x_inter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据

将t时刻的输入u_inter(t)记为u_inter，将t+1时刻的实际输出

记为

将t+1时刻的期望输出y_inter(t+1)记为y_inter；收集对应期望输出y_inter，将y_inter、

一同输入进FNN；通过如下公式计算隐藏层向量a^hid：

a^hid＝f^ih(W^ih·aⁱⁿ)；

其中

通过如下公式计算判别结果D^out：

D^out(aⁱⁿ)＝f^ho(W^ho·a^hid)；

FNN的损失函数L_D为：

其中，

是FNN的对抗损失：

其中，Loss(·)是平方损失函数，D^out(y_inter)是y_inter对应的判别结果，

是

对应的判别结果；保持ESN中的连接矩阵固定，通过如下公式在FNN上执行随机梯度下降(Stochastic Gradient Descent，SGD)来训练FNN中参数：

其中，

为偏导数符号，α_D是FNN的学习率；

步骤3-3：训练ESN；把u_inter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态x_inter(t)：

x_inter(t+1)＝fⁱⁿ(Wⁱⁿu_inter(t+1)+Wx_inter(t))；

计算(u_inter(t)，x_inter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据

将t时刻的输入u_inter(t)记为u_inter，将t+1时刻的实际输出

记为

将

输入进FNN，通过如下公式计算隐藏层向量a^hid：

通过如下公式计算判别结果D^out：

ESN的损失函数L_G为：

其中，

是ESN的对抗性损失：

保持FNN中的连接矩阵、ESN的Wⁱⁿ和W^out固定，通过如下公式在ESN和FNN上执行SGD来训练W：

其中，

为偏导数符号，α_G是ESN的学习率；训练ESN的W^out，具体方法如步骤3-1中所述；

步骤3-4：重复步骤3-2、步骤3-3中所述内容，直到训练误差小于θ为止，θ是设定的阈值。

进一步地，所述步骤4中，采集获得新的网络流量数据u_pred(t′)＝Tr_K(t′)；使用训练完成的基于自适应储备池ESN的网络流量预测模型预测未来网络流量数据，输出下一时刻的网络流量数据y_pred(t′+1)。

本发明达到的有益效果为：首先对网络流量数据进行连续采集，同时将ESN与GAN结合，构造基于自适应储备池ESN的网络流量预测模型。然后提出对抗训练算法，在训练中根据网络流量特征自动调整ESN储备池。最终使用训练好的基于自适应储备池ESN的网络流量预测模型进行网络流量预测。该方法可以自动产生适应网络流量特征的储备池，可以提高网络流量预测结果的准确率和稳定性，可以在非线性时间序列预测中取得更好的预测效果。

附图说明

图1是本发明实施例中所述预测方法的步骤流程示意图。

图2是本发明实施例中网络流量预测模型示意图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明提出了基于自适应储备池回声状态网络(Echo State Network，ESN)的网络流量预测方法，参照图1，具体步骤如下：

步骤1：采集网络流量数据。在规定的采样时间内，采集网络流量数据集合Tr＝{tr(1)，tr(2)…，tr(t)…，tr(T)}，其中tr(t)为时刻t的网络流量数据，T为采集的数据总数。根据Tr来构造训练样本集(U_train，Y_train)＝{(u_train(t)，y_train(t+1))}，t＝K，K+1，…，T-1，其中u_train(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，y_train(t+1)＝tr(t+1)，K为输入窗口大小。将(U_train，Y_train)划分为两部分，分别表示为：(U_out，Y_out)＝{(u_out(t)，y_out(t+1))}，t＝K，K+1，…，T₁，(U_inter，Y_inter)＝(u_inter(t)，y_inter(t+1))，t＝T₁+1，T₁+2，…，T-1。

步骤2：构造基于自适应储备池ESN的网络流量预测模型。具体步骤如下：

步骤2-1：以ESN作为生成模型，以FNN作为判别模型，构造基于自适应储备池ESN的网络流量预测模型；ESN用于网络流量预测，ESN的输出结果为未来时刻网络流量；FNN用于网络流量判别，FNN的输出结果表示输入数据为真实网络流量数据的概率。

步骤2-2：确定模型的输入和输出；模型的输入向量为网络流量历史数据u(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，K为输入窗口大小；输出向量为预测数据y(t)＝tr(t+1)。

步骤2-3：设置模型参数，参照图2。

ESN中包含输入层、储备池和输出层，输入层和输出层内部的神经元之间没有连接，储备池中的神经元稀疏连接；设置ESN的输入层和储备池神经元个数分别为L和N；设置储备池为环形反馈储备池，储备池中神经元以环形相连，相邻两个神经元之间具有反馈连接；设置输入连接矩阵和储备池连接矩阵的非零元素绝对值为r；构造非零元素绝对值为r，大小为L×N的输入连接矩阵Wⁱⁿ；根据环形反馈储备池结构，构造非零元素绝对值为权值r，大小为N×N的初始储备池连接矩阵W；使用tanh(·)作为储备池内部激励函数fⁱⁿ，使用恒等函数作为输出激励函数f^out。

FNN中包含输入层、隐藏层和输出层，每层内部的神经元之间没有连接，相邻两层之间全连接；设置FNN的输入层和隐藏层神经元个数分别为P和Q；构造大小为P×Q的输入层和隐藏层间连接矩阵W^ih；构造大小为Q×S的隐藏层和输出层间连接矩阵W^ho；使用tanh(·)作为隐藏层激励函数f^ih，使用Sigmoid(·)作为输出层激励函数f^ho。

步骤3：使用采集到的网络流量数据训练步骤2构造的基于自适应储备池ESN的网络流量预测模型。交替训练判别模型FNN和生成模型ESN，其中，ESN的训练又包括W和W^out两部分，W通过对抗训练算法训练，W^out通过伪逆的方法训练；训练基于自适应储备池ESN的网络流量预测模型具体步骤如下：

步骤3-1：训练ESN的W^out；把u_out(t)带入ESN中，通过如下公式计算ESN储备池内部神经元激励状态x_out(t)：

x_out(t+1)＝fⁱⁿ(Wⁱⁿu_out(t+1)+Wx_out(t))。

计算(u_out(t)，x_out(t))，直到时刻T₁；通过如下公式计算输出向量

将t+1时刻的实际输出

记为

将t+1时刻的期望输出y_out(t+1)记为y_out；收集对应期望输出y_out，用实际输出

逼近期望输出，通过伪逆的方法计算W^out。

步骤3-2：训练FNN；把u_inter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态x_inter(t)：

x_inter(t+1)＝fⁱⁿ(Wⁱⁿu_inter(t+1)+Wx_inter(t))。

计算(u_inter(t)，x_inter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据

将t时刻的输入u_inter(t)记为u_inter，将t+1时刻的实际输出

记为

将t+1时刻的期望输出y_inter(t+1)记为y_inter；收集对应期望输出y_inter，将y_inter、

一同输入进FNN；通过如下公式计算隐藏层向量a^hid：

a^hid＝f^ih(W^ih·aⁱⁿ)；

其中

通过如下公式计算判别结果D^out：

D^out(aⁱⁿ)＝f^ho(W^ho·a^hid)。

FNN的损失函数L_D为：

其中，

是FNN的对抗损失：

其中，Loss(·)是平方损失函数，D^out(y_inter)是y_inter对应的判别结果，

是

对应的判别结果；保持ESN中的连接矩阵固定，通过如下公式在FNN上执行随机梯度下降(Stochastic Gradient Descent，SGD)来训练FNN中参数：

其中，

为偏导数符号，α_D是FNN的学习率。

步骤3-3：训练ESN；把u_inter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态x_inter(t)：

x_inter(t+1)＝fⁱⁿ(Wⁱⁿu_inter(t+1)+Wx_inter(t))。

计算(u_inter(t)，x_inter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据

将t时刻的输入u_inter(t)记为u_inter，将t+1时刻的实际输出

记为

将

输入进FNN，通过如下公式计算隐藏层向量a^hid：

通过如下公式计算判别结果D^out：

ESN的损失函数L_G为：

其中，

是ESN的对抗性损失：

保持FNN中的连接矩阵、ESN的Wⁱⁿ和W^out固定，通过如下公式在ESN和FNN上执行SGD来训练W：

其中，

为偏导数符号，α_G是ESN的学习率；训练ESN的W^out，具体方法如步骤3-1中所述；

步骤3-4：重复步骤3-2、步骤3-3中所述内容，直到训练误差小于θ为止，θ是设定的阈值。

步骤4：使用步骤3中训练好的基于自适应储备池ESN的网络流量预测模型预测未来时刻网络流量。采集获得新的网络流量数据u_pred(t′)＝Tr_K(t′)。使用训练完成的基于自适应储备池ESN的网络流量预测模型预测未来网络流量数据，输出下一时刻的网络流量数据y_pred(t′+1)。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (2)

1.基于自适应储备池ESN的网络流量预测方法，其特征在于：所述方法包括如下步骤：

步骤1：采集网络流量数据；

所述步骤1采集网络流量数据中，在规定的采样时间内，采集网络流量数据集合Tr＝{tr(1)，tr(2)…，tr(t)…，tr(T)}，其中tr(t)为时刻t的网络流量数据，T为采集的数据总数；

根据Tr来构造训练样本集：

(U_train，Y_train)＝{(u_train(t)，y_train(t+1))}，t＝K，K+1，…，T-1

其中u_train(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，y_train(t+1)＝tr(t+1)，K为输入窗口大小；

将(U_train，Y_train)划分为两部分，分别表示为：

(U_out，Y_out)＝{(u_out(t)，y_out(t+1))}，t＝K，K+1，…，T₁；

(U_inter，Y_inter)＝(u_inter(t)，y_inter(t+1))，t＝T₁+1，T₁+2，…，T-1；

步骤2：构造基于自适应储备池ESN的网络流量预测模型；

所述步骤2中，构造基于自适应储备池ESN的网络流量预测模型具体步骤如下：

步骤2-1：以ESN作为生成模型，以FNN作为判别模型，构造基于自适应储备池ESN的网络流量预测模型；ESN用于网络流量预测，ESN的输出结果为未来时刻网络流量；FNN用于网络流量判别，FNN的输出结果表示输入数据为真实网络流量数据的概率；

步骤2-2：确定模型的输入和输出；模型的输入向量为网络流量历史数据u(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，K为输入窗口大小；输出向量为预测数据y(t)＝tr(t+1)；

步骤2-3：设置ESN和FNN的模型参数；

步骤2-3中，设置ESN的模型参数，具体为，ESN中包含输入层、储备池和输出层，输入层和输出层内部的神经元之间没有连接，储备池中的神经元稀疏连接；设置ESN的输入层和储备池神经元个数分别为L和N；设置储备池为环形反馈储备池，储备池中神经元以环形相连，相邻两个神经元之间具有反馈连接；设置输入连接矩阵和储备池连接矩阵的非零元素绝对值为r；构造非零元素绝对值为r，大小为L×N的输入连接矩阵Wⁱⁿ；根据环形反馈储备池结构，构造非零元素绝对值为权值r，大小为N×N的初始储备池连接矩阵W；使用tanh(·)作为储备池内部激励函数fⁱⁿ，使用恒等函数作为输出激励函数f^out；

步骤2-3中，设置FNN的模型参数，具体为，FNN中包含输入层、隐藏层和输出层，每层内部的神经元之间没有连接，输入层和隐藏层以及输出层和隐藏层之间全连接；设置FNN的输入层和隐藏层神经元个数分别为P和Q；构造大小为P×Q的输入层和隐藏层间连接矩阵W^ih；构造大小为Q×S的隐藏层和输出层间连接矩阵W^ho；使用tanh(·)作为隐藏层激励函数f^ih，使用Sigmoid(·)作为输出层激励函数f^ho；

步骤3：使用采集到的网络流量数据训练步骤2构造的基于自适应储备池ESN的网络流量预测模型；

所述步骤3中，训练基于自适应储备池ESN的网络流量预测模型，交替训练判别模型FNN和生成模型ESN，其中，ESN的训练又包括W和W^out两部分，W通过对抗训练算法训练，W^out通过伪逆的方法训练；训练基于自适应储备池ESN的网络流量预测模型具体步骤如下：

步骤3-1：训练ESN的W^out；把u_out(t)带入ESN中，通过如下公式计算ESN储备池内部神经元激励状态x_out(t)：

x_out(t+1)＝fⁱⁿ(Wⁱⁿu_out(t+1)+Wx_out(t))；

计算(u_out(t)，x_out(t))，直到时刻T₁；通过如下公式计算输出向量

将t+1时刻的实际输出

记为

将t+1时刻的期望输出y_out(t+1)记为y_out；收集对应期望输出y_out，用实际输出

逼近期望输出，通过伪逆的方法计算W^out；

步骤3-2：训练FNN；把u_inter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态x_inter(t)：

x_inter(t+1)＝fⁱⁿ(Wⁱⁿu_inter(t+1)+Wx_inter(t))；

计算(u_inter(t)，x_inter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据

将t时刻的输入u_inter(t)记为u_inter，将t+1时刻的实际输出

记为

将t+1时刻的期望输出y_inter(t+1)记为y_inter；收集对应期望输出y_inter，将y_inter、

一同输入进FNN；通过如下公式计算隐藏层向量a^hid：

a^hid＝f^ih(W^ih·aⁱⁿ)；

其中

通过如下公式计算判别结果D^out：

D^out(aⁱⁿ)＝f^ho(W^ho·a^hid)；

FNN的损失函数L_D为：

其中，

是FNN的对抗损失：

其中，Loss(·)是平方损失函数，D^out(y_inter)是y_inter对应的判别结果，

是

对应的判别结果；保持ESN中的连接矩阵固定，通过如下公式在FNN上执行随机梯度下降(Stochastic Gradient Descent，SGD)来训练FNN中参数：

其中，

为偏导数符号，α_D是FNN的学习率；

步骤3-3：训练ESN；把u_inter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态x_inter(t)：

x_inter(t+1)＝fⁱⁿ(Wⁱⁿu_inter(t+1)+Wx_inter(t))；

计算(u_inter(t)，x_inter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据

将t时刻的输入u_inter(t)记为u_inter，将t+1时刻的实际输出

记为

将

输入进FNN，通过如下公式计算隐藏层向量a^hid：

通过如下公式计算判别结果D^out：

ESN的损失函数L_G为：

其中，

是ESN的对抗性损失：

保持FNN中的连接矩阵、ESN的Wⁱⁿ和W^out固定，通过如下公式在ESN和FNN上执行SGD来训练W：

其中，

为偏导数符号，α_G是ESN的学习率；训练ESN的W^out，具体方法如步骤3-1；

步骤3-4：重复步骤3-2、步骤3-3，直到训练误差小于θ为止，θ是设定的阈值；

步骤4：使用步骤3中训练好的基于自适应储备池ESN的网络流量预测模型预测未来时刻网络流量。

2.根据权利要求1所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：所述步骤4中，采集获得新的网络流量数据u_pred(t′)＝Tr(t′)；使用训练完成的基于自适应储备池ESN的网络流量预测模型预测未来网络流量数据，输出下一时刻的网络流量数据y_pred(t′+1)。

Images