CN111130909A - 基于自适应储备池esn的网络流量预测方法 - Google Patents

基于自适应储备池esn的网络流量预测方法 Download PDF

Info

Publication number
CN111130909A
CN111130909A CN201911414979.6A CN201911414979A CN111130909A CN 111130909 A CN111130909 A CN 111130909A CN 201911414979 A CN201911414979 A CN 201911414979A CN 111130909 A CN111130909 A CN 111130909A
Authority
CN
China
Prior art keywords
esn
inter
reserve pool
network flow
fnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911414979.6A
Other languages
English (en)
Other versions
CN111130909B (zh
Inventor
周剑
王皓明
严筱永
程春玲
韩涛涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Posts and Telecommunications
Original Assignee
Nanjing University of Posts and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Posts and Telecommunications filed Critical Nanjing University of Posts and Telecommunications
Priority to CN201911414979.6A priority Critical patent/CN111130909B/zh
Publication of CN111130909A publication Critical patent/CN111130909A/zh
Application granted granted Critical
Publication of CN111130909B publication Critical patent/CN111130909B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00—Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14—Network analysis or design
    • H04L41/147—Network analysis or design for predicting network behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00—Arrangements for monitoring or testing data switching networks
    • H04L43/08—Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876—Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明提出基于自适应储备池回声状态网络（Echo State Network,ESN）的网络流量预测方法，首先对网络流量数据进行连续采集；同时将ESN与生成对抗网络（Generative Adversarial Net,GAN）结合，构造基于自适应储备池ESN的网络流量预测模型；然后提出对抗训练算法，在训练中根据网络流量特征自动调整ESN储备池。最终使用训练好的基于自适应储备池ESN的网络流量预测模型进行网络流量预测。该方法可以自动产生适应网络流量特征的储备池，可以提高网络流量预测结果的准确率和稳定性，可以在非线性时间序列预测中取得更好的预测效果。

Description

基于自适应储备池ESN的网络流量预测方法
技术领域
本发明属于计算机应用技术领域，具体涉及一种基于自适应储备池ESN的网络流量预测方法。
背景技术
近年来，全球网络规模不断扩大，新兴网络技术层出不穷，互联网业务日益壮大。随着互联网的飞速发展，许多危机和挑战也逐渐显露。网络流量预测可以得到网络流量的变化趋势，从而促进网络拥塞控制，帮助网络资源分配，加强网络攻击防范，利于网络故障管理。因此，网络流量预测是日前网络研究的热点工作。
网络流量是具有非线性的时间序列。由于网络流量的采样时段、间隔、单位等不同，不同网络流量具有不同特征。基于神经网络的预测模型具有良好的非线性映射能力，目前已有许多神经网络模型在网络流量预测中取得较好效果。但传统的神经网络预测模型训练时容易出现过拟合、收敛慢等问题。回声状态网络(Echo State Network，ESN)具有强大的非线性处理能力和短期记忆能力，在非线性时间序列预测中的表现优于传统神经网络，且其训练过程简单，已被应用于网络流量预测领域。然而，不同网络流量具有不同特征，现已提出的诸多ESN大多具有单一固定的储备池，无法适应不同网络流量的特征。
发明内容
针对上述背景技术中提出的问题，本发明提出一种基于自适应储备池ESN的网络流量预测方法。该方法能够自动学习网络流量的特征，以提高预测性能为目标，自适应产生合适的储备池。本发明可以提高网络流量预测的准确率，可以在非线性时间序列预测中取得更好的预测效果。
本发明所述基于自适应储备池ESN的网络流量预测方法，包括如下步骤：
步骤1：采集网络流量数据；
步骤2：构造基于自适应储备池ESN的网络流量预测模型；
步骤3：使用采集到的网络流量数据训练步骤2构造的基于自适应储备池ESN的网络流量预测模型；
步骤4：使用步骤3中训练好的基于自适应储备池ESN的网络流量预测模型预测未来时刻网络流量。
进一步地，所述步骤1采集网络流量数据中，在规定的采样时间内，采集网络流量数据集合Tr＝{tr(1)，tr(2)…，tr(t)…，tr(T)}，其中tr(t)为时刻t的网络流量数据，T为采集的数据总数；
根据Tr来构造训练样本集：
(Utrain，Ytrain)＝{(utrain(t)，ytrain(t+1))}，t＝K，K+1，…，T-1
其中utrain(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，ytrain(t+1)＝tr(t+1)，K为输入窗口大小；
将(Utrain，Ytrain)划分为两部分，分别表示为：
(Uout，Yout)＝{(uout(t)，yout(t+1))}，t＝K，K+1，…，T1；
(Uinter，Yinter)＝(uinter(t)，yinter(t+1))，t＝T1+1，T1+2，…，T-1。
进一步地，所述步骤2中，构造基于自适应储备池ESN的网络流量预测模型具体步骤如下：
步骤2-1：以ESN作为生成模型，以FNN作为判别模型，构造基于自适应储备池ESN的网络流量预测模型；ESN用于网络流量预测，ESN的输出结果为未来时刻网络流量；FNN用于网络流量判别，FNN的输出结果表示输入数据为真实网络流量数据的概率；
步骤2-2：确定模型的输入和输出；模型的输入向量为网络流量历史数据u(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，K为输入窗口大小；输出向量为预测数据y(t)＝tr(t+1)；
步骤2-3：设置ESN和FNN的模型参数。
进一步地，步骤2-3中，设置ESN的模型参数，具体为，ESN中包含输入层、储备池和输出层，输入层和输出层内部的神经元之间没有连接，储备池中的神经元稀疏连接；设置ESN的输入层和储备池神经元个数分别为L和N；设置储备池为环形反馈储备池，储备池中神经元以环形相连，相邻两个神经元之间具有反馈连接；设置输入连接矩阵和储备池连接矩阵的非零元素绝对值为r；构造非零元素绝对值为r，大小为L×N的输入连接矩阵Win；根据环形反馈储备池结构，构造非零元素绝对值为权值r，大小为N×N的初始储备池连接矩阵W；使用tanh(·)作为储备池内部激励函数fin，使用恒等函数作为输出激励函数fout；
进一步地，步骤2-3中，设置FNN的模型参数，具体为，FNN中包含输入层、隐藏层和输出层，每层内部的神经元之间没有连接，输入层和隐藏层以及输出层和隐藏层之间全连接；设置FNN的输入层和隐藏层神经元个数分别为P和Q；构造大小为P×Q的输入层和隐藏层间连接矩阵Wih；构造大小为Q×S的隐藏层和输出层间连接矩阵Who；使用tanh(·)作为隐藏层激励函数fih，使用Sigmoid(·)作为输出层激励函数fho。
进一步地，所述步骤3中，训练基于自适应储备池ESN的网络流量预测模型，交替训练判别模型FNN和生成模型ESN，其中，ESN的训练又包括W和Wout两部分，W通过对抗训练算法训练，Wout通过伪逆的方法训练；训练基于自适应储备池ESN的网络流量预测模型具体步骤如下：
步骤3-1：训练ESN的Wout；把uout(t)带入ESN中，通过如下公式计算ESN储备池内部神经元激励状态xout(t)：
xout(t+1)＝fin(Wtnuout(t+1)+Wxout(t))；
计算(uout(t)，xout(t))，直到时刻T1；通过如下公式计算输出向量
Figure BDA0002350955800000041
Figure BDA0002350955800000042
将t+1时刻的实际输出
Figure BDA0002350955800000043
记为
Figure BDA0002350955800000044
将t+1时刻的期望输出yout(t+1)记为yout；收集对应期望输出yout，用实际输出
Figure BDA0002350955800000045
逼近期望输出，通过伪逆的方法计算Wout；
步骤3-2：训练FNN；把uinter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态xinter(t)：
xinter(t+1)＝fin(Winuinter(t+1)+Wxinter(t))；
计算(uinter(t)，xinter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据
Figure BDA0002350955800000051
Figure BDA0002350955800000052
将t时刻的输入uinter(t)记为uinter，将t+1时刻的实际输出
Figure BDA0002350955800000053
记为
Figure BDA0002350955800000054
将t+1时刻的期望输出yinter(t+1)记为yinter；收集对应期望输出yinter，将yinter、
Figure BDA0002350955800000055
一同输入进FNN；通过如下公式计算隐藏层向量ahid：
ahid＝fih(Wih·ain)；
其中
Figure BDA0002350955800000056
通过如下公式计算判别结果Dout：
Dout(ain)＝fho(Who·ahid)；
FNN的损失函数LD为：
Figure BDA0002350955800000057
其中，
Figure BDA0002350955800000058
是FNN的对抗损失：
Figure BDA0002350955800000059
其中，Loss(·)是平方损失函数，Dout(yinter)是yinter对应的判别结果，
Figure BDA00023509558000000510
是
Figure BDA00023509558000000511
对应的判别结果；保持ESN中的连接矩阵固定，通过如下公式在FNN上执行随机梯度下降(Stochastic Gradient Descent，SGD)来训练FNN中参数：
Figure BDA00023509558000000512
Figure BDA00023509558000000513
其中，
Figure BDA00023509558000000514
为偏导数符号，αD是FNN的学习率；
步骤3-3：训练ESN；把uinter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态xinter(t)：
xinter(t+1)＝fin(Winuinter(t+1)+Wxinter(t))；
计算(uinter(t)，xinter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据
Figure BDA0002350955800000061
Figure BDA0002350955800000062
将t时刻的输入uinter(t)记为uinter，将t+1时刻的实际输出
Figure BDA0002350955800000063
记为
Figure BDA0002350955800000064
将
Figure BDA0002350955800000065
输入进FNN，通过如下公式计算隐藏层向量ahid：
Figure BDA0002350955800000066
通过如下公式计算判别结果Dout：
Figure BDA0002350955800000067
ESN的损失函数LG为：
Figure BDA0002350955800000068
其中，
Figure BDA0002350955800000069
是ESN的对抗性损失：
Figure BDA00023509558000000610
保持FNN中的连接矩阵、ESN的Win和Wout固定，通过如下公式在ESN和FNN上执行SGD来训练W：
Figure BDA00023509558000000611
其中，
Figure BDA00023509558000000612
为偏导数符号，αG是ESN的学习率；训练ESN的Wout，具体方法如步骤3-1中所述；
步骤3-4：重复步骤3-2、步骤3-3中所述内容，直到训练误差小于θ为止，θ是设定的阈值。
进一步地，所述步骤4中，采集获得新的网络流量数据upred(t′)＝TrK(t′)；使用训练完成的基于自适应储备池ESN的网络流量预测模型预测未来网络流量数据，输出下一时刻的网络流量数据ypred(t′+1)。
本发明达到的有益效果为：首先对网络流量数据进行连续采集，同时将ESN与GAN结合，构造基于自适应储备池ESN的网络流量预测模型。然后提出对抗训练算法，在训练中根据网络流量特征自动调整ESN储备池。最终使用训练好的基于自适应储备池ESN的网络流量预测模型进行网络流量预测。该方法可以自动产生适应网络流量特征的储备池，可以提高网络流量预测结果的准确率和稳定性，可以在非线性时间序列预测中取得更好的预测效果。
附图说明
图1是本发明实施例中所述预测方法的步骤流程示意图。
图2是本发明实施例中网络流量预测模型示意图。
具体实施方式
下面结合说明书附图对本发明的技术方案做进一步的详细说明。
本发明提出了基于自适应储备池回声状态网络(Echo State Network，ESN)的网络流量预测方法，参照图1，具体步骤如下：
步骤1：采集网络流量数据。在规定的采样时间内，采集网络流量数据集合Tr＝{tr(1)，tr(2)…，tr(t)…，tr(T)}，其中tr(t)为时刻t的网络流量数据，T为采集的数据总数。根据Tr来构造训练样本集(Utrain，Ytrain)＝{(utrain(t)，ytrain(t+1))}，t＝K，K+1，…，T-1，其中utrain(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，ytrain(t+1)＝tr(t+1)，K为输入窗口大小。将(Utrain，Ytrain)划分为两部分，分别表示为：(Uout，Yout)＝{(uout(t)，yout(t+1))}，t＝K，K+1，…，T1，(Uinter，Yinter)＝(uinter(t)，yinter(t+1))，t＝T1+1，T1+2，…，T-1。
步骤2：构造基于自适应储备池ESN的网络流量预测模型。具体步骤如下：
步骤2-1：以ESN作为生成模型，以FNN作为判别模型，构造基于自适应储备池ESN的网络流量预测模型；ESN用于网络流量预测，ESN的输出结果为未来时刻网络流量；FNN用于网络流量判别，FNN的输出结果表示输入数据为真实网络流量数据的概率。
步骤2-2：确定模型的输入和输出；模型的输入向量为网络流量历史数据u(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，K为输入窗口大小；输出向量为预测数据y(t)＝tr(t+1)。
步骤2-3：设置模型参数，参照图2。
ESN中包含输入层、储备池和输出层，输入层和输出层内部的神经元之间没有连接，储备池中的神经元稀疏连接；设置ESN的输入层和储备池神经元个数分别为L和N；设置储备池为环形反馈储备池，储备池中神经元以环形相连，相邻两个神经元之间具有反馈连接；设置输入连接矩阵和储备池连接矩阵的非零元素绝对值为r；构造非零元素绝对值为r，大小为L×N的输入连接矩阵Win；根据环形反馈储备池结构，构造非零元素绝对值为权值r，大小为N×N的初始储备池连接矩阵W；使用tanh(·)作为储备池内部激励函数fin，使用恒等函数作为输出激励函数fout。
FNN中包含输入层、隐藏层和输出层，每层内部的神经元之间没有连接，相邻两层之间全连接；设置FNN的输入层和隐藏层神经元个数分别为P和Q；构造大小为P×Q的输入层和隐藏层间连接矩阵Wih；构造大小为Q×S的隐藏层和输出层间连接矩阵Who；使用tanh(·)作为隐藏层激励函数fih，使用Sigmoid(·)作为输出层激励函数fho。
步骤3：使用采集到的网络流量数据训练步骤2构造的基于自适应储备池ESN的网络流量预测模型。交替训练判别模型FNN和生成模型ESN，其中，ESN的训练又包括W和Wout两部分，W通过对抗训练算法训练，Wout通过伪逆的方法训练；训练基于自适应储备池ESN的网络流量预测模型具体步骤如下：
步骤3-1：训练ESN的Wout；把uout(t)带入ESN中，通过如下公式计算ESN储备池内部神经元激励状态xout(t)：
xout(t+1)＝fin(Winuout(t+1)+Wxout(t))。
计算(uout(t)，xout(t))，直到时刻T1；通过如下公式计算输出向量
Figure BDA0002350955800000091
Figure BDA0002350955800000092
将t+1时刻的实际输出
Figure BDA0002350955800000093
记为
Figure BDA0002350955800000094
将t+1时刻的期望输出yout(t+1)记为yout；收集对应期望输出yout，用实际输出
Figure BDA0002350955800000095
逼近期望输出，通过伪逆的方法计算Wout。
步骤3-2：训练FNN；把uinter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态xinter(t)：
xinter(t+1)＝fin(Winuinter(t+1)+Wxinter(t))。
计算(uinter(t)，xinter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据
Figure BDA0002350955800000101
Figure BDA0002350955800000102
将t时刻的输入uinter(t)记为uinter，将t+1时刻的实际输出
Figure BDA0002350955800000103
记为
Figure BDA0002350955800000104
将t+1时刻的期望输出yinter(t+1)记为yinter；收集对应期望输出yinter，将yinter、
Figure BDA0002350955800000105
一同输入进FNN；通过如下公式计算隐藏层向量ahid：
ahid＝fih(Wih·ain)；
其中
Figure BDA0002350955800000106
通过如下公式计算判别结果Dout：
Dout(ain)＝fho(Who·ahid)。
FNN的损失函数LD为：
Figure BDA0002350955800000107
其中，
Figure BDA0002350955800000108
是FNN的对抗损失：
Figure BDA0002350955800000109
其中，Loss(·)是平方损失函数，Dout(yinter)是yinter对应的判别结果，
Figure BDA00023509558000001010
是
Figure BDA00023509558000001011
对应的判别结果；保持ESN中的连接矩阵固定，通过如下公式在FNN上执行随机梯度下降(Stochastic Gradient Descent，SGD)来训练FNN中参数：
Figure BDA00023509558000001012
Figure BDA00023509558000001013
其中，
Figure BDA00023509558000001112
为偏导数符号，αD是FNN的学习率。
步骤3-3：训练ESN；把uinter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态xinter(t)：
xinter(t+1)＝fin(Winuinter(t+1)+Wxinter(t))。
计算(uinter(t)，xinter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据
Figure BDA0002350955800000111
Figure BDA0002350955800000112
将t时刻的输入uinter(t)记为uinter，将t+1时刻的实际输出
Figure BDA0002350955800000113
记为
Figure BDA0002350955800000114
将
Figure BDA0002350955800000115
输入进FNN，通过如下公式计算隐藏层向量ahid：
Figure BDA0002350955800000116
通过如下公式计算判别结果Dout：
Figure BDA0002350955800000117
ESN的损失函数LG为：
Figure BDA0002350955800000118
其中，
Figure BDA0002350955800000119
是ESN的对抗性损失：
Figure BDA00023509558000001110
保持FNN中的连接矩阵、ESN的Win和Wout固定，通过如下公式在ESN和FNN上执行SGD来训练W：
Figure BDA00023509558000001111
其中，
Figure BDA00023509558000001113
为偏导数符号，αG是ESN的学习率；训练ESN的Wout，具体方法如步骤3-1中所述；
步骤3-4：重复步骤3-2、步骤3-3中所述内容，直到训练误差小于θ为止，θ是设定的阈值。
步骤4：使用步骤3中训练好的基于自适应储备池ESN的网络流量预测模型预测未来时刻网络流量。采集获得新的网络流量数据upred(t′)＝TrK(t′)。使用训练完成的基于自适应储备池ESN的网络流量预测模型预测未来网络流量数据，输出下一时刻的网络流量数据ypred(t′+1)。
以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (7)

1.基于自适应储备池ESN的网络流量预测方法，其特征在于：所述方法包括如下步骤：
步骤1：采集网络流量数据；
步骤2：构造基于自适应储备池ESN的网络流量预测模型；
步骤3：使用采集到的网络流量数据训练步骤2构造的基于自适应储备池ESN的网络流量预测模型；
步骤4：使用步骤3中训练好的基于自适应储备池ESN的网络流量预测模型预测未来时刻网络流量。
2.根据权利要求1所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：所述步骤1采集网络流量数据中，在规定的采样时间内，采集网络流量数据集合Tr＝{tr(1)，tr(2)…，tr(t)…，tr(T)}，其中tr(t)为时刻t的网络流量数据，T为采集的数据总数；
根据Tr来构造训练样本集：
(Utrain，Ytrain)＝{(utrain(t)，ytrain(t+1))}，t＝K，K+1，…，T-1
其中utrain(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，ytrain(t+1)＝tr(t+1)，K为输入窗口大小；
将(Utrain，Ytrain)划分为两部分，分别表示为：
(Uout，Yout)＝{(uout(t)，yout(t+1))}，t＝K，K+1，…，T1；
(Uinter，Yinter)＝(uinter(t)，yinter(t+1))，t＝T1+1，T1+2，…，T-1。
3.根据权利要求1所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：所述步骤2中，构造基于自适应储备池ESN 的网络流量预测模型具体步骤如下：
步骤2-1：以ESN作为生成模型，以FNN作为判别模型，构造基于自适应储备池ESN的网络流量预测模型；ESN用于网络流量预测，ESN的输出结果为未来时刻网络流量；FNN用于网络流量判别，FNN的输出结果表示输入数据为真实网络流量数据的概率；
步骤2-2：确定模型的输入和输出；模型的输入向量为网络流量历史数据u(t)＝{tr(t-K+1)，tr(t-K+2)，…，tr(t)}，K为输入窗口大小；输出向量为预测数据y(t)＝tr(t+1)；
步骤2-3：设置ESN和FNN的模型参数。
4.根据权利要求3所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：步骤2-3中，设置ESN的模型参数，具体为，ESN中包含输入层、储备池和输出层，输入层和输出层内部的神经元之间没有连接，储备池中的神经元稀疏连接；设置ESN的输入层和储备池神经元个数分别为L和N；设置储备池为环形反馈储备池，储备池中神经元以环形相连，相邻两个神经元之间具有反馈连接；设置输入连接矩阵和储备池连接矩阵的非零元素绝对值为r；构造非零元素绝对值为r，大小为L×N的输入连接矩阵Win；根据环形反馈储备池结构，构造非零元素绝对值为权值r，大小为N×N的初始储备池连接矩阵W；使用tanh(·)作为储备池内部激励函数fin，使用恒等函数作为输出激励函数fout；。
5.根据权利要求3所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：步骤2-3中，设置FNN的模型参数，具体为，FNN中包含输入层、隐藏层和输出层，每层内部的神经元之间没有连接，输入层和隐藏层以及输出层和隐藏层之间全连接；设置FNN的输入层和隐藏层神经元个数分别为P和Q；构造大小为P×Q的输入层和隐藏层间连接矩阵Wih；构造大小为Q×S的隐藏层和输出层间连接矩阵Who；使用tanh(·)作为隐藏层激励函数fih，使用Sigmoid(·)作为输出层激励函数fho。
6.根据权利要求1所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：所述步骤3中，训练基于自适应储备池ESN的网络流量预测模型，交替训练判别模型FNN和生成模型ESN，其中，ESN的训练又包括W和Wout两部分，W通过对抗训练算法训练，Wout通过伪逆的方法训练；训练基于自适应储备池ESN的网络流量预测模型具体步骤如下：
步骤3-1：训练ESN的Wout；把uout(t)带入ESN中，通过如下公式计算ESN储备池内部神经元激励状态xout(t)：
xout(t+1)＝fin(Winuout(t+1)+Wxout(t))；
计算(uout(t)，xout(t))，直到时刻T1；通过如下公式计算输出向量
Figure FDA0002350955790000031
Figure FDA0002350955790000032
将t+1时刻的实际输出
Figure FDA0002350955790000033
记为
Figure FDA0002350955790000034
将t+1时刻的期望输出yout(t+1)记为yout；收集对应期望输出yout，用实际输出
Figure FDA0002350955790000035
逼近期望输出，通过伪逆的方法计算Wout；
步骤3-2：训练FNN；把uinter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态xinter(t)：
xinter(t+1)＝fin(Winuinter(t+1)+Wxinter(t))；
计算(uinter(t)，xinter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据
Figure FDA0002350955790000041
Figure FDA0002350955790000042
将t时刻的输入uinter(t)记为uinter，将t+1时刻的实际输出
Figure FDA0002350955790000043
记为
Figure FDA0002350955790000044
将t+1时刻的期望输出yinter(t+1)记为yinter；收集对应期望输出yinter，将yinter、
Figure FDA0002350955790000045
一同输入进FNN；通过如下公式计算隐藏层向量ahid：
ahid＝fih(Wih·ain)；
其中
Figure FDA0002350955790000046
通过如下公式计算判别结果Dout：
Dout(ain)＝fho(Who·ahid)；
FNN的损失函数LD为：
Figure FDA0002350955790000047
其中，
Figure FDA0002350955790000048
是FNN的对抗损失：
Figure FDA0002350955790000049
其中，Loss(·)是平方损失函数，Dout(yinter)是yinter对应的判别结果，
Figure FDA00023509557900000410
是
Figure FDA00023509557900000411
对应的判别结果；保持ESN中的连接矩阵固定，通过如下公式在FNN上执行随机梯度下降(Stochastic Gradient Descent，SGD)来训练FNN中参数：
Figure FDA00023509557900000412
Figure FDA00023509557900000413
其中，
Figure FDA0002350955790000051
为偏导数符号，αD是FNN的学习率；
步骤3-3：训练ESN；把uinter(t)带入ESN，通过如下公式计算ESN储备池内部神经元激励状态xinter(t)：
xinter(t+1)＝fin(Winuinter(t+1)+Wxinter(t))；
计算(uinter(t)，xinter(t))，直到时刻T-1；通过如下公式计算实际输出的网络流量预测数据
Figure FDA0002350955790000052
Figure FDA0002350955790000053
将t时刻的输入uinter(t)记为uinter，将t+1时刻的实际输出
Figure FDA0002350955790000054
记为
Figure FDA0002350955790000055
将
Figure FDA0002350955790000056
输入进FNN，通过如下公式计算隐藏层向量ahid：
Figure FDA0002350955790000057
通过如下公式计算判别结果Dout：
Figure FDA0002350955790000058
ESN的损失函数LG为：
Figure FDA0002350955790000059
其中，
Figure FDA00023509557900000510
是ESN的对抗性损失：
Figure FDA00023509557900000511
保持FNN中的连接矩阵、ESN的Win和Wout固定，通过如下公式在ESN和FNN上执行SGD来训练W：
Figure FDA00023509557900000512
其中，
Figure FDA00023509557900000513
为偏导数符号，αG是ESN的学习率；训练ESN的Wout，具体方法如步骤3-1中所述；
步骤3-4：重复步骤3-2、步骤3-3中所述内容，直到训练误差小于θ为止，θ是设定的阈值。
7.根据权利要求1所述的基于自适应储备池ESN的网络流量预测方法，其特征在于：所述步骤4中，采集获得新的网络流量数据upred(t′)＝TrK(t′)；使用训练完成的基于自适应储备池ESN的网络流量预测模型预测未来网络流量数据，输出下一时刻的网络流量数据ypred(t′+1)。
CN201911414979.6A 2019-12-31 2019-12-31 基于自适应储备池esn的网络流量预测方法 Active CN111130909B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911414979.6A CN111130909B (zh) 2019-12-31 2019-12-31 基于自适应储备池esn的网络流量预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911414979.6A CN111130909B (zh) 2019-12-31 2019-12-31 基于自适应储备池esn的网络流量预测方法

Publications (2)

Publication Number Publication Date
CN111130909A true CN111130909A (zh) 2020-05-08
CN111130909B CN111130909B (zh) 2022-09-23

Family

ID=70506634

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911414979.6A Active CN111130909B (zh) 2019-12-31 2019-12-31 基于自适应储备池esn的网络流量预测方法

Country Status (1)

Country Link
CN (1) CN111130909B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113965472A (zh) * 2021-10-22 2022-01-21 南京邮电大学 基于深度esn的多尺度网络流量预测方法
CN114745157A (zh) * 2022-03-15 2022-07-12 尚蝉(浙江)科技有限公司 一种基于生成对抗网络的抵御网络流量侦察方法、系统、终端和存储介质
CN115514686A (zh) * 2021-06-23 2022-12-23 深信服科技股份有限公司 一种流量采集方法、装置及电子设备和存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540331A (zh) * 2018-04-26 2018-09-14 南京邮电大学 基于改进esn的网络流量预测方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108540331A (zh) * 2018-04-26 2018-09-14 南京邮电大学 基于改进esn的网络流量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Y. HAN AND K. LI: "Improved FOA-ESN method using opposition-based learning mechanism for the network traffic prediction with multiple steps", 《2017 CHINESE AUTOMATION CONGRESS (CAC), 2017, PP. 7183-7187, DOI: 10.1109/CAC.2017.8244074.》 *
白亚秀: "基于IWO-ESN的网络流量预测研究", 《信息技术》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115514686A (zh) * 2021-06-23 2022-12-23 深信服科技股份有限公司 一种流量采集方法、装置及电子设备和存储介质
CN113965472A (zh) * 2021-10-22 2022-01-21 南京邮电大学 基于深度esn的多尺度网络流量预测方法
CN113965472B (zh) * 2021-10-22 2023-06-30 南京邮电大学 基于深度esn的多尺度网络流量预测方法
CN114745157A (zh) * 2022-03-15 2022-07-12 尚蝉(浙江)科技有限公司 一种基于生成对抗网络的抵御网络流量侦察方法、系统、终端和存储介质
CN114745157B (zh) * 2022-03-15 2024-02-13 尚蝉(浙江)科技有限公司 一种基于生成对抗网络的抵御网络流量侦察方法、系统、终端和存储介质

Also Published As

Publication number Publication date
CN111130909B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
CN111130909B (zh) 基于自适应储备池esn的网络流量预测方法
CN113705610B (zh) 一种基于联邦学习的异构模型聚合方法和系统
CN104182772B (zh) 一种基于深度学习的手势识别方法
CN112633497A (zh) 一种基于重加权膜电压的卷积脉冲神经网络的训练方法
CN108062572A (zh) 一种基于DdAE深度学习模型的水电机组故障诊断方法与系统
CN106897254B (zh) 一种网络表示学习方法
CN106203625B (zh) 一种基于多重预训练的深层神经网络训练方法
CN110309732A (zh) 基于骨架视频的行为识别方法
CN107609648B (zh) 一种结合堆叠降噪稀疏自动编码器的遗传算法
CN112906828A (zh) 一种基于时域编码和脉冲神经网络的图像分类方法
CN106875002A (zh) 基于梯度下降法与广义逆的复值神经网络训练方法
CN109492748B (zh) 一种基于卷积神经网络的电力系统的中长期负荷预测模型建立方法
CN108304912B (zh) 一种运用抑制信号实现脉冲神经网络监督学习的系统和方法
CN113784410B (zh) 基于强化学习td3算法的异构无线网络垂直切换方法
CN106951960A (zh) 一种神经网络及该神经网络的学习方法
CN108733921B (zh) 基于模糊信息粒化的变压器绕组热点温度波动范围预测方法
CN115271099A (zh) 一种支持异构模型的自适应个性化联邦学习方法
CN112381179A (zh) 一种基于双层注意力机制的异质图分类方法
CN112634019A (zh) 基于细菌觅食算法优化灰色神经网络的违约概率预测方法
CN111445010A (zh) 一种基于证据理论融合量子网络的配网电压趋势预警方法
CN111355633A (zh) 一种基于pso-delm算法的比赛场馆内手机上网流量预测方法
CN106203628A (zh) 一种增强深度学习算法鲁棒性的优化方法和系统
CN117574429A (zh) 一种边缘计算网络中隐私强化的联邦深度学习方法
CN114708479A (zh) 一种基于图结构和特征的自适应防御方法
CN109800517A (zh) 一种改进的磁流变阻尼器逆向建模方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant