CN111277434A - 一种基于vmd和lstm的网络流量多步预测方法 - Google Patents

一种基于vmd和lstm的网络流量多步预测方法 Download PDF

Info

Publication number
CN111277434A
CN111277434A CN202010048854.2A CN202010048854A CN111277434A CN 111277434 A CN111277434 A CN 111277434A CN 202010048854 A CN202010048854 A CN 202010048854A CN 111277434 A CN111277434 A CN 111277434A
Authority
CN
China
Prior art keywords
lstm
prediction
modal
network
network traffic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010048854.2A
Other languages
English (en)
Inventor
张丽
赵韩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN202010048854.2A priority Critical patent/CN111277434A/zh
Publication of CN111277434A publication Critical patent/CN111277434A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/147Network analysis or design for predicting network behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L41/00Arrangements for maintenance, administration or management of data switching networks, e.g. of packet switching networks
    • H04L41/14Network analysis or design
    • H04L41/145Network analysis or design involving simulating, designing, planning or modelling of a network
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L43/00Arrangements for monitoring or testing data switching networks
    • H04L43/08Monitoring or testing based on specific metrics, e.g. QoS, energy consumption or environmental parameters
    • H04L43/0876Network utilisation, e.g. volume of load or congestion level

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Environmental & Geological Engineering (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于VMD和LSTM的网络流量多步预测方法,包括:生成训练样本;利用VMD对训练样本进行处理,得到八个模态分量;利用LSTM对模态分量进行多步预测模型建模,并利用BN进行网络结构优化,得到八个模态分量的预测模型以及八个包含下几时刻特征的新序列;对八个包含下几个时刻特征的新序列进行变分模态分解还原处理,得到一条包含下几个时刻的网络流量时间序列预测结果;判断网络流量时间序列多步预测结果是否满足准确度要求;若不满足要求,则获取新的训练样本,利用新的训练样本对LSTM预测模型进行补充训练,对LSTM预测模型进行更新。本发明可以改良当前网络流量多步预测模型的精确度和时间性能上的缺点。

Description

一种基于VMD和LSTM的网络流量多步预测方法
技术领域
本发明涉及网络流量预测技术领域,具体涉及一种基于变分模态分解(VMD)和长短期记忆网络(LSTM)的网络流量多步预测方法。
背景技术
依据时间进行的测量存在于大部分科学领域中,由观测值组织而成的数据,称之为时间序列数据。挖掘时间序列数据的目的是通过找出样本内时间序列的统计特性和发展规律性,构建时间序列模型,进行样本外预测。时间序列数据是统一指标按时间顺序记录的数据列,在同一数据列中的各个数据必须是同口径的,要求具有可比性。时序数据可以是时期数,也可以是时点数。
针对非线性预测方法中,人工神经网络(ANN)、自适应神经模糊推理系统(ANFIS)和支持向量回归(SVR)可用于时间序列预测研究。近年来,受深度学习的成功推动,具有深度架构的神经网络在图像、视频、音频和语言学习任务中都取得了成功。在时间序列预测领域,也发现了几种深度学习方法,并引起了人们极大的兴趣。深度信念网络(Deep beliefnetworks,DBN)常被应用于短期交通预测中,利用非监督学习算法(Re-strictedBoltzmann machine,RBM)和自动编码器(Auto Encoder,AE)等预处理策略预测时间序列。传统神经网络的主要缺点是缺乏稳定性;此外,这些深度架构不能捕获超出输入观察范围的数据点之间的长依赖关系。为解决上述缺点,提出一种基于深度LSTM(Long Short-TermMemory,长短期记忆)神经网络的预测方法,使信息能够持续存在。在过去的几年里,将LSTM应用于语音识别、语言建模、翻译和图像覆盖等广泛的任务取得了令人难以置信的成功。
流量信息是网络负荷状态的重要反馈指标,同时也是一种典型的时间序列,通过精准可靠地预测网络流量,掌握其规律和趋势并及时调控,能够有效提升网络资源的利用率。网络流量具有非线性、自相似性、多分形性等复杂特点。在传统预测方法中,研究者们通常使用自回归滑动平均模型(auto-regressive and moving average model,ARMA)、差分自回归滑动平均模型(autoregressive integrated moving average model,ARIMA)和马尔可夫模型(Markov model)等线性预测模型。但是线性预测模型无法准确地刻画网络流量的基本特征,且方法简单,泛化能力弱,预测误差较高。
针对当前网络流量多步预测算法的研究,有通过基于改进微分进化和小波神经网络的网络流量预测方法,使用云计算技术和回声状态网络来进行网络流量预测的方法,将时间序列与卡尔曼滤波融来进行多步预测,极限学习机和粒子群算法双重优化的小波补缀网络多步预测以及近年来使用较多的EMD-LSTM神经网络等,由于是大多数算法是将通过单步预测结合多步预测策略进行预测,会在预测过程中对预测结果的误差进行累积,导致多步预测精确度大大下降。通过对预测结果的评估,在单步预测中各种预测模型的RMSE(RootMean Square Error,均方根误差,是观测值与真值偏差的平方和与观测次数m比值的平方根,用来衡量观测值同真值之间的偏差)普遍较高,尤其是在当提高步数之后,误差也会随着累计而进行增长,而目前神经网络还存在训练过程中运算时间一般较长,时间开销较大的问题,由此看出对于多步预测算法的精确度以及时间性能的提升还有相当大的空间。
发明内容
针对现有技术存在的大多数算法都是根据单步预测结果结合多步预测策略进行预测,会在预测过程中对预测结果的误差进行累积,导致多步预测精确度大大下降的问题,本发明提供一种基于变分模态分解(VMD)和长短期记忆网络(LSTM)的网络流量多步预测方法,以实现网络流量多步预测的准确性,达到预测下几段时间点的序列预测值,为提前预测和捕捉时间序列的关键信息提供了一种更优的可行解决方案;其提高了多步预测的精确度,提升了训练的时间效率。
本发明公开了一种基于VMD和LSTM的网络流量多步预测方法,包括:
生成训练样本;其中,所述训练样本为不同类型的网络流量时间序列数据;
利用VMD对所述训练样本进行处理,得到八个模态分量;
利用LSTM对所述模态分量进行多步预测模型建模,并利用BN进行网络结构优化,得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;
对八个包含下几个时刻特征的新序列进行变分模态分解还原处理,得到一条包含下几个时刻的网络流量时间序列预测结果;
判断所述网络流量时间序列多步预测结果是否满足准确度要求;
若不满足要求,则获取新的训练样本,利用新的训练样本对LSTM预测模型进行补充训练,对LSTM预测模型进行更新。
作为本发明的进一步改进,所述生成训练样本包括:
根据多种不同类型的网络流量时间序列输入数据生成训练样本,并对样本进行分类得到不同类型的网络流量时间序列数据。
作为本发明的进一步改进,所述利用VMD对所述训练样本进行处理,得到八个模态分量;包括:
利用VMD对所述训练样本进行固有模态分量的分解、信号的频域划分,得到八个模态分量。
作为本发明的进一步改进,利用VMD对所述训练样本进行固有模态分量的分解方法,包括:
初始化模态分量的带宽μk、中心频率ωk以及循环次数n;
当ω大于等于0时,不断循环更新每个模态分量的带宽μk和中心频率ωk,自适应分解成以中心频率ωk为中心扩散的模态分量:
Figure BDA0002370394790000031
Figure BDA0002370394790000032
式中,
μk为分解后的模态分量;
ωk为模态分量对应中心频率;
λ为拉格朗日乘子;
直到满足下述条件时,退出循环:
Figure BDA0002370394790000033
式中,
∈为常数;
VMD计算每个分量时,将信号分布到变分模型中进行分解,使用希尔伯特变换和高斯平滑,通过寻找约束变分模型的最优解实现复杂信号的分解;
求解每一个模态的希尔伯特变换,然后把每一个模态的频谱移动到基带上,最后使用解调信号的H高斯平滑,最小化模态带宽的总和;
Figure BDA0002370394790000041
Figure BDA0002370394790000042
引入二次惩罚因子α和拉格朗日乘法算子λ,将约束问题转化成非约束问题;
Figure BDA0002370394790000043
式中,
α为二次惩罚因子
λ为拉格朗日乘法算子。
作为本发明的进一步改进,在利用LSTM对所述模态分量进行多步预测模型建模之前,还包括:
对所述模态分量的网络流量时间序列进行样本min-max归一化,并进行数据集切分,得到符合LSTM网络输入的结构模式。
作为本发明的进一步改进,样本min-max归一化,包括:
Figure BDA0002370394790000044
式中,
max为样本数据的最大值;
min为样本数据的最小值。
作为本发明的进一步改进,所述利用LSTM对所述模态分量进行多步预测模型建模,并利用BN进行网络结构优化,得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;包括:
采用均方误差作为损失函数loss:
Figure BDA0002370394790000051
式中,
pred是根据输入的长度为batch_size的数据集预测出的预测数据集;
tag为原数据集;
对于八个模态分量,训练得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;其中,
通过对每个模态分量的时间序列数据构造LSTM网络结构;
使用窗口大小为10的输入格式,窗口大小为3的输出结构构造LSTM模型;
使用的网络结构为一层输入层,两层LSTM层,一层BN层以及最后的全连接层,LSTM预测模型中各模块的状态变化包括:
ft=σ(Wf·ht-1+Wf·xt+bf)
it=σ(Wi·ht-1+Wi·xt+bi)
Figure BDA0002370394790000052
Figure BDA0002370394790000053
ot=σ(Wo·ht-1+Wo·xt+bo)
ht=ot·tanh(Ct)
式中,
Ct表示t时刻记忆细胞状态;
ht为t时间点LSTM单元的所有输出;
σ是Sigmoid激活函数;
it,ft,ot分别是t时间点输入门、遗忘门和输出门的计算方法;
采用BN对网络结构进行优化,通过使用当前小批的统计信息对中间表示进行标准化来近似白化,给定一个Mini-Batch x,计算样本均值和样本方差;
Figure BDA0002370394790000061
Figure BDA0002370394790000062
式中,
m是小批量的大小;
引入了额外的可学习参数γ和β,缩放并移动格式化值;
Figure BDA0002370394790000063
Figure BDA0002370394790000064
式中,
ε是一个小的正常数;
γ和β为额外的可学习参数。
作为本发明的进一步改进,变分模态分解还原处理的还原函数为:
Figure BDA0002370394790000065
式中,
u为分解后的模态分量;
t为每个模态分量中不同时刻下标;
还原函数按照ui的不同时刻值一一对应叠加,由八个模态分量叠加为一个最终输出分量。
作为本发明的进一步改进,所述判断所述网络流量时间序列多步预测结果是否满足准确度要求,包括:
获取一个预测周期内的网络流量预测值与实际值的偏差平均值和偏差最大值;
将所述偏差平均值与第一阈值进行比较,并将所述偏差最大值与第二阈值进行比较;
如果所述偏差平均值大于等于所述第一阈值或所述偏差最大值大于等于所述第二阈值,则判断不满足所述准确度要求。
作为本发明的进一步改进,若满足要求,则不对LSTM预测模型进行更新。
与现有技术相比,本发明的有益效果为:
1.本发明能够较其他方法更为准确的预测接下来几个时刻的网络流量值。
2.本发明对网络流量数据的预处理操作可以有效地消除原始序列中所含有的噪声,不需要对数据进行平稳化处理,与其他预处理方法相比,可以有效地提升预测模型的预测精度;
3.本发明结合优化调度算法,提升时间性能,加快预测的效率,具有较好的适用性。
附图说明
图1为本发明一种实施例公开的基于VMD和LSTM的网络流量多步预测方法的流程图;
图2为本发明一种实施例公开的基于变分模态分解(VMD)的网络流量时间序列分解结果示意图;
图3为本发明一种实施例公开的长短期记忆网络(LSTM神经网络模型)基本单元的内部结构图;
图4为本发明一种实施例公开的经BN优化后的LSTM神经网络结构示意图;
图5为本发明一种实施例公开的网络流量时间序列一个模态分量预测损失图;
图6为本发明一种实施例公开的网络流量时间序列预测结果示意图;
图7为本发明一种实施例公开的建立预测模型流程图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明的一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本发明保护的范围。
下面结合附图对本发明做进一步的详细描述:
本发明的目的为:
本发明提供了一种基于VMD处理的网络流量数据,使得其分解成包含有效分解成分的多条网络流量时间序列数据,提取原始数据的特征,同时解决原有方法无法对模态混叠现象处理的缺点,并根据提取得到的有效变分模态分量分别代入LSTM神经网络模型进行训练。
本发明提供一种自适应的LSTM网络结构,初始化网络权重和相关配置参数,利用BN(Batch Normalization)优化网络结构,重新调整底层优化问题的参数,使优化环境更加平滑,梯度更具可靠性和预测性。让任何基于梯度的训练算法能够采取更大的step,而不会遇到loss的突然变化。并且能够使用更大的学习率,加快训练的速度,对超参数选择不太敏感。最终,通过迭代训练达到网络结构权重与参数的不断更新。
如图1所示,为达到上述目的,本发明提供一种基于VMD和LSTM的网络流量多步预测方法,包括:
S1、生成训练样本;
根据多种不同类型的网络流量时间序列输入数据生成训练样本,并对样本进行分类得到不同类型的网络流量时间序列数据;
在本发明的一个实施例中,训练样本data={X,Y}可包括输入特征数据X和预测数据的观测值Y。其中,输入数据是网络流量数据在每一天的流量值,流量数据的格式信息是含有时间标注的流量数值信息,由此可将X表示为X=(x1,x2,…,x9,x10)。预测数据的观测值在训练期间为输入数据的标签值,同样代表的是网络流量数据得数值,且定义为紧跟输入数据的后三位的数值,数据Y可表示为Y=(y1,y2,y3)。
S2、利用变分模态分解(VMD)对训练样本进行处理,实现固有模态分量(IMF)的有效分离、信号的频域划分、得到给定信号的8个有效分解成分,即如图2所示的八个模态分量;
具体为:
初始化模态分量的带宽μk、中心频率ωk以及循环次数n;
当ω大于等于0时,不断循环更新每个模态分量的带宽μk和中心频率ωk,自适应分解成以中心频率ωk为中心扩散的模态分量:
Figure BDA0002370394790000091
Figure BDA0002370394790000092
式中,
i)μk为分解后的模态分量;
ii)ωk为模态分量对应中心频率;
iii)λ为拉格朗日乘子;
直到满足下述条件时,退出循环:
Figure BDA0002370394790000093
式中,
i)∈为常数;
VMD是一种新型多分量信号分解算法。在计算每个分量时,将信号分布到变分模型中进行分解,使用希尔伯特变换和高斯平滑,通过寻找约束变分模型的最优解实现复杂信号的分解;
求解每一个模态的希尔伯特变换,然后把每一个模态的频谱移动到基带上,最后使用解调信号的H高斯平滑,最小化模态带宽的总和;
Figure BDA0002370394790000094
Figure BDA0002370394790000095
引入二次惩罚因子α和拉格朗日乘法算子λ,将约束问题转化成非约束问题;
Figure BDA0002370394790000101
式中,
i)α为二次惩罚因子
ii)λ为拉格朗日乘法算子。
S3、对模态分量的网络流量时间序列进行样本min-max归一化,并进行数据集切分,得到符合LSTM网络输入的结构模式;其中,
对分解后的8个模态分量的网络流量时间序列进行样本min-max归一化,使输出信号的各个维度分布在均值为0,方差为1的分布中,得到符合LSTM网络输入结构当模式,以便于不同单位过量级的数据进行对比和加权,样本归一化公式如下所示:
Figure BDA0002370394790000102
式中,
i)max为样本数据的最大值;
ii)min为样本数据的最小值;
接下来进行数据集的增维,将其变为符合LSTM神经网络模型的输入格式,即[samples,timesteps,features]格式的三维矩阵。
S4、初始化LSTM模型,设置LSTM模型中的参数和权重等,利用LSTM对模态分量进行多步预测模型建模,并利用BN进行网络结构优化,得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;
其中,图3为长短期记忆网络(LSTM神经网络模型)基本单元的内部结构图,图4为经BN优化后的LSTM神经网络结构示意图,图5为网络流量时间序列一个模态分量预测损失图,图7为建立预测模型流程图。
如图3~5、7所示,根据网络流量时间序列数据的真实值和预测值计算损失函数,这里采用均方误差(MSE)作为损失函数loss:
Figure BDA0002370394790000111
式中,
i)pred是根据输入的长度为batch_size的数据集预测出的预测数据集;
ii)tag为原数据集。
对于8个不同的IMF,训练得到8个预测模型,进而可以得到接下来几个时刻的网络流量数据,通过对每个模态分量的网络流量时间序列数据构造LSTM网络结构。使用窗口大小为10的输入格式,窗口大小为3的输出结构构造LSTM模型,使用的网络结构为一层输入层,两层LSTM层,一层BN层以及最后的全连接层。最后,基于ADAM优化方法对上述loss的值进行优化,使其最小。ADAM优化方法相对于批梯度下降(BGD)、随机梯度下降(SGD)等优化方法不同,对每一个参数计算自适应的学习率,除了存储一个指数衰减的历史平方梯度的平均,同时还保存一个历史梯度的指数衰减均值,利用这两个值计算loss的梯度,然后把梯度应用到变量上,更新系统权重,进而节省了大量的LSTM模型训练时间,提高了预测模型在处理海量数据时的实时性。
LSTM预测模型中各模块的状态变化包括:
ft=σ(Wf·ht-1+Wf·xt+bf)
it=σ(Wi·ht-1+Wi·xt+bi)
Figure BDA0002370394790000112
Figure BDA0002370394790000113
ot=σ(Wo·ht-1+Wo·xt+bo)
ht=ot·tanh(Ct)
式中,
i)Ct表示t时刻记忆细胞状态;
ii)ht为t时间点LSTM单元的所有输出;
iii)σ是Sigmoid激活函数;
iv)it,ft,ot分别是t时间点输入门、遗忘门和输出门的计算方法。
进一步,采用BN对网络结构进行优化,通过使用当前小批的统计信息对中间表示进行标准化来近似白化。给定一个Mini-Batch x,计算样本均值和样本方差。
Figure BDA0002370394790000121
Figure BDA0002370394790000122
式中,
i)m是小批量的大小。
进一步为了提高数值稳定性,引入了额外的可学习参数γ和β,缩放并移动格式化值。
Figure BDA0002370394790000123
Figure BDA0002370394790000124
式中,
i)ε是一个小的正常数;
ii)γ和β为额外的可学习参数。
为了保持LSTM的动态性和Ct的梯度流,我们不在细胞更新中应用批处理规范化。BN仅应用于垂直连接(即从一层到另一层),而不应用于水平连接(即在递归层内)。
S5、对八个包含下几个时刻特征的新序列进行变分模态分解还原处理,得到一条包含下几个时刻的网络流量时间序列预测结果;其中,
对于得到的8个包含接下来几个时刻特征的新序列进行变分模态分解还原处理,最终可以得到一条包含下几个时刻的网络流量时间序列预测结果,还原函数形式如下:
Figure BDA0002370394790000125
式中,
u为分解后的模态分量;
t为每个模态分量中不同时刻下标;
还原函数按照ui的不同时刻值一一对应叠加,由八个模态分量叠加为一个最终输出分量。
S6、对网络流量时间序列预测结果进行分析,并判断网络流量多步预测结果是否满足准确度要求;其中,
具体地,获取一个预测周期内网络流量预测值与实际值的偏差平均值和偏差最大值;将偏差平均值与第一阈值进行比较,并将偏差最大值与第二阈值进行比较;如果偏差平均值大于等于第一阈值或偏差最大值大于等于第二阈值,则判断不满足准确度要求。
进一步,的偏差平均值为:
Figure BDA0002370394790000131
的偏差最大值为:
Figure BDA0002370394790000132
其中,
i)k为一个预测周期内采样点的个数;
ii)Yt为负荷数据的实际值;
iii)yt为负荷数据的预测值。
最终判断是否满足准确度要求,如果满足则不对LSTM预测模型进行更新;否则获取更多的新训练样本数据,并通过新的训练样本对LSTM预测模型进行补充训练,以对LSTM预测模型进行更新。
进一步,算法用python语言编写,导入了kears、数据分析包pandas、数值计算扩展包numpy和用来绘制图像的matplotlib.pyplot。
下面通过具体实施例对上述实施例进行进一步补充说明和对上述实施例的优点进行验证。
在本发明的一个具体实施例中我们通过对网络流量数据进行预处理,得到滑动窗口大小为10,输出为3(多步预测步数)数据,将数据放入现在通常使用的EMD-LSTM模型以及本发明的算法中进行对比实验,通过精度对比可以看到本发明在多步预测中实验精度提升。
具体的精度评价指标包括均方根误差(RMSE)、均绝对百分比误差(MAPE)、PRED-(25)、R2预测精度和均方根对数误差(RMSLE)。并用它们来测量预测结果,比较DRNN、RNN和ARIMA方法对光曲线的预测能力。
各个指标的计算公式如下:
Figure BDA0002370394790000141
Figure BDA0002370394790000142
Figure BDA0002370394790000143
Figure BDA0002370394790000144
Figure BDA0002370394790000145
利用上述预处理后的数据,进行对比算法的验证,所得第三步预测结果如表1所示,预测效果如图6所示。
表1
Figure BDA0002370394790000146
表1可以更加清晰看出,VMD-LSTM方法的预测准确度在多步预测中比通常方法更加准确,误差率更低。
以上仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于VMD和LSTM的网络流量多步预测方法,其特征在于,包括:
生成训练样本;其中,所述训练样本为不同类型的网络流量时间序列数据;
利用VMD对所述训练样本进行处理,得到八个模态分量;
利用LSTM对所述模态分量进行多步预测模型建模,并利用BN进行网络结构优化,得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;
对八个包含下几个时刻特征的新序列进行变分模态分解还原处理,得到一条包含下几个时刻的网络流量时间序列预测结果;
判断所述网络流量时间序列多步预测结果是否满足准确度要求;
若不满足要求,则获取新的训练样本,利用新的训练样本对LSTM预测模型进行补充训练,对LSTM预测模型进行更新。
2.如权利要求1所述的网络流量多步预测方法,其特征在于,所述生成训练样本包括:
根据多种不同类型的网络流量时间序列输入数据生成训练样本,并对样本进行分类得到不同类型的网络流量时间序列数据。
3.如权利要求1所述的网络流量多步预测方法,其特征在于,所述利用VMD对所述训练样本进行处理,得到八个模态分量;包括:
利用VMD对所述训练样本进行固有模态分量的分解、信号的频域划分,得到八个模态分量。
4.如权利要求3所述的网络流量多步预测方法,其特征在于,利用VMD对所述训练样本进行固有模态分量的分解方法,包括:
初始化模态分量的带宽μk、中心频率ωk以及循环次数n;
当ω大于等于0时,不断循环更新每个模态分量的带宽μk和中心频率ωk,自适应分解成以中心频率ωk为中心扩散的模态分量:
Figure FDA0002370394780000011
Figure FDA0002370394780000021
式中,
μk为分解后的模态分量;
ωk为模态分量对应中心频率;
λ为拉格朗日乘子;
直到满足下述条件时,退出循环:
Figure FDA0002370394780000022
式中,
∈为常数;
VMD计算每个分量时,将信号分布到变分模型中进行分解,使用希尔伯特变换和高斯平滑,通过寻找约束变分模型的最优解实现复杂信号的分解;
求解每一个模态的希尔伯特变换,然后把每一个模态的频谱移动到基带上,最后使用解调信号的H高斯平滑,最小化模态带宽的总和;
Figure FDA0002370394780000023
Figure FDA0002370394780000024
引入二次惩罚因子α和拉格朗日乘法算子λ,将约束问题转化成非约束问题;
Figure FDA0002370394780000025
式中,
α为二次惩罚因子
λ为拉格朗日乘法算子。
5.如权利要求1所述的网络流量多步预测方法,其特征在于,在利用LSTM对所述模态分量进行多步预测模型建模之前,还包括:
对所述模态分量的网络流量时间序列进行样本min-max归一化,并进行数据集切分,得到符合LSTM网络输入的结构模式。
6.如权利要求5所述的网络流量多步预测方法,其特征在于,样本min-max归一化,包括:
Figure FDA0002370394780000031
式中,
max为样本数据的最大值;
min为样本数据的最小值。
7.如权利要求1所述的网络流量多步预测方法,其特征在于,所述利用LSTM对所述模态分量进行多步预测模型建模,并利用BN进行网络结构优化,得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;包括:
采用均方误差作为损失函数loss:
Figure FDA0002370394780000032
式中,
pred是根据输入的长度为batch_size的数据集预测出的预测数据集;
tag为原数据集;
对于八个模态分量,训练得到八个模态分量的预测模型以及八个包含下几个时刻特征的新序列;其中,
通过对每个模态分量的时间序列数据构造LSTM网络结构;
使用窗口大小为10的输入格式,窗口大小为3的输出结构构造LSTM模型;
使用的网络结构为一层输入层,两层LSTM层,一层BN层以及最后的全连接层,LSTM预测模型中各模块的状态变化包括:
ft=σ(Wf·ht-1+Wf·xt+bf)
it=σ(Wi·ht-1+Wi·xt+bi)
Figure FDA0002370394780000041
Figure FDA0002370394780000042
ot=σ(Wo·ht-1+Wo·xt+bo)
ht=ot·tanh(Ct)
式中,
Ct表示t时刻记忆细胞状态;
ht为t时间点LSTM单元的所有输出;
σ是Sigmoid激活函数;
it,ft,ot分别是t时间点输入门、遗忘门和输出门的计算方法;
采用BN对网络结构进行优化,通过使用当前小批的统计信息对中间表示进行标准化来近似白化,给定一个Mini-Batch x,计算样本均值和样本方差;
Figure FDA0002370394780000043
Figure FDA0002370394780000044
式中,
m是小批量的大小;
引入了额外的可学习参数γ和β,缩放并移动格式化值;
Figure FDA0002370394780000045
Figure FDA0002370394780000046
式中,
ε是一个小的正常数;
γ和β为额外的可学习参数。
8.如权利要求1所述的网络流量多步预测方法,其特征在于,变分模态分解还原处理的还原函数为:
Figure FDA0002370394780000051
式中,
u为分解后的模态分量;
t为每个模态分量中不同时刻下标;
还原函数按照ui的不同时刻值一一对应叠加,由八个模态分量叠加为一个最终输出分量。
9.如权利要求1所述的网络流量多步预测方法,其特征在于,所述判断所述网络流量时间序列多步预测结果是否满足准确度要求,包括:
获取一个预测周期内的网络流量预测值与实际值的偏差平均值和偏差最大值;
将所述偏差平均值与第一阈值进行比较,并将所述偏差最大值与第二阈值进行比较;
如果所述偏差平均值大于等于所述第一阈值或所述偏差最大值大于等于所述第二阈值,则判断不满足所述准确度要求。
10.如权利要求1所述的网络流量多步预测方法,其特征在于,若满足要求,则不对LSTM预测模型进行更新。
CN202010048854.2A 2020-01-16 2020-01-16 一种基于vmd和lstm的网络流量多步预测方法 Pending CN111277434A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010048854.2A CN111277434A (zh) 2020-01-16 2020-01-16 一种基于vmd和lstm的网络流量多步预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010048854.2A CN111277434A (zh) 2020-01-16 2020-01-16 一种基于vmd和lstm的网络流量多步预测方法

Publications (1)

Publication Number Publication Date
CN111277434A true CN111277434A (zh) 2020-06-12

Family

ID=71003503

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010048854.2A Pending CN111277434A (zh) 2020-01-16 2020-01-16 一种基于vmd和lstm的网络流量多步预测方法

Country Status (1)

Country Link
CN (1) CN111277434A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914516A (zh) * 2020-08-20 2020-11-10 杭州安恒信息技术股份有限公司 一种网络数据预测序列生成方法、装置、设备及存储介质
CN112287607A (zh) * 2020-11-13 2021-01-29 华东交通大学 一种多尺度电离层tec预测方法
CN112651543A (zh) * 2020-11-10 2021-04-13 沈阳工程学院 一种基于vmd分解与lstm网络的日用电量预测方法
CN112866015A (zh) * 2021-01-07 2021-05-28 华东师范大学 一种基于数据中心网络流量预测与学习的智能节能控制方法
CN113112075A (zh) * 2021-04-14 2021-07-13 哈尔滨工程大学 一种基于vmd和narx的内燃机噪声预测方法
CN113571136A (zh) * 2021-06-08 2021-10-29 广州地铁设计研究院股份有限公司 一种多环芳烃预测方法、装置、介质及设备
CN114118567A (zh) * 2021-11-19 2022-03-01 国网河南省电力公司经济技术研究院 一种基于双通路融合网络的电力业务带宽预测方法
CN115225516A (zh) * 2022-07-18 2022-10-21 重庆邮电大学 一种基于改进abc-vmd的最小二乘支持向量机网络流量预测方法
WO2023273837A1 (zh) * 2021-06-30 2023-01-05 中兴通讯股份有限公司 模型训练方法、流量预测方法、流量负载均衡的方法、装置及存储介质
CN116633803A (zh) * 2023-07-24 2023-08-22 四川众力佳华信息技术有限公司 一种新型的网络流量组合预测模型
CN116992781A (zh) * 2023-09-27 2023-11-03 浙江大学海南研究院 基于深度学习的多步多要素风浪预报方法
CN117201334A (zh) * 2023-11-08 2023-12-08 之江实验室 一种多模态网络流量预测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109462520A (zh) * 2018-11-19 2019-03-12 电子科技大学 基于lstm模型的网络流量资源态势预测方法
CN109816008A (zh) * 2019-01-20 2019-05-28 北京工业大学 一种基于长短期记忆网络的天文大数据光变曲线异常预测方法
CN109948833A (zh) * 2019-02-25 2019-06-28 华中科技大学 一种基于长短期记忆网络的水电机组劣化趋势预测方法
CN110033002A (zh) * 2019-04-19 2019-07-19 福州大学 基于多任务级联卷积神经网络的车牌检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109462520A (zh) * 2018-11-19 2019-03-12 电子科技大学 基于lstm模型的网络流量资源态势预测方法
CN109816008A (zh) * 2019-01-20 2019-05-28 北京工业大学 一种基于长短期记忆网络的天文大数据光变曲线异常预测方法
CN109948833A (zh) * 2019-02-25 2019-06-28 华中科技大学 一种基于长短期记忆网络的水电机组劣化趋势预测方法
CN110033002A (zh) * 2019-04-19 2019-07-19 福州大学 基于多任务级联卷积神经网络的车牌检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHONGDANG LIU等: "Prognostics for Rotating Machinery Using Variational Mode Decomposition and Long Short-Term Memory Network", 《2019 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN AND CYBERNETICS (SMC)》 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914516B (zh) * 2020-08-20 2024-03-22 杭州安恒信息技术股份有限公司 一种网络数据预测序列生成方法、装置、设备及存储介质
CN111914516A (zh) * 2020-08-20 2020-11-10 杭州安恒信息技术股份有限公司 一种网络数据预测序列生成方法、装置、设备及存储介质
CN112651543A (zh) * 2020-11-10 2021-04-13 沈阳工程学院 一种基于vmd分解与lstm网络的日用电量预测方法
CN112287607A (zh) * 2020-11-13 2021-01-29 华东交通大学 一种多尺度电离层tec预测方法
CN112287607B (zh) * 2020-11-13 2022-09-02 华东交通大学 一种多尺度电离层tec预测方法
CN112866015A (zh) * 2021-01-07 2021-05-28 华东师范大学 一种基于数据中心网络流量预测与学习的智能节能控制方法
CN112866015B (zh) * 2021-01-07 2021-10-12 华东师范大学 一种基于数据中心网络流量预测与学习的智能节能控制方法
CN113112075A (zh) * 2021-04-14 2021-07-13 哈尔滨工程大学 一种基于vmd和narx的内燃机噪声预测方法
CN113112075B (zh) * 2021-04-14 2022-04-05 哈尔滨工程大学 一种基于vmd和narx的内燃机噪声预测方法
CN113571136A (zh) * 2021-06-08 2021-10-29 广州地铁设计研究院股份有限公司 一种多环芳烃预测方法、装置、介质及设备
WO2023273837A1 (zh) * 2021-06-30 2023-01-05 中兴通讯股份有限公司 模型训练方法、流量预测方法、流量负载均衡的方法、装置及存储介质
CN114118567A (zh) * 2021-11-19 2022-03-01 国网河南省电力公司经济技术研究院 一种基于双通路融合网络的电力业务带宽预测方法
CN115225516A (zh) * 2022-07-18 2022-10-21 重庆邮电大学 一种基于改进abc-vmd的最小二乘支持向量机网络流量预测方法
CN115225516B (zh) * 2022-07-18 2023-09-12 重庆邮电大学 基于改进abc-vmd的lssvm网络流量预测方法
CN116633803B (zh) * 2023-07-24 2023-10-20 四川众力佳华信息技术有限公司 一种新型的网络流量组合预测模型
CN116633803A (zh) * 2023-07-24 2023-08-22 四川众力佳华信息技术有限公司 一种新型的网络流量组合预测模型
CN116992781A (zh) * 2023-09-27 2023-11-03 浙江大学海南研究院 基于深度学习的多步多要素风浪预报方法
CN116992781B (zh) * 2023-09-27 2023-12-26 浙江大学海南研究院 基于深度学习的多步多要素风浪预报方法
CN117201334A (zh) * 2023-11-08 2023-12-08 之江实验室 一种多模态网络流量预测方法及装置
CN117201334B (zh) * 2023-11-08 2024-01-26 之江实验室 一种多模态网络流量预测方法及装置

Similar Documents

Publication Publication Date Title
CN111277434A (zh) 一种基于vmd和lstm的网络流量多步预测方法
CN112036084B (zh) 一种相似产品寿命迁移筛选方法和系统
US11385292B2 (en) Battery materials screening
CN112990556A (zh) 一种基于Prophet-LSTM模型的用户用电能耗预测方法
CN111680786B (zh) 一种基于改进权重门控单元的时序预测方法
CN111950810B (zh) 一种基于自演化预训练的多变量时间序列预测方法和设备
CN112765894B (zh) 一种基于k-lstm的铝电解槽状态预测方法
EP3792841A1 (en) Automated feature generation for machine learning application
CN116523079A (zh) 一种基于强化学习联邦学习优化方法及系统
CN112434848A (zh) 基于深度信念网络的非线性加权组合风电功率预测方法
CN115271186B (zh) 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN111079926A (zh) 基于深度学习的具有自适应学习率的设备故障诊断方法
CN116187835A (zh) 一种基于数据驱动的台区理论线损区间估算方法及系统
CN116911459A (zh) 适应于虚拟电厂的多输入多输出超短期电力负荷预测方法
CN116956160A (zh) 一种基于自适应树种算法的数据分类预测方法
Gan et al. Workload prediction based on GRU-CNN in cloud environment
Yang et al. ELM parameter estimation in view of maximum likelihood
CN113822583A (zh) 配电网投资需求预测方法、装置、终端设备及介质
Peng et al. Stock price prediction based on recurrent neural network with long short-term memory units
CN113537553A (zh) 一种区域配电网负荷需求混合预测方法
CN112667394A (zh) 一种计算机资源利用率优化方法
CN112183814A (zh) 一种短期风速预测方法
CN117494908B (zh) 基于大数据的港口货物吞吐量预测方法及系统
Shahoud et al. Incorporating unsupervised deep learning into meta learning for energy time series forecasting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20200612

RJ01 Rejection of invention patent application after publication