CN109462520B - 基于lstm模型的网络流量资源态势预测方法 - Google Patents

Abstract

本发明属于网络流量资源态势预测技术领域，特别是一种基于LSTM模型的网络流量资源态势预测方法。本发明的目的在于提出适用于流量时空非线性特点的长短期记忆(Long Short‑Term Memory，LSTM)循环神经网络预测模型。该模型结合实际流量数据突发性较强和长程依赖的特点进行模型训练和定量预测。本发明的有益效果为，本发明通过LSTM模型实现对网络流量的预测功能，有效的提高了预测准确性，并且当数据样本差异性较大时，LSTM预测模型的优势更加显著。

Description

基于LSTM模型的网络流量资源态势预测方法

技术领域

本发明属于网络流量资源态势预测技术领域，特别是一种基于LSTM模型的网络流量资 源态势预测方法。

背景技术

随着网络的普及和发展，网络管理面临许多挑战。无线传感网，Ad hoc网络，space-based network等冗杂的异构网络设备让拓扑结构日趋复杂，频繁的信息交互使 得网络流量激增，网络运行状况的复杂性和不确定性描述能力相应降低。流量预测已 成为流量工程、拥塞控制和网络运维管理研究的核心问题。

由于通信网络的多协议特性和业务源的突发性，网络负载常保持在大流量突发与长时间相对静止交替出现的状态，使得流量数据的非线性特点尤为明显。因此，探究 适应于通信网络流量数据多变化性特点的预测技术，动态预测未来时刻的流量值，将 预测误差控制在一定范围内，能够更好地为通信网络信息反馈和资源调度提供数据支 撑，这对通信网络长期部署具有重要的指导意义。

流量预测指的是通过对数据预处理之后的历史数据选择适合的模型进行样本学习，达到预测未来某一段时刻内的同一指标值的效果。为了提高预测的精确性，在模 型选择上应该适应于历史时间序列的特点。近年来，随着机器学习和深度学习知识背 景的丰富和研究领域的扩展，数据的处理不再局限于传统单一数学模型的适应性。基 于人工神经网络的深度学习模型能够通过样本的自适应学习，迭代更新网络层与层之 间的权值和偏置参数，较好的拟合非线性数据处理问题。通过丰富训练样本和增加隐 层数量和隐层神经元个数，能够较大范围调整模型的适应度，在非线性时间序列预测 上表现突出，但同时由于对数据特点的敏感性和依赖性，不同场景下所适应的模型存 在较大的差异性。

通信网络流量会因网络环境、流量采集时间长度以及时间尺度等因素的不同而表现 出不同的特性，网络流量预测很难找到一种通用的建模方法，主要原因有：1)数据 本身存在较强的随机性，并不是严格按照某种既定规律出现，预测误差难以通过数学 统计模型有效把控；2)网络流量存在较多的突发情况，导致流量的非线性剧增，即 使采用人工神经网络等非线性模型也很难对其变化规律进行准确建模。

发明内容

本发明的发明目的在于：针对上述存在的问题，探究了适用于流量时空非线性特点 的长短期记忆(Long Short-Term Memory，LSTM)循环神经网络预测模型。该模型 结合实际流量数据突发性较强和长程依赖的特点进行模型训练和定量预测。

本发明采用的技术方案如下，基于LSTM模型的网络流量资源态势预测方法，其特征在于， 包括以下步骤：

S1、数据预处理：通过对固定频率下采样所得的通信网络OD_ij流数据进行处理， 得到N个连续周期下的时间序列X(t)＝[x₁,x₂,...,x_N]；其中OD_ij流的定义为主机i到主 机j的端到端流量；

S2、建立LSTM模型：确定神经网络中输入神经元个数R，输出神经元个数M以及 隐层神经元数量，完成从输入空间U^R到输出空间U^M的映射，即根据前R个时刻流量值预测 后M个时刻流量值，设定步长τ进行相空间分解与重构，建立训练样本输入X到输出Y的映 射：

其中y_i＝x_(m-i)τ；

其中，X中的每一行对应一个训练输入样本，长度为τ，经过LSTM模型正向传播映射得到输出样本标签值y_i'，与真实流量值y_i进行误差损失计算，反馈训练LSTM模型；

S3、根据S1获取的数据，对S2建立的LSTM模型进训练，获得训练好的LSTM模型， 具体为：

S31、从S1中获得的数据中切割出训练数据n，并按S2中设定步长τ，将训练数据分为 n/τ+1个样本集，进行空间重构，按列存储为输入矩阵X以及其对应矩阵Y；

S32、对矩阵按列进行归一化处理，将数据转换到[0,1]范围内，建立标准化数据；所述归 一化采用公式

其中x_min和x_max分别为该组样本的最小值和最大值，x_i为 样本组中对应每一个流量值，i取1,2,…τ；

S33、设定随机初始权值对LSTM网络进行初始化，并输入样本集对网络进行训练，根 据训练中最优均方误差PMSE所对应参数建立一个τ输入1输出的神经网络；

S4、采用步骤S1的方法获得流量数据，利用步骤S3中训练好的LSTM模型，得出预测结果。

本发明的有益效果为，本发明通过LSTM模型实现对网络流量的预测功能，有效的提高了预测准确性，并且当数据样本差异性较大时，LSTM预测模型的优势更加显著。

附图说明

图1为基于LSTM的流量预测算法流程；

图2为实验数据图，其中，图(a)为不同采样粒度下的单条OD流，图(b)为 不同OD流的流量形态；

图3为基于LSTM的网络流量预测；

图4为不同步长和隐层神经元数量下的流量预测效果对比，其中，图(a)为固 定神经元数量探究不同步长参数产生的影响，图(b)为固定步长探究不同隐层神经 元数量的影响；

图5为不同采样粒度下对流量预测结果的影响；

图6为不同流量形态下所探究算法与常用其他算法的预测情况对比结果，其中对比算法包括PSO-LSSVM、BP、Elman算法，其中，图(a)为训练效果对比图，图 (b)为预测相对误差对比图。

具体实施方式

下面结合附图和实施例，详细描述本发明的技术方案。

如图1所示，为本发明的基于LSTM的流量预测算法流程，主要包括：

根据历史数据获得样本数据，即对数据预处理：通过对固定频率下采样所得的通信网络OD_ij流(主机i到主机j的端到端流量)数据进行处理，得到N个连续周期下 的时间序列X(t)＝[x₁,x₂,...,x_N]。

1)对于单一OD流数据，通过二次采样将数据进一步离散化，得到不同采样周

期下的时间序列数据；

2)选取同一网络下多条不同特点的OD流进行等时间间隔采样，得到多条时间

序列数据。

网络模型设计，对LSTM网络模型进行设计，确定神经网络中输入神经元个数R，输出 神经元个数M以及隐层神经元数量，完成从输入空间U^R到输出空间U^M的映射。对于具有单一量化指标的时间序列预测，根据前R个时刻流量值预测后M个时刻流量值可选取步长τ进行相空间分解与重构，转化为X到Y的映射问题：

其中y_i＝x_(m-i)τ；

其中X中的每一行对应一个训练输入样本，长度为τ，经过LSTM模型正向传播映射得 到输出样本标签值y_i'，与真实流量值y_i进行误差损失计算，反馈训练LSTM模型。

神经网络模型的参数设置，如LSTM网络的逻辑门权值参数。在预测过程中，通过迭代 寻优的方法自适应调整这些参数，参数的选择标准采用终止代数K前的最优均方误差PMSE， 即当达到收敛时停止训练和参数更新。

其中k表示当前迭代次数；

LSTM能够很好的学习数据间的非线性映射，在LSTM模型训练过程中，每个LSTM神经元细胞的输入都包含上时刻单元状态C_t-1和上时刻LSTM输出h_t-1以及当前时刻输入X_t三部 分组成，同时神经单元内的输入门、遗忘门和输出门完成了信息选择和信息转换的功能，具 体如下：

遗忘门用来选择上一个时刻的信息被保留或忘记，1表示保留，0表示丢弃，w_f、b_f分别为神输入门对应权值和偏置参数，h_t-1表示上一时刻输出信息，X_t为当前时刻的输入：

f_t＝σ(w_f·[h_t-1,X_t]+b_f)∈{0,1}

输入门负责计算当前输入的保留信息i_t和新状态信息C_t'的产生，w_i、b_i、w_c、b_c为遗忘门 对应权值和偏置参数：

所以当前LSTM的隐层神经元状态更新为C_t＝f_t*C_t-1+i_t*C_t'；

输出门表示当前时刻的输出信息h_t，是上一时刻状态、当前输入和隐含层状态共同作用 的结果：

其中，w_o、b_o为输出门对应权值和偏置参数，与w_f、b_f、w_i、b_i、w_c、b_c一起参与训练 和迭代更新直至收敛迭代次数达到最大临界条件K时停止训练，保存当前最优参数构建 LSTM网络模型。

将历史数据分为训练集和测试集，将训练集的数据作为网络输入参与网络训练，根据梯 度下降算法进行参数更新，建立神经网络模型，步骤细化为：

1)将某条OD流组成的时间序列数据切割为训练数据和预测数据，训练集用于训练初

始的LSTM网络模型，预测集用于验证训练后模型的有效性；

2)设置步长τ(即根据多少历史数据预测下一时刻的值)，并将训练数据按照选定步长 分为n/τ+1个样本集，进行空间重构，按列存储为输入矩阵X以及其对应矩阵Y；

3)对矩阵按列进行归一化处理，将数据转换到[0,1]范围内，建立标准化数据；

归一化能够有效降低数据之间的差异性，按样本列进行归一化能够减小样本波动性，训 练过程中使得神经网络更容易收敛。归一化采用公式

其中x_min和x_max分别 为该组样本的最小值和最大值，x_i为样本组中对应每一个流量值，i取1,2,…τ；

4)设定随机初始权值对LSTM网络进行初始化，并输入样本集对网络进行训练，根据 训练中最优均方误差PMSE所对应参数建立一个τ输入1输出的神经网络；

5)对预测数据做相同样本划分，通过训练好的LSTM网络得到将输出值y′_i与实际值y_i进行比较，以相对误差衡量模型的精确度。

实施例

为了检验流量预测模型效果，本例采用Abilene网络流量数据进行测试。Abilene网络是 美国教育科研网，其核心网络拓扑包括12个节点和15条双向链路，对源目的节点(OD对) 间传输的业务流量每隔5分钟采样一次。实验选取了2003/05/01～2003/05/30期间的真实网络 流量数据，共12*24*7*4＝8064个流量矩阵。。

S1、首先对流量数据进行预处理。从采集到的8064个流量矩阵中提取从任意两个节点间 的所有时刻流量值组成时间序列，选取部分时间序列进行预测。

由于时间粒度的粗细可能会对预测结果产生影响，因此对所提取的时间序列做进一步采 样，并聚合得到更粗粒度(一般也更稳定)的真实流量值，图1为以OD123为例的各粒度真 实流量，对于细粒度5分钟向1小时的刻度聚合时，采用取峰值的采样技术^[17]，而对于1小 时向1天的时刻聚合，选取均值作为半天(12小时)的流量值代表。。

S2、应用LSTM网络模型进行OD123流量预测，训练均方误差如图3所示，随着迭代次数的增加，权值更新在梯度下降过程中能够收敛到最优值。

S3、网络流量预测：

采用自适应调整算法使得网络模型在测试过程中每次以最优权值w_f、w_i、w_c、w_o和偏置 参数b_f、b_i、b_c、b_o进行正向传播，LSTM网络的预测输出及相对误差如图3所示。从图中可 以看出，相对误差SSE基本控制在20％范围内。

S4、超参数影响因子探究。LSTM的超参数元组(隐层神经元数量,步长)，即[hidden_numbers,eph]对训练和预测效果存在不同程度的影响。

在不同隐层神经元数量下，LSTM步长对预测影响各异，即使在相同隐层神经元个数下， 步长对预测的影响也有所不同，分别如图4(a)和图4(b)所示。经过多次实验，在超参数 [hidden_numbers＝5,eph＝4]时，误差相对较小且变化趋于稳定；在训练均方误差达到最小值时， 预测相对误差也相应较小，说明选择训练均方误差最小值是提升流量预测精度的关键。

S5、不同时间粒度下的模型适应度探究。图5利用LSTM对3种不同采样速率下(5分钟，1小时，12小时)的OD123流量数据进行了训练对比。从训练均方误差曲线上来看，采 样间隔成倍数的增加并没有降低流量的自相似性。在取相同的训练样本(56组)前提下，训 练均方误差最小值均保持在0.003左右，同时也说明LSTM网络对于数据敏感性较弱，对于 不同采样粒度下的网络流量均有较好适应度。

S6、算法评估。传统BP网络、Elman网络、粒子群优化的SVM(PSO-SVM)及本文提 出的LSTM网络对流量都有一定的预测效果。为了对比以上4种模型的预测效果和泛化能力，在预测过程中选取多个具有不同特点的流量数据样本，OD123、OD109、OD49、OD86，各 自的流量特点如图1所示，这里以训练均方误差最小值为收敛目标进行参数优化，针对以上 四种流量，分别选取9组预测样本，以预测相对误差平均值作为评价指标来进行性能对比。

从图6(a)来看，LSTM和PSO-SVM以及Elman的收敛效果明显优于BP神经网络， 但PSO-SVM对于数据突变较大的流(如OD49)和较为稀疏的数据(如OD109)训练误差 明显增大，而Elman和LSTM对每种数据流收敛效果都较好；从图6(b)中看出，LSTM网 络和PSO-SVM预测效果明显优于BP网络和Elman网络，PSO-SVM预测效果大多表现比神 经网络好，但在某些OD流(如OD49)上预测效果偏差较大；从表1中各模型训练时间上来 看，与其他三种模型相比，PSO-SVM训练时间最长。

表1模型训练时间(s)

LSTM网络对于不同数据特点的OD流依赖性较其他模型更弱，训练误差和预测效果也 相对较好，较快的训练速度也能满足一定精度范围内的动态回归预测的需求。从模型测试结 果上来看，LSTM有效解决了突发性较强的网络流量数据难以预测的问题。相比BP、Elman 和PSO-SVM等模型，LSTM对于非平稳的网络流量数据训练效果和预测效果均有较好的表 现，同时对于数据有更低的依赖性，在不同时间粒度和不同业务流数据预测上都有较好的适 应度。

Claims (2)

1.基于LSTM模型的网络流量资源态势预测方法，其特征在于，包括以下步骤：

S1、数据预处理：通过对固定频率下采样所得的通信网络OD_ij流数据进行处理，得到N个连续周期下的时间序列X(t)＝[x₁,x₂,...,x_N]；其中OD_ij流的定义为主机i到主机j的端到端流量；

S2、建立LSTM模型：确定神经网络中输入神经元个数r，输出神经元个数m以及隐层神经元数量，完成从输入空间U^r到输出空间U^m的映射，即根据前r个时刻流量值预测后m个时刻流量值，设定步长τ进行相空间分解与重构，建立训练样本输入X到输出Y的映射：

其中y_i＝x_(m-i)τ；

其中，X中的每一行对应一个训练输入样本，长度为τ，经过LSTM模型正向传播映射得到输出样本标签值y_i'，与真实流量值y_i进行误差损失计算，反馈训练LSTM模型；

S3、根据S1获取的数据，对S2建立的LSTM模型进训练，获得训练好的LSTM模型，具体为：

S31、从S1中获得的数据中切割出训练数据n，并按S2中设定步长τ，将训练数据分为n/τ+1个样本集，进行空间重构，按列存储为输入矩阵X以及其对应矩阵Y；

S32、对矩阵按列进行归一化处理，将数据转换到[0,1]范围内，建立标准化数据；所述归一化采用公式

其中x_min和x_max分别为该列样本的最小值和最大值，x_i为样本组中对应每一个流量值，i取1,2,…τ；

S33、设定随机初始权值对LSTM网络进行初始化，并输入样本集对网络进行训练，根据训练中最优均方误差PMSE所对应参数建立一个τ输入1输出的神经网络；

S4、采用步骤S1的方法获得流量数据，利用步骤S3中训练好的LSTM模型，得出预测结果。

2.根据权利要求1所述的基于LSTM模型的网络流量资源态势预测方法，其特征在于，所述步骤S33中，最优均方误差PMSE所对应参数的获取方法是：

在训练过程中，通过迭代寻优的方法自适应调整LSTM模型的参数，参数的选择标准采用终止代数K前的最优均方误差PMSE，即当达到收敛时停止训练和参数更新：

其中k表示当前迭代次数。

Images