CN109818775A - 基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法 - Google Patents

Abstract

本发明提供了基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，包括以下步骤：步骤1：数据预处理，将数据集拆分成训练样本和测试样本；步骤2：初始化小波神经网络WNN结构及自适应微分进化算法ADE种群大小NP、最大进化代数G、初始变异概率F₀、交叉因子CR的参数；本发明在小波神经网络修正参数的步骤中增加动量项；同时采用自适应微分进化算法(ADE)生成小波神经网络初始连接权值、小波系数及动量项系数，通过优化调整WNN参数初始化的策略，建立了基于自适应微分进化算法优化小波神经网络(ADE‑WNN)的模型，经过优化改进的小波神经网络模型，收敛速度更快，预测精度也更高且具有很好的稳定性，可以有效地预测未来短期的网络流量数据。

Description

基于自适应微分进化算法优化小波神经网络的短期网络流量 预测方法

技术领域

本发明涉及网络人工智能技术领域，具体为基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法。

背景技术

随着互联网信息时代的飞速发展，网络应用规模和拓扑结构迅速增长，网络的性能和服务质量等问题也随之显现出来。用户希望通过互联网获得更优质、更可靠的服务，而网络服务提供商则希望通过优化网络资源来提高网络的可控性和管理性，进而提高其利用率。流量信息是网络负荷状态的重要反馈指标，通过精准可靠地预测网络流量，掌握其规律和趋势并及时进行调控，能够大大提升网络资源利用率和服务质量。

网络流量具有非线性、自相关性、多分形性等复杂特点。传统的网络流量预测方法通常使用自回归滑动平均模型(ARMA)、差分自回归滑动平均模型(ARIMA)和马尔可夫调制泊松过程模型(MMPP)等线性预测模型。现时代以人工神经网络为代表的非线性预测方法，拥有卓越的泛化能力与预测能力，例如有基于时间序列相关的自适应BP神经网络的网络流量预测模型，以及结合量子遗传算法优化BP神经网络的组合模型并应用在校园网络流量预测场景中。最新出现的小波神经网络使得神经网络对非线性结构数据的泛化能力和预测能力有一定程度的提高。

传统的线性预测模型无法准确地刻画网络流量的基本特征，并且方法简单，泛化能力弱，预测结果误差较高。BP神经网络模型本身存在的一些固有缺陷。小波神经网络的基础结构和训练模式并没有发生改变，所以仍旧存在容易陷入局部最优和训练速度缓慢等缺陷。

发明内容

本发明的目的在于提供基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，包括以下步骤：

步骤1：数据预处理，将数据集拆分成训练样本和测试样本；

步骤2：初始化小波神经网络WNN结构及自适应微分进化算法ADE种群大小NP、最大进化代数G、初始变异概率F₀、交叉因子CR的参数；

步骤3：对种群中NP个个体进行编码，向量维度与小波神经网络的连接权值，小波基函数的伸缩系数、平移系数以及动量项系数相对应；

步骤4：自适应微分进化算法对编码后的群体进行训练，通过自适应变异、交叉、选择操作，搜索适应度最优异的个体；

步骤5：将寻优后的连接权值和小波系数赋给小波神经网络；

步骤6：小波神经网络训练，计算网络输出值及误差值，并进行连接权值和小波系数的调整；

步骤7：输入测试样本进行短时网络流量预测；

步骤8：计算评价指标，给出预测结果。

进一步的，所述方法采用的是隐含层神经元激励函数为Morlet小波函数：

进一步的，所述小波神经网络模型学习算法的步骤如下：

(1)输入数据，计算网络输出值；

隐含层的输出计算公式为：

式中，φ(x)为小波基函数，a_j、b_j分别为其中的伸缩系数和平移系数；

输出层的计算公式为：

(2)计算网络误差值；

e_k＝y-y_k

式中，y为实际期望值，y_k为预测值；

WNN的误差评价指标函数为：

(3)误差反向传播，依据使用动量项改进后的梯度下降算法，修正各项参数；

式中，g为当前训练次数，M_c为动量项系数，修正量Δ的计算公式为：

式中，η₁为连接权值的学习概率，η₂为小波系数的学习概率。

进一步的，所述自适应微分进化算法步骤如下：

(1)种群初始化

假设种群大小为NP，每个个体均为N维向量，进化总代数为G，种群中第i个个体向量的编码方式定义如下：

x_i(0)＝(x_i，0(0)，…，xi，_N-1(0))，i∈[1，NP]

N＝m×s+s×m+2×s+1

式中，m为WNN的输入层数，s为隐含层数，n为输出层数；

第i个个体的第j维度值取值方式如下：

x_i，j(0)＝x_{j_min}+rand(0，1)(x_{j_max}-x_{j_min})

式中，i∈[1，NP]，j∈[0，N-1]，rand(0，1)为产生一个在0和1之间的随机数；

(2)适应度计算

本发明采用的适应度计算函数为：

式中，E为上述WNN的误差评价指标函数，即训练误差越小，适应度越大；

(3)变异操作

目标个体的变异行为通过微分策略实现，本发明采用的变异操作方式如下：

v_i(g)＝x_i1(g)+F·(x_i2(g)-x_i3(g))，i≠i₁≠i₂≠i₃

式中，F∈(0，1)，为用于控制缩放比例的变异因子，g代表当前进化代数，x_i1(g)表示目标个体，v_i(g)表示经过变异后的变异个体；

本发明增加自适应变异因子机制，根据算法寻优求解的情况，实时修正变异因子F，自适应变异算法的设计如下：

式中，F₀为算法初始变异概率；F∈[F₀，2F₀]的取值范围，能够保持种群中个体的多样性；

(4)交叉操作

交叉操作可以保证种群中个体的多样性，本发明采用二项式选择的交叉操作方式，计算公式如下：

式中，交叉因子CR∈(0，1)，jrand∈[0，N-1]；

本发明增加交叉因子自适应调整机制，使得种群中交叉后的新个体能够有更多机会搜索新的空间，CR调整策略如下：

式中，CR_min，CR_max分别为交叉因子的下限和上限，f_i为个体x_i的适应度值，f_min和f_max为当前种群中最差和最优个体的适应度值，为种群个体适应度的平均值；

(5)选择操作

本发明采用贪婪算法进行选择进入下一代的个体：

与现有技术相比，本发明的有益效果是：

本发明在小波神经网络修正参数的步骤中增加动量项，有效解决了传统梯度下降算法中存在的收敛速度缓慢以及易出现局部极小解的问题；同时采用自适应微分进化算法(ADE)生成小波神经网络初始连接权值、小波系数及动量项系数，通过优化调整WNN参数初始化的策略，建立了基于自适应微分进化算法优化小波神经网络(ADE-WNN)的模型，经过优化改进的小波神经网络模型，收敛速度更快，预测精度也更高且具有很好的稳定性，可以有效地预测未来短期的网络流量数据。

附图说明

图1为本发明ADE-WNN算法流程图；

图2为本发明WNN模型结构图；

图3为本发明Morlet函数图；

图4为本发明BPNN和WNN预测值与真实值对比图；

图5为本发明GA-WNN、DE-WNN和ADE-WNN预测值与真实值对比图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。此处所描述的具体实施例仅用于解释本发明技术方案，并不限于本发明。

本发明提供一种技术方案：基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，包括以下步骤：

步骤1：数据预处理，将数据集拆分成训练样本和测试样本；

步骤2：初始化小波神经网络WNN结构及自适应微分进化算法ADE种群大小NP、最大进化代数G、初始变异概率F₀、交叉因子CR的参数；

步骤3：对种群中NP个个体进行编码，向量维度与小波神经网络的连接权值，小波基函数的伸缩系数、平移系数以及动量项系数相对应；

步骤4：自适应微分进化算法对编码后的群体进行训练，通过自适应变异、交叉、选择操作，搜索适应度最优异的个体；

步骤5：将寻优后的连接权值和小波系数赋给小波神经网络；

步骤6：小波神经网络训练，计算网络输出值及误差值，并进行连接权值和小波系数的调整；

步骤7：输入测试样本进行短时网络流量预测；

步骤8：计算评价指标，给出预测结果。

进一步的，本发明采用的是隐含层神经元激励函数为Morlet小波函数：

基础小波神经网络是根据每次反向传递的实时结果，使用梯度下降算法对连接权值和小波基函数的平移系数、伸缩系数进行动态调整，来不断修正输出层的预测值和实际期望值之间的误差，让网络的输出预测值更加接近真实期望值。

为了加快网络连接权值及小波系数的训练收敛速度，本发明采用加入动量项的方案对梯度下降算法进行改进。通过动量项引导参数向着误差曲面底部的趋势进行修正，有助于避免梯度下降的过程中陷入误差底面的局部极小解，同时减小学习过程的振荡趋势，从而改善梯度下降的收敛性。

进一步的，小波神经网络模型学习算法的步骤如下：

(1)输入数据，计算网络输出值；

隐含层的输出计算公式为：

式中，φ(x)为小波基函数，a_j、b_j分别为其中的伸缩系数和平移系数；

输出层的计算公式为：

(2)计算网络误差值；

e_k＝y-y_k

式中，y为实际期望值，y_k为预测值；

WNN的误差评价指标函数为：

(3)误差反向传播，依据使用动量项改进后的梯度下降算法，修正各项参数；

式中，g为当前训练次数，M_c为动量项系数，修正量Δ的计算公式为：

式中，η₁为连接权值的学习概率，η₂为小波系数的学习概率。

当小波神经网络满足误差要求或者达到最大训练次数时，小波神经网络结束训练。最后将测试网络流量数据输入已完成训练的小波神经网络，以达到短期网络流量预测的目标。

小波神经网络进行训练时，神经网络的参数初始化是通过随机函数完成的。由于梯度下降算法自身存在如对初值敏感、易陷入局部最优等缺陷，使得预测结果还有一定的提升空间。

所以为了优化网络，提高预测精度，本发明提出WNN的改进方法，采用自适应微分进化算法取代随机生成的方法，进行参数初始化寻优，将得到的最优解解码后输入初始小波神经网络中。

进一步的，自适应微分进化算法步骤如下：

(1)种群初始化

假设种群大小为NP，每个个体均为N维向量，进化总代数为G，种群中第i个个体向量的编码方式定义如下：

x_i(0)＝(x_i，0(0)，…，x_i，N1(0))，i∈[1，NP]

N＝m×s+s×m+2×s+1

式中，m为WNN的输入层数，s为隐含层数，n为输出层数；

第i个个体的第j维度值取值方式如下：

x_i，j(0)＝x_{j_min}+rand(0，1)(x_{j_max}-x_{j_min})

式中，i∈[1，NP]，j∈[0，N-1]，rand(0，1)为产生一个在0和1之间的随机数；

(2)适应度计算

本发明采用的适应度计算函数为：

式中，E为上述WNN的误差评价指标函数，即训练误差越小，适应度越大；

(3)变异操作

目标个体的变异行为通过微分策略实现，本发明采用的变异操作方式如下：

v_i(g)＝x_i1(g)+F·(x_i2(g)-x_i3(g))，i≠i₁≠i₂≠i₃

式中，F∈(0，1)，为用于控制缩放比例的变异因子，g代表当前进化代数，x_i1(g)表示目标个体，v_i(g)表示经过变异后的变异个体；

在种群进化的过程当中，如果变异几率过低，个体容易出现过早成熟的现象；反之则会降低全局搜索效率和算法准确度。为了解决上述问题，本发明增加自适应变异因子机制，根据算法寻优求解的情况，实时修正变异因子F，自适应变异算法的设计如下：

式中，F0为算法初始变异概率；F∈[F₀，2F₀]的取值范围，能够保持种群中个体的多样性；

增设变异算子自适应机制后，在ADE算法开始初期，变异因子F具有较大的值；后期随着算法进化代数的增加，自适应变异率接近F₀，可减少最优个体变异的可能性，增加全局最优解的搜索概率。

(4)交叉操作

交叉操作可以保证种群中个体的多样性，本发明采用二项式选择的交叉操作方式，计算公式如下：

式中，交叉因子CR∈(0，1)，jrand∈[0，N-1]；

本发明借鉴粒子群算法(PSO)中动态调整惯性权重的思想，增加交叉因子自适应调整机制，使得种群中交叉后的新个体能够有更多机会搜索新的空间，CR调整策略如下：

式中，CR_min，CR_max分别为交叉因子的下限和上限，f_i为个体x_i的适应度值，f_min和f_max为当前种群中最差和最优个体的适应度值，为种群个体适应度的平均值；

(5)选择操作

本发明采用贪婪算法进行选择进入下一代的个体：

本发明以江西省财政厅短时网络流量数据为研究对象，根据实际采集的网络流量历史数据进行仿真实验。其中包含2018年3月期间连续5天工作日0：00至23：59，每10min一组的网络流量数据，共采集得到720组。前4天576组数据作为训练数据，最后一天的144组作为测试数据。

由于采集的网络流量数据可能存在突发性以及不确定性，数据间的数量级差别过大会对小波神经网络的学习产生不利影响，所以通常需要对原始采集数据进行预处理。本发明针对输入网络流量数据进行归一化处理，并在预测完成后对预测输出流量数据进行反归一化处理，还原为与原数据范围等同的真实数据，原理如下：

式中，y_t代表某时刻的网络流量数据，y_min和y_max为归一化后数据的最小值和最大值，本发明设定y_min＝-1，y_max＝1；x_t代表t时刻的输入数据，x_min和x_max分别为输入数据中的最小值和最大值。

预测结果输出完成后，数据的还原公式为：

本发明实验硬件环境为Intel CORE i5-2450MCPU，8GB内存；操作系统Window1064bit；仿真平台为Matlab R2014a。

小波神经网络输入层节点数为5，即输入参数为5个过去时间节点(t，t-1，t-2，t-3，t-4)的流量数据；依据kolmogorov定理的计算公式，隐含层节点数设置为11；输出层节点数为1，即单步预测t+1时刻的网络流量数据。小波神经网络的连接权值学习率η₁为1×10^-2，小波系数学习率η₂为1×10^-3，训练次数为200，误差目标为1×10^-3。

本发明采用自适应微分进化算法优化小波神经网络初始参数时，种群数目NP为200，维度N为89，最大进化代数G为500，变异算子F₀初始值为0.5，交叉概率CR下限为0.1，上限为0.95。

本发明实验采用平均绝对误差(MAE)、均方根误差(RMSE)、平均绝对百分比误差(MAPE)和均等系数(Ec)作为预测方法的评价标准，定义如下：

式中，n为输出样本的个数，yp(t)、y(t)分别为t时刻预测输出值与网络流量实际值。

为了验证改进方法的优越性，本发明首先使用传统BP神经网络和小波神经网络进行短期网络流量预测，结果如图4所示。同时，微分进化算法与遗传算法同属进化算法的分支，故本发明增加遗传算法优化WNN(GA-WNN)和传统微分进化算法优化WNN(DE-WNN)、自适应微分进化算法优化WNN(ADE-WNN)方法进行比对实验，实验结果如图5所示。本发明使用的神经网络模型均具有同样的基础网络结构，以保证实验的公平性。

表1为5种预测方法的预测误差对比，为了避免仿真实验中出现的偶然性，每个方法运行10次取平均值作为统计结果。

表1预测结果对比

预测方法	MAE	RMSE	MAPE％	EC
					BPNN	20.158	30.806	15.081	0.943
WNN	13.449	18.368	12.134	0.967
					GA-WNN	9.821	14.802	11.450	0.971
DE-WNN	8.199	11.415	8.908	0.974
					ADE-WNN	3.439	4.774	2.981	0.985

由图4、表1可以得知，BP神经网络和小波神经网络只拥有有限的预测能力，相比BP神经网络，小波神经网络的预测精度有所提高。根据图5和表1可以发现，ADE-WNN方法的MAE为3.439，RMSE为4.774，这2个值与其它改进WNN方法相比都有明显降低，说明ADE-WNN方法的预测误差明显减小，EC为0.985，与其它改进WNN方法相比，其值更接近1，说明ADE-WNN方法的预测结果更准确，综上，说明ADE-WNN方法具有很高的预测精度。

在预测过程中，ADE-WNN模型不仅在预测精度上比其它4个模型高，而且MAPE值大大低于其它预测模型，表明改进方法具有较好的稳定性，这对实际工程应用非常有意义。

以上所述仅表达了本发明的优选实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形、改进及替代，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (4)

1.基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，其特征在于：包括以下步骤：

步骤1：数据预处理，将数据集拆分成训练样本和测试样本；

步骤2：初始化小波神经网络WNN结构及自适应微分进化算法ADE种群大小NP、最大进化代数G、初始变异概率F₀、交叉因子CR的参数；

步骤3：对种群中NP个个体进行编码，向量维度与小波神经网络的连接权值，小波基函数的伸缩系数、平移系数以及动量项系数相对应；

步骤4：自适应微分进化算法对编码后的群体进行训练，通过自适应变异、交叉、选择操作，搜索适应度最优异的个体；

步骤5：将寻优后的连接权值和小波系数赋给小波神经网络；

步骤6：小波神经网络训练，计算网络输出值及误差值，并进行连接权值和小波系数的调整；

步骤7：输入测试样本进行短时网络流量预测；

步骤8：计算评价指标，给出预测结果。

2.根据权利要求1所述的基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，其特征在于：所述方法采用的是隐含层神经元激励函数为Morlet小波函数：

3.根据权利要求1所述的基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，其特征在于：所述小波神经网络模型学习算法的步骤如下：

(1)输入数据，计算网络输出值；

隐含层的输出计算公式为：

式中，φ(x)为小波基函数，a_j、b_j分别为其中的伸缩系数和平移系数；

输出层的计算公式为：

(2)计算网络误差值；

e_k＝y-y_k

式中，y为实际期望值，y_k为预测值；

WNN的误差评价指标函数为：

(3)误差反向传播，依据使用动量项改进后的梯度下降算法，修正各项参数；

式中，g为当前训练次数，M_c为动量项系数，修正量Δ的计算公式为：

式中，η₁为连接权值的学习概率，η₂为小波系数的学习概率。

4.根据权利要求1所述的基于自适应微分进化算法优化小波神经网络的短期网络流量预测方法，其特征在于：所述自适应微分进化算法步骤如下：

(1)种群初始化

假设种群大小为NP，每个个体均为N维向量，进化总代数为G，种群中第i个个体向量的编码方式定义如下：

x_i(0)＝(x_i，0(0)，…，x_i，N-1(0))，i∈[1，NP]

N＝m×s+s×m+2×s+1

式中，m为WNN的输入层数，s为隐含层数，n为输出层数；

第i个个体的第j维度值取值方式如下：

x_i，j(0)＝x_{j_min}+rand(0，1)(x_{j_max}-x_{j_min})

式中，i∈[1，NP]，j∈[0，N-1]，rand(0，1)为产生一个在0和1之间的随机数；

(2)适应度计算

本发明采用的适应度计算函数为：

式中，E为上述WNN的误差评价指标函数，即训练误差越小，适应度越大；

(3)变异操作

目标个体的变异行为通过微分策略实现，本发明采用的变异操作方式如下：

v_i(g)＝x_i1(g)+F·(x_i2(g)-x_i3(g))，i≠i₁≠i₂≠i₃

式中，F∈(0，1)，为用于控制缩放比例的变异因子，g代表当前进化代数，x_i1(g)表示目标个体，v_i(g)表示经过变异后的变异个体；

本发明增加自适应变异因子机制，根据算法寻优求解的情况，实时修正变异因子F，自适应变异算法的设计如下：

式中，F₀为算法初始变异概率；F∈[F₀，2F₀]的取值范围，能够保持种群中个体的多样性；

(4)交叉操作

交叉操作可以保证种群中个体的多样性，本发明采用二项式选择的交叉操作方式，计算公式如下：

式中，交叉因子CR∈(0，1)，jrand∈[0，N-1]；

本发明增加交叉因子自适应调整机制，使得种群中交叉后的新个体能够有更多机会搜索新的空间，CR调整策略如下：

式中，CR_min，CR_max分别为交叉因子的下限和上限，f_i为个体x_i的适应度值，f_min和f_max为当前种群中最差和最优个体的适应度值，为种群个体适应度的平均值；

(5)选择操作

本发明采用贪婪算法进行选择进入下一代的个体：