CN106779177A - 基于粒子群优化的多分辨率小波神经网络用电量预测方法 - Google Patents

Abstract

本发明涉及一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，属于神经网络预测研究领域，技术方案：包括小波神经网络、粒子群优化的小波神经网络和粒子群优化的多分辨率小波神经网络等内容，它是将小波神经网络、粒子群算法与多分辨率分析相结合，通过对用电量的预测验证这一预测方法的高效性。具体通过仿真实验验证了该预测方法的可行性与高效性：对比小波神经网络预测方法、粒子群优化小波神经网络预测方法和粒子群优化多分辨率小波神经网络预测方法。分析得到的目标函数及回归分析图，能清晰看出采用最后一种预测方法目标函数值收敛更快，预测精度更高，有效避免隐含层神经元交叉重叠带来的影响，避免陷入局部极小，预测效果更好。

Description

基于粒子群优化的多分辨率小波神经网络用电量预测方法

技术领域

本发明涉及一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，属于神经网络预测研究领域。

背景技术

在智能电网快速发展的环境下，电网向着网络化、数字化、集成化、标准化的大方向前进，因此对电力负荷的预测要求也逐步加深。对电力负荷的预测包括对售电量和用电量的预测。售电量是指电力企业售给用户的电量及供给本企业非电力生产基础建设、大修理和非生产部门等所使用的电量；用电量是指电网的售电量与自备电厂自发、自用电和其售给附近用户的电量之和。电力负荷中用电量的预测可分为长期、中期、短期、超短期预测；中、长期预测主要用于电力系统的规划建设，主要为发电设备的增容扩建、扩建选址、装机容量大小等的确定提供依据；短期预测主要用于为月度调配、控制、检修计划提供优先保证，指导电网各部门的正常运行，月度用电量的预测直接反映电力企业的经营效益，对电力企业合理安排购售电方案、确定融资缺口具有重要意义。

目前,对于用电量进行预测的方法分为两大类,一类是传统预测法,另一类是现代预测法。传统预测法主要有：时间序列法、回归分析法、趋势外推法；传统预测法主要是依据经验，对历史数据要求高；不适合负荷序列波动大的时间序列情况；无法全面考虑各种影响负荷的因素；模型初始化难度较大,需要丰富的经验和较高的技巧。现代预测法主要有系统动力学理念预测法、模糊预测法、专家系统预测法、神经网络预测法、灰色预测法；其中神经网络预测法是近几年发展迅猛的一种预测方法，它以其强自适应性、并行处理、分布式存储方式、容错性强的特点广泛适用于具有高度非线性和各种不确定性的情况。但其也存在收敛速度慢、隐含层神经元交叉重叠、容易陷入局部极小值等缺点。

发明内容

本发明的目的是提供一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，针对普通神经网络预测方法收敛速度慢、预测精度低以及隐含层神经元交叉重叠、容易陷入局部极小的问题，在小波神经网络的框架上加入粒子群算法和多分辨率分析的思想，结合两者的优点，建立一种基于粒子群优化的多分辨率小波神经网络预测用电量的模型。这种预测方法能够使收敛速度明显加快，并且有效避免了因神经网络隐含层神经元交叉重叠而产生的影响，避免了陷入局部极小的可能，预测精度得到提高，且具有实用性强，应用效果佳等优点。

实现本发明目的所采用的技术方案是：

一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，它包括以下内容：

1)小波神经网络：

小波神经网络既有小波变换的时频域特性与变焦特性，又有神经网络自学习、自适应、容错性与鲁棒性，小波神经网络的框架是基于BP神经网络构建的，用小波激励函数替换sigmoid函数，并通过平移因子和伸缩因子构造小波基，其中平移因子所实现的功能相当于BP神经网络里的阈值，即对加权后的输入数值进行横向微调；伸缩因子的作用是在不同尺度下对其进行调整，也正是由于这两项调整因子的结合，才使得小波神经网络能够更加精准地向目标函数进行逼近，采用紧密型结构对小波神经网络进行构建，构造出来的3层小波神经网络结构；

设输入层为I个单元，输入向量: X=[x₁,x₂,……,x_I]，隐含层为J个单元，激励函数为小波函数 ，伸缩因子向量：A=[a₁,a₂,……,a_J]，平移因子向量为B=[b₁,b₂,……,b_J]；

输出向量：Y=[y₁,y₂,……,y_k]，预期输出向量：O=[o₁,o₂,……,o_k]，输入层与隐含层权值、隐含层与输出层权值为w，输入层第i个节点和隐含层第j个节点间权值为w_i,j，隐含层第j个节点和输出层第k个节点间权值为w_j,k；

u表示每一层神经元的输入，v来表示经激励函数处理后的输出，在迭代训练过程中，输入为X，y_k为输出层第k个神经元的总输出，隐层第j个神经元及输出层第k个神经元的输入输出表达式为：

网络的前向传递函数为：

预期的输出向量与经训练后的实际输出向量之差为误差向量：ER=[er₁,er₂,……,er_k]，第k个神经元输出误差为：

输出层所有神经元输出误差能量总和即全局误差能量E为：

将得到的误差反向传播修正权值，依据权值的修正量 与误差能量对权值的偏微分成正比来计算各权值与平移伸缩因子的修正值，再根据Delta学习规则，设定学习步长η，将修正后的各权值和因子保留进行下一次迭代，网络中隐含层个数可依据经验值选取；η选取过大可导致收敛过程震荡，过小则会减慢收敛速度，可通过多次尝试进行选取；

2）粒子群优化的小波神经网络：

粒子群优化算法是一种通过模拟鸟群觅食行为来进行协同搜索，从而在解空间中找到最优解的算法，算法过程是在状态空间中对每一个寻优位置进行评估，最终得到最佳位置，再从最佳位置出发进行搜索，直到获得最优目标值，将该算法用于优化小波神经网络，可加快神经网络训练的收敛速度，以全局优化的方式避免小波神经网络在训练过程中陷入局部极小值，提高预测精度；

假设目标搜索空间为D维空间，粒子数为S个，于是第i个粒子在D维空间中的位置表示为：X_i=[x_i1,x_i2,……,x_iD];第i个粒子的当前速度为：V_i=[v_i1,v_i2,......,v_iD]；第i个粒子自身历史最优位置为：P_i=[p_i1,p_i2,......,p_iD]；粒子群整体的最优位置为：P_g=[p_g1,p_g2,......p_gD]，其在第k次迭代中第i个粒子第d维的速度更新公式为：

其中，i=1,2,...S，d=1,2,...D，c_1、c₂为正常数的加速因子，r₁、r₂服从[0,1]上均匀分布的随机数，w为惯性权重，w_max和w_min分别为惯性权重的最大值和惯性权重的最小值，其计算公式为：

其位置更新公式为：

用粒子群算法优化小波神经网络，其中，令粒子个数D=60，加速因子c₁=c₂=2，w_max=0.9，w_min=0.4，以平均绝对百分误差值作为目标函数适应度值；

3）粒子群优化的多分辨率小波神经网络：

基于小波多分辨率分析和多尺度正交空间思想，以神经网络为框架，再利用粒子群算法对其全局优化，构建基于粒子群优化的多分辨率分析小波神经网络；

设J为尺度参数，其在初始状态下值为0；输入层有I个神经元；隐含层有n个神经元，并将Meyer尺度函数作为其激励函数，尺度函数为，并以此构建多尺度正交空间，逼近目标函数；输出层神经元为G个，由此可以得到当尺度参数为0时的输出表达式为：

其中，x为输入向量；w_i,j为输入层第i个神经元与隐含层第j个神经元之间的连接权值；a_j为第j个隐含层神经元阈值；c_j,g为隐含层第j个神经元与输出层第g个神经元的连接权值；

接着提升分辨率，令尺度参数J为1，增加n个隐含层神经元，输入层有m个神经元，其激励函数为Meyer小波函数，用来逼近目标函数中更加细微的部分，可以得到当尺度参数为1时的输出表达式为：

其中，v_i,k为输入层第i个神经元和隐含层第k个神经元的连接权值；b_k为隐含层神经元阈值；d_k,g为隐含层第k个神经元和输出层第g个神经元得到连接权值；

然后进一步提升分辨率，令尺度参数J为2，加入2n个隐含层神经元，激励函数为Meyer小波函数，输出表达式为：

以此递推下去，便能够从不同分辨率逼近目标函数，并且每提高一次尺度，隐含层便会增加2^J-1n个神经元，e表示从1到J的每一个尺度参数值，直到达到最理想的逼近效果，尺度参数为J时，其对应的传递函数通式为：

得到多分辨率小波神经网络的基本框架，再用粒子群算法对其权值进行优化，便得到基于粒子群优化的多分辨率分析的小波神经网络，在多分辨率分析过程中，J的值并不是越大越好，其需要不断进行实验取值，从而得到一个尺度参数使训练误差和预测误差皆为最小。

本发明的有益效果：在小波神经网络的框架上加入粒子群算法和多分辨率分析的思想，结合两者的优点，建立一种基于粒子群优化的多分辨率小波神经网络预测用电量的模型。这种预测方法能够使收敛速度明显加快，并且有效避免了因神经网络隐含层神经元交叉重叠而产生的影响，避免了陷入局部极小的可能，预测精度得到提高，且具有实用性强，应用效果佳等优点。

附图说明

图1为前馈型小波神经网络结构；

图2为粒子群优化小波神经网络程序结构流程图；

图3为多分辨率小波神经网络拓扑结构；

图4为小波神经网路预测误差收敛情况；

图5为小波神经网络回归预测；

图6为粒子群优化小波神经网络预测目标函数值收敛情况；

图7为粒子群优化小波神经网络回归预测；

图8为粒子群优化多分辨率小波神经网络目标函数值收敛情况；

图9为粒子群优化多分辨率小波神经网络回归预测。

图中的标号、符号和线条等说明如下：

图1中，w_i,j为输入层第i个节点和隐含层第j个节点间权值，w_j,k为隐含层第j个节点和输出层第k个节点间权值；设输入层为I个单元，隐含层为J个单元，激励函数为小波函数；a_j为伸缩因子；b_j为平移因子；

图2是根据粒子群算法优化小波神经网络。为了得到各粒子的个体最优位置和群体最优位置而做更新粒子速度和位置的循环。当符合要求时根据情况进行预测；

图3的多分辨率小波神经网络是基于前馈神经网络框架，以小波多分辨率分析和多尺度正交空间思想为基础构建的。分为输入层、隐含层和输出层，输入层神经元个数为m个、隐含层每提高一次尺度，向隐含层增加2^J-1n个神经元、输出层神经元个数为g；w_i,j、v_i,k、c_j,g、d_k,g为权重；2^-J和2^-J/2均为尺度系数，根据尺度参数J确定尺度系数；

图4、图6、图8分别为小波神经网络的误差收敛情况、粒子群优化小波神经网络的目标函数值收敛情况以及粒子群优化多分辨率小波神经网络的目标函数值收敛情况（目标函数为训练样本经过归一化后的平均绝对百分误差）。横坐标表示迭代次数，图4纵坐标表示平均绝对百分误差；图6，图8纵坐标表示目标函数值；

图5、图7、图9分别为小波神经网络回归预测图、粒子群优化小波神经网络回归预测图和粒子群优化多分辨率小波神经网络回归预测图。横坐标表示月份，纵坐标表示负荷值，单位为万千瓦时。图中红色线代表预测用电量；蓝色线代表真实用电量。回归预测图为两者的比较图。

具体实施方式

下面利用附图和实施例对发明作进一步说明。

本发明是一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，包括以下内容：

1)小波神经网络

小波神经网络既有小波变换的时频域特性与变焦特性，又有神经网络自学习、自适应、容错性与鲁棒性，小波神经网络的框架是基于BP神经网络构建的，用小波激励函数替换sigmoid函数，并通过平移因子和伸缩因子构造小波基，其中平移因子所实现的功能相当于BP神经网络里的阈值，即对加权后的输入数值进行横向微调；伸缩因子的作用是在不同尺度下对其进行调整，也正是由于这两项调整因子的结合，才使得小波神经网络能够更加精准地向目标函数进行逼近，采用紧密型结构对小波神经网络进行构建，图1为构造出来的3层小波神经网络结构。

设输入层为I个单元，输入向量: X=[x₁,x₂,……,x_I]。隐含层为J个单元，激励函数为小波函数，伸缩因子向量：A=[a₁,a₂,……,a_J]，平移因子向量为B=[b₁,b₂,……,b_J]。输出向量：Y=[y₁,y₂,……,y_k]，预期输出向量：O=[o₁,o₂,……,o_k]。输入层与隐含层权值、隐含层与输出层权值为w，输入层第i个节点和隐含层第j个节点间权值为w_i,j，隐含层第j个节点和输出层第k个节点间权值为w_j,k。

u表示每一层神经元的输入，v来表示经激励函数处理后的输出。在迭代训练过程中，输入为X，隐层第j个神经元及输出层第k个神经元的输入输出表达式为：

网络的前向传递函数为：

预期的输出向量与经训练后的实际输出向量之差为误差向量：ER=[er₁,er₂,……,er_k]，第k个神经元输出误差为：

输出层所有神经元输出误差能量总和即全局误差能量为：

将得到的误差反向传播修正权值。依据权值的修正量 与误差能量对权值的偏微分成正比来计算各权值与平移伸缩因子的修正值。再根据Delta学习规则，设定学习步长η，将修正后的各权值和因子保留进行下一次迭代。网络中隐含层个数可依据经验值选取；η选取过大可导致收敛过程震荡，过小则会减慢收敛速度，可通过多次尝试进行选取。

2）粒子群优化的小波神经网络

粒子群优化算法是一种通过模拟鸟群觅食行为来进行协同搜索，从而在解空间中找到最优解的算法。算法过程是在状态空间中对每一个寻优位置进行评估，最终得到最佳位置，再从该位置出发进行搜索，直到获得最优目标值。将该算法用于优化小波神经网络，可加快神经网络训练的收敛速度，以全局优化的方式避免小波神经网络在训练过程中陷入局部极小值，提高预测精度。

假设目标搜索空间为D维空间，粒子数为S个。于是第i个粒子在D维空间中的位置表示为：X_i=[x_i1,x_i2,……,x_iD];第i个粒子的当前速度为：V_i=[v_i1,v_i2,......,v_iD];第i个粒子的自身历史最优位置为：P_i=[p_i1,p_i2,......,p_iD]；粒子群整体的最优位置为：P_g=[p_g1,p_g2,......p_gD]。其在第k次迭代中第i个粒子第d维的速度更新公式为：

其中，i=1,2,...S，d=1,2,...D，c_1、c₂为正常数的加速因子，r₁、r₂服从[0,1]上均匀分布的随机数。w为惯性权重，其计算公式为：

其位置更新公式如下：

用粒子群算法优化小波神经网络，其中，令粒子个数D=60，加速因子c₁=c₂=2，w_max=0.9，w_min=0.4，以平均绝对百分误差值作为目标函数适应度值。

3）粒子群优化的多分辨率小波神经网络

基于小波多分辨率分析和多尺度正交空间思想，以神经网络为框架，再利用粒子群算法对其全局优化，构建基于粒子群优化的多分辨率分析小波神经网络。如图3所示。

设J为尺度参数，其在初始状态下值为0；输入层有I个神经元；隐含层有n个神经元，并将Meyer尺度函数作为其激励函数，并以此构建多尺度正交空间，逼近目标函数；输出层神经元为G个。由此得到：

其中，x为输入向量；w_i,j为输入层第i个神经元与隐含层第j个神经元之间的连接权值；a_j为第j个隐含层神经元阈值；c_j,g为隐含层第j个神经元与输出层第g个神经元的连接权值。

接着提升分辨率，令尺度参数J为1。增加n个隐含层神经元，其激励函数为Meyer小波函数，用来逼近目标函数中更加细微的部分。可以得到：

其中，v_i,k为输入层第i个神经元和隐含层第k个神经元的连接权值；b_k为隐含层神经元阈值；d_k,g为隐含层第k个神经元和输出层第g个神经元得到连接权值。

然后进一步提升分辨率，令尺度参数J为2。加入2n个隐含层神经元，激励函数为Meyer小波函数：

以此递推下去，便能够从不同分辨率逼近目标函数，并且每提高一次尺度，隐含层便会增加2^J-1n个神经元，直到达到最理想的逼近效果，尺度参数为J时，其对应的传递函数通式为：

由此得到多分辨率小波神经网络的基本框架，再用粒子群算法对其权值进行优化，便得到基于粒子群优化的多分辨率分析的小波神经网络。在多分辨率分析过程中，J的值并不是越大越好，其需要不断进行实验取值，从而得到一个尺度参数使训练误差和预测误差皆为最小，这样可以很好地解决传统小波神经网络利用经验值确定隐含层维数造成误差的缺点。

仿真验证及分析：

为验证本发明基于粒子群优化的多分辨率小波神经网络用电量预测方法的有效性，分别用小波神经网络预测方法、粒子群优化小波神经网络预测方法，与粒子群优化多分辨率小波神经网络预测方法相比较进行验证。现选取负荷数据为2008-2015年以月为时间序列的唐山市全社会用电量，用三种预测方法分别对该地区用电量进行预测并通过比较，分析得出结果以此证明基于粒子群优化的多分辨率小波神经网络预测方法的高效实用性。

仿真采用数据由冀北电网唐山市供电公司提供。其中，2008-2014年（84个月）的历史负荷数据作为神经网络的训练样本，2015年（12个月）的历史负荷数据作为神经网络的预测样本。将2008-2013年72个月数据作为训练输入样本，2009-2014年数据作为训练输出样本，从而输入2014年的数据通过网络训练预测2015年的负荷情况。在神经网络训练过程中将原始数据初步整理，把72个训练输入样本组成6*12的矩阵，即每一行为一年的数据，共6年。其小波神经网络、基于粒子群优化的小波神经网络、基于多分辨率分析的粒子群优化小波神经网络对电力负荷预测的MATLAB仿真情况如下图4-图9所示。根据实验，训练过程J取2。

三种神经网络对电力负荷预测精度对比如表1所示：

由上述仿真可以看出，WNN（小波神经网络）、PSO-WNN（粒子群优化小波神经网络），PSO-MRWNN（粒子群优化多分辨率小波神经网络）三种预测方法对用电量预测都有较好的效果。图6与图8的对比可以看出在粒子群优化的小波神经网络中多分辨率的加入对目标函数值的训练收敛精度产生了积极的作用（目标函数为训练样本经过归一化后的平均绝对百分误差）。在预测精确度方面，经过粒子群优化的多分辨率小波神经网络的精度更高，收敛速度更快。MAPE值为0.0356（MAPE为平均百分误差）。实验证明，第三种方法对月度用电量的预测效果更好，也就是利用基于粒子群优化多分辨率小波神经网络的预测方法达到的预测效果更好。通过对比试验，进一步的验证了本发明基于粒子群优化的多分辨率小波神经网络用电量预测方法的有效性。

Claims (1)

1.一种基于粒子群优化的多分辨率小波神经网络用电量预测方法，其特征在于包括以下内容：

1)小波神经网络：

小波神经网络既有小波变换的时频域特性与变焦特性，又有神经网络自学习、自适应、容错性与鲁棒性，小波神经网络的框架是基于BP神经网络构建的，用小波激励函数替换sigmoid函数，并通过平移因子和伸缩因子构造小波基，其中平移因子所实现的功能相当于BP神经网络里的阈值，即对加权后的输入数值进行横向微调；伸缩因子的作用是在不同尺度下对其进行调整，也正是由于这两项调整因子的结合，才使得小波神经网络能够更加精准地向目标函数进行逼近，采用紧密型结构对小波神经网络进行构建，构造出来的3层小波神经网络结构；

设输入层为I个单元，输入向量: X=[x₁,x₂,……,x_I]，隐含层为J个单元，激励函数为小波函数 ，伸缩因子向量：A=[a₁,a₂,……,a_J]，平移因子向量为B=[b₁,b₂,……,b_J]；

输出向量：Y=[y₁,y₂,……,y_k]，预期输出向量：O=[o₁,o₂,……,o_k]，输入层与隐含层权值、隐含层与输出层权值为w，输入层第i个节点和隐含层第j个节点间权值为w_i,j，隐含层第j个节点和输出层第k个节点间权值为w_j,k；

u表示每一层神经元的输入，v来表示经激励函数处理后的输出，在迭代训练过程中，输入为X，y_k为输出层第k个神经元的总输出，隐层第j个神经元及输出层第k个神经元的输入输出表达式为：

网络的前向传递函数为：

预期的输出向量与经训练后的实际输出向量之差为误差向量：ER=[er₁,er₂,……,er_k]，第k个神经元输出误差为：

输出层所有神经元输出误差能量总和即全局误差能量E为：

将得到的误差反向传播修正权值，依据权值的修正量与误差能量对权值的偏微分成正比来计算各权值与平移伸缩因子的修正值，再根据Delta学习规则，设定学习步长，将修正后的各权值和因子保留进行下一次迭代，网络中隐含层个数可依据经验值选取；学习步长选取过大可导致收敛过程震荡，过小则会减慢收敛速度，可通过多次尝试进行选取；

2）粒子群优化的小波神经网络：

粒子群优化算法是一种通过模拟鸟群觅食行为来进行协同搜索，从而在解空间中找到最优解的算法，算法过程是在状态空间中对每一个寻优位置进行评估，最终得到最佳位置，再从最佳位置出发进行搜索，直到获得最优目标值，将该算法用于优化小波神经网络，可加快神经网络训练的收敛速度，以全局优化的方式避免小波神经网络在训练过程中陷入局部极小值，提高预测精度；

假设目标搜索空间为D维空间，粒子数为S个，于是第i个粒子在D维空间中的位置表示为：X_i=[x_i1,x_i2,……,x_iD];第i个粒子的当前速度为：V_i=[v_i1,v_i2,......,v_iD]；第i个粒子自身历史最优位置为：P_i=[p_i1,p_i2,......,p_iD]；粒子群整体的最优位置为：P_g=[p_g1,p_g2,......p_gD]，其在第k次迭代中第i个粒子第d维的速度更新公式为：

其中，i=1,2,...S，d=1,2,...D，c_1、c₂为正常数的加速因子，r₁、r₂服从[0,1]上均匀分布的随机数，w为惯性权重，w_max和w_min分别为惯性权重的最大值和惯性权重的最小值，其计算公式为：

其位置更新公式为：

用粒子群算法优化小波神经网络，其中，令粒子个数D=60，加速因子c₁=c₂=2，w_max=0.9，w_min=0.4，以平均绝对百分误差值作为目标函数适应度值；

3）粒子群优化的多分辨率小波神经网络：

基于小波多分辨率分析和多尺度正交空间思想，以神经网络为框架，再利用粒子群算法对其全局优化，构建基于粒子群优化的多分辨率分析小波神经网络；

设J为尺度参数，其在初始状态下值为0；输入层有I个神经元；隐含层有n个神经元，并将Meyer尺度函数作为其激励函数，尺度函数为，并以此构建多尺度正交空间，逼近目标函数；输出层神经元为G个，由此可以得到当尺度参数为0时的输出表达式为：

其中，x为输入向量；w_i,j为输入层第i个神经元与隐含层第j个神经元之间的连接权值；a_j为第j个隐含层神经元阈值；c_j,g为隐含层第j个神经元与输出层第g个神经元的连接权值；

接着提升分辨率，令尺度参数J为1，增加n个隐含层神经元，输入层有m个神经元，其激励函数为Meyer小波函数，用来逼近目标函数中更加细微的部分，可以得到当尺度参数为1时的输出表达式为：

其中，v_i,k为输入层第i个神经元和隐含层第k个神经元的连接权值；b_k为隐含层神经元阈值；d_k,g为隐含层第k个神经元和输出层第g个神经元得到连接权值；

然后进一步提升分辨率，令尺度参数J为2，加入2n个隐含层神经元，激励函数为Meyer小波函数，输出表达式为：

以此递推下去，便能够从不同分辨率逼近目标函数，并且每提高一次尺度，隐含层便会增加2^J-1n个神经元，e表示从1到J的每一个尺度参数值，直到达到最理想的逼近效果，尺度参数为J时，其对应的传递函数通式为：

得到多分辨率小波神经网络的基本框架，再用粒子群算法对其权值进行优化，便得到基于粒子群优化的多分辨率分析的小波神经网络，在多分辨率分析过程中，J的值并不是越大越好，其需要不断进行实验取值，从而得到一个尺度参数使训练误差和预测误差皆为最小。