CN105184416A - 基于粒子群优化反向传播神经网络的脉动风速预测方法 - Google Patents

Abstract

本发明提供一种基于粒子群优化反向传播神经网络的脉动风速预测方法，其包括四个步骤。为改进传统网络的收敛速度慢、陷入局部最优的缺陷，本发明从学习规则、连接权值出发，使用PSO对反向传播神经网络进行优化，将神经网络的权值和偏置映射为粒子，并选择反向传播预测模型的均方误差作为适应度函数。数值模拟结果显示，通过PSO优化的反向传播经网络预测模型的预测精度可以得到进一步提高，说明将反向传播算法应用于BP神经网络预测模型的优化是可行的，可以作为脉动风速预测的一种有效地方法。

Description

基于粒子群优化反向传播神经网络的脉动风速预测方法

技术领域

本发明涉及一种采用粒子群优化算法优化神经网络学习算法对单点脉动风速进行预测，改进传统神经网络容易陷入局部极值，导致收敛速度慢的缺陷，具体的说是一种基于粒子群优化反向传播(BackPropagation，BP)神经网络的脉动风速预测方法。

背景技术

研究风荷载时，通常把风处理为在一定时距内不随时间变化的平均风速和随时间随机变化的脉动风速两部分，平均风速产生结构静态响应，而脉动风速产生动态响应。风作用在高层结构时，其正负风压对结构形成风荷载，同时钝体绕流还会引起结构抖振、旋涡脱落引起的横向振动和扭转振动。极端风荷载作用下产生的抖振和颤振会引起建筑物倒塌或严重破坏；动态位移超限易引起墙体开裂和附属构件破坏；大幅振动会造成居住和生活的不舒适；脉动风频繁作用也会使外墙面构件和附属物产生疲劳破坏。掌握完整的脉动风速时程资料对于结构设计、安全具有重要意义。

基于知识发现的风速智能模型预测方法不局限于用数学方程式描述预测自变量与预测因子之间的关系，而是根据预测方法本身的结构机制获取预测的“知识”和“经验”。这类方法具有自适应能力，可以较好的处理非线性、非确定性时间序列的预测问题。目前脉动风速建模预测的方法主要有时间序列分析法、神经网络、支持向量机等方法。然而这些方法都存在着理论或应用上的不足，如时问序列模型高阶模型参数估计难度大、低阶模型预测精度低；支持向量机(SVM)虽然通过核函数定义的非线性变换将输入空间变换到一个高维空间，在这个高维空间中寻找输入变量和输出变量之间的一种非线性关系，解决了“维数灾难”问题，但核函数的选择和参数优化决定了模型的特性；神经网络预测模型采用的是黑箱型的学习模式，能够识别复杂性、非线性的特性。该预测模型是利用大量的历史数据来训练神经网络，学习完成后得到输入与输出的一种映射关系。如果给定相应的输入，通过这种映射关系就可以获得到对应的输出即预测结果。神经网络预测模型也存在着不足，比如结构的设定较难，网络初始的权值和偏置是随机选取的，倘若这些参数的位置选择不当，则会导致网络的收敛速度慢、陷入局部最优。

随着智能优化算法的发展，神经网络的预测性能得到大大的提高。粒子群(PSO-BP)是一种并行随机搜索最优化方法，具有全局搜索能力，采用粒子群优化算法来确定神经网络初始权值和阈值，有利于神经网络网络很快收敛到全局最优解。

发明内容

本发明的目的在于提供一种基于粒子群优化反向传播神经网络的脉动风速预测方法，解决传统的传统神经网络容易陷入局部极值，导致收敛速度慢的问题。本发明利用自回归滑动平均(Auto-RegressiveandMovingAverage，ARMA)方法数值有限脉动风速作为样本数据，再建立粒子群优化算法反向传播(ParticleSwarmOptimization-BackPropagation，PSO-BP)神经网络预测模型，利用该模型预测所需后续时间的脉动风速，计算实际风速与预测风速的平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)来评价本方法的精度。

根据上述发明构思，本发明采用下述技术方案：本发明粒子群优化神经网络的脉动风速预测方法包括以下步骤：

第一步：利用自回归滑动平均模型模拟生成垂直空间点脉动风速样本，将每一个空间点的脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理；对数据归一化处理后，目的是为了取消各维数据之间的数量级差别，从而避免因为输入输出数据的数量级差别大而造成网络预测误差大的情况，取嵌入维数k＝10对进行样本数据进行相空间重构；确定单点脉动风速样本的自回归滑动平均模型各参数，自回归滑动平均模型的自回归阶数p＝4，滑动回归阶数q＝1；

第二步：取采样时间1000s的20m、50m脉动风速样本，嵌入维数k＝10，对样本数据进行相空间重构；给定训练样本N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈Rⁿ,i＝1,…,N}、激励函数g(x)，设定神经网络模型输入节点m＝10、隐层节点p＝10、输出节点q＝1、网络训练次数epochs＝100、误差精度goal＝0.0001及学习率lr＝0.1；将1-790s脉动风速作为训练集，791-990s脉动风速作为测试集，归一化处理；

第三步：设置粒子群优化算法粒子种群规模M，迭代次数K，学习因子C₁、C₂，随机产生粒子初始位置和初始速度，采用粒子群优化算法将神经网络的权值与偏置映射为粒子群优化算法中的粒子，以均方根误差作为适应度函数，通过粒子的速度与位置不断更新来优化这些参数，从而实现网络训练；

第四步：将测试样本与利用粒子群优化算法神经网络模型和反向传播神经网络预测的脉动风速结果对比；同时计算预测风速与实际风速的平均绝对误差、均方根误差以及相关系数，评价本发明的有效性，同时利用未优化的神经网络对同样脉动风速进行预测，分析比较两种方法的性能。

优选地，上述第一步中，自回归滑动平均模型模拟m维脉动风速表示为下式：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶自回归模型和滑动平均模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；P为自回归阶数、q为滑动回归阶数，t为时间。

优选地，所述第二步中，设定反向传播神经网络输入节点为m＝10，隐层节点为p＝10，输出节点为q＝1，则反向传播神经网络完成映射f:R^m→R¹，隐层各节点的输入S_j为：

$S_j=\underset{i=}{\overset{m}{\Σ}}{\mathrm{\ω}}_{ij}{x}_i-{\mathrm{\θ}}_j,j=1,2,...p;$

反向传播神经网络激励函数为g(x)，则隐层节点的输出b_j为：

$b_j=g(\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_{ij}{x}_i-{\mathrm{\θ}}_j),j=1,2,...p$

同理，输出层节点的输入L、输出y分别为：

$L=\underset{j=1}{\overset{p}{\Σ}}{v}_j{b}_j-\mathrm{\γ}$

$y=g(\underset{j=1}{\overset{p}{\Σ}}{v}_j{b}_j-\mathrm{\γ})$

反向传播神经网络的连接权重ω_ij、v_j和偏置θ_j、γ可以通过反向传播神经网络训练求得，故y即为反向传播神经网络的预测模型。

优选地，所述第三步中，设置神经网络输入节点为m＝10，隐层节点为p＝10，输出节点为q＝1，激励函数g(x)为“Sigmoid”；设定粒子群优化算法的粒子种群规模M＝30，迭代次数K＝100，学习因子C₁＝C₂＝2，将神经网络的权值与偏置映射为粒子群优化算法中的粒子并且初始化，计算各粒子的适应度函数值，根据适应度比较不断更新粒子的速度和位置，判断在给定的最大次数或最小误差要求的条件下，停止迭代，输出权值和偏置，利用输出的权值和偏置对神经网络进行训练对测试集进行预测。

优选地，所述第四步中，将粒子群优化算法神经网络模型预测结果与实际风速进行对比，包括风速幅值、自相关函数，计算预测结果的误差指标，包括平均绝对误差、均方根误差以及相关系数，评价预测方法的精度，同时利用未优化的神经网络对同样脉动风速进行预测，分析比较两种方法的性能。

本发明粒子群优化神经网络的脉动风速预测方法具有如下优点：本发明从学习规则、连接权值出发，使用粒子群优化算法对神经网络神经进行优化，将神经网络的权值和偏置映射为粒子，并选择神经网络预测模型的均方误差作为适应度函数。数值模拟结果显示，通过粒子群优化算法优化的神经网络预测模型的预测精度可以得到进一步提高，说明将粒子群优化算法应用于神经网络预测模型的优化是可行的，可以作为脉动风速预测的一种有效地方法。

附图说明

图1是沿地面垂直方向20米处脉动风速模拟样本示意图；

图2是沿地面垂直方向50米处脉动风速模拟样本示意图；

图3为PSO-BP神经网络的预测算法的流程图；

图4是20米PSO-BP、BP预测风速与模拟风速对比示意图；

图5是20米PSO-BP、BP预测风速与模拟风速自相关函数对比示意图；

图6是50米PSO-BP、BP预测风速与模拟风速对比示意图；

图7是50米PSO-BP、BP预测风速与模拟风速自相关函数对比示意图。

具体实施方式

本发明的构思如下：通过ARMA数值模拟出脉动风速作为有限样本，建立BP神经网络预测模型，同时将权值和偏置作为PSO算法的粒子进行优化，最终建立基于粒子群优化的BP神经网络的脉动风速预测模型。

以下结合附图采用本发明对单点脉动风速预测作进一步详细说明，步骤如下：

第一步，利用自回归滑动平均模型模拟生成垂直空间点脉动风速样本，将每一个空间点的脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理；对数据归一化处理后，目的是为了取消各维数据之间的数量级差别，从而避免因为输入输出数据的数量级差别大而造成网络预测误差大的情况，取嵌入维数k＝10对进行样本数据进行相空间重构；确定单点脉动风速样本的自回归滑动平均模型各参数，自回归滑动平均模型的自回归阶数p＝4，滑动回归阶数q＝1。模拟某100米的超高层建筑，沿高度方向取每隔10米的点作为各模拟风速点。其他相关参数见表1：

表1相关模拟参数表

模拟功率谱采用Kaimal谱，只考虑高度方向的空间相关性。模拟生成20、50米脉动风速样本分别见图1、图2。

第一步中，自回归滑动平均模型模拟m维脉动风速表示为下式(1)：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)\mathrm{...}\left(1\right)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶自回归模型和滑动平均模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；P为自回归阶数、q为滑动回归阶数，t为时间。

将得到的脉动风速按式(2)进行归一化处理：

$y_i^{*}=\frac{y_i-y_{max}}{y_{max}-y_{min}}\mathrm{...}\left(2\right)$

式中，为归一化后脉动风速，y_i为实际脉动风速样本，y_max为实际脉动风速最大值，y_min实际脉动风速最小值。

第二步，取采样时间1000s的20m、50m脉动风速样本，嵌入维数k＝10，对样本数据进行相空间重构。给定训练样本N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈Rⁿ,i＝1,…,N}、激励函数g(x)，设定神经网络模型输入节点m＝10、隐层节点p＝10、输出节点q＝1、网络训练次数epochs＝100、误差精度goal＝0.0001及学习率lr＝0.1；将1-790s脉动风速作为训练集，791-990s脉动风速作为测试集，归一化处理。

第二步中，反向传播神经网络学习数学模型建立：

设定神经网络输入节点为m，隐层节点为p，输出节点为1，则神经网络完成映射f:R^m→R¹，其隐层各节点的输入S_j为式(3)：

$S_j=\underset{i=}{\overset{m}{\Σ}}{\mathrm{\ω}}_{ij}{x}_i-{\mathrm{\θ}}_j,j=1,2,...p\mathrm{...}\left(3\right)$

式中，ω_ij为输入层至隐含层的连接权值，θ_j为隐含层节点偏置。

神经网络激励函数为g(x)，则隐层节点的输出b_j为式(4)：

$b_j=g(\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_{ij}{x}_i-{\mathrm{\θ}}_j),j=1,2,...p\mathrm{...}\left(4\right)$

同理，输出层节点的输入L、输出y分别为式(5)和式(6)：

$L=\underset{j=1}{\overset{p}{\Σ}}{v}_j{b}_j-\mathrm{\γ}\mathrm{...}\left(5\right)$

$y=g(\underset{j=1}{\overset{p}{\Σ}}{v}_j{b}_j-\mathrm{\γ})\mathrm{...}\left(6\right)$

式中，v_j为隐含层至输出层的连接权值，γ为输出层偏置。

反向传播神经网络的连接权重ω_ij、v_j和偏置θ_j、γ可以通过神经网络训练求得，故式(6)即为神经网络的预测模型。

网络输出与期望输出h误差为式(7)：

e＝h-y………………(7)

式中e为自然数。

误差性能采用均方误差，其指标函数为式(8)：

$E=\frac{1}{2}{e}^2\mathrm{...}\left(8\right)$

式中，E为指标函数，在误差反向传播时，采用梯度下降的学习方法调整各网络层之间的连接权值。

第三步，设置粒子群优化算法粒子种群规模M，迭代次数K，学习因子C₁、C₂，随机产生粒子初始位置和初始速度，采用粒子群优化算法将神经网络的权值与偏置映射为粒子群优化算法中的粒子，以均方根误差作为适应度函数，通过粒子的速度与位置不断更新来优化这些参数，从而实现网络训练；根据反向传播神经网络算法原理，预测流程图见图3。

第三步中，设置激励函数g(x)为“Sigmoid”，设置神经网络输入节点为m＝10，隐层节点为p＝10，输出节点为q＝1；设定粒子群优化算法的粒子种群规模M＝30，迭代次数K＝100，学习因子C₁＝C₂＝2，建立反向传播神经网络的预测模型。将神经网络的权值与偏置映射为粒子群优化算法中的粒子并且初始化，计算各粒子的适应度函数值，根据适应度比较不断更新粒子的速度和位置，判断在给定的最大次数或最小误差要求的条件下，停止迭代，输出权值和偏置，利用输出的权值和偏置对神经网络进行训练对测试集进行预测。

第四步：将测试样本与利用粒子群优化算法反向传播(PSO-BP)和反向传播神经网络预测的脉动风速结果对比，图4、图5为PSO-BP对20米高度处脉动风速与模拟风速幅值比较、自相关函数比较；图6、图7为PSO-BP对50米高度处脉动风速与模拟风速幅值比较、自相关函数比较；根据图4、图6显示PSO-BP预测风速与模拟风速吻合较好，而BP预测结果与模拟风速存在很大偏差；根据图5、图7显示PSO-BP预测风速与模拟风速的相关性吻合很好。同时计算预测风速与实际风速的平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)，评价本发明的有效性，同时利用未优化的神经网络对同样脉动风速进行预测，分析比较两种方法的性能。

第四步中，将粒子群优化算法反向传播(PSO-BP)预测结果与实际风速进行对比，包括风速幅值、自相关函数，计算预测结果的误差指标，包括平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)，评价预测方法的精度，同时利用未优化的反向传播神经网络对同样脉动风速进行预测，分析比较两种方法的性能。

上面的步骤是基于矩阵实验室(Matlab)平台编制的基于粒子群优化反向传播神经网络的脉动风速预测方法的计算程序进行分析和验证的，预测结果见表2。

表2训练、预测指标表

分析预测结果显示，粒子群优化算法反向传播(PSO-BP)神经网络模型具有较高的预测精度，预测精度相对于传统神经网络模型具有较大提高。以20米风速预测结果为例，预测误差MAE由1.451下降到1.320，RMSE由1.934下降为1.529，相关系数R由0.868上升为0.917；同时50米预测风速粒子群优化算法反向传播(PSO-BP)的预测误差MAE、RMSE相较于神经网络都有所下降，相关系数R有所上升，并且粒子群优化算法反向传播(PSO-BP)其相关系数R均在0.9以上，一般认为相关系数在0.9以上，认为具有很强的相关性。本发明将粒子群优化算法和神经网络算法进行有机结合，利用粒子群优化算法良好的全局搜索能力，对神经网络网络权值和偏置进行优化，减少了神经网络算法陷人局部最优解的风险，提高神经网络的训练效率，加快网络的收敛速度。

以上所述的具体实施例，对本发明的解决的技术问题、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于粒子群优化反向传播神经网络的脉动风速预测方法，其特征在于，其包括以下步骤：

第一步：利用自回归滑动平均模型模拟生成垂直空间点脉动风速样本，将每一个空间点的脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理；对数据归一化处理后，目的是为了取消各维数据之间的数量级差别，从而避免因为输入输出数据的数量级差别大而造成网络预测误差大的情况，取嵌入维数k＝10对进行样本数据进行相空间重构；确定单点脉动风速样本的自回归滑动平均模型各参数，自回归滑动平均模型的自回归阶数p＝4，滑动回归阶数q＝1；

第二步：取采样时间1000s的20m、50m脉动风速样本，嵌入维数k＝10，对样本数据进行相空间重构；给定训练样本N＝{(x_i,t_i)|x_i∈Rⁿ,t_i∈Rⁿ,i＝1,…,N}、激励函数g(x)，设定神经网络模型输入节点m＝10、隐层节点p＝10、输出节点q＝1、网络训练次数epochs＝100、误差精度goal＝0.0001及学习率lr＝0.1；将1-790s脉动风速作为训练集，791-990s脉动风速作为测试集，归一化处理；

第三步：设置粒子群优化算法粒子种群规模M，迭代次数K，学习因子C₁、C₂，随机产生粒子初始位置和初始速度，采用粒子群优化算法将神经网络的权值与偏置映射为粒子群优化算法中的粒子，以均方根误差作为适应度函数，通过粒子的速度与位置不断更新来优化这些参数，从而实现网络训练；

第四步：将测试样本与利用粒子群优化算法神经网络模型和反向传播神经网络预测的脉动风速结果对比；同时计算预测风速与实际风速的平均绝对误差、均方根误差以及相关系数，评价本发明的有效性，同时利用未优化的神经网络对同样脉动风速进行预测，分析比较两种方法的性能。

2.根据权利要求1所述的基于粒子群优化反向传播神经网络的脉动风速预测方法，其特征在于，所述第一步中，自回归滑动平均模型模拟m维脉动风速表示为下式：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；p为自回归阶数，q为滑动回归阶数，t为时间。

3.根据权利要求1所述的基于粒子群优化反向传播神经网络的脉动风速预测方法，其特征在于，所述第二步中，设定反向传播神经网络输入节点为m＝10，隐层节点为p＝10，输出节点为q＝1，则反向传播神经网络完成映射f:R^m→R¹，隐层各节点的输入S_j为：

$S_j=\underset{i=}{\overset{m}{\Σ}}{\mathrm{\ω}}_{ij}{x}_i-{\mathrm{\θ}}_j,j=1,2,...p;$

反向传播神经网络激励函数为g(x)，则隐层节点的输出b_j为：

$b_j=g(\underset{i=1}{\overset{m}{\Σ}}{\mathrm{\ω}}_{ij}{x}_i-{\mathrm{\θ}}_j),j=1,2,...p$

同理，输出层节点的输入L、输出y分别为：

$L=\underset{j=1}{\overset{p}{\Σ}}{v}_j{b}_j-\mathrm{\γ}$

$y=g(\underset{j=1}{\overset{p}{\Σ}}{v}_j{b}_j-\mathrm{\γ})$

反向传播神经网络的连接权重ω_ij、v_j和偏置θ_j、γ可以通过反向传播神经网络训练求得，故y即为反向传播神经网络的预测模型。

4.根据权利要求1所述的基于粒子群优化反向传播神经网络的脉动风速预测方法，其特征在于，所述第三步中，设置神经网络输入节点为m＝10，隐层节点为p＝10，输出节点为q＝1，激励函数g(x)为“Sigmoid”；设定粒子群优化算法的粒子种群规模M＝30，迭代次数K＝100，学习因子C₁＝C₂＝2，将神经网络的权值与偏置映射为粒子群优化算法中的粒子并且初始化，计算各粒子的适应度函数值，根据适应度比较不断更新粒子的速度和位置，判断在给定的最大次数或最小误差要求的条件下，停止迭代，输出权值和偏置，利用输出的权值和偏置对神经网络进行训练对测试集进行预测。

5.根据权利要求1所述的基于粒子群优化反向传播神经网络的脉动风速预测方法，其特征在于，所述第四步中，将粒子群优化算法神经网络模型预测结果与实际风速进行对比，包括风速幅值、自相关函数，计算预测结果的误差指标，包括平均绝对误差、均方根误差以及相关系数，评价预测方法的精度，同时利用未优化的神经网络对同样脉动风速进行预测，分析比较两种方法的性能。