CN104899446A - 基于数据驱动的脉动风速模拟方法 - Google Patents

Abstract

本发明提出了一种基于数据驱动的脉动风速模拟方法。本方法首先通过AR法数值模拟超高层建筑20个模拟点的脉动风速作为样本数据；通过内插学习训练，采用PSO优化方法寻找最优的LS-SVM模型参数使得模型的预测误差最小，从而采用优化后的参数建立PSO-LSSVM模型；最后通过上下层的脉动风速样本预测出中间层的脉动风速，采用平均误差、均方根误差、相关系数作为评价指标，并与BP神经网络和标准的SVM数据驱动技术的结果进行比较。

Description

基于数据驱动的脉动风速模拟方法

技术领域

本发明涉及一种基于数据驱动的脉动风速模拟方法，其特征是基于粒子群法PSO优化最小二乘支持向量机LS-SVM的数据驱动技术来模拟脉动风速时程方法。

背景技术

标准的支持向量机(SVM)对函数拟合采用的方法主要是将输入样本从低维输入空间通过非线性映射转换到一个高维特征空间，然后在此高维空间中使得损失函数最小从而获得线性的拟合函数。根据Mercer定理，对于支持向量机而言，函数回归拟合问题可以描述为求解一个有约束的二次规划问题，约束数目等于样本的容量，虽然用到了相关的核函数避免了显示的求解高维映射带来的“维数灾难”，但是每一步迭代都需要进行核函数的矩阵运算，因核函数矩阵占有的内存随着样本的数量呈平方增长，训练也会消耗很长的时间，尤其当样本的容量较大时会导致训练时间过长而难以接受。此外，由于迭代误差的积累，也会导致算法的精度无法满足要求。其次，SVM在二次寻优过程中也需要进行大量的矩阵运算，在很多情况下，寻优算法占用的时间往往占主要部分。最小二乘估计用估计的剩余平方和的最小的原则确定样本回归函数是一种有效的回归估计模型方法，它在数据估计中占有举足轻重的地位。Suykens注意到最小二乘法用于解决支持向量机问题的优势，首先提出了最小二乘支持向量机(Least Squares Support Vector Machine,LS-SVM)，在标准的SVM目标函数中增加了误差平方和项，形成LS-SVM模型，能有效地解决了SVM大规模运算的问题。

LS-SVM采用原始空间中的核函数计算通过非线性映射到高维特征空间中的内积运算，不管采用何种核函数，都会将该种核函数中的参数g带进回归函数的建立中，如：当采用径向基核函数时，K(x_i·x)＝exp(-||x_i-x||²/2σ²)，σ为径向基核函数参数，代表函数的宽度参数，控制了函数的径向作用范围，反映了支持向量之间的相关程度，它的值间接或直接影响了数据在特征空间的分布，过小的很容易导致拟合不足，使训练算法局部优化，造成训练误差，而过大的会导致过度拟合。标准的SVM和LS-SVM都用到了惩罚参数C，分别用来控制不敏感损失函数和误差，惩罚参数C可以折中模型的训练误差和复杂程度，即实现经验风险和置信风险的折中，C过大，虽然表面经验风险最小化，但是由于置信风险没有最小化的优势，因此无法实现结构风险最小化的原则。所以，选择合适的核函数和惩罚参数C对所建立的预测模型的泛化能力有着举足轻重的作用。

支持向量机的模型优化取决于最佳参数组合，但是目前还没有通用的方法解决最佳参数组的选择问题。开始时，对模型的参数选取还主要是通过试凑法，根据历史经验，通过反复的试验才能得到较好的模型，费时又费力，且得到的模型往往不是最优模型。采用网格搜索法(Grid Search，GS)建模时，会消耗不少的搜索时间，而且由于采用网格插值验证，并没有对网格内的所有组合都搜索遍，因此找到的模型参数也不一定是最优参数组合。Chen提出的基于遗传算法(Genetic Algorithm，GA)的SVM参数选择方法，虽然在计算时间上得到了明显的改善，但是GA操作上比较复杂，对不同的优化问题都需要设计不同的交叉或变异方式。粒子群优化方法(Particle Swarm Optimization，PSO)作为一种基于群体智能的新兴优化算法，因其算法简单、计算快捷，近来逐渐被用于支持向量机的参数优化选择上。

在脉动风速实测和风洞试验方面，风速样本的实测不仅需要布置测量装置，而且增加成本，而传统的数值模拟技术需要通过各个风速模拟点进行模拟，也非常费时。因此，通过已知的风速样本来获得未知的风速样本非常有实际意义。通过LS-SVM数据驱动预测，我们可获得风速样本的特征信息，节约风速实测成本，这样有助于我们把更多的科研资金运用到更需要的地方。

发明内容

本发明的目的在于根据已有技术存在的缺陷提供一种基于数据驱动的脉动风速数据驱动模拟方法，解决传统的支持向量机或者参数优化方法模拟精度不高、耗时等问题。而且把传统的数值模拟与新型的数据驱动技术LS-SVM结合起来，通过数值模拟为脉动风速的数据驱动模拟提供样本数据，再通过数据驱动技术模拟预测所需空间上的脉动风速，从而形成一整套能为抗风设计提供所需的风速时程曲线的模拟预测方法，不仅减少了实测成本，而且节约了大量的时间成本。

为达到上述目的，本发明采用下述技术方案：

一种基于数据驱动的脉动风速模拟方法，其特征在于：基于PSO优化LS-SVM的脉动风速数据驱动技术，通过已知的高度脉动风速样本数据的内插学习和训练，预测待模拟的高度脉动风速时程，具体步骤如下：

(1)选择超高层建筑，确定数值模拟脉动风速所需要的参数，有：模拟的建筑高度和模拟风速点的各高度、该处10米高度的平均风速、表面粗糙度系数、地面粗糙度指数、模拟相关函数；

(2)通过AR法数值模拟生成的设定数量沿高度均匀分布的脉动风速时程，作为有限的原始脉动风速样本数据；并对风速功率谱密度、自相关函数及互相关函数的模拟值与相应目标值的吻合程度进行检验，以验证基于AR模型模拟超高层建筑风速时程的可行性；

(3)将PSO算法加入LS-SVM数据驱动方法中，通过对已知高度区域内的脉动风速样本数据进行学习和训练，建立PSO-LSSVM脉动风速预测模型。

(4)通过输入间隔两层的样本数据到预测模型中，输出中间层相应时间的脉动风速，并采用平均误差、均方根误差、相关系数作为评价指标，对结果进行分析，评估PSO-LSSVM的精确性。

上述步骤(2)中的AR模型用下式表示：

$v\left(t\right)=-\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\ψ}}_k\·v(t-\mathrm{k\Δt})+N\left(t\right)---\left(1\right)$

式中：v(t)、v(t-kΔt)分别为空间M个点在t时刻和t-kΔt时刻的脉动风速时程向量；p为AR模型的阶数；Δt为模拟风速的时间步长；ψ_k是AR模型自回归系数矩阵，为M×M阶方阵；N(t)＝L·n(t)，L为下三角矩阵，n(t)是M维均值为0方差为1相互独立的白噪声向量。

上述步骤(3)中的PSO算法将每个优化问题的解都看作是搜索空间中的一只鸟，称之为“粒子”。每个粒子不仅都有决定其位置的速度，而且都有一个由被优化函数决定的适应度值。粒子在空间中通过跟踪个体本身所找到的适应度最优位置pbest和整个种群中所有粒子找到的适应度最优位置gbest，不断地迭代更新各自的位置。

假设种群规模为M，粒子数i＝1,2,…,M，在一个D维的搜索空间中，第i个粒子在改搜索空间的位置为X_ij，定义向量为X_ij＝(X_i1,X_i2,…,X_iD)，对应的飞行速度向量为V_ij＝(V_i1,V_i2,…,V_iD)，定义当前种群的局部最佳位置pbest_ij＝(pbest_i1,pbest_i2,…,pbest_iD)，整个种群的全局最佳位置gbest_ij＝(gbest_i1,gbest_i2,…,gbest_iD)。在找到两个极值后，粒子会根据下式更新自己的速度和位置：

V_ij(t+1)＝w×V_ij(t)+c₁×r₁×[pbest_ij(t)-X_ij(t)]+c₂×r₂×[gbest_ij(t)-X_ij(t)]

                                (2)

X_ij(t+1)＝X_ij(t)+V_ij(t)

式中：加速因子c₁和c₂分别调节pbest_ij和gbest_ij沿飞行方向的最大步长，合适的c₁和c₂可以加快收敛并且不易陷入局部最优；r₁和r₂是介于0和1之间的随机函数。V_ij通常限定于一定范围内：V_ij∈[-V_max,V_max]，如果问题的搜索空间限定在[-X_max,X_max]内，则可设定V_max＝k×X_max，0.1≤k≤1。

w为惯性权重，表示当前的速度在下次迭代中所占的比重，通常w较大则算法有较强的全局搜索能力，否则算法有较强的局部搜索能力。因此，一般设置w随着计算的进行而不断减小，以使得算法在运行初期具有较好的全局搜索能力，而在末期具有较好的局部搜索能力，通常可取w为线性递减的函数模式，会取得较好的结果，形式如下：

$w=w_{\max }-\frac{t\×(w_{\max }-w_{\min })}{T_{\max }}---\left(3\right)$

式中：T_max为最大迭代次数；w_max为初始惯性权重；w_min为迭代次数到达最大时的惯性权重。通常我们取w_max＝0.9，w_min＝0.4。

PSO算法的基本流程如下：

1)种群初始化：确定种群的大小和迭代次数，设定c₁和c₂、r₁和r₂、w_max和w_min的值，并将搜索空间限定在[-X_max,X_max]。产生粒子初始位置和初始速度。

2)计算每个粒子的适应度值，并比较该适应度值与其历史上所在的最佳位置上的适应度值，若是以误差作为适应度值，当现有适应度值小于历史值，则将现在所在的位置更新为局部最佳位置pbest_ij，若是大于，则保持历史局部最佳位置不变。

3)比较全局历史最佳位置的适应度值与个体所在位置的适应度值，若历史值大于个体值，则全局最佳位置gbest_ij更新为个体所在的位置，反之，则保持历史全局最佳位置不变。

4)根据公式(2)更新粒子的速度和位置。

5)检验终止条件，若是满足要求则停止迭代，输出结果，否则返回步骤2)迭代至满足终止条件为止。

上述步骤3)中的LS-SVM的训练只需要求解一个线性方程组，不仅易于实现，而且极大地提高了训练效率，在模式识别和回归建模等问题中被广泛地应用。

给定的样本数据集T＝{(x_i,y_i)，…，(x_l,y_l)}，其中：x_i∈Rⁿ，y_i∈R，i＝1,2,3,…,l。同样考虑用函数f(x)＝ω·ψ(x)+b，对样本数据进行拟合，并使得拟合值与实际值误差最小，其中非线性映射ψ(x)将输入样本映射到高维特征空间中。LS-SVM的回归问题可以表示为以下形式：

$\begin{array}{c}\min [\frac{1}{2}{\left|\right|\mathrm{\ω}\left|\right|}^2+\frac{1}{2}C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{e}_i^2]\\ s.t.[y_i-(\mathrm{\ω}\·\mathrm{\ψ}\left(x_i\right)+b)=e_i],i=\mathrm{1,2,3},\·\·\·,l\end{array}---\left(4\right)$

式中：e_i∈R为误差，e∈R^l×l为误差向量；与SVM一样，C为惩罚参数，但在此处用以控制对误差的惩罚程度，如果训练数据有较大的噪声，则应该适当选择较小的C；ψ(x)为非线性映射，将输入样本映射到高维特征空间：权值向量偏置b∈R。

为解式(4)的优化问题，可以引入Lagrange乘子，定义其Lagrange函数为如下形式：

$L(\mathrm{\ω},b,e,\mathrm{\α})=\frac{1}{2}{\left|\right|\mathrm{\ω}\left|\right|}^2+\frac{1}{2}C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{e}_i^2-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i(\mathrm{\ω}\·\mathrm{\ψ}\left(x_i\right)+b+e_i-y_i)---\left(5\right)$

由KKT条件，对上式求导得：

$\left\{\begin{array}{c}\frac{\∂L}{\∂\mathrm{\ω}}=0\→\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i\mathrm{\ψ}\left(x_i\right)\\ \frac{\∂L}{\∂b}=0\→\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i=0\\ \frac{\∂L}{\∂e_i}=0\→{\mathrm{\α}}_i=C{e}_i\\ \frac{\∂L}{\∂{\mathrm{\α}}_i}=0\→\mathrm{\ω}\·\mathrm{\ψ}\left(x_i\right)+b+e_i-y_i=0\end{array}\right.i=\mathrm{1,2},\·\·\·,L---\left(6\right)$

公式(6)的这些条件和标准的SVM的优化条件相似，只是α_i＝Ce_i，使得每个样本数据点对回归估计函数都做出了贡献，而不只是支持向量。联立方程组，消去ω和eⁱ，令：α＝[α₁,α₂,…α_l]^T，Q＝[1,1,…1]^T，Y＝[y₁,y₂,…y_l]^T，I为单位矩阵，则公式(6)所得的解为：

$\left[\begin{array}{c}0\\ Y\end{array}\right]=\left[\begin{array}{cc}0& Q^T\\ Q& K+C^{-1}I\end{array}\right]\left[\begin{array}{c}b\\ \mathrm{\α}\end{array}\right]---\left(7\right)$

式中：K表示核函数：K(x_i,x_j)＝ψ(x_i)·ψ(x_j)，与SVM一样主要有线性核函数、多项式核函数、径向基核函数(RBF)等。

通过求解线性方程组公式(7)可以求得αⁱ和b，因此获得LS-SVM的回归预测模型：

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}K(x,x_i)+b---\left(8\right)$

与现有技术相比，本发明具有如下突出的实质性特点和显著的优点：

一方面，LS-SVM的优势使其能充分地逼近任意复杂的非线性关系，能学习和适应不确定系统的动态特征，极具方便的“黑匣子”建模功能和解决非线性预测方面的能力，是一种性能优秀的数据驱动技术方法之一，能在很多领域内发挥它的独到之处。但是如何选择模型参数国际上还没有出现一个公认的通用方法，而模型参数对模型的性能起着至关重要的作用。另一方面，PSO的出现，为模型参数的优化问题提供了一个新的方法途径，它原理简单，计算方面，与网格搜索法GS相比，PSO可以避免因网格插值搜索而遗漏部分参数组合，能实现真正的全局搜索，找到最优参数；与遗传算法GA相比，在算法操作上明显要比GA简单得多，可以避免对不同的优化问题都需要设计不同的交叉或变异方式，因此比GA收敛速度更快，能节省搜索时间。

综上所述，将PSO算法和LS-SVM模型结合起来，作为一种新型的数据驱动技术，极具可行性。当在利用PSO算法优化LS-SVM模型时，不排除会出现多组最优的C和g，在这种情况下，我们应该首先采取惩罚参数C值最小的组合，这样可以有效避免因C过大而引起的过学习现象。

附图说明

图1为基于PSO-LSSVM的脉动风速模拟流程图。

图2为AR法数值模拟的脉动风速及模拟功率谱、自相关函数与目标值的比较。

图3为AR法数值模拟的脉动风速互相关函数与目标互相关函数的比较。

图4为PSO粒子的移动原理。

图5为PSO算法的适应度曲线。

图6为基于PSO-LSSVM数据驱动技术的脉动风速模拟。

具体实施方式

以下结合附图对本发明的实施进一步详细说明。

实施例一：

参见图1，本基于数据驱动的脉动风速模拟方法流程步骤如下：

1)选择超高层建筑，确定数值模拟脉动风速所需要的参数：模拟的建筑高度和模拟风速点的各高度、该处10米高度的平均风速、表面粗糙度系数、地面粗糙度指数、模拟相关函数；

2)通过AR法数值模拟生成的设定数量沿高度均匀分布的脉动风速时程，作为有限的原始脉动风速样本数据；并对风速功率谱密度、自相关函数及互相关函数的模拟值与相应目标值的吻合程度进行检验，以验证基于AR模型模拟超高层建筑风速时程的可行性；

3)将PSO算法加入LS-SVM数据驱动方法中，通过对已知高度区域内的脉动风速样本数据进行学习和训练，建立PSO-LSSVM脉动风速预测模型；

4)通过输入间隔两层的样本数据到预测模型中，输出中间层相应时间的脉动风速，并采用平均误差、均方根误差、相关系数作为评价指标，对结果进行分析，评估PSO-LSSVM的精确性。

实施例二：

本实施例与实施例一基本相同，特别之处如下：

AR模型用下式表示：

$v\left(t\right)=-\underset{k=1}{\overset{p}{\mathrm{\Σ}}}{\mathrm{\ψ}}_k\·v(t-\mathrm{k\Δt})+N\left(t\right)---\left(1\right)$

式中：v(t)、v(t-kΔt)分别为空间M个点在t时刻和t-kΔt时刻的脉动风速时程向量；p为AR模型的阶数；Δt为模拟风速的时间步长；ψ_k是AR模型自回归系数矩阵，为M×M阶方阵；N(t)＝L·n(t)，L为下三角矩阵，n(t)是M维均值为0方差为1相互独立的白噪声向量。

将AR法模拟脉动风速分别与目标幅值、功率谱、自相关函数进行比较，保证模拟结果的准确性。然后将模拟脉动风速分为训练集和测试集，将PSO与LS-SVM两者结合起来，建立PSO-LSSVM优化预测模型。

实施例三：

本基于PSO优化LS-SVM数据驱动的脉动风速模拟方法，具体步骤如下：

第一步，选择某市中心高度为200米的超高层建筑，沿高度方向取每隔10米的点作为各模拟风速点。其他相关参数见表1：

表1相关模拟参数

表示10m高度处的平均风速。

第二步，通过AR法数值模拟生成的一定数量沿高度均匀分布的脉动风速时程，作为有限的原始脉动风速样本数据。模拟功率谱采用Davenport谱，只考虑高度方向的空间相关性，相关函数取：C_x＝C_y＝0,C_z＝10。取4阶自回归模型阶数，即p取4，建立20维AR自回归模型，生成20个模拟风速点的脉动风速时程曲线。计算这些模拟值的功率谱密度、自相关函数、互相关函数，并与目标值进行比较。从图3和图4可以看出，模拟值与目标值较吻合，模拟效果比较理想。

为了验证基于数据驱动技术预测的有效性，需要将一部分样本数据组用于机器学习，另一部分样本数据组用于预测验证数据驱动技术模拟的脉动风速。本发明将AR模型生成的样本数据分成两部分：取前200s(1000Δt)脉动风速值作为学习样本，接着的300s风速值作为验证样本。

第三步，将PSO算法加入LS-SVM数据驱动方法中，通过对某些高度区域内的脉动风速样本数据进行学习和训练，建立PSO-LSSVM脉动风速预测模型。内插机器学习是：取几组相隔两层高度区的脉动风速学习样本作为输入，中间层高度的风速学习样本作为输出，进行训练，从而建立预测模型，例如：10m和50m、40m和80m、90m和130m、130和170m、140m和180m处的脉动风速时程样本作为输入，30m、60m、110m、150m、160m处的脉动风速时程作为输出，进行学习训练并预测检验。这一步的具体步骤如下：

1)选择合适的核函数。本发明将采用RBF核函数作为LS-SVM的核函数进行模型训练。

2)交叉验证k-CV获取模型参数初步范围。对训练样本采用k-CV，本文k取10，即把训练样本平均分成10组，每组都作为一次测试集，其余九组作为训练集，通过在网格内搜索C和g，使得交叉验证的平均误差最小，可以初步锁定模型参数的范围。

3)PSO算法参数的确定。确定种群的规模和进化次数，设定c₁和c₂、w_max和w_m ⁱ _n的值，随机产生r₁和r₂。根据步骤2)中交叉验证获得的模型参数的初步范围，确定搜索空间限定在[-X_max,X_max]，包括[-X_max,X_max]和[-g_max,g_max]。

4)PSO种群初始化。根据步骤3)设定的PSO算法参数，就可以产生粒子的初始位置X和初始速度V。

5)建立LS-SVM预测回归模型，输入检验样本的输入值，计算适应度值。在回归问题中，LS-SVM的适应度值为样本均方根误差。

6)根据适应度值更新粒子的位置和速度。

7)判断进化是否满足终止条件，一般以误差是否达到要求为终止条件。若不满足，则返回步骤5)重新建立预测模型计算粒子适应度值并逐步更新。若满足终止条件，则停止迭代，将全局最佳位置作为模型的最佳参数输出。

8)通过模型最佳参数建立LS-SVM预测模型，即PSO-LSSVM。

第四步，通过输入间隔两层的验证样本到PSO-LSSVM预测模型中，输出中间层相应时间的脉动风速，并采用平均误差AE、均方根误差RMSE、相关系数R作为评价指标，对结果进行分析，评估PSO-LSSVM的精确性。为直观体现出本发明的优越性，列举了BP神经网络、网格优化的SVM两种数据驱动技术做了相同预测工作，作为对比。

表2三种方法模拟的评价指标

从图6可以看出PSO-LSSVM预测模拟不同高度处的脉动风速不仅幅值变化与目标值基本一致，而且其模拟值的自相关函数与目标值能很好地吻合。表2也可以看出，与BPNN和SVM相比，PSO-LSSVM的平均误差和均方根误差都是最小的，而相关系数也是三者中最大的(通常认为相关系数R≥0.8时，认为具备很强的相关性)。因此，可以得到结论：基于PSO-LSSVM的脉动风速模拟极具优势。

Claims (3)

1.一种基于数据驱动的脉动风速模拟方法，其特征在于：基于粒子群法PSO优化最小二乘支持向量机LS-SVM的数据驱动技术，通过已知的高度脉动风速样本数据的内插学习和训练，预测待模拟高度脉动风速时程；具体步骤如下：

1)选择超高层建筑，确定数值模拟脉动风速所需要的参数：模拟的建筑高度和模拟风速点的各高度、该处10米高度的平均风速、表面粗糙度系数、地面粗糙度指数、模拟相关函数；

2)通过AR法数值模拟生成的设定数量沿高度均匀分布的脉动风速时程，作为有限的原始脉动风速样本数据；并对风速功率谱密度、自相关函数及互相关函数的模拟值与相应目标值的吻合程度进行检验，以验证基于AR模型模拟超高层建筑风速时程的可行性；

3)将PSO算法加入LS-SVM数据驱动方法中，通过对已知高度区域内的脉动风速样本数据进行学习和训练，建立PSO-LSSVM脉动风速预测模型；

4)通过输入间隔两层的样本数据到预测模型中，输出中间层相应时间的脉动风速，并采用平均误差、均方根误差、相关系数作为评价指标，对结果进行分析，评估PSO-LSSVM的精确性。

2.根据权利要求1所述的基于数据驱动的脉动风速模拟方法，其特征在于：所述步骤2)中的AR模型用下式表示：

式中：v(t)、v(t-kΔt)分别为空间M个点在t时刻和t-kΔt时刻的脉动风速时程向量；p为AR模型的阶数；Δt为模拟风速的时间步长；ψ_k是AR模型自回归系数矩阵，为M×M阶方阵；N(t)＝L·n(t)，L为下三角矩阵，n(t)是M维均值为0方差为1相互独立的白噪声向量。

3.根据权利要求1所述的基于数据驱动的脉动风速模拟方法，其特征在于：所述步骤3)中将PSO与LS-SVM两者结合起来，建立PSO-LSSVM优化预测模型的方法：

PSO算法将每个优化问题的解都看作是搜索空间中的一只鸟，称之为“粒子”，每个粒子不仅都有决定其位置的速度，而且都有一个由被优化函数决定的适应度值；粒子在空间中通过跟踪个体本身所找到的适应度最优位置pbest和整个种群中所有粒子找到的适应度最优位置gbest，不断地迭代更新各自的位置：假设种群规模为M，粒子数i＝1,2,…,M，在一个D维的搜索空间中，第i个粒子在改搜索空间的位置为X_ij，定义向量为X_ij＝(X_i1,X_i2,…,X_iD)， 对应的飞行速度向量为V_ij＝(V_i1,V_i2,…,V_iD)，定义当前种群的局部最佳位置pbest_ij＝(pbest_i1,pbest_i2,…,pbest_iD)，整个种群的全局最佳位置gbest_ij＝(gbest_i1,gbest_i2,…,gbest_iD)；在找到两个极值后，粒子会根据下式更新自己的速度和位置：

V_ij(t+1)＝w×V_ij(t)+c₁×r₁×[pbest_ij(t)-X_ij(t)]+c₂×r₂×[gbest_ij(t)-X_ij(t)] 

X_ij(t+1)＝X_ij(t)+V_ij(t)                         (2) 

式中：加速因子c₁和c₂分别调节pbest_ij和gbest_ij沿飞行方向的最大步长，合适的c₁和c₂可以加快收敛并且不易陷入局部最优；r₁和r₂是介于0和1之间的随机函数；V_ij通常限定于一定范围内：V_ij∈[-V_max,V_max]，如果问题的搜索空间限定在[-X_max,X_max]内，则可设定V_max＝k×X_max，0.1≤k≤1；w为惯性权重，表示当前的速度在下次迭代中所占的比重；

LS-SVM的训练只需要求解一个线性方程组，不仅易于实现，而且极大地提高了训练效率，在模式识别和回归建模等问题中被广泛地应用；给定的样本数据集T＝{(x_i,y_i)，…，(x_l,y_l)}，其中：x_i∈Rⁿ，y_i∈R，i＝1,2,3,…,l；同样考虑用函数f(x)＝ω·ψ(x)+b，对样本数据进行拟合，并使得拟合值与实际值误差最小，其中非线性映射ψ(x)将输入样本映射到高维特征空间中；LS-SVM的回归问题表示为以下形式：

式中：e_i∈R为误差，e∈R^l×l为误差向量；与SVM一样，C为惩罚参数，但在此处用以控制对误差的惩罚程度，如果训练数据有较大的噪声，则应该适当选择较小的C；ψ(x)为非线性映射，将输入样本映射到高维特征空间：权值向量偏置b∈R；

为解式(3)的优化问题，引入Lagrange乘子，定义其Lagrange函数为如下形式：

由KKT条件，对上式求导得：

公式(5)的这些条件和标准的SVM的优化条件相似，只是α_i＝Ce_i，使得每个样本数据点对回归估计函数都做出了贡献，而不只是支持向量；联立方程组，消去ω和e_i，令：α＝[α₁,α₂,…α_l]^T，Q＝[1,1,…1]^T，Y＝[y₁,y₂,…y_l]^T，I为单位矩阵，则公式(5)所得的解为：

式中：K表示核函数：K(x_i,x_j)＝ψ(x_i)·ψ(x_j)，与SVM一样主要有线性核函数、多项式核函数、径向基核函数(RBF)；

通过求解线性方程组公式(6)求得α_i和b，因此获得LS-SVM的回归预测模型：

PSO-LSSVM的具体建立步骤如下：

1)选择合适的核函数：将采用RBF核函数作为LS-SVM的核函数进行模型训练；

2)交叉验证k-CV获取模型参数初步范围，对训练样本采用k-CV，本文k取10，即把训练样本平均分成10组，每组都作为一次测试集，其余九组作为训练集，通过在网格内搜索C和g，使得交叉验证的平均误差最小，可以初步锁定模型参数的范围；

3)PSO算法参数的确定，确定种群的规模和进化次数，设定c₁和c₂、w_max和w_min的值，随机产生r₁和r₂；根据步骤2)中交叉验证获得的模型参数的初步范围，确定搜索空间限定在[-X_max,X_max]，包括[-X_max,X_max]和[-g_max,g_max]；

4)PSO种群初始化：根据步骤3)设定的PSO算法参数，就可以产生粒子的初始位置X和初始速度V；

5)建立LS-SVM预测回归模型：输入检验样本的输入值，计算适应度值；在回归问题中，LS-SVM的适应度值为样本均方根误差；

6)根据适应度值更新粒子的位置和速度；

7)判断进化是否满足终止条件，一般以误差是否达到要求为终止条件：若不满足，则返回步骤5)重新建立预测模型计算粒子适应度值并逐步更新；若满足终止条件，则停止迭代，将全局最佳位置作为模型的最佳参数输出；

8)通过模型最佳参数建立LS-SVM预测模型，即PSO-LSSVM。