CN104933303A - 基于优化多核的lssvm脉动风速预测方法 - Google Patents

Abstract

本发明提供一种基于优化多核的LSSVM脉动风速预测方法，其包括以下步骤：利用AR模型模拟生成垂直空间点脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理；建立多核LSSVM模型；利用PSO优化后的多核核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间；得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均误差、均方根误差以及相关系数。本发明确保脉动风速预测的精确性，为LSSVM机器学习提供了两种新的具有较高精度和稳定性的核函数选择。

Description

基于优化多核的LSSVM脉动风速预测方法

技术领域

本发明涉及一种采用已有核函数Lin_kernel、RBF_kernel、Poly_kernel组合优化的最小二乘支持向量机的单点脉动风速预测方法，具体的说是一种基于优化多核的LSSVM脉动风速预测方法。

背景技术

支持向量机出色的学习性能，尤其针对于小样本问题，一直是机器学习以及数据挖据算法的研究热点。核函数在支持向量机中是至关重要的，它的引入极大地提高了学习机器的非线性处理能力,保持了学习机器在高维空间中的内在线性,使得学习的过程容易得到控制。显然支持向量机的性能在很大程度上取决于核函数的好坏，因此近年来关于支持向量机的研究大部分都集中在支持向量机核函数的研究。目前国内外关于核函数的研究主要可概括为以下几个方面：(1)组合现有的核函数构造出新的核函数；(2)改进现有的核函数设计新的核函数；(3)核函数参数优化问题；(4)针对参数优化的模型选择问题。

多核Multiple Kernel支持向量机与标准的SVM的区别是标准SVM对所有特征同样对待，使用了一个核函数，而多核支持向量机则通过不同核函数的凸组合作为新的核函数，该方法相当于对特征进行分块，每一块使用一个核函数，尤其适用于多源Heterogeneous特征。不恰当的核函数或参数会导致模型的泛化能力差，最简单的组合核函数的方法就是取平均值。但是每个核函数匹配相同的权值并不合理，因此多核组合主要的工作就是决定选用的核函数的最优的权值，来平衡学习能力和泛化能力，使两者性能达到最优。相对于单核学习，多核学习可以达到更高的精度，且具有更强的鲁棒性。在应用多核学习过程中，即使核函数的参数没有达到最优，也不会太多的影响学习效果。因为通过调整各核的权值可以获得最合适的参数，这是多核学习稳定性更好的原因之一。

在脉动风速实测和风洞试验方面，风速样本的实测不仅需要布置测量装置，而且增加成本，而传统的数值模拟技术需要通过各个风速模拟点进行模拟，也非常费时。因此，通过已知的风速样本来获得未知的风速样本非常有实际意义。通过LSSVM预测，我们可获得风速样本的完整特征信息，节约风速实测成本，这样有助于我们把更多的科研资金运用到更需要的地方。

发明内容

本发明的目的在于提供一种基于优化多核的LSSVM脉动风速预测方法，其利用AR(Auto-Regressive，自回归)模拟脉动风速样本，基于已有核函数Lin_kernel、RBF_kernel、Poly_kernel，建立不同组合核函数的最小二乘支持向量机(LSSVM)的模型，改进单一核函数的缺陷并对多核模型参数优化，利用该模型对单点风速进行预测。计算实际风速与预测风速的平均误差(AE)、均方根误差(RMSE)以及相关系数(R)评价本方法的有效性。

根据上述发明构思，本发明采用下述技术方案：一种基于优化多核的LSSVM脉动风速预测方法，其特征在于，其包括以下步骤：

第一步：利用AR模型模拟生成垂直空间点的脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，采用Matlab对空间点的脉动风速样本归一化处理；

第二步：根据Mercer定理，将已有核函数Lin_kernel、RBF_kernel、Poly_kernel线性组合构造多核核函数，建立基于多核核函数的LSSVM模型；

第三步：引入PSO优化方法，对不同多核核函数的参数优化：核函数参数γ、惩罚参数c、权重系数a进行寻优，确定最优模型参数，最优模型参数包括：RBF+Lin和Poly+Lin，利用此模型对脉动风速测试样本进行预测；利用PSO优化后的多核核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间，得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；

第四步：将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均误差、均方根误差以及相关系数。

优选地，所述第一步中，AR模型模拟m维脉动风速表示为下式：

$U\left(t\right)=-\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{A}_{i}X(t-\mathrm{i\Δt})+N\left(t\right)$

式中，U(t)为脉动风速；A_i分别是m×m阶AR模型的系数矩阵；N(t)为零均值、方差给定的随机向量；P为自回归阶数。

优选地，所述第二步中，给定n个训练样本{x₁,x₂,…x_n}，采用线性组合的方式，对Lin_kernel与Poly_kernel和RBF_kernel与Lin_kernel分别组合，即如下两式：

K₁＝a·K_Lin+(1-a)·K_Poly

K₂＝a·K_Lin+(1-a)·K_RBF。

所述第三步中，设置粒子群规模m＝30和随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度；通过迭代优化不断更新粒子的速度和位置，最终根据终止迭代次数或适应度条件确定最优参数，建立多核LSSVM模型。

本发明基于优化多核的LSSVM脉动风速预测方法具有如下优点：多核核函数具有不同核函数的性能，并且采用最优权重线性组合使其学习能力和泛化能力同时达到最优。在应用多核学习过程中，即使核函数的参数没有达到最优，也不会太多的影响学习效果。因为通过优化各核的权值可以获得最合适的参数，这是多核学习稳定性更好的原因之一。根据运行结果表明，基于多核的LSSVM方法预测得到的脉动风速与实际脉动风速吻合很好，可以作为脉动风速预测的一种有效方法。

附图说明

图1是30米高度处脉动风速模拟样本示意图；

图2是基于优化多核的LSSVM脉动风速预测方法设计框架图示意图；

图3是30米Lin+Poly优化核函数LSSVM预测风速与实际风速对比示意图；

图4是30米Lin+Poly优化核函数LSSVM预测风速与实际风速自相关函数对比示意图；

图5是30米Lin+Poly优化核函数LSSVM预测风速与实际风速功率谱密度函数对比示意图。

图6是30米Lin+RBF优化核函数LSSVM预测风速与实际风速对比示意图；

图7是30米Lin+RBF优化核函数LSSVM预测风速与实际风速自相关函数对比示意图；

图8是30米Lin+RBF优化核函数LSSVM预测风速与实际风速功率谱密度函数对比示意图。

具体实施方式

本发明的构思如下：单一核函数往往很难同时满足很好的学习能力和较强的泛化能力，而通过不同核函数的组合可以使多核核函数包含不同单核核函数所具有的优点，通过优化各核的权值可以获得最合适的参数，使多核学习稳定性更好。根据Mercer定理，任意核函数k(x_i,x_j)的Gram矩阵K对称且半正定，满足一定数目的包闭性质，即允许从简单的核创立复杂的核。所以对RBF_kernel、Poly_kernel、Lin_kernel核函数线性组合，构造出新的核函数，使预测模型既有具有很好的学习能力(训练误差小)，也能有很强的泛化能力(测试误差小)，同时提高单一核函数学习的稳定性。多核函数的最小二乘支持向量机(LSSVM)的参数包括：RBF核函数参数γ、惩罚参数c、权重系数a，利用粒子群(PSO)优化对上述三个参数进行优化，由于多项式核函数参数q过大时，使模型的计算量骤增，本文取q＝3达到全局拟合能力以及计算时间的折中。利用优化多核函数LSSVM模型对脉动风压进行预测，并与传统单一核函数预测结果进行对比分析。

以下结合附图采用本发明对单点脉动风速预测作进一步详细说明，步骤如下：

第一步，利用AR模型模拟生成垂直空间点的脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，采用Matlab对空间点的脉动风速样本归一化处理；AR模型的自回归阶数p＝4。模拟某200米的超高层建筑，沿高度方向取每隔10米的点作为各模拟风速点。其他相关参数见表1：

表1相关模拟参数表

模拟功率谱采用Kaimal谱，只考虑高度方向的空间相关性。模拟生成30米脉动风速样本分别见图1。

所述第一步中，AR模型模拟m维脉动风速表示为下式(1)：

$U\left(t\right)=-\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{A}_{i}X(t-\mathrm{i\Δt})+N\left(t\right)...\left(1\right)$

式中，t为时间；U(t)为脉动风速；A_i分别是m×m阶AR模型的系数矩阵；N(t)为零均值、方差给定的随机向量；P为自回归阶数。

求解式(1)中的系数矩阵A_i，需要对(1)同时右乘N(t)后取期望得到式(2)：

$E\left[U\left(t\right)N\left(t\right)\right]=E\left[\underset{i=1}{\overset{p}{\mathrm{\Σ}}}{A}_{i}X(t-\mathrm{i\Δt})N\left(t\right)\right]+E\left[\mathrm{LN}\left(t\right)N\left(t\right)\right]...\left(2\right)$

根据相关函数定义知式(2)中左项＝R_UN(0)； 右二项＝LR_N(0)，所以解决(1)中系数问题关键要分别求相关函数，而相关函数由功率谱通过维纳—辛钦公式算出下式(3)：

$R_{\mathrm{uu}}^{\mathrm{ij}}\left(\mathrm{i\Δt}\right)={\∫}_0^{\∞}{S}_{\mathrm{ij}}\left(n\right)\cos \left(2\mathrm{\πni\Δt}\right)\mathrm{dt}...\left(3\right)$

通过对公式(1)的矩阵变换，分别求解自回归系数A_i，建立脉动风速表达式。S_ij(n)为脉动风速功率谱函数；n为采样频率。

第二步，根据Mercer定理，将已有核函数Lin_kernel、RBF_kernel、Poly_kernel线性组合构造多核核函数，建立基于多核核函数的LSSVM模型。该LSSVM模型是基于优化多核的。具体来说，根据式(11)、(12)分别推导RBF+Lin和Poly+Lin多核核函数核矩阵，建立20维AR自回归模型，生成20个模拟空间风速点2500s(2500个采样时间点)的脉动风速时程曲线。取30m风速作为样本。将前2000个采样时间点的脉动风速作为训练集，后500个采样时间点的脉动风速作为测试集标签，用于建立多核的LSSVM预测模型，嵌入维数k＝10，延迟t＝1，流程图见图2。

第二步中，给定n个训练样本{x₁,x₂,…x_n}，核函数RBF_kernel、Poly_kernel、Lin_kernel分别表示为式(4)、式(5)、式(6)：

$K{(x_i,x_j)}_{\mathrm{RBF}}=\exp \left(\frac{-{(x_i-x_j)}^2}{\mathrm{\γ}}\right)...\left(4\right)$

K(x_i,x_j)_POLY＝((x_i,x_j)+1)^q……………(5)

K(x_i,x_j)_Lin＝x_i·x_j……………(6)

式中，x_i、x_j为训练样本空间第i、j个元素；γ为RBF核函数参数。

根据Mercer核定义，任意核函数矩阵对称且半正定，满足一定的包闭性质，即允许通过简单的运算组合新的核函数。设K₁和K₂是χ×χ上的核函数，则下面核函数的组合仍为核函数,如式(7)、式(8)、式(9)、式(10)：

K(x,y)＝K₁(x,y)+K₂(x,y)……………(7)

K(x，y)＝aK₁(x，y)……………(8)

K(x,y)＝K₁(x,y)·K₂(x,y)……………(9)

$K(x,y)=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{c}_i{K}_1(x,y)...\left(10\right)$

式(8)a≥0；式(10)的c_i为任意正实数。

所述第二步中，给定n个训练样本{x₁,x₂,…x_n}，采用线性组合的方式，对核函数Lin_kernel与Poly_kernel、RBF_kernel与Lin_kernel分别组合，即如式(11)和式(12)：

K₁＝a·K_Lin+(1-a)·K_Poly……………………(11)

K₂＝a·K_Lin+(1-a)·K_RBF……………………(12)

式中：a为线性组合权重；K_Lin为Lin_kernel；K_Poly为Poly_kernel；K_RBF为RBF_kernel；K₁、K₂为通过线性组合后的组合核函数。

针对SVM中的不等式约束，Suykens根据正则化理论改变标准SVM的约束条件和风险函数：将不敏感损失函数被误差的二次平方项代替作为损失函数，不等式约束条件转变成等式约束条件。因此LSSVM将求解二次规划问题转化成求解线性方程组，即式(13)：

$\begin{array}{c}\min [\frac{1}{2}{\left|\right|\mathrm{\ω}\left|\right|}^2+\frac{1}{2}C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\ξ}}^2]\\ s.t.[y_i-(\mathrm{\ω}\·\mathrm{\Φ}\left(x_i\right)+b)={\mathrm{\ξ}}_i],i=\mathrm{1,2,3},...l\end{array}...\left(13\right)$

式中，C为惩罚因子，实现经验风险和置信范围的折中；ξ_i为松弛因子；b为偏置项；ω为权向量。

引入Lagrange函数，转化其对偶问题，并根据最优化理论中的KKT(Karush-Kuhn-Tucher)条件，得到如下等式(14)和约束条件：

$\left\{\begin{array}{c}\mathrm{\ω}=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)\\ \underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i=0\\ {\mathrm{\α}}_i=C{\mathrm{\ξ}}_i\\ \mathrm{\ω}\·\mathrm{\Φ}\left(x_i\right)+b+{\mathrm{\ξ}}_i-y_i=0\end{array}\right....\left(14\right)$

最后得到决策函数，即式(15)：

$f\left(x\right)=\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_{i}K(x_i,x_j)+b...\left(15\right)$

式中，K(x_i,x_j)是利用已有核函数组合的多核核函数对输入的脉动风速训练样本所建立的核函数；α_i为Lagrange因子。

第三步，引入PSO优化方法，对不同多核核函数的参数优化：核函数参数γ、惩罚参数c、权重系数a进行寻优，确定最优模型参数，最优模型参数包括：RBF+Lin和Poly+Lin，利用此模型对脉动风速测试样本进行预测；利用PSO优化后的多核核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间，得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测。所述第三步中，设置粒子群规模m＝30，随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度；通过迭代优化不断更新粒子的速度和位置，最终根据终止迭代次数或适应度条件确定最优参数，建立多核LSSVM模型。具体来说，计算每次迭代粒子适应度F(x_i)，并将其与自身最优适应度F(Pbest_i)和全局最优适应度F(Gbest_i)比较，调整粒子个体最优位置P_i和全局最优位置P_g，更新粒子的速度和位置，获得新的LSSVM参数，确定最优模型参数，建立多核的LSSVM模型。利用该模型对训练集进行学习训练，获得训练回归预测模型(trainlssvm-model)。

第四步：将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均误差(AE)、均方根误差(RMSE)以及相关系数(R)，评价本方法的有效性。将后500个采样时间点脉动风速作为测试集标签输入，利用训练集输出的回归预测模型(trainlssvm-model)对500个采样时间点脉动风速进行预测，即将测试样本和利用多核LSSVM预测的脉动风速结果对比，图3、图4、图5分别为Lin+Poly优化核函数LSSVM对30米高度处脉动风速与实际风速幅值比较、自相关函数比较、功率谱函数比较，通过比较可以看出该组合核函数的预测结果与实际风速吻合较好；图6、图7、图8分别为Lin+RBF优化核函数LSSVM对30米高度处脉动风速与实际风速幅值比较、自相关函数比较、功率谱函数比较，结果显示该多核核函数仍然具有较好的吻合效果。

上面的步骤是基于Matlab平台编制的基于优化多核的LSSVM脉动风速预测方法的计算程序进行分析和验证的，预测结果见表2。

表2两种多核预测结果指标对比表

分析结果显示，优化多核的LSSVM预测结果相关系数均大于0.8(相关系数大于0.8说明有较强相关性)；均方误差显示两种多核的LSSVM预测结果更好的收敛于实际风速。本发明组合现有的核函数构造出新的核函数，改进单一核函数的缺陷，在应用多核学习过程中，即使核函数的参数没有达到最优，也不会太多的影响学习效果。因为通过优化各核的权值可以获得最合适的参数，确保学习、泛化的稳定性，同时对参数进行优化，使预测结果的准确度有进一步的提高，为脉动风速预测提供一种精度更高的方法。本发明确保脉动风速预测的精确性，为LSSVM机器学习提供了两种新的具有较高精度和稳定性的核函数选择。

Claims (4)

1.一种基于优化多核的LSSVM脉动风速预测方法，其特征在于，其包括以下步骤：

第一步：利用AR模型模拟生成垂直空间点的脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，采用Matlab对空间点的脉动风速样本归一化处理；

第二步：根据Mercer定理，将已有核函数Lin_kernel、RBF_kernel、Poly_kernel线性组合构造多核核函数，建立基于多核核函数的LSSVM模型；

第三步：引入PSO优化方法，对不同多核核函数的参数优化：核函数参数                                                、惩罚参数c、权重系数a进行寻优，确定最优模型参数，最优模型参数包括：RBF+Lin和Poly+Lin，利用此模型对脉动风速测试样本进行预测；利用PSO优化后的多核核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间，得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；

第四步：将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均误差、均方根误差以及相关系数。

2.根据权利要求1所述的基于优化多核的LSSVM脉动风速预测方法，其特征在于，所述第一步中，AR模型模拟m维脉动风速表示为下式：

式中，为脉动风速；分别是m×m阶AR模型的系数矩阵；为零均值、方差给定的随机向量；P为自回归阶数。

3.根据权利要求1所述的基于优化多核的LSSVM脉动风速预测方法，其特征在于，所述第二步中，给定n个训练样本，采用线性组合的方式，对Lin_kernel与Poly_kernel和RBF_kernel与Lin_kernel分别组合，即如下两式：

。

4.根据权利要求1所述的基于优化多核的LSSVM脉动风速预测方法，其特征在于，所述第三步中，设置粒子群规模m=30和随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度；通过迭代优化不断更新粒子的速度和位置，最终根据终止迭代次数或适应度条件确定最优参数，建立多核LSSVM模型。