CN105046057A - 基于Morlet小波核的LSSVM脉动风速预测方法 - Google Patents

Abstract

本发明提供一种基于Morlet小波核的LSSVM脉动风速预测方法，包括以下步骤：利用ARMA模型模拟生成垂直空间点脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理；建立Morlet小波核的LSSVM模型；利用PSO优化后的Morlet小波核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间；得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均误差、均方根误差以及相关系数。本发明确保脉动风速预测的精确性，提供了新的具有较高精度和稳定性的小波核函数选择。

Description

基于Morlet小波核的LSSVM脉动风速预测方法

技术领域

本发明涉及一种采用Morlet小波函数构造小波核的最小二乘支持向量机的单点脉动风速预测方法，具体的说是一种基于Morlet小波核的LSSVM脉动风速预测方法。

背景技术

支持向量机出色的学习性能，尤其针对于小样本问题，一直是机器学习以及数据挖据算法的研究热点。核函数在支持向量机中是至关重要的，它的引入极大地提高了学习机器的非线性处理能力,保持了学习机器在高维空间中的内在线性,使得学习的过程容易得到控制。显然支持向量机的性能在很大程度上取决于核函数的好坏，因此近年来关于支持向量机的研究大部分都集中在支持向量机核函数的研究。目前国内外关于核函数的研究主要可概括为以下几个方面：(1)组合现有的核函数构造出新的核函数；(2)改进现有的核函数设计新的核函数；(3)核函数参数优化问题；(4)针对参数优化的模型选择问题。

小波分析是近些年来发展起来的一种数学分析方法，它的特点是小波变换可以同时在时域和频域都局有较好的分析效果，而且具备稀疏变换和多分辨分析的功能，而稀疏变化的核函数有助于提高模型的精度和迭代的收敛速度；同时如果对平滑函数缺乏先验知识,多尺度插值方法是最好的。这些小波理论独有的特点使其成为了解决非线性问题的研究热点，而且已经出现了一些使用小波分析进行非线性建模的方法。常用高斯(RBF)核函数对边界处信号逼近和多尺度信号逼近性能不是很好，而基于小波理论构造的核函数能够弥补传统核函数在逼近性能方面的不足，有效地提升支持向量机的推广能力。由于小波核具有局部化、多层次、多分辨的优点，同时可以进行多尺度分析，因此可以改进RBF核函数在回归估计方面的不足。但是多尺度分析中的尺度参数，当所选的尺度参数较大时，会引起算法的复杂化，影响算法的执行效率；反之如果尺度参数较小，必然会影响多尺度分析的效果，继而影响算法的性能。

Morlet子波核函数不仅具有非线性映射的特征而且也继承了小波分析的多尺度分析和核稀疏变化特性，能够对信号的逐级精细描述。因而采用子波核函数的小波支持向量机能够以较高的精度逼近任意函数，这是传统的核函数所不具备的。

发明内容

本发明的目的在于提供一种基于Morlet小波核的LSSVM脉动风速预测方法，其利用ARMA(Auto-RegressiveandMovingAverage，自回归滑动平均)模拟脉动风速样本，基于Morlet母小波函数构造Morlet核函数，使该核函数具备多尺度分析和系数变换的特性，建立Morlet核的最小二乘支持向量机(LSSVM)的模型，改进传统核函数对边界处信号逼近和多尺度信号逼近性能不是很好的缺点，利用该模型对单点风速进行预测。计算实际风速与预测风速的平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)评价本方法的有效性。

本发明采用下述技术方案：一种基于Morlet小波核的LSSVM脉动风速预测方法，其特征在于，其包括以下步骤：

第一步：利用ARMA模型模拟生成垂直空间点脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，采用Matlab对样本归一化处理；

第二步：根据一维Morlet母小波函数，构造满足Mercer定理的Morlet小波核函数，使该核函数具备多尺度分析和系数变换的特性，建立基于Morlet核函数的LSSVM模型；

第三步：引入PSO优化方法，对Morlet核函数的参数优化：小波核函数参数l、惩罚参数c进行寻优，确定最优模型参数，利用PSO优化后的Morlet核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间，得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；

第四步：将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均绝对误差、均方根误差以及相关系数。

优选地，所述第一步中，ARMA模型模拟m维脉动风速表示为下式：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；P为自回归阶数、q为滑动回归阶数。

优选地，所述第二步中，给定一维母小波函数—Morlet小波，并证明该小波满足允许支持向量机核函数条件，如下式：

$h\left(x\right)=\exp (-jx)e^{-x^2/2}$

因为该小波为复数形式，所以取实数Morlet小波函数为如下式：

$h\left(x\right)=cos\left(x\right)e^{-x^2/2}$

定义Morlet小波核函数为如下式：

$K\left(x,y\right)=\underset{i=1}{\overset{N}{\Π}}h\[\frac{x_i-y_i}{l}\]=\underset{i=1}{\overset{N}{\Π}}\left(\cos \left(1.75\frac{x_i-y_i}{l}\right)\exp \left(-\frac{{||x_i-y_i||}^2}{2l^2}\right)\right).$

优选地，所述第三步中，设置粒子群规模m＝30，随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度；通过迭代优化不断更新粒子的速度和位置，最终根据终止迭代次数或适应度条件确定最优参数，建立Morlet小波核的LSSVM模型。

本发明LSSVM脉动风速预测方法具有如下优点：小波函数具有稀疏变化和多尺度性质，而稀疏变化的核函数有助于提高模型的精度和迭代的收敛速度；同时如果对平滑函数缺乏先验知识，多尺度插值方法是最好的。小波核函数能够对信号的逐级精细描述，因而采用子波核函数的小波支持向量机能够以较高的精度逼近任意函数，这是传统的核函数所不具备的。根据运行结果表明，基于多核的LSSVM方法预测得到的脉动风速与实际脉动风速吻合很好，可以作为脉动风速预测的一种有效方法。

附图说明

图1是30米高度处脉动风速模拟样本示意图；

图2是基于优化Morlet核的LSSVM脉动风速预测方法设计框架图示意图；

图3是30米优化Morlet小波核LSSVM预测风速与实际风速对比示意图；

图4是30米优化Morlet小波核LSSVM预测风速与实际风速自相关函数对比示意图；

图5是30米优化Morlet小波核LSSVM预测风速与实际风速功率谱密度函数对比示意图。

具体实施方式

本发明的构思如下：考虑到小波具有稀疏变化和多尺度分析的特征，而稀疏变化的核函数有助于提高模型的精度和迭代的收敛速度；同时如果对平滑函数缺乏先验知识,多尺度插值方法是最好的。因此在小波核函数的基础上又提出了多尺度小波核函数，进一步提高了核函数的性能，同时针对多尺度核函数有尺度选取的问题，本发明又提出了PSO来优化多尺度核函数中尺度的选择。根据Mercer定理构造出新的Morlet小波核函数。改进常用RBF核函数对边界处信号逼近和多尺度信号逼近性能不是很好的缺点。而基于小波理论构造的核函数能够弥补传统核函数在逼近性能方面的不足，有效地提升支持向量机的推广能力。由于小波核具有局部化、多层次、多分辨的优点，同时可以进行多尺度分析，因此可以改进RBF核函数在回归估计方面的不足。利用Morlet核函数LSSVM模型对脉动风速进行预测，验证结果的有效性。

以下结合附图采用本发明对单点脉动风速预测作进一步详细说明，本发明基于Morlet小波核的LSSVM脉动风速预测方法包括如下步骤：

第一步，利用ARMA(自回归滑动)模型模拟生成空间点脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，采用Matlab对样本归一化处理；

所述第一步中，ARMA模型模拟m维脉动风速表示为下式(1)：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)...............\left(1\right)$

式(1)中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；P为自回归阶数，q为滑动回归阶数。

ARMA模型的自回归阶数p＝4，滑动回归阶数q＝1。模拟某200米的超高层建筑，沿高度方向取每隔10米的点作为各模拟风速点，其他相关参数见表1：

表1相关模拟参数表

模拟功率谱采用Kaimal谱，只考虑高度方向的空间相关性。模拟生成30米脉动风速样本分别见图1。

原始样本数据进行相应的预处理有利于加快模型的样本训练速度和收敛速度，提高预测精度。本发明采用归一化处理方法，如下式(2)：

$y_i^{*}=\frac{y_i-y_{max}}{y_{max}-y_{min}}...............\left(2\right)$

式中，为归一化后脉动风速，y_i为实际脉动风速样本，y_max为实际脉动风速最大值，y_min实际脉动风速最小值。

第二步，根据一维Morlet母小波函数，构造满足Mercer定理的Morlet小波核函数，使该核函数具备多尺度分析和系数变换的特性，建立基于Morlet核函数的LSSVM模型。

所述第二步中，针对SVM中的不等式约束，Suykens根据正则化理论改变标准SVM的约束条件和风险函数：将不敏感损失函数被误差的二次平方项代替作为损失函数，不等式约束条件转变成等式约束条件。因此LSSVM将求解二次规划问题转化成求解线性方程组，即如式(3)：

$\begin{array}{c}\min \[\frac{1}{2}{||\mathrm{\ω}||}^2+\frac{1}{2}C\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\ξ}}^2\]\\ s.t.\[y_i-(\mathrm{\ω}\·\mathrm{\Φ}(x_i)+b)={\mathrm{\ξ}}_i\],i=1,2,3,...l\end{array}...............\left(3\right)$

式中，C为惩罚因子，实现经验风险和置信范围的折中；ξ_i为松弛因子；b为偏置项；ω为权向量。s.t.代表约束条件意。

引入Lagrange函数，转化其对偶问题，并根据最优化理论中的KKT(Karush-Kuhn-Tucher)条件，得到如下等式和约束条件，即如式(4)：

$\left\{\begin{array}{c}\mathrm{\ω}=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)\\ \underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i=0\\ {\mathrm{\α}}_i={\mathrm{C\ξ}}_i\\ \mathrm{\ω}\·\mathrm{\Φ}\left(x_i\right)+b+{\mathrm{\ξ}}_i-y_i=0\end{array}\right................\left(4\right)$

最后得到决策函数，即如式(5)：

$f\left(x\right)=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x_j)+b...............\left(5\right)$

式中，K(x_i,x_j)是利用已有核函数组合的多核核函数对输入的脉动风速训练样本所建立的核函数；α_i为Lagrange因子。

为构造Morlet小波核需要用到Mercer平移不变核定理：若h(x)为母波函数，平移不变核函数k(x,y)＝k(x-y)是一个允许支持向量核，当且仅当k(x)的傅里叶变换，如下式(6)：

$F\[k\]\left(\mathrm{\ω}\right)={\left(2\mathrm{\π}\right)}^{-n/2}{\∫}_{R^N}\exp (-i\left(\mathrm{\ω}x\right))K\left(x\right)dx...............\left(6\right)$

结果非负，则由该函数生成的Mercer平移不变核函数为如下式(7)：

$K(x,y)=K(x-y)=\underset{i=1}{\overset{N}{\Π}}h\left(\frac{x_i-y_i}{l}\right)...............\left(7\right)$

式中，l为尺度因子。

给定一维母小波函数—Morlet小波，并证明该小波满足允许支持向量机核函数条件，如下式(8)：

$h\left(x\right)=\exp (-jx)e^{-x^2/2}...............\left(8\right)$

因为该小波为复数形式，所以取实数Morlet小波函数为如下式(9)：

$h\left(x\right)=cos\left(x\right)e^{-x^2/2}...............\left(9\right)$

根据Mercer定理构造出新的Morlet小波核函数，即定义Morlet小波核函数为如下式(10)：

$K\left(x,y\right)=\underset{i=1}{\overset{N}{\Π}}h\[\frac{x_i-y_i}{l}\]=\underset{i=1}{\overset{N}{\Π}}\left(\cos \left(1.75\frac{x_i-y_i}{l}\right)\exp \left(-\frac{{||x_i-y_i||}^2}{2l^2}\right)\right)...............10)$

式中，x_i、y_i为训练样本空间第i、j个元素；l为Morlet核函数参数。

基于Morlet小波核函数构造的支持向量机回归模型可表示为如下式(11)：

$f\left(x\right)=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K\left(x_i,x_j\right)+b=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i\underset{i=1}{\overset{N}{\Π}}\left(\cos \left(1.75\frac{x_i-y_i}{l}\right)\exp \left(-\frac{{||x_i-y_i||}^2}{2l^2}\right)\right)+b...............\left(11\right)$

Morlet子波核函数不仅具有非线性映射的特征而且也继承了小波分析的多尺度分析和核稀疏变化特性，能够对信号的逐级精细描述。因而采用子波核函数的小波支持向量机能够以较高的精度逼近任意函数，这是传统的核函数所不具备的。

根据式(7)、式(8)、式(9)推导Morlet核函数核矩阵，建立基于优化Morlet小波核的LSSVM模型。具体来说，建立20维AMAR自回归模型，生成20个模拟空间风速点1000s(1000个采样时间点)的脉动风速时程曲线。取30m风速作为样本。将前800个采样时间点脉动风速作为训练集，后200个采样时间点脉动风速作为测试集标签，用于建立Morlet小波核的LSSVM预测模型，嵌入维数k＝10，延迟t＝1，流程图见图2。

第三步，引入PSO优化方法，对Morlet核函数的参数优化：小波核函数参数l、惩罚参数c进行寻优，确定最优模型参数，利用PSO优化后的Morlet核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间，得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；计算每次迭代粒子适应度F(x_i)，并将其与自身最优适应度F(Pbest_i)和全局最优适应度F(Gbest_i)比较，调整粒子个体最优位置P_i和全局最优位置P_g，更新粒子的速度和位置，获得新的LSSVM参数，确定最优模型参数，建立Morlet小波核核的LSSVM模型。利用该模型对训练集进行学习训练，获得训练回归预测模型(trainlssvm-model)。优选地，所述第三步中，粒子种群初始化：设定种群规模m＝30，最大迭代次数K＝200，初始速度矩阵V以及初始粒子个体最优位置和全局最优位置；最终根据终止迭代次数或适应度条件确定最优参数，建立Morlet核LSSVM模型。确定每种核函数待优化参数的取值范围，尺度因子l∈[0.5,5]、惩罚参数C∈[0.1,1000]。计算粒子适应度F(x_i)，并将其与自身最优适应度F(Pbest_i)和全局最优适应度F(Gbest_i)比较，调整粒子个体最优位置P_i和全局最优位置P_g。定义均方根误差为适应度函数，如下式(12)：

$F\left(x_i\right)=\sqrt{\frac{1}{n}\underset{i}{\overset{n}{\Σ}}{({\hat{y}}_i-y_i)}^2}...............\left(12\right)$

式中：y_i为第i个样本的实测值，为第i个样本的预测值。

更新粒子的速度和位置，获得新的LSSVM参数。迭代次数达到上界K或适应度值满足要求时，终止迭代，获得优化参数，建立PSO-LSSVM模型。

第四步：将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)，评价本方法的有效性。评价指标中y_i为目标值(样本数据)，为预测值，n为预测样本数，具体内容如下：

平均绝对误差如下式(13)：：

$MAE=\frac{1}{n}\underset{i=1}{\overset{n}{\Σ}}\left|y_i-{\hat{y}}_i\right|...............\left(13\right)$

均方根误差如下式(14)：

$RMSE=\sqrt{\frac{1}{n}\underset{i}{\overset{n}{\Σ}}{(y_i-{\hat{y}}_i)}^2}...............\left(14\right)$

相关系数如下式(15)：

$R=\frac{\underset{i=1}{\overset{n}{\Σ}}{y}_i\·{\hat{y}}_i}{\sqrt{\underset{i=1}{\overset{n}{\Σ}}{y}_i^2}\sqrt{\underset{i=1}{\overset{n}{\Σ}}\widehat{y_i^2}}}................\left(15\right)$

将后200个采样时间点脉动风速作为测试集标签输入，利用训练集输出的回归预测模型(trainlssvm-model)对200个采样时间点脉动风速进行预测，即将测试样本和利用Morlet小波核的LSSVM预测的脉动风速结果对比，图3、图4、图5分别为优化Morlet小波核的LSSVM对30米高度处脉动风速与实际风速幅值比较、自相关函数比较、功率谱函数比较，通过比较可以看出该组合核函数的预测结果与实际风速吻较好。

上面的步骤是基于Matlab平台编制的LSSVM脉动风速预测方法的计算程序进行分析和验证的，预测结果见表2。

表2Morlet核预测结果指标

分析结果显示，优化Morlet核的LSSVM预测结果相关系数大于0.9(相关系数大于0.9说明有极强相关性)；均方误差为0.826，说明Morlet核的LSSVM预测结果更好的收敛于实际风速。本发明根据一维母小波函数—Morlet小波，按照Mercer平移不变核定理构造Morlet小波核函数，使支持向量机核函数具有小波具有稀疏变化和多尺度分析的特征，提高模型的精度和迭代的收敛速度。同时利用小波核函数能够对信号的逐级精细描述，因而采用子波核函数的小波支持向量机能够以较高的精度逼近任意函数，这是传统的核函数所不具备的，使预测结果的准确度有进一步的提高，为脉动风速预测提供一种精度更高的方法。本发明为LSSVM机器学习提供了一种新的具有较高精度和稳定性的核函数选择。

Claims (4)

1.一种基于MORLET小波核的LSSVM脉动风速预测方法，其特征在于，其包括以下步骤：

第一步：利用ARMA模型模拟生成垂直空间点脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分，采用Matlab对样本归一化处理；

第二步：根据一维Morlet母小波函数，构造满足Mercer定理的Morlet小波核函数，使该核函数具备多尺度分析和系数变换的特性，建立基于Morlet核函数的LSSVM模型；

第三步：引入PSO优化方法，对Morlet核函数的参数优化：小波核函数参数l、惩罚参数c进行寻优，确定最优模型参数，利用PSO优化后的Morlet核函数将脉动风速训练样本变换成为核函数矩阵，映射到高维特征空间，得到脉动风速训练样本的非线性模型，利用此模型对脉动风速测试样本进行预测；

第四步：将测试样本和预测的脉动风速结果对比，计算预测风速与实际风速的平均绝对误差、均方根误差以及相关系数。

2.根据权利要求1所述的基于MORLET小波核的LSSVM脉动风速预测方法，其特征在于，所述第一步中，ARMA模型模拟m维脉动风速表示为下式：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；P为自回归阶数、q为滑动回归阶数。

3.根据权利要求1所述的基于MORLET小波核的LSSVM脉动风速预测方法，其特征在于，所述第二步中，给定一维母小波函数—Morlet小波，并证明该小波满足允许支持向量机核函数条件，如下式：

$h\left(x\right)=\exp (-jx)e^{\_x^2/2}$

因为该小波为复数形式，所以取实数Morlet小波函数为如下式：

$h\left(x\right)=cos\left(x\right)e^{\_x^2/2}$

定义Morlet小波核函数为如下式：

$K(x,y)=\underset{i=1}{\overset{N}{\Π}}h\[\frac{x_i-y_i}{l}\]=\underset{i=1}{\overset{N}{\Π}}\left(\cos \right(1.75\frac{x_i-y_i}{l})\exp (-\frac{\left|\right|x_i-y_i|{|}^2}{2l^2})).$

4.根据权利要求1所述的基于MORLET小波核的LSSVM脉动风速预测方法，其特征在于，所述第三步中，设置粒子群规模m＝30，随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度；通过迭代优化不断更新粒子的速度和位置，最终根据终止迭代次数或适应度条件确定最优参数，建立Morlet小波核的LSSVM模型。