CN104992008A - 基于Hilbert空间多核函数相乘的风速预测方法 - Google Patents

Abstract

本发明提供一种基于Hilbert空间多核函数相乘的风速预测方法，其包括以下步骤：利用ARMA模型模拟生成垂直空间点脉动风速样本，将每个空间点的脉动风速样本分为训练集、测试集两部分；支持向量机核函数的理论是在完备的内积空间中讨论的，线性的加法与乘积运算在希尔伯特空间中都属于封闭运算，其结果仍属于希尔伯特空间；由此构造基于全局核函数与局部核函数的乘法组合核函数，建立乘法组合核函数的最小二乘支持向量机的模型，采用粒子群对模型参数优化，利用该模型对单点脉动风速进行预测。将测试样本和乘法组合核函数的PSO-LSSVM预测的脉动风速结果对比，确保脉动风速预测的精确性。

Description

基于Hilbert空间多核函数相乘的风速预测方法

技术领域

本发明涉及一种采用满足Hilbert空间封闭规则的乘法运算对已有核函数进行乘法组合，构造基于乘法组合的核函数，引入粒子群优化的最小二乘支持向量机的单点脉动风速预测方法，具体的说是一种基于Hilbert空间多核函数相乘的风速预测方法。

背景技术

研究风荷载时，通常把风处理为在一定时距内不随时间变化的平均风速和随时间随机变化的脉动风速两部分，平均风速产生结构静态响应，而脉动风速产生动态响应。风作用在高层结构时，其正负风压对结构形成风荷载，同时钝体绕流还会引起结构抖振、旋涡脱落引起的横向振动和扭转振动。极端风荷载作用下产生的抖振和颤振会引起建筑物倒塌或严重破坏；动态位移超限易引起墙体开裂和附属构件破坏；大幅振动会造成居住和生活的不舒适；脉动风频繁作用也会使外墙面构件和附属物产生疲劳破坏。掌握完整的脉动风速时程资料对于结构设计、安全具有重要意义。

基于数据驱动的样本学习训练为脉动风速速测提供可行的方法。目前脉动风速建模预测的方法主要有时间序列分析法、人工神经网络、支持向量机等方法。然而这些方法都存在着理论或应用上的不足，如支持向量机(SVM)虽然通过核函数定义的非线性变换将输入空间变换到一个高维空间，在这个高维空间中寻找输入变量和输出变量之间的一种非线性关系，解决了“维数灾难”问题，但核函数的选择决定了模型的特性，局部核函数学习能力强、泛化性能弱，而全局核函数泛化性能强、学习能力弱。从而在不同的应用场合中核函数性能表现差别很大，特别是当样本特征含有异构信息或样本规模很大、或数据在高维特征空间分布不平坦时，已有核函数的选择对所有样本进行处理并不合理。

核函数在支持向量机中是至关重要的，它的引入极大地提高了学习机器的非线性处理能力,保持了学习机器在高维空间中的内在线性,使得学习的过程容易得到控制。显然支持向量机的性能在很大程度上取决于核函数的好坏，因此近年来关于支持向量机的研究大部分都集中在支持向量机核函数的研究。目前国内外关于核函数的研究主要是根据Mercer核条件组合现有的核函数构造出新的核函数。

发明内容

本发明的目的在于提供一种基于Hilbert空间多核函数相乘的风速预测方法。支持向量机核函数的理论是在完备的内积空间中讨论的，线性的加法与乘积运算在希尔伯特空间中都属于封闭运算，其结果仍属于希尔伯特空间；由此构造基于全局核函数与局部核函数的乘法组合核函数，建立乘法组合核函数的最小二乘支持向量机(LSSVM)的模型，采用粒子群(PSO)对模型参数优化，利用该模型对单点脉动风速进行预测。计算实际风速与预测风速的平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)评价本方法的有效性。

根据上述发明构思，本发明采用下述技术方案：本发明基于Hilbert空间多核函数相乘的风速预测方法包括以下步骤：

第一步：利用ARMA模型模拟生成垂直空间点脉动风速样本，将每一个垂直空间点脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理，取嵌入维数k＝10对进行样本数据进行相空间重构；

第二步：根据积运算在希尔伯特空间中都属于封闭运算，其结果仍属于希尔伯特空间的原理，根据Mercer核条件推导基于全局核与局部核乘法组合的核函数，利用该核函数将样本变换成为核函数矩阵，这一步相当于将输入数据通过非线性函数映射到高维特征空，建立核函数乘法组合的LSSVM模型；

第三步：引入PSO优化方法，对乘法组合核函数的参数：RBF核函数参数γ、惩罚参数c进行寻优，确定最优模型参数，建立基于Hilbert空间多核函数相乘的LSSVM模型；

第四步：将测试样本和利用乘法组合核函数的PSO-LSSVM预测的脉动风速结果对比，计算预测风速与实际风速的平均绝对误差、均方根误差以及相关系数。

优选地，所述第一步中，ARMA模型模拟m维脉动风速表示为下式：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；p为自回归阶数，q为滑动回归阶数。

优选地，所述归一化处理的公式为下式：

$y_i^{*}=\frac{y_i-y_{max}}{y_{max}-y_{min}}$

式中，为归一化后脉动风速，y_i为实际脉动风速样本，y_max为实际脉动风速最大值，y_min实际脉动风速最小值。

优选地，所述第三步中，设定进化次数M＝200，粒子群规模m＝30，随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度，计算每个粒子的适应度值，并比较该适应度值与其历史上所在的最佳位置上的适应度值，比较全局历史最佳位置的适应度值与个体所在位置的适应度值，根据最佳适应度更新粒子的速度和位置，检验迭代终止条件；最终根据终止进化次数或适应度条件确定最优参数，建立基于Hilbert空间多核函数相乘的LSSVM模型。

本发明基于Hilbert空间多核函数相乘的风速预测方法具有如下优点：构造出新的核函数，使预测模型在局部核函数的作用下有具有很好的学习能力(训练误差小)，并且也能在全局核函数的作用下有很强的泛化能力(测试误差小)，不仅能利用局部核函数在小范围内的强拟合性，也能利用全局核函数在整个数据集中的较强的学习能力。同时，采用PSO对核参数进行优化，确保脉动风速预测的精确性。根据运行结果表明，基于Hilbert空间多核函数相乘的风速预测方法预测得到的脉动风速与实际脉动风速吻合很好，可以作为脉动风速预测的一种有效方法。

附图说明

图1是沿地面垂直方向30米处脉动风速模拟样本示意图；

图2是基于Hilbert空间多核函数相乘的LSSVM风速预测方法程序流程图示意图；

图3是80米RBF*Poly核函数的PSO-LSSVM预测风速与实际风速对比示意图；

图4是80米RBF*Poly核函数的PSO-LSSVM预测风速与实际风速自相关函数对比示意图；

图5是80米RBF*Line核函数的PSO-LSSVM预测风速与实际风速对比示意图；

图6是80米RBF*Line核函数的PSO-LSSVM预测风速与实际风速自相关函数对比示意图；

图7是80米RBF核函数的PSO-LSSVM预测风速与实际风速对比示意图；

图8是80米RBF核函数的PSO-LSSVM预测风速与实际风速自相关函数对比示意图；

图9是80米Poly核函数的PSO-LSSVM预测风速与实际风速对比示意图；

图10是80米Poly核函数的PSO-LSSVM预测风速与实际风速自相关函数对比示意图。

具体实施方式

本发明的构思如下：RBF核是局部核函数，Poly核和Line核是全局核函数。局部核函数学习能力强，泛化性能弱，而全局核函数泛化性能强，学习能力弱。根据Mercer定理，任意核函数k(x_i,x_j)的Gram矩阵K对称且半正定，满足一定数目的包闭性质，即允许从简单的核创立复杂的核。而乘积运算在希尔伯特空间中都属于封闭运算，其结果仍属于希尔伯特空间，故将局部核函数和全局核函数进行乘法组合，构造出新的核函数K₁、K₂。

本发明使预测模型在局部核的作用下有具有很好的学习能力(训练误差小)，并且也能在全局核的作用下有很强的泛化能力(测试误差小)。乘法组合核函数的最小二乘支持向量机(LSSVM)的参数包括：RBF核函数参数γ、惩罚参数c，利用粒子群(PSO)优化对上述两个参数进行优化，得到乘法组合核函数的PSO-LSSVM模型。利用该PSO-LSSVM模型对脉动风速进行预测，并与传统单一核函数预测结果进行对比分析。

以下结合附图采用本发明对单点脉动风速预测作进一步详细说明，步骤如下：

第一步，利用ARMA(自回归滑动)模型模拟生成垂直空间点脉动风速样本，将每一个垂直空间点脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理，取嵌入维数k＝10对进行样本数据进行相空间重构；确定单点脉动风速样本的ARMA模型各参数，ARMA模型的自回归阶数p＝4，滑动回归阶数q＝1。模拟某200米的超高层建筑，沿高度方向取每隔10米的点作为各模拟风速点。其他相关参数见表1：

表1 相关模拟参数表

模拟功率谱采用Kaimal谱，只考虑高度方向的空间相关性。模拟生成80米脉动风速样本分别见图1。

所述第一步中，ARMA模型模拟m维脉动风速表示为下式(1)：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)\mathrm{...}\left(1\right)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；p为自回归阶数，q为滑动回归阶数，t为时间。

所述第一步中，归一化处理的公式为下式(2)：

$y_i^{*}=\frac{y_i-y_{max}}{y_{max}-y_{min}}\mathrm{...}\left(2\right)$

式中，为归一化后脉动风速，y_i为实际脉动风速样本，y_max为实际脉动风速最大值，y_min实际脉动风速最小值。

第二步，根据积运算在希尔伯特空间中都属于封闭运算，其结果仍属于希尔伯特空间的原理，根据Mercer核条件推导基于全局核与局部核乘法组合的核函数，利用该核函数将样本变换成为核函数矩阵，这一步相当于将输入数据通过非线性函数映射到高维特征空，建立核函数乘法组合的LSSVM模型。具体来说，将RBF核与Poly核、RBF核与Line核进行乘法组合构造组合核函数，建立基于Hilbert空间乘法组合核函数的PSO-LSSVM模型。建立20维ARMA自回归滑动模型，生成20个模拟空间风速点1200s(1000个采样时间点)的脉动风速时程曲线。取80m风速作为样本。将前900个采样时间点脉动风速作为训练集，后300个采样时间点脉动风速作为测试集标签，用于基于Hilbert空间多核函数相乘的LSSVM风速预测模型，嵌入维数k＝10，流程图见图2。

所述第二步中，给定n个训练样本{x₁,x₂,…x_n}，根据Mercer核定义，在Hilbert空间任意核函数矩阵对称且半正定，满足一定的包闭性质，即允许通过简单的运算组合新的核函数。设K₁和K₂是上的核函数，则乘法组合核函数K(x,y)＝K₁(x,y)×K₂(x,y)仍为核函数。根据局部核函数RBF核，全局核函数Poly核、Line核进行乘法组合。

第二步中，常用核函数包括平移不变核和点积核。

(1)平移不变核

平移不变核的核函数的二维图形一般都表现出钟形特征，这就意味着当输入向量x和y相距较远时，对应的核估计值将变得非常小甚至为零。因此，这种核函数实际上是一种注重局部特征的核函数。高斯(RBF)核就是其中的代表，具有很强的局部性质(学习能力强)，给定n个训练样本{x₁,x₂,…x_n}，其核函数表达式为式(3)：

$K{(x_i,x_j)}_{RBF}=\exp \left(\frac{-\left|\right|x_i-x_j|{|}^2}{\mathrm{\γ}}\right)\mathrm{...}\left(3\right)$

式中，x_i、x_j为训练样本空间第i、j个元素；γ为RBF核函数参数。

(2)点积核

点积核考虑了所有输入样本数据在特征空间的点积作用，因此它有着良好的全局性质。当学习样本包括目标函数的所有信息时，学习机具有较高的回归精度。线性(Line)核与多项式(Poly)核是其中的代表，其核函数的表达式分别为式(4)、式(5)：

K(x_i,x_j)_Line＝x_i·x_j……………(4)

K(x_i,x_j)_Poly＝[(x_i,x_j)+1]^q……………(5)

式中，x_i、x_j为训练样本空间第i、j个元素；q为Poly核函数阶数。

RBF核函数的插值能力较强，即比较善于提取样本的局部性质，具有很强的学习能力；多项式核函数在输入数据数值不同，且数值变化范围较大时，仍然对此数据存在较强的影响，说明Poly核函数的泛化能力较强。根据Mercer核定义，在Hilbert空间任意核函数矩阵对称且半正定，满足一定的包闭性质，即允许通过简单的运算组合新的核函数。设K₁和K₂是上的核函数，则下面核函数的组合仍为核函数为式(6)：

K(x,y)＝K₁(x,y)×K₂(x,y)……………(6)

根据式(6)将RBF核与Line核、RBF核与Poly核进行乘积组合得到乘法组合核为式(7)、式(8)：

$K_1=K_{RBF}\·K_{Line}=\exp \left(\frac{-\left|\right|x_i-x_j|{|}^2}{\mathrm{\γ}}\right)\·(x_i,x_j)\mathrm{...}\left(7\right)$

$K_2=K_{RBF}\·K_{Poly}=\exp \left(\frac{-\left|\right|x_i-x_j|{|}^2}{\mathrm{\γ}}\right)\·{\[(x_i,x_j)+1\]}^q\mathrm{...}\left(8\right)$

其中，K_RBF为RBF核、K_Poly为Poly核、K_Line为Line核。

乘法组合核矩阵为对称矩阵有以下性质，如式(9)、式(10)：

$K_1(x_i,x_j)=\left\{\begin{array}{c}\left|\right|x_i|{|}^2,x_i=x_j\\ k(x_i,x_j)=k(x_j,x_i),x_i\≠x_j\end{array}\right.\mathrm{...}\left(9\right)$

$K_2(x_i,x_j)=\left\{\begin{array}{c}{\left(\left|\right|x_i|{|}^2+1\right)}^q,x_i=x_j\\ k(x_i,x_j)=k(x_j,x_i),x_i\≠x_j\end{array}\right.\mathrm{...}\left(10\right)$

LS-SVM将SVM中的不等式约束改为等式约束，将求解二次规划问题转化成求解线性方程组，并将经验风险由偏差的一次方改为二次方，如式(11)：

$\begin{array}{c}\min \[\frac{1}{2}\left|\right|\mathrm{\ω}|{|}^2+\frac{1}{2}C\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\ξ}}^2\]\\ s.t.\[y_i-(\mathrm{\ω}\·\mathrm{\Φ}(x_i)+b)={\mathrm{\ξ}}_i\],i=1,2,3,...l\end{array}\mathrm{...}\left(11\right)$

式中，C为惩罚因子，实现经验风险和置信范围的折中；ξ_i为松弛因子；b为偏置项；ω为权向量。

引入Lagrange函数，转化其对偶问题，并根据最优化理论中的KKT(Karush-Kuhn-Tucher)条件，得到如下等式(12)和约束条件：

$\left\{\begin{array}{c}\mathrm{\ω}=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i\mathrm{\Φ}\left(x_i\right)\\ \underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i=0\\ {\mathrm{\α}}_i={\mathrm{C\ξ}}_i\\ \mathrm{\ω}\·\mathrm{\Φ}\left(x_i\right)+b+{\mathrm{\ξ}}_i-y_i=0\end{array}\right.\mathrm{...}\left(12\right)$

最后得到决策函数，如式(13)：

$f\left(x\right)=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x_j)+b\mathrm{...}\left(13\right)$

式中，K(x_i,x_j)是利用组合核函数对输入的脉动风速训练样本所建立的核函数；α_i为Lagrange因子。

第三步，引入PSO优化方法，对乘法组合核函数的参数：RBF核函数参数γ、惩罚参数c进行寻优，确定最优模型参数，建立基于Hilbert空间多核函数相乘的LSSVM模型；基于PSO-LSSVM的脉动风速模拟中，具体步骤为：

步骤三十一，确定种群规模m＝30，进化次数为200次，设定机器学习因子c₁＝1.5和c₂＝1.7、惯性权重w_max＝0.9和w_min＝0.4的值，产生随机数r₁和r₂；

步骤三十二，设定模型参数的初步范围，惩罚参数c∈[0.1,1000]、RBF核参数γ∈[0.01,100]；

步骤三十三，PSO种群初始化，产生粒子的初始位置X和初始速度V。

步骤三十四，建立乘法组合核函数的LS-SVM预测回归模型，输入检验样本的输入值，计算适应度值。在回归问题中，LS-SVM的适应度值为样本均方根误差。

步骤三十五，根据适应度值更新粒子的位置和速度，判断进化是否满足终止条件，一般以误差是否达到要求为终止条件。若不满足，则返回步骤三十四重新建立预测模型计算粒子适应度值并逐步更新。若满足终止条件，则停止迭代，将全局最佳位置作为模型的最佳参数输出。

步骤三十六，根据最佳参数建立LS-SVM预测模型，即PSO-LSSVM。

所述第三步中，设定进化次数M＝200，粒子群规模m＝30，随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度，计算每个粒子的适应度值，并比较该适应度值与其历史上所在的最佳位置上的适应度值，比较全局历史最佳位置的适应度值与个体所在位置的适应度值，根据最佳适应度更新粒子的速度和位置，检验迭代终止条件；最终根据终止进化次数或适应度条件确定最优参数，建立基于Hilbert空间多核函数相乘的LSSVM模型。

第四步：将后300个采样时间点脉动风速作为测试集标签输入，利用训练集输出的回归预测模型(trainlssvm-model)对300个采样时间点脉动风速进行预测，即将测试样本和利用乘法组合核函数的PSO-LSSVM预测的脉动风速结果对比，图3、图4分别为RBF*Poly核函数对80米高度处脉动风速与实际风速幅值比较、自相关函数比较；图5、图6分别为RBF*Line核函数对80米高度处脉动风速与实际风速幅值比较、自相关函数比较；图7、图8分别为RBF核函数对80米高度处脉动风速与实际风速幅值比较、自相关函数比较；图9、图10分别为RBF核函数对80米高度处脉动风速与实际风速幅值比较、自相关函数比较；根据乘法核(图3、图5)与单一核(图7、图9)脉动风速幅值比较显示，乘法组合核函数预测风速与实际风速吻合更好，相较于RBF核更优，比Poly核预测准确度有很大提高；根据图4、图6乘法核与单一核图8、图10自相关函数比较显示，乘法组合核函数的精度比单一核更好。计算预测风速与实际风速的平均绝对误差(MAE)、均方根误差(RMSE)以及相关系数(R)，评价本发明的有效性。

上面的步骤是基于Matlab平台编制的基于Hilbert空间多核函数相乘的风速预测方法的计算程序进行分析和验证的，预测结果见表2。

表2 两方法预测结果指标对比表

分析结果显示，乘法组合核函数预测结果相关系数均大于0.9(相关系数大于0.9说明有很强相关性)；均方误差显示乘法组合核函数预测结果更好的收敛于实际风速，并且乘法组合核函数的预测精度相对于单一核函数均有很大提高。本发明不仅能利用局部核函数在小范围内的强拟合性，也能利用全局核函数在整个数据集中的较强的学习能力，集成了局部核函数的训练优点和全局核函数的预测优点，并对参数进行优化，使预测结果的准确度有进一步的提高，为支持向量机提供两种精度更高的核函数选择。

Claims (4)

1.一种基于Hilbert空间多核函数相乘的风速预测方法，其特征在于，其包括以下步骤：

第一步：利用ARMA模型模拟生成垂直空间点脉动风速样本，将每一个垂直空间点脉动风速样本分为训练集、测试集两部分，对其分别进行归一化处理，取嵌入维数k＝10对进行样本数据进行相空间重构；

第二步：根据积运算在希尔伯特空间中都属于封闭运算，其结果仍属于希尔伯特空间的原理，根据Mercer核条件推导基于全局核与局部核乘法组合的核函数，利用该核函数将样本变换成为核函数矩阵，这一步相当于将输入数据通过非线性函数映射到高维特征空，建立核函数乘法组合的LSSVM模型；

第三步：引入PSO优化方法，对乘法组合核函数的参数：RBF核函数参数γ、惩罚参数c进行寻优，确定最优模型参数，建立基于Hilbert空间多核函数相乘的LSSVM模型；

第四步：将测试样本和利用乘法组合核函数的PSO-LSSVM预测的脉动风速结果对比，计算预测风速与实际风速的平均绝对误差、均方根误差以及相关系数。

2.根据权利要求1所述的基于Hilbert空间多核函数相乘的风速预测方法，其特征在于，所述第一步中，ARMA模型模拟m维脉动风速表示为下式：

$U\left(t\right)=\underset{i=1}{\overset{p}{\Σ}}{A}_{i}X(t-i\mathrm{\Δ}t)+\underset{j=0}{\overset{q}{\Σ}}{B}_{j}X(t-i\mathrm{\Δ}t)$

式中，U(t)为脉动风速；A_i,B_j分别是m×m阶AR和MA模型的系数矩阵；X(t)为m×1阶正态分布白噪声序列；p为自回归阶数，q为滑动回归阶数。

3.根据权利要求1所述的基于Hilbert空间多核函数相乘的风速预测方法，其特征在于，所述归一化处理的公式为下式：

$y_i^{*}=\frac{y_i-y_{max}}{y_{max}-y_{min}}$

式中，为归一化后脉动风速，y_i为实际脉动风速样本，y_max为实际脉动风速最大值，y_min实际脉动风速最小值。

4.根据权利要求1所述的基于Hilbert空间多核函数相乘的风速预测方法，其特征在于，所述第三步中，设定进化次数M＝200，粒子群规模m＝30，随机产生核参数的初始位置，确定待优化参数的范围，并设置最大迭代速度，计算每个粒子的适应度值，并比较该适应度值与其历史上所在的最佳位置上的适应度值，比较全局历史最佳位置的适应度值与个体所在位置的适应度值，根据最佳适应度更新粒子的速度和位置，检验迭代终止条件；最终根据终止进化次数或适应度条件确定最优参数，建立基于Hilbert空间多核函数相乘的LSSVM模型。