CN103020485B - 基于beta噪声核岭回归技术的短期风速预报方法 - Google Patents

Abstract

本发明涉及天气预报技术领域。为满足实际应用中(如风力发电、农业生产等)对短期风速预报的要求，为达到上述目的，本发明采取的技术方案是，基于beta噪声核岭回归技术的短期风速预报方法，包括如下步骤：通过最大似然估计导出基于beta噪声模型的损失函数，在此基础上构造基于beta噪声模型的核岭回归机，最后利用基于beta噪声模型的核岭回归技术得到短期风速预报。本发明主要应用于天气预报。

Description

基于beta噪声核岭回归技术的短期风速预报方法

技术领域

本发明涉及天气预报技术领域，具体讲，涉及基于beta噪声核岭回归技术的短期风速预报方法。

背景技术

对于线性系统而言,从Gauss时代起,就利用最小二乘法把平面上的点拟合成直线,把高维空间的点拟合成超平面。经历了100多年的发展,经典最小二乘法已经成为许多领域数据处理的最广泛使用的方法。但是,对于线性回归中的不适定问题,基于最小二乘法的线性回归的性能可能变得很坏,针对这种情况,众多学者研究了最小二乘回归的改进问题,提出了许多新的回归算法。岭回归(Ridgeregression,简记为RR)就是其中之一,岭回归分析是一种专门用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的耐受性远远强于最小二乘法。岭回归算法自A.E.Hoerl和R.W.Kennard于1962年提出以来,就得到了广泛的关注,它成功应用于科学技术和社会科学等各个方面。设给定数据:

D_l＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)}(1)

其中x_i∈Rⁿ,y_i∈R,i＝1,2,...,l，多元线性回归模型为f(x)＝ω^T·x+b,其中x＝(x₁,x₂,...,x_l)^T，参数向量ω∈Rⁿ决定最小二乘回归和岭回归模型,其中，x_i∈Χ＝Rⁿ,Rⁿ表示n维欧式空间，R表示实数集，l表示样本个数，上标T表示转置。通过最小化目标函数:

$g_{LR}=\underset{i=1}{\overset{l}{\Σ}}{(y_i-{\mathrm{\ω}}^T\·x_i-b)}^2---\left(2\right)$

$g_{RR}=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=1}{\overset{l}{\Σ}}{(y_i-{\mathrm{\ω}}^T\·x_i-b)}^2---\left(3\right)$

其中C>0是惩罚因子。目标函数(2)、(3)中假设样本噪声服从Gauss分布,其均值为0,方差为σ²,即y_i＝f(x_i)+ξ_i,i＝1,...,l,ξ_i～N(0,σ²)。(2)中的g_LR表示线性回归模型的目标函数；式(3)中的g_RR表示岭回归模型的目标函数。

最小二乘回归和岭回归在解决线性回归问题中取得了良好的效果,但对于非线性回归问题往往无能为力。1998年,C.Saunders等提出的基于Gauss噪声模型的核岭回归,是通过核技巧构造合适的核变换Φ:Rⁿ→H(H为Hilbert空间),通过Hilbert空间中的內积运算引进非线性核函数K(x_i,x_j)＝(Φ(x_i)·Φ(x_j)),从而把非线性问题转化为线性问题来解决。一般地,基于Gauss噪声的核岭回归通过最小化目标函数来求解:

$g_{KRR}=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=1}{\overset{l}{\Σ}}{(y_i-{\mathrm{\ω}}^T\·\mathrm{\Φ}(x_i)-b)}^2---\left(4\right)$

当噪声服从Gauss分布时,基于Gauss噪声的岭回归(RidgeregressionbasedontheGauss-noise,简记为GN-RR)和基于Gauss噪声的核岭回归(KernelridgeregressionbasedontheGauss-noise,简记为GN-KRR)能够取得理想的效果。然而对于像风速预报的噪声却不服从Gauss分布,它们服从beta分布。此时应用GN-RR和GN-KRR进行预测,则预报结果不能满足实际需要。

发明内容

本发明旨在克服现有技术的不足，满足实际应用中(如风力发电、农业生产等)对短期风速预报的要求，为达到上述目的，本发明采取的技术方案是，基于beta噪声核岭回归技术的短期风速预报方法，包括如下步骤：通过最大似然估计导出基于beta噪声模型的损失函数,在此基础上构造基于beta噪声模型的核岭回归机,最后利用基于beta噪声模型的核岭回归技术得到短期风速预报；应用基于beta噪声模型的核岭回归技术进行短期风速预报主要通过以下几个步骤来实现：

1.设给定具有beta噪声影响的数据集D_l＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)},其中x_i∈Χ＝Rⁿ,y_i∈R,i＝1,2,...,l，Rⁿ表示n维欧式空间，R表示实数集，l表示样本个数；求取最优损失函数；

2.利用遗传算法确定参数C、m、n；选取最优核函数K(·,·)，m、n为Beta噪声模型的损失函数中的参数，由噪声分布的期望μ和方差σ²确定,即m＝(1-μ)·μ²/σ²-μ,n＝1-μ/μ·m；

3.构造并求解最优化问题

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\Σ}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i=0\end{array}\right.---\left(5\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C},$ C>0是惩罚因子，st.为subjectto的缩写，表示基于beta噪声模型核岭回归对偶问题的目标函数；

得到最优解α＝(α₁,α₂,...,α_l)，α₁、α₂、...,α_l为拉格朗日乘子；

4.构造回归函数

$f\left(x\right)={\mathrm{\ω}}^T\·\mathrm{\Φ}\left(x\right)+b=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x)+b---\left(6\right)$

其中Φ:Rⁿ→H为核变换，H为Hilbert空间，K(x_i,x_j)＝(Φ(x_i)·Φ(x_j))，ω∈Rⁿ为参数向量，(Φ(x_i)·Φ(x_j))表示H空间中的内积。

求取最优损失函数是，利用数据集D_l估计函数f(x),通过极大化似然函数的方法来得到最优损失函数:

c(x,y,f(x))＝-logp(y-f(x))(7)

其中，p(y-f(x))＝p(ξ)表示误差ξ的概率密度函数，c(x_i,y_i,f(x_i))＝c(ξ_i)表示在样本点(x_i,y_i)进行预测时所得到预测值f(x_i)与y_i比较所产生的损失，c(ξ)表示损失函数。得beta噪声模型的损失函数为:

c(ξ_i)＝c(y_i-f(x_i))＝(1-m)logξ_i+(1-n)log(1-ξ_i)(8)。

利用遗传算法确定参数C、m、n具体为：利用遗传算法确定基于beta噪声模型的核岭回归机的参数C、m、n.提出的基于beta噪声模型的核岭回归机应用Matlab7.1程序语言实现,取初始参数是Max_cgen＝100,BN-KRR的参数C∈[1,201],m,n∈(0,+∞)。

选取最优核函数K(·,·)是利用核技巧构造核函数K(·,·),把基于beta噪声模型的线性岭回归机推广为beta噪声模型的非线性岭回归机；其中K(x_i,x_j)＝(Φ(x_i)·Φ(x_j)),Φ:Rⁿ→H,H为Hilbert空间,(x_i·x_j)为H空间中的内积；

(1)多项式核函数：K(x_i,x_j)＝((x_i·x_j)+1)^d是正整数；

(2)Gauss径向基核函数：K(x_i,x_j)＝exp(-||x_i-x_j||²/σ²)。

其中d是正数,取d＝2或3；σ是正数,取σ＝0.2。

构造并求解最优化问题进一步具体为：

基于beta噪声的核岭回归的原问题为:

$g_{P_{BN-KRR}}=\frac{1}{2}{\mathrm{\ω}}^T\·\mathrm{\ω}+C\underset{i=1}{\overset{l}{\Σ}}\left(\right(1-m){\mathrm{log\ξ}}_i+(1-n\left)\log \right(1-{\mathrm{\ξ}}_i\left)\right)---\left(9\right)$

其中ξ_i＝y_i-ω^T·Φ(x_i)-b,i＝1,...,l，式中的P_BN-KRR表示基于beta噪声的核岭回归的原问题，表示基于beta噪声模型核岭回归原问题的目标函数。

通过构造Lagrange泛函

$L(\mathrm{\ω},b,\mathrm{\α},\mathrm{\ξ})=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=}{\overset{l}{\Σ}}c\left({\mathrm{\ξ}}_i\right)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i(y_i-{\mathrm{\ω}}^T\·\mathrm{\Φ}(x_i)-b-{\mathrm{\ξ}}_i)$

可得到基于beta噪声模型核岭回归原问题(5)的对偶问题(简记为BN-KRR)为:

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\Σ}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i=0\end{array}\right.---\left(10\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C}.$

在构造回归函数后，将基于beta噪声模型的核岭回归技术应用于短期风速预报中.用输入向量分别预报分析某一时刻i以后的短期风速，x₁₊₁表示某一时刻i以后10分钟的风速，x_i+18表示某一时刻i以后180分钟的风速。

本发明的技术特点及效果：

本发明提出一种应用基于beta噪声模型的核岭回归技术进行短期风速预报分析的一般理论。利用最优化理论和beta噪声损失函数(8)构造的具有较高稳定性和鲁棒性的一种核岭回归机,能够满足实际应用中(如风力发电、农业生产等)对短期风速预报的要求；

在短期风速预报中,基于beta噪声模型的核岭回归技术的预报效果相比基于Gauss噪声模型的岭回归技术、基于Gauss噪声模型的核岭回归技术而言，表现出了更好的性能。

附图说明

图1betapdf和Gausspdf。

图2beta噪声和Gauss噪声的损失函数。

图3预报结果GN-RR(C＝151,step＝1)。

图4预报结果GN-KRR(C＝151,step＝1)。

图5预报结果BN-KRR(C＝81,m＝0.3,n＝0.1,step＝1)。

图6预报结果GN-RR(C＝151,step＝3)。

图7预报结果GN-KRR(C＝151,step＝3)。

图8预报结果BN-KRR(C＝81,m＝0.3,n＝0.1,step＝3)。

图9预报结果GN-RR(C＝151,step＝6)。

图10预报结果GN-KRR(C＝151,step＝6)。

图11预报结果BN-KRR(C＝81,m＝0.3,n＝0.1,step＝6)。

图12基于beta噪声核岭回归技术的短期风速预报方法总体流程图。

具体实施方式

本发明基于beta噪声核岭回归(Kernelridgeregressionbasedonthebeta-noise，简记为BN-KRR)技术的短期风速预报方法，是以最优化理论和统计学习理论为基础,通过最大似然估计导出基于beta噪声模型的损失函数,在此基础上构造基于beta噪声模型的核岭回归机,最后利用基于beta噪声模型的核岭回归技术得到短期风速预报。

提出了基于beta噪声模型的核岭回归技术。基于beta噪声的核岭回归的原问题:

$min\{g_{P_{N-KRR}}=\frac{1}{2}{\mathrm{\ω}}^T\·\mathrm{\ω}+C\underset{i=1}{\overset{1}{\Σ}}\left(\right(1-m){\mathrm{log\ξ}}_i+(1-n\left)log\right(1-{\mathrm{\ξ}}_i\left)\right)\}---\left(11\right)$

其中ξ_i＝y_i-ω^T·Φ(x_i)-b,i＝1,...,l。

可证得基于beta噪声的核岭回归原问题(5)关于ω的解存在且唯一。通过构造Lagrange泛函:

$L(\mathrm{\ω},b,\mathrm{\α},\mathrm{\ξ})=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=}{\overset{l}{\Σ}}c\left({\mathrm{\ξ}}_i\right)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i(y_i-{\mathrm{\ω}}^T\·\mathrm{\Φ}(x_i)-b-{\mathrm{\ξ}}_i)$

可得基于beta噪声的核岭回归原问题(5)的对偶问题(简记为BN-KRR)为:

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\Σ}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i=0\end{array}\right.---\left(12\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C}.$ 且有

$\mathrm{\ω}=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i\mathrm{\Φ}\left(x_i\right),b=y_i-\underset{j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{j}K(x_j,x_i)-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right).$

则可得到基于beta噪声核岭回归的回归函数为:

$f\left(x\right)={\mathrm{\ω}}^T\·\mathrm{\Φ}\left(x\right)+b=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x)+b.$

Φ:Rⁿ→H(H为Hilbert空间)为核变换，K(x_i,x_j)＝(Φ(x_i)·Φ(x_j))，ω∈Rⁿ为参数向量，

$b=y_i-\underset{j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{j}K(x_j,x_i)-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right).$

本发明目的是应用基于beta噪声模型的核岭回归技术进行短期风速预报。

由于各种原因,现实世界中的数据都受到噪声影响,因此基于噪声数据的机器学习模型具有重要的应用价值。当噪声服从Gauss分布时,基于Gauss噪声的核岭回归能够取得理想的效果。然而对于像风速预报的噪声、气象预报(如雨量、温度等)的噪声却不服从Gauss分布。S.Bofinger等发现风速预报的噪声并不服从Gauss分布,通过实验结果显示风速预报的噪声服从beta分布。A.Fabbri等研究了当预测值x_p和测量值x_m间的误差ε服从beta分布时,ε的概率密度函数(probabilitydistributionfunction，简记为pdf)为f(x)＝x^m-1·(1-x)^n-1·h(图1),其中m,n是参数,由噪声分布的期望和方差确定,m＝(1-μ)·μ²/σ²-μ,n＝1-μ/μ·m,h是归一化因子,h＝Γ(m+n)/Γ(m)·Γ(n)。

给定具有beta噪声影响的数据D_l,假设是加性噪声,即y_i＝f_i(x_i)+ξ_i(i＝1,...,l)且ξ_i是独立同分布(i.i.d.)的随机变量。一般地,回归函数f(x)是未知的,利用数据集D_l估计函数f(x),通过极大化似然函数的方法来得到最优损失函数:

c(x,y,f(x))＝-logp(y-f(x))(13)

极大似然估计为:

X_f＝:{(x₁,f(x₁)),(x₂,f(x₂)),...,(x_l,f(x_l))}(14)

$p\left(X_f\right|X)=\underset{i=1}{\overset{l}{\Π}}p\left(f\right(x_i\left)\right|\left(x_i,y_i\right))=\underset{i=1}{\overset{l}{\Π}}p(y_i-f(x_i\left)\right)---\left(15\right)$

最大化p(X_f|X)等价于最小化-logp(X_f|X),由(15)式得:

-logp(X_f|X)＝c(x,y,f(x))(16)

从而得Beta噪声模型的损失函数为(图2):

c(ξ_i)＝c(y_i-f(x_i))＝(1-m)logξ_i+(1-n)log(1-ξ_i)(17)

当噪声服从beta分布时,应用GN-KRR进行预测,则预报结果不能满足实际要求。为了解决上述问题,我们利用最优化理论和beta噪声损失函数(17),提出了基于beta噪声模型的核岭回归技术(BN-KRR),并成功应用于短期风速预报中,取得了良好的效果。

本发明提出一种应用基于beta噪声模型的核岭回归技术(BN-KRR)进行短期风速预报分析的一般理论。利用最优化理论和beta噪声损失函数(17)构造的具有较高稳定性和鲁棒性的一种核岭回归机,能够满足实际应用中(如风力发电、农业生产等)对短期风速预报的要求。应用基于beta噪声模型的核岭回归技术进行短期风速预报主要通过以下几个步骤来实现：

1.设数据集D_l＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)},其中x_i∈Χ＝Rⁿ,y_i∈R,i＝1,2,...,l。

2.利用遗传算法确定参数C、m、n；选取最优核函数K(·,·)。

3.构造并求解最优化问题

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\Σ}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i=0\end{array}\right.---\left(18\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C},$ C>0是惩罚因子。得到最优解α＝(α₁,α₂,...,α_l)。m、n为Beta噪声模型的损失函数中的参数，由噪声分布的期望μ和方差σ²确定,即m＝(1-μ)·μ²/σ²-μ,n＝1-μ/μ·m，15.式(12)、(18)中α_i(i＝1,2...,l)为拉格朗日乘子，即为对偶问题(12)中的自变量。

4.构造回归函数

$f\left(x\right)={\mathrm{\ω}}^T\·\mathrm{\Φ}\left(x\right)+b=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x)+b---\left(19\right)$

其中 $b=y_i-\underset{j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{j}K(x_j,x_i)-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right),x={(x_1,x_2,\mathrm{...},x_l)}^T,$ y_i∈D_l,i＝1,2,...,l,上标T表示转置。

在短期风速预报中,基于beta噪声模型的核岭回归技术的预报效果相比基于Gauss噪声模型的岭回归技术、基于Gauss噪声模型的核岭回归技术而言，表现出了更好的性能。

风速预报误差的评价,一般地用两个时间序列中基于预测值x_p和测量值x_m间的相似度来度量,即

ε_i＝x_p,i-x_m,i,i＝1,...,l

最常用的评价误差度量的指标是平均值绝对误差(themeanabsoluteerror，简记为MAE):

$MAE=\frac{1}{l}\underset{i=1}{\overset{1}{\Σ}}|x_{p,i}-x_{m,i}|---\left(20\right)$

相对平均值绝对误差(themeanabsolutepercentageerror，简记为MAPE):

$MAPE=\frac{1}{l}\underset{i=1}{\overset{1}{\Σ}}\frac{|x_{p,i}-x_{m,i}|}{x_{m,i}}---\left(21\right)$

根平方值法(therootmeansquareerror，简记为RMSE)是预测误差中应用比较广泛的方法,RMSE在两个时间序列中基于预测值x_p和测量值x_m定义为:

$RMSE={\left(\frac{1}{l}\underset{i=1}{\overset{l}{\Σ}}{\left(x_{p,i}-x_{m,i}\right)}^2\right)}^{\frac{1}{2}}---\left(22\right)$

x_p,i、x_m,i分别表示时间序列中第i个预测值与测量值。用平均值绝对误差、相对平均值绝对误差、根平方值误差对基于Gauss噪声模型的岭回归技术(简记为GN-RR)、基于Gauss噪声模型的核岭回归技术(简记为GN-KRR)、基于beta噪声模型的核岭回归技术(简记为BN-KRR)等三种噪声模型进行了评价。

在风速数据时间序列集D_l中，其中的样本是每10分钟测量一次,共收集有62466个样本,D_l各列属性分别包括均值、方差、最小值、最大值等多个因子。我们取训练样本2160个(从1至2160,即15天的样本)，测试样本720个(从2161至2880,即5天的样本)进行了实验分析。输入向量为i＝1,...,2880,输出值为x_i+18+step,其中step＝1,3,6。即用样本分别预报某一时刻x_i+18以后10分钟、30分钟、60分钟的风速,其中i＝1,...,2880。

1.时刻x_i+18以后10分钟的风速预报结果

应用GN-RR、GN-KRR和BN-KRR进行预报某一时刻x_i+18以后10分钟的短期风速预报结果如图3-5所示。

利用指标MAE、MAPE和RMSE评价三种模型的预报结果如表1.

表.1:三种模型的短期风速预报的误差统计(测试样本720)

2.时刻x_i+18以后30分钟的风速预报结果

应用GN-RR、GN-KRR和BN-KRR进行预报某一时刻x_i+18以后30分钟的短期风速预报结果如图6-8所示。

利用指标MAE、MAPE和RMSE评价三种模型的预报结果如表2.

表.2:三种模型的短期风速预报的误差统计(测试样本720)

3.时刻x_i+18以后60分钟的风速预报结果

应用GN-RR、GN-KRR和BN-KRR进行预报某一时刻x_i+18以后60分钟的短期风速预报结果如图9-11所示。

利用指标MAE、MAPE和RMSE评价三种模型的预报结果如表3.

表.3:三种模型的短期风速预报的误差统计(测试样本720)

评论:应用GN-RR、GN-KRR和BN-KRR进行预报某一时刻x_i+18以后10分钟、30分钟、60分钟的短期风速预报的实验结果说明,BN-KRR的预报结果比GN-RR、GN-KRR的效果更好。

下面结合附图和具体实施方式进一步详细说明本发明。

1.计算噪声样本的损失函数

设给定具有beta噪声影响的数据集D_l＝{(x₁,y₁),(x₂,y₂),...,(x_l,y_l)},其中x_i∈Χ＝Rⁿ,y_i∈R,i＝1,2,...,l.利用数据集g∈D_l估计函数f(x),通过极大化似然函数的方法来得到最优损失函数:

c(x,y,f(x))＝-logp(y-f(x))(23)

得Beta噪声模型的损失函数为:

c(ξ_i)＝c(y_i-f(x_i))＝(1-m)logξ_i+(1-n)log(1-ξ_i)(24)

2.利用遗传算法确定参数C、m、n。

遗传算法(GeneticAlgorithm，简记为GA)是一类借鉴生物界的进化规律演化而来的随机化搜索方法。它是由美国的J.Holland教授1975年首先提出,其主要特点是直接对结构对象进行操作，不存在求导和函数连续性的限定；具有内在的隐并行性和更好的全局寻优能力；采用概率化的寻优方法，能自动获取和指导优化的搜索空间，自适应地调整搜索方向，不需要确定的规则.遗传算法的这些性质，已被人们广泛地应用于组合优化、机器学习、信号处理、自适应控制和人工生命等领域,它是现代有关智能计算中的关键技术。

对于一个求函数最小值的优化问题(求函数最大值也类似)，一般可以描述为下列数学规划模型:

$\{\begin{array}{c}\min f\left(x\right)\\ x\∈R\⋐U\end{array}---\left(25\right)$

式中x为决策变量,f(x)为目标函数式,式为约束条件,U是基本空间,R是U的子集。满足约束条件的解X称为可行解,集合R表示所有满足约束条件的解所组成的集合,称为可行解集合。式(13)、(17)、(23)、(24)c(x,y,f(x))＝-logp(y-f(x))中的x与式(25) $\left\{\begin{array}{c}\min f\left(x\right)\\ x\∈R\⋐U\end{array}\right.$ 中的x的含义相同，x＝(x₁,x₂,...,x_l)^Ty＝(y₁,y₂,...,y_l)^T，x_i,y_i∈D_l,i＝1,2,...,l，上标T表示转置。p(y-f(x))＝p(ξ)表示误差ξ的概率密度函数。c(x_i,y_i,f(x_i))＝c(ξ_i)表示在样本点(x_i,y_i)进行预测时所得到预测值f(x_i)与y_i比较所产生的损失，c(ξ)表示损失函数。

利用遗传算法确定基于beta噪声模型的核岭回归机的参数C、m、n.提出的基于beta噪声模型的核岭回归机应用Matlab7.1程序语言实现,取初始参数是Max_cgen＝100,BN-KRR的参数C∈[1,201],m,n∈(0,+∞)。

3.选取合适的核函数K(·,·).

利用核技巧构造核函数K(·,·),把基于beta噪声模型的线性岭回归机推广为beta噪声模型的非线性岭回归机。其中K(x_i,x_j)＝(Φ(x_i)·Φ(x_j)),Φ:Rⁿ→H,H为Hilbert空间,(x_i·x_j)为H空间中的内积。

多项式核函数和Gauss径向基核函数在诸多实际应用中具有较强的鲁棒性和稳定的性能,且容易操作实施。

(1)多项式核函数：K(x_i,x_j)＝((x_i·x_j)+1)^d是正整数。

(2)Gauss径向基核函数：K(x_i,x_j)＝exp(-||x_i-x_j||²/σ²)。

其中d是正数,取d＝2或3；σ是正数,取σ＝0.2。

4.构造并求解最优化问题.

基于beta噪声的核岭回归的原问题为:

$g_{P_{BN-KRR}}=\frac{1}{2}{\mathrm{\ω}}^T\·\mathrm{\ω}+C\underset{i=1}{\overset{l}{\Σ}}\left(\right(1-m){\mathrm{log\ξ}}_i+(1-n\left)log\right(1-{\mathrm{\ξ}}_i\left)\right)---\left(26\right)$

其中ξ_i＝y_i-ω^T·Φ(x_i)-b,i＝1,...,l。

式中的P_BN-KRR表示基于beta噪声的核岭回归的原问题，表示基于beta噪声模型核岭回归原问题的目标函数。

通过构造Lagrange泛函

$L(\mathrm{\ω},b,\mathrm{\α},\mathrm{\ξ})=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=}{\overset{l}{\Σ}}c\left({\mathrm{\ξ}}_i\right)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i(y_i-{\mathrm{\ω}}^T\·\mathrm{\Φ}(x_i)-b-{\mathrm{\ξ}}_i)$

可得到基于beta噪声模型核岭回归原问题(5)的对偶问题(简记为BN-KRR)为:

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K(x_i,x_j)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\Σ}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i=0\end{array}\right.---\left(27\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C}.$

式(5)、(10)、(12)、(18)、(27)等中的D_BN-KRR表示基于beta噪声模型核岭回归的对偶问题,表示基于beta噪声模型核岭回归对偶问题的目标函数。

式(5)、(6)、(10)、(12)、(18)、(19)、(26)、(27)中，α_i(i＝1,2...,l)为拉格朗日乘子，即为对偶问题(12)中的自变量。

5.构造基于beta噪声模型核岭回归的回归函数:

$f\left(x\right)={\mathrm{\ω}}^T\·\mathrm{\Φ}\left(x\right)+b=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x)+b---\left(28\right)$

其中 $b=y_i-\underset{j=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{j}K(x_j,x_i)-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right).$

6.将基于beta噪声模型的核岭回归技术应用于短期风速预报中.用输入向量分别预报分析某一时刻以后的风速，i表示某一时刻；x_i+1下标表示某一时刻i以后10分钟的时刻的风速，x_i+2下标表示某一时刻i以后20分钟的时刻的风速，……,x_i+18下标表示某一时刻i以后180分钟的时刻的风速。

外文字符的中文注释：

1.beta：贝塔(希腊字母)。

2.Gauss：高斯(著名数学家)。

3.Ridgeregression：岭回归。

4.A.E.Hoerl，R.W.Kennard，C.Saunders，A.Fabbri，S.Bofinger，J.Holland：人名。

5.Hilbert：希尔伯特(著名数学家)。

6.RidgeregressionbasedontheGauss-noise:基于Gauss噪声的岭回归。

7.KernelridgeregressionbasedontheGauss-noise:基于Gauss噪声的核岭回归。

6.Kernelridgeregressionbasedonthebeta-noise:基于beta噪声模型的核岭回归。

8.Lagrange:拉格朗日(著名数学家)。

9.probabilitydistributionfunction(pdf):概率密度函数。

10.themeanabsoluteerror：平均值绝对误差。

11.themeanabsolutepercentageerror：相对平均值绝对误差。

12.therootmeansquareerror：根平方值法。

13.GeneticAlgorithm：遗传算法。

14.minf(x)：求函数f(x)的最小值；maxf(x)：求函数f(x)的最大值。

Claims (2)

1.一种基于beta噪声核岭回归技术的短期风速预报方法，其特征是，包括如下步骤：通过最大似然估计导出基于beta噪声模型的损失函数,在此基础上构造基于beta噪声模型的核岭回归机,最后利用基于beta噪声模型的核岭回归技术得到短期风速预报；应用基于beta噪声模型的核岭回归技术进行短期风速预报主要通过以下几个步骤来实现：

1)设给定具有beta噪声影响的数据集D_l＝{(x₁,y₁),(x₂,y₂),…,(x_l,y_l)},其中x_i∈Χ＝Rⁿ,y_i∈R,i＝1,2,…,l，Rⁿ表示n维欧式空间，R表示实数集，l表示样本个数；求取最优损失函数；

2)利用遗传算法确定参数C、m、n；选取最优核函数K(·,·)，m、n为Beta噪声模型的损失函数中的参数，由噪声分布的期望μ和方差σ²确定,即m＝(1-μ)·μ²/σ²-μ,n＝1-μ/μ·m；

3)构造并求解最优化问题

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K\left(x_i,x_j\right)+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i=0\end{array}\right.---\left(5\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C},$ 参数C>0，s.t.为subjectto的缩写，表示基于beta噪声模型核岭回归对偶问题的目标函数；

得到最优解α＝(α₁,α₂,…,α_l)，α₁、α₂、…,α_l为拉格朗日乘子；

4)构造回归函数

$f\left(x\right)={\mathrm{\ω}}^T\·\mathrm{\Φ}\left(x\right)+b=\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_{i}K(x_i,x)+b---\left(6\right)$

其中ω∈Rⁿ为参数向量；Φ:Rⁿ→H为核变换，H为Hilbert空间,(Φ(x_i)·Φ(x_j))表示H空间中的内积,K(x_i,x_j)＝(Φ(x_i)·Φ(x_j))；

求取最优损失函数是，利用数据集D_l估计函数f(x),通过极大化似然函数的方法来得到最优损失函数:

c(x,y,f(x))＝-logp(y-f(x))(7)

其中，p(y-f(x))＝p(ξ)表示误差ξ的概率密度函数，c(x_i,y_i,f(x_i))＝c(ξ_i)表示在样本点(x_i,y_i)进行预测时所得到预测值f(x_i)与y_i比较所产生的损失，c(ξ)表示损失函数；

得beta噪声模型的损失函数为:

c(ξ_i)＝c(y_i-f(x_i))＝(1-m)logξ_i+(1-n)log(1-ξ_i)(8)

利用遗传算法确定参数C、m、n具体为：利用遗传算法确定基于beta噪声模型的核岭回归机的参数C、m、n.提出的基于beta噪声模型的核岭回归机应用Matlab7.1程序语言实现,取初始参数是Max_cgen＝100,BN-KRR的参数C∈[1,201],m,n∈(0,+∞)；

基于beta噪声核岭回归模型的英文全称为Kernelridgeregressionmodelbasedonthebeta-noise，简记为BN-KRR；

选取最优核函数K(·,·)是利用核技巧构造核函数K(·,·),把基于beta噪声模型的线性岭回归机推广为beta噪声模型的非线性岭回归机；其中核函数K(·,·)即K(x_i,x_j)＝(Φ(x_i)·Φ(x_j)),Φ:Rⁿ→H,H为Hilbert空间,(Φ(x_i)·Φ(x_j))为H空间中的内积；

多项式核函数：K(x_i,x_j)＝((x_i·x_j)+1)^d是正整数；

Gauss径向基核函数：K(x_i,x_j)＝exp(-||x_i-x_j||²/σ²)；

其中d是正数,取d＝2或3；σ是正数,取σ＝0.2。

2.如权利要求1所述的基于beta噪声核岭回归技术的短期风速预报方法，其特征是，构造并求解最优化问题进一步具体为：

基于beta噪声的核岭回归的原问题为:

$g_{P_{BN-KRR}}=\frac{1}{2}{\mathrm{\ω}}^T\·\mathrm{\ω}+C\underset{i=1}{\overset{l}{\Σ}}\left(\left(1-m\right){\mathrm{log\ξ}}_i+\left(1-n\right)log\left(1-{\mathrm{\ξ}}_i\right)\right)---\left(9\right)$

其中ξ_i＝y_i-ω^T·Φ(x_i)-b,i＝1,…,l，式中的P_BN-KRR表示基于beta噪声的核岭回归的原问题，表示基于beta噪声模型核岭回归原问题的目标函数；

通过构造Lagrange泛函

$L(\mathrm{\ω},b,\mathrm{\α},\mathrm{\ξ})=\frac{1}{2}{\mathrm{\ω}}^T\mathrm{\ω}+C\underset{i=}{\overset{l}{\Σ}}c\left({\mathrm{\ξ}}_i\right)+\underset{i=1}{\overset{l}{\Σ}}{\mathrm{\α}}_i(y_i-{\mathrm{\ω}}^T\·\mathrm{\Φ}\left(x_i\right)-b-{\mathrm{\ξ}}_i)$

可得到基于beta噪声模型核岭回归原问题(9)的对偶问题为:

$\left\{\begin{array}{c}\underset{\mathrm{\α}}{\max }\{g_{D_{BN-KRR}}=-\frac{1}{2}\underset{i,j=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\α}}_{j}K\left(x_i,x_j\right)+\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{y}_i-\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)+\\ C\underset{i=1}{\overset{l}{\mathrm{\Σ}}}\left(\left(1-m\right)\log \left({\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)+\left(1-n\right)\log \left(1-{\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)\right)\right)\left)\right\}\\ s.t.\underset{i=1}{\overset{l}{\mathrm{\Σ}}}{\mathrm{\α}}_i=0\end{array}\right.---\left(10\right)$

其中 ${\mathrm{\ξ}}_i\left({\mathrm{\α}}_i\right)=\frac{(2+{\mathrm{\α}}_i/C-m-n)-{\[{(\frac{{\mathrm{\α}}_i}{C}+m-n)}^2+4(1+mn-m-n)\]}^{1/2}}{2{\mathrm{\α}}_i/C};$

在构造回归函数后，将基于beta噪声模型的核岭回归技术应用于短期风速预报中；用输入向量分别预报分析某一时刻i以后的短期风速，x_i+1表示某一时刻i以后10分钟的风速，x_i+18表示某一时刻i以后180分钟的风速。