CN111950759A - 一种基于两级分解、lstm和at的短期风速预测方法 - Google Patents

Abstract

本发明公开了一种基于两级分解、LSTM和AT的短期风速预测方法，包括：S1、通过WD小波算法对原始风速作一级分解，并重构为低频主成分A₁和高频噪声成分D₁；S2、通过VMD算法作二级分解，分别将A₁和D₁分解为一系列模态分量；S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态分量两个数据集分别进行训练；S4、在LSTM网络的输出层与隐藏层之间引入Attention层；S5、将低频主成分和高频噪声成分的预测结果进行合成，得到最终风速预测结果。本发明利用小波分解去解决了风速低频信号与高频信号的互相干扰；通过VMD分解充分提取信号频域特征，解决传统LSTM模型存在的预测滞后问题；Attention机制提升了风速发生突变与风速急剧变化时的决策能力，提升模型预测的稳定性。

Description

一种基于两级分解、LSTM和AT的短期风速预测方法

技术领域

本发明涉及风速预测技术领域，具体涉及一种基于两级分解、LSTM和AT 的短期风速预测方法。

背景技术

风能作为可再生能源，在现实生活中运用非常广泛。在实际中，风速的预 测在风能的转化起着至关重要的作用，所以对风速预测的精度要求很高。在过 去的几十年中，大量的方法被人们用于风速的预测，总体上来看这些方法大致 可以分为两类：物理模型方法和统计分析方法。物理模型方法是使用环境中众 多物理因素来预测风速，其中数值天气预报是最常见的一种，物理模型方法需 要大量的不同的数据来预测风速，并且在预测过程需要花费大量时间进行计算。 而统计分析方法则是通过分析风速的历史数据来预测未来数据，该类方法通常 可以被分为三类：时间序列模型、机器学习方法和混合模型。时间序列模型包 括自回归模型、移动平均模型、自回归移动平均模型、自回归整合移动平均模 型。时间序列模型在线性的、平稳的时间序列预测中具有较好的预测效果，但 是在非线性和非平稳的时间序列中就很难达到预期的目标。为了提高预测非线 性和非平稳的风速数据的效果，一些机器学习方法BP神经网络，支持向量回归 被用于风速的预测，并且在预测效果上有很大提升。此外，一些组合模型也被 提出，以此来获得比单一方法具有更好的预测效果。

综上所述，传统的单模型AR模型在非线性、非平稳数据的预测上很难达到 预期的效果，而单一SVR模型、LSTM模型在一些风速数据预测上存在预测滞 后等问题，ARMA-ANN模型未考虑风速在频域上的特征与不同频率之间相互影 响，基于EMD分解和VMD分解的组合模型则未充分考虑风速不同频率信号之 间的相互影响。

发明内容

本发明为了克服以上技术的不足，提供了一种基于两级分解、LSTM和AT 的短期风速预测方法。

术语解释：

WD：Daubechies小波分解。

VMD：变分模态分解，VMD分解是Konstantin Dragomiretskiy和Dominique Zosso在2014年提出的自适应、准正交、完全非递归的变分模式分解模型；该 模型基于Hilbert变换和Wiener滤波，将信号分解为频谱域中具有限制带宽的一 系列本征模态函数(Intrinsic mode functions，IMFs)。

LSTM：长短时记忆网络，是由Sepp Hochreiter提出的用于解决时间反向传 播(Back-Propagation Through Time，BPTT)存在的梯度消失和梯度爆炸问题。

AT：Attention机制，即在LSTM网络模型的LSTM层与输出层之间增加 Attention层。

本发明克服其技术问题所采用的技术方案是：

一种基于两级分解、LSTM和AT的短期风速预测方法，包括步骤如下：

S1、通过WD小波算法对原始风速作一级分解，并重构为低频主成分A₁和 高频噪声成分D₁；

S2、通过VMD算法作二级分解，分别将低频主成分A₁和高频噪声成分D₁分 解为一系列模态分量；

S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态 分量两个数据集分别进行训练；

S4、在LSTM网络的输出层与隐藏层之间引入Attention层；

S5、将低频主成分和高频噪声成分的预测结果进行合成，得到最终的风速 预测结果。

进一步地，所述步骤S1包括如下：

S11、对原始风速数据进行分解，得到低频系数和高频系数，具体如下：

采用Daubechies作为小波基函数，对时间间隔一致的时序风速数据进行离 散小波变换，即DWT，定义DWT小波函数簇如下：

式(1)中，ψ_j,k(t)为ψ(t)经过缩放和平移变化而来，s₀＞1是固定的缩放因子， τ₀是平移因子，j为尺度离散化值，k为位置离散化值，Z为整数集合。这样DWT 可由式(2)定义，其中*为复合共轭；

若小波函数簇ψ_j,k(t)形成正交基，需要对DWT变换求逆；最后x(t)的离散 小波分解如式(3)所示：

式(3)中，c_ψ为母小波函数，W_x(j,k)为离散小波变换的函数定义；

至此，Daubecies小波将原始风速数据分解为低频系数cA_n和高频系数 cD_m(m＝1,2,...,n)，n为实验指定的小波分解层数；

S12、对分解后的低频系数和高频系数进行重构，得到低频主成分和高频噪 声成分，具体如下：

先分别将低频系数cA_n通过低通滤波器重构为第n层的低频主成分A_n，将高 频系数cD_m通过高频滤波器重构为第m层的高频噪声成分D_m，其中m＝1,2,3,...,n；

然后通过式(4)求解低频主成分A₁如下：

最后通过式(5)求解高频噪声成分如下，其中H为高频滤波器：

D₁＝H(cD₁) (5)。

进一步地，所述步骤S2具体包括如下：

设{x(t)}为风速信号，δ(t)为狄拉克分布函数，μ_K为第K个分解的本征模态 函数IMFs，ω_K为μ_K的中心频率，e为自然常数，取值为2.718的无限循环小数， J为虚数单位；VMD算法分别对低频主成分和高频噪声成分进行分解的主要步 骤如下：

S21、利用Hilbert变换对风速数据计算每个IMFs，并将其转换为基频带：

S22、根据L²范数求解各个模态的带宽，将VMD分解的过程转化为约束变 分问题，其中约束条件是

表示梯度运算：

S23、引入惩罚因子α和拉格朗日乘子λ，将约束变分问题转换成非约束变 分问题：

S24、采用交替方向乘子算法交替更新IMFs、ω_K和λ，求解该非约束性问 题，其更新算法如下：

式(9)-(11)中，i与K的含义相同，i为VMD分解的第i个模态分量；n为迭 代次数；ω为中心频率；τ为更新参数；

分 别为x(t)、μ_K(t)、μ_i(t)、

λ(t)的傅里叶变换；

S25、重复步骤S24，直到满足如下限制条件，即把信号分解为了K个IMFs：

进一步地，步骤S3中，所述LSTM网络架构的内部包括三个门结构和一个 用于存储记忆的状态模块；

设C_t为本LSTM单元存储的状态信息，x_t为输入层的输入，h_t为本单元隐含 层的输出，f_t为遗忘门，i_t为输入门，

为当前时刻信息，o_t为输出门，“×”表 示矩阵元素相乘，“+”表示相加运算；

遗忘门：用于控制上一单元状态C_t-1被遗忘的程度，其表达式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (13)

输入门：用于控制哪些信息被加入到本单元中，其表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i) (14)

单元存储的状态信息：用于根据f_t将新信息有选择的记录到C_t中，其表达 式如下：

输出门：用于将C_t激活，并控制C_t被过滤的程度，其表达式如下：

o_t＝σ(W_o*[h_t-1,x_t]+b_o) (17)

h_t＝o_t*tanh(C_t) (18)

其中，W_f、W_i、

Wo分别为f_t、i_t、

o_t对应的权重矩阵，b_f、b_i、

bo分别为f_t、i_t、

o_t对应的偏置项，σ为sigmoid激活函数，tanh为双曲正 切激活函数，定义如下：

σ(x)＝1/(1+e^-x) (19)

tanh(x)＝(e^x-e^-x)/(e^x+e^-x) (20)

传统的LSTM网络结构包括输入层、LSTM层和输出层，输入层处理之前t 个时刻的原始风速数据，模型阶数t根据风速数据的自相关来确定；LSTM层利 用t个LSTM单元进行模型学习并得到输出h_t；输出层则依据下式将h_t经过一个 全连接层得到最终预测值yt：

y_t＝σ(W_y*h_t+b_y) (21)

式(21)中，W_y、b_y分别为权重矩阵和偏置项。

进一步地，步骤S4中，在LSTM网络的输出层与隐藏层之间引入Attention 层之后，通过式(22)得到注意力机制矢量g_t：

式(22)中，

为softmax激活函数，W_h为权重矩阵，b_h为偏置项；

依据下式将g_t与h_t作元素乘，得到Attention层的输出

根据步骤S3中的式(21)，将

作为后续LSTM输出层的输入，并得到最终 的预测值：

进一步地，步骤S5中，分别将低频主成分的预测结果表示为y_A1(t)、将高频 噪声成分的预测结果表示为y_D1(t)，将两者进行合成，得到最终的风速预测结果 y(t)。

本发明的有益效果是：

本发明提出了一种基于两级分解、LSTM和AT的短期风速预测方法：1) WD用于将原始风速信号作一级分解，并重构为低频分量和高频分量，消除主成 分信号与噪声信号的耦合关系，解决了风速在频域上存在的一定干扰；2)VMD 用于将重构的低频分量和高频分量作二级分解，分解为一定个数的本征模态分 量，有利于提取风速在频域上的特征；3)LSTM可以将信号的频域与时域信息 进行组合学习，更好的学习风速在时域和频域上的特征；4)局部Attention机 制则使LSTM的训练更加稳定，进一步的提高模型的预测精度与决策能力。为 了验证本发明的方法在短期风速预测上的效果，引入了ARMA、SVR、LSTM、 EMD-LSTM、VMD-LSTM和WD-VMD-LSTM六个参考模型，并对ACK站点 的风速序列数据集进行了模型预测对比实验。实验通过递进的对比方法，使对 比结果更具可比性，比较结果更加客观。综合上述实验对比结果表明，本发明 所述的基于两级分解、LSTM和AT的短期风速组合模型的预测精度为最优，并 可显著增强模型预测的稳定性。因此，WD-VMD-DLSTM-AT组合模型在各种情况下的短期风速预测都具有优良的预测效果。本研究工作也可以为利用深度学 习探索时间序列的预测分析方面提供一个有益的研究思路。

附图说明

图1为一个LSTM单元的内部结构示意图。

图2为传统LSTM网络模型的内部结构示意图。

图3为加入Attention层的LSTM网络模型的内部结构示意图。

图4为Daubechies小波分解与重构的结构示意图。

图5为基于两级分解、LSTM和AT的短期风速预测方法的流程示意图。

图6为ACK站的风速数据曲线图。

图7a为ACK站的风速趋势图。

图7b为ACK站的实际风速频谱图。

图8a为ACK站的风速信号的ACF图。

图8b为ACK站的风速信号的PACF图。

图9a为ACK站的小波分解重构后的幅值图。

图9b为ACK站的小波分解重构后的偏差信号图。

图10a为ACK站的A₁分量的VMD分解结果图。

图10b为ACK站的A₁分量的预测值与原始值的曲线对比图。

图10c为ACK站的A₁分量的预测值与实际值的散点对比图。

图10d为ACK站的D₁分量的预测值与原始值的曲线对比图。

图10e为ACK站的D₁分量的预测值与实际值的散点对比图。

图11a为ACK站的模型ARMA和SVR的风速预测比对图。

图11b为ACK站的模型LSTM和EMD-LSTM的风速预测比对图。

图11c为ACK站的模型EMD-LSTM和VMD-LSTM的风速预测比对图。

图11d为ACK站的模型WD-VMD-DLSTM和WD-VMD-DLSTM-AT的风 速预测比对图。

图11e为ACK站的模型SVR、LSTM、ARMA的散点图。

图11f为ACK站的模型LSTM、EMD-LSTM、VMD-LSTM的散点图。

图11g为ACK站的模型VMD-LSTM和WD-VMD-DLSTM的散点图。

图11h为ACK站的模型WD-VMD-DLSTM和WD-VMD-DLSTM-AT的散 点图。

图12为ACK站的模型ARMA、SVR、LSTM、EMD-LSTM、VMD-LSTM、 WD-VMD-DLSTM和WD-VMD-DLSTM-AT的误差对比图。

图13a为模型VMD-LSTM、WD-VMD-DLSTM和WD-VMD-DLSTM-AT 的误差指标MAE的对比结果折线图。

图13b为模型VMD-LSTM、WD-VMD-DLSTM和WD-VMD-DLSTM-AT 的误差指标RMSE的对比结果折线图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本 发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图1所示，本实施例提出的一种基于两级分解、LSTM和AT的短期风速 预测方法，其特征在于，包括步骤如下：

S1、通过WD小波算法对原始风速作一级分解，并重构为低频主成分A₁和 高频噪声成分D₁；

S2、通过VMD算法作二级分解，分别将低频主成分A₁和高频噪声成分D₁分 解为一系列模态分量；

S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态 分量两个数据集分别进行训练；

S4、在LSTM网络的输出层与隐藏层之间引入Attention层。

S5、将低频主成分和高频噪声成分的预测结果进行合成，得到最终的风速 预测结果。

一、关于WD小波算法的分解与重构

小波变换可采用一系列小波基函数来表示原始信号，其小波母函数和生成 的所有子小波函数能在空间中进行局部定位。由于风速信号在时间和频率多个 尺度上相关联，因此采用小波变换能较好的解析此类数据。

本实施例中，所述步骤S1包括两部分：对原始风速数据作一级分解，得到 低频系数和高频系数；由于DWT后的小波系数不具有实际信号的特征，故需要 对其进行重构，也就是对分解后的低频系数和高频系数进行重构，得到低频主 成分和高频噪声成分。具体如下：

S11、对原始风速数据进行分解，得到低频系数和高频系数，具体如下：

采用Daubechies作为小波基函数，对时间间隔一致的时序风速数据进行离 散小波变换(Discrete Wavelet Transform)，简称为DWT，定义DWT小波函数簇 如下：

式(1)中，ψ_j,k(t)为ψ(t)经过缩放和平移变化而来，s₀＞1是固定的缩放因子， τ₀是平移因子，j为尺度离散化值，k为位置离散化值，Z为整数集合。这样DWT 可由式(2)定义，其中*为复合共轭；

若小波函数簇ψ_j,k(t)形成正交基，需要对DWT变换求逆，若小波函数簇 ψ_j,k(t)未形成正交基，则不需要对DWT变换求逆；最后x(t)的离散小波分解如 式(3)所示：

式(3)中，c_ψ为母小波函数，W_x(j,k)为离散小波变换的函数定义；

至此，Daubecies小波将原始风速数据分解为低频系数cA_n和高频系数 cD_m(m＝1,2,...,n)，n为实验指定的小波分解层数。

S12、对分解后的低频系数和高频系数进行重构，得到低频主成分和高频噪 声成分，具体如下：

先分别将低频系数cA_n通过低通滤波器重构为第n层的低频主成分A_n，将高 频系数cD_m通过高频滤波器重构为第m层的高频噪声成分D_m，其中m＝1,2,3,...,n；

然后通过式(4)求解低频主成分A₁如下：

最后通过式(5)求解高频噪声成分如下，其中H为高频滤波器：

D₁＝H(cD₁) (5)。

二、关于VMD变分模态分解

VMD分解是Konstantin Dragomiretskiy和Dominique Zosso在2014年提出 的自适应、准正交、完全非递归的变分模式分解模型；该模型基于Hilbert变换 和Wiener滤波，将信号分解为频谱域中具有限制带宽的一系列本征模态函数 (Intrinsic modefunctions，IMFs)。

本实施例，所述步骤S2具体包括如下：

设{x(t)}为风速信号，δ(t)为狄拉克分布函数，μ_K为第K个分解的本征模态 函数IMFs，ω_K为μ_K的中心频率，e为自然常数，取值为2.718的无限循环小数， J为虚数单位。VMD算法分别对低频主成分和高频噪声成分进行分解的主要步 骤如下：

S21、利用Hilbert变换对风速数据计算每个IMFs，并将其转换为基频带：

S22、根据L²范数求解各个模态的带宽，将VMD分解的过程转化为约束变 分问题，其中约束条件是

表示梯度运算：

S23、引入惩罚因子α和拉格朗日乘子λ，将约束变分问题转换成非约束变 分问题：

S24、采用交替方向乘子算法交替更新IMFs、ω_K和λ，求解该非约束性问 题，其更新算法如下：

式(9)-(11)中，i与K的含义相同，i为VMD分解的第i个模态分量；n为迭 代次数；ω为中心频率；τ为更新参数；

分 别为x(t)、μ_K(t)、μ_i(t)、

λ(t)的傅里叶变换；

S25、重复步骤S24，直到满足如下限制条件，即把信号分解为了K个IMFs：

在VMD分解的过程中，前两步S21和S22主要是为了构造变分问题，后 三步S23-S25主要是来求解这个变分问题。其中，惩罚因子α与分解层数K是 直接影响分解结果的因素：1)α影响分解精度，取值过低会降低精度，取值过 高则会增加程序负载；2)K值设置的不同将会影响VMD分解的各个IMFs在频 率上的分布，最终会影响模型在频域特征上的提取，直接影响风速的预测结果； 相比之下确定最优分解层数K对后续风速预测模型更有意义。

三、关于LSTM网络模型

LSTM：长短时记忆网络，是由Sepp Hochreiter提出的用于解决时间反向传 播(Back-Propagation Through Time，BPTT)存在的梯度消失和梯度爆炸问题。随 着模型不断改善，逐渐演变成被广泛使用的LSTM网络架构。

本实施例中，步骤S3中，所述LSTM网络架构的内部包括三个门结构和一 个用于存储记忆的状态模块，一个LSTM单元的内部结构如图2所示。

设C_t为本LSTM单元存储的状态信息，x_t为输入层的输入，h_t为本单元隐含 层的输出，f_t为遗忘门，i_t为输入门，

为当前时刻信息，o_t为输出门，“×”表 示矩阵元素相乘，“+”表示相加运算。

C_t具有存储信息的功能，通过f_t、i_t和o_t可以控制信息的输入与输出，达到 保留原始数据重要特征的目的；通过各个模块的相互作用，可解决数据存在的 长期依赖问题。

遗忘门：用于控制上一单元状态C_t-1被遗忘的程度，其表达式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (13)

输入门：用于控制哪些信息被加入到本单元中，其表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i) (14)

单元存储的状态信息：用于根据f_t将新信息有选择的记录到C_t中，其表达 式如下：

输出门：用于将C_t激活，并控制C_t被过滤的程度，其表达式如下：

o_t＝σ(W_o*[h_t-1,x_t]+b_o) (17)

h_t＝o_t*tanh(C_t) (18)

其中，W_f、W_i、

Wo分别为f_t、i_t、

o_t对应的权重矩阵，b_f、b_i、

bo分别为f_t、i_t、

o_t对应的偏置项，σ为sigmoid激活函数，tanh为双曲正 切激活函数，定义如下：

σ(x)＝1/(1+e^-x) (19)

tanh(x)＝(e^x-e^-x)/(e^x+e^-x) (20)

传统的LSTM网络结构，包括输入层、LSTM层和输出层，输入层处理之 前t个时刻的原始风速数据，模型阶数t根据风速数据的自相关来确定；LSTM 层利用t个LSTM单元进行模型学习并得到输出h_t；输出层则依据下式将h_t经过 一个全连接层得到最终预测值y_t：

y_t＝σ(W_y*h_t+b_y) (21)

式(21)中，W_y、b_y分别为权重矩阵和偏置项。

四、关于加入Attention层的LSTM网络模型

为了提高风速预测精度，并增强LSTM网络模型的稳定性，以应对风速的 急剧变化和峰值的波动，可将LSTM模型与注意力机制(Attention机制)结合。 常规LSTM-Attention模型将LSTM隐含层所有时刻的输出作为Attention层的输 入，使模型预测结果与之前t个时刻的所有输出相关联，可以有效处理多特征数 据的风速预测，但对本发明要解决的风速剧烈变化的信号预测方面存在预测结 果不稳定的问题，为了让模型做出更好的决策，以提高模型的预测稳定性，本 实施例提出了局部注意力机制+LSTM模型，在原模型的LSTM层与输出层之间 增加Attention层，其结构如图3所示。利用Attention机制将LSTM层t时刻的输出与模型最终预测结果相关联。

具体地，步骤S4中，在LSTM网络的输出层与隐藏层之间引入Attention 层之后，通过式(22)得到注意力机制矢量g_t：

式(22)中，

为softmax激活函数，W_h为权重矩阵，b_h为偏置项；

依据下式将g_t与h_t作元素乘，得到Attention层的输出

根据步骤S3中的式(21)，将

作为后续LSTM输出层的输入，并得到最终 的预测值：

五、关于合并预测结果

本实施例中，步骤S5具体是，分别将低频主成分A₁的预测结果表示为y_A1(t)、 将高频噪声成分D₁的预测结果表示为y_D1(t)，将两者进行合成，得到最终的风速 预测结果y(t)。

六、实验及分析

针对本实施例所述的基于两级分解、LSTM和AT的短期风速预测方法进行 实验及分析。

(一)实验数据集

实验使用的数据集取自马萨诸塞州楠塔基特岛南侧的楠塔基纪念机场(Nantucket Memorial Airport)风速观测站(ACK站)，2019年3月24日至5月 18日的数据。ACK站的风速数据如图6所示，风速采集时间间隔为1小时，从 中可以看出ACK站有如下特点：

1)周围表面粗糙度非常低，风速容易受到周围环境的影响。

2)该站地理位置比较特殊，四周环海，因此风速的变化剧烈，并且风速的 变化幅度也更大。这些外部条件会导致风速预测更加困难。

(二)数据预处理

原始风速数据集的数据缺失率为0.6％，通过统计分析选取缺失率最小的一 段连续的数据(2019年3月24日至5月18日)作为实验的数据集，其中少量 的缺失值直接用均值插值的方式进行填充，最终得到图7a和图7b所示的1300 条风速预测模型实验数据。其中：训练集1150小时(细虚线标注)，测试集127 小时(实线标注)。从风速信号的频谱图可知：

图7a和图7b为风速趋势图和频谱图，从趋势图中可以看出平均风速较大 且风速变化快；在频谱图中风速对应的频率段，不能观察出风速的主要频率， 并且频谱曲线变化剧烈，说明风速信号严重受噪声影响，风速信号中各个频率 的信号互相干扰。

为了准确分析风速数据的自相关性，从而确定后续预测模型的最优阶数。 可通过图8a所示的风速信号ACF图和图8b所示的PACF图进行分析。从图中 可以看出，在风速数据1-1300小时的区间内，ACF图特征是拖尾，而PACF图 特征是截尾。因此，该风速信号满足自回归(Auto Regressive，AR)模型的特性， 而从ACF图中可以看出数据在滞后23左右的时候完全进入置信区间之内，因 此预测模型的最优阶数初步确定为23。

(三)评价指标

在本次实验中使用如下表1所示的三种评估指标。其中：N为风速预测样本 总个数，y(t)为t时刻实际风速，

为t时刻风速预测值。MAE，RMSE和MASE 值越小，表示模型预测精度越高。

表1对预测结果分析的评价标准

(四)对比实验基准模型

为了验证本发明提出的WD-VMD-DLSTM-AT组合模型的预测效果，本节 采用表2中6个基准模型用于作实验对比。

表2实验对比基准模型

其中用到模型的主要参数设置如表3所示。

表3模型主要参数

(五)ACK站实验数据分析

使用ACK站的风速数据集对7种不同的预测模型进行实验和比较分析。

1、WD小波分解与重构

通过Daubechies小波对风速数据x(t)进行8层分解，并重构为低频分量A₁和 高频分量D₁。重构之后的数据如图9a和图9b所示，其中：A₁是x(t)的主成分， 但相比于x(t)更加平滑；而D₁信号幅值较小，为x(t)的噪声。图9b中的偏差信号 为x(t)-(A₁+D₁)，误差的数量级为10^-10，可以忽略不记。说明小波分解后重构的 信号可以精确复现原始风速信号x(t)，并可以保证后续预测模型的精度；如图 10b、图10c、图10d和图10e所示，图10b和10c表示低频分量A₁的预测效果， 图10的和图10e表示高频分量D₁的预测效果。

2、VMD分解

采用VMD分解算法，对小波分解重构后的A₁和D₁分别分解为24个IMFs， 使各个IMFs的中心频率在频域上均匀分布。A₁分量的VMD分解结果如图10a (图中仅给出了IMFs1，4，7，10，13，16，19，22等部分分量的分解结果)， 可以看出分解之后的IMFs在频域上分布均匀；实验表明，VMD分解可以更好 的提取风速在频域上的特征。VMD分解后进行LSTM预测的指标如表4所示， VMD-LSTM的误差指标MAE、RMSE、MASE分别是0.2524、0.3256、0.6591， 比单一LSTM和EMD-LSTM模型的误差有明显降低；如图11a、图11b、图11c、 图11d、图11e、图11f、图11g和图11h所示，其中，在图11f散点图中，VMD-LSTM 的预测数据比LSTM、EMD-LSTM的预测数据更接近于“预测值＝实际值”基 准线，说明VMD-LSTM有较高的预测精度。VMD分解明显改善了LSTM的预 测滞后问题，同时也解决了EMD分解存在的模态混叠、断点效应等问题。

表4 ACK站模型误差对比

3、WD-VMD-DLSTM模型

WD-VMD-DLSTM模型将x(t)的A₁和D₁分量合成得到最终的风速预测结果 y(t)。从图11g散点图可以看出，WD-VMD-DLSTM的预测数据比VMD-LSTM 的预测数据更接近于“预测值＝实际值”基准线，从表4的预测结果误差指标也 可以看出，WD-VMD-DLSTM的最终误差指标MAE、RMSE、MASE分别为 0.2264，0.2789，0.3423，其误差指标均比VMD-LSTM模型低。小波分解之后， A₁为主成分，但相比于x(t)更加平滑，D₁则为幅值较小的高频信号；说明WD小 波分解能有效去除低频分量A₁与高频分量D₁的相互干扰，从而使后续的预测模 型精度更高。

4、WD-VMD-DLSTM-AT模型

WD-VMD-DLSTM-AT混合模型对原LSTM网络结构进行改进，增加局部 Attention机制。从表4可以看出，WD-VMD-DLSTM-AT的误差指标MAE、 RMSE、MASE分别为0.1641，0.2019，0.2746，分别比WD-VMD-DLSTM模型 的误差指标低0.0632，0.077，0.0677；由图11c和图11d中的4种模型预测对比 图可知：当风速出现急剧变化(预测区间60-100)和风速出现极大值、极小值 时，WD-VMD-DLSTM-AT模型的预测精度均优于其他模型；从图12也可以看 出，WD-VMD-DLSTM-AT所有评价指标均为最优。说明局部注意力机制能有效 提升预测精度，并进一步提高模型的决策能力。

5、组合模型预测精度与稳定性对比分析

将VMD-LSTM、WD-VMD-DLSTM和WD-VMD-DLSTM-AT模型分别进 行20组实验，并对实验结果的误差指标系统MAE、RMSE进行对比，如图13a 和图13b所示。

从20组实验的平均误差来看：WD-VDM-DLSTM的预测误差明显优于 VMD-LSTM，而WD-VMD-DLSTM-AT的平均误差MAE＝0.17，RMSE＝0.22， 预测精度进一步提高了，同时稳定性也有所改善。因此：1)WD小波分解能有 效去除低频和高频信号之间的互相干扰；2)局部注意力机制可以有效提升模型 的预测精度和决策能力，能有效的训练出的最优预测模型，从而改善模型预测 稳定性，

6、实验结果分析

1)常规预测模型：ARMA模型能预测风速的主要趋势，在风速发生突变与 风速出现峰值时不能准确预测；而SVR与LSTM单个模型虽然能预测风速的大 致走向，但是在预测时存在预测滞后的问题，并不能准确预测下一时刻的风速。

2)信号分解对的作用：从图11b和11c中可以看出，EMD分解和VMD分 解都解决了LSTM模型预测存在的预测滞后的问题，所以信号分解能取得更好 的效果；由于EMD分解存在模态混叠、端点效应等问题，所以在风速的分解上 具有一定的局限性。而VMD解决了EMD分解存在的问题，从预测效果看，相 比EMD-LSTM，VMD-LSTM的预测精度更高。

3)WD+VMD的作用：从表4可以看出，模型对VMD分解之后的低频分 量预测效果优于模型对原始信号的预测，所以小波去噪明显降低了预测的误差， 提高了预测的精度；说明小波去噪能精确分离风速的低频分量与高频分量，消 除了低频和高频分量的互相干扰。

4)注意力机制对预测性能的改善：从实验数据上来看注意力机制能进一步 提高风速的预测精度，主要改善在三方面：1)提升模型在风速急剧变化时的决 策能力；2)能够更加准确的预测风速发生突变出现峰值与低谷的情况；3)提 升了模型预测的稳定性。

5)综上，本文所提出的WD-VMD-DLSTM-AT组合模型的方法：1)能够 解决LSTM模型存在的预测滞后的问题；2)通过利用小波去噪解决了风速低频 信号与高频信号的互相干扰；3)整合注意力机制提升了模型在风速发生突变与 风速急剧变化时的决策能力，并且提升了模型预测的稳定性。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上 述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (6)

1.一种基于两级分解、LSTM和AT的短期风速预测方法，其特征在于，包括步骤如下：

S1、通过WD小波算法对原始风速作一级分解，并重构为低频主成分A₁和高频噪声成分D₁；

S2、通过VMD算法作二级分解，分别将低频主成分A₁和高频噪声成分D₁分解为一系列模态分量；

S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态分量两个数据集分别进行训练；

S4、在LSTM网络的输出层与隐藏层之间引入Attention层；

S5、将低频主成分和高频噪声成分的预测结果进行合成，得到最终的风速预测结果。

2.根据权利要求1所述的短期风速预测方法，其特征在于，所述步骤S1包括如下：

S11、对原始风速数据作一级分解，得到低频系数和高频系数，具体如下：

采用Daubechies作为小波基函数，对时间间隔一致的时序风速数据进行离散小波变换，即DWT，定义DWT小波函数簇如下：

式(1)中，ψ_j,k(t)为ψ(t)经过缩放和平移变化而来，s₀＞1是固定的缩放因子，τ₀是平移因子，j为尺度离散化值，k为位置离散化值，Z为整数集合，这样DWT可由式(2)定义，其中*为复合共轭；

若小波函数簇ψ_j,k(t)形成正交基，需要对DWT变换求逆；最后x(t)的离散小波分解如式(3)所示：

式(3)中，c_ψ为母小波函数，W_x(j,k)为离散小波变换的函数定义；

至此，Daubecies小波将原始风速数据分解为低频系数cA_n和高频系数cD_m(m＝1,2,...,n)，n为实验指定的小波分解层数；

S12、对分解后的低频系数和高频系数进行重构，得到低频主成分A₁和高频噪声成分D₁，具体如下：

先分别将低频系数cA_n通过低通滤波器重构为第n层的低频主成分A_n，将高频系数cD_m通过高频滤波器重构为第m层的高频噪声成分D_m，其中m＝1,2,3,...,n；

然后通过式(4)求解低频主成分A₁如下：

最后通过式(5)求解高频噪声成分如下，其中H为高频滤波器：

D₁＝H(cD₁) (5)。

3.根据权利要求1所述的短期风速预测方法，其特征在于，所述步骤S2具体包括如下：

设{x(t)}为风速信号，δ(t)为狄拉克分布函数，μ_K为第K个分解的本征模态函数IMFs，ω_K为μ_K的中心频率，e为自然常数，取值为2.718的无限循环小数，J为虚数单位；VMD算法分别对低频主成分和高频噪声成分进行分解的主要步骤如下：

S21、利用Hilbert变换对风速数据计算每个IMFs，并将其转换为基频带：

S22、根据L²范数求解各个模态的带宽，将VMD分解的过程转化为约束变分问题，其中约束条件是

表示梯度运算：

S23、引入惩罚因子α和拉格朗日乘子λ，将约束变分问题转换成非约束变分问题：

S24、采用交替方向乘子算法交替更新IMFs、ω_K和λ，求解该非约束性问题，其更新算法如下：

式(9)-(11)中，i与K的含义相同，i为VMD分解的第i个模态分量；n为迭代次数；ω为中心频率；τ为更新参数；

分别为x(t)、μ_K(t)、μ_i(t)、

λ(t)的傅里叶变换；

S25、重复步骤S24，直到满足如下限制条件，即把信号分解为了K个IMFs：

4.根据权利要求1所述的短期风速预测方法，其特征在于，步骤S3中，LSTM网络架构的内部包括三个门结构和一个用于存储记忆的状态模块；

设C_t为本LSTM单元存储的状态信息，x_t为输入层的输入，h_t为本单元隐含层的输出，f_t为遗忘门，i_t为输入门，

为当前时刻信息，o_t为输出门，“×”表示矩阵元素相乘，“+”表示相加运算；

遗忘门：用于控制上一单元状态C_t-1被遗忘的程度，其表达式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (13)

输入门：用于控制哪些信息被加入到本单元中，其表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i) (14)

单元存储的状态信息：用于根据f_t将新信息有选择的记录到C_t中，其表达式如下：

输出门：用于将C_t激活，并控制C_t被过滤的程度，其表达式如下：

o_t＝σ(W_o*[h_t-1,x_t]+b_o) (17)

h_t＝o_t*tanh(C_t) (18)

式(13)-(18)中，W_f、W_i、

W_o分别为f_t、i_t、

o_t对应的权重矩阵，b_f、b_i、

b_o分别为f_t、i_t、

o_t对应的偏置项，σ为sigmoid激活函数，tanh为双曲正切激活函数，定义如下：

σ(x)＝1/(1+e^-x) (19)

tanh(x)＝(e^x-e^-x)/(e^x+e^-x) (20)

传统的LSTM网络结构包括输入层、LSTM层和输出层，输入层处理之前t个时刻的原始风速数据，模型阶数t根据风速数据的自相关来确定；LSTM层利用t个LSTM单元进行模型学习并得到输出h_t；输出层则依据下式将h_t经过一个全连接层得到最终预测值y_t：

y_t＝σ(W_y*h_t+b_y) (21)

式(21)中，W_y、b_y分别为权重矩阵和偏置项。

5.根据权利要求4所述的短期风速预测方法，其特征在于，步骤S4中，在LSTM网络的输出层与隐藏层之间引入Attention层之后，通过式(22)得到注意力机制矢量g_t：

式(22)中，

为softmax激活函数，W_h为权重矩阵，b_h为偏置项；

依据下式将g_t与h_t作元素乘，得到Attention层的输出

根据步骤S3中的式(21)，将

作为后续LSTM输出层的输入，并得到最终的预测值：

6.根据权利要求5所述的短期风速预测方法，其特征在于，步骤S5中，分别将低频主成分的预测结果表示为y_A1(t)、将高频噪声成分的预测结果表示为y_D1(t)，将两者进行合成，得到最终的风速预测结果y(t)。

Images