CN111950759A - 一种基于两级分解、lstm和at的短期风速预测方法 - Google Patents
一种基于两级分解、lstm和at的短期风速预测方法 Download PDFInfo
- Publication number
- CN111950759A CN111950759A CN202010420340.5A CN202010420340A CN111950759A CN 111950759 A CN111950759 A CN 111950759A CN 202010420340 A CN202010420340 A CN 202010420340A CN 111950759 A CN111950759 A CN 111950759A
- Authority
- CN
- China
- Prior art keywords
- wind speed
- frequency
- lstm
- decomposition
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000354 decomposition reaction Methods 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 37
- 230000007246 mechanism Effects 0.000 claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims abstract description 6
- 230000006870 function Effects 0.000 claims description 33
- 239000011159 matrix material Substances 0.000 claims description 12
- 230000004913 activation Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000013519 translation Methods 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 5
- 101100161752 Mus musculus Acot11 gene Proteins 0.000 claims description 3
- 238000005315 distribution function Methods 0.000 claims description 3
- 238000002156 mixing Methods 0.000 claims description 3
- 239000011541 reaction mixture Substances 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 15
- 238000002474 experimental method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 10
- 238000004458 analytical method Methods 0.000 description 8
- 230000001276 controlling effect Effects 0.000 description 6
- 241001123248 Arma Species 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 4
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 238000007619 statistical method Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 238000004880 explosion Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241001602876 Nata Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P5/00—Measuring speed of fluids, e.g. of air stream; Measuring speed of bodies relative to fluids, e.g. of ship, of aircraft
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/06—Energy or water supply
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Economics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Human Resources & Organizations (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- Development Economics (AREA)
- Public Health (AREA)
- Aviation & Aerospace Engineering (AREA)
- Primary Health Care (AREA)
- Water Supply & Treatment (AREA)
- Game Theory and Decision Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Control Of Eletrric Generators (AREA)
Abstract
本发明公开了一种基于两级分解、LSTM和AT的短期风速预测方法,包括:S1、通过WD小波算法对原始风速作一级分解,并重构为低频主成分A1和高频噪声成分D1;S2、通过VMD算法作二级分解,分别将A1和D1分解为一系列模态分量;S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态分量两个数据集分别进行训练;S4、在LSTM网络的输出层与隐藏层之间引入Attention层;S5、将低频主成分和高频噪声成分的预测结果进行合成,得到最终风速预测结果。本发明利用小波分解去解决了风速低频信号与高频信号的互相干扰;通过VMD分解充分提取信号频域特征,解决传统LSTM模型存在的预测滞后问题;Attention机制提升了风速发生突变与风速急剧变化时的决策能力,提升模型预测的稳定性。
Description
技术领域
本发明涉及风速预测技术领域,具体涉及一种基于两级分解、LSTM和AT 的短期风速预测方法。
背景技术
风能作为可再生能源,在现实生活中运用非常广泛。在实际中,风速的预 测在风能的转化起着至关重要的作用,所以对风速预测的精度要求很高。在过 去的几十年中,大量的方法被人们用于风速的预测,总体上来看这些方法大致 可以分为两类:物理模型方法和统计分析方法。物理模型方法是使用环境中众 多物理因素来预测风速,其中数值天气预报是最常见的一种,物理模型方法需 要大量的不同的数据来预测风速,并且在预测过程需要花费大量时间进行计算。 而统计分析方法则是通过分析风速的历史数据来预测未来数据,该类方法通常 可以被分为三类:时间序列模型、机器学习方法和混合模型。时间序列模型包 括自回归模型、移动平均模型、自回归移动平均模型、自回归整合移动平均模 型。时间序列模型在线性的、平稳的时间序列预测中具有较好的预测效果,但 是在非线性和非平稳的时间序列中就很难达到预期的目标。为了提高预测非线 性和非平稳的风速数据的效果,一些机器学习方法BP神经网络,支持向量回归 被用于风速的预测,并且在预测效果上有很大提升。此外,一些组合模型也被 提出,以此来获得比单一方法具有更好的预测效果。
综上所述,传统的单模型AR模型在非线性、非平稳数据的预测上很难达到 预期的效果,而单一SVR模型、LSTM模型在一些风速数据预测上存在预测滞 后等问题,ARMA-ANN模型未考虑风速在频域上的特征与不同频率之间相互影 响,基于EMD分解和VMD分解的组合模型则未充分考虑风速不同频率信号之 间的相互影响。
发明内容
本发明为了克服以上技术的不足,提供了一种基于两级分解、LSTM和AT 的短期风速预测方法。
术语解释:
WD:Daubechies小波分解。
VMD:变分模态分解,VMD分解是Konstantin Dragomiretskiy和Dominique Zosso在2014年提出的自适应、准正交、完全非递归的变分模式分解模型;该 模型基于Hilbert变换和Wiener滤波,将信号分解为频谱域中具有限制带宽的一 系列本征模态函数(Intrinsic mode functions,IMFs)。
LSTM:长短时记忆网络,是由Sepp Hochreiter提出的用于解决时间反向传 播(Back-Propagation Through Time,BPTT)存在的梯度消失和梯度爆炸问题。
AT:Attention机制,即在LSTM网络模型的LSTM层与输出层之间增加 Attention层。
本发明克服其技术问题所采用的技术方案是:
一种基于两级分解、LSTM和AT的短期风速预测方法,包括步骤如下:
S1、通过WD小波算法对原始风速作一级分解,并重构为低频主成分A1和 高频噪声成分D1;
S2、通过VMD算法作二级分解,分别将低频主成分A1和高频噪声成分D1分 解为一系列模态分量;
S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态 分量两个数据集分别进行训练;
S4、在LSTM网络的输出层与隐藏层之间引入Attention层;
S5、将低频主成分和高频噪声成分的预测结果进行合成,得到最终的风速 预测结果。
进一步地,所述步骤S1包括如下:
S11、对原始风速数据进行分解,得到低频系数和高频系数,具体如下:
采用Daubechies作为小波基函数,对时间间隔一致的时序风速数据进行离 散小波变换,即DWT,定义DWT小波函数簇如下:
式(1)中,ψj,k(t)为ψ(t)经过缩放和平移变化而来,s0>1是固定的缩放因子, τ0是平移因子,j为尺度离散化值,k为位置离散化值,Z为整数集合。这样DWT 可由式(2)定义,其中*为复合共轭;
若小波函数簇ψj,k(t)形成正交基,需要对DWT变换求逆;最后x(t)的离散 小波分解如式(3)所示:
式(3)中,cψ为母小波函数,Wx(j,k)为离散小波变换的函数定义;
至此,Daubecies小波将原始风速数据分解为低频系数cAn和高频系数 cDm(m=1,2,...,n),n为实验指定的小波分解层数;
S12、对分解后的低频系数和高频系数进行重构,得到低频主成分和高频噪 声成分,具体如下:
先分别将低频系数cAn通过低通滤波器重构为第n层的低频主成分An,将高 频系数cDm通过高频滤波器重构为第m层的高频噪声成分Dm,其中m=1,2,3,...,n;
然后通过式(4)求解低频主成分A1如下:
最后通过式(5)求解高频噪声成分如下,其中H为高频滤波器:
D1=H(cD1) (5)。
进一步地,所述步骤S2具体包括如下:
设{x(t)}为风速信号,δ(t)为狄拉克分布函数,μK为第K个分解的本征模态 函数IMFs,ωK为μK的中心频率,e为自然常数,取值为2.718的无限循环小数, J为虚数单位;VMD算法分别对低频主成分和高频噪声成分进行分解的主要步 骤如下:
S21、利用Hilbert变换对风速数据计算每个IMFs,并将其转换为基频带:
S23、引入惩罚因子α和拉格朗日乘子λ,将约束变分问题转换成非约束变 分问题:
S24、采用交替方向乘子算法交替更新IMFs、ωK和λ,求解该非约束性问 题,其更新算法如下:
S25、重复步骤S24,直到满足如下限制条件,即把信号分解为了K个IMFs:
进一步地,步骤S3中,所述LSTM网络架构的内部包括三个门结构和一个 用于存储记忆的状态模块;
遗忘门:用于控制上一单元状态Ct-1被遗忘的程度,其表达式如下:
ft=σ(Wf*[ht-1,xt]+bf) (13)
输入门:用于控制哪些信息被加入到本单元中,其表达式如下:
it=σ(Wi*[ht-1,xt]+bi) (14)
单元存储的状态信息:用于根据ft将新信息有选择的记录到Ct中,其表达 式如下:
输出门:用于将Ct激活,并控制Ct被过滤的程度,其表达式如下:
ot=σ(Wo*[ht-1,xt]+bo) (17)
ht=ot*tanh(Ct) (18)
σ(x)=1/(1+e-x) (19)
tanh(x)=(ex-e-x)/(ex+e-x) (20)
传统的LSTM网络结构包括输入层、LSTM层和输出层,输入层处理之前t 个时刻的原始风速数据,模型阶数t根据风速数据的自相关来确定;LSTM层利 用t个LSTM单元进行模型学习并得到输出ht;输出层则依据下式将ht经过一个 全连接层得到最终预测值yt:
yt=σ(Wy*ht+by) (21)
式(21)中,Wy、by分别为权重矩阵和偏置项。
进一步地,步骤S4中,在LSTM网络的输出层与隐藏层之间引入Attention 层之后,通过式(22)得到注意力机制矢量gt:
进一步地,步骤S5中,分别将低频主成分的预测结果表示为yA1(t)、将高频 噪声成分的预测结果表示为yD1(t),将两者进行合成,得到最终的风速预测结果 y(t)。
本发明的有益效果是:
本发明提出了一种基于两级分解、LSTM和AT的短期风速预测方法:1) WD用于将原始风速信号作一级分解,并重构为低频分量和高频分量,消除主成 分信号与噪声信号的耦合关系,解决了风速在频域上存在的一定干扰;2)VMD 用于将重构的低频分量和高频分量作二级分解,分解为一定个数的本征模态分 量,有利于提取风速在频域上的特征;3)LSTM可以将信号的频域与时域信息 进行组合学习,更好的学习风速在时域和频域上的特征;4)局部Attention机 制则使LSTM的训练更加稳定,进一步的提高模型的预测精度与决策能力。为 了验证本发明的方法在短期风速预测上的效果,引入了ARMA、SVR、LSTM、 EMD-LSTM、VMD-LSTM和WD-VMD-LSTM六个参考模型,并对ACK站点 的风速序列数据集进行了模型预测对比实验。实验通过递进的对比方法,使对 比结果更具可比性,比较结果更加客观。综合上述实验对比结果表明,本发明 所述的基于两级分解、LSTM和AT的短期风速组合模型的预测精度为最优,并 可显著增强模型预测的稳定性。因此,WD-VMD-DLSTM-AT组合模型在各种情况下的短期风速预测都具有优良的预测效果。本研究工作也可以为利用深度学 习探索时间序列的预测分析方面提供一个有益的研究思路。
附图说明
图1为一个LSTM单元的内部结构示意图。
图2为传统LSTM网络模型的内部结构示意图。
图3为加入Attention层的LSTM网络模型的内部结构示意图。
图4为Daubechies小波分解与重构的结构示意图。
图5为基于两级分解、LSTM和AT的短期风速预测方法的流程示意图。
图6为ACK站的风速数据曲线图。
图7a为ACK站的风速趋势图。
图7b为ACK站的实际风速频谱图。
图8a为ACK站的风速信号的ACF图。
图8b为ACK站的风速信号的PACF图。
图9a为ACK站的小波分解重构后的幅值图。
图9b为ACK站的小波分解重构后的偏差信号图。
图10a为ACK站的A1分量的VMD分解结果图。
图10b为ACK站的A1分量的预测值与原始值的曲线对比图。
图10c为ACK站的A1分量的预测值与实际值的散点对比图。
图10d为ACK站的D1分量的预测值与原始值的曲线对比图。
图10e为ACK站的D1分量的预测值与实际值的散点对比图。
图11a为ACK站的模型ARMA和SVR的风速预测比对图。
图11b为ACK站的模型LSTM和EMD-LSTM的风速预测比对图。
图11c为ACK站的模型EMD-LSTM和VMD-LSTM的风速预测比对图。
图11d为ACK站的模型WD-VMD-DLSTM和WD-VMD-DLSTM-AT的风 速预测比对图。
图11e为ACK站的模型SVR、LSTM、ARMA的散点图。
图11f为ACK站的模型LSTM、EMD-LSTM、VMD-LSTM的散点图。
图11g为ACK站的模型VMD-LSTM和WD-VMD-DLSTM的散点图。
图11h为ACK站的模型WD-VMD-DLSTM和WD-VMD-DLSTM-AT的散 点图。
图12为ACK站的模型ARMA、SVR、LSTM、EMD-LSTM、VMD-LSTM、 WD-VMD-DLSTM和WD-VMD-DLSTM-AT的误差对比图。
图13a为模型VMD-LSTM、WD-VMD-DLSTM和WD-VMD-DLSTM-AT 的误差指标MAE的对比结果折线图。
图13b为模型VMD-LSTM、WD-VMD-DLSTM和WD-VMD-DLSTM-AT 的误差指标RMSE的对比结果折线图。
具体实施方式
为了便于本领域人员更好的理解本发明,下面结合附图和具体实施例对本 发明做进一步详细说明,下述仅是示例性的不限定本发明的保护范围。
如图1所示,本实施例提出的一种基于两级分解、LSTM和AT的短期风速 预测方法,其特征在于,包括步骤如下:
S1、通过WD小波算法对原始风速作一级分解,并重构为低频主成分A1和 高频噪声成分D1;
S2、通过VMD算法作二级分解,分别将低频主成分A1和高频噪声成分D1分 解为一系列模态分量;
S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态 分量两个数据集分别进行训练;
S4、在LSTM网络的输出层与隐藏层之间引入Attention层。
S5、将低频主成分和高频噪声成分的预测结果进行合成,得到最终的风速 预测结果。
一、关于WD小波算法的分解与重构
小波变换可采用一系列小波基函数来表示原始信号,其小波母函数和生成 的所有子小波函数能在空间中进行局部定位。由于风速信号在时间和频率多个 尺度上相关联,因此采用小波变换能较好的解析此类数据。
本实施例中,所述步骤S1包括两部分:对原始风速数据作一级分解,得到 低频系数和高频系数;由于DWT后的小波系数不具有实际信号的特征,故需要 对其进行重构,也就是对分解后的低频系数和高频系数进行重构,得到低频主 成分和高频噪声成分。具体如下:
S11、对原始风速数据进行分解,得到低频系数和高频系数,具体如下:
采用Daubechies作为小波基函数,对时间间隔一致的时序风速数据进行离 散小波变换(Discrete Wavelet Transform),简称为DWT,定义DWT小波函数簇 如下:
式(1)中,ψj,k(t)为ψ(t)经过缩放和平移变化而来,s0>1是固定的缩放因子, τ0是平移因子,j为尺度离散化值,k为位置离散化值,Z为整数集合。这样DWT 可由式(2)定义,其中*为复合共轭;
若小波函数簇ψj,k(t)形成正交基,需要对DWT变换求逆,若小波函数簇 ψj,k(t)未形成正交基,则不需要对DWT变换求逆;最后x(t)的离散小波分解如 式(3)所示:
式(3)中,cψ为母小波函数,Wx(j,k)为离散小波变换的函数定义;
至此,Daubecies小波将原始风速数据分解为低频系数cAn和高频系数 cDm(m=1,2,...,n),n为实验指定的小波分解层数。
S12、对分解后的低频系数和高频系数进行重构,得到低频主成分和高频噪 声成分,具体如下:
先分别将低频系数cAn通过低通滤波器重构为第n层的低频主成分An,将高 频系数cDm通过高频滤波器重构为第m层的高频噪声成分Dm,其中m=1,2,3,...,n;
然后通过式(4)求解低频主成分A1如下:
最后通过式(5)求解高频噪声成分如下,其中H为高频滤波器:
D1=H(cD1) (5)。
二、关于VMD变分模态分解
VMD分解是Konstantin Dragomiretskiy和Dominique Zosso在2014年提出 的自适应、准正交、完全非递归的变分模式分解模型;该模型基于Hilbert变换 和Wiener滤波,将信号分解为频谱域中具有限制带宽的一系列本征模态函数 (Intrinsic modefunctions,IMFs)。
本实施例,所述步骤S2具体包括如下:
设{x(t)}为风速信号,δ(t)为狄拉克分布函数,μK为第K个分解的本征模态 函数IMFs,ωK为μK的中心频率,e为自然常数,取值为2.718的无限循环小数, J为虚数单位。VMD算法分别对低频主成分和高频噪声成分进行分解的主要步 骤如下:
S21、利用Hilbert变换对风速数据计算每个IMFs,并将其转换为基频带:
S23、引入惩罚因子α和拉格朗日乘子λ,将约束变分问题转换成非约束变 分问题:
S24、采用交替方向乘子算法交替更新IMFs、ωK和λ,求解该非约束性问 题,其更新算法如下:
S25、重复步骤S24,直到满足如下限制条件,即把信号分解为了K个IMFs:
在VMD分解的过程中,前两步S21和S22主要是为了构造变分问题,后 三步S23-S25主要是来求解这个变分问题。其中,惩罚因子α与分解层数K是 直接影响分解结果的因素:1)α影响分解精度,取值过低会降低精度,取值过 高则会增加程序负载;2)K值设置的不同将会影响VMD分解的各个IMFs在频 率上的分布,最终会影响模型在频域特征上的提取,直接影响风速的预测结果; 相比之下确定最优分解层数K对后续风速预测模型更有意义。
三、关于LSTM网络模型
LSTM:长短时记忆网络,是由Sepp Hochreiter提出的用于解决时间反向传 播(Back-Propagation Through Time,BPTT)存在的梯度消失和梯度爆炸问题。随 着模型不断改善,逐渐演变成被广泛使用的LSTM网络架构。
本实施例中,步骤S3中,所述LSTM网络架构的内部包括三个门结构和一 个用于存储记忆的状态模块,一个LSTM单元的内部结构如图2所示。
Ct具有存储信息的功能,通过ft、it和ot可以控制信息的输入与输出,达到 保留原始数据重要特征的目的;通过各个模块的相互作用,可解决数据存在的 长期依赖问题。
遗忘门:用于控制上一单元状态Ct-1被遗忘的程度,其表达式如下:
ft=σ(Wf*[ht-1,xt]+bf) (13)
输入门:用于控制哪些信息被加入到本单元中,其表达式如下:
it=σ(Wi*[ht-1,xt]+bi) (14)
单元存储的状态信息:用于根据ft将新信息有选择的记录到Ct中,其表达 式如下:
输出门:用于将Ct激活,并控制Ct被过滤的程度,其表达式如下:
ot=σ(Wo*[ht-1,xt]+bo) (17)
ht=ot*tanh(Ct) (18)
σ(x)=1/(1+e-x) (19)
tanh(x)=(ex-e-x)/(ex+e-x) (20)
传统的LSTM网络结构,包括输入层、LSTM层和输出层,输入层处理之 前t个时刻的原始风速数据,模型阶数t根据风速数据的自相关来确定;LSTM 层利用t个LSTM单元进行模型学习并得到输出ht;输出层则依据下式将ht经过 一个全连接层得到最终预测值yt:
yt=σ(Wy*ht+by) (21)
式(21)中,Wy、by分别为权重矩阵和偏置项。
四、关于加入Attention层的LSTM网络模型
为了提高风速预测精度,并增强LSTM网络模型的稳定性,以应对风速的 急剧变化和峰值的波动,可将LSTM模型与注意力机制(Attention机制)结合。 常规LSTM-Attention模型将LSTM隐含层所有时刻的输出作为Attention层的输 入,使模型预测结果与之前t个时刻的所有输出相关联,可以有效处理多特征数 据的风速预测,但对本发明要解决的风速剧烈变化的信号预测方面存在预测结 果不稳定的问题,为了让模型做出更好的决策,以提高模型的预测稳定性,本 实施例提出了局部注意力机制+LSTM模型,在原模型的LSTM层与输出层之间 增加Attention层,其结构如图3所示。利用Attention机制将LSTM层t时刻的输出与模型最终预测结果相关联。
具体地,步骤S4中,在LSTM网络的输出层与隐藏层之间引入Attention 层之后,通过式(22)得到注意力机制矢量gt:
五、关于合并预测结果
本实施例中,步骤S5具体是,分别将低频主成分A1的预测结果表示为yA1(t)、 将高频噪声成分D1的预测结果表示为yD1(t),将两者进行合成,得到最终的风速 预测结果y(t)。
六、实验及分析
针对本实施例所述的基于两级分解、LSTM和AT的短期风速预测方法进行 实验及分析。
(一)实验数据集
实验使用的数据集取自马萨诸塞州楠塔基特岛南侧的楠塔基纪念机场(Nantucket Memorial Airport)风速观测站(ACK站),2019年3月24日至5月 18日的数据。ACK站的风速数据如图6所示,风速采集时间间隔为1小时,从 中可以看出ACK站有如下特点:
1)周围表面粗糙度非常低,风速容易受到周围环境的影响。
2)该站地理位置比较特殊,四周环海,因此风速的变化剧烈,并且风速的 变化幅度也更大。这些外部条件会导致风速预测更加困难。
(二)数据预处理
原始风速数据集的数据缺失率为0.6%,通过统计分析选取缺失率最小的一 段连续的数据(2019年3月24日至5月18日)作为实验的数据集,其中少量 的缺失值直接用均值插值的方式进行填充,最终得到图7a和图7b所示的1300 条风速预测模型实验数据。其中:训练集1150小时(细虚线标注),测试集127 小时(实线标注)。从风速信号的频谱图可知:
图7a和图7b为风速趋势图和频谱图,从趋势图中可以看出平均风速较大 且风速变化快;在频谱图中风速对应的频率段,不能观察出风速的主要频率, 并且频谱曲线变化剧烈,说明风速信号严重受噪声影响,风速信号中各个频率 的信号互相干扰。
为了准确分析风速数据的自相关性,从而确定后续预测模型的最优阶数。 可通过图8a所示的风速信号ACF图和图8b所示的PACF图进行分析。从图中 可以看出,在风速数据1-1300小时的区间内,ACF图特征是拖尾,而PACF图 特征是截尾。因此,该风速信号满足自回归(Auto Regressive,AR)模型的特性, 而从ACF图中可以看出数据在滞后23左右的时候完全进入置信区间之内,因 此预测模型的最优阶数初步确定为23。
(三)评价指标
表1对预测结果分析的评价标准
(四)对比实验基准模型
为了验证本发明提出的WD-VMD-DLSTM-AT组合模型的预测效果,本节 采用表2中6个基准模型用于作实验对比。
表2实验对比基准模型
其中用到模型的主要参数设置如表3所示。
表3模型主要参数
(五)ACK站实验数据分析
使用ACK站的风速数据集对7种不同的预测模型进行实验和比较分析。
1、WD小波分解与重构
通过Daubechies小波对风速数据x(t)进行8层分解,并重构为低频分量A1和 高频分量D1。重构之后的数据如图9a和图9b所示,其中:A1是x(t)的主成分, 但相比于x(t)更加平滑;而D1信号幅值较小,为x(t)的噪声。图9b中的偏差信号 为x(t)-(A1+D1),误差的数量级为10-10,可以忽略不记。说明小波分解后重构的 信号可以精确复现原始风速信号x(t),并可以保证后续预测模型的精度;如图 10b、图10c、图10d和图10e所示,图10b和10c表示低频分量A1的预测效果, 图10的和图10e表示高频分量D1的预测效果。
2、VMD分解
采用VMD分解算法,对小波分解重构后的A1和D1分别分解为24个IMFs, 使各个IMFs的中心频率在频域上均匀分布。A1分量的VMD分解结果如图10a (图中仅给出了IMFs1,4,7,10,13,16,19,22等部分分量的分解结果), 可以看出分解之后的IMFs在频域上分布均匀;实验表明,VMD分解可以更好 的提取风速在频域上的特征。VMD分解后进行LSTM预测的指标如表4所示, VMD-LSTM的误差指标MAE、RMSE、MASE分别是0.2524、0.3256、0.6591, 比单一LSTM和EMD-LSTM模型的误差有明显降低;如图11a、图11b、图11c、 图11d、图11e、图11f、图11g和图11h所示,其中,在图11f散点图中,VMD-LSTM 的预测数据比LSTM、EMD-LSTM的预测数据更接近于“预测值=实际值”基 准线,说明VMD-LSTM有较高的预测精度。VMD分解明显改善了LSTM的预 测滞后问题,同时也解决了EMD分解存在的模态混叠、断点效应等问题。
表4 ACK站模型误差对比
3、WD-VMD-DLSTM模型
WD-VMD-DLSTM模型将x(t)的A1和D1分量合成得到最终的风速预测结果 y(t)。从图11g散点图可以看出,WD-VMD-DLSTM的预测数据比VMD-LSTM 的预测数据更接近于“预测值=实际值”基准线,从表4的预测结果误差指标也 可以看出,WD-VMD-DLSTM的最终误差指标MAE、RMSE、MASE分别为 0.2264,0.2789,0.3423,其误差指标均比VMD-LSTM模型低。小波分解之后, A1为主成分,但相比于x(t)更加平滑,D1则为幅值较小的高频信号;说明WD小 波分解能有效去除低频分量A1与高频分量D1的相互干扰,从而使后续的预测模 型精度更高。
4、WD-VMD-DLSTM-AT模型
WD-VMD-DLSTM-AT混合模型对原LSTM网络结构进行改进,增加局部 Attention机制。从表4可以看出,WD-VMD-DLSTM-AT的误差指标MAE、 RMSE、MASE分别为0.1641,0.2019,0.2746,分别比WD-VMD-DLSTM模型 的误差指标低0.0632,0.077,0.0677;由图11c和图11d中的4种模型预测对比 图可知:当风速出现急剧变化(预测区间60-100)和风速出现极大值、极小值 时,WD-VMD-DLSTM-AT模型的预测精度均优于其他模型;从图12也可以看 出,WD-VMD-DLSTM-AT所有评价指标均为最优。说明局部注意力机制能有效 提升预测精度,并进一步提高模型的决策能力。
5、组合模型预测精度与稳定性对比分析
将VMD-LSTM、WD-VMD-DLSTM和WD-VMD-DLSTM-AT模型分别进 行20组实验,并对实验结果的误差指标系统MAE、RMSE进行对比,如图13a 和图13b所示。
从20组实验的平均误差来看:WD-VDM-DLSTM的预测误差明显优于 VMD-LSTM,而WD-VMD-DLSTM-AT的平均误差MAE=0.17,RMSE=0.22, 预测精度进一步提高了,同时稳定性也有所改善。因此:1)WD小波分解能有 效去除低频和高频信号之间的互相干扰;2)局部注意力机制可以有效提升模型 的预测精度和决策能力,能有效的训练出的最优预测模型,从而改善模型预测 稳定性,
6、实验结果分析
1)常规预测模型:ARMA模型能预测风速的主要趋势,在风速发生突变与 风速出现峰值时不能准确预测;而SVR与LSTM单个模型虽然能预测风速的大 致走向,但是在预测时存在预测滞后的问题,并不能准确预测下一时刻的风速。
2)信号分解对的作用:从图11b和11c中可以看出,EMD分解和VMD分 解都解决了LSTM模型预测存在的预测滞后的问题,所以信号分解能取得更好 的效果;由于EMD分解存在模态混叠、端点效应等问题,所以在风速的分解上 具有一定的局限性。而VMD解决了EMD分解存在的问题,从预测效果看,相 比EMD-LSTM,VMD-LSTM的预测精度更高。
3)WD+VMD的作用:从表4可以看出,模型对VMD分解之后的低频分 量预测效果优于模型对原始信号的预测,所以小波去噪明显降低了预测的误差, 提高了预测的精度;说明小波去噪能精确分离风速的低频分量与高频分量,消 除了低频和高频分量的互相干扰。
4)注意力机制对预测性能的改善:从实验数据上来看注意力机制能进一步 提高风速的预测精度,主要改善在三方面:1)提升模型在风速急剧变化时的决 策能力;2)能够更加准确的预测风速发生突变出现峰值与低谷的情况;3)提 升了模型预测的稳定性。
5)综上,本文所提出的WD-VMD-DLSTM-AT组合模型的方法:1)能够 解决LSTM模型存在的预测滞后的问题;2)通过利用小波去噪解决了风速低频 信号与高频信号的互相干扰;3)整合注意力机制提升了模型在风速发生突变与 风速急剧变化时的决策能力,并且提升了模型预测的稳定性。
以上仅描述了本发明的基本原理和优选实施方式,本领域人员可以根据上 述描述做出许多变化和改进,这些变化和改进应该属于本发明的保护范围。
Claims (6)
1.一种基于两级分解、LSTM和AT的短期风速预测方法,其特征在于,包括步骤如下:
S1、通过WD小波算法对原始风速作一级分解,并重构为低频主成分A1和高频噪声成分D1;
S2、通过VMD算法作二级分解,分别将低频主成分A1和高频噪声成分D1分解为一系列模态分量;
S3、采用LSTM网络对分解后的低频主成分模态分量和高频噪声成分模态分量两个数据集分别进行训练;
S4、在LSTM网络的输出层与隐藏层之间引入Attention层;
S5、将低频主成分和高频噪声成分的预测结果进行合成,得到最终的风速预测结果。
2.根据权利要求1所述的短期风速预测方法,其特征在于,所述步骤S1包括如下:
S11、对原始风速数据作一级分解,得到低频系数和高频系数,具体如下:
采用Daubechies作为小波基函数,对时间间隔一致的时序风速数据进行离散小波变换,即DWT,定义DWT小波函数簇如下:
式(1)中,ψj,k(t)为ψ(t)经过缩放和平移变化而来,s0>1是固定的缩放因子,τ0是平移因子,j为尺度离散化值,k为位置离散化值,Z为整数集合,这样DWT可由式(2)定义,其中*为复合共轭;
若小波函数簇ψj,k(t)形成正交基,需要对DWT变换求逆;最后x(t)的离散小波分解如式(3)所示:
式(3)中,cψ为母小波函数,Wx(j,k)为离散小波变换的函数定义;
至此,Daubecies小波将原始风速数据分解为低频系数cAn和高频系数cDm(m=1,2,...,n),n为实验指定的小波分解层数;
S12、对分解后的低频系数和高频系数进行重构,得到低频主成分A1和高频噪声成分D1,具体如下:
先分别将低频系数cAn通过低通滤波器重构为第n层的低频主成分An,将高频系数cDm通过高频滤波器重构为第m层的高频噪声成分Dm,其中m=1,2,3,...,n;
然后通过式(4)求解低频主成分A1如下:
最后通过式(5)求解高频噪声成分如下,其中H为高频滤波器:
D1=H(cD1) (5)。
3.根据权利要求1所述的短期风速预测方法,其特征在于,所述步骤S2具体包括如下:
设{x(t)}为风速信号,δ(t)为狄拉克分布函数,μK为第K个分解的本征模态函数IMFs,ωK为μK的中心频率,e为自然常数,取值为2.718的无限循环小数,J为虚数单位;VMD算法分别对低频主成分和高频噪声成分进行分解的主要步骤如下:
S21、利用Hilbert变换对风速数据计算每个IMFs,并将其转换为基频带:
S23、引入惩罚因子α和拉格朗日乘子λ,将约束变分问题转换成非约束变分问题:
S24、采用交替方向乘子算法交替更新IMFs、ωK和λ,求解该非约束性问题,其更新算法如下:
S25、重复步骤S24,直到满足如下限制条件,即把信号分解为了K个IMFs:
4.根据权利要求1所述的短期风速预测方法,其特征在于,步骤S3中,LSTM网络架构的内部包括三个门结构和一个用于存储记忆的状态模块;
遗忘门:用于控制上一单元状态Ct-1被遗忘的程度,其表达式如下:
ft=σ(Wf*[ht-1,xt]+bf) (13)
输入门:用于控制哪些信息被加入到本单元中,其表达式如下:
it=σ(Wi*[ht-1,xt]+bi) (14)
单元存储的状态信息:用于根据ft将新信息有选择的记录到Ct中,其表达式如下:
输出门:用于将Ct激活,并控制Ct被过滤的程度,其表达式如下:
ot=σ(Wo*[ht-1,xt]+bo) (17)
ht=ot*tanh(Ct) (18)
σ(x)=1/(1+e-x) (19)
tanh(x)=(ex-e-x)/(ex+e-x) (20)
传统的LSTM网络结构包括输入层、LSTM层和输出层,输入层处理之前t个时刻的原始风速数据,模型阶数t根据风速数据的自相关来确定;LSTM层利用t个LSTM单元进行模型学习并得到输出ht;输出层则依据下式将ht经过一个全连接层得到最终预测值yt:
yt=σ(Wy*ht+by) (21)
式(21)中,Wy、by分别为权重矩阵和偏置项。
6.根据权利要求5所述的短期风速预测方法,其特征在于,步骤S5中,分别将低频主成分的预测结果表示为yA1(t)、将高频噪声成分的预测结果表示为yD1(t),将两者进行合成,得到最终的风速预测结果y(t)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010420340.5A CN111950759B (zh) | 2020-05-18 | 2020-05-18 | 一种基于两级分解、lstm和at的短期风速预测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010420340.5A CN111950759B (zh) | 2020-05-18 | 2020-05-18 | 一种基于两级分解、lstm和at的短期风速预测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111950759A true CN111950759A (zh) | 2020-11-17 |
CN111950759B CN111950759B (zh) | 2024-06-21 |
Family
ID=73337612
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010420340.5A Active CN111950759B (zh) | 2020-05-18 | 2020-05-18 | 一种基于两级分解、lstm和at的短期风速预测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111950759B (zh) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112613657A (zh) * | 2020-12-22 | 2021-04-06 | 国网江苏省电力有限公司苏州供电分公司 | 风电场短期风速预测方法 |
CN112910288A (zh) * | 2020-12-08 | 2021-06-04 | 上海交通大学 | 一种基于逆变器散热器温度预测的过温预警方法 |
CN113571136A (zh) * | 2021-06-08 | 2021-10-29 | 广州地铁设计研究院股份有限公司 | 一种多环芳烃预测方法、装置、介质及设备 |
CN114401135A (zh) * | 2022-01-14 | 2022-04-26 | 国网河北省电力有限公司电力科学研究院 | 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法 |
CN115102869A (zh) * | 2022-05-31 | 2022-09-23 | 上海云从汇临人工智能科技有限公司 | 网络流量预测方法、系统及计算机存储介质 |
CN115865129A (zh) * | 2022-12-01 | 2023-03-28 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN116016068A (zh) * | 2022-09-19 | 2023-04-25 | 西安电子科技大学 | 基于数据驱动的互频智能干预信号表示方法及系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140018497A (ko) * | 2012-08-01 | 2014-02-13 | 한국전력공사 | 단기 풍속 예측을 통한 풍력 발전량 예측 방법과, 그 기능을 이용한 배전선로 전압 예측 방법 |
CN109242212A (zh) * | 2018-10-16 | 2019-01-18 | 中国矿业大学 | 一种基于变模式分解与长短记忆网络的风电预测方法 |
CN109299430A (zh) * | 2018-09-30 | 2019-02-01 | 淮阴工学院 | 基于两阶段分解与极限学习机的短期风速预测方法 |
CN110082841A (zh) * | 2019-04-18 | 2019-08-02 | 东华大学 | 一种短期风速预测方法 |
CN110414045A (zh) * | 2019-06-18 | 2019-11-05 | 东华大学 | 基于vmd-gru的短期风速预测方法 |
CN110543929A (zh) * | 2019-08-29 | 2019-12-06 | 华北电力大学(保定) | 一种基于Lorenz系统的风速区间预测方法及系统 |
-
2020
- 2020-05-18 CN CN202010420340.5A patent/CN111950759B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140018497A (ko) * | 2012-08-01 | 2014-02-13 | 한국전력공사 | 단기 풍속 예측을 통한 풍력 발전량 예측 방법과, 그 기능을 이용한 배전선로 전압 예측 방법 |
CN109299430A (zh) * | 2018-09-30 | 2019-02-01 | 淮阴工学院 | 基于两阶段分解与极限学习机的短期风速预测方法 |
CN109242212A (zh) * | 2018-10-16 | 2019-01-18 | 中国矿业大学 | 一种基于变模式分解与长短记忆网络的风电预测方法 |
CN110082841A (zh) * | 2019-04-18 | 2019-08-02 | 东华大学 | 一种短期风速预测方法 |
CN110414045A (zh) * | 2019-06-18 | 2019-11-05 | 东华大学 | 基于vmd-gru的短期风速预测方法 |
CN110543929A (zh) * | 2019-08-29 | 2019-12-06 | 华北电力大学(保定) | 一种基于Lorenz系统的风速区间预测方法及系统 |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112910288A (zh) * | 2020-12-08 | 2021-06-04 | 上海交通大学 | 一种基于逆变器散热器温度预测的过温预警方法 |
CN112613657A (zh) * | 2020-12-22 | 2021-04-06 | 国网江苏省电力有限公司苏州供电分公司 | 风电场短期风速预测方法 |
CN113571136A (zh) * | 2021-06-08 | 2021-10-29 | 广州地铁设计研究院股份有限公司 | 一种多环芳烃预测方法、装置、介质及设备 |
CN114401135A (zh) * | 2022-01-14 | 2022-04-26 | 国网河北省电力有限公司电力科学研究院 | 基于LSTM-Attention用户和实体行为分析技术的内部威胁检测方法 |
CN115102869A (zh) * | 2022-05-31 | 2022-09-23 | 上海云从汇临人工智能科技有限公司 | 网络流量预测方法、系统及计算机存储介质 |
CN116016068A (zh) * | 2022-09-19 | 2023-04-25 | 西安电子科技大学 | 基于数据驱动的互频智能干预信号表示方法及系统 |
CN116016068B (zh) * | 2022-09-19 | 2023-08-11 | 西安电子科技大学 | 基于数据驱动的互频智能干预信号表示方法及系统 |
CN115865129A (zh) * | 2022-12-01 | 2023-03-28 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
CN115865129B (zh) * | 2022-12-01 | 2024-03-29 | 电子科技大学 | 一种基于去噪自编码器的窄带干扰智能消除方法 |
Also Published As
Publication number | Publication date |
---|---|
CN111950759B (zh) | 2024-06-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111950759A (zh) | 一种基于两级分解、lstm和at的短期风速预测方法 | |
CN109683161B (zh) | 一种基于深度admm网络的逆合成孔径雷达成像的方法 | |
Xie et al. | A hybrid adaptive time-delay neural network model for multi-step-ahead prediction of sunspot activity | |
CN109886464B (zh) | 基于优化奇异值分解生成特征集的低信息损失短期风速预测方法 | |
CN109299430A (zh) | 基于两阶段分解与极限学习机的短期风速预测方法 | |
CN109376897A (zh) | 一种基于混合算法的短期风电功率预测方法 | |
CN109242212A (zh) | 一种基于变模式分解与长短记忆网络的风电预测方法 | |
CN114549925B (zh) | 一种基于深度学习的海浪有效波高时间序列预测方法 | |
CN111275244B (zh) | 一种车速时间序列分频预测方法 | |
CN106126910A (zh) | 基于马尔科夫状态转移模型的状态转换预测方法及系统 | |
CN113642767B (zh) | 一种基于mi-vmd-da-edlstm-vec的多维特征组合预测方法 | |
CN111553513A (zh) | 一种基于二次分解与回声状态网络的中长期径流预测方法 | |
CN116933152B (zh) | 一种基于多维emd-pso-lstm神经网络的海浪信息预测方法及系统 | |
CN112434891A (zh) | 基于wcnn-alstm的太阳辐照度时间序列的预测方法 | |
CN106526565B (zh) | 一种基于支持向量机的单比特空间谱估计方法 | |
CN117114160A (zh) | 一种短期光伏功率预测方法 | |
CN116187563A (zh) | 一种融合改进变分模态分解的海表温度时空智能预测方法 | |
CN117407660B (zh) | 一种基于深度学习的区域海浪预报方法 | |
CN116665483A (zh) | 一种新的预测剩余停车位的方法 | |
CN117173883A (zh) | 一种城市交通流量预测方法及系统 | |
CN111523644A (zh) | 一种基于lsfl组合模型的中长期径流预测方法 | |
CN111598313A (zh) | 一种风功率预测方法 | |
CN113361782B (zh) | 基于改进mkpls的光伏发电功率短期滚动预测方法 | |
CN117114168A (zh) | 一种长时间尺度的海面温度智能预报方法 | |
CN113033094B (zh) | 一种海浪高度预测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |