CN115688602A - 一种融合时间特征和交叉注意力的短期风速预测方法 - Google Patents

一种融合时间特征和交叉注意力的短期风速预测方法 Download PDF

Info

Publication number
CN115688602A
CN115688602A CN202211431816.0A CN202211431816A CN115688602A CN 115688602 A CN115688602 A CN 115688602A CN 202211431816 A CN202211431816 A CN 202211431816A CN 115688602 A CN115688602 A CN 115688602A
Authority
CN
China
Prior art keywords
wind speed
time
wind direction
direction angle
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211431816.0A
Other languages
English (en)
Inventor
艾非凡
马飒飒
张磊
冯国策
张宇杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN202211431816.0A priority Critical patent/CN115688602A/zh
Publication of CN115688602A publication Critical patent/CN115688602A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明为一种融合时间特征和交叉注意力的短期风速预测方法,该预测方法包括以下内容:使用滑动窗口,对风速数据集进行样本分割,针对分割后的样本进行特征归一化处理,获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳,提取时间戳信息,并对时间戳信息进行不同时间单位的周期性编码,获得数值在[‑1,1]范围内的时间特征;对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组;构建CA‑LSTM‑TCN模型。通过加入时间编码特征,可以提升模型对风速序列周期信息的记忆和学习能力,在输入时间序列较长时,LSTM、TCN等网络仍能有效处理长期的时序信息,提高了风速预测的准确性。

Description

一种融合时间特征和交叉注意力的短期风速预测方法
技术领域
本发明涉及新能源发电技术领域与深度学习技术领域,尤其涉及一种融合时间特征和交叉注意力的短期风速预测方法。
背景技术
风具有间歇性、波动性和随机性等特点,这使得风速的准确预测具有很大的挑战。风速的预测精度和风能的开发利用程度有着直接的关系,风速预测精度越高,风能开发利用程度就越高。长期以来,许多研究人员一直致力于探索准确的风速预测模型。
传统的机器学习方法由于数据量小、结构简单和硬件要求低等特点,在序列预测中应用较多。针对风速序列的非平稳性和复杂性,以信号分析为基础的风速预测方法,在分解风速序列后,不同子序列各为独立的预测任务,忽略了任务之间的相关性。
因此,本申请提出一种预测准确性更好的短期风速预测方法。
发明内容
本发明克服现有风速预测技术的缺陷,提供一种融合时间特征和交叉注意力的短期风速预测方法,旨在更好地处理风速历史信息,更好地提取深层次融合的特征,提升风速预测精度。
本发明的技术方案如下:
第一方面,本发明提供一种融合时间特征和交叉注意力的短期风速预测方法,该预测方法包括以下内容:
使用滑动窗口,对风速数据集进行样本分割,针对分割后的样本进行特征归一化处理,获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳,提取时间戳信息,并对时间戳信息进行不同时间单位的周期性编码,获得数值在[-1,1]范围内的时间特征;
对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组,第一组为时间特征,第二组为风速序列,第三组为其他协变量特征,其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度,共三组;
构建CA-LSTM-TCN模型:包括并联的三个全连接分支,相邻的两个全连接分支的输出分别连接一个交叉注意力模块,两个交叉注意力模块的输出经平均池化处理后分别连接两个并联的LSTM网络和TCN网络,LSTM网络和TCN网络的输入特征相同,LSTM网络和TCN网络的输出特征经交叉注意力模块处理后经过展开层连接一个全连接输出层,该全连接输出层的输出即为CA-LSTM-TCN模型的输出,CA-LSTM-TCN模型的输入为三组不同的特征,三组特征分别进入一个全连接分支进行处理。
第二方面,本发明提供一种融合时间特征和交叉注意力的短期风速预测方法,该预测方法的过程是:
使用滑动窗口,对风速数据集进行样本分割,针对分割后的样本进行特征归一化处理,获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳,提取时间戳信息,并对时间戳信息进行不同时间单位的周期性编码,获得数值在[-1,1]范围内的时间特征;
对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组,第一组为时间特征,第二组为风速序列,第三组为其他协变量特征,其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度,共三组;
将分组后的三组数据分别输入三个分支的全连接网络,提取浅层特征,第一组的时间特征和第二组的风速序列分别经过第一全连接分支和第二全连接分支处理后通过第一个交叉注意力模块进行融合,同时第二组的风速序列和第三组的其他协变量特征分别经过第二全连接分支和第三全连接分支处理后通过第二个交叉注意力模块进行融合;第一个交叉注意力模块和第二个交叉注意力模块的输出结果经平均池化处理后分别输入并联的LSTM网络和TCN网络中;
LSTM网络和TCN网络的输出通过第三个交叉注意力模块(CA)进行特征融合后,将融合后的特征的最后两个维度的特征展开形成一个维度的特征,最后经一个全连接输出层获得最终的风速预测值。
所述风速数据集包含时间信息、风速、风向和环境温度四个维度,通过设置一个固定长度的滑动窗口对数据进行分割得到样本,将待预测风速值设置为标签风速,使用滑动窗口分割数据集,选取的滑动窗口大小为72+L0,其中输入数据维度为72×4,预测输出维度为L0×1,L0表示预测多少个时刻的风速值,滑动窗口的步长为1。
周期性编码的过程是:提取日期中的分钟、小时和星期几进行编码,
Figure BDA0003945287580000021
式中T1,T2和T3为编码后的时间特征值。
交叉注意力模块包括左边分支和右边分支,具体计算过程是:
Figure BDA0003945287580000022
式中,
Figure BDA0003945287580000023
是左边分支输入
Figure BDA0003945287580000024
最后一个维度的数据,
Figure BDA0003945287580000025
是右边分支的输入数据,fl(·)是线性映射函数;然后初始化三个权重矩阵Wq、Wk和Wv,其维度是C×(C/h),C表示输入特征在最后维度上的数目,由输入数据决定,而h表示注意力的个数,是交叉注意力模块中的超参数,注意力的加权过程如下:
Figure BDA0003945287580000031
Figure BDA0003945287580000032
式中A为重分布权重矩阵,然后下一步计算过程为
Figure BDA0003945287580000033
Figure BDA0003945287580000034
式中,Zl为交叉注意力模块的最终输出向量,
Figure BDA0003945287580000035
为左边分支的输入数据,具有两个维度;
三个全连接分支的状态向量经过两个交叉注意力模块后的计算过程概括为:
Z1=CA1([H1,H2]),Z2=CA2([H2,H3])
式中,Z1和Z2为交叉注意力融合后的特征向量,CA1和CA2为两个不同的交叉注意力模块。
与现有技术相比,本发明具有以下优点:
(1)本发明预测方法提取了时间戳特征,并对其进行编码,扩充了输入数据特征的维度,能提供周期性信息供模型学习,充分考虑了时间与风速的相关性。通过加入时间编码特征,可以提升模型对风速序列周期信息的记忆和学习能力,在输入时间序列较长时,LSTM、TCN等网络仍能有效处理长期的时序信息,提高了风速预测的准确性。
(2)本发明方法采用了变量分组的结构,将输入数据划分为时间特征组,风速序列组和其他协变量组。通过交叉注意力模块,分别将风速信息与时间特征和其他协变量进行融合,加强了风速序列与外界信息的关联性,考虑了时间相关和空间相关。
(3)本发明方法对融合后的特征向量,分别输入两个不同的网络模块(LSTM和TCN网络)处理,由于LSTM和TCN网络的结构不同,且采用并联形式,对特征学习的关注点也不同。通过LSTM网络、TCN网络和交叉注意力构建一种混合深度学习的CA-LSTM-TCN模型,用于风速序列预测,通过交叉注意力模块对两个网络的输出进行融合,充分挖掘数据之间的关联信息,能提升模型性能和风速预测的预测精度。
附图说明
图1为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的整体流程示意图。
图2为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的滑动窗口分割示意图。
图3为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的交叉注意力模块的结构示意图。
图4为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的LSTM网络的结构示意图。
图5为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的TCN网络的结构示意图。
图6为不同模型预测误差MAE(m/s)对比图。
图7为不同模型预测误差MAPE(%)对比图。
具体实施方式
为使本发明的技术方案更加清楚,下面结合附图对本发明做进一步阐述。
如图1-7所示,一种融合时间特征和交叉注意力的短期风速预测方法,采用了添加时间特征与交叉注意力模块来提高风速预测的精度,该预测方法包括以下内容:
首先使用滑动窗口,对风速数据集进行样本分割,其次针对分割后的样本进行特征归一化处理,获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳,提取时间戳信息,并对时间戳信息进行不同时间单位的周期性编码,获得数值在[-1,1]范围内的时间特征;
对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组,第一组为时间特征,第二组为风速序列,第三组为其他协变量特征,其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度,共三组;
构建CA-LSTM-TCN模型:包括并联的三个全连接分支,相邻的两个全连接分支的输出分别连接一个交叉注意力模块,两个交叉注意力模块的输出经平均池化处理后分别连接两个并联的LSTM网络和TCN网络,LSTM网络和TCN网络的输入特征相同,LSTM网络和TCN网络的输出特征经交叉注意力模块处理后经过展开层连接一个全连接输出层,该全连接输出层的输出即为CA-LSTM-TCN模型的输出,CA-LSTM-TCN模型的输入为三组不同的特征,第一组为时间特征,第二组为目标风速特征,第三组为其他协变量特征,三组特征分别进入一个全连接分支进行处理。
将分组后的三组数据分别输入三个分支的全连接网络,提取浅层特征,第一组的时间特征和第二组的风速序列分别经过第一全连接分支和第二全连接分支处理后通过第一个交叉注意力模块进行融合,同时第二组的风速序列和第三组的其他协变量特征分别经过第二全连接分支和第三全连接分支处理后通过第二个交叉注意力模块进行融合;第一个交叉注意力模块和第二个交叉注意力模块的输出结果经平均池化处理后分别输入并联的LSTM网络和TCN网络中;LSTM网络和TCN网络的输出通过第三个交叉注意力模块(CA)进行特征融合后,将融合后的特征的最后两个维度的特征展开形成一个维度的特征,最后经一个全连接输出层获得最终的风速预测值。
LSTM和TCN网络的输入特征相同。因为网络结构的不同,在训练过程中对输入数据学习的能力不同,得到的输出特征也就不同。通过结合两个网络学习能力的多样性,将两个网络作为并联结构,同时学习。
本发明按以下步骤具体实现:
步骤1:使用滑动窗口分割数据集;
步骤2:根据分割后的样本数据,提取时间戳信息,进行周期性编码;
步骤3:结合时间编码特征对输入变量进行分组,其中第一组为时间特征,包含三个维度;第二组为风速序列,包含一个维度;第三组为其他协变量特征,包括风向角的正弦值,风向的余弦值和环境温度,共三个维度;
步骤4:将分组后的变量输入三分支的全连接层,然后使用交叉注意力进行融合;
步骤5:融合后的特征分别输入LSTM和TCN网络进行深层特征提取,再经过注意力模块对两个网络的输出特征进行融合,最后将特征展开输入到全连接网络学习得到最终的预测风速。
在所述步骤1中,原始的风速数据集包含了时间信息、风速、风向和环境温度四个维度。通过设置一个固定长度的滑动窗口对数据进行分割得到样本,将待预测风速值设置为标签风速,使用滑动窗口分割数据集,选取的滑动窗口大小为72+L0,其中输入数据维度为72×4,预测输出维度为L0×1,L0表示预测多少个时刻的风速值,滑动窗口的步长为1,过程为图2所示。整个数据集按照7:2:1的时间序列比例划分为训练集、验证集和测试集。
在步骤2中,时间戳信息用来进行周期性编码。主要提取日期中的分钟、小时和星期几进行编码。
Figure BDA0003945287580000051
式中T1,T2和T3为编码后的时间特征值,将其限制在[-1,1]范围内。计算风向变量的正弦值和余弦值,作为风向特征,并删除原始的风向数据,避免特征信息冗余。
在步骤3中,对所有的变量进行划分,得到3组,其中第一组为时间特征,包含三个维度;第二组为风速序列,包含一个维度;第三组为其他协变量特征,包括风向角的正弦值,风向角的余弦值和环境温度,共三个维度;分别记为时间信息X1,风速信息X2和风向环境温度信息X3。其中X1包含3个特征:T1,T2和T3;X2仅包含1个特征:风速;X3包含3个特征:风向角正弦值,风向角余弦值和环境温度。
在步骤4中,将X1,X2和X3分别输入三个全连接分支进行特征映射,得到隐藏状态向量。计算过程可以表示为如下:
H1=f1(X1),H2=f2(X2),H3=f3(X3)
式中f1(·),f2(·)和f3(·)分别表示3个不同的全连接层;H1,H2和H3为其对应输出的隐藏状态向量,维度取决于全连接层的神经元个数。
交叉注意力模块的结构如图3所示,具体的计算过程如下:
Figure BDA0003945287580000061
式中
Figure BDA0003945287580000062
是左边分支输入
Figure BDA0003945287580000063
最后一个维度的数据,
Figure BDA0003945287580000064
是右边分支的输入数据,fl(·)是线性映射函数。然后初始化三个权重矩阵Wq、Wk和Wv,其维度是C×(C/h),C表示输入特征的维度,由输入数据决定,而h表示注意力的个数,是交叉注意力模块中的超参数,可以调节。注意力的加权过程如下:
Figure BDA0003945287580000065
Figure BDA0003945287580000066
式中A为重分布权重矩阵,softmax函数的具体公式为:
Figure BDA0003945287580000067
zi为变量,C为变量的数量,i=1-C的整数。然后下一步计算过程为
Figure BDA0003945287580000068
Figure BDA0003945287580000069
式中Zl为交叉注意力模块的最终输出向量,
Figure BDA00039452875800000610
为左边分支的输入数据,具有两个维度,一个维度与右分支融合。
三个全连接分支的状态向量经过两个交叉注意力模块后的计算过程可以概括为:
Z1=CA1([H1,H2]),Z2=CA2([H2,H3])
式中Z1和Z2为交叉注意力融合后的特征向量,CA1和CA2为两个不同的交叉注意力模块。
在步骤5中,将向量Z1和Z2进行相加取平均得到Za:Za=(Z1+Z2)/2;
将Za分别输入LSTM网络和TCN网络。
LSTM网络结构如图4所示。LSTM的门与激活函数的计算公式如下:
输入门:it=σ(Wi·[ht-1,xt]+bi)
Figure BDA00039452875800000611
遗忘门:ft=σ(Wf·[ht-1,xt]+bf)
输出门:ot=σ(Wo·[ht-1,xt]+bo)
神经元的状态更新:ht=ot·tanh(ct)
神经元的输出计算:
Figure BDA0003945287580000071
激活函数sigmoid:
Figure BDA0003945287580000072
激活函数tanh:
Figure BDA0003945287580000073
式中σ是激活函数Sigmoid,tanh也是激活函数,Wi和Wc是输入门权重矩阵,bi和bc是输入门偏置向量;Wf是遗忘门权重矩阵,bf是遗忘门偏置向量;Wo是输出门权重矩阵,bo是输出门偏置向量。
TCN网络(时间卷积网络)结构如图5所示。TCN的计算公式如下:
扩张因果卷积:
Figure BDA0003945287580000074
FRN规范化:
Figure BDA0003945287580000075
zi=max(yi,τ)
Swish激活函数:f(x)=x·sigmoid(βx)
Dropout函数:r=rand(·),
Figure BDA0003945287580000076
式中d表示因果卷积的采样率,k表示卷积核的尺寸大小;FRN规范化中γ,α和τ为可学习参数,由网络在训练过程中逐步调整,ε为手动设置的超参数,一般取0.01即可;Swish激活函数中β为手动设置的超参数,当β=0时,Swish激活函数变为线性函数x/2,当β=∞时,Swish激活函数变为0或x;Dropout函数中,rand表示随机函数,生成0到1的随机数,p是超参数,表示失活的概率,数值范围为0到1。
对于LSTM和TCN网络的计算过程概述为:
M1=LSTM(Za),M2=TCN(Za)
然后经过交叉注意力模块得到:
D=CA([M1,M2])
式中D为融合后的特征向量,是一个N×L×C的三维矩阵,经过展开层后将最后两个维度合并变为N×(L×C),N表示样本的数量,即滑动窗口数量,L为输入数据的长度(本实施例为72),此时C为通道数,最后经过全连接层得到最终预测输出值。
Y=D·WF+bF
式中WF为全连接层的权重矩阵,bF为全连接层的偏置向量;预测输出步长为L的输出Y=[y1,y2,…,yL]T
在网络训练过程中,使用早停机制对CA-LSTM-TCN模型的损失值进行监控,当损失值在一定次数内(如7次)不再下降时,则停止训练,否则持续训练到设定的迭代次数完成为止。在网络训练前,需要指定训练的超参数,如学习率、批次大小、损失函数等。在本方法中,损失函数常用的回归损失均方误差函数MSE,批次大小设定为64,学习率设定为0.001。
将均方误差函数和线性指数函数相结合,作为新的损失函数用于模型训练,如下式所示。
Figure BDA0003945287580000081
其中α和β为调节参数,通过选取合适的α和β可以控制估计的稳健性和不对称性。α越大,不对称性越强,对正向误差的惩罚力度越大。
图6和图7分别显示出不同预测模型在不同预测时长的MAE和MAPE的结果。
为验证本文发明的有效性,在相同输入特征的前提下,本发明算法(CA-LSTM-TCN)与其他深度学习算法(MLR、RNN、GRU、LSTM、TCN、LSTM-TCN两个网络串联)进行了对比实验,使用了MAE和MAPE两种具有代表性的评价指标。实验结果表明,相比于其他深度学习网络,本文的预测算法预测精度更高,结果更好。
以上所述,仅为本发明较佳的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,根据本发明的技术方案及其发明构思加以同等替换或改变,都应涵盖在本发明的保护范围之内。
本发明未述及之处适用于现有技术。

Claims (6)

1.一种融合时间特征和交叉注意力的短期风速预测方法,该预测方法包括以下内容:
使用滑动窗口,对风速数据集进行样本分割,针对分割后的样本进行特征归一化处理,获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳,提取时间戳信息,并对时间戳信息进行不同时间单位的周期性编码,获得数值在[-1,1]范围内的时间特征;
对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组,第一组为时间特征,第二组为风速序列,第三组为其他协变量特征,其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度,共三组;
构建CA-LSTM-TCN模型:包括并联的三个全连接分支,相邻的两个全连接分支的输出分别连接一个交叉注意力模块,两个交叉注意力模块的输出经平均池化处理后分别连接两个并联的LSTM网络和TCN网络,LSTM网络和TCN网络的输入特征相同,LSTM网络和TCN网络的输出特征经交叉注意力模块处理后经过展开层连接一个全连接输出层,该全连接输出层的输出即为CA-LSTM-TCN模型的输出,CA-LSTM-TCN模型的输入为三组不同的特征,三组特征分别进入一个全连接分支进行处理。
2.一种融合时间特征和交叉注意力的短期风速预测方法,其特征在于,该预测方法的过程是:
使用滑动窗口,对风速数据集进行样本分割,针对分割后的样本进行特征归一化处理,获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳,提取时间戳信息,并对时间戳信息进行不同时间单位的周期性编码,获得数值在[-1,1]范围内的时间特征;
对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组,第一组为时间特征,第二组为风速序列,第三组为其他协变量特征,其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度,共三组;
将分组后的三组数据分别输入三个分支的全连接网络,提取浅层特征,第一组的时间特征和第二组的风速序列分别经过第一全连接分支和第二全连接分支处理后通过第一个交叉注意力模块进行融合,同时第二组的风速序列和第三组的其他协变量特征分别经过第二全连接分支和第三全连接分支处理后通过第二个交叉注意力模块进行融合;第一个交叉注意力模块和第二个交叉注意力模块的输出结果经平均池化处理后分别输入并联的LSTM网络和TCN网络中;
LSTM网络和TCN网络的输出通过第三个交叉注意力模块(CA)进行特征融合后,将融合后的特征的最后两个维度的特征展开形成一个维度的特征,最后经一个全连接输出层获得最终的风速预测值。
3.根据权利要求1或2所述的融合时间特征和交叉注意力的短期风速预测方法,其特征在于,所述风速数据集包含时间信息、风速、风向和环境温度四个维度,通过设置一个固定长度的滑动窗口对数据进行分割得到样本,将待预测风速值设置为标签风速,使用滑动窗口分割数据集,选取的滑动窗口大小为72+L0,其中输入数据维度为72×4,预测输出维度为L0×1,L0表示预测多少个时刻的风速值,滑动窗口的步长为1。
4.根据权利要求1或2所述的融合时间特征和交叉注意力的短期风速预测方法,其特征在于,周期性编码的过程是:提取日期中的分钟、小时和星期几进行编码,
Figure FDA0003945287570000021
式中T1,T2和T3为编码后的时间特征值。
5.根据权利要求4所述的融合时间特征和交叉注意力的短期风速预测方法,其特征在于,第一组为时间特征,包含三个维度;第二组为风速序列,包含一个维度;第三组为其他协变量特征,包括风向角的正弦值,风向角的余弦值和环境温度,共三个维度。
6.根据权利要求4所述的融合时间特征和交叉注意力的短期风速预测方法,其特征在于,交叉注意力模块包括左边分支和右边分支,具体计算过程是:
Figure FDA0003945287570000022
式中,
Figure FDA0003945287570000023
是左边分支输入
Figure FDA0003945287570000024
最后一个维度的数据,
Figure FDA0003945287570000025
是右边分支的输入数据,fl(·)是线性映射函数;然后初始化三个权重矩阵Wq、Wk和Wv,其维度是C×(C/h),C表示输入特征在最后维度上的数目,由输入数据决定,而h表示注意力的个数,是交叉注意力模块中的超参数,注意力的加权过程如下:
Figure FDA0003945287570000026
Figure FDA0003945287570000027
式中A为重分布权重矩阵,然后下一步计算过程为
Figure FDA0003945287570000028
Figure FDA0003945287570000029
式中,Zl为交叉注意力模块的最终输出向量,
Figure FDA00039452875700000210
为左边分支的输入数据,具有两个维度;
三个全连接分支的状态向量经过两个交叉注意力模块后的计算过程概括为:
Z1=CA1([H1,H2]),Z2=CA2([H2,H3])
式中,Z1和Z2为交叉注意力融合后的特征向量,CA1和CA2为两个不同的交叉注意力模块。
CN202211431816.0A 2022-11-16 2022-11-16 一种融合时间特征和交叉注意力的短期风速预测方法 Pending CN115688602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211431816.0A CN115688602A (zh) 2022-11-16 2022-11-16 一种融合时间特征和交叉注意力的短期风速预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211431816.0A CN115688602A (zh) 2022-11-16 2022-11-16 一种融合时间特征和交叉注意力的短期风速预测方法

Publications (1)

Publication Number Publication Date
CN115688602A true CN115688602A (zh) 2023-02-03

Family

ID=85054442

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211431816.0A Pending CN115688602A (zh) 2022-11-16 2022-11-16 一种融合时间特征和交叉注意力的短期风速预测方法

Country Status (1)

Country Link
CN (1) CN115688602A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117907631A (zh) * 2024-03-20 2024-04-19 北京科技大学 一种基于风速传感器的风速矫正方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117907631A (zh) * 2024-03-20 2024-04-19 北京科技大学 一种基于风速传感器的风速矫正方法及系统
CN117907631B (zh) * 2024-03-20 2024-05-24 北京科技大学 一种基于风速传感器的风速矫正方法及系统

Similar Documents

Publication Publication Date Title
Davis et al. Low-rank approximations for conditional feedforward computation in deep neural networks
CN113642225B (zh) 一种基于attention机制的CNN-LSTM短期风电功率预测方法
CN111292525B (zh) 基于神经网络的交通流预测方法
CN108596327B (zh) 一种基于深度学习的地震速度谱人工智能拾取方法
CN110909926A (zh) 基于tcn-lstm的太阳能光伏发电预测方法
CN111815033A (zh) 一种基于rcnn和气象时序特征的海上风电功率预测方法
CN110516833A (zh) 一种基于特征提取的Bi-LSTM预测道路交通状态的方法
CN112733444A (zh) 基于CycleGAN神经网络的多步长时间序列预测方法
CN111626764A (zh) 基于Transformer+LSTM神经网络模型的商品销量预测方法及装置
CN114239718B (zh) 基于多元时序数据分析的高精度长期时间序列预测方法
CN114493014A (zh) 多元时间序列预测方法、系统及计算机产品、存储介质
CN115409258A (zh) 一种混合深度学习短期辐照度预测方法
CN115688602A (zh) 一种融合时间特征和交叉注意力的短期风速预测方法
CN112766603A (zh) 一种交通流量预测方法、系统、计算机设备及存储介质
CN115390164A (zh) 一种雷达回波外推预报方法及系统
CN114519430A (zh) 一种软量子神经网络系统及模式识别方法
CN110738363B (zh) 一种光伏发电功率预测方法
CN116844041A (zh) 一种基于双向卷积时间自注意力机制的耕地提取方法
CN116502774A (zh) 一种基于时间序列分解和勒让德投影的时间序列预测方法
CN110135561B (zh) 一种实时在线飞行器ai神经网络系统
Ye et al. State sequences prediction via fourier transform for representation learning
CN115953902B (zh) 一种基于多视图时空图卷积网络的交通流预测方法
CN117390506A (zh) 一种基于网格编码与TextRCNN的船舶路径分类方法
CN115761654B (zh) 一种车辆重识别方法
CN116596396A (zh) 一种基于k近邻插值和slstm的工业聚乙烯过程质量预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination