CN115688602A - 一种融合时间特征和交叉注意力的短期风速预测方法 - Google Patents

Abstract

本发明为一种融合时间特征和交叉注意力的短期风速预测方法，该预测方法包括以下内容：使用滑动窗口，对风速数据集进行样本分割，针对分割后的样本进行特征归一化处理，获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳，提取时间戳信息，并对时间戳信息进行不同时间单位的周期性编码，获得数值在[‑1,1]范围内的时间特征；对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组；构建CA‑LSTM‑TCN模型。通过加入时间编码特征，可以提升模型对风速序列周期信息的记忆和学习能力，在输入时间序列较长时，LSTM、TCN等网络仍能有效处理长期的时序信息，提高了风速预测的准确性。

Description

一种融合时间特征和交叉注意力的短期风速预测方法

技术领域

本发明涉及新能源发电技术领域与深度学习技术领域，尤其涉及一种融合时间特征和交叉注意力的短期风速预测方法。

背景技术

风具有间歇性、波动性和随机性等特点，这使得风速的准确预测具有很大的挑战。风速的预测精度和风能的开发利用程度有着直接的关系，风速预测精度越高，风能开发利用程度就越高。长期以来，许多研究人员一直致力于探索准确的风速预测模型。

传统的机器学习方法由于数据量小、结构简单和硬件要求低等特点，在序列预测中应用较多。针对风速序列的非平稳性和复杂性，以信号分析为基础的风速预测方法，在分解风速序列后，不同子序列各为独立的预测任务，忽略了任务之间的相关性。

因此，本申请提出一种预测准确性更好的短期风速预测方法。

发明内容

本发明克服现有风速预测技术的缺陷，提供一种融合时间特征和交叉注意力的短期风速预测方法，旨在更好地处理风速历史信息，更好地提取深层次融合的特征，提升风速预测精度。

本发明的技术方案如下：

第一方面，本发明提供一种融合时间特征和交叉注意力的短期风速预测方法，该预测方法包括以下内容：

使用滑动窗口，对风速数据集进行样本分割，针对分割后的样本进行特征归一化处理，获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳，提取时间戳信息，并对时间戳信息进行不同时间单位的周期性编码，获得数值在[-1,1]范围内的时间特征；

对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组，第一组为时间特征，第二组为风速序列，第三组为其他协变量特征，其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度，共三组；

构建CA-LSTM-TCN模型：包括并联的三个全连接分支，相邻的两个全连接分支的输出分别连接一个交叉注意力模块，两个交叉注意力模块的输出经平均池化处理后分别连接两个并联的LSTM网络和TCN网络，LSTM网络和TCN网络的输入特征相同，LSTM网络和TCN网络的输出特征经交叉注意力模块处理后经过展开层连接一个全连接输出层，该全连接输出层的输出即为CA-LSTM-TCN模型的输出，CA-LSTM-TCN模型的输入为三组不同的特征，三组特征分别进入一个全连接分支进行处理。

第二方面，本发明提供一种融合时间特征和交叉注意力的短期风速预测方法，该预测方法的过程是：

使用滑动窗口，对风速数据集进行样本分割，针对分割后的样本进行特征归一化处理，获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳，提取时间戳信息，并对时间戳信息进行不同时间单位的周期性编码，获得数值在[-1,1]范围内的时间特征；

对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组，第一组为时间特征，第二组为风速序列，第三组为其他协变量特征，其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度，共三组；

将分组后的三组数据分别输入三个分支的全连接网络，提取浅层特征，第一组的时间特征和第二组的风速序列分别经过第一全连接分支和第二全连接分支处理后通过第一个交叉注意力模块进行融合，同时第二组的风速序列和第三组的其他协变量特征分别经过第二全连接分支和第三全连接分支处理后通过第二个交叉注意力模块进行融合；第一个交叉注意力模块和第二个交叉注意力模块的输出结果经平均池化处理后分别输入并联的LSTM网络和TCN网络中；

LSTM网络和TCN网络的输出通过第三个交叉注意力模块(CA)进行特征融合后，将融合后的特征的最后两个维度的特征展开形成一个维度的特征，最后经一个全连接输出层获得最终的风速预测值。

所述风速数据集包含时间信息、风速、风向和环境温度四个维度，通过设置一个固定长度的滑动窗口对数据进行分割得到样本，将待预测风速值设置为标签风速，使用滑动窗口分割数据集，选取的滑动窗口大小为72+L0,其中输入数据维度为72×4，预测输出维度为L0×1，L0表示预测多少个时刻的风速值，滑动窗口的步长为1。

周期性编码的过程是：提取日期中的分钟、小时和星期几进行编码，

式中T₁，T₂和T₃为编码后的时间特征值。

交叉注意力模块包括左边分支和右边分支，具体计算过程是：

式中，

是左边分支输入

最后一个维度的数据，

是右边分支的输入数据，f^l(·)是线性映射函数；然后初始化三个权重矩阵W_q、W_k和W_v，其维度是C×(C/h)，C表示输入特征在最后维度上的数目，由输入数据决定，而h表示注意力的个数，是交叉注意力模块中的超参数，注意力的加权过程如下：

式中A为重分布权重矩阵，然后下一步计算过程为

式中，Z^l为交叉注意力模块的最终输出向量，

为左边分支的输入数据，具有两个维度；

三个全连接分支的状态向量经过两个交叉注意力模块后的计算过程概括为：

Z₁＝CA₁([H₁,H₂])，Z₂＝CA₂([H₂,H₃])

式中，Z₁和Z₂为交叉注意力融合后的特征向量，CA₁和CA₂为两个不同的交叉注意力模块。

与现有技术相比，本发明具有以下优点：

(1)本发明预测方法提取了时间戳特征，并对其进行编码，扩充了输入数据特征的维度，能提供周期性信息供模型学习，充分考虑了时间与风速的相关性。通过加入时间编码特征，可以提升模型对风速序列周期信息的记忆和学习能力，在输入时间序列较长时，LSTM、TCN等网络仍能有效处理长期的时序信息，提高了风速预测的准确性。

(2)本发明方法采用了变量分组的结构，将输入数据划分为时间特征组，风速序列组和其他协变量组。通过交叉注意力模块，分别将风速信息与时间特征和其他协变量进行融合，加强了风速序列与外界信息的关联性，考虑了时间相关和空间相关。

(3)本发明方法对融合后的特征向量，分别输入两个不同的网络模块(LSTM和TCN网络)处理，由于LSTM和TCN网络的结构不同，且采用并联形式，对特征学习的关注点也不同。通过LSTM网络、TCN网络和交叉注意力构建一种混合深度学习的CA-LSTM-TCN模型，用于风速序列预测，通过交叉注意力模块对两个网络的输出进行融合，充分挖掘数据之间的关联信息，能提升模型性能和风速预测的预测精度。

附图说明

图1为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的整体流程示意图。

图2为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的滑动窗口分割示意图。

图3为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的交叉注意力模块的结构示意图。

图4为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的LSTM网络的结构示意图。

图5为本发明提出的一种融合时间特征和交叉注意力的短期风速预测方法的TCN网络的结构示意图。

图6为不同模型预测误差MAE(m/s)对比图。

图7为不同模型预测误差MAPE(％)对比图。

具体实施方式

为使本发明的技术方案更加清楚，下面结合附图对本发明做进一步阐述。

如图1-7所示，一种融合时间特征和交叉注意力的短期风速预测方法，采用了添加时间特征与交叉注意力模块来提高风速预测的精度，该预测方法包括以下内容：

首先使用滑动窗口，对风速数据集进行样本分割，其次针对分割后的样本进行特征归一化处理，获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳，提取时间戳信息，并对时间戳信息进行不同时间单位的周期性编码，获得数值在[-1,1]范围内的时间特征；

对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组，第一组为时间特征，第二组为风速序列，第三组为其他协变量特征，其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度，共三组；

构建CA-LSTM-TCN模型：包括并联的三个全连接分支，相邻的两个全连接分支的输出分别连接一个交叉注意力模块，两个交叉注意力模块的输出经平均池化处理后分别连接两个并联的LSTM网络和TCN网络，LSTM网络和TCN网络的输入特征相同，LSTM网络和TCN网络的输出特征经交叉注意力模块处理后经过展开层连接一个全连接输出层，该全连接输出层的输出即为CA-LSTM-TCN模型的输出，CA-LSTM-TCN模型的输入为三组不同的特征，第一组为时间特征，第二组为目标风速特征，第三组为其他协变量特征，三组特征分别进入一个全连接分支进行处理。

将分组后的三组数据分别输入三个分支的全连接网络，提取浅层特征，第一组的时间特征和第二组的风速序列分别经过第一全连接分支和第二全连接分支处理后通过第一个交叉注意力模块进行融合，同时第二组的风速序列和第三组的其他协变量特征分别经过第二全连接分支和第三全连接分支处理后通过第二个交叉注意力模块进行融合；第一个交叉注意力模块和第二个交叉注意力模块的输出结果经平均池化处理后分别输入并联的LSTM网络和TCN网络中；LSTM网络和TCN网络的输出通过第三个交叉注意力模块(CA)进行特征融合后，将融合后的特征的最后两个维度的特征展开形成一个维度的特征，最后经一个全连接输出层获得最终的风速预测值。

LSTM和TCN网络的输入特征相同。因为网络结构的不同，在训练过程中对输入数据学习的能力不同，得到的输出特征也就不同。通过结合两个网络学习能力的多样性，将两个网络作为并联结构，同时学习。

本发明按以下步骤具体实现：

步骤1：使用滑动窗口分割数据集；

步骤2：根据分割后的样本数据，提取时间戳信息，进行周期性编码；

步骤3：结合时间编码特征对输入变量进行分组，其中第一组为时间特征，包含三个维度；第二组为风速序列，包含一个维度；第三组为其他协变量特征，包括风向角的正弦值，风向的余弦值和环境温度，共三个维度；

步骤4：将分组后的变量输入三分支的全连接层，然后使用交叉注意力进行融合；

步骤5：融合后的特征分别输入LSTM和TCN网络进行深层特征提取，再经过注意力模块对两个网络的输出特征进行融合，最后将特征展开输入到全连接网络学习得到最终的预测风速。

在所述步骤1中，原始的风速数据集包含了时间信息、风速、风向和环境温度四个维度。通过设置一个固定长度的滑动窗口对数据进行分割得到样本，将待预测风速值设置为标签风速，使用滑动窗口分割数据集，选取的滑动窗口大小为72+L0,其中输入数据维度为72×4，预测输出维度为L0×1，L0表示预测多少个时刻的风速值，滑动窗口的步长为1，过程为图2所示。整个数据集按照7：2：1的时间序列比例划分为训练集、验证集和测试集。

在步骤2中，时间戳信息用来进行周期性编码。主要提取日期中的分钟、小时和星期几进行编码。

式中T₁，T₂和T₃为编码后的时间特征值，将其限制在[-1,1]范围内。计算风向变量的正弦值和余弦值，作为风向特征，并删除原始的风向数据，避免特征信息冗余。

在步骤3中，对所有的变量进行划分，得到3组，其中第一组为时间特征，包含三个维度；第二组为风速序列，包含一个维度；第三组为其他协变量特征，包括风向角的正弦值，风向角的余弦值和环境温度，共三个维度；分别记为时间信息X₁，风速信息X₂和风向环境温度信息X₃。其中X₁包含3个特征：T₁，T₂和T₃；X₂仅包含1个特征：风速；X₃包含3个特征：风向角正弦值，风向角余弦值和环境温度。

在步骤4中，将X₁，X₂和X₃分别输入三个全连接分支进行特征映射，得到隐藏状态向量。计算过程可以表示为如下：

H₁＝f₁(X₁),H₂＝f₂(X₂),H₃＝f₃(X₃)

式中f₁(·)，f₂(·)和f₃(·)分别表示3个不同的全连接层；H₁，H₂和H₃为其对应输出的隐藏状态向量，维度取决于全连接层的神经元个数。

交叉注意力模块的结构如图3所示，具体的计算过程如下：

式中

是左边分支输入

最后一个维度的数据，

是右边分支的输入数据，f^l(·)是线性映射函数。然后初始化三个权重矩阵W_q、W_k和W_v，其维度是C×(C/h)，C表示输入特征的维度，由输入数据决定，而h表示注意力的个数，是交叉注意力模块中的超参数，可以调节。注意力的加权过程如下：

式中A为重分布权重矩阵，softmax函数的具体公式为：

z_i为变量，C为变量的数量，i＝1-C的整数。然后下一步计算过程为

式中Z^l为交叉注意力模块的最终输出向量，

为左边分支的输入数据，具有两个维度，一个维度与右分支融合。

三个全连接分支的状态向量经过两个交叉注意力模块后的计算过程可以概括为：

Z₁＝CA₁([H₁,H₂])，Z₂＝CA₂([H₂,H₃])

式中Z₁和Z₂为交叉注意力融合后的特征向量，CA₁和CA₂为两个不同的交叉注意力模块。

在步骤5中，将向量Z₁和Z₂进行相加取平均得到Z_a：Z_a＝(Z₁+Z₂)/2；

将Z_a分别输入LSTM网络和TCN网络。

LSTM网络结构如图4所示。LSTM的门与激活函数的计算公式如下：

输入门：i_t＝σ(W_i·[h_t-1,x_t]+b_i)

遗忘门：f_t＝σ(W_f·[h_t-1,x_t]+b_f)

输出门：o_t＝σ(W_o·[h_t-1,x_t]+b_o)

神经元的状态更新：h_t＝o_t·tanh(c_t)

神经元的输出计算：

激活函数sigmoid：

激活函数tanh：

式中σ是激活函数Sigmoid，tanh也是激活函数，W_i和W_c是输入门权重矩阵，b_i和b_c是输入门偏置向量；W_f是遗忘门权重矩阵，b_f是遗忘门偏置向量；W_o是输出门权重矩阵，b_o是输出门偏置向量。

TCN网络(时间卷积网络)结构如图5所示。TCN的计算公式如下：

扩张因果卷积：

FRN规范化：

z_i＝max(y_i,τ)

Swish激活函数：f(x)＝x·sigmoid(βx)

Dropout函数：r＝rand(·)，

式中d表示因果卷积的采样率，k表示卷积核的尺寸大小；FRN规范化中γ，α和τ为可学习参数，由网络在训练过程中逐步调整，ε为手动设置的超参数，一般取0.01即可；Swish激活函数中β为手动设置的超参数，当β＝0时，Swish激活函数变为线性函数x/2，当β＝∞时，Swish激活函数变为0或x；Dropout函数中，rand表示随机函数，生成0到1的随机数，p是超参数，表示失活的概率，数值范围为0到1。

对于LSTM和TCN网络的计算过程概述为：

M₁＝LSTM(Z_a),M₂＝TCN(Z_a)

然后经过交叉注意力模块得到：

D＝CA([M₁,M₂])

式中D为融合后的特征向量，是一个N×L×C的三维矩阵，经过展开层后将最后两个维度合并变为N×(L×C)，N表示样本的数量，即滑动窗口数量，L为输入数据的长度(本实施例为72)，此时C为通道数，最后经过全连接层得到最终预测输出值。

Y＝D·W_F+b_F

式中W_F为全连接层的权重矩阵，b_F为全连接层的偏置向量；预测输出步长为L的输出Y＝[y₁,y₂,…,y_L]^T。

在网络训练过程中，使用早停机制对CA-LSTM-TCN模型的损失值进行监控，当损失值在一定次数内(如7次)不再下降时，则停止训练，否则持续训练到设定的迭代次数完成为止。在网络训练前，需要指定训练的超参数，如学习率、批次大小、损失函数等。在本方法中，损失函数常用的回归损失均方误差函数MSE，批次大小设定为64，学习率设定为0.001。

将均方误差函数和线性指数函数相结合，作为新的损失函数用于模型训练，如下式所示。

其中α和β为调节参数，通过选取合适的α和β可以控制估计的稳健性和不对称性。α越大，不对称性越强，对正向误差的惩罚力度越大。

图6和图7分别显示出不同预测模型在不同预测时长的MAE和MAPE的结果。

为验证本文发明的有效性，在相同输入特征的前提下，本发明算法(CA-LSTM-TCN)与其他深度学习算法(MLR、RNN、GRU、LSTM、TCN、LSTM-TCN两个网络串联)进行了对比实验，使用了MAE和MAPE两种具有代表性的评价指标。实验结果表明，相比于其他深度学习网络，本文的预测算法预测精度更高，结果更好。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以同等替换或改变，都应涵盖在本发明的保护范围之内。

本发明未述及之处适用于现有技术。

Claims (6)

1.一种融合时间特征和交叉注意力的短期风速预测方法，该预测方法包括以下内容：

使用滑动窗口，对风速数据集进行样本分割，针对分割后的样本进行特征归一化处理，获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳，提取时间戳信息，并对时间戳信息进行不同时间单位的周期性编码，获得数值在[-1,1]范围内的时间特征；

对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组，第一组为时间特征，第二组为风速序列，第三组为其他协变量特征，其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度，共三组；

构建CA-LSTM-TCN模型：包括并联的三个全连接分支，相邻的两个全连接分支的输出分别连接一个交叉注意力模块，两个交叉注意力模块的输出经平均池化处理后分别连接两个并联的LSTM网络和TCN网络，LSTM网络和TCN网络的输入特征相同，LSTM网络和TCN网络的输出特征经交叉注意力模块处理后经过展开层连接一个全连接输出层，该全连接输出层的输出即为CA-LSTM-TCN模型的输出，CA-LSTM-TCN模型的输入为三组不同的特征，三组特征分别进入一个全连接分支进行处理。

2.一种融合时间特征和交叉注意力的短期风速预测方法，其特征在于，该预测方法的过程是：

使用滑动窗口，对风速数据集进行样本分割，针对分割后的样本进行特征归一化处理，获得风速序列、风向角的正弦值、风向角的余弦值、环境温度以及相应的时间戳，提取时间戳信息，并对时间戳信息进行不同时间单位的周期性编码，获得数值在[-1,1]范围内的时间特征；

对风速序列、风向角的正弦值、风向角的余弦值、环境温度及时间戳转换特征后的时间特征进行特征分组，第一组为时间特征，第二组为风速序列，第三组为其他协变量特征，其他协变量特征包括风向角的正弦值、风向的余弦值和环境温度，共三组；

将分组后的三组数据分别输入三个分支的全连接网络，提取浅层特征，第一组的时间特征和第二组的风速序列分别经过第一全连接分支和第二全连接分支处理后通过第一个交叉注意力模块进行融合，同时第二组的风速序列和第三组的其他协变量特征分别经过第二全连接分支和第三全连接分支处理后通过第二个交叉注意力模块进行融合；第一个交叉注意力模块和第二个交叉注意力模块的输出结果经平均池化处理后分别输入并联的LSTM网络和TCN网络中；

LSTM网络和TCN网络的输出通过第三个交叉注意力模块(CA)进行特征融合后，将融合后的特征的最后两个维度的特征展开形成一个维度的特征，最后经一个全连接输出层获得最终的风速预测值。

3.根据权利要求1或2所述的融合时间特征和交叉注意力的短期风速预测方法，其特征在于，所述风速数据集包含时间信息、风速、风向和环境温度四个维度，通过设置一个固定长度的滑动窗口对数据进行分割得到样本，将待预测风速值设置为标签风速，使用滑动窗口分割数据集，选取的滑动窗口大小为72+L0,其中输入数据维度为72×4，预测输出维度为L0×1，L0表示预测多少个时刻的风速值，滑动窗口的步长为1。

4.根据权利要求1或2所述的融合时间特征和交叉注意力的短期风速预测方法，其特征在于，周期性编码的过程是：提取日期中的分钟、小时和星期几进行编码，

式中T₁，T₂和T₃为编码后的时间特征值。

5.根据权利要求4所述的融合时间特征和交叉注意力的短期风速预测方法，其特征在于，第一组为时间特征，包含三个维度；第二组为风速序列，包含一个维度；第三组为其他协变量特征，包括风向角的正弦值，风向角的余弦值和环境温度，共三个维度。

6.根据权利要求4所述的融合时间特征和交叉注意力的短期风速预测方法，其特征在于，交叉注意力模块包括左边分支和右边分支，具体计算过程是：

式中，

是左边分支输入

最后一个维度的数据，

是右边分支的输入数据，f^l(·)是线性映射函数；然后初始化三个权重矩阵W_q、W_k和W_v，其维度是C×(C/h)，C表示输入特征在最后维度上的数目，由输入数据决定，而h表示注意力的个数，是交叉注意力模块中的超参数，注意力的加权过程如下：

式中A为重分布权重矩阵，然后下一步计算过程为

式中，Z^l为交叉注意力模块的最终输出向量，

为左边分支的输入数据，具有两个维度；

三个全连接分支的状态向量经过两个交叉注意力模块后的计算过程概括为：

Z₁＝CA₁([H₁,H₂])，Z₂＝CA₂([H₂,H₃])

式中，Z₁和Z₂为交叉注意力融合后的特征向量，CA₁和CA₂为两个不同的交叉注意力模块。

Images