CN115577748A - 一种集成挤压激励注意力机制的双通道风电预测方法 - Google Patents

Abstract

本方案公开了一种集成挤压激励注意力机制的双通道风电预测方法，提出基于多变量的风力发电功率预测，同时考虑内生变量和外生变量，有效改善模型的性能，提高模型预测精度；预测模型混合了CNN模型和GRU模型，由两个模型并列处理输入数据，并分别对CNN模型、GRUB模型引入SE注意力机制赋予隐含状态不同的概率权重，既能够满足风力发电功率预测的时间序列特征需求，又能够在多变量输入参数的情况下保证不容易出现过拟合的问题，使模型在多变量参数的时间序列下能够更准确的预测风力发电功率的变化，有利于电厂对用电量的合理调度。

Description

一种集成挤压激励注意力机制的双通道风电预测方法

技术领域

本发明属于属于风力发电功率预测领域，提出一种集成挤压和激励(Squeeze andExcitation，SE)注意力机制的双通道的卷积神经网络(CNN)和门控制循环单元(GRU)的混合模型预测风机发电功率的方法。

背景技术

在世界各地的许多国家，可再生能源正在逐步取代传统能源，这主要是因为化石燃料和核燃料会造成不可逆转的环境破坏，而可再生技术成本持续降低。风能作为可再生能源，具有成本低、对环境影响程度小的优点，是一种极为优质的清洁能源。然而，由于风力发电的不确定性和可变性，风力发电与电力系统的整合面临着若干挑战。例如，电力系统的短期发电调度必须提供可靠的估计，以获得调度机组的最佳选择和常规机组的最佳发电水平，但是由于风力发电往往受到环境因素的影响较大，错误的预测可能会增加系统的发电成本，甚至可能会危及电力市场的规划和经济运行，以及电力系统的安全性和可靠性。因此，准确描述和预测风力发电行为的预测工具对于保持电力供应的经济性和可靠性至关重要。预测风力发电的功率，可以帮助设备及时调整电量调度计划，制定合适的输电方案，减少设备过载的情况。

近年来，人工智能领域中更复杂的技术得到了普及。从机器学习社区，我们可以找到使用不同模型的建议，例如支持向量机、随机森林、聚类、模糊逻辑和人工神经网络等。

风力发电功率的预测有着明显的时间序列特点，目前大部分的功率预测方法都是基于时间序列的数据集进行训练和预测的。所以在选择模型架构的时候，通常选择能够对时间序列进行动态建模的神经网络。CNN网络虽然在其他领域具有非常好的应用能力，但是CNN网络更适合捕捉短期局部依赖关系，针对长序列时间的预测能力十分有限。RNN循环神经网络更擅长捕捉长期依赖，能够对时间序列进行动态建模，但是由于其本身的架构限制，模型需要较长的训练时间。GRU(Gated Recurrent Unit)也称门控循环单元结构，是RNN的变体,其能够有效捕捉长序列之间的语义关联,同时对RNN的内部结构进行优化，缓解梯度消失或爆炸现象，更节约了模型训练时间。所以目前有较多的技术使用了GRU模型来进行预测，如中国专利公开的一种使用自注意机制和双线性融合的风电超短期功率预测方法[申请号：CN202110199424.5]。但是，首先，目前在对风力发电进行预测时，都是基于单变量(风速风向)的预测，而经申请人研究，添加所研究现象的特征可以改善模型性能，提高模型的预测精度，所以有必要给出一种基于多变量参数的功率预测方案；其次，GRU模型虽然对基于单变量的时间序列具有较好的预测能力，但是基于多变量的时间序列的预测却不尽人意，容易出现模型过拟合的问题。

发明内容

本发明的目的是针对上述问题，提供一种集成挤压激励注意力机制的双通道风电预测方法。

为达到上述目的，本发明采用了下列技术方案：

一种集成挤压激励注意力机制的双通道风电预测方法，包括：

构建基于双通道的风电预测模型，该风电预测模型包括基于注意力机制的CNN网络和基于注意力机制的GRU网络；

准备数据集—由包括发电功率、各部件温度、环境温度和风速组成的时间序列；各部件温度、环境温度和风速作为输入变量，发电功率为输出变量，即与预测结果对应的真实结果；

使用数据集训练风电预测模型：

将数据集分别输入基于注意力机制的CNN网络和基于注意力机制的GRU网络；

CNN网络输出的数据Y_C和GRU网络输出的数据Y_G在相应维度上进行拼接后输入全连接层，全连接层基于输入的拼接结果输出预测结果；

基于损失函数根据预测结果和相应的真实结果更新风电预测模型，重复以上训练步骤直到模型收敛或达到最大步数。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，基于注意力机制的CNN网络包括CNN模型和第一注意力模块；

CNN模型对输入的时间序列进行特征提取，输出结果H_C；

第一注意力模块对CNN模型输出的结果H_C进行激励和赋权后输出Yc。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，所构建的CNN模型包括两层卷积层和一层池化层，并使用ReLU激活函数进行激活；

CNN模型的输出结果表示为：

P₁＝max(C₁)+b₂

式中，C₁和C₂分别表示卷积层1和卷积层2的输出；P₁表示池化层的输出；X为输入数据；W₁和W₂为权重矩阵；b₁、b₂、b₃为偏置系数。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，第一注意力模块对结果H_C进行激励和赋权之前，先对结果H_C进行数据变换和数据压缩：

数据变换：F_tr:H_C→U_C＝[u_c1,u_c2,…,u_cN]，其中：

u_cn是输入数据经计算后得到的第n个特征图；

数据压缩：U_C通过空间尺寸H×W进行压缩生成

其中第n个元素通过以下公式计算：

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，第一注意力模块进行激励和赋权过程如下：

S_c＝σ_c(w₂δ_c(w₁z_c))

式中：S_c是第一通道注意力模块给出的特征图权重向量，σ_c和δ_c分别表示第一通道注意力模块的Sigmoid与ReLU激活函数，w₁和w₂分别是控制模型复杂度的全连接层系数，z_c＝[z_c1，z_c2,...,z_cN]；

随后基于得到的特征图向量u_cn与权重系数S_cn,S_c＝[S_c1,S_c2,...,S_cN],n＝1,2,…,N相乘计算得到第一注意力模块的最终输出值Y_cn，Y_c＝[Y_c1,Y_c1,...Y_cN]，n＝1,2,…,N。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，基于注意力机制的GRU网络包括GRU模型和第二注意力模块；

GRU模型基于输入的时间序列提取数据内部变化规律，输出结果H_G；

第二注意力模块对GRU模型输出的结果H_G进行激励和赋权后输出Y_G。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，GRU模型通过如下公式提取数据内部变化规律：

H_G＝GRU(X_t-1,X_t)

式中，X_t-1和X_t分别为第t-1时刻和第t时刻的输入。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，第二注意力模块对结果H_G进行激励和赋权之前，先对结果H_G进行数据变换和数据压缩：

数据变换：F_tr:H_G→U_G＝[u_G1,u_G2,…,u_Gn]，其中：

数据压缩：U_G通过空间尺寸H×W进行压缩生成

其中第n个元素通过以下公式计算：

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，第二注意力模块进行激励和赋权过程如下：

s_G＝σ_G(w₂δ_G(w₁z_G))

式中：s_G是第二通道注意力模块给出的特征图权重向量，σ_G和δ_G分别表示Sigmoid与ReLU激活函数，w₁和w₂分别是控制模型复杂度的全连接层系数，z_G＝[z_G1，z_G2,...,z_GN]，n＝1,2,…,N；

随后基于得到的特征图权重向量u_Gn与权重系数S_Gn,S_G＝[S_G1,S_G2,...,S_GN],n＝1,2,…,N，相乘计算得到第二注意力模块的最终输出值Y_Gn，Y_G＝[Y_G1,Y_G1,...Y_GN]，n＝1,2,…,N。

在上述的集成挤压激励注意力机制的双通道风电预测模型预测方法中，将采集到的数据进行预处理后作为数据集用于模型训练，且预处理过程为：对数据进行标准化处理，

式中，x′是经标准化处理后的数据，x是未经标准化处理的原数据，μ是数据的均值，σ是数据的标准差；

风电预测模型所使用的损失函数为均方差误差：

式中，y_i表示真实结果，

表示风电预测模型输出的预测结果，k表示样本个数。

本发明的优点在于：

1、提出基于多变量的风力发电功率预测，同时考虑内生变量和外生变量，有效改善模型的性能，提高模型预测精度；

2、预测模型混合了CNN模型和GRU模型，由两个模型并列处理输入数据，并分别对CNN模型、GRUB模型引入SE注意力机制赋予隐含状态不同的概率权重，既能够满足风力发电功率预测的时间序列特征需求，又能够在多变量输入参数的情况下保证不容易出现过拟合的问题，使模型在多变量参数的时间序列下能够更准确的预测风力发电功率的变化，有利于电厂对用电量的合理调度。

附图说明

图1为本发明集成挤压激励注意力机制的双通道风电预测方法的模型流程图；

图2为本发明集成挤压激励注意力机制的双通道风电预测方法中预测结果与实际数据对比图。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步详细的说明。

如图1所示，本方案提供了一种集成挤压激励注意力机制的双通道风电预测方法，该方法包括以下步骤：

1)获取各参数数据集：风力发电的电机运行状态受到各种环境因素的影响。在电机正常运行状态下，测量收集如：发电功率、各部件温度、环境温度以及风速等参数组成时间序列。

2)对参数数据集进行标准化处理，公式如下：

式中，x′是经标准化处理后的数据，x是未经标准化处理的原数据，μ是数据的均值，σ是数据的标准差。

使用标准化后的数据集来训练风电预测模型。训练风电预测模型其实可以分为两个过程，训练过程和测试过程，所以这里将数据集进行划分：本实施例将数据集按照3:17的比例划分为测试集和训练集；投入使用时，技术人员也可以根据经验以其他比例进行划分。

3)建立并行模型并训练，过程如下：

建立CNN模型：CNN模型主要是对输入的时间序列进行特征提取，为了保留更多的数据波动信息，构建内部结构为两层卷积层，一层池化层，并选取ReLU激活函数进行激活。其中，CNN层的输出特征H_c表示为：

P₁＝max(C₁)+b₂

式中，C₁和C₂分别表示卷积层1和卷积层2的输出；P₁表示池化层的输出；X为输入数据；W₁和W₂为权重矩阵；b₁、b₂、b₃为偏置系数。

建立GRU模型：在输入数据X输入CNN模型的同时，将原始输入数据X同步输入GRU模型进行学习以提取数据内部变化规律，设GRU模型的输出为H_G，其公式如下：

H_G＝GRU(X_t-1,X_t)

式中，X_t-1和X_t分别为第t-1时刻和第t时刻的输入。

4)注意力机制处理

数据变换：变换CNN网络通道的数据，对经过CNN模型处理之后的数据H_C进行变换：

F_tr:H_C→U_C＝[u_c1,u_c2,…,u_cn]

其中：

u_cn是输入数据经计算后得到的第n个特征图。

变换GRU网络通道的数据，对经过GRU模型处理之后的数据H_G进行变换：

F_tr:H_G→U_G＝[u_G1,u_G2,…,u_Gn]

其中：

u_Gn是输入数据经计算后得到的第n个特征图。

数据压缩：为了将全局信息压缩，使用全局平均池来生成通道信息。一般来说，U_C、U_G通过空间尺寸H×W进行压缩分别生成

CNN网络中第n个元素通过以下公式计算：

GRU网络中第n个元素通过以下公式计算：

数据的激励和赋权：为了充分压缩操作中的信息来捕获通道间的相关性，CNN网络和GRU网络分别选择以下公式进行激活：

S_c＝σ_c(w₂δ_c(w₁z_c))

S_G＝σ_G(w₂δ_G(w₁z_G))

式中：S_c是CNN网络的注意力模块，此处称为第一通道注意力模块给出的特征图权重向量，σ_c和δ_c分别表示第一通道注意力模块的Sigmoid与ReLU激活函数；S_G是GRU网络的注意力模块，此处称为第二通道注意力模块给出的特征图权重向量，σ_G和δ_G分别表示Sigmoid与ReLU激活函数。w₁和w₂分别是控制模型复杂度的全连接层系数，z_c＝[z_c1，z_c2,...,z_cN]z_G＝[z_G1，z_G2,...,z_GN]，n＝1,2,…,N。

最后，基于得到的特征图向量u_cn与权重系数S_cn,S_c＝[S_c1,S_c2,...,S_cN],n＝1,2,…,N相乘计算得到第一注意力模块的最终输出值Y_cn，Y_c＝[Y_c1,Y_c1,...Y_cN]，n＝1,2,…,N。基于得到的特征图权重向量u_Gn与权重系数S_Gn,S_G＝[S_G1,S_G2,...,S_GN],n＝1,2,…,N，相乘计算得到第二注意力模块的最终输出值Y_Gn，Y_G＝[Y_G1,Y_G1,...Y_GN]，n＝1,2,…,N。

5)拼接处理

将CNN通道输出的数据Y_C和GRU模型输出的数据Y_G相应维度上进行拼接，得到新的数据矩阵Y输入风电预测模型的全连接层。

6)权值更新

本方案放电预测模型使用的损失函数为均方误差：

式中，y_i表示真实结果，

表示风电预测模型输出的预测结果，k表示样本个数。基于前述损失函数根据预测结果和相应的真实结果的偏差更新风电预测模型，重复以上训练步骤直到模型收敛或达到最大步数。对于风电预测模型的更新可以进一步优选梯度下降法来优化网络中的参数。

为了更好地体现本方案的优势，本实施例对经过充分训练的LSTM、GRU、SE-CNN-GRU三种预测模型进行测试，使三种预测模型分别对风机发电功率进行预测，使用均方差误差作为评估指标

RMSE的值越小，表明模型的预测效果越.

表1给出了三种模型的预测结果，从对比结果中清楚看到，基于注意力机制的CNN-GRU模型有着更好的预测效果。这充分表明了基于注意力机制的CNN-GRU是一种用于风力发电功率预测的可行且出色的方法。

表1风机发电功率预测结果对比

本方法利用卷积神经网络与门控制循环单元并行连接并添加注意力机制形成的SE-CNN-GRU模型对风力发电功率进行预测，能够实现准确、快速的预测风力发电功率的变化，有利于电厂对用电量的合理调度。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (10)

1.一种集成挤压激励注意力机制的双通道风电预测方法，其特征在于，包括：

构建基于双通道的风电预测模型，该风电预测模型包括基于注意力机制的CNN网络和基于注意力机制的GRU网络；

准备数据集—由包括发电功率、各部件温度、环境温度和风速组成的时间序列；

使用数据集训练风电预测模型：

将数据集分别输入基于注意力机制的CNN网络和基于注意力机制的GRU网络；

CNN网络输出的数据Y_C和GRU网络输出的数据Y_G在相应维度上进行拼接后输入全连接层，全连接层基于输入的拼接结果输出预测结果；

基于损失函数根据预测结果和相应的真实结果更新风电预测模型，重复以上训练步骤直到模型收敛或达到最大步数。

2.根据权利要求1所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，基于注意力机制的CNN网络包括CNN模型和第一注意力模块；

CNN模型对输入的时间序列进行特征提取，输出结果H_C；

第一注意力模块对CNN模型输出的结果H_C进行激励和赋权后输出Yc。

3.根据权利要求2所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，所构建的CNN模型包括两层卷积层和一层池化层，并使用ReLU激活函数进行激活；

CNN模型的输出结果表示为：

P₁＝max(C₁)+b₂

式中，C₁和C₂分别表示卷积层1和卷积层2的输出；P₁表示池化层的输出；X为输入数据；W₁和W₂为权重矩阵；b₁、b₂、b₃为偏置系数。

4.根据权利要求3所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，第一注意力模块对结果H_C进行激励和赋权之前，先对结果H_C进行数据变换和数据压缩：

数据变换：F_tr:H_C→U_C＝[u_c1,u_c2,…,u_cN]，其中：

u_cn是输入数据经计算后得到的第n个特征图，n＝1,2,…,N；

数据压缩：U_C通过空间尺寸H×W进行压缩生成

其中第n个元素通过以下公式计算：

5.根据权利要求4所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，第一注意力模块进行激励和赋权过程如下：

S_c＝σ_c(w₂δ_c(w₁z_c))

式中：S_c是第一通道注意力模块给出的特征图权重向量，σ_c和δ_c分别表示第一通道注意力模块的Sigmoid与ReLU激活函数，w₁和w₂分别是控制模型复杂度的全连接层系数，z_c＝[z_c1，z_c2,...,z_cN]；

随后基于得到的特征图向量u_cn与权重系数S_cn,S_c＝[S_c1,S_c2,...,S_cN],n＝1,2,…,N相乘计算得到第一注意力模块的最终输出值Y_cn，Y_c＝[Y_c1,Y_c1,...Y_cN]，n＝1,2,…,N。

6.根据权利要求5所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，基于注意力机制的GRU网络包括GRU模型和第二注意力模块；

GRU模型基于输入的时间序列提取数据内部变化规律，输出结果H_G；

第二注意力模块对GRU模型输出的结果H_G进行激励和赋权后输出Y_G。

7.根据权利要求6所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，GRU模型通过如下公式提取数据内部变化规律：

H_G＝GRU(X_t-1,X_t)

式中，X_t-1和X_t分别为第t-1时刻和第t时刻的输入。

8.根据权利要求7所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，第二注意力模块对结果H_G进行激励和赋权之前，先对结果H_G进行数据变换和数据压缩：

数据变换：F_tr:H_G→U_G＝[u_G1,u_G2,…,u_Gn]，其中：

u_Gn是输入数据经计算后得到的第n个特征图，n＝1,2,…,N

数据压缩：U_G通过空间尺寸H×W进行压缩生成

其中第n个元素通过以下公式计算：

9.根据权利要求8所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，第二注意力模块进行激励和赋权过程如下：

S_G＝σ_G(w₂δ_G(w₁z_G))

式中：S_G是第二通道注意力模块给出的特征图权重向量，σ_G和δ_G分别表示Sigmoid与ReLU激活函数，w₁和w₂分别是控制模型复杂度的全连接层系数，z_G＝[z_G1，z_G2,...,z_GN]；

随后基于得到的特征图权重向量u_Gn与权重系数S_Gn,S_G＝[S_G1,S_G2,...,S_GN],n＝1,2,…,N，相乘计算得到第二注意力模块的最终输出值Y_Gn，Y_G＝[Y_G1,Y_G1,...Y_GN]，n＝1,2,…,N。

10.根据权利要求1-9任意一项所述的集成挤压激励注意力机制的双通道风电预测模型预测方法，其特征在于，将采集到的数据进行预处理后作为数据集用于模型训练，且预处理过程为：对数据进行标准化处理，

式中，x′是经标准化处理后的数据，x是未经标准化处理的原数据，μ是数据的均值，σ是数据的标准差；

风电预测模型所使用的损失函数为均方差误差：

式中，y_i表示真实结果，

表示风电预测模型输出的预测结果，k表示样本个数。

Images