CN113642225A - 一种基于attention机制的CNN-LSTM短期风电功率预测方法 - Google Patents

Abstract

本发明公开了一种基于attention机制的CNN‑LSTM短期风电功率预测方法，该方法通过收集历史环境和历史风电功率数据，对数据进行数据清洗和归一化等预处理；然后搭建包含attention机制的CNN‑LSTM模型并进行训练获得预测模型，其中CNN网络包括Conv1D层、MaxPooling1D层；LSTM网络包括基本的LSTM层、attention层、Dropout层以及最后的Dense层。本发明采用基于attention机制的CNN‑LSTM短期风电功率预测模型，考虑天气、风速、风向、温度、压力、湿度等各类环境因素，有效提取数据的局部特征和时序特征，合理分配特征权重，能够实现对风电功率的精准预测。

Description

一种基于attention机制的CNN-LSTM短期风电功率预测方法

技术领域

本发明涉及短期风电功率预测技术领域，具体涉及一种基于attention机制的CNN-LSTM 短期风电功率预测方法。

背景技术

风电功率的精准预测对电网稳定经济运行具有重要意义，做好风电功率预测的工作能够 降低运行成本，优化电网调度，便于安排机组维护和检修，进而实现调度的经济合理性。

预测的方法主要有传统的统计学方法和基于机器学习的预测方法。其中，统计学方法主 要有多元线性回归(MLR)、时间序列分析法和卡尔曼滤波法等，这类方法原理与建模简单， 但当数据样本容量较大时，预测效果不明显。另一类方法则基于机器学习算法，例如灰色系 统、人工神经网络、支持向量机(SVM)以及高斯过程(GP)等。其中，反向传播(BP)神经网络和SVM的应用最为广泛。但上述方法缺少对时间序列相关性的考虑，并且当训练样本较多时存在无法有效收敛的问题。

近年来，以长记忆(LSTM)网络为代表的深度学习算法在短期风电功率预测领域取得 了较好的应用，LSTM网络可以充分挖掘时序数据之间的内在关联，但当特征为非连续数据 时，预测精度不高。因此，使用CNN网络可以自动提取特征，提高预测精度。

发明内容

本发明在考虑天气、风速、风向、温度、压力、湿度、历史风电功率数据、输入向量特征权重等因素的基础上提出了一种基于attention机制的CNN-LSTM短期风电功率预测方法， 利用深度学习和数据挖掘技术，构建了CNN-LSTM短期风电功率预测模型，在经过预处理的 数据集上实现风电功率的精准预测。

本发明采用的技术方案具体为：

一种基于attention机制的CNN-LSTM短期风电功率预测方法，该方法包括如下步骤：

步骤(1)获取风力发电系统运行的风电功率数据，对风电功率数据进行清洗后，将不同 时刻的风电功率数据与对应的天气、风速、风向、温度、压力、湿度等特征，其中，对非数 字特征进行one-hot独热编码，然后对所有数据的特征进行归一化处理；

步骤(2)构建预测点时刻的输入特征向量，并将预处理后的特征向量输入CNN网络， 通过CNN网络的卷积、池化等操作提取出输入特征向量的静态特征，然后将CNN网络提取 的静态特征输入至LSTM网络的隐藏层进行特征提取，并利用Attention机制对隐藏层提取的 特征向量进行计算，得到特征权重，然后将特征权重和隐藏层提取的特征向量相乘后输入 LSTM的Dropout层和全连接层，输出预测的风电功率预测值；

其中，预测点时刻的输入特征向量具体包括：预测点时刻的天气、预测点时刻的风速、 预测点时刻的风向、预测点时刻的压力、预测点时刻的温度、预测点时刻的湿度、预测点前 一天同时刻的风电功率值；

所述CNN网络和LSTM网络的参数通过利用历史风电功率数据及其对应的天气、风速、 风向、温度、压力、湿度数据采用误差反向传播法进行训练优化获得。

进一步地，所述CNN为一维卷积网络，可以提取输入向量的静态特征，其输出为：

其中，x_t为t时刻的输入特征向量；ω_j为卷积核权重矩阵；b为偏差值；k为卷积核个数。

进一步地，所述LSTM网络具体包括LSTM隐藏层、attention层、Dropout层和全连接层，其中LSTM隐藏层提取特征的过程为：

i_t＝σ(W_ixX_t+W_ihh_t-1+b_i)

f_t＝σ(W_fXX_t+W_fhh_t-1+b_f)

o_t＝σ(W_oXX_t+W_ohh_t-1+b_o)

式中，i_t为输入门、遗忘门f_t、输出门o_t和当前神经元候选值

W_iX，W_ih，W_fX，W_fh，W_oX，W_oh，W_CX，W_Ch分别表示相应门与当前输入的静态特征X_t和上个单元输出h_t-1相乘的 得到的矩阵权重，b_i，b_f，b_o，b_C为偏置项，σ为sigmoid函数；

新状态值C_t由上一状态值C_t-1、遗忘门f_t、输入门i_t以及当前神经元候选值

决定，得到 新状态值C_t后，可以得到隐藏层的输出值h_t，计算公式为：

h_t＝o_t*tanh(C_t)

式中，*表示各相乘向量中的元素按位乘积。

利用Attention层对隐藏层提取的特征向量进行计算，得到特征权重，然后将特征权重和 隐藏层提取的特征向量相乘的过程为：

计算当前时刻t对LSTM隐藏层最后一层输出序列中元素所分配的注意力权重a_ti，公式 如下：

式中，i表示LSTM隐藏层输出序列中元素的序号，T_h表示LSTM隐藏层输出序列中的序长度，e_ti表示LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。

计算特征权重向量，公式如下：

a′_t，i＝H(D，C_t，h)

式中，H表示特征权重向量函数，h_t表示LSTM隐藏层输出序列，h表示LSTM隐藏层最后一层所有时刻的输出特征序列，C_t表示LSTM隐藏层输出序列h_t相对应的attention机制的隐藏层状态。a′_t，i表示h_t中第i个元素的权重。

进一步地，所述步骤1中，对风电功率数据进行清洗的方法具体为：

采用聚类的方式，取相似度最大的三日数据对应时刻的风电功率值的均值填补空缺数据。 其中，聚类的特征包括天气、风速、风向、温度、压力、湿度等。

检查历史风电功率数据的平稳性，并采用前一天同一时刻的值填补极端数据。

优选的，所述CNN-LSTM模型采用python语言实现，基于CNN-LSTM的短期风电功率预测模型使用Keras深度学习库实现。

本发明的有益技术效果：

1.本发明提出了一种基于attention机制的CNN-LSTM短期风电功率预测方法，设计了相 应的风电功率预测模型，该模型由CNN-LSTM网络与LightGBM模型组合而成。针对LSTM 网络训练速度慢的缺点，添加了局部特征预提取模块，由卷积神经网络结构对局部特征进行 预提取，是处理长期时序数据问题的理想模型。同时，attention机制可以给隐藏层特征向量 分配不同的权重，突出训练中关键的特征，提升了预测准确度。

2.本发明提供的CNN-LSTM短期风电功率预测方法，基于CNN-LSTM的短期风电功率预测模型，并结合误差反向传播法则实现对参数的最优化求解。

附图说明

图1为基于attention机制的CNN-LSTM模型流程图；

图2为CNN网络结构；

图3为LSTM网络结构；

具体实施方式

为使本领域技术人员更加清楚和明确本发明的技术方案，下面结合实施例及附图。对本 发明作进一步详细的描述，但本发明的实施方式不限于此。

如图1-图3所示，本实施提供的CNN-LSTM短期风电功率预测方法，基于CNN-LSTM的预测模型，并结合误差反向传播法实现对参数的最优化求解，提升预测准确度。具体包括如下步骤：

步骤(1)、获取不同时刻的天气、风速、风向、温度、压力、湿度、风电功率等特征，对非数字特征进行one-hot独热编码，然后对输入特征进行归一化，并处理成模型需要的张量 形式，具体步骤是：

1)选取2020年1月1日至2020年7月31日的风电功率数据，一共24789条数据，按 照8：1：1的比例划分训练集、验证集和测试集，训练集、验证集、测试集数据分别为19831 条、2479条和2479条。

2)风电功率数据在收集过程中，会出现数据缺失和数据错误的情况，需要对数据进行预 处理，处理步骤为：

2.1)风电功率数据具有时序性，一般是连续且平滑的，通过检查数据的平稳性找出异常 数据，对于异常数据的处理，根据每天同一时刻的值具有相似性，因此本实施例采用前一天 同一时刻的值填补的方法进行处理。

2.2)对于风电功率原始数据的缺失值，本发明采用聚类的方式，取相似度最大的三天， 然后所求时刻风电功率值用所对应的三天对应时刻的平均值填充。聚类的特征为出风电功率 外的其他特征，如天气、风速、风向、温度、压力、湿度等。

3)构建CNN-LSTM模型的输入特征向量，选择特征因子，包括：预测点时刻的天气Wea_t、 预测点时刻的风速s_t、预测点时刻的风向Wd_t、预测点时刻的压力pr_t、预测点时刻的温度T_t、 预测点时刻的湿度H_t、预测点前一天同时刻的风电功率值y′_t等特征因子。对于天气信息，若 出现非数字特征，则采用one-hot独热编码的方式进行处理。最终，输入特征向量表示为 x_t＝[Wea_t，s_t，Wd_t，pr_t，T_t，H_t，...y′_t]。

4)对输入特征进行归一化处理，简少后续模型处理的运算量；具体为：采用min-max 归一化方法，归一化后的数据范围均在[0，1]之间，计算公式为：

式中，θ′为归一化以后的特征的值，包括天气、风速、风向、温度、压力、湿度、风电功率等，θ为原始数据中的特征的值，θ_max为所有数据中该特征的最大值，θ_min为所有数据中该特征的最小值。

步骤(2)、构建包含attention机制的CNN-LSTM网络，将预处理后的特征向量输入CNN 网络进行训练，通过CNN网络的卷积、池化等操作可以提取出输入向量的静态特征，将CNN 网络提取的特征输入LSTM网络的隐藏层进行训练，得到训练后的特征向量，具体步骤是：

1)采用CNN结构对局部特征进行预提取

在众多神经网络结构中，CNN常用于实现图像识别、图像分类、目标检测和人脸识别， 结构具有可学习的权重与偏差值的神经元，可增加数据的低层次特征，随着网络加深，将低 层次特征组合为多层次特征，引导后续模型针对此类特征的学习与调整，其具体结构如图3 所示。CNN结构通过将特定的特征编译于卷积结构中，使得正向传递函数更加高效，并且降 低了网络中的参数数量。CNN网络结构可实现时间轴的特征提取，其输出为：

其中，x_t为t时刻的输入特征向量；ω_j为卷积核权重矩阵；b为偏差值；k为卷积核个数。

2)利用LSTM模型进行风电功率预测

LSTM具有良好的记忆能力，可以学习时间序列长依赖信息，在对风电功率预测时，能 从风电功率历史数据中寻找规律信息。并且解决循环神经网络(RNN)会出现梯度消失和梯度 爆炸问题。

LSTM网络包括基本的LSTM层、attention层、Dropout层以及最后的Dense层，首先，将CNN网络提取的特征输入至LSTM层进行特征提取，其中，LSTM隐藏层的主要作用是 通过不断地学习训练提取有价值的信息，遗忘丢掉无价值的信息。其具体结构如图3所示。 相较普通RNN新增了三个“门”，分别是输入门i_t、遗忘门f_t、输出门o_t，这三个门是三个系 数，取值范围均在[0，1]之间。输入门主要是用来判断更新哪些属性以及新属性的内容，遗 忘门是为了遗忘以前无用的状态信息，输出门决定输出什么，三个门都由上个单元输出h_t-1和当前时刻输入X_t共同决定。其中输入门i_t、遗忘门f_t、输出门o_t和当前神经元候选值

的计算 公式如下：

i_t＝σ(W_iXX_t+W_ihh_t-1+b_i) (3)

f_t＝σ(W_fXX_t+W_fhh_t-1+b_f) (4)

o_t＝σ(W_oXX_t+W_ohh_t-1+b_o) (5)

式中，W_iX，W_ih，W_fx，W_fh，W_ox，W_oh，W_CX，W_Ch分别表示相应门与当前输入的静态 特征X_t和上个单元输出h_t-1相乘的得到的矩阵权重，b_i，b_f，b_o，b_C为偏置项，σ为sigmoid 函数；

新状态值C_t由上一状态值C_t-1、遗忘门f_t、输入门i_t以及当前神经元候选值

决定，得到 新状态值C_t后，可以得到隐藏层的输出值h_t，计算公式为：

h_t＝o_t*tanh(C_t) (8)

式中，*表示各相乘向量中的元素按位乘积。

本模型设置LSTM为2层，且每层神经元个数分别为64和16。

然后利用Attention机制对LSTM最后一层的特征向量进行计算，得到特征权重，然后将 特征权重和LSTM特征向量相乘后输入LSTM的Dropout层和全连接层，最后输出风电功率 预测值y′_t，具体步骤为：

1)利用attention机制计算特征权重向量

Attention机制的基本思想就是能够筛选有用信息，而其达到这样效果的实质是对LSTM 隐藏层的输出序列，即将LSTM最后一层的输出序列进行计算，得到特征权重向量，找到更 重要的影响因素，提高了信息处理的效率与准确性。

首先计算当前时刻t对LSTM隐藏层最后一层输出序列中元素所分配的注意力权重a_ti， 公式如下：

式中，i表示LSTM隐藏层输出序列中元素的序号，T_h表示LSTM隐藏层输出序列中的序长度，e_ti表示LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。

计算特征权重向量，公式如下：

a′_t，i＝H(D，C_t，h) (10)

式中，H表示特征权重向量函数，h_t表示LSTM隐藏层输出序列，h表示LSTM隐藏层最后一层所有时刻的输出特征序列，C_t表示LSTM隐藏层输出序列h_t相对应的attention机制的隐藏层状态。a′_t，i表示ht中第i个元素的权重。

利用步骤1中的获取的数据，采用误差反向传播法对包含attention机制的CNN-LSTM网 络进行训练，实现对参数的最优化求解，从而获得训练好的风电功率预测模型。

步骤(3)、当模型完成训练后利用验证集进行验证效果，最后对测试集进行预测，其中， 可以采用平均绝对百分误差MAPE评估模型的准确性，其计算公式为：

式中，

为预测值，y_i为真实值。

综上所述，本发明提供的基于attention机制的CNN-LSTM短期风电功率预测模型，考虑 天气、风速、风向、温度、压力、湿度等各类环境因素，能够有效提取数据的局部特征和时 序特征，合理分配特征权重，实现了对短期风电功率的精准预测。

以上仅是本发明的优选实例，并非对本发明保护范围的限制。应当指出，对于本技术领 域的人员，其根据本发明的技术方案或构思做出的同等替换或改变，都属于本发明的保护范 围。

Claims (4)

1.一种基于attention机制的CNN-LSTM短期风电功率预测方法，其特征在于：该方法包括如下步骤：

步骤(1)获取风力发电系统运行的风电功率数据，对风电功率数据进行清洗后，将不同时刻的风电功率数据与对应的天气、风速、风向、温度、压力、湿度等特征，其中，对非数字特征进行one-hot独热编码，然后对所有数据的特征进行归一化处理；

步骤(2)构建预测点时刻的输入特征向量，并将预处理后的特征向量输入CNN网络，通过CNN网络的卷积、池化等操作提取出输入特征向量的静态特征，然后将CNN网络提取的静态特征输入至LSTM网络的隐藏层进行特征提取，并利用Attention机制对隐藏层提取的特征向量进行计算，得到特征权重，然后将特征权重和隐藏层提取的特征向量相乘后输入LSTM的Dropout层和全连接层，输出预测的风电功率预测值；

其中，预测点时刻的输入特征向量具体包括：预测点时刻的天气、预测点时刻的风速、预测点时刻的风向、预测点时刻的压力、预测点时刻的温度、预测点时刻的湿度、预测点前一天同时刻的风电功率值；

所述CNN网络和LSTM网络的参数通过利用历史风电功率数据及其对应的天气、风速、风向、温度、压力、湿度数据采用误差反向传播法进行训练优化获得。

2.根据权利要求1所述的一种基于attention机制的CNN-LSTM短期风电功率预测方法，其特征在于：所述CNN为一维卷积网络，可以提取输入向量的静态特征，其输出为：

其中，x_t为t时刻的输入特征向量；ω_j为卷积核权重矩阵；b为偏差值；k为卷积核个数。

3.根据权利要求1所述的一种基于attention机制的CNN-LSTM短期风电功率预测方法，其特征在于：所述LSTM网络具体包括LSTM隐藏层、attention层、Dropout层和全连接层，其中LSTM隐藏层提取特征的过程为：

i_t＝σ(W_iXX_t+W_ihh_t-1+b_i)

f_t＝σ(W_fXX_t+W_fhh_t-1+b_f)

o_t＝σ(W_oXX_t+W_ohh_t-1+b_o)

式中，i_t为输入门、遗忘门f_t、输出门o_t和当前神经元候选值

W_iX，W_ih，W_fX，W_fh，W_oX，W_oh，W_CX，W_Ch分别表示相应门与当前输入的静态特征X_t和上个单元输出h_t-1相乘的得到的矩阵权重，b_i，b_f，b_o，b_C为偏置项，σ为sigmoid函数；

新状态值C_t由上一状态值C_t-1、遗忘门f_t、输入门i_t以及当前神经元候选值

决定，得到新状态值C_t后，可以得到隐藏层的输出值h_t，计算公式为：

h_t＝o_t*tanh(C_t)

式中，*表示各相乘向量中的元素按位乘积。

利用Attention层对隐藏层提取的特征向量进行计算，得到特征权重，然后将特征权重和隐藏层提取的特征向量相乘的过程为：

计算当前时刻t对LSTM隐藏层最后一层输出序列中元素所分配的注意力权重a_ti，公式如下：

式中，i表示LSTM隐藏层输出序列中元素的序号，T_h表示LSTM隐藏层输出序列的长度，e_ti表示LSTM隐藏层输出序列中待编码的元素和其它元素之间的匹配度。

计算特征权重向量，公式如下：

a′_t，i＝H(D，C_t，h)

式中，H表示特征权重向量函数，h_t表示LSTM隐藏层t时刻的输出序列，h表示LSTM隐藏层最后一层所有时刻的输出特征序列，C_t表示LSTM隐藏层输出序列h_t相对应的attention机制的隐藏层状态。a′_t，i表示h_t中第i个元素的权重。

4.根据权利要求1所述的一种基于attention机制的CNN-LSTM短期风电功率预测方法，其特征在于：所述步骤1中，对风电功率数据进行清洗的方法具体为：

采用聚类的方式，取相似度最大的三日数据对应时刻的风电功率值的均值填补空缺数据。其中，聚类的特征包括天气、风速、风向、温度、压力、湿度等。

检查历史风电功率数据的平稳性，并采用前一天同一时刻的值填补极端数据。

Images