CN113673775A - 基于cnn-lstm及深度学习的时空组合预测方法 - Google Patents

Abstract

本发明公开了基于CNN‑LSTM及深度学习的时空组合预测方法，包括：S1、通过MI互信息算法对原始数据集的时间和空间相关性进行分析，消除数据间的冗余信息，对原始数据进行降维；S2、建立MI‑CNN‑LSTM模型，对降维后的数据进行预测，CNN用于提取各站点空间信息，LSTM用于获取时间序列数据间的依赖信息；S3、在LSTM网络的LSTM层与输出层之间增加AT层，得到MI‑CNN‑ALSTM模型，并对训练集数据进行模型学习；S4、引入PSO算法对训练参数寻优，得到MI‑CNN‑ALSTM‑PSO模型；S5、对测试集进行预测得到最终的预测值。本发明提出的MI‑CNN‑ALSTM‑PSO时空组合预测模型进一步提高风电功率预测精度和稳定性。

Description

基于CNN-LSTM及深度学习的时空组合预测方法

技术领域

本发明涉及风电预测技术领域，具体涉及一种基于CNN-LSTM及深度学习的时空组合预测方法。

背景技术

在过去的几十年里，全球风力发电装机容量增长迅速。目前，风能作为一种清洁、绿色的可再生能源，被广泛的应用于实际生活中。所以风电场的风电预测为城市建设输送电能与电路建设能提供有效参考依据。

目前风电预测模型可分为三类：时间序列模型，机器学习和组合模型。时间序列模型包括自回归模型(Autoregressive Model,AR)、移动平均模型(Moving Average Model,MA)、自回归移动平均模型(Autoregressive Moving Average Model,ARMA)、自回归整合移动平均模型(Autoregressive Integrated Moving Average Model,ARIMA)等。时间序列模型在线性的、平稳的时间序列预测中具有较好的预测效果。为了改善在非线性和非平稳时间序列的预测效果，一些机器学习方法如BP(Back Propagation)神经网络，支持向量机(Support Vector Regression,SVR)被用于风电预测，并且效果有所提升。此外，组合模型比单一机器学习方法的预测效果有进一步提高，He Yaoya使用基于集合经验模态分解(EEMD)和最小绝对收缩选择算子-量化回归神经网络(LASSO-QNN)的风电预测组合模型，对提高风电预测性能，衡量和降低预测过程不确定性具有较好的能力。Jeng-Shyang Pan提出将自适应多组鲑鱼群算法AMSSA与BP神经网络结合的风电功率预测模型，对风电预测取得较好的预测结果；He Yaoyao提出了一种基于并行主从(MS)模型的多核并行分位数回归神经网络(MPQRNN)。该算法将所有分位数上的复杂预测任务划分为多个并行子任务，独立运行在不同的核上，从而可以充分利用多核CPU的性能优势，提高联合操作模型的计算效率，MPQRNN不仅可以提高QRNN的训练效率，而且可以获得精确的风电功率预测结果。ZhewenNiu提出基于注意的门控递归单元(AGRU)的序列模型，提高预测的准确性和稳定性；ZongxiQu提出新的混合分解技术(HDT)和改进的花授粉算法(FPA)的BP神经网络预测模型，非常适用于非平稳多步风速预测；Kejun Wang用K-means聚类算法处理数值天气预报，选择对预测精度影响巨大的天气数值作为DBN(深度信念网络)模型的输入，预测结果优于BP神经网络。Yan Jiang提出了基于增强变分模态分解、深度特征选择和多误差修正的概率风速预测框架，结果表明该方法具有较好的预测能力，可能更适合于具有非平稳性和非高斯性的数据；Peng Lu提出了基于时空(ST)分析，多输出支持向量机(MSVM)模型，来预测多个风电场的风电功率；Li Han提出空间重构(PSR)来重构风动力系统的相空间，其次使用主成分分析(PCA)最大程度的减少延迟时间和相位尺寸不当所带来的影响，进而使用资源分配网络(RAN)建立预测模型，分析结果表明，在48个小时中的预测误差约为3％，明显低于其他预测方法所获得的误差，并且该模型可以预测不同容量、不同海拔高度的涡轮机风电功率；LiuHongChi提出基于VMD-BPNN组合模型对风电功率预测精度提升。Shengdong Du提出了一种基于双向长短期(Bi-LSTM)的时间注意编码解码模型处理时间序列问题，能自适应学习长期依赖和隐藏的相关特征。Song Li提出了一种由神经网络、小波变换、特征选择和偏最小二乘回归(PLSR)组成的风电场发电预测的综合方法，有效克服了风电功率级数的非平稳性，提高预测精度。Ping Jiang提出了V-SVM(V支持向量机)混合风速预测模型，选择相邻站点的风速特征作为输入，并采用CS(杜鹃搜索)算法调整模型参数，该模型具有良好的非线性拟合能力和更高的精度。

但是以上方法主要在风速或风电预测过程中，使用信号分解、权重分配、深度学习、回归模型和参数优化等方法进行研究，主要根据时间序列的前后依赖关系进行数据预测，而且大多数风电风速预测方法仅使用单个站点的特征数据，没有考虑风电场相邻站点特征的潜在时空联系，忽略其在空间上的特征信息，使得预测准确性有一定局限性。

发明内容

为了更好利用多站点时空数据预测风电功率，本文利用两个风电场的多站点风电数据的时间和空间的相关性以及深度学习方法进行预测研究，提供了一种基于CNN-LSTM及深度学习的时空组合预测方法，本发明的深度学习算法包括MI算法、AT算法和PSO算法。

本发明克服其技术问题所采用的技术方案是：

一种基于CNN-LSTM及深度学习的时空组合预测方法，包括如下步骤：

S1、通过MI互信息算法对原始数据集的时间和空间相关性进行分析，消除数据间的冗余信息，对原始数据进行降维；

S2、建立MI-CNN-LSTM模型，对步骤S1降维后的数据进行预测，其中，CNN网络用于提取各站点空间信息，LSTM网络用于获取时间序列数据间的依赖信息；

S3、在LSTM网络的LSTM层与输出层之间增加AT层，得到MI-CNN-ALSTM模型，并对训练集数据进行模型学习；

S4、引入PSO算法对训练参数寻优，得到MI-CNN-ALSTM-PSO模型；

S5、通过MI-CNN-ALSTM-PSO模型对测试集进行预测，得到最终的预测值。

进一步地，步骤S1中，原始数据集是采集的过去t小时内n个站点的m维特征的风电数据，表示为：

X＝(X¹，X²,...,X^m)^n×t＝(X₁，X₂,...,X_t)∈R^n×m×t

上式中，n为观测站点编号，t为观测时间序列的窗口长度，m为数据特征维度；

则t时刻特征数据描述为：

上式中，WP为风电功率，WS为风速，WD为风向，TE为温度，PA为气压，DE为空气密度，i为站点编号。

进一步地，步骤S2中，将n个站点的m维特征数据组成n行m列矩阵，并将t个时刻的矩阵构造为时间分布层；

CNN网络的输入层维度为n×m×t，卷积层特征图的输出

为：

上式中，X_i+n,j+m是输入矩阵的第n行m列的值，f_cov(.)是选择激活函数，w_n,m为卷积核n行m列的权重，b_n,m是卷积核偏差，k为滑动窗口大小，输入矩阵使用多个卷积核进行卷积操作；

CNN池化层通过滤波器和滑动窗口步长进行降维下采样，再通过展平层将数据展平为一维阵列

其中

作为时间序列输入到LSTM网络的LSTM层。

进一步地，步骤S2中，LSTM网络内部包括三个门结构和一个用于存储记忆的状态模块；

设C_t为本LSTM单元存储的状态信息，x_t为输入层的输入，h_t为本单元隐含层的输出，f_t为遗忘门，i_t为输入门，

为当前时刻信息，o_t为输出门，“×”表示矩阵元素相乘，“+”表示相加运算，σ为sigmoid函数；

遗忘门：用于控制上一单元状态C_t-1被遗忘的程度，其表达式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)

输入门：用于控制哪些信息被加入到本单元中，其表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i)

单元存储的状态信息：用于根据f_t和i_t将新信息有选择的记录到C_t中，其表达式如下：

输出门：用于将C_t激活，并控制C_t被过滤的程度，其表达式如下：

o_t＝σ(W_o*[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

其中，W_f、W_i、

W_o分别为f_t、i_t、

o_t对应的权重矩阵，b_f、b_i、

b_o分别为f_t、i_t、

o_t对应的偏置项，tanh为双曲正切激活函数，定义如下：

σ(x)＝1/(1+e^-x)

tanh(x)＝(e^x-e^-x)/(e^x+e^-x)

传统的LSTM网络结构包括输入层、LSTM层和输出层，输出层则依据下式将h_t经过一个全连接层得到最终预测值y_t：

y_t＝σ(W_y*h_t+b_y)

上式中，W_y和b_y分别为权重矩阵和偏置项。

进一步地，步骤S3中，在LSTM网络的LSTM层与输出层之间增加AT层之后，通过下式得到注意力机制矢量G_t：

上式中，

为softmax激活函数，W_h为权重向量，b_h为偏置项；

依据下式将G_t与h_t作元素乘，得到AT层的输出

根据步骤S2中的y_t＝σ(W_y*h_t+b_y)，将

作为后续LSTM输出层的输入，并得到预测值y_t：

进一步地，步骤S4具体包括如下步骤：

S41、初始化：随机初始化粒子参数P_ξ，并定义初始种群的粒子，赋予其初始速度和位置；

S42、迭代：每个粒子在探索空间中单独的搜寻最优解，将其记录为当前个体极值，迭代函数如下：

v_ξ+1＝v_ξ+c₁*rand()*(pbest_ξ-x_ξ)+c₂*rand()*gbest_ξ-x_ξ)

x_ξ+1＝x_ξ+v_ξ+1

上式中，v_ξ是第ξ次迭代的速度，c₁和c₂是学习因子，rand()是介于(0,1)之间的随机数，粒子通过追寻局部最优解pbest(P_ξ)和全局最优解gbest(P_ξ)来确定后续位置，x_ξ是第ξ次迭代的位置；

S43、寻优：每个粒子单独进行寻优，并将个体极值与整个粒子群里的其他粒子共享，找到最优的那个个体极值作为整个粒子群的当前全局最优解；

S44、评估：每次迭代过程均对组合模型进行训练并计算出预测值及评价指标RMSE；

S45、停止迭代：MI-CNN-ALSTM-PSO模型在搜索过程中达到最大迭代次数且满足RMSE最优则停止，否则返回步骤S42继续更新粒子。

本发明的有益效果是：

1、由于原始数据集为多站点多维特征风电数据，本发明通过MI算法对数据集的时间和空间相关性进行分析，消除数据间的冗余信息，对原始数据集进行降维。

2、本发明考虑各站点的数据相关性，对降维后的数据利用CNN网络提取各站点空间信息，通过LSTM网络获取时间依赖信息，提出CNN-LSTM时空组合预测模型，该模型比常规组合模型有更好的预测性能。

3、本发明设计了CNN-LSTM时空预测模型，并采用MI、AT、PSO等深度学习算法，对其进行改进，提出了MI-CNN-ALSTM-PSO的时空组合预测模型，进一步提高风电功率预测精度和稳定性。

附图说明

图1为本发明实施例的基于CNN-LSTM及深度学习的时空组合预测方法的流程示意图。

图2为本发明实施例的LSTM网络的内部结构示意图。

图3为本发明实施例的CNN-LSTM模型的结构示意图。

图4为本发明实施例的MI-CNN-LSTM模型的结构示意图。

图5为本发明实施例的ALSTM模型的结构示意图。

图6为本发明实施例的MI-CNN-ALSTM模型的结构示意图。

图7为本发明实施例的PSO算法的流程示意图。

图8为本发明实施例的A区站A8风电数据曲线图。

图9为本发明实施例的B区站B8风电数据曲线图。

图10为本发明实施例的A8站点实际风电风速曲线图。

图11为本发明实施例的A区风电和风速数据ACF和PACF图。

图12为本发明实施例的各个模型预测误差对比图，其中，图12(a)为A区预测模型对比图，图12(b)为B区预测模型对比图，图12(a)和(b)中示出的是模型M1、M2、M3、M4、M5，图12(c)和(d)中示出的是模型M6、M7、M8、M9、M10。

图13为本发明实施例的A区预测精度与稳定性对比图。

图14为本发明实施例的B区预测精度与稳定性对比图。

具体实施方式

为了便于本领域人员更好的理解本发明，下面结合附图和具体实施例对本发明做进一步详细说明，下述仅是示例性的不限定本发明的保护范围。

如图1所示，本发明的实施例公开了一种基于CNN-LSTM及深度学习的时空组合预测方法，包括如下步骤：

S1、通过MI互信息算法对原始数据集的时间和空间相关性进行分析，消除数据间的冗余信息，对原始数据进行降维。

S2、建立MI-CNN-LSTM模型，对步骤S1降维后的数据进行预测，其中，CNN网络用于提取各站点空间信息，LSTM网络用于获取时间序列数据间的依赖信息。

S3、在LSTM网络的LSTM层与输出层之间增加AT层，得到MI-CNN-ALSTM模型，并对训练集数据进行模型学习。

S4、引入PSO算法对训练参数寻优，得到MI-CNN-ALSTM-PSO模型。

S5、通过MI-CNN-ALSTM-PSO模型对测试集进行预测，得到最终的预测值。

一、关于MI互信息算法

在风电场预测过程中，各风电站点多维特征变量之间存在一定的相关性。互信息法利用计算互信息函数来确定相关因子，是一种非线性的分析方法，在时间序列预测和特征筛选等领域有着广泛的应用。两个随机变量x和y的互信息可以定义为：

其中，p(x,y)是x和y的联合概率密度函数，p(x)和p(y)分别是x和y的边缘概率密度函数。

本实施例中，步骤S1通过MI互信息算法对原始数据集的时间和空间相关性进行分析，消除数据间的冗余信息，对原始数据进行降维。其中，原始数据集是采集的过去t小时内n个站点的m维特征的风电数据，表示为：

X＝(X¹，X²,...,X^m)^n×t＝(X₁，X₂,...,X_t)∈R^n×m×t (2)

上式中，n为观测站点编号，t为观测时间序列的窗口长度，m为数据特征维度；

则t时刻特征数据描述为：

上式中，WP为风电功率，WS为风速，WD为风向，TE为温度，PA为气压，DE为空气密度，i为站点编号。

本文多维特征风电功率预测问题，是对给定观测序列历史数据X＝(X₁，X₂,...,X_t-1)，X_t∈R^n×m×t，寻找观测特征变量X和目标预测变量Y(t)之间的非线性映射关系，即找到一个非线性映射函数使得Y(t)＝F(X₁，X₂,...,X_t-1)。

二、关于CNN卷积神经网络

卷积神经网络(CNN)是一种前馈多层神经网络，从输入到输出只有一个方向，同时具有强大的网格数据处理能力。

CNN卷积步骤主要包括：

卷积层，通过滑动窗口数据与卷积核做内积，提取不同位置数据的权重，得到一个新的矩阵，即特征图。

池化层，是一种降维采样操作，通过类似卷积层的滑动窗口方式得到窗口数据的平均数或最大值，其作用是逐渐降低数据体的空间尺寸，减少网络参数数量，降低计算资源耗费，同时也能够有效控制过拟合。通过这种下采样的方式，可最大限度激活数值大的特征，去除干扰和噪声信息。

全连接层，将池化后提取特征图的所有神经元与本层单元完全连接，再经过输出层的几个隐藏单元得到最后的输出结果。

三、LSTM网络

LSTM可解决循环神经网络(Recurrent Neural Network，RNN)长时间序列训练过程中存在的梯度爆炸、梯度消失与无法长久保存历史信息的问题。相比传统RNN网络，LSTM网络能够在更长的时间序列中有更好的表现。

LSTM网络内部包括三个门结构和一个用于存储记忆的状态模块，如图2所示；

设C_t为本LSTM单元存储的状态信息，x_t为输入层的输入，h_t为本单元隐含层的输出，f_t为遗忘门，i_t为输入门，

为当前时刻信息，o_t为输出门，“×”表示矩阵元素相乘，“+”表示相加运算，σ为sigmoid函数。

遗忘门：用于控制上一单元状态C_t-1被遗忘的程度，其表达式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f) (4)

输入门：用于控制哪些信息被加入到本单元中，其表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i) (5)

单元存储的状态信息：用于根据f_t和i_t将新信息有选择的记录到C_t中，其表达式如下：

输出门：用于将C_t激活，并控制C_t被过滤的程度，其表达式如下：

o_t＝σ(W_o*[h_t-1,x_t]+b_o) (8)

h_t＝o_t*tanh(C_t) (9)

式(4)-(9)中，W_f、W_i、

W_o分别为f_t、i_t、

o_t对应的权重矩阵，b_f、b_i、

b_o分别为f_t、i_t、

o_t对应的偏置项，tanh为双曲正切激活函数，定义如下：

σ(x)＝1/(1+e^-x) (10)

tanh(x)＝(e^x-e^-x)/(e^x+e^-x) (11)

传统的LSTM网络结构包括输入层、LSTM层和输出层，输出层则依据下式将h_t经过一个全连接层得到最终预测值y_t：

y_t＝σ(W_y*h_t+b_y) (12)

上式中，W_y和b_y分别为权重矩阵和偏置项。

四、CNN-LSTM模型

CNN具有很好的空间网格数据特征提取能力，LSTM则可以较好的分析时间序列数据间的依赖关系，因此本发明将CNN与LSTM结合。

具体地，步骤S2中，针对本发明的多站点多维特征数据，将n个站点m个特征的数据组成n行m列矩阵，并将t个时刻的矩阵数据构造为时间分布层，以获取更多时间序列数据的步长信息。

CNN模型输入层维度为n×m×t(6×6×30)，CNN卷积层特征图的输出

为：

上式中，X_i+n,j+m是输入矩阵的第n行m列的值，f_cov(.)是选择激活函数，w_n,m为卷积核n行m列的权重，b_n,m是卷积核偏差，k为滑动窗口大小，输入矩阵使用多个卷积核进行卷积操作。

CNN池化层则通过2×2或3×3滤波器和滑动窗口步长(stride＝2)进行降维下采样，最大限度激活权重大的特征，去除干扰和噪声信息，再通过展平层将数据展平为一维阵列

其中

作为时间序列输入到LSTM网络的LSTM层。最后，通过完全连接层和输出层获得目标站点的预测结果，如图3所示。

五、关于MI-CNN-LSTM模型

MI序列选择方法，可以实现对称图的特征处理，有效去除约50％的基于模型的特征和95％的对称图像素，且没有明显的损失，这说明MI可以剔除不相关和冗余的信息，识别最重要的特征。本实施例中，多维特征原始数据噪声较多，直接输入CNN-LSTM模型，会对模型预测性能造成干扰，因此基于CNN-LSTM模型，通过MI互信息算法对原始数据集X进行特征选择后再作为CNN的输入，从而减少CNN卷积的数据维度，在保持模型预测精度的前提下减少算法消耗，构造如图4所示的MI-CNN-LSTM模型。

六、MI-CNN-ALSTM模型

传统的LSTM模型，LSTM层直接连接到输出层。本实施例则将LSTM与注意力机制相结合，在LSTM隐含层的最后一个时刻加入注意力机制；现有技术中的LSTM-Attention方法能有效分析输入输出的相关性，以获得更多重要时间的整体特征，通过学习特征权重，提高网络表示能力。而本实施例要解决的是风速剧烈变化导致风电预测结果不稳定的问题，为了让模型更好的作出权重判断，提高模型的预测稳定性，本实施例提出了ALSTM模型，即，在原LSTM层与输出层之间增加AT层(即，Attention层)，其结构如图5所示；利用注意力机制将LSTM层t时刻的输出与MI-CNN-ALSTM模型最终预测结果相关联。AT层使用的激活函数为softmax函数，用于计算隐含层向量的权重；而输出层采用的激活函数为sigmoid函数，用于把向量映射到输出。

具体地，步骤S3中，在LSTM网络的LSTM层与输出层之间增加AT层之后，通过式(14)得到注意力机制矢量G_t：

式(14)中，

为softmax激活函数，W_h为权重向量，b_h为偏置项；

依据下式将G_t与h_t作元素乘，得到AT层的输出

根据步骤S2中的y_t＝σ(W_y*h_t+b_y)，将

作为后续LSTM输出层的输入，并得到预测值y_t：

在步骤S2的MI-CNN-LSTM模型的基础上，通过对LSTM网络添加注意力机制，得到如图6所示的MI-CNN-ALSTM模型。

七、PSO参数优化

在使用CNN和LSTM对多维特征进行预测过程中，CNN滤波器个数(n_filters)、CNN卷积核(n_kernel_size)、LSTM隐含层(n_lstm)、LSTM迭代次数(n_batch)等参数对模型预测性能影响较大，需对以上超参数进行优化。而PSO算法是基于鸟群捕食的行为研究的一种进化计算技术，通过群体中个体间的协作和信息共享来寻找最优解。因此，本实施例利用PSO对MI-CNN-ALSTM模型进行的以上参数进行寻优，采用不同参数对测试集进行迭代预测，并通过评价指标RMSE(Root Mean Square Error，均方根差)作为粒子最优解的评估标准，找到最优参数，从而得到最优的风电预测结果。

具体地，步骤S4所述的PSO算法具体步骤如下，如图7所示：

S41、初始化：随机初始化粒子参数P_ξ＝(n_filters,n_kernel_size,n_lstm,n_batch)，并定义初始种群的粒子，赋予其初始速度和位置；

S42、迭代：每个粒子在探索空间中单独的搜寻最优解，将其记录为当前个体极值，迭代函数如下：

v_ξ+1＝v_ξ+c₁*rand()*(pbest_ξ-x_ξ)+c₂*rand()*gbest_ξ-x_ξ) (17)

x_ξ+1＝x_ξ+v_ξ+1 (18)

式(17)和(18)中，v_ξ是第ξ次迭代的速度，c₁和c₂是学习因子，rand()是介于(0,1)之间的随机数，粒子通过追寻局部最优解pbest(P_ξ)和全局最优解gbest(P_ξ)来确定后续位置，x_ξ是第ξ次迭代的位置；

S43、寻优：每个粒子单独进行寻优，并将个体极值与整个粒子群里的其他粒子共享，找到最优的那个个体极值作为整个粒子群的当前全局最优解，满足公式(17)的计算过程；

S44、评估：每次迭代过程均对组合模型进行训练并计算出预测值及RMSE；

S45、停止迭代：MI-CNN-ALSTM-PSO模型在搜索过程中达到最大迭代次数且满足RMSE最优则停止，否则返回步骤S42继续更新粒子。

八、MI-CNN-ALSTM-PSO模型

通过上述步骤S1-S4，得到MI-CNN-ALSTM-PSO模型，如图1所示，所述MI-CNN-ALSTM-PSO模型主要包括以下部分：

(1)MI互信息：将过去t小时内n个站点的m维特征作为输入数据(30×6×6＝1080)，利用MI对原始数据(1080维)进行时间维度的初步特征选择，得到其中权重最高的前360维数据，组成30×6×2的网格数据。

(2)CNN卷积：对MI特征选择后的数据，进行卷积与池化，充分提取数据空间特征，数据展平成具有时序特征与空间特征的一维阵列，作为LSTM的输入。

(3)CNN-LSTM模型：CNN提取多站点空间信息，LSTM获时间序列记忆信息，CNN-LSTM模型充分考虑风电场各站点的时间和空间信息，进一步提高多站点预测能力。

(4)AT注意力机制：通过结合了局部AT机制的LSTM-AT模型对训练集数据进行模型学习。进一步注意LSTM在最后时刻的输出权重，提高预测能力。

(5)PSO参数选优：采用PSO算法对模型训练参数进行寻优。

(6)数据预测：采用PSO寻优之后的网络模型对测试集进行预测，得到其预测值。

九、实验及分析

本实施例对所述的基于CNN-LSTM及深度学习的时空组合预测方法进行实验及分析。

(一)实验数据集

实验数据来源美国国家可再生能源实验室(NERL)，取自圣克鲁斯岛(约西经120°，北纬34°)风电场和圣米格尔岛(约西经120°，北纬34°)风电场。从2019年7月28日到10月5日(10000条数据)，数据集采样时间间隔为10分钟。本数据集可在美国国家可再生能源实验室(NERL)官网获得。

所选风电场位于太平洋西南岸，地势西北低，主导风向为西北方向，风电站的研究区域如表1所示。

表1站点位置信息

选取A8和B8站点作为目标站点，其风电数据如图8和图9所示，实验采用前8000条数据(实曲线部分)作为训练集，后2000条数据(虚曲线部分)作为测试集；这里要说明的是，图8和9中的水平实线均代表平均值。该站点风电数据有如下特点：

1)风电数据具有高随机性与波动性；

2)该区域地理位置比较特殊，位于海上岛屿，风速变化强烈，风向难以捉摸，大气环境也变化无常；这些外部条件会导致风电预测更加困难，也可以进一步验证本实发明提出的组合预测模型的有效性。

(二)数据处理与分析

1)归一化

将有量纲的原始数据集变换为0～1范围之内无量纲的标量，这样不仅可以使后续模型处理更加快速，而且便于把不同单位或量级的指标能够进行比较和加权。

y＝(x-Min)/(Max-Min) (19)

其中，x为原始数据，Min为数据集x中的最大值，Min为数据集x中的最小值，y为归一化后的输出值。

2)数据相关性

图10为A8站点的风速和风电功率的趋势对比，从变化趋势可知，风电和风速数据具有一致的同步变化趋势。另外，A区各站点实际风电数据具有高度同步性。

表2 A区各个站点风电与预测点风电的相关性

表2为A区站点与目标站点距离和目标站点WP的相关性分析。从中可看出，临近A8站点的特征，与其相关性较大。反之，则相关性较小，风电数据相关性与距离成正相关。通过A区各站点的风电数据相关性分析可知，A5、A6、A8、A10、A11、A12站点距离和相关性具有良好的参考性，因此用这些站点的相关数据进行预测。

B区站点相关性分析如表3所示，同理，B区选用B8作为待预测中心站点，而选用B6、B7、B8、B9、B10、B13站点的相关数据进行预测。

表3 B区各个站点风电与预测点风电的相关性

3)风电自相关性分析

为了确定后续预测模型的时间步长，采用ACF和PACF准确分析风电数据的自相关性。从图11可以看出，在风电数据区间内，ACF图特征是拖尾，而PACF图特征是截尾，因此该风电数据满足自回归(AR)模型的特性，而从ACF图中可以看出风电数据在滞后30左右的时候进入置信区间之内，因此预测模型的时间步初步确定为30。

4)特征维度

表4为预测站点多维特征相关性分析。从中可以看出风电和风速具有高度相关性，风向也是影响风电一个重要因素，而密度、气压等，影响风电的程度微乎其微。

表4预测站点多维特征相关性对比

(三)评价指标

在本次实验中使用如下三种评估指标。其中：N为风电预测样本总个数，y(t)为t时刻原始观测站记录风电数据，

为t时刻风电预测值。MAE、RMSE和MASE值越小，表示模型预测精度越高。

平均绝对误差：

平均方根误差：

平均绝对标度误差：

(四)对比实验基准模型

表5实验对比基准模型

各个模型主要参数设置如表6所示。

表6各个模型主要参数

(五)预测模型实验数据分析

本节主要对组合预测模型的MI互信息、CNN卷积、LSTM-AT、PSO粒子群优化算法几个部分算法和预测模型，进行实验验证和对比分析。

1)CNN-LSTM卷积模型

各种模型预测指标对比如表9所示，CNN-LSTM的10组平均误差指标MAE、RMSE和MASE分别为0.196，0.414，0.356，比单一的LSTM、VMD-LSTM、EEMD-LSTM、TCN模型误差有明显降低，说明CNN-LSTM有更高的预测精度。

2)MI-CNN-LSTM模型

表7为MI特征选择并采用MI-CNN-LSTM模型预测的结果对比。当MI选择特征维度为900时，其预测指标RMSE为0.398，此时其中WP、WS、WD、TE为180维、DE为19维、PA为161维，相比CNN-LSTM(1080维)模型预测误差降低4％。而选择360维数据时，WP、WS均为180，预测结果最好(RMSE＝0.265)。

表7 MI特征维度选择分析

说明其他特征维度输入到CNN-LSTM模型中存在数据冗余，影响预测结果。这也与前面相关性分析得到的结果相似。

表8给出了A区MI特征选择360维数据的MI权重前60维数据，其中前20维特征都是A5、A8、A10、A11站点的风电和风速，这也说明MI特征选择的结果与表10各站点距离和特征相关性分析得到的结果相似。

表8 MI特征选择结果

从表9的预测结果误差指标可以看出，MI-CNN-LSTM的最终误差指标MAE、RMSE和MASE分别为0.060，0.265，0.164，其误差指标比CNN-LSTM模型降低约70％，36％和50％，说明了MI-CNN-LSTM的预测效果更好。

3)MI-CNN-ALSTM模型

MI-CNN-LSTM-AT组合模型对网格数据进行卷积，并对LSTM结构进行改进，增加局部AT。从表9可以看出，MI-CNN-ALSTM的误差指标MAE、RMSE、MASE分别为0.058、0.247、0152，比MI-CNN-LSTM模型的误差指标分别低8％、10％、7％，说明加入AT后的MI-CNN-ALSTM模型的预测精度明显优于MI-CNN-LSTM，从图12的预测误差对比柱状图中也可以看出，MI-CNN-ALSTM所有评价指标在两个区域的预测误差均为最优。

表9 A区站、B区站预测模型误差对比(MAE(kw),RMSE(kw),MASE(kw))

4)MI-CNN-ALSTM-PSO参数寻优

表10为PSO参数寻优结果，当参数n_filters、n_kernel_size、n_lstm、n_batch分别为46、2、37、64时，模型预测精度最高，误差最小，故选择该组参数作为模型训练参数。

表10 MI-CNN-LSTM-AT模型PSO粒子群参数寻优

(六)组合模型预测精度与稳定性分析

利用模型M3至M10对A区和B区站点风速数据分别进行20组预测实验，并对实验结果的误差指标RMSE进行对比，图13和图14为20组预测结果的箱线图对比。

从图中可以看出：1)CNN-LSTM的预测误差RMSE平均数为0.48，优于EEMD-LSTM、VMD-LSTM和TCN，可以说明CNN卷积在处理多站点相关性的时候明显优于信号分解。2)增加AT和MI的MI-CNN-ALSTM模型平均误差RMSE为0.24，预测效果也有明显提升。3)从稳定性的角度来看，本实施例所提出的模型经过PSO粒子群算法优化之后，其标准差为0.021，比MI-CNN-ALSTM标准差0.025稳定，预测误差进一步降低，同时预测模型的误差范围也更加平稳，更容易训练出更优的模型。

(七)实验总结

综合上述A区和B区的对比实验数据，可以得到如下结论：

1)MI作用：经过MI特征提取，消除冗余数据，如DE、PA特征几乎可以忽略不计。对提取后数据进行预测，实验效果提升明显。

2)常规预测模型：ARIMA模型能预测风电的主要趋势，也即是在风速发生突变与风电出现峰值时不能准确预测；而SVR与LSTM单个模型虽然能预测风电功率的大致走向，但是在预测时存在预测滞后的问题，并不能准确预测下一时刻的风电。TCN、VMD-LSTM和EEMD-LSTM等模型在多站点建立相关模型预测，也难以捕捉其空间相关性，并且算法时间开销较大，预测效果也不好。

3)CNN-LSTM模型：通过将各站点组成的网格卷积进行卷积，CNN卷积可提取多站点的空间信息，建立多站点之间的联系，同时与LSTM结合，又能保证时间特征上的完整性。CNN-LSTM充分结合两个模型的算法优势，提高风电预测性能。

4)MI-CNN-ALSTM模型：从表3可以看出，模型经过MI特征选择后，以CNN-LSTM为基础，在其输出单元最后时刻增加注意力机制，使输出时更加关注上一时刻的权重特征，从而进一步提高预测能力。

5)MI-CNN-ALSTM-PSO模型：主要作用包括：提升模型在风电急剧变化时的适应能力；能够更加准确的预测风电发生突变出现峰值与低谷的情况；基于PSO优化的MI-CNN-ALSTM模型使得预测精度更加稳定。

以上仅描述了本发明的基本原理和优选实施方式，本领域人员可以根据上述描述做出许多变化和改进，这些变化和改进应该属于本发明的保护范围。

Claims (6)

1.一种基于CNN-LSTM及深度学习的时空组合预测方法，其特征在于，包括如下步骤：

S1、通过MI互信息算法对原始数据集的时间和空间相关性进行分析，消除数据间的冗余信息，对原始数据进行降维；

S2、建立MI-CNN-LSTM模型，对步骤S1降维后的数据进行预测，其中，CNN网络用于提取各站点空间信息，LSTM网络用于获取时间序列数据间的依赖信息；

S3、在LSTM网络的LSTM层与输出层之间增加AT层，得到MI-CNN-ALSTM模型，并对训练集数据进行模型学习；

S4、引入PSO算法对训练参数寻优，得到MI-CNN-ALSTM-PSO模型；

S5、通过MI-CNN-ALSTM-PSO模型对测试集进行预测，得到最终的预测值。

2.根据权利要求1所述的方法，其特征在于，步骤S1中，原始数据集是采集的过去t小时内n个站点的m维特征的风电数据，表示为：

X＝(X¹，X²,...,X^m)^n×t＝(X₁，X₂,...,X_t)∈R^n×m×t

上式中，n为观测站点编号，t为观测时间序列的窗口长度，m为数据特征维度；

则t时刻特征数据描述为：

上式中，WP为风电功率，WS为风速，WD为风向，TE为温度，PA为气压，DE为空气密度，i为站点编号。

3.根据权利要求2所述的方法，其特征在于，步骤S2中，将n个站点的m维特征数据组成n行m列矩阵，并将t个时刻的矩阵构造为时间分布层；

CNN网络的输入层维度为n×m×t，卷积层特征图的输出

为：

上式中，X_i+n,j+m是输入矩阵的第n行m列的值，f_cov(.)是选择激活函数，w_n,m为卷积核n行m列的权重，b_n,m是卷积核偏差，k为滑动窗口大小，输入矩阵使用多个卷积核进行卷积操作；

CNN池化层通过滤波器和滑动窗口步长进行降维下采样，再通过展平层将数据展平为一维阵列

其中

作为时间序列输入到LSTM网络的LSTM层。

4.根据权利要求3所述的方法，其特征在于，步骤S2中，LSTM网络内部包括三个门结构和一个用于存储记忆的状态模块；

设C_t为本LSTM单元存储的状态信息，x_t为输入层的输入，h_t为本单元隐含层的输出，f_t为遗忘门，i_t为输入门，

为当前时刻信息，o_t为输出门，“×”表示矩阵元素相乘，“+”表示相加运算，σ为sigmoid函数；

遗忘门：用于控制上一单元状态C_t-1被遗忘的程度，其表达式如下：

f_t＝σ(W_f*[h_t-1,x_t]+b_f)

输入门：用于控制哪些信息被加入到本单元中，其表达式如下：

i_t＝σ(W_i*[h_t-1,x_t]+b_i)

单元存储的状态信息：用于根据f_t和i_t将新信息有选择的记录到C_t中，其表达式如下：

输出门：用于将C_t激活，并控制C_t被过滤的程度，其表达式如下：

o_t＝σ(W_o*[h_t-1,x_t]+b_o)

h_t＝o_t*tanh(C_t)

其中，W_f、W_i、

W_o分别为f_t、i_t、

o_t对应的权重矩阵，b_f、b_i、

b_o分别为f_t、i_t、

o_t对应的偏置项，tanh为双曲正切激活函数，定义如下：

σ(x)＝1/(1+e^-x)

tanh(x)＝(e^x-e^-x)/(e^x+e^-x)

传统的LSTM网络结构包括输入层、LSTM层和输出层，输出层则依据下式将h_t经过一个全连接层得到最终预测值y_t：

y_t＝σ(W_y*h_t+b_y)

上式中，W_y和b_y分别为权重矩阵和偏置项。

5.根据权利要求4所述的方法，其特征在于，步骤S3中，在LSTM网络的LSTM层与输出层之间增加AT层之后，通过下式得到注意力机制矢量G_t：

上式中，

为softmax激活函数，W_h为权重向量，b_h为偏置项；

依据下式将G_t与h_t作元素乘，得到AT层的输出

根据步骤S2中的y_t＝σ(W_y*h_t+b_y)，将

作为后续LSTM输出层的输入，并得到预测值y_t：

6.根据权利要求1所述的方法，其特征在于，步骤S4具体包括如下步骤：

S41、初始化：随机初始化粒子参数P_ξ，并定义初始种群的粒子，赋予其初始速度和位置；

S42、迭代：每个粒子在探索空间中单独的搜寻最优解，将其记录为当前个体极值，迭代函数如下：

v_ξ+1＝v_ξ+c₁*rand()*(pbest_ξ-x_ξ)+c₂*rand()*gbest_ξ-x_ξ)

x_ξ+1＝x_ξ+v_ξ+1

上式中，v_ξ是第ξ次迭代的速度，c₁和c₂是学习因子，rand()是介于(0,1)之间的随机数，粒子通过追寻局部最优解pbest(P_ξ)和全局最优解gbest(P_ξ)来确定后续位置，x_ξ是第ξ次迭代的位置；

S43、寻优：每个粒子单独进行寻优，并将个体极值与整个粒子群里的其他粒子共享，找到最优的那个个体极值作为整个粒子群的当前全局最优解；

S44、评估：每次迭代过程均对组合模型进行训练并计算出预测值及评价指标RMSE；

S45、停止迭代：MI-CNN-ALSTM-PSO模型在搜索过程中达到最大迭代次数且满足RMSE最优则停止，否则返回步骤S42继续更新粒子。

Images