CN110851959A - 一种融合深度学习和分位数回归的风速区间预测方法 - Google Patents

Abstract

本发明公开了一种融合深度学习和分位数回归的风速区间预测方法，使用卷积神经网络和长短时记忆神经网络来提取风速的特征，然后利用提取的特征进行分位数回归，为了实现将分位数与深度学习模型的结合本发明将分位数绝对值损失函数平方，这样可以将深度学习和分位数回归相结合，通过平方项可以解决分位数回归绝对值函数的在零点处不可导，使得QR的误差函数可微，结合QR的误差函数，对于CNN‑QR和LSTM‑QR可以利用BP算法和BPTT进行参数迭代。与现有技术中浅层的神经网络分为数回归的概率区间预测有更好的效果，在相同的标准预测区间下有更好的锐度。

Description

一种融合深度学习和分位数回归的风速区间预测方法

技术领域

发明属于电力信息处理，尤其涉及一种风速值概率区间预测的方法。

背景技术

面对化石能源的日益枯竭，对于清洁的新能源的需求约来越大，风能是一种清洁的新型能源，世界各个国家投入到风能的开发利用中，对于风能的开发利用也是我国实现可持续发展的重要举措，然后风电具有很强的波动性和不确定性，这对电网的调度、稳定性和高峰调频有重大影响，风电值区间的概率预测对于电网的调度具有重要的参考价值，风速值概率区间预测对于风能概率区间具有直接的意义。

目前国内外对于概率预测的方法的研究主要有三种包括经验误差统计法，概率密度预测法和分位数回归，经验误差统计方法是根据点预测的预测结果计算误差用点预测法估计预测误差序列，然后对误差序列进行分析得到误差值在不同置信水平下的分布信息，最后将点预测结果与误差概率相结合；对于概率密度预测，采用关联向量机(RVM)和通常使用Copula方法；分位数回归(Quantile regression，QR)是一种估计条件分位数函数的统计方法，它是一种检验协变量如何影响完全条件分布的位置和尺度的非参数方法。

发明内容

针对上述现有技术中风速预测中信息不足的问题，本发明提出一种融合深度学习和分位数回归的风速区间预测方法，将深度学习模型与分位数回归相结合，通过利用在不同分位数条件下的深度分位数回归风速预报提供更多的预测信息。

为了解决上述技术问题，本发明提出一种基于深度学习与分位数回归相结合的风速预测区间预测方法，使用卷积神经网络(Convolutional neural network，CNN)和长短时记忆神经网络(Long short memory neural network，LSTM)来提取风速的特征，然后利用提取的特征进行分位数回归，为了实现将分位数与深度学习模型的结合本发明将分位数绝对值损失函数平方，这样可以将深度学习和分位数回归相结合，通过平方项可以解决分位数回归绝对值函数的在零点处不可导，对于CNN-QR和LSTM-QR可以利用BP算法和BPTT进行参数迭代。本发明的风速预测区间预测方法，包括以下步骤：

步骤一、数据预处理：

将至少是两个风场一年的风速数据按照每五秒钟记录一个点，取一段时间连续的点作为一个样本，确定样本后对样本物理量进行归一化操作，归一化用最大最小归一化：

式(1)中，nx_t表示归一化后的t时刻的特征向量，x_min表示最小样本值构成的向量，x_max表示最大样本值构成的向量；

步骤二、构造深度学习分位数概率预测损失函数：

分位数回归对于任意变量X，其分布函数为F(x)＝P(X≤x)

这里inf{K：G(X)}K表示满足G(X)的最小值，

为X变量的τ分位数，分位数回归倾斜函数修改如下：

式(2)中，0<τ<1是一个分位数，ρ_τ(μ)代表分倾斜函数损失，μ＝y_τ(t)-y(t)，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值；分位数的误差表达式如下：

式(3)中，E_τ表示分位数的误差，N代表样本的个数，ρ_τ(μ)代表倾斜函数损失，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值；

深度学习分位数概率预测损失函数包括：

(1)QR与深度学习CNN结合，将QR的误差函数引入CNN的误差函数中得到CNN-QR损失函数，

CNN损失函数为：

式(4)中，E_cnn表示CNN的误差损失，N代表样本个数，y(t)表示观测值，y_t表示真实值；然后与分位数结合通获得的目标函数即为CNN-QR误差函数：

式(5)中，E_cnnτ表示CNN-QR的损失，N表示样本的个数，y_τ(t)表示τ分位数的观测值，y_τ表示t时刻的风速值，ρ_τ(μ)为公式(2)；

(2)QR与深度学习LSTM结合，将LSTM与QR结合的目标函数，得到LSTM-QR损失函数：

式(6)中，E_lstm表示LSTM的损失，N代表样本数，h(t)代表观测值，y_t代表真实值；加入分位数回归的损失函数的损失为得到LSTM-QR误差函数：

式(7)中，E_lstmτ表示LSTM-QR的损失，N表示样本的个数，y_τ(t)表示τ分位数的观测值，y_τ表示t时刻的风速值，ρ_τ(μ)为式(5)；

步骤三、优化参数，获得深度学习分位数概率预测损失模型：

针对上述得到的CNN-QR误差函数，对随机初始化参数运用SGD随机梯度下降算法和BP算法结合进行优化，从而得到CNN-QR模型；

针对上述得到的LSTM-QR误差函数，对随机初始化参数运用SGD随机梯度下降算法和BPTT算法结合进行优化，从而得到LSTM-QR模型

步骤四、得出深度学习分位数概率预测区间：

根据CNN-QR模型和LSTM-QR模型，将风速数据输入模型调节分位数的τ值得到不同分位数下的预测结果在两个分位数的中间差，即得到在相应标准区间的概率预测区间的风速值。

与现有技术相比，本发明的有益效果是：

本发明的风速区间预测方法，使用卷积神经网络和长短时记忆神经网络来提取风速的特征，利用提取的特征进行分位数回归，从而可以将深度学习和分位数回归相结合，通过平方项可以解决分位数回归绝对值函数的在零点处不可导，对于CNN-QR和LSTM-QR可以利用BP算法和BPTT进行参数迭代。与现有技术中浅层的神经网络分为数回归的概率区间预测有更好的效果，在相同的标准预测区间下有更好的锐度。

附图说明

图1为本发明的风速区间预测方法的流程图；

图2-1是本发明的CNN-QR模型在85％的标准预测区间下得到的风速预测结果；

图2-2是本发明的CNN-QR模型在95％的标准预测区间下得到的风速预测结果；

图2-3是现有技术中QRNN模型在85％的标准预测区间下得到的风速预测结果；

图2-4是现有技术中QRNN模型在95％的标准预测区间下得到的风速预测结果；

图2-5是本发明的LSTM-QR模型在85％的标准预测区间下得到的风速预测结果；

图2-6是本发明的LSTM-QR模型在95％的标准预测区间下得到的风速预测结果。

具体实施方式

下面结合附图及具体实施例对本发明做进一步的说明，但下述实施例绝非对本发明有任何限制。

如图1所示，融合深度学习和分位数回归的风速区间预测方法，包括以下具体步骤：

1)数据预处理：

中国塞罕坝和宁夏风场的一年的风速数据，将采集到的风速数据按照每五秒钟一个数据记录运用一个小时的数据作为一个训练样本预测一个小时候后的一个风速值，两个数据集的样本点分别是x_t＝[x₁,x₂,x₃...x₉₉,x_t]、h_t＝[h₁,h₂,h₃...h₇₈₃,h_t]式中x_t，h_t代表t时刻的样本点[x₁,x₂,x₃...x₉₉,x_t]和[h₁,h₂,h₃...h₇₈₃,h_t]是样本的特征值的数据，数据维数分别为100维和784维，Wind-ningxia风速数据集一共5552个有效样本点，每个样本点是100个历史数据作为特征值，其中5352个样本用于训练后200个用于测试，训练集分为两部分后10％用于验证，Wind-saihanba风速数据集一共有8276个有效样本点，每个样本点有784个历史数据作为特征值，7976个用于训练后300个用于测试，训练样本数分别为。确定样本后，需要对样本物理量进行归一化操作，归一化采用最大最小归一化：

其中，nx_t表示归一化后的t时刻的特征向量，x_min表示处理过的由最小值构成的向量，x_max为处理过的表示处理过的由最大值构成的向量。对于数据样本进行降维构建历史样本X(s×d)将样本的输入数据重定义为(10×10)和(28×28)的二维矩阵。

2)构造深度学习分位数概率预测模型：

分位数回归对于任意变量X，其分布函数为F(x)＝P(X≤x)

这里inf{K：G(X)}K表示满足G(X)的最小值，变量的τ分位数，分位数回归的原始损失函数为：

式中，0<τ<1是一个分位数，ρ_τ(μ)代表分位数回归损失，μ＝y_τ(t)-y(t)，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值；例如给出一系列的训练样例{(X_t,y_t}，t＝1,2,3....n，x_t∈r^l，y_t是t时刻对应的风速值，例如对于一个样例{x_i,y}，i＝1,2,3...l这里X是回归变量y是响应变量一个线性回归的表达可以表示为：

式中，t＝{1,2,3...n}，ω_i和b分别代表代表权重和偏执项，x_i代表输入样本数据，y_τ(t)表示τ分位数的观测值，分位数的误差表达式如下：

式(3)中，E_τ表示分位数的误差N代表样本的个数，ρ_τ(μ)代表倾斜函数损失，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值；如一个进程为τ＝0.05，0.5，0.95的QR模型得到条件中值和90％的预测区间。

本发明运用分位数回归的原始损失函数在倾斜绝对值函数上添加平方项，将倾斜绝对值函数在零点处的不可导问题变为可导，即，将分位数回归的倾斜函数修改为：

式(2)中，0<τ<1是一个分位数，ρ_τ(μ)代表分倾斜函数损失，μ＝y_τ(t)-y(t)y_τ(t)

，表示τ分位数的观测值，y(t)表示t时刻的风速值。

本发明中，创建如下两种具体的深度学习分位数概率预测损失函数

(1)分位数回归与深度学习卷积神经网络(CNN)结合，将QR的误差函数引入CNN的误差函数中得到CNN-QR损失函数，首先CNN目标误差损失函数为：

式(4)中，E_cnn表示CNN的误差损失，N代表样本个数，y(t)表示观测值，y_t表示真实值；然后与分位数结合获得的目标函数即为CNN-QR误差函数：

式(5)中，E_cnnτ表示CNN-QR的损失，N表示样本的个数，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值，ρ_τ(μ)由于QR的损失函数是非负的，所以ρ_τ(μ)可以写成如式(2)所示。损失函数向CNN损失函数添加倾斜的权重得到，与前面提及到的分位数回归的原始损失函数(即方程原始的倾斜绝对值函数)相比，本发明中使用μ的平方。

(2)QR与深度学习LSTM结合，将LSTM与QR结合的目标函数，得到LSTM-QR损失函数：

式(6)中，E_lstm表示LSTM的损失，N代表样本数，h(t)代表观测值，y_t代表真实值；加入分位数回归的损失函数的损失为得到LSTM-QR损失函数：

式(7)中，E_lstmτ表示LSTM-QR的损失，N表示样本的个数，y_τ(t)表示τ分位数的观测值，y_τ表示t时刻的风速值，ρ_τ(μ)为式(5)；

同理，分位数回归与深度学习长短时记忆神经网络(LSTM)结合，将LSTM与分位数回归结合的目标函数类似于式(5)也是将绝对值倾斜函数平方与深度学习模型的结合获得LSTM-QR损失函数。

3)参数优化，获得深度学习分位数概率预测损失模型：

式(5)表示的分位数的误差函数，在零点处存在不可导点不能运用误差反向传播算法，因此，本发明中运用平方解决分位数回归的原始损失函数中存在不可导点的问题将不可导点变的可导，对于CNN-QR，对随机初始化参数可以运用SGD随机梯度下降算法并结合BP算法进行参数优化，，从而得到CNN-QR模型。LSTM模型的权重值在所有的神经元之间都是相连的，不能用BP算法实现LSTM的误差传播，而解决这个问题可以运用SGD随机梯度下降算法和BPTT算法结合去更新LSTM的权重得到LSTM-QR模型

4)得出深度学习分位数概率预测区间：

根据CNN-QR模型和LSTM-QR模型，将风速数据输入模型调节分位数的τ值得到不同分位数下的预测结果在两个分位数的中间差，即得到在相应标准区间的概率预测区间的风速值。

根据步骤3)得到优化后的参数模型，Wind-ningxia和Wind-saihanba两个风速数据集按照之前步骤说明输入模型将数据集再用在经典的QRNN算法上，选取一对经典的评价指标平均覆盖误差(ACE)和区间锐度对模型的性能比较；

式(8)中，PINC为预测区间名义置信，M表示样本数，r_i为误差累计函数，ACE为平均覆盖误差，式(9)PI为预测区间。

另一个准则是区间锐度(IS)为：

这里

可以被计算，

代表PI的上界，代表PI的下界，(1-α)代表置信度，M表示样本数，表示观测值。

下面通过具体实施例子，对本发明做进一步详细说明，应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

实施例采用以下两个数据集：数据集A为Wind-ningxia风速数据集一共5552个有效样本点，每个样本点是100个历史数据作为特征值，其中5352个样本用于训练后200个用于测试，训练集分为两部分后10％用于验证，数据集B为Wind-saihanba风速数据集一共有8276个有效样本点，每个样本点有784个历史数据作为特征值，7976个用于训练后300个用于测试。

本发明中将QR引入卷积神经网络两种深度学习模型网络(CNNs)和长短时记忆神经网络(LSTMs)，然后这两个深度模型可以完成概率预测。在深度学习模型中使用分位数误差函数的平方，然后用BP算法对深度QR模型进行训练。为了证明所提方法的有效性，本发明中对两个风速数据集在不同的标准区间下得到CNN-QR的预测区间图2-1、图2-2，LSTM-QR模型下得到图2-5、图2-6，QRNN模型下得到图2-3、图2-4，并将这得到的预测结果在两个指标上与QRNN的结果进行了比较。

利用本发明中创建的CNN-QR模型和LSTM-QR模型，通过实验获得ACE和IS的值如下：

表1提出的方法和对比方法实验的ACE值

表2提出的方法和对比方法实验IS值

从表1可以看出，在这两个数据集上，所提出的深度学习QR算法都取得了最好的ACE结果，Wind-saihanba上CNN-QR的平均ACE值为-3.13％,LSTM-QR和QRNN分别为-4.87％和-6.2％，在另一个数据集上，它们是-2.7％，相应地,-1.7％和-4.6％。而对于这两个数据集，平均ace分别为-2.92％、-3.29％和-5.4％；这些平均ace表明，CNN-QR和LSTM-QR模型分别在两个数据集上获得了最好的结果。这些结果表明，所提出的深度学习QR模型对于不同的数据集具有各自的优势，一般而言所提出的深QR模型所得结果更接近于ACE的真实PINC。从表2可以看出，除了85％的置信区间外，CNN-QR模型得到了最好的结果，在85％的PINC，CNN-QR和QRNN两者之间的差距都很小，深度学习QR模型对于相对较低的置信区间没有优势。当置信区间大于85％时，CNN-QR模型表现良好，在两个数据集中LSTM-QR模型的性能并不比QRNN模型好。结果表明CNN-QR在IS中具有良好的性能。随着PINC的增加，IS的值也随之增加，IS的表现证明了CNN-QR模型更适合于概率预测。

尽管上面结合附图对本发明进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨的情况下，还可以做出很多变形，这些均属于本发明的保护之内。

Claims (1)

1.一种融合深度学习和分位数回归的风速区间预测方法，包括以下步骤：

步骤一、数据预处理：

将至少是两个风场一年的风速数据按照每五秒钟记录一个点，取一段时间连续的点作为一个样本，确定样本后对样本物理量进行归一化操作，归一化用最大最小归一化：

式(1)中，nx_t表示归一化后的t时刻的特征向量，x_min表示最小样本值构成的向量，x_max表示最大样本值构成的向量；

步骤二、构造深度学习分位数概率预测损失函数：

分位数回归对于任意变量X，其分布函数为F(x)＝P(X≤x)

这里inf{K：G(X)}K表示满足G(X)的最小值，为X变量的τ分位数，分位数回归倾斜函数修改如下：

式(2)中，0<τ<1是一个分位数，ρ_τ(μ)代表分倾斜函数损失，μ＝y_τ(t)-y(t)，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值；分位数的误差表达式如下：

式(3)中，E_τ表示分位数的损失，N代表样本的个数，ρ_τ(μ)代表倾斜函数损失，y_τ(t)表示τ分位数的观测值，y(t)表示t时刻的风速值；

深度学习分位数概率预测损失函数包括：

1)QR与深度学习CNN结合，将QR的误差函数引入CNN的误差函数中得到CNN-QR损失函数，

CNN损失函数为：

式(4)中，E_cnn表示CNN的损失，N代表样本个数，y(t)表示观测值，y_t表示真实值；然后与分位数结合通过引入QR获得的目标函数即为CNN-QR误差函数：

式(5)中，E_cnnτ表示CNN-QR的损失，N表示样本的个数，y_τ(t)表示τ分位数的观测值，y_τ表示t时刻的风速值，ρ_τ(μ)为公式(2)；

2)QR与深度学习LSTM结合，将LSTM与QR结合的目标函数，得到LSTM-QR损失函数：

式(6)中，E_lstm表示LSTM的损失，N代表样本数，h(t)代表观测值，y_t代表真实值；加入分位数回归的损失函数的损失得到LSTM-QR误差函数：

式(7)中，E_lstmτ表示LSTM-QR的损失，N表示样本的个数，y_τ(t)表示τ分位数的观测值，y_τ表示t时刻的风速值，ρ_τ(μ)为式(2)；

步骤三、优化参数，获得深度学习分位数概率预测损失模型：

针对上述得到的CNN-QR误差函数，对随机初始化参数运用SGD随机梯度下降算法和BP算法结合进行优化，从而得到CNN-QR模型；

针对上述得到的LSTM-QR误差函数，对随机初始化参数运用SGD随机梯度下降算法和BPTT算法结合进行优化，从而得到LSTM-QR模型

步骤四、得出深度学习分位数概率预测区间：

根据CNN-QR模型和LSTM-QR模型，将风速数据输入模型调节分位数的τ值得到不同分位数下的预测结果在两个分位数的中间差，即得到在相应标准区间的概率预测区间的风速值。

Images