CN116756498A - 一种基于lstm和分位数回归的径流概率预测算法 - Google Patents

Abstract

本发明公开了一种基于LSTM和分位数回归的径流概率预测算法，它包括以下步骤：步骤1：数据预处理；步骤2：特征提取；步骤3：基于多任务学习的概率预测；步骤4：基于误差序列的预测值校正。本发明提出的模型由长短时记忆网络、分位数回归模块和实时误差校正模块组成。其中长短时记忆网络可以挖掘径流数据潜在的时序特征，分位数回归可以实现在没有先验假设的前提下获取概率预测结果，实时误差校正模块可以进一步提高预测精度，缩小预测区间。三者结合提升了模型的准确度并使概率预测更加接近真实分布。

Description

一种基于LSTM和分位数回归的径流概率预测算法

技术领域

本发明属于水文预报领域，特别涉及一种基于LSTM和分位数回归的径流概率预测算法。

背景技术

径流预测是水文预报研究中的重要内容，它的预测结果可以为防洪抗旱、水库调度和水力发电提供依据。流域的水资源优化配置和区域发展规划等工作都需要水资源量的空间分布和动态变化规律。但是如何精确地对径流进行预测仍旧面临许多困难。

目前，径流预测模型主要包括两类分别是过程驱动模型和数据驱动模型。前者的理论基础是水流的物理形成过程，具有实际的物理意义。但是，降雨径流过程受到地形、降雨分布、土壤性质、土地利用、气候变化等多种因素的影响，过程驱动模型需要大量数据建模，有时数据不足会给模型的成功建立带来影响，过程驱动模型的应用仍有一定的困难。另一种为数据驱动的径流预测模型，对资料信息的需求小且开发时间较快，已经有了广泛应用。

由于径流具有非线性和不确定性的特点，若不充分考虑径流的不确定性，在预测时会导致预测值与实际径流存在较大偏差。可能会因此导致洪涝灾害等重大灾情。因此，提出一种可以精确预测径流不确定性的模型是十分有必要的。

中国专利“CN111598353A一种小型水库当日径流预测系统”提供了一种小型书库当日径流预测系统，系统通过采集昨日降雨量、前日降雨量以及前n天的实际来流，通过灰色系统以及产汇流简单计算方法，可以较为精准的预测水库的当日来流。

中国专利“CN111598353A一种小型水库当日径流预测系统”所述的技术方案在预测径流时并没有充分的利用历史径流数据，也没有考虑到季节性以及突发情况所带来的影响。并且，给出的预测仅仅是点预测，并没有考虑到径流的不确定性。这样会导致预测结果与实际情况有极大地偏差。

发明内容

为了解决径流预测中存在的不确定性的问题，本发明提出了一种基于LSTM和分位数回归的径流概率预测算法，该模型由长短时记忆网络、分位数回归模块和实时误差校正模块组成。其中长短时记忆网络可以挖掘径流数据潜在的时序特征，分位数回归可以实现在没有先验假设的前提下获取概率预测结果，实时误差校正模块可以进一步提高预测精度，缩小预测区间。

为了实现上述的技术特征，本发明的目的是这样实现的：一种基于LSTM和分位数回归的径流概率预测算法，包括以下步骤：

步骤1，数据预处理：

筛选空值与异常值并填充相应数据，然后通过MIC方法计算相关特征；

步骤2，特征提取：

处理好的数据进入LSTM网络提取时序特征；

步骤3，基于多任务学习的概率预测：

从多任务学习的角度出发，将条件期望和条件分位数的估计结合起来进行训练，同时得到期望和多个分位数的预测结果，多任务学习的参数共享机制也使得条件期望和条件分位数互相促进彼此的学习，增强模型的泛化能力；

步骤4，基于误差序列的预测值校正：

在已有神经网络的基础上，融合实时误差校正方法对预测值校准，进一步提升模型的预测精度。

步骤1中数据预处理具体包括如下步骤：

步骤1.1，空值与异常值筛选与填充，采用均值法对异常数据和缺失数据进行补全；

步骤1.2，采用MIC方法计算相关特征，确定LSTM模型输入特征个数；

其中，MIC方法即为最大信息系数方法，所述MIC是针对两个变量之间的关系，将其离散在二维空间中，并且使用散点图来表示，将当前二维空间在x,y方向分别划分为一定的区间数，查看当前的散点在各个方格中落入的情况，即联合概率的计算，这样就解决了在互信息中的联合概率难求的问题，MIC的计算公式如下：

式中：mic是最大信息系数；a,b是在x,y方向上的划分格子的个数，本质上就是网格分布；B是变量，B的大小设置是数据量的0.6次方；I联合分布与边缘分布的相对熵。

步骤2中时序特征提取是将步骤1中处理好的数据输入LSTM网络，通过堆叠两层LSTM网络，并在其中加入Batch Normalization层和Dropout层实现；具体通过将神经网络的值归一化到0-1的标准区间内，以减少梯度消失，并加快训练速度，提升模型效率。

步骤3中径流的点预测与概率预测包括以下步骤：

步骤3.1，构建分位数回归模型：

分位数回归模型可以表示为：

Q_τ(x)＝argminE{L_τ(y,f(x))|X＝x}

式中：是第τ个条件分位数，其中0<τ<1；x_t是第t个自变量；y是第t个因变量；τ(t)是分位数τ的回归系数；

对于条件均值，考虑所有位置的损失函数为：

式中：y_j是第j点的径流真实值；是预测值；l₀为损失函数，是所有位置的误差平方和；

式中：j为模型包含的分位数的总数，本文中为10；α_i是第i个分位数，表示j点的α_i分位数预测值；

因此，将神经网络体系结构的不同输出的多个单独目标函数组合起来，即联合条件均值和条件分位数后的总体损失函数为：

式中：l为总体损失函数；

本模型中选择0.05，0.1，0.2，0.3，0.4，0.6，0.7，0.8，0.9，0.95十个分位点来构造条件分位数回归模型，然后使用0.05分位点作为区间下限，0.95分位数作为区间上限构造90％置信区间；

步骤3.2，构建基于多任务学习机制的概率预测模型：

原始数据经过神经网络提取时空特征后，最后一个隐藏层状态将进入输入层，在输出层中，联合条件均值和条件分位数，将隐藏层状态完全共享，得到最终的均值预测和概率预测结果，该方法将条件均值和条件分位数作为相关任务，因此损失函数应该同时考虑到这两个任务，并在输出层中完全参数共享。

步骤4具体包括以下步骤：

步骤4.1，真实值序列和神经网络模型得到的预测值序列相减，得到误差项序列e；

步骤4.2，利用AR自回归模型对误差序列构造线性回归，根据历史误差序列数据预测未来的误差值，得到下一时刻的误差序列值；

步骤4.3，将下一时刻误差序列值与下一时刻的预测值相加，得到校正过后的下一时刻预测值。

步骤4.2中的AR自回归模型是线性时间序列的一种，其主要是用变量自身之前历史数据的表现来预测其在现在或未来的表现情况，AR自回归预测只与变量自身的历史数据有关，所以称作自回归，其公式表示为：

式中：e_t是预报误差序列；θ是自回归模型的参数；p是自回归模型的阶数；k是预测点前误差量；ζ是方差为σ²的纯白噪声序列；

如果误差是真实误差，那么得到的就是真实的下一时刻真实值，所以预测的误差值精度越高，则校正后的结果越接近真实值，预测精度就会更高。

本发明有如下有益效果：

本发明可以克服现有技术存在的不足，创造性地提出本文提出了一种基于长短时记忆网络的径流概率预测模型，该模型由长短时记忆网络、分位数回归模块和实时误差校正模块组成；其中长短时记忆网络可以挖掘径流数据潜在的时序特征，分位数回归可以实现在没有先验假设的前提下获取概率预测结果，实时误差校正模块可以进一步提高预测精度，缩小预测区间。三者结合提升了模型的准确度并使概率预测更加接近真实分布。

附图说明

下面结合附图和实施例对本发明作进一步说明。

图1是本发明所述的基于LSTM和分位数回归的径流概率预测算法技术路线图。

图2是LSTM细胞结构图。

图3是基于LSTM和分位数回归的径流概率预测算法神经网络结构图。

图4是实时误差校正流程图。

图5是黄登水电站入库流量点预测结果。

图6是黄登水电站入库流量概率预测结果。

具体实施方式

下面结合附图对本发明的实施方式做进一步的说明。

实施例1：

参见图1-4，一种基于LSTM和分位数回归的径流概率预测算法，包括以下步骤：

步骤1，数据预处理：

步骤1.1，空值与异常值筛选与填充，采用均值法对异常数据和缺失数据进行补全；

步骤1.2，采用MIC方法计算相关特征，确定LSTM模型输入特征个数；

其中，MIC方法即为最大信息系数方法，所述MIC是针对两个变量之间的关系，将其离散在二维空间中，并且使用散点图来表示，将当前二维空间在x,y方向分别划分为一定的区间数，查看当前的散点在各个方格中落入的情况，即联合概率的计算，这样就解决了在互信息中的联合概率难求的问题，MIC的计算公式如下：

式中：mic是最大信息系数；a,b是在x,y方向上的划分格子的个数，本质上就是网格分布；B是变量当中提到B的大小设置是数据量的0.6次方；I是I是联合分布与边缘分布的相对熵。

步骤2，特征提取：

将步骤1中处理好的数据输入LSTM网络，通过堆叠两层LSTM网络，并在其中加入Batch Normalization层和Dropout层实现；具体通过将神经网络的值归一化到0-1的标准区间内，以减少梯度消失，并加快训练速度，提升模型效率。

其中所述Batch Normalization层为：批量标准化层。

所述Dropout层为：深度学习中防止过拟合而设置的一种算法。

步骤3，基于多任务学习的概率预测：

从多任务学习的角度出发，将条件期望和条件分位数的估计结合起来进行训练，同时得到期望和多个分位数的预测结果，多任务学习的参数共享机制也使得条件期望和条件分位数互相促进彼此的学习，增强模型的泛化能力；具体包括如下步骤：

步骤3.1，构建分位数回归模型：

分位数回归模型可以表示为：

Q_τ(x)＝argminE{L_τ(y,f(x))|X＝x}

式中：是第τ个条件分位数，其中0<τ<1；x_t是第t个自变量；y是第t个因变量；β(t)是分位数τ的回归系数；

对于条件均值，考虑所有位置的损失函数为：

式中：y_j是第j点的径流真实值；是预测值；l₀为损失函数，是所有位置的误差平方和；

式中：j为模型包含的分位数的总数，本实施例中为10；α_i是第i个分位数，表示j点的α_i分位数预测值；

因此，将神经网络体系结构的不同输出的多个单独目标函数组合起来，即联合条件均值和条件分位数后的总体损失函数为：

式中：l为总体损失函数；

本模型中选择0.05，0.1，0.2，0.3，0.4，0.6，0.7，0.8，0.9，0.95十个分位点来构造条件分位数回归模型，然后使用0.05分位点作为区间下限，0.95分位数作为区间上限构造90％置信区间；

步骤3.2，构建基于多任务学习机制的概率预测模型：

原始数据经过神经网络提取时空特征后，最后一个隐藏层状态将进入输入层，在输出层中，联合条件均值和条件分位数，将隐藏层状态完全共享，得到最终的均值预测和概率预测结果，该方法将条件均值和条件分位数作为相关任务，因此损失函数应该同时考虑到这两个任务，并在输出层中完全参数共享。

步骤4，基于误差序列的预测值校正：

在已有神经网络的基础上，融合实时误差校正方法对预测值校准，进一步提升模型的预测精度。

步骤4.1，真实值序列和神经网络模型得到的预测值序列相减，得到误差项序列e；

步骤4.2，利用AR自回归模型对误差序列构造线性回归，根据历史误差序列数据预测未来的误差值，得到下一时刻的误差序列值；

步骤4.3，将下一时刻误差序列值与下一时刻的预测值相加，得到校正过后的下一时刻预测值。

进一步的，步骤4.2中的AR自回归模型是线性时间序列的一种，其主要是用变量自身之前历史数据的表现来预测其在现在或未来的表现情况，AR自回归预测只与变量自身的历史数据有关，所以称作自回归，其公式表示为：

式中：e_t是预报误差序列；θ是自回归模型的参数；p是自回归模型的阶数；k是预测点前误差量；i是；ζ是方差为σ²的纯白噪声序列；

如果误差是真实误差，那么得到的就是真实的下一时刻真实值，所以预测的误差值精度越高，则校正后的结果越接近真实值，预测精度就会更高。

实施例2：

将本发明中的基于LSTM和分位数回归的径流概率预测算法应用于澜沧江流域的黄登水电站入库流量预报研究，计算过程可以分为4个部分。实施案例的具体步骤如下：

步骤一：数据预处理。

使用黄登水电站2018.1.1-2021.9.1的入库流量数据作为案例数据。首先对数据进行清洗和补全，使用均值法对空值和异常值进行完善，其中2018.1.1-2020.12.31的数据作为训练集，2021.1.1-2021.9.1的数据作为验证集。然后使用MIC(最大信息系数)方法进行计算，结果显示预测点前6条数据相关性较高，因此，将预测点的前6条数据作为相关特征输入LSTM(长短期记忆网络)模型进行预测。

步骤二：构建模型与特征提取。将历史径流数据作为特征输入LSTM模型。LSTM因为遗忘门的存在可以有效的避免梯度消失和梯度爆炸的问题，因此可以充分利用历史数据，充分挖掘历史径流数据中潜在信息。本算法通过堆叠两层LSTM来提取时间特征，并通过Batch Normalization层和Dropout层来加快训练速度，提升模型效率。

步骤三：径流的概率预测。经过LSTM可以提取到历史径流数据的时间特征，利用多任务机制将条件均值和条件分位数作为相关任务输入模型进行，可以同时得到点预测和概率预测结果。多任务学习的参数共享机制也使得条件期望和条件分位数互相促进彼此的学习，增强模型的泛化能力。

步骤四：原始径流数据在经过深度学习网络结构的提取，已经得到未来时刻的均值预测值和多个分位数预测值。为进一步提升预测值精度，本文在已有神经网络的基础上，融合实时误差校正方法对预测值校准，进一步提升模型的预测精度。对于点预测结果，将预测值与真实值的差值重新当做一个新数组，将其输入到AR模型中进行预测，得到误差项的预测值，然后将其加至预测值当值得到误差校正后的最终结果。对于分位数预测值，将各分位数与真实值作差得到一个新的误差序列，然后利用AR模型进行预测，得到条件分位数误差的预测值，将其加至条件分位数预测结果得到最终的预测结果。最终的点预测和概率预测结果如图5和图6所示。

Claims (6)

1.一种基于LSTM和分位数回归的径流概率预测算法，其特征在于，包括以下步骤：

步骤1，数据预处理：

筛选空值与异常值并填充相应数据，然后通过MIC方法计算相关特征；

步骤2，特征提取：

处理好的数据进入LSTM网络提取时序特征；

步骤3，基于多任务学习的概率预测：

从多任务学习的角度出发，将条件期望和条件分位数的估计结合起来进行训练，同时得到期望和多个分位数的预测结果，多任务学习的参数共享机制也使得条件期望和条件分位数互相促进彼此的学习，增强模型的泛化能力；

步骤4，基于误差序列的预测值校正：

在已有神经网络的基础上，融合实时误差校正方法对预测值校准，进一步提升模型的预测精度。

2.根据权利要求1所述的一种基于LSTM和分位数回归的径流概率预测算法，其特征在于，步骤1中数据预处理具体包括如下步骤：

步骤1.1，空值与异常值筛选与填充，采用均值法对异常数据和缺失数据进行补全；

步骤1.2，采用MIC方法计算相关特征，确定LSTM模型输入特征个数；

其中，MIC方法即为最大信息系数方法，所述MIC是针对两个变量之间的关系，将其离散在二维空间中，并且使用散点图来表示，将当前二维空间在x,y方向分别划分为一定的区间数，查看当前的散点在各个方格中落入的情况，即联合概率的计算，这样就解决了在互信息中的联合概率难求的问题，MIC的计算公式如下：

式中：mic是最大信息系数；a,b是在x,y方向上的划分格子的个数，本质上就是网格分布；B是变量，B的大小设置是数据量的0.6次方；I联合分布与边缘分布的相对熵。

3.根据权利要求1所述的一种基于LSTM和分位数回归的径流概率预测算法，其特征在于，步骤2中时序特征提取是将步骤1中处理好的数据输入LSTM网络，通过堆叠两层LSTM网络，并在其中加入Batch Normalization层和Dropout层实现；具体通过将神经网络的值归一化到0-1的标准区间内，以减少梯度消失，并加快训练速度，提升模型效率。

4.根据权利要求1所述的一种基于LSTM和分位数回归的径流概率预测算法，其特征在于，步骤3中径流的点预测与概率预测包括以下步骤：

步骤3.1，构建分位数回归模型：

分位数回归模型可以表示为：

Q_τ(x)＝argminE{L_τ(y，f(x))|X＝x}

式中：是第τ个条件分位数，其中0＜τ＜1；x_t是第t个自变量；y是第t个因变量；β(t)是分位数τ的回归系数；

对于条件均值，考虑所有位置的损失函数为：

式中：y_j是第j点的径流真实值；是预测值；l₀为损失函数，是所有位置的误差平方和；

对于条件分位数，损失函数为：

式中：j为模型包含的分位数的总数，取值为10；α_i是第i个分位数，表示j点的α_i分位数预测值；

因此，将神经网络体系结构的不同输出的多个单独目标函数组合起来，即联合条件均值和条件分位数后的总体损失函数为：

式中：l为总体损失函数；

本模型中选择0.05，0.1，0.2，0.3，0.4，0.6，0.7，0.8，0.9，0.95十个分位点来构造条件分位数回归模型，然后使用0.05分位点作为区间下限，0.95分位数作为区间上限构造90％置信区间；

步骤3.2，构建基于多任务学习机制的概率预测模型：

原始数据经过神经网络提取时空特征后，最后一个隐藏层状态将进入输入层，在输出层中，联合条件均值和条件分位数，将隐藏层状态完全共享，得到最终的均值预测和概率预测结果，该方法将条件均值和条件分位数作为相关任务，因此损失函数应该同时考虑到这两个任务，并在输出层中完全参数共享。

5.根据权利要求1所述的一种基于LSTM和分位数回归的径流概率预测算法，其特征在于，步骤4具体包括以下步骤：

步骤4.1，真实值序列和神经网络模型得到的预测值序列相减，得到误差项序列e；

步骤4.2，利用AR自回归模型对误差序列构造线性回归，根据历史误差序列数据预测未来的误差值，得到下一时刻的误差序列值；

步骤4.3，将下一时刻误差序列值与下一时刻的预测值相加，得到校正过后的下一时刻预测值。

6.根据权利要求5所述的一种基于LSTM和分位数回归的径流概率预测算法，其特征在于，步骤4.2中的AR自回归模型是线性时间序列的一种，其主要是用变量自身之前历史数据的表现来预测其在现在或未来的表现情况，AR自回归预测只与变量自身的历史数据有关，所以称作自回归，其公式表示为：

式中：e_t是预报误差序列；θ是自回归模型的参数；p是自回归模型的阶数；k是预测点前误差量；ζ是方差为σ²的纯白噪声序列；

如果误差是真实误差，那么得到的就是真实的下一时刻真实值，所以预测的误差值精度越高，则校正后的结果越接近真实值，预测精度就会更高。