CN112949902A - 一种基于lstm多状态向量序列到序列模型的径流预测方法 - Google Patents

Abstract

本发明涉及一种基于LSTM多状态向量序列到序列模型的径流预测方法，属于涉及数据驱动径流预测技术领域。为了更精确地进行径流预测，在长短期记忆人工神经网络LSTM下用序列到序列方式进行径流预测。首先准备数据集，并且进行数据的预处理，得到可用的序列数据；然后在将经过预处理的数据集划分成训练集、验证集、测试集三个互斥的部分；接着构建LSTM多状态向量序列到序列模型结构；最后定义损失函数、优化器，训练并测试模型。数据集上的试验结果表明，相对于已有的基于序列到序列的LSTM模型比较，本发明获得的径流预测结果具有较高的预测精度。

Description

一种基于LSTM多状态向量序列到序列模型的径流预测方法

技术领域

本发明涉及数据驱动径流预测技术领域，具体涉及一种基于LSTM多状态向量序列到序列模型的径流预测方法。

背景技术

径流预测模型在水文科学中有着悠久的历史，使用回归方法预测径流的首次尝试可以追溯到170年前，在水文科学中是一个具有挑战性和重要意义的非线性时间序列问题。由于流域水文特征、流域边界条件、人类活动、降雨的时空分布等复杂因素的影响，导致了非常复杂的非线性水文过程。径流预测模型有许多方法，包括物理模型和数据驱动模型，这两种类型都有自己的特点。物理模型基于实际的物理过程但受限于简化的假设，难以模拟非线性的水文过程，也就难以进行精准的径流预测；基于神经网络的数据驱动模型可以模拟高度非线性的复杂系统，因此提供了进行精准径流预测的可能性。循环神经网络(RNN)考虑了时间序列的序列信息，因此可以记忆先前的信息并捕捉时间动态特征。然而，当我们用较长的时间序列来训练传统RNN时，它们会出现梯度爆炸和梯度消失的问题。长短期记忆网络(LSTM)是一种改进的RNN，随着时间的推移保持对时间状态的记忆，其三个非线性门控单元可以调节存储单元信息流入和流出，能够克服传统RNN梯度爆炸和梯度消失的弱点。此外，基于序列到序列的LSTM模型(LSTM-S2S)展现了多步超前预测的良好性能，然而由于其架构内部只有一个状态向量(如图3所示)，该向量包含当前预测时间时刻之后的冗余信息，也就是模型会使用之后时刻的气象信息预测当前时刻的径流，而径流的实际产生过程不会受到其后续气象信息的影响，所以使用一个状态向量的模型与实际不一致，因此对于某些复杂的站点或者流域的预测精度不够高。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于LSTM多状态向量序列到序列模型(LSTM-MSV-S2S)的径流预测方法，减少了对水文物理机制的依赖性，显著提升径流预测的精度。

技术方案

一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于步骤如下：

步骤1：准备数据集

收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据；

步骤2：原始数据集的预处理

预处理过程包括异常值处理、空值处理、标准化、数据序列化，然后将经过预处理的数据集按照年份划分出训练集、验证集、测试集三个互斥的部分；

步骤3：构建LSTM多状态向量序列到序列模型

模型整体架构包含五个部分，分别是气象信息编码器、径流编码器、一个多状态向量序列形成的状态矩阵、一个解码器和一个全连接层；

步骤4：训练模型

首先定义损失函数、优化器，然后前向传播算法计算损失，并且反向传播算法计算梯度，然后更新网络参数的权重；模型进行多次迭代训练，在每次迭代中，用纳什效率系数NSE衡量其在验证集下的表现；

步骤5：测试模型

将测试数据集送入迭代后的模型中运行，得到预测结果，并根据真实数据对预测结果进行评估。

本发明技术方案更进一步的说：所述步骤2中，对原始数据集预处理的标准化方法公式为：

其中，u_i表示标准化之后的数据，μ表示第i个特征x_i在数据集上的均值，σ表示第i个特征x_i在数据集上的标准差。

本发明技术方案更进一步的说：所述步骤2中，对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：

其中，z_i表示序列化之后的第i个序列，x_i表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。

本发明技术方案更进一步的说：所述步骤3中，气象信息编码器、径流编码器、解码器都是由LSTM单元构造，每个LSTM单元的输入为当前时刻网络的输入x_t、上一时刻的隐藏状态h_t-1和上一时刻的单元状态c_t-1，神经元的输出为当前时刻隐藏状态h_t和当前时刻的单元状态c_t；三种门控单元分别为遗忘门f_t、输入门i_t、输出门o_t，遗忘门决定了上一时刻的单元状态c_t-1有多少信息保留到当前时刻c_t，输入门决定了当前时刻网络的输入x_t有多少保留到单元状态c_t，输出门决定了控制单元状态c_t有多少转化成隐藏状态h_t，每个门的更新如下：

输入门：

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

遗忘门：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

输出门：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

单元状态输入：

单元状态：

隐藏状态：

h_t＝tanh(c_t)⊙o_t

其中，W_i，W_f，W_o，W_c，U_i，U_f，U_o，U_c表示权重矩阵，b_i，b_f，b_o，b_c表示偏置向量，tanh表示双曲正切激活函数，σ表示sigmoid激活函数，⊙表示矩阵的元素相乘。

本发明技术方案更进一步的说：所述步骤3中，状态矩阵由两个编码器的输出拼接而成，拼接公式是：

其中(h_n+1，h_n+2，...，h_n+m)是气象信息编码器的LSTM单元在最后m个时间步的隐藏状态形成的序列，h是径流编码器的LSTM单元在最后1个时间步的隐藏状态。

本发明技术方案更进一步的说：所述步骤3中，全连接层对LSTM输出进行降维，将向量转化成标量，将解码器的输出序列(o₁，o₂，...，o_m)放入全连接层，就会得到最终的预测

本发明技术方案更进一步的说：所述步骤4中，模型进行多次迭代训练，在每次迭代中，使用测试集数据评估模型性能，并且使用纳什效率系数NSE作为指标；NSE计算公式如下：

其中m表示总时间，sim表示预测值，obs表示真实值，

表示真实值在时间上的均值。

有益效果

本发明利用深度学习算法，减少了对水文物理机制的依赖性，有效扩大了模型的适用范围。在循环神经网络用于时序预测思想的启发下，针对现有模型对重要站点径流预测精度不够的问题，提出了一种新的基于序列到序列的LSTM模型。首先，使用LSTM充分利用先前较长时间段的水文特征数据和径流值数据，并且能够捕捉序列的时间模式。其次，利用两个编码器同时捕获气象信息和先验径流信息，提高了捕捉有效特征的能力；最后模型内部会生成多个状态向量供给解码器解码，更符合于实际中气象对于径流的影响。因此，综上所述，模型在大多数站点上具有较高的预测精度。

附图说明

图1是本发明一种基于LSTM多状态向量序列到序列模型的径流预测方法的一种具体实施方式流程图；

图2是LSTM的结构示意图；

图3是只有一个状态向量的LSTM-S2S模型结构示意图；

图4是本发明一种基于LSTM多状态向量序列到序列模型的径流预测方法的网络结构模型。

具体实施方式

现结合实施例、附图对本发明作进一步描述：

如图1所示，本方法主要包含以下步骤，具体如下：

S1：准备数据集

收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据，例如降水量、气温、蒸发量、压强等。

S2：原始数据集的预处理

为了获得序列到序列模型可用的数据，必须对原始数据集进行预处理，包括异常值处理、空值处理、标准化、数据序列化等。首先从数据文件读入所有站点的气象数据和径流数据；然后进行异常值处理、空值处理，并对气象数据和径流数据进行准化；最后利用滑动窗口将气象数据和径流数据序列化，得到最终的数据集。经过预处理的数据集划分出训练集、验证集、测试集三个互斥的部分。

标准化公式如下：

其中，u_i表示标准化之后的数据，μ表示第i个特征x_i在数据集上的均值，σ表示第i个特征x_i在数据集上的标准差。

滑动窗口进行序列化的公式如下：

其中，z_i表示序列化之后的第i个序列，x_i表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。

S3：构建LSTM多状态向量序列到序列模型

本发明的模型整体架构包含五个部分(如图4所示)，分别是气象信息编码器、径流编码器、一个多状态向量序列形成的状态矩阵、一个解码器和一个全连接层。气象信息编码器、径流编码器、解码器都是基于LSTM计算单元构造的。

LSTM计算单元的结构如图2。每个LSTM单元的输入为当前时刻网络的输入x_t、上一时刻的隐藏状态h_t-1和上一时刻的单元状态c_t-1，神经元的输出为当前时刻隐藏状态h_t和当前时刻的单元状态c_t；三种门控单元分别为遗忘门f_t、输入门i_t、输出门o_t，遗忘门决定了上一时刻的单元状态c_t-1有多少信息保留到当前时刻c_t，输入门决定了当前时刻网络的输入x_t有多少保留到单元状态c_t，输出门决定了控制单元状态c_t有多少转化成隐藏状态h_t，每个门的更新如下：

输入门：

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

遗忘门：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

输出门：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

单元状态输入：

单元状态：

隐藏状态：

h_t＝tanh(c_t)⊙o_t

其中，W_i，W_f，W_o，W_c，U_i，U_f，U_o，U_c表示权重矩阵，b_i，b_f，b_o，b_c表示偏置向量，tanh表示双曲正切激活函数，σ表示sigmoid激活函数，⊙表示矩阵的元素乘。

气象信息编码器按照时间展开具有n+m个LSTM计算单元，它的输入是气象信息序列(包括过往的气象信息和未来的预测气象信息)，气象信息序列化之后是一个三维的数据集I_a，其维度是(batch_size，seq_len，input_size)，即小批量数据集大小、序列长度、输入特征维数。气象信息的特征包括如降水量、气温、蒸发量、压强等维度。第一个编码器的输出是LSTM单元在最后m个时间步的隐藏状态形成的序列，即(h_n+1，h_n+2，...，h_n+m)。

径流编码器按照时间展开具有n+1个LSTM计算单元，它的输入是先验的径流信息序列(也就是先前n+1天的径流信息)，径流信息序列化之后是一个二维的数据集I_s，其维度是(batch_size，seq_len，1)，即小批量数据集大小、序列长度、径流值维数。输入的径流值是标量，因此径流值维数等于1。第二个编码器的输出是LSTM单元在最后1个时间步的隐藏状态，记为h。

多状态向量序列形成的状态矩阵是连接编码器和解码器的桥梁，状态矩阵由两个编码器的输出拼接而成，具体的拼接公式是：

本模型的解码器按照时间展开具有m个LSTM计算单元，第i个单元的输入对应状态矩阵的第i个状态向量s_i，其输出记为向量o_i，将解码器在每个时间步的输出形成一个序列(o₁，o₂，...，o_m)，这个序列是矩阵的形式。

本模型在神经网络的最后有一个全连接层，它的作用是将向量转化成标量，因此将解码器的输出序列(o₁，o₂，...，o_m)放入全连接层，就会得到最终的预测

这个预测就是我们对之后1到m天径流值的预测。

S4：训练模型

本发明的模型是分站点进行训练和测试的，因此如果有n个站点，那么最后生成的模型也将会有n个。模型的训练采用通用神经网络训练算法，前向传播算法计算损失，并且反向传播算法计算梯度，然后更新网络参数的权重。整个训练集在每次迭代中，会计算模型在验证集下的纳什效率系数(NSE)。与训练过程计算MSE作为损失函数不同，我们在验证阶段使用NSE，不同的站点在训练过程中会保存在验证集下NSE达到最优的模型。NSE的具体计算公式如下：

其中m表示总时间，sim表示预测值，obs表示真实值，

表示真实值在时间上的均值。

S5：测试模型

在训练集上经过若干轮迭代后，每个站点都保存了它们训练完成后的最优的模型，从磁盘中读取模型和测试数据集，并将测试数据集送入模型中运行，得到预测结果

计算NSE并输出。

Claims (7)

1.一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于步骤如下：

步骤1：准备数据集

收集研究流域内各个气象站点与径流密切相关的特征数据和径流值数据；

步骤2：原始数据集的预处理

预处理过程包括异常值处理、空值处理、标准化、数据序列化，然后将经过预处理的数据集按照年份划分出训练集、验证集、测试集三个互斥的部分；

步骤3：构建LSTM多状态向量序列到序列模型

模型整体架构包含五个部分，分别是气象信息编码器、径流编码器、一个多状态向量序列形成的状态矩阵、一个解码器和一个全连接层；

步骤4：训练模型

首先定义损失函数、优化器，然后前向传播算法计算损失，并且反向传播算法计算梯度，然后更新网络参数的权重；模型进行多次迭代训练，在每次迭代中，用纳什效率系数NSE衡量其在验证集下的表现；

步骤5：测试模型

将测试数据集送入迭代后的模型中运行，得到预测结果，并根据真实数据对预测结果进行评估。

2.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤2中，对原始数据集预处理的标准化方法公式为：

其中，u_i表示标准化之后的数据，μ表示第i个特征x_i在数据集上的均值，σ表示第i个特征x_i在数据集上的标准差。

3.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤2中，对原始数据集预处理的数据序列化是使用滑动窗口的方式，滑动窗口进行序列化的公式如下：

其中，z_i表示序列化之后的第i个序列，x_i表示原始数据集的第i个特征，n表示原始数据集大小，l表示滑动窗口的大小。

4.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤3中，气象信息编码器、径流编码器、解码器都是由LSTM单元构造，每个LSTM单元的输入为当前时刻网络的输入x_t、上一时刻的隐藏状态h_t-1和上一时刻的单元状态c_t-1，神经元的输出为当前时刻隐藏状态h_t和当前时刻的单元状态c_t；三种门控单元分别为遗忘门f_t、输入门i_t、输出门o_t，遗忘门决定了上一时刻的单元状态c_t-1有多少信息保留到当前时刻c_t，输入门决定了当前时刻网络的输入x_t有多少保留到单元状态c_t，输出门决定了控制单元状态c_t有多少转化成隐藏状态h_t，每个门的更新如下：

输入门：

i_t＝σ(W_ix_t+U_ih_t-1+b_i)

遗忘门：

f_t＝σ(W_fx_t+U_fh_t-1+b_f)

输出门：

o_t＝σ(W_ox_t+U_oh_t-1+b_o)

单元状态输入：

单元状态：

隐藏状态：

h_t＝tanh(c_t)⊙o_t

其中，W_i，W_f，W_o，W_c，U_i，U_f，U_o，U_c表示权重矩阵，b_i，b_f，b_o，b_c表示偏置向量，tanh表示双曲正切激活函数，σ表示sigmoid激活函数，⊙表示矩阵的元素相乘。

5.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤3中，状态矩阵由两个编码器的输出拼接而成，拼接公式是：

其中(h_n+1，h_n+2，...，h_n+m)是气象信息编码器的LSTM单元在最后m个时间步的隐藏状态形成的序列，h是径流编码器的LSTM单元在最后1个时间步的隐藏状态。

6.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤3中，全连接层对LSTM输出进行降维，将向量转化成标量，将解码器的输出序列(o₁，o₂，...，o_m)放入全连接层，就会得到最终的预测

7.根据权利要求1所述的一种基于LSTM多状态向量序列到序列模型的径流预测方法，其特征在于所述步骤4中，模型进行多次迭代训练，在每次迭代中，使用测试集数据评估模型性能，并且使用纳什效率系数NSE作为指标；NSE计算公式如下：

其中m表示总时间，sim表示预测值，obs表示真实值，

表示真实值在时间上的均值。

Images