CN112784479A - 一种洪水流量预测的方法 - Google Patents

一种洪水流量预测的方法 Download PDF

Info

Publication number
CN112784479A
CN112784479A CN202110035058.XA CN202110035058A CN112784479A CN 112784479 A CN112784479 A CN 112784479A CN 202110035058 A CN202110035058 A CN 202110035058A CN 112784479 A CN112784479 A CN 112784479A
Authority
CN
China
Prior art keywords
data
layer
representing
feature
flood
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110035058.XA
Other languages
English (en)
Other versions
CN112784479B (zh
Inventor
巫义锐
郭鸿飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hohai University HHU
Original Assignee
Hohai University HHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hohai University HHU filed Critical Hohai University HHU
Priority to CN202110035058.XA priority Critical patent/CN112784479B/zh
Publication of CN112784479A publication Critical patent/CN112784479A/zh
Application granted granted Critical
Publication of CN112784479B publication Critical patent/CN112784479B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Computer Hardware Design (AREA)
  • Geometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种洪水流量预测的方法，属于深度学习领域。该方法包括以下步骤：1，输入收集到的昌化地区过去洪水场次数据集，提取输入数据集的数据；2，将数据传入特征增强模块中，通过改写多层次的卷积神经网络拉大输入输出数据维度差，突出并得到洪水因子中的关键信息；3，在循环神经网络中引入特征提取模块与时间信息编码模块，从不同视角进行建模，并将增强后的数据传入到搭建好的神经网络中进行训练；4，双视角权重平衡并调节其比重，通过合并单元进行感知信息融合，完成训练；5，对测试集数据进行预测，得到最终的预测结果。本发明预测方法具有很强的准确性，预测效率高，可以快速完成洪水预测。

Description

一种洪水流量预测的方法
技术领域
本发明涉及一种洪水流量预测的方法，属于深度学习领域。
背景技术
洪水是由于暴雨、风潮等因素引起的江河湖泊水量迅速增加、水位迅猛上涨的一种自然现象，由于水体上涨超过一定水位从而威胁有关地区的安全，甚至造成灾害。因此，洪水的预测显得格外重要，一旦我们可以精准的提前预测到洪水，成千上万人的生命和财产便可得到保护，这使得洪水预报对于计算机和水文学界的研究人员而言都是紧迫而重要的任务。
时至今日，许多研究人员致力于设计准确而可靠的洪水预报模型，这些方法通常被分为两类：水文模型以及数据驱动模型。水文模型通过基于仿真的功能系统，对洪水的复杂水文过程进行概括和近似。水文物理模型通过对一条河流按相似原理缩小而获得其主要物理性质，描述了从线索到函数结果的复杂水文过程；而水文数学模型则遵循数学表达式相似的原理来描述水文现象物理过程却不考虑原型的物理本质，主要根据收集的历史洪水因素—降雨、径流等估计河流流量。
在不考虑洪水的复杂物理过程的情况下，数据驱动模型收集历史洪水数据，并通过学习收集的水文因素中的模式直接估算河流径流。随着深度学习结构的显着发展，研究人员已开始尝试使用LSTM(长短期记忆人工神经网络)相关网络进行准确的洪水预报，该网络将洪水过程视为随时间变化的顺序数据。
然而，由于洪水发生频率较低，产生机理复杂，在利用深度学习方法探究河流流量与特征因子间关系时会产生各样的问题，比如出现数据不足的问题，导致过拟合或低问题建模能力；同时如何有效地提取时间信息和特征信息在理解序列信息方面起着关键作用，这也带来了如何进行精准建模的问题。
发明内容
针对现有技术的不足，本发明提出了一种洪水流量预测的方法，通过特征增强与分离特征信息时间信息突出感知的洪水预测。
本发明为解决其技术问题采用如下技术方案：
一种洪水流量预测的方法，包括以下步骤：
步骤1，输入收集到的昌化地区过去洪水场次数据集，提取输入数据集的数据包括径流量、降雨量、水量蒸发量；
步骤2，将数据传入特征增强模块中，通过改写多层次的卷积神经网络拉大输入输出数据维度差，突出并得到洪水因子中的关键信息；
步骤3，在循环神经网络中引入特征提取模块与时间信息编码模块，从不同视角进行建模，并将增强后的数据传入到搭建好的神经网络中进行训练；
步骤4，双视角权重平衡并调节其比重，通过合并单元进行感知信息融合，完成训练；
步骤5，对测试集数据进行预测，得到最终的预测结果，完成精准预测的任务。
步骤2的具体过程如下：
步骤21，传入数据并将数据封装成批次大小的张量；
步骤22，特征增强模块中，在多层的卷积神经网络上通过一维数据的批归一化层对水文数据进行批归一化处理，稳定数据的分布会发生变化：
此次批量数据x的均值定义为：
Figure BDA0002893900810000021
其中：
μβ为此次批量数据的均值，xi为样本的数据值，m为此次批量数据的总量；
样本批次的方差定义为：
Figure BDA0002893900810000022
其中：
Figure BDA0002893900810000023
表示此次批量数据的方差；
接下来对x做归一化，得到
Figure BDA0002893900810000024
Figure BDA0002893900810000025
其中：∈为接近0的数，防止分母出现0；
引入缩放和平移变量，计算归一化后的值：
Figure BDA0002893900810000031
其中γ和β表示缩放因子与平移因子，yi表示归一化处理之后的值；
步骤23，在特征增强模块中完成对这些特征的增强，通过三层卷积神经网络来实现；在第一层处将特征维度拉大为原来的两倍，以1*1卷积用来改变维数，即将维度升高；在中间层我们改为1*3卷积层；在最后一层我们将高维度的特征缩减为原始数据尺寸，进行数据的传递；
步骤24，对洪水中的特征因子进行特征增强，产生具有与当前任务相关的尺寸的改进特征；处理过的特征描述将与原始特征数据进行融合，利用这些信息来探索河流流量与特征因子之间的关系模型；增强特征的描述定义为：
F(f)＝CB(B(f))
其中，f是洪水特征因子，B()是对特征的多次卷积操作，CB()代表特征增强功能，F(f)表示经过增强模块之后的数据。
所述步骤23中，三层卷积网络神经卷积核分别为1*1、1*3、1*1，通道数分别为32、64、32。
步骤3的具体过程如下：
步骤31，在每个神经元中，有一个特征提取模块F和一个时间信息编码模块T，分别充当单个输入样本上的特征提取模块和顺序输入上的时间信息编码器；
步骤32，在时间戳t时的特征提取模块F的输出定义为：
Figure BDA0002893900810000032
其中：
Figure BDA0002893900810000033
表示在时间戳t时的特征提取模块F的输出，F()表示特征提取模块，pi-1,t表示在时间戳t时第i层的特征提取模块F的输入，μi是第i层中F的参数；
步骤33，在时间戳t时的时间信息编码模块T的输出定义为：
Figure BDA0002893900810000034
其中：vi,t表示时间戳t在第i层的存储状态，vi,t-1表示上一时间点的时间信息存储状态，pi-1,t表示在时间戳t时第i层的特征提取模块F的输入，
Figure BDA0002893900810000046
表示第i层T的参数；
步骤34，在合并单元中融合来自两个单元的信息流，融合后的数据结果表示为：
Figure BDA0002893900810000041
其中ζ表示合并函数，通过同位元素对应相乘生成，pi,t表示融合后的数据结果；
步骤35，在训练的初期阶段以80％的概率禁止从时间信息编码模块T进行反向传播，在训练的初期从80％禁止开始，以隔离每一层的时间信息；随后在训练过程中逐渐降低禁止率；
步骤36，以LSTM为基础网络进行上述内容的改写，传入增强后的数据流进行模型的训练。
步骤36的具体过程如下：
(1)确定将从节点状态中丢弃的信息，其定义为：
ft＝σ(Wf*[ht-1，xt]+bf)
其中，xt表示这一神经元的输入，ht-1表示上一神经元的输出，bf表示偏置值，Wf表示权重，ft表示遗忘门的输出，σ表示Sigmoid函数；
(2)确定将在单元节点状态中存储的新信息，其定义为：
it＝σ(Wi*[ht-1,xt]+bi)
Figure BDA0002893900810000042
其中，it表示遗忘门层所决定的更新的值，
Figure BDA0002893900810000043
表示tanh层定义的添加到状态的候选值的向量，Wi表示遗忘门层的权重，WC表示tanh层的权重，bi表示遗忘门层的偏置值，bC表示tanh层的偏置值；
(3)更新单元状态，其定义为：
Figure BDA0002893900810000044
Figure BDA0002893900810000045
其中，Ct-1表示旧单元状态，Ct表示更新后的新单元状态，ft表示对旧单元状态的遗忘程度，通过循环神经网络实现，
Figure BDA0002893900810000056
表示单元中捕获的时间信息，T()表示时间信息编码模块；
(4)输出的内容将基于此刻的单元状态，首先通过Sigmoid层来决定要输出的单元状态的部分；随后将单元状态置于tanh即将值推到介于-1和1之间，并与Sigmoid门的输出相乘，其定义为：
Figure BDA0002893900810000051
ht＝ot*tanh(Ct)
其中，ot表示此刻的单元状态，Wo表示权重，bo表示偏置值，ζ表示合并函数，通过同位元素对应相乘实现，⊙表示同位元素对应相乘。
所述步骤5包括：
步骤51，分别通过MSE、RMSE、MAPE损失函数进行训练，其中，损失函数定义如下：
(1)MSE损失函数定义为：
Figure BDA0002893900810000052
其中，ym表示为真实值，
Figure BDA0002893900810000053
表示为预估值，M表示为测试样本总数；
(2)RMSE损失函数定义为：
Figure BDA0002893900810000054
(3)MAPE损失函数定义为：
Figure BDA0002893900810000055
(4)梯度优化算法采用Adam优化器实现，对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；
步骤52，网络模型在训练集上完成训练后，输入测试集的数据，通过批归一化层、特征增强模块、多视角感知模块及逻辑回归层，输出预测的洪水径流量。
所述步骤51中Adam优化器实现的步骤如下：
(1)t时间步的梯度定义为：
Figure BDA0002893900810000061
其中：gt表示梯度值，
Figure BDA0002893900810000062
表示参数θ的偏导，J()表示参数θ的目标函数值；
(2)计算梯度的指数移动平均数与梯度平方的指数移动平均数：
mt＝β1mt-1+(1-β1)gt
Figure BDA0002893900810000063
其中，β1表示为指数衰减率，控制权重分配，β2表示为指数衰减率，控制之前的梯度平方的影响情况，mt表示梯度的指数移动平均数，vt表示梯度平方的指数移动平均数，mt-1表示上一轮的指数移动平均数，vt-1表示上一轮的梯度平方的指数移动平均数；
(3)对vt进行修正，定义为：
Figure BDA0002893900810000064
Figure BDA0002893900810000065
其中：
Figure BDA0002893900810000066
表示计算偏差校正后的指数移动平均数，
Figure BDA0002893900810000067
表示计算偏差校正后的梯度平方的指数移动平均数；
(4)更新参数，定义为：
Figure BDA0002893900810000068
其中，θt表示结果参数，θt-1表示上一轮更新后的参数，α表示为学习率，默认为0.001。
本发明的有益效果如下：
(1)本发明执行特征增强是在小数据集上预测洪水的一项合理的解决方案。通过对一维卷积神经网络改写成瓶颈式结构，拉大输入输出维度差，实现通道间的信息交互，对洪水中的特征因子进行特征增强，从而产生具有与当前任务相关的尺寸的改进特征。处理过的特征描述将与原始特征数据进行融合，利用这些信息来探索河流流量与特征因子之间的关系模型。
(2)本发明将对洪水数据中的特征信息感知与时间信息的感知在训练初期分离开来，分别感知洪水序列这两方面的内容使他们更加突出。对神经元单元进行改写，加入特征提取模块F与时间信息编码模块T，从不同的视角进行建模，着重把握不同视角下的信息流向并对感知信息进行融合，达到精准预测的目的。
附图说明
图1为本发明流程图。
图2为本发明网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明做更进一步的具体说明。
如图1所示，本发明一种洪水预测的方法，包括以下步骤：
步骤1：输入收集到的昌化地区过去洪水场次数据集，提取输入数据集的数据，包括径流量、降雨量、水量蒸发量等；
步骤2：包括以下步骤：
首先，传入数据并将数据封装成批次大小的张量；
其次，在特征增强模块中，在多层的卷积神经网络上通过一维数据的批归一化层处理对水文数据进行批归一化处理，可以避免因每一次参数迭代更新后，上一层网络的输出数据经过这一层网络计算后，数据的分布会发生变化，为下一层网络的学习带来困难的问题：
此次批量数据x的均值定义为：
Figure BDA0002893900810000071
其中：
μβ为此次批量数据的均值，xi为样本的数据值，m为此次批量数据的总量；
样本批次的方差定义为：
Figure BDA0002893900810000072
其中：
Figure BDA0002893900810000073
表示此次批量数据的方差；
接下来对x做归一化，得到
Figure BDA0002893900810000074
Figure BDA0002893900810000081
其中：∈为接近0的数，防止分母出现0；
引入缩放和平移变量，计算归一化后的值：
Figure BDA0002893900810000082
其中γ和β表示缩放因子与平移因子，yi表示归一化处理之后的值；
然后，在该模块中完成对这些特征的增强而不是忽视其中的特征因子，因此在第一层处将特征维度拉大为原来的两倍而不是进行特征的降维，以1*1卷积用来改变维数，即将维度升高，使得输入输出维度差距变大。使得洪水因子中的关键信息更加明显。在中间层我们改为1*3卷积层以适用于1维序列数据的处理，它可以看作是一个更小的输入输出维度的瓶颈进行更有效的特征提取。在最后一层我们将高维度的特征缩减为原始数据尺寸，进行数据的传递以便后续模型的学习；
最后，对洪水中的特征因子进行特征增强，从而产生具有与当前任务相关的尺寸的改进特征。处理过的特征描述将与原始特征数据进行融合，利用这些信息来探索河流流量与特征因子之间的关系模型。增强特征的描述定义为：
F(f)＝CB(B(f))
其中，f是洪水特征因子，B()是对特征的多次卷积操作，CB()代表特征增强功能，F(f)表示经过增强模块之后的数据。
步骤3：如图2所示网络结构图，包括以下步骤：
首先，在每个神经元中，有一个特征提取模块F和一个时间信息编码模块T，分别充当单个输入样本上的特征提取模块和顺序输入上的时间信息编码器；
在时间戳t时的特征提取模块F的输出定义为：
Figure BDA0002893900810000083
其中：
Figure BDA0002893900810000084
表示在时间戳t时的特征提取模块F的输出，F()表示特征提取模块，pi-1，t表示在时间戳t时第i层的特征提取模块F的输入，μi是第i层中F的参数；
在时间戳t时的时间信息编码模块T的输出定义为：
Figure BDA0002893900810000091
其中vi,t表示时间戳t在第i层的存储状态，vi，t-1表示上一时间点的时间信息存储状态，pi-1，t表示在时间戳t时第i层的特征提取模块F的输入，
Figure BDA0002893900810000094
表示第i层T的参数。T通过LSTM或Sigmoid(Conv())即常规循环神经网络实现；
其次，在合并单元中融合来自两个单元的信息流，融合后的数据结果表示为：
Figure BDA0002893900810000092
其中ζ表示合并函数，通过同位元素对应相乘生成；
pi,t表示融合后的数据结果；
然后，在训练的初期阶段以80％的概率禁止从时间信息编码模块T进行反向传播，这可以减少两个模块对数据流的复杂共适应并增强模型的泛化能力。因此，在训练的初期从80％概率禁止开始，以隔离每一层的时间信息，并且只有F的梯度可以反向传播到先前的层，这使得时间流中的反向传播链被大大缩短，特征信息可以被轻松捕获。通过在训练过程中逐渐降低禁止率以合并具有突出特征信息的时间信息，可以在不同的时间解耦学习两个数据流的工作情况。其中所设计LSTM的步骤如下：
(1)确定将从节点状态中丢弃的信息。该判定由遗忘门层即Sigmoid层决定。它为单元状态Ct-1中的每个数字输出0到1之间的数字。1代表完全保持，而0代表完全摆脱，其定义为：
ft＝σ(Wf*[ht-1，xt]+bf)
其中，xt表示这一神经元的输入，ht-1表示上一神经元的输出，bf表示偏置值，Wf表示权重，ft表示遗忘门的输出，σ表示Sigmoid函数；
(2)确定将在单元节点状态中存储的新信息，其定义为：
it＝σ(Wi*[ht-1,xt]+bi)
Figure BDA0002893900810000095
其中，it表示遗忘门层所决定的更新的值，
Figure BDA0002893900810000093
表示tanh(双曲正切)层定义的添加到状态的候选值的向量，Wi表示遗忘门层的权重，WC表示tanh层的权重，bi表示遗忘门层的偏置值，bC表示tanh层的偏置值；
(3)更新单元状态，其定义为：
Figure BDA0002893900810000101
Figure BDA0002893900810000102
其中，Ct-1表示旧单元状态，Ct表示更新后的新单元状态，ft表示遗忘门的输出，T表示时间信息编码模块，通过循环神经网络实现，
Figure BDA0002893900810000103
表示单元中捕获的时间信息，T()表示时间信息编码模块；
(4)输出的内容将基于此刻的单元状态，首先通过Sigmoid层来决定要输出的单元状态的部分。随后将单元状态置于tanh即将值推到介于-1和1之间，并与Sigmoid门的输出相乘，其定义为：
Figure BDA0002893900810000104
ht＝ot*tanh(Ct)
其中，ot表示此刻的单元状态，Wo表示权重，bo表示偏置值，F表示特征提取模块，由卷积神经网络实现，ζ表示合并函数，通过同位元素对应相乘实现，⊙表示同位元素对应相乘；
最后，以LSTM为基础网络进行上述内容的改写，传入增强后的数据流进行模型的训练。
步骤5：包括以下步骤：
首先，分别通过MSE(均方差)、RMSE(均方根误差)、MAPE(平均绝对百分比误差)损失函数进行训练，用以估量模型的预测值与真实值的不一致程度。其中损失函数越小，模型的鲁棒性就越好，并通过不断的迭代计算，使用梯度下降的优化算法，是损失函数降低，算法达优。其中，损失函数定义如下：
(1)MSE损失函数定义为：
Figure BDA0002893900810000105
其中，ym表示为真实值，
Figure BDA0002893900810000106
表示为预估值，M表示为测试样本总数；
(2)RMSE损失函数定义为：
Figure BDA0002893900810000111
(3)MAPE损失函数定义为：
Figure BDA00028939008100001110
(4)梯度优化算法采用Adam优化器实现，对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；
其中，Adam(自适应矩估计)实现的步骤如下：
(1)t时间步的梯度定义为：
Figure BDA0002893900810000112
其中：gt表示梯度值，
Figure BDA0002893900810000113
表示参数θ的偏导，J()表示参数θ的目标函数值；
(2)计算梯度的指数移动平均数与梯度平方的指数移动平均数：
mt＝β1mt-1+(1-β1)gt
Figure BDA0002893900810000114
其中，β1表示为指数衰减率，控制权重分配，β2表示为指数衰减率，控制之前的梯度平方的影响情况，mt表示梯度的指数移动平均数，vt表示梯度平方的指数移动平均数，mt-1表示上一轮的指数移动平均数，vt-1表示上一轮的梯度平方的指数移动平均数；
(3)由于m0初始化为0，会导致mt偏向于0，需要对梯度均值mt进行偏差修正，同理对vt进行修正，定义为：
Figure BDA0002893900810000115
Figure BDA0002893900810000116
其中：
Figure BDA0002893900810000117
示计算偏差校正后的指数移动平均数，
Figure BDA0002893900810000118
表示计算偏差校正后的梯度平方的指数移动平均数；
(4)更新参数，定义为：
Figure BDA0002893900810000119
其中，θt表示结果参数，θt-1表示上一轮更新后的参数，α表示为学习率，默认为0.001；
最后，我们的网络模型在训练集上完成训练后，输入测试集的数据，通过批归一化层、特征增强模块、多视角感知模块及逻辑回归层，输出预测的洪水径流量。

Claims (7)

1.一种洪水流量预测的方法，其特征在于：包括以下步骤：
步骤1，输入收集到的待预测地区过去洪水场次数据集，提取输入数据集的数据包括径流量、降雨量、水量蒸发量；
步骤2，将数据传入特征增强模块中，通过改写多层次的卷积神经网络拉大输入输出数据维度差，突出并得到洪水因子中的关键信息；
步骤3，在循环神经网络中引入特征提取模块与时间信息编码模块，从不同视角进行建模，并将增强后的数据传入到搭建好的神经网络中进行训练；
步骤4，双视角权重平衡并调节其比重，通过合并单元进行感知信息融合，完成训练；
步骤5，对测试集数据进行预测，得到最终的预测结果，完成精准预测的任务。
2.根据权利要求1所述的一种洪水流量预测的方法，其特征在于：步骤2的具体过程如下：
步骤21，传入数据并将数据封装成批次大小的张量；
步骤22，特征增强模块中，在多层的卷积神经网络上通过一维数据的批归一化层对水文数据进行批归一化处理，稳定数据的分布会发生变化：
此次批量数据x的均值定义为：
Figure FDA0002893900800000011
其中：μβ为此次批量数据的均值，xi为样本的数据值，m为此次批量数据的总量；
样本批次的方差定义为：
Figure FDA0002893900800000012
其中：
Figure FDA0002893900800000013
表示此次批量数据的方差
接下来对x做归一化，得到
Figure FDA0002893900800000014
Figure FDA0002893900800000021
其中：∈为接近0的数，防止分母出现0；
引入缩放和平移变量，计算归一化后的值：
Figure FDA0002893900800000022
其中γ和β表示缩放因子与平移因子，yi表示归一化处理之后的值；
步骤23，在特征增强模块中完成对这些特征的增强，通过三层卷积神经网络来实现；在第一层处将特征维度拉大为原来的两倍，以1*1卷积用来改变维数，即将维度升高；在中间层改为1*3卷积层；在最后一层我们将高维度的特征缩减为原始数据尺寸，进行数据的传递；
步骤24，对洪水中的特征因子进行特征增强，产生具有与当前任务相关的尺寸的改进特征；处理过的特征描述将与原始特征数据进行融合，利用这些信息来探索河流流量与特征因子之间的关系模型；增强特征的描述定义为：
F(f)＝CB(B(f))
其中，f是洪水特征因子，B()是对特征的多次卷积操作，CB()代表特征增强功能，F(f)表示经过增强模块之后的数据。
3.根据权利要求2所述的一种洪水流量预测的方法，其特征在于：所述步骤23中，三层卷积网络神经卷积核分别为1*1、1*3、1*1，通道数分别为32、64、32。
4.根据权利要求1所述的一种洪水流量预测的方法，其特征在于：步骤3的具体过程如下：
步骤31，在每个神经元中，有一个特征提取模块F和一个时间信息编码模块T，分别充当单个输入样本上的特征提取模块和顺序输入上的时间信息编码器；
步骤32，在时间戳t时的特征提取模块F的输出定义为：
Figure FDA0002893900800000023
其中：
Figure FDA0002893900800000024
表示在时间戳t时的特征提取模块F的输出，F()表示特征提取模块，pi-1,t表示在时间戳t时第i层的特征提取模块F的输入，μi是第i层中F的参数；
步骤33，在时间戳t时的时间信息编码模块T的输出定义为：
Figure FDA0002893900800000031
其中：vi，t表示时间戳t在第i层的存储状态，vi,t-1表示上一时间点的时间信息存储状态，pi-1,t表示在时间戳t时第i层的特征提取模块F的输入，
Figure FDA0002893900800000035
表示第i层T的参数；
步骤34，在合并单元中融合来自两个单元的信息流，融合后的数据结果表示为：
Figure FDA0002893900800000032
其中ζ表示合并函数，通过同位元素对应相乘生成，pi,t表示融合后的数据结果；
步骤35，在训练的初期阶段以80％的概率禁止从时间信息编码模块T进行反向传播，在训练的初期从80％禁止开始，以隔离每一层的时间信息；随后在训练过程中逐渐降低禁止率；
步骤36，以LSTM为基础网络进行上述内容的改写，传入增强后的数据流进行模型的训练。
5.根据权利要求4所述的一种洪水流量预测的方法，其特征在于：步骤36的具体过程如下：
(1)确定将从节点状态中丢弃的信息，其定义为：
ft＝σ(Wf*[ht-1，xt]+bf)
其中，xt表示这一神经元的输入，ht-1表示上一神经元的输出，bf表示偏置值，Wf表示权重，ft表示遗忘门的输出，σ表示Sigmoid函数；
(2)确定将在单元节点状态中存储的新信息，其定义为：
it＝σ(Wi*[ht-1,xt]+bi)
Figure FDA0002893900800000033
其中，it表示遗忘门层所决定的更新的值，
Figure FDA0002893900800000034
表示tanh层定义的添加到状态的候选值的向量，Wi表示遗忘门层的权重，WC表示tanh层的权重，bi表示遗忘门层的偏置值，bC表示tanh层的偏置值；
(3)更新单元状态，其定义为：
Figure FDA0002893900800000041
Figure FDA0002893900800000042
其中，Ct-1表示旧单元状态，Ct表示更新后的新单元状态，ft表示对旧单元状态的遗忘程度，通过循环神经网络实现，
Figure FDA0002893900800000043
表示单元中捕获的时间信息，T()表示时间信息编码模块；
(4)输出的内容将基于此刻的单元状态，首先通过Sigmoid层来决定要输出的单元状态的部分；随后将单元状态置于tanh即将值推到介于-1和1之间，并与Sigmoid门的输出相乘，其定义为：
Figure FDA0002893900800000044
ht＝ot*tanh(Ct)
其中，ot表示此刻的单元状态，Wo表示权重，bo表示偏置值，ζ表示合并函数，通过同位元素对应相乘实现，⊙表示同位元素对应相乘。
6.根据权利要求4所述的一种洪水流量预测的方法，其特征在于：所述步骤5包括：
步骤51，分别通过MSE、RMSE、MAPE损失函数进行训练，其中，损失函数定义如下：
(1)MSE损失函数定义为：
Figure FDA0002893900800000045
其中，ym表示为真实值，
Figure FDA0002893900800000046
表示为预估值，M表示为测试样本总数；
(2)RMSE损失函数定义为：
Figure FDA0002893900800000047
(3)MAPE损失函数定义为：
Figure FDA0002893900800000048
(4)梯度优化算法采用Adam优化器实现，对梯度的一阶矩估计和二阶矩估计进行综合考虑，计算出更新步长；
步骤52，网络模型在训练集上完成训练后，输入测试集的数据，通过批归一化层、特征增强模块、多视角感知模块及逻辑回归层，输出预测的洪水径流量。
7.根据权利要求4所述的一种洪水流量预测的方法，其特征在于：所述步骤51中Adam优化器实现的步骤如下：
(1)t时间步的梯度定义为：
Figure FDA0002893900800000051
其中：gt表示梯度值，
Figure FDA0002893900800000052
表示参数θ的偏导，J()表示参数θ的目标函数值；
(2)计算梯度的指数移动平均数与梯度平方的指数移动平均数：
mt＝β1mt-1+(1-β1)gt
Figure FDA0002893900800000053
其中，β1表示为指数衰减率，控制权重分配，β2表示为指数衰减率，控制之前的梯度平方的影响情况，mt表示梯度的指数移动平均数，vt表示梯度平方的指数移动平均数，mt-1表示上一轮的指数移动平均数，vt-1表示上一轮的梯度平方的指数移动平均数；
(3)对vt进行修正，定义为：
Figure FDA0002893900800000054
Figure FDA0002893900800000055
其中：
Figure FDA0002893900800000056
表示计算偏差校正后的指数移动平均数，
Figure FDA0002893900800000057
表示计算偏差校正后的梯度平方的指数移动平均数；
(4)更新参数，定义为：
Figure FDA0002893900800000058
其中，θt表示结果参数，θt-1表示上一轮更新后的参数，α表示为学习率，默认为0.001。
CN202110035058.XA 2021-01-12 2021-01-12 一种洪水流量预测的方法 Active CN112784479B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110035058.XA CN112784479B (zh) 2021-01-12 2021-01-12 一种洪水流量预测的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110035058.XA CN112784479B (zh) 2021-01-12 2021-01-12 一种洪水流量预测的方法

Publications (2)

Publication Number Publication Date
CN112784479A true CN112784479A (zh) 2021-05-11
CN112784479B CN112784479B (zh) 2022-09-23

Family

ID=75757041

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110035058.XA Active CN112784479B (zh) 2021-01-12 2021-01-12 一种洪水流量预测的方法

Country Status (1)

Country Link
CN (1) CN112784479B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465924A (zh) * 2021-06-21 2021-10-01 武汉理工大学 一种基于改进bp神经网络的轴承故障诊断方法及系统
CN113589404A (zh) * 2021-07-30 2021-11-02 郑州大学 一种场次暴雨径流量预测方法
CN117933729A (zh) * 2024-03-21 2024-04-26 中国电建集团西北勘测设计研究院有限公司 洪水影响下的文化遗产脆弱性评估方法及装置
CN117933729B (zh) * 2024-03-21 2024-06-04 中国电建集团西北勘测设计研究院有限公司 洪水影响下的文化遗产脆弱性评估方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685252A (zh) * 2018-11-30 2019-04-26 西安工程大学 基于循环神经网络和多任务学习模型的建筑能耗预测方法
CN111310968A (zh) * 2019-12-20 2020-06-19 西安电子科技大学 一种基于互信息的lstm神经网络循环水文预报方法
CN112116147A (zh) * 2020-09-16 2020-12-22 南京大学 一种基于lstm深度学习的河流水温预测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109685252A (zh) * 2018-11-30 2019-04-26 西安工程大学 基于循环神经网络和多任务学习模型的建筑能耗预测方法
CN111310968A (zh) * 2019-12-20 2020-06-19 西安电子科技大学 一种基于互信息的lstm神经网络循环水文预报方法
CN112116147A (zh) * 2020-09-16 2020-12-22 南京大学 一种基于lstm深度学习的河流水温预测方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113465924A (zh) * 2021-06-21 2021-10-01 武汉理工大学 一种基于改进bp神经网络的轴承故障诊断方法及系统
CN113589404A (zh) * 2021-07-30 2021-11-02 郑州大学 一种场次暴雨径流量预测方法
CN113589404B (zh) * 2021-07-30 2023-02-03 郑州大学 一种场次暴雨径流量预测方法
CN117933729A (zh) * 2024-03-21 2024-04-26 中国电建集团西北勘测设计研究院有限公司 洪水影响下的文化遗产脆弱性评估方法及装置
CN117933729B (zh) * 2024-03-21 2024-06-04 中国电建集团西北勘测设计研究院有限公司 洪水影响下的文化遗产脆弱性评估方法及装置

Also Published As

Publication number Publication date
CN112784479B (zh) 2022-09-23

Similar Documents

Publication Publication Date Title
Labach et al. Survey of dropout methods for deep neural networks
US11714937B2 (en) Estimating physical parameters of a physical system based on a spatial-temporal emulator
Rangapuram et al. Deep state space models for time series forecasting
CN111612243B (zh) 交通速度预测方法、系统及存储介质
Talebizadeh et al. Uncertainty analysis for the forecast of lake level fluctuations using ensembles of ANN and ANFIS models
CN109583565B (zh) 基于注意力模型长短时记忆网络的洪水预测方法
Lian et al. A novel data-driven tropical cyclone track prediction model based on CNN and GRU with multi-dimensional feature selection
CN110428082B (zh) 基于注意力神经网络的水质预测方法
CN111079998B (zh) 基于长短时序相关性注意力机制模型的流量预测方法
CN112784479B (zh) 一种洪水流量预测的方法
CN111626785A (zh) 一种基于结合注意力的cnn-lstm网络基金价格预测方法
Lingireddy et al. Artificial neural networks in water supply engineering
CN110110372B (zh) 一种用户时序行为自动切分预测方法
CN113486303A (zh) 一种基于修饰模型集成的长时间序列预测方法
CN112364119A (zh) 基于lstm编解码模型的海洋浮标轨迹预测方法
CN113627070A (zh) 一种短期光伏功率预测方法
CN112347245A (zh) 面向投融资领域机构的观点挖掘方法、装置和电子设备
CN116052254A (zh) 基于扩展卡尔曼滤波神经网络的视觉连续情感识别方法
CN114386686A (zh) 一种基于改进lstm的流域水质短期预测方法
Fan et al. Identifying hydrometeorological factors influencing reservoir releases using machine learning methods
CN114065996A (zh) 基于变分自编码学习的交通流预测方法
CN116303786B (zh) 一种基于多维数据融合算法的区块链金融大数据管理系统
CN116739168A (zh) 一种基于灰色理论与编解码器的径流量预测方法
CN116434531A (zh) 一种基于Conv1D-LSTM模型的短时交通流预测方法
Guo et al. Error-correction-based data-driven models for multiple-hour-ahead river stage predictions: A case study of the upstream region of the Cho-Shui River, Taiwan

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant