CN109615011A - 一种基于lstm的中小河流短期洪水预报方法 - Google Patents
一种基于lstm的中小河流短期洪水预报方法 Download PDFInfo
- Publication number
- CN109615011A CN109615011A CN201811530237.5A CN201811530237A CN109615011A CN 109615011 A CN109615011 A CN 109615011A CN 201811530237 A CN201811530237 A CN 201811530237A CN 109615011 A CN109615011 A CN 109615011A
- Authority
- CN
- China
- Prior art keywords
- data
- lstm
- model
- short time
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012360 testing method Methods 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 24
- 238000010606 normalization Methods 0.000 claims abstract description 13
- 230000002159 abnormal effect Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 8
- 238000011156 evaluation Methods 0.000 claims description 7
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 5
- 238000011160 research Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 230000007717 exclusion Effects 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000006467 substitution reaction Methods 0.000 claims 1
- 230000008901 benefit Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000012706 support-vector machine Methods 0.000 description 8
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000012417 linear regression Methods 0.000 description 4
- 230000000052 comparative effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000008020 evaporation Effects 0.000 description 3
- 238000001704 evaporation Methods 0.000 description 3
- 238000013277 forecasting method Methods 0.000 description 3
- FBEHFRAORPEGFH-UHFFFAOYSA-N Allyxycarb Chemical compound CNC(=O)OC1=CC(C)=C(N(CC=C)CC=C)C(C)=C1 FBEHFRAORPEGFH-UHFFFAOYSA-N 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000007418 data mining Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000015654 memory Effects 0.000 description 2
- 238000001556 precipitation Methods 0.000 description 2
- 230000001373 regressive effect Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 241001123248 Arma Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 235000000332 black box Nutrition 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004880 explosion Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- YHXISWVBGDMDLQ-UHFFFAOYSA-N moclobemide Chemical compound C1=CC(Cl)=CC=C1C(=O)NCCN1CCOCC1 YHXISWVBGDMDLQ-UHFFFAOYSA-N 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 238000002203 pretreatment Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000000714 time series forecasting Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A10/00—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE at coastal zones; at river basins
- Y02A10/40—Controlling or monitoring, e.g. of flood or hurricane; Forecasting, e.g. risk assessment or mapping
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- Development Economics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Business, Economics & Management (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Entrepreneurship & Innovation (AREA)
- Game Theory and Decision Science (AREA)
- Educational Administration (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于LSTM的中小河流短期洪水预报方法，通过使用历史水文数据，构建一种智能洪水预报模型，挖掘中小流域降雨‑径流的隐藏信息，在已知或未知的未来降雨基础上，预报未来短期的河流出口流量。首先，对水文历史数据进行预处理，包括数据缺失补全、归一化等；其次，构建LSTM模型，通过选定的训练集训练模型及调整参数提高模型精度；最后，通过模型在测试集的表现来评估模型性能。本发明的有益效果为：基于LSTM的洪水预报模型的预报精度优于传统的支持向量机模型，尤其在洪峰阶段本模型的峰现时间和峰值预报精度上有较大的提高。
Description
技术领域
本发明涉及数据驱动水流预报技术领域，具体涉及一种基于LSTM的中小河流短期洪水预报方法。
背景技术
传统洪水预报模型一般有明确的物理关系，但存在一定的问题：物理模型比较复杂，很难收集到建立模型所需的所有按时间空间分布的细节数据。而水文过程是一种非线性过程，很难通过物理模型准确模拟，尤其是中小流域具有复杂的水文特性、边界条件和活跃的人类活动等非线性影响因素，不同流域情况千差万别，所用的洪水预报模型一般又很难将各种复杂的情况都充分考虑。因此数据挖掘技术被引入洪水预报，数据挖掘技术从历史水文数据入手，多采取黑箱模型，引用各种智能算法对历史数据从多角度进行分析，并通过强大的仿真能力对水文现象成因进行模拟，一定程度上可以进行模型的自我调节，从而提高水文预报的准确度。
经典的黑箱水文时间序列预报模型有自回归(AR：Auto-regressive)、移动平均(MA:Moving-Average)、自回归移动平均(ARMA：Auto-Regressive and Moving Average)、差分自回归移动平均(ARIMA:Auto-Regressive Integrated Moving Average)、线性回归(LR:Linear Regression)和多元线性回归(MLR:Multiple Linear Regression)等模型，但上述模型不能很好的处理水文过程中出现的非平稳性和非线性等问题。因此，许多研究者使用数据驱动技术来做洪水预报，并且，传统的数据驱动洪水预报模型在具有非线性的水文过程应用上有较大的进展。
经典的数据驱动模型主要有支持向量机(SVM)、人工神经网络(ANN)、模糊逻辑(FL)、进化计算(EC)和深度学习等模型，文献[Kisi,2007.Streamflow forecastingusing different artificial neural network algorithms.J.Hydrol.Eng.12,532–539.]使用4种改进的神经网络算法建立洪水预报模型，结果表明性能都优于基础的神经网络模型。文献[He,Z.,Wen,X.,Liu,H.,Du,J.,2014.A comparative study of artificialneural network,adaptive neuro fuzzy inference system and support vectormachine for forecasting river flow in the semiarid mountainregion.J.Hydrol.509,379–386.]采用了支持向量机、人工神经网络、自适应模糊逻辑等算法建立预报模型，结果表明应用在干旱地区支持向量机模型性能优于其他模型性能。
基于数据驱动的洪水预报模型常采用人工神经网络(ANN)模型，但ANN具有局部最优、模型学习速度过慢、过拟合等问题以及模型训练中学习率，学习时间和终止标准等人为干预方式的缺陷和局限性。另一方面，ANN所有的输入和输出都是相互独立的，而水文过程变化受前期各因素变量影响较大，因此需要预报模型持有一个可以捕获之前计算信息的“记忆”能力。递归神经网络(RNN)的输出受之前的计算结果和当前的计算结果影响，鉴于此，RNN常用来模拟复杂水文时间序列。但是，由于较难学习远距离的信息，RNN的训练过程中可能碰到梯度消失/爆炸，因此提出LSTM(Long Short-Term Memory长短期记忆)方法来解决上述问题。并且，LSTM是当今自然语言处理领域的主导技术，在处理自然语言时，模型不仅要考虑当前词汇，而且还要考虑句子或甚至段落中的其他相邻词汇。具有这种上下文信息的数据称为连续数据，而时间序列数据是连续数据最流行的形式。受LSTM在机器翻译方面的成功影响，LSTM在水文时间序列预测方面的能力的探索也越来越多。
发明内容
针对现有技术上存在的不足，本发明的目的在于提出一种基于LSTM的中小河流短期洪水预报方法，具有较高的预报精度，尤其在洪峰阶段，峰现时间和洪水峰值的预报精度有较大提高。
为了实现上述目的，本发明是通过如下的技术方案来实现：
一种基于LSTM的中小河流短期洪水预报方法，其特征在于，包括以下步骤：
步骤一，首先收集研究流域各站点的水文数据，然后把收集到的水文数据存入水文历史数据库；
步骤二，对所述水文历史数据进行预处理，所述预处理包括数据的缺失补全、数据异常更正及数据归一化，然后把预处理后的数据根据留出法为训练集与测试集；
步骤三，构建LSTM模型，使用训练集中数据训练LSTM模型，然后调节LSTM模型参数使LSTM模型收敛；
步骤四，使用测试集数据评估LSTM模型性能；
步骤五，将预处理后的当前水文数据作为LSTM模型输入，未来第k时刻流域出口断面流量为LSTM模型输出，即LSTM模型预报的未来第k小时流量；
步骤六，定时更新预报模型，按照月度水文数据加入历史数据库，重复步骤一至五。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤一中，收集研究流域各站点的水文数据包括历史降雨数据、河流出口断面的历史流量数据及流域历史蒸发数据，采集的数据时间粒度为1小时，然后把数据存入历史数据库，所述历史数据库为Oracle数据库。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤二中，对水文历史数据进行预处理，其中数据的缺失补全采用时间维度上线性插值处理方式；数据异常指不合常理的数据，单个的异常数据采用同一站点前后时间的平均值替代，连续的异常数据采用同一时间相邻站点的平均值替代。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤二中，对所述水文历史数据进行预处理采用了数据归一化处理方法，所述归一化处理方法为Min-max标准化，公式为：其中，x*为归一化处理后的数据，x为待处理的原始数据，xmin为原始数据中的最小值，xmax为原始数据中的最大值，归一化处理后的数据值在0到1之间。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤二中，归一化处理后的数据划分为训练集和测试集，训练集和测试集为两个互斥的两个集合，划分方法为留出法，训练集和测试集划分比例为7:3。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤三中，构建LSTM模型，所述LSTM模型包括输入层、隐藏层和输出层，隐藏层有128个LSTM单元；所述隐藏层中的每个LSTM单元有三个控制单元状态的门，分别为输入门、遗忘门和输出门，所述输入门决定让多少新的信息加入到单元状态，所述遗忘门决定是否丢弃当前单元状态，所述输出门决定当前单元值是否输出。
上述的一种基于LSTM的中小河流短期洪水预报方法，所述的LSTM单元公式如下：
输入门：
it＝σ(uixt+wiht-1+bi)
遗忘门：
ft＝σ(ufxt+wfht-1+bf)
输出门：
ot＝σ(uoxt+woht-1+bo)
单元状态：
ht＝ot*tanh(ct)
其中，it、ft、ot、ct分别表示在t时刻输入门、遗忘门、输出门和LSTM单元的状态向量，表示t时刻用来更新LSTM单元状态的备选信息；同样的，ht-1、ht分别表示在t-1、t时刻输出门的状态向量；xt表示当前时刻单元输入；σ表示Sigmoid激活函数；ui、uf、uo分别表示输入门、遗忘门、输出门与隐藏层之间的权重矩阵；同样的，wi、wf、wo分别表示输入门、遗忘门、输出门与输入层之间的权重矩阵；bi、bf、bo分别表示输入门、遗忘门、输出门的偏置向量；初始值co＝0，ho＝0，t作为下标表示采样时刻。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤四中，使用测试集数据评估LSTM模型性能，并且使用三种评估标准评估LSTM模型性能，分别为均方根误差RMSE(root mean square error)、绝对中位差MedAE(median absolute error)、决定系数R2(coefficient of determination)。
上述的一种基于LSTM的中小河流短期洪水预报方法，所述LSTM模型的评估标准公式如下：
均方根误差RMSE：
绝对中位差MedAE：
决定系数R2：
其中：表示第i个样本河水流量观测值，表示第i个样本河水流量预报值，表示河水流量预报平均值，nsamples表示测试样本数量，n表示测试集第n个样本，yn obs分别表示第1个和第n个样本的河水流量观测值，y1 pre、yn pre分别表示第1个和第n个样本的河水流量预报值，表示第i个样本的河水流量预报平均值。
上述的一种基于LSTM的中小河流短期洪水预报方法，在所述步骤五中，在实际预报环节，新到的水文数据同样需要经过预处理，然后把处理后数据作为预报模型的输入，未来第k时刻流域出口断面流量为模型输出，即模型可预报的未来k小时流量。
本发明的有益效果为：
本发明利用深度学习算法，采用一种基于LSTM的中小河流短期洪水预报方法。与传统的方法相比，使用深度学习的方法能够充分利用当前时刻之前较长时间段的各水文数据特征，并且利用了LSTM捕获有效特征的能力，因此，本发明的洪水预报方法具有较高的预报精度，优于传统的支持向量机模型，尤其在洪峰阶段，峰现时间和洪水峰值的预报精度有较大提高。
附图说明
下面结合附图和具体实施方式来详细说明本发明：
图1为本发明的实验流程图；
图2为本发明的数据划分示意图；
图3为本发明的预报模型的LSTM单元结构示意图；
图4为本发明的不同预报模型在洪峰处性能对比图；
具体实施方式
为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。
如图1所示，首先，收集研究流域各站点的水文数据，然后把以上数据存入历史数据库；其次，对水文历史数据进行缺失补全、数据异常更正及数据归一化等预处理，然后划分训练集与测试集；再次，构建LSTM模型，使用训练集中数据训练模型，然后调节模型参数使模型收敛及使用测试集数据评估模型性能；最后，应用模型及更新模型。
本发明具体实现步骤如下：
步骤一：收集目标流域(屯溪流域)1991-2000年各水文测站汛期数据粒度为1条/小时的水文数据，每条数据包括流域内各雨量站雨量，流域出口断面流量，流域蒸发量。在目标流域里共11个雨量站，一个流域出口水位测站和一个蒸发测站，即每条数据包含13维信息，然后把以上数据存入历史数据库；
步骤二：从历史数据库中取出数据并进行数据预处理，包括数据的缺失补全、数据异常更正及数据归一化。本发明数据缺失补全采用时间维度上的线性插值法，即根据缺失部分前后时刻值确定缺失值；数据异常指不合常理的数据，数据异常根据异常的量确定处理方法，其中，单个的异常数据采用同一站点前后时间的平均值替代，连续的异常数据采用同一时间相邻测站点的平均值替代。
对水文历史数据进行预处理采用了数据归一化方法，其原理是将数据按比例缩放，使之落入一个小的特定区间，使不同维度之间的特征在数值上有一定比较性，可以大大提高分类器的准确性。所述归一化处理方法为Min-max标准化，公式为：其中，x*为归一化处理后的数据，x为待处理的原始数据，xmin为原始数据中的最小值，xmax为原始数据中的最大值，归一化处理后的数据值在0到1之间。
归一化后的数据使用留出法划分为两个互斥的两个集合：训练集、测试集，训练集和测试集划分比例为7:3，如图2所示：训练集为1991-1997年的数据，测试集为1998-2000年的数据。
步骤三：构建LSTM模型，该模型由输入层、隐藏层和输出层构成。隐藏层由128个LSTM单元构成，如图3所示：隐藏层中的每个LSTM单元有三个控制单元状态的门，分别为输入门(Input gate)、遗忘门(Forget gate)、和输出门(Output gate)，输入门决定让多少新的信息加入到单元状态，遗忘门决定是否丢弃当前单元状态，输出门决定当前单元值是否输出。一个LSTM单元的公式表示如下：
it＝σ(uixt+wiht-1+bi)
ft＝σ(ufxt+wfht-1+bf)
ot＝σ(uoxt+woht-1+bo)
ht＝ot*tanh(ct)
其中，it、ft、ot、ct分别表示在t时刻输入门、遗忘门、输出门和LSTM单元的状态向量，表示t时刻用来更新LSTM单元状态的备选信息；同样的，ht-1、ht分别表示在t-1、t时刻输出门的状态向量；xt表示当前时刻单元输入；σ表示Sigmoid激活函数；ui、uf、uo分别表示输入门、遗忘门、输出门与隐藏层之间的权重矩阵；同样的，wi、wf、wo分别表示输入门、遗忘门、输出门与输入层之间的权重矩阵；bi、bf、bo分别表示输入门、遗忘门、输出门的偏置向量；初始值co＝0，ho＝0，t作为下标表示采样时刻。
步骤四：使用三种评估标准评估模型性能，分别为均方根误差(root mean squareerror)、绝对中位差(median absolute error)、决定系数(coefficient ofdetermination)。所述的模型评估标准公式如下：
均方根误差RMSE：
绝对中位差MedAE：
决定系数R2：
其中：表示第i个样本河水流量观测值，表示第i个样本河水流量预报值，表示河水流量预报平均值，nsamples表示测试样本数量，n表示测试集第n个样本，yn obs分别表示第1个和第n个样本的河水流量观测值，y1 pre、yn pre分别表示第1个和第n个样本的河水流量预报值，表示第i个样本的河水流量预报平均值。
实验评估结果如下表，本发明加了一个对比实验，使用数据驱动方法创建洪水预报模型的经典方法：支持向量机(SVM)。结果显示，LSTM模型的RMSE、MedAE和R2的结果明显优于SVM模型。
洪水预报模型评估最重要是模型在洪峰时刻的表现，如图4所示，从测试集挑选3场洪水展示本模型性能。结果表明：本发明的预报模型在洪峰时刻的峰现时间和峰值预报都优于传统SVM模型。
步骤五：应用在实际预报环节，即实时预报，实时的水文数据需经过数据预处理，然后把处理后数据作为预报模型的输入，模型输出得到当前或未来某一时刻的预报结果。
步骤六：每月定时更新预报模型，把过去最新的一个月水文数据加入训练集，并重新训练模型，即重复步骤一至五。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
Claims (10)
1.一种基于LSTM的中小河流短期洪水预报方法，其特征在于，包括以下步骤：
步骤一，首先收集研究流域各站点的水文数据，然后把收集到的水文数据存入水文历史数据库；
步骤二，对所述水文历史数据进行预处理，所述预处理包括数据的缺失补全、数据异常更正及数据归一化，然后把预处理后的数据根据留出法划分为训练集与测试集；
步骤三，构建LSTM模型，使用训练集中数据训练LSTM模型，然后调节LSTM模型参数使LSTM模型收敛；
步骤四，使用测试集数据评估LSTM模型性能；
步骤五，将预处理后的当前水文数据作为LSTM模型输入，未来第k时刻流域出口断面流量为LSTM模型输出，即LSTM模型预报的未来第k小时流量；
步骤六，定时更新预报模型，按照月度水文数据加入历史数据库，重复步骤一至五。
2.根据权利要求1所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤一中，收集研究流域各站点的水文数据包括历史降雨数据、河流出口断面的历史流量数据及流域历史蒸发数据，采集的数据时间粒度为1小时，然后把数据存入历史数据库，所述历史数据库为Oracle数据库。
3.根据权利要求1所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤二中，对水文历史数据进行预处理，其中数据的缺失补全采用时间维度上线性插值处理方式；数据异常指不合常理的数据，单个的异常数据采用同一站点前后时间的平均值替代，连续的异常数据采用同一时间相邻站点的平均值替代。
4.根据权利要求1或3所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤二中，对所述水文历史数据进行预处理采用了数据归一化处理方法，所述归一化处理方法为Min-max标准化，公式为：其中，x*为归一化处理后的数据，x为待处理的原始数据，xmin为原始数据中的最小值，xmax为原始数据中的最大值，归一化处理后的数据值在0到1之间。
5.根据权利要求1所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤二中，归一化处理后的数据划分为训练集和测试集，训练集和测试集为两个互斥的两个集合，划分方法为留出法，训练集和测试集划分比例为7:3。
6.根据权利要求1所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤三中，构建LSTM模型，所述LSTM模型包括输入层、隐藏层和输出层，隐藏层有128个LSTM单元；所述隐藏层中的每个LSTM单元有三个控制单元状态的门，分别为输入门、遗忘门和输出门，所述输入门决定让多少新的信息加入到单元状态，所述遗忘门决定是否丢弃当前单元状态，所述输出门决定当前单元值是否输出。
7.根据权利要求6所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：所述的LSTM单元公式如下：
输入门：
it＝σ(uixt+wiht-1+bi)
遗忘门：
ft＝σ(ufxt+wfht-1+bf)
输出门：
ot＝σ(uoxt+woht-1+bo)
单元状态：
ht＝ot*tanh(ct)
其中，it、ft、ot、ct分别表示在t时刻输入门、遗忘门、输出门和LSTM单元的状态向量，表示t时刻用来更新LSTM单元状态的备选信息；同样的，ht-1、ht分别表示在t-1、t时刻输出门的状态向量；xt表示当前时刻单元输入；σ表示Sigmoid激活函数；ui、uf、uo分别表示输入门、遗忘门、输出门与隐藏层之间的权重矩阵；同样的，wi、wf、wo分别表示输入门、遗忘门、输出门与输入层之间的权重矩阵；bi、bf、bo分别表示输入门、遗忘门、输出门的偏置向量；初始值co＝0，ho＝0，t作为下标表示采样时刻。
8.根据权利要求1所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤四中，使用测试集数据评估LSTM模型性能，并且使用三种评估标准评估LSTM模型性能，分别为均方根误差RMSE、绝对中位差MedAE、决定系数R2。
9.根据权利要求8所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于，所述LSTM模型的评估标准公式如下：
均方根误差RMSE：
绝对中位差MedAE：
决定系数R2：
其中：表示第i个样本河水流量观测值，表示第i个样本河水流量预报值，表示河水流量预报平均值，nsamples表示测试样本数量，n表示测试集第n个样本，yn obs分别表示第1个和第n个样本的河水流量观测值，y1 pre、yn pre分别表示第1个和第n个样本的河水流量预报值，表示第i个样本的河水流量预报平均值。
10.根据权利要求1所述的一种基于LSTM的中小河流短期洪水预报方法，其特征在于：在所述步骤五中，在实际预报环节，新到的水文数据同样需要经过预处理，然后把处理后数据作为预报模型的输入，未来第k时刻流域出口断面流量为模型输出，即模型可预报的未来k小时流量。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811530237.5A CN109615011A (zh) | 2018-12-14 | 2018-12-14 | 一种基于lstm的中小河流短期洪水预报方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811530237.5A CN109615011A (zh) | 2018-12-14 | 2018-12-14 | 一种基于lstm的中小河流短期洪水预报方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109615011A true CN109615011A (zh) | 2019-04-12 |
Family
ID=66009328
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811530237.5A Pending CN109615011A (zh) | 2018-12-14 | 2018-12-14 | 一种基于lstm的中小河流短期洪水预报方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109615011A (zh) |
Cited By (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110147367A (zh) * | 2019-05-14 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种温度缺失数据填补方法、系统及电子设备 |
| CN110163419A (zh) * | 2019-04-28 | 2019-08-23 | 河海大学 | 一种中小河流流域洪水预报的方法 |
| CN110363349A (zh) * | 2019-07-15 | 2019-10-22 | 河海大学 | 一种基于ascs的lstm神经网络水文预测方法及系统 |
| CN110378518A (zh) * | 2019-06-24 | 2019-10-25 | 浙江大学 | 一种采用lstm-narx混合模型的水下潮流预测方法 |
| CN110442937A (zh) * | 2019-07-24 | 2019-11-12 | 武汉大学 | 一种融合卫星遥感和机器学习技术的流域水文模拟方法 |
| CN110459036A (zh) * | 2019-09-09 | 2019-11-15 | 四川省水利科学研究院 | 一种基于深度学习的山洪预警方法 |
| CN110471950A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种中小河流实时洪水预报智能模型预报方法 |
| CN110648020A (zh) * | 2019-09-12 | 2020-01-03 | 中国农业大学 | 一种温室作物需水量预测方法及装置 |
| CN111027893A (zh) * | 2019-12-31 | 2020-04-17 | 山东琢瑜清泉智能软件科技有限公司 | 一种河湖水环境健康智能评估预警系统及方法 |
| CN111310968A (zh) * | 2019-12-20 | 2020-06-19 | 西安电子科技大学 | 一种基于互信息的lstm神经网络循环水文预报方法 |
| CN111400973A (zh) * | 2020-04-21 | 2020-07-10 | 中国水利水电科学研究院 | 一种基于水文监测数据构建流量-水面宽的关系曲线的方法 |
| CN111428419A (zh) * | 2020-02-29 | 2020-07-17 | 中山大学 | 悬浮泥沙浓度预测方法、装置、计算机设备和存储介质 |
| CN111585948A (zh) * | 2020-03-18 | 2020-08-25 | 宁波送变电建设有限公司永耀科技分公司 | 一种基于电网大数据的网络安全态势智能预测方法 |
| CN111639748A (zh) * | 2020-05-15 | 2020-09-08 | 武汉大学 | 一种基于lstm-bp时空组合模型的流域污染物通量预测方法 |
| CN111695290A (zh) * | 2020-05-14 | 2020-09-22 | 天津大学 | 一种适用于变化环境下的短期径流智能预报混合模型方法 |
| CN111753965A (zh) * | 2020-06-30 | 2020-10-09 | 长江水利委员会水文局 | 一种基于深度学习的河流流量自动整编方法及系统 |
| CN111767517A (zh) * | 2020-05-18 | 2020-10-13 | 西安电子科技大学 | 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质 |
| CN112320963A (zh) * | 2020-10-28 | 2021-02-05 | 武汉智悦水生态科技有限责任公司 | 一种基于大数据的鱼草平衡水质环保处理方法 |
| CN112396152A (zh) * | 2020-11-17 | 2021-02-23 | 郑州大学 | 一种基于cs-lstm的洪水预报方法 |
| CN112785043A (zh) * | 2020-12-31 | 2021-05-11 | 河海大学 | 一种基于时序注意力机制的洪水预报方法 |
| CN113868223A (zh) * | 2021-09-02 | 2021-12-31 | 深圳中兴网信科技有限公司 | 水质监测方法、装置、系统和可读存储介质 |
| CN114154417A (zh) * | 2021-12-06 | 2022-03-08 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN115392128A (zh) * | 2022-09-07 | 2022-11-25 | 黑河水资源与生态保护研究中心 | 一种利用时空卷积lstm网络模拟流域径流量的方法 |
| CN116933217A (zh) * | 2023-09-19 | 2023-10-24 | 广州华水生态科技有限公司 | 基于数字孪生和ai技术的中小河流洪水预报方法 |
| CN117851757A (zh) * | 2024-01-11 | 2024-04-09 | 广东工业大学 | 基于机器学习的河流流量插补方法及装置、电子设备 |
-
2018
- 2018-12-14 CN CN201811530237.5A patent/CN109615011A/zh active Pending
Non-Patent Citations (2)
| Title |
|---|
| 冯钧等: "一种LSTM-BP多模型组合水文预报方法", 《计算机与现代化》 * |
| 张建新: "《国家水文数据库建设技术研究》", 30 December 2009 * |
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110163419A (zh) * | 2019-04-28 | 2019-08-23 | 河海大学 | 一种中小河流流域洪水预报的方法 |
| CN110163419B (zh) * | 2019-04-28 | 2022-08-19 | 河海大学 | 一种中小河流流域洪水预报的方法 |
| CN110147367A (zh) * | 2019-05-14 | 2019-08-20 | 中国科学院深圳先进技术研究院 | 一种温度缺失数据填补方法、系统及电子设备 |
| CN110147367B (zh) * | 2019-05-14 | 2022-05-27 | 中国科学院深圳先进技术研究院 | 一种温度缺失数据填补方法、系统及电子设备 |
| CN110378518A (zh) * | 2019-06-24 | 2019-10-25 | 浙江大学 | 一种采用lstm-narx混合模型的水下潮流预测方法 |
| CN110378518B (zh) * | 2019-06-24 | 2022-01-11 | 浙江大学 | 一种采用lstm-narx混合模型的水下潮流预测方法 |
| CN110363349B (zh) * | 2019-07-15 | 2022-08-26 | 河海大学 | 一种基于ascs的lstm神经网络水文预测方法及系统 |
| CN110363349A (zh) * | 2019-07-15 | 2019-10-22 | 河海大学 | 一种基于ascs的lstm神经网络水文预测方法及系统 |
| CN110471950A (zh) * | 2019-07-19 | 2019-11-19 | 河海大学 | 一种中小河流实时洪水预报智能模型预报方法 |
| CN110471950B (zh) * | 2019-07-19 | 2022-09-16 | 河海大学 | 一种中小河流实时洪水预报智能模型预报方法 |
| CN110442937A (zh) * | 2019-07-24 | 2019-11-12 | 武汉大学 | 一种融合卫星遥感和机器学习技术的流域水文模拟方法 |
| CN110459036A (zh) * | 2019-09-09 | 2019-11-15 | 四川省水利科学研究院 | 一种基于深度学习的山洪预警方法 |
| CN110459036B (zh) * | 2019-09-09 | 2022-05-17 | 四川省水利科学研究院 | 一种基于深度学习的山洪预警方法 |
| CN110648020A (zh) * | 2019-09-12 | 2020-01-03 | 中国农业大学 | 一种温室作物需水量预测方法及装置 |
| CN111310968A (zh) * | 2019-12-20 | 2020-06-19 | 西安电子科技大学 | 一种基于互信息的lstm神经网络循环水文预报方法 |
| CN111310968B (zh) * | 2019-12-20 | 2024-02-09 | 西安电子科技大学 | 一种基于互信息的lstm神经网络循环水文预报方法 |
| CN111027893A (zh) * | 2019-12-31 | 2020-04-17 | 山东琢瑜清泉智能软件科技有限公司 | 一种河湖水环境健康智能评估预警系统及方法 |
| CN111428419A (zh) * | 2020-02-29 | 2020-07-17 | 中山大学 | 悬浮泥沙浓度预测方法、装置、计算机设备和存储介质 |
| CN111585948A (zh) * | 2020-03-18 | 2020-08-25 | 宁波送变电建设有限公司永耀科技分公司 | 一种基于电网大数据的网络安全态势智能预测方法 |
| CN111585948B (zh) * | 2020-03-18 | 2022-07-26 | 宁波送变电建设有限公司永耀科技分公司 | 一种基于电网大数据的网络安全态势智能预测方法 |
| CN111400973A (zh) * | 2020-04-21 | 2020-07-10 | 中国水利水电科学研究院 | 一种基于水文监测数据构建流量-水面宽的关系曲线的方法 |
| CN111695290A (zh) * | 2020-05-14 | 2020-09-22 | 天津大学 | 一种适用于变化环境下的短期径流智能预报混合模型方法 |
| CN111695290B (zh) * | 2020-05-14 | 2024-04-09 | 天津大学 | 一种适用于变化环境下的短期径流智能预报混合模型方法 |
| CN111639748A (zh) * | 2020-05-15 | 2020-09-08 | 武汉大学 | 一种基于lstm-bp时空组合模型的流域污染物通量预测方法 |
| CN111767517A (zh) * | 2020-05-18 | 2020-10-13 | 西安电子科技大学 | 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质 |
| CN111767517B (zh) * | 2020-05-18 | 2024-05-03 | 西安电子科技大学 | 一种应用于洪水预测的BiGRU多步预测方法、系统及存储介质 |
| CN111753965A (zh) * | 2020-06-30 | 2020-10-09 | 长江水利委员会水文局 | 一种基于深度学习的河流流量自动整编方法及系统 |
| CN112320963A (zh) * | 2020-10-28 | 2021-02-05 | 武汉智悦水生态科技有限责任公司 | 一种基于大数据的鱼草平衡水质环保处理方法 |
| CN112396152A (zh) * | 2020-11-17 | 2021-02-23 | 郑州大学 | 一种基于cs-lstm的洪水预报方法 |
| CN112785043B (zh) * | 2020-12-31 | 2022-08-30 | 河海大学 | 一种基于时序注意力机制的洪水预报方法 |
| CN112785043A (zh) * | 2020-12-31 | 2021-05-11 | 河海大学 | 一种基于时序注意力机制的洪水预报方法 |
| CN113868223A (zh) * | 2021-09-02 | 2021-12-31 | 深圳中兴网信科技有限公司 | 水质监测方法、装置、系统和可读存储介质 |
| CN114154417A (zh) * | 2021-12-06 | 2022-03-08 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN114154417B (zh) * | 2021-12-06 | 2022-06-07 | 中国水利水电科学研究院 | 基于深度学习框架的洪水预报模型及洪水预报方法 |
| CN115392128A (zh) * | 2022-09-07 | 2022-11-25 | 黑河水资源与生态保护研究中心 | 一种利用时空卷积lstm网络模拟流域径流量的方法 |
| CN115392128B (zh) * | 2022-09-07 | 2024-02-13 | 黑河水资源与生态保护研究中心 | 一种利用时空卷积lstm网络模拟流域径流量的方法 |
| CN116933217A (zh) * | 2023-09-19 | 2023-10-24 | 广州华水生态科技有限公司 | 基于数字孪生和ai技术的中小河流洪水预报方法 |
| CN116933217B (zh) * | 2023-09-19 | 2024-01-30 | 广州华水生态科技有限公司 | 基于数字孪生和ai技术的中小河流洪水预报方法 |
| CN117851757A (zh) * | 2024-01-11 | 2024-04-09 | 广东工业大学 | 基于机器学习的河流流量插补方法及装置、电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109615011A (zh) | 一种基于lstm的中小河流短期洪水预报方法 | |
| Kashyap et al. | Towards precision agriculture: IoT-enabled intelligent irrigation systems using deep learning neural network | |
| CN110288157A (zh) | 一种基于注意力机制和lstm的径流预测方法 | |
| Thirumalaiah et al. | River stage forecasting using artificial neural networks | |
| CN106781489B (zh) | 一种基于递归神经网络的路网状态预测方法 | |
| CN102622418B (zh) | 一种基于bp神经网络的预测装置及设备 | |
| CN110084424A (zh) | 一种基于lstm与lgbm的电力负荷预测方法 | |
| CN103226741B (zh) | 城市供水管网爆管预测方法 | |
| CN108764540B (zh) | 基于并行lstm串联dnn的供水管网压力预测方法 | |
| CN110135630A (zh) | 基于随机森林回归和多步寻优的短期负荷需求预测方法 | |
| CN107688871A (zh) | 一种水质预测方法和装置 | |
| CN102622515B (zh) | 一种天气预测方法 | |
| CN110414788A (zh) | 一种基于相似日和改进lstm的电能质量预测方法 | |
| CN103280114A (zh) | 一种基于bp-pso模糊神经网络的信号灯智能控制方法 | |
| Wang et al. | Rainfall prediction using generalized regression neural network: case study Zhengzhou | |
| CN108985515A (zh) | 一种基于独立循环神经网络的新能源出力预测方法及系统 | |
| CN110070228A (zh) | 一种神经元分支进化的bp神经网络风速预测方法 | |
| CN108805346A (zh) | 一种基于多隐层极限学习机的热连轧轧制力预报方法 | |
| Li et al. | A method of rainfall runoff forecasting based on deep convolution neural networks | |
| CN112766603A (zh) | 一种交通流量预测方法、系统、计算机设备及存储介质 | |
| CN109408896B (zh) | 一种污水厌氧处理产气量多元智能实时监控方法 | |
| CN107423811A (zh) | 基于bp人工神经网络和情景模拟组合的径流变化归因识别方法 | |
| Ma et al. | Traffic flow forecasting research based on Bayesian normalized Elman neural network | |
| JPH0949884A (ja) | ニューラルネットワークを用いた局地的気象予測方法 | |
| Wang et al. | Rainfall-runoff simulation using simulated annealing wavelet bp neural networks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190412 |
|
| RJ01 | Rejection of invention patent application after publication |