CN109508810A - 一种基于实现月平均水文流量预测的系统 - Google Patents

一种基于实现月平均水文流量预测的系统 Download PDF

Info

Publication number
CN109508810A
CN109508810A CN201811151722.1A CN201811151722A CN109508810A CN 109508810 A CN109508810 A CN 109508810A CN 201811151722 A CN201811151722 A CN 201811151722A CN 109508810 A CN109508810 A CN 109508810A
Authority
CN
China
Prior art keywords
data
hydrology
lstm
flows
moon
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811151722.1A
Other languages
English (en)
Inventor
李幼萌
霍琳琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811151722.1A priority Critical patent/CN109508810A/zh
Publication of CN109508810A publication Critical patent/CN109508810A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于LSTM数据模块实现月平均水文流量预测的系统，包括如下步骤：步骤一，采集气象数据通过数据预处理模块构建水文流量数据模型；步骤二，通过LSTM数据模块中第一数据处理层对水文流量数据模型中预处理数据进行计算获得每日水文平均流量数据集；步骤三，通过LSTM数据模块中第二数据处理层对每日水文流量数据集进行计算获得月水文平均流量数据集；步骤四，通过如下公式对月水平平均数据集进行计算求出Nash检测系数，该方法该方法可以利用复杂的水文流量数据获得精准地每日平均流量预测，为提供准确的月平均水文流量数据奠定基础。

Description

一种基于实现月平均水文流量预测的系统
技术领域
本申请属于将深度学习与强化学习和水文领域相结合，特别涉及一种基于LISM数据模块实现月平均水文流量预测的系统。
背景技术
LSTM(Long Short-Term Memory)是长短期记忆网络，是RNN的一种特殊网络，在算法中加入了判断信息是否有用的门单元，是解决长序依赖问题的有效技术。RNN是神经网络里面的循环神经网络，是一类用于处理序列数据的神经网络，包括输入层、隐层和输出层，在层之间的神经元之间建立权连接。神经元模型是经过生物神经元抽象而来，神经元接受输入x1、x2、x3、x4等，通过带权重ω的连接进行传递，将总输入信号与神经元的阈值进行比较，最后通过激活函数处理确定是否激活。
发明内容
针对现有技术存在的问题，本发明提供一种一种基于LISM数据层实现月平均水文流量预测的方法，该方法可以利用复杂的水文流量数据获得精准地月平均每日流量预测，为提供准确的月平均水文流量数据奠定基础。
本发明的技术方案:
一种基于LSTM数据模块实现月平均水文流量预测的系统，包括如下步骤：
步骤一，采集气象数据通过数据预处理模块构建水文流量数据模型；
步骤二，通过LSTM数据模块中第一数据处理层对水文流量数据模型中预处理数据进行计算获得每日水文平均流量数据集；
步骤三，通过LSTM数据模块中第二数据处理层对每日水文流量数据集进行计算获得月水文平均流量数据集；
步骤四，通过如下公式对月水平平均数据集进行计算求出Nash检测系数
所述LSTM数据模块中第一数据处理层包括如下步骤：
2.1对第一数据处理层进行定义；
2.2对步骤2.1的数据进行训练和预测；
2.3通过MSE和Nash公式计算获得日流量参数；
2.4判断日流量参数是否满足日调参数，如果满足输出日流量参数，否则返回步骤2.1。
所述LSTM数据模块中第二数据处理层包括如下步骤：
3.1对第二数据处理层进行定义；
3.2对步骤3.1的数据进行训练和预测；
3.3通过MSE和Nash公式计算获得月流量参数；
3.4判断月流量参数是否满足月调参数，如果满足输出月流量参数，否则返回步骤3.1。
与现有技术相比，本发明具有的优点：
1、本发明使用LSTM重新建立模型，提高具有较大数据的水文流量预测的精确度和准确性。
2、本发明使用循环神经网络RNN的LSTM方法对水文流量进行预测，比较适合数据量较大的情况。
附图说明
图1为本发明流程示意图。
图2为本发明中数据预处理模块流程图。
图3为本发明中LISM模块的第一层数据处理层流程图。
图4为本发明中LISM模块的第二次数据处理层流程图。
具体实施方式
结合附图1对本发明的技术方案作进一步说明。
如图1所示，本发明提供一种基于LSTM数据模块实现月平均水文流量预测的系统，包括如下步骤：
步骤一101，采集气象数据通过数据预处理模块构建水文流量数据模型；水文流量预测中，当天的平均流量依赖于前些天的水文流量和气候条件，所以这是一个有时序条件的预测，而RNN是具有时序特点的神经网络，比较适合解决水文流量预测的问题。为了预测30天的平均每日流量，我们需要做两步，第一步把每日平均流量预测出来，第二步将30天的每日平均流量作为条件，去预测30天的平均每日流量。循环神经网络RNN的LSTM方法总体过程。
如图2所示，数据处理模块采用如下步骤实施：
1.1筛选可用气象数据和流量数据；
1.2将气象数据和流量数据归一化；
1.3将气象数据和流量数据转成有监督数据；
1.4至少用7年数据做训练集，剩余7年数据做测试集。
步骤二102，通过LSTM数据模块中第一数据处理层对水文流量数据模型中预处理数据进行计算获得每日水文平均流量数据集；即将相邻30天平均每日流量作为30天每日平均流量的标记整合成有监督数据如图3所示，所述LSTM数据模块中第一数据处理层包括如下步骤：
2.1对第一数据处理层进行定义；
2.2对步骤的数据进行训练和预测；
2.3通过MSE和Nash公式计算获得日流量参数；
2.4判断日流量参数是否满足日调参数，如果满足输出日流量参数，否则返回步骤2.1。
其中，第一层LSTM目标是预测每日平均流量，需要的输入数据是气象数据和流量数据。气象数据包括：日期、平均气温、日最高气温、日最低气温、20-20时降水量、小型蒸发量、大型蒸发量、日照时长。输出数据是每日平均流量。预测方法是将前一天的气象数据和前一天的流量数据作为输入，预测第二天的平均流量。预测过程是先将获取到的数据进行整理，保留以上列举的气象数据，然后将气象数据和流量数据按照日期一一对应。其次，将所有气象数据和流量数据进行归一化处理，并转成有监督的数据集，即第一天的气象数据流量数据对应着第二天的流量数据。然后训练和预测水文流量，最后预测结果使用Nash系数和均方差来评估预测结果是否接近真实值。
步骤三103，通过LSTM数据模块中第二数据处理层对每日水文流量数据集进行计算获得月水文平均流量数据集；即第二层求30天平均每日流量的LSTM层。
如图4所示，第二层的数据中，训练集数据还是第一层设置的年数，第二层的测试集是第一天预测的每日流量数据。关于第二层为何测试集使用第一层的预测后的数据，是因为这样可以保证两层的训练数据和预测数据都是分开的，互不干扰，训练集都是已知的数据，两层LSTM后预测结果是三十天平均每日流量。
所述LSTM数据模块中第二数据处理层包括如下步骤：
3.1对第二数据处理层进行定义；
3.2对步骤3.1的数据进行训练和预测；
3.3通过MSE和Nash公式计算获得月流量参数；
3.4判断月流量参数是否满足月调参数，如果满足输出月流量参数，否则返回步骤3.1。
其中，数据筛选。这些数据首先需要整理在一个表格中，保留后的列为date(日期)、runoff(每日流量)、Mean_temp(平均气温)、Low_temp(最低气温)、High_temp(最高气温)、rain(20-20时降水量)、S_evaporation(小型蒸发量)、B_evaporation(大型蒸发量)、Sun_time(日照时长)。
由于循环神经网络LSTM是时序的神经网络，所以我们需要将前一天的每日流量也作为预测第二天的条件进行输入。这样才能体现LSTM和其他类型的神经网络较为突出的时序的特点。他们是在时间上有联系的，第一天的每日流量对后一天的每日流量有很大影响。
训练集和测试集的选取也是可以根据数据集大小来决定的，训练集一般设置较大一些，至少为7年的数据集。前7年作为训练集，余下的数据作为测试集；前8年作为训练集，余下的数据作为测试集；前10年作为训练集，余下的数据作为测试集。因为如果是6年以内做训练集，训练数据太少，最后的结果可能不是很理想，如果是超过10年作为训练集，剩下的数据量也比较小，容易发生过拟合的情况。
接下来就是两层LSTM的训练和测试。第一层目标是，通过前一天的气象数据和流量数据，预测后一天的流量数据，所以条件是上述合并后的气象和流量数据，来预测每日流量。第二层的目标是，通过30天的流量数据，预测后移一天的三十天的每日平均流量数据，此时没有气象数据的输入了。
步骤四104，通过如下公式对月水平平均数据集进行计算求出Nash检测系数。为了后面数据处理方便，加快网络学习的速度，可以对数据进行归一化，使样本的输入信号都在0-1之间分布。使用的方法是min-max标准化方法，该方法实现对原始数据的等比例缩放。
项目需要的气象数据可以从国家气象科学数据共享服务平台下载使用，而流量数据可以通过观测站获得。气象数据包括：年(年)、月(月)、日(日)、平均气温(0.1℃)、日最高气温(0.1℃)、日最低气温(0.1℃)、20-20时降水量(0.1mm)、小型蒸发量(0.1mm)、大型蒸发量(0.1mm)、日照时长(0.1小时)。流量数据(单位是立方米每秒)不是很全面，中间有一些数据是丢失的，出现这样的情况，需要将数据进行整理，找到连续的数据段用于训练测试。
应当理解的是，这里所讨论的实施方案及实例只是为了说明，对本领域技术人员来说，可以加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。

Claims (3)

1.一种基于LSTM数据模块实现月平均水文流量预测的系统，其特征在于，包括如下步骤：
步骤一，采集气象数据通过数据预处理模块构建水文流量数据模型；
步骤二，通过LSTM数据模块中第一数据处理层对水文流量数据模型中预处理数据进行计算获得每日水文平均流量数据集；
步骤三，通过LSTM数据模块中第二数据处理层对每日水文流量数据集进行计算获得月水文平均流量数据集；
步骤四，通过如下公式对月水平平均数据集进行计算求出Nash检测系数
2.根据权利要求1所述的一种基于LSTM数据模块实现月平均水文流量预测的系统，其特征在于，所述LSTM数据模块中第一数据处理层包括如下步骤：
2.1对第一数据处理层进行定义；
2.2对步骤2.1的数据进行训练和预测；
2.3通过MSE和Nash公式计算获得日流量参数；
2.4判断日流量参数是否满足日调参数，如果满足输出日流量参数，否则返回步骤2.1。
3.根据权利要求1所述的一种基于LSTM数据模块实现月平均水文流量预测的系统，其特征在于，所述LSTM数据模块中第二数据处理层包括如下步骤：
3.1对第二数据处理层进行定义；
3.2对步骤3.1的数据进行训练和预测；
3.3通过MSE和Nash公式计算获得月流量参数；
3.4判断月流量参数是否满足月调参数，如果满足输出月流量参数，否则返回步骤3.1。
CN201811151722.1A 2018-09-29 2018-09-29 一种基于实现月平均水文流量预测的系统 Pending CN109508810A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811151722.1A CN109508810A (zh) 2018-09-29 2018-09-29 一种基于实现月平均水文流量预测的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811151722.1A CN109508810A (zh) 2018-09-29 2018-09-29 一种基于实现月平均水文流量预测的系统

Publications (1)

Publication Number Publication Date
CN109508810A true CN109508810A (zh) 2019-03-22

Family

ID=65746163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811151722.1A Pending CN109508810A (zh) 2018-09-29 2018-09-29 一种基于实现月平均水文流量预测的系统

Country Status (1)

Country Link
CN (1) CN109508810A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222823A (zh) * 2019-05-31 2019-09-10 甘肃省祁连山水源涵养林研究院 一种水文流量波动情势识别方法及其系统
CN110969282A (zh) * 2019-10-17 2020-04-07 天津大学 一种基于lstm复合网络的径流量稳定预测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127242A (zh) * 2016-06-21 2016-11-16 河海大学 基于集成学习的年极端降水预测系统及其预测方法
CN107578106A (zh) * 2017-09-18 2018-01-12 中国科学技术大学 一种融合单词语义知识的神经网络自然语言推理方法
CN110969282A (zh) * 2019-10-17 2020-04-07 天津大学 一种基于lstm复合网络的径流量稳定预测方法
CN112801416A (zh) * 2021-03-10 2021-05-14 长沙理工大学 基于多维水文信息的lstm流域径流量预测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106127242A (zh) * 2016-06-21 2016-11-16 河海大学 基于集成学习的年极端降水预测系统及其预测方法
CN107578106A (zh) * 2017-09-18 2018-01-12 中国科学技术大学 一种融合单词语义知识的神经网络自然语言推理方法
CN110969282A (zh) * 2019-10-17 2020-04-07 天津大学 一种基于lstm复合网络的径流量稳定预测方法
CN112801416A (zh) * 2021-03-10 2021-05-14 长沙理工大学 基于多维水文信息的lstm流域径流量预测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
XIAOHUI YUAN: "Monthly runoff forecasting based on LSTM–ALO model", 《STOCHASTIC ENVIRONMENTAL RESEARCH AND RISK ASSESSMENT》 *
张利平: "基于气象因子的中长期水文预报方法研究", 《水电能源科学》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222823A (zh) * 2019-05-31 2019-09-10 甘肃省祁连山水源涵养林研究院 一种水文流量波动情势识别方法及其系统
CN110222823B (zh) * 2019-05-31 2022-12-30 甘肃省祁连山水源涵养林研究院 一种水文流量波动情势识别方法及其系统
CN110969282A (zh) * 2019-10-17 2020-04-07 天津大学 一种基于lstm复合网络的径流量稳定预测方法

Similar Documents

Publication Publication Date Title
CN106886846A (zh) 一种基于长短期记忆循环神经网络的银行网点备付金预测方法
CN108062561A (zh) 一种基于长短时记忆网络模型的短时数据流预测方法
CN110084367A (zh) 一种基于lstm深度学习模型的土壤墒情预测方法
CN111415752B (zh) 一种融合气象因素和搜索指数的手足口病预测方法
CN109583565A (zh) 基于注意力模型长短时记忆网络的洪水预测方法
CN109840587A (zh) 基于深度学习的水库入库流量预测方法
CN112613225B (zh) 一种基于神经网络元胞传输模型的交叉口交通状态预测方法
CN103942461A (zh) 基于在线贯序极限学习机的水质参数预测方法
CN109886387A (zh) 一种基于门控网络和梯度提升回归的交通时序预测方法
CN109165693A (zh) 一种适用于露、霜和结冰的天气现象的自动判识方法
CN113657028B (zh) 一种基于多源信息的气溶胶光学厚度在线预测方法
CN116205310B (zh) 一种基于可解释集成学习模型的土壤含水量影响因素敏感区间判定方法
Liu et al. Heating load forecasting for combined heat and power plants via strand-based LSTM
Kamangir et al. FogNet: A multiscale 3D CNN with double-branch dense block and attention mechanism for fog prediction
CN110969282A (zh) 一种基于lstm复合网络的径流量稳定预测方法
CN107945534A (zh) 一种基于gmdh神经网络的交通车流量预测方法
CN115347571B (zh) 基于迁移学习的光伏发电功率短期预测方法及装置
CN115271186B (zh) 一种基于延时因子和PSO RNN Attention模型的水库水位预测预警方法
CN109508810A (zh) 一种基于实现月平均水文流量预测的系统
CN114529097A (zh) 多尺度农作物物候期遥感降维预测方法
Sha et al. Deep-learning-based precipitation observation quality control
Gao et al. NDVI forecasting model based on the combination of time series decomposition and CNN–LSTM
Li et al. Prediction of sap flow with historical environmental factors based on deep learning technology
CN110046756A (zh) 基于小波去噪与Catboost的短时天气预报方法
CN105243447A (zh) 一种粮食产量预测方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190322