CN111914487A - 一种基于对抗神经网络的无资料地区水文参数率定方法 - Google Patents
一种基于对抗神经网络的无资料地区水文参数率定方法 Download PDFInfo
- Publication number
- CN111914487A CN111914487A CN202010820440.7A CN202010820440A CN111914487A CN 111914487 A CN111914487 A CN 111914487A CN 202010820440 A CN202010820440 A CN 202010820440A CN 111914487 A CN111914487 A CN 111914487A
- Authority
- CN
- China
- Prior art keywords
- hydrological
- parameters
- data
- parameter
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2113/00—Details relating to the application field
- G06F2113/08—Fluids
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Medical Informatics (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于对抗神经网络的无资料地区水文参数率定方法,它包括:采集土壤质地、植被覆盖度、土地利用率、地形数据、径流系数、年蒸发总量、比降和坡度数据;将率定区域划分为30平方公里以下的计算单元;确定每一个计算单元每一个参数下垫面及气象相关因子;采用对抗神经网络GAN对有资料流域水文参数的自动率定,得到每个单元最优的水文参数;采用有资料地区所有计算单元的最优水文参数,基于对抗神经网络GAN训练统一的参数生成器;通过训练好的参数生成器对无资料地区水文参数进行确定;解决了现有技术工作重复性、效率低和复杂度极高,不利用水文模型的应用推广等技术问题。
Description
技术领域
本发明属于水文参数率定技术,尤其涉及一种基于对抗神经网络的无资料地区水文参数率定方法。
背景技术
水文模型在进行水文规律研究和解决生产实际问题中起着重要的作用,随着现代科学技术的飞速发展,以计算机和通信为核心的信息技术在水文水资源及水利工程科学领域的广泛应用,使水文模型的研究得到迅速发展,并广泛应用于水文基本规律研究、水旱灾害防治、水资源评价与开发利用、水环境和生态系统保护、气候变化及人类活动对水资源和水环境影响分析等领域。因此,研究如何提高水文模型的预测精度,具有重要的科学意义和应用价值。
任何模型均伴有误差和不确定性,模型建模工作中,误差源是大量的,其误差来源主要有以下几个方面:
(1)被排除在外的因素引起的误差
在建模过程中,水文模型需要考虑“降水——产流——汇流”整个水文过程的每个环节,每个环节都有许多影响因子,把每个因子都引入到模型中是不可能做到的。所以要对这些影响因子有所选择产生一定的预测误差。
(2)实测历史记录资料的误差
实测数据资料精度的高低、误差的大小决定于测量技术的先进和成熟程度,影响模型模拟的拟合度,从而影响模型的预测精度。这些资料不但包括传统的水文(流量)气象(降雨)资料,还包括地质、植被、土壤和土地利用等因素。
(3)参数误差
分布式水文模型参数具有比较明确的物理意义,易于估计参数的变化范围,但是参数最优值难以确定。
(4)模型结构误差
在模型设计和建立过程中采用的不正确的计算方法,不合适的时间步长,不恰当的运行次序,不完整或有偏差的模型结构等都会引起模型预测误差。
为了消除上述原因引起的模型预测误差,参数的率定是提高水文模型预测精度的一个重要环节,大部分的流域水文模型特别是中小流域的一些参数不能直接通过观测试验确定,它们的取值却与流域的下垫面特征有着一定的关系,但却不能与流域的下垫面特征建立起关系,所以对于流域水文模型来说参数的率定仍然是一个困难的问题。
在现有技术中针对有资料流域具体应用时,水文模型的参数率定一般采用传统的试错法,即通过人工不断调整水文模型的参数值,以达到模拟精度要求,但是对于无资料的水文模型参数的率定,采用该方法就存在率定准确率低,严重影响水文预报精确度等问题。
发明内容
本发明要解决的技术问题是:提供一种基于对抗神经网络的无资料地区水文参数率定方法,以解决以解决现有技术针对无资料流域水文模型参数确定采用传统的试错法,即通过人工不断调整水文模型的参数值,以达到模拟精度要求,采用该方法存在率定准确率低,严重影响水文预报精确度等问题。
本发明的技术方案是:
一种基于对抗神经网络的无资料地区水文参数率定方法,它包括:
步骤1、采集土壤质地、植被覆盖度、土地利用率、地形数据、径流系数、年蒸发总量、比降和坡度数据;
步骤2、将率定区域划分为30平方公里以下的计算单元;
步骤3、根据水文模型参数的物理特性,确定每一个计算单元每一个参数下垫面及气象相关因子;
步骤4、采用对抗神经网络GAN对有资料流域水文参数的自动率定,对抗神经网络GAN以噪声作为输入,通过水文模型进行参数优选,得到每个单元最优的水文参数;
步骤5、采用有资料地区所有计算单元的最优水文参数,基于对抗神经网络GAN训练统一的参数生成器;
步骤6、通过训练好的参数生成器对无资料地区水文参数进行确定。
步骤3所述每一个参数下垫面及气象相关因子为:
步骤4所述采用对抗神经网络GAN进行水文参数的自动率定的方法为:
步骤4.1、以正态分布的噪声作为生成器的输入生成样本;
步骤4.2、将生成的样本集输入到水文模型中进行优选得到最优参数;
步骤4.3、将水文模型输出的最优参数和生成器生成的样本输入到判别器的判别真假。
步骤4.2所述将生成的样本集输入到水文模型中进行优选得到最优参数时,是以确定性系数作为优选原则。
步骤5所述采用有资料地区所有计算单元的最优水文参数,基于对抗神经网络GAN训练统一的参数生成器的方法为:生成器和判别器同时参加
训练,具体包括:
步骤5.1、输入计算单元下垫面和气候特征因子到生成器中生成参数;
步骤5.2、将计算单元的最优水文参数和生成器中生成的参数一起输入到判别器中判断真假;
步骤5.3、当判别器不能判断出输入的是最优水文参数还是生成器中生成的参数时,即实现了统一的参数生成器的训练。
本发明有益效果:
本发明将优化区域划分为无数个独立的计算单元,然后采用对抗神经网络GAN进行水文参数的自动率定,实现有资料地区的参数率定,因此可以有效的解决了现代水文模型由于专业性强导致的使用困难的问题,可以在实际应用中减少了大量的专业人工参数调整与率定的繁琐步骤和工作。为各类水文模型推广应用,解决了现有技术针对有资料流域水文模型参数确定采用传统的试错法,即通过人工不断调整水文模型的参数值,以达到模拟精度要求,采用该方法存在人为主观性,工作重复性、效率低和复杂度极高,不利用水文模型的应用推广等技术问题。
附图说明:
图1为本发明对抗神经网络GAN对相似单元进行水文参数的自动率定流程示意图;
图2为本发明具体实施方式中无资料地区参数生成器训练方法流程图。
具体实施方式
一种基于对抗神经网络的无资料地区水文参数率定方法,它包括:
步骤1、采集土壤质地、植被覆盖度、土地利用率、地形数据、径流系数、年蒸发总量、比降和坡度数据;
步骤2、将率定区域划分为30平方公里以下的计算单元;
步骤3、根据水文模型参数的物理特性,确定每一个计算单元每一个参数下垫面及气象相关因子;
步骤4、采用对抗神经网络GAN对有资料流域水文参数的自动率定,对抗神经网络GAN以噪声作为输入,通过水文模型进行参数优选,得到每个单元最优的水文参数;
步骤3所述每一个参数下垫面及气象相关因子为:
步骤4所述采用对抗神经网络GAN进行水文参数的自动率定的方法为:
步骤4.1、以正态分布的噪声作为生成器的输入生成样本;
步骤4.2、将生成的样本集输入到水文模型中进行优选得到最优参数;
步骤4.3、将水文模型输出的最优参数和生成器生成的样本输入到判别器的判别真假。
步骤4.2所述将生成的样本集输入到水文模型中进行优选得到最优参数时,是以确定性系数作为优选原则。
对抗式生成网络(Generative Adversarial Networks,GAN)是生成模型的一个子类,可以对现有数据样本的潜在分布进行估计,构建出可以符合数据分布的模型,并生成新的数据样本,并且模型具有一定的自学习能力,可以应用在半监督学习中。
GAN的核心思想来源于博弈论的纳什均衡,它设定的参与双方分别为一个生成器和一个判别器,生成器的目的是尽量去学习真实的数据分布,而判别器的目的是尽量正确判别输入数据是来自真实数据还是来自生成器;两个模型需要同时不断优化,各自提高自己的生成能力和判别能力,当二者达到一个平衡时即完成计算。
常规对抗神经网络是不能直接实现自动参数的率定,因为没有真实的样本。因此必须在每次生成器输出生成样本时,采用水文模型进行最优参数的选择,作为下次判别器迭代计算的真实样本输入。
可以看出判别器和生成器的损失值,它们都逐渐接近于1,说明模型是收敛的。
水文模型的确定性系数,可以看到由初期的0.78提升到0.86.说明神经网络可以用于水文模型参数优化。
在图中可以看到当确定性系数比上次优秀时,损失值会突然增大,说明更新真实值后判定器会自动重新训练,且很快收敛。因此进行优选得到最优参数时,是以确定性系数作为优选原则。
无资料地球水文模型参数生成仍然采用对抗神经网络来构建,此阶段有资料地球每一个计算单元或流域的最优参数已经得,因此水文模型不参与计算,计算速度会更快;无资料地球水文模型参数生成本发明设计了收敛最快的方案;采用各个单元最优参数,基于GAN的训练参数生成器,参数生成器的输入是某一单元的下垫面和气象特征。
具体包括:
步骤5所述采用有资料地区所有计算单元的最优水文参数,基于对抗神
经网络GAN训练统一的参数生成器的方法具体包括:
步骤5.1、输入计算单元下垫面和气候特征因子到生成器中生成参数;
步骤5.2、将计算单元的最优水文参数和生成器中生成的参数一起输入到判别器中判断真假;
步骤5.3、当判别器不能判断出输入的是最优水文参数还是生成器中生成的参数时,即实现了统一的参数生成器的训练。
步骤6、通过训练好的参数生成器对无资料地区水文参数进行确定。
确定方法为:将无资料地区的计算单元下垫面和气候特征因子输入到训练好的参数生成器中,参数生成器输出相应的水文参数。
深度学习网络的学习能力相当强,当给定一个真实样本后,生成模型可以迅速的收敛到真实样本的范围,由于真实值也是需要迭代更新的,所以极容易出现过拟合问题,直接导致收敛速度慢或陷入局部最优。本发明采用用休眠局部神经元、权重正则化和调整神经元数据等方法解决这些问题。
对于本发明最核心问题就是找出有资料流域的最优参数,因此可以加入最优搜寻策略对生成样本进行优选,提高整个网络的性能。
本发明采用对抗神经网络之所以能推出最优参数,是因为它每一次迭代都是在上次最好的一个分布空间内,随机变化来而产生。
Claims (5)
1.一种基于对抗神经网络的无资料地区水文参数率定方法,它包括:
步骤1、采集土壤质地、植被覆盖度、土地利用率、地形数据、径流系数、年蒸发总量、比降和坡度数据;
步骤2、将率定区域划分为30平方公里以下的计算单元;
步骤3、根据水文模型参数的物理特性,确定每一个计算单元每一个参数下垫面及气象相关因子;
步骤4、采用对抗神经网络GAN对有资料流域水文参数的自动率定,对抗神经网络GAN以噪声作为输入,通过水文模型进行参数优选,得到每个单元最优的水文参数;
步骤5、采用有资料地区所有计算单元的最优水文参数,基于对抗神经网络GAN训练统一的参数生成器;
步骤6、通过训练好的参数生成器对无资料地区水文参数进行确定。
3.根据权利要求1所述的一种基于对抗神经网络的无资料地区水文参数率定方法,其特征在于:步骤4所述采用对抗神经网络GAN进行水文参数的自动率定的方法为:
步骤4.1、以正态分布的噪声作为生成器的输入生成样本;
步骤4.2、将生成的样本集输入到水文模型中进行优选得到最优参数;
步骤4.3、将水文模型输出的最优参数和生成器生成的样本输入到判别器的判别真假。
4.根据权利要求3所述的一种基于对抗神经网络的无资料地区水文参数率定方法,其特征在于:步骤4.2所述将生成的样本集输入到水文模型中进行优选得到最优参数时,是以确定性系数作为优选原则。
5.根据权利要求1所述的一种基于对抗神经网络的无资料地区水文参数率定方法,其特征在于:步骤5所述采用有资料地区所有计算单元的最优水文参数,基于对抗神经网络GAN训练统一的参数生成器的方法为:生成器和判别器同时参加训练,具体包括:
步骤5.1、输入计算单元下垫面和气候特征因子到生成器中生成参数;
步骤5.2、将计算单元的最优水文参数和生成器中生成的参数一起输入到判别器中判断真假;
步骤5.3、当判别器不能判断出输入的是最优水文参数还是生成器中生成的参数时,即实现了统一的参数生成器的训练。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010820440.7A CN111914487B (zh) | 2020-08-14 | 2020-08-14 | 一种基于对抗神经网络的无资料地区水文参数率定方法 |
PCT/CN2020/123713 WO2022032873A1 (zh) | 2020-08-14 | 2020-10-26 | 一种基于对抗神经网络的无资料地区水文参数率定方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010820440.7A CN111914487B (zh) | 2020-08-14 | 2020-08-14 | 一种基于对抗神经网络的无资料地区水文参数率定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111914487A true CN111914487A (zh) | 2020-11-10 |
CN111914487B CN111914487B (zh) | 2023-04-07 |
Family
ID=73283201
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202010820440.7A Active CN111914487B (zh) | 2020-08-14 | 2020-08-14 | 一种基于对抗神经网络的无资料地区水文参数率定方法 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN111914487B (zh) |
WO (1) | WO2022032873A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763970A (zh) * | 2023-12-26 | 2024-03-26 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于图像深度学习的稀缺资料地区水文模型参数重建方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114662310B (zh) * | 2022-03-22 | 2023-03-03 | 中国水利水电科学研究院 | 一种基于机器学习的无资料小流域参数区域化的方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133292A (zh) * | 2017-12-25 | 2018-06-08 | 贵州东方世纪科技股份有限公司 | 一种基于人工智能的水土侵蚀计算方法 |
CN109840873A (zh) * | 2019-02-02 | 2019-06-04 | 中国水利水电科学研究院 | 一种基于机器学习的无资料地区水文模型参数区域化方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20090102311A (ko) * | 2008-03-26 | 2009-09-30 | (주)성경기술공사 | 수치지도를 이용한 산사태 발생지 예측 시스템 |
CN102034003B (zh) * | 2010-12-16 | 2012-11-28 | 南京大学 | 基于蓄水容量曲线和topmodel的流域水文模型的设计方法 |
CN102034001A (zh) * | 2010-12-16 | 2011-04-27 | 南京大学 | 一种以栅格为模拟单元的分布式水文模型设计方法 |
-
2020
- 2020-08-14 CN CN202010820440.7A patent/CN111914487B/zh active Active
- 2020-10-26 WO PCT/CN2020/123713 patent/WO2022032873A1/zh active Application Filing
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108133292A (zh) * | 2017-12-25 | 2018-06-08 | 贵州东方世纪科技股份有限公司 | 一种基于人工智能的水土侵蚀计算方法 |
CN109840873A (zh) * | 2019-02-02 | 2019-06-04 | 中国水利水电科学研究院 | 一种基于机器学习的无资料地区水文模型参数区域化方法 |
Non-Patent Citations (2)
Title |
---|
戚高晟等: "人工神经网络在水文数据模拟方向上的应用分析", 《亚热带水土保持》 * |
王越霄等: "概念性流域水文模型参数校准", 《东北水利水电》 * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117763970A (zh) * | 2023-12-26 | 2024-03-26 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于图像深度学习的稀缺资料地区水文模型参数重建方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2022032873A1 (zh) | 2022-02-17 |
CN111914487B (zh) | 2023-04-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109858647B (zh) | 一种耦合gis和gbdt算法的区域洪涝灾害风险评价与预估方法 | |
Wagener et al. | A toolkit for the development and application of parsimonious hydrological models | |
CN111259522B (zh) | 一种水文模型在地理空间上多流域并行率定的方法 | |
CN111915058B (zh) | 基于长短时记忆网络和迁移学习的洪水预测方法与装置 | |
CN111914487B (zh) | 一种基于对抗神经网络的无资料地区水文参数率定方法 | |
CN111914488B (zh) | 一种基于对抗神经网络的有资料地区水文参数率定方法 | |
CN115935834A (zh) | 一种基于深度自回归网络和持续学习策略的历史拟合方法 | |
CN113378473A (zh) | 一种基于机器学习模型的地下水砷风险预测方法 | |
CN109214591A (zh) | 一种木本植物地上生物量预测方法及系统 | |
CN115759445A (zh) | 一种基于机器学习和云模型的分类洪水随机预报方法 | |
CN111914465B (zh) | 基于聚类及粒子群优化的无资料地区水文参数率定方法 | |
CN116796799A (zh) | 无水文资料地区中小流域洪水降雨量阈值模型创建方法 | |
Li et al. | Development of a joint probabilistic rainfall‐runoff model for high‐to‐extreme flow projections under changing climatic conditions | |
Zhao et al. | Evaluating influences of the Manwan Dam and climate variability on the hydrology of the Lancang-Mekong River, Yunnan Province, southwest China | |
CN107688702B (zh) | 一种基于狼群算法的河道洪水流量演进规律模拟方法 | |
CN117787081A (zh) | 一种基于Morris和Sobol法的水文模型参数不确定性分析方法 | |
Gao et al. | A framework for automatic calibration of SWMM considering input uncertainty | |
CN115860165A (zh) | 一种考虑初损的神经网络流域降雨径流预报方法及系统 | |
CN114519308A (zh) | 河流水沙调节影响下河水地下水相互转化滞后响应时间的确定方法 | |
CN113111590A (zh) | 一种基于人工神经网络的城市洪涝模型径流敏感参数识别方法 | |
CN110414146B (zh) | 一种基于深度学习的水环境治理项目设计参数优化方法 | |
Zhang et al. | Calibration and uncertainty analysis of a hydrological model based on cuckoo search and the M-GLUE method | |
CN117471575B (zh) | 基于bo-lstm神经网络模型的台风浪波高预报方法 | |
CN115907178B (zh) | 一种净生态系统co2交换量的预测方法 | |
CN117405175B (zh) | 海洋环境智能监测系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |