CN113627465B - 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 - Google Patents
基于卷积长短期记忆神经网络的降水数据时空动态融合方法 Download PDFInfo
- Publication number
- CN113627465B CN113627465B CN202110731575.0A CN202110731575A CN113627465B CN 113627465 B CN113627465 B CN 113627465B CN 202110731575 A CN202110731575 A CN 202110731575A CN 113627465 B CN113627465 B CN 113627465B
- Authority
- CN
- China
- Prior art keywords
- data
- precipitation
- fusion
- model
- rainfall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 15
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 10
- 230000015654 memory Effects 0.000 title claims abstract description 9
- 238000001556 precipitation Methods 0.000 claims abstract description 52
- 230000004927 fusion Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 238000012549 training Methods 0.000 claims abstract description 9
- 238000013135 deep learning Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 6
- 238000012952 Resampling Methods 0.000 claims description 3
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 abstract description 3
- 230000006403 short-term memory Effects 0.000 description 4
- 238000007689 inspection Methods 0.000 description 2
- 230000007787 long-term memory Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009776 industrial production Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Tourism & Hospitality (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Development Economics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Educational Administration (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法,涉及水文与气象技术领域,以通过时空动态降水数据融合提高降水数据的精度。该方法包括:基于遥感降水数据、地面观测降水数据、DEM数据和NDVI数据,在时间序列上建立灰度图像数据集;根据时空相关性构建用于融合地面观测降水数据和遥感降水数据的模型;采用ConvLSTM方法提取降水数据、DEM数据和NDVI数据的时空特征;基于ConvLSTM融合模型将每个时刻的融合降水特征通过卷积层输出,通过在研究区域对模型进行训练和测试,获得最优的模型参数,并得到该研究区域的融合降水时空分布。
Description
技术领域
本发明涉及水文与气象技术领域,尤其涉及一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法。
背景技术
降水是气象、水文、农业等诸多领域中重要的气象变量,地面观测、雷达估测和卫星反演是目前获取降水数据的主要方式。传统的地面观测最直接有效,其观测获得的降水数据也被公认为是最可信赖的,能够较准确地获取观测点附近的降水量。但受成本、地形等因素的限制,地面观测站的空间分布及覆盖范围有限,无法充分反映降水的空间分布。雷达估测降水产品的时空分辨率较高,但易受遮蔽物、估测方法以及不同雷达数据间在定标和校正问题上的影响,使得雷达估测降水产品的精度较差。与地面观测和雷达估测方法相比,卫星反演的优势在于其能获取全天候、全覆盖的降水数据,能够比较准确地反映降水的时空分布特征,特别是在无资料或资料匮乏的流域,卫星反演降水可能是唯一可获得的降水数据。
数据融合技术经历了快速发展,应用于多源遥感降水数据融合。其为获取具有高时空分辨率且高精度的实时降水数据提供了重要思路,同时也是目前提高降水数据分辨率和质量的主流做法之一。深度学习是新一代的人工神经网络,近年来对工业生产、日常生活和各类学科产生了重要影响,其代表了神经网络自动设计问题相关特征和捕捉复杂数据分布能力方面的重大进步,并被视为未来不可或缺的工具。目前,尚未有研究基于卷积长短期记忆神经网络方法进行降水数据融合。
发明内容
发明目的:针对以上问题,本发明提出一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法,以通过时空动态降水数据融合提高降水数据的精度。
技术方案:为实现本发明的目的,本发明所采用的技术方案是:一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法,包括如下步骤:
步骤1:获取地面观测降水数据和遥感降水数据,并对其进行预处理;
步骤2:获取DEM数据和NDVI数据,并对其进行归一化处理;
步骤3:设定合适的空间分辨率,将地面观测降水数据和遥感降水数据、DEM数据和NDVI数据重采样到相同的空间分辨率,并在整个时间序列上,建立深度学习所需的灰度图像数据集;
步骤4:搭建ConvLSTM融合模型,模型的输入为地面观测降水数据和遥感降水数据、DEM数据和NDVI数据,模型的输出为融合降水空间分布时间序列;
步骤5:使用步骤3所得到的灰度图像数据集训练ConvLSTM融合模型,通过反向传播算法更新模型参数,直至损失误差达到最小,获得最优的模型参数;
步骤6:使用训练好的ConvLSTM融合模型获取研究区域的融合降水时空分布。
作为优选,所述预处理包括:去噪、缺失值补齐和异常值处理。
作为优选,步骤3中建立的灰度图像数据集为统一空间分辨率的格点数据形式。
有益效果:与现有技术相比,本发明的技术方案具有以下有益的技术效果:
本发明所提出的基于卷积长短期记忆神经网络方法的降水数据融合方法,能有效提取相关数据的时空特征,依靠深度学习方法自动设计问题相关特征和捕捉复杂数据分布方面的能力,ConvLSTM融合模型可以学习到不同区域的时空特征,并用于整个区域的降水融合。经检验,ConvLSTM融合模型能够很好地捕捉强降水实践,并能更好地反映降水的时空分布。
附图说明
图1是本发明方法流程示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的基于卷积长短期记忆神经网络的降水数据时空动态融合方法,其采用ConvLSTM(Convolutional Long Short-Term Memory,卷积长短期记忆神经网络)对地面观测降水数据和遥感降水数据进行融合;并以湘江流域为例,融合IMERG(The IntegratedMulti-satellite Retrievals for Global Precipitation Measurement,基于综合多卫星检索的全球降水测量)遥感降水数据和地面观测降水数据,得到整个研究区域上的高时空分辨率、高精度降水估计。流程如图1所示,具体实现包括如下步骤:
步骤1:获取地面观测降水数据和IMERG遥感降水数据,并对其进行预处理;所述预处理包括:去噪、缺失值补齐和异常值处理。
步骤2:获取DEM(Digital Elevation Model,数字高程模型)数据和NDVI(Normalized Difference Vegetation Index,归一化植被指数)数据,并对其进行归一化处理。
步骤3:设定合适的空间分辨率,将地面观测降水数据和遥感降水数据、DEM数据和NDVI数据重采样到相同的空间分辨率,并在整个时间序列上,建立深度学习所需的灰度图像数据集;所建立的灰度图像数据集为统一空间分辨率的格点数据形式。
对DEM数据和NDVI数据进行空间升尺度至0.1°×0.1°,与IMERG遥感降水数据空间分辨率保持一致,并对其进行归一化处理,将其范围限定在[0,1]之间;将地面观测降水数据赋值至距离最近的格点,没有数据的格点则赋值为0;
基于上述数据,创建深度学习的灰度图时间序列输入数据集;将数据集分为训练集和验证集,其中训练集用于训练模型参数,验证集则用于检验模型性能。
步骤4:搭建深度学习框架,并根据时空相关性构建用于融合地面观测降水数据和遥感降水数据的模型;即,搭建ConvLSTM(Convolutional Long Short-Term Memory,卷积长短期记忆神经网络)融合模型,模型的输入为地面观测降水数据和遥感降水数据、DEM数据和NDVI数据,模型的输出为融合降水空间分布时间序列;采用ConvLSTM方法提降水数据、DEM数据和NDVI数据的时空特征。
步骤5:使用步骤3所得到的灰度图像数据集训练ConvLSTM融合模型,通过反向传播算法更新模型参数,直至损失误差达到最小,获得最优的模型参数;
通过ConvLSTM融合模型将每个时刻的融合降水特征通过卷积层输出,将训练集输入深度学习模型中,基于模型输出与真实值之间的误差,深度学习神经网络会通过反向传播算法更新模型参数,直至损失误差达到最小,通过综合比较训练时期和验证时期的误差,获得最优的模型参数。
步骤6:使用训练好的ConvLSTM融合模型获取研究区域的融合降水时空分布。
本发明所提出的基于卷积长短期记忆神经网络方法的降水数据融合方法,能有效提取相关数据的时空特征,依靠深度学习方法自动设计问题相关特征和捕捉复杂数据分布方面的能力,ConvLSTM融合模型可以学习到不同区域的时空特征,并用于整个区域的降水融合。经检验,ConvLSTM融合模型能够很好地捕捉强降水实践,并能更好地反映降水的时空分布。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (3)
1.一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法,其特征在于:所述方法包括如下步骤:
步骤1:获取地面观测降水数据和遥感降水数据,并对其进行预处理;
步骤2:获取DEM数据和NDVI数据,并对其进行归一化处理;
步骤3:设定合适的空间分辨率,将地面观测降水数据和遥感降水数据、DEM数据和NDVI数据重采样到相同的空间分辨率,并在整个时间序列上,建立深度学习所需的灰度图像数据集;
步骤4:搭建ConvLSTM融合模型,模型的输入为地面观测降水数据和遥感降水数据、DEM数据和NDVI数据,模型的输出为融合降水空间分布时间序列;
步骤5:使用步骤3所得到的灰度图像数据集训练ConvLSTM融合模型,通过反向传播算法更新模型参数,直至损失误差达到最小,获得最优的模型参数;
步骤6:使用训练好的ConvLSTM融合模型获取研究区域的融合降水时空分布。
2.根据权利要求1所述的降水数据时空动态融合方法,其特征在于:所述预处理包括:去噪、缺失值补齐和异常值处理。
3.根据权利要求1所述的降水数据时空动态融合方法,其特征在于:步骤3中建立的灰度图像数据集为统一空间分辨率的格点数据形式。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110731575.0A CN113627465B (zh) | 2021-06-30 | 2021-06-30 | 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110731575.0A CN113627465B (zh) | 2021-06-30 | 2021-06-30 | 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113627465A CN113627465A (zh) | 2021-11-09 |
CN113627465B true CN113627465B (zh) | 2022-12-13 |
Family
ID=78378632
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110731575.0A Active CN113627465B (zh) | 2021-06-30 | 2021-06-30 | 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113627465B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114861840B (zh) * | 2022-07-07 | 2022-10-04 | 河海大学 | 一种多源降水数据融合方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764688A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 基于星地多源降水数据融合的冬小麦湿渍害遥感监测方法 |
CN110363327A (zh) * | 2019-06-04 | 2019-10-22 | 东南大学 | 基于ConvLSTM和3D-CNN的短临降水预测方法 |
CN110442937A (zh) * | 2019-07-24 | 2019-11-12 | 武汉大学 | 一种融合卫星遥感和机器学习技术的流域水文模拟方法 |
-
2021
- 2021-06-30 CN CN202110731575.0A patent/CN113627465B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108764688A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 基于星地多源降水数据融合的冬小麦湿渍害遥感监测方法 |
CN110363327A (zh) * | 2019-06-04 | 2019-10-22 | 东南大学 | 基于ConvLSTM和3D-CNN的短临降水预测方法 |
CN110442937A (zh) * | 2019-07-24 | 2019-11-12 | 武汉大学 | 一种融合卫星遥感和机器学习技术的流域水文模拟方法 |
Also Published As
Publication number | Publication date |
---|---|
CN113627465A (zh) | 2021-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110738252B (zh) | 空间自相关的机器学习卫星降水数据降尺度方法、系统 | |
US11231519B2 (en) | Method and device for simulating discharge, and computer device | |
Lu et al. | Correcting GPM IMERG precipitation data over the Tianshan Mountains in China | |
CN109840553B (zh) | 耕地作物类型的提取方法及系统、存储介质、电子设备 | |
CN110781169B (zh) | 自适应多源InSAR监测地面沉降时间序列数据拼接方法及系统 | |
CN106483147B (zh) | 基于多源数据的长时间序列被动微波土壤水分精度改进研究方法 | |
CN116450700B (zh) | 极轨卫星地表温度时间归一化方法、装置及电子设备 | |
CN114120101A (zh) | 一种土壤水分多尺度综合感知方法 | |
CN115423163A (zh) | 一种流域短期洪水事件预测方法、装置及终端设备 | |
CN113033453A (zh) | 一种适用于景观破碎区作物类型遥感识别的方法及系统 | |
CN112329265A (zh) | 卫星遥感降水精细化空间估算方法及系统 | |
Aerts et al. | Large-sample assessment of varying spatial resolution on the streamflow estimates of the wflow_sbm hydrological model | |
CN114936201A (zh) | 基于自适应分块神经网络模型的卫星降水数据校正方法 | |
CN111798132B (zh) | 基于多源时序遥感深度协同下的耕地动态监测方法及系统 | |
CN113627465B (zh) | 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 | |
Fan et al. | A comparative study of four merging approaches for regional precipitation estimation | |
CN117192510A (zh) | 一种双偏振雷达雨滴谱参数反演方法 | |
Zhang et al. | Developing a process-based and remote sensing driven crop yield model for maize (PRYM–Maize) and its validation over the Northeast China Plain | |
CN115544889A (zh) | 基于深度学习的数值模式降水偏差校正方法 | |
Cui et al. | Bayesian optimization of typhoon full-track simulation on the Northwestern Pacific segmented by QuadTree decomposition | |
CN115661674A (zh) | 一种基于多源卫星土壤湿度数据的作物灌溉信息提取方法 | |
CN115688955A (zh) | 植被长势预测方法、装置及存储介质 | |
JP2022538597A (ja) | センサフュージョン | |
CN114065931B (zh) | 基于物理模型和神经网络融合的陆地水汽反演方法及系统 | |
CN116310802A (zh) | 一种基于多尺度融合模型的宅基地变化监测方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |