CN113627465A - 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 - Google Patents

基于卷积长短期记忆神经网络的降水数据时空动态融合方法 Download PDF

Info

Publication number
CN113627465A
CN113627465A CN202110731575.0A CN202110731575A CN113627465A CN 113627465 A CN113627465 A CN 113627465A CN 202110731575 A CN202110731575 A CN 202110731575A CN 113627465 A CN113627465 A CN 113627465A
Authority
CN
China
Prior art keywords
data
precipitation
fusion
model
rainfall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110731575.0A
Other languages
English (en)
Other versions
CN113627465B (zh
Inventor
朱仟
周东旸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southeast University
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN202110731575.0A priority Critical patent/CN113627465B/zh
Publication of CN113627465A publication Critical patent/CN113627465A/zh
Application granted granted Critical
Publication of CN113627465B publication Critical patent/CN113627465B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Development Economics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Educational Administration (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法，涉及水文与气象技术领域，以通过时空动态降水数据融合提高降水数据的精度。该方法包括：基于遥感降水数据、地面观测降水数据、DEM数据和NDVI数据，在时间序列上建立灰度图像数据集；根据时空相关性构建用于融合地面观测降水数据和遥感降水数据的模型；采用ConvLSTM方法提取降水数据、DEM数据和NDVI数据的时空特征；基于ConvLSTM融合模型将每个时刻的融合降水特征通过卷积层输出，通过在研究区域对模型进行训练和测试，获得最优的模型参数，并得到该研究区域的融合降水时空分布。

Description

基于卷积长短期记忆神经网络的降水数据时空动态融合方法
技术领域
本发明涉及水文与气象技术领域，尤其涉及一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法。
背景技术
降水是气象、水文、农业等诸多领域中重要的气象变量，地面观测、雷达估测和卫星反演是目前获取降水数据的主要方式。传统的地面观测最直接有效，其观测获得的降水数据也被公认为是最可信赖的，能够较准确地获取观测点附近的降水量。但受成本、地形等因素的限制，地面观测站的空间分布及覆盖范围有限，无法充分反映降水的空间分布。雷达估测降水产品的时空分辨率较高，但易受遮蔽物、估测方法以及不同雷达数据间在定标和校正问题上的影响，使得雷达估测降水产品的精度较差。与地面观测和雷达估测方法相比，卫星反演的优势在于其能获取全天候、全覆盖的降水数据，能够比较准确地反映降水的时空分布特征，特别是在无资料或资料匮乏的流域，卫星反演降水可能是唯一可获得的降水数据。
数据融合技术经历了快速发展，应用于多源遥感降水数据融合。其为获取具有高时空分辨率且高精度的实时降水数据提供了重要思路，同时也是目前提高降水数据分辨率和质量的主流做法之一。深度学习是新一代的人工神经网络，近年来对工业生产、日常生活和各类学科产生了重要影响，其代表了神经网络自动设计问题相关特征和捕捉复杂数据分布能力方面的重大进步，并被视为未来不可或缺的工具。目前，尚未有研究基于卷积长短期记忆神经网络方法进行降水数据融合。
发明内容
发明目的：针对以上问题，本发明提出一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法，以通过时空动态降水数据融合提高降水数据的精度。
技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法，包括如下步骤：
步骤1：获取地面观测降水数据和遥感降水数据，并对其进行预处理；
步骤2：获取DEM数据和NDVI数据，并对其进行归一化处理；
步骤3：设定合适的空间分辨率，将地面观测降水数据和遥感降水数据、DEM数据和NDVI数据重采样到相同的空间分辨率，并在整个时间序列上，建立深度学习所需的灰度图像数据集；
步骤4：搭建ConvLSTM融合模型，模型的输入为地面观测降水数据和遥感降水数据、DEM数据和NDVI数据，模型的输出为融合降水空间分布时间序列；
步骤5：使用步骤3所得到的灰度图像数据集训练ConvLSTM融合模型，通过反向传播算法更新模型参数，直至损失误差达到最小，获得最优的模型参数；
步骤6：使用训练好的ConvLSTM融合模型获取研究区域的融合降水时空分布。
作为优选，所述预处理包括：去噪、缺失值补齐和异常值处理。
作为优选，步骤3中建立的灰度图像数据集为统一空间分辨率的格点数据形式。
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
本发明所提出的基于卷积长短期记忆神经网络方法的降水数据融合方法，能有效提取相关数据的时空特征，依靠深度学习方法自动设计问题相关特征和捕捉复杂数据分布方面的能力，ConvLSTM融合模型可以学习到不同区域的时空特征，并用于整个区域的降水融合。经检验，ConvLSTM融合模型能够很好地捕捉强降水实践，并能更好地反映降水的时空分布。
附图说明
图1是本发明方法流程示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案作进一步的说明。
本发明所述的基于卷积长短期记忆神经网络的降水数据时空动态融合方法，其采用ConvLSTM(Convolutional Long Short-Term Memory，卷积长短期记忆神经网络)对地面观测降水数据和遥感降水数据进行融合；并以湘江流域为例，融合IMERG(The IntegratedMulti-satellite Retrievals for Global Precipitation Measurement，基于综合多卫星检索的全球降水测量)遥感降水数据和地面观测降水数据，得到整个研究区域上的高时空分辨率、高精度降水估计。流程如图1所示，具体实现包括如下步骤：
步骤1：获取地面观测降水数据和IMERG遥感降水数据，并对其进行预处理；所述预处理包括：去噪、缺失值补齐和异常值处理。
步骤2：获取DEM(Digital Elevation Model，数字高程模型)数据和NDVI(Normalized Difference Vegetation Index，归一化植被指数)数据，并对其进行归一化处理。
步骤3：设定合适的空间分辨率，将地面观测降水数据和遥感降水数据、DEM数据和NDVI数据重采样到相同的空间分辨率，并在整个时间序列上，建立深度学习所需的灰度图像数据集；所建立的灰度图像数据集为统一空间分辨率的格点数据形式。
对DEM数据和NDVI数据进行空间升尺度至0.1°×0.1°，与IMERG遥感降水数据空间分辨率保持一致，并对其进行归一化处理，将其范围限定在[0,1]之间；将地面观测降水数据赋值至距离最近的格点，没有数据的格点则赋值为0；
基于上述数据，创建深度学习的灰度图时间序列输入数据集；将数据集分为训练集和验证集，其中训练集用于训练模型参数，验证集则用于检验模型性能。
步骤4：搭建深度学习框架，并根据时空相关性构建用于融合地面观测降水数据和遥感降水数据的模型；即，搭建ConvLSTM(Convolutional Long Short-Term Memory，卷积长短期记忆神经网络)融合模型，模型的输入为地面观测降水数据和遥感降水数据、DEM数据和NDVI数据，模型的输出为融合降水空间分布时间序列；采用ConvLSTM方法提降水数据、DEM数据和NDVI数据的时空特征。
步骤5：使用步骤3所得到的灰度图像数据集训练ConvLSTM融合模型，通过反向传播算法更新模型参数，直至损失误差达到最小，获得最优的模型参数；
通过ConvLSTM融合模型将每个时刻的融合降水特征通过卷积层输出，将训练集输入深度学习模型中，基于模型输出与真实值之间的误差，深度学习神经网络会通过反向传播算法更新模型参数，直至损失误差达到最小，通过综合比较训练时期和验证时期的误差，获得最优的模型参数。
步骤6：使用训练好的ConvLSTM融合模型获取研究区域的融合降水时空分布。
本发明所提出的基于卷积长短期记忆神经网络方法的降水数据融合方法，能有效提取相关数据的时空特征，依靠深度学习方法自动设计问题相关特征和捕捉复杂数据分布方面的能力，ConvLSTM融合模型可以学习到不同区域的时空特征，并用于整个区域的降水融合。经检验，ConvLSTM融合模型能够很好地捕捉强降水实践，并能更好地反映降水的时空分布。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种基于卷积长短期记忆神经网络的降水数据时空动态融合方法，其特征在于：所述方法包括如下步骤：
步骤1：获取地面观测降水数据和遥感降水数据，并对其进行预处理；
步骤2：获取DEM数据和NDVI数据，并对其进行归一化处理；
步骤3：设定合适的空间分辨率，将地面观测降水数据和遥感降水数据、DEM数据和NDVI数据重采样到相同的空间分辨率，并在整个时间序列上，建立深度学习所需的灰度图像数据集；
步骤4：搭建ConvLSTM融合模型，模型的输入为地面观测降水数据和遥感降水数据、DEM数据和NDVI数据，模型的输出为融合降水空间分布时间序列；
步骤5：使用步骤3所得到的灰度图像数据集训练ConvLSTM融合模型，通过反向传播算法更新模型参数，直至损失误差达到最小，获得最优的模型参数；
步骤6：使用训练好的ConvLSTM融合模型获取研究区域的融合降水时空分布。
2.根据权利要求1所述的降水数据时空动态融合方法，其特征在于：所述预处理包括：去噪、缺失值补齐和异常值处理。
3.根据权利要求1所述的降水数据时空动态融合方法，其特征在于：步骤3中建立的灰度图像数据集为统一空间分辨率的格点数据形式。
CN202110731575.0A 2021-06-30 2021-06-30 基于卷积长短期记忆神经网络的降水数据时空动态融合方法 Active CN113627465B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110731575.0A CN113627465B (zh) 2021-06-30 2021-06-30 基于卷积长短期记忆神经网络的降水数据时空动态融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110731575.0A CN113627465B (zh) 2021-06-30 2021-06-30 基于卷积长短期记忆神经网络的降水数据时空动态融合方法

Publications (2)

Publication Number Publication Date
CN113627465A true CN113627465A (zh) 2021-11-09
CN113627465B CN113627465B (zh) 2022-12-13

Family

ID=78378632

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110731575.0A Active CN113627465B (zh) 2021-06-30 2021-06-30 基于卷积长短期记忆神经网络的降水数据时空动态融合方法

Country Status (1)

Country Link
CN (1) CN113627465B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861840A (zh) * 2022-07-07 2022-08-05 河海大学 一种多源降水数据融合方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764688A (zh) * 2018-05-21 2018-11-06 浙江大学 基于星地多源降水数据融合的冬小麦湿渍害遥感监测方法
CN110363327A (zh) * 2019-06-04 2019-10-22 东南大学 基于ConvLSTM和3D-CNN的短临降水预测方法
CN110442937A (zh) * 2019-07-24 2019-11-12 武汉大学 一种融合卫星遥感和机器学习技术的流域水文模拟方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108764688A (zh) * 2018-05-21 2018-11-06 浙江大学 基于星地多源降水数据融合的冬小麦湿渍害遥感监测方法
CN110363327A (zh) * 2019-06-04 2019-10-22 东南大学 基于ConvLSTM和3D-CNN的短临降水预测方法
CN110442937A (zh) * 2019-07-24 2019-11-12 武汉大学 一种融合卫星遥感和机器学习技术的流域水文模拟方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114861840A (zh) * 2022-07-07 2022-08-05 河海大学 一种多源降水数据融合方法
CN114861840B (zh) * 2022-07-07 2022-10-04 河海大学 一种多源降水数据融合方法

Also Published As

Publication number Publication date
CN113627465B (zh) 2022-12-13

Similar Documents

Publication Publication Date Title
CN110738252B (zh) 空间自相关的机器学习卫星降水数据降尺度方法、系统
Lu et al. Correcting GPM IMERG precipitation data over the Tianshan Mountains in China
CN109580003B (zh) 一种静止气象卫星热红外数据估算近地面大气温度方法
Yang et al. Merging high‐resolution satellite‐based precipitation fields and point‐scale rain gauge measurements—A case study in Chile
CN109840553B (zh) 耕地作物类型的提取方法及系统、存储介质、电子设备
US11231519B2 (en) Method and device for simulating discharge, and computer device
CN110059745B (zh) 一种基于星地融合的流域降雨产品订正方法及系统
CN110781169B (zh) 自适应多源InSAR监测地面沉降时间序列数据拼接方法及系统
CN103529189A (zh) 一种基于定性和定量辅助变量的土壤有机质空间分布预测方法
CN112906638A (zh) 一种基于多层次监督和深度度量学习的遥感变化检测方法
CN114120101A (zh) 一种土壤水分多尺度综合感知方法
CN112308029A (zh) 雨量站与卫星的降水数据融合方法及系统
CN112329265A (zh) 卫星遥感降水精细化空间估算方法及系统
CN114936201A (zh) 基于自适应分块神经网络模型的卫星降水数据校正方法
CN112200050A (zh) 基于多源卫星数据的湖泊水量时空变化分析方法及装置
CN111798132B (zh) 基于多源时序遥感深度协同下的耕地动态监测方法及系统
Fan et al. A comparative study of four merging approaches for regional precipitation estimation
Aerts et al. Large-sample assessment of varying spatial resolution on the streamflow estimates of the wflow_sbm hydrological model
CN114819737B (zh) 公路路域植被的碳储量估算方法、系统及存储介质
CN115544889A (zh) 基于深度学习的数值模式降水偏差校正方法
CN116450700A (zh) 极轨卫星地表温度时间归一化方法、装置及电子设备
CN113627465B (zh) 基于卷积长短期记忆神经网络的降水数据时空动态融合方法
Cui et al. Bayesian optimization of typhoon full-track simulation on the Northwestern Pacific segmented by QuadTree decomposition
CN117192510A (zh) 一种双偏振雷达雨滴谱参数反演方法
JP2022538597A (ja) センサフュージョン

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant