CN117349795A - 基于ann和gwr耦合的降水融合方法和系统 - Google Patents

基于ann和gwr耦合的降水融合方法和系统 Download PDF

Info

Publication number
CN117349795A
CN117349795A CN202311646345.XA CN202311646345A CN117349795A CN 117349795 A CN117349795 A CN 117349795A CN 202311646345 A CN202311646345 A CN 202311646345A CN 117349795 A CN117349795 A CN 117349795A
Authority
CN
China
Prior art keywords
precipitation
data
grid
fusion
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311646345.XA
Other languages
English (en)
Other versions
CN117349795B (zh
Inventor
张野
刘竟
牛凯杰
李伶杰
杨帆
苏鑫
王磊之
王钦
崔婷婷
刘勇
朱伟
卢开东
陈兆懿
高锐
胡鉴闻
谢松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Original Assignee
Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources filed Critical Nanjing Hydraulic Research Institute of National Energy Administration Ministry of Transport Ministry of Water Resources
Priority to CN202311646345.XA priority Critical patent/CN117349795B/zh
Publication of CN117349795A publication Critical patent/CN117349795A/zh
Application granted granted Critical
Publication of CN117349795B publication Critical patent/CN117349795B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/10Pre-processing; Data cleansing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217Validation; Performance evaluation; Active pattern learning techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/27Regression, e.g. linear or logistic regression
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • G06N3/0442Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0464Convolutional networks [CNN, ConvNet]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/0499Feedforward networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/084Backpropagation, e.g. using gradient descent
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于ANN和GWR耦合的降水融合方法和系统,确定研究区域并栅格化,获取研究区域内的基础数据并预处理;构建并通过基础数据训练ANN模型,通过该模型得到栅格有无雨判断矩阵;构建并通过多源降水数据训练GWR模型,通过该模型得到栅格降水量矩阵;基于栅格有无雨判断矩阵和降水量矩阵对计算结果进行修正和交叉验证,并做乘积,得到栅格降水融合矩阵,获得降水融合结果;将降水融合结果与观测值进行对比,分析降水融合的时空分布特征,评估降水融合的精度和效率,符合预期要求后,将ANN和GWR耦合模型配置在预定系统中。本申请有效降低了日降水空间估计的分类误差和定量误差,相关增益在10%以上。

Description

基于ANN和GWR耦合的降水融合方法和系统
技术领域
本发明涉及水文技术中的仿真模拟方法,尤其是一种基于ANN和GWR耦合的降水融合方法和系统。
背景技术
降水是影响水文循环、气候变化和水资源管理的重要因素,获取精确的降水时空分布信息对于预防和减轻水旱灾害、优化水资源配置和利用、提高水利工程效益等具有重要意义。然而,由于降水的复杂变异性,观测和估计降水的方法和数据源日趋多元化,如地面观测、卫星遥感、天气雷达、大气再分析等。这些数据源各有优劣,如地面观测精度高但空间分布不均,卫星遥感和天气雷达覆盖范围广但误差较大,大气再分析数据连续性强但分辨率低等。因此,如何综合利用多源数据,提高降水估计的精度和效率,是气象水文研究的一个难点和热点问题。
目前,多源降水融合的方法主要有三类:一是以遥感反演或大气再分析数据为主,利用地面观测数据对其进行误差订正,如最优插值法、地理加权回归法等;二是以地面观测数据为主,利用遥感、再分析和其他相关数据作为辅助变量,进行空间插值或回归分析,如协克里金法、广义可加模型等;三是将各源数据视为平等的,通过权重分配或概率密度叠加等方法进行集成,如贝叶斯加权平均法、三重共轭法、深度神经网络法等。这些方法在提高年、月降水估计精度方面取得了一定的效果,但对于空间非连续性特征显著的短历时降水(如日、小时尺度等),融合过程中各种降水数据的有雨无雨状态信息被忽略,导致降水融合结果存在误报和漏报的问题,降低了降水融合的精度和效率。比如,一些现有技术公开了诸如基于地理加权逻辑回归(GWLR)和地理加权回归(GWR)模型的多源降水融合方法,能够降低误报率。但是这些现有技术还存在一些问题,诸如:模型均基于线性假设、静态数据和全局参数,会忽略降水与环境因子之间的非线性关系,导致降水估计的偏差;会忽略多尺度的历史降水的时序信息,如降水量的日变化、季节变化、年际变化等,导致降水估计的不稳定性;会忽略降水的局部特征,如降水量在不同地形、地貌、植被等区域的差异,导致降水估计的不均匀性。
因此,需要研究创新,以解决存在的问题。
发明内容
发明目的,提供一种基于ANN和GWR耦合的降水融合方法和系统,以解决现有技术存在的上述问题。
技术方案,根据本申请的一个方面,基于ANN和GWR耦合的降水融合方法,包括:
步骤S1、确定研究区域并栅格化,获取研究区域内的基础数据并预处理,基础数据至少包括多源降水数据和环境因子数据;
步骤S2、构建并通过基础数据训练ANN模型,输出每个栅格的有雨无雨信息,构建降水分类判断概率场,得到栅格有雨无雨判断场,记作栅格有无雨判断矩阵;
步骤S3、构建并通过多源降水数据训练GWR模型,使用训练后的GWR模型初步估算各个栅格的降水量,记作栅格降水量矩阵;
步骤S4、基于栅格有无雨判断矩阵和降水量矩阵对计算结果进行修正和交叉验证,并做乘积,得到栅格降水融合矩阵,获得降水融合结果;
步骤S5、将降水融合结果与观测值进行对比,分析降水融合的时空分布特征,评估降水融合的精度和效率,符合预期要求后,将ANN和GWR耦合模型配置在预定系统中。
根据本申请的一个方面,所述步骤S1中确定研究区域并栅格化的过程进一步为:
步骤S11、获取待定研究区域的地理数据和辅助信息,划定或提取研究区域的范围和边界,所述地理数据包括数字高程模型和坡度,所述辅助信息包括温度和潜在蒸散发;
步骤S12、基于预配置的精度和分辨率,通过栅格划分模块,将研究区域划分为M个栅格单元,并确定每个栅格单元的中心点和面积;
步骤S13、分析栅格单元的特征,调整栅格化参数,减少栅格化误差或偏差。
根据本申请的一个方面,所述步骤S1中获取研究区域内的基础数据并预处理的过程进一步为:
步骤S1a、获取多源降水数据,统一多源降水数据的时间和空间分辨率并处理缺失值和异常值,多源降水数据包括地面观测降水、卫星遥感降水、天气雷达降水和再分析降水;
步骤S1b、采集环境因子数据,同一环境因子数据的时间和空间分辨率,并处理缺失值和异常值;所述环境因子数据包括气象因子、地理因子和植被因子;
步骤S1c、将多源降水数据和环境因子数据按照时间和空间划分为训练集、验证集和测试集。
根据本申请的一个方面,所述步骤S2进一步为:
步骤S21、构建ANN模型,初始化ANN模型参数,ANN模型参数包括学习率、隐藏层大小和激活函数;采用交叉熵作为ANN模型的损失函数;
步骤S22、以多源降水数据和环境因子数据组成的训练集为输入,调用预存储的优化算法模块和正则化模块训练ANN模型,输出每个栅格的降水有雨无雨的概率,构建栅格有无雨判断矩阵;
步骤S23、用训练好的模型对测试集进行降水有雨无雨状态辨识,得到每个栅格的降水有雨无雨概率场,采用准确率和召回率评估ANN模型的分类性能。
根据本申请的一个方面,所述步骤S3进一步为:
步骤S31、构建GWR模型,并配置GWR模型参数;
步骤S32、以多源降水数据和环境因子数据组成的训练集为输入数据,训练GWR模型,输出每个栅格的降水量估计值,构建栅格降水量矩阵;在训练时,采用自适应核函数和信息准则,根据基础数据的空间分布和变异性,动态调整核函数的带宽和权重函数的形状;采用Huber损失函数或Tukey双二次损失函数,减少异常值和噪声的影响;
步骤S33、用训练好的GWR模型对测试集进行降水量估计,得到每个栅格的降水量估计值,评估GWR模型的回归性能。
根据本申请的一个方面,所述步骤S4进一步为:
步骤S41、针对研究区域中的每个栅格,逐次从栅格有无雨判断矩阵和降水量矩阵读取每个时刻有无雨判断数值和降水量数值,并做异或运算,得到研究区域的估计差值矩阵;
步骤S42、针对每个时刻,将估计差值矩阵转化为二值图像,对差值区域进行聚类并查找每个差值区域的中心位置和边界;
步骤S43、针对整个研究时段,计算中心位置的时空轨迹,并修正至少部分时刻的栅格降水的有无雨判断数值或降水量数值。
根据本申请的一个方面,所述步骤S5进一步为:
步骤S51、将降水融合结果与地面观测降水进行比较,分析降水融合的时空分布特征;通过降水频率和降水强度分析降水融合结果对不同降水等级和降水事件的检测能力;
步骤S52、将降水融合结果与遥感数据或天气雷达数据进行比较,分析降水融合的优势和局限,确定降水融合的改进方向;
步骤S53、计算降水误差TB并分解为三个独立的分量,包括命中偏差HB、漏报降水MP和误报降水FP,采结合探测率POD、误报率FAR、临界成功指数CSI、绝对平均误差MAE、相关系数CC、克林古普塔效率系数KGE、均值比α和变差系数比β评价融合降水效果;
其中,KGE=1-sqrt((1-CC)2+(1-α)2+(1-β)2);
α=μ R G
β=(μ R G )/(σ R G );
TB=HB+MP+FP;
当C(x,t)>T,P(x,t)=1;反之,P(x,t)=0;
HB=∑t=1(Rt-Gt)·P(Gt≥T)·P(Gt≥T);
MP=∑t=1(Rt-Gt)·P(Gt<T)·P(Gt≥T);
FP=∑t=1(Rt-Gt)·P(Gt≥T)·P(Gt<T);
μ R 代表融合降水均值,μ G 代表站点观测降水均值;σ R 代表融合降水标准差,σ G 代表站点观测降水标准差;
P(x,t)为二值降水事件掩码,C(x,t)为降水场,T表示有雨/无雨阈值,R表示融合方案降水量,G表示地面观测降水量。
根据本申请的一个方面,所述步骤S21中统一多源降水数据的时间和空间分辨率的过程还包括:
步骤S21a、获取多源降水数据,提取目标变量的数据以及经纬度坐标;
步骤S21b、将目标变量的数据转换为图像格式,每个像素代表一个网格单元的值,每个波段代表一个时段或一个变量;
步骤S21c、调用预训练的AE模块,从低分辨率的图像中学习高分辨率的特征,并生成高分辨率的图像;将生成的高分辨率图像转换回目标变量的数据,得到目标变量的降尺度结果,以及相应的误差评估。
根据本申请的一个方面,所述步骤S43进一步为:
步骤S43a、获取中心位置,并根据边界阈值确定区域边界;
步骤S43b、采用时间滑动窗口,在预定时间段内,将区域边界外部的栅格进行修正,调整至少部分时刻的栅格降水的有无雨判断数值或降水量数值;
步骤S43c、通过预配置的贝叶斯模块对修正结果进行验证。
根据本申请的另一个方面,提供一种基于ANN和GWR耦合的降水融合系统,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述任一项技术方案所述的基于ANN和GWR耦合的降水融合方法。
有益效果,为了克服现有技术在降水有雨无雨判别上容易出现较大误差的问题,采用人工神经网络来挖掘辅助变量中隐含的降水有雨无雨信息。与单独使用地理加权回归模型的方案相比,本方法的优势包括:有效降低了日降水空间估计的分类误差和定量误差,相关增益在10%以上。一些技术优势将在下文结合具体实施方式进行详细描述。
附图说明
图1是本发明的流程图。
图2是本发明步骤S1的流程图。
图3是本发明步骤S2的流程图。
图4是本发明步骤S3的流程图。
图5是本发明步骤S4的流程图。
图6是本发明步骤S5的流程图。
具体实施方式
如图1所示,根据本申请的一个方面,基于ANN和GWR耦合的降水融合方法,包括:
步骤S1、确定研究区域并栅格化,获取研究区域内的基础数据并预处理,基础数据至少包括多源降水数据和环境因子数据;
步骤S2、构建并通过基础数据训练ANN模型,输出每个栅格的有雨无雨信息,构建降水分类判断概率场,得到栅格有雨无雨判断场,记作栅格有无雨判断矩阵;
步骤S3、构建并通过多源降水数据训练GWR模型,使用训练后的GWR模型初步估算各个栅格的降水量,记作栅格降水量矩阵;
步骤S4、基于栅格有无雨判断矩阵和降水量矩阵对计算结果进行修正和交叉验证,并做乘积,得到栅格降水融合矩阵,获得降水融合结果;
步骤S5、将降水融合结果与观测值进行对比,分析降水融合的时空分布特征,评估降水融合的精度和效率,符合预期要求后,将ANN和GWR耦合模型配置在预定系统中。
本实施例能够有效地利用多源降水数据和环境因子数据,结合人工神经网络(ANN)和地理加权回归(GWR)两种模型,实现对降水有雨无雨和降水量的同时预测和融合,提高降水融合的精度和效率,适应不同的空间尺度和时间尺度,满足不同的应用需求。具体地,在不同的研究区域和研究时段,实现对降水有雨无雨和降水量的同时预测和融合,得到高分辨率和高精度的降水融合结果,适应不同的空间尺度和时间尺度;通过多种评价指标,如准确率、召回率、临界成功指数、绝对平均误差、相关系数、克林古普塔效率系数等,证明降水融合结果的质量和效果优于单一数据源或单一模型的结果,具有较高的可信度和鲁棒性;通过降水频率和降水强度分析,证明降水融合结果对不同降水等级和降水事件的检测能力,反映降水的时空变化规律,为降水相关的科学研究和应用提供有价值的数据支撑。
在一些实施例中,上述流程可以简化为:
基于人工神经网络进行有雨无雨状态辨识。具体地,基于ANN模型提取不同来源数据中隐含的降水有雨无雨状态关联信息,构建降水分类判断概率场,得到栅格有雨无雨判断场。
采用地理加权回归GWR模型进行多源降水融合。基于GWR模型构建地面观测降水和ERA5-land再分析降水数据集的融合模型,初步估计各栅格降水量。
修正降水融合结果。将上述步骤得到的栅格有雨无雨状态和多源降水融合结果相乘,修正误报和漏报的栅格降水。
交叉验证降水融合。假如一共有n个地面雨量站,每次采用其中的n-1个站点为已知站点(训练样本),剩下的1个站点为验证站点(验证样本),逐次将n个站点进行计算。将n个站点分别计算出来的融合结果进行汇总,设为验证集,把验证集融合情况与站点实际降水情况进行对比。输出融合降水结果。一共有n个地面雨量站,未知点m个,以n个站点进行回归(训练样本),得到m个未知点的估计降水(验证样本)。
在本实施例中,GWR模型的核心是空间权重矩阵,其选取的正确与否对回归结果产生较大影响。空间权函数有距离阈值法、距离反比法、Gaussian函数。Gaussian函数的基本思想是通过选取一个连续单调递减函数表示权重与距离之间的关系,带宽是描述权重与距离之间函数关系的非负数衰减参数,带宽越大,权重随距离增加衰减得越慢,反之则权重衰减得越快。采用交叉验证法使得CVRSS(cross-validationRSS)最小时的带宽认为是最优带宽。
在本实施例中,通过人工神经网络(ANN)和地理加权回归(GWR)两种非线性模型,分别用于降水有雨无雨的分类和降水量的估计,能够有效地捕捉降水与环境因子之间的非线性关系,提高降水估计的精度。ANN模型能够通过神经元的连接和激活函数的作用,实现对复杂非线性函数的拟合;GWR模型能够通过引入空间权重矩阵和局部参数,实现对空间非平稳性的建模。采用动态数据和局部参数,能够有效地反映降水的时空变化,提高降水估计的稳定性。动态数据指根据时间和空间划分为训练集、验证集和测试集的多源降水数据和环境因子数据,能够保证模型的训练和测试的实时性和有效性;局部参数指根据基础数据的空间分布和变异性,动态调整的核函数的带宽和权重函数的形状,能够保证模型的参数的灵活性和适应性。通过将研究区域划分为多个栅格单元,并对每个栅格单元进行降水的有雨无雨判断和降水量估计,能够保证降水的空间分辨率和连续性;同时,该方案还采用基于栅格有无雨判断矩阵和降水量矩阵的计算结果修正和交叉验证,能够保证降水的空间一致性和准确性。
如图2所示,根据本申请的一个方面,所述步骤S1中确定研究区域并栅格化的过程进一步为:
步骤S11、获取待定研究区域的地理数据和辅助信息,划定或提取研究区域的范围和边界,所述地理数据包括数字高程模型和坡度,所述辅助信息包括温度和潜在蒸散发;在一些实施例中,可以根据行政区划或水系划分,确定研究区域的范围和边界。
步骤S12、基于预配置的精度和分辨率,通过栅格划分模块,将研究区域划分为M个栅格单元,并确定每个栅格单元的中心点和面积;在一些实施例中,可以选择0.1°×0.1°的空间分辨率,将某流域划分为约2000个栅格单元,然后计算每个栅格单元的中心点的经纬度和面积,作为栅格单元的标识和属性。
步骤S13、分析栅格单元的特征,调整栅格化参数,减少栅格化误差或偏差。根据某流域的地形和气候特征,分析不同栅格单元的高程、坡度、温度和潜在蒸散发的分布和变化,如果发现某些栅格单元的特征与周围的栅格单元有明显的差异或异常,考虑调整栅格化的精度和分辨率,使栅格单元更加细化或粗化,以减少栅格化误差或偏差。
根据本申请的一个方面,所述步骤S1中获取研究区域内的基础数据并预处理的过程进一步为:
步骤S1a、获取多源降水数据,统一多源降水数据的时间和空间分辨率并处理缺失值和异常值,多源降水数据包括地面观测降水、卫星遥感降水、天气雷达降水和再分析降水;在一些实施例中,可以使用插值、融合、质量控制等方法,将这些数据的时间和空间分辨率统一为0.1°×0.1°和1小时,一天,一周,一月或一年,并处理缺失值和异常值,得到一致的多源降水数据。
步骤S1b、采集环境因子数据,同一环境因子数据的时间和空间分辨率,并处理缺失值和异常值;所述环境因子数据包括气象因子、地理因子和植被因子;
步骤S1c、将多源降水数据和环境因子数据按照时间和空间划分为训练集、验证集和测试集。按照栅格单元的划分,将每个栅格单元的多源降水数据和环境因子数据组合成一个输入特征向量,作为ANN模型和GWR模型的输入数据。
在一些实施例中,ANN模型的时间分辨率为1d,空间分辨率为0.1°×0.1°。为了提高ANN模型辨识精度,同时引入六种辅助因子,分别是:地理信息(经度、纬度)、高程、坡度、温度和潜在蒸散发。同时,为了评估降水融合的背景场降水是否会对模型的辨识精度产生影响,引入ERA5-land再分析降水作为第七组辅助因子。其中高程信息是来自地理空间数据云90m的DEM,经重采样后处理为0.1°×0.1°栅格。坡度信息为处理后的DEM利用Arcgis软件处理生成。温度、潜在蒸散发和背景场降水均为ERA5-land数据集产品,时间分辨率为1h,空间分辨率为0.1°×0.1°,在时间上进行聚合处理为1d。
为了评估降水分类辨识精度,采用交叉验证法对辨识结果进行验证,比如采用如下方法:研究区一共有53个地面雨量站,每次采用其中的52个站点为已知站点(训练样本),剩下的1个站点为验证站点,对辨识结果进行验证,逐次将53个站点进行验证。将53个站点训练出来的辨识结果进行汇总,设为验证集,把验证集辨识情况与站点实际有雨/无雨情况进行对比。
辅助因子是模型辨识精度的直接影响因素,其中为了直观的分析再分析降水是否会对辨识精度产生影响,根据辅助因子的选择上面,设计了两种试验:试验一:以地理信息(经度、纬度)、高程、坡度、温度和潜在蒸散发六种变量为辅助因子(ANNG)。以雨量站的空间位置、地理信息和不包含降水信息的变量作为复制因子,主要评估不包含直接降水信息的信息源是否含有能解释降水与否的隐藏信息。试验二:以地理信息(经度、纬度)、高程、坡度、温度、潜在蒸散发和背景场降水七种变量为辅助因子(ANNM)。在试验一的基础上,增加了背景场降水作为新的信息源,主要评估含有再分析降水的信息是否会对模型精度带来影响。
如图3所示,根据本申请的一个方面,所述步骤S2进一步为:
步骤S21、构建ANN模型,初始化ANN模型参数,ANN模型参数包括学习率、隐藏层大小和激活函数;采用交叉熵作为ANN模型的损失函数;
以三层ANN模型为例,输入层有n个节点,分别对应n个特征变量,如多源降水数据和环境因子数据;隐藏层有m个节点,输出层有一个节点,表示降水有雨无雨的概率。初始化ANN模型参数,包括输入层到隐藏层的权重矩阵W1,隐藏层到输出层的权重矩阵W2,隐藏层的偏置向量b1,输出层的偏置向量b2,以及学习率α,隐藏层大小m和激活函数f。参数可以根据经验或者随机数生成,也可以通过网格搜索或者贝叶斯优化等方法进行调优。一般来说,学习率α控制了模型的更新速度,隐藏层大小m控制了模型的复杂度,激活函数f控制了模型的非线性程度。
步骤S22、以多源降水数据和环境因子数据组成的训练集为输入,调用预存储的优化算法模块和正则化模块训练ANN模型,输出每个栅格的降水有雨无雨的概率,构建栅格有无雨判断矩阵;
将每个栅格的多源降水数据和环境因子数据作为特征变量,将每个栅格的真实降水有雨无雨状态作为标签,形成一个有监督的分类问题。多源降水数据可以包括卫星遥感降水数据,雷达降水数据,地面观测降水数据等;环境因子数据可以包括地形数据,土壤数据,植被数据,气象数据等。这些数据可以从公开的数据库或者专业的机构获取,也可以自己采集或者模拟。数据的质量和数量对模型的性能有很大的影响,因此需要对数据进行预处理,如缺失值填补,异常值剔除,数据归一化,数据增强等。
使用优化算法来更新ANN模型的参数,使得损失函数达到最小值,包括梯度下降法,随机梯度下降法,批量梯度下降法,动量法,Nesterov加速梯度法,Adagrad,RMSprop,Adam等。优化算法的选择和参数的设置会影响模型的收敛速度和稳定性。为了防止模型过拟合,即在训练集上表现很好,但在测试集上表现很差的情况,可以使用正则化模块来对模型进行约束,如L1正则化,L2正则化,Dropout,Early Stopping等。
将训练好的ANN模型应用到训练集上,得到每个栅格的降水有雨无雨的概率,然后根据一个阈值(如0.5)来判断每个栅格是否有雨,构建一个二值的矩阵,表示每个栅格的降水有雨无雨状态。例如,如果一个栅格的降水有雨概率为0.7,那么该栅格有雨,矩阵中的对应元素为1;如果一个栅格的降水有雨概率为0.3,那么该栅格无雨,矩阵中的对应元素为0。
步骤S23、用训练好的模型对测试集进行降水有雨无雨状态辨识,得到每个栅格的降水有雨无雨概率场,采用准确率和召回率评估ANN模型的分类性能。
将训练好的ANN模型应用到测试集上,得到每个栅格的降水有雨无雨的概率,然后根据同样的阈值来判断每个栅格是否有雨,得到一个二值的矩阵,表示每个栅格的降水有雨无雨状态。测试集是从原始数据中划分出来的一部分,与训练集不重合,用来检验模型的泛化能力,即在未知数据上的表现。
使用两个指标来衡量模型的分类效果。准确率是指模型正确分类的样本数占总样本数的比例,即Accuracy=(TP+TN)/(TP+FN+FP+TN);其中,TP是真正例,即模型正确判断有雨的栅格数;TN是真负例,即模型正确判断无雨的栅格数;FP是假正例,即模型错误判断有雨的栅格数;FN是假负例,即模型错误判断无雨的栅格数。召回率是指模型正确分类的正例数占实际正例数的比例,即Recall=TP/(TP+FN);召回率反映了模型对有雨栅格的识别能力,越高越好。除了准确率和召回率,还有其他的评估指标,如精确率,F1值,ROC曲线,AUC值等,可以根据不同的应用场景和需求选择合适的指标。
在本实施例中,提高了降水有雨无雨状态辨识的准确性和稳定性,同时也提高了数据利用率和信息量。通过对比实验,可以发现,ANN模型的分类性能优于单一数据源或者传统方法的分类性能。ANN模型在准确率和召回率上都有明显的提升,说明ANN模型可以更好地融合多源数据的信息,更准确地识别降水有雨无雨状态。同时,ANN模型也可以利用环境因子数据,如地形数据,土壤数据,植被数据,气象数据等,来增加模型的输入维度,提高模型的数据利用率和信息量,从而进一步提高模型的性能。
在本申请的另一实施例中,还可以采用CNN-LSTM-GWR耦合模块。
根据本申请的一个方面,所述步骤S21中统一多源降水数据的时间和空间分辨率的过程还包括:
步骤S21a、获取多源降水数据,提取目标变量的数据以及经纬度坐标;
步骤S21b、将目标变量的数据转换为图像格式,每个像素代表一个网格单元的值,每个波段代表一个时段或一个变量;
步骤S21c、调用预训练的AE模块,从低分辨率的图像中学习高分辨率的特征,并生成高分辨率的图像;将生成的高分辨率图像转换回目标变量的数据,得到目标变量的降尺度结果,以及相应的误差评估。
在本申请的另一实施例中,使用ANN模型和GWR模型对每个栅格的降水概率和降水量进行预测,得到两个模型的输出结果;根据模糊逻辑的原理,将输出结果转化为模糊集合,定义隶属度函数和模糊规则库;根据栅格周围的降水情况,对每个栅格的降水概率和降水等级进行模糊推理,得到模糊结论;根据解模糊的方法,将模糊结论转化为精确的降水概率和降水量,作为修正后的预测结果。
在本申请的另一实施例中,使用ANN模型和GWR模型对每个栅格的降水概率和降水量进行预测,得到两个模型的输出结果;构建深度神经网络,定义网络结构、损失函数和优化器;根据栅格周围的降水特征,对每个栅格的降水概率和降水量进行特征提取和融合,得到网络输出;根据网络输出,对每个栅格的降水概率和降水量进行修正,作为修正后的预测结果。
在本申请的另一实施例中,使用ANN模型和GWR模型对每个栅格的降水概率和降水量进行预测,得到两个模型的输出结果;构建贝叶斯概率图模型,定义节点、边和条件概率表;根据栅格周围的降水数据,对每个栅格的降水概率和降水量进行概率推理,得到后验分布;根据最大后验概率的原则,从后验分布中选择最优的降水概率和降水量,作为修正后的预测结果。
在本申请的另一实施例中,还可以采用如下方案:
从全球气候模式(GCM)的输出中提取目标变量的数据,例如温度、降水等,以及经纬度坐标。对目标变量的数据进行双线性插值,将其插值到一个更高分辨率的网格上,例如从2.5°×2.5°插值到0.5°×0.5°。使用随机森林(RF)回归模型,根据插值后的数据和其他相关的预测变量(例如地形、土壤、植被等),建立目标变量的降尺度模型。将降尺度模型应用到未来的情景数据上,得到目标变量的未来预估值,以及相应的不确定性评估。
或者采用如下方案:从全球气候模式GCM的输出中提取目标变量的数据,以及经纬度坐标。使用自适应核回归(AKR)方法,根据目标变量的数据和其他相关的预测变量,建立目标变量的非参数回归模型,得到目标变量的局部平滑值和局部方差。使用人工神经网络(ANN)方法,根据目标变量的局部平滑值和局部方差,以及其他相关的预测变量,建立目标变量的非线性回归模型,得到目标变量的降尺度结果,以及相应的误差评估。
如图4所示,根据本申请的一个方面,所述步骤S3进一步为:
步骤S31、构建GWR模型,并配置GWR模型参数;
GWR模型yi0i+∑k=1 p βki xki+ci;其中,yi是第i个栅格的降水量,xki是第i个栅格的第k个特征变量,如多源降水数据和环境因子数据,β0i是第i个栅格的截距项,βki是第i个栅格的第k个回归系数,ci是第i个栅格的随机误差项。GWR模型中每个栅格的回归系数都是不同的,反映了空间变异性,而不是像现有全局回归模型那样,假设所有的栅格的回归系数都是相同的,忽略了空间非平稳性。
配置GWR模型的参数,主要包括核函数的类型,核函数的带宽,权重函数的形状,损失函数的类型等。核函数的类型决定了GWR模型是固定带宽的还是自适应带宽的,固定带宽的核函数是指每个栅格的邻域范围都是相同的,如以每个栅格为中心的一定半径的圆形区域;自适应带宽的核函数是指每个栅格的邻域范围都是不同的,根据数据的密度和分布来动态调整,如以每个栅格为中心的一定数量的最近邻栅格。核函数的带宽决定了GWR模型的局部性,带宽越大,邻域范围越广,模型越倾向于全局回归;带宽越小,邻域范围越窄,模型越倾向于局部回归。权重函数的形状决定了GWR模型对不同距离的栅格的权重分配,权重函数有高斯函数,双二次函数,指数函数等。损失函数的类型决定了GWR模型的优化目标,损失函数有最小二乘法,Huber损失函数,Tukey双二次损失函数等。Huber损失函数和Tukey双二次损失函数是两种鲁棒的损失函数,可以减少异常值和噪声的影响,提高模型的稳定性。
步骤S32、以多源降水数据和环境因子数据组成的训练集为输入数据,训练GWR模型,输出每个栅格的降水量估计值,构建栅格降水量矩阵;在训练时,采用自适应核函数和信息准则,根据基础数据的空间分布和变异性,动态调整核函数的带宽和权重函数的形状;采用Huber损失函数或Tukey双二次损失函数,减少异常值和噪声的影响;
将每个栅格的多源降水数据和环境因子数据作为特征变量,将每个栅格的真实降水量作为响应变量,形成一个有监督的回归问题。多源降水数据可以包括卫星遥感降水数据,雷达降水数据,地面观测降水数据等;环境因子数据可以包括地形数据,土壤数据,植被数据,气象数据等。数据的质量和数量对模型的性能有很大的影响,因此需要对数据进行预处理,如缺失值填补,异常值剔除,数据归一化,数据增强等。
使用训练集的数据来估计GWR模型的参数,即每个栅格的回归系数,然后将估计的回归系数和特征变量相乘,得到每个栅格的降水量估计值,构建一个数值的矩阵,表示每个栅格的降水量。使用信息准则来选择最优的核函数的带宽和权重函数的形状,使得GWR模型的拟合效果最好,同时避免过拟合或者欠拟合的问题。信息准则有赤池信息准则(AIC),贝叶斯信息准则(BIC),改进的赤池信息准则(AICc)等。信息准则的基本思想是,既要考虑模型的拟合程度,也要考虑模型的复杂度,即在保证模型的拟合效果的前提下,尽量选择简单的模型。自适应核函数和信息准则的优点是可以根据数据的特点,自动地选择合适的模型参数,而不需要人为地设定或者试验,提高了模型的灵活性和智能性。
使用鲁棒的损失函数来优化GWR模型的参数,使得模型对异常值和噪声的敏感度降低,提高模型的稳定性和可靠性。Huber损失函数和Tukey双二次损失函数的特点是,对于正常的数据点,使用类似于最小二乘法的损失函数,对于异常的数据点,使用类似于最小绝对值的损失函数,从而降低了异常值和噪声对模型的影响。
步骤S33、用训练好的GWR模型对测试集进行降水量估计,得到每个栅格的降水量估计值,评估GWR模型的回归性能。
将训练好的GWR模型应用到测试集上,得到每个栅格的降水量估计值,构建一个数值的矩阵,表示每个栅格的降水量。测试集是从原始数据中划分出来的一部分,与训练集不重合,用来检验模型的泛化能力,即在未知数据上的表现。使用一种或者多种评估指标来衡量模型的回归效果。除了这些指标,还可以使用残差分析,空间自相关分析,变异系数分析等方法,来进一步检验模型的合理性和有效性。
在本实施例中,可以根据每个栅格的位置和邻域信息,动态地调整回归系数,从而更好地反映数据的空间变异性和相关性,因此可以有效地解决多源数据融合的问题。同时,GWR模型可以输出每个栅格的降水量估计值,而不是简单的平均值或者插值值,这样可以更好地反映降水量的空间分布和差异,也可以方便地进行后续的分析和处理,如降水量的统计,降水量的空间插值,降水量的空间分析等。
如图5所示,根据本申请的一个方面,所述步骤S4进一步为:
步骤S41、针对研究区域中的每个栅格,逐次从栅格有无雨判断矩阵和降水量矩阵读取每个时刻有无雨判断数值和降水量数值,并做异或运算,得到研究区域的估计差值矩阵;
步骤S42、针对每个时刻,将估计差值矩阵转化为二值图像,对差值区域进行聚类并查找每个差值区域的中心位置和边界;
步骤S43、针对整个研究时段,计算中心位置的时空轨迹,并修正至少部分时刻的栅格降水的有无雨判断数值或降水量数值。
所述步骤S43进一步为:
步骤S43a、获取中心位置,并根据边界阈值确定区域边界;
步骤S43b、采用时间滑动窗口,在预定时间段内,将区域边界外部的栅格进行修正,调整至少部分时刻的栅格降水的有无雨判断数值或降水量数值;
步骤S43c、通过预配置的贝叶斯模块对修正结果进行验证。
在本申请的另一实施例中,从得到的每个差值区域的中心位置和边界,根据一个预设的边界阈值,确定每个差值区域的有效范围,即需要修正的栅格范围。边界阈值可以根据数据的特点和需求来设定,一般来说,边界阈值越大,差值区域越小,修正的栅格越少;边界阈值越小,差值区域越大,修正的栅格越多。例如,如果边界阈值为0.5,那么只有那些距离中心位置小于或等于0.5的栅格才被认为是差值区域的一部分,需要修正;如果边界阈值为0.8,那么只有那些距离中心位置小于或等于0.8的栅格才被认为是差值区域的一部分,需要修正。边界阈值的选择可以根据实际的情况和目的来调整,也可以使用一种或者多种方法来自动地确定,如基于图像分割的方法,基于聚类分析的方法,基于信息准则的方法等。
使用时间序列分析的方法,对每个差值区域的中心位置的时空轨迹进行分析,找出其变化的规律和趋势,然后根据这些规律和趋势,对每个差值区域的边界外部的栅格进行修正,使其与中心位置的栅格的降水状态和降水量更加一致,从而减少估计误差。时间滑动窗口是一种常用的时间序列分析的方法,可以将一个长时间段的数据分成若干个短时间段的数据,然后对每个短时间段的数据进行分析,从而捕捉数据的动态变化。预定时间段是指需要进行修正的时间范围,可以根据数据的特点和需求来设定,一般来说,预定时间段越长,修正的时刻越多;预定时间段越短,修正的时刻越少。例如,如果预定时间段为整个研究时段,那么所有的时刻都需要进行修正;如果预定时间段为某个特定的时段,如某个季节,某个月份,某个星期,某个小时等,那么只有这个时段内的时刻才需要进行修正。预定时间段的选择可以根据实际的情况和目的来调整,也可以使用基于时间序列分解的方法,基于异常检测的方法,基于变点检测的方法来确定。
使用贝叶斯统计的方法,对修正后的栅格降水的有无雨判断数值或降水量数值进行验证,评估修正的效果和可信度,从而确定修正的合理性和有效性。预配置的贝叶斯模块是指已经建立好的贝叶斯模型和算法,可以直接调用,无需重新设计或者实现。例如,可以使用贝叶斯线性回归模型,贝叶斯逻辑回归模型,贝叶斯神经网络模型等,来对修正后的栅格降水的有无雨判断数值或降水量数值进行验证,输出每个栅格的降水状态和降水量的后验概率分布,从而评估修正的效果和可信度。
对于降雨范围边界上的栅格,有可能会判断错误,基于时间序列,查找边缘区域,即可进行准确修正。总之,本实施例对估计误差进行检测和修正,从而提高降水量的精度和稳定性。可以利用多源降水数据和环境因子数据的时空信息,提高数据利用率和信息量,从而进一步提高降水量的可信度。
在本申请的另一实施例中,ANN模型的主要输入信息包括地理信息(经度、纬度)、高程、坡度、温度、潜在蒸散发和站点观测降水,根据是否添加背景场降水(ERA5-land)信息分为方案ANNG和方案ANNM;GWR模型主要输入信息包括地理信息(经度、纬度)、背景场降水和站点观测降水,根据是否添加高程信息分为方案GWRXY和方案GWRXYH
考虑有雨无雨的多源降水融合框架如下:
(1)有雨无雨状态辨识。基于ANN模型提取不同来源数据中隐含的降水有雨无雨状态关联信息,构建降水分类判断概率场,得到栅格有雨无雨判断场。
(2)多源降水融合。基于GWR模型构建地面观测降水和ERA5-land再分析降水数据集的融合模型,初步估计各栅格降水量。
(3)降水融合结果修正。将第(1)步得到的栅格有雨无雨状态和第(2)步得到的多源降水融合结果相乘,修正误报和漏报的栅格降水。
需要指出的是,ANN模型和GWR模型在相乘的时候会面临4种情况,以1或者0分别代指有雨和无雨,前2种为PANN=0同时PGWR=1或者PGWR=0,此时这种传递是正确的;第三种为PANN=1同时PGWR=1,这种传递也是正确的;最后1种为PANN=1同时PGWR=0,此时虽然ANN模型得到的结果为有雨,但是GWR模型认为无雨并不能提供降水的数据。因此需要要增加降水融合的修正,对于PANN=1同时PGWR=0的情况采取如下方法:该处有降水发生,但是GWR模型不能进行正确回归,此时采用反距离权重插值方法进行补充,选用距离最近的8个有雨栅格进行计算。
采用ANN-GWR降水融合模型对永定河流域1960~2019共60年的日降水开展融合试验研究,时间分辨率为1d,空间分辨率为0.1°×0.1°。重点探究ANN-GWR降水融合模型相对传统GWR模型的增益情况,与ANN-GWR降水融合模型中ANN模块是否引入背景场降水信息和GWR模块是否引入高程信息对模型整体效果的影响。在模型精度分析方面,通过降水空间分布估计结果、与传统降水融合方法的比较和较参考数据与传统降水融合方法的精度增益三个部分开展,主要从指标季度变化与降水强度两个角度进行,综合分析新方法是否可以提高降水融合结果的精度。
融合方案的原始降水数据包括地面站点观测和ERA5-land两种,降水融合方案的对照组为GWRXY和GWRXYH,根据降水分类辨识中是否引入背景场降水信息和降水融合中是否引入高程信息分为ANNG-GWRXY、ANNG-GWRXYH、ANNM-GWRXY和ANNM-GWRXYH4种。
为了评估考虑有雨无雨的降水融合方案精度,采用交叉验证法对融合结果进行验证,一共有53个地面雨量站,每次采用其中的52个站点为已知站点(训练样本),剩下的1个站点为验证站点(验证样本),逐次将53个站点进行计算。将53个站点分别计算出来的融合结果进行汇总,设为验证集,把验证集融合情况与站点实际降水情况进行对比。
在评估降水融合效果的精度指标方面,主要分为分类指标和定量指标两种。在分类指标方面,选用探测率(POD)、误报率(FAR)和临界成功指数(CSI)三种;定量指标选用绝对平均误差(MAE)、相关系数(CC)和克林-古普塔效率系数(KGE)。
如图6所示,根据本申请的一个方面,所述步骤S5进一步为:
步骤S51、将降水融合结果与地面观测降水进行比较,分析降水融合的时空分布特征;通过降水频率和降水强度分析降水融合结果对不同降水等级和降水事件的检测能力;
步骤S52、将降水融合结果与遥感数据或天气雷达数据进行比较,分析降水融合的优势和局限,确定降水融合的改进方向;
步骤S53、计算降水误差TB并分解为三个独立的分量,包括命中偏差HB、漏报降水MP和误报降水FP,采结合探测率POD、误报率FAR、临界成功指数CSI、绝对平均误差MAE、相关系数CC、克林古普塔效率系数KGE、均值比α和变差系数比β评价融合降水效果;
其中,KGE=1-sqrt((1-CC)2+(1-α)2+(1-β)2);
α=μ R G
β=(μ R G )/(σ R G );
TB=HB+MP+FP;
当C(x,t)>T,P(x,t)=1;反之,P(x,t)=0;
HB=∑t=1(Rt-Gt)·P(Gt≥T)·P(Gt≥T);
MP=∑t=1(Rt-Gt)·P(Gt<T)·P(Gt≥T);
FP=∑t=1(Rt-Gt)·P(Gt≥T)·P(Gt<T);
μ R 代表融合降水均值,μ G 代表站点观测降水均值;σ R 代表融合降水标准差,σ G 代表站点观测降水标准差;
P(x,t)为二值降水事件掩码,C(x,t)为降水场,T表示有雨/无雨阈值,R表示融合方案降水量,G表示地面观测降水量。
在本实施例中,降水总误差给出了降水估计结果总体高估或低估地面降水的程度,但由于是大量正负误差抵消的结果,掩盖了误差的详细信息,尤其是不同分类辨识条件下的定量误差。将总降水偏差(TB)分解为三个独立的分量:命中偏差(HB)、漏报降水(MP)和误报降水(FP)。深入分析总误差的组成结构及各分项误差的时空分布特征对于降水估计精度提升及数据集的合理选用具有重要指导意义。总降水偏差可以分解为三个相互独立的分量,其中三个分量的绝对值可能大于总降水偏差,特别是MP与FP,它们的符号相反,可以相互抵消。融合降水精度增益是评估融合降水效果的重要指标。根据指标特点,精度增益可以细分为正向型、逆向型和中间最优型。其中正向型指标值越大越好,代表性指标相关系数CC;逆向型指标值越小越好,代表性指标绝对平均误差MAE;中间最优型最优指标值为某一确定的数值,其中击中偏差HB和总偏差TB指标最优值为0,均值比α和变差系数比β指标最优值为1。
在一些实施例中,在定量指标方面,MAE、CC和KGE均随降水强度的增加而增加,其中新方法较传统方法的MAE随降水强度的增加而优势明显。
在一些实施例中,在定量指标中,相对参考数据的绝对平均误差增益约60%~80%,其中夏季较低,但也在40%以上,相对传统方法的增益提上在10%以上。
在一些实施例中,在定量指标中,中等强度以上的降水事件中(P>2mm/d),绝对平均误差呈正增益,相对传统方法的增益也有10%。
在本申请的另一实施例中,在预处理时,对多源降水数据进行质量控制和误差分析,采用适当的校准和标准化方法,消除数据的系统偏差和随机误差。在构建GWR模型时,引入不确定性分析和稀疏性处理的方法,如模糊集理论、贝叶斯推理或稀疏编码等,提高GWR模型的鲁棒性和泛化能力。在修正和交叉验证时,采用明确的方法和标准,如基于图像处理的形态学运算、基于统计学的假设检验或基于机器学习的元学习等,明确修正和交叉验证的目的是为了提高降水融合结果的空间连续性和时间一致性,以及评估ANN和GWR耦合模型的有效性和优越性。
在本申请的另一实施例中,构建多任务学习模型,将降水有雨无雨判断和降水量估计视为两个相关的子任务,共享多源降水数据和环境因子数据的输入层和隐藏层,分别输出每个栅格的有雨无雨概率和降水量估计值,同时优化两个子任务的损失函数,实现两个子任务的联合学习和优化。
在本申请的另一实施例中,还可以构建CGAN模型,包括生成器和判别器,生成器负责从随机噪声中生成高分辨率的降水图像,判别器负责从真实的降水图像和生成的降水图像中进行区分,两者相互竞争,不断提高生成图像的质量和真实性;使用降水融合结果作为生成器的条件输入,使用地面观测降水图像作为判别器的真实输入,训练CGAN模型,得到增强后的降水融合结果,以及相应的误差评估。
在本申请的另一实施例中,构建空间统计模型,包括空间插值模块和空间优化模块,空间插值模块负责根据降水融合结果和空间相关性,生成高分辨率的降水图像,空间优化模块负责根据降水图像和空间约束,优化降水图像的空间分布和空间变异;使用降水融合结果作为输入,运行空间统计模型,得到空间插值和空间优化后的降水融合结果,以及相应的误差评估。
在本申请的另一实施例中,构建多源数据融合模型,包括数据选择模块和数据融合模块,数据选择模块负责根据不同的数据源的质量和可用性,选择最优的数据源进行融合,数据融合模块负责根据不同的数据源的特点和关系,采用不同的融合算法进行融合;使用降水融合结果和其他可用的数据源作为输入,运行多源数据融合模型,得到优化后的降水融合结果,以及相应的误差评估。
根据本申请的另一个方面,提供一种基于ANN和GWR耦合的降水融合系统,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述任一项技术方案所述的基于ANN和GWR耦合的降水融合方法。
以上详细描述了本发明的优选实施方式,但是,本发明并不限于上述实施方式中的具体细节,在本发明的技术构思范围内,可以对本发明的技术方案进行多种等同变换,这些等同变换均属于本发明的保护范围。

Claims (10)

1.基于ANN和GWR耦合的降水融合方法,其特征在于,包括:
步骤S1、确定研究区域并栅格化,获取研究区域内的基础数据并预处理,基础数据至少包括多源降水数据和环境因子数据;
步骤S2、构建并通过基础数据训练ANN模型,输出每个栅格的有雨无雨信息,构建降水分类判断概率场,得到栅格有雨无雨判断场,记作栅格有无雨判断矩阵;
步骤S3、构建并通过多源降水数据训练GWR模型,使用训练后的GWR模型初步估算各个栅格的降水量,记作栅格降水量矩阵;
步骤S4、基于栅格有无雨判断矩阵和降水量矩阵对计算结果进行修正和交叉验证,并做乘积,得到栅格降水融合矩阵,获得降水融合结果;
步骤S5、将降水融合结果与观测值进行对比,分析降水融合的时空分布特征,评估降水融合的精度和效率,符合预期要求后,将ANN和GWR耦合模型配置在预定系统中。
2.如权利要求1所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S1中确定研究区域并栅格化的过程进一步为:
步骤S11、获取待定研究区域的地理数据和辅助信息,划定或提取研究区域的范围和边界,所述地理数据包括数字高程模型和坡度,所述辅助信息包括温度和潜在蒸散发;
步骤S12、基于预配置的精度和分辨率,通过栅格划分模块,将研究区域划分为M个栅格单元,并确定每个栅格单元的中心点和面积;
步骤S13、分析栅格单元的特征,调整栅格化参数,减少栅格化误差或偏差。
3.如权利要求2所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S1中获取研究区域内的基础数据并预处理的过程进一步为:
步骤S1a、获取多源降水数据,统一多源降水数据的时间和空间分辨率并处理缺失值和异常值,多源降水数据包括地面观测降水、卫星遥感降水、天气雷达降水和再分析降水;
步骤S1b、采集环境因子数据,同一环境因子数据的时间和空间分辨率,并处理缺失值和异常值;所述环境因子数据包括气象因子、地理因子和植被因子;
步骤S1c、将多源降水数据和环境因子数据按照时间和空间划分为训练集、验证集和测试集。
4.如权利要求3所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S2进一步为:
步骤S21、构建ANN模型,初始化ANN模型参数,ANN模型参数包括学习率、隐藏层大小和激活函数;采用交叉熵作为ANN模型的损失函数;
步骤S22、以多源降水数据和环境因子数据组成的训练集为输入,调用预存储的优化算法模块和正则化模块训练ANN模型,输出每个栅格的降水有雨无雨的概率,构建栅格有无雨判断矩阵;
步骤S23、用训练好的模型对测试集进行降水有雨无雨状态辨识,得到每个栅格的降水有雨无雨概率场,采用准确率和召回率评估ANN模型的分类性能。
5.如权利要求4所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S3进一步为:
步骤S31、构建GWR模型,并配置GWR模型参数;
步骤S32、以多源降水数据和环境因子数据组成的训练集为输入数据,训练GWR模型,输出每个栅格的降水量估计值,构建栅格降水量矩阵;在训练时,采用自适应核函数和信息准则,根据基础数据的空间分布和变异性,动态调整核函数的带宽和权重函数的形状;采用Huber损失函数或Tukey双二次损失函数,减少异常值和噪声的影响;
步骤S33、用训练好的GWR模型对测试集进行降水量估计,得到每个栅格的降水量估计值,评估GWR模型的回归性能。
6.如权利要求5所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S4进一步为:
步骤S41、针对研究区域中的每个栅格,逐次从栅格有无雨判断矩阵和降水量矩阵读取每个时刻有无雨判断数值和降水量数值,并做异或运算,得到研究区域的估计差值矩阵;
步骤S42、针对每个时刻,将估计差值矩阵转化为二值图像,对差值区域进行聚类并查找每个差值区域的中心位置和边界;
步骤S43、针对整个研究时段,计算中心位置的时空轨迹,并修正至少部分时刻的栅格降水的有无雨判断数值或降水量数值。
7.如权利要求6所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S5进一步为:
步骤S51、将降水融合结果与地面观测降水进行比较,分析降水融合的时空分布特征;通过降水频率和降水强度分析降水融合结果对不同降水等级和降水事件的检测能力;
步骤S52、将降水融合结果与遥感数据或天气雷达数据进行比较,分析降水融合的优势和局限,确定降水融合的改进方向;
步骤S53、计算降水误差TB并分解为三个独立的分量,包括命中偏差HB、漏报降水MP和误报降水FP,采结合探测率POD、误报率FAR、临界成功指数CSI、绝对平均误差MAE、相关系数CC、克林古普塔效率系数KGE、均值比α和变差系数比β评价融合降水效果;
其中,KGE=1-sqrt((1-CC)2+(1-α)2+(1-β)2);
α=μ R G
β=(μ R G )/(σ R G );
TB=HB+MP+FP;
当C(x,t)>T,P(x,t)=1;反之,P(x,t)=0;
HB=∑t=1(Rt-Gt)·P(Gt≥T)·P(Gt≥T);
MP=∑t=1(Rt-Gt)·P(Gt<T)·P(Gt≥T);
FP=∑t=1(Rt-Gt)·P(Gt≥T)·P(Gt<T);
μ R 代表融合降水均值,μ G 代表站点观测降水均值;σ R 代表融合降水标准差,σ G 代表站点观测降水标准差;
P(x,t)为二值降水事件掩码,C(x,t)为降水场,T表示有雨/无雨阈值,R表示融合方案降水量,G表示地面观测降水量。
8.如权利要求7所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S21中统一多源降水数据的时间和空间分辨率的过程还包括:
步骤S21a、获取多源降水数据,提取目标变量的数据以及经纬度坐标;
步骤S21b、将目标变量的数据转换为图像格式,每个像素代表一个网格单元的值,每个波段代表一个时段或一个变量;
步骤S21c、调用预训练的AE模块,从低分辨率的图像中学习高分辨率的特征,并生成高分辨率的图像;将生成的高分辨率图像转换回目标变量的数据,得到目标变量的降尺度结果,以及相应的误差评估。
9.如权利要求7所述的基于ANN和GWR耦合的降水融合方法,其特征在于,所述步骤S43进一步为:
步骤S43a、获取中心位置,并根据边界阈值确定区域边界;
步骤S43b、采用时间滑动窗口,在预定时间段内,将区域边界外部的栅格进行修正,调整至少部分时刻的栅格降水的有无雨判断数值或降水量数值;
步骤S43c、通过预配置的贝叶斯模块对修正结果进行验证。
10.一种基于ANN和GWR耦合的降水融合系统,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1至9任一项所述的基于ANN和GWR耦合的降水融合方法。
CN202311646345.XA 2023-12-04 2023-12-04 基于ann和gwr耦合的降水融合方法和系统 Active CN117349795B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311646345.XA CN117349795B (zh) 2023-12-04 2023-12-04 基于ann和gwr耦合的降水融合方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311646345.XA CN117349795B (zh) 2023-12-04 2023-12-04 基于ann和gwr耦合的降水融合方法和系统

Publications (2)

Publication Number Publication Date
CN117349795A true CN117349795A (zh) 2024-01-05
CN117349795B CN117349795B (zh) 2024-02-02

Family

ID=89357875

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311646345.XA Active CN117349795B (zh) 2023-12-04 2023-12-04 基于ann和gwr耦合的降水融合方法和系统

Country Status (1)

Country Link
CN (1) CN117349795B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117851736A (zh) * 2024-03-07 2024-04-09 南京信息工程大学 一种基于模糊自适应寻优融合的气象要素插值方法

Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104613944A (zh) * 2015-01-27 2015-05-13 电子科技大学 一种基于gwr和bp神经网络的分布式水深预测方法
CN108647740A (zh) * 2018-05-16 2018-10-12 河海大学 利用高分辨率地形和气象因子进行多源降水融合的方法
CN110222783A (zh) * 2019-06-13 2019-09-10 南京信息工程大学 基于小波域正则化的地基和星载雷达降水数据融合方法
CN111078678A (zh) * 2019-12-18 2020-04-28 中国气象局乌鲁木齐沙漠气象研究所 一种基于多源信息融合与降尺度的卫星降水数据校正方法
CN111538935A (zh) * 2019-12-26 2020-08-14 北京玖天气象科技有限公司 基于地形特征和多源模式产品的精细化降水融合方法、系统、电子设备及存储介质
CN112800634A (zh) * 2021-04-07 2021-05-14 水利部交通运输部国家能源局南京水利科学研究院 耦合干湿状态辨识与多源信息融合的降水估计方法及系统
CN113221464A (zh) * 2021-05-21 2021-08-06 广东省科学院广州地理研究所 一种地面站点与遥感观测降水数据融合方法和装置
NL2030246A (en) * 2021-02-09 2022-04-29 Univ Hohai Satellite-ground multi-source precipitation adaptive dynamic fusion method
CN114463616A (zh) * 2022-01-28 2022-05-10 国能大渡河流域水电开发有限公司 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法
CN114781501A (zh) * 2022-04-12 2022-07-22 水利部交通运输部国家能源局南京水利科学研究院 一种基于主成分回归的多源降水融合方法
CN114861840A (zh) * 2022-07-07 2022-08-05 河海大学 一种多源降水数据融合方法
CN114943365A (zh) * 2022-04-11 2022-08-26 哈尔滨工业大学(深圳) 融合多源数据的降水估测模型建立方法及降水估测方法
CN115357847A (zh) * 2022-08-28 2022-11-18 水利部交通运输部国家能源局南京水利科学研究院 一种基于误差分解的日尺度星地降水融合方法
CN115423163A (zh) * 2022-08-24 2022-12-02 中国地质大学(武汉) 一种流域短期洪水事件预测方法、装置及终端设备
CN115640547A (zh) * 2022-12-26 2023-01-24 水利部交通运输部国家能源局南京水利科学研究院 无地面观测条件下湖泊水域多源降水融合方法及系统
CN115755221A (zh) * 2022-10-22 2023-03-07 天津大学 一种基于数理不确定性分析的多源降水数据融合方法
CN116151474A (zh) * 2022-12-08 2023-05-23 四川省气象探测数据中心 一种融合多源数据的降水产品降尺度的方法
CN116306215A (zh) * 2022-12-08 2023-06-23 南京信息工程大学 一种基于集成学习的降水预测方法及系统

Patent Citations (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104613944A (zh) * 2015-01-27 2015-05-13 电子科技大学 一种基于gwr和bp神经网络的分布式水深预测方法
CN108647740A (zh) * 2018-05-16 2018-10-12 河海大学 利用高分辨率地形和气象因子进行多源降水融合的方法
CN110222783A (zh) * 2019-06-13 2019-09-10 南京信息工程大学 基于小波域正则化的地基和星载雷达降水数据融合方法
CN111078678A (zh) * 2019-12-18 2020-04-28 中国气象局乌鲁木齐沙漠气象研究所 一种基于多源信息融合与降尺度的卫星降水数据校正方法
CN111538935A (zh) * 2019-12-26 2020-08-14 北京玖天气象科技有限公司 基于地形特征和多源模式产品的精细化降水融合方法、系统、电子设备及存储介质
NL2030246A (en) * 2021-02-09 2022-04-29 Univ Hohai Satellite-ground multi-source precipitation adaptive dynamic fusion method
CN112800634A (zh) * 2021-04-07 2021-05-14 水利部交通运输部国家能源局南京水利科学研究院 耦合干湿状态辨识与多源信息融合的降水估计方法及系统
CN113221464A (zh) * 2021-05-21 2021-08-06 广东省科学院广州地理研究所 一种地面站点与遥感观测降水数据融合方法和装置
CN114463616A (zh) * 2022-01-28 2022-05-10 国能大渡河流域水电开发有限公司 一种基于Stacking与EMOS-CSG的多源卫星降水融合方法
CN114943365A (zh) * 2022-04-11 2022-08-26 哈尔滨工业大学(深圳) 融合多源数据的降水估测模型建立方法及降水估测方法
CN114781501A (zh) * 2022-04-12 2022-07-22 水利部交通运输部国家能源局南京水利科学研究院 一种基于主成分回归的多源降水融合方法
CN114861840A (zh) * 2022-07-07 2022-08-05 河海大学 一种多源降水数据融合方法
CN115423163A (zh) * 2022-08-24 2022-12-02 中国地质大学(武汉) 一种流域短期洪水事件预测方法、装置及终端设备
CN115357847A (zh) * 2022-08-28 2022-11-18 水利部交通运输部国家能源局南京水利科学研究院 一种基于误差分解的日尺度星地降水融合方法
CN115755221A (zh) * 2022-10-22 2023-03-07 天津大学 一种基于数理不确定性分析的多源降水数据融合方法
CN116151474A (zh) * 2022-12-08 2023-05-23 四川省气象探测数据中心 一种融合多源数据的降水产品降尺度的方法
CN116306215A (zh) * 2022-12-08 2023-06-23 南京信息工程大学 一种基于集成学习的降水预测方法及系统
CN115640547A (zh) * 2022-12-26 2023-01-24 水利部交通运输部国家能源局南京水利科学研究院 无地面观测条件下湖泊水域多源降水融合方法及系统

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
YI PAN 等: "Improved Daily Spatial Precipitation Estimation by Merging Multi-Source Precipitation Data Based on the Geographically Weighted Regression Method: A Case Study of Taihu Lake Basin, China", 《INTERNATIONAL JOURNAL OF ENVIRONMENTAL RESEARCH AND PUBLIC HEALTH》, pages 1 - 18 *
YOUSSEF WEHBE 等: "Enhancing Precipitation Estimates Through the Fusion of Weather Radar, Satellite Retrievals, and Surface Parameters", 《REMOTE SENSING》, pages 1 - 28 *
ZHONGKUN HONG 等: "Generation of an Improved Precipitation Dataset from Multisource Information over the Tibetan Plateau", 《JOURNAL OF HYDROMETEOROLOGY》, pages 1275 - 1295 *
南天一 等: "基于深度学习的青藏高原多源降水融合", 《中国科学》, vol. 53, no. 4, pages 836 *
李伶杰 等: "考虑有雨无雨辨识的多源降水融合方法", 《水科学进展》, vol. 33, no. 5, pages 780 - 793 *
杨宏志 等: "降水融合技术在湖南多源融合实况分析系统中的应用研究", 《信息与电脑》, no. 2023, pages 32 - 34 *
赵君 等: "基于贝叶斯三角帽法的多源降水数据融合分析及应用", 《水科学进展》, vol. 34, no. 5, pages 685 - 696 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117851736A (zh) * 2024-03-07 2024-04-09 南京信息工程大学 一种基于模糊自适应寻优融合的气象要素插值方法
CN117851736B (zh) * 2024-03-07 2024-05-14 南京信息工程大学 一种基于模糊自适应寻优融合的气象要素插值方法

Also Published As

Publication number Publication date
CN117349795B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
Yang et al. Verification of deterministic solar forecasts
Dinda et al. An integrated simulation approach to the assessment of urban growth pattern and loss in urban green space in Kolkata, India: A GIS-based analysis
CN108761574B (zh) 基于多源信息融合的降雨量估算方法
Hong et al. Improving the accuracy of landslide susceptibility model using a novel region-partitioning approach
Najafi et al. Statistical downscaling of precipitation using machine learning with optimal predictor selection
Cirstea et al. EnhanceNet: Plugin neural networks for enhancing correlated time series forecasting
e Lucas et al. Reference evapotranspiration time series forecasting with ensemble of convolutional neural networks
Pektaş et al. ANN hybrid model versus ARIMA and ARIMAX models of runoff coefficient
CN113496104B (zh) 基于深度学习的降水预报订正方法及系统
Ceci et al. Spatial autocorrelation and entropy for renewable energy forecasting
CN112200358B (zh) 一种滑坡等级预测方法、装置、设备和存储介质
CN117349795B (zh) 基于ann和gwr耦合的降水融合方法和系统
Biard et al. Automated detection of weather fronts using a deep learning neural network
del Campo-Ávila et al. Binding data mining and expert knowledge for one-day-ahead prediction of hourly global solar radiation
CN113902580B (zh) 一种基于随机森林模型的历史耕地分布重建方法
CN112561134A (zh) 一种基于神经网络的水流量预测方法、装置和电子设备
Zhao et al. Optimally integrating multi-source products for improving long series precipitation precision by using machine learning methods
CN112668711B (zh) 基于深度学习的洪水流量预测方法、装置和电子设备
Baydaroğlu et al. Temporal and spatial satellite data augmentation for deep learning-based rainfall nowcasting
CN112200355B (zh) 一种滑坡的预测方法、装置、设备和存储介质
Rajabi-Kiasari et al. Forecasting of absolute dynamic topography using deep learning algorithm with application to the Baltic Sea
CN108763673A (zh) 基于lasso回归的土地利用变化驱动力筛选方法和装置
Hou et al. Prediction of solar irradiance using convolutional neural network and attention mechanism-based long short-term memory network based on similar day analysis and an attention mechanism
Alatalo et al. Improved Difference Images for Change Detection Classifiers in SAR Imagery Using Deep Learning
CN115936762A (zh) 景区人流量的预测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant