CN113032733B - 基于非线性分类回归分析的遥感降雨误差校正方法及系统 - Google Patents
基于非线性分类回归分析的遥感降雨误差校正方法及系统 Download PDFInfo
- Publication number
- CN113032733B CN113032733B CN202110331451.3A CN202110331451A CN113032733B CN 113032733 B CN113032733 B CN 113032733B CN 202110331451 A CN202110331451 A CN 202110331451A CN 113032733 B CN113032733 B CN 113032733B
- Authority
- CN
- China
- Prior art keywords
- rainfall
- remote sensing
- correction
- field
- classification regression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01W—METEOROLOGY
- G01W1/00—Meteorology
- G01W1/18—Testing or calibrating meteorological apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Analysis (AREA)
- Evolutionary Biology (AREA)
- Environmental & Geological Engineering (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Optimization (AREA)
- Probability & Statistics with Applications (AREA)
- Operations Research (AREA)
- Artificial Intelligence (AREA)
- Algebra (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Atmospheric Sciences (AREA)
- Biodiversity & Conservation Biology (AREA)
- Ecology (AREA)
- Environmental Sciences (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
Abstract
本发明提供一种基于非线性分类回归分析的遥感降雨误差校正方法及系统,包括:建立目标流域降雨地理时空信息数据库;对目标流域雨量站进行划分,确定训练集及检验集,计算目标流域雨量站处的初始误差校正场;以训练集对应的观测场地理信息为基准确定校正域,在校正域内逐时段基于支持向量机分类回归理论,构建非线性分类回归模型集;根据检验集地理信息自动筛选校正域及非线性分类回归模型参数,估测降雨误差场,并对检验集的背景场进行误差校正及精度评价;利用非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正。本发明实施例可按需生成更高精度、更高分辨率的遥感降雨数据集。
Description
技术领域
本发明涉及水文及气象数据分析、降雨预报研究领域,更具体地,涉及一种基于非线性分类回归分析的遥感降雨误差校正方法及系统。
背景技术
在天气变化要素中,降水是驱动流域水文循环的重要物理过程之一,其空间分布深刻影响着地表径流、洪水、土壤含水量等相关变量的空间格局,驱动着流域水资源量的时空变化,因此及时准确地估算降水对于国民经济、社会生活、人民生命财产安全都有重要的意义。
当今降水估测方式主要有地面雨量站观测、天气雷达与气象卫星遥测反演等。其中雨量站观测属直接测量手段,精度较高,但呈点状分布,无法反映降水的空间连续结构。由于降水空间变异性很大,基于地面观测进行降水空间插值具有很大的不确定性。天气雷达与气象卫星遥测反演属间接测量手段,主要通过雷达回波、可见光、微波等光电信息转换为降水量,可获取覆盖范围广、空间连续、高时空分辨率的降水估计结果,克服了地面观测的时空局限性。但受信息源质量、反演算法性能等因素制约,遥感降水的定量误差较大,甚至有时无法满足日常工作要求。
为充分利用地面观测在局部位置的精确性和遥感反演降水在空间格局的有效性,国内外学者考虑联合多种信息估测降水,提出了加权平均集成、协克里金插值、条件融合、客观分析、概率密度匹配法、最优插值、地理时空加权回归、贝叶斯融合等校正方法,其中尤以地理加权回归(GWR)或其扩展的地理时空加权回归(GTWR)应用最为广泛。
现有技术中公开了一种基于多源信息融合与降尺度的卫星降水数据校正方法,在初始场的基础上运用GWR方法进行降尺度,可得到更高精度、更高空间分辨率的格点降水数据集。但由于流域降雨时空变异规律异常复杂,影响因素众多,现有的遥感降雨校正方法虽能提升一定程度的精度增益,但受限于解释变量差异及方法性能,仍难以匹配变化环境下流域径流洪水模拟、水资源演变预测等分析精度要求。如何进一步提高遥感降雨反演精度,仍是水文气象分析领域中亟待解决的难题之一。
发明内容
为了解决上述问题,本发明实施例提供一种克服上述问题或者至少部分地解决上述问题的基于非线性分类回归分析的遥感降雨误差校正方法及系统。
根据本发明实施例的第一方面,提供一种基于非线性分类回归分析的遥感降雨误差校正方法,包括:
S1,建立目标流域降雨地理时空信息数据库;
S2,基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
S3,以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
S4,根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
S5,利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据。
根据本发明实施例第二方面,提供了一种基于非线性分类回归分析的遥感降雨误差校正系统,包括:
第一模块,用于建立目标流域降雨地理时空信息数据库;
第二模块,用于基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
第三模块,用于以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
第四模块,用于根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
第五模块,用于利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据。
根据本发明实施例的第三方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如第一方面的各种可能的实现上述方式中任一种可能的实现方式所提供的一种基于非线性分类回归分析的遥感降雨误差校正方法。
根据本发明实施例的第四方面,提供了一种非暂态计算机可读存储介质,该计算机程序被处理器执行时实现上述方式中任一种可能的实现方式所提供的一种基于非线性分类回归分析的遥感降雨误差校正方法。
本发明实施例提供一种基于非线性分类回归分析的遥感降雨误差校正方法及系统,与现有技术相比,具有如下有益效果:
(1)本发明建立在大数据深度挖掘理论基础上,引入基于支持向量机 (SVM)智能算法,构建了误差校正的非线性分类回归模型,对原始遥感降雨产品数据进行质量改建,可稳定提高遥感降雨估测精度。
(2)本发明成功融合目标流域地理空间及下垫面信息作为影响因子,能够根据目标降雨地理位置自动筛选确定校正阈,构建误差校正的非线性分类回归模型,可因地制宜的生成误差校正场对不同空间分布率降雨产品进行校正,可按需生成更高精度、更高分辨率的遥感降雨数据集,实现降尺度分析。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些图获得其他的附图。
图1为本发明实施例提供的一种基于非线性分类回归分析的遥感降雨误差校正方法的流程图;
图2为本发明一优选实施例提供的一种基于非线性分类回归分析的遥感降雨误差校正方法的流程图;
图3为本发明实施示例的目标流域DEM及雨量站分布示意图;
图4为本发明实施示例的目标流域坡度示意图;
图5为本发明实施示例的目标流域坡向示意图;
图6为本发明实施示例的降水估测产品的ME指标箱线图分布;
图7为本发明实施示例的降水估测产品的MAE指标箱线图分布;
图8为本发明实施示例的降水估测产品的SRMES指标箱线图分布;
图9为本发明实施示例的降水估测产品的CC指标箱线图分布;
图10为本发明实施示例的降水估测产品的POD指标箱线图分布;
图11为本发明实施示例的降水估测产品的FAR指标箱线图分布;
图12为本发明实施示例的降水估测产品的SCI指标箱线图分布;
图13为本发明实施示例的估测降水与实测日降水散点图;
图14为本发明实施示例的2016年7月18日校正前MSWEP遥感降雨产品空间分布图(空间分辨率为0.1°×0.1°);
图15为本发明实施示例的2016年7月18日校正后MSWEP遥感降雨产品空间分布图(空间分辨率为2km×2km);
图16为本发明又一实施例提供的一种基于非线性分类回归分析的遥感降雨误差校正系统的结构示意图;
图17为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明的描述中,需要理解的是,术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接或彼此可通讯;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系,除非另有明确的限定。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
针对现有技术不足,本发明涉及一种基于非线性分类回归分析的遥感降雨误差校正方法及系统,在成功融合地理空间及下垫面信息基础上,根据大数据深度挖掘思路,以实测站网空间分布为基准,将大尺度流域合理拆分生成多个误差校正域,再基于支持向量机(SVM)智能算法,在校正域内构建误差校正的非线性分类回归模型,对原始遥感降雨产品数据进行质量改建,并稳定提升遥感降雨估测精度及空间分辨率。对于支撑水资源开发利用及管理、提升旱涝灾害预报精度等具有重要的实际意义。
本发明实施例提供的一种基于非线性分类回归分析的遥感降雨误差校正方法的流程图,如图1所示,该方法包括:
S1,建立目标流域降雨地理时空信息数据库;
该数据库包括地面及遥感降雨数据集、下垫面信息数据库等。
S2,基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
S3,以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
S4,根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
S5,利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据。
优选地,所述步骤S1中建立目标流域降雨及下垫面地理时空信息数据库的具体步骤包括:
1.1)收集目标流域内地面雨量站及其逐日降雨观测信息,包含雨量站的经度Xi、纬度Yi及时段降雨量Poi(t);收集目标流域遥感降雨产品,根据地面雨量站经度、纬度信息,提取雨量站处邻近8个网格处的时段遥感降雨Psi (t),建立遥感降雨信息数据集。
1.2)收集目标流域DEM数据,利用ArcGIS软件交互提取地面雨量站所在位置处高程、坡度、坡向,分别记为Hi、Slopei和Aspecti。采用下式构建下垫面影响因子ZP1i和ZP2i。
1.3)连同降雨信息数据集及下垫面影响因子,整合得到目标流域降雨地理时空信息数据库,记为Data:
Data=[Xi,Yi,Hi,Poi(t),Psi(t),ZP1i,ZP2i]。 (2)
优选地,所述步骤S2中对雨量站划分训练集及检验集,确定观测场及背景场,并计算初始误差校正场的具体步骤为:
2.1)设定已知目标流域内的地面雨量站为观测场,记为Poi=(Po1,Po2,…, Po3,…,Pon),n为站点数;进一步根据地面雨量站空间分布,在Poi中筛选确定训练集观测场Poii=(Poi1,Poi2,…,Poi8,…,Poii);其余为检验集观测场,记为Pojj=(Poj1,Poj2,…,Poj8,…,Pojj)。
2.2)尽量降低遥感降雨空间分辨率过低影响,采用IDW方法将地面雨量站邻近的8个网格处的时段遥感降雨进行加权平均,作为目标流域降雨的背景场,记为Pbi:
则训练集背景场记为Pbii=(Pbi1,Pbi2,…,Pbi8,…,Pbii),检验集背景场记为Pbjj=(Pbj1,Pbj2,…,Pbj8,…,Pbjj)。
2.3)计算训练集和检验集观测场与相应背景场差值,作为初始误差校正场:
优选地,所述步骤S3中建立训练集校正域,并构建非线性分类回归模型集的具体步骤包括:
3.1)以训练集观测场地理信息为基准确定校正域,即用于构建校正模型的区域。本发明主要根据大数据深度挖掘思路,以实测站网空间分布为基准,根据站网疏密及距离远近,自动将大尺度流域合理拆分生成多个误差校正域,以提高校正精度。其步骤是首先确定以地面观测站点为中心的距离阈值R,又称带宽。在带宽范围内的降水背景场及下垫面信息,认为与观测场降水相关性最好,可作为非线性分类回归模型的解释变量。通过确定带宽可截掉对降水估计没有影响的数据点,以保证模型精度。
带宽确定方法采用交叉验证法,以CVRSS(Cross-Validation RSS)最小值对应带宽为最优带宽。
式中,(xi,yi)为训练集中第i个观测点的位置坐标;βk(xi,yi)为隶属于观测点i的第k个回归参数(k=1,2,…,P),是空间位置函数;εi为残差,假设εi~N(0,σ2),且Cov(εi,εj)=0(i≠j);poii(k)是在观测点i处的第k个协变量。
通过交叉验证法,可根据下垫面实测站网疏密及距离远近,将大尺度流域合理拆分生成多个误差校正域,即实现大样本数据自动向小样本数据分解,以提高模型校正精度。
3.2)在每个校正域内,以训练集误差校正场ebi为基础,逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建误差校正的非线性分类回归模型集,记为f(ebi)。
支持向量机(SVM)是一种分类和回归分析的机器智能学习方法,基本思想是通过非线性映射将训练的数据集映射到高维特征空间,使得低维特征空间中的非线性函数估计问题转化为求解高维特征空间中的线性函数估计问题,特别适应于小样本的机器学习,具有收敛速度快、结构化风险小、全局最优且模型稳定性高等优点。
本发明中根据目标流域训练集中的降雨地理时空信息数据库Data,得到训练样本T={(xk,yk)|k=1,2,3,…,n},xk∈Rn,yk∈R。其中xk是输入值,yk是输出值。构造的最优决策函数为ω为权向量;b为偏置量。要得到模型最优化就转为寻求最小函数f(x):
其中:yi表示惩罚系数,为可调参数,主要控制对超出误差e的试验样本的惩罚程度。φ(xi)是核空间映射函数;J()为损失函数。引入拉格朗日乘子法,利用Karush-Kuhn-Tucher(KKT)最优化条件对上式进行优化,经整理可得如下线性方程:
其中Z=[φ(x1)T;…;φ(xn)T],y=[y1;…;yn],1v=[1;…;1]。令Ω=ZZT+C-1I,则α和b的表达式为:
根据Mercer条件,则函数f(x)可表示为:
式中K(xi,xj)表示核函数。考虑到模拟拟合速度及精度,本发明核函数选择高斯径向基核函数,其表达式为:
K(xi,xj)=exp(-σ||xi-xj||2), (11)
式中σ通过交叉验证法选择合适取值。
优选地,所述步骤S4中根据检验集地理信息自动筛选校正模型估测降雨误差场,并对检验集的背景场进行融合校正及精度评价的具体步骤包括:
4.1)根据检验集观测场地理信息自动筛选误差校正模型估测降雨误差场。首先计算检验集观测场站点与训练集观测场站点距离Dij,根据地理位置相近则降雨相近原则,由最短距离Dij_min自动筛选检验集归属的误差校正非线性分类回归模型。
4.3)根据检验集降雨融合校正值与实测值Pojj,分别采用降水时序空间精度指标:平均误差(ME,Mean Error)、平均绝对误差(MAE,Mean Absolute Error)、标准均方根误差(SRMSE,Standardized Root-mean-square error)、相关系数(CC,CorrelationCoefficient)和降雨事件辨识能力指标:探测率(POD, Probability of detection)、误报率(FAR,False alarm ratio)、临界成功指数(CSI, Critical success index)评价模型校正精度。
进一步地,降水时序空间精度指计算公式为:
降雨事件辨识能力指标计算公式为:
式中:n为检验集样本点数目;T取0.1mm/d。POD、FAR、CSI值越接近1越优。
4.4)进一步计算校正前、后遥感降水时序空间精度指标及降雨事件辨识能力指标的增益指数,评价质量改建情况。
增益指数计算公式为:
式中:ME1、MAE1、SRMSE1、CC1、POD1、FAR1、SCI1表示校正后遥感降雨精度指标;ME0、MAE0、SRMSE0、CC0、POD0、FAR0、SCI0表示原始未校正遥感降雨精度指标。
优选地,所述步骤S5中按需对遥感降雨产品进行逐网格逐时段误差校正的具体步骤为:
5.1)从降尺度考虑,按需确定待校正产品的目标空间分辨率β。
5.2)在目标空间分辨率β下提取目标流域逐网格中心点地理信息,重复步骤4.1~4.2,自动筛选误差校正模型对逐网格中心点处的降雨误差场进行逐时段估计,在此基础上进行降雨校正,获取目标流域更高精度、更高分辨率的遥感降雨数据集。
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明,本实施例以丹江口以上汉江流域2016年逐日降水为例。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
结合附图2所示,本发明还涉及一种基于非线性分类回归分析的遥感降雨误差校正方法及系统,包括以下步骤:
1)建立目标流域降雨及下垫面地理时空信息数据库,具体步骤包括:
1.1)收集丹江口以上汉江流域内地面雨量站及其逐日降雨观测信息,包含雨量站的经度、纬度及时段降雨量。本示例中收集到392个地面雨量站逐日降雨资料,系列为2016年1月1日~2016年12月31日,各雨量站包含经度Xi、纬度Yi及逐日降雨量Poi(t),雨量站分布见附图3、图4和图5。
1.2)收集丹江口以上汉江流域遥感降雨产品(本示例中选择MSWEPV2.1 降水产品)。根据地面雨量站经、纬度信息,提取392个雨量站处邻近8个网格处的逐日遥感降雨Psi(t),建立遥感降雨信息数据集。
1.3)收集丹江口以上汉江流域DEM数据,利用ArcGIS软件交互提取392 个雨量站所在位置处高程、坡度、坡向,分别记为Hi、Slopei和Aspecti。采用下式构建下垫面影响因子ZP1i和ZP2i。
1.4)连同降雨信息数据集及下垫面影响因子,整合得到丹江口以上汉江流域降雨地理时空信息数据库,记为Data,
Data=[Xi,Yi,Hi,Poi(t),Psi(t),ZP1i,ZP2i]。
2)对雨量站划分训练集及检验集,确定观测场及背景场,并计算初始误差校正场,具体步骤为:
2.1)设定已知流域内的392个地面雨量站为观测场,记为Poi=(Po1, Po2,…,Po3,…,Pon),n=392;进一步根据地面雨量站空间分布,在Poi中筛选确定训练集观测场Poii=(Poi1,Poi2,…,Poi8,…,Poii),i=315;其余为检验集观测场,记为Pojj=(Poj1,Poj2,…,Poj8,…,Pojj),j=77。
2.2)采用IDW方法将392个地面雨量站邻近的8个网格处的时段遥感降雨进行加权平均,得到392个雨量站处的遥感降雨,作为背景场,记为Pbi。
则训练集背景场记为Pbii=(Pbi1,Pbi2,…,Pbi8,…,Pbii),检验集背景场记为Pbjj=(Pbj1,Pbj2,…,Pbj8,…,Pbjj)。
2.3)计算训练集和检验集392个观测站与相应背景场差值,作为初始误差校正场,
3)建立训练集校正域,并构建非线性分类回归模型参数集,具体步骤为:
3.1)以训练集315个观测站地理信息为基准确定校正域带宽R。带宽确定方法采用交叉验证法,以CVRSS(cross-validation RSS)最小值对应带宽为最优带宽。
式中,(xi,yi)为训练集中第i个观测点的位置坐标;βk(xi,yi)为隶属于观测点i的第k个回归参数(k=1,2,…,P),是空间位置函数;εi为残差,假设εi~N(0,σ2),且Cov(εi,εj)=0(i≠j);poii(k)是在观测点i处的第k个协变量。
3.2)在校正域内,以训练集误差校正场ebi为基础,逐时段基于支持向量机(SVM)分类回归理论,构建误差校正的非线性分类回归模型集,记为f(ebi)。本示例中采用MATLAB程序编程实现。
示例中降雨时段以日计,2016年共有366d。则1个校正域内构建366个SVM非线分类回归模型。由于整个训练集有315个校正域,则共建115290 个SVM非线分类回归模型参数库。
4)根据检验集地理信息自动筛选校正模型估测降雨误差场,并对检验集的背景场进行融合校正及精度评价,具体步骤为:
4.1)分别计算检验集77个观测场站点与训练集315个观测场站点距离 Dij,根据地理位置相近则降雨相近原则,由最短距离Dij_min分别自动筛选检验集77个观测场站点归属的误差校正模型。
降水时序空间精度指标计算公式为:
降雨事件辨识能力指标计算公式为:
式中:n为检验集样本系列长,本例为365d;T取0.1mm/d。
为了更好的对比本发明方法对模型精度的改善作用,本示例中保持其他输入条件不变,分别采用地理加权回归模型(GWR,Geographically weighted regression)、和地理时空加权回归模型(GTWR,Geographically and temporally weighted regression)代替SVM非线分类回归模型,对检验集校正精度进行对比。表1给出了多站平均条件下不同校正方法的降雨校正精度比较;附图6~附图12具体给出4种降水估测产品各指标箱线图分布;图13给出了示例中估测降水与实测日降水散点图。
表1
表1为多站平均条件下不同校正方法的降雨校正精度比较表,由图表可知,相比原始未校正,经本发明方法校正后的MSWEP遥感降雨产品精度普遍提高,其中时序空间精度指标质量改建增益在19.5%~72.26%之间,事件辨识能力指标质量改建增益在1.54%~6.09%。相比GWR、GTWR方法,除POD 指标外,其他指标精度均较GWR、GTWR方法有所提高,且本发明方法总体上降低了降雨误报率FAR,提高了降雨探测成功率CSI。而GWR、GTWR方法在降雨误报率和降雨探测成功率方面反而降低了原有降雨成品探测精度。
显然,本发明方法对原始MSWEP遥感降雨产品质量具有改善作用,说明基于SVM分类回归理论的非线性分类回归模型精度较好,可用于流域遥感降雨产品的误差校正。
5)按需对遥感降雨产品进行逐网格逐时段误差校正,具体步骤为:
5.1)按需确定待校正产品的目标空间分辨率β。本示例以2km×2km为目标空间分辨率,原MSWEP遥感降雨产品空间分辨率为0.1°×0.1°(约 11.1km×11.1km)。
5.2)在空间分辨率β下提取目标流域逐网格中心点地理信息,重复步骤 4.1~4.2,自动筛选误差校正模型对逐网格中心点处的降雨误差场进行逐时段估计,在此基础上进行降雨校正,获取流域更高精度、更高分辨率的遥感降雨数据集。
示例分析时段为2016年1月1日~12月31日。本次以2016年7月13 日为例,附图14给出了原MSWEP遥感降雨产品空间分布,空间分辨率为 0.1°×0.1°。附图15给出了基于本发明方法校正后的MSWEP遥感降雨产品空间分布,空间分辨率为2km×2km,校正后的遥感降雨产品质量较校正前明显改善。
本发明实施例提供的一种基于非线性分类回归分析的遥感降雨误差校正系统的结构示意图,如图16所示,该系统包括第一模块1601、第二模块1602、第三模块1603、第四模块1604和第五模块1605,其中:
第一模块1601用于建立目标流域降雨地理时空信息数据库;
第二模块1602用于基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
第三模块1603用于以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine) 分类回归理论,构建非线性分类回归模型集;
第四模块1604用于根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
第五模块1605用于利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据。
本系统实施例的具体实施过程与上述方法实施例的具体执行过程相同,详情请参考上述方法实施例,本系统实施例在此不再赘述。
本发明实施例提供了一种电子设备,如图17所示,该设备包括:处理器(processor)1701、通信接口(Communications Interface)1702、存储器 (memory)1703和通信总线1704,其中,处理器1701,通信接口1702,存储器1703通过通信总线1704完成相互间的通信。处理器1701可以调用存储器 1703上并可在处理器1701上运行的计算机程序,以执行上述各实施例提供的一种基于非线性分类回归分析的遥感降雨误差校正方法,例如包括:
S1,建立目标流域降雨地理时空信息数据库;
S2,基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
S3,以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
S4,根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
S5,利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据。
此外,上述的存储器303中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
本发明实施例还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现一种基于非线性分类回归分析的遥感降雨误差校正方法,例如包括:
S1,建立目标流域降雨地理时空信息数据库;
S2,基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
S3,以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
S4,根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
S5,利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据。
以上所描述的电子设备等实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (8)
1.一种基于非线性分类回归分析的遥感降雨误差校正方法,其特征在于,包括:
S1,建立目标流域降雨地理时空信息数据库;
S2,基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
S3,以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
S4,根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
S5,利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据;
其中,所述步骤S4包括:
S41,根据检验集观测场地理信息自动筛选误差校正模型估测降雨误差场,首先计算检验集观测场站点与训练集观测场站点距离Dij,根据地理位置相近则降雨相近原则,由最短距离Dij_min自动筛选检验集归属的误差校正非线性分类回归模型;
S44,计算校正前、后遥感降水时序空间精度指标及降雨事件辨识能力指标的增益指数,评价质量改建情况。
2.根据权利要求1所述的基于非线性分类回归分析的遥感降雨误差校正方法,其特征在于,所述步骤S1包括:
S11,收集所述目标流域内地面雨量站及其逐日降雨观测信息,包含雨量站的经度Xi、纬度Yi及时段降雨量Poi(t);
S12,收集目标流域遥感降雨产品,根据地面雨量站经度、纬度信息,提取雨量站处邻近8个网格处的时段遥感降雨Psi(t),建立遥感降雨信息数据集;
S13,收集目标流域数字高程模型(DEM,Digital Elevation Model)数据,利用ArcGIS软件交互提取地面雨量站所在位置处高程、坡度、坡向,分别记为Hi、Slopei和Aspecti,采用下式构建下垫面影响因子ZP1i和ZP2i,计算公式如下;
S14,连同降雨信息数据集及下垫面影响因子,整合得到目标流域降雨地理时空信息数据库,记为Data,计算公式如下:
Data=[Xi,Yi,Hi,Poi(t),Psi(t),ZP1i,ZP2i]。
3.根据权利要求1所述的基于非线性分类回归分析的遥感降雨误差校正方法,其特征在于,所述步骤S2包括:
S21,设定已知目标流域内的地面雨量站为观测场,记为Poi=(Po1,Po2,…,Po3,…,Pon),n为站点数,进一步根据地面雨量站空间分布,在Poi中筛选确定训练集观测场Poii=(Poi1,Poi2,…,Poi8,…,Poii),其余为检验集观测场,记为Pojj=(Poj1,Poj2,…,Poj8,…,Pojj);
S22,采用IDW方法将地面雨量站邻近的8个网格处的时段遥感降雨进行加权平均,作为目标流域降雨的背景场,记为Pbi,计算公式如下:
则训练集背景场记为Pbii=(Pbi1,Pbi2,…,Pbi8,…,Pbii),检验集背景场记为Pbjj=(Pbj1,Pbj2,…,Pbj8,…,Pbjj);
S23,计算训练集和检验集观测场与相应背景场差值,作为初始误差校正场,计算公式如下:
4.根据权利要求1所述的基于非线性分类回归分析的遥感降雨误差校正方法,其特征在于,所述步骤S3包括:
S31,以训练集观测场地理信息为基准确定校正域,即用于构建校正模型的区域;
S32,在每个校正域内,以训练集误差校正场ebi为基础,逐时段基于支持向量机分类回归理论,构建误差校正的非线性分类回归模型集,记为f(ebi)。
5.根据权利要求1所述的基于非线性分类回归分析的遥感降雨误差校正方法,其特征在于,所述步骤S5包括:
S51,从降尺度考虑,按需确定待校正产品的目标空间分辨率β;
S52,在目标空间分辨率β下提取目标流域逐网格中心点地理信息,重复步骤S41至S42,自动筛选误差校正模型对逐网格中心点处的降雨误差场进行逐时段估计,在此基础上进行降雨校正,获取目标流域更高精度、更高分辨率的遥感降雨数据集。
6.一种基于非线性分类回归分析的遥感降雨误差校正系统,其特征在于,包括:
第一模块,用于建立目标流域降雨地理时空信息数据库;
第二模块,用于基于所述目标流域降雨地理时空信息数据库,对目标流域雨量站进行划分,确定训练集及检验集,并将遥感降雨产品作为背景场,地面雨量站作为观测场,根据所述背景场合所述观测场,计算所述目标流域雨量站处的初始误差校正场;
第三模块,用于以所述训练集对应的观测场地理信息为基准确定校正域,在所述校正域内逐时段基于支持向量机(SVM,Support Vector Machine)分类回归理论,构建非线性分类回归模型集;
第四模块,用于根据所述检验集地理信息自动筛选校正域及所述非线性分类回归模型参数,估测降雨误差场,并对所述检验集的背景场进行误差校正及精度评价;
第五模块,用于利用已建的非线性分类回归模型,构建不同空间分辨率的降雨误差场实现降尺度处理,并对遥感降雨产品进行逐网格逐时段误差校正,以获取所述目标流域更高精度、更高分辨率的遥感降雨数据;
其中,所述第四模块包括:
根据检验集观测场地理信息自动筛选误差校正模型估测降雨误差场,首先计算检验集观测场站点与训练集观测场站点距离Dij,根据地理位置相近则降雨相近原则,由最短距离Dij_min自动筛选检验集归属的误差校正非线性分类回归模型;
计算校正前、后遥感降水时序空间精度指标及降雨事件辨识能力指标的增益指数,评价质量改建情况。
7.一种电子设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如权利要求1至5任一所述的基于非线性分类回归分析的遥感降雨误差校正方法。
8.一种非暂态计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1至5任一所述的基于非线性分类回归分析的遥感降雨误差校正方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110331451.3A CN113032733B (zh) | 2021-03-27 | 2021-03-27 | 基于非线性分类回归分析的遥感降雨误差校正方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110331451.3A CN113032733B (zh) | 2021-03-27 | 2021-03-27 | 基于非线性分类回归分析的遥感降雨误差校正方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113032733A CN113032733A (zh) | 2021-06-25 |
CN113032733B true CN113032733B (zh) | 2021-12-07 |
Family
ID=76474323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110331451.3A Active CN113032733B (zh) | 2021-03-27 | 2021-03-27 | 基于非线性分类回归分析的遥感降雨误差校正方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113032733B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113723871B (zh) * | 2021-11-03 | 2022-03-08 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于多源信息的现状洪水一致性处理方法及系统 |
CN114187510B (zh) * | 2021-12-02 | 2022-09-02 | 中南大学 | 基于元核网络的小样本遥感场景分类方法 |
CN115357847B (zh) * | 2022-08-28 | 2023-09-19 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于误差分解的日尺度星地降水融合方法 |
CN115641696B (zh) * | 2022-09-28 | 2023-09-15 | 水利部交通运输部国家能源局南京水利科学研究院 | 基于多源信息的网格化洪水预报模型构建及实时校正方法 |
CN115980890B (zh) * | 2023-03-17 | 2023-06-20 | 湖北省地质环境总站 | 一种基于时空要素的雨量站异常数据检测方法 |
CN116228046B (zh) * | 2023-05-09 | 2023-07-18 | 成都信息工程大学 | 一种基于卫星遥感和地理数据的山区空间降水估算方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975791A (zh) * | 2016-05-20 | 2016-09-28 | 南京信息工程大学 | 一种基于双平滑法的稀疏区域降水估算融合方法 |
CN106776481A (zh) * | 2016-11-29 | 2017-05-31 | 河海大学 | 一种作用于卫星降水数据的降尺度校正方法 |
KR101846494B1 (ko) * | 2017-04-07 | 2018-04-06 | 부경대학교 산학협력단 | 파시벨 광학우적계를 이용한 연직바람 산출방법 |
CN110738252A (zh) * | 2019-10-14 | 2020-01-31 | 广州地理研究所 | 空间自相关的机器学习卫星降水数据降尺度方法、系统 |
CN111078678A (zh) * | 2019-12-18 | 2020-04-28 | 中国气象局乌鲁木齐沙漠气象研究所 | 一种基于多源信息融合与降尺度的卫星降水数据校正方法 |
-
2021
- 2021-03-27 CN CN202110331451.3A patent/CN113032733B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105975791A (zh) * | 2016-05-20 | 2016-09-28 | 南京信息工程大学 | 一种基于双平滑法的稀疏区域降水估算融合方法 |
CN106776481A (zh) * | 2016-11-29 | 2017-05-31 | 河海大学 | 一种作用于卫星降水数据的降尺度校正方法 |
KR101846494B1 (ko) * | 2017-04-07 | 2018-04-06 | 부경대학교 산학협력단 | 파시벨 광학우적계를 이용한 연직바람 산출방법 |
CN110738252A (zh) * | 2019-10-14 | 2020-01-31 | 广州地理研究所 | 空间自相关的机器学习卫星降水数据降尺度方法、系统 |
CN111078678A (zh) * | 2019-12-18 | 2020-04-28 | 中国气象局乌鲁木齐沙漠气象研究所 | 一种基于多源信息融合与降尺度的卫星降水数据校正方法 |
Non-Patent Citations (2)
Title |
---|
《卫星遥测降水数据的质量评估与校正的方法研究》;王超;《中国优秀博硕士学位论文全文数据库(硕士)-基础科学辑》;20200615;A009-14 * |
《基于机器学士模型的青藏高原日降水数据的订正研究》;陈浩;《冰川冻土》;20170630;583-592 * |
Also Published As
Publication number | Publication date |
---|---|
CN113032733A (zh) | 2021-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113032733B (zh) | 基于非线性分类回归分析的遥感降雨误差校正方法及系统 | |
Lussana et al. | seNorge_2018, daily precipitation, and temperature datasets over Norway | |
Antolini et al. | A daily high-resolution gridded climatic data set for Emilia-Romagna, Italy, during 1961-2010. | |
Tozer et al. | On the uncertainties associated with using gridded rainfall data as a proxy for observed | |
Xu et al. | Projections of future meteorological droughts in China under CMIP6 from a three‐dimensional perspective | |
CN111666656A (zh) | 基于微波雨衰的降雨估算方法及降雨监测系统 | |
Holden et al. | Estimating the carbon stock of a blanket peat region using a peat depth inference model | |
CN112070286A (zh) | 复杂地形流域的降水预报预警系统 | |
Imran et al. | Using geographically weighted regression kriging for crop yield mapping in West Africa | |
Rios Gaona et al. | Measurement and interpolation uncertainties in rainfall maps from cellular communication networks | |
CN113902580B (zh) | 一种基于随机森林模型的历史耕地分布重建方法 | |
Serrano-Notivoli et al. | Spatially based reconstruction of daily precipitation instrumental data series | |
Bargaoui et al. | Seasonal precipitation variability in regional climate simulations over Northern basins of Tunisia. | |
CN116341841B (zh) | 径流预报误差校正方法、装置、设备、介质和程序产品 | |
Zhang et al. | Improving hydrological and vegetation modelling using regional model calibration schemes together with remote sensing data | |
Song et al. | Spatial non-stationary characteristics between grass yield and its influencing factors in the Ningxia temperate grasslands based on a mixed geographically weighted regression model | |
CN115983511A (zh) | 基于改进统计降尺度方法的降水预估方法和系统 | |
CN116609859A (zh) | 一种气象灾害高分辨率区域模式预报系统及方法 | |
Serrano‐Notivoli et al. | From rain to data: A review of the creation of monthly and daily station‐based gridded precipitation datasets | |
Zhao et al. | Developing and evaluating national soil moisture percentile maps | |
CN115166874A (zh) | 基于机器学习的气象干旱指数spi构建方法 | |
Lucas et al. | Assessment of extreme waves in the North Atlantic Ocean by regional frequency analysis | |
Dai et al. | Impact of complexity of radar rainfall uncertainty model on flow simulation | |
Airey et al. | Evaluating climate model simulations of precipitation: methods, problems and performance | |
Chu et al. | A watershed rainfall data recovery approach with application to distributed hydrological models |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |