CN112699959A - 基于能量泛函模型的多源多尺度降水数据融合方法和装置 - Google Patents
基于能量泛函模型的多源多尺度降水数据融合方法和装置 Download PDFInfo
- Publication number
- CN112699959A CN112699959A CN202110032172.7A CN202110032172A CN112699959A CN 112699959 A CN112699959 A CN 112699959A CN 202110032172 A CN202110032172 A CN 202110032172A CN 112699959 A CN112699959 A CN 112699959A
- Authority
- CN
- China
- Prior art keywords
- precipitation data
- precipitation
- data
- functional model
- energy functional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001556 precipitation Methods 0.000 title claims abstract description 295
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 26
- 238000000034 method Methods 0.000 claims abstract description 69
- 230000004927 fusion Effects 0.000 claims abstract description 30
- 238000011160 research Methods 0.000 claims abstract description 29
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000007637 random forest analysis Methods 0.000 claims description 27
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000004590 computer program Methods 0.000 claims description 6
- 230000009467 reduction Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000011835 investigation Methods 0.000 claims description 4
- 238000003066 decision tree Methods 0.000 description 22
- 238000004088 simulation Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012549 training Methods 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000005457 optimization Methods 0.000 description 6
- 238000005549 size reduction Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000000053 physical method Methods 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 238000007619 statistical method Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000008020 evaporation Effects 0.000 description 1
- 238000001704 evaporation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004744 fabric Substances 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000012950 reanalysis Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/251—Fusion techniques of input or preprocessed data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/20—Ensemble learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/26—Government or public services
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Tourism & Hospitality (AREA)
- Evolutionary Biology (AREA)
- Economics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Medical Informatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Development Economics (AREA)
- Educational Administration (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明提供基于能量泛函模型的多源多尺度降水数据融合方法和装置，方法包括：获取研究区域的第一降水数据和第二降水数据，对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据；所述第一降水数据通过CMORPH卫星反演降水产品获取；所述第二降水数据通过国家气象中心数据共享网站获取；根据所述第三降水数据和所述第二降水数据构建能量泛函模型；求解所述能量泛函模型，得到降水数据融合结果。本申请得到的降水数据融合结果更加准确。
Description
技术领域
本发明属于数据处理技术领域，具体涉及一种基于能量泛函模型的多源多尺度降水数据融合方法和装置。
背景技术
降水是全球能量和水循环过程的重要组成部分，是表征气候变化的重要指标，对人类活动和社会经济发展有着十分重要的影响。高质量的降水时空分布信息对于气候、生态、水文和气象过程的研究具有重要意义。同时，作为大气科学、水文学、地学以及生态学等多学科交叉融合研究中必不可少的基础数据，精细时空尺度上的降水数据是各种研究模型的重要驱动参数，其估算精度对于模型模拟结果具有非常重要的影响。
Kavetski(2006)指出在洪水预报不确定性的所有来源中，最主要的因素是降水输入的不确定性。Syed等(2004)认为陆地水文过程的不确定性有70％到80％归因于降水的时空变异性。我国幅员辽阔，地处东亚季风区，横跨多个气候带，受海陆位置、地形、季风、下垫面及人类活动等多种因素的影响，降水呈现出复杂的时空变异特征，特别是日降水过程呈现明显的随机性与时空差异性。准确获取降水的时空特征信息是水文水资源管理、洪涝干旱检测、地质灾害预警和风险评估等工作的重要基础，可为我国制定和实施应对气候变化的国家战略提供科学依据。
常用于获取降水空间分布数据的方式主要包括基于地面观测站的插值方法、基于卫星遥感的反演方法以及基于物理过程模型的模拟方法。由于降水较强的时空异质性，单一方法所得到的降水空间分布信息还存在很大的不确定性(Gebremichael et al，2014)。例如，目前公认的最准确的降水观测方式-地面实测，以往研究中主要借助于插值方法将点状离散信息转化成面状连续性降水数据，这种数据获取方式往往受站点个数及分布的影响。单独依赖空间插值在模拟空间变异性强的日尺度降水或者地形复杂地区的降水时存在很大的不确定性(Yeggina et al，2019)。随着遥感技术和气象卫星的发展，卫星观测资料为我们提供了空间连续性强且覆盖地理环境复杂地区的遥感降水数据，弥补了地面观测站数据不连续及受环境限制的不足，已成为空间化降水数据的重要来源。但卫星对降水的观测是间接观测，其受到传感器性能、云层性质和反演算法等所限，定量误差比较突出。此外，卫星反演降水的空间分辨率较低往往不能满足精细尺度气候变化及水文模拟等的研究需求(郭华东和张露，2019)。气候模式能较好地模拟高层大气场、近地面气候特征和大气环流等特征，但降水的模拟涉及到气候模式的诸多物理过程，如地表蒸发、大气中的水汽辅合及对流云微物理过程等，这为气候模式准确模拟降水增加了许多挑战；同时由于其初始场的差异、模拟气候系统内部振荡以及参数不易确定等原因使得目前气候模式对降水的模拟性能还有待提高，在部分地区如青藏高原区域模拟的降水还存在较大的系统误差(朱庆亮等，2013；赵宗慈等，2014)。
可见，单一来源降水资料各有利弊，不同来源降水数据研究得到的结果甚至完全不同。而对于不同来源、不同精度、不同时空尺度的降水观测信息或估算信息通过一定的优化准则进行集成以获取高精度的精细时空尺度降水空间分布数据是研究的问题和科学难点。
近年来，随着地理信息系统的普及以及多学科交叉融合的发展，许多学者开始利用气象站点的高精度实测资料，结合地统计方法对遥感数据和模式结果进行降尺度或融合，建立了高精度高空间分辨率的格网化降水数据集。但这一系列进展中较少考虑长时间序列精细时空尺度降水的模拟，并且所采用的方法大部分基于一定的前提假设，并不能很好的再现降水实际空间分布状态。
因此，需要提供一种针对上述现有技术中不足的改进技术方案。
发明内容
本发明的目的是提供一种基于能量泛函模型的多源多尺度降水数据融合方法和装置，用以克服上述现有技术中存在的问题。
为了实现上述目的，本发明提供如下技术方案：
基于能量泛函模型的多源多尺度降水数据融合方法，所述方法包括：
获取研究区域的第一降水数据和第二降水数据，对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据；所述第一降水数据通过CMORPH卫星反演降水产品获取；所述第二降水数据通过国家气象中心数据共享网站获取；
根据所述第三降水数据和所述第二降水数据构建能量泛函模型；
求解所述能量泛函模型，得到降水数据融合结果。
进一步的，所述对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据包括：
根据所述第一降水数据和预设的降水影响因素得到第一降水数据的降尺度结果数据；
根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到所述研究区域的第三降水数据。
进一步的，所述根据所述第一降水数据和预设的降水影响因素得到第一降水数据的降尺度结果数据包括：
根据所述第一降水数据和预设的降水影响因素构建随机森林降尺度模型；
通过所述随机森林降尺度模型输出得到第一降水数据的降尺度结果数据。
进一步的，所述根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到所述研究区域的第三降水数据包括：
根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到残差分布结果；
根据所述第一降水数据的降尺度结果数据和所述残差分布结果数据得到所述研究区域的第三降水数据。
进一步的，所述能量泛函模型包括正则项和保真项；所述正则项采用L1范数根据所述第三降水数据构建；所述保真项采用L2范数根据所述第二降水数据构建。
进一步的，所述保真项采用L2范数根据所述第二降水数据构建包括：
采用空间插值方法对所述第二降水数据进行处理，得到插值后的第二降水数据；
采用L2范数对所述插值后的第二降水数据进行处理，得到所述保真项。
进一步的，所述能量泛函模型为
其中，u为降水融合数据；u1为第三降水数据；u2为第二降水数据进行IDW插值处理后的数据；λ为正则化参数；
为梯度算子，Ω为研究区域。
进一步的，采用分裂Bregman迭代法对所述能量泛函模型进行求解得到所述降水数据融合结果。
进一步的，所述采用分裂Bregman迭代法对所述能量泛函模型进行求解得到所述降水数据融合结果包括：
采用分裂Bregman迭代法对所述能量泛函模型进行求解得到中间模型；
采用共轭梯度算法迭代求解所述中间模型，得到所述降水数据融合结果。
为实现上述技术目的，本发明还提供一种基于能量泛函模型的多源多尺度降水数据融合装置，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上的运行的计算机程序，所述处理器在执行所述计算机程序时实现上述基于能量泛函模型的多源多尺度降水数据融合方法的步骤。
与最接近的现有技术相比，本发明提供的技术方案具有如下优异效果：
本申请基于能量泛函模型的多源多尺度降水数据融合方法和装置，第一降水数据和第二降水数据为不同来源不同空间尺度的降水数据，首先通过第一降水数据进行处理，得到高分辨率的第三降水数据，然后根据高分率的第三降水数据和第二降水数据构建能量泛函模型，通过对能量泛函模型进行求解，就能得到降水数据融合结果，通过本申请的方法，得到降水数据融合结果更加准确，进而能够绘制更加精确的降水分布。
附图说明
构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。其中：
图1为本发明基于能量泛函模型的多源多尺度降水数据融合方法的流程图一；
图2为本发明实施例中基于能量泛函模型的多源多尺度降水数据融合方法的流程图二。
具体实施方式
下面将参考附图并结合实施例来详细说明本发明。各个示例通过本发明的解释的方式提供而非限制本发明。实际上，本领域的技术人员将清楚，在不脱离本发明的范围或精神的情况下，可在本发明中进行修改和变型。例如，示为或描述为一个实施例的一部分的特征可用于另一个实施例，以产生又一个实施例。因此，所期望的是，本发明包含归入所附权利要求及其等同物的范围内的此类修改和变型。
基于能量泛函模型的多源多尺度降水数据融合方法如图1所示，方法包括：获取研究区域的第一降水数据和第二降水数据，对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据；所述第一降水数据通过CMORPH卫星反演降水产品获取；所述第二降水数据通过国家气象中心数据共享网站获取；根据所述第三降水数据和第二降水数据构建能量泛函模型；求解所述能量泛函模型，得到降水数据融合结果。
方法实施例：
本申请基于能量泛函模型的多源多尺度降水数据融合方法的详细流程图如图2所示，包括如下步骤：
步骤S1，获取研究区域的第一降水数据和第二降水数据，对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据；
步骤S101，获取研究区的第一降水数据和第二降水数据；
在本申请中，通过CMORPH卫星反演降水产品获取研究区域的第一降水数据。通过国家气象中心数据共享网站获取研究区域的第二降水数据，第二降水数据在本领域中常称为站点数据。
CMORPH是美国国家海洋大气局气候预测中心开发的日尺度卫星反演降水产品，空间覆盖范围为60°N-60°S，空间分辨率为0.25°×0.25°，时间范围自1998年至今。尽管目前该降水产品数据也有空间分辨率为8km×8km的产品，但存在很大的不确定性，CMORPH是栅格数据，得到的降水产品通常称为网格降水值，因此，本申请选用使用较多的0.25°×0.25°的降水产品(即第一降水数据)。
步骤S102，确定预设的降水影响因素；
在本申请实施例中，根据天气层面、地理地形要素等方面确定选择预设的降水影响因素。充分考虑降水影响因素，能够保证后续降尺度前后降水数据的时空结构一致性，进而获得更加准确的降水分布结果。
降水影响因素包括云量、云光学厚度、云粒子有效半径、云顶温度、云顶气压、云水路径、500hPa和800hPa位势高度、空气温度、潜热通量、感热通量、短波辐射、长波辐射、相对湿度、最大相对湿度、最小相对湿度、比湿(地面，500hPa和800hPa)、海平面气压、风速、粗分辨率网格周围8个网格的COMRPH降水值、高程、坡度、坡向、地形起伏度、经度、纬度、到海岸线距离、增强植被指数EVI、夜光强度数据、建筑物密度及人口等。其中，大气环流云微物理参数等从再分析数据集NCEP/NCAR中获取，地理地形因素从高程数据经ArcGIS计算得到，社会经济活动指数已从中国科学院资源环境科学数据中心网站下载。
S103，根据所述第一降水数据和所述预设的降水影响因素构建随机森林降尺度模型；
本步骤的目的旨在通过对第一降水数据进行降尺度处理，为后续获得高分辨率的降水数据做准备。
传统统计降尺度是建立因变量与自变量之间的关系模型，并假定这种关系模型不随空间尺度发生变化，然而这种关系并不能完全概述不同尺度因子与降水的复杂关系。在传统统计降尺度的物理机制尚不完全清楚的前提下，使用机器学习方法构建降尺度模型是较好的选择。而本申请通过机器学习方法构建降尺度模型，在通过机器学习构建降尺度模型时，具体采用随机森林的降尺度方法，建立随机森林降尺度模型。
在此需要说明的是，随机森林是通过集成学习的思想将多棵树进行集成的一种算法，多棵树各自独立的学习和做出预测，这些预测结果最后结合成单预测。该方法能够有效处理具有高维特征的输入样本，不需要进行数据的降维，在决策树的生成过程中进行内部评估获取内部生成误差的一种无偏估计，有着很高的准确率和较强的鲁棒性。
随机森林RF方法主要包括以下几个步骤：
(1)为每棵决策树抽样产生训练集，一棵树对应一个训练集，从原始数据集N中有放回的产生Nm个训练子集；
(2)采用CART算法来构建每棵决策树，每棵决策树自由生长，不进行剪枝处理。随机特征变量的取值一般为[lnM+1]，M为属性个数；
(3)重复上述单棵决策树样本抽样和构建每棵决策树两个步骤就建立了大量没有剪枝的决策树，这些决策树组合在一起构成的模型即为随机森林模型。
在回归应用中RF模型最终结果为每棵决策树结果的平均。随机森林对多元共线性不敏感，能有效防止过度拟合，该方法的预测结果对于缺失数据和非平稳数据较为稳健。
在随机森林中，各个决策树的训练集是使用Bagging抽样方法抽取的，约有36.8％的数据样本不会被抽中，这些未被抽中的数据样本组成的集合被称为袋外数据，本申请随机森林降尺度模型中决策树的个数设置为袋外误差达到平稳时对应的决策树个数。另外，在构建每一棵决策树时，随机森林算法可以自动评估上述各个解释变量的重要性，并且每棵决策树都是独立抽样，互不干扰，这为其并行化提供了很好的条件。
对获取的第一降水数据，在时空尺度上同时选取90％的栅格样本(第一降水数据)进行训练构建随机森林模型(RF模型)，余下10％格网值用于测试。为了提高对长时间序列逐日粗分辨降水的降尺度模拟，本申请对随机森林采用SparkR并行处理模式在集群环境中进行并行化以提高算法的执行效率。随机森林中决策树生成是算法并行改进的核心部分。首先，Bagging并行抽取数据集中的k个样本子集，由于采用有放回抽样，所以并行抽样不会对训练子集产生影响，且能保证训练子集的差异。其次，将决策树构建均匀分配到集群中的各个节点，在每个节点上不同决策树的生长也并发的执行。
由于随机森林降尺度模型(RF降尺度模型)是一种集成平均的方法，对极端降水事件的模拟可能会产生较大的不确定性，本申请首先根据第一降水数据确定阈值，具体是计算近二十年所有网格的日降水超过99％分位值的降水值作为阈值P99；然后，将网格日降水值Pre小于P99的降水数据定义为集中降水事件，将网格日降水值Pre大于P99的降水数据定义为极端降水事件。
单独对于网格降水值Pre小于P99的降水数据构建随机森林降尺度模型RF1，也即集中降水事件模型RF1；单独对于极端降水事件，即网格降水值Pre大于P99的构建随机森林模型RF2，也即极端降水事件模型RF2。
在本申请实施例中，随机森林降尺度模型包括集中降水事件模型和极端降水事件模型RF2。
其中，X为集中降水事件的输入空间，Y为极端降水事件的输入空间，hi(x)为集中降水事件的单棵决策树，gi(y)为极端降水事件的单棵决策树,x为集中降水事件中每棵决策树所对应的子输入空间，x∈X；y为极端降水事件中每棵决策树所对应的子输入空间，y∈Y。
步骤S104，通过所述随机森林降尺度模型输出得到第一降水数据的降尺度结果数据；
考虑到各数据的时空范围和分辨率，对CMORPH卫星反演降水数据采用随机森林法(RF)降尺度处理，即得到随机森林降尺度模型RFdownscaling，随机森林降尺度模型的输出结果就是第一降水数据的降尺度结果。
由于降尺度后降水的质量不仅依赖于所选用的降尺度模型，同时依赖于解释变量的选取，普通的基于回归的降尺度方法对逐日降水的解释变量选取变得异常繁琐复杂，在本申请中采用随机森林的降尺度方法，基于随机森林的降尺度方法能够自动评估各个解释变量的重要性且易于并行实现，可以用来对长时间序列的粗分辨逐日降水数据进行降尺度。
步骤S105，根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到残差分布结果数据；
本步骤首先通过第一降水数据的降尺度结果数据和第二降水数据进行作差，从而得到第一降水数据的降尺度结果数据和第二降水数据之间的残差，然后利用采用IDW插值方法对残差进行插值处理，从而得到残差分布面，即残差分布结果。
步骤S106，根据所述第一降水数据的降尺度结果数据和所述残差分布结果数据得到所述研究区域的第三降水数据；
由于在虚拟气象站点日降水值反演过程中，考虑了下垫面特征及人类活动等局地强迫影响并采用分区方式运用天气预报模式(WRF)进行了参数本地化模拟，因此，为了降低尺度效应产生的跨尺度误差对最终结果的影响，本申请结合站点降水值即第二降水数据对第一降水数据的降尺度结果数据进行局地校正，即将降尺度后通过站点数据计算得到的残差采用IDW插值方法对随机森林降尺度模型的降尺度结果进行修正：
Predownscaling＝RFdownscaling+IDW(Residual)
式中，Predownscaling为第三降水数据，也即进行修正后高分辨的第三降水数据；RFdownscaling为第一降水数据的降尺度结果数据；Residual为第一降水数据的降尺度结果数据和第二降水数据的残差；IDW(Residual)为对残差进行IDW插值处理后的残差分布结果。
步骤S2，根据所述第三降水数据和第二降水数据构建能量泛函模型；
在本申请实施例中，所述能量泛函模型包括正则项和保真项。首先，根据所述第三降水数据构建正则项；然后，根据所述第二降水数据构建保真项；最后，根据所述正则项和所述保真项得到能量泛函模型。
考虑到L1范数在遥感影像处理领域有着广泛的应用，相比L2范数，L1范数能更好的保持图像的细节，适合描述纹理或振荡模式，并且有很多相对应的优化算法，因此，本申请采用L1范数构建能量泛函模型的正则项。基于L1范数的正则项通过降尺度后降水空间分布数据(即第三降水数据)和梯度信息得到，其中梯度信息可以理解成导数的意思。
同时，考虑到目前在站点足够多的情况下，各种插值方法的结果差别不大，采用简单易实现的空间插值(IDW插值)方法对站点数据插值作为融合方法的输入数据之一。即对第二降水数据采用IDW插值方法进行插值处理，根据插值结果再采用L2范数构建能量泛函模型的保真项。
将RF方法降尺度和IDW插值方法后的降水空间分布数据(即第三降水数据)作为先验信息，利用降尺度结果的第三降水数据构造正则项来表征降水真实分布和降水数据融合结果之间地理信息的一致性；用对第二降水数据的IDW插值结果构建保真项，确保降水数据融合结果和降水真实分布尽可能逼近。
能量泛函模型如下
其中，u为降水融合数据；u1为第三降水数据，即降尺度后降水空间分布数据；u2为第二数据进行IDW插值处理后的数据，即IDW插值后降水空间分布数据；λ为正则化参数；
为梯度算子，Ω为研究区域。
在本申请实施例中，能量泛函模型的正则项为
保真项为||u-u2‖2，也即u-u2的L2范数。
另外，能量泛函模型中正则化参数λ对能量泛函模型结果有着至关重要的影响。在传统的能量泛函最小化方法中，图像中所有像素的正则化参数都采用同一常数，导致图像的局部特征不能在能量函数中得到较好的体现。在本申请中由于采用分裂Bregman迭代法，在算法迭代过程中正则项和保真项的能量会随着迭代算法的变化而变化，因此正则化参数λ也必须自适应地改变，进而自适应地改变保真项和正则项的权重。特别是针对空间变异性强的日降水数据，需要根据每一步迭代值及降水空间分布的局部特征调整正则化参数。本申请实施例中通过降水满足的能量泛函模型计算推导出正则化参数的取值公式。
步骤S3，求解所述能量泛函模型，得到降水数据融合结果。
本申请考虑分裂Bregman迭代法能很好的求解含有L1范数的极值问题，采用分裂Bregman迭代法求解所述能量泛函模型。分裂Bregman迭代法的特点是通过引入辅助变量，将无约束的最优化能量泛函正则化模型转化为有约束条件的最优化问题，然后将目标函数分裂为几个容易处理的子问题，形成交替迭代算法。
首先，通过引入辅助参数的方式，将能量泛函模型进行转化；
第一，引入第一辅助参数z，能量泛函模型转化为第一子能量泛函模型：
式中，z＝u-u1。
第二，引入第二辅助参数d，第一子能量泛函模型转化为第二子能量泛函模型：
式中，
在第二辅助参数的作用下，第二子能量泛函模型就变成了具有约束的优化问题模型。
第三，引入第三辅助参数η，第二子能量泛函模型转化成第三子能量泛函模型：
式中，第三辅助参数η为Lagrange参数，通过新引入的Lagrange参数，又使第三子能量泛函模型变成没有约束的优化问题模型。
其次，采用分裂Bregman迭代法对转化后的能量泛函模型进行求解；
本步骤实质是采用分裂Bregman迭代法对第三子能量泛函模型进行求解，得到中间模型为：
式中，利用梯度下降法，zk+1所满足的Eula-Lagrange方程为：
dk+1所满足的Eula-Largange方程为：
在辅助参数的转化作用下，因此，中间模型转化为方程组：
式中，Lagrange参数η通过敏感性实验获得，实验中η取值分别为1×10-3，1×10-2，1×10-1，1，2，5，10，20，50，100，500，1000。
再对此方程组采用共轭梯度算法迭代求解，其中
在Lagrange参数η取不同值的情况下观察能量泛函模型中正则项
和保真项‖u-u2‖2的变化，从而选择最优参数值。
对于能量泛函模型中正则化参数λ，第一子能量泛函模型对应的Eula-Lagrange方程为：
将上式两边同乘以u-u2，然后在整个研究区域Ω上积分，得：
由于z＝u-u1，从而得：
其中，σ2为降水空间分布误差的方差。通过自适应地计算正则化参数，使得该融合方法不仅具有站点数据的高精度特征，同时兼顾了降水的空间分布结构信息。
装置实施例：
基于能量泛函模型的多源多尺度降水数据融合装置，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上的运行的计算机程序，所述处理器在执行所述计算机程序时实现基于能量泛函模型的多源多尺度降水数据融合方法的步骤，包括：
获取研究区域的第一降水数据和第二降水数据，对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据；所述第一降水数据通过CMORPH卫星反演降水产品获取；所述第二降水数据通过国家气象中心数据共享网站获取；
根据所述第三降水数据和第二降水数据构建能量泛函模型；
求解所述能量泛函模型，得到降水数据融合结果。
对于该方法中的详细过程已在方法实施例中介绍，在本实施例中不再赘述。
本发明把多源多尺度降水数据看成是对降水真实分布的各种不同程度的近似，降水空间分布视为图像，把降水的模拟看成是对图像的处理，从图像修复角度对当前多源降水进行融合，进而将降水融合问题归结为求泛函极值问题，并基于变分原理导出对应的偏微分方程组，用数值计算方法求解此偏微分方程组，所求解即为降水融合结果。本申请的融合方法突破了以往传统降水模拟方法需建立在一定前提假设基础上的局限性，仅对其他物理的及统计的方法产生的结果进行一种高级整合和修正；具有较强的局部自适应性和可扩展性，可以根据降水的实际分布特征结合先验信息构建特定的能量泛函模型，并通过参数自适应地权衡目标结果的精度特征和空间分布结构特征。
本申请利用站点资料的高精度优势及遥感反演降水产品的空间连续性特点，借助物理的以及统计的方法并考虑降水的地理地形等影响因素，通过站点资料的优化插值和粗分辨降水空间分布数据的降尺度，分析不同来源降水数据特点，对不同来源不同尺度的降水数据构建能量泛函模型的正则项和保真项，以充分利用不同数据源的优势进行有效融合，兼顾降水的空间分布结构特征以及精度特征建立能量泛函模型，并通过变分原理得到所需求解的偏微分方程组，实现多源多尺度降水数据的有效融合，给出一种新的使用范围广泛的降水空间分布模拟方法，同时，给出能量泛函模型中正则化参数的计算方法。提高区域日尺度降水空间分布模拟精度，降低区域降水估算的不确定性，丰富和发展降水空间分布估算的理论方法体系。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均在本发明待批权利要求保护范围之内。
Claims (10)
1.基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述方法包括：
获取研究区域的第一降水数据和第二降水数据，对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据；所述第一降水数据通过CMORPH卫星反演降水产品获取；所述第二降水数据通过国家气象中心数据共享网站获取；
根据所述第三降水数据和所述第二降水数据构建能量泛函模型；
求解所述能量泛函模型，得到降水数据融合结果。
2.根据权利要求1所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述对所述第一降水数据和第二降水数据进行处理得到研究区域的第三降水数据包括：
根据所述第一降水数据和预设的降水影响因素得到第一降水数据的降尺度结果数据；
根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到所述研究区域的第三降水数据。
3.根据权利要求2所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述根据所述第一降水数据和预设的降水影响因素得到第一降水数据的降尺度结果数据包括：
根据所述第一降水数据和预设的降水影响因素构建随机森林降尺度模型；
通过所述随机森林降尺度模型输出得到第一降水数据的降尺度结果数据。
4.根据权利要求2或3所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到所述研究区域的第三降水数据包括：
根据所述第一降水数据的降尺度结果数据和所述第二降水数据得到残差分布结果；
根据所述第一降水数据的降尺度结果数据和所述残差分布结果数据得到所述研究区域的第三降水数据。
5.根据权利要求1所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述能量泛函模型包括正则项和保真项；所述正则项采用L1范数根据所述第三降水数据构建；所述保真项采用L2范数根据所述第二降水数据构建。
6.根据权利要求5所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述保真项采用L2范数根据所述第二降水数据构建包括：
采用空间插值方法对所述第二降水数据进行处理，得到插值后的第二降水数据；
采用L2范数对所述插值后的第二降水数据进行处理，得到所述保真项。
7.根据权利要求6所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述能量泛函模型为
其中，u为降水融合数据；u1为第三降水数据；u2为第二降水数据进行IDW插值处理后的数据；λ为正则化参数；
为梯度算子，Ω为研究区域。
8.根据权利要求1所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，采用分裂Bregman迭代法对所述能量泛函模型进行求解得到所述降水数据融合结果。
9.根据权利要求8所述的基于能量泛函模型的多源多尺度降水数据融合方法，其特征在于，所述采用分裂Bregman迭代法对所述能量泛函模型进行求解得到所述降水数据融合结果包括：
采用分裂Bregman迭代法对所述能量泛函模型进行求解得到中间模型；
采用共轭梯度算法迭代求解所述中间模型，得到所述降水数据融合结果。
10.基于能量泛函模型的多源多尺度降水数据融合装置，包括处理器、存储器以及存储在所述存储器中并可在所述处理器上的运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时实现如权利要求1-9所述的基于能量泛函模型的多源多尺度降水数据融合方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110032172.7A CN112699959B (zh) | 2021-01-11 | 2021-01-11 | 基于能量泛函模型的多源多尺度降水数据融合方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110032172.7A CN112699959B (zh) | 2021-01-11 | 2021-01-11 | 基于能量泛函模型的多源多尺度降水数据融合方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112699959A true CN112699959A (zh) | 2021-04-23 |
| CN112699959B CN112699959B (zh) | 2021-08-13 |
Family
ID=75513857
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110032172.7A Expired - Fee Related CN112699959B (zh) | 2021-01-11 | 2021-01-11 | 基于能量泛函模型的多源多尺度降水数据融合方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112699959B (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591387A (zh) * | 2021-08-05 | 2021-11-02 | 安徽省气象台 | 基于Huber范数约束的卫星资料反演降水方法及系统 |
| CN114417646A (zh) * | 2022-03-31 | 2022-04-29 | 中国科学院地理科学与资源研究所 | 一种高维异构降水数据融合方法及系统 |
| CN114705158A (zh) * | 2022-03-30 | 2022-07-05 | 中国人民解放军国防科技大学 | 一种基于星载多通道辐射成像仪的云底高度反演方法 |
| CN114781501A (zh) * | 2022-04-12 | 2022-07-22 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于主成分回归的多源降水融合方法 |
| CN115659853A (zh) * | 2022-12-28 | 2023-01-31 | 中国科学院地理科学与资源研究所 | 一种非线性混合效应变系数降尺度方法和系统 |
| CN115994845A (zh) * | 2023-03-24 | 2023-04-21 | 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) | 一种基于互联网的山水治理监管方法和系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908211A (zh) * | 2010-08-04 | 2010-12-08 | 北京航空航天大学 | 一种基于变分方法的高光谱图像融合方法 |
| US20120257818A1 (en) * | 2010-11-29 | 2012-10-11 | The Regents Of The University Of California | Systems and methods for data fusion mapping estimation |
| CN105550423A (zh) * | 2015-12-09 | 2016-05-04 | 浙江大学 | 基于Fuzzy-OLS的CMORPH卫星降雨数据降尺度方法 |
| CN108764688A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 基于星地多源降水数据融合的冬小麦湿渍害遥感监测方法 |
| CN109325540A (zh) * | 2018-09-30 | 2019-02-12 | 河南大学 | 一种针对遥感每天降水量数据的空间降尺度方法 |
| CN109472393A (zh) * | 2018-09-30 | 2019-03-15 | 广州地理研究所 | 空间降尺度降水数据检测方法、装置及电子设备 |
| CN110543987A (zh) * | 2019-08-28 | 2019-12-06 | 向波 | 一种智能气候预测系统 |
| CN110738252A (zh) * | 2019-10-14 | 2020-01-31 | 广州地理研究所 | 空间自相关的机器学习卫星降水数据降尺度方法、系统 |
-
2021
- 2021-01-11 CN CN202110032172.7A patent/CN112699959B/zh not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101908211A (zh) * | 2010-08-04 | 2010-12-08 | 北京航空航天大学 | 一种基于变分方法的高光谱图像融合方法 |
| US20120257818A1 (en) * | 2010-11-29 | 2012-10-11 | The Regents Of The University Of California | Systems and methods for data fusion mapping estimation |
| CN105550423A (zh) * | 2015-12-09 | 2016-05-04 | 浙江大学 | 基于Fuzzy-OLS的CMORPH卫星降雨数据降尺度方法 |
| CN108764688A (zh) * | 2018-05-21 | 2018-11-06 | 浙江大学 | 基于星地多源降水数据融合的冬小麦湿渍害遥感监测方法 |
| CN109325540A (zh) * | 2018-09-30 | 2019-02-12 | 河南大学 | 一种针对遥感每天降水量数据的空间降尺度方法 |
| CN109472393A (zh) * | 2018-09-30 | 2019-03-15 | 广州地理研究所 | 空间降尺度降水数据检测方法、装置及电子设备 |
| CN110543987A (zh) * | 2019-08-28 | 2019-12-06 | 向波 | 一种智能气候预测系统 |
| CN110738252A (zh) * | 2019-10-14 | 2020-01-31 | 广州地理研究所 | 空间自相关的机器学习卫星降水数据降尺度方法、系统 |
Non-Patent Citations (2)
| Title |
|---|
| CHRISTOPHER ZACH: "Fast and High Quality Fusion of Depth Maps", 《PROCEEDINGS OF 3DPVT"08 - THE FOURTH INTERNATIONAL SYMPOSIUM ON 3D DATA PROCESSING, VISUALIZATION AND TRANSMISSION》 * |
| 潘旸等: "中国区域高分辨率多源降水观测产品的融合方法试验", 《气象学报》 * |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113591387A (zh) * | 2021-08-05 | 2021-11-02 | 安徽省气象台 | 基于Huber范数约束的卫星资料反演降水方法及系统 |
| CN113591387B (zh) * | 2021-08-05 | 2023-09-01 | 安徽省气象台 | 基于Huber范数约束的卫星资料反演降水方法及系统 |
| CN114705158A (zh) * | 2022-03-30 | 2022-07-05 | 中国人民解放军国防科技大学 | 一种基于星载多通道辐射成像仪的云底高度反演方法 |
| CN114705158B (zh) * | 2022-03-30 | 2023-11-17 | 中国人民解放军国防科技大学 | 一种基于星载多通道辐射成像仪的云底高度反演方法 |
| CN114417646A (zh) * | 2022-03-31 | 2022-04-29 | 中国科学院地理科学与资源研究所 | 一种高维异构降水数据融合方法及系统 |
| CN114781501A (zh) * | 2022-04-12 | 2022-07-22 | 水利部交通运输部国家能源局南京水利科学研究院 | 一种基于主成分回归的多源降水融合方法 |
| CN115659853A (zh) * | 2022-12-28 | 2023-01-31 | 中国科学院地理科学与资源研究所 | 一种非线性混合效应变系数降尺度方法和系统 |
| CN115659853B (zh) * | 2022-12-28 | 2023-03-10 | 中国科学院地理科学与资源研究所 | 一种非线性混合效应变系数降尺度方法和系统 |
| CN115994845A (zh) * | 2023-03-24 | 2023-04-21 | 山东省地质矿产勘查开发局八〇一水文地质工程地质大队(山东省地矿工程勘察院) | 一种基于互联网的山水治理监管方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112699959B (zh) | 2021-08-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112699959B (zh) | 基于能量泛函模型的多源多尺度降水数据融合方法和装置 | |
| Xiao et al. | Use of general regression neural networks for generating the GLASS leaf area index product from time-series MODIS surface reflectance | |
| Huang et al. | Jointly assimilating MODIS LAI and ET products into the SWAP model for winter wheat yield estimation | |
| Jia et al. | Cloudy-sky land surface temperature from VIIRS and MODIS satellite data using a surface energy balance-based method | |
| CN112905560A (zh) | 一种多源时空大数据深度融合的空气污染预测方法 | |
| CN108268735A (zh) | 基于多源遥感卫星融合数据的地表土壤水分降尺度方法 | |
| CN110232471B (zh) | 一种降水传感网节点布局优化方法及装置 | |
| CN110427594A (zh) | 适合小型实验室的气象要素数据获取系统 | |
| CN106483147B (zh) | 基于多源数据的长时间序列被动微波土壤水分精度改进研究方法 | |
| CN106446444A (zh) | 基于贝叶斯最大熵与先验知识的土壤水分空间预测研究 | |
| CN114417646B (zh) | 一种高维异构降水数据融合方法及系统 | |
| CN114723149A (zh) | 土壤墒情预测方法、装置、电子设备及存储介质 | |
| CN115795399B (zh) | 一种多源遥感降水数据自适应融合方法和系统 | |
| Fan et al. | A comparative study of four merging approaches for regional precipitation estimation | |
| Xu et al. | A 21-year time series of global leaf chlorophyll content maps from MODIS imagery | |
| CN115630567A (zh) | 一种海岸带土壤有机碳储量模拟及预测方法 | |
| CN114819737B (zh) | 公路路域植被的碳储量估算方法、系统及存储介质 | |
| Vulova et al. | City-wide, high-resolution mapping of evapotranspiration to guide climate-resilient planning | |
| CN112285808B (zh) | 一种aphrodite降水数据的降尺度方法 | |
| CN111879915B (zh) | 一种滨海湿地高分辨率的逐月土壤盐度监测方法及系统 | |
| CN115795402B (zh) | 一种基于变分法的多源降水数据融合方法和系统 | |
| Gao et al. | Use of Google Earth Engine to generate a 20-year 1 km× 1 km monthly air temperature product over Yellow River Basin | |
| CN112949182B (zh) | 耦合地表土壤含水量的区域尺度最大气孔导度的计算方法 | |
| Wang et al. | Soil moisture retrieval from sentinel-1 and sentinel-2 data using ensemble learning over vegetated fields | |
| CN114239274A (zh) | 多源遥感数据驱动指数滤波模型推求根层土壤水的方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CB03 | Change of inventor or designer information |
Inventor after: Zhao Na Inventor after: Zhang Lili Inventor before: Zhao Na |
|
| CB03 | Change of inventor or designer information | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210813 |
|
| CF01 | Termination of patent right due to non-payment of annual fee |