CN111859303B - 基于动态贝叶斯平均的土壤湿度融合方法及系统 - Google Patents

基于动态贝叶斯平均的土壤湿度融合方法及系统 Download PDF

Info

Publication number
CN111859303B
CN111859303B CN202010736872.XA CN202010736872A CN111859303B CN 111859303 B CN111859303 B CN 111859303B CN 202010736872 A CN202010736872 A CN 202010736872A CN 111859303 B CN111859303 B CN 111859303B
Authority
CN
China
Prior art keywords
dynamic
data
weight
soil humidity
products
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010736872.XA
Other languages
English (en)
Other versions
CN111859303A (zh
Inventor
陈勇
袁慧玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University
Original Assignee
Nanjing University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University filed Critical Nanjing University
Priority to CN202010736872.XA priority Critical patent/CN111859303B/zh
Publication of CN111859303A publication Critical patent/CN111859303A/zh
Application granted granted Critical
Publication of CN111859303B publication Critical patent/CN111859303B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/24—Earth materials
    • G01N33/246—Earth materials for water content
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42—Determining position
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Theoretical Computer Science (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Pathology (AREA)
  • Operations Research (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Analytical Chemistry (AREA)
  • Medicinal Chemistry (AREA)
  • Evolutionary Biology (AREA)
  • Food Science & Technology (AREA)
  • Geology (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • General Life Sciences & Earth Sciences (AREA)
  • Algebra (AREA)
  • Environmental & Geological Engineering (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Processing Of Solid Wastes (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本发明公开了一种基于动态贝叶斯的土壤湿度融合算法及系统，该方法包括以下步骤：数据获取和训练、测试集划分；数据变换及偏差订正；根据动态贝叶斯算法获取动态权重；动态权重分配并进行数据逆变换；生成土壤湿度融合产品。本发明具有以下优点:(1)动态贝叶斯权重算法可以自适应快速变化天气和土壤湿度记忆性之间的平衡，动态调整多产品的权重，可以有效地提高土壤湿度产品的精度。(2)本发明中的动态贝叶斯权重算法参数少，仅有一个需要确定的最优时间尺度参数，减少了参数选取的不确定性。(3)本发明中的动态贝叶斯权重算法，它是一种基于概率密度分布的贝叶斯算法，能够有效提高概率预测评分，对于干旱监测和预报更加有效。

Description

基于动态贝叶斯平均的土壤湿度融合方法及系统
技术领域
本发明涉及一种基于动态贝叶斯平均的土壤湿度融合算法，该方法采用动态贝叶斯平均算法，将多个土壤湿度产品根据动态权重进行融合，提高土壤湿度产品的精度。
背景技术
土壤湿度(水分)是水文过程、陆气相互作用以及气候变化过程中一个非常重要的物理量。土壤湿度通过控制水分的输送影响径流，同时它也会影响感热、潜热交换，进而影响地表能量平衡。此外，第五次IPCC报告也指出土壤湿度是衡量和评估干旱程度的一个关键指标。从2010年起，全球气候观测系统(GCOS)将土壤湿度作为关键气候变量之一。由于土壤湿度初始状态估计的不确定性，天气、气候模式的预测能力常常受到限制。虽然水文、天气、气候研究均提出了对土壤湿度资料的迫切需求，但是获取长时间、大尺度的精确土壤湿度是非常困难的。随着陆面模式的发展和卫星观测技术的进步，多模式、卫星土壤湿度产品的出现使得设计融合的土壤湿度产品成为了可能。
贝叶斯平均方法在土壤湿度领域已有应用，但传统的贝叶斯平均方法所采用的静态权重无法捕捉快速变化的天气和土壤湿度记忆性之间的平衡关系。
发明内容
为了解决现有技术的不足，本发明提供了一种基于动态贝叶斯平均的土壤湿度融合算法，本发明采用动态权重进行贝叶斯融合的算法，其目的在于利用变权重的特性改进静态权重的不足，综合考虑多种土壤湿度产品的不确定性，提高土壤湿度估计的精度。
本发明的算法系统主要分为4个模块：数据获取模块、数据变换模块、动态权重获取模块、数据逆变换模块。其中，
数据获取模块用于获取土壤湿度模式、卫星以及观测数据；
数据变换模块用于将数据获取模块获取的数据进行正态化处理和偏差订正；
动态权重获取模块用于对变换后的数据分配动态的产品权重；
动态逆变换模块用于处理动态权重，融合产品，并进行正态逆变换处理。
本发明首先由数据获取模块获取所需数据集，包括划分训练集和测试集，生成动态贝叶斯算法基础数据库；然后，由数据变换模块根据动态贝叶斯算法需要进行数据处理，包括数据变换和偏差订正；再由动态权重获取模块根据训练集估计动态贝叶斯算法的最优参数，来获取动态权重；最后由数据逆变换模块根据动态权重，进行数据逆变换生成土壤湿度贝叶斯融合产品。
为了实现上述目的，本发明实施案例提供的技术方案如下：
步骤1：数据获取(模式、卫星、观测)和训练、测试集划分；模式产品用户可通过陆面、水文模式模拟或国际机构陆面数据同化产品获取，卫星产品可通过主流的遥感数据中心下载。步骤2：数据变换及偏差订正；通过数据变换将土壤湿度资料进行正态化处理，推荐使用Box-Cox转换，其变换公式为：
其中y为需要转换的变量，γ为Box-Cox参数。步骤3：根据动态贝叶斯算法获取动态权重；步骤4：动态权重分配并进行数据逆变换；
步骤5：生成土壤湿度融合产品。
其中，所述步骤3的动态贝叶斯算法流程具体包括：
步骤31：选取系列时间窗口T1,T2,T3,T4,…,Tn将训练集作n次划分；
步骤32：滑动时间窗口，获取训练期动态权重。计算用于融合的N个产品fi在已知观测O的情况下的后验概率p(fi|O)分别作为子训练集的在时刻t的权重wi，当f与观测分布越接近，wi越大；其中i为模式与观测匹配点的序号。
步骤33：优化最优训练时间尺度参数T。由训练期动态权重结果，对训练期产品进行融合，并进行评估，根据用户需要，从时间窗口中选取最优时间尺度参数T；
步骤34：根据最优训练时间尺度参数T对测试集进行划分；
步骤35：对每个t时刻更新单个产品fi在新数据情景下的p(fi|O)，获取动态权重wi(t)；
其中所述步骤35中，单个产品fi的权重wi(t)为随时间t变化的动态权重而非静态权重，其计算公式为：
其核心思想是通过迭代使得目标函数最优，其具体实施步骤为：
S1：初始化。第一次迭代i＝0时，设置wi(t)＝1/N，则方差可以表示为:
S2:计算目标函数
S3:计算wi(t)，以及
S4：更新目标函数
S5：检查是否收敛。若收敛，则停止迭代，反之继续迭代直至达到最大迭代次数。
其中，所述步骤4的动态权重分配并进行数据逆变换流程具体包括：
步骤41：对每个t时刻利用动态贝叶斯平均进行动态权重分配，进行数据融合，融合方法为:
其中y为t时刻融合土壤湿度，取概率密度函数p[y|f1，...，fN]的Q分位。
步骤42：进行数据逆变换，制作优化的土壤湿度产品。
本发明与现有技术相比，具有以下优点:
(1)动态贝叶斯权重算法可以自适应快速变化天气和土壤湿度记忆性之间的平衡，动态调整多产品的权重，可以有效地提高土壤湿度产品的精度。
(2)本发明中的动态贝叶斯权重算法参数少，仅有一个需要确定的最优时间尺度参数，减少了参数选取的不确定性。
(3)本发明中的动态贝叶斯权重算法，它是一种基于概率密度分布的贝叶斯算法，能够有效提高概率预测评分，对于干旱监测和预报更加有效。
附图说明
图1本发明的流程示意图。
图2实施例研究区域和土壤湿度站点分布。
图3贝叶斯动态融合、各产品以及观测概率密度分布。
图4CLDAS产品与贝叶斯动态融合结果对比。
图5贝叶斯动态融合结果与各产品QQ-plot曲线。
具体实施方式
下面结合附图对本发明的实施进行详细说明，应当理解，此处所述的实施仅用于说明和解释本发明，并不用于限定本发明。
本发明实施例的研究区域位于中国东部的长江中下游。如图2所示，阴影填色为地形高度，黑点表示土壤湿度站点。
如图1所示，本发明一种基于动态贝叶斯平均的土壤湿度融合算法具体包括：
步骤1：数据获取(模式、卫星、观测等)和训练、测试集划分；
本实施例以模式产品和和站点观测为例进行说明。土壤湿度站点观测经过了严格的定标处理，使用的模式产品包括美国国家环境预报中心的GFS(全球预报系统)分析产品和NCEP R2再分析产品、欧洲中心(ECMWF)ERA Interim和ERA5产品、全球陆面数据同化系统(GLDAS)Noah，CLM，VIC和Mosaic产品。
步骤2：数据变换及偏差订正；
将所有数据进行正态变换，并在训练期进行偏差订正。通过数据变换将土壤湿度资料进行正态化处理，推荐使用Box-Cox转换，其变换公式为：
其中y为需要转换的变量，γ为Box-Cox参数。
步骤3：根据动态贝叶斯算法获取动态权重；
步骤4：动态权重分配并进行数据逆变换；
步骤5：生成土壤湿度融合产品。
其中，所述步骤3的动态贝叶斯算法流程具体包括：
步骤31：选取系列时间窗口T1,T2,T3,T4,…,Tn将训练集作n次划分；
步骤32：滑动时间窗口，获取训练期动态权重。计算用于融合的N个产品fi在已知观测O的情况下的后验概率p(fi|O)分别作为子训练集的在时刻t的权重wi，当f与观测分布越接近，wi越大；其中i为观测和模式匹配点的序号。
步骤33：优化最优训练时间尺度参数T。由训练期动态权重结果，对训练期产品进行融合，并进行评估，根据用户需要，从时间窗口中选取最优时间尺度参数T；
步骤34：根据最优训练时间尺度参数T对测试集进行划分；
步骤35：对每个t时刻更新单个产品fi在新数据情景下的p(fi|O)，获取动态权重wi(t)；
其中所述步骤35中，单个产品fi的权重wi(t)为随时间t变化的动态权重而非静态权重，其计算公式为：
其核心思想是通过迭代使得目标函数最优，其具体实施步骤为：
S1：初始化。第一次迭代i＝0时，设置wi(t)＝1/N，则方差可以表示为:
S2:计算目标函数F[y(t),f(t),O,σi 2]。
S3:计算wi(t)，以及σi 2。
S4：更新目标函数F[y(t),f(t),O,σi 2]。
S5：检查是否收敛。若收敛，则停止迭代，反之继续迭代直至达到最大迭代次数。
其中，所述步骤4的动态权重分配并进行数据逆变换流程具体包括：
步骤41：对每个t时刻利用动态贝叶斯平均进行动态权重分配，进行数据融合，融合方法为:
其中y为t时刻融合土壤湿度，取概率密度函数p[y|f1，...，fN]的Q分位。
步骤42：进行数据逆变换，制作优化的土壤湿度产品。
图4为动态融合的土壤湿度产品与中国高分辨率陆面数据同化产品(CLDAS)的比较，该融合产品相对于CLDAS偏差更小。图5为动态融合的土壤湿度产品与各原始产品的QQ-plot曲线对比，可见融合产品更接近对角线，表现更优。
以上结合附图对本发明的具体实施方式作出了详细说明，但本发明不限于上述实施方式，在本领域技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (2)

1.一种基于动态贝叶斯平均的土壤湿度融合方法，其特征在于该方法包括：
步骤1：数据获取和训练、测试集划分；
步骤2：数据变换及偏差订正；通过数据变换将土壤湿度资料进行正态化处理，使用Box-Cox转换，其变换公式为：
其中y为需要转换的变量，γ为Box-Cox参数；
步骤3：根据动态贝叶斯算法获取动态权重；
步骤4：动态权重分配并进行数据逆变换；
步骤5：生成土壤湿度融合产品；
所述步骤3中的动态贝叶斯算法流程具体包括：
步骤31：选取系列时间窗口T1,T2,T3,T4,…,Tn将训练集作n次划分；
步骤32：滑动时间窗口，获取训练期动态权重；计算用于融合的N个产品fi在已知观测O的情况下的后验概率p(fi|O)分别作为子训练集的在时刻t的权重wi，当f与观测分布越接近，wi越大；其中i为模式与观测匹配点的序号；
步骤33：优化最优训练时间尺度参数T；由训练期动态权重结果，对训练期产品进行融合，并进行评估，根据用户需要，从时间窗口中选取最优时间尺度参数T；
步骤34：根据最优训练时间尺度参数T对测试集进行划分；
步骤35：对每个t时刻更新单个产品fi在新数据情景下的p(fi|O)，获取动态权重wi(t)；
所述步骤35中，单个产品fi的权重wi(t)为随时间t变化的动态权重而非静态权重，其计算公式为：
其核心思想是通过迭代使得目标函数F[y(t),f(t),O,σi 2]最优，其具体实施步骤为：
S1：初始化；第一次迭代i＝0时，设置wi(t)＝1/N，则方差σi 2可以表示为:
S2:计算目标函数F[y(t),f(t),O,σi 2]；
S3:计算wi(t)，以及σi 2；
S4：更新目标函数F[y(t),f(t),O,σi 2]；
S5：检查是否收敛；若收敛，则停止迭代，反之继续迭代直至达到最大迭代次数；
所述步骤4的动态权重分配并进行数据逆变换流程具体包括：
步骤41：对每个t时刻利用动态贝叶斯平均进行动态权重分配，进行数据融合，融合方法为:
其中y为t时刻融合土壤湿度，取概率密度函数p[y|f1，...，fN]的Q分位；
步骤42：进行数据逆变换，制作优化的土壤湿度产品。
2.一种执行权利要求1所述的基于动态贝叶斯平均的土壤湿度融合方法的系统，其特征在于，该系统分为4个模块：数据获取模块、数据变换模块、动态权重获取模块、数据逆变换模块；
其中，
数据获取模块用于获取土壤湿度模式、卫星以及观测数据；
数据变换模块用于将数据获取模块获取的数据进行正态化处理和偏差订正；
动态权重获取模块用于对变换后的数据分配动态的产品权重；
动态逆变换模块用于处理动态权重，融合产品，并进行正态逆变换处理。
CN202010736872.XA 2020-07-28 2020-07-28 基于动态贝叶斯平均的土壤湿度融合方法及系统 Active CN111859303B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010736872.XA CN111859303B (zh) 2020-07-28 2020-07-28 基于动态贝叶斯平均的土壤湿度融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010736872.XA CN111859303B (zh) 2020-07-28 2020-07-28 基于动态贝叶斯平均的土壤湿度融合方法及系统

Publications (2)

Publication Number Publication Date
CN111859303A CN111859303A (zh) 2020-10-30
CN111859303B true CN111859303B (zh) 2023-09-05

Family

ID=72948456

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010736872.XA Active CN111859303B (zh) 2020-07-28 2020-07-28 基于动态贝叶斯平均的土壤湿度融合方法及系统

Country Status (1)

Country Link
CN (1) CN111859303B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657182A (zh) * 2021-07-26 2021-11-16 西北工业大学 一种基于变权理论的动态贝叶斯网络的目标意图识别方法
CN117784290B (zh) * 2024-02-26 2024-05-14 南京信息工程大学 一种基于贝叶斯神经网络的骤旱预警方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354348A (zh) * 2010-12-16 2012-02-15 南京大学 流域尺度土壤湿度遥感数据同化方法
CN104573393A (zh) * 2015-01-28 2015-04-29 北京师范大学 一种基于贝叶斯理论的土壤水分站点数据升尺度方法
EP3340130A1 (en) * 2016-12-23 2018-06-27 Hexagon Technology Center GmbH Method for prediction of soil and/or plant condition
CN108761574A (zh) * 2018-05-07 2018-11-06 中国电建集团北京勘测设计研究院有限公司 基于多源信息融合的降雨量估算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102354348A (zh) * 2010-12-16 2012-02-15 南京大学 流域尺度土壤湿度遥感数据同化方法
CN104573393A (zh) * 2015-01-28 2015-04-29 北京师范大学 一种基于贝叶斯理论的土壤水分站点数据升尺度方法
EP3340130A1 (en) * 2016-12-23 2018-06-27 Hexagon Technology Center GmbH Method for prediction of soil and/or plant condition
CN108761574A (zh) * 2018-05-07 2018-11-06 中国电建集团北京勘测设计研究院有限公司 基于多源信息融合的降雨量估算方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Evaluation of nine sub-daily soil moisture model products over China using high-resolution in situ observations;Yong Chen等;《Journal of Hydrology》(第588期);第1-15页 *

Also Published As

Publication number Publication date
CN111859303A (zh) 2020-10-30

Similar Documents

Publication Publication Date Title
CN110738252B (zh) 空间自相关的机器学习卫星降水数据降尺度方法、系统
Azadi et al. Verifying the performance of artificial neural network and multiple linear regression in predicting the mean seasonal municipal solid waste generation rate: A case study of Fars province, Iran
Chen et al. A method of DEM construction and related error analysis
JP4886322B2 (ja) 風力発電出力予測方法、風力発電出力予測装置およびプログラム
Schepen et al. Seasonal forecasts of Australian rainfall through calibration and bridging of coupled GCM outputs
Huang et al. The improved winter wheat yield estimation by assimilating GLASS LAI into a crop growth model with the proposed Bayesian posterior-based ensemble Kalman filter
CN111859303B (zh) 基于动态贝叶斯平均的土壤湿度融合方法及系统
CN106446444A (zh) 基于贝叶斯最大熵与先验知识的土壤水分空间预测研究
Wang et al. Study on NDVI changes in Weihe Watershed based on CA–Markov model
CN107862170A (zh) 一种基于动态缩聚的有限元模型修正方法
CN110119590A (zh) 一种基于多源观测数据的水质模型粒子滤波同化方法
CN103839113A (zh) 基于租房与购房两类选择者住房选择模型的微观仿真方法
CN113991711B (zh) 一种光伏电站储能系统容量配置方法
Chen et al. A high speed method of SMTS
CN115859789A (zh) 一种提高极地大气温度廓线反演精度的方法
CN114676621A (zh) 基于深度学习权重负载提高陆地水储量异常准确性方法
Ohunakin et al. Solar radiation variability in Nigeria based on multiyear RegCM3 simulations
CN113297904A (zh) 一种基于卫星驱动模型的高寒草地生物量估算方法及系统
Fu et al. Assessment and prediction of regional climate based on a multimodel ensemble machine learning method
KR102562273B1 (ko) 조건적 적대적 신경망 딥러닝 기법을 사용한 24시간 후의 전지구적 총 전자수 함유량 예측 장치 및 그 방법
Lei et al. Development of an AutoWEP distributed hydrological model and its application to the upstream catchment of the Miyun Reservoir
Shi et al. A Grey Model for Short-Term Prediction of the Ionospheric TEC
CN114047563A (zh) 一种红外高光谱的全天候同化方法
Sun et al. Construction of a spatially gridded heat flux map based on airborne flux Measurements using remote sensing and machine learning methods
CN116258023B (zh) 风电场的风速预测方法及终端设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant