CN117787110B - 基于深度学习模型的土壤水分反演方法及系统 - Google Patents
基于深度学习模型的土壤水分反演方法及系统 Download PDFInfo
- Publication number
- CN117787110B CN117787110B CN202410205560.4A CN202410205560A CN117787110B CN 117787110 B CN117787110 B CN 117787110B CN 202410205560 A CN202410205560 A CN 202410205560A CN 117787110 B CN117787110 B CN 117787110B
- Authority
- CN
- China
- Prior art keywords
- soil moisture
- data
- scale
- deep learning
- learning model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000002689 soil Substances 0.000 title claims abstract description 212
- 238000013136 deep learning model Methods 0.000 title claims abstract description 58
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000001186 cumulative effect Effects 0.000 claims abstract description 41
- 238000005315 distribution function Methods 0.000 claims abstract description 41
- 238000005259 measurement Methods 0.000 claims abstract description 22
- 238000007781 pre-processing Methods 0.000 claims abstract description 13
- 238000012549 training Methods 0.000 claims description 19
- 238000002474 experimental method Methods 0.000 claims description 7
- 238000010219 correlation analysis Methods 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000005286 illumination Methods 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims 1
- 238000013507 mapping Methods 0.000 abstract description 5
- 230000006870 function Effects 0.000 description 28
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 11
- 238000005457 optimization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000004913 activation Effects 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 7
- 101000794020 Homo sapiens Bromodomain-containing protein 8 Proteins 0.000 description 6
- 101001006782 Homo sapiens Kinesin-associated protein 3 Proteins 0.000 description 6
- 101000615355 Homo sapiens Small acidic protein Proteins 0.000 description 6
- WGKGADVPRVLHHZ-ZHRMCQFGSA-N N-[(1R,2R,3S)-2-hydroxy-3-phenoxazin-10-ylcyclohexyl]-4-(trifluoromethoxy)benzenesulfonamide Chemical compound O[C@H]1[C@@H](CCC[C@@H]1N1C2=CC=CC=C2OC2=C1C=CC=C2)NS(=O)(=O)C1=CC=C(OC(F)(F)F)C=C1 WGKGADVPRVLHHZ-ZHRMCQFGSA-N 0.000 description 6
- 102100021255 Small acidic protein Human genes 0.000 description 6
- 230000003213 activating effect Effects 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 239000006185 dispersion Substances 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008030 elimination Effects 0.000 description 3
- 238000003379 elimination reaction Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000007726 management method Methods 0.000 description 3
- 230000002265 prevention Effects 0.000 description 3
- 230000005855 radiation Effects 0.000 description 3
- 238000013468 resource allocation Methods 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 239000000443 aerosol Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000005094 computer simulation Methods 0.000 description 2
- 238000013524 data verification Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000003973 irrigation Methods 0.000 description 2
- 230000002262 irrigation Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 230000035515 penetration Effects 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 230000005068 transpiration Effects 0.000 description 2
- 238000011282 treatment Methods 0.000 description 2
- 230000008033 biological extinction Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010206 sensitivity analysis Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及遥感反演技术领域，具体为基于深度学习模型的土壤水分反演方法及系统，获取待反演区域的卫星遥感数据，以及同一区域中基于观测点实测的气象数据和土壤水分数据，并预处理；预处理后的数据基于训练完毕的深度学习模型，分别反演站点尺度和遥感数据像元尺度上的土壤水分值；在站点尺度和像元尺度中，分别利用反演得到的土壤水分值确定对应的累积分布函数曲线，利用相同的权重，将站点尺度的累积分布函数曲线，映射到像元尺度的累积分布函数曲线上，得到调整后的土壤水分值作为最终的土壤水分反演结果。
Description
技术领域
本发明涉及遥感反演技术领域，具体为基于深度学习模型的土壤水分反演方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
现代遥感技术能够获取多种类型的数据，利用遥感技术获取的数据配合计算机模型能够在降雨、气溶胶、温度和太阳辐射等陆面变量和气象变量的反演过程中得到应用。以土壤含水量反演为例，现有技术能够利用计算机模型寻找和建立遥感数据内部特征之间的关系，从而实现时空预测或发现物理规律。
土壤含水量反演的过程中，由于土壤水分变化过程具有很强的非线性和非平稳性，传统的线性模型往往无法捕捉这种变化规律，导致反演结果不准确；在农作物覆盖区，尤其是浓密植被区，基于物理模型驱动的土壤水分反演方法得到的土壤水分数据，虽精度较高，但模型过于复杂，难以满足实际应用需求；此外，由于站点实测数据与卫星遥感监测到的土壤水分数据之间存在尺度差异，在利用站点实测数据对土壤水分的卫星遥感数据进行验证时，难以获取可靠的验证结果。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供基于深度学习模型的土壤水分反演方法及系统，通过将站点实测数据与卫星遥感数据进行融合，可以获得更大尺度范围内的土壤水分信息，并使土壤水分数据验证的可靠性得到提升。
本发明的第一个方面提供基于深度学习模型的土壤水分反演方法，包括以下步骤：
获取待反演区域的卫星遥感数据，和同一区域中基于观测点实测的气象数据以及土壤水分数据，并预处理；
预处理后的数据基于训练完毕的深度学习模型，分别反演站点尺度和遥感数据像元尺度上的土壤水分值；
在站点尺度和像元尺度中，分别利用反演得到的土壤水分值确定对应的累积分布函数曲线，利用相同的权重，将站点尺度的累积分布函数曲线，映射到像元尺度的累积分布函数曲线上，得到调整后的土壤水分值作为最终的土壤水分反演结果。
进一步的，预处理，包括误差消除、归一化和相关性分析中的至少一种。
进一步的，气象数据以及土壤水分数据通过预处理，以得到的降雨量、光照强度、空气温度、空气湿度、土壤电导率、土壤温度和土壤墒情作为深度学习模型的输入变量。
进一步的，深度学习模型反演站点尺度上的土壤水分值时，通过提取输入数据中的时间序列信息得到时序关系，通过比较模型的预测输出和实际目标值之间的差异，确定站点数据的损失值，获得站点处土壤水分的预测结果并得到累积分布函数曲线。
进一步的，深度学习模型反演像元尺度上的土壤水分值时，通过比较模型的预测输出和实际目标值之间的差异，确定卫星像元尺度上的损失值，获得像元尺度的土壤水分值预测结果并得到累积分布函数曲线。
进一步的，深度学习模型训练期间，假设遥感卫星数据与土壤水分真值之间满足线性关系，分别在相同尺度和不同尺度下获得土壤水分值并作为真值，确定线性关系中的误差和系数。
进一步的，深度学习模型训练期间，通过实验方法确定深度学习模型中隐含层节点个数以及隐含层层数，通过测试数据确定均方根误差对应最小的隐含层节点个数。
进一步的，深度学习模型利用待反演区域中的观测点实测数据和待反演区域的卫星遥感数据，输出待反演区域中未设置观测点区域的土壤水分值。
进一步的，训练完毕的深度学习模型分别反演站点尺度和遥感数据像元尺度上的土壤水分值，得到对应的累积分布函数曲线，以像元尺度内的所有站点具有相同权重，利用平均方法得到像元尺度内的平均站点数据，利用站点尺度的累积分布函数曲线，确定能够匹配遥感数据像元尺度的累积分布函数曲线。
本发明的第二个方面提供基于深度学习模型的土壤水分反演系统，包括：
多源数据采集模块，被配置为：获取待反演区域的卫星遥感数据，以及同一区域中基于观测点实测的气象数据和土壤水分数据，并预处理；
多尺度反演模块，被配置为：预处理后的数据基于训练完毕的深度学习模型，分别反演站点尺度和遥感数据像元尺度上的土壤水分值；
多尺度反演模块，还被配置为：在站点尺度和像元尺度中，分别利用反演得到的土壤水分值确定对应的累积分布函数曲线，利用相同的权重，将站点尺度的累积分布函数曲线，映射到像元尺度的累积分布函数曲线上，得到调整后的土壤水分值作为最终的土壤水分反演结果。
与现有技术相比，以上一个或多个技术方案存在以下有益效果：
1、通过将站点实测数据与卫星遥感数据进行融合，能够获得更大尺度范围内的土壤水分信息，站点尺度和遥感卫星数据像元尺度的匹配，使土壤水分数据验证的可靠性得到提升，从而为农业生产、水资源管理等领域提供更加科学、精准的数据支持。
2、站点实测数据受到站点数量与覆盖范围的限制，难以获取大尺度范围的土壤水分分布数据，而通过将站点实测数据与卫星遥感数据进行融合，将站点尺度的累积分布函数曲线映射到像元尺度的累积分布函数曲线的方式，能够获得更大尺度范围内的土壤水分反演结果，并且能够得到无站点实测数据区域的土壤水分值。
3、利用深度学习模型能够对土壤水分的动态变化进行预测，从而实现对土壤水分的长期监测和预警，为灾害预防、水资源调配等方面提供更加有效的决策支持。通过将站点实测数据和卫星遥感数据进行融合，并联合气象数据，能够提高预测的准确性和可靠性。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明一个或多个实施例提供的基于LSTM模型的土壤水分反演过程示意图；
图2是本发明一个或多个实施例提供的LSTM模型结构示意图；
图3是本发明一个或多个实施例提供的匹配卫星像元(以9km的SMAP土壤水分反演为例)的LSTM模型土壤水分反演示意图；
图4是本发明一个或多个实施例提供的多源数据驱动的LSTM模型土壤水分反演流程示意图；
图5是本发明一个或多个实施例提供的LSTM模型采用第一组模型参数预测土壤水分的散点图；
图6是本发明一个或多个实施例提供的LSTM模型采用第二组模型参数预测土壤水分的散点图；
图7是本发明一个或多个实施例提供的LSTM模型采用第三组模型参数预测土壤水分的散点图；
图8是本发明一个或多个实施例提供的LSTM模型采用第四组模型参数预测土壤水分的散点图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
长短期记忆网络(LSTM，Long Short-Term Memory)，一种应用广泛的人工神经网络模型。
正如背景技术中所介绍的，在降雨、气溶胶、温度和太阳辐射等陆面变量和气象变量的反演过程中，由于农作物覆盖区，尤其是浓密植被区，基于物理模型驱动的土壤水分反演方法，难以满足实际应用需求。而利用卫星遥感数据反演土壤水分时，会利用站点实测数据的均值，作为卫星像元的土壤水分“真值”。使用该方法的前提，通常假设卫星遥感数据像元内是均质地物，即纯像元。在异质性较大区域，将导致卫星土壤水分误差估值具有较大的偏差。
因此，以下实施例给出基于深度学习模型的土壤水分反演方法及系统，利用深度学习模型（例如LSTM深度学习模型），提取站点实测数据和卫星遥感数据中的特征，实现对土壤含水量时序数据的有效反演，能够匹配尺度更大范围的土壤水分数据，例如匹配卫星9km/25km空间格网分辨率的土壤水分反演结果。
实施例一：
如图1-图4所示，基于深度学习模型的土壤水分反演方法，包括以下步骤：
多源数据采集、预处理及整合。收集并下载站点实测、气象以及遥感等数据，并对获得的土壤水分以及相关环境因子数据进行粗大误差消除、归一化处理以及相关性分析等预处理，用于LSTM模型训练及结果验证；
构建LSTM深度学习模型，从模型节点个数、激活函数、时间序列长度选择、函数优化选择四个方面对LSTM深度学习模型参数进行设置及改进；
将站点实测数据、卫星等数据分成训练集和测试集，运行LSTM模型，分别反演站点尺度和卫星土壤水分像元尺度上土壤水分值，并利用CDF曲线匹配像元和站点数据；最后基于站点数据与TCA的方法进行土壤水分反演结果评价与分析。
在整合多源数据时，会去除不可靠数据来源引起的噪声，提高土壤水分反演的准确性。低空间分辨率的卫星遥感数据和气象数据难以反应土壤水分的局部变化，为了提升结果准确性和实用性，选择具有更高时空分辨率的站点数据，同时根据特定的情况选择适当的数据处理方法来有效的融合各类数据源。
本实施例给出了有关多尺度地表观测网实测数据与卫星遥感数据整合、敏感性分析以及降维处理的内容；土壤水分的主要来源主要包括降雨与农业灌溉，而土壤水分的损失主要是作物蒸腾和土壤层渗透。此外，土壤水分受其周围气象、土壤性质等环境因素的影响，如温度、土壤质地、光照强度以及空气湿度等。对获得的土壤水分以及相关环境因子数据进行粗大误差消除、归一化处理、相关性分析以及主成分分析（Principal ComponentAnalysis，PCA）等处理，获取土壤水分特征变量。
本实施例给出了最优LSTM深度学习模型的超参数优选的内容；充分考虑时间序列本身的长度，等间隔设置不同节点数量，获得最佳节点数；利用Relu激活函数减少参数间相互依存关系的；开展不同时间长度序列的反演实验，确定最优时间长度训练数据；采用运算效率更高的RMSProp优化算法。目前，基于遥感数据反演获取的土壤水分还存在精度较低(>0.06cm3/cm3)的问题，而利用LSTM深度学习模型能够提高土壤水分反演的时空精度。
本实施例给出了联合CDF的像元尺度上LSTM深度学习模型实现土壤水分反演的内容；利用LSTM模型，反演站点尺度和遥感卫星数据像元尺度上土壤水分值。通过对模型进行训练，并利用微波辐射传输方程模拟数据为对比数据来判断训练结果。在站点尺度上运行LSTM模型，计算站点数据的损失值，获得站点处土壤水分反演结果并绘制累积分布函数（Cumulative Distribution Function，CDF）。其次，在遥感卫星数据的像元尺度上运行LSTM模型，计算损失值，获得像元尺度的反演结果并绘制CDF图。假设模型在每个细格点上具有相同的权重，以站点CDF曲线为基础，调整遥感卫星土壤水分的CDF，最终获得经过站点调整后的卫星土壤水分值。
本实施例给出了无站点实测数据情况下针对遥感卫星土壤水分的真实性检验内容。利用站点实测数据，在对低分辨率遥感卫星土壤水分进行检验时，站点尺度实测数据的站点数量与覆盖范围有限，无法估算无站点实测数据区域的遥感卫星土壤水分误差，难以获取大尺度范围遥感卫星土壤水分误差分布图。本实施例结合Triple CollocationAnalysis (TCA)算法，获取更大尺幅的土壤水分误差分布图（例如全球尺幅的土壤水分误差分布图）。
1）多源数据采集、预处理及整合。影响土壤水分反演的影响因素有很多。土壤水分的主要来源主要包括降雨与农业灌溉，而土壤水分的损失主要是作物蒸腾和土壤层渗透。此外，土壤水分受其周围气象、土壤性质等环境因素的影响，如温度、土壤质地、光照强度以及空气湿度等。本实施例获取土壤水分数据以及相关的环境因子数据。
从公开网站上获取土壤水分实测数据以及地表、气候和水文模型的相关数据。本实施例收集并下载某地区某年份之后的站点实测、气象以及卫星遥感等数据，并对获得的土壤水分以及相关环境因子数据进行粗大误差消除、归一化处理以及相关性分析等预处理，用于LSTM模型训练及结果验证。
如表1所示，本实施例利用公开的数据集，获取陆表覆盖类型、归一化植被指数以及地表温度等辅助数据，对获取的多源-多尺度卫星遥感数据进行质量控制与预处理。例如，从公开网站获取数据集GLASS（全球陆表特征参量）、SMAP/哨兵L2（由名为SMAP的卫星，或由名为哨兵的卫星提供的L2级别的土壤水分数据）、SMAPL3（由名为SMAP的卫星提供的L3级别的土壤水分数据）、ASCAT（由安装在遥感卫星上的C波段微波散射计，提供的土壤水分数据）、SMOS-IC（由一颗名为SMOS的卫星提供的土壤水分数据）、ESA-CCI（欧洲航天局基于“气候变化倡议”项目提供的土壤水分数据）和GLDAS（全球土地数据同化系统），其中，在土壤水分单位、空间分辨率单位以及坐标系统等方面，SMAP、ASCAT和SMOS等土壤水分数据存在不一致情况。有必要对其进行单位转换、重投影等处理，统一为体积土壤含水量、千米以及地理坐标系等。
表1 已知卫星土壤水分数据与辅助数据
基于站点实测土壤水分数据、面尺度机载观测土壤水分数据(或用高分辨率卫星雷达数据代替)以及辅助卫星数据等，采用四分位数差和标准差两种指标，分析土壤水分数据离散性。
四分位数是将一组数据由小到大(或由大到小)排序后，用三个点将全部数据分为四等份，在三个点位置上相对应的数值被称为四分位数，计算公式Q_j=j/4*(N-1)+1，j为第几个四分位点，N为统计土壤水分数据的个数。四分位数差QD (Quartile Deviation)为QD=Q3-Q1。QD表征了数据集中间50%数据的离散程度，数值越小，表明数据越集中，数值越大，表明数据越分散。标准差是一种表征一组数据平均值离散程度的度量指标，标准差值较大表示大部分数值与其平均值之间差异较大，较小则表明数值约接近平均值。
2）构建LSTM深度学习模型，包括设置输入层节点个数、隐含层节点个数、隐含层层数、输出层节点个数、时间序列长度以及优化方法。
LSTM网络由多个LSTM单元组成，每个LSTM单元都包含了三个门（输入门、遗忘门和输出门）和一个记忆单元(图2)。为获得更高精度、更高运算效率的LSTM深度学习模型，本实施例从四个方面对LSTM深度学习模型参数进行设置及改进：1）模型节点个数设置：开展不同节点设置的实验，获得最佳节点数；2）激活函数设置：拟采用能够减少参数间相互依存关系的Relu激活函数；3）时间序列长度选择：拟开展不同时间长度序列的预测实验研究，分别选择（1，15和30）作为时间序列长度，确定最优时间长度训练数据；4）优化函数选择：拟采用运算效率更高的RMSProp优化算法。
A：节点个数设置。LSTM深度学习模型是一个拥有多个隐含层的模型，在面对复杂数据建模时，正因为它拥有多隐含层这个性能，通过改变隐含层的层数以及节点数，使得预测的精度进行提高。针对不同的问题、不同的数据类型，隐含层和隐含层节点数的选择是不同的。因此，在利用LSTM深度学习模型反演土壤水分之前，需要对LSTM模型的输入层节点个数、隐含层节点个数、隐含层层数以及输出层节点个数进行确定。尤其是隐含层个数直接影响最终LSTM预测精度。本实施例将采用实验的方法确定隐含层节点个数以及隐含层层数，设计出最优的LSTM模型。首先考虑到时间序列本身的长度，选用2个隐含层，然后将2个隐含层节点的设置成16、18、20、22、24等十个不同的值。通过测试集样本的数据，找出均方根误差对应最小的隐含层节点个数，通过比较，确定LSTM深度神经网络的隐含层层数以及每层对应的节点数。
B：激活函数设置。对于神经单元选择哪种主要的激活函数，直接决定了神经网络的收敛速度与效率。常见的激活函数有Sigmoid、Logistic、Softmax以及ReLU等。已有研究表明，对于多层前馈神经网，相比其他激活函数，ReLU函数一定程度能降低梯度消失的发生概率，更能获得理想结果，且更容易收敛。因此，本实施例考虑ReLu函数作为LSTM模型的激活函数。
C：时间序列长度选择。时间序列的长度越长，对模型的预测精度可能影响越大。含有的噪音数据可能越多，这都可能导致序列长度增加而模型精度不提高。输入数据维度过小会导致过拟合，而且时间序列的序列长度过短也会导致过拟合。基于相关性分析结果的基础上，选取降雨量、光照强度、空气温度、空气湿度、土壤电导率、土壤温度、上旬土壤墒情七个变量作为输入值，并分别将数据处理为长度10，30，60的时间序列建立模型进行训练。
D：优化方法选择。在深度神经网络训练过程的优化是每个神经网络模型训练过程中都会遇到的问题。传统的浅层神经网络，最常见的就是梯度下降，优化问题的重点是使用何种迭代方法－进行迭代，以此来优化学习速率，让网络用最快的训练次数达到最优，并防止过拟合。本实施例在确定优化方法上拟采用前向均方根梯度下降算法(Root MeanSquare Propagation, RMSProp)。该算法采用了指数加权移动平均，是一种自适应学习率的方法，能够消除梯度下降中的摆动，加快算法学习的速度。
3）多源数据驱动土壤水分反演，将站点实测数据（土壤水分、地表温度、降雨等）、卫星遥感数据（SMAP 土壤水分、MODIS/GLASS地表温度等）分成训练集（占总数据量的80%）和测试集（占总数据量20%），运行LSTM模型，分别反演站点尺度和遥感卫星数据像元尺度上土壤水分值，并利用CDF方法，匹配像元和站点数据。
在站点尺度上运行LSTM模型，模型提取输入数据中的时间序列信息得到时序关系，且引入的门控机制可以使LSTM学习并记住数据中的长期依赖关系，可以在处理序列数据时保留较远的上下文信息，从而更准确的进行预测，通过比较模型的预测输出和实际目标值之间差异来计算站点数据的损失值，获得站点处土壤水分预测结果并绘制累积分布函数（Cumulative Distribution Function，CDF）。
其次，在卫星土壤水分像元尺度上运行LSTM模型，计算卫星像元尺度土壤水分的损失值，获得像元尺度的预测结果并绘制CDF图。假设模型在每个细格点（指站点，例如在9km或25km像元内可能包含多个实测站点数据，每个站点所占权重是一样的）上具有相同的权重，以站点CDF曲线为基准，通过匹配将站点CDF映射到像元尺度的卫星土壤水分CDF上，以实现数据的调整，最终获得经过站点调整后的卫星土壤水分值。
站点CDF映射到像元尺度CDF的过程，如图3所示，左侧为站点，右侧为卫星像元。本实施例中，假定9km/25km像元尺度的所有站点具有相同权重，利用平均方法，获取9km/25km的平均站点数据；左侧站点部分中，输入站点A1、B1、C1和D1的数据，输出站点像元均值A、B、C和D；右侧卫星像元部分中，输入卫星遥感数据A、B、C和D，输出卫星遥感数据A’、B’、C’和D’；再利用累积分布函数（CDF）公式，获取能够匹配卫星9km/25km像元尺度的累积分布函数（CDF）曲线。
CDF公式如下：,/>；其中，F（x）表示随机变量x的所有小于或等于x的值的概率之和。本实施例中，x表示站点测量的土壤湿度或卫星测得土壤水分的像元值。x表示0～1.0cm3/cm3之间0.1cm3/cm3的土壤水分值。
通过LSTM模型与传统多元回归模型、BP神经网络模型的对比，分析LSTM模型土壤水分反演结果与这两种方法反演结果的时空差异，如图3和表2所示。
表2 匹配卫星像元尺度的LSTM模型运行方案 (以站点、9km和25km三种尺度为例)
表2是以站点、9km、25km三种尺度为例的匹配卫星像元尺度的LSTM模型运作方案，方案分为六组，模型输出数据为输入数据的同尺度或升尺度，即以站点数据为输入时，输出分别为站点值、9km像元内的站点均值、25km像元内的站点均值，以9km卫星数据为输入时，输出为9km像元内的站点均值、25km像元内的站点均值，以25km卫星数据为输入时，输出为25km像元内的站点均值，将与输出数据相同尺度的卫星土壤水分作为对比数据，以此来预测并估算土壤水分值与误差，揭示卫星土壤水分像元内的异质性。
关于土壤水分值的误差来源，与LSTM输入和输出是否为异尺度有关，当LSTM的输入和输出数据为相同尺度时，误差来自LSTM模型导致的模型误差，当LSTM输入和输出数据为异尺度时，误差来源由两部分组成：1)模型误差；2)由尺度差异引起的误差。
本实施例采用回归分析法，假定遥感卫星数据与土壤水分真值是线性关系(x=α+ β*t+ε)，x表示土壤水分值，t表示土壤水分真值(使用LSTM预测结果)，α和β为系数，ε为土壤水分值误差。
首先，在输入和输出数据为相同尺度下运行LSTM模型，获得的土壤水分值作为“真值”，拟合，获得系数/>和/>值，以及系模型误差/>值。
其次，在输入和输出数据为异尺度下运行LSTM模型，获得的土壤水分值作为真值，拟合，获得系数/>和/>值，以及由模型和尺度差异引起的/>误差值。
最后，确定土壤水分真值与土壤水分预测误差间的正交性，以及土壤水分误差交叉相关性，为卫星土壤水分误差估算方法提供先验知识。
4）采用两种方法进行土壤水分反演结果评价与分析：(1)基于站点实测数据的指标评价方法。利用最常用的均方根误差、偏差以及相关系数这三种指标，通过交叉验证来评价模型的精度。均方根误差与偏差的数值越小、相关系数越高表示模型精度越高，表示LSTM模型反演的能力也越强。(2)采用三重配置方法（Triple Collocation Analysis，TCA），结合站点数据、卫星观测数据对反演结果进行误差计算，评价预测精度。
TCA计算公式：,分别为三个土壤水分的误差协方差，/>分别为三个土壤水分的自协方差；/>分别为第三个土壤水分的互协方差。
传统的土壤水分监测方法主要采用地面探测仪器，但其受限于地形、植被、耕作等因素，无法全面覆盖大范围的土地面积。本实施例将站点实测数据与卫星遥感数据进行融合，可以获得更大尺度范围内的土壤水分信息。通过结合多源数据反演土壤水分，可以获得更加全面、准确的土壤水分信息，为农业生产、水资源管理等领域提供更加科学、精准的数据支持。
本实施例利用LSTM深度学习模型可以对土壤水分的动态变化进行预测，从而实现对土壤水分的长期监测和预警，为灾害预防、水资源调配等方面提供更加有效的决策支持。该模型能够在时间序列上进行预测，而土壤水分数据具有明显的时序特征，因此基于LSTM深度学习模型，将实测站点数据与卫星遥感土壤水分（9km，25km等空间格网分辨率）数据相关联，获取更够匹配卫星像元尺度（9km，25km等空间格网分辨率）的高精度土壤水分数据。
通过将站点和卫星土壤水分数据进行融合，并联合气象数据，以提高预测的准确性和可靠性。将气象数据和土壤水分数据作为输入，通过LSTM模型进行训练和预测，从而得到未来一段时间内的土壤水分情况，融合模型能够更好的反映气象因素对土壤水分的影响，提高了预测的准确性和可靠性，有助于农业生产的科学管理和决策，并且具有普适性和可推广性，可以应用于不同地区、不同土地类型的土壤水分反演，为未来的相关研究提供了有益的借鉴。
本实施例中，利用网站（OZNET）和数据采集仪（CTP_SMTMN）得到土壤水分数据，在不同的模型参数下，测试LSTM模型的预测效果散点图，如图5-图8和表3所示，其中：
如图5所示，第一组模型参数为：激活函数sigmoid，优化函数adam，损失函数mae；
如图6所示，第二组模型参数为：激活函数tanh，优化函数SGD，损失函数mae；
如图7所示，第三组模型参数为：激活函数tanh，优化函数RMSprop，损失函数huber；
如图8所示，第四组模型参数为：激活函数tanh，优化函数adam，损失函数mse。
表3 LSTM模型在不同模型参数下的预测结果
通过LSTM模型在不同的激活函数（tanh、sigmoid和relu），不同的优化函数（adam、SGD和RMSprop），以及不同的损失函数（mae、mse和huber）下的预测结果，利用MAE（平均绝对误差）、RMSE（均方根误差）、ubRMSE（未校正均方根预测误差）、Bias（绝对误差）、R（标准差）和rBias（相对绝对误差）作为指标，能够证明本实施例中的LSTM模型的预测效果能够满足需求，能够为灾害预防、水资源调配等方面提供更加有效的决策支持。
实施例二：
基于深度学习模型的土壤水分反演系统，包括：
多源数据采集模块，被配置为：获取待反演区域的卫星遥感数据，以及同一区域中基于观测点实测的气象数据和土壤水分数据，并预处理；
多尺度反演模块，被配置为：预处理后的数据基于训练完毕的深度学习模型，分别反演站点尺度和遥感数据像元尺度上的土壤水分值；
在站点尺度和像元尺度中，分别利用反演得到的土壤水分值确定对应的累积分布函数曲线，利用相同的权重，将站点尺度的累积分布函数曲线，映射到像元尺度的累积分布函数曲线上，得到调整后的土壤水分值作为最终的土壤水分反演结果。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.基于深度学习模型的土壤水分反演方法，其特征在于，包括以下步骤：
获取待反演区域的卫星遥感数据，以及同一区域中基于观测点实测的气象数据和土壤水分数据，并预处理；
预处理后的数据基于训练完毕的深度学习模型，分别反演站点尺度和遥感数据像元尺度上的土壤水分值；
在站点尺度和像元尺度中，分别利用反演得到的土壤水分值确定对应的累积分布函数曲线，利用相同的权重，将站点尺度的累积分布函数曲线，映射到像元尺度的累积分布函数曲线上，即以站点累积分布函数曲线为基础，调整遥感卫星土壤水分的累积分布函数曲线，得到调整后的土壤水分值作为最终的土壤水分反演结果；
所述深度学习模型反演站点尺度上的土壤水分值时，通过提取输入数据中的时间序列信息得到时序关系，通过比较模型的预测输出和实际目标值之间的差异，确定站点数据的损失值，获得站点处土壤水分的预测结果并得到累积分布函数曲线；
所述深度学习模型充分考虑时间序列本身的长度，等间隔设置不同节点数量，获得最佳节点数；开展不同时间长度序列的反演实验，确定最优时间长度训练数据。
2.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，所述预处理，包括误差消除、归一化和相关性分析中的至少一种。
3.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，气象数据以及土壤水分数据通过预处理，以得到的降雨量、光照强度、空气温度、空气湿度、土壤电导率、土壤温度和土壤墒情作为深度学习模型的输入变量。
4.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，所述深度学习模型反演像元尺度上的土壤水分值时，通过比较模型的预测输出和实际目标值之间的差异，确定卫星像元尺度上的损失值，获得像元尺度的土壤水分值预测结果并得到累积分布函数曲线。
5.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，深度学习模型训练期间，假设遥感卫星数据与土壤水分真值之间满足线性关系，分别在相同尺度和不同尺度下获得土壤水分值并作为真值，确定线性关系中的误差和系数。
6.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，深度学习模型训练期间，通过实验方法确定深度学习模型中隐含层节点个数以及隐含层层数，通过测试数据确定均方根误差对应最小的隐含层节点个数。
7.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，深度学习模型利用待反演区域中的观测点实测数据和待反演区域的卫星遥感数据，输出待反演区域中未设置观测点区域的土壤水分值。
8.如权利要求1所述的基于深度学习模型的土壤水分反演方法，其特征在于，训练完毕的深度学习模型分别反演站点尺度和遥感数据像元尺度上的土壤水分值，得到对应的累积分布函数曲线，以像元尺度内的所有站点具有相同权重，利用平均方法得到像元尺度内的平均站点数据，利用站点尺度的累积分布函数曲线，确定能够匹配遥感数据像元尺度的累积分布函数曲线。
9.基于深度学习模型的土壤水分反演系统，其特征在于，包括：
多源数据采集模块，被配置为：获取待反演区域的卫星遥感数据，以及同一区域中基于观测点实测的气象数据和土壤水分数据，并预处理；
多尺度反演模块，被配置为：预处理后的数据基于训练完毕的深度学习模型，分别反演站点尺度和遥感数据像元尺度上的土壤水分值；
多尺度反演模块，还被配置为：在站点尺度和像元尺度中，分别利用反演得到的土壤水分值确定对应的累积分布函数曲线，利用相同的权重，将站点尺度的累积分布函数曲线，映射到像元尺度的累积分布函数曲线上，即以站点累积分布函数曲线为基础，调整遥感卫星土壤水分的累积分布函数曲线，得到调整后的土壤水分值作为最终的土壤水分反演结果；
所述深度学习模型反演站点尺度上的土壤水分值时，通过提取输入数据中的时间序列信息得到时序关系，通过比较模型的预测输出和实际目标值之间的差异，确定站点数据的损失值，获得站点处土壤水分的预测结果并得到累积分布函数曲线；
所述深度学习模型充分考虑时间序列本身的长度，等间隔设置不同节点数量，获得最佳节点数；开展不同时间长度序列的反演实验，确定最优时间长度训练数据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410205560.4A CN117787110B (zh) | 2024-02-26 | 2024-02-26 | 基于深度学习模型的土壤水分反演方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410205560.4A CN117787110B (zh) | 2024-02-26 | 2024-02-26 | 基于深度学习模型的土壤水分反演方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117787110A CN117787110A (zh) | 2024-03-29 |
| CN117787110B true CN117787110B (zh) | 2024-05-17 |
Family
ID=90402047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410205560.4A Active CN117787110B (zh) | 2024-02-26 | 2024-02-26 | 基于深度学习模型的土壤水分反演方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117787110B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130084503A (ko) * | 2012-01-17 | 2013-07-25 | 한양대학교 산학협력단 | 인공위성을 이용한 토양수분 복원 시스템 |
| CN113255874A (zh) * | 2021-06-08 | 2021-08-13 | 中国农业科学院农业资源与农业区划研究所 | 一种基于优化的bp神经网络微波遥感反演土壤水分的方法 |
| WO2021226976A1 (zh) * | 2020-05-15 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于深度神经网络的土壤速效养分反演方法 |
| CN116027010A (zh) * | 2022-09-30 | 2023-04-28 | 水利部南京水利水文自动化研究所 | 一种多源卫星测量土壤水分的数据校正方法 |
| CN116519913A (zh) * | 2023-07-03 | 2023-08-01 | 中国科学院地理科学与资源研究所 | 基于星载和地基平台融合的gnss-r数据土壤水分监测方法 |
| CN116879297A (zh) * | 2023-09-07 | 2023-10-13 | 航天宏图信息技术股份有限公司 | 土壤水分协同反演的方法、装置、设备和介质 |
-
2024
- 2024-02-26 CN CN202410205560.4A patent/CN117787110B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130084503A (ko) * | 2012-01-17 | 2013-07-25 | 한양대학교 산학협력단 | 인공위성을 이용한 토양수분 복원 시스템 |
| WO2021226976A1 (zh) * | 2020-05-15 | 2021-11-18 | 安徽中科智能感知产业技术研究院有限责任公司 | 一种基于深度神经网络的土壤速效养分反演方法 |
| CN113255874A (zh) * | 2021-06-08 | 2021-08-13 | 中国农业科学院农业资源与农业区划研究所 | 一种基于优化的bp神经网络微波遥感反演土壤水分的方法 |
| CN116027010A (zh) * | 2022-09-30 | 2023-04-28 | 水利部南京水利水文自动化研究所 | 一种多源卫星测量土壤水分的数据校正方法 |
| CN116519913A (zh) * | 2023-07-03 | 2023-08-01 | 中国科学院地理科学与资源研究所 | 基于星载和地基平台融合的gnss-r数据土壤水分监测方法 |
| CN116879297A (zh) * | 2023-09-07 | 2023-10-13 | 航天宏图信息技术股份有限公司 | 土壤水分协同反演的方法、装置、设备和介质 |
Non-Patent Citations (2)
| Title |
|---|
| 基于卷积神经网络和AMSR2微波遥感的土壤水分反演研究;谭建灿;毛克彪;左志远;赵天杰;谭雪兰;李建军;;高技术通讯;20180515(第05期);全文 * |
| 孟祥金，毛克彪，孟飞，师春香，赵冰，袁紫晋.基于空间权重分解的降尺度土壤水分产品的中国土壤水分时空格局研究.高技术通讯.2019,全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117787110A (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Shahabi et al. | Remote sensing and GIS-based landslide susceptibility mapping using frequency ratio, logistic regression, and fuzzy logic methods at the central Zab basin, Iran | |
| Hossain et al. | Hydrological model sensitivity to parameter and radar rainfall estimation uncertainty | |
| CN111159149B (zh) | 一种基于三维卷积神经网络的河流流量预测方法 | |
| Lee et al. | Interpolation of missing precipitation data using kernel estimations for hydrologic modeling | |
| Franz et al. | Practical data products from cosmic-ray neutron sensing for hydrological applications | |
| CN112232554A (zh) | 一种基于bp神经网络的局域短临降水预报模型的构建方法 | |
| CN116205310B (zh) | 一种基于可解释集成学习模型的土壤含水量影响因素敏感区间判定方法 | |
| CN114861840B (zh) | 一种多源降水数据融合方法 | |
| Ayat et al. | Calibration of weather radar using region probability matching method (RPMM) | |
| Wang et al. | Evaluation of multi‐source precipitation data in a watershed with complex topography based on distributed hydrological modeling | |
| CN116609858A (zh) | 一种基于可解释性XGBoost模型的热带气旋大气波导预测方法及系统 | |
| CN115270608A (zh) | 基于arima与lstm的海岸带地面沉降预测方法 | |
| Alerskans et al. | Optimizing spatial quality control for a dense network of meteorological stations | |
| Chen et al. | Assessing the trustworthiness of crowdsourced rainfall networks: A reputation system approach | |
| CN117787110B (zh) | 基于深度学习模型的土壤水分反演方法及系统 | |
| CN116796291A (zh) | 一种基于lstm-mea-svr空气质量预报的系统 | |
| Kneis et al. | Verification of short-term runoff forecasts for a small Philippine basin (Marikina) | |
| Ghaderi et al. | Improving precipitable water vapor estimations of the Moderate Resolution Imaging Spectroradiometer (MODIS) using metaheuristic algorithms | |
| Navarro Cespedes et al. | A comparison of missing value imputation methods applied to daily precipitation in a semi-arid and a humid region of Mexico | |
| Zhang et al. | Pixel-CRN: A new machine learning approach for convective storm nowcasting | |
| CN113742929A (zh) | 一种针对格点气象实况的数据质量评价方法 | |
| Dell’Aira et al. | Inferring hydrological properties of the rainfall-runoff conversion process through artificial neural network modeling | |
| Sun et al. | Construction of a spatially gridded heat flux map based on airborne flux Measurements using remote sensing and machine learning methods | |
| Ozkaya et al. | Analyzing radar rainfall estimate errors with three vector norms: application to weather radar rainfall data in Muğla, Turkey | |
| Ishibashi | Improvement of accuracy of global numerical weather prediction using refined error covariance matrices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |