CN115758855A - 一种基于lstm及注意力机制的地表反射率反演方法 - Google Patents

一种基于lstm及注意力机制的地表反射率反演方法 Download PDF

Info

Publication number
CN115758855A
CN115758855A CN202210992914.5A CN202210992914A CN115758855A CN 115758855 A CN115758855 A CN 115758855A CN 202210992914 A CN202210992914 A CN 202210992914A CN 115758855 A CN115758855 A CN 115758855A
Authority
CN
China
Prior art keywords
lstm
data
products
attention mechanism
inversion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210992914.5A
Other languages
English (en)
Other versions
CN115758855B (zh
Inventor
成巍
于小婷
盛庆红
王博
李俊
李亚云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Aeronautics and Astronautics
61540 Troops of PLA
Original Assignee
Nanjing University of Aeronautics and Astronautics
61540 Troops of PLA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Aeronautics and Astronautics, 61540 Troops of PLA filed Critical Nanjing University of Aeronautics and Astronautics
Priority to CN202210992914.5A priority Critical patent/CN115758855B/zh
Publication of CN115758855A publication Critical patent/CN115758855A/zh
Application granted granted Critical
Publication of CN115758855B publication Critical patent/CN115758855B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本发明公开了一种基于LSTM及注意力机制的地表反射率反演方法，所述方法包括：基于遥感及大气再分析数据构建反演数据集；对数据集进行时空配准、异常值及有云点删除、归一化等使其适合于模型输入；利用XGBoost方法及线性相关判断各特征要素相关性进行特征筛选；通过LSTM及注意力机制的深度学习网络生成反演模型；利用生成的模型进行反演并判断精度，反归一化后得到最终地表反射率结果。本发明克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，具有良好的普适性及准确性。

Description

一种基于LSTM及注意力机制的地表反射率反演方法
技术领域
本发明涉及遥感领域，涉及一种基于LSTM及注意力机制的地表反射率反演方法，尤其涉及一种基于LSTM及注意力机制的深度学习网络的地表反射率反演算法。
背景技术
地表反射率大小由地物本身特性决定，能够反映地物的光谱特征，是遥感信息应用的基础，在地物识别、分类、物质成分与含量等领域都具有重要价值。而卫星传感器接收的地面辐射，在大气辐射传输过程中受到大气吸收与散射的影响，使其测量值与实际的地物光谱辐射值并不一致。因此去除遥感成像中的干扰信息，准确反演地物反射率具有重要意义。
传统方法基于辐射传输模型，虽然物理意义明确，但存在计算量大、计算复杂等缺点。深度学习网络通过对输入的大量数据进行抽象和学习，充分逼近复杂的非线性关系。传统反演中参数复杂、传统反演算法中参数计算量大、计算复杂且普适性差等困难，普适性及准确性不强，深度学习算法已经广泛应用于参数反演领域，国内外学者进行了许多研究，并发现反演结果精度较高，取得较好的效果，但是利用深度学习进行反射率反演的研究还很少。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于LSTM及注意力机制的地表反射率反演方法，克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，利用深度学习算法得到更普适的高精度反演模型，具有良好的普适性及准确性。
本发明的目的是通过以下技术方案来实现的：一种基于LSTM及注意力机制的地表反射率反演方法，包括以下步骤：
S1.MODIS数据、大气再分析产品数据输入；
S2.基于两种数据构建适应模型输入结构的数据集，包括时空配准、异常值及有云点删除、归一化；
S3.数据集分析，通过相关性分析及机器学习模型等方法对反演关键特征进行筛选；
S4.设计基于LSTM及注意力机制的深度学习网络，并训练从而生成反射率反演模型；
S5.使用步骤S3训练好的模型反演反射率，对其反归一化，得到最终反射率反演结果。
进一步地，所述步骤S1所需数据主要为以下影响地表反射率的产品：
MODIS：定标辐射产品、经纬度坐标数据、气溶胶产品、云产品、地表反射率产品、地表温度产品、地表覆盖变化产品、植被指数产品、云掩膜产品；
大气再分析数据：表层土壤水分、地表土壤温度数据、月平均2m气温。
进一步地，步骤S2对数据的处理包括：
MODIS L1B产品辐射定标：通过尺度转换的方法将产品中整数型数据转换为反射率值；筛选同一时刻、同一经纬度的各个产品作为一组数据，其中，MODIS地表反射率产品作为输出真值，其他MODIS、再分析数据作为输入；
删除有云像素点，利用MODIS云掩膜产品，将产品中“可能晴空”，“确定晴空”视为无云点，从而删除有云的像素点。
进一步地，步骤S3所述特征筛选通过以下方法实现：
S301.计算不同特征变量与输出值间的相关性系数；
S302.利用机器学习XGBoost模型，通过训练步骤S2中的数据集，得到各输入特征的重要性排序；
S303.综合两分析结果，删除明显不相关的特征。
进一步地，步骤S4所述的LSTM与注意力机制的深度学习网络由输入层、LSTM层、注意力模块、全连接层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。
进一步地，步骤S5通过以下公式计算模型精度：
Figure BDA0003804492660000021
Figure BDA0003804492660000022
其中：n为样本总数，
Figure BDA0003804492660000023
为第i个样本的实际值，
Figure BDA0003804492660000024
为第i个样本的模型预测值。
本发明的有益效果是：
本发明综合利用遥感数据、大气再分析数据，较全面地考虑地表反射率的可能影响因素；
本发明利用机器学习模型及线性相关分析不同特征要素对地表反射率反演的重要性程度，从而删除冗余特征变量，提高训练效率。
本发明提出利用结合注意力机制的LSTM深度学习网络反演地表反射率，克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，具有良好的普适性及准确性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明流程示意图；
图2为本发明所用深度学习网络示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
如图1-2所示，本发明一种基于LSTM及注意力机制的地表反射率反演方法，包括以下步骤：
S1.MODIS数据、大气再分析产品数据输入；
输入数据主要包括：
MODIS：定标辐射产品、经纬度坐标数据、气溶胶产品、云产品、地表反射率产品、地表温度产品、地表覆盖变化产品、植被指数产品、云掩膜产品；
大气再分析数据：表层土壤水分、地表土壤温度数据、月平均2m气温。
S2.基于两种数据构建适应模型输入结构的数据集，包括时空配准、异常值及有云点删除、归一化等；
MODIS L1B产品辐射定标：通过尺度转换的方法将产品中整数型数据转换为反射率值，计算公式如下：
Rband,x,y＝reflectance_scaleband×(SIband,x,y-reflectance_offsetband)
其中：SIband,x,y为某波段某像素点的计数值，band为相应波段号，x,y为对应像素点坐标；Rband,x,y为某波段某像素点的表观反射率；reflectance_scaleband为反射率缩放比；reflectance_offsetband为反射率偏移量。
筛选同一时刻、同一经纬度的各个产品作为一组数据，其中，MODIS地表反射率产品作为输出真值，其他MODIS、再分析数据作为输入。
删除有云像素点，利用MODIS云掩膜产品，将产品中“可能晴空”，“确定晴空”视为无云点，从而删除有云的像素点。
归一化公式如下所示：
Figure BDA0003804492660000041
Xscaled＝Xstd*(max-min)+min
其中，X.max(axis＝0)为每列中的最大值组成的行向量；X.min(axis＝0)为每列中的最小值组成的行向量；max、min分别为要映射到的区间最大值与最小值；Xstd为标准化结果；Xscaled为归一化结果。
S3.数据集分析，通过相关性分析及机器学习模型等方法对反演关键特征进行筛选；
计算不同特征变量与输出值间的相关性系数；利用机器学习XGBoost模型，通过训练步骤S2中的数据集，得到各输入特征的重要性排序；综合两分析结果，删除明显不相关的特征。
S4.设计基于LSTM及注意力机制的深度学习网络，并训练从而生成反射率反演模型；
LSTM与注意力机制的深度学习网络由输入层、LSTM层、注意力模块、全连接层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。网络结构如表1所示，模型如图2所示。
表1本发明的模型结构参数
层名称 输出张量形状 参数
输入层 (None,7,128) 256
全连接层1 (None,7,256) 33024
全连接层2 (None,7,128) 32896
LSTM1 (None,7,128) 131584
LSTM 2 (None,7,128) 131584
LSTM 3 (None,7,128) 131584
LSTM 4 (None,7,128) 131584
LSTM 5 (None,64) 49408
全连接层3 (None,64) 4160
全连接层4 (None,1) 65
S5.使用步骤S3训练好的模型反演反射率，对其反归一化，得到最终反射率反演结果。
通过以下公式计算模型精度：
Figure BDA0003804492660000051
Figure BDA0003804492660000052
其中：n为样本总数，
Figure BDA0003804492660000053
为第i个样本的实际值，
Figure BDA0003804492660000054
为第i个样本的模型预测值。
一种基于LSTM及注意力机制的地表反射率反演方法，包括：基于遥感及大气再分析数据构建反演数据集；对数据集进行时空配准、异常值及有云点删除、归一化等使其适合于模型输入；利用XGBoost方法及线性相关判断各特征要素相关性进行特征筛选；通过LSTM及注意力机制的深度学习网络生成反演模型；利用生成的模型进行反演并判断精度，反归一化后得到最终地表反射率结果。本发明克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，具有良好的普适性及准确性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，包括以下步骤：
S1.MODIS数据、大气再分析产品数据输入；
S2.基于两种数据构建适应模型输入结构的数据集，包括时空配准、异常值及有云点删除、归一化；
S3.数据集分析，通过相关性分析及机器学习模型等方法对反演关键特征进行筛选；
S4.设计基于LSTM及注意力机制的深度学习网络，并训练从而生成反射率反演模型；
S5.使用步骤S3训练好的模型反演反射率，对其反归一化，得到最终反射率反演结果。
2.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，所述步骤S1所需数据主要为以下影响地表反射率的产品：
MODIS：定标辐射产品、经纬度坐标数据、气溶胶产品、云产品、地表反射率产品、地表温度产品、地表覆盖变化产品、植被指数产品、云掩膜产品；
大气再分析数据：表层土壤水分、地表土壤温度数据、月平均2m气温。
3.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S2对数据的处理包括：
MODIS L1B产品辐射定标：通过尺度转换的方法将产品中整数型数据转换为反射率值；筛选同一时刻、同一经纬度的各个产品作为一组数据，其中，MODIS地表反射率产品作为输出真值，其他MODIS、再分析数据作为输入；
删除有云像素点，利用MODIS云掩膜产品，将产品中“可能晴空”，“确定晴空”视为无云点，从而删除有云的像素点。
4.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S3所述特征筛选通过以下方法实现：
S301.计算不同特征变量与输出值间的相关性系数；
S302.利用机器学习XGBoost模型，通过训练步骤S2中的数据集，得到各输入特征的重要性排序；
S303.综合两分析结果，删除明显不相关的特征。
5.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S4所述的LSTM与注意力机制的深度学习网络由输入层、LSTM层、注意力模块、全连接层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。
6.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S5通过以下公式计算模型精度：
Figure FDA0003804492650000021
Figure FDA0003804492650000022
其中：n为样本总数，
Figure FDA0003804492650000023
为第i个样本的实际值，
Figure FDA0003804492650000024
为第i个样本的模型预测值。
CN202210992914.5A 2022-08-18 2022-08-18 一种基于lstm及注意力机制的地表反射率反演方法 Active CN115758855B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210992914.5A CN115758855B (zh) 2022-08-18 2022-08-18 一种基于lstm及注意力机制的地表反射率反演方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210992914.5A CN115758855B (zh) 2022-08-18 2022-08-18 一种基于lstm及注意力机制的地表反射率反演方法

Publications (2)

Publication Number Publication Date
CN115758855A true CN115758855A (zh) 2023-03-07
CN115758855B CN115758855B (zh) 2024-04-12

Family

ID=85350166

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210992914.5A Active CN115758855B (zh) 2022-08-18 2022-08-18 一种基于lstm及注意力机制的地表反射率反演方法

Country Status (1)

Country Link
CN (1) CN115758855B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118629534A (zh) * 2024-06-19 2024-09-10 中国人民解放军61540部队 一种植被反射率反演方法、装置、介质及产品
CN118688226A (zh) * 2024-08-26 2024-09-24 南京航空航天大学 一种基于星载sar数据的改进水云模型土壤湿度反演方法
CN118690648A (zh) * 2024-06-19 2024-09-24 中国人民解放军61540部队 一种积雪反射率正演方法、装置、介质及产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663330A (zh) * 2018-04-19 2018-10-16 中国国土资源航空物探遥感中心 一种基于叶片实测光谱的植被覆盖区土壤铜元素反演方法
CN110287944A (zh) * 2019-07-04 2019-09-27 吉林大学 基于深度学习的多光谱遥感影像的农作物虫害监测方法
CN110376139A (zh) * 2019-08-05 2019-10-25 北京绿土科技有限公司 基于地面高光谱的土壤有机质含量定量反演方法
CN111735772A (zh) * 2020-05-13 2020-10-02 中国科学院空天信息创新研究院 改进的级联神经网络的高光谱数据地表反射率反演方法
CN112632847A (zh) * 2020-11-26 2021-04-09 淮阴师范学院 基于XGBoost回归算法的水稻叶片淀粉含量遥感反演模型和方法
KR20220045375A (ko) * 2020-10-05 2022-04-12 한국항공우주연구원 위성 영상의 지표면 반사도 산출 시스템 및 그 방법
CN114676636A (zh) * 2022-04-01 2022-06-28 自然资源部国土卫星遥感应用中心 一种综合植被和生境特征的草原区土壤水分快速反演方法
WO2022166939A1 (zh) * 2021-02-08 2022-08-11 南京农业大学 一种基于Sentinel-2卫星影像红边波段改进小麦生长早期叶面积指数估算的方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108663330A (zh) * 2018-04-19 2018-10-16 中国国土资源航空物探遥感中心 一种基于叶片实测光谱的植被覆盖区土壤铜元素反演方法
CN110287944A (zh) * 2019-07-04 2019-09-27 吉林大学 基于深度学习的多光谱遥感影像的农作物虫害监测方法
CN110376139A (zh) * 2019-08-05 2019-10-25 北京绿土科技有限公司 基于地面高光谱的土壤有机质含量定量反演方法
CN111735772A (zh) * 2020-05-13 2020-10-02 中国科学院空天信息创新研究院 改进的级联神经网络的高光谱数据地表反射率反演方法
KR20220045375A (ko) * 2020-10-05 2022-04-12 한국항공우주연구원 위성 영상의 지표면 반사도 산출 시스템 및 그 방법
CN112632847A (zh) * 2020-11-26 2021-04-09 淮阴师范学院 基于XGBoost回归算法的水稻叶片淀粉含量遥感反演模型和方法
WO2022166939A1 (zh) * 2021-02-08 2022-08-11 南京农业大学 一种基于Sentinel-2卫星影像红边波段改进小麦生长早期叶面积指数估算的方法
CN114676636A (zh) * 2022-04-01 2022-06-28 自然资源部国土卫星遥感应用中心 一种综合植被和生境特征的草原区土壤水分快速反演方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TIANNING SU.ETC: "Refining aerosol optical depth retrievals over land by constructing the relationship of spectral surface reflectances through deep learning: Application to Himawari-8", 《REMOTE SENSING OF ENVIRONMENT》, 31 December 2020 (2020-12-31) *
张佳洛: "基于深度学习的强对流天气降水临近预报的方法研究", 《中国优秀硕士学位论文全文数据库基础科学辑》, pages 009 - 143 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118629534A (zh) * 2024-06-19 2024-09-10 中国人民解放军61540部队 一种植被反射率反演方法、装置、介质及产品
CN118690648A (zh) * 2024-06-19 2024-09-24 中国人民解放军61540部队 一种积雪反射率正演方法、装置、介质及产品
CN118688226A (zh) * 2024-08-26 2024-09-24 南京航空航天大学 一种基于星载sar数据的改进水云模型土壤湿度反演方法
CN118688226B (zh) * 2024-08-26 2024-11-15 南京航空航天大学 一种基于星载sar数据的改进水云模型土壤湿度反演方法

Also Published As

Publication number Publication date
CN115758855B (zh) 2024-04-12

Similar Documents

Publication Publication Date Title
CN115758855A (zh) 一种基于lstm及注意力机制的地表反射率反演方法
CN115984715B (zh) 基于先验地物光谱匹配的高光谱卫星自适应大气校正方法
CN114943142B (zh) 高光谱地表反射率和大气参数一体化反演方法及装置
CN115422703B (zh) 一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法
CN103969268B (zh) 地表土壤物理参数的被动微波遥感反演方法
CN111046120B (zh) 一种极端气温语义反距离权重插值方法
CN111024618A (zh) 基于遥感影像的水质健康监测方法、装置及存储介质
CN106226260A (zh) 一种结合微波和红外遥感影像的土壤水分反演方法
CN102831440B (zh) 一种广域遥感影像决策树分类方法及装置
CN111582575B (zh) 一种多时空尺度下城市热环境形成发展主导因素识别方法
CN114740180A (zh) 基于多源遥感数据的土壤有机碳估算方法及装置
CN113255972B (zh) 基于Attention机制的短临降水预测方法
CN105930664B (zh) 一种从被动微波数据估算瞬时地表发射率的方法
CN112906310A (zh) 考虑萤火虫算法优化bp神经网络微波遥感土壤水分反演方法
CN116297068A (zh) 基于地表反射率优化的气溶胶光学厚度反演方法及系统
CN108256186A (zh) 一种在线计算查找表的逐像元大气校正方法
CN111783538B (zh) 小麦生物量的遥感估算方法、装置、电子设备及存储介质
CN110849334B (zh) 基于分类与回归树的岛礁浅海水深预测方法
CN117436286A (zh) 气溶胶和水汽反演、航空遥感图像校正方法、装置、设备
CN114297938A (zh) 一种基于神经网络的光学浅水水底深度的反演方法
CN115855272A (zh) 一种生成近实时逐小时全天候地表温度的方法
CN115495988B (zh) 一种基于最优时间窗口选择的土壤遥感反演方法
CN117576487A (zh) 一种基于可变形卷积的探地雷达空洞目标智能识别方法
CN107389595B (zh) 一种基于modis三通道加权平均的水汽反演方法
CN116402199A (zh) 基于土地变化预测和空间滞后模型的像元级pm2.5预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant