CN115758855A - 一种基于lstm及注意力机制的地表反射率反演方法 - Google Patents
一种基于lstm及注意力机制的地表反射率反演方法 Download PDFInfo
- Publication number
- CN115758855A CN115758855A CN202210992914.5A CN202210992914A CN115758855A CN 115758855 A CN115758855 A CN 115758855A CN 202210992914 A CN202210992914 A CN 202210992914A CN 115758855 A CN115758855 A CN 115758855A
- Authority
- CN
- China
- Prior art keywords
- lstm
- data
- product
- attention mechanism
- inversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000002310 reflectometry Methods 0.000 title claims abstract description 47
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000007246 mechanism Effects 0.000 title claims abstract description 24
- 238000013135 deep learning Methods 0.000 claims abstract description 15
- 238000012950 reanalysis Methods 0.000 claims abstract description 12
- 238000010606 normalization Methods 0.000 claims abstract description 11
- 230000002159 abnormal effect Effects 0.000 claims abstract description 5
- 238000012217 deletion Methods 0.000 claims abstract description 5
- 230000037430 deletion Effects 0.000 claims abstract description 5
- 230000005855 radiation Effects 0.000 claims description 7
- 238000012216 screening Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 6
- 239000002689 soil Substances 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 239000000443 aerosol Substances 0.000 claims description 3
- 238000004458 analytical method Methods 0.000 claims description 3
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010219 correlation analysis Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 2
- 238000001914 filtration Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 abstract description 13
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000010521 absorption reaction Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本发明公开了一种基于LSTM及注意力机制的地表反射率反演方法，所述方法包括：基于遥感及大气再分析数据构建反演数据集；对数据集进行时空配准、异常值及有云点删除、归一化等使其适合于模型输入；利用XGBoost方法及线性相关判断各特征要素相关性进行特征筛选；通过LSTM及注意力机制的深度学习网络生成反演模型；利用生成的模型进行反演并判断精度，反归一化后得到最终地表反射率结果。本发明克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，具有良好的普适性及准确性。
Description
技术领域
本发明涉及遥感领域，涉及一种基于LSTM及注意力机制的地表反射率反演方法，尤其涉及一种基于LSTM及注意力机制的深度学习网络的地表反射率反演算法。
背景技术
地表反射率大小由地物本身特性决定，能够反映地物的光谱特征，是遥感信息应用的基础，在地物识别、分类、物质成分与含量等领域都具有重要价值。而卫星传感器接收的地面辐射，在大气辐射传输过程中受到大气吸收与散射的影响，使其测量值与实际的地物光谱辐射值并不一致。因此去除遥感成像中的干扰信息，准确反演地物反射率具有重要意义。
传统方法基于辐射传输模型，虽然物理意义明确，但存在计算量大、计算复杂等缺点。深度学习网络通过对输入的大量数据进行抽象和学习，充分逼近复杂的非线性关系。传统反演中参数复杂、传统反演算法中参数计算量大、计算复杂且普适性差等困难，普适性及准确性不强，深度学习算法已经广泛应用于参数反演领域，国内外学者进行了许多研究，并发现反演结果精度较高，取得较好的效果，但是利用深度学习进行反射率反演的研究还很少。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于LSTM及注意力机制的地表反射率反演方法，克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，利用深度学习算法得到更普适的高精度反演模型，具有良好的普适性及准确性。
本发明的目的是通过以下技术方案来实现的：一种基于LSTM及注意力机制的地表反射率反演方法，包括以下步骤：
S1.MODIS数据、大气再分析产品数据输入；
S2.基于两种数据构建适应模型输入结构的数据集，包括时空配准、异常值及有云点删除、归一化；
S3.数据集分析，通过相关性分析及机器学习模型等方法对反演关键特征进行筛选；
S4.设计基于LSTM及注意力机制的深度学习网络，并训练从而生成反射率反演模型；
S5.使用步骤S3训练好的模型反演反射率，对其反归一化，得到最终反射率反演结果。
进一步地，所述步骤S1所需数据主要为以下影响地表反射率的产品：
MODIS：定标辐射产品、经纬度坐标数据、气溶胶产品、云产品、地表反射率产品、地表温度产品、地表覆盖变化产品、植被指数产品、云掩膜产品；
大气再分析数据：表层土壤水分、地表土壤温度数据、月平均2m气温。
进一步地，步骤S2对数据的处理包括：
MODIS L1B产品辐射定标：通过尺度转换的方法将产品中整数型数据转换为反射率值；筛选同一时刻、同一经纬度的各个产品作为一组数据，其中，MODIS地表反射率产品作为输出真值，其他MODIS、再分析数据作为输入；
删除有云像素点，利用MODIS云掩膜产品，将产品中“可能晴空”，“确定晴空”视为无云点，从而删除有云的像素点。
进一步地，步骤S3所述特征筛选通过以下方法实现：
S301.计算不同特征变量与输出值间的相关性系数；
S302.利用机器学习XGBoost模型，通过训练步骤S2中的数据集，得到各输入特征的重要性排序；
S303.综合两分析结果，删除明显不相关的特征。
进一步地，步骤S4所述的LSTM与注意力机制的深度学习网络由输入层、LSTM层、注意力模块、全连接层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。
进一步地，步骤S5通过以下公式计算模型精度：
其中：n为样本总数，
为第i个样本的实际值，
为第i个样本的模型预测值。
本发明的有益效果是：
本发明综合利用遥感数据、大气再分析数据，较全面地考虑地表反射率的可能影响因素；
本发明利用机器学习模型及线性相关分析不同特征要素对地表反射率反演的重要性程度，从而删除冗余特征变量，提高训练效率。
本发明提出利用结合注意力机制的LSTM深度学习网络反演地表反射率，克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，具有良好的普适性及准确性。
附图说明
构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明流程示意图；
图2为本发明所用深度学习网络示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
如图1-2所示，本发明一种基于LSTM及注意力机制的地表反射率反演方法，包括以下步骤：
S1.MODIS数据、大气再分析产品数据输入；
输入数据主要包括：
MODIS：定标辐射产品、经纬度坐标数据、气溶胶产品、云产品、地表反射率产品、地表温度产品、地表覆盖变化产品、植被指数产品、云掩膜产品；
大气再分析数据：表层土壤水分、地表土壤温度数据、月平均2m气温。
S2.基于两种数据构建适应模型输入结构的数据集，包括时空配准、异常值及有云点删除、归一化等；
MODIS L1B产品辐射定标：通过尺度转换的方法将产品中整数型数据转换为反射率值，计算公式如下：
Rband,x,y＝reflectance_scaleband×(SIband,x,y-reflectance_offsetband)
其中：SIband,x,y为某波段某像素点的计数值，band为相应波段号，x,y为对应像素点坐标；Rband,x,y为某波段某像素点的表观反射率；reflectance_scaleband为反射率缩放比；reflectance_offsetband为反射率偏移量。
筛选同一时刻、同一经纬度的各个产品作为一组数据，其中，MODIS地表反射率产品作为输出真值，其他MODIS、再分析数据作为输入。
删除有云像素点，利用MODIS云掩膜产品，将产品中“可能晴空”，“确定晴空”视为无云点，从而删除有云的像素点。
归一化公式如下所示：
Xscaled＝Xstd*(max-min)+min
其中，X.max(axis＝0)为每列中的最大值组成的行向量；X.min(axis＝0)为每列中的最小值组成的行向量；max、min分别为要映射到的区间最大值与最小值；Xstd为标准化结果；Xscaled为归一化结果。
S3.数据集分析，通过相关性分析及机器学习模型等方法对反演关键特征进行筛选；
计算不同特征变量与输出值间的相关性系数；利用机器学习XGBoost模型，通过训练步骤S2中的数据集，得到各输入特征的重要性排序；综合两分析结果，删除明显不相关的特征。
S4.设计基于LSTM及注意力机制的深度学习网络，并训练从而生成反射率反演模型；
LSTM与注意力机制的深度学习网络由输入层、LSTM层、注意力模块、全连接层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。网络结构如表1所示，模型如图2所示。
表1本发明的模型结构参数
| 层名称 | 输出张量形状 | 参数 |
| 输入层 | (None,7,128) | 256 |
| 全连接层1 | (None,7,256) | 33024 |
| 全连接层2 | (None,7,128) | 32896 |
| LSTM1 | (None,7,128) | 131584 |
| LSTM 2 | (None,7,128) | 131584 |
| LSTM 3 | (None,7,128) | 131584 |
| LSTM 4 | (None,7,128) | 131584 |
| LSTM 5 | (None,64) | 49408 |
| 全连接层3 | (None,64) | 4160 |
| 全连接层4 | (None,1) | 65 |
S5.使用步骤S3训练好的模型反演反射率，对其反归一化，得到最终反射率反演结果。
通过以下公式计算模型精度：
其中：n为样本总数，
为第i个样本的实际值，
为第i个样本的模型预测值。
一种基于LSTM及注意力机制的地表反射率反演方法，包括：基于遥感及大气再分析数据构建反演数据集；对数据集进行时空配准、异常值及有云点删除、归一化等使其适合于模型输入；利用XGBoost方法及线性相关判断各特征要素相关性进行特征筛选；通过LSTM及注意力机制的深度学习网络生成反演模型；利用生成的模型进行反演并判断精度，反归一化后得到最终地表反射率结果。本发明克服了传统反演算法中参数计算量大、计算复杂且普适性差等困难，具有良好的普适性及准确性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，包括以下步骤：
S1.MODIS数据、大气再分析产品数据输入；
S2.基于两种数据构建适应模型输入结构的数据集，包括时空配准、异常值及有云点删除、归一化；
S3.数据集分析，通过相关性分析及机器学习模型等方法对反演关键特征进行筛选；
S4.设计基于LSTM及注意力机制的深度学习网络，并训练从而生成反射率反演模型；
S5.使用步骤S3训练好的模型反演反射率，对其反归一化，得到最终反射率反演结果。
2.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，所述步骤S1所需数据主要为以下影响地表反射率的产品：
MODIS：定标辐射产品、经纬度坐标数据、气溶胶产品、云产品、地表反射率产品、地表温度产品、地表覆盖变化产品、植被指数产品、云掩膜产品；
大气再分析数据：表层土壤水分、地表土壤温度数据、月平均2m气温。
3.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S2对数据的处理包括：
MODIS L1B产品辐射定标：通过尺度转换的方法将产品中整数型数据转换为反射率值；筛选同一时刻、同一经纬度的各个产品作为一组数据，其中，MODIS地表反射率产品作为输出真值，其他MODIS、再分析数据作为输入；
删除有云像素点，利用MODIS云掩膜产品，将产品中“可能晴空”，“确定晴空”视为无云点，从而删除有云的像素点。
4.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S3所述特征筛选通过以下方法实现：
S301.计算不同特征变量与输出值间的相关性系数；
S302.利用机器学习XGBoost模型，通过训练步骤S2中的数据集，得到各输入特征的重要性排序；
S303.综合两分析结果，删除明显不相关的特征。
5.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S4所述的LSTM与注意力机制的深度学习网络由输入层、LSTM层、注意力模块、全连接层构成，损失函数选择均方误差损失函数，优化器选择Adam优化器。
6.根据权利要求1所述的一种基于LSTM及注意力机制的地表反射率反演方法，其特征在于，步骤S5通过以下公式计算模型精度：
其中：n为样本总数，
为第i个样本的实际值，
为第i个样本的模型预测值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210992914.5A CN115758855B (zh) | 2022-08-18 | 2022-08-18 | 一种基于lstm及注意力机制的地表反射率反演方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210992914.5A CN115758855B (zh) | 2022-08-18 | 2022-08-18 | 一种基于lstm及注意力机制的地表反射率反演方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115758855A true CN115758855A (zh) | 2023-03-07 |
| CN115758855B CN115758855B (zh) | 2024-04-12 |
Family
ID=85350166
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210992914.5A Active CN115758855B (zh) | 2022-08-18 | 2022-08-18 | 一种基于lstm及注意力机制的地表反射率反演方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115758855B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118688226A (zh) * | 2024-08-26 | 2024-09-24 | 南京航空航天大学 | 一种基于星载sar数据的改进水云模型土壤湿度反演方法 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108663330A (zh) * | 2018-04-19 | 2018-10-16 | 中国国土资源航空物探遥感中心 | 一种基于叶片实测光谱的植被覆盖区土壤铜元素反演方法 |
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN110376139A (zh) * | 2019-08-05 | 2019-10-25 | 北京绿土科技有限公司 | 基于地面高光谱的土壤有机质含量定量反演方法 |
| CN111735772A (zh) * | 2020-05-13 | 2020-10-02 | 中国科学院空天信息创新研究院 | 改进的级联神经网络的高光谱数据地表反射率反演方法 |
| CN112632847A (zh) * | 2020-11-26 | 2021-04-09 | 淮阴师范学院 | 基于XGBoost回归算法的水稻叶片淀粉含量遥感反演模型和方法 |
| KR20220045375A (ko) * | 2020-10-05 | 2022-04-12 | 한국항공우주연구원 | 위성 영상의 지표면 반사도 산출 시스템 및 그 방법 |
| CN114676636A (zh) * | 2022-04-01 | 2022-06-28 | 自然资源部国土卫星遥感应用中心 | 一种综合植被和生境特征的草原区土壤水分快速反演方法 |
| WO2022166939A1 (zh) * | 2021-02-08 | 2022-08-11 | 南京农业大学 | 一种基于Sentinel-2卫星影像红边波段改进小麦生长早期叶面积指数估算的方法 |
-
2022
- 2022-08-18 CN CN202210992914.5A patent/CN115758855B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108663330A (zh) * | 2018-04-19 | 2018-10-16 | 中国国土资源航空物探遥感中心 | 一种基于叶片实测光谱的植被覆盖区土壤铜元素反演方法 |
| CN110287944A (zh) * | 2019-07-04 | 2019-09-27 | 吉林大学 | 基于深度学习的多光谱遥感影像的农作物虫害监测方法 |
| CN110376139A (zh) * | 2019-08-05 | 2019-10-25 | 北京绿土科技有限公司 | 基于地面高光谱的土壤有机质含量定量反演方法 |
| CN111735772A (zh) * | 2020-05-13 | 2020-10-02 | 中国科学院空天信息创新研究院 | 改进的级联神经网络的高光谱数据地表反射率反演方法 |
| KR20220045375A (ko) * | 2020-10-05 | 2022-04-12 | 한국항공우주연구원 | 위성 영상의 지표면 반사도 산출 시스템 및 그 방법 |
| CN112632847A (zh) * | 2020-11-26 | 2021-04-09 | 淮阴师范学院 | 基于XGBoost回归算法的水稻叶片淀粉含量遥感反演模型和方法 |
| WO2022166939A1 (zh) * | 2021-02-08 | 2022-08-11 | 南京农业大学 | 一种基于Sentinel-2卫星影像红边波段改进小麦生长早期叶面积指数估算的方法 |
| CN114676636A (zh) * | 2022-04-01 | 2022-06-28 | 自然资源部国土卫星遥感应用中心 | 一种综合植被和生境特征的草原区土壤水分快速反演方法 |
Non-Patent Citations (2)
| Title |
|---|
| TIANNING SU.ETC: "Refining aerosol optical depth retrievals over land by constructing the relationship of spectral surface reflectances through deep learning: Application to Himawari-8", 《REMOTE SENSING OF ENVIRONMENT》, 31 December 2020 (2020-12-31) * |
| 张佳洛: "基于深度学习的强对流天气降水临近预报的方法研究", 《中国优秀硕士学位论文全文数据库基础科学辑》, pages 009 - 143 * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118688226A (zh) * | 2024-08-26 | 2024-09-24 | 南京航空航天大学 | 一种基于星载sar数据的改进水云模型土壤湿度反演方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115758855B (zh) | 2024-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111795936B (zh) | 一种基于查找表的多光谱遥感影像大气校正系统、方法及存储介质 | |
| CN110174359B (zh) | 一种基于高斯过程回归的航空高光谱影像土壤重金属浓度评估方法 | |
| CN111666656A (zh) | 基于微波雨衰的降雨估算方法及降雨监测系统 | |
| CN111257241B (zh) | 一种deei的基于卫星观测的大气二氧化碳浓度反演算法 | |
| CN109974665B (zh) | 一种针对缺少短波红外数据的气溶胶遥感反演方法及系统 | |
| CN112348812B (zh) | 林分年龄信息测量方法及装置 | |
| CN115356249B (zh) | 基于机器学习融合模型的卫星偏振pm2.5估算方法和系统 | |
| CN111737912B (zh) | 一种基于深度神经网络的mwhts模拟亮温计算方法 | |
| CN113866102B (zh) | 一种基于光谱的土壤健康调查监测方法 | |
| CN116359137B (zh) | 多水域城市生态环境遥感监测方法 | |
| CN111737913B (zh) | 一种基于云水含量反演的mwhts晴空观测亮温选择方法 | |
| CN112906310A (zh) | 考虑萤火虫算法优化bp神经网络微波遥感土壤水分反演方法 | |
| CN111079835B (zh) | 一种基于深度全连接网络的Himawari-8大气气溶胶反演方法 | |
| CN110595960B (zh) | 一种基于机器学习的pm2.5浓度遥感估算方法 | |
| CN113252583B (zh) | 一种基于枯草植被指数计算高寒枯草覆盖度的方法 | |
| CN115759524B (zh) | 一种基于遥感影像植被指数的土壤生产力等级识别方法 | |
| CN115422703A (zh) | 一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法 | |
| CN116449331B (zh) | 一种基于w波段雷达和气象卫星的沙尘粒子数浓度估算方法 | |
| CN115494007A (zh) | 基于随机森林的土壤有机质高精度快速检测方法及装置 | |
| CN115758855B (zh) | 一种基于lstm及注意力机制的地表反射率反演方法 | |
| CN113807732A (zh) | 顾及局部特征的遥感生态环境的评价方法和存储介质 | |
| CN111965330B (zh) | 一种基于双极化类发射率的裸露土壤含水量反演方法 | |
| CN117523406A (zh) | 一种海洋水色水温扫描仪箝位修正方法及计算机可读介质 | |
| CN114755189B (zh) | 一种特征优选的自注意力机制高光谱卫星lai反演方法 | |
| CN115937714A (zh) | 基于神经网络和casa模型的净初级生产力估算方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |