CN115422703B

CN115422703B - 一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法

Info

Publication number: CN115422703B
Application number: CN202210847111.0A
Authority: CN
Inventors: 李俊; 张玥杰; 盛庆红; 王博
Original assignee: Nanjing University of Aeronautics and Astronautics
Current assignee: Nanjing University of Aeronautics and Astronautics
Priority date: 2022-07-19
Filing date: 2022-07-19
Publication date: 2023-09-19
Anticipated expiration: 2042-07-19
Also published as: CN115422703A

Abstract

本发明公开了一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，包括：获取MODIS数据；对获取的MODIS数据进行数据预处理，得到网络训练数据集；构建基于Transformer的深度学习网络，通过深度学习网络对网络训练数据集中的训练数据进行训练，生成地表热红外发射率反演模型；利用生成的地表热红外发射率反演模型反演地表热红外发射率，得到地表热红外发射率数据，并评定反演精度。本发明利用MODIS数据和Transformer网络构建一种不需大气校正的快速、高精度地表热红外发射率反演模型，有效解决了传统地表热红外发射率反演算法受大气和云干扰的问题，具有良好的准确性和普适性。

Description

一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法

技术领域

本发明涉及空间信息科学和人工智能深度学习的技术领域，具体涉及一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法。

背景技术

地表发射率(Land Surface Emissivity，LSE)是地表物质的固有属性，反映着物体在某一特定波长下的发射辐射能力，随着地表特性的变化而变化。地表发射率的数值大小与物质的介电常数、地表物质的组成成分、观测波长、地表的粗糙度、湿度，以及观测几何有关。地表热红外发射率指热红外波段的地表发射率，是热红外遥感反演中的一个关键特征参数，也是气候模型研究中的一个重要输入参数，与地表温度有着同等重要的作用。地表热红外发射率的应用十分广泛，它不仅能够将地表信息从卫星观测亮温中分离出来，使得大气参数的反演精度获得提升；还可以提供区域乃至更大范围的地表变化信息，进而更精确地反演地表参数。地表发射率的精确反演对全球气候变化研究以及各种水文、地面同化模型等研究具有非常重要的意义。

随着探测技术手段的发展，利用卫星观测数据反演地表热红外发射率成为地表热红外发射率反演的主要手段，卫星观测数据具有获取方便、光谱和时间分辨率高、探测范围广、成本低等优势。但是卫星在大气层顶探测到的辐射值通常是地表发射率、地表温度和大气中各种成分的吸收和辐射等作用之间的耦合结果，使得地表发射率反演精度极度依赖于大气校正精度。而且传统基于卫星数据的地表热红外发射率反演方法依赖红外辐射传输方程和热红外遥感三大定律(普朗克定律、斯蒂芬-玻尔兹曼定律、维恩位移定律)，虽然物理意义明确，但参数复杂、计算量大。

所以，需要一个新的技术方案来解决这些问题。

发明内容

发明目的：针对现有技术中存在的反演方法参数复杂、计算量大、反演精度受限于大气校正结果的问题，提供一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，利用MODIS数据和Transformer网络构建一种不需大气校正的快速、高精度地表热红外发射率反演模型，有效解决了由大气校正误差引起的发射率反演精度低的问题。

技术方案：为实现上述目的，本发明提供一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，包括如下步骤：

S1：获取MODIS数据；

S2：对获取的MODIS数据进行数据预处理，得到网络训练数据集；

S3：构建基于Transformer的深度学习网络，通过深度学习网络对网络训练数据集中的训练数据进行训练，生成地表热红外发射率反演模型；

S4：利用生成的地表热红外发射率反演模型反演地表热红外发射率，得到地表热红外发射率数据，并评定反演精度。

进一步地，所述步骤S1中MODIS数据包括热红外波段观测值、大气参数、地表温度和发射率、其他数据。

所述热红外波段观测值包括MODIS02定标辐射数据；

所述大气参数包括MODIS04气溶胶光学厚度数据、MODIS05大气可降水量数据、MODIS07大气温湿廓线和臭氧含量数据；所述地表温度和发射率包括MODIS11地表温度数据和热红外波段地表发射率数据；所述其他数据包括MODIS03经纬度坐标数据、MODIS13归一化植被指数(NDVI)数据、MODIS35云掩膜数据。

进一步地，所述步骤S2中数据预处理包括MODIS02数据辐射定标、时空匹配和异常值剔除。

MODIS02数据辐射定标：利用辐射定标公式，得到热红外波段的卫星观测辐射值；

时空匹配：根据各个数据的获取时间和经纬度坐标，以影像像元为单位，将同一地理位置在同一时刻的数据对应匹配，每个像元对应的步骤S1中所有数据为一组，构建输入数据集；

异常值剔除：利用MODIS35云掩膜数据，将“确信晴空”和“可能晴空”像元视为无云像元，剔除有云的像元，绘制所建立数据集的箱型图，根据箱型图结果剔除数据中的异常值，得到可以输入到网络中进行训练的数据集。

进一步地，所述步骤S3中深度学习网络的构建方法为：

设计基于Transformer的深度学习网络，包括encoder-decoder和attention机制，encoder由6个编码器叠加而成，decoder也由6个编码器叠加而成，损失函数选择均方误差损失函数，优化器选择Adam优化器。

深度学习网络的训练方法为：

将建立的数据集中地表热红外发射率作为标签，MODIS02热红外波段卫星观测数据、大气参数数据、云掩膜数据和归一化植被指数(NDVI)数据作为特征，送入深度学习网络进行训练，得到地表热红外发射率反演模型。

进一步地，所述步骤S4中地表热红外发射率数据的获取方法为：

在地表热红外发射率反演模型中输入大气参数数据、云掩膜数据和归一化植被指数(NDVI)数据，反演地表热红外发射率，得到地表热红外发射率数据。

进一步地，所述步骤S4中评定反演精度的方法为：

采用均方根误差(RMSE)和平均绝对百分比误差(MAPE)作为精度评定指标，公式如下：

均方根误差(RMSE)：

平均绝对百分比误差(MAPE)：

式中，n为样本总数，为模型预测值，y＝{y₁,y₂,...,y_n}为真实值；均方根误差和平均绝对百分比误差的范围均为[0,+∞)，当预测值与真实值完全吻合时等于0，即完美预测；预测效果越差，上述两误差值越大。

本发明将深度学习方法应用于地表热红外发射率反演模型的生成，深度学习方法能够根据输入数据来独立地构建(训练)出数据间的基本规则，通过对多种大气参数数据和地表发射率的训练，充分逼近其复杂的非线性关系，在反演地表热红外发射率时不再需要大气校正，能够很好地解决由大气校正误差引起的发射率反演精度低的问题。

有益效果：本发明与现有技术相比，具备如下优点：

1、本发明综合利用多种MODIS产品数据，充分考虑多种影响地表热红外发射率的因素，尤其是大气参数因素，多角度全方位的因素考虑能使本模型能够适用于多种不同的情况，具有良好的普适性。

2、本发明提出利用Transformer网络构建地表热红外发射率反演模型，克服了传统反演方法参数复杂、计算量大的困难。

3、本发明提出利用Transformer网络构建地表热红外发射率反演模型，通过大量训练数据充分逼近大气参数和地表发射率复杂的非线性关系，在反演地表热红外发射率时不再需要大气校正，有效解决了由大气校正误差引起的发射率反演精度低的问题。

附图说明

图1为本发明所述的反演方法流程图；

图2为本发明所用的神经网络结构示意图；

图3为本实施例获得的反演结果图。

具体实施方式

下面结合附图和具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

本发明提供一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，如图1所示，其包括如下步骤：

步骤一、获取热红外波段观测值、大气参数、地表温度和地表热红外发射率等MODIS数据；

本实施例中具体通过美国航空航天宇航局戈达德航天中心的数据分发网站https://ladsweb.modaps.eosdis.nasa.gov/search网站下载MODIS数据，数据包括：

(1)热红外波段观测值：MODIS02定标辐射数据(定标后得到热红外波段卫星观测数据)；

(2)大气参数：MODIS04气溶胶光学厚度数据、MODIS05大气可降水量数据MODIS07大气温湿廓线和臭氧含量数据；

(3)地表发射率：MODIS11热红外波段地表发射率数据；

(4)其他数据：MODIS03经纬度坐标数据、MODIS13归一化植被指数(NDVI)数据、MODIS35云掩膜数据。

步骤二、对数据进行预处理，制作网络训练数据集；

预处理包括辐射定标、时空匹配、异常值剔除步骤，具体如下：

(1)MODIS02数据辐射定标：利用辐射定标公式，得到热红外波段的卫星观测辐射值，辐射定标公式如下：

radiance＝scale×(data-offset)

式中，data为传感器获取数据值，scale和offset是定标参数，封装在数据产品的属性中，radiance是定标后的辐射值

(2)时空匹配：根据各个数据的获取时间和经纬度坐标，以影像像元为单位，将同一地理位置在同一时刻的数据对应匹配，每个像元对应的步骤一中所有数据为一组，构建输入数据集；

(3)异常值剔除：利用MODIS35云掩膜数据，云掩膜数据中，每个像元对应一个8位二进制数值，通过读取相应位数的值，可以判断出该像元是否晴空，包含四种情况，“有云”、“不确定”、“可能晴空”和“确信晴空”。将“确信晴空”和“可能晴空”像元视为无云像元，剔除有云的像元。

绘制所建立数据集的箱型图，根据箱型图结果剔除数据中的异常值，得到可以输入到网络中进行训练的数据集。

步骤三、设计基于Transformer的深度学习网络，训练数据并生成地表热红外发射率反演模型；

(1)设计基于Transformer的深度学习网络，包括encoder-decoder和attention机制，encoder由6个编码器叠加而成，每层包括两个sub-layers，第一个sub-layer是multi-head self-attention机制，用来计算输入的self-attention。self-attention机制的转换方式如下：输入x₁和x₂，想转换成z₁和z₂，先把x₁转换成三个不一样的向量，分别叫做q₁、k₁、v₁，然后把x₂转换成三个不一样的向量，分别叫做q₂、k₂、v₂。需要三个不同的矩阵W^Q、W^K、W^V，利用向量与矩阵相乘将一个向量变换成另一个向量，即：

q₁＝x₁W^Q

k₁＝x₁W^K

v₁＝x₁W^V

q₂＝x₂W^Q

k₂＝x₂W^K

v₂＝x₂W^V

然后用v₁和v₂两个向量的线性组合，来得到z₁和z₂，即：

z₁＝θ₁₁v₁+θ₁₂v₂

z₁＝θ₂₁v₁+θ₂₂v₂

在Transformer中，每一个子层(self-attetion,ffnn)之后都会接一个残差模块，并且有一个Layer normalization(LN)。Normalization的目的就是把输入转化成均值为0方差为1的数据。LN是在每一个样本上计算均值和方差，公式为：

decoder也由6个编码器叠加而成，每层包括3个sub-layer，sub-layer1使用的是“Masked”Multi-HeadedAttention机制，为了防止模型看到要预测的数据，导致数据泄露；sub-layer2是一个Encoder-DecoderMulti-headAttention，对encoder的输入进行attention计算；sub-layer3的输出后面采用LinearLayer和SigmoidLayer，来预测对应的预测概率。“Masked”表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果。Transformer模型里面涉及两种mask，分别是padding mask和sequence mask。Encoder-Decoder Multi-headAttention中，输入不仅有前一层的输出x，还有来自Encoder的输出m，然后把Encoder产生的向量m作为Decoder的key和value，Decoder的x作为query，然后进行Self-Attention。即有：

q＝xW^Q

k＝mW^K

v＝mW^V

Transformer网络模型的损失函数选择均方误差损失函数，优化器选择Adam优化器。由于Transformer具有最小的归纳偏置，使得它虽然可以具备更好的灵活性和迁移能力，但是在小数据量时的效果是受限制的，而CNN强大的归纳偏置使得即使使用非常少的数据也能实现高性能，但当存在大量数据时，这些归纳偏置就可能会限制模型。为此，将网络结构中编码器和解码器的前馈神经网络替换为CNN，取长补短，克服CNN和Transformer本身的一些局限性。网络中Encoder和Decoder结构如图2所示。

(2)深度学习网络训练：将建立的数据集中地表热红外发射率作为标签，MODIS02热红外波段卫星观测数据、大气参数数据、云掩膜数据和归一化植被指数(NDVI)数据作为特征，送入深度学习网络进行训练，得到地表热红外发射率反演模型。

步骤四、利用步骤三生成的地表热红外发射率反演模型反演地表热红外发射率，得到地表热红外发射率数据，并评定反演精度；具体如下：

(1)地表热红外发射率反演：在以精致研究区域大气参数数据、云掩膜数据和归一化植被指数(NDVI)数据的条件下，在地表热红外发射率反演模型中输入上述数据，可以进行该区域的地表热红外发射率反演。

(2)反演精度评定：将模型预测值与真实值进行对比，评定反演精度。采用均方根误差(RMSE)和平均绝对百分比误差(MAPE)作为精度评定指标，公式如下：

均方根误差(RMSE)：

平均绝对百分比误差(MAPE)：

式中，n为样本总数，为模型预测值，y＝{y₁,y₂,...,y_n}为真实值。均方根误差和平均绝对百分比误差的范围均为[0,+∞)，当预测值与真实值完全吻合时等于0，即完美预测；预测效果越差，上述两误差值越大。

为了验证本发明的实际效果，本实施例将本发明方法应用于部分青藏高原区域，得到如图3所示的反演结果，验证了本发明方法的有效性。

Claims

1.一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，其特征在于，包括如下步骤：

S1：获取MODIS数据；

S4：利用生成的地表热红外发射率反演模型反演地表热红外发射率，得到地表热红外发射率数据，并评定反演精度；

所述步骤S2中数据预处理包括MODIS02数据辐射定标、时空匹配和异常值剔除；

所述步骤S2中，

时空匹配：根据各个数据的获取时间和经纬度坐标，以影像像元为单位，将同一地理位置在同一时刻的数据对应匹配，使获取的MODIS数据在像元尺度上一一对应，将同一像元处获取的所有数据编为一组，构建输入数据集；

异常值剔除：利用MODIS35云掩膜数据，将“确信晴空”和“可能晴空”像元视为无云像元，剔除有云的像元，绘制所建立的数据集的箱型图，根据箱型图结果剔除数据中的异常值，得到可以输入到网络中进行训练的数据集；

所述步骤S3中深度学习网络的构建方法为：

设计基于Transformer的深度学习网络，包括encoder-decoder和attention机制；

encoder由6个编码器叠加而成，每层包括两个sub-layers，第一个sub-layer是multi-head self-attention机制，用来计算输入的self-attention；self-attention机制的转换方式如下：输入x₁和x₂，想转换成z₁和z₂，先把x₁转换成三个不一样的向量，分别叫做q₁、k₁、v₁，然后把x₂转换成三个不一样的向量，分别叫做q₂、k₂、v₂，需要三个不同的矩阵W^Q、W^K、W^V，利用向量与矩阵相乘将一个向量变换成另一个向量，即：

q₁＝x₁W^Q

k₁＝x₁W^K

v₁＝x₁W^V

q₂＝x₂W^Q

k₂＝x₂W^K

v₂＝x₂W^V

然后用v₁和v₂两个向量的线性组合，来得到z₁和z₂，即：

z₁＝θ₁₁v₁+θ₁₂v₂

z₂＝θ₂₁v₁+θ₂₂v₂

在Transformer中，每一个子层之后都会接一个残差模块，并且有一个Layernormalization，Normalization的目的就是把输入转化成均值为0方差为1的数据，LN是在每一个样本上计算均值和方差，公式为：

decoder也由6个编码器叠加而成，每层包括3个sub-layer，sub-layer1使用的是“Masked”Multi-Headed Attention机制，为了防止模型看到要预测的数据，导致数据泄露；sub-layer2是一个Encoder-Decoder Multi-head Attention，对encoder的输入进行attention计算；sub-layer3的输出后面采用LinearLayer和SigmoidLayer，来预测对应的预测概率；“Masked”表示掩码，它对某些值进行掩盖，使其在参数更新时不产生效果；Transformer模型里面涉及两种mask，分别是padding mask和sequence mask；Encoder-Decoder Multi-head Attention中，输入不仅有前一层的输出x，还有来自Encoder的输出m，然后把Encoder产生的向量m作为Decoder的key和value，Decoder的x作为query，然后进行Self-Attention，即有：

q＝xW^Q

k＝mW^K

v＝mW^V

Transformer网络模型的损失函数选择均方误差损失函数，优化器选择Adam优化器，将网络结构中编码器和解码器的前馈神经网络替换为CNN；

所述步骤S1中MODIS数据包括热红外波段观测值、大气参数、地表温度和发射率、其他数据；

所述热红外波段观测值包括MODIS02定标辐射数据；

2.根据权利要求1所述的一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，其特征在于，所述步骤S3中深度学习网络的训练方法为：

将建立的数据集中地表热红外发射率作为标签，MODIS02热红外波段卫星观测数据、大气参数数据、云掩膜数据和归一化植被指数数据作为特征，送入深度学习网络进行训练，得到地表热红外发射率反演模型。

3.根据权利要求1所述的一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，其特征在于，所述步骤S4中地表热红外发射率数据的获取方法为：

在地表热红外发射率神经网络反演模型中输入大气参数数据、云掩膜数据和归一化植被指数数据，模型根据输入数据反演地表热红外发射率，得到地表热红外发射率数据。

4.根据权利要求1所述的一种基于MODIS数据和Transformer网络的地表热红外发射率反演方法，其特征在于，所述步骤S4中评定反演精度的方法为：

均方根误差(RMSE)：

平均绝对百分比误差(MAPE)：

式中，n为样本总数，为模型预测值，y＝{y₁,y₂,...,y_n}为真实值；均方根误差和平均绝对百分比误差的范围均为[0,+∞)，当预测值与真实值完全吻合时等于0，即完美预测。