CN116309150A - 一种sar辅助下光学遥感影像修复方法 - Google Patents

Abstract

本发明提出了一种SAR辅助下光学遥感影像修复方法，包括：获取训练影像集和测试影像集；构建云移除网络USSDRN‑CR，具体为特征提取与融合模块，引入了多尺度特征块(MFB)和门控卷积(GC)分别提取SAR影像和光学遥感影像的多尺度特征并融合；利用重建模块，引入空间和通道注意力块(SCAB)，将融合后的特征重建为无云的预测影像。本发明利用了GC对光学遥感影像上有效区域的信息进行提取，基于SCAB获取了全局的空谱信息，增加了网络的云去除能力。本发明有助于提高云污染数据可用性，生成无云和时空连续影像以进行后续的研究应用，包括长序列分析、土地覆盖/土地利用制图、变化检测、城市规划等。

Description

一种SAR辅助下光学遥感影像修复方法

技术领域

本发明属于遥感影像处理技术领域，具体涉及一种SAR辅助下光学遥感影像修复方法。

背景技术

近些年来，光学遥感图像被越来越多应用于环境监测、城市规划、灾害预报等领域。受多云天气的影响，获取的研究区域光学遥感图像经常会有云层的遮挡，给后续的应用和分析造成困难。因此，研究遥感图像的修复新方法，恢复云层覆盖下的地物信息，实现光学遥感图像数据修复，为采用遥感图像进行后续处理工作提供更多的地物信息。

通常，根据所使用的辅助信息源不同，遥感图像修复可以分为基于空间的方法，基于时间的方法和基于多源数据的方法。基于空间的方法利用影像中缺失区域和未缺失区域的空间自相关性进行影像修复，但不适合大面积云区域的重建。基于时间的方法利用时间相关性通过建立目标图像上有云区域和参考图像的无云区域的之间的线性关系进行缺失区域的重建。但当短时间内无法获得无云参考图像时，该方法效果较差。基于多源数据的方法则是利用其传感器所获得的影像作为辅助数据来实现修复。使用其他高时间分辨率的光学影像作为辅助，可以缩短云影像和参考影像之间的时间间隔，然而，由于无云参考图像仍然是光学影像，因此，仍然受到云的影响。

合成孔径雷达SAR(Synthetic Aperture Radar)是一种主动式的对地观测系统，能够全天时、全天候对地实施观测、并具有一定的地表穿透能力。SAR影像不受天气、云雾影响，可以为光学遥感图像云的去除提供有效辅助信息。近年来，一些基于深度学习的以SAR数据为辅助数据的修复网络已经被提出。然而，这些网络大部分都使用了普通的卷积操作来进行特征提取，将每个像素当作有效值进行处理，以滑动窗口的形式提取局部特征。因此，在修复网络中，云区域的无效值为后续的特征提取引入了误差。其次，卷积层只能获取局部特征，网络没有充分利用非邻域和光谱相关性信息。

发明内容

为解决上述已有技术存在的问题，本发明提出一种SAR辅助下光学遥感影像修复方法，更好的进行云影像上有效值区域信息提取，充分获取全局空间和光谱信息，提高遥感影像的修复效果。

为达到上述目的，本发明采用的技术方案为：

一种SAR辅助下光学遥感影像修复方法，包括如下步骤：

步骤(1)建立遥感影像库{R₁,R₂…R_n…R_K}，并对建立的影像库进行归一化处理，遥感影像库包括成对的有云影像数据集I，对应的SAR影像数据集S以及无云的遥感影像数据集L，其中，R_n代表影像库中第n个影像，n为影像库中第n个样本编号，K为影像库中影像数目；

步骤(2)从影像库中随机挑选80％样本，构建训练影像库，包括有云的遥感影像的样本集

与I^a对应的SAR影像样本集/>

和无云的遥感影像样本集/>

遥感影像库中其他影像为测试影像集，包括有云的遥感影像样本集/>

和对应的SAR影像样本集/>

其中，/>

表示第i个训练的有云影像，/>

表示第/>

对应的SAR影像，/>

表示/>

对应的无云标签影像，/>

和/>

表示第j个测试的有云影像以及对应的SAR影像，M为训练样本总数，N为测试样本总数；

步骤(3)建立空间和光谱联合SAR辅助下的深度残差神经网络：

(3a)构建特征提取与融合模块，引入多尺度特征块和门控卷积，实现多尺度特征的提取与融合；

(3b)构建重建模块，引入空间和通道注意力块，将融合后的特征重建为无云的预测影像；

步骤(4)确定残差神经网络的损失函数：

L_loss＝L_global+λ₁L_local+λ₂L_SSIM

其中，L_global为全局损失函数，网络重建的预测影像与无云标签影像之间的L1范数，L_local为局部损失函数，云掩膜区域的预测影像与无云标签影像之间的L1范数，L_SSIM为结构相似性损失函数，λ₁和λ₂是局部损失和结构相似性损失的超参数权重；

步骤(5)利用所述训练影像集训练所述深度残差神经网络模型，通过梯度下降优化对残差神经网络进行迭代训练，得到训练后的神经网络模型；

步骤(6)使用训练好的残差神经网络对测试影像集进行处理，实现光学遥感影像云去除。

进一步地，步骤(1)具体包括：

对建立的遥感影像库进行归一化处理，遥感影像库{R₁,R₂…R_n…R_K}为输入的样本集，公式如下：

其中，V_max为遥感影像库中所有像素的点最大值，V_min为遥感影像库中所有像素的点最小值，{R'₁,R'₂…R'_K}为归一化后的遥感影像样本集。

进一步地，所述步骤(3)的(3a)中的特征提取和融合模块包括三个分支；其中两个主分支包括一层卷积和多尺度特征块，分别对SAR影像

和光学影像/>

进行特征提取，第三个分支基于canny算子对/>

进行结构特征提取，然后进行卷积，最后将获取的多尺度特征进行并连；

所述的多尺度特征块，针对

和/>

影像，分为MFB-A以及MFB-B；MFB-A由三个并行连接的门控卷积层{Gconv1,Gconv2,Gconv3}构成；MFB-B由三个并行连接的卷积层{conv1,conv2,conv3}构成。

进一步地，所述步骤(3)的(3b)中的重建模块包括一个卷积层，Relu激活函数，五个残差块，一个空间和通道注意力块，五个残差块和一个卷积层；

所述的残差块，依次由第一卷积层，Relu激活函数，第二卷积层，Relu激活函数和第三卷积层构成；

所述的空间和通道注意力块，由空间注意力块和通道注意力块构成。

进一步地，所述步骤(4)中的损失函数，包括全局损失函数L_global、局部损失函数L_local以及结构相似性损失函数L_SSIM(I_out,I_gt)，公式如下：

其中，HWC是图像在所有通道中的像素总数，

为网络的预测无云影像，/>

为无云的标签影像，M为云掩膜。结构相似性系数SSIM是一个0到1之间的数，越大表示预测无云影像/>

和无云的标签影像/>

的差距越小，即图像质量越好，公式如下：

和/>

为预测影像和标签影像的均值，/>

和/>

为两幅影像的标准差，/>

为两幅影像的协方差，C₁和C₂是正常数。

本发明与现有技术相比具有以下优点：

(1)本发明提出了多分支多尺度卷积网络，分别对SAR影像和光学影像进行多尺度特征提取，为SAR影像和光学影像建立关系提供了更多的辅助信息，提高了影像重建效果。

(2)本发明在网络中引入了门控卷积层，它可以有效的抑制有云区域的信息，更好的提取有效区域的信息，用于后续的图像修复。从而避免了无效像元信息对提取的特征影响。

(3)考虑了空间和光谱相关性，本发明使用了空间和光谱自注意力机制，可以提供一个全局的感受野，并根据位置之间的相关性获得全局尺度的特征。利用图像中的邻域和非邻域空间信息和通道信息，用于修复云区域。

(4)本发明设计了损失函数，考虑了影像的全局区域，局部云区域以及结构信息，提升了影像的重建效果。

附图说明

图1是本发明的SAR辅助下遥感光学影像修复方法的流程示意图；

图2是本发明构建的卷积神经网络结构图；

图3是本发明提供的修复后的遥感图像样图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

如图1所示，本发明的SAR辅助下遥感光学影像修复方法实现步骤如下：

步骤1，建立遥感影像库，并对建立的影像库进行归一化处理。

1a)建立遥感影像库{R₁,R₂…R_n…R_K}，包括成对的有云影像数据集I，对应的SAR影像数据集S以及无云的遥感影像数据集L。其中，R_n代表影像库中第n个影像，n为影像库中第n个样本编号，K为影像库中影像数目；

1b)对建立的遥感影像库按照如下公式进行归一化处理：

其中，V_max为遥感影像库中所有像素的点最大值，V_min为遥感影像库中所有像素的点最小值，{R'₁,R'₂…R'_K}为归一化后的遥感影像样本集。

步骤2，选取训练影像库和测试影像库。

2a)从影像库中随机挑选80％样本，构建训练图像库，包括有云的遥感影像的样本集

与I^a对应的SAR影像样本集/>

和无云的遥感影像样本集/>

遥感影像库中其他影像为测试影像集，包括有云的遥感影像样本集/>

和对应的SAR影像样本集/>

其中，/>

表示第j个训练的有云影像，/>

表示第/>

对应的SAR影像，/>

表示/>

对应的无云标签影像，/>

和/>

表示第k个测试的有云影像以及对应的SAR影像，M为训练样本总数，N为测试样本总数；

2b)采用云和阴影检测方法提取有云的图像中被云遮挡的区域。

步骤3，建立一种空间和光谱联合SAR辅助下的残差神经网络。

如图2所示，所述步骤3的实现如下：

3a)构建特征提取与融合模块，实现多尺度特征的提取与融合。该模块包括了三个分支，对于两个主分支，包括了一层卷积和多尺度特征块(MFB结构)，分别对SAR影像

和光学影像/>

进行特征提取，卷积核的大小为3，滤波器的数目为72，并且使用了跳跃连接将输入的特征层与经过MFB结构后特征层相加，保留更多的信息，使网络更容易训练。第三个分支基于canny算子对/>

进行结构特征提取，然后进行卷积，卷积核的大小为3，滤波器的数目为36个卷积层。最后将获取的多尺度特征进行并连，实现特征的融合。

所述的MFB结构，针对

和/>

影像，分为MFB-A以及MFB-B；MFB-A由三个并行连接的门控卷积层{Gconv1,Gconv2,Gconv3}构成，卷积核大小分别为3、5和7，卷积滤波器的数目为24；MFB-B由三个并行连接的卷积层{conv1,conv2,conv3}构成，卷积核大小分别为3、5和7，卷积滤波器的数目为24。

所述的门控卷积，即在特征层的不同位置建立可学习的动态特征选择机制，通过网络学习最优云掩膜，将特征图φ(Feature_y,x)与云掩膜σ(Gating_y,x)相乘，具体计算公式如下：

Gating_y,x＝∑∑W_g*I+b_g.

Feature_y,x＝∑∑W_f*I+b_f.

O_y,x＝φ(Feature_y,x)⊙σ(Gating_y,x).

其中，W_g和W_f是第I个特征图对应的权重，b_g和b_f为对应的偏置，φ为Relu激活函数，σ为Sigmoid激活函数，Feature_y,x和Gating_y,x为同一输入特征通过两个分支卷积层得到的特征。

所述的Relu激活函数和Sigmoid激活函数分别为：

其中，x为Relu激活函数的输入函数，x'为Sigmoid激活函数的输入函数；

3b)构建重建模块，将融合后的特征重建为无云的预测影像。其包括了一个卷积层，Relu激活函数，五个残差块(RB)，一个空间和通道注意力块(SCAB)，五个RB和一个卷积层组成。卷积层卷积核大小为3，第一个卷积层滤波器数目为256，最后一个卷积层滤波器数目为输出波段数。

所述的RB，依次由第一卷积层，Relu激活函数，第二卷积层，Relu激活函数和第三卷积层构成，卷积核大小为3，卷积滤波器的数量为256。RB通过跳跃连接让输入和输出的特征层逐像素相加。

所述的SCAB，其由空间注意力块(SAB)和通道注意力块(CAB)构成，学习某个位置与所有其他位置之间的关系，实现对非邻域空间信息以及光谱信息的利用，从而获得更好的特征表示。

具体来说，所述的SAB，对于输入的特征X∈R^H×W×C(H×W×C的三维矩阵)，包括了三个并行的卷积层，卷积核大小为3，卷积滤波器的数量为256，然后将卷积的结果分别重塑为X'∈R^HW×C(HW×C的二维矩阵)，对其中两个分路进行softmax激活函数操作：

Q＝softmax_row(reshape(conv(X))

K＝softmax_col(reshape(conv(X)))

V＝reshape(conv(X))

其中，softmax_row和softmax_col分别对行和列执行softmax操作，conv()对输入进行卷积操作，reshape()对输入X大小进行重塑。将得到的K、Q以及V相乘，结果分别重塑为X”∈R^H×W×C，SAB输出E_s如下所示：

E_s＝α×reshape(QK^TV)+X

其中，α为在网络中逐渐学习的参数，初始化值为0。

所述的CAB，对于输入的特征X∈R^H×W×C，CAB包括了三个并行的reshape，将X分别重塑为X'∈R^HW×C，得到的K、Q以及V，通道注意力图S计算如下：

S＝softmx(K^TV)

将得到Q与得到的结果S转置相乘，结果重塑为X”∈R^H×W×C，CAB输出E_c如下所示：

E_c＝β×reshape(QS^T)+X

其中，β为在网络中逐渐学习的参数，初始化值为0。

所述的SCAB最后输出的结果为E：

E＝E_s+E_c

3c)将上述的特征提取与融合模块和重建模块依次相连，在有云光学影像输入分支通过跳跃连接到网络的输出端，得到构建的空间和光谱联合SAR辅助下的卷积神经网络。

步骤4，确定残差神经网络的损失函数。

4a)将训练样本集输入该残差神经网络。包括有云的遥感影像的样本集

与I^a对应的SAR影像样本集/>

无云的遥感影像样本集

作为标签数据用于损失函数计算；

4b)训练样本集输入网络的特征重建和融合模块以及重建模块，输出重建的预测无云影像

得到网络的损失函数L_loss：

L_loss＝L_global+λ₁L_local+λ₂L_SSIM

其中，L_global为全局损失函数，网络重建的预测影像与无云标签影像之间的L1范数，L_local为局部损失函数，云掩膜区域的预测影像与无云标签影像之间的L1范数，L_SSIM为结构相似性损失函数，λ₁和λ₂是局部损失和结构相似性损失的超参数权重。

所述的全局损失函数L_global、局部损失函数L_local以及结构相似性损失函数L_SSIM(I_out,I_gt)，公式如下：

其中，HWC是图像在所有通道中的像素总数，

为网络的预测无云影像，/>

为无云的标签影像，M为云掩膜。结构相似性系数SSIM是一个0到1之间的数，越大表示预测无云影像/>

和无云的标签影像/>

的差距越小，即图像质量越好，公式如下：

和/>

为预测影像和标签影像的均值，/>

和/>

为两幅影像的标准差，/>

为两幅影像的协方差，C₁和C₂是正常数。

步骤5，利用所述训练影像集训练所述深度残差神经网络模型，通过梯度下降优化对残差神经网络进行迭代训练，得到训练后的神经网络模型。

步骤6，使用训练好的残差神经网络对测试影像集进行处理，实现光学遥感影像云去除。

下面对本发明一种SAR辅助下遥感光学影像修复方法的效果做进一步的说明：

本发明的实验是在NVIDIA GeForce RTX 3090 GPU的硬件环境和Python的软件环境下进行的。

为了验证本发明提出的修复方法的有效性，在多个模拟以及真实测试数据集上对本发明方案进行了测试。这里给出一组真实测试数据集上的结果。本发明使用了数据集SEN12MS-CR，包含多云和无云Sentinel-2光学图像和Sentinel-1 SAR图像。影像集包含农田、山地、河流、城市四个场景信息，训练集包括1131对影像，测试集包括280对影像。影像大小为256×256，空间分辨率为10米。

另外，将本发明方法获取的修复结果与现有四种方法[P.Isola,J.-Y.Zhu,T.Zhou,andA.A.Efros,“Image-to-image translation with conditional adversarialnetworks,”in Proc.IEEE Conf.Comput.Vis.Pattern Recognit.,Nov.2017,pp.1125–1134](对比方法一)、[Y.Li,R.Fu,X.Meng,W.Jin,and F.Shao,“A sar-to-optical imagetranslation method based on conditional generation adversarial network(cgan),”IEEE Access,vol.8,pp.60 338–60 343,Feb.2020](对比方法二)、[C.Grohnfeldt,M.Schmitt,and X.Zhu,“A conditional generative adversarialnetwork to fuse sar and multispectral optical data for cloud removal fromsentinel-2 images,”in Proc.IGARSS-IEEE Int.Geosci.Remote Sens.Symp.,Nov.2018,pp.1726–1729](对比方法三)和[A.Meraner,P.Ebel,X.X.Zhu,and M.Schmitt,“Cloudremoval in sentinel-2 imagery using a deep residual neural network and sar-optical data fusion,”ISPRS J.Photogramm.Remote Sens.,vol.166,pp.333–346,Aug.2020](对比方法四)获取的修复结果进行比较，相应的测试结果如图3所示。图3从左至右，依次为有云的影像、SAR影像、对比方法一结果、对比方法二结果、对比方法三结果、对比方法四结果、本发明方法结果、标准参考结果。比较结果说明本发明获取的修复重建结果在纹理细节和光谱保真度重建方面都优于比对的四种方法获取的修复结果。至此，已经结合附图对本发明实施例进行了详细描述。依据以上描述，本领域技术人员应当对本发明的SAR辅助下遥感光学影像修复方法有了清楚的认识。

本发明以SAR影像信息作为辅助信息，在修复网络模型中，通过引入门控卷积和自注意力机制，能够更好的对云影像上有效值区域信息提取，获取影像全局空间信息和光谱信息，取得较好的遥感影像的重建效果。

虽然结合附图描述了本发明的实施方式，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。

Claims (5)

1.一种SAR辅助下遥感光学遥感影像修复方法，其特征在于，包括如下步骤：

步骤(1)建立遥感影像库{R₁,R₂…R_n…R_K}，并对建立的影像库进行归一化处理，遥感影像库包括成对的有云影像数据集I，对应的SAR影像数据集S以及无云的遥感影像数据集L，其中，R_n代表影像库中第n个影像，n为影像库中第n个样本编号，K为影像库中影像数目；

步骤(2)从影像库中随机挑选80％样本，构建训练影像库，包括有云的遥感影像的样本集

与I^a对应的SAR影像样本集/>

和无云的遥感影像样本集/>

遥感影像库中其他影像为测试影像集，包括有云的遥感影像样本集/>

和对应的SAR影像样本集/>

其中，/>

表示第i个训练的有云影像，/>

表示第/>

对应的SAR影像，/>

表示/>

对应的无云标签影像，/>

和/>

表示第j个测试的有云影像以及对应的SAR影像，M为训练样本总数，N为测试样本总数；

步骤(3)建立空间和光谱联合SAR辅助下的深度残差神经网络：

(3a)构建特征提取与融合模块，引入多尺度特征块和门控卷积，实现多尺度特征的提取与融合；

(3b)构建重建模块，引入空间和通道注意力块，将融合后的特征重建为无云的预测影像；

步骤(4)确定残差神经网络的损失函数：

L_loss＝L_global+λ₁L_local+λ₂L_SSIM

其中，L_global为全局损失函数，网络重建的预测影像与无云标签影像之间的L1范数，L_local为局部损失函数，云掩膜区域的预测影像与无云标签影像之间的L1范数，L_SSIM为结构相似性损失函数，λ₁和λ₂是局部损失和结构相似性损失的超参数权重；

步骤(5)利用所述训练影像集训练所述深度残差神经网络的模型，通过梯度下降优化对残差神经网络进行迭代训练，得到训练后的神经网络模型；

步骤(6)使用训练好的残差神经网络对测试影像集进行处理，实现光学遥感影像云去除。

2.根据权利要求1所述的SAR辅助下光学遥感影像修复方法，其特征在于，步骤(1)具体包括：

对建立的遥感影像库进行归一化处理，遥感影像库{R₁,R₂…R_n…R_K}为输入的样本集，公式如下：

其中，V_max为遥感影像库中所有像素的点最大值，V_min为遥感影像库中所有像素的点最小值，{R'₁,R'₂…R'_K}为归一化后的遥感影像样本集。

3.根据权利要求2所述的SAR辅助下光学遥感影像修复方法，其特征在于，所述步骤(3)的(3a)中的特征提取和融合模块包括三个分支；其中两个主分支包括一层卷积和多尺度特征块，分别对SAR影像

和光学影像/>

进行特征提取，第三个分支基于canny算子对/>

进行结构特征提取，然后进行卷积，最后将获取的多尺度特征进行并连；

所述的多尺度特征块，针对

和/>

影像，分为MFB-A以及MFB-B；MFB-A由三个并行连接的门控卷积层{Gconv1,Gconv2,Gconv3}构成；MFB-B由三个并行连接的卷积层{conv1,conv2,conv3}构成。

4.根据权利要求3所述的SAR辅助下光学遥感影像修复方法，其特征在于，所述步骤(3)的(3b)中的重建模块包括一个卷积层，Relu激活函数，五个残差块，一个空间和通道注意力块，五个残差块和一个卷积层；

所述的残差块，依次由第一卷积层，Relu激活函数，第二卷积层，Relu激活函数和第三卷积层构成；

所述的空间和通道注意力块，由空间注意力块和通道注意力块构成。

5.根据权利要求4所述的SAR辅助下光学遥感影像修复方法，其特征在于，所述步骤(4)中的损失函数，包括全局损失函数L_global、局部损失函数L_local以及结构相似性损失函数L_SSIM(I_out,I_gt)，公式如下：

其中，HWC是图像在所有通道中的像素总数，

为网络的预测无云影像，/>

为无云的标签影像，M为云掩膜；结构相似性系数SSIM是一个0到1之间的数，越大表示预测无云影像/>

和无云的标签影像/>

的差距越小，即图像质量越好，公式如下：

和/>

为预测影像和标签影像的均值，/>

和/>

为两幅影像的标准差，/>

为两幅影像的协方差，C₁和C₂是正常数。

Images