CN115661677A - 一种基于暗通道特征引导的轻量级卫星影像云检测方法 - Google Patents

Abstract

本发明公开了一种基于暗通道特征引导的轻量级卫星影像云检测方法，属于图像数据处理方法。本发明提出的基于暗通道特征引导的轻量级卫星影像云检测方法中，为了利用多光谱影像中的暗通道先验来指导网络学习特征，首先使用多尺度暗通道提取器预测暗通道，然后将暗通道特征和影像特征输入到基于注意力机制的暗通道引导上下文聚合模块增强影像特征，进而使得云检测结果更加精确。然后，为了增强网络在不同卫星传感器之间的迁移能力，提出了一个通道自适应模块用来处理不同卫星传感器波段数量不一致的情况。本方法可以在在保持参数量和运算量较小的情况下优于主流方，同时模型还具有一定的迁移能力。

Description

一种基于暗通道特征引导的轻量级卫星影像云检测方法

技术领域

本发明属于图像数据处理方法，具体涉及一种基于暗通道特征引导的轻量级卫星影像云检测方法。

背景技术

光学遥感影像是对地遥感观测重要的数据源之一，已经广泛应用于地表覆盖制图、植被水体监测等诸多领域，为全球环境监测提供了不可替代的支撑。然而，光学遥感影像不可避免会受到云遮挡影响，在影像中形成低利用价值甚至无利用价值的无效像元，导致地物信息被遮盖或扭曲而影响解译和分析。因此需要对影像中云进行检测，提高含云影像利用率。云检测通常是第一个也是最关键的预处理步骤。当需要处理大量的卫星影像时，手工标注云掩模是费时费力的。因此，设计全自动算法以检测光学遥感影像中的云非常重要。

光学遥感卫星自动化云检测一直以来面临着诸多挑战。首先，云的种类繁多，且云容易与一些明亮的地物混淆，尤其当遥感影像的光谱数量有限时，比如常见的近红外、红、绿、蓝四波段组成的多光谱影像，由地物造成的误检测更为普遍。其次，在薄云边界时，云信息与地表信息混杂在一起，导致很难区分云和非云区域。面对以上诸多问题，学者们从不同的角度提出了许多有效的方法。传统的光学遥感卫星影像云检测方法可以分为两大类：基于单时相的方法和基于多时相的方法。目前基于深度学习的方法可以实现端到端的云检测，并且能取得优于传统方法的表现。然而，现有方法仍存在一些问题：1)现有方法通过堆叠的卷积层与池化层，只提取了影像上局部空间特征，而忽略了遥感影像块的全局语义信息。2)现有方法一般只在相同的传感器影像进行训练和测试，当在与训练影像不同的传感器测试时精度大幅下降。3)现有方法参数量和计算量较大，不利于模型的部署。因此，现有的方法不足以应对实际问题和应用，限制了深度学习云检测技术在遥感领域的广泛应用。在这种情况下，如何提出一个轻量级且性能好的深度学习云检测模型是一个巨大的挑战。

发明内容

相比于卷积神经网络，视觉变换器(Vision Transfomer，ViT)将影像切割为多个小块，利用自注意力机制建模小块间的全局关系，因此，ViT可以捕获长距离的依赖关系，可以使得网络可以提取高阶更加抽象的特征来提高分类精度。在提出的方法中，采用了ViT作为网络的编码器。同时，观察到多光谱影像中的暗通道影像可以清楚地区分云区和其他地物类型，因此可以利用暗通道先验来指导网络学习特征。当训练好的网络在其他传感器数据上测试时，精度会大幅下降。因此，有必要提出一种模块来增强网络的迁移能力，提高模型在不用传感器之间的泛化性能。

因此，本发明提出基于暗通道特征引导的轻量级卫星影像云检测方法。首先使用多尺度暗通道提取器预测暗通道，然后将暗通道特征和影像特征输入到基于注意力机制的暗通道引导上下文聚合模块增强影像特征，进而使得云检测结果更加精确。然后，为了增强网络在不同卫星传感器之间的迁移能力，提出了一个通道自适应模块用来处理不同卫星传感器波段数量不一致的情况。

本发明所采用的技术方案是：基于暗通道特征引导的轻量级卫星影像云检测方法，包括以下步骤：

步骤1：首先将训练影像数据输入到编码器网络中提取不同层次的多个特征；

步骤2：将步骤1得到的多个特征进行级联操作得到图像语义特征F_sem；

步骤3：将步骤1得到的多个特征输入到多尺度暗通道提取器模块中，得到新的特征；

步骤4：将步骤3计算得到的新的特征计算暗通道预测损失

步骤5：将步骤3计算得到的新的特征进行级联操作得到暗通道特征F_dark；

步骤6：将步骤2得到的图像语义特征F_sem和步骤5得到的暗通道特征F_dark输入到暗通道引导的上下文聚合模块中得到最终的特征图；

步骤7：将步骤6得到最终的特征图与真实的云掩膜计算交叉熵损失

步骤8：通过梯度下降算法进行反向传播并更新网络的参数；

步骤9：步骤1至8，反复迭代，直到训练结束，得到用于预测遥感影像分分割结果的模型；

步骤10：在测试阶段，设置一个窗口在影像上滑动，将每个窗口的影像块输入到模型中得到每个窗口的预测结果，最后得到遥感影像的分割结果。

进一步的，步骤1中编码器网络选用MobileViT。

进一步的，步骤3中多尺度暗通道提取器模块包括多个1×1的卷积层，用于将步骤1中的多个特征映射到另一个空间得到新的特征。

进一步的，步骤4中暗通道预测损失

定义如下：

第一项回归损失

采用了reverse Huber loss：

其中，

表示预测的暗通道，y_dark表示真实的暗通道；

第二项损失

是暗通道与预测值梯度的L1损失：

其中，g_x和g_y分别代表在水平方向和垂直方向的梯度；

第三项损失

定义如下：

进一步的，步骤6中首先对图像语义特征进行两次1×1的卷积得到F_key和F_value，同样对暗通道特征进行一次1×1的卷积得到F_query；然后将这些特征维度变换为

其中C＝128，N为像素的数量；对F_key和F_query作矩阵相乘并应用SoftMax函数得到相似性特征图F；接着，再将相似性特征图F与特征F_value作矩阵相乘并与图像语义特征相加得到最终的特征图。

进一步的，步骤1中，为了增加云检测网络的在不同传感器迁移性，先将原始训练影像数据先输入到通道自适应模块，得到输出的三通道特征图，然后再输入到编码器网络，具体实现过程如下：

对于C个波段的多光谱影像I_c，对其进行如下变换：

f({I₁,…,I_c})＝g(h(I₁),…,h(I_c))#(5)

其中函数h为一个简单的卷积网络，g为一个对称函数；

如果函数h为一个卷积层，g为级联操作再在通道维度取最大值池化，则可以表示为：

f＝max(cat(conv(I₁),…,conv(I_c)))#(6)

其中

H，W分别为特征图的高和宽；

假设存在N个这样的函数h，则可以得到N个特征图{f₁,…,f_N}，为了最后输出3通道的特征图，将所有特征图进行级联并通过一个卷积层得到最后的特征图

即：

f_in＝conv(cat(f₁,…,f_N))#(7)。

进一步的，函数h还包括实例归一化与和残差卷积的组合。

与现有技术相比，本发明的优点和有益效果：本发明提出的基于暗通道特征引导的轻量级卫星影像云检测方法，采用了轻量级的骨干网络作为编码器；受到暗通道先验的启发，本发明融入了暗通道引导的上下文聚合模块增强影像特征，进而使得云检测结果更加精确；为了增强网络在不同卫星传感器之间的迁移能力，提出了一个通道自适应模块用来处理不同卫星传感器波段数量不一致的情况。

附图说明

图1：本发明设计的方法整体网络结构图；

图2：本发明设计的通道自适应模块结构图；

图3：本发明的方法的可视化结果；(a)假彩色影像(b)真值(c)Fmask(d)基线方法(e)PPM(f)ASPP(g)non-local(h)dual attention(i)本发明方法。

具体实施方式

为了便于本领域普通技术人员理解和实施本发明，下面结合附图及实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。

请见图1本发明设计的方法整体网络结构图，本发明提供的一种基于变换一致性正则化的遥感影像深度网络半监督语义分割方法包括以下步骤：

步骤1：本发明设计的方法整体网络结构图如图1所示，首先将训练影像数据输入到编码器网络中提取深层特征，为了使整个网络结构轻量化，这里编码器网络选用了MobileViT。MobileViT包含4个阶段，因而可以获取其4个阶段的特征{F₁,F₂,F₃,F₄}。

步骤2：将步骤1得到的4个特征进行级联操作得到图像语义特征F_sem。

步骤3：将步骤1得到的4个特征输入到多尺度暗通道提取器模块(见图1)中，该模块同时利用编码器网络提取的低级的细节特征(即F₁和F₂)和高级的语义特征(即F₃和F₄)去预测暗通道。为了减小特征维度，在该模块中4个阶段的特征分别用1×1的卷积映射到另一个空间得到4个新的特征。

步骤4：将步骤3计算得到的4个特征分别计算暗通道预测损失

暗通道预测损失

可以定义如下：

第一项回归损失

采用了reverse Huber loss：

其中，

表示网络预测的暗通道，y_dark表示真实的暗通道。

第二项损失

是暗通道与预测值梯度的L1损失：

其中，g_x和g_y分别代表在水平方向和垂直方向的梯度，n表示张量g_x的元素个数。

第三项损失

使用了图像重建领域最常用的指标SSIM。因为SSIM的上限为1，因此定义

如下：

步骤5：将步骤3计算得到的4个特征进行级联操作得到暗通道特征F_dark。

步骤6：将步骤2得到的图像语义特征F_sem和步骤5得到的暗通道特征F_dark输入到暗通道引导的上下文聚合模块(见图1)中得到最终的特征图。详细地，首先对图像语义特征进行两次1×1的卷积得到F_key和F_value，同样对暗通道特征进行一次1×1的卷积得到F_query。然后将这些特征维度变换为

其中C＝128，N为像素的数量。对F_key和F_query作矩阵相乘并应用SoftMax函数得到相似性特征图F。接着，再将相似性特征图F与特征F_value作矩阵相乘并与图像语义特征相加得到最终的特征图。

步骤7：将步骤6得到最终的特征图与真实的云掩膜计算交叉熵损失

步骤8：为了增加云检测网络的在不同传感器迁移性，在尽量不减少当前训练数据集上的性能的前提下，提出一个通道自适应模块，如图2所示。将原始训练影像数据在输入网络前先输入到通道自适应模块，得到输出的三通道特征图，最后再输入到预训练模型中。详细地，对于C个波段的多光谱影像I_C，对其进行如下变换：

f({I₁,…,I_c})＝g(h(I₁),…,h(I_c))#(5)

其中函数h为一个简单的网络如一个卷积层，g为一个对称函数。

如果函数h为一个卷积层，g为级联操作再在通道维度取最大值池化，则可以表示为：

f＝max(cat(conv(I₁),…,conv(I_c)))#(6)

其中

假设存在N个这样的函数h，则可以得到N个特征图{f₁,…,f_N}。为了最后输出3通道的特征图，将所有特征图进行级联并通过一个卷积层得到最后的特征图

即：

f_in＝conv(cat(f₁,…,f_N))#(7)

经过实验，将函数h采用了实例归一化与和残差卷积的组合。

步骤9：通过梯度下降算法进行反向传播并更新网络的参数θ。

步骤10：步骤1至9，反复迭代，直到训练结束。

步骤11：在测试阶段，设置一个窗口在影像上滑动，将每个窗口的影像块输入到网络中得到每个窗口的预测结果，最后得到遥感影像的分割结果。

应当理解的是，本说明书未详细阐述的部分均属于现有技术。

应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (7)

1.一种基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于，包括以下步骤：

步骤1：首先将训练影像数据输入到编码器网络中提取不同层次的多个特征；

步骤2：将步骤1得到的多个特征进行级联操作得到图像语义特征F_sem；

步骤3：将步骤1得到的多个特征输入到多尺度暗通道提取器模块中，得到新的特征；

步骤4：将步骤3计算得到的新的特征计算暗通道预测损失

步骤5：将步骤3计算得到的新的特征进行级联操作得到暗通道特征F_dark；

步骤6：将步骤2得到的图像语义特征F_sem和步骤5得到的暗通道特征F_dark输入到暗通道引导的上下文聚合模块中得到最终的特征图；

步骤7：将步骤6得到最终的特征图与真实的云掩膜计算交叉熵损失

步骤8：通过梯度下降算法进行反向传播并更新网络的参数；

步骤9：步骤1至8，反复迭代，直到训练结束，得到用于预测遥感影像分分割结果的模型；

步骤10：在测试阶段，设置一个窗口在影像上滑动，将每个窗口的影像块输入到模型中得到每个窗口的预测结果，最后得到遥感影像的分割结果。

2.根据权利要求1所述的基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于：步骤1中编码器网络选用MobileViT。

3.根据权利要求1所述的基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于：步骤3中多尺度暗通道提取器模块包括多个1×1的卷积层，用于将步骤1中的多个特征映射到另一个空间得到新的特征。

4.根据权利要求1所述的基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于：步骤4中暗通道预测损失

定义如下：

第一项回归损失

采用了reverse Huber loss：

其中，

表示预测的暗通道，y_dark表示真实的暗通道；

第二项损失

是暗通道与预测值梯度的L1损失：

其中，g_x和g_y分别代表在水平方向和垂直方向的梯度，n表示张量g_x的元素个数；

第三项损失

定义如下：

5.根据权利要求1所述的基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于：步骤6中首先对图像语义特征进行两次1×1的卷积得到F_key和F_value，同样对暗通道特征进行一次1×1的卷积得到F_query；然后将这些特征维度变换为

其中C＝128，N为像素的数量；对F_key和F_query作矩阵相乘并应用SoftMax函数得到相似性特征图F；接着，再将相似性特征图F与特征F_value作矩阵相乘并与图像语义特征相加得到最终的特征图。

6.根据权利要求1所述的基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于：步骤1中，为了增加云检测网络的在不同传感器迁移性，先将原始训练影像数据先输入到通道自适应模块，得到输出的三通道特征图，然后再输入到编码器网络，具体实现过程如下：

对于C个波段的多光谱影像I_C，对其进行如下变换：

f({I₁，...，I_c｝)＝g(h(I₁)，...，h(I_c))#(5)

其中函数h为一个简单的卷积网络，g为一个对称函数；

设置函数h为一个卷积层，g为级联操作再在通道维度取最大值池化，则可以表示为：

f＝max(cat(conv(I₁)，...，conv(I_c)))#(6)

其中

H，W分别为特征图的高和宽；

存在N个这样的函数h，则可以得到N个特征图{f₁，...，f_N}，为了最后输出3通道的特征图，将所有特征图进行级联并通过一个卷积层得到最后的特征图

即：

f_in＝conv(cat(f₁，...，f_N))#(7)。

7.根据权利要求6所述的基于暗通道特征引导的轻量级卫星影像云检测方法，其特征在于：函数h还包括实例归一化与和残差卷积的组合。

Images