CN113837956A - 无配对监督云检测以及大区域厚云去除方法 - Google Patents

Abstract

本发明公开了无配对监督云检测以及大区域厚云去除方法，在云检测阶段，抽取一部分有云图和无云图分别送入网络进行二分类训练，网络输出的置信图经过最小交叉熵阈值分割后，再经过形态学“开”运算后得到一个精细云区域分割结果；对云图和无云图做了手动二分类来对网络训练，以达到和使用配对的标签数据方法相媲美的结果；在移除大面积云遮挡阶段，使用上下文残差聚合，解决难以修复高分辨率遥感图像的问题，使用置信驱动重建损失，使其能够修复高缺失比例的遥感图像；将深度学习与迁移学习相结合，将在place2数据集上预训练好的权重参数迁移至遥感图像修复模型中，缓解因遥感图像数据量不足导致模型训练不充分的问题。

Description

无配对监督云检测以及大区域厚云去除方法

技术领域

本发明属于图像处理技术领域，具体涉及无配对监督云检测以及大区域厚云去除方法。

背景技术

图像修复是一个常见的计算机视觉任务，它可以修复未知区域的像素，提高受损图像的视觉效果。遥感图像修复也是一个重要的门类，因为它极易受到云层覆盖的影响，导致部分信息丢失，影响后续操作的准确性。因此，我们借助图像修复的思想，将被云覆盖的区域视为未知区域，对有云图进行图像补全，从而达到视觉真实且语义可信的效果。

目前，卷积神经网络在各个领域有着广泛的应用。近年来，利用深度学习方法对图像进行检测和修复越来越流行，并取得了很大的进展。基于深度学习的方法非常适合于云区域的检测以及大面积云遮挡的去除，同时也存在一些问题急需解决。

首先，使用深度学习方法检测云区域，不需要人工选择云特征，而是利用卷积神经网络自动提取云特征。近年来，已有一些研究成果提出使用目标检测和分割方法检测云区域，并取得了不错的效果。这类方法以像素级分割作为研究目标，通过训练样本对模型参数进行优化，最终实现云检测任务。但是，这类方法对云遥感图像及其对应的标签值依赖性很强，需要花费大量的人力资源才能获得针对云区域的像素级精细的标签值。因此，成对的带标签图像的获取代价非常昂贵，几乎成为制约这类方法发展的瓶颈问题。

其次，使用深度学习方法去除云遮挡时，由于遥感图像本身的特性，仍存在如下问题亟待解决：1.遥感图像的分辨率通常较高，由于显存的限制，现有方法更适合于处理低分辨率的输入图像；2.因为云在单幅遥感图像中常常占据较大区域，云区域覆盖下可利用信息较少，导致生成图像语义信息不合理；3.遥感数据集获取困难，训练集不够导致模型很难得到充分训练。

发明内容

本发明的目的是提供无配对监督云检测以及大区域厚云去除方法，解决了因遥感图像数据量不足导致模型训练不充分的问题。

本发明所采用的技术方案是，无配对监督云检测以及大区域厚云去除方法，具体按照以下步骤实施：

步骤1、将通过卫星拍摄获得云遥感图像，将遥感图像切分为1024×1024的图片，手动将云图和无云图放入不同的文件夹；

步骤2、构建二分类网络Net_Detect，初始化训练参数，将有云图文件夹中的图片送入二分类网络，输出结果标签为0，得到一张置信图；将无云图文件夹中的图片送入二分类网络，标签为1；

步骤3、对置信图进行最小交叉熵阈值化；

步骤4、对步骤3得到的结果，进行图形学的“开”运算，得到二值掩码；

步骤5、构建图像的云修复网络Net_Inpaint，初始化训练参数；将二值掩码和云图一同送入云修复网络Net_Inpaint中，得到修复结果图；

步骤6、将修复结果进行上下文残差聚合，得到高分辨率的修复结果。

本发明的特点还在于：

步骤2具体包括以下步骤：

步骤2.1、搭建一个5层的卷积神经网络，第一层的卷积核大小为5，步长为2，其余四层卷积核大小为4，步长为1；每一层使用频谱归一化，最后一层为sigmoid层；

步骤2.2、将有云图和无云图文件夹中图片送入步骤2.1搭建的卷积神经网络中，将有云图文件夹中的图片送入二分类网络，输出结果标签为0，得到一张置信图；将无云图文件夹中的图片送入二分类网络，标签为1，损失函数为交叉熵损失函数，损失函数为：

上式中,p_data(x)表示真实数据x的分布概率，

表示噪声变量

的分布概率，D代表判别器，x代表无云图，D(x)代表将无云图送入判别器，

代表云图，

代表将云图送入判别器，ε代表分布函数的期望值。

步骤3具体过程为：

对置信图进行最小交叉熵阈值分割，其中熵函数表示为：

s(f，m)＝∫dx(f(x)-m(x))-f(x)log(f(x)/m(x)) (2)

式(2)中，f(x)表示置信图进行分割后得到的二值图像模型，m(x)表示置信图的图像模型。

步骤5具体过程为：

步骤5.1、搭建两阶段图像修复模型Net_Inpaint，输入和输出都为512×512，两阶段图像修复模型Net_Inpaint包括第一阶段修复网络Net_Inpaint_1、第二阶段修复网络Net_Inpaint_2，采用place2数据集预训练两阶段图像修复模型Net_Inpaint获得模型权重参数文件；将将无云遥感图送入云修复网络中输入两阶段图像修复模型Net_Inpaint，通过代码自动生成掩码来模拟云覆盖，第一阶段网络在卷积前将输入降采样到256×256，卷积层使用门控卷积，门控卷积表示为：

G_x,y＝convlution(W_g,I) (3)

F_x,y＝convlution(W_f,I) (4)

上式中，F_x,y表示代表特征通道经过卷积之后的输出，G_x,y表示掩码通道经过卷积之后的输出，W_g和W_f代表计算两个不同的卷积核，σ和

分别代表sigmoid激活函数和其它任意激活函数；

步骤5.2、将步骤5.1的输出结果作为高级特征送入第二阶段修复网络Net_Inpaint_2，计算注意力得分，并将注意力得分转移到其它层中加强其它层学习特征的能力；

步骤5.3、自定义图像的云修复网络Net_Inpaint损失函数，表示为：

其中，λ₁和λ₂均表示损失的权重，loss₁表示第一阶段修复网络Net_Inpaint_1的损失函数，loss₂为对抗损失，

代表云修复网络，

代表被加了掩码的遥感图，

表示两阶段图像修复模型Net_Inpaint的损失函数；

其中，G代表高斯滤波器，高斯卷积核大小为64×64，标准差为40；⊙代表矩阵的点乘，M为模拟云覆盖时生成的掩码，

为当前掩码被高斯滤波器卷积之后的结果，i表示生成权重掩码M_w的迭代次数，

代表i＝1时，权重掩码的值；

步骤5.4、将经步骤5.3计算得到损失函数用于云修复网络Net_Inpaint中，二值掩码和云图一同送入云修复网络Net_Inpaint中得到修复结果图。

步骤5.2中计算注意力得分具体为：

其中，s_i,j代表着高级特征之间的余弦相似度，N表示掩码外的补丁数。

步骤6具体过程为：

计算遥感图像与修复结果图之间的上下文残差，结合注意力得分，得到高分辨率的修复结果，被表示为：

其中，R_i是背景的上下文残差。

本发明有益效果是：

1、在云检测阶段，无需配对监督的数据，只需抽取一部分有云图和无云图分别送入网络进行二分类训练，网络输出的置信图经过最小交叉熵阈值分割后，再经过形态学“开”运算后得到一个精细云区域分割结果；无需使用配对的标签数据，只是对云图和无云图做了手动二分类来对网络训练，可以达到和使用配对的标签数据方法相媲美的结果；

2、在移除大面积云遮挡阶段，使用上下文残差聚合，解决难以修复高分辨率遥感图像的问题，使用置信驱动重建损失，使其能够修复高缺失比例的遥感图像；

3、将深度学习与迁移学习相结合，将在place2数据集上预训练好的权重参数迁移至遥感图像修复模型中，缓解因遥感图像数据量不足导致模型训练不充分的问题。

附图说明

图1本发明无配对监督云检测以及大区域厚云去除方法的流程图；

图2是本发明中使用的云遥感图；

图3是本发明无配对监督云检测网络结构图；

图4是本发明云检测网络输出的云区域置信图；

图5是本发明大区域厚云去除网络结构图；

图6是本发明云检测所得掩码图和有云图送入云去除网络后的修复结果图；

图7是本发明上下文残差聚合后的最终云去除结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明无配对监督云检测以及大区域厚云去除方法，如图1所示，具体按照以下步骤实施：

步骤1、将通过卫星拍摄获得云遥感图像，如图2所示，将遥感图像切分为1024×1024的图片，手动将云图和无云图放入不同的文件夹；

步骤2、构建二分类网络Net_Detect，初始化训练参数，将有云图文件夹中的图片送入二分类网络，输出结果标签为0，得到一张置信图；将无云图文件夹中的图片送入二分类网络，标签为1，如图3所示；具体包括以下步骤：

步骤2.1、搭建一个5层的卷积神经网络，第一层的卷积核大小为5，步长为2，其余四层卷积核大小为4，步长为1；每一层使用频谱归一化，最后一层为sigmoid层；

步骤2.2、将有云图和无云图文件夹中图片送入步骤2.1搭建的卷积神经网络中，将有云图文件夹中的图片送入二分类网络，输出结果标签为0，得到一张置信图；如图4所示，将无云图文件夹中的图片送入二分类网络，标签为1，损失函数为交叉熵损失函数，损失函数为：

上式中,p_data(x)表示真实数据x的分布概率，

表示噪声变量

的分布概率，D代表判别器，x代表无云图，D(x)代表将无云图送入判别器，

代表云图，

代表将云图送入判别器，ε代表分布函数的期望值。

步骤3、对置信图进行最小交叉熵阈值化；具体过程为：

对置信图进行最小交叉熵阈值分割，其中熵函数表示为：

s(f，m)＝∫dx(f(x)-m(x))-f(x)log(f(x)/m(x)) (2)

式(2)中，f(x)表示置信图进行分割后得到的二值图像模型，m(x)表示置信图的图像模型。

步骤4、对步骤3得到的结果，进行图形学的“开”运算，得到二值掩码；去除误检测的小点，并让掩码更加平滑；

步骤5、构建图像的云修复网络Net_Inpaint，初始化训练参数，如图5所示；将二值掩码和云图一同送入云修复网络Net_Inpaint中，得到修复结果图；如图6所示，具体过程为：

步骤5.1、搭建两阶段图像修复模型Net_Inpaint，输入和输出都为512×512，两阶段图像修复模型Net_Inpaint包括第一阶段修复网络Net_Inpaint_1、第二阶段修复网络Net_Inpaint_2，采用place2数据集预训练两阶段图像修复模型Net_Inpaint获得模型权重参数文件；将将无云遥感图送入云修复网络中输入两阶段图像修复模型Net_Inpaint，通过代码自动生成掩码来模拟云覆盖，第一阶段网络在卷积前将输入降采样到256×256，卷积层使用门控卷积，门控卷积表示为：

G_x,y＝convlution(W_g,I) (3)

F_x,y＝convlution(W_f,I) (4)

上式中，F_x,y表示代表特征通道经过卷积之后的输出，G_x,y表示掩码通道经过卷积之后的输出，W_g和W_f代表计算两个不同的卷积核，σ和

分别代表sigmoid激活函数和其它任意激活函数；

步骤5.2、将步骤5.1的输出结果作为高级特征送入第二阶段修复网络Net_Inpaint_2，计算注意力得分，并将注意力得分转移到其它层中加强其它层学习特征的能力；计算注意力得分具体为：

其中，s_i,j代表着高级特征之间的余弦相似度，N表示掩码外的补丁数。

步骤5.3、自定义图像的云修复网络Net_Inpaint损失函数，表示为：

其中，λ₁和λ₂均表示损失的权重，loss₁表示第一阶段修复网络Net_Inpaint_1的损失函数，loss₂为对抗损失，

代表云修复网络，

代表被加了掩码的遥感图，

表示两阶段图像修复模型Net_Inpaint的损失函数；

其中，G代表高斯滤波器，高斯卷积核大小为64×64，标准差为40；⊙代表矩阵的点乘，M为模拟云覆盖时生成的掩码，

为当前掩码被高斯滤波器卷积之后的结果，i表示生成权重掩码M_w的迭代次数，

代表i＝1时，权重掩码的值；

步骤5.4、将经步骤5.3计算得到损失函数用于云修复网络Net_Inpaint中，二值掩码和云图一同送入云修复网络Net_Inpaint中得到修复结果图。

步骤6、将修复结果进行上下文残差聚合，得到高分辨率的修复结果，如图7所示。具体过程为：

计算遥感图像与修复结果图之间的上下文残差，结合注意力得分，得到高分辨率的修复结果，被表示为：

其中，R_i是背景的上下文残差。

实施例

将一张大的遥感图像进行滑动窗口切分，每张大小为1024×1024，步长为512px，得到2339张遥感图片，手动将遥感图像分类，云图和无云图放在不同的文件夹中；

搭建一个5层的卷积神经网络，除了第一层的卷积核大小为5，步长为2，其余四层卷积核大小为4，步长为1。每一层使用频谱归一化，最后一层为sigmoid层；

将有云图和无云图送入步骤2.1搭建的网络中，标签分别设置为0和1，batchsize为1，学习率为0.0001，训练20个epoch，损失函数为交叉熵损失函数。

经过训练后，送入如图2所示的云图到二分类网络得到一张置信图，对置信图进行最小交叉熵阈值化，再使用opencv2中的morphologyEx函数进行图形学的“开”运算，卷积核大小为6×6，去除误检测的小点，并让掩码更加平滑；

构建图像修复网络，初始化训练参数，输入和输出都为512×512，载入在place2数据集上预训练好的模型。第一阶段网络在卷积前将输入降采样到256×256，来提高感受域，减少计算量，卷积层使用门控卷积；

然后第一阶段输出结果送入第二阶段网络中，计算注意力得分，每个patch大小为3×3，注意力热图大小为32×32，将注意力得分转移到其它层中。一共转移三次，第一次是将第一次下采样转移到最后一层上采样中，第二次下采样转移到到第二次上采样层中，第三次下采样转移到第一次上采样中。

以上图像修复网络在place2数据集上预训练20个epoch后，在遥感数据集上也训练20个epoch，使用adam优化器，学习率为0.001。

经云修复网络Net_Inpaint修复后，得到如图6所示的修复图。

最后，在测试阶段，计算高分辨率的上下文残差，将1024×1024分辨率的图像下采样到512×512，扣掉缺失区域后，两者相减，即可得到上下文残差，接着将上下文残差乘以注意力评分热图，得到缺失区域的残差。

将缺失区域的残差与图像修复网络结果相加，即可得到如图7所示的效果图。

根据图7可知，采用本发明的方法得到的修复图像的分辨率较高。

通过上述方式，本发明无配对监督云检测以及大区域厚云去除方法，在云检测阶段，无需配对监督的数据，只需抽取一部分有云图和无云图分别送入网络进行二分类训练，网络输出的置信图经过最小交叉熵阈值分割后，再经过形态学“开”运算后得到一个精细云区域分割结果；无需使用配对的标签数据，只是对云图和无云图做了手动二分类来对网络训练，可以达到和使用配对的标签数据方法相媲美的结果；在移除大面积云遮挡阶段，使用上下文残差聚合，解决难以修复高分辨率遥感图像的问题，使用置信驱动重建损失，使其能够修复高缺失比例的遥感图像；将深度学习与迁移学习相结合，将在place2数据集上预训练好的权重参数迁移至遥感图像修复模型中，缓解因遥感图像数据量不足导致模型训练不充分的问题。

Claims (6)

1.无配对监督云检测以及大区域厚云去除方法，其特征在于，具体按照以下步骤实施：

步骤1、将通过卫星拍摄获得云遥感图像，将遥感图像切分为1024×1024的图片，手动将云图和无云图放入不同的文件夹；

步骤2、构建二分类网络Net_Detect，初始化训练参数，将有云图文件夹中的图片送入二分类网络，输出结果标签为0，得到一张置信图；将无云图文件夹中的图片送入二分类网络，标签为1；

步骤3、对置信图进行最小交叉熵阈值化；

步骤4、对步骤3得到的结果，进行图形学的“开”运算，得到二值掩码；

步骤5、构建图像的云修复网络Net_Inpaint，初始化训练参数；将二值掩码和云图一同送入云修复网络Net_Inpaint中，得到修复结果图；

步骤6、将修复结果进行上下文残差聚合，得到高分辨率的修复结果。

2.根据权利要求1所述无配对监督云检测以及大区域厚云去除方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1、搭建一个5层的卷积神经网络，第一层的卷积核大小为5，步长为2，其余四层卷积核大小为4，步长为1；每一层使用频谱归一化，最后一层为sigmoid层；

步骤2.2、将有云图和无云图文件夹中图片送入步骤2.1搭建的卷积神经网络中，将有云图文件夹中的图片送入二分类网络，输出结果标签为0，得到一张置信图；将无云图文件夹中的图片送入二分类网络，标签为1，损失函数为交叉熵损失函数，损失函数为：

上式中,p_data(x)表示真实数据x的分布概率，

表示噪声变量

的分布概率，D代表判别器，x代表无云图，D(x)代表将无云图送入判别器，

代表云图，

代表将云图送入判别器，ε代表分布函数的期望值。

3.根据权利要求1所述无配对监督云检测以及大区域厚云去除方法，其特征在于，步骤3具体过程为：

对置信图进行最小交叉熵阈值分割，其中熵函数表示为：

s(f，m)＝∫dx(f(x)-m(x))-f(x)log(f(x)/m(x)) (2)

式(2)中，f(x)表示置信图进行分割后得到的二值图像模型，m(x)表示置信图的图像模型。

4.根据权利要求1所述无配对监督云检测以及大区域厚云去除方法，其特征在于，步骤5具体过程为：

步骤5.1、搭建两阶段图像修复模型Net_Inpaint，输入和输出都为512×512，两阶段图像修复模型Net_Inpaint包括第一阶段修复网络Net_Inpaint_1、第二阶段修复网络Net_Inpaint_2，采用place2数据集预训练两阶段图像修复模型Net_Inpaint获得模型权重参数文件；将将无云遥感图送入云修复网络中输入两阶段图像修复模型Net_Inpaint，通过代码自动生成掩码来模拟云覆盖，第一阶段网络在卷积前将输入降采样到256×256，卷积层使用门控卷积，门控卷积表示为：

G_x,y＝convlution(W_g,I) (3)

F_x,y＝convlution(W_f,I) (4)

上式中，F_x,y表示代表特征通道经过卷积之后的输出，G_x,y表示掩码通道经过卷积之后的输出，W_g和W_f代表计算两个不同的卷积核，σ和

分别代表sigmoid激活函数和其它任意激活函数；

步骤5.2、将步骤5.1的输出结果作为高级特征送入第二阶段修复网络Net_Inpaint_2，计算注意力得分，并将注意力得分转移到其它层中加强其它层学习特征的能力；

步骤5.3、自定义图像的云修复网络Net_Inpaint损失函数，表示为：

其中，λ₁和λ₂均表示损失的权重，loss₁表示第一阶段修复网络Net_Inpaint_1的损失函数，loss₂为对抗损失，

代表云修复网络，

代表被加了掩码的遥感图，

表示两阶段图像修复模型Net_Inpaint的损失函数；

其中，G代表高斯滤波器，高斯卷积核大小为64×64，标准差为40；⊙代表矩阵的点乘，M为模拟云覆盖时生成的掩码，

为当前掩码被高斯滤波器卷积之后的结果，i表示生成权重掩码M_w的迭代次数，

代表i＝1时，权重掩码的值；

步骤5.4、将经步骤5.3计算得到损失函数用于云修复网络Net_Inpaint中，二值掩码和云图一同送入云修复网络Net_Inpaint中得到修复结果图。

5.根据权利要求4所述无配对监督云检测以及大区域厚云去除方法，其特征在于，步骤5.2中所述计算注意力得分具体为：

其中，s_i,j代表着高级特征之间的余弦相似度，N表示掩码外的补丁数。

6.根据权利要求5所述无配对监督云检测以及大区域厚云去除方法，其特征在于，步骤6具体过程为：

计算遥感图像与修复结果图之间的上下文残差，结合注意力得分，得到高分辨率的修复结果，被表示为：

其中，R_i是背景的上下文残差。

Images