CN114494821A - 基于特征多尺度感知与自适应聚合的遥感影像云检测方法 - Google Patents

Abstract

本发明提供一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，由于不同尺度上云及云阴影的语义信息不同，因此本发明特征多尺度感知模块通过编码器‑解码器间并行的扩张卷积对感知不同尺度的上下文信息；特征自适应聚合模块基于自注意力机制，自适应地学习不同尺度的特征对云及云阴影检测的贡献，实现多尺度特征的加权聚合；矢量后处理流程包括填补空洞、缓冲区分析、边缘平滑、擦除等操作，从而解决了深度学习网络检测结果部分区域细碎、呈锯齿状等问题，最终获得更接近于人工生产的影像有效区，甚至较人工生产所获得的影像有效区更精准，为遥感影像生产节约了大量时间与人力成本，且最终获得的检测效果较佳，便于影像的后续应用。

Description

基于特征多尺度感知与自适应聚合的遥感影像云检测方法

【技术领域】

本发明属于遥感影像云及云阴影自动分割技术领域，涉及一种遥感影响云检测方法，具体涉及一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其是通过语义分割网络与矢量后处理自适应提取遥感影像中云及云阴影。

【背景技术】

近年来，我国对地观测技术蓬勃发展，卫星影像迅速增加，市场化程度逐年提高。目前，光学遥感卫星影像的相关应用仍在对地观测中占主要地位。在光学影像中，云作为一种广泛存在的物体，是影像第五分析及遥感影像特征提取精度的重要因素。云层的存在会遮挡地面场景，使地物信息丢失，因此在影像生产的过程中，需要去除云及云阴影区域以获取影像的有效覆盖区，以便影像的后续应用；此外，云层可能造成遥感影像的纹理变化及光谱信息变化，给遥感影像产品制作过程中辐射校正、几何校正、匀色、镶嵌等多个环节造成诸多不利。因此，光学遥感卫星影像的自动云检测一直是遥感领域中的研究热点。

光谱阈值法、纹理分析法等作为传统的云检测方法，其主要是一些基于规则的云检测方法，此类方法需要大量先验知识并依此设计手工特征，易于实现且计算简单，针对某一特定类型的传感器时可以达到较好的效果，但由于不同传感器的参数设置不同，还受到诸如温度、大气、光照、气候条件等环境因子的影响，导致人工设计的特征难以适用于所有情况，云检测效果会出现较大差异。

为解决上述问题，出现了机器学习算法，如随机森林、支持向量机、K最近邻算法等。由于其在特征提取与分类等任务表现出色，因此被广泛应用于众多领域中，在云检测领域中，许多研究将经典机器学习算法与纹理分析法结合，结合经典机器学习算法的空间纹理分析法能更好地对输入的特征进行分类，较传统的基于规则的云检测方法普适性强，但仍需要手工设计特征，且对云阴影的检测效果较差。因此急需一种可节约人力且检测效果较佳的检测方法。

【发明内容】

为了解决上述问题，本发明提供一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，通过对数据集进行不通级别的重采样训练语义分割网络，结合多尺度空洞卷积于注意力机制构建基于特征多尺度感知与自动获取影像有效区，为遥感影像生产节约了大量时间与人力成本，且最终获得的检测效果较佳，便于影像的后续应用。

本发明是通过以下技术方案实现的，提供一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，包括以下步骤：

S1选取遥感影像进行云及云阴影人工标注，得到云及云阴影检测数据集；

S2将云及云阴影检测数据集重采样至原始空间，对标签中云及云阴影的边缘设立缓冲区；

S3采用滑动窗口对影像与相应的标签同时进行裁剪，获取云检测模型的训练集；

S4将S3获得的训练集，采用数据增强方式增强后，输入基于特征多尺度感知与自适应聚合的遥感影像云检测UNet-Cloud模型，并使用二值交叉熵损失函数进行训练，获得训练好的数据模型；

S5对检测数据重采样至原始空间，并使用带重叠的分块策略，将每个影像块输入至S4中训练好的UNet-Cloud模型进行预测，获得预测影像块；

S6基于S5得到的预测影像块结果，采用其未重叠部分的预测结果进行拼接，得到测试数据云检测的栅格结果；

S7生成影像有效区矢量范围，将测试数据云检测的栅格结果转为矢量，通过去除小图斑、填补空洞、缓冲区分析、擦除，即可自动获取遥感影像去除云及云阴影后的有效覆盖范围。

特别的，于本发明中，由于云的尺度较大，为了兼顾大尺度上云的整体语义信息与小尺度上部分地物与云的差异，所述S2中需对云及云阴影检测数据集进行两个级别的重采样，分别为原始空间分辨率的4倍与8倍；同时由于人工标注中对云边缘标注存在的误差，因此本发明将标签中云及云阴影膨胀1个像素与腐蚀1个像素之差的区域定义为无效区，即缓冲区，于本发明中，所述缓冲区不参与模型训练过程中的反向传播，如此降低了云及云阴影数据集因边缘处标注误差带来的云误检。

特别的，所述S4具体通过以下方案实施：

S41数据增强：将获得的训练集进行随机裁剪、随机翻转、随机旋转、随机高斯噪声、随机颜色抖动后，输入基于特征多尺度感知与自适应聚合的遥感影像云检测UNet-Cloud模型；

S42模型构建：首先构建UNet-Cloud网络，其次构建特征多尺度感知模块，最后构建自适应聚合模块；

S43模型训练：对获得的模型与采用的数据集使用二值交叉熵损失函数进行训练，训练集被输入到网络中，基于梯度下降和反向传播算法进行迭代训练及优化，当迭代次数＝T₁时，验证样本集来验证被训练集训练的模型，得到验证精度，当迭代次数＝T₂，保存模型(T₂＝nT₁)。

特别的，所述UNet-Cloud网络具体通过以下方案构建：

使用头部卷积，包括1个串行、带步长的卷积层、批量归一化层和非线性整流单元初步提取特征，由于UNet-Cloud网络还包含n个串行的卷积组，每个卷积组包含两个卷积层，每个卷积层后紧接着1个BN层和ReLU激活函数，其中第1至第n/2个卷积组属于编码器，它们之间均由下采样层连接，第n/2+1至第n个卷积组属于解码器，它们之间均由上采样层连接，(1，n)，(2，n-1)……(n/2-1，n/2+2)卷积组之间使用特征多尺度感知与自适应聚合模块学习多尺度上下文信息并进行融合，最后通过1个卷积层与上采样层将输出的检测结果恢复至网络输入图像块的空间分辨率。

特别的，由于特征图连接操作仅仅是简单地将特征图串联，没有针对各个感受野的特征图的贡献进行分配，需要对f′_e进行进一步的特征增强以更好地捕获云及云阴影的多尺度语义信息，因此本发明所述特征多尺度感知模块具体按照以下方案构建：

使用并行的4组不同尺度的感受野进行特征提取以实现不同尺度下的特征提取，称为4个扩张卷积组；具体为使用不同扩张率的3×3扩张卷积，扩张率分别设置为1、4、8、16，每个扩张卷积之后同样紧接着1个BN层和ReLU激活函数；并行的4个扩张卷积组在不降低空间分辨率的条件下，实现了对f_e不同感受野下的特征提取；此外，对并行的4个扩张卷积组进行特征图连接操作，得到特征多尺度感知模块的输出f′_e，其包含了不同尺度的空间上下文信息；该过程用如下公式表示：

f′_e＝Concat(Conv_d₁(f_e)，Conv_d₄(f_e)，Conv_d₈(f_e)，Conv_d₁₆(f_e)) (1)，

公式(1)中，f_e表示编码器中的原始特征图，f′_e表示基于f_e提取的多尺度特征组合，Conv_d_i表示扩张率为i的扩张卷积组，Concat表示特征图连接操作。

特别的，本发明特征自适应聚合模块利用自注意力机制对f′_e进行的通道加权，从而实现对多尺度特征的贡献进行重新分配；由于通道权重图w_c使用了sigmoid激活函数压缩至[0，1]，为避免像素级乘法过分抑制特征图中的值，使用像素级加法重新加入f′_e，该过程相当于学习了各个多尺度特征的通道残差，该残差即为特征自适应聚合模块对多尺度特征的增强；最后使用1个1×1卷积对特征图通道进行降维，该过程对多尺度特征之间进行了聚合；最终整个特征自适应聚合模块输出了融合各级云及云阴影语义信息的特征图f″_e；综上所述，本发明所述自适应聚合模块具体按照以下方案构建：

将多尺度特征组合f′_e作为输入，f′_e依次经过全局平均池化、1×1卷积、Sigmoid激活函数得到通道权重图w_c，利用自注意力机制将w_c与f′_e进行元素乘法得到的结果与f′_e进行元素加法；最终使用1×1卷积对特征图通道进行降维与特征聚合；再将f″_e作为输出，表示基于注意力机制的多尺度特征自适应聚合，该过程可以用如下公式表示：

w_c＝Sig(Conv(Gap(f_e′))) (2)，

公式(2)中，Sig表示Sigmoid激活函数，Gap表示全局平均池化，Conv表示卷积核为1×1的卷积层，

分别代表元素乘法与元素加法；

编码器中的特征f_e经过特征多尺度感知与自适应聚合模块后得到增强后的特征f_e″，使用跳跃连接连接至解码器，用如下公式表示：

f′_d＝Concat(f_e″，f_d) (3)，

公式(3)中，f_d表示解码器中的原始特征，f′_d表示编码器中融合了f_d与f_e″的增强后特征。

特别的，所述S43在模型训练时，T₁和T₂的取值可由用户预设的网络参数，每轮执行T₁次迭代，在执行n轮后保存模型；也可设置网络超参数，采用经验值，如训练批大小为16，采用SGD优化器，初始学习率为0.05并采用Poly学习率衰减策略，基于随机梯度下降和反向传播算法，对整个网络进行迭代训练，直到通过验证精度判断模型收敛，保存最优土地覆盖分类模型；也可根据验证精度曲线和验证损失曲线上升及下降情况进行判断，曲线达到平稳时即收敛。

特别的，所述S5具体通过以下方案实施：

S51选择一批与训练样本数据不重合的高分辨率遥感影像，对测试数据重采样至原始空间分辨率的4倍，使用带重叠的分块策略，设置分块尺寸与分块步长，此时分割好的影像块之间具有一定重叠度；

S52将分割好的影像块输入至训练好的数据模型，获取自动检测结果；

S53对S52获得的检测进行拼接，仅采用每个分割好的影像块中间部分的预测结果进行拼接，得到最终的云及云阴影检测结果；

S54根据测试数据中人工标注的云及云阴影真实标签，以及模型输出并拼接好的测试结果，计算出云及云阴影精度指标，其中精度指标包括云及云阴影的交并比以及像素总体精度。

特别的，所述S7具体通过以下方案实施：

S71采用栅格转矢量方法，分别获取模型自动检测的测试影像云及云阴影的矢量范围以及去除云及云阴影后有效覆盖的矢量范围，并且对这两个矢量进行节点简化，将这两个矢量分别记为云矢量与有效区矢量，所述矢量范围不包含Nodata区域；

S72按设定的面积对云矢量、有效区矢量包含的面要素进行筛选，去除面积小于设定阈值的云与独立的有效区，解决了深度学习网络检测结果部分区域细碎的问题；

S73采用填补空洞的方法，分别填充S72得到的两个矢量中符合一定条件的空洞，避免了深度学习网络检测结果部分区域细碎的问题；

S74采用缓冲区分析的方法，将S73中得到的云矢量中的面要素外扩一定的距离，需保证云的边缘被全部包含；

S75采用边缘平滑的方法，将S74中得到的云矢量中的面要素的边缘进行平滑，避免了深度学习网络检测结果部分区域的锯齿问题；

S76采用擦除的方法，使用S75中得到的云矢量擦除S73中得到的有效区矢量，得到最终结果。

本发明通过耦合扩张卷积于注意力机制，提供一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，通过对不同尺度的空间上下文特征进行自适应地融合与特征增强，实现遥感影像云及云阴影的高精度自动提取，并通过后处理自动获取更符合人工生产的影像有效覆盖范围，为遥感影像生产节省大量的时间与人力成本的同时方便影像的后续应用；该遥感影像云检测方法中，特征多尺度感知模块通过连接并行、不同扩张率的扩张卷积组以获取多尺度上下文信息，兼顾不同尺度上云及云阴影的语义信息；特征自适应聚合模块采用自注意力机制进行自适应加权聚合，赋予不同感受野的特征图对于云及云阴影语义信息的贡献，从而更好地融合多尺度上下文信息。

综上所述，本发明提供的遥感影像云检测方法，避免了传统要素提取方法中人工设计特征的繁琐步骤，实现了“端对端”的云检测；通过多尺度的输入与多尺度特征提取、聚合兼顾了不同尺度云及云阴影的检测；通过一系列矢量后处理流程自动获取更接近于人工生产的影像有效区，为遥感影像生产节省大量的时间与人力成本的同时方便影像的后续应用。

【附图说明】

图1为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例中UNet-Cloud网络的结构示意图；

图2为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例中特征多尺度感知模块以及特征自适应聚合模块结构示意图；

图3为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例测试时影像块拼接策略示意图，其中斜线部分为第二行第二列分块所取的预测范围；

图4为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例的训练阶段流程图；

图5为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例的测试阶段流程图；

图6为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例的矢量后处理流程图；

图7为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例的检测结果于现有方法检测结果对比图；

图8为本发明一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法实施例的整景影像测试结果示意图。

【具体实施方式】

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合具体实施例及附图对本发明进行解释说明。

请参阅图1-图2，本发明提供一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，通过引入融合特征多尺度感知模块、特征自适应聚合模块的UNet-Cloud网络自动提取云及云阴影，并使用一系列矢量后处理流程，自动获取到更接近于人工生产的影像有效区，甚至较人工生产所获得的影像有效区更精准，为遥感影像生产节省大量的时间与人力成本的同时方便影像的后续应用。该遥感影像云检测方法具体包括以下步骤：

S1获得云及云阴影检测数据集：选取广西地区25景遥感影像进行云及云阴影人工标注，得到一个云及云阴影检测数据集，其中，优于1m的卫星遥感影像15景，2m及以上分辨率的卫星遥感影像10景，包含ZY-3、GF-1、GF-2、BJ-2、WV-3等常用数据源。

S2数据集重采样与无效区生成：将云及云阴影检测数据集重采样至原始空间，对标签中云及云阴影的边缘设立缓冲区，具体按照以下方案实施：

S21将人工标注的云及云阴影检测数据集重采样至原始空间分辨率的4倍与8倍；

S22由于人工标注中对云边缘标注存在的误差，本发明将标签中的云及云阴影膨胀1个像素与腐蚀1个像素之差的区域作为无效区，即缓冲区，该缓冲区不参与模型训练过程中的反向传播，如此降低了数据集因边缘处标注误差带来的云误检。

S3重采样数据集裁剪：采用步长为512像素、尺寸为1024像素的滑动窗口对影像与相应的标签同时进行裁剪，获取云检测模型的训练集。

S4将训练集进行模型训练，包括：数据增强、模型构建、模型训练，请参阅图4，具体按照以下方案实施：

S41数据增强：将S3获得的训练集，先采用概率为0.5，裁剪尺寸为768像素进行裁剪；裁剪后采用概率为0.5进行水平翻转；翻转后采用概率为0.7，角度为-30°至30°进行旋转；旋转后采用概率为0.5，噪声强度方差为0.001进行高斯噪声，高斯噪声后采用概率为1，亮度调整因子、对比度调整因子、饱和度调整因子、色相调整因子均为0.15进行颜色抖动等数据增强方式，输入基于特征多尺度感知与自适应聚合的遥感影像云检测UNet-Cloud模型；

S42模型构建：该模型通过耦合扩张卷积与注意力机制对不同尺度的空间上下文特征进行自适应地融合与特征增强，实现遥感影像云及云阴影的高精度自动提取；

首先构建UNet-Cloud网络，具体按照如下方式实施：

使用头部卷积(Head Convolution)，包括：1个步长为2，卷积核大小为5×5，通道数为64以及批量归一化层和非线性整流单元的组合初步提取特征；接着是8个串行的卷积组，每个卷积组包含2个卷积核大小为3×3的卷积层，每个卷积层后紧接着1个BN层和ReLU激活函数；第1至第4个卷积组属于该模型的编码器，其通道数分别为128，256，512，1024它们之间均由下采样层连接；第5至第8个卷积组属于解码器，其通道数分别为1024，512，256，128它们之间均由上采样层连接；最后，通过1个卷积层(实施例中卷积核大小为3×3，通道数为1)与上采样层将输出的检测结果恢复至网络输入图像块的空间分辨率。(1，8)，(2，7)，(3，6)卷积组之间使用特征多尺度感知与自适应聚合模块引入提取、融合多尺度上下文信息。

其次构建特征多尺度感知与自适应聚合模块，具体按照如下方式实施：

使用并行的4组不同尺度的感受野进行特征提取以实现不同尺度下的特征提取，称为4个扩张卷积组；具体为使用不同扩张率的3×3扩张卷积，扩张率分别设置为1、4、8、16，每个扩张卷积之后同样紧接着1个BN层和ReLU激活函数；并行的4个扩张卷积组在不降低空间分辨率的条件下，实现了对f_e不同感受野下的特征提取；此外，对并行的4个扩张卷积组进行特征图连接操作，得到特征多尺度感知模块的输出f′_e，其包含了不同尺度的空间上下文信息；该过程用如下公式表示：

f_e′＝Concat(Conv_d₁(f_e)，Conv_d₄(f_e)，Conv_d₈(f_e)，Conv_d₁₆(f_e)) (1)，

公式(1)中，f_e表示编码器中的原始特征图，f′_e表示基于f_e提取的多尺度特征组合，Conv_d_i表示扩张率为i的扩张卷积组，Concat表示特征图连接操作。

最后构建特征自适应聚合模块，具体按照如下方式实施：

将多尺度特征组合f′_e作为输入，f′_e依次经过全局平均池化、1×1卷积、Sigmoid激活函数得到通道权重图w_c，利用自注意力机制将w_c与f′_e进行元素乘法得到的结果与f′_e进行元素加法；最终使用1×1卷积对特征图通道进行降维与特征聚合；再将f″_e作为输出，表示基于注意力机制的多尺度特征自适应聚合，该过程可以用如下公式表示：

w_c＝Sig(Conv(Gap(f_e′))) (2)，

公式(2)中，Sig表示Sigmoid激活函数，Gap表示全局平均池化，Conv表示卷积核为1×1的卷积层，

分别代表元素乘法与元素加法；

编码器中的特征f_e经过特征多尺度感知与自适应聚合模块后得到增强后的特征f″_e，使用跳跃连接连接至解码器，用如下公式表示：

f′_d＝Concat(f_e″，f_d) (3)，

公式(3)中，f_d表示解码器中的原始特征，f′_d表示编码器中融合了f_d与f_e″的增强后特征。

S43模型训练：

对获得的模型与采用的数据集使用二值交叉熵损失函数进行训练，训练集被输入到网络中，基于梯度下降和反向传播算法进行迭代训练及优化，当迭代次数＝T₁时，验证样本集来验证被训练集训练的模型，得到验证精度，当迭代次数＝T₂，保存模型(T₂＝nT₁)，所述T₁和T₂的取值可由用户预设的网络参数，每轮执行T₁次迭代，在执行n轮后保存模型；也可设置网络超参数，采用经验值，如训练批大小为16，采用SGD优化器，初始学习率为0.05并采用Poly学习率衰减策略，基于随机梯度下降和反向传播算法，对整个网络进行迭代训练，直到通过验证精度判断模型收敛，保存最优土地覆盖分类模型；也可根据验证精度曲线和验证损失曲线上升及下降情况进行判断，曲线达到平稳时即收敛。

S5对S4巽寮好的模型进行“分块、输入网络测试、拼接、精度评定，最终获得预测影像块，请参阅图5，具体按照以下方案实施：

S51分块：选择一批与训练样本数据不重合的高分辨率遥感影像，对测试数据重采样至原始空间分辨率的4倍，使用带重叠的分块策略，其中分块尺寸为2048像素、分块步长为1024像素，此时分割好的影像块之间具有一定重叠度；

S52输入网络测试：将分割好的影像块输入至训练好的数据模型，获取自动检测结果；

S53拼接：对S52获得的检测进行拼接，仅采用每个分割好的影像块像素为1024像素的中间部分的预测结果进行拼接，得到最终的云及云阴影检测结果，由于每块图像的边缘附近缺乏充足的上下文信息，因此这些位置的分类精度较低，容易导致相邻斑块影像的预测结果不一致而引起的边界效应问题，同时避免采用对软分割结果重叠部分进行求和的方法带来的计算量，分块与拼接的结果如图3所示；

S54精度评定：根据测试数据中人工标注的云及云阴影真实标签，以及模型输出并拼接好的测试结果，计算出云及云阴影精度指标，其中精度指标包括云及云阴影的交并比以及像素总体精度，通过计算这些指标可检验UNet-Cloud模型云及云阴影检测的精度，从而可以验证本发明提出的方法的有效性。

采用本发明提供的上述流程后，可得到UNet-Cloud模型云及云阴影检测结果，通过人工标注的云及云阴影真实标签以及精度评价对比可确认本发明的有效性。其中图7(a)与(b)分别为原始的U-Net模型与本发明的UNet-Cloud模型云及云阴影检测结果，原始的U-Net模型作为基准线方法，由图可知，本发明由于引入特征多尺度感知模块与特征自适应聚合模块更好地学习了不同尺度上云及云阴影的语义信息，UNet-Cloud相较原始的U-Net能够更好地识别云阴影部分，而原始的U-Net存在一部分的云阴影漏检现象。

表1

表1为12景测试影像上的云及云阴影检测精度评价，由表1可知：相较基准线方法U-Net，本发明基于特征多尺度感知与自适应聚合的UNet-Cloud结果在评价指标上均有较为明显的提升；与其它主流语义分割方法如SegNet、DeepLab v3+相比，在综合评价指标上也具有一定的优势。由此可见本发明提供的基于特征多尺度感知与自适应聚合的方法对遥感影像云及云阴影检测方法真实有效，且检测效果更优。

S6基于S5得到的预测影像块结果，采用其未重叠部分的预测结果进行拼接，得到测试数据云检测的栅格结果。

S7生成影像有效区矢量范围，将测试数据云检测的栅格结果转为矢量，通过去除小图斑、填补空洞、缓冲区分析、擦除，即可自动获取遥感影像去除云及云阴影后的有效覆盖范围，具体通过以下方案实施：

S71采用栅格转矢量方法，分别获取模型自动检测的测试影像云及云阴影的矢量范围以及去除云及云阴影后有效覆盖的矢量范围，并且对这两个矢量进行节点简化，将这两个矢量分别记为云矢量与有效区矢量，所述矢量范围不包含Nodata区域；

S72按设定的面积对S71获得的云矢量、有效区矢量包含的面要素进行筛选，去除面积小于8000平方米的云与独立的有效区，从而解决了深度学习网络检测结果部分区域细碎的问题；

S73采用填补空洞的方法，分别填充S72得到的两个矢量中8000平方米以下或小于所述面要素的20％的空洞，避免了深度学习网络检测结果部分区域细碎的问题；

S74采用缓冲区分析的方法，将S73中得到的云矢量中的面要素外扩30米，保证云的边缘被全部包含；

S75采用边缘平滑的方法，将S74中得到的云矢量中的面要素的边缘进行平滑，避免了深度学习网络检测结果部分区域的锯齿问题；

S76采用擦除的方法，使用S75中得到的云矢量擦除S73中得到的有效区矢量，得到最终结果。

于本发明中，图6表示为整个矢量后处理的流程，图7(c)表示为后处理流程对于深度学习模型检测结果部分区域细碎现象以及检测结果存在部分空洞现象的优化，由图可知，填补优化后，使得云及云阴影检测结果边缘平滑、成片且无小面积空洞，更接近于人工生产的影像有效区。图8表示为经过UNet-Cloud模型自动提取与矢量后处理后的整景影像的有效区提取结果。

综上所述，本发明提供一种基于特征多尺度感知与自适应聚合的遥感影像云检测方法，由于不同尺度上云及云阴影的语义信息不同，因此本发明特征多尺度感知模块通过编码器-解码器间并行的扩张卷积对感知不同尺度的上下文信息；特征自适应聚合模块基于自注意力机制，自适应地学习不同尺度的特征对云及云阴影检测的贡献，实现多尺度特征的加权聚合；矢量后处理流程包括填补空洞、缓冲区分析、边缘平滑、擦除等操作，从而解决了深度学习网络检测结果部分区域细碎、呈锯齿状等问题，最终获得更接近于人工生产的影像有效区，甚至较人工生产所获得的影像有效区更精准。

Claims (9)

1.基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，包括以下步骤：

S1选取遥感影像进行云及云阴影人工标注，得到云及云阴影检测数据集；

S2将云及云阴影检测数据集重采样至原始空间，对标签中云及云阴影的边缘设立缓冲区；

S3采用滑动窗口对影像与相应的标签同时进行裁剪，获取云检测模型的训练集；

S4将S3获得的训练集，采用数据增强方式增强后，输入基于特征多尺度感知与自适应聚合的遥感影像云检测UNet-Cloud模型，并使用二值交叉熵损失函数进行训练，获得训练好的数据模型；

S5对检测数据重采样至原始空间，并使用带重叠的分块策略，将每个影像块输入至S4中训练好的UNet-Cloud模型进行预测，获得预测影像块；

S6基于S5得到的预测影像块结果，采用其未重叠部分的预测结果进行拼接，得到测试数据云检测的栅格结果；

S7生成影像有效区矢量范围，将测试数据云检测的栅格结果转为矢量，通过去除小图斑、填补空洞、缓冲区分析、擦除，即可自动获取遥感影像去除云及云阴影后的有效覆盖范围。

2.根据权利要求1所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述S2中需对云及云阴影检测数据集进行两个级别的重采样，分别为原始空间分辨率的4倍与8倍，所述缓冲区为标签中云及云阴影膨胀1个像素与腐蚀1个像素之差的区域，该区域不参与模型训练过程中的反向传播。

3.根据权利要求1所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述S4具体通过以下方案实施：

S41数据增强：将获得的训练集进行随机裁剪、随机翻转、随机旋转、随机高斯噪声、随机颜色抖动后，输入基于特征多尺度感知与自适应聚合的遥感影像云检测UNet-Cloud模型；

S42模型构建：首先构建UNet-Cloud网络，其次构建特征多尺度感知模块，最后构建自适应聚合模块；

S43模型训练：对获得的模型与采用的数据集使用二值交叉熵损失函数进行训练，训练集被输入到网络中，基于梯度下降和反向传播算法进行迭代训练及优化，当迭代次数＝T₁时，验证样本集来验证被训练集训练的模型，得到验证精度，当迭代次数＝T₂，保存模型(T₂＝nT₁)。

4.根据权利要求3所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述UNet-Cloud网络具体通过以下方案构建：

使用头部卷积，包括1个串行、带步长的卷积层、批量归一化层和非线性整流单元初步提取特征，由于UNet-Cloud网络还包含n个串行的卷积组，每个卷积组包含两个卷积层，每个卷积层后紧接着1个BN层和ReLU激活函数，其中第1至第n/2个卷积组属于编码器，它们之间均由下采样层连接，第n/2+1至第n个卷积组属于解码器，它们之间均由上采样层连接，(1，n)，(2，n-1)……(n/2-1，n/2+2)卷积组之间使用特征多尺度感知与自适应聚合模块学习多尺度上下文信息并进行融合，最后通过1个卷积层与上采样层将输出的检测结果恢复至网络输入图像块的空间分辨率。

5.根据权利要求4所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述特征多尺度感知模块具体按照以下方案构建：

使用并行的4组不同尺度的感受野进行特征提取以实现不同尺度下的特征提取，称为4个扩张卷积组；具体为使用不同扩张率的3×3扩张卷积，扩张率分别设置为1、4、8、16，每个扩张卷积之后同样紧接着1个BN层和ReLU激活函数；并行的4个扩张卷积组在不降低空间分辨率的条件下，实现了对f_e不同感受野下的特征提取；此外，对并行的4个扩张卷积组进行特征图连接操作，得到特征多尺度感知模块的输出f′_e，其包含了不同尺度的空间上下文信息；该过程用如下公式表示：

f′_e＝Concat(Conv_d₁(f_e)，Conv_d₄(f_e)，Conv_d₈(f_e)，Conv_d₁₆(f_e)) (1)，

公式(1)中，f_e表示编码器中的原始特征图，f′_e表示基于f_e提取的多尺度特征组合，Conv_d_i表示扩张率为i的扩张卷积组，Concat表示特征图连接操作。

6.根据权利要5所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述自适应聚合模块具体按照以下方案构建：

将多尺度特征组合f′_e作为输入，f′_e依次经过全局平均池化、1×1卷积、Sigmoid激活函数得到通道权重图w_c，利用自注意力机制将w_c与f′_e进行元素乘法得到的结果与f′_e进行元素加法；最终使用1×1卷积对特征图通道进行降维与特征聚合；再将f″_e作为输出，表示基于注意力机制的多尺度特征自适应聚合，该过程可以用如下公式表示：

公式(2)中，Sig表示Sigmoid激活函数，Gap表示全局平均池化，Conv表示卷积核为1×1的卷积层，

分别代表元素乘法与元素加法；

编码器中的特征f_e经过特征多尺度感知与自适应聚合模块后得到增强后的特征f″_e，使用跳跃连接连接至解码器，用如下公式表示：

f′_d＝Concat(f″_e，f_d) (3),

公式(3)中,f_d表示解码器中的原始特征，f′_d表示编码器中融合了f_d与f″_e的增强后特征。

7.根据权利要3所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述S43在模型训练时，T₁和T₂的取值可由用户预设的网络参数，每轮执行T₁次迭代，在执行n轮后保存模型；也可设置网络超参数，采用经验值，如训练批大小为16，采用SGD优化器，初始学习率为0.05并采用Poly学习率衰减策略，基于随机梯度下降和反向传播算法，对整个网络进行迭代训练，直到通过验证精度判断模型收敛，保存最优土地覆盖分类模型；也可根据验证精度曲线和验证损失曲线上升及下降情况进行判断，曲线达到平稳时即收敛。

8.根据权利要1所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述S5具体通过以下方案实施：

S51选择一批与训练样本数据不重合的高分辨率遥感影像，对测试数据重采样至原始空间分辨率的4倍，使用带重叠的分块策略，设置分块尺寸与分块步长，此时分割好的影像块之间具有一定重叠度；

S52将分割好的影像块输入至训练好的数据模型，获取自动检测结果；

S53对S52获得的检测进行拼接，仅采用每个分割好的影像块中间部分的预测结果进行拼接，得到最终的云及云阴影检测结果；

S54根据测试数据中人工标注的云及云阴影真实标签，以及模型输出并拼接好的测试结果，计算出云及云阴影精度指标，其中精度指标包括云及云阴影的交并比以及像素总体精度。

9.根据权利要1所述的基于特征多尺度感知与自适应聚合的遥感影像云检测方法，其特征在于，所述S7具体通过以下方案实施：

S71采用栅格转矢量方法，分别获取模型自动检测的测试影像云及云阴影的矢量范围以及去除云及云阴影后有效覆盖的矢量范围，并且对这两个矢量进行节点简化，将这两个矢量分别记为云矢量与有效区矢量；

S72按设定的面积对云矢量、有效区矢量包含的面要素进行筛选，去除面积小于设定阈值的云与独立的有效区；

S73采用填补空洞的方法，分别填充S72得到的两个矢量中符合一定条件的空洞；

S74采用缓冲区分析的方法，将S73中得到的云矢量中的面要素外扩一定的距离，需保证云的边缘被全部包含；

S75采用边缘平滑的方法，将S74中得到的云矢量中的面要素的边缘进行平滑；

S76采用擦除的方法，使用S75中得到的云矢量擦除S73中得到的有效区矢量，得到最终结果。

Images