CN114898227A - 一种云图分割方法 - Google Patents

Abstract

本发明公开了一种云图分割方法，包括步骤如下：S1，对哨兵二号卫星可见波段的图像进行预处理获得数据集；S2，利用改变卷积方式、添加高效通道注意力、修改长跳跃连接方式及修改激活函数的方法构建改进U‑Net模型；S3，将步骤S1得到的数据集输入改进型U‑Net模型进行训练、测试，与其他分割网络进行云图分割实验对比，得到比较输出预览图；S4，将步骤S3中的比较输出预览图通过transformer架构进行优化，得到最终输出效果图。本发明运用了通过在U‑Net模型中引入transformer以及回归模型，对云层的遥测图像分析计算精度有显著的提高，使得云图的预测更加准确且稳定。

Description

一种云图分割方法

技术领域

本发明涉及云图检测，尤其涉及一种云图分割方法。

背景技术

随着遥感图像处理技术的发展，云检测作为遥感图像预处理的重要步骤，逐渐成为人们重视的问题。云层的光谱信息由粒子大小、水汽、高度、光学厚度等因素决定，影像上云的光谱特征存在多种表现形式，云本身的亮度、透明度以及纹理形状等特征的表现形式存在差异性，云阴影容易与土地、地表阴影、水体等偏暗的地物特征相混淆。在高分辨率的遥感卫星图像中，云团及其投射阴影不可避免，其遥感影像中的部分区域会被云团污染，甚至会被完全遮盖，进而影响遥感图像的分类、分割、变化检测以及图像匹配等。

国内外针对基于卷积神经网络的云检测技术做了大量研究工作，如毋立芳等人提出基于FCN的云图分割方法实现到像素级分割，SegNet在FCN的基础上巧妙地使用编码——译码这样的结构进行优化，但是优势并不明显，无法做到信息的完全化复原。Zhao等人提出PSPNet聚合更多的上下文信息实现高质量的像素级场景解析，但它在遥感图像数据集上训练速度较慢、时间较长。Ronneberger等人提出用于图像分割的U-Net，其独特之处是使用镜像折叠外推缺失的上下文信息，补充输入图片的语义信息，通过跳跃连接将编解码器中的特征图直接拼接，有效的融合了深层细节信息和浅层语义信息，但此种方式会等权重地分配特征张量上所有空间位置和通道上的信息，从而产生大量的计算冗余，导致模型训练速度变慢，分割精度变低。

发明内容

发明目的：本发明的目的是提供一种能准确识别云团及其云阴影区域的云图分割方法。

技术方案：本发明的云图分割方法，包括步骤如下：

S1，对哨兵二号卫星可见波段的图像进行预处理获得数据集；

S2，采用改变卷积方式、添加高效通道注意力、修改长跳跃连接方式及修改激活函数的方法构建改进U-Net模型；

S3，将步骤S1得到的数据集输入改进U-Net模型进行训练、测试，与现有分割网络进行云图分割实验对比，得到比较输出预览图；

S4，对步骤S3得到的比较输出预览图通过transformer架构进行优化，得到最终输出效果图。

进一步，所述步骤S1的具体过程如下：

S11，获取哨兵二号卫星波段2、波段3、波段4的图像，将大图切分成小块，对小块用标注工具Labelme手动人工标注，获得对应的标签图像，并用以生成数据集，尺寸大小为224×224×3；

S12，对数据集采用数据增强方法，将数据集扩充为原来的两倍，将增强后的数据分为训练集、验证集和测试集。

进一步，所述步骤S2的具体过程如下：

S21，以U-Net分割模型为基础，将编码部分中每层的第一个卷积块换成可变卷积块，构建改进U-Net模型；

S22，在解码网络的拼接操作和在进行特征图的拼接操作中分别加入高效通道注意力机制，编码部分输出的特征图经过高效通道注意力机制生成一维注意力向量后，与原特征图进行对应元素相乘，得到加权后的特征图，特征图大小不变，直接与解码部分的特征图进行拼接操作；

S23，将批处理规范化加在U-Net网络的卷积层和激活层中间，用GeLU激活函数代替原有的ReLU激活函数，采用训练二分类的方式分别训练每一个语义分割类别，将每个二分类训练的模型进行合并，以得到改进U-Net模型；

S24，将解码部分的每一层与编码部分的同层的特征图以及相邻更低一层的特征图跳跃连接，确保解码部分的每一层有三个输入信息流；解码部分的最后一层对应编码部分的同层为第一层，解码部分的最后一层输入信息流不变，拼接操作后的特征图通道数变为896、448、224、96。

进一步，所述步骤S3的具体过程如下：

S31，将步骤S1中的数据集的80％作为训练集输入到改进U-Net模型中进行训练，通过带标签的数据监督学习，利用梯度下降算法微调整个网络参数，获得最佳参数模型；

S32，将步骤S1中的数据集的10％作为测试集输入到S31中的最佳参数模型中进行测试，输出初步的预测效果图；

S33，将S32中的预测效果图与标签图进行比较，得到改进U-Net模型的比较输出结果。

进一步，所述步骤S4中，将步骤S3中改进U-Net模型的比较输出图像利用一层卷积层convblock完成Patch-Embedding；再进行Flatten展开输出特征向量，随后对特征向量加入余弦位置编码Position-Emdedding，以及一层dropout随机失活；将输入向量放入三个不同的全连接层，输出查询向量Query、键向量Key和值向量Value；具体步骤如下：

S41，运用点乘dot product计算Q和K向量的相似度：

f(Q,K_i)＝Q^TK_i

其中，f(Q,K_i)为每一组数据对应的相似度，i＝1,2,3...m，Q为查询向量Query，K_i为每一个键向量Key，Q^T为Q的转置；

S42,将相似度通过softmax函数进行归一化：

其中，i＝1,2,3...m，α_i是归一后的相似度；

S43，对所有的values进行加权求和，得到Attention向量：

其中，V_i为每一个values。

本发明与现有技术相比，其显著效果如下：

1、本发明运用了transformer的自注意力机制，通过在U-Net模型中引入transformer以及回归模型，加强对于云图边缘侧云阴影污染区域的检测，能够有效区分土地、地表阴影、水体等偏暗的地物特征，降低检测失误率，对云层的遥测图像分析计算精度有显著的提高，使得云图的预测更加准确且稳定，提高了遥测效率。

2、本发明采用U-Net模型，能有效的融合了深层细节信息和浅层语义信息，能提高遥感影像的准确率，并提供一种云图分割方法。

附图说明

图1为本发明的云图分割流程图；

图2为本发明的U-Net模型结构图；

图3为本发明的可变卷积结构图；

图4为本发明的高效通道注意力机制结构图；

图5为本发明的基于高效通道注意力的U型云图分割模型；

图6为本发明的长跳跃连接方式图；

图7为本发明的transformer架构图；

图8为本发明的泛化实验比较图。

具体实施方式

下面结合说明书附图和具体实施方式对本发明做进一步详细描述。

如图1所示，为本发明的云图分割流程图，包括以下步骤：

步骤1，本发明采用的数据集来自哨兵二号卫星，使用哨兵二号卫星波段2(红色)、波段3(绿色)、波段4(蓝色)三个可见波段的图像，其中大图切分成小块，对小块用标注工具Labelme手动人工标注，再采用随机修剪、平移变换、噪声扰动等图像增强方法，将数据集扩充为原来的两倍，扩充现有数据的多样性。

步骤2，如图2所示为的U-Net模型结构图，图3为可变卷积结构图，可变卷积主要由偏移量卷积和标准卷积组成，本发明使用的标准卷积核大小为3×3，对于输入的一张特征图，为了学习偏移量offset，定义了另外一个偏移量卷积核大小为3×3，输出与原特征图大小相同，通道数为2N，可变卷积基于偏移量offset做双线性插值操作，然后执行标准卷积，其公式如下：

其中，p₀为特征图的某一像素点，y(p₀)为卷积输出，x为输入像素点的集合，p_n为特征图上的任一像素点，w(p_n)为像素点p_n的权重；{Δp_n|_{n＝1,2,...,N}}(N＝|R|)为偏移量，R＝{(-1,-1),(-1,0),...,(0,1),(1,1)}，定义了感受野的大小和扩张。

如图4所示，对于大小为W×W×C的特征图U，U＝[x₁,x₂,...，x_c]，对特征图U进行一维化操作，得到一维化后的特征图Z。一维化操作是指将每个特征通道独立进行求取平均值操作，将每个特征通道压缩成一个实数，可以表征特征通道上的全局分布，其公式为：

其中，z_i∈Z＝[z₁,z₂,...,z_c]，x_i∈U＝[x₁,x₂,...,x_c]，F_GAP(·)表示将特征通道c中的特征图通过线性运算变成一个实数，x_i表示特征通道c中第i个特征图，x_i(m,n)表示第i个特征图位置为(m,n)处的像素值，w表示特征通道c中的特征图尺寸大小，i＝1,2，...，c。

完成上述操作后，输入特征W×W×C的特征图变成1×1×C。之后，利用每个通道及其k个近邻构造权重矩阵，即对于第一个通道，它的第1至第k项为非零项，其他项均为零。第二个通道中，第2至第k+1项为非零项，其他项均为零，以此类推。权重矩阵用来捕获特征图之间的跨通道交互，其中k代表本地跨通道交互的覆盖范围，即有多少个相近邻参与一个通道的注意力预测。权重矩阵的表现形式如下：

其中，w^c,c-k+1表示特征通道c中第一个跨通道交互的数值，w^c,c表示特征通道c中第k个跨通道交互的数值。因此，对于特征图U中第c个通道特征图所对应的注意力权重，可以用公式表示如下：

其中，w_c表示第c个特征图对应的注意力权重，并且W_c＝[w₁,w₂,...,w_c]，w_c ^j表示对应于该特征图的权重矩阵，Ω_c ^k表示z_c对应的k个相邻的特征通道的集合，

为集合Ω_c ^k中的任意一个子集。进一步的，为了降低参数使之轻量化，同时保证对每个通道及其k个近邻通道的权重能够同时优化，让所有的特征通道共享权重信息，上述公式更新为

此时，轻量级自适应注意力机制的参数量变成了k。对于上述更新的公式，可以通过一维卷积来实现。因此，在轻量级自适应注意力机制中，最终通过卷积核大小为k的一维卷积完成了特征通道间的信息交互，公式可写成：

w"_c＝C1D_k(z) (6)

其中，C1D代表一维卷积。得到特征图对应的注意力权重后，首先利用Sigmoid门，获得0-1之间归一化的权重。然后利用最终的权重加权到特征图U上得到优化后的特征图。其公式如下：

U'＝σ(w_c)·U (7)

其中，U′为第c个特征通道优化后的特征图，σ(w_c)为利用Sigmoid门归一化之后的权重。通过上述操作，完成对权重的抑制或增强，即显著的特征图得到增强，非显著的特征图就会相应得被抑制，完成特征重标定的特征图接着进入下面网络，进行学习。

如图5所示，基于高效通道注意力的U型云图分割模型和U-Net最主要的区别在于，从编码部分得到的结果是否直接用于解码，经过改进的U-Net网络能够提取更加丰富且准确的特征信息，使得分割结果和泛化效果更加准确。同时本发明将批处理规范化加在U-Net网络的卷积层和激活层中间，用GeLU激活函数代替原有的ReLU激活函数，采用训练二分类的方式分别训练每一个语义分割类别，将每个二分类训练的模型进行合并。

ReLU函数定义为：

其中，x表示输入量。

GeLU函数定义为：

激活函数提高了网络的非线性建模能力，定义了输入输出之间的映射关系。ReLU函数在x≤0时，输出的结果均为0，会导致神经元的死亡；GeLU函数有效得解决了神经元死亡的问题，提升了激活函数的抗噪声性能。

如图6所示，En1到En5分别指的是网络编码部分的每一层，De4到De1分别指的是网络解码部分的每一层。本发明为了使得云图分割的轮廓与真实标签更加接近，将改进型U-Net解码部分的每一层与编码部分的同层的特征图以及相邻更低一层的特征图跳跃连接。因此解码部分的每一层有三个输入信息流，除了下一层的输入信息以及对应编码部分同一层的输入信息，还增加了编码部分上一层的低层输入信息。由于编码部分上一层的输出特征图尺寸是当前层的特征图尺度的2倍，因此先将编码器上一层的输出特征图进行最大池化操作，使得特征图尺寸与当前特征图尺寸相同。由于解码部分的最后一层对应编码部分的同层是第一层，不存在上一层，所以De1与原先一样有两个输入信息流。

步骤3，将训练的数据输入到模型中进行训练，通过带标签的数据监督学习，利用梯度下降算法微调整个网络参数，将训练最佳的模型权重用测试数据进行测试，直接输出最终预测效果图。如图7所示，输入网络的数据集尺寸为224×224×3，编码部分共有五层，前四层均由卷积块、可变卷积块和最大池化模块组成，卷积块包括3×3卷积核、批处理归一化bn和激活函数Gelu，可变卷积块包括偏移量卷积核和与同层相同的卷积块，第五层没有最大池化层；解码部分共有四层，均由上采样模块、拼接操作、两个卷积块组成，在第四层的最后加入1×1的卷积核对云图进行分类。将224×224×3的特征图输入到编码部分的第一层，经过卷积块conv11输出224×224×32的特征图，经过可变卷积块deform_conv11输出224×224×32的特征图，经过池化层Down1输出112×112×32的特征图；将112×112×32的特征图输入到编码部分的第二层，经过卷积块conv12输出112×112×64的特征图，经过可变卷积块deform_conv12输出112×112×64的特征图，经过池化层Down2输出56×56×64的特征图；将56×56×64的特征图输入到编码部分的第三层，经过卷积块conv13输出56×56×128的特征图，经过可变卷积块deform_conv13输出56×56×128的特征图，经过池化层Down3输出28×28×128的特征图；将28×28×128的特征图输入到编码部分的第四层，经过卷积块conv14输出28×28×256的特征图，经过可变卷积块deform_conv14输出28×28×256的特征图，经过池化层Down4输出14×14×256的特征图；将14×14×256的特征图输入到编码部分的第五层，经过卷积块conv15输出14×14×512的特征图，经过可变卷积块deform_conv15输出14×14×512的特征图；将14×14×512的特征图输入到解码部分的第一层，经过上采样Up4输出28×28×512的特征图，经过拼接操作Concat4连接Up4、deform_conv14和Down3输出的特征图得到28×28×896的特征图，经过两次卷积块conv24输出28×28×256；将28×28×256的特征图输入到解码部分的第二层，经过上采样Up3输出56×56×256的特征图，经过拼接操作Concat3连接Up3、deform_conv13和Down2输出的特征图得到56×56×448的特征图，经过两次卷积块conv23输出56×56×128；将56×56×128的特征图输入到解码部分的第三层，经过上采样Up2输出112×112×128的特征图，经过拼接操作Concat2连接Up2、deform_conv12和Down1输出的特征图得到112×112×224的特征图，经过两次卷积块conv22输出112×112×64；将112×112×64的特征图输入到解码部分的第四层，经过上采样Up1输出224×224×64的特征图，经过拼接操作Concat1连接Up1、deform_conv11输出的特征图得到224×224×96的特征图，经过两次卷积块conv21输出224×224×32，最后经过1×1卷积输出分割结果特征图为224×224×3。

如图7所示，将改进的U-Net比较输出图像224×224×3利用一层卷积层convblock完成Patch-Embedding，其中convblock由16个步长为1，padding为16，大小为16×16的标准卷积核组成，再进行Flatten展开输出为196×768特征向量。随后对196×768特征向量加入余弦位置编码Position-Emdedding，以及一层dropout随机失活，输出为197×768的向量。输入的197×768切分成49份(2，2，768)向量放入三个不同的全连接层，输出Q，K，V向量(即查询向量Query，键向量Key和值向量Value)，向量大小均为(2，2，256)，并与三个权重矩阵相乘。transformer公式具体步骤如下：

第31步，运用点乘dot product计算Q和K向量的相似度：

f(Q,K_i)＝Q^TK_i (10)

其中，f(Q,K_i)为每一组数据对应的相似度，i＝1,2,3...m，Q为查询向量Query，K_i为每一个键向量Key，Q^T为Q的转置；

第32步，将相似度通过softmax函数进行归一化：

其中，i＝1,2,3...m，α_i是相似度。

第33步，对所有的values进行加权求和，得到Attention向量：

其中，V_i即为每一个values。

最后输出(2，2，768)。对输出的(49，2，2，768)进行拼接成为(196，768)的特征向量，随后再reshape成(224，224，3)的特征图。最后放入一层卷积层由3个步长为1，padding为0，大小为1×1的标准卷积核组成，最后输出结果图。

如图8所示，将改进型U-Net分割模型与其他分割网络进行云图分割实验对比。由图8可知，实验选取了数据集中的四种云和云阴影不同分布的图像，实验1中云大多分布在云阴影的下方，背景区域较小；实验2中云大多分布在云阴影的右方，背景区域较小；实验3中云大多分布在云阴影的下方，背景区域较大；实验4中云大多分布在云阴影的右上方，背景区域较大。通过对四种不同分布的遥感图像进行分割对比可知，改进型U-Net的泛化效果最好，云图中的细节部分和边缘部分相比于其他模型的泛化效果更加清晰，能够较好的完成云和云阴影分割任务。

Claims (5)

1.一种云图分割方法，其特征在于，包括步骤如下：

S1，对哨兵二号卫星可见波段的图像进行预处理,获得数据集；

S2，采用改变卷积方式、添加高效通道注意力、修改长跳跃连接方式及修改激活函数的方法构建改进U-Net模型；

S3，将步骤S1得到的数据集输入改进U-Net模型进行训练、测试，与现有分割网络进行云图分割实验对比，得到比较输出预览图；

S4，对步骤S3得到的比较输出预览图通过transformer架构进行优化，得到最终输出效果图。

2.根据权利要求1所述的云图分割方法，其特征在于，所述步骤S1的具体过程如下：

S11，获取哨兵二号卫星波段2、波段3、波段4的图像，将大图切分成小块，对小块用标注工具Labelme手动人工标注，获得对应的标签图像，并用以生成数据集，尺寸大小为224×224×3；

S12，对数据集采用数据增强方法，将数据集扩充为原来的两倍，将增强后的数据分为训练集、验证集和测试集。

3.根据权利要求1所述的云图分割方法，其特征在于，所述步骤S2的具体过程如下：

S21，以U-Net分割模型为基础，将编码部分中每层的第一个卷积块换成可变卷积块，构建改进U-Net模型；

S22，在解码网络的拼接操作和在进行特征图的拼接操作中分别加入高效通道注意力机制，编码部分输出的特征图经过高效通道注意力机制生成一维注意力向量后，与原特征图进行对应元素相乘，得到加权后的特征图，特征图大小不变，直接与解码部分的特征图进行拼接操作；

S23，将批处理规范化加在U-Net网络的卷积层和激活层中间，用GeLU激活函数代替原有的ReLU激活函数，采用训练二分类的方式分别训练每一个语义分割类别，将每个二分类训练的模型进行合并，以得到改进U-Net模型；

S24，将解码部分的每一层与编码部分的同层的特征图以及相邻更低一层的特征图跳跃连接，确保解码部分的每一层有三个输入信息流；解码部分的最后一层对应编码部分的同层为第一层，解码部分的最后一层输入信息流不变，拼接操作后的特征图通道数变为896、448、224、96。

4.根据权利要求1所述的云图分割方法，其特征在于，所述步骤S3的具体过程如下：

S31，将步骤S1中的数据集的80％作为训练集输入到改进U-Net模型中进行训练，通过带标签的数据监督学习，利用梯度下降算法微调整个网络参数，获得最佳参数模型；

S32，将步骤S1中的数据集的10％作为测试集输入到S31中的最佳参数模型中进行测试，输出初步的预测效果图；

S33，将S32中的预测效果图与标签图进行比较，得到改进U-Net模型的比较输出结果。

5.根据权利要求4所述的云图分割方法，其特征在于，所述步骤S4中，将步骤S3中改进U-Net模型的比较输出图像利用一层卷积层convblock完成Patch-Embedding；再进行Flatten展开输出特征向量，随后对特征向量加入余弦位置编码Position-Emdedding，以及一层dropout随机失活；将输入向量放入三个不同的全连接层，输出查询向量Query、键向量Key和值向量Value；具体步骤如下：

S41，运用点乘dot product计算Q和K向量的相似度：

f(Q,K_i)＝Q^TK_i

其中，f(Q,K_i)为每一组数据对应的相似度，i＝1,2,3…m，Q为查询向量Query，K_i为每一个键向量Key，Q^T为Q的转置；

S42,将相似度通过softmax函数进行归一化：

其中，i＝1,2,3…m，α_i是归一后的相似度；

S43，对所有的values进行加权求和，得到Attention向量：

其中，V_i为每一个values。

Images