CN115240024A - 一种联合自监督学习和半监督学习的地外图片分割方法和系统 - Google Patents

Abstract

本发明涉及一种联合自监督学习和半监督学习的地外图片分割方法和系统。该方法对于地外图片通过掩码图片建模的方式进行自监督预训练，使得模型学习到多样鲁棒的特征空间表示，然后通过半监督方式来微调模型，充分利用地外数据中未标注部分的信息，使得模型在下游任务即语义分割上能有更好的表现。本发明通过自监督学习预训练使得网络可以在无标签数据中学习到良好的特征表示，并且提高了半监督方式下微调阶段的伪标签预测质量，同时微调阶段通过产生伪标签来利用未标注区域的监督信息，使得模型输出的预测结果更准确。本发明能够显著提升图片分割性能。

Description

一种联合自监督学习和半监督学习的地外图片分割方法和 系统

技术领域

本发明属于图片分割领域和自监督学习及半监督学习领域，具体涉及一种联合自监督学习和半监督学习的地外图片分割方法和系统。

背景技术

图像分割旨在把图像分成若干个特定的、具有单独语义信息的区域，对输入图片的每一个像素点进行分类，确定每一个像素的类别，从而进行区域划分，提取出感兴趣的部分。图像分割是目前人工智能领域的一个重要分支。

现有的图像分割方法可以整体上分为如下两类。第一类是传统图像分割算法，包括：阈值法，简单地根据图像的像素值和设定的阈值的大小关系分成两类实现前景和背景的分离；像素聚类法，假设图像中有K个类别，采用迭代聚类的方式如K-means聚类算法，将图像每个像素点分类；边缘分割法，根据图像边缘检测的结果，将图像中的不同区域分割出来；图切割算法，通过构建图片像素之间的赋权图，将图像分割与图的最小割问题关联等。这些算法使用传统的构造或迭代算法来进行图像分割。第二类是基于深度学习的图像分割算法，通过前馈网络为每一个像素点输出一个分类结果，典型的网络结构包括全卷积、扩张卷积等。

但是，上述方法中传统算法无法充分利用现有的数据集资源，且并不能取得很好的效果，在复杂场景的分割中精度往往不能满足要求；而已有的基于前传的深度学习方法一方面过于依赖大量标注数据的监督训练，而目前的地外图片分割数据集(例如火星图片分割数据集)无法满足实现高性能的纯监督训练下的数据需求；另一方面目前方法未充分考虑地外数据的特点，如稀疏标注、相似图片数据较多等，分割结果仍具有较大的提升空间，整体上性能无法满足实际应用的需求。

发明内容

针对上述技术问题，本发明提出了一种联合自监督学习和半监督学习的地外图片分割方法，减轻对大量标注数据的依赖，同时结合地外图片特性约束模型学习到的特征空间。

本发明采用的技术方案如下：

一种联合自监督学习和半监督学习的地外图片分割方法，包括以下步骤：

收集地外图片训练数据；

在自监督预训练阶段，利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；

在半监督微调阶段，利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；

将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。

进一步地，所述收集地外图片训练数据，是收集大量地外图片及其对应的分割标签组成训练数据集。

进一步地，所述自监督预训练阶段的神经网络模型包括特征提取网络B_seg、输出模块H_RGB、输出模块H_LBP；将地外图片数据进行随机掩码，输入所述特征提取网络B_seg，所述特征提取网络B_seg将网络的深层特征和浅层特征汇合得到图片的特征表示，该特征表示分别输入输出模块H_RGB、输出模块H_LBP，对原图片掩码区域的颜色特征和纹理特征进行预测，即分别在RGB色彩空间和局部二进制模式特征空间下进行预测。

进一步地，所述自监督预训练阶段采用以下损失函数进行端到端地联合优化：

L_rgb＝||g(f(x⊙M)))-x||₂

L_lbp＝||h(f(x⊙M)))-s||₂

L_pre-train＝λ₁L_rgb+λ₂L_lbp

式中，L_rgb为RGB色彩预测的损失函数项，L_lbp为局部二进制模式特征预测的损失函数项，x为输入样本图片，s为x掩码前计算得到的局部二进制模式直方图，g、h分别代表输出模块H_RGB和输出模块H_LBP，f代表特征提取网络；M表示随机产生的掩码，其中1表示该区域有效；⊙表示元素积的运算，L_pre-train为总损失函数项，λ₁与λ₂为权重值。

进一步地，所述半监督微调阶段的图片分割神经网络模型包括特征提取网络f、输出模块H_seg、判别器d；所述判别器通过学习图片中每个像素的标注不确定性来预测每个像素是否被标注，通过设定阈值将置信度高的区域选择出来作为伪标签；将伪标签与原数据已标注区域的真实标签进行融合，利用融合得到的标签对网络的语义分割预测结果进行约束，进行端到端的训练。

进一步地，所述半监督微调阶段的训练过程分为两步：

第一步即训练前期的总函数损失项为：

L＝λ_ceL_ce+λ_diceL_dice，

其中，L_ce为分割预测交叉熵损失函数项，L_dice为优化判别器二分类预测的损失函数项，λ_ce和λ_dice为权重值；

第二步即训练后期加入L_pseudo损失，即总函数损失项为：

L＝λ_ceL_ce+λ_diceL_dice+λ_pseudoL_pseudo，

其中，L_pseudo为基于伪标签的未标注区域预测交叉熵损失函数项，λ_pseudo为权重值。

一种联合自监督学习和半监督学习的地外图片分割系统，其包括：

训练数据收集模块，用于收集地外图片训练数据；

自监督预训练模块，用于利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；

半监督微调模块，用于利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；

语义分割模块，用于将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。

本发明通过自监督学习预训练使得网络可以在无标签数据中学习到良好的特征表示，并且提高了半监督方式下微调阶段的伪标签预测质量，同时微调阶段通过产生伪标签来利用未标注区域的监督信息，使得模型输出的预测结果更准确。与现有技术相比，本发明显著提升了地外图片(包括火星图片等)分割性能。在AI4MARS大规模火星图片分割基准测试集上，本发明将频权交并比(Frequency Weighted Intersection over Union)指标从83.23％提升到了88.82％，均交并比(Mean Intersection over Union)指标从68.73％提升到了70.64％；在S⁵Mars火星图片分割基准测试集上，本发明将频权交并比指标从76.47％提升到了87.18％，均交并比指标从76.38％提升到了77.20％。

附图说明

图1为本发明实施例所使用的图片分割神经网络框架的结构图，上半部分为自监督预训练流程，下半部分为半监督微调流程。

图2A、图2B分别为本发明实施例的输入图片和模型预测分割结果图。

具体实施方式

为使本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图作详细说明如下。需说明的是，以下实施例所给出的具体层数、模块数、函数数量以及对某些层的设置等都仅是一种较佳的实施方式，而不用于限制，本领域技术人员可以根据实际需要来选取数量和设置某些层，应可理解。

本发明的一种联合自监督学习和半监督学习的地外图片分割方法，在对于给定地外地表图片的输入下，通过掩码图片建模的方式进行自监督预训练，使得模型学习到多样鲁棒的特征空间表示，接下来通过半监督方式来微调模型，充分利用地外数据中未标注部分的信息，使得模型在下游任务即语义分割上能有更好的表现。该方法包括以下步骤：

1)收集地外图片训练数据。

2)首先进行自监督预训练阶段，将地外图片数据进行随机掩码，并输入特征提取网络(基线模型)中，将网络的深层特征和浅层特征汇合得到图片的特征表示；

3)将上一步得到的特征表示分别输入两个输出模块，以对原图片掩码区域的颜色特征和纹理特征进行预测，即分别在RGB色彩空间和局部二进制模式(Local binarypattern，LBP)特征空间下进行预测。

4)自监督预训练结束后，使用得到的模型中特征提取网络的权重参数信息初始化一个标准分割模型，并以半监督方式开始在下游任务上对模型进行微调。

5)输入地外图片数据，标准分割模型输出得到预测的语义分割结果。同时训练一个判别器，由于图片本身存在已标注区域和未标注区域，表示该区域的标注不确定性，该判别器通过学习这种不确定性来预测每个像素是否被标注。

6)完成步骤5)后，每一次输入训练数据，可以得到整张图片对应的语义分割结果(包括已标注区域和未标注区域)，以及图片中每个像素的标注不确定性，判别器通过设定一个阈值来将置信度较高的区域选择出来，作为待选伪标签，与原数据已标注区域的真实标签进行融合，得到更多的监督信息。

7)利用融合得到的标签对网络的语义分割预测结果进行约束，进行端到端的训练。

8)将待分割的地外图片输入训练完成的图片分割模型，得到语义分割结果。

本发明的一个实施例公开一种联合自监督学习和半监督学习的地外图片分割方法，具体说明如下：

步骤1：搜集并搭建大量地外图片及其对应的分割标签组成训练数据集。

步骤2：进行自监督预训练阶段，搭建图片分割的神经网络模型。

自监督预训练阶段的网络结构如附图1所示，模型由特征提取网络B_seg、输出模块H_RGB、输出模块H_LBP三个子网络构成。

特征提取网络整体上采用了类似ResNet-101的骨干网络部分，包括连续的34个卷积层，每个卷积层后跟随一个线性整流函数(ReLU)，第一个卷积层后跟随一个步长为2的3x3的最大池化进行下采样，该网络最终的输出特征为输入图片对应的特征图，尺寸为原输入尺寸下采样16倍的结果。其中特征提取网络将原ResNet模型的第2-4个卷积层、第32-34个卷积层的步长改为1，同时输出特征为第4层卷积层输出和最后一层卷积层输出内容的汇合。

输出模块H_RGB和输出模块H_LBP均采用DeepLabV3+网络的Head部分，包括：一个投射模块，由一层卷积跟随批归一化(Batch Normalization)和一个线性整流函数构成；一个多尺寸聚合池化层，输入由4个不同扩张率(dilation rate)的扩张卷积层和一个平均池化层+卷积层处理后，将它们输出的特征进行汇合，并输入到一个投射模块中得到最后输出，该投射模块包括一层卷积跟随批归一化和一个线性整流函数，同时应用随机失活(Dropout)进行正则化；最后由一个卷积层组成的分类器输出最终的预测结果或者特征图。其中输出模块H_RGB将所有的卷积层换成了门控卷积(Gated Convolution Layer)。输出模块H_RGB最终输出网络对于输入图片掩码区域的RGB色彩预测结果；输出模块H_LBP最终输出输入图片掩码区域的局部二进制模式特征的预测结果。局部二进制模式特征通过图像不同划分块的局部二进制模式的统计直方图给出，直方图维度为25。

步骤3：自监督学习阶段预训练图片分割神经网络模型。

共有两个损失函数，进行端到端地联合优化：

L_rgb＝||g(f(x⊙M)))-x||₂

L_lbp＝||h(f(x⊙M)))-s||₂

L_pre-train＝λ₁L_rgb+λ₂L_lbp

式中，L_rgb为RGB色彩预测的损失函数项，L_lbp为局部二进制模式特征预测的损失函数项，x为输入样本图片，s为x掩码前计算得到的局部二进制模式直方图，g,h分别代表输出模块H_RGB和输出模块H_LBP，f代表特征提取网络，M表示随机产生的掩码，其中1表示该区域有效，⊙表示元素积的运算，L_pre-train为总损失函数项。通常权重λ₁与λ₂设置为0.5,0.5。

步骤4：提取出步骤3中的特征提取网络，以半监督方式对模型在语义分割任务上进行微调。首先搭建半监督微调阶段的网络模型。

半监督微调阶段的网络结构如图1所示。整个网络由特征提取网络f，输出模块H_seg，判别器d组成。

半监督微调阶段的特征提取网络结构与步骤3中相同；输出模块H_seg、判别器d均与步骤3中输出模块H_LBP相同。

步骤5：半监督微调阶段对模型进行训练。

该阶段训练过程中分为两步：

第一步训练前期的总函数损失项为：

L＝λ_ceL_ce+λ_diceL_dice，

L_ce为分割预测交叉熵损失函数项，L_dice为优化判别器二分类预测的损失函数项，λ_ce和λ_dice为权重值。

式中

表示网络对位于(h,w)位置的像素的预测概率中属于类别c_j的概率，c_i为该位置的像素的真实标签，E_x表示所有训练样本图片的像素的均值，E_h,w表示一张训练样本图片的所有像素的均值(在这里严格来说L_ce是只对已标注区域的像素计算，而后文的L_pseudo是只对未标注区域的像素计算)，C表示数据集定义的标签中不同类别的数量。

式中p_h,w为判别器d输出的位于(h,w)处的像素的确定性，q为关于整张图像的不确定性标签，q_h,w为位于(h,w)处的像素的标签值，若该像素被标注则为1，否则为0。

第二步训练后期在原来的基础上加入L_pseudo损失：

L＝λ_ceL_ce+λ_diceL_dice+λ_pseudoL_pseudo，

L_pseudo为基于伪标签的未标注区域预测交叉熵损失函数项：

式中

表示网络对位于(h,w)位置的像素的预测概率中属于类别c_j的概率，

为该位置像素的预测伪标签，

表示网络对位于(h,w)位置的像素的预测概率中属于类别

的概率，λ_pseudo为权重值。

整个网络进行端到端地联合优化。

步骤6：推理阶段，利用训练完成的半监督微调阶段的特征提取网络f和输出模块H_seg，输入参考待测试地外图片(见图2A所示的火星图片)，最终输出对应的语义分割结果(见图2B)。

基于同一发明构思，本发明的另一实施例一种联合自监督学习和半监督学习的地外图片分割系统，其包括：

训练数据收集模块，用于收集地外图片训练数据；

自监督预训练模块，用于利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；

半监督微调模块，用于利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；

语义分割模块，用于将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。

其中各模块的具体实施过程参见前文对本发明方法的描述。

基于同一发明构思，本发明的另一实施例提供一种电子装置(计算机、服务器、智能手机等)，其包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行本发明方法中各步骤的指令。

基于同一发明构思，本发明的另一实施例提供一种计算机可读存储介质(如ROM/RAM、磁盘、光盘)，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现本发明方法的各个步骤。

本发明中的地外图片可以是火星图片或其他地外探测领域的图片，主要集中在地外的地形分割任务，与地外地形分割任务类似的场景均可使用本发明进行图片分割。

以上实施例仅用以说明本发明的技术方案而非对其进行限制，本领域的普通技术人员可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明的精神和范围，本发明的保护范围应以权利要求书所述为准。

Claims (10)

1.一种联合自监督学习和半监督学习的地外图片分割方法，其特征在于，包括以下步骤：

收集地外图片训练数据；

在自监督预训练阶段，利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；

在半监督微调阶段，利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；

将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。

2.根据权利要求1所述的方法，其特征在于，所述收集地外图片训练数据，是收集大量地外图片及其对应的分割标签组成训练数据集。

3.根据权利要求1所述的方法，其特征在于，所述自监督预训练阶段的神经网络模型包括特征提取网络B_seg、输出模块H_RGB、输出模块H_LBP；将地外图片数据进行随机掩码，输入所述特征提取网络B_seg，所述特征提取网络B_seg将网络的深层特征和浅层特征汇合得到图片的特征表示，该特征表示分别输入输出模块H_RGB、输出模块H_LBP，对原图片掩码区域的颜色特征和纹理特征进行预测，即分别在RGB色彩空间和局部二进制模式特征空间下进行预测。

4.根据权利要求3所述的方法，其特征在于，所述自监督预训练阶段采用以下损失函数进行端到端地联合优化：

L_rgb＝||g(f(x⊙M)))-x||₂

L_lbp＝||h(f(x⊙M)))-s||₂

L_pre-train＝λ₁L_rgb+λ₂L_lbp

其中，L_rgb为RGB色彩预测的损失函数项，L_lbp为局部二进制模式特征预测的损失函数项，x为输入样本图片，s为x掩码前计算得到的局部二进制模式直方图，g、h分别代表输出模块H_RGB和输出模块H_LBP，f代表特征提取网络；M表示随机产生的掩码，其中1表示该区域有效；⊙表示元素积的运算，L_pre-train为总损失函数项，λ₁与λ₂为权重值。

5.根据权利要求1所述的方法，其特征在于，所述半监督微调阶段的图片分割神经网络模型包括特征提取网络f、输出模块H_seg、判别器d；所述判别器通过学习图片中每个像素的标注不确定性来预测每个像素是否被标注，通过设定阈值将置信度高的区域选择出来作为伪标签；将伪标签与原数据已标注区域的真实标签进行融合，利用融合得到的标签对网络的语义分割预测结果进行约束，进行端到端的训练。

6.根据权利要求5所述的方法，其特征在于，所述半监督微调阶段的训练过程分为两步：

第一步即训练前期的总函数损失项为：

L＝λ_ceL_ce+λ_diceL_dice，

其中，L_ce为分割预测交叉熵损失函数项，L_dice为优化判别器二分类预测的损失函数项，λ_ce和λ_dice为权重值；

其中，

表示网络对位于(h，w)位置的像素的预测概率中属于类别c_j的概率，c_i为该位置的像素的真实标签，E_x表示所有训练样本图片的像素的均值，E_h，w表示一张训练样本图片的所有像素的均值，C表示数据集定义的标签中不同类别的数量；

其中，p_h，w为判别器d输出的位于(h，w)处的像素的确定性，q为关于整张图像的不确定性标签，q_h，w为位于(h，w)处的像素的标签值，若该像素被标注则为1，否则为0；

第二步即训练后期加入L_pseudo损失，即总函数损失项为：

L＝λ_ceL_ce+λ_diceL_dice+λ_pseudoL_pseudo，

其中，L_pseudo为基于伪标签的未标注区域预测交叉熵损失函数项，λ_pseudo为权重值。

7.根据权利要求6所述的方法，其特征在于，所述L_pseudo损失为：

其中，

表示网络对位于(h，w)位置的像素的预测概率中属于类别c_j的概率，

表示网络对位于(h，w)位置的像素的预测概率中属于类别

的概率，

为该位置像素的预测伪标签。

8.一种联合自监督学习和半监督学习的地外图片分割系统，其特征在于，包括：

训练数据收集模块，用于收集地外图片训练数据；

自监督预训练模块，用于利用地外图片训练数据进行自监督预训练，以学习图片掩码区域的颜色特征和纹理特征，得到自监督预训练阶段的神经网络模型；

半监督微调模块，用于利用地外图片中未标注部分的信息对自监督预训练阶段的神经网络模型进行微调和训练，得到半监督微调阶段的图片分割神经网络模型；

语义分割模块，用于将待分割图片输入训练完成的半监督微调阶段的图片分割神经网络模型，得到语义分割结果。

9.一种电子装置，其特征在于，包括存储器和处理器，所述存储器存储计算机程序，所述计算机程序被配置为由所述处理器执行，所述计算机程序包括用于执行权利要求1～7中任一项所述方法的指令。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储计算机程序，所述计算机程序被计算机执行时，实现权利要求1～7中任一项所述的方法。

Images