CN115908806A - 基于轻量级多尺度特征增强网络的小样本图像分割方法 - Google Patents

Abstract

基于轻量级多尺度特征增强网络的小样本图像分割方法，提供了一种新型的小样本图像分割网络，即轻量级多尺度特征增强网络Lite‑FENet，该网络提取具有丰富的上下文信息的多尺度特征表示，为预测像素生成描述性特征，能够有效缓解支持样本和查询样本之间存在的偏差。此外，该网络可以替换小样本图像分割方法的后端特征交互模块，进一步提升性能。本发明提供了空间交互模块SIM，以较低的参数量实现了长距离不同空间尺度之间上下文信息传递，其中自上而下的跨尺度传输自适应地为低分辨率特征提供所需的信息，并输出细化的特征图。该方法能够准确、高效地对查询图像特定目标类别进行预测分割，抑制错误预测，当支持样本和查询样本出现偏差时仍具有鲁棒性。

Description

基于轻量级多尺度特征增强网络的小样本图像分割方法

技术领域

本发明涉及深度学习、计算机视觉领域，具体是涉及一种基于轻量级多尺度特征增强网络的小样本图像分割方法。

背景技术

图像分割是计算机视觉领域中的一项基本的任务，它在图像的像素级进行上分类，使之将每个像素匹配到某个类别，从而将整幅图像划分成多个对象区域。图像分割已经在广泛的实际应用中起到核心作用，如自动驾驶和医疗影像。在深度学习技术的推动下，现在一些基于完全监督的图像分割方法已经取得优异的结果，但为大量样本精细地逐像素标注要耗费大量时间且代价昂贵，而在现实生活中许多类别样本并不容易采集，如罕见肿瘤影像等。为了解决这两方面问题，只利用少量带有标注的样本实现对未见类别物体的分割方法——小样本图像分割，最近被提出并引起了越来越多人关注。小样本图像分割任务的训练集和测试集类别不相交，因此需要获得一个泛化性能强的模型，使得模型能从少量支持样本中学得特定于该类的知识，迁移到不可见类仍可以保持其准确性。

目前的小样本图像分割方法主要是基于度量学习的元学习方法，将训练集和测试集分成两个集合，分别是支持集和查询集，其中支持集是待分割的图像，支持集是可以利用的少量带有标签的支持样本，(例如，只有1个支持样本可以利用，称为1-shot情景)。此外，现有的模型大多采用双分支框架，利用共享权重的骨干网络分别提取查询和支持特征，然后再利用一些特征处理手段来挖掘更多信息，如通过设计一些度量函数计算查询和支持特征之间的相似度，可以获取查询图像的粗糙分割结果，然后将查询特征、支持特征以及其他额外信息一起输入到特征解码器当中对查询特征进行匹配映射，预测最终的分割结果。为了提高模型性能，多尺度特征融合方法常用于捕获空间上下文信息。然而，现在的一些多尺度结构交互深度较浅，并非能有效捕获查询和支持特征之间的空间上下文关系，从而产生次优的结果而且具有庞大的计算代价。

发明内容

为了解决上述问题，本发明提出了一种基于轻量级多尺度特征增强网络的小样本图像分割方法，其设计了一种新颖的用于小样本图像分割特征增强网络结构，即轻量级特征增强网络(Lightweight Feature Network,Lite-FENet)。该网络能在多次交互后有效地利用来自查询和支持样本的信息来丰富具有判别性的特征，保证最终预测结果的准确性，并且可以在当前借助原型的小样本图像分割方法中替换地替换特征解码模块，以优化性能；此外，并为该网络设计了一个轻量高效的空间交互模块(Spatial InteractionModule,SIM)，以实现远距离不同空间尺度之间的上下文信息传递。

基于轻量级多尺度特征增强网络的小样本图像分割方法，包括如下步骤：

步骤1，获取用于小样本图像分割的数据集，划分为训练集和测试集，其中为每次训练或测试随机选取样本对，每个样本对包括一个支持集和一个查询集，查询集包含1个查询样本，支持集包含K个带有注释的支持样本；所有样本以及掩膜标签经过统一的数据预处理；

步骤2，使用预训练的骨干网络提取支持样本和查询样本的特征，并使用支持样本的高级特征与查询样本的高级特征进行余弦相似度计算，得到查询样本的先验掩膜

步骤3，利用支持样本标签与中级支持特征，通过掩码平均池化操作提取出支持原型特征向量，并将此一维特征向量膨胀到同先验掩膜同等空间大小，得到

步骤4，构建轻量级多尺度特征增强网络Lite-FENet，以支持原型特征P_s、中级查询特征F_q和先验掩码

为输入，输出不同空间分辨率的特征图，并进行拼接和信息融合；

步骤5，利用步骤1构建的训练数据集合，对步骤2～4所构建的Lite-FENet网络进行训练，根据主损失L_main和辅助损失L_aux计算模型总损失L，进行反向传播优化模型参数；训练过程中骨干网络参数不进行更新；

步骤6，加载步骤5训练得到的Lite-FENet网络模型，在步骤1构建的测试数据集合上评估验证模型；

步骤7，完成评估验证后，使用Lite-FENet网络模型对待分割的小样本图像进行处理，输出分割结果。

本发明所述的有益效果是：

(1)本发明提出的轻量级多尺度特征增强网络Lite-FENet，能够提取到具有丰富的上下文信息的多尺度特征表示，为最后预测像素分类生成描述性特征。相较于其他先进小样本图像方法，本发明更注重网络交互层面的设计，使支持特征能够与查询特征在多尺度上充分交互，以更小的网络体积实现更高的性能。

(2)本发明提出的SIM得益于深度卷积和1×1卷积的巧妙应用，以较低的参数量实现了长距离不同空间尺度之间的上下文信息传递，而且自上而下的跨尺度传输可以自适应地为低分辨率特征提供所需的信息，输出细化的特征图。

(3)本发明提出的基于轻量级多尺度特征增强网络小样本图像分割方法，能够准确、高效地对查询图像特定目标类别进行预测分割，抑制错误预测，当支持样本和查询样本出现偏差时(数量、大小、姿势、遮挡)仍具有鲁棒性。

(4)本发明提出的轻量级多尺度特征增强网络，可以在部分小样本图像分割方法中简单地替换为后端的特征交互模块，以优化其性能。

附图说明

图1为本发明实施例中的轻量级多尺度特征增强网络Lite-FENet结构示意图。

图2为本发明实施例中的空间交互模块SIM的结构示意图。

图3为本发明实施例中的轻量级多尺度特征增强网络Lite-FENet与其他先进小样本图像分割方法预测的分割结果可视化分析对比图。

具体实施方式

下面结合说明书附图对本发明的技术方案做进一步的详细说明。

本发明公开了一种基于轻量级多尺度特征增强网络的小样本图像分割方法，包括以下步骤：

步骤1、获取用于小样本图像分割的数据集，划分为训练集和测试集(验证集)，其中为每次训练或测试随机选取样本对，每个样本对包括一个支持集和一个查询集，查询集包含1个查询样本，支持集包含K个带有注释的支持样本。所有样本以及掩膜标签经过统一的数据预处理。预处理包括：[0.9,1.1]倍的随机缩放，[-10°,10°]的随机旋转，随机水平翻转。

步骤2、选择预训练的骨干网络作为特征提取器，如ResNet，用于提取支持样本和查询样本的特征，并使用支持样本的高级特征(骨干网络最后一层的输出)与查询样本的高级特征(骨干网络第4阶段的输出特征图)进行余弦相似度计算，得到查询样本的先验掩膜

步骤3、利用支持样本标签与中级支持特征(骨干网络中第2层、第3层的输出特征图)，通过掩码平均池化操作提取出支持原型特征向量，并将此一维特征向量膨胀到同先验掩膜同等空间大小，得到

无论是中级支持特征还是中级查询特征，都是中级特征(主干网络第2、3两个阶段的输出)，只不过用于提取特征的图像不同(查询图像和支持图像)。

步骤4、构建轻量级多尺度特征增强网络Lite-FENet，所述轻量级多尺度特征增强网络Lite-FENet由4个阶段组成，如图1所示，各包含1、2、3、4个并行网络分支，分别具有不同分辨率的特征表示。

所述网络以支持原型特征P_s、中级查询特征F_q和先验掩码

为输入，在第1阶段将以上三种信息在通道维度上拼接，使用1×1卷积融合各通道信息后，将通道维度降至256，并以该分支作为最高分辨率分支：

其中，ReLU()表示ReLU非线性激活函数，Conv_1×1()表示1×1卷积操作，Concat()表示在通道维度进行拼接。此后，在每个阶段的开始，通过两倍下采样上一阶段的最低分辨率特征图，产生新的更低分辨率的特征图，以该特征图作为新的分支。在下一阶段，以上一阶段输出的特征图

(各分辨率之间的倍数关系为

和新生成的最低分辨率特征图

作为输入，并行经过空间交互模块。其中，上标n表示第n阶段，在这第n个阶段内，共有n个分支，下标{1,2,...,n}表示第n阶段中的分支索引，1表示最高分辨率分支。空间交互模块对相邻尺度以自上到下的方式传递更多信息到低分辨率特征产生该尺度下的细化特征图。在最后阶段，Lite-FENet将输出4种不同空间分辨率的特征图。

如图2所示，SIM包含两个跳跃连接。在第一个跳跃连接，它接收当前阶段相邻的较高分辨率分支输出的细化特征图和当前分支的特征图，先将较高分辨率的特征图的空间大小调整到和较小分辨率特征图的空间大小相同，经过特征拼接和一个1×1卷积，随后和输入的较低分辨率特征图进行元素级相加操作。第二个跳跃连接，由一个步长为1的3×3深度卷积、两个1×1卷积、一个步长为1的3×3深度卷积的顺序构成，其中在第一个1×1卷积使用缩减系数factor控制通道缩减倍数，随后在第二个1×1卷积将通道恢复到原来大小。每次卷积之后都接一个批归一化层，在第一次和第三次卷积的批归一化层之后再使用ReLU激活函数激活，最后输出再与输入的特征图在元素级相加。

SIM在输入前和输出后的通道数和空间分辨率保持相同。

步骤4中，将Lite-FENet输出的4种不同空间分辨率大小的特征图上采样同最高分辨率相同大小，在通道维度上进行拼接：

接着使用一个1×1卷积，将不同尺度特征信息融合，通道数降为256，用于最后分类：

步骤5、利用步骤1构建的训练数据集合，对步骤2～4所构建的Lite-FENet网络进行训练，根据计算的模型总损失L，进行反向传播优化模型参数。训练过程中骨干网络参数不进行更新。

初始化5个由卷积构成的分类器，其中1个用于最终分类，计算主损失L_main，其他4个分别用于对应的4个分支，每个分支内共享一个分类器计算辅助损失L_aux。

使用二进制交叉熵函数BCE计算模型的损失，其中主损失L_main的计算公式为：

其中，i，j分别表示特征图内像素在空间的坐标定位；H，W分别表示特征图的高和宽；M_q(i,j)表示该像素点的真实标签，

表示模型最终预测的该像素点分类结果。

辅助损失是对每个阶段的每个分支产生的细化特征图计算监督损失，辅助损失L_aux计算公式为：

其中，

表示第n阶段的第l个分支产生的特征图所计算的分类损失，由于第二阶段才加入SIM开始特征增强，所以从n＝2开始：

模型总损失L为：

步骤6、加载步骤5训练得到的Lite-FENet网络模型，在步骤1构建的测试数据集合上评估验证模型。

步骤7、完成评估验证后，使用Lite-FENet网络模型对待分割的小样本图像进行处理，输出分割结果。

为了验证方法的有效性，本实施例在数据集PASCAL-5ⁱ、COCO-20ⁱ上进行了多次4折交叉对比实验和消融实验，比较了本方法与一些经典或先进的方法的性能优劣，并分析了本方法的各项技术细节对于整体方法效果的影响。

关于实验环境：本实施例的所有实验均在安装有Ubuntu 20.04LTS操作系统的计算机上进行，所有实验在1张NVIDIA GeForce RTX3090显卡上完成。软件环境包括Python-3.7、PyTorch-1.10.0等。

关于模型训练：本实施例中，在PASCAL-5ⁱ和COCO-20ⁱ数据集上使用1张GTX 3090显卡对Lite-FENet进行训练，骨干网络选择ResNet50，并保持参数不参与更新。在两个数据集中，batch size设为8，采用SGD优化器，初始学习率设为0.005，使用“poly”策略来对学习率进行衰减，指数因子power等于0.9。使用PASCAL-5ⁱ数据集的输入尺寸大小设置为473×473，训练200个周期；而使用COCO-20ⁱ数据集模型的输入尺寸大小设置为641×641，训练50个周期。SIM中的缩减系数factor为2。在K-shot的情境下，和其他小样本图像分割方法一致，冻结在1-shot下训练的模型，支持原型特征向量采取K个样本的平均值。为了保证对比实验的公平性，对输入图片进行一系列的数据增强预处理(详见PFENet等经典小样本图像分割方法的相关论文及开源代码)。

关于模型测试：本实施例中，在模型评估时，对PASCAL-5ⁱ数据集随机选取1000个样本对，对COCO-20ⁱ数据集随机选取20000个样本对。为消除样本对的选取对实验结果带来不确定影响，所有结果是采用五次不同的随机种子产生结果的平均值。为了验证本发明模型的准确性和轻量性，在使用语义分割任务流行的评估指标类平均交并比(MIoU)对模型测试精度进行评估的基础上，还对模型的参数量指标(#Params)进行计算。

特别注意的是，由于PASCAL-5ⁱ数据集共有20个前景类别，COCO-20ⁱ数据集共有80个前景类别，对这两个数据集的所有类别平均分成4份，进行4折交叉验证：训练时选择其中三份的类别样本，剩余一份训练时的不可见类样本用于测试，如此在每一份类别样本中都进行一次测试，最终求出在该数据集下所有类别的MIoU。

实验结果：

(1)定量分析

表1在PASCAL-5ⁱ数据集上的实验结果

其中，加粗代表该项指标的最优结果，下划线代表该项指标的第二优结果。

如表1所示，分别在1-shot情景和5-shot情景下，对使用PASCAL-5ⁱ数据集训练得到的Lite-FENet网络模型进行4折交叉验证。Lite-FENet与先前的小样本图像分割模型相比，模型可学习的参数量(#Params)最低，仅有6.7M。此外，在1-shot设置下，Lite-FENet在4个不同Fold的MIoU都取得了最大或次最大值。在5-shot下，所有类的MIoU也取得了第二高，仅次于DPNet。另外，本方法在利用掩膜平均池化提取出支持原型后并没有对原型向量更进一步的细化过程，凭借轻量化的模型体积超过了绝大多数方法，足以证明了本方法的有效性。

表2在COCO-20ⁱ数据集上的对比实验结果

其中，加粗代表该项指标的最优结果，下划线代表该项指标的第二优结果。

如表2所示，分别在1-shot情景和5-shot情景下，对使用COCO-20ⁱ数据集训练得到的Lite-FENet网络模型进行4折交叉验证。在80个类的MIoU该指标中，本方法提供的Lite-FENet无论在1-shot还是5-shot都以不同程度超过了现有方法。特别地，分别在1-shot和5-shot下，超过了基线模型PFENet 7.1个百分点和5.7个百分点，证明了该网络在更多类别的数据集下仍能带来性能提升。

(2)消融实验

表3在PASCAL-5ⁱ数据集上探究阶段数对模型影响的消融实验结果

其中，加粗代表该项指标的最优结果。

如表3所示，在PASCAL-5ⁱ数据集探究了不同阶段数对本发明的Lite-FENet性能影响，阶段数控制着并行处理特征的分支数量。随着阶段数量的提升，有更多从大到小的尺度的新分支被生成，模型捕获多尺度信息的能力越强，最后产生的特征表达也更具有鲁棒性，因此效果逐渐提升。而具有5个阶段时，由于最小分辨率的分支分辨率太小而捕获不到小目标对象，带来了性能的下降。

表4在PASCAL-5ⁱ数据集上探究空间交互模块(SIM)的有效性

其中，加粗代表该项指标的最优结果。

如表4所示，在PASCAL-5ⁱ数据集探究了Lite-FENet所包含的空间交互模块(SIM)对最终性能影响。在加入空间交互模块后，由于空间交互模块是轻量化的模块，因此在不同阶段重复添加后并没有引起模型参数量大幅度提升，而平均性能带来了7个百分点的提升。这证明了SIM保持了长距离的感知和适应性，同时确保了轻量化和效率。

表5在PASCAL-5ⁱ数据集上探究Lite-FENet泛化性能

其中，加粗代表该项指标的最优结果。

如表5所示，在PASCAL-5ⁱ数据集对Lite-FENet的泛化性能进行验证。除了基线模型PFENet，选择DCP和SCL小样本图像分割模型，这些先进的方法都借用的原型的思想。将Lite-FENet做为特征交互模块替换模型内的结构，进一步很大程度提升了原本模型的性能，以此证明了Lite-FENet具有泛化性能，且在小样本图像分割其他任务上是适用的。

(3)定性分析

如图3所示，在支持样本和查询样本目标类对象存在偏差时(数量、大小、姿势、遮挡)，Lite-FENet网络能够最大程度抑制错误预测，比其他先进的小样本图像分割方法能更准确地分割出特定对象。

以上所述仅为本发明的较佳实施方式，本发明的保护范围并不以上述实施方式为限，但凡本领域普通技术人员根据本发明所揭示内容所作的等效修饰或变化，皆应纳入权利要求书中记载的保护范围内。

Claims (8)

1.基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：所述方法包括如下步骤：

步骤1，获取用于小样本图像分割的数据集，划分为训练集和测试集，其中为每次训练或测试随机选取样本对，每个样本对包括一个支持集和一个查询集，查询集包含1个查询样本，支持集包含K个带有注释的支持样本；所有样本以及掩膜标签经过统一的数据预处理；

步骤2，使用预训练的骨干网络提取支持样本和查询样本的特征，并使用支持样本的高级特征与查询样本的高级特征进行余弦相似度计算，得到查询样本的先验掩膜

步骤3，利用支持样本标签与中级支持特征，通过掩码平均池化操作提取出支持原型特征向量，并将此一维特征向量膨胀到同先验掩膜同等空间大小，得到

步骤4，构建轻量级多尺度特征增强网络Lite-FENet，以支持原型特征P_s、中级查询特征F_q和先验掩码

为输入，输出不同空间分辨率的特征图，并进行拼接和信息融合；

步骤5，利用步骤1构建的训练数据集合，对步骤2～4所构建的Lite-FENet网络进行训练，根据主损失L_main和辅助损失L_aux计算模型总损失L，进行反向传播优化模型参数；训练过程中骨干网络参数不进行更新；

步骤6，加载步骤5训练得到的Lite-FENet网络模型，在步骤1构建的测试数据集合上评估验证模型；

步骤7，完成评估验证后，使用Lite-FENet网络模型对待分割的小样本图像进行处理，输出分割结果。

2.根据权利要求1所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：步骤4中，轻量级多尺度特征增强网络Lite-FENet在第1阶段将原型特征P_s、中级查询特征F_q和先验掩码

在通道维度上拼接，使用1×1卷积融合各通道信息后，在通道维度降维，并以该分支作为最高分辨率分支：

其中，ReLU()表示ReLU非线性激活函数，Conv_1×1()表示1×1卷积操作，Concat()表示在通道维度进行拼接；

此后，在每个阶段的开始，通过两倍下采样上一阶段的最低分辨率特征图，产生新的更低分辨率的特征图，以该特征图开始新的分支；

在下一阶段，以上一阶段输出的特征图

和新生成的最低分辨率特征图

作为输入，并行经过空间交互模块SIM；其中，上标n表示第n阶段，下标{1,2,...,n}表示第n阶段中的分支索引，1表示最高分辨率分支；空间交互模块对相邻尺度以自上到下的方式传递更多信息到低分辨率特征产生该尺度下的细化特征图；在最后阶段，Lite-FENet输出4种不同空间分辨率的特征图。

3.根据权利要求2所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：轻量级多尺度特征增强网络Lite-FENet中，特征图的各分辨率之间的倍数关系为

4.根据权利要求2所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：所述空间交互模块包含两个跳跃连接；在第一个跳跃连接，接收当前阶段相邻的较高分辨率分支输出的细化特征图和输入到当前分支的特征图，先将较高分辨率的特征图的空间大小调整到和较小分辨率特征图的空间大小相同，经过特征拼接和一个1×1卷积，随后和输入的较低分辨率特征图进行元素级相加操作；第二个跳跃连接，由一个步长为1的3×3深度卷积、两个1×1卷积、一个步长为1的3×3深度卷积的顺序构成，并且每次卷积之后都接一个批归一化层，在第一次和第三次卷积的批归一化层之后再使用ReLU激活函数激活，最后输出再与输入的特征图在元素级相加。

5.根据权利要求4所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：空间交互模块SIM在输入前和输出后的通道数和空间分辨率保持相同。

6.根据权利要求1所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：步骤4中，将Lite-FENet输出的4种不同空间分辨率大小的特征图上采样同最高分辨率相同大小，在通道维度上进行拼接：

接着使用1×1卷积，将不同尺度特征信息融合，通道数降为256，用于最后分类，表示如下：

7.根据权利要求1所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：

步骤6中，初始化5个由卷积构成的分类器，其中1个用于最终分类，计算主损失；其他4个分别用于对应的4个分支，每个分支内共享一个分类器计算辅助损失。

8.根据权利要求7所述的基于轻量级多尺度特征增强网络的小样本图像分割方法，其特征在于：使用二进制交叉熵函数BCE计算模型的损失，其中主损失L_main的计算公式为：

其中，i，j分别表示特征图内像素在空间上的坐标定位；H，W分别表示特征图的高和宽；M_q(i,j)表示该像素点的真实标签，

表示模型最终预测的该像素点分类结果；

辅助损失是对每个阶段的每个分支产生的细化特征图计算监督损失，辅助损失L_aux计算公式为：

其中，

表示第n阶段的第l个分支产生的特征图所计算的分类损失，n＝2开始：

模型总损失L为：

Images