CN115359250A - 基于记忆力机制的跨域小样本图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于记忆力机制的小样本跨域分割方法，该方法不但能够缓解模型对大量标注样本的依赖，还有效提高了模型对不同环境的适应能力。该方法首先在公开数据集上训练分割模型，此过程主要借助元度量机制来缓解模型对数据标签的依赖，并且通过读、写操作将带有域信息的风格化知识存储到记忆模块中。随后在使用模型时，将存储在记忆模块中的知识载入到新环境的待分割样本中，由此提高模型对不同环境的泛化性，最终顺利完成新场景的分割任务。本发明将训练过程中模型捕捉到的域泛化知识载入到样本稀少的新环境任务中，拉近了不同环境间的数据分布，使得深度模型能够有效的面对标注数据稀少的新环境，扩展了深度分割模型的泛化性与可用性。

Description

基于记忆力机制的跨域小样本图像语义分割方法

技术领域

本发明涉及深度学习领域和小样本图像语义分割领域，核心技术涉及元度量学习与记忆力机制，针对标注数据稀少的图像分割场景开展研究，该发明能够有效提升分割模型对环境的泛化适配性，并缓解对大量图像标注的依赖。

背景技术

图像语义分割旨在为图像中每个像素点分配准确的标签信息，为适应纷繁复杂的应用场景，深度分割模型的精度在不断攀升，与此相对应模型的参数量也逐渐庞大，庞大的参数量对训练模型所需的数据提出了更高的要求，不仅训练数据量需要得到保证，并且为提高泛化性，所收集数据需涵盖各个场景。但在特定场景中收集如此庞大的带标签分割数据是十分困难的，并且分割模型在面对新场景时，效果会显著下降，即无法做到快速迁移。面对各式应用场景的需求，如何使用有限的标注数据训练高效的分割模型成为工业界与学术界亟待解决的问题。

在现有图像语义分割迁移学习中，模型在完成训练后需要使用新场景数据进行迁移训练。迁移过程中，模型会逐步拟合新知识，但是由于现阶段模型参数量越来越大，如果没有足够的迁移标签数据，得到的模型很容易出现过拟合现象，对新场景的分割能力会显著下降，而且现有分割方法无法对多变的环境做出适配。但是对于人类而言，我们可以通过极少数的图片来识别一个新类别或者熟悉一个新的场景。这主要由于人类具有收集、存储、迁移知识的能力，在成长过程中，我们不断的积累经验，当面对新的场景或者任务时，我们回顾过往收集到的经验进行对比学习，这样即使新场景所提供的学习资源有限，人类也能快速的完成适配。同时，记忆力是人类发展的一个重要机制，它使得经验得以积累、信息得以传递。对于机器学习模型而言，其在迁移学习过程中主要进行数据分布的拟合，并不存在显式的记忆机制，这对于标签数据稀少的新环境的拟合是十分困难的。

经过以上分析，新场景中数据标签的稀少与新场景数据分布的多变是本发明主要关注的两个问题。这是限制大体量分割模型使用的关键因素，这使得分割模型难以进行学习，造成分割效果下降，并且时刻存在的场景偏差也对模型的泛化性提出了不小的挑战。针对这两个问题，本方法模仿人类设计开发了具有记忆力机制的跨域图像语义分割模型。通过模仿人类的经验学习与记忆机制来解决小样本情景下的跨域分割问题。具体而言，针对标签数据稀少问题，本发明使用经验式的学习策略替代了原有的模型学习过程，通过模拟人类现实中学习过程迫使模型不断收集图像分割任务之间的知识，并将其转化为模型参数。与传统的训练学习过程相比，这有利于模型得到更加敏感的参数，具有更高的迁移性。针对新场景数据分布多变的问题，本发明仿照人类的感知机制，设计了一种基于记忆力机制的模块来收集训练过程中的泛化知识。通过记忆力模块，模型能够将训练过程中汇聚的知识载入到新的场景中，通过将记忆知识与新场景数据特征进行融合，能够有效稀释环境多变带来的影响，分割模型能够更加专注在目标分割任务上。

发明内容

有鉴于此，本发明提出一种基于记忆力机制的跨域小样本分割方法。本发明旨在克服图像分割对小样本跨域场景适配性低的问题，解决在数据标签稀少与跨域场景下的图像分割问题。本发明通过模仿人类的学习过程，将分割模型的学习过程修改为经验式学习，模型在学习过程中不断积累经验，并将经验转化为高适配的参数。同时基于人类感知认知基础，设计了记忆力模块来缓解数据跨域分布对模型学习的影响。整个发明框架实现了“积累经验，迁移记忆”的过程。

本发明在训练过程中构建彼此类似但不同的大量图像分割任务供分割模型学习，设计这些任务不仅用来优化模型，更用来抽取可迁移的记忆知识。模型在学习过程中不断收集任务之间的知识，并且将这些知识存储到记忆力模块中。随着训练的不断进行，模型经历的任务逐渐增多，其所存储的知识也逐渐丰富与有意义。完成训练后，将模型参数与学习到的记忆力模块固定。在迁移过程中，模型将记忆力模块中的知识进行选择性载入，这些知识负责降低新场景之间图像的数据分布差异，与新场景的图像特征共同帮助模型进行新场景的适配，最终完成模型的顺利迁移与高效分割。

根据上述主要思路，本发明方法的具体实现包括如下步骤，包括训练和迁移两个阶段，训练阶段包括步骤1-6

本发明是不依赖大量标注数据、且对跨场景解析具有高鲁棒的图像分割方法。为此，首先需要构建大量图像分割任务，我们称之为元任务，元任务用来模拟人类学习过程中不断出现的场景。随后分割模型批量的拟合元任务，最终得到一组高适配性的参数，称之为元知识。在此过程中，使用成对的向量组来收集训练过程中图像特征的分布，通过读写机制形成模型的记忆力。最后在新场景的迁移分割时，将得到的记忆力载入，以此来缓解数据跨域带来的影响，提高方法的泛化性。

训练阶段：

步骤1：模仿构造大量元任务

为模仿人类的学习过程，本发明首先在图像分割数据集上进行有放回的采样，每次采样得到不同图像样本组成的分割元任务，元任务用来模仿未来可能的图像分布，供模型学习更加泛化的参数。具体采样可参考实施方式中步骤1。每个任务同时包括支撑图像集与查询图像集，其中支撑图像集用来抽取每个任务的所学知识，查询图像集用来调整分割模型参数，将知识转化为分割模型的高适配参数。每个任务用于模型参数的训练。

步骤2：初始化记忆力模块

记忆力模块主要用于模仿人类的认知机理，存储收集每个元任务中图像特征的通道均值与方差，并最终迁移到新场景的学习中。在训练开始阶段，我们随机初始化一组向量作为元均值与元方差，两组向量配合使用来收集特征中不同的域分布，具体初始化过程参考实施方式中步骤2。

步骤3：存储每个元任务中支撑图像均值、方差到记忆力模块

记忆力模块中元均值与元方差需要收集特征均值、方差供后续迁移使用。模型在学习过程中需要不断拟合训练数据，对于每一个图像样本，分割模型提取其对应特征的均值与方差，并将其拆解到记忆力模块的元均值与元方差中，存储过程参考实施方式中步骤3。

步骤4：使用支撑图像集特征对查询图像集进行匹配

元任务中支撑图像集的训练过程类似人类的学习过程，通过不断解决分割元任务来收集经验。对于每个元任务，分割模型在其支撑图像集上抽取类别特征，此过程用来模仿人类的少样本学习过程，并使用抽取得到的特征对查询图像集进行分割。分割模型学习大量的元任务，收集任务之间的共享知识，这些知识体现在每个图像样本的特征中，通过大量任务学习，图像特征更加趋向于共享特征，为所有图像所共用，细节参考实施方式中步骤4。

步骤5：在查询图像集上将所学元知识转化为分割模型的高适配参数

步骤3-4的支撑图像集训练阶段得到了更加鲁棒的表达特征，并完成了记忆力模块的更新，随后我们需要将模型所得知识转化为模型的高适配参数。这主要通过每个元任务中的查询图像集实现，使用步骤5得到的支撑图像集的增强特征，对查询图像集进行相似性分割，并使用最终结果计算损失反向回调分割模型参数，本发明的网络约束参考实施方式中步骤5。

迁移阶段：

步骤6：使用训练得到的分割模型在新场景进行分割

通过不断重复步骤3-5，分割模型通过不断解决元任务，其参数逐步趋于高适配，并且记忆力模块中所存储的元均值、元方差组也逐步收集到不同的数据分布。完成训练后，将模型参数与记忆力模块固定，在新场景迁移中，首先得到新场景每个图像数据的均值与方差，随后计算其与记忆力模块中存储的元均值、元方差的相似性，选择最相似的元均值与元方差进行载入，使用载入后的新均值、方差对图像特征进行重建，得到融合增强后的特征，使用融合特征进行新场景的分割，参考实施方式中步骤6。

本发明与现有技术相比，具有以下明显的优势和有益效果：本发明提出了一种基于记忆力机制的跨域小样本分割方法，通过模仿人类的经验学习，改进了传统分割网络在数据缺少场景下的分割效果。同时，与现有技术相比，本方法提出的记忆力机制能够降低不同场景数据分布的差异，将单域训练得到的模型有效拓展到多域分割上，这对于不同场景下的分割任务具有基础的支撑意义。

附图说明

图1为本发明所涉及方法总流程框图；

图2为本发明所涉及算法总架构图；

图3骨干网络各层结构配置表；

图4记忆模块结构配置表；

图5本发明与其他不同模型在Pascal上迁移分割效果对比；

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照详细附图，对本发明进一步详细说明。但所描述的实施例子仅旨在便于对本发明的理解，而对其不起任何限定作用。图1是本发明的方法流程图，如图1所示，本方法包括以下几个步骤，训练阶段包括步骤1到步骤5，测试阶段包括步骤6。

步骤1：模仿构造大量元任务

每个元任务构成包括支撑分割图像集与查询分割图像集，两个图像集中图像类别相同且图像数量一定，其本质是图像分割任务，其实现过程需要使用分割图像集中每个图像特征来匹配查询分割图像集，以此来模仿人类解决小样本图像分割的过程。本发明通过不断解决元任务来提高模型参数的适配性。首先，本发明在分割数据集上训练分割模型，我们选择目前使用最多的COCO图像分割数据集进行训练。每个元任务由支撑图像集与查询图像集组成，其中支撑图像集用来抽取学习的图像特征，查询图像集用来训练高适配参数。为构建每个元任务的支撑图像集，随机在COCO数据集抽取K个图像样本作为分割模型学习的参考

用来帮助分割模型进行图像类别特征的抽取，其中

代表样本图像， Y＝{Y_s ¹、...、Y_s ^K}为对应的图像像素标签信息。每个元任务都还包括一个与支撑图像类别相同的查询图像集

用来学习分割模型的参数，同样通过采样得到，其中

与

为待分割图像与对应的像素标签。依照此原则，使用有放回的采样构建大量的元任务。

在本实施例中，以一个元任务为例，支撑图像集中的图像为小样本集合，抽取5张包含狗的图像作为支撑图像集，分割模型从这5张包含狗的图像学习狗的特征，查询图像集包含数量不受限制的包含狗的图像，该元任务就是利用支撑图像集训练分割模型，然后将查询图像集输入训练完成的分割模型，使分割模型获得识别狗的能力；构造大量的元任务，每个元任务中包含的类别不同，这些元任务模拟未来的图像分布，通过这些元任务提高分割模型参数的适配性。

步骤2：初始化记忆力模块

每个元任务中支撑图像都会与公共的记忆力模块交互，记忆力模块用来存储训练过程中图像的底层信息，包括纹理、风格等，将这些底层信息存储下来能够有效提升模型对新场景的适应能力。记忆力模块是一组可训练的向量，用来收集训练过程中图像特征的信息，记忆力模块包括元均值向量组与元方差向量组，主要用来收集图像特征的通道均值与方差，以此来反映域信息。我们将记忆力模块的随机初始化为：

其中M和E分别是元均值向量组和元方差向量组，负责收集训练过程中的图像特征信息。 C为图像特征的特征通道数，m_j和e_j为记忆力模块中第j个元均值与元方差，N表示记忆力模块中元均值的个数，且元均值与元方差的个数相等。

步骤3：存储每个元任务中支撑图像均值、方差到记忆力模块

当处理每个元任务时，对于其支撑分割图像集中每个图像，分割模型首先提取到对应的特征f_b ^C×H×W，C、H和W分别表示通道的尺寸、相应特征的高度和宽度，首先计算每个图像特征的均值和方差，其中第b个图像的均值μ_b和方差v_b的计算公式如下所示：

其中，

表示通道上的图像特征，

为实现记忆力模块收集信息的功能，计算每个支撑图像特征均值和每个元均值之间的相似度，以及计算每个支撑图像特征方差和每个元方差之间的相似度，其中，

第b个支撑图像特征均值μ_b与第j个元均值m_j之间相似度

的计算公式如下：

第b个支撑图像特征方差v_b与第j个元方差e_j之间的相似度

的计算公式如下：

其中，B表示每次支撑分割图像集中图像个数，

最后通过聚合来更新成对的元均值和元方差，其中，更新后的第j个元均值m_j′和第j个元方差e_j′的公式表示如下：

λ是聚合权重，在所有实验中将其设置为0.9。将从图像获得的样式信息分配给最相似的m_j， e_j。至此，每个元任务中支撑图像集的图像特征的分布成功存储到记忆力模块中。

步骤4：使用支撑图像集特征对查询图像集进行匹配

分割模型需要计算得到每个元任务中查询图像集的分割结果供后续计算损失。我们使用分割模型得到查询图像集中每个图像特征f_q ^C×H×W，对于步骤3中每个f_b，本发明首先使用图像对应的标签Y_b对f_b进行筛选，得到每个支撑图像的原型表达：

其中T为使用Y_b筛选出来的前景像素点，|T|为前景像素点总数。抽取得到的原型p_b需要对查询图像集进行分割，具体分割方法为：首先将原型p_b与查询图像集特征f_q进行拼接，这为查询图像集特征提供了先验信息；随后使用标准1×1卷积R对拼接特征进行关系发现，将其映射为单通道的关系热力图，最后进行上采样得到与每个原型的最终匹配结果

步骤5：使用匹配结果计算损失，训练模型

此步骤将模型在每个元任务上所学到的经验转化为模型的高适配参数。这主要是通过模型的反向传播实现的。对于我们整体的分割模型，记忆力模块中元均值、元方差表示各种的样式模式。要得到更加丰富的样式分布，我们希望记忆力模块中元均值、元方差尽可能相互独立。因此，我们开发了一种正交损耗来约束我们的内存模块，如下所示：

其中

表示m_i和m_j的余弦相似性，以及

表示e_i和e_j余弦相似性。L_orth配合最终的分割损失共同完成模型参数的训练，对于分割损失本发明使用经典的二元交叉熵损失函数：

其中

代表第q个查询图像与第b个支撑图像在(h，w)的匹配关系，即

在像素点 (h，w)的二值匹配关系，

为图像标签。同时使用L_orth与L相加训练模型，完成模型高适配参数的学习。

步骤6：使用训练得到的分割模型在新场景进行分割

步骤1-5完成了模型的训练，在新场景图像分割中，我们需要微调训练好的分割模型，由于我们面对图像标注很少的小样本场景，本发明首先使用新场景中给定的图像依照步骤5对模型进行微调，随后将模型参数固定，完成新场景下图像语义分割模型的微调过程后，即可进行新场景的分割。

从附表3可以看出，以本发明提出的方法在跨域目标分割数据集上有用比最新方法更好的分割效果。

表1

表2

表3

Claims (6)

1.基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：包括训练和迁移两个阶段，在训练过程中构建彼此类似但不同的大量图像分割任务即元任务供分割模型学习，设计这些任务不仅用来优化分割模型，更用来抽取可迁移的记忆知识；分割模型在学习过程中不断收集任务之间的知识，并且将这些知识存储到记忆力模块中；随着训练的不断进行，分割模型所存储的知识也逐渐丰富与有意义；完成训练后，将分割模型参数与学习到的记忆力模块固定；在迁移过程中，分割模型将记忆力模块中的知识进行选择性载入，这些知识负责降低新场景之间图像的数据分布差异，与新场景的图像特征共同帮助模型进行新场景的适配，最终完成模型的顺利迁移与高效分割；最终利用迁移后的模型进行目标分割。

2.根据权利要求1所述的基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：

训练阶段包括：

步骤1：模仿构造大量元任务：

在图像分割数据集上进行有放回的采样，每次采样得到一个元任务，元任务用来模仿未来可能的图像分布，供分割模型学习更加泛化的参数，所述的图像分割数据集是由标注过的图像样本组成；每个元任务同时包括支撑图像集与查询图像集，两个图像集中图像类别相同，支撑图像集由少量图像构成；

步骤2：随机初始化记忆力模块：

记忆力模块由两组向量构成，分别代表元均值与元方差，两组向量配合使用，收集训练过程中分割模型提取的支撑图像集中各个图像的特征分布，记忆力模块用于模仿人类的认知机理，提升分割模型对新场景的适应能力；每个元任务中支撑图像都与记忆力模块交互；

步骤3：存储每个元任务中支撑图像的均值、方差到记忆力模块，具体过程如下：

当处理每个元任务时，对于其支撑图像集中每个图像，分割模型首先提取到对应的特征，C、H和W分别表示特征通道的尺寸、相应特征的高度和宽度；然后，计算每个支撑图像特征的均值和方差；接下来，计算每个支撑图像特征均值和每个元均值之间的相似度，以及计算每个支撑图像特征方差和每个元方差之间的相似度；最后，通过聚合来更新成对的元均值和元方差，至此，每个元任务中支撑图像集的图像特征的分布成功存储到记忆力模块中；

步骤4：使用支撑图像集特征对查询图像集进行匹配，匹配结果供后续计算损失：

对于步骤3得到的每个支撑图像的图像特征，首先使用图像对应的标签对图像特征进行筛选，得到每个支撑图像的原型表达，其中，第b个支撑图像的原型表达如下：

其中T为使用标签Y_b筛选出来的前景像素点，|T|为前景像素点总数，

表图像b中t位置像素点特征；

抽取得到的原型对查询图像集进行分割，得到匹配结果，其中，第b个支撑图像的原型对第q个查询图像进行分割的具体方法为：首先将第b个支撑图像的原型p_b与第q个查询图像的特征f_q进行拼接；随后使用标准1×1卷积R对拼接特征进行关系发现，将其映射为单通道的关系热力图，最后进行上采样得到与第b个原型的最终匹配结果

步骤5：使用匹配结果计算损失，训练分割模型：

整体损失函数＝L_orth+L

其中，

其中，N表示记忆力模块中元均值的个数，且元均值与元方差的个数相等，

表示m_i和m_j的余弦相似性，以及

表示e_i和e_j余弦相似性；

L为二元交叉熵损失函数：

其中

代表第q个查询图像与第b个支撑图像在(h，w)的匹配关系，

为图像标签；

此步骤通过模型的反向传播将分割模型在每个元任务上所学到的经验转化为分割模型的高适配参数；

迁移阶段包括：

步骤6：使用训练得到的分割模型在新场景进行分割

步骤1-5完成了分割模型的训练，在新场景图像分割中，微调训练好的分割模型，具体使用新场景中给定的图像，再次依照步骤5对分割模型进行微调，随后将模型参数固定，完成新场景下图像语义分割模型的微调过程后，即可进行新场景的分割。

3.根据权利要求2所述的基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：进一步的，第b个支撑图像特征的均值μ_b和方差v_b的计算公式如下所示：

其中，

表示通道上的图像特征。

4.根据权利要求3所述的基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：进一步的，第b个支撑图像特征均值μ_b与第j个元均值m_j之间相似度

的计算公式如下：

其中，sim表示余弦相似度，B表示每次支撑分割图像集中图像个数。

5.根据权利要求4所述的基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：进一步的，

第b个支撑图像特征方差v_b与第j个元方差e_j之间的相似度

的计算公式如下：

6.根据权利要求5所述的基于记忆力机制的跨域小样本图像语义分割方法，其特征在于：进一步的，更新后的第j个元均值n_j′和第j个元方差e_j′的公式表示如下：

λ是聚合权重。

Images