CN113221977A - 一种基于抗混叠语义重构的小样本语义分割方法 - Google Patents

一种基于抗混叠语义重构的小样本语义分割方法 Download PDF

Info

Publication number
CN113221977A
CN113221977A CN202110455943.3A CN202110455943A CN113221977A CN 113221977 A CN113221977 A CN 113221977A CN 202110455943 A CN202110455943 A CN 202110455943A CN 113221977 A CN113221977 A CN 113221977A
Authority
CN
China
Prior art keywords
semantic
reconstruction
small sample
query
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110455943.3A
Other languages
English (en)
Other versions
CN113221977B (zh
Inventor
叶齐祥
刘冰昊
杨博宇
韩振军
焦建彬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Chinese Academy of Sciences
Original Assignee
University of Chinese Academy of Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Chinese Academy of Sciences filed Critical University of Chinese Academy of Sciences
Priority to CN202110455943.3A priority Critical patent/CN113221977B/zh
Publication of CN113221977A publication Critical patent/CN113221977A/zh
Application granted granted Critical
Publication of CN113221977B publication Critical patent/CN113221977B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于抗混叠语义重构的小样本语义分割方法,所述方法包括训练部分和测试部分,其中,所述训练部分包括以下步骤:步骤1,对支撑图片和查询图片进行特征提取;步骤2,对属于不同基类的特征进行语义张成;步骤3,滤除干扰语义,实现对目标类别的分割。本发明公开的基于抗混叠语义重构的小样本语义分割方法,降低了数据标注成本,减少了语义混叠,增强了模型判别力。本发明还公开了一种小样本语义分割系统、计算机可读存储介质和计算机设备。

Description

一种基于抗混叠语义重构的小样本语义分割方法
技术领域
本发明属于计算机视觉技术领域,具体涉及一种小样本语义分割方法,尤其涉及一种利用少量带标注的支撑样本,对无标注的查询样本进行语义分割的基于抗混叠语义重构的小样本语义分割方法。
背景技术
深度学习在视觉、文字、语音、搜索等领域取得了巨大的进展,这很大程度上得益于大量带标注的数据集。但数据集的标注需要耗费大量的资源,尤其对于语义分割任务,其数据集需要像素级别的稠密标注,成本非常高昂。小样本学习可以通过学习少量带标注的数据,实现对新类别的快速识别和泛化,这在很大程度上缓解了标注成本的问题。
小样本语义分割,首先将模型在一定量带标注的数据上进行特征提取训练,使得模型具有一定的特征表达能力;然后,利用支撑集提供的少量图片来引导网络实现对查询集图片的准确分割。目前,主流的小样本语义分割方法是基于度量学习框架,其先将网络在大量的基类图像上进行特征提取训练,在测试阶段,利用支撑集提供的少量支撑图片和支撑标注,提取目标类别语义信息,然后引导网络对新类别进行分割。
然而,现有的小样本语义分割方法在构建目标类别语义表达的过程中,基类之间的语义混叠会传递到新类别中,从而使得提取出来的目标类别语义信息判别力不够,导致类别错分等问题的出现。
因此,有必要提供一种能够减少基类之间的语义混叠、增强模型判别力、减少类别错分的小样本语义分割方法。
发明内容
为了克服上述问题,本发明人进行了锐意研究,设计出一种基于抗混叠语义重构的小样本语义分割方法,该方法对少量带标注的支撑图片和查询图片提取特征,再对属于不同基类的特征进行语义张成,使得不同基类特征之间相互正交,减少了基类与新类之间的语义混叠,然后通过语义过滤,将查询图片中的干扰语义过滤,更好地激活了目标类别,实现了对目标类别的准确分割。所述小样本语义分割方法,降低了数据标注成本,减少了语义混叠,增强了模型判别力,减少了类别错分的情况,从而完成了本发明。
具体来说,本发明的目的在于提供以下方面:
第一方面,提供了一种基于抗混叠语义重构的小样本语义分割方法,所述方法包括训练部分和测试部分,其中,所述训练部分包括以下步骤:
步骤1,对支撑图片和查询图片进行特征提取;
步骤2,对属于不同基类的特征进行语义张成;
步骤3,滤除干扰语义,实现对目标类别的分割。
第二方面,提供了一种小样本语义分割系统,优选用于实施第一方面所述的基于抗混叠语义重构的小样本语义分割方法,所述系统包括特征提取单元、语义张成单元和语义过滤单元;
其中,特征提取单元,用于提取支撑图片和查询图片的特征,
语义张成单元,用于对不同基类的特征进行语义张成,使得不同基类特征之间相互正交;
语义过滤单元,用于滤除干扰语义,实现对目标类别的准确分割。
第三方面,提供了一种计算机可读存储介质,存储有基于抗混叠语义重构的小样本语义分割训练程序,所述程序被处理器执行时,使得处理器执行第一方面所述基于抗混叠语义重构的小样本语义分割方法的步骤。
第四方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有基于抗混叠语义重构的小样本语义分割训练程序,所述程序被处理器执行时,使得处理器执行第一方面所述基于抗混叠语义重构的小样本语义分割方法的步骤。
本发明所具有的有益效果包括:
(1)本发明提供的基于抗混叠语义重构的小样本语义分割方法,仅需少量数据标注,降低了数据标注成本;
(2)本发明提供的基于抗混叠语义重构的小样本语义分割方法,通过语义张成,减少了基类之间的语义混叠,通过语义重构,减少了新类之间的语义混叠,同时通过语义过滤,将查询图片中的干扰语义过滤,更好地激活了目标类别;
(3)本发明提供的基于抗混叠语义重构的小样本语义分割方法,在PASCALVOC和MSCOCO两大主流数据集上具有优异的性能,对小样本学习、语义分割具有重要意义,对遥感图像识别与分割、医学图像处理和自然场景图像分割等领域具有重要应用价值。
附图说明
图1示出本发明一种优选实施方式的基于抗混叠语义重构的小样本语义分割方法的流程图;
图2示出本发明一种优选实施方式的语义张成模块图;
图3示出本发明一种优选实施方式的语义过滤模块图;
图4示出本发明实施例中VOC数据集的分割结果图。
具体实施方式
下面通过优选实施方式和实施例对本发明进一步详细说明。通过这些说明,本发明的特点和优点将变得更为清楚明确。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
本发明的第一方面,提供了一种基于抗混叠语义重构的小样本语义分割方法,所述方法包括训练部分和测试部分,其中,所述训练部分包括以下步骤,如图1所示:
步骤1,对支撑图片和查询图片进行特征提取;
步骤2,对属于不同基类的特征进行语义张成;
步骤3,滤除干扰语义,实现对目标类别的分割。
在本发明中,优选给定一张查询图片和若干支撑图片,利用支撑图片及标注提取目标类别语义,并用其引导网络对查询图片进行分割。
以下进一步详细描述所述训练部分的步骤:
步骤1,对支撑图片和查询图片进行特征提取。
在本发明中,对支撑图片和查询图片进行特征提取,得到支撑特征和查询特征,所述支撑图片和查询图片中的目标具有相同类别。
根据本发明一种优选的实施方式,利用深度卷积神经网络对支撑图片和查询图片进行特征提取,得到支撑特征和查询特征。
优选地,所述深度卷积神经网络可以为VGG-16或ResNet-50,其中,支撑分支和查询分支的特征提取网络共享参数。
对于ResNet-50特征提取网络,将其网络第2层和第3层输出的特征进行融合,得到最终的输出特征。
在进一步优选的实施方式中,所述得到的支撑特征的维度为H*W*Ds,查询特征的维度为H*W*Dq,其中,H和W分别表示特征图的宽度和高度,Ds和Dq则表示特征图的通道数。
步骤2,对属于不同基类的特征进行语义张成。
其中,如图2所示,步骤2包括以下子步骤:
步骤2-1,对支撑特征和查询特征进行维度转化。
根据本发明一种优选的实施方式,利用卷积模块对支撑特征和查询特征进行维度转化,
优选地,所述卷积模块的卷积核大小为3×3。
其中,输出特征维度优选为H×W×(B×D),其中H×W表示特征图的空间分辨率,B为训练过程中基类的数目,D为每个基类对应的特征通道数。
在本发明中,将步骤1提取得到的支撑特征和查询特征输入金字塔卷积模块中,在捕获粗粒度和细粒度特征的同时,对支撑特征和查询特征进行维度转化,使其特征图通道数目为基类数目的整数倍。
步骤2-2,将支撑特征和查询特征压缩成语义向量,并进行语义张成。
在本发明中,将支撑特征和查询特征进行空间维度压缩后,得到支撑语义向量和查询语义向量。
优选地,如图1所示,将步骤2-1中得到的支撑特征图
Figure BDA0003040519400000051
和查询特征图Fq通过全局平均池化,压缩得到支撑语义向量
Figure BDA0003040519400000052
和查询语义向量vq,其中,c在训练过程中表示基类,在测试过程中表示新类,将其拆分成子向量,得到
Figure BDA0003040519400000053
Figure BDA0003040519400000054
其中b表示第b个基类。
根据本发明一种优选的实施方式,将压缩得到的支撑语义向量和查询语义向量进行语义张成,优选按照包括下述步骤的方法进行:
步骤i,对特征进行解耦,获得属于不同基类的特征。
在本发明中,每个语义向量被分成若干个子向量,每个子向量对应一个基类。
根据本发明一种优选的实施方式,利用语义解耦损失函数将不同基类的特征解耦到不同的通道上,
优选地,所述语义解耦损失函数如下所示:
Figure BDA0003040519400000061
其中,
Figure BDA0003040519400000062
是重构系数,它对应每个子向量的模长;y是目标类别的独热编码。
步骤ii,使不同基类的特征之间相互正交。
根据本发明一种优选的实施方式,利用对比学习,使得同一基类子向量夹角尽可能小,不同基类(异类)子向量夹角尽可能大,
优选地,通过下式使不同基类的特征之间相互正交:
Figure BDA0003040519400000063
其中,b'表示非目标类别。
步骤3,滤除干扰语义,实现对目标类别的分割。
其中,如图3所示,步骤3包括以下子步骤:
步骤3-1,将语义张成后的支撑语义向量进行语义重构,获得重构支撑语义向量。
根据本发明一种优选的实施方式,通过下式对支撑语义向量进行语义重构:
Figure BDA0003040519400000071
其中,
Figure BDA0003040519400000072
表示重构支撑语义向量;B表示基类的数目;
Figure BDA0003040519400000073
为第b个重构系数,
Figure BDA0003040519400000074
vb为基向量,
Figure BDA0003040519400000075
步骤3-2,对查询特征进行语义重构,获得重构查询特征图。
根据本发明一种优选的实施方式,通过下式对查询特征进行语义重构:
Figure BDA0003040519400000076
其中,(x,y)表示特征图上像素点的坐标,将每个空间位置的特征当做语义向量,同理每个语义向量将有b个子向量,
Figure BDA0003040519400000077
为每个子向量的模长。
步骤3-3,滤除重构查询特征中的干扰语义。
根据本发明一种优选的实施方式,通过下式滤除重构查询特征中的干扰语义:
Figure BDA0003040519400000078
其中,
Figure BDA0003040519400000079
表示语义过滤的查询特征。
在本发明中,优选通过计算重构查询特征图上每个空间位置对应的语义向量到重构支撑语义向量上的投影,以滤除重构查询特征中的干扰语义,实现对背景目标的抑制。
步骤3-4,对滤除干扰语义的重构查询特征进行分割,获得分割结果图。
根据本发明一种优选的实施方式,将滤除干扰语义的重构查询特征图与原始的查询特征图进行维度拼接,通过分割网络进行分割,获得分割结果图。
其中,原始的查询特征图为步骤3-2中未进行语义过滤的重构查询特征图。
在本发明中,优选地,所述分割网络包括残差卷积模块和ASPP(Atrous spatialpyramid poolig)分割模块,如图1中所示。
根据本发明一种优选的实施方式,所述训练部分还包括步骤4,对网络参数进行更新。
在进一步优选的实施方式中,获得分割结果图与掩码标注之间的交叉熵损失,并将其与语义解耦损失(Ldec)、对比学习损失(Lcon)相加得到最终的损失,获得损失函数的梯度,对网络进行误差梯度反传,更新网络模型参数。
过上述训练,获得训练收敛的网络模型。
在本发明中,所述测试部分为将训练部分得到的网络模型应用在新的类别数据上,根据分割结果来验证模型的有效性。
根据本发明一种优选的实施方式,测试部分所利用的数据类别与训练部分的数据类别完全不同,即训练部分和测试部分的类别无重合部分。
在进一步优选的实施方式中,在测试部分,支撑图片的数量为1个或多个,
当支撑图片的数量为多个时,对多个支撑图片分别提取特征,然后对多个支撑特征进行语义重构,将得到的重构支撑语义向量进行平均,再进行语义过滤(即滤除干扰语义),最终获得分割结果图。
在本发明中,优选将训练部分未使用的类别数据划分为支撑集和查询集,每次测试时,提供一张查询图片和一对(1-shot)或多对(few-shots)支撑图片和标注,将其输入网络模型进行语义重构和语义过滤,并输出分割结果图,计算器mIoU指标。
本发明所述的基于抗混叠语义重构的小样本语义分割方法,能够增强基类特征之间的正交性,并将这种正交性通过语义重构的方式传递到新类别,从而增强模型判别力,减少类别错分的情况;同时仅需少量数据标注,降低了数据标注成本,对遥感图像识别与分割、医学图像处理和自然场景图像分割等领域具有应用价值。
本发明的第二方面,提供了一种小样本语义分割系统,优选用于实施第一方面所述的基于抗混叠语义重构的小样本语义分割方法,所述系统包括特征提取单元、语义张成单元和语义过滤单元。
其中,所述特征提取单元,用于提取支撑图片和查询图片的特征,
所述语义张成单元,用于对不同基类的特征进行语义张成,使得不同基类特征之间相互正交;
所述语义过滤单元,用于滤除干扰语义,实现对目标类别的准确分割。
本发明的第三方面,提供了一种计算机可读存储介质,存储有基于抗混叠语义重构的小样本语义分割训练程序,所述程序被处理器执行时,使得处理器执行所述基于抗混叠语义重构的小样本语义分割方法的步骤。
本发明中所述的基于抗混叠语义重构的小样本语义分割方法可借助软件加必需的通用硬件平台的方式来实现,所述软件存储在计算机可读存储介质(包括ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机、计算机、服务器、网络设备等)执行本发明所述方法。
本发明的第四方面,提供了一种计算机设备,包括存储器和处理器,所述存储器存储有基于抗混叠语义重构的小样本语义分割训练程序,所述程序被处理器执行时,使得处理器执行所述基于抗混叠语义重构的小样本语义分割方法的步骤。
实施例
以下通过具体实例进一步描述本发明,不过这些实例仅仅是范例性的,并不对本发明的保护范围构成任何限制。
实施例1
1、数据集
本实施例在Pascal-5i和COCO-20i数据集上对本发明所述的基于抗混叠语义重构的小样本语义分割方法进行评估。
Pascal-5i是为小样本语义分割特定划分的数据集,它由PascalVOC 2012以及SDS两部分数据集组合得到。数据集包含20个类,被按顺序划分为4组,每组5个类别。在训练时,分4个模型进行,每个模型训练时采用3组类别数据,剩下一组类别数据用来测试。在测试阶段,从测试类别数据中随机采样1000张查询图,及其对应的支撑图片标注对,输入模型进行分割。
其具体类别划分如表1所示:
表1
Figure BDA0003040519400000101
COCO-20i则是由MSCOCO 2017重新划分得到。MSCOCO2017包含80个类别,被依次分为4组,每组包含20个类别。在训练时,分4个模型进行,每个模型训练时采用3组类别数据,剩下一组类别数据用来测试。在测试阶段,从测试类别数据中随机采样1000张查询图,及其对应的支撑图片标注对,输入模型进行分割。
其具体类别划分如表2所示:
表2
Figure BDA0003040519400000111
Figure BDA0003040519400000121
2、性能评测标准
本实施例采用mIoU(mean intersection over-union)指标来进行性能评测。mIoU计算所有测试类别的IoU并对其取平均。对于每个类别,IoU的计算方式为IoU=TP/(TP+FP+FN),其中TP、FP、FN分别代表分割图像中真正例类、假正例类、假负例类的像素点面积。
3、任务描述
将数据集划分为训练集和测试集,训练集带有完全标注。首先利用训练集对模型进行基础训练,使得模型具有一定的特征提取和泛化能力;然后利用测试集中带有少量标注的支撑集,引导模型实现对查询集图像的分割,并对分割结果进行评测。
具体地,训练部分的步骤如下:
(1)利用VGG-16(或ResNet-50)基础网络对支撑图片和查询图片进行特征提取,支撑分支和查询分支的特征提取网络共享参数;对于ResNet-50特征提取网络,将其网络第2层和第3层输出的特征进行融合,得到最终的输出特征。
(2)将步骤(1)中提取得到的支撑特征和查询特征输入卷积模块,卷积核大小为3×3,输出特征维度为H×W×(B×D),其中H×W表征特征图的空间分辨率,B为训练过程中基类的数目,D为每个基类对应的特征通道数。
(3)将步骤(2)中得到的支撑特征图
Figure BDA0003040519400000122
和查询特征图Fq通过全局平均池化,压缩得到支撑语义向量
Figure BDA0003040519400000123
和查询语义向量vq。其中,c在训练过程中表示基类,在测试过程中表示新类,将其拆分成子向量,得到
Figure BDA0003040519400000131
Figure BDA0003040519400000132
其中b表示第b个基类。
将支撑语义子向量和查询语义子向量进行语义扩张,首先利用语义解耦损失将不同基类的特征解耦到不同的通道上,具体实现如下:
Figure BDA0003040519400000133
其中,
Figure BDA0003040519400000134
是重构系数,它对应每个子向量的模长;y是目标类别的独热编码。
然后,利用对比学习,使得同类语义子向量夹角减少,异类语义子向量增大,具体实现如下:
Figure BDA0003040519400000135
其中,b'表示非目标类别。
(4)对支撑特征语义向量进行语义重构,具体实现如下:
Figure BDA0003040519400000136
其中,
Figure BDA0003040519400000137
表示重构支撑语义向量;B表示基类的数目;
Figure BDA0003040519400000138
为第b个重构系数,
Figure BDA0003040519400000139
vb为基向量,
Figure BDA00030405194000001310
对查询特征进行语义重构,具体如下:
Figure BDA00030405194000001311
滤除重构查询特征中的干扰语义,具体如下:
Figure BDA00030405194000001312
通过计算重构查询特征图上每个空间位置对应的语义向量到重构支撑语义向量上的投影,滤除重构查询特征中的干扰语义。
(5)将步骤(4)中得到的语义过滤查询特征图和原始的查询特征图进行维度拼接,通过残差卷积模块和ASPP分割模块进行分割,最终得到分割结果图。
(6)计算步骤(5)中得到的分割结果图与标注图之间的交叉熵损失,将语义解耦损失、对比学习损失和交叉熵损失相加得到最终的损失,利用梯度反传,优化并更新模型参数。
测试部分:将训练得到的网络模型应用在新的类别数据上,根据分割结果来验证模型的有效性。
将训练中未使用的类别数据划分为支撑集和查询集,每次测试时,提供一张查询图片和一对(1-shot)或多对(few-shots)支撑图片和标注;将其输入模型进行语义重构和过滤,并输出分割结果图,计算其mIoU指标。
4、结果与分析
本实施例分别采用了VGG-16和ResNet-50两种基础网络,在COCO-20i、Pascal-5i两个数据集上进行了训练和评测,实验结果如表3~5所示:
表3 COCO-20i 1-shot和5-shot测试性能(*代表多尺度测试)
Figure BDA0003040519400000141
Figure BDA0003040519400000151
表4 Pascal-5i 1-shot测试性能
Figure BDA0003040519400000152
Figure BDA0003040519400000161
表5 Pascal-5i5-shot测试性能
Figure BDA0003040519400000162
Figure BDA0003040519400000171
其中,OSLSM、co-FCN、SG-One、PANet、FWB、CANet、PGNet、CRNet为当前小样本语义分割的最新技术方法,具体地:
PANet具体如“Wang,K.,Liew,J.,Zou,Y.,Zhou,D.,Feng,J.:Panet:Few-shotimage semantic segmentation with prototype alignment.(2019)622-631”中所述;
FWB具体如“Nguyen,K.,Todorovic,S.:Feature weighting and boosting forfew-shot segmentation.In:IEEE ICCV.(2019)622-631”中所述;
PFENet具体如“Zhuotao Tian,Hengshuang Zhao,Michelle Shu,ZhichengYang,Ruiyu Li,and Jiaya Jia.Prior guided feature enrichment network for few-shotsegmentation.abs/2008.01449,2020.”中所述;
RPMMs具体如“Boyu Yang,Chang Liu,Bohao Li,Jianbin Jiao,andQixiangYe.Prototype mixture models for few-shot semantic segmentation.InECCV,pages 763–778,2020.”中所述;
OSLSM具体如“Shaban,A.,Bansal,S.,Liu,Z.,Essa,I.,Boots,B.:One-shotlearning for semantic segmentation.In:BMVC.(2017)”中所述;
co-FCN具体如“Rakelly,K.,Shelhamer,E.,Darrell,T.,Efros,A.A.,Levine,S.:Conditional networks for few-shot semantic segmentation.In:ICLR Workshop.(2018)”中所述;
SG-One具体如“Zhang,X.,Wei,Y.,Yang,Y.,Huang,T.:Sg-one:Similarityguidance network forone-shot semantic segmentation.CoRR abs/1810.09091(2018)”中所述;
CANet具体如“Zhang,C.Lin,G.Liu,F.Yao,R.Shen,C.:Canet:Class-agnosticsegmentation networks with iterative refinement and attentive few-shotlearning.In:IEEECVPR.(2019)5217-5226”中所述;
PGNet具体如“C.Zhang,G.Lin,F.Liu,J.Guo,Q.Wu,R.Yao,Pyramidgraphnetworks with connection attentions for region-based one-shot semanticsegmentation,in:IEEE ICCV,2019”中所述;
CRNet具体如“W.Liu,C.Zhang,G.Lin,F.Liu,Crnet:Cross-reference networksfor few-shot segmentation,in:IEEE/CVF Conference on Computer VisionandPattern Recognition(CVPR),2020”中所述。
本实施例中的Baseline为CANet。
由表3可以看出,本发明(ASR)在大多数设定下都显著超越了其他方法,具体地,在1-shot的设定下,本发明所述方法的性能超越了RPMMs约3.27%;在5-shot的设定下,本发明的性能超越了FWB约10.31%。
由表4和表5可以看出,本发明性能显著超越了之前的方法,取得了不错的表现。具体地,在1-shot的设定下,以VGG-16为特征提取网络,本发明性能超越了RPMMs约2.64%;在1-shot的设定下,以ResNet-50为特征提取网络,本发明性能超越了CANet约2.76%。在5-shot的设定下,本发明性能和其它方法相当。
进一步地,对本发明中各个模块进行了消融试验,以验证各模块的有效性,结果如表6所示。
表6模型对比实验
Figure BDA0003040519400000181
Figure BDA0003040519400000191
其中,“√”表示含有此模块。
由表6可以看出,当直接在baseline上加入语义重构模块,性能会略微下降;当引入语义张成模块后,性能从53.26%提升到了55.98%,证明了使基类特征正交的必要性。
当直接在baseline上加入语义过滤模块,性能同样会下降,这是因为未正交化的支撑特征本身存在语义混叠,当将语义张成、语义重构和语义过滤模块组合在一起,本发明所述方法的性能提升了2.66%(58.64%相对于55.98%)。
更进一步地,将本发明所述方法的分割结果图进行了可视化,如图4所示,可以看出,当查询图片中同时出现多个类别的时候,本发明能够很好地将非目标类别抑制,体现了很强的类别判别力。
以上结合具体实施方式和范例性实例对本发明进行了详细说明,不过这些说明并不能理解为对本发明的限制。本领域技术人员理解,在不偏离本发明精神和范围的情况下,可以对本发明技术方案及其实施方式进行多种等价替换、修饰或改进,这些均落入本发明的范围内。

Claims (10)

1.一种基于抗混叠语义重构的小样本语义分割方法,其特征在于,所述方法包括训练部分和测试部分,其中,所述训练部分包括以下步骤:
步骤1,对支撑图片和查询图片进行特征提取;
步骤2,对属于不同基类的特征进行语义张成;
步骤3,滤除干扰语义,实现对目标类别的分割。
2.根据权利要求1所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,步骤2包括以下子步骤:
步骤2-1,对支撑特征和查询特征进行维度转化;
步骤2-2,将支撑特征和查询特征压缩成语义向量,并进行语义张成。
3.根据权利要求2所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,
步骤2-2中,将压缩得到的支撑语义向量和查询语义向量进行语义张成,优选按照包括下述步骤的方法进行:
步骤i,对特征进行解耦,获得属于不同基类的特征;
步骤ii,使不同基类的特征之间相互正交。
4.根据权利要求1所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,步骤3包括以下子步骤:
步骤3-1,将语义张成后的支撑语义向量进行语义重构,获得重构支撑语义向量;
步骤3-2,对查询特征进行语义重构,获得重构查询特征图;
步骤3-3,滤除重构查询特征中的干扰语义;
步骤3-4,对滤除干扰语义的重构查询特征进行分割,获得分割结果图。
5.根据权利要求4所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,
步骤3-1中,通过下式对支撑语义向量进行语义重构:
Figure FDA0003040519390000021
其中,
Figure FDA0003040519390000022
表示重构支撑语义向量;B表示基类的数目;
Figure FDA0003040519390000023
为第b个重构系数,
Figure FDA0003040519390000024
vb为基向量,
Figure FDA0003040519390000025
6.根据权利要求1所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,所述训练部分还包括步骤4,对网络参数进行更新,
优选地,获得分割结果图与掩码标注之间的交叉熵损失,并将其与语义解耦损失、对比学习损失相加得到最终的损失,获得损失函数的梯度,对网络进行误差梯度反传,更新网络模型参数。
7.根据权利要求1所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,所述测试部分所利用的数据类别与训练部分的数据类别完全不同。
8.一种小样本语义分割系统,优选用于实施权利要求1至7之一所述的基于抗混叠语义重构的小样本语义分割方法,其特征在于,所述系统包括特征提取单元、语义张成单元和语义过滤单元;
其中,特征提取单元,用于提取支撑图片和查询图片的特征,
语义张成单元,用于对不同基类的特征进行语义张成,使得不同基类特征之间相互正交;
语义过滤单元,用于滤除干扰语义,实现对目标类别的准确分割。
9.一种计算机可读存储介质,其特征在于,存储有基于抗混叠语义重构的小样本语义分割训练程序,所述程序被处理器执行时,使得处理器执行权利要求1至7之一所述基于抗混叠语义重构的小样本语义分割方法的步骤。
10.一种计算机设备,包括存储器和处理器,其特征在于,所述存储器存储有基于抗混叠语义重构的小样本语义分割训练程序,所述程序被处理器执行时,使得处理器执行权利要求1至7之一所述基于抗混叠语义重构的小样本语义分割方法的步骤。
CN202110455943.3A 2021-04-26 2021-04-26 一种基于抗混叠语义重构的小样本语义分割方法 Active CN113221977B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110455943.3A CN113221977B (zh) 2021-04-26 2021-04-26 一种基于抗混叠语义重构的小样本语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110455943.3A CN113221977B (zh) 2021-04-26 2021-04-26 一种基于抗混叠语义重构的小样本语义分割方法

Publications (2)

Publication Number Publication Date
CN113221977A true CN113221977A (zh) 2021-08-06
CN113221977B CN113221977B (zh) 2022-04-29

Family

ID=77089427

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110455943.3A Active CN113221977B (zh) 2021-04-26 2021-04-26 一种基于抗混叠语义重构的小样本语义分割方法

Country Status (1)

Country Link
CN (1) CN113221977B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640796A (zh) * 2022-03-24 2022-06-17 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN115272681A (zh) * 2022-09-22 2022-11-01 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826596A (zh) * 2019-10-09 2020-02-21 天津大学 一种基于多尺度可变形卷积的语义分割方法
CN111460097A (zh) * 2020-03-26 2020-07-28 华泰证券股份有限公司 一种基于tpn的小样本文本分类方法
CN111583284A (zh) * 2020-04-22 2020-08-25 中国科学院大学 一种基于混合模型的小样本图像语义分割方法
US20200334490A1 (en) * 2019-04-16 2020-10-22 Fujitsu Limited Image processing apparatus, training method and training apparatus for the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200334490A1 (en) * 2019-04-16 2020-10-22 Fujitsu Limited Image processing apparatus, training method and training apparatus for the same
CN110826596A (zh) * 2019-10-09 2020-02-21 天津大学 一种基于多尺度可变形卷积的语义分割方法
CN111460097A (zh) * 2020-03-26 2020-07-28 华泰证券股份有限公司 一种基于tpn的小样本文本分类方法
CN111583284A (zh) * 2020-04-22 2020-08-25 中国科学院大学 一种基于混合模型的小样本图像语义分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CRISTINA VASCONCELOS.ET AL: ""An Effective Anti-Aliasing Approach for Residual Networks"", 《ARXIV:2011.10675V1》 *
XIANGTAI LI.ET AL: ""Improving Semantic Segmentation via"", 《ARXIV:2007.10035V2》 *
张晴晴等: ""基于语义分割网络的小样本表面缺陷检测"", 《电子设计工程》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114640796A (zh) * 2022-03-24 2022-06-17 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN114640796B (zh) * 2022-03-24 2024-02-09 北京字跳网络技术有限公司 视频处理方法、装置、电子设备及存储介质
CN115272681A (zh) * 2022-09-22 2022-11-01 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统
CN115272681B (zh) * 2022-09-22 2022-12-20 中国海洋大学 基于高阶特征类解耦的海洋遥感图像语义分割方法及系统

Also Published As

Publication number Publication date
CN113221977B (zh) 2022-04-29

Similar Documents

Publication Publication Date Title
CN113255694B (zh) 训练图像特征提取模型和提取图像特征的方法、装置
CN112364870B (zh) 一种基于特征和谐激活的小样本语义分割方法
CN111563502A (zh) 图像的文本识别方法、装置、电子设备及计算机存储介质
CN111680678B (zh) 目标区域识别方法、装置、设备及可读存储介质
CN113221977B (zh) 一种基于抗混叠语义重构的小样本语义分割方法
CN116580257A (zh) 特征融合模型训练及样本检索方法、装置和计算机设备
CN114170516A (zh) 一种基于路侧感知的车辆重识别方法、装置及电子设备
CN115205547A (zh) 一种目标图像的检测方法、装置、电子设备及存储介质
CN110135428B (zh) 图像分割处理方法和装置
CN114943937A (zh) 行人重识别方法、装置、存储介质及电子设备
CN111428612B (zh) 行人重识别方法、终端、装置及存储介质
CN115393868B (zh) 文本检测方法、装置、电子设备和存储介质
CN112183303A (zh) 变电设备图像分类方法、装置、计算机设备和介质
CN116188361A (zh) 一种基于深度学习的铝型材表面缺陷分类方法及装置
CN112949777B (zh) 相似图像确定方法及装置、电子设备和存储介质
CN113807354B (zh) 图像语义分割方法、装置、设备和存储介质
Rodin et al. Document image quality assessment via explicit blur and text size estimation
CN111539922A (zh) 基于多任务网络的单目深度估计与表面法向量估计方法
CN117938951B (zh) 信息推送方法、装置、计算机设备和存储介质
CN113343979B (zh) 用于训练模型的方法、装置、设备、介质和程序产品
CN116758618B (zh) 图像识别方法、训练方法、装置、电子设备及存储介质
CN115861684B (zh) 图像分类模型的训练方法、图像分类方法及装置
CN117407555A (zh) 图像处理方法、电子设备及计算机可读介质
CN117079160A (zh) 无人机图像识别网络训练方法、应用方法及电子设备
CN115861771A (zh) 一种用于图像识别的关键知识蒸馏方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant