CN114677515B - 基于类间相似性的弱监督语义分割方法 - Google Patents
基于类间相似性的弱监督语义分割方法 Download PDFInfo
- Publication number
- CN114677515B CN114677515B CN202210442111.2A CN202210442111A CN114677515B CN 114677515 B CN114677515 B CN 114677515B CN 202210442111 A CN202210442111 A CN 202210442111A CN 114677515 B CN114677515 B CN 114677515B
- Authority
- CN
- China
- Prior art keywords
- class
- activation spectrum
- image
- spectrum
- class activation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 54
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004913 activation Effects 0.000 claims abstract description 153
- 238000001228 spectrum Methods 0.000 claims abstract description 150
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012545 processing Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 9
- 230000001172 regenerating effect Effects 0.000 claims abstract description 7
- 238000000605 extraction Methods 0.000 claims description 17
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000010276 construction Methods 0.000 abstract description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 4
- 230000002708 enhancing effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000017105 transposition Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于类间相似性的弱监督语义分割方法,属于弱监督语义分割领域。本发明包括:基于每个类别的特征通过聚类方法将相似类进行合并得到新类,重新生成数据集中每个样本在新类上的标签;基于原始标签搭建分类网络,提取对应的类激活谱,将其与阈值比较获取判别性区域,从原图中擦除判别性区域,将其送入基于新标签建立的分类网络,完成对抗擦除模型的搭建;基于训练好的对抗擦除模型,提取类激活谱,依次经过类激活谱增强模块和融合模块的处理,得到最终的类激活谱,再将其与前景背景阈值比较得到伪标注,基于该伪标注对语义分割模型进行训练,得到训练好的分割模型。本发明提升了图像的弱监督语义分割的分割准确。
Description
技术领域
本发明属于弱监督语义分割领域,具体涉及一种基于类间相似性的弱监督语义分割方法。
背景技术
弱监督语义分割任务是一个在计算机视觉领域中备受关注的研究方向,其目的旨在利用图像级的标签实现像素级的分割,因此被认为是降低语义分割所需标注成本的一个重要任务。近些年来,随着计算机运算能力的提升,深度卷积神经网络的发展使弱监督语义分割任务获得了诸多显著的成果。
现如今,性能优越的弱监督语义分割模型都是基于类激活谱进行实现的,其基于分类模型建立图像级到标签级的映射关系给弱监督语义分割任务注入了新的活力。较于传统的弱监督语义分割算法,基于类激活谱的弱监督语义分割算法在分割性能上有了突破性进步,在各种数据集上都表现出了强劲的性能和优势,但基于类激活谱的弱监督语义分割任务仍然面临着一些挑战,例如基于分类网络提取的类激活谱具有过激活和欠激活问题等。
比如,以分割场景中的猫和狗这两类为例,由于猫和狗的身体具有较强的相似性,导致猫和狗的判别性区域主要集中在头部区域,故在类激活谱中往往只能激活猫和狗的头部区域,进而使得基于类激活谱提取的伪标注与真实的掩膜具有较大的差距,从而导致最终的分割性能受到影响,但目前通用的弱监督语义分割方法并没有解决类激活欠激活问题,分割的准确率较低,不能满足实际需求。
发明内容
本发明的目的在于:为了解决目前通用的基于类激活谱实现弱监督语义分割任务方法中,由于数据集中类与类之间具有较强的相似性导致提取的类激活谱具有欠激活现象,导致目前通用的模型生成的伪标注与真实的掩膜之间存在较大差距而导致最终的分割准确率较低的问题,本发明提出了一种基于类间相似性的弱监督语义分割方法。
本发明采用的技术方案如下:
基于类间相似性的弱监督语义分割方法,包括以下步骤:
步骤1,建立新标签:
通过特征提取网络提取预置的第一图像数据集的每个类别的图像特征,基于提取的图像特征通过聚类方法对相似类进行合并得到新类,并重新生成第一图像数据集中每个样本图像在新类上的标签;
步骤2,搭建对抗擦除模型:
基于第一图像数据集的原始标签,搭建第一分类网络,所述第一分类网络包括特征提取网络和分类器,所述分类器包括至少一层全连接层;
基于第一图像数据集对所述第一分类网络进行训练,得到训练好的第一分类网络;
将第一图像数据集中的样本图像输入训练好的第一分类网络,基于其特征提取网络的输出得到样本特征图,并将训练好的第一分类网络的分类器的最后一层全连接层的权重作为样本特征图的通道权重,对各样本特征图的按通道进行加权求和生成第一类激活谱(即原始标签对应的类激活谱);
将所述第一类激活谱阈值进行比较,若大于或等于,则确定为判别性区域,并从当前样本图像中擦除判别性区域得到新样本图像,基于新样本图像和新标签得到第二图像数据集;
基于第二图像数据集搭建第二分类网络,所述第二分类网络与第一分类网络的网络结构相同;并基于第二图像数据集对所述第二分类网络进行训练,基于训练好的第二分类网络得到对抗擦除模型;
步骤3,类激活谱融合:
将新样本图像输入对抗擦除模型,基于其特征提取网络的输出得到第二样本特征图,并将对抗擦除模型的分类器的最后一层全连接层的权重作为第二样本特征图的通道权重,对各第二样本特征图的按通道进行加权求和生成第二类激活谱(即新标签对应的类激活谱);
对第一和第二类激活谱进行合并处理,生成最终的类激活谱;
步骤4,生成伪标注:
若最终的类激活谱大于或等于前景阈值,则将最终的类激活谱对应的像素划分为前景;若最终的类激活谱小于背景阈值,则将最终的类激活谱对应的像素划分为背景;剩余的像素则填充为白色;
步骤5,训练语义分割模型:
将生成的伪标注作为监督信息,并基于第一图像数据集对采用的语义分割模型进行训练,当满足预置的训练结束条件时,得到训练好的语义分割模型。
进一步地,所述步骤1中,基于提取的图像特征通过聚类方法对相似类进行合并具体为:
基于单个样本图像的图像特征Fi,对其按类别划分,取特征均值得到每个类别的特征:其中,Cj表示第j个类别的特征,yi,j表示样本图像i的第j个类别的标签值,若样本图像i包含第j类物体,则yi,j为1,否则yi,j为0;
基于每个类别的特征进行聚类处理,将每个聚类结果作为一种新类,并设置对应的新标签。
进一步的,所述特征提取网络采用网络Resnet50或VGG16的骨干网络。
进一步的,所述分类器包括一层设置有softmax函数全连接层。
进一步的,第一、第二类激活谱的具体计算方式为:
其中,Oi,j表示样本图像i第j类的第一或第二类激活谱,R()表示正则化,表示第一或第二分类器的最后一层全连接的权重,表示样本图像的样本特征图,下标m表示通道标识,j表示类别标识,i表示样本图像标识。
进一步的,步骤2中,新样本图像为Ii′=∑jyi,j[Ii⊙(1-Di,j)],其中,Ii表示第一图像数据集的第i幅样本图像,yi,j表示样本图像i的第j个类别的标签值,若样本图像i包含第j类物体,则yi,j为1,否则yi,j为0,Di,j表示判别性区域标识,Di,j为1表示判别性区域,Di,j为0表示非判别性区域,⊙代表点乘运算。
进一步地,所述对抗擦除模型在训练时采用的损失函数为: 其中,s和s′分别表示第一和第二分类网络的预测结果,y和y′分别表示原始标签和新标签;λ1和λ2表示两个平衡系数,用来调整每部分对总损失的贡献,以保证训练的稳定,即λ1和λ2分别表示第一和第二分类网络的损失权重,表示交叉熵损失函数。
进一步的,第一和第二分类网络进行网络训练时的结束条件为:训练次数达到预置的训练次数上限。
进一步的,步骤2中,确定判别性区域时,首先对第一类激活谱进行增强处理,再基于增强处理后的第一类激活谱进行判别性区域确定。
进一步的,步骤3中,对第一和第二类激活谱进行合并处理前,分别对第一和第二类激活谱进行增强处理,再基于增强处理后的第一和第二类激活谱进行合并处理。
进一步的,所述增强处理具体为:
定义b×h×w表示样本特征图F尺寸,其中,b表示通道数,h×w表示样本特征图的大小,则特征图F1的尺寸为b×hw,特征图F2的尺寸为hw×b;
将类激活谱与其对应的亲和力矩阵M进行矩阵相乘得到增强后的增强后的类激活谱。
进一步的,步骤3中,对第一和第二类激活谱进行合并处理具体为:
第一类激活谱减去干扰区域后,再与第二类激活谱相加,生成最终的类激活谱;
其中,干扰区域的具体生成方式为:Zi,j表示样本图像i的第j类的干扰区域,n表示类别标识符,Ai,n表示第一类激活谱,即Ai,n表示样本图像i的第n类的第一激活谱,需要说明的是,若该步骤中,合并处理的对象是增强后的类激活谱,则Ai,n表示增强后的第一类激活谱,为了便于区分,可将增强后的第一类激活谱定义为A′i,n,未增强处理的第一类激活谱表示为Ai,n。
综上所述,由于采用了上述技术方案,本发明的有益效果是:通过两个分类网络实现类激活谱的提取,通过将相似类进行合并,使得基于新标签分类网络生成的类激活谱可以进一步激活类间相似性区域,对基于原始标签分类网络生成的类激活谱进行扩展;擦除方法擦除判别性区域可以使得基于新标签的分类网络更加关注非判别性区域;类激活谱增强模块通过构建像素与像素之间的相似性矩阵,可以进一步激活与激活区域相似的非激活区域;同时通过融合模块将基于两个分类网络提取的类激活谱进行融合,对类激活谱进行进一步优化,扩展了类激活谱的激活区域,使得生成的伪标注和真实的掩膜更加接近,进而提升了分割结果的准确率。
附图说明
为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图,其中:
图1是本发明实施例提供的基于类间相似性的弱监督语义分割方法的流程示意图,其中,GAP表示全局平均池化层,FC表示全连接层;
图2是本发明实施例中,基于像素特征类激活谱增强的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例提供的基于类间相似性的弱监督语义分割方法解决了目前通用的基于类激活谱进行弱监督语义分割方法中存在的类激活谱欠激活问题。其具体包括以下步骤:
步骤S1,建立新标签:提取每个类别的特征,基于提取的特征通过聚类方法将相似类进行合并得到新类,重新生成数据集中每个样本在新类上的标签;
步骤S2,搭建对抗擦除模型:基于原始标签搭建分类网络,将分类网络的全连接层权重视为每个通道的权重,加权至特征谱上求和即可生成原始标签对应的类激活谱,将类激活谱与阈值比较获取判别性区域,从原图中擦除判别性区域送入基于新标签搭建的分类网络,完成对抗擦除模型的搭建;
步骤S3,生成类激活谱:基于两个分类网络的全连接层权重和特征谱提取对应网络的类激活谱,将其分别送入类激活谱增强模块,基于像素特征之间的相似性进行信息增强,从而激活更多的区域,将增强后的类激活谱送入融合模块,将两个网络提取的类激活谱进行合并,进一步优化类激活谱,获得最终的类激活谱;
步骤S4,生成伪标注:将最终的类激活谱与前景阈值和背景阈值进行比较,将类激活谱分数大于(或等于)前景阈值的区域划分为前景,类激活谱分数小于(或等于)背景阈值的区域划分为背景,剩余区域用白色填充;
步骤S5,训练分割模型:将生成的伪标注作为监督信息送入采用的语义分割模型,对该语义分割模型进行训练,其中训练的数据集为原始的数据集,基于训练好的语义分割模型得到最终的分割结果。本步骤中,语义分割模型可以采用任一惯用的网络结构,本发明不做具体限定,例如可以采用经典的分割模型DeeplabV2。
本发明实施例中,通过两个分类网络实现类激活谱的提取,通过将相似类进行合并,使得基于新标签分类网络生成的类激活谱可以进一步激活类间相似性区域,对基于原始标签分类网络生成的类激活谱进行扩展;擦除方法擦除判别性区域可以使得基于新标签的分类网络更加关注非判别性区域;类激活谱增强模块通过构建像素与像素之间的相似性矩阵,可以进一步激活与激活区域相似的非激活区域;同时通过融合模块将基于两个分类网络提取的类激活谱进行融合,对类激活谱进行进一步优化,扩展了类激活谱的激活区域,使得生成的伪标注和真实的掩膜更加接近,进而提升了分割结果的准确率。
作为一种可能的实现方式,参见图1,本发明实施例提供的基于类间相似性的弱监督语义分割方法的较佳实施例,包括以下步骤:
步骤S1、建立新的标签:
提取每个类别的特征,基于提取的特征通过聚类方法将相似类进行合并得到新类,重新生成数据集中每个样本在新类上的标签;该步骤中,通过惯用的用于提取图像特征的特征提取网络即可获取每个类别的特征。
步骤S101、提取每个类的特征:
使用骨干网络提取数据集上只包含单个目标的图像特征Fi,对其按类别划分,取特征均值即为对应类别的特征:
其中,Cj为第j个类别的特征,yi,j为第i张图像第j个类别的标签值,如果包含第j类物体,则为1,否则为0;
步骤S102、基于特征将相似类聚为新类:
基于特征C,通过谱聚类方法将特征相似的类聚为一个新类:
P(j)=j′(j=1,2...c;j′=1,2…c′) (2)
其中,P代表聚类算法,j′代表第j类经过聚类后的类别标签,c和c′分别代表聚类前后类别总数;
步骤S103、基于合并后的新类重新生成新标签:
对数据集中的每张图像,重新生成一个新的标签,具体地,第i张图像原始标签为yi,j,新标签对应为y′i,j′。
步骤S2、搭建对抗擦除模型:
基于原始标签搭建分类网络,将分类网络的最后一层全连接层权重视为每个通道的权重,加权至特征谱上求和即可生成原始标签对应的类激活谱,将类激活谱与阈值比较获取判别性区域,从原图中擦除判别性区域送入基于新标签搭建的分类网络,完成对抗擦除模型的搭建;
步骤S201、基于原始标签搭建分类网络:
本实施中,将原始图像送入网络Resnet50或VGG16中进行特征提取,然后紧接一个分类器(即由至少一层的全连接层组成的分类器,且分类器的最后一层全连接层通常为基于sofmax函数的全连接层,用于输出各个类别的预测概率),用原始标签进行监督,搭建基于原始标签的分类网络,即该分类网络包括两部分:特征提取网络和分类器;
步骤S202、提取判别性区域:
基于原始标签搭建分类网络,提取特征提取网络的最后一层输出的特征F(也称为特征图)和全连接层权重fc,将权重fc作为每个通道的权重并加权至特征F上,最终通过加权求和生成每张图像每一类对应的类激活谱:
其中,R()代表正则化,下标m表示通道标识,j表示类别标识,i表示样本图像标识,Ai,j为第i张图像第j类的类激活谱,m代表通道,表示最后一层全连接的第m通道第j类的权重,表示第m通道第i幅图像的样本特征图;
类激活谱激活区域代表的是分类网络通过物体的该区域将其识别为对应的类别。故类激活谱中,数值越大代表该像素属于目标物体区域的置信度越高。通过将类激活谱与阈值比较,获取物体的判别性区域:
其中,Di,j反映物体的判别性区域分布情况,Di,j为1时代表判别性区域,Di,j为0时代表非判别性区域,t代表阈值。
步骤S203、基于新标签搭建分类网络:
在原始图像Ii上擦除判别性区域:
Ii′=∑jyi,j[Ii⊙(1-Di,j)] (5)
其中,Ii′代表第i张图像Ii擦除判别性区域后的结果,⊙代表点乘运算;
将Ii′作为输入图像送入基于新标签搭建的分类网络中,使得网络将注意力转移至剩余非判别性区域上,完成对抗擦除网络的搭建。本发明实施例中,基于新标签搭建的分类网络与基于原始标签的分类网络的网络结构相同,两者的差异仅在于训练时训练数据(输入的图像数据及标签)的差异。
步骤S204、训练对抗擦除网络:
基于两个分类网络构建损失函数:
对对抗擦除模型进行网络训练,直到达到预设的迭代次数。
步骤S3、生成类激活谱:
基于两个分类网络的全连接层权重和特征谱提取对应网络的类激活谱,将其分别送入类激活谱增强模块,基于像素特征之间的相似性进行信息增强,从而激活更多的区域,将增强后的类激活谱送入融合模块,将两个网络提取的类激活谱进行合并,进一步优化类激活谱,获得最终的类激活谱;
步骤S301、提取类激活谱:
基于两个训练好的分类网络,通过式(3)分别提取类激活谱A和E,其中,类激活谱A对应基于原始标签的分类网络,类激活谱E对应基于新标签搭建的分类网络;
步骤S302、搭建类激活谱增强模块:
将尺寸为b×h×w特征图F通过转置和尺寸调整操作,得到尺寸分别为b×hw和hw×b特征图F1和F2,对特征图F1和F2进行矩阵相乘得到亲和力矩阵M:
其中,‖·‖代表2-范数运算;
将类激活谱和亲和力矩阵进行矩阵相乘得到最终的类激活谱:
A′=AM (8)
其中,A′代表类激活谱A经过类激活谱增强模块处理后的输出结果;
同理,将激活谱E经过类激活谱增强模块处理后得到E′;
由此,完成类激活谱增强模块的搭建(如图2所示),基于像素的特征相似性通过激活区域去进一步激活非判别性区域。
步骤S303、类激活谱融合模块:
基于增强后的类激活谱A′和E′,通过对其进行融合进行信息补偿,进一步对类激活谱进行优化,具体融合方式如式(9)所示:
Gi,j=A′i,j-Zi,j+E′i,j′ (9)
其中,Gi,j为最终的类激活谱,Zi,j代表干扰区域,是为了防止两个相似类同时出现在同一张图像中导致提取出来的类激活谱互相产生干扰,具体生成方式如式(10)所示:
其中,n表示类别标识符。
步骤S4、生成伪标注:
将最终的类激活谱与前景阈值和背景阈值进行比较,将大于前景阈值的像素划分为前景,小于背景阈值的像素划分为背景,剩余像素用白色填充:
其中,Hi,j代表第i张图像第j类对应的激活谱生成的伪标注;
对于某一张图像,若出现某个像素同时属于多个前景,则比较Zi,j值,取数值最大时对应的类别作为前景。
步骤S5、训练分割模型并推理:
将生成的伪标注作为监督信息送入目前经典的语义分割模型DeeplabV2中进行训练,基于训练好的语义分割模型得到最终的分割结果。
本发明实施例主要针对目前基于类激活实现弱监督分割方法中存在的欠激活问题,通过两个分类网络实现类激活谱的提取,通过将相似类进行合并,使得基于新标签分类网络生成的类激活谱可以进一步激活类间相似性区域,对基于原始标签分类网络生成的类激活谱进行扩展;擦除方法擦除判别性区域可以使得基于新标签的分类网络更加关注非判别性区域;类激活谱增强模块通过构建像素与像素之间的相似性矩阵,可以进一步激活与激活区域相似的非激活区域;同时通过融合模块将基于两个分类网络提取的类激活谱进行融合,对类激活谱进行进一步优化,扩展了类激活谱的激活区域,使得生成的伪标注和真实的掩膜更加接近,进而提升了分割结果的准确率。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说,在不脱离本发明创造构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。
Claims (8)
1.基于类间相似性的弱监督语义分割方法,其特征在于,包括下列步骤:
步骤1,建立新标签:
通过特征提取网络提取预置的第一图像数据集的每个类别的图像特征,基于提取的图像特征通过聚类方法对相似类进行合并得到新类,并重新生成第一图像数据集中每个样本图像在新类上的标签;
步骤2,搭建对抗擦除模型:
基于第一图像数据集的原始标签,搭建第一分类网络,所述第一分类网络包括特征提取网络和分类器,所述分类器包括至少一层全连接层;
基于第一图像数据集对所述第一分类网络进行训练,得到训练好的第一分类网络;
将第一图像数据集中的样本图像输入训练好的第一分类网络,基于其特征提取网络的输出得到样本特征图,并将训练好的第一分类网络的分类器的最后一层全连接层的权重作为样本特征图的通道权重,对各样本特征图的按通道进行加权求和生成第一类激活谱;
将所述第一类激活谱与阈值进行比较,若大于或等于,则确定为判别性区域,并从当前样本图像中擦除判别性区域得到新样本图像,基于新样本图像和新标签得到第二图像数据集;
基于第二图像数据集搭建第二分类网络,所述第二分类网络与第一分类网络的网络结构相同;并基于第二图像数据集对所述第二分类网络进行训练,基于训练好的第二分类网络得到对抗擦除模型;
步骤3,类激活谱融合:
将新样本图像输入对抗擦除模型,基于其特征提取网络的输出得到第二样本特征图,并将对抗擦除模型的分类器的最后一层全连接层的权重作为第二样本特征图的通道权重,对各第二样本特征图的按通道进行加权求和生成第二类激活谱;
对第一和第二类激活谱进行合并处理,生成最终的类激活谱:第一类激活谱减去干扰区域后,再与第二类激活谱相加,生成最终的类激活谱;其中,干扰区域的具体生成方式为:Zi,j表示样本图像i的第j类的干扰区域,n表示类别标识符,Ai,n表示第一类激活谱或增强后的第一类激活谱;
步骤4,生成伪标注:
若最终的类激活谱大于或等于前景阈值,则将最终的类激活谱对应的像素划分为前景;若最终的类激活谱小于背景阈值,则将最终的类激活谱对应的像素划分为背景;剩余像素则填充为白色;
步骤5,训练语义分割模型:
将生成的伪标注作为监督信息,并基于第一图像数据集对采用的语义分割模型进行训练,当满足预置的训练结束条件时,得到训练好的语义分割模型。
3.如权利要求1所述的方法,其特征在于,所述分类器包括一层设置有softmax函数全连接层。
5.如权利要求1所述的方法,其特征在于,步骤2中,新样本图像为ii ′=∑jyi,j[Ii⊙(1-Di,j)],其中,Ii表示第一图像数据集的第i幅样本图像,yi,j表示样本图像i的第j个类别的标签值,若样本图像i包含第j类物体,则yi,j为1,否则yi,j为0,Di,j表示判别性区域标识,Di,j为1表示判别性区域,Di,j为0表示非判别性区域,⊙代表点乘运算。
7.如权利要求1所述的方法,其特征在于,所述步骤2中,确定判别性区域时,首先对第一类激活谱进行增强处理,再基于增强处理后的第一类激活谱进行判别性区域确定;
和/或者所述步骤3中,对第一和第二类激活谱进行合并处理前,分别对第一和第二类激活谱进行增强处理,再基于增强处理后的第一和第二类激活谱进行合并处理。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210442111.2A CN114677515B (zh) | 2022-04-25 | 2022-04-25 | 基于类间相似性的弱监督语义分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210442111.2A CN114677515B (zh) | 2022-04-25 | 2022-04-25 | 基于类间相似性的弱监督语义分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114677515A CN114677515A (zh) | 2022-06-28 |
CN114677515B true CN114677515B (zh) | 2023-05-26 |
Family
ID=82080896
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210442111.2A Active CN114677515B (zh) | 2022-04-25 | 2022-04-25 | 基于类间相似性的弱监督语义分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114677515B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115439688B (zh) * | 2022-09-01 | 2023-06-16 | 哈尔滨工业大学 | 一种基于周围区域感知与关联的弱监督物体检测方法 |
CN115512169B (zh) * | 2022-11-09 | 2023-07-25 | 之江实验室 | 基于梯度和区域亲和力优化的弱监督语义分割方法及装置 |
CN116152575B (zh) * | 2023-04-18 | 2023-07-21 | 之江实验室 | 基于类激活采样引导的弱监督目标定位方法、装置和介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
CN112329659A (zh) * | 2020-11-10 | 2021-02-05 | 平安科技(深圳)有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
CN113436204A (zh) * | 2021-06-10 | 2021-09-24 | 中国地质大学(武汉) | 一种高分辨率遥感影像弱监督建筑物提取方法 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210117471A1 (en) * | 2010-03-08 | 2021-04-22 | Vimeo, Inc. | Method and system for automatically generating a video from an online product representation |
US11348239B2 (en) * | 2018-05-14 | 2022-05-31 | Tempus Labs, Inc. | Predicting total nucleic acid yield and dissection boundaries for histology slides |
CN109255790A (zh) * | 2018-07-27 | 2019-01-22 | 北京工业大学 | 一种弱监督语义分割的自动图像标注方法 |
CN110929744B (zh) * | 2018-09-20 | 2023-04-28 | 成都图必优科技有限公司 | 一种基于层次联合卷积网络特征弱监督图像语义分割方法 |
EP3627379A1 (en) * | 2018-09-24 | 2020-03-25 | Siemens Aktiengesellschaft | Methods for generating a deep neural net and for localising an object in an input image, deep neural net, computer program product, and computer-readable storage medium |
US10902238B2 (en) * | 2018-11-28 | 2021-01-26 | Toyota Research Institute, Inc. | Systems and methods for predicting semantics of a particle using semantic segmentation |
CN111723813B (zh) * | 2020-06-05 | 2021-07-06 | 中国科学院自动化研究所 | 基于类内判别器的弱监督图像语义分割方法、系统、装置 |
CN111931684B (zh) * | 2020-08-26 | 2021-04-06 | 北京建筑大学 | 一种基于视频卫星数据鉴别特征的弱小目标检测方法 |
CN112308860B (zh) * | 2020-10-28 | 2024-01-12 | 西北工业大学 | 基于自监督学习的对地观测图像语义分割方法 |
CN112668579A (zh) * | 2020-12-24 | 2021-04-16 | 西安电子科技大学 | 基于自适应亲和力和类别分配的弱监督语义分割方法 |
CN113159048A (zh) * | 2021-04-23 | 2021-07-23 | 杭州电子科技大学 | 一种基于深度学习的弱监督语义分割方法 |
CN113221905B (zh) * | 2021-05-18 | 2022-05-17 | 浙江大学 | 基于均匀聚类的语义分割的无监督域适应方法、装置、系统和存储介质 |
CN113379655B (zh) * | 2021-05-18 | 2022-07-29 | 电子科技大学 | 一种基于动态自注意力生成对抗网络的图像合成方法 |
CN113657560B (zh) * | 2021-10-20 | 2022-04-15 | 南京理工大学 | 基于节点分类的弱监督图像语义分割方法及系统 |
CN113887517B (zh) * | 2021-10-29 | 2024-04-09 | 桂林电子科技大学 | 基于并行注意力机制的农作物遥感图像语义分割方法 |
CN114119975A (zh) * | 2021-11-25 | 2022-03-01 | 中国人民公安大学 | 一种语言引导的跨模态实例分割方法 |
-
2022
- 2022-04-25 CN CN202210442111.2A patent/CN114677515B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021017372A1 (zh) * | 2019-08-01 | 2021-02-04 | 中国科学院深圳先进技术研究院 | 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 |
CN112329659A (zh) * | 2020-11-10 | 2021-02-05 | 平安科技(深圳)有限公司 | 基于车辆图像的弱监督语义分割方法及其相关设备 |
CN113436204A (zh) * | 2021-06-10 | 2021-09-24 | 中国地质大学(武汉) | 一种高分辨率遥感影像弱监督建筑物提取方法 |
Also Published As
Publication number | Publication date |
---|---|
CN114677515A (zh) | 2022-06-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114677515B (zh) | 基于类间相似性的弱监督语义分割方法 | |
CN109949317B (zh) | 基于逐步对抗学习的半监督图像实例分割方法 | |
US10635927B2 (en) | Systems for performing semantic segmentation and methods thereof | |
CN109165306B (zh) | 基于多任务哈希学习的图像检索方法 | |
CN110909820B (zh) | 基于自监督学习的图像分类方法及系统 | |
CN112150821B (zh) | 轻量化车辆检测模型构建方法、系统及装置 | |
CN111210443A (zh) | 基于嵌入平衡的可变形卷积混合任务级联语义分割方法 | |
CN108829677A (zh) | 一种基于多模态注意力的图像标题自动生成方法 | |
CN112990097A (zh) | 一种基于对抗消除的人脸表情识别方法 | |
CN113297936B (zh) | 一种基于局部图卷积网络的排球群体行为识别方法 | |
CN113780149A (zh) | 一种基于注意力机制的遥感图像建筑物目标高效提取方法 | |
CN112287941B (zh) | 一种基于自动字符区域感知的车牌识别方法 | |
CN113298815A (zh) | 一种半监督遥感图像语义分割方法、装置和计算机设备 | |
CN113591978B (zh) | 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质 | |
CN113688894A (zh) | 一种融合多粒度特征的细粒度图像分类方法 | |
CN113051914A (zh) | 一种基于多特征动态画像的企业隐藏标签抽取方法及装置 | |
CN116363374B (zh) | 图像语义分割网络持续学习方法、系统、设备及存储介质 | |
CN113052017A (zh) | 一种基于多粒度特征表示和域自适应学习的无监督行人重识别方法 | |
CN115965968A (zh) | 基于知识引导的小样本目标检测识别方法 | |
CN112183464A (zh) | 基于深度神经网络和图卷积网络的视频行人识别方法 | |
CN112241959A (zh) | 基于超像素的注意力机制生成语义分割方法 | |
CN112906800B (zh) | 基于图像组自适应的协同显著性检测方法 | |
CN117333672A (zh) | 基于空间细节和注意力的遥感图像分割网络结构及方法 | |
CN113592045B (zh) | 从印刷体到手写体的模型自适应文本识别方法和系统 | |
CN115984699A (zh) | 基于深度学习的违规广告牌检测方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |