CN114743027A - 弱监督学习引导的协同显著性检测方法 - Google Patents
弱监督学习引导的协同显著性检测方法 Download PDFInfo
- Publication number
- CN114743027A CN114743027A CN202210375572.2A CN202210375572A CN114743027A CN 114743027 A CN114743027 A CN 114743027A CN 202210375572 A CN202210375572 A CN 202210375572A CN 114743027 A CN114743027 A CN 114743027A
- Authority
- CN
- China
- Prior art keywords
- network
- gcam
- group
- image
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 65
- 238000012549 training Methods 0.000 claims abstract description 77
- 238000000034 method Methods 0.000 claims abstract description 40
- 239000011159 matrix material Substances 0.000 claims description 66
- 230000004913 activation Effects 0.000 claims description 65
- 230000006870 function Effects 0.000 claims description 27
- 238000000605 extraction Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 13
- 238000009795 derivation Methods 0.000 claims description 7
- 230000004927 fusion Effects 0.000 claims description 7
- 230000001902 propagating effect Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 101100261000 Caenorhabditis elegans top-3 gene Proteins 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 230000002195 synergetic effect Effects 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 3
- 230000008021 deposition Effects 0.000 description 6
- 241000234295 Musa Species 0.000 description 5
- 238000011084 recovery Methods 0.000 description 5
- 241000255749 Coccinellidae Species 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 3
- 235000018290 Musa x paradisiaca Nutrition 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 235000021015 bananas Nutrition 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- OPIGMRDAPFQALU-UHFFFAOYSA-N 4-amino-n-(5-propan-2-yl-1,3,4-thiadiazol-2-yl)benzenesulfonamide Chemical compound S1C(C(C)C)=NN=C1NS(=O)(=O)C1=CC=C(N)C=C1 OPIGMRDAPFQALU-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明提出了一种弱监督学习引导的协同显著性检测方法,用以解决现有协同显著性检测方法易受到不相关的显著目标的干扰的技术问题。本发明的步骤为:搭建GCAM网络的架构;搭建主干网络的架构,通过GCAM网络和主干网络构建GWSCoSal模型;利用训练数据对GCAM网络以图像组的公共类别标签作为真值进行弱监督训练;利用训练数据对主干网络进行像素级训练;GCAM网络的弱监督训练和主干网络的像素级训练联合执行,得到训练后的优化GWSCoSal模型。利用优化GWSCoSal模型对协同显著性数据集进行预测,生成预测的协同显著图。本发明在受到相似非公共显著目标干扰的情况下,能够更准确地检测出协同显著目标,操作简单,检测精度较高。
Description
技术领域
本发明涉及协同显著性检测的技术领域,尤其涉及一种弱监督学习引导的协同显著性检测方法。
背景技术
随着现代科技的飞速发展,社会数字化进程加速推进,人工智能在各领域快速兴起。大量的图像、视频等多媒体数据呈爆发式增长,如何利用现有的计算机技术来有效处理并获取有用信息十分重要。现有的协同显著性检测技术是一种模拟人眼注意力机制的计算机视觉技术。在图像组内,可以利用频繁出现的图形或前景区域来表示图像组的主要内容。该方法不仅能够获取图像或视频中的有效目标信息,还能滤除图像或视频中的冗余信息,降低了算法处理的复杂度,从而实现计算资源的优先分配。
协同显著性检测的目的在于从两幅或多幅相关图像中寻找公共且显著的目标,根据该定义,协同显著目标必须满足两个要求,它们必须在每幅图像中都是显著的且彼此之间具有相似性。因此,这两个要求对应以下两个任务:(1)从单幅图像中获得图内显著性信息(Intra-saliency);(2)从多幅相关图像中挖掘图间显著性信息(Inter-saliency)。现有的协同显著性检测方法可以依据图内和图间显著性信息的不同融合方式大致分为两类:一类是非端到端的方法,该类方法通常利用手工设计的特征来直接挖掘并融合图内和图间显著性信息的线索。但是,这些手工设计的特征并不能为协同显著目标的公共属性提供强有力的表达,极大程度上限制了非端到端方法的检测性能。另一类是端到端的方法,该类方法利用深度学习的方法来挖掘图内和图间显著性信息,获取的深度特征能更好地对图像进行描述,同时,以端到端的方式将图内和图间显著性信息进行结合,有效地提高了协同显著性检测的性能。
协同显著性检测是由图内显著性信息和图间显著性信息两部分组成,目前已经有研究者提出了大量优秀的单幅图像显著性检测方法来挖掘图内显著性信息线索,因此,无论是对非端到端的方法还是端到端的方法,挖掘更优的图间显著性信息的线索是协同显著性检测的关键。到目前为止,无论是非端到端的方法还是端到端的方法都是提取图像组中每幅图像的特征,并计算其特征的相似度,然后,将其作为图间显著性信息。然而,以这种方式获得的图间显著性信息通常容易受到图像中不相关的显著目标的干扰,这些不相关的显著目标常与协同显著目标之间具有相似的外观特征。事实上,协同显著目标与不相关的显著目标之间最关键的区别在于它们属于不同的类别。因此,挖掘公共类别信息对于提取间的显著性信息至关重要。
发明内容
针对现有协同显著性检测方法易受到不相关的显著目标的干扰的技术问题,本发明提出一种弱监督学习引导的协同显著性检测方法,通过弱监督学习引导可以更好的提取一组相关图像的图间显著性信息,得到的协同显著性检测结果更准确。
为了达到上述目的,本发明的技术方案是这样实现的:一种弱监督学习引导的协同显著性检测方法,步骤如下:
步骤一:搭建GCAM网络的架构,将包含有公共类别显著目标的图像组输入GCAM网络,生成每幅图像的组类别激活图GCAM;
步骤二:搭建主干网络的架构,图像组中的每幅图像依次送入主干网络进行处理,主干网络提取的特征与步骤一的组类别激活图GCAM相融合,得到每幅图像的协同显著图;通过GCAM网络和主干网络构建GWSCoSal模型;
步骤三:利用训练数据对GWSCoSal模型的GCAM网络以图像组的公共类别标签作为真值进行弱监督训练;
步骤四:利用训练数据对主干网络进行像素级训练;
步骤五:利用训练数据对GWSCoSal模型的GCAM网络和主干网络以端到端的方式进行联合训练,得到训练后的优化GWSCoSal模型。
步骤六:利用步骤五的优化GWSCoSal模型对现有的协同显著性数据集进行预测,生成预测的协同显著图。
所述GCAM网络包含N个并联的子网络,N个子网络设置一致且模型参数彼此共享;N个子网络的输出进行逐像素相加得到融合特征向量,融合特征向量通过第二全连接层和softmax分类器,获得分类结果为公共类别标签。
所述子网络为ImageNet数据集上预训练好的VGG16网络,子网络包括连接的特征提取部分和第一全连接层,特征提取部分是由5个依次连接的卷积组构成,每个卷积组中分别对应有2、2、3、3、3个尺寸大小一致的卷积层,5个卷积组之间设有最大池化层。
所述步骤一中生成每幅图像的组类别激活图GCAM的方法为:通过第二全连接层FC2的输出结果对子网络的特征提取部分中任意特征层的输出特征矩阵进行求偏导;沿着输入图像各自的子网络反向传播至该特征层,得到该特征层的梯度矩阵并计算其各通道的权重;将各通道权重与该特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到图像组中每幅图像In的组类别激活图GCAM;实现公式为:
其中,C表示公共类别数;S∈RC是图像组从第二个全连接层FC2中输出的得分向量,N表示图像组中图像的总数,Sc表示公共类别c的得分;An∈RW×H×K表示图像In对应的第n个子网络的最后一个卷积层输出的特征矩阵,W、H和K分别表示特征矩阵An的宽、高以及通道数;Ank∈RW×H表示特征矩阵An的第k个通道;表示特征矩阵Ank中坐标为(i,j)的像素;是公共类别c中特征矩阵Ank的权重;ReLU(·)表示激活函数ReLU;表示公共类别c中图像In的组类别激活图GCAM。
所述N个子网络的输出进行逐像素相加的方法为:
所述GCAM网络一个子网络的结构为:
在生成GCAM的过程中,利用第二全连接层输出的结果对卷积层5_3输出的特征矩阵求偏导;沿着输入图像各自的子网络反向传播至卷积5_3层的特征层,得到卷积5_3层的特征层的梯度矩阵并计算其512个通道的权重;将各通道权重与最后一个卷积层的特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到图像组中每幅图像In的组类别激活图GCAM。
所述主干网络基于特征金字塔网络,主干网络包括编码器和解码器,解码器通过侧向连接融合编码器中各层级尺度特征;图像组中的每幅图像In依次被送入主干网络的编码器,编码器输出的特征矩阵与组类别激活图GCAM进行融合,融合后的特征矩阵通过解码器输出每幅图像In的协同显著图。
所述编码器由VGG16网络的特征提取部分构成,即不含最后一个最大池化层、全连接层以及softmax层;解码器由与编码器结构对称的卷积层构成,通过将编码器的输出特征与对应解码器的输入特征进行侧向连接,获取多层次的图像特征信息;侧向连接时,编码器中通道数不一致的特征通过卷积操作得到与解码器通道数一致的特征;在解码器最后一层卷积层的输出中,利用线性插值将输出特征尺寸调整为原始图像尺寸。
所述编码器和解码器的结构为:
其中,ReLU和Sigmoid均表示激活函数。
所述主干网络的像素级训练的损失函数LP为:
其中,On表示图像组中每幅图像In的预测协同显著图;GTn表示图像In的像素级真值图;LSIoU(·)表示交并比损失;LBCE(·)表示二值交叉熵损失;
所述GWSCoSal模型的总体训练损失函数为:L=LP+λLGWS;
其中,λ是用于平衡LGWS和LP之间比例的超参数;
所述训练数据采用现有的DUTS数据集和拼图训练策略,随机选择训练数据中的一组5幅图像分别输入GCAM网络和主干网络;所述GCAM网络的弱监督训练中,将图像组中的5幅图像分别输入至GCAM网络中5个对应的子网络,以图像组的公共类别标签作为真值,将第二个全连接层的输出结果与各子网络的特征提取部分中任意特征层的输出特征矩阵进行求偏导;沿着输入图像各自的子网络反向传播至该特征层,得到该特征层的梯度矩阵并计算其各通道的权重;将各通道权重与该特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到5幅图像对应的组类别激活图GCAM;所述主干网络的像素级训练中,将图像组中的5幅图像依次输入至主干网络的编码器;将编码器的最后一个输出特征与GCAM网络生成的组类别激活图GCAM以逐像素相乘的方式进行融合;将融合的特征输入至主干网络的解码器生成5幅图像的协同显著图。训练时解码器生成的协同显著图,在测试时生成的协同显著图为协同显著性检测结果。
所述步骤六中将现有协同显著性数据集中一组5幅图像分别输入GCAM网络和主干网络,其中,每幅输入图像尺寸统一调整为224×224;在图像组输入GCAM网络进行分类时,选择概率得分为Top-3的公共类别作为公共类别标签,并将选择的概率得分作为前3个公共类别对应生成的组类别激活图GCAM的权重,然后,将该权重与每幅输入图像的前3个公共类别对应生成的组类别激活图GCAM进行逐像素相乘,并将3个相乘后的组类别激活图GCAM进行逐像素取均值,生成每幅输入图像的组类别激活图GCAM;
获得组类别激活图后,将其送入主干网络进行融合,主干网络对图像组中的5幅图像依次进行处理,编码器的输出与对应图像的组类别激活图GCAM进行逐像素相乘,来融合图间显著性信息;通过主干网络的解码器生成预测的协同显著图即协同显著性检测结果。
与现有技术相比,本发明的有益效果:首先,采用一组相关图像的公共类别作为真值,通过弱监督学习的方式构建了一个新的组类别激活图(Group Class ActivationMaps,GCAM)网络,使用图像组的公共类别标签通过弱监督学习对GCAM网络进行训练,以GCAM形式呈现图间显著性信息的线索由经过训练的GCAM网络产生;然后,将训练后的GCAM网络产生的GCAM作为图间显著性信息的线索,GCAM网络只突显图像组中公共类别目标所覆盖的区域;最后,将GCAM网络融合到基于特征金字塔网络(Feature Pyramid Networks,FPN)的主干网络中,由像素级标签训练编码-解码器主干网络;采用端到端的方式同时进行GCAM网络的弱监督训练和主干网络的像素级训练,通过主干网络的解码器输出图像组的协同显著图。本发明在受到相似非公共显著目标干扰的情况下,能够更准确地检测出协同显著目标,操作简单,检测精度较高。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的流程示意图。
图2为图1中GCAM网络的机构示意图。
图3为本发明主干网络的结构图。
图4为本发明与现有方法在Cosal2015数据集上的主观对比图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
如图1所示,一种弱监督学习引导的协同显著性检测(Group Weakly SupervisedLearning Induced Co-saliency Detection,GWSCoSal)方法,该方法的GWSCoSal模型包含两个子网络:GCAM网络和编码-解码器主干网络。GWSCoSal模型先使用图像组的公共类别标签,通过弱监督学习对GCAM网络进行训练,以GCAM形式呈现的图间显著性特征的线索由经过训练的GCAM网络产生。然后,图像组的GCAM融合至由像素级标签训练的编码-解码器主干网络中。最后,通过主干网络的解码器输出图像组的协同显著图。其步骤如下:
步骤一:搭建GCAM网络的架构,将包含有相关图像的图像组输入GCAM网络,生成每幅图像的组类别激活图GCAM。
(1)前向传播
输入一组相关图像至GCAM网络,该图像组包含具有公共类别的显著目标,如图2所示,其中N幅图像均是有关香蕉的图像。图像组中的每幅图像In被送入各自对应的子网络,该子网络的结构继承于在ImageNet数据集上预训练好的VGG16网络,其中,VGG16网络的特征提取部分是由5个依次连接的卷积组构成,每个卷积组中分别对应有2、2、3、3、3个尺寸大小一致的卷积层,N个子网络的模型参数彼此共享。5个卷积组之间设有最大池化层,最大池化层是为了增加视觉感受野,使深度学习模型可以提取全局的语义特征,同时可以降低特征的空间维度,减少计算。然后,将N个子网络的输出进行逐像素相加,表达式如下:
其中,F1 1、F2 1、分别表示第一个子网络中第一个全连接层第二个子网络中第一个全连接层以及第N个子网络中第一个全连接层的输出结果;表示逐像素相加操作;FF表示融合后的特征向量。最后,融合后的特征向量FF依次通过第二个全连接层FC2和softmax分类器以获得最终分类结果。
(2)生成组类别激活图GCAM
图像组中每幅图像In的GCAM获取过程如下:可以通过第二个全连接层FC2的输出结果对VGG16网络的特征提取部分中任意特征层的输出特征矩阵进行求偏导;然后,沿着输入图像各自的子网络反向传播至该特征层,得到该特征层的梯度矩阵并计算其各通道的权重;最后,将各通道权重与该特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到图像组中每幅图像In的组类别激活图GCAM,其公式如下:
其中,C表示公共类别数;S∈RC是图像组从第二个全连接层FC2中输出的得分向量,如图2所示,Sc表示公共类别c的得分;An∈RW×H×K表示图像In对应的第n个子网络的最后一个卷积层输出的特征矩阵,W、H和K分别表示特征矩阵An的宽、高以及通道数;Ank∈RW×H表示特征矩阵An的第k个通道;表示特征矩阵Ank中坐标为(i,j)的像素;是公共类别c中特征矩阵Ank的权重;ReLU(·)表示激活函数ReLU;表示公共类别c中图像In的组类别激活图GCAM。
根据协同显著性检测的任务特征和现有的VGG16模型的特征,对已有的VGG16网络基本框架进行改进和创新,搭建了一个符合协同显著性检测任务的网络,以挖掘图间显著性信息,即GCAM网络,其结构如表1所示。
表1 GCAM网络的结构组成
本发明构建的GCAM网络由N个VGG16子网络构成,其中,每幅图像对应一个VGG16子网络,每个子网络设置均一致且模型参数彼此共享,上述表格结构以一个VGG16子网络为例,其余子网络结构与之一致,GCAM网络包含N个特征提取部分、N个第一个全连接层FC1、一个第二个全连接层FC2和一个softmax层。对于损失函数,GCAM网络用到的是CE-loss损失函数。VGG16子网络结构的设计思想参考文献[Simonyan K,Zisserman A.Very DeepConvolutional Networks for Large-Scale Image Recognition[J].arXiv preprintarXiv:1409.1556,2014]。通过特征提取部分的多个卷积组可以提取图像中的细节信息,将每个子网络中第一个全连接层 的输出结果1×1×1000以逐像素相加的方式进行结合,结合之后的结果为1×1×1000,以获取图像组的公共信息。在GCAM网络构建过程中,将最后一个全连接层FC2的输出改为训练数据的类别数,在softmax层输出分类结果后与图像组的公共类别这一真值对比做CE-loss,具体的设置如表1所示。表1中Dropout表示是随机将一部分卷积核的值置零,其目的是防止过拟合。图2中的反向传播方式与卷积神经网络训练时的反向传播方式一样,是求偏导,根据链式法则实现,在本发明中反向传播的作用是求得图像组的GCAM。
在生成GCAM的过程中,利用第二个全连接层FC2输出的概率结果对卷积5_3输出的特征矩阵求偏导;然后,沿着输入图像各自的VGG16子网络反向传播至卷积5_3的特征层,得到卷积5_3特征层的梯度矩阵并计算其512个通道的权重,如公式(2)所示。最后,将各通道权重与卷积5_3特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到图像组中每幅图像In的GCAM,如公式(3)所示。
步骤二:搭建主干网络的架构,图像组中的每幅图像依次送入主干网络进行处理,主干网络提取的特征与步骤一的组类别激活图GCAM相融合,得到每幅图像的协同显著图,将GCAM网络和主干网络联合构建GWSCoSal模型。
采用目前流行的编码器-解码器结构来构建主干网络。如图3所示,特征金字塔网络(FPN)用于构建编码器-解码器网络,其中,解码器部分通过侧向连接融合了编码器中各层级尺度特征。
与GCAM网络类似,主干网络的编码和解码部分都继承自在ImageNet数据集上预训练的VGG16模型,没有全连接层。如图1和图3所示,图像组被送入GCAM网络,得到图像组的组类别激活图同时,图像组中的每幅图像都依次被送入主干网络进行处理,编码器网络输出的特征矩阵通过以下公式与GCAM进行融合:
其中,表示编码器网络输出的特征矩阵;表示特征矩阵的第k个通道;表示逐像素相乘操作;表示融合后的特征矩阵;表示特征矩阵的第k个通道的矩阵。最后,特征矩阵通过解码器网络输出图像组中每幅图像In的协同显著图。
根据协同显著性检测的任务特征和现有的FPN网络的特征,对已有的FPN网络的基本框架进行改进,利用VGG16网络来构建FPN网络中的编码器和解码器,搭建了一个符合协同显著性检测任务的网络,以为挖掘图间显著性信息并将其与图内显著性信息进行融合,即编码-解码器的主干网络。
如表2所示,本发明构建的主干网络包括两个部分:编码器和解码器,其中,编码器由VGG16网络的特征提取部分构成,即不含最后一个最大池化层、全连接层以及softmax层;解码器是由与编码器结构对称的卷积层构成,通过将编码器的输出特征与对应解码器的输入特征进行侧向连接,获取多层次的图像特征信息,即编码器卷积4_3的输出与解码器卷积4_1连接,编码器的卷积3_3的输出与解码器的卷积3_1连接,编码器的卷积2_2的输出与解码器的卷积2_1连接,编码器的卷积1_2的输出与解码器的卷积1_1连接,侧向连接时,编码器中通道数不一致的特征将通过卷积操作得到与解码器通道数一致的特征。此外,在解码器最后一层卷积层的输出中,利用线性插值将输出特征尺寸调整为原始图像尺寸。
另外,在图间和图内显著性信息融合过程中,将输入图像对应的尺寸为14×14×1的组类别激活图GCAM与编码器的最后一个卷积层5_3的尺寸为14×14×512的输出特征以逐像素相乘的方式进行融合,如公式(4)所示,然后将融合后的特征输入至解码器,最终输出与原始图像尺寸一致的协同显著图。表2中解码器的上采样是采用线性插值。Sigmoid表示激活函数,在此处的使用与一般卷积神经网络中的激活函数用法一样,是将卷积神经网络的输出输入至激活函数进行运算。
表2编码器-解码器的主干网络的结构组成
步骤三:利用训练数据对GCAM网络以图像组的公共类别标签作为真值进行弱监督训练。
训练数据采用现有的DUTS数据集和拼图训练策略,随机选择训练数据中的一组5幅图像输入GCAM网络,GCAM网络以图像组的公共类别标签作为真值进行弱监督训练。如图2所示,图像组中的每幅图像In输入至对应的子网络,将每个子网络中第一个全连接层的输出以逐像素点相加的方式进行融合,然后将累加后的特征输入第二个全连接层和softmax层,得到分类结果,从而形成GCAM网络的弱监督训练。在GCAM网络的弱监督训练过程中,通过不断地训练、迭代,GCAM网络参数不断更新,Adam优化器不断优化网络,得到学习率、训练次数和批量大小的参数设置分别为0.0001、400和1。
GCAM网络的弱监督训练损失函数LGWS表达式如下:
步骤四:利用训练数据对主干网络进行像素级训练。
与GCAM网络训练数据一致,均采用融合GCAM后现有的DUTS数据集和拼图训练策略对主干网络进行像素级训练。如图3所示,将图像组中的5幅图像依次输入至主干网络的编码器部分;然后,将编码器的最后一个输出特征与GCAM网络生成的GCAM以逐像素相乘的方式进行融合;最后,将融合的特征输入至主干网络的解码器部分生成5幅图像的检测结果。在主干网络的像素级训练过程中,通过不断地训练、迭代,主干网络参数不断更新,Adam优化器不断优化网络,得到学习率、训练次数和批量大小的参数设置分别为0.0001、400和1。主干网络的像素级训练损失函数LP如下:
其中,On表示图像组中每幅图像In的预测协同显著图;GTn表示图像In的像素级真值图;LSIoU(·)表示交并比损失(Intersection over Union,IoU);LBCE(·)表示二值交叉熵损失(Binary Cross Entropy,BCE)。
步骤五:利用训练数据对GCAM网络和主干网络以端到端的方式进行联合训练,得到训练后的优化GWSCoSal模型。
在训练阶段,GCAM网络和主干网络以端到端的方式进行联合训练,输入的训练数据均为现有的DUTS数据集和拼图训练策略。在联合训练过程中,通过不断地训练、迭代,GWSCoSal模型参数不断更新,Adam优化器不断优化网络,得到学习率、训练次数和批量大小的参数设置分别为0.0001、400和1。最后,GWSCoSal模型的总体训练损失函数如下:
L=LP+λLGWS (7)
其中,λ是用于平衡LGWS和LP之间比例的超参数。λ的取值一般由实验得出,本发明中该值设置为0.8。
步骤六:利用步骤五的优化GWSCoSal模型对现有的协同显著性数据集进行预测,生成预测的协同显著图。
在预测阶段,利用现有的协同显著性数据集来预测步骤五训练后得到的GWSCoSal模型,实现协同显著性检测。
利用现有的协同显著性数据集(iCoseg和Cosal2015)进行预测,将一组5幅图像分别输入GCAM网络和主干网络,其中,每幅输入图像尺寸统一调整为224×224。在图像组输入GCAM网络进行分类时,选择概率得分为Top-3(即得分为前3名)的公共类别作为公共类别标签,并将选择的概率得分作为前3个公共类别对应生成的GCAM的权重,然后,将该权重与每幅输入图像的前3个公共类别对应生成的组类别激活图GCAM进行逐像素相乘,并将3个相乘后的组类别激活图GCAM进行逐像素取均值,生成每幅输入图像的组类别激活图GCAM,以增强模型的鲁棒性。图像组的GCAM可以在预测阶段通过以下公式获得:
在获得组类别激活图后,将其送入主干网络进行融合,同时,主干网络对输入图像组中的5幅图像依次进行处理,主干网络中编码器部分的输出将与对应图像的GCAM进行逐像素相乘,以此来融合图间显著性信息,并通过主干网络的解码器部分生成预测的协同显著图即协同显著性检测结果。对一组含有相同类别的协同显著图像进行检测,相当于完成一次协同显著性检测任务。
本发明的实现的硬件配置:NVIDIA GeForce RTX 2080Ti@11GB×10GPU,512G内存的工作站进行实验,其软件的平台配置:Ubuntu16.04、python3.7、pytorch1.1.0。
此外,为了更好的证明本发明的性能,本发明在现已有的流行的公开数据集Cosal2015进行主观对比。对比的算法一共有12种,分别是CBCS来自于Cluster-based Co-saliency Detection,IPTD来自于Cosaliency Detection Based on IntrasaliencyPrior Transfer and Deep Intersaliency Mining,CODW来自于Detection of Co-salient Objects by Looking Deep and Wide,UMLF来自于A Unified Metric Learning-based Framework for Co-saliency Detection,DARM来自于Co-saliency Detection viaCo-salient Object Discovery and Recovery,GW来自于Deep Group-wise FullyConvolutional Network for Co-saliency Detection with Graph Propagation,CSMG来自于Co-saliency Detection via Mask-guided Fully Convolutional Networks withMulti-scale Label Smoothing,RCAN来自于Detecting Robust Co-saliency withRecurrent Co-attention Neural Network,TSE-GAN来自于Two-stream Encoder GANwith Progressive Training for Co-saliency Detection,GCAGC来自于Adaptive GraphConvolutional Network with Attention Graph Clustering for Co-saliencyDetection,CoEGNet来自于Re-thinking Co-salient Object Detection,GICD来自于Gradient-induced Co-saliency Detection。
如图4所示,本发明所提GWSCoSal方法与12种流行方法在Cosal2015数据集上进行了主观对比,图4中显示的这5组图像分别是瓢虫组、斧头组、香蕉组、飞机组以及圆号组。由于Cosal2015数据集更具挑战性,因此,对其进行主观比较可以更直观地证明GWSCoSal方法的优越性。由图4可知,例如:对于瓢虫组而言,只有GWSCoSal的结果才能在彩色背景干扰的情况下准确、完整地捕捉瓢虫;对于香蕉组而言,GWSCoSal的结果可以准确地捕捉香蕉,更好地提取图间显著性信息的线索,并在抑制不相关的前景目标方面提供最佳性能。与瓢虫组、香蕉组的结果类似,GWSCoSal模型在斧头组、飞机组以及圆号组中的检测结果与人工标注的真值图更接近。
由于不相关的显著目标与公共显著目标之间具有相似的外观特征,因此,协同显著性检测容易受到无关显著目标的干扰。为了解决这一问题,本发明提出了一种弱监督学习引导的协同显著性检测(GWSCoSal)方法,包含多幅相关图像间相似信息的图间显著性信息(Inter-saliency)是协同显著性检测的核心,也是解决上述问题的关键,本发明分析发现,应依据多幅相关图像的公共类别信息来挖掘图间显著性信息。因此,本发明首先采用一组相关图像的公共类别作为真值,通过弱监督学习的方式构建了一个新的组类别激活图(GCAM)网络;然后,将训练后的GCAM网络产生的GCAM作为图间显著性线索,该GCAM只突显图像组中公共类别目标所覆盖的区域;最后,将GCAM融合到基于特征金字塔(FPN)网络的主干网络中;采用端到端的方式同时进行GCAM网络的弱监督训练和主干网络的像素级训练。本发明在受到相似非公共显著目标干扰的情况下,能够更准确地检测出协同显著目标,操作简单,检测精度较高。
本发明包含的GCAM网络在训练阶段利用只包含类别标签的DUTS数据集和拼图训练策略进行弱监督训练,并利用最高的类别得分进行求导和反向传播,以产生具有只激活公共类别目标区域的GCAM;在预测阶段则利用位置类别标签的协同显著性数据集进行测试,采用概率得分为Top-3(前3名)的公共类别作为公共类别标签,并利用该类别得分进行求导和反向传播,以产生图像组的GCAM,从而更好地提取图像组中的图间显著线索。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种弱监督学习引导的协同显著性检测方法,其特征在于,步骤如下:
步骤一:搭建GCAM网络的架构,将包含有公共类别显著目标的图像组输入GCAM网络,生成每幅图像的组类别激活图GCAM;
步骤二:搭建主干网络的架构,图像组中的每幅图像依次送入主干网络进行处理,主干网络提取的特征与步骤一的组类别激活图GCAM相融合,得到每幅图像的协同显著图;通过GCAM网络和主干网络构建GWSCoSal模型;
步骤三:利用训练数据对GWSCoSal模型的GCAM网络以图像组的公共类别标签作为真值进行弱监督训练;
步骤四:利用训练数据对主干网络进行像素级训练;
步骤五:利用训练数据对GWSCoSal模型的GCAM网络和主干网络以端到端的方式进行联合训练,得到训练后的优化GWSCoSal模型。
步骤六:利用步骤五的优化GWSCoSal模型对现有的协同显著性数据集进行预测,生成预测的协同显著图。
2.根据权利要求1所述的弱监督学习引导的协同显著性检测方法,其特征在于,所述GCAM网络包含N个并联的子网络,N个子网络设置一致且模型参数彼此共享;N个子网络的输出进行逐像素相加得到融合特征向量,融合特征向量通过第二全连接层和softmax分类器,获得分类结果为公共类别标签。
3.根据权利要求2所述的弱监督学习引导的协同显著性检测方法,其特征在于,所述子网络为ImageNet数据集上预训练好的VGG16网络,子网络包括连接的特征提取部分和第一全连接层,特征提取部分是由5个依次连接的卷积组构成,每个卷积组中分别对应有2、2、3、3、3个尺寸大小一致的卷积层,5个卷积组之间设有最大池化层。
4.根据权利要求2或3所述的弱监督学习引导的协同显著性检测方法,其特征在于,所述步骤一中生成每幅图像的组类别激活图GCAM的方法为:通过第二全连接层FC2的输出结果对子网络的特征提取部分中任意特征层的输出特征矩阵进行求偏导;沿着输入图像各自的子网络反向传播至该特征层,得到该特征层的梯度矩阵并计算其各通道的权重;将各通道权重与该特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到图像组中每幅图像In的组类别激活图GCAM;实现公式为:
5.根据权利要求4所述的弱监督学习引导的协同显著性检测方法,其特征在于,所述N个子网络的输出进行逐像素相加的方法为:
所述GCAM网络一个子网络的结构为:
在生成GCAM的过程中,利用第二全连接层输出的结果对卷积层5_3输出的特征矩阵求偏导;沿着输入图像各自的子网络反向传播至卷积5_3层的特征层,得到卷积5_3层的特征层的梯度矩阵并计算其512个通道的权重;将各通道权重与最后一个卷积层的特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到图像组中每幅图像In的组类别激活图GCAM。
7.根据权利要求6所述的弱监督学习引导的协同显著性检测方法,其特征在于,所述编码器由VGG16网络的特征提取部分构成,即不含最后一个最大池化层、全连接层以及softmax层;解码器由与编码器结构对称的卷积层构成,通过将编码器的输出特征与对应解码器的输入特征进行侧向连接,获取多层次的图像特征信息;侧向连接时,编码器中通道数不一致的特征通过卷积操作得到与解码器通道数一致的特征;在解码器最后一层卷积层的输出中,利用线性插值将输出特征尺寸调整为原始图像尺寸。
所述主干网络的像素级训练的损失函数LP为:
其中,On表示图像组中每幅图像In的预测协同显著图;GTn表示图像In的像素级真值图;LSIoU(·)表示交并比损失;LBCE(·)表示二值交叉熵损失;
所述GWSCoSal模型的总体训练损失函数为:L=LP+λLGWS;
其中,λ是用于平衡LGWS和LP之间比例的超参数;
所述训练数据采用现有的DUTS数据集和拼图训练策略,随机选择训练数据中的一组5幅图像分别输入GCAM网络和主干网络;所述GCAM网络的弱监督训练中,将图像组中的5幅图像分别输入至GCAM网络中5个对应的子网络,以图像组的公共类别标签作为真值,将第二个全连接层的输出结果与各子网络的特征提取部分中任意特征层的输出特征矩阵进行求偏导;沿着输入图像各自的子网络反向传播至该特征层,得到该特征层的梯度矩阵并计算其各通道的权重;将各通道权重与该特征层的输出特征矩阵进行逐像素相乘,利用激活函数得到5幅图像对应的组类别激活图GCAM;所述主干网络的像素级训练中,将图像组中的5幅图像依次输入至主干网络的编码器;将编码器的最后一个输出特征与GCAM网络生成的组类别激活图GCAM以逐像素相乘的方式进行融合;将融合的特征输入至主干网络的解码器,生成5幅图像的协同显著图。
10.根据权利要求2、3、7或8所述的弱监督学习引导的协同显著性检测方法,其特征在于,所述步骤六中将现有协同显著性数据集中一组5幅图像分别输入GCAM网络和主干网络,其中,每幅输入图像尺寸统一调整为224×224;在图像组输入GCAM网络进行分类时,选择概率得分为Top-3的公共类别作为公共类别标签,并将选择的概率得分作为前3个公共类别对应生成的组类别激活图GCAM的权重,然后,将该权重与每幅输入图像的前3个公共类别对应生成的组类别激活图GCAM进行逐像素相乘,并将3个相乘后的组类别激活图GCAM进行逐像素取均值,生成每幅输入图像的组类别激活图GCAM;
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210375572.2A CN114743027B (zh) | 2022-04-11 | 2022-04-11 | 弱监督学习引导的协同显著性检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210375572.2A CN114743027B (zh) | 2022-04-11 | 2022-04-11 | 弱监督学习引导的协同显著性检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114743027A true CN114743027A (zh) | 2022-07-12 |
CN114743027B CN114743027B (zh) | 2023-01-31 |
Family
ID=82281418
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210375572.2A Active CN114743027B (zh) | 2022-04-11 | 2022-04-11 | 弱监督学习引导的协同显著性检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114743027B (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152575A (zh) * | 2023-04-18 | 2023-05-23 | 之江实验室 | 基于类激活采样引导的弱监督目标定位方法、装置和介质 |
CN116994006A (zh) * | 2023-09-27 | 2023-11-03 | 江苏源驶科技有限公司 | 一种融合图像显著性信息的协同显著性检测方法及系统 |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8200010B1 (en) * | 2007-09-20 | 2012-06-12 | Google Inc. | Image segmentation by clustering web images |
CN107909079A (zh) * | 2017-10-11 | 2018-04-13 | 天津大学 | 一种协同显著性检测方法 |
US20180143966A1 (en) * | 2016-11-18 | 2018-05-24 | Salesforce.Com, Inc. | Spatial Attention Model for Image Captioning |
CN108550132A (zh) * | 2018-03-16 | 2018-09-18 | 安徽大学 | 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法 |
CN109255357A (zh) * | 2018-08-03 | 2019-01-22 | 天津大学 | 一种rgbd图像协同显著性检测方法 |
CN109448015A (zh) * | 2018-10-30 | 2019-03-08 | 河北工业大学 | 基于显著图融合的图像协同分割方法 |
CN109472259A (zh) * | 2018-10-30 | 2019-03-15 | 河北工业大学 | 基于能量优化的图像协同显著性检测方法 |
CN111027576A (zh) * | 2019-12-26 | 2020-04-17 | 郑州轻工业大学 | 基于协同显著性生成式对抗网络的协同显著性检测方法 |
CN112348033A (zh) * | 2020-10-15 | 2021-02-09 | 北京交通大学 | 一种协同显著性目标检测方法 |
CN112651940A (zh) * | 2020-12-25 | 2021-04-13 | 郑州轻工业大学 | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 |
CN112906800A (zh) * | 2021-02-26 | 2021-06-04 | 上海大学 | 基于图像组自适应的协同显著性检测方法 |
-
2022
- 2022-04-11 CN CN202210375572.2A patent/CN114743027B/zh active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8200010B1 (en) * | 2007-09-20 | 2012-06-12 | Google Inc. | Image segmentation by clustering web images |
US20180143966A1 (en) * | 2016-11-18 | 2018-05-24 | Salesforce.Com, Inc. | Spatial Attention Model for Image Captioning |
CN107909079A (zh) * | 2017-10-11 | 2018-04-13 | 天津大学 | 一种协同显著性检测方法 |
CN108550132A (zh) * | 2018-03-16 | 2018-09-18 | 安徽大学 | 一种基于全局紧凑先验和全局相似度显著传播的协同显著目标检测方法 |
CN109255357A (zh) * | 2018-08-03 | 2019-01-22 | 天津大学 | 一种rgbd图像协同显著性检测方法 |
CN109448015A (zh) * | 2018-10-30 | 2019-03-08 | 河北工业大学 | 基于显著图融合的图像协同分割方法 |
CN109472259A (zh) * | 2018-10-30 | 2019-03-15 | 河北工业大学 | 基于能量优化的图像协同显著性检测方法 |
CN111027576A (zh) * | 2019-12-26 | 2020-04-17 | 郑州轻工业大学 | 基于协同显著性生成式对抗网络的协同显著性检测方法 |
CN112348033A (zh) * | 2020-10-15 | 2021-02-09 | 北京交通大学 | 一种协同显著性目标检测方法 |
CN112651940A (zh) * | 2020-12-25 | 2021-04-13 | 郑州轻工业大学 | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 |
CN112906800A (zh) * | 2021-02-26 | 2021-06-04 | 上海大学 | 基于图像组自适应的协同显著性检测方法 |
Non-Patent Citations (3)
Title |
---|
I. D. BHASWARA ET AL.: "Class Activation Mapping-Based Car Saliency Region and Detection for In-Vehicle Surveillance", 《2019 INTERNATIONAL ELECTRONICS SYMPOSIUM》 * |
R. R. SELVARAJU ET AL.: "Grad-CAM: Visual Explanations from Deep Networks via Gradient-Based Localization", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION 》 * |
钱晓亮 等: "协同视觉显著性检测方法综述", 《电子学报》 * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116152575A (zh) * | 2023-04-18 | 2023-05-23 | 之江实验室 | 基于类激活采样引导的弱监督目标定位方法、装置和介质 |
CN116152575B (zh) * | 2023-04-18 | 2023-07-21 | 之江实验室 | 基于类激活采样引导的弱监督目标定位方法、装置和介质 |
CN116994006A (zh) * | 2023-09-27 | 2023-11-03 | 江苏源驶科技有限公司 | 一种融合图像显著性信息的协同显著性检测方法及系统 |
CN116994006B (zh) * | 2023-09-27 | 2023-12-08 | 江苏源驶科技有限公司 | 一种融合图像显著性信息的协同显著性检测方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN114743027B (zh) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108520535B (zh) | 基于深度恢复信息的物体分类方法 | |
Zhou et al. | Contextual ensemble network for semantic segmentation | |
CN107358626B (zh) | 一种利用条件生成对抗网络计算视差的方法 | |
Liu et al. | FDDWNet: a lightweight convolutional neural network for real-time semantic segmentation | |
US9704257B1 (en) | System and method for semantic segmentation using Gaussian random field network | |
CN110909594A (zh) | 一种基于深度融合的视频显著性检测方法 | |
CN114743027B (zh) | 弱监督学习引导的协同显著性检测方法 | |
WO2024040973A1 (zh) | 一种基于堆叠沙漏网络的多尺度融合去雾方法 | |
CN112651940B (zh) | 基于双编码器生成式对抗网络的协同视觉显著性检测方法 | |
CN114049381A (zh) | 一种融合多层语义信息的孪生交叉目标跟踪方法 | |
CN111814626A (zh) | 一种基于自注意力机制的动态手势识别方法和系统 | |
CN111461129B (zh) | 一种基于上下文先验的场景分割方法和系统 | |
CN107103285A (zh) | 基于卷积神经网络的人脸深度预测方法 | |
CN110111365B (zh) | 基于深度学习的训练方法和装置以及目标跟踪方法和装置 | |
Lai et al. | Rethinking skip connections in encoder-decoder networks for monocular depth estimation | |
Huang et al. | Video frame prediction with dual-stream deep network emphasizing motions and content details | |
Li | A deep learning-based text detection and recognition approach for natural scenes | |
CN116386021A (zh) | 一种结合协同学习和级联特征融合的场景文本检测方法 | |
CN115019342B (zh) | 一种基于类关系推理的濒危动物目标检测方法 | |
Schmeckpeper et al. | Object-centric video prediction without annotation | |
CN110610508A (zh) | 一种静态视频分析方法及系统 | |
ZiWen et al. | Multi-objective Neural Architecture Search for Efficient and Fast Semantic Segmentation on Edge | |
Fu et al. | Optimization of distributed convolutional neural network for image labeling on asynchronous GPU model | |
CN113988154A (zh) | 一种基于不变信息蒸馏的无监督解耦图像生成方法 | |
CN113449193A (zh) | 基于多分类图像的信息推荐方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |