CN108875818B - 基于变分自编码机与对抗网络结合的零样本图像分类方法 - Google Patents

基于变分自编码机与对抗网络结合的零样本图像分类方法 Download PDF

Info

Publication number
CN108875818B
CN108875818B CN201810574638.4A CN201810574638A CN108875818B CN 108875818 B CN108875818 B CN 108875818B CN 201810574638 A CN201810574638 A CN 201810574638A CN 108875818 B CN108875818 B CN 108875818B
Authority
CN
China
Prior art keywords
network
sample
class
classifier
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810574638.4A
Other languages
English (en)
Other versions
CN108875818A (zh
Inventor
侯兴松
高蕊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201810574638.4A priority Critical patent/CN108875818B/zh
Publication of CN108875818A publication Critical patent/CN108875818A/zh
Application granted granted Critical
Publication of CN108875818B publication Critical patent/CN108875818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/061—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using biological neurons, e.g. biological neurons connected to an integrated circuit
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Neurology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Evolutionary Biology (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于变分自编码机与对抗网络结合的零样本图像分类方法，在训练模型时输入已知类别样本，由训练集样本类别映射作为条件引导，通过重建损失，生成损失，判别损失，散度损失，分类损失五种损失函数对网络进行反向传播优化参数，由未知类别的类别映射引导生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试。通过类别映射引导生成质量高的利于图像分类的样本，弥补了零样本情景中缺失未知类别训练样本的问题，将零样本学习转化成了传统机器学习中的监督学习，提高传统零样本学习的分类正确率，并在广义零样本学习中分类正确率也有明显的提高，为零样本学习提供了一种高效生成样本从而提高分类正确率的思路。

Description

基于变分自编码机与对抗网络结合的零样本图像分类方法
技术领域
本发明属于零样本图像分类技术领域，具体涉及一种基于变分自编码机与对抗网络结合的零样本图像分类方法。
背景技术
随着信息技术的飞速发展，模式识别是信息科学和人工智能的重要组成部分，主要应用于图像处理，语音识别，数据挖掘等学科。研究模式识别的主要目的是对样本进行分类，目前效果好的方法是监督学习，即通过大量已标注的数据进行模型的训练，然后在测试集上测试。但现实中很难获得大量标注的图片，并且有时获得的标注图片不是所需要分类的类别图片。所以零样本学习的研究具有重要的意义。零样本学习通过建立已有标注图片的类别和无法获得训练样本的类别之间的联系，从而在已知类别的图片上训练模型然后在未知类别的图片上进行分类，从而达到零样本图像分类的目的。
零样本学习的问题描述如下:
令S＝{(x,y,c(y))|x∈Xs,y∈Ys,c(y)∈As}，S为已知类别的数据集，
Figure BDA0001687103680000011
为已知类别训练样本的特征，d为特征维度，Ns为已知类别的训练样本数。Ys＝{y1,...,yK}为已知类别，设已知类别的数目有K个，
Figure BDA0001687103680000012
为已知类别对应的类别映射，da为属性个数。属性是建立已知类别和未知类别的高层语义关系的桥梁。除此之外，还已知U＝{(u,c(u))|u∈Yu,c(u)∈Au}，U为未知类别的数据集，Yu＝{y1,...,yL}为未知类别，设未知类别的数目为L个，已知类别和未知类别是互斥的，即
Figure BDA0001687103680000013
为未知类别的类别映射，未知类别的数据集在训练时只已知类别和对应的类别映射，其样本Xu是未知的。给定S和U，传统零样本学习的任务为学习一个分类器fZSL:X→Yu，广义零样本学习的任务为学习一个分类器fGZSL:X→Ys∪Yu。
建立类别与类别间的关系需要语义信息做为载体，语义空间比样本空间抽象度高，比类别空间抽象度低的空间，语义信息作为中间层的映射，建立起了样本空间和类别空间的联系。常见的类别映射有两种，一种是属性信息，一种是类别词向量。属性可以对样本进行描述，它可以为一些些简单事物的性质：颜色特性，形状特性等；也可以是由简单的性质组成的更为复杂的描述：有皮毛的、会游泳的等。属性通常为人工标注，设计仔细，直接与视觉特征相对应，但缺点是标注成本高，属性与属性之间有关联，在进行分类识别时不一定具有很高的区分性。文本学习通常通过自然语言处理技术从无标注的语料库中直接提取类别的文本上下文描述，该技术能将文本表示为特征向量，常见的模型包有Word2Vec。使用词向量表示类别名称，词向量之间的相似度就能够较好地代表类别名称语义上的相似度。优点是可以直接从语料库中获取，适合大规模的数据，但缺点是与视觉特征不直接相关，干扰因素多。
零样本学习的方法可以大致分为三类，第一类为特征空间到语义空间的映射，把语义信息当作标签进行监督学习，在测试时先对未知样本进行属性预测，然后再通过类别与语义信息之间的关系进行类别判断，例如DAP方法(C.Lampert,H.Nickisch,andS.Harmeling,“Attribute-based classification for zero-shot visual objectcategorization,”in TPAMI,2013.1,2,4,5,6,7,8,9,10,11,12)学习了样本空间到语义空间和语义空间到类别空间的分类器，根据贝叶斯定理计算每个样本属于每个类别的概率从而进行分类。这类方法将分类任务转化成了类别映射预测和图像分类两个步骤，中间会增大误差，并且存在hubness问题。第二类方法为语义空间到特征空间的映射，由于特征空间中数据相对分散，将语义信息投影到特征空间中区分度会提高，例如UVDS方法(Y.Long,L.Liu,L.Shao,F.Shen,G.Ding,and J.Han.From zero-shot learning to conventionalsupervised classification:Unseen visual data synthesis.In CVPR,2017)将语义信息映射到特征空间，通过特征间的正交性约束增大分类判别性，然后用生成的伪样本进行分类器的训练。第三类方法将语义信息和样本投影到一个公共的空间，从而减小两个空间的结构差异，例如TMV-HLP方法(Y.Fu,T.M.Hospedales,T.Xiang,and S.Gong,“Transductive multiview zero-shot learning,”TPAMI,2015.2,3)将特征和语义信息投影到一个公共的空间，通过学习投影矩阵最大化属性和特征的内积，即最大化二者的相关性。
以上的三类方法通过挖掘样本与语义信息的关系来达到分类的任务，由于样本的缺失和映射关系学习的误差，使得大部分方法具有很大的样本偏向性，尤其是在广义零样本学习中，大部分未知样本会被误分为已知类别，从而导致方法的泛化能力低。随着生成模型，例如生成对抗网络和变分自编码机被提出，给零样本学习提供了一种新的思路，即生成未知类别的伪样本，将零样本学习转化成机器学习中的监督学习。这里不同于直接的语义信息到样本的映射，这里的语义信息作为生成模型的引导信息，以巧妙设计的目标函数约束模型，生成所需要的样本。如何利用生成模型和类别的语义信息，引导网络生成有利于最终分类任务的样本是非常关键的问题。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于变分自编码机与对抗网络结合的零样本图像分类方法，能够弥补零样本学习中训练样本缺失的问题，利用生成的伪样本将零样本学习转化成了传统机器学习中的监督学习，从而提高了传统零样本学习的分类正确率，并且在广义零样本学习中的分类正确率也有明显的提高。
本发明采用以下技术方案：
基于变分自编码机与对抗网络结合的零样本图像分类方法，由训练集中的样本的属性标签作为条件引导，在训练模型时将已知类别的样本和样本对应的属性标签作为模型的输入，通过重建损失，生成损失，判别损失，散度损失和分类损失对网络进行反向传播优化参数，模型训练完成后，输入采样的随机高斯噪声和未知类别的属性，生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试，实现零样本图像分类。
具体的，包括以下步骤：
S1、用残差网络提取已知类别样本的特征Xs，维度d＝2048，制作样本相应的属性标签
Figure BDA0001687103680000041
和类别标签
Figure BDA0001687103680000042
类别标签的第K+1列代表其他类，这里设为0；
S2、定义分类器网络Classifier，设置为一层全连接隐含层，神经元个数为n_hidden_C，输出为K+1维向量，利用已知类别样本Xs对分类器网络Classifier进行预训练，对分类网络参数进行初始化从而加速之后网络训练收敛的速度，优化网络参数的损失函数如下：
Lclassifier＝-log(P(Yseen|Xs))；
S3、定义条件变分自编码机CVAE的编码器网络Encoder为两层全连接隐含层，神经元个数为n_hidden_E，Encoder的输入为
Figure BDA0001687103680000043
即Xs和Aseen进行向量拼接后输入；Encoder的输出为(2*dz)维的向量，前dz维设为Xs的均值μ(XS)，后dz维设为Xs的方差∑(XS)，均值和方差包含了Xs的结构信息；
S4、从随机高斯噪声中采样得到dz维的高斯噪声z～N(0,1)，通过加均值乘方差得到zf＝μ(Xs)+z*∑(Xs)，同时从随机高斯噪声中采样得到dz维的高斯噪声zp～N(0,1)；
S5、定义散度损失LKL；
S6、定义一个多层感知机网络作为条件变分自编码机的解码器，网络设置为一层全连接隐含层，神经元个数为n_hidden_G；
S7、选择交叉熵损失定义条件变分自编码机CVAE中的重建损失Lconstruction；
S8、定义生成对抗网络中的判别器网络Discriminator，设置为一层全连接隐含层，神经元个数为n_hidden_D，将已知类别样本Xs，zf输入解码器的输出Xf和zp输入解码器的输出Xp作为判别器网络的输入；
S9、定义判别损失函数Ldiscriminator；
S10、将Xs，Xf和Xp作为分类器网络的输入，定义分类损失函数Lclassifier；
S11、定义生成损失函数，通过判别器的判定为真样本，通过分类器分类完成属于其引导属性对应的类别；
S12、整体训练网络，定义模型中每个模块的优化函数，训练模型时每个模块分别用各自对应的损失函数进行反向传播优化参数；
S13、测试时，输入为未知类别对应的属性Aunseen和随机采样的高斯噪声zt～N(0,1)，将二者拼接
Figure BDA0001687103680000051
作为解码器的输入，输出为生成的未知类别的伪样本Xu'。
进一步的，步骤S5中，散度损失LKL如下：
LKL＝KL(qE(z|x,a)||Pz)
其中，qE(z|x,a)为zf，Pz～N(0,1)，KL为两个分布的KL散度计算。
进一步的，步骤S6中，多层感知机网络分别作为条件变分自编码机CVAE中的解码器Decoder和生成对抗网络中的生成器Generator；多层感知机网络的一组输出为
Figure BDA0001687103680000052
另一组输出为
Figure BDA0001687103680000053
两组输入得到两个输出Xf＝D(zf,Aseen)和Xp＝G(zp,Aseen)，D代表Decoder，G代表Generator。
进一步的，步骤S9中，判别损失函数Ldiscriminator如下：
Ldiscriminator＝-(log(Dis(Xs))+log(1-Dis(Xf))+log(1-Dis(Xp)))
其中，Dis(Xs)，Dis(Xf)，Dis(Xp)分别为Xs，Xf和Xp经过判别器后的输出。
进一步的，步骤S10中，分类损失函数Lclassifier如下：
Lclassifier＝-log(P(Yseen|Xs))-log(P(Yf|Xf))-log(P(Yp|Xp))
其中，
Figure BDA0001687103680000054
Yf和Yp均为前K列为0，第K+1列为1的矩阵，Xs为已知类别样本，Xf＝D(zf,Aseen)为zf输入解码器的输出，Xp＝G(zp,Aseen)为zp输入解码器的输出，P为概率计算。
进一步的，步骤S11中，生成损失函数Lgenerator如下：
Lgenerator＝-log(Dis(Xf))-log(Dis(Xp)))-log(P(Yseen|Xf))-log(P(Yseen|Xp))
其中，Dis(Xf)，Dis(Xp)分别为Xf和Xp经过判别器后的输出，Yseen为已知类别样本的类别标签，P为概率计算。
进一步的，步骤S12中，每个模块的优化函数如下：
Figure BDA0001687103680000061
Figure BDA0001687103680000062
Figure BDA0001687103680000063
Figure BDA0001687103680000064
其中，▽为梯度，λ为正则化平衡参数，Encoder为编码器，LKL为散度损失，Lreconstruction为重建损失，Decoder/Generator为解码器/生成器，Lgenerator为生成损失函数，Discriminator为判别器，Ldiscriminator为判别损失函数，Classifier为分类器网络，Lclassifier为分类损失函数。
进一步的，针对广义零样本学习，则在步骤S2～S12中将已知类别的训练样本分成两部分，一部分Xtrain进行S2～S12中模型的训练，另一部分Xtest_seen进行测试，广义零样本学习中利用未知类别的伪样本Xu'和已知类别的样本Xtrain一起训练一个softmax分类器，训练好后用Xtest_seen和未知类别的真实样本Xu进行测试，计算分类正确率。
进一步的，步骤S13完成后，针对传统的零样本学习，利用未知类别的伪样本Xu'训练一个softmax分类器，将零样本学习转化成传统机器学习中的监督学习，训练好之后用真实的未知类别样本测试Xu，计算分类正确率。
与现有技术相比，本发明至少具有以下有益效果：
本发明基于变分自编码机与对抗网络结合的零样本图像分类方法，由训练集中的样本的属性标签作为条件引导，在训练模型时将已知类别的样本和样本对应的属性标签作为模型的输入，通过重建损失，生成损失，判别损失，散度损失和分类损失对网络进行反向传播优化参数，模型训练完成后，输入采样的随机高斯噪声和未知类别的属性，生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试，实现零样本图像分类，弥补了零样本情景中缺失未知类别训练样本的问题，利用生成的伪样本将零样本学习转化成了传统机器学习中的监督学习，从而提高了传统零样本学习的分类正确率，并且在广义零样本学习中的分类正确率也有明显的提高。
进一步的，将变分自编码机与生成对抗网络两个生成模型相结合，弥补了单独使用变分自编码机生成的样本模糊判别性差，单独使用生成对抗网络样本模式单一不易控制的缺陷，并且加入了分类器模块，从而引导生成分类效果更好的样本。
进一步的，采用属性空间到特征空间的映射，相比较特征空间到属性空间映射的零样本学习方法，第一，避免了先进行属性预测在进行图像分类的分步过程，生成的特征直接进行分类，减少了分步带来的误差；第二，特征空间到属性空间映射的方法在进行属性预测后是通过最近邻的方式进行分类，最近邻方法会带来hubness问题，使得数据在属性空间存在维数灾难和类别不平衡问题，从而导致分类结果不理想，采用特征空间作为映射空间，能够缓解hubness问题，从而提高分类的正确率。
进一步的，由于零样本学习在训练过程中未知类别的样本缺失，只能通过建立已知类别的样本与类别属性之间的联系进行建模，在广义零样本学习的任务中，由于分类的目标类别包括已知类别和未知类别，所以会导致分类结果会明显偏向于已知类别，从而导致未知类别样本的分类正确率远远低于已知类别样本的分类正确率，通过属性引导生成未知类别的伪样本，弥补了未知类别样本缺失的问题，并且在分类模块的约束下生成的样本适应于分类任务，从而提高了未知类别样本的分类正确率，使已知类别和未知类别的分类正确率差异减小，增大了模型的泛化能力。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本方法的总流程图；
图2为使用本方法产生的伪样本和未知类别真实样本的样本分布情况示意图，其中，(a)为未知类别真实样本的分布，(b)为生成的未知类别伪样本的分布。
具体实施方式
本发明提供了一种基于变分自编码机与对抗网络结合的零样本图像分类方法，由训练集中的样本类别映射(本方法中的类别映射指的是每个类别的属性标签)作为条件引导。在训练模型时将已知类别的样本和样本对应的属性标签作为模型的输入，通过重建损失，生成损失，判别损失，散度损失，分类损失五种损失函数对网络进行反向传播优化参数。模型训练完成后，输入采样的随机高斯噪声和未知类别的属性，生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试。
请参阅图1，本发明一种基于变分自编码机与对抗网络结合的零样本图像分类方法，包括以下步骤：
S1、用残差网络提取已知类别样本的特征Xs，维度d＝2048，制作样本相应的属性标签
Figure BDA0001687103680000081
和类别标签
Figure BDA0001687103680000082
类别标签的第K+1列代表其他类，这里设为0；
S2、定义分类器网络Classifier，设置为一层全连接隐含层，神经元个数为n_hidden_C，输出为K+1维向量，利用已知类别样本Xs对分类器网络进行预训练，对分类网络参数进行初始化从而加速之后网络训练收敛的速度，优化网络参数的损失函数为Lclassifier＝-log(P(Yseen|Xs))，softmax为交叉熵函数；
S3、定义条件变分自编码机CVAE的编码器网络Encoder，神经元个数为n_hidden_E，Encoder的输入为
Figure BDA0001687103680000083
即Xs和Aseen进行向量拼接后输入；Encoder的输出为(2*dz)维的向量，前dz维设为Xs的均值μ(XS)，后dz维设为Xs的方差∑(XS)，均值和方差包含了Xs的结构信息；
由于Encoder的输入是特征，所以网络为多层感知机，设置为两层全连接隐含层。
S4、从随机高斯噪声中采样得到dz维的高斯噪声z～N(0,1)，通过加均值乘方差得到zf＝μ(Xs)+z*∑(Xs)，同时从随机高斯噪声中采样得到dz维的高斯噪声zp～N(0,1)；
S5、定义散度损失如下：
LKL＝KL(qE(z|x,a)||Pz)
其中，qE(z|x,a)为zf，Pz～N(0,1)，KL为两个分布的KL散度计算；
S6、定义一个多层感知机网络，网络设置为一层全连接隐含层，神经元个数为n_hidden_G；
由于模型中将条件变分自编码机CVAE和生成对抗网络进行结合，网络有两个作用：一个是作为条件变分自编码机CVAE中的解码器Decoder，另一个是作为生成对抗网络中的生成器Generator；网络有两组输入：一组为
Figure BDA0001687103680000091
一组为
Figure BDA0001687103680000092
两组输入得到两个输出Xf＝D(zf,Aseen)和Xp＝G(zp,Aseen)，这里为了显示条件变分自编码机CVAE和生成对抗网络网络的区别，将一个网络用两个字母表示，D代表Decoder，G代表Generator。
S7、选择交叉熵损失定义CVAE中的重建损失Lconstruction；
重建损失有两种选择，可以用均方误差损失，也可以用交叉熵损失，本方法选择交叉熵损失；
S8、定义生成对抗网络中的判别器网络Discriminator，设置为一层全连接隐含层，神经元个数为n_hidden_D，将Xs，Xf和Xp作为判别器网络的输入，Xs为已知类别样本，Xf＝D(zf,Aseen)为zf输入解码器的输出，Xp＝G(zp,Aseen)为zp输入解码器的输出；
S9、定义判别损失函数，判别损失函数的含义为希望判别器判定为真实样本，判别和为合成的假样本；
判别损失函数如下：
Ldiscriminator＝-(log(Dis(Xs))+log(1-Dis(Xf))+log(1-Dis(Xp)))
其中，Dis(Xs)，Dis(Xf)，Dis(Xp)分别为Xs，Xf和Xp经过判别器后的输出。
S10、将Xs，Xf和Xp作为分类器网络的输入，定义分类损失函数，分类损失函数的含义为希望将进行相应类别的正确分类，将和分为“其它”类，他们不属于K类中的任何一类；
定义分类损失函数如下：
Lclassifier＝-log(P(Yseen|Xs))-log(P(Yf|Xf))-log(P(Yp|Xp))
其中，
Figure BDA0001687103680000101
Yf和Yp分别为Xf和Xp的类别标签，二者相同，是前K列为0，第(K+1)列为1的矩阵，P为概率计算。
S11、生成损失函数的含义为希望生成的样本质量很好，然后通过判别器的判定为真样本，通过分类器分类成属于与其引导属性对应的类别；
定义生成损失函数如下：
Lgenerator＝-log(Dis(Xf))-log(Dis(Xp)))-log(P(Yseen|Xf))-log(P(Yseen|Xp))；
其中，Yseen为已知类别样本的类别标签，P为概率计算。
S12、整体训练网络，定义模型中每个模块的优化函数，训练模型时每个模块分别用各自对应的损失函数进行反向传播优化参数；
每个模块的优化函数如下：
Figure BDA0001687103680000102
Figure BDA0001687103680000103
Figure BDA0001687103680000104
Figure BDA0001687103680000105
其中，▽为梯度，λ为正则化平衡参数，Encoder为编码器，LKL为散度损失，Lreconstruction为重建损失，Decoder/Generator为解码器/生成器，Lgenerator为生成损失函数，Discriminator为判别器，Ldiscriminator为判别损失函数，Classifier为分类器网络，Lclassifier为分类损失函数。
S13、测试时，输入为未知类别对应的属性Aunseen和随机采样的高斯噪声zt～N(0,1)，将二者拼接
Figure BDA0001687103680000111
作为解码器(生成器)的输入，输出为生成的未知类别的伪样本Xu'；
S14、针对传统的零样本学习，利用未知类别的伪样本Xu'训练一个softmax分类器，将零样本学习转化成传统机器学习中的监督学习，训练好之后用真实的未知类别样本测试Xu，计算分类正确率；
S15、针对广义零样本学习，则在步骤S2～S12中将已知类别的训练样本分成两部分，一部分Xtrain进行S2～S12中模型的训练，另一部分Xtest_seen进行测试。广义零样本学习中利用未知类别的伪样本Xu'和已知类别的样本Xtrain一起训练一个softmax分类器，训练好后用Xtest_seen和未知类别的真实样本Xu进行测试，计算分类正确率。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
A、实验条件
1.实验数据库
在AWA1,AWA2,CUB三个数据集上进行测试。AWA1和AWA2为同源数据集，数据集中有50类样本，每个类别标注了85中属性。零样本学习中将50类的样本划分成训练类40类(有需要再细分成训练类23类和验证类17类)和测试类10类，训练类加验证类即为已知类别，测试类为未知类别，二者互斥。CUB数据集中有200类样本，每个类别标注了312中属性，是一个细粒度数据集。零样本学习中将200类的样本划分成训练类150类(有需要再细分成训练类100类和验证类50类)和测试类50类。详细介绍见如下表1。
表1数据集的详细介绍
Figure BDA0001687103680000121
2.实验要求
实验分为两个部分：传统零样本学习和广义零样本学习。
(a)传统零样本学习：训练时已知的有已知类别的样本，已知类别对应的类别标签和属性标签，未知类别对应的类别标签和属性标签。训练时已知类别的所有样本都参与训练，测试时利用未知类别标签引导生成未知类别的伪样本，用伪样本进行分类器的训练，然后在真实的未知类别样本上进行测试，分类类别的个数为未知类别的个数。
(b)广义零样本学习：训练时已知的有已知类别的样本，已知类别对应的类别标签和属性标签，未知类别对应的类别标签和属性标签。训练时将已知类别的样本分成训练样本和测试样本，测试时利用未知类别标签引导生成未知类别的伪样本，用伪样本和已知类别的训练样本一起进行分类器的训练，然后在真实的未知类别样本和已知类别的测试样本上进行测试，分类类别的个数为数据集所有类别的个数。
3.实验参数设置
AWA1和AWA2是同源数据集，所以参数设置一样，如下表2所示：
d<sub>z</sub> n_hidden_G n_hidden_D n_hidden_E n_hidden_C λ
256 1000 1000 1000 1024 0.01
CUB实验参数设置如下表3所示：
d<sub>z</sub> n_hidden_G n_hidden_D n_hidden_E n_hidden_C λ
512 1000 1000 1000 1024 0.01
B、实验结果评价标准
1.传统零样本学习：
评价标准为平均类别分类正确率。不采用整体分类正确率的原因是由于每个类别的样本数目具有不均衡性，样本数多的类别所占的权重大于样本数少的类别。为了关注到每个类别的分类正确率，这里采用平均类别分类正确率:
Figure BDA0001687103680000131
其中，||Y||为分类类别数，c为其中的类别c，||yc||为类别c中分类正确的类别数，
Figure BDA0001687103680000132
为类别c中的样本总数。
2.广义零样本学习：
广义零样本学习中分类的类别不仅有未知类别，也有已知类别，这里用调和平均数H来衡量分类效果。不用平均类别分类正确率是因为已知类别的样本分类正确率会明显比未知类别的高，H值能够反应已知类别和未知类别分类正确率的平衡程度，H值越高，方法的防化能力越强。H值的计算公式如下：
Figure BDA0001687103680000141
其中，
Figure BDA0001687103680000142
为已知类别的平均类别分类正确率，
Figure BDA0001687103680000143
为未知类别的平均类别分类正确率。
C、对比试验方案
将本发明的CVAE-GAN-CLS算法与现有的DAP算法、IAP算法、CONSE算法、CMT算法、SSE算法、LATEM算法、DEVISE算法、SAE算法进行比较。
表4传统零样本图像分类性能比较
Figure BDA0001687103680000144
表5广义零样本图像分类性能比较：
Figure BDA0001687103680000145
Figure BDA0001687103680000151
tr为已知类别的平均类别分类正确率，ts为未知类别的平均类别分类正确率。
表4和表5的结果表明本方法的效果超过其它比较的方法。在传统零样本学习中本方法相比较于其他方法的分类正确率最高，说明本方法产生的样本质量很高，每个类别的分类正确率不仅高而且均衡，所以最终的平均类别分类正确率高。在广义零样本学习中，相比较的大部分方法都表现出tr远远高出ts的现象，从而导致H值偏低。这是因为相比较的方法泛化能力不够，所以分类结果对已知样本类别有明显的偏向性。本方法能够产生未知类别的有利于分类目标的伪样本，在一定程度上缓解了分类偏向性，从而使tr和ts能够平衡，从而提升了H值。两个表格的数据从客观角度证明了本方法的有效性。
请参阅图2，本方法产生的未知类别的伪样本分布中，类间距离大，类内距离小，非常有利与最终的分类任务。这是因为本方法生成样本时不仅有类别属性引导，还有分类模块做约束，使得变分自编码机和生成对抗网络生成的样本不会杂乱无章，而是有利于最终的分类任务。图2从主观角度证明了本方法的有效性。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。

Claims (9)

1.基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，由训练集中的样本的属性标签作为条件引导，在训练模型时将已知类别的样本和样本对应的属性标签作为模型的输入，通过重建损失，生成损失，判别损失，散度损失和分类损失对网络进行反向传播优化参数，模型训练完成后，输入采样的随机高斯噪声和未知类别的属性，生成对应的未知类别的伪样本，然后用伪样本训练分类器在未知类别样本上测试，实现零样本图像分类，包括以下步骤：
S1、用残差网络提取已知类别样本的特征Xs，维度d＝2048，制作样本相应的属性标签
Figure FDA0002502459330000011
和类别标签
Figure FDA0002502459330000012
类别标签的第K+1列代表其他类，这里设为0；
S2、定义分类器网络Classifier，设置为一层全连接隐含层，神经元个数为n_hidden_C，输出为K+1维向量，利用已知类别样本Xs对分类器网络Classifier进行预训练，对分类网络参数进行初始化从而加速之后网络训练收敛的速度，优化网络参数的损失函数如下：
Lclassifier＝-log(P(Yseen|Xs))；
S3、定义条件变分自编码机CVAE的编码器网络Encoder为两层全连接隐含层，神经元个数为n_hidden_E，Encoder的输入为
Figure FDA0002502459330000013
即Xs和Aseen进行向量拼接后输入；Encoder的输出为(2*dz)维的向量，前dz维设为Xs的均值μ(XS)，后dz维设为Xs的方差∑(XS)，均值和方差包含了Xs的结构信息；
S4、从随机高斯噪声中采样得到dz维的高斯噪声z～N(0,1)，通过加均值乘方差得到zf＝μ(Xs)+z*∑(Xs)，同时从随机高斯噪声中采样得到dz维的高斯噪声zp～N(0,1)；
S5、定义散度损失LKL；
S6、定义一个多层感知机网络作为条件变分自编码机的解码器，网络设置为一层全连接隐含层，神经元个数为n_hidden_G；
S7、选择交叉熵损失定义条件变分自编码机CVAE中的重建损失Lreconstruction；
S8、定义生成对抗网络中的判别器网络Discriminator，设置为一层全连接隐含层，神经元个数为n_hidden_D，将已知类别样本Xs，zf输入解码器的输出Xf和zp输入解码器的输出Xp作为判别器网络的输入；
S9、定义判别损失函数Ldiscriminator；
S10、将Xs，Xf和Xp作为分类器网络的输入，定义分类损失函数Lclassifier；
S11、定义生成损失函数，通过判别器的判定为真样本，通过分类器分类完成属于其引导属性对应的类别；
S12、整体训练网络，定义模型中每个模块的优化函数，训练模型时每个模块分别用各自对应的损失函数进行反向传播优化参数；
S13、测试时，输入为未知类别对应的属性Aunseen和随机采样的高斯噪声zt～N(0,1)，将二者拼接
Figure FDA0002502459330000021
作为解码器的输入，输出为生成的未知类别的伪样本Xu'。
2.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S5中，散度损失LKL如下：
LKL＝KL(qE(z|x,a)||Pz)
其中，qE(z|x,a)为zf，Pz～N(0,1)，KL为两个分布的KL散度计算。
3.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S6中，多层感知机网络分别作为条件变分自编码机CVAE中的解码器Decoder和生成对抗网络中的生成器Generator；多层感知机网络的一组输出为
Figure FDA0002502459330000022
另一组输出为
Figure FDA0002502459330000023
两组输入得到两个输出Xf＝D(zf,Aseen)和Xp＝G(zp,Aseen)，D代表Decoder，G代表Generator。
4.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S9中，判别损失函数Ldiscriminator如下：
Ldiscriminator＝-(log(Dis(Xs))+log(1-Dis(Xf))+log(1-Dis(Xp)))
其中，Dis(Xs)，Dis(Xf)，Dis(Xp)分别为Xs，Xf和Xp经过判别器后的输出。
5.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S10中，分类损失函数Lclassifier如下：
Lclassifier＝-log(P(Yseen|Xs))-log(P(Yf|Xf))-log(P(Yp|Xp))
其中，
Figure FDA0002502459330000031
Yf和Yp均为前K列为0，第K+1列为1的矩阵，Xs为已知类别样本，Xf＝D(zf,Aseen)为zf输入解码器的输出，Xp＝G(zp,Aseen)为zp输入解码器的输出，P为概率计算。
6.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S11中，生成损失函数Lgenerator如下：
Lgenerator＝-log(Dis(Xf))-log(Dis(Xp)))-log(P(Yseen|Xf))-log(P(Yseen|Xp))
其中，Dis(Xf)，Dis(Xp)分别为Xf和Xp经过判别器后的输出，Yseen为已知类别样本的类别标签，P为概率计算。
7.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S12中，每个模块的优化函数如下：
Figure FDA0002502459330000032
Figure FDA0002502459330000033
Figure FDA0002502459330000034
Figure FDA0002502459330000035
其中，
Figure FDA0002502459330000036
为梯度，λ为正则化平衡参数，Encoder为编码器，LKL为散度损失，Lreconstruction为重建损失，Decoder/Generator为解码器/生成器，Lgenerator为生成损失函数，Discriminator为判别器，Ldiscriminator为判别损失函数，Classifier为分类器网络，Lclassifier为分类损失函数。
8.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，针对广义零样本学习，则在步骤S2～S12中将已知类别的训练样本分成两部分，一部分Xtrain进行S2～S12中模型的训练，另一部分Xtest_seen进行测试，广义零样本学习中利用未知类别的伪样本Xu'和已知类别的样本Xtrain一起训练一个softmax分类器，训练好后用Xtest_seen和未知类别的真实样本Xu进行测试，计算分类正确率。
9.根据权利要求1所述的基于变分自编码机与对抗网络结合的零样本图像分类方法，其特征在于，步骤S13完成后，针对传统的零样本学习，利用未知类别的伪样本Xu'训练一个softmax分类器，将零样本学习转化成传统机器学习中的监督学习，训练好之后用真实的未知类别样本测试Xu，计算分类正确率。
CN201810574638.4A 2018-06-06 2018-06-06 基于变分自编码机与对抗网络结合的零样本图像分类方法 Active CN108875818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810574638.4A CN108875818B (zh) 2018-06-06 2018-06-06 基于变分自编码机与对抗网络结合的零样本图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810574638.4A CN108875818B (zh) 2018-06-06 2018-06-06 基于变分自编码机与对抗网络结合的零样本图像分类方法

Publications (2)

Publication Number Publication Date
CN108875818A CN108875818A (zh) 2018-11-23
CN108875818B true CN108875818B (zh) 2020-08-18

Family

ID=64337203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810574638.4A Active CN108875818B (zh) 2018-06-06 2018-06-06 基于变分自编码机与对抗网络结合的零样本图像分类方法

Country Status (1)

Country Link
CN (1) CN108875818B (zh)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109784249B (zh) * 2019-01-04 2020-09-22 华南理工大学 一种基于变分级联信息瓶颈的置乱人脸识别方法
CN109886388B (zh) * 2019-01-09 2024-03-22 平安科技（深圳）有限公司 一种基于变分自编码器的训练样本数据扩充方法和装置
CN111461155A (zh) * 2019-01-18 2020-07-28 富士通株式会社 训练分类模型的装置和方法
CN109903236B (zh) * 2019-01-21 2020-12-18 南京邮电大学 基于vae-gan与相似块搜索的人脸图像修复方法及装置
CN109816032B (zh) * 2019-01-30 2020-09-11 中科人工智能创新技术研究院(青岛)有限公司 基于生成式对抗网络的无偏映射零样本分类方法和装置
CN109919204B (zh) * 2019-02-23 2023-06-23 华南理工大学 一种面向噪声图像的深度学习聚类方法
CN109902746A (zh) * 2019-03-01 2019-06-18 中南大学 非对称的细粒度红外图像生成系统及方法
CN110070895B (zh) * 2019-03-11 2021-06-22 江苏大学 一种基于监督变分编码器因素分解的混合声音事件检测方法
CN109947426B (zh) * 2019-03-12 2022-06-17 天津字节跳动科技有限公司 应用程序的生成方法、装置及电子设备
CN111723833A (zh) * 2019-03-21 2020-09-29 富士通株式会社 信息处理装置和信息处理方法
CN110009013B (zh) * 2019-03-21 2021-04-27 腾讯科技（深圳）有限公司 编码器训练及表征信息提取方法和装置
CN110020623B (zh) * 2019-04-04 2021-01-15 中山大学 基于条件变分自编码器的人体活动识别系统及方法
CN110070174B (zh) * 2019-04-10 2020-11-27 厦门美图之家科技有限公司 一种生成对抗网络的稳定训练方法
CN110097103A (zh) * 2019-04-22 2019-08-06 西安电子科技大学 基于生成对抗网络的半监督图像分类方法
CN110110126B (zh) * 2019-04-29 2021-08-27 北京达佳互联信息技术有限公司 查询人物的面部图像的方法、装置和服务器
CN110163267A (zh) * 2019-05-09 2019-08-23 厦门美图之家科技有限公司 一种图像生成模型的训练方法和生成图像的方法
CN110309853B (zh) * 2019-05-20 2022-09-09 湖南大学 基于变分自编码器的医学图像聚类方法
CN110113353B (zh) * 2019-05-20 2021-06-22 桂林电子科技大学 一种基于cvae-gan的入侵检测方法
CN110189249B (zh) * 2019-05-24 2022-02-18 深圳市商汤科技有限公司 一种图像处理方法及装置、电子设备和存储介质
CN110188836B (zh) * 2019-06-21 2021-06-11 西安交通大学 一种基于变分自编码器的脑功能网络分类方法
CN110263865B (zh) * 2019-06-24 2021-11-02 北方民族大学 一种半监督多模态多类别的图像翻译方法
CN110347792B (zh) * 2019-06-25 2022-12-20 腾讯科技（深圳）有限公司 对话生成方法及装置、存储介质、电子设备
CN110378744A (zh) * 2019-07-25 2019-10-25 中国民航大学 面向不完备数据系统的民航常旅客价值分类方法及系统
CN110443293B (zh) * 2019-07-25 2023-04-07 天津大学 基于双判别生成对抗网络文本重构的零样本图像分类方法
CN110572696B (zh) * 2019-08-12 2021-04-20 浙江大学 一种变分自编码器与生成对抗网络结合的视频生成方法
CN110516718B (zh) * 2019-08-12 2023-03-24 西北工业大学 基于深度嵌入空间的零样本学习方法
CN110472746B (zh) * 2019-08-16 2021-04-13 北京智能工场科技有限公司 一种基于人工智能的编码预测方法和系统
CN110580501B (zh) * 2019-08-20 2023-04-25 天津大学 一种基于变分自编码对抗网络的零样本图像分类方法
CN110598759A (zh) * 2019-08-23 2019-12-20 天津大学 一种基于多模态融合的生成对抗网络的零样本分类方法
CN110826638B (zh) * 2019-11-12 2023-04-18 福州大学 基于重复注意力网络的零样本图像分类模型及其方法
CN110795585B (zh) * 2019-11-12 2022-08-09 福州大学 基于生成对抗网络的零样本图像分类系统及其方法
CN110929772A (zh) * 2019-11-15 2020-03-27 北京奇艺世纪科技有限公司 模型训练方法、样本生成方法、装置、电子设备及存储介质
CN113159288B (zh) * 2019-12-09 2022-06-28 支付宝(杭州)信息技术有限公司 防止隐私数据泄漏的编码模型训练方法及装置
CN111126218B (zh) * 2019-12-12 2023-09-26 北京工业大学 一种基于零样本学习的人体行为识别方法
CN111258992A (zh) * 2020-01-09 2020-06-09 电子科技大学 一种基于变分自编码器的地震数据扩充方法
CN111243045B (zh) * 2020-01-10 2023-04-07 杭州电子科技大学 一种基于高斯混合模型先验变分自编码器的图像生成方法
CN111325239A (zh) * 2020-01-21 2020-06-23 上海眼控科技股份有限公司 一种基于图像的天气识别的方法及设备
CN111310852B (zh) * 2020-03-08 2022-08-12 桂林电子科技大学 一种图像分类方法及系统
CN111339443B (zh) * 2020-03-09 2023-04-07 腾讯科技（深圳）有限公司 用户标签确定方法、装置、计算机设备及存储介质
CN111400754B (zh) * 2020-03-11 2021-10-01 支付宝(杭州)信息技术有限公司 保护用户隐私的用户分类系统的构建方法及装置
CN111461025B (zh) * 2020-04-02 2022-07-05 同济大学 一种自主进化的零样本学习的信号识别方法
CN111476294B (zh) * 2020-04-07 2022-03-22 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN111612047B (zh) * 2020-04-29 2023-06-02 杭州电子科技大学 基于属性特征向量和可逆生成模型的零样本图像识别方法
CN111563554B (zh) * 2020-05-08 2022-05-17 河北工业大学 基于回归变分自编码器的零样本图像分类方法
CN111695598B (zh) * 2020-05-11 2022-04-29 东南大学 一种基于生成对抗网络的监测数据异常诊断方法
CN111914903B (zh) * 2020-07-08 2022-10-25 西安交通大学 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备
CN112101470B (zh) * 2020-09-18 2023-04-11 上海电力大学 一种基于多通道高斯gan的引导零样本识别方法
CN112148909B (zh) * 2020-09-18 2024-03-29 微梦创科网络科技（中国）有限公司 搜索相似图片的方法及系统
CN112215282B (zh) * 2020-10-12 2022-03-15 西安交通大学 一种基于小样本图像分类的元泛化网络系统
CN112364894B (zh) * 2020-10-23 2022-07-08 天津大学 一种基于元学习的对抗网络的零样本图像分类方法
CN112487193B (zh) * 2020-12-18 2022-11-22 贵州大学 一种基于自编码器的零样本图片分类方法
CN112580722B (zh) * 2020-12-20 2024-06-14 大连理工大学人工智能大连研究院 一种基于条件对抗自动编码机的广义零样本图像识别方法
CN112674734B (zh) * 2020-12-29 2021-12-07 电子科技大学 一种基于监督Seq2Seq模型的脉搏信号噪声检测方法
CN112598000A (zh) * 2021-03-03 2021-04-02 北京世纪好未来教育科技有限公司 题目识别方法、装置、电子设备及计算机存储介质
CN113314215A (zh) * 2021-05-21 2021-08-27 北京航空航天大学 超声甲状腺结节样例丰富及良恶性自动辅助识别系统
CN113542222B (zh) * 2021-06-16 2023-07-25 浙江工业大学 一种基于双域vae的零日多步威胁识别方法
CN113392906B (zh) * 2021-06-16 2022-04-22 西华大学 基于图像高阶引导编码重组的对抗样本恢复方法及系统
CN113627470B (zh) * 2021-07-01 2023-09-05 汕头大学 一种基于零次学习的光纤预警系统未知事件分类方法
CN113255237B (zh) * 2021-07-07 2021-12-10 杭州珞珈数据科技有限公司 一种基于自动化建模引擎的服装的检索模型及其方法
CN113469084B (zh) * 2021-07-07 2023-06-30 西安电子科技大学 基于对比生成对抗网络的高光谱图像分类方法
CN113610191B (zh) * 2021-09-07 2023-08-29 中原动力智能机器人有限公司 垃圾分类模型建模方法、垃圾分类方法
CN114022739A (zh) * 2021-11-17 2022-02-08 南京邮电大学 一种基于对齐变分自编码器与三元组结合的零样本学习方法
CN114399743B (zh) * 2021-12-10 2024-05-28 浙江零跑科技股份有限公司 一种障碍物未来轨迹的生成方法
CN114550251A (zh) * 2022-02-14 2022-05-27 北京百度网讯科技有限公司 人脸识别方法、装置、电子设备和存储介质
CN114626415B (zh) * 2022-03-14 2024-08-09 广西大学 一种基于人工智能的风电机组复合故障诊断方法
CN115131695B (zh) * 2022-03-18 2024-08-13 北京奇艺世纪科技有限公司 视频检测模型的训练方法、视频检测方法及装置
CN116109877B (zh) * 2023-04-07 2023-06-20 中国科学技术大学 组合式零样本图像分类方法、系统、设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107464210B (zh) * 2017-07-06 2020-02-21 浙江工业大学 一种基于生成式对抗网络的图像风格迁移方法
CN107507126B (zh) * 2017-07-27 2020-09-18 和创懒人(大连)科技有限公司 一种利用rgb图像还原3d场景的方法
CN107679556A (zh) * 2017-09-18 2018-02-09 天津大学 基于变分自动编码器的零样本图像分类方法
CN107862668A (zh) * 2017-11-24 2018-03-30 河海大学 一种基于gnn的文物图像复原方法
CN107968962B (zh) * 2017-12-12 2019-08-09 华中科技大学 一种基于深度学习的两帧不相邻图像的视频生成方法

Also Published As

Publication number Publication date
CN108875818A (zh) 2018-11-23

Similar Documents

Publication Publication Date Title
CN108875818B (zh) 基于变分自编码机与对抗网络结合的零样本图像分类方法
CN111476294B (zh) 一种基于生成对抗网络的零样本图像识别方法及系统
CN111581405B (zh) 基于对偶学习生成对抗网络的跨模态泛化零样本检索方法
Han et al. P-CNN: Part-based convolutional neural networks for fine-grained visual categorization
CN110097095B (zh) 一种基于多视图生成对抗网络的零样本分类方法
CN111046900A (zh) 基于局部流形正则化的半监督生成对抗网络图像分类方法
CN112949647B (zh) 三维场景描述方法、装置、电子设备和存储介质
CN110826638A (zh) 基于重复注意力网络的零样本图像分类模型及其方法
Chandrasegaran et al. Revisiting label smoothing and knowledge distillation compatibility: What was missing?
CN111126482A (zh) 一种基于多分类器级联模型的遥感影像自动分类方法
Ocquaye et al. Dual exclusive attentive transfer for unsupervised deep convolutional domain adaptation in speech emotion recognition
CN103136540B (zh) 一种基于隐结构推理的行为识别方法
Kumar Verma et al. Generative model for zero-shot sketch-based image retrieval
CN112784929A (zh) 一种基于双元组扩充的小样本图像分类方法及装置
Zhang et al. A zero-shot learning framework via cluster-prototype matching
CN110363830A (zh) 元素图像生成方法、装置及系统
Yang et al. Structure-Guided Adversarial Training of Diffusion Models
Meng et al. Detecting Credit Card Fraud by Generative Adversarial Networks and Multi-head Attention Neural Networks.
Müller et al. Object shape categorization in rgbd images using hierarchical graph constellation models based on unsupervisedly learned shape parts described by a set of shape specificity levels
CN115294441B (zh) 一种由注意力融合三特征的机器人场景识别与解析方法
CN114882578B (zh) 一种多域对抗学习的小样本条件下复合表情识别方法
Tang et al. Prototypical variational autoencoder for 3d few-shot object detection
CN105160358A (zh) 一种图像分类方法及系统
WO2023015610A1 (zh) 基于人工智能的古代及近现代艺术品鉴定方法和系统
Reich et al. Visually grounded vqa by lattice-based retrieval

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant