CN110795585B - 基于生成对抗网络的零样本图像分类系统及其方法 - Google Patents

基于生成对抗网络的零样本图像分类系统及其方法 Download PDF

Info

Publication number
CN110795585B
CN110795585B CN201911099493.8A CN201911099493A CN110795585B CN 110795585 B CN110795585 B CN 110795585B CN 201911099493 A CN201911099493 A CN 201911099493A CN 110795585 B CN110795585 B CN 110795585B
Authority
CN
China
Prior art keywords
network
visual
data
image
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911099493.8A
Other languages
English (en)
Other versions
CN110795585A (zh
Inventor
廖祥文
肖永强
苏锦河
徐戈
陈开志
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fuzhou University
Original Assignee
Fuzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuzhou University filed Critical Fuzhou University
Priority to CN201911099493.8A priority Critical patent/CN110795585B/zh
Publication of CN110795585A publication Critical patent/CN110795585A/zh
Application granted granted Critical
Publication of CN110795585B publication Critical patent/CN110795585B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于生成对抗网络的零样本图像分类模型，包括生成对抗网络模块，用于获取视觉误差信息；视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；视觉‑属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。本发明能够有效的解决图像类别标签缺失问题。

Description

基于生成对抗网络的零样本图像分类系统及其方法
技术领域
本发明涉及零样本图像分类模型，具体涉及一种基于生成对抗网络的零样本图像分类系统及其方法。
背景技术
当前，在进行图像分类的过程中，如若想准确对图像进行分类则需要告知模型每个类别的图像标签。然而，图像类别数往往非常大，而且有可能不定时增加新的类别，如果每次都采用人工去标注每个类别标签，那么工作量将会极其巨大。在这过程中，有些类别也只有少量或者没有训练样本标签，而整个类别没有训练标签的属于零样本，这样的零样本采用传统的机器学习方法构造分类器是无法奏效的。零样本学习图像分类目的是为了解决整个类别标签缺失问题，对训练图像数据没有见过的类别进行分类。
当前，零样本图像分类思想和迁移学习是一样的，通过训练已有的视觉类别信息迁移到新图像类别，并实现对其分类。人类能够通过学习已见过的视觉信息与语义信息，让这些建立联系，通过这样的联系去判别新图像类别，使得具备识别未见过图像类别的能力。假设要教会一名儿童可以识别出一匹斑马但从来没有认识过斑马，而当他被告诉说马与斑马外形非常相似，颜色有点像企鹅一样黑白色，外表条纹有点像老虎一样黑白相间的才是斑马。鉴于这名儿童已经学习过马的视觉信息，于是，在这名儿童再看马和斑马的时候，就可能准确辨认出哪些是斑马哪些是马。在零样本学习图像分类中，未知的图像类别并没有已知的原图像训练样本，但可以通过对已知图像类别相关知识的学习，然后迁移到未知的图像类别当中，从而对未知的图像类别样本进行结果预测。
当前，零样本图像分类越来越受到研究者的关注，通过研究图像分类的相关工作可以发现，在随着互联网的快速发展，图片数据大量增加与传播下，借助计算机快速给定分类标签的需求也随之增加，一个重要的问题的就是如何有效的解决图像类别标签缺失问题。目前较为前沿的方法大都对见过的源数据进行训练，然后将训练结果泛化到未见过的类别。区分目标数据中见过的类别和未见过的类别仅仅利用的是属性语义的指导，并没有用到视觉信息来辨别。
发明内容
有鉴于此，本发明的目的在于提供一种基于生成对抗网络的零样本图像分类模型及其方法，能够有效的解决图像类别标签缺失问题。
为实现上述目的，本发明采用如下技术方案：
一种基于生成对抗网络的零样本图像分类模型，包括
生成对抗网络模块，用于获取视觉误差信息；
视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；
属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；
视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；
得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。
进一步的，所述所述视觉特征网络采用ResNet101。
进一步的，所述属性语义转换网络用于产生所有类别的属性特征表征。
进一步的，所述视觉-属性语义衔接网络采用完全拼接方式，将有标签数据中每一种图像类别视觉特征与所有有标签数据类别的属性语义特征拼接，将无标签数据中每一种图像类别视觉特征与所有无标签数据类别的属性语义特征拼接。
进一步的，所述模型的损失函数的优化分为生成器LG和判别器LD表示为：
Figure GDA0003656127520000031
其中，ωb、ωc、ωd和ωe是调节各损失的参数；
Lb为深度视觉向量间的误差优化函数：
Figure GDA0003656127520000032
Lc为差距损失函数：
Figure GDA0003656127520000033
Ld为特征匹配误差损失函数：
Figure GDA0003656127520000034
Le为二进制交叉熵损失函数：
Figure GDA0003656127520000035
其中y∈{0，1}，“1”表示优化判断是源数据x而“0”表示判断为重构数据
Figure GDA0003656127520000036
一种基于生成对抗网络的零样本图像分类方法，包括以下步骤：
步骤S1:将全量数据分为源数据和目标数据；
步骤S2:将源数据集和目标数据集输入视觉特征网络，将原始图像映射到视觉特征空间,得到图像视觉特征向量；
步骤S3:根据得到的图像视觉特征向量，利用生成对抗网络获取视觉误差信息；
步骤S4:将原始图像的低维属性语义通过语义转换网络映射到高维，得到语义特征向量；
步骤S5:根据得到的图像视觉特征向量和语义特征向量，利用视觉-属性语义衔接网络完成融合，得到拼接结果；
步骤S6:根据拼接结果和视觉误差信息，通过得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。
进一步的，所述生成对抗网络包括视觉特征网络，生成网络GE(x)和GD(z)，判别网络
Figure GDA0003656127520000041
和重构编码网络
Figure GDA0003656127520000042
(1)视觉特征网络，采用深度残差网络，去掉最后的分类层和池化层，提取到深度特征图；
(2)生成网络由编码器GE(x)和解码器GD(z)构成，对于送入深度特征图数据x经过编码器GE(x)得到深度视觉向量z，z经过解码器GD(z)得到x的重构数据
Figure GDA0003656127520000043
(3)判别网络
Figure GDA0003656127520000044
网络与编码器GE(x)相同，对原始图像x判为真，重构图像
Figure GDA0003656127520000045
判为假，不断优化重构数据
Figure GDA0003656127520000046
与原数据x的差距，直至满足预设要求；
(4)重构编码网络
Figure GDA0003656127520000047
对重构图像
Figure GDA0003656127520000048
再编码，由编码器
Figure GDA0003656127520000049
得到重构图像编码的深度视觉向量
Figure GDA00036561275200000410
使用Lb可以不断缩小深度视觉向量z与
Figure GDA00036561275200000411
的差距，直至满足预设要求。
本发明与现有技术相比具有以下有益效果：
1、本发明生成器网络使得模型能够将输入图像映射到较低维度的矢量，该较低维度矢量用于重建所生成的输出图像；然后，在训练期间最小化这些图像与深度视觉向量之间的距离有助于学习正常样本的数据分布。
2、本发明利用了有标签无数也利用了无标签数据，能够有效缓解强偏问题，同时也能够提升模型区分目标数据中已见过的类别和未见过的类别。
附图说明
图1是本发明一实施例中分类模型原理图；
图2是本发明一实施例中视觉-属性语义嵌入网络；
图3是本发明一实施例中生成对抗网络架构。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
请参照图1，本发明提供一种基于生成对抗网络的零样本图像分类模型，包括
生成对抗网络模块，用于获取视觉误差信息；
视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；
属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；
视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；
得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。
在本实施例中，模块均采用双层非线性形式，都是可微分的，包括卷积层，全连接层，ReLU层和Softmax层。
在本实施例中，全量数据所属领域分别是鸟类与动物类的，每一类的图像数据相对均衡，数据划分比例也基本均衡，具体见表1和表2。
Caltech-UCSD-Birds-200-2011(CUB)数据集
全部为鸟类的图像，总共200个类，其中150类为源数据(训练集)，50类为目标数据(测试集)，每一个类别的属性语义特征维度为312，共有11788张图片，划分情况见表1所示。
表1 CUB数据集划分情况
Figure GDA0003656127520000061
(2)Animal with Attributes(AwA)数据集
给出了50个类别动物的图片，其中的40个类别数据作为训练集，而另外10个类别数据作为测试集。每一个类别的属性语义特征维度为85，总共有30475张图片。前者数据集为AwA1，AwA1存在图像版权问题，现在不能够获取这个原图像数据集，作者便收集给出了AwA2，数据类别和属性语义与AwA1相类似，总共37322张图片，本实施例中使用AwA2数据集，划分情况见表2所示。
表2 AwA2数据集划分情况
Figure GDA0003656127520000062
本实施例中，评价指标具体包括：
ZSL：只评估在未见过的类别下的正确率T1；
GZSL(ACCSeen，ACCUnseen)：分别评估在全集类别下预测见过与未见过类别的正确率。
调和指标H值：
H＝(2×ACCseen×ACCunseen)×100％/(ACCseen+ACCunseen)
在本实施例中，每个类别的标签进行训练图像，ZSL区分两种类别：源数据和目标数据，标记图像仅适用于来源类别。为了ZSL有效辨别目标类别，ZSL设定源类和目标类别共享一个共同的语义融合空间可以映射图像和类名，则来自新目标类别的图像可以通过在共享空间中自动搜索最近邻居。
参考图2，在本实施例中，视觉-属性嵌入网络由属性语义转换网络和视觉-属性语义衔接子网络构成，视觉-属性语义衔接子网络将高维属性语义特征嵌入到视觉特征，做一个完全拼接。由于不同的数据集的属性语义特征维度不同且较低，所以需要引入属性语义转换转换网络，实现特征从低维空间映射到高维空间，平衡属性语义特征影响程度与视觉特征的影响程度，该子网络采用了双层的线性激活层。属性语义转换网络用于产生所有类别的属性特征表征。在训练阶段，一路是对源数据见过的类别数Ns的属性语义特征映射到高维，另外一路是对目标数据已见过的和未见过的总类别数Ns+t的属性语义特征映射到高维，规定与DNN视觉特征的维度数相同。当确定要输入训练的类别属性特征N×f2(f1和f2表示特征维度)后将其送入属性语义转换网络，特征映射到N×f2'，再使用重复(Repeat)产生和图像表征一样的批大小b，即张量维度变为b×N×f2'，通过特征拼接(Featureconcatenation)操作完全拼接视觉-属性语义特征输出张量维度b×N×2f，最后送入视觉-属性语义衔接网络，视觉-属性语义衔接网络也同样使用了两层的线性激活层。对于送入的源数据，最后计算的是分类得分，而送入的目标数据最后计算的是奖励。
在本实施例中，得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果。
参考图3，在本实施例中，生成对抗网络由四部分组成：(1)视觉特征网络，(2)生成网络GE(x)和GD(z)，(3)判别网络
Figure GDA0003656127520000081
(4)重构编码网络
Figure GDA0003656127520000082
(1)第一部分是视觉特征网络，采用深度残差网络，去掉最后的分类层和池化层，最后提取到深度特征图(feature map)。
(2)第二部分生成网络由编码器GE(x)和解码器GD(z)构成，对于送入深度特征图数据x经过编码器GE(x)得到深度视觉向量z，z经过解码器GD(z)得到x的重构数据
Figure GDA0003656127520000083
(3)第三部分是判别网络
Figure GDA0003656127520000084
网络与编码器GE(x)相同，对原始图像x判为真，重构图像
Figure GDA0003656127520000085
判为假，不断优化重构数据
Figure GDA0003656127520000086
与原数据x的差距，理想情况下重构数据与原数据是完全一样的。
(4)第四部分是重构编码网络
Figure GDA0003656127520000087
对重构图像
Figure GDA0003656127520000088
再编码，由编码器
Figure GDA0003656127520000089
得到重构图像编码的深度视觉向量
Figure GDA00036561275200000810
使用Lb可以不断缩小深度视觉向量z与
Figure GDA0003656127520000091
的差距，理想情况下它们是完全一样的。
在训练阶段，整个模型均是通过已见过类别的正常样本做训练。也就是编码器GE(x)、解码器GD(z)和重构编码器
Figure GDA0003656127520000092
都适用于正常样本。在测试阶段，当模型接受到一个异常样本时，模型的编码器-解码器-编码器不适用于异常样本，所以得到的编码后深度视觉向量z和重构编码器得到的深度视觉向量
Figure GDA0003656127520000093
的差距比较大。这时候规定这个差距是一个分值，通过设定阈值
Figure GDA0003656127520000094
一旦深度视觉向量之间的均方误差大于设定阈值
Figure GDA0003656127520000095
模型就认定送入的样本x为未见过类别的异常样本。对于目标测试数据，经过源数据训练，根据阈值
Figure GDA0003656127520000096
目标数据可以正确被区分已见过的类别和未见过的类别。
本实施例，利用生成对抗提升零样本图像分类方法将生成对抗网络实现异常检测结果的视觉误差信息融入到零样本图像分类当中，通过实验分别进行了在AwA2数据集和CUB数据集上对比于基准实验效果。如表3所示，在零样本图像分类实验中，“FC_train_ZSL”是使用了语义信息的效果，“GAN_enhance_ZSL”表示使用了无标签数据，“Baseline”表示未使用无标签数据，它们分别有两组数据。第一组，实验微调阈值
Figure GDA0003656127520000098
分成两段，确定AwA2数据集的具体值是0.33，确定CUB数据集的具体值是0.11。第二组，视觉误差分成三段，确定AwA2数据集视觉误差三段区间为：[0,0.27]、(0.27,0.40]、(0.40,-]，确定CUB数据集视觉误差三段区间为：[0,0.10]、(0.10,0.13]、(0.13,-]。
表3与基准实验对比效果
Figure GDA0003656127520000097
Figure GDA0003656127520000101
表4与基准实验对比效果
Figure GDA0003656127520000102
如表3和表4所示，无论是否使用无标签数据，与基准实验相比，融入视觉误差信息后，实验效果明显有大幅度提升，说明使用生成对抗网络不仅有效解决神经网络辨别已见过的类别和未见过的类别，还能缩小零样本图像分类在广义下预测类别空间，有效防止预测发生偏置问题。
对于使用了无标签数据的实验，零样本图像分类使用全量数据训练，按上一章调整参数，该实验进一步提升了效果。在AwA2数据集上，对比FC_train_ZSL网络，融入视觉误差信息后ACCseen和ACCunseen指标均有所提升。在保证ACCseen提升2.9％情况下，ACCunseen提升22.4％，调和指标H提升18.1％；在CUB数据集上，在保证ACCseen提升6.5％情况下，ACCunseen提升6.0％，调和指标H提升了6.3％。
对于未使用无标签数据的实验，第三组实验分成三段的视觉误差显然优于第二组实验分成两段的视觉误差，这与充分使用预测类别空间相一致。在AwA2数据集上，同样对比未使用无标签数据的RN网络，在保证ACCseen提升1.1％情况下ACCunseen大幅度提升34.9％，调和指标H提升31.7％；而对比使用了无标签数据的CS网络，在ACCseen和ACCunseen均有大幅度提升，分别提升19.6％和16.9％，调和指标H提升19.8％。在CUB数据集上，对比未使用无标签数据的RN网络，在保证ACCseen提升2.7％情况下ACCunseen大幅度提升11.1％，调和指标H提升9.2％；而对比使用了无标签数据的CS网络，在ACCseen和ACCunseen均有提升，分别提升14.7％和1.9％，调和指标H提升7.5％。
综上所述，与基准方法相比，本实施例提出的方法在评价指标中取得了较好的结果，由此验证了本章方法融入视觉误差信息的有效性。另外，模型具有较好的独立性，零样本图像分类模型与生成对抗模型是分开训练的。具有较高的实际应用需求，在阈值的选择上，可根据实际需要调整，比如如果测试目标数据中预计已见过的类别过多于未见过的类别，则可将其阈值略调小些，反之调大。对比AwA2与CUB结果，AwA2的提升比CUB提升多很多，值得注意的原因是数据集本身的区别，动物类的形态迥异，而鸟类形态大都相似，所以使用半监督生成对抗网络区别见过的类别和未见过的类别对类别差异大的效果好。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (5)

1.一种基于生成对抗网络的零样本图像分类系统，其特征在于，包括
生成对抗网络模块，用于获取视觉误差信息；
视觉特征提取网络处理模块，用于得到图像一维视觉特征向量；
属性语义转换网络模块，用两层的线性激活层将低维的属性语义向量映射到与视觉特征向量维度相同的高维特征向量；
视觉-属性语义衔接网络，实现视觉特征向量与属性语义特征向量的融合；
得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果；
所述系统的损失函数的优化分为生成器LG和判别器LD表示为：
Figure FDA0003656127510000011
其中，ωb、ωc、ωd和ωe是调节各损失的参数；
Lb为深度视觉向量间的误差优化函数：
Figure FDA0003656127510000012
Lc为差距损失函数：
Figure FDA0003656127510000013
Ld为特征匹配误差损失函数：
Figure FDA0003656127510000014
Le为二进制交叉熵损失函数：
Figure FDA0003656127510000021
其中y∈{0，1}，“1”表示优化判断是源数据x而“0”表示判断为重构数据
Figure FDA0003656127510000022
2.根据权利要求1所述的基于生成对抗网络的零样本图像分类系统，其特征在于：所述视觉特征提取网络采用ResNet101。
3.根据权利要求1所述的基于生成对抗网络的零样本图像分类系统，其特征在于：所述属性语义转换网络用于产生所有类别的属性特征表征。
4.根据权利要求1所述的基于生成对抗网络的零样本图像分类系统，其特征在于：所述视觉-属性语义衔接网络采用完全拼接方式，将有标签数据中每一种图像类别视觉特征与所有有标签数据类别的属性语义特征拼接，将无标签数据中每一种图像类别视觉特征与所有无标签数据类别的属性语义特征拼接。
5.一种基于生成对抗网络的零样本图像分类方法，其特征在于，包括以下步骤：
步骤S1:将全量数据分为源数据和目标数据；
步骤S2:将源数据集和目标数据集输入视觉特征网络，将原始图像映射到视觉特征空间,得到图像视觉特征向量；
步骤S3:根据得到的图像视觉特征向量，利用生成对抗网络获取视觉误差信息；
步骤S4:将原始图像的低维属性语义通过语义转换网络映射到高维，得到语义特征向量；
步骤S5:根据得到的图像视觉特征向量和语义特征向量，利用视觉-属性语义衔接网络完成融合，得到拼接结果；
步骤S6:根据拼接结果和视觉误差信息，通过得分分类结果和奖励输出模块，采用交叉熵损失对已见过带标签的类别进行分类，而奖励输出是对未见过的无标签数据进行惩罚，以及惩罚无标签数据中见过的类别和未见过的类别最有可能性的预测结果；
所述生成对抗网络包括视觉特征网络，生成网络GE(x)和GD(z)，判别网络
Figure FDA0003656127510000031
和重构编码网络
Figure FDA0003656127510000032
(1)视觉特征网络，采用深度残差网络，去掉最后的分类层和池化层，提取到深度特征图；
(2)生成网络由编码器GE(x)和解码器GD(z)构成，对于送入深度特征图数据x经过编码器GE(x)得到深度视觉向量z，z经过解码器GD(z)得到x的重构数据
Figure FDA0003656127510000033
(3)判别网络
Figure FDA0003656127510000034
网络与编码器GE(x)相同，对原始图像x判为真，重构图像
Figure FDA0003656127510000035
判为假，不断优化重构数据
Figure FDA0003656127510000036
与原数据x的差距，直至满足预设要求；
(4)重构编码网络
Figure FDA0003656127510000037
对重构图像
Figure FDA0003656127510000038
再编码，由编码器
Figure FDA0003656127510000039
得到重构图像编码的深度视觉向量
Figure FDA00036561275100000310
使用Lb可以不断缩小深度视觉向量z与
Figure FDA00036561275100000311
的差距，直至满足预设要求。
CN201911099493.8A 2019-11-12 2019-11-12 基于生成对抗网络的零样本图像分类系统及其方法 Active CN110795585B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911099493.8A CN110795585B (zh) 2019-11-12 2019-11-12 基于生成对抗网络的零样本图像分类系统及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911099493.8A CN110795585B (zh) 2019-11-12 2019-11-12 基于生成对抗网络的零样本图像分类系统及其方法

Publications (2)

Publication Number Publication Date
CN110795585A CN110795585A (zh) 2020-02-14
CN110795585B true CN110795585B (zh) 2022-08-09

Family

ID=69444101

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911099493.8A Active CN110795585B (zh) 2019-11-12 2019-11-12 基于生成对抗网络的零样本图像分类系统及其方法

Country Status (1)

Country Link
CN (1) CN110795585B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476294B (zh) * 2020-04-07 2022-03-22 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN113837351B (zh) * 2020-06-08 2024-04-23 爱思开海力士有限公司 新异检测器
CN113191381B (zh) * 2020-12-04 2022-10-11 云南大学 一种基于交叉知识的图像零次分类模型及其分类方法
CN112529772B (zh) * 2020-12-18 2024-05-28 深圳龙岗智能视听研究院 一种零样本设置下的无监督图像转换方法
CN112733954A (zh) * 2021-01-20 2021-04-30 湖南大学 一种基于生成对抗网络的异常流量检测方法
CN113239924B (zh) * 2021-05-21 2022-04-26 上海交通大学 一种基于迁移学习的弱监督目标检测方法及系统
CN113256629B (zh) * 2021-07-05 2022-06-24 之江实验室 一种图像标定错误检测方法及装置
CN114627312B (zh) * 2022-05-17 2022-09-06 中国科学技术大学 零样本图像分类方法、系统、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875818A (zh) * 2018-06-06 2018-11-23 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法
CN109492662A (zh) * 2018-09-27 2019-03-19 天津大学 一种基于对抗自编码器模型的零样本分类方法
CN110097095A (zh) * 2019-04-15 2019-08-06 天津大学 一种基于多视图生成对抗网络的零样本分类方法
CN110334781A (zh) * 2019-06-10 2019-10-15 大连理工大学 一种基于Res-Gan的零样本学习算法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10937540B2 (en) * 2017-12-21 2021-03-02 International Business Machines Coporation Medical image classification based on a generative adversarial network trained discriminator

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108875818A (zh) * 2018-06-06 2018-11-23 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法
CN109492662A (zh) * 2018-09-27 2019-03-19 天津大学 一种基于对抗自编码器模型的零样本分类方法
CN110097095A (zh) * 2019-04-15 2019-08-06 天津大学 一种基于多视图生成对抗网络的零样本分类方法
CN110334781A (zh) * 2019-06-10 2019-10-15 大连理工大学 一种基于Res-Gan的零样本学习算法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Feature Generating Networks for Zero-Shot Learning";Yongqin Xian 等;《2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20181217;全文 *
"语义自编码结合关系网络的零样本图像识别算法";林克正 等;《模式识别与人工智能》;20190315;第32卷(第3期);全文 *

Also Published As

Publication number Publication date
CN110795585A (zh) 2020-02-14

Similar Documents

Publication Publication Date Title
CN110795585B (zh) 基于生成对抗网络的零样本图像分类系统及其方法
CN110826638B (zh) 基于重复注意力网络的零样本图像分类模型及其方法
US11687781B2 (en) Image classification and labeling
CN107256221B (zh) 基于多特征融合的视频描述方法
CN113139591B (zh) 一种基于增强多模态对齐的广义零样本图像分类方法
Endres et al. Category-independent object proposals with diverse ranking
CN111428071B (zh) 一种基于多模态特征合成的零样本跨模态检索方法
CN110826639B (zh) 一种利用全量数据训练零样本图像分类方法
CN109783666A (zh) 一种基于迭代精细化的图像场景图谱生成方法
CN110647907B (zh) 利用多层分类和字典学习的多标签图像分类算法
CN112131347A (zh) 一种基于多模态融合的假新闻检测方法
KR102563550B1 (ko) 읽기 전용 프롬프트 학습 방법 및 장치
CN110188827A (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN114821196A (zh) 零样本图像识别方法及其识别装置、介质与计算机终端
CN110751191A (zh) 一种图像的分类方法及系统
Li et al. Few-shot contrastive learning for image classification and its application to insulator identification
CN117690098B (zh) 一种基于动态图卷积的开放驾驶场景下多标签识别方法
CN113920379A (zh) 一种基于知识辅助的零样本图像分类方法
CN116630726B (zh) 基于多模态的鸟类分类方法及系统
Sooch et al. Emotion Classification and Facial Key point detection using AI
CN116843175A (zh) 一种合同条款风险检查方法、系统、设备和存储介质
Guo et al. Udtiri: An open-source road pothole detection benchmark suite
CN114758283A (zh) 一种视频标签分类方法、系统及计算机可读存储介质
Sun et al. Video-based parent-child relationship prediction
CN114239751A (zh) 一种基于多解码器的数据标注错误检测方法与装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant