CN113378959B - 一种基于语义纠错下生成对抗网络的零样本学习方法 - Google Patents

一种基于语义纠错下生成对抗网络的零样本学习方法 Download PDF

Info

Publication number
CN113378959B
CN113378959B CN202110701351.5A CN202110701351A CN113378959B CN 113378959 B CN113378959 B CN 113378959B CN 202110701351 A CN202110701351 A CN 202110701351A CN 113378959 B CN113378959 B CN 113378959B
Authority
CN
China
Prior art keywords
semantic
features
visual
loss
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110701351.5A
Other languages
English (en)
Other versions
CN113378959A (zh
Inventor
潘杰
李赛男
邹筱瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Mining and Technology CUMT
Original Assignee
China University of Mining and Technology CUMT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Mining and Technology CUMT filed Critical China University of Mining and Technology CUMT
Priority to CN202110701351.5A priority Critical patent/CN113378959B/zh
Publication of CN113378959A publication Critical patent/CN113378959A/zh
Application granted granted Critical
Publication of CN113378959B publication Critical patent/CN113378959B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于语义纠错下生成对抗网络的零样本学习方法，将语义纠错网络(SR)和WGAN结合起来，用修正后的语义特征和原始语义特征以及随机噪声去生成更高质量的特征，进而实现零样本学习分类问题。首先，预先训练一个语义纠错网络(SR)，对语义空间进行带有语义损失和结构损失的修正。然后，结合流行的生成模型WGAN，基于原始语义特征和修正后的语义特征以及随机噪声为不可见类生成视觉特征，模型无缝地将一个WGAN与一个分类损失结合，能够生成有区别性的CNN特征来训练softmax分类器。实验结果表明，该方法在四个基准数据集上的性能都得到了一定的提升，且优于现有一些方法的研究水平。

Description

一种基于语义纠错下生成对抗网络的零样本学习方法
技术领域
本发明属于深度学习领域，用于处理图像分类问题，特别涉及了一种零样本图像分类方法。
背景技术
随着图像处理和计算机视觉的快速发展，深度学习以其强大的数据表示能力获得了极大的普及。然而，训练深层神经网络需要大量的注释数据，获取这些数据就需要耗费昂贵的人力和物力。此外，由于不断观察到新的数据类别，许多类别缺乏足够的训练数据。针对上述问题，零样本学习(zero-shot learning,ZSL)提供了一个实用的解决方案。目标识别的经典模式将图像分类为只有在训练阶段才会看到的类别，而零样本学习 (zero-shotlearning,ZSL)的目标是探索不可见的图像类别，与传统的监督学习不同，ZSL 考虑了一种极端情况，即在训练期间测试数据完全不可用，即训练(可见)类和测试(不可见)类是完全没有交集的。通过建立可见类和不可见类之间的关系，已经进行了许多尝试来解决ZSL问题。现有的零样本学习方法可以大致分为三类：基于属性预测的方法，基于嵌入空间的方法，基于样本生成的方法。
基于属性预测的方法有直接属性预测(DirectAttribute Prediction,DAP)以及间接属性预测(IndirectAttribute Prediction,IAP)等。第一阶段预测输入图像的属性，然后通过搜索获得最相似属性集的类来推断其类标签。DAP首先通过学习概率属性分类器对图像的每个属性进行后验估计。然后，它计算类的后验值，并使用映射预测类标签。IAP则相反，首先预测可见类的类的后验值，然后使用每个类的概率计算图像的属性后验。
基于嵌入空间的很多方法都是研究学习从图像特征空间到语义空间的映射，然后采用最近邻分类器将数据分配到相应的类。像属性标签嵌入(Attribute LabelEmbedding， ALE)、语义自动编码器(semantic autoencoder，SAE)、深度视觉语义嵌入(Deep Visual Semantic Embedding，DeVISE)、结构联合嵌入(Structured JointEmbedding，SJE)则是使用双线性兼容函数将视觉信息和辅助信息关联起来。ALE最先利用排序损失学习了图像和属性空间的双线性兼容函数，使用加权近似排序目标进行零样本学习。DeVISE学习了图像和语义空间之间的线性映射，使用高效的排名损失公式，并在大规模ImageNet 数据集上进行了评估。基于对排序损失的改进，SAE同样也学习了从图像嵌入空间到类别嵌入空间的线性投影，但进一步限制了投影必须能够重构原始图像嵌入。SJE给出了排名第一的全部权重，灵感来自于结构化支持向量机SVM。在SJE的双线性兼容模型的基础上，潜在嵌入(Latent Embeddings，LatEm)将原模型扩展为分段线性模型，构造了分段性线性兼容性，学习数据的不同视觉特征的多个线性映射W。交叉迁移(Cross ModalTransfer，CMT)不需要学习多个映射，使用一个带有两个隐含层的神经网络学习从图像特征空间到word2vec空间的非线性投影，需要学习的两个映射就是两层神经网络的权重。语义相似度嵌入(Semantic Similarity Embedding，SSE)、语义嵌入凸组合(ConvexCombination of Semantic Embeddings，CONSE)和综合分类器(SynthesizedClassifiers， SYNC)都是混合模型，将图像和语义类嵌入作为可见类比例的混合。
基于样本生成的方法能够生成与真实特征分布相似的特征，可以很好地替代缺失的不可见类的特征，有效地缓解了领域漂移问题。最近许多生成模型，如生成对抗网络((generative adversarial networks,GANs)和变分自编码器(Variationalautoencoder,VAE)，也被提出用于各种任务(如图像风格迁移，跨模态检索，领域适应和迁移学习)。
语义嵌入(语义属性和词向量)作为视觉空间和类空间之间的桥梁，已被广泛使用。然而，相似类的人为定义的属性高度重叠，容易出现故障预测。而且，这些方法常常受到“领域漂移”问题的限制。这将导致传统的ZSL任务对不可见类的分类性能较差，更不用说更具挑战性的广义ZSL(GZSL)任务。受生成对抗网络生成能力的启发，利用GANs 从语义特征和噪声样本中生成合成的视觉特征，通过为看不见的类生成缺失的特征，将 ZSL转换为一个传统的分类问题，并且可以使用一些经典的方法，如最近邻。
发明内容
发明目的：针对上述现有技术，提出一种基于语义纠错下生成对抗网络的零样本学习方法，将语义纠错网络(SR)和WGAN结合起来，用修正后的语义特征和原始语义特征以及随机噪声去生成更高质量的特征。
技术方案：一种基于语义纠错下生成对抗网络的零样本学习方法，包括：
步骤1：在语义纠错网络SR中，利用参照视觉空间去修正原始语义空间，将可见类的原始语义特征和对应类别的视觉特征送入纠错网络里，对视觉特征和原始语义特征做归一化处理，采用ResNet101提取好的视觉特征去计算视觉中心向量pc；
Figure BDA0003130083930000031
其中，Nc是类别c的实例数，
Figure BDA0003130083930000032
是类别c的第i个视觉特征；
步骤2：建立语义纠错网络模型，该网络由两层全连接层构成，输入层由sigmoid激活函数激活，输出层由LeakyReLU激活函数激活；
步骤3：首先，获取待分析数据，导入数据集的视觉特征矩阵、原始语义特征矩阵、标签；由于数据集里的视觉特征矩阵里的样本不同类别的特征存放的顺序是打乱的，每一类样本的个数也是未知的；
步骤4：先从标签列表中计算每一类样本的个数，再用标签的位置索引去提取视觉特征矩阵里每一类别样本的特征，再去计算相应每一类别的样本的特征均值，最后得到一个视觉中心向量矩阵P；
步骤5：利用余弦相似度函数δ来计算视觉中心向量对与语义特征之间的相似度；
步骤6：先计算视觉中心向量两两之间的余弦相似度δ(pi,pj)，直接采用余弦矩阵函数计算视觉中心向量矩阵P的余弦相似度；
步骤7：再计算修正后语义特征两两之间的余弦相似度δ(R(si),R(sj))，采用余弦矩阵函数计算纠正后的语义特征矩阵的余弦相似度；
步骤8：由视觉中心向量矩阵的余弦相似度减去纠正后的语义特征矩阵的余弦相似度再求L2范数，从而得到一个修正后的语义特征与视觉特征之间的直接距离的结构损失；
步骤9：计算原始语义特征与修正后语义特征之差，对矩阵再求均值，再计算L2 范数，从而得到一个衡量修正前后语义之间的信息损耗的语义损失；
步骤10：构造损失函数：将结构损失和语义损失加起来构成修正网络的总损失LR；
Figure 3
其中|cs|是可见类别的数量，s是原始语义特征，R(s)是修正之后的语义特征，δ是余弦相似度函数，
Figure BDA0003130083930000034
是语义特征s的期望均值，公式中的第一项是表示修正后的语义特征与视觉特征之间的直接距离的结构损失，第二项是语义损失，衡量修正前后语义之间的信息损耗；
步骤11：利用梯度下降法对总损失LR进行优化，纠错网络训练结束之后，固定好纠错网络的参数；
步骤12：训练softmax分类器来学习分类器，即使用生成的特征允许在真实的可视类数据和生成的不可见类数据的组合训练；其中，使用标准的softmax分类器最小化负对数似然损失：
Figure BDA0003130083930000041
其中，
Figure BDA0003130083930000042
是全连接层的权重矩阵，它将图像特征映射成n个类别的非正规概率，n表示类别的数目，v是视觉特征，y是类别标签，Τ是类别总数目；P(y|v；θ)表示图像特征被预测为真实标签的概率；
Figure BDA0003130083930000043
其中，
Figure BDA0003130083930000044
是第i个类别的权重，
Figure BDA0003130083930000045
表示预测类别y的权重，P(y|x；θ)计算的是样本被预测为每一个类别的概率；最终的分类预测函数为：
Figure BDA0003130083930000046
输出概率值最大的类别作为预测类别；在常规零样本学习ZSL中，测试仅仅用到不可见类别，y∈yu，y表示测试类别标签，yu表示不可见类别的标签集合；在广义零样本学习GZSL中，测试时可见类和不可见类别都被使用，y yu ys，ys表示可见类别的标签集合；softmax分类器是在可见类的真实视觉特征上预训练好的；
步骤13：训练生成对抗网络，采样若干原始语义特征s，修正之后的语义特征R(s)，随机噪声z送入生成对抗网络的生成器G里去生成特征，固定生成器G，训练判别器D；
步骤14：训练好判别器D之后，再训练生成器G；采样一小批量的原始语义特征s，纠错后的语义特征R(s)，随机噪声z，固定判别器D，训练生成器G；
Figure BDA0003130083930000047
其中，LWGAN表示生成对抗网络的损失，D(v,s)表示将视觉特征v和原始语义特征s送到判别器网络D所产生的结果，
Figure BDA0003130083930000051
表示将合成视觉特
Figure BDA0003130083930000052
征和原始语义特征s送进判别器网络D所产生的结果，
Figure BDA0003130083930000053
表示
Figure BDA0003130083930000054
的梯度，
Figure BDA0003130083930000055
表示
Figure BDA0003130083930000056
和原始语义特征s送进判别器网络D所产生的结果，
Figure BDA0003130083930000057
表示由生成器G合成的特征；
Figure BDA0003130083930000058
其中α∈U(0,1)，U(0,1)表示区间(0,1)；λ表示梯度惩罚系数，E表示期望均值；最终优化目标是：
Figure BDA0003130083930000059
其中，β是一个超参数表示分类损失的权重，公式第一项是WGAN自身损失LWGAN，第二项中
Figure BDA00031300839300000510
表示分类损失，其中
Figure BDA00031300839300000511
表示
Figure BDA00031300839300000512
被预测为真实标签的概率，
Figure BDA00031300839300000513
表示合成视觉特征
Figure BDA00031300839300000514
的期望均值，这个条件概率是由一个参数化为θ的线性softmax分类器计算，改分类器由可见类的实际特征进行预训练；利用上述公式更新G；
步骤15：训练完成后，输出类别标签，计算分类准确率。
有益效果：本发明将语义纠错网络(SR)和WGAN结合起来，用修正后的语义特征和原始语义特征以及随机噪声去生成更高质量的特征，进而实现零样本学习分类问题。首先，预先训练一个语义纠错网络(SR)，对语义空间进行带有语义损失和结构损失的修正。然后，结合流行的生成模型WGAN，基于原始语义特征和修正后的语义特征以及随机噪声为不可见类生成视觉特征，模型无缝地将一个WGAN与一个分类损失结合，能够生成有区别性的CNN特征来训练softmax分类器。实验结果表明，该方法在四个基准数据集上的性能都得到了一定的提升，且优于现有一些方法的研究水平。
附图说明
图1是语义纠错网络结构图；
图2是语义纠错生成对抗网络结构图；
图3是本发明方法与三种现有方法的收敛曲线对比图。
具体实施方式
下面结合附图对本发明做更进一步的解释。
如图1所示，本发明设计了语义纠错网络(SR)，对视觉空间和语义空间之间的类结构进行纠错处理。SR由一个由激活的多层感知器(MLP)组成，输入层由Leaky ReLU激活，输出层为Sigmoid激活。
步骤如下：
步骤1：首先，导入数据集的视觉特征矩阵、原始语义特征矩阵、标签，由于数据集里的视觉特征矩阵里的样本不同类别的特征存放的顺序是打乱的，每一类样本的个数也是未知的。
步骤2：设置学习率lr。
步骤3：构建纠正网络的网络模型结构，该网络由两层全连接层构成，输入层由Sigmoid激活函数激活，输出层由Leaky ReLU激活函数激活。
步骤4：对视觉特征和原始语义特征做归一化处理，将原始语义特征送进修正网络里，采用ResNet101提取好的视觉特征去计算视觉中心向量pc。
Figure BDA0003130083930000061
其中，Nc是类别c的实例数，
Figure BDA0003130083930000062
是类别c的第i个视觉特征。
步骤5：先从标签列表中计算每一类样本的个数，再用标签的位置索引去提取视觉特征矩阵里每一类别样本的特征，再去计算相应每一类别的样本的特征均值，最后得到一个视觉中心向量矩阵P。
步骤6：利用余弦相似度函数δ来计算视觉中心向量对与语义特征之间的相似度。
步骤7：先计算视觉中心向量两两之间的余弦相似度δ(pi,pj)，直接采用余弦矩阵函数计算视觉中心向量矩阵P的余弦相似度。
步骤8：再计算修正后语义特征两两之间的余弦相似度δ(R(si),R(sj))，采用余弦矩阵函数计算纠正后的语义特征矩阵的余弦相似度。
步骤9：由视觉中心向量矩阵的余弦相似度减去纠正后的语义特征矩阵的余弦相似度再求L2范数，从而得到一个修正后的语义特征与视觉特征之间的直接距离的结构损失。
步骤10：计算原始语义特征与修正后语义特征之差，对矩阵再求均值，再计算L2范数，从而得到一个衡量修正前后语义之间的信息损耗的语义损失。
步骤11：构建损失函数：将上述的结构损失和语义损失加起来就构成了修正网络的总损失LR。
Figure 7
其中|cs|是可见类别的数量。s是原始语义特征，R(s)是修正之后的语义特征，
Figure BDA0003130083930000072
是原始语义特征s的期望均值，δ是余弦相似度函数，公式中的第一项是表示修正后的语义特征与视觉特征之间的直接距离的结构损失，第二项是语义损失，衡量修正前后语义之间的信息损耗。
步骤12：利用梯度下降法对步骤11的损失进行更新优化，当损失几乎不再下降，趋于稳定时，即纠错网络训练结束之后，固定好纠错网络的参数。
如图2所示，本发明设计的模型结合了生成对抗网络，有一个生成器G和一个判别器D，生成器有三种类型的输入，即原始语义特征s，修正语义特征R(s)和从正态分布中采样的随机向量z。生成器G和判别器D都是由MLP组成。生成器G由一个包含 4096个隐藏单元的三层隐藏层组成。它的输入层由LeakyReLU激活，它的输出层是由 ReLU激活。判别器D也是由一个包含4096个隐藏单元的三层隐藏层组成，它的输入层由LeakyReLU激活，输出层是线性函数。
(1)加载数据集，获取待分析数据，实验使用了四个数据集：Animals WithAttributes(AWA)，Caltech-UCSD-Birds 200-2011(CUB)和SUNAttribute(SUN)，AttributePascal andYahoo(aPY)。
(2)随机初始化生成器G和判别器D的权重W和偏置b，权重W的初始化范围在(0.0,0.02)，偏置b的初始化范围在(0.02,1.0)。
(3)定义样本，原始语义特征s，修正语义特征R(s)和从正态分布中采样的随机向量z，视觉特征v。
(4)定义合成特征，原始语义特征s，修正语义特征R(s)和从正态分布中采样的随机向量z作为生成器G的输入，生成器G的输出就是合成特征。
(5)为训练生成对抗网络设置优化器，采用Adam optimizer去优生成器G和判别器D，学习率lr，优化器中参数beta设置为0.999，beta为指数衰减率，控制权重分配 (动量与当前梯度)，通常取接近于1的值。
(6)定义生成对抗网络的梯度惩罚项：
Figure BDA0003130083930000081
其中,
Figure BDA0003130083930000082
表示
Figure BDA0003130083930000083
的梯度，
Figure BDA0003130083930000084
表示
Figure BDA0003130083930000085
和原始语义特征送s进判别器网络D所产生的结果；
Figure BDA0003130083930000086
表示由生成器G合成的特征；
Figure BDA0003130083930000087
其中α∈U(0,1)，U(0,1)表示区间(0,1)，λ是梯度惩罚系数,E表示
Figure BDA0003130083930000088
的期望均值。
(7)在可见类别上预先训练softmax分类器来学习分类器，即使用生成的特征允许在真实的可见类数据和生成的不可见类数据的组合训练。
(8)定义训练数据和测试数据，批次大小，迭代次数。设置相关参数：学习率 lr＝0.0005,beta1＝0.5,nepoch＝54,batchsize＝64。
(9)定义模型softmax分类器，对权重和偏置进行随机初始化。
(10)设置优化器，同样使用采用Adam optimizer，学习率lr，优化器中参数beta为指数衰减率，控制权重分配(动量与当前梯度)，通常取接近于1的值，设置beta 为0.999。
(11)构建损失函数：分类器的损失使用标准的softmax分类器的最小化负对数似然损失：
Figure BDA0003130083930000089
其中，
Figure BDA00031300839300000810
是全连接层的权重矩阵，它将图像特征映射成n个类别的非正规概率，dv表示视觉特征的维度，这里是2048维特征，n表示类别的数目；v是视觉特征， y是类别标签，Τ是类别总数目；P(y|v；θ)表示图像特征被预测为真实标签的概率。
Figure BDA00031300839300000811
其中，n是类别数目，
Figure BDA00031300839300000812
是第i个类别的权重，
Figure BDA00031300839300000813
表示预测类别y的权重；P(y|x；θ)计算的是样本被预测为每一个类别的概率。最终的分类预测函数为：
Figure BDA0003130083930000091
输出概率值最大的类别作为预测类别。在常规零样本学习ZSL中，测试仅仅用到不可见类别，y∈yu y表示测试类别标签，yu表示不可见类别的标签集合。在广义零样本学习GZSL中，测试时可见类和不可见类别都被使用，y yu ys,ys表示可见类别的标签集合；softmax分类器是在可见类的真实视觉特征上预训练好的。
(12)通过Adam优化器对步骤(11)的损失进行更新优化，直到损失几乎不再下降或在一个很小的范围内波动时。
(13)训练好分类器之后，在训练生成对抗网络的时候固定分类器，固定分类器的参数：学习率lr＝0.0005,beta1＝0.5,nepoch＝54,batchsize＝64，分类器的权重矩阵θ。
(14)训练生成对抗网络，首先训练判别器D，训练次数为五次。采样一小批量的原始语义特征s，纠错后的语义特征R(s)，随机噪声z送入生成对抗网络的生成器G里去生成特征，固定生成器G的参数,训练判别器D。
Figure BDA0003130083930000092
其中，LD表示判别器D损失，D(v,s)表示将视觉特征v和原始语义特征s送到判别器网络D所产生的结果，
Figure BDA0003130083930000093
表示将合成视觉特
Figure BDA0003130083930000094
征和原始语义特征s送进判别器网络D所产生的结果，
Figure BDA0003130083930000095
表示
Figure BDA0003130083930000096
的梯度，
Figure BDA0003130083930000097
表示
Figure BDA0003130083930000098
和原始语义特征s送进判别器网络 D所产生的结果。
Figure BDA0003130083930000099
表示由生成器合成的特征；
Figure BDA00031300839300000910
其中α∈U(0,1)，U(0,1)表示区间(0,1)；λ表示梯度惩罚系数，一般取值为10；E表示期望均值；通过LD更新判别器D。
(15)训练好判别器D之后，再训练生成器G。采样一小批量的原始语义特征s，纠错后的语义特征R(s)，随机噪声z，固定判别器D，训练生成器G。
Figure BDA00031300839300000911
LWGAN表示生成对抗网络的损失，D(v,s)表示将视觉特征v和原始语义特征s送到判别器网络D所产生的结果，
Figure BDA0003130083930000101
表示将合成视觉特
Figure BDA0003130083930000102
征和原始语义特征s送进判别器网络D所产生的结果，
Figure BDA0003130083930000103
表示
Figure BDA0003130083930000104
的梯度，
Figure BDA0003130083930000105
表示
Figure BDA0003130083930000106
和原始语义特征s送进判别器网络D所产生的结果，
Figure BDA0003130083930000107
表示由生成器G合成的特征；
Figure BDA0003130083930000108
其中α∈U(0,1)，U(0,1)表示区间(0,1)；λ表示梯度惩罚系数，E表示期望均值；最终优化目标是：
Figure BDA0003130083930000109
其中，这里β是一个超参数表示分类损失的权重，公式第一项就是WGAN自身损失LWGAN，第二项中
Figure BDA00031300839300001010
表示分类损失，其中
Figure BDA00031300839300001011
y 是合成视觉特征
Figure BDA00031300839300001012
的类别标签，
Figure BDA00031300839300001013
表示
Figure BDA00031300839300001014
被预测为真实标签的概率。这个条件概率是由一个参数化为θ的线性softmax分类器计算，该分类器由可见类的实际特征进行预训练。利用上述公式更新生成器G。
(16)网络训练完成之后，输出类别标签，得到分类准确率。
(17)实验准备：本发明方法采用四个标准数据集。本发明方法的实验是在AnimalsWith Attributes(AWA)，Caltech-UCSD-Birds 200-2011(CUB)和SUN Attribute(SUN)，Attribute Pascal andYahoo(aPY)四个数据集上进行的。CUB和SUN均为细粒度数据集。CUB包含了来自200种不同鸟类的11788张图片，标注了312个属性。属性Pascal和 Yahoo(APY)包含15339张图片，32个类和64个属性。SUN包含了来自717个场景的 14340张图片，标注了102个属性。最后，动物属性(AWA)是一个粗粒度数据集，包含 30475个图像，50个类和85个属性。AWA2包含了来自50个种类的37322张动物图片。
(18)数据集的划分：AWA数据集，采用了40个类别进行训练，10个类别进行测试，随机选择训练集中的13类进行验证。对于CUB数据集，使用150个类别进行训练(50 个类别进行验证)，50个类别进行测试。对于APY数据集,20个Pascal类别用于训练， 12个Yahoo类别用于测试。对于SUN数据集，使用707个类进行训练，10个类进行测试。对于视觉特征v，四个数据集都采用的是由ResNet 101提取的2048维特征。
(19)对比方法：分别在常规零样本学习和广义零样本学习的设置下在数据集上进行了相应的实验，并与一些现有的典型方法的结果进行了对比。直接属性预测(DirectAttribute Prediction,DAP)，间接属性预测(IndirectAttribute Prediction,IAP)，属性标签嵌入(Attribute Label Embedding，ALE)、语义自动编码器(semantic autoencoder，SAE)、深度视觉语义嵌入(Deep Visual Semantic Embedding，DeVISE)、结构联合嵌入(Structured Joint Embedding，SJE),交叉迁移(Latent Embeddings，LatEm)，浅层嵌入(Cross Modal Transfer，CMT)语义相似度嵌入(Semantic Similarity Embedding，SSE)、语义嵌入凸组合 (Convex Combination of Semantic Embeddings，CONSE)和综合分类器(Synthesized Classifiers，SYNC)。首先在常规零样本学习设置下在五个数据集上分别进行实验，将本发明所提出的方法与现有的一些先进ZSL方法的实验结果进行了比较。DAP首先通过学习概率属性分类器对图像的每个属性进行后验估计。然后，它计算类的后验值，并使用映射预测类标签。IAP则相反，首先预测可见类的类的后验值，然后使用每个类的概率计算图像的属性后验。用多类分类器预测可见类的后验类。ALE利用排序损失学习了图像和属性空间的双线性兼容函数，使用加权近似排序目标进行零样本学习。DeVISE 学习了图像和语义空间之间的线性映射，使用高效的排名损失公式，并在大规模 ImageNet数据集上进行了评估。SJE给出了排名第一的全部权重，灵感来自于结构化支持向量机SVM，由于必须计算所有分类器的得分后才能进行预测，即找出最大违例类，这使得SJE的效率要低于DeVISE和ALE。基于对排序损失的改进，ESZSL在排序公式中使用平方损失，并在非正则化风险最小化公式中添加了一种隐式正则化，明确规范了目标w.r.t Frobenius范数，这种方法的优点在于目标函数是凸的，有一个封闭的形式的解。SAE同样也学习了从图像嵌入空间到类别嵌入空间的线性投影，但进一步限制了投影必须能够重构原始图像嵌入。在SJE的双线性兼容模型的基础上，LatEm将原模型扩展为分段线性模型，构造了分段性线性兼容性，通过学习数据的不同视觉特征的多个线性映射W，潜在的变量就在于选择那个矩阵去映射。CMT不需要学习多个映射，使用一个带有两个隐含层的神经网络学习从图像特征空间到word2vec,空间的非线性投影，需要学习的两个映射就是两层神经网络的权重。SSE使用可见类比例的混合作为公共空间，认为属于同一类的图像应该有相似的混合模式。语义嵌入凸组合CONSE首先学习一个训练图像属于一个训练类的概率将图像特征投影到Word2vec空间，然后通过取最上面t个最可能看到的类的凸组合，使用语义嵌入的组合将未知图像分配给一个不可见得类。
(20)参数设置：所提方法在整个实验中：本发明方法是基于PyTorch实现，随机初始化其网络权重从头训练。整个训练使用mini-batch，采用Adam optmizer进行参数更新，其beta设置为0.999，学习率手动设置。梯度惩罚系数λ在所有数据集使用λ＝10。超参数β是分类损失的权重系数，在实验里，分别设置β＝0.001,0.01,0.1,1,10，也表明了随着β的增加准确率会随之降低。实验表明，在四个数据集上，β取0.01时结果最好，因为β控制着分类损失LCLS的大小,而分类损失又是总损失的一部分，β过小会使分类损失对特征生成的贡献十分有限，过大的权重反而使训练过程不稳定。生成的特征相对越多，准确率就越高。合成特征数k，实验证明，合成特征数量越多，准确率越高。在CUB 数据集上，合成特征数量k＝300时，结果最佳，之后增加合成特征数量，准确率也基本不再上升。在SUN数据集上，合成特征数量k＝100时就已将取得了较好的结果，之后再增加也基本不会提升了，说明生成的特征质量已经很高了。对于噪声维度d，当d远远低于语义空间的维数时，即d＝64，性能明显下降。同样，高潜在维数也会导致精度的降低。因此，根据语义空间的维度来确定潜在维度是非常重要的。潜在维数过低可能导致潜在表示所捕获的真实特征的内在信息不足，相反，潜在维数过高可能导致高斯分布产生过多的噪声干扰。
在常规零样本ZSL设置下，本发明所提出的方法，即‘Proposed’，在五个数据集上都取得了不错的效果。在AWA1数据集上的结果达到了66.2％，明显优于现有的一些方法，从65.6％到66.2％，结果比SJE的方法提升了0.6％。在AwA2数据集上，实验结果相比较其他方法是最好的，准确率达到了66.7％，从61.9％到66.7％，相比较SJE的方法还提升了4.8％。在CUB数据集上，实验结果达到了55.1％，虽然没有超过SYNC的 55.6％，但是也是高于大部分其它方法的结果。对于SUN数据集，取得的结果59.3％，准确率从58.1％到59.3％，比ALE上的结果还提升了1.2％。而在APY数据集上，取得的实验结果是39.9％，实验结果也是几种方法里最好的，相比较ALE和DEVISE方法的39.7％和39.8，实验结果得到了0.1％的提升。虽然单一来看，并不是在每一个数据集上的实验结果最佳的，在AwA1数据集、AWA2数据集和SUN数据集以及APY数据集上结果最佳，都得到了小一定幅度的提升，虽然CUB数据集上结果略低于SYNC上的结果，但是相比较其他方法，本文所提出的方法在四个数据集上获得的准确率都很不错，综合来看，结果还是得到了不错的改善。这些结果表明，与传统方法相比，本文所提出的模型是有效的。
表1：传统零样本学习设置下，本发明方法与现有其它方法在五种数据集上的top-1准确率(％)
Figure BDA0003130083930000131
在广义零样本学习的设置下，由表2可知，本发明所提方法明显优于现有的一些其它方法，在四个数据集上都取得了很不错的结果。在提高不可见类准确率的同时，在可见类上仍能保持一个较高的准确率，由此可见，生成模型可以为不可见类别生成高质量的特征，以缓解由于缺乏看不见的特性而产生的限制，实现良好的性能。精度越高，可见类和不可见类之间的平衡就越好，从而得到更高的谐波平均值。显示了现有生成方法在大多数数据集上的优势，表明本发明方法的生成模型对可见类的偏差较小。这是因为可见类的原始语义特征经过语义纠错之后，生成了更加具有区别性的视觉特征。尤其是u上，在所有数据集上都有显著提高，说明为不可见类生成特征。本发明方法在可见类和不可见类的精度上表现出了良好的平衡，表明可见类和不可见类之间的域偏移得到了缓解。此外，本发明方法的模型在准确率u和准确率s结果之间表现出了更好的平衡，表明比现有的转换方法更少地偏向不可见的类别。值得注意的是，大多数现有的ZSL 方法对于可见类的性能很好，但对于不可见类的性能很差，这表明这些方法对可见类有很强的偏见。本发明方法的模型可以缓解可见类和不可见类之间的差距，可见类和不可见类之间的准确率得到了提高，并且在精度上取得了更好的平衡。
表2：广义零样本学习设置下，本发明方法与现有其它方法在四种数据集上的top-1准确率(％)
Figure BDA0003130083930000141
本发明提出了一种新的生成式零样本学习方法，该方法在语义修正网络(SR)产生的语义特征中综合去为不可见类产生视觉特征。语义修正网络是用来矫正语义特征，使其更易于区分。提出了一个联合生成模型SR-WGAN用于零样本学习，将ZSL问题转化为传统的监督任务。该模型结合了流行的生成模型WGAN，为不可见类生成基于类级语义嵌入的特征。本发明所设计的语义纠错网络SR，在图片真实视觉特征的引导下，将语义空间修正为更合理的语义空间。ZSL的主要障碍是难以保证视觉空间的分布与语义空间的对应。具体来说，模糊的类属性和描述不仅使模型混乱，而且难以产生令人信服的视觉特征。利用纠错网络SR将对视觉空间和语义空间之间的类结构进行纠错，这样原始特征空间中过于拥挤的语义特征在经过修正后，变得更容易区分。模型无缝地将一个WGAN与一个分类损失结合，能够生成有区别性的CNN特征来训练softmax分类器或任何多模态嵌入方法。该分类器根据所见类的实际特征进行预训练。分类损失可以看作是一个正则化器，强制生成器构造根据有判别性的特征。我们的实验结果表明，在零样本学习和广义零样本学习设置下，在四个具有挑战性的数据集(CUB,APY,SUN, AWA)上的精确度都得到了提升。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (1)

1.一种基于语义纠错下生成对抗网络的零样本学习方法，其特征在于，包括：
步骤1：在语义纠错网络SR中，利用参照视觉空间去修正原始语义空间，将可见类的原始语义特征和对应类别的视觉特征送入纠错网络里，对视觉特征和原始语义特征做归一化处理，采用ResNet101提取好的视觉特征去计算视觉中心向量pc；
Figure FDA0003130083920000011
其中，Nc是类别c的实例数，
Figure FDA0003130083920000012
是类别c的第i个视觉特征；
步骤2：建立语义纠错网络模型，该网络由两层全连接层构成，输入层由sigmoid激活函数激活，输出层由LeakyReLU激活函数激活；
步骤3：首先，获取待分析数据，导入数据集的视觉特征矩阵、原始语义特征矩阵、标签；由于数据集里的视觉特征矩阵里的样本不同类别的特征存放的顺序是打乱的，每一类样本的个数也是未知的；
步骤4：先从标签列表中计算每一类样本的个数，再用标签的位置索引去提取视觉特征矩阵里每一类别样本的特征，再去计算相应每一类别的样本的特征均值，最后得到一个视觉中心向量矩阵P；
步骤5：利用余弦相似度函数δ来计算视觉中心向量对与语义特征之间的相似度；
步骤6：先计算视觉中心向量两两之间的余弦相似度δ(pi,pj)，直接采用余弦矩阵函数计算视觉中心向量矩阵P的余弦相似度；
步骤7：再计算修正后语义特征两两之间的余弦相似度δ(R(si),R(sj))，采用余弦矩阵函数计算纠正后的语义特征矩阵的余弦相似度；
步骤8：由视觉中心向量矩阵的余弦相似度减去纠正后的语义特征矩阵的余弦相似度再求L2范数，从而得到一个修正后的语义特征与视觉特征之间的直接距离的结构损失；
步骤9：计算原始语义特征与修正后语义特征之差，对矩阵再求均值，再计算L2范数，从而得到一个衡量修正前后语义之间的信息损耗的语义损失；
步骤10：构造损失函数：将结构损失和语义损失加起来构成修正网络的总损失LR；
Figure 1
其中|cs|是可见类别的数量，s是原始语义特征，R(s)是修正之后的语义特征，δ是余弦相似度函数，
Figure FDA0003130083920000022
是语义特征s的期望均值，公式中的第一项是表示修正后的语义特征与视觉特征之间的直接距离的结构损失，第二项是语义损失，衡量修正前后语义之间的信息损耗；
步骤11：利用梯度下降法对总损失LR进行优化，纠错网络训练结束之后，固定好纠错网络的参数；
步骤12：训练softmax分类器来学习分类器，即使用生成的特征允许在真实的可视类数据和生成的不可见类数据的组合训练；其中，使用标准的softmax分类器最小化负对数似然损失：
Figure FDA0003130083920000023
其中，
Figure FDA0003130083920000024
是全连接层的权重矩阵，它将图像特征映射成n个类别的非正规概率，n表示类别的数目，v是视觉特征，y是类别标签，Τ是类别总数目；P(y|v；θ)表示图像特征被预测为真实标签的概率；
Figure FDA0003130083920000025
其中，
Figure FDA0003130083920000026
是第i个类别的权重，
Figure FDA0003130083920000027
表示预测类别y的权重，P(y|x；θ)计算的是样本被预测为每一个类别的概率；最终的分类预测函数为：
Figure FDA0003130083920000028
输出概率值最大的类别作为预测类别；在常规零样本学习ZSL中，测试仅仅用到不可见类别，y∈yu，y表示测试类别标签，yu表示不可见类别的标签集合；在广义零样本学习GZSL中，测试时可见类和不可见类别都被使用，y yu ys，ys表示可见类别的标签集合；softmax分类器是在可见类的真实视觉特征上预训练好的；
步骤13：训练生成对抗网络，采样若干原始语义特征s，修正之后的语义特征R(s)，随机噪声z送入生成对抗网络的生成器G里去生成特征，固定生成器G，训练判别器D；
步骤14：训练好判别器D之后，再训练生成器G；采样一小批量的原始语义特征s，纠错后的语义特征R(s)，随机噪声z，固定判别器D，训练生成器G；
Figure FDA0003130083920000031
其中，LWGAN表示生成对抗网络的损失，D(v,s)表示将视觉特征v和原始语义特征s送到判别器网络D所产生的结果，
Figure FDA0003130083920000032
表示将合成视觉特
Figure FDA0003130083920000033
征和原始语义特征s送进判别器网络D所产生的结果，
Figure FDA0003130083920000034
表示
Figure FDA0003130083920000035
的梯度，
Figure FDA0003130083920000036
表示
Figure FDA0003130083920000037
和原始语义特征s送进判别器网络D所产生的结果，
Figure FDA0003130083920000038
表示由生成器G合成的特征；
Figure FDA0003130083920000039
其中α∈U(0,1)，U(0,1)表示区间(0,1)；λ表示梯度惩罚系数，E表示期望均值；最终优化目标是：
Figure FDA00031300839200000310
其中，β是一个超参数表示分类损失的权重，公式第一项是WGAN自身损失LWGAN，第二项中
Figure FDA00031300839200000311
表示分类损失，其中
Figure FDA00031300839200000312
表示
Figure FDA00031300839200000313
被预测为真实标签的概率，
Figure FDA00031300839200000314
表示合成视觉特征
Figure FDA00031300839200000315
的期望均值，这个条件概率是由一个参数化为θ的线性softmax分类器计算，改分类器由可见类的实际特征进行预训练；利用上述公式更新G；
步骤15：训练完成后，输出类别标签，计算分类准确率。
CN202110701351.5A 2021-06-24 2021-06-24 一种基于语义纠错下生成对抗网络的零样本学习方法 Active CN113378959B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110701351.5A CN113378959B (zh) 2021-06-24 2021-06-24 一种基于语义纠错下生成对抗网络的零样本学习方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110701351.5A CN113378959B (zh) 2021-06-24 2021-06-24 一种基于语义纠错下生成对抗网络的零样本学习方法

Publications (2)

Publication Number Publication Date
CN113378959A CN113378959A (zh) 2021-09-10
CN113378959B true CN113378959B (zh) 2022-03-15

Family

ID=77578653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110701351.5A Active CN113378959B (zh) 2021-06-24 2021-06-24 一种基于语义纠错下生成对抗网络的零样本学习方法

Country Status (1)

Country Link
CN (1) CN113378959B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822044B (zh) * 2021-09-29 2023-03-21 深圳市木愚科技有限公司 语法纠错数据生成方法、装置、计算机设备及存储介质
CN114092704B (zh) * 2021-10-22 2022-10-21 北京大数据先进技术研究院 基于近邻传播的实例匹配方法、装置、设备及存储介质
CN114863407B (zh) * 2022-07-06 2022-10-04 宏龙科技(杭州)有限公司 一种基于视觉语言深度融合的多任务冷启动目标检测方法
CN115424262A (zh) * 2022-08-04 2022-12-02 暨南大学 一种用于优化零样本学习的方法
CN116109841B (zh) * 2023-04-11 2023-08-15 之江实验室 一种基于动态语义向量的零样本目标检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN111914929A (zh) * 2020-07-30 2020-11-10 南京邮电大学 零样本学习方法
CN112380374A (zh) * 2020-10-23 2021-02-19 华南理工大学 一种基于语义扩充的零样本图像分类方法
CN112766386A (zh) * 2021-01-25 2021-05-07 大连理工大学 一种基于多输入多输出融合网络的广义零样本学习方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111476294A (zh) * 2020-04-07 2020-07-31 南昌航空大学 一种基于生成对抗网络的零样本图像识别方法及系统
CN111914929A (zh) * 2020-07-30 2020-11-10 南京邮电大学 零样本学习方法
CN112380374A (zh) * 2020-10-23 2021-02-19 华南理工大学 一种基于语义扩充的零样本图像分类方法
CN112766386A (zh) * 2021-01-25 2021-05-07 大连理工大学 一种基于多输入多输出融合网络的广义零样本学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Leveraging Seen and Unseen Semantic Relationships for Generative Zero-Shot Learning;Maunil R Vyas等;《arXiv:2007.09549v1》;20200719;第1~19页 *

Also Published As

Publication number Publication date
CN113378959A (zh) 2021-09-10

Similar Documents

Publication Publication Date Title
CN113378959B (zh) 一种基于语义纠错下生成对抗网络的零样本学习方法
Zellinger et al. Robust unsupervised domain adaptation for neural networks via moment alignment
Chen et al. Re-weighted adversarial adaptation network for unsupervised domain adaptation
Gu et al. Stack-captioning: Coarse-to-fine learning for image captioning
WO2021143396A1 (zh) 利用文本分类模型进行分类预测的方法及装置
CN113326731B (zh) 一种基于动量网络指导的跨域行人重识别方法
CN108647583B (zh) 一种基于多目标学习的人脸识别算法训练方法
Wen et al. Preparing lessons: Improve knowledge distillation with better supervision
CN109389151B (zh) 一种基于半监督嵌入表示模型的知识图谱处理方法和装置
CN113688949B (zh) 一种基于双网络联合标签修正的网络图像数据集去噪方法
CN112631560B (zh) 一种推荐模型的目标函数的构建方法及终端
CN112633406A (zh) 一种基于知识蒸馏的少样本目标检测方法
CN114998602B (zh) 基于低置信度样本对比损失的域适应学习方法及系统
Fu et al. Long-tailed visual recognition with deep models: A methodological survey and evaluation
CN111159473A (zh) 一种基于深度学习与马尔科夫链的连接的推荐方法
CN113255822A (zh) 一种用于图像检索的双重知识蒸馏方法
Ye et al. Reducing bias to source samples for unsupervised domain adaptation
CN116469561A (zh) 一种基于深度学习的乳腺癌生存预测方法
Ma et al. Delving into semantic scale imbalance
Mehmood et al. Classifier ensemble optimization for gender classification using genetic algorithm
Liu et al. Class incremental learning with self-supervised pre-training and prototype learning
Zhang et al. Adaptive domain generalization via online disagreement minimization
CN113409351B (zh) 基于最优传输的无监督领域自适应遥感图像分割方法
CN115578593A (zh) 一种使用残差注意力模块的域适应方法
CN114782791A (zh) 基于transformer模型和类别关联的场景图生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant