CN109558890B - 基于自适应权重哈希循环对抗网络的零样本图像分类方法 - Google Patents

基于自适应权重哈希循环对抗网络的零样本图像分类方法 Download PDF

Info

Publication number
CN109558890B
CN109558890B CN201811158795.3A CN201811158795A CN109558890B CN 109558890 B CN109558890 B CN 109558890B CN 201811158795 A CN201811158795 A CN 201811158795A CN 109558890 B CN109558890 B CN 109558890B
Authority
CN
China
Prior art keywords
hash
weight
adaptive weight
adaptive
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811158795.3A
Other languages
English (en)
Other versions
CN109558890A (zh
Inventor
冀中
严江涛
庞彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201811158795.3A priority Critical patent/CN109558890B/zh
Publication of CN109558890A publication Critical patent/CN109558890A/zh
Application granted granted Critical
Publication of CN109558890B publication Critical patent/CN109558890B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

一种基于自适应权重哈希循环对抗网络的零样本图像分类方法：将训练样本的视觉特征和文本语义类别特征分别进行循环对抗网络映射，得到对应的哈希码；将各特征的哈希码进行权重分配，建立自适应权重哈希模型；对自适应权重哈希模型进行训练和测试；为拟合函数，对编码函数进行重新参数化；将视觉特征和文本语义类别特征的哈希码分别进行映射，得到对应的编码；将伯努利变量变量重新参数化；通过映射将哈希码转换为另一模态特征，再由循环一致性对抗网络的生成器，转换为原模态视觉或者语义特征，使得循环一致性损失达到最小，从而实现跨模态零样本分类。本发明实现了不同模态的特征和对应类别进行知识迁移，提高了信息嵌入特征的表征能力。

Description

基于自适应权重哈希循环对抗网络的零样本图像分类方法
技术领域
本发明涉及一种零样本图像分类方法。特别是涉及一种基于自适应权重哈希循环对抗网络的零样本图像分类方法。
背景技术
自适应权重算法是一种基于格式塔互连(gestalt grouping)的机制而产生的一套权值分配原则。它主要是用于解释人类视觉系统如何判别前景和背景的方法。当观察一张图像时，显著的物体人们就会给予较多的关注，也就自然而然地把它当作前景，而其余不关注的部分就被当作背景。一开始人们观察一张图像时，只能获得前景的一部分，然后是通过对这一部分进行不断扩展和更为细致的研究，运用该机制对这一部分图像的像素进行权值分配，与中心像素越接近、颜色越相似的像素分配较大的权重，相反相距越远的、颜色越相异的分配较小权重。本发明运用的自适应权重哈希同样运用了该机制，在视觉特征和语义特征中给予相同的类别图像的特征以较大权重，相差越大的类别权重分配越低。
根据先验知识，人类具有来推断未见类别事物的能力，例如：一开始从未见过“大象”，但能根据“大象”的文本描述信息“大鼻子，两边大牙，像河马一样体型硕大”，对大象进行类别分类。受该推断能力的启发，零样本图像分类的目标是通过大量样本的学习，能够对训练阶段从未出现过的类别进行分类和表征。为有效地得到训练图像更多的特征信息，使高维视觉特征转化为低维语义特征中特征信息利用最大化，故使用循环对抗网络(CycleGAN)来训练权重哈希网络。
与传统的生成式对抗网络不同，CycleGAN解决了模型训练数据不成对的问题，将一类图片转换成另一类图片，即想要获取一个数据集的特征，却转化为另一个数据集的特征。该网络实际的目标就是学习两个映射，样本空间x到样本空间y的映射F和样本空间y到样本空间x的映射G，并要求F(G(y))≈y以及G(F(x))≈x，这样空间x的图片转换到Y空间后还可以转换回x空间，也杜绝了模型可以把所有X的图片都转换为Y空间中的同一张图片的特殊情况。
因此，在该网络的两个映射过程中加入自适应权重哈希学习可减少哈希编码的冗余性，利用网络的两个映射被分解为二进制代码生成H和从二进制代码重新生成输入的逆过程P，将两个哈希码对源域和目标域进行映射，极大地提高了相近图像类别在汉明空间的距离相似度，而使不同图像类别距离相差更远。
针对某些特定情况，为了将训练的图像和文本信息利用最大化，提出了自适应权重哈希循环一致性对抗学习，以达到零样本图像分类效果的目的。
零样本情况下，给定可见类样本集合S＝{(xi,zi,yi),i＝1,2,3,…,n},xi∈Xs为可见类视觉特征，zi∈Zs为可见类语义特征，yi∈Ys为可见类类别，n为可见类实例样本的数目。零样本分类的目的是通过给定的未见类视觉特征和文本语义特征来预测的未见类的类别yj∈Yu,j＝1,…,m,其中
Figure BDA0001819551450000021
m是未见类别的数目。/>
发明内容
本发明所要解决的技术问题是，提供一种能够实现不同模态的特征和对应类别进行知识迁移的基于自适应权重哈希循环对抗网络的零样本图像分类方法。
本发明所采用的技术方案是：一种基于自适应权重哈希循环对抗网络的零样本图像分类方法，包括如下步骤：
1)将训练样本的视觉特征xi和文本语义类别特征xt分别采用如下公式进行循环对抗网络映射H*，得到对应的哈希码h(x)：
Figure BDA0001819551450000022
其中x*是视觉特征或文本语义类别特征，Wh,v是自适应权重哈希的网络参数；
2)将步骤1)所生成的各特征的哈希码进行权重分配，建立自适应权重哈希模型；
3)对自适应权重哈希模型进行训练和测试；
4)为拟合函数q(h/x)，对编码函数p(h/x)进行重新参数化，
Figure BDA0001819551450000023
其中
Figure BDA0001819551450000024
B为汉明空间数据库；W为自适应权重；
5)将视觉特征xi和文本语义类别特征xt的哈希码分别采用如下公式进行p*映射，得到对应的编码p(h/x)：
Figure BDA0001819551450000025
将伯努利变量变量hk(z),z∈(0,1)重新参数化：
Figure BDA0001819551450000026
其中ξ～μ(0,1)是任意变量，随机神经元被用于重新参数化二进制变量h，用
Figure BDA0001819551450000027
来替换/>
Figure BDA0001819551450000028
使函数参数收敛；
6)通过p*映射将哈希码转换为另一模态特征，
Figure BDA0001819551450000029
Figure BDA00018195514500000210
再由循环一致性对抗网络的生成器F或G，转换为原模态视觉或者语义特征，使得循环一致性损失达到最小，从而实现跨模态零样本分类。
步骤2)包括：
(1)定义自适应权重哈希模型的类元素权重层，生成自适应权重W；将步骤1)得到的哈希码h(x)和自适应权重W代入如下公式，得到类元素的权重ω(hx)：
ω(hx)＝W(CX,:)·hx,s.t.W≥0
其中hx是x*输出的哈希码，CX是x*的图像或者文本的类别索引，·指的是元素的内积；(2)定义权重汉明距离H(Xi,Xj)：
Figure BDA0001819551450000031
其中k为码字；二进制码bk(x)＝sgn(hk(x)-0.5),k＝1,…,q；hk(x)表示各类别的哈希码；Xi,Xj表示不同的两个特征；
(3)定义三元权重排序损失函数
Figure BDA0001819551450000032
其中m是连续参数，该参数定义了这两个变量
Figure BDA0001819551450000033
之间相对相似度的边缘差异度量；/>
Figure BDA0001819551450000034
是公式
Figure BDA0001819551450000035
的权重欧几里得距离；
(4)定义训练时各个类别softmax损失：
Figure BDA0001819551450000036
其中，
Figure BDA0001819551450000037
是与j类别相差i距离的标签；θj是距离参数；θi是类别参数；
(5)用三元权重排序损失函数分别对
Figure BDA0001819551450000038
求偏导得到梯度：
Figure BDA0001819551450000039
Figure BDA00018195514500000310
Figure BDA00018195514500000311
Figure BDA00018195514500000312
其中IC是指示函数，如果c为真，则IC＝1，否则IC＝0；
(6)用如下公式计算类元素权重层的梯度，从而更新自适应权重网络参数w
Figure BDA00018195514500000313
(7)由于softmax损失，计算θj的梯度为：
Figure BDA00018195514500000314
步骤3)所述的训练包括对自适应权重哈希模型输入：图像x，参数m后，进行如下过程：
(1)通过神经网络前向传播将图像x转变为h(x)；
(2)计算三元权重排序损失函数
Figure BDA0001819551450000041
(3)计算softmax损失LC(θ)；
(4)计算
Figure BDA0001819551450000042
和LC(θ)的梯度；
(5)联合训练第(4)步得到的梯度，通过神经网络反向传播不断更新自适应权重网络参数w，直到
Figure BDA0001819551450000043
和LC(θ)都收敛；
(6)输出自适应权重网络参数w。
步骤3)所述的测试包括对自适应权重哈希模型输入自适应权重网络参数w，测试图像xq，汉明空间数据库B后，进行如下过程：
(1)导入自适应权重W到类元素权重层；
(2)预测类别概率p(xq)；
(3)生成对应哈希码h(xq)；
(4)生成自适应权重w(xq)，wq＝WTp(xq)；
(5)计算权重汉明距离H(Xi,Xq)；
(6)通过权重汉明距离大小分类图像；
(7)输出分类图像的哈希码。
本发明的基于自适应权重哈希循环对抗网络的零样本图像分类方法，主要优势体现在：
(1)新颖性：提出了一种新的通过自适应权重哈希CycleGAN的框架用于解决零样本分类问题。通过循环一致性对抗权重哈希网络，学习一种联合嵌入模型，从而实现了不同模态的特征和对应类别进行知识迁移。
(2)多模态性：本发明提出的自适应权重哈希CycleGAN的框架将视觉模态特征和类别标签的语义文本模态特征联合嵌入到权重的汉明空间中，在对抗学习的过程中，将样本嵌入特征和类别嵌入特征与类别标签结合，实现不同模态特征到类别的知识迁移。
(3)有效性：与传统的对抗网络学习方法不同，本发明所提出的算法主要是通过自适应权重哈希循环一致性来体现的，对抗学习的方式上也有本质的不同，本发明是将模态经过一系列映射后还是会回到原模态，使模态特征学习后的信息损失到尽可能小，极大地保留了样本特征的低维语义信息，提高了信息嵌入特征的表征能力，有利于最终达到零样本分类的目的。
(4)实用性：简单可行，操作方便。可广泛应用于许多零样本分类任务以及图像的检索、目标检测、语义描述和识别等问题的相关领域中。
附图说明
图1是本发明基于自适应权重哈希循环对抗网络的零样本图像分类方法的原理图；
图2是本发明使用的CycleGAN网络的映射原理图；
图3是对图1自适应权重哈希模型的具体实现过程图。
具体实施方式
下面结合实施例和附图对本发明的基于自适应权重哈希循环对抗网络的零样本图像分类方法做出详细说明。
本发明的基于自适应权重哈希循环对抗网络的零样本图像分类方法，因为跨模态生成哈希是通过哈希码对不同模态的目标对象进行翻译转换，因此其语义一致性的实现没有数据成对的约束限制。利用对抗网络先将视觉特征和文本特征做两个映射，全部映射到汉明空间后，通过自适应权重哈希算法进行分配，生成自适应权重，经过权重汉明距离后生成分类图像的哈希码，最后由循环一致性损失计算映射到的预测视觉特征和文本特征，从而较大地提高了跨模态多媒体信息的利用率。在该模型中，图像各特征先进入二进制码生成器H*，之后引入了自适应深度权重哈希模型训练得到自适应权重W，通过权重W计算权重汉明距离H(Xi,Xj)，生成二进制哈希hi,ht，运用二进制码生成输入的逆过程P*，由生成器F或G，返回原图像特征，最后通过循环一致性损失从而实现跨模态，达到零样本分类的目的。
如图1所示，本发明的基于自适应权重哈希循环对抗网络的零样本图像分类方法，包括如下步骤：
1)将训练样本的视觉特征xi和文本语义类别特征xt分别采用如下公式进行循环对抗网络映射H*，得到对应的哈希码h(x)：
Figure BDA0001819551450000051
其中x*是视觉特征或文本语义类别特征，Wh,v是自适应权重哈希的网络参数；
2)将步骤1)所生成的各特征的哈希码进行权重分配，建立自适应权重哈希模型；包括：
(1)定义自适应权重哈希模型的类元素权重层，生成自适应权重W；将步骤1)得到的哈希码h(x)和自适应权重W代入如下公式，得到类元素的权重ω(hx)：
ω(hx)＝W(CX,:)·hx,s.t.W≥0 (2)
其中hx是x*输出的哈希码，CX是x*的图像或者文本的类别索引，·指的是元素的内积；即，通过类元素权重得到类元素权重层，每张图像的哈希码与所对应的自适应类别权重相乘得到各特征x*的类元素的权重ω(hx)；
(2)定义权重汉明距离H(Xi,Xj)：
Figure BDA0001819551450000052
其中k为码字；二进制码bk(x)＝sgn(hk(x)-0.5),k＝1,…,q；hk(x)表示各类别的哈希码；Xi,Xj表示不同的两个特征；
所得的汉明距离用权重欧几里得距离代替简化来计算量，
Figure BDA0001819551450000053
(3)定义三元权重排序损失函数
Figure BDA0001819551450000054
其中m是连续参数，该参数定义了这两个变量
Figure BDA0001819551450000061
之间相对相似度的边缘差异度量；/>
Figure BDA0001819551450000062
是公式
Figure BDA0001819551450000063
的权重欧几里得距离，不相似对/>
Figure BDA0001819551450000064
的距离大于相似对/>
Figure BDA0001819551450000065
的距离至少m；
(4)定义训练时各个类别softmax损失：
Figure BDA0001819551450000066
其中，
Figure BDA0001819551450000067
是与j类别相差i距离的标签；θj是距离参数；θi是类别参数；
(5)用三元权重排序损失函数分别对
Figure BDA0001819551450000068
求偏导得到梯度：
Figure BDA0001819551450000069
其中IC是指示函数，如果c为真，则IC＝1，否则IC＝0；
(6)用如下公式计算类元素权重层的梯度，从而更新自适应权重网络参数w
Figure BDA00018195514500000610
(7)由于softmax损失，计算θj的梯度为：
Figure BDA00018195514500000611
3)如图3所示，对自适应权重哈希模型进行训练和测试；使用BP神经网络反向传播更新权重网络参数W，并不断循环以上公式(19)(20)(21)，直至LR和Lc收敛，最终输出自适应哈希权重的类元素权重w。然后代入参数w计算权重汉明距离，生成对应分类库图像哈希码。其中，
所述的训练包括对自适应权重哈希模型输入：图像x，参数m后，进行如下过程：
(1)通过神经网络前向传播将图像x转变为h(x)；
(2)计算三元权重排序损失函数
Figure BDA00018195514500000612
(3)计算softmax损失LC(θ)；
(4)计算
Figure BDA00018195514500000613
和LC(θ)的梯度；/>
(5)联合训练第(4)步得到的梯度，通过神经网络反向传播不断更新自适应权重网络参数w，直到
Figure BDA0001819551450000071
和LC(θ)都收敛；
(6)输出自适应权重网络参数w。
所述的测试包括对自适应权重哈希模型输入自适应权重网络参数w，测试图像xq，汉明空间数据库B后，进行如下过程：
(1)导入自适应权重W到类元素权重层；
(2)预测类别概率p(xq)；
(3)生成对应哈希码h(xq)；
(4)生成自适应权重w(xq)，wq＝WTp(xq)；
(5)计算权重汉明距离H(Xi,Xq)；
(6)通过权重汉明距离大小分类图像；
(7)输出分类图像的哈希码。
4)定义最大似然生成的输入x与对应二进制码h
Pi:hi→xt定义为p(xt/hi)
Pt:ht→xi定义为p(xi/ht)
p(x,h)＝p(x/h)p(h),p(x/h)＝N(Uh,ρ2I)满足简单高斯分布。
其中
Figure BDA0001819551450000072
是字典中的k个码字。
先验概率
Figure BDA0001819551450000073
满足多元哈希码伯努利分布，其中
Figure BDA0001819551450000074
为拟合函数q(h/x)，对编码函数p(h/x)进行重新参数化，
Figure BDA0001819551450000075
其中
Figure BDA0001819551450000076
B为汉明空间数据库；W为自适应权重；
5)将视觉特征xi和文本语义类别特征xt的哈希码分别采用如下公式进行p*映射，得到对应的编码p(h/x)：
Figure BDA0001819551450000077
将伯努利变量变量hk(z),z∈(0,1)重新参数化：
Figure BDA0001819551450000078
其中ξ～μ(0,1)是任意变量，随机神经元被用于重新参数化二进制变量h，用
Figure BDA0001819551450000079
来替换/>
Figure BDA00018195514500000710
通过离散随机神经元/>
Figure BDA00018195514500000711
来计算更为广义的分布导数来替代标准随机梯度下降算法，实现函数各参数的收敛；
6)如图2通过p*映射将哈希码转换为另一模态特征，
Figure BDA0001819551450000081
再由循环一致性对抗网络的生成器F或G，转换为原模态视觉或者语义特征，使得循环一致性损失达到最小，从而实现跨模态零样本分类。

Claims (1)

1.一种基于自适应权重哈希循环对抗网络的零样本图像分类方法，其特征在于，包括如下步骤：
1)将训练样本的视觉特征xi和文本语义类别特征xt分别采用如下公式进行循环对抗网络映射H*，得到对应的哈希码h(x)：
Figure FDA0003967560150000011
其中x*是视觉特征或文本语义类别特征，Wh,v是自适应权重哈希的网络参数；
2)将步骤1)所生成的各特征的哈希码进行权重分配，建立自适应权重哈希模型；包括：
(1)定义自适应权重哈希模型的类元素权重层，生成自适应权重W；将步骤1)得到的哈希码h(x)和自适应权重W代入如下公式，得到类元素的权重ω(hx)：
ω(hx)＝W(CX,:)·hx,s.t.W≥0
其中hx是x*输出的哈希码，CX是x*的图像或者文本的类别索引，·指的是元素的内积；
(2)定义权重汉明距离H(Xi,Xj)：
Figure FDA0003967560150000012
其中k为码字；二进制码bk(x)＝sgn(hk(x)-0.5),k＝1,…,q；hk(x)表示各类别的哈希码；Xi,Xj表示不同的两个特征；
(3)定义三元权重排序损失函数
Figure FDA0003967560150000013
其中m是连续参数，该参数定义了这两个变量
Figure FDA0003967560150000014
之间相对相似度的边缘差异度量；/>
Figure FDA0003967560150000015
是公式/>
Figure FDA0003967560150000016
的权重欧几里得距离；
(4)定义训练时各个类别softmax损失：
Figure FDA0003967560150000017
其中，
Figure FDA0003967560150000018
是与j类别相差i距离的标签；θj是距离参数；θi是类别参数；
(5)用三元权重排序损失函数分别对
Figure FDA0003967560150000019
求偏导得到梯度：
Figure FDA0003967560150000021
Figure FDA0003967560150000022
Figure FDA0003967560150000023
Figure FDA0003967560150000024
/>
其中IC是指示函数，如果c为真，则IC＝1，否则IC＝0；
(6)用如下公式计算类元素权重层的梯度，从而更新自适应权重网络参数w
Figure FDA0003967560150000025
(7)由于softmax损失，计算θj的梯度为：
Figure FDA0003967560150000026
3)对自适应权重哈希模型进行训练和测试；其中，
所述的训练包括对自适应权重哈希模型输入：图像x，参数m后，进行如下过程：
(1)通过神经网络前向传播将图像x转变为h(x)；
(2)计算三元权重排序损失函数
Figure FDA0003967560150000027
(3)计算softmax损失LC(θ)；
(4)计算
Figure FDA0003967560150000028
和LC(θ)的梯度；
(5)联合训练第(4)步得到的梯度，通过神经网络反向传播不断更新自适应权重网络参数w，直到
Figure FDA0003967560150000029
和LC(θ)都收敛；
(6)输出自适应权重网络参数w；
所述的测试包括对自适应权重哈希模型输入自适应权重网络参数w，测试图像xq，汉明空间数据库B后，进行如下过程：
(1)导入自适应权重W到类元素权重层；
(2)预测类别概率p(xq)；
(3)生成对应哈希码h(xq)；
(4)生成自适应权重w(xq)，wq＝WTp(xq)；
(5)计算权重汉明距离H(Xi,Xq)；
(6)通过权重汉明距离大小分类图像；
(7)输出分类图像的哈希码；
4)为拟合函数q(h/x)，对编码函数p(h/x)进行重新参数化，
Figure FDA0003967560150000031
其中
Figure FDA0003967560150000032
B为汉明空间数据库；W为自适应权重；
5)将视觉特征xi和文本语义类别特征xt的哈希码分别采用如下公式进行p*映射，得到对应的编码p(h/x)：
Figure FDA0003967560150000033
将伯努利变量变量hk(z),z∈(0,1)重新参数化：
Figure FDA0003967560150000034
/>
其中ξ～μ(0,1)是任意变量，随机神经元被用于重新参数化二进制变量h，用
Figure FDA0003967560150000035
来替换/>
Figure FDA0003967560150000036
使函数参数收敛；
6)通过p*映射将哈希码转换为另一模态特征，
Figure FDA0003967560150000037
Figure FDA0003967560150000038
再由循环一致性对抗网络的生成器F或G，转换为原模态视觉或者语义特征，使得循环一致性损失达到最小，从而实现跨模态零样本分类。
CN201811158795.3A 2018-09-30 2018-09-30 基于自适应权重哈希循环对抗网络的零样本图像分类方法 Active CN109558890B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811158795.3A CN109558890B (zh) 2018-09-30 2018-09-30 基于自适应权重哈希循环对抗网络的零样本图像分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811158795.3A CN109558890B (zh) 2018-09-30 2018-09-30 基于自适应权重哈希循环对抗网络的零样本图像分类方法

Publications (2)

Publication Number Publication Date
CN109558890A CN109558890A (zh) 2019-04-02
CN109558890B true CN109558890B (zh) 2023-03-31

Family

ID=65864795

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811158795.3A Active CN109558890B (zh) 2018-09-30 2018-09-30 基于自适应权重哈希循环对抗网络的零样本图像分类方法

Country Status (1)

Country Link
CN (1) CN109558890B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110222140B (zh) * 2019-04-22 2021-07-13 中国科学院信息工程研究所 一种基于对抗学习和非对称哈希的跨模态检索方法
CN110197521B (zh) * 2019-05-21 2023-03-24 复旦大学 基于语义结构表示的视觉文本嵌入方法
CN110444277B (zh) * 2019-07-19 2023-03-28 重庆邮电大学 一种基于多生成多对抗的多模态脑部mri图像双向转换方法
CN110443293B (zh) * 2019-07-25 2023-04-07 天津大学 基于双判别生成对抗网络文本重构的零样本图像分类方法
CN110647804A (zh) * 2019-08-09 2020-01-03 中国传媒大学 一种暴力视频识别方法、计算机系统和存储介质
CN110580501B (zh) * 2019-08-20 2023-04-25 天津大学 一种基于变分自编码对抗网络的零样本图像分类方法
CN110674335B (zh) * 2019-09-16 2022-08-23 重庆邮电大学 一种基于多生成多对抗的哈希码与图像双向转换方法
CN111461162B (zh) * 2020-01-03 2023-04-07 华中科技大学 一种零样本目标检测模型及其建立方法
CN111428733B (zh) * 2020-03-12 2023-05-23 山东大学 基于语义特征空间转换的零样本目标检测方法及系统
CN111461067B (zh) * 2020-04-26 2022-06-14 武汉大学 基于先验知识映射及修正的零样本遥感影像场景识别方法
CN112115317B (zh) * 2020-08-20 2024-05-14 鹏城实验室 一种针对深度哈希检索的有目标攻击方法及终端设备
CN112132230B (zh) * 2020-10-09 2024-02-20 腾讯科技（深圳）有限公司 图像分类方法及装置
CN112905822B (zh) * 2021-02-02 2022-07-01 华侨大学 一种基于注意力机制的深度监督跨模态对抗学习方法
CN113377973B (zh) * 2021-06-10 2022-06-14 电子科技大学 一种基于对抗哈希的物品推荐方法
CN113626629B (zh) * 2021-08-17 2023-09-29 北京计算机技术及应用研究所 一种利用尺度不变特征计算图像哈希值的方法
CN115019149B (zh) * 2022-08-03 2022-11-11 中国电子科技集团公司第五十四研究所 一种基于模型解释结果的零样本识别方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226585A (zh) * 2013-04-10 2013-07-31 大连理工大学 面向图像检索的自适应哈希重排方法
CN104834748A (zh) * 2015-05-25 2015-08-12 中国科学院自动化研究所 一种利用基于深度语义排序哈希编码的图像检索方法
CN107092918A (zh) * 2017-03-29 2017-08-25 太原理工大学 一种基于语义特征和有监督哈希的图像检索实现肺结节征象识别的方法
CN107729513A (zh) * 2017-10-25 2018-02-23 鲁东大学 基于语义对齐的离散监督跨模态哈希检索方法
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN108170755A (zh) * 2017-12-22 2018-06-15 西安电子科技大学 基于三元组深度网络的跨模态哈希检索方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103226585A (zh) * 2013-04-10 2013-07-31 大连理工大学 面向图像检索的自适应哈希重排方法
CN104834748A (zh) * 2015-05-25 2015-08-12 中国科学院自动化研究所 一种利用基于深度语义排序哈希编码的图像检索方法
CN107092918A (zh) * 2017-03-29 2017-08-25 太原理工大学 一种基于语义特征和有监督哈希的图像检索实现肺结节征象识别的方法
CN107729513A (zh) * 2017-10-25 2018-02-23 鲁东大学 基于语义对齐的离散监督跨模态哈希检索方法
CN107871014A (zh) * 2017-11-23 2018-04-03 清华大学 一种基于深度融合哈希的大数据跨模态检索方法及系统
CN108170755A (zh) * 2017-12-22 2018-06-15 西安电子科技大学 基于三元组深度网络的跨模态哈希检索方法

Also Published As

Publication number Publication date
CN109558890A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109558890B (zh) 基于自适应权重哈希循环对抗网络的零样本图像分类方法
CN110490946B (zh) 基于跨模态相似度和生成对抗网络的文本生成图像方法
Li et al. LGM-Net: Learning to generate matching networks for few-shot learning
KR102166105B1 (ko) 신경망 및 신경망 트레이닝의 방법
CN110909862A (zh) 基于卷积神经网络的注意力权重计算方法和装置
CN109885756B (zh) 基于cnn和rnn的序列化推荐方法
CN114239560B (zh) 三维图像分类方法、装置、设备和计算机可读存储介质
Zeng et al. Quaternion softmax classifier
CN112163715B (zh) 生成式对抗网络的训练方法及装置、电力负荷预测方法
CN112307883B (zh) 训练方法、装置、电子设备以及计算机可读存储介质
Peng et al. A robust coverless steganography based on generative adversarial networks and gradient descent approximation
KR20190126857A (ko) 이미지에서 오브젝트 검출 및 표현
CN110659411A (zh) 一种基于神经注意力自编码器的个性化推荐方法
CN111563770A (zh) 一种基于特征差异化学习的点击率预估方法
CN115203409A (zh) 一种基于门控融合和多任务学习的视频情感分类方法
Guo et al. A deep reinforcement learning method for multimodal data fusion in action recognition
CN114820871A (zh) 字体生成方法、模型的训练方法、装置、设备和介质
CN114529785B (zh) 模型的训练方法、视频生成方法和装置、设备、介质
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN118015637A (zh) 文本生成图像模型训练方法、文本生成图像方法及装置
CN113065027A (zh) 视频推荐的方法、装置、电子设备和存储介质
Gan et al. GANs with multiple constraints for image translation
CN111339734A (zh) 一种基于文本生成图像的方法
CN113780350B (zh) 一种基于ViLBERT和BiLSTM的图像描述方法
CN114155422A (zh) 一种视觉问题回答的实现方法、装置、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant