CN111435453A - 细粒度图像零样本识别方法 - Google Patents

细粒度图像零样本识别方法 Download PDF

Info

Publication number
CN111435453A
CN111435453A CN201910032246.XA CN201910032246A CN111435453A CN 111435453 A CN111435453 A CN 111435453A CN 201910032246 A CN201910032246 A CN 201910032246A CN 111435453 A CN111435453 A CN 111435453A
Authority
CN
China
Prior art keywords
semantic
domain
visual
image
mapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910032246.XA
Other languages
English (en)
Other versions
CN111435453B (zh
Inventor
张勇东
闵少波
谢洪涛
李岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Original Assignee
Beijing Zhongke Research Institute
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhongke Research Institute, University of Science and Technology of China USTC filed Critical Beijing Zhongke Research Institute
Priority to CN201910032246.XA priority Critical patent/CN111435453B/zh
Publication of CN111435453A publication Critical patent/CN111435453A/zh
Application granted granted Critical
Publication of CN111435453B publication Critical patent/CN111435453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种细粒度图像零样本识别方法，该方法基于语义分解与迁移的零样本图像分类技术，能够充分地挖掘两个域的语义信息的同时产生无偏的语义和视觉表达，达到更好的分类效果，同时，该方法在四个公共细粒度分类数据集上都取得了目前最好的结果。

Description

细粒度图像零样本识别方法
技术领域
本发明涉及图像分类技术领域，尤其涉及一种细粒度图像零样本识别方法。
背景技术
传统的图像分类技术需要海量的数据支持和精确的人工标注。然而面对各种各样的任务需求，依靠人工标注是很低效的一种做法。
近几年来，零样本图像识别技术得到了广泛的关注，其目的为使模型能够识别从未见过的图像类别。为了实现这一任务，不同类别的无偏语义信息被用来连接源域数据(可见数据)和目标域数据(不可见数据)，来使模型对不同数据域的偏差更为鲁棒。通常的做法为，将图像和语义属性映射到同一个嵌入空间，使对应的图像和语义属性能正确的匹配上。于是分类问题变成了一个最近邻搜索问题，并最终使搜索域涵盖目标域数据，来达到零样本分类。由于在训练阶段中，目标域图像无法获得，因此训练好的模型对两个域的偏差非常敏感，而现有的方法仅仅利用目标域语义信息来得无偏的语义表达或者视觉表达，没有充分的利用好语义信息。
发明内容
本发明的目的是提供一种细粒度图像零样本识别方法，具有较好的分类效果。
本发明的目的是通过以下技术方案实现的：
一种细粒度图像零样本识别方法，包括：
构建语义分解与迁移网络，利用获取的源域数据集中的视觉图像与对应的语义属性，以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络，使其能将视觉图像与其对应的语义表达做正确的配对；
在测试阶段，利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别，得到识别结果。
由上述本发明提供的技术方案可以看出，基于语义分解与迁移的零样本图像分类技术，能够充分地挖掘两个域的语义信息的同时产生无偏的语义和视觉表达，达到更好的分类效果，同时，该方法在四个公共细粒度分类数据集上都取得了目前最好的结果。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的零样本分类任务中的域偏差示意图；
图2为本发明实施例提供的语义分解与迁移网络的框架图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种细粒度图像零样本识别方法，包括：
构建语义分解与迁移网络，利用获取的源域数据集中的视觉图像与对应的语义属性，以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络，使其能将视觉图像与其对应的语义表达做正确的配对；
源域数据集包括：一系列视觉图像、以及对应的语义属性与类别标签，其中视觉图像的类别标签为视觉图像在现实世界的类别，语义属性为一组向量，其编码的内容为图像的属性描述(比如物体的长宽，颜色等)。
在测试阶段，利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别，得到识别结果(也即对应的类别标签)。
为了便于理解，下面针对上述方法的原理及具体实现过程做详细的介绍。
一、原理介绍。
本发明实施例中，基于语义分解与迁移的零样本图像分类技术，来充分地挖掘两个域的语义信息的同时产生无偏的语义和视觉表达。如图1所示，将视觉图像和对应的语义属性(类别属性)映射到一个嵌入空间(Embedding Space)，映射的过程命名为视觉投影和语义投影，映射得到的特征命名为视觉表达和语义表达。如图1所示，目标域数据集的视觉图像投影后会存在偏移现象，本发明的目的是产生无偏的语义和视觉表达，通过语义分解与迁移网络，使对应的图像表达和语义表达尽可能一致，不同的图像表达和语义表达尽可能远离，达到更好的分类效果。图1中左侧带箭头的线条表示将视觉图像投影至嵌入空间，三角形符号表示视觉表达；右侧带箭头的线条表示将语义属性投影至嵌入空间，圆形符号表示语义表达。
语义分解与迁移网络的两个主要组成部分：分解语义映射和迁移视觉映射，就是分别将视觉图像和语义属性映射到嵌入空间，使对应的视觉表达和语义表达符合以上两个条件。
对于语义表达来说，现有的方法都是训练一个单独的语义映射函数，同时在两个域使用(源域和目标域)。这样做的结果导致单一的语义映射函数，无法同时很好的捕捉到两个域的语义差别。因此，本发明提出了分解的语义投影算法，通过将单一的语义映射函数分解成三个子映射函数：域不变的语义映射函数，源域特异的语义映射函数，和目标域特异的语义映射函数，来同时捕捉到源域和目标域语义信息共有的部分和私有的部分。其中，域不变的语义映射函数能够连接两个域的共性特征，使训练到的模型能跟很好的被泛化到目标域数据中，而两个域特异的语义映射函数能够捕捉到最具有区分性的语义信息，从而使最终得到的两个域的语义表达更加具有区分性。
对于视觉表达来说，域偏移的情况更加严重，由于无法获得目标域的视觉图像，因而将目标域的语义空间信息迁移到目标域的图像空间，来合成出需要的目标域视觉图像的表达。同时相比于目前常用的全监督训练策略，提出采用标签平滑正则学习来使学习的过程对不可靠的合成视觉数据更加鲁棒。
二、具体实现过程。
所构建的构建语义分解与迁移网络如图2所示。
1、当获取源域数据集(视觉图像与语义属性)时，优化的目标函数为：
Figure BDA0001944654750000031
其中，f、
Figure BDA0001944654750000041
对应的表示视觉映射(可用于特征提取)、分解语义映射，χs为源域的视觉图像空间，a为视觉图像x对应的语义属性；d()计算了两个输入表达特征的相似度度量：
Figure BDA0001944654750000042
其中，||表达向量的模，<>表示向量的内积。
2、本发明实施例中，分解语义映射
Figure BDA0001944654750000043
分为域不变的语义映射函数
Figure BDA0001944654750000044
源域特异的语义映射函数
Figure BDA0001944654750000045
目标域特异的语义映射函数
Figure BDA0001944654750000046
三个部分，则最终的分解语义映射
Figure BDA0001944654750000047
可以表示为：
Figure BDA0001944654750000048
其中，As、At对应的表示源域的语义属性空间、目标域的语义属性空间；域不变的语义映射函数
Figure BDA0001944654750000049
负责连接两个域的语义映射函数，使分解语义映射
Figure BDA00019446547500000410
能够在两个域之间做知识迁移，源域特异的语义映射函数
Figure BDA00019446547500000411
与目标域特异的语义映射函数
Figure BDA00019446547500000412
能够捕捉到各自域语义空间的特异信息，从而能产生更具有区分性的源域和目标域的语义表达。
为了使以上目标达到，本发明实施例中加入如下两项约束来使训练更成功：
1)为了将域特异的语义信息成功编码到
Figure BDA00019446547500000413
和
Figure BDA00019446547500000414
中，需要一种无监督的方式来限制它们，因此可以借鉴稀疏自编码的形式，通过两个重建误差来分别优化
Figure BDA00019446547500000415
和
Figure BDA00019446547500000416
目标函数表达式为：
Figure BDA00019446547500000417
其中，
Figure BDA00019446547500000418
对应的表示对源域特异的语义映射函数
Figure BDA00019446547500000419
目标域特异的语义映射函数
Figure BDA00019446547500000420
所对应的解码器。特别的，上述重建限制分别在源域语义空间和目标域语义空间进行，并且通过
Figure BDA00019446547500000421
进行关联，来限制
Figure BDA00019446547500000422
和
Figure BDA00019446547500000423
学到应有的域特异语义信息。
2)除了保留域特异语义信息在
Figure BDA00019446547500000424
中，还得到的语义表达能够和对应的视觉表达相匹配上。然而由于没有目标域图像数据，因此无法用
Figure BDA00019446547500000425
在目标域上来限制
Figure BDA00019446547500000426
因此期望来将
Figure BDA00019446547500000427
中的映射知识迁移到
Figure BDA00019446547500000428
原因有以下两点：a)通过目标函数
Figure BDA00019446547500000429
可知：
Figure BDA00019446547500000430
和f(Xs)是一致的；b)f(Xs)和f(Xt)有较为近似的分布。因此提出了语义迁移限制，目标函数
Figure BDA00019446547500000431
的表达式为：
Figure BDA00019446547500000432
其中，
Figure BDA0001944654750000051
对应的表示源域特异的语义映射函数
Figure BDA0001944654750000052
目标域特异的语义映射函数
Figure BDA0001944654750000053
的可学习参数；示例性的，可学习的参数包括线性映射的权重、全连接层的权重参数等等，文中所提到的
Figure BDA0001944654750000054
和
Figure BDA0001944654750000055
都属于线性映射，相应的可学习参数即为一个线性映射矩阵。
3、本发明实施例中，迁移视觉映射由两部份组成：1)在源域视觉图像空间进行全监督学习；2)在合成的目标域视觉空间进行标签平滑学习。
1)基于排序的目标函数在零样本分类任务中被广泛应用，因此本发明实施例中，采用一种通用的交叉熵分类目标函数来限制提取的视觉特征具有区分性，该方式为全监督学习的分类约束，其目标函数的表达式为：
Figure BDA0001944654750000056
其中，源域数据集中还包括类别标签集合Ys，每一视觉图像对应了一个类别标签，py(f(x))为视觉图像x对类别标签y的打分。
2)由于无法获取目标域视觉图像，因此采用合成的目标域图像空间
Figure BDA0001944654750000057
Figure BDA0001944654750000058
来优化我们的视觉映射网络。然而由于合成的目标域视觉数据是非常不准确的，全监督目标函数
Figure BDA0001944654750000059
无法直接使用。因此，采用一种更柔和的标签平滑正则方法来训练，其目标函数的表达式为：
Figure BDA00019446547500000510
其中，Ys表示源域数据集的类别标签集合。
从上式可以看出，标签平滑正则
Figure BDA00019446547500000511
期望让
Figure BDA00019446547500000512
的打分分布趋于平均，即不属于任何一个源域类别，因此其对合成数据的噪声问题更加鲁棒。
结合以后目标函数，最终语义分解与迁移网络训练阶段的目标函数表示为：
Figure BDA00019446547500000513
其中，λi，i∈[1,5]表示不同目标函数的权重；
Figure BDA00019446547500000514
表示与源域数据集中视觉图像与语义属性相似度相关的目标函数；
Figure BDA00019446547500000515
表示优化三个分解的子映射函数在两个域映射的目标函数；
Figure BDA00019446547500000516
表示将源域特异的语义映射函数迁移至目标域特异的语义映射函数时的目标函数；
Figure BDA00019446547500000517
表示对源域的视觉图像空间进行全监督学习的目标函数；
Figure BDA00019446547500000518
表示在合成的目标域图像空间进行标签平滑学习的目标函数。
通过上述训练阶段可以对语义分解与迁移网络中的参数进行更新，之后，可以直接进行输入视觉图像的分类。
4、测试阶段，对来源于任意域的视觉图像x′预测类别标签的预测表示为：
Figure BDA0001944654750000061
其中，Yt表示目标域数据集的类别标签集合，Ys表示源域数据集的类别标签集合，Y＝Ys∪Yt，τ为一个阈值函数，用来判断视觉图像x′是否属于目标域，p(f(x′))表示分类器p对视觉图像x′属于不同类别标签的概率打分。
需要注意的是，当max(p(f(x)))很小时(即小于τ)，表示p(f(x))对视觉图像x′有很一致的预测分布，即表示其很可能来自于目标域。
上式中，d()的含义与前文类似，用于计算两个输入表达特征的相似度度量，通过计算可以选出相似度最高的d()，其中的
Figure BDA0001944654750000062
所对应的语义属性a即为最终的识别结果。
本发明实施例上述方案相对于传统方案而言主要获得如下有益效果：
1、将零样本分类技术中的语义映射函数分解成了一个域不变和两个域特异的语义映射函数，从而很好的容纳两个域的语义偏移现象。
2、迁移视觉映射通过在合成的目标域视觉图像上用标签平滑正则策略来学习，能够很好的解决视觉表达偏移的现象。
3、通过深度的语义挖掘，我们提出的语义分解与迁移算法对于零样本分类技术中的域偏移现象非常鲁棒，并且在四个细粒度图像数据集上都达到了目前最好的效果。
为了说明本发明上述方法的效果，还在以下数据及上进行了验证了：
1、Caltech-UCSD birds(CUB-200)：该数据集包含了来自200个鸟类别的11788张图片。整个数据集被划分为7057张训练图片，1764张验证图像和2967张测试图片。其中150类作为可见类别，剩下50类作为未知类别。
2、SUN：该数据集包含来自717类车的14340张图片，其中10320图片用于训练，2580图片作为验证集，和1440张图片用于测试。其中645类作为可见类别，剩下72类作为未知类别。
3、Animals with Attribute 2(AWA2)：该数据集包含来自50类的37322张图片，其中23527图片用于训练，5882图片作为验证集，和7913张图片用于测试。其中40类作为可见类别，剩下10类作为未知类别.
4、Attribute Pascal and Yahoo(aPY)：该数据集包含来自32类的15339张图片，其中5932图片用于训练，1483图片作为验证集，和7924张图片用于测试。其中20类作为可见类别，剩下12类作为未知类别
经过90个epoch的训练，上述方法在四个广泛使用的细粒度基准数据集中都取得了当前最好的结果。上述方法在CUB，SUN，AWA2和aPY上分别取得了64.5％，40.4％，68.0％，和42.3％的最高准确率，比目前最好的方法平均高了10％。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (10)

1.一种细粒度图像零样本识别方法，其特征在于，包括：
构建语义分解与迁移网络，利用获取的源域数据集中的视觉图像与对应的语义属性，以及目标域数据集中包含的语义属性来训练所述的语义分解与迁移网络，使其能将视觉图像与其对应的语义表达做正确的配对；
在测试阶段，利用训练好的语义分解与迁移网络对来源于任意域的视觉图像进行识别，得到识别结果。
2.根据权利要求1所述的一种细粒度图像零样本识别方法，其特征在于，所述语义分解与迁移网络包括分解语义映射与迁移视觉映射，即分别将语义属性与视觉图像映射到嵌入空间，通过训练使得对应的图像表达和语义表达尽可能一致，不同的图像表达和语义表达尽可能远离；
其中，分解语义映射包括三个子映射函数：域不变的语义映射函数、源域特异的语义映射函数、以及目标域特异的语义映射函数，来同时捕捉源域和目标域语义信息共有的部分和私有的部分；
迁移视觉映射时，对于源域的视觉图像空间进行全监督学习；对于目标域，在合成的目标域图像空间进行标签平滑学习。
3.根据权利要求2所述的一种细粒度图像零样本识别方法，其特征在于，语义分解与迁移网络训练阶段的目标函数表示为：
Figure FDA0001944654740000011
其中，λi，i∈[1，5]表示不同目标函数的权重；
Figure FDA0001944654740000012
表示与源域数据集中视觉图像与语义属性相似度相关的目标函数；
Figure FDA0001944654740000013
表示优化三个分解的子映射函数在两个域映射的目标函数；
Figure FDA0001944654740000014
表示将源域特异的语义映射函数迁移至目标域特异的语义映射函数时的目标函数；
Figure FDA0001944654740000015
表示对源域的视觉图像空间进行全监督学习的目标函数；
Figure FDA0001944654740000016
表示在合成的目标域图像空间进行标签平滑学习的目标函数。
4.根据权利要求3所述的一种细粒度图像零样本识别方法，其特征在于，目标函数
Figure FDA0001944654740000017
的表达式为：
Figure FDA0001944654740000018
其中，f、
Figure FDA0001944654740000019
对应的表示视觉映射、分解语义映射，χs为源域的视觉图像空间，a为视觉图像x对应的语义属性，语义属性为一组向量，其编码的内容为视觉图像的属性描述；d()计算了两个输入表达特征的相似度度量：
Figure FDA0001944654740000021
其中，||表达向量的模，<>表示向量的内积。
5.根据权利要求3所述的一种细粒度图像零样本识别方法，其特征在于，分解语义映射
Figure FDA0001944654740000022
表示为：
Figure FDA0001944654740000023
其中，As、At对应的表示源域的语义属性空间、目标域的语义属性空间；
Figure FDA0001944654740000024
Figure FDA0001944654740000025
对应的表示域不变的语义映射函数、源域特异的语义映射函数、目标域特异的语义映射函数；域不变的语义映射函数
Figure FDA0001944654740000026
负责连接两个域的语义映射函数，使分解语义映射
Figure FDA0001944654740000027
能够在两个域之间做知识迁移，源域特异的语义映射函数
Figure FDA0001944654740000028
与目标域特异的语义映射函数
Figure FDA0001944654740000029
能够捕捉到各自域语义空间的特异信息。
6.根据权利要求5所述的一种细粒度图像零样本识别方法，其特征在于，
使用无监督的方式来限制源域特异的语义映射函数
Figure FDA00019446547400000210
与目标域特异的语义映射函数
Figure FDA00019446547400000211
通过重建误差来分别优化源域特异的语义映射函数
Figure FDA00019446547400000212
与目标域特异的语义映射函数
Figure FDA00019446547400000213
目标函数
Figure FDA00019446547400000214
的表达式为：
Figure FDA00019446547400000215
其中，
Figure FDA00019446547400000216
对应的表示对源域特异的语义映射函数
Figure FDA00019446547400000217
目标域特异的语义映射函数
Figure FDA00019446547400000218
所对应的解码器。
7.根据权利要求5所述的一种细粒度图像零样本识别方法，其特征在于，目标函数
Figure FDA00019446547400000219
的表达式为：
Figure FDA00019446547400000220
其中，
Figure FDA00019446547400000221
对应的表示源域特异的语义映射函数
Figure FDA00019446547400000222
目标域特异的语义映射函数
Figure FDA00019446547400000223
的可学习参数。
8.根据权利要求3所述的一种细粒度图像零样本识别方法，其特征在于，采用交叉熵分类目标函数来限制提取的视觉特征具有区分性，该方式为全监督学习的分类约束，其目标函数
Figure FDA00019446547400000224
的表达式为：
Figure FDA0001944654740000031
其中，源域数据集中还包括类别标签集合Ys，每一视觉图像对应了一个类别标签，py(f(x))为视觉图像x对类别标签y的打分。
9.根据权利要求3所述的一种细粒度图像零样本识别方法，其特征在于，对于目标域，将目标域的语义空间信息迁移到目标域的图像空间，来合成出目标域图像空间；采用标签平滑正则方法来训练，其目标函数
Figure FDA0001944654740000032
的表达式为：
Figure FDA0001944654740000033
其中，Ys表示源域数据集的类别标签集合。
10.根据权利要求1所述的一种细粒度图像零样本识别方法，其特征在于，测试阶段，对来源于任意域的视觉图像x′的预测类别标签的预测表示为：
Figure FDA0001944654740000034
其中，预测到的类别标签y*也即相应的识别结果；p(f(x′))表示分类器p对视觉图像x′属于不同类别的概率打分；Yt表示目标域数据集的类别标签集合，Ys表示源域数据集的类别标签集合，Y＝Ys∪Yt；τ为一个阈值函数，用来判断视觉图像x′是否属于目标域。
CN201910032246.XA 2019-01-14 2019-01-14 细粒度图像零样本识别方法 Active CN111435453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910032246.XA CN111435453B (zh) 2019-01-14 2019-01-14 细粒度图像零样本识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910032246.XA CN111435453B (zh) 2019-01-14 2019-01-14 细粒度图像零样本识别方法

Publications (2)

Publication Number Publication Date
CN111435453A true CN111435453A (zh) 2020-07-21
CN111435453B CN111435453B (zh) 2022-07-22

Family

ID=71579870

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910032246.XA Active CN111435453B (zh) 2019-01-14 2019-01-14 细粒度图像零样本识别方法

Country Status (1)

Country Link
CN (1) CN111435453B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329884A (zh) * 2020-11-25 2021-02-05 成都信息工程大学 基于判别性视觉属性的零样本识别方法及系统
CN113936227A (zh) * 2021-12-17 2022-01-14 北京数慧时空信息技术有限公司 遥感影像样本迁移方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104036023A (zh) * 2014-06-26 2014-09-10 福州大学 一种融合上下文的树形视频语义索引建立方法
CN105335499A (zh) * 2015-10-27 2016-02-17 盐城工学院 一种基于分布-收敛模型的文献聚类方法
CN106778804A (zh) * 2016-11-18 2017-05-31 天津大学 基于类别属性迁移学习的零样本图像分类方法
CN107292349A (zh) * 2017-07-24 2017-10-24 中国科学院自动化研究所 基于百科知识语义增强的零样本分类方法、装置
CN107480688A (zh) * 2017-06-20 2017-12-15 广东工业大学 基于零样本学习的细粒度图像识别方法
CN108376267A (zh) * 2018-03-26 2018-08-07 天津大学 一种基于类别转移的零样本分类方法
WO2018188240A1 (zh) * 2017-04-10 2018-10-18 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN108765383A (zh) * 2018-03-22 2018-11-06 山西大学 基于深度迁移学习的视频描述方法
US20180329048A1 (en) * 2007-07-27 2018-11-15 Lucomm Technologies, Inc. Systems and methods for semantic sensing
CN108830334A (zh) * 2018-06-25 2018-11-16 江西师范大学 一种基于对抗式迁移学习的细粒度目标判别方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180329048A1 (en) * 2007-07-27 2018-11-15 Lucomm Technologies, Inc. Systems and methods for semantic sensing
CN104036023A (zh) * 2014-06-26 2014-09-10 福州大学 一种融合上下文的树形视频语义索引建立方法
CN105335499A (zh) * 2015-10-27 2016-02-17 盐城工学院 一种基于分布-收敛模型的文献聚类方法
CN106778804A (zh) * 2016-11-18 2017-05-31 天津大学 基于类别属性迁移学习的零样本图像分类方法
WO2018188240A1 (zh) * 2017-04-10 2018-10-18 北京大学深圳研究生院 一种基于深度语义空间的跨媒体检索方法
CN107480688A (zh) * 2017-06-20 2017-12-15 广东工业大学 基于零样本学习的细粒度图像识别方法
CN107292349A (zh) * 2017-07-24 2017-10-24 中国科学院自动化研究所 基于百科知识语义增强的零样本分类方法、装置
CN108765383A (zh) * 2018-03-22 2018-11-06 山西大学 基于深度迁移学习的视频描述方法
CN108376267A (zh) * 2018-03-26 2018-08-07 天津大学 一种基于类别转移的零样本分类方法
CN108830334A (zh) * 2018-06-25 2018-11-16 江西师范大学 一种基于对抗式迁移学习的细粒度目标判别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
AOXUE LI 等: "Zero-Shot Fine-Grained Classfication by Deep Feature Learning with Semantics", 《ARXIV:1707.00785V1》 *
ELYOR KODIROV 等: "Unsupervised Domain Adaptation for Zero-Shot Learning", 《ICCV》 *
JIE SONG 等: "Transductive Unbiased Embedding for Zero-Shot Learning", 《ARXIV:1803.11320V1》 *
李岩: "文本情感分析中关键问题的研究", 《中国优秀博硕士学位论文全文数据库（博士） 信息科技辑》 *
魏杰 等: "基于视觉特征低维嵌入的细粒度图像分类", 《计算机辅助设计与图形学学报》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329884A (zh) * 2020-11-25 2021-02-05 成都信息工程大学 基于判别性视觉属性的零样本识别方法及系统
CN113936227A (zh) * 2021-12-17 2022-01-14 北京数慧时空信息技术有限公司 遥感影像样本迁移方法

Also Published As

Publication number Publication date
CN111435453B (zh) 2022-07-22

Similar Documents

Publication Publication Date Title
US11373390B2 (en) Generating scene graphs from digital images using external knowledge and image reconstruction
CN111476284B (zh) 图像识别模型训练及图像识别方法、装置、电子设备
US11631234B2 (en) Automatically detecting user-requested objects in images
CN111754596B (zh) 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN110580501B (zh) 一种基于变分自编码对抗网络的零样本图像分类方法
US20190012581A1 (en) Method and an apparatus for evaluating generative machine learning model
WO2018196760A1 (en) Ensemble transfer learning
CN108288051B (zh) 行人再识别模型训练方法及装置、电子设备和存储介质
CN112949786A (zh) 数据分类识别方法、装置、设备及可读存储介质
CN110826639B (zh) 一种利用全量数据训练零样本图像分类方法
Tang et al. Zero-shot learning by mutual information estimation and maximization
CN111435453B (zh) 细粒度图像零样本识别方法
CN113947087B (zh) 一种基于标签的关系构建方法、装置、电子设备及存储介质
Belharbi et al. Deep neural networks regularization for structured output prediction
Wang et al. Context-sensitive zero-shot semantic segmentation model based on meta-learning
CN114328942A (zh) 关系抽取方法、装置、设备、存储介质和计算机程序产品
Deng et al. Boosting semi-supervised learning with Contrastive Complementary Labeling
WO2021258482A1 (zh) 基于迁移与弱监督的美丽预测方法、装置及存储介质
Tamir et al. Understanding from deep learning models in context
CN104200222B (zh) 一种基于因子图模型的图片中对象识别方法
CN116958724A (zh) 一种产品分类模型的训练方法和相关装置
Zhang et al. From rgb-d images to rgb images: Single labeling for mining visual models
Yao et al. Undirected graph representing strategy for general room layout estimation
Ciompi et al. ECOC-DRF: Discriminative random fields based on error correcting output codes
Üstünkök et al. Image Tag Refinement with Self Organizing Maps

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant