CN111914903B - 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备 - Google Patents

一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备 Download PDF

Info

Publication number
CN111914903B
CN111914903B CN202010652682.XA CN202010652682A CN111914903B CN 111914903 B CN111914903 B CN 111914903B CN 202010652682 A CN202010652682 A CN 202010652682A CN 111914903 B CN111914903 B CN 111914903B
Authority
CN
China
Prior art keywords
class
sample
distribution
svae
hidden space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010652682.XA
Other languages
English (en)
Other versions
CN111914903A (zh
Inventor
兰旭光
陈星宇
郑南宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian Jiaotong University
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN202010652682.XA priority Critical patent/CN111914903B/zh
Publication of CN111914903A publication Critical patent/CN111914903A/zh
Application granted granted Critical
Publication of CN111914903B publication Critical patent/CN111914903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备。本发明利用已知类的数据和对应的类别语义属性训练一个外分布样本检测器，将每个类别在隐空间中表示为一个von Mises‑Fisher(vMF)分布，从而得到每个类的流型边界。根据已知类的流型边界，提出的外分布样本检测器可以将未知类的特征和已知类特征区分开。因此，本发明可以将广义的零样本分类问题简化成一个有监督分类问题和一个传统的零样本目标分类问题，避免了广义零样本分类问题中的特征混淆问题和偏差问题，从而大幅提高广义零样本分类的性能。本发明可以应用于缺乏训练数据并需要识别未知类样本的应用环境中，如智能机器人系统，智能推荐系统，社交媒体信息过滤系统等。

Description

一种基于外分布样本检测的广义零样本目标分类方法、装置 及相关设备
技术领域
本发明属于计算机视觉领域，具体涉及一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备。
背景技术
广义零样本分类是计算机视觉中的一个重要任务，在智能机器人，智能推荐，社交媒体信息过滤等任务中有着广阔的应用场景。之前的广义零样本识别算法可以分为两类：基于嵌入的方法和基于合成特征的方法。基于嵌入的方主要目的是在视觉空间和语义空间之间建立影射从而在同一空间中对视觉特征和语义属性进行相似度度量。这种方法对缺陷在于通常会受到偏差问题的影响，即未知类的特征会被投影到已知类附近，使得分类器更倾向于将测试样本分为已知类。基于合成特征的方法目的在于为未知类生成合成特征，从而将广义零样本分类问题转化成一个有监督分类问题。这种方法的缺陷在于未知类的合成特征容易和已知类的特征发生混淆，影响分类器的性能。如果先用一个分类器将已知类的特征和未知类的特征区分开，然后使用两个专家分类器分别识别这两种特征，那么广义零样本分类问题就可以分解成一个传统的零样本分类和一个有监督分类问题。这样就可以避免之前方法存在的偏差问题和特征混淆问题，从而极大提升广义零样本分类的性能。
然而，由于缺乏未知类的训练数据，这个二分类器是难以训练的。因此，在仅利用已知类训练数据的情况下训练一个能区分已知类和未知类特征的分类器是目前的一个难点问题。
发明内容
本发明的目的在于克服上述难点，提供一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备，该方法能够准确的将已知类特征和未知类特征区分开，极大提升广义零样本识别的准确率。
为了达到上述目的，本发明包括以下步骤：
一种基于外分布样本检测的广义零样本目标分类方法，包括以下步骤：
利用超球面变分自编码器在单位超球面上建立隐空间，将隐空间中每一个已知类都表示成一个vMF分布模型；
获取对象的视觉特征和语义属性，并对视觉特征和语义属性两种模态的数据采用两个超球面变分自编码器联合训练，使其对应的概率分布在隐空间中按类别对齐；
根据每个已知类的视觉特征和语义属性在隐空间中的投影点，确定每一类的流型边界；根据该边界确定一个测试样本是否被投影到已知类的分布中，从而区分已知类和未知类的特征；
以区分已知类和未知类的特征结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，从而将广义零样本分类问题分解成一个有监督分类和一个传统的零样本分类任务。
作为本发明的进一步改进，包括以下步骤：
所述vMF分布模型，定义如下：
q(z|μ,κ)＝Cm(κ)exp(κμTz) (1)
Figure BDA0002575579060000021
其中
Figure BDA0002575579060000022
‖μ‖2＝1表示m维的平均方向向量，
Figure BDA0002575579060000023
表示集中度；Cm(κ)I表示归一化常数，Iv表示v阶第一类modified Bessel函数。
作为本发明的进一步改进，当模型收敛时，每一类表示成一个vMF分布，对应于隐空间中的一个低维流型，其均值方向表示该类的中心。
作为本发明的进一步改进，利用两个超球面变分自编码器联合训练，在隐空间中为每个已知类学习得到一个有界的流型，所述模型主要由两个SVAE构成，分别对应于视觉特征和语义属性两种数据模态,分别记为f-SVAE和a-SVAE；
给定一个已知类的语义属性向量，a-SVAE的编码器在隐空间中预测一个vMF分布；同时，给定一个该类的一个视觉特征，f-SVAE的编码器预测另外一个vMF分布；每个SVAE将另一个SVAE预测的分布作为自己的先验，通过同时最大化两个SVAE的目标函数来使q1和q2在隐空间中对齐。
作为本发明的进一步改进，所述模型还引入了模态交叉重构机制和分类器，所述模型的目标函数由4部分构成：
Loverall＝Lf-SVAE+La-SVAE+Lcr+Lcls (3)
Figure BDA0002575579060000031
Figure BDA0002575579060000032
Figure BDA0002575579060000033
Figure BDA0002575579060000034
其中，x表示视觉特征，a表示语义属性，z表示隐变量，
Figure BDA0002575579060000035
表示f-SVAE的编码器，
Figure BDA0002575579060000036
表示f-SVAE的解码器，
Figure BDA0002575579060000037
表示a-SVAE的编码器，
Figure BDA0002575579060000038
表示a-SVAE的解码器，
Figure BDA0002575579060000039
表示分类器，，θf，
Figure BDA00025755790600000310
θa,
Figure BDA00025755790600000311
表示相应的神经网络参数，Dz(·||·)表示两个分布间的EMD。
作为本发明的进一步改进，确定每一类的流型边界是指：每一类在隐空间中的流型近似表示为单位超球面上的一个圆；其中心由语义属性经a-SVAE编码得到，代表该类的中心，其边界通过统计该类训练样本数据得到。
作为本发明的进一步改进，确定每一类的流型边界具体包括：
首先利用f-SVAE将该类所有的样本点编码成隐空间中的隐变量，然后计算所有隐变量到和类中心的余弦相似度；
根据相似度的统计信息，找到一个阈值来表示该类的边界，给定一个测试样本，如果其被f-SVAE编码到某一个已知类的流型边界之内，则被认为属于已知类，否则被认作属于未知类。
一种基于外分布样本检测的广义零样本目标分类装置，包括：
建立模块，用于利用超球面变分自编码器在单位超球面上建立隐空间，将隐空间中每一个已知类都表示成一个vMF分布模型；
训练模块，用于获取对象的视觉特征和语义属性，并对视觉特征和语义属性两种模态的数据采用两个超球面变分自编码器联合训练，使其对应的概率分布在隐空间中按类别对齐；
确定模块，用于根据每个已知类的视觉特征和语义属性在隐空间中的投影点，确定每一类的流型边界；根据该边界确定一个测试样本是否被投影到已知类的分布中，从而区分已知类和未知类的特征；
及处理模块，用于以区分已知类和未知类的特征结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，从而将广义零样本分类问题分解成一个有监督分类和一个传统的零样本分类任务。
一种基于外分布样本检测的广义零样本目标分类设备，包括：存储器、处理器及存储在所述存储器上并可在所述基于外分布样本检测的广义零样本目标分类程序，所述基于外分布样本检测的广义零样本目标分类程序被所述处理器执行时实现所述的基于外分布样本检测的广义零样本目标分类方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质上存储有基于外分布样本检测的广义零样本目标分类程序，所述基于外分布样本检测的广义零样本目标分类程序被处理器执行时实现所述的基于外分布样本检测的广义零样本目标分类方法的步骤。
与现有技术相比，本发明具有以下优点：
与现有技术相比，本发明利用已知类的数据和对应的类别语义属性训练一个外分布样本检测器，将每个类别在隐空间中表示为一个von Mises-Fisher(vMF)分布，从而得到每个类的流型边界。根据已知类的流型边界，提出的外分布样本检测器可以将未知类的特征和已知类特征区分开。本发明的方法利用外分布样本检测的方法将广义零样本分类问题简化成一个有监督分类和一个传统的零样本分类问题。特别是以区分已知类和未知类的特征结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，能够准确的将已知类特征和未知类特征区分开，极大提升广义零样本识别的准确率。这种方法避免了传统零样本分类中的偏差问题和特征混淆问题。从而极大的提升了广义零样本分类的性能。
本发明的分类装置通过建立模块、训练模块、确定模块及处理模块的配合，实现了将将广义零样本分类问题简化成一个有监督分类和一个传统的零样本分类问题。
附图说明
图1为本发明的基于外分布样本检测的广义零样本目标分类方法示意图；
图2为本发明网络结构图；
图3为本发明基于外分布样本检测的广义零样本目标分类装置模块示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明一种基于外分布样本检测的广义零样本目标分类方法，包括以下步骤：
步骤一：利用超球面变分自编码器(SVAE)在单位超球面上建立隐空间，在隐空间中每一个已知类都可以表示成一个vMF分布；
作为优选实施例，利用超球面变分自编码器在一个单位超球面上建立隐空间。所有的隐变量都位于单位超球面上，因此可以直接使用余弦相似度进行距离度量。在隐空间中每个已知类可以表示为一个vMF分布，定义如下：
q(z|μ,κ)＝Cm(κ)exp(κμTz) (1)
Figure BDA0002575579060000061
其中
Figure BDA0002575579060000062
‖μ‖2＝1表示m维的平均方向向量，
Figure BDA0002575579060000063
表示集中度。Cm(κ)表示归一化常数，Iv表示v阶第一类modified Bessel函数。
步骤二：对视觉特征和语义属性两种模态的数据，采用两个超球面变分自编码器联合训练，使其对应的概率分布在隐空间中按类别对齐。当模型收敛时，每一类可以表示成一个vMF分布，对应于隐空间中的一个低维流型，其均值方向表示该类的中心。
作为优选实施例，利用两个超球面变分自编码器联合训练，在隐空间中为每个已知类学习得到一个有界的流型。
如图2所示，模型主要由两个SVAE构成，分别对应于视觉特征和语义属性两种数据模态,分别记为f-SVAE和a-SVAE。给定一个已知类的语义属性向量，a-SVAE的编码器可以在隐空间中预测一个vMF分布。同时，给定一个该类的一个视觉特征，f-SVAE的编码器可以预测另外一个vMF分布。每个SVAE将另一个SVAE预测的分布作为自己的先验，因此可以通过同时最大化两个SVAE的目标函数来使q1和q2在隐空间中对齐。同时，由于模型的输入包括两种数据模态，为了使隐空间中的特征具有模态不变性，模型中还引入了模态交叉重构机制。另外，模型还引入一个分类器，从而使隐空间中的特征更具区分性。因此，模型的目标函数由4部分构成：
Loverall＝Lf-SVAE+La-SVAE+Lcr+Lcls (3)
Figure BDA0002575579060000071
Figure BDA0002575579060000072
Figure BDA0002575579060000073
Figure BDA0002575579060000074
其中，x表示视觉特征，a表示语义属性，z表示隐变量，
Figure BDA0002575579060000075
表示f-SVAE的编码器，
Figure BDA0002575579060000076
表示f-SVAE的解码器，
Figure BDA0002575579060000077
表示a-SVAE的编码器，
Figure BDA0002575579060000078
表示a-SVAE的解码器，
Figure BDA0002575579060000079
表示分类器，θf，
Figure BDA00025755790600000710
θa,
Figure BDA00025755790600000711
表示相应的神经网络参数。Dz(·||·)表示两个分布间的EMD(Earth Mover’s Distance)。
步骤三：根据每个已知类的视觉特征和语义属性在隐空间中的投影点，确定每一类的流型边界。根据该边界可以确定一个测试样本是否被投影到已知类的分布中，从而区分已知类和未知类的特征。
作为优选实施例，当步骤二的神经网络训练收敛，每个已知类的视觉特征和对应的语义属性投影到隐空间中后是逐类对齐的。每一类都可以用一个vMF分布表示。因此，每一类在隐空间中的流型可以近似表示为单位超球面上的一个圆。其中心可以由语义属性经a-SVAE编码得到，代表该类的中心。其边界可以通过统计该类训练样本数据得到。具体来说，首先利用f-SVAE将该类所有的样本点编码成隐空间中的隐变量，然后计算所有隐变量到和类中心的余弦相似度。根据这些相似度的统计信息，找到一个阈值来表示该类的边界。给定一个测试样本，如果其被f-SVAE编码到某一个已知类的流型边界之内，则被认为属于已知类，否则被认作属于未知类。
步骤四：以步骤三的分类结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，从而将广义零样本分类问题分解成一个有监督分类和一个传统的零样本分类任务。
作为优选实施例，以步骤三的分类结果为基础，对已知类和未知类的特征分别采用两个专家分类器进行分类。对于未知类专家分类器，采用一个基于生成式对抗网络的零样本分类模型。对于已知类专家分类器，直接使用有监督的方法训练。在AWA1,AWA2,CUB,FLO,SUN5个零样本分类数据集上，广义零样本分类的结果如表1所示。其中，U表示模型在未知类测试数据上的平均分类准确率。S表示模型在已知类测试数据上的平均分类准确率。调和平均数
Figure BDA0002575579060000081
反映模型同时对已知类和未知类样本进行分类的能力。H越高，表示广义零样本分类模型的性能越强。
表1不同数据集上的广义零样本分类结果
未知类准确率U 已知类准确率V 调和平均数H
AWA1 59.0 94.3 72.6
AWA2 55.9 94.9 70.3
CUB 53.8 94.6 68.6
FLO 61.9 91.7 73.9
SUN 57.8 95.1 71.9
综上所述，本发明一种基于外分布样本检测的广义零样本目标分类方法。本发明利用已知类的数据和对应的类别语义属性训练一个外分布样本检测器，将每个类别在隐空间中表示为一个von Mises-Fisher(vMF)分布，从而得到每个类的流型边界。根据已知类的流型边界，提出的外分布样本检测器可以将未知类的特征和已知类特征区分开。因此，本发明可以将广义的零样本分类问题简化成一个有监督分类问题和一个传统的零样本目标分类问题，避免了广义零样本分类问题中的特征混淆问题和偏差问题，从而大幅提高广义零样本分类的性能。本发明可以应用于缺乏训练数据并需要识别未知类样本的应用环境中，如智能机器人系统，智能推荐系统，社交媒体信息过滤系统等。
请参阅图3，本申请第二方面提供了一种基于外分布样本检测的广义零样本目标分类装置。
本申请实施例所提供的一种基于外分布样本检测的广义零样本目标分类装置，包括：
建立模块，用于利用超球面变分自编码器在单位超球面上建立隐空间，将隐空间中每一个已知类都表示成一个vMF分布模型；
训练模块，获取对象的视觉特征和语义属性，并对视觉特征和语义属性两种模态的数据采用两个超球面变分自编码器联合训练，使其对应的概率分布在隐空间中按类别对齐；
确定模块，根据每个已知类的视觉特征和语义属性在隐空间中的投影点，确定每一类的流型边界；根据该边界确定一个测试样本是否被投影到已知类的分布中，从而区分已知类和未知类的特征；
及处理模块，以区分已知类和未知类的特征结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，从而将广义零样本分类问题分解成一个有监督分类和一个传统的零样本分类任务。
本申请第三方面提供了一种基于外分布样本检测的广义零样本目标分类设备，包括：存储器、处理器及存储在所述存储器上并可在所述基于外分布样本检测的广义零样本目标分类程序，所述基于外分布样本检测的广义零样本目标分类程序被所述处理器执行时实现所述的基于外分布样本检测的广义零样本目标分类方法的步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有基于外分布样本检测的广义零样本目标分类程序，所述基于外分布样本检测的广义零样本目标分类程序被处理器执行时实现所述的基于外分布样本检测的广义零样本目标分类方法的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个(项)”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，A，B或C中的至少一项(个)，可以表示：A，B，C，“A和B”，“A和C”，“B和C”，或“A和B和C”，其中A，B，C可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：READ-ONLYMEMORY，英文缩写：ROM)、随机存取存储器(英文全称：RANDOM ACCESS MEMORY，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (7)

1.一种基于外分布样本检测的广义零样本目标分类方法，其特征在于，包括以下步骤：
利用超球面变分自编码器在单位超球面上建立隐空间，将隐空间中每一个已知类都表示成一个vMF分布模型；
获取对象的视觉特征和语义属性，并对视觉特征和语义属性两种模态的数据采用两个超球面变分自编码器联合训练，使其对应的概率分布在隐空间中按类别对齐；
根据每个已知类的视觉特征和语义属性在隐空间中的投影点，确定每一类的流型边界；根据该边界确定一个测试样本是否被投影到已知类的分布中，从而区分已知类和未知类的特征；
以区分已知类和未知类的特征结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，从而将广义零样本分类问题分解成一个有监督分类和一个传统的零样本分类任务；
利用两个超球面变分自编码器联合训练，在隐空间中为每个已知类学习得到一个有界的流型，所述模型主要由两个SVAE构成，分别对应于视觉特征和语义属性两种数据模态,分别记为f-SVAE和a-SVAE；
给定一个已知类的语义属性向量，a-SVAE的编码器在隐空间中预测一个vMF分布；同时，给定一个该类的一个视觉特征，f-SVAE的编码器预测另外一个vMF分布；每个SVAE将另一个SVAE预测的分布作为自己的先验，通过同时最大化两个SVAE的目标函数来使q1和q2在隐空间中对齐；
确定每一类的流型边界是指：每一类在隐空间中的流型近似表示为单位超球面上的一个圆；其中心由语义属性经a-SVAE编码得到，代表该类的中心，其边界通过统计该类训练样本数据得到；
确定每一类的流型边界具体包括：
首先利用f-SVAE将该类所有的样本点编码成隐空间中的隐变量，然后计算所有隐变量到类中心的余弦相似度；
根据相似度的统计信息，找到一个阈值来表示该类的边界，给定一个测试样本，如果其被f-SVAE编码到某一个已知类的流型边界之内，则被认为属于已知类，否则被认作属于未知类。
2.根据权利要求1所述的基于外分布样本检测的广义零样本目标分类方法，其特征在于，包括以下步骤：
所述vMF分布模型，定义如下：
Figure FDA0003786959720000027
Figure FDA0003786959720000021
其中
Figure FDA0003786959720000022
‖μ‖2＝1表示m维的平均方向向量，
Figure FDA0003786959720000023
表示集中度；Cm(κ)表示归一化常数，Iv表示v阶第一类modified Bessel函数。
3.根据权利要求1所述的基于外分布样本检测的广义零样本目标分类方法，其特征在于，当模型收敛时，每一类表示成一个vMF分布，对应于隐空间中的一个低维流型，其均值方向表示该类的中心。
4.根据权利要求1所述的基于外分布样本检测的广义零样本目标分类方法，其特征在于，所述模型还引入了模态交叉重构机制和分类器，所述模型的目标函数由4部分构成：
Figure FDA0003786959720000028
Figure FDA0003786959720000024
Figure FDA0003786959720000025
Figure FDA0003786959720000026
Figure FDA0003786959720000031
其中，x表示视觉特征，a表示语义属性，z表示隐变量，
Figure FDA0003786959720000032
表示f-SVAE的编码器，
Figure FDA0003786959720000033
表示f-SVAE的解码器，
Figure FDA0003786959720000034
表示a-SVAE的编码器，
Figure FDA0003786959720000035
表示a-SVAE的解码器，
Figure FDA0003786959720000036
表示分类器，θf，
Figure FDA0003786959720000037
θa,
Figure FDA0003786959720000038
表示相应的神经网络参数，Dz(·||·)表示两个分布间的EMD。
5.一种基于外分布样本检测的广义零样本目标分类装置，基于权利要求1至4任一项所述的基于外分布样本检测的广义零样本目标分类方法，其特征在于，包括：
建立模块，用于利用超球面变分自编码器在单位超球面上建立隐空间，将隐空间中每一个已知类都表示成一个vMF分布模型；
训练模块，用于获取对象的视觉特征和语义属性，并对视觉特征和语义属性两种模态的数据采用两个超球面变分自编码器联合训练，使其对应的概率分布在隐空间中按类别对齐；
确定模块，用于根据每个已知类的视觉特征和语义属性在隐空间中的投影点，确定每一类的流型边界；根据该边界确定一个测试样本是否被投影到已知类的分布中，从而区分已知类和未知类的特征；
及处理模块，用于以区分已知类和未知类的特征结果为基础，采用两个专家分类器分别处理已知类和未知类的测试样本，从而将广义零样本分类问题分解成一个有监督分类和一个传统的零样本分类任务。
6.一种基于外分布样本检测的广义零样本目标分类设备，其特征在于，包括：存储器、处理器及存储在所述存储器上的所述基于外分布样本检测的广义零样本目标分类程序，所述基于外分布样本检测的广义零样本目标分类程序被所述处理器执行时实现如权利要求1至4中任一项所述的基于外分布样本检测的广义零样本目标分类方法的步骤。
7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有基于外分布样本检测的广义零样本目标分类程序，所述基于外分布样本检测的广义零样本目标分类程序被处理器执行时实现如权利要求1至4中任一项所述的基于外分布样本检测的广义零样本目标分类方法的步骤。
CN202010652682.XA 2020-07-08 2020-07-08 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备 Active CN111914903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010652682.XA CN111914903B (zh) 2020-07-08 2020-07-08 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010652682.XA CN111914903B (zh) 2020-07-08 2020-07-08 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备

Publications (2)

Publication Number Publication Date
CN111914903A CN111914903A (zh) 2020-11-10
CN111914903B true CN111914903B (zh) 2022-10-25

Family

ID=73227685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010652682.XA Active CN111914903B (zh) 2020-07-08 2020-07-08 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备

Country Status (1)

Country Link
CN (1) CN111914903B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116406469A (zh) * 2020-11-30 2023-07-07 英特尔公司 用于动作识别的在线学习方法和系统
CN112580722A (zh) * 2020-12-20 2021-03-30 大连理工大学人工智能大连研究院 一种基于条件对抗自动编码机的广义零样本图像识别方法
CN113139591B (zh) * 2021-04-14 2023-02-24 广州大学 一种基于增强多模态对齐的广义零样本图像分类方法
CN113553577B (zh) * 2021-06-01 2023-03-24 中国人民解放军战略支援部队信息工程大学 基于超球面变分自动编码器的未知用户恶意行为检测方法及系统
CN113849653B (zh) * 2021-10-14 2023-04-07 鼎富智能科技有限公司 一种文本分类方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108846412A (zh) * 2018-05-08 2018-11-20 复旦大学 一种泛化零样本学习的方法
CN108846413A (zh) * 2018-05-21 2018-11-20 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN108875818A (zh) * 2018-06-06 2018-11-23 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法
CN109643384A (zh) * 2016-08-16 2019-04-16 诺基亚技术有限公司 用于零样本学习的方法和装置
CN110073367A (zh) * 2017-01-19 2019-07-30 赫尔实验室有限公司 用于零样本学习的利用基于soft-max的兼容性函数的多视图嵌入

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3750103A4 (en) * 2018-02-06 2021-11-17 HRL Laboratories, LLC MACHINE VIEWING SYSTEM FOR DETECTION OF NEW OBJECTS

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109643384A (zh) * 2016-08-16 2019-04-16 诺基亚技术有限公司 用于零样本学习的方法和装置
CN110073367A (zh) * 2017-01-19 2019-07-30 赫尔实验室有限公司 用于零样本学习的利用基于soft-max的兼容性函数的多视图嵌入
CN108846412A (zh) * 2018-05-08 2018-11-20 复旦大学 一种泛化零样本学习的方法
CN108846413A (zh) * 2018-05-21 2018-11-20 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN108875818A (zh) * 2018-06-06 2018-11-23 西安交通大学 基于变分自编码机与对抗网络结合的零样本图像分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Edgar Schönfeld 等，.Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders.《2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)》.2020,第2020年卷 *
基于双模态字典的零样本潜在空间映射方法及零样本的对抗生成;谭学仕，;《中国优秀博硕士学位论文全文数据库（硕士）信息科技辑》;20200115;第2020年卷;第I138-2025页 *
基于自编码器的零样本学习方法研究进展;杨晨曦 等，;《现代计算机》;20200131;第2020年卷(第1期);第48-52页 *

Also Published As

Publication number Publication date
CN111914903A (zh) 2020-11-10

Similar Documents

Publication Publication Date Title
CN111914903B (zh) 一种基于外分布样本检测的广义零样本目标分类方法、装置及相关设备
De Silva et al. Topological estimation using witness complexes.
Pansombut et al. Convolutional neural networks for recognition of lymphoblast cell images
Distante et al. Handbook of image processing and computer vision
EP3340106B1 (en) Method and system for assigning particular classes of interest within measurement data
Touati et al. An energy-based model encoding nonlocal pairwise pixel interactions for multisensor change detection
Carneiro et al. The segmentation of the left ventricle of the heart from ultrasound data using deep learning architectures and derivative-based search methods
US8107726B2 (en) System and method for class-specific object segmentation of image data
Kim et al. Color–texture segmentation using unsupervised graph cuts
CN111553127A (zh) 一种多标记的文本类数据特征选择方法及装置
CN109934278B (zh) 一种信息增益混合邻域粗糙集的高维度特征选择方法
Guedri et al. Indexing and images retrieval by content
CN111369003A (zh) 一种量子比特读取信号保真度的确定方法、装置
Choe et al. Urban structure classification using the 3D normal distribution transform for practical robot applications
Morgenstern et al. An image-computable model of human visual shape similarity
CN112101574B (zh) 一种机器学习有监督模型解释方法、系统及设备
US20220189070A1 (en) Machine-learning for 3d object detection
Unnikrishnan et al. Robust extraction of multiple structures from non-uniformly sampled data
Zhao et al. Feature and region selection for visual learning
CN112766145B (zh) 人工神经网络的人脸动态表情识别方法及装置
CN116664585B (zh) 基于深度学习的头皮健康状况检测方法及相关装置
CN111860359A (zh) 一种基于改进随机森林算法的点云分类方法
Jensch et al. A comparative evaluation of three skin color detection approaches
Jenicka Sugeno fuzzy-inference-system-based land cover classification of remotely sensed images
Sucharitha et al. Brain image segmentation using adaptive mean shift based fuzzy C means clustering algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant