CN107679556A - 基于变分自动编码器的零样本图像分类方法 - Google Patents
基于变分自动编码器的零样本图像分类方法 Download PDFInfo
- Publication number
- CN107679556A CN107679556A CN201710843425.2A CN201710843425A CN107679556A CN 107679556 A CN107679556 A CN 107679556A CN 201710843425 A CN201710843425 A CN 201710843425A CN 107679556 A CN107679556 A CN 107679556A
- Authority
- CN
- China
- Prior art keywords
- mrow
- msub
- semantic feature
- mover
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
- G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种面向计算机视觉领域的零样本分类技术，为提出零样本图像分类方法，拟合类别的语义特征和视觉特征在语义空间中的映射之间的分布，建立更加有效地视觉特征和类别语义之间的语义关联。本发明，基于变分自动编码器的零样本图像分类方法，利用变分自动编码器由视觉特征生成嵌入语义特征，变分自动编码器认为存在隐变量将隐变量作为嵌入语义特征，对于零样本图像分类任务，对于类别未知样本的视觉特征xj，利用在可见类上训练好的变分自动编码器的编码网络，计算编码生成的隐变量将作为嵌入语义特征，计算与每个未见类的语义特征的余弦距离，最终，将距离最小的类别认定为该视觉样本的类别。本发明主要应用于视频分类场合。
Description
技术领域
本发明涉及一种面向计算机视觉领域的零样本分类技术，特别是涉及基于变分自动编码器的零样本图像分类技术。具体讲,涉及基于变分自动编码器的零样本图像分类方法。
背景技术
随着深度学习在图像处理领域的大量应用，对于训练数据的需求也在不断扩大，然而，获得标注样本需要耗费大量的人力。因此标注数据的匮乏成了制约深度学习发展的瓶颈之一。零样本问题旨在通过模型的知识迁移，实现对未参与训练类别的图像分类。与传统的图像分类问题不同，零样本问题将图像数据参与训练的类别定义为可见类，与之相对应的图像数据不参与训练的类别被定义为未见类，可见类别和未见类别的语义特征成为迁移的“知识”。例如，利用马的图像数据训练零样本模型，同时将“斑马为有条纹的马”这一语义关系赋予零样本模型，则该模型可以对斑马的图像进行分类。
当前解决零样本图像分类的模型框架是，在训练阶段中，利用可见类的视觉特征和语义特征训练一个语义嵌入模型，该模型能够实现由视觉空间到语义空间的映射。在测试阶段，将测试样本的视觉特征利用已训练的语义嵌入模型计算语义空间上的映射特征，即为嵌入语义特征，通过度量未见类各类别的语义特征与嵌入语义特征的距离，将距离最小的类别认定为该测试样本的类别，从而实现零样本图像分类任务。
目前，图像的语义描述大多针对的是每个类别，例如，对斑马的属性的语义描述为：“陆生、食草、黑色、白色、有尾巴等等”。同时，不同的类别间也会具有相同语义，例如，马和狗都具有“尾巴”这一属性。然而，在视觉上，马和狗的尾巴是不同的，不同马的尾巴也会存在差异。因此，我们认为视觉特征具有某一属性语义应为符合一定的概率分布。
自动编码器作为一种常用的无监督学习方式，在结构上由三层神经网络组成，第一层与第三层神经元的个数与输入数据维度一致，第二层神经元个数为编码的位数，层与层之间为全连接。自动编码器实现对输入数据编码、解码的过程，利用反向传播算法能够实现对网络的训练。变分自动编码器认为编码的结果为隐变量，该变量应符合高斯分布。隐变量的分布可由均值和标准差确定。在结构上，变分自动编码器的编码网络由两个并行的全连接神经网络构成，网络输出的结果作为隐变量的均值和标准差，通过计算得到的隐变量经由解码网络生成输入数据。
发明内容
为克服现有技术的不足，本发明旨在提出零样本图像分类方法，拟合类别的语义特征和视觉特征在语义空间中的映射之间的分布，建立更加有效地视觉特征和类别语义之间的语义关联。本发明采用的技术方案是，基于变分自动编码器的零样本图像分类方法，利用变分自动编码器由视觉特征生成嵌入语义特征，变分自动编码器认为存在隐变量该变量服从n维高斯分布：
其中，该分布均值为方差为I是由N(0，1)分布中采样得到的特征矩阵，隐变量表示为：
变量和由两个全连接神经网络h1(；)和h2(；)依照视觉特征计算得到，即：
变分编码器的输出为生成视觉特征该特征由隐变量经由全连接神经网络计算得到，即：
为了将变分自动编码器应用于零样本图像分类任务，将隐变量作为嵌入语义特征，该特征服从真实语义特征的概率分布，为了训练差分自动编码器，定义损失函数：
该损失函数由视觉损失和语义损失两个部分构成，其中，视觉损失是为了缩小生成视觉特征与真实视觉特征xi之间的差距，语义损失函数是为了提高对语义特征的预测准确率；
对于零样本图像分类任务，对于类别未知样本的视觉特征xj，利用在可见类上训练好的变分自动编码器的编码网络，计算编码生成的隐变量将作为嵌入语义特征，计算与每个未见类的语义特征的余弦距离，最终，将距离最小的类别认定为该视觉样本的类别，以此实现零样本分类任务。
训练具体步骤如下，为可见类的视觉特征，为可见类的真实语义特征，n为可见类样本的个数，d为视觉特征的维度，u为语义特征的维度；
1)从可见类数据集合中抽取视觉特征xi和其对应的语义特征zi作为训练模型的输入；
2)视觉特征xi经过两个神经网络分别计算嵌入语义特征的均值和标准差，这两个神经网络均为两层全连接神经网络，第一层神经元个数为d，第二层神经元个数为u；
3)从N(0，1)分布中采样得到特征矩阵由嵌入语义特征的均值标准差和特征矩阵I依照公式(2)计算嵌入语义特征
4)嵌入语义特征经过一个神经网络计算得到生成的视觉特征该神经网络由两层全连接神经网络构成，第一层神经元个数为由u，第二层神经元个数d；
5)由视觉特征xi和生成视觉特征依照公式(7)计算得到视觉损失由真实语义特征zi和嵌入语义特征依照公式(8)计算语义损失将视觉损失和语义损失依照公式(6)得到总体损失利用反向传播算法根据总体损失优化模型中神经网络的参数；
6)重复训练步骤1-5直至总体损失函数收敛。
测试具体步骤是，为未见类的视觉特征，m为未见类中视觉特征样本的个数，为未见类的真实语义特征，t为未见类的类别个数，则：
1)将待测试样本的视觉特征xj输入训练好的模型，依照训练过程的步骤2、3得到嵌入语义特征
2)由嵌入语义特征与未见类中的每个类别的真实语义特征zτ分别计算距离公式如下：
3)选取真实语义特征与嵌入语义特征距离最小的类别作为视觉特征xj的类别公式如下：
本发明的特点及有益效果是：
本发明采用变分自动编码器拟合类别的语义特征和视觉特征在语义空间中的映射之间的分布，建立更加有效地视觉特征和类别语义之间的语义关联，其优势主要体现在：
(1)新颖性：首次将变分自动编码器引入零样本分类技术中，充分考虑了语义数据的概率分布特性，设计了适合于图像数据特征的零样本分类技术。
(2)有效性：通过主观和客观实验证明了，与目前的某些零样本图像方法相比较，本发明设计的基于变分自动编码器的零样本分类方法在性能上相对有所提高，因此更适用于零样本图像分类问题中。
(3)实用性：简单可行，本发明解决的零样本图像分类问题，在图像检索、目标识别、语义描述等领域具有广泛的应用。
附图说明：
图1是本发明的基于变分自动编码器的语义嵌入模型训练的流程图。
图2是本发明的基于变分自动编码器的零样本分类模型测试的流程图。
具体实施方式
给定可见类样本集合S＝{(xi,zi,yi),i＝1,...,n},为可见类样本的视觉特征，为可见类样本的语义特征，为可见类样本的类别，n为可见类样本的个数。零样本分类的目的是对给定未见类样本的视觉特征j＝1,...,m(m为未见类样本的个数)和所有未见类类别的语义特征(t为未见类的类别个数)，预测未见类样本的类别j＝1,...,m,其中
当前解决零样本图像分类问题的方法主要包括以下三个步骤：
1)利用训练样本训练实现视觉空间到语义空间映射f:或者语义空间到视觉空间映射g:的语义嵌入模型；
2)利用学习到的模型将未知类别的样本映射到语义空间，或者将类别的语义描述特征映射到视觉的表征空间；
3)利用度量方法度量视觉样本和类别语义特征之间的语义相似度，常用的度量标准有余弦距离、欧氏距离。语义相似度最大的类别则认为是该样本的类别。
然而当前的算法存在着以下问题：
在建立模型的过程中没有考虑到嵌入语义特征与真实语义特征的概率分布关系，当前模型实现的是嵌入语义特征与真实语义特征相等关系，即f xi＝zi。然而，目前采用的语义特征都是按照每个类别标注得到的，不同视觉特征生成具有相同语义的嵌入语义特征会存在细小差距，因此学习到的模型不能很好地拟合不同模态数据之间的语义关联信息。
基于此，本发明假设嵌入语义特征应符合真实语义特征的概率分布，即f xi～Pzi，并在此基础上引入变分自动编码器，缩小嵌入语义特征与真实语义特征的分布差异，达到拟合不同模型数据语义关联的目的。
变分自动编码器是一种基于概率分布的特征生成模型，通过训练能够使生成特征符合某一高斯分布。本发明在此基础上，利用变分自动编码器由视觉特征生成嵌入语义特征，提出了一种新的解决零样本学习的生成框架，具体模型如下：
基于变分自动编码器的零样本图像分类方法是利用变分自动编码器由视觉特征生成嵌入语义特征。变分自动编码器认为存在隐变量该变量服从n维高斯分布：
其中，该分布均值为方差为I是由N(0，1)分布中采样得到的特征矩阵。隐变量可以表示为：
变量和可以由两个全连接神经网络h1(；)和h2(；)依照视觉特征计算得到，即：
与传统自动编码器一样，变分编码器的输出为生成视觉特征该特征可以由隐变量经由全连接神经网络计算得到，即：
为了将变分自动编码器应用于零样本图像分类任务，本发明假定隐变量为嵌入语义特征，该特征服从真实语义特征的概率分布，为了训练差分自动编码器，本发明定义损失函数：
该损失函数由视觉损失和语义损失两个部分构成，其中，视觉损失是为了缩小生成视觉特征与真实视觉特征xi之间的差距，语义损失函数是为了提高对语义特征的预测准确率。
对于零样本图像分类任务，对于类别未知样本的视觉特征xj，本发明利用在可见类上训练好的变分自动编码器的编码网络，计算编码生成的隐变量将作为嵌入语义特征，计算与每个未见类的语义特征的余弦距离。最终，将距离最小的类别认定为该视觉样本的类别，以此实现零样本分类任务。本发明更加符合真实数据的特点，在零样本任务中能够实现更好的分类效果。
下面结合附图和具体实例进一步详细说明本发明。
图1描述了基于变分自动编码器的语义嵌入模型的训练流程图，假设为可见类的视觉特征，为可见类的真实语义特征，n为可见类样本的个数，d为视觉特征的维度，u为语义特征的维度。
1)从可见类数据集合中抽取视觉特征xi和其对应的语义特征zi作为训练模型的输入。
2)视觉特征xi经过两个神经网络分别计算嵌入语义特征的均值和标准差这两个神经网络均为两层全连接神经网络，第一层神经元个数为d，第二层神经元个数为u。
3)从N(0，1)分布中采样得到特征矩阵由嵌入语义特征的均值标准差和特征矩阵I依照公式(2)计算嵌入语义特征
4)嵌入语义特征经过一个神经网络计算得到生成的视觉特征该神经网络又两层全连接神经网络构成，第一层神经元个数为由u，第二层神经元个数d。
5)由视觉特征xi和生成视觉特征依照公式(7)计算得到视觉损失由真实语义特征zi和嵌入语义特征依照公式(8)计算语义损失将视觉损失和语义损失依照公式(6)得到总体损失利用反向传播算法根据总体损失优化模型中神经网络的参数。
6)重复训练步骤1-5直至总体损失函数收敛。
图2描述了基于变分自动编码器的零样本图像分类模型的测试的流程图，测试过程实现的是对未见类别视觉特征的分类。假设为未见类的视觉特征，m为未见类中视觉特征样本的个数，为未见类的真实语义特征，t为未见类的类别个数。
1)将待测试样本的视觉特征xj输入训练好的模型，依照训练过程的步骤2、3得到嵌入语义特征
2)由嵌入语义特征与未见类中的每个类别的真实语义特征zτ分别计算距离公式如下：
3)选取真实语义特征与嵌入语义特征距离最小的类别作为视觉特征xj的类别公式如下：
Claims (3)
1.一种基于变分自动编码器的零样本图像分类方法，其特征是，利用变分自动编码器由视觉特征生成嵌入语义特征，变分自动编码器认为存在隐变量该变量服从n维高斯分布：
<mrow>
<mi>P</mi>
<mrow>
<mo>(</mo>
<mi>Z</mi>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mi>N</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>&mu;</mi>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
</msub>
<mo>,</mo>
<msubsup>
<mi>&sigma;</mi>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>I</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>1</mn>
<mo>)</mo>
</mrow>
</mrow>
其中，该分布均值为方差为I是由N(0，1)分布中采样得到的特征矩阵，隐变量表示为：
<mrow>
<mover>
<mi>Z</mi>
<mo>^</mo>
</mover>
<mo>=</mo>
<msub>
<mi>&mu;</mi>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
</msub>
<mo>+</mo>
<msubsup>
<mi>&sigma;</mi>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mn>2</mn>
</msubsup>
<mo>*</mo>
<mi>I</mi>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>2</mn>
<mo>)</mo>
</mrow>
</mrow>
变量和由两个全连接神经网络h1(；)和h2(；)依照视觉特征计算得到，即：
<mrow>
<msub>
<mi>&mu;</mi>
<msub>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<msub>
<mi>h</mi>
<mn>1</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>;</mo>
<mi>&alpha;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>3</mn>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<msub>
<mi>&sigma;</mi>
<msub>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
</msub>
<mo>=</mo>
<msub>
<mi>h</mi>
<mn>2</mn>
</msub>
<mrow>
<mo>(</mo>
<msub>
<mi>x</mi>
<mi>i</mi>
</msub>
<mo>;</mo>
<mi>&beta;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>4</mn>
<mo>)</mo>
</mrow>
</mrow>
变分编码器的输出为生成视觉特征该特征由隐变量经由全连接神经网络计算得到，即：
<mrow>
<msub>
<mover>
<mi>x</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>=</mo>
<mi>g</mi>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mi>i</mi>
</msub>
<mo>;</mo>
<mi>&gamma;</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mrow>
<mo>(</mo>
<mn>5</mn>
<mo>)</mo>
</mrow>
</mrow>
为了将变分自动编码器应用于零样本图像分类任务，将隐变量作为嵌入语义特征，该特征服从真实语义特征的概率分布，为了训练差分自动编码器，定义损失函数：
该损失函数由视觉损失和语义损失两个部分构成，其中，视觉损失是为了缩小生成视觉特征与真实视觉特征xi之间的差距，语义损失函数是为了提高对语义特征的预测准确率；
对于零样本图像分类任务，对于类别未知样本的视觉特征xj，利用在可见类上训练好的变分自动编码器的编码网络，计算编码生成的隐变量将作为嵌入语义特征，计算与每个未见类的语义特征的余弦距离，最终，将距离最小的类别认定为该视觉样本的类别，以此实现零样本分类任务。
2.如权利要求1所述的基于变分自动编码器的零样本图像分类方法，其特征是，训练具体步骤如下，为可见类的视觉特征，为可见类的真实语义特征，n为可见类样本的个数，d为视觉特征的维度，u为语义特征的维度；
1)从可见类数据集合中抽取视觉特征xi和其对应的语义特征zi作为训练模型的输入；
2)视觉特征xi经过两个神经网络分别计算嵌入语义特征的均值和标准差这两个神经网络均为两层全连接神经网络，第一层神经元个数为d，第二层神经元个数为u；
3)从N(0，1)分布中采样得到特征矩阵由嵌入语义特征的均值标准差和特征矩阵I依照公式(2)计算嵌入语义特征
4)嵌入语义特征经过一个神经网络计算得到生成的视觉特征该神经网络由两层全连接神经网络构成，第一层神经元个数为由u，第二层神经元个数d；
5)由视觉特征xi和生成视觉特征依照公式(7)计算得到视觉损失由真实语义特征zi和嵌入语义特征依照公式(8)计算语义损失将视觉损失和语义损失依照公式(6)得到总体损失利用反向传播算法根据总体损失优化模型中神经网络的参数；
6)重复训练步骤1-5直至总体损失函数收敛。
3.如权利要求1所述的基于变分自动编码器的零样本图像分类方法，其特征是，测试具体步骤是，为未见类的视觉特征，m为未见类中视觉特征样本的个数，为未见类的真实语义特征，t为未见类的类别个数，则：
1)将待测试样本的视觉特征xj输入训练好的模型，依照训练过程的步骤2、3得到嵌入语义特征
2)由嵌入语义特征与未见类中的每个类别的真实语义特征zτ分别计算距离公式如下：
3)选取真实语义特征与嵌入语义特征距离最小的类别作为视觉特征xj的类别公式如下：
<mrow>
<msub>
<mover>
<mi>y</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>=</mo>
<mi>arg</mi>
<munder>
<mi>min</mi>
<mrow>
<mi>&tau;</mi>
<mo>&Element;</mo>
<mn>1</mn>
<mo>,</mo>
<mi>t</mi>
</mrow>
</munder>
<mi>D</mi>
<mrow>
<mo>(</mo>
<msub>
<mover>
<mi>z</mi>
<mo>^</mo>
</mover>
<mi>j</mi>
</msub>
<mo>,</mo>
<msub>
<mi>z</mi>
<mi>&tau;</mi>
</msub>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mo>-</mo>
<mo>-</mo>
<mo>(</mo>
<mn>10</mn>
<mo>)</mo>
<mo>.</mo>
</mrow>
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710843425.2A CN107679556A (zh) | 2017-09-18 | 2017-09-18 | 基于变分自动编码器的零样本图像分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710843425.2A CN107679556A (zh) | 2017-09-18 | 2017-09-18 | 基于变分自动编码器的零样本图像分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107679556A true CN107679556A (zh) | 2018-02-09 |
Family
ID=61135824
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710843425.2A Pending CN107679556A (zh) | 2017-09-18 | 2017-09-18 | 基于变分自动编码器的零样本图像分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107679556A (zh) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664967A (zh) * | 2018-04-17 | 2018-10-16 | 上海交通大学 | 一种多媒体页面视觉显著性预测方法及系统 |
| CN108875818A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 基于变分自编码机与对抗网络结合的零样本图像分类方法 |
| CN108932705A (zh) * | 2018-06-27 | 2018-12-04 | 北京工业大学 | 一种基于矩阵变量变分自编码器的图像处理方法 |
| CN109492662A (zh) * | 2018-09-27 | 2019-03-19 | 天津大学 | 一种基于对抗自编码器模型的零样本分类方法 |
| CN109543838A (zh) * | 2018-11-01 | 2019-03-29 | 浙江工业大学 | 一种基于变分自编码器的图像增量学习方法 |
| CN109598279A (zh) * | 2018-09-27 | 2019-04-09 | 天津大学 | 基于自编码对抗生成网络的零样本学习方法 |
| CN110097095A (zh) * | 2019-04-15 | 2019-08-06 | 天津大学 | 一种基于多视图生成对抗网络的零样本分类方法 |
| CN110135459A (zh) * | 2019-04-15 | 2019-08-16 | 天津大学 | 一种基于双三元组深度度量学习网络的零样本分类方法 |
| CN110163258A (zh) * | 2019-04-24 | 2019-08-23 | 浙江大学 | 一种基于语义属性注意力重分配机制的零样本学习方法及系统 |
| CN110222771A (zh) * | 2019-06-10 | 2019-09-10 | 成都澳海川科技有限公司 | 一种零样本图片的类别识别方法 |
| CN110309853A (zh) * | 2019-05-20 | 2019-10-08 | 湖南大学 | 基于变分自编码器的医学图像聚类方法 |
| CN110517328A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于相关双自编码器在零次学习上的运用方法 |
| CN110580501A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
| CN110647897A (zh) * | 2018-06-26 | 2020-01-03 | 广东工业大学 | 一种基于多部分注意力机制的零样本图像分类识别方法 |
| CN110719487A (zh) * | 2018-07-13 | 2020-01-21 | 深圳地平线机器人科技有限公司 | 视频预测方法和装置、电子设备及车辆 |
| CN111224670A (zh) * | 2018-11-27 | 2020-06-02 | 富士通株式会社 | 自动编码器及用于对自动编码器进行训练的方法和介质 |
| CN111563554A (zh) * | 2020-05-08 | 2020-08-21 | 河北工业大学 | 基于回归变分自编码器的零样本图像分类方法 |
| CN111695570A (zh) * | 2020-05-19 | 2020-09-22 | 广东石油化工学院 | 一种基于变分原型推理的小样本下语义分割方法 |
| CN111914929A (zh) * | 2020-07-30 | 2020-11-10 | 南京邮电大学 | 零样本学习方法 |
| CN112052856A (zh) * | 2019-06-05 | 2020-12-08 | 邓毅华 | 一种基于图像特征编码的目标检测方法 |
| CN112163603A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 零样本图像识别方法、装置、电子设备及存储介质 |
| CN112598000A (zh) * | 2021-03-03 | 2021-04-02 | 北京世纪好未来教育科技有限公司 | 题目识别方法、装置、电子设备及计算机存储介质 |
| CN112966676A (zh) * | 2021-02-04 | 2021-06-15 | 北京易道博识科技有限公司 | 一种基于零样本学习的文档关键信息抽取方法 |
| CN113139591A (zh) * | 2021-04-14 | 2021-07-20 | 广州大学 | 一种基于增强多模态对齐的广义零样本图像分类方法 |
| CN113435531A (zh) * | 2021-07-07 | 2021-09-24 | 中国人民解放军国防科技大学 | 零样本图像分类方法、系统、电子设备及存储介质 |
| CN115439809A (zh) * | 2022-11-07 | 2022-12-06 | 浙江非线数联科技股份有限公司 | 基于数字孪生的地铁人流密度实时监测系统及其方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485271A (zh) * | 2016-09-30 | 2017-03-08 | 天津大学 | 一种基于多模态字典学习的零样本分类方法 |
-
2017
- 2017-09-18 CN CN201710843425.2A patent/CN107679556A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106485271A (zh) * | 2016-09-30 | 2017-03-08 | 天津大学 | 一种基于多模态字典学习的零样本分类方法 |
Non-Patent Citations (3)
| Title |
|---|
| DIEDERIK P.KINGMA 等: "Auto-Encoding Variational Bayes", 《ARXIV》 * |
| ELYOR KODIROV 等: "Semantic Autoencoder for Zero-shot Learning", 《ARXIV》 * |
| YANNAN LI 等: "Zero-Shot Learning with Generative Latent Prototype Model", 《ARXIV》 * |
Cited By (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108664967A (zh) * | 2018-04-17 | 2018-10-16 | 上海交通大学 | 一种多媒体页面视觉显著性预测方法及系统 |
| CN108664967B (zh) * | 2018-04-17 | 2020-08-25 | 上海媒智科技有限公司 | 一种多媒体页面视觉显著性预测方法及系统 |
| CN108875818A (zh) * | 2018-06-06 | 2018-11-23 | 西安交通大学 | 基于变分自编码机与对抗网络结合的零样本图像分类方法 |
| CN110647897B (zh) * | 2018-06-26 | 2023-04-18 | 广东工业大学 | 一种基于多部分注意力机制的零样本图像分类识别方法 |
| CN110647897A (zh) * | 2018-06-26 | 2020-01-03 | 广东工业大学 | 一种基于多部分注意力机制的零样本图像分类识别方法 |
| CN108932705B (zh) * | 2018-06-27 | 2022-05-03 | 北京工业大学 | 一种基于矩阵变量变分自编码器的图像处理方法 |
| CN108932705A (zh) * | 2018-06-27 | 2018-12-04 | 北京工业大学 | 一种基于矩阵变量变分自编码器的图像处理方法 |
| CN110719487A (zh) * | 2018-07-13 | 2020-01-21 | 深圳地平线机器人科技有限公司 | 视频预测方法和装置、电子设备及车辆 |
| CN110719487B (zh) * | 2018-07-13 | 2021-11-09 | 深圳地平线机器人科技有限公司 | 视频预测方法和装置、电子设备及车辆 |
| CN109598279A (zh) * | 2018-09-27 | 2019-04-09 | 天津大学 | 基于自编码对抗生成网络的零样本学习方法 |
| CN109492662B (zh) * | 2018-09-27 | 2021-09-14 | 天津大学 | 一种基于对抗自编码器模型的零样本图像分类方法 |
| CN109598279B (zh) * | 2018-09-27 | 2023-04-25 | 天津大学 | 基于自编码对抗生成网络的零样本学习方法 |
| CN109492662A (zh) * | 2018-09-27 | 2019-03-19 | 天津大学 | 一种基于对抗自编码器模型的零样本分类方法 |
| CN109543838A (zh) * | 2018-11-01 | 2019-03-29 | 浙江工业大学 | 一种基于变分自编码器的图像增量学习方法 |
| CN111224670A (zh) * | 2018-11-27 | 2020-06-02 | 富士通株式会社 | 自动编码器及用于对自动编码器进行训练的方法和介质 |
| CN111224670B (zh) * | 2018-11-27 | 2023-09-15 | 富士通株式会社 | 自动编码器及用于对自动编码器进行训练的方法和介质 |
| CN110097095B (zh) * | 2019-04-15 | 2022-12-06 | 天津大学 | 一种基于多视图生成对抗网络的零样本分类方法 |
| CN110135459B (zh) * | 2019-04-15 | 2023-04-07 | 天津大学 | 一种基于双三元组深度度量学习网络的零样本分类方法 |
| CN110135459A (zh) * | 2019-04-15 | 2019-08-16 | 天津大学 | 一种基于双三元组深度度量学习网络的零样本分类方法 |
| CN110097095A (zh) * | 2019-04-15 | 2019-08-06 | 天津大学 | 一种基于多视图生成对抗网络的零样本分类方法 |
| CN110163258B (zh) * | 2019-04-24 | 2021-04-09 | 浙江大学 | 一种基于语义属性注意力重分配机制的零样本学习方法及系统 |
| CN110163258A (zh) * | 2019-04-24 | 2019-08-23 | 浙江大学 | 一种基于语义属性注意力重分配机制的零样本学习方法及系统 |
| CN110309853A (zh) * | 2019-05-20 | 2019-10-08 | 湖南大学 | 基于变分自编码器的医学图像聚类方法 |
| CN112052856A (zh) * | 2019-06-05 | 2020-12-08 | 邓毅华 | 一种基于图像特征编码的目标检测方法 |
| CN110222771A (zh) * | 2019-06-10 | 2019-09-10 | 成都澳海川科技有限公司 | 一种零样本图片的类别识别方法 |
| CN110517328B (zh) * | 2019-07-12 | 2020-08-25 | 杭州电子科技大学 | 一种基于相关双自编码器在零次学习上的运用方法 |
| CN110517328A (zh) * | 2019-07-12 | 2019-11-29 | 杭州电子科技大学 | 一种基于相关双自编码器在零次学习上的运用方法 |
| CN110580501B (zh) * | 2019-08-20 | 2023-04-25 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
| CN110580501A (zh) * | 2019-08-20 | 2019-12-17 | 天津大学 | 一种基于变分自编码对抗网络的零样本图像分类方法 |
| CN111563554A (zh) * | 2020-05-08 | 2020-08-21 | 河北工业大学 | 基于回归变分自编码器的零样本图像分类方法 |
| CN111563554B (zh) * | 2020-05-08 | 2022-05-17 | 河北工业大学 | 基于回归变分自编码器的零样本图像分类方法 |
| CN111695570B (zh) * | 2020-05-19 | 2023-12-05 | 广东石油化工学院 | 一种基于变分原型推理的小样本下语义分割方法 |
| CN111695570A (zh) * | 2020-05-19 | 2020-09-22 | 广东石油化工学院 | 一种基于变分原型推理的小样本下语义分割方法 |
| CN111914929B (zh) * | 2020-07-30 | 2022-08-23 | 南京邮电大学 | 零样本学习方法 |
| CN111914929A (zh) * | 2020-07-30 | 2020-11-10 | 南京邮电大学 | 零样本学习方法 |
| CN112163603A (zh) * | 2020-09-15 | 2021-01-01 | 郑州金惠计算机系统工程有限公司 | 零样本图像识别方法、装置、电子设备及存储介质 |
| CN112966676A (zh) * | 2021-02-04 | 2021-06-15 | 北京易道博识科技有限公司 | 一种基于零样本学习的文档关键信息抽取方法 |
| CN112966676B (zh) * | 2021-02-04 | 2023-10-20 | 北京易道博识科技有限公司 | 一种基于零样本学习的文档关键信息抽取方法 |
| CN112598000A (zh) * | 2021-03-03 | 2021-04-02 | 北京世纪好未来教育科技有限公司 | 题目识别方法、装置、电子设备及计算机存储介质 |
| CN113139591B (zh) * | 2021-04-14 | 2023-02-24 | 广州大学 | 一种基于增强多模态对齐的广义零样本图像分类方法 |
| CN113139591A (zh) * | 2021-04-14 | 2021-07-20 | 广州大学 | 一种基于增强多模态对齐的广义零样本图像分类方法 |
| CN113435531B (zh) * | 2021-07-07 | 2022-06-21 | 中国人民解放军国防科技大学 | 零样本图像分类方法、系统、电子设备及存储介质 |
| CN113435531A (zh) * | 2021-07-07 | 2021-09-24 | 中国人民解放军国防科技大学 | 零样本图像分类方法、系统、电子设备及存储介质 |
| CN115439809A (zh) * | 2022-11-07 | 2022-12-06 | 浙江非线数联科技股份有限公司 | 基于数字孪生的地铁人流密度实时监测系统及其方法 |
| CN115439809B (zh) * | 2022-11-07 | 2023-03-03 | 浙江非线数联科技股份有限公司 | 基于数字孪生的地铁人流密度实时监测系统及其方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107679556A (zh) | 基于变分自动编码器的零样本图像分类方法 | |
| CN106920243A (zh) | 改进的全卷积神经网络的陶瓷材质件序列图像分割方法 | |
| CN109101938B (zh) | 一种基于卷积神经网络的多标签年龄估计方法 | |
| CN106096561A (zh) | 基于图像块深度学习特征的红外行人检测方法 | |
| CN107862261A (zh) | 基于多尺度卷积神经网络的图像人群计数方法 | |
| CN110046671A (zh) | 一种基于胶囊网络的文本分类方法 | |
| CN111612807A (zh) | 一种基于尺度和边缘信息的小目标图像分割方法 | |
| CN105825235A (zh) | 一种基于多特征图深度学习的图像识别方法 | |
| CN104281853A (zh) | 一种基于3d卷积神经网络的行为识别方法 | |
| CN108417029A (zh) | 基于自适应多任务深度学习的城市路网行程时间估计方法 | |
| CN112950780B (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
| CN106408030A (zh) | 基于中层语义属性和卷积神经网络的sar图像分类方法 | |
| CN107038416A (zh) | 一种基于二值图像改进型hog特征的行人检测方法 | |
| CN106022363A (zh) | 一种适用于自然场景下的中文文字识别方法 | |
| CN107203752A (zh) | 一种联合深度学习和特征二范数约束的人脸识别方法 | |
| CN105224937A (zh) | 基于人体部件位置约束的细粒度语义色彩行人重识别方法 | |
| CN106991666A (zh) | 一种适用于多尺寸图片信息的病害图像识别方法 | |
| CN108960404A (zh) | 一种基于图像的人群计数方法及设备 | |
| CN113158943A (zh) | 一种跨域红外目标检测方法 | |
| CN104134068A (zh) | 基于稀疏编码的监控车辆特征表示及分类方法 | |
| CN112801270A (zh) | 融合深度卷积与注意力机制的u形网络槽自动识别方法 | |
| Chen et al. | Agricultural remote sensing image cultivated land extraction technology based on deep learning | |
| CN110020658A (zh) | 一种基于多任务深度学习的显著目标检测方法 | |
| CN105631477A (zh) | 基于极限学习机和自适应提升的交通标志识别方法 | |
| CN115761240B (zh) | 一种混沌反向传播图神经网络的图像语义分割方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20180209 |