CN107944468A - 基于隐空间编码的零样本学习分类方法 - Google Patents

基于隐空间编码的零样本学习分类方法 Download PDF

Info

Publication number
CN107944468A
CN107944468A CN201711064082.6A CN201711064082A CN107944468A CN 107944468 A CN107944468 A CN 107944468A CN 201711064082 A CN201711064082 A CN 201711064082A CN 107944468 A CN107944468 A CN 107944468A
Authority
CN
China
Prior art keywords
mrow
msup
matrix
mtd
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711064082.6A
Other languages
English (en)
Inventor
于云龙
冀中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711064082.6A priority Critical patent/CN107944468A/zh
Publication of CN107944468A publication Critical patent/CN107944468A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种计算机视觉领域的多模态学习方法，为提出一种性能稳定，计算效率高且适用于多模态学习的特征认知的编码方法，并将所提的方法应用于零样本学习中。为此，本发明采用的技术方案是，基于隐空间编码的零样本学习分类方法，对于任一模态，利用矩阵分解的方法将此模态的输入特征矩阵分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和一个解码矩阵重构原始的输入特征矩阵，其中编码矩阵和解码矩阵是互为转置的关系，利用矩阵分解的方法学习一个编码矩阵来表征不同模态特征之间共有的语义信息，得到不同模态之间的语义关联，进而实现不同模态样本的分类。本发明主要应用于特征认知编码场合。

Description

基于隐空间编码的零样本学习分类方法
技术领域
本发明涉及一种计算机视觉领域的多模态学习方法。特别是涉及一种基于特征认知的编码方法，可以应用于跨模态信息检索，零样本学习等领域。具体讲,涉及基于隐空间编码的零样本学习分类方法。
背景技术
尽管深度卷积神经网络的发展极大地提高了物体识别的性能，但是当前大部分分类模型都是基于监督学习的模型，需要人力去标注大量的训练样本。另外，当新的类别加入分类系统时，分类模型就需要重新训练。这些问题严重的影响了传统分类模型的可扩展性。
为了解决传统分类模型中的缺陷，零样本学习能够识别出在训练阶段未见过类别的样本，受到了研究者们的关注。零样本学习主要是寻找一个类别语义嵌入空间将可见类别的信息转移到未见类别中。当前主要的语义嵌入空间有两种：一种是人为定义的类别属性空间，是有预先定义好的一系列的属性名称张成；另一种是文本向量空间，是利用无监督自然语言处理的技术从大规模的语料库中提取的。得到类别语义空间后，可见类别和未见类别的之间关系就可以利用不同类别在类别语义空间中的距离度量获得，如欧式距离，余弦距离等。因为每一个类别都与类别语义空间中唯一的向量相对应，因此，当前大多数算法主要是利用可见类别的样本学习一个视觉模态和类别语义模态之间的映射函数，然后利用学习到的映射函数得到测试样本和未见类别的类别语义特征之间的关系，从而实现未见类别样本的识别。
大多数模型主要学习一个具体的映射函数联系不同模态之间的关系。然而，不同模态之间的关系是复杂的，甚至是不可描述的，学习具体的映射函数并不能很好地进行建模。
发明内容
为克服现有技术的不足，本发明旨在提出一种性能稳定，计算效率高且适用于多模态学习的特征认知的编码方法，并将所提的方法应用于零样本学习中。为此，本发明采用的技术方案是，基于隐空间编码的零样本学习分类方法，对于任一模态，利用矩阵分解的方法将此模态的输入特征矩阵分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和一个解码矩阵重构原始的输入特征矩阵，其中编码矩阵和解码矩阵是互为转置的关系，利用矩阵分解的方法学习一个编码矩阵来表征不同模态特征之间共有的语义信息，得到不同模态之间的语义关联，进而实现不同模态样本的分类。
直接利用矩阵分解的方法将视觉特征矩阵分解为编码矩阵和线性解码矩阵即：X～DC，其中p为视觉空间的维度，d为编码矩阵的维度，n为训练样本的个数，具体过程为：
其中|| ||F表示矩阵的弗罗贝尼乌斯范数，λ表示平衡参数，给定编码矩阵C，最优的解码矩阵D通过求解以下目标函数获得：
CTCD+λDXTX＝(1+λ)CTX (2)
编码矩阵C是不相关的，即：
CTC＝I (3)
其中I表示单位矩阵，将(3)代入(2)中，得到解码矩阵D的闭式表达式：
D＝(1+λ)CTX(I+λDXTX)-1 (4)
将(4)代入(1)中，目标函数(1)表达为：
minTr[XTX+λCTC]-(1+λ)Tr[CTX(I+λXTX)-1XTC] (5)
其中Tr表示矩阵的迹；
考虑到Tr[XTX+λCTC]是常数，因此目标函数(5)等价于：
maxTr[CTX(I+λXTX)-1XTC]
s.t.CTC＝I (6)
学习一种线性或者非线性的关系使得语义特征和编码特征之间的相关性最大，其目标函数为：
其中W表示线性映射矩阵，考虑到CTC＝I，因此目标函数转换为：
maxATWC s.t.ATWWTA＝I (8)
固定编码矩阵C，线性映射矩阵W的最优值为：
将(9)代入到(7)中，目标函数转换为：
其中△＝A(ATA)-1AT，因此步骤2)的目标函数等价为：
maxTr(CT△C)s.t.CTC＝I (11)
结合步骤1)和步骤2)的目标函数，目标函数为：
其中α表示平衡参数，△＝A(ATA)-1AT。
目标函数(12)的优化通过以下方法进行求解：
对于编码矩阵C的每一列向量C·,i通过求解以下子问题获得：
利用拉格朗日乘子法，最优C·,i需要满足下面的优化条件：
(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i (14)
其中ωi表示拉格朗日乘子，因此，编码矩阵C的优化转换为特征值分解问题，(X(I+λXTX)-1XT+α△)的前d个最大特征值对应着编码矩阵C的最优解；
获得编码矩阵C的最优解后，解码矩阵D可以通过公式(4)获得；同样的，映射矩阵W可以通过公式(9)获得。
本发明的特点及有益效果是：
本发明对于任一模态，利用矩阵分解的方法将此模态的输入特征分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和解码矩阵重构原始的输入特征。其中编码矩阵和解码矩阵是互为转置的关系，这样既可以减少训练参数也可以获得闭式的显示解。为了将建立不同模态之间的语义关系，描述同一概念的不同模态的特征应共享公共的隐层向量。
附图说明：
图1是本发明方法应用于零样本学习的流程图。
具体实施方式
本发明所要解决的技术问题是，提供一种性能稳定，计算效率高且适用于多模态学习的特征认知的编码方法，并将所提的方法应用于零样本学习中。
本发明适用于多模态学习的范畴。不失一般性，假设给定两个模态的特征，并以视觉模态和语义模态为例，表示视觉样本的特征集合，xi是第i个样本的视觉特征，n表示样本的个数，p表示视觉空间的维度；表示与视觉样本对应的语义特征集合，如ai是第i个样本对应的类别语义特征，q表示语义空间的维度。
本发明中提出了一种基于编码-解码框架下的含蓄模型。具体为：对于任一模态，利用矩阵分解的方法将此模态的输入特征分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和解码矩阵重构原始的输入特征。其中编码矩阵和解码矩阵是互为转置的关系，这样既可以减少训练参数也可以获得闭式的显示解。为了将建立不同模态之间的语义关系，描述同一概念的不同模态的特征应共享公共的隐层向量。
本发明所采用的技术方案是：一种基于特征认知的编码方法，包括如下步骤：
1)视觉特征的编码过程
2)编码特征和语义特征的预测映射过程
步骤1)中的编码过程直接利用矩阵分解的方法将视觉特征矩阵分解为隐特征矩阵和线性解码矩阵(d为编码矩阵的维度)即：X～DC。具体目标包括：
(1)最大化编码矩阵的预测能力；
(2)最大化编码矩阵的可复原性。
为了实现以上目标，编码过程可以设定为：
其中||||F表示矩阵的弗罗贝尼乌斯范数，λ表示平衡参数。
给定编码矩阵C，最优的解码矩阵D可以通过求解以下目标函数获得：
CTCD+λDXTX＝(1+λ)CTX (2)
为了提高编码特征的预测能力，减少特征之间的冗余度，设定编码矩阵C是不相关的，即：
CTC＝I (3)
其中I表示单位矩阵。
将(3)代入(2)中，可以得到解码矩阵D的闭式表达式：
D＝(1+λ)CTX(I+λDXTX)-1 (4)
将(4)代入(1)中，目标函数(1)可以表达为：
minTr[XTX+λCTC]-(1+λ)Tr[CTX(I+λXTX)-1XTC] (5)
其中Tr表示矩阵的迹。
考虑到Tr[XTX+λCTC]是常数，因此目标函数(5)等价于：
步骤2)中预测映射过程学习一种线性或者非线性的关系使得语义特征和编码特征之间的相关性最大(以线性关系为例进行阐述)，其目标函数为：
其中W表示线性映射矩阵。
考虑到CTC＝I，因此目标函数可以转换为：
maxATWC s.t.ATWWTA＝I (8)
固定编码矩阵C，线性映射矩阵W的最优值为：
将(9)代入到(7)中，目标函数转换为：
其中△＝A(ATA)-1AT。
因此步骤2)的目标函数可以等价为：
maxTr(CT△C)s.t.CTC＝I (11)
结合步骤1)和步骤2)的目标函数，本发明所提算法的目标函数为：
其中α表示平衡参数，△＝A(ATA)-1AT。
目标函数(12)的优化可以通过以下方法进行求解：
对于编码矩阵C的每一列向量C·,i可以通过求解以下子问题获得：
利用拉格朗日乘子法，最优C·,i需要满足下面的优化条件：
(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i (14)
其中ωi表示拉格朗日乘子。因此，编码矩阵C的优化可以转换为特征值分解问题，(X(I+λXTX)-1XT+α△)的前d个最大特征值对应着编码矩阵C的最优解。
获得编码矩阵C的最优解后，解码矩阵D可以通过公式(4)获得。同样的，映射矩阵W可以通过公式(9)获得。
下面结合本发明应用于零样本学习的流程图对本发明的一种基于隐空间编码的零样本学习做出详细说明。
给定来着T个类别的n个样本其中和分别表示第i个样本的视觉特征和对应的类别标签。零样本学习利用可以类别的样本训练一个可以识别未见类别样本分类器其中是未见类别的类别标签，L表示未见类别的类别个数。为了将信息将可见类别转移到未见类别中，每个类别都利用一个高维的类别语义特征表征，利用ai表示第i个样本对应的类别语义特征。
本发明的一种基于隐空间编码的零样本学习包括训练阶段和测试阶段两部分，如图1所示：其中训练阶段包括以下步骤：
1)输入可见类别的视觉特征矩阵X和类别语义特征矩阵A，通过优化公式(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i获得隐特征矩阵C；
2)利用公式获得线性映射矩阵W；
3)利用公式D＝(1+λ)CTX(I+λDXTX)-1获得解码矩阵D。
在测试阶段，输入测试样本xt及未见类别的类别语义矩阵Au，则测试样本的类别标签l(xt)可以通过以下步骤获得：
1)首先利用学习到的线性映射矩阵W获得未见类别的类别语义特征的隐特征表示：
2)然后利用解码矩阵D得到未见类别语义特征在视觉特征中的表征：
Xu＝CuD；
3)最后利用最近邻分类器对测试样本进行分类：
其中l(xt)表示测试样本xt的类别标签，表示未见类别j的类别语义特征在视觉空间中的表征。

Claims (3)

1.一种基于隐空间编码的零样本学习分类方法，其特征是，对于任一模态，利用矩阵分解的方法将此模态的输入特征矩阵分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和一个解码矩阵重构原始的输入特征矩阵，其中编码矩阵和解码矩阵是互为转置的关系，利用矩阵分解的方法学习一个编码矩阵来表征不同模态特征之间共有的语义信息，得到不同模态之间的语义关联，进而实现不同模态样本的分类。
2.如权利要求1所述的基于隐空间编码的零样本学习分类方法，其特征是，直接利用矩阵分解的方法将视觉特征矩阵分解为编码矩阵和线性解码矩阵即：X～DC，其中p为视觉空间的维度，d为编码矩阵的维度，n为训练样本的个数，具体过程为：
<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>C</mi> <mi>D</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>D</mi> <mi>T</mi> </msup> <mi>X</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中|| ||F表示矩阵的弗罗贝尼乌斯范数，λ表示平衡参数，给定编码矩阵C，最优的解码矩阵D通过求解以下目标函数获得：
CTCD+λDXTX＝(1+λ)CTX (2)
编码矩阵C是不相关的，即：
CTC＝I (3)
其中I表示单位矩阵，将(3)代入(2)中，得到解码矩阵D的闭式表达式：
D＝(1+λ)CTX(I+λDXTX)-1 (4)
将(4)代入(1)中，目标函数(1)表达为：
min Tr[XTX+λCTC]-(1+λ)Tr[CTX(I+λXTX)-1XTC] (5)
其中Tr表示矩阵的迹；
考虑到Tr[XTX+λCTC]是常数，因此目标函数(5)等价于：
max Tr[CTX(I+λXTX)-1XTC]
s.t.CTC＝I (6)
学习一种线性或者非线性的关系使得语义特征和编码特征之间的相关性最大，其目标函数为：
<mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mfrac> <mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>W</mi> <mi>C</mi> </mrow> <mrow> <msqrt> <mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <msup> <mi>WW</mi> <mi>T</mi> </msup> <mi>A</mi> </mrow> </msqrt> <msqrt> <mrow> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>C</mi> </mrow> </msqrt> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中W表示线性映射矩阵，考虑到CTC＝I，因此目标函数转换为：
max ATWC s.t.ATWWTA＝I (8)
固定编码矩阵C，线性映射矩阵W的最优值为：
<mrow> <mi>W</mi> <mo>=</mo> <mfrac> <mrow> <msup> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>A</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>C</mi> </mrow> <msqrt> <mrow> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>A</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>A</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>C</mi> </mrow> </msqrt> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
将(9)代入到(7)中，目标函数转换为：
<mrow> <msup> <mi>maxA</mi> <mi>T</mi> </msup> <mi>W</mi> <mi>C</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>&amp;Delta;</mi> <mi>C</mi> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中△＝A(ATA)-1AT，因此步骤2)的目标函数等价为：
max Tr(CT△C)s.t.CTC＝I (11)
结合步骤1)和步骤2)的目标函数，目标函数为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mi>C</mi> </munder> <mi>T</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>X</mi> <msup> <mrow> <mo>(</mo> <mi>I</mi> <mo>+</mo> <msup> <mi>&amp;lambda;X</mi> <mi>T</mi> </msup> <mi>X</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>X</mi> <mi>T</mi> </msup> <mi>C</mi> <mo>&amp;rsqb;</mo> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>T</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>&amp;Delta;</mi> <mi>C</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munder> <mi>max</mi> <mi>C</mi> </munder> <mi>T</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mi>X</mi> <msup> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mo>+</mo> <msup> <mi>&amp;lambda;X</mi> <mi>T</mi> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>X</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>&amp;Delta;</mi> <mo>)</mo> </mrow> <mi>C</mi> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>
s.t.CTC＝I (12)
其中α表示平衡参数，△＝A(ATA)-1AT。
3.如权利要求1所述的基于隐空间编码的零样本学习分类方法，其特征是，目标函数(12)的优化通过以下方法进行求解：
对于编码矩阵C的每一列向量C·,i通过求解以下子问题获得：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mrow> <mi>C</mi> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </munder> <msubsup> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <mi>X</mi> <msup> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mo>+</mo> <msup> <mi>&amp;lambda;X</mi> <mi>T</mi> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>X</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>&amp;Delta;</mi> <mo>)</mo> </mrow> <msub> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>j</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mrow> <mo>(</mo> <mo>&amp;ForAll;</mo> <mi>j</mi> <mo>&lt;</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
利用拉格朗日乘子法，最优C·,i需要满足下面的优化条件：
(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i (14)
其中ωi表示拉格朗日乘子，因此，编码矩阵C的优化转换为特征值分解问题，(X(I+λXTX)-1XT+α△)的前d个最大特征值对应着编码矩阵C的最优解；
获得编码矩阵C的最优解后，解码矩阵D可以通过公式(4)获得；同样的，映射矩阵W可以通过公式(9)获得。
CN201711064082.6A 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法 Pending CN107944468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711064082.6A CN107944468A (zh) 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711064082.6A CN107944468A (zh) 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法

Publications (1)

Publication Number Publication Date
CN107944468A true CN107944468A (zh) 2018-04-20

Family

ID=61934187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711064082.6A Pending CN107944468A (zh) 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法

Country Status (1)

Country Link
CN (1) CN107944468A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108846375A (zh) * 2018-06-29 2018-11-20 山东大学 一种基于神经网络的多模态协同学习方法及装置
CN109145763A (zh) * 2018-07-27 2019-01-04 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN112528690A (zh) * 2020-11-19 2021-03-19 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108596265B (zh) * 2018-05-02 2022-04-08 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108846375A (zh) * 2018-06-29 2018-11-20 山东大学 一种基于神经网络的多模态协同学习方法及装置
CN109145763A (zh) * 2018-07-27 2019-01-04 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN109145763B (zh) * 2018-07-27 2021-07-13 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN112528690A (zh) * 2020-11-19 2021-03-19 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备
CN112528690B (zh) * 2020-11-19 2022-06-07 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备

Similar Documents

Publication Publication Date Title
CN112508077B (zh) 一种基于多模态特征融合的社交媒体情感分析方法及系统
CN112347268A (zh) 一种文本增强的知识图谱联合表示学习方法及装置
CN112307995B (zh) 一种基于特征解耦学习的半监督行人重识别方法
CN115033670A (zh) 多粒度特征融合的跨模态图文检索方法
CN107832400A (zh) 一种基于位置的lstm和cnn联合模型进行关系分类的方法
CN108510559A (zh) 一种基于有监督多视角离散化的多媒体二值编码方法
CN107944468A (zh) 基于隐空间编码的零样本学习分类方法
CN112100410A (zh) 一种基于语义条件关联学习的跨模态检索方法及系统
CN113705238A (zh) 基于bert和方面特征定位模型的方面级情感分析方法及模型
CN111222330B (zh) 一种中文事件的检测方法和系统
CN109190472A (zh) 基于图像与属性联合引导的行人属性识别方法
CN116842194A (zh) 一种电力语义知识图谱系统及方法
CN115563314A (zh) 多源信息融合增强的知识图谱表示学习方法
CN114004220A (zh) 一种基于cpc-ann的文本情绪原因识别方法
CN115329120A (zh) 一种知识图谱嵌入注意力机制的弱标注哈希图像检索架构
CN115544279A (zh) 一种基于协同注意力的多模态情感分类方法及其应用
Wang et al. R2-trans: Fine-grained visual categorization with redundancy reduction
Xue et al. Intent-enhanced attentive Bert capsule network for zero-shot intention detection
Liu et al. An anomaly detection method based on double encoder–decoder generative adversarial networks
CN115391529B (zh) 一种基于融合标签图的双图卷积网络的文本情感多分类方法
CN116595222A (zh) 基于多模态知识蒸馏的短视频多标签分类方法及装置
CN118260700B (zh) 一种dc/dc设备异常预警的方法及终端
CN108596245B (zh) 一种基于多视图协同完整鉴别子空间学习的人脸识别方法
CN116704272A (zh) 用于医学视觉-语言多模态任务的文本嵌入表示方法及系统
Sheng et al. A novel text mining algorithm based on deep neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420

RJ01 Rejection of invention patent application after publication