CN107944468A - 基于隐空间编码的零样本学习分类方法 - Google Patents

基于隐空间编码的零样本学习分类方法 Download PDF

Info

Publication number
CN107944468A
CN107944468A CN201711064082.6A CN201711064082A CN107944468A CN 107944468 A CN107944468 A CN 107944468A CN 201711064082 A CN201711064082 A CN 201711064082A CN 107944468 A CN107944468 A CN 107944468A
Authority
CN
China
Prior art keywords
mrow
msup
matrix
mtd
msubsup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711064082.6A
Other languages
English (en)
Inventor
于云龙
冀中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201711064082.6A priority Critical patent/CN107944468A/zh
Publication of CN107944468A publication Critical patent/CN107944468A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2155—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the incorporation of unlabelled data, e.g. multiple instance learning [MIL], semi-supervised techniques using expectation-maximisation [EM] or naïve labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本发明涉及一种计算机视觉领域的多模态学习方法，为提出一种性能稳定，计算效率高且适用于多模态学习的特征认知的编码方法，并将所提的方法应用于零样本学习中。为此，本发明采用的技术方案是，基于隐空间编码的零样本学习分类方法，对于任一模态，利用矩阵分解的方法将此模态的输入特征矩阵分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和一个解码矩阵重构原始的输入特征矩阵，其中编码矩阵和解码矩阵是互为转置的关系，利用矩阵分解的方法学习一个编码矩阵来表征不同模态特征之间共有的语义信息，得到不同模态之间的语义关联，进而实现不同模态样本的分类。本发明主要应用于特征认知编码场合。

Description

基于隐空间编码的零样本学习分类方法
技术领域
本发明涉及一种计算机视觉领域的多模态学习方法。特别是涉及一种基于特征认知的编码方法，可以应用于跨模态信息检索，零样本学习等领域。具体讲,涉及基于隐空间编码的零样本学习分类方法。
背景技术
尽管深度卷积神经网络的发展极大地提高了物体识别的性能，但是当前大部分分类模型都是基于监督学习的模型，需要人力去标注大量的训练样本。另外，当新的类别加入分类系统时，分类模型就需要重新训练。这些问题严重的影响了传统分类模型的可扩展性。
为了解决传统分类模型中的缺陷，零样本学习能够识别出在训练阶段未见过类别的样本，受到了研究者们的关注。零样本学习主要是寻找一个类别语义嵌入空间将可见类别的信息转移到未见类别中。当前主要的语义嵌入空间有两种：一种是人为定义的类别属性空间，是有预先定义好的一系列的属性名称张成；另一种是文本向量空间，是利用无监督自然语言处理的技术从大规模的语料库中提取的。得到类别语义空间后，可见类别和未见类别的之间关系就可以利用不同类别在类别语义空间中的距离度量获得，如欧式距离，余弦距离等。因为每一个类别都与类别语义空间中唯一的向量相对应，因此，当前大多数算法主要是利用可见类别的样本学习一个视觉模态和类别语义模态之间的映射函数，然后利用学习到的映射函数得到测试样本和未见类别的类别语义特征之间的关系，从而实现未见类别样本的识别。
大多数模型主要学习一个具体的映射函数联系不同模态之间的关系。然而，不同模态之间的关系是复杂的，甚至是不可描述的，学习具体的映射函数并不能很好地进行建模。
发明内容
为克服现有技术的不足，本发明旨在提出一种性能稳定，计算效率高且适用于多模态学习的特征认知的编码方法，并将所提的方法应用于零样本学习中。为此，本发明采用的技术方案是，基于隐空间编码的零样本学习分类方法，对于任一模态，利用矩阵分解的方法将此模态的输入特征矩阵分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和一个解码矩阵重构原始的输入特征矩阵，其中编码矩阵和解码矩阵是互为转置的关系，利用矩阵分解的方法学习一个编码矩阵来表征不同模态特征之间共有的语义信息，得到不同模态之间的语义关联，进而实现不同模态样本的分类。
直接利用矩阵分解的方法将视觉特征矩阵分解为编码矩阵和线性解码矩阵即：X～DC，其中p为视觉空间的维度，d为编码矩阵的维度，n为训练样本的个数，具体过程为：
其中|| ||F表示矩阵的弗罗贝尼乌斯范数，λ表示平衡参数，给定编码矩阵C，最优的解码矩阵D通过求解以下目标函数获得：
CTCD+λDXTX＝(1+λ)CTX (2)
编码矩阵C是不相关的，即：
CTC＝I (3)
其中I表示单位矩阵，将(3)代入(2)中，得到解码矩阵D的闭式表达式：
D＝(1+λ)CTX(I+λDXTX)-1 (4)
将(4)代入(1)中，目标函数(1)表达为：
minTr[XTX+λCTC]-(1+λ)Tr[CTX(I+λXTX)-1XTC] (5)
其中Tr表示矩阵的迹；
考虑到Tr[XTX+λCTC]是常数，因此目标函数(5)等价于：
maxTr[CTX(I+λXTX)-1XTC]
s.t.CTC＝I (6)
学习一种线性或者非线性的关系使得语义特征和编码特征之间的相关性最大，其目标函数为：
其中W表示线性映射矩阵，考虑到CTC＝I，因此目标函数转换为：
maxATWC s.t.ATWWTA＝I (8)
固定编码矩阵C，线性映射矩阵W的最优值为：
将(9)代入到(7)中，目标函数转换为：
其中△＝A(ATA)-1AT，因此步骤2)的目标函数等价为：
maxTr(CT△C)s.t.CTC＝I (11)
结合步骤1)和步骤2)的目标函数，目标函数为：
其中α表示平衡参数，△＝A(ATA)-1AT。
目标函数(12)的优化通过以下方法进行求解：
对于编码矩阵C的每一列向量C·,i通过求解以下子问题获得：
利用拉格朗日乘子法，最优C·,i需要满足下面的优化条件：
(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i (14)
其中ωi表示拉格朗日乘子，因此，编码矩阵C的优化转换为特征值分解问题，(X(I+λXTX)-1XT+α△)的前d个最大特征值对应着编码矩阵C的最优解；
获得编码矩阵C的最优解后，解码矩阵D可以通过公式(4)获得；同样的，映射矩阵W可以通过公式(9)获得。
本发明的特点及有益效果是：
本发明对于任一模态，利用矩阵分解的方法将此模态的输入特征分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和解码矩阵重构原始的输入特征。其中编码矩阵和解码矩阵是互为转置的关系，这样既可以减少训练参数也可以获得闭式的显示解。为了将建立不同模态之间的语义关系，描述同一概念的不同模态的特征应共享公共的隐层向量。
附图说明：
图1是本发明方法应用于零样本学习的流程图。
具体实施方式
本发明所要解决的技术问题是，提供一种性能稳定，计算效率高且适用于多模态学习的特征认知的编码方法，并将所提的方法应用于零样本学习中。
本发明适用于多模态学习的范畴。不失一般性，假设给定两个模态的特征，并以视觉模态和语义模态为例，表示视觉样本的特征集合，xi是第i个样本的视觉特征，n表示样本的个数，p表示视觉空间的维度；表示与视觉样本对应的语义特征集合，如ai是第i个样本对应的类别语义特征，q表示语义空间的维度。
本发明中提出了一种基于编码-解码框架下的含蓄模型。具体为：对于任一模态，利用矩阵分解的方法将此模态的输入特征分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和解码矩阵重构原始的输入特征。其中编码矩阵和解码矩阵是互为转置的关系，这样既可以减少训练参数也可以获得闭式的显示解。为了将建立不同模态之间的语义关系，描述同一概念的不同模态的特征应共享公共的隐层向量。
本发明所采用的技术方案是：一种基于特征认知的编码方法，包括如下步骤：
1)视觉特征的编码过程
2)编码特征和语义特征的预测映射过程
步骤1)中的编码过程直接利用矩阵分解的方法将视觉特征矩阵分解为隐特征矩阵和线性解码矩阵(d为编码矩阵的维度)即：X～DC。具体目标包括：
(1)最大化编码矩阵的预测能力；
(2)最大化编码矩阵的可复原性。
为了实现以上目标，编码过程可以设定为：
其中||||F表示矩阵的弗罗贝尼乌斯范数，λ表示平衡参数。
给定编码矩阵C，最优的解码矩阵D可以通过求解以下目标函数获得：
CTCD+λDXTX＝(1+λ)CTX (2)
为了提高编码特征的预测能力，减少特征之间的冗余度，设定编码矩阵C是不相关的，即：
CTC＝I (3)
其中I表示单位矩阵。
将(3)代入(2)中，可以得到解码矩阵D的闭式表达式：
D＝(1+λ)CTX(I+λDXTX)-1 (4)
将(4)代入(1)中，目标函数(1)可以表达为：
minTr[XTX+λCTC]-(1+λ)Tr[CTX(I+λXTX)-1XTC] (5)
其中Tr表示矩阵的迹。
考虑到Tr[XTX+λCTC]是常数，因此目标函数(5)等价于：
步骤2)中预测映射过程学习一种线性或者非线性的关系使得语义特征和编码特征之间的相关性最大(以线性关系为例进行阐述)，其目标函数为：
其中W表示线性映射矩阵。
考虑到CTC＝I，因此目标函数可以转换为：
maxATWC s.t.ATWWTA＝I (8)
固定编码矩阵C，线性映射矩阵W的最优值为：
将(9)代入到(7)中，目标函数转换为：
其中△＝A(ATA)-1AT。
因此步骤2)的目标函数可以等价为：
maxTr(CT△C)s.t.CTC＝I (11)
结合步骤1)和步骤2)的目标函数，本发明所提算法的目标函数为：
其中α表示平衡参数，△＝A(ATA)-1AT。
目标函数(12)的优化可以通过以下方法进行求解：
对于编码矩阵C的每一列向量C·,i可以通过求解以下子问题获得：
利用拉格朗日乘子法，最优C·,i需要满足下面的优化条件：
(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i (14)
其中ωi表示拉格朗日乘子。因此，编码矩阵C的优化可以转换为特征值分解问题，(X(I+λXTX)-1XT+α△)的前d个最大特征值对应着编码矩阵C的最优解。
获得编码矩阵C的最优解后，解码矩阵D可以通过公式(4)获得。同样的，映射矩阵W可以通过公式(9)获得。
下面结合本发明应用于零样本学习的流程图对本发明的一种基于隐空间编码的零样本学习做出详细说明。
给定来着T个类别的n个样本其中和分别表示第i个样本的视觉特征和对应的类别标签。零样本学习利用可以类别的样本训练一个可以识别未见类别样本分类器其中是未见类别的类别标签，L表示未见类别的类别个数。为了将信息将可见类别转移到未见类别中，每个类别都利用一个高维的类别语义特征表征，利用ai表示第i个样本对应的类别语义特征。
本发明的一种基于隐空间编码的零样本学习包括训练阶段和测试阶段两部分，如图1所示：其中训练阶段包括以下步骤：
1)输入可见类别的视觉特征矩阵X和类别语义特征矩阵A，通过优化公式(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i获得隐特征矩阵C；
2)利用公式获得线性映射矩阵W；
3)利用公式D＝(1+λ)CTX(I+λDXTX)-1获得解码矩阵D。
在测试阶段，输入测试样本xt及未见类别的类别语义矩阵Au，则测试样本的类别标签l(xt)可以通过以下步骤获得：
1)首先利用学习到的线性映射矩阵W获得未见类别的类别语义特征的隐特征表示：
2)然后利用解码矩阵D得到未见类别语义特征在视觉特征中的表征：
Xu＝CuD；
3)最后利用最近邻分类器对测试样本进行分类：
其中l(xt)表示测试样本xt的类别标签，表示未见类别j的类别语义特征在视觉空间中的表征。

Claims (3)

1.一种基于隐空间编码的零样本学习分类方法，其特征是，对于任一模态，利用矩阵分解的方法将此模态的输入特征矩阵分解为一个隐层码矩阵和一个编码矩阵，并利用隐层码矩阵和一个解码矩阵重构原始的输入特征矩阵，其中编码矩阵和解码矩阵是互为转置的关系，利用矩阵分解的方法学习一个编码矩阵来表征不同模态特征之间共有的语义信息，得到不同模态之间的语义关联，进而实现不同模态样本的分类。
2.如权利要求1所述的基于隐空间编码的零样本学习分类方法，其特征是，直接利用矩阵分解的方法将视觉特征矩阵分解为编码矩阵和线性解码矩阵即：X～DC，其中p为视觉空间的维度，d为编码矩阵的维度，n为训练样本的个数，具体过程为：
<mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>C</mi> <mi>D</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>C</mi> <mo>-</mo> <msup> <mi>D</mi> <mi>T</mi> </msup> <mi>X</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中|| ||F表示矩阵的弗罗贝尼乌斯范数，λ表示平衡参数，给定编码矩阵C，最优的解码矩阵D通过求解以下目标函数获得：
CTCD+λDXTX＝(1+λ)CTX (2)
编码矩阵C是不相关的，即：
CTC＝I (3)
其中I表示单位矩阵，将(3)代入(2)中，得到解码矩阵D的闭式表达式：
D＝(1+λ)CTX(I+λDXTX)-1 (4)
将(4)代入(1)中，目标函数(1)表达为：
min Tr[XTX+λCTC]-(1+λ)Tr[CTX(I+λXTX)-1XTC] (5)
其中Tr表示矩阵的迹；
考虑到Tr[XTX+λCTC]是常数，因此目标函数(5)等价于：
max Tr[CTX(I+λXTX)-1XTC]
s.t.CTC＝I (6)
学习一种线性或者非线性的关系使得语义特征和编码特征之间的相关性最大，其目标函数为：
<mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> <mfrac> <mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>W</mi> <mi>C</mi> </mrow> <mrow> <msqrt> <mrow> <msup> <mi>A</mi> <mi>T</mi> </msup> <msup> <mi>WW</mi> <mi>T</mi> </msup> <mi>A</mi> </mrow> </msqrt> <msqrt> <mrow> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>C</mi> </mrow> </msqrt> </mrow> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中W表示线性映射矩阵，考虑到CTC＝I，因此目标函数转换为：
max ATWC s.t.ATWWTA＝I (8)
固定编码矩阵C，线性映射矩阵W的最优值为：
<mrow> <mi>W</mi> <mo>=</mo> <mfrac> <mrow> <msup> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>A</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>C</mi> </mrow> <msqrt> <mrow> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>A</mi> <msup> <mrow> <mo>(</mo> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>A</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>A</mi> <mi>T</mi> </msup> <mi>C</mi> </mrow> </msqrt> </mfrac> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>9</mn> <mo>)</mo> </mrow> </mrow>
将(9)代入到(7)中，目标函数转换为：
<mrow> <msup> <mi>maxA</mi> <mi>T</mi> </msup> <mi>W</mi> <mi>C</mi> <mo>=</mo> <msqrt> <mrow> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>&amp;Delta;</mi> <mi>C</mi> </mrow> </msqrt> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>10</mn> <mo>)</mo> </mrow> </mrow>
其中△＝A(ATA)-1AT，因此步骤2)的目标函数等价为：
max Tr(CT△C)s.t.CTC＝I (11)
结合步骤1)和步骤2)的目标函数，目标函数为：
<mfenced open = "" close = ""> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mi>C</mi> </munder> <mi>T</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>X</mi> <msup> <mrow> <mo>(</mo> <mi>I</mi> <mo>+</mo> <msup> <mi>&amp;lambda;X</mi> <mi>T</mi> </msup> <mi>X</mi> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>X</mi> <mi>T</mi> </msup> <mi>C</mi> <mo>&amp;rsqb;</mo> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>T</mi> <mi>r</mi> <mrow> <mo>(</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <mi>&amp;Delta;</mi> <mi>C</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <mo>=</mo> <munder> <mi>max</mi> <mi>C</mi> </munder> <mi>T</mi> <mi>r</mi> <mo>&amp;lsqb;</mo> <msup> <mi>C</mi> <mi>T</mi> </msup> <mrow> <mo>(</mo> <mi>X</mi> <msup> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mo>+</mo> <msup> <mi>&amp;lambda;X</mi> <mi>T</mi> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>X</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>&amp;Delta;</mi> <mo>)</mo> </mrow> <mi>C</mi> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> </mtable> </mfenced>
s.t.CTC＝I (12)
其中α表示平衡参数，△＝A(ATA)-1AT。
3.如权利要求1所述的基于隐空间编码的零样本学习分类方法，其特征是，目标函数(12)的优化通过以下方法进行求解：
对于编码矩阵C的每一列向量C·,i通过求解以下子问题获得：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>max</mi> <mrow> <mi>C</mi> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </munder> <msubsup> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> <mi>T</mi> </msubsup> <mrow> <mo>(</mo> <mi>X</mi> <msup> <mrow> <mo>(</mo> <mrow> <mi>I</mi> <mo>+</mo> <msup> <mi>&amp;lambda;X</mi> <mi>T</mi> </msup> <mi>X</mi> </mrow> <mo>)</mo> </mrow> <mrow> <mo>-</mo> <mn>1</mn> </mrow> </msup> <msup> <mi>X</mi> <mi>T</mi> </msup> <mo>+</mo> <mi>&amp;alpha;</mi> <mi>&amp;Delta;</mi> <mo>)</mo> </mrow> <msub> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>&amp;rsqb;</mo> </mrow> </mtd> </mtr> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msubsup> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mn>1</mn> <mo>,</mo> <msubsup> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>j</mi> </mrow> <mi>T</mi> </msubsup> <msub> <mi>C</mi> <mrow> <mo>&amp;CenterDot;</mo> <mo>,</mo> <mi>i</mi> </mrow> </msub> <mo>=</mo> <mn>0</mn> <mo>,</mo> <mrow> <mo>(</mo> <mo>&amp;ForAll;</mo> <mi>j</mi> <mo>&lt;</mo> <mi>i</mi> <mo>)</mo> </mrow> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>13</mn> <mo>)</mo> </mrow> </mrow>
利用拉格朗日乘子法，最优C·,i需要满足下面的优化条件：
(X(I+λXTX)-1XT+α△)C·,i＝ωiC·,i (14)
其中ωi表示拉格朗日乘子，因此，编码矩阵C的优化转换为特征值分解问题，(X(I+λXTX)-1XT+α△)的前d个最大特征值对应着编码矩阵C的最优解；
获得编码矩阵C的最优解后，解码矩阵D可以通过公式(4)获得；同样的，映射矩阵W可以通过公式(9)获得。
CN201711064082.6A 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法 Pending CN107944468A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711064082.6A CN107944468A (zh) 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711064082.6A CN107944468A (zh) 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法

Publications (1)

Publication Number Publication Date
CN107944468A true CN107944468A (zh) 2018-04-20

Family

ID=61934187

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711064082.6A Pending CN107944468A (zh) 2017-11-02 2017-11-02 基于隐空间编码的零样本学习分类方法

Country Status (1)

Country Link
CN (1) CN107944468A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108846375A (zh) * 2018-06-29 2018-11-20 山东大学 一种基于神经网络的多模态协同学习方法及装置
CN109145763A (zh) * 2018-07-27 2019-01-04 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN112528690A (zh) * 2020-11-19 2021-03-19 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108596265A (zh) * 2018-05-02 2018-09-28 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108596265B (zh) * 2018-05-02 2022-04-08 中山大学 基于文本描述信息和生成对抗网络的视频生成模型
CN108846375A (zh) * 2018-06-29 2018-11-20 山东大学 一种基于神经网络的多模态协同学习方法及装置
CN109145763A (zh) * 2018-07-27 2019-01-04 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN109145763B (zh) * 2018-07-27 2021-07-13 天津大学 基于自然语言描述的视频监控行人搜索图像文本融合方法
CN112528690A (zh) * 2020-11-19 2021-03-19 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备
CN112528690B (zh) * 2020-11-19 2022-06-07 西安交通大学 非接触式物品材质和形状识别方法、存储介质及计算设备

Similar Documents

Publication Publication Date Title
CN108664632B (zh) 一种基于卷积神经网络和注意力机制的文本情感分类算法
CN108510559B (zh) 一种基于有监督多视角离散化的多媒体二值编码方法
CN106469560B (zh) 一种基于无监督域适应的语音情感识别方法
CN111461157B (zh) 一种基于自学习的跨模态哈希检索方法
CN102314614B (zh) 一种基于类共享多核学习的图像语义分类方法
CN110866542B (zh) 一种基于特征可控融合的深度表示学习方法
CN107944468A (zh) 基于隐空间编码的零样本学习分类方法
CN113987187B (zh) 基于多标签嵌入的舆情文本分类方法、系统、终端及介质
CN107402993A (zh) 基于判别性关联最大化哈希的跨模态检索方法
CN113705238B (zh) 基于bert和方面特征定位模型的方面级情感分析方法及系统
CN105095863A (zh) 基于相似性权值的半监督字典学习的人体行为识别方法
CN105740911A (zh) 基于保持结构稀疏化的半监督字典学习方法
CN112256866A (zh) 一种基于深度学习的文本细粒度情感分析方法
CN110009017A (zh) 一种基于视角类属特征学习的多视角多标记分类方法
Zhan et al. A video semantic detection method based on locality-sensitive discriminant sparse representation and weighted KNN
CN116842194A (zh) 一种电力语义知识图谱系统及方法
Chen et al. Sparsity-regularized feature selection for multi-class remote sensing image classification
CN114841151A (zh) 基于分解-重组策略的医学文本实体关系联合抽取方法
Wang et al. R2-trans: Fine-grained visual categorization with redundancy reduction
CN109324595B (zh) 一种基于增量pca的工业监测数据分类方法
Wen et al. A sequence-to-sequence framework based on transformer with masked language model for optical music recognition
CN117390189A (zh) 基于前置分类器的中立文本生成方法
CN116030257B (zh) 一种基于NesT模型的语义分割方法
CN115526174A (zh) 一种针对财经文本情感倾向分类的深度学习模型融合方法
CN116266268A (zh) 基于对比学习与语义感知的语义解析方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180420