CN107491788A - 一种基于字典学习的零样本分类方法 - Google Patents

一种基于字典学习的零样本分类方法 Download PDF

Info

Publication number
CN107491788A
CN107491788A CN201710722442.0A CN201710722442A CN107491788A CN 107491788 A CN107491788 A CN 107491788A CN 201710722442 A CN201710722442 A CN 201710722442A CN 107491788 A CN107491788 A CN 107491788A
Authority
CN
China
Prior art keywords
mrow
mtd
msubsup
msup
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710722442.0A
Other languages
English (en)
Inventor
于云龙
冀中
庞彦伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN201710722442.0A priority Critical patent/CN107491788A/zh
Publication of CN107491788A publication Critical patent/CN107491788A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification

Abstract

一种基于字典学习的零样本分类方法，包括：建立适用于零样本学习的字典学习模型；利用字典学习模型学习字典矩阵D和转移矩阵P；利用学习到的字典矩阵D和转移矩阵P实现零样本分类。本发明的一种基于字典学习的零样本分类方法，首先将类别语义特征映射到一个能保持语义判别信息的隐空间中，并结合字典学习的方法利用隐空间的特征对原始的视觉特征进行重构。

Description

一种基于字典学习的零样本分类方法
技术领域
本发明涉及一种零样本分类方法。特别是涉及一种将类别的语义信息映射到一个更具有判别性的隐空间中，并结合字典学习提高模型的可预测性的基于字典学习的零样本分类方法。
背景技术
与传统的分类不同，零样本分类是对训练时未出现过的类别的样本进行分类。显然，利用传统的单模态分类方法不能解决零样本分类问题。为了解决这一问题，研究者们利用语义特征挖掘训练类别和未训练类别之间的关系，从而实现对测试样本的分类。在类别的语义特征空间，类和类之间的语义关系可以利用语义特征来衡量。由于表示类别的语义特征无法直接获得，只能利用某种辅助语义特征近似表示。当前用于表示类别的语义特征主要有属性特征和文本特征两种，然后建立视觉特征和语义特征之间的映射关系。但是属性或者词向量这些语义信息之间存在一定的冗余信息，所以利用别语义这些语义信息作为特征会降低模型的判别性。
当前的零样本分类方法主要分为两种：一种是在训练时利用训练样本学习一个映射矩阵，将底层的视觉特征映射到类别语义空间中，或者将样本视觉特征和样本的类别语义特征映射到一个公共的隐空间中，然后在测试时利用映射矩阵将测试样本映射到类别的语义空间或者公共的隐空间中，计算测试样本与所有未训练类别的相似度，并利用最近邻方法对测试样本进行分类；另一种方法是利用训练样本学习一个兼容矩阵，通过兼容矩阵可以计算底层的视觉特征和类别语义特征之间的相似度，对于测试样本，利用学习到的兼容矩阵计算测试样本与所有未训练类别之间的相似度，然后利用分类器对测试样本的类别进行预测。
发明内容
本发明所要解决的技术问题是，提供一种能够实现不同模态的特征到类别空间之间转移的基于字典学习的零样本分类方法。
本发明所采用的技术方案是：一种基于字典学习的零样本分类方法，包括如下步骤：
1)建立适用于零样本学习的字典学习模型：
其中，N表示训练样本的个数，表示第i个样本的视觉特征，dx是样本的视觉特征的维度；D为需要学习的字典矩阵；表示N个样本在隐空间中的嵌入特征，ci为xi在隐空间中的嵌入特征；P为转移矩阵；表示N个样本所对应的类别语义特征，表示第i个样本所对应的类别语义特征，dy是类别相应语义特征的维度；λ表示权重系数；||·||F表示Frobenius范数；
2)利用字典学习模型学习字典矩阵D和转移矩阵P；
3)利用学习到的字典矩阵D和转移矩阵P实现零样本分类。
步骤2)所述的学习字典矩阵D和转移矩阵P包括：
(1)首先：初始化字典矩阵D和转移矩阵P，对隐空间中的嵌入特征C进行更新：优化问题变为公式：
所述公式是一个最小二乘优化问题，所以得到嵌入特征C的显式表示：
C＝(DTD+λI)-1(λPY+DTX) (3)
(2)固定字典矩阵D和嵌入特征C，对转移矩阵P进行更新：
得到转移矩阵P的显式表示：
P*＝λCY(λYYT+τI)-1 (5)
(3)固定嵌入特征C和转移矩阵P，对字典矩阵D进行更新：
对字典矩阵D的优化目标函数通过交替方向乘子法进行优化；
(4)重复第(1)步～第(3)步直到收敛为止。
第(4)步所述收敛的条件为：两次相邻迭代的变化之差小于设定的阈值。
步骤3)所述的零样本分类是采用如下公式进行：
其中，xt为测试样本，是m个测试类别的类别语义特征。
本发明的一种基于字典学习的零样本分类方法，首先将类别语义特征映射到一个能保持语义判别信息的隐空间中，并结合字典学习的方法利用隐空间的特征对原始的视觉特征进行重构。其优势主要体现在：
1、新颖性:首次将稀疏字典学习的思想应用到零样本分类中，利用类别语义特征所对应的隐空间特征，对原始的视觉特征进行重构，并提出一种联合优化的方法，能够更好地挖掘不同模态之间的语义判别信息。
2、有效性：与传统的字典学习方法不同，本发明所提的算法不需要传统字典学习模型中的稀疏约束，将稀疏约束转换为一种线性描述，显著提高了训练效率，但同时能够保持字典学习中的可预测性。
3、实用性：本发明简单高效，可以应用在多模态检索，数据挖掘，零样本分类等相关领域。
附图说明
图1是本发明一种基于字典学习的零样本分类方法的流程图。
具体实施方式
下面结合实施例和附图对本发明的一种基于字典学习的零样本分类方法做出详细说明。
本发明的一种基于字典学习的零样本分类方法，是针对零样本分类中利用类别语义特征表达能力差的问题提出的一种将字典学习用于零样本分类的基本框架，其目的是为了提高类别语义信息的判别性，提出将类别语义的语义信息映射到一个能保持语义的隐空间中；并结合字典学习以提高模型的可预测性。并提出了一种联合优化的方法以平衡模型的判别性和可预测性，提高了字典学习的训练效率。
如图1所示，本发明的一种基于字典学习的零样本分类方法，在训练阶段，输入训练样本的视觉特征和类别语义辅助信息，利用所提出的模型，学习一个用于重构视觉特征的字典矩阵和一个能将类别的语义信息映射到更具有判别性的隐空间中的转移矩阵；在测试阶段，给定自m个未训练过的类别的M个测试样本,首先利用学习到的转移矩阵将m个未训练类别的类别语义特征映射到隐空间中，得到m个未训练类别的隐空间特征cv,v∈{1,2,...,m}，然后利用学习到的字典矩阵D对未训练类别所对应的隐空间特征进行重构。对于测试样本xt，计算测试样本xt与m未训练类别的重构特征的相似度，并利用最近邻方法对测试样本的类别进行预测。
本发明的一种基于字典学习的零样本分类方法，具体包括如下步骤：
1)建立适用于零样本学习的字典学习模型：
其中，N表示训练样本的个数，表示第i个样本的视觉特征，dx是样本的视觉特征的维度；D为需要学习的字典矩阵；表示N个样本在隐空间中的嵌入特征，ci为xi在隐空间中的嵌入特征；P为转移矩阵；表示N个样本所对应的类别语义特征，表示第i个样本所对应的类别语义特征，dy是类别相应语义特征的维度；λ表示权重系数；||·||F表示Frobenius范数；
2)利用字典学习模型学习字典矩阵D和转移矩阵P；所述的学习字典矩阵D和转移矩阵P包括：
(1)首先：初始化字典矩阵D和转移矩阵P，对隐空间中的嵌入特征C进行更新：优化问题变为公式：
所述公式是一个最小二乘优化问题，所以得到嵌入特征C的显式表示：
C＝(DTD+λI)-1(λPY+DTX) (3)
(2)固定字典矩阵D和嵌入特征C，对转移矩阵P进行更新：
得到转移矩阵P的显式表示：
P*＝λCY(λYYT+τI)-1 (5)
(3)固定嵌入特征C和转移矩阵P，对字典矩阵D进行更新：
对字典矩阵D的优化目标函数通过交替方向乘子法进行优化；
(4)重复第(1)步～第(3)步直到收敛为止。所述收敛的条件为：两次相邻迭代的变化之差小于设定的阈值。
3)利用学习到的字典矩阵D和转移矩阵P实现零样本分类。所述的零样本分类是采用如下公式进行：
其中，xt为测试样本，是m个测试类别的类别语义特征。

Claims (4)

1.一种基于字典学习的零样本分类方法，其特征在于，包括如下步骤：
1)建立适用于零样本学习的字典学习模型：
<mrow> <mtable> <mtr> <mtd> <mrow> <munder> <mi>min</mi> <mrow> <mi>D</mi> <mo>,</mo> <mi>P</mi> <mo>,</mo> <mi>C</mi> </mrow> </munder> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>D</mi> <mi>C</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>P</mi> <mi>Y</mi> <mo>-</mo> <mi>C</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mi>P</mi> <mi>T</mi> </msup> <mi>P</mi> <mo>=</mo> <mi>I</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>d</mi> <mi>i</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>&amp;le;</mo> <mn>1</mn> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo> </mrow> </mrow>
其中，N表示训练样本的个数，表示第i个样本的视觉特征，dx是样本的视觉特征的维度；D为需要学习的字典矩阵；表示N个样本在隐空间中的嵌入特征，ci为xi在隐空间中的嵌入特征；P为转移矩阵；表示N个样本所对应的类别语义特征，表示第i个样本所对应的类别语义特征，dy是类别相应语义特征的维度；λ表示权重系数；||·||F表示Frobenius范数；
2)利用字典学习模型学习字典矩阵D和转移矩阵P；
3)利用学习到的字典矩阵D和转移矩阵P实现零样本分类。
2.根据权利要求1所述的一种基于字典学习的零样本分类方法，其特征在于，步骤2)所述的学习字典矩阵D和转移矩阵P包括：
(1)首先：初始化字典矩阵D和转移矩阵P，对隐空间中的嵌入特征C进行更新：优化问题变为公式：
<mrow> <msup> <mi>C</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>C</mi> </munder> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>D</mi> <mi>C</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>+</mo> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>P</mi> <mi>Y</mi> <mo>-</mo> <mi>C</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo> </mrow> </mrow>
所述公式是一个最小二乘优化问题，所以得到嵌入特征C的显式表示：
C＝(DTD+λI)-1(λPY+DTX) (3)
(2)固定字典矩阵D和嵌入特征C，对转移矩阵P进行更新：
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>P</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>P</mi> </munder> <mi>&amp;lambda;</mi> <mo>|</mo> <mo>|</mo> <mi>P</mi> <mi>Y</mi> <mo>-</mo> <mi>C</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> </mtr> <mtr> <mtd> <mtable> <mtr> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <msup> <mi>P</mi> <mi>T</mi> </msup> <mi>P</mi> <mo>=</mo> <mi>I</mi> </mrow> </mtd> </mtr> </mtable> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo> </mrow> </mrow>
得到转移矩阵P的显式表示：
P*＝λCY(λYYT+τI)-1 (5)
(3)固定嵌入特征C和转移矩阵P，对字典矩阵D进行更新：
<mrow> <mtable> <mtr> <mtd> <mrow> <msup> <mi>D</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>i</mi> <mi>n</mi> </mrow> <mi>D</mi> </munder> <mo>|</mo> <mo>|</mo> <mi>X</mi> <mo>-</mo> <mi>D</mi> <mi>C</mi> <mo>|</mo> <msubsup> <mo>|</mo> <mi>F</mi> <mn>2</mn> </msubsup> </mrow> </mtd> <mtd> <mrow> <mi>s</mi> <mo>.</mo> <mi>t</mi> <mo>.</mo> </mrow> </mtd> <mtd> <mrow> <mi>D</mi> <mo>=</mo> <mi>R</mi> <mo>,</mo> </mrow> </mtd> <mtd> <mrow> <mo>|</mo> <mo>|</mo> <msub> <mi>r</mi> <mi>i</mi> </msub> <mo>|</mo> <msubsup> <mo>|</mo> <mn>2</mn> <mn>2</mn> </msubsup> <mo>&amp;le;</mo> <mn>1.</mn> </mrow> </mtd> </mtr> </mtable> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo> </mrow> </mrow>
对字典矩阵D的优化目标函数通过交替方向乘子法进行优化；
(4)重复第(1)步～第(3)步直到收敛为止。
3.根据权利要求2所述的一种基于字典学习的零样本分类方法，其特征在于，第(4)步所述收敛的条件为：两次相邻迭代的变化之差小于设定的阈值。
4.根据权利要求1所述的一种基于字典学习的零样本分类方法，其特征在于，步骤3)所述的零样本分类是采用如下公式进行：
<mrow> <msup> <mi>c</mi> <mo>*</mo> </msup> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>c</mi> </munder> <msubsup> <mi>x</mi> <mi>t</mi> <mi>T</mi> </msubsup> <msup> <mi>D</mi> <mo>*</mo> </msup> <msup> <mi>P</mi> <mo>*</mo> </msup> <msubsup> <mi>a</mi> <mi>U</mi> <mi>c</mi> </msubsup> <mo>-</mo> <mo>-</mo> <mo>-</mo> <mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo> </mrow> </mrow>
其中，xt为测试样本，是m个测试类别的类别语义特征。
CN201710722442.0A 2017-08-21 2017-08-21 一种基于字典学习的零样本分类方法 Pending CN107491788A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710722442.0A CN107491788A (zh) 2017-08-21 2017-08-21 一种基于字典学习的零样本分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710722442.0A CN107491788A (zh) 2017-08-21 2017-08-21 一种基于字典学习的零样本分类方法

Publications (1)

Publication Number Publication Date
CN107491788A true CN107491788A (zh) 2017-12-19

Family

ID=60646615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710722442.0A Pending CN107491788A (zh) 2017-08-21 2017-08-21 一种基于字典学习的零样本分类方法

Country Status (1)

Country Link
CN (1) CN107491788A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537257A (zh) * 2018-03-26 2018-09-14 天津大学 基于判别性字典矩阵对的零样本分类方法
CN108846413A (zh) * 2018-05-21 2018-11-20 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN108921226A (zh) * 2018-07-11 2018-11-30 广东工业大学 一种基于低秩表示和流形正则化的零样本分类方法
CN112329884A (zh) * 2020-11-25 2021-02-05 成都信息工程大学 基于判别性视觉属性的零样本识别方法及系统
CN112418257A (zh) * 2019-08-22 2021-02-26 四川大学 一种有效的基于潜在视觉属性挖掘的零样本学习方法
CN116304135A (zh) * 2023-05-25 2023-06-23 国网智能电网研究院有限公司 基于判别性隐空间学习的跨模态检索方法、装置及介质

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537257A (zh) * 2018-03-26 2018-09-14 天津大学 基于判别性字典矩阵对的零样本分类方法
CN108537257B (zh) * 2018-03-26 2021-07-13 天津大学 基于判别性字典矩阵对的零样本图像分类方法
CN108846413A (zh) * 2018-05-21 2018-11-20 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN108846413B (zh) * 2018-05-21 2021-07-23 复旦大学 一种基于全局语义一致网络的零样本学习方法
CN108921226A (zh) * 2018-07-11 2018-11-30 广东工业大学 一种基于低秩表示和流形正则化的零样本分类方法
CN108921226B (zh) * 2018-07-11 2020-05-19 广东工业大学 一种基于低秩表示和流形正则化的零样本图像分类方法
CN112418257A (zh) * 2019-08-22 2021-02-26 四川大学 一种有效的基于潜在视觉属性挖掘的零样本学习方法
CN112329884A (zh) * 2020-11-25 2021-02-05 成都信息工程大学 基于判别性视觉属性的零样本识别方法及系统
CN116304135A (zh) * 2023-05-25 2023-06-23 国网智能电网研究院有限公司 基于判别性隐空间学习的跨模态检索方法、装置及介质
CN116304135B (zh) * 2023-05-25 2023-08-08 国网智能电网研究院有限公司 基于判别性隐空间学习的跨模态检索方法、装置及介质

Similar Documents

Publication Publication Date Title
CN107491788A (zh) 一种基于字典学习的零样本分类方法
CN106485271B (zh) 一种基于多模态字典学习的零样本分类方法
CN108985317B (zh) 一种基于可分离卷积和注意力机制的图像分类方法
CN108764228A (zh) 一种图像中文字目标检测方法
CN108764462A (zh) 一种基于知识蒸馏的卷积神经网络优化方法
CN105654117B (zh) 基于sae深度网络的高光谱图像空谱联合的分类方法
CN107392019A (zh) 一种恶意代码家族的训练和检测方法及装置
CN105740909A (zh) 一种基于空间变换的自然场景下文本识别方法
Penkava et al. $ A_\infty $ Algebras and the Cohomology of Moduli Spaces
CN104050507B (zh) 基于多层神经网络的超光谱图像分类方法
CN104167013B (zh) 一种用于突出显示体数据中目标区域的体绘制方法
CN104200240A (zh) 一种基于内容自适应哈希编码的草图检索方法
CN107292259A (zh) 基于AdaRank的深度特征和传统特征的集成方法
CN114169442B (zh) 基于双原型网络的遥感图像小样本场景分类方法
CN109670576A (zh) 一种多尺度视觉关注图像描述方法
CN105095863A (zh) 基于相似性权值的半监督字典学习的人体行为识别方法
CN106022363A (zh) 一种适用于自然场景下的中文文字识别方法
CN102768732B (zh) 融合稀疏保持映射和多类别属性Bagging的人脸识别方法
CN104484886A (zh) 一种mr图像的分割方法及装置
CN112199532A (zh) 一种基于哈希编码和图注意力机制的零样本图像检索方法及装置
CN103593853A (zh) 基于联合稀疏表达的遥感影像多尺度面向对象分类方法
CN103996040A (zh) 融合局部-全局对比度的自底向上的视觉显著性生成方法
CN103745233A (zh) 基于空间信息迁移的高光谱图像分类方法
CN103226825B (zh) 基于低秩稀疏模型的遥感图像变化检测方法
CN103473366B (zh) 一种多视角跨数据域图像内容识别的分类方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20171219