CN108376267B - 一种基于类别转移的零样本分类方法 - Google Patents

Abstract

一种基于类别转移的零样本分类方法：获取C个类别的训练样本的视觉特征，训练样本的类别语义特征以及真实标签矩阵；采用余弦相似度或高斯相似度通过类别语义特征计算语义相似度矩阵；计算类别语义相似度矩阵的对角矩阵；调用MATLAB工具箱中的Sylvester方程求解算法得到映射矩阵；向目标函数输入训练样本的视觉特征，对应的类别语义特征以及真实标签矩阵，不断调整模型正则化参数的值，求得目标函数的最小值，模型训练完成；在测试阶段，输入测试样本的视觉特征及对应语义特征，计算分类得分，得分最高的类别即为测试样本的预测类别。本发明可充分挖掘不同类别间的语义关系，实现已知与未知类别分类器间的知识迁移，可以方便地应用于图像分类。

Description

一种基于类别转移的零样本分类方法

技术领域

本发明涉及一种零样本分类方法。特别是涉及一种实现从已知类别到未知类别的知识迁移的基于类别转移的零样本分类方法。

背景技术

图像分类技术在快速准确地获取图像信息中发挥着重要作用。传统的图像分类，需要在训练阶段为所有类别提供带标签的训练样本，一方面，伴随着信息多媒体技术的发展，图像数量和种类大大增加，人工标注工作量极大，且效率低，专业性要求高；另一方面，对于一些稀有类别，训练样本往往难以获得。因此，为所有目标类别提供人工标注的训练样本并不现实，如何解决没有训练样本的目标类别分类问题，即零样本(Zero-ShotLearning,ZSL)分类问题，愈发引起关注。

人类具有即使没有见过某类视觉样本，也能够借助辅助信息推断出新类别的能力。例如，一个人只见过马而没有见过斑马，当他得到描述信息，即斑马与马外表相似，只是身上有黑白相间的条纹，那么此人就极有可能正确识别出斑马这一新类别。零样本学习正是受人类这一能力启发，致力于解决当带标签的训练数据不足以涵盖所有目标类别，仅给出对于未知类别的一些描述时，如何进行分类的问题。人类之所以具有这种能力，是因为人脑能够将已知类别和未知类别通过物体的语义信息建立联系。类似地，在零样本学习过程中，通过训练将带有标签的训练数据的视觉信息与相应已知类别的语义信息建立映射关系；然后，通过这种映射关系，将没有标签的测试数据的视觉信息与相应未知类别的语义信息相联系；最后，根据与语义信息最接近的类别为测试数据进行分类，并赋予标签。

传统的零样本分类大多是采用基于映射的方法，通过训练合适的兼容模型，使样本的视觉特征嵌入到语义特征空间，或将两种模态的特征嵌入到公共隐空间。近年来又有学者提出从语义空间到视觉空间的反向映射方法。

发明内容

本发明所要解决的技术问题是，提供一种可利用训练阶段学习到的已知类别分类器对未知类别样本进行合理的标签预测的基于类别转移的零样本分类方法。

本发明所采用的技术方案是：一种基于类别转移的零样本分类方法，包括如下步骤：

1)获取C个类别的训练样本的视觉特征X，训练样本的类别语义特征A以及真实标签矩阵Y；

2)采用余弦相似度或高斯相似度通过类别语义特征A计算语义相似度矩阵S；计算类别语义相似度矩阵S的对角矩阵D：

其中D_ii是对角矩阵D的每个对角元素S_ij是S 的每个元素；最后计算出拉普拉斯矩阵L＝D-S；

3)调用MATLAB工具箱中的Sylvester方程求解算法求出下式的解，得到映射矩阵V；

XX^TV+V(λAL+β)(AA^T)^-1＝XYA^-1

式中，λ和β是模型正则化参数；

4)向如下目标函数输入训练样本的视觉特征X，对应的类别语义特征A以及真实标签矩阵Y，不断调整模型正则化参数λ和β的值，求得如下的目标函数的最小值，

式中，a_i和a_j分别代表第i个类别的语义特征和第j个类别的语义特征；

保留此时模型正则化参数λ和β的值及矩阵V，模型训练完成；

5)在测试阶段，输入测试样本的视觉特征x_ui及对应语义特征a_ui，根据下式计算分类得分，得分最高的类别即为测试样本的预测类别，

步骤1)所述的训练样本、对应的类别语义特征A以及真实标签矩阵Y和步骤5)所述的测试样本均是从AWA数据集或CUB数据集中获得。

步骤1)所述的视觉特征X是通过卷积神经网络提取。

步骤4)中所述目标函数获得是：在分类任务中，若需要为C个已知类别学习分类器，要优化的模型如下：

其中，W为要学习的分类器，L代表某种形式的目标函数，Ω为正则项约束，

考虑到语义信息的辅助作用，将分类器W分解为W＝VA，此时模型变为：

通过对分类器W进行分解得到矩阵V∈R^p×q，便直接将样本的视觉特征和语义特征联系起来，其中：

目标函数

正则项约束

从而利用矩阵V实现从已知类别到未知类别的知识迁移。

本发明的一种基于类别转移的零样本分类方法，在传统基于映射的零样本学习模型基础上，将所学分类器分解为语义空间A与隐空间V相乘，并将流形思想应用到零样本分类任务，可充分挖掘不同类别间的语义关系，实现已知与未知类别分类器间的知识迁移；本发明最终可归为Sylvester方程求解问题，结构简单易于实现，可以方便地应用于图像分类，目标识别与检测等计算机视觉任务中。同时语义特征可以方便的扩展为属性特征，Word2Vec等多种不同形式，且隐空间映射矩阵V可以尝试用非线性方法来代替。

附图说明

图1是本发明一种基于类别转移的零样本分类方法的流程图示意图。

其中，X是训练样本的视觉特征；A训练样本的类别语义特征；V是映射矩阵；W＝VA为训练样本的分类器；X_u是测试样本的视觉特征；A_u是测试样本的类别语义特征；W_u＝VA_u为测试样本的分类器。

具体实施方式

下面结合实施例和附图对本发明的一种基于类别转移的零样本分类方法做出详细说明。

本发明的一种基于类别转移的零样本分类方法是从分类器学习的角度出发，利用样本语义关系实现不同类别分类器之间的知识迁移，从而可利用训练阶段学习到的已知类别分类器对未知类别样本进行合理的标签预测。

本发明适用于解决跨模态的零样本学习问题。本发明以视觉特征和语义特征代表来自两个不同模态的特征，用X＝[x₁,...,x_i,...,x_N]∈R^p×N表示训练阶段来自C个已知类别的N个样本的视觉特征空间，其中p代表视觉特征的维度；用A＝[a₁,...,a_i,...,a_C]∈R^q×C代表与C个已知类别相对应的类别语义空间(属性空间或文本描述空间等)，其中q代表语义特征的维度，例如a_i代表第i个类别的语义矢量。此外，定义Y∈{0,1}^N×C表示所有训练样本对应的真实标签集合。用

表示来自U个未知类别的M个样本视觉特征集合，

为U个未知类别样本对应的语义特征集合。在零样本分类任务中，C和U是互不相交的，零样本分类的目标即为对未知类别样本进行分类。

在传统的分类任务中，若需要为C个已知类别学习一个分类器，要优化的模型如下：

其中，W为训练阶段要学习的分类器，L代表某种形式的目标函数，Ω为正则项约束。通过选取不同的目标函数和正则项，将会得到不同的优化策略。

在零样本分类任务中，考虑到语义信息的辅助作用，本发明将分类器W分解为W＝VA，此时模型变为：

通过对分类器W进行分解得到矩阵V∈R^p×q，便可直接将样本的视觉特征和语义特征联系起来，这样就可利用矩阵V实现从已知类别到未知类别的知识迁移。

为进一步增强模型的迁移能力，本发明利用类别的语义相似度对分类器施加基于流形的语义正则项约束：

其中S_ij代表第i个已知类别和第j个已知类别的语义相似度。本发明提出的语义正则项约束基于以下假设：如果两个类别在语义上很接近，那么每个语义特征a经过V映射到特征空间 Va后，也应该比较接近，即利用语义信息辅助训练得到的这两个类别的分类器应该比较相似。比如在零样本学习常用数据集AWA中，hamster(仓鼠)和mouse(老鼠)这两个类别在语义上十分接近，它们的属性向量将会有较高相似度，那么经过训练后得到的分类器也应该比较接近，从而尽可能保证样本不会被错分到相关性较小的类别中去。

上述模型(2)的第二项正则项约束为：

其中||||_F代表矩阵的弗罗贝尼乌斯范数。该项约束保证V空间欧式距离尽可能小。

本发明选取欧氏距离惩罚项作为本模型的损失函数，因此模型最终可表示为：

其中，λ和β为模型正则化参数。

接下来对模型求解过程进行简要分析，对模型(5)进行线性代数变换，并记

L(V)＝tr(X^TVA-Y)(X^TVA-Y)^T+λtr(A^TV^TLVA)+βtr(VV^T) (6)

其中L＝D-S，为拉普拉斯矩阵；D为对角矩阵，每个对角元素为

对参数V求导，得

XX^TVAA^T+V(λAL+β)＝XYA^T (8)

右乘(AA^T)^-1，得

XX^TV+V(λAL+β)(AA^T)^-1＝XYA^T(AA^T)^-1 (9)

XX^TV+V(λAL+β)(AA^T)^-1＝XYA^-1 (10)

最终方程(10)可通过求解Sylvester方程获得V的闭式解，实际操作中调用MATLAB工具箱即可求解。

在测试阶段，只需根据公式(11)，输入测试样本的视觉特征及对应的语义特征，即可通过训练所得矩阵V学习到测试样本对应的分类器，为测试样本进行标签预测。

如图1所示，本发明的一种基于类别转移的零样本分类方法，具体包括如下步骤：

1)获取C个类别的训练样本的视觉特征X，训练样本的类别语义特征A以及真实标签矩阵Y；所述的训练样本、对应的类别语义特征A以及真实标签矩阵Y和步骤5)所述的测试样本均是从AWA(Animals with Attributes)数据集或CUB(Caltech-UCSDbirds-200-2011)数据集中获得。所述的视觉特征X是通过卷积神经网络提取。

2)采用余弦相似度或高斯相似度通过类别语义特征A计算类别语义相似度矩阵S；计算类别语义相似度矩阵S的对角矩阵D：

其中D_ii是对角矩阵D的每个对角元素S_ij是S的每个元素；最后计算出拉普拉斯矩阵L＝D-S；

3)调用MATLAB工具箱中的Sylvester方程求解算法求出下式的解，得到映射矩阵V；

XX^TV+V(λAL+β)(AA^T)^-1＝XYA^-1

式中，λ和β是模型正则化参数；

4)向如下目标函数输入训练样本的视觉特征X，对应的类别语义特征A以及真实标签矩阵Y，不断调整模型正则化参数λ和β的值，求得如下的目标函数的最小值，

式中，a_i和a_j分别代表第i个类别的语义特征和第j个类别的语义特征；

保留此时模型正则化参数λ和β的值及矩阵V，模型训练完成；

所述目标函数获得是：在分类任务中，若需要为C个已知类别学习分类器，要优化的模型如下：

其中，W为要学习的分类器，L代表某种形式的目标函数，Ω为正则项约束，

考虑到语义信息的辅助作用，将分类器W分解为W＝VA，此时模型变为：

通过对分类器W进行分解得到矩阵V∈Rp×q，便直接将样本的视觉特征和语义特征联系起来，其中，目标函数

正则项约束

从而利用矩阵V实现从已知类别到未知类别的知识迁移。

5)在测试阶段，输入测试样本的视觉特征x_ui及对应语义特征a_ui，根据下式计算分类得分，得分最高的类别即为测试样本的预测类别，

。

Claims (4)

1.一种基于类别转移的零样本分类方法，其特征在于，包括如下步骤：

1)获取C个类别的训练样本的视觉特征X，训练样本的类别语义特征A以及真实标签矩阵Y；

2)采用余弦相似度或高斯相似度通过类别语义特征A计算类别语义相似度矩阵S；计算类别语义相似度矩阵S的对角矩阵D：

其中D_ii是对角矩阵D的每个对角元素；S_ij是S的每个元素；最后计算出拉普拉斯矩阵L＝D-S；

3)调用MATLAB工具箱中的Sylvester方程求解算法求出下式的解，得到映射矩阵V；

XX^TV+V(λAL+β)(AA^T)^-1＝XYA^-1

式中，λ和β是模型正则化参数；L是拉普拉斯矩阵；

4)向如下目标函数输入训练样本的视觉特征X，对应的类别语义特征A以及真实标签矩阵Y，不断调整模型正则化参数λ和β的值，求得如下的目标函数的最小值，

式中，a_i和a_j分别代表第i个类别的语义特征和第j个类别的语义特征；

保留此时模型正则化参数λ和β的值及矩阵V，模型训练完成；

5)在测试阶段，输入测试样本的视觉特征x_ui及对应语义特征a_ui，根据下式计算分类得分，得分最高的类别即为测试样本的预测类别，

2.根据权利要求1所述的一种基于类别转移的零样本分类方法，其特征在于，步骤1)所述的训练样本、对应的类别语义特征A以及真实标签矩阵Y和步骤5)所述的测试样本均是从AWA数据集或CUB数据集中获得。

3.根据权利要求1所述的一种基于类别转移的零样本分类方法，其特征在于，步骤1)所述的视觉特征X是通过卷积神经网络提取。

4.根据权利要求1所述的一种基于类别转移的零样本分类方法，其特征在于，步骤4)中所述目标函数获得是：在分类任务中，若需要为C个已知类别学习分类器，要优化的模型如下：

其中，W为要学习的分类器，L代表某种形式的目标函数，Ω为正则项约束，

考虑到语义信息的辅助作用，将分类器W分解为W＝VA，此时模型变为：

通过对分类器W进行分解得到矩阵

便直接将样本的视觉特征和语义特征联系起来，其中：

目标函数

正则项约束

从而利用矩阵V实现从已知类别到未知类别的知识迁移。

Images