CN105740888A - 一种用于零样本学习的联合嵌入模型 - Google Patents

Abstract

一种用于零样本学习的联合嵌入模型，包括：1)输入训练样本的图像特征X，图像所对应的文本特征Y，以及权重参数α，β，λ；计算所有文本特征向量之和，然后通过如下公式计算特征转换矩阵M：，其中I是单位矩阵；输出特征转换矩阵M。本发明，采用不同模态之间相关关系来构建目标函数，使得属于同一类别两种模态特征在公共空间中的相关性最大，同时最小化属于不同类别的两种模态在公共空间中的相关性。本发明利用训练样本学习到一个转移矩阵使得属于不同模态的特征之间能够相互比较相似度。

Description

一种用于零样本学习的联合嵌入模型

技术领域

本发明涉及一种联合嵌入模型。特别是涉及一种用于零样本学习的联合嵌入模型。

背景技术

伴随着互联网的发展，网络上的多模态数据不断的增长，多模态学习逐渐成为机器学习和数据挖掘的研究热点。多模态学习可是使不同模态的数据特征建立关系，理想情况下多模态学习能够将不同模态的特征信息融合到一个公共的表示空间，实现在同一个语义层次上的比较和检索。在多模态数据不断增长的大数据时代，伴随着用户对于面向多模态数据的挖掘技术的需求与日剧增，传统的面向单模态模型的数据挖掘技术已经不能满足人们的要求。如何挖掘出不同模态之间的有效信息是当前机器学习领域的一个重要任务。

当前的多模态特征融合方法可以分为两类：深层多模态特征融合和浅层多模态特征融合。深层多模态融合的层数一般要大于三层，这种模型大都从不同的模态的输入数据中提取输入的不同模态数据的中间表示再将其作为关联模块的输入，学习这些中间表示特征相互之间的关联关系。这类方法的缺点是：训练时间长，复杂度高，且容易陷入局部最优。浅层多模态模型大部分属于由一到两层结构组成模型，这种方法的优点是比较简单，复杂度低，但在一些复杂数据集上使用浅层模型对模态特征之间进行关联仍存在一些困难。

零样本分类是多模态特征融合的一个重要应用。随着现实应用的需要，零样本学习获得了大量的关注。其常用的方法是将已见过的类别的视觉模态特征和文本特征映射到能够关联不同模态关系的公共空间，并将未见过类别的视觉模态映射到已学习到的公共空间寻找其对应的文本模态，以此来判断其所属的类别。

发明内容

本发明所要解决的技术问题是，提供一种能够使不同模态的特征之间产生关联，从而实现不同模态特征之间转换的用于零样本学习的联合嵌入模型。

本发明所采用的技术方案是：一种用于零样本学习的联合嵌入模型，包括如下步骤：

1)输入训练样本的图像特征X＝[X₁,...,X_i,…,X_n]，图像所对应的文本特征以及权重参数α，β，λ，

其中，X_i是第i类的训练样本的图像特征，y_i是第i类的文本特征，q是文本特征向量的维度，n是文本特征向量的个数；

2)计算所有文本特征向量之和然后通过如下公式计算特征转换矩阵M：

$M={({\mathrm{XX}}^T+\mathrm{\α}I)}^{-1}\left(\right(1+\mathrm{\λ}){\mathrm{XY}}^T-\mathrm{\λ}X{\hat{Y}}^T){({\mathrm{YY}}^T+\mathrm{\β}I)}^{-1}$

其中I是单位矩阵；

3)输出特征转换矩阵M。

步骤1)中所述的α、β和λ是用于调节目标函数中不同目标之间的权重。

所述的α、β和λ是在实验中通过交叉验证的方法获得的。

本发明的一种用于零样本学习的联合嵌入模型，采用不同模态之间相关关系来构建目标函数，使得属于同一类别两种模态特征在公共空间中的相关性最大，同时最小化属于不同类别的两种模态在公共空间中的相关性。本发明利用训练样本学习到一个转移矩阵使得属于不同模态的特征之间能够相互比较相似度。其有益效果主要体现在：

1、本发明提出了一种适用于多模态特征转换的方法，可以有效的从一种模态的特征表示转换为另一种模态的特征表示，并最大可能的挖掘两种模态间的语义信息。

2、实验证明，与传统的典型相关分析和线性回归等方法相比，本发明设计的基于联合嵌入模型在零样本分类中的实验性能明显优于两者。能够充分的利用标注信息学习到不同模态之间的转换矩阵，因此更适用于跨模态之间的转换。

3、本发明简单可行，复杂度低，可以利用在多模态检索，数据挖掘，零样本分类等相关领域。

附图说明

图1是本发明的用于零样本学习的联合嵌入模型的流程图。

具体实施方式

下面结合实施例和附图对本发明的一种用于零样本学习的联合嵌入模型做出详细说明。

图1描述了本发明的一种用于零样本学习的联合嵌入模型的主要流程。在训练阶段，首先分别对图像和文本提取特征，对图像提取视觉特征并利用语言模型从语料库中提取出与图像对应的文本向量，然后利用本发明所提供的算法学习到能够关联不同模态特征的转换矩阵；在测试阶段，首先提取未见过类别的图像视觉特征，然后利用学习到的特征转换矩阵将视觉特征转换到文本特征空间中的特征描述，并将与转换特征最近的文本特征对应的类别作为测试图像的类别。

本发明的一种用于零样本学习的联合嵌入模型，如图1所示，包括如下步骤：

1)输入训练样本的图像特征X＝[X₁,...,X_i,…,X_n]，图像所对应的文本特征以及权重参数α，β，λ，

其中，X_i是第i类的训练样本的图像特征，y_i是第i类的文本特征，q是文本特征向量的维度，n是文本特征向量的个数；

所述的α、β和λ是用于调节目标函数中不同目标之间的权重，所述的α、β和λ是在实验中通过交叉验证的方法获得的。

2)计算所有文本特征向量之和然后通过如下公式计算特征转换矩阵M：

$M={({\mathrm{XX}}^T+\mathrm{\α}I)}^{-1}\left(\right(1+\mathrm{\λ}){\mathrm{XY}}^T-\mathrm{\λ}X{\hat{Y}}^T){({\mathrm{YY}}^T+\mathrm{\β}I)}^{-1}$

其中I是单位矩阵；

3)输出特征转换矩阵M。

Claims (3)

1.一种用于零样本学习的联合嵌入模型，其特征在于，包括如下步骤：

1)输入训练样本的图像特征X＝[X₁,...,X_i,…,X_n]，图像所对应的文本特征以及权重参数α，β，λ，

其中，X_i是第i类的训练样本的图像特征，y_i是第i类的文本特征，q是文本特征向量的维度，n是文本特征向量的个数；

2)计算所有文本特征向量之和然后通过如下公式计算特征转换矩阵M：

$M={({\mathrm{XX}}^T+\mathrm{\α}I)}^{-1}\left(\right(1+\mathrm{\λ}){\mathrm{XY}}^T-\mathrm{\λ}X{\hat{Y}}^T){({\mathrm{YY}}^T+\mathrm{\β}I)}^{-1}$

其中I是单位矩阵；

3)输出特征转换矩阵M。

2.根据权利要求1所述的用于零样本学习的联合嵌入模型，其特征在于，步骤1)中所述的α、β和λ是用于调节目标函数中不同目标之间的权重。

3.根据权利要求1或2所述的用于零样本学习的联合嵌入模型，其特征在于，所述的α、β和λ是在实验中通过交叉验证的方法获得的。