CN105512679A - 一种基于极限学习机的零样本分类方法 - Google Patents

Abstract

本发明公开了一种基于极限学习机的零样本分类方法，用于图像的分类，包括以下步骤：在训练阶段提取训练图像视觉特征，以及与训练图像视觉特征对应的训练语义特征；随机为L个结点生成第一输入权重和第一阈值，并利用隐藏层映射函数计算隐藏层的第一输出矩阵；通过训练语义特征和隐藏层的第一输出矩阵计算网络的输出权重；在测试阶段提取测试样本的视觉特征，随机为L个结点生成第二输入权重和第二阈值，并利用隐藏层映射函数计算隐藏层的第二输出矩阵；通过输出权重计算第二输出矩阵对应在语义空间中的嵌入向量，并根据嵌入向量与语义特征空间中的语义特征相似度，判断测试样本所属的类别。本发明减少了训练时间，且提高了图像的分类速度。

Description

一种基于极限学习机的零样本分类方法

技术领域

本发明涉及一种机器学习领域的图像分类方法，尤其涉及一种基于极限学习机的零样本分类方法，本方法针对单隐层前馈神经网络中存在的训练时间长，不能保证得到最优解，泛化能力差，容易过拟合等缺点，利用一种简单有效的极限学习机进行分类，显著提升了图像的分类效率。

背景技术

随着实际应用的需要，零样本分类得了大量的关注。传统的分类问题是指，利用训练数据集学习一个分类器，然后利用学习到的分类器对测试样本进行分类，其中测试样本属于训练数据集中的类别，而零样本分类可以对不属于训练数据集类别的样本进行预测和分类。传统的图像分类方法是单模态的，即只需要提取图像的视觉特征；而零样本分类是多模态的，即不仅需要图像的视觉特征，还需要一种或几种更高层语义的特征，常用的语义特征有：属性特征和文本特征。

零样本分类常用的方法是跨模态转换的方法，具体为：每一个类别都对应一个语义特征，然后学习一个特征转换矩阵从视觉模态空间中的特征映射到语义特征空间中。对于测试样本，首先提取测试样本的视觉特征，然后利用学习到的转换矩阵将测试样本的视觉特征映射到语义空间中，这样测试样本在语义空间中就有对应的嵌入向量，然后计算所得的嵌入向量与语义空间中所有语义特征的相似度，并将与嵌入向量相似度最大的类别作为测试样本的类别。所以不同模态之间的转换矩阵在零样本分类中扮演了重要的角色。当前的跨模态学习分为线性和非线性两种。

1、线性模型的代表有线性回归模型。线性回归模型利用最小二乘损失函数，实现跨模态之间的转换。线性模型的优点是简单，训练时间短，复杂度低，在小样本数据集上有较好的性能，但在处理大数据库样本时，线性模型往往不能很好的拟合模态之间的映射关系。

2、非线性方法的代表有神经网络模型。神经网络是一种多层的非线性结构模型，其输入是一种模态特征，输出是与输入相对应的另一模态的特征，整个网络利用反向传播算法进行优化。非线性模型的优点是能对模态之间的映射关系很好的拟合，并且可以为大量难以用传统分类技术处理的自然或者人工现象提供有效的模型，但训练时间太长，效率低。

发明内容

本发明提供了一种基于极限学习机的零样本分类方法，本发明将极限学习机用于跨模态之间的转换，并应用于零样本分类中，实现图像的分类，详见下文描述：

一种基于极限学习机的零样本分类方法，所述零样本分类方法用于图像的分类，所述零样本分类方法包括以下步骤：

(1)在训练阶段提取训练图像视觉特征，以及与训练图像视觉特征对应的训练语义特征；

(2)在输入权重和阈值的权值范围内，随机为L个隐藏层结点生成第一输入权重和第一阈值，并利用隐藏层映射函数计算隐藏层的第一输出矩阵；

(3)通过训练语义特征和隐藏层的第一输出矩阵计算网络的输出权重；

(4)在测试阶段提取测试样本的视觉特征，随机为K个结点生成第二输入权重和第二阈值，并利用隐藏层映射函数计算隐藏层的第二输出矩阵；

(5)通过步骤(3)中的输出权重，计算第二输出矩阵对应在语义空间中的嵌入向量，并根据嵌入向量与语义特征空间中的语义特征相似度，判断测试样本所属的类别。

具体实现时，所述训练语义特征为：与图像对应的文本特征或者是属性特征。

本发明提供的技术方案的有益效果是：本发明主要针对现有零样本分类中线性方法不能很好的拟合不同模态之间的关系；非线性方法训练效率低的问题，利用极限学习机实现了不同模态之间的映射关系，其优势主要体现在：

(1)新颖性：首次将极限学习机应用在零样本分类中，不仅能很好的拟合了不同模态之间的映射关系，而且避免了非线性模型中复杂度高，容易过拟合的缺点。

(2)有效性：通过实验数据验证了与线性方法相比，本发明所应用的极限学习机在零样本分类应用中的性能明显提高，与非线性的神经网络相比，训练时间明显减少，提高了图像的分类速度。

(3)实用性：简单可行、且复杂度较低。

附图说明

图1为基于极限学习机的零样本分类方法的示意图；

图2为一种基于极限学习机的零样本分类方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

针对背景技术中的描述，可以得出基于线性方法不能对数据模态之间的关系很好的拟合，并且存在非线性模型复杂度高、训练时间长的缺点，因此基于极限学习机的分类方法应运而生。

极限学习机是一种单隐层的前馈神经网络模型，整个网络模型分为三层，包括：输入层、隐藏层和输出层。当前的极限学习机大都采用简单的随机方式来获得输入权重和阈值，独立于训练数据，避免对训练数据产生过度拟合。

若用(a,b)表示隐藏层结点获得的输入权重a和阈值b，训练样本用两种不同模态的数据(x,y)表示，其中x表示输入样本，y是与x对应的输出样本。隐藏层的映射函数为f(x),映射函数的形式可以表示为：f(x)＝1/(1+e^-x)，输出权重用β表示，隐藏层的结点数为L，err表示网络的学习误差，则极限学习机的目标函数为：

$\underset{\mathrm{\β}}{min}err=\left|\right|\underset{i=1}{\overset{L}{\Σ}}{\mathrm{\β}}_{i}f(a_i,b_i,x)-y|{|}_F^2---\left(1\right)$

其中，β_i为隐藏层第i个结点的权重；f(a_i,b_i,x)为隐藏层第i个结点的输出；a_i为隐藏层第i个结点的输入权重；b_i为第i个结点的的阈值；为最小化误差；F为Frobenius范数。

将隐藏层的输出矩阵用H表示，则极限学习机的目标函数可以转换为：

$\underset{\mathrm{\β}}{min}\left|\right|H\mathrm{\β}-y|{|}_F^2---\left(2\right)$

则输出权重β＝[β₁,β₂,.K,β_L](用矩阵表示)可以利用最小二乘法进行求解。

β＝(H^TH)^-1H^Ty(3)

其中，T为矩阵的转置。

给定N个训练样本，分别提取每个样本对应的视觉特征和语义特征，语义特征可以是属性特征或者是文本特征。其中表示样本的视觉特征，m为X的维度；表示样本的语义特征，n为Y的维度；是表示特征空间维数的符号。。

对于极限学习机的训练模型，是将训练样本的视觉特征作为输入，语义特征作为输出，从而实现从视觉模态到语义模态之间的转换。

零样本分类是对未见过类别的样本进行分类，利用极限学习机进行零样本分类的过程主要分为两个阶段：

1、训练阶段：利用已见过类别样本的视觉特征和语义特征学习到一个特征转移矩阵。

该训练阶段的主要过程如下：

首先在输入层和隐藏层之间随机生成输入权重和阈值L为训练样本的个数；m还表示维度。

然后将输入样本利用输入权重和阈值映射到隐藏层，即：Z＝A^TX+b，Z为隐藏层结点的值，然后利用隐藏层映射函数计算隐藏层的输出矩阵H，即：H＝1/(1+e^-Z)。

再次利用公式(3)计算隐藏层与输出层的输出权重β。

2、测试阶段：利用学习到的输出权重β将未见过类别的测试样本进行分类。

该测试阶段的主要过程如下：

首先在输入层和隐藏层之间随机生成输入权重，然后将测试样本向量映射到隐藏层并利用隐藏层映射函数计算隐藏层的输出向量；

然后利用学习到的输出权重β将隐藏层的输出向量映射到语义特征空间；

再次在语义特征空间中通过相似度度量方法计算映射向量与未见过类别的语义的相似度，利用相似度的大小判断测试样本的类别。

图1和图2是本发明实施例利用极限学习机进行零样本分类的流程图，下面结合图1和图2对本方法的操作步骤进行详细的描述：

101：在训练阶段提取训练图像视觉特征，以及与训练图像视觉特征对应的训练语义特征；

其中，训练语义特征可以为与图像对应的文本特征或者是属性特征，具体实现时本发明实施例对此不做限制。

102：在输入权重和阈值的权值范围内，随机为L个隐藏层结点生成第一输入权重和第一阈值，并利用隐藏层映射函数计算隐藏层的第一输出矩阵；

103：通过训练语义特征和隐藏层的第一输出矩阵计算网络的输出权重；

104：在测试阶段首先提取测试样本的视觉特征，然后随机为L个结点生成第二输入权重和第二阈值，并利用隐藏层映射函数计算隐藏层的第二输出矩阵；

105：通过步骤103学习到的输出权重，计算隐藏层的第二输出矩阵对应在语义空间中的嵌入向量，并根据嵌入向量与语义特征空间中的语义特征相似度判断测试样本所属的类别。

综上所述，本发明实施例通过上述步骤101-步骤105将极限学习机用于跨模态之间的转换，并应用于零样本分类中，实现了对图像的分类，满足了实际应用中的需要。

下面结合具体的实验、表格对上述方案进行可行性的验证，详见下文描述：

AWA数据库是零样本分类中最常用的数据库，共有50个动物类，30475张图片。本发明实施例利用其中的40个类作为训练，10类作为测试进行实验，并利用平均准确率作为评价标准。该AWA数据库为本领域技术人员所公知，本发明实施例对此不做赘述。

提取图像的Decaf特征(该特征为本领域技术人员所公知)作为视觉特征，属性特征作为语义特征进行实验，实验采用i5系列CPU及12G内存的电脑，利用MATLAB程序实现，其结果如下：

表：利用极限学习机和线性回归模型的性能比较

	线性回归模型	极限学习机
			平均准确率	49.12％	53.18％
训练时间/测试时间	18.73s/0.118s	25.22s/0.023s

从上述表中可以看出，利用极限学习机在AWA数据库上的平均准确率为：53.18％，比线性回归模型的平均准确率高4.06％。线性回归模型的训练时间比极限学习机的训练时间要短，但测试时间却比极限学习机的测试时间长。

通过上述的实验证明了利用极限学习机进行零样本分类的可行性和有效性。

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于极限学习机的零样本分类方法，所述零样本分类方法用于图像的分类，其特征在于，所述零样本分类方法包括以下步骤：

(1)在训练阶段提取训练图像视觉特征，以及与训练图像视觉特征对应的训练语义特征；

(2)在输入权重和阈值的权值范围内，随机为L个隐藏层结点生成第一输入权重和第一阈值，并利用隐藏层映射函数计算隐藏层的第一输出矩阵；

(3)通过训练语义特征和隐藏层的第一输出矩阵计算网络的输出权重；

(4)在测试阶段提取测试样本的视觉特征，随机为L个结点生成第二输入权重和第二阈值，并利用隐藏层映射函数计算隐藏层的第二输出矩阵；

(5)通过步骤(3)中的输出权重，计算第二输出矩阵对应在语义空间中的嵌入向量，并根据嵌入向量与语义特征空间中的语义特征相似度，判断测试样本所属的类别。

2.根据权利要求1所述的一种基于极限学习机的零样本分类方法，其特征在于，所述训练语义特征具体为：与图像对应的文本特征或者是属性特征。