CN106980875A - 基于属性低秩表示的零样本图像识别方法 - Google Patents

Abstract

本发明公开了一种基于属性低秩表示的零样本图像识别方法：首先通过寻求已知类别属性对未知类别属性的低秩表达来挖掘已知类别与未知类别在属性上的内在联系；然后利用这种属性联系虚拟出未知类别的训练样本；最后基于已知类别和未知类别的训练样本学习出属性预测器。在对未知类别样本进行标签预测时，用训练好的属性预测器预测出未知样本的属性，之后把预测的属性与原型属性进行比对通过最近邻分类器得到未知样本的类别标签。与已有的零样本图像识别方法相比，本发明算法能取得更高的识别准确率。

Description

基于属性低秩表示的零样本图像识别方法

技术领域

本发明涉及到模式识别中的零样本图像识别领域，尤其涉及一种基于属性低秩表示的零样本图像识别方法。

背景技术

在模式识别中，图像识别是其重要的组成部分。在图像识别中要想得到比较好的识别效果就必须需要每一种类的大量图像来进行训练。但是，每一种类都要大量的训练图像，这在实际应用中因为代价过高往往无法实现。当出现一种新的种类时，我们有可能很难收集到这种种类的图像来进行训练。所以我们解决零样本识别问题就显得极为重要，而且这个问题越来越受到工业界的关注。

解决零样本图像识别问题的传统的方法大多数是建立在属性基础上的。属性是人类专家自行定义的，它和每一类标签的图像相对应，是对这一类图像的解释，如：有毛，四条腿，颜色。其中直接属性预测(DAP)与间接属性预测(IAP)是最流行的两种基于属性的方法。DAP是直接在已知标签特征与已知标签属性之间训练分类器，然后用该分类器直接预测未知标签的属性，最后进行标签预测。IAP就是在标签与属性之间训练分类器，应用分类器于未知标签上，最后进行标签预测。在DAP和IAP的基础上，AKata等人提出一个模型，把特征和属性同时投影到同一个空间中，在这个空间中去测量每一类的特征与属性之间配合度。之后Fu等人又在标签预测的过程中应用了马尔科夫原理，大大的增加了识别率。最近，RKT这种方法被提了出来，它提供一种全新的框架，训练未知标签属性与已知标签属性之间的关系，然后把这些关系应用到特征空间上，虚拟出未知标签的特征。从而利用未知标签的特征与未知标签的属性进行训练分类器，这样大大提高了识别率。但是，实验时提供给我们的数据库都是人为定义的，存在一定的干扰和噪声。这就导致了我们实验得到的数据不够准确。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于属性低秩表示的零样本图像识别方法，以解决实验数据库含有噪声和干扰的情况。

基于属性低秩表示的零样本图像识别方法，具体包含以下步骤：

步骤1，训练未知类别原型属性被已知类别属性所线性表示的低秩系数矩阵；

步骤2，根据低秩系数矩阵获取未知类别的图像样本；

步骤3，根据未知类别的图像样本与所对应未知类别的原型属性训练属性预测器；

步骤4，根据步骤3训练好的属性预测器预测待识别样本的属性，利用最近邻分类器比对待识别样本的属性与类别的属性，获得待识别样本的类别标签。

作为本发明基于属性低秩表示的零样本图像识别方法的进一步优选方案，在步骤2中：所述未知类别的图像样本具体如下：

其中，μ_j是一类图像的均值，Σ_j是其方差，W_j,i为在属性空间中未知类别被已知类别属性表示的系数，p为已知类别样本。

作为本发明基于属性低秩表示的零样本图像识别方法的进一步优选方案，在步骤3中，属性预测器具体计算公式如下：

U＝Φ_avgX_avg ^T+(X_avgX_avg ^T+I)^-1

其中，U为属性预测器，X_avg为未知类别图像特征，Φ_avg为未知类别属性，I为单位矩阵，X^T为矩阵X的转置。

作为本发明基于属性低秩表示的零样本图像识别方法的进一步优选方案，在步骤4中，所述最近邻分类器模型为：

其中，C_i为第i个样本标签，Φ_Y为测试样本的属性，Φ_j为未知类别样本的属性，q为模型中总共有q类未知类别属性。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1、在没有高低分辨率图像对应关系的条件下，通过比对高低分辨率空间的结构得到它们的对应关系，减少了人力；

2、采用将高低分辨率图像同时投影的方法，建立一致的特征空间；

3、在投影时利用两个约束条件限制特征空间类内聚拢、类间分散的结果，与传统的CLPM、CDMMA等方法相比，本发明最大的亮点在于不依附于对应关系条件，通过比对图像空间的结构学习得到这个条件，在识别算法上，将高低分辨率图像同时投影到特征空间。有效的减少了人力，获得了更高更稳定的识别效果。

附图说明

图1是本发明基于属性低秩表示的零样本图像识别的工作流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开了一种基于属性低秩表示的零样本图像识别方法：首先是在属性空间中未知类别属性与已知类别属性之间对应关系的确立，基于低秩表示的原理，每一类的未知类别属性都可以被其他已知类别属性所线性表示，而线性表示的系数就确定了未知类别属性与已知类别属性之间关系。其次，在特征空间中，未知类别的特征同样能被已知类别的特征线性表示。我们把已训练好的属性关系应用到特征关系中产生未知类别的特征。我们的目标是在未知类别的特征与未知类别的属性之间训练分类器。

本发明所述的基于属性低秩表示的零样本图像识别方法，包括以下步骤：

步骤1，训练未知类别原型属性被已知类别属性所线性表示的低秩系数矩阵；

步骤2，根据低秩系数矩阵获取未知类别的图像样本；

步骤3，根据未知类别的图像样本与所对应未知类别的原型属性训练属性预测器；

步骤4，根据步骤3训练好的属性预测器预测待识别样本的属性，利用最近邻分类器比对待识别样本的属性与类别的属性，获得待识别样本的类别标签。

下面对所述步骤进行详细说明：

(一)训练未知类别属性与已知类别属性之间的关系

假设给定的训练集中包含p类已知类别Y＝[y₁,...,y_p]，给定的训练图像为X＝[X₁,...,X_p]∈R^d×p，d是图像特征向量的维数，p为已知类别样本，每一类的图像含有不同的N_i张照片，相对应的属性表示为Φ_tr＝[Φ₁,...,Φ_p]，每一类图像对应的属性表示都是相同的。有q类未知类别Z＝[z₁,...,z_q]给定的未知类别的属性表示为Φ_ts＝[Φ₁,...,Φ_q]。已知类别的图像与未知类别的图像没有交集。

(1)求未知类别原型属性由已知类别属性表示的矩阵

利用低秩表示的原理来表示出未知类别属性Φ_ts和已知类别属性Φ_tr之间的关系矩阵W。而在求关系矩阵W的过程中，我们设Φ＝[Φ_p+1,Φ₁,...,Φ_p]∈R^m×(1+p)，Φ_p+1是未知类别原型的一类属性，Φ₁,Φ₂,...,Φ_p是所有已知类别属性。

E为噪声和干扰，λ为未知参数。Z＝[Z₁,...,Z_n]∈R^(1+p)×(1+p)是Φ矩阵中每一类属性被其他类属性所低秩表示的系数矩阵。Z矩阵的第一列系数就是一类未知类别原型属性由所有已知类别属性所低秩表示的系数。然后用未知类别属性的其他类去更换Φ矩阵的第一列，去求未知类别类的其他类原型属性被所有已知类别属性所低秩表示的系数。这些系数所组合的矩阵就是W。

在求解上述模型算法时，引入新的矩阵X，即此优化问题等价于：

构造上述优化问题的增广拉格朗日乘子函数为

当Z＝Z_k,E＝E_k,Y₁＝Y₁ ^k,u＝u_k时，X的更新公式为

Z的更新公式为

E的更新公式为

拉格朗日乘子的迭代公式为

Y₁ ^k+1＝Y₁ ^k+u_k(Φ-ΦZ_k+1-E_k+1)

参数u的更新公式为

(二)通过系数矩阵W来虚拟出未知类别的样本

在属性空间中，未知类别的属性可以由已知类别属性低秩表示，在特征空间未知类别的特征同样可以由已知类别特征低秩表示。在本发明中，我们认为属性空间和特征空间里的系数是相同的。那么由这个原理我们就可以利用这些系数来虚拟出未知类别的特征。设每一类已知类别的图像都是正态分布的，即N(μ_j,Σ_j)，μ_j是一类图像的均值，Σ_j是其方差。未知类别的样本也是服从正态分布的，从而可以虚拟出所有未知类别的图像。那么我们就可以虚拟出未知类别属性所对应的样本为：

其中，μ_j是一类图像的均值,Σ_j是其方差，W_j,i为在属性空间中未知类别被已知类别属性表示的系数,p为已知类别样本。

W_j,i为在属性空间中未知类别被已知类别属性表示的系数，μ_j是一类图像的均值，p指有p类已知类别样本。

(三)通过虚拟出的图像特征与未知类别的原型属性之间训练属性预测器

已知未知类别图像特征X_avg与未知类别原型属性Φ_avg，我们就可以利用如下公式训练属性预测器U：

对上述模型求导可得：U＝Φ_avgX_avg ^T+(X_avgX_avg ^T+I)^-1

其中，U为属性预测器，X_avg为未知类别图像特征，Φ_avg为未知类别属性，I为单位矩阵，X^T为矩阵X的转置。

(四)识别

用已经训练好的属性预测器对测试样本进行属性预测，把预测的属性Φ_y与原型属性进行比对通过最近邻分类器得到未知样本的标签。最近邻分类器模型为：C_i为第i个样本标签。Φ_y为测试样本的属性，Φ_j为未知类别样本的属性，q为总共有q类未知类别属性。

将本发明所述的基于属性低秩表示(LRR)的零样本图像识别方法在Animal withAttribute(AWA)and Caltech-UCSD Birds 2011(CUB)数据库上进行实验，并将实验结果与相关的零样本图像识别的其他方法进行对比分析。

AWA数据库包含了50类动物的30475张照片，每一类照片至少含有92张照片。在属性空间中，每一类图像对应着一列85维的向量。在实验中，我们拿出40类作为训练集，其余10类作为测试集。CUB数据库中含有200种不同的鸟类并且它们有相对应的属性。总共有11788张图片，而且每张图片所对应的属性是312维。我们拿出150类作为训练集，剩余50类作为测试集。进行30次随机试验得到的平均识别率如下：表一为AWA和CUB数据库上各种方法的识别率：

表一

方法	AWA数据库	CUB数据库
			IAP	44.5％	19.5％
DAP	53.2％	31.4％
			Makoto	62.4％	-
RKT	70.06％	37.61％
			LRR	71.8％	39.04％

在AWA数据库上，我们对已知类别的属性随机的对每一列向量进行的小噪声破坏，比较RKT与LRR两种方法来验证LRR方法对于有噪声的试验数据库时是否还有良好的识别效果。表二为AWA数据库上有噪声情况的两种方法的比较：

表二

从表一和表二中的结果可以看出，本发明提出的方法比其他方法的识别率都高。而且当实验数据库受到噪声干扰时，本发明的实验结果依然很稳定且识别率要高于其他方法。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.基于属性低秩表示的零样本图像识别方法，其特征在于：具体包含以下步骤：

步骤1，训练未知类别原型属性被已知类别属性所线性表示的低秩系数矩阵；

步骤2，根据低秩系数矩阵获取未知类别的图像样本；

步骤3，根据未知类别的图像样本与所对应未知类别的原型属性训练属性预测器；

步骤4，根据步骤3训练好的属性预测器预测待识别样本的属性，利用最近邻分类器比对待识别样本的属性与类别的属性，获得待识别样本的类别标签。

2.根据权利要求1所述的基于属性低秩表示的零样本图像识别方法，其特征在于：在步骤2中：所述未知类别的图像样本具体如下：

${\mathrm{\μ}}_i={\mathrm{\Σ}}_{j=1}^p{W}_{j,i}{\mathrm{\μ}}_j$

其中，μ_j是一类图像的均值，Σ_j是其方差，W_j,i为在属性空间中未知类别被已知类别属性表示的系数，p为已知类别样本。

3.根据权利要求1所述的基于属性低秩表示的零样本图像识别方法，其特征在于：在步骤3中，属性预测器具体计算公式如下：

U＝Φ_avgX_avg ^T+(X_avgX_avg ^T+I)^-1

其中，U为属性预测器，X_avg为未知类别图像特征，Φ_avg为未知类别属性，I为单位矩阵，X^T为矩阵X的转置。

4.根据权利要求1所述的基于属性低秩表示的零样本图像识别方法，其特征在于：在步骤4中，所述最近邻分类器模型为：

$C_i=\arg \underset{j=1,2,...q}{min}\left|\right|{\mathrm{\Φ}}_Y-{\mathrm{\Φ}}_j|{|}_2^2$

其中，C_i为第i个样本标签，Φ_Y为测试样本的属性，Φ_j为未知类别样本的属性，q为模型中总共有q类未知类别属性。