CN106980876A - 一种基于鉴别性样本属性学习的零样本图像识别方法 - Google Patents

Abstract

本发明公开了一种基于鉴别性样本属性学习的零样本图像识别方法，首先我们在源域和目标域共同学习投影矩阵，并使用源域和目标域每类的原型来调整学习到的投影矩阵。然后，利用学习到的投影矩阵把目标域的图像特征映射到属性空间得到其属性表示。最后，在属性空间上利用最近邻分类器对图像进行分类。对目标域而言，已有的投影矩阵学习方法由于未考虑目标域与源域的分布差异从而更容易导致域迁移问题，而我们的算法通过综合利用源域和目标域的样本信息缓解这种影响，能够取得了更高的图像识别准确率。

Description

一种基于鉴别性样本属性学习的零样本图像识别方法

技术领域

本发明涉及图像识别领域，尤其涉及一种基于鉴别性样本属性学习的零样本图像识别方法。

背景技术

所谓的零样本图像识别(zero shotrecognition)就是对没有标签数据的样本学习一个识别模型，因此它是模式识别和计算机视觉领域的重要组成部分，受到了研究界广泛关注并取得了快速的发展。但大多数的零样本图像识别技术都是：首先从源域上学习一个模型，然后直接把模型应用到目标域来预测图像的属性表示。这类学习方法没有考虑域迁移问题。由于源域和目标域的标签是不同的，这就对研究人员提出了一个新的挑战--如何减轻域迁移问题对最终分类性能的影响。

传统的零样本识别技术包括直接属性预测DAP和间接属性预测IAP。其中DAP是在源域学习一个属性分类器(SVM),然后用该属性分类器预测目标域图像的属性表示。IAP是在源域上学习一个类别分类器(SVM)，然后利用类别分类器和贝叶斯概率公式预测目标域图像的属性。Elyor Kodirov等人提出了在目标域上进行字典学习的非监督域适应方法。该方法首先在源域上学习一个字典Ds，然后在目标域上学习一个无限逼近Ds的新的字典Dt。与DAP和IAP方法相比，这个方法考虑到源域和目标域适应性问题，在一定程度上减轻了域迁移问题对识别性能的影响。但是该方法还有些不足。首先，作者考虑用源域知识Ds去调节目标域字典Dt，没有将模型在每一次迭代得到字典Dt反馈到源域字典Ds的学习上。这种单方向的学习方式很有可能不是最好的学习方式。然后，作者在字典Dt学习过程中加入视觉语意相似性约束(Visual--semantic similarity constraint)。该约束项运用了IAP方法来获得目标域图像-类别概率矩阵，一旦求出，图像-类别概率矩阵就固定了。因此，模型的最终分类性能会受到IAP方法的影响。最后在模型的学习阶段，上述方法都采用的是用源域每类的原型来代替该类所有样本的属性表示并且作为已知。我们认为这种做法有一定不合理性。因为类原型并不能代表该类所有的样本的属性表示。例如：猫的原型为[1,1,1]表示有红色的毛，有腿，吃鱼。如果该类有一种黑色猫，那么该原型就不能用来描述黑色的猫。所有这样属性表示并没有足够的可区分性。我们认为源域中所有样本的属性表示不能由该类的原型简单的定义，而是要从数据中学出每一个样本可区分性的属性表示。而我们正是这样做。

发明内容

本发明所要解决的技术问题是针对背景技术中所涉及到的缺陷，提供一种基于鉴别性样本属性学习的零样本图像识别方法，以缓解领域迁移对图像识别精度影响。

本发明为解决上述技术问题采用以下技术方案：

一种基于鉴别性样本属性学习的零样本图像识别方法，包含以下步骤:

步骤1，利用源域图像特征、目标域图像特征以及源域和目标域中每类的原型共同学习目标域的投影矩阵W；

步骤2，根据学习到的投影矩阵W将目标域图像特征映射到属性空间得到图像的属性表示矩阵Y_t；

步骤3，在属性空间中，利用最近邻分类器进行识别，得到图像所属类别。

作为本发明一种基于鉴别性样本属性学习的零样本图像识别方法的进一步优选方案，在步骤1中，投影矩阵W具体如下：

其中，Y_s和Y_t分别是源域和目标域中每一幅图像特征的m维属性表示，λ₁和λ₄均是为了确保学习出的投影矩阵更适合目标域而提出的平衡参数，其中，X_s和X_t分别是源域和目标域图像特征矩阵，Y_s和Y_t分别是源域和目标域图像属性表示矩阵，T是转置运算符，I是单位矩阵，n_s和n_t分别是源域和目标域的图像个数，m是所有图像属性表示的维数。

作为本发明一种基于鉴别性样本属性学习的零样本图像识别方法的进一步优选方案，在步骤2中，所述目标域图像的属性表示矩阵Y_t具体表示如下：

其中，

C_t是目标域中类别个数，表示目标域第n_t个样本属于第j类的概率，表示目标域第j类的原型，λ₂和λ₆均是为了确保学习出的投影矩阵更适合目标域而提出的平衡参数。

作为本发明一种基于鉴别性样本属性学习的零样本图像识别方法的进一步优选方案，在步骤3中，所述最近邻分类器具体表示如下：

其中c_i是第i个样本的标签，表示模型预测目标域中第i个图像属性表示。

作为本发明一种基于鉴别性样本属性学习的零样本图像识别方法的进一步优选方案，所述投影矩阵W的具体学习过程如下：

步骤1.1，令源域集合S包含C_S个类，n_s个标记图像，即S＝[X_s,Y_s,z_s]；目标域集合T包含C_t个类，n_t个未标记的图像，即T＝[X_t,Y_t,z_t]；每幅图像通过d维的特征矢量描述，即，其中，和分别是源域和目标域类标签矢量，并且有z_s∩z_t＝φ；

步骤1.2，把从特征空间到属性空间的映射看成一种投影的学习，即有如下优化模型(1)：

其中，||·||_F是矩阵的Frobenius范数,和分别是目标域和源域第i个样本属于第j类的概率，和分别是目标域和源域第j类原型，λ₃和λ₅都是为了确保学习出的投影矩阵更适合目标域而提出的平衡参数；

步骤1.3，采用交替优化的方式求解模型(1)：

固定W，Y_t，更新Y_s

公式(2)的解为：

固定W，Y_s，更新Y_t

公式(3)的解为：

固定Y_t，Y_s,更新W

公式(4)的解为：

其中

表示源域第n_s个样本属于第j类的概率，表示源域中第j类的原型。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.本发明采用在源域和目标域上共同学习投影矩阵的方法能够获得更适合目标域的投影矩阵，因此域迁移问题能够被有效的缓解；

2.本发明采用更新图像--类别概率矩阵方法，解除了算法对IAP模型的依赖；

3.本发明模型中源域属性相似性约束能够为源域样本学习具有可区分性的属性表示，与传统的DAP、IAP和非监督域适应等方法相比，本发明最大的亮点在于我们不是通过原型为源域样本定义属性表示，而我们通过模型为源域样本学习具有可区分性的属性表示。

附图说明

图1是本发明在AwA和CUB数据集识别结果；

图2是本发明的一种基于鉴别性样本属性学习的零样本图像识别方法工作流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开了一种基于鉴别性样本属性学习的零样本图像识别方法：如图2所示，首先我们假设源域和目标域共用同一个投影矩阵，这样我们就可以在源域和目标域上共同学习从特征空间到属性空间的投影矩阵。然后，我们就可以利用投影矩阵将目标域的图像特征数据映射到属性空间。最后，我们采取最简单的分类模型--最近邻来对目标域样本进行分类。本发明所述的一种基于鉴别性样本属性学习的零样本图像识别方法，包括以下步骤：

(一)目标域投影矩阵确定：

令源域集合S包含C_S个类，n_s个标记图像即S＝[X_s,Y_s,z_s]，目标域集T合包含C_t个类，n_t个未标记的图像即T＝[X_t,Y_t,z_t]。每幅图像通过d维的特征矢量描述。我们有，和是源域和目标域类标签矢量并且有z_s∩z_t＝φ。Y_s和Y_t分别是源域和目标域图像m维属性表示。有

在研究识别算法前，我们必须先得到目标域投影矩阵。通过投影矩阵将源域知识迁移到了目标域，进而得到目标域图像属性表示Y_t。为了缓解域迁移问题，我们假设源域和目标域共用同一个投影矩阵，这样我们就可以在源域和目标域上共同学习投影矩阵。同时为了解决背景技术中提出的缺陷，我们也提出两个约束项，分别是动态视觉语意相似性约束(DVSS)和源域属性相似性约束(SDAS)。我们模型如(1)所示：

λ₁是为了确保学习出的投影矩阵更适合目标域而提出平衡参数。最后3项是正则化项，防止模型过度拟合。

(1)动态视觉语意相似性约束(DVSS)

其中，通过IAP模型进行初始化，在以后模型每一次迭代的过程中都被动态更新，使其每一次都更接近它真实值。该约束项的作用是为了让目标域的图像属性表示更接近它真正的类原型。

(2)源域属性相似性约束(SDAS)

因为源域图像带了标签，因此很容易的被初始化。该约束项的作用是为源域样本找到具有区分性的属性表示。

(二)算法模型及求解

需要指出的是，同时对W，Y_s，Y_t来说，该模型不是凸优化问题。但是对于某个来说，是凸优化问题。因此我采用交替优化的方式来求解该模型。上述优化问题变成如下3个子优化问题。

(1)固定W，Y_t，更新Y_s

优化问题(2)的解为

(2)固定W，Y_s，更新Y_t

优化问题(3)的解为：

固定Y_t，Y_s,更新W

优化问题(4)的解为：

其中

一旦Y_s和Y_t确定，对每类所有图像求均值属性作为新的类原型，然后通过IAP方法继续更新使其在每次迭代之后更接近它的真实值。

一旦投影矩阵求出，我们就可以利用其预测目标域样本的属性表示然后在属性空间利用最近邻分类器进行识别。

(三)识别

当需要识别未标记样本的图像的标签时，将其通过投影矩阵W映射到属性空间，然后再利用最近邻分类器进行分类，找到图像的标签输出。

将本发明所述的学习可区分性样本属性的零样本图像识别算法在AwA数据库和CUB数据库上进行实验，并将实验结果与相关零样本识别算法进行对比分析。

AwA数据库包含50类，总共有30475幅动物图像，每一类由85维属性进行描述并提供了类属性矩阵。我们使用数据库提供40类作为源域，10类作为目标域(24295幅图像训练，6180幅图像测试)。CUB数据库是细粒度鸟类数据库，包含200不同的鸟类，总共有11788幅图像。提供312维类属性注释。我们和Elyor Kodirov等人一样，采用150/50划分源域和目标域。

在AwA数据库和CUB数据库实验结果与相关方法进行比较，如表1所示。

表1

IAP	44.5	19.5
			DAP	53.2	31.4
E.Kodirov	73.2	39.5
			RLSDA	86.1	41

由表1可见，在不同数据库上，相比于其他三种算法，我们的算法能够获得更好的识别性能。同时也表明为源域样本学习具有可区分性的图像属性表示更有助于模型学习更优的投影矩阵。

我们也研究了在学习阶段，目标域样本的数量对学习模型的影响。目标域每类分别取20,40,60,80,100幅来训练模型。在AwA和CUB数据库上的实验结果如图1所示。由图1可知，该算法对目标域数量具有一定稳定性。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于鉴别性样本属性学习的零样本图像识别方法，其特征在于，包含以下步骤:

步骤1，利用源域图像特征、目标域图像特征以及源域和目标域中每类的原型共同学习目标域的投影矩阵W；

步骤2，根据学习到的投影矩阵W将目标域图像特征映射到属性空间得到图像的属性表示矩阵Y_t；

步骤3，在属性空间中，利用最近邻分类器进行识别，得到图像所属类别。

2.根据权利要求1所述的一种基于鉴别性样本属性学习的零样本图像识别方法，其特征在于，在步骤1中，投影矩阵W具体如下：

$W={(X_t{X}_t^T+{\mathrm{\λ}}_1{X}_s{X}_s^T+{\mathrm{\λ}}_{4}I)}^{-1}(X_t{Y}_t^T+X_s{Y}_s^T)$

其中，Y_s和Y_t分别是源域和目标域中每一幅图像特征的m维属性表示，λ₁和λ₄均是为了确保学习出的投影矩阵更适合目标域而提出的平衡参数，其中，X_s和X_t分别是源域和目标域图像特征矩阵，Y_s和Y_t分别是源域和目标域图像属性表示矩阵，T是转置运算符，I是单位矩阵，n_s和n_t分别是源域和目标域的图像个数，m是所有图像属性表示的维数。

3.根据权利要求2所述的一种基于鉴别性样本属性学习的零样本图像识别方法，其特征在于，在步骤2中，所述目标域图像的属性表示矩阵Y_t具体表示如下：

$Y_t=(W^T{X}_t+\frac{{\mathrm{\λ}}_2}{2}{N}_t^T){(I+{\mathrm{\λ}}_2{K}_t{K}_t^T+{\mathrm{\λ}}_{6}I)}^{-1}$

其中，

$K_t=diag(\[\sqrt{{\Σ}_{j=1}^{C_t}{m}_{1j}^t},...,\sqrt{{\Σ}_{j=1}^{C_t}{m}_{n_{t}j}^t}\])$

$N_t=\left[\begin{array}{c}{\left({\Σ}_{j=1}^{C_t}{m}_{1j}^t{p}_j^t\right)}^T\\ \mathrm{...}\\ {\left({\Σ}_{j=1}^{C_t}{m}_{n_{t}j}^t{p}_j^t\right)}^T\end{array}\right]$

C_t是目标域中类别个数，表示目标域第n_t个样本属于第j类的概率，表示目标域第j类的原型，λ₂和λ₆均是为了确保学习出的投影矩阵更适合目标域而提出的平衡参数。

4.根据权利要求3所述的一种基于鉴别性样本属性学习的零样本图像识别方法，其特征在于，在步骤3中，所述最近邻分类器具体表示如下：

$c_i=\underset{j=1,\mathrm{...},C_t}{{\mathrm{argmin}}_j}\left|\right|y_i^t-p_j^t|{|}_2^2$

其中c_i是第i个样本的标签，表示模型预测目标域中第i个图像属性表示。

5.根据权利要求2所述的一种基于鉴别性样本属性学习的零样本图像识别方法，其特征在于，所述投影矩阵W的具体学习过程如下：

步骤1.1，令源域集合S包含C_S个类，n_s个标记图像，即S＝[X_s,Y_s,z_s]；目标域集合T包含C_t个类，n_t个未标记的图像，即T＝[X_t,Y_t,z_t]；每幅图像通过d维的特征矢量描述，即，其中，和分别是源域和目标域类标签矢量，并且有z_s∩z_t＝φ；

步骤1.2，把从特征空间到属性空间的映射看成一种投影的学习，即有如下优化模型(1)：

$\underset{W,Y_t,Y_s,m_{ij}^t}{\min }\left\{\begin{array}{c}|Y_t-W^T{X}_t|{|}_F^2+{\mathrm{\λ}}_1\left|\right|Y_s-W^T{X}_s|{|}_F^2+{\mathrm{\λ}}_2\underset{i,j}{\overset{n_t,C_t}{\Σ}}{m}_{ij}^t||y_i^t-p_j^t|{|}_2^2\\ +{\mathrm{\λ}}_3\underset{i,j}{\overset{n_s,C_s}{\Σ}}{m}_{ij}^s\left|\right|y_i^s-p_j^s|{|}_2^2+{\mathrm{\λ}}_4|\left|W\right|{|}_F^2+{\mathrm{\λ}}_5\left|\right|Y_s|{|}_F^2+{\mathrm{\λ}}_6|\left|Y_t\right|{|}_F^2\end{array}\right\}---\left(1\right)$

其中，||·||_F是矩阵的Frobenius范数,和分别是目标域和源域第i个样本属于第j类的概率，和分别是目标域和源域第j类原型，λ₃和λ₅都是为了确保学习出的投影矩阵更适合目标域而提出的平衡参数；

步骤1.3，采用交替优化的方式求解模型(1)：

固定W，Y_t，更新Y_s

$Y_s=\underset{Y_s}{\arg \min }{\mathrm{\λ}}_1\left|\right|Y_s-W^T{X}_s|{|}_F^2+{\mathrm{\λ}}_3,\underset{i,j}{\overset{n_s,C_s}{\Σ}}{m}_{ij}^s||y_i^s-p_j^s|{|}_2^2+{\mathrm{\λ}}_5\left|\right|Y_s|{|}_F^2---\left(2\right)$

公式(2)的解为：

$Y_s=({\mathrm{\λ}}_1{W}^T{X}_s+\frac{{\mathrm{\λ}}_3}{2}{N}_s^T){({\mathrm{\λ}}_{1}I+{\mathrm{\λ}}_3{K}_s{K}_s^T+{\mathrm{\λ}}_{5}I)}^{-1}$

固定W，Y_s，更新Y_t

$Y_t=\underset{Y_t}{\mathrm{argmin}}\left|\right|Y_t-W^T{X}_t|{|}_F^2+{\mathrm{\λ}}_2\underset{i,j}{\overset{n_t,C_t}{\Σ}}{m}_{ij}^t||y_i^t-p_j^t|{|}_2^2+{\mathrm{\λ}}_6\left|\right|Y_t|{|}_F^2---\left(3\right)$

公式(3)的解为：

$Y_t=(W^T{X}_t+\frac{{\mathrm{\λ}}_2}{2}{N}_t^T){(I+{\mathrm{\λ}}_2{K}_t{K}_t^T+{\mathrm{\λ}}_{6}I)}^{-1}$

固定Y_t，Y_s,更新W

$W=\underset{W}{\arg \min }\left|\right|Y_t-W^T{X}_t|{|}_F^2+{\mathrm{\λ}}_1||Y_s-W^T{X}_s|{|}_F^2+{\mathrm{\λ}}_4\left|\right|W|{|}_F^2---\left(4\right)$

公式(4)的解为：

$W={(X_t{X}_t^T+{\mathrm{\λ}}_1{X}_s{X}_s^T+{\mathrm{\λ}}_{4}I)}^{-1}(X_t{Y}_t^T+X_s{Y}_s^T)$

其中

$K_t=diag(\[\sqrt{{\Σ}_{j=1}^{C_t}{m}_{1j}^t},...,\sqrt{{\Σ}_{j=1}^{C_t}{m}_{n_{t}j}^t}\])$

$\begin{array}{cc}{N}_S=\left[\begin{array}{c}{\left({\Σ}_{j=1}^{C_s}{m}_{1j}^s{p}_j^s\right)}^T\\ \mathrm{...}\\ {\left({\Σ}_{j=1}^{C_s}{m}_{n_{s}j}^s{p}_j^s\right)}^T\end{array}\right]& N_t=\left[\begin{array}{c}{\left({\Σ}_{j=1}^{C_t}{m}_{1j}^t{p}_j^t\right)}^T\\ \mathrm{...}\\ {\left({\Σ}_{j=1}^{C_t}{m}_{n_{t}j}^t{p}_j^t\right)}^T\end{array}\right]\end{array}$

表示源域第n_s个样本属于第j类的概率，表示源域中第j类的原型。