CN105701510A - 一种基于共享模型空间学习的零镜头图像分类方法 - Google Patents

Abstract

本发明公开了一种基于共享模型空间学习的零镜头图像分类方法，包括如下步骤：步骤S1：构建源类别图像特征向量和目标类别图像特征向量；步骤S2：构建源类别属性表示和目标类别属性表示；步骤S3：利用源类别图像特征向量、目标类别图像特征向量、源类别属性表示和目标类别属性表示构造零镜头学习函数；步骤S4：优化求解零镜头学习函数，并得到共享模型空间；步骤S5：利用共享模型空间以及目标类别属性表示，直接产生各个目标类别对应的一级分类模型；步骤S6：利用一级分类模型以及目标类别图像特征向量产生最终的目标类别分类结果。本发明通过共享的模型空间产生相应类别的一级分类模型，直接从图像特征得到分类结果，从而提高了分类模型的准确性。

Description

一种基于共享模型空间学习的零镜头图像分类方法

技术领域

本发明涉及图像检索领域，尤其涉及一种基于共享模型空间学习的零镜头图像分类方法。

背景技术

图像分类技术在诸多现实场景中有着广泛的应用，如何构建准确、高效的分类模型是图像分类技术中的最重要的一步。现有的分类器构建方法主要是基于有监督学习，即先由人工收集大量的目标类别的有标注的训练数据，再用这些训练数据为目标类别构建分类模型。近年来，随着场景的复杂化和数据的海量化，时常需要解决大量类别的图像分类问题。然而，按照现有的有监督学习方法，为这些目标类别收集足量的有标注的训练数据的成本非常高。例如对于自然物体分类，就有数以万记的类别，为它们都收集有标注的训练数据可能需要人们准确地标注上亿的图像，这几乎是不可能的。所以，如何在缺乏有标注图像的条件下为目标类别构建分类模型，即零镜头学习(Zero-shotlearning)，成为了一个重要问题。

现有的零镜头图像分类方法主要利用类别之间所共享的属性(Attribute)信息作为桥梁进行知识迁移。类别的属性是指在语义上可以描述类别的特征的信息。为了在没有有标注图像的情况下为目标类别构建分类模型，零镜头学习将利用一些拥有丰富有标注数据的源类别的知识，借助类别属性作为介质，将信息传递到目标类别中。现有的零镜头学习方法一般采用了“特征-属性-类别”的二级识别框架来进行知识迁移。具体来说，利用源类别的图像特征与给定的类别属性信息构建出属性的识别模型。由于这些属性是在源类别和目标类别之间共享的，所以对于目标类别的图像，这些属性识别模型也有效。对于目标类别，可以很容易地得到类别与属性之间的关系。在进行分类时，只需将利用在源类别上得到的属性识别模型识别出图像所包含的属性信息，再将图像的属性信息与各个目标类别之间的属性信息进行对比，找出最相似的类别作为分类结果。这样，就在目标类别没有有标注数据的情况下为其构建出了分类模型。比较有代表性的工作之一有直接属性预测模型(DirectAttributePrediction)，该方法通过在图像特征与属性之间构建多路分类器来实现属性的识别。另一个是跨模态知识迁移(Cross-modalTransfer)，该方法通过源类别的有标注数据与类别属性训练出一个线性回归模型来实现属性的识别。

从目前的研究来看，现有的利用属性进行知识迁移以实现零镜头分类的方法都使用属性作为识别的中间结果。但是这种框架将图像分类过程拆解为两步，从而增加了分类过程中的信息损失，以至于得到的分类模型不够准确，分类精度低，不能满足实际应用的需求。所以，如何更好地利用类别的属性信息来进行知识迁移、在没有有标注数据的情况下为目标类别构建更准确的分类模型，仍需要进一步的研究。

发明内容

本发明旨在提供一种基于共享模型空间学习的零镜头图像分类方法，解决在图像分类中目标类别没有有标注数据的情况下，利用源类别进行知识迁移以构建准确的分类模型的问题。

本发明的发明目的是通过下述技术方案来实现的：

一种基于共享模型空间学习的零镜头图像分类方法,包括如下步骤：

步骤S1：分别对源类别数据中的有标注图像与目标类别数据中的无标注图像进行向量化特征表示，得到源类别图像特征向量和目标类别图像特征向量；

步骤S2：分别针对源类别数据和目标类别数据构建出源类别属性表示和目标类别属性表示；

步骤S3：利用步骤S1中得到的源类别图像特征向量和目标类别图像特征向量，以及步骤S2中得到的源类别属性表示和目标类别属性表示构造零镜头学习函数；

步骤S4：利用迭代式的优化方法求解步骤S3中得到的零镜头学习函数，并得到共享模型空间；

步骤S5：利用上一步得到的共享模型空间以及步骤S2中得到的目标类别属性表示，直接产生各个目标类别对应的一级分类模型；

步骤S6：利用步骤S5中得到的一级分类模型以及步骤S1中得到的目标类别图像特征向量产生最终的目标类别分类结果。

进一步的，所述步骤S3中构造出的零镜头学习函数为：

$\underset{V,Y_t}{min}\left|\right|X_s{\mathrm{VA}}_s^{\′}-Y_s|{|}_F^2+\mathrm{\α}||X_t{\mathrm{VA}}_t^{\′}-Y_t|{|}_F^2+\mathrm{\β}\left|\right|{\mathrm{VA}}^{\′}|{|}_F^2,s.t.|\left|y_i^t\right|{|}_0=y_i^t{1}_k^{\′}=1,\∀i=1,...,n_t$

其中，α和β是控制各部分在零镜头学习函数中权重的超参数；

表示一个矩阵所有元素的平方和；

为步骤S1中所述的源类别图像特征向量构成的矩阵；

为步骤S1中所述的目标类别图像特征向量构成的矩阵；

为源类别数据中每个图像所对应的类别向量构成的矩阵；

为源类别数据中每个源类别属性向量构成的矩阵，所述源类别属性向量为所述步骤S2中源类别属性表示的一种表示方法；

为目标类别数据中每个目标类别属性向量构成的矩阵，所述目标类别属性向量为所述步骤S2中目标类别属性表示的一种表示方法；

为目标类别数据中每个无标注图像所对应的类别向量构成的矩阵；

V为共享模型空间。

进一步的，所述步骤S4：利用迭代式的优化方法求解步骤S3中得到的零镜头学习函数，并得到共享模型空间，具体包括如下步骤：

(1)初始化共享模型空间V和目标类别矩阵Y_t；

(2)利用初始化后的共享模型空间V，优化目标类别矩阵Y_t，具体步骤为：

初始化后的共享模型空间V已经给定，优化目标类别矩阵Y_t的过程为行解耦，对矩阵形式的零镜头学习函数的每一行进行单独的处理，该零镜头学习函数对于的部分如下：

$\underset{y_i^t}{min}\left|\right|x_i^t{\mathrm{VA}}_t^{\′}-y_i^t|{|}_F^2,s.t.|\left|y_i^t\right|{|}_0=y_i^t{1}_k^{\′}=1$

优化目标类别矩阵Y_t的公式如下：

$y_{ic}^t=\left\{\begin{array}{cc}1,& ifc={\mathrm{argmax}}_c{x}_i^t{\mathrm{Va}}_1^{t^{\′}}\\ 0,& otherwise\end{array}\right.$

其中表示目标类别数据中第i个无标注图像是否属于目标类别c；

(3)利用初始化后的目标类别矩阵Y_t，优化共享模型空间V，具体步骤为：

初始化后的目标类别矩阵Y_t已经固定，进行如下定义：

$X=\[X_s;\sqrt{\mathrm{\α}}{X}_t\],Y=\left[\begin{array}{cc}{Y}_s& 0_{n_s\×n_t}\\ 0_{n_t\×n_s}& \sqrt{\mathrm{\α}}{Y}_t\end{array}\right],A=\[A_s;A_t\]$

对零镜头学习函数进行如下近似：

上述式子对于V的导数如下：

再令上述导数为0，可以得到优化共享模型空间V的公式如下：

V＝(X′X+βI)^-1X′YA(A′A)^-1

不断迭代优化共享模型空间V和Y_t直至零镜头学习函数的值收敛，即可得到共享模型空间V。

进一步的，所述步骤S5中的一级分类模型f_c(x)计算方法为：

f_c(x)＝xVa′_c

其中 $x=x_i^t,a_c=a_i^t.$

本发明的有益效果：

(1)本发明提出了一种新的类别属性的使用方式，利用源类别的有标注数据学习出类别之间共享的模型空间，而非共享属性空间，利用属性作为输入参数，通过共享的模型空间产生相应类别的一级分类模型，直接从图像特征得到分类结果，而无需利用属性作为中间结果来进行二级分类，减少了分类过程中的信息损失，从而提高了分类模型的准确性。

(2)本发明在分类模型训练过程中，采用“直推式”的学习方法，将目标类别的无标注数据所提供的一些无监督信息应用到零镜头学习函数学习中，这样可以使得学习到的共享模型空间能反映目标类别的信息。并通过一种联合学习框架将源类别数据中的有标注数据与目标类别的无标注数据结合在一起进行学习，使在没有有标数据的情况下学习到的共享模型空间能够更好地描述目标类别的特征。

附图说明

图1为本发明所述的一种基于共享模型空间学习的零镜头图像分类方法流程图。

具体实施方式

以下参照附图1，结合具体的实施方式对本发明作进一步的说明。

本发明所述的一种基于共享模型空间学习的零镜头图像分类方法，包括如下步骤：

步骤S1：利用特征抽取工具分别对源类别数据中的有标注图像与目标类别数据中的无标注图像进行向量化特征表示，得到源类别图像特征向量和目标类别图像特征向量。

利用Lire或DeCAF图像特征提取工具对图像抽取一种或多种特征向量，并拼合为一个整体向量x_i＝(x₁₁,x₁₂,…,x_1n1,…,x_k1,x_k2,…,x_knk,…,x_m1,x_m2,…,x_mnm)f_I＝(p₁,p₂,……,p_n)，其中p_xx_kj表示第k种特征向量中的第j个分量，而则表示第k种特征向量中的最后一个分量。同时，记d＝mn_m表示图像特征的总维度。以下，用表示各个源类别图像特征向量，用表示各个目标类别图像特征向量。

步骤S2：分别针对源类别数据和目标类别数据构建出源类别属性表示和目标类别属性表示；

对于任一种类别c，其属性表示为a_c＝(a_c1,a_c2,…,a_cr)，其中a_cj表示该属性表示的第j个分量。本发明使用单词表示(Wordrepresentation)来作为类别属性表示。单词表示是从在一个大规模的文本数据库中，利用自然语言处理(Naturallanguageprocessing)等相关方法挖掘出的单词的一种r维的向量化表示，单词之间的潜在的联系可以用该向量很好地描述。本发明利用在维基百科(Wikipedia)上学习出的单词表示作为类别属性表示。由于几乎所有的英文词汇都会出现在维基百科中，所以可以为任何一个类别，找到对应单词表示作为它的属性表示。对于任意源类别和目标类别，都可以用该方法得到其属性表示。以下，用表示源类别属性表示，用表示目标类别属性表示。

步骤S3：利用步骤S1中得到的源类别图像特征向量和目标类别图像特征向量，以及步骤S2中得到的源类别属性表示和目标类别属性表示构造零镜头学习函数，本发明构造的零镜头学习函数如下：

$\left|\right|X_t{\mathrm{VA}}_t^{\′}-Y_t|{|}_F^2+\mathrm{\β}|\left|{\mathrm{VA}}^{\′}\right|{|}_F^2,s.t.\left|\right|y_i^t|{|}_0=y_i^t{1}_k^{\′}=1,\∀i=1,...,n_t$

其中，α和β是控制各部分在零镜头学习函数中权重的超参数；

表示一个矩阵所有元素的平方和；

为步骤S1中所述的源类别图像特征向量构成的矩阵；

为步骤S1中所述的目标类别图像特征向量构成的矩阵；

为源类别数据中每个图像所对应的类别向量构成的矩阵；

为源类别数据中每个源类别属性向量构成的矩阵，所述源类别属性向量为所述步骤S2中源类别属性表示的一种表示方法；

为目标类别数据中每个目标类别属性向量构成的矩阵，所述目标类别属性向量为所述步骤S2中目标类别属性表示的一种表示方法；

为目标类别数据中每个无标注图像所对应的类别向量构成的矩阵；

V为共享模型空间。

在源类别数据中存在若干源类别同时还包括有n_s个属于源类别的图像数据其中为源类别图像特征向量，是一个k_s维的源类别向量，如果第i个图像属于第m个类别，则令y_im＝1，否则y_im＝0，这些源类别数据中的图像数据都是有标注的，即已知。目标类别数据中存在有若干个目标类别同时有n_t个属于目标类别的图像数据其中为目标类别图像特征向量，是待预测的目标类别数据中无标注图像对应的类别向量。针对零镜头分类问题，有即目标类别与源类别完全不同，目标类别数据中没有有标注的训练数据。同时，对于每一个类别c∈C^s∪C^t，都有一个对应的类别属性a_c来描述它。由于类别属性a_c是在各个类别之间共享的，在源类别数据上学习得到的共享模型空间V在目标类别上仍然有效。

步骤S4：利用迭代式的优化方法求解步骤S3中得到的零镜头学习函数，并得到共享模型空间。

构造好零镜头学习函数之后，就需要对其进行求解。该零镜头学习函数包含共享模型空间V和目标类别矩阵Y_t这两个矩阵变量，该零镜头学习函数对于这两个矩阵变量是非凸的，但当固定了任意一个后，零镜头学习函数对另外一个都是凸的，所以本发明提出一种迭代式的优化算法来学习共享模型空间V，具体包括如下步骤：

(1)初始化共享模型空间V和目标类别矩阵Y_t。对于目标类别矩阵Y_t，它是目标类别数据中无标注图像数据的待预测的类比矩阵，为了初始化它，可以使用任何已有的零镜头图像分类方法来实现，例如采用自初始化的方法。

(2)利用初始化后的共享模型空间V，优化目标类别矩阵Y_t。初始化后的共享模型空间V已经给定，优化目标类别矩阵Y_t的过程为行解耦，对矩阵形式的零镜头学习函数的每一行进行单独的处理，该零镜头学习函数对于的部分如下：

$\underset{y_i^t}{min}\left|\right|x_i^t{\mathrm{VA}}_t^{\′}-y_i^t|{|}_F^2,s.t.|\left|y_i^t\right|{|}_0=y_i^t{1}_k^{\′}=1$

上述问题的解，即优化目标类别矩阵Y_t的公式如下：

$y_{ic}^t=\left\{\begin{array}{cc}1,& ifc={\mathrm{argmax}}_c{x}_i^t{\mathrm{Va}}_i^{t^{\′}}\\ 0,& otherwise\end{array}\right.$

其中表示目标类别数据中第i个无标注图像是否属于目标类别c，也是的第c个分量。

(3)利用初始化后的目标类别矩阵Y_t，优化共享模型空间V。初始化后的目标类别矩阵Y_t已经固定，进行如下定义：

$X=\[X_s;\sqrt{\mathrm{\α}}{X}_t\],Y=\left[\begin{array}{cc}{Y}_s& 0_{n_s\×n_t}\\ 0_{n_t\×n_s}& \sqrt{\mathrm{\α}}{Y}_t\end{array}\right],A=\[A_s;A_t\]$

对零镜头学习函数进行如下近似：

上述式子对于共享模型空间V的导数如下：

再令上述导数为0，可以得到优化共享模型空间V的公式如下：

V＝(X′X+βI)^-1X′YA(A′A)^-1

不断迭代优化初始化后的共享模型空间V和目标类别矩阵Y_t，直至零镜头学习函数的值收敛，即可得到共享模型空间V。

本发明在分类模型训练过程中，采用“直推式”的学习方法，将目标类别的无标注数据所提供的一些无监督信息应用到零镜头学习函数学习中，这样可以使得学习到的共享模型空间能反映目标类别的信息。并通过一种联合学习框架将源类别数据中的有标注数据与目标类别的无标注数据结合在一起进行学习，使在没有有标数据的情况下学习到的共享模型空间能够更好地描述目标类别的特征。

步骤S5：利用上一步得到的共享模型空间V以及步骤S2中得到的目标类别属性表示直接产生各个目标类别对应的一级分类模型f_c(x)，f_c(x)＝xVa′_c，其中

其中表示步骤S1中得到的目标类别图像特征向量。输出f_c(x)就表示该图像与目标类别c之间的关联程度，值越大，该图像就越有可能属于目标类别c。

本发明提出了一种新的类别属性的使用方式，利用源类别的有标注数据学习出类别之间共享的模型空间，而非共享属性空间，利用属性作为输入参数，通过共享的模型空间产生一级分类模型，克服了传统的方法利用属性作为中间识别结果所带来的分类不准确问题。

步骤S6：利用步骤S5中得到的一级分类模型以及步骤S1中得到的目标类别图像特征向量产生最终的目标类别分类结果。

最终的对于目标类别数据中无标注图像对应的分类结果c(x)就可以由如下的式子定义：

c(x)＝argmax_cf_c(x)。

本发明提出利用一种基于共享模型空间的零镜头图像分类方法，通过共享模型空间和类别的属性信息直接产生相应类别的一级分类模型，直接从图像特征得到分类结果，而无需利用属性作为中间结果来进行二级分类，减少了分类过程中的信息损失，从而提高了分类模型的准确性。

当然应意识到，虽然通过本发明的示例已经进行了前面的描述，但是对本发明做出的将对本领域的技术人员显而易见的这样和其他的改进及改变应认为落入如本文提出的本发明宽广范围内。因此，尽管本发明已经参照了优选的实施方式进行描述，但是，其意并不是使具新颖性的设备由此而受到限制，相反，其旨在包括符合上述公开部分、权利要求的广阔范围之内的各种改进和等同修改。

Claims (4)

1.一种基于共享模型空间学习的零镜头图像分类方法,其特征在于,包括如下步骤：

步骤S1：分别对源类别数据中的有标注图像与目标类别数据中的无标注图像进行向量化特征表示，得到源类别图像特征向量和目标类别图像特征向量；

步骤S2：分别针对源类别数据和目标类别数据构建出源类别属性表示和目标类别属性表示；

步骤S3：利用步骤S1中得到的源类别图像特征向量和目标类别图像特征向量，以及步骤S2中得到的源类别属性表示和目标类别属性表示构造零镜头学习函数；

步骤S4：利用迭代式的优化方法求解步骤S3中得到的零镜头学习函数，并得到共享模型空间；

步骤S5：利用上一步得到的共享模型空间以及步骤S2中得到的目标类别属性表示，直接产生各个目标类别对应的一级分类模型；

步骤S6：利用步骤S5中得到的一级分类模型以及步骤S1中得到的目标类别图像特征向量产生最终的目标类别分类结果。

2.如权利要求1中所述的一种基于共享模型空间学习的零镜头图像分类方法，其特征在于，所述步骤S3中构造出的零镜头学习函数为：

$\underset{V,Y_t}{min}\left|\right|X_s{\mathrm{VA}}_s^{\′}-Y_s|{|}_F^2+\mathrm{\α}||X_t{\mathrm{VA}}_t^{\′}-Y_t|{|}_F^2+\mathrm{\β}\left|\right|{\mathrm{VA}}^{\′}|{|}_F^2,s.t.|\left|y_i^t\right|{|}_0=y_i^t{1}_k^{\′}=1,\∀i=1,...,n_t$

其中，α和β是控制各部分在零镜头学习函数中权重的超参数；

表示一个矩阵所有元素的平方和；

为步骤S1中所述的源类别图像特征向量构成的矩阵；

为步骤S1中所述的目标类别图像特征向量构成的矩阵；

为源类别数据中每个图像所对应的类别向量构成的矩阵；

为源类别数据中每个源类别属性向量构成的矩阵，所述源类别属性向量为所述步骤S2中源类别属性表示的一种表示方法；

为目标类别数据中每个目标类别属性向量构成的矩阵，所述目标类别属性向量为所述步骤S2中目标类别属性表示的一种表示方法；

为目标类别数据中每个无标注图像所对应的类别向量构成的矩阵；

V为共享模型空间。

3.如权利要求1中所述的一种基于共享模型空间学习的零镜头图像分类方法，其特征在于，所述步骤S4：利用迭代式的优化方法求解步骤S3中得到的零镜头学习函数，并得到共享模型空间，具体包括如下步骤：

(1)初始化共享模型空间V和目标类别矩阵Y_t；

(2)利用初始化后的共享模型空间V，优化目标类别矩阵Y_t，具体步骤为：

初始化后的共享模型空间V已经给定，优化目标类别矩阵Y_t的过程为行解耦，对矩阵形式的零镜头学习函数的每一行进行单独的处理，该零镜头学习函数对于的部分如下：

$\underset{y_i^t}{min}\left|\right|x_i^t{\mathrm{VA}}_t^{\′}-y_i^t|{|}_F^2,s.t.|\left|y_i^t\right|{|}_0=y_i^t{1}_k^{\′}=1$

优化目标类别矩阵Y_t的公式如下：

$y_{ic}^t=\left\{\begin{array}{cc}1,& ifc={\mathrm{argmax}}_c{x}_i^t{\mathrm{Va}}_i^{t^{\′}}\\ 0,& otherwise\end{array}\right.$

其中表示目标类别数据中第i个无标注图像是否属于目标类别c；

(3)利用初始化后的目标类别矩阵Y_t，优化共享模型空间V，具体步骤为：

初始化后的目标类别矩阵Y_t已经固定，进行如下定义：

$X=\[X_s;\sqrt{\mathrm{\α}}{X}_t\],Y=\left[\begin{array}{cc}{Y}_s& 0_{n_s\×n_t}\\ 0_{n_t\×n_s}& \sqrt{\mathrm{\α}}{Y}_t\end{array}\right],A=\[A_s;A_t\]$

对零镜头学习函数进行如下近似：

上述式子对于共享模型空间V的导数如下：

再令上述导数为0，可以得到共享模型空间V的公式如下：

V＝(X′X+βI)^-1X′YA(A′A)^-1

不断迭代优化共享模型空间V和目标类别矩阵Y_t直至零镜头学习函数的值收敛，即可得到共享模型空间V。

4.如权利要求1-3中任一所述的一种基于共享模型空间学习的零镜头图像分类方法，其特征在于，所述步骤S5中的一级分类模型f_c(x)计算方法为：

f_c(x)＝xVa′_c

其中 $x=x_i^t,a_c=a_i^t.$