CN108564121A - 一种基于自编码器的未知类别图像标签预测方法 - Google Patents

Abstract

本发明揭示了一种基于自编码器的未知类别图像标签预测方法，该方法包括以下步骤：S1步骤：利用图像数据库，该数据库中包括一个源域和一个目标域，通过源域的自编码器，学出一个源域投影矩阵；S2步骤：在源域和样本标签未知的目标域同时使用自编码器，将源域知识迁移学习到目标域，将S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性；S3步骤：利用余弦相似性将训练出样本属性进行对比，从而预测得到未知类样本的标签。本发明应用了自编码原理在源域和目标域上同时学习从特征空间到属性空间的投影矩阵，通过迭代可以直接得到目标域样本图像的属性，有效缓解域迁移问题的影响。

Description

一种基于自编码器的未知类别图像标签预测方法

技术领域

本发明涉及一种基于自编码器的未知类别图像标签预测方法，属于模式识别中的图像识别领域。

背景技术

在模式识别中，图像识别是其重要的组成部分，最初的实验样本标签和标注信息是靠人工标注的方式完成的，然而随着互联网和计算机的迅猛发展，大数据的出现给这种人工标注的方式带来了更多的挑战。对于图像、声音和视频等样本而言，人工完成这些样本的分类和标注的代价是难以估量的，并且人工的方式也无法对日益增加的样本的信息进行及时更新，所以解决零样本识别问题就显得极为重要，而且这个问题越来越受到工业界的关注。

由于标记样本的缺乏，已标记类别不可能涉及所有的对象类，即零样本问题中的未知类别与已知类别不相交，上述问题看似难以处理。然而，在现实中即使不知道对象类别，人们仍能对对象进行一些特征描述。例如人们未见过老虎，但仍然能将其描述为“有皮毛的”，“有条纹”，“不吃草”等。在零样本识别中这些描述性的信息被称为语义知识，具体可分为语义属性和语义词向量，简称属性和词向量。在上例中，属性可以用二值矢量进行表示[1 1 0]。零样本识别中所遇到的关键问题是已知的类与未知类之间的关系，以及如何精确地预测未知类样本。研究者把语义知识作为中间桥梁，实现已标记类别和未标记类别之间的知识传递，从而解决零样本识别问题。在图像识别中所谓零样本识别，简单来说就是源域中图像样本的特征、属性和标签以及目标域中图像样本的特征和未知类原型是已知的，预测目标域图像的标签。

解决零样本图像识别问题的传统方法大多数是建立在属性基础上的。直接属性预测(DAP)是直接在已知标签特征与已知标签属性之间训练分类器，然后用该分类器直接预测未知标签的属性，最后进行标签预测。ESZSL将兼容性分数和类标签集成到一个线性框架中，其中兼容性分数是用双线性表达式获得的视觉特征和类语义属性之间的相似度。SJE使用双线性兼容函数关联样本特征和语义属性，并采用结构化支持向量机启发的加权近似排序损失。度量零样本识别(MLZSC)通过提高语义嵌入的一致性，将零样本分类转化为度量学习问题。语义自编码(SAE)采用编码-解码原理解决零样本识别问题。以上的方法都是基于属性的具有代表性且被广泛引用的零样本识别方法。它们学习目标域模型时没有考虑目标域样本的信息，只是在源域上以监督学习方式学习一个模型直接应用到目标域，这会导致域迁移问题。这是因为已知类与未知类不相交，两个域间的样本数据分布也不同，显然简单的认为由源域学习得到的分类器完全适用于目标类是不合理的。尽管不同类别可能具有部分相同的属性，但是该属性在不同类别上的视觉效果不同。例如老虎和斑马都有条纹这个属性，但是它们条纹的视觉效果是不同的。当通过传统的方法从源域上学习模型应用到目标域上，目标域得到的样本属性和它的类原型可能分开，从而导致分类效果不理想。

发明内容

本发明的目的就是为了解决现有技术中存在的上述问题，提出一种基于自编码器的未知类别图像标签预测方法。

本发明的目的将通过以下技术方案得以实现：一种基于自编码器的未知类别图像标签预测方法，该方法包括以下步骤：

S1步骤：利用一已知图像数据库，该图像数据库中包括一个源域和一个目标域，且所述源域和目标域中没有共同的类，源域的特征、属性、标签都是已知的，通过源域的目编码器，学出一个源域投影矩阵；

S2步骤：在源域和样本标签未知的目标域同时使用自编码器，并将源域知识迁移学习到目标域，将所述S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；

S3步骤：在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

优选地，所述源域由若干已知类别的图像组成。

优选地，所述目标域由若干未知类别的图像组成。

优选地，在所述S1步骤中，假设D_s＝{X_s，P_s，Z_s}是带有标签的源域数据，{1，...，c}是已知类别数，假设D_s＝{X_t，P_t，Z_t}是标签未知的目标域数据，{1，...，q}是未知类别数；是源域图像特征向量，其中d是图像的特征维度，N_s是源域的图片数量；是目标域图像特征向量，其中d是图像的特征维度，N_t是目标域的图片数量；是已知类原型属性，是未知类原型属性；P_i∈R^k×1是第i类的维度为k的原型属性，Z_s和Z_t分别是c个已知类和q个未知类的标签，并且是k维N_s幅已知类图像的属性矩阵，假设A_s由已知类的原型属性构成，即同个类别的不同图片的属性相同，是k维N_t幅未知类图像的属性，假设D_s、A_s、X_t、P_t是已知的，A_t、Z_t是未知的；

该模型为线性的，W_s∈R^k×d是源域的编码投影矩阵，即将源域样本，用W_s ^T∈R^d×k表示源域解码投影矩阵，模型如下：

第一项是解码的损失项，解码是将语义属性投影到特征空间，第二项是正则化项，防止模型过度拟合，λ是超调参数，对上述公式求导得：

优选地，利用自编码在源域和目标域联合学习，该模型如下：

上述模型中是在源域中使用编码器，是在目标域中使用编码器，是假设源域投影适应目标域投影，模型中有三个未知量，分别是W_s，W_t，A_t，求解时固定W_s，W_t求A_t，具体过程如下：

固定W_s，W_t，求A_t：对公式(3)求导得

A_t＝(W_tW_t ^T+λ₂I)^-1(1+λ₂)(W_tX_t) (4)

利用公式(2)的W_s值作为公式(4)中W_t的迭代初始值。

固定W_s，A_t，求W_t：对公式(3)求导得

公式(5)是Sylvester方程，令可通过MATLAB计算Sylvester方程，即：

W_t＝sylvester(A，B，C) (6)

固定W_t，A_t，求W_s：对公式(3)求导得

优选地，通过余弦相似性预测未知类别样本的标签，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签；

是目标域第i个样本的预测属性，是第j个未知类的原型属性，d是余弦距离方程，f(g)是得到的样本标签。

优选地，通过将未知类原型投影到特征空间，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

是目标域第i个样本特征，是第j个未知类原型属性投影在特征空间的预测特征，d是余弦距离方程，f(g)是得到的样本标签。

本发明技术方案的优点主要体现在：

1.在相同的实验数据条件下，通过双自编码能获得更高的识别率。

2.用两种识别方法分别在特征空间和属性空间预测样本的标签。

3.自编码可以尽可能的保留类别的数据信息结构，客观上可以提高零样本识别的精度，并且简洁高效。

本发明最大的亮点在于应用自编码原理在源域和目标域上同时学习从特征空间到属性空间的投影矩阵，假设源域投影矩阵和目标域投影矩阵应该接近但不相同。通过迭代可以直接得到目标域样本图像的属性，从而有效地缓解域迁移问题的影响。

附图说明

图1为本发明的一种基于自编码器的未知类别图像标签预测方法的工作流程图。

具体实施方式

本发明的目的、优点和特点，将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本发明技术方案的典型范例，凡采取等同替换或者等效变换而形成的技术方案，均落在本发明要求保护的范围之内。

本发明揭示了一种基于自编码器的未知类别图像标签预测方法，该方法包括以下步骤：

S1步骤：利用一已知图像数据库，该图像数据库中包括一个源域和一个目标域，且所述源域和目标域中没有共同的类，源域的特征、属性、标签都是已知的，通过源域的自编码器，学出一个源域投影矩阵；通过源域的自编码器，学出一个源域投影矩阵；属性在这里包括两部分，每幅图片属性和类原型属性。自编码可以尽可能的保留类别的数据信息结构，客观上可以提高零样本识别的精度，并且简洁高效。该源域由若干已知类别图像组成，目标域由若干未知类别的图像组成。

S2步骤：在源域和样本标签未知的目标域同时使用自编码器，并将源域知识迁移学习到目标域，将所述S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；

S3步骤：在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

具体地，在所述S1步骤中，假设D_s＝{X_s，P_s，Z_s}是带有标签的源域数据，{1，...，c}是已知类别数，假设D_s＝{X_t，P_t，Z_t}是标签未知的目标域数据，{1，...，q}是未知类别数；是源域图像特征向量，其中d是图像的特征维度，N_s是源域的图片数量；是目标域图像特征向量，其中d是图像的特征维度，N_t是目标域的图片数量；是已知类原型属性，是未知类原型属性；P_i∈R^k×1是第i类的维度为k的原型属性，Z_s和Z_t分别是c个已知类和q个未知类的标签，并且是k维N_s幅已知类图像的属性矩阵，假设A_s由已知类的原型属性构成，即同个类别的不同图片的属性相同，是k维N_t幅未知类图像的属性，假设D_s、A_s、X_t、P_t是已知的，A_t、Z_t是未知的；

该模型为线性的，W_s∈R^k×d是源域的编码投影矩阵，即将源域样本，用W_s ^T∈R^d×k表示源域解码投影矩阵，模型如下：

第一项是解码的损失项，解码是将语义属性投影到特征空间，第二项是正则化项，防止模型过度拟合，λ是超调参数，对上述公式求导得：

在S2步骤中，利用自编码在源域和目标域联合学习，该模型如下：

上述模型中是在源域中使用编码器，是在目标域中使用编码器，是假设源域投影适应目标域投影，模型中有三个未知量，分别是W_s，W_t，A_t，求解时固定W_s，W_t求A_t，具体过程如下：

固定W_s，W_t，求A_t：对公式(3)求导得

A_t＝(W_tW_t ^T+λ₂I)^-1(1+λ₂)(W_tX_t) (4)

利用公式(2)的W_s值作为公式(4)中W_t的迭代初始值。

固定W_s，A_t，求W_t：对公式(3)求导得

公式(5)是Sylvester方程，令可通过MATLAB计算Sylvester方程，即：

W_t＝sylvester(A，B，C) (6)

固定W_t，A_t，求W_s：对公式(3)求导得

在S3步骤中，通过余弦相似性预测未知类别样本的标签，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签；

是目标域第i个样本的预测属性，是第j个未知类的原型属性，d是余弦距离方程，f(g)是得到的样本标签。公式8代表目标域的第i个样本的预测属性与若干个未知类的原型属性P^t进行余弦相似性比较。假如该样本的预测属性与第j个未知类原型最接近，则认为该样本属于第j个类，f(g)就是第j类的标签。

通过将未知类原型投影到特征空间，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

是目标域第i个样本特征，是第j个未知类原型属性投影在特征空间的预测特征，d是余弦距离方程，f(g)是得到的样本标签。

如图1所示，本发明在源域和目标域中通过自编码器联合学习得到未知类别图像的标签。首先在源域里通过自编码器学习得到源域投影矩阵，由于目标域图像属性未知，所以假设目标域投影矩阵的初始值为之前计算的源域投影矩阵。通过上述公式(3)，分别迭代出目标域图像属性，目标域投影矩阵和源域投影矩阵，然后，通过余弦相似性对比目标域图像属性和未知类原型，得到未知类图像标签。

零样本问题：现在有“狮子”、“北极熊”、“运动鞋”、“高跟鞋”四个图像，训练阶段源域中只有“狮子”、“北极熊”、“运动鞋”等已标记图像类别，“狮子”、“北极熊”、“运动鞋”属于源域，“高跟鞋”属于目标域，而测试阶段要识别目标域中的“高跟鞋”，学习高跟鞋的属性，训练时，将图像特征投影到属性空间，学习得到投影矩阵。通过源域的自编码器，学出一个源域投影矩阵；属性在这里包括两部分，每幅图片属性和类原型属性。自编码可以尽可能的保留类别的数据信息结构，客观上可以提高零样本识别的精度，并且简洁高效。该源域由若干已知类别图像组成，目标域由若干未知类别的图像组成。在源域和样本标签未知的目标域同时使用自编码器，并将源域知识迁移学习到目标域，将训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

将本发明的图像标签预测方法在Animal with Attribute(AWA)and Caltech-UCSD Birds 2011(CUB)数据库上进行实验，并将实验结果与其他的未知类图像标签预测的方法进行对比分析。

AWA数据库包含了50类动物的30475张照片，每一类照片至少含有92张照片。在属性空间中，每一类图像对应着一列85维的向量。在实验中，拿出40类作为源域，即训练集，其余10类作为目标域，即测试集。CUB数据库中含有200种不同的鸟类并且它们有相对应的属性，总共有11788张图片，而且每张图片所对应的属性是312维，拿出150类作为训练集，剩余50类作为测试集。

在相同的实验设置下，选取了5个被广泛认可且具有代表性的方法作为参考，即DAP，ESZSL，SJE，MLZSC和SAE。实验识别率如下：

表一：AWA和CUB数据库上各种方法的识别率

本发明应用了自编码原理在源域和目标域上同时学习从特征空间到属性空间的投影矩阵，假设源域投影矩阵和目标域投影矩阵应该接近但不相同。通过迭代可以直接得到目标域样本图像的属性，从而有效地缓解域迁移问题的影响。本发明使用了两种分类识别方法，W_t和W_t ^T分别代表第一种和第二种。从表一中的结果可以看出，本发明提出的方法比其他5种方法的识别率都高，实验验证了本发明能有效地缓解零样本识别中的域迁移问题。

本发明尚有多种实施方式，凡采用等同变换或者等效变换而形成的所有技术方案，均落在本发明的保护范围之内。

Claims (7)

1.一种基于自编码器的未知类别图像标签预测方法，其特征在于：该方法包括以下步骤：

S1步骤：利用一已知图像数据库，该图像数据库中包括一个源域和一个目标域，且所述源域和目标域中没有共同的类，源域的特征、属性、标签都是已知的，通过源域的自编码器，学出一个源域投影矩阵；

S2步骤：在样本标签未知的目标域和源域同时使用自编码器，并将源域知识迁移学习到目标域，将所述S1步骤训练出的源域投影矩阵作为迭代算法中目标域投影矩阵的初值，通过迭代算法训练得到目标域中未知类别样本的属性、未知类别样本特征空间到属性空间的投影矩阵；

S3步骤：在未知类别图像标签预测阶段，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，或者利用训练得到的目标域投影矩阵，通过未知类原型得到预测的样本特征，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

2.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：所述源域由若干已知类别的图像组成。

3.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：所述目标域由若干未知类别的图像组成。

4.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：在所述S1步骤中，假设D_s＝{X_s，P_s，Z_s}是带有标签的源域数据，{1，...，c}是已知类别数，假设D_s＝{X_t，P_t，Z_t}是标签未知的目标域数据，{1，...，q}是未知类别数；是源域图像特征向量，其中d是图像的特征维度，N_s是源域的图片数量；是目标域图像特征向量，其中d是图像的特征维度，N_t是目标域的图片数量；是已知类原型属性，是未知类原型属性；P_i∈R^k×1是第i类的维度为k的原型属性，Z_s和Z_t分别是c个已知类和q个未知类的标签，并且是k维N_s幅已知类图像的属性矩阵，假设A_s由已知类的原型属性构成，即同个类别的不同图片的属性相同，是k维N_t幅未知类图像的属性，假设D_s、A_s、X_t、P_t是已知的，A_t、Z_t是未知的；

该模型为线性的，W_s∈R^k×d是源域的编码投影矩阵，即将源域样本，用表示源域解码投影矩阵，模型如下：

第一项是解码的损失项，解码是将语义属性投影到特征空间，第二项是正则化项，防止模型过度拟合，λ是超调参数，对上述公式求导得：

5.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：在所述S2步骤中，利用自编码在源域和目标域联合学习，该模型如下：

上述模型中是在源域中使用编码器，是在目标域中使用编码器，是假设源域投影适应目标域投影，模型中有三个未知量，分别是W_s，W_t，A_t，求解时固定W_s，W_t求A_t，具体过程如下：

固定W_s，W_t，求A_t：对公式(3)求导得

A_t＝(W_tW_t ^T+λ₂I)^-1(1+λ₂)(W_tX_t) (4)

利用公式(2)的W_s值作为公式(4)中W_t的迭代初始值。

固定W_s，A_t，求W_t：对公式(3)求导得

公式(5)是Sylvester方程，令

通过MATLAB计算Sylvester方程，即：

W_t＝sylvester(A，B，C) (6)

固定W_t，A_t，求W_s：对公式(3)求导得

6.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：在所述S3步骤中，通过余弦相似性预测未知类别样本的标签，利用余弦相似性将训练出的未知类样本属性与未知类原型属性进行对比，从而预测得到未知类样本的标签；

是目标域第i个样本的预测属性，是第j个未知类的原型属性，d是余弦距离方程，f(g)是得到的样本标签。

7.根据权利要求1所述的一种基于自编码器的未知类别图像标签预测方法，其特征在于：在所述S3步骤中，通过将未知类原型投影到特征空间，利用余弦相似性将训练出的未知类样本特征与未知类真实特征进行对比，从而预测得到未知类样本的标签。

是目标域第i个样本特征，是第j个未知类原型属性投影在特征空间的预测特征，d是余弦距离方程，f(g)是得到的样本标签。