CN109034182A - 一种基于属性约束的零样本图像识别新方法 - Google Patents

Abstract

本发明公开了一种基于属性约束的零样本图像识别新方法，本方法利用正太分布虚拟出已知类别训练样本的真实属性来减少其属性噪声问题带来的影响，其次基于编码器‑解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器达到有效减少语义迁移影响的目的，最后通过最近邻分类器获得待测试未知类别样本的标签。与现有的其他零样本图像识别方法相比，我们的方法在识别率上取得显著提高。

Description

一种基于属性约束的零样本图像识别新方法

技术领域

本发明涉及到模式识别中的图像识别领域，尤其涉及一种基于属性约束的零样本图像识别新方法。

背景技术

在模式识别领域中，图像识别是其一个重要的组成部分，其目的是让经过训练的计算机在大量图像中提取相关信息并加以判别。目前图像识别技术日渐成熟，并且广泛应用于人脸，动物及其他物体等方面。传统的图像识别是基于监督学习进行的，即要获得待测试未知类别的标签需要训练大量同类样本。然而提供大量带有标签的同类训练样本的成本花费巨大的，而且极有可能会出现收集不到某一类图像的同类带标签训练样本的情况，所以我们考虑学习无同类训练样本情形下的图像识别即零样本图像识别。

解决零样本图像识别问题的方法大多数是建立在属性学习基础上的。属性是人为定义来描述类别特性信息的标量。基于属性学习的零样本图像识别是利用支持向量机SVM从已知类别训练样本上学习一个属性预测器，然后将此属性预测器直接应用到待测试未知类别样本得到其属性，最后通过最近邻分类器与未知类别的所有原型属性进行对比从而获得其标签。这些零样本图像识别方法在进行识别过程中都会遇到语义迁移问题。具体而言，从已知类别训练样本上学习得到的属性预测器可运用到已知类别训练样本中，然而由于已知类别训练样本和未知类别测试样本在零样本图像识别中是不存在任何交集，直接将训练获得的属性预测器应用到待测试未知类别时必然无法适合所有未知类别，这样就无法获得所有待测试未知类别样本的真实属性，也就是产生了语义迁移，进而会导致最终识别率降低。如何学习一个高效属性预测器来有效减少语义迁移问题带来的影响一直是零样本图像识别研究中的一个重要课题。然而在考虑学习一个高效属性预测器的同时人们往往都容易忽视属性这一关键要素，因为属性都是人为定义来描述类别特性信息的，与其真实属性值之间必然存在一定的误差，即存在噪声，给定已知类别训练样本的属性肯定会偏离其真实属性，这样也会导致最终训练出来的属性分类器判别效率降低，如何有效减少已知类别训练样本属性噪声问题的影响也值得我们研究的。

发明内容

发明目的：本发明所要解决的技术问题是针对背景技术中所涉及到的属性噪声等缺陷，提供一种基于属性约束的零样本图像识别新方法以有效减轻语义迁移和已知类别训练样本属性噪声问题的影响。

技术方案：一种基于属性约束的零样本图像识别新方法，包括如下步骤：

步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性，减少属性噪声问题带来的影响；

步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；

步骤3)用步骤2)得到的属性预测器预测待测试未知类别样本的属性，并将预测到的待测试未知类别样本的属性通过最近邻分类器与待测试未知类别样本的原型属性比对，以得到待测试未知类别样本的标签。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.我们利用正太分布虚拟出已知类别训练样本的真实属性有效减轻训练集属性噪声问题带来的影响；

2.我们利用语义编码器解码器模型在已知类别训练样本和未知类别待测试训练样本上共同学习一个属性预测器达到有效减轻零样本图像识别中语义迁移问题影响的目的；

3.和现有的方法相比，我们所提出的方法在识别率上有显著提高。

附图说明

图1即为本发明一种基于属性约束的零样本图像识别方法的工作流程图。

具体实施方式

下面结合附图对本发明的技术方案做进一步的详细说明：

本发明公开了一种基于属性约束的零样本图像识别新方法，本方法能有效减少零样本图像识别过程中存在的语义迁移和已知类别训练样本属性噪声问题带来的影响。首先我们利用正太分布虚拟出已知类别训练样本的真实属性来减少其属性噪声问题带来的影响，其次基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器达到有效减少语义迁移影响的目的，最后通过最近邻分类器获得待测试未知类别样本的标签。与现有的其他零样本图像识别方法相比，我们的方法在识别率上取得显著提高。

一种基于属性约束的零样本图像识别新方法，包含以下步骤：

步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性，具体步骤如下：

步骤1.1)其中给定的已知类别训练样本包含c_s类共计N_s幅图像，其训练集表示如下：

上述训练集中表示第1至N_s幅图像的特征，表示第1至N_s幅图像的属性；

其中已知类别训练样本的特征表示如下：

d为样本特征维度；

其中已知类别训练样本的属性表示如下：

k是属性维度；

步骤2.2)已知类别训练样本的真实属性表示如下：

其中是第1至N_s幅图像的真实属性；

c_s类每一类都对应着一个原型属性，已知类别训练样本的训练集原型属性表示如下：

其中表示已知类别训练样本的训练集的1至C_s类图像的原型属性；

步骤2.3)利用同一类别样本在属性空间中呈正太分布的原理虚拟出已知类别训练样本的真实属性：

其中是第j类已知类别的原型属性，是第i幅已知类别训练样本的真实属性||.||_F是F-范数，则m_i，j＝1，否则m_i，j＝0。

步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；具体步骤如下：

步骤2.1)首先学习一个从已知类别训练样本特征X_s到其真实属性Y_s的语义编码器W∈R^k×d即WX_s＝Y_s，然后又学习一个将Y_s投影到特征空间的语义解码器W^*，得到一个新的关于已知类别训练样本的特征表示X′即X′＝W^*Y_s＝W^*WX_s，我们希望X_s和X′之间存在的误差尽可能最小从而获得最优语义编码器，因此写出如下的目标函数：

||·||_F是F-范数，式(1)中包含两个变量，为化简方便，我们假设W^*W＝W^T其中W^T是W的转置矩阵，式(1)因此写成：

其中λ为已知训练集过拟合控制系数，在零样本图像识别中，假设已知类别训练样本和未知类别训练样本共同使用同一个属性分类器也即最优的语义编码器W，因此在未知类别训练样本中我们也可得到一个关于最优的语义编码器W的的目标函数：

其中λ₁为待测试样本的过拟合控制系数，X_t是待测试未知类别样本的特征，Y_t是待测试未知类别样本的真实属性，结合步骤1)，我们写出最终的目标函数：

其中λ₂为平衡过拟合控制系数，式(4)和λ、λ₁、λ₂三个变量有关，考虑将其分解成三个最优化问题来进行求解：

针对式(5)，(6)和(7)我们均利用求导置零的方法获得三个变量的表达式：

其中 是N_s阶的单位矩阵，是R_s的转置矩阵。

其中是N_t阶单位矩阵，N_t是待测试未知类别样本的数量。

W＝sylvester(A，B，C) (10)

其中W＝Sylvester()是数学里面和矩阵相关的著名的sylvester方程，我们采用分别最优化的方法求出W的表达式，接下来我们利用如下迭代公式求出最优语义编码器即属性预测器：

其中β＝0.001，W_i是第i次迭代的W，W_i-1是第i-1迭代的W。

步骤3)用步骤2)得到的属性预测器预测待测试未知类别样本的属性，并将预测到的待测试未知类别样本的属性通过最近邻分类器与待测试未知类别样本的原型属性比对，以得到待测试未知类别样本的标签，具体步骤如下：

利用给定的已知类别训练样本的特征和虚拟的已知类别训练样本的真实属性，结合步骤2)，基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习出一个最优属性预测器，利用此属性预测器来预测待测试未知类别样本的属性，最后把预测的待测试未知类别样本的属性与所有待测试未知类别样本的原型属性通过最近邻分类器比对得到所有未知类别样本的标签，其中采用如下最近邻分类器模型：

其中C_j为第i个待测试未知类别样本的标签j，为第i个待测试未知类别样本的真实属性，为第j类未知类别的原型属性。

将得到的待测试未知类别样本的标签与待测试未知类别样本的实际标签进行比对，得出属性预测器的识别率，若识别率过低则重新进行训练优化。

将本发明所述的一种基于属性约束的零样本图像识别方法在AWA和aPY数据库上进行实验。

AWA数据库中包含50类动物共计30475张照片，其每一幅图像对应着一列85维的属性向量。在AWA数据库中，我们取出40类共24295幅图像共作为已知类别训练样本，其余10类共6180幅图像作为待测试未知类别样本，每幅图像用4096维的特征向量表示。在aPY数据库中，每张图片均可用一个9751维的特征向量表示，我们拿出20类共12695幅图像作为已知类别训练样本，剩余12类共2644幅图像作为待测试未知类别样本，每幅图像对应的一个64维的属性向量。我们在两个数据库中对各种方法进行实验得到的识别率如下：

表一：AWA和aPY数据库上各种方法的识别率比较

方法	AWA数据库	aPY数据库
			RKT	75.9％	38.4％
SMS	78.4％	39.0％
			ESZSL	75.3％	24.3％
UDA	73.2％	43.6％
			Our Method	83.1％	45.4％

从表一可以看出，本发明提出的方法在两个数据库中比其他方法在识别率上有显著提高。

本技术领域技术人员可以理解的是，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (4)

1.一种基于属性约束的零样本图像识别新方法，包含以下步骤：

步骤1)针对给定的已知类别训练样本中含有属性噪声问题，利用正太分布虚拟出训练样本的真实属性；

步骤2)针对零样本图像识别中存在语义迁移问题，根据步骤1)计算出的给定的已知类别训练样本真实属性，学习一个从已知类别训练样本的特征到已知类别训练样本真实属性的编码器，再学习一个将已知类别训练样本真实属性映射到特征空间的解码器，基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习一个属性预测器；

步骤3)用步骤2)得到的属性预测器预测待测试未知类别样本的属性，并将预测到的待测试未知类别样本的属性通过最近邻分类器与待测试未知类别样本的原型属性比对，以得到待测试未知类别样本的标签，将得到的待测试未知类别样本的标签与待测试未知类别样本的实际标签进行比对，得出属性预测器的识别率。

2.根据权利要求1所述的一种基于属性约束的零样本图像识别新方法，其特征在于：所述步骤1)具体步骤如下：

步骤1.1)其中给定的已知类别训练样本包含c_s类共计N_s幅图像，其训练集表示如下：

上述训练集中表示第1至N_s幅图像的特征，表示第1至N_S幅图像的属性；

其中已知类别训练样本的特征表示如下：

d为样本特征维度；

其中已知类别训练样本的属性表示如下：

k是属性维度；

步骤2.2)已知类别训练样本的真实属性表示如下：

其中是第1至N_S幅图像的真实属性；

c_s类每一类都对应着一个原型属性，已知类别训练样本的训练集原型属性表示如下：

其中表示已知类别训练样本的训练集的1至C_s类图像的原型属性；

步骤2.3)利用同一类别样本在属性空间中呈正太分布的原理虚拟出已知类别训练样本的真实属性：

其中是第j类已知类别的原型属性，j∈1......C_S，是第i幅已知类别训练样本的真实属性i∈1......N_S，||.||_F是F-范数，则m_i，j＝1，否则m_i，j＝0。

3.根据权利要求1或2所述的一种基于属性约束的零样本图像识别新方法，其特征在于：所述步骤2)的详细步骤如下：

根据步骤1)中给定的已知类别训练样本的特征表示以及虚拟得出的真实属性进行如下步骤：

步骤2.1)首先学习一个从已知类别训练样本特征X_s到其真实属性Y_s的语义编码器W∈R^k×d即WX_s＝Y_s，然后又学习一个将Y_s投影到特征空间的语义解码器W^*，得到一个新的关于已知类别训练样本的特征表示X′即X′＝W*Y_s＝W^*WX_s，我们希望X_s和X′之间存在的误差尽可能最小从而获得最优语义编码器，因此写出如下的目标函数：

||·||_F是F-范数，式(1)中包含两个变量，为化简方便，我们假设W^*W＝W^T其中W^T是W的转置矩阵，式(1)因此写成：

其中λ为已知训练集过拟合控制系数，在零样本图像识别中，假设已知类别训练样本和未知类别训练样本共同使用同一个属性分类器也即最优的语义编码器W，因此在未知类别训练样本中我们也可得到一个关于最优的语义编码器W的的目标函数：

其中λ₁为待测试训练集过拟合控制系数，X_t是待测试未知类别样本的特征，Y_t是待测试未知类别样本的真实属性，结合步骤1)，我们写出最终的目标函数：

其中λ₂为平衡过拟合控制系数，式(4)和λ、λ₁、λ₂三个变量有关，考虑将其分解成三个最优化问题来进行求解：

针对式(5)，(6)和(7)我们均利用求导置零的方法获得三个变量的表达式：

其中 是N_s阶的单位矩阵，是R_s的转置矩阵。

其中是N_t阶单位矩阵，N_t是待测试未知类别样本的数量。

甲＝sylvester(A，B，C) (10)

其中W＝Sylvester()是数学里面和矩阵相关的著名的sylvester方程，我们采用分别最优化的方法求出W的表达式，接下来我们利用如下迭代公式求出最优语义编码器W即属性预测器：

其中β＝0.001，W_i是第i次迭代的W，W_i-1是第i-1迭代的W。

4.根据权利要求3所述的一种基于属性约束的零样本图像识别新方法，所述步骤3)的详细步骤如下：

利用给定的已知类别训练样本的特征和虚拟的已知类别训练样本的真实属性，结合步骤2)，基于语义编码器-解码器模型在已知类别训练样本和待测试未知类别样本上共同学习出一个最优属性预测器，利用此属性预测器来预测待测试未知类别样本的属性，最后把预测的待测试未知类别样本的属性与所有待测试未知类别样本的原型属性通过最近邻分类器比对得到所有未知类别样本的标签，其中采用如下最近邻分类器模型：

其中c_j为第i个待测试未知类别样本的标签j，为第i个待测试未知类别样本的真实属性，为第j类未知类别的原型属性。