CN110135459B - 一种基于双三元组深度度量学习网络的零样本分类方法 - Google Patents

Abstract

一种基于双三元组深度度量学习网络的零样本分类方法，将样本的语义特征输入到映射网络，输出到视觉空间。在视觉空间中，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的语义特征，构成三元组，输入到语义引导的三元组网络；同时，选择一对属于同一类别的语义特征和视觉特征构成正样本对，然后再选取一个与正样本对不同类别的视觉特征，构成三元组，输入到视觉引导的三元组网络。最后将语义引导的三元组网络和视觉引导的三元组网络的输出，输入到双三元组损失函数中计算。最后使用最近邻分类器对测试样本进行分类。本发明结构实现简单，训练方法更加简单，训练参数较少，在计算机硬件设备较差的情形下仍能训练。

Description

一种基于双三元组深度度量学习网络的零样本分类方法

技术领域

本发明涉及一种零样本分类方法。特别是涉及一种基于双三元组深度度量学习网络的零样本分类方法。

背景技术

近年来，因为在大规模数据集分类任务上的突出性能，深度学习得到了大力发展。但是一个突出的问题也愈加明显，带有标注的数据需要花费大量的人力物力来获得，甚至在有些情况下极难获得，如濒危动物的图像。相比于深度学习需要大量带标注的数据，人类仅仅需要少量样本，甚至不需要样本就可以进行识别任务。例如当一个人在已经认识猫的情况下，告知他老虎的额头还有“王”字花纹，他极有可能辨别出老虎。正是受到人类这一能力的启发，学者们开始研究零样本分类。零样本分类通过对可见类的学习，利用语义特征，达到识别未见类的目的。可见类与未见类通过语义特征建立联系，语义特征可以是属性特征也可以是词向量。

现有的大部分零样本分类方法都是采用映射的方法，将视觉特征和语义特征映射到同一空间中，使用可见类的样本来学习这一映射，测试时采用最近邻分类器，也就是距离测试样本最近的语义特征的标签即为测试样本的预测标签。这种基于映射的方法，由于在测试阶段采用最近邻分类法，所以在训练过程中样本间的距离度量是十分关键的。在零样本分类中，一些学者也采用度量学习的方法来解决零样本分类问题。具体地是，此类方法利用某种映射，再使用某种相似度度量方法，使得映射后样本的视觉特征和语义特征间，属于同一类别的特征相似度高，不同类别特征相似度低。然而此类方法没有充分利用样本的视觉特征和语义特征间的区别与联系。

发明内容

本发明所要解决的技术问题是，提供一种能够更加全面地学习类别之间的异同信息基于双三元组深度度量学习网络的零样本分类方法。

本发明所采用的技术方案是：一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，映射网络的输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到由视觉特征作负样本的三元组网络；最后将由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别。

所述双三元组损失函数l(x，a)表示如下：

s.t.s(x，a)＝d(g(x)，g(f(a))) (1)

其中，s(x，a)代表样本视觉特征和样本语义特征的距离，其中x，a是同类别的样本视觉特征和样本语义特征，a′代表不同类的样本语义特征，x′代表不同类的样本视觉特征，α是正负样本的距离间隔，属于超参数；Ω(W_f)，Ω(W_g)是映射网络和深度度量学习网络的正则项，W_f和W_g是映射网络和度量网络的权重，λ是正则项系数，f(·)表示语义特征到视觉特征的映射网络，g(·)表示深度度量学习网络，d(·，·)表示两个特征的欧氏距离。

具体包括如下步骤：

1)在训练阶段，将样本语义特征通过三层的神经网络映射到视觉空间，把一个h维度的样本语义特征向量转换为和样本视觉特征同维度的d维特征向量，把样本语义特征矩阵A∈ R^h×k作为输入，每一行代表一个类别的样本语义特征向量，h是样本语义特征的维度，k是样本的类别数，经过一个h×l×d的三层神经网络，得到变换后的样本语义特征矩阵：f(A)∈ R^d×k，其中l为整数，且h＜l＜d；

2)在视觉空间中将变换后的样本语义特征矩阵f(A)∈R^d×k和原有的样本视觉特征矩阵 X∈R^d×m作为输入，d是视觉特征的维度，m是训练样本的数目，X中的每一行代表一个样本视觉特征；经过一个d×p×d的三层神经网络，分别得到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵g(f(A))∈R^d×k，g(X)∈R^d×m，其中p为整数，且0＜p＜ d；

3)利用到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵g(f(A))∈ R^d×k，g(X)∈R^d×m计算出所有样本语义特征和所有样本视觉的欧氏距离，得到距离矩阵D∈ R^m×k，其中d_ij的元素就代表第i个样本的视觉特征与第j类语义特征的距离；

4)在距离矩阵D∈R^m×k中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本语义特征作为负样本，共同输入到一个由语义特征作负样本的三元组网络；

5)同时在距离矩阵D∈R^m×k中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本视觉特征作为负样本，共同输入到一个由视觉特征作负样本的三元组网络；

6)使用双三元组损失函数l(x，a)公式作为目标函数，对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练；

7)在测试阶段，将测试样本语义特征通过训练好的映射网络映射到视觉空间，然后将测试样本视觉特征和将测试样本语义特征逐一经过深度度量学习网络进行距离度量，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别，在传统零样本分类和广义零样本分类中，分别使用如下公式进行分类：

其中，X_U是来自未见类标签集合U的样本视觉特征集合，A_U是未见类标签集合U的样本语义特征集合，X_T是来自所有类别标签集合T的样本视觉特征集合，A_T是所有类别标签集合 T的样本的语义特征集合，s(x_z，a_n)代表第z个测试样本的视觉特征x_z和第n类测试样本语义特征a_n的距离，y和t分别代表在传统零样本分类和广义零样本分类下的测试样本的预测标签。

本发明的一种基于双三元组深度度量学习网络的零样本分类方法，更加全面地学习类别之间的异同信息，其优势主要体现在：

在零样本中除使用由语义特征作负样本的三元组网络的方法外，还使用由视觉特征作负样本的三元组网络，构成的双三元组深度度量方法。本发明在使用语义特征作负样本进行数据挖掘的同时，引入视觉特征作负样本进行数据发掘，两者之间形成相互的约束，充分考虑了语义负样本和视觉负样本的差异，充足的利用了所有样本特征之间的信息。与现存的零样本分类方法相比，本发明设计的基于双三元组深度度量零样本分类方法在Animals with Attributes(AwA)，Caltech-UCSD，Birds-200-2011(CUB)和aPascal&aYahoo(aPY)三个数据集中的测试表明，本发明分类准确性达到领域内最先进水平。此外，本发明结构实现简单，相比于其他性能接近的零样本方法，训练方法更加简单，训练参数较少，在计算机硬件设备较差的情形下仍能训练。

附图说明

图1是本发明一种基于双三元组深度度量学习网络的零样本分类方法的流程图；

图2是本发明中由语义特征作负样本的三元组网络流程图；

图3是本发明中由视觉特征作负样本的三元组网络流程图。

具体实施方式

下面结合实施例和附图对本发明的一种基于双三元组深度度量学习网络的零样本分类方法做出详细说明。

如图1所示，本发明的一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，其方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，映射网络的输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到图2所示的由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到图3所示的由视觉特征作负样本的三元组网络；最后将由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别。测试时，传统零样本设置下，测试样本来自未知类别，预测标签也只能是未见类，而广义零样本则把这个范围扩大到包含可见类和未见类。

所述双三元组损失函数l(x，a)表示如下：

s.t.s(x，a)＝d(g(x)，g(f(a))) (1)

其中，s(x，a)代表样本视觉特征和样本语义特征的距离，其中x，a是同类别的样本视觉特征和样本语义特征，a′代表不同类的样本语义特征，x′代表不同类的样本视觉特征，α是正负样本的距离间隔，属于超参数；Ω(W_f)，Ω(W_g)是映射网络和深度度量学习网络的正则项，W_f和W_g是映射网络和度量网络的权重，λ是正则项系数，f(·)表示语义特征到视觉特征的映射网络，g(·)表示深度度量学习网络，d(·，·)表示两个特征的欧氏距离。

本发明的一种基于双三元组深度度量学习网络的零样本分类方法，具体包括如下步骤：

1)在训练阶段，将样本语义特征通过三层的神经网络映射到视觉空间，把一个h维度的样本语义特征向量转换为和样本视觉特征同维度的d维特征向量，把样本语义特征矩阵A∈ R^h×k作为输入，每一行代表一个类别的样本语义特征向量，h是样本语义特征的维度，k是样本的类别数，经过一个h×l×d的三层神经网络，得到变换后的样本语义特征矩阵：f(A)∈ R^d×k，其中l为整数，且h＜l＜d；

2)在视觉空间中将变换后的样本语义特征矩阵f(A)∈R^d×k和原有的样本视觉特征矩阵 X∈R^d×m作为输入，d是视觉特征的维度，m是训练样本的数目，X中的每一行代表一个样本视觉特征；经过一个d×p×d的三层神经网络，分别得到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵g(f(A))∈R^d×k，g(X)∈R^d×m，其中p为整数，且0＜p＜ d；

3)利用到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵g(f(A))∈ R^d×k，g(X)∈R^d×m计算出所有样本语义特征和所有样本视觉的欧氏距离，得到距离矩阵D∈ R^m×k，其中d_ij的元素就代表第i个样本的视觉特征与第j类语义特征的距离；

4)在距离矩阵D∈R^m×k中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本语义特征作为负样本，共同输入到一个由语义特征作负样本的三元组网络；

5)同时在距离矩阵D∈R^m×k中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本视觉特征作为负样本，共同输入到一个由视觉特征作负样本的三元组网络；

6)使用双三元组损失函数l(x，a)公式作为目标函数，对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练；

7)在测试阶段，将测试样本语义特征通过训练好的映射网络映射到视觉空间，然后将测试样本视觉特征和将测试样本语义特征逐一经过深度度量学习网络进行距离度量，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别，在传统零样本分类和广义零样本分类中，分别使用如下公式进行分类：

其中，X_U是来自未见类标签集合U的样本视觉特征集合，A_U是未见类标签集合U的样本语义特征集合，X_T是来自所有类别标签集合T的样本视觉特征集合，A_T是所有类别标签集合T的样本的语义特征集合，s(x_z，a_n)代表第z个测试样本的视觉特征x_z和第n类测试样本语义特征 a_n的距离，y和t分别代表在传统零样本分类和广义零样本分类下的测试样本的预测标签。

Claims (2)

1.一种基于双三元组深度度量学习网络的零样本分类方法，首先，利用卷积神经网络提取样本图像视觉特征；利用人工标注的属性特征作为样本语义特征，其特征在于，方法包括训练阶段和测试阶段：训练阶段，首先将训练样本语义特征输入到映射网络，进而输出到视觉空间；在视觉空间中，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本语义特征，构成三元组，输入到由语义特征作负样本的三元组网络；同时，选择一对属于同一类别的训练样本语义特征和训练样本视觉特征构成正样本对，再选取一个与正样本对不同类别的训练样本视觉特征，构成三元组，输入到由视觉特征作负样本的三元组网络；最后将由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络的输出，输入到双三元组损失函数中计算损失，用以对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练，选取得到的由语义特征作负样本的三元组网络中的一个网络作为最终的深度度量学习网络；测试阶段，将测试样本视觉特征输入到训练完成的映射网络中映射网络中的语义特征进行度量，得到的输出分别与不同类别的测试样本语义特征输入到训练得到的深度度量学习网络，深度度量学习网络输出得到测试样本视觉特征与不同类别的测试样本语义特征的相似度，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别；

所述双三元组损失函数l(x,a)表示如下：

其中，s(x,a)代表样本视觉特征和样本语义特征的距离，其中x,a是同类别的样本视觉特征和样本语义特征，a′代表不同类的样本语义特征，x′代表不同类的样本视觉特征，α是正负样本的距离间隔，属于超参数；Ω(W_f)，Ω(W_g)是映射网络和深度度量学习网络的正则项，W_f和W_g是映射网络和度量网络的权重，λ是正则项系数，f(·)表示语义特征到视觉特征的映射网络，g(·)表示深度度量学习网络，d(·,·)表示两个特征的欧氏距离。

2.根据权利要求1所述的一种基于双三元组深度度量学习网络的零样本分类方法，其特征在于，具体包括如下步骤：

1)在训练阶段，将样本语义特征通过三层的神经网络映射到视觉空间，把一个h维度的样本语义特征向量转换为和样本视觉特征同维度的d维特征向量，把样本语义特征矩阵

作为输入，每一行代表一个类别的样本语义特征向量，h是样本语义特征的维度，k是样本的类别数，经过一个h×l×d的三层神经网络，得到变换后的样本语义特征矩阵：

其中l为整数，且h<l<d；

2)在视觉空间中将变换后的样本语义特征矩阵

和原有的样本视觉特征矩阵

作为输入，d是视觉特征的维度，m是训练样本的数目，X中的每一行代表一个样本视觉特征；经过一个d×p×d的三层神经网络，分别得到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵

其中p为整数，且0<p<d；

3)利用到二次变换后的样本语义特征矩阵和一次变换后的样本视觉特征矩阵

计算出所有样本语义特征和所有样本视觉的欧氏距离，得到距离矩阵

其中d_ij的元素就代表第i个样本的视觉特征与第j类语义特征的距离；

4)在距离矩阵

中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本语义特征作为负样本，共同输入到一个由语义特征作负样本的三元组网络；

5)同时在距离矩阵

中，选取同类别的样本语义特征和样本视觉特征作为正样本对，再选取与正样本对不同类的样本视觉特征作为负样本，共同输入到一个由视觉特征作负样本的三元组网络；

6)使用双三元组损失函数l(x,a)公式作为目标函数，对映射网络、由语义特征作负样本的三元组网络和由视觉特征作负样本的三元组网络进行优化训练；

7)在测试阶段，将测试样本语义特征通过训练好的映射网络映射到视觉空间，然后将测试样本视觉特征和将测试样本语义特征逐一经过深度度量学习网络进行距离度量，使用最近邻分类器对样本进行分类，其中相似度最大的测试样本语义特征标注的类别作为样本视觉特征的类别，在传统零样本分类和广义零样本分类中，分别使用如下公式进行分类：

其中，X_U是来自未见类标签集合U的样本视觉特征集合，A_U是未见类标签集合U的样本语义特征集合，X_T是来自所有类别标签集合T的样本视觉特征集合，A_T是所有类别标签集合T的样本的语义特征集合，s(x_z,a_n)代表第z个测试样本的视觉特征x_z和第n类测试样本语义特征a_n的距离，y和t分别代表在传统零样本分类和广义零样本分类下的测试样本的预测标签。

Images