CN110097095A - 一种基于多视图生成对抗网络的零样本分类方法 - Google Patents

Abstract

一种基于多视图生成对抗网络的零样本分类方法，首次将多视图生成对抗网络引入零样本学习中，通过将属性特征和文本矢量特征同时输入网络，构建了一个具有两个生成器和一个三输入辨别器的网络结构，不仅完成了视觉特征的生成过程，而且保证了不同视图间的对齐关系，设计了适合于图像数据特征的零样本分类技术。由此，本发明能够合成更趋近于真实分布的视觉特征。考虑到属性特征和文本矢量特征的对应关系，使生成的视觉特征具有相似的数据分布，既可以完成视觉特征与类别语义特征的关联，也完成了类别语义信息间的关联，合成更真实的视觉特征。

Description

一种基于多视图生成对抗网络的零样本分类方法

技术领域

本发明涉及一种零样本分类方法。特别是涉及一种基于多视图生成对抗网络的零样本分类方法。

背景技术

深度学习极大地促进了计算机视觉的发展，例如物体分类，图像检索和动作识别等。这些任务的性能通常在利用大量的标注数据训练后进行评估。然而，一些任务只有一小部分训练数据甚至没有训练数据，使得传统分类模型性能较差。基于此，零样本学习引起了广泛关注。其任务就是对没有训练数据的类别进行分类。在零样本学习中，数据分为两部分，分别是训练数据(可见类别)和测试数据(未见类别)，并且两者的类别是不同的。对未见类别的识别通常由从可见类别到未见类别的知识迁移实现，借助了可见类别与未见类别共享的类别语义特征，包括属性特征和文本矢量特征。

图像由视觉特征表示，与类别语义特征之间存在语义鸿沟。为了建立视觉特征与类别语义特征间的关联，常见的方法包括线性映射方法和深度学习方法。其主要包括两个步骤，首先学习视觉空间和类别语义空间之间的关联关系，然后利用学习到的关联关系计算测试数据的视觉特征和未见类别的类别语义特征间的相似度，取相似度较大的类别为测试数据的标签。

生成对抗网络是基于深度学习的一个模型，其是作为一个可以学习特定数据分布的生成模型。生成对抗网络主要解决的是生成类问题，可以利用一段任意的随机数生成图像。其包括两个网络模型，一个生成模型G(Generator)和一个判别模型D(Discriminator)。G以随机噪声作为输入，生成一张图像G(z)，然后将G(z)和真实图像x输入到D中，对G(z)和x做二分类，判断两者属于真实图像的概率。G和D会根据D输出的情况不断改进自己，G尽可能的提高G(z)和x的相似度来欺骗D，而D则会通过学习尽可能的不被G欺骗。当生成的图像与真实图像没有差别，也就是D的输出为0.5时，G获得了生成图像的能力。当把类别信息和噪声共同输入到G中时，可以生成满足特定分布的图像，以此在零样本方法中使用。

现存的基于生成数据的方法主要包括以下步骤：

1)利用训练样本，通过线性模型或者深度模型实现由属性空间A到视觉空间X的映射：

2)利用训练样本学习到的映射关系f将测试样本的属性特征映射到视觉空间，得到测试样本各个类别对应的预测视觉特征。

3)利用预测得到的视觉特征与测试样本的真实视觉特征间的相似度关系，确定测试样本所属类别。通常确定类别使用的判别标准为最近邻方法。

利用线性模型实现由属性空间到视觉空间的映射时，线性模型因过于简单而不能完成对属性视觉间的完整表征。利用深度模型学习该映射函数时，自编码器、变分自编码器和生成对抗网络等深度模型各有优劣。自编码器只能完成一对一的映射，变分自编码器由于变分下限的引入使生成的视觉特征易于失真，生成对抗网络则存在模式崩溃的问题。其中，生成对抗网络利用生成器G和辨别器D间的对抗学习，训练一个可以拟合真实视觉特征的生成器G。

一个视觉图像可以具有多种视图的描述，但现有的生成对抗方法通常只将属性作为输入得到生成的图像，这样保证了属性与图像间的关联关系，但忽略了生成图像与其他视图间的对应关系，造成同一图像不同视图间的不对等。

发明内容

本发明所要解决的技术问题是，提供一种能够合成更趋近于真实分布的视觉特征的基于多视图生成对抗网络的零样本分类方法。

本发明所采用的技术方案是：一种基于多视图生成对抗网络的零样本分类方法，首先，假设x为训练样本的视觉特征，a为训练样本的属性特征，w为训练样本的文本矢量特征，x_t为测试样本的视觉特征，a_t为测试样本的属性特征，包括如下步骤：

1)分别初始化用于生成对抗网络的辨别器D、第一生成器G₁和第二生成器G₂的参数：d、v和r；

2)将训练样本的属性特征a和训练样本的文本矢量特征w随机选取一个设定批量数据，分别作为第一生成器G₁和第二生成器G2的输入，得到相应的第一视觉特征x^att和第二视觉特征x^word；

3)将训练样本的视觉特征x、生成的第一视觉特征x^att和第二视觉特征x^word分别随机选取一个设定批量，作为辨别器D的输入；

4)设定目标函数公式如下：

其中，Ε_x、Ε_a和Ε_w分别代表训练样本的视觉特征x、训练样本的属性特征a和训练样本的文本矢量特征w的分布，log为取对数运算，σ为softmax函数，d为辨别器D的参数，G₁为第一生成器，G₂为第二生成器；

5)根据目标函数公式，使用Adam优化器训练辨别器D，保留使辨别器D性能最好的参数d；

6)根据目标函数公式，使用Adam优化器训练第一生成器G₁，保留使第一生成器G₁性能最好的参数v；

7)根据目标函数公式，使用Adam优化器训练第二生成器G₂，保留使第二生成器G₂性能最好的参数r；

8)使用步骤6)和步骤7)得到的参数v和r，分别输入到第一生成器G₁和第二生成器G₂，得到相应训练后的第一视觉特征和训练后的第二视觉特征

9)根据如下公式计算正则损失L，并使用Adam优化器更新使正则损失最小的参数v和r：

其中N为可见类别的个数，为2范数表示，为第一视觉特征x^att的第i个样本，为第二视觉特征x^word的第i个样本；

10)重复步骤5)～步骤9)，得到辨别器D、第一生成器G₁和第二生成器G₂的最终参数d，v和r；

11)将测试样本的属性特征a_t输入到第一生成器G₁中，根据得到未见类别的生成视觉特征

12)根据欧氏距离最小为原则，计算所有未见类别的生成视觉特征分别与测试样本的视觉特征x_t间的距离，其中，最小距离为预测的类别标签。

步骤1)所述的第一生成器G₁和第二生成器G₂结构相同，都是由两个全连接层级联构成，

当把训练样本的属性特征a输入到第一生成器G₁中时，得到对应的第一视觉特征x^att：

x^att＝G₁(a,v) (1)

当把训练样本的文本矢量特征w输入到第二生成器G₂时，得到对应的第二视觉特征x^word：

x^word＝G₂(w,r) (2)

其中，v和r分别为第一生成器G₁和第二生成器G₂的参数。

步骤4)所述的辨别器D有三个输入，分别为训练样本的视觉特征x、第一视觉特征x^att和第二视觉特征x^word；训练样本的视觉特征x对应真实的视觉特征，第一视觉特征x^att和第二视觉特征x^word是生成的视觉特征，属于假的视觉特征。

本发明的一种基于多视图生成对抗网络的零样本分类方法，利用多视图生成对抗网络的方法模拟视觉特征的生成过程以及同一图像不同视图的对应关系，更好的探究了视觉特征的分布，具有如下有益效果：

本发明首次将多视图生成对抗网络引入零样本学习中，通过将属性特征和文本矢量特征同时输入网络，构建了一个具有两个生成器和一个三输入辨别器的网络结构，不仅完成了视觉特征的生成过程，而且保证了不同视图间的对齐关系，设计了适合于图像数据特征的零样本分类技术。由此，本发明能够合成更趋近于真实分布的视觉特征。考虑到属性特征和文本矢量特征的对应关系，使生成的视觉特征具有相似的数据分布，既可以完成视觉特征与类别语义特征的关联，也完成了类别语义信息间的关联，合成更真实的视觉特征。

附图说明

图1是发明一种基于多视图生成对抗网络的零样本分类方法的流程图。

具体实施方式

下面结合实施例和附图对本发明的一种基于多视图生成对抗网络的零样本分类方法做出详细说明。

零样本学习通过引入可见类别与未见类别共享的类别语义信息以达到知识迁移的作用，完成对测试样本类别的预测。假设在训练阶段给出了可见类别的数据{x_i,a_i,w_i,y_i}ⁿ，其中n为可见类别样本总数，x_i∈R^p是可见类别第i个样本对应的视觉特征；类别语义信息包括两种，分别为属性和文本矢量，即a_i∈R^q是可见类别第i个样本对应的属性特征，w_i∈R^l是可见类别第i个样本对应的文本矢量特征；是可见类别第i个样本对应的类别标签；p、q和l分别是视觉、属性和文本矢量空间的维度。在测试阶段，根据未见类别的属性特征和类别标签{a_t,y_t}，对其视觉特征x_t进行分类，其中并且有零样本的任务就是利用可见类别的数据训练模型，进而利用训练好的模型预测未见类别的标签y_t。

如图1所示，本发明的一种基于多视图生成对抗网络的零样本分类方法，首先，假设x为训练样本的视觉特征，a为训练样本的属性特征，w为训练样本的文本矢量特征，x_t为测试样本的视觉特征，a_t为测试样本的属性特征，包括，如下步骤：

1)分别初始化用于生成对抗网络的辨别器D、第一生成器G₁和第二生成器G₂的参数：d、v和r；所述的第一生成器G₁和第二生成器G₂结构相同，都是由两个全连接层级联构成，

当把训练样本的属性特征a输入到第一生成器G₁中时，得到对应的第一视觉特征x^att：

x^att＝G₁(a,v) (1)

当把训练样本的文本矢量特征w输入到第二生成器G₂时，得到对应的第二视觉特征x^word：

x^word＝G₂(w,r) (2)

其中，v和r分别为第一生成器G₁和第二生成器G₂的参数。

2)将训练样本的属性特征a和训练样本的文本矢量特征w随机选取一个设定批量数据，分别作为第一生成器G₁和第二生成器G₂的输入，得到相应的第一视觉特征x^att和第二视觉特征x^word；

3)将训练样本的视觉特征x、生成的第一视觉特征x^att和第二视觉特征x^word分别随机选取一个设定批量，作为辨别器D的输入；

4)设定目标函数公式如下：

其中，Ε_x、Ε_a和Ε_w分别代表训练样本的视觉特征x、训练样本的属性特征a和训练样本的文本矢量特征w的分布，log为取对数运算，σ为softmax函数，d为辨别器D的参数，G₁为第一生成器，G₂为第二生成器；

所述的辨别器D有三个输入，分别为训练样本的视觉特征x、第一视觉特征x^att和第二视觉特征x^word；训练样本的视觉特征x对应真实的(Real)视觉特征，第一视觉特征x^att和第二视觉特征x^word是生成的视觉特征，属于假的(Fake)视觉特征。

5)根据目标函数公式，使用Adam优化器训练辨别器D，保留使辨别器D性能最好的参数d；

6)根据目标函数公式，使用Adam优化器训练第一生成器G₁，保留使第一生成器G₁性能最好的参数v；

7)根据目标函数公式，使用Adam优化器训练第二生成器G₂，保留使第二生成器G₂性能最好的参数r；

8)使用步骤6)和步骤7)得到的参数v和r，分别输入到第一生成器G₁和第二生成器G₂，得到相应训练后的第一视觉特征和训练后的第二视觉特征

9)根据如下公式计算正则损失L，并使用Adam优化器更新使正则损失最小的参数v和r：

其中N为可见类别的个数，为2范数表示，为第一视觉特征x^att的第i个样本，为第二视觉特征x^word的第i个样本；

10)重复步骤5)～步骤9)，得到辨别器D、第一生成器G₁和第二生成器G₂的最终参数d，v和r；

11)将测试样本的属性特征a_t输入到第一生成器G₁中，根据得到未见类别的生成视觉特征

12)根据欧氏距离最小为原则，计算所有未见类别的生成视觉特征分别与测试样本的视觉特征x_t间的距离，其中，最小距离为预测的类别标签。

对于零样本图像分类任务，对于测试样本的视觉特征x_t，本发明利用在可见类别上训练好的多视图生成对抗网络，选择通过对抗后在验证集上性能最好的参数v和r。进而将测试样本的属性特征a_t输入到第一生成器G₁中，得到生成的视觉特征，并计算其与真实的视觉特征间的欧氏距离。认为距离最小的类别为预测的类别，以此实现零样本分类任务。本发明通过第一生成器G₁和第二生成器G₂两个生成器以及正则项的作用，使生成的视觉特征保证了在不同视图下的对应关系，更加符合真实数据的特点，在零样本任务中能够实现更好的分类效果。

Claims (3)

1.一种基于多视图生成对抗网络的零样本分类方法，其特征在于，首先，假设x为训练样本的视觉特征，a为训练样本的属性特征，w为训练样本的文本矢量特征，x_t为测试样本的视觉特征，a_t为测试样本的属性特征，包括，如下步骤：

1)分别初始化用于生成对抗网络的辨别器D、第一生成器G₁和第二生成器G₂的参数：d、v和r；

2)将训练样本的属性特征a和训练样本的文本矢量特征w随机选取一个设定批量数据，分别作为第一生成器G₁和第二生成器G₂的输入，得到相应的第一视觉特征x^att和第二视觉特征x^word；

3)将训练样本的视觉特征x、生成的第一视觉特征x^att和第二视觉特征x^word分别随机选取一个设定批量，作为辨别器D的输入；

4)设定目标函数公式如下：

其中，Ε_x、Ε_a和Ε_w分别代表训练样本的视觉特征x、训练样本的属性特征a和训练样本的文本矢量特征w的分布，log为取对数运算，σ为softmax函数，d为辨别器D的参数，G₁为第一生成器，G₂为第二生成器；

5)根据目标函数公式，使用Adam优化器训练辨别器D，保留使辨别器D性能最好的参数d；

6)根据目标函数公式，使用Adam优化器训练第一生成器G₁，保留使第一生成器G₁性能最好的参数v；

7)根据目标函数公式，使用Adam优化器训练第二生成器G₂，保留使第二生成器G₂性能最好的参数r；

8)使用步骤6)和步骤7)得到的参数v和r，分别输入到第一生成器G₁和第二生成器G₂，得到相应训练后的第一视觉特征和训练后的第二视觉特征

9)根据如下公式计算正则损失L，并使用Adam优化器更新使正则损失最小的参数v和r：

其中N为可见类别的个数，为2范数表示，为第一视觉特征x^att的第i个样本，为第二视觉特征x^word的第i个样本；

10)重复步骤5)～步骤9)，得到辨别器D、第一生成器G₁和第二生成器G₂的最终参数d，v和r；

11)将测试样本的属性特征a_t输入到第一生成器G₁中，根据得到未见类别的生成视觉特征

12)根据欧氏距离最小为原则，计算所有未见类别的生成视觉特征分别与测试样本的视觉特征x_t间的距离，其中，最小距离为预测的类别标签。

2.根据权利要求1所述的一种基于多视图生成对抗网络的零样本分类方法，其特征在于，步骤1)所述的第一生成器G₁和第二生成器G₂结构相同，都是由两个全连接层级联构成，

当把训练样本的属性特征a输入到第一生成器G₁中时，得到对应的第一视觉特征x^att：

x^att＝G₁(a,v) (1)

当把训练样本的文本矢量特征w输入到第二生成器G₂时，得到对应的第二视觉特征x^word：

x^word＝G₂(w,r) (2)

其中，v和r分别为第一生成器G₁和第二生成器G₂的参数。

3.根据权利要求1所述的一种基于多视图生成对抗网络的零样本分类方法，其特征在于，步骤4)所述的辨别器D有三个输入，分别为训练样本的视觉特征x、第一视觉特征x^att和第二视觉特征x^word；训练样本的视觉特征x对应真实的视觉特征，第一视觉特征x^att和第二视觉特征x^word是生成的视觉特征，属于假的视觉特征。