CN107292813B - 一种基于生成对抗网络的多姿态人脸生成方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的多姿态人脸生成方法，在训练阶段，首先收集各种姿态的人脸数据，并基于生成对抗网络模型训练两个深度神经网络G和D，训练完成后，以随机采样加上姿态控制参数输入生成网络G得到各种姿态下的人脸图像。本发明可以生成大量不同人在多个姿态下的人脸图像，将有效改善多姿态人脸识别领域数据缺乏的问题。然后利用新生成的各种姿态的人脸图像作为训练数据，训练一个编码器用于提取图像的身份信息；最终的测试过程，输入一张随机姿态下的图片，经过训练好的编码器得到身份信息特征，再通过训练好的生成网络，得到同一个人的各种姿态的人脸图像。

Description

一种基于生成对抗网络的多姿态人脸生成方法

技术领域

本发明属于计算机视觉与模式识别领域，特别涉及深度学习，生成对抗模型(GAN)以及传统的图像处理方法。

背景技术

近年来，随着大数据技术的深入发展，生物特征识别成为信息安全领域的重要研究方向。作为生物特征识别中最活跃的分支，人脸识别在近年来焕发了勃勃生机。从2013年开始，随着深度学习的发展，深度神经网络逐渐应用于人脸识别领域，获得了比传统识别方法更高的准确率。尽管基于深度学习的人脸识别算法相比传统算法有了长足的进步，但目前大多数人脸识别系统的假定是单一的限定性场景，即光照环境可控、用户配合情况下的场景。然而基于单一限定性场景的人脸识别应用却很有限，现实的人脸识别场景存在光照和姿态变化等非限定性因素。例如，视频监控早已被广泛应用在道路交通、公共安全、安全控制等方面，对监控视频中各种姿态下的人脸识别，无疑具有重大应用价值，但目前大多数通用的人脸识别系统对这一情况无法做到准确识别。

目前大多数算法针对的都是正面姿态或者小姿态(45°以下)，缺乏对于大姿态人脸识别的泛化能力。对于大姿态的人脸识别，挑战主要在于以下三点：首先，现在普遍的基于基准点的模型都假设基准点是可见的，但是对于侧脸来说会存在遮挡不可见的问题；其次从正脸图像到侧脸图像，随着姿态的变化图像变化非常剧烈；最后包含大姿态的大规模数据库难以获得，但这恰恰是深度学习得以实施的基础。

发明内容

针对多姿态人脸识别的困难问题，尤其是目前大规模多姿态人脸数据库缺乏的问题，本发明提供一种基于生成对抗网络的多姿态人脸生成方法。

为实现上述技术目的，本发明采用的技术方案如下：在训练阶段，首先收集各种姿态的人脸数据，并基于生成对抗网络(GAN)模型训练两个深度神经网络G和D，生成网络G用来模拟原始数据生成类似于原始数据分布的人脸图像，鉴别网络D用来区分输入图像是来自生成网络G还是原始图像数据，训练完成后，以随机采样加上姿态控制参数输入生成网络G即可得到不同人的各种姿态下人脸图像。具体步骤如下：

1)收集多姿态的人脸图像，按角度姿态信息整理分类，并注上标注且编码为姿态控制参数y；

2)基于带条件的生成对抗网络模型训练两个深度神经网络：生成网络G和鉴别网络D；

3)将随机采样的向量和姿态控制参数y输入生成网络G，得到各种姿态的人脸图像。

4)将随机采样的各种姿态的人脸图像作为新的训练数据，训练一个编码器用于提取图像的身份信息特征；

5)测试阶段，输入一张随机姿态下的图片，经过步骤4)训练好的编码器得到身份信息特征，再加上目标控制参数y，通过步骤2)训练好的生成网络G，得到同一个人的各种姿态的人脸图像。

进一步地，所述的步骤1)中，标注方法具体为：从-45°～45°，每隔15°为一种姿态，依次标注为姿态0～6，然后编码为姿态控制参数y，姿态控制参数y为一个7维one-hot向量，即向量中只有一个元素为1，其余元素为0，编码规则为：如果为姿态i，i∈{0,1,…,6}，则对应的姿态控制参数y为第i+1个元素为1，其他6个元素为0。

进一步地，所述的步骤1)中，还包括对收集的多姿态的人脸图像进行数据预处理的操作，所述数据预处理包括减均值以及归一化操作，所述减均值包括图片意义下的减均值以及基于每个像素点位置的减均值。

进一步地，所述的步骤1)中，收集多姿态的人脸图像，使用Multi_Pie数据库的第一个session的前200个人的7种姿态下的56000张图片进行训练。

进一步地，所述的步骤2)中，生成网络G用来模拟原始数据生成类似于原始数据分布的人脸图像，鉴别网络D用来区分输入图像是来自生成网络G还是原始图像数据，所述带条件的生成对抗网络模型(CGAN)以姿态控制参数作为条件，其目标函数为：

其中，V(D,G)表示博弈问题中的价值函数，即需要优化的目标函数；x～p_data(x)表示x服从数据库内人脸图像分布p_data，即表示x来自数据库人脸图像，表示在p_data分布下求期望；z～p_z(z)表示z服从先验分布p_z，p_z为[-1,1]内的均匀分布，即z为[-1,1]内随机采样的向量，表示在p_z分布下求期望；D(x|y))表示输入x在姿态控制参数y的条件下经过鉴别网络D的输出；G(z|y)表示输入向量z在姿态控制参数y的条件下经过生成网络G的输出图像；D(G(z|y))表示G(z|y)经过鉴别网络D的输出；

训练得到的生成网络G能够根据姿态控制参数y生成各种不同姿态的人脸图像，鉴别网络D用来提取输入图像的特征。

进一步地，所述的步骤3)为：对[-1,1]上的均匀分布p_z进行随机采样得到向量z，不同的向量z代表不同的人；根据向量z和姿态控制参数y，利用步骤2)训练好的生成网络G，得到各种姿态下的人脸图像。

进一步地，所述的步骤4)为：

在[-1,1]的均匀分布p_z下随机采样得到输入向量z₀；在1-7内用随机数随机指定一个位置的元素为1，其余为0，得到输入姿态控制参数y₀；将z₀和y₀同时输入生成网络G得到采样的人脸图像输出X₀；

设计一个编码器Encoder用来提取输入图像X₀的特征；编码器Encoder的网络结构与鉴别网络D相同，仅最后一层全连接层改为与输入向量z₀维度相同，全连接层的输出向量记为将向量和输入姿态控制参数y₀同时输入之前训练好的生成网络G中，得到相应的图片输出为了使图像尽可能逼近图像X₀，设计的损失函数如下：

其中Loss(E)表示训练Encoder时需要优化的损失函数，L_z和L_X分别表示关于z的损失项和关于x的损失项，下标i表示向量的第i个元素，n为输入向量z₀的维度，i∈pixel表示图像上的每个像素点；

通过优化以上损失函数，训练好的Encoder可以近似得到输入图像X的特征z，即输入图像X的身份特征。

本发明的有益效果是：本发明可以生成大量逼真多姿态人脸图像，有效改善多姿态人脸识别领域大规模数据缺乏的问题，将为后续的深度神经网络在多姿态人脸识别领域的应用带来便利。并在此基础上训练一个编码器，有效实现将各种姿态的输入人脸图像转到目标姿态，最终输出图像在具有高真实性的基础上同时保持输入图像的身份特征。特别的，将各种姿态的人脸图像统一转到正面人脸，相当于对各种姿态的人脸图像做了对齐操作，可以克服姿态变化提升人脸识别在多姿态条件下的识别率。从现实应用场景来说，监控安防等领域都需要对多姿态的人脸图像有一定的识别率，本发明将有望推动监控安防等领域的发展。

附图说明

图1是带条件的生成对抗网络整体结构示意图；

图2是生成网络G网络结构图；

图3是鉴别网络D网络结构图；

图4是原始数据库中人脸图片；

图5是生成的多姿态人脸图片；

图6是编码器Encoder训练示意图；

图7是编码器Encoder网络结构图；

图8是输入任意人脸的旋转效果图(其中第一列为输入人脸)。

具体实施方式

下面结合附图和具体实施例对本发明作进一步详细说明。

本发明提供的一种基于生成对抗网络的多姿态人脸生成方法，包括以下步骤：

1)收集多姿态的人脸图像，按角度姿态信息整理分类，并注上标注且编码为姿态控制参数y；

2)基于带条件的生成对抗网络模型训练两个深度神经网络：生成网络G和鉴别网络D；

3)将随机采样的向量和姿态控制参数y输入生成网络G，得到各种姿态的人脸图像。

4)将随机采样的各种姿态的人脸图像作为新的训练数据，训练一个编码器用于提取图像的身份信息特征；

5)测试阶段，输入一张随机姿态下的图片，经过步骤4)训练好的编码器得到身份信息特征，再加上目标控制参数y，通过步骤2)训练好的生成网络G，得到同一个人的各种姿态的人脸图像。

进一步地，所述的步骤1)中，标注方法具体为：从-45°～45°，每隔15°为一种姿态，依次标注为姿态0～6，然后编码为姿态控制参数y，姿态控制参数y为一个7维one-hot向量，即向量中只有一个元素为1，其余元素为0，编码规则为：如果为姿态i，i∈{0,1,…,6}，则对应的姿态控制参数y为第i+1个元素为1，其他6个元素为0。

进一步地，所述的步骤1)中，还包括对收集的多姿态的人脸图像进行数据预处理的操作，所述数据预处理包括减均值以及归一化操作，所述减均值包括图片意义下的减均值以及基于每个像素点位置的减均值。

进一步地，所述的步骤1)中，收集多姿态的人脸图像，使用Multi_Pie数据库的第一个session的前200个人的7种姿态下的56000张图片进行训练。

进一步地，所述的步骤2)中，生成网络G用来模拟原始数据生成类似于原始数据分布的人脸图像，鉴别网络D用来区分输入图像是来自生成网络G还是原始图像数据，所述带条件的生成对抗网络模型(CGAN)以姿态控制参数作为条件，其目标函数为：

其中，V(D,G)表示博弈问题中的价值函数，即需要优化的目标函数；x～p_data(x)表示x服从数据库内人脸图像分布p_data，即表示x来自数据库人脸图像，表示在p_data分布下求期望；z～p_z(z)表示z服从先验分布p_z，p_z为[-1,1]内的均匀分布，即z为[-1,1]内随机采样的向量，表示在p_z分布下求期望；D(x|y))表示输入x在姿态控制参数y的条件下经过鉴别网络D的输出；G(z|y)表示输入向量z在姿态控制参数y的条件下经过生成网络G的输出图像；D(G(z|y))表示G(z|y)经过鉴别网络D的输出；

训练得到的生成网络G能够根据姿态控制参数y生成各种不同姿态的人脸图像，鉴别网络D用来提取输入图像的特征。

进一步地，所述的步骤3)为：对[-1,1]上的均匀分布p_z进行随机采样得到向量z，不同的向量z代表不同的人；根据向量z和姿态控制参数y，利用步骤2)训练好的生成网络G，得到各种姿态下的人脸图像。因为z是[-1,1]连续的随机变量，因此该采样可以生成大量的不同人的多姿态人脸图像，改善多姿态人脸识别问题中数据缺乏，尤其是人数缺乏的问题。

进一步地，所述的步骤4)为：

在[-1,1]的均匀分布p_z下随机采样得到输入向量z₀；在1-7内用随机数随机指定一个位置的元素为1，其余为0，得到输入姿态控制参数y₀；将z₀和y₀同时输入生成网络G得到采样的人脸图像输出X₀；

设计一个编码器Encoder用来提取输入图像X₀的特征；编码器Encoder的网络结构与鉴别网络D相同，仅最后一层全连接层改为与输入向量z₀维度相同，全连接层的输出向量记为将向量和输入姿态控制参数y₀同时输入之前训练好的生成网络G中，得到相应的图片输出为了使图像尽可能逼近图像X₀，设计的损失函数如下：

其中Loss(E)表示训练Encoder时需要优化的损失函数，L_z和L_X分别表示关于z的损失项和关于x的损失项，下标i表示向量的第i个元素，n为输入向量z₀的维度，i∈pixel表示图像上的每个像素点；

通过优化以上损失函数，训练好的Encoder可以近似得到输入图像X的特征z，即输入图像X的身份特征。

实施例

本实施例的实现过程如下：

1)收集多姿态的人脸图像，按角度姿态信息整理分类，并注上标注且编码为姿态控制参数y；

使用已有的Multi_Pie数据库，由4个session组成，一共包含337个人的15种姿态和20种光照下的超过750000张图片(虽然该数据库人脸图片数量很多，但是人的数量相对较少，而且很大程度上是光照的差异性，而不仅仅是姿态的各异)，本实施例中仅使用第一个session的前200个人的7种姿态下的约56000图片进行训练。对收集的多姿态的人脸图像进行数据预处理，数据预处理包括减均值(包括图片意义下的减均值以及基于每个像素点位置的减均值)以及归一化等操作。标注方法具体为：从-45°～45°，每隔15隔为一种姿态，依次标注为姿态0～6，然后编码为姿态控制参数y，姿态控制参数y为一个7维one-hot向量(即向量中只有一个元素为1，其余元素为0)，编码规则为：如果为姿态i(i∈{0,1,…,6})，则对应的姿态控制参数y为第i+1个元素为1，其他6个元素为0。

2)基于带条件的生成对抗网络模型训练两个深度神经网络：生成网络G和鉴别网络D；

生成对抗网络(GAN)由G和D两个深度神经网络构成，生成网络G用来模拟原始数据生成类似于原始数据分布的人脸图像，鉴别网络D用来区分输入图像是来自生成网络G还是原始图像数据，两个网络的优化转化为一个博弈问题，利用一个极大极小目标函数来优化两个网络：

其中，V(D,G)表示博弈问题中的价值函数，即需要优化的目标函数；x～p_data(x)表示x服从数据库内人脸图像分布p_data，即表示x来自数据库人脸图像，表示在p_data分布下求期望；z～p_z(z)表示z服从先验分布p_z，本实施例中，p_z为[-1,1]内的100维均匀分布，即z为[-1,1]内随机采样的100维向量，表示在p_z分布下求期望；D(x)表示输入x经过鉴别网络D的输出，G(z)表示输入向量z经过生成网络G的输出图像。本实施例中为了生成各种姿态下的人脸图像，采用带条件的生成对抗模型(CGAN)，以姿态控制参数作为条件，其目标函数为：

D(x|y))表示输入x在姿态控制参数y的条件下经过鉴别网络D的输出；G(z|y)表示输入向量z在姿态控制参数y的条件下经过生成网络G的输出图像；D(G(z|y))表示G(z|y)经过鉴别网络D的输出；y为编码好的姿态控制参数，一个7维one-hot向量。训练整体框架结构示意图如图1所示，我们设计的生成网络G和鉴别网络D分别如图2，3所示。

训练得到的生成网络G能够根据姿态控制参数y生成各种不同姿态的人脸图像，鉴别网络D用来提取输入图像的特征。

3)将随机采样的向量和姿态控制参数y输入生成网络G，得到各种姿态的人脸图像。

对[-1,1]上的均匀分布p_z进行随机采样得到向量z，不同的向量z代表不同的人；根据向量z和姿态控制参数y，利用步骤2)训练好的生成网络G，得到各种姿态下的人脸图像，作为对比，这里展示原始数据集中人脸图像如图4所示，以及生成的各种姿态人脸图像如图5所示。从生成的图像可以看出：身份特性控制和姿态控制完全拆解开，给定相同的姿态控制参数，采样得到不同的表征身份特性的z将得到相同姿态下的不同人的图像(如图5中每一列)，同时对于给定的身份特性z，采样得到不同的y将生成同一个人在不同姿态下的人脸图像(如图5中的每一行)。因为z是[-1,1]连续的随机变量，因此该采样可以生成大量的不同人的多姿态人脸图像，改善多姿态人脸识别问题中数据缺乏，尤其是人数缺乏的问题。

4)将随机采样的各种姿态的人脸图像作为新的训练数据，训练一个编码器用于提取图像的身份信息特征；

在[-1,1]的均匀分布p_z下随机采样得到输入向量z₀(100维)；在1-7内用随机数随机指定一个位置的元素为1，其余为0，得到输入姿态控制参数y₀；将z₀和y₀同时输入生成网络G得到采样的人脸图像输出X₀；

设计一个编码器Encoder用来提取输入图像X₀的特征；编码器Encoder的网络结构与鉴别网络D相同，仅最后一层全连接层改为100维，即输出为100维向量将向量和输入姿态控制参数y₀同时输入之前训练好的生成网络G中，得到相应的图片输出为了使图像尽可能逼近图像X₀，设计的损失函数如下：

其中Loss(E)表示训练Encoder时需要优化的损失函数，L_z和L_X分别表示关于z的损失项和关于x的损失项，下标i表示向量的第i个元素，i∈pixel表示图像上的每个像素点。编码器Encoder训练示意图如图6所示，编码器Encoder的具体网络结构如图7所示。

通过优化以上损失函数，训练好的Encoder可以近似得到输入图像X的特征z，即输入图像X的身份特征。

5)测试阶段，输入一张随机姿态下的图片，经过步骤4)训练好的编码器得到身份信息特征，再加上目标控制参数y，通过步骤2)训练好的生成网络G，得到同一个人的各种姿态的人脸图像。输入随机姿态人脸图像的旋转效果如图8所示，其中第一列为输入随机姿态图像，后面7列为将输入人脸转到7个不同角度，同时保持身份特性。从图中可以看出，身份特性得到较好保持，同时姿态控制也达到效果。

Claims (6)

1.一种基于生成对抗网络的多姿态人脸生成方法，其特征在于，包括以下步骤：

1)收集多姿态的人脸图像，按角度姿态信息整理分类，并注上标注且编码为姿态控制参数y；

2)基于带条件的生成对抗网络模型训练两个深度神经网络：生成网络G和鉴别网络D；

3)将随机采样的向量和姿态控制参数y输入生成网络G，得到各种姿态的人脸图像；其过程为对[-1,1]上的均匀分布p_z进行随机采样得到向量z，不同的向量z代表不同的人；根据向量z和姿态控制参数y，利用步骤2)训练好的生成网络G，得到各种姿态下的人脸图像；

4)将随机采样的各种姿态的人脸图像作为新的训练数据，训练一个编码器用于提取图像的身份信息特征；

5)测试阶段，输入一张随机姿态下的图片，经过步骤4)训练好的编码器得到身份信息特征，再加上目标控制参数y，通过步骤2)训练好的生成网络G，得到同一个人的各种姿态的人脸图像。

2.根据权利要求1所述的基于生成对抗网络的多姿态人脸生成方法，其特征在于，所述的步骤1)中，标注方法具体为：从-45°～45°，每隔15°为一种姿态，依次标注为姿态0～6，然后编码为姿态控制参数y，姿态控制参数y为一个7维one-hot向量，即向量中只有一个元素为1，其余元素为0，编码规则为：如果为姿态i，i∈{0,1,…,6}，则对应的姿态控制参数y为第i+1个元素为1，其他6个元素为0。

3.根据权利要求1所述的基于生成对抗网络的多姿态人脸生成方法，其特征在于，所述的步骤1)中，还包括对收集的多姿态的人脸图像进行数据预处理的操作，所述数据预处理包括减均值以及归一化操作，所述减均值包括图片意义下的减均值以及基于每个像素点位置的减均值。

4.根据权利要求1所述的基于生成对抗网络的多姿态人脸生成方法，其特征在于，所述的步骤1)中，收集多姿态的人脸图像，使用Multi_Pie数据库的第一个session的前200个人的7种姿态下的56000张图片进行训练。

5.根据权利要求1所述的基于生成对抗网络的多姿态人脸生成方法，其特征在于，所述的步骤2)中，生成网络G用来模拟原始数据生成类似于原始数据分布的人脸图像，鉴别网络D用来区分输入图像是来自生成网络G还是原始图像数据，所述带条件的生成对抗网络模型(CGAN)以姿态控制参数作为条件，其目标函数为：

其中，V(D,G)表示博弈问题中的价值函数，即需要优化的目标函数；x～p_data(x)表示x服从数据库内人脸图像分布p_data，即表示x来自数据库人脸图像，表示在p_data分布下求期望；z～p_z(z)表示z服从先验分布p_z，p_z为[-1,1]内的均匀分布，即z为[-1,1]内随机采样的向量，表示在p_z分布下求期望；D(x|y))表示输入x在姿态控制参数y的条件下经过鉴别网络D的输出；G(z|y)表示输入向量z在姿态控制参数y的条件下经过生成网络G的输出图像；D(G(z|y))表示G(z|y)经过鉴别网络D的输出；

训练得到的生成网络G能够根据姿态控制参数y生成各种不同姿态的人脸图像，鉴别网络D用来提取输入图像的特征。

6.根据权利要求1所述的基于生成对抗网络的多姿态人脸生成方法，其特征在于，所述的步骤4)为：

在[-1,1]的均匀分布p_z下随机采样得到输入向量z₀；在1-7内用随机数随机指定一个位置的元素为1，其余为0，得到输入姿态控制参数y₀；将z₀和y₀同时输入生成网络G得到采样的人脸图像输出X₀；

设计一个编码器Encoder用来提取输入图像X₀的特征；编码器Encoder的网络结构与鉴别网络D相同，仅最后一层全连接层改为与输入向量z₀维度相同，全连接层的输出向量记为将向量和输入姿态控制参数y₀同时输入之前训练好的生成网络G中，得到相应的图片输出为了使图像尽可能逼近图像X₀，设计的损失函数如下：

其中Loss(E)表示训练Encoder时需要优化的损失函数，L_z和L_X分别表示关于z的损失项和关于x的损失项，下标i表示向量的第i个元素，n为输入向量z₀的维度，i∈pixel表示图像上的每个像素点；

通过优化以上损失函数，训练好的Encoder可以近似得到输入图像X的特征z，即输入图像X的身份特征。