CN113033288A - 一种基于生成对抗网络的侧脸图片生成正脸图片的方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗网络的侧脸图片生成正脸图片的方法，该方法将收集的侧脸图片和正脸图片用于生成对抗网络的训练，随后再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。本发明的生成正脸图片的方法本发明生成正脸图片的方法通过双路径生成器保证了脸部局部细节的存在，并通过预测感官和轮廓的位置，加速轮廓子生成器提取有效特征，通过拼接的方式保证了两种特征都能作用与结果，从而生成高质量、可用于人脸识别的图像。本发明的方法保留了局部特征和全局特征，生成正脸图片具有准确高效的特点。

Description

一种基于生成对抗网络的侧脸图片生成正脸图片的方法

技术领域

本发明涉人脸生成技术领域，尤其涉及一种基于生成对抗网络的侧脸图片生成正脸图片的方法。

背景技术

当前人脸识别系统以及人脸数据库都是以正脸图片作为标准数据，因此经过训练后的人脸识别模型对正脸的识别度有较好的表现，但是对输入为侧脸的数据表现极差。而在现实生活中，摄像头所捕获的数据多数为侧脸数据，无法直接应用于人脸识别系统。特别是对于安防领域或是智能家居领域。对于前者而言，公共场所会部署大量的摄像头用于搜寻、记录犯罪份子，而犯罪份子会刻意的躲避摄像头，使得摄像头无法捕获或者仅仅捕获到他的侧脸，而安防系统中的人脸识别模块可能会忽略掉侧脸数据；同样的，随着智能家居领域的不断发展，越来越多的物联网设备会安装在家居环境中，出于对个人隐私保护考虑，大部分设备都会搭配人脸识别模块，如果每一个设备使用时都需要用户正面设备，这也会给用户带来极大的不便。

侧脸问题由于信息的缺失本身就是病态的问题，传统的方法是将侧脸数据和正脸数据同时训练，提取侧脸和正脸的公共特征，但是这一方法无法给出侧脸对应的正脸图像，只能给出侧脸的特征，特征无法输入其他成熟的人脸识别模块；另一种方法是通过侧脸数据生成正脸，这一类方法采用的是全局特征或者局部加全局特征来生成正脸图片，使用全局特征会导致生成图片的细节较差，而采用局部加全局特征训练时很容易导致局部特征无效，从而导致模型生成的图像并不能包含全部的信息。

综上，现阶段方法的缺陷主要包括：

1.基于特征提取的方法无法应用于成熟的人脸识别模块；

2.基于特征生成的方法会造成细节的缺失或是特征的无效。

发明内容

针对现有技术中存在的问题，本发明提供了一种基于生成对抗网络的侧脸图片生成正脸图片的方法。

为实现上述目的，本发明采用的技术方案是：一种基于生成对抗网络的侧脸图片生成正脸图片的方法，具体包括以下步骤：

(1)收集侧脸图片和对应的正脸图片，将每张侧脸图片I^P划分成侧脸感官图片集

将对应的正脸图片I^F划分成正脸感官图片集

并标记出正脸的轮廓特征点K^F和对应的感官位置L^F；所述感官包括：左眼、右眼、嘴巴和鼻子；

(2)将侧脸图片I^P和侧脸感官图片集

分别输入生成对抗网络中，训练生成对抗网络，当判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练；

(3)再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。

进一步地，所述生成对抗网络包括感官生成器、轮廓生成器、融合网络、正脸感官位置预测网络、正脸轮廓特征点预测网络和判别器；所述感官生成器、轮廓生成器均与融合网络连接，所述融合网络与判别器连接，所述轮廓生成器分别与正脸感官位置预测网络、正脸轮廓特征点预测网络连接。

进一步地，所述生成对抗网络的训练过程具体包括如下步骤：

(2.1)将侧脸图片I^P输入轮廓生成器中，生成预测正脸轮廓图片

将侧脸感官图片集

输入感官生成器中，生成预测正脸感官图片集

(2.2)将步骤(2.1)生成的预测正脸轮廓图片

和预测正脸感官图片集

输入融合网络中进行融合，生成预测正脸图片I^pred，将预测正脸图片I^pred输入判别器中，以判别器损失函数L_{Discriminator}来判断预测正脸图片I^pred与正脸图片I^F是否属于同一种概率分布下；

(2.3)将轮廓生成器中侧脸图片I^P的高维特征作为正脸感官位置预测网络和正脸轮廓特征点预测网络的输入，输出预测正脸感官位置L^pred和预测正脸轮廓特征点K^pred，以生成器损失函数L_Generator来判断预测正脸感官位置L^pred与正脸感官位置L^F的相似度以及判断预测正脸轮廓特征点K^pred与正脸的轮廓特征点K^F的相似度，并且判断融合生成的正脸图片I^pred和真实的正脸图片I^F的相似度；

(2.4)将不同的侧脸图片I^P和对应的侧脸感官图片集

以及与之对应的正脸图片I^F，正脸感官

和轮廓及感官位置K^F、L^F输入生成对抗网络中重复步骤(2.1)-(2.3)，训练生成对抗网络，直至判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练。

进一步地，所述判别器损失函数L_{Discriminator}为：

其中，D()为判别器，K²表示为将输入判别器的图片划分为区块的个数，G(I^P)为生成器生成的正脸图片，

为侧脸图像分布期望，

为正脸图像分布期望。

进一步地，所述生成器损失函数L_Generator为：

L_Generator＝L_pix+λ₁L_Id+λ₂L_Loc+λ₃L_adv

其中，L_pix为像素损失函数，L_Id为身份损失函数，λ₁为身份损失函数对应的系数，取值为0.3；L_Loc为位置损失函数，λ₂为位置损失函数对应的系数，取值为0.01；L_adv为对抗损失函数，λ₃为对抗损失函数对应的系数，取值为0.001。

与现有技术相比，本发明具有如下有益效果：本发明的生成对抗网络中采用感官生成器和轮廓生成器，分别利用侧脸感官图片集和侧脸图片生成预测正脸感官图片集和预测正脸轮廓图片，再进一步融合成生成预测正脸图片。本发明生成正脸图片的方法通过双路径生成器保证了脸部局部细节的存在，并通过预测感官和轮廓的位置，加速轮廓子生成器提取有效特征，通过拼接的方式保证了两种特征都能作用与结果，从而生成高质量、可用于人脸识别的图像。本发明的方法保留了局部特征和全局特征，生成正脸图片具有准确高效的特点。

附图说明

图1是本发明基于生成对抗网络的侧脸图片生成正脸图片的方法的流程图；

图2是本发明生成对抗网络结构图；

图3是本发明的生成正脸图片的结果示意图。

具体实施方式

下面结合附图对本发明的技术方案作进一步的解释说明。

如图1是本发明基于生成对抗网络的侧脸图片生成正脸图片的方法的流程图，所述方法具体包括如下步骤：

(1)收集侧脸图片和对应的正脸图片，将每张侧脸图片I^P，大小为416×416，划分成侧脸感官图片集

并且侧脸感官图片集

全部缩放至64×64；将对应的正脸图片I^F，大小同样为416×416，划分成正脸感官图片集

大小同样为64×64，并标记正脸的轮廓特征点K^F，大小为17×2，标记对应的感官位置L^F，大小为4×4；每张侧脸图片I^P对应一张正脸图片I^F；所述感官包括：左眼、右眼、嘴巴和鼻子；

(2)将侧脸图片I^P、正脸图像I^F和侧脸感官图片集

正脸感官图集

分别输入生成对抗网络中，训练生成对抗网络，当判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练；具体包括如下子步骤：

(2.1)构建双生成器的生成对抗网络，所述生成对抗网络如图2所示，包括感官生成器、轮廓生成器、融合网络、正脸感官位置预测网络、正脸轮廓特征点预测网络和判别器；所述感官生成器、轮廓生成器均与融合网络连接，所述融合网络与判别器连接，所述轮廓生成器分别与正脸感官位置预测网络、正脸轮廓特征点预测网络连接。本发明中的感官生成器和轮廓生成器均采用Res-UNet结构。该方法使用两个生成器，两个生成器分别对应不同的功能，能够更好的提取人脸不同程度的特征，在更好的保留细节的同时也能够提取的人脸的轮廓特征，从而保证生成高质量的图片。

(2.2)将侧脸图片I^P输入轮廓生成器中，生成预测正脸轮廓图片

将侧脸感官图片集

输入感官生成器中，生成预测正脸感官图片集

(2.3)将步骤(2.2)生成的预测正脸轮廓图片

和预测正脸感官图片集

输入融合网络中进行融合，生成预测正脸图片I^pred，将预测正脸图片I^pred输入判别器中，以判别器损失函数L_{Discriminator}来判断预测正脸图片I^pred与正脸图片I^F是否属于同一种概率分布下，即P(I^pred)和P(I^F)是否近似，此处P表示为概率，所述判别器损失函数L_{Discriminator}为：

其中，D()为判别器，K²表示为将输入判别器的图片划分为区块的个数，G(I^P)为生成器生成的正脸图片，

为侧脸图像分布期望，

为正脸图像分布期望

(2.4)将轮廓生成器中侧脸图片I^P的高维特征作为正脸感官位置预测网络和正脸轮廓特征点预测网络的输入，输出预测正脸感官位置L^pred和预测正脸轮廓特征点K^pred，以生成器损失函数L_Generator来判断预测正脸感官位置L^pred与正脸感官位置L^F的相似度以及判断预测正脸轮廓特征点K^pred与正脸的轮廓特征点K^F的相似度；所述生成器损失函数L_Generator为：

L_Generator＝L_pix+λ₁L_Id+λ₂L_Loc+λ₃L_adv

其中，L_pix为像素损失函数，L_Id为身份损失函数，λ₁为身份损失函数对应的系数，取值为0.3；L_Loc为位置损失函数，λ₂为位置损失函数对应的系数，取值为0.01；L_adv为对抗损失函数，λ_v为对抗损失函数对应的系数，取值为0.001。

其中，W表示输入图像的宽，H表示输入图像的高，N为一个batch的图像对大小，

为输入的侧脸图像，

为生成器生成的正脸图像，

为预测感官右上角坐标，(x_i3,y_i)为感官右上角真实坐标，

为预测高宽，(h_i,w_i)为真实高宽，

为轮廓特征点坐标，(x_j,y_j)为轮廓特征点真实坐标，

为预测人脸身份特征，

为真实人脸身份特征，

为预测人脸像素点值，

为真实人脸像素点值。输入输出人脸图片的大小为416×416×3。

(2.5)将不同的侧脸图片I^P和对应的侧脸感官图片集

输入生成对抗网络中重复步骤(2.2)-(2.4)，训练生成对抗网络，直至判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练。通过判别器损失函数，保证了生成的人脸图像和真实的人脸图像处于同一种分布下，通过生成器损失函数保证了生成预测正脸图像与真实的正脸图像尽可能的相似。

(3)再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。

本发明将生成的预测正脸感官图片集

和预测正脸轮廓图片

直接进行融合生成预测正脸图片，而不是使用感官特征和轮廓特征，这避免了某一特征失效，从而生成高质量的预测正脸图片。通过预测感官的位置来帮助融合网络将感官和正脸轮廓进行拼接，这也能更好的生成预测正脸图片。通过预测感官损失和正脸轮廓特征点的位置加速子生成器更快的找到侧脸和正脸的公共特征子空间，从而更好的提取有用的特征。

因此，本发明通过设计侧脸生成正脸的生成对抗网络，充分挖掘侧脸和正脸之间的相关特征，并且生成预测正脸图片，极大的提高了侧脸识别的准确率，并且生成的预测正脸图片能够直接接入现有的人脸识别模块，极大的扩展了人脸识别应用的可用范围。

如图3，给出了不同角度下的侧脸图片生成正脸图片的效果图，通过本发明的方法将侧脸图片生成正脸图片，生成的正脸图片与真实的正脸图片基本相同，说明该方法具有鲁棒性，在不同角度的情况下都能够生成真实正脸相似的正脸图像；同时图3给出了用不同用户的侧脸图片生成正脸图片的效果图，生成的正脸图片与真实的正脸图片一致，说明本发明的方法具有普遍适用性。

上述实施方式并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的技术人员在本发明的技术方案范围内所做出的变化、改型、添加或替换，也均属于本发明的保护范围。

Claims (5)

1.一种基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，具体包括以下步骤：

(1)收集侧脸图片和对应的正脸图片，将每张侧脸图片I^P划分成侧脸感官图片集

将对应的正脸图片I^F划分成正脸感官图片集

并标记出正脸的轮廓特征点K^F和对应的感官位置L^F；所述感官包括：左眼、右眼、嘴巴和鼻子；

(2)将侧脸图片I^P和侧脸感官图片集

分别输入生成对抗网络中，训练生成对抗网络，当判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练；

(3)再次收集侧脸图片，输入到训练好的生成对抗网络中，输出正脸图片。

2.根据权利要求1所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述生成对抗网络包括感官生成器、轮廓生成器、融合网络、正脸感官位置预测网络、正脸轮廓特征点预测网络和判别器；所述感官生成器、轮廓生成器均与融合网络连接，所述融合网络与判别器连接，所述轮廓生成器分别与正脸感官位置预测网络、正脸轮廓特征点预测网络连接。

3.根据权利要求1所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述生成对抗网络的训练过程具体包括如下步骤：

(2.1)将侧脸图片I^P输入轮廓生成器中，生成预测正脸轮廓图片

将侧脸感官图片集

输入感官生成器中，生成预测正脸感官图片集

(2.2)将步骤(2.1)生成的预测正脸轮廓图片

和预测正脸感官图片集

输入融合网络中进行融合，生成预测正脸图片I^pred，将预测正脸图片I^pred输入判别器中，以判别器损失函数L_{Discriminator}来判断预测正脸图片I^pred与正脸图片I^F是否属于同一种概率分布下；

(2.3)将轮廓生成器中侧脸图片I^P的高维特征作为正脸感官位置预测网络和正脸轮廓特征点预测网络的输入，输出预测正脸感官位置L^pred和预测正脸轮廓特征点K^pred，以生成器损失函数L_Generator来判断预测正脸感官位置L^pred与正脸感官位置L^F的相似度以及判断预测正脸轮廓特征点K^pred与正脸的轮廓特征点K^F的相似度，并且判断融合生成的正脸图片I^pred和真实的正脸图片I^F的相似度；

(2.4)将不同的侧脸图片I^P和对应的侧脸感官图片集

以及与之对应的正脸图片I^F，正脸感官

和轮廓及感官位置K^F、L^F输入生成对抗网络中重复步骤(2.1)-(2.3)，训练生成对抗网络，直至判别器损失函数L_{Discriminator}和生成器损失函数L_Generator均收敛时，完成对生成对抗网络的训练。

4.根据权利要求1或3所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述判别器损失函数L_{Discriminator}为：

其中，D()为判别器，K²表示为将输入判别器的图片划分为区块的个数，G(I^P)为生成器生成的正脸图片，

为侧脸图像分布期望，

为正脸图像分布期望。

5.根据权利要求1或3所述基于生成对抗网络的侧脸图片生成正脸图片的方法，其特征在于，所述生成器损失函数L_Generator为：

L_Generator＝L_pix+λ₁L_Id+λ₂L_Loc+λ₃L_adv

其中，L_pix为像素损失函数，L_Id为身份损失函数，λ₁为身份损失函数对应的系数，取值为0.3；L_Loc为位置损失函数，λ₂为位置损失函数对应的系数，取值为0.01；L_adv为对抗损失函数，λ₃为对抗损失函数对应的系数，取值为0.001。

Images