CN110889370B - 基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法 - Google Patents

Abstract

本发明公开了一种基于条件生成对抗网络的端对端的人脸图像生成方法，该方法的具体步骤为：输入多张经过预处理的真实人脸图像至生成器，生成器对所输入的真实人脸图像进行编码、转码及解码处理，生成拟合真实图像分布的合成图像；将所得的真实图像分布的合成图像与原始输入的多张预处理后真实人脸图像输入到判别器，获得真实人脸图像的真实概率及合成图像的真实概率，迭代更新生成器和判别器的参数直至其收敛以确定由生成器和判别器构建的模型；将待合成的侧面姿态人脸图像输入到该模型中，通过一次前向传递得到生成的正面姿态人脸图像。该方法效率高,能够处理极端光照条件及多角度侧面姿态变换,无需估计人脸的三维模型或二维特征点。

Description

基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统 及方法

技术领域

本发明属于图像处理技术领域,主要涉及一种基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统及方法。

背景技术

近年来，人脸识别技术发展迅速，应用的领域也越来越广。在实际拍摄中会受外界因素(例如，噪声、光线、角度等)的影响，导致拍摄的人脸图像中存在大量质量较差，非正面姿态的人脸，这些都给人脸识别带来了很大的干扰，造成人脸识别效果不理想，例如，将图像中的A错误的识别为B。这些问题会给后续的工作带来极大的不便，因此，如何从图像中的侧面姿态的人脸图像生成清晰可分辨的高质量的正面姿态的人脸图像，并且保证获取的正面姿态的人脸图像与原侧面姿态的人脸图像中的人为同一人是亟需解决的问题。

发明内容

本发明的目的在于提供一种基于条件生成对抗网络的端对端的侧面人脸合成正脸的系统。

本发明的目的一之二在于提供基于条件生成对抗网络的端对端的侧面人脸合成正脸的方法，该方法通过一次运算便可得到正面姿态的人脸，效率高,能够处理极端光照条件及多角度侧面姿态变换,无需估计人脸的三维模型或二维特征点。当有左右两个侧面人脸图像时，可直接进行运算，若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像。

为达到上述目的，本发明采用如下技术方案：

一种基于条件生成对抗网络的端对端的人脸图像生成的系统，该系统包括数据预处理、生成器、判别器，构成训练阶段系统和应用阶段系统，其特征在于所述的训练阶段系统由预处理模块(1)、生成器模块(2)、判别器模块(3)和损失模块(4)构成，正侧面人脸数据库中的数据经由预处理模块(1)侧面数据流向生成器模块(2),正面数据流向判别器模块(3),生成器模块(2)输出生成数据流向判别器模块(3)，判别器模块(3)输出判定输入数据为真实正面人脸的概率，将判别器模块(3)输出的真实正面人脸的概率、生成器模块(2)输出的生成数据和经预处理模块(1)处理过的正侧面数据输入损失模块(4)，模型未收敛则将生成器模块和判别器模块参数的梯度传递给生成器模块(2)和判别器模块(3)以更新模块参数，模型收敛则输出生成器模块(2)参数；所述的应用阶段系统由预处理模块(1)和生成器模块(2)构成，待合成的侧面人脸图像由预处理模块(1)流向生成器模块(2)，最终输出正面人脸图像。

上述的预处理模块(1)由剪裁模块(1-1)，缩放模块(1-2)两部分构成。正侧面人脸数据库给出的数据先由剪裁模块(1-1)进行中心剪裁，再由缩放模块(1-2)对数据大小进行缩放。

上述的生成器模块(2)由解码模块(2-1)，编码模块(2-2)，生成模块(2-3)三部分构成。经预处理模块(1)处理过的数据中的侧面数据，先经由解码模块(2-1)进行解码，再分别流向编码模块(2-2)和生成模块(2-3)输出生成数据。

上述的判别器模块(3)由卷积模块(3-1)，全连接模块(3-2)构成。经预处理模块(1)处理过的数据中的侧面数据和生成器模块(2)输出的生成数据依次流入卷积模块(3-1)和全连接模块(3-2)，输出判别器模块(3)的输入数据为真实正面人脸的概率。

上述的损失模块(4)，接收生成器模块(2)输出的生成数据、判别器模块(3)输出的概率和经预处理模块(1)处理过的正侧面数据，模型未收敛则将生成器模块和判别器模块参数的梯度传递给生成器模块(2)和判别器模块(3)以更新模块参数，模型收敛则输出生成器模块(2)参数。

一种基于条件生成对抗网络的端对端的人脸图像生成方法，采用上述的基于条件生成对抗网络的端对端的人脸图像生成的系统来实现，其特征在于该方法的具体步骤为：

a.输入多张经过预处理的真实人脸图像至生成器，生成器对所输入的真实人脸图像进行解码、转码及编码处理，生成拟合真实图像分布的合成图像；

b.将步骤a所得的真实图像分布的合成图像与原始输入的多张预处理后真实人脸图像输入到判别器，以获得真实人脸图像的真实概率及合成图像的真实概率，迭代更新生成器和判别器的参数直至其收敛以确定由生成器和判别器构建的模型；

c.将待合成的侧面姿态人脸图像输入到步骤b所得的模型中，通过一次前向传递得到生成的正面姿态人脸图像。

上述的步骤a中生成器对所输入的图像进行转码和解码时采用全卷积神经网络作为基本结构。

上述步骤a的具体步骤为：

a-1.对人脸图像数据库中每一张待处理人脸图像，在图像的中间区域进行裁剪并进行缩放，使得数据库中每张图像都有一致的尺寸，长和宽分别是h,w；通道数为c，长h取值为128，宽w取值为128，通道数为图像RGB三通道，故c取值为3；

a-2.将步骤a-1所得图像随机划分成由2*n张图像组成的图像段(batch)，此处n取值为128，如果所有图像的整数无法整除2*n，抛弃余数图像，将每个batch中的2*n张图像同一个人的左右侧面姿态人脸在通道维度上拼接，以得到数量为n的尺寸为(w,h,2*c)的新的图像段；

上述步骤b的具体步骤为：

b-1.根据生成器和判别器的结构及参数，采用深度学习框架构建生成式对抗网络模型；

b-2.通过不断调用自适应矩估计梯度下降算法，更新模型参数以最小化估计分布与真实分布之间的偏差造成的损失；根据目标函数，通过一次前向传递运算计算得到当前模型的损失；然后根据当前模型的损失计算模型中各参数的更新梯度，并通过一次后向传递运算进行参数更新，使得更新后模型拟合的数据分布趋近真实的数据分布。

上述步骤b-2的具体步骤为：

b-2-1.生成器对输入的多图像矩阵进行编码、转码及解码，其中生成器的解码部分为双解码器(G₁,G₂)；G₁输出正面姿态人脸图像,G₂输出侧面姿态人脸图像的通道叠加矩阵，前者图像的尺寸(w,h,c)，与真实人脸图像尺寸一致，后者图像的尺寸(w,h,2*c)，与输入的图像矩阵大小一致；

b-2-2.判别器将输入图像段中所有图像以及生成器输出的合成图像作为输入，输出每张图像为真实图像的概率；

b-2-3.根据

确定目标函数计算当前模型的对抗约束损失，其中包括生成器的生成损失与判别器的判别损失；公式中V(G,D)为在生成器和判别器确定的情况下，整个模型的各项数学期望之和，G为生成器，G(x)为生成器的输出图像；D为判别器，log D(x)为输入图像x为真实图像的概率的对数形式，log(1-D(G(x)))为合成图像不为真实图像的概率的对数形式；x为符合真实图像数据分布p_data的真实样本；记合成的正面姿态人脸图像为其中y_i为生成器的输入图像矩阵；

判别损失为：

生成损失为：

生成损失中，输入人脸图像矩阵中人脸图像减去生成器G₂生成的人脸图像矩阵，计算解码损失，生成器G₁生成的人脸图像与真实正面姿态人脸图像对应像素做差，计算对抗约束损失，上述两种损失构成生成损失的后两部分；

b-2-4.根据计算得到的当前模型的判别损失和生成损失通过一次后向传递运算依次更新判别器与生成器中的模型参数，在一次模型参数更新过程结束后，重新从队列中取一图像段，重复所述(b-2-1)-(b-2-5)直至模型收敛，当输入队列被取空后，若模型还未收敛，则重新打乱队列元素的顺序，并从队列头开始获取数据输入模型继续以上所述(1-4-1)-(1-4-5)直至模型收敛。

上述步骤c的具体步骤为：

c-1.用训练阶段的数据预处理方式处理侧面姿态的人脸图像，得到固定尺寸(w,h,c)的人脸图像，若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像，以获得双侧人脸图像；

c-2.将2*m张人脸图像划分为m对,m为待合成人脸图像总数，每对图像均为同一人的侧面姿态人脸图像，将每对在通道维度连拼接，得到m个图像矩阵；

c-3.将图像矩阵输入到训练所得的模型中，通过一次前向传递运算后，取生成器的输出作为正面姿态的人脸图像。

本发明提出的模型是传统生成式对抗网络模型的一种变体。传统的生成式对抗网络由一个生成器网络与一个判别器网络组成。生成器接收随机噪声(计算机随机生成的随机矩阵或向量)作为输入，学习如何根据随机噪声合成一副符合真实图像分布的合成图像。判别器接受合成图像与真实图像作为输入，学习判别输入图像的真伪。在整个训练过程中，生成器与判别器的学习是一个动态博弈的过程，而生成器的输出是一张拟合真实图像分布的合成图像，因此整个模型被称为生成式对抗网络。当生成器合成的图像足以以假乱真，即让判别器无法将之与真实图像区分开时，我们认为生成器学习到了一组从输入的随机噪声分布到真实图像分布的映射。

本发明中的模型本质上还是一个生成式对抗网络，因此模型包括生成器和判别器，生成器的输入不是随机样本，而是真实图像(相机或任何摄影设备拍摄后储存在计算机中的图像)。生成器由编码器、转码器以及解码器组成，通过对输入图像进行编码、转码以及解码，学习得到一张新的且符合真实图像分布的合成图像。此外，我们给生成器的解码部分增加了一个解码器，指导生成器合成真实且与输入的人脸图像面部特征相似的图像。图3与图4分别为生成器与判别器的结构图。

本发明技术方案提出端对端的双解码器的生成对抗模型来获得正面姿态的人脸图像，通过左右双侧人脸图像生成一张正面姿态的人脸图像这种端对端的学习，使得人脸生成模型的训练更加简洁快速。

相对于以前的正面姿态的人脸生成技术，本发明具有以下的优点：

1.通过一次运算便可得到正面姿态的人脸，效率高。

2.能够处理极端光照条件及多角度侧面姿态变换。

3.无需估计人脸的三维模型或二维特征点。

4.若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像，以获得双侧人脸图像，进而得到正面姿态的人脸。

本发明技术方案通过侧面姿态的人脸图像生成正面姿态的人脸图像方法能够在模型参数确定后，通过一次前向传递运算变得到正面姿态的人脸图像。此外，本发明能够处理多角度侧面姿态人脸图像、极端光照条件等人脸对齐场景。

附图说明

图1为本发明所述基于条件生成对抗网络的端对端的人脸图像生成方法的流程框图。

图2-图3为本发明的基于条件生成对抗网络的端对端的人脸图像生成方法的训练阶段实施例的方法流程框图；

图4为本发明所述基于条件生成对抗网络的端对端的人脸图像生成方法的应用阶段实施例的方法流程框图；

图5为本发明所述基于条件生成对抗网络的端对端的人脸图像生成系统方法的系统模块构成。

图6为本发明所述训练阶段生成器的结构图；

图7为本发明所述判别器的结构图；

图8为本发明所述应用阶段生成器的结构图；

图9为本发明的人脸图像生成结果图示例。

具体实施方式

下面结合说明书附图及实施例对本发明做进一步说明。

实施例一：参见图1、图2、图3和图4，本发明的一种基于条件生成对抗网络的端对端的人脸图像生成的系统实施流程。

实施例二：本发明的一种基于条件生成对抗网络的端对端的人脸图像生成的方法，如图1-图4所示，包含下列步骤：

(1)输入多张经过预处理的真实人脸图像至生成器，生成器对所输入的真实人脸图像进行编码、转码及解码处理，生成拟合真实图像分布的合成图像，将多张预处理后真实人脸图像与合成图像输入判别器，以获得真实人脸图像的真实概率及合成图像的真实概率，迭代更新生成器和判别器的参数直至其收敛以确定由生成器和判别器构建的模型；

(2)将待合成的侧面姿态人脸图像输入到所确定的模型中，通过一次前向传递得到生成的正面姿态人脸图像。

所述(1)中生成器对所输入的图像进行转码和解码时采用全卷积神经网络作为基本结构，生成器的编码部分为双编码器。

所述(1)包括：

(1-1)图像预处理：对人脸图像数据库中每一张待处理人脸图像，在图像的中间区域进行裁剪并进行缩放，使得数据库中每张图像都有一致的尺寸，长和宽分别是h,w通道数为c，裁剪并缩放后得到的图像作为数据预处理的结果，供后续步骤使用；

(1-2)划分图像段：将预处理后的数据中将每个对象的所有图像随机划分成由2*n张图像组成的图像段(batch)，如果所有图像的整数无法整除2*n，抛弃余数图像，将每个batch中的2*n张图像同一个人的左右侧面姿态人脸在通道维度上拼接，以得到数量为n的尺寸为(w,,2*c)的新的图像段；

(1-3)构建模型：根据生成器和判别器的结构及参数，采用深度学习框架构建生成式对抗网络模型；

(1-4)模型训练：模型训练的过程是通过不断调用自适应矩估计梯度下降算法，更新模型参数以最小化估计分布与真实分布之间的偏差造成的损失。根据目标函数，通过一次前向传递运算计算得到当前模型的损失。然后根据当前模型的损失计算模型中各参数的更新梯度，并通过一次后向传递运算进行参数更新，使得更新后模型拟合的数据分布趋近真实的数据分布。

所述(1-4)包括：

(1-4-1)生成器对输入的多图像矩阵进行编码、转码及解码，其中生成器的解码部分为双解码器(G₁,G₂)；G₁输出正面姿态人脸图像,G₂输出侧面姿态人脸图像的通道叠加矩阵，前者图像的尺寸(w,h,c)，与真实人脸图像尺寸一致，后者图像的尺寸(w,h,2*c)，与输入的图像矩阵大小一致；

(1-4-2)判别器将输入图像段中所有图像以及生成器输出的合成图像作为输入，输出每张图像为真实图像的概率；

(1-4-3)根据

确定目标函数计算当前模型的对抗约束损失，其中包括生成器的生成损失与判别器的判别损失。公式中V(G,D)为在生成器和判别器确定的情况下，整个模型的各项数学期望之和，G为生成器，G(x)为生成器的输出图像；D为判别器，logD(x)为输入图像x为真实图像的概率的对数形式，log(1-D(G(x)))为合成图像不为真实图像的概率的对数形式；x为符合真实图像数据分p_data的真实样本；记合成的正面姿态人脸图像为其中y_i为生成器的输入图像矩阵。

判别损失为：

生成损失为：

生成损失中，输入人脸图像矩阵中人脸图像减去生成器G₂生成的人脸图像矩阵，计算解码损失，生成器G₁生成的人脸图像与真实正面姿态人脸图像对应像素做差，计算对抗约束损失，上述两种损失构成生成损失的后两部分；

(1-4-4)根据计算得到的当前模型的判别损失和生成损失通过一次后向传递运算依次更新判别器与生成器中的模型参数，在一次模型参数更新过程结束后，重新从队列中取一图像段，重复所述(1-4-1)-(1-4-4)直至模型收敛，当输入队列被取空后，若模型还未收敛，则重新打乱队列元素的顺序，并从队列头开始获取数据输入模型继续以上所述(1-4-1)-(1-4-4)直至模型收敛。

所述(2)包括：

(2-1)用训练阶段的数据预处理方式处理侧面姿态的人脸图像，得到固定尺寸(w,h,c)的人脸图像，若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像；

(2-2)将2*m张人脸图像划分为m对，m为待合成人脸图像总数，每对图像均为同一人的侧面姿态人脸图像，将每对在通道维度连拼接，得到m个图像矩阵；

(2-3)将图像矩阵输入到训练所得的模型中，通过一次前向传递运算后，取生成器的输出作为正面姿态的人脸图像。

实施例三：在图5中，预处理模块(1)、生成器模块(2)、判别器模块(3)串联，数据经由预处理模块(1)流向生成器模块(2)，再流向判别器模块(3)。其中预处理模块(1)由两部分构成：剪裁模块(1-1)和缩放模块(1-2),二者串联数据由剪裁模块流向缩放模块；生成器模块(2)由三部分构成：解码模块(2-1)、编码模块(2-2)、生成模块(2-3)，其中编码模块(2-2)和生成模块(2-3)并联，同时接收由解码模块(2-1)给出的数据；判别模块(3)由两部分构成：卷积模块(3-1)和全连接模块(3-2)，数据由卷积模块(3-1)流向全连接模块(3-2)。

在图6的实施例中，训练阶段的生成器结构由三部分构成：解码器，编码器，生成器。其中解码器的卷积层的卷积核参数：卷积核大小为3x3，步长为1，边缘填充为1层的常数0填充，池化层参数为：池化核大小为2x2，池化步长为2。解码器接收两张像素大小为128x128的RGB图像作为输入，依次经由64个卷积核构成的卷积层、1个池化层、128个卷积核构成的卷积层、1个池化层、256个卷积核构成的卷积层、1个池化层和512个卷积核构成的卷积层得到8x8x512的特征图谱，将其变形为32768维的特征向量以作为编码器和生成器的输入；编码器和生成器的反卷积层的参数：卷积核大小为3x3，步长为2，边缘填充为1层的常数0填充。编码器接收32768维的特征向量作为输入，并将其变形为8x8x512的特征图谱，依次经由256个卷积核构成的反卷积层、128个卷积核构成的反卷积层、64个卷积核构成的反卷积层、6个卷积核构成的反卷积层得到128x128x6的两张图像的编码表示；生成器接收32768维的特征向量作为输入，并将其变形为8x8x512的特征图谱，依次经由256个卷积核构成的反卷积层、128个卷积核构成的反卷积层、64个卷积核构成的反卷积层、3个卷积核构成的反卷积层得到128x128的RGB图像的编码表示。

在图7的实施例中，训练阶段的判别器结构由两部分构成：卷积模块和全连接模块。其中卷积模块中卷积层的卷积核参数：卷积核大小为3x3，步长为1，边缘填充为1层的常数0填充，池化层参数为：池化核大小为2x2，池化步长为2。判别器接收像素大小为128x128的RGB图像或者由生成器生成的RGB图像的编码表示，依次经由64个卷积核构成的卷积层、1个池化层、128个卷积核构成的卷积层、1个池化层、256个卷积核构成的卷积层、1个池化层、512个卷积核构成的卷积层、1个池化层、512个卷积核构成的卷积层、隐藏单元为8192个的全连接层、隐藏单元为1024个的全连接层、隐藏单元为2个的全连接层得到输入的真假概率输出。

图8的实施例中，应用阶段的生成器结构由两部分构成：解码器，生成器。其中解码器的卷积层的卷积核参数：卷积核大小为3x3，步长为1，边缘填充为1层的常数0填充，池化层参数为：池化核大小为2x2，池化步长为2。解码器接收两张像素大小为128x128的RGB图像作为输入，依次经由64个卷积核构成的卷积层、1个池化层、128个卷积核构成的卷积层、1个池化层、256个卷积核构成的卷积层、1个池化层和512个卷积核构成的卷积层得到8x8x512的特征图谱，将其变形为32768维的特征向量以作为生成器的输入；生成器接收32768维的特征向量作为输入，并将其变形为8x8x512的特征图谱，依次经由256个卷积核构成的反卷积层、128个卷积核构成的反卷积层、64个卷积核构成的反卷积层、3个卷积核构成的反卷积层得到128x128的RGB图像的编码表示。

Claims (7)

1.一种基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于：采用基于条件生成对抗网络的端对端的人脸图像生成的系统来实现；

所述基于条件生成对抗网络的端对端的人脸图像生成的系统包括数据预处理、生成器、判别器，构成训练阶段系统和应用阶段系统，其特征在于所述的训练阶段系统由预处理模块(1)、生成器模块(2)、判别器模块(3)和损失模块(4)构成，正侧面人脸数据库中的数据经由预处理模块(1)侧面数据流向生成器模块(2),正面数据流向判别器模块(3),生成器模块(2)输出生成数据流向判别器模块(3)，判别器模块(3)输出判定输入数据为真实正面人脸的概率，将判别器模块(3)输出的真实正面人脸的概率、生成器模块(2)输出的生成数据和经预处理模块(1)处理过的正侧面数据输入损失模块(4)，模型未收敛则将生成器模块和判别器模块参数的梯度传递给生成器模块(2)和判别器模块(3)以更新模块参数，模型收敛则输出生成器模块(2)参数；所述的应用阶段系统由预处理模块(1)和生成器模块(2)构成，待合成的侧面人脸图像由预处理模块(1)流向生成器模块(2)，最终输出正面人脸图像；

所述基于条件生成对抗网络的端对端的人脸图像生成方法的具体步骤为：

a.输入多张经过预处理的真实人脸图像至生成器，生成器对所输入的真实人脸图像进行解码、转码及编码处理，生成拟合真实图像分布的合成图像；

b.将步骤a所得的真实图像分布的合成图像与原始输入的多张预处理后真实人脸图像输入到判别器，以获得真实人脸图像的真实概率及合成图像的真实概率，迭代更新生成器和判别器的参数直至其收敛以确定由生成器和判别器构建的模型；

c.将待合成的侧面姿态人脸图像输入到步骤b所得的模型中，通过一次前向传递得到生成的正面姿态人脸图像，包括：

所述待合成的侧面姿态人脸图像，当有左右两个侧面人脸图像时，可直接进行运算，若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像；

所述步骤a的具体步骤为：

a-1.对人脸图像数据库中每一张待处理人脸图像，在图像的中间区域进行裁剪并进行缩放，使得数据库中每张图像都有一致的尺寸，长和宽分别是h,w；通道数为c，长h取值为128，宽w取值为128，通道数为图像RGB三通道，故c取值为3；

a-2.将步骤a-1所得图像随机划分成由2*n张图像组成的图像段(batch)，此处n取值为128，如果所有图像的整数无法整除2*n，抛弃余数图像，将每个batch中的2*n张图像同一个人的左右侧面姿态人脸在通道维度上拼接，以得到数量为n的尺寸为(w,h,2*c)的新的图像段；

上述步骤b的具体步骤为：

b-1.根据生成器和判别器的结构及参数，采用深度学习框架构建生成式对抗网络模型；

b-2.通过不断调用自适应矩估计梯度下降算法，更新模型参数以最小化估计分布与真实分布之间的偏差造成的损失；根据目标函数，通过一次前向传递运算计算得到当前模型的损失；然后根据当前模型的损失计算模型中各参数的更新梯度，并通过一次后向传递运算进行参数更新，使得更新后模型拟合的数据分布趋近真实的数据分布；

所述步骤b-2的具体步骤为：

b-2-1.生成器对输入的多图像矩阵进行编码、转码及解码，其中生成器的解码部分为双解码器(G₁,G₂)；G₁输出正面姿态人脸图像,G₂输出侧面姿态人脸图像的通道叠加矩阵，前者图像的尺寸(w,h,c)，与真实人脸图像尺寸一致，后者图像的尺寸(w,h,2*c)，与输入的图像矩阵大小一致；

b-2-2.判别器将输入图像段中所有图像以及生成器输出的合成图像作为输入，输出每张图像为真实图像的概率；

b-2-3.根据

确定目标函数计算当前模型的对抗约束损失，其中包括生成器的生成损失与判别器的判别损失；公式中V(G,D)为在生成器和判别器确定的情况下，整个模型的各项数学期望之和，G为生成器，G(x)为生成器的输出图像；D为判别器，log D(x)为输入图像x为真实图像的概率的对数形式，log(1-D(G(x)))为合成图像不为真实图像的概率的对数形式；x为符合真实图像数据分布p_data的真实样本；记合成的正面姿态人脸图像为其中y_i为生成器的输入图像矩阵；

判别损失为：

生成损失为：

生成损失中，输入人脸图像矩阵中人脸图像减去生成器G₂生成的人脸图像矩阵，计算解码损失，生成器G₁生成的人脸图像与真实正面姿态人脸图像对应像素做差，计算对抗约束损失，上述两种损失构成生成损失的后两部分；

b-2-4.根据计算得到的当前模型的判别损失和生成损失通过一次后向传递运算依次更新判别器与生成器中的模型参数，在一次模型参数更新过程结束后，重新从队列中取一图像段，重复所述b-2-1至b-2-4直至模型收敛，当输入队列被取空后，若模型还未收敛，则重新打乱队列元素的顺序，并从队列头开始获取数据输入模型继续以上所述b-2-1至b-2-4直至模型收敛。

2.根据权利要求1所述的基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于所述的预处理模块(1)由剪裁模块(1-1)，缩放模块(1-2)两部分构成，正侧面人脸数据库给出的数据先由剪裁模块(1-1)进行中心剪裁，再由缩放模块(1-2)对数据大小进行缩放。

3.根据权利要求1所述的基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于所述的生成器模块(2)由解码模块(2-1)，编码模块(2-2)，生成模块(2-3)三部分构成，经预处理模块(1)处理过的数据中的侧面数据，先经由解码模块(2-1)进行解码，再分别流向编码模块(2-2)和生成模块(2-3)输出生成数据。

4.根据权利要求1所述的基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于所述的判别器模块(3)由卷积模块(3-1)，全连接模块(3-2)构成，经预处理模块(1)处理过的数据中的侧面数据和生成器模块(2)输出的生成数据依次流入卷积模块(3-1)和全连接模块(3-2)，输出判别器模块(3)的输入数据为真实正面人脸的概率。

5.根据权利要求1所述的基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于所述的损失模块(4)，接收生成器模块(2)输出的生成数据、判别器模块(3)输出的概率和经预处理模块(1)处理过的正侧面数据，模型未收敛则将生成器模块和判别器模块参数的梯度传递给生成器模块(2)和判别器模块(3)以更新模块参数，模型收敛则输出生成器模块(2)参数。

6.根据权利要求1所述的基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于所述的步骤a中生成器对所输入的图像进行转码和解码时采用全卷积神经网络作为基本结构。

7.根据权利要求1或6所述的基于条件生成对抗网络的端对端的人脸图像生成方法，其特征在于所述步骤c的具体步骤为：

c-1.用训练阶段的数据预处理方式处理侧面姿态的人脸图像，得到固定尺寸(w,h,c)的人脸图像，若只有单侧人脸图像，可将图像水平翻转，近似视为另一侧的人脸图像，以获得双侧人脸图像；

c-2.将2*m张人脸图像划分为m对,m为待合成人脸图像总数，每对图像均为同一人的侧面姿态人脸图像，将每对在通道维度连拼接，得到m个图像矩阵；

c-3.将图像矩阵输入到训练所得的模型中，通过一次前向传递运算后，取生成器的输出作为正面姿态的人脸图像。