CN107945118B - 一种基于生成式对抗网络的人脸图像修复方法 - Google Patents

Abstract

本发明公开了一种基于生成式对抗网络的人脸图像修复方法，该方法包括以下步骤：(1)搜集大量含有完整清晰人脸的图像，建立一个人脸图像数据库；(2)构建一种生成式对抗网络；(3)对生成式对抗网络进行训练，优化生成式对抗网络中生成器和鉴别器的参数；(4)将服从正态分布的随机向量输入到已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。本发明针对有遮挡或损坏的人脸图像的修复问题，采用具有深度学习结构的生成式对抗网络，有效地解决了图像处理中的图像修复问题。

Description

一种基于生成式对抗网络的人脸图像修复方法

技术领域

本发明属于图像处理技术领域，尤其涉及一种基于生成式对抗网络的人脸图像修复方法。

背景技术

随着电子照相设备的普及，数码照片已经进入人们生活的方方面面，图像处理也因此受到了广泛地关注。图像修复是图像处理中极其重要的部分。图像修复根据图像完好部分的信息，来填补有遮挡、破损或是多余的部分。可用于去除照片的遮挡，修复破损的文物图像，图像数据预处理等领域。

传统的图像修复技术往往需要缺陷部分的形状特定，并且纹理重复简单，这局限了图像修复的应用场景。随着计算机运算能力的提升和算法模型的成熟，深度学习技术在计算机视觉的诸多领域取得了丰硕的成果。蒙特利尔大学的学者Ian Goodfellow于2014年提出“生成式对抗网络”的概念，极大地促进了生成模型的发展，各种演进的模型在近两年应运而生。

生成式对抗网络基本思想源自博弈论，由一个生成器和一个鉴别器构成，通过对抗学习的方式来训练。生成模型捕捉样本数据的分布，判别模型是一个二分类器，判别输入的是真实数据还是生成的样本。通过对大量同类数据的学习，拟合出数据的概率分布，并生成同类型的数据，这与图像修复的目标相契合。

发明内容

本发明针对现有技术的不足提供一种基于生成式对抗网络的人脸图像修复方法，其目的在于克服传统图像修复技术要求待修复部分的形状特定、纹理重复简单的缺点，引入先进的生成式对抗网络概念，实现人脸图像的修复。

本发明采用的技术方案是：

一种基于生成式对抗网络的人脸图像修复方法，包括下列步骤：

步骤A.搜集含有人脸的图像，截取每张图像中的人脸部分，并进行尺度归一化生成k×k像素的人脸图像，从而建立一个人脸图像数据库，其中k取正整数；

步骤B.构建一种生成式对抗网络；

步骤C.以人脸图像数据库中的人脸图像作为训练样本，对生成式对抗网络进行训练，以优化生成式对抗网络中生成器和鉴别器的参数；

步骤D.将服从正态分布的随机向量输入到步骤C中已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。

作为本发明一种基于生成式对抗网络的人脸图像修复方法的进一步优选方案，在步骤A中，使用基于深层神经网络的OpenFace人脸检测方法，截取每张图像中的人脸部分。

作为本发明一种基于生成式对抗网络的人脸图像修复方法的进一步优选方案，在步骤B中，构建的生成式对抗网络包括1个生成器G和1个鉴别器D，生成器的输出与鉴别器的输入相连，鉴别器的判别结果再反馈至生成器；

作为本发明一种基于生成式对抗网络的人脸图像修复方法的进一步优选方案，生成器G由4个微步幅卷积层级联构成：第1个微步幅卷积层采用G₁个t×t的卷积核进行微步幅卷积操作，其中t取正整数，G₁取正整数；第2个微步幅卷积层采用G₂个t×t的卷积核进行微步幅卷积操作，其中G₂取正整数；第3个微步幅卷积层采用G₃个t×t的卷积核进行微步幅卷积操作，其中G₃取正整数；第4个微步幅卷积层采用3个t×t的卷积核进行微步幅卷积操作；每一层的卷积步长均为d，取正整数。

作为本发明一种基于生成式对抗网络的人脸图像修复方法的进一步优选方案，鉴别器D由4个卷积层级联构成,第1个卷积层采用D₁个t×t的卷积核进行卷积操作，其中D₁取正整数；第2个卷积层采用D₂个t×t的卷积核进行卷积操作，其中D₂取正整数；第3个卷积层采用D₃个t×t的卷积核进行卷积操作，其中D₃取正整数；第4个卷积层采用D₄个t×t的卷积核进行卷积操作，其中D₄取正整数；每一层的卷积步长均为d。

作为本发明一种基于生成式对抗网络的人脸图像修复方法的进一步优选方案，步骤C中，对生成式对抗网络进行训练的具体过程包括以下步骤：

步骤C1，先固定生成器G,进而优化鉴别器D，具体过程如下：

步骤C1-1，将服从正态分布的m个l维随机向量z_i，其中i＝1,2,3,…,m，输入到一个有

个神经元的神经网络S，每个随机向量映射为G₁个

的特征图；

步骤C1-2，通过生成器G输出m幅k×k像素的生成图像G(z_i)，其中i＝1,2,3,…,m，并分别贴上标签0；

步骤C1-3，从人脸图像数据库里选取m幅真实图像x_i，其中i＝1,2,3,…,m，并分别贴上标签1，把这些带标签的图像输入到鉴别器D中，采用梯度上升法调节鉴别器D的参数，使目标函数V(G,D)最大化，进而求解得到鉴别器参数，即：

式中x_i为真实人脸图像数据；z_i为输入随机向量；D(·)为鉴别函数，代表输入数据源于真实数据而非生成数据的概率，图像越真实，D(·)越接近于1；G(·)为生成函数，G(z_i)为生成图像；

步骤C2，固定鉴别器D，优化生成器G，使得生成的伪数据G(z)在D上的表现D(G(z))和真实数据x在D上的表现D(x)一致，从而无法正确判别数据来源，即：将优化的鉴别器参数带入目标函数V(G,D)，采用梯度下降法调节生成器G的参数使目标函数V(G,D)最小化，求解得到优化的生成器参数，即：

由于(2)式中的第一项与生成器无关，因此(3)式等价于

步骤C3，重复步骤C1和步骤C2，反复交替训练鉴别器和生成器，不断提升D和G的性能，从而得到最终的生成式对抗网络参数。

作为本发明一种基于生成式对抗网络的人脸图像修复方法的进一步优选方案，步骤D中，具体过程包括以下步骤：

步骤D1，将服从正态分布的随机向量z经过神经网络S输入到已训练好的生成器，生成人脸图像G(z)；

步骤D2，将待修复的人脸图像进行尺寸缩放，得到与生成图像G(z)相同尺寸的图像y；

步骤D3，将图像y中待修复区域标定为P，将P区域的像素值置0，其余完好无损区域的像素值不变，得到y'；将生成图像G(z)中与P区域对应的区域标定为Q，将Q区域的像素值置0，其余区域的像素值不变，得到G'(z)；定义损失函数为：

L(z)＝[y'-G'(z)]²+λlog[1-D(G(z))]

其中λ为权重系数；不断调整输入随机向量z，使得损失函数最小，即：

最终用生成人脸图像G(z^*)中Q区域的像素值来替换待修复的人脸图像中P区域的像素值。

本发明采用以上技术方案与现有技术相比，具有以下技术效果：

1.本发明通过引入生成式对抗网络的方法，能较好地模拟人脸图像的真实分布，有效地修复破损或被遮挡的人脸图像，为图像修复提供了一种新的方法和途径；

2.采用竞争学习的思想，通过生成式对抗网络的架构，能够使得生成的人脸图像真实、多变；

3.通过对输入向量的约束，可以使生成图像更好地适应待修复图像，令最终修复后的图像看上去更自然。

附图说明

图1是本发明基于生成式对抗网络的人脸图像修复方法的流程图；

图2是本发明生成器的结构图；

图3是本发明鉴别器的结构图。

具体实施方式

下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。

如图1所示，本发明设计了一种基于生成式对抗网络的人脸图像修复方法，实际应用中，具体包括如下步骤：

步骤A.通过已有数据库或是从网络上搜集大量含有完整清晰人脸的图像，用于训练生成式对抗网络。OpenFace是一种基于深层神经网络的人脸检测方法，使用该方法截取每张图像中的人脸部分，尺度归一化为64×64像素的图像，并以数字依次命名，保存在同一个文件夹中，从而构建一个包含6400张图像的人脸图像数据库。

步骤B.构建生成式对抗网络模型，包括一个生成器G和一个鉴别器D。如图2所示，生成器由4个微步幅卷积层级联构成，第1个微步幅卷积层采用512个5×5的卷积核进行微步幅卷积操作，第2个微步幅卷积层采用256个5×5的卷积核进行微步幅卷积操作，第3个微步幅卷积层采用128个5×5的卷积核进行微步幅卷积操作，第4个微步幅卷积层采用3个5×5的卷积核进行微步幅卷积操作，各层卷积步长均为2；如图3所示，鉴别器是由4个卷积层级联构成的全卷积神经网络，第1个卷积层采用64个5×5的卷积核进行卷积操作，第2个卷积层采用128个5×5的卷积核进行卷积操作，第3个卷积层采用256个5×5的卷积核进行卷积操作，第4个卷积层采用512个5×5的卷积核进行卷积操作，各层卷积步长均为2，D是一个二分类器，用于区分真实图像和生成图像，当图像较为真实时，鉴别器会输出接近1的值。生成器的输出与鉴别器的输入相连，鉴别器的判别结果再反馈至生成器。

步骤C.对生成式对抗网络进行训练采用小批量的方法，将人脸图像数据库的图像分为100个小批量，每个小批量中包含64张图像，每个小批量的训练过程包括以下步骤：

步骤C1.先固定生成器G，优化鉴别器D，使得D的判别准确率最大化,即：将服从正态分布的64个100维随机向量z_i(i＝1,2,3,…,64)输入到一个有16384个神经元的神经网络S，每个随机向量映射为1024个4×4的特征图，再通过生成器G输出64幅64×64像素的生成图像G(z_i)(i＝1,2,3,…,64)，并分别贴上标签0。从人脸图像数据库里选取64幅真实图像x_i(i＝1,2,3,…,64)并分别贴上标签1，把这些带标签的图像输入到鉴别器D中，采用梯度上升法调节鉴别器D的参数，使目标函数V(G,D)最大化，求解得到鉴别器参数，即：

式中x_i为真实人脸图像数据；z_i为输入随机向量；D(·)为鉴别函数，代表输入数据源于真实数据而非生成数据的概率，图像越真实，D(·)越接近于1；G(·)为生成函数，G(z_i)为生成图像；

步骤C2.固定鉴别器D,优化生成器G,使得生成的伪数据G(z)在D上的表现D(G(z))和真实数据x在D上的表现D(x)一致,从而无法正确判别数据来源，即：将优化的鉴别器参数带入目标函数V(G,D)，采用梯度下降法调节生成器G的参数使目标函数V(G,D)最小化，求解得到优化的生成器参数，即：

由于(2)式中的第一项与生成器无关，因此(3)式等价于

步骤C3.重复步骤C1和步骤C2，反复交替训练鉴别器和生成器，使得D和G的性能不断提升，当最终D的判别能力提升到一定程度，并且无法正确判别数据来源时，可以认为这个生成器G已经学到了真实数据的分布，从而得到最终的生成式对抗网络参数。

步骤D.将服从正态分布的随机向量z经过神经网络S输入到已训练好的生成器，生成人脸图像G(z)。将待修复的人脸图像进行尺寸缩放，得到与生成图像G(z)相同尺寸(64×64像素)的图像y。将图像y中待修复区域标定为P，将P区域的像素值置0，其余完好无损区域的像素值不变，得到y'；将生成图像G(z)中与P对应的区域标定为Q，将Q区域的像素值置0，其余区域的像素值不变，得到G'(z)；定义损失函数为：

L(z)＝[y'-G'(z)]²+λlog[1-D(G(z))]

其中λ为权重系数；不断调整输入向量z，使得损失函数最小，即：

最终用生成人脸图像G(z^*)的中Q区域的像素值来替换待修复的人脸图像中P区域的像素值。

Claims (7)

1.一种基于生成式对抗网络的人脸图像修复方法，其特征在于，具体包括以下步骤：

步骤A.搜集大量含有完整清晰人脸的图像，截取每张图像中的人脸部分，并进行尺度归一化处理，生成k×k像素的人脸图像，从而建立一个人脸图像数据库，其中k取正整数；

步骤B.构建一种生成式对抗网络；

步骤C.以人脸图像数据库中的人脸图像作为训练样本，对生成式对抗网络进行训练，以优化生成式对抗网络中生成器和鉴别器的参数；

步骤D.将服从正态分布的随机向量输入到步骤C中已训练好的生成器，生成人脸图像，将待修复人脸图像的完好无损区域与生成图像的相应区域进行对比，不断调整输入向量，直至两者相似，最终将待修复的人脸图像中被遮挡或损坏区域的像素值用生成人脸图像的对应区域的像素值来替换。

2.根据权利要求1所述的一种基于生成式对抗网络的人脸图像修复方法，其特征在于，在步骤A中，使用基于深层神经网络的OpenFace人脸检测方法截取每张图像中的人脸部分。

3.根据权利要求1所述的一种基于生成式对抗网络的人脸图像修复方法，其特征在于，在步骤B中，构建的生成式对抗网络包括1个生成器G和1个鉴别器D，生成器的输出与鉴别器的输入相连，鉴别器的判别结果再反馈至生成器。

4.根据权利要求3所述的一种基于生成式对抗网络的人脸图像修复方法，其特征在于，生成器G由4个微步幅卷积层级联构成：第1个微步幅卷积层采用G₁个t×t的卷积核进行微步幅卷积操作，其中t取正整数，G₁取正整数；第2个微步幅卷积层采用G₂个t×t的卷积核进行微步幅卷积操作，其中G₂取正整数；第3个微步幅卷积层采用G₃个t×t的卷积核进行微步幅卷积操作，其中G₃取正整数；第4个微步幅卷积层采用3个t×t的卷积核进行微步幅卷积操作；每一层的卷积步长均为d，d取正整数。

5.根据权利要求3所述的一种基于生成式对抗网络的人脸图像修复方法，其特征在于，鉴别器D由4个卷积层级联构成：第1个卷积层采用D₁个t×t的卷积核进行卷积操作，其中D₁取正整数；第2个卷积层采用D₂个t×t的卷积核进行卷积操作，其中D₂取正整数；第3个卷积层采用D₃个t×t的卷积核进行卷积操作，其中D₃取正整数；第4个卷积层采用D₄个t×t的卷积核进行卷积操作，其中D₄取正整数；每一层的卷积步长均为d。

6.根据权利要求4所述的基于生成式对抗网络的人脸图像修复方法，其特征在于，在步骤C中，对生成式对抗网络进行训练的具体过程包括以下步骤：

步骤C1，固定生成器G，进而优化鉴别器D，具体过程如下：

步骤C1-1，将服从正态分布的m个l维随机向量z_i，其中i＝1,2,3,…,m，m和l取正整数，输入到一个有

个神经元的神经网络S，每个随机向量映射为G₁个

的特征图；

步骤C1-2，通过生成器G输出m幅k×k像素的生成图像G(z_i)，其中i＝1,2,3,…,m，并分别贴上标签0；

步骤C1-3，从人脸图像数据库里选取m幅真实图像x_i，其中i＝1,2,3,…,m，并分别贴上标签1，把这些带标签的图像输入到鉴别器D中，采用梯度上升法调节鉴别器D的参数，使目标函数V(G,D)最大化，进而求解得到鉴别器参数，即：

arg max_D V(G,D) (1)

式中x_i为真实人脸图像数据；z_i为输入随机向量；D(·)为鉴别函数，代表输入数据源于真实数据而非生成数据的概率，图像越真实，D(·)越接近于1；G(·)为生成函数，G(z_i)为生成图像；

步骤C2，将步骤C1优化的鉴别器参数带入目标函数V(G,D)，采用梯度下降法调节生成器G的参数使目标函数V(G,D)最小化，求解得到优化的生成器参数，即：

arg min_G V(G,D) (3)

由于(2)式中的第一项与生成器无关，则(3)式等价于

步骤C3，重复步骤C1和步骤C2，反复交替训练鉴别器和生成器，不断提升鉴别器D和生成器G的性能，从而得到最终的生成式对抗网络参数。

7.根据权利要求1所述的基于生成式对抗网络的人脸图像修复方法，其特征在于，步骤D中，具体过程包括以下步骤：

步骤D1，将服从正态分布的随机向量z经过神经网络S输入到已训练好的生成器，生成人脸图像G(z)；

步骤D2，将待修复的人脸图像进行尺寸缩放，得到与生成图像G(z)相同尺寸的图像y；

步骤D3，将图像y中待修复区域标定为P，将P区域的像素值置0，其余完好无损区域的像素值不变，得到y′；将生成图像G(z)中与P区域对应的区域标定为Q，将Q区域的像素值置0，其余区域的像素值不变，得到G′(z)；定义损失函数为：

L(z)＝[y′-G′(z)]²+λlog[1-D(G(z))]

其中λ为权重系数；不断调整输入向量z，使得损失函数最小，即：

其中λ为权重系数；最终用生成人脸图像G(z^*)中Q区域的像素值来替换待修复的人脸图像中P区域的像素值。

Images