CN112541866B - 一种基于进化式生成对抗网络的人脸图像修复模型 - Google Patents

Abstract

一种基于进化式生成对抗网络的人脸图像修复模型，分为两部分：第一部分具有匹配器的生成式对抗网络，用于对输入的人脸图像进行修复。以待修复的人脸图像与对应的掩码图像作为生成器的输入，生成器修复后的图像作为判别器与匹配器的输入，首先由判别器判别整张图像后，再由匹配器修复局部图像，实现整张图像的高清修复。第二部分神经进化，用于进化形成性能优异的生成器模型。判别器将判别结果反向传播至生成器，判别结果作为选择Heuristic变异或Minimax变异更新生成器参数的依据，当生成器每变异迭代更新T次，执行交叉操作以生成新的子代生成器个体，直至产生具有最优的图像修复性能的生成器个体。实现生成器性能的进化，实现真实合理的人脸图像修复效果。

Description

一种基于进化式生成对抗网络的人脸图像修复模型

技术领域

本发明涉及异常检测领域，特别涉及到一种基于进化式生成对抗网络的人脸图像修复模型。

背景技术

图像修复是机器视觉中的一类重要任务，该类任务旨在填充受损图像中的缺失像素，在图像处理方面存在广泛的应用。图像修复的一般过程在于根据已知图像内容修复未知图像区域，早期常用的图像修复方法是基于图像纹理的补充方法，它默认缺失部分的图像纹理存在于未缺失的背景中，通过边缘传播或将背景中可能的纹理作为补丁填充缺失部分，但是这种方法无法考虑整个图像的语义与全局结构去生成新的图像内容，因此仅适用于具有规律纹理的图像或背景中存在缺失部分纹理的图像，例如风景图像等，而无法适用于人脸图像等需要考虑图像语义的图像。

近几年，深度学习成为高效精准解决各种机器视觉任务的首选方法，它通过构建一个深层次的人工神经网络对大量学习数据的特征及规律进行逐层的发掘和表示。因此，研究学者开始探索深度学习方法对图像修复的意义，并证明了基于深度学习的图像修复方法在修复相似图像纹理的同时，从语义层面上实现了对图像的修复并有创造新的图像内容的可能性。

在深度学习模型中，CNN被广泛认为具有从图像获取高级抽象特征的能力，在图像修复任务中，CNN的结构通常以自动编码器的形式组织，通过上下采样提取与重构受损图像，但是这类基于CNN的图像修复方法，在修复边界容易产生伪影或扭曲结构，并且，在纹理修复方面可能会产生不一致的模糊纹理，导致这些问题的原因可能是CNN对图像中的长距离图像内容的相关性不敏感导致的。在生成式对抗网络中，通过判别器从全局判别修复图像，在一定程度上可以解决CNN对长距离图像内容不敏感的问题。同时，与CNN相比，通过GAN生成的修复图像更加清晰，因此可应用于高清图像修复，但是GAN在训练的过程中存在梯度消失或模型坍塌的问题，就会导致模型无法收敛。

发明内容

相对于传统的人脸图像修复技术，本发明要解决的技术问题是提供一种生物进化式的网络训练策略和基于进化式生成对抗网络的人脸图像修复模型，利用GAN网络作为整个方法主体框架，通过匹配器协助判别器对修复后的图像评判，最终可生成清晰合理的修复图像。

本发明是通过下述技术方案实现的：

一种基于进化式生成对抗网络的人脸图像修复模型，分为两个部分：

第一部分是具有匹配器的生成式对抗网络，该部分主要用于对输入的人脸图像进行修复。以待修复的人脸图像与对应的掩码图像作为生成器的输入，生成器修复后的图像作为判别器与匹配器的输入，首先由判别器判别整张图像后，再由匹配器修复局部图像，实现整张图像的高清修复。

第二部分是神经进化，该部分主要用于进化形成性能优异的生成器模型。判别器将判别结果反向传播至生成器，判别结果作为选择Heuristic变异或Minimax变异更新生成器参数的依据，当生成器每变异迭代更新T次，执行交叉操作以生成新的子代生成器个体，直至产生具有最优的图像修复性能的生成器个体。

算法原理为：利用添加匹配器的GAN模型来修复残缺的人脸图像，再通过变异、交叉的神经进化过程优化生成器模型，实现生成器性能的进化，进而实现真实合理的人脸图像修复效果。

附图说明

图1是EG-GAN结构及算法过程图。

图2是消融实验结果

图3是不同代数下的修复图像

图4是不同大小的mask下的修复图像结果

图5是模型泛化能力实验结果

图6消融实验的PSNR与SSMI对比

图7各模型PSNR与SSMI对比

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对根据本发明实施的一种应用于信用卡欺诈检测方法进一步详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不用于限定本发明，即本发明的保护范围不限于下述的实施例，相反，根据本发明的发明构思，本领域普通技术人员可以进行适当改变，这些改变可以落入权利要求书所限定的发明范围之内。

本发明在神经进化与人脸图像修复应用上进行探究，并且提出有效的基于进化式生产对抗网络的人脸图像修复模型用于人脸图像修复。结合了匹配器以辅佐GAN网络中原有的匹配器，实现对修复局部图像的有效判断，并通过神经进化对这个网络模型进行进化训练，探究了性能优异生成器之间的共性特点，进而得到一个在整个进化过程中人脸图像修复性能最佳的网络模型。如图1所示，设计EG-GAN模型及神经进化训练过程该EG-GAN模型包括生成器、判别器和匹配器，EG-GAN模块是以待修复图像与掩码图像作为生成器的输入，生成器修复后的图像作为判别器与匹配器的输入，首先由判别器判别整张图像后，再由匹配器匹配修复局部图像。

其中，较细箭头引导的循环表示变异更新生成器权重的过程；通过判别器的返回值选择不同的变异函数更新生成器参数；

其中，较粗箭头引导的循环表示交叉产生新的子代生成器的过程，选择一对性能优异的父代生成器交换它们的编码器部分的网络参数，进而生成子代生成器。

具体算法如下：

步骤1、生成器输入。

给定一个人脸图像数据集，随机生成掩码形成受损的人脸图像作为模型的训练数据。将受损的人脸图像与掩码图像(由白色像素填充遮挡区域形成)输入生成器。生成器采用Encoder-Decoder的形式结构。掩码图像作用在于为网络输入遮挡区域的位置、形状的作用，在训练期间，由随机形状遮挡的人脸图像和对应的掩码图像作为训练输入对。

步骤1中，我们模型的生成器采用Encoder-Decoder的形式结构，直接对缺失部分的图像进行修复。为了避免图像的重要特征在编码解码过程中过度丢失，在Encoder-Decoder的结构基础上，增加了镜像填充，帮助Decoder更真实地与输入图像映射

步骤2、匹配器输入。

将生成器修复的局部图像输入匹配器，匹配器用于点判别生成的修复部分的真实性与相关性，输出图像为D_m(G(x))。

步骤2中，匹配器将生成的图像分成大小为n*n的patch，n的大小具体由修复部分的大小决定，然后一一判别每个patch的真伪，因此会得到一个n*n的矩阵，其中每个元素都为1或0，将矩阵中的元素求平均值即可得到最终的图像Dm(G(x))。除了修复部分图像的真实性外，匹配器还会对修复部分图像的内容相关性进行判别，它通过点乘计算生成的修复图像与原图像对应位置像素值的差作为匹配器的损失，同时作为判别器的惩罚项。如公式(1),其中m为掩码图像，I表示原始图像，⊙为点乘，G(x)为生成器修复后的图像，D_m(G(x))为输出图像，P_g为生成器生成的样本分布。

步骤3、判别器输入。

将步骤2生成器生成的完整的人脸图像输入判别器。从图像全局出发评估生成修复图形真实性与合理性，并以判别器的输出作为惩罚项，输出值为D_d(G(x))。

步骤3中，进一步包括下列子步骤：

a)判别器从图像全局出发判断修复图像的真伪，保证修复边界像素的连续性。判别器以生成器生成的完整的人脸图像作为输入，输出值为D_d(G(x))，并以匹配器的输出作为惩罚项，克服了传统GAN在进行截断时导致模型梯度消失或梯度爆炸的问题。

b)修复图像经过判别器与匹配器的鉴定后，得到的两个输出值通过加权求和得到最终的输出D(G(x))，如公式(2)，因为修复部分图像的真实性对整张图像质量的影响更为重要，所以通过加权强化匹配器判别的结果，其中设置σ＝0.35、γ＝0.65。

D(G(x))＝σD_d(G(x))+γD_m(G(x)-I) (2)

c)根据匹配器提供的惩罚项，判别器的损失函数如公式(3)。其中，ω为1-Lipschitz函数,指满足‖‖f(x₁)-f(x₂)‖≤‖x₁-x₂‖的函数,所以D是1-Lipschitz函数的集合。P_data为真实图像的数据分布；m为掩码图像，I表示原始图像，⊙为点乘，G(x)为生成器修复后的图像，D_m(G(x))为输出图像，P_g为生成器生成的样本分布。

步骤4、以神经进化训练EG-GAN模型。

通过神经进化更新生成器参数或生成新的生成器子代。通过神经进化的方式稳定地训练整个网络，将生成器视为种群中的“个体”，判别器与匹配器视为可以选择评价个体的“环境”，整个过程包括四个部分：变异、评估、选择、交叉。

步骤4中，进一步包括下列子步骤：

a)变异：变异本质是两个不同的目标函数，分别为Heuristic变异与Minimax变异，旨在判别器与匹配器对生成图像每一次评估后对生成器的网络权重进行更新。如(4)、(5)公式，其中P_g为生成图像的数据分布，G(x)表示生成器对图像x修复后的图像，D(G(x))表示生成图像经判别器与匹配器判别后的输出。本模型根据判别器输出的D(G(x))决定使用Minimax变异还是Heuristic变异作为生成器的目标函数进行权重更新：当D(G(x))的值大于0.5时，选择Minimax变异；当D(G(x))的值小于等于0.5时，则选择Heuristic变异，即可在全局为生成器网络的提供有效梯度，并指引模型向纳什平衡的趋势训练，稳定训练过程。

b)评估：在步骤5训练EG-GAN模型的过程中，利用最小化绝对误差(又称l1loss)反映生成样本与真实样本之间的差异，并作为评估生成器表现的标准。如公式(6),其中xⁱ表示从真实数据分布中采样出的样本，G(xⁱ)则表示从生成数据分布中采样出的样本,n为样本个数。

c)选择：选择l1loss值最小的两个生成器个体作为一对父代，淘汰其余个体。根据群体规模可以选择保留一对以上的父代。

d)交叉：交叉操作通过交换一对精英父代生成器Encoder部分的参数来产生新的子代生成器。为了避免频繁交叉操作造成生成器的性能震荡，生成器每变异迭代更新T次，才会执行一次交叉操作。引入交叉操作的目的在于发掘优秀生成器模型之间的共性，产生优秀模型的结合个体，并在一定程度上避免性能优异的生成器个体在参数更新的过程中消失，保证优异个体在种群中的延续。

步骤5、循环进化训练。

重复以上的步骤1-5，最终得到可实现对人脸图像清晰合理修复的生成器子代个体。

以上，本发明通过进化的方式训练生成器，结合两种不同的变异函数：Heuristic变异与Minimax变异，作为生成器的目标函数进行网络权重更新，避免了梯度消失与模型坍塌的问题。另外，在变异的基础上增加了交叉操作发掘优秀生成器模型之间的共性，使性能优异的生成器个体不会在变异的过程中丢失。同时提出了匹配器协助判别器对修复图像进行判别，匹配器可以学习获取图像中各个组件的关联性，并集中判别修复部分图像的上下文相关性与质量，避免判别器单纯从全局图像质量出发，给相关性差或相关性错误的图像高值反馈，进而误导生成器。

实施例

如图1的结构框图所示，根据本发明具体实施例包括如下步骤：

1)训练数据库预处理：

将人脸数据集CelebA中的图像通过超分辨GAN生成对应的高清人脸图像，构成高清人脸数据集CelebA-HQ。其中，人脸图像像素大小为256*256，训练集包含24102张图像，测试集包含2942张图像，并将整个模型部署在Tensor flow 1.3，CUDNN 6.0，CUDA 8.0的环境下，通过两块GTX 1080 Ti GPU同时运行，完成了代生成器的进化。

2)模型网络结构：

EG-GAN的生成器采用AutoEncoder模式，可直接对缺失部分的图像进行修复，在此基础上增加了镜像填充，将Encoder过程中提取出的特征与Decoder还原的特征在通道维度上进行拼接，帮助Decoder更真实地与输入图像映射。匹配器采用PatchGAN中的判别器，PatchGAN将生成的图像分成数个大小为n*n的patch，由于匹配器每次只对图像中的一小部分进行计算，因此它的网络结构更小、参数更少、运行速度更快。判别器使用WGAN-GP中判别器的网络结构，与传统GAN相比，避免了生成数据与实际数据分布之间在无重叠情况下导致无法训练的问题。同时在目标函数中加入了梯度惩罚项，克服了WGAN进行截断时导致模型梯度消失或梯度爆炸的问题。

3)模型训练方法：

EG-GAN通过神经进化的方式稳定地训练整个网络，将生成器视为种群中的“个体”。结合Heuristic变异与Minimax变异，当D(G(x))的值大于0.5时，选择Minimax变异；当D(G(x))的值小于等于0.5时，则选择Heuristic变异。为了避免频繁交叉操作造成生成器的性能震荡，生成器每变异迭代更新T次，才会执行一次交叉操作。当满足变异迭代次数T时，选择l1 loss值最小的两个生成器个体作为一对父代，淘汰其余个体，再通过交叉操作交换一对精英父代生成器Encoder部分的参数来产生新的子代生成器，直至满足终止条件。

4)模型测试方法：

为了证明引入进化与匹配器的有效性，通过控制变量分成四组对人脸图像进行消融实验，分别为M1、M2、M3、M4。对于M1，引入ld到判别器，仅引入heuristic变异函数到生成器；对于M2，则在M1的基础上增加了minimax变异函数到生成器，通过两个变异函数的互补作用优化生成器；对于M3，则在M2的基础上增加了匹配器的损失函数lm作为惩罚项进一步优化判别器；对于M4，在M3的基础上增加了进化循环优化生成器的过程，即提出的方法EG-GAN。实验证明具有进化选择机制的EG-GAN可使生成器生成更加清晰合理的修复结果。

EG-GAN在训练的过程中，第10代至第60代对应生成器修复得到的图像显示：在第20代之前，生成器生成的图像存在明显的面部扭曲不自然与色彩的不匹配的问题；在第20代至50代之间，生成器已经可以生成较自然的修复图像，但是在图像缺失部分的边缘存在较明显的色差；经过不断的演化选择，第60代的生成器修复的图像在缺失部分边缘实现颜色的自然过渡与较高的图像还原度。

输入8个大小不同的正方形mask作为输入，8个mask的编号为1-8。实验结果显示：尽管在mask逐渐增大时，SSIM和PSNR都会有一定程度的减小，但是SSIM相比PSNR变化幅度更小，因为SSIM偏向从图像结构层面表示修复后的图像与原始图像的不同，而PSNR则从像素层面进行比较，说明即使EG-GAN对大面积遮挡的Mask不能在像素层面实现较高的还原，但是能够在较高程度上实现结构上的还原。对于没有遮挡到眼睛或只遮挡到一只眼睛的Mask1-Mask6，EG-GAN可以根据人脸的对称性较高地还原出原图；而对于Mask7和Mask8，则需要模型具有一定的创造能力，很明显EG-GAN具备这样的能力。

将EG-GAN模型与其他几个传统的修复模型(CE、SIIGAN、E-CAE)在同一张图像上进行修复，并对比图像结果，如图所示。如表所示为各个模型在一半缺失的图像上测试得到的PSNR与SSMI指标值。

为了测试模型的泛化能力，判断模型是否对CelebA_HQ训练集中的数据过拟合，将EG-GAN在PubFig人脸图数据集和StyleGAN生成的非真实人脸数据集上选取了一些图像对模型进行测试。因为不同数据集的图像具有不同的规格，在进行测试时需要通过PS将图像大小修剪为256*256，截除大部分的背景，同时统一遮挡人脸的鼻子和嘴的部分。图像修复结果显示EG-GAN具有较高的修复能力，并可修复训练数据集中少有的亚洲人脸图像和根本没有的小孩人脸图像，以进一步体现模型的泛化能力。

Claims (1)

1.一种基于进化式生成对抗网络的人脸图像修复模型，特征是，分为两个部分：

第一部分是具有匹配器的生成式对抗网络，该部分用于对输入的人脸图像进行修复；以待修复的人脸图像与对应的掩码图像作为生成器的输入，生成器修复后的图像作为判别器与匹配器的输入，首先由判别器判别整张图像后，再由匹配器修复局部图像，实现整张图像的高清修复；

第二部分是神经进化，该部分用于进化形成性能优异的生成器模型；判别器将判别结果反向传播至生成器，判别结果作为选择Heuristic变异或Minimax变异更新生成器参数的依据，当生成器每变异迭代更新T次，执行交叉操作以生成新的子代生成器个体，直至产生具有最优的图像修复性能的生成器个体；

具体算法如下：

步骤1、生成器输入；

给定一个人脸图像数据集，随机生成掩码形成受损的人脸图像作为模型的训练数据；将受损的人脸图像与掩码图像输入生成器；生成器采用Encoder-Decoder的形式结构；掩码图像作用在于为网络输入遮挡区域的位置、形状的作用，在训练期间，由随机形状遮挡的人脸图像和对应的掩码图像作为训练输入对；

步骤1中，模型的生成器采用Encoder-Decoder的形式结构，直接对缺失部分的图像进行修复；在Encoder-Decoder的结构基础上，增加了镜像填充，帮助Decoder更真实地与输入图像映射

步骤2、匹配器输入；

将生成器修复的局部图像输入匹配器，匹配器用于点判别生成的修复部分的真实性与相关性，输出图像为D_m(G(x))；

步骤2中，匹配器将生成的图像分成大小为n*n的patch，n的大小具体由修复部分的大小决定，然后一一判别每个patch的真伪，因此会得到一个n*n的矩阵，其中每个元素都为1或0，将矩阵中的元素求平均值即可得到最终的图像Dm(G(x))；匹配器还会对修复部分图像的内容相关性进行判别，它通过点乘计算生成的修复图像与原图像对应位置像素值的差作为匹配器的损失，同时作为判别器的惩罚项；如公式(1),其中m为掩码图像，I表示原始图像，⊙为点乘，G(x)为生成器修复后的图像，D_m(G(x))为输出图像，P_g为生成器生成的样本分布；

步骤3、判别器输入；

将步骤2生成器生成的完整的人脸图像输入判别器；从图像全局出发评估生成修复图形真实性与合理性，并以判别器的输出作为惩罚项，输出值为D_d(G(x))；

步骤3中，进一步包括下列子步骤：

a)判别器从图像全局出发判断修复图像的真伪，保证修复边界像素的连续性；判别器以生成器生成的完整的人脸图像作为输入，输出值为D_d(G(x))，并以匹配器的输出作为惩罚项，克服了传统GAN在进行截断时导致模型梯度消失或梯度爆炸的问题；

b)修复图像经过判别器与匹配器的鉴定后，得到的两个输出值通过加权求和得到最终的输出D(G(x))，如公式(2)，因为修复部分图像的真实性对整张图像质量的影响更为重要，所以通过加权强化匹配器判别的结果，其中设置σ＝0.35、γ＝0.65；

D(G(x))＝σD_d(G(x))+γD_m(G(x)-I) (2)

c)根据匹配器提供的惩罚项，判别器的损失函数如公式(3)；其中，ω为1-Lipschitz函数,指满足||||f(x₁)-f(x₂)||≤||x₁-x₂||的函数,所以D是1-Lipschitz函数的集合；P_data为真实图像的数据分布；m为掩码图像，I表示原始图像，⊙为点乘，G(x)为生成器修复后的图像，D_m(G(x))为输出图像，P_g为生成器生成的样本分布；

步骤4、以神经进化训练EG-GAN模型；

通过神经进化更新生成器参数或生成新的生成器子代；通过神经进化的方式稳定地训练整个网络，将生成器视为种群中的“个体”，判别器与匹配器视为可以选择评价个体的“环境”，整个过程包括四个部分：变异、评估、选择、交叉；

步骤4中，进一步包括下列子步骤：

a)变异：变异本质是两个不同的目标函数，分别为Heuristic变异与Minimax变异，旨在判别器与匹配器对生成图像每一次评估后对生成器的网络权重进行更新；如(4)、(5)公式，其中P_g为生成图像的数据分布，G(x)表示生成器对图像x修复后的图像，D(G(x))表示生成图像经判别器与匹配器判别后的输出；本模型根据判别器输出的D(G(x))决定使用Minima×变异还是Heuristic变异作为生成器的目标函数进行权重更新：当D(G(x))的值大于0.5时，选择Minimax变异；当D(G(x))的值小于等于0.5时，则选择Heuristic变异，即可在全局为生成器网络的提供有效梯度，并指引模型向纳什平衡的趋势训练，稳定训练过程；

b)评估：在步骤5训练EG-GAN模型的过程中，利用最小化绝对误差(又称l1 loss)反映生成样本与真实样本之间的差异，并作为评估生成器表现的标准；如公式(6),其中xⁱ表示从真实数据分布中采样出的样本，G(xⁱ)则表示从生成数据分布中采样出的样本,n为样本个数；

c)选择：选择l1 loss值最小的两个生成器个体作为一对父代，淘汰其余个体；根据群体规模可以选择保留一对以上的父代；

d)交叉：交叉操作通过交换一对精英父代生成器Encoder部分的参数来产生新的子代生成器；为了避免频繁交叉操作造成生成器的性能震荡，生成器每变异迭代更新T次，才会执行一次交叉操作；引入交叉操作的目的在于发掘优秀生成器模型之间的共性，产生优秀模型的结合个体，并在一定程度上避免性能优异的生成器个体在参数更新的过程中消失，保证优异个体在种群中的延续；

步骤5、循环进化训练；

重复以上的步骤1-5，最终得到可实现对人脸图像清晰合理修复的生成器子代个体。

Images