CN109919830A - 一种基于美学评价的带参考人眼图像修复方法 - Google Patents

Abstract

本发明属于数字图像智能处理技术领域，具体为一种基于美学评价的带参考人眼图像修复方法。图像修复是指利用算法来替换已丢失或者损坏的图像数据。人眼图像修复主要用于拍照中的闭眼、斜眼等情况，以产生真实、自然、美观的新人眼。本发明方法包括：从待修复图像中标记出眼睛的位置；基于人眼美学评价和人脸结构相似性选择参考图；对参考图片提取眼部位置；将输入图像、参考图像和对应的眼部标记共同载入生成器，通过深度网络生成修复的人脸图像。在网络的训练中引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务。实验结果表明，本发明可以生成自然美观且与原面部相符的人眼，有效解决人眼修复问题。

Description

一种基于美学评价的带参考人眼图像修复方法

技术领域

本发明属于数字图像智能处理技术领域，具体涉及一种图像修复方法，更具体的说，涉及一种基于美学评价的带参考人眼图像修复方法。

背景技术

近年来，图像修复问题在应用深度学习技术的条件下已经实现了较好的修复效果，修复出的图像在视觉上与真实图像相差无几。因此，深度学习技术成为图像修复问题上的一个研究热点。人脸修复问题作为图像修复问题的一个分支，是一种常见的人脸图像编辑技术。

生成对抗性网络(Generative adversarial networks，GANs)^[1]是一种特殊类型的深度网络，它包含了一个可学习的对抗性损失函数。GAN网络已被成功地用于从零开始生成人脸，或用于补全面部缺失区域。网络生成的人脸图像既可以与原始人脸图像一样精确，也可以与未遮挡人脸图像在内容上保持一致，以使生成的图像看起来具有真实的视觉感受。如何修改对抗生成网络以使其更好的适应图像修复问题来构造更有效的生成模型已经得到了越来越多的关注。

目前已有的网络模型，可以生成视觉上真实的人脸，但是在一些脸部细节的生成上还有待改进。S.Iizuka等人提出使用全局和局部两个判别器代替原始的判别器^[2]，并且使用空洞卷积代替普通的卷积，使得网络拥有更大的感受野，生成更加细致的局部信息。

人眼图像修复是人脸修复问题中的一个分支，主要用于拍照中的闭眼、斜眼等情况，以产生真实、自然、美观的新人眼。ExGAN是一种有条件的GAN网络^[3]，利用参考信息产生高质量、个性化的人眼修复效果。与以往的GAN网络相比，带有参考信息的GAN网络可以生成更加符合人物身份的新人眼，但是随机选择参考图的方式让网络的性能并不稳定。相比之下，选择合适的参考图选择指标，可以让GAN网络的学习更具目标性。

此外，在生成真实图像的基础上，人眼图像修复问题也注重人眼细节和人眼美观的表现。现有技术生成的人眼由于GAN网络的一些缺陷，会存在语义上一致但是视觉上不美观的问题，脸部细节也比较模糊，并且在带有遮挡和侧面的人脸图像上效果不佳。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种产生真实、自然、美观的新人眼图像的基于美学评价的带参考人眼图像修复方法。

本发明提供的基于美学评价的带参考人眼图像修复方法，主要针对拍照中出现的闭眼、眨眼、斜眼等眼部不美观的情况，构造深度神经网络作为人眼图像生成器，同时引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务，使得生成器可以产生真实、自然、美观的新人眼图像。

本发明提供的基于美学评价的带参考人眼图像修复方法，具体步骤如下：

(1)从输入的待修复图像中标记出眼睛的位置

通过人脸关键点的检测工具，标记出待修复图像X的人眼中心点位置(x_left,y_left)和(x_right,y_right)；构建一个与原图像大小相同的全零矩阵M，以两个中心点为圆心，分别构造两个椭圆形mask，并将矩阵M对应位置置为1。

椭圆形mask的长轴a＝w_left/right，短轴b＝h_left/right，其中w_left/right和h_left/right分别为左眼或右眼的宽度和高度。若所给图像的人眼未能标注出准确的宽度和高度，则取a＝25,b＝15。

(2)基于人眼美学评价和人脸结构相似性选择参考图

在待修复图像的同一身份的不同图片中，选择一张人眼美学评价为高质量且与X具有最高结构相似性的图片作为参考图R。

人眼美学评价指标分为高质量与低质量两种，评价网络是基于人眼属性评测的深度网络，网络包括3个卷积模块、9个残差块和一个全连接层。每一个卷积模块包含1个卷积层、1个归一化层、1个relu激活层和1个最大池化层，卷积层的特征图在池化层的作用下分辨率逐渐减小。网络的最终输出为人眼评价的预测结果。

在CAS-PEAL人脸数据集^[4]的基础上，提出一个新的人眼数据集，共1040张人眼图片。通过属性评分划分成高质量和低质量两类，各约500张，主要评测属性为人眼大小、是否双眼皮、眼间距和眼睛长度的关系、外眦是否高于内眦四项。训练时数据集平均划分成5份，进行交叉验证。

其中，人眼美学评价网络所使用的损失函数为Softmax Cross-Entropy Loss，计算方式如下：

其中，P_i为样本被标记为i的概率，计算公式为：

这里，K为2，即样本将被分为高质量和低质量两类。

选择与待修复图像X具有最高结构相似性的图片的指标为SSIM(structuralsimilarity index，即结构相似性)，将待修复图像和待选参考图的人眼位置用椭圆形mask遮挡后比较眼部周围的结构相似程度。给定两个图像X和Y,两张图像的SSIM可按照以下方式求出：

其中，μ_X和μ_Y分别是X和Y的均值，和分别是X和Y的方差，σ_XY是X和Y的协方差，L是像素值的动态范围，c₁＝(k₁L)²、c₂＝(k₂L)²是用来维持稳定的常数(通常取：k₁＝0.01,k₂＝0.03)。

这样做的原因是：随机选择参考图的方法仅仅可以给生成网络提供眼部基本信息参考，但是没有考虑到眼睛的美观度和适配度。采用人眼美学评价和人脸结构相似性指标评测过的参考图可以给生成网络提供更优质的眼部特征，使得网络可以习得生成美观人眼的方法。与随机选择参考的方法相比，多参考选择后的网络可以生成更加美观的人眼，并且与脸部的结合更自然。

(3)对参考图片提取感知特征和眼部位置

用与输入图像标记眼睛相同的方法，构建参考图片的眼部标记矩阵M_r。

(4)生成修复的人脸图像

将输入图像、参考图像和对应的眼部标记共同载入生成器网络，通过深度网络生成修复的人脸图像。其中，生成器网络由编码器、转换器和译码器组成。编码器利用卷积神经网络从输入图像中提取特征，将图像压缩成256个64×64的特征向量。转换器使用6层ResNet模块，每个ResNet模块是由两个卷积层构成的神经网络层，能达到在转换特征时保留原始图像特征的目标。解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最终得到生成图像。

(5)通过优化损失函数更新生成器、判别器的参数

在训练中，引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务。判别器作为二值分类器用来区分真实图像和假图像。判别器为一种卷积神经网络，从图像中提取特征，再通过添加一个产生一维输出的卷积层来确定提取的特征是否属于特定类别。全局判别器用于确保整个图像的真实性，而局部判别器用于生成修复局部的细节。将全局和局部两个判别器的输出连接成一个2048维的向量，通过一个全连接层然后用sigmoid函数得到整体图像一致性的分数。

这样做的原因是：仅仅通过训练生成器来填充修复区域会生成边缘模糊、内容粗糙的新人眼，而引入判别器可以提高生成图片的质量，使经过训练的判别器可以判别生成图像的真假，强制生成器学习更真实的人眼细节。首先为缺失区域引入一个局部判别器，帮助网络生成边界更清晰的修复区域的细节。但是局部损失不能规范人脸的全局结构，因此为整个图像引入一个全局判别器。其基本思想是，新生成的内容不仅要切合实际，而且要与周围的语境保持一致。

通过输入图像与修复图像之间的重构损失计算生成器参数的梯度，通过真实图像和生成图像计算全局判别器参数的梯度，通过真实图像和生成图像的眼部计算局部判别器参数的梯度，通过梯度回传更新网络的参数。

本发明中，人脸语义解析网络是一个预先训练好的模型，在训练时参数是固定的，通过真实图像和生成图像的人脸语义分割标签计算解析损失，促进新旧像素之间的语义一致性，使得新生成的照片更真实。

本发明中，人脸语义解析网络具体是一种与语义分割方法有一定相似之处的全卷积编解码网络^[5]，使用VGG-16网络中的“fc6”层作为编码器，解码器由6个反卷积模块组成。网络共有11个输出，对应的分割区域分别为背景、人脸、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇和头发。将生成图像的解析结果与原始图像的解析结果进行比较，使用Softmax Cross-Entropy Loss作为网络的解析损失L_p。解析损失最终被反向传播到生成器，使得生成器被迫学习在哪里生成具有更自然形状和大小的脸部特征。

假设对于训练集中的每个图像x_i，都存在相应的参考图像r_i，则定义训练集X为X＝{(x₁,r₁),(x₂,r₂),…,(x_n,r_n)}。生成器通过从x_i中移除待修复眼睛区域，利用对应参考图r_i的特征信息，产生新的修复图像z_i。训练时，网络优化更新的整体损失函数定义为：

L＝L_GAN+λ_rL_r+λ_paL_pa+λ_peL_pe，

其中，L_GAN为生成器和判别器的生成对抗损失，定义为：

L_r为重构损失，定义为：

L_r＝||G(z_i,r_i)-x_i||₁，

L_pa为解析网络的损失，即像素级的softmax损失，L_pe为感知损失，即真实图片与生成图片的特征之间的L2距离损失，λ_r、λ_pa和λ_pe为平衡不同损失的权重。

在测试时，网络只需要使用生成器。

本发明的有益效果在于：本发明可以生成自然美观且与原面部相符的人眼，有效解决人眼修复问题。本发明不仅考虑了生成人眼的真实性，还考虑了生成人眼的美观度。引入全局判别器、局部判别器来辅助生成器学习人眼修复任务。全局判别器用来确保整个图像的真实性，而局部判别器用来生成修复局部的细节。引入人脸语义解析网络促进新旧像素之间的语义一致性，使得新生成的照片更真实。使用人眼美学评价指标和人脸结构相似性作为参考图的选择标准，可以生成更加美观的人眼，并且与脸部的结合更自然。本发明在真实的人脸测试中也取得了较好的效果。

附图说明

图1为本发明的网络框架图。

图2为本发明人眼美学评价的网络结构图。

图3为本发明人脸语义解析网络的结构图。

图4为本发明人眼修复图像的效果图。

具体实施方式

对于一张待修复的人脸照片，需要修复其不美观的眼部，可以采用图1所示网络进行新的人脸图像生成。

具体实施方法是：

(1)从输入的待修复图像中标记出眼睛的位置

将图像大小调整到256×256，通过人脸关键点的检测工具，标记出待修复图像X的人眼中心点位置(x_left,y_left)和(x_right,y_right)。构建一个与原图像大小相同的全零矩阵M，以两个中心点为圆心，分别构造两个椭圆形mask，并将矩阵M对应位置置为1；

(2)基于人眼美学评价和人脸结构相似性选择参考图

在待修复图像的同一身份的不同图片中，选择一张人眼美学评价为高质量且与X具有最高结构相似性的图片作为参考图R；

(3)对参考图片提取感知特征和眼部位置

用与输入图像标记眼睛相同的方法，构建参考图片的眼部标记矩阵M_r；

(4)生成修复的人脸图像

将输入图像、参考图像和对应的眼部标记共同载入生成器，通过深度网络生成修复的人脸图像；

(5)通过优化损失函数更新生成器、判别器的参数

在训练中，引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务。共使用Celeb-ID数据集中50254张图片做训练，每张图片依据人眼美学评价和人脸结构相似性选择同ID的一张图片做参考图，17104张图片做测试，用作测试的身份ID不在训练集中。在测试时，网络只需要使用生成器。

表1为本发明人眼修复图像的定量评测结果，第一行为ExGAN的评测结果，第二行为本发明的评测结果，其中L1、FID值越小越好，PSNR、SSIM、MS-SSIM、Inception Score值越大越好。

图4为本发明人眼修复图像的效果图，第1、5列为待修复图像，第2、6列为输入的带眼部标记的图像，第3、7列为ExGAN的修复效果，第4、8列为本发明的修复效果；可以看出，本发明的修复图片无论是在真实性上，还是在美观度上，都要优于ExGAN，并且对ExGAN无法修复的有遮挡的眼部，本发明的方法也可以得到较好的修复效果。

表1

	L1	PSNR	SSIM	MS-SSIM	Inception Score	FID
							ExGAN	0.0375	31.6005dB	0.7969	0.8815	3.47917	0.1409
Ours	0.0274	32.7076dB	0.8635	0.9391	3.60528	0.0877

。

参考文献

[1]I.Goodfellow,J.Pouget-Abadie,M.Mirza,B.Xu,D.Warde-Farley,S.Ozair,A.Courville,and Y.Bengio.“Generative adversarial nets”.In Advances in NeuralInformation Processing Systems(NIPS),pages 2672–2680.2014.

[2]S.Iizuka,E.Simo-Serra,and H.Ishikawa.“Globally and locallyconsistent image completion”.ACM Transactions on Graphics,36(4),July 2017.

[3]B.Dolhansky,C.C.Ferrer.“Eye In-Painting With Exemplar GenerativeAdversarial Networks”.The IEEE Conference on Computer Vision and PatternRecognition(CVPR),pp.7902-7911,2018.

[4]W.Gao,B.Cao,S.Shan,X.Chen,D.Zhou,X.Zhang,D.Zhao.“The CAS-PEALLarge-Scale Chinese Face Database and Baseline Evaluations”.IEEE Trans.onSystem Man,and Cybernetics(Part A),vol.38,no.1,pp149-161.2008.1

[5]J.Yang,B.Price,S.Cohen,H.Lee,and M.-H.Yang.“Object contourdetection with a fully convolutional encoder-decoder network”.The IEEEConference on Computer Vision and Pattern Recognition(CVPR),2016。

Claims (6)

1.一种基于美学评价的带参考人眼图像修复方法，其特征在于，具体步骤如下：

(1)从输入的待修复图像中标记出眼睛的位置

通过人脸关键点的检测工具，标记出待修复图像X的人眼中心点位置(x_left,y_left)和(x_right,y_right)；构建一个与原图像大小相同的全零矩阵M，以两个中心点为圆心，分别构造两个椭圆形mask，并将矩阵M对应位置置为1；

(2)基于人眼美学评价和人脸结构相似性选择参考图

在待修复图像的同一身份的不同图片中，选择一张人眼美学评价为高质量且与X具有最高结构相似性的图片作为参考图R；

(3)对参考图片提取感知特征和眼部位置

用与输入图像标记眼睛相同的方法，构建参考图片的眼部标记矩阵M_r；

(4)生成修复的人脸图像

将输入图像、参考图像和对应的眼部标记共同载入生成器网络，通过深度生成器网络生成修复的人脸图像；其中，生成器网络由编码器、转换器和译码器组成；编码器利用卷积神经网络从输入图像中提取特征，将图像压缩成256个64×64的特征向量；转换器使用6层ResNet模块，每个ResNet模块是由两个卷积层构成的神经网络层，用于在转换特征时保留原始图像特征；解码器利用反卷积层完成从特征向量中还原出低级特征的工作，最终得到生成图像；

(5)通过优化损失函数更新生成器、判别器的参数

在训练中，引入全局判别器、局部判别器和人脸语义解析网络来辅助生成器学习人眼修复任务；判别器作为二值分类器用来区分真实图像和假图像；判别器为一种卷积神经网络，从图像中提取特征，再通过添加一个产生一维输出的卷积层来确定提取的特征是否属于特定类别；全局判别器用于确保整个图像的真实性，而局部判别器用于生成修复局部的细节；将全局和局部两个判别器的输出连接成一个2048维的向量，通过一个全连接层然后用sigmoid函数得到整体图像一致性的分数；

通过输入图像与修复图像之间的重构损失计算生成器参数的梯度，通过真实图像和生成图像计算全局判别器参数的梯度，通过真实图像和生成图像的眼部计算局部判别器参数的梯度，通过梯度回传更新网络的参数；

人脸语义解析网络是一个预先训练好的模型，在训练时参数是固定的，通过真实图像和生成图像的人脸语义分割标签计算解析损失，促进新旧像素之间的语义一致性，使得新生成的照片更真实；在测试时，网络只使用生成器。

2.根据权利要求1所述的基于美学评价的带参考人眼图像修复方法，其特征在于，步骤(2)中，人眼美学评价指标分为高质量与低质量两种，评价网络是基于人眼属性评测的深度网络，网络包括3个卷积模块、9个残差块和一个全连接层；每一个卷积模块包含1个卷积层、1个归一化层、1个relu激活层和1个最大池化层，卷积层的特征图在池化层的作用下分辨率逐渐减小；网络的最终输出为人眼评价的预测结果。

3.根据权利要求2所述的基于美学评价的带参考人眼图像修复方法，其特征在于，在CAS-PEAL人脸数据集的基础上，提出一个新的人眼数据集，共1040张人眼图片；通过属性评分划分成高质量和低质量两类各约500张，主要评测属性为人眼大小、是否双眼皮、眼间距和眼睛长度的关系、外眦是否高于内眦四项；训练时数据集平均划分成5份，进行交叉验证。

4.根据权利要求1所述的基于美学评价的带参考人眼图像修复方法，其特征在于，步骤(2)中，人眼美学评价网络所使用的损失函数为Softmax Cross-Entropy Loss，计算方式如下：

其中，P_i为样本被标记为i的概率，计算公式为：

这里，K为2，即样本将被分为高质量和低质量两类；

选择与待修复图像X具有最高结构相似性的图片的指标为SSIM，将待修复图像和待选参考图的人眼位置用椭圆形mask遮挡后比较眼部周围的结构相似程度；给定两个图像X和Y,两张图像的SSIM按照以下方式求出：

其中，μ_X和μ_Y分别是X和Y的均值，和分别是X和Y的方差，σ_XY是X和Y的协方差，c₁＝(k₁L)²、c₂＝(k₂L)²是用来维持稳定的常数，L是像素值的动态范围。

5.根据权利要求1所述的基于美学评价的带参考人眼图像修复方法，其特征在于，步骤(5)中，人脸语义解析网络是一种与语义分割方法有一定相似之处的全卷积编解码网络，使用VGG-16网络中的“fc6”层作为编码器，解码器由6个反卷积模块组成；网络共有11个输出，对应的分割区域分别为背景、人脸、左眉毛、右眉毛、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇和头发；将生成图像的解析结果与原始图像的解析结果进行比较，使用Softmax Cross-Entropy Loss作为网络的解析损失L_p；解析损失最终被反向传播到生成器，使得生成器被迫学习在哪里生成具有更自然形状和大小的脸部特征。

6.根据权利要求1所述的基于美学评价的带参考人眼图像修复方法，其特征在于，步骤(5)中，假设对于训练集中的每个图像x_i，都存在相应的参考图像r_i，则定义训练集X为X＝{(x₁,r₁),(x₂,r₂),…,(x_n,r_n)}；生成器通过从x_i中移除待修复眼睛区域，利用对应参考图r_i的特征信息，产生新的修复图像z_i；训练时，网络优化更新的整体损失函数定义为：

L＝L_GAN+λ_rL_r+λ_paL_pa+λ_peL_pe，

其中，L_GAN为生成器和判别器的生成对抗损失，定义为：

L_r为重构损失，定义为：

L_r＝||G(z_i,r_i)-x_i||₁，

L_pa为解析网络的损失，即像素级的softmax损失，L_pe为感知损失，即真实图片与生成图片的特征之间的L2距离损失，λ_r、λ_pa和λ_pe为平衡不同损失的权重。