CN110728628B - 一种基于条件生成对抗网络的人脸去遮挡方法 - Google Patents

Abstract

本发明公开了一种基于条件生成对抗网络的人脸去遮挡方法，包括如下步骤：准备人脸图像数据集和可能出现在面部的遮挡图像集，对每一张人脸图像随机加遮挡后，得到原始人脸图像、有遮挡人脸图像、遮挡图像组成的三元组数据集；将有遮挡人脸图像作为输入，遮挡图像作为目标图像，通过训练第一个条件生成对抗网络实现遮挡检测的功能；将有遮挡人脸图像和第一个条件生成对抗网络检测出的遮挡图像作为输入，原始人脸图像作为目标图像，通过训练第二个条件生成对抗网络实现人脸遮挡移除的功能。本发明在面部遮挡检测的基础上进行面部遮挡移除，不仅增强了对任意遮挡的识别能力，同时也借助学得的遮挡信息来更好地移除遮挡，使模型更具有鲁棒性。

Description

一种基于条件生成对抗网络的人脸去遮挡方法

技术领域

本发明属于计算机视觉领域，特别涉及一种应用机器学习实现的人脸去遮挡方法。

背景技术

人脸去遮挡是一个有意义的课题，不仅可以直接提高人脸识别的准确率，还可以在此基础上做一些扩展性的研究，更重要的是，它可能成为其他人脸研究工作的一部分来提高其他模型对有遮挡人脸的鲁棒性。例如，在人脸表情数据库上，若在去遮挡的基础上考虑到非遮挡部分的信息，可以得到完整的并且更真实的人脸表情，从而提高对有遮挡人脸图像的表情识别率等等。

当前对人脸去遮挡的研究很少，但它和人脸补全比较相似。人脸补全是图像补全的一个分支，目前已经存在不少对人脸补全的研究。人脸补全是补充人脸图像上缺失的像素点，而这些缺失的部分一般是无实际意义且单一纹理的，因此它目前不能做到人脸自动去遮挡的效果，除非手动在想要去掉的遮挡上添加类似纹理。而人脸去遮挡是学习人脸本身的特征及大量真实遮挡物的特征，从而达到自动去遮挡的功能，如给人脸图像去掉口罩、眼镜等真实遮挡物。因此，人脸去遮挡本身比人脸补全问题有更大的挑战性。

由于问题的复杂性，现有的人脸补全方法均是基于神经网络来实现的。

发明内容

现有技术的人脸补全方法往往一次性对人脸缺失部分进行补全，这样会需要很高的网络复杂度或者补全效果不佳，这样的训练方式如果照搬在人脸去遮挡问题上，会产生更明显的缺陷。为解决以上问题，本发明的目的是提出一种基于条件生成对抗网络的人脸去遮挡方法。

为实现上述目的，本发明采用的技术方案为：

一种基于条件生成对抗网络的人脸去遮挡方法，包括如下步骤：

步骤1，准备数据集：获取人脸图像数据集，并在互联网上以可能出现在人脸上的遮挡作为关键字收集透明背景的遮挡图片；在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像，构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集；

步骤2，搭建第一个条件生成对抗网络模型GAN1，其输入为步骤1得到的三元组数据集中的加遮挡后的人脸图像，目标图像为三元组数据集中经过随机变换的遮挡图像，对网络训练后实现遮挡检测的功能；

步骤3：搭建第二个条件生成对抗网络模型GAN2，其输入为三元组数据集中的加遮挡后的人脸图像与其在第一个条件生成对抗网络的输出，目标图像为三元组数据集中的原始人脸图像，对网络进行训练后最终实现面部遮挡移除的功能。

所述步骤1中，对得到的三元组数据集中的图像进行随机剪切和随机左右翻转来缓解模型过拟合的情况。

所述步骤2中，GAN1的整体结构如下：

input→生成器1→occ_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像；生成器1的模型参数由与判别器1联合训练得到；

生成器1采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

判别器1采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；

训练GAN1的目标函数如下：

最终目标

为：

其中,p_data表示数据的分布，

代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像；O₁代表和D₁输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₁,D₁分别表示生成器1，判别器1；

表示第一个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；

表示生成器1额外的损失函数，使得生成器1生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数。

所述步骤3中，GAN2的整体结构如下：

input+occ_learned→生成器2→target_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像，target_learned为学得的去遮挡后的人脸图像；

生成器2的模型参数由与判别器2联合训练得到；

生成器2采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

判别器2采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；

训练GAN2的目标函数如下：

最终目标

为：

其中,p_data表示数据的分布，

代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像，target表示对应的未遮挡人脸图像；O₂代表和D₂输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₂,D₂分别表示生成器2，判别器2；

表示第二个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；

表示生成器2额外的损失函数，使得生成器2生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数。

有益效果：本发明构建了一种串联两个条件生成对抗网络的模型，将人脸去遮挡分为两个部分。第一部分用于生成脸部的遮挡图像，第二部分借助第一部分生成的遮挡图像，来实现脸部的去遮挡。这不仅能更容易实现对任意遮挡的人脸照片去遮挡的功能，同时可以借助学得的遮挡信息能得到更好的去遮挡效果。

具体实施方式

下面对本发明做更进一步的解释。

本发明的一种基于条件生成对抗网络的人脸去遮挡方法，包括如下步骤：

步骤1：准备数据集。获取CelebA作为本次训练模型的数据集，对其进行对齐、裁剪、分类等，在互联网上以可能出现在人脸上的遮挡作为关键字收集近千张透明背景的遮挡图片，关键字包括例如apple、sunglasses、hand、hat、scarf、drink、caffe等约50个；在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过变换的遮挡图像，构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集；将数据集以4:1的比例随机分为训练集和测试集；对训练集中的图像进行随机剪切和随机左右翻转，来缓解模型过拟合的情况。这两个三元组数据集将分别用于接下来的步骤。

CelebA扩展数据集属于人脸表情数据库，它的数据均是无遮挡的，符合本方法需要人工添加遮挡的方法，因为一般真实遮挡的照片缺少真实无遮挡的人脸图像，难以进行训练。除此之外，它还具有多样化的表情，可以使模型对各种表情的人脸图像遮挡进行处理。

步骤2：搭建第一个条件生成对抗网络GAN1来识别遮挡；

GAN1的整体结构如下：

input→生成器1→occ_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像；

生成器1的模型参数由与判别器1联合训练得到；

生成器1采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；生成器1的结构如下：

input->conv_1->conv_2->conv_3->conv_4->conv_5->conv_6->conv_7->conv_8->deconv_1->deconv_2->deconv_3->deconv_4->deconv_5->deconv_6->deconv_7->deconv_8->occ_learned

其中，conv_i表示生成器第i个卷积层，i＝1,2,…,8；卷积操作后都采用了批归一化(除了conv1)，并使用LeakReLU作为激活函数来约束输输出，最终得到一个特征向量；deconv_i{i＝1,2,…,8}表示第i个转置卷积层，转置卷积操作后都采用了批归一化，并使用ReLU作为激活函数来约束输输出，前三层转置卷积还采用了dropout，来减轻对特征向量的过拟合。

此外，生成器采用U-Net的网络结构来增强网络的稳定性。deconv_i{i＝2,…,8}的输入除了有deconv_i-1，还有conv_9-i。

判别器1采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；判别器1的结构如下：

input+occ->conv_d1->conv_d2->conv_d3->conv_d4->conv_d5->real/fake

其中，conv_i{i＝1,2,…,8}表示生成器第i个卷积层，卷积操作后都采用了批归一化(除了conv1)，并使用LeakyReLU作为激活函数来约束输输出，最终得到一个维度为30*30*1的张量，将它与全一阵对应元素的交叉熵之和作为衡量生成器1识别的遮挡的真实程度。

目标函数如下：

最终目标

为：

其中,p_data表示数据的分布，

代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像；O₁代表和D₁输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₁,D₁分别表示生成器1，判别器1；

表示第一个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；

表示生成器1额外的损失函数，使得生成器1生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数。

步骤3：搭建第二个条件生成对抗网络GAN2来移除遮挡；

GAN2的整体结构如下：

input+occ_learned→生成器2→target_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像，target_learned为学得的去遮挡后的人脸图像；

生成器2的模型参数由与判别器2联合训练得到；

生成器2采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

生成器2的结构如下：

input+occ->conv_1->conv_2->conv_3->conv_4->conv_5->conv_6->conv_7->conv_8->deconv_1->deconv_2->deconv_3->deconv_4->deconv_5->deconv_6->deconv_7->deconv_8->target_learned

其中，conv_i{i＝1,2,…,8}表示生成器第i个卷积层；deconv_i{i＝1,2,…,8}表示第i个转置卷积层。生成器采用U-Net的网络结构来增强网络的稳定性。除了输入增加了一张遮挡图像，整体结构与生成器1类似。

判别器2采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；判别器2的结构如下：

input+occ+target->conv_d1->conv_d2->conv_d3->conv_d4->conv_d5->real/fake

其中，conv_i{i＝1,2,…,8}表示生成器第i个卷积层。除了输入增加了一张无遮挡图像，整体结构与生成器1类似。

目标函数如下：

最终目标

为：

其中,p_data表示数据的分布，

代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像，target表示对应的未遮挡人脸图像；O₂代表和D₂输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₂,D₂分别表示生成器2，判别器2；

表示第二个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；

表示生成器2额外的损失函数，使得生成器2生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数。

本发明中，在对数据集的处理方面，不同于一般的人脸补全算法，本发明采用互联网上搜集的真实的物体作为遮挡，增强了算法的实用性；在网络结构方面，本发明使用了串联的条件生成对抗网络，增强了模型对任意遮挡识别和去除的鲁棒性，且通过借助面部遮挡的信息来去遮挡的方法更具解释性；在网络目标函数方面，与普通的条件对抗网络不同的是，本发明在生成器误差上增加了像素级别的重建误差来控制生成图像与目标图像整体的相似程度，在判别器的目标函数中使用局部真实性的和来代替对整张图像整体真实性的判断，以此来使得生成图像中的细节更具真实性。通过实验发现，使用本方法提供的模型基本可以实现对任意尺寸、大小、颜色、纹理的人脸遮挡的识别与去除，并且最终得到的去遮挡人脸图像具有真实性。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于条件生成对抗网络的人脸去遮挡方法，其特征在于，包括如下步骤：

步骤1，准备数据集：获取人脸图像数据集，并在互联网上以可能出现在人脸上的遮挡作为关键字收集透明背景的遮挡图片；在每一张人脸图像上添加经过随机变换的遮挡图片得到原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像，构成一个由原始人脸图像、加遮挡后的人脸图像以及经过随机变换的遮挡图像组成的三元组数据集；

步骤2，搭建第一个条件生成对抗网络模型GAN1，其输入为步骤1得到的三元组数据集中的加遮挡后的人脸图像，目标图像为三元组数据集中经过随机变换的遮挡图像，对网络训练后实现遮挡检测的功能；

GAN1的整体结构如下：

input→生成器1→occ_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像；生成器1的模型参数由与判别器1联合训练得到；

生成器1采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

判别器1采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；

训练GAN1的目标函数如下：

最终目标

为：

其中,p_data表示数据的分布，

代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像；O₁代表和D₁输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₁,D₁分别表示生成器1，判别器1；

表示第一个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；

表示生成器1额外的损失函数，使得生成器1生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数；

步骤3：搭建第二个条件生成对抗网络模型GAN2，其输入为三元组数据集中的加遮挡后的人脸图像与其在第一个条件生成对抗网络的输出，目标图像为三元组数据集中的原始人脸图像，对网络进行训练后最终实现面部遮挡移除的功能；

GAN2的整体结构如下：

input+occ_learned→生成器2→target_learned

其中，input为需要去遮挡的图像，occ_learned为学得的遮挡图像，target_learned为学得的去遮挡后的人脸图像；

生成器2的模型参数由与判别器2联合训练得到；

生成器2采用全卷积神经网络，采用8层全卷积层对输入进行编码，再采用8个转置全卷积层对得到的向量进行解码，编码器与解码器用U-Net结构进行连接；

判别器2采用4层全卷积神经网络，输出为尺寸为30*30*1的矩阵，用于判断输入图像的真实性；

训练GAN2的目标函数如下：

最终目标

为：

其中,p_data表示数据的分布，

代表数学期望；input表示加遮挡后的人脸图像，occ表示对应的遮挡图像，target表示对应的未遮挡人脸图像；O₂代表和D₂输出相同维数的全一阵，log代表对矩阵中每个元素求对数后的总和；G₂,D₂分别表示生成器2，判别器2；

表示第二个条件生成对抗网络的基础损失函数，使得网络能以对抗的形式被训练；

表示生成器2额外的损失函数，使得生成器2生成的图片能尽可能与目标函数在像素级别上相似，其中L₁代表该损失函数中的1范数。

2.根据权利要求1所述的基于条件生成对抗网络的人脸去遮挡方法，其特征在于：所述步骤1中，对得到的三元组数据集中的图像进行随机剪切和随机左右翻转来缓解模型过拟合的情况。