CN108615228A - 基于混合神经网络的人脸图像补全方法 - Google Patents

Abstract

本发明涉及一种基于混合神经网络的人脸图像补全方法，该方法包括：收集大量图片；图片预处理；构造人脸全卷积神经网络；随机确定破损区域，将图片输入到人脸全卷积网络进行训练，得到生成图片；构造多个判别网络，将完整图片输入判别网络进行训练；进行人脸全卷积神经网络和多个判别网络的整体训练，通过定义判别网络的判断标准，使图片再次回到人脸全卷积神经网络中进行训练；将最后各个判别网络的输出连接起来，进行总体真假判断；将测试的图片放入人脸全卷积网络模型中即可输出完整图片。本方法可以解决现有技术中修补图片精度不高的问题。

Description

基于混合神经网络的人脸图像补全方法

技术领域

本发明涉及一种人脸图像修补的方法，尤其是一种基于混合神经网络的人脸图像补全方法。

背景技术

随着时代的发展,我们周围存在大量的图片，但是这些图片可能由于拍摄或者保存不当，存在着细节丢失和图像部分损毁等情况。但是目前进行图像修补的方案仅仅通过图像搜索、匹配、滤波等传统方法进行补全,补全效果不佳。

随着深度学习的发展，神经网络发挥着越来越重要的作用。全卷积神经网络能够自动进行特征提取与图像生成，但是单一的运用全卷积神经网络效果不好。

现有技术最大的问题是精度不高，对于图片的修复达不到满意的效果。很大程度上是方法不好，就算存在部分使用神经网络的图像修补，但因为方法单一效果也是不理想。

为了提升图像修复的精度，采用全卷积神经网络加上多个判别网络的办法，来进行图像的修补。

卷积神经网络本身（CNN）通过训练数据进行学习，在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习，可自动提取特征，有良好的特征提取能力。而本文采用的全卷积网络不仅有卷积神经网络的优点，更是克服了卷积网络的计算效率低下、像素块大小限制了感知区域的大小等缺点。

对于缺损的图片来说，它周围的像素很可能与缺损图片有关系，甚至是其中一部分，而缺损图片的周围像素尺寸不同，可以产生不同的优化效果。所以可以通过设置多个判别网络，优化全卷积网络的输出图片的效果。

发明内容

本发明在于克服现有技术对图像修补精度不高的问题，而提供了一种基于混合神经网络的人脸图像补全方法，该方法首先利用全卷积神经网络的本身固有优势，又设计增加多个外模型对修补图像的精度进行提高，因为对十万百万的图片量进行训练，使修复后的图片质量非常高。

本发明的技术方案是：一种基于混合神经网络的人脸图像补全方法，其步骤为：

（1）收集大量图片：通过专门的数据网站或搜索软件进行图片下载，并将下载的图片分为训练集和测试集，训练集为占95%，测试集5%；

（2）进行图片的预处理，获得适合在混合神经网络中进行处理的图片；

（3）构建人脸全卷积网络进行训练：图片中随机确定一小块区域，在这块区域构造一块白色区域，即为破损区域，将图片转化为数组送入到人脸全卷积网络中进行训练，在该网络中定义不同的卷积层、空洞卷积层和反卷积层，并在网络中定义损失值，通过各个层自己进行学习，不断调整权重参数，降低损失值，最后得到一个修复图；只取修复图修复破损区域的那一部分，将这部分和输入的破损图合成一张图，此时这张图成完整的并且除了修复区域都为原图；选取一块区域，这块区域在人脸全卷积网络中包含破损区域，即修复后包含修复完成后那块区域，这块区域最大为整张图片，最小为破损区域本身；

（4）在判别网络中进行训练：在判别网络中的图片都为完整原图，在步骤（3）中选取的局部区域在原图中用于构建局部判别器，判别器中由卷积层与全连接层组成，通过将局部区域输入到判别网络中进行训练，得到判别器用于联合训练提升图片精度；判别网络可以设置多个；

（5）两个网络联合训练：首先定义在判别网络中原图的局部为真，在人脸全卷积神经网络修复后的局部为假，将全卷积网络的结果输入到多个判别网络中，判断图片是否为真，如果判断为假则返回人脸全卷积神经网络中，再次进行参数的修改，优化模型，通过自己学习训练，使图片精度能够更高，使其能够通过判别网络，每个判别网络输出一个向量，通过全连接层将所有向量连接到一起，总体进行真假判断；如果损失达到稳定，则模型训练完成；在输出图片前通过数组操作，将其从归一化后的数组转变为正常图片；

（6）将测试图片转化为数组输入到训练好的人脸全卷积神经网络中，输出修补图片。

本发明的有益效果是：

本发明的图像修补采用的全卷积网络加上多个判别网络的方式来进行图像的修补，建立了一个新的模型思路。设计的判别网络是由5个卷积层加一个全连接层组成的，能够定义生成图与原图的关系；并且判别网络的局部区域可以定义不同尺寸来增加判别网络。本发明克服了现有技术对图像修补精度不高的问题，该方法首先利用全卷积神经网络的本身固有优势，又设计增加多个外模型对修补图像的精度进行提高，因为对十万百万的图片量进行训练，使修复后的图片质量非常高。

附图说明

图1为本发明的基于混合神经网络的人脸图像补全方法流程图；

图2为各个字母含义图；

图3为全卷积网络结构图；

图4为破损临近区域介绍图；

图5为单张图片处理过程图。

具体实施方式

下面结合附图与实施例对本发明作进一步说明。

一种基于混合神经网络的人脸图像补全方法，包括以下步骤：

1. 收集图片。

1.1本方法采用的香港中文大学的开放数据集里面有超过20万张人脸的图片，并且已经被很好的处理过，可以直接进行网络的训练。将图片分训练集和测试集其中训练集19万、测试集1万张图片，训练总体流程为图1所示。

2.图片预处理，便于输入到网络中。

2.1通过opencv（一款能进行图片操作的视觉库）进行简单的图像裁剪使图片成为128*128*3（长*宽*颜色通道），通过数组操作将图片进行归一化处理，即将所有像素变为0-1之间的数，有利于混合神经网络的处理。

训练分别进行人脸全卷积网络的训练、判别网络的训练，联合训练3个主要步骤。即对应步骤中的3-5步。设原始完整图片定义为A，将部分残缺的A图片定义为a（即在原图扣除一部分），将修补后的图片定义为A-，如图2所示，目的是通过判别网络将修补后的A-能够达到A的效果。步骤3-5对应的过程如图5。

3.构造（破损）图片a，并送到构造好的人脸全卷积神经网络中进行训练。图3为全卷积神经网络内部结构图。

3.1 在图片A上随机的选取一个点（x,y）,通过x+20，y+20确定一个长为20，宽为20的区域，将其上放置一个纯白的遮罩层，即构造出破损区域。

3.2 定义纯白遮罩层处的mask（掩饰层）数值为1其他完好区域为0，然后通过A*（1-mask）即构造了破损图即图a，并输入到人脸全卷积网络中。

3.3 通过4个卷积层进行特征的提取，然后通过空洞卷积，空洞卷积里面都包含较大范围的信息，能够增大每一层作为输入的区域，反卷积层将提取的特征还原成图像。 在实验中直接定义好网络结构层，网络能够自动进行学习，得到输出图片b，通过b*mask+A*（1-mask）公式，即除了修补部分外其他全为原图片，也就是图A-。这里定义MSE损失函数，通过降低损失值来提升图片A-的效果。这里为单独的全卷积神经网络的训练图片A-的修复效果仍然不高。通过((x-10)+40,(y-10)+40)，定义局部区域，如图4。

4.首先将完好A图片输入到判别网络中进行单独训练。

4.1 这里的两个判别网络为5个卷积层加一个全连接层组成。通过将完好A图片和局部区域的图片输入到卷积层进行特征的提取，然后通过全连接层进行输出，使其能够分别得到一个1024维的一个向量。这里训练网络通过降低对数损失函数的值来达到网络模型的建立。这里使用反向传播的方法更新权重减少损失值。最小化损失值并使它达到稳定，则网络训练完成。

5． 进行两个模型的联合训练，提高生成图片的精度。

5.1在原图A和修补图A-中都有原图和局部区域（步骤3定义）。将原图A的整个图片与局部区域所在位置在判别网络中定义为真，而A-的整个图片与局部区域所在位置定义为假。判别网络使用了两个，而使用的两个网络所用的区域：一个全局即整个图像，一个局部即步骤3中定义区域。

5.2将全卷积网络的A-图片的整体和局部同时输入到两个判别网络中，在全局判别网络和局部判别网络中同时训练，局部判别网络将原图A和修复图A-局部区域进行比较，全局判别网络将原图A和修复图A-整个图片进行比较。通过降低在原图与生成图之间的交叉熵损失，使得图片A-能够提升精度，达到图片A的效果。

5.3如果图片A-不能通过2个判别网络，则再次返回到全卷积网络中，通过反向传播进行模型参数的修改，优化参数。如果判别网络认为A-达到A的效果，即损失达到稳定，即模型训练完成。

5.4两个判别网络通过全连接层分别输出1024维向量，然后将他们连接成一个2048维的向量，使用sigmoid函数能够将判别结果进行输出。

5.5将修复完成的图片通过数组操作，由归一化后转化为正常图片。

6． 进行测试时，只使用全卷积网络，而不使用判别网络，因为全卷积网络已经由于判别网络更加优化，达到更好的修复效果。

Claims (1)

1.一种基于混合神经网络的人脸图像补全方法，其特征在于，其步骤为：

（1）收集大量图片：通过专门的数据网站或搜索软件进行图片下载，并将下载的图片分为训练集和测试集，训练集为占95%，测试集5%；

（2）进行图片的预处理，获得适合在混合神经网络中进行处理的图片；

（3）构建人脸全卷积网络进行训练：图片中随机确定一小块区域，在这块区域构造一块白色区域，即为破损区域，将图片转化为数组送入到人脸全卷积网络中进行训练，在该网络中定义不同的卷积层、空洞卷积层和反卷积层，并在网络中定义损失值，通过各个层自己进行学习，不断调整权重参数，降低损失值，最后得到一个修复图；只取修复图修复破损区域的那一部分，将这部分和输入的破损图合成一张图，此时这张图成完整的并且除了修复区域都为原图；选取一块区域，这块区域在人脸全卷积网络中包含破损区域，即修复后包含修复完成后那块区域，这块区域最大为整张图片，最小为破损区域本身；

（4）在判别网络中进行训练：在判别网络中的图片都为完整原图，在步骤（3）中选取的局部区域在原图中用于构建局部判别器，判别器中由卷积层与全连接层组成，通过将局部区域输入到判别网络中进行训练，得到判别器用于联合训练提升图片精度；判别网络可以设置多个；

（5）两个网络联合训练：首先定义在判别网络中原图的局部为真，在人脸全卷积神经网络修复后的局部为假，将全卷积网络的结果输入到多个判别网络中，判断图片是否为真，如果判断为假则返回人脸全卷积神经网络中，再次进行参数的修改，优化模型，通过自己学习训练，使图片精度能够更高，使其能够通过判别网络，每个判别网络输出一个向量，通过全连接层将所有向量连接到一起，总体进行真假判断；如果损失达到稳定，则模型训练完成；在输出图片前通过数组操作，将其从归一化后的数组转变为正常图片；

（6）将测试图片转化为数组输入到训练好的人脸全卷积神经网络中，输出修补图片。