CN113850169A - 一种基于图像分割和生成对抗网络的人脸属性迁移方法 - Google Patents

Abstract

本发明公开了一种基于图像分割和生成对抗网络的人脸属性迁移方法，包括以下步骤：设置人脸属性迁移的基本网络框架，设置网络的基本参数；利用CelebA数据集对U‑Net人脸图像分割模型进行训练；利用训练好的U‑Net网络分割人脸图像，将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像；将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格；利用基于Haar特征级联分类器识别人脸区域，并进行人脸属性迁移。本发明提出了人脸属性迁移方法可以将多种人脸属性迁移到目标人脸图像，并通过生成对抗学习让迁移替换的部分更平滑，减少割裂感，能够获得更加逼真的人脸图像。

Description

一种基于图像分割和生成对抗网络的人脸属性迁移方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于图像分割和生成对抗网络的人脸属性迁移方法。

背景技术

深度伪造技术是深度学习与伪造(fake)的组合，以人脸为例，它可以将目标人物面部的图像进行属性变换、风格迁移等，以达到混淆视听的目的。深度伪造具有仿真度高、欺骗性强的特点，可以应用于声音合成、视频分辨率修复和图像艺术风格迁移等任务。

换脸伪造指的是将已知的人脸替换为目标人脸，目前主要的换脸工具包括开源的FaceSwap、Deep-FaceSwap、Faceswap-GAN、DeepFaceLab等。属性篡改通过修改或者增减面部的一些属性达到篡改目的，常见的可篡改属性包括发型、头发皮肤颜色、性别、年龄、增减眼镜等饰物等。属性篡改通常是通过生成对抗网络(generative adversarial network，GAN)来完成。生成对抗网络主要有两部分组成，分别是生成网络G、判别网络D。GAN的应用十分广泛，它的应用包括图像合成、图像编辑、风格迁移、图像超分辨率以及图像转换等。生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而判别网络D的目标就是尽量把网络G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”，经过不停的博弈后，G网络和D网络达到了纳什均衡状态，再也无法分别真实图片和生成图片。当前的基于GAN的人脸属性迁移中，往往忽略了属性迁移后的风格统一。

发明内容

针对上述技术问题，本发明提供一种基于图像分割和生成对抗网络的人脸属性迁移方法，利用图像分割将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像，并将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格。

本发明采用的技术方法是一种基于图像分割和生成对抗网络的人脸属性迁移方法，其特征在于，包括以下步骤：

步骤一、设置人脸属性迁移的基本网络框架，设置网络的基本参数；

步骤二、利用CelebA数据集对U-Net人脸图像分割模型进行训练：

步骤201、打乱CelebA数据集并将数据集进行随机划分，分为训练集、验证集、以及测试集；

步骤202、初始化U-Net网络，设置输入图片的长宽为K*K，设置输出层输出类别为7，分别对应人脸的七种属性，包括左眼、右眼、鼻子、嘴、左眉、右眉、以及整个脸部；

步骤203、采用Focal loss损失函数对U-Net网络进行训练；

步骤204、对U-Net网络的前L层进行粗训练，采用Adam优化器，学习率为0.0001，其他参数采用Adam优化器的默认值；

步骤205、当验证集损失值变化小于0.005时，对U-Net网络的前M层进行精细训练，采用Adam优化器，学习率为0.00001，其他参数采用Adam优化器的默认值；

步骤三、利用训练好的U-Net网络分割人脸图像，将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像：

步骤301、利用训练好的U-Net网络对数据集中每一张图像都进行人脸属性判别，得到K*K*7的判别结果矩阵；

步骤302、根据人脸属性判别结果矩阵，将需要迁移的人脸属性p对应的像素点置1，其他属性对应的像素点置0，对源图像X和目标图像Y进行掩膜和反掩膜，得到只含属性p的图像X_p和Y_p，以及不含属性p的图像X_np和Y_np；

步骤303、求X_p和Y_p的均值分别表示为μ_x,μ_y,求X_p和Y_p的方差分别表示为σ_x,σ_y，并对X_p进行变换得到X^*_p，公式如下

步骤304、将X^*_p与Y_np进行拼接融合，得到融合的图像Y^*；

步骤四、将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格：

步骤401、将数据集中所有的目标图像Y和对应的融合图像Y^*输入到生成对抗网络中，同时将只含属性p的图像Y_p以及变换后图像X^*_p输入到生成对抗网络中；

步骤402、生成对抗网络进行对抗训练，目的是使得融合后的图像更加符合目标图像的风格，网络训练的损失函数包括对抗目标损失L_adv、图像重建损失L_rec、以及风格一致性损失L_sty三个部分，定义分别如下

L_adv＝E[logD(Y)]+E[log(1-D(G(Y^*)))]

L_rec＝E[‖Y^*-G(Y^*)‖₂]

L_sty＝E[‖G(Y)-G(Y^*)‖₂]+αE[‖G(X^*_p)-G(Y_p)‖₂]

其中，D()表示鉴别器，G()表示生成器，E表示分布函数的期望值，α表示比例系数；

步骤五、利用基于Haar特征级联分类器识别人脸区域，并进行人脸属性迁移：

步骤501、利用基于Haar特征级联分类器识别人脸区域，将人脸区域裁剪出来，并将长宽变换为K*K的图像；

步骤502、对提取的人脸图像按照步骤三和步骤四进行人脸属性迁移。

本发明与现有技术相比，主要具有如下的优点：本发明提出了人脸属性迁移方法可以将人脸多种属性迁移到目标人脸图像，并通过生成对抗学习让迁移替换的部分减少割裂感，并符合目标图像的风格，进而获得更加逼真的人脸图像。

附图说明

图1为本发明的方法流程图。

具体实施方式

下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了便于描述，在这里可以使用空间相对术语，如“在……之上”、“在……上方”、“在……上表面”、“上面的”等，用来描述如在图中所示的一个器件或特征与其他器件或特征的空间位置关系。应当理解的是，空间相对术语旨在包含除了器件在图中所描述的方位之外的在使用或操作中的不同方位。例如，如果附图中的器件被倒置，则描述为“在其他器件或构造上方”或“在其他器件或构造之上”的器件之后将被定位为“在其他器件或构造下方”或“在其他器件或构造之下”。因而，示例性术语“在……上方”可以包括“在……上方”和“在……下方”两种方位。该器件也可以其他不同方式定位(旋转90度或处于其他方位)，并且对这里所使用的空间相对描述作出相应解释。

如图1所示，本发明一种基于图像分割和生成对抗网络的人脸属性迁移方法，包含具体步骤如下：

步骤一、设置人脸属性迁移的基本网络框架，设置网络的基本参数；

步骤二、利用CelebA数据集对U-Net人脸图像分割模型进行训练：

步骤201、打乱CelebA数据集并将数据集进行随机划分，分为训练集、验证集、以及测试集；

步骤202、初始化U-Net网络，设置输入图片的长宽为256*256，设置输出层输出类别为7，分别对应人脸的七种属性，包括左眼、右眼、鼻子、嘴、左眉、右眉、以及整个脸部；

步骤203、采用Focal loss损失函数对U-Net网络进行训练；

步骤204、对U-Net网络的前82层进行粗训练，采用Adam优化器，学习率为0.0001，其他参数采用Adam优化器的默认值；

步骤205、当验证集损失值变化小于0.005时，对U-Net网络的前102层进行精细训练，采用Adam优化器，学习率为0.00001，其他参数采用Adam优化器的默认值；

步骤三、利用训练好的U-Net网络分割人脸图像，将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像：

步骤301、利用训练好的U-Net网络对数据集中每一张图像都进行人脸属性判别，得到256*256*7的判别结果矩阵；

步骤302、根据人脸属性判别结果矩阵，将需要迁移的人脸属性p对应的像素点置1，其他属性对应的像素点置0，对源图像X和目标图像Y进行掩膜和反掩膜，得到只含属性p的图像X_p和Y_p，以及不含属性p的图像X_np和Y_np；

步骤303、求X_p和Y_p的均值分别表示为μ_x,μ_y,求X_p和Y_p的方差分别表示为σ_x,σ_y，并对X_p进行变换得到X^*_p，公式如下

步骤304、将X^*_p与Y_np进行拼接融合，得到融合的图像Y^*；

步骤四、将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格：

步骤401、将数据集中所有的目标图像Y和对应的融合图像Y^*输入到生成对抗网络中，同时将只含属性p的图像Y_p以及变换后图像X^*_p输入到生成对抗网络中；

步骤402、生成对抗网络进行对抗训练，目的是使得融合后的图像更加符合目标图像的风格，网络训练的损失函数包括对抗目标损失L_adv、图像重建损失L_rec、以及风格一致性损失L_sty三个部分，定义分别如下

L_adv＝E[logD(Y)]+E[log(1-D(G(Y^*)))]

L_rec＝E[‖Y^*-G(Y^*)‖₂]

L_sty＝E[‖G(Y)-G(Y^*)‖₂]+αE[‖G(X^*_p)-G(Y_p)‖₂]

其中，D()表示鉴别器，G()表示生成器，E表示分布函数的期望值，α表示比例系数，这里取0.1；

步骤五、利用基于Haar特征级联分类器识别人脸区域，并进行人脸属性迁移：

步骤501、利用基于Haar特征级联分类器识别人脸区域，将人脸区域裁剪出来，并将长宽变换为256*256的图像；

步骤502、对提取的人脸图像按照步骤三和步骤四进行人脸属性迁移。

以上所述，仅是本发明的实施例，并非对本发明作任何限制，凡是根据本发明技术实质对以上实施例所作的任何简单修改、变更以及等效结构变化，均仍属于本发明技术方案的保护范围内。

Claims (1)

1.一种基于图像分割和生成对抗网络的人脸属性迁移方法，其特征在于：包括以下步骤：

步骤一、设置人脸属性迁移的基本网络框架，设置网络的基本参数；

步骤二、利用CelebA数据集对U-Net人脸图像分割模型进行训练：

步骤201、打乱CelebA数据集并将数据集进行随机划分，分为训练集、验证集、以及测试集；

步骤202、初始化U-Net网络，设置输入图片的长宽为K*K，设置输出层输出类别为7，分别对应人脸的七种属性，包括左眼、右眼、鼻子、嘴、左眉、右眉、以及整个脸部；

步骤203、采用Focalloss损失函数对U-Net网络进行训练；

步骤204、对U-Net网络的前L层进行粗训练，采用Adam优化器，学习率为0.0001，其他参数采用Adam优化器的默认值；

步骤205、当验证集损失值变化小于0.005时，对U-Net网络的前M层进行精细训练，采用Adam优化器，学习率为0.00001，其他参数采用Adam优化器的默认值；

步骤三、利用训练好的U-Net网络分割人脸图像，将需要迁移的人脸属性从源图像中分割出来，融合到目标人脸图像：

步骤301、利用训练好的U-Net网络对数据集中每一张图像都进行人脸属性判别，得到K*K*7的判别结果矩阵；

步骤302、根据人脸属性判别结果矩阵，将需要迁移的人脸属性p对应的像素点置1，其他属性对应的像素点置0，对源图像X和目标图像Y进行掩膜和反掩膜，得到只含属性p的图像X_p和Y_p，以及不含属性p的图像X_np和Y_np；

步骤303、求X_p和Y_p的均值分别表示为μ_x，μ_y，求X_p和Y_p的方差分别表示为σ_x，σ_y，并对X_p进行变换得到X^*_p，公式如下

步骤304、将X^*_p与Y_np进行拼接融合，得到融合的图像Y^*；

步骤四、将目标图像和融合的图像输入到生成对抗网络，使得融合的图像符合目标图像的风格：

步骤401、将数据集中所有的目标图像Y和对应的融合图像Y^*输入到生成对抗网络中，同时将只含属性p的图像Y_p以及变换后图像X^*_p输入到生成对抗网络中；

步骤402、生成对抗网络进行对抗训练，目的是使得融合后的图像更加符合目标图像的风格，网络训练的损失函数包括对抗目标损失L_adv、图像重建损失L_rec、以及风格一致性损失L_sty三个部分，定义分别如下

L_adv＝E[log D(Y)]+E[log(1-D(G(Y^*)))]

L_rec＝E[||Y^*-G(Y^*)||₂]

L_sty＝E[||G(Y)-G(Y^*)||₂]+αE[||G(X^*_p)-G(Y_p)||₂]

其中，D()表示鉴别器，G()表示生成器，E表示分布函数的期望值，α表示比例系数；

步骤五、利用基于Haar特征级联分类器识别人脸区域，并进行人脸属性迁移：

步骤501、利用基于Haar特征级联分类器识别人脸区域，将人脸区域裁剪出来，并将长宽变换为K*K的图像；

步骤502、对提取的人脸图像按照步骤三和步骤四进行人脸属性迁移。

Images