CN110415308B - 一种基于循环空间转换网络的人脸漫画生成方法 - Google Patents

Abstract

本发明公开了一种基于循环空间转换网络的人脸漫画生成方法，包括：(1)选择训练数据集，分析数据集中的照片和人脸漫画部分，获取人脸的关键点信息；(2)根据人脸的关键点信息，建立基于循环空间转换网络的空间转换模型；(3)对空间转换模型进行训练和测试；(4)建立照片和人脸漫画之间的纹理转换模型，并进行训练优化；(5)将待转换的照片输入训练好的空间转换模型，并将空间转换结果送入纹理转换模型，最终得到高质量的人脸漫画。利用本发明，可以使得生成的人脸漫画不仅在几何结构上具有夸张化的效果，同时在纹理色彩上也具有艺术化的风格，极大地提升了美观性和趣味性。

Description

一种基于循环空间转换网络的人脸漫画生成方法

技术领域

本发明属于计算机视觉中的图像生成转换领域，尤其是涉及一种基于循环空间转换网络的人脸漫画生成方法。

背景技术

人脸漫画指的是针对正常人脸，以夸张化，艺术化的手法来绘画，起到讽刺或幽默的视觉效果。它们被广泛用于描述明星或政治家以达到娱乐目的。

来自德州农工大学的Ergun Akleman等人在2000年的可视化期刊上的文章《Making Extreme Caricatures with a New Interactive 2D Deformation Techniquewith Simplicial Complexes》中提出了一个交互式的程序用于生成讽刺画。他们的程序提前定义好了许多人脸五官的关键点含义，然后要求用户指定照片和讽刺画的关键点的位置。这样他们的程序就可以根据这些关键点的对应关系，计算照片中所有像素映射到讽刺画的位置。他们的程序非常依赖于用户的控制，并且他们得到讽刺画没有纹理上的艺术效果，因此生成效果不能令人满意。在该算法之后还有许多基于规则或交互的方法，但是这些方法大多无法完成照片到讽刺画的纹理转换。

将照片转换成人脸漫画可以被看作一个特殊的图像转换任务。近年来，基于生成对抗网络的方法在这一问题上取得了很大进展。生成对抗网络是由来自谷歌的研究员IanJ.Goodfellow等人在2016年的神经信息处理系统大会上提出的图像生成算法，也就是文章《Generative Adversarial Nets》。该算法包含了两个部分，分别是生成网络和判别网络。生成网络的目的是把一个随机的向量作为输入，然后输出一张看起来像真实图片的结果。判别网络的目的是区分一张图片是真实的还是网络生成的。生成网络和判别网络同时在数据集上训练，然后它们的优化的目标函数是互相对抗的，最终使得生产网络和判别网络的性能都大大增强。而我们在实际使用时只需要保留生成网络即可。在人脸漫画生成这一任务中，我们把照片作为生成网络的输入，期望生成网络能够依据照片内容输出一张人脸漫画。目前主流的图像转换技术，主要采取由Jun-Yan Zhu等人在2017年在国际顶级会议IEEEInternational Conference on Computer Vision上发表的文章《Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks》中提出的循环生成对抗网络框架,即CycleGan。该方法致力于解决未配对的图像转换任务。拿讽刺画生成举例子，该算法有两组生成器和判别器。其中一组是解决从照片到讽刺画的转换，另一组则从讽刺画生成照片。所谓的循环指的是一张照片经过生成器变成讽刺画后，再由另一个生成器转换，应当能够变回原始的照片。这个循环的约束使得网络的训练更加稳定有效。但是我们发现CycleGan并不能很好地解决讽刺画生成问题，原因在于讽刺画相对于原始照片存在很大的人脸形变，而CycleGan一般只能改变照片的纹理。

除了生成对抗网络之外，还有一些方法是基于风格迁移的思想来实现图像转换。其中最主流的工作是由来自于德国图宾根大学的研究员Leon A.Gatys等人在2015年的计算机视觉顶级会议上发表的文章《Image Style Transfer Using Convolutional NeuralNetworks》。其中重点介绍了基于神经网络的风格迁移算法。该算法需要使用一张原始图片和一张风格图片作为输入，然后使用主流的VGG网络获取这两张图片的卷积层特征。通过最小化风格损失函数，将对应的反向梯度更新到原始图片上，不断改变原始图片的内容，最终得到和风格图片具有相似风格的结果。这其中风格损失函数是原始图片和风格图片的卷积层特征的格拉姆矩阵的欧式距离。但是风格迁移往往不能改变照片的几何结构，无法起到夸张化的效果。

综上，我们注意到现有的基于神经网络的图像转换算法一般只能解决图片纹理上的转化，比如斑马到马，冬天到夏天等等。当要转换的图像之间存在较大的几何形变时，这些现有的图像转换算法都会失败。所以它们都不适合用来解决人脸漫画生成问题。

发明内容

本发明提供了一种基于循环空间转换网络的人脸漫画生成方法，不仅在几何结构上具有夸张化的效果，同时在纹理色彩上也具有艺术化的风格，极大地提升了人脸漫画的图片质量和美观性。

一种基于循环空间转换网络的人脸漫画生成方法，包括以下步骤：

(1)选择训练数据集，分析数据集中的照片和人脸漫画部分，获取人脸的关键点信息；

(2)根据人脸的关键点信息，建立基于循环空间转换网络的空间转换模型；

(3)对空间转换模型进行训练和测试；

(4)建立照片和人脸漫画之间的纹理转换模型，并进行训练优化；

(5)将待转换的照片输入训练好的空间转换模型，并将空间转换结果送入纹理转换模型，最终得到高质量的人脸漫画。

本发明人脸漫画生成方法，是一种改进版的图像转换算法，不仅考虑了待转换的照片和人脸漫画之间的纹理差异，还能够处理它们之间的几何结构差异。本发明可以从照片自动地生成具有讽刺幽默效果的人脸图片，兼具趣味性和艺术性。

步骤(1)中，采用深度神经网络获取图片中人脸的关键点信息，关键点包括眉毛、眼睛、鼻子、嘴巴和轮廓等。这些关键点信息是后续进行空间转换的基础。

步骤(2)中，所述空间转换模型的以人脸关键点的热点图作为输入，经过若干层卷积神经网络后，预测得到用于空间转换的参数，利用该参数对人脸关键点的热点图进行空间转换，得到经过几何变形的人脸关键点的热点图。

步骤(3)中，对空间转换模型进行训练的具体步骤如下：

(3-1)训练一个判别器网络，用于区分输入的热点图属于真实的人脸漫画热点图还是利用空间转换模型生成的热点图；

(3-2)对于每一张照片的人脸热点图，输入到空间转换网络，预测一组几何变形参数，把这组几何形变参数作用到人脸热点图上，生成一张形变后的热点图；将生成的热点图送入判别器网络；该空间转换网络训练的目标函数是使判别器网络误以为生成的热点图是真实的人脸漫画热点图；

(3-3)对于每张生成的人脸漫画热点图，使用空间转换网络转换回照片的热点图，在训练时判别器网络和空间转换网络的过程中，尽可能缩小该热点图与最初输入的照片热点图的欧氏距离；

(3-4)重复步骤(3-1)～步骤(3-3)，达到预设训练次数后结束训练。

步骤(3-1)中，所述判别器网络训练的目标函数是二分类的交叉熵损失函数，公式为

其中，y为1时表明送入判别器的为真实人脸关键点，y为0时表明送入判别器的为生成的人脸关键点，

为判别器预测输入为真实人脸关键点的置信度。

步骤(4)中，所述纹理转换模型的训练过程如下：

(4-1)挑选若干张风格不同的真实人脸漫画，并分别使用一个长度为8的由0或1组成的编码来表示每一张真实的人脸漫画；

(4-2)随机挑选一张真实人脸漫画和对应的编码送入到纹理转换网络，得到转换后的结果，计算损失函数，包括内容损失函数和风格损失函数，所述内容损失函数为转换后的真实人脸漫画和初始的真实人脸漫画的VGG网络特征的欧式距离，所述风格损失函数为转换后的真实人脸漫画和指定的人脸漫画的VGG网络特征的统计量的欧式距离；

(4-3)重复步骤(4-2)，直到纹理转换模型的损失值收敛。

与现有技术相比，本发明具有以下有益效果：

1、本发明提出的循环空间转换算法，通过使用空间转换网络，可以直接改变照片中人脸的几何结构，从而避免其他图像转换算法无法生成夸张化的人脸漫画的难题。

2、本发明使用了纹理转换网络来改变照片的风格，使得生成的人脸漫画具有一定的艺术画效果。

3、本发明的可以获得明显优于其他图像转换算法的人脸漫画结果。

附图说明

图1为本发明一种基于循环空间转换网络的人脸漫画生成方法的框架示意图；

图2为本发明实施例中空间转化模块示意图；

图3为本发明实施例中循环空间转换网络示意图；

图4为本发明实施例中纹理转换模块示意图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。

如图1所示，本发明将人脸漫画生成分为空间转换模型和纹理转换模型，并分别对这两个模型进行训练和测试。

图像转化模块的具体框架如图2所示。使用人脸关键点的热点图作为输入，经过若干层卷积神经网络之后，直接预测用于空间转换的参数。然后将这个空间转换作用到到热点图上，就可以得到经过了几何形变的人脸关键点的热点图。

循环空间转换网络的具体框架如图3所示。该网络利用了循环生成对抗网络的思想，包含了一个判别器网络和空间转换网络，训练的基本步骤如下：

1.初始化空间转换模块(spatial transformer module)和判别器网络(discriminator)的模型参数。

2.训练一个判别器网络。目标是要区分一张输入的热点图是真实的人脸漫画的热点图还是我们利用网络生成的热点图。因此，该网络的主要的用于训练的目标函数是二分类的交叉熵损失函数。

3.对于每一张照片的人脸热点图，将它送入空间转换模块中，得到一张形变后的热点图。接下来，我们为了训练这个空间转换模块，会将生成的热点图送入判别器网络。然后训练的目标函数是要使得判别器网络误以为生成的热点图是真实的人脸漫画热点图。这样的训练可以看作是对抗，也就是说空间转换模块在和判别器网络竞争，想要降低判别器网络的准确率。

4.对于生成的人脸漫画热点图，我们会再一次使用空间转换网络将其转换回到类似于照片的热点图。这时，我们要求循环回来的照片热点图要和最初输入的照片热点图的欧式距离尽可能小，也就是图3的左下角的重建损失(reconstruction loss)。这样的目的是保证网络训练的稳定性。

5.结合生成对抗的思想，我们不停地交替训练空间转换模块和判别器网络，这样就可以使得判别网络和生成网络的性能越来越好。在训练到一定的迭代次数后，我们停止训练，只保留空间转换模块。

纹理转换网络的输入是一张形变后的照片，我们想要的输出是具有艺术化风格的照片，也就是人脸漫画。我们在图4中给出该网络的训练的基本步骤：

1.我们首先对纹理转换网络的模型参数进行初始化。

2.挑选8张不同风格的真实人脸漫画，并使用一个长度为8的由0或1组成的编码来代表某一张真实人脸漫画，也就是图4左下角的条件信息和对应的8张人脸漫画。

3.在训练过程中，我们每次随机挑选一张照片和一个编码送入到纹理转换网络，进过若干层卷积神经网络之后得到转换的结果。纹理转换网络的损失函数分为两部分。第一个部分是内容损失函数(content loss)，也就是转换后的图片和原始照片的VGG网络特征的欧式距离，我们希望这一项越小越好，这样意味着照片的内容没有发生改变。第二个部分是风格损失函数(style loss)，也就是转换后的图片和指定的人脸漫画的VGG网络特征的统计量(平均值和方差)的欧式距离。

4.我们遍历整个训练集若干次，最终得到收敛的纹理转换网络。

当空间转换网络和纹理转换网络都训练好后，我们就可以像图1中展示的那样，随意挑选一张照片，将它依次送入到空间转换网络和纹理转换网络，得到我们想要的人脸漫画。而且人脸漫画和照片中的人物是同一个。

本实施例在一个大型公开数据集Webcaricature上与其他目前最前沿的人脸漫画生成方式进行了对比。Webcaricature是一个大规模的照片与人脸漫画图片数据库，其中包含了252个名人的5974张照片和6042张人脸漫画。数据集按照7：2：1分成三个部分：训练集、验证集、测试集。

本实施例主要是用用户调研作为评判指标。我们匿名的展示不同方法的结果，由用户挑选出他们认为最合理最好看的人脸漫画。总共比较了4个目前主流的图像转换算法：CycleGan，Style，MUNIT以及DRIT。整体对比结果如表1所示。

表1

方法	用户投票比例
		CycleGan	15.4
Style	19.0
		MUNIT	0.48
DRIT	11.7
		本发明系统	53.5

从表1可以看出，本发明提出的人脸漫画生成算法，获得了最多的用户投票53.5％，充分展示了本发明算法的优越性。

以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于循环空间转换网络的人脸漫画生成方法，其特征在于，包括以下步骤：

(1)选择训练数据集，分析数据集中的照片和人脸漫画部分，获取人脸的关键点信息；采用深度神经网络获取图片中人脸的关键点信息，关键点包括眉毛、眼睛、鼻子、嘴巴和轮廓；

(2)根据人脸的关键点信息，建立基于循环空间转换网络的空间转换模型；所述空间转换模型以人脸关键点的热点图作为输入，经过若干层卷积神经网络后，预测得到用于空间转换的参数，利用该参数对人脸关键点的热点图进行空间转换，得到经过几何变形的人脸关键点的热点图；

(3)对空间转换模型进行训练和测试；具体步骤如下：

(3-1)训练一个判别器网络，用于区分输入的热点图属于真实的人脸漫画热点图还是利用空间转换模型生成的热点图；

(3-2)对于每一张照片的人脸热点图，输入到空间转换网络，预测一组几何变形参数，把这组几何形变参数作用到人脸热点图上，生成一张形变后的热点图；将生成的热点图送入判别器网络；该空间转换网络训练的目标函数是使判别器网络误以为生成的热点图是真实的人脸漫画热点图；

(3-3)对于每张生成的人脸漫画热点图，使用空间转换网络转换回照片的热点图，在训练时判别器网络和空间转换网络的过程中，尽可能缩小该热点图与最初输入的照片热点图的欧氏距离；

(3-4)重复步骤(3-1)～步骤(3-3)，达到预设训练次数后结束训练；

(4)建立照片和人脸漫画之间的纹理转换模型，并进行训练优化；所述纹理转换模型的训练过程如下：

(4-1)挑选若干张风格不同的真实人脸漫画，并分别使用一个长度为8的由0或1组成的编码来表示每一张真实的人脸漫画；

(4-2)随机挑选一张真实人脸漫画和对应的编码送入到纹理转换网络，得到转换后的结果，计算损失函数，包括内容损失函数和风格损失函数，所述内容损失函数为转换后的真实人脸漫画和初始的真实人脸漫画的VGG网络特征的欧式距离，所述风格损失函数为转换后的真实人脸漫画和指定的人脸漫画的VGG网络特征的统计量的欧式距离；

(4-3)重复步骤(4-2)，直到纹理转换模型的损失值收敛；

(5)将待转换的照片输入训练好的空间转换模型，并将空间转换结果送入纹理转换模型，最终得到高质量的人脸漫画。

2.根据权利要求1所述的基于循环空间转换网络的人脸漫画生成方法，其特征在于，步骤(3-1)中，所述判别器网络训练的目标函数是二分类的交叉熵损失函数，公式为

其中，y为1时表明送入判别器的为真实人脸关键点，y为0时表明送入判别器的为生成的人脸关键点，

为判别器预测输入为真实人脸关键点的置信度。

Images