CN111667400B - 一种基于无监督学习的人脸轮廓特征风格化生成方法 - Google Patents

Abstract

本发明提供一种基于无监督学习的人脸轮廓特征风格化生成方法，包括获取人脸图片，并在人脸图片中，利用人脸轮廓及关键特征点进行特征提取，以及结合颜色特征信息限定关键人脸风格化区域后，通过局部区域二值化处理生成特征区域人脸处理后的采样图像；基于CycleGAN生成对抗网络，构建风格化图像生成模型，并将采样图像导入风格化图像生成模型中，得到人脸轮廓特征区域卡通风格化的图像。实施本发明，解决了现有技术所存在的问题，提高了图像风格化结果及鲁棒性。

Description

一种基于无监督学习的人脸轮廓特征风格化生成方法

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于无监督学习的人脸轮廓特征风格化生成方法。

背景技术

近年来，基于特征提取的人脸关键区域风格化技术受到了极大的市场关注。涌现了一大批基于人脸区域特征提取的应用技术，如人脸图像的编辑美化、视频人脸风格贴图、“变脸”等，在影视娱乐、动漫游戏、广告宣传领域得到了广泛的应用。

采用传统的图像处理技术，能够实现人脸关键特征的风格改变和迁移，从而达到美化人脸图像的目的。然而随着计算机视觉领域的发展，通过采用深度学习技术，能够实现更加智能快速的人脸特征风格化及特征融合。传统的人脸风格化方法利用图像处理的技术，能够通过提取人脸面部特征位置，根据所需的表情从素材库中调取相应的五官贴图，从而进行匹配或替换而生成卡通图像；进一步的，在视频图像处理领域，利用非真实感渲染，通过学习特定风格的笔触特征，模拟表现人脸区域的艺术化特质；进一步的，在图像滤波研究领域，研究人员提出了一种更为一般化的Kuwahara滤波器，通过利用平滑权重函数代替矩形区域，考虑各向异性的权重函数形成聚类的方法，能够在平滑图像的同时保留图像有意义的边缘信息，从而提高图像风格化的结果。

但是，现有的人脸风格化方法存在不足之处，其不足之处在于图像边缘信息粗糙、过度不够平滑，局部特征区域轮廓图像融合不够自然，缺少有效的滤波算法对图像的边缘融合进行处理等。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于无监督学习的人脸轮廓特征风格化生成方法，能解决现有技术中图像边缘信息粗糙、过度不够平滑，局部特征区域轮廓图像融合不够自然，缺少有效的滤波算法对图像的边缘融合进行处理等问题，提高了图像风格化结果及鲁棒性。

为了解决上述技术问题，本发明实施例提供了一种基于无监督学习的人脸轮廓特征风格化生成方法，包括以下步骤：

获取人脸图片，并在所述人脸图片中，利用人脸轮廓及关键特征点进行特征提取，以及结合颜色特征信息限定关键人脸风格化区域后，通过局部区域二值化处理生成特征区域人脸处理后的采样图像；

基于CycleGAN生成对抗网络，构建风格化图像生成模型，并将所述采样图像导入所述风格化图像生成模型中，得到人脸轮廓特征区域卡通风格化的图像。

其中，所述在所述人脸图片中，利用人脸轮廓及关键特征点进行特征提取，以及结合颜色特征信息限定关键人脸风格化区域后，通过局部区域二值化处理生成特征区域人脸处理后的采样图像的步骤，具体包括：

在所述人脸图片中，利用预设人脸检测算法中的梯度方向直方图检测人脸区域，得到包围人脸区域的顶点坐标，并根据所述包围人脸区域的顶点坐标，确定人脸矩形框；

在所述人脸矩形框中，计算获得一个最小化人脸椭圆特征区域并记为第一标记区；

在所述人脸矩形框中，通过预设的关键点算法采用人脸关键点，得到人脸特征关键点区域并记为第二标记区；

在所述人脸矩形框中，通过采集计算脸部区域肤色，获得人脸学习的感兴趣区域并记为第三标记区，并对所述第三标记区进行局部区域二值化处理；

将局部区域二值化处理后的第三标记区与所述第一标记区及所述第二标记区进行合并，得到所述采样图像。

其中，通过公式G_x(x，y)＝H(x+1，y)-H(x-1，y)、公式G_y(x，y)＝H(x，y+1)-H(x，y-1)及公式

计算得到所述包围人脸区域的顶点坐标G(x，y)；其中，

Gx、Gy分别表示像素点(x,y)在水平方向及垂直方向的梯度；H(x,y)表示像素的灰度值；

其中，所述预设的关键点算法的步骤通过建立一个级联的残差回归树来使人脸形状从当前形状一步一步回归到真实形状来实现，具体为：

每一个残差回归树的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，最终将所有残差叠加在一起，就完成了人脸对齐。

其中，所述预设的关键点算法根据公式

来实现；其中，

表示第t级回归器的形状，是一个由坐标组成的向量；t表示级联的级数；I为图像，即所述人脸矩形框；r_t更新策略采用残差回归树梯度提升决策树，即每级回归器学习的都是当前形状。

其中，所述局部区域二值化是通过将RGB图像转换到YCrCb颜色空间后，提取Cr分量图像，并在所述Cr分量图像中采用Otsu算法自动选取阈值进行二值化来实现的。

其中，所述方法进一步包括：

若所述采样图像的人脸特征区域不够明显，则利用均值滤波操作对所提取人脸特征区域的边缘轮廓进行平滑羽化处理，并相应的扩展风格化生成图像的过渡区域。

实施本发明实施例，具有如下有益效果：

本发明引用人脸局部轮廓区域进行风格化生成，采用二值化滤波技术对局部边缘区域进行颜色空间融合，并采用无监督的对抗生成网络构建风格化图像生成，从而解决了现有技术中图像边缘信息粗糙、过度不够平滑，局部特征区域轮廓图像融合不够自然，缺少有效的滤波算法对图像的边缘融合进行处理等问题，提高了图像风格化结果及鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本发明的范畴。

图1为本发明实施例提出的一种基于无监督学习的人脸轮廓特征风格化生成方法的流程图；

图2为本发明实施例提出的一种基于无监督学习的人脸轮廓特征风格化生成方法中四个模态的MRI图像预处理之前的应用场景图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述。

如图1所示，为本发明实施例中，提出的一种基于无监督学习的人脸轮廓特征风格化生成方法，包括以下步骤：

步骤S1、获取人脸图片，并在所述人脸图片中，利用人脸轮廓及关键特征点进行特征提取，以及结合颜色特征信息限定关键人脸风格化区域后，通过局部区域二值化处理生成特征区域人脸处理后的采样图像；

步骤S2、基于CycleGAN生成对抗网络，构建风格化图像生成模型，并将所述采样图像导入所述风格化图像生成模型中，得到人脸轮廓特征区域卡通风格化的图像。

具体过程为，在步骤S1中，第一步、在人脸图片中，利用预设人脸检测算法中的梯度方向直方图检测人脸区域，得到包围人脸区域的顶点坐标，并根据包围人脸区域的顶点坐标，确定人脸矩形框。其中，梯度方向直方图HOG是一种基于形状边缘特征，能对物体进行检测的描述算子，基本思想是利用梯度信息能很好的反映图像目标的边缘信息并且通过局部梯度的大小将图像局部的外观和形状特征化。

因此，通过公式G_x(x，y)＝H(x+1，y)-H(x-1，y)、公式G_y(x，y)＝H(x，y+1)-H(x，y-1)及公式

计算得到所述包围人脸区域的顶点坐标G(x，y)；其中，

Gx、Gy分别表示像素点(x,y)在水平方向及垂直方向的梯度；H(x,y)表示像素的灰度值；

第二步、在人脸矩形框中，计算获得一个最小化人脸椭圆特征区域并记为第一标记区Mask1。例如，根据包围人脸区域的顶点坐标可以确定算出中心坐标，以及半径，这样可以根据调整半径，成为椭圆的长轴和短轴，然后根据面部特征把左右缩小，上下拉升。中心点上移尽可能去拟合额头区域。

第三步、在人脸矩形框中，通过预设的关键点算法采用人脸关键点，得到人脸特征关键点区域并记为第二标记区Mask2。其中，该关键点算法是基于Ensemble of RegressionTress算法，是一种基于梯度提高学习的回归树方法，其具体步骤通过建立一个级联的残差回归树来使人脸形状从当前形状一步一步回归到真实形状来实现，具体为：每一个残差回归树的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，最终将所有残差叠加在一起，就完成了人脸对齐。该关键点算法根据公式

来实现；其中，

表示第t级回归器的形状，是一个由坐标组成的向量；t表示级联的级数；I为图像，即所述人脸矩形框；r_t更新策略采用残差回归树梯度提升决策树，即每级回归器学习的都是当前形状。

在一个实施例中，限定在人脸矩形区域内去采用人脸关键点，通过68个点的关键点检测定位方法，最终会得到68个关键点的坐标，68个点包含眼镜，眉毛，鼻子，嘴巴这些主要特征，取最外层27个点得到一个不规则形状的人脸特征关键点区域Mask2。

第四步、在人脸矩形框中，通过采集计算脸部区域肤色，获得人脸学习的感兴趣区域并记为第三标记区，并对第三标记区进行局部区域二值化处理；其中，局部区域二值化是通过将RGB图像转换到YCrCb颜色空间后，提取Cr分量图像，并在Cr分量图像中采用Otsu算法自动选取阈值进行二值化来实现的。

在一个实施例中，第三标记区主要根据肤色提取特征，采用YCrCb颜色空间Cr分量+Otsu法阈值分割。YCrCb即YUV，其中“Y”表示明亮度(Luminance或Luma)，也就是灰阶值；而“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述影像色彩及饱和度，用于指定像素的颜色。“亮度”是透过RGB输入信号来建立的，方法是将RGB信号的特定部分叠加到一起。“色度”则定义了颜色的两个方面─色调与饱和度，分别用Cr和Cb来表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异。而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。

该方法的原理也很简单：a.将RGB图像转换到YCrCb颜色空间，提取Cr分量图像；b.对Cr做自二值化阈值分割处理(Otsu法)。其中，

Otsu算法(最大类间方差法)使用的是聚类的思想，把图像的灰度数按灰度级分成2个部分，使得两个部分之间的灰度值差异最大，每个部分之间的灰度差异最小，通过方差的计算来寻找一个合适的灰度级别来划分。

所以，可以在二值化的时候采用otsu算法来自动选取阈值进行二值化。otsu算法被认为是图像分割中阈值选取的最佳算法，计算简单，不受图像亮度和对比度的影响。因此，使类间方差最大的分割意味着错分概率最小。

图像总平均灰度为：u＝w₀*u₀+w₁*u₁；设t为设定的阈值，w₀为分开后前景像素点数占图像的比例，u₀为分开后前景像素点的平均灰度，w₁为分开后背景像素点数占图像的比例，u₁为分开后背景像素点的平均灰度。

从L个灰度级遍历t，使得t为某个值的时候，前景和背景的方差最大，则这个t值便是我们要求得的阈值。其中，方差的计算公式如下：g＝w₀*(u₀-u)*(u₀-u)+w₁*(u₁-u)*(u₁-u)。此公式计算量较大，可以采用：g＝w₀*w₁*(u₀-u₁)*(u₀-u₁)。

第五步、将局部区域二值化处理后的第三标记区与第一标记区及第二标记区进行合并，得到采样图像。此时，将3个mask合并，得到需要提取的图像，完成提取部分的工作，即M＝{m1∪m2∪m3}。

应当说明的是，若采样图像的人脸特征区域不够明显，则利用均值滤波操作对所提取人脸特征区域的边缘轮廓进行平滑羽化处理，并相应的扩展风格化生成图像的过渡区域。

在步骤S2中，通过基于CycleGAN生成对抗网络，构建风格化图像生成模型，导入采样图像进行训练学习，然后使用训练数据集进行人脸图像局部轮廓特征区域的卡通风格化生成，得到人脸轮廓特征区域卡通风格化的图像，如图2所示。

应当说明的是，GAN生成对抗网络有生成器G(generator)和鉴别器(Discriminator)。有两个数据域分别为X,Y。G负责把X域中的数据拿过来拼命地模仿成真实数据并把它们藏在真实数据中，而D就拼命地要把伪造数据和真实数据分开。经过二者的博弈以后，G的伪造技术越来越厉害，D的鉴别技术也越来越厉害。直到D再也分不出数据是真实的还是G生成的数据的时候，这个对抗的过程达到一个动态的平衡。

GAN需要两个loss，分别是生成器的重建loss和判别器的判别loss。其中，判别器loss：判别器DB是用来判断输入的图片是否是真实的domain B图片，于是生成的假图片GAB(A)和原始的真图片B都会输入到判别器里面，公示挺好理解的，就是一个0,1二分类的损失。最后的loss表示为：

生成器loss：生成器用来重建图片a，目的是希望生成的图片GBA(GAB(a))和原图a尽可能的相似，那么可以很简单的采取L1 loss或者L2 loss。最后生成loss就表示为：

其中，CycleGAN本质上是两个镜像对称的GAN，构成了一个环形网络。两个GAN共享两个生成器，然后各自带一个判别器，所以加起来总共有两个判别器和两个生成器。一个单向GAN有两个loss，而CycleGAN加起来总共有四个loss。CycleGAN的原理可以概述为：将一类图片转换成另一类图片。也就是说，现在有两个样本空间，X和Y，希望把X空间中的样本转换成Y空间中的样本。

因此，实际的目标就是学习从X到Y的映射。设这个映射为G。它就对应着GAN中的生成器，G可以将X中的图片X转换为Y中的图片G(x)。对于生成的图片，还需要GAN中的判别器来判别它是否为真实图片，由此构成对抗生成网络。设这个判别器为D{Y}。这样的话，根据这里的生成器和判别器，就可以构造一个GAN损失，表达式为：

这个损失实际上和原始的GAN损失是一模一样的，但单纯的使用这一个损失是无法进行训练的。原因在于映射G完全可以将所有x都映射为Y空间中的同一张图片，使损失无效化。

再假设一个映射F，它可以将Y空间中的图片y转换为X中的图片F(y)。同样的我们为F也引入一个判别器D{X}，由此可以同样定义一个GAN的损失：

CycleGAN同时学习G和F两个映射，并要求将X的图片转换到Y空间后，应该还可以转换回来。这样就杜绝模型把所有X的图片都转换为Y空间中的同一张图片了。

实施本发明实施例，具有如下有益效果：

本发明引用人脸局部轮廓区域进行风格化生成，采用二值化滤波技术对局部边缘区域进行颜色空间融合，并采用无监督的对抗生成网络构建风格化图像生成，从而解决了现有技术中图像边缘信息粗糙、过度不够平滑，局部特征区域轮廓图像融合不够自然，缺少有效的滤波算法对图像的边缘融合进行处理等问题，提高了图像风格化结果及鲁棒性。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如ROM/RAM、磁盘、光盘等。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于无监督学习的人脸轮廓特征风格化生成方法，其特征在于，包括以下步骤：

获取人脸图片，并在所述人脸图片中，利用人脸轮廓及关键特征点进行特征提取，以及结合颜色特征信息限定关键人脸风格化区域后，通过局部区域二值化处理生成特征区域人脸处理后的采样图像；

基于CycleGAN生成对抗网络，构建风格化图像生成模型，并将所述采样图像导入所述风格化图像生成模型中，得到人脸轮廓特征区域卡通风格化的图像；

所述在所述人脸图片中，利用人脸轮廓及关键特征点进行特征提取，以及结合颜色特征信息限定关键人脸风格化区域后，通过局部区域二值化处理生成特征区域人脸处理后的采样图像的步骤，具体包括：

在所述人脸图片中，利用预设人脸检测算法中的梯度方向直方图检测人脸区域，得到包围人脸区域的顶点坐标，并根据所述包围人脸区域的顶点坐标，确定人脸矩形框；

在所述人脸矩形框中，计算获得一个最小化人脸椭圆特征区域并记为第一标记区；

在所述人脸矩形框中，通过预设的关键点算法采用人脸关键点，得到人脸特征关键点区域并记为第二标记区；

在所述人脸矩形框中，通过采集计算脸部区域肤色，获得人脸学习的感兴趣区域并记为第三标记区，并对所述第三标记区进行局部区域二值化处理；

将局部区域二值化处理后的第三标记区与所述第一标记区及所述第二标记区进行合并，得到所述采样图像。

2.如权利要求1所述的基于无监督学习的人脸轮廓特征风格化生成方法，其特征在于，通过公式G_x(x，y)＝H(x+1，y)-H(x-1，y)、公式G_y(x，y)＝H(x，y+1)-H(x，y-1)及公式

计算得到所述包围人脸区域的顶点坐标G(x，y)；其中，

Gx、Gy分别表示像素点(x，y)在水平方向及垂直方向的梯度；H(x，y)表示像素的灰度值；

3.如权利要求1所述的基于无监督学习的人脸轮廓特征风格化生成方法，其特征在于，所述预设的关键点算法的步骤通过建立一个级联的残差回归树来使人脸形状从当前形状一步一步回归到真实形状来实现，具体为：

每一个残差回归树的每一个叶子节点上都存储着一个残差回归量，当输入落到一个节点上时，就将残差加到该输入上，最终将所有残差叠加在一起，就完成了人脸对齐。

4.如权利要求3所述的基于无监督学习的人脸轮廓特征风格化生成方法，其特征在于，所述预设的关键点算法根据公式

来实现；其中，

表示第t级回归器的形状，是一个由坐标组成的向量；t表示级联的级数；I为图像，即所述人脸矩形框；r_t更新策略采用残差回归树梯度提升决策树，即每级回归器学习的都是当前形状。

5.如权利要求1所述的基于无监督学习的人脸轮廓特征风格化生成方法，其特征在于，所述局部区域二值化是通过将RGB图像转换到YCrCb颜色空间后，提取Cr分量图像，并在所述Cr分量图像中采用Otsu算法自动选取阈值进行二值化来实现的。

6.如权利要求1所述的基于无监督学习的人脸轮廓特征风格化生成方法，其特征在于，所述方法进一步包括：

若所述采样图像的人脸特征区域不够明显，则利用均值滤波操作对所提取人脸特征区域的边缘轮廓进行平滑羽化处理，并相应的扩展风格化生成图像的过渡区域。

Images