CN100487732C - 一种基于人脸照片的卡通肖像生成方法 - Google Patents

Abstract

本发明公开了一种基于人脸照片的卡通肖像生成方法，包括以下步骤：1)人脸图片数据的采集和处理；2)产生从真实人脸图片到卡通人脸图片的变形映射模型；3)对输入的真实人脸图片通过所述形变映射模型生成变形人脸图片；步骤4)将所述步骤3)中变形人脸图片进行纹理变换。所述人脸图片数据的处理包括以下步骤：(1)对人脸图片数据中轮廓点的提取；(2)按照平均轮廓点，对所有人脸图片进行轮廓对齐。所述步骤2)中包括如下步骤：(1)对所有图片提取其轮廓点主成分；(2)得到从真实人脸图片到卡通人脸图片的形变映射模型。本发明的优点是：实现多个人脸特征的同步协调变化，能够获得既有形状夸张效果又有纹理效果的卡通人脸图片。

Description

一种基于人脸照片的卡通肖像生成方法

技术领域

本发明涉及计算机图形图像处理技术，特别涉及人脸图像处理方法。

背景技术

近年来，数字媒体技术正逐渐融入生活，极大地影响着人们的生活和工作方式，利用计算机生成人物的卡通肖像在很多领域具有广泛的应用，如视频会议、网络游戏、移动数字娱乐中，使用虚拟卡通肖像代替真实人脸，不仅可以提高数据传送的速度，而且能够很好地营造轻松、和谐的气氛。

已有技术中，由计算机生成人脸卡通肖像(或称为漫画肖像)主要包括两种方法：一是对照片人脸的轮廓进行夸张变形方法，二是对人脸纹理的卡通化处理方法。

对照片人脸的轮廓进行夸张变形主要是通过人脸轮廓提取，获得表示人脸的线条特征，然后对线条进行一些变形，则生成人脸的“卡通线条画”，比如文献1：“孙玉红、屠长河、孟祥旭，基于形状演化的线条画风格转换与变形，计算机辅助设计与图形学学报，Vol.18，No.3”中公开的技术。图1给出了3个线条画的例子，是仅有线条没有纹理的线条画。这种方法的特点是能够简洁明了地给出人脸的线条肖像，缺点在于没有纹理，不能更好地刻化人脸特征。同时，变形时，只能针对1种特征进行变形，比如变形可以包括针对额、眉、眼、鼻、嘴等部位进行变化，而此方法一次只对其中的一种特征进行扩大、缩小等线性变化。若进行多次对多个特征进行变化，则不能保证多个特征在整体上的协调性。

第二种方法通过对人脸的纹理进行处理，可以进一步丰富卡通效果的表达，比如油画效果、铅笔画效果和其它效果等。文献2：“陈洪，郑南宁，梁林，徐迎庆，沈向洋，基于样本学习的肖像画自动生成算法，计算机学报，2003年2期”公开了对人脸的纹理进行处理的技术。图2给出了3个具有纹理的肖像画。该种方法产生的肖像画的不足之处主要在于没有人脸特征的夸张变形或者没有较好的纹理变换效果。

因此，为了克服已有技术的不足，希望有一种新的基于人脸照片生成卡通肖像的方法，使得生成的卡通肖像既具有夸张的变形效果，又具有丰富的卡通纹理。

发明内容

本发明的目的是克服单独的线条变形和纹理变化的缺点，为了使得最后的效果既具有夸张的变形效果，又具有丰富的纹理效果，提供一种新的基于人脸照片的卡通肖像生成方法。

为了达到上述目的，本发明采取如下技术方案：

一种基于人脸照片的卡通肖像生成方法，包括以下步骤：

1)人脸图片数据的采集和处理步骤；所述人脸图片包括多幅真实人脸图片和多幅卡通人脸图片；

2)产生从真实人脸图片到卡通人脸图片的变形映射模型的训练学习步骤；

3)对输入的真实人脸图片通过所述形变映射模型生成变形人脸图片的步骤。

在上述技术方案中，还包括步骤4)将所述步骤3)中变形人脸图片进行纹理变换的步骤。

在上述技术方案中，在所述步骤1)中对所述人脸图片数据的处理包括以下步骤：

(1)对人脸图片数据中轮廓点的提取；

(2)按照平均轮廓点，对所有人脸图片进行轮廓对齐。

在上述技术方案中，所述步骤2)中具体包括如下步骤：

(1)对所有图片提取其轮廓点主成分；

(2)基于轮廓点主成分，针对真实人脸图片和与其一一对应的卡通人脸图片进行机器学习，得到从真实人脸图片到卡通人脸图片的形变映射模型。

进一步地，在上述步骤中，在每幅人脸图片数据提取轮廓点的数目为40—200之间的任一整数。

在上述技术方案中，进一步地，在每幅人脸图片数据提取轮廓点的数目为118。

在上述技术方案中，所述步骤1)中采集人脸图片包括真实人脸照片和卡通人脸图片至少200幅。

与已有技术相比，本发明的有益效果在于：

1)通过PCA分析，可以发现形状主成分，在形状主成分上进行变化，可以间接带来多个人脸特征的同步协调变化；

2)通过形状变形和纹理处理两个步骤的结合，使得最终效果既有形状夸张效果，又有纹理效果。

附图说明

图1是3幅没有纹理的线条画。

图2是3幅具有一定纹理特征的卡通肖像。

图3是本发明的4幅具有形状和纹理变化的卡通肖像。

图4是利用ASM提取人脸特征点的示意图。

图5为利用PCA对数据进行降维的示意图。

图6本发明中网格变形方法的示意图。

图7是本发明形变方法的流程框架图。

图8是本发明中人脸轮廓对齐的示意图。

图9是本发明的总流程框架图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细描述：

本发明组合了形状夸张变形和纹理变换两个步骤，使得生成的卡通肖像既具有夸张的变形效果，又具有丰富的卡通纹理。在形状变形方面，为了使得生成的效果尽量接近艺术家的风格，本发明采用机器学习的方法。首先需要收集大量的真实人脸及其对应的漫画肖像，将二者的特征提取出来，然后分析其主成分，建立子空间，并且基于该子空间采用机器学习的方法学习二者特征的映射关系，学习的结果是一个映射模型Y＝f(X)，Y是卡通肖像的特征，而X是真实人脸的特征。得到这个模型以后，对于新的人脸图像，提取其特征X，然后采用该映射模型f，即可以得到相应的卡通肖像的特征值Y，然后根据该特征值生成新的卡通肖像形状数据。基于主成分的操作，也即在低维子空间的操作，实际相当于对高维空间(比如后面要介绍的118维特征)进行同步操作，因此对人脸的多个特征都进行了夸张变形和协调。这是本发明方法的优势之一，常规的变形方法总是对人脸的某一种特征进行变形。

在纹理变换方面，采用特定的图像处理算法，生成各种卡通效果，如铅笔画效果，水彩画效果等。附图3给出本方法产生的既具有纹理变化，又有夸张变形的卡通肖像图片。图7所示是本发明具体实施中涉及形变处理的流程图，分为训练阶段和应用阶段。在训练阶段，经过映射学习，就在两组数据之间得到了映射模型，建立正常人脸特征和卡通人脸特征的映射模型F。在应用阶段，基于已经获得的映射模型，可以对输入的人脸图像进行形变处理。

一种基于人脸照片的卡通肖像生成方法，包括以下步骤：

1)人脸图片数据的采集和处理步骤；所述人脸图片包括多幅真实人脸图片和多幅卡通人脸图片；

作为例子，此处收集了1000幅真实人脸图片和200幅卡通人脸图片，其中有100幅真实人脸图片和100幅卡通人脸图片是一一对应的；

人脸图片数据的处理包括以下步骤：

(A)对所有人脸图片数据中轮廓点的提取。此处进行特征提取，即轮廓点的提取。对于真实人脸照片，是通过ASM(Active Shape Model，主动形状模型)方法来实现的。ASM方法是本领域内广泛采用的轮廓提取算法，比如文献“T.F.Cootes，C.J.Taylor，D.Cooper，J.Graham.Active shape models--their training andapplication[J].Computer vision and image understanding，1995，61(1)：38-59.”中公开的技术，经过训练，能够较好提取人脸特征点。但对于人脸卡通漫画图片，因为其已经步符合正常人脸的统计分布，所以无法由ASM完成，只能基于ASM由人机交互的方式完成。附图4是ASM提取人脸特征点的例子，提取的轮廓点是一个118维的一维数组。

(B)按照轮廓点，对所有人脸图片进行轮廓对齐。对齐的目的是将所有的人脸归一到统一的尺度。因为人脸图像在采集时，可能来自于不同尺度，大小不一。对齐的操作就是首先求出一个平均人脸轮廓，然后将所有的人脸轮廓一一进行放大或缩小，直到与平均人脸最为接近。附图8是人脸对齐的示意图，其中(a)是提取的原始人脸轮廓，(b)是所有人脸轮廓的平均形状，(c)是对齐以后所有的人脸轮廓。

2)产生从真实人脸图片到卡通人脸图片数据的形变映射模型的训练学习步骤；具体包括如下步骤：

(A)对1000幅真实人脸图片和200幅卡通人脸图片提取轮廓点主成分；人脸轮廓数据对齐以后是在同一个尺度下的正常人脸数据和卡通人脸数据，这时再基于这些118维的一维数组数据进行PCA(Principal Component Analysis即主成分分析)，获得人脸子空间和主成分向量。PCA是复杂数据降维所广泛采用的方法。在建立人脸子空间以后，既可以起到降维的作用，又可以基于这些主成分来观察样本之间的空间关系。作为例子，附图5是一个PCA对二维数据进行降维、获得主成分的示意图，其中(a)是原始的二维散点数据，(b)是经过PCA分析后，获得了主成分向量(参照图5中的直线L)，也即建立了以该直线为坐标的一维子空间，(c)是对任意的原始二维数据，比如点S，都可以经过投影，得到在一维直线上的坐标，从而用一维坐标即可表示其空间位置。两条垂直于坐标轴的直线是经过PCA反向计算后，从一维数据恢复其二维数据的示意图。与此思想相同，在建立人脸子空间以后，对所有的人脸数据(包括真实的和漫画的)，将其投影到主成分之上，既可以起到降维的作用，又可以基于这些主成分来观察其空间关系。

(B)基于轮廓点主成分，将100幅真实人脸图片和与其一一对应的100幅卡通人脸图片进行投影计算，得到两列投影数据。如前一步骤(A)所述，可以观察这两列投影数据之间在子空间的相关关系。我们采用的观察方式是进行机器学习，得到从真实人脸图片到卡通人脸图片的形变映射模型。机器学习可以采用多种映射学习方法，此处采用人工神经网络(英文全称Artificial Neural Network，简称ANN)和支持向量回归分析(英文全称Support Vector Regression，简称SVR)来实现。其中，人工神经网络是机器学习中较为常见的方法，能够对两组数据进行有效的回归学习，比如文献“人工神经网络与模拟进化计算(第2版)，阎平凡张长水，清华大学出版社，2005年9月”中公开的技术。SVR也是能对高维数据进行有效回归分析的方法之一，比如文献“统计学习理论的本质，Vladimir N.Vapnik著，张学工译，清华大学出版社，2000年9月”和“支持向量机导论，Nello Cristianini等著，李国正等译，电子工业出版社，2004年3月”公开的技术，是本领域技术人员熟知的。如前所述，由于基于人脸形状主成分的学习和预测可以影响到118维人脸轮廓样本空间的每一维，因此该变形是多种特征进行同步整体变形的。

3)对输入的真实人脸图片通过所述形变映射模型生成形变人脸图片的步骤。

基于已经获得的映射模型，可以对输入的人脸图像进行形变处理。具体过程为：如附图7所示，输入人脸照片，通过ASM提取人脸轮廓数据，与平均人脸进行对齐，获得同一尺度下轮廓点的向量数据，然后在人脸子空间进行投影计算，获得在子空间的坐标，应用前述的映射模型进行空间坐标映射，获得新的投影向量，经过PCA反向计算，从低维子空间恢复到样本空间的118维向量，再根据该数据对人脸图像进行变形，即可获得具有形变效果的卡通肖像。此处采用的图像变形算法是广泛使用的网格变形算法，在该方法中，首先确定图像的一组特征点，对特征点进行三角剖分，然后对特征点进行编辑，根据目标图像的需求，移动特征点至新的位置。比如文献“计算机动画的算法基础，鲍虎军等编著，浙江大学出版社，2000年12月”中公开的技术。附图6是网格变形的示意图。

4)将所述步骤3)中形变人脸图片进行纹理变换得到卡通人脸图片。

纹理变换是采用已有公开的纹理生成技术，比如文献“A.Hertzmann，“Painterly Rendering with Curved Brush Strokes of Multiple Sizes”，In：Proceedings of SIGGRAPH’98[C]，Florida，USA，1998：453～460.”中公开的油画效果；文献C.J.Curlis，S.E.Anderson，J.E.Seims，Kurt W.Fleischer，and David H.Salesin，“Computer-Generated Watercolor”，In：Proceedings ofSIGGRAPH’97[C]，Los Angeles，CA，USA，1997：421～430.”中公开的水彩画效果，和文献“X.Mao，Y.Nagasaka and A.Imamiya，Automatic generation of pencildrawing from 2D images using line inegral convolution[J]，CAD/Graphics 2001：240～248.”中公开的铅笔画效果。

基于上述步骤，对于一幅新的真实人脸图片进行卡通化处理，可以设计按照如图9所示的流程操作。与其它方法不同，按照图9，本发明首先采用ASM方法进行人脸特征点的提取，这样就可以针对人脸的局部特征进行处理，在感知人脸特点的时候，避免了人机交互，可以自动实现，同时也可以对人脸进行更为精确的控制和变形。相比而言，已有的技术仅对人脸图像进行整体的压缩或拉伸来实现变形，这是本发明的优越性之一。

在采用ASM方法进行人脸特征点的提取后，根据用户事先指定的设置，判断是否进行纹理效果的处理，若不需要纹理效果，则转入下一步形变处理。若需要进行纹理效果的处理，则按照用户的设定，针对人脸图像生成相应的纹理效果。然后进入形变处理模块，首先判断用户的设置是否需要进行形变处理，若不需要，则直接输出上一步的处理结果，进入结束模块。若需要形变处理，则进入附图7所示的形变处理流程，即前述的步骤3)。

最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (3)

1、一种基于人脸照片的卡通肖像生成方法，包括以下步骤：

1)人脸图片数据的采集和处理步骤；所述人脸图片包括多幅真实人脸图片和多幅卡通人脸图片，其中至少有100幅真实人脸图片和100幅卡通人脸图片是一一对应的；所述人脸图片数据的处理包括以下步骤；

(1)对人脸图片数据中轮廓点的提取；对真实人脸图片，轮廓点采用ASM方法提取，对卡通人脸图片，基于ASM方法由人机交互的方式完成；

(2)按照平均轮廓点，对所有人脸图片进行轮廓对齐；

2)通过训练学习产生从真实人脸图片到卡通人脸图片的形变映射模型；所述训练学习具体步骤如下：

(1)对所有图片采用PCA方法提取其轮廓点主成分；

(2)基于轮廓点主成分，针对真实人脸图片和与其一一对应的卡通人脸图片进行机器学习，得到从真实人脸图片到卡通人脸图片的形变映射模型；

3)根据步骤2)所述形变映射模型生成变形人脸图片，具体步骤包括：输入人脸图片，通过ASM提取人脸轮廓点，与平均轮廓点进行对齐，然后在人脸子空间进行投影计算，获得在子空间的坐标，应用步骤2)所述映射模型进行空间坐标映射，获得新的投影向量，将其经过PCA反向计算，从人脸子空间恢复到样本空间，得到样本空间向量，再根据样本空间向量对人脸图片进行网格变形，获得变形人脸图片；

4)将所述步骤3)中变形人脸图片进行纹理变换。

2、根据权利要求1所述基于人脸照片的卡通肖像生成方法，其特征在于，在所述步骤(1)中，在每幅人脸图片数据提取轮廓点的数目为40—200之间的任一整数。

3、根据权利要求1所述基于人脸照片的卡通肖像生成方法，其特征在于，在每幅人脸图片数据提取轮廓点的数目为118。

Images