CN102096934A - 一种基于机器学习的人脸卡通画生成方法 - Google Patents
一种基于机器学习的人脸卡通画生成方法 Download PDFInfo
- Publication number
- CN102096934A CN102096934A CN 201110030099 CN201110030099A CN102096934A CN 102096934 A CN102096934 A CN 102096934A CN 201110030099 CN201110030099 CN 201110030099 CN 201110030099 A CN201110030099 A CN 201110030099A CN 102096934 A CN102096934 A CN 102096934A
- Authority
- CN
- China
- Prior art keywords
- cartoon
- human face
- image
- error
- expression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种基于机器学习的人脸卡通画生成方法。本发明针对现有的人脸卡通画生成方法中的缺陷,包括生成的人脸卡通画形象不够逼真和缺少纹理特征,通过对人脸图像库及其对应的卡通图像库的图像进行轮廓提取及对齐,保证了生成的人脸卡通画与真实人脸之间的相似性,通过图像的分块处理和机器学习,产生一个最优滤波器组,使得生成的人脸卡通画具有较强的纹理特征。本发明的方法包括如下步骤:图像的轮廓提取及对齐;图像的分块处理;计算滤波器组;人脸卡通画的绘制合成。
Description
技术领域
本发明涉及计算机视觉和计算机图形图像处理技术,特别涉及一种面向人脸视觉感知信息的非真实感表现技术,具体涉及人脸卡通画的生成方法。
背景技术
随着数字媒体技术的快速发展,人们的生活和工作方式也发生了很大的改变,通过计算机生成人物的卡通画在很多领域都有着广泛的应用,例如在移动数字娱乐、视频会议、网络游戏中,采用虚拟的卡通头像代替真实的人脸,不仅可以提高网络的数据传输速度,还营造了轻松和谐的氛围。
在已有的技术中,由计算机生成人脸卡通画主要包括三种方法:基于模板的方法、基于样本学习的方法和直接基于图像处理方法,下面分别进行阐述。
1.基于模板的方法
基于模板的方法主要是通过人为指定夸张变形参数并将其应用到任何脸部待夸张区域。该方法生成卡通人脸笔调生硬,难以表现艺术家多样的夸张模式。较早的二维卡通人脸合成研究是Brennan在1982年提出了一套以互动方式产生夸张肖像的系统,从认知学的角度对人脸特征突出的部分进行夸张,以此产生幽默感。随后产生了对输入照片的人脸轮廓进行夸张变形的方法,主要是通过人脸特征提取和获得的平均人脸特性进行比对,发现其相对突出的特征,采用主动形状模型特征提取和特征线对相结合的方法,对突出的特征实现自动变形,生成人物的卡通肖像。这种方法能够给出简单的人脸线条画,并对突出特征进行夸张变形。变形时,该方法针对一种特征进行变形可以得到一定的夸张效果,但对多个突出特征进行变形时不能保证特征的整体协调性,使生成的卡通画与源图像不一致。
2.基于样本学习的方法
基于样本学习的方法是以画家画的具有某种风格的肖像画数据库为基础,从训练样本中学习到的夸张模式运用到输入的真实人脸上,从而得到具有这种画家风格的卡通人脸肖像画。如在文献“H.Chen,L.Liang,Y.Q.Xu,H.Y.Shum,andN.N.Zheng,Example-based Automatic Portraiture,in Proc.5th Asia Conference.onComputer Vision,2002,127-140”中采用非均匀的马尔科夫随机场模型来描述肖像画与人脸图像之间的统计关系,对不同特征进行非参数采样来获取复杂的统计特征,最终可以自动生成与本人照片相似的特定风格的线条卡通画。但这种方法生成的卡通画不够逼真形象。
3.基于图像自身的方法
在文献:“Gooch B.,Reinhard E.,Gooch A.,Human facial illustrations:Creation and psychophysical evaluation.ACM Transactions on Graphics 23(1),2004,27-44”中提出对人脸照片进行卷积计算,在频域获得人脸特征并进行处理,最后经过简单变形也可以获得卡通画,但这种方法生成的是简单的线条画,缺少纹理特征。
发明内容
本发明的目的是为了解决上述现有的人脸卡通画生成方法中的缺陷,包括生成的人脸卡通画形象不够逼真和缺少纹理特征,提出了一种基于机器学习的人脸卡通画生成方法。
为了实现上述目的,本发明的技术方案是:一种基于机器学习的人脸卡通画生成方法,包括如下步骤:
S1.图像的轮廓提取及对齐,分别从人脸图像库及其对应的卡通图像库,提取真实的人脸轮廓和人脸卡通画轮廓,分别用Sphoto和Scartoon表示人脸轮廓点和对应的人脸卡通画轮廓点的坐标值,通过平移和尺度变换使真实的人脸轮廓和对应的人脸卡通画轮廓对齐,即使得E=e(Sphoto,Scartoon)最小,其中e(Sphoto,Scartoon)表示的是通过马氏距离来衡量真实人脸和对应的人脸卡通轮廓对齐误差,最后统计所对齐的轮廓,即计算对齐后的轮廓坐标的平均值,形成归一化模板;
S2.图像的分块处理,分别将对齐的人脸图像库及其对应的卡通图像库分成相互重叠相同大小的块,每一个人脸图像由若干个块组成用表示,其中表示人脸图像库中第i幅人脸图像的第j个块图像,同理,每一个对应的卡通图像也由相同的若干个块组成,用表示,其中表示卡通图像库中第i幅人脸卡通画的第j个块图像,其中,j的取值为:j=1,L,N,N表示一幅图像分得的块数,i的取值为:i=1,L,M,M表示人脸图像库包含的图像的数目,
S3.计算滤波器组F,预设一个滤波器组F′,滤波器组包含N个滤波器,用F′={f′1,f′2,L,f′N}表示,具体计算过程如下:
S33.比较Errorj和Errorj′,若Errorj和Errorj′的差值的绝对值大于预设的值,使Errorj=Errorj′,重复步骤S32,否则,fj即为所求的滤波器,
S34.分别使j=1,2,L,N,重复步骤S31-S33,即可求出对应的N个滤波器,得到滤波器组F={f1,f1,L,fN};
S4.人脸卡通画的绘制合成,输入一幅真实人脸图像,提取其轮廓,使其与步骤S1中形成的归一化模板对齐,并分成与图像库中块大小相同的N个块,用表示,利用步骤S3得到的滤波器组F={f1,f2,L,fN}计算生成的每一个卡通块,即将得到的每一个卡通块按分块的顺序组合成人脸卡通画,相邻块重叠部分的像素值取这相邻两块重叠部分的平均值。至此,完成了人脸卡通画的绘制。
本发明的有益效果:本发明通过对人脸图像库及其对应的卡通图像库的图像进行轮廓提取及对齐,保证了生成的人脸卡通画与真实人脸之间的相似性,通过图像的分块处理和机器学习,产生一个最优滤波器组,使得生成的人脸卡通画具有较强的纹理特征。
附图说明
图1是图像数据库中部分真实人脸图像和对应的人脸卡通画图像。
图2是本发明的基于机器学习的人脸卡通画生成方法的流程示意图。
图3是本发明的基于机器学习的人脸卡通画生成方法的仿真结果示意图。
具体实施方式
下面结合附图和具体实施例对本发明进行进一步的说明。
本发明首先通过对人脸图像库及其对应的卡通图像库的图像进行轮廓提取及对齐,保证了生成的人脸卡通画与真实人脸之间的相似性,使得生成的人脸卡通画形象逼真;通过图像的分块处理和机器学习,产生一个最优滤波器组,使得生成的人脸卡通画具有较强的纹理特征。本实施例使用的图像数据库中部分真实人脸图像和对应的人脸卡通画图像如图1所示,由于篇幅限制,只给出了部分图像。本发明的基于机器学习的人脸卡通画生成方法的流程示意图如图2所示,具体展开如下:
S1.图像的轮廓提取及对齐,分别从包含如图1所示的90幅人脸图像库及其对应的90幅卡通图像库中提取人脸轮廓和人脸卡通画轮廓,分别用Sphoto和Scartoon表示人脸轮廓和人脸卡通画轮廓点的坐标值,这里的轮廓点为68个点,通过平移和尺度变换使真实的人脸轮廓和对应的人脸卡通画轮廓对齐,即使得E=e(Sphoto,Scartoon)最小,其中e(Sphoto,Scartoon)表示的是通过马氏距离来衡量真实人脸和对应的人脸卡通轮廓对齐误差,最后统计所对齐的轮廓,即计算对齐后的轮廓坐标的平均值,形成归一化模板。这里的轮廓提取采用主动形状模型方法进行,具体可参考:“T.F Cootes,C.J Taylor,D.H Cooper,et al.Active ShapeModels——Their Training and Application.Computer Vision and Image Understanding V01.61,NO.1,January,1995,28-59”;
S2.图像的分块处理,分别将对齐的人脸图像库及其对应的卡通图像库分成相互重叠相同大小的块,每幅图像的大小128×96,每个块的大小为16×16,重叠12个像素,每幅图像分成609个块,用表示,其中表示人脸图像库中第i幅人脸图像的第j个块图像,同理,每一个对应的卡通图像也由相同的若干个块组成,用表示,其中表示卡通图像库中第i幅人脸卡通画的第j个块图像,其中,j的取值为:j=1,L,N,N表示一幅图像分得的块数,这里N=609,i的取值为:i=1,L,M,M表示人脸图像库包含的图像的数目,人脸图像库和卡通人脸图像库的图像数目相同,这里M=90;
这样,图像库中所有的人脸图像分成的图像块可以用下面一个矩阵表示:
同理,图像库中所有的卡通图像分成的图像块也可以用下面一个矩阵表示:
S3.计算滤波器组F,预设一个滤波器组F′,滤波器组包含N个滤波器,每个滤波器采用的是3*3的随机滤波器,用F′={f′1,f′2,L,f′N}表示,具体计算过程如下:
S30.初始化化图像块矩阵和其中是由每一幅人脸图像中第j个块图像组成的矩阵,即上述矩阵A的第j列列向量,是由每一幅卡通图像库中的卡通图像的第j个块图像组成的矩阵,即上述矩阵B的第j列列向量,其中j=1,L,609;
S32.利用对比发散和随机梯度上升法,通过Errorj获得一个新的滤波器fj,用fj代替f′j,重复步骤S31,获得一个新的对比发散法可参考文献:“Hinton,G.E.Training products of experts by minimizingcontrastive divergence.Neural Computation,14(8),1771-1800”,随机梯度上升法可参考文献:“Bottou L.Stochastic learning.Advanced lectures on machinelearning.2004”,在此不再进行详细描述;
S33.比较Errorj和Errorj′,若Errorj和Errorj′的差值的绝对值大于预设的值,预设的阈值为0.8,使Errorj=Errorj′,重复步骤S32,否则,fj即为所求的滤波器;
S34.分别使j=1,2,L,609,重复步骤S31-S33,即可求出对应的609个滤波器,得到滤波器组F={f1,f2,L,f609};
以上步骤S1-S3为训练过程,也是机器学习的过程,即利用人脸图像库,通过多次迭代,获得所需要的滤波器组的过程。
S4.人脸卡通画的绘制合成,输入一幅真实人脸图像,提取其轮廓,使其与步骤S1中形成的归一化模板对齐,即脸部器官的对齐,分成相同大小的609个块,用表示,利用步骤S3得到的滤波器组计算每一个人脸块生成的卡通块,即将得到的每一个人脸卡通块按分块的顺序组合成人脸卡通画,相邻块重叠部分的像素值取这相邻两块重叠部分的平均值。步骤S4可以看作是测试过程,也即是最终的人脸卡通画的绘制合成过程。
在本实施例中,如图3上部分所示,采用了4幅人脸图像进行测试。图3下部分是仿真生成的人脸卡通画,从图上可以看出,生成的人脸卡通画形象与真实的人脸图像相比,形象逼真并且具有较强的纹理特征。
本领域的普通技术人员将会意识到,这里所述的实施例是为了帮助读者理解本发明的原理,应被理解为发明的保护范围并不局限于这样的特别陈述和实施例。凡是根据上述描述做出各种可能的等同替换或改变,均被认为属于本发明的权利要求的保护范围。
Claims (2)
1.一种基于机器学习的人脸卡通画生成方法,包括如下步骤:
S1.图像的轮廓提取及对齐,分别从人脸图像库及其对应的卡通图像库,提取真实的人脸轮廓和人脸卡通画轮廓,分别用Sphoto和Scartoon表示人脸轮廓点和对应的人脸卡通画轮廓点的坐标值,通过平移和尺度变换使真实的人脸轮廓和对应的人脸卡通画轮廓对齐,即使得E=e(Sphoto,Scartoon)最小,其中e(Sphoto,Scartoon)表示的是通过马氏距离来衡量真实人脸和对应的人脸卡通轮廓对齐误差,最后统计所对齐的轮廓,即计算对齐后的轮廓坐标的平均值,形成归一化模板;
S2.图像的分块处理,分别将对齐的人脸图像库及其对应的卡通图像库分成相互重叠相同大小的块,每一个人脸图像由若干个块组成,用表示,其中表示人脸图像库中第i幅人脸图像的第j个块图像,同理,每一个对应的卡通图像也由相同的若干个块组成,用表示,其中表示卡通图像库中第i幅人脸卡通画的第j个块图像,其中,j的取值为:j=1,L,N,N表示一幅图像分得的块数,i的取值为:i=1,L,M,M表示人脸图像库包含的图像的数目,
S3.计算滤波器组F,预设一个滤波器组F′,滤波器组包含N个滤波器,用F′={f′1,f′2,L,f′N}表示,具体计算过程如下:
S33.比较Errorj和Errorj′,若Errorj和Errorj′的差值的绝对值大于预设的值,使Errorj=Errorj′,重复步骤S32,否则,fj即为所求的滤波器,
S34.分别使j=1,2,L,N,重复步骤S31-S33,即可求出对应的N个滤波器,得到滤波器组F={f1,f2,L,fN};
2.根据权利要求1所述的基于机器学习的人脸卡通画生成方法,其特征在于,步骤S1所述的轮廓提取采用的是主动形状模型方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100300996A CN102096934B (zh) | 2011-01-27 | 2011-01-27 | 一种基于机器学习的人脸卡通画生成方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2011100300996A CN102096934B (zh) | 2011-01-27 | 2011-01-27 | 一种基于机器学习的人脸卡通画生成方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN102096934A true CN102096934A (zh) | 2011-06-15 |
CN102096934B CN102096934B (zh) | 2012-05-23 |
Family
ID=44130011
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN2011100300996A Expired - Fee Related CN102096934B (zh) | 2011-01-27 | 2011-01-27 | 一种基于机器学习的人脸卡通画生成方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN102096934B (zh) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592295A (zh) * | 2011-12-21 | 2012-07-18 | 深圳市万兴软件有限公司 | 一种图像处理的方法和装置 |
CN103997593A (zh) * | 2013-02-18 | 2014-08-20 | 卡西欧计算机株式会社 | 图像生成装置及图像生成方法 |
CN104952091A (zh) * | 2014-03-28 | 2015-09-30 | 缪建军 | 基于office办公套件创作卡通logo的方法 |
CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置 |
CN107292811A (zh) * | 2016-04-01 | 2017-10-24 | 掌赢信息科技(上海)有限公司 | 一种表情迁移的方法及电子设备 |
CN109461118A (zh) * | 2018-11-12 | 2019-03-12 | 泰普智能有限公司 | 一种图片处理方法及装置 |
CN109934107A (zh) * | 2019-01-31 | 2019-06-25 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备及存储介质 |
CN111259698A (zh) * | 2018-11-30 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 用于获取图像的方法及装置 |
WO2021139557A1 (zh) * | 2020-01-08 | 2021-07-15 | 杭州未名信科科技有限公司 | 肖像简笔画生成方法、系统及绘画机器人 |
US11481869B2 (en) | 2018-10-31 | 2022-10-25 | Microsoft Technology Licensing, Llc | Cross-domain image translation |
CN115619775A (zh) * | 2022-12-02 | 2023-01-17 | 杭州深度视觉科技有限公司 | 基于图像识别的物料计数方法及装置 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103559488B (zh) * | 2013-11-13 | 2017-01-04 | 中南大学 | 基于定性空间关系的卡通人物的脸部特征提取方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060082579A1 (en) * | 2004-10-18 | 2006-04-20 | Reallusion Inc. | Caricature generating system and method |
CN1971615A (zh) * | 2006-11-10 | 2007-05-30 | 中国科学院计算技术研究所 | 一种基于人脸照片的卡通肖像生成方法 |
CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
-
2011
- 2011-01-27 CN CN2011100300996A patent/CN102096934B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060082579A1 (en) * | 2004-10-18 | 2006-04-20 | Reallusion Inc. | Caricature generating system and method |
CN1971615A (zh) * | 2006-11-10 | 2007-05-30 | 中国科学院计算技术研究所 | 一种基于人脸照片的卡通肖像生成方法 |
CN101527049A (zh) * | 2009-03-31 | 2009-09-09 | 西安交通大学 | 一种基于样本学习的多风格人脸卡通画生成方法 |
Non-Patent Citations (3)
Title |
---|
《IEEE Transactions on Pattern Analysis and Machine Intelligence》 20081231 Z.J.Xu,H.Chen,S.C.Zhu ,et al. A Hierarchical Compositional Model for Face Representation and Sketching 全文 1-2 , 2 * |
《前沿科学》 20071231 沈向洋,徐迎庆 数字化动漫:计算机自动绘制人脸卡通画像 全文 1-2 , 第1期 2 * |
《软件学报》 20031231 陈益强等 基于机器学习的语音驱动人脸动画方法 全文 1-2 第14卷, 第2期 2 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102592295A (zh) * | 2011-12-21 | 2012-07-18 | 深圳市万兴软件有限公司 | 一种图像处理的方法和装置 |
CN103997593A (zh) * | 2013-02-18 | 2014-08-20 | 卡西欧计算机株式会社 | 图像生成装置及图像生成方法 |
CN104952091A (zh) * | 2014-03-28 | 2015-09-30 | 缪建军 | 基于office办公套件创作卡通logo的方法 |
CN105374055B (zh) * | 2014-08-20 | 2018-07-03 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置 |
CN105374055A (zh) * | 2014-08-20 | 2016-03-02 | 腾讯科技(深圳)有限公司 | 图像处理方法及装置 |
CN105139438B (zh) * | 2014-09-19 | 2018-01-12 | 电子科技大学 | 视频人脸卡通动画生成方法 |
CN105139438A (zh) * | 2014-09-19 | 2015-12-09 | 电子科技大学 | 视频人脸卡通动画生成方法 |
CN107292811A (zh) * | 2016-04-01 | 2017-10-24 | 掌赢信息科技(上海)有限公司 | 一种表情迁移的方法及电子设备 |
US11481869B2 (en) | 2018-10-31 | 2022-10-25 | Microsoft Technology Licensing, Llc | Cross-domain image translation |
CN109461118A (zh) * | 2018-11-12 | 2019-03-12 | 泰普智能有限公司 | 一种图片处理方法及装置 |
CN111259698A (zh) * | 2018-11-30 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 用于获取图像的方法及装置 |
CN111259698B (zh) * | 2018-11-30 | 2023-10-13 | 百度在线网络技术(北京)有限公司 | 用于获取图像的方法及装置 |
CN109934107A (zh) * | 2019-01-31 | 2019-06-25 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备及存储介质 |
WO2021139557A1 (zh) * | 2020-01-08 | 2021-07-15 | 杭州未名信科科技有限公司 | 肖像简笔画生成方法、系统及绘画机器人 |
CN115619775A (zh) * | 2022-12-02 | 2023-01-17 | 杭州深度视觉科技有限公司 | 基于图像识别的物料计数方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
CN102096934B (zh) | 2012-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102096934B (zh) | 一种基于机器学习的人脸卡通画生成方法 | |
CN105678232B (zh) | 一种基于深度学习的人脸图片特征提取与对比方法 | |
Yang et al. | Semantic parametric reshaping of human body models | |
Zheng et al. | Non-local scan consolidation for 3D urban scenes | |
Xu et al. | A solid model based virtual hairy brush | |
Rosales et al. | SurfaceBrush: from virtual reality drawings to manifold surfaces | |
CN107748858A (zh) | 一种基于级联卷积神经网络的多姿态眼睛定位方法 | |
CN111950430B (zh) | 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统 | |
CN100487732C (zh) | 一种基于人脸照片的卡通肖像生成方法 | |
CN109753864A (zh) | 一种基于caffe深度学习框架的人脸识别方法 | |
CN102231209A (zh) | 基于异构特征降维的二维角色卡通生成方法 | |
CN102637304B (zh) | 基于gpu的几何表面上各向同性/异性纹理合成方法 | |
Jia et al. | Mesh resizing based on hierarchical saliency detection | |
Gao et al. | Learning local neighboring structure for robust 3D shape representation | |
Gao et al. | Robust mesh representation learning via efficient local structure-aware anisotropic convolution | |
CN110717978A (zh) | 基于单张图像的三维头部重建方法 | |
Florindo et al. | Enhancing multiscale fractal descriptors using functional data analysis | |
CN102982567A (zh) | 一种基于统计分析的变形体碰撞检测剔除方法 | |
Yu et al. | Mean value coordinates–based caricature and expression synthesis | |
CN102034252A (zh) | 手绘图案的合成方法 | |
Kim et al. | Interactive generation of realistic facial wrinkles from sketchy drawings | |
CN106599901B (zh) | 基于深度玻尔兹曼机的协同目标分割与行为识别方法 | |
CN106355593A (zh) | 一种基于马尔科夫随机场的素描画生成方法 | |
Siddiqi et al. | A Network Analysis for Correspondence Learning via Linearly-Embedded Functions | |
Li et al. | Computer generated algorithm of sand painting based on convolutional neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120523 Termination date: 20160127 |
|
EXPY | Termination of patent right or utility model |