CN101551911A - 人脸素描肖像画自动生成方法 - Google Patents

人脸素描肖像画自动生成方法 Download PDF

Info

Publication number
CN101551911A
CN101551911A CNA2009100507867A CN200910050786A CN101551911A CN 101551911 A CN101551911 A CN 101551911A CN A2009100507867 A CNA2009100507867 A CN A2009100507867A CN 200910050786 A CN200910050786 A CN 200910050786A CN 101551911 A CN101551911 A CN 101551911A
Authority
CN
China
Prior art keywords
human face
portrait picture
picture
sketch portrait
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2009100507867A
Other languages
English (en)
Other versions
CN101551911B (zh
Inventor
杨飞
苏剑波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN2009100507867A priority Critical patent/CN101551911B/zh
Publication of CN101551911A publication Critical patent/CN101551911A/zh
Application granted granted Critical
Publication of CN101551911B publication Critical patent/CN101551911B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明涉及一种人脸素描肖像画自动生成方法,属于数字图像处理技术领域。首先对获取的数字图像进行自动人脸检测,获得人脸的大致位置和大小,将人脸区域图像截取出来并作灰度处理后,采用在对数域基于全变分模型的方法平滑滤除皮肤纹理并保留人脸器官特征,获得人脸素描肖像画初样,然后对人脸素描肖像画初样进行图像增强处理,获得最后的人脸素描肖像画,完成从真实数码照片到人脸素描肖像画的自动转换。本发明对真实图片进行转换不另需训练数据,肖像画转换过程简单易行,生成效果具有较好的逼真度和立体感,不仅适合用于制作卡通漫画和艺术画像,而且适合用于蚀刻、纺织、印染等工艺品中制作逼真度高的肖像图案。

Description

人脸素描肖像画自动生成方法
技术领域
本发明涉及一种人脸图像处理方法,特别涉及一种人脸素描肖像画自动生成方法,属于数字图像处理技术领域。
背景技术
近年来,利用计算机对数码照片进行处理,将真实人脸图像的纹理进行简化以突出想要表达的某些特征,生成各种风格的肖像画这一数字媒体技术已经得到了广泛的应用。例如在视频聊天、网络游戏、网络个性签名头像以及蚀刻印染工艺品中,用个性化的虚拟肖像代替真实人脸图像可以产生具有感染力的娱乐效果和艺术效果。
在已有技术中,由人脸图像自动生成其素描肖像画的方法主要有:
一是通过人脸轮廓提取,获得表示人脸的线条特征,并主要以这些线条来刻画人物肖像。例如文献“基于形状演化的线条画风格转换与变形”(孙玉红、屠长河、孟祥旭,计算机辅助设计与图形学学报,2006年2月第18卷第2期)中公开了能够简洁明了地给出人脸的线条肖像画的技术,但是这种方法没有保留纹理,不能很好地表现人脸特征,真实感不强。
二是通过对人脸特征点的定位,然后依据特征点描述的人脸几何结构通过学习的方法获得相应面部区域的纹理,最后合成需要的肖像画。例如文献“基于样本学习的肖像画自动生成算法”(陈洪、郑南宁、梁林、徐迎庆、沈向洋,计算机学报,2003年2月第26卷第2期)中公开了一种基于样本学习的人脸肖像画自动生成算法,这种方法需要大量事先手工标定好的人脸图像用于学习训练,过程较为繁琐,生成的肖像画存在较大失真。
发明内容
本发明的目的在于针对现有技术的不足,提出一种人脸素描肖像画自动生成方法,不需要训练数据,生成过程简单易行,生成效果具有较好的逼真度,不仅适合用于制作卡通漫画,而且适合用于蚀刻、纺织、印染等工艺品中制作逼真度高的肖像图案。
为实现上述目的,本发明首先对获取的数字图像进行自动人脸检测,获得人脸的大致位置和大小,将人脸区域图像截取出来并作灰度处理后,采用在对数域基于全变分模型的方法平滑滤除皮肤纹理并保留人脸器官特征,获得人脸素描肖像画初样,然后对人脸素描肖像画初样进行图像增强处理,获得最后的人脸素描肖像画,完成从真实数码照片到人脸素描肖像画的自动转换。
本发明的人脸素描肖像画自动生成方法,主要包括以下步骤:
(1)获取数字图像,所述数字图像中包含要转换成素描肖像画的人脸;
(2)对数字图像进行自动人脸检测,获得人脸的大致位置和大小,将人脸区域图像截取出来;
(3)对截取的人脸区域图像进行灰度处理,然后采用在对数域基于全变分模型的方法,对灰度处理后的人脸区域图像进行平滑滤除皮肤纹理并保留人脸器官特征,即:
对人脸区域图像的灰度矩阵I求对数f=log(I+1),以获得灰度矩阵I在对数域中的表示f;然后通过全变分模型求得一个中间变量u, u = arg mi n u ∫ Ω ( | ▿ u | + λ | f - u | ) dx , 其中λ是一个事先确定的经验常数,根据人脸图像大小取0到1之间的实数;最后利用该中间变量u,并通过求幂运算获得人脸素描肖像画初样ρ,ρ=exp(f-u);
(4)对人脸素描肖像画初样进行图像增强处理,使得皮肤区域灰度增大,同时面部器官和轮廓区域灰度减小,以此显现出清晰的面部特征,获得最后的人脸素描肖像画。
本发明中,所述的对人脸素描肖像画初样进行图像增强处理时,采用的方法可为现有的各种图像对比度增强处理方法,如:灰度对数变换、幂次变换或分段线性变换等。
与已有技术相比,本发明具有显著的有效效果。本发明对真实图片进行转换不另需训练数据,肖像画转换过程简单易行,生成效果具有较好的逼真度和立体感。采用在对数域基于全变分方法来滤除皮肤纹理的方法,能保留面部器官特征和主要轮廓,并让头发呈线条画风格。本发明方法不仅适合用于制作卡通漫画和艺术画像,而且适合用于蚀刻、纺织、印染等工艺品中制作逼真度高的肖像图案。
附图说明
图1:一幅真实的人物数码照片。
图2:分离截取出来的人脸区域图像。
图3:灰度化处理后的人脸区域图像。
图4:人脸素描肖像画初样。
图5:最终人脸素描肖像画。
具体实施方式
以下结合附图和具体的实施例对本发明的技术方案作进一步详细的描述。
实施例采用的图像来自一张拍摄的彩色数码登记照片,见附图1。
1.获取数字图像。由计算机读入需要自动转换生成素描效果的数字图像,即拍摄的彩色数码登记照片,该照片中包含要转换成素描肖像画的人脸。
计算机能够判定该照片是否为彩色图像。
2.对数字图像进行自动人脸检测,检测定位出图片中人脸区域。人脸区域检测有很多公知方法可供选用,比如文献“P.Viola and M.Jones.Rapid objectdetection using a boosted cascade of simple features,in:Computer Visionand Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEEComputer Society Conference on”。根据定位获得人脸的大致位置和大小,将人脸区域图像截取出来并另外进行保存,如附图2所示。
上述步骤皆可由计算机通过程序自动完成。
3.对附图2所示的人脸区域图像进行灰度化处理,得到的人脸区域图像见附图3。将彩色图像转换为灰度图像为公知技术。
然后采用在对数域基于全变分模型的方法,对灰度处理后的人脸区域图像进行平滑滤除皮肤纹理并保留人脸器官特征。具体为:
根据人脸图像的大小来确定λ的取值:当图像大小为100×100左右时,λ取0.7至0.8之间的实数;当图像大小为200×200左右时,λ取0.35至0.4之间的实数;当图像大小为400×400左右时,λ取0.18至0.2.之间的实数。一般来说,人脸图像越大,λ的取值要越小。
然后对人脸区域图像(附图3)的灰度矩阵I求对数f=log(I+1),以获得灰度矩阵I在对数域中的表示f;再通过全变分模型求得一个中间变量u, u = arg mi n u ∫ Ω ( | ▿ u | + λ | f - u | ) dx ; 最后利用该中间变量u,并通过求幂运算获得人脸素描肖像画初样ρ,ρ=exp(f-u)。获得的人脸素描肖像画初样见附图4。
4.对人脸素描肖像画初样进行图像增强处理,使得皮肤区域灰度增大,同时面部器官和轮廓区域灰度减小,以此显现出清晰的面部特征,获得最后的人脸素描肖像画。
图像增强处理有很多现成方法可供选用,如灰度对数变换、幂次变换或分段线性变换等。
这里采用一种非线性对比度增强方法。采用函数 I ′ = 1 1 + exp ( - β ( ρ - ρ m ) ) 对人脸素描肖像画初样ρ进行图像增强处理,其中:ρm为人脸素描肖像画初样ρ的灰度平均值;β为增强控制参数,其值越大,图像对比度增强效果越强,通常β可取300,若要增加面部阴影以增强人脸立体感可减小β的取值,反之可增大β的取值。I′为最终生成的人脸素描肖像画,如附图5所示。
本发明的优势在于通过较少的步骤即能实现人脸素描肖像画的自动生成,生成的素描效果可通过改变增强控制参数β进行微调,而且生成的素描图像与原来的真实图像十分逼真。
最后应当说明的是,以上实施例仅用于说明本发明的技术方案而非限制,本领域的普通技术人员应当理解,对本发明的技术方案进行修改或者等同替换,都不脱离本发明技术方案的精神和范围,其均应涵盖于本发明的权利要求范围当中。

Claims (2)

1、一种人脸素描肖像画自动生成方法,其特征在于,包括以下步骤:
(1)获取数字图像,所述数字图像中包含要转换成素描肖像画的人脸;
(2)对数字图像进行自动人脸检测,获得人脸的大致位置和大小,将人脸区域图像截取出来;
(3)对截取的人脸区域图像进行灰度处理,然后采用在对数域基于全变分模型的方法,对灰度处理后的人脸区域图像进行平滑滤除皮肤纹理并保留人脸器官特征,即:
对人脸区域图像的灰度矩阵I求对数f=log(I+1),以获得灰度矩阵I在对数域中的表示f;然后通过全变分模型求得一个中间变量u, u = arg min u ∫ Ω ( | ▿ u | + λ | f - u | ) dx , 其中λ是一个事先确定的经验常数,根据人脸图像大小取0到1之间的实数;最后利用该中间变量u,并通过求幂运算获得人脸素描肖像画初样ρ,ρ=exp(f-u);
(4)对人脸素描肖像画初样进行图像增强处理,使得皮肤区域灰度增大,同时面部器官和轮廓区域灰度减小,以此显现出清晰的面部特征,获得最后的人脸素描肖像画。
2、根据权利要求1所述的人脸素描肖像画自动生成方法,其特征在于所述的对人脸素描肖像画初样进行图像增强处理时,采用非线性对比度增强方法。
CN2009100507867A 2009-05-07 2009-05-07 人脸素描肖像画自动生成方法 Expired - Fee Related CN101551911B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN2009100507867A CN101551911B (zh) 2009-05-07 2009-05-07 人脸素描肖像画自动生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN2009100507867A CN101551911B (zh) 2009-05-07 2009-05-07 人脸素描肖像画自动生成方法

Publications (2)

Publication Number Publication Date
CN101551911A true CN101551911A (zh) 2009-10-07
CN101551911B CN101551911B (zh) 2011-04-06

Family

ID=41156141

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009100507867A Expired - Fee Related CN101551911B (zh) 2009-05-07 2009-05-07 人脸素描肖像画自动生成方法

Country Status (1)

Country Link
CN (1) CN101551911B (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110304A (zh) * 2011-03-29 2011-06-29 华南理工大学 一种基于素材引擎的漫画自动生成方法
CN102147911A (zh) * 2010-02-04 2011-08-10 卡西欧计算机株式会社 图像处理装置
CN102332170A (zh) * 2011-07-26 2012-01-25 深圳市万兴软件有限公司 一种计算机素描画的生成方法和系统
WO2012027904A1 (zh) * 2010-09-03 2012-03-08 Wang Xiaogang 从照片合成肖像素描的系统和方法
CN102523397A (zh) * 2011-12-12 2012-06-27 四川长虹电器股份有限公司 调节屏幕画质的方法
CN103021002A (zh) * 2011-09-27 2013-04-03 康佳集团股份有限公司 彩色素描图像生成方法
CN103236070A (zh) * 2013-04-24 2013-08-07 上海电机学院 一种编织效果图片的生成方法
CN103369238A (zh) * 2012-03-26 2013-10-23 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN104077742A (zh) * 2014-07-22 2014-10-01 武汉大学 基于Gabor特征的人脸素描合成方法及系统
EP2816502A1 (en) 2013-06-17 2014-12-24 Betser Information Technologies Limited Retouching of portait images based on supervised face feature detection
CN105184735A (zh) * 2014-06-19 2015-12-23 腾讯科技(深圳)有限公司 一种人像变形方法及装置
CN105701782A (zh) * 2016-01-13 2016-06-22 无锡北邮感知技术产业研究院有限公司 纹理效果显著的人脸简约图生成方法
CN107945244A (zh) * 2017-12-29 2018-04-20 哈尔滨拓思科技有限公司 一种基于人脸照片的简笔画生成方法
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
CN109920021A (zh) * 2019-03-07 2019-06-21 华东理工大学 一种基于正则化宽度学习网络的人脸素描合成方法
CN111243051A (zh) * 2020-01-08 2020-06-05 浙江省北大信息技术高等研究院 基于肖像照片的简笔画生成方法、系统及存储介质
CN111402407A (zh) * 2020-03-23 2020-07-10 杭州相芯科技有限公司 基于单幅rgbd图像的高精度肖像模型快速生成方法

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102147911B (zh) * 2010-02-04 2014-02-26 卡西欧计算机株式会社 图像处理装置
CN102147911A (zh) * 2010-02-04 2011-08-10 卡西欧计算机株式会社 图像处理装置
WO2012027904A1 (zh) * 2010-09-03 2012-03-08 Wang Xiaogang 从照片合成肖像素描的系统和方法
US9569699B2 (en) 2010-09-03 2017-02-14 Shenzhen Sensetime Technology Co., Ltd. System and method for synthesizing portrait sketch from a photo
CN102110304A (zh) * 2011-03-29 2011-06-29 华南理工大学 一种基于素材引擎的漫画自动生成方法
CN102110304B (zh) * 2011-03-29 2012-08-22 华南理工大学 一种基于素材引擎的漫画自动生成方法
WO2013013485A1 (zh) * 2011-07-26 2013-01-31 深圳市万兴软件有限公司 一种计算机素描画的生成方法和系统
CN102332170A (zh) * 2011-07-26 2012-01-25 深圳市万兴软件有限公司 一种计算机素描画的生成方法和系统
CN103021002A (zh) * 2011-09-27 2013-04-03 康佳集团股份有限公司 彩色素描图像生成方法
CN103021002B (zh) * 2011-09-27 2016-05-04 康佳集团股份有限公司 彩色素描图像生成方法
CN102523397A (zh) * 2011-12-12 2012-06-27 四川长虹电器股份有限公司 调节屏幕画质的方法
CN103369238A (zh) * 2012-03-26 2013-10-23 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN103369238B (zh) * 2012-03-26 2017-05-17 卡西欧计算机株式会社 图像生成装置以及图像生成方法
CN103236070A (zh) * 2013-04-24 2013-08-07 上海电机学院 一种编织效果图片的生成方法
EP2816502A1 (en) 2013-06-17 2014-12-24 Betser Information Technologies Limited Retouching of portait images based on supervised face feature detection
WO2015192809A1 (en) * 2014-06-19 2015-12-23 Tencent Technology (Shenzhen) Company Limited Portrait deformation method and apparatus
CN105184735B (zh) * 2014-06-19 2019-08-06 腾讯科技(深圳)有限公司 一种人像变形方法及装置
CN105184735A (zh) * 2014-06-19 2015-12-23 腾讯科技(深圳)有限公司 一种人像变形方法及装置
US9639914B2 (en) 2014-06-19 2017-05-02 Tencent Technology (Shenzhen) Company Limited Portrait deformation method and apparatus
CN104077742A (zh) * 2014-07-22 2014-10-01 武汉大学 基于Gabor特征的人脸素描合成方法及系统
CN105701782A (zh) * 2016-01-13 2016-06-22 无锡北邮感知技术产业研究院有限公司 纹理效果显著的人脸简约图生成方法
CN107945244A (zh) * 2017-12-29 2018-04-20 哈尔滨拓思科技有限公司 一种基于人脸照片的简笔画生成方法
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
CN109741247A (zh) * 2018-12-29 2019-05-10 四川大学 一种基于神经网络的肖像漫画生成方法
CN109920021A (zh) * 2019-03-07 2019-06-21 华东理工大学 一种基于正则化宽度学习网络的人脸素描合成方法
CN111243051A (zh) * 2020-01-08 2020-06-05 浙江省北大信息技术高等研究院 基于肖像照片的简笔画生成方法、系统及存储介质
CN111243051B (zh) * 2020-01-08 2023-08-18 杭州未名信科科技有限公司 基于肖像照片的简笔画生成方法、系统及存储介质
CN111402407A (zh) * 2020-03-23 2020-07-10 杭州相芯科技有限公司 基于单幅rgbd图像的高精度肖像模型快速生成方法
CN111402407B (zh) * 2020-03-23 2023-05-02 杭州相芯科技有限公司 基于单幅rgbd图像的高精度肖像模型快速生成方法

Also Published As

Publication number Publication date
CN101551911B (zh) 2011-04-06

Similar Documents

Publication Publication Date Title
CN101551911B (zh) 人脸素描肖像画自动生成方法
CN110378985B (zh) 一种基于gan的动漫绘画辅助创作方法
KR101514327B1 (ko) 얼굴 아바타 생성 장치 및 방법
CN111161137B (zh) 一种基于神经网络的多风格国画花生成方法
CN101556699A (zh) 一种基于脸型的人脸衰老图像合成方法
CN107945244A (zh) 一种基于人脸照片的简笔画生成方法
CN111950430A (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
CN100487732C (zh) 一种基于人脸照片的卡通肖像生成方法
CN114266695A (zh) 图像处理方法、图像处理系统及电子设备
CN110533579A (zh) 基于自编码结构与梯度保序的视频风格转换方法
Wu et al. Use of non-photorealistic rendering and photometric stereo in making bas-reliefs from photographs
Tong et al. Sketch generation with drawing process guided by vector flow and grayscale
Cong et al. Selective image abstraction
Virtusio et al. Enabling artistic control over pattern density and stroke strength
Li et al. Image stylization with enhanced structure on GPU
An et al. Fast universal style transfer for artistic and photorealistic rendering
Gao et al. PencilArt: a chromatic penciling style generation framework
Cheng et al. Semi-auto sketch colorization based on conditional generative adversarial networks
Chen et al. Parallel pencil drawing stylization via structure-aware optimization
Yuan et al. GPU-based rendering and animation for Chinese painting cartoon
Tang et al. Expressive facial style transfer for personalized memes mimic
Yang et al. Ink-and-wash painting based on the image of pine tree using mean curvature flow
Rezaei et al. Hybrid filter blending to maintain facial expressions in rendered human portraits
Zhuang et al. Perspective‐aware cartoon clips synthesis
Chen et al. A robust transformer GAN for unpaired data makeup transfer

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20110406

Termination date: 20140507