CN105931211A - 一种人脸图像美化方法 - Google Patents

一种人脸图像美化方法 Download PDF

Info

Publication number
CN105931211A
CN105931211A CN201610246362.8A CN201610246362A CN105931211A CN 105931211 A CN105931211 A CN 105931211A CN 201610246362 A CN201610246362 A CN 201610246362A CN 105931211 A CN105931211 A CN 105931211A
Authority
CN
China
Prior art keywords
layer
dictionary
facial image
detail view
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610246362.8A
Other languages
English (en)
Inventor
卢曦
郑伟诗
常晓斌
谢晓华
胡建芳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National Sun Yat Sen University
Original Assignee
National Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National Sun Yat Sen University filed Critical National Sun Yat Sen University
Priority to CN201610246362.8A priority Critical patent/CN105931211A/zh
Publication of CN105931211A publication Critical patent/CN105931211A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/951Indexing; Web crawling techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种人脸图像美化方法,包括以下步骤:(1)数据集收集:收集美丽人脸的数据库;(2)图层分解:对原始人脸和数据库人脸进行图像层次分解,得到亮度图层,细节图层和颜色图层;(3)图层字典学习:运用在线字典学习从图层数据中学得图层字典;(4)图层稀疏重构;利用稀疏编码对原始图层进行重构,得到重构后的图层模板;(5)细节图层增强:利用原始细节图层对重构后的细节图层模板进行细节增强;(6)图层融合:将重构后的三个图层进行融合得到美化后的人脸图像。

Description

一种人脸图像美化方法
技术领域
本发明涉及人脸图像识别和人脸图像处理领域,特别涉及一种人脸图像美化的方法。
背景技术
“人皆有爱美之心”,人们对于漂亮的追求自古就有。心理学研究表明,尽管种族、文化和性别不同,人们对于什么样的人脸是漂亮的有普遍的共识,其中人脸皮肤的颜色和细节对于人脸吸引度的提升尤为重要。这些研究与人们日常观念里,漂亮人脸应该是光滑且无斑的相一致。
近些年来,随着社交网络等电子媒体的迅速发展,越来越多的人脸图像被分享,人脸图像处理的需求也与日俱增。尽管已经有许多商业图像处理软件可用,但是这些软件通常需要大量的人工操作,而且这些软件对于人脸图像斑点的美化效果一般。
发明内容
本发明的主要目的在于克服现有技术的缺点与不足,提供一种有效的人脸图像美化方法。该方法能有效地美化人脸图像上的斑点,并且很大程度上避免了过多的人工操作,提升了人脸图像处理的效率和效果。
为了达到上述目的,本发明采用以下技术方案:
本发明的一种人脸图像美化方法,包括以下步骤:
(1)数据集收集:收集美丽人脸的数据库;
(2)图层分解:对原始人脸和数据库人脸进行图像层次分解,得到亮度图层、细节图层和颜色图层;
(3)图层字典学习:运用在线字典学习从图层数据中学得图层字典;
(4)图层稀疏重构;利用稀疏编码对原始图层进行重构,得到重构后的图层模板;
(5)细节图层增强:利用原始细节图层对重构后的细节图层模板进行细节增强;
(6)图层融合:将重构后的三个图层进行融合得到美化后的人脸图像。
作为优选的技术方案,所述步骤(1)中,数据集收集包括下述步骤:
(1-1)通过关键字在网上爬取包含人脸的图像数据库;
(1-2)通过Face++对收集到的图像数据库进行自动人脸检测和自动人脸抠图,使数据库尽可能接近输入人脸图像。
作为优选的技术方案,在步骤(1-1)中,所述关键字为“美女”或/和“明星”。
作为优选的技术方案,所述步骤(2)中,图层分解具体为:
(2-1)将RGB空间的人脸图像转换为CIELAB空间,该空间由亮度空间和颜色空间组成,颜色图层Ic由颜色空间组成;
(2-2)用滤波器对亮度空间进行处理,得到亮度图层IL
(2-3)将亮度图层从亮度空间中抽离,得到细节图层Id
作为优选的技术方案,所述步骤(3)中,图层字典学习具体为:
(3-1)通过在线字典学习,从收集的数据库中学出图层字典D:
D = arg m i n D , X | | X - D Y | | 2 2 + λ | | Y | | 1
s . t . | | D i | | 2 2 ≤ 1 , i = 1 , 2 , ... , K
其中,符号X为输入的图层数据库,l1范数||Y||1确保了稀疏性,l2范数避免了放缩模糊,λ的大小控制着字典的稀疏程度,其取值范围为[0,1],典型取值为0.3,K是字典的大小,一般取值为512,1024或者2048。
作为优选的技术方案,所述步骤(4)中,图层稀疏重构具体为:
(4-1)通过稀疏编码,从收集的数据库中学出图层字典D:
α = arg min α | | D α - y | | 2 2 + λ | | α | | 1
其中,符号y是初始图像的图层,D是与之对应的图层字典,α是图层字典的系数,λ控制着系数的稀疏程度;
(4-2)当y=Id,图层为细节图层,经过步骤(4-1)的系数学习之后,得到的重构后的细节层Id*=D*α。
作为优选的技术方案,所述步骤(5)中,细节图层增强具体为:
(5-1)对细节图层进行二值化操作,得到二值化模板Im
(5-2)根据二值化模板Im和原始细节层Id信息,进行细节图层增强:
I d * ( x , y ) = I d ( x , y ) , I m ( x , y ) = 1 I d * ( x , y ) , I m ( x , y ) = 0 .
作为优选的技术方案,所述步骤(6)中,图层融合具体为:
(6-1)步骤(5)得到的细节图层与IL融合得到亮度空间;
(6-2)将亮度空间与颜色空间融合,得到最后的美化人脸图像。
本发明与现有技术相比,具有如下优点和有益效果:
1、本发明可以智能美化人脸图片,不需要过多的参数调节和人工处理,提高了人脸图片美化的效率与效果。
2、本发明对于人脸图片中斑点和皱纹的美化效果与现有的商业图像处理软件相比更加显著。
3、本发明结合了图层分解、字典学习和稀疏重构方法,利用学习的方法结合漂亮人脸数据库自动稀疏重构图层,能依据数据库自动产生漂亮人脸图层字典,再通过字典去重构原图层。这样得到的美化效果更加符合心理学研究。
附图说明
图1为本发明的操作流程框图。
图2为本发明方法的图层分解示意图。
图3(a)-图3(c)为本发明方法图层重构和细节图层增强过程中初始细节图层,重构细节图层和增强细节图层的效果图。
具体实施方式
下面结合实施例及附图对本发明作进一步详细的描述,但本发明的实施方式不限于此。
实施例
图1示出了本发明的操作过程,由图1可见,其具体实施包括下述步骤:
(1)数据集收集:收集美丽人脸的数据库;
(2)图层分解:对原始人脸和数据库人脸进行图像层次分解,得到亮度图层,细节图层和颜色图层;
(3)图层字典学习:运用在线字典学习从图层数据中学得图层字典;
(4)图层稀疏重构;利用稀疏编码对原始图层进行重构,得到重构后的图层模板;
(5)细节图层增强:利用原始细节图层对重构后的细节图层模板进行细节增强;
(6)图层融合:将重构后的三个图层进行融合得到美化后的人脸图像。
本发明的步骤(1)数据集收集的具体步骤为:
(1-1)通过“美女”,“明星”等关键字在网上爬取包含人脸的图像数据库
(1-2)通过Face++对收集到的图像数据库进行自动人脸检测和自动人脸抠图,使数据库尽可能接近输入人脸图像。
本发明步骤(2)图层分解的示意图如附图2所示,其具体步骤为:
(2-1)将RGB空间的人脸图像转换为CIELAB空间,该空间由亮度空间和颜色空间组成,颜色图层Ic由颜色空间组成。
(2-2)用滤波器对亮度空间进行处理,得到亮度图层IL
(2-3)将亮度图层从亮度空间中抽离,得到细节图层Id
本发明于步骤(3)图层字典学习的具体步骤为:
(3-1)通过在线字典学习,从收集的数据库中学出图层字典D:
D = arg m i n D , X | | X - D Y | | 2 2 + λ | | Y | | 1
s . t . | | D i | | 2 2 ≤ 1 , i = 1 , 2 , ... , K
其中,符号X为输入的图层数据库,l1范数||Y||1确保了稀疏性,l2范数避免了放缩模糊,λ的大小控制着字典的稀疏程度,其取值范围为[0,1],典型取值为0.3。K是字典的大小,一般取值为512,1024或者2048。
本发明于步骤(4)图层稀疏重构的初始细节图层效果如附图3(a)所示,重构后的图层效果如附图3(b)所示,其具体步骤为:
(4-1)通过稀疏编码,从收集的数据库中学出图层字典D:
α = arg min α | | D α - y | | 2 2 + λ | | α | | 1
其中,符号y是初始图像的图层,D是与之对应的图层字典,α是图层字典的系数,λ控制着系数的稀疏程度。
(4-2)当y=Id,图层为细节图层,经过步骤(4-1)的系数学习之后,得到的重构后的细节层Id*=D*α。
本发明于步骤(5)细节图层增强的效果如附图3(c)所示,其具体步骤为:
(5-1)对细节图层进行二值化操作,得到二值化模板Im
(5-2)根据二值化模板Im和原始细节层Id信息,进行细节图层增强:
I d * ( x , y ) = I d ( x , y ) , I m ( x , y ) = 1 I d * ( x , y ) , I m ( x , y ) = 0
本发明于步骤(6)图层融合的具体步骤为:
(6-1)步骤(5)得到的细节图层与IL融合得到亮度空间;
(6-2)将亮度空间与颜色空间融合,得到最后的美化人脸图像。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (8)

1.一种人脸图像美化方法,其特征在于,包括以下步骤:
(1)数据集收集:收集美丽人脸的数据库;
(2)图层分解:对原始人脸和数据库人脸进行图像层次分解,得到亮度图层、细节图层和颜色图层;
(3)图层字典学习:运用在线字典学习从图层数据中学得图层字典;
(4)图层稀疏重构;利用稀疏编码对原始图层进行重构,得到重构后的图层模板;
(5)细节图层增强:利用原始细节图层对重构后的细节图层模板进行细节增强;
(6)图层融合:将重构后的三个图层进行融合得到美化后的人脸图像。
2.根据权利要求1所述的人脸图像美化方法,其特征在于,所述步骤(1)中,数据集收集包括下述步骤:
(1-1)通过关键字在网上爬取包含人脸的图像数据库;
(1-2)通过Face++对收集到的图像数据库进行自动人脸检测和自动人脸抠图,使数据库尽可能接近输入人脸图像。
3.根据权利要求2所述的人脸图像美化方法,其特征在于,在步骤(1-1)中,所述关键字为“美女”或/和“明星”。
4.根据权利要求1所述的人脸图像美化方法,其特征在于,所述步骤(2)中,图层分解具体为:
(2-1)将RGB空间的人脸图像转换为CIELAB空间,该空间由亮度空间和颜色空间组成,颜色图层Ic由颜色空间组成;
(2-2)用滤波器对亮度空间进行处理,得到亮度图层IL
(2-3)将亮度图层从亮度空间中抽离,得到细节图层Id
5.根据权利要求1所述的人脸图像美化方法,其特征在于,所述步骤(3)中,图层字典学习具体为:
(3-1)通过在线字典学习,从收集的数据库中学出图层字典D:
D = arg m i n D , X | | X - D Y | | 2 2 + λ | | Y | | 1
s . t . | | D i | | 2 2 ≤ 1 , i = 1 , 2 , ... , K
其中,符号X为输入的图层数据库,l1范数||Y||1确保了稀疏性,l2范数避免了放缩模糊,λ的大小控制着字典的稀疏程度,其取值范围为[0,1],典型取值为0.3,K是字典的大小,一般取值为512,1024或者2048。
6.根据权利要求1所述的人脸图像美化方法,其特征在于,所述步骤(4)中,图层稀疏重构具体为:
(4-1)通过稀疏编码,从收集的数据库中学出图层字典D:
α = arg min α | | D α - y | | 2 2 + λ | | α | | 1
其中,符号y是初始图像的图层,D是与之对应的图层字典,α是图层字典的系数,λ控制着系数的稀疏程度;
(4-2)当y=Id,图层为细节图层,经过步骤(4-1)的系数学习之后,得到的重构后的细节层
7.根据权利要求1所述的人脸图像美化方法,其特征在于,所述步骤(5)中,细节图层增强具体为:
(5-1)对细节图层进行二值化操作,得到二值化模板Im
(5-2)根据二值化模板Im和原始细节层Id信息,进行细节图层增强:
I d * ( x , y ) = I d ( x , y ) , I m ( x , y ) = 1 I d * ( x , y ) , I m ( x , y ) = 0 .
8.根据权利要求1所述的人脸图像美化方法,其特征在于,所述步骤(6)中,图层融合具体为:
(6-1)步骤(5)得到的细节图层与IL融合得到亮度空间;
(6-2)将亮度空间与颜色空间融合,得到最后的美化人脸图像。
CN201610246362.8A 2016-04-19 2016-04-19 一种人脸图像美化方法 Pending CN105931211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610246362.8A CN105931211A (zh) 2016-04-19 2016-04-19 一种人脸图像美化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610246362.8A CN105931211A (zh) 2016-04-19 2016-04-19 一种人脸图像美化方法

Publications (1)

Publication Number Publication Date
CN105931211A true CN105931211A (zh) 2016-09-07

Family

ID=56838580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610246362.8A Pending CN105931211A (zh) 2016-04-19 2016-04-19 一种人脸图像美化方法

Country Status (1)

Country Link
CN (1) CN105931211A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392110A (zh) * 2017-06-27 2017-11-24 五邑大学 基于互联网的人脸美化系统
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
CN109461124A (zh) * 2018-09-21 2019-03-12 维沃移动通信(杭州)有限公司 一种图像处理方法及终端设备
CN111127352A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像处理方法、装置、终端及存储介质
CN112330574A (zh) * 2020-11-30 2021-02-05 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备及计算机存储介质
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537612A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种自动的人脸图像皮肤美化方法
CN105469407A (zh) * 2015-11-30 2016-04-06 华南理工大学 一种基于改进的引导滤波器的人脸图像图层分解方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104537612A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种自动的人脸图像皮肤美化方法
CN105469407A (zh) * 2015-11-30 2016-04-06 华南理工大学 一种基于改进的引导滤波器的人脸图像图层分解方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIANMING LIU等: "Joint Gaze-correction and Beautification of Dibr-synthesized Human Face via Dual Sparse Coding", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107392110A (zh) * 2017-06-27 2017-11-24 五邑大学 基于互联网的人脸美化系统
CN107622472A (zh) * 2017-09-12 2018-01-23 北京小米移动软件有限公司 人脸妆容迁移方法及装置
CN109461124A (zh) * 2018-09-21 2019-03-12 维沃移动通信(杭州)有限公司 一种图像处理方法及终端设备
CN111127352A (zh) * 2019-12-13 2020-05-08 北京达佳互联信息技术有限公司 一种图像处理方法、装置、终端及存储介质
CN111127352B (zh) * 2019-12-13 2020-12-01 北京达佳互联信息技术有限公司 一种图像处理方法、装置、终端及存储介质
CN112330574A (zh) * 2020-11-30 2021-02-05 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备及计算机存储介质
CN112330574B (zh) * 2020-11-30 2022-07-12 深圳市慧鲤科技有限公司 人像修复方法、装置、电子设备及计算机存储介质
CN113763287A (zh) * 2021-09-27 2021-12-07 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
CN105931211A (zh) 一种人脸图像美化方法
CN109919830B (zh) 一种基于美学评价的带参考人眼图像修复方法
CN105224942B (zh) 一种rgb-d图像分类方法及系统
CN105718889B (zh) 基于GB(2D)2PCANet深度卷积模型的人脸身份识别方法
Hu et al. Singular value decomposition and local near neighbors for face recognition under varying illumination
CN104537612A (zh) 一种自动的人脸图像皮肤美化方法
CN107123083A (zh) 人脸编辑方法
CN106599863A (zh) 一种基于迁移学习技术的深度人脸识别方法
CN112819692B (zh) 一种基于双重注意力模块的实时任意风格迁移方法
Zhang et al. Bionic face sketch generator
CN105095857B (zh) 基于关键点扰动技术的人脸数据增强方法
CN107516304A (zh) 一种图像去噪方法及装置
CN1700238A (zh) 在彩色数字图像和视频中分割出人体皮肤区域的方法
CN105701468A (zh) 一种基于深度学习的人脸吸引力评价方法
CN107392244B (zh) 基于深度神经网络与级联回归的图像美感增强方法
CN110135501A (zh) 基于神经网络框架的高动态范围图像取证方法
CN108171173A (zh) 一种虹膜图像美瞳生成与去除方法
CN107516083A (zh) 一种面向识别的远距离人脸图像增强方法
Bilal et al. Finger-vein recognition using a novel enhancement method with convolutional neural network
CN113361387A (zh) 人脸图像融合方法及装置、存储介质及电子设备
CN115496650A (zh) 一种基于生成对抗网络的妆容迁移方法
CN109408630A (zh) 一种根据犯罪事实的描述自动生成法院观点的方法
CN111027433A (zh) 一种基于卷积神经网络的多重风格人脸特征点检测方法
Epple Creating and Crossing Boundaries in Ethiopia: dynamics of social categorization and differentiation
Boletsis et al. The InVizAR project: Augmented reality visualization for non-destructive testing data from jacket platforms

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160907

RJ01 Rejection of invention patent application after publication