CN109784191B - 一种基于商图像的多任务人脸光照编辑方法 - Google Patents

一种基于商图像的多任务人脸光照编辑方法 Download PDF

Info

Publication number
CN109784191B
CN109784191B CN201811559959.3A CN201811559959A CN109784191B CN 109784191 B CN109784191 B CN 109784191B CN 201811559959 A CN201811559959 A CN 201811559959A CN 109784191 B CN109784191 B CN 109784191B
Authority
CN
China
Prior art keywords
face
illumination
image
quotient
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811559959.3A
Other languages
English (en)
Other versions
CN109784191A (zh
Inventor
梁凌宇
金连文
许勇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Original Assignee
South China University of Technology SCUT
Zhuhai Institute of Modern Industrial Innovation of South China University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT, Zhuhai Institute of Modern Industrial Innovation of South China University of Technology filed Critical South China University of Technology SCUT
Priority to CN201811559959.3A priority Critical patent/CN109784191B/zh
Publication of CN109784191A publication Critical patent/CN109784191A/zh
Application granted granted Critical
Publication of CN109784191B publication Critical patent/CN109784191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种基于商图像的多任务人脸光照编辑方法，包含以下步骤：(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征；(3)商图像特征扩散：根据目标人脸把初始商图像特征扩散到整幅图像；(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。本发明方法能在一个技术框架内同时实现人脸的光照迁移与光照归一化效果，提高人脸光照编辑系统的复用性、可扩展性，同时能自动地提取人脸的光照信息，并根据不同任务与人脸的特点自适应地进行光照调节，提高了人脸光照编辑的效率和易用性。

Description

一种基于商图像的多任务人脸光照编辑方法
技术领域
本发明属于图像识别与图像处理领域，特别涉及一种基于商图像的多任务人脸光照编辑方法。
背景技术
人脸图像的生成受多种因素的影响，包括光照、人脸姿态、背景等。光照是生成图像必不可少的一个条件，然而要在拍摄人脸过程掌握好光照运用技巧并非易事。同时，在自然场景中的人脸图像识别一般无法对光照进行直接控制。通过数字图像的后期光照渲染技术进行人脸光照编辑，我们一方面能在电影制作和摄影中产生特殊的光照效果，节省光照调节的时间和成本；另一方面能在人脸识别系统中去除不必要的人脸光影，提高系统的识别率与鲁棒性。
传统的光照渲染技术主要是通过构建场景和人脸的三维模型来实现的，一般需要专用的摄影设备，操作复杂，并不适合普通用户的日常使用，也无法在二维成像的人脸识别系统中使用。近年，学术界提出了基于二维图像进行光照提取与迁移的人脸光照编辑技术。不过，该技术主要针对特定单一的人脸编辑任务，无法在一个统一的框架下实现多任务的人脸光照编辑效果。
发明内容
本发明的目的在于克服现有技术中的缺点与不足，提供一种基于商图像的多任务人脸光照编辑方法,该方法能在一个统一的框架下同时实现人脸的光照迁移与光照归一化等光照编辑效果，从而提高人脸光照编辑系统的复用性、可扩展性。同时，由于该方法结合的人脸成像的商图像原理与特征扩散方法，能实现对复杂光照区域(如人眼、背景)的自适应光照生成，提高了自动人脸光照编辑的视觉一致性。
为实现以上目的，本发明采取如下技术方案：
一种基于商图像的多任务人脸光照编辑方法，包含以下步骤：
(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；
(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征，其中所述人脸光照编辑任务包括光照迁移和光照归一化；
(3)商图像特征扩散：根据目标人脸把初始商图像特征扩散到整幅图像；
(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。
作为优选的技术方案，所述步骤(1)中的预处理，具体步骤如下：
(1-1)人脸检测：利用训练好的主动形状模型ASM对目标人脸I和参考人脸R的外轮廓和五官分别进行特征点检测；
(1-2)人脸配准：根据提取的人脸特征点对参考人脸进行配准，使参考人脸的形状和表观与目标人脸的角度和大小相匹配。
作为优选的技术方案，所述步骤(2)的商图像特征提取，具体步骤如下：
(2-1)颜色空间转换：把目标人脸图像I与参考人脸图像R从RGB颜色空间转换到CIELAB颜色空间，使得转换后的图像由一个亮度通道和两个颜色通道组成；
(2-2)多任务商图像特征生成：用边缘保持平滑滤波器分别对目标人脸和参考人脸的亮度通道进行平滑处理，平滑结果为目标人脸的光照特征IL与参考人脸的光照特征RL；对光照迁移或光照归一化生成初始商图像特征，记为TL，其中光照迁移的初始商图像特征为IL/RL；光照归一化的初始商图像特征为RL/IL。
作为优选的技术方案，步骤(2-2)中，所述边缘保持平滑滤波器采用双边滤波器或者加权最小二乘滤波器。
作为优选的技术方案，所述步骤(3)的商图像特征扩散，具体过程如下：
通过以下式(1)迭代初始商图像特征TL进行扩散而生成完整的商图像特征ML：
ML (t+1)-ML (t)＝(AL-BL)ML (t)+BLTL (1)
其中t为迭代次数；BL为对角权重矩阵，权重大小用以控制商图像扩散的区域，其中人脸内部区域权重为1，其余区域权重为0；AL为商图像特征相似度矩阵，包含了不同光照特征点pi与其邻域其他点的相似度，具体用下式(2)表示：
Figure GDA0002781124400000031
其中，下标i,j代表图像中的第i和第j个像素，j∈N4(i)代表像素i的4邻域；d在扩散限制区域为小数值，在扩散区域为大数值；G＝IL为导向特征，Gi-Gj为导向特征的梯度；c为一个常数，用以避免|Gi-Gj+c|为0。
作为优选的技术方案，所述步骤(4)中的商图像融合，具体过程如下：
把所述商图像特征ML和目标人脸I进行逐个像素点的相乘，实现相应的光照编辑效果；设输出的光照迁移或光照归一化结果为O，则O＝ML I。
本发明相对于现有技术具有如下的优点和效果：
(1)本发明方法在统一框架下同时实现人脸的多种光照编辑效果，从而提高人脸光照编辑系统的复用性、可扩展性，降低重复开发的成本。
(2)本发明结合的人脸成像的商图像原理与特征扩散方法，能实现对复杂光照区域(如人眼、背景)的自适应光照生成，无需人工操作，从而提高了人脸光照编辑的效率和易用性。
(3)本发明方法的统一的技术框架将采用具有高度一致性的数值计算系统，不同的编辑任务将共用一个数值求解系统，这样对底层数值计算模块的优化能为不同的编辑任务同时带来计算性能的提升，并且也为系统维护与二次开发带来便利。
(4)本发明方法在平面广告设计、照片后期处理、电影制作等专业领域和社交网络、数字娱乐等日常应用中都有广泛的前景。
附图说明
图1是本发明基于商图像的多任务人脸光照编辑方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限于本发明。
实施例
如图1所示，一种基于商图像的多任务人脸光照编辑方法，包括下述步骤：
(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；
(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征，其中所述人脸光照编辑任务包括光照迁移和光照归一化；
(3)商图像特征扩散：根据目标人脸把步骤(2)提取的初始商图像特征扩散到整幅图像；
(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。
本实施例的步骤(1)具体包括下述步骤：
(1-1)人脸检测：利用训练好的主动形状模型ASM对目标人脸I和参考人脸R的外轮廓和五官(脖子、眉毛、眼睛、鼻子和嘴巴)分别进行特征点检测；
(1-2)人脸配准：根据提取的人脸特征点对参考人脸进行配准，使参考人脸的形状和表观与目标人脸的角度和大小相匹配。
本实施例的步骤(2)具体包括下述步骤：
(2-1)颜色空间转换：把目标人脸图像I与参考人脸图像R从RGB颜色空间转换到CIELAB颜色空间，使得转换后的图像由一个亮度通道和两个颜色通道组成；
(2-2)多任务商图像特征生成：用边缘保持平滑滤波器(如双边滤波器或者加权最小二乘滤波器)分别对目标人脸和参考人脸的亮度通道进行平滑处理，平滑结果为目标人脸的光照特征IL与参考人脸的光照特征RL；对光照迁移或光照归一化生成初始商图像特征，记为TL，其中光照迁移的初始商图像特征为IL/RL；光照归一化的初始商图像特征为RL/IL。
本实施例的步骤(3)的具体过程如下：
通过以下式(1)迭代初始商图像特征TL进行扩散而生成完整的商图像特征ML：
ML (t+1)-ML (t)＝(AL-BL)ML (t)+BLTL (1)
其中t为迭代次数；BL为对角权重矩阵，权重大小用以控制商图像扩散的区域，其中人脸内部区域权重为1，其余区域权重为0；AL为商图像特征相似度矩阵，包含了不同光照特征点pi与其邻域其他点的相似度，具体来说：
Figure GDA0002781124400000061
其中，下标i,j代表图像中的第i和第j个像素，j∈N4(i)代表像素i的4邻域；d在扩散限制区域为小数值，在扩散区域为大数值；G＝IL为导向特征，Gi-Gj为导向特征的梯度；c为一个常数，用以避免|Gi-Gj+c|为0。
本实施例的步骤(4)的具体过程如下：
把所述商图像特征ML和目标人脸I进行逐个像素点的相乘，实现相应的光照编辑效果；设输出的光照迁移或光照归一化结果为O，则O＝ML I。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (2)

1.一种基于商图像的多任务人脸光照编辑方法，其特征在于，包含以下步骤：
(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；
(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征，其中所述人脸光照编辑任务包括光照迁移和光照归一化；
(3)商图像特征扩散：根据目标人脸把初始商图像特征扩散到整幅图像；
(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化；
所述步骤(1)中的预处理，具体步骤如下：
(1-1)人脸检测：利用训练好的主动形状模型ASM对目标人脸I和参考人脸R的外轮廓和五官分别进行特征点检测；
(1-2)人脸配准：根据提取的人脸特征点对参考人脸进行配准，使参考人脸的形状和表观与目标人脸的角度和大小相匹配；
所述步骤(2)的商图像特征提取，具体步骤如下：
(2-1)颜色空间转换：把目标人脸图像I与参考人脸图像R从RGB颜色空间转换到CIELAB颜色空间，使得转换后的图像由一个亮度通道和两个颜色通道组成；
(2-2)多任务商图像特征生成：用边缘保持平滑滤波器分别对目标人脸和参考人脸的亮度通道进行平滑处理，平滑结果为目标人脸的光照特征IL与参考人脸的光照特征RL；对光照迁移或光照归一化生成初始商图像特征，记为TL，其中光照迁移的初始商图像特征为IL/RL；光照归一化的初始商图像特征为RL/IL；
步骤(2-2)中，所述边缘保持平滑滤波器采用双边滤波器或者加权最小二乘滤波器；
所述步骤(3)的商图像特征扩散，具体过程如下：
通过以下式(1)迭代初始商图像特征TL进行扩散而生成完整的商图像特征ML：
ML (t+1)-ML (t)＝(AL-BL)ML (t)+BLTL (1)
其中t为迭代次数；BL为对角权重矩阵，权重大小用以控制商图像扩散的区域，其中人脸内部区域权重为1，其余区域权重为0；AL为商图像特征相似度矩阵，包含了不同光照特征点pi与其邻域其他点的相似度，具体用下式(2)表示：
Figure FDA0002781124390000021
其中，下标i,j代表图像中的第i和第j个像素，j∈N4(i)代表像素i的4邻域；d在扩散限制区域为小数值，在扩散区域为大数值；G＝IL为导向特征，Gi-Gj为导向特征的梯度；c为一个常数，用以避免|Gi-Gj+c|为0。
2.根据权利要求1所述的基于商图像的多任务人脸光照编辑方法，其特征在于，所述步骤(4)中的商图像融合，具体过程如下：
把所述商图像特征ML和目标人脸I进行逐个像素点的相乘，实现相应的光照编辑效果；设输出的光照迁移或光照归一化结果为O，则O＝MLI。
CN201811559959.3A 2018-12-20 2018-12-20 一种基于商图像的多任务人脸光照编辑方法 Active CN109784191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811559959.3A CN109784191B (zh) 2018-12-20 2018-12-20 一种基于商图像的多任务人脸光照编辑方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811559959.3A CN109784191B (zh) 2018-12-20 2018-12-20 一种基于商图像的多任务人脸光照编辑方法

Publications (2)

Publication Number Publication Date
CN109784191A CN109784191A (zh) 2019-05-21
CN109784191B true CN109784191B (zh) 2021-01-01

Family

ID=66497533

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811559959.3A Active CN109784191B (zh) 2018-12-20 2018-12-20 一种基于商图像的多任务人脸光照编辑方法

Country Status (1)

Country Link
CN (1) CN109784191B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4358532A (en) * 1980-07-15 1982-11-09 Fuji Photo Film Co., Ltd. Photographic element
CN102170574A (zh) * 2011-05-23 2011-08-31 北京工业大学 一种实时视频去雾处理系统
CN102881011A (zh) * 2012-08-31 2013-01-16 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN104715494A (zh) * 2015-03-30 2015-06-17 江南大学 基于局部敏感直方图的视频目标压缩跟踪方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100015709A1 (en) * 2006-02-10 2010-01-21 Trustees Of The University Of Pennsylvania Regulating Stem Cell Differentiation By Controlling 2D and 3D Matrix Elasticity
CN103069432A (zh) * 2010-06-30 2013-04-24 梅迪奇视觉成像解决方案有限公司 医学图像的非线性分辨率降低方法
CN101957912B (zh) * 2010-10-21 2012-08-01 重庆大学 基于多尺度各向异性扩散的人脸光照不变图像的获取方法
CN103337088B (zh) * 2013-07-10 2016-07-06 北京航空航天大学 一种基于边缘保持的人脸图像光影编辑方法
JP6204858B2 (ja) * 2014-03-25 2017-09-27 富士フイルム株式会社 タッチパネルモジュールおよび電子機器
CN104463181A (zh) * 2014-08-05 2015-03-25 华南理工大学 一种复杂背景下的自动人脸图像光照编辑方法
CN104537372A (zh) * 2014-08-05 2015-04-22 华南理工大学 一种具备区域感知特性的人脸图像蒙板自动生成方法
CN105528763B (zh) * 2015-11-30 2019-01-29 华南理工大学 一种基于多重网格近似算法的自适应区域感知蒙板生成方法
CN108415883B (zh) * 2018-02-13 2020-06-16 中国科学院西安光学精密机械研究所 基于子空间聚类的凸非负矩阵分解方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4358532A (en) * 1980-07-15 1982-11-09 Fuji Photo Film Co., Ltd. Photographic element
CN102170574A (zh) * 2011-05-23 2011-08-31 北京工业大学 一种实时视频去雾处理系统
CN102881011A (zh) * 2012-08-31 2013-01-16 北京航空航天大学 基于区域分割的肖像光照迁移方法
CN104715494A (zh) * 2015-03-30 2015-06-17 江南大学 基于局部敏感直方图的视频目标压缩跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Light Field Image Processing: An Overview";G. Wu 等;《IEEE Journal of Selected Topics in Signal Processing》;20170830;第11卷(第7期);926-954 *

Also Published As

Publication number Publication date
CN109784191A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
CN103731583B (zh) 用于拍照智能化合成、打印处理方法
CN110910486B (zh) 室内场景光照估计模型、方法、装置、存储介质以及渲染方法
CN108257084B (zh) 一种基于移动端的轻量级人脸自动化妆方法
KR20200014842A (ko) 이미지 조명 방법, 장치, 전자 기기 및 저장 매체
CN108830913B (zh) 基于用户颜色引导的语义级别线稿上色方法
WO2021143264A1 (zh) 图像处理方法、装置、服务器和存储介质
CN105354248A (zh) 基于灰度的分布式图像底层特征识别方法及系统
CN109886153B (zh) 一种基于深度卷积神经网络的实时人脸检测方法
CN103955918A (zh) 一种全自动精细抠像装置及精细抠像方法
CN106780713A (zh) 一种基于单幅照片的三维人脸建模方法及系统
WO2023000895A1 (zh) 图像风格转换方法、装置、电子设备和存储介质
CN116569213A (zh) 图像区域的语义细化
CN107609603A (zh) 一种多颜色空间差分融合的图像匹配方法
CN111626918A (zh) 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统
CN115668300A (zh) 利用纹理解析的对象重建
CN110188670A (zh) 一种虹膜识别中的人脸图像处理方法、装置和计算设备
CN104463181A (zh) 一种复杂背景下的自动人脸图像光照编辑方法
CN108734677A (zh) 一种基于深度学习的盲去模糊方法及系统
CN107194380A (zh) 一种复杂场景下人脸识别的深度卷积网络及学习方法
CN115967823A (zh) 视频封面生成方法、装置、电子设备及可读介质
Sial et al. Deep intrinsic decomposition trained on surreal scenes yet with realistic light effects
CN109300170A (zh) 肖像照片光影传递方法
CN109784191B (zh) 一种基于商图像的多任务人脸光照编辑方法
CN109345470B (zh) 人脸图像融合方法和系统
CN110519509A (zh) 构图评价方法、摄影方法、装置、电子设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant