CN104463181A - 一种复杂背景下的自动人脸图像光照编辑方法 - Google Patents
一种复杂背景下的自动人脸图像光照编辑方法 Download PDFInfo
- Publication number
- CN104463181A CN104463181A CN201410614089.0A CN201410614089A CN104463181A CN 104463181 A CN104463181 A CN 104463181A CN 201410614089 A CN201410614089 A CN 201410614089A CN 104463181 A CN104463181 A CN 104463181A
- Authority
- CN
- China
- Prior art keywords
- face
- illumination
- lighting information
- target
- template
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供了一种复杂背景下的自动人脸图像光照编辑方法，其特征在于包含以下步骤：（1）预处理：对目标人脸和参考人脸分别进行预处理，其中目标人脸具有均匀的光照，而参考人脸具有特定的光照；（2）光照信息提取：分别提取目标人脸和参考人脸中的光照信息；（3）光照模板生成：利用步骤（2）提取的目标人脸与参考人脸的光照信息，生成光照模板；（4）光照合成：把光照模板与目标人脸相乘，获得光照渲染输出。
Description
技术领域
本发明属于人脸图像识别及处理领域，特别是涉及一种复杂背景下的自动人脸图像光照编辑方法。
背景技术
在摄影过程中，若想得到一张好的人物相片，提供好的光源和使用好光源是非常重要的。但是，要真正地掌握好光线控制的技巧，在实际操作中并非是一件容易的事情。运用数字图像的后期处理技术或者说光照渲染技术能够在电影制作和摄影中产生特殊的光照效果，节省光照调节的时间和成本。
传统的光照渲染技术一般需要专用的摄影设备，或者通过构建场景和人脸的三维模型来实现的。虽然它能产生较好的渲染效果，但其操作比较复杂，并不适合普通用户的日常使用。对此，业界近年提出了一种基于二维图像的人脸光照编辑技术来实现光照渲染。该技术主要通过从具有某种光照风格的参考图像中提取人脸的光照特性，并把其融合到原像光照的目标人脸中来实现真实感的光照渲染。
目前基于二维图像的人脸光照编辑技术绝大部分只考虑了人脸内部区域的光照编辑问题，并没有考虑背景区域的光照信息的生成，一般只能适用于均匀背景的目标人脸，无法在复杂背景的人脸图像中获得自然和一致的光照编辑效果。
发明内容
本发明的目的是提出一个统一的技术框架实现复杂背景下人脸图像的自动光照渲染效果。该方法能在很大程度上简化人脸光照编辑的人工操作，提高人脸图像光照编辑的效率、易用性和适用范围。同时，由于该方法考虑了复杂背景中的光照信息生成问题，能够产生比一般基于图像的光照编辑方法更自然和一致的光照渲染效果。
本发明的技术方案如下：
（1） 预处理：对目标人脸和参考人脸分别进行预处理，使其对应的人脸区域得到匹配，其中目标人脸具有均匀的光照，而参考人脸具有特定的光照；
（2） 光照信息提取：分别提取目标人脸和参考人脸中的光照信息；
（3） 光照模板生成：利用步骤（2）提取的目标人脸与参考人脸的光照信息，生成光照模板；
（4） 光照合成：把光照模板与目标人脸相乘，获得光照渲染输出。
上述技术方案中，所述步骤（1）预处理具体步骤如下：
（1-1）分别对目标人脸和参考人脸进行人脸检测，并在人脸区域内对人脸部件进行特征点定位，所述人脸部件包括人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴；
（1-2）根据目标人脸的特征点位置，对参考人脸进行变形，使两者对应的人脸区域相匹配。
所述步骤（2）光照信息提取的具体步骤如下：
（2-1）把目标人脸图像 从RGB颜色空间转换到CIELAB颜色空间，使得图像由一个亮度通道和两个颜色通道组成；
（2-2）用边缘保持平滑滤波器（如双边滤波器）对亮度通道进行平滑处理，平滑结果为提取的光照信息；
（2-3）对参考人脸重复上述步骤，得到参考人脸的光照信息。
所述步骤（3）光照模板生成的具体步骤如下：
（3-1）把提取的参考人脸光照信息与目标人脸光照信息相比，得到光照模板的初始值，即；
（3-2）以提取的目标人脸光照信息作为光照模板生成的导向特征，即；
（3-3）通过求解以下的加权最小二乘公式，获得光照模板：
其中：符号 代表M为使泛函取得最小值时的函数， z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的光照蒙板，代表输入的光照模板初始值，符号和分别代表函数M对和对y方向的偏导数，符号和分别代表函数G对对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数的取值范围一般为[1.2,2.0]，参数为正数，用来平衡光滑项与数据项的比例，其在人眼、眉毛和背景区域具有较大值，在其余区域具有较小值。
本发明的有益效果和优点包括以下几点：
1. 本发明在专业领域和日常生活中都有广泛的应用前景，如平面广告设计、照片后期处理、电影制作、社交网络应用和数字娱乐等；
2. 本发明无需专用的摄影设备，能直接利用普通摄像头实现基于图像的光照渲染效果，具有较低的硬件成本和较广的适用范围；
3. 本发明能自动地提取人脸的光照信息和实现某种特定光照的渲染效果，大大简化了用户的操作，提高了人脸光照编辑的效率和易用性；
4. 该方法能根据人脸内部区域的光照特点自动地补全人脸背景区域的光照信息，能获得比一般基于图像的人脸光照编辑技术更自然和一致的视觉效果；
5. 该方法直接利用二维图像的变换和处理实现光照渲染，无需构建三维人脸模型，具有更小的计算量和较高的运行效率。
附图说明
图1是本发明的系统结构框图；
图2是本发明输入的目标人脸与参考人脸以及输出的人脸光照渲染效果图；
图3是本发明光照模板生成步骤中光照模板初始值、模型非均匀参数以及生成光照模板的效果图。
具体实施方式
下面结合附图对本发明做进一步的说明。
本发明的系统结构框图如附图1所示，其具体步骤如下：
（1） 预处理（P）：对目标人脸和参考人脸分别进行预处理，使其对应的人脸区域得到匹配，其中目标人脸具有均匀的光照（如附图2a所示），而参考人脸具有特定的光照（如附图2b所示）；
（2） 光照信息提取（L）：分别提取目标人脸和参考人脸中的光照信息，分别为和；
（3） 光照模板生成（M）：利用步骤（2）提取的目标人脸与参考人脸的光照信息，生成光照模板；
（4） 光照合成：把光照模板与目标人脸相乘，在目标人脸中生成具有类似于参考人脸光照特点的效果，获得最终的输出光照渲染输出（如附图2c所示），即。
本发明预处理（P）具体步骤如下：
（P-1）分别对目标人脸和参考人脸进行人脸检测，并在人脸区域内对人脸部件进行特征点定位，所述人脸部件包括人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴；
（P-2）根据目标人脸的特征点位置，对参考人脸进行变形，使两者对于的人脸区域相匹配。
本发明光照信息提取（L）的具体步骤如下：
（L-1）把目标人脸图像从RGB颜色空间转换到CIELAB颜色空间，使得图像由一个亮度通道和两个颜色通道组成；
（L-2）用边缘保持平滑滤波器（如双边滤波器）对亮度通道进行平滑处理，平滑结果为提取的光照信息，以双边滤波器为例，有：
，
其中，滤波核为，为图像中像素点的领域像素点，参数()用来控制滤波核中相应的高斯核大小；
（L-3）对参考人脸重复上述步骤，得到参考人脸的光照信息。
本发明光照模板生成（M）的具体步骤如下：
（M-1）把提取的参考人脸光照信息与目标人脸光照信息相比，得到光照模板的初始值（如附图3a所示），即；
（M-2）以提取的目标人脸光照信息作为光照模板生成的导向特征，即；
（M-3）通过求解以下的加权最小二乘公式，获得光照模板（如附图3c所示）：
其中：符号 代表M为使泛函取得最小值时的函数， z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的光照蒙板，代表输入的光照模板初始值，符号和分别代表函数M对和对y方向的偏导数，符号和分别代表函数G对对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数的取值范围一般为[1.2,2.0]，参数为正数，用来平衡光滑项与数据项的比例，其在人眼、眉毛和背景区域具有较大值，在其余区域具有较小值。例如，可取，其中在人眼、眉毛和背景区域的值为1，其余区域的值为0，如附图3b所示；
（M-4）对于步骤（M-3）的加权最小二乘问题，根据模型的数学特性，可把转化为一个矩阵方程的求解问题，其中：
且。在这里，下标代表图像中的第和第个像素，代表像素的4邻域；
（M-5）对于步骤（M-4）中的矩阵方程，可用常用的数值计算方法求解，如利用共轭梯度下降法进行多次迭代来求解。
Claims (4)
1.一种复杂背景下的自动人脸图像光照编辑方法，其特征在于包含以下步骤：
预处理：对目标人脸 和参考人脸 分别进行预处理，其中目标人脸具有均匀的光照，而参考人脸具有特定的光照；
光照信息提取：分别提取目标人脸和参考人脸中的光照信息；
光照模板生成：利用步骤（2）提取的目标人脸与参考人脸的光照信息，生成光照模板；
光照合成：把光照模板与目标人脸相乘，获得光照渲染输出。
2.根据权利要求1所述的复杂背景下的自动人脸图像光照编辑方法，其特征在于所述步骤（1）预处理具体步骤如下：
（1-1）分别对目标人脸和参考人脸进行人脸检测，并在人脸区域内对人脸部件进行特征点定位，所述人脸部件包括人脸外轮廓、脖子、眉毛、眼睛、鼻子和嘴巴；
（1-2）根据目标人脸的特征点位置，对参考人脸进行变形，使两者对应的人脸区域相匹配。
3.根据权利要求1所述的复杂背景下的自动人脸图像光照编辑方法，其特征在于所述步骤（2）光照信息提取的具体步骤如下：
（2-1）把目标人脸图像从RGB颜色空间转换到CIELAB颜色空间，使得图像由一个亮度通道和两个颜色通道组成；
（2-2）用边缘保持平滑滤波器对亮度通道进行平滑处理，平滑结果为提取的光照信息；
（2-3）对参考人脸R重复上述步骤，得到参考人脸的光照信息。
4.根据权利要求1所述的复杂背景下的自动人脸图像光照编辑方法，其特征在于所述步骤（3）光照模板生成的具体步骤如下：
（3-1）把提取的参考人脸光照信息与目标人脸光照信息相比，得到光照模板的初始值，即；
（3-2）以提取的目标人脸光照信息作为光照模板生成的导向特征，即；
（3-3）通过求解以下的加权最小二乘公式，获得光照模板：
其中：，符号 代表M为使泛函取得最小值时的函数， z代表空间域，代表像素点对图像输出的影响程度，其取值范围是0到1，代表输出的光照蒙板，代表输入的光照模板初始值，符号和分别代表函数M对和对y方向的偏导数，符号和分别代表函数G对对和对y方向的偏导数，参数取一个小的且不为零的数，其典型取值为0.0001，用来避免分母为0的情况，参数的取值范围一般为[1.2,2.0]，参数为正数，用来平衡光滑项与数据项的比例，其在人眼、眉毛和背景区域具有较大值，在其余区域具有较小值。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410614089.0A CN104463181A (zh) | 2014-08-05 | 2014-11-05 | 一种复杂背景下的自动人脸图像光照编辑方法 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201410381097 | 2014-08-05 | ||
| CN2014103810975 | 2014-08-05 | ||
| CN201410614089.0A CN104463181A (zh) | 2014-08-05 | 2014-11-05 | 一种复杂背景下的自动人脸图像光照编辑方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN104463181A true CN104463181A (zh) | 2015-03-25 |
Family
ID=52909195
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410614089.0A Pending CN104463181A (zh) | 2014-08-05 | 2014-11-05 | 一种复杂背景下的自动人脸图像光照编辑方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104463181A (zh) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447829A (zh) * | 2015-11-25 | 2016-03-30 | 小米科技有限责任公司 | 图像处理方法及装置 |
| CN107679570A (zh) * | 2017-09-27 | 2018-02-09 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
| CN107944420A (zh) * | 2017-12-07 | 2018-04-20 | 北京旷视科技有限公司 | 人脸图像的光照处理方法和装置 |
| CN109308726A (zh) * | 2018-09-07 | 2019-02-05 | 华南理工大学 | 人脸图像编辑模板的快速生成方法和系统 |
| CN109345470A (zh) * | 2018-09-07 | 2019-02-15 | 华南理工大学 | 人脸图像融合方法和系统 |
| CN109784191A (zh) * | 2018-12-20 | 2019-05-21 | 华南理工大学 | 一种基于商图像的多任务人脸光照编辑方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425179A (zh) * | 2008-11-18 | 2009-05-06 | 清华大学 | 一种人脸图像重光照的方法及装置 |
| CN103337088A (zh) * | 2013-07-10 | 2013-10-02 | 北京航空航天大学 | 一种基于边缘保持的人脸图像光影编辑方法 |
-
2014
- 2014-11-05 CN CN201410614089.0A patent/CN104463181A/zh active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101425179A (zh) * | 2008-11-18 | 2009-05-06 | 清华大学 | 一种人脸图像重光照的方法及装置 |
| CN103337088A (zh) * | 2013-07-10 | 2013-10-02 | 北京航空航天大学 | 一种基于边缘保持的人脸图像光影编辑方法 |
Non-Patent Citations (2)
| Title |
|---|
| LINGYU LIANG等: "A New Face Relighting Method Based on Edge-Preserving Filter", 《IEICE TRANSACTIONS ON INFORMATION & SYSTEMS》 * |
| LINGYU LIANG等: "Facial Skin Beautification using Region-Aware Mask", 《2013 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS,MAN,AND CYBERNETICS》 * |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105447829A (zh) * | 2015-11-25 | 2016-03-30 | 小米科技有限责任公司 | 图像处理方法及装置 |
| CN105447829B (zh) * | 2015-11-25 | 2018-06-08 | 小米科技有限责任公司 | 图像处理方法及装置 |
| CN107679570A (zh) * | 2017-09-27 | 2018-02-09 | 广东欧珀移动通信有限公司 | 解锁控制方法及相关产品 |
| CN107944420A (zh) * | 2017-12-07 | 2018-04-20 | 北京旷视科技有限公司 | 人脸图像的光照处理方法和装置 |
| CN107944420B (zh) * | 2017-12-07 | 2020-10-27 | 北京旷视科技有限公司 | 人脸图像的光照处理方法和装置 |
| CN109308726A (zh) * | 2018-09-07 | 2019-02-05 | 华南理工大学 | 人脸图像编辑模板的快速生成方法和系统 |
| CN109345470A (zh) * | 2018-09-07 | 2019-02-15 | 华南理工大学 | 人脸图像融合方法和系统 |
| CN109345470B (zh) * | 2018-09-07 | 2021-11-23 | 华南理工大学 | 人脸图像融合方法和系统 |
| CN109308726B (zh) * | 2018-09-07 | 2023-04-28 | 华南理工大学 | 人脸图像编辑模板的快速生成方法和系统 |
| CN109784191A (zh) * | 2018-12-20 | 2019-05-21 | 华南理工大学 | 一种基于商图像的多任务人脸光照编辑方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104463181A (zh) | 一种复杂背景下的自动人脸图像光照编辑方法 | |
| Lukac | Computational photography: methods and applications | |
| CN104537612A (zh) | 一种自动的人脸图像皮肤美化方法 | |
| KR102290985B1 (ko) | 이미지 조명 방법, 장치, 전자 기기 및 저장 매체 | |
| US9589178B2 (en) | Image processing with facial features | |
| CN101551911B (zh) | 人脸素描肖像画自动生成方法 | |
| CN107808373A (zh) | 基于姿态的样本图像合成方法、装置及计算设备 | |
| CN103955918A (zh) | 一种全自动精细抠像装置及精细抠像方法 | |
| Liu et al. | Photo stylistic brush: Robust style transfer via superpixel-based bipartite graph | |
| CN104811684A (zh) | 一种图像的三维美颜方法及装置 | |
| CN113362422B (zh) | 一种阴影鲁棒的基于解耦表示的妆容迁移系统及方法 | |
| CN103440674A (zh) | 一种数字图像蜡笔特效的快速生成方法 | |
| CN116583878A (zh) | 用于个性化3d头部模型变形的方法和系统 | |
| CN104537372A (zh) | 一种具备区域感知特性的人脸图像蒙板自动生成方法 | |
| CN111626918A (zh) | 一种基于语义分割网络技术对数字图像进行风格变化的方法及系统 | |
| CN108810406A (zh) | 人像光效处理方法、装置、终端及计算机可读存储介质 | |
| CN105513013A (zh) | 一种手机图片发型合成方法 | |
| CN103400353B (zh) | 一种将图片转为油画的方法 | |
| CN104463847A (zh) | 一种水墨画特色渲染方法 | |
| Zhang et al. | A real-time semi-supervised deep tone mapping network | |
| CN113870404B (zh) | 一种3d模型的皮肤渲染方法及显示设备 | |
| CN107079080A (zh) | 执行光源控制和照片补正的照片生成装置 | |
| CN114004803A (zh) | 一种基于物体光照编辑的方法 | |
| CN117541732A (zh) | 一种文本引导的神经辐射场建筑物场景风格化方法 | |
| CN109345470B (zh) | 人脸图像融合方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20150325 |