CN109784191A - 一种基于商图像的多任务人脸光照编辑方法 - Google Patents

Abstract

本发明公开了一种基于商图像的多任务人脸光照编辑方法，包含以下步骤：(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征；(3)商图像特征扩散：根据目标人脸把初始商图像特征扩散到整幅图像；(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。本发明方法能在一个技术框架内同时实现人脸的光照迁移与光照归一化效果，提高人脸光照编辑系统的复用性、可扩展性，同时能自动地提取人脸的光照信息，并根据不同任务与人脸的特点自适应地进行光照调节，提高了人脸光照编辑的效率和易用性。

Description

一种基于商图像的多任务人脸光照编辑方法

技术领域

本发明属于图像识别与图像处理领域，特别涉及一种基于商图像的多任务人脸光照编辑方法。

背景技术

人脸图像的生成受多种因素的影响，包括光照、人脸姿态、背景等。光照是生成图像必不可少的一个条件，然而要在拍摄人脸过程掌握好光照运用技巧并非易事。同时，在自然场景中的人脸图像识别一般无法对光照进行直接控制。通过数字图像的后期光照渲染技术进行人脸光照编辑，我们一方面能在电影制作和摄影中产生特殊的光照效果，节省光照调节的时间和成本；另一方面能在人脸识别系统中去除不必要的人脸光影，提高系统的识别率与鲁棒性。

传统的光照渲染技术主要是通过构建场景和人脸的三维模型来实现的，一般需要专用的摄影设备，操作复杂，并不适合普通用户的日常使用，也无法在二维成像的人脸识别系统中使用。近年，学术界提出了基于二维图像进行光照提取与迁移的人脸光照编辑技术。不过，该技术主要针对特定单一的人脸编辑任务，无法在一个统一的框架下实现多任务的人脸光照编辑效果。

发明内容

本发明的目的在于克服现有技术中的缺点与不足，提供一种基于商图像的多任务人脸光照编辑方法,该方法能在一个统一的框架下同时实现人脸的光照迁移与光照归一化等光照编辑效果，从而提高人脸光照编辑系统的复用性、可扩展性。同时，由于该方法结合的人脸成像的商图像原理与特征扩散方法，能实现对复杂光照区域(如人眼、背景)的自适应光照生成，提高了自动人脸光照编辑的视觉一致性。

为实现以上目的，本发明采取如下技术方案：

一种基于商图像的多任务人脸光照编辑方法，包含以下步骤：

(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；

(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征，其中所述人脸光照编辑任务包括光照迁移和光照归一化；

(3)商图像特征扩散：根据目标人脸把初始商图像特征扩散到整幅图像；

(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。

作为优选的技术方案，所述步骤(1)中的预处理，具体步骤如下：

(1-1)人脸检测：利用训练好的主动形状模型ASM对目标人脸I和参考人脸R的外轮廓和五官分别进行特征点检测；

(1-2)人脸配准：根据提取的人脸特征点对参考人脸进行配准，使参考人脸的形状和表观与目标人脸的角度和大小相匹配。

作为优选的技术方案，所述步骤(2)的商图像特征提取，具体步骤如下：

(2-1)颜色空间转换：把目标人脸图像I与参考人脸图像R从RGB颜色空间转换到CIELAB颜色空间，使得转换后的图像由一个亮度通道和两个颜色通道组成；

(2-2)多任务商图像特征生成：用边缘保持平滑滤波器分别对目标人脸和参考人脸的亮度通道进行平滑处理，平滑结果为目标人脸的光照特征I_L与参考人脸的光照特征R_L；对光照迁移或光照归一化生成初始商图像特征，记为T_L，其中光照迁移的初始商图像特征为I_L/R_L；光照归一化的初始商图像特征为R_L/I_L。

作为优选的技术方案，步骤(2-2)中，所述边缘保持平滑滤波器采用双边滤波器或者加权最小二乘滤波器。

作为优选的技术方案，所述步骤(3)的商图像特征扩散，具体过程如下：

通过以下式(1)迭代初始商图像特征T_L进行扩散而生成完整的商图像特征M_L：

M_L ^(t+1)-M_L ^(t)＝(A_L-B_L)M_L ^(t)+B_LT_L (1)

其中t为迭代次数；B_L为对角权重矩阵，权重大小用以控制商图像扩散的区域，其中人脸内部区域权重为1，其余区域权重为0；A_L为商图像特征相似度矩阵，包含了不同光照特征点p_i与其领域其他点的相似度，具体用下式(2)表示：

其中，下标i,j代表图像中的第i和第j个像素，j∈N₄(i)代表像素i的4邻域；d在扩散限制区域为小数值，在扩散区域为大数值；G＝I_L为导向特征，G_i-G_j为导向特征的梯度；c为一个常数，用以避免|G_i-G_j+c|为0。

作为优选的技术方案，所述步骤(4)中的商图像融合，具体过程如下：

把所述商图像特征M_L和目标人脸I进行逐个像素点的相乘，实现相应的光照编辑效果；设输出的光照迁移或光照归一化结果为O，则O＝M_L I。

本发明相对于现有技术具有如下的优点和效果：

(1)本发明方法在统一框架下同时实现人脸的多种光照编辑效果，从而提高人脸光照编辑系统的复用性、可扩展性，降低重复开发的成本。

(2)本发明结合的人脸成像的商图像原理与特征扩散方法，能实现对复杂光照区域(如人眼、背景)的自适应光照生成，无需人工操作，从而提高了人脸光照编辑的效率和易用性。

(3)本发明方法的统一的技术框架将采用具有高度一致性的数值计算系统，不同的编辑任务将共用一个数值求解系统，这样对底层数值计算模块的优化能为不同的编辑任务同时带来计算性能的提升，并且也为系统维护与二次开发带来便利。

(4)本发明方法在平面广告设计、照片后期处理、电影制作等专业领域和社交网络、数字娱乐等日常应用中都有广泛的前景。

附图说明

图1是本发明基于商图像的多任务人脸光照编辑方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案以及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施例仅用于解释本发明，并不限于本发明。

实施例

如图1所示，一种基于商图像的多任务人脸光照编辑方法，包括下述步骤：

(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；

(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征，其中所述人脸光照编辑任务包括光照迁移和光照归一化；

(3)商图像特征扩散：根据目标人脸把步骤(2)提取的初始商图像特征扩散到整幅图像；

(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。

本实施例的步骤(1)具体包括下述步骤：

(1-1)人脸检测：利用训练好的主动形状模型ASM对目标人脸I和参考人脸R的外轮廓和五官(脖子、眉毛、眼睛、鼻子和嘴巴)分别进行特征点检测；

(1-2)人脸配准：根据提取的人脸特征点对参考人脸进行配准，使参考人脸的形状和表观与目标人脸的角度和大小相匹配。

本实施例的步骤(2)具体包括下述步骤：

(2-1)颜色空间转换：把目标人脸图像I与参考人脸图像R从RGB颜色空间转换到CIELAB颜色空间，使得转换后的图像由一个亮度通道和两个颜色通道组成；

(2-2)多任务商图像特征生成：用边缘保持平滑滤波器(如双边滤波器或者加权最小二乘滤波器)分别对目标人脸和参考人脸的亮度通道进行平滑处理，平滑结果为目标人脸的光照特征I_L与参考人脸的光照特征R_L；对光照迁移或光照归一化生成初始商图像特征，记为T_L，其中光照迁移的初始商图像特征为I_L/R_L；光照归一化的初始商图像特征为R_L/I_L。

本实施例的步骤(3)的具体过程如下：

通过以下式(1)迭代初始商图像特征T_L进行扩散而生成完整的商图像特征M_L：

M_L ^(t+1)-M_L ^(t)＝(A_L-B_L)M_L ^(t)+B_LT_L (1)

其中t为迭代次数；B_L为对角权重矩阵，权重大小用以控制商图像扩散的区域，其中人脸内部区域权重为1，其余区域权重为0；A_L为商图像特征相似度矩阵，包含了不同光照特征点p_i与其领域其他点的相似度，具体来说：

其中，下标i,j代表图像中的第i和第j个像素，j∈N₄(i)代表像素i的4邻域；d在扩散限制区域为小数值，在扩散区域为大数值；G＝I_L为导向特征，G_i-G_j为导向特征的梯度；c为一个常数，用以避免|G_i-G_j+c|为0。

本实施例的步骤(4)的具体过程如下：

把所述商图像特征M_L和目标人脸I进行逐个像素点的相乘，实现相应的光照编辑效果；设输出的光照迁移或光照归一化结果为O，则O＝M_L I。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以权利要求所述为准。

Claims (6)

1.一种基于商图像的多任务人脸光照编辑方法，其特征在于，包含以下步骤：

(1)预处理：对目标人脸与参考人脸进行人脸检测与人脸配准；

(2)商图像特征提取：根据不同的人脸光照编辑任务提取相应的初始商图像特征，其中所述人脸光照编辑任务包括光照迁移和光照归一化；

(3)商图像特征扩散：根据目标人脸把初始商图像特征扩散到整幅图像；

(4)商图像融合：根据不同的人脸光照编辑任务把目标人脸与商图像进行融合，实现相应的光照迁移、光照归一化。

2.根据权利要求1所述的基于商图像的多任务人脸光照编辑方法，其特征在于，所述步骤(1)中的预处理，具体步骤如下：

(1-1)人脸检测：利用训练好的主动形状模型ASM对目标人脸I和参考人脸R的外轮廓和五官分别进行特征点检测；

(1-2)人脸配准：根据提取的人脸特征点对参考人脸进行配准，使参考人脸的形状和表观与目标人脸的角度和大小相匹配。

3.根据权利要求2所述的基于商图像的多任务人脸光照编辑方法，其特征在于，所述步骤(2)的商图像特征提取，具体步骤如下：

(2-1)颜色空间转换：把目标人脸图像I与参考人脸图像R从RGB颜色空间转换到CIELAB颜色空间，使得转换后的图像由一个亮度通道和两个颜色通道组成；

(2-2)多任务商图像特征生成：用边缘保持平滑滤波器分别对目标人脸和参考人脸的亮度通道进行平滑处理，平滑结果为目标人脸的光照特征I_L与参考人脸的光照特征R_L；对光照迁移或光照归一化生成初始商图像特征，记为T_L，其中光照迁移的初始商图像特征为I_L/R_L；光照归一化的初始商图像特征为R_L/I_L。

4.根据权利要求3所述的基于商图像的多任务人脸光照编辑方法，其特征在于，步骤(2-2)中，所述边缘保持平滑滤波器采用双边滤波器或者加权最小二乘滤波器。

5.根据权利要求4所述的基于商图像的多任务人脸光照编辑方法，其特征在于，所述步骤(3)的商图像特征扩散，具体过程如下：

通过以下式(1)迭代初始商图像特征T_L进行扩散而生成完整的商图像特征M_L：

M_L ^(t+1)-M_L ^(t)＝(A_L-B_L)M_L ^(t)+B_LT_L (1)

其中t为迭代次数；B_L为对角权重矩阵，权重大小用以控制商图像扩散的区域，其中人脸内部区域权重为1，其余区域权重为0；A_L为商图像特征相似度矩阵，包含了不同光照特征点p_i与其领域其他点的相似度，具体用下式(2)表示：

其中，下标i,j代表图像中的第i和第j个像素，j∈N₄(i)代表像素i的4邻域；d在扩散限制区域为小数值，在扩散区域为大数值；G＝I_L为导向特征，G_i-G_j为导向特征的梯度；c为一个常数，用以避免|G_i-G_j+c|为0。

6.根据权利要求5所述的基于商图像的多任务人脸光照编辑方法，其特征在于，所述步骤(4)中的商图像融合，具体过程如下：

把所述商图像特征M_L和目标人脸I进行逐个像素点的相乘，实现相应的光照编辑效果；设输出的光照迁移或光照归一化结果为O，则O＝M_L I。