CN103337088B - 一种基于边缘保持的人脸图像光影编辑方法 - Google Patents

Abstract

本发明公开了一种基于边缘保持的人脸图像光影编辑方法，包括：人脸光影迁移和人脸光影归一化。利用边缘保持的优化方法提取人脸图像中光影信息，在人脸光影信息提取的过程中根据人脸反射率先验排除了由人脸皮肤反射率引起的图像变化，使得光影信息包含较少的人脸材质信息。提取的人脸光影信息可用于人脸光影迁移和人脸光影归一化。在人脸光影迁移过程中将参考图像虹膜区域的漫反射效果迁移到目标图像，使得人脸光影迁移结果更加真实。本发明可广泛应用到影视节目制作、艺术设计与创作等领域。

Description

一种基于边缘保持的人脸图像光影编辑方法

技术领域

本发明属于虚拟现实和计算机视觉领域，具体地说涉及一种边缘保持的人脸图像光影编辑方法。

背景技术

基于图像素材的虚拟场景生成技术是虚拟现实技术的重要组成部分。由于构成虚拟场景的场景与场景对象经常来自不同的素材，场景对象和图像场景的光影效果可能会存在较大的差异，然而图像虚拟场景需要各个场景对象具有一致的光影效果，但是目前的图像素材光照融合方法难以满足虚拟场景的需要。图像场景对象的光影编辑问题，即如何编辑人脸图像的光影效果，使得光影编辑后的人脸图像与场景光照条件相一致，是目前急需解决的问题。

目前，有一些基于图像的人脸图像光照效果合成方法，这些方法均需要使用到复杂的光照采集设备。2000年美国南加州大学的Debevec等提出一种固定视角下静态场景光照迁移方法。采集2048种点光源光照条件下静态人脸图像，线性组合所采集的图像数据生成静态人脸在新光照条件下的图像，该方法局限于固定视角下的静态对象光照效果合成。2007年南加州大学的Peers等提出了一种利用商图对人脸进行光照迁移的方法。通过采集静态参考人脸对象在不同光照条件下反射场，并利用同一对象在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相应光照条件下该对象的材质属性图，也称作商图。同时将期望光照条件所对应的商图进行变形，并迁移到目标人脸上，以生成目标图像场景的光照效果。该方法用于对人脸图像进行后期光照迁移处理。该方法局限是：目标人脸和数据库人脸具有相近的几何特性和材质属性，因此该方法暂时只能处理人脸光影迁移问题，还不能用于人脸光影归一化问题。

2008年哥伦比亚大学的Bitouk等提出一种自动人脸替换的方法。该方法从候选图像中选择姿态一致的人脸，然后对选择的候选人脸区域位置调准、重着色和光照迁移，最后进行边界融合。该工作的目的是去识别和隐私保护，但其在光照迁移方面的工作有一定借鉴意义。该方法在光照迁移时对人脸作了朗波表面的假设，并用一个静态的人脸形状（近似圆柱体的形状）来估计人脸光照信息，构造候选图像的商图用来对候选图像进行光照迁移。该方法通过粗略估计两张图像对应的光照条件来构造目标人脸图像在两种光照条件下的粗略商图，因此商图十分平滑，光照迁移的结果比较自然。

一些基于多视角几何的方法利用多视角图像来解决静态图像对象的光照迁移问题。2009年比利时哈瑟尔特大学的Haber等提出一种基于图像的静态对象光照迁移方法。他利用多视立体方法通过多幅不同视点和不同光照条件下图像来计算对象的几何结构，然后用基于小波的全频域光照迁移框架来计算每幅图像的入射光和表面顶点的反射属性。该方法需要利用多视角图像获取静态对象精确几何信息来进行光照迁移，而一般运动对象的精确几何信息难以获取，因此难以推广到视频运动对象的光照迁移；此外，该方法在分解材质和环境光颜色时效果不佳。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于边缘保持的人脸图像光影编辑方法，该方法不需要对目标人脸图像的几何进行估计或假设，也不需要对光照模型做出假设，而是只需要单幅参考人脸图像对目标人脸图像进行光影效果迁移和光影效果归一化。本发明利用基于边缘保持的优化方法来提取人脸光影信息，提取出的光照信息可以用于人脸光影效果迁移以及人脸光影效果归一化。在人脸光影效果迁移阶段，还考虑了虹膜区域的镜面反射效果，使人脸光影迁移结果更加真实。

为完成发明目的，本发明采用的技术方案是：一种基于边缘保持的人脸图像光影编辑方法，该方法构建了基于边缘保持的能量方程，通过求解能量方程提取脸部区域光影效果，基于该光影信息可以进行人脸光影效果迁移和人脸光影效果归一化；在光影效果提取过程中根据人脸反射率先验计算能量方程的系数，本发明使用如下的人脸反射率先验：人脸图像像素梯度平方和如果大于规定阈值则认为该像素梯度是由光照引起的，在人脸光影效果提取过程中将该变化保留在光影层上；在光影效果的迁移过程中，将参考人脸虹膜区域的镜面反射效果迁移到目标人脸的虹膜区域，迁移过程如下：

步骤1、对参考人脸虹膜区域的像素按像素强度排序，强度最高的前5%像素的镜面反射概率为1；

步骤2、通过虹膜区域余下像素与初始镜面反射像素的像素差异与距离差异计算余下像素具有镜面像素反射的概率；

步骤3、将参考人脸虹膜区域像素的镜面像素反射概率作为权值，与目标人脸虹膜区域像素加权相加，得到虹膜区域镜面反射效果迁移结果。

进一步的，基于边缘保持的对象光照迁移过程主要包括：图像对齐，首先自动检测或者手工标记图像对象的征点，并通过图像变形方法将参考人脸图像对齐到目标人脸图像，找到目标人脸图像和参考人脸图像之间的映射关系；然后利用边缘保持的优化的方法提取人脸光影效果，使光影信息尽可能的保留由光照引起的变化排除由反射率引起的变化；利用提取出的光影信息可以实现人脸光影效果迁移和人脸光影效果归一化；在人脸光影效果迁移过程中将参考人脸虹膜区域的镜面反射效果迁移到目标人脸，使得光影效果迁移结果更加真实。

进一步的，所述的图像对齐解决参考人脸图像和目标人脸图像的几何，姿态，表情可能不一致的情况，它包含特征点定位和图像变形两个步骤，首先采用ASM获取粗略的特征点坐标，然后用户以交互式的方式来优化特征点的位置；接着以参考人脸图像和目标人脸图像的特征点为控制点对参考人脸图像按照目标人脸图像进行变形，采用MFFD图像变形方法，保证变形效果的平滑；边缘保持优化的人脸光影效果提取是借助拍摄于均匀光照下的人脸图像提取非均匀光照下的人脸的光影信息；光影信息提取是一个能量最小化过程；在光影信息提取过程中保持了光影的平滑性和连续性，通过人脸图像的梯度值自适应计算光影信息提取过程中的参数，尽可能的保留由光照引起的变化排除由反射率引起的变化；在人脸光影迁移过程中，首先提取参考人脸虹膜区域的镜面反射效果，然后将镜面反射效果迁移到目标人脸，使光影迁移效果更加真实。

本发明与现有的技术相比的优点是：

1、本发明能够对人脸图像进行光影效果迁移和光影效果归一化，在此基础之上可以实现光影的任意迁移，不必要求目标人脸图像拍摄于近似均匀光照条件下。

2、本发明使用边缘保持的最优化方法提取人脸光影信息，根据人脸图像边缘信息自适应计算优化参数，尽可能的保留由光照引起的变化排除由反射率引起的变化。

3、本发明在光影迁移过程中将参考图像虹膜区域的镜面反射效果迁移到目标图像中，使得光影迁移结果更加真实。

附图说明

图1是本发明的流程图；

图2是本发明使用人脸特征点示意图；

图3是本发明人脸虹膜区域定位示意图。

具体实施方式

下面结合附图对本发明作详细说明。

参阅图1本发明的主流程图，本发明边缘保持的人脸图像光影编辑方法包含两个部分：人脸光影迁移和人脸光照归一化。

在人脸光影迁移阶段，首先对参考人脸图像和目标人脸图像进行人脸特征点定位，根据特征点利用图像变形方法将参考人脸图像对齐到目标人脸图像使参考人脸图像的外轮廓和脸部器官轮廓与目标人脸图像对齐；然后借助于拍摄于均匀光照下的目标人脸图像通过求解能量方程提取出参考人脸图像的光影信息；最后将提取到的光影信息迁移到目标人脸图像。

与人脸光影迁移类似，在人脸光照归一化阶段，首先对参考人脸图像和目标人脸图像进行人脸特征点定位，根据特征点利用图像变形方法将参考人脸图像对齐到目标人脸图像使参考人脸图像的外轮廓和脸部器官轮廓与目标人脸图像对齐；然后借助于拍摄于均匀光照下的参考人脸图像通过求解能量方程提取出目标人脸图像的光影信息，光影信息提取过程中考虑了人脸反射率先验；最后利用提取到的光影信息实现目标人脸图像光照信息的归一化。

本法明人脸光影迁移和人脸光影归一化都涉及到人脸特征点定位，如图2所示，特征点是指能够表示人脸主要部分的轮廓点，本发明是用了116个轮廓点。本发明使用例如ASM(ActiveShapeModel)等人脸定位算法对人脸进行特征点定位，由于受到光照的影响，现有的人脸定位方法往往无法获得准确的人脸特征点，因此需要人工交互来调整人脸特征点的位置。由于人脸照片中镜面反射效果主要体现在虹膜区域，在人脸光照迁移过程中，用户需要指定眼睛虹膜区域。人眼虹膜区域是一个标准的圆形，如图3所示，用户只需要手工调整人眼虹膜区域的圆心和半径。

本法明人脸光影迁移和人脸光影归一化都涉及到光影信息的提取。本发明通过求解如下能量方程来提取人脸光影信息：

E＝|I_ill.-SI_uni.|²+C(▽s,▽l)+J(S,a,b)

$C(\▿s,\▿l)=\underset{p}{\mathrm{\Σ}}\left(\mathrm{\λ}\left(p\right)(\frac{I_{\mathrm{ill}.}^2{(\∂s/\∂x)}_p^2}{I_{\mathrm{uni}.}^2{(\∂l/\∂x)}_p^{\mathrm{\α}}+\mathrm{\ϵ}}+\frac{I_{\mathrm{ill}.}^2{(\∂s/\∂y)}_p^2}{I_{\mathrm{uni}.}^2{(\∂l/\∂y)}_p^{\mathrm{\α}}+\mathrm{\ϵ}})\right)$

$J(s,a,b)=\underset{j\∈I}{\mathrm{\Σ}}(\underset{i\∈w_j}{\mathrm{\Σ}}{(s-a_j{I}_j-b_j)}^2+{\mathrm{\ϵa}}_j^2)$

其中，S表示光影信息。I_ill.表示拍摄于非均匀光照下的人脸图像，在人脸光影迁移过程中为参考人脸图像，在人脸光影归一化过程中为目标人脸图像；I_uni.表示拍摄于均匀光照条件下的人脸图像，在人脸光影迁移过程中为目标人脸图像，在人脸光影归一化过程中为参考人脸图像；下标p表示像素在图像上空间位置；|I_ill.-SI_uni.|²表示均匀光照下的人脸I_uni.乘以光影S后要与非均匀光照人脸I_ill.尽可能的接近,该项使得提取后的光影信息S尽可能接近I_ill.的光影信息；C(▽s,▽l)是使得光影信息S尽可能光滑的正则化项；增加λ会导致滤波后的图像更加平滑；ε是一个很小的数（通常为0.0001），用来防止在S平滑的区域出现除0；J(s)是保持光影信息S尽可能的连续的项；λ(p)是控制每个像素点平滑项与其它项的权重，λ(p)越大，像素点p就越平滑。该能量方程化解为矩阵形式：

$E={(I_{\mathrm{ill}.}-{\mathrm{sI}}_{\mathrm{uni}.})}^T(I_{\mathrm{ill}.}-{\mathrm{sI}}_{\mathrm{uni}.})+(s^T{D}_x^T{A}_x{D}_{x}s+s^T{D}_y^T{A}_y{D}_{y}s)+{\mathrm{sJs}}^T$

A_x和A_y分别是包含平滑权重a_x(l)和a_y(l)的对角矩阵，矩阵D_x和D_y分别是离散的水平和竖直微分算子。具体地：

$a_{x,p}\left(l\right)=\mathrm{\λ}\left(p\right)\·\left(\frac{I_{\mathrm{ill}.}^2}{I_{\mathrm{uni}.}^2{(\∂l/\∂x)}_p^{\mathrm{\α}}+\mathrm{\ϵ}}\right)$

$a_{y,p}\left(l\right)=\mathrm{\λ}\left(p\right)\·\left(\frac{I_{\mathrm{ill}.}^2}{I_{\mathrm{uni}.}^2{(\∂l/\∂x)}_p^{\mathrm{\α}}+\mathrm{\ϵ}}\right)$

J是保持光影信息S在空间上的连续项，具体地：

$J(i,j)=\underset{k|(i,j)\∈w_k}{\mathrm{\Σ}}({\mathrm{\δ}}_{\mathrm{ij}}-\frac{1}{\left|w_k\right|}(1+{(\frac{1}{\left|w_k\right|}+{\mathrm{\σ}}_k^2)}^{-1}(I_i-{\mathrm{\μ}}_k)(I_j-{\mathrm{\μ}}_k)))$

其中，δ_ij是克罗内克尔积（当i等于j时为1，否则为0），w_k是包含像素(i,j)的3*3窗口，μ_k是窗口内像素均值，σ_k是窗口内像素的标准差，|w_k|是窗口内像素的个数。k|(i,j)∈w_k是指像素(i,j)可以出现的所有的3*3像素窗口。

在人脸图像中有些象素变化是由反射率变化引起的，有些象素变化是由光照变化引起的，为了能够提取光照引起的变化同时屏蔽由反射率引起的变化，本发明假设人脸表面是一个相对平坦的表面并且颜色变化相对较小，所以人脸皮肤材质不会给人脸图像带来很尖锐的像素变化，人脸图像中尖锐的变化是由光照引起的。根据上述先验，本发明使用人脸反射率先验来自适应计算λ(p)：

$\mathrm{\λ}\left(p\right)=\left\{\begin{array}{ccc}C,& \mathrm{if}& \mathrm{ga}\left(p\right)\≥T_g\\ \mathrm{ga}\left(p\right),& & \mathrm{others}\end{array}\right.$

$\mathrm{ga}\left(p\right)=\sqrt{{({\∂I}_{\mathrm{ill}.}/\∂x)}_i^2+{({\∂I}_{\mathrm{ill}.}/\∂y)}_i^2}$

其中，ga(p)表示像素点p的变化尖锐程度。T_g是一个阈值，如果素点ga(p)大于过该阈值则认为像素点p的变化是由光照引起的，则将λ(p)设为一个很小的值C（本发明定位0.15）；如果ga(p)小于该阈值则将λ(p)设为ga(p)。

通过求解上述最优化问题，本发明获得了人脸光影信息S。在光影迁移阶段，人脸光影迁移结果可以通过光影信息S与目标人脸I_uni.逐像素相乘得到，即：Res_T＝I_uni.*S；在人脸光影归一化阶段，光影归一化结果可由目标人脸I_uni.与光影信息S的商表示，即：Res_N＝I_ill./S。

人脸光影效果中，眼部虹膜区域的镜面反射效果是非常重要的一个方面，可以反映外界光源的方向和强度。如果在人脸光影效果迁移中只考虑皮肤区域的光影效果而不考虑虹膜区域的光影效果会使生成效果损失一定的真实感。因此，本发明在人脸光影迁移过程中考虑了虹膜区域光照效果的迁移。

在人脸特征点定位阶段用户已标出了参考人脸和目标人脸的虹膜区域。本发明首先对参考人脸虹膜区域的像素按像素强度排序，具有镜面反射效果的像素强度较高，本发明取强度最高的前5%像素为初始镜面反射像素。像素强度计算方法为：其中I_r(p)，I_g(p)和I_b(p)分别是像素p的像素值。本法发明为每个像素指定一个M(p)，表示具有镜面反射的概率，初始镜面反射像素的M(p)值为1，余下像素的M(p)计算方法如下：

$M\left(p\right)=\exp (-\frac{D^2\left(p\right)}{2}-\frac{{(L\left(p\right)-L_N\left(p\right))}^2}{2})$

其中，D²(p)为像素点p距离最近初始镜面反射像素的距离的平方，L_N(p)表示距离像素点p最近初始镜面反射像素的强度。

令为参考人脸的虹膜区域，为目标人脸的虹膜区域。由于参考人脸和目标人脸的虹膜区域都是圆形，可以通过最基本的图像缩放将及其镜面反射概率M与对齐，对齐之后可以通过如下方式完成虹膜区域的镜面反射效果迁移：

${\mathrm{Res}}_T^{\mathrm{iris}}={\mathrm{MI}}_{\mathrm{ill}.}^{\mathrm{iris}}+(1-M)I_{\mathrm{uni}.}^{\mathrm{iris}}$

本发明未详细公开的部分属于本领域的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于边缘保持的人脸图像光影编辑方法，其特征在于，该方法构建了边缘保持的能量方程，通过求解能量方程提取脸部区域光影效果，基于该光影信息可以进行人脸光影效果迁移和人脸光影效果归一化；在光影效果提取过程中根据人脸反射率先验计算能量方程的系数，使用如下的人脸反射率先验：人脸图像像素梯度平方和如果大于规定阈值则认为该像素梯度是由光照引起的，在人脸光影效果提取过程中将变化保留在光影层上；在光影效果的迁移过程中，将参考人脸虹膜区域的镜面反射效果迁移到目标人脸的虹膜区域，迁移过程如下：

步骤1、对参考人脸虹膜区域的像素按像素强度排序，强度最高的前5％像素的镜面反射概率为1；

步骤2、通过虹膜区域余下像素与初始镜面反射像素的像素差异与距离差异计算余下像素具有镜面像素反射的概率；

步骤3、将参考人脸虹膜区域像素的镜面像素反射概率做为权值，与目标人脸虹膜区域像素加权相加，得到虹膜区域镜面反射效果迁移结果；

其中，基于边缘保持的对象光照迁移过程主要包括：图像对齐，首先自动检测或者手工标记图像对象的征点，并通过图像变形方法将参考人脸图像对齐到目标人脸图像，找到目标人脸图像和参考人脸图像之间的映射关系；然后利用边缘保持优化的方法提取人脸光影效果，使光影信息尽可能的保留由光照引起的变化排除由反射率引起的变化；利用提取出的光影信息可以实现人脸光影效果迁移和人脸光影效果归一化；在人脸光影效果迁移过程中将参考人脸虹膜区域的镜面反射效果迁移到目标人脸，使得光影效果迁移结果更加真实；

其中，所述的图像对齐解决参考人脸图像和目标人脸图像的几何，姿态，表情可能不一致的情况，它包含特征点定位和图像变形两个步骤，首先采用ASM获取粗略的特征点坐标，然后用户以交互式的方式来优化特征点的位置；接着以参考人脸图像和目标人脸图像的特征点为控制点对参考人脸图像按照目标人脸图像进行变形，采用MFFD图像变形方法，保证变形效果的平滑；边缘保持优化的人脸光影效果提取是借助拍摄于均匀光照下的人脸图像提取非均匀光照下的人脸的光影信息；光影信息提取是一个能量最优化过程；在光影信息提取过程中保持了光影的平滑性和连续性，通过人脸图像的梯度值自适应计算光影信息提取过程中的参数，尽可能的保留由光照引起的变化排除由反射率引起的变化；在人脸光影迁移过程中，首先提取参考人脸虹膜区域的镜面反射效果，然后将镜面反射效果迁移到目标人脸，使光影迁移效果更加真实。