CN102509346A - 基于边缘保持的对象光照迁移方法 - Google Patents

Abstract

本发明是一种基于边缘保持的对象光照迁移方法，包括：图像对齐、颜色分层、加权最小二乘滤波、引导滤波、图像组合生成光照迁移结果；改进加权最小二乘滤波器，根据图像的不平滑程度计算自适应的加权最小二乘滤波，使得在不平滑区域执行更高程度滤波，保存更多的细节信息在细节层；改进引导滤波器，使得在目标对象的轮廓区域与其他区域设置不同的参数，使得在更好地在保持参考对象光照信息的情况下保持目标对象的轮廓结构信息。本发明可广泛应用推广到交互式数字娱乐、影视节目制作、艺术设计与创作等领域。

Description

基于边缘保持的对象光照迁移方法

技术领域

本发明属于虚拟现实和计算机视觉领域，具体地说是一种基于边缘保持滤波器的对象光照迁移方法。

背景技术

基于图像素材的虚拟场景生成技术是虚拟现实技术的重要组成部分。由于构成虚拟场景的场景与场景对象经常来自不同的素材，场景对象和图像场景的光照效果可能会存在较大的差异，然而图像虚拟场景需要各个场景对象具有一致的光照效果，但是目前的图像素材光照融合方法难以满足虚拟场景的需要。图像场景对象的光照迁移问题，即如何将目的图像场景中参考对象的光照效果迁移到场景对象，生成场景对象在目的图像场景光照条件下的光照效果，是目前急需解决的问题。

目前，有一些基于图像的人脸图像光照效果合成方法，这些方法均需要使用到复杂的光照采集设备。2000年美国南加州大学的Debevec等提出一种固定视角下静态场景光照迁移方法。采集2048种点光源光照条件下静态人脸图像，线性组合所采集的图像数据生成静态人脸在新光照条件下的图像，该方法局限于固定视角下的静态对象光照效果合成。2007年南加州大学的Peers等提出了一种利用商图对人脸进行光照迁移的方法。通过采集静态参考人脸对象在不同光照条件下反射场，并利用同一对象在不同光照条件下的人脸图像与在正面均匀光照条件下的人脸图像之间比值，构建相应光照条件下该对象的材质属性图，也称作商图。同时将期望光照条件所对应的商图进行变形，并迁移到目标人脸上，以生成目标图像场景的光照效果。该方法用于对人脸图像进行后期光照迁移处理。该方法局限是：目标人脸和数据库人脸具有相近的几何特性和材质属性，因此该方法暂时只能处理人脸光照迁移问题，还不能用于整个人体的光照迁移问题。

2008年哥伦比亚大学的Bitouk等提出一种自动人脸替换的方法。该方法从候选图像中选择姿态一致的人脸，然后对选择的候选人脸区域位置调准、重着色和光照迁移，最后进行边界融合。该工作的目的是去识别和隐私保护，但其在光照迁移方面的工作有一定借鉴意义。该方法在光照迁移时对人脸作了朗波表面的假设，并用一个静态的人脸形状(近似圆柱体的形状)来估计人脸光照信息，构造候选图像的商图用来对候选图像进行光照迁移。该方法通过粗略估计两张图像对应的光照条件来构造目标对象在两种光照条件下的粗略商图，因此商图十分平滑，光照迁移的结果比较自然。

一些基于多视角几何的方法利用多视角图像来解决静态图像对象的光照迁移问题。2009年比利时哈瑟尔特大学的Haber等提出一种基于图像的静态对象光照迁移方法。他利用多视立体方法通过多幅不同视点和不同光照条件下图像来计算对象的几何结构，然后用基于小波的全频域光照迁移框架来计算每幅图像的入射光和表面顶点的反射属性。该方法需要利用多视角图像获取静态对象精确几何信息来进行光照迁移，而一般运动对象的精确几何信息难以获取，因此难以推广到视频运动对象的光照迁移；此外，该方法在分解材质和环境光颜色时效果不佳。

发明内容

根据上述实际需求和关键问题，本发明的目的在于：提出一种基于边缘保持的对象光照迁移方法，该方法不需要对目标对象的几何进行估计或假设，也不需要对光照模型做出假设，而是只需要单幅参考对象对目标对象进行光照迁移，本发明利用加权最小二乘滤波器将图像对象中光照有关信息与光照无关信息进行分离，并借助引导滤波器在迁移过程中保持目标的辨别特征。

本发明只对图像中感兴趣的物体做处理，该物体被称为对象，例如：目标对象和参考对象；对象是图像中构成该物体像素的集合，是图像的一部分。

为完成发明目的，本发明采用的技术方案是：构建一种基于边缘保持的对象光照迁移方法主要包括：图像对齐，首先自动检测或者手工标记图像对象的征点，并通过图像变形方法将参考对象对齐到目标对象，找到目标对象和参考对象之间的映射关系；颜色分层，首先借助RGB颜色空间到CIELAB颜色空间转换，将图像分为明度层和色度层，只对明度层进行处理，而保持色度层不变；细节分层，利用加权最小二乘滤波器将明度层分解为大尺度层和细节层，大尺度层视为光照相关层，而细节层视为光照无关层；最小二乘滤波器自适应参数计算，根据图像在不同区域的不平滑程度进行不同程度的平滑处理，使得大尺度层能够包含更多光照有关的信息，而细节层能够包含更多的光照无关信息；引导滤波，利用引导滤波器在目标对象大尺度层的引导下，对参考对象大尺度层进行滤波，使得滤波的结果在图像边缘上于目标对象保持一致；引导滤波器自适应参数计算，通过对目标对象轮廓区域附近设置较大的参数，并对其他区域设置较小的参数，使得能够更好地在保持目标对象结构信息的同时能够保持参考对象的光照信息；图像组合，将滤波后的大尺度图像与目标对象的细节层混合得到光照迁移结果的明度层，再与目标对象的色度层混合得到光照迁移结果。

图像对齐解决参考对象和目标对象的几何，姿态，表情等可能不一致的情况，它包含特征点定位和图像变形两个步骤。首先采用ASM获取粗略的特征点坐标，然后用户以交互式的方式来优化特征点的位置；接着以参考对象和目标对象的特征点为控制点对参考对象按照目标对象进行变形，本发明采用多级自由形式图像变形方法，保证变形效果的平滑。

颜色分层解决了用户对颜色感知不连续的问题，由于CIELAB颜色通道能够将彩色图像以人感知的方式分解为颜色和亮度，本发明选择CIELAB颜色空间，将彩色图像分解为明度L通道和颜色a、b通道，其中，L通道包含了亮度度信息，而a和b两个通道包含了颜色信息。

细节分层采用最小二乘滤波器来将明度层分解为大尺度层，并利用除法得到细节层。细节层可以被视为光照无关量，大尺度层被视为光照相关量。细节分解过程中最小二乘的参数采用自适应的参数计算方法，可以在图像不同区域采用不同级别的平滑处理，使大尺度层包含更多与光照有关的信息，细节层包含更多与光照无关的特征信息。滤波参数计算方法如下：在不平坦的图像区域(例如胡子，眉毛等区域)设置较大的平滑值。在平坦的图像区域设置较小的平滑值。本发明利用图像梯度来计算图像的不平坦度，统计梯度图像每个像素邻域内梯度值大于某一阈值的数量，将该统计量进行归一化来表示图像的不平坦度。

引导滤波器在目标对象大尺度层的引导下对参考对象大尺度层进行滤波处理，使得参考对象的大尺度层与目标对象的大尺度层在轮廓区域的边缘上对齐。本发明在滤波过程中自适应计算参数，参数自适应计算能够很好地保持目标对象的边缘结构信息和参考对象的明暗信息。滤波参数计算方法如下：对于离人脸结构区域内边缘近的像素，参数设置为较大的值，并应用距离变换来使得滤波参数值的大小伴随着离人脸结构区域内被检测到图像边缘的距离远近变化而变化。

在目标对象大尺度层引导下对参考对象大尺度层进行滤波之后，将滤波后的大尺度与目标对象的细节层混合得到新的明度层，与目标对象的色度层混合得到光照迁移的结果。

本发明与现有的技术相比，其优点是：1、本发明将图像分为明度层和色度层，明度层通过最小二乘滤波器再分为大尺度层和细节层，与光照相关的信息保留在大尺度层上，无光照无关的细节信息则留在了细节层上。2、在细节分层过程中针对光照迁移问题采用了自适应的参数设置方法，通过计算图像不同区域的不平坦程度来设置滤波器参数，在不平坦区域能够设置较大的参数，进而进行更高水平的滤波，使得得到的大尺度层上保留更少的细节信息，而细节层上保留更多的细节信息，并使得生成的结果保留更多目标对象的辨别特征。3、本发明对参考对象大尺度层在目标对象大尺度层的引导下进行引导滤波时，采用自适应的参数设置方法能够更好地在保持目标对象轮廓区域辨别特征的情况下，保持参考对象的光影信息，使得生成的结果避免出现参考对象光影信息模糊或目标对象结构特征缺失的情况。4、本发明给出的光照迁移方法只需要一张参考对象，并且不需要对目标对象的几何进行估计或做出假设，此外也不需要对光照模型进行假设，能够生成具有真实感的光照迁移结果。

附图说明：

图1是本发明的主流程图；

图2是本发明图像变形中控制点设置示意图；

图3是本发明图像变形方法流程图；

图4是本发明最小二乘滤波器自适应参数计算流程图；

图5是本发明引导滤波器自适应参数计算流程图；

图6(a)是本发明积分图像的计算方法；图6(b)表示积分图像中区域A中像素

值总和的计算。

具体实施方式：

下面结合附图对本发明作详细说明。

参阅图1本发明的主流程图，本发明基于边缘保持滤波器的图像光照迁移方法包含以下基本过程：首先对参考对象和目标对象进行特征点定位，根据特征点利用图像变形方法将参考对象变形到目标对象使参考对象和目标对象对齐，接着将变形后的参考对象和目标对象均分解为色度层和明度层，接着通过最小二乘滤波器将明度层分为大尺度层和细节层，在目标对象大尺度层的引导下对参考对象大尺度层进行滤波处理。本发明在图像分层和大尺度层处理两步过程中采用了自适应的滤波器参数选择方法。最后利用处理后的参考对象大尺度层用来替代目标对象大尺度层，与目标对象细节层重新组合得到目标对象在参考对象光照条件下的明度层，将该明度层与目标对象的色度层重新组合得到光照迁移结果。

参阅图3图像变形方法流程图。本发明采用如下步骤解决图像变形问题：

对目标对象和参考对象进行特征点定位，并初始化控制点，在本发明中的初始设置控制点大小的方法是将图像网格化，网格顶点为控制点，如图2所示。

将参考对象特征点(u，v)按一定步长向目标对象特征点移动，直到所有参考对象特征点和目标对象特征点重合，每进行一次移动后本发明采用如下公式计算控制点的偏移量Δφ_kl：

$\mathrm{\Δ}{\mathrm{\φ}}_{\mathrm{kl}}=\frac{w_{\mathrm{kl}}\mathrm{\Δq}}{\underset{a=0}{\overset{3}{\mathrm{\Σ}}}\underset{b=0}{\overset{3}{\mathrm{\Σ}}}{w}_{\mathrm{ab}}^2}$

其中Δq源特征点的位移量，h控制网格的大小，坐标(k，l)是离特征点(u，v)最近的控制点，B_i(j)为B样条函数，本发明使用如下B样条函数：

B₀(t)＝(-t³+3t²-3t+1)/6

B₁(t)＝(3t³+6t²+4)/6

B₂(t)＝(-3t³+3t²-3t+1)/6

B³(t)＝t³/6

获得控制点的偏移量Δφ_kl后采用如下公式计算参考对象坐标为(u，v)像素的新坐标f(u，v)：

参阅图4最小二乘滤波器自适应参数计算流程图来说明最小二乘滤波器计算方法及其参数自适应计算方法：

本发明采用最小二乘滤波器来将明度图像l分解为大尺度层s和细节层d。在本发明中最小二乘滤波器按如下方式对图像进行滤波：给定一幅输入图像l，寻求一幅新的图像s，一方面s要尽可能接近l，另一方面同时要保证s除了梯度显著变化区域的其他每个区域都要尽可能的光滑，本发明最小化如下能量函数来实现滤波：

$E={|l-s|}^2+H(\▿s,\▿l)$

$H(\▿s,\▿l)=\underset{p}{\mathrm{\Σ}}\left(\mathrm{\λ}\left(p\right)(\frac{{(\∂s/\∂x)}_p^2}{{(\∂l/\∂x)}_p^{\mathrm{\α}}+\mathrm{\ϵ}}+\frac{{(\∂s/\∂y)}_p^2}{{(\∂l/\∂y)}_p^{\mathrm{\α}}+\mathrm{\ϵ}})\right)$

其中，|l-s|²是使得l和s尽可能接近的数据项；

是使得s尽可能光滑的正则化项，用来最小化s的偏导；下标p表示像素在图像上空间位置；增大α会导致生成的结果保留更加尖锐的边界；增加λ会导致滤波后的图像更加平滑；ε是一个很小的数(通常为0.0001)，用来防止在l平坦的区域出现除0；本发明在最小二乘滤波过程中在图像不同区域采用不同级别的平滑处理，在不同的图像区域设计不同的λ值。

为了自适应计算λ值，首先计算明度层的梯度图像，并统计每个像素局部窗口内梯度大于阈值的像素数量；接着将其归一化，用于计算出最小二乘滤波器的参数。具体地，对图像不同区域设置不同的λ值：首先，计算明度层I的水平和竖直方向梯度，分别为

和

并给出一个阈值；然后，对于每个像素，计算以该像素为中心的局部窗口w_p内梯度大小大于阈值的像素数量。

$\mathrm{\γ}\left(p\right)=\underset{i\∈w_p}{\mathrm{\Σ}}(\sqrt{{(\∂l/\∂x)}_i^2+{(\∂l/\∂y)}_i^2}\≥t_1)$

将γ(p)归一化到0-1，则λ值设置为：

λ(p)＝λ_s+(λ_l-λ_s)*γ(p)

其中，λ_s和λ_l分别表示控制最低和最高级别图像平滑程度对应的较小和较大λ值。在实现时，局部窗口半径设为8，λ_s＝1，λ_l＝4，阈值t₁＝0.02。

使用最小二乘滤波器对图像进行滤波求解首先计算梯度图像，并计算像素与相邻像素的亲和力；然后计算点表示的空间非同质拉普拉斯矩阵，并构造稀疏线性方程组；最后求解稀疏线性方程组，得到滤波结果。

参阅图5引导滤波器自适应参数计算流程图来说明引导滤波器及其参数自适应计算方法：

本发明采用了引导滤波器在目标对象大尺度层的引导下对参考对象大尺度层进行滤波处理，将目标对象大尺度层的细节信息迁移到变形后的参考对象大尺度层。引导滤波器对图像滤波过程为求解如下能量函数：

$E(a_k,b_k)=\underset{i\∈w_k}{\mathrm{\Σ}}({(a_k{I}_i+b_k-P_i)}^2+\mathrm{\ϵ}{a}_k^2)$

其中P_i是输入图像，I_i是引导图像。通过最小能量求解法求解a_k和b_k为：

$a_k=\frac{\frac{1}{\left|w\right|}{\mathrm{\Σ}}_{i\∈w_k}{I}_i{P}_i-{\mathrm{\μ}}_k{\stackrel{\‾}{P}}_k}{{\mathrm{\σ}}_k^2+\mathrm{\ϵ}}$

$b_k={\stackrel{\‾}{P}}_k-a_k{\mathrm{\μ}}_k$

Q_k＝q_kI_k+b_k

其中，P_k是输入图像，I_k是引导图像，Q_k是滤波结果，μ_k和分别是窗口w_k内所有像素的期望和方差，|w|是窗口w_k内像素的数量，

是P_k在窗口w_k内的期望，w_k窗口大小r采用自适应方式计算，ε用来防止除0，通常设为一个极小的值。

本发明采用自适应方法计算w_k窗口大小r，在图像中距离人脸器官的边缘越近的区域采用较大的r，较远区域采用较小的r，这样可以保留更多的人脸细节信息。

窗口大小r的设置具体步骤包括：首先由人脸标志点确定人脸轮廓线，并确定人脸轮廓区域；然后，在参考对象大尺度层的人脸轮廓区域利用Canny算子进行边缘检测；接着，对于所有检测到的边缘，计算所有像素点到它们的距离；最后，空间变化的窗口大小r值由下面公式决定：

$r\left(p\right)=\left\{\begin{array}{cc}{r}_0+(r_1-r_0)*\frac{(T_d-\mathrm{dist}\left(p\right))}{T_d},& \mathrm{if\; dist}\left(p\right)\≤T_d\\ r_0,& \mathrm{others}\end{array}\right.$

$\mathrm{dist}\left(p\right)=|p-q\left(\underset{q}{\min }\left(\right|p-q\left|\right)\right)|$

其中|p-q|表示像素点p坐标到像素点q坐标的欧氏距离，在本发明中，设置r₁＝18，r₀＝3。T_d表示处理边缘渐变过程的宽度，在本发明中T_d＝10。

引导滤波器使用图像局部线性模型来计算滤波后的图像。涉及的计算主要是每个像素坐标局部窗口的求和运算。本发明实现的引导滤波器对于空间位置不同的像素设置了不同的窗口大小，在积分图像算法的基础上，实现自适应引导滤波器。局部窗口求和函数实现方法如下：首先两次遍历计算积分图像，然后根据像素坐标和窗口大小确定积分图像的四个顶点，这样每个像素对应的窗口求和通过如图6运算求得，(a)积分图像L_i的像素值表示由图像原点和该点所确定矩形内像素值的总和，(b)对于A区域内的像素值的求和，可以用积分图像在该区域的四个顶点值来计算，计算方式为：A＝L₄+L₁-(L₂+L₃)其中L₄、L₁、L₂、L₃、是积分图像中区域A四个顶点的像素值。

利用本发明给出的引导滤波器参数设置机制，在目标对象大尺度层引导下对参考对象大尺度层进行滤波之后，将滤波后的大尺度图像与目标对象的细节层混合得到新的明度层，再与目标对象的色度层混合得到光照迁移的结果。

以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。

Claims (6)

1.一种基于边缘保持的对象光照迁移方法，其特征在于该方法包含以下步骤：

(1)根据目标对象和参考对象之间的逐像素对应关系，将参考对象对齐到目标对象；

(2)将目标对象和参考对象均分解为色度层和明度层；

(3)利用自适应参数的加权最小二乘滤波器对明度层进行滤波，得到大尺度层，利用明度层与大尺度层得到细节层；

(4)通过自适应参数的引导滤波器对参考对象大尺度层在目标对象大尺度层的引导下进行滤波，使得滤波结果能够在结构上与目标对象对齐；

(5)利用步骤(4)滤波后的大尺度层替换目标对象大尺度层得到新的明度层，与目标对象的色度层混合得到光照迁移结果。

2.根据权利要求1所述的基于边缘保持的对象光照迁移方法，其特征在于，步骤(1)中图像对齐使用多级自由形式变换，其步骤如下：

(1.1)对参考对象和目标对象进行特征点定位；

(1.2)设置图像变形控制点；

(1.3)通过特征点和控制点计算目标对象和参考对象之间的逐像素对应关系。

3.根据权利要求1所述的基于边缘保持的对象光照迁移方法，其特征在于，步骤(3)中自适应参数的加权最小二乘滤波器求解过程如下：

(3.1)计算梯度图像，并计算像素与相邻像素的亲和力；

(3.2)计算点表示的空间非同质拉普拉斯矩阵，并构造稀疏线性方程组；

(3.3)求解稀疏线性方程组，得到滤波结果。

4.根据权利要求1所述的基于边缘保持的对象光照迁移方法，其特征在于，步骤(3)中，在图像的不同区域设置了不同大小的加权最小二乘滤波器参数，参数计算步骤如下：

(3.1)计算目标明度层的梯度图像，并统计每个像素邻域内梯度大于阈值的像素数量；

(3.2)将该统计量进行归一化，用于计算加权最小二乘滤波器的参数。

5.根据权利要求1所述的基于边缘保持的对象光照迁移方法，其特征在于，步骤(4)的滤波包括，在图像的不同区域设置了不同大小的引导滤波器参数，参数计算步骤如下：

(4.1)利用目标对象控制点计算轮廓区域；

(4.2)利用Canny算子对目标对象进行边缘检测，并只保留轮廓区域所检测出的边缘，得到人脸结构的边缘图像；

(4.3)对于边缘图像，利用距离变换，计算每个像素点到边缘的距离；

(4.4)利用步骤(4.3)计算出的距离计算出所要设置的引导滤波器参数大小。

6.根据权利要求1所述的基于边缘保持的对象光照迁移方法，其特征在于，步骤(4)引导滤波器在目标对象轮廓区域的参数根据距离图像来平滑地设置，使得引导滤波器参数在目标对象轮廓附近能够平滑地变化。

Images