CN102938144B - 基于总变分模型的人脸重加光方法 - Google Patents

Abstract

本发明公开了一种基于总变分模型的人脸重加光方法，包括以下步骤：(1)建立多输入对数总变分模型；(2)将同一个人的人脸图像系列输入多输入对数总变分模型；(3)多输入对数总变分模型将人脸图像系列分解为反射成分及光照成分；(4)将人脸数据库中的人脸光照图像输入多输入对数总变分模型；(5)多输入对数总变分模型将人脸数据库中的人脸光照图像分解为反射成分及光照成分；(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分；(7)将步骤(3)中的反射成分与步骤(6)中生成的光照成分进行合成。本发明，能够合成极端变化光照下的人脸图像；支持单幅或者多幅图像输入，更加准确地估计光照成分和反射成分。

Description

基于总变分模型的人脸重加光方法

技术领域

本发明涉及人脸重加光技术领域，具体地讲，是指一种基于总变分模型的人脸重加光方法。

背景技术

所谓人脸重加光技术，即对输入的人脸图像进行处理，合成用户指定光照条件下的人脸图像。人脸重加光技术在视频监控、媒体处理、数字艺术、公安侦查等领域具有广泛的应用。譬如，在人脸识别系统中，通过对人脸图像进行重加光处理，使得人脸图像具有相同的光照条件，从而提高人脸识别准确率。在图像合成中，可以通过人脸重加光技术来协调人脸与周围场景的光照，从而达到更真实的合成效果。

现有的人脸重加光技术主要有以下几类：

1)基于商图像或者比值图像的方法：

商图像定义为两个不同人脸在相同姿势且相同光照条件下的商。如果已经知道其中一个人脸α在某光照条件t下的图像I_α，t，则利用两个人脸之间的商图像以及I_α，t来合成另外一个人脸在光照条件t下的图像。

2)基于反射成分和光照成分分离的方法：

根据物理成像原理，一张人脸图像由反射成分和光照成分组成。反射成分主要描述人脸表面反射率；光照成分则描述人脸的光照和阴影信息。如果能有效地估计出图像的反射成分和光照成分，则可以通过调整或者更换光照成分来达到人脸重加光。其中，一般假设不同种光照成分可以构成一个低维线性子空间。

3)基于三维人脸模型的方法：

从人脸图像重构人脸的三维模型，然后根据三维空间模拟光照的方法来进行人脸重加光。

4)基于多项式模型的方法：

通过统计回归，总结出一个多项式函数族来刻画同个人脸在不同光照条件下的图像之间的关联。从而，该多项式模型可以用来直接实现人脸重加光。

现有的人脸重加光技术，尚存在很多不足：比如，很多方法仅能支持单张输入图像，而单张图像所含信息有限，在进行光照、商图像、反射率等估计的时候，在图像的阴影区域往往会得到错误的估计结果。而基于三维人脸模型的方法要求对同一个人有大量不同姿势下的输入图像，否则很难重构出精准的三维模型。基于多项式模型的方法又难以处理光照变化非常大的情况。

发明内容

本发明的目的在于提供一种基于总变分模型的人脸重加光方法，可以挖掘利用更多的人脸信息来达到更准确的光照和反射率估计，从而能够处理极端变化的光照合成。

为实现上述目的，本发明所采用的技术方案为：

一种基于总变分模型的人脸重加光方法，其包括以下步骤：

(1)建立多输入对数总变分模型，用于同时处理同一个人在相同姿势下的单张或者多张图像，且估计出输入图像的光照成分和反射成分；

(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型；

(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射成分及光照成分；

(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模型；

(5)所述的多输入对数总变分模型将输入的人脸数据库中的人脸光照图像分解为反射成分及光照成分；

(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分；

(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。

上述的输入对数总变分模型，满足以下条件：

I_i＝R⊙L_i＝1，…，N

其中：{I_i}，i＝1，…，N，{I_i}为同一个人脸的图像序列；

R是该人脸的反射成分；

L_i是图像I_i的光照成分；

⊙表示对应像素值之间的相乘。

对上述的输入对数总变分模型的满足条件的公式进行对数变换，得到：

i＝1，…，N

求解以下优化模型可以得到v和u_i：

${\min }_{u_i}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|\▿u_i\left|\right|+\mathrm{\λ}{\left|v\right|}_1$

s.t.v＝f_i-u_i

其中：λ是正则化参数，用于平衡u_i和v的作用；

是u_i的梯度；

求解得到u_i和v后，通过指数变换得到R和L_i，i＝1，…，N，即：

R＝exp(v)，L_i＝exp(u_i)，i＝1，…，N

上述的输入对数总变分模型的求解方法，其包括以下步骤：

使用交替方向乘子法求解：

$w_i^{k+1}={\tilde{S}}_{\frac{1}{\mathrm{\α}}}({\mathrm{Du}}_i^k-\frac{q_i^k}{\mathrm{\α}})$

$v^{k+1}=S_{\frac{\mathrm{\λ}}{\mathrm{N\α}}}(\stackrel{\‾}{f}-{\stackrel{\‾}{u}}^k-\frac{{\stackrel{\‾}{p}}_i^k}{\mathrm{\α}})$

$u_i^{k+1}={(D^{\′}D+I)}^{-1}(D^{\′}{w}_i^{k+1}+v^{k+1}-f_i)$

$q_i^{k+1}=q_i^k+\mathrm{\α}(w_i^{k+1}-{\mathrm{Du}}_i^{k+1})$

$p_i^{k+1}=p_i^k+\mathrm{\α}(v^{k+1}-u_i^{k+1}+f_i)$

其中，k代表第k步迭代；

和分别是u_i，f_i和p_i的均值；

wi，pi和qi为迭代临时变量；

D是图像梯度的前向差分逼近；

D’是D的转置矩阵；

α是增强拉格朗日系数令

则有 ${\tilde{S}}_{\mathrm{\μ}}{\left(z\right)}_r=\left\{\begin{array}{cc}{z}_r-\mathrm{\μ}\frac{z_r}{s_r}& s_r>\mathrm{\μ}\\ 0& \mathrm{otherwise}\end{array}\right.,S_{\mathrm{\μ}}{\left(f\right)}_r=\left\{\begin{array}{cc}{f}_r-\mathrm{\μsign}\left(f_r\right)& \left|\right|f_r\left|\right|>\mathrm{\μ}\\ 0& \mathrm{otherwise}\end{array}\right.,$ 其中E是图像二阶导数的离散逼近矩阵。

利用上述的公式进行迭代运算，迭代结束后，得到的和v^k便为所述的估化模型中u_i和v的求解结果，进而可以根据公式R＝exp(v)，L_i＝exp(u_i)，i＝1，…，N得到R和L_i。

采用上述技术方案后，本发明，提出多输入对数总变分模型来表达图像系列中光照成分和反射成分，该模型支持单幅或者多幅输入图像；同时，提出该模型的迭代求解格式，且在基于该模型分解的基础上，提出基于稀疏约束的人脸重加光算法。相对于现有技术，本发明具有以下的优点：

1)能够合成极端变化光照下的人脸图像。

2)支持单幅或者多幅图像输入，更加准确地估计光照成分和反射成分。

3)不需要估计人脸的三维模型。

附图说明

图1为本发明的技术流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

参考图1所示，本发明公开了一种基于总变分模型的人脸重加光方法，其包括以下步骤：

(1)建立多输入对数总变分模型，用于同时处理同一个人在相同姿势下的单张或者多张图像，且估计出输入图像的光照成分和反射成分；

对于给定的同一个人脸的图像序列{I_i}，i＝1，…，N，根据Lambertian(朗伯)光照反射模型，它们满足以下条件：

I_i＝R⊙L_i，i＝1，…，N(1)

其中：R是该人脸的反射成分；

L_i是图像I_i的光照成分；

⊙表示对应像素值之间的相乘。

对公式(1)进行对数变换，得到：

i＝1，…，N(2)

求解以下优化模型可以得到v和u_i：

${\min }_{u_i}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\left|\right|\▿u_i\left|\right|+\mathrm{\λ}{\left|v\right|}_1---\left(3\right)$

s.t.v＝f_i-u_i

其中：λ是正则化参数，用于平衡u_i和v的作用；

是u_i的梯度；

求解得到u_i和v后，通过指数变换得到R和L_i，i＝1，…，N，即：R＝exp(v)，L_i＝exp(u_i)，i＝1，…，N(4)

在具体实施时，可以根据交替方向乘子法求解：

$w_i^{k+1}={\tilde{S}}_{\frac{1}{\mathrm{\α}}}({\mathrm{Du}}_i^k-\frac{q_i^k}{\mathrm{\α}})---\left(5\right)$

$v^{k+1}=S_{\frac{\mathrm{\λ}}{\mathrm{N\α}}}(\stackrel{\‾}{f}-{\stackrel{\‾}{u}}^k-\frac{{\stackrel{\‾}{p}}_i^k}{\mathrm{\α}})---\left(6\right)$

$u_i^{k+1}={(D^{\′}D+I)}^{-1}(D^{\′}{w}_i^{k+1}+v^{k+1}-f_i)---\left(7\right)$

$q_i^{k+1}=q_i^k+\mathrm{\α}(w_i^{k+1}-{\mathrm{Du}}_i^{k+1})---\left(8\right)$

$p_i^{k+1}=p_i^k+\mathrm{\α}(v^{k+1}-u_i^{k+1}+f_i)---\left(9\right)$

在上面的迭代过程公式(5)～(9)中，k代表第k步迭代；

和分别是u_i，f_i和p_i的均值；

wi，pi和qi为迭代临时变量；

D是图像梯度的前向差分逼近；

D’是D的转置矩阵；

α是增强拉格朗日系数；在本实施例中，取α＝0.0008；

令 $s=E\sqrt{E^{\′}\left(z\right)},$ 则有 ${\tilde{S}}_{\mathrm{\μ}}{\left(z\right)}_r=\left\{\begin{array}{cc}{z}_r-\mathrm{\μ}\frac{z_r}{s_r}& s_r>\mathrm{\μ}\\ 0& \mathrm{otherwise}\end{array}\right.,$ $S_{\mathrm{\μ}}{\left(f\right)}_r=\left\{\begin{array}{cc}{f}_r-\mathrm{\μsign}\left(f_r\right)& \left|\right|f_r\left|\right|>\mathrm{\μ}\\ 0& \mathrm{otherwise}\end{array}\right.,$ 其中E是图像二阶导数的离散逼近矩阵。

利用上述的公式(5)～(9)进行迭代运算，迭代结束后，得到的和v^k便为所述的估化模型中u_i和v的求解结果，进而可以根据公式(4)得到R和L_i。

(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型；

在实施时，将{I_i}，i＝1，…，N这一系列数据输入多输入对数总变分模型。

(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射成分及光照成分；

假设{I_k}，k＝1，…，K为输入的同一个人的人脸图像系列(这里K≥1，表示输入图像系列的图像数目)，根据步骤(1)中的公式，得到人脸图像系列的反射成分R及光照成分L_k。

(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模型；

在实施时，假设{A_i，_j}，i＝1，…，N；j＝1，…，M为训练数据库，其中A_i，j是数据库中第i个人在第j种光照下的图像，N为数据库中人的总数，M为每个人的图像总数。将{A_i，j}，输入多输入对数总变分模型。

(5)所述的多输入对数总变分模型将输入的脸数据库中的人脸光照图像分解为反射成分及光照成分；

根据步骤(1)，可以

A_i，j＝R_i⊙L_i，j，i＝1，…，N；j＝1，…，M(11)

(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分；

假设输入人脸t的第k张图像I_t，k的光照类型为j_k。令k＝1，…，K。则可以通过优化以下公式来建立输入图像系列{I_k}，k＝1，…，K和训练库{A_i，j}，i＝1，…，N；j＝1，…，M之间的关联：

$A^{*}=\arg \min \underset{k=1}{\overset{\mathrm{\γ}}{\mathrm{\Σ}}}{\left|\right|L_k-M_k\·A\left|\right|}^2+\mathrm{\β}{\left|A\right|}_1---\left(12\right)$

其中，β是正则化系数(本发明取值β＝0.5)

通过求解公式(12)得到A*后，可以由以下公式得到输入人脸在第j_o种光照条件下的图像合成光照成分：

$L_{j_o}=M_{j_o}\·A*---\left(13\right)$

(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成。

最后合成第j₀种光照条件下的人脸图像

本发明，其提出一种新的对数总变分模型(本案称之为“多输入对数总变分模型”)及其数值求解方法。此模型能够同时处理同一个人在相同姿势下的单张或者多张图像，进而准确地估计出输入图像的光照成分和反射成分。为了求解此模型，设计了一种迭代的数值求解方法，此求解方法具有精度高、计算速度快、程序编写简单等特点。基于多输入对数总变分模型求解得到的图像的光照处分和反射处分，本发明给提出一种基于稀疏约束的图像重加光模型。该模型求解简单，且能够合成复杂的光照图像。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (3)

1.一种基于总变分模型的人脸重加光方法，其特征在于：其包括以下步骤：

(1)建立多输入对数总变分模型，所述多输入对数总变分模型用于处理同一个人在相同姿势下的多张图像，且用于估计出输入图像的光照成分和反射成分；

(2)将同一个人的人脸图像系列输入所述的多输入对数总变分模型；

(3)所述的多输入对数总变分模型将输入的人脸图像系列分解为反射成分及光照成分；

(4)将人脸数据库中的人脸光照图像输入所述的多输入对数总变分模型；

(5)所述的多输入对数总变分模型将输入的人脸数据库中的人脸光照图像分解为反射成分及光照成分；

(6)根据步骤(3)中的光照成分与步骤(5)中的光照成分合成新的光照成分；

(7)将步骤(3)中的反射成分与步骤(6)中的光照成分进行合成；

其中，所述的输入对数总变分模型，满足以下条件：

I_i＝R⊙L_i，i＝1，…，N

其中：{I_i}，i＝1，…，N，{I_i}为同一个人脸的图像序列；

R是该人脸的反射成分；

L_i是图像I_i的光照成分；

⊙表示对应像素值之间的相乘。

2.根据权利要求1所述的基于总变分模型的人脸重加光方法，其特征在于：对所述的输入对数总变分模型的满足条件的公式进行对数变换，得到：

求解以下优化模型可以得到v和u_i：

s.t.v＝f_i-u_i

其中：λ是正则化参数，用于平衡u_i和v的作用；

是u_i的梯度；

求解得到u_i和v后，通过指数变换得到R和L_i，i＝1，…，N，即：

R＝exp(v)，L_i＝exp(u_i)，i＝1，…，N。

3.根据权利要求2所述的基于总变分模型的人脸重加光方法，其特征在于：所述的输入对数总变分模型的求解方法，其包括以下步骤：

使用交替方向乘子法求解：

其中，k代表第k步迭代；

和分别是u_i，f_i和p_i的均值；

wi，pi和qi为迭代临时变量；

D是图像梯度的前向差分逼近；

D’是D的转置矩阵；

α是增强拉格朗日系数；令

则有 其中E是图像二阶导数的离散逼近矩阵，z_r与f_r分别表示向量z与f的第r个元素；

利用上述的公式进行迭代运算，迭代结束后，得到的和v^k便为所述的优化模型中u_i和v的求解结果，进而可以根据公式R＝exp(v)，L_i＝exp(u_i)，i＝1，…，N得到R和L_i。