CN101006451A - 用于确定图像中的主要光源的方向的方法 - Google Patents

Abstract

一种确定图像中的主要光源的方向的方法。获取的输入图像I为主要光源从未知方向照射的目标。该输入图像包括像素阵列，每个像素具有强度I(x，y)。从所述输入图像的强度构造强度矢量。为目标定义反照率映射ρ。从反照率映射构造反照率矢量。为目标生成形状矩阵N。将反照率矢量与形状矩阵N相乘以获得形状－反照率矩阵A。然后，根据以下优化方式从强度矢量、反照率矢量和形状－反照率矩阵A确定与主要光源的估计方向s^*：。

Description

用于确定图像中的主要光源的方向的方法

技术领域

本发明总地涉及图像处理，更具体地讲，涉及从光度上规范化(normalize)目标图像。

背景技术

在许多计算机视觉系统中，尤其是在脸识别系统中，设计对任意照明不变的系统是非常困难的。事实上，大型独立美国政府测试总结了在任意照明下获得的图像中的脸的识别不能达到在受控照明下获得的图像中的脸的成功率，参见Phillips的“Face Recognition VendorTest(FRVT)2002 report”，Technical report，National Institute ofStandards and Technology，March 2003，以及Phillips等的“TheFERET evaluation methodology for face-recognition algorithms，”IEEE Trans.on Pattern Analysis and Machine Intelligence，22(10)，pp.1090-1104，2000。

本发明提供一种对于所述困难但却常规的如应用于访问控制和监视应用的脸识别问题的解决方案。

在这样的应用中，获得的图像为在任意光照下任意场景中的可能未知的个体的脸。处于固定姿态(比如正面)的相机获取图像。相机未经过校正，其具有未知的固有参数。可从视频、档案摄影、web肖像、家庭相册、识别照片等获得图像。

在没有对个体或场景的任何3D测量的情况下，问题在于将单个图像中的脸与存储在数据库中的已知的个体的图像相匹配。在固定照明，比如散射或正面的照明下获取存储的图像。

为了解决这个问题，需要从几何上和光度上对所有的图像进行规范化，以提供适合于鲁棒的模式匹配和光照不变脸识别的单个固定的光照模板。自然，光照的规范选择将包括非定向或漫射或至少正面的最大化所有关键脸特征的可见性的照明。

由于焦点在于光照不变性，所以假设在预处理步骤中执行几何规范化。预处理可包括检测脸在图像中的位置、检测诸如眼睛的脸特征、用于调准检测的特征的严格的变换，即，缩放、旋转和平移。还假设一些简单的光度规范化可能已发生，比如，非空间全局变换，它仅为强度的函数，比如，增益、对比度和亮度。

关于对照明建模的大多数现有技术集中于找到紧凑低维子空间以对所有照明变量建模。在理论Lambertian(朗伯)假设下，所有可能的照明条件下的目标的图像集在图像空间中形成多面的“光照锥”，参见Belhumeur等的“What is the set of images of an object under allpossible lighting conditions，”Int'l J.Computer Vision，volume 28，pp.245-260，1998。

Basri等的文章描述了将以上理论应用于脸识别的后续工作，参见“Lambertian reflectance and linear subspaces，”Int'l Conf.OnComputer Vision，volume 2，pages 383-390，2001。Basri等人使用球面谐波基来表示照明，其中，表明低维线性子空间对脸识别是有效的。

一种方法分析确定了具有球面谐波的低维子空间，参见Ramamoorthi的“Analytic PCA construction for theoretical analysisof lighting variability in images of a Lambertian object，”IEEE Trans.On Pattern Analysis and Machine Intelligence，24，October，2002。另一方法将照明布置为最佳地生成用于识别的等效基图像，参见Lee等的“Nine points of light：Acquiring subspaces for face recognitionunder variable lighting，”Proc.IEEE Conf.on Computer Vision&Pattern Recognition，519-526页，2001。

一种补充方法是生成光照不变的“签名”图像。虽然该技术不能处理大的光照变化，但是它却具有每个目标在数据库中仅需要一个图像的优点。

其它现有技术的规范化技术通过使用直方图均衡化或线性斜坡减法生成不变模板，参见Rowley等的“Neural network-based facedetection，”IEEE Trans.on Pattern Analysis and Machine Intelligence，20(1)，pp.23-38，1998。

已知图像梯度对光照不敏感，并且可用于概率框架以确定从同一目标获取两个图像的可能性，参见Chen等的“In search of illuminationinvariants，”Proc.IEEE Conf.on Computer Vision & PatternRecognition，1-8页，2000。

近似对称的脸可用于确定关于个体的光照不变原型图像而无需恢复反照率，参见Zhao等的“Symmetric shape-from-shading usingself-ratio image，”Int'l J.Computer Vision，45(1)，pp.55-75，2001。

另一方法假设不同的脸具有共同的形状但是不同的纹理，并将反照率比率确定为光照不变签名，参见Shashua等的“The quotientimage：Class-based rerendering and recognition with varyingilluminations，”IEEE Trans.on Pattern Analysis and MachineIntelligence，23(2)，pp.129-139，2001。

还已描述了关于计算机图形应用的目标重新照明方法。一个应用使用角膜成像将现实虚拟目标(比如，脸)嵌入到一个场景中，从而根据估计的环境照明生成被适当“重新照明”的合成脸，参见Nishino等的“Eyes for relighting，”Proceedings of SIGGRAPH，2004。

另一方法使用辐射环境映射，参见Wen等的“Face relightingwith radiance environment maps，”Proc.IEEE Conf.on ComputerVision & Pattern Recognition，2003。该方法使用球面谐波显现相对高质量的脸，参见Rammamoorthi等的“A signal processing frameworkfor inverse rendering，”Proceedings of SIGGRAPH，2001。

然而，对于脸识别，不需要高质量显现或照相现实。事实上，大多数已知的2D脸识别系统以遍布整个脸的从低至中等的分辨率(比如，大约100个像素)操作。

发明内容

本发明提供一种用于估计未校正的目标图像(比如脸)中的定向照明的方法。使用对形状和反射的约束的最小二乘和分类特定先验来解决该逆问题。

为了简单起见，将主要定向光照建模为Lambertian和环境分量的组合。通过使用目标的“通用的”3D形状和平均2D反照率，该方法可有效地实时地以高精确度估计在具有阴影或没有阴影的情况下入射定向照明。

定向照明的估计用在前向显现步骤中，以将被任意照射的输入目标图像“重新照明”为如光照不变目标识别所需的规范的漫射形式。

附图说明

图1是根据本发明的形状模型和光照模型的示图；

图2是根据本发明的用于确定图像中的主要光源的方向的方法的流程图；和

图3是根据本发明的用于从光度上规范化目标图像的流程图。

具体实施方式

照明估计

如图1所示，我的发明使用通用的3D形状模型101和Lambertian或漫反射光照模型102来从光度上规范化目标图像，比如，脸。在光照模型102中，漫反射具有恒定的双向反射分布函数(BRDF)。这些模型用于目标识别。用于描述我的发明的示例应用为脸识别和/或验证。这里，问题是将未知的脸图像与已知的脸图像数据库中的图像匹配。

由于皮肤中的皮脂腺分泌皮脂油而导致脸可具有一些镜面反射。然而，镜面反射不是总是一致的。因此，镜面反射在脸识别中几乎作用。因此，我的光照模型102仅包括Lambertian和环境分量。

如图2所示，设I(x，y)为输入图像201中与凸目标的表面上的点相应的像素(x，y)处的强度，所述凸目标比如脸或具有Lambertian面反射102的等效的3D形状模型101。环境光和无限远的单个主要光源103的混合在方向

上以强度|s|照射所述点。

我将单位表面法线n＝s/|s|指定为从所述点至主要光源的方向，即，点出。该方向，比如，方位角或仰角，为我所感兴趣的主要估计。由于可通过对增益和曝光建模的成像系统参数来并入光源的幅值，所以光源的幅值对我们的方法几乎没有意义。

设ρ(x，y)为皮肤表面的反照率221，ρ(x，y)是已知的或者用其它方式来估计ρ(x，y)。反照率是由表面反射的入射光的小部分，并且对于脸，反照率表示漫射的皮肤纹理。因此，反照率映射和纹理映射是同义的。

设n(x，y)231为脸表面上正交投射到图像中的像素I(x，y)上的点的单位表面法线。

在具有恒定BRDF的Lambertian模型下，根据以下方程给出像素的单色强度：

I(x，y)＝α{ρ(x，y)[max(n(x，y)^Ts，0)+c]}+β    (1)

其中，α和β表示内部的相机系统参数，即，透镜孔径和增益。在我的分析中，参数α和β是基本的妨害参数，它们仅影响像素强度而非照明方向的动态范围或(增益)和偏移(曝光偏差)。因此，我可用合适的规范化将(α，β)设置为它们的默认值(1，0)。参数c表示如下所述的环境光照的相对强度，并且如果必要的话，可将参数c设置为0。项max(n(x，y)^T)s对于处于阴影中的表面点将Lambertian余弦因子的负值设置为0。

为了简单起见，我假设只有单个的主要光源103对图像中的观察的定向照明的大部分，即，漫衰减和/或阴暗负责。出现在场景中的任何其它环境光源，比如，漫射或定向的其它环境光源为非主导性的。因此，在方程(1)中用具有相对强度c的全局环境分量表示其它环境光源的总贡献。

几乎所有的基于2D视角的脸识别系统都受到定向照明的不利影响，但是比受到微弱的环境照明影响的程度要小得多。因此，在大多数情况下，与主要光源的方向比任何其它照明情况更重要，尤其是当其它光源为非主导性的时候。

因此，本发明颠倒了主要光照的影响。这改进了识别被任意照射的目标的性能。

通过最小二乘公式估计与主要光源的方向251，所述最小二乘公式具有基于如方程(1)表达的光照模型102的简单假设。更重要的是，我用初等矩阵运算和点积以闭合形式有效地解决了这个问题。

估计光源方向

具体地讲，如图2所示，我通过堆积(stack)输入图像201 I(x，y)的“所有的非零值”来构造像素强度的列强度矢量

211(210)。如果我假设只有主要光源103照射目标，即，没有环境光，则零强度像素很大可能在阴影中。因此，这些像素不能指示与主要光源的方向，除非光线投射用于对光源定位。在实践应用中，总是有一些环境光量。因此，我可使用预定的非零阈值或预定的掩模来选择在强度矢量

中堆积的像素。

类似地，我将反照率矢量

222构造为相应的矢量化的反照率映射或漫射纹理221(220)。

我通过行向堆积形状模型101的相应的表面法线来生成3列形状矩阵N 231(230)。然后，我构造形状-反照率矩阵

(240)，其中，矩阵A 241中的每行α为反照率矢量

222和形状矩阵N 231的相应行中的反照率和单位表面法线的积。这对应于逐元素的Hadamard(哈达姆)矩阵积运算符o：

$A=\left(\stackrel{\→}{\mathrm{\ρ}}{I}_{1\×3}\right)\mathrm{oN}$

为了确定与主要光源的未知方向s^*251(250)，我使用矩阵方程来进行矢量化形式的方程(1)中的近似误差的最小二乘最小化：

$\arg \underset{s}{\min }\left|\right|\stackrel{\→}{I}-\mathrm{\αc}\stackrel{\→}{\mathrm{\ρ}}-\mathrm{As}\left|\right|---\left(2\right)$

其产生解：

$s^{*}{\left(A^{T}A\right)}^{-1}{A}^T(\stackrel{\→}{I}-\mathrm{\αc}\stackrel{\→}{\mathrm{\ρ}}-\mathrm{As})---\left(3\right)$

其中，T表示转置运算符。

应该注意到，我仅对估计的单位光源矢量s^*/|s^*|的其方向而不是幅值感兴趣。幅值取决于特定的相机增益和曝光。由于该估计问题严重过约束，所以“很好地代表”了该估计问题。也就是说，与s^*中的三个未知数相比， “观察”中的非零元素的数量的数量级为O(10³)。事实上，由于我仅使用与主要光源的方向，所以仅有两个角度估计：方位角和仰角。因此主要光源的估计相对于噪声和输入

中的小变化相当稳定。

应该注意到，反照率-形状矩阵A 241来自通用的形状模型101和反照率221。因此，形状-反照率矩阵A 241表示整个目标类，即，所有正面脸。

假设模型101具有足够的代表性，则就照明方向而言，只要所有的形状和反照率粗略地等于第一级，就没有必要测量精确的形状或者甚至提取个体的反照率。

此外，在高斯噪声下，方程(3)中的伪逆(A^T A)^-1与最小二乘估计s^*的误差协方差成正比。

如果我定义维数为p×3的矩阵P＝(A^T A)^-1，则我看出方程(3)中的唯一的在线计算为强度矢量

211在矩阵P的线性独立的三列上的投射。事实上，这三列为用于我的通用的脸模型的光照子空间的基函数。

此外，我可总是使用QR-因数分解：P＝QR找到用于该子空间的等效的正交基，其中，酉矩阵Q具有展开与矩阵P相同的子空间的三个正交列。由于R^-1为误差协方差的Cholesky因子，即，矩阵平方根，所以3×3上三角矩阵R定义估计的质量。由于输入图像直接投射到正交基Q上以估计与主要光源103的方向251，所以QR．因数分解在像素和基方面有助于估计的解释和分析。在更大的问题中，QR分解还节省了计算。

由于矩阵P和Q独立于输入数据，所以可预先确定这些矩阵并将其存储以备后用。此外，使用方程(3)的计算成本最小。计算仅需要三个图像大小的点积。以下描述的随后的重新照明仅需要单个点积。因此，根据本发明的照明规范化对于实时实现是实用的。

脸重新照明

如图3所示，给定输入图像201中的定向照明的估计s^*251，我可通过估计脸的反照率311或漫射皮肤纹理(310)来近似地“取消”照明，然后在任何期望的光照，比如，正面或纯漫射的光照下，对与通用的形状模型101组合的该特定的反照率进行重新照明(320)。

尽管通用的形状和反照率都用在估计定向照明的逆问题中，但是由于输入图像201本身提供反照率信息，所以在对输入图像201进行重新照明的正问题中只需要通用的形状101。这里的基本假设为所有目标具有与由通用的形状模型101定义的3D几何几乎相同的3D几何。

我发现：由于实际对其进行重新照明以生成光照不变模板图像的是如在输入图像201中所看见的纹理，所以该基本假设的适当的违背不是很重要的。该纹理携带用于2D目标识别的大多数信息。事实上，不可能通过使用稍微不同的3D脸形状来显著地改变输入图像的反照率。因此，对于脸，尽管对于不同的个体而言几何存在小的变化，但是只要保留脸纹理，个体的身份就基本保存。

回过来参考方程(1)，在我具有照明估计s^*251和我的“插入”形状，即，通用的脸模型101的表面法线n231之后，我可使用以下方程直接对反照率求解：

${\mathrm{\ρ}}^{*}=\frac{I-\mathrm{\β}}{\mathrm{\α}(n^T{s}^{*}+c)}---\left(4\right)$

其中，为了清晰起见，不对所有的2D阵列(I，ρ，n)表达空间索引(x，y)。这里，假设强度为非零，n^Ts^*比零大。注意到，点(x，y)处的估计的反照率ρ^*311仅取决于输入图像201的相应的像素强度I(x，y)和表面法线n(x，y)231。因此，如果目标上的点在阴影中，并且不存在环境光照，则I为零，n^Ts^*为负。在这种情况下，不能用方程(4)估计相应的反照率，而是将默认的平均反照率代替用于与该点对应的像素。

然后将估计的反照率311用于生成我们的不变(固定光照)图像I_o322(320)。

I_o＝α_o{ρ^*[max(n^Ts_o，O)+c_o]}+β_o    (5)

在方程(5)中，变量s_o 321表示与期望的主要光照源的不变方向。默认的方向在目标的正前方，并与通过目标的水平轴一致，即，轴上正面照明，c_o为输出图像322的环境分量。类似地，α_o和β_o指定输出显示设备的格式参数。

环境光照

还可将任意的环境光照建模为由参数c表示。通过使用N个训练图像的代表集，我可使用以下优化标准数字化地估计环境光照的分量：

$c^{*}=\arg \underset{s}{\min }\underset{I-1}{\overset{N}{\mathrm{\Σ}}}{|{\mathrm{\ρ}}_i\left(c\right)-\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i\left(c\right)|}^2---\left(6\right)$

其中，ρ_i(c)表示用如方程(3)中定义的相对环境强度c估计的第i训练图像的反照率。

本发明的效果

本发明提供一种用于估计诸如脸的光度上未校正的输入目标图像中的与主要光源的方向的简单且实用的方法。目标的精确的形状的反照率(表面纹理)未知，然而目标类的通用的形状和反照率已知。此外，该方法从光度上规范化了输入图像，以用于光照不变模板匹配和目标识别。对于输入图像中的每个像素，必要的计算需要少于5个点积。

该方法对于现实访问控制图像的数据集具有更好的效果，所述数据集展现出复杂的现实世界的光照环境。正是由于个体图像在图像空间中更紧密地聚集而导致性能提高，这将帮助复杂的图像匹配和识别系统实现光照不变性。

结果指示照明方向的估计相对鲁棒，并且随后的重新照明规范化实时可行，仅需要几个简单的点积操作。根据本发明的照明规范化是对现有技术的线性斜坡和直方图均衡化技术的可实施且更优越的替换方案。

虽然已作为优选实施例的示例描述了本发明，但是将理解可在本发明的精神和范围内进行各种其它调整和修改。因此，权利要求的目的在于覆盖落在本发明的真实精神和范围内的所有这样的改变和修改。

Claims (18)

1、一种用于确定图像中的主要光源的方向的方法，包括：

用相机获取由主要光源从未知方向s照射的目标的输入图像I，该输入图像包括像素阵列，每个像素具有强度I(x，y)；

从输入图像的强度构造强度矢量

为所述目标定义反照率映射ρ；

从反照率映射构造反照率矢量

为所述目标生成形状矩阵N；

将反照率矢量

与形状矩阵N相乘以获得形状-反照率矩阵A；和

根据以下优化方式从强度矢量

反照率矢量 和形状-反照率矩阵A确定主要光源的估计方向s^*：

$s*=\arg \underset{s}{\min }\left|\right|\stackrel{\→}{I}-\stackrel{\→}{\mathrm{\ρ}}-\mathrm{As}\left|\right|.$

2、如权利要求1所述的方法，其中，所述优化方式 $\arg \underset{s}{\min }\left|\right|\stackrel{\→}{I}-\stackrel{\→}{\mathrm{\ρ}}-\mathrm{As}\left|\right|$ 具有以下解：

其中，^T为转置运算符。

3、如权利要求1所述的方法，其中，所述目标属于由通用形状模型表示的目标类，所述通用形状模型由形状矩阵N表示。

4、如权利要求1所述的方法，其中，所述目标为脸。

5、如权利要求1所述的方法，还包括：

由未知环境光照照射所述目标。

6、如权利要求1所述的方法，还包括：

堆积输入图像I中的非零强度以构造强度矢量。

7、如权利要求6所述的方法，还包括：

根据预定的阈值选择非零强度。

8、如权利要求6所述的方法，还包括：

根据预定的标准选择非零强度。

9、如权利要求6所述的方法，还包括：

根据掩模选择非零强度。

10、如权利要求1所述的方法，还包括：

从相应的矢量化的反照率映射构造反照率矢量

11、如权利要求1所述的方法，还包括：

从漫射纹理构造反照率矢量

12、如权利要求3所述的方法，还包括：

通过堆积通用形状模型的表面法线来生成形状矩阵。

13、如权利要求1所述的方法，其中，所述相乘对应于逐元素的哈达姆矩阵积o：

$A=\left({\stackrel{\→}{\mathrm{\ρ}}l}_{1\×3}\right)\mathrm{oN}.$

14、如权利要求1所述的方法，还包括：

使用以下公式从输入图像直接估计未知反照率：

${\mathrm{\ρ}}^{*}=\frac{I-\mathrm{\β}}{\mathrm{\α}(n^T{s}^{*}+c)}$

其中，α和β联合地分别对相机的强度增益和偏移进行建模，c为相对的环境光照分量，n为单位表面法线，^T为转置运算符。

15、如权利要求12所述的方法，还包括：

如果特定像素的强度为零，则将平均反照率分配给该特定像素。

16、如权利要求1所述的方法，还包括：

使用以下公式生成期望光照下的光照不变输出图像：

$I_o={\mathrm{\α}}_o\left\{{\mathrm{\ρ}}^{*}\right[\max (n^T{s}_o,0)+c_o\left]\right\}+{\mathrm{\β}}_o$

其中，α_o和β_o为输出显示设备的增益和偏移，c_o为在光照不变输出图像中的期望的环境光照照明的强度，n为表面法线，s_o为光照不变输出图像中的期望的相对的环境照明的方向，^T为转置运算符。

17、如权利要求5所述的方法，还包括：

获取具有所述目标的N个训练图像的集合；和

使用以下优化标准估计未知环境光照的特性：

$c^{*}=\arg \underset{s}{\min }\underset{I=1}{\overset{N}{\mathrm{\Σ}}}{|{\mathrm{\ρ}}_i\left(c\right)-\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\mathrm{\ρ}}_i\left(c\right)|}^2$

其中，c为未知环境光照的强度，ρ_i(c)表示第i训练图像的反照率。

18、如权利要求2所述的方法，还包括：

定义矩阵P＝A(A^TA)^-1；和

将QR-因数分解P＝QR用于估计矩阵P的等效正交基，其中，酉矩阵Q具有跨越矩阵P的子空间的三个正交列，由于R^-1为误差协方差的矩阵平方根，所以3×3上三角矩阵R定义所述估计的质量。

Images