CN100346347C - 通过多个面部原型合成的健壮面部注册 - Google Patents

Abstract

一种面部识别和/或验证系统，包括步骤：注册人的实际面部，其中捕获和合成所述实际面部的图像以创建多个面部原型，并且其中存储所述面部原型用于以后使用要识别或验证的捕获的图像的分析和比较。

Description

通过多个面部原型合成的健壮面部注册

技术领域

本发明一般指向面部识别和面部验证系统，并且特别指向能够生成实际模板的面部原型合成系统并提供更健壮的注册面部的系统。

背景技术

传统的面部识别方法是存储人的面部的图像，然后提供足够健壮的面部匹配算法以处理变化的照明条件、面部表情、面部方向、眼镜、胡须、胡子和面毛等。

在面部识别技术领域，研究几乎已经完全聚焦于开发对照明条件、面部表情和面部方向不变的算法。这样的系统以复杂匹配算法或算法族的代价获得简单的数据库。可替代地，基于面部模板匹配和神经网络的面部识别系统需要大量面部采样以训练该网络达到可接受的标准。应用于训练神经网络的各操作主要有关线性几何性质，如按比例变化或缩放。

这些技术的问题是其弱于应对各种照明条件、表情变化以及观察的时间和注册之间的时间差。

例如，WO 99/53427提供一种检测和识别图像帧中的对象的技术。对象标识和识别过程使用基于模型图和束图(bunch graph)的图像处理技术，其有效地将图像特征表示为喷射(jet)。喷射由小波变换组成，并且在对应真正可标识的特征的图像上的结点或界标位置处处理。因而该作者提出基于从面部图像提取的一组特征点的面部表示。然后面部识别使用可变形图匹配技术实现。

WO 98/37507公开了为了实时或者根据照片文档自动识别人的面部，产生头的侧视图的数字图像，并且通过线性提取(linear extraction)确定轮廓曲线。从该轮廓曲线，通过估计算法生成大大降低数量的数据，以用作为所考虑的人的模型。这特别考虑了需要用于模型代码的最小存储空间的简单的生物统计(biometric)面部标识。

一般地，改进面部识别的尝试已经产生了提取特征并比较各特征与存储在数据库上的数据的各种方法和算法。然而，各种条件和情况仍然可产生较少希望的结果，因而需要替代方法改进面部识别。

发明内容

因此，本发明的目的在于开发一种更健壮的系统，其能够处理变化的条件，如照明和面部方向。具体地，其目的在于提供一种用于这样的系统的更健壮的注册过程。

本发明的进一步目的在于提供一种面部合成系统，其能够生成考虑变化的条件的实际模板。

考虑上述目的，本发明一方面提供一种面部识别和/或验证系统，包括步骤：注册人的实际面部，其中捕获和合成所述实际面部的图像以创建多个面部原型，并且其中存储所述面部原型，用于以后使用要识别或验证的捕获图像进行分析和比较。

所述面部原型可表示在各种照明条件、变化的面部表情、变化的面部方向和/或模型化误差下所述实际面部的可能的外观。

在另一方面，本发明提供一种面部原型合成系统，其中合成人的实际面部的图像来创建多个面部原型，所述面部原型表示在各种照明条件、变化的面部表情、变化的面部方向和/或模型化误差下所述实际面部的可能的外观，并且其中存储所述面部原型用于以后使用。

在优选实施例中，所述系统标准化捕获的图像，以使眼睛分开固定距离并且在水平面上。所述系统可仅仅合成由眉毛和嘴限制的面部区域，假设如头发的其它特征对识别和验证目的没有显著变化。所述合成可包括考虑替代眼睛位置并且应用各遮罩以解决(account for)变化条件和误差。

附图说明

图1显示优选实施例中分析的面部区域。

图2显示可能的眼睛位置。

图3说明使用几何遮罩(mask)。

图4说明使用光流近似。

图5说明使用指数和对数函数。

图6说明与垂直阴影遮罩使用的示例函数。

图7说明使用阴影过滤器。

图8说明手动照明遮罩的例子。

图9说明根据本发明的优选实施例注册用户的例子。

具体实施方式

因为由于如变化的照明条件导致难于取得准确的面部识别，所以本发明提出一种依靠更强的注册过程的方法或系统。

多数现有系统会捕获人的图像，并且为以后的比较存储该图像。在本发明中，在注册人的面部的过程中，通过创建人工照明条件、人工面部变形(morphing)，并且通过特别是在眼睛检测过程中将面部定位系统的误差模型化，系统自动合成多个(multitude)面部原型。这些面部原型表示在各种照明条件、各种表情和各种面部方向下以及在面部定位系统的各种误差下的初始面部的可能外观。该系统对每个面部获得可覆盖该面部可具有的可能外观的一组面部。

生成该多个面部原型后，可应用数据分析，如维度减少(主要分量分析)、特征提取、自动聚类(clustering)、自组织映射(map)。还可取得基于这些面部原型的面部识别系统的设计。可应用基于面部模板(pca)和/或特征矢量(gabor小波)的面部识别系统，并且它们还可使用这些面部聚类(cluster)用于训练。

现在考虑一个例子并且参照附图。给定人的面部的图像并且给定两个眼睛(4、5)的位置，通过设置这两个眼睛(4、5)在水平面上并且分开固定距离，例如50像素，优选系统首先标准化该图像。该操作可通过旋转和比例的改变来实现。一旦创建标准化的图像，该系统就选择随时间非常稳定的面部部分，即系统不考虑眉毛以上和嘴3以下的面部部分。也就是说，该系统仅仅考虑图1中所示的框2内的面部1的部分。可替代地，其它面部定位系统可提供“面部中心”，从其可根据人的拟人测量(human anthropomorphicmeasure)得出眼睛位置的估计。

使用现有的面部定位系统，眼睛位置可能不精确。为了提出一种健壮的面部编码系统，本系统假定眼睛的位置误差，并且对于每对眼睛位置，该系统由此剪短(crop)面部。实际上，该系统优选每个眼睛使用5个可能位置，得出25个剪短的图像，如图2所示。自然，该数量可改变。本质上，该技术编码旋转、平移和比例变化，因为比例因子受两个眼睛之间的距离影响，而旋转因子受两个眼睛与水平线的角度影响。在图2中，点6是由系统检测的眼睛，而点7是为注册而考虑的其它可能的眼睛位置。

圈8显示描述眼睛的可能的真实位置的表面误差。该圈中的任何点可能是真实的眼睛中心。表面误差的射线由系统自动固定并且依赖于两个眼睛的计算位置之间的两眼间距离。例如，对于50像素眼睛距离，我们可以说，眼睛位置精确度在-/+5像素。

在每个这些剪短的和标准化的图像上，系统应用预定义的2D照明遮罩(lighting mask)和预定义的2D弯曲(warping)或变形遮罩，并且获得可能在面部定位期间出现的多个面部原型。系统优选使用三族照明遮罩和25族弯曲遮罩，尽管可使用改变的数量。可能使用任何数量的照明和弯曲遮罩，例如期望的结果使用16照明遮罩获得。

系统具有应用于人的输入图像的两种操作以便获得用于存储的输出图像。即，图像的光度测定(photometric)修改和/或几何修改。光度测定修改改变像素的灰度级或者颜色，而几何修改改变该像素的位置。

光度测定变换可编码为照明遮罩，而几何变换可编码为变形遮罩。

几何遮罩可通过如手动、半自动的各种方式或者通过两个图像之间的光流估计来估计。光流估计是图3和4中例示的全自动技术。

图3的第一行具有3个原始图像，而最后一行显示使用几何遮罩获得的3个生成的正面面部图像。这里调整遮罩以生成正面面部。

以相同方式，图4的第一行包含5个输入图像，第二行包含每个面部及其垂直镜像之间的光流的近似，而最后一行包含面部正面的近似，足够好用于健壮的面部识别。

这里我们说明5个光度测定遮罩。可产生任何数量，但在测试中这些已经证明对健壮的面部识别非常好，因为它们近似真实照明条件。

这些优选的标志是：

i.灰度级上的对数函数；其获得更亮的图像；

ii.该函数上的指数延伸(stretch)；其获得更暗的图像；

iii.垂直阴影，其创建垂直半阴影面部；

iv.水平阴影，其创建水平半阴影面部；以及

v.通过微分遮罩设置期间从照相机捕获的图像。

如果我们考虑在形式(v-vmin)/(vmax-vmin)的标准灰度级标准化过程后输入图像的灰度级范围从0到1，其中vmin和vmax分别是图像的最小和最大灰度级值，那么每个优选的遮罩可描述如下：

对数函数

设〔Kmin，255〕使得255＞Kmin＞0。通过下面的计算，系统建立包含256-Kmin表项的查找表：

LOGLUT[w]＝((log(w)+Kmin)-log(Kmin))/(log(255)-log(Kmin))

对于w＝Kmin，...255。查找表值都是范围从0到1。给定范围从0到1的像素的值v，通过w＝LOGLUT[(255-Kmin)*v+Kmin]，系统获得新的灰度级值w；w范围在0和1之间并且可使用其它运算符。

指数函数

通过下面的计算，系统建立包含256表项的查找表：

EXPLUT[w]＝(exp(Kmax*w/255.0)-1)/(exp(Kmax)-1)

对于w＝0，...255。查找表值都是范围从0到1。给定范围从0到1的像素的值v，通过w＝EXPLUT[255*v]，系统获得新的灰度级值w；w范围在0和1之间并且我们可使用其它运算符。

图5显示输入图像和应用Kmax＝4的指数函数后的图像，以及输入图像和应用Kmin＝32的对数函数后的图像。通过改变Kmin和Kmax，系统可能产生无限数量的这样的图像。

垂直阴影/水平阴影

因为两个过程相同，我们仅说明用于横坐标x的垂直阴影过程。该函数根据图像中像素的空间位置创建像素的灰度级的修改。这里我们逐线地(lineby line)应用它。可使用无限数量的函数。为了简单，我们说明一个函数。让X为图像宽度，而使0＜λ＜1为实系数(real coefficient)，并且使m＝λ*X。我们定义下面的依赖于值x∈[0，X]的函数f(x)：

F(x)＝x/m，若x∈[0，m]

F(x)＝1+(x-m)/(X-m)，若x∈[m，X]

从图6可见这样的函数。这里，X＝200而λ＝0.2。对于给定的横坐标x，F(x)是在[0，2]之间变化的系数。

给定像素p＝(x，y)和灰度级v，系统在输出图像中获得像素q＝(x，y)和计算的灰度级w＝v*F(x)。因此，前m个像素将变暗，在位置0的第一个像素全暗，第m个像素将不受影响(图6中，第40个像素200*0.2＝40)，而横坐标大于m的像素将变亮。图7说明从左侧的原始图像使用5个不同阴影过滤器的过程。

水平过程应用于纵坐标y，并且使用图像Y的高度，是以完全相同的方式。

2D遮罩作为两个1D遮罩的组合。

这里我们定义遮罩F使得F(x，y)＝Fx(x)*Fy(y)。对每个像素p＝(x，y)和灰度级v，我们得到新的灰度级w＝v*F(x，y)。

2D遮罩

这些遮罩是先前一维遮罩的一般化，并且对每个像素F(x，y)定义系数。然后系统获得修改w＝v+F(x，y)中像素p＝(x，y)的值v的2D遮罩。通过捕获几个相同图像并且通过改变图像捕获期间的房间的照明条件，这些遮罩可手动建立。在这样的情形，如果我们定义中间(neutral)图像为I，而所有其它图像为I₁，I₂，...，I_N，系统通过对I₁，I₂，...，I_N微分I，得到N个遮罩，并且我们获得F₁＝I-I₁，F₂＝I-I₂，...，F_N＝I-I_N。因此，我们修改w＝v+F(x，y)中像素p＝(x，y)的值。图8说明通过对第一图像微分、其中光变化以建立手动照明遮罩的面部捕获。再一次，这些遮罩可在0和1之间标准化。

过滤器层叠(cascading)

通过将几个遮罩应用于原始的标准化的图像，可获得合成原型。使I为原始的标准化的图像，F＝{F₁，F₂，...F_N}为连续遮罩的集合，而O为获得的合成原型。我们有O＝F_N(...F₂(F₁(I))...)。在一些特定情形，我们可得到F_N(...F₂(F₁(I))...)＝Fn(...F2(F1))(I)＝M(I)，导致更有效得多的计算，因为遮罩M＝F_N(...F₂(F₁)...)可通过遮罩组合预先估计。

图9说明在注册用户期间获得的图像。在该例子中，优选系统采用5个最左侧的(第一列)图像以15×15像素的分辨率健壮地注册此人。每个图像的灰度级密度已经在0和255之间重新标准化。

该组生成的面部可能用于使用面部的任何应用，好像它是通过任何照相机或者视频输入设备在线产生的。例如，它可用于面部识别、面部验证、面部特征提取、面部检索、视频会议系统、神经网络或者自动联想记忆训练等。

通过存储同一面部的多个可能的外观，系统增加了相对照明条件、表情和面部方向检索正确的面部的几率。因此系统补偿了先前方法的缺点，虽然确实获得更复杂的数据库。

该系统确实增加了与另一个面部混淆的几率，但实验已经说明：两个相同的人之间的最佳匹配在统计上高于两个不同的人之间的最佳匹配。在将这些变换相同地应用于所有面部时，所有的都以相同方式被恶化或者促进，这足够证明此实验事实有道理。换言之，更可能的是，注册将面部变换为同一人的将来观察的面部，而非它将另外某人的面部变换为此将来观察的面部。

该系统将表示扩展到非线性几何变换和非线性光度测定变换，以合成真实的面部原型。这等效于对神经网络的更好的一般化设置的训练的扩展。此健壮注册的关键是使用面部变形和应用接近真实的合成的照明条件，应用可允许的变换到面部图像。这些变换被应用于眼睛坐标对其已知的面部。另一个关键问题是，注册过程考虑源于眼睛检测算法的眼睛定位的误差。

给定面部图像和两个眼睛位置，本系统能从单一面部合成真实的多个面部，以提供健壮的注册，其反过来产生健壮的面部识别/验证算法。眼睛检测误差的考虑、照明效果的合成以及面部变形可使用预先注册的遮罩。其组合允许创建可能要在将来的面部识别任务期间出现的多个合成面部。

随后的面部检索算法可以是直接而简单的，因为注册过程已经经历了多数难点。

已经参照有助于理解本发明的面部识别系统具体说明了本发明。然而，本发明提出了一种方法：通过创建人工照明效果、人工面部方向并且通过模型化面部定位系统的定位误差，从单一面部生成人工而可能的面部原型，用于健壮的面部特征提取或者健壮的面部注册目的。即，本发明是从单一图像自动生成真实模板的面部原型合成系统，而不仅是面部识别系统。照明条件遮罩、弯曲遮罩和眼睛位置误差用于取得健壮的面部生成。

除了改进面部识别系统，通过自动变换和扩展包含人的面部的现有数据库，而无需在所有面部方向、所有照明条件、所有比例和旋转下重新捕获所有照片，本发明还可用于改进当前的面部识别和面部验证系统。

因此，本发明提出一种方法：通过创建人工照明效果、人工面部方向并且通过模型化面部定位系统的定位误差，从单一面部生成人工而可能的面部原型，用于健壮的面部特征提取或者健壮的面部注册目的。

虽然通过说明性例子已经概括和解释了本发明的方法和系统，但本领域技术人员可知，很多广泛变化的实施例和应用都在本发明的精神和范围内，并且这里介绍的各例子仅仅作为说明，而不应该被解释为限制本发明的范围。

Claims (31)

1.一种面部识别和/或验证系统，包括用于注册人的实际面部的装置，其中捕获和合成所述实际面部的图像以创建多个面部原型，其中存储所述面部原型，用于以后使用要识别或验证的捕获图像进行分析和比较，并且其中为其标准化将平移、旋转和缩放变换的至少一个应用于捕获的实际面部图像。

2.根据权利要求1所述的系统，其中所述面部原型表示在各种照明条件、变化的面部表情、变化的面部方向和/或模型化误差下所述实际面部的可能的外观。

3.根据权利要求1所述的系统，其中所述面部原型和捕获的图像的比较使用面部匹配算法。

4.根据权利要求1所述的系统，其中所述面部原型和捕获的图像的比较使用面部模板或者特征矢量。

5.根据前述任一权利要求所述的系统，其中合成所述实际面部包括根据实际面部图像的至少两个特征之间的空间关系标准化所述实际面部图像。

6.根据权利要求5所述的系统，其中标准化包括旋转所述实际面部图像以使所述实际面部图像的眼睛位于水平面。

7.根据权利要求5所述的系统，其中标准化包括缩放所述实际面部图像，以使眼睛分开固定距离。

8.根据权利要求7所述的系统，其中所述眼睛固定于分开50像素。

9.根据权利要求1所述的系统，其中仅合成该图像的一部分，该图像的所述部分从人的眉毛延伸至人的嘴。

10.根据权利要求1所述的系统，其中合成所述实际面部包括对每个眼睛确定替代位置，以便补偿可能的误差。

11.根据权利要求10所述的系统，其中对每个眼睛确定5个替代位置。

12.根据权利要求1所述的系统，其中合成所述实际面部包括将至少一个预定义的光度测定变换应用于所述实际面部图像。

13.根据权利要求12所述的系统，其中使用3到16个预定义的光度测定变换。

14.根据权利要求1所述的系统，其中合成所述实际面部包括将至少一个预定义的几何变换应用于所述实际面部图像。

15.根据权利要求14所述的系统，其中使用25个预定义的几何变换。

16.根据权利要求14所述的系统，其中所述几何变换使用光流估计来估计。

17.根据权利要求12所述的系统，其中所述光度测定变换包括至少一个：

对数函数、指数函数、垂直阴影、水平阴影和微分图像。

18.一种面部原型合成系统，包括：用于通过将平移、旋转和缩放变换的至少一个应用于人的实际面部的图像来初始标准化人的实际面部的图像、以从其获得标准化图像的装置；以及用于通过向其应用至少一个光度测定变换而随后合成该标准化图像、以创建多个面部原型的装置，所述面部原型表示在各种照明条件、变化的面部表情、变化的面部方向和/或模型化误差下所述实际面部的可能的外观，并且其中存储所述面部原型用于以后使用。

19.根据权利要求18所述的系统，其中根据实际面部图像的至少两个特征之间的空间关系，所述实际面部图像在创建所述面部原型前标准化。

20.根据权利要求19所述的系统，其中标准化包括旋转所述实际面部图像以使所述实际面部图像的眼睛位于水平面。

21.根据权利要求19或20所述的系统，其中标准化包括缩放所述实际面部图像，以使眼睛分开固定距离。

22.根据权利要求21所述的系统，其中所述眼睛固定于分开50像素。

23.根据权利要求18所述的系统，其中仅合成该图像的一部分，该图像的所述部分从人的眉毛延伸至人的嘴。

24.根据权利要求18所述的系统，其中为创建所述面部原型，所述系统对每个眼睛确定替代位置，以便补偿可能的误差。

25.根据权利要求24所述的系统，其中对每个眼睛确定5个替代位置。

26.根据权利要求18所述的系统，其中为创建所述面部原型，所述系统将至少一个预定义的光度测定变换应用于所述实际面部图像。

27.根据权利要求26所述的系统，其中使用3到16个预定义的光度测定变换。

28.根据权利要求18所述的系统，其中为创建所述面部原型，所述系统将至少一个预定义的几何变换应用于所述实际面部图像。

29.根据权利要求28所述的系统，其中使用23个预定义的几何变换。

30.根据权利要求28所述的系统，其中所述几何变换使用光流估计来估计。

31.根据权利要求26所述的系统，其中所述光度测定变换包括至少一个：

对数函数、指数函数、垂直阴影、水平阴影和微分图像。

Images