CN101142586A

CN101142586A - 执行人脸识别的方法

Info

Publication number: CN101142586A
Application number: CNA2006800086379A
Authority: CN
Inventors: F·格雷姆泽; V·费勒明
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Philips Intellectual Property and Standards GmbH; Koninklijke Philips NV
Priority date: 2005-03-18
Filing date: 2006-03-15
Publication date: 2008-03-12
Also published as: JP2008533606A; EP1864245A2; WO2006097902A3; US20080192991A1; WO2006097902A2; BRPI0608711A2; TW200707313A

Abstract

本发明描述了一种执行人脸识别的方法，该方法包括以下步骤：从多个明显不同的人脸图像(I₁、I₂、...、I_j)中，生成平均人脸模型(M_AV)-其包括表示人脸的多个区域的状态矩阵；以及为多个已知人脸中的每一个训练参考人脸模型(M₁、M₂、...、M_n)，其中，参考人脸模型(M₁、M₂、...、M_n)是基于平均人脸模型(M_AV)的。获得待识别人脸的测试图像(I_T)，并且根据该测试图像(I_T)，计算经过平均人脸模型(M_AV)的最佳路径。通过将平均人脸模型(M_AV)的最佳路径应用于每个参考人脸模型(M₁、M₂、...、M_n)，来评价每个参考人脸模型(M₁、M₂、...、M_n)相对于测试图像(I_T)的相似度，以识别出与测试图像(I_T)最相似的参考人脸模型(M₁、M₂、...、M_n)，其中，随后根据所识别出的参考人脸模型(M₁、M₂、...、M_n)的相似度来判断接受还是拒绝它。此外，本发明描述了一种执行人脸识别的方法。此外，本发明描述了一种训练能够用于人脸识别系统的参考人脸模型(M₁)的方法和系统，一种为能够用于人脸识别系统的参考人脸模型(M_n)计算相似度阈值的方法和系统，以及一种最优化用于人脸识别系统的图像(I，I_T，I_T'，G₁、G₂、...、G_j，T₁、T₂、...、T_m，T_new)的方法和系统。

Description

执行人脸识别的方法

技术领域

本发明涉及一种执行人脸识别的方法，以及一种用于执行人脸识别的系统。

背景技术

包含人脸识别的应用经常与安全系统或者监视系统相关，在安全系统中，人脸识别技术用于判断一个人是否被授权或者禁止进入该系统，监视系统用于识别或者追踪某个特定的人。其他的变得越来越广泛的应用包括：识别对话系统的用户的应用，例如家庭对话系统，或者图像搜索应用，用于在视频或者照片档案中查找某个特定的人脸，或者在电影或其他记录视频序列中查找某个特定演员。

任何人脸识别技术都基于人脸的模型。通常使用一个人脸模型数据库来与探查图像进行比较，以找到最接近匹配。例如，一个人希望能够进入一个系统，例如一栋建筑，该人首先必须经历人脸识别步骤，在该步骤中，尝试将他的人脸图像与安全数据库中的人脸模型进行匹配，以便判断该人是被允许进入还是被禁止进入。人脸的模型是使用从多个图像获得的信息来建立或者训练的，通常是同一张人脸的多个图像，所有的图像都是在略微不同的环境下拍摄的，例如不同的光照或者不同的姿势。

US2004/0071338 A1建议采用最大似然(ML)准则分别训练每个人的模型。这是很多人脸识别应用用于训练模型的公知技术。在其人脸识别方法中，US2004/0071338为给定探查图像或者人脸图像确定的最接近模型，但是不能涵盖该探查图像来自一个未知的人的可能性，未解决一个未知的人能够获准进入由该方法保护的系统的可能性。该系统的另一个缺点是，识别过程非常耗时，从而使得一个人在人脸识别系统得出识别结果之前必须等待相对较长的时间。这种长时间延迟的原因在于，为了确定数据库的模型表示与探查图像中人脸相同的人脸的似然度，就必须对数据库中的每个模型执行耗时的计算，以便判断哪个模型最像正在经历该识别过程的人。然而，在大多数人脸识别系统中，希望人脸识别能够尽可能快速地完成，因为任何可察觉的时间延迟都会使用户烦恼。

此外，不幸的是，经常发生的情况是，拍摄探查图像的条件可能不理想。除了不能准确地控制用户面向相机的角度或者其所呈现出的面部表情之外，变化的照明条件也导致同一张人脸在不同的图像中显示不同。用于实际应用的人脸识别系统必须能够处理这种无约束性的环境。

总之，问题在于，整个人脸识别过程经常太慢并且太不准确，使得很多人脸识别系统表现出不能令人满意的效果。

发明内容

因此，本发明的一个目的在于，提供一种更快的并且更为准确的执行人脸识别的方法。

为此，本发明提供了一种执行人脸识别的方法，所述方法包括以下步骤：从多个明显不同的人脸图像中，生成平均人脸模型-包括表示人脸区域的状态矩阵；以及为多个已知人脸中的每一个，训练参考人脸模型，其中，所述参考人脸模型基于所述平均人脸模型。因此，所述参考人脸模型与所述平均人脸模型相一致。所述方法还包括以下步骤：获取待识别人脸的测试图像；根据所述测试图像，计算经过所述平均人脸模型的最佳路径；通过将所述平均人脸模型的最佳路径应用于每个参考人脸模型，来评价每个参考人脸模型针对所述测试图像的相似度；识别与所述测试图像最相似的参考人脸模型；并且基于所述相似度，接收或者拒绝所识别的参考人脸模型。

用于执行人脸识别的一种合适系统，包括：多个参考人脸模型，以及一平均人脸模型，其中，每个人脸模型都包括表示人脸区域的状态矩阵；获取单元，用于获取测试图像；以及最佳路径计算器，用于计算经过所述平均人脸模型的最佳路径。所述系统还包括：评价单元，用于将所述平均人脸模型的最佳路径应用于每个参考人脸模型，以便评价每个参考人脸模型与所述测试图像之间的相似度。为了判断是接受还是拒绝具有最大相似度的参考人脸模型，所述系统包括判断单元。

在本发明中使用的人脸模型具体为统计模型，其包括状态矩阵，每个状态都表示一人脸区域，从而一个特定的状态能够与诸如耳朵、眼睛、眼眉等等的局部人脸特征或者人脸特征的一部分相关。每个状态都包括，例如，高斯混合模型，用于对给定局部人脸区域的局部特征向量的概率进行建模。这种状态的线性序列可以使用一种称为隐马尔可夫模型(HMM)的统计模型来建模。然而，由于人脸图像是二维图像，其中，每一行都可以看作为一个线性状态序列，因此，在本发明中使用的统计模型优选地为二维模型，例如伪二维HMM(P2DHMM)，其通过对垂直方向(其状态本身是HMM)使用外HMM、对水平方向建模，来建模二维数据。HMM以及由此使用的P2DHMM的优点是其能够补偿信号“失真”，例如拉伸和偏移。在将人脸图像与人脸模型进行比较的情况下，如果人脸相对于相机发生转动、发生比例失调(foreshortened)，或者如果人脸的检测和定位不准确，则就可能发生这种失真。为了将人脸图像与人脸模型进行比较，首先在该图像中识别出人脸的多个区域，然后将这些区域与该模型的相应区域进行比较，在现有技术中称为“定位”或者“分割”。

“平均人脸模型”，也称为“全局背景模型”(UBM)或者“陌生人模型(stranger model)”，是使用来自很多不同人的很多图像来“构建”或者训练得到的，例如，来自100个人的400张图像。将用于训练的图像优选地选择为经过所有合适类型的人脸的代表性典型(cross-section)。例如，对于一个安全系统而言，可以使用任何适当民族的成年人的人脸来训练平均人脸模型。用于在视频档案中查找演员图像的档案搜索系统可能需要基于更为广泛年龄群的人的图像的平均人脸模型。

能够使用多种已知的方法来训练平均人脸模型，所述已知方法采用了“期望值最大化”算法，该算法通常用于估计一组给定数据(在该情况下是图像的人脸特征)的概率密度。这种训练方法也称为“最大似然”(ML)训练，该方法较慢，需要花费几个小时来训练平均人脸模型，但是这种初始处理仅仅需要执行一次。一旦训练得到平均面部模型，其就可以在任何合适的系统中用来进行人脸识别。

“参考人脸模型”用于建模一个特定人脸。例如，参考人脸模型可以用于对被允许进入一个系统的一个人的人脸进行建模。还使用用于训练平均人脸模型的方法来训练这种参考人脸模型，但是是使用较少的图像，在此，所述图像都是该人的人脸的图像。人脸识别系统优选地包括多个参考人脸模型，对于其能够识别的每个人脸至少有一个模型。例如，一个安全系统可以具有参考人脸模型的数据库，每个参考人脸模型用于被允许进入该系统的多个员工之一。

用于训练平均人脸模型和参考人脸模型的图像可以是任何合适的格式，例如JPEG(联合图像专家组)，这是一个用于彩色数字图像压缩的标准，或者可以是其他合适的图像格式。能够从档案中获得所述图像，或者使用相机清楚地生成所述图像，以用于训练。同样，还可以借助于相机或者摄像机来获得要经历识别过程的人的测试图像。能够使用适当的转换工具将由此所获得的图像按照需要转换为合适的电子数据格式。然后对该测试图像进行处理，以提取局部特征向量矩阵，来导出在该测试图像中的人脸的一个表示，该表示对于光照条件具有不变性，但是仍然包含有关该人的身份的相关信息。

为了判断该测试图像是否能够与任意一个参考人脸模型相匹配，针对每个参考人脸模型而对该测试图像进行评价。首先，将测试图像的特征矩阵与平均人脸模型进行定位对准，这能够被理解为是从特征矩阵的局部人脸模型到平均模型的状态的一种映射。为此，为该测试图像的特征矩阵计算经过平均人脸模型的状态序列的最优路径或者定位。该最优路径通常被称为“最佳路径”。通常使用Viterbi算法来有效地寻找该最佳路径。根据本发明的方法，随后将该最佳路径应用于该人脸识别系统的每个参考人脸模型，并且为每个参考模型有效地计算“相似度”。在最简单的情况中，相似度是一个分数，在针对该参考人脸模型来评价该测试图像时，为该参考模型计算该分数。该分数是对于该测试图像适用于该参考人脸模型的程度如何的指示，例如，该分数可以表示该图像对于该特定参考人脸模型的产生可能性。为了更为有效率，使用经过该平均模型的最佳路径来计算大约的分数。对于一个参考人脸模型的较高相似度表示在该参考人脸模型与该测试图像之间的相对较为接近的匹配，而较低的相似度表示较差的匹配。

执行根据本发明的人脸识别的方法最明显的优势是，其成功的利用了人脸图像之间的相似度来加速识别过程。最佳路径的计算是一种较为耗时的过程，其需要整个计算能力中的较大部分，最佳路径的计算对于平均人脸模型只需计算一次，然后就能够用于针对人脸识别系统的每个参考人脸模型来评价一个图像。因此，使用根据本发明的方法，不是必须要为每个参考人脸模型执行较为耗时的最佳路径计算。

计算相似度的最快的方法是将该最佳路径直接应用于一个参考人脸模型，从而使得剩下的仅仅是计算该分数。在本发明的另一个实施例中，能够首先为一个特定参考人脸模型来修改或者最优化平均人脸模型的最佳路径，这导致了略微较大的计算量，但是能够得到相对更为准确的分数，从而能够进一步提高人脸识别系统的准确度。

一个参考人脸模型的相对较高的分数并不一定意味着该参考人脸模型是该测试图像的无疑义的匹配，因为由于特征通常对于光照条件不是完全不变的，使得普通的光照条件也会导致较高的分数。然而，在该情况下，对于平均模型的分数通常也会较高。因此，相似度优选地是取参考人脸模型的分数与平均人脸模型的分数的比值。因此，在优选实施例中，还对平均人脸模型计算一个分数，并计算最高参考人脸模型分数与平均人脸模型分数的比值。然后，可以将该比值与一个阈值进行比较。如果该比值大于该阈值，则系统可以接受该相应参考人脸模型，反之，其会拒绝该参考人脸模型。参考模型是使用MAP参数估计而从平均模型中导出的这一事实支持使用该比值，因为两个模型对光照条件的敏感度类似。

现有技术的人脸识别系统的准确性，在某种程度上取决于阈值级别，该阈值级别用于判断是接受还是拒绝被识别为与探查图像最相似的人脸模型。至今为止的人脸识别系统对所有人脸模型使用一个单一阈值。如果该阈值级别太高，则即使是一个人脸模型实际上是与该探查图像相对应的正确人脸模型，也可能拒绝该人脸模型。另一方面，如果该阈值级别太低，则可能将与该探查图像不相关的人脸模型错误地接受为“正确的”人脸模型。

因此，在本发明的特别优选的实施例中，为每个参考人脸模型指定一个唯一的相似度阈值，提高了系统对于接受或拒绝参考人脸模型的判断的准确性。

一种为在人脸识别系统中使用的参考人脸模型计算相似度阈值方法，包括以下步骤：根据同一张人脸的多个完全不同的图像，获得参考人脸模型；以及获得多个不相关人脸图像的控制组。针对所述控制组中的每个不相关人脸图像评价所述参考人脸模型，并且为每个不相关人脸图像计算一个评价分数。该评价分数用于确定该参考人脸模型的相似度阈值，其会使得这些不相关人脸图像中预定的大多数数量的图像在针对所述参考人脸模型进行评价会被拒绝。

现有技术中的人脸识别系统所使用的固定阈值能够导致对于测试图像的识别的错误判断。其原因是，一些人脸与其他人脸相比，与平均人脸模型更为相似。因此，在针对所述平均人脸模型对这种人的人脸的测试图像进行评价时，测试图像能够得到较高的分数。这进而导致该人的人脸的参考人脸模型的分数与平均人脸模型分数的比值较低。结果，这样的系统很可能会拒绝该人的人脸的参考人脸模型，从而拒绝该人。此外，一个人的人脸与系统中的平均人脸模型非常不同但是与参考人脸模型之一多少有一点相同，则其可能会被错误地接受。

使用以上所述的、在一个人脸识别系统中为每个参考人脸模型计算一个相似度阈值的方法，能够将这些不希望有的误拒绝和误接受的错误减小到最低。为此，针对一个图像控制组来评价每个参考人脸模型。每个图像都与由参考人脸模型所建模的人脸不同的人脸的图像，并且该图像控制组优选地是与由参考人脸模型所建模的人脸之间具有不同相似度的多个人脸的代表性选择。通过寻找经过平均人脸模型的最佳路径和将该最佳路径应用于该控制组中的每个图像以便将它们中的每一个针对参考人脸模型进行评价，来为该控制组中的每个图像计算一个评价分数。该最佳路径还能够应用于参考人脸模型，以计算其分数。然后，能够使用在该控制组中的每个图像的分数和该参考人脸模型的分数来选择一个阈值，该阈值将会确保在随后的人脸识别过程中，这些图像中的预定的大多数数量的图像(例如99％)在针对该参考人脸模型进行评价时会被拒绝。

这种唯一性的相似度阈值不仅可以用在执行上述人脸识别的特定算法中，而且可以用于在以下情况中执行人脸识别的任意方法中：在一个识别过程中，针对每个参考人脸模型评价测试图像，并且识别出与该测试图像最接近的参考人脸模型；并且随后，根据该参考人脸模型的相似度阈值，来接受或者拒绝该参考人脸模型，从而其在解决本发明的基本目标时提供了独立的贡献。

一种为在人脸识别系统中使用的参考人脸模型计算相似度阈值的适当系统，包括：用于根据同一张人脸的多个明显不同的图像来获得参考人脸模型的装置；以及用于获得多个不相关人脸图像的一个控制组的装置。此外，该系统包括评价单元，用于针对所述控制组中的每个不相关人脸图像评价所述参考人脸模型；评价分数计算单元，用于为每个不相关人脸图像计算一个评价分数。所述系统还包括：相似度阈值确定单元，用于根据所述评价分数，为所述参考人脸模型确定相似度阈值，所述相似度阈值将会使得这些不相关人脸图像中预定的大多数数量的图像在针对所述参考人脸模型进行评价会被拒绝。

造成了缓慢且有问题的人脸识别的当前方法的另一个特征是，训练模型所需要的计算量非常大。训练模型所占用的时间与图像数量成正比，然而，希望在训练模型时使用较大数量的图像，以便获得尽可能大的准确度。无论何时引入一个新图像以进一步提高模型的准确度，都必须使用所有图像重新训练该模型。因此整个过程非常缓慢，从而较为耗时。

因此，优选地，在人脸识别系统中使用了一种训练参考人脸模型的方法，该方法包括以下步骤：根据不同人脸的多个人脸图像来获得平均人脸模型；并且获得要为其训练参考人脸模型的人脸的训练图像。将一种训练算法应用于所述平均人脸模型，使用从所述训练图像中获得的信息给出所述参考人脸模型。

能够例如通过使用相机或摄像机，或者从相片进行扫描等等，来获得用于训练该人的参考人脸模型的该人的训练图像。该图像能够按照需要转换为合适的数字格式，例如以上所述的格式。优选地，使用多个训练图像来训练该人的参考人脸模型，并且所述训练图像都是该人的图像。使用上述方法，为每个图像计算二维模型，优选地为P2DHMM模型。

训练算法优选地为一种使用最大后验(MAP)技术的算法，该训练算法使用平均人脸模型的克隆或副本，并且通过使用为训练图像所生成的特征矩阵来将其调节为适合该人的人脸。经过调节的平均人脸模型变为该人的参考人脸模型。

在本发明的特别优选的实施例中，使用该人的人脸的另一训练图像来精炼或改进该参考人脸模型。为此，将该训练算法应用于老的参考人脸模型、平均人脸模型和新的训练图像，以使用任何新的图像数据来调节老的参考人脸模型。从而将新的图像数据累加到老的参考人脸模型。

最终，参考人脸模型将会达到一个不能被显著提高的程度，从而不必进一步对其进行精炼。使用在此所提到的训练参考人脸模型的方法，通常在使用该人的大约十张图像之后就能够达到该程度。由于新的图像数据是被累加的，而不必使用该人的所有已知图像来训练参考人脸模型，因此该训练过程与现有的训练参考人脸模型的方法相比明显更快。

使用如上所述的、对不同人脸的人脸图像的选择所训练的平均人脸模型，优选地与在人脸识别系统中所使用的平均人脸模型相同。因此，将该训练方法与根据本发明的人脸识别方法一起使用，需要非常少的计算量，并且具有很大的优越性。此外，该训练方法也可以独立地与任何其他人脸识别过程一起使用，从而使得其在解决本发明的基本目的时提供了独立的贡献。

平均人脸模型能够专门为该系统训练，能够从提供商处购买。

一种用于训练参考人脸模型的合适系统包括：用于获得平均人脸模型的装置以及用于获得同一人脸的多个测试图像的装置。此外，所述系统包括参考人脸模型生成器，用于从所述多个训练图像中生成参考人脸模型，从而使所述参考人脸模型基于所述平均人脸模型。

通常，要对其进行人脸识别过程的人脸图像不是在理想条件下拍摄的。更为普遍的是，光照比理想情况条件差，具有例如背景光或者来自侧面的强光，或者光照很弱。这些情况导致人脸图像可能在局部亮度上有强烈的波动，例如，该人脸的一侧可能相对阴暗，而另一侧则被强烈的照到。更为重要的是，同一人脸的不同图像在外表上可能呈现明显的差异，这取决于光照条件的变化。从一个人的一个图像训练得到的模型可能对于在不同光照条件下拍摄的同一人的另一图像而言，不能获得较高的分数。因此，至关重要的是，将特征转换为与光照条件无关的形式，否则，在比理想光照条件差的情况下所拍摄的人的人脸测试图像将会导致错误的拒绝，或者甚至更坏的情况，即错误的接受。

为了提供更为准确的人脸识别，优选地，在人脸识别过程和/或者训练过程中使用一种使图像最优化的方法，其中，通过将一个图像分割为较小的子图像(其优选地是交叠的)、计算每个子图像的特征向量、以及借助于将该特征向量的每个系数除以一个表示该子图像的整体亮度的值来更改该子图像的特征向量，来均衡化该图像的照明亮度。通常，该值对应于特征向量的第一个系数。然后，不再需要该第一个系数，并随后将其抛弃。可替换的或者额外的，能够将该特征向量转换为归一化向量。

在以上所提到的两种方法中，对整个图像的每个子图像的特征向量进行修改或者去相关，以便去掉对局部照明亮度的依赖性。两种技术都显著地改善了识别性能。

这些方法并不局限于与根据本发明的人脸识别方法一起使用，也可以用于改善在现有技术的其他人脸识别系统和人脸模型训练系统中的人脸识别准确度，因此在解决本发明的基本目标时提供了独立的贡献。

根据所提到的方法的一种用于优化在人脸识别中使用的图像的适当系统包括：分割单元，用于将图像分割为多个子图像；特征向量确定单元，用于确定与每个子图像相关的局部特征向量；以及特征向量修改单元，用于通过将该特征向量的每个系数除以一个表示子图像整体亮度的值，并且/或者通过抛弃该特征向量的一个系数，和/或者通过将该特征向量转换为归一化向量，来修改与该子图像相关的局部特征向量。

从以下结合附图的详细说明中，本发明的其他目的和特征将会变得明显。然而，要理解的是，这些附图仅仅是为了进行图示说明，而不是对本发明的界限的定义。

附图说明

图1是用于执行人脸识别的系统的框图；

图2是用于训练在人脸识别系统中使用的平均人脸模型的系统的框图；

图3a是根据本发明的第一实施例，用于训练在人脸识别系统中使用的参考人脸模型的系统的框图；

图3b是根据本发明的第二实施例，用于训练在人脸识别系统中使用的参考人脸模型的系统的框图；

图4是示出用于计算一个参考人脸模型的相似度阈值级别的系统的框图；以及

图5是示出用于最优化在人脸识别中使用的图像的系统的框图。

具体实施方式

在附图中，类似的数字始终指示类似的对象。

图1示出了用于人脸识别的系统的主框图。图像获取单元2，例如相机、摄像机或者闭路TV相机，用于捕获待识别的人的测试图像I_T。在图像处理模块8中处理该图像I_T，在图像处理模块8中，为该图像I_T计算特征向量矩阵，或特征矩阵，或者根据图像类型而简单地从该图像I_T中提取。此外，在该处理模块8中，可以通过适当地修改特征向量来最优化特征向量，以补偿在图像I_T中的不均匀光照影响。该修改或补偿步骤将在以下图5中详细说明。

在最佳路径计算模块3中，使用特征矩阵，通过在以上描述中所解释的定位算法中应用Viterbi算法，能够为测试图像I_T计算经过平均人脸模型M_AV的最优状态序列或最佳路径10。然后，在评价单元4中，使用该最佳路径10作为基础，为从数据库6中获得的多个参考人脸模型M₁、M₂、...、M_n中的每一个计算相似度，或者分数。

将最高分数11传递到判断单元5，如同平均人脸模型的分数12一样。计算这两个分数11和12的比值，并将其与从文件中读出的一个阈值13进行比较。在该情况下，阈值13是与在针对测试图像I_T进行评价时获得最高分数11的参考人脸模型对应的阈值。在图4中详细说明了获得这种阈值的方式。

判断单元5的输出14取决于该比较的结果。如果两个分数11和12的比值小于该阈值13，则即使是最为合适的参考人脸模型也是失败的，即，该系统必须判定其人脸被捕获在测试图像I_T中的人不能从该系统的数据库6中的多个参考人脸模型中识别出来。在该情况下，输出14可以是一个用于指示识别失败的消息。如果该系统是一个安全系统，则会禁止该人进入。如果该系统是一个档案搜索系统，则可以报告该测试图像I_T不在档案中。

如果该比较成功，即，两个分数11和12的比值高于该阈值13，则认为该参考人脸模型与其测试图像I_T正在进行人脸识别过程的人匹配。在该情况下，会准予该人进入该系统，或者该系统会适当地报告一个成功的搜索结果。

图2示出了在以上所述的人脸识别系统中所使用的平均人脸模型M_AV的创建。获得来自多个不同人的不相关的人脸图像F₁、F₂、...、F_n的集合，该集合应该尽可能的多样化，并且应该是所有人脸的代表性典型。这些图像F₁、F₂、...、F_n可以从供应商处购买，或者专门为该训练过程而生成。在以下图5中要详细说明的图像处理单元20中，按照需要，为图像F₁、F₂、...、F_n计算出或者从图像F₁、F₂、...、F_n中提取出一组特征向量21或者特征向量矩阵，并将其传递到训练单元22。

在训练单元22中，对每个图像F₁、F₂、...、F_n的所处理的特征向量21使用一种训练方法。在该情况下，该训练方法使用遵循最大似然(ML)准则的期望值最大化(EM)算法，来找到平均人脸模型M_AV的模型参数。平均人脸模型M_AV作为伪2维隐马尔可夫模型(P2DHMM)，描述了一张人脸的每个局部特征的广义似然性。具有“平均”人脸特征的人脸与呈现较为不平常的人脸特征的人脸相比，将会获得更高的分数。在普通光照条件下拍摄的人脸图像也会获得较高的分数。对在该集合中的人脸图像F₁、F₂、...、F_n的数量进行选择，以便给出令人满意的平均人脸模型M_AV。

图3a示出了用于为某个特定的人训练参考人脸模型M₁的系统，参考人脸模型M₁优选地用于上述人脸识别系统中。在此，为该训练系统提供多个训练图像T₁、T₂、...、T_m，其全部都是该人的人脸图像。在图像处理单元31中，从每个训练图像T₁、T₂、...、T_m中推导出特征向量矩阵。为了提高要创建的参考人脸模型M₁的质量，首先能够采用要在以下图5中详细说明的方式，在图像处理单元30中处理每个训练图像T₁、T₂、...、T_m的特征向量，以便补偿任何非均匀的照明影响。

将平均人脸模型M_AV的副本或者克隆与从训练图像T₁、T₂、...、T_m获得的信息一起用作参考人脸模型生成器31的输入。在参考人脸模型生成器31中，使用平均人脸模型M_AV作为起始点，并应用最大后验(MAP)参数估计来使用从图像T₁、T₂、...、T_m获得的信息对其进行修改，以便得到在训练图像T₁、T₂、...、T_m中所描绘的人脸的参考人脸模型M₁。一个人的参考人脸模型M₁的初始训练能够使用该人的人脸的最小数量的图像，即一个图像来实现，但是很明显，更多数量的图像将会得到更好的参考人脸模型M₁。对于状态是高斯混合体(Gaussian mixture)的P2DHMM的MAP参数估计的一种方法为以下：为每个训练图像计算经过平均模型的最佳路径。然后，根据该最佳路径，将特征向量(以下也称为“特征”)指定给P2DHMM的各个状态。然后，将被指定给高斯混合体的每个特征指定给该混合体的最接近的高斯分布。将该高斯分布的均值设定为该平均模型的均值和各个特征的均值的加权平均。因此，该参考模型已经被改变，以获得对在训练图像中的该人的面貌的更好的表示。可以以类似方式改变P2DHMM的其他参数，或者将其简单地从平均模型中复制，这是因为均值是最重要的参数。特征的和(其被计算用于估计各个特征的均值)以及特征的总数或者数量与该高斯分布一起进行存储，以实现以下所述的累积训练。

一个人的参考人脸模型M₁能够通过使用该人的人脸的额外的图像数据T_new对其进行精炼来进一步提高。在图3b中，已经获得了该人的另一训练图像T_new。首先，如以上图3a所述，在图像处理单元30中处理该新的训练图像T_new。将来自该新的训练图像T_new的图像信息与平均人脸模型M_AV和该人的参考人脸模型的副本M₁’一起输入到参考人脸模型生成器31，在参考人脸模型生成器31中，对老的数据和新的数据应用MAP参数估计，以得到该人的改进的参考人脸模型M₁。当使用状态为高斯混合体的P2DHMM时，可以采用以下方法来实现累加的MAP训练：将新的训练图像的各个特征指定给如上所述的高斯分布，其中，使用平均模型进行定位。参考模型的高斯分布的均值必须设定为平均模型的均值和所有训练特征的均值的加权平均。所有训练特征的平均值是很容易计算的，因为老的特征的总和和数量是与该高斯分布一起存储的。通过包含新的特征来更新该总和和数量，来实现进一步的训练。因此，不论采用训练图像的顺序如何，都会得到相同的参考模型。

为了提高对于接受还是拒绝将该参考人脸模型识别为测试图像的最佳匹配这一判断的准确性，为人脸识别数据库中的每个参考人脸模型M₁、M₂、...、M_n提供其自己专用的相似度阈值。图4示出了一种为一个参考人脸模型M_n生成唯一性的相似度阈值的系统。获得一个特定人的已有参考人脸模型M_n。还获得多个不相关人脸图像G₁、G₂、...、G_k的一个控制组。将这些图像G₁、G₂、...、G_k选择为与由该参考人脸模型M_n所建模的该人之间具有不同相似度的人脸的典型选择。首先，在以下在图5中详细说明的图像处理单元42中处理这些图像，以提取每个图像的特征矩阵48。

在最佳路径计算单元40中，为每个图像计算经过平均人脸模型M_AV的最佳路径47，还计算对于该平均模型M_AV的分数43。特征矩阵48、分数43和最佳路径47只需计算一次，因为平均模型不会改变，并且其能够存储在文件F中以便后续使用。单元44根据参考模型的分数和平均模型的分数，计算相似度49。相似度阈值确定单元45需要所有控制组图像G₁、G₂、...、G_k的相似度49，以找到一个阈值V_n，其在将控制组图像G₁、G₂、...、G_k与参考人脸模型M_n进行比较时，使得控制组图像G₁、G₂、...、G_k中的大部分被拒绝。参考模型M_n的分数43由单元41提供，单元41需要控制组图像的最佳路径47和特征矩阵48以及参考模型M_n的最佳路径和特征矩阵。计算量大的部分是对于经过平均模型M_AV的最佳路径47的计算。然而，该步骤可以离线执行，而实际的校准是非常快的，并且能够在训练了参考人脸模型M_n之后直接在线执行。

用于人脸识别的、用于训练平均人脸模型的、用于训练参考人脸模型的以及用于训练一个参考人脸模型的相似度阈值的任意图像在使用之前都能够被最优化，以将其转换为对于照明设置具有不变性的表示。图5示出了用于图像优化的系统的组件，该系统能够被用作在先前图像说明中所述的图像处理单元8、20、30、42。

将图像I输入到图像分割单元50，图像分割单元50将该图像分割为多个较小的、交叠的子图像。允许子图像在一定程度上交叠，提高了最终从该输入图像所推导出的模型的整体准确度。将子图像53向前传送到特征向量确定单元51，特征向量确定单元51计算每个子图像53的局部特征向量54。计算局部特征的一种可行方法是对局部子图像进行离散余弦变换，并且提取频率系数的子集。然后，通过在特征向量修改单元52中修改每个子图像53的局部特征向量54，来将每个子图像53的照明亮度均衡化。这可以通过将局部特征向量54的每个系数除以一个表示该子图像的整体亮度的值、通过抛弃局部特征向量54的第一个系数、通过归一化局部特征向量54以得到一个单位向量、或者通过这些技术的组合来实现。因此，特征向量修改单元52的输出是描述输入图像I的去相关的局部特征向量的矩阵55。

该特征向量矩阵55在用于如上所述的训练人脸模型、人脸识别以及相似度阈值计算的系统中使用。

尽管已经采用优选实施例及其变体的形式公开的本发明，但是应该理解，在不脱离本发明的范围的情况下，可以对其进行各种额外的修改和变化。具体而言，用于人脸识别、训练参考人脸模型、最优化在人脸识别系统中使用的图像、以及计算相似度阈值的各种算法，以及由此得到的用于人脸识别、训练参考人脸模型、计算参考人脸模型的相似度阈值、以及最优化在人脸识别系统中使用的图像的相应系统，能够以任何合适的组合方式实现，甚至是与现有技术的人脸识别系统和训练方法和系统一起使用，从而使得这些组合也落入本发明的的范围之内。

为了清晰期间，还应该理解的是，在本申请中所使用的“一个”并不排除多个的情况，并且“包含”并不排除其他步骤和元件。“单元”可以包括多个模块和装置，除非其被明确地描述为单个整体。

Claims

1.一种用于执行人脸识别的方法，所述方法包括以下步骤：

从多个明显不同的人脸图像(I₁、I₂、...、I_j)中，生成平均人脸模型(M_AV)-其包括表示人脸的多个区域的状态矩阵；

为多个已知人脸中的每一个，训练参考人脸模型(M₁、M₂、...、M_n)，其中，所述参考人脸模型(M₁、M₂、...、M_n)基于所述平均人脸模型(M_AV)；

获得待识别人脸的测试图像(I_T)；

根据所述测试图像(I_T)，计算经过所述平均人脸模型(M_AV)的最佳路径；

通过将所述平均人脸模型(M_AV)的最佳路径应用于每个参考人脸模型(M₁、M₂、...、M_n)，来评价每个参考人脸模型(M₁、M₂、...、M_n)相对于所述测试图像(I_T)的相似度；

识别出与所述测试图像(I_T)最相似的参考人脸模型(M₁、M₂、...、M_n)；并且

根据所述相似度，接受或者拒绝所识别出的参考人脸模型(M₁、M₂、...、M_n)。

2.如权利要求1所述的方法，其中，经过所述平均人脸模型(M_AV)的最佳路径相对于一参考人脸模型(M₁、M₂、...、M_n)被最优化，用于评价该参考人脸模型(M₁、M₂、...、M_n)相对于所述测试图像(I_T)的相似度。

3.如权利要求1或2所述的方法，其中，评价一参考人脸模型(M₁、M₂、...、M_n)与测试图像(I_T)之间的相似度的步骤包括：将所述平均人脸模型(M_AV)的最佳路径应用于该参考人脸模型(M₁、M₂、...、M_n)，以便为该测试图像(I_T)计算参考人脸模型分数；为该测试图像(I_T)计算平均人脸模型分数；并且获得采用所述参考人脸模型分数与所述平均人脸模型分数的比值的形式的相似度，并且其中，接受或拒绝所识别出的参考人脸模型(M₁、M₂、...、M_n)的步骤包括：将所述相似度与预定的相似度阈值进行比较。

4.如权利要求3所述的方法，其中，在判断是接受还是拒绝所识别出的参考模型(M₁、M₂、...、M_n)时，对每个参考人脸模型(M₁、M₂、...、M_n)使用一个唯一性的相似度阈值。

5.一种训练在人脸识别系统中使用的参考人脸模型(M₁)的方法，包括以下步骤：

基于不同人脸的多个人脸图像(I₁、I₂、...、I_j)，获得平均人脸模型(M_AV)；

获得要为其训练所述参考人脸模型(M₁)的人脸的多个测试图像(T₁、T₂、...、T_m)；

将训练算法应用于所述平均人脸模型和从所述测试图像(T₁、T₂、...、T_m)获得的信息，以得到所述参考人脸模型(M₁)。

6.如权利要求5所述的方法，其中，通过以下方式对所述参考人脸模型(M₁)进行改进：将所述训练算法应用于所述平均人脸模型(M_AV)、从同一人脸的另一个测试图像(T_new)获得的信息、以及所述参考模型的副本(M₁’)，以获得改进的参考模型(M₁)。

7.一种用于为在人脸识别系统中使用的参考人脸模型(M_n)计算相似度阈值的方法，所述方法包括以下步骤：

基于同一人脸的多个明显不同的图像，获得参考人脸模型(M_n)；

获得不相关人脸图像(G₁、G₂、...、G_j)的控制组；

针对在所述控制组中的每个所述不相关人脸图像(G₁、G₂、...、G_j)，评价所述参考人脸模型(M_n)；

为每个所述不相关人脸图像(G₁、G₂、...、G_j)计算一评价分数；

使用所述评价分数为该参考人脸模型(M_n)确定相似度阈值，所述相似度阈值使得这些不相关人脸图像(G₁、G₂、...、G_j)中的预定的大多数数量的图像在针对该参考人脸模型(M_n)进行评价时被拒绝。

8.一种执行人脸识别的方法，所述方法包括以下步骤：

为多个不同的人脸获得多个参考人脸模型(M₁、M₂、...、M_n)，其中，每个参考人脸模型(M₁、M₂、...、M_n)基于同一人脸的多个明显不同的图像；

使用如权利要求7所述的方法，为每个参考人脸模型(M₁、M₂、...、M_n)确定相似度阈值；

获得测试图像(I_T)；

识别出与所述测试图像(I_T)最相似的参考人脸模型(M₁、M₂、...、M_n)；以及

基于所述相似度阈值，接受或者拒绝所识别的参考人脸模型(M₁、M₂、...、M_n)。

9.如权利要求1到4和/或者权利要求8中任意一项的执行人脸识别的方法，其中，使用如权利要求5或6所述的方法，训练所述参考人脸模型(M₁、M₂、...、M_n)。

10.一种用于最优化在人脸识别中使用的图像(I)的方法，其中，通过以下方式来均衡化所述图像(I)的照明亮度：将所述图像(I)分割为更小的子图像，计算每个子图像的特征向量，并且通过将一子图像的特征向量的每个系数除以一个表示该子图像的整体亮度的值、和/或者通过抛弃该特征向量的系数、和/或者通过将该特征向量转换为归一化向量，来修改该子图像的特征向量。

11.如权利要求1到4或权利要求8或权利要求9中的任意一项所述的执行人脸识别的方法，其中，首先根据如权利要求10所述的方法，最优化用于训练参考人脸模型(M₁、M₂、...、M_n)的和/或者用于人脸识别的图像(I，I_T，I_T’，G₁、G₂、...、G_j，T₁、T₂、...、T_m，T_new)。

12.一种执行人脸识别的系统(1)，包括：

多个参考人脸模型(M₁、M₂、...、M_n)，以及平均人脸模型(M_AV)，其中，每个人脸模型(M₁、M₂、...、M_n、M_AV)都包括表示人脸的多个区域的状态矩阵；

获取单元(2)，用于获取测试图像(I_T)；

最佳路径计算器(3)，用于计算经过所述平均人脸模型(M_AV)的最佳路径；

评价单元(4)，用于将所述平均人脸模型(M_AV)的最佳路径应用于每个参考人脸模型(M₁、M₂、...、M_n)，以便评价每个参考人脸模型(M₁、M₂、...、M_n)与所述测试图像(IT)之间的相似度；

判断单元(5)，用于接受或者拒绝具有最大相似度的参考人脸模型(M₁、M₂、...、M_n)。

13.一种用于训练参考人脸模型(M_R)的系统，包括：

用于获取平均人脸模型(M_AV)的装置；

用于获取同一人脸的多个训练图像(T₁、T₂、...、T_n)的装置；以及

参考人脸模型生成器(22)，用于根据所述训练图像(T₁、T₂、...、T_n)生成参考人脸模型(M₁)，从而使得所述参考人脸模型(M₁)基于所述平均人脸模型(M_AV)。

14.一种用于为在人脸识别系统中使用的参考人脸模型(M_n)计算相似度阈值的系统，包括：

用于基于同一人脸的多个明显不同的图像，获得参考人脸模型(M_n)的装置；

用于获得不相关人脸图像(G₁、G₂、...、G_k)的控制组的装置；

评价单元(41)，用于针对在所述控制组中的每个所述不相关人脸图像(G₁、G₂、...、G_k)，评价所述参考人脸模型(M_n)；

评价分数计算单元(40)，用于为每个所述不相关人脸图像(G₁、G₂、...、G_k)计算一评价分数；以及

相似度阈值确定单元(45)，用于基于所述评价分数，为所述参考人脸模型(M_n)确定相似度阈值，所述相似度阈值使得这些不相关人脸图像(G₁、G₂、...、G_k)中的预定的大多数数量的图像在针对该参考人脸模型(M_n)进行评价时被拒绝。

15.一种用于最优化在人脸识别中使用的图像(I)的系统，包括：

分割单元(50)，用于将所述图像(I)分割为多个子图像；

特征向量确定单元(51)，用于确定与每个子图像相关的局部特征向量；

特征向量修改单元(52)，用于通过以下方式修改与一子图像相关的局部特征向量：将与该局部特征向量的每个系数除以一个表示该子图像的整体亮度的值、和/或者通过抛弃该特征向量的系数、和/或者通过将该局部特征向量转换为归一化矢量。

16.一种用于执行人脸识别的系统，包括：如权利要求13所述的用于训练参考人脸模型(M_R)的系统，和/或者如权利要求14所述的用于为参考人脸模型(M_R)计算相似度阈值的系统，和/或者如权利要求15所述的用于最优化在人脸识别系统中使用的图像(I)的系统。