CN100367311C - 人脸元数据生成与人脸相似度计算 - Google Patents

Abstract

通过人脸特征提取单元(121)来提取人脸特征，并且通过置信指标提取单元(122)来提取置信指标，然后将它们作为元数据进行输出。在匹配时通过使用人脸元数据的置信指标，当获得了置信指标时，分布估计单元(141)能够相对于后验分布的数据来估计参数数据等。距离计算单元(142)计算特征值之间的相似度。结果，人脸验证的精确度得到提高，因此能够用于实际的人脸匹配任务。

Description

人脸元数据生成与人脸相似度计算

发明领域

本发明涉及一种技术，该技术可用于人脸鉴定、人脸验证、人的面部表情识别、根据人脸进行男女性别确认、根据人脸对人进行年龄调整等诸如此类。更为确切地说，本发明涉及元数据的生成，，人脸相似度计算和元数据匹配技术，其中在元数据的生成中考虑到了人脸数据在静态图像或动态图像上的反映。

背景技术

元数据一般为描述或表示数据含义的数据，并且在人脸识别这种情况下，它主要是有关静态图像、动态图像等诸如此类的人脸数据。

随着用于诸如图片、图像、视频、语音等多媒体内容的元数据的标准化活动的开展，MPEG-7(一种由运动图片专家组进行标准化的、用于多媒体内容描述接口的国际标准)的这种活动已经是众所周知了。现在作为用于人脸识别的元数据描述符的人脸识别描述符已经被提出来(“MPEG-7 Visual part of experimental Model Version 9.0”，A.Yamada et al.，ISO/IECJTC1/SC29/WG11 N3914，2001)。

在这种人脸描述符中，对于经过裁剪和归一化的图像，使用一种普遍被称为本征人脸的子空间方法来测定基矩阵，以提取出人脸图像的特征值。根据这个基矩阵来从图像中提取出人脸特征。这个基矩阵就叫做元数据。至于与人脸特征的相似度计算，建议使用加权的绝对值距离。

另外，人们知道，在人脸识别技术中存在多种方法。例如，人们知道的基于主成分分析或判别式分析等的利用特征人脸的方法。要了解主成分分析，可以阅读，例如“Probabilitistic Visual Learning for ObjectRepresentation”，Moghaddam et al.(IEEE Transaction on Pattern Analysisand Machine Intelligence，Vol.19，No.7，pp.696-710，1997)。另外，要了解判别式分析，可以阅读，例如“Discriminant Analysis of PrincipalComponents for Face Recognition”，W.Zhao et al.(Proceedings of theIEEE Third International Conference on Automatic Face and GestureRecognition，pp.336-341，1998)。

另外，当将子空间方法应用于从指纹图像获得的特征矢量时，人们还知道一种用于通过引入质量指标来适应性地测量模式之间的距离的方法。例如文献“Fingerprint Preselection Using Eigenfeatures”，T.Kamei and M.Mizoguchi(Proceedings of the 1998 IEEE ComputerSociety Conference on Computer Vision and Pattern Recognition，pp.918-923，1998，日本未审查公开特开平10-177650)。

不过，利用上述传统技术进行人脸识别无法获得足够高的精确度。

与上面的讲述有关，日本未审查公开特开平10-55412中公开了一种通过将特征矢量投影到部分本征空间来利用特征选择的模式识别设备。为了验证大量的特征模式，模式识别设备的传统例子使用了特征选择的方法，减少了特征矢量的维数，因此能够使识别处理的速度更高，并且由于使用了表示输入模式特征的特征矢量，因此能够识别出输入模式。输入特征矢量提取单元提取表示输入模式特征的输入特征矢量。正交基存储器存储了原始特征空间的部分本征空间的正交基。识别字典存储了在部分本征空间上定义的、对应于一个或多个识别目标模式的每一个字典选择特征矢量。特征选择单元使用存储于正交基存储器中的正交基，并且计算出输入选择特征矢量，这个输入选择特征矢量是到由输入特征矢量提取单元所提取的输入特征矢量的部分本征空间的投影。检查单元检查由特征选择单元所计算的输入选择特征矢量和存储于识别字典中的每一个字典选择特征矢量，因此识别出对应于输入选择特征矢量的输入模式的种类。

另外，日本未审查公开特开平11-306325中公开了目标检测设备。目标检测设备的传统例子在处理上是相当简单的，并且其目的是能够准确地检测到验证目标。图像输入单元输入图像，并且存储器存储区域模型，在区域模型中设定了许多个判断元素获取区域，对应于待检测的验证对象的特征区域。位置指定单元依次指定了检查局部区域的位置，在该位置处存储于存储器中的区域模型被用于从图像输入单元输入的输入图像，或者事先从图像输入单元输入的图像，在图像上已经进行了图像处理。每次当区域模型被依次应用到由位置指定单元指定的位置时，判断元素获取单元从区域模型的每一个判断元素获取区域中获取判断元素。马氏距离(Mahalanobis Distance)判断单元根据由判断元素获取单元所获取的、每一个判断元素获取区域的判断元素来执行马氏距离的计算，并且判断检查局部区域的图像是否为验证目标图像。因此，根据判断单元所得到的判断结果就完成了验证对象的检测。

另外，日本未审查公开特开2000-132675中公开了人脸验证和对比方法。人脸验证和对比方法的传统例子目的是执行稳定的验证，既使待比较的两个人脸图像是在不同的拍摄条件下或在不同的拍摄时间拍摄的。在该方法中，根据拍摄条件或拍摄时间的不同，将图像变化特征分成若干类，对于每一类事先都进行了学习训练。根据由拍摄条件和拍摄时间的至少两者之一的不同，将两幅人脸图像之间的差异进行分类，并且分别测定了从两幅人脸图像中选择的具有较小特征数量的类中的特征数量，并且根据两幅人脸图像的特征值进行了人脸验证和对比。至于图像变化特征，准备了许多对具有不同拍摄条件或拍摄时间的差别图像的样本集，并且为每一类图像执行了主成分分析，因此测定出每一个主成分方向中的样本分布的变化幅度和主成分。在选择图像变化的特征集时，计算出了输入的两幅人脸图像之间的差别图像与由各自类别的主成分所定义的空间之间的距离，因此能够选出具有最短计算距离的类。

另外，日本未审查公开特开2000-187733中公开了图像处理设备。传统的图像处理设备目的是不需要准备面向左或右方向的人脸，或模糊的人脸，诸如此类，正如用于学习训练的样本那样。在图像处理设备中，图像组生成单元根据对称放置的第一参考图象组生成对称的第二参考图象组。特征信息提取单元通过使用第一参考图象组和第二参考图象组来提取特征信息。判断单元将由特征信息提取单元所提取的特征信息与输入图像进行比较，并且判断输入图像是否由与第一参考图象组具有相同模式的图像组成。第一参考图象组可以是人脸图像。

发明内容

因此，本发明的目的是提出人脸元数据生成技术和人脸相似度计算技术，以提高人脸识别的精确度。

本发明的另一个目的是提出一种用于建立进一步实用化的人脸匹配系统的技术。

根据本发明，可以从人脸图像中提取出置信度，可以根据置信度来适应性地计算出不同模式之间的相似度，因此提高了人脸识别的精确度。

根据本发明的第一观点，人脸元数据生成设备根据图像中的人脸图像部分来生成元数据。人脸元数据生成设备包括人脸特征提取单元，用于从图像中提取人脸特征，以及置信指标提取单元，用于从图像中提取指示关于人脸特征的置信度的置信指标，并生成作为人脸元数据的人脸特征和置信指标。

置信指标提取单元能够提取出图像的反差指标，作为置信指标。能够提取出图像中像素值的最大值和最小值之差，作为图像的反差指标。或者，选出图像像素值的标准差或方差，作为图像的反差指标。

而且，可以提取出图像的非对称指标作为置信指标。提取出图像与通过左右翻转该图像得到的镜像图像(以下称为翻转图像)之间差别的最大值，作为图像的非对称指标。或者，从图像和翻转图像的差值图像中提取出像素值的幂的和值与均值之一，作为图像的非对称指标。

置信指标提取单元可以包括第一置信指标提取单元，用于提取图像的反差指标，以及第二置信指标提取单元，用于提取图像的非对称指标。第一置信指标提取单元提取图像中像素值的最大值和最小值之差，作为图像的反差指标，并且第二置信指标提取单元提取图像和翻转图像之差的最大值，作为图像的非对称指标。或者，第一置信指标提取单元可以提取图像中像素值的标准差和方差之一，作为图像的反差指标，并且第二置信指标提取单元可以提取图像和翻转图像的差值图像像素值的幂的和值与均值之一，作为图像的非对称指标。

设从图像中获取的模式矢量为Λ，人脸特征提取单元使用由从模式矢量Λ的主分量分析获得的基矢量子集所定义的基矩阵U和模式矢量Λ的平均矢量ψ，并且计算特征矢量v＝U^T(Λ-ψ)。通过这种方式，将特征矢量v提取出来，作为人脸特征。基矩阵U由基矢量子集定义，其中的基矢量是从通过对模式矢量的训练集[Λ]进行主成分分析而获得的基矢量中选取的。基矢量U是通过线性结合基矩阵以及由翻转基矢量子集所定义的基矩阵来获得的，其中翻转基矢量是由通过左右翻转人脸图像而使像素值进行转换而得到的经过转换的基矢量组成的。模式矢量Λ可以是由图像的像素值组成的矢量，或者是由图像的傅立叶分量组成的矢量。

根据本发明的另一个观点，人脸相似度计算设备根据从图像中提取的人脸特征以及表示关于人脸特征的置信度的置信指标来计算相似度。以这种方式，人脸相似度计算设备根据图像的人脸数据来计算元数据之间的相似度。

上述人脸相似度计算设备包括：分布计算单元，它对待比较的人脸特征使用置信指标，并且根据人脸特征之间的差值矢量的后验分布来估计参数数据；以及距离计算单元，它计算从后验分布的似然所获得的人脸特征之间的距离，作为相似度。

距离计算单元在假设人脸特征之间的差值矢量的后验分布为正则分布的情况下，根据置信指标来计算从正则分布的似然所获得的适应性马氏距离，作为相似度。

分布估计单元估计差值矢量s的每一个元素k到置信指标[θ_i]的方差σ_s，k([θ_i])²，并且距离计算单元使用每一个元素k的方差σ_s，k([θ_i])²来计算适应性马氏距离。

本发明提供了用于事先存储差值矢量s的每一个元素k到置信指标[θ_i]的方差值σ_s，k([θ_i])²的差值表，并且分布估计单元参考的是以置信指标[θ_i]为基础的方差值表，并且读出方差值，该方差值可用于计算适应性马氏距离。

当人脸特征之间的差值矢量的后验分布为混合分布时，距离计算单元根据置信指标中的混合分布似然来计算适应性混合马氏距离，作为相似度。

待比较的人脸特征的置信指标用于估计与应被视为相一致的类中的人脸特征之间的差值矢量的后验分布(类内分布)有关的参数数据，并且估计了在应被视为不一致的类与类之间的人脸特征之间的差值矢量的后验分布(类间分布)，并且用所估计的参数数据来计算由类内分布与类间分布之间比率的似然所导出的人脸特征之间的距离，以作为相似度。

当类内分布与类间分布分别为正则分布时，根据置信指标来计算由各自分布之间比率的似然所导出的适应性判别式距离，以作为相似度。

差值矢量s的每一个元素k到置信指标[θ_i]的类内方差σ_W，k([θ_i])²和类间方差σ_B，k([θ_i])²得到估计，并且可以计算适应性判别式距离，以作为相似度。

为了估计差值矢量s的每一个元素k到置信指标[θ_i]的类内方差σ_W，k([θ_i])²和类间方差σ_B，k([θ_i])²，提供了用于事先存储类内方差σ_W，k([θ_i])²的第一方差值表和用于事先存储类间方差σ_B，k([θ_i])²的第二方差值表，并且根据置信指标[θ_i]，分别参考第一和第二方差方差值表来读出方差，并且所读出的方差可用于计算适应性判别式距离。

当类内分布和类间分布分别为混合分布时，可以根据置信指标中各个混合分布之间比率的似然对数来计算出适应性混合判别式距离，作为相似度。

根据本发明的第三个观点，人脸识别系统包括图像输入单元，用于输入图像，以及人脸图像数据库单元，用于存储人脸图像。人脸识别系统包括：人脸元数据生成单元，用于从图像中提取生成人脸特征，以及生成表示关于人脸特征的置信度的置信指标，作为人脸的元数据；人脸元数据存储单元，用于存储由人脸元数据生成单元所生成的人脸元数据；人脸相似度计算单元，根据人脸特征和表示关于人脸特征的置信度的置信指标来计算人脸相似度；以及控制单元，响应输入命令，用于控制人脸元数据生成单元，人脸元数据存储单元，以及人脸相似度计算单元，并且执行人脸图像的匹配。

使用上述的人脸元数据生成单元和人脸相似度计算单元，可以实现高精确度的人脸图像匹配。

附图说明

图1是一个结构框图，图示了根据本发明实施例的人脸图像匹配系统结构图；

图2是示出根据本发明的人脸元数据生成方法的实施例的操作的流程图；

图3是示出根据本发明的人脸相似度计算方法的实施例的操作的流程图；

图4是显示步骤S3的流程图。

具体实施方式

(发明原理)

首先解释本发明的原理。一般地，当完成模式识别后，如果能够准备大量的训练数据来进行类的识别，则可以通过对训练数据的统计分析来估计模式的分布函数，因此建立了模式识别机制。不过，在人脸识别应用的许多情况下，针对每个人的只有几幅配准图像可以获得。我们假设甚至在这种情况下，为人脸的特征矢量指定置信指标，并且根据该指标来考虑类。因此，对置信指标进行了类的统计分析，并且估计了模式的分布函数，并且，甚至对于只有一幅配准图像可以获得的人脸识别来说，也有可能通过置信指标来建立基于分布函数的模式识别机制。

下面将在基于误差分布的基础上，就基于类内分布和类间分布的马氏距离和判别式距离来讲述人脸识别的原理。

假设特征矢量v从人脸获得。特征矢量v(观察矢量v)可由下列方程(1)、使用真实特征矢量v₀和观察误差矢量ε来表示：

v＝v₀+ε(1)

这里，如果特征矢量v₀被观察两次，如下面的方程(2)所示，根据观察条件的差值，使用误差矢量ε₁和ε₂来表示两个观察矢量v₁和v₂。

v₁＝v₀+ε₁(2)

v₂＝v₀+ε₂

现在，假设分别获得了与误差矢量ε₁和误差矢量ε₂有关的置信指标θ₁和置信指标θ₂，并且后验分布分别为p(ε|θ₁)和p(ε|θ₂)。当在观察置信指标θ₁、θ₂的情况下，观察矢量v₁和v₂的差值矢量s的后验分布表示为p(d|θ₁，θ₂)，则可以通过如下面的方程(3)所示的后验分布的似然对数来表示特征矢量之间的相似度d(v₁，v₂)。

d(v₁，v₂)＝-ln p(d|θ₁，θ₂)(3)

如果假设后验分布p(ε|θ₁)和p(ε|θ₂)分别为正则分布，则差值矢量s的分布p(s|θ₁，θ₂)也为正则分布。这里，当假设误差矢量的后验分布为p(ε|θ_i)(i＝1，2)，我们来考虑协方差矩阵∑_ε(θ_i)的正则分布和零均值。在这种情况下，考虑到差值矢量s的分布，均值为0，并且协方差矩阵∑_s(θ₁，θ₂)用公式(4)来表示。

∑_s(θ₁，θ₂)＝∑_ε(θ₁)+∑_ε(θ₂)(4)

当将后验分布p(s|θ₁，θ₂)重写一遍，则如下面的方程(5)所示。

$p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)=\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{N}{2}}{\left|{\mathrm{\Σ}}_s({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)\right|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T{\mathrm{\Σ}}_s{({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}^{-1}s)---\left(5\right)$

这样，可以通过使用协方差矩阵∑_ε(θ₁)，∑_ε(θ₂)，将方程(3)表示为到置信指标θ₁，θ₂的适应性马氏距离，如下面的方程(6)所示。

$d(v_1,v_2)$

$=-\ln p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)$

$=\frac{1}{2}{s}^T{\mathrm{\Σ}}_s{({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}^{-1}s+\frac{1}{2}\ln {\left(2\mathrm{\π}\right)}^N\left|{\mathrm{\Σ}}_s({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)\right|---\left(6\right)$

$=\frac{1}{2}{s}^T{\left({\mathrm{\Σ}}_s\left({\mathrm{\θ}}_1\right)+{\mathrm{\Σ}}_s({\mathrm{\θ}}_2)\right)}^{-1}s+\frac{1}{2}\ln {\left(2\mathrm{\π}\right)}^N|{\mathrm{\Σ}}_s\left({\mathrm{\θ}}_1\right)+{\mathrm{\Σ}}_s\left({\mathrm{\θ}}_2\right)|$

如果假定了误差矢量各个元素之间的独立性，则方程(5)可以用下面的方程(7)来表示。

$p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)=\underset{k=1}{\overset{N}{\mathrm{\Π}}}\frac{1}{\sqrt{2\mathrm{\π}}{\mathrm{\σ}}_{s,k}({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}\exp \left(\frac{s_k^2}{{2\mathrm{\σ}}_{s,k}({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}\right)---\left(7\right)$

这里，σ_s，k(θ₁，θ₂)²为协方差矩阵∑_s(θ₁，θ₂)的k阶对角线元素，即观察误差的方差。另外，σ_ε，k(θ₁)²，σ_ε，k(θ₂)²分别为协方差矩阵∑_ε(θ₁)，∑_ε(θ₂)的k阶对角线元素。s_k表示差值矢量s的k阶元素。

由于对正则分布作了如上假定，则方程(3)能够通过对每个特征矢量的每个元素使用方差σ_ε，k(θ₁)，σ_ε，k(θ₂)，根据用于置信指标θ₁，θ₂的适应性马氏距离来定义相似度，如下面的方程(8)所示。

$d(v_1,v_2)$

$=-\ln p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)$

$=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\left(\frac{s_k^2}{{\mathrm{\σ}}_{s,k}{({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}^2}\right)+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\ln 2\mathrm{\π}{\mathrm{\σ}}_{s,k}{({\mathrm{\θ}}_1,{\mathrm{\θ}}_2)}^2---\left(8\right)$

$=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\frac{{(v_{1,k}-v_{2,k})}^2}{{\mathrm{\σ}}_{s,k}{\left({\mathrm{\θ}}_1\right)}^2+{\mathrm{\σ}}_{s,k}{\left({\mathrm{\θ}}_2\right)}^2}+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\ln 2\mathrm{\π}({{\mathrm{\σ}}_{s,k}\left({\mathrm{\θ}}_1\right)}^2+{\mathrm{\σ}}_{s,k}{\left({\mathrm{\θ}}_2\right)}^2)$

这里，v_1，k，v_2，k分别表示特征矢量v₁，v₂的k阶元素。

在上述解释中，尽管作了正则分布为后验分布p(s|θ₁，θ₂)的假定，在下面的解释中假定了混合正则分布。如下面的方程(9)所示，我们假设可以通过对正则分布p(s|θ₁，θ₂，j)(j＝1，2，...，M)进行求和来表示后验分布p(s|θ₁，θ₂)。

$p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2)=\underset{j=1}{\overset{M}{\mathrm{\Σ}}}p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2,j)p\left(j\right)---\left(9\right)$

这样，可以用下面的方程(10)来定义适应性混合马氏距离。

$d(v_1,v_2)$

$=-\ln \underset{j=1}{\overset{M}{\mathrm{\Σ}}}p\left(s\right|{\mathrm{\θ}}_1,{\mathrm{\θ}}_2,j)p\left(j\right)$

$=-\ln \underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{N}{2}}{\left|{\mathrm{\Σ}}_s({\mathrm{\θ}}_1,{\mathrm{\θ}}_2,j)\right|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T{\mathrm{\Σ}}_s{({\mathrm{\θ}}_1,{\mathrm{\θ}}_2,j)}^{-1}s)p\left(j\right)$

$=-\ln \underset{j=1}{\overset{M}{\mathrm{\Σ}}}\frac{1}{{\left(2\mathrm{\π}\right)}^{\frac{N}{2}}{|{\mathrm{\Σ}}_s({\mathrm{\θ}}_1,j)+{\mathrm{\Σ}}_s({\mathrm{\θ}}_2,j)|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T({\mathrm{\Σ}}_s({\mathrm{\θ}}_1,j)+{\mathrm{\Σ}}_s{({\mathrm{\θ}}_2,j))}^{-1}s)p\left(j\right)$

(10)

可以通过使用作为典型估计方法的EM算法和最大似然方法来估计后验分布p(s|θ₁，θ₂，j)和p(j)的协方差矩阵∑_s(θ₁，θ₂，j)的估计值。具体细节在“Neural Networks for Pattern Recognition”，C.M.Bishop(OxfordUniversity Express，1995)中有述。

混合正则分布的假设使得分布能够得到进一步的准确估计，并且能够提高匹配性能。不过，需要大量的训练数据，并且运算量也大大的增加了。

在诸如用于检查其他配准的人脸数据到恢复出的人脸数据最近的人脸数据的人脸鉴定的问题上，基于上述误差分布的马氏距离是比较优越的距离。另一方面，下面将要解释的称为“判别式距离”的距离是一种比上述人脸鉴定中的马氏距离更好的相似度测量手段。在人脸验证问题中，在判别输入人脸数据和配准人脸数据之间的身份中，是否接受还是拒绝输入人脸数据很重要。

现在，如果两个特征矢量v属于同一个范围和重合的，也就是说，例如，如果两个特征矢量从同一个人的人脸提取出来，则判定那些特征矢量的组合属于类W。另外，如果两个特征矢量v来自不同类，亦即，如果两个特征矢量从不同人的人脸提取出来，则判定特征矢量组合属于类B。

我们假定得到两个特征矢量v₁，v₂的置信指标θ₁，θ₂。当观察到差值矢量s和两个置信指标θ₁，θ₂(这以后，将两个置信指标称为[θ_i])，则考虑在两个特征矢量v₁，v₂被视为一致和被视为不一致这两种情况下的判别式问题。在这种情况下，得到的判决规则如下面的方程(11)所示。

$\frac{p\left(W\right|s,\left\{{\mathrm{\θ}}_i\right\})}{p\left(B\right|s,\left\{{\mathrm{\θ}}_i\right\})}\≥1$ ：一致

$\frac{p\left(W\right|s,\left\{{\mathrm{\&theta;}}_i\right\})}{p\left(B\right|s,\left\{{\mathrm{\&theta;}}_i\right\})}<1$ ：不一致(11)

根据贝叶斯理论，可以将上述方程(11)的左边写成如下面的方程(12)所示。

$\frac{p\left(W\right|s,\left\{{\mathrm{\&theta;}}_i\right\})}{p\left(B\right|s,\left\{{\mathrm{\&theta;}}_i\right\})}$

$=\frac{\frac{p(W,\{{\mathrm{\&theta;}}_i\left\}\right)p\left(s\right|W,\left\{{\mathrm{\&theta;}}_i\right\})}{p(s,\{{\mathrm{\&theta;}}_i\left\}\right)}}{\frac{p(B,\{{\mathrm{\&theta;}}_i\left\}\right)p\left(s\right|B,\left\{{\mathrm{\&theta;}}_i\right\})}{p(s,\{{\mathrm{\&theta;}}_i\left\}\right)}}---\left(12\right)$

$=\frac{p(W,\{{\mathrm{\&theta;}}_i\left\}\right)p\left(s\right|W,\left\{{\mathrm{\&theta;}}_i\right\})}{p(B,\{{\mathrm{\&theta;}}_i\left\}\right)p\left(s\right|B,\left\{{\mathrm{\&theta;}}_i\right\})}$

这里，我们假设类W，B和[θ_i]发生的可能性是相互独立的，并且p(W，[θ_i])＝p(W)p([θ_i])，并且p(B，[θ_i])＝p(B)p([θ_i])。

如果计算方程(12)的似然作为特征矢量之间的距离d(v₁，v₂)，可以获得适合人脸验证问题的相似度，如下面的方程(13)所示。

$d(v_1,v_2)$

$=-\ln \frac{p\left(W\right)p\left(s\right|W,\left\{{\mathrm{\&theta;}}_i\right\})}{p\left(B\right)p\left(s\right|B,\left\{{\mathrm{\&theta;}}_i\right\})}---\left(13\right)$

$=-\ln \frac{p\left(s\right|W,\left\{{\mathrm{\&theta;}}_i\right\})}{p\left(s\right|B,\left\{{\mathrm{\&theta;}}_i\right\})}-\ln \frac{p\left(W\right)}{p\left(B\right)}$

如果每个单个的匹配的先验概率p(W)，p(B)是不同的，并且如果能够知道它们的值，则可以计算方程(13)的第二项。不过在许多情况下，由于不知道每个单个的匹配的先验概率，假设先验概率为常数，因此认为第二项为常数，并且从相似度计算中去掉该项。

当将后验分布p(s|W，[θ_i])，p(s|B，[θ_i])分别写成类内分布p_W(s|[θ_i])和类间分布p_B(s|[θ_i])，则可以得到下面的方程(14)。

$d(v_1,v_2)$

$=-\ln \frac{p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}{p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}-\ln \frac{p\left(W\right)}{p\left(B\right)}---\left(14\right)$

接下来，如果假设类内分布p_W(s|[θ_i]])和类间分布p_B(s|[θ_i])分别为零均值的正则分布，且协方差矩阵分别为∑_W([θ_i])和∑_B([θ_i])，则后验分布可以分别用如下的方程(15)表示。

$p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{N}{2}}{\left|{\mathrm{\&Sigma;}}_W\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)\right|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T{\mathrm{\&Sigma;}}_W{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^{-1}s)---\left(15\right)$

$p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})=\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{N}{2}}{\left|{\mathrm{\&Sigma;}}_B\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)\right|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T{\mathrm{\&Sigma;}}_B{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^{-1}s)$

当将上述方程代入到方程(14)(这里，方程(14)的第二项被忽略了)，可以得到如下面的方程(16)所示的距离，称为“适应性判别式距离”。

$d(v_1,v_2)$

$=-\ln \frac{p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}{p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}---\left(16\right)$

$=\frac{1}{2}{s}^T({\mathrm{\&Sigma;}}_W{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^{-1}-{\mathrm{\&Sigma;}}_B{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^{-1})s+\frac{1}{2}\left(\ln \left|{\mathrm{\&Sigma;}}_W\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)\right|-\ln \left|{\mathrm{\&Sigma;}}_B\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)\right|\right)$

如果假设了差值矢量s的各个元素之间的独立度，则可将方程(15)表示成下面的方程(17)的形式。

$p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})=\underset{k=1}{\overset{N}{\mathrm{\&Pi;}}}\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{W,k}\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}\exp (-\frac{s_k^2}{{2\mathrm{\&sigma;}}_{W,k}{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^2})---\left(17\right)$

$p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})=\underset{k=1}{\overset{N}{\mathrm{\&Pi;}}}\frac{1}{\sqrt{2\mathrm{\&pi;}}{\mathrm{\&sigma;}}_{B,k}\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}\exp (-\frac{s_k^2}{{2\mathrm{\&sigma;}}_{B,k}{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^2})$

这里，σ_W，k(θ_i)²和σ_B，k(θ_i)²分别为协方差矩阵∑_W([θ_i])和∑_B([θ_i])的k阶对角线元素，即分别对应于类内方差和类间方差。s_k为差值矢量s的k阶元素。

由于上面作了正则分布的假设，因此可以通过使用每个特征矢量中的每个元素的类内方差σ_W，k(θ_i)²和类间方差σ_B，k(θ_i)²，利用方程(16)从置信指标[θ_i]的适应性判别式距离来定义相似度，如下面的方程(18)所示。

$d(v_1,v_2)$

$=-\ln \frac{p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}{p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}$

$=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(\frac{1}{{\mathrm{\&sigma;}}_{W,k}{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^2}-\frac{1}{{\mathrm{\&sigma;}}_{B,k}{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^2})s_k^2+\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(\ln 2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{W,k}{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^2-\ln 2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{B,k}{\left(\right\{{\mathrm{\&theta;}}_i\left\}\right)}^2)$

(18)

在上述解释中，尽管假设正则分布为类内方差σ_W，k(θ_i)²和类间方差σ_B，k(θ_i)²，不过下面将假设其为混合方差。

如下面的方程(19)所示，如同类内分布p_W(s|[θ_i])和类间分布p_B(s|[θ_i])，我们假设后验分布可以由正则分布p_W(s|[θ_i]，j_W)(j_W＝1，2，...，M_W)，p_B(s|[θ_i]，j_B)(j_B＝1，2，...，M_B)的求和来表示。

$p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})=\underset{j_W=1}{\overset{M_W}{\mathrm{\&Sigma;}}}{p}_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\},j_W)p\left(j_W\right)---\left(19\right)$

$p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})=\underset{j_B=1}{\overset{M_B}{\mathrm{\&Pi;}}}{p}_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\},j_B)p\left(j_B\right)$

因此，可以使用这种似然对数来导出下述方程(20)的适应性混合马氏距离。

$d(v_1,v_2)$

$=-\ln \frac{p_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}{p_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\})}$

$=-\ln \underset{j_W=1}{\overset{M_W}{\mathrm{\&Sigma;}}}{p}_W\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\},j_W)p\left(j_W\right)+\ln \underset{j_B=1}{\overset{M_B}{\mathrm{\&Sigma;}}}{p}_B\left(s\right|\left\{{\mathrm{\&theta;}}_i\right\},j_B)p\left(j_B\right)---\left(20\right)$

$=-\ln \underset{j_W=1}{\overset{M_W}{\mathrm{\&Sigma;}}}\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{N}{2}}{\left|{\mathrm{\&Sigma;}}_W\left(\right\{{\mathrm{\&theta;}}_i\},j_W)\right|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T{\mathrm{\&Sigma;}}_W{\left(\right\{{\mathrm{\&theta;}}_i\},j_W)}^{-1}s)p\left(j_W\right)$

$+\ln \underset{j_B=1}{\overset{M_B}{\mathrm{\&Sigma;}}}\frac{1}{{\left(2\mathrm{\&pi;}\right)}^{\frac{N}{2}}{\left|{\mathrm{\&Sigma;}}_B\left(\right\{{\mathrm{\&theta;}}_i\},j_B)\right|}^{\frac{1}{2}}}\exp (-\frac{1}{2}{s}^T{\mathrm{\&Sigma;}}_B{\left(\right\{{\mathrm{\&theta;}}_i\},j_B)}^{-1}s)p$

可以通过使用最大似然方法和EM算法来估计协方差矩阵∑_W(s|[θ_i]，j_W)，∑_B(s|[θ_i]，j_B)以及类内分布p_W(s|[θ_i]，j_W)和类间分布p_B(s|[θ_i]，j_B)的p(j_W)，p(j_B)的估计值。

混合分布的估计值能够进一步准确地估计分布情况提高匹配性并能。不过，需要大量的训练数据，而且运算成本也大大地增加了。

如上所述，通过进一步提取人脸特征的置信指标，能够导出置信指标的适应性距离模型，以便能够建立起高精确度的人脸识别机制。顺便说一下，在上面的讲述中，尽管特征矢量的置信指标没有被定义为标量(只有一个元素组成)或矢量(由多个分量组成)，但是我们的讨论可以从这两个方面来进行，而且多个元素可用于提供性能。

对于特定的置信指标，有必要发现有效的置信指标。在人脸识别的情况下，可以通过使用表示图像反差度的反差指标来取得较高的效果。在正面人脸识别的情况下，可以通过使用表示光照和姿势改变所引入的人脸图像对称弯曲的非对称指标来取得较高的效果。通过将矢量的这些置信指标结合起来，可以取得更高的精确度。

(实施例)

图1是一个结构框图，示出了根据本发明实施例的人脸图像匹配系统的结构。下面将详细讲述一下人脸图像匹配系统。

如图1所示，所提出的根据本发明实施例的人脸图像匹配系统包括人脸图像输入单元11，人脸元数据生成单元12，人脸元数据存储单元13，人脸相似度计算单元14，人脸图像数据库15，控制单元16和显示单元17。人脸图像输入单元11输入人脸图像，人脸元数据生成单元12从输入的人脸图像中提取人脸特征和置信指标，并生成人脸元数据。人脸元数据存储单元13存储(收集)所提取的人脸元数据。人脸相似度计算单元14利用两个人脸元数据来计算人脸的相似度。人脸图像数据库15存储人脸图像。控制单元16用于响应图像的配准请求和恢复请求，执行对图像输入、元数据的生成、元数据的存储、以及人脸相似度的计算等的控制。显示单元17显示人脸图像和其它数据。

另外，人脸元数据生成单元12由人脸特征提取单元121和置信指标提取单元122组成，其中121用于从输入人脸图像中提取人脸特征，122用于从人脸图像中提取置信指标。人脸相似度计算单元14由分布估计单元141和距离计算单元142组成，其中141用于估计有关置信指标后验分布的参数数据，142用于根据来自分布估计单元141的后验分布数据来计算人脸特征之间的距离。在分布估计单元141内部配备了方差值表143，用于存储方差值。需要事先计算存储于方差值表143中的方差值，并且存储于方差值表143中。

在配准期间，当调整人脸的尺寸和位置后，图像输入单元11利用扫描仪或相机来输入人脸照片。或者，可以从视频相机等类的仪器直接输入人脸图像。在这种情况下，在上述Moghaddam的文档中提到的人脸检测技术可用于检测输入图像的人脸位置，并且自动归一化人脸图像的尺寸等。

另外，输入的人脸图像根据需要程度，与人脸元数据或ID有关，并且在人脸图像数据库15中得到配准。在人脸图像配准的同时，通过人脸元数据生成单元12生成了人脸元数据，并且存储于人脸元数据存储单元13中。

在恢复期间，同样地，从人脸图像输入单元11输入人脸图像，并且通过人脸元数据生成单元12来生成人脸元数据。所生成的人脸元数据在人脸元数据存储单元13中得到配准，或者直接发送到人脸相似度计算单元14。在恢复期间，在人脸鉴定的情况下，也就是说，检查出预先输入的人脸图像是否存储于数据库中，计算到每一个存储于人脸元数据存储单元13中的数据。根据对应于最高相似度结果的人脸元数据或ID，即，最小距离值的结果，控制单元16从人脸图像数据库15中选择人脸图像，并控制显示单元17，以显示人脸图像。工作人员在恢复的图像和配准图像中检查人脸的身份。

另一方面，在人脸验证的情况下，也就是说，检查出根据ID号码预先指定的人脸图像是否与恢复的人脸图像相一致，人脸相似度计算单元14计算出恢复的人脸图像是否与具有指定ID号的人脸图像相一致。如果该相似度低于预定的相似度，也就是说，距离值较大，则判断为不一致。控制单元16控制显示单元17，以便显示该结果。

如果将该系统用于房门管理，而不是用于显示人脸相似度，则控制单元16能够通过发送开/关控制信号给自动门，来在房门管理中控制自动门。

尽管如上所述来操作人脸图像匹配系统，这种操作也可通过计算机系统来实现。例如，下面将详细讲述，元数据生成程序用于执行元数据的生成，相似度计算程序用于执行相似度计算，这些程序存储于记录介质20中，并且被读取和存储于存储器(未示出)中。因此，就实现了人脸图像匹配系统。

下面将详细讲述这种人脸图像匹配系统的操作，特别是其中的人脸元数据生成单元12和人脸相似度计算单元14。

(1)人脸元数据生成

图2是示出根据本发明的人脸元数据生成方法的实施例的操作的流程图。人脸元数据生成单元12的人脸特征提取单元121接收(人脸)图像I(x，y)(步骤S1)。人脸元数据生成单元12使用位置和尺寸都已被归一化(步骤S2)的图像I(x，y)，并从中提取人脸特征(步骤S3)。提取的人脸特征输出到人脸元数据存储单元13(步骤S4)。关于位置和尺寸的归一化，图像可以以这种方式进行归一化，例如，人眼的位置为(16，24)，(31，24)，并且尺寸为46×56像素。下文中将解释将图像归一化到这一尺寸的情况。

使用所谓的本征人脸方法(上述的Moghaddam的论文)来提取特征以作为人脸特征(在步骤S3中)。图4是显示步骤S3的流程图。简而言之，人脸特征提取单元121获得模式矢量Λ(步骤S31)，基矩阵U(步骤S32)和均值人脸Ψ(步骤S33)被用于计算特征矢量v＝U^T(Λ-Ψ)(步骤S34)。特征矢量的维数变为48。模式矢量Λ包括输入图像的像素值。模式矢量的维数变为2576(＝46×56)。基矩阵U由通过对模式矢量进行主成分分析得到的基矢量的子集所定义。在选择48个基矢量的情况下，基矩阵U是包含48列和2576行的矩阵。特征矢量的维数变为48。平均人脸Ψ是模式矢量的平均矢量。在这种方式中没有使用输入图像，而是使用了基矢量的子集来减小输入图像的数据尺寸。在这种方式中，数据尺寸的减小非常重要，因为它不仅能够减小元数据库的存储规模，而且能够获得高速匹配。

在这种方式中，除了一般使用的本征人脸方法以外，还可以将判别式分析和主成分分析(上述的W.Zhao的论文)结合起来来定义基矢量的子集。

另外，在步骤S32，通过使用矩阵U(＝aU_n+bU_m)来提取人脸特征以作为基矩阵，矩阵U是通过基矩阵U_n和基矩阵U_m的线性组合而得到的。这里，基矩阵U_n是通过上述的判别式分析或主成分分析而得到的基矢量中选择基矢量子集来定义的。另外，基矩阵U_m是由翻转基矢量的子集来定义的，其中对基矢量的元素进行了互换，以便能够对应由于图像的左右翻转而导致的像素值变换。例如，假定a＝b＝1，对于所获得的特征矢量，在输入图像空间中只能提取与左右转换有关的对称分量。由于人脸最初是对称的，因此，由于光照影响所造成的非对称图像分量以及由于人脸不是面向正前方所引起的非对称分量最初对应于噪声部分。因此，通过去除该部分，并且仅提取出对称分量，所提取出的人脸特征不易受光照和姿势的影响。

另外，在步骤S3，可以对图像进行傅立叶变换，并且可以计算出由所得到的复数傅立叶分量的每一个分量的幅度所组成的矢量，以作为模式矢量Λ，并且可以用模式矢量Λ来提取人脸特征。在这种方式中，通过对图像进行傅立叶变换，可以提取出具有较强位置位移的人脸特征。在这种方式中，人脸特征提取单元121提取出人脸特征v。

如图2所示，人脸元数据生成单元12的置信指标提取单元122接收图像I(x，y)(步骤S5)。置信指标提取单元122提取出作为人脸特征v的有效置信指标的反差指标θ_反差(步骤S6)和非对称指标θ_非对称(步骤S7)。提取的置信指标输出到人脸元数据存储单元13(步骤S8)。人脸元数据存储单元13存储人脸特征和置信指标(步骤S9)。在图像I(x，y)中，可以通过下面的方程(21)来计算像素值的标准方差，以作为反差指标θ_反差。

$\stackrel{\&OverBar;}{I}=\frac{1}{46\&times;56}\underset{i=1}{\overset{46}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{56}{\mathrm{\&Sigma;}}}I(i,j)$

这里，round()表示对数值进行取整运算。提取出的反差指标θ_反差被限制在4比特整数的范围内，即[0，1，2，...，15]。在上述中，尽管使用图像的标准方差作为反差指标，但还可以提取出图像中像素值的最大值和最小值之差和方差。

通过下面的方程(22)来提取出人脸图像I(x，y)和它的翻转人脸图像之间差值的绝对值的(一次幂)平均数，以作为非对称指标θ_非对称。

所提取的置信指标θ_非对称被限制在4比特整数的范围内，即[0，1，2，...，15]。尽管在上述实例中，使用图像的绝对差值的(一次幂)均值(MAD)来作为非对称指标，但是也可以使用平方差的均值(MSD)。另外，除了绝对差值的均值和平方差的均值以外，还可以使用绝对差值的和以及平方差的和。另外，如果检测到差值图像的最大值并将它作为非对称指标，则运算成本会小些。

置信指标提取单元122提取特征矢量v、人脸图像的置信指标θ_反差和置信指标θ_非对称，并且人脸元数据输出。如上所述，计算机程序能够指导计算机来执行上述人脸元数据生成过程。

(2)人脸相似度计算

图3是示出根据本发明的人脸相似度计算方法的实施例的操作的流程图。接下来将讲述人脸相似度计算单元14的运算。在人脸相似度计算单元14中，分布估计单元141从人脸元数据生成单元12或者人脸元数据存储单元13接收两个人脸元数据的置信指标θ_反差，1、θ_反差，2、θ_{非对称，1}和θ_{非对称，2}(步骤S11)。通过使用两个人脸元数据的置信指标θ_反差，1、θ_反差，2、θ_{非对称，1}和θ_{非对称，2}，分布估计单元141估计出有关后验分布的参数数据(步骤S12)。有关后验分布的参数数据输出到距离计算单元142(步骤S13)。距离计算单元142接收两个人脸元数据的两个特征矢量v₁，v₂(步骤S14)。通过使用两个人脸元数据的两个特征矢量v₁和v₂以及与后验分布有关的参数数据，距离计算单元142计算出入脸特征之间的相似度d(步骤S15)。

这里对通过使用方程(8)或方程(18)来计算人脸相似度的实例进行了解释。

方程(8)或方程(18)中出现的置信指标θ₁和θ₂在该实施例中为矢量，并且它们的各个元素为θ₁＝(θ_反差，1，θ_{非对称，1})^T和θ₂＝(θ_反差，2，θ_{非对称，2})^T。由于反差指标和非对称指标分别用4比特来表示，则θ₁的设置可以有256个状态。假设256个状态之一可以由置信指标θ_i来定义。

分布估计单元141将与预先获得的置信指标θ(具有256个状态)有关的差值矢量的方差值σ_ε，k(θ)、方差值σ_W，k(θ)、以及方差值σ_B，k(θ)存储在表(诸如方差值表143)中，这一点后面有述，并且，通过使用置信指标θ₁，θ₂和参考方差值表中的各个值，获得方差值作为后验分布数据(步骤S12)。分布估计单元141将获得的方差值作为后验分布数据传递给距离计算单元142(步骤S13)。在人脸鉴定实例中，可以将方程(8)中所需的方差值σ_ε，k(θ₁)和方差值σ_ε，k(θ₂)的值输出到距离计算单元142。在人脸验证实例中，可以输出方程(18)中所需的方差值σ_W，k(θ)和方差值σ_B，k(θ)。

距离计算单元142接收两个特征矢量v₁，v₂(步骤S14)，根据方程(8)或方程(18)来计算适应性马氏距离或适应性判别式距离，并将其输出，作为相似度d(步骤S15)。

通过使用预先准备的人脸图像数据样本，计算出上述方差值表中的方差值。根据人脸图像样本中的特征矢量集[v_i]以及它的置信指标集[θ_i]，可以按照如下方程来计算出各个方差值。

${\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left(\mathrm{\&theta;}\right)}^2=\frac{1}{2N_{\mathrm{\&epsiv;}}\left(\mathrm{\&theta;}\right)}\underset{((i,j)\&Element;W)\&cap;(\mathrm{\&theta;}={\mathrm{\&theta;}}_i)}{\mathrm{\&Sigma;}}{(v_{i,k}-v_{j,k})}^2---\left(23\right)$

${\mathrm{\&sigma;}}_{W,k}{\left(\mathrm{\&theta;}\right)}^2=\frac{1}{2N_W\left(\mathrm{\&theta;}\right)}\underset{((i,j)\&Element;W)\&cap;(\mathrm{\&theta;}={\mathrm{\&theta;}}_i)}{\mathrm{\&Sigma;}}{(v_{i,k}-v_{j,k})}^2---\left(24\right)$

${\mathrm{\&sigma;}}_{B,k}{\left(\mathrm{\&theta;}\right)}^2=\frac{1}{2N_B\left(\mathrm{\&theta;}\right)}\underset{((i,j)\&Element;W)\&cap;(\mathrm{\&theta;}={\mathrm{\&theta;}}_i)}{\mathrm{\&Sigma;}}{(v_{i,k}-v_{j,k})}^2$

这里，“(i，j)属于类W”意味着数据i和数据j属于同一个类，也就是说，它是从同一个人上获取的数据并且位于类内。“(i，j)属于类B”意味着数据i和数据j属于不同的类，也就是说，它是从不同的人上获取的数据并且位于类间。另外，N_ε(θ)，N_W(θ)和N_B(θ)为属于各个类的数据的组合个数。当以这种方式为θ的每个元素计算方差值时，如果数据的个数太小，则近邻元素的数据被结合起来，因此能够保留样本的个数。这种方法类似于在分布估计中使用k近邻方法(上述的Bishop文档中的第53页)，将这些元素结合起来这一方法。

这里，在方程(18)的实例中，与方程(4)相类似，应该将注意力集中在σ_W，k([θ_i])²＝σ_W，k([θ₁])²+σ_W，k([θ₂])²和σ_B，k([θ_i])²＝σ_B，k([θ₁])²+σ_B，k([θ₂])²这一事实。

这里由于误差方差σ_ε，k(θ)²与类内方差σ_W，k(θ)²相同，当人脸图像匹配系统在计算方程(8)和方程(18)这两个距离时，可以共享那些方差值表。

另外，由于在许多情况下在误差分布和类间分布之间具有强相关性，甚至将类间方差σ_B，k(θ)²来代替误差方差σ_ε，k(θ)²，因此在这种情况下不使用置信指标就提高了精确度。不过，使用误差分布能够取得更高的精确度。

在这种方式中，可以通过使用带有置信指标θ_反差和置信指标θ_非对称的后验分布数据，来计算人脸元数据之间的相似度，因此能够在进行人脸验证时能够取得优良的精确度。如上所述，计算机程序能够指导计算机执行上述的人脸相似度计算过程。

这里，尽管用来计算相似度使用的是方程(8)和方程(18)，通过使用诸如下面的方程(25)和(26)等各种计算方法，也能够大致地计算得到相似度，因此能够取得较高的速度，等等。

$d(v_1,v_2)=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{(v_{1,k}-v_{2,k})}^2}{{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_1\right)}^2+{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_2\right)}^2}+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\ln 2\mathrm{\&pi;}({\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_1\right)}^2+{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_2\right)}^2)$

$d(v_1,v_2)=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{{(v_{1,k}-v_{2,k})}^2}{{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}\left({\mathrm{\&theta;}}_1\right){\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}\left({\mathrm{\&theta;}}_2\right)}+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\ln 2\mathrm{\&pi;}\left({\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}\left({\mathrm{\&theta;}}_1\right){\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}\left({\mathrm{\&theta;}}_2\right)\right)---\left(25\right)$

$d(v_1,v_2)=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\frac{|v_{1,k}-v_{2,k}|}{\sqrt{{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_1\right)}^2+{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_2\right)}^2}}+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\ln 2\mathrm{\&pi;}\left(\sqrt{{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_1\right)}^2+{\mathrm{\&sigma;}}_{\mathrm{\&epsiv;},k}{\left({\mathrm{\&theta;}}_2\right)}^2}\right)$

$d(v_1,v_2)=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(\frac{1}{{\mathrm{\&sigma;}}_{W,k}{\left({\mathrm{\&theta;}}_1\right)}^2}-\frac{1}{{\mathrm{\&sigma;}}_{B,k}{\left({\mathrm{\&theta;}}_1\right)}^2})s_k^2---\left(26\right)$

$+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(\ln 2{\mathrm{\&pi;\&sigma;}}_{W,k}{\left({\mathrm{\&theta;}}_1\right)}^2-\ln {2\mathrm{\&pi;\&sigma;}}_{B,k}{\left({\mathrm{\&theta;}}_1\right)}^2)$

$d(v_1,v_2)=\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(\frac{1}{{\mathrm{\&sigma;}}_{W,k}{\left({\mathrm{\&theta;}}_2\right)}^2}-\frac{1}{{\mathrm{\&sigma;}}_{B,k}{\left({\mathrm{\&theta;}}_2\right)}^2})\left|s_k\right|$

$+\frac{1}{2}\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}(\ln 2\mathrm{\&pi;}{\mathrm{\&sigma;}}_{W,k}\left({\mathrm{\&theta;}}_2\right)-\ln {2\mathrm{\&pi;\&sigma;}}_{B,k}\left({\mathrm{\&theta;}}_2\right))$

在上述的每一个方程的右侧中，通过忽略对第二项(包含有ln的项)的计算，可以取得高得多的运算速度。

另外，即使利用方程(6)和方程(16)，基本上是类似的从预先准备的人脸图像数据样本中计算相似度，用于各个计算所需的差值矢量的误差协方差矩阵∑ε(θ)、差值矢量的类内协方差矩阵∑_W(θ)、以及差值矢量的类间协方差矩阵∑_B(θ)被计算出来并用于协方差表，并且在相似度计算中参考协方差表。由于这种方法使用协方差矩阵来计算距离，因此运算成本增加。不过，如果有充足的训练样本，相似度计算的精确度能够得到提高。

通过假设方程(14)的类内分布和类间分布和方程(3)的后验分布为混合正则分布，并且估计出分布函数，可以分别计算出方程(10)和方程(20)中的适应性混合马氏距离和适应性混合判别式距离。另外在该例中，与基于使用方差和协方差矩阵的后验分布数据的计算相类似，可以测定出来自于人脸图像数据样本的用于指定表示混合正则分布p(j)的协方差矩阵∑_s(θ₁，j)的混合分布的参数等，并且保存于表中。至于这个估计值，可以通过使用EM算法和最大似然方法估计出来。

在直到目前为止的解释当中，对于当配准一幅人脸图像和已经对人脸的这幅图像完成恢复的情况进行了解释。不过，对于当配准一个人脸的多幅图像和使用一幅人脸图像进行了图像恢复的情况，例如，可以按照如下方式来完成。也就是说，在恢复端的特征矢量被假定为v_que，在配准端的特征矢量被假定为v_reg，k，并且在配准多个图像的情况下的相似度被假定为d_multi(v_que，[v_reg，1，v_reg，2，...，v_reg，n])。然后，可以根据如下面所示的方程(27，28)来计算相似度。

$d_{\mathrm{multi}}(v_{\mathrm{que}},\{v_{\mathrm{reg},1},v_{\mathrm{reg},2},...,v_{\mathrm{reg},n}\left\}\right)=\frac{1}{n}\underset{k=1}{\overset{n}{\mathrm{\&Sigma;}}}d(v_{\mathrm{que}},v_{\mathrm{reg},k})---\left(27\right)$

或

d_multi(v_que，{v_reg，1，v_reg，2，...，v_reg，n})＝mind(v_que，v_reg，k)(28)

类似地，当对每一个人脸使用多幅图像进行配准和恢复的情况下，可以通过结合人脸特征来测定相似度的平均值和/或最小值和计算人脸之间的相似度，计算到一幅人脸数据的相似度。这意味着由于动态图像被认为是多幅图像，则可将本发明的匹配系统甚至应用到动态图像中的人脸验证方面。

除了上述的用于个人身份的人脸鉴定和人脸验证以外，本发明可以应用到性别识别、人脸表情识别、年龄识别和其它各种人脸识别系统中。例如，通过对男性人脸和女性人脸进行分别考虑和获取有关各自分布的数据，可以对男性和女性进行人脸的性别识别。类似地，通过考虑诸如微笑的脸、愤怒的脸、悲伤的脸等表情范围，可以进行用于识别人脸表情的人脸表情识别。通过设定诸如十几岁、二十几岁、三十几岁和四十几岁等范围，并且测定出每一个范围的误差分布、类内分布和类间分布，可以进行年龄识别。

正如上面详细解释的，根据本发明将体现置信度的置信指标加关于人脸特征中，并且生成人脸元数据，这样就能够通过置信指标来导出适应性距离。有了适应性距离，就能够取得高性能的人脸识别。

Claims (20)

1.一种人脸相似度计算设备，用于根据从人脸图像中提取的人脸特征和指示关于所述人脸特征的置信度的置信指标来计算人脸相似度，所述人脸相似度计算设备包括：

分布估计单元，它通过使用关于所述人脸特征的所述置信指标来估计与所述人脸特征之间的差值矢量的后验分布有关的参数数据；以及

距离计算单元，它通过使用所述参数数据来计算从所述后验分布的似然所获得的所述人脸特征之间的距离，作为所述相似度。

2.如权利要求1的人脸相似度计算设备，其中所述距离计算单元在当所述人脸特征之间的差值矢量的所述后验分布为正则分布时，计算从所述置信指标中的正则分布的所述似然所获得的适应性马氏距离，作为所述相似度。

3.如权利要求2的人脸相似度计算设备，其中所述分布估计单元(141)估计所述差值矢量的每一个元素到所述置信指标的方差，并且

所述距离计算单元(142)通过使用所述每一个元素的方差来计算所述适应性马氏距离。

4.如权利要求3的人脸相似度计算设备，其中所述分布估计单元包括方差值表，其事先存储了所述差值矢量的每一个元素到置信指标的方差值，并且通过参考基于所述置信指标的所述方差值表，读取出用于计算所述适应性马氏距离的方差值，以及

所述距离计算单元通过使用所述每一个元素的方差值，计算出所述适应性马氏距离。

5.如权利要求1的人脸相似度计算设备，当所述人脸特征之间的差值矢量的所述后验分布为混合分布时，计算从所述置信指标中的所述混合分布的似然得出的所述适应性混合马氏距离，作为所述相似度。

6.一种人脸相似度计算设备，用于根据从人脸图像中提取的人脸特征和指示关于所述人脸特征的置信度的置信指标来计算人脸相似度，包括：

分布估计单元，它通过使用所述人脸特征的所述置信指标来估计关于类内分布和类间分布的参数数据，所述类内分布是应被看作是一致的类中的所述人脸特征之间差值矢量的所述后验分布，所述类间分布是应被看作是不一致的类中的所述人脸特征之间差值矢量的后验分布；以及

距离计算单元，它根据所述参数数据计算从所述类内分布和所述类间分布之间比率的似然中得出的所述人脸特征之间的距离，作为所述相似度。

7.如权利要求6的人脸相似度计算设备，当所述类内分布与所述类间分布分别为正则分布时，计算从所述置信指标中各自分布之间比率的似然中得出的所述适应性判别式距离，作为所述相似度。

8.如权利要求7的人脸相似度计算设备，估计出所述差值矢量的每一个元素到所述置信指标的类内方差和类间方差，并且根据所述估计方差来计算所述适应性判别式距离，作为所述相似度。

9.如权利要求8的人脸相似度计算设备，其中用于事先存储所述类内方差的第一方差值表和用于事先存储所述类间方差的第二方差值表为了估计差值矢量的每一个元素到所述置信指标的所述类内方差和所述类间方差，根据所述置信指标，分别参考所述第一和第二方差值表，估计出方差，并且根据所述估计方差来计算所述适应性判别式距离，作为所述相似度。

10.如权利要求6的人脸相似度计算设备，可以通过假设所述类内分布和所述类间分布分别为混合分布，计算从所述置信指标中各个混合分布之间比率的似然得出的所述适应性混合判别式距离，作为所述相似度。

11.一种人脸相似度计算方法，用于根据从人脸图像中提取的人脸特征和指示关于人脸特征的置信度的置信指标来计算所述相似度，所述人脸相似度计算方法包括：

通过使用关于第一和第二人脸图像中的每一个的人脸特征的置信指标，来估计与所述人脸特征之间差值矢量的后验分布有关的参数数据；以及

使用与后验分布有关的所述参数数据，根据似然来计算人脸特征之间的距离，以作为相似度。

12.如权利要求11的人脸相似度计算方法，其中假设所述人脸特征之间差值矢量的后验分布为正则分布，计算从所述置信指标中正则分布的似然中得出的适应性马氏距离，作为相似度。

13.如权利要求12的人脸相似度计算方法，包括：

估计差值矢量的每一个元素到置信指标的方差，以及

通过使用所述每一个元素的方差来计算适应性马氏距离。

14.如权利要求13的人脸相似度计算方法，在方差值表中事先存储差值矢量的每一个元素到置信指标的方差，并且通过置信指标来参考所述方差值表，并由此生成可用于计算适应性马氏距离的方差值。

15.如权利要求11的人脸相似度计算方法，其中通过假设人脸特征之间的差值矢量的后验分布为混合分布，计算从所述置信指标混合分布的似然中得出的适应性混合马氏距离，作为相似度。

16.一种人脸相似度计算方法，用于根据从人脸图像中提取的人脸特征和指示关于人脸特征的置信度的置信指标来计算所述相似度，其中通过使用关于待比较的人脸特征的置信指标，来估计关于类内分布和类间分布的参数数据，所述类内分布是应被视为相一致的类内人脸特征之间的差值矢量的后验分布，所述类间分布是应被视为不一致的类间人脸特征之间的差值矢量的后验分布，并且计算从所述类内分布与所述类间分布之间比率的似然中得出的人脸特征之间的距离，以作为相似度。

17.如权利要求16的人脸相似度计算方法，其中通过假设所述类内分布和所述类间分布分别为正则分布，计算从所述置信指标中各个分布之间比率的似然中得出的适应性判别式距离，以作为相似度。

18.如权利要求17的人脸相似度计算方法，其中通过估计差值矢量的每一个元素到置信指标的类内方差和类间方差，计算出适应性判别式距离，以作为相似度。

19.如权利要求18的人脸相似度计算方法，包括用于事先存储类内方差的第一方差值表和用于事先存储类间方差的第二方差值表，以便估计差值矢量的每一个元素到置信指标的类内方差和类间方差，并且分别基于置信指标来参考第一和第二方差值表，来估计适应性判别式距离中所需的方差值。

20.如权利要求16的人脸相似度计算方法，其中通过假设所述类内分布和所述类间分布分别为混合分布时，计算出由置信指标中各个混合分布之间比率的似然导出的适应性混合判别式距离，作为相似度。

Images