CN1360266A - 利用一和二次本征特征的照明和视角不变的面容描绘方法 - Google Patents

Abstract

本发明提供了一种解释和识别人类面容的方法。将二次本征特征用于照明不变的面容描绘,和把一次和二次本征特征用于视角不变的面容描绘。在规格化和量化之后,这些特征可以有效和高效地描绘面容。为了进一步减小面容描绘信息的规模,可以用可变长度代码来对量化的本征特征编码。本发明可以在因特网多媒体数据库检索、数字图书馆、视频编辑、监视和跟踪、以及利用面容识别和确认的其它应用中使用。

Description

利用一和二次本征特征的照明和 视角不变的面容描绘方法

技术领域

本发明涉及一种利用一次和二次本征特征的照明不变和视角不变的面容描绘方法，并且可以在基于内容的图像检索的面容描绘和识别，银行、保险系统、和视频电话的人类面容识别和确认，监视和跟踪，数字图书馆以及因特网多媒体数据库中使用。

背景技术

人类面容感知是计算机视觉技术中的一个活跃领域。面容识别将在多媒体数据库搜索和许多其它应用中发挥重要的作用。近些年来，在面容检测和识别问题上取得了很大的进展。提出了不同的专门技术。在这些技术中，神经网络(neural nets)、弹性模板匹配(elastic templatematching)、Karhunen-Loeve展开(Karhunen-Loeve expansion)、代数矩量(algebraic moments)、和等密度线(isodensity lines)是典型的方法。

在这些方法中，主分量分析(PCA)或Karhunen-Loeve展开是一个重要分支。本征面容法是从PCA导出的，并且便于计算，和在识别中具有一致的精度。现有工作显示，PCA法自然地分解不同类型的信息。具有大本征值的本征向量捕获对于面容子集共同的信息，而具有小本征值的本征向量捕获单个面容的特定信息。研究显示，只有被具有大的本征值的本征向量包含的信息才能够一般化到没有经过训练的新面容。

本征面容法的优点是具有大的本征值的本征向量传达有关面容的基本形状和结构的信息。这意味着可以把从具有大的本征值的本征向量提取的特征用于描绘人类面容的主要特点。但是，PCA也有不足。如果我们仅考虑从具有大的本征值的本征向量提取的特征，那么我们不能得到对应于单个面容的面容细节。如果可以用人类面容的共同特征描绘单个面容的细节，那么人类面容的描绘可以更准确。

此外，如果面容图像是在不同的照明条件下和不同的视角下获得的，那么很难得到适当的本征向量来代表人类面容。根据我们的经验，有规律的本征面容法在不同照明条件下识别面容并不优秀。但是，同一个人的许多面容图像是在不同的照明和视角条件下得到的。照明不变和视角不变的面容描绘仍然是一个重要的探索领

发明内容

本征面容法可以有效地提取共同的面容特点，例如，形状和结构。为了得到在截去具有小本征值的本征向量时丢失的面容细节，应该获得带有来自具有大本征值的本征向量的特征的重构面容。利用重构的面容图像，可以获得原始图像与重构图像之间的剩余图像。可以把这些剩余面容看成是仍然包含有单个面容的丰富详细信息的高通面容图像。为了描绘这些剩余面容，可以对这些剩余面容再次使用本征面容法。获得的具有大本征值的本征向量将揭示剩余面容的共同特点。利用这种方法，可以获得具有大本征值的二次本征向量，以提取对应的特征。根据我们的经验，一次和二次本征特征对于视角不变面容描绘都是有效的，而二次本征特征对于照明不变面容描绘也是有效的。因此，可以把一次和二次本征特征的组合用于视角不变面容描绘，和可以把二次本征特征用于照明不变面容描绘。另一种描绘面容的方式是专门使用一次本征特征。对于照明不变面容描绘，仅使用从具有从开头起第k个到第N个最大本征值(其中0＜k＜N)的本征面容提取的本征特征，以避免来自前k个具有最大本征值的本征面容的照明变化。视角不变面容特征可以是从对应于前N个最大本征值的本征面容提取的本征特征。

此外，当我们考虑面容描绘时，一个重要的特点是面容的对称性。大多数人的面容是对称的。因此，我们可以考虑使用左右镜像面容图像来代表同一个人。结果，原始图像和镜像图像的本征特征都可以代表同一个人。因此，我们可以使用两个图像的本征特征的线性组合来代表原始图像。为了区别原始图像和镜像图像，可以使用不同的加权数来组合本征特征。

本发明提供了可以用于图像检索(通过面容示例询问)、人识别和确认、监视和跟踪、和其它面容识别应用的照明不变和视角不变人类面容描绘的两种方法。为了描绘面容特点，根据我们的观察和推导，提出了二次本征特征的概念。首先可以从一组训练面容图像中导出一次本征面容和二次本征面容。然后，可以用面容的对称特点调节本征面容。利用这些调节的本征面容，可以获得调节的一次和二次本征特征。可以将这些本征特征的组合用于描绘面容。利用这种描绘，可以把欧几里德距离用于相似性测量。

附图说明

图1是产生照明不变面容描绘信息的示意图；

图2是产生视角不变面容描绘信息的示意图；

图3示出了镜像一个本征面容的过程；

图4示出了重构的面容，对应的原始面容，和二次剩余图像；和

图5示出了计算一次特征W⁽¹⁾的过程。

具体实施方式

根据本发明，获得一次本征面容和二次本征面容。

在图2中，中间行示出的面部照片1a，2a，3a，4a，5a和6a是用数字照相机摄制的未经任何特殊处理的原始面容图像。可以用一维向量将面部照片1a表示为一个原始面容图像Φ₁。同样地，可以把面部照片2a，3a，4a，5a和6a分别表示为原始面容图像Φ₂，Φ₃，Φ₄，Φ₅和Φ₆。将原始面容图ia像一般地表示为Φ_i。

在图2所示的示例中，当把六个原始面容图像的一维向量相加并且将它们的和用6除时，得到如下给出的平均图像Ψ。

Ψ＝(Φ₁+Φ₂+Φ₃+Φ₄+Φ₅+Φ₆)/6

将面部照片1a的一维向量Φ₁与平均图像Ψ之间的差表示为Γ₁ ⁽¹⁾。可以分别获得其它面部照片2a，3a，4a，5a和6a的相同的差Γ₂ ⁽¹⁾，Γ₃ ⁽¹⁾，Γ₄ ⁽¹⁾，Γ₅ ⁽¹⁾和Γ₆ ⁽¹⁾。因此，获得了下面的等式。

Γ₁ ⁽¹⁾＝Φ₁-Ψ

Γ₂ ⁽¹⁾＝Φ₂-Ψ

Γ₃ ⁽¹⁾＝Φ₃-Ψ

Γ₄ ⁽¹⁾＝Φ₄-Ψ

Γ₅ ⁽¹⁾＝Φ₅-Ψ

Γ₆ ⁽¹⁾＝Φ₆-Ψ

如以后将要说明的，将要把差Γ₁ ⁽¹⁾用作获得一次特征分量w₁ ⁽¹⁾的基础。同样，要把Γ₂ ⁽¹⁾，Γ₃ ⁽¹⁾，Γ₄ ⁽¹⁾，Γ₅ ⁽¹⁾和Γ₆ ⁽¹⁾用作获得一次特征分量w₂ ⁽¹⁾，w₃ ⁽¹⁾，w₄ ⁽¹⁾，w₅ ⁽¹⁾和w₆ ⁽¹⁾的基础。在这些公式中，上标(1)指示该公式与一次特征有关。

当在一个低通滤波器中处理差Γ₁ ⁽¹⁾，Γ₂ ⁽¹⁾，Γ₃ ⁽¹⁾，Γ₄ ⁽¹⁾，Γ₅ ⁽¹⁾和Γ₆ ⁽¹⁾时，获得了重构矩阵 和

在图2中，显示在顶行的面部照片1b，2b，3b，4b，5b和6b是通过把平均图像Ψ加到每个重构矩阵 和 获得的重构面容图像。可以将重构面容图像1b，2b，3b，4b，5b和6b如下面给出的那样分别表示为

和

由于重构面容图像包含在低通滤波器中处理过的数据，从而除去了高频信息，即使在面容的角度轻微改变时，面容信息也不发生变化。

在图2中，显示在底行的面部照片1c，2c，3c，4c，5c和6c是剩余图像Γ_i ⁽²⁾，它是由从原始面容图像中减去重构面容图像获得的。因此，可以获得以下等式

在获得剩余图像的处理过程中，减法使包含在原始面容图像中的照明系统造成的亮度信息和包含在重构面容图像中的同样的亮度信息相互抵消。因此，剩余图像不会受到照明系统的影响。

以下用一般公式对本发明进一步说明。

考虑M个图像(在上述示例中，六个图像)的集合中的一个图像Φ_i(图1中步骤110)，其中Φ_i是光栅扫描图像的一维向量，定义Ψ为平均图像(图1中的步骤120)： $\mathrm{\Ψ}=\frac{1}{M}\underset{i=1}{\overset{M}{\mathrm{\Σ}}}{\mathrm{\Φ}}_i........\left(1\right)$

每个图像与平均图像差别一个向量Γ_i ⁽¹⁾＝Φ_i-Ψ(图1中的步骤130)。因而将数据的协方差矩阵定义为： $Q=A^{\left(1\right)}{A}^{{\left(1\right)}^T}......\left(2\right)$ 其中 $A^{\left(1\right)}=[{\mathrm{\Γ}}_1^{\left(1\right)}{\mathrm{\Γ}}_2^{\left(1\right)}\…{\mathrm{\Γ}}_M^{\left(1\right)}].$ 这显示在图1的步骤140中。

注意，Q具有维数wh×wh，其中w是图像的宽度，h是高度。矩阵的规模是巨大的，但是，由于我们仅求和到有限数量的图像向量M，因而这个矩阵的行列等级不超过M-1。我们注意到，如果v_i ⁽¹⁾是 的本征向量(i＝1，2，...M)(图1中的步骤150)，那么 其中λ_i ⁽¹⁾是 的本征值，那么 是

的本征向量，正如我们在上面的公式的左面乘以A⁽¹⁾所看到的： $A^{\left(1\right)}{A^{{\left(1\right)}^T}{A}^{\left(1\right)}v}_i^{\left(1\right)}=A^{\left(1\right)}{\mathrm{\λ}}_i^{\left(1\right)}{v}_i^{\left(1\right)}={\mathrm{\λ}}_i^{\left(1\right)}{A}^{\left(1\right)}{v}_i^{\left(1\right)}$ 但是，

仅是M×M大小的。所以，定义u_i ⁽¹⁾为

的本征向量，我们有： $u_i^{\left(1\right)}=A^{\left(1\right)}{v}_i^{\left(1\right)}=\underset{k=1}{\overset{M}{\mathrm{\Σ}}}{v}_{\mathrm{ik}}^{\left(1\right)}{\mathrm{\Γ}}_k^{\left(1\right)}$ 本征值λ_i ⁽¹⁾是沿由本征向量u_i ⁽¹⁾跨越的新坐标空间的变化(图1中的步骤160)。从这里开始，我们假设i的序列使本征值λ_i ⁽¹⁾减小。本征值是以指数形式减小的。因此，通过计算W⁽¹⁾＝{W_k ⁽¹⁾}，我们可以把一个面容图像Γ⁽¹⁾投射到仅是M₁＜＜M的维数中，其中 和1≤k≤M₁。w_k ⁽¹⁾是新坐标系中Γ⁽¹⁾的第k坐标。在这个意义上中，将W⁽¹⁾称为一次特征。向量u_k ⁽¹⁾实际上是图像，并且被称为一次本征面容(一般，在其它文献中它被称为本征面容)。设

(图1中的步骤170)，那么： $W^{\left(1\right)}=U^{{\left(1\right)}^T}{\mathrm{\Γ}}^{\left(1\right)}........\left(3\right)$ 这显示在图1的步骤180中。

图3示出了计算一次特征W⁽¹⁾的过程。在图中，eig(B，i)是计算第i个最大本征值和它的矩阵的对应本征向量的函数。320是再成形，340是镜像，和360是再成形。

从公式(3)，一个有趣的副产品是，我们能够从W⁽¹⁾得到一个重构矩阵。由于U⁽¹⁾是一个M₁×P矩阵，所以我们不能得到它的逆矩阵。但是，我们可以利用它的伪逆矩阵来近似它的逆矩阵。设

是

的伪逆，那么其中 是从W⁽¹⁾和U⁽¹⁾的重构矩阵。图2给出了一些原始面容图像，和它们具有M₁＝25的对应的重构面容图像。最上面的图像是重构面容图像

，中间的图像是对应的原始面容图像，最下面的图像是剩余图像

。从重构矩阵中，我们可以发现，面容的细节丢失了。这意味着W⁽¹⁾描绘的面容可以看成是低通滤波图像。剩余图像是对应的高通滤波图像。观察重构矩阵，一些图像不能以合理的解析度重构，这表示一次特征不能很好地描绘这些图像。重构矩阵越差，剩余图像中保留的信息越多。由于这些剩余图像仍然包含着单个图像的丰富信息，所以应当再从这些剩余面容中提取面容特征。

设

，λ_i ⁽²⁾是

的本征值，和ν_i ⁽²⁾是 的对应的本征向量。那么

。根据以上的讨论，

的本征向量是u_i ⁽²⁾＝A⁽²⁾ν_i ⁽²⁾。因此，我们可以通过计算W⁽²⁾＝{w_k ⁽²⁾}把一个剩余面容图像Γ⁽²⁾投射到仅为M₂＜＜M维数，其中 $w_k^{\left(2\right)}=u_k^{{\left(2\right)}^T}{\mathrm{\Γ}}^{\left(2\right)}.......\left(5\right)$ 并且1≤k≤M₂。由于u_k ⁽²⁾是剩余面容图像的本征向量，所以我们将u_k ⁽²⁾称为二次本征面容，把w_k ⁽²⁾称为二次特征。设

可以把公式(5)写为： $W^{\left(2\right)}={U^{\left(2\right)}}^T{\mathrm{\Γ}}^{\left(2\right)}$

$=U^{{\left(2\right)}^T}({\mathrm{\Γ}}^{\left(1\right)}-U^{{\left(1\right)}^{+}}{W}^{\left(1\right)})$ $=U^{{\left(2\right)}^T}({\mathrm{\Γ}}^{\left(1\right)}-U^{{\left(1\right)}^{+}}{U}^{{\left(1\right)}^T}{\mathrm{\Γ}}^{\left(1\right)})$ $=(U^{{\left(2\right)}^T}-U^{{\left(2\right)}^T}{U}^{{\left(1\right)}^{+}}{U}^{{\left(1\right)}^T}){\mathrm{\Γ}}^{\left(1\right)}.....\left(6\right)$ 设 那么 $W^{\left(2\right)}=U_2^T{\mathrm{\Γ}}^{\left(1\right)}.........\left(7\right)$ 由于U₂是一个常数变换矩阵并且它只被计算了一次，所以它不会影响计算的效率。可以用 描绘面容图像，其中1≤M₁’≤M₁。计算Ω(Φ)与仅从本征面容U计算特征相比，计算负担没有增加。为了讨论方便，将剩余图像称为二次剩余图像，并且把原始面容图像称为一次剩余图像(尽管似乎把原始图像称为0次剩余图像更好)。

一次本征特征描绘原始图像的特点，而二次本征特征描绘高通图像(high-passed image)的特点。可以将这些特点用于不同的应用。

在照明不变的情况下，图像的视角几乎是相同的，但是照明条件是不同的。光可以来自左，右，或来自左右两侧。面容也可以亮或暗。在这种情况下，应当在滤波后提取图像特征。原始面容图像包含照明特征的数据，并且一次本征特征也包含照明特征数据。这意味着一次本征特征不适合这种情况。二次本征特征是通过从原始面容图像减去一次本征特征获得的，因而去除了照明特征的数据。因此，二次本征特征没有被照明影响，并且适合于在没有受照明影响的面容识别中使用。另一方面，当考虑视角不变的情况时，同一个人的图像是在几乎相同的照明条件下取得的，但视角或姿势是不同的。在这种情况下，对于描绘面容，一次和二次本征特征都是重要的。

一次本征特征是通过用一个低通滤波器处理原始面容图像以提取不是详细的而是一般的面容特征而获得的。因此，一次本征特征可以近似地提供相同的特征，即使面容图像是在不同视角获得的。因此，在视角可能改变的情况下，除了使用二次本征特征之外，也使用一次本征特征，以便获得不受视角影响的特征。

因此，我们将使用二次本征特征作为面容描绘信息描绘照明不变情况，并且用一次和二次本征特征作为面容描绘语言描绘视角不变情况。

当我们考虑面容描绘时，一个重要的特点是面容的对称性。大多数人的面容是对称的。因此，我们可以考虑用镜像的面容图像来代表同一个人。因此，原始图像和镜像图像的本征特征都可以代表同一个人。因此，我们可以利用两个图像的本征特征的线性组合代表原始图像。为了区分原始图像和镜像图像，可以使用不同的加权数来计算特征。

假设Φ是原始图像，Φ’是Φ的镜像图像。那么调节的本征特征应当是： ${\stackrel{-}{w}}_i^{\left(1\right)}\left(\mathrm{\Φ}\right)=w_i^{\left(1\right)}\left(\mathrm{\Φ}\right)+c\·w_i^{\left(1\right)}\left({\mathrm{\Φ}}^{\′}\right)$ 和 ${\stackrel{-}{w}}_i^{\left(2\right)}\left(\mathrm{\Φ}\right)=w_i^{\left(2\right)}\left(\mathrm{\Φ}\right)+c\·w_i^{\left(2\right)}\left({\mathrm{\Φ}}^{\′}\right)$ 其中0≤c≤1是用于调节的加权数。为了简化计算，可以重新安排计算的顺序。 ${\stackrel{-}{w}}_i^{\left(1\right)}\left(\mathrm{\Φ}\right)=w_i^{\left(1\right)}\left(\mathrm{\Φ}\right)+c\·w_i^{\left(1\right)}\left({\mathrm{\Φ}}^{\′}\right)$ $=u_i^{{\left(1\right)}^T}{\mathrm{\Γ}}^{\left(1\right)}+c\·u_i^{{\left(1\right)}^{{\′}^T}}{\mathrm{\Γ}}^{\left(1\right)}$ $=(u_i^{{\left(1\right)}^T}+c\·u_i^{{\left(1\right)}^{{\′}^T}}){\mathrm{\Γ}}^{\left(1\right)}$ 其中

是

的镜像本征面容。图1示出了从

获得 的过程。利用同样的方式，我们可以获得 ${\stackrel{-}{W}}^{\left(1\right)}=U^{{\left(1\right)}^T}{\mathrm{\Γ}}^{\left(1\right)}+c\·U^{{\left(1\right)}^T}\mathrm{flip}\left({\mathrm{\Γ}}^{\left(1\right)}\right)$ $=U^{{\left(1\right)}^T}{\mathrm{\Γ}}^{\left(1\right)}+c\·\mathrm{flip}\left(U^{{\left(1\right)}^T}\right){\mathrm{\Γ}}^{\left(1\right)}$ $=(U^{{\left(1\right)}^T}+c\·\mathrm{flip}\left(U^{{\left(1\right)}^T}\right)){\mathrm{\Γ}}^{\left(1\right)}$ $={\stackrel{-}{U}}_1{\mathrm{\Γ}}^{\left(1\right)}......\left(8\right)$ 和 ${\stackrel{-}{W}}^{\left(2\right)}=U_2^T{\mathrm{\Γ}}^{\left(1\right)}+c\·U_2^T\mathrm{flip}\left({\mathrm{\Γ}}^{\left(1\right)}\right)$ $=U_2^T{\mathrm{\Γ}}^{\left(1\right)}+c\·\mathrm{flip}\left(U_2^T\right){\mathrm{\Γ}}^{\left(1\right)}$ $=(U_2^T+c\·\mathrm{flip}\left(U_2^T\right)){\mathrm{\Γ}}^{\left(1\right)}$ $={\stackrel{-}{U}}_2{\mathrm{\Γ}}^{\left(1\right)}......\left(9\right)$ 其中mirror()是左/右方向镜像矩阵的镜像函数。利用公式(8)和(9)，可以把一次本征面容和二次本征面容调节到

和

可以将上面讨论的本征特征用于有效地描绘人类面容。但是，如果要把本征特征看作是面容识别或有关应用的特征，因为本征特征的范围不相同，应当规格化本征特征。

一种合理的规格化方法是用训练组中的本征特征的对应标准偏差除本征特征。设σ_i ^(j)是训练组中w_i ^(j)的标准偏差，其中j＝1，2代表一次或二次本征特征。那么图像Φ的规格化本征特征是： ${\tilde{w}}_i^{\left(j\right)}\left(\mathrm{\Φ}\right)=\frac{{\stackrel{-}{w}}_i^{\left(j\right)}\left(\mathrm{\Φ}\right)}{{\mathrm{\σ}}_i^{\left(j\right)}}$

将面容图像的相似性简单地定义为规格化投影之间的加权的距离： $\mathrm{\δ}({\mathrm{\Φ}}_1,{\mathrm{\Φ}}_2)=\underset{i=1}{\overset{M_1^{\′}}{\mathrm{\Σ}}}\left|\right|a_i^{\left(1\right)}({\tilde{w}}_i^{\left(1\right)}\left({\mathrm{\Φ}}_1\right)-{\tilde{w}}_i^{\left(1\right)}\left({\mathrm{\Φ}}_2\right))\left|\right|+\underset{j=1}{\overset{M_2}{\mathrm{\Σ}}}\left|\right|a_j^{\left(2\right)}({\tilde{w}}_j^{\left(2\right)}\left({\mathrm{\Φ}}_1\right)-{\tilde{w}}_j^{\left(2\right)}\left({\mathrm{\Φ}}_2\right))\left|\right|.....\left(10\right)$

如果a_i ⁽¹⁾＝0，那么对于照明不变面容描绘，将仅用二次本征特征测量面容图像的相似性。对于视角不变情况，一次和二次本征特征都需要。加权数如下选择：

根据应用，加权数也可以选择其它的数。事实上，可以把加权数嵌入调节的本征面容，以减少计算，并且也可以把规格化参数移到本征面容矩阵。为了节省存储空间，应当把本征面容矩阵和本征特征从浮点量化到整数。设 其中

和Round()是四舍五入函数，和j＝1，2。可以用以下公式量化本征特征：

其中 Γ_k是训练组中的图像。特征组可以写为

和

因此，可以将每个本征特征量化到8比特。

此外，为了减小总本征特征的大小，可以根据它们的训练组的标准偏差重新量化本征特征。可以把这考虑为面容描绘信息规模与检索精确度之间的权衡。根据我们的经验，可以如下分配每个本征特征的比特： $N_i^{\left(j\right)}=\mathrm{round}\left({\log }_2(\frac{{\mathrm{\σ}}_i^{\left(j\right)}}{\min \left({\mathrm{\σ}}^{\left(j\right)}\right)}\×16)\right)$ 其中min(σ^(j))是第j次本征特征的标准偏差的最小值。尽管不同的本征特征分配了不同的比特，但范围仍然保持[-128，127]。利用这种量化策略，面容描绘信息规模可以减小大约40％，而检索精度降低大约1％至2％。如果初始量化策略可以接受，那么不需要进一步的量化。在这里给出了一个规格化和截取过程示例，以进一步从公式(10-1)量化和压缩特征，并且可以将每个本征特征表示为统一的5比特：

其中Z＝16384*8是从我们的试验得到的规格化常数。

利用上述公式，视角不变描绘的两个面容图像Φ₁，Φ₂之间的距离可以如下计算：

照明不变描绘的两个面容图像Φ₁，Φ₂之间的距离可以如下计算：

为了进一步压缩面容描绘信息，可以将可变长度编码运用到量化的本征特征。可以用霍夫曼编码技术和算术编码技术来做这一工作。

编码表可以如下计算：

1)为训练组中的图像，计算本征特征；

2)用上述策略量化本征特征；

3)为具有相同比特分配的量化本征特征，计算每个量化级的概率；

4)为所有量化级计算可变长度码；

5)用步骤(3)和(4)为所有比特分配情况计算所有编码表。

利用这种方法，可以进一步压缩面容描绘信息。接下来，在可以计算两个面容描绘信息之间的距离之前，应当给编码面容描绘语言解码。

根据我们的观察，也可以用一次本征特征本身来描绘视角和照明不变面容特征。视角不变面容特征可以是从对应于头N个最大本征值的本征面容中提取的本征特征。照明不变面容特征可以是从对应于前面第k至第N个最大本征值的本征面容提取的本征特征，其中0＜k＜N。一般情况下，4≤k≤10，和40≤N≤60。我们建议使用k＝8，N＝40，和总本征面容数量是48。图4和图5分别示出了提取不受照明影响的本征特征的流程图，和提取不受视角影响的本征特征的流程图。

图4中示出了提取不受照明影响的本征特征的方法，提供了以下步骤：

步骤410：计算调节的二次本征面容矩阵。

步骤420：获得调节的二次本征特征。

步骤430：从调节的二次本征特征选择特征以描绘面容。

步骤440：用VLC编码量化的本征特征。这个步骤可以删除。

在图5中示出了提取不受视角影响的本征特征的方法，提供了以下步骤：

步骤510：计算调节的一次本征面容矩阵。

步骤520：计算调节的二次本征面容矩阵。

步骤530：获得调节的一次本征特征。

步骤540：获得调节的二次本征特征。

步骤550：量化调节的一次本征特征和调节的二次本征特征。

步骤560：从调节的一次和二次本征特征选择特征以描绘面容。

步骤570：用VLC编码量化的本征特征。这个步骤可以删除。

本发明对于描绘人类面容十分有效。由于仅可以利用训练面容图像计算二次本征面容一次，所示可以如一次特征一样有效地获得二次特征。由于利用高次本征特征可以揭示详细信息，因而在视角不变面容描绘中，与相同数量的一次本征特制相比，一次和二次本征特征的组合性能更好。与一次本征特征相比，二次本征特征具有好得多的照明不变面容描绘能力。本发明对于描绘人类面容十分有效并且具有很高的效率。描绘方法可以在因特网多媒体数据库检索、视频编辑、数字图书馆、监视和跟踪、以及广泛使用面容识别和确认的其它应用中使用。

Claims (33)

1.一种提取用于照明不变的面容描绘的特征的方法，包括步骤：

取得一个面容图像的调节的二次本征特征；

量化所述调节的二次本征特征；和

从所述量化的二次本征特征选择特征以构造描绘面容的面容描绘信息。

2.一种提取用于照明不变的面容描绘的特征的方法，包括步骤：

取得一个面容图像的调节的二次本征特征；

量化所述调节的二次本征特征；

从所述量化的二次本征特征选择特征以构造描绘面容的面容描绘信息；和

对照明不变的面容描绘信息中所述选择的本征特征编码。

3.一种提取用于视角不变的面容描绘的特征的方法，包括步骤：

取得一个面容图像的调节的一次本征特征；

取得一个面容图像的调节的二次本征特征；

量化所述的调节的一次本征特征；

量化所述的调节的二次本征特征；和

从所述量化的一次和二次本征特征选择特征以构造描绘面容的面容描绘信息。

4.一种提取用于视角不变的面容描绘的特征的方法，包括步骤：

取得调节的一次本征特征；

取得调节的二次本征特征；

量化所述调节的一次本征特征；

量化所述调节的二次本征特征；

从所述量化的一次和二次本征特征选择特征以构造描绘面容的面容描绘信息；和

对视角不变的面容描绘信息中的所述选择的本征特征编码。

5.根据权利要求1所述的方法，其特征在于取得一个面容图像的调节二次本征特征的步骤包括步骤：

取得面容图像和一个调节的二次本征面容矩阵的点积。

6.根据权利要求3所述的方法，其特征在于取得一个面容图像的调节一次本征特征的步骤包括步骤：

取得面容图像和一个调节的一次本征面容矩阵的点积。

7.根据权利要求6所述的方法，其特征在于计算所述调节的一次本征面容矩阵的步骤包括步骤：

计算一次本征面容矩阵；和

调节所述一次本征面容矩阵。

8.根据权利要求5所述的方法，其特征在于计算所述调节的二次本征面容矩阵的步骤包括步骤：

计算二次本征面容矩阵；和

调节所述二次本征面容矩阵。

9.根据权利要求7所述的方法，其特征在于调节所述一次本征面容的步骤包括步骤：

取得训练面容图像的一次本征特征；

将一次本征面容排列为原始图像的二维数组；

取得所述二维数组的镜像本征面容；

给所述镜像本征面容图像加权；

将所述加权本征面容图像与所述一次本征面容相加；

重新排列一次本征面容以获得一维调节一次本征面容；

使调节的一次本征面容规格化；

取得用于距离计算的调节的一次本征特征的加权数；

将用于距离计算的一次本征特征的加权数与调节的一次本征面容矩阵相乘；和

量化一次本征面容矩阵。

10.根据权利要求8所述的方法，其特征在于计算二次本征面容的步骤包括步骤：

计算一次本征面容矩阵；

从训练面容图像取得一次本征特征；

计算所述一次本征面容矩阵的伪逆矩阵；

通过将所述一次本征特征与一次本征面容矩阵的所述伪逆矩阵相乘计算一次重构面容图像；

通过从原始图像减去一次重构面容图像取得二次剩余图像；和

通过计算所述二次剩余图像的本征向量取得二次本征面容。

11.根据权利要求8所述的方法，其特征在于调节二次本征面容的步骤包括步骤：

通过计算面容图像和二次本征面容的点积取得训练图像的二次本征特征；

将二次本征面容再成形到原始图像形状和取得左右镜像本征面容图像；

给镜像本征面容图像加权并且把它们加到对应原始图像成形的二次本征面容图像；

重新排列原始图像成形的二次本征面容，以获得一维调节的二次本征面容；

使调节的二次本征面容规格化；

取得用于距离计算的二次本征特征的加权数；

将用于距离计算的二次本征特征的加权数与调节的二次本征面容矩阵相乘；和

量化二次本征面容矩阵。

12.根据权利要求9所述的方法，其特征在于量化调节的一次本征面容矩阵的步骤包括步骤：

取得调节的一次本征面容矩阵的最大值和最小值；

通过把所述最大值与所述最小值之间的间隔分割成多个量化级取得量化阶；

用所述量化阶除所述调节的一次本征面容矩阵；和

将所述被除值四舍五入到最近的整数。

13.根据权利要求11所述的方法，其特征在于量化调节的二次本征面容矩阵的步骤包括步骤：

取得所述调节的二次本征面容矩阵的最大值和最小值；

通过把所述最大值与所述最小值之间的间隔分割成多个量化级取得量化阶；

用所述量化阶除所述调节的二次本征面容矩阵；和

将所述被除值四舍五入到最近的整数。

14.根据权利要求1所述的方法，其特征在于取得调节的二次本征特征的步骤包括步骤：

通过把所述量化的二次本征面容矩阵与权利要求11中所述量化阶相乘取得恢复的调节二次本征面容；和

通过将每一列形式的恢复的调节二次本征面容与行形式的面容图像相乘取得二次本征特征。

15.根据权利要求3所述的方法，其特征在于取得调节的一次本征特征的步骤包括步骤：

通过把所述量化的一次本征面容矩阵与权利要求12中的所述量化阶相乘取得恢复的调节的一次本征面容；和

通过将每一列形式的恢复的调节一次本征面容与行形式的面容图像相乘取得一次本征特征。

16.根据权利要求1所述的方法，其特征在于量化调节的二次本征特征的步骤包括步骤：

取得训练图像的所述调节的二次本征特征的最大值和最小值；

通过把所述最大值与所述最小值之间的间隔分割成多个量化级取得量化阶；

用所述量化阶除所述调节的二次本征特征；和

将所述被除值四舍五入到最近的整数。

17.根据权利要求1所述的方法，其特征在于量化调节的二次本征特征的步骤包括步骤：

取得训练图像的所述调节的二次本征特征的最大值和最小值；

通过把所述最大值与所述最小值之间的间隔分割成多个量化级取得量化阶；

用所述量化阶除所述调节的二次本征特征；

将所述被除值四舍五入到最近的整数；

通过计算训练组中对应的本征特征的标准偏差除以标准偏差的最小值的四舍五入的对数，将不同的比特数分配给不同本征特征；和

根据对应的比特分配量化所述本征特征。

18.根据权利要求3所述的方法，其特征在于量化调节的一次本征特征的步骤包括步骤：

取得训练图像的调节的一次本征特征的最大值和最小值；

通过把所述最大值与所述最小值之间的间隔分割成多个量化级取得量化阶；

用所述量化阶除所述调节的一次本征特征；和

将所述被除值四舍五入到最近的整数。

19.根据权利要求3所述的方法，其特征在于量化调节的一次本征特征的步骤包括步骤：

取得训练图像的调节的一次本征特征的最大值和最小值；

通过把所述最大值与所述最小值之间的间隔分割成多个量化级取得量化阶；

用所述量化阶除所述调节的一次本征特征；

将所述被除值四舍五入到最近的整数；

通过计算训练组中对应的本征特征的标准偏差除以标准偏差的最小值的四舍五入的对数，将不同的比特数分配给不同本征特征；和

根据对应的比特分配量化所述本征特征。

20.根据权利要求9所述的方法，其特征在于取得用于距离计算的调节一次本征特征的加权数的步骤包括步骤：

取得训练面容图像的所述调节的一次本征特征的标准偏差；和

通过提取所述标准偏差的平方根取得加权数。

21.根据权利要求11所述的方法，其特征在于取得用于距离计算的调节二次本征特征的加权数的步骤包括步骤：

取得训练面容图像的所述调节二次本征特征的偏差；和

通过提取所述偏差的平方根取得调节的二次本征特征的加权数。

22.一种测量面容之间的照明不变的类似性的方法，包括步骤：

用权利要求1和2中所述方法提取照明不变的面容描绘的面容本征特征；

取得面容的所述本征特征的欧几里得距离；和

选择最小欧几里得距离以指示面容最佳匹配对。

23.一种测量面容之间的视角不变的类似性的方法，包括步骤：

用权利要求3和4中所述方法提取视角不变的面容描绘的面容本征特征；和

取得面容特征的欧几里得距离；和

选择最小欧几里得距离以指示面容最佳匹配对。

24.一种取得用于照明不变的面容描绘信息的可变长度编码(VLC)的代码表的方法，包括步骤：

用权利要求1中所述方法取得训练组的所述量化本征特征；

根据比特分配将所述本征特征分类成组；

用一种熵编码法构造每个具有相同比特分配的本征特征的所述组的代码表。

25.一种取得用于视角不变的面容描绘信息的可变长度编码(VLC)的代码表的方法，包括步骤：

用权利要求3中所述的方法取得训练组的所述量化本征特征；

根据比特分配将所述本征特征分类成组；

利用一种熵编码法构造每个具有相同比特分配的本征特征的所述组的代码表。

26.一种根据权利要求24所述的构造代码表的方法，其特征在于熵编码法是一种基于量化级概率的霍夫曼编码法。

27.一种根据权利要求24所述的构造代码表的方法，其特征在于熵编码法是一种基于量化级概率的算术编码法。

28.根据权利要求1所述的方法，其特征在于编码照明不变的面容描绘信息的步骤包括步骤：

在用权利要求24中所述方法产生的代码表中查寻每个量化本征特征，并且利用对应的码字代表所述量化本征特征。

29.根据权利要求3所述的方法，其特征在于编码视角不变的面容描绘信息的步骤包括步骤：

在用权利要求25中所述方法产生的代码表中查寻每个量化本征特征，并且利用对应的码字代表所述量化本征特征。

30.一种提取用于一般面容描绘的特征的方法，包括步骤：

用权利要求7中所述的方法取得面容图像的调节一次本征特征；

用权利要求19中所述的方法量化所述调节的一次本征特征；和

从所述量化的一次本征特征中选择特征以构造描绘面容的面容描绘信息。

31.一种提取用于一般面容描绘的特征的方法，包括步骤：

用权利要求7中所述的方法取得面容图像的调节一次本征特征；

用权利要求19中所述的方法量化所述调节的一次本征特征；

从所述量化一次本征特征选择特征以构造描绘面容的面容描绘信息；和

对面容描绘信息中的所述选择的本征特征编码。

32.根据权利要求30所述的方法，其特征在于从所述量化的一次本征特征选择特征以构造描绘面容的面容描绘信息的步骤包括步骤：

为视角不变的面容描绘选择对应于前N个最大本征值的本征特征。

33.根据权利要求30所述的方法，其特征在于从所述量化一次本征特征选择特征以构造描绘面容的面容描绘信息的步骤包括步骤：

为照明不变的面容描绘选择对应于第k至第N个最大本征值(0＜k＜N)的本征特征。

Images