CN101082955B - 模式特征提取方法及用于执行该方法的设备 - Google Patents

Abstract

输入模式特征量被分解成元素矢量。对于每一个特征矢量，事先准备了通过判别式分析而获得的判别式矩阵。每一个特征矢量被投影到由判别式矩阵所定义的判别式空间中，并且维数得到压缩。根据所获得的特征矢量，使用判别式矩阵再次进行投影，以计算特征矢量，从而抑制了有效用于识别的特征量的减少，并且执行有效的特征提取。

Description

模式特征提取方法及用于执行该方法的设备

本申请是2004年10月22日提交的申请号为03809032.5的专利申请的分案申请。

背景技术

当前在模式识别领域，通过从输入模式中提取特征矢量、从特征矢量中提取有效用于识别的特征矢量并且对从各个模式中获取的特征矢量进行比较，可以测定诸如字符或人脸等模式之间的相似度。

例如，在人脸验证的情况下，使用人眼等的位置对人脸图像进行归一化之后的像素值，经过光栅扫描后将像素值变换成一维特征矢量，并且通过使用该特征矢量作为输入特征矢量进行主成分分析(非专利参考文献1：Moghaddam等人的“Probabilistic Visual Learning for ObjectRepresentation”(用于目标表示的随机视觉训练)，IEEE模式分析与机器智能学报，Vol.19，No.7，pp.696-710，1997)，或者对特征矢量的主成分进行线性判别式分析(非专利参考文献2：W.Zhao等人的“Discriminant Analysis of Principal Components for Face Recognition”(用于人脸识别的主成分判别式分析)，IEEE人脸和手势自动识别第三届国际会议论文，pp.336-341，1998)，从而减少了维数和通过使用所获得的特征矢量来进行基于人脸的身份验证等。

在这些方法中，根据所准备的训练样本计算出了协方差矩阵、类内协方差矩阵和类间协方差矩阵，并且在协方差矩阵中获得基矢来作为特征值问题的解。然后通过使用这些基矢来转换输入特征矢量的特征。

下面来详细讲述线性判别式分析。

线性判别式分析是一种获得变换矩阵W的方法，该矩阵能够最大化当使用变换矩阵W对N维特征矢量x进行变换时所获得的M维矢量y(＝W^Tx)的类间协方差矩阵S_B与类内协方差矩阵S_W之比。作为这种协方差估计函数的等式(1)的表达式定义如下：

$J\left(W\right)=\frac{\left|S_B\right|}{\left|S_W\right|}=\frac{\left|W^T{\mathrm{\Σ}}_{B}W\right|}{\left|W^T{\mathrm{\Σ}}_{W}W\right|}---\left(1\right)$

在该等式中，类内协方差矩阵∑W和类问协方差矩阵∑B分别为训练样本中一组特征矢量x中的C个类ω_i的协方差矩阵∑i(i＝1，2，...，C；它们的数据计数n_i)和这些类之间的协方差矩阵，它们的表达式分别是：

$\mathrm{\ΣW}=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}P\left({\mathrm{\ω}}_i\right)\mathrm{\Σi}$

(2)

$=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}\left(P\left({\mathrm{\ω}}_i\right)\frac{1}{n_i}\underset{x\∈x_i}{\mathrm{\Σ}}(x-m_i){(x-m_i)}^T\right)$

$\mathrm{\ΣB}=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}P\left({\mathrm{\ω}}_i\right)(m_i-m){(m_i-m)}^T---\left(3\right)$

其中m_i为类ω_i的平均矢量(见等式(4))，并且m为所有x的平均矢量(见等式(5))：

$m_i=\frac{1}{n_i}\underset{x\∈x_i}{\mathrm{\Σ}}x---\left(4\right)$

$m=\underset{i=1}{\overset{C}{\mathrm{\Σ}}}P\left({\mathrm{\ω}}_i\right)m_i---\left(5\right)$

如果每一个类ω_i的似然概率P(ω_i)事先反映的样本数为n_i，则可以充分假设P(ω_i)＝n_i/n。如果假设每一个概率都相等，则可以充分假设P(ω_i)＝1/C。

可以获得使等式(1)最大化的变换矩阵W，并作为对应于作为列矢量w_i的特征值问题的等式(6)的M个大特征值的一组归一化特征矢量。以这种方式获得的变换矩阵W被称为判别式矩阵。

∑_BW_i＝λ_i∑_WW_i    (6)

注意，现有线性判别式分析方法在例如非专利参考文献5：RichardO.Duda等人的“模式识别”(由Morio Onoue所指导和翻译，Shingijutu通信公司，2001，pp.113-122)中有公开。

假设输入特征矢量x的维数特别大。在这种情况下，如果使用小的训练数据，则∑W成为奇异的。结果，使用一般性方法无法解决等式(6)的特征值问题。

如专利参考文献1所述：日本专利未决公开7-296169，已知在协方差矩阵中具有较小特征值的高阶成分包括大的参数估计误差，这对识别的精确性不利。

根据W.Zhao等人的上述文章，对输入特征矢量进行主成分分析，并且对具有较大特征值的主成分进行判别式分析。更为具体地说，如图2所示，在通过使用由主成分分析获得的基矩阵对输入特征矢量进行投影来提取出主成分之后，还通过使用由主成分分析获得的判别式矩阵作为基矩阵对主成分进行投影来提取出有效用于识别的特征矢量。

根据专利参考文献1：日本专利未决7-296169中所述的用于特征变换矩阵的计算方案，维数通过删除总协方差矩阵∑T的高阶特征值和相应特征矢量而获得减少，并且对较少的特征空间进行判别式分析。删除总协方差矩阵的高阶特征值和相应特征矢量等价于通过主成分分析在只具有较大特征值的主成分空间中进行判别式分析。从这个意义上说，这一技术，比如W.Zhao的方法，通过去除高阶特征来提供稳定的参数估计。

不过，使用总协方差矩阵∑T进行主成分分析并不比在出现较大协方差的轴向上依次选择特征空间的正交轴要好多少。由于这个原因，失去了有效用于模式识别的特征轴。

假设特征矢量x由三个元素组成(x＝(x₁，x₂，x₃)^T)，其中x₁和x₂是具有较大协方差但是与模式识别无关的特征，并且x₃是有效用于模式识别但是具有较小协方差的特征(类间协方差/类内协方差，也就是Fisher比，比较大，但是方差值本身比x₁和x₂的Fisher比都要小)。在这种情况下，如果进行了主成分分析并且只选择了两维值，则选择了与x₁和x₂有关的特征空间，而忽略了有效用于识别的x₃的贡献。

下面将参考附图来讲述这一问题。假设图3A是从与由x₁和x₂定义的平面几乎垂直的方向来看的数据分布，其中黑圈和白圈表示处于不同类的数据点。当在由x₁和x₂定义的空间(图3A中的平面)中来看时，可以识别黑圈和白圈。不过，如图3B所示，当从垂直于该平面的x₃的特征轴来看时，无法将黑圈和白圈相互分开。不过，如果选择具有较大协方差的轴，则选择了由x₁和x₂定义的平面来作为特征空间，这等价于参考图3A进行区别。因此使得很难进行区别。

在现有技术中，存在一个通过主成分分析和在(总)协方差矩阵中删除具有较小特征值的空间的技术所无法避免的问题。

发明内容

本发明考虑到现有技术中存在的上述问题，并且它的目标是提出一种特征矢量变换技术，用于在要从输入模式特征矢量中提取有效用于识别的特征矢量和要抑制特征维数时，能够抑制有效用于识别和执行有效特征提取的特征量的减少。

根据本发明的模式特征提取方法的特征是包括：通过使用多个特征矢量x_i来表达模式特征和来自图像的特征之一；通过对多个特征矢量x_i的每一个进行线性判别式分析来获得每一个特征矢量的判别式矩阵W_i；通过使用判别式矩阵W_i对矢量x_i进行线性变换获得矢量y_i，然后通过排列矢量y_i而获得特征矢量y，再通过对特征矢量y进行线性判别式分析而事先获得判别式矩阵W_T；以及进行由判别式矩阵W_i和判别式矩阵W_T所指定的线性变换。

这一模式特征提取方法的特征是，进行线性变换的步骤包括通过变换模式的特征矢量来压缩特征维数。

另外，该方法的特征是，表达步骤包括：将模式特征分成多个特征矢量x_i；获得判别式矩阵W_T的步骤包括：通过使用判别式矩阵W_i对特征矢量x_i进行线性变换 $y_i=W_i^T{x}_i$ 来计算特征矢量y_i；以及进行线性变换的步骤包括：通过使用判别式矩阵W_T来对组合所计算出的特征矢量y_i而获得的矢量y进行线性变换z＝W_T ^Ty而获得特征矢量z，对通过计算特征矢量z所获得的模式特征的维数进行压缩。

另外，该方法的特征是，进一步包括：事先计算由判别式矩阵W_i和W_T所指定的矩阵W，其中进行线性变换的步骤包括：通过使用矩阵W来对通过组合输入特征矢量x_i和矩阵W而获得的特征矢量x进行线性变换z＝W_Tx来计算特征矢量z，对通过计算特征矢量z所获得的模式特征的维数进行压缩。

上述模式特征提取方法的特征是，表达步骤包括：提取由从图像中预设的多个样本点集S_i中的多个样本点获得的像素值所形成的特征矢量x_i；并且进行线性变换的步骤包括：通过对每一个图像样本集变换特征矢量来从图像中提取特征量。

这一模式特征提取方法的特征是，事先获得判别式矩阵W_T的步骤包括：通过使用判别式矩阵W_i对从多个样本点形成的多个特征矢量x_i进行线性变换y_i＝W_iTx_i来计算特征矢量y_i；并且进行线性变换的步骤包括：通过使用判别式矩阵W_T来对组合所计算的特征矢量y_i而获得的矢量y计算线性变换z＝W_T ^Ty而获得特征矢量z，通过计算特征矢量z来从图像中提取特征量。

该方法的特征是，进一步包括：事先计算由判别式矩阵W_i和W_T所指定的矩阵W，其中进行线性变换的步骤包括：通过使用矩阵W来对组合特征矢量x_i和矩阵W而获得的特征矢量x进行线性变换z＝W_Tx而获得特征矢量z，通过计算特征矢量z来从图像提取特征量。

上述模式特征提取方法的特征是，表达步骤包括：将图像分割成多个预设局部区域，并且对于多个局部区域的每一个，将特征量表达成所提取的特征矢量x_i；并且进行线性变换的步骤包括：通过变换局部区域的特征矢量来从图像中提取特征量。

这一模式特征提取方法的特征是，事先获得判别式矩阵W_T的步骤包括：通过使用判别式矩阵W_i来对特征矢量x_i进行线性变换y_i＝W_i ^Tx_i而计算出特征矢量y_i；并且进行线性变换的步骤包括：通过使用判别式矩阵W_T来对组合所计算的特征矢量y_i而获得的矢量y计算线性变换z＝W_T ^Ty而获得特征矢量z，通过计算特征矢量z来从图像中提取特征量。

该方法的特征是，进一步包括：事先计算由判别式矩阵W_i和W_T所指定的矩阵W，其中进行线性变换的步骤包括：通过使用矩阵W来对组合输入特征矢量x_i和矩阵W而获得的特征矢量x进行线性变换z＝W_Tx获得特征矢量z，通过计算特征矢量z来从图像提取特征量。

上述模式特征提取方法的特征是，进一步包括：对图像进行二维傅立叶变换，其中表达步骤包括：提取二维傅立叶变换的实部和虚部来作为特征矢量x_i，以及计算二维傅立叶变换的功率谱和提取功率谱来作为特征矢量x₂，以及在进行线性变换的步骤中，通过变换特征矢量来从图像中提取特征量。

这一模式特征提取方法的特征是，在进行线性变换的步骤中，以实现降维的方式，由对应于特征矢量x_i的主成分的判别式矩阵W_i和判别式矩阵W_T所指定的线性变换，来变换对应于傅立叶分量的实部和虚部的特征矢量x₁和对应于傅立叶分量的功率谱的特征矢量x₂，从而从图像中提取特征量。

这一模式特征提取方法的特征是，进一步包括通过使用用于变换特征矢量x₁的主成分的变换矩阵Ψ₁和由对应于主成分的判别式矩阵W₁所表示的基矩阵Φ₁(＝(W₁ ^TΨ₁ ^T)^T)，进行线性变换y₁＝Φ₁ ^Tx₁，基于傅立叶变换，计算由实部和虚部形成的特征矢量x₁的主成分的判别式特征，将获得的特征矢量y₁的尺寸归一化到预定尺寸，通过使用用于变换特征矢量x₂的主成分的变换矩阵Ψ₂和由对应于主成分的判别式矩阵W₂所表示的基矩阵Φ₂(＝(W₂ ^TΨ₂ ^T)^T)，基于傅立叶变换，计算从功率谱形成的特征矢量x₂的主成分的判别式特征，将获得的特征矢量y₂的尺寸归一化到预定尺寸，以及通过使用判别式矩阵W_T相对于通过组合两个特征矢量y₁和y₂获得的特征矢量y来计算线性变换z＝W_T ^Ty而获得特征矢量z，通过计算特征矢量z从图像中提取特征量。

这一模式特征提取方法的特征是，表达的步骤进一步包括：将图像分割成多个区域，并且在提取特征矢量x₂的步骤中，在每一个所分割的区域中计算二维傅立叶功率谱。

另外，该方法的特征是，在分割步骤中，区域以多种方式被分割成具有不同尺寸的区域。

另外，该方法的特征是，进一步包括：通过对所获得的二维傅立叶功率谱进行kernel判别式分析而进行特征提取并且提取有效特征量，减少特征维数。

该方法的特征是，进一步包括使用通过对所获得的二维傅立叶功率谱进行线性判别式分析而事先获得的判别式矩阵进行线性变换，减少特征维数。

该方法的特征是，事先获得判别式矩阵W_i的步骤包括：获得通过对特征矢量x_i(i＝1，2)的主成分进行线性判别式分析而获得的特征矢量的判别式矩阵W_i，并且在进行线性变换的步骤中，通过变换对应于傅立叶分量的实部和虚部的特征矢量x₁和对应于傅立叶分量的功率谱的特征矢量x₂来从图像中提取特征量，从而通过由用于特征矢量x_i的主成分的判别式矩阵W_i和判别式矩阵W_T指定的线性变换来进行降维。

这一模式特征提取方法的特征是，表达步骤进一步包括：计算二维傅立叶变换的功率谱，将图像分割成多个区域并且对每一个区域计算二维傅立叶变换的功率谱，以及提取通过组合各个功率谱而获得的矢量以作为特征矢量x₂。

根据本发明的模式特征提取设备是用于通过使用线性变换来抑制模式特征的特征维数的模式特征提取设备，其特征是包括基矩阵存储装置，用于存储特征矢量的判别式矩阵W_i和判别式矩阵W_T所指定的基矩阵，判别式矩阵W_i通过对表示模式特征的多个特征矢量x_i进行线性判别式分析而获得，判别式矩阵W_T通过使用判别式矩阵对通过对矢量x_i进行线性变换而获得的矢量y_i进行组合获得的特征矢量y进行线性判别式分析而事先获得；以及线性变换装置，用于通过使用由所述基矩阵存储装置所存储的基矩阵来变换模式的特征矢量从而压缩特征维数。

根据本发明的计算机可读存储介质是其中记录有用于使计算机通过线性变换来执行模式特征提取以压缩模式特征的特征维数的程序的计算机可读存储介质，所述程序的特征在于包括用于执行如下功能的程序：通过多个特征矢量x_i来表达模式特征、事先获取通过对每一个特征矢量x_i进行线性判别式分析而获得的特征矢量的判别式矩阵W_i、以及通过对将对矢量x_i进行线性变换获得的y_i组合起来获得的特征矢量y进行线性判别式分析而事先获得判别式矩阵W_T，以及通过由判别式矩阵W_i和判别式矩阵W_T所指定的线性变换来变换模式的特征矢量，压缩特征维数。

根据本发明的图像特征提取方法的特征是，包括通过使用预定的数学表达式来计算输入归一化图像的傅立叶谱，获得傅立叶谱矢量；从归一化图像的部分图像的傅立叶幅度中提取多块傅立叶幅度矢量；通过使用基矩阵对傅立叶谱矢量和多块强度矢量进行特征矢量投影，获得傅立叶谱矢量和多块强度矢量的归一化矢量；将归一化矢量进行组合，形成组合的傅立叶矢量，并通过使用第二基矩阵，获得耦合值的投影矢量；以及通过量化投影矢量，提取傅立叶特征。

附图说明

图1为框图，示出了根据本发明的一个实施例的模式特征提取设备的结构；

图2示出了对现有技术的解释；

图3示出了对模式特征分布的解释；

图4为框图，示出了根据本发明第二实施例的模式特征提取设备的结构；

图5示出了对本发明实施例的解释；

图6示出了对本发明实施例的解释；

图7为框图，示出了根据本发明第三实施例的人脸图像匹配系统的结构；

图8示出了对本发明实施例的解释；

图9示出了对本发明实施例的解释；

图10示出了对本发明实施例的解释；

图11示出了对本发明实施例的解释；

图12示出了对本发明实施例的解释；

图13示出了对本发明实施例的解释；

图14示出了对本发明实施例的解释；

图15示出了根据本发明第五实施例的人脸描述的例子；

图16示出了在本发明第五实施例中使用二进制表示法时的规则例子；

图17示出了对如何提取本发明第五实施例中的傅立叶特征(FourierFeature)的解释；

图18示出了在本发明第五实施例中傅立叶谱扫描方法的例子；

图19是一个表，示出了在本发明第五实施例中傅立叶谱扫描规则的例子；

图20是一个表，示出了在本发明第五实施例中用于CentralFourierFeature元素的傅立叶空间中的扫描区域的例子；

图21示出了本发明第五实施例的框图的例子。

具体实施方式

(第一实施例)

现在参考附图来详细讲述本发明的实施例。图1为框图，示出了根据本发明的模式特征提取设备。

下面来详细讲述该模式特征提取设备。

如图1所示，根据本发明的模式特征提取设备包括第一线性变换装置11，用于对输入特征矢量x₁进行线性变换；第二线性变换装置12，用于对输入特征矢量x₂进行线性变换；以及第三线性变换装置13，用于接收经过线性变换装置11和12变换和降维的特征矢量，并且对其进行线性变换。各个线性变换装置通过使用事先通过训练所获取并存储在判别式矩阵存储装置14、15和16中的判别式矩阵，基于判别式分析来执行基本变换。

输入特征特征矢量x₁和x₂为根据字符识别、人脸确认等目的所提取的特征量，并且包括例如从图像的梯度特征计算出的方向特征、以及不亚于图像像素值的密度特征。每一个矢量包括多个元素。在这种情况下，例如，N₁方向特征作为一个特征矢量x₁被输入，而其他的N₂密度值作为特征矢量x₂被输入。

判别式矩阵存储装置14和15存储通过对特征矢量x₁和x₂执行线性判别式分析而获取的判别式矩阵W₁和W₂。

如上所述，参照根据它们的类所准备的训练样本中的特征向量，可以通过计算类内协方差矩阵∑W(方程式(2))和类间协方差矩阵∑B(方程式(3))来获取判别式矩阵。每一个类ω_i的似然概率P(ω_i)可以写为P(ω_i)＝n_i/n，样本数n_i是一一映射的。

参照这些协方差矩阵，通过选择与方程式(6)中表示的特征值问题中的较大特征值相对应的特征矢量W_i，可以获取判别式矩阵。

当参照特征矢量x₁和x₂来选择小于输入特征维N₁和N₂的M₁维和M₂维的基时，通过投影变换为判别式基可以获取M₁维和M₂维的特征矢量y₁和y₂。

$y_1=W_1^T{x}_1$

$y_2={W_2^{T}x}_2---\left(7\right)$

在这种情况下，矩阵W₁和W₂的大小分别为M₁×N₁和M₂×N₂。

通过大幅度地减少待投影的特征空间的维数M₁和M₂，可以有效地减少特征维的个数。这可以有效地减少数据量和提高处理速度。但是，如果特征维的个数减少得太多，判别式性能就会恶化。这是因为随着特征维个数的减少，失去了有效用于判别的特征量。

出于这一原因，特征矢量的维数M₁和M₂易受训练样本数的影响，并且优选情况下要由实验来决定。

第三线性变换装置13将由第一和第二线性变换装置计算出的矢量y₁和y₂，作为输入特征矢量y投影到判别式空间。与计算第一和第二判别式矩阵的情况相同，要存储到判别式矩阵存储装置16中的判别式矩阵W₃是从训练样本中获取的。输入特征矢量y的元素排列如下面的方程式(8)所示：

$y=\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)---\left(8\right)$

与方程式(7)的情况相同，通过使用基矩阵W₃(矩阵的大小为L×(M₁+M₂))，根据方程式(9)来投影第L维特征矢量y，并获得待输出的特征矢量z。

$Z=W_3^{T}y---\left(9\right)$

这样，每一个特征矢量都获得分解，并对维数较小的特征矢量的训练样本进行线性判别式分析，从而抑制在高维特征矢量中常发生的估计误差，并获取有效用于判别的特征。

在上述情况下，所提供的三个线性变换装置同时并且分步执行处理。不过，由于线性判别式装置基本是通过积-和计算单元实现的，因此通过根据待进行线性变换的输入特征矢量来切换待读出的判别式矩阵，可以共用一个线性变换装置。

这样，通过使用一个线性变换装置，就可以减少必需的计算单元的尺寸。

从方程式(7)、(8)和(9)可以看出，输出特征矢量z的计算可以表示为：

$Z=W_3^T\left(\begin{array}{c}{y}_1\\ y_2\end{array}\right)$

$=W_3^T\left(\begin{array}{c}{W}_1^T{x}_1\\ W_2^T{x}_2\end{array}\right)$

$=W_3^T\left(\begin{array}{cc}{W}_1^T& 0\\ 0& W_2^T\end{array}\right)\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)$

${=W}^T\left(\begin{array}{c}{x}_1\\ x_2\end{array}\right)---\left(10\right)$

也就是说，使用各个判别式矩阵的线性变换可以合并成使用一个矩阵的线性变换。在分步计算处理中，积-和计算的次数为L×(M₁+M₂)+M₁N₁+M₂N₂。当矩阵被合并成一个矩阵时，积-和计算的次数为L×(N₁+N₂)。如果例如N₁＝N₂＝500，M₁＝M₂＝200，并且L＝100，则在分步计算处理中需要进行240,000次积-和计算。在稍后的计算处理中，需要进行100,000次积-和计算。由于在后面情况下，批计算处理中的计算量小于前面的情况，因此可以实现高速计算。从数学表达式可以明显看到，当要减少最终维数L时，批计算方法可以减少计算量，因此是有效的。

(第二实施例)

根据上述情况，当不同种类的特征例如方向特征和密度特征等组合在一起时，则要对特征矢量重复执行判别式分析，该特征矢量中的每一个矢量都执行了判别式分析。不过，与一个特征相对应的多个元素可以被分成多个矢量，判别式分析可以针对作为输入特征的每一个元素集，并且相应的投影矢量进一步需要作判别式分析。

在第二实施例中将讲述人脸图像特征提取设备。

如图4所示，根据第二发明的人脸图像特征提取设备包括图像特征解构装置41，用于对输入的人脸图像进行密度特征解构；线性变换装置42，用于根据与特征矢量相对应的判别式矩阵来投影特征矢量；以及判别式矩阵组存储装置43，用于存储上述各个判别式矩阵。

从人脸图像提取特征的技术包括在眼部等部位对人脸图像进行定位和将密度值设为矢量特征的方法，如上述W.Zhao等人的文章中所公开的。

同样是在第二发明中，图像的像素密度值被作为输入特征，也就是原始特征来处理。不过，图像特征具有较大的图像尺寸，例如，42×54像素＝2352维，且左眼和右眼的中心位置的坐标规定为(14，23)和(29，23)。对于这么大的特征维数，通过使用有限的训练样本来直接执行线性判别分析，难以进行高精度的特征提取。因此，通过对图像特征元素进行解构，对所解构的特征进行判别式分析，并获取判别式矩阵，可以抑制在进行主成分分析等时所引起的特征恶化。

对图像特征进行解构的方法之一是分割图像。例如，如图5所示，图像被分成9个部分，每一个部分的尺寸是14×18像素(＝252维)，具有不同尺寸的局部图像被设定为特征矢量x：(i＝1，2，3，...，9)，并且通过使用训练样本，对各个部分图像进行判别式分析，从而事先获取与各个特征矢量相对应的判别式矩阵W_i。

注意，当对图像进行分割时，假设区域有重叠，这使得在特征矢量中，特征量有可能基于交界区域中像素之间的相关性实现映射。因此，在重叠之后可以对各个区域进行采样。

由于与原始图像相比，特征维数大幅度地降到252，因此通过从几百幅中的每一个，即总共几千幅人脸图像中，采样几幅图像，可以对基于判别式分析的基矩阵进行高精度计算。如果特征维数与初始特征一样大(2352维)，为了获得与基于判别式分析的特征相类似的效果，就必须采样几千幅单个的人脸图像。不过，实际上很难收集如此大量的图像数据，因此该技术不可能实现。

假设第一阶段判别式特征将每一个局部区域中的特征压缩到20维特征。在这种情况下，所产生的输出特征矢量成为9区域×20维＝180维的特征矢量。通过进一步对该特征矢量进行判别式分析，可以将维数有效地降到约50维。该第二阶段判别式矩阵也存储在判别式矩阵组存储装置43中，并且线性变换装置42在接收到第一阶段判别式特征的180维矢量时再次执行判别式分析。注意，第一阶段判别式矩阵和第二阶段判别式矩阵可以被事先计算出来，如方程式(10)所表示的。不过，当将252维×9区域压缩到20维×9区域，并将180维变换为50维时，两个阶段的计算将会减少所使用的存储空间，并且使计算量减少到1/2或更少，因此是有效的。

通过局部和分步地应用判别式分析，可以抽取带有高识别性能的人脸特征。假设在字符识别中，例如，中文字符“大”和中文字符“犬”被看成是相同的。在这种情况下，如果对每一个完整字符图像进行主成分分析，以提取带有较大特征值的成分，则有助于识别中文字符“大”和中文字符“犬”的特征就会丢失(出于这一原因，有时候通过使用特定的高序特征，而不是使用通过主成分分析所获取的带有较大特征值的那部分特征，来进行类似的字符识别)。在字符识别中将图像分割成局部区域和抽取判别式特征的有效性，与相似字符识别中的问题是类似的。可以认为，与对整个主成分进行判别式分析相比，在空间上限定易于识别的特征可以确保每单元维具有较高的精度。

另外，图像特征解构装置41可以从整个图像进行抽样，并且对采样图像进行分割而不是对整个图像进行分割，并针对每一个局部区域形成特征矢量。例如，当主特征除以9被分成252维矢量时，采样是在3×3区域中进行的，如图6所示。也就是说，所采样的图像成为位置稍有不同的缩简图像。这些缩简图像经过光栅扫描，变换成9个特征矢量。这些特征矢量被用作主矢量，以计算判别式分量。这些判别式分量可以被集成，以再次执行判别式分析。

(第三实施例)

现在参照附图来详细讲述本发明的另一实施例。图7为框图，示出了根据本发明的使用了人脸元数据生成设备的人脸图像匹配系统。

下面来详细讲述人脸图像匹配系统。

如图7所示，根据本发明的人脸图像匹配系统包括人脸图像输入单元71，用于输入人脸图像；人脸元数据生成单元72，用于生成人脸元数据；人脸元数据存储单元73，用于存储所抽取的人脸元数据；人脸相似度计算单元74，用于根据人脸元数据来计算人脸相似度；人脸图像数据库75，用于存储人脸图像；控制单元76，用于根据图像存储请求/图像检索请求来控制图像的输入、元数据的生成、元数据的存储，以及人脸相似度的计算；以及显示单元77，用于显示人脸图像和其他信息。

人脸元数据生成单元72包括区域裁剪装置721，用于从输入人脸图像裁剪人脸区域；以及人脸图像特征提取装置722，用于提取裁剪区域的人脸特征。人脸元数据生成单元72通过提取人脸特征矢量来生成有关人脸图像的元数据。

当要存储人脸图像时，通过使用诸如扫描仪或录相机等人脸图像输入单元71来输入人脸照片等，并调整人脸的尺寸和位置。可选情况下，人脸可以从录相机等直接输入。在这种情况下，优选情况下通过使用类似于Moghaddam的上述文献中所公开的人脸探测技术等，来探测输入图像的人脸位置，并且人脸图像的尺寸等自动地进行归一化。

需要的话可以将输入人脸图像存储在人脸图像数据库75中。在存储人脸图像的同时，人脸元数据生成单元72生成人脸元数据，并且将其存储在人脸元数据存储单元73中。

在检索时，人脸图像输入单元71输入人脸数据，并且与存储的情况一样，人脸元数据生成单元72生成人脸元数据。所创建的人脸元数据或者存储在人脸元数据存储单元73中，或者直接送到人脸相似度计算单元74。

在检索操作中，当要核对数据库中是否存在与事先输入的人脸图像相同的数据时(人脸识别)，计算出了输入人脸图像与人脸元数据存储单元73中所存储的每一个数据之间的相似度。控制单元76根据显示出最高相似度的结果，从人脸图像数据库75中选择人脸图像，并且在显示单元77等上显示人脸图像。然后操作者核对检索图像和存储图像中人脸的一致性。

当要核对事先通过ID号等指定的人脸图像是否与所检索的人脸图像相一致时(人脸确认)，人脸相似度计算单元74进行计算，以核对由ID号指定的人脸图像是否与所检索的图像相一致。如果计算出的相似度低于预定相似度，则确定两幅图像相互不一致，并且将结果显示在显示单元77上。假设该系统用于门禁管理。在这种情况下，通过使控制单元76将打开/关闭控制信号发送到自动门以便控制自动门而不是通过显示人脸图像，就可以执行门禁管理。

人脸图像匹配系统以上述方式运行。这一运行可以在计算机系统上实施。例如，通过存储下面将详细讲述的用于执行元数据生成的元数据生成程序和存储器中的相似度计算程序，并执行这些使用了程序控制处理器的程序，可以实现人脸图像匹配。

另外，可以将这些程序记录在计算机可读记录介质上。

下面来详细讲述该人脸图像匹配系统的运行，并且更为确切地说，将要讲述人脸元数据生成单元72和人脸相似度计算单元74的运行。

(1)人脸元数据的生成

通过使用位置和尺寸已经归一化了的图像I(x，y)，人脸元数据生成单元72提取人脸特征量。在对位置和尺寸进行归一化时，优选情况下将眼部位置设定为(16，24)和(31，24)，并将尺寸设定为46×56像素。在下面的情况中，图像已经归一化为该尺寸。

然后，区域裁剪装置721将人脸图像裁剪成多个预定的局部区域。在上述图像的情况中，例如一个区域为经过归一化的整个人脸图像(f(x，y))，另一个区域为位于人脸中心的32×32像素的中心区域g(x，y)。可以对该区域进行裁剪，以便两个眼睛的位置被设定为(9，12)和(24，12)。

之所以以上述方式来裁剪人脸的中心区域，原因是通过裁剪一个即使发型变化也不受发型等影响的范围(例如，当人脸确认用于家庭机器人时，即使发型在洗澡前后有所变化，也可以进行确认)，可以提取稳定的特征。如果发型等没有变化(例如，视频片断的场景中的身份识别)，由于使用包括有发型的图像来进行身份验证预计会提高识别性能，因此裁剪的是包括有发型的大型人脸图像以及人脸的中心部分的小型人脸图像。

然后，人脸图像特征提取装置722对两个经过裁剪的区域f(x，y)执行二维离散傅立叶变换，以提取人脸图像特征。

图8示出了人脸图像特征提取装置722的更为详细的结构。人脸图像特征提取装置包括傅立叶变换装置81，用于对经过归一化的裁剪图像执行离散傅立叶变换；傅立叶功率计算装置82，用于计算经过傅立叶变换的傅立叶频率分量的功率谱；线性变换装置83，用于将通过对通过傅立叶变换装置81计算出的傅立叶频率分量的实部和虚部进行光栅扫描而获得的特征矢量看作是一维特征矢量，并从特征矢量的主成分中提取判别式特征；基矩阵存储装置84，用于存储用于变换的基矩阵；线性变换装置85，用于以与上述相同的方式从功率谱中提取主成分的判别式特征；以及基矩阵存储装置86，用于存储用于变换的基矩阵。人脸图像特征提取装置722进一步包括线性变换装置88，用于将傅立叶特征的实部和虚部的判别式特征和功率谱的判别式特征的每一个归一化为尺寸为1的矢量，并计算通过组合两个特征矢量而获得的矢量的判别式特征；以及判别式矩阵存储装置89，用于为判别式特征存储判别式矩阵。

在使用这种结构提取了傅立叶频率特征之后，对包括傅立叶频率分量的实部和虚部作为元素的特征矢量以及包括功率谱作为元素的特征矢量，进行主成分判别式特征的计算，并且再次对通过组合上述矢量而获得的特征矢量进行计算，从而计算出入脸的特征量。

下面来更为详细地讲述每一个操作。

傅立叶变换装置81对输入图像f(x，y)(x＝0，1，2，...，M-1，y＝0，1，2，...，N-1)执行二维傅立叶变换，以根据方程式(11)来计算傅立叶特征F(u，v)。该方法已经广为人知，并且在例如Rosenfeld等人的“数字图像处理”(Kindai Kagaku Sha，pp.20-26)中有述，因此这里省略了对它的讲述。

$F(u,v)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\exp (-2\mathrm{\Πi}(\frac{\mathrm{xu}}{M}+\frac{\mathrm{yv}}{N}))---\left(11\right)$

根据方程式(12)，傅立叶功率计算装置通过获取傅立叶特征F(u，v)的尺寸来计算傅立叶功率谱|F(u，v)|。

$\left|F(u,v)\right|=\sqrt{{\left|\mathrm{Re}\left(F(u,v)\right)\right|}^2+{\left|\mathrm{Im}\left(F(u,v)\right)\right|}^2}---\left(12\right)$

以这种方式获得的二维傅立叶谱F(u，v)和|F(u，v)|是通过仅对二维实部进行变换而获得的，获得的傅立叶频率分量是对称的。因此，这些谱图像F(u，v)和|F(u，v)|具有M×N个分量(u＝0，1，...，M-1，v＝0，1，...，N-1)，并且这些分量中的一半，也就是M×N/2个分量(u＝0，1，...，M-1，v＝0，1，...，N-1)，和其余的一半分量基本上是等价的。因此，通过使用一半分量作为特征矢量，可以执行随后的处理。显然，通过省略对没有用作为傅立叶变换装置81和傅立叶功率计算装置82中的特征矢量的元素的那些分量的计算，可以使计算获得简化。

然后，线性变换装置83将抽取作为频率特征的特征量做为矢量来处理。事先要限定的部分空间是由通过准备人脸图像集以用于对相应裁剪区域中的频率特征矢量的主成分进行训练和执行判别式分析而获得的基矢(特征矢量)来设定的。由于该基矢是通过包括W.Zhao的著作在内的各种文献中都有讲述的广为熟知的方法而获得的，因此这里省略了对它的讲述。之所以不直接执行判别式分析的原因是，通过傅立叶变换而获得的特征矢量的维数太大，不能直接进行判别式分析。虽然主成分判别式分析中的现存问题还没有获得解决，但是该技术是提取第一阶段特征矢量技术的一种选择。可选情况下，可以使用通过重复判别式分析的方法而获得的基矩阵。

也就是说，通过对通过光栅扫描频率特征的实部和虚部而获得的一维特征矢量x₁的主成分进行判别式分析，可以事先通过训练样本而获得要存储在基矩阵存储装置84中的主成分判别式矩阵Φ₁。在这种情况下，并不需要总是将傅立叶特征作为复数来处理，可以通过将虚部处理成另一个特征元素而将其作为实数来处理。

假设Ψ₁为用于主成分的基矩阵，并且W₁为通过对主成分的矢量进行判别式分析而获得的判别式矩阵，主成分的判别式矩阵Φ₁可以表示为：

${\mathrm{\Φ}}_1^T=W_1^T{\mathrm{\Ψ}}_1^T---\left(13\right)$

如果通过主成分分析而降低的维数约为原始特征的傅立叶特征的1/10(约200维)，就够用了。之后，该判别式矩阵将维数减低到约70。该基矩阵事先可从训练样本中计算出来，并且作为信息存储在基矩阵存储装置84中。

同样是在傅立叶谱|F(u，v)|的情况下，通过光栅扫描，谱被表示成一维特征矢量，并且基矩阵 ${\mathrm{\Φ}}_2^T={\mathrm{\Ψ}}_2^T{W}_2^T$ 事先可通过训练样本获得，这是通过对特征矢量的主成分进行判别式分析获得的。

通过这种方式对傅立叶特征的每一个分量计算主成分判别式特征，可以获得傅立叶分量的实部和虚部的特征矢量x₁的主成分判别式特征y₁，以及功率谱的特征矢量x₂的主成分判别式特征y₂。

归一化装置87将每一个所获得的特征矢量的尺寸归一化为尺寸为1的单位矢量。在这种情况下，矢量长度随着用于测量矢量的原点位置而变化，因此它的参考点必须是事先确定的。在这种情况下，如果通过使用从所投影的特征矢量y_i的训练样本中获得的平均矢量m_i来设定参考点，就足够了。通过将平均矢量设定为参考点，特征矢量就分布在参考点的周围。在高斯分布的情况中，特别地，特征矢量是各向同性分布的。这使得在特征矢量最终量化的情况下易于限定分布区。

也就是说，通过使用平均矢量m_i将特征矢量y_i归一化为单位矢量而获得的矢量y_i ⁰可以表示为：

$y_i^0=\frac{y_i-m_i}{|y_i-m_i|}---\left(14\right)$

以这种方式，提供的归一化装置事先将与傅立叶功率的实数和虚数相关联的特征矢量y₁和与功率相关联的特征矢量y₂归一化为单位矢量。这就有可能将两种不同类型的特征量的大小归一化，并使特征矢量的分布特征比较稳定。

另外，由于在降维处理中，在用于识别所需的特征空间内这些矢量的大小已经被归一化了，因此与其中归一化是在包含有更多被删除噪音的特征空间内执行的情况相比，可以实现抗噪音的归一化鲁棒性。该归一化可以除去诸如与整个流明强度成正比的可变分量等可变元素的影响，这是很难通过简单的线性变换除去的。

以这种方式归一化的特征矢量y₁ ⁰和y₂ ⁰以与(方程式8)相同的方式组合成一个特征矢量y，并且通过使用通过执行线性判别式分析而获得的判别式矩阵W₃，将所组合的特征矢量y投影到判别式空间，从而获得输出特征矢量z。用于这一目的的判别式矩阵W₃存储在判别式矩阵存储装置89中，并且线性变换装置88执行用于这一目的的投影计算，例如计算24维特征矢量z。

当输出特征矢量z以每元素5个比特来量化时，每一个元素的大小已经事先被归一化了。例如，根据每一个元素的方差值，事先对每一个元素的大小进行归一化。

也就是，事先获得了特征矢量z的每一个元素z_i的训练样本中的标准差值σ_i，并且执行归一化以满足z₀＝16Z_i/3σ_i。假设大小为5比特。在这种情况下，如果大小经过量化后其值落入-16～15的范围内，就足够了。

在这种情况下，归一化的计算就是每一个元素乘以标准差的倒数。考虑到矩阵∑具有σ_i作为对角线元素，因此归一化矢量z₀变成z⁰＝∑z。也就是说，由于执行了简单的线性变换，∑可以事先应用到判别式矩阵W₃中，如方程式(15)所示。

$W_3^{O^T}=\mathrm{\Σ}{W}_3^T---\left(15\right)$

以这种方式执行归一化可以执行定量化所必需的范围校正。另外，由于通过使用标准差来执行归一化，因此在整理(collation)时，在计算模式间距离的范式中仅通过计算简单的L2范式就可以执行基于Mahalanobis距离的计算，从而减少了整理时的计算量。

如上所述，人脸图像特征提取装置722以这种方式从归一化图像f(x，y)中提取特征矢量z_f。相对于只通过裁剪人脸的中心部分而获得的图像g(x，y)，人脸图像特征提取装置722以上述相同方式提取出了特征矢量z_g。通过使用人脸元数据生成单元作为人脸特征量z来提取两个特征矢量z_f和z_g。

注意，计算机可以通过计算机程序来执行上述人脸元数据生成序列。另外，可以将该程序记录在计算机可读记录介质上。

(2)人脸相似度计算

下面来讲述人脸相似度计算单元74的运行。

通过使用从两个人脸元数据获得的K维特征矢量z₁和z₂，人脸相似度计算单元74计算出相似度d(z₁，z₂)。

例如，通过方程式(16)的平方距离来计算相似度。

$d(z_1,z_2)=\underset{i=1}{\overset{K}{\mathrm{\Σ}}}{\mathrm{\α}}_i{|z_{1,i}-z_{2,i}|}^2---\left(16\right)$

这里α_i为权重因子。例如，如果采用每一个特征维z_i的标准差的倒数，就可以执行基于Mahalanobis距离的计算。如果事先按照方程式(15)等对特征矢量进行归一化，则由于事先采用可变值对基矩阵进行了归一化，因此设定了Mahalanobis距离。可选情况下，相似度可以通过待比较的每一个特征矢量的余弦来计算获得，如方程式(3)所示。

$d(Z_1,Z_2)=\frac{Z_1.Z_2}{\left|Z_1\right|\left|Z_2\right|}---\left(17\right)$

注意，当采用距离时，较大的值表示较低的相似度(人脸不相类似)，而当采用余弦时，较大的值表示较高的相似度(人脸相类似)。

根据以上讲述，存储了一张人脸图像后，可以通过使用一张人脸图像来进行检索。不过，当对某张人脸存储了多张图像，并通过使用一张人脸可以执行检索时，在存储端可以对多个人脸元数据的每一个进行相似度的计算。

同样地，当对某个人脸存储了多张图像并且通过使用多张图像来执行检索时，通过获得每一个组合的相似度的平均值或最小值来计算相似度，可以计算一个人脸数据的相似度。这表明通过将图像序列看作为多个图像，可以将本发明的匹配系统应用到图像序列中的人脸确认。

参照附图，上面已经讲述了本发明的实施例。不过，显然本发明可以通过计算机可执行程序来实施。

另外，程序可以记录在计算机可读记录介质上。

(第四实施例)

下面参照附图来详细讲述本发明的另一个实施例。本发明是为了改善根据第三发明的人脸元数据生成单元72。根据第三发明，计算出了具有通过对输入人脸图像执行傅立叶变换而获得的傅立叶频率分量的实部和虚部的特征矢量主成分的判别式特征，以及以功率谱作为元素的特征矢量，并再次计算出了通过组合各个矢量而获得的特征矢量的判别式特征，从而计算出人脸的特征量。在这种情况中，由于傅立叶功率谱反映出输入图像的全部特征量，因此包含有太多噪音(例如，嘴巴附近的像素的相对位置发生变化)的输入像素的成分，与其余像素一样也反映在功率谱中。结果，即使通过判别式分析选择了有效的特征量，也无法获得足够的性能。在这种情况下，输入图像被分割成若干区域，并且对每一个局部区域执行傅立叶变换。然后通过使用每一个局部区域的功率谱作为特征量，执行判别式分析。这样可以通过判别式分析来减少局部显示出较差判别性能(较大的类内方差)的区域的特征量的影响。

图9用于解释实施例，并且示出了特征提取处理的流程。在该实施例中，例如，32×32像素区域被分割成4个16×16像素区域、16个8×8像素区域、64个4×4像素区域、256个2×2像素区域和1024个1×1像素区域(这与输入图像基本上是相同的，因此输入图像不需分割就可以使用)(S1001)。在每一个分割区域中执行傅立叶变换(S1002)。然后计算功率谱(S1003)。对所有的分割区域执行上述计算(S1004)。改变区域的大小(S1005)。改变所有区域的大小(S1006)。图10对处理流程进行了总结。提取以这种方式获得的各个区域的所有功率谱的1024×5维＝5120维特征量。

由于当训练数据的量较小时，维数通常太大了，因此事先执行主成分分析，以事先获得可以减少维数的主成分分析的基础。例如，合适的维数约为300。进一步对该维数的特征矢量执行判别式分析，以获得可以减少维数并且与显示出较好的判别性能的特征轴相对应的基。事先计算出与主成分分析和判别式分析相对应的基(该基指的是PCLDA投影基Ψ)。

通过使用使用了该PCLDA基的投影基Ψ的线性计算来对5120维特征进行投影，可以获得判别式特征z。通过对该特征进一步执行定量化等，可以获得人脸的特征量。

需要注意的是，通过考虑傅立叶功率谱的对称性，并且除去而且不使用高频分量，可以减少5120维特征量的维数。这样可以实现高速训练、减少所需数据量，并且实现高速特征提取。因此，优选情况下可以按需要减少维数。

将区域分割成若干块并且以这种方式复用傅立叶谱，(在1024个小块的情况下)，可以依次从相当于图像特征的特征量中获得具有变换不变性和局部特征量的特征量的多重表达式。通过判别式分析，从多重的、多余的特征表达式中选择出对识别有效的特征量，从而获得能够提供较好的识别性能的集约特征量。

通过对图像进行非线性计算而获得傅立叶功率谱，这样能够计算出通过只对图像进行基于线性计算的判别式分析而不能获得的有效特征量。

虽然上面已经讲述了线性判别式分析对主成分的应用，但是通过使用kernel判别式分析(使用了称为Kernel Fisher判别式分析(KFDA)、Kernel判别式分析(KDA)或者一般判别式分析(GDA)等kernel技术的判别式分析)，可以执行第二阶段特征提取。

关于kernel判别式分析的详细讲述可以参考Q.Liu等人的文献(非专利参考文献3：“Kernel-based Optimized Feature Vectors Selection andDiscriminant Analysis for Face Recognition”(基于Kernel的优化特征矢量选择和用于人脸识别的判别式分析)，IAPR模式识别国际会议论文集(ICPR)，Vol.II，pp.362-365，2002)或者G.Baudat的文献(非专利参考文献4：“Generalized Discriminant Analysis Using a KernelApproach”(使用Kernel方法的归一化判别式分析)，神经计算，Vol.12，pp.2385-2404，2000)。

通过使用kernel判别式分析来提取特征，可以增强非线性特征提取的效果，以利于有效特征的提取。

不过，在这种情况下，由于要处理5120维的大型特征矢量，因此甚至对于主成分分析都需要大量的内存和大量的训练数据。参照图11，为了避免这一问题，对每一个块单独执行主成分分析/判别式分析。之后，执行两阶段判别式分析(线性判别式分析：LDA)。这样可以减少计算量。

在这种情况下，通过使用1024维特征量(如果维数降到一半，考虑到对称性，则使用512维特征量)来对每一个区域执行主成分分析和判别式分析，以事先获得基矩阵Ψ₁(i＝0，1，2，...，5)。然后通过使用其平均值来对每一个特征矢量进行归一化，并且执行第二阶段LDA投影。

通过以这种方式对每一个块进行处理，可以减少训练所需数据数和计算机资源。这可以减少训练最优化所需要的时间。

注意，通过省略矢量归一化处理和事先计算用于PCLDA投影的基矩阵和用于LDA投影的基矩阵，可以实现高速计算。

图12用于解释另一实施例，并且示出了特征提取处理的流程。在该实施例中，考虑到局部区域的傅立叶功率谱的变换普遍性和局部区域的可靠性，在多个阶段(在图12中为两个阶段)执行了这种区域分割，以在多分辨率中提取多个功率谱作为特征量用于判别式分析。然后，使用通过判别式分析获得的最优判别空间来执行特征提取。

假设输入图像f(x，y)具有32×32像素。在这种情况下，如图10所示，提取整个图像的功率谱|F(u，v)|，通过将整个图像分割成4个区域而获得的4个16×16像素区域的功率谱|F₁ ¹(u，v)|、|F₂ ¹(u，v)|、|F₃ ¹(u，v)|和|F₄ ¹(u，v)|，以及通过将整个图像分割成16个区域而获得的16个8×8像素区域的功率谱|F₁ ²(u，v)|、|F₂ ²(u，v)|、...、|F₁₆ ²(u，v)|来作为特征矢量。

考虑到真实图像的傅立叶功率谱的对称性，提取1/2就足够了。可选情况下，为了避免用于判别式分析的特征矢量的尺寸的增加，在形成特征矢量时可以不采样任何高频分量用于判别。例如，如果通过采样与低频分量相对应的1/4谱来形成特征矢量，则可以减少所需的训练样本数，或者可以缩短训练和识别所需的处理时间。如果训练数据量很小，则在事先通过主成分分析降低了特征维数之后再执行判别式分析。

通过使用以这种方式提取的特征矢量x₂ ^f和事先准备的训练集来执行判别式分析，以事先获得基矩阵Ψ₂ ^f。图9示出了用于从主成分中提取判别式特征的投影的例子(主成分线性判别式分析：PCLDA)。通过使用基矩阵Ψ₂ ^f来投影特征矢量x₂ ^f，并且对所投影的特征矢量的均值和大小进行归一化，从而计算出特征矢量y₂ ^f。

同样地，通过使用基矩阵Ψ₁ ^f的线性计算处理，对通过组合傅立叶频率的实部和虚部而获得的特征矢量x₂ ^f进行投影，可以获得维数获得降低的特征矢量，并且对矢量的均值和大小进行归一化，以计算出特征矢量y₁ ^f。通过使用判别式基Ψ₃ ^f，再次对通过组合这些矢量而获得的特征矢量进行投影以获得特征矢量z^f。该矢量被量化为例如5比特，以提取人脸特征量。

假设输入为归一化成大小为44×56像素的人脸图像。在这种情况下，上述处理被应用到32×32像素的中心区域，以提取人脸特征量。另外，从44×56像素的整个人脸的多个分割区域中，包括整个44×56像素区域、4个22×28像素区域、以及16个11×14像素区域，也可以提取出人脸特征量。

图13示出了另一实施例，其中对每一个局部区域执行实部、虚部和功率谱的组合的PCLDA投影，或者分别执行通过组合实部和虚部而获得的特征的PCLDA投影以及功率谱的PCLDA投影，并且最后执行LDA投影，如图14所示。

(第五实施例)

下面参照附图来详细讲述本发明的另一实施例。

该实施例使用了本发明的人脸特征描述方法和人脸特征描述符。图15示出了对人脸特征量的描述来作为人脸特征描述的例子，它使用了ISO/IEC FDIS 15938-3：“Information technology Multimedia contentdescription interface-Part 3：Visual”(信息技术多媒体内容描述接口)中的DDL表示法(描述定义语言表示法)。

在这种情况下，为了描述名为“AdvancedFaceRecognition”的人脸特征，提供了名称为“FourierFeature”和“CentralFourierFeature”的元素。每一个“FourierFeature”和“CentralFourierFeature”都是5比特无符号整数，这表示它可以具有24维至63维的分量。

图16示出了在使用二进制语法作为数据表示的情况下的规则。根据该规则，FourierFeature和CentralFourierFeature的矩阵式分量的大小以numOfFourierFeature和numOfCentralFourierFeature存储在6比特无符号整数字段中，并且FourierFeature和CentralFourierFeature的每一个分量都是以5比特无符号整数的形式存储的。

下面来更为详细地讲述使用了本发明的这些人脸特征的描述。

I.numofFourierFeature

该字段确定了FourierFeature的分量个数。容许的范围是从24至63。

II.numOfCentralFourierFeature

该字段确定了CentralFourierFeature的分量个数。容许的范围是从24至63。

III.FourierFeature

该元素表示基于归一化人脸图像的傅立叶特征的级联LDA的人脸特征。归一化的人脸图像是通过将原始图像缩放成56行而获得的，每一行具有46个流明值。归一化后人脸图像的两个眼睛的中心位置应该位于第24行，左眼和右眼分别在第16列和第31列。

FourierFeature元素来自两个特征矢量；一个是傅立叶谱矢量x₁ ^f，另一个是多块傅立叶幅度矢量x₂ ^f。图17解释了FourierFeature的提取过程。给定一归一化人脸图像，要提取元素需要执行5个步骤：

(1)提取傅立叶谱矢量x₁ ^f，

(2)提取多块傅立叶幅度矢量x₂ ^f，

(3)对使用PCLDA基矩阵Ψ₂ ^f、Ψ₂ ^f的特征矢量进行投影，并且将它们归一化成单位矢量y₁ ^f、y₂ ^f，

(4)对使用LDA基矩阵Ψ₃ ^f的单位矢量的联合傅立叶矢量y₃ ^f进行投影，

(5)对所投影的矢量z^f进行量化。

步骤1)傅立叶谱矢量的提取

给定归一化人脸图像f(x，y)，通过如下方程式来计算f(x，y)的傅立叶谱F(u，v)：

$F(u,v)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}f(x,y)\exp (-2\mathrm{\πi}(\frac{\mathrm{xu}}{M}+\frac{\mathrm{yv}}{N}))(u=0,...,M-1;v=0,...,N-1)---\left(18\right)$

其中M＝46，N＝56。傅立叶谱矢量x₁ ^f被定义为傅立叶谱的扫描分量集。图18示出了傅立叶谱的扫描方法。在傅立叶范围内，只对两个矩形区域：区域A和区域B进行扫描。扫描规则在图19中有总结。这里，S_R(u，v)表示区域R的左上角坐标，E_R(u，v)表示区域R的右下角坐标。因此，傅立叶谱矢量x₁ ^f表示为：

$x_1^f=\left[\begin{array}{c}\mathrm{Re}\left[F\left(\mathrm{0,0}\right)\right]\\ .\\ .\\ \mathrm{Re}\left[F\mathrm{11,0}\right]\\ \mathrm{Re}\left[F\left(\mathrm{35,0}\right)\right]\\ .\\ .\\ \mathrm{Re}\left[F\left(\mathrm{45,0}\right)\right]\\ .\\ .\\ \mathrm{Re}\left[F\left(\mathrm{45,13}\right)\right]\\ \mathrm{Im}\left[F\left(\mathrm{0,0}\right)\right]\\ .\\ .\\ \mathrm{Im}\left[F\left(\mathrm{11,0}\right)\right]\\ \mathrm{Im}\left[F\left(\mathrm{35,0}\right)\right]\\ .\\ .\\ \mathrm{Im}\left[F\left(\mathrm{45,0}\right)\right]\\ .\\ .\\ \mathrm{Im}\left[F\left(\mathrm{45,13}\right)\right]\end{array}\right]---\left(19\right)$

傅立叶谱矢量x₁ ^f的维数是644。

步骤2)多块傅立叶幅度矢量x₂ ^f的提取

在归一化人脸图像中，从部分图像的傅立叶幅度中提取多块傅立叶幅度矢量。可使用三个类型的图像来作为部分图像：(a)完整图像，(b)四分之一图像，以及(c)1/16图像。

(a)完整图像

通过将归一化图像f(x，y)裁剪成44×56尺寸的图像并除去两侧的边列，获得了完整图像f₁ ⁰(x，y)，表示为：

f₁ ⁰(x，y)＝f(x+1，y)

(x＝0，1，...，43；y＝0，1，2，...，55)    ...(20)

(b)四分之一图像

通过将完整图像f₁ ⁰(x，y)等分成4块f_k ¹(x，y)(k＝1，2，3，4)，获得了四分之一图像，表示为：

f_k ¹(x，y)＝f₁ ⁰(x+22 s_k ¹，y+28 t_k ¹)

(x＝0，1，...，21；y＝0，1，...，27)       ...(21)

其中s_k ¹＝(k-1)％2，t_k ¹＝(k-1)/2。

(c)1/16图像

通过将完整图像f₁ ⁰(x，y)等分成16块f_k ²(x，y)(k＝1，2，3，...，16)，获得了1/16图像，表示为：

f_k ²(x，y)＝f₁ ⁰(x+11s_k ²，y+14t_k ²)

(x＝0，1，...，10；y＝0，1，...，13)       ...(22)

其中s_k ²＝(k-1)％4，t_k ²＝(k-1)/4。

由这些图像可以计算获得傅立叶幅度|F_k ^j(u，v)|，方法如下：

$F_k^j(u,v)=\underset{x=0}{\overset{M^j-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N^j-1}{\mathrm{\Σ}}}{f}_k^j(x,y)\exp (-2\mathrm{\πi}(\frac{\mathrm{xu}}{M^j}+\frac{\mathrm{yv}}{N^j})),---\left(23\right)$

$\left|F_k^j(u,v)\right|=\sqrt{\mathrm{Re}{\left[F_k^j(u,v)\right]}^2+\mathrm{Im}{\left[F_k^j(u,v)\right]}^2}$

其中，M^j为每一个部分图像的宽度，也就是说，M⁰＝44，M¹＝22，M²＝11。N^j表示每一个部分图像的高度，也就是说，N⁰＝56，N¹＝28，N²＝14。

通过扫描1)完整图像(k＝1)，2)四分之一图像(k＝1，2，3，4)以及3)1/16图像(k＝1，2，...，16)的每一个幅度|F_k ^j(u，v)|的低频区域，获得多块傅立叶幅度矢量。扫描区域的定义如图19所示。

因此，多块傅立叶幅度矢量x₂ ^f表示如下：

$x_x^f=\left[\begin{array}{c}\left|F_1^0\left(\mathrm{0,0}\right)\right|\\ .\\ .\\ \left|F_1^0\left(\mathrm{43,13}\right)\right|\\ \left|F_1^1\left(\mathrm{0,0}\right)\right|\\ .\\ .\\ \left|F_1^1\left(\mathrm{21,6}\right)\right|\\ \left|F_2^1\left(\mathrm{0,0}\right)\right|\\ .\\ .\\ \left|F_2^1\left(\mathrm{21,6}\right)\right|\\ \left|F_3^1\left(\mathrm{0,0}\right)\right|\\ .\\ .\\ \left|F_4^1\left(\mathrm{21,96}\right)\right|\\ \left|F_1^2\left(\mathrm{0,0}\right)\right|\\ .\\ .\\ \left|F_{16}^2\left(\mathrm{10,2}\right)\right|\end{array}\right]---\left(24\right)$

x₂ ^f的维数为856。

步骤3)PCLDA投影和矢量归一化

通过使用PCLDA基矩阵Ψ₁ ^f和Ψ₂ ^f，对傅立叶谱矢量x₁ ^f和多块傅立叶幅度矢量x₂ ^f分别进行投影，并将其归一化成单位矢量y₁ ^f和y₂ ^f。归一化矢量y_k ^f(k＝1，2)表示为：

$y_k^f=\frac{{\mathrm{\Ψ}}_k^{f^T}{x}_k^f-m_k^f}{|{\mathrm{\Ψ}}_k^{f^T}{x}_k^f-m_k^f|}---\left(25\right)$

其中，PCLDA基矩阵Ψ_k ^f和均值矢量m_k ^f是分别通过对x_k ^f的主成分和所投影的矢量的均值进行线性判别式分析而获得的基矩阵。它们的值可以参考事先计算出的查找表。y₁ ^f和y₂ ^f的维数分别为70和80。

步骤4)联合傅立叶矢量的LDA投影

通过组合归一化矢量y₁ ^f和y₂ ^f来形成150维联合傅立叶矢量y₃ ^f，并且通过使用LDA基矩阵Ψ₃ ^f对其进行投影。投影矢量z^f表示如下：

$z^f={\mathrm{\Ψ}}_3^{f^T}{y}_3^f$

$={\mathrm{\Ψ}}_3^{f^T}\left(\begin{array}{c}{y}_1^f\\ y_2^f\end{array}\right)---\left(26\right)$

步骤5)量化

使用下面的公式，在5比特无符号整数的范围内对z^f的每一个元素进行裁剪：

经过量化的元素存储为FourierFeature。FourierFeature[0]表示第一量化元素w₀ ^f，并且FourierFeature[numOfFourierFeature-1]对应于第numOfFourierFeature个元素w^f _{numOfFourierFeature-1}。

IV.CentralFourierFeature

该元素表示基于归一化人脸图像中心部分的傅立叶特征的级联LDA的人脸特征。CentralFourierFeature的提取方式与FourierFeature类似。

从(7，12)开始，将图像f(x，y)裁剪成32×32图像，则获得其中心部分g(x，y)，方程式如下：

g(x，y)＝f(x+7，7+12)(x＝0，1，...，31；y＝0，1，...，31)    ...(28)

步骤1)中心傅立叶谱矢量的提取

g(x，y)的傅立叶谱G(u，v)计算如下：

$G(u,v)=\underset{x=0}{\overset{M-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N-1}{\mathrm{\Σ}}}g(x,y)\exp (-2\mathrm{\πi}(\frac{\mathrm{xu}}{M}+\frac{\mathrm{yv}}{N}))(u=0,...,M-1;v=0,...,N-1)---\left(29\right)$

其中M＝32，N＝32。通过扫描如图20所定义的傅立叶谱G(u，v)，产生了256维中心傅立叶谱矢量x₁ ^g。

步骤2)提取多块中心傅立叶幅度矢量

从(a)中心部分g₁ ⁰(x，y)、(b)四分之一图像g_k ¹(x，y)(k＝1，2，3，4)，以及(c)1/16图像g_k ²(x，y)(k＝1，2，3，...，16)的傅立叶幅度中提取中心多块傅立叶幅度矢量x₂ ^g。

(a)中心部分

g₁ ⁰(x，y)＝g(x，y)(x＝0，1，...，31；y＝0，1，...，31)   ...(30)

(b)四分之一图像

g_k ¹(x，y)＝g(x+16 s_k ¹，y+16 t_k ¹)

(x＝0，1，...，15；y＝0，1，...，15)    ...(31)

其中s_k ¹＝(k-1)％2，t_k ¹＝(k-1)/2

(c)1/16图像

g_k ²(x，y)＝g₁ ⁰(x+8s_k ²，y+8t_k ²)

(x＝0，1，...，7；y＝0，1，...，7)      ...(32)

其中s_k ²＝(k-1)％4，t_k ²＝(k-1)/4

每一个图像的傅立叶幅度|G_k ^j(u，v)|的计算方法如下：

$G_k^j(u,v)=\underset{x=0}{\overset{M^j-1}{\mathrm{\Σ}}}\underset{y=0}{\overset{N^j-1}{\mathrm{\Σ}}}{g}_k^j(x,y)\exp (-2\mathrm{\πi}(\frac{\mathrm{xu}}{M^j}+\frac{\mathrm{yv}}{N^j})),---\left(33\right)$

$\left|G_k^j(u,v)\right|=\sqrt{\mathrm{Re}{\left[G_k^j(u,v)\right]}^2+\mathrm{Im}{\left[G_k^j(u,v)\right]}^2}$

其中M⁰＝32，M¹＝16，M²＝8，N⁰＝32，N¹＝16，以及N²＝8。通过扫描如图20所定义的每一个幅度|G_k ^j(u，v)|，获得多块中心傅立叶幅度矢量x₂ ^g。

步骤3～5)中的处理与那些FourierFeature是相同的，例如，联合中心傅立叶矢量y₃ ^g包括归一化矢量y₁ ^g和y₂ ^g。事先计算并以查找表的形式准备用于CentralFourierFeature的基矩阵Ψ₁ ^g、Ψ₂ ^g和Ψ₃ ^g以及均值矢量m₁ ^g和m₂ ^g。

CentralFourierFeature的大小用numOfCentralFourierFeature表示。

以这种方式获得的人脸特征描述数据从描述长度来看非常简洁，但是表现出很高的识别性能，因此是有效用于数据存储和传输的表达式。

注意，本发明可以通过计算机可执行程序来实施。在第五实施例的情况中，通过以计算机可读程序来描述由图17中步骤1～步骤5所表示的功能，并且在计算机上实现这些程序功能，就可以实施本发明。

另外，可以将该程序记录在计算机可读记录介质上。

当将如图17所示的例子作为设备来实现时，可以实现图21的框图中所写的所有或一些功能。更为确切地说，可以实现归一化人脸图像输出装置211、傅立叶谱矢量提取装置212、多块傅立叶幅度矢量提取装置213和PCLDA投影/矢量归一化装置214中的所有或一些装置。

根据上述每一个实施例，对于每一个元素矢量，通过判别式分析从输入模式特征矢量中提取有效用于判别的特征矢量，并且通过使用判别式矩阵，通过判别式分析再次对所获得的特征矢量进行特征提取。当减少特征维数时，这样做可以抑制有效用于判别的特征量的减少，并且对用于有效特征提取的矢量进行变换。

对于其中判别式分析所需的训练样本个数有限的情况，即使存在大量模式特征量，上述每一个实施例仍然是有效的。也就是说，不需要使用主成分分析就可以减少特征维数，同时抑制了有效用于识别的特征的丢失。

如上所述，在用于通过从输入特征矢量中提取有效用于识别的特征矢量来压缩特征维数的特征矢量变换技术中，根据本发明的图像特征提取方法、图像特征提取设备，以及模式识别领域中用于存储相应程序的记录介质都是非常适用的。

Claims (11)

1.一种模式特征提取方法，其特征在于包括：

通过使用多个特征矢量x_i来表达模式特征和来自图像的特征之一；

通过对多个特征矢量x_i的每一个进行线性判别式分析来获得每一个特征矢量的判别式矩阵W_i；

通过使用判别式矩阵W_i对特征矢量x_i进行线性变换获得特征矢量y_i，然后通过排列特征矢量y_i而获得特征矢量y，再通过对特征矢量y进行线性判别式分析而事先获得判别式矩阵W_T；以及

进行由判别式矩阵W_i和判别式矩阵W_T所指定的线性变换，

其中，该方法进一步包括：对图像进行二维傅立叶变换，

其中，所述的表达步骤包括：

提取二维傅立叶变换的实部和虚部来作为特征矢量x_i，以及

计算二维傅立叶变换的功率谱和提取功率谱来作为特征矢量x₂，以及

其中，在所述的进行线性变换的步骤中，通过变换特征矢量x_i来从图像中提取特征量。

2.如权利要求1所述的模式特征提取方法，其特征在于，在进行线性变换的步骤中，

以实现降维的方式，由对应于特征矢量x_i的主成分的判别式矩阵W_i和判别式矩阵W_T所指定的线性变换，来变换对应于傅立叶分量的实部和虚部的特征矢量x₁和对应于傅立叶分量的功率谱的特征矢量x₂，从而从图像中提取特征量。

3.如权利要求1所述的模式特征提取方法，其特征在于，

表达的步骤进一步包括：将图像分割成多个区域，并且

在提取特征矢量x₂的步骤中，在每一个所分割的区域中计算二维傅立叶功率谱。

4.如权利要求3所述的模式特征提取方法，其特征在于，在分割步骤中，区域以多种方式被分割成具有不同尺寸的区域。

5.如权利要求3所述的模式特征提取方法，其特征在于进一步包括：通过对所获得的二维傅立叶功率谱进行kernel判别式分析而进行特征提取并且提取有效特征量，减少特征维度。

6.如权利要求3所述的模式特征提取方法，其特征在于进一步包括：使用通过对所获得的二维傅立叶功率谱进行线性判别式分析而事先获得的判别式矩阵进行线性变换，减少特征维度。

7.如权利要求1所述的模式特征提取方法，其特征在于表达步骤进一步包括：

计算二维傅立叶变换的功率谱，

将图像分割成多个区域并且对每一个区域计算二维傅立叶变换的功率谱，以及

提取通过组合各个功率谱而获得的矢量以作为特征矢量x₂。

8.如权利要求6所述的模式特征提取方法，其特征在于，

事先获得判别式矩阵W_i的步骤包括：获得通过对特征矢量x_i的主成分进行线性判别式分析而获得的特征矢量的判别式矩阵W_i，其中i＝1，2，并且

在进行线性变换的步骤中，通过变换对应于傅立叶分量的实部和虚部的特征矢量x₁和对应于傅立叶分量的功率谱的特征矢量x₂来从图像中提取特征量，从而通过由用于特征矢量x_i的主成分的判别式矩阵W_i和判别式矩阵W_T指定的线性变换来进行降维。

9.如权利要求1所述的模式特征提取方法，其特征在于进一步包括：

通过使用用于变换特征矢量x₁的主成分的变换矩阵Ψ₁和由对应于主成分的判别式矩阵W₁所表示的基矩阵Φ₁＝(W₁ ^TΨ₁ ^T)^T，进行线性变换y₁＝Φ₁ ^Tx₁，基于傅立叶变换，计算由实部和虚部形成的特征矢量x₁的主成分的判别式特征，

将获得的特征矢量y₁的尺寸归一化到预定尺寸，

通过使用用于变换特征矢量x₂的主成分的变换矩阵Ψ₂和由对应于主成分的判别式矩阵W₂所表示的基矩阵Φ₂＝(W₂ ^TΨ₂ ^T)^T，基于傅立叶变换，计算从功率谱形成的特征矢量x₂的主成分的判别式特征，

将获得的特征矢量y₂的尺寸归一化到预定尺寸，以及

通过使用判别式矩阵W_T相对于通过组合两个特征矢量y₁和y₂获得的特征矢量y来计算线性变换z＝W_T ^Ty而获得特征矢量z，通过计算特征矢量z从图像中提取特征量。

10.一种模式特征提取装置，其特征在于包括：

通过使用多个特征矢量x_i来表达模式特征和来自图像的特征之一的装置；

通过对多个特征矢量x_i的每一个进行线性判别式分析来获得每一个特征矢量的判别式矩阵W_i的装置；

通过使用判别式矩阵W_i对特征矢量x_i进行线性变换获得特征矢量y_i、然后通过排列特征矢量y_i而获得特征矢量y、再通过对特征矢量y进行线性判别式分析而事先获得判别式矩阵W_T的装置；以及

进行由判别式矩阵W_i和判别式矩阵W_T所指定的线性变换的装置，

其中，该模式特征提取装置进一步包括：用于对图像进行二维傅立叶变换的装置，

其中，

用于进行表达的所述装置还被构造用于：

提取二维傅立叶变换的实部和虚部来作为特征矢量x_i，以及

计算二维傅立叶变换的功率谱和提取功率谱来作为特征矢量x₂，以及

用于进行线性变换的所述装置通过变换特征矢量x_i来从图像中提取特征量。

11.如权利要求10所述的模式特征提取装置，其特征在于，

用于进行表达的所述装置还被构造用于：

将图像分割成多个区域，并且

在提取特征矢量x₂的步骤中，在每一个所分割的区域中计算二维傅立叶功率谱。

Images