CN1975759A - 一种基于结构主元分析的人脸识别方法 - Google Patents

Abstract

本发明属模式识别技术领域。本发明由几何规整、图像分块、二维主元分析(2DPCA)、相似度加权系数调节等关键步骤组成。本发明以眼睛和嘴巴做为基准进行几何规整。经过几何规整，所有人脸图像的尺寸都是一样的，人脸各个部分在人脸图像中的位置是固定的，经过图像分块，每个图像块包含的人脸局部区域也就随之固定。本发明采用2DPCA方法计算每个图像块的主元和主元特征。二个图像块之间的相似度为它们主元特征之间的距离，二副人脸图像之间的相似度为它们相应的图像块之间相似度的加权和。通过调整每个图像块的主元数目和图像块相似度的加权系数可以凸现或抑制某些图像块在人脸识别中的作用，从而适应各种不完整的人脸图像的识别任务。

Description

一种基于结构主元分析的人脸识别方法

技术领域

本发明属模式识别技术领域，具体涉及一种把二维主元分析方法(2DPCA)与人脸图像局部特征相结合的人脸识别方法。

技术背景

在人脸识别的一些特殊应用中(如公安刑侦业务)，我们常常会遇到不完整的人脸图像，例如：

●根据目击证人的口述而产生的人脸拼图或画像。目击证人往往只是对人脸的某些部分(如眼睛、鼻子等)印象深刻，对其它部分印象模糊，甚至全无印象。因此，根据目击证人口述而产生的人脸拼图或画像往往只有部分区域比较真实。

●脸部部分区域被遮掩或整容过的人脸照片。罪犯为了逃避公安机关的追捕，往往会尽量遮掩脸部(如冬天用围巾捂住下半边脸、夏天戴黑眼睛等等)，甚至不惜整容。

●脸部部分区域有损伤或变形的人脸照片。许多尸体的脸部照片，脸部往往有严重的损伤或变形。

●非正面的人脸照片。公安机关在刑事侦察中，为了不引起罪犯的注意，常常要隐蔽拍摄人脸照片，这样拍摄的人脸照片，往往都不是人脸的正面照片。

通常的人脸识别算法都会把这些不完整的人脸图像作为不符合识别条件的图像而拒识。但是，对于公安机关来说，这些不完整的人脸图像提供了丰富的破案线索，对这些不完整的人脸图像进行识别将会大大缩小侦察的范围。

人脸识别属于模式识别的范畴。模式识别分为统计模式识别和结构模式识别(也称句法模式识别)。一般来说，统计模式识别的方法不适合应用于不完整的人脸图像或照片的识别。究其原因，统计模式识别是基于统计平均的识别。在统计平均之下，不完整人脸图像或照片的真实部分不但不能突显，反而会被不真实的部分消磨甚至淹没。结构模式识别虽然能够彰显模式的结构细节，但对结构细节的提取和表述(句法)过于复杂，而且抗噪的鲁棒性较差(相比之下，统计平均本身就具有去噪的作用)。

主元分析(Principle Component Analysis，PCA)的方法是目前人脸识别中研究颇多的方法(参考文献[1]：M.Turk and A.Pentland，″Face Recognition Using Eigenfaces″，Proc.IEEE Conf.on Computer Vision and Pattern Recognition，1991)。所谓主元就是人脸图像协方差矩阵的一些特征向量。由于协方差就是统计平均，因此，主元分析的方法在本质上属于统计模式识别的方法，同样受到统计模式识别方法本身缺陷的困扰。

主元分析方法另一个常为人诟病的缺陷是计算的空间复杂度太高。一幅N×N的图像，其协方差矩阵是一个N²×N²的矩阵。随着N的增大，计算一个N²×N²的矩阵特征向量所需的空间计算资源呈几何级数增长。目前，人们常常利用类似奇异值分解的方法来解决这个问题。但是，当样本数增多时(理论上，样本越多越好，因为样本越多，样本平均就越接近统计平均)，这种做法恐怕还是摆脱不了NP完全的怪圈。

二维主元分析(2DPCA)方法是近年来提出的新的主元分析方法(参考文献[2]：Yang，J.，Zhang，D.，″Two-dimensional PCA：A new approach to appearance-based facerepresentation and recognition，″IEEE Transactions on Pattern Analysis and MachineIntelligence，26(1)，131-137，2004，参考文献[3]：Yang，J.，Yang，J.Y.，″From Image vector tomatrix：A straightforward image projection technique-IMPCA vs.PCA，″PatternRecognition，vol.35，no.9，pp.1997-1999，2002)。2DPCA方法的主元和PCA方法的主元虽然都是协方差距阵的特征向量，但是在如何构造协方差距阵和如何计算图像的主元特征(图像在主元张成的子空间上的投影)方面却大相径庭。2DPCA方法虽然只有二年多的历史，但是其优点已为学术界广泛认可。

本发明根据不完整人脸图像的特点，参考2DPCA方法的思想，提出一种基于结构主元分析的人脸识别方法。这种方法先把人脸图像经过几何规整后分割为互不相交的图像块(参见图1)，然后利用2DPCA方法计算每个图像块二维协方差距阵的主元。这些主元称为人脸图像的结构主元，因为这些主元虽然仍然是统计平均的结果，但却是人脸局部区域统计平均的结果，反应了人脸的结构特征。本发明通过调整各个图像块结构主元的数目和待识别人脸图像与已知人脸图像相对应的结构主元特征之间相似度的加权系数，可以适用各种不完整人脸图像的识别任务。

发明内容

本发明包括一个人脸图像结构主元特征注册数据库的建立方法和一个通过计算待识别人脸图像结构主元特征与已知身份人脸图像结构主元特征之间相似度的识别算法，具体步骤如下：

(1)图像预处理：图像预处理包括光线补偿、直方图均衡和灰度归一化。经过预处理后的图像，光线分布统一到一个预设的标准水平，从而大大消除光线差异对人脸识别的影响。

(2)裸脸提取：人脸图像中除了人脸以外，通常还会存在一些背景，这些背景是对人脸识别的干扰，进行裸脸提取可以消除背景对识别效果的影响(参见图2)。

(3)几何规整：将裸脸图像的尺寸统一调整为80×96，并使得左眼中心点在(16，24)，右眼中心点在(64，24)，嘴巴中心点在(40，72)。眼睛和嘴巴在经过几何规整后裸脸图像的位置比例关系符合第二代居民身份证人脸图像的标准(参见图2)。

(4)图像分块：将几何规整化后裸脸图像分割为互不重叠的30个图象块，图像块的尺寸固定为16×16，并按照从上到下从左到右排序。由于几何规整后裸脸图像的尺寸是固定的，人脸的各个部分在几何规整后裸脸图像的位置也是固定的，于是，根据图像块的尺寸和排列顺序，可以推断每个图像块的语义，也即图像块所代表的人脸局部区域的内容。例如，编号为6、7的图像块表示右眼，编号为9、10的图像块表示左眼，编号为13、17、18、19的图像块表示鼻子，编号为22、23、24的图像块表示嘴巴等(参见图1)。

(5)计算图像的结构主元(参见图3)：对训练集中每一个人的人脸图像采用步骤(1)～(4)，将人脸图像分割成30个图像块，然后使用样本平均代替统计平均的方法和2DPCA的方法分别计算这30个图像块的二维协方差的主元。这些主元携带了图象的局部信息，故称之为图象的结构主元。由于每个图象块所包含的人脸局部区域对人脸识别的贡献是不一样的，因此，每个图像块结构主元的数目也是不一样的。随着人脸识别研究的不断深入，人们对人脸各个局部区域在人脸识别中作用的理解也在不断变化。本发明提供了通过分别调整图像块结构主元数目的方式适应和体现这种理解的平台和手段。

(6)建立人脸图像结构主元特征的注册数据库(参见图3)：首先对已知身份的人脸图像采用步骤(1)～(4)的方法把人脸图像分割成30个图像块，然后计算每个图象块在其结构主元上的特征，这些特征称为人脸图像的结构主元特征。最后，建立包括已知身份的人脸图像的结构主元特征、相应的人脸图像的压缩编码和身份档案的注册数据库。

(7)人脸识别(参见图4)：首先对待识别的人脸图像采用步骤(1)～(4)的方法把人脸图像分割成30个图像块，计算每个图象块的结构主元特征，然后计算待识别的人脸图像结构主元特征与注册数据库中已知身份的人脸图象结构主元特征之间的相似度，根据实际应用的需要确定结构主元特征之间相似度的加权系数，最后计算结构主元特征相似度的加权和从而得到待识别的人脸图像与已知身份的人脸图像的相似度，根据相似度最小原则确定人脸识别的结果。

本发明特点

(1)在本发明中，每个图像块都包含了人脸的一个局部区域。二幅人脸图像的相似度是它们对应图像块相似度的加权和。这样的安排带来了应用的灵活性。

●首先，人脸各部分对人脸识别的贡献是不一样的，本发明可以通过调整相应图像块相似度的加权系数来体现它们贡献的大小。

●其次，在许多场合，待识别的人脸图像某些部分可能不真实或者不完整，我们可以通过调整相应图像块相似度的加权系数抑制它们的影响不至弥漫到整幅图像。

(2)在主元分析中，如何确定主元的数目是一个重要的问题。主元数目越多，识别越准确，但计算的数据量越大。在本发明中，每个图像块单独确定自己的主元数目。因此，本发明可以在保持每个图像块主元数目的平均数不变的条件下，根据每个图像块所包含的人脸局部区域对人脸识别的贡献大小分别增减各个图像块的主元数目。因此，本发明不增加额外的数据量。

(3)本发明采用2DPCA方法计算图像块的主元。在本发明中，不论图像尺寸多大，图像块尺寸都是16×16。如果采用PCA方法，则需要256×256大小的矩阵空间，而采用2DPCA方法，只需要16×16大小的矩阵空间。因此，图像块大大降低了计算的空间复杂度，有利于专用芯片的制作或FPGA的编程。

(4)本发明是用图像块而不是用特征点表示人脸图像的局部特征，比对是在图像块之间进行，而不是在特征点之间进行。比对采用统计模式识别的方法，而不是采用句法模式识别的方法。因此，即便图像块所表示的人脸局部特征有一些偏差，这些偏差也会在统计平均之中被消磨。因此，本发明对局部特征提取的误差具有较好的鲁棒性。

附图说明

图1、人脸图像分块示意图

图2、裸脸提取和几何归一化示意图。其中(a)为检测出眼睛和嘴巴位置的原始图像，(b)为缩放后图像的裁切示意图，(c)为裸脸提取和几何归一化后的人脸图像

图3、基于结构主元分析的人脸识别方法：建库阶段的算法流程图

图4、基于结构主元分析的人脸识别方法：识别阶段的算法流程图

具体实施方案

以FERET人脸库为例，说明本发明的实施过程。原始FERET库中有1209人的图片，共14051幅。选取FERET人脸库中部分正面人脸作为训练和测试样本，最后选中了70个人，每个人6张图片，共420张图片组成了训练和测试的样本集。实施流程如下：

步骤1：图像预处理

图像预处理包括光线补偿、直方图均衡、灰度归一化等处理，经过预处理后的图像，将所有图像的光线分布统一到标准水平，消除了光线差异对人脸识别的影响。

(1)光线补偿

由于基于PCA的人脸识别方法对光线变化比较敏感，人脸上光线分布是否均匀对最终的识别结果有着较大的影响，因此必须先对图像进行光线补偿。

本案例中采用如下光线补偿方法：

设图像的尺寸为m×n且满足m＝8m′，n＝8n′，则可以将图像分割为m′×n′个尺寸为8×8的非重叠小块，对每一个小块计算出其亮度的最小值，得到一个m′×n′维的矩阵，称作最小亮度平面。然后通过双线性插值的方法，将最小亮度平面放大成为m×n维的矩阵，再将原图像与m×n维的最小亮度平面相减，即得到经过光线补偿的图像。

(2)直方图均衡

直方图均衡可以提高图像的对比度，扩大视觉的动态范围，使图像的层次分明、细节清晰。突显图像的局部细节有利于提高人脸识别方法的识别率。

(3)灰度归一化

灰度归一化使得所有人脸图像的灰度平均值处于同一水平，这对基于统计分析的PCA人脸识别方法也是必要的，可以避免由于样本灰度差异过大而造成的误差。灰度归一化的具体实施方法如下：

先选取一张灰度比较适中的人脸图像作为灰度归一化标准图，计算其灰度平均值：

$W=\frac{1}{N}\underset{i=1}{\overset{N}{\mathrm{\Σ}}}{\∂}_i---\left(1\right)$

其中_i代表人脸图像中第i个像素的灰度值，N为人脸图像的像素总数。然后计算出需要归一化的图像的灰度平均值ω，则灰度调整比例为：

$C_w=\frac{W}{\mathrm{\ω}}---\left(2\right)$

将图像中所有像素的灰度值按照C_w的比例进行调整，即完成了灰度归一化。

步骤2：裸脸提取

通常，从各种数字设备获取的人脸照片，除了人脸以外还会有一些背景，背景的存在会影响人脸识别方法的识别效果，因而有必要除去背景图像的干扰，这就是需要进行裸脸提取的原因。

本案例中采用基于肤色的高斯分布模型进行粗检测，找到人脸的大致位置，然后再用基于模板匹配的方法确定人脸的准确位置。

由统计分析可知，除去亮度因素的影响，不同人的肤色其实是很相近的，其表现为在色彩空间中汇聚于很窄的一小块区域中，通常可以用二维高斯模型来模拟这一区域，通过计算概率大小可以判断某一像素是否为肤色，从而产生一幅标出了肤色区域的二值图像。将二值图像经过去噪声处理及形状判断，以产生候选的人脸区域。

采用基于模板匹配的方法对候选的人脸区域进一步进行判断，提取出较为精确的人脸区域。

步骤3：，几何规整

在本发明中，几何规整是一项重要的内容。为了保证后续的“图像分块”步骤的顺利进行，几何规整之后的图像的长、宽尺寸必须是16的整数倍，而且眼睛、嘴巴均处于预先指定的标准位置，这样，经过图像分块之后，可以保证编号相同的图像块对应于人脸的相同局部区域。

在本案例中，经过几何规整之后的人脸图像，其尺寸大小为80×96，左眼中心点在(16，24)，右眼中心点在(64，24)，嘴巴中心点在(40，72)。眼睛和嘴巴在几何规整之后的人脸图像中的位置比例符合我国第二代居民身份证的要求。几何规整的具体实施方法如下：

设给定一副人脸图像，其中左眼中点位置为(x₁，y₁)，右眼中点位置为(x₂，y₁)，嘴的位置中心是(x₃，y₃)。令

X＝64-16＝48                        (3)

Y＝72-24＝50                        (4)

几何扩张系数分别如下：

$C_x=\frac{X}{x_2-x_1}---\left(5\right)$

$C_y=\frac{Y}{y_3-y_1}---\left(6\right)$

将图像的横坐标按照C_x的比例，纵坐标按照C_y的比例进行放大(C＞1)或者缩小(C＜1)。然后，将图像的原点定在(x₁-16，y₁-24)，切割出80×96的图像，并抛弃多余的部分。

几何规整的方法不限于一种，它的核心思想是通过人脸的少数几个特征点把人脸图像规整到统一的尺寸，人脸的各个部位规整到固定的位置。

步骤4：图像分块

在本发明中，将图像标准化后尺寸为80×96的人脸图像分割为30个小块，图像块的尺寸固定为16×16。固定图像块的尺寸有两个好处：一、图像标准化以后，图像和图像块的尺寸都是固定的，根据图像块的排列顺序，可以推断每个图像块的语义，也即图像块代表了确定的人脸局部特征。二、图像块尺寸固定便于专用芯片的制作，在工业标准中，这样的例子不少，例如：图象编码国际标准JPEG固定图像块为8×8。

定义A_pq ⁽ⁱ⁾为第p个人的第q幅人脸图像的第i个分块所对应的二维矩阵，则每一幅图像可用30个二维矩阵来表示：A_pq ⁽¹⁾，A_pq ⁽²⁾，…，A_pq ⁽³⁰⁾，p＝1，2…，P，q＝1，2…，Q，这些二维矩阵的维数都是16×16。

经过几何规整和图像分块以后，每一图像块都代表了确定的人脸局部特征，例如：在本案例中，编号为6、7的图像块表示右眼，编号为9、10的图像块表示左眼，编号为22、23和24的图像块则表示嘴巴(参见图1)。

步骤5：使用二维主元分析(2DPCA)方法计算图像的结构主元

使用2DPCA方法计算每个图像块的主元，称之为图像的结构主元。普通的PCA方法常为人们所诟病的缺点之一是用来计算主元的协方差矩阵的尺寸会随着图像尺寸的增大而疯长，导致计算量呈几何级数式倍增。在本发明中，图像块的大小限定为16×16，如果使用普通的PCA方法，则图像块协方差矩阵的大小就为256×256。本发明采用2DPCA方法计算图像块的主元，这时图像块协方差矩阵的大小为16×16，可见本发明所需的运算量远远小于普通的PCA方法。

如前所述，在本发明中，每个图像块都与人脸的某个局部特征相联系。由于人脸的各种局部特征对人脸识别的贡献是不一样的，因此，本发明对每个图像块分别设定了不同的主元数目。

使用2DPCA方法计算图像结构主元的具体方法如下：

设有训练集的人脸图像A_pq，p＝1，2…，P，q＝1，2，…，Q，P为训练集中的总人数，Q为训练集中每个人的图像样本数目。对于每幅人脸图像A_pq，采用步骤(1)～(4)的方法分割成30个16×16的图像块A_pq ⁽ⁱ⁾，i＝1，2…，30，使用样本平均代替统计平均的方法和2DPCA方法分别计算每个图像块的主元。

对第i个图像块，其二维协方差矩阵G⁽ⁱ⁾的计算方法如下：

${\stackrel{\‾}{A}}^{\left(i\right)}=\frac{1}{\mathrm{PQ}}\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{A}_{\mathrm{pq}}^{\left(i\right)}---\left(7\right)$

$G^{\left(i\right)}=\frac{1}{\mathrm{PQ}}\underset{q=1}{\overset{Q}{\mathrm{\Σ}}}\underset{p=1}{\overset{P}{\mathrm{\Σ}}}{(A_{\mathrm{pq}}^{\left(i\right)}-{\stackrel{\‾}{A}}^{\left(i\right)})}^T(A_{\mathrm{pq}}^{\left(i\right)}-{\stackrel{\‾}{A}}^{\left(i\right)})---\left(8\right)$

计算出二维协方差矩阵G⁽ⁱ⁾后，接着计算G⁽ⁱ⁾的特征向量，然后把特征向量按照相对应的特征值的大小从大到小排序，前d_i个特征向量x₁ ⁽ⁱ⁾，x₂ ⁽ⁱ⁾，…，x_di ⁽ⁱ⁾定义为第i个图象块的结构主元。

最简单的图像块主元数目的确定方法是对所有的图像块设定统一的阈值，由于每个图像块包含人脸图像的局部区域不一样，满足统一的阈值的主元个数也就会有所区别。但是，图像块主元数目的确定方法不限于一种，其核心思想是根据每个图像块对人脸识别作用的大小确定每个图像块主元的数目。

步骤6：建库

有了人脸图像的结构主元x₁ ⁽ⁱ⁾，x₂ ⁽ⁱ⁾，…，x_di ⁽ⁱ⁾，i＝1，2，…，30，就可以计算已知身份和未知身份的人脸图像的结构主元特征。

对于每一幅已知身份的人脸图像，采用步骤(1)～(4)的方法，将其分割成30个图像块，然后计算每个图象块的结构主元特征，然后建立包括人脸图像结构主元特征、人脸图像的压缩编码和人的身份档案的注册数据库。

假设A_pq ⁽ⁱ⁾为第p个已知身份的人的第q幅人脸图像的第i个图像块所对应的二维矩阵，其在结构主元x₁ ⁽ⁱ⁾，x₂ ⁽ⁱ⁾，…，x_di ⁽ⁱ⁾上的特征为：

$y_{\mathrm{pqk}}^{\left(i\right)}=A_{\mathrm{pq}}^{\left(i\right)}{x}_k^{\left(i\right)},k=\mathrm{1,2},\·\·\·,d_i---\left(9\right)$

于是获得一组向量y_pq1 ⁽ⁱ⁾，y_pq2 ⁽ⁱ⁾，…，y_pqdi ⁽ⁱ⁾，称为图像块A_pq ⁽ⁱ⁾的结构主元特征。一个图像块的所有结构主元特征可以组成一个矩阵：

其中a_pqh ⁽ⁱ⁾为图像块A_pq ⁽ⁱ⁾第h行元素组成的向量，h＝1，2，…，16，<·，·>表示二个向量的内积。B_pq ⁽ⁱ⁾称为图像块A_pq ⁽ⁱ⁾的结构主元特征矩阵。公式(10)表明，B_pq ⁽ⁱ⁾的每一行实质上就是A_pq ⁽ⁱ⁾的同一行在结构主元张成的子空间span(x₁ ⁽ⁱ⁾，x₂ ⁽ⁱ⁾，…，x_di ⁽¹⁾)上的投影系数。

所有已知身份的人脸图像的结构主元特征，连同相应的人脸压缩图像及对应的个人身份信息保存起来，就构成了已知身份人脸图像的注册数据库。

步骤7：识别

设有一幅待识别人脸图像A，采用步骤(1)～(4)方法将A分割成30个图像块A⁽ⁱ⁾，计算A⁽ⁱ⁾的结构主元特征矩阵： $y_k^{\left(i\right)}=A^{\left(i\right)}{x}_k^{\left(i\right)},$ k＝1，2，…，d_i，i＝1，2，…，30。

对于注册数据库里每一幅人脸图像A_pq，其图像块A_pq ⁽ⁱ⁾的结构主元特征： $y_{\mathrm{pqk}}^{\left(i\right)}=A_{\mathrm{pq}}^{\left(i\right)}{x}_k^{\left(i\right)},$ k＝1，2，…，d_i，i＝1，2，…，30，则A⁽ⁱ⁾与A_pq ⁽ⁱ⁾的相似度定义为：

$\mathrm{\&gamma;}(A^{\left(i\right)},A_{\mathrm{pq}}^{\left(i\right)})=\underset{k=1}{\overset{d_i}{\mathrm{\&Sigma;}}}\left|\right|y_k^{\left(i\right)}-y_{\mathrm{pqk}}^{\left(i\right)}\left|\right|---\left(11\right)$

‖y_k ⁽ⁱ⁾-y_pqk ⁽ⁱ⁾‖是二个向量的差的范数。两幅人脸图像A和A_pq的相似度为它们对应的各个图像块相似度的加权和，计算如下：

$\mathrm{\&rho;}(A,A_{\mathrm{pq}})=\underset{i=1}{\overset{30}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\&times;\mathrm{\&gamma;}(A^{\left(i\right)},A_{\mathrm{pq}}^{\left(i\right)})---\left(12\right)$

其中，α_i为加权系数，0≤α_i≤ 1，i＝1，2，…，30， $\underset{i=1}{\overset{30}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i=1.$

由于图像块代表了确定的人脸局部区域，因此在计算相似度的时候，可以根据各局部区域对于人脸识别的重要性来确定各个图像块相似度的加权系数。例如，与眼睛、鼻子、嘴巴相对应的图像块相似度的加权系数可以比其它图像块相似度的加权系数高一些。又例如，根据目击证人回忆产生的人脸拼图，可能某些人脸部分比较可靠，另一些人脸部分比较模糊，则可以通过调节图像块相似度的加权系数来反映目击证人的确认程度。再例如，如果待识别人脸存在遮挡的情况，则可将与被遮挡部分相对应的图像块相似度的加权值设为0。

加权系数根据重要性调整，然后再归一化。与待识别人脸图像A最为相似的人脸图像A_pq判为人脸识别结果。

Claims (4)

1、一种基于结构主元分析的人脸识别方法，其特征在于包含以下的主要步骤：

(1)几何规整：将所有人脸图像的尺寸规整为80×96，并使得左眼中心点位于(16，24)位置，右眼中心点位于(64，24)位置，嘴巴中心点位于(40，72)位置。眼睛和嘴巴在规整后人脸图像中的相对位置符合第二代居民身份证人脸图像的要求。经过几何规整的人脸图像，人脸各个部位在人脸图像中的位置是固定的。

(2)图像分块：将几何规整后的人脸图像分割为30个互不重迭的图像块，每个图像块的尺寸为16×16。从左到右从上到下为图像块编号，则根据图像块的序号可以推知图像块究竟包含人脸的那一块局部区域。

(3)计算图像块的结构主元：采用二维主元分析(2DPCA)的方法计算每个图像块的主元，也即图像块二维协方差矩阵的主要特征向量。由于每个图像块都与人脸的某个具体的局部区域相联系，因此，图像块的主元反映了人脸的结构信息，故称之为结构主元。每个图像块结构主元的数目根据该图像块在人脸识别中贡献的大小而定。

(4)计算图像块的结构主元特征：对于已知身份的人脸图像和未知身份的人脸图像，经过几何规整和图像分块后，可以计算它们的图像块在结构主元上的特征。图像块的结构主元特征由图像块左乘各个结构主元得到。

(5)调整图像块相似度的加权系数：二个图像块之间的相似度就是它们相应的结构主元特征之间的距离。二副人脸图像的相似度就是它们对应的(相同序号的)图像块相似度的加权和。调整每个图像块相似度的加权系数可以凸现或抑制某些图像块在人脸识别中的作用。

2、根据权利1所述的人脸识别方法，其特征在于按照第二代居民身份证人脸照片的比例关系对人脸图像进行几何规整和图像分块，使得每个图像块都包含人脸的某个固定的局部区域。

3、根据权利1所述的人脸识别方法，其特征在于采用2DPCA方法计算图像块的结构主元并根据图像块在人脸识别中的作用确定结构主元的数目，其算法如下：

设A_pq ⁽ⁱ⁾表示训练集中第p个人的第q幅图像的第i个图像块，其中p＝1，2，…，P，q＝1，2，…，Q，i＝1，2，…，30，P为训练集中的总人数，Q为训练集中每人的图像数目，根据样本平均代替统计平均的原则和2DPCA方法，计算A_pq ⁽ⁱ⁾的均值矩阵和二维协方差矩阵如下：

${\stackrel{\&OverBar;}{A}}^{\left(i\right)}=\frac{1}{\mathrm{PQ}}\underset{q=1}{\overset{Q}{\mathrm{\&Sigma;}}}\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}{A}_{\mathrm{pq}}^{\left(i\right)}$

$G^{\left(i\right)}=\frac{1}{\mathrm{PQ}}\underset{q=1}{\overset{L}{\mathrm{\&Sigma;}}}\underset{p=1}{\overset{P}{\mathrm{\&Sigma;}}}{(A_{\mathrm{pq}}^{\left(i\right)}-{\stackrel{\&OverBar;}{A}}^{\left(i\right)})}^T(A_{\mathrm{pq}}^{\left(i\right)}-{\stackrel{\&OverBar;}{A}}^{\left(i\right)})$

接着，计算二维协方差矩阵G⁽ⁱ⁾的标准正交的特征向量并按照相应的特征值的大小排序，前面d_i个特征向量x₁ ⁽ⁱ⁾，x₂ ⁽ⁱ⁾，…，x_di ⁽ⁱ⁾为图像块A_pq ⁽ⁱ⁾的主元。图像块A_pq ⁽ⁱ⁾的主元数目d_i可以根据该图像块在人脸识别中作用的大小确定。

4、根据权利1所述的人脸识别方法，其特征在于通过调节图像块相似度的加权系数凸现或抑制某个图像块在人脸识别中的作用。

设A_pq为已知身份的人脸图像，A_pq ⁽ⁱ⁾为A_pq的第i个图像块， $y_{\mathrm{pqk}}^{\left(i\right)}=A_{\mathrm{pq}}^{\left(i\right)}{x}_k^{\left(i\right)}$ 定义为A_pq ⁽ⁱ⁾在结构主元x_k ⁽ⁱ⁾上的特征，这里，p＝1，2，…，P，P是不同个人的数目，q＝1，2，…，Q，Q是每个人的不同的人脸图像的数目，k＝1，2，…，d_i，d_i是第i个图像块结构主元的数目。

又设A为待识别的人脸图像，A⁽ⁱ⁾为A的第i个图像块， $y_k^{\left(i\right)}=A^{\left(i\right)}{x}_k^{\left(i\right)}$ 定义为A⁽ⁱ⁾在结构主元x_k ⁽ⁱ⁾上的特征，k＝1，2，…，d_i，d_i是第i个图像块结构主元的数目。

A_pq ⁽ⁱ⁾与A⁽ⁱ⁾的相似度定义为：

$\mathrm{\&gamma;}(A^{\left(i\right)},A_{\mathrm{pq}}^{\left(i\right)})=\underset{k=1}{\overset{d_i}{\mathrm{\&Sigma;}}}\left|\right|y_k^{\left(i\right)}-y_{\mathrm{pqk}}^{\left(i\right)}\left|\right|$

‖y_k ⁽ⁱ⁾-y_pqk ⁽ⁱ⁾‖为二个向量y_k ⁽ⁱ⁾和y_pqk ⁽ⁱ⁾的差的范数。A与A_pq的相似度定义为：

$\mathrm{\&rho;}(A,A_{\mathrm{pq}})=\underset{i=1}{\overset{30}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i\&times;\mathrm{\&gamma;}(A^{\left(i\right)},A_{\mathrm{pq}}^{\left(i\right)})$

α_i为加权系数，0≤α_i≤1， $\underset{i=1}{\overset{30}{\mathrm{\&Sigma;}}}{\mathrm{\&alpha;}}_i=1.$ 加权系数可以根据相应的图像块所包含的人脸局部特征对人脸识别的作用的大小来调节，从而提高人脸识别的准确率；也可以根据待识别的人脸图像的质量来调节，从而适应各种不完整的人脸图像的识别任务。

Images