CN1341401A - 基于部件主分量分析的多模式人脸识别方法 - Google Patents

Abstract

本发明属于图像处理、计算机视觉、模式识别技术领域,包括对人脸图像定位;从整个人脸中提取出裸脸、眉毛+眼睛、眼睛、鼻尖、嘴五种人脸部件;对训练集的每一个人的人脸图像、对已知的每一个人的人脸图像及对待识别的每一个人的人脸图像提取出五种人脸部件,利用主分量分析方法中的特征脸方法,分别形成五种特征部件、已知人脸的五种人脸部件的投影特征值并建立包括已知人脸的五种人脸部件的投影特征值和已知人脸的压缩图像及已知人的个人身份档案的数据库,以及待识别人脸的五种部件投影特征值;在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行多模式的全局人脸识别和局部人脸识别。本发明达到了高的识别率。

Description

基于部件主分量分析的多模式人脸识别方法

技术领域

本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及人脸识别方法。

人脸识别涉及到很多学科，包括图像处理、计算机视觉、模式识别以及神经网络等，也和神经生理学和神经生物学对人脑结构的研究成果紧密相关。人脸识别的难点在于：

(1)表情引起的人脸塑性变形

(2)姿态引起的人脸多样性

(3)年龄引起的人脸变化

(4)发型、胡须、眼镜、化装等因素引起的人脸模式的多重性

(5)光照的角度、强度以及传感器特性等因素引起的人脸图像的差异性

诸多的因素使得人像识别成为一项棘手而富挑战性的课题，也因此在近年成为科研的热点。

目前已有的人脸识别方法都是对整个人脸进行识别的，而在诸多的识别方法中，主要采用主分量分析(PCA-Principal Component Analysis)、弹性匹配、神经网络、几何特征等方法，例如目前采用的PCA方法，是对整个人脸计算特征脸并计算整个人脸的投影特征值。由于上述五个方面的难点，使得整个人脸的识别难以达到高的识别率。

发明内容

本发明的目的是为克服已有技术的不足之处，提出了一种基于部件主分量分析的多模式人脸识别方法，对人脸进行部件提取，再对人脸部件进行主分量分析及多模式识别，以达到高的识别率。

本发明提出的一种基于部件主分量分析的多模式人脸识别方法，其特征在于：包括以下步骤：1)采用模板匹配和投影直方图的方法对人脸图像定位，确定出人脸粗定位区、左右眼球、鼻尖、嘴、下颌顶点的基本位置；2)从整个人脸中提取出裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件；3)对训练集的每一个人的人脸图像采用步骤1)、2)提取出每一个人的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，对从训练集人脸中提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征脸方法，分别形成特征裸脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴；4)对已知的每一个人的人脸图像采用步骤1)、2)提取出的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，对从已知人脸中提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的投影特征值分析方法，提取已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值并建立包括已知人脸裸脸、眼睛＋眉毛、眼睛、鼻子、嘴五  种人脸部件的投影特征值和已知人脸的压缩图像及已知人的个人身份档案的数据库；5)对待识别的每一个人的人脸图像采用步骤1)、2)提取出的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，对从待识别人脸中提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征投影值分析方法，提取待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值；6)在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行多模式的全局人脸识别和局部人脸识别。

所说的多模式的全局人脸识别方法，可包括特征脸、特征[眼睛＋眉毛]、特征眼睛、特征鼻子、特征嘴巴综合的识别方法。

所说的多模式的局部人脸识别方法可包括单个特征脸、特征[眼睛＋眉毛]、特征眼睛、特征鼻子、特征嘴的识别，或特征脸、特征[眼睛＋眉毛]、特征眼睛、特征鼻子、特征嘴相互之间的组合识别。

本发明的特点及效果

本发明对人脸进行部件提取，再对人脸部件进行主分量分析及多模式识别，达到高的识别率。

附图说明图1为本发明实施例的人脸图像定位结果示意图。图2为本发明用于匹配的人脸模板示意图。图3：待匹配区域的划分图4：梯度的方向积分投影图5：谷点的搜索图6：两鼻孔X轴上梯度积分投影图7：眼球以下部分做灰度积分投影图8：从整个人脸中提取出裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种部件图9：用PCA分析形成特征脸的示意图图10：人脸识别系统的框图图11：人脸局部(裸脸、眼睛＋眉毛、眼睛)识别查询图12：全局人脸识别查询

具体实施方式

本发明提出的一种基于部件PCA的多模式人脸识别方法实施例结合各附图详细说明如下；

本实施例包括以下步骤：1)对人脸图像定位。选定标准人脸图像尺寸为330×480(宽×高)，定位的过程分为粗定位和细定位两步。粗定位的过程也就是在人脸图中找出人脸粗定位区的过程，细定位的过程也就是在粗定位的基础上定出人的两眼珠所在的位置的过程。进而确定鼻尖、嘴巴、下颌顶端位置，人脸图像定位结果如图1所示。图1中，白线框为粗定位所确定的人脸粗定位区的位置，眼球中的白点为细定位所确定的左右眼球所在位置，鼻尖、下颌顶端处的小白圈分别为细定位所确定的鼻尖、下颌顶端位置，嘴巴中的小白圈是嘴巴中心的位置。其中，粗定位采用模板匹配的方法，图2是用于匹配的人脸模板，这是一个48×33像素大小的模板。图3是将待定位的人脸图像中单个匹配区域划分为9个子区域，每一个子区域的尺寸为在16×11。在模板匹配中，先对待匹配区域的每一个子区域进行梯度统计，统计结果为Mg1～Mg9，，根据人脸的梯度分布认为匹配区域只要符合下列条件之一即不进行匹配运算：

   Mg1＜Mg4或Mg3＜Mg6或Mg1＜Mg2或Mg3＜Mg2在进行匹配运算时，采用了(1)式匹配函数。

       S＝S_sym＋S₀＋S_hist                             (1)其中S_sym表示待匹配区域左右两边的对称性，S₀表示模板匹配的结果，S_hist是区域1和4的X轴积分投影直方图的匹配情况。实际中S₀的计算是根据S_sym将左右区域的均值调整到同一值的情况下再进行计算的。S₀是计算模板和待匹配区域的相关性。在待匹配区域和模板的均值和方差调整到同一值的情况下，采用相减再取绝对值进行匹配。

人脸的精确定位是通过眼球的定位来实现的，区域1和3应该是眼球所可能出现的区域。眼球的定位是通过寻找谷点来实现的。这里采用了自下往上的搜索办法，如图4所示，图中的积分投影是梯度图的积分投影。当搜索到图4中A点峰值时，认为已经找到了眼睛的大致水平位置Ay，给出感兴趣区域y属于(Ay-delta，Ay＋delta)，让x在很大的范围内变化，寻找此区域内的谷点(最低点)。采用图5所示的模型进行(2)式所示的比值计算，从而确定谷点的位置，图5中，子区域5表示眼球所在的区域。 $S=\frac{\underset{n=1}{\overset{9}{\mathrm{\Σ}}}\mathrm{Gray}\left(n\right)}{\mathrm{Gray}\left(5\right)}---\left(2\right)$

(2)式中的表示子区域5内外的灰度比，其中Gray(n)表示n区域的灰

度和。

对两鼻孔之间中心线的提取主要是依赖两鼻孔X轴上梯度积分投影的峰值信息，如图6所示。

图6中，L1为左鼻孔的x坐标，L2为右鼻孔的x坐标，x0为两鼻孔之间中心线的x坐标。对待匹配人脸的眼球以下部分做灰度积分投影，如图7所示。图7中，y1为下颌顶点的Y坐标，y2为嘴巴中心的Y坐标，y3为鼻尖的Y坐标，其X坐标均为x0。

这样，完成了左右眼球、鼻尖、嘴巴中心、下颌顶端的定位。2)进行人脸部件提取。根据对人脸图像定位所确定的左右眼球、鼻尖、嘴巴中心、下颌顶端的具体位置，再从整个人脸中提取出裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种部件，这5种部件如图8所示。裸脸的图像尺寸为90x120，眉毛＋眼睛的图像尺寸为182×70，眼睛的图像尺寸为160×40，鼻尖的图像尺寸为78×32，嘴巴的图像尺寸为90×68。3)对从训练集提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴，利用PCA(Principal Component Analysis)方法分析，分别形成特征裸脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴，分别提取已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值和提取待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值。

选取1000幅以上的人脸图像，每幅人脸图像均采用上述步骤1)、2)进行处理，形成裸脸训练集、(眼睛＋眉毛)训练集、眼睛训练集、鼻子训练集、嘴巴训练集，对这些训练集分别进行PCA分析，形成特征脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴，图9给出了把训练集的人脸图像通过PCA分析形成特征脸的过程，其中，X为裸脸的象素数量，N为训练集的人脸图像数量，D为保留特征脸的数量。

特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴的形成过程类似于特征脸的形成过程。

在已获得特征脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴的基础之上，再分别提取已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值和待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值。具体的做法是：

用n×N矩阵表示N个人脸矢量，n为人脸图象的点阵数，N为训练人脸图项的点阵数，则： $C=\frac{1}{N}X{X}^{T}X=(X_1,X_2,...,X_N)---\left(3\right)$

(3)式中  X_k＝x₁k，x₂k，…，x_nk     k＝(1，2，...，N)

在计算C的特征向量和特征值中，由于计算XX^T的维数很大(n²维)，而采用奇异值分解，改为计算X^TX，这样可间接获得C的特征向量和特征值，而计算X^TX后则降为N²维，XX^T与X^TX的特征值是一样的，而它们之间的特征向量的关系满足下式： $u_k=\frac{1}{{\mathrm{\λ}}_k}\×{\mathrm{\φ}}_k---\left(4\right)$

(4)式u_k为XX^T的特征向量，而φ_k为X^TX的特征向量λ_k既是XX^T的特征值，同时也是X^TX的特征值。

对于矩阵R，存在一个Φ矩阵，使下式成立：

     R×Φ＝Φ×Λ                              (5)

(5)式中Λ包含了矩阵R的特征值，Λ＝Dig{λ₁，λ₂，...，λ_N}，(5)式表示成N个等式：

   R×φ_k＝λ_k×φ_k    k＝1，2，...，N        (6)

(6)式中特征值λ_k可通过下式求得：

     |R-λ_k×I|＝0                           (7)

把求得的λ_k数值按从大到小进行排序，取出前D个最大的特征值并保留与之相对应的D个特征向量φ_k。

由(4)式算出矩阵C的特征向量u_k。

矩阵C分别为从训练集人脸中分离出来的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴，分别通过(3)、(4)、(5)、(6)、(7)式的运算，得到特征脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴，这就是PCA(Principal ComponentAnalysis，主分量分析)方法中的特征脸方法。4)  提取已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值并建立已知人脸的数据库。

对己知人脸的图像采用上述步骤1)、2)所述的方法分离出裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴，形成人脸特征。采用下面(8)式的运算(即PCA(PrincipalComponent Analysis，主分量分析)方法中的投影特征值分析方法)，分别形成已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值。 $B=u_k^T\×q--k=\mathrm{1,2},...,D---\left(8\right)$

(8)式中q分别为已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴，u_K ^T分别为从训练集人脸中得到的特征脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴，D＝60。

将一个已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的特征投影值按照裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的顺序组成一个已知人脸的投影特征值串，在此基础上建立一个供人脸识别用的数据库，该数据库包含有已知人脸图像(采用JPEG方法压缩)、己知人脸的投影特征值串和个人的身份档案。5)  提取待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的特征投影值。对待识别人脸的图像采用上述1)、2)所述的方法分离出裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴，形成人脸特征。采用(9)式进行计算(即PCA(PrincipalComponent Analysis，主分量分析)方法中的投影特征值分析方法)，分别形成待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值。 $A=u_k^T\×q---k=\mathrm{1,2},...,D---\left(9\right)$

(9)式中q为待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴，u_K ^T分别为从训练集人脸中得到的特征脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴。6)采用全局人脸识别和局部人脸识别的方法进行人脸识别。人脸识别的过程为：以待识别人脸的特征与数据库中存储人脸的特征进行比对，计算相似度，再按与待识别人脸相似度的大小对数据库中的人脸进行从大到小的排序，并按照这一顺序显示出被查找出的人的照片、个人的身份档案和与待识别人的相似度，从而查找出待识别者的身份或与待识别者在面貌上相似人的身份。计算待识别人脸与已知人脸相似度采用(10)式。 $R=\sqrt{1-\frac{\left|\right|A-B\left|\right|}{\left|\right|A\left|\right|+\left|\right|B\left|\right|}}---\left(10\right)$

(10)式中A为待识别人脸的投影特征值串、B为数据库中已知人脸的归投影特征值串。

采用全局人脸识别方法时，对已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值按5∶6∶4∶3∶2的比例进行加权，同时对待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值按5∶6∶4∶3∶2的比例进行加权，然后按(10)式计算相似度。

采用局部人脸识别方法时，用人机交互的方法选择裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的任意组合，其组合数为5！共120种即共有120种人脸识别模式。裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值仍按5∶6∶4∶3∶2的比例进行加权。

采用本实施例方法的一种人脸识别系统结构如图10所示。包括将方法中的1～6步的6个步骤，再加上图像的输入，采用VC++编制程序，形成图10中的各个模块，分别安装在5台PC微机(4台作为服务器，一台作为客户机)中，还包括用于图像输入的摄像机、microtek E6型扫描仪。

采用本方法所构成的人脸识别系统采用客户机/服务器方式，人脸识别的匹配算法嵌入到服务器中。通过注册模块可以建立已知人像数据库。客户端通过认定查询模块向服务器输送查询请求和待识别人脸的特征并接受从服务器送回来的识别查询结果。为了提高识别查询速度，采用多个服务器按集群计算机连接实现并行识别查询。人脸输入模块接受由扫描仪或摄像机输入的人脸图像，通过质量认定模块、特征提取模块后，再通过认定查询模块实现人像的识别查询。

系统中的供人脸识别查询用的数据库包括个人的身份档案、人脸图像(用JPEG方法压缩)和人脸投影特征值三部分。按集群计算机连接组成的四个服务器包括一个主服务器和三个从服务器，为了降低网络的通信流量，需预先进行数据库的分库工作，即把一个大库分为四个小库分存入到四个服务器中。

系统的数据库主服务器使用曙光PC服务器，配置为：双CPU-PIII500，512MB内存，双SCISI硬盘-9Gx2。安装Windows NT 4.0和Oracle8。

本系统使用了三个数据库从服务器，每个从服务器的配置为：CPU-PIII733MHz，512MB内存，15G IDE硬盘，安装Windows NT 4.0和Oracle8数据库。

本实施例所录入的已知人员有92000人。

客户机的配置为：CPU-PII 266，128MB内存，安装Windows98。整个系统由网络联结，网络集线器采用为100Bb的交换机。

由以上方法组成的人脸识别系统通过实际运行的测试，效果非常明显，举例说明如下：

实例1：如图11所示，采用本方法的人脸局部(裸脸、眼睛＋眉毛、眼睛)识别查询，嫌疑人的模拟人脸(如图左部位所示)和真正嫌疑人的人脸的匹配度为87.88％，查询排序真正嫌疑人在92000名人脸图像中排在182名。如果用全局人脸整体识别，查询排序真正嫌疑人在92000名人脸图像中排在16617名(图中未示出)。

实例2：如图12所示，采用本方法的全局人脸识别查询，被查询人脸如图左部位所示，识别查询结果为：在92000名人脸图像库中，被查询人不同时期的照片排在前三名。

Claims (3)

1、一种基于部件主分量分析的多模式人脸识别方法，其特征在于：包括以下步骤：1)采用模板匹配和投影直方图的方法对人脸图像定位，确定出人脸粗定位区、左右眼球、鼻尖、嘴、下颌顶点的基本位置；2)从整个人脸中提取出裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件；3)对训练集的每一个人的人脸图像采用步骤1)、2)提取出每一个人的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，对从训练集人脸中提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征脸方法，分别形成特征裸脸、特征(眼睛＋眉毛)、特征眼睛、特征鼻子、特征嘴巴；4)对已知的每一个人的人脸图像采用步骤1)、2)提取出的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，对从已知人脸中提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的投影特征值分析方法，提取已知人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值并建立包括已知人脸裸脸、眼睛＋眉毛、眼睛、鼻子、嘴五种人脸部件的投影特征值和已知人脸的压缩图像及已知人的个人身份档案的数据库；5)对待识别的每一个人的人脸图像采用步骤1)、2)提取出的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，对从待识别人脸中提取出来的裸脸、眉毛＋眼睛、眼睛、鼻尖、嘴五种人脸部件，利用主分量分析方法中的特征投影值分析方法，提取待识别人脸的裸脸、眼睛＋眉毛、眼睛、鼻子、嘴巴的投影特征值；6)在已知人脸数据库中对待识别的人脸采用计算相似度和按相似度排序的方法进行多模式的全局人脸识别和局部人脸识别。

2、如权利要求1所述的基于部件主分量分析的多模式人脸识别方法，其特征在于，所说的多模式的全局人脸识别方法，包括特征脸、特征[眼睛＋眉毛]、特征眼睛、特征鼻子、特征嘴巴综合的识别方法。

3、如权利要求1所述的基于部件主分量分析的多模式人脸识别方法，其特征在于，所说的多模式的局部人脸识别方法包括单个特征脸、特征[眼睛＋眉毛]、特征眼睛、特征鼻子、特征嘴的识别，或特征脸、特征[眼睛＋眉毛]、特征眼睛、特征鼻子、特征嘴相互之间的组合识别。

Images