CN1266642C - 基于多类别的人脸分类识别方法 - Google Patents

Abstract

本发明是一种基于多类别的人脸分类识别方法，包括以下步骤：利用三维摄像系统摄取各区人脸图像，建立人脸图像数据库；根据一定的分类准则，将人脸按特征分为多个类别；根据各类别人脸几何和结构的自然特征，定义人脸的2 3个几何特征点和16个特征向量；利用分类器对人脸几何特征进行分类识别；最后结合常规的基于代数特征的方法完成人脸的最终识别。本发明在进行人脸的识别分析时，首先使用本发明所提供的方法进行分类识别，当判定了该人脸所属类别时，再在该类人脸图像库中进行识别分析，从而提高人脸的识别效率，减少各类的人脸图像数目，能大幅度提高大容量人脸图像数据库的人脸识别效率，对越大的人脸图像数据库，效果越明显。

Description

基于多类别的人脸分类识别方法

技术领域

本发明属于图像处理、计算机视觉、模式识别技术领域，特别涉及一种人脸识别方法。

技术背景

随着各种信息技术的发展，如何有效地利用电子、信息处理、计算机、网络通讯、人工智能等技术，便捷、准确、可靠地识别人员身份，保障社会成员的合法权益和社会公共安全，维护世界和平，已成为世界各国政府、企业界、国家及国际社会共同需要解决的重要的课题。

借助于计算机技术的人体生物特征识别技术(Biometrics)是基于人体自身具有的可区别于其他任何人的特征来进行身份识别的，因此完全不同于依靠证件、密码、磁卡、IC卡、照片、钥匙等本质上仍是“认物不认人”的身份验证识别技术。该技术的核心在于如何有效地获取人体生物特征并将其转换为数字信息存储于计算机中，再利用相应的可靠算法来完成验证与识别个人身份以达到身份验证和安全检查的目的。

与其它生物识别技术相比，人脸识别具有两点独一无二的特性：适合要求隐蔽实行的场合。其它生物识别方法一般需要人的某些自愿动作，如按指纹、签字等，而人脸识别对此要求较低，使它更易于使用，特别适合要求隐蔽实行的场合。当要通过生物记录来核查一个人的身份时，只有人脸最直观、最方便。管理员仅凭双眼无法判断一个人的指纹是否与相同ID号用户所登记的指纹一致，但却可以通过比较面像来判断。

目前面部识别技术最大的问题是很容易受到整容、化妆等因素的影响，不同年龄段也在一定的程度上会发生面部的特征变化。诸多的因素使得人脸识别成为一项棘手而富挑战性的课题，也因此在近年成为生物特征研究的热点。

发明内容

本发明的目的是为了克服一些已有技术的不足：目前有不少人脸识别方法之所以不能达到很高的效率，是因为用于识别的人脸图像库太大，使得在进行人脸识别时，需要大量的时间来进行搜索匹配，从而使得整体的识别时间过长，不能满足识别的实用性要求。试图从一个崭新的视角出发，提出的一种基于多类别的人脸识别分析方法，该方法集中针对大容量的人脸图像数据库，将其按某一标准进行分类，目的是减少各类的人脸图像数目。这样，在进行人脸的识别分析时，首先使用本发明所提供的方法进行分类识别，当判定了该人脸所属类别时，再在该类人脸图像库中进行识别分析，从而提高人脸的识别效率。

本发明提出的一种基于多类别的人脸分类识别方法，包括以下步骤：

1)利用三维摄像系统摄取各区人脸图像，用于建立人脸图像数据库；

2)根据一定的分类准则，将人脸按特征分为多个类别，对于已建立的大容量的人脸图像数据库，应按特征分解成多个较小容量的数据库；

3)根据各类别人脸几何和结构的自然特征，定义人脸的23个几何特征点和16个特征向量；

4)利用分类器对人脸几何特征进行分类识别；

5)结合常规的基于代数特征的方法完成人脸的最终识别。

本发明的特点及效果：通过对大容量人脸图像数据库，首先应用本发明所提供的方法完成人脸识别的初分类，然后再进行人脸的识别分析。实验证明，该方法的分类结果非常可靠，其平均分类识别率达到90％以上，而且能大幅度提高大容量人脸图像数据库的人脸识别效率，对越大的人脸图像数据库，效果越明显。

附图说明

图1：本发明方法的步骤框图。

图2：本发明的三维摄像系统示意图。

图3：本发明方法人脸的特征点选取示意图。

图4：本发明方法以中国人为例的中国行政区划示意图。

图5：本发明方法以中国人为例所选取的不同区域的典型人脸。

具体实施方式

本发明提出一种基于多类别的人脸分类识别方法，现结合各附图，以中国的行政区划分为例，详细说明其实施方式：

本方法的总体步骤如图1所示，首先对各类别的人脸样本进行几何特征提取，形成人脸几何特征库，利用待识别的人脸特征向量与各类别人脸特征矩阵计算马氏距离，通过比较，即可完成人脸的分类识别过程。具体实施如下：

1.建立三维摄像系统，用于摄取人脸图像。

如图2所示，用于正面Z方向的面部摄像头，采用高于40万像素的彩色CCD数字图像传感件，用于侧面X方向和顶部Y方向的摄像头采用不低于30万像素的CCD数字黑白图像传感件。主要采用市场上的CCD数字图像传感件单元产品来研制和集成用于人体摄像的三维CCD数字摄像系统。通过图2所示的三维CCD数字摄像系统对人脸进行摄像(其中Z方向的CCD数字摄像机拍下对象人体的面部图像和前部轮廓，X和Y方向的CCD数字摄像系统分别拍下动态侧面轮廓和顶部轮廓)，同时计算机将采样得到的三面轮廓图像实时组合起来形成数值图像存入中国人脸图像数据库。

2.根据分类准则，将中国人人脸按特征分为多个类别，对于已建立的大容量的人脸数据库，将其按类别分解成多个较小容量的数据库。

如图4所示，中国从行政区的划分来看，分为华北区、东北区、西南区、华东区、华中区、华南区和西北区共七大区域。考虑到对于同一个行政区而言，人们的饮食、生活习惯及周围环境的气候都比较相近，从某种程度上来说对人的成长应该具有一定的影响作用。如果能从某种角度提取出每个区的人脸特征，对于进一步的中国人脸识别将起到举足轻重的作用，因此我们在采集人脸图像数据时，就有意识地按区域进行划分，建立了基于中国行政区划的人脸图像数据库。

通过前面的分析，经过前后5次拍摄，我们已建立了一个典型的区域性人脸图像数据库。该数据库总共选用186张图片，其中西南区42张，西北区20张，华北区30张，华东区19张，华中区30张，东北区29张，华南区16张。

3.定义人脸的23个几何特征点和16个特征向量(如图3所示)。

23个几何特征点主要集中在眉毛、眼睛、鼻子和嘴巴，具体描述如下：

●B₁、B₂、B₃、B₄分别为两条眉毛的端点，B为B₂和B₃连线的中点；

●E₂、E₁、E₃、E₄分别为两只眼睛的内外眼角，E为E₂和E₃连线的中点；

●N₂、N₃分别是两个鼻孔的底部内边缘点，N为N₂和N₃连线的中点，N₁、N₄分别是直线N₂N₃延长线与左、右脸颊轮廓线的交点；

●M₂、M₃分别为左、右嘴角顶点，M为EN延长线和M₂M₃连线的交点，M₁、M₄分别是直线M₂M₃延长线与左、右脸颊轮廓线的交点；

●W₁、W₂分别是过EN连线中点且垂直于EN的直线与左、右脸颊轮廓线的交点；

●C是EN连线的延长线与下巴的交点。

对应的16个特征向量主要包括高度方向、宽度方向、角度以及长宽比，具体描述如下：

●高度：EB/EN；EM/EN；EC/EN

●宽度：B₁B₂或B₃B₄/E₂E₃；B₂B₃/E₂E₃；E₁E₂或E₃E₄/E₂E₃；W₁W₂/E₂E₃；N₂N₃/E₂E₃；M₂M₃/E₂E₃；N₁N₄/E₂E₃；M₁M₄/E₂E₃

●长宽比：E₂E₃/EN

●角度：∠B₂NB₃；∠E₁NE₄；∠E₂NE₃；∠M₂NM₃

4.进行人脸的分类识别。

为了完成七大行政区之间的人脸几何特征分类识别，就有必要在这些区的样本数据之间建立特定的判决函数，当特征的类型超过两个时，也把该判决函数称为多类分类器。建立多类分类器时常常遵循“物以类聚，人以群分”的原则，要尽可能地体现每个类型样本的相似性。对于一个样本而言，在它的特征空间就是一个点。如果分类器选择适当，那么同一类的样本就密集地分布在一个区域里，不同类的样本就会远离。因此，点间距离远近反映了相应样本所属类型有无差异，可以作为样本相似性度量。

对于许多实际的数据集，正态分布通常是合理的近似。如果在特征空间中的某一样本，较多地分布在这一类均值附近，远离均值点的样本比较少，一般来说，用正态分布作为这一类的概率模型是合理的。由于马氏距离遵循正态分布的性质，这里我们采用了马氏距离作为分类器，具有计算简单，容易实现的特点，能够取得较好的识别率。

对每张人脸图像，首先通过自动识别方法获得16个特征，形成一个特征向量x_j，假设某区有n张人脸，那么X＝(x₁，x₂，…，x_n)^T就是该区人脸的特征矩阵，计算该矩阵的均值向量μ和协方差矩阵Σ，然后对每张待识别人脸特征向量x，并计算它与每个区特征矩阵之间的马氏距离

$\mathrm{\γ}=\sqrt{{(x-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})}$

选择这些距离的最小值，即可判断该人脸所属区域。

由以上方法组成的人脸识别系统通过实际运行的测试，效果非常明显，举例说明如下：实际运行中，分别在东北区取29个样本、华南区取16个样本、华北区取30个样本、华东区取19个样本、华中区取30个样本、西北区取20个样本、西南区取42个样本，能够正确识别的样本数为东北区27个、华南区15个、华北区29个、华东区17个、华中区27个、西北区19个、西南区36个，因此各区的识别率分别为东北区93.1％、华南区93.75％、华北区96.67％、华东区89.47％、华中区90％、西北区95％、西南区85.71％。

5.结合常规的基于代数特征的方法完成人脸的最终识别。

这里，我们选择基于奇异值分解的方法来进行人脸的最终识别。奇异值分解的基本原理是将每一张人脸图像看成一个数字矩阵，然后把该矩阵分解成一个对角矩阵和两个酉矩阵，并利用每张人脸在这两个矩阵上的差异进行人脸的识别。

本发明为了验证在人脸识别过程中加入了分类识别这一步后是否有效，我们采取了如下两个方案：一、从186张人脸中任意抽出一张人脸作为待识别人脸，直接用基于奇异值分解的方法来进行识别，识别时间大约要2秒钟。二、首先应用基于马氏距离的多类分类器方法进行分类，需要花费约0.7秒；接着再应用基于奇异值分解的方法来进行识别，费时0.3秒左右。也就是说，针对我们所建立的拥有186张人脸的数据库，利用方案二来进行识别，基本上能节约一半的时间。而且在实验的过程中，我们还发现，对于特别大的人脸数据库，可能进行多次分类，而且能够取得更高的效率。

综上所述，采用本发明所提供的基于多类别的人脸分类识别方法，可以极大地提高中国人人脸识别效率，从而推进人脸识别系统的实用化。

Claims (3)

1、一种基于多类别的人脸分类识别方法，其特征在于包括以下步骤：

(1)建立一个三维摄像系统，用于摄取人脸图像；

(2)根据一定的划分标准建立分类准则，将人脸按特征分为多个类别；

(3)根据人脸几何和结构的自然特征，在每张人脸图像上提取23个几何特征点并得到16个特征向量：

①每张人脸图像上提取的23个几何特征点包括：

●B₁、B₂、B₃、B₄分别为两条眉毛的端点，B为B₂和B₃连线的中点；

●E₂、E₁、E₃、E₄分别为两只眼睛的内外眼角，E为E₂和E₃连线的中点；

●N₂、N₃分别是两个鼻孔的底部内边缘点，N为N₂和N₃连线的中点，N₁、N₄分别是直线N₂N₃延长线与左、右脸颊轮廓线的交点；

●M₂、M₃分别为左、右嘴角顶点，M为EN延长线和M₂M₃连线的交点；M₁、M₄分别是直线M₂M₃延长线与左、右脸颊轮廓线的交点；

●W₁、W₂分别是过EN连线中点且垂直于EN的直线与左、右脸颊轮廓线的交点；

●C是EN连线的延长线与下巴的交点；

②16个特征向量包括高度方向、宽度方向、角度以及长宽比：

●高度：EB/EN；EM/EN；EC/EN

●宽度：B₁B₂或B₃B₄/E₂E₃；B₂B₃/E₂E₃；E₁E₂或E₃E₄/E₂E₃；W₁W₂/E₂E₃；N₂N₃/E₂E₃；M₂M₃/E₂E₃；N₁N₄/E₂E₃；M₁M₄/E₂E₃

●长宽比：E₂E₃/EN

●角度：∠B₂NB₃；∠E₁NE₄；∠E₂NE₃；∠M₂NM₃

(4)对每类人脸的16个几何特征向量所构成的特征矩阵，计算其均值向量μ和协方差矩阵∑；对每张待识别的人脸，假定该人脸的特征向量为X，计算其特征向量与上述每类人脸的特征矩阵之间的马氏距离 $r=\sqrt{{(x-\mathrm{\μ})}^T{\mathrm{\Σ}}^{-1}(x-\mathrm{\μ})x},$ 选择这些距离中的最小值，即可判断该人脸所属类别；

(5)结合常规的代数特征识别方法完成人脸的最终识别。

2、根据权利要求1所述的基于多类别的人脸分类识别方法，其特征在于用三维摄像系统摄取人脸图像是对人脸进行多角度的摄像，其中Z方向的摄像机拍下对象人体的面部图像和前部轮廓，X和Y方向的摄像系统分别拍下动态侧面轮廓和顶部轮廓。

3、根据权利要求1所述的基于多类别的人脸分类识别方法，其特征在于在对人脸进行分类时的分类准则：分类时要尽可能使每个类别中的所有人脸样本具有最大的相似性；而类别之间则应具有最大的差异性；人脸样本之间的差异主要从几何特征上来分析。

Images