CN102194131B

CN102194131B - 基于五官几何比例特征的快速人脸识别方法

Info

Publication number: CN102194131B
Application number: CN 201110146177
Authority: CN
Inventors: 黄翰; 郝志峰; 蔡昭权; 鲁梦平; 谢潇雨; 秦勇; 杨忠明
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2011-06-01
Filing date: 2011-06-01
Publication date: 2013-04-10
Anticipated expiration: 2031-06-01
Also published as: CN102194131A

Abstract

本发明涉及基于五官几何比例特征的快速人脸识别方法，其识别和搜索的对象是人的正脸图像，是根据人脸各部位灰度值的不同，得出眼、鼻、嘴等特征的二维坐标，将这些坐标点进行适当的连接，组合成角度、长度等信息。通过对两张人脸进行匹配分析，得出眼鼻、眼嘴和鼻嘴的匹配率以及综合匹配率。同时，可将所得到的二维坐标连同人脸图像及人脸所属个体的信息存入数据库。本发明将需要被识别的人脸与数据库的人脸逐一地进行对比匹配，从中取出综合匹配率最高的人脸，实现人脸的快速搜索。

Description

基于五官几何比例特征的快速人脸识别方法

技术领域

本发明涉及人脸识别技术领域，具体涉及基于五官几何比例特征的快速人脸识别方法。

背景技术

现今社会，诸如视觉监控、远程教育和人机交互技术及安全等各方面都迫切希望能够进行快速、有效的身份验证。生物特征因为自身的稳定性和差异性，已成为身份验证的主要手段。人脸是一种极为复杂的多变的物体，也是一种典型　的非刚性物体。

人的脸部特征十分丰富，除了形状和表情之外，还有五官的特征分布。通过研究这些特征间的比例关系，可以得到不同的人脸的相似和差异程度。与利用视网膜识别及指纹识别等人体生物特征进行身分验证相比，人脸识别技术具有直观、友好及方便等特点，正越来越受到国际学术界、企业界、政府、公安部门和国防军事部门的重视和青睐，具有广泛的应用前景。

目前学界所广泛使用的人脸识别方式是：先进行人脸的检测和定位，进而对人脸进行面部特征的提取，最后得出识别的结果。其中，对人脸面部特征的提取，是在确定了人脸之后，对人脸图像进行预处理之后开始的；特征提取和识别的方法包括基于局部特征和基于整体特征两个方面。在基于整体特征的方法上，包括多种方法，如：基于弹性匹配的方法、基于神经网络的方法和基于特征脸的方法等。但这些方法由于受到人脸的非刚性和光照条件的影响，只有在特定的环境下才有较高的识别率，而且这些方法所使用到的匹配参数相互依赖度较高、匹配的方法也没有统一的科学标准，这影响了识别的准确性。这些原因使人脸识别成为了学界争先研究的一个课题。

发明内容

本发明的目的在于克服现有技术存在的上述不足，提供基于五官几何比例特征的快速人脸识别方法。该方法通过分析人脸各部位灰度值的差异，对眼、鼻和嘴等特征进行定位，得到这些特征的坐标位置，根据需要将这些坐标点进行连接，组合成角度、长度等信息，并存入数据库，对需要检索的正脸，首先获取上述特征的坐标值，最后与数据库中存储的人脸信息进行对比，得到人脸检索的综合匹配结果，具体技术方案如下。

一种基于五官几何比例特征的快速人脸识别方法，具体步骤如下：

（1）在隐马尔可夫模型的基础上，运用以Haar特征训练出来的分类器，对包含正脸的人脸图像进行人脸检测，以及眼睛、鼻子和嘴巴的定位；

（2）通过对步骤（1）所检测到的人脸进行灰度化，然后分别截取眼睛、鼻子和嘴巴的区域，提取并记录相应的特征信息，特征信息包括左瞳孔、右瞳孔、左鼻孔、右鼻孔、左嘴角、右嘴角、嘴巴中心点和脸框四角的二维坐标值；

（3）将步骤（2）所得出的人脸各部位特征的二维坐标值与数据库中所存储的每一张人脸数据进行对比，得到眼鼻、眼嘴和鼻嘴的匹配率，以及综合匹配率；

（4）根据步骤(3)得到的匹配结果，进行下一步判断处理：若综合匹配率高于90%，则提示查找成功；否则，提示查找失败，数据库中不存在所查人脸的相关信息。

上述的基于五官几何比例特征的快速人脸识别方法中，步骤（3）所述数据库是通过如下方法建立：获取准备存入数据库的多张正脸图像；利用步骤（1）和步骤（2）对每一张正脸图像进行处理，得到人脸相关特征信息，特征信息包括左瞳孔、右瞳孔、左鼻孔、右鼻孔、左嘴角、右嘴角、嘴巴中心点和脸框四角的二维坐标值；最后把每一张人脸的相关特征信息存入到数据库；

上述的基于五官几何比例特征的快速人脸识别方法，步骤（1）中，对人脸的检测以及眼睛、鼻子和嘴巴的定位包括两个步骤：

（1.1）先对图像进行预处理，即灰度化和直方图均衡化，然后利用Haar 特征训练分类器实现人脸检测，得到人脸的脸框区域；在得到上述人脸脸框区域后，设定脸框区域的收缩系数，把脸框区域缩小，再利用Haar特征训练得到的分类器分别检测出脸框区域中的眼睛区域、鼻子区域和嘴巴区域；

（1.2）在上述步骤(1.1)检测眼睛区域、鼻子区域和嘴巴区域的过程中，如果检测到的眼睛区域、鼻子区域或嘴巴区域的中线偏离出人脸脸框区域的中线，则认为检测出错，需要扩大收缩系数再对眼睛、鼻子或嘴巴进行检测。

上述的基于五官几何比例特征的快速人脸识别方法，步骤（2）中记录的左瞳孔和右瞳孔坐标值的计算方法如下：先在截取的眼睛区域中，分别提取左右眼的灰度值最低的一点；然后分别以这两个点为中心提取在它们周围的灰度值不高于该中心20的点，对这些点的二维坐标取平均值，求得的两个平均值便是左瞳孔和右瞳孔的坐标值。

上述的基于五官几何比例特征的快速人脸识别方法，步骤（2）中记录的左鼻孔和右鼻孔的坐标值的计算方式如下：先在截取的鼻子区域中，分别提取左右鼻孔的灰度值最低的一点；然后分别以这两个点为中心提取在它们周围的灰度值不高于该中心20的点，对这些点的二维坐标取平均值，求得的两个平均值便是左鼻孔和右鼻孔的坐标值。

上述的基于五官几何比例特征的快速人脸识别方法，步骤（2）中的记录左嘴角、右嘴角和嘴巴中心点坐标值，是根据嘴巴的双唇的颜色与脸部其他部位灰度的不同，得到左嘴角和右嘴角坐标，再取两者所构成线段的中点，作为嘴巴中心点坐标值。

上述的基于五官几何比例特征的快速人脸识别方法，步骤（3）中的眼鼻、眼嘴和鼻嘴的匹配率，分别是指：

（a）眼鼻匹配率是指左瞳孔、右瞳孔和左右鼻孔连线中心点所形成的三角形的相似度；

（b）眼嘴匹配率是指左瞳孔、右瞳孔和嘴巴中心点所形成的三角形的相似度；

（c）鼻嘴匹配率是指左鼻孔、右鼻孔和嘴巴中心点所组成的三角形的相似度。

上述的基于五官几何比例特征的快速人脸识别方法，步骤（3）中利用十五条线段，包括左瞳孔与左右鼻孔连线中心点的连线、右瞳孔与左右鼻孔连线中心点的连线、左瞳孔与右瞳孔的连线、左右瞳孔连线中心点与左右鼻孔连线中心点的连线、左右鼻孔连线中心点与嘴巴中心点的连线、左瞳孔嘴巴中心点的连线、右瞳孔嘴巴中心点的连线、左鼻孔与右鼻孔的连线、左瞳孔与左鼻孔的连线、右瞳孔与右鼻孔的连线、左瞳孔与右鼻孔的连线、右瞳孔与左鼻孔的连线、左右瞳孔连线中心点与嘴巴中心点的连线、左鼻孔与嘴巴中心点的连线和右鼻孔与嘴巴中心点的连线，分别与数据库中每张人脸图像相应的线段进行比例得到比值；同样，对左瞳孔、右瞳孔和左右鼻孔连线中心点连成的三角形和左瞳孔、右瞳孔和嘴巴中心点连成的三角形的六个角分别与数据库中每张人脸图像相应的角进行比例得到比值，求出十五条线段的所述比值的均值，把各条线段相对该均值的偏离值进行求和，记为Sum1；求出所述六个角的所述比值的均值，并把各个角相对该均值的偏离值进行求和，记为Sum2；最后用1-Sum1*0.05-Sum2*0.1，即可得出最终的综合匹配率。

与现有技术相比，本发明具有如下优点和效果：本发明使用了一种新型的识别匹配方法，可以智能地识别人的正脸，并将其与数据库中所存的人脸特征数据进行对比，搜索出匹配率最高的人脸，进而判断两者是否属于同一个人。本发明适用的识别对象是人的正脸图像，大大降低了人脸的非刚性所产生的影响；而根据生物学上的原理，人脸各部位间的长度比例和角度比例随着人的年龄和肥瘦的变化不会出现太大的变动。本发明利用人脸各部位之间的长度和角度比例来进行对比匹配，可以保证匹配的科学性。另外，本发明还得出了眼鼻、眼嘴、鼻嘴的匹配率，以便用户对被检索者是否有整容等特殊应用进行判断。

附图说明

图1 人脸识别流程图。

图2 数据库数据建立流程图。

具体实施方式

以下仅是对本发明的实施进行举例，本发明前述技术方案的实施不限于此。

本发明提供的快速人脸搜索，是在人脸识别的基础上产生的；而此处所用到的人脸识别，区别于现存的识别方法，在匹配方法上有着自身的独特之处。以下结合附图1对本发明基于五官几何比例特征的快速人脸识别方法的实施步骤作说明：

步骤1、把包含正脸的人脸图像作为要处理的对象图。

步骤2、对人脸的检测以及眼睛、鼻子和嘴巴的定位，包括下列步骤：

（1）人脸图像将会被分析成若干区域，区域包括：脸框区域、眼睛区域、鼻子区域和嘴巴区域。对图像进行预处理：进行灰度化和直方图均衡化；然后利用人脸分类器实现人脸检测，即得到人脸的脸框区域；在得到上述脸框区域后，设定脸框区域的收缩系数为1.2（初始值设为其他值时必须大于等于1），把脸框区域的长宽和宽度分别除以收缩系数得到新的长度和宽度，把脸框区域缩小到新的长度和宽度，再利用眼睛分类器、鼻子分类器和嘴巴分类器分别检测出脸框区域中的眼睛区域、鼻子区域和嘴巴区域。上述的分类器可以采用现有的分类器，人脸分类器可采用英特尔通用adaboost正脸分类器，眼睛分类器可采用西班牙加那利岛拉斯帕尔马大学adaboost眼睛分类器，鼻子分类器可采用西班牙加那利岛拉斯帕尔马大学adaboost鼻子分类器，嘴巴分类器可采用西班牙加那利岛拉斯帕尔马大学adaboost嘴巴分类器。

（2）在上述步骤(1)检测眼睛区域、鼻子区域和嘴巴区域的过程中，如果检测到的眼睛区域、鼻子区域或嘴巴区域的中线偏离出人脸脸框区域的中线，则认为检测出错，需要扩大收缩系数再对眼睛区域、鼻子区域或嘴巴区域进行检测。

步骤3、在步骤2得出的眼睛区域、鼻子区域和嘴巴区域，对这些区域按下列方法进行特征提取：

（1）提取眼睛的左瞳孔和右瞳孔的坐标值；

在截取的眼睛区域中，分别提取左右眼的灰度值最低的一点，然后分别以这两个点为中心提取在它们周围的灰度值不高于该中心20的点，对这些点的二维坐标值取平均值，便可得到左瞳孔和右瞳孔的坐标值。

（2）提取鼻子的左鼻孔和右鼻孔的坐标值；

在截取的鼻子区域中，分别提取左右鼻孔的灰度值最低的一点，然后分别以这两个点为中心提取在它们周围的灰度值不高于该中心20的点，对这些点的二维坐标值取平均值，便可得到左鼻孔和右鼻孔的坐标值。

（3）提取左嘴角、右嘴角和嘴巴中心点的坐标值；

根据嘴部双唇的颜色与脸部其他部位灰度的不同，可以得到嘴巴的左嘴角和右嘴角坐标值，两者取中值，则可得到嘴巴中心点的坐标值。

步骤4、将所得出的人脸特征坐标值与数据库中所存储的每一条人脸数据记录进行对比，分别得到眼鼻、眼嘴和鼻嘴的匹配率，以及综合匹配率。其中：

（a）眼鼻匹配率是指人脸特征值中的左瞳孔、右瞳孔和左右鼻孔连线中心点所形成的三角形与数据库人脸数据记录中的对应点形成的三角形的相似度；

（b）眼嘴匹配率是指人脸特征值中的左瞳孔、右瞳孔和嘴巴中心点所形成的三角形与数据库人脸数据记录中的对应点形成的三角形的相似度；

（c）鼻嘴匹配率是指人脸特征值中的左鼻孔、右鼻孔和嘴巴中心点所组成的三角形与数据库人脸数据记录中的对应点形成的三角形的相似度。

（d）综合匹配率的算法如下：

利用十五条线段，包括左瞳孔与左右鼻孔连线中心点的连线、右瞳孔与左右鼻孔连线中心点的连线、左瞳孔与右瞳孔的连线、左右瞳孔连线中心点与左右鼻孔连线中心点的连线、左右鼻孔连线中心点与嘴巴中心点的连线、左瞳孔嘴巴中心点的连线、右瞳孔嘴巴中心点的连线、左鼻孔与右鼻孔的连线、左瞳孔与左鼻孔的连线、右瞳孔与右鼻孔的连线、左瞳孔与右鼻孔的连线、右瞳孔与左鼻孔的连线、左右瞳孔连线中心点与嘴巴中心点的连线、左鼻孔与嘴巴中心点的连线和右鼻孔与嘴巴中心点的连线，分别与数据库中每张人脸图像相应的线段进行比例得到比值；同样，对左瞳孔、右瞳孔和左右鼻孔连线中心点连成的三角形和左瞳孔、右瞳孔和嘴巴中心点连成的三角形的六个角分别与数据库中每张人脸图像相应的角进行比例得到比值，求出十五条线段的所述比值的均值，把各条线段相对该均值的偏离值进行求和，记为Sum1；求出所述六个角的所述比值的均值，并把各个角相对该均值的偏离值进行求和，记为Sum2；最后用1-Sum1*0.05-Sum2*0.1，即可得出最终的综合匹配率。

步骤5、根据步骤4得到的匹配结果，进行下一步判断处理：若数据库中存在与所查人脸的综合匹配率高于90%的记录，则提示查找成功，并把该记录中的个人信息显示给用户，此时如果有多条记录的综合匹配率高于90%，则按照相应的眼鼻、眼嘴、鼻嘴匹配率以及综合匹配率的大小进行取舍(一般取综合匹配率最高的人脸作为检索结果)；否则，提示查找失败，数据库中不存在所查人脸的相关信息。

如图2，上述步骤4中所述数据库是通过如下方法建立：

（1）获取准备存入数据库的多张正脸图像，图像的背景颜色为单一颜色；

（2）利用步骤2检测每张人脸图像中的人脸区域并定位相应的眼睛区域、鼻子区域和嘴巴区域；再利用步骤3对人脸区域、眼睛区域、鼻子区域和嘴巴区域进行处理，得到人脸特征信息，特征信息包括左瞳孔、右瞳孔、左鼻孔、右鼻孔、左嘴角、右嘴角、嘴巴中心点和脸框四角的二维坐标值；

（3）把每一张人脸的特征信息，特征信息包括左瞳孔、右瞳孔、左鼻孔、右鼻孔、左嘴角、右嘴角、嘴巴中心点和脸框四角的二维坐标值，以及人脸图像的二进制信息、人脸所属对象的个人信息作为一条整体记录存储到数据库中。

按照上述的实施过程，即可实现人脸的智能快速搜索。凡在本发明的精神和原则之内，包括特征提取方式、匹配方法和数据库所存数据的形式等，所作的任何修改、等同替换或改进等，都应在本发明的保护范围之内。

Claims

1.一种基于五官几何比例特征的快速人脸识别方法，具体步骤如下：

（3）将步骤（2）所得出的人脸各部位特征的二维坐标值与数据库中所存储的每一张人脸数据进行对比，得到眼鼻、眼嘴和鼻嘴的匹配率，以及综合匹配率；其中，眼鼻匹配率是指左瞳孔、右瞳孔和左右鼻孔连线中心点所形成的三角形的相似度；眼嘴匹配率是指左瞳孔、右瞳孔和嘴巴中心点所形成的三角形的相似度；鼻嘴匹配率是指左鼻孔、右鼻孔和嘴巴中心点所组成的三角形的相似度；该步骤利用十五条线段，包括左瞳孔与左右鼻孔连线中心点的连线、右瞳孔与左右鼻孔连线中心点的连线、左瞳孔与右瞳孔的连线、左右瞳孔连线中心点与左右鼻孔连线中心点的连线、左右鼻孔连线中心点与嘴巴中心点的连线、左瞳孔嘴巴中心点的连线、右瞳孔嘴巴中心点的连线、左鼻孔与右鼻孔的连线、左瞳孔与左鼻孔的连线、右瞳孔与右鼻孔的连线、左瞳孔与右鼻孔的连线、右瞳孔与左鼻孔的连线、左右瞳孔连线中心点与嘴巴中心点的连线、左鼻孔与嘴巴中心点的连线和右鼻孔与嘴巴中心点的连线，分别与数据库中每张人脸图像相应的线段进行比例得到比值；同样，对左瞳孔、右瞳孔和左右鼻孔连线中心点连成的三角形和左瞳孔、右瞳孔和嘴巴中心点连成的三角形的六个角分别与数据库中每张人脸图像相应的角进行比例得到比值，求出十五条线段的所述比值的均值，把各条线段相对该均值的偏离值进行求和，记为Sum1；求出所述六个角的所述比值的均值，并把各个角相对该均值的偏离值进行求和，记为Sum2；最后用1-Sum1*0.05-Sum2*0.1，即可得出最终的综合匹配率；

2.如权利要求1所述的基于五官几何比例特征的快速人脸识别方法中，其特征在于步骤（3）所述数据库是通过如下方法建立：获取准备存入数据库的多张正脸图像；利用步骤（1）和步骤（2）对每一张正脸图像进行处理，得到人脸相关特征信息，特征信息包括左瞳孔、右瞳孔、左鼻孔、右鼻孔、左嘴角、右嘴角、嘴巴中心点和脸框四角的二维坐标值；最后把每一张人脸的相关特征信息存入到数据库。

3.如权利要求1所述的基于五官几何比例特征的快速人脸识别方法中，其特征在于步骤（1）中，对人脸的检测以及眼睛、鼻子和嘴巴的定位包括两个步骤：

4.如权利要求1所述的基于五官几何比例特征的快速人脸识别方法，其特征在于，步骤（2）中记录的左瞳孔和右瞳孔坐标值的计算方法如下：先在截取的眼睛区域中，分别提取左右眼的灰度值最低的一点；然后分别以这两个点为中心提取在它们周围的灰度值不高于该中心20的点，对这些点的二维坐标取平均值，求得的两个平均值便是左瞳孔和右瞳孔的坐标值。

5.如权利要求1所述的基于五官几何比例特征的快速人脸识别方法，其特征在于，步骤（2）中记录的左鼻孔和右鼻孔的坐标值的计算方式如下：先在截取的鼻子区域中，分别提取左右鼻孔的灰度值最低的一点；然后分别以这两个点为中心提取在它们周围的灰度值不高于该中心20的点，对这些点的二维坐标取平均值，求得的两个平均值便是左鼻孔和右鼻孔的坐标值。

6.如权利要求1所述的基于五官几何比例特征的快速人脸识别方法，其特征在于，步骤（2）中的记录左嘴角、右嘴角和嘴巴中心点坐标值，是根据嘴巴的双唇的颜色与脸部其他部位灰度的不同，得到左嘴角和右嘴角坐标，再取两者所构成线段的中点，作为嘴巴中心点坐标值。