CN102034097B - 综合利用正面与侧面图像的人脸识别的方法 - Google Patents

Abstract

一种综合利用正面与侧面图像的人脸识别的方法，采用两个普通摄像头，包括如下步骤：步骤1：第一摄像头提取人脸的正面图像，将提取的人脸的正面图像送入计算机；步骤2：第二摄像头提取人脸的侧面图像，将提取的人脸的侧面图像送入计算机；步骤3：计算机对提取的人脸正面图像和人脸侧面图像进行预处理及特征提取，得到人脸正面图像特征和人脸侧面图像特征的两个人脸特征向量；步骤4：将两个人脸特征向量融合为一个特征向量，然后映射成高维空间的一个点；步骤5：采用高维空间点分布分析方法，分析同一个人在高维空间的点分布，确定覆盖样本子空间的近似几何形体，构建训练网络模型；步骤6：用构建的训练网络模型对人脸进行识别。

Description

综合利用正面与侧面图像的人脸识别的方法

技术领域

本发明涉及一种人脸识别方法，具体涉及一种综合利用人脸正面与侧面图像，基于仿生模式识别原理进行人脸识别的系统。

背景技术

人脸识别作为一种生物特征识别，对于身份确认有着举足轻重的意义。它比指纹识别、虹膜识别、语音识别更容易采集特征信息。传统的人脸识别是指正面人脸识别，它有着识别率很难提高的瓶颈，一般正确识别率只能达到95％。现今有人提出了三维人脸识别的方法，由于它充分利用了人脸侧面的信息，所以能够很大程度上提高识别率。但是，它又遇到了像指纹识别、虹膜识别、语音识别一样的问题，即生物特征信息不易采集，因为对人脸进行三维扫描需要人的密切配合。另外一种改进的正面人脸识别方法是采用双摄像头，模拟人的双眼，该方法中两个摄像头所采集到的信息有很大程度的重复，且正面人脸识别无法利用人脸深度的信息，故改进效果不明显。

本方法利用人脸侧面信息能够提高识别率的特点，采用综合利用人脸正面与侧面图像进行人脸识别。由于本方法只需要利用普通摄像头采集人脸正面与侧面图像，它避开了三维人脸识别需要进行人脸三维扫描的困难，且正面图像与侧面图像信息相互独立，没有重复，侧面图像又反映了人脸深度的信息。因此，它同时具有识别率高和使用简便的特点。

发明内容

本发明的目的在于提供一种综合利用正面与侧面图像的人脸识别的方法，具有识别率高、使用简便的人脸识别系统。

为了实现上述目的，本发明采用计算机自动控制两个摄像头同时拍摄人脸的正面与侧面图像，再综合利用正面与侧面图像进行人脸识别。

本发明提供一种综合利用正面与侧面图像的人脸识别的方法，采用两个普通摄像头，包括如下步骤：

步骤1：第一摄像头提取人脸的正面图像，将提取的人脸的正面图像送入计算机；

步骤2：第二摄像头提取人脸的侧面图像，将提取的人脸的侧面图像送入计算机；

步骤3：计算机对提取的人脸正面图像和人脸侧面图像进行预处理及特征提取，得到人脸正面图像特征和人脸侧面图像特征的两个人脸特征向量；

步骤4：将两个人脸特征向量融合为一个特征向量，然后映射成高维空间的一个点；

步骤5：采用高维空间点分布分析方法，分析同一个人在高维空间的点分布，确定覆盖样本子空间的近似几何形体，构建训练网络模型；

步骤6：用构建的训练网络模型对人脸进行识别。

附图说明

为进一步说明本发明的技术内容，以下结合附图和具体实施方式对本发明进行更详细的说明，其中：

图1为本系统构成示意图；

图2为超香肠神经元不同半径的二维空间示意图。

具体实施方式

请参阅图1所示，本发明提供一种综合利用正面与侧面图像的人脸识别的方法，采用两个普通摄像头，包括如下步骤：

步骤1：第一摄像头30提取人脸40的正面图像，将提取的人脸40的正面图像送入计算机10；

步骤2：第二摄像头20提取人脸40的侧面图像，将提取的人脸40的侧面图像送入计算机10；

其中两个摄像头30、20的拍摄时间间隔不超过2秒；两个摄像头30、20的镜头中心离开地面的垂直距离为1.5米，离开人脸40的水平距离为0.8米；两个摄像头30、20的镜头中心轴互相垂直；两个摄像头30、20的分辨率为480*640；

步骤3：计算机10对提取的人脸40正面图像和人脸40侧面图像进行预处理及特征提取，得到人脸40正面图像特征和人脸40侧面图像特征的两个人脸特征向量；所述的图像预处理，包括噪声滤波和直方图均衡化，所述提取人脸的正面图像特征，包括人脸检测、眼睛定位、人脸归一化和主成分分析；所述的提取人脸的侧面图像特征，是指眼睛至下巴之间的人脸侧面轮廓提取；

其中噪声滤波采用平滑线性滤波器，滤波器掩模为：

$\frac{1}{16}\×\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$

其中人脸检测采用模板匹配的方法，选用大小为22*20、22*22、22*24、22*26和22*28的5种比例的人脸模板进行匹配；眼睛定位采用灰度复杂度统计的方法，利用Robert算子计算灰度的梯度值，然后分别统计行、列复杂度，确定双眼所在的行列值；人脸归一化是指对人脸正面图像进行旋转和放缩，使得人脸的双眼在同一条水平线上，水平距离为31个像素点，并截出包含眼睛和鼻子的大小为80*92图像区域；主成分分析保留一定的特征数目使得累积贡献率大于99.90％；人脸侧面轮廓提取采用Sobel算子和拉普拉斯算子相结合的方法。

步骤4：将两个人脸特征向量融合为一个特征向量，然后映射成高维空间的一个点，所述的映射成高维空间的一个点，采用公式为：

M＝[F   P]，其中M为特征向量，F是人脸正面的特征向量，P是人脸侧面的特征向量；

步骤5：采用高维空间点分布分析方法，分析同一个人在高维空间的点分布，确定覆盖样本子空间的近似几何形体，构建训练网络模型；所述的点分布分析算法如下：

初始化特征集合Sa为空，Sb包含所有的用于确定网络结构的样本特征向量；

从Sb任选一个特征向量放入Sa；

从Sa选择一个特征向量Pa，从Sb选择一个特征向量Pb，保证||p_a-p_b||最小，将Pb也加入Sa中；

重复3直至Sb为空，此时为Sa最小生成树；

5)将Sa和超球拓扑相乘构成超香肠神经元网络；

所述的训练网络模型的方程式为：

$f\left(X\right)=\mathrm{sgn}(2^{-\frac{d^2(X,\stackrel{\‾}{X_1{X}_2})}{r^2}}-0.5)$

若测试样本和训练样本同类，f(X)≥0，否则f(X)＜0；

其中r为神经元半径，X为样本点，

为点X到线段X1X2的距离，计算公式为：

$d^2(X,\stackrel{\&OverBar;}{X_1{X}_2})=\left\{\begin{array}{c}{\left|\right|X-X_1\left|\right|}^2,q(X,X_1,X_2)<0\\ {\left|\right|X-X_2\left|\right|}^2,q(X,X_1,X_2)>\left|\right|X_1-X_2\left|\right|\\ {\left|\right|X-X_1\left|\right|}^2-q^2(X,X_1,X_2),\mathrm{otherwise}\end{array}\right.,$

$q(X,X_1,X_2)=(X-X_1)\&CenterDot;\frac{(X_1-X_2)}{\left|\right|X_1-X_2\left|\right|};$

步骤6：用构建的训练网络模型对人脸40进行识别。

请参阅图2，超香肠神经元可以选择不同的半径，以满足不同的实际应用需求。若选择的半径较大，则网络模型的覆盖范围较大，有利于正确识别同类样本，但不利于正确拒绝非本类的样本；若选择的半径较小，则网络模型的覆盖范围较小，有利于正确拒绝非本类的样本，但不利于正确识别同类样本，即有可能把同类样本也拒绝掉。通常，称某一类(设为A类)的测试样本被鉴别为A种类样本的比率为正确识别率；称非A类样本被鉴定为非A种类样本的比率为正确拒识率。

在具体实施中，若对正确识别率要求较高，而对正确拒识率要求不高，则选择较大的半径；若对正确拒识率要求较高，而对正确识别率要求不高，则选择较小的半径；若对正确识别率和正确拒识率要求均较高，则选择合适的半径使得两种识别率大致相等。

所述的映射成高维空间的一个点，其中，假定特征提取得到正面和侧面人脸特征向量分别为F和P，将它们融合为一个特征向量后得到M＝[FP]，向量M的维数是F和P的维数之和，记为n，则M就对应n维空间中的一个点。

所述的高维空间点分布分析，主要是计算点之间的欧氏距离，确定样本点的排序。

所述的覆盖样本子空间的近似几何形体，是指采用不同维数最简单的单形与超球的拓扑乘积构成。如：一维单形是直线，那么它和超球拓扑乘积后就是类似于香肠的形状了，如图2所示。在此，称这种几何形体为超香肠神经元。

假定正面人脸图像识别率为95％，侧面人脸图像识别率为80％，由于正面与侧面人脸图像信息的相互独立性，本系统综合利用正面与侧面人脸图像进行人脸识别，理论上识别率能够达到：

95％+5％×80％＝99％。

因此，本系统比一般的正面人脸识别系统识别率高，同时比三维人脸识别系统容易实现，且使用简便。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可轻易想到的变换或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (6)

1.一种综合利用正面与侧面图像的人脸识别的方法，采用两个摄像头，包括如下步骤：

步骤1：第一摄像头提取人脸的正面图像，将提取的人脸的正面图像送入计算机；

步骤2：第二摄像头提取人脸的侧面图像，将提取的人脸的侧面图像送入计算机；

步骤3：计算机对提取的人脸正面图像和人脸侧面图像进行预处理及特征提取，得到人脸正面图像特征和人脸侧面图像特征的两个人脸特征向量；

步骤4：将两个人脸特征向量融合为一个特征向量，然后映射成高维空间的一个点；

步骤5：采用高维空间点分布分析方法，分析同一个人在高维空间的点分布，确定覆盖样本子空间的近似几何形体，构建训练网络模型；

所述的点分布分析算法如下：

(1)初始化特征集合Sa为空，Sb包含所有的用于确定网络结构的样本特征向量；

(2)从Sb任选一个特征向量放入Sa；

(3)从Sa选择一个特征向量Pa，从Sb选择一个特征向量Pb，保证||p_a-p_b||最小，将Pb也加入Sa中；

(4)重复(3)直至Sb为空，此时为Sa最小生成树；

(5)将Sa和超球拓扑相乘构成超香肠神经元网络；

所述的训练网络模型的方程式为：

$f\left(X\right)=\mathrm{sgn}(2^{-\frac{d^2(X,\stackrel{\&OverBar;}{X_1{X}_2})}{r^2}}-0.5)$

若测试样本和训练样本同类，f(X)≥0，否则f(X)＜0；

其中r为神经元半径，X为样本点，

为点X到线段X₁X₂的距离，计算公式为：

$d^2(X,\stackrel{\&OverBar;}{X_1{X}_2})=\left\{\begin{array}{c}{\left|\right|X-X_1\left|\right|}^2,q(X,X_1,X_2)<0\\ {\left|\right|X-X_2\left|\right|}^2,q(X,X_1,X_2)>\left|\right|X_1-X_2\left|\right|,\\ {\left|\right|X-X_1\left|\right|}^2-q^2(X,X_1,X_2),\mathrm{otherwise}\end{array}\right.$

其中X₁、X₂为训练样本点；

步骤6：用构建的训练网络模型对人脸进行识别。

2.根据权利要求1所述的综合利用正面与侧面图像的人脸识别的方法，其中两个摄像头的拍摄时间间隔不超过2秒。

3.根据权利要求1所述的综合利用正面与侧面图像的人脸识别的方法，其中所述的图像预处理，包括噪声滤波和直方图均衡化。

4.根据权利要求1所述的综合利用正面与侧面图像的人脸识别的方法，其中提取人脸的正面图像特征，包括人脸检测、眼睛定位、人脸归一化和主成分分析。

5.根据权利要求1所述的综合利用正面与侧面图像的人脸识别的方法，其中提取人脸的侧面图像特征，是指眼睛至下巴之间的人脸侧面轮廓提取。

6.根据权利要求1所述的综合利用正面与侧面图像的人脸识别的方法，其中所述的映射成高维空间的一个点，采用公式为：

M＝[F P]，其中M为特征向量，F是人脸正面的特征向量，P是人脸侧面的特征向量。

Images