CN104573628A

CN104573628A - 一种三维人脸识别方法

Info

Publication number: CN104573628A
Application number: CN201410719553.2A
Authority: CN
Inventors: 张会林; 孙利华
Original assignee: Suzhou Fufeng Technology Co Ltd
Current assignee: Suzhou Fufeng Technology Co Ltd
Priority date: 2014-12-02
Filing date: 2014-12-02
Publication date: 2015-04-29

Abstract

本发明公开了一种三维人脸识别方法，通过对采集的左右两幅二维图像进行眼睛、鼻子、嘴巴的标定，确定匹配的人脸特征点，然后确定特征点的三维坐标，最后采用BP神经网络算法对人脸特征进行识别。采用本发明方法相较于二维识别具有更高的精度，同时大大减少了编程量，提高了开发效率。

Description

一种三维人脸识别方法

技术领域

本发明涉及一种三维人脸识别方法，属于生物特征鉴别技术领域。

背景技术

目前用于身份鉴别的生物特征有脸像、声纹、指纹、虹膜、笔迹、手形、掌纹等，其中，人脸识别占主导地位，它是区别人与人之间差别的最重要的特征。和其他人体生物特征相比，人脸识别更加直接、友好，但是，由于人脸之间存在很大的相似性以及人脸的高度可变形性，使得人脸识别的研究极富挑战性。二维人脸的识别技术已经相对成熟，但是二维人脸识别由于是单一的二维图像，不可避免受到光照、背景、姿态和表情等的影响，不能提供识别所需的完整信息，因而识别精度很难有进一步的提高。

发明内容

本发明针对目前二维识别的局限性，提供一种三维人脸识别方法。

本发明所采用的技术方案如下；

一种三维人脸识别方法，包括以下步骤：

1)进行人脸图像采集；

2)对采集的图像进行预处理；

3)进行人脸特征提取及匹配；

4)确定匹配后的特征点的三维坐标；

5)进行人脸特征识别。

前述的步骤1)中，采用两个CCD摄像头进行图像采集，生成左右两幅二维图像。

前述的步骤2)中，预处理是指对采集的二维图像进行平滑处理以滤除噪音。

前述的进行预处理采用均值滤波器进行数据噪音过滤。

前述的步骤3)中，进行人脸特征提取包括眼睛的标定，鼻子的标定和嘴巴的标定；

所述眼睛的标定包括以下步骤：

1-1)采用基于相似度的方法，得到两幅二维图像的中间的结果图；

1-2)对脸部区域的上半部内进行二值化，再进行边缘检测，对检测的结果进行水平方向的投影，确定眼睛在水平轴上的两个范围a和b；

1-3)在a和b的上方区域的竖直方向投影，得到的第一个峰值区域为A和B；

1-4)在A与a，B与b确定的两个矩形区域内，对黑点进行区域膨胀，得到眼睛的轮廓和左右眼角；

1-5)将黑点的坐标的平均值作为瞳孔的位置；

所述鼻子的标定包括以下步骤：

2-1)假设两眼的瞳距为1，则鼻子到两眼中心的距离为0.7-1；

2-2)在步骤2-1)确定的范围内搜索深颜色的区域，得到鼻孔的位置；

2-3)在两个鼻孔上方距离鼻孔0.5的位置找到亮度最高的点为鼻尖；

所述嘴巴的标定包括以下步骤：

3-1)利用颜色限制条件找到嘴巴所在的区域，所述颜色限制条件为：

θ = \arccos (\frac{0.5 * (2 R - G - B)}{\sqrt{{(R - G)}^{2} + {(R - B)}^{2}}}),

θ＜0.2，

其中，θ为限制值，R，G，B分别为图像的颜色值，即满足θ＜0.2的区域为嘴巴所在的区域；

3-2)嘴到两眼中心的距离为1-1.3，在满足所述步骤3-1)颜色限制条件的区域内采用区域膨胀法，确定左右嘴角和嘴的中心。

前述的步骤4)中，采用Zhang’s标定法确定符合匹配的特征点的三维坐标。

前述的步骤5)中，采用BP神经网络的方法识别人脸特征，所述BP神经网络，包括输入层，隐含层和输出层三层；

所述输入层为符合匹配条件的特征点的三维坐标；

所述隐含层神经元为输入层神经元个数的一半；

所述输出层的输出模式为：u＝[0,0,……,1,0,……，0]，

输出为1的神经元对应该输入模式所属的类别。

本发明方法相较于二维识别具有更高的精度，同时采用OpenCV库进行编程，大大减少了编程量，提高了开发效率。

具体实施方式

一、图像采集

本发明采用两个CCD摄像头进行图像采集，生成左右两幅二维图像，并将采集的图像显示在图像显示器上。

二、进行图像预处理

预处理是指对采集的二维图像进行平滑处理以滤除噪音。本发明采用均值滤波器进行数据噪音过滤。

三、进行人脸的特征提取及匹配

人脸特征的提取包括眼睛的标定，鼻子的标定和嘴巴的标定。

(1)眼睛的标定

对于眼睛的标定，考虑到眼睛与肤色的差异较大，尤其是瞳孔的颜色最深，而眼睛又位于二维图像的上半部，故瞳孔一般认为是在二维图像的上半部的黑点的位置。首先采用基于相似度的方法，得到两幅二维图像的中间的结果图，然后在脸部区域的上半部分内进行二值化，再进行边缘检测，对检测的结果进行水平方向的投影，即可以确定眼睛在水平轴上的两个范围a和b。然后在a和b的上方区域的竖直方向投影，得到的第一个峰值附近的区域为A和B。然后在A与a，B与b确定的两个矩形区域内，对黑点进行区域膨胀，即可得到眼睛的大致轮廓和左右眼角。最后将黑点的坐标的平均值作为瞳孔的位置。

(2)鼻子的标定

在确定了眼睛的位置后，鼻子的位置基本可以确定，以两眼的瞳距为1计算，鼻子到两眼中心的距离为0.7-1。在这附近搜索颜色较深的区域，能得到鼻孔的位置。然后在两个鼻孔上方距离鼻孔大约0.5左右的位置找到亮度最高的点为鼻尖。

(3)嘴巴的标定

由于嘴巴和肤色较为接近，则考虑满足下述限制条件的位于脸的下半部的区域可能为嘴：

θ = \arccos (\frac{0.5 * (2 R - G - B)}{\sqrt{{(R - G)}^{2} + {(R - B)}^{2}}})

θ＜0.2

其中，θ为限制值，R，G，B分别为图像的颜色值；即满足θ＜0.2的区域可能为嘴巴所在的区域。

由于嘴到两眼中心的距离为1-1.3，在满足上述颜色限制条件的区域内采用找眼睛的方法，区域膨胀，确定左右嘴角和嘴的中心。

进行特征匹配是指采用灰度相关匹配法计算两幅图中特征点之间的灰度相关系数，其值大于某个阈值时被看做是匹配点。

设左图像中的特征点为M₁(m₁,v₁)，右图像中的特征点为M₂(m₂,v₂)，则以M₁，M₂为中心的(2n+1)*(2n+1)域的灰度相关系数为：

S (M_{1}, M_{2}) = \frac{Σ_{i = - n}^{n} Σ_{j = - n}^{n} [I_{1} (m_{1 + i}, v_{1 + j}) - {\overset{&OverBar;}{I}}_{1} (m_{1}, v_{1})] \cdot [I_{2} (m_{2 + i}, v_{2 + i}) - {\overset{&OverBar;}{I}}_{2} (m_{2}, v_{2})]}{{(2 n + 1)}^{2} σ (I_{1}) σ (I_{2})}

其中，S(M₁,M₂)为M₁，M₂的灰度相关系数，I₁(m_1+i,v_1+j)，I₂(m_2+i,v_2+j)分别为(m_1+i,v_1+j)，(m_2+i,v_2+j)处的灰度，分别为两方域的灰度均值，σ(I₁)，σ(I₂)分别为两方域的方差，n为像素。

本发明中取阈值为0.7，即灰度相关系数大于0.7的像素点为匹配点。

最后通过Zhang’s标定法确定符合匹配的特征点的三维坐标。

四、进行人脸特征识别

本发明采用BP神经网络的方法识别人脸特征。

首先建立BP神经网络，包括输入层，隐含层和输出层。

将符合匹配条件的特征点的三维坐标作为输入数据，因此，输入层的神经元的数据为所提取的符合匹配的特征点的个数。

隐含层神经元为输入层神经元个数的一半。

有多少个不同的人需要识别，输出层的神经元个数即为多少，输出层的输出模式为：u＝[0,0,……,1,0,……，0]

输出为1的神经元对应该输入模式所属的类别，即完成人脸特征的识别。

例如，若提取的人脸特征为N，则BP神经网络输入层的神经元个数为N，在对BP神经网络进行训练时，如果BP神经网络输入的特征是从第m幅人脸图像中提取的，则相应的BP神经网络的输出为第m个神经元输出为1，其余神经元的输出为0。

Claims

1.一种三维人脸识别方法，其特征在于，包括以下步骤：