CN101398886A - 一种基于双目被动立体视觉的快速三维人脸识别方法 - Google Patents

Abstract

本发明公开了一种基于双目被动立体视觉的快速三维人脸识别方法，其步骤如下：1)运用两台高清晰数码照相机构建非接触式短轴平行双目立体视觉系统，2)系统标定完成后，对预览帧图像进行基于haar－AdaBoost分类器的人脸检测与采集，获得相应的上下立体视觉图对并估计视差，对人脸区域进行图像校正，获得区域内外极线垂直的上下立体视觉图对，3)运用Bayesian、haar－AdaBoost分类器以及点云三维信息获取眼睛与鼻尖的精确定位，构建基准三角形，4)运用基于复小波的相位相关算法金字塔形并行搜索立体图对中小区域的相应亚像素匹配，既而重建人脸密集三维点云信息，5)运用已构建的基准三角形，针对不同姿态下的人脸进行姿态归一与补洞，6)基于人脸表面测地距离不变性假设，对不同人脸进行表情归一化，7)利用算法对归一化后三维人脸进行识别。本发明有益的效果是：主要解决了被动立体视觉难以快速自动获得与识别不同姿态与表情下稠密精准人脸三维点云信息的问题，使三维人脸识别过程更快速、隐蔽、安全与可靠。

Description

一种基于双目被动立体视觉的快速三维人脸识别方法

技术领域

本发明涉及一种三维人脸识别方法，主要是一种以通过双目被动立体视觉快速自动获取人脸表面密集、精确三维点云信息为基础的新思路来进行人脸三维重建，基于点云半随机统计特征和高维矩向量的表情无关的三维人脸识别方法。

背景技术

人脸识别作为生物特征识别的一个重要方面，与指纹、虹膜、DNA识别等技术相比，其过程更加隐蔽、友好和便捷，应用前景广阔。但在二维情况下，不可避免受到环境光线、背景、视角等以及人脸的姿态、表情、遮挡等不利影响，因而其识别精度很难有进一步的提高。

为了克服基于二维图像人脸识别技术的不足，有研究者已经开始转向二维人脸识别技术的研究。对三维人脸识别技术而言，存在的最大困难是人脸三维点云数据的获得。近几年光学三维形貌测量技术有了很大的进展，已发展出一些具有实用潜力的三维形貌测量技术，如结构光投影相移技术、结构光投影傅立叶变换技术等，使得三维人脸的识别成为可能。但是，通过向人脸投射结构光事实上已经是一种接触式的识别方法，对被识别者不够友好，会引起法律、公共次序等方面的争议，并且也失去了信息隐蔽采集的能力。这样，在很大程度上减弱了较之指纹识别等的优势。因此，如何快速高效并且隐蔽的获取被识别者的密集三维人脸信息引起了人们的重视。

正如表情会影响2D人脸图像的表观(appearance)，表情对3D人脸数据的影响是改变了人脸的3D形状，不同程度的表情造成同一个人的不同采集视图形状差异很大，简单采用形状匹配时类内的模型相似度很低，直接导致识别率下降。因此，寻求一种表情不变的人脸表征方法成为保证识别准确率的关键途径。

在识别与信息存储方面，采集的人脸三维点云数据量通常十分庞大，不宜直接进行储存和识别比对，传统的ICP方法，比对过程十分费时，并且归一化困难。因此，如何通过采集的三维点云信息，提取出易于储存与识别比对的人脸特征将是人们亟待解决的重要问题。

发明内容

本发明的目的在于克服上述不足而提供一种基于双目被动立体视觉的快速三维人脸识别方法，主要解决的是不同姿态与表情下的三维人脸快速识别问题。

基于双目被动立体视觉的快速三维人脸识别方法包括如下步骤：

1)运用两台高清晰数照码相机构建非接触式短轴平行双目立体视觉系统；

2)对视觉系统的预览帧进行haar-AdaBoost方法的人脸检测与采集，获得相应的上下立体视觉图对并估计视差，对人脸区域进行图像校正，获得区域内外极线垂直的上下立体视觉图对；

3)运用Bayesian、haar-AdaBoost分类器以及点云三维信息获取眼睛与鼻尖的精确定位，构建基准三角形；

4)运用基于复小波的相位相关算法金字塔形并行快速搜索立体图对中小区域的相应亚像素匹配，既而重建人脸密集三维点云信息；

5)运用已构建的基准三角形，针对不同姿态下的人脸进行姿态归一与补洞；

6)基于人脸表面测地距离不变性假设，对不同人脸表情进行归一化；

7)利用算法对归一化后二维人脸进行识别。

所述的双目立体视觉系统：由两台高清晰数码照相机平行紧靠安装，其光轴基本平行且基线长度尽可能短，一般在60mm左右。照相机通过usb接口连接到电脑，通过电脑，利用双线程同步技术控制两台照相机同时拍照，并通过双目立体标定获得系统内外参数。对视觉系统所拍摄的上下立体图对进行校正，使上下图外极线与Y轴平行。

所述的从上下立体图对中获取人脸大致视差与姿态估计：运用haar-AdaBoost分类器对照相机预览图像进行人脸检测。当上下图中均有完整人脸时进行同步抓拍，既而运用训练完成的Baγesian分类器，在已确定的人脸区域上半部进行左右瞳孔精确定位；运用haar-AdaBoost分类器对下半部进行鼻孔初步定位。对鼻孔周围区域以及左右瞳孔进行亚像素级精确匹配，根据视差求出鼻尖以及左右瞳孔的三维深度信息，构建人脸基准三角形，其确定的平面为基准平面。从鼻尖向左右瞳孔连线做垂线，垂足称为鼻基点，二等分鼻基点到鼻尖线段，取靠近鼻尖的等分点为圆心，1.2倍瞳距为半径，在基准平面上做圆，通过该圆计算确定上下视觉图中的人脸比对区域。

所述的基于复小波的相位相关算法金字塔形搜索立体图对中小区域的相应亚像素匹配：采用基于复小波的相位相关算法，对人脸比对区域每隔5像素点进行从粗到细的金字塔形搜索，获得上下视觉图的密集精确匹配。具体公式如下：

$\left(W_{\mathrm{\φ}}{f}_1\right)(b_1,b_2,a):={\left|a\right|}^{-1}{\mathrm{\Σ}}_{\mathrm{mn}}{f}_1(m,n)\stackrel{\‾}{\mathrm{\φ}}(\frac{m-b_1}{a},\frac{n-b_2}{a}).---\left(2\right)$

$\left(W_{\mathrm{\φ}}{f}_2\right)(b_1,b_2,a):={\left|a\right|}^{-1}{\mathrm{\Σ}}_{\mathrm{mn}}{f}_2(m,n)\stackrel{\‾}{\mathrm{\φ}}(\frac{m-b_1}{a},\frac{n-b_2}{a}).---\left(3\right)$

$\left(W_{\mathrm{\φ}}{f}_2\right)(b_1,b_2,a,{\mathrm{\ω}}_1,{\mathrm{\ω}}_2)\≈\left(W_{\mathrm{\φ}}{f}_1\right)(b_1,b_2,a,{\mathrm{\ω}}_1,{\mathrm{\ω}}_2)\·e^{{-\mathrm{i\ω}}_1\left(\frac{{\mathrm{\δ}}_1}{a}\right){-\mathrm{i\ω}}_2\left(\frac{{\mathrm{\δ}}_2}{a}\right)}.---\left(8\right)$

$C({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=\left(W_{\mathrm{\φ}}{f}_1\right)(b_1,b_2,a,{\mathrm{\ω}}_1,{\mathrm{\ω}}_2)\·\stackrel{\‾}{\left(W_{\mathrm{\φ}}{f}_2\right)(b_1,b_2,a,{\mathrm{\ω}}_1,{\mathrm{\ω}}_2)}.---\left(9\right)$

$\hat{C}({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=C({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)/\left|C({\mathrm{\ω}}_1,{\mathrm{\ω}}_2)\right|\≈e^{{\mathrm{i\ω}}_1\left(\frac{{\mathrm{\δ}}_1}{a}\right)}\·e^{{\mathrm{i\ω}}_2\left(\frac{{\mathrm{\δ}}_2}{a}\right)}.---\left(10\right)$

$\hat{c}(n_1,n_2)=\frac{1}{N_1{N}_2}{\mathrm{\Σ}}_{k_1{k}_2}{e}^{i\frac{2\mathrm{\π}}{N_1}{k}_1\frac{{\mathrm{\δ}}_1}{a}}\·e^{i\frac{2\mathrm{\π}}{N_2}{k}_2\frac{{\mathrm{\δ}}_2}{a}}\·e^{i\frac{2\mathrm{\π}}{N_1}{k}_1{n}_1}\·e^{i\frac{2\mathrm{\π}}{N_2}{k}_2{n}_2}.---\left(11\right)$

$\mathrm{Re}\left[\hat{c}(n_1,n_2)\right]\≈\frac{\mathrm{\σ}}{N_1{N}_2}\·\frac{\sin \left[\mathrm{\π}(n_1+\frac{{\mathrm{\δ}}_1}{a})\right]}{\sin \left[\frac{2\mathrm{\π}}{N_1}(n_1+\frac{{\mathrm{\δ}}_1}{a})\right]}\·\frac{\sin \left[\mathrm{\π}(n_2+\frac{{\mathrm{\δ}}_2}{a})\right]}{\sin \left[\frac{2\mathrm{\π}}{n_2}(n_2+\frac{{\mathrm{\δ}}_2}{a})\right]}.---\left(12\right)$

所述的金字塔形搜索对图像进行5层复小波分解，在像素匹配阶段采用简化的算法：从最底层开始，只比对

中心附近的点，找出最大值，而由该最大值作为σ的近似，其位置即为相应的视差估计，放大后代入上一层作为新的初始估计，进行新的计算，直到最顶层为止。因此，在进行亚像素匹配时，视差估计的误差应该小于1个像素。既而通过几次非线性最小二乘拟合迭代过程，获得最终的亚像素级视差估计。

所述的引入顺序匹配、连续性、相关性以及外极线等约束条件，作为对匹配关系的可信度评估：所谓顺序匹配约束是指，对于上图中的两点，其下图中的匹配点应保持原来的顺序；而连续性是指，对于上图中接近的两点，其相应视差也应该相似；相关性约束可用σ值来表示，当σ值越大，说明这两点的匹配相关性越大；而极线约束是指匹配点拥有基本相似的横坐标。整个匹配过程可改进为以下算法：

第一步：对于每一层，匹配并估计每一未标记点的σ值。如果σ小于某一阈值，则对该点进行标记并转入第二步。否则，考虑其顺序约束，取与其同列并已匹配的最近未标记点，如果顺序匹配错误，则进行标记并转入第二步。否则，考虑其连续约束情况，取其附近5×5以内所有已匹配而未标记点，取其视差平均，比较与该点差的绝对值，如大于某一阈值，则对该点标记转入第二步。最后，如果匹配点偏离外极线过大，则标记该点并转入第二步；

第二步：对于标记的点，考虑其附近5×5以内所有未标记点，取其关于σ值的相对加权平均作为该点的初始估计，然后进行亚像素匹配，对其结果进行相应的约束检测。如仍被标记，则将初始估计作为其相应视差。

所述的运用人脸的对称性对遮挡或者纹理欠缺部分进行补洞：过鼻尖点，作垂直于基准二角形和左右瞳孔连线的平面，将二维人脸点云对该平面作镜向，并运用ICP迭代算法进行人脸补洞。

所述的运用算法进行人脸识别：先比对两人脸的瞳距以及鼻尖到鼻基点的距离。如果在一定阈值范围内，则进一步比对，系统提供两种比对方法：

第一种，将人脸点云投影到基准平面，对基准平面上的每一固定方格随机选取一点，对所有选取的点，计算每两点之间的欧氏距离，而实际上，这个距离在表情归一化时已经计算过，无需重复计算，画出基于半随机的统计特征图，通过比对不同人脸间的统计特征图即可对人脸进行识别。

第二种，运用Tal的基于点云高维矩的向量比对方法进行归一化后人脸比对过程。主要思想是，将归一化人脸点云转化为高维矩的形式，然后再对其主要部分向量进行相似度比较。定义：

$d^{\mathrm{mom}}(S_1,S_2)={\mathrm{\Σ}}_{p+q+r\≤P}{({\mathrm{\μ}}_{\mathrm{pqr}}\left(X_1^{\′}\right)-{\mathrm{\μ}}_{\mathrm{pqr}}\left(X_2^{\′}\right))}^2.$

作为不同人脸S₁，S₂的相似度函数，其中

为其相应的归一化点云，μ_pqr(X)＝∫_xx^py^qz^rdxdydz.

所有点的匹配过程可并行计算，因此对双核cpu采用多线程的编程，可明显提高计算速度。对每张脸一共计算大约5000个点。

本发明有益的效果是：

所述的双目立体视觉系统：由两台高清晰数码照相机平行紧靠安装，其光轴基本平行且基线长度尽可能短，一般在60mm左右。照相机通过usb接口连接到电脑，通过电脑，利用双线程同步技术控制两台照相机同时拍照，并通过双目立体标定获得系统内外参数。对视觉系统所拍摄的上下立体图对进行校正，使上下图外极线与Y轴平行。

(1)构建基于两台平行光轴高清晰数码相机的短基线双目立体视觉系统，利用双线程同步技术，通过电脑控制两台相机同时拍照，获得同一瞬间的高清晰人脸图像对，使后继的高精度匹配与重建过程得以实现。

(2)提出考虑顺序匹配、连续性、相关性以及外极线等约束条件的基于复小波变换的相位相关算法从粗到细地搜索匹配关系，自动获得稠密精准的人脸点云信息，使通过双目被动立体视觉系统对人脸进行快速三维识别成为可能，识别过程更快速、隐蔽、安全与可靠；

(3)运用haar-AdaBoost与Bayesian分类器并结合二维深度信息的方法确定人脸基准三角形，通过该基准三角形对特定人脸进行姿态归—化，结合人脸的对称性对遮挡部分进行补洞处理，效果良好；

(4)采用提取人脸半随机统计特征图的方法进行相似度比对，能很好地节约存储空间，并使比对过程更加便捷与准确，识别鲁棒性强。

附图说明：

图1是基于双目被动立体视觉的快速二维人脸识别方法流程示意图；

图2是本发明基于高清晰数码相机的双目被动立体系统；

图3是本发明以左右瞳孔中心以及鼻尖的空间位置构建的基准坐标系；

图4是本发明的不同人脸三维重建结果。

具体实施方式

一、本发明采用双目被动立体视觉的方法，对人脸进行检测与表面密集点云的快速二维重建，运用基准三角形对特定人脸进行姿态归一与补洞处理，对表情归一化后的人脸重建区域进行半随机统计特征图提取，从而通过比对不同人脸的统计特征图实现人脸的高精度自动识别。

为了实现发明目的，如图1所示，本方法采用如下的技术方案：

步骤1：运用两台高清晰数码照相机构建双目被动立体视觉系统：对于平行光轴的双目系统，由于在光轴距离小的情况下，可以近似地将上下采集图中对应点为中心的小区域视为相互的一个图像平移，因而可运用相位相关算法对对应点进行估计。因此，希望它们的光轴距离(基线距离)越短越好。然而，由于对脸部采样的精确度以及点云密集程度的要求比较高，在对应点的匹配过程中，就需要考虑更多的相邻像素区域，既而在更大的脸部表面区域进行匹配。然而，由于脸部表面并非具有相同的深度，那么，我们没有理由相信其对应点附近较大的邻域仍然可以近似视为一个相互平移，这一点反应在鼻梁区域尤为明显。所以，匹配算法的可信度将无法保证。而相反的，为了满足对应点邻近区域为相互平移的假设，而只考虑点周围很小的区域，算法精度将迅速下降。在匹配算法中，调节小波基的宽度，使得匹配点周围99×99的像素区域在窗口范围内时，才可获得可信度高的配准关系。为解决这样的矛盾关系，使用高清晰的照相机取代摄像机作为新的双目组成视觉系统，如图2所示。这样，即使在很小的表面区域内，仍然有足够多的纹理信息来保证匹配的效果。在系统中，基线距离即为照相机的宽度，取61mm。这也正好是人双眼的大致距离，符合仿生学原理。双目系统通过USB接口与电脑相连，运用双线程同步技术，由电脑控制双目进行同时拍照。

对构建完成的双目视觉系统进行立体标定，获得其内外参数信息。由于不可避免地受到镜头畸变等影响，并且在实际应用中双目光轴往往难以达到精确平行要求，因此外极线通常不垂直于图像x轴。通过校正图像对可解决这一问题。因而，在后继的对应点匹配中，只需对y轴附近进行扫描即可。

在新的系统中，由于采用了1000万像素级的高分辨率照相机，因此，当上下图中的对应点匹配精度达到0.1像素时，利用双目立体视觉原理可精确获得空间点的三维深度信息，误差不超过0.1mm。

步骤2：对视觉系统的预览帧进行haar-AdaBoost方法人脸检测与采集，获得相应的上下立体视觉图对：

在对应点匹配前，我们需要检测预览帧中是否有完整的人脸，并了解人脸在图像中的大致区域与对应视差。这样，匹配的搜索深度与范围将大大减少，既提高了效率又减少了匹配时的误判与拒判率。发明运用Rainer Lienhart介绍的基于灰度图像中弱特征检测方法对预览视频流中每一帧进行实时人脸检测，对于训练完成的多角度人脸AdaBoost分类器，单帧图像人脸检测准确率可达90％。当人脸图像进入视觉系统中时，系统对每一帧图像进行检测，当检测结果符合人脸逻辑时由电脑控制双目进行同步抓拍获取清晰的图像对，为后继的三维重建提供样本。这里所谓的符合逻辑是指，上下视频流中检测到的人脸区域的大小与其中心x轴坐标都要基本一致，视差在一定的范围内，并且人脸区域要整个地落在视频内。此时，对拍摄的图像对进行再一次的人脸检测，此次检测区域将只限定于预览帧所检测到的人脸区域附近，若此时，上下图对中都有完整的人脸并符合逻辑，则记录检测结果，并估计人脸视差。否则，需重新抓照。

步骤3：对抓拍图像进行校正，使外极线垂直于图像x轴坐标。但由于校正过程较为耗时，因此，可只对人脸区域进行校正，这样，同时运用多线程技术，在主频为2.4GHz的双核处理器下，用时可控制在0.75秒以内。

步骤4：运用Bayesian、AdaBoost分类器以及点云二维信息获取眼睛与鼻尖的精确定位，构建基准三角形，针对不同姿态下的人脸进行姿态归一：

根据步骤2的人脸检测结果，运用训练完成的Bayesian分类器，在已确定的人脸区域上半部的左右边分别进行左右瞳孔精确定位；运用AdaBoost分类器对下半部进行鼻孔初步定位。运用发明步骤5将要介绍的匹配算法对左右瞳孔中心进行亚像素精确视差估计，并对初步定位的鼻孔区域进行像素级匹配，通过其各自视差计算三点的空间位置，过该三点确定初始参考平面，以远离人脸的方向为z轴正方向构建初始坐标系。对鼻孔周围一定区域(本发明取半径为瞳距四分之一的圆)内每一点进行亚像素级精确匹配，继而求出各点在初始坐标系中的z坐标，取值最大的点作为鼻尖的估计。以左右瞳孔中心以及鼻尖的空间位置构建人脸基准三角形，其确定的平面为基准平面，建立如图3所示的基准坐标系。从鼻尖向左右瞳孔连线做垂线，称该垂足为鼻基点，三等分鼻基点到鼻尖线段，取靠近鼻尖的等分点为圆心，1.2倍瞳距为半径，在基准平面上做圆，称该圆为特征圆，根据视差原理，反求出该圆的边界在上下图中的相应封闭曲线。由于识别过程只考虑左右眼能同时定位的情况，所以，我们总是假定鼻尖位置在该封闭曲线内。因此只需考虑曲线内像素点的三维重建信息，将其作为后继识别匹配的人脸特征。

步骤5：基于复小波变换的相位相关算法以及在匹配过程中的具体运用；

给定两幅大小均为(2M+1)×(2N+1)的灰度图f₁(m，n)、f₂(m，n)，定义它们在连续域中的对应函数仍为f₁(x，y)、f₂(x，y)，为方便叙述，发明考虑连续函数的情况。假设f₂为f₁的平移，平移量为(δ₁，δ₂)，则：

f₂(m，n)＝f₁(m-δ₁，n-δ₂).              (1)

设φ为二维复小波基，那么对于连续域中的函数f₁、f₂，在L²(R)上的积分小波变换(IWT)分别定义为：

$\left(W_{\mathrm{\φ}}{f}_1\right)(b_1,b_2,a):={\left|a\right|}^{-1}{\mathrm{\Σ}}_{\mathrm{mn}}{f}_1(m,n)\stackrel{\‾}{\mathrm{\φ}}(\frac{m-b_1}{a},\frac{n-b_2}{a}).---\left(2\right)$

$\left(W_{\mathrm{\φ}}{f}_2\right)(b_1,b_2,a):={\left|a\right|}^{-1}{\mathrm{\Σ}}_{\mathrm{mn}}{f}_2(m,n)\stackrel{\‾}{\mathrm{\φ}}(\frac{m-b_1}{a},\frac{n-b_2}{a}).---\left(3\right)$

根据小波变换的平移性可知：

(W_φf₂)(b₁，b₂，a)＝(W_φf₁)(b₁-δ₁，b₂-δ₂，a).      (4)

需寻找这样的小波基，使得在频域中对(δ₁，δ₂)容易估计。

在实际应用中，常用的小波基φ(x，y)多为变量可分离的二元函数：φ(x，y)＝φ₁(x)φ₂(y)，特别地，令φ₁＝φ₂，则φ(x，y)＝φ₁(x)φ₁(y)。

由于Morlet复小波采用时频窗面积最小的高斯窗函数，在时、频域都有较好的局部性，符合人眼的识别规律。因此，令φ₁为Morlet复小波基：

${\mathrm{\φ}}_1(t,\mathrm{\ω})=e^{-\frac{t^2}{2}}{e}^{\mathrm{i\ωt}}.---\left(5\right)$

则：

$\left(W_{\mathrm{\φ}}{f}_2\right)(b_1,b_2,a,{\mathrm{\ω}}_1,{\mathrm{\ω}}_2)=$

${\left|a\right|}^{-1}\{{\mathrm{\Σ}}_{\mathrm{mn}}{f}_1(m,n)\·e^{-\frac{{\left(\frac{m-b_1}{a}\right)}^2+{\left(\frac{n-b_2}{a}\right)}^2}{2}}\·e^{-[\frac{(m-b_1){\mathrm{\δ}}_1}{a^2}+\frac{(n-b_2){\mathrm{\δ}}_2}{a^2}]}\·e^{-{\mathrm{i\ω}}_1\left(\frac{m-b_1}{a}\right)-{\mathrm{i\ω}}_2\left(\frac{n-b_2}{a}\right)}\}\·e^{{-\mathrm{i\ω}}_1\left(\frac{{\mathrm{\δ}}_1}{a}\right)-{\mathrm{i\ω}}_2\left(\frac{{\mathrm{\δ}}_2}{a}\right)}\·e^{-\frac{{\left(\frac{{\mathrm{\δ}}_1}{a}\right)}^2+{\left(\frac{{\mathrm{\δ}}_2}{a}\right)}^2}{z}}.---\left(6\right)$

当δ₁<<a，δ₂<<a时，

$e^{-[\frac{(m-b_1){\mathrm{\&delta;}}_2}{a^2}+\frac{(n-b_2){\mathrm{\&delta;}}_2}{a^2}]}\&RightArrow;1.---\left(7\right)$

在实际匹配过程中，采用从粗到细的搜索策略，使得相对于给定的分辨率a，δ₁、δ₂总是很小，条件(7)的估计是合适的。

利用条件(7)，有：

$\left(W_{\mathrm{\&phi;}}{f}_2\right)(b_1,b_2,a,{\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)\&ap;\left(W_{\mathrm{\&phi;}}{f}_1\right)(b_1,b_2,a,{\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)\&CenterDot;e^{{-\mathrm{i\&omega;}}_1\left(\frac{{\mathrm{\&delta;}}_1}{a}\right){-\mathrm{i\&omega;}}_2\left(\frac{{\mathrm{\&delta;}}_2}{a}\right)}.---\left(8\right)$

f₁、f₂的交叉能量谱C定义为：

$C({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)=\left(W_{\mathrm{\&phi;}}{f}_1\right)(b_1,b_2,a,{\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)\&CenterDot;\stackrel{\&OverBar;}{\left(W_{\mathrm{\&phi;}}{f}_2\right)(b_1,b_2,a,{\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)}.---\left(9\right)$

其归一化后记为：

$\hat{C}({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)=C({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)/\left|C({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)\right|\&ap;e^{{\mathrm{i\&omega;}}_1\left(\frac{{\mathrm{\&delta;}}_1}{a}\right)}\&CenterDot;e^{{\mathrm{i\&omega;}}_2\left(\frac{{\mathrm{\&delta;}}_2}{a}\right)}.---\left(10\right)$

对于一定范围的ω₁、ω₂，进行2D离散，记 ${\mathrm{\&omega;}}_1=\frac{2\mathrm{\&pi;}}{N_1}{k}_1,$ ${\mathrm{\&omega;}}_2=\frac{2\mathrm{\&pi;}}{N_2}{k}_2,$ 其中N₁＝2M+1，N₂＝2N+1，-M≤k₁≤M，-N≤k₁≤N，傅立叶反变换得：

$\hat{c}(n_1,n_2)=\frac{1}{N_1{N}_2}{\mathrm{\&Sigma;}}_{k_1{k}_2}{e}^{i\frac{2\mathrm{\&pi;}}{N_1}{k}_1\frac{{\mathrm{\&delta;}}_1}{a}}\&CenterDot;e^{i\frac{2\mathrm{\&pi;}}{N_2}{k}_2\frac{{\mathrm{\&delta;}}_2}{a}}\&CenterDot;e^{i\frac{2\mathrm{\&pi;}}{N_1}{k}_1{n}_1}\&CenterDot;e^{i\frac{2\mathrm{\&pi;}}{N_2}{k}_2{n}_2}.---\left(11\right)$

理论上，

的虚部应等于0，然而，实际应用中，通常只取其实部来用二维Dirichlet函数拟合：

$\mathrm{Re}\left[\hat{c}(n_1,n_2)\right]\&ap;\frac{\mathrm{\&sigma;}}{N_1{N}_2}\&CenterDot;\frac{\sin \left[\mathrm{\&pi;}(n_2+\frac{{\mathrm{\&delta;}}_1}{a})\right]}{\sin \left[\frac{2\mathrm{\&pi;}}{N_1}(n_1+\frac{{\mathrm{\&delta;}}_1}{a})\right]}\&CenterDot;\frac{\sin \left[\mathrm{\&pi;}(n_2+\frac{{\mathrm{\&delta;}}_2}{a})\right]}{\sin \left[\frac{2\mathrm{\&pi;}}{N_2}(n_2+\frac{{\mathrm{\&delta;}}_2}{a})\right]}.---\left(12\right)$

在理想情况，σ＝1。在实际应用中，由于存在噪声等的影响，σ通常小于1。运用Levenberg-Marquardt算法对中心5×5的整数点数值进行非线性最小二乘拟合，得到包括σ，δ₁，δ₂的参数估计。

对人脸图像进行5层复小波分解，每隔10像素进行一次匹配。在像索匹配阶段采用简化的算法：从最底层开始，只比对

中心附近的点，找出最大值，由该最大值作为σ的近似，其位置即为相应的视差估计，放大后代入上一层作为新的初始估计，进行新的计算，直到最顶层为止。因此，在进行亚像素匹配时，视差估计的误差应该小于1个像素。既而通过儿次非线性最小二乘拟合迭代过程，获得最终的亚像素级视差估计。这样的迭代过程进行两次就可收敛。

根据以上的匹配方法，对于大部分点都可自动获得正确的视差估计，然而由于遮挡、噪声以及缺少纹理等情况的影响，在由粗到细的金字塔匹配过程中，对某些点对将出现错误估计，进而导致亚像素匹配无法收敛等情况的发生。不仅降低了自动配准的鲁棒性，而且在很大程度上减弱了三维重建的可靠性和精准度。

为克服以上问题，引入顺序匹配、连续性、相关性以及外极线等约束条件，作为对匹配关系的可信度评估。所谓顺序匹配约束是指，对于上图中的两点，其下图中的匹配点应保持原来的顺序；而连续性是指，对于上图中接近的两点，其相应视差也应该相似；相关性约束可用σ值来表示，当σ值越大，说明这两点的匹配相关性越大；而极线约束是指匹配点拥有基本相似的横坐标。

因此，整个匹配过程可改进为以下算法：

第一步：对于每一层，匹配并估计每一未标记点的σ值。如果σ小于某一阈值，则对该点进行标记并转入第二步。否则，考虑其顺序约束，取与其同列并已匹配的最近未标记点，如果顺序匹配错误，则进行标记并转入第二步。否则，考虑其连续约束情况，取其附近5×5以内所有已匹配而未标记点，取其视差平均，比较与该点差的绝对值，如大于某一阈值，则对该点标记转入第二步。最后，如果匹配点偏离外极线过大，则标记该点并转入第二步；

第二步：对于标记的点，考虑其附近5×5以内所有未标记点，取其关于σ值的相对加权平均作为该点的初始估计，然后进行亚像素匹配，对其结果进行相应的约束检测。如仍被标记，则将初始估计作为其相应视差。

所有点的匹配过程可并行计算，因此在双核处理器下采用多线程编程，可明显提高计算速度。对每张脸一共计算大约5000个点。不同人脸的三维重建结果请见图4。

步骤6：运用人脸的对称性对遮挡或者纹理欠缺部分进行补洞：

当采集具有一定角度人脸图像时，归一化后只能得到大半边脸重建结果，并且由于鼻子对脸的遮挡等情况，在需匹配区域出现洞，给识别过程带来困难。考虑到人脸具有很好的对称性，我们只需要过鼻尖点，作垂直于基准三角形和左右瞳孔连线的平面，将三维人脸点云对该平面作镜向，再将两幅点云进行ICP迭代。这样，由于拍摄角度原因被鼻子遮挡的脸颊部分以及脸的侧面被很好地恢复了。以上方法也被运用于当人脸(特别是颧骨部分)皮肤过于细腻而缺少纹理出现大孔时的填补过程。

步骤7：运用等长映射对3D人脸进行表情归一化：

基于人脸表面任意两点之间的测地距离在表情变化下的不变性假设，运用fast Marching方法计算3D人脸上每一对点之间的测地线距离(记录该测地距离，在步骤8中的半随机统计特征图提取时将再次用到)，然后用MDS(multidimensional scaling)方法，实现从测地距离到欧氏直线距离间的等长映射(isometricmapping)，实现表情归一。

步骤8：运用算法对归一化后的人脸点云进行比对识别：

先比对两人脸的瞳距以及鼻尖到鼻基点的距离。如果在一定阈值范围内，则进一步比对，系统提供两种比对方法：

第一种；将人脸点云投影到基准平面，对于基准平面上特征圆内的每一固定方格随机选取一点，对于所有选取的点，计算每两点之间的欧氏距离(即表情归一化前的测地线距离，已在步骤7中计算过)，画出基于半随机的统计特征图，通过比对不同人脸间的统计特征图即可对人脸进行识别。假设对两人脸M、N进行比对，分别获得函数f_M与f_N作为它们的半随机统计特征图，那么只需计算如下函数：

δ＝∫|f_M-f_N|dx.        (13)

当δ小于给定阈值时，即可判定人脸M、N属于同一个人。

第二种，运用Tal的基于点云高维矩的向量比对方法进行归一化后人脸比对过程。主要步骤是，将表情归一化人脸点云转化为高维矩的形式，然后再对其主要部分向量进行相似度比较。定义：

$d^{\mathrm{mon}}(S_1,S_2)={\mathrm{\&Sigma;}}_{p+q+r\&le;P}({\mathrm{\&mu;}}_{\mathrm{pqr}}\left(X_1^{\&prime;}\right)-{\mathrm{\&mu;}}_{\mathrm{pqr}}\left(X_2^{\&prime;}\right))2.---\left(14\right)$

作为不同人脸S₁，S₂的相似度函数，其中

为其相应的归一化点云，μ_pqr(X)＝∫_xx^py^qz^rdxdydz.

二、验证结果：

为了验证该方法对人脸识别的效果，我们对10人在不同光照条件下进行多角度拍摄，每人拍3次，对每组照片建立相应的归一化三维点云信息以及半随机统计特征图，存入数据库中。本次实验比对该30组数据中的任意两组，判断是否为同一人。

运用第一种基于统计图的判别方法，取阈值为150时，获得完全正确的识别效果。

运用第二种基于高维矩向量的方法，取阈值为200时，也获得了完全正确的识别效果。

实验表明，系统允许接受非正面的人脸采集图像，只要在该图像对中能方便地识别出基准三角形即可。系统识别基本不受光照条件以及背景的影响，并且对不同面部表情也有较好的鲁棒性。在匹配算法中，每一点都可并行计算，因此在实际编程中，双核处理器采用多线程的方式可在很大程度上提高算法的速度。本次实验，采用主频为2.4GHz的双核处理器，采用双线程，对每张脸计算5000个左右匹配点，数据库样本大小为30，对单个人脸采样与比对过程用时约5秒，各项具体耗时如表1：

表1单个人脸采集与比对过程的用时情况

 

人脸区域校正	三维匹配与重建	测地计算表情归一	二维比对	总计
					0.75秒	2.5秒	1.5秒	0.35秒	5.1秒

整个过程基本达到实时化要求。

三、实验结论：

本发明公开了一种新的基于双目被动立体视觉采集人脸图像，运用复小波变换技术精确匹配对应点，对重建三维点云进行特征提取与比对的三维人脸识别方法，与传统使用激光扫描仪或结构光等人脸信息采集方法相比，由于使用了非侵入式的双目立体视觉系统，使采集过程更加友好、快捷，并可根据需要达到隐蔽采集的目的，得出以下结论：

(1)运用基于复小波变换的相位相关算法可获得密集且满足识别精度要求的人脸三维点云信息。该算法对背景无特别要求。

(2)采用haar-AdaBoost和Bayesian分类器的方法，结合三维深度信息，确定人脸基准三角形，方便特定人脸的姿态归一化。

(3)提供基于统计图和基于高维矩向量的两种不同的人脸比对方法，用户可根据实际情况进行选择。实验表明，该发明不仅对环境以及人脸位姿表情等鲁棒性强，识别准确率高，并且成本十分低廉，适合在许多领域推广应用。

Claims (10)

1、一种基于双目被动立体视觉的快速三维人脸识别方法，其特征在于包括如下步骤：

1)运用两台高清晰数照码相机构建非接触式短轴平行双目立体视觉系统；

2)对视觉系统的预览帧进行haar-AdaBoost方法的人脸检测与采集，获得相应的上下立体视觉图对并估计视差，对人脸区域进行图像校正，获得区域内外极线垂直的上下立体视觉图对；

3)运用Bayesian、haar-AdaBoost分类器以及点云三维信息获取眼睛与鼻尖的精确定位，构建基准三角形；

4)运用基于复小波的相位相关算法金字塔形并行快速搜索立体图对中小区域的相应亚像素匹配，既而重建人脸密集三维点云信息；

5)运用已构建的基准三角形，针对不同姿态下的人脸进行姿态归一与补洞；

6)基于人脸表面测地距离不变性假设，对不同人脸表情进行归一化；

7)利用算法对归一化后三维人脸进行识别。

2、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的双目立体视觉系统：由两台高清晰数码照相机平行紧靠安装，其光轴基本平行且基线长度尽可能短，一般在60mm左右。照相机通过usb接口连接到电脑，通过电脑，利用双线程同步技术控制两台照相机同时拍照，并通过双目立体标定获得系统内外参数。

3、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的从上下立体图对中获取人脸大致视差、对人脸区域校正并进行姿态估计：运用haar-AdaBoost分类器对照相机预览图像进行人脸检测。当上下图中均有完整人脸时进行同步抓拍，对人脸区域进行图像对校正，获得区域内外极线垂直的上下立体视觉图对。既而运用训练完成的Bayesian分类器，在已确定的人脸区域上半部的左右侧分别进行左右瞳孔精确定位；下半部运用haar-AdaBoost分类器进行鼻子初步定位。对鼻子周围区域以及左右瞳孔进行亚像素级精确匹配，根据视差求出鼻尖以及左右瞳孔的三维深度信息，构建人脸基准三角形，其确定的平面为基准平面。从鼻尖向左右瞳孔连线做垂线，垂足称为鼻基点，三等分鼻基点到鼻尖线段，取靠近鼻尖的等分点为圆心，1.2倍瞳距为半径，在基准平面上做圆，通过该圆计算确定上下视觉图中的人脸比对区域。

4、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的基于复小波的相位相关算法金字塔形并行快速搜索立体图对中小区域的相应亚像素匹配：采用基于复小波的相位相关算法，对人脸比对区域每隔5像素点进行从粗到细的金字塔形搜索，获得上下视觉图的密集精确匹配。具体公式如下：

$\left(W_{\mathrm{\&phi;}}{f}_1\right)(b_1,b_2,a):={\left|a\right|}^{-1}{\mathrm{\&Sigma;}}_{\mathrm{mn}}{f}_1(m,n)\stackrel{\&OverBar;}{\mathrm{\&phi;}}(\frac{m-b_1}{a},\frac{n-b_2}{a}).---\left(2\right)$

$\left(W_{\mathrm{\&phi;}}{f}_2\right)(b_1,b_2,a):={\left|a\right|}^{-1}{\mathrm{\&Sigma;}}_{\mathrm{mn}}{f}_2(m,n)\stackrel{\&OverBar;}{\mathrm{\&phi;}}(\frac{m-b_1}{a},\frac{n-b_2}{a}).---\left(3\right)$

$\hat{C}({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)=C({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)/\left|C({\mathrm{\&omega;}}_1,{\mathrm{\&omega;}}_2)\right|\&ap;e^{{\mathrm{i\&omega;}}_1\left(\frac{{\mathrm{\&delta;}}_1}{a}\right)}\&CenterDot;e^{{\mathrm{i\&omega;}}_2\left(\frac{{\mathrm{\&delta;}}_2}{a}\right)}.---\left(10\right)$

$\hat{c}(n_1,n_2)=\frac{1}{N_1{N}_2}{\mathrm{\&Sigma;}}_{k_1{k}_2}{e}^{i\frac{2\mathrm{\&pi;}}{N_1}{k}_1\frac{{\mathrm{\&delta;}}_1}{a}}\&CenterDot;e^{i\frac{2\mathrm{\&pi;}}{N_2}{k}_2\frac{{\mathrm{\&delta;}}_2}{a}}\&CenterDot;e^{i\frac{2\mathrm{\&pi;}}{N_1}{k}_1{n}_1}\&CenterDot;e^{i\frac{2\mathrm{\&pi;}}{N_2}{k}_2{n}_2}.---\left(11\right)$

$\mathrm{Re}\left[\hat{c}(n_1,n_2)\right]\&ap;\frac{\mathrm{\&sigma;}}{N_1{N}_2}\&CenterDot;\frac{\sin \left[\mathrm{\&pi;}(n_1+\frac{{\mathrm{\&delta;}}_1}{a})\right]}{\sin \left[\frac{2\mathrm{\&pi;}}{N_1}(n_1+\frac{{\mathrm{\&delta;}}_1}{a})\right]}\&CenterDot;\frac{\sin \left[\mathrm{\&pi;}(n_2+\frac{{\mathrm{\&delta;}}_2}{a})\right]}{\sin \left[\frac{2\mathrm{\&pi;}}{N_2}(n_2+\frac{{\mathrm{\&delta;}}_2}{a})\right]}.---\left(12\right)$

5、根据权利要求1或4所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所述的金字塔形搜索对图像进行5层复小波分解，在像素匹配阶段采用简化的算法：从最底层开始，只比对中心附近的点，找出最大值，而由该最大值作为σ的近似，其位置即为相应的视差估计，放大后代入上一层作为新的初始估计，进行新的计算，直到最顶层为止。因此，在进行亚像素匹配时，视差估计的误差应该小于1个像素。既而通过几次非线性最小二乘拟合迭代过程，获得最终的亚像素级视差估计。

6、根据权利要求1所述的基于双目被动立体视觉的快速二维人脸识别方法，其特征在于，在每一层的匹配过程中，都引入顺序匹配、连续性、相关性以及外极线等约束条件，作为对匹配关系的可信度评估。所谓顺序匹配约束是指，对于上图中的两点，其下图中的匹配点应保持原来的顺序；而连续性是指，对于上图中接近的两点，其相应视差也应该相似；相关性约束可用σ值来表示，当σ值越大，说明这两点的匹配相关性越大；而极线约束是指匹配点拥有基本相似的横坐标。整个匹配过程可改进为以下算法：

第一步：对于每一层，匹配并估计每一未标记点的σ值。如果σ小于某一阈值，则对该点进行标记并转入第二步。否则，考虑其顺序约束，取与其同列并已匹配的最近未标记点，如果顺序匹配错误，则进行标记并转入第二步。否则，考虑其连续约束情况，取其附近5×5以内所有已匹配而未标记点，取其视差平均，比较与该点差的绝对值，如大于某一阈值，则对该点标记转入第二步。最后，如果匹配点偏离外极线过大，则标记该点并转入第二步；

第二步：对于标记的点，考虑其附近5×5以内所有未标记点，取其关于σ值的相对加权平均作为该点的初始估计，然后进行亚像素匹配，对其结果进行相应的约束检测。如仍被标记，则将初始估计作为其相应视差。

7、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，运用人脸的对称性对遮挡或者纹理欠缺部分进行补洞：过鼻尖点，作垂直于基准三角形和左右瞳孔连线的平面，将三维人脸点云对该平面作镜向，并运用ICP迭代算法进行人脸补洞。

8、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，基于人脸表面任意两点之间的测地线距离在表情变化下的不变性假设，用MDS(multidimensional scaling)方法，实现从测地距离到欧氏直线距离间的等长映射(isometric mapping)，实现表情归一。

9、根据权利要求1所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，在识别过程中，先比对两人脸的瞳距以及鼻尖到鼻基点的距离。如果在一定阈值范围内，则进一步比对，系统提供两种比对方法：

第一种，将归一化人脸点云投影到基准平面，对基准平面上的每一固定方格随机选取一点，对所有选取的点，计算每两点之间的距离，画出基于半随机的统计特征图，通过比对不同人脸间的统计特征图即可对人脸进行识别。

第二种，将归一化人脸点云转化为高维矩的形式，然后再对其的主要部分向量进行相似度比较。定义：

$d^{\mathrm{mom}}(S_1,S_2)={\mathrm{\&Sigma;}}_{p+q+r\&le;P}{({\mathrm{\&mu;}}_{\mathrm{pqr}}\left(X_1^{\&prime;}\right)-{\mathrm{\&mu;}}_{\mathrm{pqr}}\left(X_2^{\&prime;}\right))}^2.$

作为不同人脸S₁，S₂的相似度函数，其中X′₁，X′₂为其相应的归一化点云，μ_pqr(X)＝∫_X x^py^qz^rdx dy dz.

10、根据权利要求1或4所述的基于双目被动立体视觉的快速三维人脸识别方法，其特征在于，所有点的匹配过程可并行计算，因此，在双核处理器中采用多线程的编程，可明显提高计算速度。对每张脸一共计算大约5000个点。

Images