CN106446773B - 一种全自动、鲁棒的三维人脸检测方法 - Google Patents

Abstract

本文公开发明了一种全自动、鲁棒的三维人脸检测方法，以不同姿态和表情下含有大量冗余信息和噪声的三维人脸离散点云作为输入，主要包括预处理、鼻尖点定位和人脸检测三个阶段。预处理阶段首先对输入的点云模型进行平滑处理，然后对三维模型进行人脸预分割；鼻尖点定位阶段首先对初始人脸作旋转变换，获取原始人脸的离散轮廓线点集，然后对曲线拟合及梯度分析，从鼻子轮廓线上提取最突出的点作为鼻尖点；人脸检测阶段以鼻尖点为球心，经验值为半径分割出人脸区域并进行姿态矫正。本发明方法适用于大规模三维人脸数据库，对姿态、表情鲁棒性好，且处理速度快、准确率高。

Description

一种全自动、鲁棒的三维人脸检测方法

技术领域

本发明属于图像处理和模式识别技术领域，尤其涉及适用于三维人脸识别方向中的人脸检测方法。

背景技术

进入21世纪，人类进入了信息爆炸时代，信息安全问题日益突出，身份识别和认证已成为各类安保系统中亟待解决的问题。生物识别技术以其安全、普遍易维护等优点成为当前应用最多的身份识别和认证技术。作为生物识别技术的一个分支，人脸识别以其自然、友好、用户接受度高、易采集等优点，在实际应用中越来越多。以往的人脸识别技术大多基于二维图像，易表情、姿态、光照等因素影响，识别性能迟迟难以有更大的突破。

近年来随着计算机和三维成像技术的发展，基于三维模型的人脸识别方法有望克服现今人脸识别中遇到的姿态问题。但现有的三维人脸识别方法一般都针对没有姿态变化或姿态变化极小的情况，具有较大姿态的人脸识别，仍然是一个难题。此外，在实际的数据采集时，获取的人脸模型往往包含了头发、肩部、颈部等非人脸区域的冗余信息，且受表情变化影响，不可避免地含有噪声信息，这对后期人脸的特征提取和识别产生了很大的干扰作用。在这种情况下如何快速准确地检测出人脸区域，成为三维人脸识别研究急需解决的问题。

鼻尖是人脸区域上几何特征最为明显，是最容易识别的区域，可近似看做人脸的中心，通过鼻尖点可快速准确的分割出人脸区域。申请号200910197378.4，名称为“一种全自动三维人脸检测和姿态纠正的方法”的专利，对人脸曲面进行多尺度分析，根据鼻子的区域特征定位鼻尖点，受人脸之间差异性影响，鼻子的区域特征并不稳定，因而定位结果往往并不准确。2013年吉林大学蔡宇的“三维人脸检测与识别技术”博士论文中提出利用统计方式分析人脸的曲率特征定位鼻尖点，实现人脸检测，而曲率等特征信息在噪声干扰的情况下会表现的十分不稳定。申请号201510064736.X，名称为“一种抗表情、姿态及遮挡变化的三维人脸特征点检测方法”的专利，提出训练生成平均鼻子模型，定位鼻尖点的方法，该方法需手动标记人脸标记点，定位过程耗费时间较长。上述方法都存在不可避免的问题，无法同时满足人脸检测的速度和精度要求，制约着三维人脸识别研究的发展。

发明内容

发明目的：针对现有三维人脸分割方法的不足，提出了一种全自动、鲁棒的三维人脸检测方法。该方法可实现复杂姿态和表情变化下三维人脸的自动检测，对用户的配合度要求较低，可实现三维人脸的快速准确分割。

为实现上述发明目的，本发明采用的技术方案如下：

1、预处理阶段，包括以下步骤：

1-1)平滑处理：基于二维图像腐蚀操作的思想，首先将输入的点云数据中包含的离群点删除，然后引入中值滤波的思想将尖点剔除，最后利用双立方插值法进行空洞的填补，从而完成模型的平滑处理；

离群点定义：P_noise＝{p_i∈P|neiN(p_i ^r)＜ω}

其中P表示原始三维人脸点集，p_i ^r表示以p_i为球心，r为径的球形领域内点集，neiN(p_i ^r)表示点p_i的球形领域内点的个数，ω为阈值。取r＝3.0mm，ω＝10，剔除离群点；

尖点定义：P_cusp＝{p_i∈P|dis(p_i ^z-dz)>τ_dz}

其中dis(p_i ^z-dz)表示点p_i的z坐标与其邻域内点的z坐标均值dz之间的距离，τ_dz为给定的阈值，由点p的邻近点距离dz的中值确定。当三维点坐标满足尖点判断条件时予以剔除，并其点坐标设置为：其中n为点p的邻域内邻近点个数。

1-2)人脸预分割：根据三维模型的三维坐标取值，截取距离摄像头最近的一段距离内的三维模型区域，将三维模型中最突出的部分提取出来作为鼻尖点的提取区域S；

S＝{p_i∈P|p_i ^y∈[P^y _max-y_ε，P^y _max]，p_i ^z∈[P^z _max-z_ε，P^z _max]}。

其中P^y _max、P^z _max分别为点集合P中竖直方向上最大值和深度方向上的最大值，y_ε、z_ε分别为给定的阈值，取y_ε＝250mm、z_ε＝0.5P^z _max。

2-1)提取轮廓线：利用旋转法，将预分割后的人脸区域绕y轴做旋转变换，θ为旋转角度。取θ＝{0,5,10,…180}。取具有最大深度值的角度上的垂直向点集为初始人脸的离散轮廓线点集然后对轮廓线点集进行B样条拟合，从而得到初始人脸的轮廓线；

2-2)鼻尖点定位：对人脸的中分轮廓线进行梯度分析后，根据人脸轮廓线的几何形状特性可知，轮廓线中部梯度最大的极大值点即为鼻下点，鼻下点上部的第一个梯度极小值点即为鼻根点，轮廓线上鼻下点与鼻根点之间最突出的点即为鼻尖点；

3人脸检测阶段，包括以下步骤：

3-1)人脸分割：以鼻尖点为球心，经验值R为半径分割人脸区域，R＝90mm；

3-2)姿态矫正：利用PCA主成分分析法对三维人脸进行姿态的预调整，设人脸区域的点云集合为P＝{P₀,P₁,…P_m-1}，对应的均值点为计算人脸点云的协方差矩阵

计算出对应的特征值λ₁，λ₂，λ₃(λ₁>λ₂>λ₃)和特征向量α₁，α₂，α₃。以鼻尖点为坐标原点，特征向量α₂为x轴，特征向量α₁为y轴，特征向量α₃为z轴建立右手坐标系，该坐标系为姿势坐标系(PCS，Pose Coordinate System)将人脸点云投影到PCS中完成姿态矫正；

表示经坐标变换后每个点云数据的坐标向量，P_i表示原始的人脸点云坐标向量，P_nose为鼻尖点的坐标向量，m为分割后人脸区域包含的点云数目。

有益效果

(1)对人脸进行了预分割处理，有效降低了后期鼻尖点的数据处理量，提高了鼻尖点的定位速度。

(2)从人脸中分轮廓线上提取鼻子的轮廓线，定位结果准确且数据处理量较小。

(3)从鼻子的轮廓线上定位鼻尖点，减弱了表情变化及噪声对鼻尖点定位结果的影响。

附图说明

图1技术流程图；

图2三维人脸模型初始分割示意图；

图3多姿态下三维人脸的侧影轮廓线；

图4拟合后侧影轮廓线梯度图；

图5矫正前后的三维人脸图。

具体实施方式

以下结合附图具体说明本发明技术方案。

选取CASIA 3D人脸数据库中中性表情下九种姿态，六种表情下的共123个人的1845个测试样本进行了检测测试，成功检测到1742个人脸模型。最终单个人脸检测时间不超过1秒，检测准确率为94.42％，下面结合附图对本发明进行详细说明。

如图1所示，本发明一种全自动、鲁棒的三维人脸检测方法，主要包含以下步骤：

1)预处理阶段，包括以下步骤：

1.1)平滑处理：基于二维图像腐蚀操作的思想，首先将输入的点云数据中包含的离群点删除，然后引入中值滤波的思想将尖点剔除，最后利用双立方插值法进行空洞的填补，从而完成模型的平滑处理。

离群点定义：P_noise＝{p_i∈P|neiN(p_i ^r)＜ω}

其中P表示原始三维人脸点集，p_i ^r表示以p_i为球心，r为径的球形领域内点集，neiN(p_i ^r)表示点p_i的球形领域内点的个数，ω为阈值。取r＝3.0mm，ω＝10，剔除离群点；

尖点定义：P_cusp＝{p_i∈P|dis(p_i ^z-dz)>τ_dz}

其中dis(p_i ^z-dz)表示点p_i的z坐标与其邻域内点的z坐标均值dz之间的距离，τ_dz为给定的阈值，由点p的邻近点距离dz的中值确定。当三维点坐标满足尖点判断条件时予以剔除，并其点坐标设置为：其中n为点p的邻域内邻近点个数。

1.2)人脸预分割：如图2所示，根据三维模型的三维坐标取值，截取距离摄像头最近的一段距离内的三维模型区域，将三维模型中最突出的部分提取出来作为鼻尖点的提取区域S。

S＝{p_i∈P|p_i ^y∈[P^y _max-y_ε，P^y _max]，p_i ^z∈[P^z _max-z_ε，P^z _max]}。

其中P^y _max、P^z _max分别为点集合P中竖直方向上最大值和深度方向上的最大值，y_ε、z_ε分别为给定的阈值，取y_ε＝250mm、z_ε＝0.5P^z _max。

2)鼻尖点提取阶段，包括以下步骤：

(2.1)提取轮廓线：利用旋转法，将预分割后的人脸区域绕y轴做旋转变换，θ为旋转角度，取θ＝{0,5,10,…180}。取具有最大深度值的角度上的垂直向点集为初始人脸的离散轮廓线点集 然后对轮廓线点集进行B样条拟合，从而得到初始人脸的轮廓线。对数据库中任意选定的三维人脸在6种姿态下(正面、低头、抬头、左偏转30度、左偏转60度、左歪头、右歪头。注：右偏转与左偏转相同)的测试结果如图3所示。

2.2)鼻尖点定位：对人脸的中分轮廓线进行梯度分析后，根据人脸轮廓线的几何形状特性可知，轮廓线中部梯度最大的极大值点即为鼻下点，鼻下点上部的第一个梯度极小值点即为鼻根点，轮廓线上鼻下点与鼻根点之间最突出的点即为鼻尖点。轮廓线的梯度图如图4所示。

3)人脸检测阶段，包括以下步骤：

3.1)人脸分割：以鼻尖点为球心，经验值R为半径分割人脸区域，R＝90mm。

3.2)姿态矫正：利用PCA主成分分析法对三维人脸进行姿态的预调整，设人脸区域的点云集合为P＝{P₀,P₁,…P_m-1}，对应的均值点为计算人脸点云的协方差矩阵

计算出对应的特征值λ₁，λ₂，λ₃(λ₁>λ₂>λ₃)和特征向量α₁，α₂，α₃。以鼻尖点为坐标原点，特征向量α₂为x轴，特征向量α₁为y轴，特征向量α₃为z轴建立右手坐标系，该坐标系为姿势坐标系(PCS)将人脸点云投影到PCS中完成姿态矫正；

分割后，姿态矫正前后六种姿态的三维人脸如图5所示。

Claims (1)

1.一种全自动、鲁棒的三维人脸检测方法，其特征在于，包括如下三个阶段和步骤：

1)预处理阶段，包括以下步骤：

1-1)平滑处理：基于二维图像腐蚀操作的思想，首先将输入的点云数据中包含的离群点删除，然后引入中值滤波的思想将尖点剔除，最后利用双立方插值法进行空洞的填补，从而完成模型的平滑处理；

离群点定义：P_noise＝{p_i∈P|neiN(p_i ^r)＜ω}，其中P表示原始三维人脸点集，p_i表示原始三维人脸点集P内的第i个三维人脸点，p_i ^r表示以p_i为球心，r为半径的球形领域内点集，neiN(p_i ^r)表示点p_i的球形领域内点的个数，ω为阈值；当点p_i满足离群点剔除条件neiN(p_i ^r)＜ω时，认为p_i为一个离群点，三维人脸点集P内所有满足条件neiN(p_i ^r)＜ω的p_i点的集合构成所有离群点P_noise；

取r＝3.0mm，ω＝10，当点p_i的以p_i为球心，r为半径的球形领域内点的个数neiN(p_i ^r)小于阈值ω剔除离群点，即将点p_i从三维人脸点集P中删除；

尖点定义：P_cusp＝{p_i∈P|dis(p_i ^z-dz)＞τ_dz}，其中dis(p_i ^z-dz)表示点p_i的z坐标与其邻域内三维人脸点的z坐标距离dz之间的距离，τ_dz为给定的阈值，τ_dz由点p_i的邻近点距离dz的中值确定；

当点p_i坐标满足尖点判断条件dis(p_i ^z-dz)＞τ_dz时予以剔除，即将点p_i的坐标设置为：其中n为点p_i的邻域内邻近点个数，∑p_i ^x为点p_i的邻域内三维人脸点的x坐标的总和，∑p_i ^y为点p_i的邻域内三维人脸点的y坐标的总和，∑p_i ^z为点p_i的邻域内三维人脸点的z坐标的总和；

1-2)人脸预分割：根据三维模型的三维坐标取值，截取距离摄像头最近的一段距离内的三维模型区域，将三维模型中最突出的部分提取出来作为鼻尖点的提取区域S：

S＝{p_i∈P|p_i ^y∈[P^y _max-y_ε，P^y _max]，p_i ^z∈[P^z _max-z_ε，P^z _max]}

其中P^y _max、P^z _max分别为点集合P中竖直方向y轴方向上最大值和深度方向z轴上的最大值，y_ε、z_ε分别为给定的阈值；

取y_ε＝250mm、z_ε＝0.5P^z _max，当点p_i的y坐标p_i ^y满足p_i ^y∈[P^y _max-y_ε，P^y _max]，点p_i的z坐标p_i ^z满足p_i ^z∈[P^z _max-z_ε，P^z _max]时，将点p_i看作鼻尖点的提取区域内的一个，所有满足条件的原始三维人脸点集P内的点的集合构成鼻尖点的提取区域S；

2)鼻尖点提取阶段，包括以下步骤：

2-1)提取轮廓线：利用旋转法，将鼻尖点提取区域S作为预分割后的人脸区域绕y轴做旋转变换，θ为旋转角度，取θ＝{0，5，10，...180}，分别计算各个旋转角度下，区域S内点的最大z坐标值，并筛选出进行旋转变换后S内点具有最大z坐标值时对应的旋转角度的θ_i′；

将区域S绕y轴做旋转变换，旋转角度为θ_i′，对旋转后的区域S进行网格化划分，沿y轴方向取每一行具有最大z坐标值的点的集合为初始人脸的离散轮廓线点集然后对轮廓线点集L_pf内的点进行B样条拟合，从而得到初始人脸的轮廓线L；

2-2)鼻尖点定位：对拟合后形成的初始人脸的轮廓线根据y坐标的下限和上限进行区域划分，划分为下部区域、中部区域、上部区域，三个区域分别对应的轮廓线长度为1∶2∶1，对人脸的轮廓线L进行梯度分析后，根据人脸轮廓线的几何形状特性可知，轮廓线中部区域梯度最大的极大值点即为鼻下点，鼻下点上部区域的第一个梯度极小值点即为鼻根点，轮廓线上鼻下点与鼻根点之间最突出的点即为鼻尖点P_nose；

3)人脸检测阶段，包括以下步骤：

3-1)人脸分割：以鼻尖点P_nose为球心，经验值R为半径分割原始三维人脸区域P，R＝90mm，得到人脸区域P‘，P‘＝{p_i∈P|dis(p_i-P_nose)≤90}，其中dis(p_i-P_nose)表示三维人脸点集P中的点p_i与鼻尖点P_nose之间的空间距离；

3-2)姿态矫正：利用PCA主成分分析法对三维人脸进行姿态的预调整，设人脸区域的点云集合为P‘＝{P₀，P₁，...P_m-1}，其中P₀，P₁，...P_m-1分别表示人脸区域P‘内包含的第1、2……、m个三维人脸点，m为人脸区域P‘内三维人脸点的个数，对应的人脸区域P‘内三维人脸点的均值点为∑P_j ^x为人脸区域P‘内所有三维人脸点的x坐标的总和，∑P_j ^y为人脸区域P‘内所有三维人脸点的y坐标的总和，∑P_j ^z为人脸区域P‘内所有三维人脸点的z坐标的总和；

计算人脸点云的协方差矩阵

计算出对应的特征值λ₁，λ₂，λ₃，λ₁＞λ₂＞λ₃，及特征向量α₁，α₂，α₃；以鼻尖点P_nose为坐标原点，特征向量α₂为x轴，特征向量α₁为y轴，特征向量α₃为z轴建立右手坐标系，该坐标系为姿势坐标系PCS将人脸点云投影到PCS中完成姿态矫正；

表示经坐标变换后每个点云数据的坐标向量，从而从原始三维人脸点集P中经人脸分割和姿态矫正检测出标准的人脸区域其中j＝0，1，...，m-1。