CN104143080A

CN104143080A - 基于三维点云的三维人脸识别装置及方法

Info

Publication number: CN104143080A
Application number: CN201410216319.8A
Authority: CN
Inventors: 夏春秋
Original assignee: Shenzhen Vision Technology Co Ltd
Current assignee: Shenzhen Vision Technology Co Ltd
Priority date: 2014-05-21
Filing date: 2014-05-21
Publication date: 2014-11-12
Anticipated expiration: 2034-05-21
Also published as: CN104143080B

Abstract

本发明公开一种基于三维点云的三维人脸识别装置及方法，所述装置包括：用于获取三维点云人脸数据的数据输入单元；对数据输入单元获取的三维点云特征区域进行定位的特征区域检测单元；对所定位的数据进行平滑处理以滤除噪音的滤噪单元；从预处理后的人脸数据中选择面部全局特征点的特征点选择单元；对特征点选择单元选择的面部全局特征点数据进行配准的数据配准计算单元；以及对经由数据配准计算单元配准处理后的数据进行分类的最近邻分类器计算单元。所述方法包括如下步骤：输入步骤；特征区域定位步骤；粗配准步骤；滤除噪音步骤；选取特征点步骤；再配准步骤；以及识别步骤。本发明对三维人脸数据进行滤噪、配准后再进行识别，其识别精度高。

Description

基于三维点云的三维人脸识别装置及方法

技术领域

本发明涉及人脸识别技术领域，尤其是指基于三维点云的三维人脸识别装置及方法。

背景技术

三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此，在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多研究者都将研究重点投入到该领域中。

其中，2010年12月29日公开的201010256907.6号中国发明专利申请提出了采用三维弯曲不变量的相关特征用来进行人脸特性描述的方法，该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征，对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用Ｋ最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用。

而2011年5月4日公开的200910197378.4号中国发明专利申请则提出了一种全自动三维人脸检测和姿势纠正的方法，该方法通过对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该方法目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。

三维人脸识别是三维人脸领域中许多应用的基础性工作，姿态问题是人脸识别领域的一个难题，包括上述两项现有技术在内的现有人脸识别技术往往容易因为姿态的不同导致信息缺失，导致大姿态变化的人脸识别准确性很低。

发明内容

本发明所要解决的技术问题在于，提供一种基于三维点云的三维人脸识别装置，以克服姿态变化对于三维人脸识别造成的影响，提升系统的识别精度。

本发明进一步所要解决的技术问题在于，提供一种基于三维点云的三维人脸识别方法，以克服姿态变化对于三维人脸识别造成的影响，提升系统的识别精度。

为解决上述技术问题，本发明提供如下技术方案：一种基于三维点云的三维人脸识别装置，其包括：

用于获取三维点云人脸数据的数据输入单元；

对数据输入单元获取的三维点云特征区域进行定位的特征区域检测单元；

对所定位的数据进行平滑处理以滤除噪音的滤噪单元；

从预处理后的人脸数据中选择面部全局特征点的特征点选择单元；

对特征点选择单元选择的面部全局特征点数据进行配准的数据配准计算单元；以及

对经由数据配准计算单元配准处理后的数据进行分类的最近邻分类器计算单元。

进一步地，所述特征区域检测单元包括：

针对特征区域进行定位和特征提取的特征提取模块；

用于存储特征区域分类器参数的特征区域分类器存储模块；以及

对所定位并提取的特征区域的数据点进行分类计算，以判断其是否属于特征区域的分类器模块。

进一步地，所述分类器模块为支持向量机或阿德布斯特分类器。

进一步地，所述特征点选择单元包括：

自适应空间密度选择模块，其针对特征区域检测单元所定位的特征区域位置，对面部的数据点进行空间采样，根据有效采样点的数目判断人脸姿态的大小以及空间采样的密度；以及

面部特征点选择单元，根据自适应空间密度选择模块所确定的空间采样密度，在面部自适应选择参考特征点。

进一步地，所述数据配准计算单元包括：

进行数据配准计算的计算模块；以及

用于存储三维人脸模型数据形成注册库的三维模型存储模块。

另一方面，本发明还提供一种基于三维点云的三维人脸识别方法，包括如下步骤：

输入步骤，输入三维点云人脸数据；

特征区域定位步骤，进行特征区域的检测和定位；

粗配准步骤，对所定位的特征区域进行粗配准；

滤除噪音步骤，对粗配准后的数据中的噪音进行平滑滤除；

选取特征点步骤，根据自适应的采样密度估计，在面部数据选取部分特征点；

再配准步骤，采用ICP算法对所选取的人脸数据特征点作进一步配准；以及

识别步骤，利用配准后的人脸数据与注册库中的三维人脸模型数据之间的欧式距离，根据最近邻分类器实现人脸识别。

进一步地，特征区域定位步骤中，以鼻尖区域为特征区域，针对三维点云的数据深度、数据密度以及更进一步计算数据的三维曲率，提取点云数据的相应特征。

进一步地，对鼻尖区域进行定位的主要步骤如下：

步骤1，确定域平均负有效能量密度的阈值，定义为thr；

步骤2，利用数据的深度信息，提取在最大z值往后20mm范围内的z值域内的人脸数据作为待处理数据；

步骤3，计算由深度信息选取出的人脸数据的法向量信息；

步骤4，按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤5，当该区域的阈值大于预定义的thr时，则确定并定位该区域为鼻尖区域，否则回到步骤1循环继续。

进一步地，滤除噪音步骤中，利用均值滤波器进行数据噪音过滤。

进一步地，再配准步骤中，数据配准计算单元根据所确定的特征点集合，利用ICP算法将输入人脸数据与库中已注册人脸模型数据进行配准，并以其欧式距离作为匹配距离。

采用上述技术方案后，本发明至少具有如下有益效果：本发明通过先对三维人脸数据进行滤噪、配准再进行识别，其识别精度高，可以作为对于特定场景（姿态变化）的解决方法，也可以作为三维人脸识别应用的解决方案。

附图说明

图1是本发明基于三维点云的三维人脸识别装置的系统原理框图。

图2是本发明基于三维点云的三维人脸识别方法的流程图。

图3是本发明基于三维点云的三维人脸识别方法的鼻尖定位过程示意图。

图4是本发明基于三维点云的三维人脸识别方法的三维人脸数据噪音的示意图。

图5是本发明基于三维点云的三维人脸识别方法的三维人脸特征点选择示意图。

图6是本发明基于三维点云的三维人脸识别方法的不同姿态的三维人脸配准示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明提供一种基于三维点云的三维人脸识别装置，其包括：

用于获取三维点云人脸数据的数据输入单元；

对所定位的数据进行平滑处理以滤除噪音的滤噪单元；

其中，所述特征区域检测单元又可进一步包括：

针对特征区域进行定位和特征提取的特征提取模块；

而所述分类器模块为支持向量机或阿德布斯特（Adaboost）分类器。

所述特征点选择单元包括：

所述数据配准计算单元包括：

进行数据配准计算的计算模块；以及

输入步骤，输入三维点云人脸数据；

特征区域定位步骤，进行特征区域的检测和定位；

粗配准步骤，对所定位的特征区域进行粗配准；

滤除噪音步骤，对粗配准后的数据中的噪音进行平滑滤除；

其中，在特征区域定位步骤中，优选以鼻尖区域为特征区域，针对三维点云的数据深度、数据密度以及更进一步计算数据的三维曲率，提取点云数据的相应特征。

由于鼻尖区域具有空点密度大，曲率明显等特性，因此，在特征区域定位步骤中通常以鼻尖区域作为特征区域进行定位，而结合图3所示，对鼻尖区域进行定位的主要步骤如下：

步骤1，确定域平均负有效能量密度的阈值，定义为thr；

步骤3，计算由深度信息选取出的人脸数据的法向量信息；

从图4可以看出，人脸数据中存在一定的空洞和凸起，为消除噪音对后续步骤的影响，需要对数据进行平滑处理，在本发明的一个实施例中，优选利用均值滤波器进行数据平滑，其具体步骤如下：

步骤1：利用固定大小的滑动窗遍历图像，对每个采样窗口的图像数据进行排序；以及

步骤2：用排序后的中值取代图像当前像素点的数据。

图5是数据特征点选取的示意图。该特征点选取步骤，根据面部有效采样数据点的数目对于采样数据密度进行自适应选择。首先在鼻尖区域附近按照一定的空间密度（粗精度）进行采样，如果有效数据点足够多（姿态比较小），则基于该级别采样密度进行面部特征点采样；否则（姿态比较大），按照更精细密度进行下一层级的空间密度（细精度）进行面部数据特征点采样。

在上述再配准步骤中，数据配准计算单元根据所确定的特征点集合，利用ICP算法将输入人脸数据与库中已注册人脸模型数据进行配准，并以其欧式距离作为匹配距离。

ICP算法实质上是一个求最小均方误差的最优化问题，假设已经得到匹配数据集合对P和Q，则该配准算法主要步骤如下：

首先，计算3*3的矩阵

，其中N是数据集合的容量。

其次，做H矩阵的SVD分解

最后，计算旋转矩阵R和平移矩阵t

当X行列式值为1时，R＝X；t=P-R*Q。

综上所述，采用的ICP算法步骤可以总结为：

1. 确定匹配数据集合对

该步骤先从参考模板中的三维鼻尖数据选取参考点数据点集P，然后再利用点对点之间的最近的距离来选择输入三维人脸中与参考数据相匹配的数据点集Q。

2. 计算刚性运动参数

主要是计算旋转矩阵R和平移向量t。

3. 数据是否实现配准判断

判断刚性变换后的数据集RQ + t和参考数据集P之间的误差是否足够小。当该误差小于某一阈值时，则这两个三维数据集合已经实现配准；否则从第一步重新开始直到数据集合对实现配准。

根据上述自适应特征点采样和ICP配准算法，则距离函数如下：

其中P，Q分别是待匹配的特征点集合，集合中含有N个特征点。

由于特征点采样密度的不同，因此在配准完成后计算输入数据与注册库中的三维人脸模型数据之间的欧式距离时，需要根据有效特征点的数目对该距离进行归一化。

对于不同姿态的三维数据，得到配准的参考区域后，优选按照ICP算法进行数据配准；配准前后的对比如图6所示。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims

1.一种基于三维点云的三维人脸识别装置，其特征在于，其包括：

用于获取三维点云人脸数据的数据输入单元；

对所定位的数据进行平滑处理以滤除噪音的滤噪单元；

2.如权利要求1所述的基于三维点云的三维人脸识别装置，其特征在于，所述特征区域检测单元包括：

针对特征区域进行定位和特征提取的特征提取模块；

3.如权利要求2所述的基于三维点云的三维人脸识别装置，其特征在于，所述分类器模块为支持向量机或阿德布斯特分类器。

4.如权利要求1所述的基于三维点云的三维人脸识别装置，其特征在于，所述特征点选择单元包括：

5.如权利要求1所述的基于三维点云的三维人脸识别装置，其特征在于，所述数据配准计算单元包括：

进行数据配准计算的计算模块；以及

6.一种基于三维点云的三维人脸识别方法，其特征在于，包括如下步骤：

输入步骤，输入三维点云人脸数据；

特征区域定位步骤，进行特征区域的检测和定位；

粗配准步骤，对所定位的特征区域进行粗配准；

滤除噪音步骤，对粗配准后的数据中的噪音进行平滑滤除；

7.如权利要求6所述的基于三维点云的三维人脸识别方法，其特征在于，特征区域定位步骤中，以鼻尖区域为特征区域，针对三维点云的数据深度、数据密度以及更进一步计算数据的三维曲率，提取点云数据的相应特征。

8.如权利要求7所述的基于三维点云的三维人脸识别方法，其特征在于，对鼻尖区域进行定位的主要步骤如下：

步骤1，确定域平均负有效能量密度的阈值，定义为thr；

步骤3，计算由深度信息选取出的人脸数据的法向量信息；

9.如权利要求6所述的基于三维点云的三维人脸识别方法，其特征在于，滤除噪音步骤中，利用均值滤波器进行数据噪音过滤。

10.如权利要求6所述的基于三维点云的三维人脸识别方法，其特征在于，再配准步骤中，数据配准计算单元根据所确定的特征点集合，利用ICP算法将输入人脸数据与库中已注册人脸模型数据进行配准，并以其欧式距离作为匹配距离。