CN103996052B - 基于三维点云的三维人脸性别分类方法 - Google Patents

Abstract

本发明公开一种基于三维点云的三维人脸性别分类装置及方法，所述装置包括：对三维点云特征区域进行定位的特征区域检测单元；将检测定位的三维点云归一化映射到深度图像空间的深度图像映射单元；对映射后的深度图像进行LBP特征计算的LBP特征计算单元；以及对LBP特征计算获得的LBP直方图特征进行性别分类的分类器计算单元。所述方法包括：特征区域检测步骤、深度图像映射步骤、LBP特征计算步骤以及分类步骤。本专利利用LBP直方图特征准确描述了三维深度人脸图像的特性，并利用性别SVM分类器在LBP直方图特征上实现了准确分类，分类精度高。本发明可作为三维人脸性别分类应用的解决方案或者作为三维人脸性别分类的粗分类步骤来提升系统精度。

Description

基于三维点云的三维人脸性别分类方法

技术领域

本发明涉及人脸识别技术领域，尤其是指基于三维点云的三维人脸性别分类方法。

背景技术

三维人脸识别相对于二维人脸识别，有着其对光照鲁棒、受姿态以及表情等因素影响较小等优点，因此，在三维数据采集技术飞速发展以及三维数据的质量和精度大大提升之后，很多研究者都将研究重点投入到该领域中。

其中，2010年12月29日公开的201010256907.6号中国发明专利申请提出了采用三维弯曲不变量的相关特征用来进行人脸特性描述的方法，该方法通过编码三维人脸表面相邻节点的弯曲不变量的局部特征，提取弯曲不变量相关特征；对所述弯曲不变量的相关特征进行签名并采用谱回归进行降维，获得主成分，并运用Ｋ最近邻分类方法对三维人脸进行识别。但是由于提取变量相关特征时需要复杂的计算量，因此在效率上限制了该方法的进一步应用。

而2011年5月4日公开的200910197378.4号中国发明专利申请则提出了一种全自动三维人脸检测和姿势纠正的方法，该方法通过对人脸三维曲面进行多尺度的矩分析，提出了脸部区域特征来粗糙地检测人脸曲面，及提出鼻尖区域特征来准确地定位鼻尖的位置，然后进一步精确地分割出完整的人脸曲面，根据人脸曲面的距离信息提出鼻根区域特征来检测鼻根的位置后，建立了一个人脸坐标系，并据此自动地进行人脸姿势的纠正应用。该方法目的在于对三维人脸数据的姿态进行估计，属于三维人脸识别系统的数据预处理阶段。

三维人脸识别作为三维人脸领域中许多应用的基础性工作，准确的性别分类不仅可以有效地获取人脸数据中的人脸特性，获取更多的人脸语义理解信息，同时还可以作为三维人脸识别的一个粗分类步骤，提升识别系统的精度。性别分类的难点在于如何准确的描述人脸数据的性别特性以及如何在特征空间的基础上实现准确的分类。然而，上述两项现有技术均未涉及对人脸进行性别分类识别的技术手段，相应在识别系统的精度上也存在不足而有待改进。

发明内容

本发明进一步所要解决的技术问题在于，提供一种基于三维点云的三维人脸性别分类方法，以提升对三维人脸数据的识别和分类的精度。

为解决上述技术问题，本发明提供如下技术方案：一种基于三维点云的三维人脸性别分类方法，包括如下步骤：

特征区域检测步骤，对于三维点云特征区域进行定位，作为配准的基准数据，然后对输入点云数据与基础人脸数据进行配准；

深度图像映射步骤，然后利用数据的三维坐标值，将检测定位的三维点云归一化映射到深度图像空间；

LBP特征计算步骤，对映射后的深度图像进行LBP特征计算以获得的LBP直方图特征；以及

分类步骤，对所获得的LBP直方图特征进行性别分类计算，从而实现三维人脸性别分类；

其中，在特征区域检测步骤中，以鼻尖区域作为特征区域进行定位，针对三维点云特征区域的数据深度、数据密度以及更进一步计算数据的三维曲率，来提取点云数据的相应特征；

所述对鼻尖区域进行定位的主要步骤如下：

步骤1，确定域平均负有效能量密度的阈值，定义为thr；

步骤2，利用数据的深度信息，提取在最大z值往后20mm范围内的z值域内的人脸数据作为待处理数据；

步骤3，计算由深度信息选取出的人脸数据的法向量信息；

步骤4，按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤5，当该区域的阈值大于预定义的thr时，则确定并定位该区域为鼻尖区域，否则回到步骤1循环继续。

进一步地，所述深度图像映射步骤中，映射模块按照空间信息的（x,y）作为映射的参考空间位置，空间信息的z值作为映射对应数据值，构建从三维点云到深度图像的映射。

进一步地，所述LBP特征计算步骤中，LBP特征计算单元利用ULBP储存LBP的映射表，对于三维人脸深度图像LBP特征运算，对于每个深度图像像素获取得到其对应的LBP纹理特征直方图向量。

进一步地，分类步骤，对所获得的LBP直方图特征，利用性别SVM分类器参数进行性别分类计算，从而实现三维人脸性别分类。

采用上述技术方案后，本发明至少具有如下有益效果：本专利利用LBP直方图特征，准确地描述了三维深度人脸图像的特性，然后利用性别SVM分类器在LBP直方图特征上实现了准确分类，分类精度高。本发明可作为三维人脸性别分类应用的一种解决方案，也可作为三维人脸性别分类的一个粗分类步骤以提升系统精度。

附图说明

图1是本发明基于三维点云的三维人脸性别分类装置的系统原理框图。

图2是本发明基于三维点云的三维人脸性别分类方法的流程图。

图3是本发明基于三维点云的三维人脸性别分类方法的鼻尖定位过程示意图。

图4是本发明基于三维点云的三维人脸性别分类方法的不同姿态的三维人脸配

准示意图。

图5是本发明基于三维点云的三维人脸性别分类方法的三维人脸数据噪音的示意图。

图6是本发明基于三维点云的三维人脸性别分类方法的三维点云映射到深度图像的示意图。

图7是本发明基于三维点云的三维人脸性别分类方法的LBP特征示意图。

图8是本发明基于三维点云的三维人脸性别分类方法的SVM分类器原理示意图。

图9是本发明基于三维点云的三维人脸性别分类方法的三维人脸性别分类结果的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明提供一种基于三维点云的三维人脸性别分类装置，其包括：

对三维点云特征区域进行定位的特征区域检测单元；

将检测定位的三维点云归一化映射到深度图像空间的深度图像映射单元；

对映射后的深度图像进行LBP特征计算的LBP特征计算单元；以及

对LBP特征计算获得的LBP直方图特征进行性别分类的分类器计算单元。

其中，所述特征区域检测单元包括：

针对三维点云特征区域的特性，提取点云数据的相应特征的特征提取模块；

用于存储特征区域SVM分类器参数的特征区域SVM分类器参数存储模块；以及

对特征提取模块提取的相应特征进行数据点的分类计算，判断其是否属于特征区域的分类器模块，所述分类器模块优选采用支持向量机或阿德布斯特（Adaboost）分类器。

而所述深度图像映射单元进一步包括：

按照深度信息将原始三维点云映射为深度图像的映射模块；以及

利用滤波器对获取的深度图像的空洞或者噪点信息进行去噪的去噪模块。

所述分类器计算单元包括：

用于存储利用训练集中的三维人脸数据进行训练获取的性别SVM分类参数的性别SVM分类器参数存储模块；以及

在LBP特征计算获得的LBP直方图特征基础上，利用性别SVM分类参数进行计算，实现性别分类的分类器计算模块。

另一方面，如图2所示，本发明还提供一种基于三维点云的三维人脸性别分类方法，包括如下步骤：

特征区域检测步骤，对于三维点云特征区域进行定位，作为配准的基准数据，然后对输入点云数据与基础人脸数据进行配准；

深度图像映射步骤，然后利用数据的三维坐标值，将检测定位的三维点云归一化映射到深度图像空间；

LBP特征计算步骤，对映射后的深度图像进行LBP特征计算以获得的LBP直方图特征；以及

分类步骤，对所获得的LBP直方图特征进行性别分类计算，从而实现三维人脸性别分类。

进一步地，特征区域检测步骤中，由于鼻尖区域具有空点密度大，曲率明显等特性，通常是以鼻尖区域作为特征区域进行定位，针对三维点云特征区域的数据深度、数据密度以及更进一步计算数据的三维曲率，来提取点云数据的相应特征。

而结合图3所示，对鼻尖区域进行定位的主要步骤如下：

步骤1，确定域平均负有效能量密度的阈值，定义为thr；

步骤2，利用数据的深度信息，提取在最大z值往后20mm范围内的z值域内的人脸数据作为待处理数据；

步骤3，计算由深度信息选取出的人脸数据的法向量信息；

步骤4，按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤5，当该区域的阈值大于预定义的thr时，则确定并定位该区域为鼻尖区域，否则回到步骤1循环继续。

在所述深度图像映射步骤中，映射模块按照空间信息的（x,y）作为映射的参考空间位置，空间信息的z值作为映射对应数据值，构建从三维点云到深度图像的映射。对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，配准前后的对比如图4所示。ICP算法是一个本领域中较常用的求最小均方误差的最优化算法，假设已经得到匹配数据集合对P和Q，则该算法主要步骤如下：

1、计算3*3的矩阵

，其中N是数据集合的容量。

2、做H矩阵的SVD分解

H＝U∧V ^T

X＝VU ^T 。

3、计算旋转矩阵R和平移矩阵t

当X行列式值为1时，R＝X；

t=P-R*Q。

而从图5可以看出，数据中存在一定的空洞和凸起，为消除噪音对后续步骤的影响，利用滤波器进行数据去噪，以平滑数据，所述滤波器优选为中值滤波器。

所述深度图像映射步骤中，配准后，首先按照深度信息进行深度图像的获取，然后利用滤波器对于映射后的深度图像中的噪音点（数据突起点或者空洞点）进行补偿去噪，得到如图6所示的最终的三维人脸深度图像。

在所述LBP特征计算步骤中，LBP特征计算单元利用ULBP储存LBP的映射表，对于三维人脸深度图像LBP特征运算，对于每个深度图像像素获取得到其对应的LBP纹理特征直方图向量，图7相应示出了LBP特征。LBP属于纹理表象特征的一种，由于其计算速度快、纹理表述能力强等优点得到了广泛的应用，其原理如下：

LBP算法将像素点与其邻域像素点进行对比，如果取P=8，R=1，则一些具有纹理特性的意义的LBP值如图7(c)所示，图7(c)中的左边一幅图代表的是纹理亮点，中间一幅图代表纹理边界，右边一幅图代表纹理暗点或是平滑纹理区域。按照纹理的统计分布规律将所得LBP值归为59类，并把这59类作为直方图的基础构造统计特征向量，即LBP直方图特征。

LBP（Local Binary Patterns）是指局部二值模式，ULBP（Uniform LBP）是指相同一致局部二值模式。在数字图像处理和模式识别领域，ULBP的最初功能为辅助图像局部对比度，并不是一个完整的特征描述子，ULBP在局部纹理描述上具有较好的描述效果，其原因在于ULBP的各种模式占据了图像中所有模式的绝大部分，不同采样半径和周围像素点个数会不同。

分类步骤中，具体是通过基于所获得的LBP直方图特征，利用性别SVM分类器参数进行性别分类计算，从而实现三维人脸性别分类。

图8示出了SVM分类器的原理，

设线性可分样本集和为是类别标号，则w·x+b=0是SVM分类器的分类面方程。

在分类时，为了使分类面对所有样本正确分类且分类间隔达到最大，需要满足下面两个条件：

通过解此约束优化问题就可以得到最优分类面，如图8所示。而这两类样本中离分类面最近的点且平行于最优分类面的超平面上的训练样本就是使得公式中等号成立的那些特殊样本，因为它们支撑了最优分类面，因此被支撑向量。

从图9可以看出，通过采用本发明的方法，取得了很高的分类正确率。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (4)

1.一种基于三维点云的三维人脸性别分类方法，其特征在于，包括如下步骤：

特征区域检测步骤，对于三维点云特征区域进行定位，作为配准的基准数据，然后对输入点云数据与基础人脸数据进行配准；

深度图像映射步骤，然后利用数据的三维坐标值，将检测定位的三维点云归一化映射到深度图像空间；

LBP特征计算步骤，对映射后的深度图像进行LBP特征计算，按照纹理的统计分布规律将所得LBP值归为59类，并把所述59类LBP值作为直方图的基础构造统计特征向量，获得的LBP直方图特征；以及

分类步骤，对所获得的LBP直方图特征进行性别分类计算，从而实现三维人脸性别分类；

其中，在特征区域检测步骤中，以鼻尖区域作为特征区域进行定位，针对三维点云特征区域的数据深度、数据密度以及更进一步计算数据的三维曲率，来提取点云数据的相应特征；

所述对鼻尖区域进行定位的主要步骤如下：

步骤1，确定域平均负有效能量密度的阈值，定义为thr；

步骤2，利用数据的深度信息，提取在最大z值往后20mm范围内的z值域内的人脸数据作为待处理数据；

步骤3，计算由深度信息选取出的人脸数据的法向量信息；

步骤4，按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域；

步骤5，当该区域的阈值大于预定义的thr时，则确定并定位该区域为鼻尖区域，否则回到步骤1循环继续。

2.如权利要求1所述的基于三维点云的三维人脸性别分类方法，其特征在于，所述深度图像映射步骤中，映射模块按照空间信息的（x,y）作为映射的参考空间位置，空间信息的z值作为映射对应数据值，构建从三维点云到深度图像的映射。

3.如权利要求1所述的基于三维点云的三维人脸性别分类方法，其特征在于，所述LBP特征计算步骤中，LBP特征计算单元利用ULBP储存LBP的映射表，对于三维人脸深度图像LBP特征运算，对于每个深度图像像素获取得到其对应的LBP纹理特征直方图向量。

4.如权利要求1所述的基于三维点云的三维人脸性别分类方法，其特征在于，分类步骤，对所获得的LBP直方图特征，利用性别SVM分类器参数进行性别分类计算，从而实现三维人脸性别分类。