CN106127250A - 一种基于三维点云数据的人脸质量评估方法 - Google Patents

Abstract

本发明中提出一种基于三维点云数据的人脸质量评估方法，其主要内容包括：三维人脸点云数据的输入部分、对于三维人脸点云数据中人脸特定区域检测部分、对于检测到的人脸特定区域进行数据配准部分、对于配准后的三维人脸点云数据进行深度人脸数据映射部分以及对于深度人脸数据进行人脸深度数据质量评估部分。该方法通过点云层利用人脸特定区域检测以及深度数据层利用模板数据验证进行三维人脸数据质量评估，判断采集的三维数据是否满足人脸识别的质量，从点云数据空间到深度图像空间，逐层对人脸数据的质量进行有效评估，保证了应用于人脸识别算法中数据的质量。

Description

一种基于三维点云数据的人脸质量评估方法

技术领域

本发明涉及三维点云数据中的人脸数据提取以及人脸数据质量评估，尤其是指评估利用三维扫描仪等采集设备获取的三维人脸点云数据是否可以进行有效的人脸识别。

背景技术

基于三维点云数据的人脸质量评估方法，可以用于对三维采集设备得到的三维人脸数据的质量进行评估，如其评估质量不通过，则表明采集到的三维人脸数据由于采集时的误差或者其他非可控条件，不适合继续进行三维人脸识别，省去了后续人脸识别的工作，简化流程，节省时间。该方法可以作为三维人脸识别的数据预处理步骤，提升三维人脸识别系统的效率。

在人脸识别领域，由于表情、年龄、光线、角度或其他不可控因素的影响，对人脸识别过程变得较为困难，现有的人脸识别技术没有对数据的质量进行有效的评估，无法保证识别算法中数据的质量，不仅识别的效率低，而且对时间精力也是一种极大的浪费。

因此，针对上述技术的不足，本发明提供一种基于三维点云数据的人脸质量评估方法，首先利用三维点云数据中鼻尖区域的特性，通过检测在三维数据中是否存在鼻尖区域来初步评估采集得到的人脸数据质量；若获取鼻尖区域后则以此为基准，将点云数据映射为深度图像；在映射为深度图像后，通过将图像投影为深度特征脸空间进一步评估该深度人脸图像的质量，若评估通过则进行三维人脸识别。该方法从点云数据空间到深度图像空间，逐层对人脸数据的质量进行有效评估，保证了应用于人脸识别算法中数据的质量。

发明内容

针对现有人脸识别技术效率低的问题，本发明目的在于提供一种基于三维点云数据的人脸质量评估方法，对人脸数据的质量进行有效评估，保证了应用于人脸识别算法中数据的质量。

为解决上述问题，本发明提供一种基于三维点云数据的人脸质量评估方法，其主要内容包括：

(一)三维人脸点云数据的输入部分；

(二)对于三维人脸点云数据中人脸特定区域检测部分；

(三)对于检测到的人脸特定区域进行数据配准部分；

(四)对于配准后的三维人脸点云数据进行深度人脸数据映射部分；

(五)对于深度人脸数据进行人脸深度数据质量评估部分；

其中，三维点云数据的输入部分包括对各类三维点云采集设备的数据输入；

其中，三维人脸点云数据中人脸特定区域检测部分包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检测的模块；

进一步的，对人脸特定区域检测的模块，采用鼻尖区域作为人脸特征区域，主要步骤如下：

1)确定域平均负有效能量密度的阈值，定义为thr

2)利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据。

3)计算由深度信息选取出的人脸数据的法向量信息

4)按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域。

5)当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1)步继续。

其中，利用检测到的人脸特定区域进行数据配准部分包括根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模块；

进一步的，基于检测到的人脸鼻尖区域为基础的数据配准模块，首先我们需要在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准。该算法主要步骤如下：

假设我们已经得到匹配数据集合对P和Q，

1)计算3*3的矩阵

$H=\underset{i=1}{\overset{N}{\Σ}}{Q}_i{Q}_i^T$

其中N是数据集合的容量。

2)做H矩阵的SVD分解

H＝U∧V^T

X＝VU^T

3)计算旋转矩阵R和平移矩阵t

当X行列式值为1时，R＝X；

t＝P-R*Q

通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。

其中，将三维人脸点云数据进行深度人脸图像映射部分包括根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的模块；

进一步的，将三维点云数据映射为深度人脸图像的数据映射模块，将检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息。计算过程如下：

设鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

width为深度图像的宽度，height为深度图像的高度。

同时，根据三维点云数据的深度精度预先设定深度分辨率Z_ref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准。

$I_{depth}=\left\{\begin{array}{cc}(z1-z)/Z_{ref}+255,& z1<=z\\ 255,& z1>z\end{array}\right.$

完成将三维点云数据映射为深度人脸图像的数据映射。

其中，深度人脸数据进行采集数据质量评估部分包括根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。

进一步的，根据典型性深度人脸数据产生深度特征脸，深度特征脸的计算过程可以总结为：

1)将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；

2)将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；

3)对协方差矩阵C＝Φ*Φ^T进行特征值分解；根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；

深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算；

进一步的，深度图像数据质量评估模块分为训练和评估两个阶段：在训练阶段训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；

$I_{apr}=\underset{i}{\&Sigma;}{w}_i*I_{eigen}$

然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过。

$E=\left\{\begin{array}{cc}0,& abs(I_{apr}-I_{ori})>Thr\\ 1,& abs(I_{apr}-I_{ori})<=Thr\end{array}\right.$

附图说明

图1是本发明一种基于三维点云数据的人脸质量评估方法的系统流程图。

图2是本发明一种基于三维点云数据的人脸质量评估方法的人脸鼻尖检测模块示意图。

图3是本发明一种基于三维点云数据的人脸质量评估方法的人脸数据配准模块示意图。

图4是本发明一种基于三维点云数据的人脸质量评估方法的人脸数据空间映射示意图。

图5是本发明一种基于三维点云数据的人脸质量评估方法的深度人脸图像特征脸示意图。

图6是本发明一种基于三维点云数据的人脸质量评估方法的深度人脸图像质量评估流程示意图。

图7是本发明一种基于三维点云数据的人脸质量评估方法的系统框图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于三维点云数据的人脸质量评估方法的系统流程图。如图1所示，本发明中提出的一种基于三维点云数据的人脸质量评估方法的系统流程图，其主要内容包括：

(一)三维人脸点云数据的输入部分；

(二)对于三维人脸点云数据中人脸特定区域检测部分；

(三)对于检测到的人脸特定区域进行数据配准部分；

(四)对于配准后的三维人脸点云数据进行深度人脸数据映射部分；

(五)对于深度人脸数据进行人脸深度数据质量评估部分；

图2是本发明一种基于三维点云数据的人脸质量评估方法的人脸鼻尖检测模块示意图。如图2所示，图2(a)中，由于三维点云人脸数据中鼻尖区域的数据信息明显区别于人脸的其他位置，因此本发明中人脸特征区域采用的是鼻尖区域；图2(b)是鼻尖区域定位的流程图，其主要步骤如下：

1.确定阈值

该步骤主要是确定域平均负有效能量密度的阈值，定义为thr。

2.利用深度信息选取待处理数据

该步骤主要是利用数据的深度信息，提取在一定深度范围内的人脸数据作为待处理数据。

3.法向量的计算

该步骤主要是计算由深度信息选取出的人脸数据的法向量信息。

4.区域平均负有效能量密度的计算

该步骤主要是按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域。

5.是否找到鼻尖区域判断

该步骤主要是当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1步继续。

图3是本发明一种基于三维点云数据的人脸质量评估方法的人脸数据配准模块示意图。如图3所示，首先我们需要在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准；配准前后的对比如图3所示。ICP算法实质上是一个求最小均方误差的最优化问题，假设我们已经得到匹配数据集合对P和Q，则该算法主要步骤如下：

1.计算3*3的矩阵

$H=\underset{i=1}{\overset{N}{\&Sigma;}}{Q}_i{Q}_i^T$

其中N是数据集合的容量。

2.做H矩阵的SVD分解

H＝U∧V^T

X＝VU^T

3.计算旋转矩阵R和平移矩阵t

当X行列式值为1时，R＝X；

t＝P-R*Q

通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。

图4是本发明一种基于三维点云数据的人脸质量评估方法的人脸数据空间映射示意图。如图4所示，检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息。

例如已知鼻尖点为N(x,y,z)，则空间点P(x1,y1,z1)的图像坐标为：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

width为深度图像的宽度，height为深度图像的高度。

同时，根据三维点云数据的深度精度预先设定深度分辨率Z_ref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准。

$I_{depth}=\left\{\begin{array}{cc}(z1-z)/Z_{ref}+255,& z1<=z\\ 255,& z1>z\end{array}\right.$

图5是本发明一种基于三维点云数据的人脸质量评估方法的深度人脸图像特征脸示意图。如图5所示，深度特征脸的计算过程可以总结为：

1)将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A。假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M。若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；

2)将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；

3)对协方差矩阵C＝Φ*Φ^T进行特征值分解；根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；

4)深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算；

图6是本发明一种基于三维点云数据的人脸质量评估方法的深度人脸图像质量评估流程示意图。如图6所示，该模块分为训练和评估两个阶段：在训练阶段，如图5所示，训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；

$I_{apr}=\underset{i}{\&Sigma;}{w}_i*I_{eigen}$

然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过。

$E=\left\{\begin{array}{cc}0,& abs(I_{apr}-I_{ori})>Thr\\ 1,& abs(I_{apr}-I_{ori})<=Thr\end{array}\right.$

图7是本发明一种基于三维点云数据的人脸质量评估方法的系统框图，包括各个模块在系统中的位置以及其主要功能。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (11)

1.一种基于三维点云数据的人脸质量评估方法，其特征在于，主要内容包括：

三维人脸点云数据的输入部分(一)；

对于三维人脸点云数据中人脸特定区域检测部分(二)；

对于检测到的人脸特定区域进行数据配准部分(三)；

对于配准后的三维人脸点云数据进行深度人脸数据映射部分(四)；

对于深度人脸数据进行人脸深度数据质量评估部分(五)。

2.基于权利要求书1所述的三维点云数据的输入部分(一)，其特征在于，包括对各类三维点云采集设备的数据输入。

3.基于权利要求书1所述的三维人脸点云数据中人脸特定区域检测部分(二)，其特征在于，包括根据三维点云数据提取特征信息以及利用训练好的分类器进行人脸特定区域检测的模块。

4.基于权利要求书1所述的利用检测到的人脸特定区域进行数据配准部分(三)，其特征在于，包括根据检测获取的人脸特定区域与模板库中该特定区域的标准数据进行数据配准的模块。

5.基于权利要求书1所述的将三维人脸点云数据进行深度人脸图像映射部分(四)，其特征在于，包括根据预定的深度分辨率以及检测获取的人脸特定区域位置进行数据映射的模块。

6.基于权利要求书1所述的深度人脸数据进行采集数据质量评估部分(五)，其特征在于，包括根据典型性深度人脸数据产生深度特征脸以及利用深度特征脸进行人脸深度数据质量评估的模块。

7.基于权利要求书3所述的人脸特征区域检测模块，其特征在于，采用鼻尖区域作为人脸特征区域，主要步骤如下：

1)确定域平均负有效能量密度的阈值，定义为thr

2)利用数据的深度信息提取在一定深度范围内的人脸数据作为待处理数据

3)计算由深度信息选取出的人脸数据的法向量信息

4)按照区域平均负有效能量密度的定义，求出待处理数据中各连通域的平均负有效能量密度，选择其中密度值最大的连通域

5)当该区域的阈值大于预定义的thr时，该区域即为鼻尖区域，否则回到第1)步继续。

8.基于权利要求书4所述的基于检测到的人脸鼻尖区域为基础的数据配准模块，其特征在于，主要步骤如下：

首先我们需要在模板库中准备一幅与标准姿态相对应的鼻尖区域的数据，然后对于不同姿态的三维数据，得到配准的参考区域后，按照ICP算法进行数据的配准，该算法主要步骤如下：

假设我们已经得到匹配数据集合对P和Q，

1)计算3*3的矩阵

$H=\underset{i=1}{\overset{N}{\&Sigma;}}{Q}_i{Q}_i^T$

其中N是数据集合的容量

2)做H矩阵的SVD分解

H＝U∧V^T

X＝VU^T

3)计算旋转矩阵R和平移矩阵t

当X行列式值为1时，R＝X；

t＝P-R*Q

通过上述步骤，获取两个三维数据点集之间的三维空间变换矩阵，从而实现两个点集的配准。

9.基于权利要求书5所述的将三维点云数据映射为深度人脸图像的数据映射模块，其特征在于，检测获得的人脸鼻尖区域作为深度图像数据的中心位置的参考基准，其空间坐标系的x轴和y轴信息映射为人脸深度图像的图像坐标系信息，计算过程如下：

设鼻尖点为N(x，y，z)，则空间点P(x1，y1，z1)的图像坐标为：

I_x＝(x1-x)+width/2

I_y＝(y1-y)+height/2

width为深度图像的宽度，height为深度图像的高度

同时，根据三维点云数据的深度精度预先设定深度分辨率Z_ref，作为将空间坐标系的z轴信息作为映射为人脸深度图像的深度值的参考基准

$I_{depth}=\left\{\begin{array}{cc}(z1-z)/Z_{ref}+255,& z1<=z\\ 255,& z1>z\end{array}\right.$

完成将三维点云数据映射为深度人脸图像的数据映射。

10.基于权利要求书6所述的根据典型性深度人脸数据产生深度特征脸，其特征在于，深度特征脸的计算过程可以总结为：

1)将训练集中的每一张深度人脸图像数据都从二维矩阵拉伸称为一维列向量，将这些列向量组合在一起形成矩阵A，假设每张深度人脸图像的分辨率是M*M，那么拉伸过后的人脸列向量的维度就是D＝M*M，若训练集中有N张深度人脸图像，那么样本矩阵A的维度就是D*N；

2)将训练集中的N张深度人脸图像在对应维度上相加然后求平均，就可以得到深度图像的平均脸；将N张深度图像都减去深度平均脸，得到差值图像数据矩阵Φ；

3)对协方差矩阵C＝Φ*Φ^T进行特征值分解，根据占据所有特征值能量的比率，选择最大的一些特征值，其所对应的特征向量即为深度特征脸；

深度人脸图像都可以投影到这些特征脸张成的空间中进行近似计算。

11.基于权利要求书6所述的深度图像数据质量评估模块的算法流程，其特征在于，该模块分为训练和评估两个阶段：在训练阶段训练出深度人脸图像的特征脸，以此为基础张成深度人脸图像空间；在评估阶段，对于输入的深度人脸图像，将其映射为深度特征脸空间中的一点，得到利用深度特征脸表征的近似深度人脸图像；

$I_{apr}=\underset{i}{\&Sigma;}{w}_i*I_{eigen}$

然后将近似图像与原始图像进行对比，如果差值大于某个阈值，则说明该深度图像不符合这些深度特征脸代表的类型，评估不通过；否则则认为该图像符合这些深度特征脸代表的类型，评估通过。

$E=\left\{\begin{array}{cc}0,& abs(I_{apr}-I_{ori})>Thr\\ 1,& abs(I_{apr}-I_{ori})<=Thr\end{array}\right.$