CN110688947A - 一种同步实现人脸三维点云特征点定位和人脸分割的方法 - Google Patents

Abstract

本发明属于计算机视觉领域和点云处理领域，涉及一种同步实现人脸三维点云特征点定位和人脸分割的方法，包括如下步骤：S1：点云初始化：输入人脸点云数据；S2：投影：将具有纹理的点云信息投影到2D图像上；S3：2D特征点定位：在投影的2D图像上定位人脸特征点；S4：求解3D特征点：根据对应关系求解人脸三维点云的特征点；S5：分割：用特征点信息裁剪人脸点云数据；S6：修剪：去除点云离群值；S7：迭代：返回S2重新求解点云特征点，迭代直到点云特征点稳定；S8：输出：输出裁剪后的人脸点云和人脸3D特征点。本发明方法同步实现定位3D人脸特征点并裁剪人脸点云，两个过程相互促进，能够高精度地求解人脸点云特征点，且简便易行，高效实用。

Description

一种同步实现人脸三维点云特征点定位和人脸分割的方法

技术领域

本发明属于计算机视觉领域和点云处理领域，特别涉及一种同步实现人脸三维点云特征点定位和人脸分割的方法。

背景技术

随着三维扫描技术的发展，人脸的三维扫描被应用广泛。人脸三维点云数据的人脸分割和准确的3D特征点定位在人脸对齐、人脸识别、人脸3D打印、人脸动画、虚拟现实等领域起着重要的作用。人脸点云数据的裁剪方法主要有以下几种方法：

(1)随机采样一致算法(RANSAC)算法。此算法可以从一组包含“局外点”点的扫描数据中，通过随机割舍一些现有的数据并多次迭代的方式估计数学模型。此算法适合在点云算法有大量噪声的情况下找到点云的面的表达式。缺点：此算法需要事先指定容忍误差，还需要指定迭代次数作为收敛条件。对于人脸分割而言，此算法不能适应多变的人脸扫描，鲁棒性和准确度都不够高。

(2)超体聚类分割算法。此算法进行人脸区域的分割的原理是将点云化成很多小块，并研究每个小块之间的关系，将更小单元合并。此算法计算复杂，分割后的人脸边缘杂乱。

对于人脸点云特征点定位的方法主要有以下几种方法：

(1)基于曲率的特征点定位方法。这种方法在曲率估计前要做平滑预处理，尤其是在眼睛和嘴角附近，根据人脸特定区域的特定区域来寻找特征点。缺点：此方法计算代价较高，会破坏局部特征的信息，对于点云数据，会有许多点邻域有相似的曲率值，因此特征点误定位的情况较多。

(2)基于限制性假设的启发式方法。这种方法基于参考点和人脸对称轴，最容易定位出鼻子，眼睛和嘴角。缺点：需要事先通过参考点找到人脸对称轴。

在以上的方法中，对于人脸点云数据的裁剪方法，随机采样一致算法和超体聚类分割算法计算量都偏大，对变化较大的扫描点云不具有鲁棒性。同样对于人脸区域的裁剪不具有语义，因此裁剪的边缘准确度较差。对于人脸点云特征点定位的方法，基于曲率正确率较低，计算代价高，启发式的方法虽然准确率比基于曲率的方法高，但这种方法需要手工标记。

发明内容

本发明的目的在于提供一种同步实现人脸三维点云特征点定位和人脸分割的方法，解决定位人脸三维点云的特征点和分割人脸点云的技术问题。本发明利用带有纹理数据的点云准确识别人脸特征点并分割出人脸区域。该方法能够克服现有技术中所存在的缺陷，能够准确识别人脸点云中的人脸特征点信息，并且配合点云裁剪方法，通过迭代求解，提高了人脸点云特征点定位的精度，减少了误定位的情况。

本发明的实现过程如下：

一种同步实现人脸三维点云特征点定位和人脸分割的方法，包括如下步骤：

S1：点云初始化：输入人脸点云数据，要求点云具有纹理信息；

S2：投影：将具有纹理的点云信息投影到2D图像上；

S3：2D特征点定位：在投影的2D图像上定位人脸特征点；

S4：求解3D特征点：根据对应关系求解人脸三维点云的特征点；

S5：分割：用特征点信息裁剪人脸点云数据；

S6：修剪：去除点云离群值；

S7：迭代：返回S2重新求解点云特征点，迭代直到点云特征点稳定；

S8：输出：输出裁剪后的人脸点云和人脸3D特征点。

进一步，所述S2包括如下步骤：

S21：设置投影的2D图像的大小，将点云数据归一化，并取整；

S22：对于已经归一化取整的3D点云数据，利用正交投影，生成3D带有纹理信息的点云数据的2D图像；

S23：在第二次及以后的迭代过程中，有人脸特征点信息，利用POSIT算法求出人脸位姿，完成人脸数据的矫正。

进一步，所述S3包括如下步骤：

S31：用卷积神经网络检测生成的2D图片是否含有人脸，若没检测出人脸则跳出循环；

S32：用基于级联回归树的人脸对齐算法定位出2D图像的特征点。

进一步，步骤S31的具体过程为设计两个阶段的卷积网络模型，第一个阶段是全卷积网络，获得脸部区域的位置和窗口；第二个阶段是优化网络，用来判断图像中是否有人脸，若没检测出人脸则跳出循环，用误差反向传播算法来训练模型。

进一步，步骤S32的具体包括如下步骤：

(1)一共有n幅人脸图像的样本，这n幅人脸图像已经标记好68个特征点：

(I₁,S₁),...(In,Sn)，其中Ii是第i张图片，Si为第i张图片的特征点的坐标向量；

(2)将这n幅图像的每个坐标值相加并除以n获得人脸特征点的平均形状S₀，将这个平均形状S₀作为初始形状；

(3)定义k层级联回归器，r_t为每个回归器，每一层的回归的数据形式可以定义为

其中是第t层预测特征点的位置，ΔS_i ^(t)是第t层回归的结果和真实值之间的差，迭代公式为：

(4)对于回归器的训练，使用梯度增强树算法来进行训练，对第t-1个模型函数：f_m-1(x_i)，可以将其梯度g表示为：

其中，L(y_i,f(x_i))为损失函数，f(x_i)为回归器的结果，y_i为真值，这里使用两者的平方根误差作为损失函数；

在梯度下降迭代时，损失函数设置为本模型和上一个模型计算的梯度。

进一步，所述S4包括如下步骤：

S41：利用S21和S22中点云归一化，正交投影和数据矫正关系，将特征点的2D坐标找到对应的S22中3D点云中相同的x，y坐标；

S42：由于S22中的3D点云中，和2D图片的x，y坐标相同点有多个，取Z轴方向最大值的z坐标，最终得到68个3D特征点。

进一步，所述S5包括如下步骤：

S51：利用S4求出的3D点云人脸特征点中的人脸轮廓特征点，根据轮廓特征点与鼻尖的距离和位置信息，设置较高的裁剪系数，所述裁剪系数的范围为1.2-1.4，裁剪掉人脸外部点云；

S52：利用S4求出的3D点云人脸特征点中的人脸眉毛特征点，根据眉毛特征点与两嘴角距离和位置信息，设置较高的裁剪系数，所述裁剪系数的范围为1.2-1.4，裁剪掉眉毛以上区域的点云；

S53：在第二次及以后的迭代过程中，对于裁剪人脸外部和眉毛以上区域的点云，设置较小的裁剪系数，所述裁剪系数的范围为1.05-1.2。

进一步，所述S6包括如下步骤：

S61：对S5修剪后得到的人脸区域点云，利用统计滤波器StatisticalOutlierRemoval去除明显离群点，设置较低的标准差倍率；

S62：在第二次及以后的迭代过程中，对于统计滤波器StatisticalOutlierRemoval，设置较高的标准差倍率。

进一步，步骤S61中，所述较低的标准差倍率的范围为1.5-3；步骤S62中，所述较高的标准差倍率的范围为3-5。

进一步，所述S7包括如下步骤：

S71：在第二次及以后的迭代过程中，计算和上一次循环求出的3D特征点的欧氏距离，当此距离收敛的时候，则跳出循环。

S72：若满足收敛条件，输出裁剪后的人脸点云和3D人脸特征点。

本发明所述68个人脸语义特征点，包括人脸轮廓、眼睛、眉毛、鼻子和嘴巴。

本发明的积极效果：

(1)本发明主要利用有纹理人脸点云数据，进行矫正并投影，首先在2D图片上定位人脸特征点，并找到相应的3D点云数据，针对一般三维扫描的人脸的噪声和冗余数据，然后用初步求解的3D特征点对人脸点云数据进行语义性的裁剪，去除离群点，再重新定位3D特征点，直到收敛。通过我们的方法，给定带有纹理信息的人脸点云数据，能够自动、鲁棒、准确地识别3D人脸特征点，并分割出人脸区域。当采集的人脸有一定角度的旋转，或者点云数据有较大的噪声，仍有较好的特征点定位和人脸分割的效果。

(2)本发明方法简便易行，高效实用。

(3)本发明方法同步实现定位3D人脸特征点并裁剪人脸点云，两个过程相互促进，能够高精度地求解人脸点云特征点。

附图说明

图1是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的流程图；

图2是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的输入点云图示例；

图3是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的投影的2D图像以及检测出的2D特征点示例；

图4是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的求解出来的人脸点云特征点的示例；

图5是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的点云特征点裁剪和原点云的对比示例；

图6是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的点云特征点裁剪示例；

图7是本发明所述同步实现人脸三维点云特征点定位和人脸分割的方法的裁剪后的人脸去除点云离群值的对比示例。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1是本发明同步实现人脸三维点云特征点定位和人脸分割的方法的流程图，如图1所示，本发明包括以下步骤：

S1：输入人脸三维扫描点云数据：

这里要求点云数据是有纹理的，目前的三维扫描机大多数都拥有扫描纹理的功能。输入图如图2所示。对于人脸3D点云的坐标，要求人脸点云面向Z轴的正方向，人脸点云的头朝向Y轴的正方向。

S21：设置投影的2D图像的大小，将点云数据归一化，并取整：

这里需要根据扫描点云数据量的大小来设置投影的2D图像大小，若过大则会导致生成的2D图像像素稀疏，无法检测到人脸；若过小则会导致2D图像过小，将检测到的2D人脸映射到3D点云导致误差较大。

S22：对于已经归一化取整的3D点云数据，利用正交投影，生成3D带有纹理信息的点云数据的2D图像：

正交投影是从向量空间映射到自身的一种线性变换，是日常生活中“平行投影”概念的形式化和一般化。相当于把3D人脸点云的纹理信息，以Z轴正方向投影到2D平面上。点云投影后的图如图3(注：图3的特征点是后续步骤得出的)。

S23：在第二次及以后的迭代过程中，有人脸特征点信息，利用POSIT算法求出人脸位姿。完成人脸数据的矫正：

POSIT算法是求解物体相对于视点的位姿的常用算法。POSIT算法是已知几对现实中物体的世界坐标系坐标(Xw,Yw,Zw)以及该物体在成像平面上的坐标(x,y)，通过迭代的过程，求解世界坐标系与相机坐标系之间变换的刚性变换矩阵。当已经求解出人脸3D特征点信息的时候，利用POSIT算法可以求解出人脸的朝向，然后确定Z轴正方向和人脸朝向的角度差。求解后，旋转点云使点云的人脸面朝向Z轴正方向。这个算法能够增强整个程序的鲁棒性，使得输入点云的人脸朝向有一定的偏差也能够准确的求解特征点和裁剪点云。

S31：用卷积神经网络检测生成的2D图片是否含有人脸，若没检测出人脸则跳出循环：

多任务卷积神经网络(MTCNN)是近几年提出的人脸检测的神经网络模型，用轻量级的CNN模型就能实现人脸检测，能够达到实时的性能。本发明基于MTCNN设计检测人脸的网络，因为只需要检测一张图片是否存在人脸，故两个阶段就可以完成人脸的检测：(1)第一阶段是全卷积神经网络，是一种推荐网络(P-Net)，主要是获得脸部区域的窗口与边界框回归，往往用非最大值抑制来合并重叠窗口，本专利只检测一张脸部区域，故直接选择最大的分数的候选框。(2)在网络的最后是全连接层，输出是否有人脸。

S32：用基于级联回归树的人脸对齐算法定位出2D图像的特征点：

(1)一共有n幅人脸图像的样本，这n幅人脸图像已经标记好68个特征点：

(I1,S1),...(In,Sn)，其中Ii是第i张图片，Si为第i张图片的特征点的坐标向量。

(2)将这n幅图像的每个坐标值相加并除以n获得人脸特征点的平均形状S0，将这个平均形状S0作为初始形状。

(3)定义k层级联回归器，r_t为每个回归器，每一层的回归的数据形式可以定义为其中

是第t层预测特征点的位置，ΔS_i(t)是第t层回归的结果和真实值之间的差，迭代公式为：

本发明专利设置k＝10，故会产生r₁,r₂,...,r₁₀，一共十个回归器。

(4)对于回归器的训练，本专利使用梯度增强树算法(Gradient Boosting TreeAlgorithm)来进行训练。对第t-1个模型函数：f_t-1(x_i)，可以将其梯度g表示为：

注意在梯度下降迭代时，误差函数应该设置为本模型和上一个模型计算的梯度，其中，L(y_i,f(x_i))为损失函数，f(x_i)为回归器的结果，y_i为真值，这里使用两者的平方根误差作为损失函数。梯度下降的迭代流程具体不再阐述。

用训练好的模型检测2D人脸特征点，结果如图3所示。

S41：利用S21和S22中点云归一化，正交投影和数据矫正关系，将特征点的2D坐标找到对应的S22中3D点云中相同的x，y坐标：

在S21和S22中设置了投影的2D图像大小，而且也在S21和S22中求解出了矫正刚性变换矩阵。根据2D图像的大小和正交投影矩阵、刚性变换矩阵，可以将特征点的2D坐标反求为对应的3D点云中的x，y坐标。

S42：由于S22中的3D点云中，和2D图片的x，y坐标相同点可能有多个，取Z轴方向最大值的z坐标。最终得到68个3D特征点：

由于Z轴正方向是人脸的朝向方向，故对于相同的x，y坐标，选择Z轴方向最大值的z坐标，可以保证特征点全在人脸点云数据的最上面一层。分别将人脸轮廓、眼睛、鼻子和嘴巴部分的特征点连线，结果如图4所示。

S51：利用S4求出的3D点云人脸特征点中的人脸轮廓特征点，根据轮廓特征点与鼻尖的距离和位置信息，设置较高的裁剪系数，裁剪系数a的范围为1.2-1.4，裁剪掉人脸外部点云。

S52：利用S4求出的3D点云人脸特征点中的人脸眉毛特征点，根据眉毛特征点与两嘴角距离和位置信息，设置较高的裁剪系数，裁剪系数a的范围为1.2-1.4，裁剪掉眉毛以上区域的点云：

初步裁剪人脸点云是根据位置信息和距离信息来进行裁剪的，设17个脸的轮廓特征点和10个左右眉毛特征点为裁剪点。设置裁剪系数为a，这里一般设置为1.4。首先遍历点云所有的点，找出每个点的最近的裁剪点。(1)若是这个点离某个轮廓特征点最近，且这个点距离鼻尖点的距离小于这个轮廓特征点离鼻尖的距离的a倍，则这个点判断为内点，否则为外点。(2)若是这个点离某个左(右)眉毛特征点最近，且这个点距离左(右)嘴角点的距离小于这个轮廓特征点离左(右)嘴角点的距离的a倍，则这个点判断为内点，否则为外点。内点和外点的判断后的点云图如图5所示，其中红色的点判断为外点。

S53：在第二次及以后的迭代过程中，对于裁剪人脸外部和眉毛以上区域的点云，设置较小的裁剪系数：

裁剪系数越大，则判断为内点的点云数量越多，随着迭代次数的增加，特征点趋于稳定，将裁剪系数a减小至1.05。

S61：对S5修剪后得到的人脸区域点云，利用统计滤波器StatisticalOutlierRemoval去除明显离群点，设置较低的标准差倍率(1.5-3)：

对点云的每一个点进行统计分析，计算它所有临近点的平均距离，得到的结果应该是一个高斯分布，其形状是由均值和标准差决定的，若其均值(平均距离)在标准差倍率之外的点，被定义为离群点去除。

S62：在第二次及以后的迭代过程中，对于统计滤波器StatisticalOutlierRemoval，设置较高的标准差倍率(3-5)：

原点云在步骤S31，S32定位2D特征点，并在S41，S4中的求解3D特征点，由于过程中存在2D到3D的影射，容易将3D特征点定位到脸以外的区域，如将脸轮廓的特征点定位到了脖子上。这样就造成了通过特征点裁剪的人脸区域不准确。通过统计滤波器StatisticalOutlierRemoval能够较好地解决这个问题。第二次及以后的迭代中，由于点云是被裁剪后的，故这种定位错误的情况较少出现，可以设置较高的标准差倍率。效果图如图6和图7的对比。

S71：在第二次及以后的迭代过程中，计算和上一次循环求出的3D特征点的欧氏距离，当此距离收敛的时候，则跳出循环。

S72：若满足收敛条件，输出裁剪后的人脸点云和3D人脸特征点。

在步骤S31，S32特征点定位时，容易将2D特征点定位到脸以外的区域，如将脸轮廓的特征点定位到了脖子上。在S41，S4中的求解3D特征点，由于过程中存在2D到3D的影射，更是加剧了3D特征点定位错误的问题。

为了解决这个问题，我们使用迭代的方法：对裁剪并去除离群点的点云再进行特征点提取和裁剪，会保证3D特征点定位准确和稳定，也保证了裁剪的人脸区域的准确。

以上内容是结合具体的优选实施方式对本发明所作出的进一步详细说明，不能认定本发明的具体实施仅限于这些说明。对于本发明所属领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以作出若干简单推演或替换，都应该视为属于本发明的保护范围。

Claims (10)

1.一种同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，包括如下步骤：

S1：点云初始化：输入人脸点云数据，要求点云具有纹理信息；

S2：投影：将具有纹理的点云信息投影到2D图像上；

S3：2D特征点定位：在投影的2D图像上定位人脸特征点；

S4：求解3D特征点：根据对应关系求解人脸三维点云的特征点；

S5：分割：用特征点信息裁剪人脸点云数据；

S6：修剪：去除点云离群值；

S7：迭代：返回S2重新求解点云特征点，迭代直到点云特征点稳定；

S8：输出：输出裁剪后的人脸点云和人脸3D特征点。

2.根据权利要求1所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S2包括如下步骤：

S21：设置投影的2D图像的大小，将点云数据归一化，并取整；

S22：对于已经归一化取整的3D点云数据，利用正交投影，生成3D带有纹理信息的点云数据的2D图像；

S23：在第二次及以后的迭代过程中，有人脸特征点信息，利用POSIT算法求出人脸位姿，完成人脸数据的矫正。

3.根据权利要求1所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S3包括如下步骤：

S31：用卷积神经网络检测生成的2D图片是否含有人脸，若没检测出人脸则跳出循环；

S32：用基于级联回归树的人脸对齐算法定位出2D图像的特征点。

4.根据权利要求3所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于：步骤S31的具体过程为设计两个阶段的卷积网络模型，第一个阶段是全卷积网络，获得脸部区域的位置和窗口；第二个阶段是优化网络，用来判断图像中是否有人脸，若没检测出人脸则跳出循环，用误差反向传播算法来训练模型。

5.根据权利要求3所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，步骤S32的具体包括如下步骤：

(1)一共有n幅人脸图像的样本，这n幅人脸图像已经标记好68个特征点：

(I₁,S₁),...(In,Sn)，其中Ii是第i张图片，Si为第i张图片的特征点的坐标向量；

(2)将这n幅图像的每个坐标值相加并除以n获得人脸特征点的平均形状S₀，将这个平均形状S₀作为初始形状；

(3)定义k层级联回归器，r_t为每个回归器，每一层的回归的数据形式可以定义为

其中

是第t层预测特征点的位置，ΔS_i ^(t)是第t层回归的结果和真实值之间的差，迭代公式为：

(4)对于回归器的训练，使用梯度增强树算法来进行训练，对第t-1个模型函数：f_m-1(x_i)，可以将其梯度g表示为：

其中，L(y_i,f(x_i))为损失函数，f(x_i)为回归器的结果，y_i为真值，这里使用两者的平方根误差作为损失函数；

在梯度下降迭代时，损失函数设置为本模型和上一个模型计算的梯度。

6.根据权利要求2所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S4包括如下步骤：

S41：利用S21和S22中点云归一化，正交投影和数据矫正关系，将特征点的2D坐标找到对应的S22中3D点云中相同的x，y坐标；

S42：由于S22中的3D点云中，和2D图片的x，y坐标相同点有多个，取Z轴方向最大值的z坐标，最终得到68个3D特征点。

7.根据权利要求6所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S5包括如下步骤：

S51：利用S4求出的3D点云人脸特征点中的人脸轮廓特征点，根据轮廓特征点与鼻尖的距离和位置信息，设置较高的裁剪系数，所述裁剪系数的范围为1.2-1.4，裁剪掉人脸外部点云；

S52：利用S4求出的3D点云人脸特征点中的人脸眉毛特征点，根据眉毛特征点与两嘴角距离和位置信息，设置较高的裁剪系数，所述裁剪系数的范围为1.2-1.4，裁剪掉眉毛以上区域的点云；

S53：在第二次及以后的迭代过程中，对于裁剪人脸外部和眉毛以上区域的点云，设置较小的裁剪系数，所述裁剪系数的范围为1.05-1.2。

8.根据权利要求7所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S6包括如下步骤：

S61：对S5修剪后得到的人脸区域点云，利用统计滤波器StatisticalOutlierRemoval去除明显离群点，设置较低的标准差倍率；

S62：在第二次及以后的迭代过程中，对于统计滤波器StatisticalOutlierRemoval，设置较高的标准差倍率。

9.根据权利要求8所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于：步骤S61中，所述较低的标准差倍率的范围为1.5-3；步骤S62中，所述较高的标准差倍率的范围为3-5。

10.根据权利要求8所述同步实现人脸三维点云特征点定位和人脸分割的方法，其特征在于，所述S7包括如下步骤：

S71：在第二次及以后的迭代过程中，计算和上一次循环求出的3D特征点的欧氏距离，当此距离收敛的时候，则跳出循环。

S72：若满足收敛条件，输出裁剪后的人脸点云和3D人脸特征点。

Images