CN111062266B - 基于圆柱坐标的人脸点云关键点定位方法 - Google Patents

Abstract

本发明提供了一种基于圆柱坐标的人脸点云关键点定位方法，包括：步骤1，基于人头形状特征，将无序的直角坐标点云转为有序的网格化圆柱坐标点云；步骤2，将径向长度作为特征值，采用中值滤波简并点云；步骤3，根据人脸器官在柱坐标中的特点，利用横切曲线及半径的积分投影曲线分别定位人脸中的鼻、嘴、眼和眉的位置。本发明适用于扫描正立人脸部分的点云，计算效率高，简并效果好，为后续人脸的精细重建、变形人脸、人脸器官测量等奠定了基础。

Description

基于圆柱坐标的人脸点云关键点定位方法

技术领域

本发明涉及一种人脸点云关键点定位方法，具体涉及一种基于圆柱坐标的人脸点云关键点定位方法。

背景技术

基于三维点云的物体重建方法具有重建精度高的特点，但点云数据的空间关系的处理计算量大，效率低。目前，基于点云的人脸重建方法大都采用通用的点云处理方式，没有针对人脸的特点进行处理。

发明内容

本发明的目的是提供一种基于圆柱坐标的人脸点云关键点定位方法，针对人脸点云特点，可较快速地简并原始点云，确定点云中各点间的邻接关系，定位人脸器官的位置，非常方便后续的人脸重建。

本发明提供了一种基于圆柱坐标的人脸点云关键点定位方法，包括：

步骤1，基于人头形状特征，将无序的直角坐标点云转为有序的网格化圆柱坐标点云；

步骤2，将径向长度作为特征值，采用中值滤波简并点云；

步骤3，根据人脸器官在柱坐标中的特点，利用横切曲线及半径的积分投影曲线分别定位人脸中的鼻、嘴、眼和眉的位置。

进一步地，所述步骤1包括：

设三维人脸点云数据为P(x’_i,y’_i,z’_i)(i＝0,1,2,…,n-1)，n为数据个数；

计算中心点坐标及点云的垂直方向的范围，y_min为人脸底部，y_max为人脸顶部，，其中，点云的中心点计算如下：

将点云数据按下式平移，使人脸底部中心在坐标原点：

y_i＝y'_i-y_min,

按下式将点云直角坐标转为圆柱坐标：

h＝y

将P(x’_i,y’_i,z’_i)转换为(x(θ_i,h_i,r_i),y(θ_i,h_i,r_i),z(θ_i,h_i,r_i))，其中：0≤θ_i≤360°，θ的增量△θ＝θ_i+1-θ_i＝1°；

根据点云的密度适当调整θ的增量：当点云密度较大时，减小θ的增量。

进一步地，步骤2中所述简并点云的过程包括：

将直角坐标(x，y，z)转换为圆柱坐标(θ，h，r)后，将多个不同的径向半径r对应一个(θ，h)值的映射利用中点滤波方法变为一对一的对应关系。

进一步地，所述步骤3包括：

1)人脸部分点云的初始截取

根据人头后部空缺点的边界角度θ_min和θ_max，找出人脸部分的180°范围，初始获取人脸部分的点云。

重新调整点云坐标点的存储结构，只保留θ’＝0°和θ’＝180°范围内的人脸部分点云:

X’(θ’_i’,h_i’,r_i’)＝x(θ_i,h_i,r_i),

Y’(θ’_i’,h_i’,r_i’)＝y(θ_i,h_i,r_i)

Z’(θ’_i’,h_i’,r_i’)＝z(θ_i,h_i,r_i),(i’＝0,1,…180)

其中：当θ’₀＝0时，θ为(θ_min+θ_min)/2+90°/360°的余数；θ’_i’+1＝θ’_i’+1°,θ_i+1＝θ_i+1°,θ’_i’+1<＝180°；

2)空点的填充

设空缺点为P’(x’(θ’,h)，y’(θ’,h)，z’(θ’,h))，采用邻域平均法进行填充，邻域大小取5×5；

式中：m为(X’(θ’+u,θ’+v),Y’(θ’+u,θ’+v),Z’(θ’+u,θ’+v))不为空缺的个数；

3)鼻子的定位

计算鼻尖的位置即z值最大的位置：

则鼻尖的坐标为：

X(θ_max，h_max)，Y(θ_max，h_max)，Z(θ_max，h_max)

根据鼻尖的y坐标h_max，取人脸的鼻尖附近50°～130°的横切曲线，并进行平滑处理，根据曲线的斜率，从鼻尖左右开始，当曲线的斜率近似小于1时，则为鼻子的左右边界θ₁和θ₂；

4)嘴巴的垂直位置定位

将点云按鼻尖的角度θ_max绕Y轴旋转，使鼻尖在投影面上，在鼻尖下部鼻中心的左右圆周方向按半径进行求和并投影，突出嘴部垂直位置，如下式：

再对投影进行平滑处理：

极大值对应的垂直位置为上嘴唇位置，极小值为两嘴唇间的垂直位置；

5)眼睛及眉毛的垂直位置定位

将点云按鼻尖的角度θ_max绕Y轴旋转，在鼻尖上部鼻中心的左右圆周方向按半径进行积分投影，突出眼睛和眉毛垂直位置，积分范围在鼻子范围以外：

再对投影进行平滑处理：

极大值对应眉毛的垂直位置，极小值为眼睛的垂直位置E_min；

6)眼睛的水平宽度定位

在眼睛的垂直位置E_min得到横切点云曲线，进行平滑处理，并且跳过鼻梁中间的位置，根据曲线的斜率，初步确定眼睛的水平范围。

与现有技术相比本发明的有益效果是：

本发明适用于扫描正立人脸部分的点云，计算效率高，简并效果好，为后续人脸的精细重建、变形人脸、人脸器官测量等奠定了基础。

附图说明

图1是本发明基于圆柱坐标的人脸点云关键点定位方法的流程图；

图2为本发明一实施例中人脸点云示意图；

图3为本发明一实施例中人脸点云垂直范围；

图4为本发明一实施例中人脸圆柱面平面展开图；

图5为本发明一实施例中人脸点云半高度的横切面图；

图6为本发明一实施例中人脸点云半高度简并后横切面图；

图7为本发明一实施例中人脸点云圆柱面空缺点的边界；

图8为本发明一实施例中点云人脸角度θ的范围；

图9为本发明一实施例中填充空点后的人脸部分正视图和俯视图；

图10为本发明一实施例中曲线的斜率确定鼻子的左右边界；

图11为本发明一实施例中积分投影曲线确定嘴唇的垂直位置；

图12为本发明一实施例中定位嘴唇位置的示意图；

图13为本发明一实施例中积分投影曲线确定眼睛及眉毛的垂直位置；

图14为本发明一实施例中定位眼睛眉毛位置的示意图；

图15为本发明一实施例中眼睛的垂直位置E_min横切点云曲线；

图16为本发明一实施例中初步定位眉毛和眼睛的宽度效果图。

具体实施方式

下面结合附图所示的各实施方式对本发明进行详细说明，但应当说明的是，这些实施方式并非对本发明的限制，本领域普通技术人员根据这些实施方式所作的功能、方法、或者结构上的等效变换或替代，均属于本发明的保护范围之内。

参图1所示，本实施例提供了一种基于圆柱坐标的人脸点云关键点定位方法，包括：

步骤S1，基于人头形状特征，将无序的直角坐标点云转为有序的网格化圆柱坐标点云；

步骤S2，将径向长度作为特征值，采用中值滤波简并点云；

步骤S3，根据人脸器官在柱坐标中的特点，利用横切曲线及半径的积分投影曲线分别定位人脸中的鼻、嘴、眼和眉的位置。

该基于圆柱坐标的人脸点云关键点定位方法，适用于扫描正立人脸部分的点云，计算效率高，简并效果好，为后续人脸的精细重建、变形人脸、人脸器官测量等奠定了基础。

下面对本发明作进一步详细说明。

1、直角坐标转为圆柱坐标

设三维人脸点云数据为P(x’_i,y’_i,z’_i)(i＝0,1,2,…,n-1)。n为数据个数。

图2为三个人脸点云。

(1)计算中心点坐标及点云的垂直方向的范围

点云的中心点计算如下：

点云的垂直方向的范围：y_min为人脸底部，y_max为人脸顶部，如图3。

(2)点云数据位移

将点云数据按下式平移，使人脸底部中心在坐标原点。

y_i＝y'_i-y_min,

(3)直角坐标值转为圆柱坐标值

将点云直角坐标转为圆柱坐标的转换公式如下：

h＝y

将P(x’_i,y’_i,z’_i)转换为(x(θ_i,h_i,r_i),y(θ_i,h_i,r_i),z(θ_i,h_i,r_i)),其中：0≤θ_i≤360°，这里θ的增量△θ＝θ_i+1-θ_i＝1°。可以根据点云的密度适当调整θ的增量：当点云密度较大时，可减小θ的增量。点云的直角坐标转为圆柱坐标可得到有序的网格化点以及点与点之间的关系，方便后续处理。如图4所示，图4为图1第一个人脸点云的(θ，h)平面图。

2、点云数据简并

由于获取的点云数据较密集，直角坐标(x，y，z)转换为圆柱坐标(θ，h，r)后，会有多个不同的径向半径r对应一个(θ，h)值的映射，利用中点滤波方法去掉多余的r对应的点。如图5为人脸点云半高度的横切面图，如图6为简并后横切面图。

3、人脸部分点云的初始截取

为了更准确地获取人脸点云的器官位置，可先初始获取人脸部分的点云。在圆柱坐标系下，人脸部分的角度θ一般在180°范围内，首先找出θ范围内空缺点的边界，如图7所示。

重新调整点云坐标点的存储结构，只保留θ’＝0°和θ’＝180°范围内的人脸部分点云:

X’(θ’_i’,h_i’,r_i’)＝x(θ_i,h_i,r_i),

Y’(θ’_i’,h_i’,r_i’)＝y(θ_i,h_i,r_i)

Z’(θ’_i’,h_i’,r_i’)＝z(θ_i,h_i,r_i),(i’＝0,1,…180)

其中：

当θ’₀＝0时，θ为(θ_min+θ_min)/2+90°/360°的余数(如图8)。

θ’_i’+1＝θ’_i’+1°,θ_i+1＝θ_i+1°,θ’_i’+1<＝180°。

4、空点的填充

将点云转为(θ’,h)坐标后，在一定取样间隔条件下，圆柱面会存在空缺点，设空缺点为P’(x’(θ’,h)，y’(θ’,h)，z’(θ’,h))，其邻域范围内一定存在非空点，采用邻域平均法进行填充，邻域大小取5×5。

式中：m为(X’(θ’+u,θ’+v),Y’(θ’+u,θ’+v),Z’(θ’+u,θ’+v))不为空缺的个数。图9为填充空点后的人脸部分正视图和俯视图。

5、鼻子的定位

从图9可以看出，在人脸部分的点云中，鼻尖的位置就是z值最大的位置:

则鼻尖的坐标为：

X(θ_max，h_max)，Y(θ_max，h_max)，Z(θ_max，h_max)

根据鼻尖的y坐标h_max，取人脸的鼻尖附近左右一定范围(如50°～130°)的横切曲线，并进行平滑处理，如图10。根据曲线的斜率，从鼻尖左右一定距离开始，当曲线的斜率近似小于1时，则为鼻子的左右边界θ₁和θ₂。

6、嘴巴的垂直位置定位

将点云按鼻尖的角度θ_max绕Y轴旋转，使鼻尖在投影面上(如图11点云正投影图)，可以看出人脸的侧视图在嘴巴的垂直方向上，水平值有变化，为了更突出嘴巴的变化，在鼻尖下部鼻中心的左右圆周方向按半径进行求和并投影(积分投影)，突出嘴部垂直位置。

再对投影进行平滑处理：

积分投影如图11中曲线，可以看出，最上面的极大值对应的垂直位置为上嘴唇位置，其下面的极小值就是两嘴唇间的垂直位置。图12为定位的嘴唇位置。

7、眼睛及眉毛的垂直位置定位

同理将点云按鼻尖的角度θ_max绕Y轴旋转，可以看出人脸的侧视图，在眼睛与眉毛的垂直方向上，水平值有变化，为了更突出眼睛和眉毛的变化，在鼻尖上部鼻中心的左右圆周方向按半径进行积分投影，突出眼睛和眉毛垂直位置。由于两个眼睛中间会有鼻梁的影响，所以积分范围必须在鼻子范围以外：

再对投影进行平滑处理：

积分投影如图13中曲线，可以看出，最上面的极大值对应眉毛的垂直位置，其下面的极小值就是眼睛的垂直位置E_min。图13为定位的眉毛和眼睛位置。

8、眼睛的水平宽度定位

在眼睛的垂直位置E_min得到横切点云曲线，类似前面的方法进行平滑处理，并且跳过鼻梁中间的位置，如图15中下部的曲线。可以看出，在眼睛的区域，曲线比较平缓，根据曲线的斜率，可以初步确定眼睛的水平范围，如图15上部的直线范围。图16为初步定位眉毛和眼睛的宽度效果图。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。

Claims (3)

1.一种基于圆柱坐标的人脸点云关键点定位方法，其特征在于，包括：

步骤1，基于人头形状特征，将无序的直角坐标点云转为有序的网格化圆柱坐标点云；

步骤2，将径向长度作为特征值，采用中值滤波简并点云；

步骤3，根据人脸器官在柱坐标中的特点，利用横切曲线及半径的积分投影曲线分别定位人脸中的鼻、嘴、眼和眉的位置，具体包括：

1)人脸部分点云的初始截取

根据人头后部空缺点的边界角度θ_min和θ_max，找出人脸部分的180°范围，初始获取人脸部分的点云；

重新调整点云坐标点的存储结构，只保留θ’＝0°和θ’＝180°范围内的人脸部分点云:

X’(θ’_i’,h_i’,r_i’)＝x(θ_i,h_i,r_i)

Y’(θ’_i’,h_i’,r_i’)＝y(θ_i,h_i,r_i)

Z’(θ’_i’,h_i’,r_i’)＝z(θ_i,h_i,r_i)(i’＝0,1,…180)

其中：当θ’₀＝0时，θ为(θ_min+θ_min)/2+90°/360°的余数；θ’_i’+1＝θ’_i’+1°,θ_i+1＝θ_i+1°,θ’_i’+1<＝180°；

2)空点的填充

设空缺点为P’(X’(θ’,h)，Y’(θ’,h)，Z’(θ’,h))，采用邻域平均法进行填充，邻域大小取5×5；

式中：m为(X’(θ’+u,θ’+v),Y’(θ’+u,θ’+v),Z’(θ’+u,θ’+v))不为空缺的个数；

3)鼻子的定位

计算鼻尖的位置即z值最大的位置：

则鼻尖的坐标为：

X’(θ_max，h_max)，Y’(θ_max，h_max)，Z’(θ_max，h_max)

根据鼻尖的y坐标h_max，取人脸的鼻尖附近50°～130°的横切曲线，并进行平滑处理，根据曲线的斜率，从鼻尖左右开始，当曲线的斜率近似小于1时，则为鼻子的左右边界θ₁和θ₂；

4)嘴巴的垂直位置定位

将点云按鼻尖的角度θ_max绕Y轴旋转，使鼻尖在投影面上，在鼻尖下部鼻中心的左右圆周方向按半径进行求和并投影，突出嘴部垂直位置，如下式：

再对投影进行平滑处理：

极大值对应的垂直位置为上嘴唇位置，极小值为两嘴唇间的垂直位置；

5)眼睛及眉毛的垂直位置定位

将点云按鼻尖的角度θ_max绕Y轴旋转，在鼻尖上部鼻中心的左右圆周方向按半径进行积分投影，突出眼睛和眉毛垂直位置，积分范围在鼻子范围以外：

h_max+5≤h≤y_max-y_min-5

再对投影进行平滑处理：

h_max+8≤h≤y_max-y_min-8

极大值对应眉毛的垂直位置，极小值为眼睛的垂直位置E_min；

6)眼睛的水平宽度定位

在眼睛的垂直位置E_min得到横切点云曲线，进行平滑处理，并且跳过鼻梁中间的位置，根据曲线的斜率，初步确定眼睛的水平范围。

2.根据权利要求1所述的基于圆柱坐标的人脸点云关键点定位方法，所述步骤1包括：

设三维人脸点云数据为P(x’_i,y’_i,z’_i)(i＝0,1,2,…,n-1)，n为数据个数；

计算中心点坐标及点云的垂直方向的范围，y_min为人脸底部，y_max为人脸顶部，其中，点云的中心点计算如下：

将点云数据按下式平移，使人脸底部中心在坐标原点：

按下式将点云直角坐标转为圆柱坐标：

h＝y

将P(x’_i,y’_i,z’_i)转换为(x(θ_i,h_i,r_i),y(θ_i,h_i,r_i),z(θ_i,h_i,r_i))，其中：0≤θ_i≤360°，θ的增量△θ＝θ_i+1-θ_i＝1°；

根据点云的密度适当调整θ的增量：当点云密度较大时，减小θ的增量。

3.根据权利要求2所述的基于圆柱坐标的人脸点云关键点定位方法，其特征在于，步骤2中所述简并点云的过程包括：

将直角坐标(x，y，z)转换为圆柱坐标(θ，h，r)后，将多个不同的径向半径r对应一个(θ，h)值的映射利用中点滤波方法变为一对一的对应关系。

Images