CN104318234B - 一种采用点云数据表示的人脸皱纹三维提取方法及其设备 - Google Patents

Abstract

一种采用点云数据表示的人脸皱纹三维提取方法，模拟人脸皱纹的生成过程，将皱纹区域视为光滑人脸曲面与凹陷皱纹纹理的叠加，采用点云数据表示的人脸皱纹作为研究对象，将光滑人脸面部的区域进行计算机“再造”，采用三阶样条曲面拟合法拟合光滑人脸面部区域，对三阶样条曲面拟合加以约束，将连续、光滑人脸区域拟合过程视为一正则问题的求解过程，采用拉普拉斯正则化方法进行迭代求解，得到人脸皱纹提取的初步结果，将人脸皱纹提取的初步结果ε₀投影至X‑Y平面，对投影图像做二值化与8邻域连通区域运算，将小于最大连通区域面积30％的连通区域视为噪声，将噪声对应点从ε₀中去除，得到最终的人脸皱纹三维提取结果ε。

Description

一种采用点云数据表示的人脸皱纹三维提取方法及其设备

技术领域

本发明属于生物医学工程领域，具体涉及一种采用点云数据表示的人脸皱纹三维提取方法及其设备。

背景技术

皱纹是一种随着年龄的增长，逐渐出现在人体面部的重要特征。皱纹表征、皱纹评价在众多领域具有重要的应用价值，其基础均在于皱纹数据的提取。

早期的皱纹提取方法采用硅胶倒模得到表面皮肤复制品(skin surfacereplica,SSR)，以SSR为研究对象，以若干机械参数评估皱纹。由于挤压变形等原因，SSR与真实皱纹之间必然存在差异，因此SSR方法只能作为皱纹的初步评价，误差较大。当前常用的皱纹评价方法是采用皱纹评价量表来实现，其皱纹数据以二维图像数据为主，通过评价人的主观视觉感知，来完成皱纹数据的“提取”，这种方法无法避免主观因素影响，且皱纹数据无法完成存储等功能。20世纪80年代，Chernoff等采用激光测距方法进行了皱纹检测的研究，但整个检测过程需逐点扫描，耗时较长，难以确保在整个测试过程中人体的绝对位置。近年来随着计算机视觉与图像处理技术的快速发展，众多研究者分别采用基于二维图像灰度、纹理处理的皱纹提取方法，但由于提取的皱纹特征受限于视野、光照、拍摄角度等因素的影响，且由于皱纹本身为三维形态，因此这种方法的准确性与重复性尚有待提高。

发明内容

针对现有技术皱纹提取存在的问题，本发明提出了一种采用点云数据表示的人脸皱纹三维提取方法及其设备，技术方案如下：

一种采用点云数据表示的人脸皱纹三维提取方法，其特征在于：基于面部骨骼的稳定性，将面部轮廓在人类成长过程中视为基本稳定、连续、光滑的曲面结构，将皱纹视为在人类成长过程中逐渐出现在面部的一种纹理特征，包括以下步骤：

1)模拟人脸皱纹的生成过程，将皱纹区域视为光滑人脸曲面与凹陷皱纹纹理的叠加，采用点云数据表示的人脸皱纹作为研究对象，定义人脸皱纹区域为：

其中，Wr为一含有皱纹纹理的人脸面部区域，表示连续、光滑的人脸面部区域，ε为人脸面部中包含的皱纹纹理；

2)将光滑人脸面部的区域进行计算机“再造”，与人脸面部区域相比，将皱纹视为人脸面部区域上的加性噪声,将光滑人脸面部区域的计算机“再造”问题转化为连续、光滑曲面拟合问题；采用三阶样条曲面拟合法拟合光滑人脸面部区域，拟合问题采用线性函数表示为：

其中，光滑人脸面部区域在X方向有n_x个点，在Y方向有n_y个点，光滑人脸面部区域的长度为n_x×n_y；A与T的具体形式表示如下：

其中，a_i为样条插值求解的参数，x_i与y_i为点云数据中一点的X与Y方向的坐标值，为最终求解得到的光滑人脸面部区域的Z方向的坐标值；

3)对三阶样条曲面拟合加以约束，基于人脸区域的连续与光滑特性，对公式(1)中描述的曲面参数加以一阶导数相等的约束，即：

BT＝0 (2)

其中，B表示采用相邻点得到二阶差分；

4)将连续、光滑人脸区域拟合过程视为一正则问题的求解过程，采用拉普拉斯正则化方法进行迭代求解，将式(1)与(2)代入式(3)中：

其中，λ为迭代参数，初始化λ＝1，求解某一次的拟合结果为Wr_i，i为大于0的整数，Wr₀表示原始含有皱纹的曲面，即Wr₀＝Wr，则Wr₀中的值即为原始含有皱纹的人脸区域的点云中一点的Z方向的坐标值；通过计算Wr_i与前一次迭代结果Wr_i-1的残差，以阈值法确定迭代结束的时刻，若残差超过设定阈值，则增加λ并重新计算式(3)，直到残差小于阈值；其中，阈值越小则迭代次数越多，耗时越长，相邻两次计算结果Wr_i间的残差越小，确定阈值需综合考虑迭代效果与时间代价；

5)将表示连续、光滑的人脸面部区域与含有皱纹纹理的人脸面部区域Wr相减，得到人脸皱纹提取的初步结果，即

6)将人脸皱纹提取的初步结果ε₀投影至X-Y平面，对投影图像做二值化与8邻域连通区域运算，将小于最大连通区域面积30％的连通区域视为噪声，将噪声对应点从ε₀中去除，得到最终的人脸皱纹三维提取结果ε。

上述采用点云数据表示的人脸皱纹三维提取方法所使用的设备包括两台相同型号的工业CCD相机、一台数字光投影仪DLP、一台计算机以及数据传输线路和控制线路，两台CCD相机分左右固定在三角支架上，数字光投影仪DLP置于两台CCD相机中间，两台CCD相机和一台数字光投影仪DLP均通过数据传输线路和控制线路与计算机连接，将两台CCD相机和一台数字光投影仪DLP固定在底座和三脚架上，置于一无光的暗室中，被测者居于投影仪投射方向上焦距距离前后位置，使投影图像可清晰显示于被测者面部的待测皱纹区域；被测者身后放置一张以黑色为底色的挂布，启动计算机控制程序控制投影仪DLP向被测者投射13幅不同频率的数字光栅图像，并通过左右两台CCD相机实时采集被投影后的被测者图像，完成采集后，将采集的图像输入到配套的计算机程序中，通过计算得到最终的人脸皱纹形貌数据与相关信息。

本发明的优点与显著效果：本发明针对用点云数据表示的人脸皱纹，可真实、客观的表达皱纹的特征。与针对用二维皱纹图像的提取方法相比，本发明的皱纹提取结果不受光照影响，受角度影响较小；与采用倒模数据的方法相比，本发明精度更高。

附图说明

图1是点云表示的含有皱纹的人脸区域；

图2是点云表示的不含有皱纹的人脸区域；

图3是投影图像的噪声去除示意图；

图4是人脸皱纹三维提取结果；

图5是采用本发明方法所使用的设备。

具体实施方式

1)如图1所示，为一用点云表示的含有皱纹的人脸区域，将数据标记为Wr。

2)采用公式3)进行迭代操作，初始人脸区域记为Wr₀＝Wr，设初始参数λ＝1，设置残差阈值为0.5。

3)迭代满足终止条件时，将当次迭代的结果Wr_i视为光滑、连续的人脸区域，不含皱纹，即如图2所示。

4)将含有、不含有皱纹的区域做差，得到皱纹三维提取的初步结果，即

5)将ε₀投影至X-Y平面，X-Y平面的二维图像的灰度值为二值化Z坐标值，二值化的阈值设置为0.1mm。得到皱纹初步提取结果的投影图像，如图3的左图所示。

6)对上一步骤得到的投影图像做8邻域连通区域运算，其结果如图3的右图所示，可见其中存在散乱的连通区域，视为“噪声”。对此结果进行去噪处理，首先统计最大连通区域的像素点数M，将连通区域像素点数小于0.3M的连通区域视为噪声。

7)将上一步骤中噪声点在点云表示的三维皱纹数据ε₀中的对应点的z坐标记为0，得到最终的人脸皱纹三维提取结果ε，如图4所示。

如图5，两台CCD相机3分左右固定在三角支架及底座5上，用来采集二维图像，三角支架需要普通相机支架即可，用来固定相机和投影仪的底座，与支架对应的底座专门设计，为长条状，多孔，用来固定相机和投影仪。数字光投影仪4(DLP)置于两台CCD相机中间，用来投射光栅图像。两台CCD相机和一台数字光投影仪DLP均通过数据传输线路和控制线路2与计算机1连接。数字光投影仪DLP用来投射计算机产生的多幅频率不同的光栅图像，并由计算机控制，保证投射的同时CCD相机工作，实时采集到含有包裹相位的人脸的二维图像，采集完成后，在三角测量原理的基础上，利用两台相机拍摄得到的多张经调制后的人脸结构光图像，在四步相移原理和多频外差原理的基础上，进行相位解调制和相位展开得到绝对相位图，在得到的左右相机对应相位图的基础上，利用两视点几何中的极线约束，完成左右相机像素点的匹配，并反求出人脸的三维坐标和皱纹形貌信息，通过计算得到人脸皱纹的三维数据。

计算机1用来处理所采集到的图像，包含有与硬件配套的软件程序。软件包含相机和投影仪的驱动程序，以及实现三维人脸皱纹测量的相关算法。算法的实现基于相位测量轮廓术，软件系统通过左右相机拍摄得到多张经调制后的人脸结构光图像，在四步相移原理和多频外差原理的基础上，进行相位解调制和相位展开得到绝对相位图。在得到的左右相机对应相位图的基础上，利用两视点几何中的极线约束，可以完成左右相机像素点的匹配，并反求出人脸的三维坐标和皱纹形貌信息。

Claims (2)

1.一种采用点云数据表示的人脸皱纹三维提取方法，其特征在于：基于面部骨骼的稳定性，将面部轮廓在人类成长过程中视为基本稳定、连续、光滑的曲面结构，将皱纹视为在人类成长过程中逐渐出现在面部的一种纹理特征，包括以下步骤：

1)模拟人脸皱纹的生成过程，将皱纹区域视为光滑人脸曲面与凹陷皱纹纹理的叠加，采用点云数据表示的人脸皱纹作为研究对象，定义人脸皱纹区域为：

$Wr=\tilde{W}r+\mathrm{\ϵ}$

其中，Wr为一含有皱纹纹理的人脸面部区域，表示连续、光滑的人脸面部区域，ε为人脸面部中包含的皱纹纹理；

2)将光滑人脸面部的区域进行计算机“再造”，与人脸面部区域相比，将皱纹视为人脸面部区域上的加性噪声,将光滑人脸面部区域的计算机“再造”问题转化为连续、光滑曲面拟合问题；采用三阶样条曲面拟合法拟合光滑人脸面部区域，拟合问题采用线性函数表示为：

$\tilde{W}r=AT---\left(1\right)$

其中，光滑人脸面部区域在X方向有n_x个点，在Y方向有n_y个点，光滑人脸面部区域的长度为n_x×n_y；A与T的具体形式表示如下：

$\left\{\begin{array}{c}\begin{array}{cc}T=\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ .\\ .\\ .\\ a_{n_x\·n_y}\end{array}\right]& \tilde{W}r=\left[\begin{array}{c}\tilde{W}{r}_1\\ \tilde{W}{r}_2\\ \tilde{W}{r}_3\\ .\\ .\\ .\\ \tilde{W}{r}_{n_x\·n_y}\end{array}\right]\end{array}\\ A=\left[\begin{array}{ccccc}1& x_1& y_1& x_1{y}_1& \mathrm{...}\\ 1& x_2& y_2& x_2{y}_2& \mathrm{...}\\ 1& x_3& y_3& x_3{y}_3& \mathrm{...}\\ .& .& .& .& \\ .& .& .& .& \mathrm{...}\\ .& .& .& .& \\ 1& x_{n_x\·n_y}& y_{n_x\·n_y}& x_{n_x\·n_y}{y}_{n_x\·n_y}& \mathrm{...}\end{array}\right]\end{array}\right.$

其中，a_i为样条插值求解的参数，x_i与y_i为点云数据中一点的X与Y方向的坐标值，为最终求解得到的光滑人脸面部区域的Z方向的坐标值；

3)对三阶样条曲面拟合加以约束，基于人脸区域的连续与光滑特性，对公式(1)中描述的曲面参数加以一阶导数相等的约束，即：

BT＝0 (2)

其中，B表示采用相邻点得到二阶差分；

4)将连续、光滑人脸区域拟合过程视为一正则问题的求解过程，采用拉普拉斯正则化方法进行迭代求解，将式(1)与(2)代入式(3)中：

$\left|\right|(AT-\tilde{W}r)|{|}^2+\mathrm{\λ}|\left|BT\right|{|}^2---\left(3\right)$

其中，λ为迭代参数，初始化λ＝1，求解某一次的拟合结果为Wr_i，i为大于0的整数，Wr₀表示原始含有皱纹的曲面，即Wr₀＝Wr，则Wr₀中的值即为原始含有皱纹的人脸区域的点云中一点的Z方向的坐标值；通过计算Wr_i与前一次迭代结果Wr_i-1的残差，以阈值法确定迭代结束的时刻，若残差超过设定阈值，则增加λ并重新计算式(3)，直到残差小于阈值；其中，阈值越小则迭代次数越多，耗时越长，相邻两次计算结果Wr_i间的残差越小，确定阈值需综合考虑迭代效果与时间代价；

5)将表示连续、光滑的人脸面部区域与含有皱纹纹理的人脸面部区域Wr相减，得到人脸皱纹提取的初步结果，即

6)将人脸皱纹提取的初步结果ε₀投影至X-Y平面，对投影图像做二值化与8邻域连通区域运算，将小于最大连通区域面积30％的连通区域视为噪声，将噪声对应点从ε₀中去除，得到最终的人脸皱纹三维提取结果ε。

2.根据权利要求1所述采用点云数据表示的人脸皱纹三维提取方法的设备，其特征在于：包括两台相同型号的工业CCD相机、一台数字光投影仪DLP、一台计算机以及数据传输线路和控制线路，两台CCD相机分左右固定在三角支架上，数字光投影仪DLP置于两台CCD相机中间，两台CCD相机和一台数字光投影仪DLP均通过数据传输线路和控制线路与计算机连接，将两台CCD相机和一台数字光投影仪DLP固定在底座和三脚架上，置于一无光的暗室中，被测者居于投影仪投射方向上焦距距离前后位置，使投影图像可清晰显示于被测者面部的待测皱纹区域；被测者身后放置一张以黑色为底色的挂布，启动计算机控制程序控制投影仪DLP向被测者投射13幅不同频率的数字光栅图像，并通过左右两台CCD相机实时采集被投影后的被测者图像，完成采集后，将采集的图像输入到配套的计算机程序中，通过计算得到最终的人脸皱纹形貌数据与相关信息。