CN111612912B - 一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法 - Google Patents

Abstract

本发明公开了一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，包括以下步骤：(1)利用Kinect 2相机获取面部个性点云模型K_F；(2)结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，此建立Dlib特征点约束模型D_P；(3)基于Dlib特征点约束模型D_P对获取的面部个性点云模型K_F进行约束变形，得到变形更新后的面部点云模型K_N；(4)对点云模型K_N进行三角化后得到网格模型，进行网格细化得到细化插补后的面部点云模型K_{N_N}；(5)对点云模型K_{N_N}进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型K_{N_N(V)}。本发明通过约束变形、细化及优化提高了面部三维模型精度，使面部轮廓三维模型更贴近真实面部轮廓。

Description

一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及 优化方法

技术领域

本发明涉及机器人技术领域，具体涉及一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法。

背景技术

当前服务机器人越来越多地进入人们的生活中，与人体肌肤直接接触作业的机器人需求逐渐增多，如用于医疗康复、按摩保健、美容护理等领域。这些领域亟需一款与人体肌肤直接物理接触及信息交互的服务机器人，机器人需要快速人体表面轮廓三维信息，特别是人脸表面轮廓信息，以此进行准确的位姿控制与操作。面部肌肤无特定角点，增加了面部轮廓信息获取难度；机器人在面部操作过程中，人体并不会处于完全静止状态，因此需要快速获取表面轮廓三维信息。

面部肌肤轮廓信息可以通过三维重构技术获取，三维建模系统可分为主动视觉和被动视觉两种。主动视觉系统通过测量从外部设备照射的光束来捕捉三位点云，计算三维坐标生成网格人脸，此方法精度虽高，但设备昂贵、维护困难，测量仪在扫描过程中由于拍摄死角的存在，需要不断变换扫描头拍摄角度以填补空白，操作繁琐。被动视觉建模系统是从二维数字图像中获取三维空间人脸信息，分析基于多视角相关特征点的相机空间参数得到三维信息。微软公司推出的Kinect 2传感器满足低成本、高精度、高效率和操作简单的要求，得到了广大研究学者的认可，并进行了相关三维建模方面的研究，但目前应用于人脸的建模相对较少。

基于Kinect 2的面部曲面重构方法在实际的应用中也存在着一些问题：(1)目前Kinect 2尚没有应用在人脸建模领域；(2)常用2台或多台Kinect通过点云拼接获得头部模型，处理方法复杂，易出现错误匹配的情况。

发明内容：

本发明的目的在于针对当前三维人脸建模方法标定复杂、处理速度慢、实时性差等问题，提供一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，为快速获取面部表面轮廓三维信息提供有效保障。

本发明解决所述技术问题采用以下技术方案：

(1)利用Kinect 2相机快速获取面部个性点云模型K_F；

(2)结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，由此建立Dlib特征点约束模型D_P；

(3)基于Dlib特征点约束模型D_P对获取的面部个性点云模型K_F进行约束变形，得到变形更新后的面部点云模型K_N；

(4)对点云模型K_N进行三角化后得到网格模型，基于边记分函数进行网格细化得到细化插补后的面部点云模型K_N-N；

(5)对点云模型K_N-N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型K_N-N(V)。

所述步骤(1)中利用Kinect 2相机获取的获取ColorFrameSource、DepthFrameSource及BodyFrameSource三种信息源实现高清面部检测、人体骨骼追踪与面部特征对齐，快速获取面部个性点云模型K_F；

进一步地，所述步骤(2)中Kinect 2相机的彩色摄像头与深度传感器存在一定的物理位置偏差，视场大小也不一样，需将彩色图与深度图进行融合配准，实现Kinect 2相机深度图和彩色图的校准，结合Dlib人脸数据库和姿态估计模型得到Dlib特征点约束模型D_P；

进一步地，所述步骤(3)以Dlib特征点约束模型D_P中的特征点为参照点，遍历面部点云模型K_F中的所有点，分别计算并比较各点到模型D_P中各点的距离，对模型K_F中距离模型最近的点进行仿射变换正则化与移动，得到变形更新后的面部点云模型K_N；

进一步地，所述步骤(4)通过记分函数给面部三角网格的每条边赋予一个记分，并求其平均值M，对于三角网格的每条边计算其分数M_ij，若则对该边进行边分裂操作，插入新顶点，得到细化插补后的面部点云模型K_N-N；

进一步地，所述步骤(5)中对面部点云模型K_N-N进行Voronoi区域划分，模型K_N-N中上的任意一个Voronoi区域中的顶点刚好是这个区域的重心，实现面部点云模型K_N-N重心Voronoi优化；运用Delaunay三角剖分算法对优化后的面部点云模型进行重新网格化，得到完整面部三维网格模型K_N-N(V)。

本发明的优点在于：

其基于Kinect 2相机可实现面部轮廓三维信息的快速获取，避免了立体视觉法与光栅投影法复杂的标定匹配及数据处理，通过约束变形、细化及优化提高了面部三维模型精度，使面部轮廓三维模型更贴近真实面部轮廓。

与现有三维建模方法相比，本发明提供的方法方法不需要进行复杂的标定与预处理，点云数据处理速度快，基于Dlib特征点约束模型对Kinect2面部个性点云模型进行特征点约束变形，对获取面部点云模型进行最简单的Delaunay三角剖分，再通过很少次数的迭代过程对网格进行各向异性细化和优化，提高了面部模型重构的精度，取得了良好的效果，此方法简单快捷，采用Kinect 2相机，使综合成本大幅降低。

附图说明

图1为本发明基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法步骤图。

图2为本发明基于Kinect 2相机获得的面部个性点云模型K_F。

图3为本发明基于Kinect 2相机获得的Dlib特征点约束模型D_P。

图4为本发明面部点云模型Dlib特征点约束变形算法流程图。

图5a为本发明实施例面部三角网格模型边示意图。

图5b为本发明面部三角网格模型插补点示意图。

图6为本发明面部点云模型K_N-N重心Voronoi优化过程示意图。

图7为本发明一次细化和优化后的完整面部三维网格模型K_N-N(V)。

具体实施方式

下面通过具体实施例对本发明的目的作进一步详细地描述，实施例不能在此一一赘述，但本发明的实施方式并不因此限定于以下实施例。

参见附图1-7，本发明实施例提供的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，可用于几何模型三维重建领域，以人体头部模型作为实验对象，获取人脸面部个性点云模型，利用特征点优化模型指导约束面部模型进行特征优化及变形，接着基于边记分函数三角网格细化算法和重心Voronoi优化算法对面部网格进行细化及优化，最后重新网格化得到完整面部三维模型，其具体包括以下步骤：

S1、以人体头部模型作为实验对象，基于Kinect2获取人脸面部1347个特征点个性点云模型K_F，如图2所示，其坐标值为相机坐标系下的数值：K_F＝{K_F(1),K_F(2),…,K_F(i),…,K_F(1347)}，

S2、对Kinect 2相机获取的彩色图像运用Dlib人脸检测模型进行面部特征点的检测，得到面部68个特征点，进行彩色、深度图像配准得到Dlib特征点优化模型D_P，如图3所示，模型中各点坐标值为相机坐标系下的数值：

S3、以模型D_P中的特征点为参照点，遍历模型K_F中的所有点，分别计算并比较各点到模型D_P中各点的距离，将模型K_F中距离模型最近的点通过仿射变换正则化，得到变形面部特征点模型K_P，其中特征点属于模型

K_F，数量与模型D_P相同：

P_(i)∈K_F(j)(j∈{1,2,…,1347})

定义基于特征点优化模型D_P的面部点云自动移动公式为：

式中i∈{1,2,…,1347}；m∈{1,2,…,68}；n∈{1,2,…,68}；为距离K_F(i)最近的Dlib特征点/>坐标值；/>为距离/>最近的Dlib特征点坐标值；/>为K_P中与/>对应点/>的坐标值；/>为距离/>最近点的坐标值。

由面部点云自动移动公式得到变形更新后的面部点云模型K_N，由于模型变形并未增加特征点数量，因此模型K_N中特征点数量与模型K_F相同：

K_N＝{K_N(1),K_N(2),…,K_N(i),…,K_N(1347)},然后进行循环判定，遍历模型K_N，将其中距离模型/>最近的点通过仿射变换正则化，得到变形后面部特征点模型K_NP，其中特征点属于模型K_N，数量与模型K_N相同：

K_NP＝{K_NP(1),K_NP(2),…,K_NP(6)},NP_(i)＝K_N(j)(j∈{1,2,…,1347})

判断K_NP是否等于D_P，若不满足判定条件，则基于面部点云自动移动公式继续进行面部模型变形，直至得到满足判定条件的K_N，停止面部点云模型的变形更新。特征点约束变形算法流程见图4，完成Kinect2面部点云模型特征优化。

S4、如图5a，取K_N中的部分点集，相邻两点构成边/>

边的长度为：

定义边的记分函数M_ij符合标准正态分布：

定义由K_N得到的面部三角网格所有边的记分平均值为

式中n为面部三角网格中边总数。

若则对该边进行边分裂操作，即在该边的中点处插入一个黄色点，作为新的顶点，如图5b所示。上述过程在面部网格模型上迭代，直到没有边需要插入新顶点，定义细化插补后的面部点云模型为K_{N_N}，模型特征点数量N为细化插补后模型特征点的总数：

S5、面部点云模型K_{N_N}重心Voronoi优化过程见图6，具体操作如下：

①对模型K_{N_N}进行Voronoi区域的划分，定义模型K_{N_N}是在任意维空间R_d上，K_N-N(i)(i∈{1,2,…,N})的Voronoi区域为根据以下公式进行Voronoi区域的划分：

②计算每一个的重心/>将K_N-N(i)移动到/>的位置，“+”标识为重心/>位置：

式中ρ(X)为密度函数，取值为常数K。

③计算得到每一个的重心/>后，将K_{N_N(i)}移动到/>的位置；

④重复上述过程直到完成点集K_{N_N}中所有点的重心Voronoi优化。

从而实现基于Kinect 2相机的面部曲面模型的快速细化及重构，如图7所示为经过一次细化和优化后的完整面部三维网格模型K_N-N(V)。经过变形、细化及优化后，面部点云数据量由1347增至5242，三角网格数由2628增至10398，更好地表达面部硅胶模型个性特征。

本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (6)

1.一种基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于，其包括以下步骤：

(1)利用Kinect 2相机快速获取面部个性点云模型K_F，包括：以人体头部模型作为实验对象，基于Kinect 2获取人脸面部1347个特征点个性点云模型KF，其坐标值为相机坐标系下的数值：K_F＝{K_F(1),K_F(2),...,K_F(i),...,K_F(1347)}，

(2)结合Dlib人脸数据库和姿态估计模型提取面部68个特征点，通过Kinect2彩色、深度图像配准获取特征点三维坐标，由此建立Dlib特征点约束模型D_P，包括：对Kinect 2相机获取的彩色图像运用Dlib人脸检测模型进行面部特征点的检测，得到面部68个特征点，进行彩色、深度图像配准得到Dlib特征点优化模型D_P，模型中各点坐标值为相机坐标系下的数值：

(3)基于Dlib特征点约束模型DP对获取的面部个性点云模型K_F进行约束变形，得到变形更新后的面部点云模型K_N，包括：以模型D_P中的特征点为参照点，遍历模型K_F中的所有点，分别计算并比较各点到模型D_P中各点的距离，将模型K_F中距离模型最近的点通过仿射变换正则化，得到变形面部特征点模型K_P，其中特征点属于模型K_F，数量与模型D_P相同：

定义基于特征点优化模型D_P的面部点云自动移动公式为：

式中i∈{1,2,...,1347}；m∈{1,2,...,68}；n∈{1,2,...,68}；为距离K_F(i)最近的Dlib特征点/>坐标值；/>为距离/>最近的Dlib特征点坐标值；/>为K_P中与/>对应点/>的坐标值；/>为距离/>最近点的坐标值；

由面部点云自动移动公式得到变形更新后的面部点云模型K_N，由于模型变形并未增加特征点数量，因此模型K_N中特征点数量与模型K_F相同：

K_N＝{K_N(1),K_N(2),...,K_N(i),...,K_N(1347)},

然后进行循环判定，遍历模型K_N，将其中距离模型最近的点通过仿射变换正则化，得到变形后面部特征点模型K_NP，其中特征点属于模型K_N，数量与模型K_N相同：

K_NP＝{K_NP(1),K_NP(2),...,K_NP(6)},NP_(i)＝K_N(j)(j∈{1,2,...,1347})

判断K_NP是否等于D_P，若不满足判定条件，则基于面部点云自动移动公式继续进行面部模型变形，直至得到满足判定条件的K_N，停止面部点云模型的变形更新，完成Kinect2面部点云模型特征优化；

(4)对点云模型KN进行三角化后得到网格模型，基于边记分函数进行网格细化得到细化插补后的面部点云模型K_N-N，包括：取K_N中的部分点集，相邻两点构成边/>

边的长度为：

定义边的记分函数M_ij符合标准正态分布：

定义由K_N得到的面部三角网格所有边的记分平均值为

式中n为面部三角网格中边总数；

若则对该边进行边分裂操作，即在该边的中点处插入一个黄色点，作为新的顶点，上述过程在面部网格模型上迭代，直到没有边需要插入新顶点，定义细化插补后的面部点云模型为K_N-N，模型特征点数量N为细化插补后模型特征点的总数：

(5)对点云模型KN-N进行重心Voronoi优化后进行重新网格化得到完整面部三维网格模型K_N-N(V)。

2.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(1)Kinect 2相机高清面部特征与人体骨骼检测。

3.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(2)彩色图像与深度图像的坐标关系对齐。

4.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(3)基于获取的Dlib特征点约束面部点云模型变形，实现面部模型特征优化。

5.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(4)采用边记分函数为每条边赋予影响因子，实现面部网格模型的各向异性细化。

6.根据权利要求1所述的基于Kinect 2相机面部轮廓点云模型的快速三维重构及优化方法，其特征在于：所述步骤(5)采用重心Voronoi优化新插入顶点与原有顶点的位置及网格顶点连接关系，运用Delaunay三角剖分算法对优化后的面部点云模型进行重新网格化。