CN110176061A - 一种三维重建中人体表面重构方法 - Google Patents

Abstract

一种三维重建中人体表面重构方法，所述方法首先采用固定的Kinect设备对站在转台上的人体进行三维数据的采集，并对采集得到的多个角度的点云数据进行配准、融合，得到完整人体三维轮廓；然后对人体轮廓点云数据进行下采样，并采用贪婪三角化算法，对点云进行三角面生成，得到粗糙的人体网格化模型，再利用三角面三个顶点的颜色信息，对生成的三角面进行颜色映射，生成人体表面纹理，得到完整的带有真实纹理信息的人体三维模型。本发明利用固定的Kinect设备采集人体信息，减少了重建误差；本发明采用三角形点云颜色映射的方法为人体模型添加实际的颜色信息，增强表面细节特征，可获得更好的人体三维重建效果，提高人体建模的真实感。

Description

一种三维重建中人体表面重构方法

技术领域

本发明涉及一种人体表面重构方法，所述方法可提高人体建模的真实感，属于数据处理技术领域。

背景技术

随着三维重建技术的不断发展，在计算机视觉，虚拟现实等领域中，获取物轮廓信息和三维建模，三维重建技术都有着重要的应用，而人体轮廓信息的获取具有更重要意义。

目前获取三维模型的系统体积较大，价格昂贵，传统人体建模过程通常还需要粘贴标志点，过程繁琐、复杂。

基于Kinect设备的人体三维重建的方法，能够方便地获取人体表面数据，但现有的方法得到的结果不够完整，重建过程中采集的设备需要移动，为后面的重建过程引入了误差，重建结果与真实人体尺寸存在较大误差，得到的人体模型真实感不强，表面细节不够清晰，降低了人体建模的真实感。

发明内容

本发明的目的在于针对现有技术之弊端，提供一种三维重建中人体表面重构方法，以获得更好的人体三维重建效果，提高人体建模的真实感。

本发明所述问题是以下述技术方案解决的：

一种三维重建中人体表面重构方法，所述方法首先采用固定的Kinect设备对站在转台上的人体进行三维数据的采集，并对采集得到的多个角度的点云数据进行配准、融合，得到完整人体三维轮廓；然后对人体轮廓点云数据进行下采样，减少点的数量，并采用贪婪三角化算法，对点云进行三角面生成，得到粗糙的人体网格化模型，再利用三角面三个顶点的颜色信息，对生成的三角面进行颜色映射，生成人体表面纹理，最终得到完整的带有真实纹理信息的人体三维模型。

上述三维重建中人体表面重构方法，所述人体三维数据采集和人体三维轮廓的建立按以下步骤进行：

a.人体三维数据的采集

首先对两台Kinect设备进行标定，然后利用Kinect设备对站在转台上的人体进行三维数据的采集，转台每旋转一定的角度，Kinect设备采集一次数据，转台旋转一周，Kinect完成人体三维数据的采集，得到多个角度的点云集；

b.对得到的点云集进行预处理

利用双边滤波算法和K-邻域滤波算法去除噪点和离群点，得到相对干净的点云；

c.以第一次拍摄的点云数据为基准，利用ICP算法对后面每一次采集的数据进行配准、融合，得到上下两部分的融合点云；

d.利用ICP算法对上下两部分点云集进行匹配，得到完整人体三维轮廓。

上述三维重建中人体表面重构方法，所述ICP算法包括以下步骤：

①取控制点集；

取不同角度拍摄点云,分别构成点集P1和点集P2；

②查找对应点对；

点集P1和点集P2匹配的同名点在两组序列图集中分别提取的坐标结果应该是一致的,由此可建立P1和P2中对应点对集(P_i,i＝i,2,…,N_p}和(Q_i,i＝1,2,…,N_q},利用对应点对距离构建目标函数式f(R，T，k)，

式中:k为比例系数,P_i为目标点集,Q_i为参考点集,R为旋转矩阵,T为平移矩阵；

③计算对应点对权重；

考虑计算对应点对距离与点对最大距离的比值作为权重：

weight＝1-Dist(p1，p2)/Dist_max

Dist(p1，p2)为对应点对的距离，Dist_max为所有对应点对距离的最大值，设置阈值，将对应点对距离超过点对集合距离标准差2.5倍的点作为坏点，予以剔除，得到点集P和Q；

④基于SVD分解求点云旋转矩阵；

计算点集P和待变换点集Q的重心及各点与重心的差：

对H进行SVD分解：H＝UΔV^t，U和V为正交矩阵，△为非负的对角矩阵

R＝VU^t，

⑤计算平移向量T和比例尺系数K；

T＝p′-k*p*R，

令

k＝trace(Pk2*Pk2^T)/trace(Pk1*Pk2^T*R)，trace为矩阵的迹；

⑥计算变换前后对应点对最小二乘误差的绝对值；

根据比例系数k和变换矩阵R、T对点集P进行变换，得新点集P_new，计算新对应点对距离的最小二乘误差dk2；

比较初始最小二乘误差dk和变换后最小二乘误差dk2，设置阈值t进行迭代判断，

若不满足，迭代终止；

⑦选取特征点集合、查找对应点对，利用点云曲率计算得到的特征点进行计算。

本发明利用固定的Kinect设备采集人体信息，减少了重建误差，提高了数据的精度；采用三角形点云颜色映射的方法为人体模型添加实际的颜色信息，增强表面细节特征，获得了更好的人体三维重建效果，提高人体建模的真实感；提高三维重建数据的准确性，也就更贴近人体实际三维尺寸，增强表面细节特征，使重建人体肤色过渡更真实，真实感更强。

附图说明

下面结合附图对本发明作进一步详述。

图1是利用两台Kinect设备采集人体三维信息示意图；

图2是人体三维重建的点云融合流程图；

图3是ICP算法流程图；

图4是人体表面纹理生成流程图。

具体实施方式

本发明采用设备：

两台Kinect v2深度采集设备。

本发明采用软件：OpenNI、Pcl点云库、OpenCV视觉库。

本发明采用以下处理步骤：

首先对两台Kinect设备进行标定，并从不同角度对人体数据进行采集，用于后面点云处理算法和点云融合。

通过转台的旋转，可以采集到不同角度的人体三维点云数据，这些点云数据包含了人体完整的三维轮廓数据，通过这些数据最终可以得到完整的人体表面轮廓。

利用点云对人体进行建模

利用PCL点云库，对得到的点云集进行处理，构建人体点云模型。

首先，对点云集进行预处理，利用双边滤波算法和K-邻域滤波算法去除噪点和离群点，得到相对干净的点云，为下一步多角度点云的融合提高精度；在点云融合过程中，需要以第一次拍摄的点云数据为基准，利用ICP算法对后面每一次采集的数据进行配准、融合，得到上下两部分的融合点云；再利用ICP算法对上下两部分点云集进行匹配，得到完整人体三维轮廓。本发明在采用ICP算法时对其进行了改进。

本发明采用的双边滤波，这种种非线性滤波器，可以达到保持边缘、降噪平滑的效果，双边滤波的基本思路是同时考虑将要被滤波的像素点的空域信息和值域信息。

双边滤波表达式定义为：

为滤波后的点；p_i为原数据点；a为双边滤波因子；n为点p_i的法矢方向a的表达式如下：

式中：N(p_i)为数据点p_i的邻域点；||·||为向量的模或绝对值；W_c为数据点p_i到其邻域点的光顺滤波权因子；W_s为数据点p_i到邻域点在p_i法向n_i上的特征保持权因子；n_i为数据点p_i的法向量；n_j为临近点p_j的法向量。

基于K-近邻的离群点剔除算法，算法的具体思想为：对点云中每个点，计算该点与其K个近邻点的平均距离；假设所有点到其K-近邻的平均距离符合高斯分布，则到K-近邻的平均距离超过M+D的点，被视为离群点并移除

对采集到的不同角度的点云数据，采用ICP点云融合算法，能够有效提高点云查找速度和匹配精度，提高算法的效率。

采用如下7个步骤：

选取控制点集；查找对应点对；计算对应点对权重；基于SVD分解求点云旋转矩阵；计算平移向量T和比例尺系数K；计算变换前后对应点对最小二乘误差的绝对值；选取特征点集合、查找对应点对，利用点云曲率计算得到的特征点进行计算。

人体表面纹理生成：

在得到完整人体轮廓点云数据以后，由于多个角度点云融合在一起得到的点过多，所以首先需要对点云进行下采样，即对点云进行滤波，减处理基本方法、少不必要的点云，减少点的数量，利用体素法对人体点云进行提取，既保证了生成表面纹理的速度，又可以保持点云的形状特征。

采用Kd-Tree搜索的方法、贪婪三角化算法，先将有向点云投影到某一局部坐标平面内，再在坐标平面内进行平面内的三角化，根据平面内三位点的拓扑关系获得一个三角网格曲面模型。

对人体点云生成三角面，得到粗糙的人体网格化模型，这时候需要对网格模型进行平滑处理，同时利用三角面三个顶点的颜色信息，即将三角面各顶点A、B、C与三角形中心点O距离a、b、c，a/(a+b+c)、b/(a+b+c)、c/(a+b+c)为各点颜色信息权重；通过三点各自颜色信息乘以各自权重，进行颜色融合，就可以得到三角面颜色信息。

对生成的三角面进行颜色映射，最后得到完整的带有真实纹理信息的人体三维模型。

本发明采用两台上下排列的Kinect设备对人体信息进行采集，其价格低廉，所占空间较小，场景适应性强，并且操作简单，适应性强；既可以完整地采集到人体数据，又能将采集距离控制在一定范围内，提高数据的精度。

点云配准时，先将每台Kinect设备采集的数据进行配准融合，再利用两台设备标定数据统一坐标系，并进行进一步的配准融合，减少了配准过程引入的误差，也提高了各部分点云数据的精度。

利用本发明的ICP算法，提高传统ICP算法精度和效率，解决了特征点云配准问题，能够有效降低重叠区域误差。

最后利用三角形点云颜色映射的方法，为人体模型添加实际的颜色信息，增强表面细节特征，增加了模型的真实感。

本方案采用两台Kinect设备对人体进行三维重建，能够有效降低三维建模成本，简化三维建模操作方法。本发明的ICP点云融合算法，较传统ICP算法效率高，解决了特征点云配准问题，能够有效降低重叠区域误差。

Claims (3)

1.一种三维重建中人体表面重构方法，其特征是，所述方法首先采用固定的Kinect设备对站在转台上的人体进行三维数据的采集，并对采集得到的多个角度的点云数据进行配准、融合，得到完整人体三维轮廓；然后对人体轮廓点云数据进行下采样，减少点的数量，并采用贪婪三角化算法，对点云进行三角面生成，得到粗糙的人体网格化模型，再利用三角面三个顶点的颜色信息，对生成的三角面进行颜色映射，生成人体表面纹理，最终得到完整的带有真实纹理信息的人体三维模型。

2.根据权利要求1所述的一种三维重建中人体表面重构方法，其特征是，所述人体三维数据采集和人体三维轮廓的建立按以下步骤进行：

a.人体三维数据的采集

首先对两台Kinect设备进行标定，然后利用Kinect设备对站在转台上的人体进行三维数据的采集，转台每旋转一定的角度，Kinect设备采集一次数据，转台旋转一周，Kinect完成人体三维数据的采集，得到多个角度的点云集；

b.对得到的点云集进行预处理

利用双边滤波算法和K-邻域滤波算法去除噪点和离群点，得到相对干净的点云；

c.以第一次拍摄的点云数据为基准，利用ICP算法对后面每一次采集的数据进行配准、融合，得到上下两部分的融合点云；

d.利用ICP算法对上下两部分点云集进行匹配，得到完整人体三维轮廓。

3.根据权利要求2所述的一种三维重建中人体表面重构方法，其特征是，所述ICP算法包括以下步骤：

①选取控制点集；

②查找对应点对；

③计算对应点对权重；

④基于SVD分解求点云旋转矩阵；

⑤计算平移向量T和比例尺系数K；

⑥计算变换前后对应点对最小二乘误差的绝对值；

⑦选取特征点集合、查找对应点对，利用点云曲率计算得到的特征点进行计算。