CN106709947B - 一种基于rgbd相机的三维人体快速建模系统 - Google Patents

Abstract

本发明公开了一种基于RGBD相机的三维人体快速建模系统，利用多台RGB‑D相机组建扫描阵列，使用自动标定技术对扫描阵列进行标定，获得标定矩阵并自动导入扫描系统，开始扫描后阵列中的RGB‑D相机同时运行，各自独立扫描目标对象，获得对应位姿的点云数据。利用点云优化技术处理所采集点云数据，获得可用于三角网格化的优质点云。利用快速三角网格化算法，实现从点云到三角面片模型的重建，利用色彩映射技术获得带有色彩的三维人体模型。本发明是一种基于多个RGB‑D相机构建扫描矩阵，快速采集人体特征数据，实现精度高，颜色纹理精细的人体三维模型重建的技术。

Description

一种基于RGBD相机的三维人体快速建模系统

技术领域

本发明属于多学科交叉的研究领域，是机械测量、计算机图形学、图像处理在工程中的重要应用，特别涉及一种基于RGBD相机的三维人体快速建模系统。

背景技术

随着立体视觉技术的发展和三维扫描仪、激光雷达等坐标测量设备的逐渐普及，使得三维点云模型的获取越来越快捷。目前常见深度图像的获取方式分为接触式和非接触式，非接触式又分为主动扫描和被动扫描。非接触式的主动扫描常见有手持激光系统、TOF(Time-of-Flight)相机、结构光系统以及深度传感器等。手持激光系统对待测物体发出激光点或线性激光束，以感测元件测量待测物到设备之间的距离，通常需搭配校正装置。这种方法在于可得到较准确的深度数据，但需额外的设备辅助，且一次只能得到一个点或一条线的深度数据，须多次扫描才能获取完整的数据。TOF相机利用激光束探测目标物，借由计算激光束脉冲往返一趟的时间换算出物体与设备之间的距离而获取深度数据。这种方法可以快速简便得到深度数据，不需多余的仪器来辅助，缺点是价格高昂以及数据信息量过大。结构光系统利用可变光源在时间上连续调整光线的强弱，通过观察图像每个像素的亮度变化与光的相位差，计算出距离深度。结构光系统的优点在于获取图像数据的质量较好，但需要多个摄像头进行协调配合工作，且受光照条件影响较大，对系统要求较高。这种三维重建技术虽然重建数据精度高，但系统操作复杂、设备昂贵，不适合普通用户使用。因此如何降低生产成本，如何快速便宜地对物体建模,是三维重建技术发展的一个重要目标。

现有的三维人体重建技术多利用一台或者两台三维扫描仪，配合转台实现人体三维特征扫描，进一步实现三维人体模型重建；这种方法，受限于转台的旋转时间，扫描时间较长，同时要求在扫描同时，扫描对象要保持长时间静止状态，不利于实际应用。

或是通过低分辨率下的图像轮廓和深度数据结合，再利用已有的三维人体模版模型估计人体形状，进一步实现三维重建，这种方法重建精度不高，脸部，服装等细节不明显。

发明内容

本发明的目的在于克服上述现有技术不足，提供一种基于RGBD相机的三维人体快速建模系统，是一种基于多个RGB-D相机构建扫描矩阵，快速采集人体特征数据，实现精度高，颜色纹理精细的人体三维模型重建的技术。

本发明的技术方案是这样实现的：

一种基于RGB-D相机的三维人体快速建模系统，利用多台RGB-D相机组建扫描阵列，使用自动标定技术对扫描阵列进行标定，获得标定矩阵并自动导入扫描系统；开始扫描后阵列中的RGB-D相机同时运行，各自独立扫描目标对象，获得对应位姿的点云数据，利用点云优化技术处理所采集点云数据，获得可用于三角网格化的优质点云；利用快速三角网格化算法，实现从点云到三角面片模型的重建，利用色彩映射技术获得带有色彩的三维人体模型。

所述的使用自动标定技术对扫描阵列进行标定，步骤如下：

1)选取扫描面部细节的RGB-D相机坐标系作为基准坐标系；并依次按顺时针将其他RGB-D相机坐标系定为待变换坐标系；

2)自动标定程序运行时，利用驱动控制所需标定的两台RGB-D相机在同一时刻对同一标定对象棋盘格进行扫描，提取二维图像中的对应的角点特征点；

3)变换矩阵的计算，获得二维图像角点后，将二维图像坐标系角点转换为相机坐标系下的三维点，并计算变换矩阵完成标定。

获得对应位姿的点云数据，利用点云优化技术处理所采集点云数据，步骤如下：

1)对于获得的原始深度数据，利用多帧数据进行滤波去噪；

2)多个RGB-D相机的快速三维人体重建技术实现过程中，利用区域分割以及聚类提取法对原始点云进行人体点云提取，以及对点云进行拼接；

3)对于拼接点云，对拼接重叠区域进行重新采样、并对点云进行光滑处理，使最终人体点云均匀，光滑。

所述的利用快速三角网格化算法，实现从点云到三角面片模型的重建，利用色彩映射技术获得带有色彩的三维人体模型，步骤如下：

1)对于人体点云模型，进行点云的法向计算，利用基于泊松方程的网格化方法，将无结构的点云进行结构识别,获得用三角面片来表示的PLY格式结构；

2)对于初步三角网格模型利用网格细分规则对网格模型拓扑结构进行优化、加密；

3)利用纹理映射技术将二维图像位图上的像素值映射到三维实体模型组成几何面片的对应顶点上,以增强实体模型的真实感。

本发明具有以下优点：

1.利用自动标定技术，实现系统快速自动精确标定；

2.鲁棒性高，由于多RGB-D相机同时快速采样、多帧深度数据快速采样技术的应用，适用于人体各种姿势重建，并能有效过滤轻度人体移动带来的采样误差影响；

3.无需提取图像特征点进行局部配准。得益于高精度的自动标定，局部配准只需考虑重叠点的影响，进行重叠区域的重采样，进一步获得平滑、均匀点云。

附图说明

图1为多台RGB-D相机构建扫描矩阵的标定原理示意图；

图2为多帧点云数据降噪实现步骤图；

图3A为点云重采样光滑处理前的局部特征图；

图3B为点云重采样光滑处理后的局部特征图；

图4为纹理映射实现的一般步骤；

图5为二维图形空间里泊松重建的直观图例；

图6为Loop网格细分的示意图；

图7为三维重建的整体流程示意图；

图8A为三维重建前的人体点云模型正面；

图8B为三维重建前的人体点云模型背面；

图8C为三位重建后模型的网格密度示意图；

图8D为模型网格再划分后的网格密度示意图；

图8E为纹理映射前的模型颜色分辨率示意图；

图8F为纹理映射后的模型颜色分辨率示意图。

具体实施方式

下面结合附图和实施例对本发明做详细说明：

该技术的主要思路：利用多台RGB-D相机组建扫描阵列，使用自动标定技术对扫描阵列进行标定，获得标定矩阵并自动导入扫描系统，开始扫描后阵列中的RGB-D相机同时运行，各自独立扫描目标对象，获得对应位姿的点云数据。利用点云优化技术处理所采集点云数据，获得可用于三角网格化的优质点云。利用快速三角网格化算法，实现从点云到三角面片模型的重建，利用色彩映射技术获得带有色彩的三维人体模型。

本发明通过扫描矩阵快速采集并实现三位重建，具有鲁棒性和时效性，计算复杂度低，极大的领先于同类已有方法。

多台RGB-D相机构建扫描矩阵，利用快速标定技术实现任意两台RGB-D相机间标定，获得任意两台RGB-D相机之间的姿态(水平距离、旋转角度)关系，进而完成整体扫描矩阵的标定工作。

步骤1、选取扫描面部细节的RGB-D相机坐标系作为基准坐标系(选取扫描面部细节的RGB-D相机作为基准坐标系，为了最大程度保证三维人体重建面部的质量)，记为坐标系A，然后按顺时针将其他RGB-D相机坐标系记为B、C、D，如下图1所示。扫描矩阵标定就是计算B、C、D坐标系到参考坐标系A间的变换关系。

步骤2、特征点检测，自动标定程序运行时，利用驱动控制所需标定的两台RGB-D相机在同一时刻对同一标定对象棋盘格进行扫描，分别可以获得两张1080*1920分辨率的带有标定棋盘格的图片，然后利用标定程序提取二维图像中的对应的角点特征点，具体步骤：

1)利用参考相机及被标定相机分别扫描黑白棋盘标定板，获得两帧图像A、B。

2)利用Harris角点检测算法分别对两帧图像A、B进行角点检测，若检测到角点则继续下一步；若未检测到角点则重新采集图像进行检测。

3)角点检测后，判断检测到的角点数目是否与总数相等，若不想等则重新采集图像进行检测。

4)保存检测到的角点坐标信息，该信息为角点在图像坐标系u-v的坐标，用于后续从二维角点特征点获得三维角点特征点。

5)加载另一台相机图像进行1-4过程。

步骤3、变换矩阵的计算，获得二维图像角点后，将二维图像坐标系角点转换为相机坐标系下的三维点，并计算变换矩阵完成标定。

点云处理。对于获得的原始深度数据，需进行滤波去噪。多个RGB-D相机的快速三维人体重建技术实现过程中，需对原始点云进行人体点云提取，以及对点云进行拼接。最后对于拼接点云，需进行一定的优化操作，使最终人体点云均匀，光滑。

步骤1、采集多帧数据进行降噪，是一种利用RGB-D快速采集特性实现的降噪方法，选取多帧数据相互进行比对，保留具有相同位置点采样生成优质点云的方法。具体步骤如图2：

假设一组多帧点云数据为P₁，P₂......P_k，设点云数据P₁为基准参照点云。则多帧比对降噪算法如下：

1)建立输入点云集P₂的K-d树；

2)根据点云特性，设置合适的阈值，对于每一个点p_i∈P₁，利用K-d树查询点p_i的临近点。

3)若在点集P₂中找到点p_i的临近点，返回2继续执行；

4)若未在点集P₂中找到点p_i的临近点，则从P₁中移除该点返回Step 2继续执行；

5)遍历完成所有p_i∈P₁后，获得新的P₁并作为基准参照点云，将下一帧点云数据P₃作为输入，重复执行上述1到4；

6)多帧点云数据均完成对比后，算法结束，此时点云数据P₁即为处理后优质点云

步骤2、人体点云提取。根据空间、几何和纹理等特征对点云进行划分，使得同一划分区域内的点云拥有相似的特征，最终获得完整人体点云模型。本发明利用的人体点云提取方法包括：区域分割以及聚类提取法。具体实现步骤如下：

区域分割：

1)测量真实物理空间区域界限，获得相机坐标系点云空间界限；

2)设置分隔区域的物理尺度边界：±X、±Y、±Z；

3)判断点集中的点的三维坐标，该点是否在分隔区域内；若在区域内，将该点保存，否则舍弃；

4)循环3步骤，直至遍历完毕，保存区域内点云，实现区域分割。

聚类提取：利用任意点最临近关系，使用临近点之间距离作为判定标准，判断点云是否应该聚成一类，将距离在一定阈值内的点归为一类：

首先明确点与点间的欧式距离：

式中p_i，q_i∈P，P为点云集

1)建立输入点云数据P的K-D树；

2)设置一个空的聚类集C，以及用来存储被检验的点集的队列Q；

3)对于每一个点p_i∈P，执行以下步骤：

i.添加p_i到当前队列Q，对于每一个点p_i∈Q执行：利用K-d树以点p_i为圆心查找，将距离小于阈值d的临近点点集，放入Q；查找每一个临近点，如果该点未被处理则放入Q；

ii.当Q不再有新点加入了，则完成搜索，将Q中的点放入聚类C中，算法结束；

步骤3、点云拼接。其目的是通过在两片或多片数据点云中找出正确的排列关系，使它们能够拼合成一片完整的数据点云。

对于源数据集中每个数据点，每次迭代都在目标数据集中找到最近的点，再由这些最近点作为控制点，估计出变换矩阵参数。直到满足收敛准则使得两次迭代的目标函数值变化小于一定阈值或者达到预设的迭代次数，迭代计算才会停止。

假定用P_i表示第1个点集，第2个点集表示为Q_i，2个点集的对齐配准转换为使下列目标函数最小。

假设给定两个三维点集X1和X2的配准步骤如下：

1)利用K-D树计算X2中的每一个点在X1点集中的对应最近点；

2)求得使上述对应点对平均距离D最小的刚体变换，求得平移参数和旋转参数；

3)对X2使用上一步求得的平移和旋转参数，得到新的变换点集；

4)如果新的变换点集与参考点集满足目标函数要求，即两点集的平均距离小于某一给定阈值，则停止迭代计算，否则新的变换点集作为新的X2继续迭代，直到达到目标函数的要求

步骤4、对于拼接后点云，需对拼接重叠区域进行重新采样、并对点云进行光滑处理。采用方法为滑动最小二乘法光滑，采用迭代的投影方式通过将分布在采样表面周围的点移至表面上来消除噪声，获得光滑的流形表面，如图3A，B。为实现MLS点云重采样的一般步骤为：

1)输入原始点云数据P；

2)设置搜索半径及多项式拟合次数；

3)设置点云搜索方法；计算逼近或差值曲面；

4)输出光滑表面，

点云网格化及纹理映射。点云网格化的过程就是将无结构的点云进行结构识别,用一个多边形的曲面近似表示这个结构,最常用的方式是用三角面片来表示结构。点云网格化以后利用纹理映射将二维图像位图上的像素值映射到三维实体模型组成几何面片的对应顶点上,以增强实体模型的真实感，如图4所示。

步骤1、法向计算,点云本身是不具有法向信息的，但在网格化过程中需要利用法向信息实现等值面的提取，因此需对点云进行法向计算。已知一个点云数据集，在其中的每个点处直接近似计算表面法线。确定表面一点法线的问题近似于估计表面的一个相切面法线的问题，因此转换过来以后就变成一个最小二乘法平面拟合估计问题。

因此估计表面法线的解决方案就变成了分析一个协方差矩阵的特征矢量和特征值，这个协方差矩阵从查询点的近邻元素中创建。更具体地说，对于每一个点Pi,对应的协方差矩阵C，如下：

此处，k是点p_i邻近点的数目,

表示最近邻元素的三维质心，λ_j是协方差矩阵的第j个特征值，

是第j个特征向量。

确定法向的正负方向：如果实际知道视点Vp，那么这个问题的解决是非常简单的。对所有法线定向只需要使它们一致朝向视点方向，满足下面的方程式：

步骤2、基于泊松方程的网格化过程就是围绕着估计模型的表面指示函数以及提取对应等值面的过程而进行的，从而对输入点集数据信息完成为一个相互之间无缝隙的三角面片组合而成的表面信息模型。如图5，其实现的一般步骤：1、输入点云数据模型；2、进行八叉树划分；3、计算点云的法向量；4、解泊松方程；5、等值面提取；6、生成表面模型；

步骤3、网格再划分，对于初步网格化后的模型，其模型网格密度较低，组成模型的三角片面较大，为更好的进行纹理映射，需进一步对初步网格化的模型进行组成网格的再划分。其依据的基本划分原理是Loop细分规则，如图6。在三维人体重建中，网格再划分在工程中具体实现步骤如下：

1)设置Loop细分迭代次数n；

2)定义三角面片类Face，边类Edge，顶点类Vertex；其中Face类中包含一个三角面片的顶点、边等信息，这些数据结构用于细分过程中的数据交换存储以及计算；

3)读取PLY格式人体面部三角网格模型，并将三角面片信息保存到列表vector<Face>FaceList；

4)遍历FaceList，按照Loop网格细分原理计算原三角形顶点新坐标；

5)遍历FaceList，按照Loop网格细分原理计算三角行线段中间插值点；

6)根据原三角网格的拓扑关系，利用新生成的点重新生成三角面片结构，清空旧FaceList生成更新FaceList；

7)根据细分迭代次数n，循环执行3-6步骤，满足迭代终止条件，算法终止。

8)获得最新FaceList，根据PLY格式要求，重建点、三角面片间的索引关系，获得细分后的面部网格模型。

步骤4、纹理映射是把二维的图像位图上的像素值映射到三维实体模型的对应顶点上,以增强实体模型的真实感。网格模型纹理的表现依靠组成的三角面片顶点RGB颜色信息实现。再划分前的初步网格化模型，利用的是点云自身带有的颜色对形成的三角网格进行每个三角形顶点颜色赋予。但对于再划分后生成的新的顶点，不能直接利用点云自身颜色插值获得，否则起不到通过网格再划分加强细节特征的目的。

对于在网格细分过程中产生的新的三角形顶点，其颜色信息的获取是通过插值的手段获取其在二维图像平面中的(u，v)坐标。在本发明中，细分顶点的纹理颜色映射算法，具体实现如下所示：

1)定义三角面片类Face，边类Edge，顶点类Vertex；其中Face类中包含一个三角面片的顶点、边等信息，而Vertex类中包含顶点的xyz坐标，rgb信息对应于二维图像坐标系的(u，v)坐标等。

2)加载三维网格模型，开始网格细分过程，在细分同时对于新生成的顶点进行如下插值计算：

a.细分过程生成新的顶点Ve(x,y,z)，根据生成新定点类型的不同，以Loop细分原理中顶点的生成公式作为插值公式；

b.根据映射算法原理，分别计算顶点v0,v1,v2,v3对应于二维图像坐标系的坐标(u，v)；

c.根据插值公式，分别插值计算出新生成的点Ve对应于二维图像坐标系的(u，v)坐标,从而获取颜色信息。

3)利用Vertex类保存新生成顶点，迭代完成细分过程，最终获得FaceList面片列表。该列表中每个Face，对应三个Vertex，包含用于构成三维网格模型的所有信息。

步骤5、三维模型拓扑结构建立。三角网格模型的的保存首先要建立顶点与面片间的拓扑关系，也就是从FaceList面片列表求出面片顶点的索引。在三维人体重建中采用插入查询的方法建立顶点与面片间的拓扑关系。

1)定义Point结构保存顶点列表，定义FaceIndex结构保存面片索引，定义Map结构用于插入查询。

2)遍历FaceList面片列表，对于每一个Face的三个顶点vt0，vt1，vt2进行插入查询：

a.插入查询顶点vt0，比较map容器中元素；若容器中不包含此元素，则插入成功，map容器大小加1，这种情况插入顶点的索引值为map大小减1，并在map容器插入该元素中保存索引值；

b.若容器中包含此元素，则插入失败，map容器大小不变，此时map容器会返回查询到map中该元素的位置，此时插入顶点的索引值为map中该元素的索引值；

c.保存顶点v0至Point结构；

d.重复a-c步骤完成一个Face三个顶点vt0，vt1，vt2的插入查询。保存三个索引值到FaceIndex；

3)遍历全部面片，获得Point结构表征顶点列表，FaceIndex结构表征面片列表索引关系。至此顶点与面片间的拓扑关系建立完毕。

三位重建实例，如图8所示，其中图8所示即为三位重建过程主要流程，分别为数据采集、矩阵标定、点云处理、点云网格化以及纹理映射。

Claims (2)

1.一种基于RGB-D相机的三维人体快速建模系统，其特征在于：利用多台RGB-D相机组建扫描阵列，使用自动标定技术对扫描阵列进行标定，获得标定矩阵并自动导入扫描系统；开始扫描后阵列中的RGB-D相机同时运行，各自独立扫描目标对象，获得对应位姿的点云数据，利用点云优化技术处理所采集点云数据，获得可用于三角网格化的优质点云；利用快速三角网格化算法，实现从点云到三角面片模型的重建，利用色彩映射技术获得带有色彩的三维人体模型；

所述的使用自动标定技术对扫描阵列进行标定，步骤如下：

1)选取扫描面部细节的RGB-D相机坐标系作为基准坐标系；并依次按顺时针将其他RGB-D相机坐标系定为待变换坐标系；

2)自动标定程序运行时，利用驱动控制所需标定的两台RGB-D相机在同一时刻对同一标定对象棋盘格进行扫描，提取二维图像中的对应的角点特征点；

3)变换矩阵的计算，获得二维图像角点后，将二维图像坐标系角点转换为相机坐标系下的三维点，并计算变换矩阵完成标定；

获得对应位姿的点云数据，利用点云优化技术处理所采集点云数据，步骤如下：

1)对于获得的原始深度数据，利用多帧数据进行滤波去噪；

2)多个RGB-D相机的快速三维人体重建技术实现过程中，利用区域分割以及聚类提取法对原始点云进行人体点云提取，以及对点云进行拼接；

3)对于拼接点云，对拼接重叠区域进行重新采样、并对点云进行光滑处理，使最终人体点云均匀，光滑。

2.根据权利要求1所述的一种基于RGB-D相机的三维人体快速建模系统，其特征在于：所述的利用快速三角网格化算法，实现从点云到三角面片模型的重建，利用色彩映射技术获得带有色彩的三维人体模型，步骤如下：

1)对于人体点云模型，进行点云的法向计算，利用基于泊松方程的网格化方法，将无结构的点云进行结构识别,获得用三角面片来表示的PLY格式结构；

2)对于初步三角网格模型利用网格细分规则对网格模型拓扑结构进行优化、加密；

3)利用纹理映射技术将二维图像位图上的像素值映射到三维实体模型组成几何面片的对应顶点上,以增强实体模型的真实感。

Images