CN109300153A

CN109300153A - 一种多台Xtion传感器协同扫描的三维重建系统及方法

Info

Publication number: CN109300153A
Application number: CN201811024413.8A
Authority: CN
Inventors: 余雷; 徐浩楠; 张永举; 李长頔; 侯君怡; 张伟; 龚申健; 王新志; 刘景雯
Original assignee: Suzhou University
Current assignee: Suzhou University
Priority date: 2018-09-04
Filing date: 2018-09-04
Publication date: 2019-02-01

Abstract

本发明公开了一种多台Xtion传感器协同扫描的三维重建系统及方法，该系统包括支架、设于支架上的旋转平台以及从下到上沿竖直方向设于旋转平台上的第一Xtion传感器、第二Xtion传感器和第三Xtion传感器，所述旋转平台经一转动机构设置在支架上；所述第一Xtion传感器配置有第一控制器，所述第二Xtion传感器配置有第二控制器，所述第三Xtion传感器配置有第三控制器，所述第一控制器、第二控制器和第三控制器中有且仅有一个被设置为主机，该主机与转动机构相连接；所述第一、二控制器和第三控制器与一计算机数据连接。本发明能够解决当前三维重建系统在重建复杂大场景的时候容易陷入内存的问题和重建模型漂移的问题。

Description

一种多台Xtion传感器协同扫描的三维重建系统及方法

技术领域

本发明涉及三维重建技术领域，具体涉及一种多台Xtion传感器协同扫描的三维重建系统及方法。

背景技术

目前，场景及物体的三维重建在人机交互、虚拟现实、游戏电影等诸多领域都有着广泛的应用。而当前场景及物体的三维建模大多是基于激光扫描的方法。此种方法虽然能获得较理想的三维建模的效果，但是系统造价昂贵。深度相机(RGB-D相机)的出现，可以说是一场革命性的变革。RGB-D相机能同时获得彩色图像和深度图像，使得三维重建变得容易。但是如何仅使用RGB-D相机获取图像序列进行三维重建是计算机视觉一个重要的目标。

基于图像序列的自动重建系统已有很多研究。基于KinectFusion系统是基于RGB-D相机三维重建的开山之作，首次实现了实时的稠密三维重建。该系统使用TSDF(TruncatedSigned Distance Function)模型不断融合深度图像重建三维模型。通过配准当前帧与模型投影获取的图像计算位姿，比通过配准当前帧和上一帧计算位姿要更加准确。但是与早期工作类似，KinectFusion系统也存在着明显的缺陷，比如KinectFusion中使用的TSDF模型将整个待重建的空间划分成等大小的网格，当重建体积较大，或者网格的空间分辨率较高时很消耗显存。而且KinectFusion算法没有回环检测和回环优化，这也造成当相机移动距离大时，不可避免的会有累积误差，累积误差会造成重建场景的漂移。在Kintinuous系统中，TSDF体可以跟随摄像机的运动进行移动，重建的场景得到看扩展。但是回环地方处理的并不理想，有些地方回环虽然检测到了，但是两次重建的并没有对齐上，造成同一个地方重建的错开。与Kintinuous系统更关注相机位姿的准确性问题不同，Elasticfuison系统则将重点放在了建图的准确性上。Elasticfuison系统通过不断优化重建map的方式来提高重建和位姿估计的精度。虽然Elasticfuison系统重建的模型比较精确，但是Elasticfuison系统适合重建房间大小的场景，当重建较大场景的时候，模型将漂移的比较严重。且Elasticfuison系统在手持RGB-D相机扫描重建的时候，相机需平稳的扫描，当发生较大的旋转扫描或者相机的抖动的时候，重建的模型也漂移比较严重。总之，目前的三维重建系统在重建复杂大场景的时候，容易陷入内存不足和模型漂移严重的情况。

发明内容

本发明的发明目的是提供一种多台Xtion传感器协同扫描的三维重建系统及方法，能够解决当前三维重建系统在重建复杂大场景的时候容易陷入内存的问题和重建模型漂移的问题。

为达到上述发明目的，本发明采用的技术方案是：一种多台Xtion传感器协同扫描的三维重建系统，包括支架、设于支架上的旋转平台以及从下到上沿竖直方向设于旋转平台上的第一Xtion传感器、第二Xtion传感器和第三Xtion传感器，所述旋转平台经一转动机构设置在支架上；

所述第一Xtion传感器配置有第一控制器，所述第二Xtion传感器配置有第二控制器，所述第三Xtion传感器配置有第三控制器，所述第一控制器、第二控制器和第三控制器中有且仅有一个被设置为主机，该主机与转动机构相连接；

所述第一控制器、第二控制器和第三控制器与一计算机数据连接。

上述技术方案中，所述支架为三脚架。

上述技术方案中，所述第一控制器、第二控制器和第三控制器均为树莓派。

上述技术方案中，所述转动机构为步进电机，所述旋转平台设于步进电机的旋转轴上。

一种多台Xtion传感器协同扫描的三维重建方法，包括如下步骤：

步骤一、对第一Xtion传感器、第二Xtion传感器和第三Xtion传感器分别进行一次标定；

步骤二、对第一Xtion传感器、第二Xtion传感器和第三Xtion传感器之间的关系进行标定，以第二Xtion传感器为基准，同一旋转角度下的第一Xtion传感器和第三Xtion传感器采集的图像与第二Xtion传感器采集的图像匹配关联；相邻两个角度下的第二Xtion传感器采集的两个图像匹配关联；

步骤三、采用粗标定值对第一Xtion传感器、第二Xtion传感器和第三Xtion传感器与旋转平台之间的关系进行标定；

步骤四、初始化系统后，利用旋转平台上的第一Xtion传感器、第二Xtion传感器和第三Xtion传感器进行多站点的图像采集；

步骤五、对步骤四中采集到的图像进行深度图像滤波预处理；

步骤六、对RGB图像进行特征提取，并融合深度图像的深度信息再进行特征匹配；

步骤七、对两个站点之间的位姿进行求解，得到相机位姿图；

步骤八、所述相机位姿图经闭环检测后，再经位姿图优化实现三维重建。

上述技术方案中，所述步骤六中，采用GPU加速的SIFT特征提取法。

上述技术方案中，所述步骤七中，联合下一站点的起始帧与上一站点的最后一帧进行求解相机位姿图。

上述技术方案中，所述步骤八中，采用词袋技术进行闭环检测。

上述技术方案中，所述步骤八中，采用分段式光束法平差进行位姿图优化。

由于上述技术方案运用，本发明与现有技术相比具有下列优点：

1.本发明使用三台Xtion传感器协同扫描，提前标定好的旋转平台，可获得三台Xtion传感器之间的位置关系和各个序列图片之间的位置关系。在单个站点的三维重建中无需位姿估计，节省了内存空间，且可以给集束调整算法提供一个较精确的相机位姿初值；

2.本发明采用一种分段式集束调整优化相机位姿可获得更精确的相机位姿。

附图说明

图1是本发明实施例一的系统结构示意图。

图2是本发明实施例一的图像序列匹配示意图。

图3是本发明实施例一的三维重建流程图。

图4是本发明实施例一的系统的三个Xtion传感器采集的RGB图像。

图5是本发明实施例一的系统的三个Xtion传感器采集的深度图像。

图6是本发明实施例一的重建的模型图。

图7是本发明实施例一的单个站点的三维重建模型图。

图8是使用传统的集束调整优化后获得的三维重建模型图。

图9是使用本发明的分段式集束调整获得的三维重建模型图。

图10是复杂场景的三维重建模型图。

其中：11、支架；22、旋转平台；33、第一Xtion传感器；44、第二Xtion传感器；55、第三Xtion传感器；66、转动机构。

具体实施方式

下面结合附图及实施例对本发明作进一步描述：

实施例一：

参见图1所示，一种多台Xtion传感器协同扫描的三维重建系统，包括支架11、设于支架上的旋转平台22以及从下到上沿竖直方向设于旋转平台上的第一Xtion传感器33、第二Xtion传感器44和第三Xtion传感器55，所述旋转平台经一转动机构66设置在支架上；

所述第一控制器、第二控制器和第三控制器与一计算机数据连接，计算机被用来处理数据，构建三维地图。

本实施例中，所述支架为三脚架。

本实施例中，所述第一控制器、第二控制器和第三控制器均为树莓派，三台树莓派之间的信息互相有权限读取。

本实施例中，所述转动机构为步进电机，所述旋转平台设于步进电机的旋转轴上。其中，步进电机通过控制旋转平台的旋转速度实现平台的旋转运行。平台旋转的角度w可以由下式获得：

其中，v_s是步进电机旋转速度(step/s)，w₀是一个常数。tm是旋转平台的运行时间。

将系统置于待重建的场景内，便可以启动系统，进行场景的三维重建。系统首先驱动旋转平台旋转，再利用三台树莓派控制三台Xtion传感器每隔时间tm₀采集一次视图差。每次采集图像共获得3对RGB图像和深度图像。同时树莓派将图像传输给远端计算机。在远端计算机上对图像进行处理，生成点云得到物体的三维模型。

具体地，本发明还公开了一种多台Xtion传感器协同扫描的三维重建方法，包括如下步骤：

本实施例中，在所述步骤一中，标定内容内容包括：红外摄像机的相关参数、彩色摄像机的内参数矩阵和红外摄象机与彩色摄像机的刚体变换的相机外参。对于空间中的一点P，由Xtion传感器采集得到其在红外摄像机坐标系下的视差d，可由标定的红外摄像机相关参数计算点P在红外摄像机坐标系下的三维坐标。然后，根据彩色摄像机与红外摄像机的旋转平移关系和彩色摄像机的内参数矩阵，计算点P在彩色摄像机坐标系下的三维坐标以及其对应的图像坐标。对每台Xtion传感器的标定仅需进行一次。三台Xtion传感器均需进行标定。

本实施例中，在所述步骤二中，三台Xtion传感器被固定在旋转平台上，之后就可以对三台Xtion传感器之间的关系进行标定。图像采集的时候，在同一角度上，通过三台树莓派控制三台Xtion传感器采集图像。以第二Xtion传感器为基准，第一Xtion传感器和第三Xtion传感器的图像分别与第二Xtion传感器获得的图像做匹配。参见附图2所示，其从下到上第一行为第一Xtion传感器获得的图像，第二行为第二Xtion传感器获得的图像，第三行为第三Xtion传感器获得的图像。匹配时图像1和图像3分别与图像2建立匹配关系，图像4与图像6分别与图像5建立匹配关系，如此处理后续图像，上下两行的图像分别与中间行图像相匹配。而两个角度之间的匹配仅需考对中间行图像进行匹配关联。即图像2与图像5匹配关联，图像5与图像8匹配关联等等。而上中下三台Xtion传感器之间的位置关系固定不变，因此只需提前标定第一Xtion传感器与第三Xtion传感器的刚体变换即可。第一Xtion传感器和第三Xtion传感器分别与第二Xtion传感器进行标定的过程类似双目相机的标定。仅需标定两台之间的RGB摄像头即可。则通过标定可以获得第一Xtion传感器到第二Xtion传感器的旋转矩阵R₁₂和平移矩阵t₁₂，以及第三Xtion传感器到第二Xtion传感器的旋转矩阵R₃₂和平移矩阵t₃₂。三台Xtion传感器之间的关系仅需标定一次即可。

本实施例中，在所述步骤三中，在固定了Xiton传感器与旋转平台的相对位置之后，要对Xiton传感器与旋转平台的关系进行粗标定。由于三维重建模型的生成依赖于点云配准的结果，而点云配准的错误将导致重建失败。又点云的配准依赖于相机位姿的求解。因此，本发明使用了粗标定值来保证配准结果不出现大的误差。以增强系统的鲁棒性。粗标定的方法如下：

(1)每次间隔时间tm₀采集一次视差图。由公式(1)可知，w₀₁＝w₁₂＝w₂₃＝Λ＝w_n-2,n-1(w_i,i+1表示相邻采集旋转平台旋转的角度)。设相邻两点云的真实变换关系为则有：

但是对于真实场的三维重建，由于旋转平台的旋转误差、Xtion传感器采集误差和Xtion参数标定误差等因素。各变换关系并非是严格相等的，则有

(2)由式(3)可知，相邻点云有相近的坐标变化关系。则可将相邻点云的坐标变化标定一个初始值，记为(R₀t₀)。该值的用处有两个：(1)相机位姿的初始值，从而提高位姿优化的的精度；(2)以该值作为标准来检验最终点云配准的结果，如果点云配准的结果与初始值相差太大，则表明配准失败。可将初始值作为相邻点云变换关系的近似值，保持系统的稳定。

(R₀t₀)的标定结果仅需获得一个合理的初值，无需特别的精确。精确的解可以由后序的优化步骤得到。因此，本发明的粗标定不需采用复杂的标定方法或标定工具。此外，在Xtion传感器和旋转平台位置关系固定以后，粗标定仅需进行一次。

本实施例中，参见附图3所示所述步骤四的具体流程为，首先需先对系统进行初始化，然后旋转平台进行图像的采集。因为在一个站点所取图像重建的场景有限，所以本发明使用多个站点联合拼接构建大场景的三维地图。因此在一个站点取图完毕以后，移动系统至下一站点继续取图，直至所有站点图像采集完毕为止。

本实施例中，在所述步骤六中，采用GPU加速的SIFT特征提取法。

本实施例中，在所述步骤七中，联合下一站点的起始帧与上一站点的最后一帧进行求解相机位姿图。

本实施例中，在所述步骤八中，采用词袋技术进行闭环检测。

本实施例中，在所述步骤八中，采用分段式光束法平差进行位姿图优化。

在对大尺度的场景进行三维重建的时候，传统的光束法平差存在内存和效率的瓶颈。此外，当误差累积过大的时候，传统的光束法平差容易陷入局部最优，无法闭合回路。其原因在于，累积误差集中在回路闭合处，传统的光束法平差自由度太大，很难将累积误差从回路闭合处扩散。为了解决此类问题，本发明采用了分段式光束法平差来解决上述问题。本发明所采用的光束法平差结合了图像采集系统，将图像采集系统的第二Xtion传感器采集的图像作为关键帧，而分段式光束法平差将是基于此关键帧进行优化，这是因为本发明图像采集系统的三个Xtion传感器位置关系是固定不变的，即其运动变换矩阵是固定不变的，而旋转平台旋转的角度存在误差需要优化，所以不需要使用光束法平差优化每一帧的方位，而只需要优化关键帧的位姿即可。

由于误差是逐渐累积的，在每个站点的连续图像序列中，相对误差往往较小。因此每个站点将被作为分段式光束法平差的起始分段，将每个分段都统一的赋予一组运动变量。分段内关键帧的相对位置在优化过程中保持不变。为了减小不同分段到第一分段的运动变换的累积误差，联合优化相机的位姿，以及那些不同分段间的公共三维点位置(标记为集合M)，仅在一个分段可见的三维点的位置保持不变。

其中ξ_i＝(R_i,t_i)为第i个分段到第一个分段的相机位姿变换R_i和t_i分别为三维旋转矩阵和平移矩阵，N_s是分段的数量，ξ_iοX_j＝R_iX_j+t_i。S_i表示第i个分段内包含的关键帧的集合，V_k表示第k个关键帧中的可见点集合，x_jk为第j个三维点在第k个关键帧中的图像位置，R_k和t_k分别为第k个关键帧的相机的位姿的三维旋转矩阵和平移矩阵。初始时刻，即第一个分段内R_i＝I，t_i＝0。优化后的用ξ_i更新关键帧相机方位：

R′_k＝R_kR_i (5)

t′_k＝R_kt_i+t_k (6)

如何对原序列进行分段，对于能否有效扩散并消除累积误差至关的重要。对于每个关键帧F_k，为了最小化其重投影误差，可通过计算最速下降方向：

e_j＝π(K(R_k(ξ_iοX_j)+t_k))-x_jk (8)

对于两个连续的关键帧F_k和F_k+1，如果g_k和g_k+1方向相近，那么赋予他们同一个ξ_i能同时减小这两帧的重投影误差。否则，应将他们分配到不同的分段中。可通过计算连续两个关键帧的最速下降方向的差异：

在差异最大处k^*＝argmax_k∈(k,k+1)将原序列一分为二，即将原序列分为S₁＝{1,2,K,k^*},S₂＝{k^*+1,K}。接着求解优化方程(4)，并重新计算(10)。以此将每个分段再一分为二再进一步优化。上述过程不断重复，直至重投影误差小于8个像素，或者分段个数超过上限。如果分段个数达到上限，基于分段的全局优化也完成之后，通常误差已经很小了。这时候即使在每个分段内进行独立的局部优化(即固定其他端的相机方位和在当前段内不可见的三维点的位置不变，只优化当前段内关键帧的相机方位和三维点)也不容易陷入局部最优解。这样一来，通过控制分段数目，可以在有限的内存和计算资源下，实现对大尺度场景的快速全局优化。

在利用本发明的系统进行三维重建时候，每次取图时，三台树莓派将控制三台Xtion传感器各取一对RGB图像和深度图像。参见附图4至6所示，在图4中，从左至右依次是第一Xtion传感器、第二Xtion传感器和第三Xtion传感器拍摄获得的RGB图像。在图5中，从左至右依次是第一Xtion传感器、第二Xtion传感器和第三Xtion传感器拍摄获得的深度图像。由于三台Xtion传感器之间的位置关系是固定不变的，则在三维重建中不需要对此三张图片之间进行位姿估计就可进行三维重建，减少了计算量。其三张图像的重建效果如图6所示。图6中划线部分和标注的序号是本发明选定的参照物用来测量三维重建的模型精度。(后面图中划线部分和标注的序号也是同样的目的)从图6中可以看出，在提前标定好的相机之间的位姿关系下三维重建，能得到较好的重建效果。

在本发明的系统下，旋转平台旋转一圈，取图20次，共有60对RGB图像和深度图像。在建立匹配关系之后，无需进行相机位姿估计。因为在初始标定的过程中，已经获得了各个图像的位姿的初始值。其单个站点的三维重建如图7所示。

本发明提出的三维重建系统可无需人机交互，在一个站点取图完毕以后，将去下一个站点取图，一直到所有站点取图完成为止。但是随着图片的增多，累积误差增大，将造成三维重建的模型错乱。因此，本发明系统使用了分段式集束调整来优化相机的位姿。将每一个站点作为一段子序列，每个分段内都赋予一组运动变量。然后在每段子序列的最速下降的方向处列为两个子序列，重复处理每个子序列的优化分裂，直至重投影误差小于8个像素，或者分段个数超过上限。其使用传统的集束调整优化和使用分段式集束调整优化获得的三维重建模型分别如图8和9所示。从图8和9中可以看出，当随着数据量的增大，累积误差逐渐增加，使用传统的集束调整进行优化的时候，并不能很好的优化相机位姿和三维点,；而当使用本发明的分段式集束调整的时候，每个分段都赋予了一组运动变量，独立求解优化，这样不易陷入局部最优解，最终能够获得较精确的三维模型。

将本发明提出的三维重建系统应用于更多的复杂大场景(The family roomscene of three-room and two-hall)，也可以得到较好的三维重建模型，其三维重建结果如图10所示。

为了验证本发明系统重建三维模型的精度。量了图6，图7，图9，图10模型中的若干点之间的距离。其图中画线的序号分别代表：1、书柜的长度；2、书柜的高度；3、桌子的长度；4、会议桌的长度；5、会议桌的宽度；6、书柜的高度；7)、门的宽度；8、桌子的长度；9、柜子的长度；10、桌子的长度。重建模型的距离通过MeshLab软件计算得出。将重建结果与手工测量值进行比较，其结果如表1所示。

表1 重建三维模型的测量结果

序号	真实值	测量值	绝对误差	相对误差
					1	1.797m	1.786m	0.011m	0.61％
2	1.902m	1.889m	0.013m	0.68％
					3	2.713m	2.691m	0.022m	0.81％
4	1.203m	1.191m	0.012m	1.00％
					5	2.296m	2.273m	0.023m	1.00％
6	1.797m	1.775m	0.023m	1.28％
					7	0.902m	0.889m	0.013m	1.44％
8	1.121m	1.110m	0.011m	0.98％
					9	2.135m	2.121m	0.014m	0.66％
10	1.512m	1.493m	0.019m	1.26％

从表1中可看出，所有测量数据的相对误差都是小于2％。这表明了本发明的方法对各种复杂的大尺度场景的都有较好重建效果，其精度能够满足三维模型应用的需要。

实验表明，本发明提出的基于多台Xtion传感器协同扫描的三维重建系统，在提前标定好情况下无需单站点内的位姿估计，节省了内存空间。且在有较好的位姿初值使用分段式集束调整算法可以将每个分段都赋予了一组运动变量，独立求解优化，这样不易陷入局部最优解，获得精确的相机位姿进行稠密地图的构建，最终获得了精确的三维重建模型，证明了本发明提出的系统无需人机交互，在面对复杂大场景进行三维重建时也能有较高的效率优化相机位姿，获得精确的三维模型。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对上述实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的上述实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种多台Xtion传感器协同扫描的三维重建系统，其特征在于：包括支架、设于支架上的旋转平台以及从下到上沿竖直方向设于旋转平台上的第一Xtion传感器、第二Xtion传感器和第三Xtion传感器，所述旋转平台经一转动机构设置在支架上；

2.根据权利要求1所述的多台Xtion传感器协同扫描的三维重建系统，其特征在于：所述支架为三脚架。

3.根据权利要求1所述的多台Xtion传感器协同扫描的三维重建系统，其特征在于：所述第一控制器、第二控制器和第三控制器均为树莓派。

4.根据权利要求1所述的多台Xtion传感器协同扫描的三维重建系统，其特征在于：所述转动机构为步进电机，所述旋转平台设于步进电机的旋转轴上。

5.一种多台Xtion传感器协同扫描的三维重建方法，基于权利要求1至4中任一项所述的三维重建系统实现，其特征在于，包括如下步骤：

6.根据权利要求5所述的多台Xtion传感器协同扫描的三维重建方法，其特征在于：所述步骤六中，采用GPU加速的SIFT特征提取法。

7.根据权利要求5所述的多台Xtion传感器协同扫描的三维重建方法，其特征在于：所述步骤七中，联合下一站点的起始帧与上一站点的最后一帧进行求解相机位姿图。

8.根据权利要求5所述的多台Xtion传感器协同扫描的三维重建方法，其特征在于：所述步骤八中，采用词袋技术进行闭环检测。

9.根据权利要求5所述的多台Xtion传感器协同扫描的三维重建方法，其特征在于：所述步骤八中，采用分段式光束法平差进行位姿图优化。