CN111739080A - 多台深度相机共同构建3d空间及3d物体的方法 - Google Patents

Abstract

本发明属于三维重建技术领域，公开了一种多台深度相机共同构建3D空间及3D物体的方法。本发明的步骤包括：对每个深度相机采集到的RGB彩色数据进行预处理，建立每个深度相机的局部坐标系；将所有深度相机的局部坐标系合成一个全局坐标系，对局部坐标系下所有的RGB彩色数据进行合并处理，得到全局坐标系下的RGB彩色数据，对原始Depth数据进行预处理，优化得到位于局部坐标系下的深度数据；将各个局部坐标系下可以采集到的区域中的深度数据转换为全局坐标系下的深度数据；建立虚拟的3D空间和3D物体。本发明采用多台深度相机联动使用，构建一定范围的三维空间，并对该空间进行实时的三维重建。

Description

多台深度相机共同构建3D空间及3D物体的方法

技术领域

本发明属于三维重建技术领域，具体涉及一种多台深度相机共同构建3D空间及3D物体的方法。

背景技术

三维重建技术一直是计算机图形学和计算机视觉的一个热点课题，根据现场条件不同，分为精细模型和普通模型：

而目前精细的三维重建需要昂贵的设备和复杂的处理过程，生成的静态模型由于时效性问题，对于持续运动的场景无法满足需求，更多的应用于科研之中；普通三维重建技术通常以二维图像作为输入，构建出场景中的三维模型。这种方式通常受限于输入的数据，重建出的三维模型通常不够完整，而且真实感较低。

因此，传统的构建方式一直不利于商业上的推广和应用。

随着消费级深度相机的出现，为三维重建提供了深度图像的数据支持，大大降低了重建的难度和使用成本，使得三维重建技术可以应用到几乎任何现实场景中。由于基于深度相机的三维重建技术所使用的是RGB彩色图像和深度图像（Depth Image），因此该技术也通常被称为基于RGB-D的三维重建技术（3D Reconstruction）。

根据前面的介绍可以看出，现有技术主要存在以下两个缺点：1、使用二维图像作为输入的普通三维重建，由于缺乏深度数据的支撑，在精确度上已经满足不了现在的需求，并且由于算法的原因，如果想要提高三维重建的质量则需要投入更多的相机，不仅系统复杂度提升，还降低了便利性。2、较为精细的三维重建则需要昂贵的设备和复杂的处理过程，具有较高的成本，由于庞大的数据量和复杂的处理过程，实时性将很难达到。

深度相机的使用可以简化图像处理的过程，然而单独的深度相机无法做到在同一时间下对一个空间的全方位探测，物体本身的遮挡问题也会造成模型的残缺和遗漏。不过，多相机的组合使用也会面临如下的几个问题：

1、庞大的数据量。如果只是针对一帧的数据进行静态建模，那么只需要将一帧对应的点云数据作为重建的模型输出即可。然而我们的要求不仅如此，我们需要实时的持续的对一个空间内的物体进行三维重建（主要用于重建人体运动），通常情况下，我们就算使用分辨率为640*480，FPS=30的参数，在短短的1秒钟也会从点云得到9216000个点数据，面对如此庞大的数据，如何处理数据。

2、多样的误差。来自一台深度相机所得到的深度数据是存在误差的，那么来自多台深度相机的误差将会累加，这还是仅仅1帧的情况，而即使我们的相机是固定的，但在对于现实中的一个点，在扫描的过程中也会得到众多的测量值，而多台相机对同一点进行测量时，则会使这个“测量值”变得更多，很有可能会识别成不同的点，那么如何计算现实点的最终位置。

发明内容

为了至少解决现有技术存在的上述问题之一，本发明目的在于提供一种多台深度相机共同构建3D空间及3D物体的方法。

本发明所采用的技术方案为：

一种多台深度相机共同构建3D空间及3D物体的方法，包括以下具体步骤：

获取多个深度相机采集到的RGB彩色数据和原始深度数据，并对每个深度相机采集到的RGB彩色数据进行预处理，建立每个深度相机的局部坐标系；

将所有深度相机的局部坐标系合成一个全局坐标系，对局部坐标系下所有深度相机的RGB彩色数据进行合并处理，得到全局坐标系下的RGB彩色数据，然后对原始深度数据进行预处理，优化得到位于局部坐标系下的深度数据；

将各个局部坐标系下可以采集到的区域中的深度数据进行变换处理，转换为全局坐标系下的深度数据，然后将所有相机位于全局坐标系下的深度数据合并为一个初始的深度数据；

根据全局坐标系下合并后的深度数据转换得到深度数据，然后将位于同一立方体中的相邻两帧的深度数据和相融合，根据融合后的深度数据建立虚拟的3D空间和3D物体。

进一步优选的是，在获取多个深度相机采集到的RGB彩色数据和原始深度数据之前先配置三维重建计算机、多台深度相机及与每个深度相机相对应的微型前期处理计算机，并利用所有深度相机搭建场景，根据深度相机的实际相对位置及所需构建的三维空间的坐标系原点进行标定。

更进一步优选的是，获取多个深度相机采集到的RGB彩色数据和原始深度数据，并通过深度相机的内部参数对RGB彩色数据和原始深度数据进行对齐处理，接着进行坐标转换的过程，将位于像素坐标系下的RGB彩色数据转换为位于局部坐标系下的RGB彩色数据。

更进一步优选的是，每个深度相机根据各自对应的微型前期处理计算机、内部参数和相对位置，然后对于其位于局部坐标系下的RGB彩色数据进行合并处理，并通过特征匹配重新生成统一到全局坐标系下的RGB彩色数据；然后对原始深度数据进行双边滤波和降采样的预处理，优化得到位于局部坐标系下的深度数据。

更进一步优选的是，对原始深度数据进行预处理时，从深度相机采集到的第k帧深度图像为R_k，记u =［u v］^T为深度图像某个像素的像素坐标，那么R_k（u）为第k帧的深度图的第（u,v）像素的值，即深度值；对R_k进行双边滤波得到D_k，然后根据相机的内参，使用反投影法由D_k计算在局部空间坐标系下的点云集合V_k，其中每个点

，R³表示笛卡尔三维坐标系，

的齐次化向量；

然后点云集合V_k进行降采样，行数和列数各减半，降采样使用的方法是均值降采样，即在点云集合V_k上四个相邻像素的深度值被平均成一个值，降采样之后的数据还是以V_k表示，此处的V_k即为优化得到位于局部坐标系下的深度数据。

更进一步优选的是，将各个局部坐标系下可以采集到的区域中的深度数据V_k进行变换处理，利用旋转矩阵R和平移向量T转换为全局坐标系下的深度数据

，然后将三台深度相机位于全局坐标系下的深度数据合并为一个初始的深度数据

。

更进一步优选的是，通过当前帧深度图像转换得到的深度数据

，和根据上一帧相机位姿从模型投影获取的深度数据

转换得到的点云进行配准，再使用投影算法计算匹配点，再通过匹配点极小化点到平面距离计算相机位姿，将位于同一立方体中的相邻两帧的深度数据

和

相融合，根据最后得到的深度数据建立虚拟的3D空间和3D物体。

更进一步优选的是，记第k-1帧深度数据的坐标为

，当前的深度数据的坐标为V_k（P），将位于同一立方体中的相邻两帧的深度数据

和

相融合，公式如下：

，

其中W_k（P）为第k帧新加入点的权重，W_k-1（P）为直到k-1帧模型中该点的深度数据,最后更新权重，

为最大权重阈值，

，

根据V_k（P）和W_k（P）两个公式获得的最终的深度数据

建立虚拟3D空间和3D物体。

更进一步优选的是，以时间序列为方向进行显示，实现实时3D物体的重建，接着使用计算机图形学中的网格生成相关方法，从最终的深度数据

中生成三角网格模型，与此同时，之前获得的来自三台深度相机位于全局坐标系下的RGB彩色空间数据，用于图像分析和图像识别。

更进一步优选的是，所述深度相机设置有三台。

本发明的有益效果为：

作为基于深度相机的三维重建方法，本发明实现了与如今三维重建扫描仪的相媲美的功能和效果，并且相比于现有技术，本方法有着更大的扫描范围，更高的实时性，使用方便，成本较低，可以进行快速开发和商业化；对于目前的深度相机的应用，解决了庞大数据量影响时效的问题，并且在深度图像成像方面，解决了多测量值无法取舍的问题，在我们提供的包含深度信息的彩色图像中也可以更方便的开展图像识别工作，再结合三维重建技术，加强了虚拟现实的结合，并且由于其具有的实时性和准确性，可以对持续运动的场景进行实时三维重建，在动作研究方面更具有实质性的价值与优势。

附图说明

图1是本发明利用三台深度相机构建场景时的示意图；

图2是相机的成像原理图；

图3是本发明对原始深度数据进行双边滤波处理前后的示意图；

图4是深度图像预处理前的示意图；

图5是对原始深度图进行滤波、降噪和降采样处理时的流程图；

图6是把立方体切分成不同分辨率的小立方体网格时的示意图；

图7是使用TSDF后各网格到物体表面的具体表示图；

图8是找三维坐标值和法向量相近的点的示意图；

图9是点到平面距离示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将结合附图和实施例或现有技术的描述对本发明作简单地介绍，显而易见地，下面关于附图结构的描述仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

以下将参照附图，通过实施例方式详细地描述本发明提供的技术方案。在此需要说明的是，对于这些实施例方式的说明用于帮助理解本发明，但并不构成对本发明的限定。

在一些例子中，由于一些实施方式属于现有或常规技术，因此并没有描述或没有详细的描述。

此外，本文中记载的技术特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，还可以在一个或多个实施例中以任意合适的方式组合。对于本领域的技术人员来说，易于理解与本文提供的实施例有关的方法的步骤或操作顺序还可以改变。附图和实施例中的任何顺序仅仅用于说明用途，并不暗示要求按照一定的顺序，除非明确说明要求按照某一顺序。

本文中为部件所编序号本身，例如“第一”、“第二”等，仅用于区分所描述的对象，不具有任何顺序或技术含义。而本申请所说“连接”、“联接”，在合理情况下(不构成自相矛盾的情况下)，均包括直接和间接连接(联接)。

本实施例提供一种多台深度相机共同构建3D空间及3D物体的方法，包括以下具体步骤：

配置三维重建计算机和多台深度相机（本实施例中优选为三台深度相机，因此以下均以三台深度相机为例进行说明），并利用所有深度相机搭建场景，根据深度相机的实际相对位置即相机的外部参数（已确认的通过标定得出的数据），及所需构建的三维空间的坐标系原点进行标定，如图1所示，其中包括：

3台深度相机，3个固定高度的相机专用支架，每台深度相机固定于一个相机专用支架上，利用相机专用支架确定深度相机的拍摄角度。图1中的视野俯视角边界表示的是每个深度相机拍照到的最低位置，图1中的三维重建-3D空间范围则为3台深度相机聚集到的视野范围。

全局坐标系下相对位置等参数，具体包括：1.坐标原点O：设置其中一台深度相机为主相机，并以主相机垂直于地面的点作为全局坐标系的原点；2.旋转角度：各相机的局部坐标系相对于全局坐标系的X、Y、Z轴的夹角，用来计算三台深度相机的旋转矩阵R₁、R₂和R₃。3.平移向量：各相机的局部坐标系的原点在全局坐标系中的坐标（x,y,z），用来计算三台深度相机的平移向量T₁、T₂和T₃。最后使用这些参数对全局坐标系和局部坐标系进行同步设置，方便后续使用。

获取多个深度相机采集到的数据流（RGB彩色数据C_k和原始深度数据R_k），对每个深度相机采集到的RGB彩色数据C_k进行预处理，建立每个深度相机的局部坐标系；通过深度相机的内部参数对RGB彩色数据C_k和原始深度数据R_k进行对齐处理和坐标转换处理；相机的成像原理如图2所示。

相机坐标系：原点位于小孔o，Z_c轴与光轴F_c重合，X_c轴和Y_c轴平行投影面。

图像坐标系：原点位于光轴F_c和投影面O_pxy的交点O_p，x轴和y轴平行投影面。

像素坐标系：从小孔向投影方向看，投影面的左上角为原点O_pix，u轴与v轴分别和投影面两边重合。

摄像机内参矩阵：

。

从相机到像素坐标系：

。

获取多个深度相机采集到的RGB彩色数据C_k和原始深度数据R_k，并通过深度相机的内部参数对RGB彩色数据C_k和原始深度数据R_k进行对齐处理，其目的在于使RGB彩色数据C_k和原始深度数据R_k在同一像素点上的数据是相对应的，即，在C_k中某像素点C_k（u,v）上的图像内容与其在实际空间中物体该点R_k（u,v）测得的深度数据是一一对应的，一般此过程的方法由深度相机提供，这点属于现有技术，于此就不再进行展开说明；接着进行坐标转换的过程，实际上，我们得到的RGB彩色数据C_k，其坐标系是像素坐标系，为了后续便于功能扩展（例如基于RGB彩色数据的图像识别），我们一般将采用上述计算的逆运算：反投影法，将位于像素坐标系下的RGB彩色数据C_k转换为位于局部空间坐标系（局部坐标系）下的RGB彩色数据S_k。

其中包括：1台深度相机配置1台微型前期处理计算机（简称MPC），采集相机的RGB-D数据，用于调整局部坐标系，实现像素坐标系到局部空间坐标系的转化处理，统一物理单位。

将所有深度相机的局部坐标系合成一个全局坐标系，对局部坐标系下所有深度相机的RGB彩色数据S_k进行合并处理，得到全局坐标系下的RGB彩色数据G_k，然后原始深度数据（原始深度数据）R_k进行预处理，优化得到位于局部坐标系下的深度数据V_k；

全局坐标系下相对位置等参数，具体包括：1、坐标原点O：设置其中一台深度相机为主相机，并以主相机垂直于地面的点作为全局坐标系的原点；2、旋转角度：各相机的局部坐标系相对于全局坐标系的X、Y、Z轴的夹角，用来计算三台深度相机的旋转矩阵R1、R2和R3；3、平移向量：各相机的局部坐标系的原点在全局坐标系中的坐标（x,y,z），用来计算三台深度相机的平移向量T1、T2和T3，最后使用这些参数对全局坐标系和局部坐标系进行同步设置，方便后续使用；

三台相机通过各自的MPC，以及根据其相应的内部参数（内参矩阵K₁、K₂和K₃）和外部参数（旋转矩阵R₁、R₂和R₃及平移向量T₁、T₂和T₃）,进行数据的整合处理，并通过特征匹配(包含时间帧同步等操作)重新生成统一到全局坐标系的新数据，目的是将各部分采集到的数据共同作用于统一全局坐标系中（统一空间场），接着将数据传输到三维重建计算机，以便后续使用；

每台深度相机采集到的RGB彩色数据S_k属于局部空间坐标系，通过MPC的数据处理后生成关于全局坐标系的数据（RGB-D），处理过程如下：

1、将局部坐标系数据S_k转换到全局坐标系下：

其中R为深度相机的旋转矩阵，T为平移向量，前文中已经给出，在这里由相机（局部）坐标系到世界（全局）坐标系，是上述的逆运算，所以R₁、R₂和R₃矩阵的具体表现形式如下，不同的相机其α，β，θ各不相同：

根据上述计算，可以由局部坐标系下的S_k得出全局坐标系下的RGB彩色数据：G_k。

2、深度图像预处理

首先，对原始深度数据R_k进行降噪处理，从传感器深度相机获得的第k帧深度图像数据为R_k，记u =［u v］^T为深度图像某个像素的像素坐标，那么R_k（u）为第k帧的深度图的第（u,v）像素的值，即深度值。对R_k进行双边滤波得到D_k，其目的是保持边界的清晰程度，如图3所示，左图为原始数据，右图为经过双边滤波后的数据。

然后根据相机的内参，同步骤2使用反投影法由D_k计算在局部空间坐标系下的点云集合（深度数据）V_k（其中每个点

，R³表示笛卡尔三维坐标系，

的齐次化向量）：

。

然后通过V_k（u）计算对应像素点u的法向量N_k（u）：

，

其中

为单位向量化函数：

，

然后对深度图（深度数据）V_k进行降采样，行数和列数各减半，降采样使用的方法是均值降采样，即在深度图V_k上四个相邻像素的深度值被平均成一个值，降采样之后的数据还是以V_k表示，此处的V_k即为优化得到位于局部坐标系下的深度数据。

由于深度图像并不是每个像素点都是有值的，如图4所示，深度图像中纯黑色的部分就是传感器无法采集深度的区域，原因可能是多种的：探测区域超出了传感器的探测范围、过于光滑的材质或能够吸收红外光的材质等。

因此，需要一个掩码矩阵M_k来表示该帧深度图像对应的位置是否有值，若对应像素u有值，则M_k（u）=1，否则为0。

得到的V_k、N_k与M_k供后面投影算法使用。

其中包括：5G智能网关、外部信号线缆等，用于数据的时间同步，数据传输（5G）等。

将汇总的数据，其中包含：来自三台深度相机位于全局坐标系下的RGB彩色空间数据G_k和位于局部坐标系下的深度数据V_k，以及法向量数据N_k和掩码矩阵M_k，传输到最后的三维重建计算机做最后的处理。

解决对于现实中某点，从该点的众多“测量值”位置中估算出最终位置。我们得到的三维空间中的点云模型数据（深度数据）V_k，是来自多台相机经过处理变换的综合性深度数据；在上述步骤中已经对该数据进行了处理，使用双边滤波对其进行滤波和降采样等，流程可以概括如图5所示，这样不仅可以得到边界清晰的深度图，还能够起到加速计算的效果。

将各个局部坐标系下可以采集到的区域中的深度数据进行变换处理，转换为全局坐标系下的深度数据，然后将三台深度相机位于全局坐标系下的深度数据合并为一个初始的深度数据。

使用前述提到的将局部坐标系数据S_k转换到全局坐标系下的方法，将局部坐标系数据V_k转换到全局坐标系下，转换公式同前，如下w为全局（世界）坐标系下的坐标，c为局部（相机）坐标系下的坐标：

其中R为深度相机的旋转矩阵（三台深度相机的旋转矩阵分别为R1、R2和R3），T为平移向量（三台深度相机的平移向量T1、T2和T3），前文中已经给出，由局部坐标系下的V_k得出全局坐标系下的深度数据：

，而三台相机分别的

数据合并成的一个初始的深度数据，记作

。

接着，将深度数据反应出来的3D空间坐标系定义为一个立方体，用来限制3D空间范围，并把立方体切分成不同分辨率的小立方体网格，如图6所示。

然后使用SDF（Signed Distance Function）计算点到面的距离，在面上为0，面的一边为正，一边为负，而我们需要计算的物体表面的边界值，所以需要加上限制条件，即TSDF（Truncated SDF），只考虑面的邻域内的SDF值，这样做的好处是，确定邻域的最大值max truncation，然后使用实际值除以最大值，可以起到归一化的作用，这样得到的TSDF值，是-1到1之间的值。

接着使用TSDF来更新每一个小网格中的数值，对于每一帧的每一个网格都不断进行更新记录TSDF值，然后再通过得到的TSDF值来还原重建模型，该方法称作基于体数据的方法（Volumetric-based method）。如图6和图7所示，图7为使用TSDF后各网格到物体表面的具体表示图。

以上图形式将

作为距离描述函数直接放在GPU的三维数组中，即GPU的各个线程对这个三维数组赋值，把对应位置的元素赋值为0，离相机较近的一侧为正，反之为负。然后每个线程负责读取一个相机提供的深度数据V_k（u）在这个三维数组中对应位置的值，就得到当前V_k（u）距离的距离。

TSDF的更新方法核心思想就是简单的对所有的测量值加权平均的过程。这种更新方式效率高，对于保证实时三维重建非常有必要。基于体数据的方法简单直观，而且容易使用并行计算实现，因此可以极大的增加扫描和重建效率。最后，生成了一系列包含时间序列的数据流，将该数据流

传输给三维重建计算机，即专门用于三维重建的处理系统（GPU）进行处理；

同时还需要根据获得的深度数据进行特征匹配，即对点云进行配准，因为连续的两帧得到的深度图并非是完全匹配的，又因为是实时三维重建，相邻两帧之间的相机位姿变化很小，旋转矩阵R（三台深度相机的旋转矩阵分别为R1、R2和R3）可以做线性化，从而最小二乘有闭式解。

通过当前帧深度图像转换得到的点云（深度数据）

，和根据上一帧相机位姿从模型投影获取的深度图像

转换得到的点云（深度数据）进行配准。

再使用投影算法计算匹配点，算法介绍如下：

对于一幅深度图像三维坐标点P_i可以计算在另一幅图像中的投影像素坐标：

,

P_i：深度图像i中点的三维坐标

T_ji：从图像i到图像j到相机位姿

K：相机的内参矩阵

（u_d，v_d）：P_i在图像j中的投影像素坐标

对于图像i中的点P_i，在图像j像素位置（u_d，v_d）周围找三维坐标值和法向量相近的点作为匹配点，示意图如图8所示。

再通过匹配点极小化点到平面距离计算相机位姿：

点到平面距离示意图如图9所示。

目标函数为：

上式表达式中R，t是待求解的相机位姿，在每次迭代时，实际是值很小的ΔR 和Δt，P_i和q_i分别是原始点和目标点，n_i指目标点的法向量。因为是实时的，相邻两帧之间的相机位姿变化较小时，可以近似的认为，R是线性的，

，

，以此以上目标函数可以近似为：

，

使用投影算法及之前准备的参数，根据上述算法，将相应的参数带入之后可以得出目标函数为：

记相机的外参矩阵为：

，

则：

，

其中‘g’表示‘global’即全局坐标系，‘k’表示第k帧，

表示前文中得到的掩码矩阵

为有值的情况。

现在将投影法得出的目标函数转换成线性最小二乘求解。最小二乘的形式为：

，

经过一系列的变换，如：分块矩阵二范数的性质，罗德里格斯公式，叉积矩阵等计算，最终得到以下目标函数：

，

其中：

，

，

使用最小二乘的结论即可求解x，对于单点求和的形式，可以使用GPU做并行计算，再将累加结果传给CPU，在CPU中求解Cx+b=0。

其中包括：三维重建计算机，用于汇总处理各个数据流，实现三维重建并根据标定参数进行调整。

根据全局坐标系下合并后的深度数据转换得到深度数据，然后将位于同一立方体中的相邻两帧的深度数据和相融合，根据融合后的深度数据建立虚拟的3D空间和3D物体。

完成对相机位姿的估计之后，就将把新的点云融合进入已有的点云模型

中。记直到第k-1帧点云模型中的点的坐标为

，新点云中的点的坐标为V_k（P）。当V_k（P）与

位于同一单位体积立方体中时，就需要加权融合两个点的坐标。

，

其中W_k（P）为第k帧新加入点的权重，W_k-1（P）为直到k-1帧模型中该点的权重。最后更新权重，

为最大权重阈值，

。

根据V_k（P）和W_k（P）两个公式获得的最终的深度数据据

，建立虚拟三维空间，以时间序列为方向进行显示，实现实时三维重建，接着使用计算机图形学中的网格生成相关方法，从该数据流中生成三角网格模型，为了日后进一步的研究和渲染做准备，与此同时，之前获得的来自三台相机的RGB空间数据G_k，可以更加方便的用于图像分析，图像识别等用途，由于该数据与后期三维重建出来的图形存在对应关系，所以从彩色图像到三维重建的模型，可以方便的找出对应关系，反之亦然，这样不仅方便观察，更有利于虚拟与现实的结合。

其中包括：可触摸式显示设备，用于展示生成的虚拟场景，并可对生成的虚拟场景进行参数调整、缩放、旋转等。

作为基于深度相机的三维重建方法，本发明实现了与如今三维重建扫描仪的相媲美的功能和效果，并且相比于现有技术，本方法有着更大的扫描范围，更高的实时性，使用方便，成本较低，可以进行快速开发和商业化；对于目前的深度相机的应用，解决了庞大数据量影响时效的问题，并且在深度图像成像方面，解决了多测量值无法取舍的问题，在我们提供的包含深度信息的彩色图像中也可以更方便的开展图像识别工作，再结合三维重建技术，加强了虚拟现实的结合，并且由于其具有的实时性和准确性，可以对持续运动的场景进行实时三维重建，在动作研究方面更具有实质性的价值与优势。

本发明不局限于上述可选实施方式，任何人在本发明的启示下都可得出其他各种形式的产品，但不论在其形状或结构上作任何变化，凡是落入本发明权利要求界定范围内的技术方案，均落在本发明的保护范围之内。

Claims (10)

1.一种多台深度相机共同构建3D空间及3D物体的方法，其特征在于，包括以下具体步骤：

获取多个深度相机采集到的RGB彩色数据和原始深度数据，并对每个深度相机采集到的RGB彩色数据进行预处理，建立每个深度相机的局部坐标系；

将所有深度相机的局部坐标系合成一个全局坐标系，对局部坐标系下所有深度相机的RGB彩色数据进行合并处理，得到全局坐标系下的RGB彩色数据，然后对原始深度数据进行预处理，优化得到位于局部坐标系下的深度数据；

将各个局部坐标系下可以采集到的区域中的深度数据进行变换处理，转换为全局坐标系下的深度数据，然后将所有深度相机位于全局坐标系下的深度数据合并为一个初始的深度数据；

根据全局坐标系下合并后的深度数据转换得到深度数据，然后将位于同一立方体中的相邻两帧的深度数据和相融合，根据融合后的深度数据建立虚拟的3D空间和3D物体。

2.根据权利要求1所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，在获取多个深度相机采集到的RGB彩色数据和原始深度数据之前先配置三维重建计算机、多台深度相机及与每个深度相机相对应的微型前期处理计算机，并利用所有深度相机搭建场景，根据深度相机的实际相对位置及所需构建的三维空间的坐标系原点进行标定。

3.根据权利要求2所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，获取多个深度相机采集到的RGB彩色数据和原始深度数据，并通过深度相机的内部参数对RGB彩色数据和原始深度数据进行对齐处理，接着进行坐标转换的过程，将位于像素坐标系下的RGB彩色数据转换为位于局部坐标系下的RGB彩色数据。

4.根据权利要求3所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，每个深度相机根据各自对应的微型前期处理计算机、内部参数和相对位置，然后对于其位于局部坐标系下的RGB彩色数据进行合并处理，并通过特征匹配重新生成统一到全局坐标系下的RGB彩色数据；然后对原始深度数据进行双边滤波和降采样的预处理，优化得到位于局部坐标系下的深度数据。

5.根据权利要求4所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，对原始深度数据进行预处理时，从深度相机采集到的第k帧深度图像为R_k，记u =［u v］^T为深度图像某个像素的像素坐标，那么R_k（u）为第k帧的深度图的第（u,v）像素的值，即深度值；对R_k进行双边滤波得到D_k，然后根据相机的内参，使用反投影法由D_k计算在局部空间坐标系下的点云集合V_k，其中每个点

，R³表示笛卡尔三维坐标系，

的齐次化向量；

然后点云集合V_k进行降采样，行数和列数各减半，降采样使用的方法是均值降采样，即在点云集合V_k上四个相邻像素的深度值被平均成一个值，降采样之后的数据还是以V_k表示，此处的V_k即为优化得到位于局部坐标系下的深度数据。

6.根据权利要求4或5所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，将各个局部坐标系下可以采集到的区域中的深度数据V_k进行变换处理，利用旋转矩阵R和平移向量T转换为全局坐标系下的深度数据

，然后将三台深度相机位于全局坐标系下的深度数据合并为一个初始的深度数据

。

7.根据权利要求6所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，通过当前帧深度图像转换得到的深度数据

，和根据上一帧相机位姿从模型投影获取的深度数据

转换得到的点云进行配准，再使用投影算法计算匹配点，再通过匹配点极小化点到平面距离计算相机位姿，将位于同一立方体中的相邻两帧的深度数据

和

相融合，根据最后得到的深度数据建立虚拟的3D空间和3D物体。

8.根据权利要7所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，记第k-1帧深度数据的坐标为

，当前的深度数据的坐标为V_k（P），将位于同一立方体中的相邻两帧的深度数据

和

相融合，公式如下：

，

其中W_k（P）为第k帧新加入点的权重，W_k-1（P）为直到k-1帧模型中该点的深度数据,最后更新权重，

为最大权重阈值，

，

根据V_k（P）和W_k（P）两个公式获得的最终的深度数据

建立虚拟3D空间和3D物体。

9.根据权利要8所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，以时间序列为方向进行显示，实现实时3D物体的重建，接着使用计算机图形学中的网格生成相关方法，从最终的深度数据

中生成三角网格模型，与此同时，之前获得的来自三台深度相机位于全局坐标系下的RGB彩色空间数据，用于图像分析和图像识别。

10.根据权利要9所述的多台深度相机共同构建3D空间及3D物体的方法，其特征在于，所述深度相机设置有三台。

Images