CN109741405B - 一种基于对偶结构光rgb-d相机的深度信息采集系统 - Google Patents

Abstract

本发明涉及一种基于对偶结构光RGB‑D相机的深度信息采集系统，包括：对偶结构光RGB‑D相机结构：包括呈180度对称设置的两个结构光RGB‑D子相机；RGB‑D相机标定模块：用以根据非对称标定板实现结构光RGB‑D相机内参和畸变参数以及彩色相机与深度相机之间的外参标定；多源深度信息获取模块：通过异步方式获得两个子相机的两张原始深度图像，同时利用两个相机获取的彩色图像构成双目生成第三张深度图；多源深度信息处理模块：用以实现三张深度图与彩色图像的对齐，将三张深度图进行融合，并将对齐的彩色图像和融合后的深度图像作为最终系统的输出。与现有技术相比，本发明具有参数标定、解决深度信息缺失空洞、提升深度数据的质量、实时性高等优点。

Description

一种基于对偶结构光RGB-D相机的深度信息采集系统

技术领域

本发明涉及3D视觉领域，尤其是涉及一种基于对偶结构光RGB-D相机的深度信息采集系统。

背景技术

近年来国内对于3D视觉的研究越来越火热，3D相机能够获取相机到物体表面每一点的距离，感知物体的形状和轮廓，获得更加丰富的信息。RGB-D信息中的深度信息质量的好坏对于整个3D视觉系统具有重要的影响。

目前主流的3D相机可以分为两种：一种是以激光传感器为代表的价格高深度数据质量好的3D视觉传感器，比如SICK-约30万，Enshape-约30万，Ensenso-约10万，其共同特点是精度高，但是速度慢，并且价格昂贵，并不适合于工业领域中的大规模推广；另一种是一系列消费级的RGB-D相机，其原理主要有结构光、ToF和双目立体视觉等，代表产品有微软的Kinect和Intel的Realsense，其共同特点是精度相对较低，但是速度快，价格也相对低廉，消费级的RGB-D相机因其效率和价格上的优势更适合于工业上和实际生活中的应用和推广。目前市面上出售的消费级RGB-D相机，在深度精度上大致可达到毫米级，能满足大部分的生产和生活的需要，但深度数据的质量往往差强人意，其经过内置算法形成的深度图依然会存在空洞、信息缺失的情况，对后续的应用有很大的影响，在面对复杂的生产生活场景和目标对象，比如工厂中散乱堆叠的工件、物品摆放杂乱无序的房间等，都有很大制约。

近年来随着3D视觉应用越来越广泛，在科研实验和工业商业应用等方面，高精度的深度图像感知往往是项目发展的基础。通常在成本的限制下，一般使用消费级深度摄像头进行数据的采集，消费级相机往往针对不同的应用都有不同的功能性质，但是单个深度相机在实践中往往会由于视场角度、环境光线、物体表面反射度等因素，并不能得到十分稠密以及平整的点云数据；由于反射不足或者环境干扰，得到的点云数据往往会产生孔洞或者稠密度不一的情况。

原始的点云数据的质量对于整个研究的测试以及项目的成功率都有很大的影响，针对这个情况我们需要提升采集到的点云数据质量，使其满足一定的要求。由于高精度的深度传感器往往需要高额的成本，并且体积较大，在安装和测试方面具有一定的劣势。

综上所述，现有的获取深度图像的方式或价格昂贵，没有普遍应用的潜力；或得到的深度图像质量较差，不足以满足某些工业应用的需求，这两种情况都限制了3D视觉的广泛应用，不利于3D视觉系统的搭建。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于对偶结构光RGB-D相机的深度信息采集系统。

本发明的目的可以通过以下技术方案来实现：

一种基于对偶结构光RGB-D相机的深度信息采集系统，包括：

对偶结构光RGB-D相机结构：包括呈180度对称设置的两个结构光RGB-D子相机；

RGB-D相机标定模块：用以根据非对称标定板实现结构光RGB-D相机内参和畸变参数以及彩色相机与深度相机之间的外参标定；

多源深度信息获取模块：通过异步方式获得两个子相机的两张原始深度图像，同时利用两个相机获取的彩色图像构成双目生成第三张深度图；

多源深度信息处理模块：用以实现三张深度图与彩色图像的对齐，根据填补算法对三张深度图像进行处理，初步解决信息缺失和空洞现象，再利用图像融合算法将三张深度图进行融合，并将对齐的彩色图像和融合后的深度图像作为最终系统的输出。

所述的RGB-D相机标定模块中的标定方法包括以下步骤：

21)标定彩色相机内参以及畸变参数，具体为：

采用不对称圆盘标定板根据张正有标定法获取彩色相机内参以及畸变参数；

22)标定深度相机内参以及畸变参数，具体为：

开启结构光RGB-D子相机的红外模式，采集红外图像检测不对称圆盘标定板，采用张正有标定法获取深度相机的内参及畸变参数；

23)标定彩色相机和深度相机之间的齐次变换关系，具体为：

231)将不对称圆盘标定板放在彩色相机和深度相机下，使彩色相机和深度相机能够同时检测到标定板；

232)分别根据各自的内参和畸变参数计算出标定板的位姿

和

并计算彩色相机和深度相机之间的齐次变换矩阵

其中，

为4×4的齐次变换矩阵，表示标定板在彩色相机坐标系下的位姿，

表示标定板在深度相机坐标系下的位姿，为深度相机坐标系变换到标定板坐标系的齐次变换矩阵。

所述的多源深度信息获取模块生成三张深度图的具体步骤为：

31)通过异步方式获得两个子相机的深度相机采集的两张原始深度图像；

32)获取两个子相机的彩色相机采集的两张彩色图像，并根据标定结果分别对两张彩色图像进行校准使两张彩色图像的极线对齐；

33)对极线对齐后的两张彩色图像通过ELSA匹配算法得到视差图；

34)通过视差图获取第三张深度图。

所述的步骤34)中，通过视差图得到深度图的公式为：

其中，z为深度，f为相机焦距，B为基线长度，d为视差，上标{T,R}为上相机的RGB摄像头。

所述的多源深度信息处理模块的具体实现步骤为：

41)将每个子相机生成的深度图与输出的彩色图进行对齐，具体为：

遍历深度图中每个点的图像坐标，将其反投影变换为实际三维空间中的一点，再将该点坐标变换到彩色相机坐标系下，最后通过彩色相机的内参将该点在彩色相机坐标系下的三维坐标投影变换为彩色图像上的二维坐标；

42)分别对三张待融合的深度图进行深度信息邻域填补后进行深度信息融合，具体为：

对整张深度图进行像素的遍历，检查缺失信息的像素点周围的深度信息，当其四个角上都有有效深度信息时，并且周围有效深度信息的极值小于设定阈值，则将周围有效深度信息的均值填充该缺失信息的像素点，并通过线性叠加得到融合后的深度图像。

所述的步骤42)中，融合后的深度图像中每个像素点的深度信息d_fuse为：

其中，d_left为上相机深度图的深度信息，d_right为下相机深度图的深度信息，d_stereo为双目匹配深度图的深度信息，w₁、w₂、w₃分别为上相机深度图、下相机深度图以及双目匹配深度图的权重。

与现有技术相比，本发明具有以下优点：

1、本发明利用相机自带的红外激光发射器获取红外成像图，基于红外成像图实现了对深度相机内参和畸变参数的标定；

2、本发明针对结构光RGB-D相机的特点，设计了RGB-D相机的标定方案，包括其彩色相机、深度相机的内参和畸变参数，以及二者之间的外参的标定；

3、本发明为消费级的结构光RGB-D相机设计对偶结构，在保证实时性和效率的同时，解决单一消费级RGB-D相机深度信息缺失、空洞的问题；

4、本发明设计了针对对偶结构光RGB-D相机的多源深度数据获取方法，包括结构光深度数据的异步时间获取以及双目立体视觉的校准和深度信息的获取；

5、本发明设计了针对多源深度信息的数据融合方法，包括对双目立体视觉获得的深度数据和结构光获得的深度数据的融合，进而提升了深度数据的质量；

6、本发明是一种低成本的深度数据获取方案，消费级的RGB-D相机即可获得稠密平整的高质量深度信息和点云信息，打破了昂贵激光传感器的制约。

7、实时性高，能够满足实际生产和生活的应用。

附图说明

图1为对偶RGB-D相机深度信息获取系统流程图。

图2为RGB-D相机物理模型。

图3为非对称圆盘标定板示例。

图4为对偶RGB-D相机内部原理结构图。

图5为填补缺失深度信息的效果图，其中，图(5a)为填补前的效果图，图(5b)为填补后的效果图。

图6为深度融合算法效果图，其中，图(6a)为上相机深度图，图(6b)为下相机深度图，图(6c)为双目构成深度图，图(6d)为融合之后的深度图。

图7为填充率及噪声随距离变化对比曲线，其中，图(7a)为本发明与SR300的填充率对比图，图(7b)为本发明与SR300的噪声对比图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例

本发明设计了一种对偶RGB-D相机系统，并设计了与之相适应的标定算法、深度信息填补算法和融合算法，克服了现有的消费级RGB-D相机存在的深度信息缺失或者存在空洞的问题，获得稠密平整的高质量深度信息，形成一种低成本高质量的深度信息采集系统，为3D机器视觉系统提供了高质量的三维数据源。整个系统包括如下组成：(1)对偶结构光RGB-D相机结构：将两个结构光RGB-D相机互成180度对称安装(2)RGB-D相机标定模块：利用非对称圆盘标定板对单个相机RGB-D相机的彩色相机和深度相机的标定，以及两个子相机彩色相机之间的齐次关系的标定；(3)多源深度信息获取模块：两子相机以异步方式获取结构光深度数据，两子相机彩色图像通过双目匹配算法获取第三张深度图像；(4)多源深度信息处理模块：包括三张深度图与彩色图的对齐，利用填补算法对三张深度图像进行处理，初步解决信息缺失或者存在空洞的现象，再利用图像融合算法将三张深度图进行融合，得到最终的深度图像，以上摄像头的彩色图像和融合后的深度图像作为最终的输出。

本系统的详细技术说明将分为以下四部分：

1、RGB-D相机标定模块：利用非对称标定板实现RGB-D相机内参、畸变参数以及彩色与深度摄像头之间的外参标定；

2、对偶RGB-D相机的结构与原理：通过两个对称分布的结构光RGB-D相机形成对偶RGB-D相机结构；

3、多源深度信息的获取模块：我们设计的对偶RGB-D相机结构，通过异步方式获得两个子相机的深度相机采集的两张原始深度图像，同时利用两个子相机的彩色相机采集的彩色图像构成双目，生成第三张深度图；

4、多源深度信息处理模块：设计深度信息填补算法、多源深度数据融合算法以及匹配对齐算法，是所设计的对偶RGB-D相机结构输出与彩色数据对齐的高质量深度数据。

1、RGB-D相机的标定模块

原理介绍：

本发明所涉及的RGB-D相机指通过结构光原理获得物体表面深度信息的RGB-D相机，单个的结构光RGB-D相机主要由彩色摄像头、红外摄像头和红外激光发射器三部分组成，红外摄像头可获得深度数据流，彩色摄像头可获得彩色数据流，即RGB-D信息。

RGB-D相机的彩色摄像头和深度摄像头的物理模型都可以用针孔相机模型进行描述，如图2。根据针孔相机模型有：

其中X＝[x,y,z]^T表示世界坐标系中的坐标，u表示图像的像素坐标，

表示u的齐次坐标形式，彩色相机的内参矩阵K定义如下：

其中f_u和f_v分别表示彩色相机在图像坐标轴上的焦距(以像素为单位)，u₀和v₀表示彩色相机光心在图像平面的投影中心。

公式(2)还未考虑镜头的畸变，为了提高相机的精度，现引入径向畸变(radialdistortion)和切向畸变(tangential distortion)，引入畸变参数的针孔相机模型为：

为方便起见，记d＝[k₁,k₂,p₁,p₂,k₃]^T，定义函数：

可以的到RGB-D相机的相机模型:

其中左上标{R}表示RGB-D相机中的彩色相机，{D}表示RGB-D相机中的深度相机，

和

表示表示了彩色相机坐标系和深度相机坐标系之间的齐次变换关系。需要标定的参数有相机内参矩阵K和畸变参数d，共9个参数。

根据以上所述的RGB-D相机的结构及数学模型，RGB-D相机的标定主要涉及到彩色摄像头内参和畸变的标定，深度摄像头内参和畸变的标定，以及彩色摄像头和深度摄像头之间位姿变换的标定。由于RGB-D相机是一种较为新颖的相机，所以市面上基本上没有较为成熟通用的标定RGB-D相机的方法以及对应的工具。因此本发明针对结构光原理的RGB-D相机，设计了一套标定方法。

根据针孔相机模型，可知相机需要标定的参数有彩色相机、深度相机的内参和畸变参数各9个，彩色相机和深度相机之间的位姿关系6个，一共24个参数。考虑到普通针孔相机的标定技术已经相当成熟(如张正友的棋盘格标定(Zhang 2002))，以及RGB-D相机中彩色相机和深度相机的解耦性，因此所设计的标定方法分为三步：

步骤1：标定彩色相机内参以及畸变参数。

步骤2：标定深度相机内参以及畸变参数。

步骤3：标定彩色相机和深度相机之间的齐次变换关系。

步骤1：标定彩色相机内参以及畸变参数主要参考张正有标定法，但所使用的标定板是不对称圆盘标定板(Asymmetrical Circle Board)，而不是棋盘格标定板，如图3所示，是4×11的不对称圆盘标定板。

使用圆盘标定板而非棋盘格标定板的原因是圆盘相对于棋盘格有更高的检测精度，在某些情况下可以达到0.1到0.01像素的亚像素精度。

步骤2：标定深度相机内参以及畸变参数的方法和步骤1类似，区别在于深度相机并不能直接获得颜色信息，因此也不能直接检测图3所示的标定板。但是，结构光RGB-D相机本质上也是个普通的针孔相机，只是因为加了滤光片只对红外光成像。因此，在本发明中，开启结构光RGB-D相机的红外模式，采集红外图像检测图2所示的标定板，进而得到红外相机或者说深度相机的内参及畸变参数。

步骤3：标定彩色相机和深度相机之间的齐次变换关系需要依赖于步骤1和步骤2中标定出的彩色相机和深度相机的内参和畸变参数。具体做法是将标定板放在彩色相机和深度相机下，使彩色相机和深度相机能够同时检测到标定板，然后分别根据各自的内参和畸变参数计算出标定板的位姿

和

其中

是4×4的齐次变换矩阵，表示标定板在彩色相机坐标系下的位姿，也是彩色相机坐标系变换到标定板坐标系的齐次变换矩阵；同理，

表示标定板在深度相机坐标系下的位姿，也是深度相机坐标系变换到标定板坐标系的齐次变换矩阵。从而所要求的彩色相机坐标系变换到深度相机坐标系的齐次变换矩阵为：

实际标定时，采取多组

和

来提高标定的精度。

2、对偶RGB-D相机的结构与原理

对偶RGB-D相机在原RGB-D相机的基础上，通过增加一个与原相机呈180度夹角的RGB-D相机构成。

对于对偶RGB-D相机，当其中一个相机深度图出现严重缺失时，另外一个相机的深度图往往不会在相同的地方出现深度信息缺失，这样则能有效地避免了单个RGB-D摄像头在某些情况下深度信息严重缺失的情况。

除此之外，对偶RGB-D相机还可以利用两个相机的彩色图构成双目摄像头结构，生产第三张深度图，从而通过设计的深度融合算法将三张深度图融合成为一张深度信息完整，质量高的数据图，其内部原理如图4所示。

3、不同数据源深度信息的获取

本发明提升深度信息质量的方法是将多张深度图像进行融合，因不同位置获取的深度图像，其缺陷位置是不同的，所以不同的深度图像融合之后，能够有效避免单个RGB-D相机出现深度信息严重缺失的情况。根据所设计的对偶RGB-D相机结构，本步骤设计了多源深度数据的获取方法，通过异步时间的方式获得两个子相机结构光原理的两张原始深度图像，同时利用两个相机获取的彩色图像构成双目，生成第三张深度图，具体包括步骤：

3.1两张结构光深度图像的获取

本发明所使用的两个子相机是基于结构光原理的RGB-D相机，在其运行的过程中，红外发射机发射具有一定模式(Pattern)的红外光(称之为结构光)，在物体表面形成投影，红外接收器接收物体表面具有固定模式的红外光，从而得到物体表面的深度信息。

在本发明设计的对偶结构光相机结构中，若两个深度相机采用同步时间采集的方式，两个子相机的红外结构光会发生干涉，从而无法得到准确的深度信息。因此，本发明采用异步时间的方式，通过控制模块为两个子相机设计间歇性的时间节拍，使得两个相机在不同的时钟周期下工作，借助相机的快门控制接口函数，一个子相机拍照完成后另一个才开始工作，如此交替进行，始终保持在任意时间下有且只有一个相机在工作，从而有效地解决了两个相机的干涉问题，准确获得两张原生的结构光深度图。

3.2双目匹配深度图像的获取

前两张深度图都是相机获得的原始深度图，第三张深度图是通过双目匹配的方法获得的，主要分为三步：

1)分别对两张原始图像进行校准

2)在校准后的两张图像上通过匹配算法得到视差图

3)通过视差图获取深度图

对两张原始图像进行校准主要通过双目相机的标定实现，校准后的两张图像的极线对齐，校准后的图像的对应点都分布在对齐的极线上，现在只需要在极线上找对应点，这样使得双目匹配算法的搜索从二维缩减到了一维。

双目匹配算法使用的是ELSA算法，通过该算法可从两张校准后图像上得到对应的视差图。

视差图到深度图的变化可以通过式(7)得到：

其中，上标{T,R}(Top,RGB)表示上相机的RGB摄像头，{B,R}(Bottom,RGB)表示下相机的RGB摄像头，B表示基线长度，^{T,R}d表示视差。一般在人为校准过程中^{T,R}v₀-^{B,R}v₀＝0，从而公式7可以简化为：

4、多源深度信息处理模块——匹配对齐算法与填补融合算法

从整体来看，对偶RGB-D相机结构的输出同样也为一张彩色图和一张深度图。输出的彩色图是从上相机采集到的彩色图；输出的深度图是由三张深度图融合而成，并且与输出的彩色图像对齐。对齐的意思是彩色图和深度图相同图像坐标下的颜色信息和深度信息对应的实际物理世界中相同的一点，对齐的意义在于将对偶结构封装成为一个整体，输出与单个深度相机同样的数据，并且便于之后算法的处理以及数据的应用。本步骤主要实现将彩色图与深度图结合相机参数进行对齐，并将对齐后的深度图进行填补与融合，最终形成经过与彩色数据对齐的稠密平整的高质量深度数据。

1.将深度图与输出的彩色图对齐

需要先将深度图对齐到上相机彩色图的坐标系下之后再进行填补和融合等一系列操作。深度图与彩色图对齐的具体做法为，遍历深度图中每个点的图像坐标，然后将其反投影变换到实际三维空间中的一点中，再将该点坐标变换到彩色相机坐标系下，最后通过彩色相机的内参将该点在彩色相机坐标系下的三维坐标投影变换到彩色图像上的二维坐标。

2.深度信息邻域填补以及深度信息融合

得到三组深度数据图，在我们融合三张深度图之前，需要进行预处理来对深度缺失的像素填补。填补的方法是对整张深度图进行像素的遍历，并检查其周围的深度信息，当其四个角上都有有效深度信息时，并且周围有效深度信息的极值小于一定阈值时，会用周围有效深度信息的均值填充该缺失的点，填补深度信息的效果图如图5所示。

分别对深度图进行预处理之后，将对三张深度图进行线性叠加得到最终的深度图，基本的叠加公式为：

其中w₁,w₂,w₃分别表示上相机深度图、下相机深度图以及双目匹配深度图的权重，SR300相机得到深度的精度比双目计算得到的深度图精度要高，所以实际使用时w₁,w₂比w₃大许多。算法对于深度信息差值过大的情况也进行了处理。实际处理的效果如图6所示：

5、本发明效果实验验证

如前文所述，本发明所设计的对偶结构光RGB-D相机结构及其多源深度信息融合方法，其本质是一种低成本的深度信息获取方法，最终目的是获得稠密平整的高质量的深度信息。因此我们设计相关实验来验证本发明对于深度图质量的提升效果。我们以SR300作为子相机，测试了单个SR300相机深度图的质量以及改进的由两个SR300相机所组成的对偶RGB-D相机结构获取的深度图的质量。实验主要考察相机采集的深度图在不同距离下的填充率和噪声两个指标。

5.1实验流程

机器人夹持平板使其在相机视野内移动，记录相机采集到的平板的深度信息D_i:＝{d₁,d₂,...,d_n}

5.2实验原理

采集完数据后，需要计算深度信息的填充率和噪声这两个指标：填充率指深度图中有效深度信息的百分比，利用采集到的深度图拟合平板的平面方程

其中θ_i:＝[θ_i(1),θ_i(2),θ_i(3),θ_i(4)]，然后通过深度图中每个像素到平面的距离确定平板在深度图中的闭合区域。定义像素表示的点到平面的距离小于规定的阈值时该像素深度信息有效，最后统计在该闭合区域中像素的总点数M_i和有效深度信息的像素点个M_i'，则第i组数据的填充率为：

噪声定义为平板闭合区域内点距离平面拟合方程的距离的均方根(RMS)：

其中，δ_j为点到拟合平面的距离。

5.3实验结果

实验分别对SR300和对偶RGB-D相机在平板距离相机0.2到1.2m范围内采集了11组数据，测得每组数据深度信息的两个指标，曲线如图7所示。

实验表明随着距离的增加，两种相机结构的填充率都会有所下降，但对偶RGB-D相机比单个RGB-D相机具有更高的填充率；在噪声指标上，随着距离的增加，单个RGB-D相机的噪声的上升趋势陡然增加，对偶RGB-D相机的优势也就愈加明显。综上，本文设计的对偶RGB-D结构及多源信息融合算法有利于提升深度图的质量。

Claims (5)

1.一种基于对偶结构光RGB-D相机的深度信息采集系统，其特征在于，包括：

对偶结构光RGB-D相机结构：包括呈180度对称设置的两个结构光RGB-D子相机；

RGB-D相机标定模块：用以根据非对称标定板实现结构光RGB-D相机内参和畸变参数以及彩色相机与深度相机之间的外参标定，所述的RGB-D相机标定模块中的标定方法包括以下步骤：

21)标定彩色相机内参以及畸变参数，具体为：

采用不对称圆盘标定板根据张正有标定法获取彩色相机内参以及畸变参数；

22)标定深度相机内参以及畸变参数，具体为：

开启结构光RGB-D子相机的红外模式，采集红外图像检测不对称圆盘标定板，采用张正有标定法获取深度相机的内参及畸变参数；

23)标定彩色相机和深度相机之间的齐次变换关系，具体为：

231)将不对称圆盘标定板放在彩色相机和深度相机下，使彩色相机和深度相机能够同时检测到标定板；

232)分别根据各自的内参和畸变参数计算出标定板的位姿

和

并计算彩色相机和深度相机之间的齐次变换矩阵

其中，

为4×4的齐次变换矩阵，表示标定板在彩色相机坐标系下的位姿，

表示标定板在深度相机坐标系下的位姿，为深度相机坐标系变换到标定板坐标系的齐次变换矩阵；

多源深度信息获取模块：通过异步方式获得两个子相机的两张原始深度图像，同时利用两个相机获取的彩色图像构成双目生成第三张深度图；

多源深度信息处理模块：用以实现三张深度图与彩色图像的对齐，根据填补算法对三张深度图像进行处理，初步解决信息缺失和空洞现象，再利用图像融合算法将三张深度图进行融合，并将对齐的彩色图像和融合后的深度图像作为最终系统的输出。

2.根据如权利要求1所述的一种基于对偶结构光RGB-D相机的深度信息采集系统，其特征在于，所述的多源深度信息获取模块生成三张深度图的具体步骤为：

31)通过异步方式获得两个子相机的深度相机采集的两张原始深度图像；

32)获取两个子相机的彩色相机采集的两张彩色图像，并根据标定结果分别对两张彩色图像进行校准使两张彩色图像的极线对齐；

33)对极线对齐后的两张彩色图像通过ELSA匹配算法得到视差图；

34)通过视差图获取第三张深度图。

3.根据如权利要求2所述的一种基于对偶结构光RGB-D相机的深度信息采集系统，其特征在于，所述的步骤34)中，通过视差图得到深度图的公式为：

其中，z为深度，f为相机焦距，B为基线长度，d为视差，上标{T,R}为上相机的RGB摄像头。

4.根据如权利要求1所述的一种基于对偶结构光RGB-D相机的深度信息采集系统，其特征在于，所述的多源深度信息处理模块的具体实现步骤为：

41)将每个子相机生成的深度图与输出的彩色图进行对齐，具体为：

遍历深度图中每个点的图像坐标，将其反投影变换为实际三维空间中的一点，再将该点坐标变换到彩色相机坐标系下，最后通过彩色相机的内参将该点在彩色相机坐标系下的三维坐标投影变换为彩色图像上的二维坐标；

42)分别对三张待融合的深度图进行深度信息邻域填补后进行深度信息融合，具体为：

对整张深度图进行像素的遍历，检查缺失信息的像素点周围的深度信息，当其四个角上都有有效深度信息时，并且周围有效深度信息的极值小于设定阈值，则将周围有效深度信息的均值填充该缺失信息的像素点，并通过线性叠加得到融合后的深度图像。

5.根据如权利要求4所述的一种基于对偶结构光RGB-D相机的深度信息采集系统，其特征在于，所述的步骤42)中，融合后的深度图像中每个像素点的深度信息d_fuse为：

其中，d_left为上相机深度图的深度信息，d_right为下相机深度图的深度信息，d_stereo为双目匹配深度图的深度信息，w₁、w₂、w₃分别为上相机深度图、下相机深度图以及双目匹配深度图的权重。

Images