CN105115445A

CN105115445A - 基于深度相机与双目视觉复合的三维成像系统及成像方法

Info

Publication number: CN105115445A
Application number: CN201510582115.0A
Authority: CN
Inventors: 张秀达; 符建; 王淞; 刘峰; 李文江
Original assignee: Hangzhou Guangbo Intelligent Technology Co Ltd
Current assignee: Hangzhou Guangbo Intelligent Technology Co Ltd
Priority date: 2015-09-14
Filing date: 2015-09-14
Publication date: 2015-12-02

Abstract

本发明公开一种基于深度相机与双目视觉复合的三维成像系统及成像方法，系统包括一台双模相机、一台普通相机、数据处理器和显示终端。采用流水线技术，双模相机分时采集数据。选择深度相机工作模式时，窄脉冲激光光源依次产生一系列光脉冲串照射在物体上，物体会依次将光反射回来；反射回来的光被图像传感器感光，并形成一幅图像；图像通过数据处理器处理后可获得TOF(Time？Of？Flight)深度图像；选择普通相机工作模式时，脉冲激光光源不工作，使用环境光进行照明，可以获得场景的普通灰度视图，双目视觉匹配过程中引入深度图像信息加以约束，以保证探测区域三维信息的完整性。本发明能够实现近距离的高分辨的三维成像。

Description

基于深度相机与双目视觉复合的三维成像系统及成像方法

技术领域

本发明涉及一种三维成像系统，尤其涉及一种基于深度相机与双目视觉复合的三维成像系统及成像方法。

背景介绍

三维成像技术因其可以探测场景内物体的形状以及相对位置等信息，现已越来越广泛应用于社会各领域，如航空航天、测绘、机器人导航、影视制作等。当前，主动式深度相机和被动式双目立体视觉技术是获取场景三维图像的两种主要技术手段。本文在实验室项目组以往研究成果的基础上，对深度相机与双目立体视觉复合三维成像技术进行研究，以期结合两种技术的各自优势实现近距离处快速、高精度场景三维探测。目前实现三维成像的方法主要有飞行世间法和双目视觉法。

飞行时间法是利用脉冲光源，通过测量光信号在物体之间的传播时间获得其相对距离，这种方法可以达到比较高的测量精度和成像分辨率。

双目视觉法，即是三角测距法，这种方法测量系统的两个摄像机从不同的角度对同一场景进行拍摄，获取该场景的两张含有视差信息的数字图像。通过立体匹配确定场景中同一点在两幅图像中的坐标位置，根据两摄像机的相对位置，利用三角关系即可计算该点的空间三维坐标。

上述方法中，第一种方法成本低，成像速度快，分辨率较高，但其探测距离和精度受到有较大的局限。第二种方法虽然在近距离成像精度高，但是只限于近距离，而且三维图像恢复算法复杂，计算量大，不容易实现高速成像。

将深度相机与双目立体视觉技术进行融合，利用两种技术的各自优势实现快速、高精度的三维测量是当前检测领域的研究热点之一。深度相机和双目立体视觉的融合，根据方法的不同可以分为两种类型，后融合和先融合。后融合是指分别利用深度相机和双目立体视觉技术获取同一场景的三维数据，然后对场景中的不同区域根据两种技术的优缺点进行数据级的融合，以使系统最终输出的三维数据更加准确。先融合是指将深度相机的数据作为先验知识融入双目立体视觉的匹配算法中，对立体匹配进行先验约束，以简化立体匹配过程。

发明内容

本发明的目的在于针对现有技术的局限和不足，结合深度相机和双目视觉相机，提供一种基于深度相机与双目视觉复合的三维成像系统及成像方法，以实现高分辨、高精度、高速成像。

本发明的目的是通过以下技术方案实现的：一种基于深度相机与双目视觉复合的三维成像系统，它包括：一台双模相机、一台普通相机、数据处理器和显示终端；双模相机、普通相机和显示终端均与数据处理器相连；所述双模相机包括多个窄脉冲激光光源、光带通滤波器、图像传感器、电子快门和成像物镜；其中，窄脉冲激光光源和图像传感器均与数据处理器相连；成像物镜、光带通滤波器、图像传感器依次排列于同一光路上，窄脉冲激光光源固定在成像物镜上；电子快门与图像传感器相连。

一种三维成像方法，包括以下步骤：

(1)双模相机采用深度相机工作模式采集TOF深度图像，具体为：窄脉冲激光光源向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜、光带通滤波器，被图像传感器感光；数据处理器通过电子快门控制图像传感器在曝光时间内成像，并对图像进行处理，获得TOF深度图像；

(2)双模相机和普通相机同时采集普通视图图像：双模相机采用普通相机工作模式采集普通视图图像：脉冲激光光源不工作，使用环境光进行照明，图像传感器获得场景的普通灰度视图，数据处理器对普通灰度视图进行处理，获得普通视图图像；同时，普通相机采集普通视图图像。

(3)针对步骤2中双模相机和普通相机获得的普通视图图像，数据处理器在TOF深度图像的视差搜索范围内约束引导完成双目立体匹配，获得双目视差图；双目匹配过程中，利用双模相机采用深度相机工作模式获得的TOF深度图像作为约束条件，利用Census变换方法计算此约束条件下两个普通视图图像之间的灰度的联合概率分布，并以灰度的联合概率的对数作为相似性测度函数，两个普通视图图像中，相似性最高的像素点为匹配点。

所述约束条件为：双目匹配过程以任意一副普通视图图像为参考视图，像素点P(i,j)对应于深度相机获得的TOF深度图像的TOF距离为z，则该点视差搜索范围的两个边界值可表示为：

d_{1} = \frac{B F}{z + δ}

d_{2} = \frac{B F}{z - δ}

其中，B为双模相机和普通相机物镜的中心轴之间的距离，F为双模相机和普通相机的等效焦距，δ为双模相机在深度相机模式下的测距精度。

(4)针对双目视差图中的无效区域，用TOF深度图像中的对应部分进行对填充，生成场景三维图像；所述无效区域为：双目视差图中与无视差区域相对应的区域，无视差区域为两个普通视图图像中，无视差的区域。

本发明的有益效果是，若没有深度相机获得的深度图像的约束，则像素P(i,j)对应的视差搜索范围为[0,W-j]，其中W为图像的像素宽度。根据上式和深度相机获得的TOF深度图像，可计算待匹配视图中每一个像素的视差搜索范围，在此约束下进行双目匹配可以有效加速匹配过程并减小匹配误差。同时可以实现高分辨、高精度、高速成像的三维成像系统。

附图说明

图1是某环境下场景实验效果图；

图2是双目视觉匹配结果图；

图3是双目匹配无效区域填充后场景1对应深度图像；

图4是深度相机与双目视觉系统结合原理示意图；

图5是三维成像系统的结构原理示意图；

图6是双模相机的结构原理示意图；

图7是双目相机系统工作流程示意图；

图中：窄脉冲激光光源1、光带通滤波器2、图像传感器3、电子快门4、成像物镜5、数据处理器6。

具体实施方式

下面结合附图详细描述本发明。

如同5所示，一种基于深度相机与双目视觉复合的三维成像系统，它包括：一台双模相机、一台普通相机、数据处理器6和显示终端；双模相机、普通相机和显示终端均与数据处理器6相连；如图6所示，所述双模相机包括多个窄脉冲激光光源1、光带通滤波器2、图像传感器3、电子快门4、成像物镜5；其中，窄脉冲激光光源1是由能产生微秒纳秒级光脉冲的一个或多个脉冲光源组成。光带通滤波器2是一种只容许某一设定波长范围光通过的光学器件。图像传感器3是一种由电子快门4控制曝光时间、帧频能达到200帧的图像传感CCD器件。电子快门4是设置在图像传感器3上，能将全局曝光时间控制在20微秒以下的电子装置或部件。窄脉冲激光光源1和图像传感器3均与数据处理器6相连；成像物镜5、光带通滤波器2、图像传感器3依次排列于同一光路上，窄脉冲激光光源1固定在成像物镜5上；电子快门4与图像传感器3相连。窄脉冲激光光源1向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜5、光带通滤波器2，最后被图像传感器3感光。

采用上述系统进行三维成像，包括以下步骤：

(1)双模相机采用深度相机工作模式采集TOF深度图像，具体为：窄脉冲激光光源1向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜5、光带通滤波器2，被图像传感器3感光；数据处理器6通过电子快门4控制图像传感器3在曝光时间内成像，并对图像进行处理，获得TOF深度图像，如图1(c)所示；

(2)双模相机和普通相机同时采集普通视图图像；

双模相机采用普通相机工作模式采集普通视图图像：脉冲激光光源1不工作，使用环境光进行照明，图像传感器3获得场景的普通灰度视图，数据处理器6对普通灰度视图进行处理，获得普通视图图像，如图1(a)所示；普通相机采集普通视图图像，如图1(b)所示。

(3)针对步骤2中双模相机和普通相机获得的普通视图图像，数据处理器6在TOF深度图像的视差搜索范围内约束引导完成双目立体匹配，获得双目视差图，如图2所示；双目匹配过程中，利用双模相机采用深度相机工作模式获得的TOF深度图像作为约束条件，利用Census变换方法计算此约束条件下两个普通视图图像之间的灰度的联合概率分布，并以灰度的联合概率的对数作为相似性测度函数，两个普通视图图像中，相似性最高的像素点为匹配点。

d_{1} = \frac{B F}{z + δ}

d_{2} = \frac{B F}{z - δ}

(4)针对双目视差图中的无效区域，用TOF深度图像中的对应部分进行对填充，生成场景三维图像，如图3所示；双目视差图中与无视差区域相对应的区域，所述无视差区域为两个普通视图图像中，无视差的区域。

Claims

1.一种基于深度相机与双目视觉复合的三维成像系统，其特征在于，它包括：一台双模相机、一台普通相机、数据处理器(6)和显示终端等；双模相机、普通相机和显示终端均与数据处理器(6)相连；所述双模相机包括多个窄脉冲激光光源(1)、光带通滤波器(2)、图像传感器(3)、电子快门(4)和成像物镜(5)；其中，窄脉冲激光光源(1)和图像传感器(3)均与数据处理器(6)相连；成像物镜(5)、光带通滤波器(2)、图像传感器(3)依次排列于同一光路上，窄脉冲激光光源(1)固定在成像物镜(5)上；电子快门(4)与图像传感器(3)相连。

2.一种权利要求1所述系统的三维成像方法，其特征在于，包括以下步骤：

(1)双模相机采用深度相机工作模式采集TOF深度图像，具体为：窄脉冲激光光源(1)向前方物体发射光脉冲串，光脉冲串经物体反射后，依次经过成像物镜(5)、光带通滤波器(2)，被图像传感器(3)感光；数据处理器(6)通过电子快门(4)控制图像传感器(3)在曝光时间内成像，并对图像进行处理，获得TOF深度图像；

(2)双模相机和普通相机同时采集普通视图图像：双模相机采用普通相机工作模式采集普通视图图像：脉冲激光光源(1)不工作，使用环境光进行照明，图像传感器(3)获得场景的普通灰度视图，数据处理器(6)对普通灰度视图进行处理，获得普通视图图像；同时，普通相机采集普通视图图像。

(3)针对步骤2中双模相机和普通相机获得的普通视图图像，数据处理器(6)在TOF深度图像的视差搜索范围内约束引导完成双目立体匹配，获得双目视差图；双目匹配过程中，利用双模相机采用深度相机工作模式获得的TOF深度图像作为约束条件，利用Census变换方法计算此约束条件下两个普通视图图像之间的灰度的联合概率分布，并以灰度的联合概率的对数作为相似性测度函数，两个普通视图图像中，相似性最高的像素点为匹配点。

所述约束条件可以为：双目匹配过程以任意一副普通视图图像为参考视图，像素点P(i,j)对应于深度相机获得的TOF深度图像的TOF距离为z，则该点视差搜索范围的两个边界值可表示为：

d_{1} = \frac{B F}{z + δ}

d_{2} = \frac{B F}{z - δ}