CN102609941A

CN102609941A - 基于ToF深度相机的三维注册方法

Info

Publication number: CN102609941A
Application number: CN2012100214694A
Authority: CN
Inventors: 沈旭昆; 赵凌; 赵沁平
Original assignee: Beihang University
Current assignee: Beihang University
Priority date: 2012-01-31
Filing date: 2012-01-31
Publication date: 2012-07-25

Abstract

基于ToF深度相机的三维注册方法，步骤如下：(1)搭建一个由ToF深度相机和彩色相机构成的双目相机系统，并且完成系统的标定；(2)完成对ToF相机获取深度图的异常点剔除和随机噪声的剔除，提高深度数据的精确度；(3)将ToF相机获取的深度图投影到彩色相机视野下，建立起深度图像和彩色图像的对应关系。使用Camshift算法完成对实时视频流中标志物的跟踪，根据投影后的深度图计算出标志物的在空间中的三维位置和朝向。

Description

基于ToF深度相机的三维注册方法

技术领域

本发明属于计算机虚拟现实和计算机图形图像学技术领域，具体地说是利用ToF深度相机和彩色相机构建的双目相机系统完成对真实环境深度信息和颜色信息的采集，用于增强现实的关键技术三维注册的实现。

背景技术

增强现实(Augmented Reality，简称AR)通过对真实环境和虚拟环境的一致性表示、呈现及相互作用等关键技术，减轻场景构建和处理负担，在虚拟世界、现实世界和用户间搭建起信息回路，进一步增强人对环境的参与和感受程度。增强现实首先需要解决的关键问题是获取的真实环境视频流中对象与计算机生成的虚拟对象间配准也称三维注册问题，三维注册的实时性和精度直接影响增强现实系统的适用性和可信度。

基于视觉的三维注册方法是目前常用的三维注册方法。基于视觉的三维注册技术可分为基于标识(Marker)的三维注册技术和基于自然特征的三维注册技术。文献1-Shahzad Malik。Robust Registration of Virtual Objects forReal-Time Augmented Reality。Master thesis，Carleton University，Ottawa，Ontario，Canada，2002基于标识的注册技术在真实的环境中放置标识作为跟踪的基准，通过对含有标识的图像进行处理，结合计算机视觉原理，实现对摄像机的跟踪。这种必须在真实环境中放置人为设计的精确标志物的方法，一定程度上影响了增强现实技术的应用。文献2-Simon，G.Fitzgibbon，A.W.Zisserman，A.Augmented Reality Camera Tracking withHomographies Augmented Reality，2000.(ISAR 2000).Proceedings.IEEEand ACM International Symposium，2000.120-128提出了基于自然特征的三维注册技术，直接以真实场景中存在的易识别的物体充当标志物，提取基准点。该方法需要真实环境中具有丰富的纹理信息，对于颜色单一、无纹理的区域适用性差，虽然利用空间结构信息的立体匹配技术能够准确找到匹配点，但该方法计算复杂度高。

目前广泛应用的基于激光测距原理的深度图像获取设备，如莱卡Scanstation3000以及美能达910等设备，在获取深度信息时采用逐点扫描方法，适用于静态场景的深度信息获取，难以满足实时性要求。

发明内容

本发明要解决的技术问题：克服现有技术的不足，提供一种实时、准确的三维注册方法。

本发明采用的技术方案：基于ToF深度相机的三维注册方法，其特点在于步骤如下：

(1)双目系统的搭建和系统的标定；

(2)ToF相机深度图的处理；

(3)利用建立起深度图像和彩色图像的对应关系求出相机的位置和姿态。

所述的步骤(1)中双目系统的搭建和系统标定方法为：搭建一个有ToF深度相机和工业相机组成的双目相机系统。其中ToF相机获得真实环境的深度信息，工业相机获得真实环境的颜色信息。使用基于黑白棋盘格的标定方法完成对工业相机和ToF深度相机内参数的标定；使用双目立体标定的方法完成对两个相机位置关系的标定。为了完成ToF相机系统误差的校正，利用双目相机系统中的彩色相机求取一系列参考数据，并且根据两个相机的位置关系转换到ToF视野下，使用B样条曲线插值出误差曲线，完成系统误差校正。

所述步骤(2)中ToF相机深度图的处理方法：ToF相机获取的深度图包含异常点和随机噪声，这使得直接使用ToF获取的深度图会影响三维注册的精度。真实环境中的物体具有分段光滑，深度值发生突变的区域颜色值也会发生突变的特点，利用这一特点设计了深度图的异常点剔除算法和改进的双边滤波算法，实现对ToF深度图的处理。

所述步骤(3)中建立彩色图像和深度图像对应关系的原理为：将ToF相机获取的深度图利用相机标定中获取的ToF相机的内参数恢复出三维点云数据。根据相机标定步骤中获取的两个相机的位置关系和彩色相机的内参数，将三维点云数据投影到彩色相机图像空间中，这样就建立起彩色图像和深度图像的对应关系。

所述步骤(3)中，使用Camshift算法完成实时视频流中标志物的跟踪方法：在视频图像中选取要跟踪的物体，计算出该物体的颜色特征，跟踪图像空间中具有该特征的物体并且实时给出该物体在图像空间的矩形范围。

所述步骤(3)中的利用深度图像计算相机位置和姿态的方法为：跟踪步骤中实时给出被跟踪区域在图像空间中的范围，根据彩色图像和深度图像的对应关系获得被跟踪物体的三维数据，使用最小二乘法拟合一个空间的平面，该平面的位置和法向量分别表示相机和跟踪区域的相对位置和朝向。

本发明与现有技术相比的优点在于：

(1)实时性好。本方法使用的ToF相机和彩色相机的帧速都可以达到每秒50帧以上，经过数据处理的步骤后可以达到每秒30帧左右。

(2)适用性强。本方法不需要人为制作的精确的标定物，也不需要真实环境中有丰富的纹理信息。

附图说明

图1为实现三维注册技术的系统的框架图。

具体实施方式

本发明的具体步骤如下：

1.双目系统的搭建和系统的标定

将ToF(Time-of-Flight)相机和工业相机水平放置在相机三脚架的快装板上使得两个相机的视野有尽可能大的重叠区域，工业相机需要选取视场角跟ToF相机接近的型号。使用基于黑白棋盘格的视觉标定方法完成ToF相机和工业相机的内外参数的标定。使用双目立体标定方法完成两个相机之间位置的标定。同时利用双目相机系统中的彩色相机完成参考数据的采集，使用B样条插值的方法插值出系统误差曲线，使用该曲线完成对ToF相机系统误差的校正。

2.ToF相机深度图的处理

ToF相机捕获的真实场景深度数据包含有异常点和随机噪声。因此ToF给出的原始深度图像不能直接使用，需要经过进一步处理才能应用到增强现实系统中。室内场景物体具有分段光滑、深度连续的区域颜色也连续的特性，因此可以利用双目系统中工业相机获取的颜色信息来优化ToF相机获取的深度图像。设计的深度图中包含的异常点剔除算法如下所示：

s_{i} = \underset{j &Element; N_{i}}{Σ} s_{j} \exp (- \frac{1}{σ_{d}} w_{ij} {(d_{i} - d_{j})}^{2})

w_{ij} = \exp (- \frac{1}{σ_{c}} {| | c_{i} - c_{j} | |}_{2}^{2})

其中s_i，s_j分别代表像素i，j的可靠性值。N_i表示像素i的邻域大小。d_i，d_j分别表示像素i，j对应的深度值。w_ij为根据像素i，j的颜色信息计算出的权值。c_i，c_j是像素i，j对应颜色值的大小。σ_d，σ_c分别表示在深度图和彩色图公式作用的邻域范围。去掉深度图像中低于规定阈值的像素点。设计的去处随机噪声的算法如下所示：

d_{p} = \frac{1}{w_{p}} \underset{q &Element; N_{p}}{Σ} G_{σ_{s}} (| | p - q | |) G_{σ_{d}} (| d_{p} - d_{q} |) G_{σ_{I}} (| I_{p} - I_{q} |) d_{q}

w_{p} = \underset{q &Element; N_{p}}{Σ} G_{σ_{s}} (| | p - q | |) G_{σ_{d}} (| d_{p} - d_{q} |) G_{σ_{I}} (| I_{p} - I_{q} |)

其中p，q为图像空间中的两个像素。

分别为标准差不同的高斯函数，σ_d，σ_s，σ_I分别为高斯函数的标准差。d_p，d_q为像素p，q对应的深度值。I_p，I_q为像素p，q对应的颜色值。N_p为像素p的邻域。w_p为归一化因子。深度数据对应的颜色信息作为权值的一部分。参数σ_s决定了执行滤波邻域的大小，σ_I决定了有效颜色值的范围，σ_d决定了有效的深度值的范围。改进后的双边滤波在很好保留三维数据边界的同时，有效的去除内部的随机噪声。

3.求出相机的位置和姿态

将三维点云数据投影到彩色相机图像空间中，前面步骤中标定得到了工业相机的参数，利用相机的成像模型将三维数据点投影到工业相机的图像空间。这样就建立起彩色图像和深度图像的对应关系。使用Camshift算法完成实时视频流中标志物的跟踪，在视频图像中选取要跟踪的物体，计算出该物体的颜色特征，跟踪图像空间中具有该特征的物体并且实时给出该物体在图像空间的矩形范围。跟踪步骤中实时给出被跟踪区域在图像空间中的范围，根据彩色图像和深度图像的对应关系获得被跟踪物体的三维数据，使用最小二乘法拟合一个空间的平面，该平面的位置和法向量分别表示相机和跟踪区域的相对位置和朝向。

Claims

1.基于ToF深度相机的三维注册方法，其特征在于步骤如下：

(1)搭建双目系统并对该系统进行标定；

(2)进行ToF相机深度图的处理；

2.根据权利要求1所述基于ToF深度相机的三维注册方法，其特征在于：所述的步骤(1)中搭建双目系统并对该系统进行标定方法为：搭建一个有ToF深度相机和工业相机组成的双目相机系统；其中ToF相机获得真实环境的深度信息，工业相机获得真实环境的颜色信息，使用基于黑白棋盘格的标定方法完成对工业相机和ToF深度相机内参数的标定；使用双目立体标定的方法完成对两个相机位置关系的标定，为了完成ToF相机系统误差的校正，使用双目相机系统中的彩色相机利用计算机视觉的方法计算相机到标定物的距离作为参考数据，并且根据两个相机的位置关系转换到ToF视野下，使用B样条曲线插值出误差曲线，完成系统误差校正。

3.根据权利要求1所述基于ToF深度相机的三维注册方法，其特征在于：所述步骤(2)中进行ToF相机深度图的处理方法包括深度图的异常点剔除和随机噪声去除两个过程，异常点剔除根据深度图像中每个像素与周围像素的关系计算每个像素的可靠性，去除可靠性低的像素；

随机噪声去除是利用改进的双边滤波算法，具体为：对要处理的深度数据以及彩色相机获得的颜色信息，利用深度连续的区域往往颜色也相近的特性，对双边滤波进行扩展，利用颜色信息对深度数据进行滤波，每一个像素用周围像素的加权平均值代替。

4.根据权利要求1所述基于ToF深度相机的三维注册方法，其特征在于：所述步骤(3)中建立彩色图像和深度图像对应关系的步骤为：将ToF相机获取的深度图利用相机标定中获取的ToF相机的内参数恢复出三维点云数据；根据相机标定中获取的两个相机的位置关系和彩色相机的内参数，将三维点云数据投影到彩色相机图像空间中，这样就建立起彩色图像和深度图像的对应关系。

5.根据权利要求1所述基于ToF深度相机的三维注册方法，其特征在于：在所述步骤(3)中，使用Camshift算法完成实时视频流中标志物的跟踪：在视频图像中选取要跟踪的物体，计算出该物体的颜色特征，跟踪图像空间中具有该特征的物体并且实时给出该物体在图像空间的矩形范围。

6.根据权利要求5所述基于ToF深度相机的三维注册方法，其特征在于：所述步骤(3)中求出相机的位置和姿态的具体过程为：跟踪步骤中实时给出被跟踪区域在图像空间中的范围，根据彩色图像和深度图像的对应关系获得被跟踪物体的三维数据，使用最小二乘法拟合一个空间的平面，该平面中心点坐标等于跟踪区域中心点相对于ToF相机光心的坐标，该平面法向量等于跟踪区域中心点相对于ToF相机光心的朝向。