CN103456038A

CN103456038A - 一种井下环境三维场景重建方法

Info

Publication number: CN103456038A
Application number: CN201310362004XA
Authority: CN
Inventors: 岳东; 杨彪; 万松
Original assignee: Huazhong University of Science and Technology
Current assignee: Huazhong University of Science and Technology
Priority date: 2013-08-19
Filing date: 2013-08-19
Publication date: 2013-12-18

Abstract

本发明提供一种井下环境三维场景重建方法,包括以下步骤：S1：对深度相机进行标定，确定相机的内部参数；S2：对当前帧的深度进行双线性滤波，减少噪声干扰；S3：将当前帧的深度图像映射到深度相机三维坐标系下；S4：ICP匹配算法进行初步配准，得到深度相机当前帧的深度图与上一帧的深度图之间的变换矩阵，通过累积变换矩阵可将当前帧的深度图变换到全局坐标系下；S5：体积空间融合算法重建场景。本发明的技术方案能够经济、快速地实现对井下环境的三维视图重建。

Description

一种井下环境三维场景重建方法

技术领域

本发明涉及三维图像处理技术，尤其涉及一种大范围井下场景的重建方法。

背景技术

利用三维场景重建技术创建矿井巷道三维虚拟场景，对提高煤炭安全生产、矿工安全具有重要的实用价值。传统的三维重建方法根据获取三维数据的方式不同可以分为两类：基于激光扫描技术的三维重建方法和基于视觉的三维重建方法。基于激光的三维重建方法，通过激光扫描仪获取场景的深度数据或距离图像，利用深度数据的配准实现单帧数据与全局数据的对齐；基于视觉的三维重建方法，即采用计算机视觉方法进行物体三维模型重建，是指利用数字摄像机作为图像传感器，综合运用图像处理视觉计算等技术进行非接触三维测量，用计算机程序获取物体的三维信息。

现有针对井下大范围的三维场景重建方法仍存在较大的局限性。由于井下巷道错综复杂，工作环境和条件不断变化，导致巷道用三维建模过程不仅工作量大，而且模型不适合推广，因此，如何快速建立巷道的三维模型，成为一个亟待解决的关键性问题。

近年来，随着RGBD（彩色和深度）传感器技术的发展，比如微软推出的Kinect，为三维场景重建提供了新的方案。目前，利用Kinect来进行三维重建的研究在单一物体的三维重建方面取得了一些研究成果，但仍无法满足对大范围井下三维场景重建的需求。

发明内容

为了克服现有技术存在的问题，本发明提出一种井下环境三维场景重建方法，旨在快捷、经济地实现井下复杂环境的三维场景重建。

为了解决以上技术问题，本发明采用的技术方案如下：

一种井下环境三维场景重建方法，包括以下步骤：

S1、对Kinect红外相机进行标定，确定相机的内部参数；

S2、在当前时刻t，对Kinect红外相机获取的井下环境的当前帧深度图像进行双线性滤波，以减少噪声干扰；

S3、将当前帧的深度图像映射到Kinect相机的三维坐标系下；

S4、利用ICP匹配算法进行初步配准，得到当前帧的深度图与上一帧的深度图之间的变换矩阵，通过累积变换矩阵将当前帧的深度图变换到全局坐标系下，t=t+1，重复步骤S2～S4，直至获得所需场景范围内的全部深度图像数据；

S5、基于S4处理后的深度图像数据，利用体积空间融合算法重建井下场景。

本发明的有益效果为：使用Kinect相机结合基于ICP与空间体积融合算法，能够快速、经济地实现井下复杂环境的三维场景重建。

附图说明

图1为本发明提出的井下环境三维场景重建方法流程框图；

图2为深度相机坐标系示意图；

图3为双线性滤波原理示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

参见图1，在本实施例中，井下环境三维场景重建方法包括以下步骤：

S1、对Kinect中的红外摄像机进行标定，确定相机的内部参数。

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数，求解相机参数的过程就称之为相机标定（或摄像机标定）。

Kinect设备有一个红外投影仪，两个摄像头（红外相机和RGB相机），分别可以获取深度数据和RGB信息。深度数据利用红外摄像机获取，每一帧有640×480个像素点。RGB信息通过RGB摄像机获取。本发明利用深度数据进行配准，实现三维重建，因此仅需要对红外摄像机进行标定。图2是Kinect中深度相机的坐标系示意图。

本实施例采用张正友的平面标定方法，具体步骤如下：

（1）使用一张A4纸打印一个6×8的棋盘模版；

（2）手持棋盘，利用Kinect红外相机从多个方向拍摄得到棋盘图像，合计获取12幅图像；

（3）检测拍摄得到的棋盘图像的角点，即每个黑色交叉点；

（4）求出Kinect红外相机的内部参数；

红外摄像机的内部矩阵K：

K = (\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix})

其中f_x、f_y是Kinect红外摄像机的焦距，c_x、c_y是红外摄像机像平面中心坐标。在本实施例中，其取值分别为：f_x=518.492；f_y=515.894；c_x=332.371；c_y=257.641。

S2、在当前时刻t，对Kinect红外相机获取的井下环境的当前帧深度图像进行双线性滤波，以减少噪声干扰。

图3为双线性滤波原理示意图。双线性过滤（Bilinearfiltering）是进行缩放显示的时候进行纹理平滑的一种纹理过滤方法。在大多数情况下，纹理在屏幕上显示的时候都不会同保存的纹理一模一样，没有任何有损。正因为这样，一些像素要使用纹素之间的点进行表示，假设纹素都是位于各个单元中心或者左上或者其它位置的点。双线性过滤器利用这些点在像素所表示点周围四个最近的点之间进行双线性插值。通过双线性滤波，可以得到平滑的深度图像纹理，减小获取深度图像过程中噪声的影响。

令p₀(u₀,v₀),p₁(u₁,v₁),p₂(u₃,v₃),p₃(u₃,v₃)为p(u,v)点从左上沿顺时针方向到左下包围像素的纹素点，u、v表示点的像素坐标，则p点的值可由如下表达式求出：

p＝p₀(1-U)(1-V)+p₁U(1-V)+p₂(1-U)V+p₃UV

其中U，V分别为：

U = \frac{u - u_{0}}{v_{3} - v_{0}},

V = \frac{v - v_{0}}{v_{3} - v_{0}} .

S3、将当前帧的深度图像映射到Kinect相机三维坐标系下。

根据深度相机的校正模型建立图像平面与空间三维点坐标间的转换关系，确定三维空间点到图像平面的投影模型，用下面的函数表示：

M＝f(p)

其中，p为深度图像的像素点，M为深度相机坐标系下三维坐标，f(p)表示图像平面到深度相机坐标系的映射函数。利用图像平面到深度相机坐标系的投影模型获取深度图像像素点的三维空间点坐标。

在本实施例中，具体方法如下：

对于深度图像中的任意一点p＝(u,v)，其在Kinect坐标系下的坐标为：M＝(x,y,z)

\{\begin{matrix} M . x = (u - c_{x}) \times M . z / f_{x} \\ M . y = (v - c_{y}) \times M . z / f_{y} \\ M . z = depth (u, v) \end{matrix}

其中，depth(u,v)表示深度图像中点p＝(u,v)的深度值。

S4、利用ICP匹配算法进行初步配准，得到当前帧的深度图与上一帧的深度图之间的变换矩阵，通过累积变换矩阵将当前帧的深度图变换到全局坐标系下，t=t+1，重复步骤S2～S4，直至获得所需场景范围内的全部深度图像数据。

通过对连续两帧图像进行配准，可得到连续两帧图像之间的转换矩阵。设第一帧图像所在的坐标系为全局坐标系，通过累积连续两帧图像的转换矩阵可将任意一帧图像转换到全局坐标系下。

在本实施例中，具体方法如下：

（1）确定初始对应点集：设三维空间R³中两组坐标点S_m和T_n分别为：S_m＝{s₁,s₂...s_m,s_i∈R³}和T_n＝{t₁,t₂...t_n,t_i∈R³}，其中，S_m表示Kinect红外相机获取的当前帧深度图，T_n表示Kinect红外相机获取的上一帧深度图。对于S_m中的每一个点s_i采用点到切平面的最近点搜索方法可在T_n中找到一个距离最近的点t_i。具体方法如下：

①对于S_m中的每一个点s_i，求取该点的表面法向量，设法向量与T_n曲面相交于；

②在T_n曲面上求取点

处的切平面；

③过点s_i做到

处的切平面的垂线，交T_n曲面于t_i，t_i即为所求的最近点；

（2）去除错误对应点对：在（1）中得到的对应点集存在错误的匹配点对，这种情况在算法迭代初期尤为明显。因此需要引入一种评价标准或约束条件去除错误对应点对，方法如下：

①设s_i、t_i为一对对应点，计算对应点对之间的欧氏距离，要求二者之间的欧氏距离满足如下关系：|s_i-t_i|≤τ，其中，τ是事先设定的距离阈值；

②分别计算s_i、t_i的法向量

要求二者的法向量之间的夹角不大于45°，及满足如下表达式：

其中方框表示求取向量的模长。

不满足上述两个条件的对应点对被认为是错误的对应点对，从对应点集中删除；

（3）坐标转换的求解：对于经（2）处理后确立的点集，采用最小二乘法迭代求解两片点云间的最优坐标变换。两个点集中对应点对的关系描述为：t_i＝R*s_i+T，其中R为3×3的旋转矩阵，T为一个3维的平移向量，N为对应点对的数量，最小二乘的目标函数为：

f (R, T) = \frac{1}{N} Σ_{i = 1}^{N} | t_{i} - R * s_{i} - T | .

求解最小二乘问题的方法为四元数法，迭代的初始条件

\overset{&RightArrow;}{q} = (q_{0}, q_{1}, q_{2}, q_{3}, t_{1}, t_{2}, t_{3}) = (1,0,0,0,0,0,0),

设第k次迭代求得旋转矩阵R_k、平移向量T_k，令S_k+1＝R_k*S_k+T_k，给定阈值ζ。如果相邻两次迭代的结果满足

则迭代结束，此时的R_k+1、T_k+1即为最终的旋转矩阵和平移向量。

其中转换矩阵求取公式为：

R = (\begin{matrix} q_{0}^{2} + q_{1}^{2} - q_{2}^{2} - q_{3}^{2} & 2 (q_{1} q_{2} - q_{0} q_{3}) & 2 (q_{1} q_{3} + q_{0} q_{2}) \\ 2 (q_{1} q_{2} + q_{0} q_{3}) & q_{0}^{2} + q_{2}^{2} - q_{0}^{2} - q_{3}^{2} & 2 (q_{2} q_{3} - q_{0} q_{1}) \\ 2 (q_{1} q_{3} - q_{0} q_{2}) & 2 (q_{2} q_{3} + q_{0} q_{1}) & q_{0}^{2} + q_{3}^{2} - q_{1}^{2} - q_{2}^{2} \end{matrix})

S5、基于S4处理后的深度图像数据，利用体积空间融合算法重建井下场景。Kinect红外相机获取的深度图像存在空洞，因此首先需要对图像的空洞区域进行填充处理，此外，运用序列点云进行两两匹配时，在匹配过程中存在误差累计，有必要对ICP匹配算法得到的结果进行全局优化。

在本实施例中，基于体积空间融合算法重建场景能满足上述需求，具体方法如下：

（1）定义一个包含所有点云数据的全局立方体空间，考虑到算法实时性的要求，以1mm的分辨率将立方体划分网格。

（2）计算事先定义的体积空间的体积元到经步骤S4处理后的深度图像的距离，将距离值存储在相应的体积元中。距离值大于零表示体积元在曲面的前方，距离值等于零表示体积元在曲面上，距离值小于零表示体积元在曲面的后方。

迭代融合多帧点云过程中，TSDF函数（Truncated Signed DistanceFunction）为：

D_{i + 1} (x) = \frac{W_{i} (x) D_{i} (x) + W_{i - 1} (x) D_{i - 1} (x)}{W_{i} (x) + W_{i - 1} (x)},

W_i+1(x)＝W_i(x)+W_i-1(x)。

其中，

W_(x)＝∑w_i(x)，d_i(x)为Kinect红外相机获取的图像的曲面隐式方程，w_i(x)为相应曲面的权值。

本发明中w_i(x)取值如下：

Err(x^*)＝x^**x^**0.0035，其中，x^*为Kinect红外相机获取的深度图像上的点到相机中心的距离。

迭代过程结束后，所有存储的值为零的体积元即构成所拍摄的井下环境中的物体的表面。

本发明实施例提供的井下环境三维全景视图重建方法，使用Kinect相机结合基于ICP与空间体积融合算法，进行井下复杂环境的全景视图重建。结果表明该方法能够快速、经济地实现井下复杂环境的三维场景重建。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种井下环境三维场景重建方法，包括以下步骤：

S1、对Kinect红外相机进行标定，确定相机的内部参数；

S3、将当前帧的深度图像映射到Kinect相机的三维坐标系下；

2.如权利要求1所述的一种井下环境三维场景重建，所述步骤S2中的双线性滤波为：

令p₀(u₀,v₀),p₁(u₁,v₁),p₂(u₃,v₃),p₃(u₃,v₃)为p(u,v)点从左上沿顺时针方向到左下包围像素的纹素点，u、v表示点的像素坐标，则p点的值为：

p＝p₀(1-U)(1-V)+p₁U(1-V)+p₂(1-U)V+p₃UV

其中U，V分别为：

U = \frac{u - u_{0}}{v_{3} - v_{0}},

V = \frac{v - v_{0}}{v_{3} - v_{0}} .

3.如权利要求1所述的一种井下环境三维场景重建方法，所述步骤S3具体为：

\{\begin{matrix} M . x = (u - c_{x}) \times M . z / f_{x} \\ M . y = (v - c_{y}) \times M . z / f_{y} \\ M . z = depth (u, v) \end{matrix}

其中，f_x、f_y是Kinect红外摄像机的焦距，depth(u,v)表示深度图像中点p＝(u,v)的深度值。

4.如权利要求1所述的一种井下环境三维场景重建方法，所述步骤S4包括：

（1）确定初始对应点集：设三维空间R³中Kinect红外相机获取的当前帧深度图S_m和上一帧深度图T_n分别为：S_m＝{s₁,s₂...s_m,s_i∈R³}和T_n＝{t₁,t₂...t_n,t_i∈R³}，对于S_m中的每一个点s_i采用点到切平面的最近点搜索方法在T_n中找到一个距离最近的点t_i；

（2）去除错误对应点对：

②分别计算s_i、t_i的法向量