CN104463880A

CN104463880A - 一种rgb-d图像获取方法

Info

Publication number: CN104463880A
Application number: CN201410767123.8A
Authority: CN
Inventors: 汤淑明; 朱新亮; 王金桥
Original assignee: Institute of Automation of Chinese Academy of Science
Current assignee: Institute of Automation of Chinese Academy of Science
Priority date: 2014-12-12
Filing date: 2014-12-12
Publication date: 2015-03-25
Anticipated expiration: 2034-12-12
Also published as: CN104463880B

Abstract

本发明公开一种RGB-D图像获取方法，首先对深度相机进行标定，获得深度相机的内参数A_d、外参数[R_d|T_d]，对彩色相机进行标定，获得彩色相机的内参数A_c、外参数[R_c|T_c]，计算彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]；然后分别通过深度相机和彩色相机获得同一景物的深度图像与彩色图像，利用获得的A_d、A_c、[R_r|T_r]，基于针孔相机模型将深度图像上的点投影至彩色图像上，进行深度图像与彩色图像的配准，获得配准后的RGB-D图像。本发明对室外环境下RGB-D图像的获取具有较好的实用价值。

Description

一种RGB-D图像获取方法

技术领域

本发明涉及图像获取技术领域，特别是一种用于获取室外环境下RGB-D图像的技术。

背景技术

人类已经进入了信息时代，信息时代的典型特征是利用传感器感知环境数据并送到控制中心集中处理，产生有用的决策控制信息。传感器技术的不断发展为感知环境提供了更加精确、更加多样的数据。相机是日常生活中非常常见的一类传感器，它的出现给人们的生活带来了不少的乐趣，如拍照记录精彩瞬间，制作视频短片等。在计算机、人工智能和机器视觉等技术不断地发展和革新的背景下，相机获取的图像的价值显得越来越大，基于图像的应用也越来越多。典型的应用即是将相机安装在机器人上，不断地获取环境图像，再利用计算机视觉的算法对其进行处理，使得机器人可以像人一样拥有眼睛去观察周围环境。

普通的彩色相机均是被动地接收物体发出的光，然后在其图像平面上成像。这种原理下获得的图像容易受光照、阴影、拍摄角度等外在因素的影响，当前的计算机视觉算法对于这种图像的处理并不鲁棒，因此其应用也相应地受到了限制。深度相机借助其自身发出的光，可以主动地感知物体的距离信息，其成像受光照、阴影和拍摄角度的影响较小。近年来，一种同时获取场景内物体的颜色信息与物体的距离信息的新型传感方式(即获取RGB-D图像)受到了计算机视觉领域的研究人员的广泛关注。

然而，目前大部分获取RGB-D图像的方法均是利用Kinect传感器。但是Kinect传感器本身有两方面应用限制：首先，它的应用场景限于室内环境，在室外环境下，由于光强等因素的影响其成像质量非常差，无法使用；其次，它的测距范围非常小，目前市面上Kinect的有效测距范围为2.5米，因此其对于要求更长测距距离的应用非常受限。

发明内容

本发明为解决目前的RGB-D图像获取方法不适用室外环境的问题，提出一种RGB-D图像的获取方法，通过深度相机和彩色相机来获得RGB-D图像，在室外环境下可获取高质量的RGB-D图像，并有良好的测距范围。

本发明的一种RGB-D图像获取方法，包括步骤如下:

步骤S1：对深度相机进行标定，获得深度相机的内参数A_d、外参数[R_d|T_d]，对彩色相机进行标定，获得彩色相机的内参数A_c、外参数[R_c|T_c]，计算彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]；

步骤S2：分别通过深度相机和彩色相机获得同一景物的深度图像与彩色图像，利用获得的A_d、A_c、[R_r|T_r]，基于针孔相机模型将深度图像上的点投影至彩色图像上，进行深度图像与彩色图像的配准，获得配准后的RGB-D图像。

优选的，计算彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]的计算公式为

R_{r} = R_{c} R_{d}^{- 1}

T_{r} = T_{c} - R_{c} R_{d}^{- 1} T_{d} .

优选的，所述深度图像与彩色图像的配准包括以下步骤：

步骤S21：基于针孔相机模型，构建相机坐标系中坐标为(X,Y,Z)的点投影至图像平面上坐标为(x,y)的点所满足的投影方程：

[\begin{matrix} x \\ y \\ w \end{matrix}] = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \end{matrix}]

其中，Z为物体到针孔相机透镜光心的距离，w＝Z，f_x、f_y、c_x、c_y分别为相机在图像平面x轴方向上的焦距、相机在图像平面y轴方向上的焦距、相机在图像平面x轴方向上的中心偏移和相机在图像平面y轴方向上的中心偏移；

步骤S22：将深度图像中的点逆投影至深度相机相机坐标系中，计算公式为：

p_{x, y} = (\begin{matrix} z (x - c_{x}) / f_{x} \\ z (y - c_{y}) / f_{y} \\ z \end{matrix})

其中p_x,y表示深度图像平面中的点(x,y)逆投影至深度相机相机坐标系下的点的坐标，z为p_x,y的深度值；

步骤S23：将点p_x,y变换至彩色相机相机坐标系下，计算公式为：

Q_x，y＝R_r(p_x，y-T_r)

其中，Q_x,y表示深度相机相机坐标系下的点变换至彩色相机相机坐标系下的点的坐标；

步骤S24：将Q_x,y利用步骤S21中构建的投影方程投影至彩色图像平面上，获得彩色图像对应点的深度信息，完成彩色图像与深度图像的配准。

优选的，设定阈值r_t，在深度图像与彩色图像的配准前，计算深度图像中像素点的个数与彩色图像中像素点个数的比值r，并进行如下判断：

当r<r_t时，利用线性插值的方法将深度图像在保持纵横比的情况下进行放大，使r超过r_t后再进行深度图像与彩色图像的配准；

当r≥r_t时，直接进行进行深度图像与彩色图像的配准。

优选的，所述阈值r_t的大于等于0.33，小于等于1。

优选的，对深度相机和彩色相机的标定方法为：从不同角度和位置观察同一个物体，在获取多组图片后，根据相机的投影方程分别求的深度相机和彩色相机的内、外参数，完成标定。

本发明基于针孔相机模型，利用普通的室外深度相机与普通的彩色相机采集深度图像与彩色图像，并对深度图像与彩色图像进行配准，从而获取室外环境下的RGB-D图像，实用性较强，获取的RGB-D图像质量较高，并有良好的测距范围；本发明使用的配准方法无需进行很多硬件上的调整，即可获得RGB-D图像，有效的节省了成本；本发明通过阈值判定是否需要缩放图像，有利于改善RGB-D图像的质量。因此，本发明对室外环境下RGB-D图像的获得具有较强的实用性。

附图说明

图1为本发明RGB-D图像获取的流程图；

图2为针孔相机模型原理图；

图3为本发明RGB-D图像配准的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明提出了一种用于获取室外环境下RGB-D图像的方法，首先分别获得深度图像与彩色图像，然后在基于针孔相机模型(Pin-holeCamera Model)下实现深度图像与彩色图像的配准，如图1所示，所述方法包括：

步骤S1：对深度相机进行标定，获得深度相机的内参数A_d、外参数[R_d|T_d]，对彩色相机进行标定，获得彩色相机的内参数A_c、外参数[R_c|T_c]，计算彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]。相机的内参数决定三维空间中的点经投影后在相机平面上成像的形状；相机的外参数由旋转矩阵和平移矩阵组成，决定三维空间中的点经投影后在相机平面上成像的位置。彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]决定了深度图像中的点在彩色相机相机平面上成像的位置。

所述的相机标定是一种求取相机内外参数的过程。通过从不同角度和位置观察同一个物体(如棋盘格)，在获取一定数量的图片后，即可根据相机的投影方程:

Z_{c} [\begin{matrix} u \\ v \\ 1 \end{matrix}] = [\begin{matrix} m_{11} & m_{12} & m_{13} & m_{14} \\ m_{21} & m_{22} & m_{23} & m_{24} \\ m_{31} & m_{32} & m_{33} & m_{34} \end{matrix}] [\begin{matrix} X_{w} \\ Y_{w} \\ Z_{w} \\ 1 \end{matrix}] = {MX}_{w}

求得相机的内参数A，以及外参数[R|T]，其中，Z_c是图像坐标系中齐次坐标点的比例系数，M矩阵为投影矩阵(可分解出相机的内外参数)，X_w为世界坐标系中的点。

本实施例中观察的物体采用的是棋盘格，根据形状与纹理特征确定需要采集的图像数量，进行图像获取后，根据相机的投影方程，求得相应的参数。

X_d＝R_dX_w+T_d

X_c＝R_cX_w+T_c

将上述两式中X_w消去后得到

X_{c} = R_{c} R_{d}^{- 1} X_{d} + T_{c} - R_{c} R_{d}^{- 1} T_{d}

因此，彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]，可以表示为：

R_{r} = R_{c} R_{d}^{- 1}

T_{r} = T_{c} - R_{c} R_{d}^{- 1} T_{d}

所述的针孔相机模型如图2所示，f是相机的焦距，Z是物体到针孔相机透镜光心的距离。在针孔相机模型下，将相机坐标系中坐标为(X,Y,Z)的点投影至图像平面上坐标为(x,y)的点所满足的投影方程为：

[\begin{matrix} x \\ y \\ w \end{matrix}] = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{y} & c_{y} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \end{matrix}]

其中，w＝Z，f_x、f_y、c_x、c_y分别为相机在图像平面x轴方向上的焦距、相机在图像平面y轴方向上的焦距、相机在图像平面x轴方向上的中心偏移和相机在图像平面y轴方向上的中心偏移。本发明的RGB-D图像配准方法即是基于针孔相机模型的，实施步骤如图3所述。

RGB-D图像配准包括以下步骤：

步骤S21：将深度图像中的点逆投影至深度相机相机坐标系中，由于深度图像记录的为空间中点与相机间的距离信息，即可以设定深度相机相机坐标系中点在Z轴方向的值与对应深度图像像素点的深度值相等，具体计算如下：

p_{x, y} = (\begin{matrix} z (x - c_{x}) / f_{x} \\ z (y - c_{y}) / f_{y} \\ z \end{matrix})

其中p_x,y表示深度图像平面中的点(x,y)逆投影至深度相机相机坐标系下的点的坐标，z表示p_x,y的深度值；

步骤S22：将点p_x,y变换至彩色相机相机坐标系下，计算公式如下：

Q_x，y＝R_r(p_x，y-T_r)

其中，Q_x,y表示深度相机相机坐标系下的点变换至彩色相机相机坐标系下的点的坐标。

步骤S23：将Q_x,y利用针孔相机模型满足的投影方程投影至彩色相机图像平面上，获得彩色图像对应点的深度信息，即完成彩色图像与深度图像的配准过程，获得RGB-D图像。

为了更好地改善获得RGB-D图像的质量，本实施例中设定了阈值r_t，阈值r_t的取值范围为[0.33，1]，在深度图像与彩色图像的配准前，计算深度图像中像素点的个数与彩色图像中像素点个数的比值r，并进行如下判断：当r<r_t时，利用线性插值的方法将深度图像在保持纵横比的情况下进行放大，使r超过r_t后再进行深度图像与彩色图像的配准；当r≥r_t时，直接进行进行深度图像与彩色图像的配准。本实施例基于针孔相机模型，利用普通的室外深度相机与普通的彩色相机采集深度图像与彩色图像，并对深度图像与彩色图像进行配准，从而获取室外环境下的RGB-D图像，实用性较强，获取的RGB-D图像质量较高，并有良好的测距范围；使用的配准方法无需进行很多硬件上的调整，即可获得RGB-D图像，有效的节省了成本；通过阈值判定是否需要缩放图像，有利于改善RGB-D图像的质量。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种RGB-D图像获取方法，其特征在于，包括步骤如下:

2.如权利要求1所述的RGB-D图像获取方法，其特征在于，计算彩色相机相机坐标系下的深度相机的相对外参数[R_r|T_r]的计算公式为

R_{r} = R_{c} R_{d}^{- 1}

T_{r} = T_{c} - R_{c} R_{d}^{- 1} T_{d} .

3.如权利要求2所述的RGB-D图像获取方法，其特征在于，所述深度图像与彩色图像的配准包括以下步骤：

[\begin{matrix} x \\ y \\ w \end{matrix}] = [\begin{matrix} f_{x} & 0 & c_{x} \\ 0 & f_{x} & c_{y} \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} X \\ Y \\ Z \end{matrix}]

p_{x, y} = (\begin{matrix} z (x - c_{x}) / f_{x} \\ z (y - c_{y}) / f_{y} \\ z \end{matrix})

Q_x，y＝R_r(p_x，y-T_r)

4.如权利要求1-3中任一项所述的RGB-D图像获取方法，其特征在于，设定阈值r_t，在深度图像与彩色图像的配准前，计算深度图像中像素点的个数与彩色图像中像素点个数的比值r，并进行如下判断：

当r≥r_t时，直接进行进行深度图像与彩色图像的配准。

5.如权利要求4中任一项所述的RGB-D图像获取方法，其特征在于，所述阈值r_t的大于等于0.33，小于等于1。

6.如权利要求5所述的RGB-D图像获取方法，其特征在于，对深度相机和彩色相机的标定方法为：从不同角度和位置观察同一个物体，在获取多组图片后，根据相机的投影方程分别求得深度相机和彩色相机的内、外参数，完成标定。