CN104616284A - 彩色深度相机的彩色图像到深度图像的像素级对准算法 - Google Patents

Abstract

本发明公开了一种彩色深度相机的彩色图像到深度图像的像素级对准方法。它包括步骤1)确定红外图像和深度图像之间的偏移量量，2)分别标定红外相机和彩色相机的内部参数，3)标定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数，5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度；本发明能够从彩色图像出发，直接获取对应的深度信息，能够实现从彩色信息到深度信息的对准，能够获得更大尺寸的融合图像，信息更加丰富。

Description

彩色深度相机的彩色图像到深度图像的像素级对准算法

技术领域

本发明涉及的彩色图像到深度图像的对准方法，具体是指一种基于极线约束，从彩色深度相机(Kinect)的彩色图像上的像素点出发，找到对应的深度图像上的像素点的方法。

背景技术

红外相机与彩色相机相结合的成像系统已经越来越多的应用到智能家居、体感游戏、三维重建、机器人自主导航等领域。为了发挥出多传感器融合的优势，首要的一个问题就是如何更好的实现不同传感器信息的融合。彩色深度相机(Kinect)是一款典型的红外相机与彩色相机相结合的成像系统，同时具有价格低廉、实用效果好等特点。它主要由红外发射器，红外相机和彩色相机组成。并且，红外相机与红外发射器形成一个三角测距系统，因此能够从红外图像推算出深度信息(深度图像)。目前只有从深度图像到彩色图像的对准方法。然而，彩色图像比深度图像具有更多的纹理特征，因此大多数情况下，我们都会需要一种从彩色图像到深度图像的对准方法。

发明内容

本发明创新性地提出了一种基于极线约束的，从彩色图像对准到深度图像的新算法，实现了从彩色图像到深度图像的直接对准，并提高了相机系统的信息融合效率，能够得到更多的融合信息，获得更大尺寸的融合图像。

本发明所使用的相机模型如附图1所示。建模为三个相机和一个红外发射器：红外相机、深度相机、彩色相机和红外发射器。其中红外发射器投射一个红外模式光，红外相机采集场景反射的模式光得到红外图像，通过与内置红外模式图比较得到一个深度图像。本发明在这一相机模型的基础上，结合极线约束，实现了从彩色图像到深度图像的对准算法。如附图2所示，具体的算法流程如下：

1)确定红外图像和深度图像之间的偏移量，由于是基于三角测距原理，通过窗口卷积的方法获得对应像素点的深度信息，因此深度图像和红外图像之间会有一个固定的偏移。首先，采集任意场景图像，并对红外图像和深度图像做二值化处理。然后从红外图像和深度图像中分别分割出场景中的目标物。接下来，通过比较红外图像和深度图像中分割出来的目标物的形状，确定红外图像和深度图像之间的偏移量，使得两个形状能够达到最好的对准效果。

2)分别标定红外相机和彩色相机的内部参数，红外(IR)相机和彩色(RGB)相机的几何投影模型如下：假设一个3D点X投影到图像点[u,v]^T。

$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=K\left[\begin{array}{c}s\\ t\\ 1\end{array}\right]---\left(1\right)$

$\left[\begin{array}{c}s\\ t\\ 1\end{array}\right](1+k_1{r}^2+k_2{r}^4+k_5{r}^6)\left[\begin{array}{c}p\\ q\\ 0\end{array}\right]\left[\begin{array}{c}2k_3\mathrm{pq}+k_4(r^4+2p^2)\\ 2k_4\mathrm{pq}+k_3(r^2+2q^2)\\ 1\end{array}\right]$

$r^2=p^2+q^2,\left[\begin{array}{c}\mathrm{pz}\\ \mathrm{qz}\\ z\end{array}\right]=R(X-C)---\left(3\right)$

式中k＝[k₁,k₂,…,k₅]为畸变参数，矩阵K为投影矩阵，R为旋转矩阵，C为相机中心。利用传统的标定方法，分别用红外相机和彩色相机拍摄9x6的棋盘网格的图像。利用角点检测算法检测出黑白网格的角点，然后通过角点信息推算出红外相机和彩色相机的内部参数。

3)标定红外相机和彩色相机之间的相对姿势，将步骤2)中使用的棋盘网格同时显示给红外相机和彩色相机。由于在微软SDK中，红外图像和彩色图像公用一个数据流。因此，先打开红外图像数据流保存一幅红外图像，保持相机和标定板之间姿势不变，然后关闭红外图像数据流打开彩色图像数据流再保存一幅彩色图像。这样就获得了一对图像。重复5次(不固定)，采集5对图像。最后利用这几对图像估计出红外相机和彩色相机的相对姿势。

4)标定深度相机模型的参数，这里我们假设深度相机和红外相机在几何上保持一致。但是从深度相机得到的是深度图像，其中每个像素保存着IR图像中的对应像素点[u,v]^T的深度的倒数d。因此，存在IR图像与深度图像的如下对应关系：

$\left[\begin{array}{c}x\\ y\\ d\end{array}\right]=\left[\begin{array}{c}u-u_0\\ v-v_0\\ \frac{1}{c_1}\frac{1}{z}-\frac{c_0}{c_1}\end{array}\right]---\left(4\right)$

式中，x,y和d分别是3D点X在深度图像上的对应像素点的像素坐标和像素值。3D点X在红外图像上的投影点的像素坐标u,v是由方程(2)给定，红外图像与深度图像的固定偏移为[u₀,v₀]^T＝[3,3]^T。3D点X的真实的深度z由方程(3)给定，c₀,c₁是深度相机模型的参数。

若将IR相机的坐标系作为整个彩色深度相机(Kinect)的坐标系，那么R_IR＝I,C_IR＝0。根据深度图像上的一点[x,y,d]就可以确定对应的3D点X_IR。

$X_{\mathrm{IR}}=\frac{1}{c_{1}d+c_0}{\mathrm{dis}}^{-1}\left(\begin{array}{c}{K_{\mathrm{IR}}}^{-1}\left[\begin{array}{c}x+u_0\\ y+v_0\\ 1\end{array}\right],k_{\mathrm{IR}}\end{array}\right)---\left(5\right)$

可以算出对应的RGB相机坐标系下的坐标。式中k_IR是IR相机的畸变参数，K_IR是IR相机的投影矩阵。

然后投影到RGB图像：

u_RGB＝K_RGBdis(R_RGB(X_IR-C_RGB),k_RGB)            (6)其中，dis是根据方程(2)确定的畸变函数。k_RGB是RGB相机的畸变参数。K_RGB,R_RGB,C_RGB分别是RGB相机的投影矩阵，旋转矩阵和光学中心。

用红外相机拍一幅标定板的图像，在红外图像上可以识别出标定板上的角点，因此可以计算出这些角点的3D坐标X_IR。另一方面，根据步骤1)确定的红外图像和深度图像之间的固定偏移，可以找到这些角点在深度图像上的对应点。根据上述推导,利用深度图像上的一点[x,y,d]也可以确定对应的3D点X_IR'。通过最小二乘法优化c₀,c₁，使得X_IR'尽可能的趋近于X_IR。这样我们就能够估算出c₀,c₁。

5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度，附图4是一个示意图，显示了实现彩色图像点到深度图像点的对准的基本原理。这是立体视觉系统中经典的极线约束问题的扩展。假设现在空间中有一个点Q，在RGB图像上的成像点为q_RGB。如果我们把彩色深度相机(Kinect)的RGB相机和IR相机当作一个立体视觉系统，那么利用之前标定好的基础矩阵F_RGB-IR可以在红外图像上找到一条与q_RGB想对应的极线。Q点在红外图像上的成像点应该就在这条直线上。假设这条直线上有N个点q_IR ⁱ(i∈[1,N])。而对应的红外图像和深度图像之间有一个偏移[u₀,v₀]。深度相机在几何上可以看作就是IR相机。对于每一个点q_IR ⁱ，对应的深度是对应的3D点坐标(在IR相机坐标系下)可以这样计算：

${Q_{\mathrm{IR}}}^i=\frac{1}{c_1{d}_i+c_0}\·{K_{\mathrm{IR}}}^{-1}\·\left(\begin{array}{c}{\mathrm{dis}}^{-1}\left(\begin{array}{c}\left[\begin{array}{c}{x_{\mathrm{qIR}}}^i\\ {y_{\mathrm{qIR}}}^i\\ 1\end{array}\right],D_{\mathrm{IR}}\end{array}\right)\end{array}\right)---\left(7\right)$

式中dis^-1代表根据红外相机的畸变参数D_IR进行的逆畸变操作。K_IR是红外相机的投影矩阵。x_qIR ⁱ,y_qIR ⁱ是Q_IR ⁱ在红外图像上的投影点的像素坐标。对应的3D点在RGB相机坐标系下的坐标可以这样计算：

Q_RGB ⁱ＝Q_IR ⁱ·R+T             (8)

其中(R,T)是RGB相机和IR相机之间的相对姿势。然后，3D点Q_RGB ⁱ可以投影到RGB图像上：

q_RGB ⁱ＝dis(K_RGB·Q_RGB ⁱ,D_RGB)              (9)

式中dis代表根据RGB相机的畸变参数D_RGB进行的畸变操作。K_RGB是RGB相机的投影矩阵。接下来，我们在极线上进行搜索，找到一个点q_IR ^j，使得这个点满足一个条件，即其对应点q_RGB ^j是最接近观测点q_RGB的：

${q_{\mathrm{IR}}}^j={\left({q_{\mathrm{IR}}}^i\right)}_{\min |q_{\mathrm{RGB}}-{q_{\mathrm{RGB}}}^i}---\left(10\right)$ 通过上述方程，我们能够确定一个点q_IR ^j。这个点被近似的当作3D点Q在红外图像上的投影点。因此，点Q_RGB ^j的深度_z ^j将被当作是点q_RGB的深度。因为空间点Q在RGB相机坐标系下的深度已经确定，所以我们可以计算出其3D坐标：

$Q_{\mathrm{RGB}}=z^j\·{K_{\mathrm{RGB}}}^{-1}\·\left(\begin{array}{c}{\mathrm{dis}}^{-1}\left(\begin{array}{c}\left[\begin{array}{c}{x}_{\mathrm{qRGB}}\\ y_{\mathrm{qRGB}}\\ 1\end{array}\right],D_{\mathrm{RGB}}\end{array}\right)\end{array}\right)---\left(11\right)$

式中dis^-1代表根据RGB相机的畸变参数D_RGB进行的逆畸变操作。x_qRGB,y_qRGB为Q在RGB图像上的投影点的像素坐标。

本发明的优点在于：

1.以前的方法只能从深度图像对准到彩色图像，反之则不可以。而本发明能够实现从彩色图像到深度图像的直接对准。

2.以前的方法获得的融合图像尺寸较小，而本发明能够获得更加大尺寸的彩色与深度的融合图像，不丢失信息，具有更丰富的纹理特征。

附图说明

图1为本发明的相机几何模型图。

C_IR——红外相机的光学中心；

C_RGB——彩色相机的光学中心；

C_P——红外投影器的中心；

R_RGB,T_RGB——红外相机坐标系到彩色相机坐标系的旋转平移；

X——三维空间的一个目标点；

图2为本发明的实现流程图。

图3为本发明中，实现彩色图像到深度图像的对准的原理图。

图中：

O_IR——红外相机的光学中心；

O_RGB——彩色相机的光学中心；

R,T——红外相机坐标系到彩色相机坐标系的旋转平移；

q_IR ^j——红外图像上与q_RGB相对应的极线上的任意一点；

q_RGB ^j——q_IR ^j对应的三维空间点反投影到彩色图像上的对应像素点；

q_RGB——彩色图像上的一个像素点(特征点)；

Q——三维空间的一个点(特征点)；

Q^j——q_IR ^j对应的三维空间点。

图4为实验图例，显示了实验中采集的图像以及角点检测结果；

图4(a)——在彩色图像上检出角点；

图4(b)——在红外图像上检出角点；

图4(c)——正常状态下的红外图像(无法稳定地检测到角点)。

具体实施方式

下面结合附图和实施例对本发明的具体实施方法作进一步的详细说明。

1)确定红外图像和深度图像之间的偏移量，首先，采集任意场景图像，并对红外图像和深度图像做二值化处理。然后从红外图像和深度图像中分别分割出场景中的目标物。接下来，通过比较红外图像和深度图像中分割出来的目标物的形状，确定红外图像和深度图像之间的偏移量，使得两个形状能够达到最好的对准效果。根据实验结果，这个固定偏移为[u₀,v₀]＝[3,3](像素)。

2)分别标定红外相机和彩色相机的内部参数，为了提高深度图像与彩色图像的融合精度，彩色深度相机(Kinect)中的IR相机、RGB相机以及深度相机的内部参数必须被精确标定。这里我们采用传统的标定方法。在标定板上贴着一个9x6的棋盘网格。将标定板放在距离相机0.5m左右，分别用红外相机和彩色相机拍摄棋盘网格的图像。图4(c)显示了正常状态下，当红外发射器发出的红外光打在标定板上的时候，拍摄到的红外图像。我们发现，在这样一幅红外图像上，由于有很多椒盐噪声，很难精确自动检测标定板上所有的角点。这里我们用了一个小技巧。将一张薄纸(纸巾即可)挡在红外相机前面，就可以拍到一幅较为平滑的红外图像(如图4(b))。在这样一幅红外图像上，所有角点都能被精确稳定的检测到。利用角点检测算法检测出红外图像以及彩色图像上的黑白网格的角点(如图4(a)(b))，然后通过角点信息推算出红外相机和彩色相机的内部参数。

3)标定红外相机和彩色相机之间的相对姿势，将步骤2)中使用的棋盘网格同时显示给红外相机和彩色相机。由于在微软SDK中，红外图像和彩色图像公用一个数据流。因此，先打开红外图像数据流保存一幅红外图像，保持相机和标定板之间姿势不变，然后关闭红外图像数据流打开彩色图像数据流再保存一幅彩色图像。这样就获得了一对图像。两个相机相对于标定板的姿势能够被标定，因此两个相机之间的相对姿势也能够计算出来。

4)标定深度相机模型的参数，先用薄纸挡住IR相机拍一幅IR图像，然后保持相机和标定板相对位置不变，移开薄纸再拍一幅深度图像。那么这样的IR图像和深度图像是对应的，可以组成一对图像。利用这样一对图像，能够获得一系列的3D标定点并且能够从深度图像上找到对应的深度像素点：利用方程(5)，优化c₀,c₁使得最大限度地趋近于为了提高深度模型参数c₀,c₁对距离的鲁棒性，实验过程中我们将标定板从0.5m移动到1m，并在期间的各个位置都采集IR图像与深度图像对，用于标定深度参数c₀,c₁。距离范围0.5m～1m根据后面实际使用过程中标定板与彩色深度相机(Kinect)的距离而定。在我们的实验中，通常采用8组左右的红外-深度图像对。至此，红外相机的内部参数、彩色相机的内部参数、红外相机与彩色相机的相对姿势、深度相机的参数都能够估计出来。

5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度，附图4是一个示意图，显示了实现RGB图像点到深度图像点的对准的基本原理。假设现在空间中有一个点Q，在RGB图像上的成像点为q_RGB。如果我们把彩色深度相机(Kinect)的RGB相机和IR相机当作一个立体视觉系统，那么利用之前标定好的基础矩阵F_RGB-IR可以在红外图像上找到一条与q_RGB想对应的极线。Q点在红外图像上的成像点应该就在这条直线上。假设这条直线上有N个点q_IR ⁱ(i∈[1,N])。而对应的IR图像和深度图像之间有一个偏移[u₀,v₀]。对于每一个点q_IR ⁱ，对应的深度是对应的3D点坐标Q_IR ⁱ(在IR相机坐标系下)可以根据方程(7)计算出来。对应的3D点在RGB相机坐标系下的坐标可以根据方程(8)计算出来。然后，3D点Q_RGB ⁱ可以通过方程(9)投影到RGB图像上的q_RGB ^j。接下来，我们在极线上进行搜索，找到一个点q_IR ^j，使得这个点满足一个条件，即其对应点q_RGB ^j是最接近观测点q_RGB的。这样确定的一个点q_IR ^j被近似的当作3D点Q在红外图像上的投影点。因此，点Q_RGB ^j的深度z^j将被当作是点q_RGB的深度。通过上述算法，可以从RGB图像上任意一点对准到深度图像的对应像素点。

这里，我们给出通过这种方法实现从RGB图像的像素点到深度图像的像素点的对应的像素误差：pixel_error＝|q_RGB-q_RGB ^j|。在实验中，pixel_error的平均值为0.4个像素。因此这样确定的深度的精度是完全可以接受的。

Claims (1)

1.一种彩色深度相机的彩色图像到深度图像的像素级对准方法，它包括步骤1)确定红外图像和深度图像之间的偏移量量，2)分别标定红外相机和彩色相机的内部参数，3)标定红外相机和彩色相机之间的相对姿势，4)标定深度相机模型的参数，5)利用红外图像和彩色图像的内外参数以及深度图像参数，从彩色图像的一个像素点出发，找到深度图像上对应的像素点，从而确定彩色图像上的像素点的深度；其特征在于:

A.所述的步骤4)标定深度相机模型的参数方法如下，使用一个标定板，保持相机和标定板相对位置不变，先用薄纸挡住红外相机拍一幅红外图像，然后移开薄纸再拍一幅深度图像，那么这样的红外图像和深度图像是对应的，可以组成一对，利用这样一对图像，在红外图像上，能够检测到一系列3D标定点，角点i＝1,…,n，为角点X_i在红外相机坐标系下的坐标。通过所述的步骤1)中确定的红外图像与深度图像之间的固定偏移，能够找到这些角点在深度图像上的位置坐标i＝1,…,n，根据可以计算出这个点X_i在深度相机坐标系下的坐标红外相机与深度相机在几何上保持一致。因此方程中包含了深度参数c₀,c₁，使用最小二乘法拟合该方程，可以得到深度参数c₀,c₁；

B.所述的步骤5)方法如下：根据彩色图像上的一点q_RGB，寻找其在深度图像上对应点q_D，我们把彩色深度相机的彩色相机和红外相机当作一个立体视觉系统，那么利用上述的步骤2)和步骤3)标定好的彩色相机与红外相机的内外参数可以获得一个基础矩阵F_RGB-IR；通过这个基础矩阵可以在红外图像上找到一条与q_RGB相对应的极线，q_RGB点在红外图像上的成像点q_IR应该就在这条直线上，假设这条直线上有N个点q_IR ⁱ(i∈[1,N])。而对应的红外图像和深度图像之间有一个偏移[u₀,v₀]；深度相机在几何上可以看作就是红外相机，对于每一个点q_IR ⁱ，对应的深度点是对应的在红外相机坐标系下的3D点坐标可以计算:

${Q_{\mathrm{IR}}}^i=\frac{1}{c_1{d}_i+c_0}\·{K_{\mathrm{IR}}}^{-1}\·\left({\mathrm{dis}}^{-1}(\left[\begin{array}{c}{x_{q_{\mathrm{IR}}}}^i\\ {y_{q_{\mathrm{IR}}}}^i\\ 1\end{array}\right],D_{\mathrm{IR}})\right)---\left(1\right)$

式中c₀,c₁为深度模型参数，K_IR是IR相机的投影矩阵；dis^-1是根据红外相机的畸变参数D_IR确定的逆畸变函数；d_i是Q_IR ⁱ在深度图像上的投影点的像素值；是Q_IR ⁱ在红外图像上的投影点的像素坐标；然后，对应的3D点在彩色相机坐标系下的坐标可以这样计算：

$Q_{\mathrm{RGB}}^i={Q_{\mathrm{IR}}}^i\·R+T---\left(2\right)$

式中R,T分别为旋转矩阵和平移向量，是彩色相机和红外相机之间的相对姿势。然后，3D点可以投影到彩色图像上的接下来，我们在极线上进行搜索，找到一个点q_IR ^j，使得这个点满足一个条件，即其对应点是最接近观测点q_RGB的：

${q_{\mathrm{IR}}}^j={\left({q_{\mathrm{IR}}}^i\right)}_{\min |q_{\mathrm{RGB}}-q_{\mathrm{RGB}}^i|}---\left(3\right)$

通过这个条件，我们能够确定一个点q_IR ^j，这个点被近似的当作3D点Q在红外图像上的投影点，因此，点的深度z^j将被当作是点q_RGB的深度。