CN111028155A - 一种基于多对双目相机的视差图像拼接方法 - Google Patents

Abstract

本发明公开了一种基于多对双目相机的视差图像拼接方法，属于图像处理和计算机视觉领域。该方法首先利用标定算法，求解双目相机之间的位置关系，并利用这些先验信息求解图像之间的单应性矩阵；利用相机的内部参数和外物参数对深度图像进行相机坐标系的变换；利用图像之间的单应性矩阵计算出图像的重叠区域ROI，并建立能量模型，用图割算法求解；图割算法时间复杂度高，依赖于图的节点个数，本发明将图像分层，逐层求解并迭代，求出近似全局最优解的局部最优解；最后利用单应性矩阵对深度图像进行图像坐标系变换，并通过对拼接缝进行合成，实现无缝全景深度图像拼接。本发明对于内存及硬件要求较低；程序简单，易于实现，减少了图像配准时间。

Description

一种基于多对双目相机的视差图像拼接方法

技术领域

本发明属于图像处理和计算机视觉领域，具体涉及一种通过相机之间的外部参数旋转向量R与平移向量T计算图像之间的单应性矩阵，并运用图割寻找图像之间最佳拼接缝，再利用R和T、单应性矩阵和最佳过渡区域将视差图像进行拼接的方法。

背景技术

现阶段，无人驾驶技术发展迅速，无人驾驶技术需要保证安全性，而仅仅简单利用可见光图像不能很好的定位障碍物，不能获得障碍物距离，无法准确定位自身车辆。随着基于双目相机获得视差图像技术的完善，视差图像也作为基础数据用于无人驾驶领域。但是受限于视差图像的精度，双目相机的视场角较小，单对双目相机无法为自身车辆提供足够的环境信息。车辆的视场角越大，获取信息越完全，对驾驶的安全性有着更高的保证。为了使视差图像有更广的视场角范围，需要将多张视差图像拼接在一起。目前视差图像的拼接主要有以下两种方法：

1.利用特征点的拼接方法

此方法将通过提取图像之间的特征匹配点，然后求解相机之间的旋转向量R和平移向量T，再根据R、T对视差图像进行拼接。此方法的优点是拼接效果较好，使用灵活，可以在大部分场景中使用，缺点是计算复杂度高，无法满足无人驾驶的高实时性要求。

2.利用相机标定的拼接方法

此方法将通过使用棋盘格获取相机之间的外部参数R、T，然后对视差图像进行拼接。此方法拼接计算量小，实时性高，但在视差图像拼接过程中容易产生拼接缝，使拼接效果不佳。

将视差图像拼接过程分为相机坐标变换和图像坐标变换两个过程。相机坐标系的变换需要利用相机内部参数K和相机间的外部参数R、T，在三维坐标系下进行计算；图像坐标系的变换需要利用相机图像之间的单应性矩阵H和可见光图像拼接的最佳过渡区域。图像坐标系变换过程需要预配准，匹配特征点计算相机间外部参数和单应性矩阵需要耗费大量的时间。经实验发现，相机角度固定，可以通过标定算法计算出相机之间的位置关系R、T和相机的内参K，并通过R、T与相机内参K，通过世界坐标系与图像坐标系的关系，推导出两幅图像之间的单应性矩阵，通过这种先验信息省略特征点匹配时间。图像配准完成，通过图割算法求解，图割算法费时，为了达到实时需要采用逐层处理图像，降低图割计算复杂度。利用基于图像得到的最佳拼接缝对变换图像坐标系后的视差图像进行无缝拼接处理。

发明内容

为了克服现有技术的不足，本发明提供了一种基于多对双目相机的视差图像拼接方法：基于通过先验信息，即相机之间的位置关系R、T，预先求解图像之间的单应性矩阵，并对传统的图割算法进行改进，提高图割算法效率，然后用于视差图像的拼接。拼接过程需要每一台双目相机得到的图像信息和深度图像信息。

本发明的具体技术方案为：

一种基于多对双目相机的视差图像拼接与可视化方法，包括以下步骤：

步骤1)标定每个双目相机的内部参数和外部参数；内部参数K包括焦距focus和光心坐标C_x,C_y；外部参数包括旋转矩阵R和平移向量T；标定得到双目相机的基线长baseline；得到两个双目相机的可见光图像与视差图像；

步骤2)计算单应性矩阵：结合双目相机的内部参数和外部参数、相机间的摆放角度及场景平面距离d计算单应性矩阵H，d根据实际情况选取合适的数值，一般其范围为8～15m；具体步骤如下：

2-1)场景中的平面在两双目相机成像，设平面在第一个双目相机坐标系下的单位法向量为N，其到第一个双目相机中心(坐标原点)的距离即场景平面距离d，则平面π表示为：

N^TC₁＝d (1)

其中，C₁是三维点P在第一个双目相机坐标系下的三维坐标，其在第二个双目相机坐标系下的坐标为C₂，则C₁和C₂的关系为：

C₂＝RC₁+T (2)

式(2)进一步表示为：

其中，R和T分别为第一个双目相机到第二个双目相机的旋转向量和平移向量；

2-2)将步骤2-1)C₁和C₂由相机内部参数可以变换到图像坐标系下：

c₁＝K₁C₁ (4)

c₂＝K₂C₂ (5)

由公式(3)、(4)、(5)可得：

最终得到由内部参数、外部参数计算得到单应性矩阵的计算公式：

其中，c₁为C₁对应成像平面坐标系中的坐标，c₂为C₂对应成像平面坐标系中的坐标；K₁为第一个双目相机的内部参数；K₂为第二个双目相机的内部参数；最终得到的变换矩阵H即为3*3的矩阵，a₁₁～a₃₃代表具体数值；

步骤3)利用步骤1)和步骤2)中得到的双目相机的内部参数和双目相机间的外部参数，对视差图像进行相机坐标系变换，具体包含以下步骤：

3-1)利用第一个双目相机内部参数K₁(基线长baseline₁和焦距focus₁)，将视差图像还原为第一个双目相机坐标系下的点云，点云三维坐标C₁(X₁,Y₁,Z₁)的计算公式如下：

其中，x₁、y₁为第一个双目相机下的像素坐标；disparity为视差值；

3-2)利用第一个双目相机到第二个双目相机外部参数的R和T变换点云的相机坐标系，得到第二个双目坐标系下的三维点云坐标；坐标变换公式如下：

3-3)利用第二个双目相机的内部参数K₂(基线长baseline₂和焦距focus₂)，将点云还原为视差图像，此时只需要Z₂计算得到第二个双目相机坐标系下的视差值，计算公式如下：

步骤4)构建重叠区域模型：利用步骤2)中得到的图像间的单应性矩阵H，计算图像重叠区域ROI，对重叠区域建模；数学模型建立的具体步骤如下：

4-1)对于重叠区域的两张图像像素，计算两张图像重叠区域对应RGB像素的第二范数，并构建t-links，第二范数的计算公式如下：

e(p,q)＝||p-p′||+||q-q′|| (14)

||p-p′||＝(R_p-R_p′)²+(G_p-G_p′)²+(B_p-B_p′)² (15)

||q-q′||＝(R_q-R_q′)²+(G_q-G_q′)²+(B_q-B_q′)² (16)

其中，e(·)表示权函数，p为源图像，q为目标图像，p为p图像一点的像素值，p′为p邻接点的像素值，q为目标图像一点的像素值，q′为q邻接点的像素值，R_p为p点R通道数值，R_p′为p′点R通道的数值，G_p为p点G通道数值，G_p′为p′点G通道的数值，B_p为p点B通道数值，B_p′为p′点B通道的数值，R_q为q点R通道数值，R_q′为q′点R通道数值，G_q为q点G通道数值，G_q′为q′点G通道数值，B_q为q点B通道数值，B_q′为q′点B通道数值；

4-2)对建立模型求其最佳缝合线，用图割方式求解(拼接缝)，能量函数定义为：

E(f)＝Σ_p,q∈NS_p,q(l_p,l_q)+Σ_p∈PD_P(l_p) (17)

其中，S_p,q为平滑项表示将重叠区域的一对像素(p,q)分配给(l_p,l_q)的代价；l_p为像素p分配的标签；l_q为像素q分配的标签；D_P为数据项表示将重叠区域像素p标记为l_p的代价；

步骤5)将图像分为B₁*B₂大小的块，将分成的块看作图的节点，进行图割，找到局部最优解，再将B₁*B₂对应的最优缝合线所对应的节点继续分块，直至最终分块大小等于像素值，这样通过每次寻找局部最优解，最终近似地找到全局最优解；

步骤6)利用单应性矩阵H进行视差图像的图像坐标系的变换；对步骤5)中的最优缝合线进行无缝拼接；所述的视差图像拼接具体包括以下步骤：

6-1)将第一个双目相机视差图像变换到第二个双目相机的图像坐标系下：

其中，x₁、y₁为第一个双目相机的图像坐标系下的坐标；x₂、y₂为第二个双目相机的图像坐标系下的坐标；w为归一化系数；

6-2)拼接图像：比较图像坐标系变换后的第一个双目图像和第二个双目图像对应于最佳拼接缝的位置，分别将两张可见光图像和两张视差图像合并起来；

当双目相机大于两个时，重复步骤3)-步骤6)，得到更广视场角的视差图像。

本发明的有益效果：本发明实现了大视场角全景视差图像显示，本发明的算法达到了实时，实现了大视差无缝全景视差图像拼接。本发明有以下几个优点：(1)程序对于内存以及硬件要求较低，可以在Nvidia TX2上达到实时；(2)程序简单，易于实现；(3)先验信息获得之后，可以直接作为参数传入，作为默认值；(4)将由图像得到的最佳拼接缝应用于视差图像的拼接，实现无缝拼接。本发明充分利用了图像的先验信息，减少了图像配准时间；所提出的方法具有很好的可扩展性，通过简单的输入相机的外部参数R和T、内部参数K，并设置d值，实现多对相机的全景显示。

附图说明

图1是本发明的流程图。

图2是本发明实施例双目相机的系统结构图。

具体实施方式

本发明提出了一种基于多对双目相机的视差图像拼接方法，结合附图及实施例详细说明如下：

本发明以水平摆放的多对双目相机为成像系统进行多视点图像采集，其中K₁为第一台双目相机的内部参数，K₂为第二台双目相机的内部参数。每台双目相机分辨率为1024*768，视频的帧率大于20帧/每秒，系统参考结构如图2。在此基础上，计算每对双目相机之间的空间变换关系R和T，并通过R和T与成像平面距离d计算图像之间的单应性矩阵H，以中间图像为基准，计算图像水平方向的平移量，最后将计算好的参数作为输入进行拼接。具体流程如下：

1)系统标定及数据采集

1-1)对每对双目相机标定，得到每对双目相机的包括焦距、光心的内部参数和包括旋转、平移的外部参数；

1-2)将每对双目相机分别连在多台电脑上，并用一个路由器控制进行数据同步采集；

1-3)采用专用定制的标定板，同时采集图像，注意采集过程中一定确保双目相机之间的位置关系保持一致，并保持标定板固定，旋转标定板，根据实际情况，每对双目相机分别采集10到15组图像。

2)计算图像变换之间的单应性矩阵

2-1)场景中的平面在两相机的成像，设平面在第一台相机坐标系下的单位法向量为N，其到第一台相机中心(坐标原点)的距离为d，则平面π可表示为：

N^TC₁＝d

其中，C₁是三维点P在第一相机坐标系下的坐标，X₁其在第二台相机坐标系下的坐标为C₂，两者关系为：

C₂＝R*C₁+T

2-2)步骤2-1)得到的单应矩阵由第一台相机坐标系取得，还需要将其变换到成像平面坐标系中：

c₁＝K₁C₁

c₂＝K₂C₂

H＝K₁H′K₂ ^-1

上式中d值可以手动设定，其余为定值。以此得到第一台双目相机到第二台双目相机的单应性矩阵H。

3)应用步骤1)和2)中计算得到的双目相机的内部参数和双目相机间的外部参数，对视差图像进行相机坐标系变换；

3-1)应用第一对双目相机内部参数K₁等将视差图像还原为第一相机坐标系下的点云：

3-2)应用第一台双目相机到第二台双目相机的R和T变换点云的相机坐标系：

应用中间视点双目相机的内部参数K₂将点云还原为视差图像，此时只需要Z₂便可以得到视差图像，计算公式如下：

计算图像重叠区域并建模求解最佳拼接缝：首先通过图像间的单应性矩阵，计算重叠区域ROI，建立重叠区域模型；具体步骤如下：

4-1)利用图像间的单应性矩阵计算重叠区域大小：

取图像的四个顶点(0,0)、(img.cols,0)、(img.cols,img.rows)、(0,img.rows),计算转换后的坐标，变换后的左上角坐标为拼接后图像，单应性变换矩阵H为：

计算公式为：

其中，x为原图像p点经透视变换变换后的x轴坐标，y为原图像p点经透视变换变换后的y轴坐标，u为原图像p点x轴坐标，v为原图像p点y轴坐标；

4-2)建立能量模型(Seam-Driven Image Stitching)，构建图割算法的能量函数：

其中，数据项D_p(l_p)表示重叠区域内像素p赋值：

为了避免标记错误，μ设为一个非常大的数；

S_p,q(l_p,l_q)为平滑项：

S_p,q(l_p,l_q)＝I_*(p)+I_*(q)

I_*(p)＝||I₀(.)-I₁(.)||₂

5)模型建立完毕，运用图割进行求解，结果为最佳拼接缝，可知能量函数的构建对于拼接缝的结果十分重要。

5-1)由于图割运算时间与图的节点个数有关，算法复杂度较高，只能通过对重叠区域进行下采样或者分层，减少构建的图的节点数，通过此方法求得的局部最优解近似等于全局最优解，才能使算法的实时性达到要求。

5-2)此外，图割算法并行化同时可以起到进一步的加速效果。(Fast graphcut onGPU CVPR2008)

6)视差图像拼接具体包括以下步骤：

6-1)将第一台双目相机深度图像变换到第二台双目相机的图像坐标系下：

6-2)拼接视差图像：比较图像坐标系变换后的视差图像和中间视差图像对应于最佳拼接缝的位置，将两张视差图像合并起来。

步骤1)～6)完成一对双目相机的视差图像拼接，重复即可完成第二对双目相机(如第二台与第三台双目相机)视差图像的拼接。

Claims (8)

1.一种基于多对双目相机的视差图像拼接方法，其特征在于，所述的方法包括以下步骤：

步骤1)标定每个双目相机的内部参数和外部参数；内部参数K包括焦距focus和光心坐标C_x,C_y；外部参数包括旋转矩阵R和平移向量T；标定得到双目相机的基线长baseline；得到两个双目相机的可见光图像与视差图像；

步骤2)计算单应性矩阵：结合双目相机的内部参数和外部参数、相机间的摆放角度及场景平面距离d计算单应性矩阵H；所述d的取值范围为8～15m；

步骤3)利用步骤1)和步骤2)中得到的双目相机的内部参数和双目相机间的外部参数，对视差图像进行相机坐标系变换；

步骤4)构建重叠区域模型：利用步骤2)中得到的图像间的单应性矩阵H，计算图像重叠区域ROI，对重叠区域建模；

步骤5)将图像分为B₁*B₂大小的块，将分成的块看作图的节点，进行图割，找到局部最优解，再将B₁*B₂对应的最优缝合线所对应的节点继续分块，直至最终分块大小等于像素值，这样通过每次寻找局部最优解，最终近似地找到全局最优解；

步骤6)利用单应性矩阵H进行视差图像的图像坐标系的变换；对步骤5)中的最优缝合线进行无缝拼接；当双目相机大于两个时，重复步骤3)-步骤6)，得到更广视场角的视差图像。

2.根据权利要求1所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，步骤2)所述的计算单应性矩阵的具体步骤如下：

2-1)场景中的平面在两双目相机成像，设平面在第一个双目相机坐标系下的单位法向量为N，其到第一个双目相机中心的距离即场景平面距离d，则平面π表示为：

N^TC₁＝d (1)

其中，C₁是三维点P在第一个双目相机坐标系下的三维坐标，其在第二个双目相机坐标系下的坐标为C₂，则C₁和C₂的关系为：

C₂＝RC₁+T (2)

式(2)进一步表示为：

其中，R和T分别为第一个双目相机到第二个双目相机的旋转向量和平移向量；

2-2)将步骤2-1)C₁和C₂由相机内部参数可以变换到图像坐标系下：

c₁＝K₁C₁ (4)

c₂＝K₂C₂ (5)

由公式(3)、(4)、(5)可得：

最终得到由内部参数、外部参数计算得到单应性矩阵的计算公式：

其中，c₁为C₁对应成像平面坐标系中的坐标，c₂为C₂对应成像平面坐标系中的坐标；K₁为第一个双目相机的内部参数；K₂为第二个双目相机的内部参数；最终得到的变换矩阵H即为3*3的矩阵，a₁₁～a₃₃代表具体数值。

3.根据权利要求1或2所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，所述步骤3)具体包含以下步骤：

3-1)利用第一个双目相机内部参数K₁即基线长baseline₁和焦距focus₁，将视差图像还原为第一个双目相机坐标系下的点云，点云三维坐标C₁(X₁,Y₁,Z₁)的计算公式如下：

其中，x₁、y₁为第一个双目相机下的像素坐标；disparity为视差值；

3-2)利用第一个双目相机到第二个双目相机外部参数的R和T变换点云的相机坐标系，得到第二个双目坐标系下的三维点云坐标；坐标变换公式如下：

3-3)利用第二个双目相机的内部参数K₂即基线长baseline₂和焦距focus₂，将点云还原为视差图像，此时只需要Z₂计算得到第二个双目相机坐标系下的视差值，计算公式如下：

4.根据权利要求1或2所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，步骤4)所述的构建重叠区域模型具体步骤如下：

4-1)对于重叠区域的两张图像像素，计算两张图像重叠区域对应RGB像素的第二范数，并构建t-links，第二范数的计算公式如下：

e(p,q)＝||p-p′||+||q-q′|| (14)

||p-p′||＝(R_p-R_p′)²+(G_p-G_p′)²+(B_p-B_p′)² (15)

||q-q′||＝(R_q-R_q′)²+(G_q-G_q′)²+(B_q-B_q′)² (16)

其中，e(·)表示权函数，p为源图像，q为目标图像，p为p图像一点的像素值，p′为p邻接点的像素值，q为目标图像一点的像素值，q′为q邻接点的像素值，R_p为p点R通道数值，R_p′为p′点R通道的数值，G_p为p点G通道数值，G_p′为p′点G通道的数值，B_p为p点B通道数值，B_p′为p′点B通道的数值，R_q为q点R通道数值，R_q′为q′点R通道数值，G_q为q点G通道数值，G_q′为q′点G通道数值，B_q为q点B通道数值，B_q′为q′点B通道数值；

4-2)对建立模型求其最佳缝合线，用图割方式求解拼接缝，能量函数定义为：

E(f)＝∑_p,q∈NS_p,q(l_p,l_q)+∑_p∈PD_P(l_p) (17)

其中，S_p,q为平滑项，表示将重叠区域的一对像素(p,q)分配给(l_p,l_q)的代价；l_p为像素p分配的标签；l_q为像素q分配的标签；D_P为数据项，表示将重叠区域像素p标记为l_p的代价。

5.根据权利要求3所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，步骤4)所述的构建重叠区域模型具体步骤如下：

4-1)对于重叠区域的两张图像像素，计算两张图像重叠区域对应RGB像素的第二范数，并构建t-links，第二范数的计算公式如下：

e(p,q)＝||p-p′||+||q-q′|| (14)

||p-p′||＝(R_p-R_p′)²+(G_p-G_p′)²+(B_p-B_p′)² (15)

||q-q′||＝(R_q-R_q′)²+(G_q-G_q′)²+(B_q-B_q′)² (16)

其中，e(·)表示权函数，p为源图像，q为目标图像，p为p图像一点的像素值，p′为p邻接点的像素值，q为目标图像一点的像素值，q′为q邻接点的像素值，R_p为p点R通道数值，R_p′为p′点R通道的数值，G_p为p点G通道数值，G_p′为p′点G通道的数值，B_p为p点B通道数值，B_p′为p′点B通道的数值，R_q为q点R通道数值，R_q′为q′点R通道数值，G_q为q点G通道数值，G_q′为q′点G通道数值，B_q为q点B通道数值，B_q′为q′点B通道数值；

4-2)对建立模型求其最佳缝合线，用图割方式求解拼接缝，能量函数定义为：

E(f)＝∑_p,q∈NS_p,q(l_p,l_q)+∑_p∈PD_P(l_p) (17)

其中，S_p,q为平滑项表示将重叠区域的一对像素(p,q)分配给(l_p,l_q)的代价，l_p为像素p分配的标签，l_q为像素q分配的标签，D_P为数据项表示将重叠区域像素p标记为l_p的代价。

6.根据权利要求1、2或5所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，步骤6)所述的视差图像拼接具体包括以下步骤：

6-1)将第一个双目相机视差图像变换到第二个双目相机的图像坐标系下：

其中，x₁、y₁为第一个双目相机的图像坐标系下的坐标；x₂、y₂为第二个双目相机的图像坐标系下的坐标；w为归一化系数；

6-2)拼接图像：比较图像坐标系变换后的第一个双目图像和第二个双目图像对应于最佳拼接缝的位置，分别将两张可见光图像和两张视差图像合并起来。

7.根据权利要求3所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，步骤6)所述的视差图像拼接具体包括以下步骤：

6-1)将第一个双目相机视差图像变换到第二个双目相机的图像坐标系下：

其中，x₁、y₁为第一个双目相机的图像坐标系下的坐标；x₂、y₂为第二个双目相机的图像坐标系下的坐标；w为归一化系数；

6-2)拼接图像：比较图像坐标系变换后的第一个双目图像和第二个双目图像对应于最佳拼接缝的位置，分别将两张可见光图像和两张视差图像合并起来。

8.根据权利要求4所述的一种基于多对双目相机的视差图像拼接方法，其特征在于，步骤6)所述的视差图像拼接具体包括以下步骤：

6-1)将第一个双目相机视差图像变换到第二个双目相机的图像坐标系下：

其中，x₁、y₁为第一个双目相机的图像坐标系下的坐标；x₂、y₂为第二个双目相机的图像坐标系下的坐标；w为归一化系数；

6-2)拼接图像：比较图像坐标系变换后的第一个双目图像和第二个双目图像对应于最佳拼接缝的位置，分别将两张可见光图像和两张视差图像合并起来。

Images