CN111210481A - 多波段立体相机的深度估计加速方法 - Google Patents

Abstract

本发明属于图像处理和计算机视觉领域，公开了一种多波段立体相机的深度估计加速方法。在深度估计过程中，各波段双目立体匹配过程中，通过压缩匹配图像，一方面抵消掉由双目图像校正带来的平行等位误差，使匹配更加精确，一方面减少了计算开销。另外，在代价聚合前，通过对代价图进行横向压缩，进行稀疏匹配，再次降低计算开销。再将不同模态下获得的视差图进行融合，获得全天候、更完整、更精确的深度信息。

Description

多波段立体相机的深度估计加速方法

技术领域

本发明属于图像处理和计算机视觉领域，涉及多波段立体深度估计及其加速方法。具体涉及一种针对多波段立体相机深度估计过程进行加速的方法。

背景技术

基于可见光波段的双目立体视觉技术发展较为成熟，可见光成像具有丰富的对比度、颜色、形状信息，因而可以准确、迅速的获得双目图像之间的匹配信息，进而获取场景深度信息。但可见光波段成像存在其缺陷，如在强光、雾雨雪天气或夜晚，其成像质量大大下降，影响匹配的精度。因此利用不同波段信息源的互补性建立多波段立体视觉系统，是实现特殊环境下空间三维重构的一种有效途径。如利用可见光波段双目相机与红外波段双目相机构成多波段立体视觉系统，利用红外成像不受雾雨雪、光照影响优势，弥补可见光波段的成像不足，从而获取更完整、精确的深度信息。

多波段信息互补系统中，对多波段信息进行融合获取最终深度信息较为关键。一个较主流的多波段信息融合方式为对多波段获得的点云信息融合，即利用红外双目图像与可见光双目图像，以及红外双目相机标定数据与可见光标定数据，分别生成红外波段与可见光波段对应的点云，再借助红外与可见光机组之间的刚性变换及各类点云配准、融合算法探索多波段双目点云融合。(《红外与可见光三维点云融合算法研究》)。上述方法对不同波段双目相机分别进行匹配，再根据匹配结果将图像映射为三维信息，在点云层面上进行融合，大大提高了计算量以及资源消耗，难以应用于实际产品。

为降低计算消耗，研究者对红外与可见光波段构成的多波段立体成像系统进行研究改进。如佟颖博士，将红外与可见光信息在二维图像层面进行融合，以红外波段信息对缺失的可见光波段信息进行修补、增强，再以生成的融合图像为基础进行立体匹配和三维重构(《基于红外与可见光图像融合的三维重构若干关键技术研究》[D],天津大学，2015)。由于双目深度估计的关键步是根据像素强度及像素间相对位置信息获取左图L中的每一个像素在右图R中的位置，即双目匹配信息，且双目图像对应像素之间需满足严格的几何关系，才能根据双目匹配信息得到双目深度信息。而上述在二维图像层面对可见光图像与红外图像进行融合的方法，尽管恢复了图像的大致结构与像素强度信息，但融合过程中的误差及不确定性因素，会改变匹配像素对之间的几何关系，另外，由于融合的不确定性因素导致像素强度的微小改变及局部结构的微小变动会导致对应像素点间匹配代价变大，对匹配精度造成影响。

针对上述现状，为避免深度融合对匹配精度造成影响，本发明提出一种多波段深度估计方法，在图像融合前对各波段图像对分别进行立体匹配，其次根据置信度在视差层面进行多波段信息融合，最后将视差转换为深度信息。为保证计算效率，本发明根据所提出的多波段立体相机深度估计方法提出一种加速策略，即对待匹配图像进行压缩以及对初始匹配代价压缩后进行能量传播策略。图像压缩及稀疏传播在保证视差精度同时大大降低了计算开销。另外，深度信息融合无需二维到三维之间的转换以及投影映射优化等操作，相较于在点云信息上做融合，大大提高了效率。

发明内容

本发明旨在克服现有技术的不足，提供了一种多波段立体相机深度估计方法及其加速策略，即通过对匹配图像压缩以及进行稀疏传播降低计算开销，再将不同模态下传感器获得的视差图进行融合，获得全天候、更完整、更精确的深度信息。

具体方案包括下列步骤：

一种多波段立体相机的深度估计加速方法，包括如下步骤：

第一步，标定多波段双目相机各自的内部、外部参数；内部参数包括焦距、光心；外部参数包括旋转、平移；将不同波段双目相机输出的双目图像校正为平行等位关系；对多波段双目相机之间进行联合标定，获取不同波段设备间的位置关系参数，包括旋转、平移；

第二步，对多波段双目相机之间进行配准，得到不同波段设备采集的图像间对应像素的坐标转换矩阵，即单应性矩阵；对各波段双目图像对进行去噪操作；对各波段图像对进行纵向压缩以节省匹配效率；

第三步，根据全局匹配算法SGM方法进行双目图像间的匹配，获取多波段双目图像各自的初始代价图；对初始代价图进行压缩，以提高传播效率；对压缩后的稀疏代价图进行能量传播，修正、优化错误匹配；根据能量传播图，对每个像素位置找到最小能量对应的视差，进而获得视差图；

第四步，对视差图进行优化，优化后的视差通过上采样方法恢复成原尺度，根据视差融合方法，获得最终的深度图。

本发明的有益效果是：

本发明基于多波段双目深度估计，提出了一种多波段立体相机深度估计加速方法，以保证计算效率，满足实际应用的实时性要求，同时获得更优质的融合后的深度图像。本发明具有以下优势：

1本发明提出一种立体相机深度估计的加速方法。在深度估计过程中，各波段双目立体匹配过程中，通过压缩匹配图像，一方面抵消掉由双目图像校正带来的平行等位误差，使匹配更加精确，一方面减少了计算开销。另外，在代价聚合前，通过对代价图进行横向压缩，进行稀疏匹配，再次降低计算开销。

2本发明提出一种加速的多波段立体相机全天候深度估计方法。参与融合的视差图是根据对应波段双目图像获得，先匹配后视差融合的策略降低了多波段图像融合误差带来的匹配误差，视差层面的融合避免了三维点云层面融合的计算消耗，通过纵向压缩图像、横向压缩代价图进一步提高了视差估计速度。该方法可选取各波段的准确信息，达到多波段设备优势互补目的。

附图说明

图1为方案的整体流程图；

图2为视差融合模块的详细流程；

图3为视差融合后的效果图；

具体实施方式

本发明基于多波段传感器设备及双目视差估计方法，对基于多模态设备得到的视差图进行融合，再根据三角测量原理与融合后的视差计算距离信息，以利用不同波段设备在不同环境下的成像优势。以一对可见光双目相机与一对红外双目相机的深度深度估计为例，具体实施方案如下：

图1为方案的整体流程。

第一步，分别对可见光双目相机及红外双目相机进行每个镜头的标定及各自系统的联合标定；

1.1利用张正友标定法对每台红外相机、可见光相机分别进行标定，获得每台相机的焦距、主点位置等内部参数和旋转、平移等外部参数。

1.2对可见光双目相机进行联合标定，获得双目相机系统两台相机之间的旋转、平移等外部参数。对红外双目相机进行联合标定，获得红外双目系统两台相机之间的旋转、平移等外部参数。根据双目相机系统各自的外参对输出图像对进行校正，使同一部双目相机系统输出的双目图像满足平行等位关系。

第二步，对可见光双目相机系统和红外相机系统之间进行联合标定及配准；

2.1利用张正友标定法对可见光双目系统的左镜头与红外双目系统的左镜头进行联合标定，获得可见光及红外相机之间的旋转、平移外部参数。

2.2用两对双目相机同时拍摄棋盘格在不同平面内的图像，利用联合标定获得的RT及检测的棋盘格角点计算同一平面在可见光图像与红外图像中的位置关系，用单应性矩阵H表示。

2.3采用高斯滤波算法对输入图像进行降噪滤波处理。高斯滤波窗口权值由高斯函数，式(1)决定。

其中(x,y)是点坐标，σ是标准差。通过对高斯函数离散化，得到权值矩阵，即为高斯滤波器。

经过高斯滤波处理，能够有效的抑制噪声，平滑图像。防止噪声造成后续的匹配误差。

2.4对输入左图、右图进行纵向压缩，一方面抵消双目校正的平行等位误差，一方面对匹配速度进行加速。

纵向压缩方法为：相邻两行取均值，压缩为一行，即

I(x,yquotient 2)＝(I(x,y)+I(x,y+1))/2

其中quotient表示取商操作。I为待压缩图像，(x,yquotient 2)为压缩后图像坐标，(x,y)为压缩前图像坐标。

第三步，3.1进行初始代价计算。这里以基于Census特征的滑动窗口匹配为例描述匹配代价计算流程。

获取每个像素的Census特征描述子。利用滑动窗口，在扫描线上进行搜索，计算每个像素可能视差对应的代价，式(2)：

式中HD(·)表示汉明距离，CensusL、CensusR为分别为左图、右图像素的Census特征描述子。代价计算的输出为高(H)×宽(W)×最大视差(D)大小的张量，即初始代价图。

3.2对初始代价图进行横向压缩。能量传播需要在半全局中选取与当前位置相似位置的信息作为参考来更新当前位置的代价，为提高计算效率，将半全局传播更改为稀疏传播，通过实验发现，该操作在降低计算开销同时不损失精度。具体方式为对初始代价图进行横向降采样，隔列保留数据。

3.3在稀疏代价图上做能量传播，获得能量图，进而得到视差图。

能量描述如下：

其中C(p,D_p)为p位置处当视差为D_p时的代价，T[·]为指示函数，输入满足[]内条件时输出为1，否则为0。P₁、P₂为惩罚项。D_q为q位置处的视差值。

根据式(4)，依据图像全局结构，从多个方向向中心像素传递周围像素代价分布信息：

L_r(p,d)为p位置处视差为d时的聚合能量，r为传递方向。

能量传播后得到高(H)×宽(W)×最大视差(D)大小的张量，即能量图。以上到下(TB)、左上到右下(LTB)、左到右(LR)、右到左(RL)四个方向依次进行能量传播为例。

根据能量传播图，对每个像素位置找到最小能量对应的视差，即为该像素的整数视差d(x,y)。

energy(·)为聚合后能量。

利用能量图与整像素视差图计算亚像素级视差图。

第四步，4.1对获取的视差图进行滤波操作，去除无效视差。

首先对图像进行斑点滤波，去除视差图中的异常值。

p(x,y)为(x,y)位置处的视差值，t与t1为阈值，由实验统计获得，实现存于硬件中，T[·]为指示函数，输入满足[]内条件时输出为1，否则为0。Ω(x,y)为以(x,y)为中心的局部区域。

再对视差图进行中值滤波，

p(x,y)＝median_{(i,j)∈Ω(x,y)}(p(i,j)) (7)

第四步，恢复视差图像尺度。经上述过程得到的视差图像宽、高均为原尺度的1/2，选取最近邻插值方式，分别在横向、纵向对视差图像进行放大，恢复尺度。

视差融合方法具体操作如下：

1.根据单应性矩阵H，可见光及红外系统之间的平移和旋转位置关系、两位置信度标记位对可见光双目相机获得的视差图disparity_vis及红外双目相机获得的视差图disparity_ir进行融合。

2最后根据融合的视差计算深度图，视差与深度的关系公式如下：

其中B为基线长，f为焦距，Z为深度，d为视差。

Claims (4)

1.一种多波段立体相机的深度估计加速方法，其特征在于，包括如下步骤：

第一步，标定多波段双目相机各自的内部、外部参数；内部参数包括焦距、光心；外部参数包括旋转、平移；将不同波段双目相机输出的双目图像校正为平行等位关系；对多波段双目相机之间进行联合标定，获取不同波段设备间的位置关系参数，包括旋转、平移；

第二步，对多波段双目相机之间进行配准，得到不同波段设备采集的图像间对应像素的坐标转换矩阵，即单应性矩阵；对各波段双目图像对进行去噪操作；对各波段图像进行纵向压缩以节省匹配效率；

第三步，根据全局匹配算法SGM方法进行双目图像间的匹配，获取多波段双目图像各自的初始代价图；对初始代价图进行压缩，以提高传播效率；对压缩后的稀疏代价图进行能量传播，修正、优化错误匹配；根据能量传播图，对每个像素位置找到最小能量对应的视差，进而获得视差图；

第四步，对视差图进行优化，优化后的视差通过上采样方法恢复成原尺度，根据视差融合方法，获得最终的深度图。

2.根据权利要求1所述的多波段立体相机的深度估计加速方法，其特征在于，第二步中对各波段图像进行纵向压缩的纵向压缩方法为：相邻两行取均值，压缩为一行，即

I(x,yquotient 2)＝(I(x,y)+I(x,y+1))/2

其中quotient表示取商操作；I为待压缩图像，(x,yquotient 2)为压缩后图像坐标，(x,y)为压缩前图像坐标。

3.根据权利要求1所述的多波段立体相机的深度估计加速方法，其特征在于，第三步中对初始代价图进行压缩，具体为对初始代价图进行横向降采样，隔列保留数据。

4.根据权利要求1所述的多波段立体相机的深度估计加速方法，其特征在于，第三步中在稀疏代价图上做能量传播，获得能量图，利用“Winnertakesall”原则得到视差图；能量描述如下：

其中C(p,D_p)为p位置处当视差为D_p时的代价，T[·]为指示函数，输入满足[]内条件时输出为1，否则为0；P₁、P₂为惩罚项；D_q为q位置处的视差值；

根据式(4)，依据图像全局结构，从多个方向向中心像素传递周围像素代价分布信息：

L_r(p,d)为p位置处视差为d时的聚合能量，r为传递方向；

能量传播后得到高(H)×宽(W)×最大视差(D)大小的张量，即能量传播图；根据能量传播图，对每个像素位置找到最小能量对应的视差，即为该像素的整数视差d(x,y)；

energy(·)为聚合后能量；

利用能量图与整像素视差图计算亚像素级视差图。

Images