CN112991420A - 一种视差图的立体匹配特征提取及后处理方法 - Google Patents

Abstract

本发明公开了一种视差图的立体匹配特征提取及后处理方法，在卷积网络进行立体匹配的过程中设计并应用了卷积核金字塔特征提取法，首先使用小尺寸卷积核对图像进行特征提取，获得局部图像细节信息，进而用大尺寸卷积核对图像特征进行汇总，获得全局图像特征信息，经点积后生成代价矩阵。采用4路径代价聚合方法对卷积网络输出的代价矩阵进行代价聚合，使用二次插值法直接将视差像素精确到亚像素级，采用内部型左右一致性检查法对视差图进行左右一致性检测，降低了整个后处理算法的复杂度。同时设计了树结构射线填充法，充分利用无效视差点周围的有效视差像素点，对无效视差像素点进行填充，获得了精度较高的视差图。

Description

一种视差图的立体匹配特征提取及后处理方法

技术领域

本发明涉及视差图的处理方法，特别涉及一种视差图的立体匹配特征提取及后处理方法。

背景技术

立体匹配指的是对双目摄像头拍摄到二维场景图片进行校正，通过对校正后的二维场景图片进行视差匹配获取三维场景深度信息的过程。其基本原理是在被检索图像中，寻找参考图像在匹配图像中的对应点。由于两幅图像已经过极线矫正，所以只需要计算参考点与匹配图像中对应的x坐标的绝对值，便可以得到视差值，借助该视差值以及相机的标定信息便可以可获得图像中物体在现实世界中的大小和深度。

通过这种方式所获取的深度信息，被广泛的应用于移动机器人技术、3D建模技术、航空航天。

现有的立体匹配算法中，要想获得较好的视差图需要对代价计算后得到的原始代价矩阵进行聚合，综合考虑该点候选视差的全局影响。Zhang等人提出基于十字的代价聚合算法，其思想是利用颜色信息和距离信息构造一个最佳支持窗口聚合匹配代价，以减少匹配错误及噪声带来的影响。Heiko Heiko等人于2005年提出SGM算法，该算法基于动态规划算法思想去实现。动态规划算法是用来高效地解决一维度场景下能量最优化问题的算法，动态规划算法时间复杂度用大O标记法可表示为O(n^c)，即多项式复杂度。多数算法的复杂度都会介于O(n)到O(n²)之间，对于复杂度高于O(n²)的算法，无论c取多大，都认为是可解算法，只是效率会大受影响。利用动态规划思想，可以将原本的算法时间复杂度降低。

现有技术中立体匹配存在低纹理、以及视差不连续区域匹配效果较差的问题。边缘信息对低纹理区域有很好的约束作用，然而现有技术方案中，大多将注意力放在匹配过程中，视差优化等后处理过程缺乏边缘信息的考察，因此，导致低纹理区域视差匹配效果较差问题。

发明内容

为解决上述技术问题，本发明提供了一种视差图的立体匹配特征提取及后处理方法，以达到获得精度较高的视差图的目的。

为达到上述目的，本发明的技术方案如下：

一种视差图的立体匹配特征提取及后处理方法，包括如下步骤：

步骤一，数据预处理：首先对KITTI数据集中整幅图像进行归一化处理，得到左右目整幅图像，然后在归一化后的左右目整幅图像上构建左右目图像特征描述基元；

步骤二，网络模型训练：采用卷积核金字塔特征提取方法，对左右目图像特征描述基元进行卷积；

步骤三，代价聚合：网络模型训练结束之后，将左右目整幅图像同时输入到训练好的网络模型，获取原始代价矩阵，得到新的视差空间DSI；

步骤四，视差图拟合：利用得到的新的视差空间DSI，使用二次插值法初步拟合视差图，并将视差像素精确到亚像素级；

步骤五，左右一致性检测：对上一步获得的视差图采用内部型检查法进行左右一致性检测；

步骤六，视差填充及中值滤波：对视差图中无效视差像素点进行填充，经过中值滤波后获得高精度的视差图。

上述方案中，步骤一的具体方法如下：

(1)原图像的像素值范围为[0,255]，归一化公式如式(1)所示：

其中，O代表归一化后的图像，其数据范围在[-1,1]，I代表输入图像，I_i代表输入图像中第i个像素的像素值，N代表整幅图像中像素的个数；

(2)在归一化后的图像上构建左右目图像特征描述基元：

对于一个左目图像中的像素点p(x_p,y_p)和真实视差值d，求出右目图像中对应的像素点q(x_q,y_q)，同时q需要满足的条件包括：

1)

2)

3)

4)

以此分别构建尺寸为H×W的左目图像特征描述基元和尺寸为H×(W+200)的右目图像特征描述基元,其中W_D，H_D分别表示原始图像的宽度和高度。

上述方案中，步骤二的具体方法如下：

第一层采用尺寸为7×7卷积核进行卷积操作，第二层采用尺寸为10×10卷积核进行卷积操作，第三层采用尺寸为11×11卷积核进行卷积操作，第四层采用尺寸为12×12卷积核进行卷积操作。

上述方案中，步骤三的具体方法如下：

采用上下左右4个方向进行代价聚合，设方向矢量为r，像素p沿着路径r的路径代价计算公式如下所示：

其中，C(p,d)代表初始代价值，L_r代表聚合代价值，在左右聚合情况下，p-r代表像素p的左侧或者右侧，当从左向右聚合时为左侧，当从右向左聚合时为右侧，行数相等，列数相差r，在上下聚合情况下，p-r代表像素p的上方或者下方，当从上向下聚合时为上方，当从下向上聚合时为下方，公式中四个运算值的含义为：

L_r(p-r,d)——路径内上一个像素视差为d时的聚合代价值；

L_r(p-r,d-1)——路径内上一个像素视差为d-1时的代价聚合值；

L_r(p-r,d+1)——路径内上一个像素视差为d+1时的代价聚合值；

——路径内上一个像素所有视差聚合代价值的最小值；

P₁代表表面不平整惩罚，P₂代表视差不连续惩罚项，

用来限制L_r(p,d)的大小，防止在聚合过程中累加值过大；

经4路聚合后生成的新的视差空间DSI为

上述方案中，步骤四的具体方法如下：

首先遍历某一像素对应的所有可能的视差值，找到最小代价值对应的视差值位置d_min，将最小代价值记为C_min，次最小代价值记为C_{sec_min}，若|C_min-C_{sec_min}|＜＝C_min×(1-uniq_ratio)，uniq_ratio＝0.95，则认为该处像素视差值不可信，将其设为无效值；

排除上述情况后，当前该视差值对应两侧代价值为C_SGM(p,d-1)，C_SGM(p,d+1)，此时，该处视差值d表示为：

上述方案中，步骤五的具体方法如下：

对于右目视差图对应的像素点q(x,y)，根据视差值d算出在左目视差图上对应的像素位置为p(x+d,y)，将左目视差图代价矩阵DSI^L中此像素对应的代价值赋值给(x,y,d)，以此构建右目视差图代价空间DSI^R,如式(5)所示：

DSI^R(x,y,d)＝DSI^L(x+d,y,d) (5)

其中，D^L(p)代表左目视差图中p像素点的视差，D^R(q)代表右目视差图中q像素点的视差；

(1)若满足|D^L(p)-D^R(q)|≤1，则p点为匹配正确点，将p点保留；

(2)若

满足|d-D^R(q)|≤1，则p为误匹配点。

上述方案中，步骤六的具体方法如下：

首先，对于图像中的小连通区域，采用8邻域区域跟踪算法，根据广度优先遍历，将连通区标记出来，标记后的区域均设为无效视差区域；

然后，对无效视差区域进行视差填充，针对遮挡区，选择背景区域进行视差填充，针对误匹配区域，采用树结构射线填充法以其中一个无效视差点为中心选取其周边像素点有效视差值，汇总有效视差值对当前无效像素点进行视差填充。

进一步的技术方案中，所述树结构射线填充法具体如下：

首先找到无效像素点p，以此点为中心，分别向上下、左右方向发出射线，每条射线在到达有效像素点时停止，记录有效视差像素点的视差值；在射线经过的像素点上，参照树结构分别向左右、上下进行分支扩展，同样在到达有效像素点时停止，记录视差值；将所有视差值汇总到集合V_p中，取其中位数mid_iV_p作为误匹配像素点的视差，取次最小值Seclow_iV_p作为遮挡区像素点视差，将物体边界像素点完整保留。

进一步的技术方案中，所述中值滤波方法如下：

设窗口中包含像素数目为N，窗口中心像素视差值为D_win(x,y),窗口中其余像素视差值为D_win1,…,D_winN则

D(x,y)＝MED(D_win1,…,D_winN) (6)

其中，D(x,y)为无效像素点的视差值，MED表示中位数。

通过上述技术方案，本发明提供的一种视差图的立体匹配特征提取及后处理方法具有如下有益效果：

1、本发明在网络模型训练的过程中，采用卷积核金字塔特征提取方法，使网络模型获得较好的匹配正确率；本发明提出的卷积核设计方法对比每一网络层均设置相同尺寸的卷积核的方法能增大网络参数数量，进而提高匹配正确率。

2、本发明通过对视差图采用内检查法进行左右一致性检测，降低了整个后处理算法的复杂度。

3、本发明经代价聚合后及二次插值拟合后的视差图噪声明显减弱，物体边缘轮廓逐渐清晰。

4、本发明经左右一致性检测后图像的噪声被进一步抑制，图像中物体边缘轮廓更加清晰。

5、本发明同时应用树结构射线填充法，充分利用无效视差点周围的有效视差像素，对视差图中无效视差像素点进行填充，经过中值滤波后获得精度较高的视差图。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。

图1为本发明实施例所公开的一种视差图的立体匹配特征提取及后处理方法流程示意图；

图2为KITTI数据集中整幅图像；

图3为左右目图像特征描述基元构建图；

图4为卷积核金字塔特征提取方法示意图；

图5为由卷积网络直接得到的视差图；

图6为四路径聚合示意图；

图7为二次插值拟合图；

图8为代价聚合以及二次插值拟合后的视差图；

图9为左右一致性检测后的图像；

图10a为树结构射线填充法示意图(向左右方向发出射线)；

图10b为树结构射线填充法示意图(向上下方向发出射线)；

图11为视差填充后的视差图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

本发明提供了一种视差图的立体匹配特征提取及后处理方法，如图1所示，包括如下步骤：

步骤一，数据预处理：首先对KITTI数据集中整幅图像(如图2所示)进行归一化处理，得到左右目整幅图像，然后在归一化后的左右目整幅图像上构建左右目图像特征描述基元；

具体方法如下：

(1)原图像的像素值范围为[0,255]，归一化公式如式(1)所示：

其中，O代表归一化后的图像，其数据范围在[-1,1]，I代表输入图像，I_i代表输入图像中第i个像素的像素值，N代表整幅图像中像素的个数；

(2)如图3所示，在归一化后的图像上构建左右目图像特征描述基元：

对于一个左目图像中的像素点p(x_p,y_p)和真实视差值d，求出右目图像中对应的像素点q(x_q,y_q)，同时q需要满足的条件包括：

1)

2)

3)

4)

以此分别构建尺寸为H×W的左目图像特征描述基元和尺寸为H×(W+200)的右目图像特征描述基元,其中W_D，H_D分别表示原始图像的宽度和高度。

步骤二，网络模型训练：网络模型训练：采用卷积核金字塔特征提取方法，对左右目图像特征描述基元进行卷积；

具体方法如下：

如图4所示，以输入图像块尺寸为37×37，37×237为例，第一层采用尺寸为7×7卷积核进行卷积操作，第二层采用尺寸为10×10卷积核进行卷积操作，第三层采用尺寸为11×11卷积核进行卷积操作，第四层采用尺寸为12×12卷积核进行卷积操作，根据网络参数计算公式CH_i×CH_o×w×h+CH_o可以得出，该种卷积核设计方法能增大网络参数，尽可能充分的利用图像信息。其中，CH_i代表输入通道数，CH_o代表输出通道数，w×h代表卷积核尺寸。本发明提出的卷积核设计方法对比每一网络层均设置相同尺寸的卷积核的方法能增大网络参数数量，进而提高匹配正确率。如图5可见，由卷积网络直接得到的视差图，噪声点较多。

步骤三，代价聚合：网络模型训练结束之后，将左右目整幅图像同时输入到训练好的网络模型，获取原始代价矩阵，得到新的视差空间DSI；

具体方法如下：

如图6所示，采用上下左右4个方向进行代价聚合，设方向矢量为r，像素p沿着路径r的路径代价计算公式如下所示：

其中，C(p,d)代表初始代价值，L_r代表聚合代价值，在左右聚合情况下，p-r代表像素p的左侧或者右侧，当从左向右聚合时为左侧，当从右向左聚合时为右侧，行数相等，列数相差r，在上下聚合情况下，p-r代表像素p的上方或者下方，当从上向下聚合时为上方，当从下向上聚合时为下方，公式中四个运算值的含义为：

L_r(p-r,d)——路径内上一个像素视差为d时的聚合代价值；

L_r(p-r,d-1)——路径内上一个像素视差为d-1时的代价聚合值；

L_r(p-r,d+1)——路径内上一个像素视差为d+1时的代价聚合值；

——路径内上一个像素所有视差聚合代价值的最小值；

P₁代表表面不平整惩罚，P₂代表视差不连续惩罚项，

用来限制L_r(p,d)的大小，防止在聚合过程中累加值过大；

经4路聚合后生成的新的视差空间DSI为

本发明当中采取的网络结构点积得到的值可理解为两个位置对应像素块的相似度，所以取相反数代表该像素点的代价值。

步骤四，视差图拟合：利用得到的新的视差空间DSI，使用二次插值法初步拟合视差图，并将视差像素精确到亚像素级；

如图7所示，具体方法如下：

首先遍历某一像素对应的所有可能的视差值，找到最小代价值对应的视差值位置d_min，将最小代价值记为C_min，次最小代价值记为C_{sec_min}，若|C_min-C_{sec_min}|＜＝C_min×(1-uniq_ratio)，uniq_ratio＝0.95，则认为该处像素视差值不可信，将其设为无效值；

排除上述情况后，当前该视差值对应两侧代价值为C_SGM(p,d-1)，C_SGM(p,d+1)，此时，该处视差值d表示为：

如图8所示的经代价聚合及二次插值拟合法利用神经网络直接输出的DSI重新构建的视差图，对比图5中直接根据卷积神经网络输出的DSI构建的视差图，可以看出经代价聚合后及二次插值拟合后的视差图噪声明显减弱，物体边缘轮廓逐渐清晰，但视差图中的部分区域依然较为模糊，并且存在波纹效果。

步骤五，左右一致性检测：对上一步获得的视差图采用内部型检查法进行左右一致性检测，内部型检查法是直接通过左目视图的代价空间推算右目视图的代价空间的过程。

具体方法如下：

对于右目视差图对应的像素点q(x,y)，根据视差值d算出在左目视差图上对应的像素位置为p(x+d,y)，将左目视差图代价矩阵DSI^L中此像素对应的代价值赋值给(x,y,d)，以此构建右目视差图代价空间DSI^R,如式(5)所示：

DSI^R(x,y,d)＝DSI^L(x+d,y,d) (5)

其中，D^L(p)代表左目视差图中p像素点的视差，D^R(q)代表右目视差图中q像素点的视差；

(1)若满足|D^L(p)-D^R(q)|≤1，则p点为匹配正确点，将p点保留；

(2)若

满足|d-D^R(q)|≤1，则p为误匹配点。

左右一致性检测的结果如图9所示，图像中底部出现的部分黑色区域即为误匹配点，对比图8，虽然经左右一致性检测后图像中出现许多误匹配点，但图像中的噪声被进一步抑制，图像中物体边缘轮廓更加清晰。对于误匹配像素区域，本文将采用一种射线填充法对误匹配点进行有效视差填充。

步骤六，视差填充及中值滤波：对视差图中无效视差像素点进行填充，经过中值滤波后获得高精度的视差图：

具体方法如下：

首先，对于图像中的小连通区域，采用8邻域区域跟踪算法，根据广度优先遍历，将连通区标记出来，标记后的区域均设为无效视差区域；

然后，对无效视差区域进行视差填充，针对遮挡区(即在左视图中见到但在右视图中无法见到的区域)，选择背景区域进行视差填充；针对误匹配区域(即位于非遮挡区域中错误的图像匹配区域)，采用树结构射线填充法以其中一个无效视差点为中心选取其周边像素点有效视差值，汇总有效视差值对当前无效像素点进行视差填充。

如图10a和图10b所示，其算法流程为首先找到无效像素点p，以此点为中心，分别向上下、左右方向发出射线，每条射线在到达有效像素点时停止，记录有效视差像素点的视差值。在射线经过的像素点上，参照树结构分别向左右、上下进行分支扩展，同样在到达有效像素点时停止，记录视差值。将所有视差值汇总到集合V_p中，取其中位数mid_iV_p作为误匹配像素点的视差，取次最小值Seclow_iV_p作为遮挡区像素点视差，将物体边界像素点完整保留。

图11为视差填充步骤后得到的视差图，综合对比图5与图8，此时视差图的效果改善明显。

中值滤波：

中值滤波是基于排序统计理论的一种能够有效抑制噪声的非线性平滑技术。在灰度图中，每一个像素点的灰度值将被设为该点某尺寸邻域窗口内所有像素点灰度值对应的中值。中值滤波在图像领域中有广泛的应用，对脉冲噪声、椒盐噪声有很好的抑制作用，能够有效保护信号的边缘，在滤除噪声的同时不使边缘模糊。

设窗口中包含像素数目为N，窗口中心像素视差值为D_win(x,y),窗口中其余像素视差值为D_win1,…,D_winN，则

D(x,y)＝MED(D_win1,…,D_winN) (6)

其中，D(x,y)为无效像素点的视差值，MED表示中位数。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (9)

1.一种视差图的立体匹配特征提取及后处理方法，其特征在于，包括如下步骤：

步骤一，数据预处理：首先对KITTI数据集中整幅图像进行归一化处理，得到左右目整幅图像，然后在归一化后的左右目整幅图像上构建左右目图像特征描述基元；

步骤二，网络模型训练：采用卷积核金字塔特征提取方法，对左右目图像特征描述基元进行卷积；

步骤三，代价聚合：网络模型训练结束之后，将左右目整幅图像同时输入到训练好的网络模型，获取原始代价矩阵，得到新的视差空间DSI；

步骤四，视差图拟合：利用得到的新的视差空间DSI，使用二次插值法初步拟合视差图，并将视差像素精确到亚像素级；

步骤五，左右一致性检测：对上一步获得的视差图采用内部型检查法进行左右一致性检测；

步骤六，视差填充及中值滤波：对视差图中无效视差像素点进行填充，经过中值滤波后获得高精度的视差图。

2.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，步骤一的具体方法如下：

(1)原图像的像素值范围为[0,255]，归一化公式如式(1)所示：

其中，O代表归一化后的图像，其数据范围在[-1,1]，I代表输入图像，I_i代表输入图像中第i个像素的像素值，N代表整幅图像中像素的个数；

(2)在归一化后的图像上构建左右目图像特征描述基元：

对于一个左目图像中的像素点p(x_p,y_p)和真实视差值d，求出右目图像中对应的像素点q(x_q,y_q)，同时q需要满足的条件包括：

1)

2)

3)

4)

以此分别构建尺寸为H×W的左目图像特征描述基元和尺寸为H×(W+200)的右目图像特征描述基元,其中W_D，H_D分别表示原始图像的宽度和高度。

3.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，步骤二的具体方法如下：

第一层采用尺寸为7×7卷积核进行卷积操作，第二层采用尺寸为10×10卷积核进行卷积操作，第三层采用尺寸为11×11卷积核进行卷积操作，第四层采用尺寸为12×12卷积核进行卷积操作。

4.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，步骤三的具体方法如下：

采用上下左右4个方向进行代价聚合，设方向矢量为r，像素p沿着路径r的路径代价计算公式如下所示：

其中，C(p,d)代表初始代价值，L_r代表聚合代价值，在左右聚合情况下，p-r代表像素p的左侧或者右侧，当从左向右聚合时为左侧，当从右向左聚合时为右侧，行数相等，列数相差r，在上下聚合情况下，p-r代表像素p的上方或者下方，当从上向下聚合时为上方，当从下向上聚合时为下方，公式中四个运算值的含义为：

L_r(p-r,d)——路径内上一个像素视差为d时的聚合代价值；

L_r(p-r,d-1)——路径内上一个像素视差为d-1时的代价聚合值；

L_r(p-r,d+1)——路径内上一个像素视差为d+1时的代价聚合值；

——路径内上一个像素所有视差聚合代价值的最小值；

P₁代表表面不平整惩罚，P₂代表视差不连续惩罚项，

用来限制L_r(p,d)的大小，防止在聚合过程中累加值过大；

经4路聚合后生成的新的视差空间DSI为

5.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，步骤四的具体方法如下：

首先遍历某一像素对应的所有可能的视差值，找到最小代价值对应的视差值位置d_min，将最小代价值记为C_min，次最小代价值记为C_{sec_min}，若|C_min-C_{sec_min}|＜＝C_min×(1-uniq_ratio)，uniq_ratio＝0.95，则认为该处像素视差值不可信，将其设为无效值；

排除上述情况后，当前该视差值对应两侧代价值为C_SGM(p,d-1)，C_SGM(p,d+1)，此时，该处视差值d表示为：

6.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，步骤五的具体方法如下：

对于右目视差图对应的像素点q(x,y)，根据视差值d算出在左目视差图上对应的像素位置为p(x+d,y)，将左目视差图代价矩阵DSI^L中此像素对应的代价值赋值给(x,y,d)，以此构建右目视差图代价空间DSI^R,如式(5)所示：

DSI^R(x,y,d)＝DSI^L(x+d,y,d) (5)

其中，D^L(p)代表左目视差图中p像素点的视差，D^R(q)代表右目视差图中q像素点的视差；

(1)若满足|D^L(p)-D^R(q)|≤1，则p点为匹配正确点，将p点保留；

(2)若

满足|d-D^R(q)|≤1，则p为误匹配点。

7.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，步骤六的具体方法如下：

首先，对于图像中的小连通区域，采用8邻域区域跟踪算法，根据广度优先遍历，将连通区标记出来，标记后的区域均设为无效视差区域；

然后，对无效视差区域进行视差填充，针对遮挡区，选择背景区域进行视差填充，针对误匹配区域，采用树结构射线填充法以其中一个无效视差点为中心选取其周边像素点有效视差值，汇总有效视差值对当前无效像素点进行视差填充。

8.根据权利要求7所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，所述树结构射线填充法具体如下：

首先找到无效像素点p，以此点为中心，分别向上下、左右方向发出射线，每条射线在到达有效像素点时停止，记录有效视差像素点的视差值；在射线经过的像素点上，参照树结构分别向左右、上下进行分支扩展，同样在到达有效像素点时停止，记录视差值；将所有视差值汇总到集合V_p中，取其中位数mid_iV_p作为误匹配像素点的视差，取次最小值Seclow_iV_p作为遮挡区像素点视差，将物体边界像素点完整保留。

9.根据权利要求1所述的一种视差图的立体匹配特征提取及后处理方法，其特征在于，所述中值滤波方法如下：

设窗口中包含像素数目为N，窗口中心像素视差值为D_win(x,y),窗口中其余像素视差值为D_win1,…,D_winN则

D(x,y)＝MED(D_win1,…,D_wimN) (6)

其中，D(x,y)为无效像素点的视差值，MED表示中位数。

Images