CN103679699A

CN103679699A - 一种基于显著图平移和联合测度的立体匹配方法

Info

Publication number: CN103679699A
Application number: CN201310485853.4A
Authority: CN
Inventors: 柏连发; 张毅; 赵壮; 韩静; 岳江; 陈钱; 顾国华
Original assignee: Nanjing University of Science and Technology
Current assignee: Nanjing University of Science and Technology
Priority date: 2013-10-16
Filing date: 2013-10-16
Publication date: 2014-03-26
Anticipated expiration: 2033-10-16
Also published as: CN103679699B

Abstract

本发明提出一种基于显著图平移和联合测度的立体匹配方法。该发明方法首先对双目摄像机拍摄的左右两幅图像进行显著区域提取，根据显著图提出一种基于显著图平移的粗匹配方法实现粗匹配；在粗匹配基础上进行SAD匹配，在SAD的极小值处采用SSIM进行精匹配，取SSIM评分最高处为最佳匹配点。该方法能够有效提高算法匹配精度并减少计算量。

Description

一种基于显著图平移和联合测度的立体匹配方法

技术领域

本发明属于图像处理技术领域，具体涉及一种基于显著图平移和联合测度的立体匹配方法。

背景技术

立体视觉是计算机视觉中一个重要的研究领域，其研究目的就是让计算机通过两幅或者多幅同一场景、不同角度的二维图像恢复出三维场景，以认知三维世界。立体匹配是实现立体视觉的关键步骤，国内外各种立体匹配算法总的可以分为三类：基于特征的立体匹配算法、基于全局的立体匹配算法和基于局部的立体匹配算法。基于特征的立体匹配算法获得的是稀疏视差图，需要进行插值估计得到稠密视差图，计算量大，在遮挡处与不连续点的视差值估计不准确；基于全局的立体匹配算法通过建立全局的能量函数估计视差值，缺点是算法复杂，迭代过程非常耗时；基于局部的立体匹配算法假设该点在窗口内的其他相邻像素点与其具有相同的真实视差值，具有直观、计算速度快、精确度高的特点，是目前立体匹配中研究的热点。

文献一（南京理工大学.荆鑫.计算机视觉中双目立体匹配技术的研究[D].学位论文.2012）提出依据图像边缘的强弱选择进行立体匹配时窗口的大小，该方法存在多个窗口的具体大小要手动设置多次且视差值不能预先估计的缺点。文献二（南京理工大学.黄承亮.基于双目立体视觉立体匹配算法研究与应用[D].2012.学位论文）提出利用Canny算子对使用Mean-Shift算法分割后的原始图像进行边缘提取，依据边缘的信息选取匹配窗口的大小，但是Mean-Shift算法分割耗时太大而且视差值的范围不能预先估计的缺点。

同时,文献一、文献二披露的方法都是基于局部的立体匹配算法，这些方法都是针对整幅图像进行处理，而实际应用中一般只需要感兴趣部分的信息，其他部分的信息可以忽略，对整幅图像进行处理会增加很多不必要的计算量，实时性差；这些方法中使用的相似性判别函数为SAD，取SAD的最小值处为最佳匹配点，然而，取SAD为最小值时作为最佳匹配点会存在以下问题：①当SAD达到最小时有可能不是最佳匹配点，甚至是错误的匹配点；②在最佳匹配点处SAD的也有可能不是最小值；③SAD最小值有不止一个，选取哪个SAD最小值作为最佳匹配点是个问题。为此取SAD的最小值为最佳点会产生很多错误匹配点，匹配错误率高，不利于提高匹配准确率。

发明内容

常见的匹配方法对视差值的范围，只能做一个较大范围内的估计，不能做一个相对精确的估计,从而造成了在匹配时视差值范围过大，导致计算量增大。为了解决上述技术问题，本发明提供一种基于显著图平移和联合测度的立体匹配方法,通过粗匹配有针对性的缩小视差值范围，减小匹配时的计算量。

为了解决上述技术问题，本发明提供一种基于显著图平移和联合测度的立体匹配方法，其特征在于，包括以下步骤：

步骤一：分别提取双目摄像机采集的两幅图像的显著区域，取显著区域的外接矩形，计算每个外接矩形的索贝尔梯度并二值化，获得两幅预处理图像I₁和I₂；

步骤二：选择图I₁作为参考图，用图I₂从图I₁起始位置开始水平平移，计算图I₂的每个显著矩形区域与图I₁所有显著矩形区域内二值图像的重合像素的数量，根据重合像素数量的变化率，使图I₁和图I₂中的显著区域对应；对重合像素数量归一化处理，计算每个极大值与左右相邻的极小值的差值，若差值中存在大于预先设定的阈值T的差值，则选择以该极大值点所在平移量的位置为中心左右N个像素之内的平移量作为精匹配视差值的范围；

步骤三：根据精匹配视差值的范围计算SAD值，在SAD极小值位置处使用结构相似度对图像进行质量评价，选取质量评价得分最高的位置作为最佳匹配点完成立体匹配。

本发明与现有技术相比，其显著优点在于，本发明方法针对人眼在观察图片时优先注意最显著部分的特性，首先对双目摄像机拍摄的左右两幅图进行显著区域提取，抑制背景干扰，根据显著图提出一种基于显著图平移的的粗匹配方法，压缩每个像素点精匹配时的视差值范围，可以减少精匹配时的计算量。同时通过SAD和SSIM的联合测度分析局部特征，进行精匹配，提高了匹配精度。本发明方法既能去除背景信息干扰、保持原始图像中感兴趣目标的关键信息，又能更加容易区分出场景内目标的深度信息，同时也能减少计算量、提高算法实时性。

附图说明

图1是本发明方法流程图。

图2是使用本发明方法处理标准图进行实验时得到的中间结果和最终结果图，其中图2(a)和图2(b)是原始左图和原始右图，图2(c)是图2(a)在本发明方法步骤一提取的显著区域，图2(d)是图2(c)取显著区域外接矩形并二值化后直接使用SAD获得的视差图，图2(e)是图2(c)全部完成本发明方法获得的视差图。

图3是本发明方法步骤二中平移二值化后的图2(c)产生的视差值波形图，其中，图3(a)是图2(c)中区域①产生的视差值波形图，图3(b)是图2(c)中区域②产生的视差值波形图。

图4是使用本发明方法处理自然场景下拍摄的实验图获得的中间结果和最终结果图，其中图4(a)和图4(b)是原始左图和原始右图，图4(c)是图4(a))在本发明方法步骤一提取的显著区域，图4(d)是图4(c)取显著区域外接矩形并二值化后直接使用SAD获得的视差图，图4(e)是图4(c)全部完成本发明方法获得的视差图。

图5是本发明方法步骤二中平移二值化后的图4(c)产生的视差值波形图，其中，图5(a)是图4(c)中区域①产生的视差值波形图，图5(b)是图4(c)中区域②产生的视差值波形图，图5(c)是图4(c)中区域③产生的视差值波形图。

具体实施方式

由于人眼的视觉特性，使得人在观察某一场景时往往最先注意到的是最显著的物体，从而会忽略背景信息。因此，在进行立体匹配前先进行对双目摄像机拍摄的两幅图像进行显著性检测获得其显著图以及显著区域。由于两幅图像的大部分区域是相同的，所以对于同一个物体在两幅图片中应该处于同一个或者是相近的显著区域中，只是在图中的位置有所不同。因此，可以先对两幅图的所有显著区域取其外接矩形，计算该矩形区域内的索贝尔（sobel）梯度，然后再按照各个矩形区域分别进行二值化，用于立体匹配。

因此，本发明方法步骤一归纳为：分别提取双目摄像机采集的两幅图像的显著区域，取显著区域的外接矩形，计算每个外接矩形的索贝尔梯度并二值化，获得两幅预处理图像I₁和I₂。

提取出显著区域并进行二值化后，选择其中一幅图像，例如以左图为参考图像，让右图从与左图起始位置开始平移，计算右图的每个显著矩形区域与左图所有的显著矩形区域内二值图像的重合像素数，记为重合程度。根据平移量和重合程度即可绘制出如图3和图5所示的归一化视差值重合程度曲线图，即视差值波形图，由于右图的一个显著矩形区域有可能与左图的两个或者两个以上的显著矩形区域重合，左图的一个显著矩形区域也有可能与右图的两个或者两个以上的显著矩形区域重合，所以在处理时，只要重合的像素总数能够达到右图显著矩形区域或者左图对应显著矩形区域内的总像素数20%以上，即可确认左图显著矩形区域与右图显著矩形区域存在一定的对应关系。

为了进一步准确对应，本发明方法根据在上述平移过程中得到的两者的视差值波形图曲线的变化率进一步排除可能存在的误对应情况。对于对应的显著区域的视差值波形图，其曲线中存在明显的尖峰（如图3和图5所示），在尖峰附近存在明显的上升和下降的阶段，说明左右两幅图像中相同目标的重合。而对于不对应的显著区域，其视差值波形图曲线虽然存在着上升和下降的阶段，但是不存在明显的尖峰，波峰较平缓，说明左右两幅图像中目标不重合。通过这种方式，可以排除错误的对应的关系。

确定了显著性区域对应关系之后，以对应的显著区域视差值波形图曲线的明显的尖峰位置作为匹配偏移值{d_i}_i＝1,..,n，完成一定程度的粗匹配。在选择波峰时计算视差值波形图中每个极大值与左右相邻的极小值的差值，若两个差值之一存在大于预先选定阈值T的差值，则选择以该极大值点所在平移量的位置为中心{d_i}_i＝1,..,n左右N个像素之内的平移量dis＝{d_i-5,...,d_i+5}_i＝1,..,n作为精匹配视差值的范围。

因此，本发明方法步骤二归纳为：

选择图I₁作为参考图，用图I₂从图I₁起始位置开始水平平移，计算图I₂的每个显著矩形区域与图I₁所有显著矩形区域内二值图像的重合像素的数量；根据重合像素数量的变化率，使图I₁和图I₂中的显著区域对应；对重合像素数量归一化处理，计算每个极大值点与左右相邻的极小值的差值，若差值中存在大于预先设定的阈值T的差值，则选择以该极大值点所在平移量的位置为中心左右N个像素之内的平移量作为精匹配视差值的范围。

本发明方法针对于SAD的缺陷，在{SAD_dis}_dis＝1,..,n的极小值处引入全参考图像质量评价，以左图为“标准图像”，右图为“失真图像”，采用基于结构相似度(SSIM)对其进行图像质量评价，结构相似度的值越高，说明左图和右图越相似。取结构相似度(SSIM)值最大的位置，也就是图像质量评价得分最高的位置处为最佳匹配点。

因此，本发明方法步骤三归纳为：

根据精匹配视差值计算SAD值，在SAD极小值所处位置处使用结构相似度(SSIM)对图像进行质量评价，选取质量评价得分最高的位置作为最佳匹配点进行立体匹配。

本方明方法的效果可以通过以下仿真结果进一步说明：

从图2(d)的视差图结果来看，现有SAD方法的视差图中的V字形结构的下部分和上半部分视差值相差较大，使得V字形上下两部分出现断层，下方的绿色植物与上方的物体相差较大，与实际不符合；而从图2(e)的视差图结果来看，本发明方法的结果使得V字形结构上下视差相差较小，而且右下方的绿色植物整体的视差结果也符合实际情况。

从图4(d)的视差图结果来看，现有SAD方法的视差图结果较零散，地球仪上的视差值很错乱，不能看成是一个完整的物体；坦克的右上部分和其他部分相差较大，破坏了其完整性；而从图4(e)的视差图结果来看，本发明方法的结果相对比较完整，地球仪和坦克整体的视差结果较完整，符合实际情况。

Claims

1.一种基于显著图平移和联合测度的立体匹配方法，其特征在于，包括以下步骤：

2.如权利要求1所述的基于显著图平移和联合测度的立体匹配方法，其特征在于，所述步骤二中N取值范围为5至10。