CN105405116A - 一种基于图割的立体匹配方法 - Google Patents

Abstract

本发明出一种基于图割的立体匹配方法。用MSERDoG算子对左右两幅图像提取支撑点；将支撑点的像素灰度值作为匹配代价、固定窗口作为代价聚合对左右两幅图像的支撑点进行匹配，求得支撑点的视差；计算左右两幅图中每个像素点的DAISY描述符算子；将支撑点的视差作为图割算法中的标号，将每个像素点的DAISY描述符算子作为图割算法中能量函数的数据项用于图割算法中，最终通过求取能量函数最小值求得稠密视差图，实现立体匹配。本发明能够在保证图像匹配精度的情况下提高匹配效率。

Description

一种基于图割的立体匹配方法

技术领域

本发明属于双目立体视觉中的图像立体匹配领域，具体涉及一种基于图割的立体匹配方法。

背景技术

立体匹配是双目立体视觉中最重要也是最困难的一部分，是三维重建的核心技术。立体匹配实际上是对左右两台摄像机从不同视点看同一景物，在左右两幅图像重叠区域寻找对应点的过程。它利用空间物体点在左右摄像机中的成像模型来获取成像视差的过程。立体匹配算法分解为四个步骤：匹配代价计算、匹配代价聚合、视差计算、视差细化。按照约束方式的不同，立体匹配算法可分为区域匹配算法和全局匹配算法。

区域匹配算法对光照强度和对比度的变化非常敏感，同时匹配窗口的选取也是一个难点，当图像存在纹理特征重复和遮挡现象比较严重的情况下会引起匹配混淆，错误匹配概率较高。一个理想的支撑的窗口在纹理弱的区域尽可能地大，在深度不连续区域尽可能小。固定窗口在处理不连续区域时会匹配错误，一些研究者改进了基于窗口匹配的方法,包括自适应窗口,变化窗口,十字窗口,从而解决深度不连续的问题。Weber用Census变换和GPU的算法匹配(详见文献M.Weber,Humenberger,W.Kubinger.Averyfastcensus-basedstereomatchingimplementationonagraphicsprocessingunit.IEEE,WorkshoponEmbeddedComputerVision,2009,786～793),达到了实时的效果；Yong,Kweon结合心理学格式塔效应将双边滤波引入到立体匹配,提出了经典自适应权重算法(AdaptiveSupport-Weight)(详见文献Kuk-JinYoon,InSoKweon.AdaptiveSupport-WeightApproachforCorrespondenceSearch.IEEE,TransactiononPatternAnalysisandMachineIntelligence,2006,28(4):650～656)。得益于双边滤波的保边缘特性，经典自适应权重算法解决了局部立体匹配算法中常见的视差边缘模糊问题,降低了误匹配率,准确率可以达到和基于全局优化算法相近的效果,但自适应权重算法存在计算量大等问题全局立体匹配算法则是通过构建一个全局的能量函数来求取视差，全局立体匹配算法将视差的最优化问题转换成了求取能量函数的最小值问题，有效地将图像信息整合在了一起，计算时需要对图像从整体上去分析和处理，算法精确度较高,但运算量大。ROY和COX首次将图割方法引入到立体匹配算法中(详见文献S.RoyandI.Cox.AMaximum-FlowFormulationoftheCameraStereoCorrespondenceProblem.ComputerVision,1998,492～499),用图割法实现能量最小。在全局的匹配算法,如图割算法(详见文献Y.Boykov,O.Veksler,R.Zabih.FastApproximateEnergyMinimizationviaGraphCuts.IEEE,TransonPatternAnalysisandMachineIntelligence,2001,23(11):1222～1239)、置信度扩展传播(BeliefProgramm,BP)(详见文献SunJian,ZhengNanning,ShumYH.StereoMatchingUsingBeliefPropagation.IEEE,TransactiononPatternAnalysisandMachineIntelligence,2003,25(7):787～800)和动态规划(DynamicProgramming,DP)(BAKERHH.Depthfromedgeandintensitybasedstereo.1981.631-636)等算法能够对整个图像进行有效的约束,匹配结果也较局部匹配算法精确,但是实时性不好，匹配时间过长。因此，减少算法计算量的基础上同时保证算法的精度是双目立体匹配中的一个技术难题。

发明内容

本发明的目的在于提供一种基于图割的立体匹配方法，能够在保证图像匹配精度的情况下提高匹配效率。

为了解决上述技术问题，本发明提供一种基于图割的立体匹配方法，包括以下步骤：

步骤一、用MSERDoG算子对左右两幅图像提取支撑点；

步骤二、将支撑点的像素灰度值作为匹配代价、固定窗口作为代价聚合对左右两幅图像的支撑点进行匹配，求得支撑点的视差；

步骤三、计算左右两幅图中每个像素点的DAISY描述符算子；

步骤四、将支撑点的视差作为图割算法中的标号，将每个像素点的DAISY描述符算子作为图割算法中能量函数的数据项用于图割算法中，最终通过求取能量函数最小值求得稠密视差图，实现立体匹配。

本发明与现有技术相比，其显著优点在于，(1)将每个像素点的DAISY描述符算子作为图割算法能量函数的数据项，DAISY描述符算子是高维描述算子，包含像素点丰富的特征信息，因此提高了匹配精度；(2)将支撑点的视差作为图割算法中的标号，而不是在可能的视差值范围内逐个取值作为标号，相较于传统的图割算法大大降低了计算量，从而提高了算法的实时性。

附图说明

图1是本发明方法流程图；

图2是本发明中使用的代价聚合窗口；

图3是本发明中使用的子窗口；

图4是本发明中使用的DAISY描述符；

图5是本发明仿真实验中使用的Tsukuba测试图；

图6是本发明仿真实验中获得的视差图。

具体实施方式

结合图1，本发明一种基于图割的立体匹配方法，步骤如下：

步骤一、获得较多的支撑点是本发明的第一步，如果支撑点太少或者分布不均匀，会严重阻碍后面稠密视差的准确获取。本发明用MSERDoG算子对左右两幅图像提取支撑点，该算子即使在纹理不丰富的区域也能提取出较多支撑点。

MSERDoG算子是高斯差分DoG(differenceofGaussian)空间下提取最大稳定极值区MSER(maximallystableextremalregions)。先对图像进行高斯卷积得到尺度空间，然后将尺度空间中相邻两帧图像相减得到高斯差分空间。在高斯差分空间中，每个像素点的值反应了该像素点和邻域像素点的灰度对比关系。如果图像中的某像素点的灰度值明显高于其邻域像素点的灰度值,在尺度空间中,经过高斯卷积后得到高斯差分的结果为负值；如果图像中的某像素点的灰度值明显低于其邻域像素点的灰度值,在尺度空间中,经过高斯卷积后得到高斯差分的结果为正值，其绝对值大小表示该像素点与邻域像素点在一定尺度下的灰度对比度。在高斯差分空间中,可以得到大量的高斯差分图,对每一个高斯差分图,按结果值的正负号分成两个图,然后分别提取最大稳定极值区域。

用椭圆拟合MSERDoG算子检测得到最大稳定极值区域，将椭圆区域的中心作为特征点，即为本发明的主要支撑点。

有关MSERDoG算子的详细信息可以参见有关文献(陈占军，戴志军，吴毅红.建筑物场景宽基线图像的准稠密匹配.计算机科学与探索)。

步骤二、将支撑点的像素灰度值作为匹配代价、固定窗口作为代价聚合对左右两幅图像的支撑点进行匹配，如果左图中以某个支撑点为中心的代价聚合窗口内的像素灰度值总和与右图中以某个支撑点为中心的代价聚合窗口内的像素灰度值总和之差最小，则该两个支撑点匹配，进一步求得支撑点的视差。

代价聚合窗口如图2所示。图2中A0,A1,A2,A3,A4分别为子窗口,每个子窗口又如图3所示，图3中的点为图像中的像素点。

步骤三、计算左右两幅图中每个像素点的DAISY描述符算子，DAISY描述符的结构如图4所示，以一个像素点为中心，构成3个不同半径的同心圆环形结构；该区域为同心圆支撑区域；相应的采样点位于上述不同半径的同心圆环上，每个同心圆环上按45°等角度间隔提取8个采样点，8个采样点对应每个方向上的梯度值为方向梯度；同一半径上的采样点具有相同的高斯尺度值，不同半径上的取样点高斯尺度值不同。

逐像素构造DAISY特征描述符方法如下：

首先，计算图像在每个像素位置的8个方向梯度；

然后，高斯核卷积得到采样点的向量，采样点的向量如公式(1)所示，

$d_i\left(l_j(u,v,R_i)\right)={[G_1^{\mathrm{\Σ}}\left(l_j(u,v,R_i)\right),...G_N^{\mathrm{\Σ}}\left(l_j(u,v,R_i)\right)]}^T---\left(1\right)$

式(1)中，u表示中心像素点的横坐标值，v中心像素点的纵坐标值，i表示同心圆环标号，j表示方向，R_i表示第i个同心圆环上的采样点和中心像素点(u,v)的距离，G为高斯卷积符号，d_i(l_j(u,v,R_i))表示采样点在方向j上卷积后的向量，l_j(u,v,R_i)表示和中心像素点(u,v)相距R_i的采样点，d_i(l_j(u,v,R_i))归一化后为

接着，3个不同半径的同心圆环上的取样点多次高斯卷积可以实现多尺度空间。而DAISY描述符算子D(u,v)就是在同心圆支撑区域中每个像素点位置的一系列相关向量的加权，如公式(2)所示：

$D(u,v)=\left[\begin{array}{c}{\tilde{d}}_0(u,v)\\ {\tilde{d}}_1\left(l_1(u,v,R_1)\right)...{\tilde{d}}_1\left(l_N(u,v,R_1)\right)\\ {\tilde{d}}_2\left(l_1(u,v,R_1)\right)...{\tilde{d}}_2\left(l_N(u,v,R_2)\right)\\ ...\\ {\tilde{d}}_M\left(l_1(u,v,R_1)\right)...{\tilde{d}}_M\left(l_N(u,v,R_M)\right)\end{array}\right]---\left(2\right)$

式(2)中，N为同心圆环标号i取值范围的最大值，M为方向标号j取值范围的最大值。DAISY描述符算子D(u,v)将作为图割算法中能量函数的数据项。

步骤四、立体匹配的目的是要求出对应图像的视差图，对图像中的每个像素点计算视差就相当于是给这个像素点进行标号，所以视差图的计算就是给图像标号的过程，最精确的视差图也就对应着最优的标号配置。像素标号问题的输入集合有两个：一个是像素集合P、另一个是标号集合L，标号的过程就是给像素集合P寻求一个最优标号f_p的过程。

在图割算法中，最重要的一步是构造全局能量函数，本发明全局能量函数如公式(3)所示：

E(f)＝E_data(f)+E_smooth(f)(3)

式(3)中，E_data(f)是数据项，E_smooth(f)是平滑项。数据项是根据像素集合来寻找对应的标号，而平滑项则是利用像素与像素之间的差异大小来决定对应的标号选取是否符合空间平滑性约束。

图像中像素点的能量函数如公式(4)所示：

$E\left(f\right)=\underset{p\∈P}{\mathrm{\Σ}}{X}_p\left(f_p\right)+\underset{p,q\∈N}{\mathrm{\Σ}}{V}_{p,q}(f_p,f_q)---\left(4\right)$

式(4)中，X_p(f_p)＝|X_R(x,y)-X_L(x+f_p,y)|表示的是右图中像素点p(x,y)和左图中像素点的匹配代价，其中f_p表示的是像素点p的标号，也就是像素点p对应的视差值，P表示的是匹配聚合时的支撑窗口，V_p,q(f_p,f_q)是一个平滑项模型，用来评估像素p取标号f_p时的惩罚函数，N表示的是像素点p所在的邻域系统，f_q表示邻域系统中像素点q的标号。

本发明将DAISY描述符算子作为数据项，所以有

D_p(f_p)＝|D_R(x,y)-D_L(x+f_p,y)|(5)

式(5)中，D_R(x,y)表示右图中的像素点p(x,y)的DAISY描述符算子，D_L(x+f_p,y)表示左图中像素点的DAISY描述符算子。

本发明采用α扩张算法来计算图的最小割，α的取值为通过求支撑点视差求得的标号，取完这些标号完成一次迭代，每完成一次迭代计算一次能量，直到能量不再变小，算法终止，从而求得稠密视差图，实现立体匹配。α扩张算法来可以参见文献(Y.Boykov,O.Veksler,R.Zabih.FastApproximateEnergyMinimizationviaGraphCuts.IEEE,TransonPatternAnalysisandMachineIntelligence,2001,23(11):1222～1239)。

本发明可以通过一下仿真实验进一步说明：

本仿真实验采用Middlebury国际平台中的Tsukuba图像作为测试图，左图如图5中(a)所示，右图如图5中(b)所示。本仿真实验硬件平台为CPU主频可达3.4GHz、内存容量为4GB的PC机，软件平台为VisualStudio2010，得到实验获得视差图如图6所示，计算误差为7.34％,计算时间为58s，而使用相同平台仿真文献(Y.Boykov,O.Veksler,R.Zabih.FastApproximateEnergyMinimizationviaGraphCuts.IEEE,TransonPatternAnalysisandMachineIntelligence,2001,23(11):1222～1239)所述的传统图割算法获得的计算误差为8.26％，计算时间为326s。前述结果表明，本发明在减少计算量的基础上保证了匹配精度。

Claims (5)

1.一种基于图割的立体匹配方法，其特征在于，包括以下步骤：

步骤一、用MSERDoG算子对左右两幅图像提取支撑点；

步骤二、将支撑点的像素灰度值作为匹配代价、固定窗口作为代价聚合对左右两幅图像的支撑点进行匹配，求得支撑点的视差；

步骤三、计算左右两幅图中每个像素点的DAISY描述符算子；

步骤四、将支撑点的视差作为图割算法中的标号，将每个像素点的DAISY描述符算子作为图割算法中能量函数的数据项用于图割算法中，通过求取能量函数最小值求得稠密视差图。

2.如权利要求1所述基于图割的立体匹配方法，其特征在于，步骤一中，用椭圆拟合MSERDoG算子检测得到最大稳定极值区域，将椭圆区域的中心作为支撑点。

3.如权利要求1所述基于图割的立体匹配方法，其特征在于，步骤三中，逐像素构造DAISY特征描述符的方法为：

首先，计算图像在每个像素点位置的8个方向梯度；

然后，高斯核卷积得到采样点的向量，采样点的向量如公式(1)所示，

$d_i\left(l_j(u,v,R_i)\right)={[G_1^{\mathrm{\Σ}}\left(l_j(u,v,R_i)\right),...G_N^{\mathrm{\Σ}}\left(l_j(u,v,R_i)\right)]}^T---\left(1\right)$

式(1)中，u表示中心像素点的横坐标值，v中心像素点的纵坐标值，i表示同心圆环标号，j表示方向，R_i表示第i个同心圆环上的采样点和中心像素点(u,v)的距离，G为高斯卷积符号，d_i(l_j(u,v,R_i))表示采样点在方向j上卷积后的向量，l_j(u,v,R_i)表示和中心像素点(u,v)相距R_i的采样点，d_i(l_j(u,v,R_i))归一化后为

接着，3个不同半径的同心圆环上的取样点多次高斯卷积实现多尺度空间，在同心圆支撑区域中每个像素点位置的向量加权后获得DAISY描述符算子D(u,v)，D(u,v)如公式(2)所示：

$D(u,v)=\left[\begin{array}{c}{\tilde{d}}_0(u,v)\\ {\tilde{d}}_1\left(l_1(u,v,R_1)\right)...{\tilde{d}}_1\left(l_N(u,v,R_1)\right)\\ {\tilde{d}}_2\left(l_1(u,v,R_1)\right)...{\tilde{d}}_2\left(l_N(u,v,R_2)\right)\\ ...\\ {\tilde{d}}_M\left(l_1(u,v,R_1)\right)...{\tilde{d}}_M\left(l_N(u,v,R_M)\right)\end{array}\right]---\left(2\right)$

式(2)中，N为同心圆环标号i取值范围的最大值，M为方向标号j取值范围的最大值。

4.如权利要求1所述基于图割的立体匹配方法，其特征在于，步骤四中，像素点的能量函数如公式(3)所示：

$E\left(f\right)=\underset{p\∈P}{\mathrm{\Σ}}{X}_p\left(f_p\right)+\underset{p,q\∈N}{\mathrm{\Σ}}{V}_{p,q}(f_p,f_q)---\left(3\right)$

式(3)中，X_p(f_p)＝|X_R(x,y)-X_L(x+f_p,y)|表示的是右图中像素点p(x,y)和左图中像素点的匹配代价，其中f_p表示的是像素点p的标号，也就是像素点p对应的视差值，P表示的是匹配聚合时的支撑窗口，V_p,q(f_p,f_q)是一个平滑项模型，用来评估像素p取标号f_p时的惩罚函数，N表示的是像素点p所在的邻域系统，f_q表示邻域系统中像素点q的标号。

5.如权利要求1所述基于图割的立体匹配方法，其特征在于，步骤四中，采用α扩张算法来计算图的最小割。