CN105654493A - 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 - Google Patents

Abstract

一种改进的光学仿射不变双目立体匹配代价与视差优化方法，本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。本发明的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题。具体过程为：一、左右两个摄像头分别自动摄取两幅图像；二、对左视图和右视图进行改进的Census变换；三、计算相对梯度；四、计算双目立体匹配代价；五、对立体匹配代价进行叠加；六、建立视差置信度；七、从1到N视差置信度传递；八、从N到1视差置信度传递；九、对图像的每一列，从1到M视差置信度传递；十、从M到1视差置信度传递；十一、得到D_f。本发明应用于图像处理领域。

Description

一种改进的光学仿射不变双目立体匹配代价与视差优化方法

技术领域

本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。

背景技术

双目立体视觉广泛运用于环境三维重建，逆向工程，机器人障碍物检测等领域，双目视觉系统模仿人类视觉的立体感知过程,从两个视点观察同一景物,以获取不同视角下的感知图像,机器视觉领域可以通过三角测量原理计算左右图像对应像素间的位置偏差,以获取景物的三维信息。双目立体匹配是计算机视觉领域最有挑战性的任务之一。由于双目立体匹配算法的基本工作原理是在左右图像中寻找匹配(对应)的像素，然而，由于受光源变化，非朗伯表面和设备特性差异等因素的影响，容易造成匹配像素光学上的扭曲(即颜色上的差异)。近年来，虽然国际上已经提出了多种算法，如ANCC[1](Y.Heo,K.Lee,andS.Lee,“RobustStereoMatchingUsingAdaptiveNormalizedCross-correlation,”IEEETrans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.),MDCC[2](S.Kim,B.Ham,B.Kim,andK.Sohn,“Maha-lanobisDistanceCross-CorrelationforIllumination-InvariantStereoMatching,”IEEETrans.CirtuitsSyst.VideoTechnol.,vol.24,no.11,2014.)等，这种方法虽然能获得较高的匹配精度，但是通常很难得到实时性能，文献[3](X.ZhouandP.Boulanger,“RadiometricInvariantStereoMatchingBasedonRelativeGradients,”19thIEEEInt.Conf.ImageProcess.,pp.2989-2992,2012.)提出了一种简单的双目立体匹配代价计算方法，然而当左右图像存在较大光学扭曲情况下，精度受到很大影响。

另外，由于受各种因素的影响，如遮挡，光学扭曲等，双目立体匹配算法得到的初始视差图往往要经过优化算法提高精度。近年来，国际上也提出了多种视差优化算法，最常见的是平面拟合[6](S.Sinha,D.Scharstein,andR.Szeliski,“EfficientHigh-ResolutionStereoMatchingusingLocalPlaneSweeps,”IEEEConf.Comput.Vis.Patt.Recognit.,pp.1582-1589,2014.),[7](M.Bleyer,C.Rother,P.Kohli,D.Scharstein,andS.Sinha,“ObjectStereo-jointStereoMatchingandObjectSegmenta-tion,”IEEEConf.Comput.Vis.Patt.Recognit.,2011.)方法，这种方法虽然能得到很高的精度，但是算法复杂度高，另外，文献[8]提出了基于最小生成树(MST)的视差优化算法，文献[10](Q.Yang,“LocalSmoothnessEnforcedCostVolumeRegularizationforFastStereoCorrespondence,”IEEESignalProcess.Lett.,vol.22,no.9,pp.1429-1433,2015)提出了一种双边滤波的视差优化算法等。虽然基于MST树的方法在精度上优于当前的许多算法，但是其计算量仍然较大。

发明内容

本发明的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题，而提出一种改进的光学仿射不变双目立体匹配代价与视差优化方法。

上述的发明目的是通过以下技术方案实现的：

步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；

步骤二、对步骤一中的左视图和右视图进行改进的Census变换；

步骤三、计算步骤一中的左视图和右视图的相对梯度；

步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；

步骤五、对立体匹配代价进行叠加；

步骤六、建立视差置信度；

步骤七、对图像的每一行，从(左)1到(右)N视差置信度传递；

步骤八、对图像的每一行，从(右)N到(左)1视差置信度传递；

步骤九、对图像的每一列，(从上到下)从1到M视差置信度传递；

步骤十、对图像的每一列，从(下)M到(上)1视差置信度传递；

步骤十一、得到优化后的视差图D_f。

发明效果

本发明提出了一种改进的光学仿射不变双目立体匹配代价与视差优化方法，提出的双目立体匹配代价方法有效的结合了改进的census变换和相对梯度算法，从匹配精度和效率综合上看，该算法具有明显优势(用Middlebury网站上的测试图片Aloe作为比较,在2.0GHz主频，2GB内存的英特尔双核笔记本的环境下采用C语言编程，匹配代价算法的运行时间为0.563秒，通过利用Middlebury网站上的测试集((Aloe,Baby1,Cloth4,Art,Dolls，LaundryandMoebius))统计算法的精度，结果表明本文提出的匹配代价算法的精度全面优于[3],在光学扭曲变形较大时，其性能接近ANCC，但是当光学扭曲变形较小时，算法的精度优于ANCC，另外，本文提出的匹配代价算法的计算量远小于ANCC。)。此外，本发明提出的视差优化方法在保证精度的同时(算法的精度与[12]相当，但优于[10])，具有很低的计算复杂度，计算量小(用图片Aloe作为比较，文献[10]大约需要956ms,文献[12](C.Rhemann,A.Hosni,M.Bleyer,andetal.,“FastCost-volumeFilteringforVisualCorrespondenceandBeyond,”Proc.IEEEConf.Comput.Vis.Patt.Recognit.,pp.3017-3024,2011.)大约需要10.7ms,而本文方法只需18.4ms)，因此适合使用于对实时性要求高的场合。

附图说明

图1a为网站Middlebury上的样本图片Midd2；

图1b为对图1a处理后所得的绝对梯度图；

图1c为对图1a处理后所得的相对梯度图；

图2a为光照1(亮度1定义为亮度最暗的测试图片)和曝光2(曝光时间1000ms)条件下的左视图；图2b为光照3(亮度最大的测试图片)和曝光2(曝光时间1000ms0条件下的右视图；

图2c为在光照2(亮度次之的测试图片)和曝光1(曝光时间250ms)条件下的左视图；

图2d为在光照2(亮度次之的测试图片)和曝光3(曝光时间4000ms)条件下的右视图；

图2e为用BT算法处理(2a-2b)图像对的结果图，BT为文献[11](S.BirchfieldandC.Tomasi,“APixelDissimilarityMeasureThatisInsensitivetoImageSampling,”IEEETrans.Patt.Anal.Mach.Intell.,vol.20,no.4,pp.401-406,Apr.1998)中的方法；

图2f为用RG算法处理(2a-2b)图像对的结果图，RG为文献[3](X.ZhouandP.Boulanger,“RadiometricInvariantStereoMatchingBasedonRelativeGradients,”19thIEEEInt.Conf.ImageProcess.,pp.2989-2992,2012.)中的方法；

图2g为用CT算法处理(2a-2b)图像对的结果图，CT为[17](R.Zabih,J.Woodfill,“Non-parametriclocaltransformsforcomputingvisualcorrespondence”,Comp.Vision—ECCV,SpringerBerlinHeidelberg,pp.151-158,1994.)中的方法；

图2h为用DIFFCT算法处理(2a-2b)图像对的结果图，DIFFCT为文献[15](A.Miron,S.Ainouz,A.Rogozan,andA.Bensrhair,“ARobustCostFunctionforStereoMatchingofRoadScenes,”Patt.Recognit.Lett.,vol.38,pp.70-77,2014.)中的方法；

图2i为用ΔADCT算法处理(2a-2b)图像对的结果图，ΔADCT为文献[14](X.Mei,X.Sun,M.Zhou,andetal.,“OnBuildinganAc-curateStereoMatchingSystemonGraphicsHardware,”IEEEInt.Conf.Comput.Vis.Work.,pp.467-474,2011)中的方法；

图2j为用ZNCC算法处理(2a-2b)图像对的结果图，ZNCC为文献[18](O.Faugeras,B.Hotz,H.Mathieu,T.Vi′eville,Z.Zhang,P.Fua,E.Th′eron,L.Moll,G.Berry,J.Vuillemin,P.BertinandC.Proy.Realtimecorrelationbasedstereo:algorithmimplementationsandapplications.INRIATechnicalReport,1993)中的方法；

图2k为用ANCC算法处理(2a-2b)图像对的结果图，ANCC为文献[1](Y.Heo,K.Lee,andS.Lee,“RobustStereoMatchingUsingAdaptiveNormalizedCross-correlation,”IEEETrans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.)中的方法；

图2l为用本文算法处理(2a-2b)图像对的结果图；

图2m为用BT算法处理(2c-2d)图像对的结果图；

图2n为用RG算法处理(2c-2d)图像对的结果图；

图2o为用CT算法处理(2c-2d)图像对的结果图；

图2p为用DIFFCT算法处理(2c-2d)图像对的结果图；

图2q为用ΔADCT算法处理(2c-2d)图像对的结果图；

图2r为用ZNCC算法处理(2c-2d)图像对的结果图；

图2s为用ANCC算法处理(2c-2d)图像对的结果图；

图2t为本方法处理(2c-2d)图像对的结果图；

图3a为不同光照条件下的平均视差错误率图；

图3b为不同曝光条件下的平均视差错误率图；

图4a为一个理想边界的一维示例图；

图4b为带有取样噪声或非期望图案边界的一维示例图；

图5a为小孩图片原始图像图；

图5b为目前视差优化方法带有置信补偿的图像图；

图5c为目前视差优化方法不带有置信补偿的图像图；

图6a为画像原始图像图；

图6b为利用[12](C.Rhemann,A.Hosni,M.Bleyer,andetal.,“FastCost-volumeFilteringforVisualCorrespondenceandBeyond,”Proc.IEEEConf.Comput.Vis.Patt.Recognit.,pp.3017-3024,2011.)中方法处理后结果图；

图6c为利用[10]中方法处理后结果图；

图6d为利用本方法处理后结果图；

图7a为道路A左视图；

图7b为道路A右视图；

图7c为道路A视差图；

图8a为道路B左视图；

图8b为道路B右视图；

图8c为道路B视差图；

图9a为道路C左视图；

图9b为道路C右视图；

图9c为道路C视差图；

图10a为道路D左视图；

图10b为道路D右视图；

图10c为道路D视差图；

图11为3×3区域图；

图12为本发明流程图。

具体实施方式

具体实施方式一：结合图12说明本实施方式，本实施方式的一种改进的光学仿射不变双目立体匹配代价与视差优化方法，具体是按照以下步骤制备的：

步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；

步骤二、对步骤一中的左视图和右视图进行改进的Census变换；

步骤三、计算步骤一中的左视图和右视图的相对梯度；

步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；

步骤五、对立体匹配代价进行叠加；

步骤六、建立视差置信度；

步骤七、对图像的每一行，从(左)1到(右)N视差置信度传递；

步骤八、对图像的每一行，从(右)N到(左)1视差置信度传递；

步骤九、对图像的每一列，(从上到下)从1到M视差置信度传递；

步骤十、对图像的每一列，从(下)M到(上)1视差置信度传递；

步骤十一、得到优化后的视差图D_f。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换；具体过程为：

(1)为了解决光学仿射变化问题，本文采用文献[3]的光学模型：

其中，m_b和m_s是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率，α代表漫射光；

当m_se变化时，光照即发生变化；α与视角相关，但是它的值仍是未知的，所以同样需要估计，

通过假设3×3区域内光照是不变的，m_s与α梯度无关，待匹配像素的区别仅在光照强度e；

(2)传统的Census变换定义为中心像素p与其邻域内的像素q∈N(p)的比较，然而改进的Census变换是基于相对梯度的：

其中，代表以p为中心的3×3区域内相对梯度RG(x,y)的平均值，如图11，N(p)代表像素p的一个邻域，q为q(x,y),p为p(x,y)；T(p,q)为Census变换，RG(q)为像素q的相对梯度，相对梯度运算公式为：

RG(x,y)＝G(x,y)/(1+G_max(x,y))

其中，RG(x,y)是像素p(x,y)的相对梯度，G_max(x,y)是以像素p(x,y)为中心的3×3区域内梯度G(x,y)的最大值；

G_max(x,y)＝max(|G(x+m,y+n)|),-1≤m≤1,-1≤n≤1

式中，m，n是输入图像的大小。

根据图1实例可见，采用相对梯度算法能够得到更加清晰的物体轮廓信息。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤四中根据步骤二和步骤三的结果计算双目立体匹配代价；具体过程为：

(3)将(2)的结果T(p,q)串接形成位串其中代表串接操作，在执行(4)匹配代价计算之前，左和右视图各执行一次以上步骤的操作，然后执行(4)；

(4)最后Census变换代价C_CT(p,d)通过左视图中像素p和右视图中像素p-d的位串的汉明距离给出；

$C_{CT}(p,d)=\underset{q\∈N\left(p\right)}{\Σ}Hamming\left(C_l\right(p),C_r(p-d\left)\right)$

其中，C_l和C_r分别代表经过步骤(1-3)变换后的左右图像，d代表某一个视差值；C_CT(p,d)为Census变换代价；

(5)然后，结合步骤(1-4)，最终的双目立体匹配代价如下：

C_RGCT(p,d)＝ρ(C_CT(p,d)/L_CT,λ_CT)+ρ(C_rg(p,d),λ_rg)

其中，C_RGCT(p,d)为相对梯度Census变换的代价，ρ为自定义的非线性函数，它的参数有两个为ρ(c,λ)，λ_CT为Census变换的参数，λ_rg为相对梯度的参数，L_CT代表位串的长度(本发明中L_CT＝9)，C_rg是像素p和p-d的左视图RG_l(p)和右视图RG_r(p-d)相对梯度图像的绝对差值；

C_rg(p,d)＝|RG_l(p)-RG_r(p-d)|。

ρ(c,λ)是一个非线性函数，ρ(c,λ)＝1-exp(-c/λ)，其作用是将改进的Census变换和相对梯度的匹配代价映射到[0,1]范围内,并且使得仅用两个参数λ_CT(＝55)和λ_rg(＝95)就可以控制算法的性能。

本文提出的双目立体匹配代价算法的实验结果如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t、3a、3b所示。表1为各种算法的运行效率比较结果，测试时采用427x370像素和70个差分层读的Aloe图片作为测试对象，测试设备为2.0GHz因特尔双核笔记本电脑，其RAM大小为2GB，算法没有进行并行优化，编程语言为C语言，从实验结果可以看出本文提出的算法具有较高的精度和运行效率。

不同双目视差立体匹配代价算法在不同光照与相机曝光度组合情况下的实验结果比较。其中，BT[11](S.BirchfieldandC.Tomasi,“APixelDissimilarityMeasureThatisInsensitivetoImageSampling,”IEEETrans.Patt.Anal.Mach.Intell.,vol.20,no.4,pp.401-406,Apr.1998.),RG[3](X.ZhouandP.Boulanger,“RadiometricInvariantStereoMatchingBasedonRelativeGradients,”19thIEEEInt.Conf.ImageProcess.,pp.2989-2992,2012.),CT[2](S.Kim,B.Ham,B.Kim,andK.Sohn,“Maha-lanobisDistanceCross-CorrelationforIllumination-InvariantStereoMatching,”IEEETrans.CirtuitsSyst.VideoTechnol.,vol.24,no.11,2014.),DIFFCT[15](A.Miron,S.Ainouz,A.Rogozan,andA.Bensrhair,“ARobustCostFunctionforStereoMatchingofRoadScenes,”Patt.Recognit.Lett.,vol.38,pp.70-77,2014.),ΔADCT[11](S.BirchfieldandC.Tomasi,“APixelDissimilarityMeasureThatisInsensitivetoImageSampling,”IEEETrans.Patt.Anal.Mach.Intell.,vol.20,no.4,pp.401-406,Apr.1998.),ZNCC[2](S.Kim,B.Ham,B.Kim,andK.Sohn,“Maha-lanobisDistanceCross-CorrelationforIllumination-InvariantStereoMatching,”IEEETrans.CirtuitsSyst.VideoTechnol.,vol.24,no.11,2014.),ANCC[1](Y.Heo,K.Lee,andS.Lee,“RobustStereoMatchingUsingAdaptiveNormalizedCross-correlation,”IEEETrans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.)，各种比较算法的参数均设为与原文献相同，如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤五中对立体匹配代价进行叠加；具体过程为：

对立体匹配代价进行叠加，得到大小为m×n的初始视差图；-1≤m≤1,-1≤n≤1。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤六中建立视差置信度；具体过程为：

采用置信度传播和置信补偿，将视差从可靠像素传递到不可靠像素，其中置信度定义为：

式中，Dr(p)为初始视差图，B(p)是像素置信度。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤七中从1(左)到N(右)视差置信度传递；具体过程为：

初始化，如果Dr(p)不可信，同时将的值赋给将D_f(q)的值赋给D_f(P)；

否则，将B(p)的值赋给Dr(p)的值赋给D_f(P)；

代表从1(左)到N(右)的累加视差置信度，W_p,q(I)是相邻像素p和q的权值，

$W_{p,q}\left(I\right)=\exp (-\frac{{\max }_c|I_c\left(p\right)-I_c\left(q\right)|}{\mathrm{\δ}})$

其中，c∈{R,G,B}，δ为常量，用于校准相邻像素的相似度；I_c(p)为RGB图像I中像素p的c通道亮度值，I_c(q)为RGB图像I中像素q的c通道亮度值，

D_f(q)为像素q最终经过优化后的视差图，D_f(P)为像素p最终经过优化后的视差图；

为置信度补偿量，上标lr代表从1(左)到N(右)视差传递过程，下标p代表像素p的补偿量；

式中，I_c(p₁)为RGB图像I中像素p₁的c通道亮度值；I_c(p₂)为RGB图像I中像素p₂的c通道亮度值；W_p,q(I)是相邻像素p和q的权值，为置信补偿。

其它步骤及参数与具体实施方式一至五之一相同。

具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤八中从N(右)到1(左)视差置信度传递；具体过程为：

初始化，对于所有的p∈{第i行}，i为正整数，将的值赋给

如果D_f(p)＝D_f(q)，将的值赋给将D_f(q)的值赋给D_f(q)；

否则，D_f(P)≠D_f(q)，如果则 $B_{rl}^A\left(P\right)=W_{p,q}\left(I\right)B_{rl}^A\left(q\right),$ D_f(P)＝D_f(q)；

代表从N(右)到1(左)视差图像的累加视差置信度；D_f(q)为像素q最终经过优化后的视差图，D_f(P)为像素p最终经过优化后的视差图；

式中，I_c(p₁)为RGB图像I中像素p₁的c通道亮度值；I_c(p₂)为RGB图像I中像素p₂的c通道亮度值；W_p,q(I)是相邻像素p和q的权值，为置信补偿，I_c(p)为RGB图像I中像素p的c通道亮度值。

其它步骤及参数与具体实施方式一至六之一相同。

具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述步骤九中从1(上)到M(下)视差置信度传递；具体过程为：

当像素p的视差不可靠(D_r(p)是不可靠像素)，且时，则

D_f(p)＝D_f(q)

否则：D_f(p)＝D_r(p)

式中，代表从1(上)到M(下)视差图像的累加视差置信度；为置信补偿。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：所述步骤十中从M(下)到1(上)视差置信度传递；具体过程为：

首先初始化每一行像素的置信度

如果D_f(p)＝D_f(q)则

D_f(p)＝D_f(q)

否则：如果则

$B_{rl}^A\left(p\right)=W_{p,q}\left(I\right)B_{rl}^A\left(q\right),$ D_f(p)＝D_f(q)

式中，代表从M(下)到1(上)视差图像的累加视差置信度。

其它步骤及参数与具体实施方式一至七之一相同。

具体实施方式十：本实施方式与具体实施方式一至九之一不同的是：所述图像I转换到HSI颜色空间，再计算每个通道c∈{H,S,I}的权值： $W_{p,q}\left(I\right)=\exp (-\frac{{\max }_c|I_c\left(p\right)-I_c\left(q\right)|}{\mathrm{\δ}})$

式中，HSI是一种彩色模型，图像用色度、饱和度和亮度来描述。

其它步骤及参数与具体实施方式一至八之一相同。

采用以下实施例验证本发明的有益效果：实施例一：本实施例一种改进的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤制备的：

两个垂直方向上的视差累加操作与步骤(3)的操作类似，最后，经过以上步骤可以得到每个像素点都有最大总置信度的视差图像。根据图1a、图1b、图1c实例可见，采用相对梯度算法能够得到更加清晰的物体轮廓信息。本文提出的双目立体匹配代价算法的实验结果如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t、3a、3b所示。表1为各种算法的运行效率比较结果，测试时采用427x370像素和70个差分层读的Aloe图片作为测试对象，测试设备为2.0GHz因特尔双核笔记本电脑，其RAM大小为2GB，算法没有进行并行优化，编程语言为C语言，从实验结果可以看出本文提出的算法具有较高的精度和运行效率。图3a、图3b为不同光照和曝光组合条件下的错误率。可以清楚的看出，在强仿射变化时，本文算法的错误率远远低于RG算法，与ANCC算法错误率接近，但是存在较小的仿射变化时远优于ANCC算法；如表1：

表1

为了研究置信补偿对视差优化结果的影响，图4(a)假设一个单位置信量从p₁传递到p，有补偿与无补偿的情况下，单位置信度均可无损到达p点。然而，在存在采样噪声或非理想局部图案的情况下(图4(b))，可以计算出在无补偿的情况下只有0.053置信量传播到p，低于像素p从p₂接收到的0.099置信量，从而导致p从p₂接收到一个错误的视差。在有补偿的情况下，则单位置信量可以无损失地传递到p。这是因为在有补偿的情况下，对于任何p′,q′∈(p₁,p]，当|I(p′)-I(p₂)|＞|I(p′)-I(p₁)|时，相反，说明算法仍然可以保留物体的边缘。图4a、4b一维情况下置信度的传播例子。4a理想边缘；4b假设存在测量噪声或非理想图案情况下的边缘。其中数字代表从p₁到p₂的像素的亮度值。

图5a、5b、5c是使用与不使用置信补偿情况下的实验结果对比，可以看出，在使用置信补偿后，物体边缘错误的匹配像素变少了。表2和图6a、6b、6c、6d给出了各种算法的优化结果，可以看出在精度上，本专利的方法与方法[12]接近，优于方法[10]。同时，我们测试了几种算法的处理速度，测试仪器及编程语言通权利要求1，方法[12]需要10.7秒，方法[10]用了956ms，而本发明所采用的方法仅仅需要18.7ms。图6a、6b、6c为本发明视差优化方法与[10]和[12]中方法的实验结果对比。本发明提出的方法运用于道路交通图像上的结果如图7a、7b、7c、8a、8b、8c、9a、9b、9c、10a、10b、10c、所示。图7a、7b、7c将本发明的算法运用与交通图像上的实验结果,(a)为左视图，(b)为右视图，(c)为用本发明算法得到的视差图；

综上，本文提出的视差优化算法在提高精度的同时具有较低的计算复杂度。同时，本文提出的视差优化因对每一行/列独立运算，所以可以通过并行处理加快算法的运行速度，从而满足实时性的需求。表2

表2各种视差优化算法的精度比较结果，测试图像来自middlebury网站，本实验所选用的测试图像的曝光度指数为1，亮度指数为2。

表2

Claims (10)

1.一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于一种改进的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤进行的：

步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；

步骤二、对步骤一中的左视图和右视图进行改进的Census变换；

步骤三、计算步骤一中的左视图和右视图的相对梯度；

步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；

步骤五、对立体匹配代价进行叠加；

步骤六、建立视差置信度；

步骤七、对图像的每一行，从1到N视差置信度传递；

步骤八、对图像的每一行，从N到1视差置信度传递；

步骤九、对图像的每一列，从1到M视差置信度传递；

步骤十、对图像的每一列，从M到1视差置信度传递；

步骤十一、得到优化后的视差图D_f。

2.根据权利要求1所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换；具体过程为：

(1)设置光学模型：

其中，m_b和m_s是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率，α代表漫射光；

(2)传统的Census变换定义为中心像素p与其邻域内的像素q∈N(p)的比较，然而改进的Census变换是基于相对梯度的：

其中，代表以p为中心的3×3区域内相对梯度RG(x,y)的平均值，如图11，N(p)代表像素p的一个邻域，q为q(x,y),p为p(x,y)；T(p,q)为Census变换，RG(q)为像素q的相对梯度，相对梯度运算公式为：

RG(x,y)＝G(x,y)/(1+G_max(x,y))

其中，RG(x,y)是像素p(x,y)的相对梯度，G_max(x,y)是以像素p(x,y)为中心的3×3区域内梯度G(x,y)的最大值；

G_max(x,y)＝max(|G(x+m,y+n)|),-1≤m≤1,-1≤n≤1

式中，m，n是输入图像的大小。

3.根据权利要求2所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤四中根据步骤二和步骤三的结果计算双目立体匹配代价；具体过程为：

(3)将(2)的结果T(p,q)串接形成位串其中代表串接操作，在执行(4)匹配代价计算之前，左和右视图各执行一次以上步骤的操作，然后执行(4)；

(4)最后Census变换代价C_CT(p,d)通过左视图中像素p和右视图中像素p-d的位串的汉明距离给出；

$C_{CT}(p,d)=\underset{q\∈N\left(p\right)}{\Σ}Hamming\left(C_l\right(p),C_r(p-d\left)\right)$

其中，C_l和C_r分别代表经过步骤(1-3)变换后的左右图像，d代表某一个视差值；C_CT(p,d)为Census变换代价；

(5)然后，结合步骤(1-4)，最终的双目立体匹配代价如下：

C_RGCT(p,d)＝ρ(C_CT(p,d)/L_CT,λ_CT)+ρ(C_rg(p,d),λ_rg)

其中，C_RGCT(p,d)为相对梯度Census变换的代价，ρ为自定义的非线性函数，它的参数有两个为ρ(c,λ)，λ_CT为Census变换的参数，λ_rg为相对梯度的参数，L_CT代表位串的长度(本发明中L_CT＝9)，C_rg是像素p和p-d的左视图RG_l(p)和右视图RG_r(p-d)相对梯度图像的绝对差值；

C_rg(p,d)＝|RG_l(p)-RG_r(p-d)|。

4.根据权利要求3所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤五中对立体匹配代价进行叠加；具体过程为：

对立体匹配代价进行叠加，得到大小为m×n的初始视差图；-1≤m≤1,-1≤n≤1。

5.根据权利要求4所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤六中建立视差置信度；具体过程为：

采用置信度传播和置信补偿，将视差从可靠像素传递到不可靠像素，其中置信度定义为：

式中，Dr(p)为初始视差图，B(p)是像素置信度。

6.根据权利要求5所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤七中从1到N视差置信度传递；具体过程为：

初始化，如果Dr(p)不可信，同时将的值赋给将D_f(q)的值赋给D_f(P)；

否则，将B(p)的值赋给Dr(p)的值赋给D_f(P)；

代表从1到N的累加视差置信度，W_p,q(I)是相邻像素p和q的权值，

$W_{p,q}\left(I\right)=\exp (-\frac{{\max }_c|I_c\left(p\right)-I_c\left(q\right)|}{\mathrm{\δ}})$

其中，c∈{R,G,B}，δ为常量，用于校准相邻像素的相似度；I_c(p)为RGB图像I中像素p的c通道亮度值，I_c(q)为RGB图像I中像素q的c通道亮度值，

D_f(q)为像素q的最终经过优化后的视差图，D_f(P)为像素p的最终经过优化后的视差图；

为置信度补偿量，上标lr代表从1到N视差传递过程，下标p代表像素p的补偿量；

式中，I_c(p₁)为RGB图像I中像素p₁的c通道亮度值；I_c(p₂)为RGB图像I中像素p₂的c通道亮度值；W_p,q(I)是相邻像素p和q的权值，为置信补偿。

7.根据权利要求6所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤八中从N到1视差置信度传递；具体过程为：

初始化，对于所有的p∈{第i行}，i为正整数，将的值赋给

如果D_f(p)＝D_f(q)，将的值赋给将D_f(q)的值赋给D_f(q)；

否则，D_f(P)≠D_f(q)，如果则 $B_{rl}^A\left(P\right)=W_{p,q}\left(I\right)B_{rl}^A\left(q\right),$ D_f(P)＝D_f(q)；

代表从N到1视差图像的累加视差置信度；D_f(q)为最终经过优化后的视差图，D_f(P)为像素p的最终经过优化后的视差图；

式中，I_c(p₁)为RGB图像I中像素p₁的c通道亮度值；I_c(p₂)为RGB图像I中像素p₂的c通道亮度值；W_p,q(I)是相邻像素p和q的权值，为置信补偿，I_c(p)为RGB图像I中像素p的c通道亮度值。

8.根据权利要求7所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤九中从1到M视差置信度传递；具体过程为：

当像素p的视差不可靠，且时，则

D_f(p)＝D_f(q)

否则：D_f(p)＝D_r(p)

式中，代表从1到M视差图像的累加视差置信度；为置信补偿。

9.根据权利要求8所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤十中从M到1视差置信度传递；具体过程为：

首先初始化每一行像素的置信度

如果D_f(p)＝D_f(q)则

D_f(p)＝D_f(q)

否则：如果则

$B_{\mathrm{rl}}^A\left(p\right)=W_{p,q}\left(1\right)B_{\mathrm{rl}}^A\left(q\right),$ D_f(p)＝D_f(q)

式中，代表从M到1视差图像的累加视差置信度。

10.根据权利要求9所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述图像I转换到HSI颜色空间，再计算每个通道c∈{H,S,I}的权值：

$W_{p,q}\left(I\right)=\exp (-\frac{{\max }_c|I_c\left(p\right)-I_c\left(q\right)|}{\mathrm{\δ}})$

式中，HSI是一种彩色模型，图像用色度、饱和度和亮度来描述。