CN105654493B - 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 - Google Patents

一种改进的光学仿射不变双目立体匹配代价与视差优化方法 Download PDF

Info

Publication number
CN105654493B
CN105654493B CN201511029317.9A CN201511029317A CN105654493B CN 105654493 B CN105654493 B CN 105654493B CN 201511029317 A CN201511029317 A CN 201511029317A CN 105654493 B CN105654493 B CN 105654493B
Authority
CN
China
Prior art keywords
parallax
pixel
power flow
matching power
confidence level
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201511029317.9A
Other languages
English (en)
Other versions
CN105654493A (zh
Inventor
王进祥
石金进
张垚
付方发
陈少娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Harbin Institute of Technology
Original Assignee
Harbin Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Harbin Institute of Technology filed Critical Harbin Institute of Technology
Priority to CN201511029317.9A priority Critical patent/CN105654493B/zh
Publication of CN105654493A publication Critical patent/CN105654493A/zh
Application granted granted Critical
Publication of CN105654493B publication Critical patent/CN105654493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20228—Disparity calculation for image-based rendering

Landscapes

  • Image Processing (AREA)

Abstract

一种改进的光学仿射不变双目立体匹配代价与视差优化方法，本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。本发明的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题。具体过程为：一、左右两个摄像头分别自动摄取两幅图像；二、对左视图和右视图进行改进的Census变换；三、计算相对梯度；四、计算双目立体匹配代价；五、对立体匹配代价进行叠加；六、建立视差置信度；七、从1到N视差置信度传递；八、从N到1视差置信度传递；九、对图像的每一列，从1到M视差置信度传递；十、从M到1视差置信度传递；十一、得到Df。本发明应用于图像处理领域。

Description

一种改进的光学仿射不变双目立体匹配代价与视差优化方法
技术领域
本发明涉及改进的光学仿射不变双目立体匹配代价与视差优化方法。
背景技术
双目立体视觉广泛运用于环境三维重建，逆向工程，机器人障碍物检测等领域，双目视觉系统模仿人类视觉的立体感知过程,从两个视点观察同一景物,以获取不同视角下的感知图像,机器视觉领域可以通过三角测量原理计算左右图像对应像素间的位置偏差,以获取景物的三维信息。双目立体匹配是计算机视觉领域最有挑战性的任务之一。由于双目立体匹配算法的基本工作原理是在左右图像中寻找匹配(对应)的像素，然而，由于受光源变化，非朗伯表面和设备特性差异等因素的影响，容易造成匹配像素光学上的扭曲(即颜色上的差异)。近年来，虽然国际上已经提出了多种算法，如ANCC[1](Y.Heo,K.Lee,andS.Lee,“Robust Stereo Matching Using Adaptive Normalized Cross-correlation,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.),MDCC[2](S.Kim,B.Ham,B.Kim,and K.Sohn,“Maha-lanobis Distance Cross-Correlation forIllumination-Invariant Stereo Matching,”IEEE Trans.Cirtuits Syst.VideoTechnol.,vol.24,no.11,2014.)等，这种方法虽然能获得较高的匹配精度，但是通常很难得到实时性能，文献[3](X.Zhou and P.Boulanger,“Radiometric Invariant StereoMatching Based on Relative Gradients,”19th IEEE Int.Conf.Image Process.,pp.2989-2992,2012.)提出了一种简单的双目立体匹配代价计算方法，然而当左右图像存在较大光学扭曲情况下，精度受到很大影响。
另外，由于受各种因素的影响，如遮挡，光学扭曲等，双目立体匹配算法得到的初始视差图往往要经过优化算法提高精度。近年来，国际上也提出了多种视差优化算法，最常见的是平面拟合[6](S.Sinha,D.Scharstein,and R.Szeliski,“Efficient High-Resolution Stereo Matching using Local Plane Sweeps,”IEEEConf.Comput.Vis.Patt.Recognit.,pp.1582-1589,2014.),[7](M.Bleyer,C.Rother,P.Kohli,D.Scharstein,and S.Sinha,“Object Stereo-joint Stereo Matching andObject Segmenta-tion,”IEEE Conf.Comput.Vis.Patt.Recognit.,2011.)方法，这种方法虽然能得到很高的精度，但是算法复杂度高，另外，文献[8]提出了基于最小生成树(MST)的视差优化算法，文献[10](Q.Yang,“Local Smoothness Enforced Cost VolumeRegularization for FastStereo Correspondence,”IEEE Signal Process.Lett.,vol.22,no.9,pp.1429-1433,2015)提出了一种双边滤波的视差优化算法等。虽然基于MST树的方法在精度上优于当前的许多算法，但是其计算量仍然较大。
发明内容
本发明的目的是为了解决现有方法很难得到实时性能，在光学扭曲情况下，精度受到影响，算法复杂度高，计算量大的问题，而提出一种改进的光学仿射不变双目立体匹配代价与视差优化方法。
上述的发明目的是通过以下技术方案实现的：
步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；
步骤二、对步骤一中的左视图和右视图进行改进的Census变换；
步骤三、计算步骤一中的左视图和右视图的相对梯度；
步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；
步骤五、对立体匹配代价进行叠加；
步骤六、建立视差置信度；
步骤七、对图像的每一行，从(左)1到(右)N视差置信度传递；
步骤八、对图像的每一行，从(右)N到(左)1视差置信度传递；
步骤九、对图像的每一列，(从上到下)从1到M视差置信度传递；
步骤十、对图像的每一列，从(下)M到(上)1视差置信度传递；
步骤十一、得到优化后的视差图Df。
发明效果
本发明提出了一种改进的光学仿射不变双目立体匹配代价与视差优化方法，提出的双目立体匹配代价方法有效的结合了改进的census变换和相对梯度算法，从匹配精度和效率综合上看，该算法具有明显优势(用Middlebury网站上的测试图片Aloe作为比较,在2.0GHz主频，2GB内存的英特尔双核笔记本的环境下采用C语言编程，匹配代价算法的运行时间为0.563秒，通过利用Middlebury网站上的测试集((Aloe,Baby1,Cloth4,Art,Dolls，Laundry and Moebius))统计算法的精度，结果表明本文提出的匹配代价算法的精度全面优于[3],在光学扭曲变形较大时，其性能接近ANCC，但是当光学扭曲变形较小时，算法的精度优于ANCC，另外，本文提出的匹配代价算法的计算量远小于ANCC。)。此外，本发明提出的视差优化方法在保证精度的同时(算法的精度与[12]相当，但优于[10])，具有很低的计算复杂度，计算量小(用图片Aloe作为比较，文献[10]大约需要956ms,文献[12](C.Rhemann,A.Hosni,M.Bleyer,and et al.,“Fast Cost-volume Filtering for VisualCorrespondence and Beyond,”Proc.IEEE Conf.Comput.Vis.Patt.Recognit.,pp.3017-3024,2011.)大约需要10.7ms,而本文方法只需18.4ms)，因此适合使用于对实时性要求高的场合。
附图说明
图1a为网站Middlebury上的样本图片Midd2；
图1b为对图1a处理后所得的绝对梯度图；
图1c为对图1a处理后所得的相对梯度图；
图2a为光照1(亮度1定义为亮度最暗的测试图片)和曝光2(曝光时间1000ms)条件下的左视图；图2b为光照3(亮度最大的测试图片)和曝光2(曝光时间1000ms0条件下的右视图；
图2c为在光照2(亮度次之的测试图片)和曝光1(曝光时间250ms)条件下的左视图；
图2d为在光照2(亮度次之的测试图片)和曝光3(曝光时间4000ms)条件下的右视图；
图2e为用BT算法处理(2a-2b)图像对的结果图，BT为文献[11](S.Birchfield andC.Tomasi,“A Pixel Dissimilarity Measure That is Insensitive to ImageSampling,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.20,no.4,pp.401-406,Apr.1998)中的方法；
图2f为用RG算法处理(2a-2b)图像对的结果图，RG为文献[3](X.Zhou andP.Boulanger,“Radiometric Invariant Stereo Matching Based on RelativeGradients,”19th IEEE Int.Conf.Image Process.,pp.2989-2992,2012.)中的方法；
图2g为用CT算法处理(2a-2b)图像对的结果图，CT为[17](R.Zabih,J.Woodfill,“Non-parametric local transforms for computing visual correspondence”,Comp.Vision—ECCV,Springer Berlin Heidelberg,pp.151-158,1994.)中的方法；
图2h为用DIFFCT算法处理(2a-2b)图像对的结果图，DIFFCT为文献[15](A.Miron,S.Ainouz,A.Rogozan,and A.Bensrhair,“A Robust Cost Function for StereoMatching of Road Scenes,”Patt.Recognit.Lett.,vol.38,pp.70-77,2014.)中的方法；
图2i为用ΔADCT算法处理(2a-2b)图像对的结果图，ΔADCT为文献[14](X.Mei,X.Sun,M.Zhou,and et al.,“On Building an Ac-curate Stereo Matching System onGraphics Hardware,”IEEE Int.Conf.Comput.Vis.Work.,pp.467-474,2011)中的方法；
图2j为用ZNCC算法处理(2a-2b)图像对的结果图，ZNCC为文献[18](O.Faugeras,B.Hotz,H.Mathieu,T.Vi′eville,Z.Zhang,P.Fua,E.Th′eron,L.Moll,G.Berry,J.Vuillemin,P.Bertin and C.Proy.Real time correlation based stereo:algorithmimplementations and applications.INRIA Technical Report,1993)中的方法；
图2k为用ANCC算法处理(2a-2b)图像对的结果图，ANCC为文献[1](Y.Heo,K.Lee,and S.Lee,“Robust Stereo Matching Using Adaptive Normalized Cross-correlation,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.)中的方法；
图2l为用本文算法处理(2a-2b)图像对的结果图；
图2m为用BT算法处理(2c-2d)图像对的结果图；
图2n为用RG算法处理(2c-2d)图像对的结果图；
图2o为用CT算法处理(2c-2d)图像对的结果图；
图2p为用DIFFCT算法处理(2c-2d)图像对的结果图；
图2q为用ΔADCT算法处理(2c-2d)图像对的结果图；
图2r为用ZNCC算法处理(2c-2d)图像对的结果图；
图2s为用ANCC算法处理(2c-2d)图像对的结果图；
图2t为本方法处理(2c-2d)图像对的结果图；
图3a为不同光照条件下的平均视差错误率图；
图3b为不同曝光条件下的平均视差错误率图；
图4a为一个理想边界的一维示例图；
图4b为带有取样噪声或非期望图案边界的一维示例图；
图5a为小孩图片原始图像图；
图5b为目前视差优化方法带有置信补偿的图像图；
图5c为目前视差优化方法不带有置信补偿的图像图；
图6a为画像原始图像图；
图6b为利用[12](C.Rhemann,A.Hosni,M.Bleyer,and et al.,“Fast Cost-volume Filtering for Visual Correspondence and Beyond,”Proc.IEEEConf.Comput.Vis.Patt.Recognit.,pp.3017-3024,2011.)中方法处理后结果图；
图6c为利用[10]中方法处理后结果图；
图6d为利用本方法处理后结果图；
图7a为道路A左视图；
图7b为道路A右视图；
图7c为道路A视差图；
图8a为道路B左视图；
图8b为道路B右视图；
图8c为道路B视差图；
图9a为道路C左视图；
图9b为道路C右视图；
图9c为道路C视差图；
图10a为道路D左视图；
图10b为道路D右视图；
图10c为道路D视差图；
图11为3×3区域图；
图12为本发明流程图。
具体实施方式
具体实施方式一：结合图12说明本实施方式，本实施方式的一种改进的光学仿射不变双目立体匹配代价与视差优化方法，具体是按照以下步骤制备的：
步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；
步骤二、对步骤一中的左视图和右视图进行改进的Census变换；
步骤三、计算步骤一中的左视图和右视图的相对梯度；
步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；
步骤五、对立体匹配代价进行叠加；
步骤六、建立视差置信度；
步骤七、对图像的每一行，从(左)1到(右)N视差置信度传递；
步骤八、对图像的每一行，从(右)N到(左)1视差置信度传递；
步骤九、对图像的每一列，(从上到下)从1到M视差置信度传递；
步骤十、对图像的每一列，从(下)M到(上)1视差置信度传递；
步骤十一、得到优化后的视差图Df。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换；具体过程为：
(1)为了解决光学仿射变化问题，本文采用文献[3]的光学模型：
其中，mb和ms是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率，α代表漫射光；
当mse变化时，光照即发生变化；α与视角相关，但是它的值仍是未知的，所以同样需要估计，
通过假设3×3区域内光照是不变的，ms与α梯度无关，待匹配像素的区别仅在光照强度e；
(2)传统的Census变换定义为中心像素p与其邻域内的像素q∈N(p)的比较，然而改进的Census变换是基于相对梯度的：
其中，代表以p为中心的3×3区域内相对梯度RG(x,y)的平均值，如图11，N(p)代表像素p的一个邻域，q为q(x,y),p为p(x,y)；T(p,q)为Census变换，RG(q)为像素q的相对梯度，相对梯度运算公式为：
RG(x,y)＝G(x,y)/(1+Gmax(x,y))
其中，RG(x,y)是像素p(x,y)的相对梯度，Gmax(x,y)是以像素p(x,y)为中心的3×3区域内梯度G(x,y)的最大值；
Gmax(x,y)＝max(|G(x+m,y+n)|),-1≤m≤1,-1≤n≤1
式中，m，n是输入图像的大小。
根据图1实例可见，采用相对梯度算法能够得到更加清晰的物体轮廓信息。
其它步骤及参数与具体实施方式一相同。
具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述步骤四中根据步骤二和步骤三的结果计算双目立体匹配代价；具体过程为：
(3)将(2)的结果T(p,q)串接形成位串其中代表串接操作，在执行(4)匹配代价计算之前，左和右视图各执行一次以上步骤的操作，然后执行(4)；
(4)最后Census变换代价CCT(p,d)通过左视图中像素p和右视图中像素p-d的位串的汉明距离给出；
其中，Cl和Cr分别代表经过步骤(1-3)变换后的左右图像，d代表某一个视差值；CCT(p,d)为Census变换代价；
(5)然后，结合步骤(1-4)，最终的双目立体匹配代价如下：
CRGCT(p,d)＝ρ(CCT(p,d)/LCT,λCT)+ρ(Crg(p,d),λrg)
其中，CRGCT(p,d)为相对梯度Census变换的代价，ρ为自定义的非线性函数，它的参数有两个为ρ(c,λ)，λCT为Census变换的参数，λrg为相对梯度的参数，LCT代表位串的长度(本发明中LCT＝9)，Crg是像素p和p-d的左视图RGl(p)和右视图RGr(p-d)相对梯度图像的绝对差值；
Crg(p,d)＝|RGl(p)-RGr(p-d)|。
ρ(c,λ)是一个非线性函数，ρ(c,λ)＝1-exp(-c/λ)，其作用是将改进的Census变换和相对梯度的匹配代价映射到[0,1]范围内,并且使得仅用两个参数λCT(＝55)和λrg(＝95)就可以控制算法的性能。
本文提出的双目立体匹配代价算法的实验结果如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t、3a、3b所示。表1为各种算法的运行效率比较结果，测试时采用427x370像素和70个差分层读的Aloe图片作为测试对象，测试设备为2.0GHz因特尔双核笔记本电脑，其RAM大小为2GB，算法没有进行并行优化，编程语言为C语言，从实验结果可以看出本文提出的算法具有较高的精度和运行效率。
不同双目视差立体匹配代价算法在不同光照与相机曝光度组合情况下的实验结果比较。其中，BT[11](S.Birchfield and C.Tomasi,“A Pixel Dissimilarity MeasureThat is Insensitive to Image Sampling,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.20,no.4,pp.401-406,Apr.1998.),RG[3](X.Zhou and P.Boulanger,“RadiometricInvariant Stereo Matching Based on Relative Gradients,”19th IEEEInt.Conf.Image Process.,pp.2989-2992,2012.),CT[2](S.Kim,B.Ham,B.Kim,andK.Sohn,“Maha-lanobis Distance Cross-Correlation for Illumination-InvariantStereo Matching,”IEEE Trans.Cirtuits Syst.Video Technol.,vol.24,no.11,2014.),DIFFCT[15](A.Miron,S.Ainouz,A.Rogozan,and A.Bensrhair,“A Robust Cost Functionfor Stereo Matching of Road Scenes,”Patt.Recognit.Lett.,vol.38,pp.70-77,2014.),ΔADCT[11](S.Birchfield and C.Tomasi,“A Pixel Dissimilarity MeasureThat is Insensitive to Image Sampling,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.20,no.4,pp.401-406,Apr.1998.),ZNCC[2](S.Kim,B.Ham,B.Kim,and K.Sohn,“Maha-lanobis Distance Cross-Correlation for Illumination-Invariant StereoMatching,”IEEE Trans.Cirtuits Syst.Video Technol.,vol.24,no.11,2014.),ANCC[1](Y.Heo,K.Lee,and S.Lee,“Robust Stereo Matching Using Adaptive NormalizedCross-correlation,”IEEE Trans.Patt.Anal.Mach.Intell.,vol.33,pp.807-822,2011.)，各种比较算法的参数均设为与原文献相同，如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t。
其它步骤及参数与具体实施方式一或二相同。
具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤五中对立体匹配代价进行叠加；具体过程为：
对立体匹配代价进行叠加，得到大小为m×n的初始视差图；-1≤m≤1,-1≤n≤1。
其它步骤及参数与具体实施方式一至三之一相同。
具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤六中建立视差置信度；具体过程为：
采用置信度传播和置信补偿，将视差从可靠像素传递到不可靠像素，其中置信度定义为：
式中，Dr(p)为初始视差图，B(p)是像素置信度。
其它步骤及参数与具体实施方式一至四之一相同。
具体实施方式六：本实施方式与具体实施方式一至五之一不同的是：所述步骤七中从1(左)到N(右)视差置信度传递；具体过程为：
初始化，如果Dr(p)不可信，同时将的值赋给将Df(q)的值赋给Df(P)；
否则，将B(p)的值赋给Dr(p)的值赋给Df(P)；
代表从1(左)到N(右)的累加视差置信度，Wp,q(I)是相邻像素p和q的权值，
其中，c∈{R,G,B}，δ为常量，用于校准相邻像素的相似度；Ic(p)为RGB图像I中像素p的c通道亮度值，Ic(q)为RGB图像I中像素q的c通道亮度值，
Df(q)为像素q最终经过优化后的视差图，Df(P)为像素p最终经过优化后的视差图；
为置信度补偿量，上标lr代表从1(左)到N(右)视差传递过程，下标p代表像素p的补偿量；
式中，Ic(p1)为RGB图像I中像素p1的c通道亮度值；Ic(p2)为RGB图像I中像素p2的c通道亮度值；Wp,q(I)是相邻像素p和q的权值，为置信补偿。
其它步骤及参数与具体实施方式一至五之一相同。
具体实施方式七：本实施方式与具体实施方式一至六之一不同的是：所述步骤八中从N(右)到1(左)视差置信度传递；具体过程为：
初始化，对于所有的p∈{第i行}，i为正整数，将的值赋给
如果Df(p)＝Df(q)，将的值赋给将Df(q)的值赋给Df(q)；
否则，Df(P)≠Df(q)，如果则Df(P)＝Df(q)；
代表从N(右)到1(左)视差图像的累加视差置信度；Df(q)为像素q最终经过优化后的视差图，Df(P)为像素p最终经过优化后的视差图；
式中，Ic(p1)为RGB图像I中像素p1的c通道亮度值；Ic(p2)为RGB图像I中像素p2的c通道亮度值；Wp,q(I)是相邻像素p和q的权值，为置信补偿，Ic(p)为RGB图像I中像素p的c通道亮度值。
其它步骤及参数与具体实施方式一至六之一相同。
具体实施方式八：本实施方式与具体实施方式一至七之一不同的是：所述步骤九中从1(上)到M(下)视差置信度传递；具体过程为：
当像素p的视差不可靠(Dr(p)是不可靠像素)，且时，则
Df(p)＝Df(q)
否则：Df(p)＝Dr(p)
式中，代表从1(上)到M(下)视差图像的累加视差置信度；为置信补偿。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式九：本实施方式与具体实施方式一至八之一不同的是：所述步骤十中从M(下)到1(上)视差置信度传递；具体过程为：
首先初始化每一行像素的置信度
如果Df(p)＝Df(q)则
Df(p)＝Df(q)
否则：如果则
Df(p)＝Df(q)
式中，代表从M(下)到1(上)视差图像的累加视差置信度。
其它步骤及参数与具体实施方式一至七之一相同。
具体实施方式十：本实施方式与具体实施方式一至九之一不同的是：所述图像I转换到HSI颜色空间，再计算每个通道c∈{H,S,I}的权值：
式中，HSI是一种彩色模型，图像用色度、饱和度和亮度来描述。
其它步骤及参数与具体实施方式一至八之一相同。
采用以下实施例验证本发明的有益效果：实施例一：本实施例一种改进的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤制备的：
两个垂直方向上的视差累加操作与步骤(3)的操作类似，最后，经过以上步骤可以得到每个像素点都有最大总置信度的视差图像。根据图1a、图1b、图1c实例可见，采用相对梯度算法能够得到更加清晰的物体轮廓信息。本文提出的双目立体匹配代价算法的实验结果如图2a、2b、2c、2d、2e、2f、2g、2h、2i、2j、2k、2l、2m、2n、2o、2p、2q、2r、2s、2t、3a、3b所示。表1为各种算法的运行效率比较结果，测试时采用427x370像素和70个差分层读的Aloe图片作为测试对象，测试设备为2.0GHz因特尔双核笔记本电脑，其RAM大小为2GB，算法没有进行并行优化，编程语言为C语言，从实验结果可以看出本文提出的算法具有较高的精度和运行效率。图3a、图3b为不同光照和曝光组合条件下的错误率。可以清楚的看出，在强仿射变化时，本文算法的错误率远远低于RG算法，与ANCC算法错误率接近，但是存在较小的仿射变化时远优于ANCC算法；如表1：
表1
为了研究置信补偿对视差优化结果的影响，图4(a)假设一个单位置信量从p1传递到p，有补偿与无补偿的情况下，单位置信度均可无损到达p点。然而，在存在采样噪声或非理想局部图案的情况下(图4(b))，可以计算出在无补偿的情况下只有0.053置信量传播到p，低于像素p从p2接收到的0.099置信量，从而导致p从p2接收到一个错误的视差。在有补偿的情况下，则单位置信量可以无损失地传递到p。这是因为在有补偿的情况下，对于任何p′,q′∈(p1,p]，当|I(p′)-I(p2)|＞|I(p′)-I(p1)|时，相反，说明算法仍然可以保留物体的边缘。图4a、4b一维情况下置信度的传播例子。4a理想边缘；4b假设存在测量噪声或非理想图案情况下的边缘。其中数字代表从p1到p2的像素的亮度值。
图5a、5b、5c是使用与不使用置信补偿情况下的实验结果对比，可以看出，在使用置信补偿后，物体边缘错误的匹配像素变少了。表2和图6a、6b、6c、6d给出了各种算法的优化结果，可以看出在精度上，本专利的方法与方法[12]接近，优于方法[10]。同时，我们测试了几种算法的处理速度，测试仪器及编程语言通权利要求1，方法[12]需要10.7秒，方法[10]用了956ms，而本发明所采用的方法仅仅需要18.7ms。图6a、6b、6c为本发明视差优化方法与[10]和[12]中方法的实验结果对比。本发明提出的方法运用于道路交通图像上的结果如图7a、7b、7c、8a、8b、8c、9a、9b、9c、10a、10b、10c、所示。图7a、7b、7c将本发明的算法运用与交通图像上的实验结果,(a)为左视图，(b)为右视图，(c)为用本发明算法得到的视差图；
综上，本文提出的视差优化算法在提高精度的同时具有较低的计算复杂度。同时，本文提出的视差优化因对每一行/列独立运算，所以可以通过并行处理加快算法的运行速度，从而满足实时性的需求。表2
表2各种视差优化算法的精度比较结果，测试图像来自middlebury网站，本实验所选用的测试图像的曝光度指数为1，亮度指数为2。
表2

Claims (9)

1.一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于一种改进的光学仿射不变双目立体匹配代价与视差优化方法具体是按照以下步骤进行的：
步骤一、左右两个摄像头分别自动摄取两幅图像，左摄像头摄取的为左视图，右摄像头摄取的是右视图，假设输入图像的大小为m×n；以前行方向为参照，左侧设置左摄像头，右侧设置右摄像头；
步骤二、对步骤一中的左视图和右视图进行改进的Census变换；
步骤三、计算步骤一中的左视图和右视图的相对梯度；
步骤四、根据步骤二和步骤三的结果计算双目立体匹配代价；
步骤五、对立体匹配代价进行叠加；
步骤六、建立视差置信度；
步骤七、对图像的每一行，从1到N视差置信度传递；
步骤八、对图像的每一行，从N到1视差置信度传递；
步骤九、对图像的每一列，从1到M视差置信度传递；
步骤十、对图像的每一列，从M到1视差置信度传递；
步骤十一、得到优化后的视差图Df；
所述步骤二中对步骤一中的左视图和右视图进行改进的Census变换；具体过程为：
(1)设置光学模型：
其中，mb和ms是视角不相关和视角相关的贡献权值，e代表光照强度，b代表表面反射率，α代表漫射光；
(2)传统的Census变换定义为中心像素p与其邻域内的像素q∈N(p)的比较，然而改进的Census变换是基于相对梯度的：
其中，代表以p为中心的3×3区域内相对梯度RG(x,y)的平均值，N(p)代表像素p的一个邻域，q为q(x,y),p为p(x,y)；T(p,q)为Census变换，RG(q)为像素q的相对梯度，相对梯度运算公式为：
RG(x,y)＝G(x,y)/(1+Gmax(x,y))
其中，RG(x,y)是像素p(x,y)的相对梯度，Gmax(x,y)是以像素p(x,y)为中心的3×3区域内梯度G(x,y)的最大值；
Gmax(x,y)＝max(|G(x+u,y+v)|),-1≤u≤1,-1≤v≤1。
2.根据权利要求1所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤四中根据步骤二和步骤三的结果计算双目立体匹配代价；具体过程为：
(3)将(2)的结果T(p,q)串接形成位串其中代表串接操作，在执行(4)匹配代价计算之前，左和右视图各执行一次以上步骤的操作，然后执行(4)；
(4)最后Census变换代价CCT(p,d)通过左视图中像素p和右视图中像素p-d的位串的汉明距离给出；
其中，Cl和Cr分别代表经过步骤(1-3)变换后的左右图像，d代表某一个视差值；CCT(p,d)为Census变换代价；
(5)然后，结合步骤(1-4)，最终的双目立体匹配代价如下：
CRGCT(p,d)＝ρ(CCT(p,d)/LCT,λCT)+ρ(Crg(p,d),λrg)
其中，CRGCT(p,d)为相对梯度Census变换的代价，ρ为自定义的非线性函数，它的参数有两个为ρ(c,λ)，λCT为Census变换的参数，λrg为相对梯度的参数，LCT代表位串的长度(本发明中LCT＝9)，Crg是像素p和p-d的左视图RGl(p)和右视图RGr(p-d)相对梯度图像的绝对差值；
Crg(p,d)＝|RGl(p)-RGr(p-d)|。
3.根据权利要求2所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤五中对立体匹配代价进行叠加；具体过程为：
对立体匹配代价进行叠加，得到大小为m×n的初始视差图。
4.根据权利要求3所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤六中建立视差置信度；具体过程为：
采用置信度传播和置信补偿，将视差从可靠像素传递到不可靠像素，其中置信度定义为：
式中，Dr(p)为初始视差图，B(p)是像素置信度。
5.根据权利要求4所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤七中从1到N视差置信度传递；具体过程为：
初始化，如果Dr(p)不可信，同时将的值赋给将Df(q)的值赋给Df(P)；
否则，将B(p)的值赋给Dr(p)的值赋给Df(P)；
代表从1到N的累加视差置信度，Wp,q(I)是相邻像素p和q的权值，
其中，c∈{R,G,B}，δ为常量，用于校准相邻像素的相似度；Ic(p)为RGB图像I中像素p的c通道亮度值，Ic(q)为RGB图像I中像素q的c通道亮度值，
Df(q)为像素q的最终经过优化后的视差图，Df(P)为像素p的最终经过优化后的视差图；
为置信度补偿量，上标lr代表从1到N视差传递过程，下标p代表像素p的补偿量；
式中，Ic(p1)为RGB图像I中像素p1的c通道亮度值；Ic(p2)为RGB图像I中像素p2的c通道亮度值；Wp,q(I)是相邻像素p和q的权值，为置信补偿。
6.根据权利要求5所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤八中从N到1视差置信度传递；具体过程为：
初始化，对于所有的p∈{第i行}，i为正整数，将的值赋给
如果Df(p)＝Df(q)，将的值赋给将Df(q)的值赋给Df(q)；
否则，Df(P)≠Df(q)，如果则Df(P)＝Df(q)；
代表从N到1视差图像的累加视差置信度；Df(q)为最终经过优化后的视差图，Df(P)为像素p的最终经过优化后的视差图；
式中，Ic(p1)为RGB图像I中像素p1的c通道亮度值；Ic(p2)为RGB图像I中像素p2的c通道亮度值；Wp,q(I)是相邻像素p和q的权值，为置信补偿，Ic(p)为RGB图像I中像素p的c通道亮度值。
7.根据权利要求6所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤九中从1到M视差置信度传递；具体过程为：
当像素p的视差不可靠，且时，则
Df(p)＝Df(q)
否则：Df(p)＝Dr(p)
式中，代表从1到M视差图像的累加视差置信度；为置信补偿。
8.根据权利要求7所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述步骤十中从M到1视差置信度传递；具体过程为：
首先初始化每一行像素的置信度
如果Df(p)＝Df(q)则
Df(p)＝Df(q)
否则：如果则
Df(p)＝Df(q)
式中，代表从M到1视差图像的累加视差置信度。
9.根据权利要求8所述一种改进的光学仿射不变双目立体匹配代价与视差优化方法，其特征在于：所述图像I转换到HSI颜色空间，再计算每个通道c∈{H,S,I}的权值：
式中，HSI是一种彩色模型，图像用色度、饱和度和亮度来描述。
CN201511029317.9A 2015-12-30 2015-12-30 一种改进的光学仿射不变双目立体匹配代价与视差优化方法 Active CN105654493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201511029317.9A CN105654493B (zh) 2015-12-30 2015-12-30 一种改进的光学仿射不变双目立体匹配代价与视差优化方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201511029317.9A CN105654493B (zh) 2015-12-30 2015-12-30 一种改进的光学仿射不变双目立体匹配代价与视差优化方法

Publications (2)

Publication Number Publication Date
CN105654493A CN105654493A (zh) 2016-06-08
CN105654493B true CN105654493B (zh) 2018-11-02

Family

ID=56491258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201511029317.9A Active CN105654493B (zh) 2015-12-30 2015-12-30 一种改进的光学仿射不变双目立体匹配代价与视差优化方法

Country Status (1)

Country Link
CN (1) CN105654493B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106254850B (zh) * 2016-08-23 2019-06-04 深圳市捷视飞通科技股份有限公司 双视点立体视频的图像匹配方法及装置
CN107636679B (zh) * 2016-12-30 2021-05-25 达闼机器人有限公司 一种障碍物检测方法及装置
CN107341823B (zh) * 2017-06-06 2019-08-09 东北大学 一种基于特征融合的最小分支立体匹配方法
CN110310320B (zh) * 2019-07-09 2023-07-07 南京美基森信息技术有限公司 一种双目视觉匹配代价聚合优化方法
CN112629532B (zh) * 2019-10-08 2023-10-20 宏碁股份有限公司 提升准确率之室内定位方法及应用其之行动装置
CN111784756A (zh) * 2020-06-01 2020-10-16 安徽奇点智能新能源汽车有限公司 视差置信度的估计方法、装置、电子设备及介质
CN113395504B (zh) * 2021-03-31 2023-04-04 北京迈格威科技有限公司 视差图优化方法、装置、电子设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999913A (zh) * 2012-11-29 2013-03-27 清华大学深圳研究生院 一种基于可信点传播的局部立体匹配方法
CN104574391A (zh) * 2014-12-29 2015-04-29 西安交通大学 一种基于自适应特征窗口的立体视觉匹配方法
CN104867135A (zh) * 2015-05-04 2015-08-26 中国科学院上海微系统与信息技术研究所 一种基于指导图像引导的高精度立体匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102999913A (zh) * 2012-11-29 2013-03-27 清华大学深圳研究生院 一种基于可信点传播的局部立体匹配方法
CN104574391A (zh) * 2014-12-29 2015-04-29 西安交通大学 一种基于自适应特征窗口的立体视觉匹配方法
CN104867135A (zh) * 2015-05-04 2015-08-26 中国科学院上海微系统与信息技术研究所 一种基于指导图像引导的高精度立体匹配方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Radiometric Invariant Stereo Matching Basedon Relative Gradients;Zhou X等;《IEEE International Conferenceon Imageprocessing》;20130221(第2012年第19期);第2990页第3小节 *

Also Published As

Publication number Publication date
CN105654493A (zh) 2016-06-08

Similar Documents

Publication Publication Date Title
CN105654493B (zh) 一种改进的光学仿射不变双目立体匹配代价与视差优化方法
US10198623B2 (en) Three-dimensional facial recognition method and system
US11562498B2 (en) Systems and methods for hybrid depth regularization
CN102006425B (zh) 一种基于多摄像机的视频实时拼接方法
CN110378838B (zh) 变视角图像生成方法，装置，存储介质及电子设备
CN103337094B (zh) 一种应用双目摄像机实现运动三维重建的方法
US20180231871A1 (en) Depth estimation method for monocular image based on multi-scale CNN and continuous CRF
CN104850850B (zh) 一种结合形状和颜色的双目立体视觉图像特征提取方法
CN104867135B (zh) 一种基于指导图像引导的高精度立体匹配方法
CN110766024B (zh) 基于深度学习的视觉里程计特征点提取方法及视觉里程计
TWI739151B (zh) 圖像生成網路的訓練及影像處理方法和裝置、電子設備
US10521919B2 (en) Information processing device and information processing method for applying an optimization model
CN103250184A (zh) 基于全局运动的深度估计
CN103700099A (zh) 一种旋转和尺度不变的宽基线立体匹配方法
JP2009139995A (ja) ステレオ画像対における画素のリアルタイムマッチングのための装置及びプログラム
US20200349391A1 (en) Method for training image generation network, electronic device, and storage medium
CN103325120A (zh) 一种快速自适应支持权值双目视觉立体匹配方法
CN104424640A (zh) 对图像进行虚化处理的方法和装置
Liu et al. High quality depth map estimation of object surface from light-field images
CN103714544B (zh) 一种基于sift特征点匹配的优化方法
Arampatzakis et al. Monocular Depth Estimation: A Thorough Review
Dinh et al. Robust matching cost function for stereo correspondence using matching by tone mapping and adaptive orthogonal integral image
Li et al. Graph-based saliency fusion with superpixel-level belief propagation for 3D fixation prediction
CN102708570A (zh) 获取深度图的方法及装置
CN115410014A (zh) 一种鱼眼图像的自监督特征点匹配方法及其存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant