CN108629809A - 一种精确高效的立体匹配方法 - Google Patents

一种精确高效的立体匹配方法 Download PDF

Info

Publication number
CN108629809A
CN108629809A CN201810388830.4A CN201810388830A CN108629809A CN 108629809 A CN108629809 A CN 108629809A CN 201810388830 A CN201810388830 A CN 201810388830A CN 108629809 A CN108629809 A CN 108629809A
Authority
CN
China
Prior art keywords
pixel
super
label
dimensional
dimensional label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810388830.4A
Other languages
English (en)
Other versions
CN108629809B (zh
Inventor
刘新国
李�杰
李妙鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN201810388830.4A priority Critical patent/CN108629809B/zh
Publication of CN108629809A publication Critical patent/CN108629809A/zh
Application granted granted Critical
Publication of CN108629809B publication Critical patent/CN108629809B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明提出了一种精确高效的立体匹配方法。本发明的核心创新点如下：首先，本发明提出在超像素层次上实施局部α扩展。通过建立多层超像素分割结构限制扩展范围，更好地利用超像素内部的局部性及超像素边界的非连续性。其次，在传统的Graph‐Cut算法的能量函数中，本发明引入了一个新的法向约束项惩罚局部区域的法向过大变化，从而更好地保证三维标签的法向平滑。另外，针对光滑弱纹理甚至无纹理区域，本发明提出了一个新颖的法向调整算法——基于深度优先的相似链表进行法向调整，实现好的标签在弱纹理区域的传播，有效解决了由于纹理信息缺失而导致的误匹配问题。

Description

一种精确高效的立体匹配方法
技术领域
给定两幅图像，立体匹配(Stereo Matching)计算图像中每个像素对应的视差值。本发明针对立体匹配中由于纹理信息缺失而导致的误匹配问题，提出了一个高效精确的法向调整方法，可处理光滑无纹理区域的误匹配问题。其次，本发明提出了基于超像素的局部α扩展技术，更好地利用超像素内部的局部性及超像素边界的非连续性。
背景技术
立体匹配技术是计算机视觉中的一个重要且困难的问题，其目标是从不同视点图像中找到每个像素匹配的对应点。立体匹配过程通常包括四个步骤：代价计算、代价聚合、视差计算和视差优化。立体匹配算法一般可分为局部方法和全局方法。局部的立体匹配方法假定一个窗口内的像素具有相同的视差值，视差值依赖于匹配窗口中的像素相似性且一般是整数，这种方法对噪音比较敏感，在光滑无纹理区域和不连续区域能难得到可靠的视差值。全局的立体匹配方法通过添加相邻像素的视差平滑将视差图的计算转化为一个全局优化问题。相对于局部立体算法，全局算法鲁棒性更强，精度更高。但是，全局优化的平滑项一般会使边缘处产生不可靠的结果。对于大区域的的光滑无纹理区域，局部立体匹配和全局立体匹配方法都难以获得精确的视差值。
发明内容
本发明的目的是针对现有技术的不足，提供一种精确高效的立体匹配方法。
本发明是通过以下技术方案实现的：一种精确高效的立体匹配方法，包括以下步骤：
(1)将两幅图像进行立体矫正，使得两幅图像的视差在同一水平线；
(2)对矫正后的两幅图像进行多层次超像素分割，然后以超像素为基本单元，采用深度优先搜索策略建立超像素相似链表。
(3)对矫正后的两幅图像中的所有像素，利用随机初始化方法，获得任意像素像素p匹配代价最小的三维标签作为初始三维标签fp；
(4)分别计算两张矫正之后的图像的能量函数：
其中φ(p，fp)为初始三维标签fp下的匹配代价；为视差平滑正则项，其代表相邻像素p,q之间的视差平滑量化值；ξ(fp，fq)为法向平滑约束正则项，其代表相邻像素p,q对应三维标签的法向平滑量化值；λ和γ是对应正则项的权重参数。Ω表示矫正之后的图像中的所有像素，N表示相邻像素集合；
其中np，nq表示相邻像素p，q对应三维标签的平面法向量。
(5)对所有像素的三维标签利用超像素α扩展算法进行标签扰动；然后根据能量函数，通过Graph‐cut算法优化三维标签集合，满足：
f(t+1)＝argminfE(f)
其中α代表扰动的候选标签，代表t次迭代时像素p对应的三维标签。f(t+1)表示t+1次迭代后得到的能量函数最小的标签集合。
(6)根据步骤5获得的最优三维标签集合，对步骤2获得的超像素相似链表进行优化。
根据矫正后的两幅图像中的每个像素的匹配代价，确定一个匹配代价，将像素分为好匹配和差匹配，其中，好匹配为像素的匹配代价小于等于该匹配阈值，差匹配为像素的匹配代价大于该阈值。
对于相似链表中的一个超像素i，计算其中包含的所有好匹配像素对应的三维标签的法向量的平均将其中包含的所有差匹配像素对应的三维标签的法向量更新为其中ω为设定的用于调整超像素平均法向与超像素链表平均法向比例的参数；L表示超像素i所在的超像素链表的长度。
对更新后的差匹配像素对应的法向量进行归一化处理，归一化为n′p＝(a′p，b′p，1)；然后调整c分量以保持视差值不变，调整方法如下：
图像坐标系中某一像素点p＝(u，v)，其视差值可用三维标签技术参数化为一个三维标签fp＝(ap，bp，cp)，对应的视差dp(fp)可以表示为
dp(fp)＝apu+bpv+cp.
其中，对于像素p对应三维标签中的三维平面fp，其法向量可表示为
np＝(ap，bp，1).
如果一个像素对应的三维平面标签对应的法向量被调整为n′p＝(a′p，b′p，1)，可通过改变平面标签c分量以保持视差不变，可表示为
c′p＝dp(fp)-a′p·u-b′p·v. (4)
其中f′p＝(a′p，b′p，c′p)表示像素p的最优三维标签。
(7)根据步骤6计算所有像素的最优三维标签，结合最优三维标签与像素对应的坐标转换成视差图，进行左右一致性检查后处理生成最终的视差图。
进一步地，所述步骤2中的超像素分割，采用SLIC分割方法。
进一步地，所述步骤3中的随机初始化方法采用三维标签技术。
进一步地，所述步骤4中采用的graph‐cut能量函数。
进一步地，所述步骤5中采用的超像素α扩展方法。
进一步地，所述步骤6中采用的三维标签法向调整方法。
本发明的有益效果在于：能够高效精确地求解光滑无纹理区域的视差，对较强光照以及立体矫正不完善的情况也能够很好的进行求解。
附图说明
图1：超像素分割图。采用三层的超像素SLIC分割，初始尺寸分别为：5×5、15×15和25×25。
图2：超像素局部α扩展示意图，从左至右分别为原始超像素分割图，超像素包围盒和超像素扩展区域图。
图3：整体视差求解算法示意图。依次为：超像素分割，局部立体匹配获得初始视差值解，局部α扩展算法迭代t1次，三维标签法向调整，局部α扩展迭代t2次，输出视差图。
图4：深度优先搜索得到的超像素相似链表示意图。
图5：本发明在Middlebury 3.0上的测试结果截图。本发明在立体匹配测试集Middlebury 3.0上的默认标准精度测试结果排名第一，Middlebury 3.0测试集评测网址：http://vision.middlebury.edu/stereo/eval3/。
表1：本发明在不同评价指标下的性能比较。本发明在多个准确度标准下均排名第一，其中还列出了其他准确度排名靠前的算法。
具体实施方式
一种精确高效的立体匹配方法，包括以下步骤：
(1)将两幅图像进行立体矫正，使得两幅图像的视差在图像中处于同一水平线；
(2)在足够小的区域内，领域像素对应的视差值应保持平滑。本发明对矫正后的两幅图像进行多层超像素分割，本发明使用Achanta,R.,Shaji,A.,Smith,K.,Lucchi,A.,Fua,P.,Su¨sstrunk,S.:Slicsuperpixelscompared to state‐of‐the‐art superpixelmethods.IEEE transactions on pattern analysis and machine intelligence 34(11)(2012)2274–2282中提出的SLIC分割技术实现不同粒度的分层分割。分割结果如图1所示，本发明采用了三层的超像素SLIC分割。在超像素分割之后，以超像素为基本单元，采用深度优先搜索策略建立超像素相似链表。所述超像素相似链表满足：相邻超像素之间的LAB颜色空间距离小于等于预先定义的LAB阈值63，链表长度小于最大长度阈值15。超像素相似链表连接图结果如图4所示，由图可知我们相似链表技术对于边缘分割效果较好。
(3)本发明使用Bleyer,M.,Rhemann,C.,&Rother,C.(2011,August).PatchMatchStereo-Stereo Matching with Slanted Support Windows.In Bmvc(Vol.11,pp.1-11)中提出的三维标签技术。对矫正后的两幅图像中的所有像素，利用随机初始化方法，获得其匹配代价最小的三维标签作为初始三维标签，本发明使用Li,L.,Yu,X.,Zhang,S.,Zhao,X.,Zhang,L.:3d cost aggregation with multiple minimum spanning trees for stereomatching.Applied optics 56(12)(2017)3411–3420中提出的随机初始化方法。
(4)分别计算两张矫正之后的图像的能量函数：
其中φ(p，fp)为像素p在对应三维标签fp下的匹配代价；为视差平滑正则项，其代表相邻像素p,q之间的视差平滑量化值；ξ(fp，fq)为法向平滑约束正则项，其代表相邻像素p,q对应三维标签的法向平滑量化值；λ和γ是对应正则项的权重参数。Ω表示矫正之后的图像中的所有像素，N表示相邻像素集合；
其中np，nq表示相邻像素p，q对应三维标签的平面法向量。本发明中的超像素扩展技术使用Taniai,Tatsunori,et al."Continuous 3D Label Stereo MatchingusingLocal Expansion Moves."IEEE Transactions on Pattern Analysis and MachineIntelligence(2017)中的α扩展方法。超像素α扩展图如图2所示。
(5)基于超像素的局部α扩展方法能解决基于均等网格方法对局部细节针对性不强的问题，但是对于光滑弱纹理区域，基于超像素分割的方法仍然不能很好地求解视差。因此，本发明对所有像素的三维标签利用超像素α扩展算法进行标签扰动；然后根据能量函数，通过Graph‐cut算法优化三维标签集合，满足：
f(t+1)＝arg minf.E(f)
其中α代表扰动的候选标签，代表t次迭代时像素p对应的三维标签。f(t+1)表示t+1次次迭代后得到的能量函数最小的标签集合。
(6)超像素α扩展对于光滑区域较大时不能很好的扩展传播求解。本发明根据步骤5获得的最优三维标签集合，对步骤2获得的超像素相似链表进行三维标签法向优化。
根据矫正后的两幅图像中的每个像素的匹配代价，将像素分为好匹配和差匹配，其中，好匹配为像素的匹配代价小于等于该匹配阈值，差匹配为像素的匹配代价大于该阈值。
对于相似链表中的一个超像素i，计算其中包含的所有好匹配像素对应的三维标签的法向量的平均值将其中包含的所有差匹配像素对应的三维标签的法向量更新为其中ω为设定的用于调整超像素平均法向与超像素链表平均法向比例的参数；L表示超像素i所在的超像素链表的长度
对更新后的差匹配像素对应的法向量进行归一化处理，归一化为n′p＝(a′p，b′p，1)；然后调整c分量以保持视差值不变，调整方法如下：
图像坐标系中某一像素点p＝(u，v)，其视差值可用三维标签技术参数化为一个三维标签fp＝(ap，bp，cp)，对应的视差dp(fp)可以表示为
dp(fp)＝apu+bpv+cp.
其中，对于像素p对应三维标签中的三维平面fp，其法向量可表示为
np＝(ap，bp，1).
如果一个像素对应的三维平面标签对应的法向量被调整为n′p＝(a′p，b′p，I)，可通过改变平面标签c分量以保持视差不变，可表示为
c′p＝dp(fp)-a′p·u-b′p·v.
其中f′p＝(a′p，b′p，c′p)表示像素p的最优三维标签。
(7)根据步骤6计算所有像素的最优三维标签，结合最优三维标签与像素对应的坐标转换成视差图，进行左右一致性检查后处理生成最终的视差图。视差结果为图3中算法流程结果图。根据图5和表1测试集中的精度比较可知本发明精度很高。
表1

Claims (6)

1.一种精确高效的立体匹配方法，其特征在于，包括以下步骤：
(1)将两幅图像进行立体矫正，使得两幅图像的视差在同一水平线；
(2)对矫正后的两幅图像进行多层次超像素分割，然后以超像素为基本单元，采用深度优先搜索策略建立超像素相似链表。
(3)对矫正后的两幅图像中的所有像素，利用随机初始化方法，获得任意像素像素p匹配代价最小的三维标签作为初始三维标签fp；
(4)分别计算两张矫正之后的图像的能量函数：
其中φ(p，fp)为初始三维标签fp下的匹配代价；为视差平滑正则项，其代表相邻像素p，q之间的视差平滑量化值；ξ(fp，fq)为法向平滑约束正则项，其代表相邻像素p，q对应三维标签的法向平滑量化值；λ和γ是对应正则项的权重参数。Ω表示矫正之后的图像中的所有像素，N表示相邻像素集合；
其中np，nq表示相邻像素p，q对应三维标签的平面法向量。
(5)对所有像素的三维标签利用超像素α扩展算法进行标签扰动；然后根据能量函数，通过Graph-cut算法优化三维标签集合，满足：
f(t+1)＝arg minfE(f)
其中α代表扰动的候选标签，代表t次迭代时像素p对应的三维标签。f(t+1)表示t+1次迭代后得到的能量函数最小的标签集合。
(6)根据步骤5获得的最优三维标签集合，对步骤2获得的超像素相似链表进行优化。
根据矫正后的两幅图像中的每个像素的匹配代价，确定一个匹配代价，将像素分为好匹配和差匹配，其中，好匹配为像素的匹配代价小于等于该匹配阈值，差匹配为像素的匹配代价大于该阈值。
对于相似链表中的一个超像素i，计算其中包含的所有好匹配像素对应的三维标签的法向量的平均将其中包含的所有差匹配像素对应的三维标签的法向量更新为其中ω为设定的用于调整超像素平均法向与超像素链表平均法向比例的参数；L表示超像素i所在的超像素链表的长度。
对更新后的差匹配像素对应的法向量进行归一化处理，归一化为n′p＝(a′p，b′p，1)；然后调整c分量以保持视差值不变，调整方法如下：
图像坐标系中某一像素点p＝(u，v)，其视差值可用三维标签技术参数化为一个三维标签fp＝(ap，bp，cp)，对应的视差dp(fp)可以表示为
dp(fp)＝apu+bpv+cp.
其中，对于像素p对应三维标签中的三维平面fp，其法向量可表示为
np＝(ap，bp，1).
如果一个像素对应的三维平面标签对应的法向量被调整为n′p＝(a′p，b′p，1)，可通过改变平面标签c分量以保持视差不变，可表示为
c′p＝dp(fp)-a′p·u-b′p·v. (2)
其中f′p＝(a′p，b′p，c′p)表示像素p的最优三维标签。
(7)根据步骤6计算所有像素的最优三维标签，结合最优三维标签与像素对应的坐标转换成视差图，进行左右一致性检查后处理生成最终的视差图。
2.根据权利要求1所述的方法，其特征在于，所述步骤2中的超像素分割，采用SLIC分割方法。
3.根据权利要求1所述的方法，其特征在于，所述步骤3中的随机初始化方法采用三维标签技术。
4.根据权利要求1所述的方法，其特征在于，所述步骤4中采用的graph‐cut能量函数。
5.根据权利要求1所述的方法，其特征在于，所述步骤5中采用的超像素α扩展方法。
6.根据权利要求1所述的方法，其特征在于，所述步骤6中采用的三维标签法向调整方法。
CN201810388830.4A 2018-04-26 2018-04-26 一种精确高效的立体匹配方法 Expired - Fee Related CN108629809B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810388830.4A CN108629809B (zh) 2018-04-26 2018-04-26 一种精确高效的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810388830.4A CN108629809B (zh) 2018-04-26 2018-04-26 一种精确高效的立体匹配方法

Publications (2)

Publication Number Publication Date
CN108629809A true CN108629809A (zh) 2018-10-09
CN108629809B CN108629809B (zh) 2020-08-28

Family

ID=63694591

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810388830.4A Expired - Fee Related CN108629809B (zh) 2018-04-26 2018-04-26 一种精确高效的立体匹配方法

Country Status (1)

Country Link
CN (1) CN108629809B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903379A (zh) * 2019-03-05 2019-06-18 电子科技大学 一种基于点云优化采样的三维重建方法
CN110211169A (zh) * 2019-06-06 2019-09-06 上海黑塞智能科技有限公司 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN111197976A (zh) * 2019-12-25 2020-05-26 山东唐口煤业有限公司 一种顾及弱纹理区域多阶段匹配传播的三维重建方法
CN112435267A (zh) * 2020-11-17 2021-03-02 哈尔滨工程大学 一种高分辨率城市卫星立体图像的视差图计算方法
CN112530008A (zh) * 2020-12-25 2021-03-19 中国科学院苏州纳米技术与纳米仿生研究所 一种条纹结构光的参数确定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020964A (zh) * 2012-11-29 2013-04-03 北京航空航天大学 一种基于自适应分水岭的图割的双目立体匹配方法
CN103996202A (zh) * 2014-06-11 2014-08-20 北京航空航天大学 一种基于混合匹配代价和自适应窗口的立体匹配方法
CN104318576A (zh) * 2014-11-05 2015-01-28 浙江工业大学 一种超像素级别的图像全局匹配方法
JP2017045283A (ja) * 2015-08-26 2017-03-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN106709948A (zh) * 2016-12-21 2017-05-24 浙江大学 一种基于超像素分割的快速双目立体匹配方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103020964A (zh) * 2012-11-29 2013-04-03 北京航空航天大学 一种基于自适应分水岭的图割的双目立体匹配方法
CN103996202A (zh) * 2014-06-11 2014-08-20 北京航空航天大学 一种基于混合匹配代价和自适应窗口的立体匹配方法
CN104318576A (zh) * 2014-11-05 2015-01-28 浙江工业大学 一种超像素级别的图像全局匹配方法
JP2017045283A (ja) * 2015-08-26 2017-03-02 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
CN106709948A (zh) * 2016-12-21 2017-05-24 浙江大学 一种基于超像素分割的快速双目立体匹配方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109903379A (zh) * 2019-03-05 2019-06-18 电子科技大学 一种基于点云优化采样的三维重建方法
CN110211169A (zh) * 2019-06-06 2019-09-06 上海黑塞智能科技有限公司 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN110211169B (zh) * 2019-06-06 2021-05-11 上海黑塞智能科技有限公司 基于多尺度超像素和相位相关的窄基线视差的重构方法
CN111197976A (zh) * 2019-12-25 2020-05-26 山东唐口煤业有限公司 一种顾及弱纹理区域多阶段匹配传播的三维重建方法
CN112435267A (zh) * 2020-11-17 2021-03-02 哈尔滨工程大学 一种高分辨率城市卫星立体图像的视差图计算方法
CN112530008A (zh) * 2020-12-25 2021-03-19 中国科学院苏州纳米技术与纳米仿生研究所 一种条纹结构光的参数确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN108629809B (zh) 2020-08-28

Similar Documents

Publication Publication Date Title
CN108629809A (zh) 一种精确高效的立体匹配方法
CN108648161B (zh) 非对称核卷积神经网络的双目视觉障碍物检测系统及方法
Concha et al. Using superpixels in monocular SLAM
Tombari et al. Segmentation-based adaptive support for accurate stereo correspondence
CN106709948A (zh) 一种基于超像素分割的快速双目立体匹配方法
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及系统
CN103310421B (zh) 针对高清图像对的快速立体匹配方法及视差图获取方法
CN103106651B (zh) 一种基于三维hough变换的获取视差平面的方法
CN104850847B (zh) 具有自动瘦脸功能的图像优化系统和方法
CN103996202A (zh) 一种基于混合匹配代价和自适应窗口的立体匹配方法
CN104966290B (zh) 一种基于sift描述子的自适应权重立体匹配方法
CN108596975A (zh) 一种针对弱纹理区域的立体匹配算法
CN106651897B (zh) 一种基于超像素分割的视差修正方法
CN104517317A (zh) 一种车载红外图像三维重建方法
CN109887008B (zh) 基于前后向平滑和o(1)复杂度视差立体匹配方法、装置和设备
CN104318576A (zh) 一种超像素级别的图像全局匹配方法
CN106408596A (zh) 基于边缘的局部立体匹配方法
CN110110694A (zh) 一种基于目标检测的视觉slam闭环检测方法
CN103714549A (zh) 基于快速局部匹配的立体图像对象分割方法
CN104992403A (zh) 一种基于视觉相似度度量的混合操作算子图像重定向方法
CN113989758A (zh) 一种用于自动驾驶的锚引导3d目标检测方法及装置
CN103593675A (zh) 一种基于对数极坐标变换的静脉匹配方法
Mordohai The self-aware matching measure for stereo
CN110942102B (zh) 一种概率松弛核线匹配方法及系统
CN107909078A (zh) 一种图间显著性检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20200828

CF01 Termination of patent right due to non-payment of annual fee