CN104200453A - 基于图像分割和可信度的视差图像校正方法 - Google Patents

基于图像分割和可信度的视差图像校正方法 Download PDF

Info

Publication number
CN104200453A
CN104200453A CN201410468302.1A CN201410468302A CN104200453A CN 104200453 A CN104200453 A CN 104200453A CN 201410468302 A CN201410468302 A CN 201410468302A CN 104200453 A CN104200453 A CN 104200453A
Authority
CN
China
Prior art keywords
image
point
value
parallax
initial parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410468302.1A
Other languages
English (en)
Other versions
CN104200453B (zh
Inventor
郑喆坤
焦李成
雷昊臻
马文萍
马晶晶
侯彪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201410468302.1A priority Critical patent/CN104200453B/zh
Publication of CN104200453A publication Critical patent/CN104200453A/zh
Application granted granted Critical
Publication of CN104200453B publication Critical patent/CN104200453B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开一种基于图像分割和可信度的视差图像校正方法,主要解决现有视差图像校正后得到的视差图像精度不高的问题。其实现步骤为:(1)输入左、右视点图像;(2)利用均值漂移进行图像分割;(3)采用自适应权值立体匹配方法,得到初始视差图像;(4)利用生成的初始视差图像及其匹配代价,检测初始视差图像可信度;(5)基于初始视差图像及可信度,进行视差校准。本发明解决了遮挡效应所导致的错误视差值,提高了视差校正的精度,得到了边界信息保护完整,结构自然的高精确度视差图像。

Description

基于图像分割和可信度的视差图像校正方法
技术领域
本发明属于图像处理技术领域,更进一步涉及视频处理技术领域中的一种基于图像分割和可信度的视差图像校正方法。本发明能够有效的解决图像之间遮挡效应所引起的错误匹配,提高估计生成的视差图像精度,用于3DTV和深度图像绘制相关领域。
背景技术
在信息化数字时代,普通2D视频已经在某些方面不能满足人类日常生活和工作的需要,3D视频技术已成为目前科技发展的重要领域。其中,2D转3D技术可以将传统的平面视频转换为立体视频,该方法成本低且适用性强,但由于视频本身深度信息有限,得出的立体视频效果并不能满足实际需要。
目前,获取深度信息的方法很多,其中利用立体匹配生成视差图像是目前最具发展潜力的研究课题之一。立体匹配是基于不同角度下拍摄同一场景得到的两张图片,寻找其对应点,并根据对应点之间存在的内在关系来得到图像视差值。图像视差值可以提供空间线索用于精确产生不同视点、不同物体的深度信息。然而,由于不同视点图像之间存在的遮挡效应,导致立体匹配过程中产生错误的图像视差值,影响了最终获得的视差图像的精度,难以提供高精度的深度信息。因此,如何解决视差图像中遮挡效应所产生的不利影响,提高获得视差值的精度成为一项重要的研究课题。
西南交通大学拥有的专利技术“一种快速自适应支持权值双目视觉立体匹配方法”(申请号:201310268903.3,授权公布号:103325120A)中公开了一种快速自适应支持权值双目视觉立体匹配方法。该方法的具体步骤是,第一,读取已有待匹配双目图像对;第一,计算匹配代价;第一,加权聚合匹配代价;第二,计算初始视差;第三,对初始视差进行校正,得到最终视差矩阵;第四,生成视差图。虽然该立体匹配方法通过对初始视差进行校正成功的改善了立体匹配的效果,提高了视差的精度,但是,该校正方法仍然存在的不足之处是,该方法在对初始视差进行校正时,没有考虑错误视差值对于校正的不利影响,仅考虑图像的颜色差异性和空间距离因素,导致最终校正结果精度不高。
Wei Wang,Caiming Zhang,Xia Hu and Weitao Li在其发表的论文“Occlusion-aided Weights for Local Stereo Matching”(“InternationalJournal of Pattern Recognition and Artificial Intelligence”No.3 Vol.262012)中提出了一种局部立体匹配校正方法。该方法首先利用Rank变化估计初始视差值,其次采用左右一致性检测来检测错误的视差值,最后基于图像颜色,空间距离和检测的错误视差值来进行视差校正。该校正方法存在的不足之处是,该方法采用的左右一致性检测不能完全的反应出视差图像中错误视差的情况,影响最终校正后获得的视差图像精度。
发明内容
本发明的目的在于克服上述现有技术的不足,在传统的立体匹配方法的基础上提出一种基于图像分割和可信度的视差图像校正方法,成功解决了由于遮挡效应所引起的错误匹配而导致获得的视差图像精度不高的问题。该方法既保留了传统立体匹配方法计算复杂度低,鲁棒性强的特点,同时提高了视差图像的精度,获得具有清晰边缘、内部平滑,高精度的视差图像。
本发明实现上述目的的思路是:首先,输入左、右视点图像,分别进行均值漂移,得到左、右视点图像的分割图像。其次,采用自适应权值立体匹配方法,对左、右视点图像估计初始视差值,得到初始视差图像。然后,利用初始视差图像和匹配代价,检测初始视差图像中初始视差值的可信度。最后,利用获得的初始视差图像的可信度对初始视差图像进行校正来获取最终视差图像。
本发明的具体步骤如下:
(1)输入图像:
输入立体匹配测试图像库中的左、右视点图像;
(2)图像分割:
对输入的左、右视点图像,分别进行均值漂移,得到左、右视点图像的分割图像;
(3)估计初始视差:
以左视点图像为参考图像,以右视点图像为匹配图像,采用自适应权值立体匹配方法,得到初始视差图像;
(4)检测可信度:
(4a)以右视点图像为参考图像,以左视点图像为匹配图像,采用自适应权值立体匹配方法,得到比较视差图像;
(4b)按照下式,对初始视差图像进行检测,得到初始视差图像的检测数值:
M ( x , y ) = E ( x , y ) D ( x , y - d ) ≠ T ( x , y ) 0 D ( x , y - d ) = T ( x , y )
其中,M(x,y)表示初始视差图像中(x,y)坐标位置所对应的初始视差图像检测数值,E(x,y)表示初始视差图像中(x,y)坐标位置所对应的最小匹配代价,d表示初始视差图像中(x,y)坐标位置所对应的视差值,D(x,y-d)表示初始视差图像中(x,y-d)坐标位置所对应的视差值,T(x,y)表示比较视差图像中(x,y)坐标位置所对应的视差值;
(4c)将初始视差图像检测数值中所有非0的数值相加,得到检测之和,用检测之和除以初始视差图像检测数值中非0数值的总个数,得到初始视差图像检测阀值;
(4d)按照下式,对初始视差图像进行检测,得到初始视差图像中坐标点的可信度数值:
r ( x , y ) = 0 E ( x , y ) &GreaterEqual; u 1 - ( E ( x , y ) - v 2 &CenterDot; u - v ) E ( x , y ) < u
其中,r(x,y)表示初始视差图像中(x,y)坐标位置所对应的可信度数值,E(x,y)表示初始视差图像中(x,y)坐标位置所对应的最小匹配代价,u表示初始视差图像检测阀值,v表示初始视差图像中所有点的最小匹配代价中最小的百分之十的平均值;
(5)校正视差:
(5a)在初始视差图像中任选一个校正点,以所选定的校正点为中心设定一个41×41像素的校正窗口;
(5b)在左、右视点图像视差值的范围[dmin,dmax]内,从小到大依次选取左、右视点图像的视差值,其中,dmin表示左、右视点图像最小视差值,dmax表示左、右视点图像最大视差值;
(5c)按照下式,对初始视差图像的校正窗口中的点进行检测,得到初始视差图像的校正窗口中坐标点的校正检测数值;
C ( x , y ) = 1 D ( x , y ) = d 0 D ( x , y ) &NotEqual; d
其中,C(x,y)表示初始视差图像的校正窗口中(x,y)坐标位置所对应的校正检测数值,D(x,y)表示初始视差图像的校正窗口中(x,y)坐标位置所对应的视差值,d表示选取的左、右视点图像的视差值;
(5d)按照下式,计算初始视差图像的校正窗口内各个点相对于初始视差图像中选定的校正点的支持权值;
w ( p , q ) = exp ( - ( &Delta;c ( p , q ) 10 + &Delta;g ( p , q ) 10.5 ) )
其中,w(p,q)表示初始视差图像中校正窗口内任意一点q相对于初始视差图像中选定的校正点p的支持权值,Δc(p,q)表示初始视差图像中校正窗口内任意一点的灰度值减去初始视差图像中选定的校正点灰度值的差值,Δg(p,q)表示初始视差图像中校正窗口内任意一点与初始视差图像中选定的校正点之间的欧式距离,exp表示以自然常数e为底的指数操作;
(5e)用初始视差图像的校正窗口内每个点的支持权值乘以与该点对应的校正检测数值,得到每个点的支持系数,将每个点的支持系数乘以与该点对应的可信度,得到每个点的校正系数;
(5f)将初始视差图像的校正窗口内所有点的校正系数相加,得到初始视差图像中选定校正点当前选取的左、右视点图像视差值的总校正系数;
(5g)判断是否获得左、右视点图像视差值取值范围内所有视差值的总校正系数,若是,执行步骤(5h),否则,执行步骤(5b);
(5h)比较左、右视点图像视差值取值范围内所有视差值的总校正系数大小,选取总校正系数最大的视差值作为初始视差图像中选定的校正点的最终校正视差值;
(5i)判断是否获得初始视差图像中每个点的最终校正视差值,若是,执行步骤(6),否则,执行步骤(5a);
(6)输出结果。
本发明与现有技术相比具有以下优点:
第一,本发明采用检测可信度的方法来定量分析初始视差图像中视差信息的可信度,克服了现有左右一致性检测技术在检测错误的视差值时,不能完全的反应出视差图像中错误视差的不足,使得本发明能够更加精确、全面的反应视差图像中的错误视差,提高了最终获得视差图像的精度。
第二,本发明采用校正视差的方法来解决立体匹配过程中由于遮挡效应引起的错误误差,在校正过程中增加初始视差的可信度,克服了现有校正技术在对初始视差进行校正时,没有考虑错误视差对于校正的不利影响,使得本发明能够更精确的进行视差校正,提高了最终获得视差的精度。
附图说明
图1为本发明的流程图;
图2为本发明仿真实验中使用的两组测试图像Tsukuba和Venus;
图3为本发明仿真实验中使用的两组测试图像Cones和Teddy;
图4为利用本发明方法得到的测试图像的视差图像;
图5为利用现有技术得到的测试图像的视差图像。
具体实施方式
下面结合附图对本发明做进一步的详细描述。
参照附图1,本发明的具体步骤如下:
步骤1.输入立体匹配测试图像库中的左、右视点图像。
步骤2.图像分割。
对输入的左、右视点图像,分别进行均值漂移,得到左、右视点图像的分割图像,其中,均值漂移的具体步骤如下:
第一步,将像素的2维坐标和红、绿、蓝三个通道的颜色信息,组成一个5维的空间坐标。
第二步,在左、右视点图像中,任意选定一个目标点。
第三步,以所选定的目标点为球心,以长度为左、右视点图像的15个像素的搜索距离为半径构建球体,将球体内每一个点到球心的矢量之和,作为球心的漂移向量。
第四步,沿漂移向量移动球心,得到新的球心,采用第三步的方法,计算新球心的漂移向量。
第五步,重复第四步,直到漂移向量为0,将漂移向量为0时所对应的球心,作为选定目标点的收敛点。
第六步,判断左、右视点图像中每一个目标点是否已获得收敛点,若是,执行第七步,否则,执行第二步。
第七步,从左、右视点图像中选择收敛点相同的点,组成分割区域,构成左、右视点图像的分割图像。
步骤3.估计初始视差。
以左视点图像为参考图像,以右视点图像为匹配图像,采用自适应权值立体匹配方法,得到初始视差图像,其中,自适应权值立体匹配方法的具体步骤如下:
第一步,在参考图像中任选一个目标点,以所选定的目标点为中心,设定一个51×51像素的目标窗口。
第二步,按照下式,计算参考图像的目标窗口内每一个点相对于选定目标点的支持权值:
w ( p , q ) = 1 Seg ( p ) = Seg ( q ) exp ( - | I ( p ) - I ( q ) | r ) Seg ( p ) &NotEqual; Seg ( q )
其中,w(p,q)表示参考图像的目标窗口内任意一点q相对于参考图像中选定的目标点p的支持权值,Seg(p)和Seg(q)分别表示参考图像中选定的目标点p和参考图像的目标窗口内任意一点q的分割信息,I(p)、I(q)分别表示参考图像中选定的目标点p和参考图像的目标窗口内任意一点q的像素灰度值,exp表示以自然常数e为底的指数操作,r表示常数,r=22。
第三步,在参考图像的视差值范围[dmin,dmax]内,从小到大依次选取参考图像的视差值,其中,dmin表示参考图像最小视差值,dmax表示参考图像最大视差值。
第四步,保持参考图像目标窗口内每一个点的纵坐标数值不变,用横坐标数值减去所选取的参考图像的视差值,得到新的横坐标数值,以原有纵坐标数值和新的横坐标数值构成匹配图像中对应于参考图像目标窗口内每一个点的匹配点的坐标数值。
第五步,用参考图像的目标窗口中每一个点的灰度值减去匹配图像中对应匹配点的灰度值,得到参考图像的目标窗口中每一个点与匹配图像中对应匹配点之间的灰度差值。
第六步,将参考图像的目标窗口内所有点的支持权值相加,得到综合权值。
第七步,用参考图像的目标窗口内每一个点的支持权值乘以该点与匹配图像中对应匹配点之间的灰度差值,得到参考图像的目标窗口内每一个点的匹配代价,对参考图像的目标窗口内所有点的匹配代价求和,得到总匹配代价,用总匹配代价除以综合权值,得到参考图像中选定的目标点相对于选定的视差值的最终匹配代价。
第八步,判断是否获得参考图像视差取值范围内所有视差值的最终匹配代价,若是,执行第九步,否则,执行第三步。
第九步,比较参考图像视差取值范围内所有视差值的最终匹配代价大小,选取最终匹配代价最小的视差值作为参考图像中选定目标点的初始视差值。
第十步,判断是否获得参考图像中每个点的初始视差值,若是,结束操作,否则,执行第一步。
步骤4.检测可信度:
以右视点图像为参考图像,以左视点图像为匹配图像,采用自适应权值立体匹配方法,得到比较视差图像。
按照下式,对初始视差图像进行检测,得到初始视差图像的检测数值:
M ( x , y ) = E ( x , y ) D ( x , y - d ) &NotEqual; T ( x , y ) 0 D ( x , y - d ) = T ( x , y )
其中,M(x,y)表示初始视差图像中(x,y)坐标位置所对应的初始视差图像检测数值,E(x,y)表示初始视差图像中(x,y)坐标位置所对应的最小匹配代价,d表示初始视差图像中(x,y)坐标位置所对应的视差值,D(x,y-d)表示初始视差图像中(x,y-d)坐标位置所对应的视差值,T(x,y)表示比较视差图像中(x,y)坐标位置所对应的视差值。
将初始视差图像检测数值中所有非0的数值相加,得到检测之和,用检测之和除以初始视差图像检测数值中非0数值的总个数,得到初始视差图像检测阀值。
按照下式,对初始视差图像进行检测,得到初始视差图像中坐标点的可信度数值:
r ( x , y ) = 0 E ( x , y ) &GreaterEqual; u 1 - ( E ( x , y ) - v 2 &CenterDot; u - v ) E ( x , y ) < u
其中,r(x,y)表示初始视差图像中(x,y)坐标位置所对应的可信度数值,E(x,y)表示初始视差图像中(x,y)坐标位置所对应的最小匹配代价,u表示初始视差图像检测阀值,v表示初始视差图像中所有点的最小匹配代价中最小的百分之十的平均值。
步骤5.校正视差:
(5a)在初始视差图像中任选一个校正点,以所选定的校正点为中心设定一个41×41像素的校正窗口。
(5b)在左、右视点图像视差值的范围[dmin,dmax]内,从小到大依次选取左、右视点图像的视差值,其中,dmin表示左、右视点图像最小视差值,dmax表示左、右视点图像最大视差值。
(5c)按照下式,对初始视差图像的校正窗口中的点进行检测,得到初始视差图像的校正窗口中坐标点的校正检测数值:
C ( x , y ) = 1 D ( x , y ) = d 0 D ( x , y ) &NotEqual; d
其中,C(x,y)表示初始视差图像的校正窗口中(x,y)坐标位置所对应的校正检测数值,D(x,y)表示初始视差图像的校正窗口中(x,y)坐标位置所对应的视差值,d表示选取的左、右视点图像的视差值。
(5d)按照下式,计算初始视差图像的校正窗口内各个点相对于初始视差图像中选定的校正点的支持权值:
w ( p , q ) = exp ( - ( &Delta;c ( p , q ) 10 + &Delta;g ( p , q ) 10.5 ) )
其中,w(p,q)表示初始视差图像中校正窗口内任意一点q相对于初始视差图像中选定的校正点p的支持权值,Δc(p,q)表示初始视差图像中校正窗口内任意一点的灰度值减去初始视差图像中选定的校正点灰度值的差值,Δg(p,q)表示初始视差图像中校正窗口内任意一点与初始视差图像中选定的校正点之间的欧式距离,exp表示以自然常数e为底的指数操作。
(5e)用初始视差图像的校正窗口内每个点的支持权值乘以与该点对应的校正检测数值,得到每个点的支持系数,将每个点的支持系数乘以与该点对应的可信度,得到每个点的校正系数。
(5f)将初始视差图像的校正窗口内所有点的校正系数相加,得到初始视差图像中选定校正点当前选取的左、右视点图像视差值的总校正系数。
(5g)判断是否获得左、右视点图像视差值取值范围内所有视差值的总校正系数,若是,执行步骤(5h),否则,执行步骤(5b)。
(5h)比较左、右视点图像视差值取值范围内所有视差值的总校正系数大小,选取总校正系数最大的视差值作为初始视差图像中选定的校正点的最终校正视差值。
(5i)判断是否获得初始视差图像中每个点的最终校正视差值,若是,执行步骤6,否则,执行步骤(5a)。
步骤6.输出结果。
下面通过仿真实验对本发明的效果做进一步的描述。
1、仿真实验条件:
本发明的仿真实验是在主频为2.50GHZ的Intel(R)CoreTMi5-3210M CPU、内存4G的硬件环境和WINDOWS 7操作系统、MATLAB R2011a的软件环境下进行的。
2、仿真实验内容及结果分析:
本发明的仿真实验选择的测试图像,为四组从Middlebury dataset数据库中选取的左、右视点测试图像,如图2、图3所示,其中:
图2(a)、图2(b)分别为从Middlebury dataset数据库中选取的左、右视点测试图像Tsukuba。
图2(c)、图2(d)分别为从Middlebury dataset数据库中选取的左、右视点测试图像Venus。
图3(a)、图3(b)分别为从Middlebury dataset数据库中选取的左、右视点测试图像Cones。
图3(c)、图3(d)分别为从Middlebury dataset数据库中选取的左、右视点测试图像Teddy。
下面结合本发明的仿真实验1和仿真实验2,分别利用本发明方法与现有的Tombari and Mattoccia’s Method技术,生成视差图像并比较生成视差图像的精度,来说明本发明方法成功获得了高精度视差图像。
Tombari and Mattoccia’s Method参见文献:F.Tombari,S.Mattoccia,andL.Di Stefano.“Segmentation-based adaptive support for accurate stereocorrespondence”“PSIVT Vol48722007”。
仿真1,利用本发明方法对从Middlebury dataset数据库中选取的四组左、右视点测试图像进行仿真,得到的视差图像如图4所示,其中:
图4(a)为使用本发明方法对测试图像Tsukuba生成的视差图像,
图4(b)为使用本发明方法对测试图像Venus生成的视差图像,
图4(c)为使用本发明方法对测试图像Cones生成的视差图像,
图4(d)为使用本发明方法对测试图像Teddy生成的视差图像。
通过利用本发明方法对从Middlebury dataset数据库中选取的四组左、右视点测试图像进行仿真,得到图4(a)、图4(b)、图4(c)和图4(d)四幅视差图像,在生成的视差图像中,每个像素点的像素值代表该像素点的视差值。
在利用本发明方法生成的四幅视差图像中,均获得了高精度的视差信息,尤其在不同物体之间的遮挡区域中,解决了由遮挡效应所引起的错误视差,提高了获得的视差图像的精度并完好的保存了物体的边缘信息。
仿真2,利用现有的Tombari and Mattoccia’s Method技术对从Middleburydataset数据库中选取的四组测试图像进行仿真,得到的视差图像如图5所示,其中:
图5(a)为使用现有的Tombari and Mattoccia’s Method技术对测试图像Tsukuba生成的视差图像,
图5(b)为使用现有的Tombari and Mattoccia’s Method技术对测试图像Venus生成的视差图像,
图5(c)为使用现有的Tombari and Mattoccia’s Method技术对测试图像Cones生成的视差图像,
图5(d)为使用现有的Tombari and Mattoccia’s Method技术对测试图像Teddy生成的视差图像。
通过对本发明方法所得到的视差图像(图4)与现有的Tombari and Mattoccia’sMethod技术所得到的视差图像(图5)进行对比,本发明方法得到的视差图像边缘更清晰,视差精度更高,效果更突出,尤其是能有效的处理由于遮挡效应所引起的错误视差信息;而Tombari and Mattoccia’s Method技术得到的视差图像边缘不够清晰,前景物体与后景物体之间存在大量由于遮挡效应所导致的错误视差值,影响最终获得的视差精度及其后续的应用。
将本发明方法与现有的Tombari and Mattoccia’s Method技术所得到的视差图像分别输入Middlebury dataset数据库,得到本发明方法与现有的Tombari andMattoccia’s Method技术所得到的视差图像在Middlebury dataset数据库上的排名、三个不同测试区域(遮挡区域nocc、整幅图像all和不连续区域disc)内的错误视差率和平均错误率,如下表所示:
由上表可见,利用本发明方法与T&M’s method技术(Tombari and Mattoccia’sMethod)所得到的四组测试图像(Tsukuba、Venus、Teddy和Cones)的视差图像在Middlebury dataset数据库上精确度的排名、四组测试图像在三个不同测试区域(遮挡区域nocc、整幅图像all和不连续区域disc)内的错误视差率和平均错误率,单位为%。
本发明方法获得的视差图像的精度在Middlebury dataset数据库中排名29,高于T&M’s method技术的排名77,在三个不同测试区域(遮挡区域nocc、整幅图像all和不连续区域disc)内,本发明方法的错误视差率更小,低于T&M’s method技术的错误视差率,并以4.03%的平均错误率,优于现有的Tombari and Mattoccia’sMethod技术的6.59%平均错误率。

Claims (3)

1.一种基于图像分割和可信度的视差图像校正方法,包括如下步骤:
(1)输入图像:
输入立体匹配测试图像库中的左、右视点图像;
(2)图像分割:
对输入的左、右视点图像,分别进行均值漂移,得到左、右视点图像的分割图像;
(3)估计初始视差:
以左视点图像为参考图像,以右视点图像为匹配图像,采用自适应权值立体匹配方法,得到初始视差图像;
(4)检测可信度:
(4a)以右视点图像为参考图像,以左视点图像为匹配图像,采用自适应权值立体匹配方法,得到比较视差图像;
(4b)按照下式,对初始视差图像进行检测,得到初始视差图像的检测数值:
M ( x , y ) = E ( x , y ) D ( x , y - d ) &NotEqual; T ( x , y ) 0 D ( x , y - d ) = T ( x , y )
其中,M(x,y)表示初始视差图像中(x,y)坐标位置所对应的初始视差图像检测数值,E(x,y)表示初始视差图像中(x,y)坐标位置所对应的最小匹配代价,d表示初始视差图像中(x,y)坐标位置所对应的视差值,D(x,y-d)表示初始视差图像中(x,y-d)坐标位置所对应的视差值,T(x,y)表示比较视差图像中(x,y)坐标位置所对应的视差值;
(4c)将初始视差图像检测数值中所有非0的数值相加,得到检测之和,用检测之和除以初始视差图像检测数值中非0数值的总个数,得到初始视差图像检测阀值;
(4d)按照下式,对初始视差图像进行检测,得到初始视差图像中坐标点的可信度数值:
r ( x , y ) = 0 E ( x , y ) &GreaterEqual; u 1 - ( E ( x , y ) - v 2 &CenterDot; u - v ) E ( x , y ) < u
其中,r(x,y)表示初始视差图像中(x,y)坐标位置所对应的可信度数值,E(x,y)表示初始视差图像中(x,y)坐标位置所对应的最小匹配代价,u表示初始视差图像检测阀值,v表示初始视差图像中所有点的最小匹配代价中最小的百分之十的平均值;
(5)校正视差:
(5a)在初始视差图像中任选一个校正点,以所选定的校正点为中心设定一个41×41像素的校正窗口;
(5b)在左、右视点图像视差值的范围[dmin,dmax]内,从小到大依次选取左、右视点图像的视差值,其中,dmin表示左、右视点图像最小视差值,dmax表示左、右视点图像最大视差值;
(5c)按照下式,对初始视差图像的校正窗口中的点进行检测,得到初始视差图像的校正窗口中坐标点的校正检测数值;
C ( x , y ) = 1 D ( x , y ) = d 0 D ( x , y ) &NotEqual; d
其中,C(x,y)表示初始视差图像的校正窗口中(x,y)坐标位置所对应的校正检测数值,D(x,y)表示初始视差图像的校正窗口中(x,y)坐标位置所对应的视差值,d表示选取的左、右视点图像的视差值;
(5d)按照下式,计算初始视差图像的校正窗口内各个点相对于初始视差图像中选定的校正点的支持权值;
w ( p , q ) = exp ( - ( &Delta;c ( p , q ) 10 + &Delta;g ( p , q ) 10.5 ) )
其中,w(p,q)表示初始视差图像中校正窗口内任意一点q相对于初始视差图像中选定的校正点p的支持权值,Δc(p,q)表示初始视差图像中校正窗口内任意一点的灰度值减去初始视差图像中选定的校正点灰度值的差值,Δg(p,q)表示初始视差图像中校正窗口内任意一点与初始视差图像中选定的校正点之间的欧式距离,exp表示以自然常数e为底的指数操作;
(5e)用初始视差图像的校正窗口内每个点的支持权值乘以与该点对应的校正检测数值,得到每个点的支持系数,将每个点的支持系数乘以与该点对应的可信度,得到每个点的校正系数;
(5f)将初始视差图像的校正窗口内所有点的校正系数相加,得到初始视差图像中选定校正点当前选取的左、右视点图像视差值的总校正系数;
(5g)判断是否获得左、右视点图像视差值取值范围内所有视差值的总校正系数,若是,执行步骤(5h),否则,执行步骤(5b);
(5h)比较左、右视点图像视差值取值范围内所有视差值的总校正系数大小,选取总校正系数最大的视差值作为初始视差图像中选定的校正点的最终校正视差值;
(5i)判断是否获得初始视差图像中每个点的最终校正视差值,若是,执行步骤(6),否则,执行步骤(5a);
(6)输出结果。
2.根据权利要求1所述的基于图像分割和可信度的视差图像校正方法,其特征在于,步骤(2)中所述均值漂移的具体步骤如下:
第一步,将像素的2维坐标和红、绿、蓝三个通道的颜色信息,组成一个5维的空间坐标;
第二步,在左、右视点图像中,任意选定一个目标点;
第三步,以所选定的目标点为球心,以长度为左、右视点图像的15个像素的搜索距离为半径构建球体,将球体内每一个点到球心的矢量之和,作为球心的漂移向量;
第四步,沿漂移向量移动球心,得到新的球心,采用第三步的方法,计算新球心的漂移向量;
第五步,重复第四步,直到漂移向量为0,将漂移向量为0时所对应的球心,作为选定目标点的收敛点;
第六步,判断左、右视点图像中每一个目标点是否已获得收敛点,若是,执行第七步,否则,执行第二步;
第七步,从左、右视点图像中选择收敛点相同的点,组成分割区域,构成左、右视点图像的分割图像。
3.根据权利要求1所述的基于图像分割和可信度的视差图像校正方法,其特征在于,步骤(3)、步骤(4a)中所述自适应权值立体匹配方法的具体步骤如下:
第一步,在参考图像中任选一个目标点,以所选定的目标点为中心,设定一个51×51像素的目标窗口;
第二步,按照下式,计算参考图像的目标窗口内每一个点相对于选定目标点的支持权值:
w ( p , q ) = 1 Seg ( p ) = Seg ( q ) exp ( - | I ( p ) - I ( q ) | r ) Seg ( p ) &NotEqual; Seg ( q )
其中,w(p,q)表示参考图像的目标窗口内任意一点q相对于参考图像中选定的目标点p的支持权值,Seg(p)和Seg(q)分别表示参考图像中选定的目标点p和参考图像的目标窗口内任意一点q的分割信息,I(p)、I(q)分别表示参考图像中选定的目标点p和参考图像的目标窗口内任意一点q的像素灰度值,exp表示以自然常数e为底的指数操作,r表示常数,r=22;
第三步,在参考图像的视差值范围[dmin,dmax]内,从小到大依次选取参考图像的视差值,其中,dmin表示参考图像最小视差值,dmax表示参考图像最大视差值;
第四步,保持参考图像目标窗口内每一个点的纵坐标数值不变,用横坐标数值减去所选取的参考图像的视差值,得到新的横坐标数值,以原有纵坐标数值和新的横坐标数值构成匹配图像中对应于参考图像目标窗口内每一个点的匹配点的坐标数值;
第五步,用参考图像的目标窗口中每一个点的灰度值减去匹配图像中对应匹配点的灰度值,得到参考图像的目标窗口中每一个点与匹配图像中对应匹配点之间的灰度差值;
第六步,将参考图像的目标窗口内所有点的支持权值相加,得到综合权值;
第七步,用参考图像的目标窗口内每一个点的支持权值乘以该点与匹配图像中对应匹配点之间的灰度差值,得到参考图像的目标窗口内每一个点的匹配代价,对参考图像的目标窗口内所有点的匹配代价求和,得到总匹配代价,用总匹配代价除以综合权值,得到参考图像中选定的目标点相对于选定的视差值的最终匹配代价;
第八步,判断是否获得参考图像视差取值范围内所有视差值的最终匹配代价,若是,执行第九步,否则,执行第三步;
第九步,比较参考图像视差取值范围内所有视差值的最终匹配代价大小,选取最终匹配代价最小的视差值作为参考图像中选定目标点的初始视差值;
第十步,判断是否获得参考图像中每个点的初始视差值,若是,结束操作,否则,执行第一步。
CN201410468302.1A 2014-09-15 2014-09-15 基于图像分割和可信度的视差图像校正方法 Active CN104200453B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410468302.1A CN104200453B (zh) 2014-09-15 2014-09-15 基于图像分割和可信度的视差图像校正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410468302.1A CN104200453B (zh) 2014-09-15 2014-09-15 基于图像分割和可信度的视差图像校正方法

Publications (2)

Publication Number Publication Date
CN104200453A true CN104200453A (zh) 2014-12-10
CN104200453B CN104200453B (zh) 2017-01-25

Family

ID=52085739

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410468302.1A Active CN104200453B (zh) 2014-09-15 2014-09-15 基于图像分割和可信度的视差图像校正方法

Country Status (1)

Country Link
CN (1) CN104200453B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104665107A (zh) * 2015-03-10 2015-06-03 南京脚度健康科技有限公司 一种足底三维数据采集处理系统及数据采集处理方法
CN105007478A (zh) * 2015-07-08 2015-10-28 南京信息工程大学 一种基于mean shift立体匹配的视图合成方法
CN106023189A (zh) * 2016-05-17 2016-10-12 北京信息科技大学 一种基于匹配优化的光场数据深度重建方法
CN106846290A (zh) * 2017-01-19 2017-06-13 西安电子科技大学 基于抗纹理十字和权值十字的立体视差优化方法
CN107027019A (zh) * 2016-01-29 2017-08-08 北京三星通信技术研究有限公司 图像视差获取方法及装置
CN108235774A (zh) * 2018-01-10 2018-06-29 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN109934786A (zh) * 2019-03-14 2019-06-25 河北师范大学 一种图像的颜色校正方法、系统及终端设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122028A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Symmetric stereo model for handling occlusion
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102096919A (zh) * 2010-12-31 2011-06-15 北京航空航天大学 一种基于双向加权聚合的实时立体匹配方法
CN102819843A (zh) * 2012-08-08 2012-12-12 天津大学 基于边界控制置信传播的立体图像视差估计方法
CN103106651A (zh) * 2012-07-16 2013-05-15 清华大学深圳研究生院 一种基于三维hough变换的获取视差平面的方法
CN103325120A (zh) * 2013-06-30 2013-09-25 西南交通大学 一种快速自适应支持权值双目视觉立体匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070122028A1 (en) * 2005-11-30 2007-05-31 Microsoft Corporation Symmetric stereo model for handling occlusion
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102096919A (zh) * 2010-12-31 2011-06-15 北京航空航天大学 一种基于双向加权聚合的实时立体匹配方法
CN103106651A (zh) * 2012-07-16 2013-05-15 清华大学深圳研究生院 一种基于三维hough变换的获取视差平面的方法
CN102819843A (zh) * 2012-08-08 2012-12-12 天津大学 基于边界控制置信传播的立体图像视差估计方法
CN103325120A (zh) * 2013-06-30 2013-09-25 西南交通大学 一种快速自适应支持权值双目视觉立体匹配方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JIAN SUN ET AL: "Stereo Matching Using Belief Propagation", 《ECCV》 *
WEI WANG ET AL: "Occlusion-aided Weights for Local Stereo Matching", 《IEEE INTERNATIONAL CONFERENCE ON ADVANCED VIDEO AND SIGNAL BASED SURVEILLANCE》 *
YURI BOYKOV ET AL: "A Variable Window Approach to Early Vision", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS & MACHINE INTELLIGENCE》 *

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104665107A (zh) * 2015-03-10 2015-06-03 南京脚度健康科技有限公司 一种足底三维数据采集处理系统及数据采集处理方法
CN105007478A (zh) * 2015-07-08 2015-10-28 南京信息工程大学 一种基于mean shift立体匹配的视图合成方法
CN107027019A (zh) * 2016-01-29 2017-08-08 北京三星通信技术研究有限公司 图像视差获取方法及装置
CN107027019B (zh) * 2016-01-29 2019-11-08 北京三星通信技术研究有限公司 图像视差获取方法及装置
CN106023189B (zh) * 2016-05-17 2018-11-09 北京信息科技大学 一种基于匹配优化的光场数据深度重建方法
CN106023189A (zh) * 2016-05-17 2016-10-12 北京信息科技大学 一种基于匹配优化的光场数据深度重建方法
CN106846290A (zh) * 2017-01-19 2017-06-13 西安电子科技大学 基于抗纹理十字和权值十字的立体视差优化方法
CN106846290B (zh) * 2017-01-19 2019-10-11 西安电子科技大学 基于抗纹理十字和权值十字的立体视差优化方法
CN108235774A (zh) * 2018-01-10 2018-06-29 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108235774B (zh) * 2018-01-10 2020-07-14 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
US11379963B2 (en) 2018-01-10 2022-07-05 Cloudminds Robotics Co., Ltd. Information processing method and device, cloud-based processing device, and computer program product
CN109934786A (zh) * 2019-03-14 2019-06-25 河北师范大学 一种图像的颜色校正方法、系统及终端设备
CN109934786B (zh) * 2019-03-14 2023-03-17 河北师范大学 一种图像的颜色校正方法、系统及终端设备

Also Published As

Publication number Publication date
CN104200453B (zh) 2017-01-25

Similar Documents

Publication Publication Date Title
CN104200453A (zh) 基于图像分割和可信度的视差图像校正方法
CN105005755B (zh) 三维人脸识别方法和系统
CN103226821B (zh) 基于视差图像素分类校正优化的立体匹配方法
CN102184540B (zh) 基于尺度空间的亚像素级立体匹配方法
CN110688905B (zh) 一种基于关键帧的三维物体检测与跟踪方法
CN102892021B (zh) 一种合成虚拟视点图像的新方法
CN106600632B (zh) 一种改进匹配代价聚合的立体图像匹配方法
CN104867135A (zh) 一种基于指导图像引导的高精度立体匹配方法
CN101933335A (zh) 将二维图像数据转换为立体图像数据的方法和系统
CN103325120A (zh) 一种快速自适应支持权值双目视觉立体匹配方法
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN106384363B (zh) 一种快速自适应权重立体匹配方法
CN106408596B (zh) 基于边缘的局部立体匹配方法
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
CN103985128A (zh) 一种基于颜色内相关和自适应支撑权重的立体匹配方法
CN106530333A (zh) 基于捆绑约束的分级优化立体匹配方法
CN111402311A (zh) 一种基于知识蒸馏的轻量级立体视差估计方法
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN104079800A (zh) 一种视频监控中视频图像的抗抖动方法
CN103714549A (zh) 基于快速局部匹配的立体图像对象分割方法
CN104065946A (zh) 基于图像序列的空洞填充方法
CN104065954A (zh) 一种高清立体视频的视差范围快速检测方法
CN102750694B (zh) 基于局部最优置信传播算法的双目视频深度图求取方法
CN104778673B (zh) 一种改进的高斯混合模型深度图像增强方法
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant