CN102999913B - 一种基于可信点传播的局部立体匹配方法 - Google Patents

一种基于可信点传播的局部立体匹配方法 Download PDF

Info

Publication number
CN102999913B
CN102999913B CN201210499529.3A CN201210499529A CN102999913B CN 102999913 B CN102999913 B CN 102999913B CN 201210499529 A CN201210499529 A CN 201210499529A CN 102999913 B CN102999913 B CN 102999913B
Authority
CN
China
Prior art keywords
point
credible
pixel
value
power flow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210499529.3A
Other languages
English (en)
Other versions
CN102999913A (zh
Inventor
王好谦
吴勉
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201210499529.3A priority Critical patent/CN102999913B/zh
Publication of CN102999913A publication Critical patent/CN102999913A/zh
Priority to HK13105432.0A priority patent/HK1178663A1/zh
Application granted granted Critical
Publication of CN102999913B publication Critical patent/CN102999913B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于可信点传播的局部立体匹配方法,其包括:a.利用AD-Census算法,在不同视差值假设下至少计算出各像素点的匹配代价的最小值和次小值,并结合图像的梯度信息获取DSCI图;b.根据DSCI获取图像的初始视差图;c.将像素点分为可信点、不可信点和遮挡点,其中可信点结合匹配代价的最小值和次小值确定;d.求取可信点的视差值,并根据可信点传播方法,利用可信点处理不可信点和遮挡点并获取视差值;e.输出视差图。本发明有效利用了初始视差图中的数据,使得可信点的确定更为合理、准确,进而可保证后续对不可信点和遮挡点的处理更为准确,最终保证该匹配方法匹配的准确性。<!--1-->

Description

一种基于可信点传播的局部立体匹配方法
技术领域
本发明涉及图像数据处理领域,具体涉及一种基于可信点传播的局部立体匹配方法。
背景技术
立体匹配技术,是指针对同一景物从不同视点拍摄的图片,找到它们像素点之间的对应关系。这一对应关系用视差图来表示,视差图包含了图像中像素点的深度信息。
当前,基于稠密视差图的双目立体匹配方法主要分为两大类,一类是局部立体匹配方法,与之对应的是全局立体匹配方法。
AD-Census是一种局部立体匹配方法。AD(absoluteintensitydifferences)表示匹配对的灰度差绝对值,Census表示Censustransform转换。这种转换刻画了像素点周围的结构特点。相比于一般的局部立体匹配方法,该方法还利用了图像的局部结构特点,所以在处理有结构重复区域,低纹理区域的图像对时,能有效提高立体匹配精度。但是,图像的局部结构特点在匹配代价计算中处于一个什么位置对于本方法的性能有很大的影响,决定着匹配代价计算的准确性,进而影响到获得的视差图的准确性。
视差图中,有一部分像素点由于处于遮挡区域,视差值不一定正确。而不是遮挡区域的点,由于低纹理、重复区域等原因,也不全是正确的。故而视差图得到后,一般还要对其进行处理。有人提出一种基于全局的立体匹配方法,利用初始视差图中一些视差值可信点和置信度传播方法,对不可信点的视差值进行修正,这种方法有效地提高了立体匹配的精度。但是由于是全局方法,而且置信度传播方法涉及较多的前期图像处理,步骤多而复杂,这使得整个方法的复杂度提高,计算量也很大。
发明内容
为了解决现有技术中对遮挡点与不可信点的处理计算量大步骤繁多和匹配代价计算准确性差的问题,本发明提供了以下的技术方案:
一种基于可信点传播的局部立体匹配方法,其包括以下步骤:
a.利用AD-Census算法,在不同视差值假设下至少计算出各像素点的匹配代价的最小值和次小值,并结合图像的梯度信息获取DSCI(视差空间匹配代价)图;
b.根据DSCI获取图像的初始视差图;
c.将像素点分为可信点、不可信点和遮挡点,其中可信点结合匹配代价的最小值和次小值确定;
d.求取可信点的视差值,并根据可信点传播方法,利用可信点处理不可信点和遮挡点并获取视差值;
e.输出视差图。
根据实施例,还可采用以下优选的技术方案:
所述步骤a包括:a1.AD计算,即获取左/右视图中匹配点的灰度差异值AD;a2.CensusTransform转换,获取转换窗口的结构差异,用Hamming距离表示;a3.转换窗口梯度信息采集及在不同视差值假设下结合a1和a2的结果计算各像素点的匹配代价的最小值和次小值;a4.确定匹配代价叠加空间区域;a5.获取DSCI图。
所述步骤a3中在不同视差值假设下计算各像素点的匹配代价时还对所述Hamming距离增加权重进行加权计算。
所述匹配代价按照式(4)计算,
Cost ( P , Q ) = &lambda; * AD + ( 1 - &lambda; ) * HamD &Delta; AD - hAm min g > &Delta; s ( 1 - &lambda; ) * AD + &lambda; * HamD &Delta; AD - hAm min g < &Delta; s - - - ( 4 ) ,
其中,Cost(P,Q)表示左视图中的P点和右视图中的Q点的匹配代价,△AD-hAming表示梯度变化的最大值,表示依实际情况确定的阈值,λ为依实际情况确定的权值,用于调节AD和Hamming距离分量的大小。
所述λ取值为0.2~0.4。
所述步骤a中还至少计算出匹配代价的第三小值,并结合所述匹配代价的次小值提取不可信点的候选匹配点;所述步骤d中获取不可信点的视差值是在所述候选匹配点范围内进行。
所述候选匹配点按照式(9)确定,
&lambda; &prime; = | C d - C min | | C d + C min | , &lambda; 1 < &lambda; &prime; < &lambda; stable - - - ( 9 ) ,
式(9)中Cd表示在视差值为d时的匹配代价,满足式(9)的匹配代价所对应的视差值即为不可信点的候选视差值,以此得到不可信点的候选匹配点。
像素点中的可信点按式(8)确定,
&lambda; &prime; = | C min - C sec min | | C min + C sec min | - - - ( 8 ) ,
式(8)中,Cmin和Csecmin分别为像素点匹配代价的最小值和次小值,λstable为设定的可信点阈值,像素点的视差值λ′大于λstable时该像素点为可信点。
所述步骤d中利用可信点处理遮挡点并获取视差值是采用遮挡点周围的可信点视差值插值计算得到。
在所述步骤f之后e之前还对更新后的视差图进行校正,所述校正包括视差图边缘的检测,及边缘区和非边缘区的处理。
本发明的有益效果是:
利用AD-Census算法结合图像的梯度信息获取DSCI图,并结合匹配代价的最小值和次小值确定可信点,有效利用了初始视差图中的数据,使得可信点的确定更为合理、准确,进而可保证后续对不可信点和遮挡点的处理更为准确,最终保证该匹配方法匹配的准确性。除此之外,本发明通过引入候选匹配点,使得对不可信点处理时匹配计算时的数据量大大减小,故整个匹配方法的实现简单快速。
附图说明
图1是本发明匹配方法的主要操作步骤流程图。
图2是本发明匹配方法一个具体实施例的流程图。
图3是初始视差图获取步骤的流程图。
图4是对视差图像素点检测(分类)步骤202的流程图。
图5是基于可信点利用稳定点传播算法处理不可信点与遮挡点的流程图(对应图2中步骤203)。
图6是视差图校正步骤204的流程图。
图7是一个实施例的匹配代价叠加空间区域示意图。
具体实施方式
本发明通过对DSCI图的处理,如利用改进的AD-cencus算法计算初始视差,引进了转换窗口内的梯度信息,这样AD计算和cencus转换的分量权重可以根据梯度信息来调整,使得AD-cencus算法更为灵活,能解解决的情况就越多,算法更优。关于DSCI图,做如下举例说明。以左图的DSCI图为例,其含义是,左图中的每一点,需要在右图中找到匹配点,如果知道其在右图中匹配点,则可直接计算出视差值。本发明在寻找匹配点时,先假设了一个视差范围,在不同的视差值假设下,就可以找到右图中的一个点(被这个假设的视差值唯一确定了),二者的相似程度用匹配代价表示,相似程度高,匹配代价低,故而可知道,DSCI图中每一个元素表示的意思。即,不同视差值假设下相似程度,以前的算法只找出来相似度最高(匹配代价最小)的一个,现在用相似度次高与最高的比例来衡量这个最高的可信度,显然可知,比例越大,表示越可信。本发明的技术方案使计算更为合理,因为用次高和最高的和作为除数,有效地利用了数据,更为准确(比只用最高要合理,显而易见)。此外,本发明还可以不仅仅计算次高,还计算了第三高等等,这种方法来获取候选点,然后,通过DSCI图获取候选匹配点。候选点的利用,减小了再次搜索的范围而且对匹配点的确定也较为准确。本发明把图中的像素点分为三种,可信点,遮挡点,不是遮挡点也不是可信点的不可信点。不可信点之所以不可信,是因为多个视差假设下,匹配代价相差不大,那么通过只寻找候选点,就减小了为不可信点找匹配点的范围,而且这个范围是较为准确的。对于非可信点(包括不可信点与遮挡点)的处理上面,对于遮挡点,现有算法找到该遮挡点附近的可信点并赋相同的值,而本算法相当于做了一个加权求和及插值运算。
如图1所示,本发明的基于可信点传播的局部立体匹配方法的主要步骤是:
101:初始视差图获取;
102:初始视差图像素点分类,得到可信点,不可信点,遮挡点;
103:利用可信点传播算法处理不可信点和遮挡点;
104:视差图校正模块,即进行输出前的校正。
图2显示了一个更为具体的处理流程,具体包括:
201输入图片,即输入待处理的左/右视图。
202然后,利用改进的AD-Census算法计算初始左/右视差图。
203根据上述计算结果标记可信点,不可信点,遮挡点。
204然后,对不可信点进行处理。
205在对遮挡点进行处理。
206对处理完毕的视差图进行校正。
207将校正后的视差图输出。
至此,本实施例的匹配方法完成。
下面对照附图3-7对本发明的各个操作步骤做进一步详细的说明。
一、视差图获取,如图3所示,具体说明如下:
301输入左/右视图,计算匹配点的AD值(灰度差绝对值)。
以求出左图的视差图为例,假设视差图的视差值范围为0~d,左图中的一点P,在左图中坐标为(x,y),在视差值假设为d时,其在右图中的匹配点为Q,点Q在右图中坐标为(x+d,y),用AD算法计算P、Q两点的灰度差值,灰度差值如公式(1)所示:
DIFF ( P , Q ) = &Sigma; i &Element; { r , g , b } | I i ( P ) - I i ( Q ) | - - - ( 1 )
302用改进的AD-Census算法,计算像素点的匹配代价。
首先,分别以P、Q两点为中心,建立转换尺寸为M*N的转换窗口,将窗口中的各个像素点pi用灰度强度表示,灰度强度的计算如公式(2)所示:
gray(pi)=R(pi)*0.299+G(pi)*0.587+B(pi)*0.114,pi∈N1(p)(2)
其中N1(p)表示以P点为中心建立的转换窗口。
然后将该转换窗口进行Censustransform转换,转换窗口中的各个像素点pi的灰度强度与中心点P的灰度强度做比较,其灰度强度小于中心点P的灰度强度的像素点则用1表示,反正小于中心点P灰度强度的像素点则用0表示,得到以下矩阵C:
C p i p i &Element; N 1 ( P ) = 1 gray ( p i ) < gray ( P ) 0 gray ( p i ) > gray ( P ) - - - ( 3 )
将转换后的结果用长为(M*N-1)bit的二进制序列表示,其采用自上而下自左而右的扫描顺序,当矩阵C中的元素为1时,对应位置的二进制数则为1,相应的矩阵C中元素为0时,对应位置的二进制数则为0,如此得到长为(M*N-1)bit的二进制序列。
通过以P点为中心建立的转换窗口和以Q点为中心建立的转换窗口得到的二进制序列表计算二者之间的差异,即可表示两个转换窗口的结构差异,此差异用Hamming距离表示。由于Hamming距离和AD实际意义有所区别,故将结果加一个权重λadjust来反映Hamming距离和AD对匹配代价的影响,将调整后的Hamming距离用HamD表示,它可以和AD进行加权,共同计算匹配代价的大小。
303计算Censustransform转换窗口内的梯度信息并获取匹配代价。
对于转换窗口,计算其相邻两行或者两列的梯度,相邻两行或两列的梯度用两行或者两列中相互对应的像素点的灰度差值表示,计算完后,分析水平方向和垂直方向梯度变化的最大值,将其与阈值比较,并利用公式(4)计算P,Q两点的匹配代价:
Cost ( P , Q ) = &lambda; * AD + ( 1 - &lambda; ) * HamD &Delta; AD - hAm min g > &Delta; s ( 1 - &lambda; ) * AD + &lambda; * HamD &Delta; AD - hAm min g < &Delta; s - - - ( 4 )
其中△AD-hAming表示梯度变化的最大值;Δs表示阈值,其范围可根据实际情况确定;λ为权值,用于调节AD和HamD分量的大小,取值范围可依据实际情况而定,优选地,为了体现二者的差异性,可取0.2~0.4。
通过以上方法在视差值假定为d时,计算出左视图中每一个像素点的匹配代价。
因为图像的局部信息结构特点对于AD-Census方法的性能有很大的影响,所以通过计算转换窗口的梯度信息来灵活确定灰度差值和局部结构在匹配代价中所占的比重,使得计算出来的匹配代价更为准确。
304匹配代价叠加空间区域的确定。
得出左视图中每个像素点的匹配代价后,还采用对匹配代价进行叠加的方法对像素点的匹配代价进行优化。
如图7所示,即像素点P的叠加匹配代价采用其水平方向和竖直方向的空间区域上的像素点的匹配代价相加后的均值来表示,而其水平方向和竖直方向上的像素点需满足两个条件,如式(5)所示:
即这些像素点需与像素点P的灰度差值小于一个阈值,且和像素点P的距离也小于一个阈值,距离即为表示图像的矩阵中的位置差异。以此来对左视图中每个像素点的匹配代价完成叠加,后续步骤的匹配代价均指经过叠加后计算得到的匹配代价。因寻找匹配点的时候,只用两个点的差值表示匹配代价误差可能会很大,所以一般都以这两点为中心建立支持窗口,认为每个支持窗口中的像素点视差值相等,用支持窗口中对应点的差值(即点的匹配代价)的和(这时候就是为叠加的匹配代价了)来表征两个点的匹配代价,这样会更准确。)
305确定左/右视图的DSCI图,进而得到初始视差图。
对0~d的不同视差值假设下,求出像素点P在右视图中匹配点的叠加匹配代价,得出左视图的视差空间匹配代价图,即DSCI图,DSCI图中每一个点的坐标表示为(x,y,d,c),即左视图中的点(x,y)在视差值为d时,对应的匹配代价为c。
采用WTA(Winner-Take-All)算法,根据DSCI图,可以求出左视图的视差图。具体的算法如下:
forp(x,y)∈左图
ford=0;d<DRange;d++
find(x,y,d,Cmin)
即:取左视图中像素点P,遍历所有视差值并求各个视差值下像素点的各匹配代价(应该会在某一个视差值下,计算得到的匹配代价最小,这个匹配代价最小时对应的视差值认为是所需要的视差值,由于匹配代价越小,表示相似度越高,也就是说,找到最相似的点,这个最相似的点对应的视差值即为我们要获取的视差值。),取匹配代价最小对应的视差值。
即对于左视图中任一点,在右视图中找到与其匹配代价最小的点。
其中Cmin表示匹配代价的最小值,d表示匹配代价最小时对应的视差值。如此便可得到左视图的视差图。
对于右视图,同理根据步骤101~105得到右视图的视差图。
二、根据初始视差图和前面得到的DSCI图,进行视差图像素点分类,如图4所示,具体说明如下:
401左右一致性检测找出视差图中的遮挡点。
一个较佳的做法是,假设校正后左右视差图分别为DL,DR,xL表示为左视差图中的一像素点,如公式(6)所示:
DL(xL)=DR(xL+DL(xL))(6)
左视差图中的像素点xL若等于右视差图中与其匹配的像素点的视差值,则表示左时差图中该点满足左右一致性检测。
同样,对于右时差图中的一像素点xR,如公式(7)所示:
DR(xR)=DL(xR-DR(xR))(7)
右视差图中的像素点xR若等于左视差图中与其匹配的像素点的视差值,则表示右时差图中该点满足左右一致性检测。
通过以上步骤,即可得到左右视差图的遮挡点,进一步的,本发明还在公式(6)和(7)的右边加上δd,表示左右一致性检测有一定的精度范围,这样使得不满足左右一致性检测的像素点都为遮挡点,即满足该精度范围的点为遮挡点。
402对于满足以上一致性检测的像素点,再对其进行新一轮的标定,找出其中的可信点与不可信点。
例如,对于左视差图中的像素点,根据DSCI图找出其匹配代价的最小值和次小值,分别为Cmin和Csecmin,定义一公式(8)如下所示:
&lambda; &prime; = | C min - C sec min | | C min + C sec min | - - - ( 8 )
对左视差图中每一个像素点根据公式(8)分别计算出该点的λ′值,同时设定λstable为可信点阈值,将λ′与λstable进行比较,当其大于可信点阈值λstable时,则认为该点是可信点,即该点的视差值是正确的,而当其小于可信点阈值λstable时,即认为该点是不可信点。
对于右视差图通过同样的步骤标定其中的可信点与不可信点。
三、利用可信点处理不可信点与遮挡点,如图5所示,说明如下:
501为左视差图中的不可信点在右视差图中选择候选匹配点。
一个优选的做法是,对于左视差图中已经标定的不可信点,根据DSCI图可以找出不可信点的最小匹配代价,构造公式(9)如下所示:
&lambda; &prime; = | C d - C min | | C d + C min | , &lambda; 1 < &lambda; &prime; < &lambda; stable - - - ( 9 )
λ′表示一个变量,对不同的点,计算得到的λ′不一样,当其大于λstable时,认为其对应的像素点是可信点,而若λ′在λ1和λstable之间,表示其对应的像素点是不可信点。λ1和λstable一样都是在实际中获取的范围,都是小于1的数,初始值可任选,应当根据要处理的图像来调整。Cd表示在视差值为d时的匹配代价,因此可以通过求出右视差图中候选匹配点的匹配代价Cd,找到其视差值d,并确定不可信点的候选匹配点。
为获得更加准确的结果,还可在前述步骤501中计算出匹配代价的第三小值,并结合所述匹配代价的最小值和/或次小值提取不可信点的候选匹配点。本领域技术人员可知,还可以进一步计算出第四小值、第五小值等等,并结合最小值和/或次小值来取得更加准确的候选点,具体计算到第几小值可根据实际需要而定。
502对于左视差图中的不可信点与其在右视差图中的候选匹配点分别建立支持窗口,并分别标记出支持窗口中的可信点,生成可信点相对不可信点在支持窗口中的位置,由于不可信点与其候选匹配点是一对正确的匹配对的话,那么两者周围的可信点也都是匹配对,这样将每个候选匹配点支持窗口中可信点的位置信息和左视差图中待匹配的不可信点支持窗口中的可信点的位置信息进行比较,其中位置信息差别最小的那个候选匹配点即是待匹配的不可信点在右视差图中的正确匹配点,并将该正确匹配点的视差值赋予该不可信点,更新视差图,该不可信点的视差值更新后,即可标记为新的可信点。
503对于遮挡点的视差值,以遮挡点为中心建立支持窗口,并利用支持窗口中的可信点插值计算而得。
如在左视差图中,其遮挡点用poccluded表示,那么遮挡点的视差值可根据公式(10)进行计算:
d ( p occluded ) = &Sigma; p i &Element; N ( reliable ) w ( p i ) d ( p i ) &Sigma; p i &Element; N ( reliable ) w ( p i ) - - - ( 10 )
其中:
w ( p i ) = exp ( - GrayDiff ( p i , p occluded ) &gamma; ) GrayDiff ( p i , p occluded ) = | I ( p i ) - I ( p i ) | - - - ( 11 )
w(pi)表示支持权重,它表示可信点视差值信息对遮挡点的影响程度,N(reliable)表示以遮挡点为中心建立起的支持窗口,γ为常数。计算出遮挡点的视差值后,更新视差图。
右视差图中的不可信点与遮挡点通过同样的方法进行处理并更新视差图。
四、视差图校正步骤,如图6:
601获取视差图的边缘。视差图边缘是梯度变化比较剧烈的区域,位于边缘区域的水平方向或竖直方向的梯度变化也较大,对于更新后的视差图,求出其中水平方向和竖直方向的梯度变化,将其与一个设定的阈值比较,当水平方向和/或竖直方向的梯度大于所预先设定的阈值时,即认为存在边缘,以此来获得视差图的边缘。
602对视差图边缘区的处理。对于边缘上的每一个像素点,选取位于边缘两侧的两个像素点,根据DSCI图可知这些点的匹配代价,若位于边缘两侧的像素点中某一点的匹配代价比边缘上像素点的匹配代价小,则用该点的视差值替换边缘上像素点的视差值。
603对视差图非边缘区的处理。假设图像是光滑的,在图像中很小的一个范围内,该范围内的像素点视差值是一样的。这样,对非边缘区中每一个像素点分别建立较小的支持窗口,利用投票的方法找出该支持窗口中出现频率最高的视差值,并将当前支持窗口的视差值赋为该值。
在左右视差图校正完成后即得到准确的视差图并输出。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下做出若干替代或明显变型,而且性能或用途相同,都应当视为属于本发明的保护范围。

Claims (3)

1.一种基于可信点传播的局部立体匹配方法,其特征在于包括以下步骤:
a.利用AD-Census算法,在不同视差值假设下至少计算出各像素点的匹配代价的最小值和次小值,并结合图像的梯度信息获取DSCI图;
b.根据DSCI获取图像的初始视差图;
c.将像素点分为可信点、不可信点和遮挡点,其中可信点结合匹配代价的最小值和次小值确定;
d.求取可信点的视差值,并根据可信点传播方法,利用可信点处理不可信点和遮挡点并获取视差值;
e.输出视差图;
对0~d的不同视差值假设下,求出像素点P在右视图中匹配点的叠加匹配代价,得出左视图的视差空间匹配代价图,即DSCI图,DSCI图中每一个点的坐标表示为(x,y,d,c),即左视图中的点(x,y)在视差值为d时,对应的匹配代价为c;
所述步骤a包括:
a1.AD计算,即获取左/右视图中匹配点的灰度差绝对值AD;
a2.CensusTransform转换,获取转换窗口的结构差异,用Hamming距离表示;
a3.转换窗口梯度信息采集及在不同视差值假设下结合a1和a2的结果计算各像素点的匹配代价的最小值和次小值;
a4.确定匹配代价叠加空间区域;
a5.获取DSCI图;
通过左右一致性检测找出视差图中的遮挡点,如下:
假设校正后左右视差图分别为DL,DR,xL表示为左视差图中的一像素点,如公式(6)所示:
DL(xL)=DR(xL+DL(xL))(6)
左视差图中的像素点xL若等于右视差图中与其匹配的像素点的视差值,则表示左视差图中该点满足左右一致性检测;
同样,对于右视差图中的一像素点xR,如公式(7)所示:
DR(xR)=DL(xR-DR(xR))(7)
右视差图中的像素点xR若等于左视差图中与其匹配的像素点的视差值,则表示右视差图中该点满足左右一致性检测;
像素点中的可信点按式(8)确定,
式(8)中,Cmin和Csecmin分别为像素点匹配代价的最小值和次小值;
对左视差图中每一个像素点根据公式(8)分别计算出该点的λ'值,同时设定λstable为可信点阈值,将λ'与λstable进行比较,当其大于可信点阈值λstable时,则认为该点是可信点,即该点的视差值是正确的,而当其小于可信点阈值λstable时,即认为该点是不可信点;
所述步骤a3中在不同视差值假设下计算各像素点的匹配代价时还对所述Hamming距离增加权重λ进行加权计算;
对于转换窗口,计算其相邻两行或者两列的梯度,相邻两行或两列的梯度用两行或者两列中相互对应的像素点的灰度差值表示,计算完后,分析水平方向和垂直方向梯度变化的最大值,将其与阈值比较;
所述匹配代价按照式(4)计算,
C o s t ( P , Q ) = &lambda; * A D + ( 1 - &lambda; ) * H a m D &Delta; A D - h A m min g > &Delta; s ( 1 - &lambda; ) * A D + &lambda; * H a m D &Delta; A D - h A m min g < &Delta; s --- ( 4 ) ,
其中,Cost(P,Q)表示左视图中的P点和右视图中的Q点的匹配代价,△AD-hAming表示梯度变化的最大值,Δs表示依实际情况确定的阈值,λ为依实际情况确定的权值,用于调节AD和Hamming距离分量的大小,Hamming距离用HamD表示;
所述步骤a中还至少计算出匹配代价的第三小值,并结合所述匹配代价的次小值提取不可信点的候选匹配点;
所述步骤d中获取不可信点的视差值是在所述候选匹配点范围内进行;
所述候选匹配点按照式(9)确定,
&lambda; &prime; = | C d - C min | | C d + C min | , &lambda; 1 < &lambda; &prime; < &lambda; s t a b l e - - - ( 9 ) ,
式(9)中,Cd表示在视差值为d时的匹配代价,λ1为实际中获取的阈值范围,小于1;满足式(9)的匹配代价所对应的视差值即为不可信点的候选视差值,以此得到不可信点的候选匹配点;
像素点中的可信点按式(8)确定,
&lambda; &prime; = | C min - C secmin | | C min + C sec min | - - - ( 8 ) ,
式(8)中,Cmin和Csecmin分别为像素点匹配代价的最小值和次小值,设定λstable为可信点阈值,像素点的视差值λ'大于λstable时该像素点为可信点;
所述步骤d中利用可信点处理遮挡点并获取视差值是采用遮挡点周围的可信点视差值插值计算得到;
在左视差图中,其遮挡点用poccluded表示,那么遮挡点的视差值可根据公式(10)进行计算:
d ( p o c c l u d e d ) = &Sigma; p i &Element; N ( r e l i a b l e ) w ( p i ) d ( p i ) &Sigma; p i &Element; N ( r e l i a b l e ) w ( p i ) - - - ( 10 )
其中:
w ( p i ) = exp ( - G r a y D i f f ( p i , p o c c l u d e d ) &gamma; ) - - - ( 11 )
GrayDiff(pi,poccluded)=|I(pi)-I(poccluded)|
w(pi)表示支持权重,它表示可信点视差值信息对遮挡点的影响程度,N(reliable)表示以遮挡点为中心建立起的支持窗口,γ为常数,d(pi)表示可信点的视差值,I(pi)表示可信点的颜色强度,I(poccluded)表示遮挡点的颜色强度;计算出遮挡点的视差值后,更新视差图;
右视差图中的不可信点与遮挡点通过同样的方法进行处理并更新视差图。
2.如权利要求1所述的基于可信点传播的局部立体匹配方法,其特征在于:所述λ取值为0.2~0.4。
3.如权利要求1所述的基于可信点传播的局部立体匹配方法,其特征在于:在所述步骤e之前还对更新后的视差图进行校正,所述校正包括视差图边缘的检测,及边缘区和非边缘区的处理;
所述边缘区的处理为:对于边缘上的每一个像素点,选取位于边缘两侧的两个像素点,根据DSCI图可知这些点的匹配代价,若位于边缘两侧的像素点中某一点的匹配代价比边缘上像素点的匹配代价小,则用该点的视差值替换边缘上像素点的视差值;
所述非边缘区的处理为:假设图像是光滑的,在图像中很小的一个范围内,该范围内的像素点视差值是一样的,这样,对非边缘区中每一个像素点分别建立较小的支持窗口,利用投票的方法找出该支持窗口中出现频率最高的视差值,并将当前支持窗口的视差值赋为该值。
CN201210499529.3A 2012-11-29 2012-11-29 一种基于可信点传播的局部立体匹配方法 Active CN102999913B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210499529.3A CN102999913B (zh) 2012-11-29 2012-11-29 一种基于可信点传播的局部立体匹配方法
HK13105432.0A HK1178663A1 (zh) 2012-11-29 2013-05-06 種基於可信點傳播的局部立體匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210499529.3A CN102999913B (zh) 2012-11-29 2012-11-29 一种基于可信点传播的局部立体匹配方法

Publications (2)

Publication Number Publication Date
CN102999913A CN102999913A (zh) 2013-03-27
CN102999913B true CN102999913B (zh) 2016-01-20

Family

ID=47928447

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210499529.3A Active CN102999913B (zh) 2012-11-29 2012-11-29 一种基于可信点传播的局部立体匹配方法

Country Status (2)

Country Link
CN (1) CN102999913B (zh)
HK (1) HK1178663A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6121776B2 (ja) 2013-03-29 2017-04-26 ソニー株式会社 画像処理装置及び画像処理方法
CN104123715B (zh) * 2013-04-27 2017-12-05 株式会社理光 配置视差值的方法和系统
CN104252701B (zh) * 2013-06-28 2017-08-29 株式会社理光 校正视差图的方法和系统
CN104915927B (zh) * 2014-03-11 2018-08-07 株式会社理光 视差图像优化方法及装置
CN104408710B (zh) * 2014-10-30 2017-05-24 北京大学深圳研究生院 一种全局视差估计方法和系统
CN104778685B (zh) * 2015-03-17 2018-02-23 北京数码视讯科技股份有限公司 一种图像匹配方法及装置
CN105654493B (zh) * 2015-12-30 2018-11-02 哈尔滨工业大学 一种改进的光学仿射不变双目立体匹配代价与视差优化方法
CN106231282B (zh) * 2015-12-30 2018-06-22 深圳超多维科技有限公司 视差计算方法、装置与终端
CN105631887B (zh) * 2016-01-18 2019-10-25 武汉理工大学 基于自适应支持权重匹配算法的两步视差改良方法及系统
CN105812769B (zh) * 2016-04-06 2018-04-03 四川大学 基于相位相关的高精度视差跟踪器
CN106254850B (zh) * 2016-08-23 2019-06-04 深圳市捷视飞通科技股份有限公司 双视点立体视频的图像匹配方法及装置
CN106408596B (zh) * 2016-09-06 2019-06-21 电子科技大学 基于边缘的局部立体匹配方法
CN107316326B (zh) * 2017-06-29 2020-10-30 海信集团有限公司 应用于双目立体视觉的基于边的视差图计算方法和装置
CN107680083B (zh) * 2017-09-13 2020-05-29 海信集团有限公司 视差确定方法和视差确定装置
CN107948629B (zh) * 2017-11-22 2020-06-23 海信集团有限公司 一种视差确定方法、装置及终端
CN108322724B (zh) * 2018-02-06 2019-08-16 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN110533701A (zh) * 2018-05-25 2019-12-03 杭州海康威视数字技术股份有限公司 一种图像视差确定方法、装置及设备
CN109801324B (zh) * 2019-01-07 2020-11-24 华南理工大学 一种对光强不敏感的斜面近邻传播立体匹配方法
CN110223257B (zh) * 2019-06-11 2021-07-09 北京迈格威科技有限公司 获取视差图的方法、装置、计算机设备和存储介质
CN111415305A (zh) * 2020-03-10 2020-07-14 桂林电子科技大学 恢复三维场景的方法、计算机可读存储介质及无人机
CN113556600B (zh) * 2021-07-13 2023-08-18 广州虎牙科技有限公司 基于时序信息的驱动控制方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法
CN102802020A (zh) * 2012-08-31 2012-11-28 清华大学 监测双目立体视频视差信息的方法和装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101694292B1 (ko) * 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102665086A (zh) * 2012-04-26 2012-09-12 清华大学深圳研究生院 利用基于区域的局部立体匹配获取视差的方法
CN102802020A (zh) * 2012-08-31 2012-11-28 清华大学 监测双目立体视频视差信息的方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Local disparity refinement with disparity inheritance;Wei Wang et al.;《2012 Symposium on Photonics and Optoelectronics》;20120521;第1-4页 *
Stereo Matching with Color-Weighted Correlation, Hierarchical Belief Propagation, and Occlusion Handling;Qingxiong Yang et al.;《IEEE Transactions on Pattern Analysis and Machine Intelligence》;20090331;第31卷(第3期);第492-504页 *
基于Census变换和改进自适应窗口的立体匹配算法;周龙等;《航空学报》;20120525;第33卷(第5期);第886-892页 *

Also Published As

Publication number Publication date
CN102999913A (zh) 2013-03-27
HK1178663A1 (zh) 2013-09-13

Similar Documents

Publication Publication Date Title
CN102999913B (zh) 一种基于可信点传播的局部立体匹配方法
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN103116896B (zh) 一种基于视觉显著性模型的自动检测跟踪方法
CN103325120A (zh) 一种快速自适应支持权值双目视觉立体匹配方法
CN103455991B (zh) 一种多聚焦图像融合方法
CN105654492A (zh) 基于消费级摄像头的鲁棒实时三维重建方法
CN105957076A (zh) 一种基于聚类的点云分割方法及系统
CN103996201A (zh) 一种基于改进梯度和自适应窗口的立体匹配方法
CN103996202A (zh) 一种基于混合匹配代价和自适应窗口的立体匹配方法
CN106600632B (zh) 一种改进匹配代价聚合的立体图像匹配方法
CN103824272A (zh) 基于k近邻重识别的人脸超分辨率重建方法
CN115496928B (zh) 基于多重特征匹配的多模态图像特征匹配方法
CN103578092A (zh) 一种多聚焦图像融合方法
CN102665086A (zh) 利用基于区域的局部立体匹配获取视差的方法
CN109410266A (zh) 基于四模Census变换和离散视差搜索的立体匹配算法
CN106815594A (zh) 立体匹配方法及装置
CN105989611A (zh) 带有阴影去除的分块感知哈希跟踪方法
CN107180436A (zh) 一种改进的kaze图像匹配算法
CN104200453A (zh) 基于图像分割和可信度的视差图像校正方法
CN104599288A (zh) 一种基于肤色模板的特征跟踪方法及装置
CN106408596A (zh) 基于边缘的局部立体匹配方法
CN104166987A (zh) 一种基于改进的自适应加权和置信度传播的视差估计方法
CN103400393B (zh) 一种图像匹配方法和系统
CN104331890A (zh) 一种全局视差估计方法和系统
CN111553296A (zh) 一种基于fpga实现的二值神经网络立体视觉匹配方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1178663

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1178663

Country of ref document: HK