CN103106651B - 一种基于三维hough变换的获取视差平面的方法 - Google Patents

一种基于三维hough变换的获取视差平面的方法 Download PDF

Info

Publication number
CN103106651B
CN103106651B CN201210245767.1A CN201210245767A CN103106651B CN 103106651 B CN103106651 B CN 103106651B CN 201210245767 A CN201210245767 A CN 201210245767A CN 103106651 B CN103106651 B CN 103106651B
Authority
CN
China
Prior art keywords
pixel
parallax
viewpoint picture
plane
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201210245767.1A
Other languages
English (en)
Other versions
CN103106651A (zh
Inventor
王好谦
吴畏
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201210245767.1A priority Critical patent/CN103106651B/zh
Publication of CN103106651A publication Critical patent/CN103106651A/zh
Priority to HK13107662.7A priority patent/HK1180433A1/zh
Application granted granted Critical
Publication of CN103106651B publication Critical patent/CN103106651B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于三维hough变换的获取视差平面的方法,包括如下步骤:A.确定第一视点图片的视差点图;B.将第一视点图片分隔成多个颜色区域S,使相邻的颜色区域的颜色差值大于设定颜色差;C.根据每个颜色区域相对于第二视点图片的视差点图,通过三维hough变换确定对应于该颜色区域的第一初始视差平面三个参数m、n和c;D.计算每个颜色区域S中像素点的视差相对于对应第一初始视差平面的误差err;E.若误差err小于设定阈值,则将该第一初始视差平面作为初始的视差平面。使用三维Hough变换并结合RANSAC算法,既减少了拟合环节的计算量,也大大提升了视差平面参数的精确性和鲁棒性,从而使得整个立体匹配算法最终得到的视差图更加精确。

Description

一种基于三维hough变换的获取视差平面的方法
【技术领域】
本发明涉及一种基于三维hough变换的获取视差平面的方法。
【背景技术】
立体匹配算法用于估计待处理的图像对中各像素点的视差信息,以进一步获取匹配图像的全局深度信息,在计算机视觉和图像编码领域发挥着重要的作用。
立体匹配算法的发展是基于20世纪80年代美国麻省理工学院的Marr教授提出的一种视觉计算理论,即从两个视点观察同一景物以获取立体图像对,匹配出相应的像素点,获得其中包含的视差和深度信息。而立体匹配算法本身是一个病态问题,存在着匹配歧义性,另外在匹配精度和准确性上也存在着两大难题:遮挡和少纹理区域的估计问题。
现在立体匹配算法大体可分为基于局部和基于全局两大类。基于局部的立体匹配算法如自适应相关法,它的优点是快速,复杂度低,容易恢复出高纹理区域的视差,但是在低纹理区域会造成大量的误匹配;而基于全局的立体匹配算法,如基于图割的立体匹配算法和基于置信度传播的立体匹配算法,虽然能够找到全局最优的匹配点,但却容易忽略许多细节信息,并且具有很高的计算复杂度;以往算法大多数只是利用以上介绍的两大类算法中的某一个单一算法,这样就大大限制了它们在实际工程领域的应用范围。
目前,也有人提出了同时结合基于区域的匹配和基于全局的优化的立体匹配算法。例如,先对图像做图像分割,按基于区域的匹配算法获得初始视差值,再对视差值按区域使用最小二乘法做简单平面拟合,得到可靠性相对高的平面模板,最后在全局优化的基础上对平面模板进行优化。这种方法中初始视差值比较粗糙,会出现大量的误匹配,而且提出的平面拟合算法相对简单,但是后续优化步骤的效果有很大程度上依赖于初始视差信息的准确性和平面模板的精确度。这种方法中得到的最终视差图会出现很大的误差。
【发明内容】
为了使视差平面模板更加精确,本发明提供了一种基于三维hough变换的获取视差平面的方法。
一种基于三维hough变换的获取视差平面的方法,包括如下步骤:
A.以第一视点图片的像素点的坐标为变量,第一视点图片的像素点相对于第二视点图片的视差值为因变量,确定第一视点图片的视差点图;
B.将第一视点图片分隔成多个颜色区域S,使相邻的颜色区域的颜色差值大于设定颜色差;
C.根据每个颜色区域相对于第二视点图片的视差点图,通过三维hough变换确定对应于该颜色区域的第一初始视差平面d=mx+ny+c的三个参数m、n和c,其中x和y表示第一视点图片中像素点的坐标;
D.计算每个颜色区域S中像素点的视差相对于对应第一初始视差平面的误差err:
err = 1 N Σ ( x , y ) ∈ S [ d p - ( mx + ny + c ) ] 2 ;
其中,dp表示颜色区域S中的像素点p相对于第二视点图片的视差值,像素点p的两个坐标为x和y,N表示颜色区域S中像素点的个数;
E.若误差err小于设定阈值,则将该第一初始视差平面作为初始的视差平面。
优选地,还包括如下步骤:
若步骤D中误差err大于设定阈值,则:
F1.在该颜色区域对应的视差点图中,选取三个视差点并计算出这三个视差点对应的视差平面;
F2.计算F1步骤中视差点图的其余视差点与F1步骤中确定的视差平面之间的距离,若距离小于设定阈值,则将对应的视差点记为内点;
F3.选取步骤F2中对应内点最多的视差平面,以该视差平面的所有内点根据特征值算法重新确定对应颜色区域的初始的视差平面。
优选地,还包括如下步骤:
若某个颜色区域通过步骤F1至F3确定得到多个对应的视差平面,对其中任意两个视差平面d1=m1x+n1y+c1和d2=m2x+n2y+c2
若W|m1-m2|+H|n1-n2|+|c1-c2|小于阈值,则将该两个视差平面合并成一个视差平面;
其中,m1、n1和c1是确定视差平面d1位置的三个参数,m2、n2和c2是确定视差平面d2位置的三个参数,W表示与像素点坐标x对应的第一视点图片的宽度,H表示与像素点坐标y对应的第一视点图片的高度。
优选地,通过如下步骤获取第一视点图片的视差点图:
A1.对第一视点图片的像素点p,在作为参考的第二视点图片中选取若干个待匹配像素点
A2.分别计算像素点pd与待匹配像素点之间的匹配代价 C ( p , p d ‾ ) = Σ q ∈ N p , p d ‾ ∈ N pd ‾ w ( p , q ) w ( p d ‾ , q d ‾ ) e ( q , q d ‾ ) Σ q ∈ N p , p d ‾ ∈ N pd ‾ w ( p d ‾ , q d ‾ )
其中, e ( q , q d ‾ ) = Σ c ∈ { L , a , b } | I c ( q ) - I c ( q d ‾ ) |
A3.选取与像素点pd之间的匹配代价最小的待匹配像素点将该待匹配像素点与像素点pd之间的向量差作为像素点pd相对于第二视点图片的视差值。
q为第一视点图片中以像素点p周围设定区域的某个像素点,Np是该设定区域内的像素点的集合,是第二视点图片中像素点周围相应区域内的像素点的集合,为第二视点图片的像素点,像素点相对像素点的相对位置与像素点q相对像素点p的相对位置相同,w(p,q)是像素点p与像素点q之间的匹配权值,是像素点与像素点之间的匹配权值,Ic(q)和分别表示像素点q和的光强,其中下标c表示光强所属Lab空间的某个空间分量。
对于第一视点图片的一个像素点p,其相对于第二视点图片的视差值为第一视差值dl,该像素点p经过该视差值dl的平移后在第二视点图片相对应的像素点为p′,像素点p'相对于第一视点图片的视差值为第二视差值dr,若第一视差值dl与第二视差值dr的差的绝对值大于设定视差阈值,则在像素点p的左边或右边找到最近的一个像素点p1,其相对于第二视点图片的视差值为d′l,像素点p1经过该视差值d′l的平移后在第二视点图片相对应的像素点为p′1,像素点p′1相对于第一视点图片的视差值为d′r,且视差值d′l与视差值d′r的差的绝对值小于设定视差阈值,再将视差值d′l和视差值d′r较小者作为像素点p的相对于第二视点图片的视差值。
优选地,还包括视差平面模板分配步骤,用于选择其中一个初始的视差平面分配给第一视点图片的各个颜色区域。
本发明的有益效果是:本发明的基于3D-hough变换的立体匹配算法,不仅使用了基于反馈的自适应权值法获取初始视差值,通过将初步估计结果与真实结果的误差引入匹配代价中,构成局部视差估计的负反馈环,提高了后续进行视差平面模板拟合所要用到的原始视差点云数据的可靠性。而且,提出了基于Hough变换并结合RANSAC的复合平面拟合算法,通过Hough空间变换可以有效地估计视差模板的参数,对误差较大的区域选择RANSAC法重新拟合得到优化的参数,这样也大大提高了平面参数拟合的准确性和鲁棒性。
【附图说明】
图1是本发明的另一种实施例的基于三维hough变换的获取视差平面的方法的流程图;
图2是本发明的一种实施例的基于反馈的初始视差估计方法的流程图;
图3是本发明的一种实施例的基于Hough变换并结合RANSAC算法的平面拟合方法的流程图;
图4是本发明的一种实施例的经典图割法的网格图。
【具体实施方式】
以下将结合附图对本发明的具体实施例作进一步详细说明。
一种实施例的基于三维hough变换的获取视差平面的方法,包括如下步骤:
S1.以第一视点图片的像素点的坐标为变量,第一视点图片的像素点相对于第二视点图片的视差值为因变量,确定第一视点图片的视差点图;
S2.将第一视点图片分隔成多个颜色区域S,使相邻的颜色区域的颜色差值大于设定颜色差;
S3.根据每个颜色区域相对于第二视点图片的视差点图,通过三维hough变换确定对应于该颜色区域的第一初始视差平面d=mx+ny+c的三个参数m、n和c,其中x和y表示第一视点图片中像素点的坐标;
S4.计算每个颜色区域S中像素点的视差相对于对应第一初始视差平面的误差err:
err = 1 N Σ ( x , y ) ∈ S [ d p - ( mx + ny + c ) ] 2 ;
其中,dp表示颜色区域S中的像素点p相对于第二视点图片的视差值,像素点p的两个坐标为x和y,N表示颜色区域S中像素点的个数;
S5.若误差err小于设定阈值,则将该第一初始视差平面作为初始的视差平面。
如图2所示,在一个更加具体的实施例中,为本具体实施方式中的全局深度(视差)估计方法的流程图,包括以下步骤:
U1)图像校正,对双目图像中的左图做颜色分割。
在双目系统中,左图为第一视点图片,右图为第二视点图片,首先进行图像校正处理,选用mean-shift算法对图像进行区域分割成多个颜色区域S。将彩色图像按同一色彩区域做分割。为了使后续的视差平面模板更加可靠,应该使各区域色彩尽量单一,一般考虑将区域间色彩差异的阈值参数适当调低,使划分的区域小一些,这样,相邻区域中,颜色差异小于阈值的即被划分在同一个颜色区域S中,颜色差异较大的则被划分在不同的颜色区域S中。
U2)对左右两幅图像做立体匹配,得到初始视差图。
本具体实施方式中选择自适应相关法,对窗口内的每一像素点都赋予一个支持权重(匹配权值),使得左右图中各像素点间的匹配代价计算更加合理。
图像经RGB空间转换为Lab空间,窗口内两不同像素点p与q之间的颜色差异Δcpq的计算公式为:
Δ c pq = ( L p - L q ) 2 + ( a p - a q ) 2 + ( b p - b q ) 2
其中,L、a和b分别表示像素点在Lab空间下的L分量、a分量和b分量,三个分量的下标即表示其属于哪个像素点,如Lp表示像素点的L分量;
空间距离Δgpq的计算公式为:
Δ g pq = ( i p - i q ) 2 + ( j p - j q ) 2
其中,i和j分别表示像素点在图片中所处的两个坐标(例如横坐标和纵坐标),其下标则表示该坐标属于哪个像素点,如ip表示像素点p的坐标(例如横坐标)。
而窗口内两个像素点p和q之间的匹配权值w(p,q)可由下式计算:
w ( p , q ) = exp ( - ( Δ c pq γ c + Δ g pq γ p ) )
其中,γc和γp分别是Δcpq和Δgpq的比例系数,例如可以采用不同的正整数以适应不同的应用需要。
对于第一视点图片中的像素点p,其在第二视点图片中的某个待匹配的像素点而像素点q为以像素点p为基点的设定区域内的某个像素点,该区域内的像素点的个数为Np,像素点为第二视点图片中以像素点为基点的设定区域内的某个像素点,该区域内的像素点个数为并且像素点的位置(相对于像素点的位置)与像素点q的位置(相对于像素点p的位置),像素点p和像素点之间的匹配代价的计算公式为:
C ( p , p d ‾ ) =
Σ q ∈ N p , p d ‾ ∈ N pd ‾ w ( p , q ) w ( p d ‾ , q d ‾ ) e ( q , q d ‾ ) Σ q ∈ N p , p d ‾ ∈ N pd ‾ w ( p d ‾ , q d ‾ )
其中,计算公式为:
e ( q , q d ‾ ) = Σ c ∈ { L , a , b } | I c ( q ) - I c ( q d ‾ ) | =
| I L ( q ) - I L ( q d ‾ ) | + | I a ( q ) - I a ( q d ‾ ) | + | I b ( q ) - I b ( q d ‾ ) |
在得到以上匹配代价后,计算局部内的其余需要与像素点p进行匹配的待匹配像素点通过赢者通吃法则(WTA),在第二视点图片中找得局部区域内与像素点p相似度最高的像素点,并以此像素点相对于像素点p之间的向量差作为像素点p相对于第二视点图片的视差,即
d = arg min d ∈ S d c ( p , p ‾ d )
其中,Sd是在该局部区域内每个待匹配像素点与像素点p之间的视差的集合。
从前述内容可知,窗口内每个像素点的权重取决于该像素点与中心像素点的颜色差异和距离差异。
本实施例中,窗口大小选为27×27,参数选择为γc=7,γp=36。
U3)根据U2)步骤中得到的初始视差图,做左右一致性检测与遮挡填充。
以右图(第二视点图片)为参考图像作为参考图像,通过上述步骤得到第一视差图,该视差图以第一视点图片内的像素点的坐标为变量,对应的视差作为变量;接着再以左图像(第一视点图片)作为参考图像,获得第二视差图。
对于左视差图(第一视差图)的任一像素点p,其对应的视差值为dl,将像素点p通过视差向量平移后,其在第二视点图片的对应像素点为p-dl,像素点p-dl在右视差图(第二视差图)中的视差值为dr。预先设定视差阈值D,根据以下公式:
|dl-dr|>D
作判断,满足该条件的像素点则标为遮挡点(例如以第一视点图片为基准),经过左右一致性检测得到的是一幅二值化的遮挡图。
由于只是在水平图像上存在视差,因此,对于原图中未遮挡的区域在两幅视差图中的视差绝对值误差很小,而对于出现遮挡的区域,对应在两幅视图中视差值相差很大。因此,对两图对应像素点视差值做相减运算,通过预先设定的阈值判别,即可找到遮挡区域。
对二值遮挡图像中所有黑色的遮挡点赋予合理的视差值。对于左图,遮挡点一般存在于背景区域与前景区域接触的地方,遮挡区域是由于前景比背景的偏移量大造成的。具体实施方法是:对于遮挡点p,分别在水平向左和水平向右两个方向上找过第一个非遮挡点(最近的像素点),其对应的视差值可记为d′l(该像素点p在第一视差图的视差值)和d′r(该像素点p在第二视差图的视差值),选择d′l和d′r中最小的值赋给点像素点p的视差值dp,即下式:
dp=min(d′l,d′r)
这样即可消除视差图中由遮挡引起的误匹配。
U4)对第一视点图片中的各颜色分块区域做平面拟合,估计出对应视差平面的参数,得到可靠性高的平面模板。
根据一般假设,视差平面模板的数学表达式为下式:
d=mx+ny+c
其中,参考图(第二视点图片)中像素点P(x,y),x和y是确定该像素点的两个坐标,d为该像素点P(x,y)对应于拟合平面上的视差值,m、n和c是视差平面(第一初始视差平面)的三个参数。
本具体实施方法中选择3D-hough变换来估计个分割颜色区域S对应视差平面的参数(m,n,c)。通过3D-hough变换,将一个3D点云的在原来目标空间内的平面参数(m,n,c)估计问题转化为Hough参数空间内的点参数估计问题。
根据图像空间和Hough参数空间的点-线对偶性,原目标空间内的各视差点经Hough变换后,对应于Hough空间画成(mapping)各平面。对参数空间里各平面交叉点经过的平面数做累加统计,在Hough参数空间内寻找累加器峰值,即搜索其中经过平面数目最多的交叉点。该点对应于原来目标空间内所要求的拟合平面。通过反变换即可得到模板参数(m,n,c)。
对于通过Hough变换获得的模板参数,可能存在估计误差比较大的参数,为了提高视差平面模板参数估计的准确性,对各个颜色区域的模板参数进行误差检测,对于每个颜色区域,其误差err:
err = 1 N Σ ( x , y ) ∈ S ( d p - d ) 2 = 1 N Σ ( x , y ) ∈ S [ d p - ( mx + ny + c ) ] 2
这里,dp为经过步骤U3)后估计得到的像素点p相对于第二视点图片的视差值(局部视差值),S为步骤U1)中分割后的各独立的颜色区域,N为个颜色区域中对应的视差值点云(颜色区域中具有多个像素点,而每个像素点对应一个视差值,在视差点图上即形成了视差点云)的个数。
判断各个颜色区域的误差是否超过设定阈值ε0,若超过阈值ε0,则对该颜色区域的所有视差点使用经典的RANSAC算法重新拟合得到其对应的视差模板参数,将其作为该区域最终的模板参数。
本具体实施方式中RANSAC算法的思路是,首先在对应的每一个待拟合的被分割的颜色区域中,在其初始视差点云(视差点图)中随机选择三个点,直接计算其对应的平面方程;然后计算该颜色区域内的对应的其余视差点到该平面的距离,并预先设定一个阈值ε1,若某个视差点到该平面的距离小于原先预设阈值ε1,则将该视差点归为该平面的内点;统计此平面对应的内点个数,n(n不超过)次重复以上步骤,选取内点最多的平面,再根据特征值算法以最多的内点重新进行平面拟合,得到最终的拟合平面方程,即初始的视差平面。
U5)对U4)步骤中得到的相似初始视差平面模板进行合并优化
在以上的平面拟合步骤中,很有可能将原来属于一个平面模板的颜色区域分割成多个独立的视差平面模板,即一个颜色区域内对应多个视差平面模板。从而使得获得的视差模板数目增加,在后面的图割环节,算法复杂度和运行量都会大大增加。因此,需要将一些相似的模板进行融合。
本具体实施方法中,对原来两个参数分别为(m1,n1,c1)和(m2,n2,c2)相邻的视差平面模板,如果满足下式:
W|m1-m2|+H|n1-n2|+|c1-c2|<δd
其中,W为第一视点图片(左图)的宽度,H为第一视点图片(左图)的高度,δd为视差平面模板的容错范围,则两个视差平面模板定为相似模板,两个视差平面模板归为一类,比如可以选取其中一个视差平面模板代替其余与之相似的视差平面模板。
U6)视差平面赋值,图割法。
在已经得到视差模板的基础上,需要对每个颜色区域进行视差模板的分配。找到一个相应最优的模板f赋给每一个颜色区域S,使得该颜色区域的能量最小。本实施例中通过以下步骤实现:
1)构造能量函数
对于每一个分割区域的能量最小化问题,我们构造一个能量函数来加以衡量:
E(f)=Edata(f)+Esmooth(f)
其中,E(f)是能量函数的值,Edata(f)是数据项的值,Esmooth(f)是平滑项的值,其值与模板f相关,数据项按下式计算:
E data ( f ) = &Sigma; S &Element; R C ( S , f ( S ) )
其中,R是参考图像分割的颜色区域,各分割的颜色区域S与相应标签模板f的匹配代价可表示为:
C ( S , f ( S ) ) = &Sigma; ( x , y ) &Element; S C ( p , p d &OverBar; ) ,
其中,像素点p是颜色区域S的一个像素点,其坐标为x和y,颜色区域S经过视差模板f赋值,即为将颜色区域S按照视差模板f平移,得到的对应的区域,而像素点则为该区域内的像素点。
平滑项选用的是Potts模型,用公式表示如下:
E smooth ( f ) = &Sigma; s , s &prime; u s , s &prime; &CenterDot; &delta; ( f ( S ) &NotEqual; f ( S &prime; ) )
这里,S和S'是相邻的分割的颜色区域,us,s'正比于该两相邻分割区域的边界长度的参数。当f(S)≠f(S')时,亦即相邻区域分配得到的标签f不一样时,δ()函数的值为1.否则为零。
2)构造网格图
如图5所示,为以往经典图割法的网格图的构造,其中,Z轴上的q1…qn表示一系列的视差值,X轴和Y轴用以表示图片坐标,s表示源点,t表示汇点,
在本实施例中,需要做出以下的调整:用分割后的各颜色区域来替代原来的各像素点作为图的节点,用视差平面模板来替代原来离散的初始像素值。这样我们构建得到图割法所需要的网格图。
3)最大流最小割求解能量函数的最小值
通过最大流最小割求得能量函数的最小值,即可以得到每个颜色分割区域S对应的最优视差平面模板。
根据Ford-Fulkerson的网络流理论,网格图的最小割可以通过源点到汇点的最大流来计算。计算最大流的多项式算法共有2类,一类基于Goldberg的推进—重编号(push-relabel)算法;另一类基于Ford-Fulkerson的增广路径(augmenting path)算法。
Dinic算法是一种基于增广路径的求取网络最小割的算法,相比其他增广路径算法,Dinic算法的优点在于利用广度优先搜索(BFS)在剩余图中寻找最短路径,降低了算法实现的时间复杂度.该算法最大的时间执行复杂度是O(mn2),m是网格图边缘的数目,n是网格图节点的数目。
Dinic算法首先从剩余图中寻找一条从源点到汇点的最短路径,增加该路径最大可能的流量Df,在剩余图中减去Df,总流量增加Df.然后循环执行上面的步骤,直到从源点到汇点所有的路径都被充满,得到的流量即为最大流.最大流对应的充满边组成了图像的最小割。
U7)对上步骤U6)得到的视差图做提炼精细化处理。
选择中值滤波,滤波窗口大小为15×15。它的基本思想是用像素点邻域灰度值的中值来代替该点的灰度值。使用中值滤波法来优化处理视差图主要有两大优点:一是能够有效地填充在弱纹理区域由于信噪比较低造成的误匹配点;二是可以滤除由误匹配造成的视差孤立点。
在另一种具体实施例中,其与前一具体实施例不同之处在于,在初始视差图的估计环节,即步骤U2中引入了反馈控制,将左图的视差图与原左图做整合后获得新右图,并将此新右图与原右图作比较,将累计的误差引入到原来具有自适应权值的匹配代价中。
本具体实施方式中,采用了结合局部匹配和全局优化的策略获取视差信息,可以有效的得到全局范围内的视差信息,因此可以确保获得的视差图较为精确,并且具有较高的鲁棒性。同时,方法中涉及的计算过程较为简单,运算量也较小。除此之外,本具体实施方式中,将初步估计得到的视差图信息与原左图整合后,根据其与原真实右图的比较,将误差值引入到初始视察估计的匹配代价函数中形成反馈,相比于前述具体实施方式仅做一次估计得到的初始视差图信息,本具体实施方式中的初始视差信息具有更高的准确性和鲁棒性,也提升了最终获得的视差图的可靠性。

Claims (6)

1.一种基于三维hough变换的获取视差平面的方法,其特征是,包括如下步骤:
A.以第一视点图片的像素点的坐标为变量,第一视点图片的像素点相对于第二视点图片的视差值为因变量,确定第一视点图片的视差点图;
B.将第一视点图片分隔成多个颜色区域S,使相邻的颜色区域的颜色差值大于设定颜色差;
C.根据每个颜色区域相对于第二视点图片的视差点图,通过三维hough变换确定对应于该颜色区域的第一初始视差平面d=mx+ny+c的三个参数m、n和c,其中x和y表示第一视点图片中像素点的坐标;
D.计算每个颜色区域S中像素点的视差相对于对应第一初始视差平面的误差err:
err = 1 N &Sigma; ( x , y ) &Element; S [ d p - ( mx + my + c ) ] 2 ;
其中,dp表示颜色区域S中的像素点p相对于第二视点图片的视差值,像素点p的两个坐标为x和y,N表示颜色区域S中像素点的个数;
E.若误差err小于设定阈值,则将该第一初始视差平面作为初始的视差平面。
2.如权利要求1所述的基于三维hough变换的获取视差平面的方法,其特征是,还包括如下步骤:
若步骤D中误差err大于设定阈值,则:
F1.在该颜色区域对应的视差点图中,选取三个视差点并计算出这三个视差点对应的视差平面;
F2.计算F1步骤中视差点图的其余视差点与F1步骤中确定的视差平面之间的距离,若距离小于设定阈值,则将对应的视差点记为内点;
F3.选取步骤F2中对应内点最多的视差平面,以该视差平面的所有内点根据特征值算法重新确定对应颜色区域的初始的视差平面。
3.如权利要求2所述的基于三维hough变换的获取视差平面的方法,其特征是,还包括如下步骤:
若某个颜色区域通过步骤F1至F3确定得到多个对应的视差平面,对其中任意两个视差平面d1=m1x+n1y+c1和d2=m2x+n2y+c2
若W|m1-m2|+H|n1-n2|+|c1-c2|小于阈值,则将该两个视差平面合并成一个视差平面;
其中,m1、n1和c1是确定视差平面d1位置的三个参数,m2、n2和c2是确定视差平面d2位置的三个参数,W表示与像素点坐标x对应的第一视点图片的宽度,H表示与像素点坐标y对应的第一视点图片的高度。
4.如权利要求3所述的基于三维hough变换的获取视差平面的方法,其特征是,通过如下步骤获取第一视点图片的视差点图:
A1.对第一视点图片的像素点p,在作为参考的第二视点图片中选取若干个待匹配像素点
A2.分别计算像素点pd与待匹配像素点之间的匹配代价
C ( p , p d &OverBar; ) = &Sigma; q &Element; N p , p d &OverBar; &Element; N p d &OverBar; w ( p , q ) w ( p d &OverBar; , q d &OverBar; ) e ( q , q d &OverBar; ) &Sigma; q &Element; N p , p d &OverBar; &Element; N p d &OverBar; w ( p d &OverBar; , q d &OverBar; )
其中, e ( q , q d &OverBar; ) = &Sigma; c &Element; { L , a , b } | I c ( q ) - I c ( q c &OverBar; ) | ;
A3.选取与像素点pd之间的匹配代价最小的待匹配像素点将该待匹配像素点与像素点pd之间的向量差作为像素点pd相对于第二视点图片的视差值;
q为第一视点图片中以像素点p周围设定区域的某个像素点,Np是该设定区域内的像素点的集合,是第二视点图片中像素点周围相应区域内的像素点的集合,为第二视点图片的像素点,像素点相对像素点的相对位置与像素点q相对像素点p的相对位置相同,w(p,q)是像素点p与像素点q之间的匹配权值,是像素点与像素点之间的匹配权值,Ic(q)和分别表示像素点q和的光强,其中下标c表示光强所属Lab空间的某个空间分量。
5.如权利要求1所述的基于三维hough变换的获取视差平面的方法,其特征是,还包括如下步骤:
对于第一视点图片的一个像素点p,其相对于第二视点图片的视差值为第一视差值dl,该像素点p经过该视差值dl的平移后在第二视点图片相对应的像素点为p',像素点p'相对于第一视点图片的视差值为第二视差值dr,若第一视差值dl与第二视差值dr的差的绝对值大于设定视差阈值,则在像素点p的左边或右边找到最近的一个像素点p1,其相对于第二视点图片的视差值为d′l,像素点p1经过该视差值d′l的平移后在第二视点图片相对应的像素点为p1,像素点p1相对于第一视点图片的视差值为d'r,且视差值d′l与视差值d'r的差的绝对值小于设定视差阈值,再将视差值d′l和视差值d'r较小者作为像素点p的相对于第二视点图片的视差值。
6.如权利要求1所述的基于三维hough变换的获取视差平面的方法,其特征是,还包括视差平面模板分配步骤,用于选择其中一个初始的视差平面分配给第一视点图片的各个颜色区域。
CN201210245767.1A 2012-07-16 2012-07-16 一种基于三维hough变换的获取视差平面的方法 Active CN103106651B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201210245767.1A CN103106651B (zh) 2012-07-16 2012-07-16 一种基于三维hough变换的获取视差平面的方法
HK13107662.7A HK1180433A1 (zh) 2012-07-16 2013-07-01 種基於三維 變換的獲取視差平面的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210245767.1A CN103106651B (zh) 2012-07-16 2012-07-16 一种基于三维hough变换的获取视差平面的方法

Publications (2)

Publication Number Publication Date
CN103106651A CN103106651A (zh) 2013-05-15
CN103106651B true CN103106651B (zh) 2015-06-24

Family

ID=48314481

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210245767.1A Active CN103106651B (zh) 2012-07-16 2012-07-16 一种基于三维hough变换的获取视差平面的方法

Country Status (2)

Country Link
CN (1) CN103106651B (zh)
HK (1) HK1180433A1 (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104240217B (zh) * 2013-06-09 2017-08-11 上海兴芯微电子科技有限公司 双目摄像头图像深度信息获取方法及装置
CN104200453B (zh) * 2014-09-15 2017-01-25 西安电子科技大学 基于图像分割和可信度的视差图像校正方法
CN105046688B (zh) * 2015-06-23 2017-10-10 北京工业大学 一种三维点云中的多平面自动识别方法
CN105652873B (zh) * 2016-03-04 2018-10-09 中山大学 一种基于Kinect的移动机器人避障方法
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model
CN108243623B (zh) * 2016-09-28 2022-06-03 驭势科技(北京)有限公司 基于双目立体视觉的汽车防碰撞预警方法和系统
CN107517592B (zh) * 2016-09-28 2021-07-02 驭势科技(北京)有限公司 汽车可行驶区域实时检测方法和系统
CN107016698A (zh) * 2017-03-20 2017-08-04 深圳格兰泰克汽车电子有限公司 基于斜平面平滑的双目立体匹配方法及装置
CN108337498B (zh) * 2018-01-31 2020-04-28 北京大学深圳研究生院 一种曲面拟合的视差计算方法及系统
CN108830860B (zh) * 2018-04-13 2022-03-25 西安电子科技大学 一种基于rgb-d约束的双目图像目标分割方法和装置
CN110675360B (zh) * 2019-08-02 2022-04-01 杭州电子科技大学 一种基于深度图像的实时平面检测及提取的方法
CN111862511B (zh) * 2020-08-10 2021-08-24 湖南海森格诺信息技术有限公司 基于双目立体视觉的目标入侵检测装置及其方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682171A (en) * 1994-11-11 1997-10-28 Nintendo Co., Ltd. Stereoscopic image display device and storage device used therewith
CN101262619A (zh) * 2008-03-30 2008-09-10 深圳华为通信技术有限公司 视差获取方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5682171A (en) * 1994-11-11 1997-10-28 Nintendo Co., Ltd. Stereoscopic image display device and storage device used therewith
CN101262619A (zh) * 2008-03-30 2008-09-10 深圳华为通信技术有限公司 视差获取方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A study on obstacle detection using 3D Hough transform with corner;Sun Min Hwang et al.;《Proceedings of SICE Annual Conference 2010》;20100821;第2507-2510页 *
基于视差平面分割的移动机器人障碍物地图构建方法;宋鑫坤 等;《机器人》;20100331;第32卷(第2期);第171-178页 *

Also Published As

Publication number Publication date
HK1180433A1 (zh) 2013-10-18
CN103106651A (zh) 2013-05-15

Similar Documents

Publication Publication Date Title
CN103106651B (zh) 一种基于三维hough变换的获取视差平面的方法
CN102930530B (zh) 一种双视点图像的立体匹配方法
CN102999913B (zh) 一种基于可信点传播的局部立体匹配方法
CN102074014A (zh) 一种利用基于图论的图像分割算法的立体匹配方法
CN102903096B (zh) 一种基于单目视频的对象深度提取方法
CN101866497A (zh) 基于双目立体视觉的智能三维人脸重建方法及系统
CN106780588A (zh) 一种基于稀疏激光观测的图像深度估计方法
CN108629809B (zh) 一种精确高效的立体匹配方法
Kolmogorov et al. Kolmogorov and Zabih’s graph cuts stereo matching algorithm
CN104867135A (zh) 一种基于指导图像引导的高精度立体匹配方法
CN104517317A (zh) 一种车载红外图像三维重建方法
CN102136136A (zh) 基于自适应Census变换的光度不敏感立体匹配方法
CN103020963B (zh) 一种基于自适应分水岭的图割的多目立体匹配方法
CN106815594A (zh) 立体匹配方法及装置
CN103295229B (zh) 视频深度信息恢复的全局立体匹配方法
CN107170000A (zh) 基于全局块优化的立体影像密集匹配方法
CN103049903B (zh) 一种用于立体视觉系统的双目立体匹配方法
CN104200453A (zh) 基于图像分割和可信度的视差图像校正方法
CN101945299B (zh) 一种基于拍摄设备阵列的动态场景深度恢复方法
CN103020964A (zh) 一种基于自适应分水岭的图割的双目立体匹配方法
CN111402429B (zh) 一种尺度还原、三维重建方法、系统、存储介质及设备
Zhang et al. Efficient disparity calculation based on stereo vision with ground obstacle assumption
Bhadauria et al. Building extraction from satellite images
CN103236057A (zh) 一种改进的自适应权重视差匹配方法
Song et al. Patchmatch based multiview stereo with local quadric window

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1180433

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1180433

Country of ref document: HK