CN102930530A - 一种双视点图像的立体匹配方法 - Google Patents

一种双视点图像的立体匹配方法 Download PDF

Info

Publication number
CN102930530A
CN102930530A CN2012103644285A CN201210364428A CN102930530A CN 102930530 A CN102930530 A CN 102930530A CN 2012103644285 A CN2012103644285 A CN 2012103644285A CN 201210364428 A CN201210364428 A CN 201210364428A CN 102930530 A CN102930530 A CN 102930530A
Authority
CN
China
Prior art keywords
view
left view
right view
accumulation
disparity map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2012103644285A
Other languages
English (en)
Other versions
CN102930530B (zh
Inventor
曹建东
卜树坡
吴冬燕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Vocational Institute of Industrial Technology
Original Assignee
Suzhou Vocational Institute of Industrial Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Vocational Institute of Industrial Technology filed Critical Suzhou Vocational Institute of Industrial Technology
Priority to CN201210364428.5A priority Critical patent/CN102930530B/zh
Publication of CN102930530A publication Critical patent/CN102930530A/zh
Application granted granted Critical
Publication of CN102930530B publication Critical patent/CN102930530B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

本发明公开了一种双视点图像的立体匹配方法,获取左视图匹配代价、左视图区域视差、右视图匹配代价和右视图区域视差;以每一个像素点为中心点,构造十字形累积区域,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价;根据左视图和右视图区域视差,通过极线约束和累积后的匹配代价获取初始右视差图、第一误差能量矩阵、初始左视差图和第二误差能量矩阵;根据初始右视差图、第一误差能量矩阵、初始左视差图和第二误差能量矩阵,分别获取初始右视差图和初始左视差图中的正确匹配点,去除错误匹配点;采用带宽参数对立体图像对的左右两个视图重新进行分割,根据分割结果进行平滑处理,获取光滑的右视差图和光滑的左视差图。

Description

一种双视点图像的立体匹配方法
技术领域
本发明涉及计算机视觉和图像处理技术领域,尤其涉及一种双视点图像的立体匹配方法。
背景技术
立体匹配是计算机视觉和图像处理中的一个关键性问题,其根据已有的图像数据寻求立体图像对中两幅视图彼此间的对应映射关系,匹配后对应点的实质是同一三维景物在不同视点图像中的投影。立体匹配主要包括制定相似性度量准则和匹配搜索策略等。目前,国内外的研究人员已经提出了大量的匹配方法。
基于图像灰度的匹配方法着眼于立体图像对中的视图总体特性,以两幅视图中的目标区域和搜索区中的原始灰度信息为基础,检测所有原始灰度信息的相似程度或者是差异程度,利用某种相似性度量,例如:相关函数、协方差函数、差绝对值和等测度极值等,来判定两幅视图的对应关系。不同方法之间的主要区别在于所采用的相似性度量不同,常用的方法有积相关方法、差相关方法和序贯相似检测方法等。
基于图像特征的匹配涉及两个基本步骤。第一步需要先提取立体图像对中某一视图中的特征,图像匹配基元特征可以是点、边界、轮廓或统计特征,同时来描述这些特征,例如:Harris算子、Moravec算子、具有仿射变换不变性的SIFT描述和Steerable滤波器等;第二步以第一步中提取的特征数据为依据,运用不同的相似性度量准则和搜索策略,寻求另一视图中与之一一对应的图像特征。
基于相关窗口的匹配方法是一种广泛使用的立体匹配方法。该方法的核心思想是计算以待匹配像素点为中心的相关窗口的相似度,将相似度最高的对应点作为匹配点。例如:求取右视图初始视差图的过程中,对于右视图中的某个像素点,构造一个邻域支持窗口,并且把这个窗口在左图像上沿着视差范围进行平行移动,并通过匹配代价函数来计算这两个窗口之间的相似度。立体匹配中常用的匹配代价函数有SSD(平方差和)、SAD(绝对差和)、NSSD(归一化方差和)和NCC(归一化交叉相关)等。当两个窗口包含相同的特征信息时,图像的一致性度量将达到最大值,同时基于匹配代价将达到最小值,此时相关窗口移动距离就是两个匹配像素点的视差。
近几年,Yoon和Kweon在基本相关窗口匹配方法的基础上提出自适应权值匹配。他们认为,在立体匹配的过程中,相关窗口内的像素点对中心像素点的支持程度是有差别的,因此将相关窗口内像素的颜色相似性和空间距离接近性结合起来设计权值,累积匹配代价。后来,在自适应权值的基础上,Tombari和Mattoccia提出了一种基于图像区域分割的自适应权值匹配方法,该方法将立体图像对的区域分割结果引入匹配权值中,并假设同一个分割区域内视差是一致的。
发明人在实现本发明的过程中,发现现有技术中至少存在以下缺点和不足:
上述方法都是以像素的颜色相似性为标准,没有考虑图像的局部特征,导致视差在不连续区域误差很大;采用累积窗口较大,导致计算速度比较慢。
发明内容
本发明提供了一种双视点图像的立体匹配方法,本发明提高了匹配的精度和计算的速度,详见下文描述:
一种双视点图像的立体匹配方法,所述方法包括以下步骤:
(1)对立体图像对的左右两个视图分别进行分割,获取左视图匹配代价、左视图区域视差、右视图匹配代价和右视图区域视差;
(2)以每一个像素点为中心点,构造十字形累积区域,根据所述左视图匹配代价、所述右视图匹配代价和所述十字形累积区域,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价;
(3)根据左视图和右视图区域视差,通过极线约束和累积后的匹配代价获取初始右视差图dR(x,y)、第一误差能量矩阵ER(x,y)、初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y);
(4)根据所述初始右视差图dR(x,y)、所述第一误差能量矩阵ER(x,y)、所述初始左视差图dL(x,y)和所述第二误差能量矩阵EL(x,y),分别获取所述初始右视差图dR(x,y)和所述初始左视差图dL(x,y)中的正确匹配点,去除错误匹配点;
(5)采用带宽参数(hs2,hr2)对立体图像对的左右两个视图重新进行分割,根据分割结果进行平滑处理,获取光滑的右视差图dR和光滑的左视差图dL
所述对立体图像对的左右两个视图分别进行分割,获取左视图匹配代价、左视图区域视差、右视图匹配代价和右视图区域视差具体为:
1)带宽参数选取为(hs1,hr1),对左右两个视图分别进行分割,hs1是空间带宽参数,hr1是颜色带宽参数;
2)对左右视图中的点分别作Census变换,获取左视图CCensus(x,y,d)和右视图CCensus(x,y,d);
3)分别以右视图和左视图为参考视图,把Mean Shift分割后的不规则区域作为匹配基元,区域Si作为窗口,右视图窗口的滑动范围为[dmin,dmax],左视图窗口的滑动范围为[-dmax,-dmin],分别获取匹配代价C(x,y,d);
C(x,y,d)=(1-w)×CSD(x,y,d)+w×CCensus(x,y,d)
其中,w是介于0和1之间的权值,CSD(x,y,d)为平方差匹配代价;
4)根据右视图匹配代价C(x,y,d)在左视图中寻找匹配区域,获取满足预设条件的右视图区域视差dc;根据左视图匹配代价C(x,y,d)在右视图中寻找匹配区域,获取满足预设条件的左视图区域视差dc
所述以每一个像素点为中心点,构造十字形累积区域,根据所述左视图匹配代价、所述右视图匹配代价和所述十字形累积区域,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价具体为:
1)获取满足区域增长条件的十字形累积区域,区域增长条件为:Dspatial(p,pl)<Lmax,且Dcolor(p,pl)<τ;Dspatial(p,pl)表示两点p,pl的空间距离,Dcolor(p,pl)表示两点p,pl的颜色差;
2)根据所述十字形累积区域、左视图匹配代价、右视图匹配代价,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价。
所述获取满足区域增长条件的十字形累积区域具体为:
利用中心点为基点,当邻点与基点的颜色差小于第一阈值τ,沿水平方向对累积区域进行增长,最长不超过第二阈值Lmax,再以在累积区域内的所有点分别作中心点,沿垂直方向作区域生长,最长不超过第二阈值Lmax,最终形成十字形累积区域;或者,
利用中心点为基点,当邻点与中心点的颜色差小于第一阈值τ,沿垂直方向对累积区域进行增长,最长不超过第二阈值Lmax,再以在累积区域内的所有点分别作中心点,沿水平方向作区域生长,最长不超过第二阈值Lmax,最终形成十字形累积区域。
所述根据左视图和右视图区域视差,通过极线约束和累积后的匹配代价获取初始右视差图dR(x,y)、第一误差能量矩阵ER(x,y)、初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y)具体为:
1)设定视差搜索范围d=[dc-Q,dc+Q],对于右视图中像素点IR(x,y),通过极线约束在左视图中找匹配点,当右视图中像素点IR(x,y)与左视图中IL(x-d,y)的C'(x,y,d)达到最小值时的d值作为IR(x,y)的视差值;
2)对右视图中的每一点执行步骤1),得出每一点视差值,构成右视图的初始视差图dR(x,y),把对应的匹配代价最小值记在第一误差能量矩阵ER(x,y)中;
3)设定视差搜索范围d=[dc-Q,dc+Q],对于左视图中像素点IL(x,y),通过极线约束在右视图中找匹配点,当左视图中像素点IL(x,y)与右视图中IR(x+d,y)的C'(x,y,d)达到最小值时的d值作为IL(x,y)的视差值;
4)对左视图中的每一点执行步骤3),得出每一点视差值,构成左视图的初始视差图dL(x,y),把对应的匹配代价最小值记在第二矩阵EL(x,y)中。
本发明提供的技术方案的有益效果是:本发明利用两次图像分割算法,分别用于视差估计与视差图平滑,通过匹配代价和能量矩阵最终获取到光滑的左视图和右视图,并且通过实验表明本发明能够对双视点图像进行准确的立体匹配,本发明提高了匹配的精度和计算的速度。
附图说明
图1为左视图的示意图;
图2为右视图的示意图;
图3为图2处理后的示意图;
图4为图1处理后的示意图;
图5为本发明提供的立体匹配的流程图;
图6为本发明提供的一种双视点图像的立体匹配方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明实施方式作进一步地详细描述。
为了提高匹配的精度和计算的速度,本发明实施例提供了一种双视点图像的立体匹配方法,参见图1、图2、图3、图4、图5和图6,详见下文描述:
101:对立体图像对的左右两个视图分别进行分割,获取左视图匹配代价、左视图区域视差、右视图匹配代价和右视图区域视差;
其中,该步骤具体为:
1)带宽参数选取为(hs1,hr1),对左右两个视图分别进行分割;
其中,将右视图分割后的各个区域标记为Si,下标i为区域的序号;或将左视图分割后的各个区域标记为Si,下标i为区域的序号。
其中,hs1是空间带宽参数,hr1是颜色带宽参数。具体实现时,采用本领域技术人员通用的图像分割方法对左右两个视图进行分割,为本领域技术人员所公知,本发明实施例在此不做赘述。
2)对左右视图中的点分别作Census变换,获取左视图CCensus(x,y,d)和右视图CCensus(x,y,d);
定义Census(x,y)为点(x,y)的Census变换,Census变换结果为一个大小为1×n的向量:
Census(x,y)=(f(p'1,p),f(p'2,p),...,f(p'n,p))1×n
其中每一分量的计算方法为:
f ( p &prime; , p ) = 1 I ( p &prime; ) < I ( p ) 0 I ( p &prime; ) &GreaterEqual; I ( p )
其中p的坐标为(x,y),p'为点p的9乘9邻域内的点,I(p')和I(p)为像素点的亮度值。
把Census变换的向量看成一个二进制数,定义Census变换之间的相似性测度为Census变换之间的汉明距离。
右视图CCensus(x,y,d)具体为:右视图点(x,y)的Census(x,y)与左视图点(x-d,y)的Census(x-d,y)的汉明距离;
左视图CCensus(x,y,d)具体为:左视图点(x,y)的Census(x,y)与右视图点(x+d,y)的Census(x+d,y)的汉明距离。
3)以右视图为参考视图,把Mean Shift分割后的不规则区域作为匹配基元,区域Si作为窗口,窗口的滑动范围为[dmin,dmax],获取右视图匹配代价C(x,y,d);
C(x,y,d)=(1-w)×CSD(x,y,d)+w×CCensus(x,y,d)
其中,w是介于0和1之间的权值,CSD(x,y,d)为平方差匹配代价。
CSD(x,y,d)=|I(x,y)-I'(x-d,y)|2
其中,I(x,y)为右视图点(x,y)的亮度值,I'(x-d,y)为左视图点(x-d,y)的亮度值。
4)以左视图为参考视图,把Mean Shift分割后的不规则区域作为匹配基元,区域Si作为窗口,窗口的滑动范围为[-dmax,-dmin],获取左视图匹配代价C(x,y,d);
C(x,y,d)=(1-w)×CSD(x,y,d)+w×CCensus(x,y,d)
其中,w是介于0和1之间的权值,CSD(x,y,d)为平方差匹配代价。
CSD(x,y,d)=|I'(x,y)-I(x+d,y)|2
其中,I'(x,y)为左视图点(x,y)的亮度值,I(x-d,y)为右视图点(x+d,y)的亮度值。
5)根据右视图匹配代价C(x,y,d)在左视图中寻找匹配区域,获取满足预设条件的右视图区域视差dc;根据左视图匹配代价C(x,y,d)在右视图中寻找匹配区域,获取满足预设条件的左视图区域视差dc
其中,预设条件具体为:随着窗口Si的逐步移动,累计窗口Si所有像素点的匹配代价,当匹配代价最小时,获取相应的区域视差dc。即当匹配代价最小时对应的图像的一致性度量将达到最大值。
102:以每一个像素点为中心点,构造十字形累积区域,根据左视图匹配代价、右视图匹配代价和十字形累积区域,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价;
其中,该步骤具体为:
1)获取满足区域增长条件的十字形累积区域,区域增长条件为:Dspatial(p,pl)<Lmax,且Dcolor(p,pl)<τ;Dspatial(p,pl)表示两点p,pl的空间距离,Dcolor(p,pl)表示两点p,pl的颜色差。
该步骤具体为:利用中心点为基点,当邻点与基点的颜色差小于第一阈值τ,沿水平方向对累积区域进行增长,最长不超过第二阈值Lmax,再以在累积区域内的所有点分别作中心点,沿垂直方向作区域生长,最长不超过第二阈值Lmax,最终形成十字形累积区域;或,
利用中心点为基点,当邻点与中心点的颜色差小于第一阈值τ,沿垂直方向对累积区域进行增长,最长不超过第二阈值Lmax,再以在累积区域内的所有点分别作中心点,沿水平方向作区域生长,最长不超过第二阈值Lmax,最终形成十字形累积区域。
2)根据十字形累积区域、左视图匹配代价C(x,y,d)、右视图匹配代价C(x,y,d),分别获取左视图累积后的匹配代价C'(x,y,d)和右视图累积后的匹配代价C'(x,y,d)。
Figure BDA00002199419600071
其中M(x,y)为点(x,y)的十字形累积区域,(x',y')为该区域内的点。
103:根据左视图和右视图区域视差,通过极线约束和累积后的匹配代价获取初始右视差图dR(x,y)、第一误差能量矩阵ER(x,y)、初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y);
其中,该步骤具体为:
1)设定视差搜索范围d=[dc-Q,dc+Q],对于右视图中像素点IR(x,y),通过极线约束在左视图中找匹配点,当右视图中像素点IR(x,y)与左视图中IL(x-d,y)的C'(x,y,d)达到最小值时,把此时的d值作为IR(x,y)的视差值,记为dp,对应的匹配代价为C'(x,y,dp);
其中,实际应用中通常选取的视差搜索范围为d=[dc-5,dc+5],具体实现时,根据实际应用中的需要确定,本发明实施例对此不做限制。
2)对右视图中的每一点执行步骤1),得出每一点视差值,构成右视图的初始视差图dR(x,y),把对应的匹配代价最小值C'(x,y,dp)记在第一误差能量矩阵ER(x,y)中;
其中,第一误差能量矩阵ER(x,y)的行列根据右视图中像素点确定,本发明实施例在此不做赘述。
3)设定视差搜索范围d=[dc-Q,dc+Q],对于左视图中像素点IL(x,y),通过极线约束在右视图中找匹配点,当左视图中像素点IL(x,y)与右视图中IR(x+d,y)的C'(x,y,d)达到最小值时,把此时的d值作为IL(x,y)的视差值,记为dp,对应的匹配代价为C'(x,y,dp);
其中,实际应用中通常选取的视差搜索范围为d=[dc-5,dc+5],具体实现时,根据实际应用中的需要确定,本发明实施例对此不做限制。
4)对左视图中的每一点执行步骤3),得出每一点视差值,构成左视图的初始视差图dL(x,y),把对应的匹配代价最小值C'(x,y,dp)记在第二误差能量矩阵EL(x,y)中。
104:根据初始右视差图dR(x,y)、第一误差能量矩阵ER(x,y)、初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y),分别获取初始右视差图dR(x,y)和初始左视差图dL(x,y)中的正确匹配点,去除错误匹配点;
其中,该步骤具体为:
1)初始右视差图dR(x,y)在左视图中的匹配点为IL(x-dR(x,y),y),根据初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y),获取匹配点IL(x-dR(x,y),y)的匹配代价最小值为EL(x-dR(x,y),y);
2)若ER(x,y)<EL(x-dR(x,y),y),则把初始右视差图dR(x,y)中相应的点标记为正确匹配点,否则标记为错误匹配点,去除错误匹配点;
3)初始左视差图dL(x,y)在右视图中的匹配点为IR(x+dL(x,y),y),根据初始右视差图dR(x,y)和第一误差能量矩阵ER(x,y),获取匹配点IR(x+dL(x,y),y)的匹配代价最小值为ER(x+dL(x,y),y);
4)若EL(x,y)<ER(x+dL(x,y),y),则把初始左视差图dL(x,y)中相应的点标记为正确匹配点,否则标记为错误匹配点,去除错误匹配点。
105:采用带宽参数(hs2,hr2)对立体图像对的左右两个视图重新进行分割,根据分割结果进行平滑处理,获取光滑的右视差图dR和光滑的左视差图。
其中,由于分割后的区域较小,可以假设区域内的视差基本一致,并以此作视差平滑。利用右视图区域或左视图区域分割结果进行平滑处理,为了更准确的区别不同景物的视差,此处图像分割所得的区域要比初始视差估计时更小。
其中,该步骤具体为:假定第i个右分割区域中的视差具有一致性,用右分割区域中所有正确匹配点的视差值求第一平均值,令右分割区域中所有像素的视差值等于第一平均值,得到光滑的右视差图dR;假定第i个左分割区域中的视差具有一致性,用左分割区域中所有正确匹配点的视差值求第二平均值,令左分割区域中所有像素的视差值等于第二平均值,得到光滑的左视差图dL
其中,右分割区域和初始右视差图中的点相同,即正确匹配点相同;左分割区域和初始左视差图中的点相同,即正确匹配点相同。
其中,图1为左视图,图2为右视图,通过本方法获取到图3和图4中的平滑视差图,平滑视差图中各个视差平面层次明显,视差不连续区域边界清晰,得出的视差图与实际视差值相符合,验证了本方法的可行性。
综上所述,本发明实施例利用两次图像分割算法,分别用于视差估计与视差图平滑,通过匹配代价和能量矩阵最终获取到光滑的左视图和右视图,并且通过实验表明本发明实施例能够对双视点图像进行准确的立体匹配,本发明实施例提高了匹配的精度和计算的速度。
本领域技术人员可以理解附图只是一个优选实施例的示意图,上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种双视点图像的立体匹配方法,其特征在于,所述方法包括以下步骤:
(1)对立体图像对的左右两个视图分别进行分割,获取左视图匹配代价、左视图区域视差、右视图匹配代价和右视图区域视差;
(2)以每一个像素点为中心点,构造十字形累积区域,根据所述左视图匹配代价、所述右视图匹配代价和所述十字形累积区域,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价;
(3)根据左视图和右视图区域视差,通过极线约束和累积后的匹配代价获取初始右视差图dR(x,y)、第一误差能量矩阵ER(x,y)、初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y);
(4)根据所述初始右视差图dR(x,y)、所述第一误差能量矩阵ER(x,y)、所述初始左视差图dL(x,y)和所述第二误差能量矩阵EL(x,y),分别获取所述初始右视差图dR(x,y)和所述初始左视差图dL(x,y)中的正确匹配点,去除错误匹配点;
(5)采用带宽参数(hs2,hr2)对立体图像对的左右两个视图重新进行分割,根据分割结果进行平滑处理,获取光滑的右视差图dR和光滑的左视差图dL
2.根据权利要求1所述的一种双视点图像的立体匹配方法,其特征在于,所述对立体图像对的左右两个视图分别进行分割,获取左视图匹配代价、左视图区域视差、右视图匹配代价和右视图区域视差具体为:
1)带宽参数选取为(hs1,hr1),对左右两个视图分别进行分割,hs1是空间带宽参数,hr1是颜色带宽参数;
2)对左右视图中的点分别作Census变换,获取左视图CCensus(x,y,d)和右视图CCensus(x,y,d);
3)分别以右视图和左视图为参考视图,把Mean Shift分割后的不规则区域作为匹配基元,区域Si作为窗口,右视图窗口的滑动范围为[dmin,dmax],左视图窗口的滑动范围为[-dmax,-dmin],分别获取匹配代价C(x,y,d);
C(x,y,d)=(1-w)×CSD(x,y,d)+w×CCensus(x,y,d)
其中,w是介于0和1之间的权值,CSD(x,y,d)为平方差匹配代价;
4)根据右视图匹配代价C(x,y,d)在左视图中寻找匹配区域,获取满足预设条件的右视图区域视差dc;根据左视图匹配代价C(x,y,d)在右视图中寻找匹配区域,获取满足预设条件的左视图区域视差dc
3.根据权利要求2所述的一种双视点图像的立体匹配方法,其特征在于,所述以每一个像素点为中心点,构造十字形累积区域,根据所述左视图匹配代价、所述右视图匹配代价和所述十字形累积区域,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价具体为:
1)获取满足区域增长条件的十字形累积区域,区域增长条件为:Dspatial(p,pl)<Lmax,且Dcolor(p,pl)<τ;Dspatial(p,pl)表示两点p,pl的空间距离,Dcolor(p,pl)表示两点p,pl的颜色差;
2)根据所述十字形累积区域、左视图匹配代价、右视图匹配代价,分别获取左视图累积后的匹配代价和右视图累积后的匹配代价。
4.根据权利要求3所述的一种双视点图像的立体匹配方法,其特征在于,所述获取满足区域增长条件的十字形累积区域具体为:
利用中心点为基点,当邻点与基点的颜色差小于第一阈值τ,沿水平方向对累积区域进行增长,最长不超过第二阈值Lmax,再以在累积区域内的所有点分别作中心点,沿垂直方向作区域生长,最长不超过第二阈值Lmax,最终形成十字形累积区域;或者,
利用中心点为基点,当邻点与中心点的颜色差小于第一阈值τ,沿垂直方向对累积区域进行增长,最长不超过第二阈值Lmax,再以在累积区域内的所有点分别作中心点,沿水平方向作区域生长,最长不超过第二阈值Lmax,最终形成十字形累积区域。
5.根据权利要求4所述的一种双视点图像的立体匹配方法,其特征在于,所述根据左视图和右视图区域视差,通过极线约束和累积后的匹配代价获取初始右视差图dR(x,y)、第一误差能量矩阵ER(x,y)、初始左视差图dL(x,y)和第二误差能量矩阵EL(x,y)具体为:
1)设定视差搜索范围d=[dc-Q,dc+Q],对于右视图中像素点IR(x,y),通过极线约束在左视图中找匹配点,当右视图中像素点IR(x,y)与左视图中IL(x-d,y)的C'(x,y,d)达到最小值时的d值作为IR(x,y)的视差值;
2)对右视图中的每一点执行步骤1),得出每一点视差值,构成右视图的初始视差图dR(x,y),把对应的匹配代价最小值记在第一误差能量矩阵ER(x,y)中;
3)设定视差搜索范围d=[dc-Q,dc+Q],对于左视图中像素点IL(x,y),通过极线约束在右视图中找匹配点,当左视图中像素点IL(x,y)与右视图中IR(x+d,y)的C'(x,y,d)达到最小值时的d值作为IL(x,y)的视差值;
4)对左视图中的每一点执行步骤3),得出每一点视差值,构成左视图的初始视差图dL(x,y),把对应的匹配代价最小值记在第二矩阵EL(x,y)中。
CN201210364428.5A 2012-09-26 2012-09-26 一种双视点图像的立体匹配方法 Expired - Fee Related CN102930530B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210364428.5A CN102930530B (zh) 2012-09-26 2012-09-26 一种双视点图像的立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210364428.5A CN102930530B (zh) 2012-09-26 2012-09-26 一种双视点图像的立体匹配方法

Publications (2)

Publication Number Publication Date
CN102930530A true CN102930530A (zh) 2013-02-13
CN102930530B CN102930530B (zh) 2015-06-17

Family

ID=47645320

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210364428.5A Expired - Fee Related CN102930530B (zh) 2012-09-26 2012-09-26 一种双视点图像的立体匹配方法

Country Status (1)

Country Link
CN (1) CN102930530B (zh)

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220545A (zh) * 2013-04-28 2013-07-24 上海大学 一种立体视频实时深度估计系统硬件实现方法
CN103295230A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 立体匹配的能量最小化加速方法
CN103632365A (zh) * 2013-11-13 2014-03-12 华北电力大学(保定) 一种立体图像视差估计方法
CN104427324A (zh) * 2013-09-02 2015-03-18 联咏科技股份有限公司 视差计算方法及其立体匹配装置
CN105447845A (zh) * 2014-08-25 2016-03-30 联想(北京)有限公司 一种数据处理方法及电子设备
WO2016065579A1 (zh) * 2014-10-30 2016-05-06 北京大学深圳研究生院 一种全局视差估计方法和系统
WO2016065578A1 (zh) * 2014-10-30 2016-05-06 北京大学深圳研究生院 一种全局视差估计方法和系统
CN105761270A (zh) * 2016-03-15 2016-07-13 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN105957078A (zh) * 2016-04-27 2016-09-21 浙江万里学院 一种基于图割的多视点视频分割方法
CN106254850A (zh) * 2016-08-23 2016-12-21 深圳市捷视飞通科技股份有限公司 双视点立体视频的图像匹配方法及装置
CN106846290A (zh) * 2017-01-19 2017-06-13 西安电子科技大学 基于抗纹理十字和权值十字的立体视差优化方法
CN108269253A (zh) * 2018-01-11 2018-07-10 天津大学 基于小波变换和局部结构特征的立体图像质量评价方法
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN108460792A (zh) * 2016-12-12 2018-08-28 南京理工大学 一种基于图像分割的高效聚焦立体匹配方法
WO2018214505A1 (zh) * 2017-05-22 2018-11-29 成都通甲优博科技有限责任公司 立体匹配方法与系统
CN111242999A (zh) * 2020-01-10 2020-06-05 大连理工大学 基于上采样及精确重匹配的视差估计优化方法
CN115514877A (zh) * 2021-06-22 2022-12-23 爱思开海力士有限公司 用于从多视角图像降噪的装置和方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007720A1 (en) * 2008-06-27 2010-01-14 Beddhu Murali Method for front matching stereo vision
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102136136A (zh) * 2011-03-17 2011-07-27 南京航空航天大学 基于自适应Census变换的光度不敏感立体匹配方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100007720A1 (en) * 2008-06-27 2010-01-14 Beddhu Murali Method for front matching stereo vision
CN101976455A (zh) * 2010-10-08 2011-02-16 东南大学 一种基于立体匹配的彩色图像三维重建方法
CN102136136A (zh) * 2011-03-17 2011-07-27 南京航空航天大学 基于自适应Census变换的光度不敏感立体匹配方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KE ZHANG等: "Cross-Based Local Stereo Matching Using Orthogonal Integral Images", 《IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *
周龙等: "基于Census变换和改进自适应窗口的立体匹配算法", 《航空学报》 *

Cited By (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103220545B (zh) * 2013-04-28 2015-05-06 上海大学 一种立体视频实时深度估计系统硬件实现方法
CN103220545A (zh) * 2013-04-28 2013-07-24 上海大学 一种立体视频实时深度估计系统硬件实现方法
CN103295230B (zh) * 2013-05-13 2016-08-10 清华大学深圳研究生院 立体匹配的能量最小化加速方法
CN103295230A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 立体匹配的能量最小化加速方法
CN104427324A (zh) * 2013-09-02 2015-03-18 联咏科技股份有限公司 视差计算方法及其立体匹配装置
CN103632365A (zh) * 2013-11-13 2014-03-12 华北电力大学(保定) 一种立体图像视差估计方法
CN105447845A (zh) * 2014-08-25 2016-03-30 联想(北京)有限公司 一种数据处理方法及电子设备
CN105447845B (zh) * 2014-08-25 2019-01-15 联想(北京)有限公司 一种数据处理方法及电子设备
WO2016065579A1 (zh) * 2014-10-30 2016-05-06 北京大学深圳研究生院 一种全局视差估计方法和系统
WO2016065578A1 (zh) * 2014-10-30 2016-05-06 北京大学深圳研究生院 一种全局视差估计方法和系统
CN105761270B (zh) * 2016-03-15 2018-11-27 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN105761270A (zh) * 2016-03-15 2016-07-13 杭州电子科技大学 一种基于外极线距离变换的树型滤波立体匹配方法
CN105957078A (zh) * 2016-04-27 2016-09-21 浙江万里学院 一种基于图割的多视点视频分割方法
CN106254850B (zh) * 2016-08-23 2019-06-04 深圳市捷视飞通科技股份有限公司 双视点立体视频的图像匹配方法及装置
CN106254850A (zh) * 2016-08-23 2016-12-21 深圳市捷视飞通科技股份有限公司 双视点立体视频的图像匹配方法及装置
CN108460792B (zh) * 2016-12-12 2021-09-21 南京理工大学 一种基于图像分割的高效聚焦立体匹配方法
CN108460792A (zh) * 2016-12-12 2018-08-28 南京理工大学 一种基于图像分割的高效聚焦立体匹配方法
CN106846290A (zh) * 2017-01-19 2017-06-13 西安电子科技大学 基于抗纹理十字和权值十字的立体视差优化方法
CN106846290B (zh) * 2017-01-19 2019-10-11 西安电子科技大学 基于抗纹理十字和权值十字的立体视差优化方法
WO2018214505A1 (zh) * 2017-05-22 2018-11-29 成都通甲优博科技有限责任公司 立体匹配方法与系统
CN108269253A (zh) * 2018-01-11 2018-07-10 天津大学 基于小波变换和局部结构特征的立体图像质量评价方法
CN108322724B (zh) * 2018-02-06 2019-08-16 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN108322724A (zh) * 2018-02-06 2018-07-24 上海兴芯微电子科技有限公司 图像立体匹配方法以及双目视觉设备
CN111242999A (zh) * 2020-01-10 2020-06-05 大连理工大学 基于上采样及精确重匹配的视差估计优化方法
CN111242999B (zh) * 2020-01-10 2022-09-20 大连理工大学 基于上采样及精确重匹配的视差估计优化方法
CN115514877A (zh) * 2021-06-22 2022-12-23 爱思开海力士有限公司 用于从多视角图像降噪的装置和方法
CN115514877B (zh) * 2021-06-22 2024-03-19 爱思开海力士有限公司 图像处理装置和降低噪声的方法

Also Published As

Publication number Publication date
CN102930530B (zh) 2015-06-17

Similar Documents

Publication Publication Date Title
CN102930530B (zh) 一种双视点图像的立体匹配方法
CN102074014B (zh) 一种利用基于图论的图像分割算法的立体匹配方法
KR100793076B1 (ko) 에지 적응형 스테레오/다시점 영상 정합 장치 및 그 방법
CN105069804B (zh) 基于智能手机的三维模型扫描重建方法
CN102136136B (zh) 基于自适应Census变换的光度不敏感立体匹配方法
CN104574331B (zh) 一种数据处理方法、装置、计算机存储介质及用户终端
CN104318576A (zh) 一种超像素级别的图像全局匹配方法
CN104850847B (zh) 具有自动瘦脸功能的图像优化系统和方法
CN103106651A (zh) 一种基于三维hough变换的获取视差平面的方法
CN103020963B (zh) 一种基于自适应分水岭的图割的多目立体匹配方法
Buades et al. Reliable multiscale and multiwindow stereo matching
CN104065946A (zh) 基于图像序列的空洞填充方法
CN108629809B (zh) 一种精确高效的立体匹配方法
CN102903111B (zh) 基于图像分割的大面积低纹理区立体匹配算法
CN102740096A (zh) 一种基于时空结合的动态场景立体视频匹配方法
CN103049903B (zh) 一种用于立体视觉系统的双目立体匹配方法
Liu et al. An enhanced depth map based rendering method with directional depth filter and image inpainting
Schauwecker et al. A comparative study of stereo-matching algorithms for road-modeling in the presence of windscreen wipers
Farid et al. Edge enhancement of depth based rendered images
CN102567992B (zh) 遮挡区域的图像匹配方法
Damjanović et al. Local stereo matching using adaptive local segmentation
CN103337064A (zh) 图像立体匹配中的一种误匹配点剔除方法
Farid et al. Edges shape enforcement for visual enhancement of depth image based rendering
Zhu et al. Hybrid scheme for accurate stereo matching
CN103903262A (zh) 基于图像分割的深度不连续区域立体匹配算法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150617

Termination date: 20200926