CN104091339A - 一种图像快速立体匹配方法及装置 - Google Patents

一种图像快速立体匹配方法及装置 Download PDF

Info

Publication number
CN104091339A
CN104091339A CN201410342671.6A CN201410342671A CN104091339A CN 104091339 A CN104091339 A CN 104091339A CN 201410342671 A CN201410342671 A CN 201410342671A CN 104091339 A CN104091339 A CN 104091339A
Authority
CN
China
Prior art keywords
pixel
parallax
candidate
subclass
cost
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201410342671.6A
Other languages
English (en)
Other versions
CN104091339B (zh
Inventor
王好谦
田雨时
宣慧明
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Graduate School Tsinghua University
Original Assignee
Shenzhen Graduate School Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Graduate School Tsinghua University filed Critical Shenzhen Graduate School Tsinghua University
Priority to CN201410342671.6A priority Critical patent/CN104091339B/zh
Publication of CN104091339A publication Critical patent/CN104091339A/zh
Application granted granted Critical
Publication of CN104091339B publication Critical patent/CN104091339B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

本发明公开了一种图像快速立体匹配方法及装置,该方法包括如下步骤:将参考视图过分割为互不重叠的多个区域;计算参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价;确定当前像素i处的候选视差子集合和支持子集合;迭代计算像素i的聚合匹配代价,根据聚合匹配代价更新缩小候选视差子集合和支持子集合,使候选视差子集合和支持子集合中的元素不断减少,直至候选视差子集合中的候选视差数目降低至设定视差数目;选择候选视差子集中最小匹配代价对应的视差值作为像素i的第一视差值。本发明在保证匹配精度的同时大大加快了算法运行速度;另外使用了基于PatchMatch算法的视差平面拟合方法,能够较快地收敛到最优平面参数估计值。

Description

一种图像快速立体匹配方法及装置
【技术领域】
本发明涉及计算机视觉领域,尤其涉及一种图像快速立体匹配方法及装置。
【背景技术】
高精度的深度信息在计算机视觉领域的很多应用场合都起着至关重要的作用,尤其是在立体视觉中,高质量稠密深度图的获取是三维重建、基于深度图绘制以及虚拟视点合成的关键。双目立体匹配是经典的视差图或深度图获取技术,也是计算机视觉领域中的研究热点之一。一个完整有效的立体匹配算法框架可分为像素级匹配代价计算、匹配代价聚合、视差优化及计算、视差修正这四个步骤。目前主流的立体匹配算法可分为局部算法和全局算法两类。局部算法的优点是简单、有效、快速,全局算法由于加入了全局优化的过程,其视差图结果更好,但全局优化一般需要极大的计算复杂度,算法运行速度较慢。此外还有一类基于图像分割和视差平面拟合的立体匹配算法,在使用局部算法得到初始视差图结果后对每个分割区域在视差空间中拟合一个平面,并可以进一步构建能量函数优化这些平面标号,确定了平面参数即确定了该区域内像素的视差值。此类算法可得到接近全局算法的结果,但运行时间较短,是目前最主流的立体匹配算法之一。
现有算法中以当前像素为中心的一个矩形窗口中所有邻域像素都要参与匹配代价聚合,这种算法的运行速度较慢。目前的视差平面拟合收敛太慢。
【发明内容】
为了克服现有技术的不足,本发明提供了一种图像快速立体匹配方法及装置,以保证输出良好的视差图结果的同时,相比现有算法在快速性与高效性上有较大提高。
一种图像快速立体匹配方法,包括如下步骤:
S10,将参考视图过分割为互不重叠的多个区域;
S20,对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d,计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价;其中,所述像素i′与像素i之间的视差是所述候选视差d;
S30,根据所述确定原始候选视差集合D计算所述像素i的像素初始匹配代价,确定最大的像素初始匹配代价和最小的像素初始匹配代价;
选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合,选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合;其中,所述候选视差子集合包含所述支持子集合;
S40,根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口,迭代计算所述像素i的聚合匹配代价,根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合,使所述候选视差子集合和所述支持子集合中的元素不断减少,并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目,若是则执行步骤S50,否则继续执行步骤S40;
S50,选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值
优选地,还包括如下步骤:
S60,对获得的视差图进行修复:
以当前目标视图为参考视图,以当前参考视图为目标视图,采用步骤S10至S50的方法计算第二视差值并获得第二视差图
逐一检查当前参考视图中的每一像素i,根据第一视差值在当前目标视图中确定对应的像素j,如果像素j根据第二视差值在当前参考视图中对应的像素不是像素i,则认为像素i属于被遮挡区域,像素i的视差值用距离像素i最近的非遮挡像素的视差值替换。
优选地,还包括如下步骤:
S70,以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合,迭代优化拟合平面参数并确定最终的视差图。
优选地,还包括如下步骤:
在所述步骤S30中:
根据像素初始匹配代价C0(i,d)计算最大的像素初始匹配代价C0_max和最小的像素初始匹配代价C0 min
C0_min=mind(C0(i,d)), C 0 _ max = max d ( C 0 ( i , d ) ) ;
候选视差子集合Di_candidate(0)满足:
Di_candidate(0)={d|C0_min≤C0(i,d)≤C0_minhigh(0)(C0_max-C0_min),d∈D};
支持子集合Di_support(0)满足:
Di_support(0)={d|C0_min≤C0(i,d)≤C0_minlow(0)(C0_max-C0_min),d∈D},
δhigh(0)和δlow(0)是参数,且δhigh(0)>δlow(0)。
优选地,步骤S40包括:
S40l,在第k次迭代中,对于像素i和候选视差d∈Di_candidate(k):在像素i周围的矩形窗Wi内随机采样|Ni_sample|个领域像素j,|Ni_sample|<<|Wi|,且选取的邻域像素j与像素i之间的视差d∈Dj_support(k),i,j∈Sc,则像素i的聚合匹配代价Ck(i,d)为:
C k ( i , d ) = Σ j ∈ N i _ sample w ij C k - 1 ( j , d ) Σ j ∈ N i _ sample w ij ;
其中wij为邻域像素j参与像素i代价聚合的加权值,Sc表示参考视图经过过分割的区域;
S402,根据当前聚合代价Ck(i,d)更新所述支持子集合Di_support和所述候选视差子集合Di_candidate
δlow(k)=λδlow(k-1),δhigh(k)=λδhigh(k-1),
λ = min ( C k ( i , d ) C k - 1 ( i , d ) , 0.8 ) ;
Di_candidate(k)=
{d|Ck_min≤Ck(i,d)≤δhigh(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)};
Di_support(k)=
{d|Ck_min≤Ck(i,d)≤δlow(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)};
其中, C k _ min = min d ( C k ( i , d ) ) , C k _ max = max d ( C k ( i , d ) ) ;
判断Di_candidate中的视差值数目减少到满足:|Di_candidate|<0.1|D|,若是则对于像素i处的迭代终止,否则返回步骤S402继续进入下一轮迭代,其中,|Di_candidate|表示Di_candidate中的元素数目,|D|表示原始候选视差集合D中的元素数目。
优选地, w ij = exp ( - | | I i - I j | | 2 2 σ r 2 - | | i - j | | 2 2 σ s 2 ) ;
σr和σs为预设参数,Ni_sample固定包含像素i,且wii=1。
优选地, C 0 ( i , d ) = α · min ( | | I i - I i ′ ′ | | , γ 1 ) + ( 1 - α ) · min ( Σ k = 1 8 | | ▿ k I i - ▿ k I i ′ ′ | | , γ 2 ) ;
其中,像素i的坐标为(xi,yi),像素i′的坐标为(xi′,yi′),且xi′=xi-d,yi′=yi,γ1为灰度差或彩色差的截断阈值,γ2为8邻域梯度差和的截断阈值,α为加权值,8邻域梯度定义为:
▿ k I i = I ( x i , y i ) - I ( x i + a k , y i + b k ) , k = 1,2 , . . . , 8 ,
(ak,bk)∈{(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)}。
本发明还提供了一种图像快速立体匹配装置,包括:
第一处理单元,用于将参考视图过分割为互不重叠的多个区域;
第二处理单元,用于对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d,计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价;其中,所述像素i′与像素i之间的视差是所述候选视差d;
第三处理单元,用于根据所述确定原始候选视差集合D计算所述像素i的像素初始匹配代价,确定最大的像素初始匹配代价和最小的像素初始匹配代价;选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合,选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合;其中,所述候选视差子集合包含所述支持子集合;
第四处理单元,用于根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口,迭代计算所述像素i的聚合匹配代价,根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合,使所述候选视差子集合和所述支持子集合中的元素不断减少,并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目,若第五处理单元工作,否则第四处理单元继续工作;
第五处理单元,用于选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值
优选地,还包括:
第六处理单元,用于对获得的视差图进行修复:
以当前目标视图为参考视图,以当前参考视图为目标视图,采用步骤S10至S50的方法计算第二视差值并获得第二视差图
逐一检查当前参考视图中的每一像素i,根据第一视差值在当前目标视图中确定对应的像素j,如果像素j根据第二视差值在当前参考视图中对应的像素不是像素i,则认为像素i属于被遮挡区域,像素i的视差值用距离像素i最近的非遮挡像素的视差值替换。
优选地,还包括:
第七处理单元,用于以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合,优化拟合平面参数并确定最终的视差图。
本发明通过迭代算法逐步缩小候选视差值搜索范围,以及基于低匹配误差高置信度邻域像素进行采样式的匹配误差聚合,由于代价聚合时参考的领域像素数目大大减少,在保证匹配精度的同时大大加快了算法运行速度;另外使用了基于PatchMatch算法的视差平面拟合方法,能够较快地收敛到最优平面参数估计值。本发明的有益效果是:能够得到高质量视差图,匹配结果与目前主流的基于图像分割和全局优化的立体匹配算法相当,但算法运行速度得到极大提高。
【附图说明】
图1是本发明一种实施例的图像快速立体匹配方法流程图。
【具体实施方式】
以下对发明的较佳实施例作进一步详细说明。
如图1所示,本发明的一种实施例的图像快速立体匹配方法,包括如下步骤:
S10,参考视图过分割。
以待匹配立体图像对的其中一幅图像为参考视图I,另一幅图像为目标视图I′。对参考视图使用MeanShift算法过分割为NS个互不重合的区域,每个过分割区域记为Sc,c=1,2,...,NS
S20,计算初始像素级匹配代价。
像素级匹配代价使用灰度差(或彩色差)与8邻域梯度差和加权的匹配代价函数。对于参考视图I中像素i和候选视差d,目标视图I′中像素i′,且xi′=xi-d,yi′=yi,像素i和i′之间的像素初始匹配代价为C0(i,d):
C 0 ( i , d ) = α · min ( | | I i - I i ′ ′ | | , γ 1 ) + ( 1 - α ) · min ( Σ k = 1 8 | | ▿ k I i - ▿ k I i ′ ′ | | , γ 2 ) ;
其中,γ1为灰度差(或彩色差)的截断阈值,γ2为8邻域梯度差和的截断阈值,α为加权值。8邻域梯度定义为:
▿ k I i = I ( x i , y i ) - I ( x i + a k , y i + b k ) , k = 1,2 , . . . , 8 ,
(ak,bk)∈{(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)}。
S30,建立视差子集合。
根据C0(i,d)计算:
C0_min=mind(C0(i,d));
C 0 _ max = max d ( C 0 ( i , d ) ) ;
每个像素i处对于原始候选视差集合D={d},d∈[dmin,dmax]:
选择匹配代价小于某个阈值(第一像素初始匹配代价阈值)
C0_minhigh(0)(C0_max-C0_min)的视差作为当前像素i处的候选视差子集合
Di_candidate(0),即Di_candidate(0)={d|C0_min≤C0(i,d)≤C0_minhigh(0)(C0_max-C0_min),d∈D};
选择匹配代价小于某个阈值(第二像素初始匹配代价阈值)
C0_minlow(0)(C0_max-C0_min)的视差作为参与邻域像素代价聚合时可信度较高的支持子集合Di_support(0),即
Di_support(0)={d|C0_min≤C0(i,d)≤C0_minlow(0)(C0_max-C0_min),d∈D},且两个阈值的选取应使得δhigh(0)>δlow(0)。
S40,采样式匹配代价聚合。
根据上述两个视差子集合,迭代进行采样式匹配代价聚合,每轮迭代中更新上述子集合支持子集合Di_support(0)和候选视差子集合Di_candidate(0)。
总迭代次数为N,在第k次迭代中:
S401,对于中心像素i和候选视差d∈Di_candidate(k):在中心像素i周围的矩形窗Wi内随机采样|Ni_sample|个点j,|Ni_sample|<<|Wi|且选取邻域像素j时保证d∈Dj_support(k),i,j∈Sc。则根据采样像素子集聚合的匹配代价为:
C k ( i , d ) = Σ j ∈ N i _ sample w ij C k - 1 ( j , d ) Σ j ∈ N i _ sample w ij ;
其中,wij为邻域像素j参与中心像素i代价聚合的加权值,用下面的相似性度量定义
w ij = exp ( - | | I i - I j | | 2 2 σ r 2 - | | i - j | | 2 2 σ s 2 ) ;
其中,σr和σs为预设参数。Ni_sample固定包含中心像素i且wii=1。
S402,根据新的聚合代价Ck(i,d)更新可信视差子集合Di,即进一步将入选子集合的匹配代价阈值降低:δlow(k)=λδlow(k-1),δhigh(k)=λδhigh(k-1),其中按照调整后的阈值更新Di_support和Di_candidate
Di_candidate(k)=
{d|Ck_min≤Ck(i,d)≤δhigh(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)};
Di_support(k)=
{d|Ck_min≤Ck(i,d)≤δlow(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)};
其中, C k _ min = min d ( C k ( i , d ) ) , C k _ max = max d ( C k ( i , d ) ) .
如果Di_candidate中的视差值数目减少到|Di_candidate|<0.1|D|,则对于像素i处的迭代终止,即在之后的迭代轮次中Di_support,Di_candidate及Ck(i,d)均不再更新。检查是否所有像素处都达到迭代终止条件,是则代价聚合完成,否则返回S402继续进入下一轮迭代。
S50,WTA确定最优视差。
对每个像素i,根据N轮迭代后的聚合匹配代价CN(i,d)采用WTA(winner takes all)准则确定最优视差,即在N轮迭代后的候选视差子集Di_candidate中选取最小的匹配代价对应的视差值: d ^ ( i ) = arg min d ( C N ( i , d ) ) .
S60,遮挡区域修复与快速自适应中值滤波。
对视差图实施交叉检验(Cross checking)检测遮挡区域,方法是以当前目标视图为参考视图,以当前参考视图为目标视图,同样用上述方法计算视差图逐一检查当前参考视图中的每一像素i,根据视差值在目标视图中确定对应的像素j,如果像素j根据视差值在参考视图中对应的像素不是i,则认为像素i属于被遮挡区域,其视差值用距离i最近的非遮挡像素的视差值替换。
遮挡区域修复完成后对视差图进行O(1)时间复杂度的快速自适应中值滤波。
根据初始视差图对灰度值k∈{0,1,...,N-1}计算:
F k ( i ) = | Σ j ∈ N ( i ) sign ( k - d ^ ( j ) ) | = | S k ( j ) | ;
其中符号函数:
sign ( x ) = - 1 x < 0 0 x = 0 1 x > 0 ;
上式中对Sk的滤波为线性的盒滤波(box filtering),利用积分直方图方法实现O(1)时间复杂度,即通过积分直方图计算滤波值的时间对不同尺寸大小的滤波窗口保持恒定。得到Fk后根据下式计算中值滤波值:
d ^ ( i ) = arg min k &Element; { 0,1 , . . . , N - 1 } F k ( i ) .
S70,PatchMatch视差平面拟合。
以过分割区域为单位基于PatchMatch算法作视差平面拟合,迭代优化拟合平面参数并确定最终的视差图结果。
S701,首先对每个过分割区域Sc,c=1,2,...,NS,在该区域内随机选取n个点,根据中值滤波后的视差图使用奇异值分解(SVD)方法估计平面参数作为PatchMatch的迭代初始值,记得到的平面pc参数为则对于像素i∈Sc由该平面确定的视差初始化完成后迭代进行以下两个过程以优化平面参数:
S702,邻域传播。
依次考虑Sc的每一个相邻区域(与Sc有共同边界线)Sn的当前最优拟合平面pn,其平面参数为
&Sigma; i &Element; S c C 0 ( i , d ^ i ( p n ) ) < &Sigma; i &Element; S c C 0 ( i , d ^ i ( p c ) ) ;
则Sc的最优拟合平面更新为pc:=pn
S703,随机搜索。
随机搜索时为实现对平面参数空间的均匀随机采样,将上述一般形式表示的平面方程换用点法式表示,即由平面pc上一点和平面单位法向量 确定该平面,平面参数的转换关系为:
a p c = - n x n d ;
b p c = - n y n d ;
c p c = n x x i + n y y i + n d d ^ i ( p c ) n d ;
任取平面pc上一点对点法式的平面参数加偏置:
d ^ 0 &prime; ( p c ) : = d ^ 0 ( p c ) + &Delta;d , &Delta;d &Element; [ - &Delta; d max , &Delta; d max ] ;
n &RightArrow; p c &prime; : = u ( n &RightArrow; p c + &Delta;n &RightArrow; ) , &Delta; n x , &Delta; n y , &Delta; n z &Element; [ - &Delta; n max , &Delta; n max ] ;
u示归一化为单位向量,初始的偏置范围设定为Δdmax:=dmax/2,Δnmax:=1,以后的每一轮迭代中Δdmax:=Δdmax/2,Δnmax:=Δnmax/2,以使偏置范围随着迭代轮次指数递减。
使用由确定的新的平面p′c,换算成平面参数则区域Sc内的点由拟合平面p′c确定的视差为:
d ^ i &prime; ( p c ) : = a p c &prime; x i + b p c &prime; y i + c p c &prime; ;
&Sigma; i &Element; S c C 0 ( i , d ^ i ( p c &prime; ) ) < &Sigma; i &Element; S c C 0 ( i , d ^ i ( p c ) ) ;
则Sc的最优拟合平面更新为pc:=p′c
迭代进行以上步骤S702和S703过程5~10次,对于像素i∈Sc由最终的平面pc确定视差
d ^ i ( p c ) = a p c x i + b p c y i + c p c .
在另一个实施例中,还公开了一种图像快速立体匹配装置,包括:
第一处理单元,用于将参考视图过分割为互不重叠的多个区域;
第二处理单元,用于对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d,计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价;其中,所述像素i′与像素i之间的视差是所述候选视差d;
第三处理单元,用于根据所述确定原始候选视差集合D计算所述像素i的像素初始匹配代价,确定最大的像素初始匹配代价和最小的像素初始匹配代价;选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合,选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合;其中,所述候选视差子集合包含所述支持子集合;
第四处理单元,用于根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口,迭代计算所述像素i的聚合匹配代价,根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合,使所述候选视差子集合和所述支持子集合中的元素不断减少,并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目,若第五处理单元工作,否则第四处理单元继续工作;
第五处理单元,用于选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明由所提交的权利要求书确定的专利保护范围。

Claims (10)

1.一种图像快速立体匹配方法,其特征是,包括如下步骤:
S10,将参考视图过分割为互不重叠的多个区域;
S20,对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d,计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价;其中,所述像素i′与像素i之间的视差是所述候选视差d;
S30,根据所述确定原始候选视差集合D计算所述像素i的像素初始匹配代价,确定最大的像素初始匹配代价和最小的像素初始匹配代价;
选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合,选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合;其中,所述候选视差子集合包含所述支持子集合;
S40,根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口,迭代计算所述像素i的聚合匹配代价,根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合,使所述候选视差子集合和所述支持子集合中的元素不断减少,并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目,若是则执行步骤S50,否则继续执行步骤S40;
S50,选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值
2.如权利要求1所述的图像快速立体匹配方法,其特征是,还包括如下步骤:
S60,对获得的视差图进行修复:
以当前目标视图为参考视图,以当前参考视图为目标视图,采用步骤S10至S50的方法计算第二视差值并获得第二视差图
逐一检查当前参考视图中的每一像素i,根据第一视差值在当前目标视图中确定对应的像素j,如果像素j根据第二视差值在当前参考视图中对应的像素不是像素i,则认为像素i属于被遮挡区域,像素i的视差值用距离像素i最近的非遮挡像素的视差值替换。
3.如权利要求1所述的图像快速立体匹配方法,其特征是,还包括如下步骤:
S70,以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合,迭代优化拟合平面参数并确定最终的视差图。
4.如权利要求1所述的图像快速立体匹配方法,其特征是,还包括如下步骤:
在所述步骤S30中:
根据像素初始匹配代价C0(i,d)计算最大的像素初始匹配代价C0_max和最小的像素初始匹配代价C0_min
C0_min=mind(C0(i,d)), C 0 _ max = max d ( C 0 ( i , d ) ) ;
候选视差子集合Di_candidate(0)满足:
Di_candidate(0)={d|C0_min≤C0(i,d)≤C0_minhigh(0)(C0_max-C0_min),d∈D};
支持子集合Di_support(0)满足:
Di_support(0)={d|C0_min≤C0(i,d)≤C0_minlow(0)(C0_max-C0_min),d∈D},
δhigh(0)和δlow(0)是参数,且δhigh(0)>δlow(0)。
5.如权利要求4所述的图像快速立体匹配方法,其特征是,步骤S40包括:
S401,在第k次迭代中,对于像素i和候选视差d∈Di_candidate(k):在像素i周围的矩形窗Wi内随机采样|Ni_sample|个领域像素j,|Ni_sample|<<|Wi|,且选取的邻域像素j与像素i之间的视差d∈Dj_support(k),i,j∈Sc,则像素i的聚合匹配代价Ck(i,d)为:
C k ( i , d ) = &Sigma; j &Element; N i _ sample w ij C k - 1 ( j , d ) &Sigma; j &Element; N i _ sample w ij ;
其中wij为邻域像素j参与像素i代价聚合的加权值,Sc表示参考视图经过过分割的区域;
S402,根据当前聚合代价Ck(i,d)更新所述支持子集合Di_support和所述候选视差子集合Di_candidate
δlow(k)=λδlow(k-1),δhigh(k)=λδhigh(k-1),
&lambda; = min ( C k ( i , d ) C k - 1 ( i , d ) , 0.8 ) ;
Di_candidate(k)=
{d|Ck_min≤Ck(i,d)≤δhigh(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)};
Di_support(k)=
{d|Ck_min≤Ck(i,d)≤δlow(k)(Ck_max-Ck_min),d∈Di_candidate(k-1)};
其中, C k _ min = min d ( C k ( i , d ) ) , C k _ max = max d ( C k ( i , d ) ) ;
判断Di_candidate中的视差值数目减少到满足:|Di_candidate|<0.1|D|,若是则对于像素i处的迭代终止,否则返回步骤S402继续进入下一轮迭代,其中,|Di_candidate|表示Di_candidate中的元素数目,|D|表示原始候选视差集合D中的元素数目。
6.如权利要求5所述的图像快速立体匹配方法,其特征是:
w ij = exp ( - | | I i - I j | | 2 2 &sigma; r 2 - | | i - j | | 2 2 &sigma; s 2 ) ;
σr和σs为预设参数,Ni_sample固定包含像素i,且wii=1。
7.如权利要求3所述的图像快速立体匹配方法,其特征是:
C 0 ( i , d ) = &alpha; &CenterDot; min ( | | I i - I i &prime; &prime; | | , &gamma; 1 ) + ( 1 - &alpha; ) &CenterDot; min ( &Sigma; k = 1 8 | | &dtri; k I i - &dtri; k I i &prime; &prime; | | , &gamma; 2 ) ;
其中,像素i的坐标为(xi,yi),像素i′的坐标为(xi′,yi′),且xi′=xi-d,yi′=yi,γ1为灰度差或彩色差的截断阈值,γ2为8邻域梯度差和的截断阈值,α为加权值,8邻域梯度定义为:
&dtri; k I i = I ( x i , y i ) - I ( x i + a k , y i + b k ) , k = 1,2 , . . . , 8 ,
(ak,bk)∈{(1,0),(1,1),(0,1),(-1,1),(-1,0),(-1,-1),(0,-1),(1,-1)}。
8.一种图像快速立体匹配装置,其特征是,包括:
第一处理单元,用于将参考视图过分割为互不重叠的多个区域;
第二处理单元,用于对于原始候选视差集合D以及所述原始候选视差集合D的元素候选视差d,计算所述参考视图中的像素i与目标视图中的像素i′之间的像素初始匹配代价;其中,所述像素i′与像素i之间的视差是所述候选视差d;
第三处理单元,用于根据所述确定原始候选视差集合D计算所述像素i的像素初始匹配代价,确定最大的像素初始匹配代价和最小的像素初始匹配代价;选择匹配代价小于第一像素初始匹配代价阈值的视差作为当前像素i处的候选视差子集合,选择匹配代价小于第二像素初始匹配代价阈值的视差作为支持子集合;其中,所述候选视差子集合包含所述支持子集合;
第四处理单元,用于根据所述候选视差子集合中的候选视差d、所述像素i周围的设定窗口,迭代计算所述像素i的聚合匹配代价,根据所述聚合匹配代价更新缩小所述候选视差子集合和支持子集合,使所述候选视差子集合和所述支持子集合中的元素不断减少,并判断所述候选视差子集合中的候选视差数目是否降低至设定视差数目,若第五处理单元工作,否则第四处理单元继续工作;
第五处理单元,用于选择候选视差子集中最小匹配代价对应的视差值作为所述像素i的第一视差值
9.如权利要求8所述的图像快速立体匹配装置,其特征是,还包括:
第六处理单元,用于对获得的视差图进行修复:
以当前目标视图为参考视图,以当前参考视图为目标视图,采用步骤S10至S50的方法计算第二视差值并获得第二视差图
逐一检查当前参考视图中的每一像素i,根据第一视差值在当前目标视图中确定对应的像素j,如果像素j根据第二视差值在当前参考视图中对应的像素不是像素i,则认为像素i属于被遮挡区域,像素i的视差值用距离像素i最近的非遮挡像素的视差值替换。
10.如权利要求8所述的图像快速立体匹配装置,其特征是,还包括:
第七处理单元,用于以过分割得到的区域为单位基于PatchMatch算法作视差平面拟合,优化拟合平面参数并确定最终的视差图。
CN201410342671.6A 2014-07-17 2014-07-17 一种图像快速立体匹配方法及装置 Active CN104091339B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201410342671.6A CN104091339B (zh) 2014-07-17 2014-07-17 一种图像快速立体匹配方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410342671.6A CN104091339B (zh) 2014-07-17 2014-07-17 一种图像快速立体匹配方法及装置

Publications (2)

Publication Number Publication Date
CN104091339A true CN104091339A (zh) 2014-10-08
CN104091339B CN104091339B (zh) 2017-01-11

Family

ID=51639054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410342671.6A Active CN104091339B (zh) 2014-07-17 2014-07-17 一种图像快速立体匹配方法及装置

Country Status (1)

Country Link
CN (1) CN104091339B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN106780442A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN107155100A (zh) * 2017-06-20 2017-09-12 国家电网公司信息通信分公司 一种基于图像的立体匹配方法及装置
CN107220994A (zh) * 2017-06-01 2017-09-29 成都通甲优博科技有限责任公司 一种立体匹配的方法及系统
CN107481246A (zh) * 2017-07-14 2017-12-15 天津大学 基于匹配代价更新及图像分割的视差精炼算法
CN107948629A (zh) * 2017-11-22 2018-04-20 海信集团有限公司 一种视差确定方法、装置及终端
CN108337498A (zh) * 2018-01-31 2018-07-27 北京大学深圳研究生院 一种曲面拟合的视差计算方法及系统
CN111951310A (zh) * 2020-07-17 2020-11-17 深圳市帝普森微电子有限公司 双目立体匹配方法、视差图获取装置和计算机存储介质
CN113409364A (zh) * 2021-06-01 2021-09-17 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、系统和计算机介质
WO2022000454A1 (zh) * 2020-07-03 2022-01-06 深圳市大疆创新科技有限公司 图像处理方法、集成电路、装置、可移动平台及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法
JP2012212986A (ja) * 2011-03-30 2012-11-01 Nec Personal Computers Ltd 3d画像処理方法及び3d画像処理装置
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN103295229A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
CN103646396A (zh) * 2013-11-29 2014-03-19 清华大学深圳研究生院 双目立体匹配算法的匹配代价算法和非局部立体匹配算法
CN103679686A (zh) * 2012-09-11 2014-03-26 株式会社理光 匹配测度方法和装置、视差计算方法、图像匹配方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212986A (ja) * 2011-03-30 2012-11-01 Nec Personal Computers Ltd 3d画像処理方法及び3d画像処理装置
CN102750711A (zh) * 2012-06-04 2012-10-24 清华大学 一种基于图像分割和运动估计的双目视频深度图求取方法
CN103679686A (zh) * 2012-09-11 2014-03-26 株式会社理光 匹配测度方法和装置、视差计算方法、图像匹配方法
CN103226821A (zh) * 2013-04-27 2013-07-31 山西大学 基于视差图像素分类校正优化的立体匹配方法
CN103295229A (zh) * 2013-05-13 2013-09-11 清华大学深圳研究生院 视频深度信息恢复的全局立体匹配方法
CN103646396A (zh) * 2013-11-29 2014-03-19 清华大学深圳研究生院 双目立体匹配算法的匹配代价算法和非局部立体匹配算法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104867133B (zh) * 2015-04-30 2017-10-20 燕山大学 一种快速的分步立体匹配方法
CN104867133A (zh) * 2015-04-30 2015-08-26 燕山大学 一种快速的分步立体匹配方法
CN106780442A (zh) * 2016-11-30 2017-05-31 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
WO2018098891A1 (zh) * 2016-11-30 2018-06-07 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN106780442B (zh) * 2016-11-30 2019-12-24 成都通甲优博科技有限责任公司 一种立体匹配方法及系统
CN107220994A (zh) * 2017-06-01 2017-09-29 成都通甲优博科技有限责任公司 一种立体匹配的方法及系统
CN107155100A (zh) * 2017-06-20 2017-09-12 国家电网公司信息通信分公司 一种基于图像的立体匹配方法及装置
CN107155100B (zh) * 2017-06-20 2019-07-12 国家电网公司信息通信分公司 一种基于图像的立体匹配方法及装置
CN107481246A (zh) * 2017-07-14 2017-12-15 天津大学 基于匹配代价更新及图像分割的视差精炼算法
CN107481246B (zh) * 2017-07-14 2019-08-16 天津大学 基于匹配代价更新及图像分割的视差精炼方法
CN107948629B (zh) * 2017-11-22 2020-06-23 海信集团有限公司 一种视差确定方法、装置及终端
CN107948629A (zh) * 2017-11-22 2018-04-20 海信集团有限公司 一种视差确定方法、装置及终端
CN108337498A (zh) * 2018-01-31 2018-07-27 北京大学深圳研究生院 一种曲面拟合的视差计算方法及系统
CN108337498B (zh) * 2018-01-31 2020-04-28 北京大学深圳研究生院 一种曲面拟合的视差计算方法及系统
WO2022000454A1 (zh) * 2020-07-03 2022-01-06 深圳市大疆创新科技有限公司 图像处理方法、集成电路、装置、可移动平台及存储介质
CN111951310A (zh) * 2020-07-17 2020-11-17 深圳市帝普森微电子有限公司 双目立体匹配方法、视差图获取装置和计算机存储介质
CN113409364A (zh) * 2021-06-01 2021-09-17 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、系统和计算机介质
CN113409364B (zh) * 2021-06-01 2024-03-29 诡谷子人工智能科技(深圳)有限公司 一种基于像素相似性的立体匹配算法、系统和计算机介质

Also Published As

Publication number Publication date
CN104091339B (zh) 2017-01-11

Similar Documents

Publication Publication Date Title
CN104091339A (zh) 一种图像快速立体匹配方法及装置
CN109493346B (zh) 一种基于多损失的胃癌病理切片图像分割方法和装置
CN103400151B (zh) 一体化的光学遥感影像与gis自动配准与水体提取方法
CN103727930B (zh) 一种基于边缘匹配的激光测距仪与相机相对位姿标定方法
CN103310421B (zh) 针对高清图像对的快速立体匹配方法及视差图获取方法
CN108776772A (zh) 一种跨时间建筑物变化检测建模方法以及检测装置、方法及存储介质
CN105528785A (zh) 一种双目视觉图像立体匹配方法
CN105574527A (zh) 一种基于局部特征学习的快速物体检测方法
CN103871062B (zh) 一种基于超像素描述的月面岩石检测方法
CN104599286B (zh) 一种基于光流的特征跟踪方法及装置
CN108961429B (zh) 一种文物碎片模型自动分割及拼接方法
CN103400399B (zh) 一种基于空间矩的线结构光中心提取方法
CN103854283A (zh) 一种基于在线学习的移动增强现实跟踪注册方法
CN104809698A (zh) 一种基于改进三边滤波的Kinect深度图像修复方法
CN102999887A (zh) 一种基于样本的图像修复方法
CN104182968B (zh) 宽基线多阵列光学探测系统模糊动目标分割方法
CN103942774A (zh) 一种基于相似性传播的多目标协同显著区域检测方法
CN104021552A (zh) 一种基于图论分割过程的多目标粒子群参数优化方法
CN104966279A (zh) 一种基于局部结构特征的图像合成修复方法
CN103955945A (zh) 基于双目视差和活动轮廓的自适应彩色图像分割方法
CN104616324A (zh) 基于自适应表观模型和点-集距离度量学习的目标跟踪方法
CN104197933A (zh) 一种望远镜视场中高星等滑动恒星的增强和提取方法
CN105469408A (zh) 一种sar图像建筑群分割方法
CN104992454A (zh) 一种区域化自动变类的图像分割方法
CN105469110A (zh) 基于局部线性迁移的非刚性变换图像特征匹配方法及系统

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant