CN103714543A - 基于不变矩空间信息的简单树动态规划的双目立体匹配方法 - Google Patents

基于不变矩空间信息的简单树动态规划的双目立体匹配方法 Download PDF

Info

Publication number
CN103714543A
CN103714543A CN201310731236.8A CN201310731236A CN103714543A CN 103714543 A CN103714543 A CN 103714543A CN 201310731236 A CN201310731236 A CN 201310731236A CN 103714543 A CN103714543 A CN 103714543A
Authority
CN
China
Prior art keywords
alpha
pixel
formula
energy function
window
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201310731236.8A
Other languages
English (en)
Inventor
张毅
柏连发
庞星
韩静
岳江
金左轮
祁伟
赵壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN201310731236.8A priority Critical patent/CN103714543A/zh
Publication of CN103714543A publication Critical patent/CN103714543A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明提出一种基于不变矩空间信息的简单树动态规划的双目立体匹配方法。采用二阶矩构成的一阶不变矩将摄像机拍摄的双目灰度图像转换为不变矩空间图像;将每个视差的匹配差值矩阵构成的三维矩阵做为简单树动态规划算法中的初始视差矩阵;用简单树代价能量函数迭代计算水平树代价能量函数矩阵和垂直树的代价能量函数矩阵;代价能量函数值最小时所对应的视差即为精确视差,从而获得视差图。本发明有效改善了因光照不均或受其他噪声干扰的区域的视差图质量,使同一深度区域更加平滑,同时提高算法运算速度。

Description

基于不变矩空间信息的简单树动态规划的双目立体匹配方法
技术领域
本发明属于图像处理技术领域,具体涉及一种基于不变矩空间信息的简单树动态规划的双目立体匹配方法。
背景技术
现今使用的双目立体匹配算法主要分两类:基于区域的算法和基于全局的算法。基于区域的算法方法简单,时效性强,但是对图像不连续区域部分的误匹配率高。基于全局的算法能解决不确定区域的匹配问题,能有效解决误匹配点,提高正确匹配率。
文献一(燕山大学.刘英杰.基于动态规划和置信传播的立体匹配算法的研究[D].学位论文.2011),提出全局算法中的基于动态规划算法和置信传播算法进行匹配,虽然效果好,但是算法复杂,实时性差,不利于实际应用。文献二(大连理工大学.周芳.双目视觉中立体匹配算法的研究与实现[D].学位论文.2013)提出了一种DP算法与局部线性滤波技术相融合的方法,该方法同样存在算法复杂,实时性差的问题,并且在同一深度区域中误匹配率高。
发明内容
本发明提出一种基于不变矩空间信息的简单树动态规划的双目立体匹配方法,有效改善了因光照不均或受其他噪声干扰的区域的视差图质量,使同一深度区域更加平滑,同时,提高算法运算速度,便于实际应用。
为了解决上述技术问题,本发明提供一种基于不变矩空间信息的简单树动态规划的双目立体匹配方法,包括以下步骤:
步骤一、采用二阶矩构成的一阶不变矩将摄像机拍摄的双目灰度图像I1和I2转换为不变矩空间图像Ltex和Rtex
步骤二、在视差范围内,计算不变矩空间图像Ltex中以待匹配像素点为中心的方形支持窗口n的像素灰度值与不变矩空间图像Rtex中以候选匹配像素点为中心的方形支持窗口n的像素灰度值的差值,获得每个视差d相对应的匹配差值矩阵diff,将每个视差d的匹配差值矩阵diff构成的三维矩阵做为简单树动态规划算法中的初始视差矩阵Edata
步骤三、用方形支持窗nt遍历灰度图像I1,计算每个方形支持窗口nt的中心像素点k的自适应参数Lambda,计算方式如公式(1)所示,
                           (1)
lambda(k)=vk·ε
式(1)中,ε表示调节方差的常数项,ε的值为人为设定的值,用来调节代价能量函数的数量级;vk表示灰度图像I1的在支持窗内的像素方差,vk如公式(2)所示,
v k = Σ q ∈ n t ( I 1 ( q ) - I v ) 2 - - - ( 2 )
式(2)中,I1(q)表示在灰度图像I1的方形支持窗nt中任意像素点q的灰度值;Iv表示灰度图像I1的方形支持窗nt中所有像素点的平均灰度值;
步骤四、将初始视差矩阵Edata和自适应参数Lambda代入简单树代价能量函数迭代计算水平树代价能量函数矩阵Edatat,水平树规划路径分为水平树中的前向规划和后向规划,且前向规划过程与后向规划同时进行,其中,前向规划为从水平左边像素点向中心像素点迭代,后向规划为水平右边像素点向中心像素点迭代;
步骤五、根据简单树代价能量函数迭代计算垂直树的代价能量函数矩阵E,比较不变矩空间图像Ltex每个像素点在不同视差下的垂直树代价能量函数矩阵中的代价能量函数值E(p(x,y),d),代价能量函数值最小时所对应的视差即为精确视差,从而获得视差图。
本发明与现有技术相比,其显著优点在于:(1)利用不变矩公式将灰度图像转变成不变矩图像,可有效抑制现实场景下的光照不均和其他噪声,同时使每个像素包含了原灰度图窗口中的所有像素之间的空间信息,提高匹配的准确性;(2)在简单树动态规划算法中的支持窗口中,用像素灰度值的方差项做为自适应参数应用于简单树的动态规划算法中,动态地减少所求匹配点视差的误差,提高匹配精度。
附图说明
图1是本发明方法流程图。
图2是对实验室自主构建的场景拍摄并进行实验获得的图像,其中,图2(a)和图2(b)是双目摄像机获得的灰度图象,图2(c)是采用区域立体匹配算法中的SAD立体匹配算法对图2(a)和图2(b)进行匹配的实验结果视差图,图2(d)是采用本发明步骤一中的不变矩处理图2(a)和图2(b)并利用SAD立体匹配算法进行匹配的实验结果视差图,图2(e)是采用本发明步骤三至步骤五中的自适应参数的简单树规划方法对图2(a)和图2(b)进行匹配的实验结果视差图,图2(f)是完全采用本发明方法对图2(a)和图2(b)进行匹配的实验结果视差图。
图3是采用Middlebury测试平台提供的Tsukuba标准测试图像进行实验获得的实验结果视差图,其中图3(a)是采用区域立体匹配算法中的SAD立体匹配算法获得的实验结果视差图,3(b)是采用本发明方法对进行匹配获得的实验结果视差图。
具体实施方式
如图1所示,基于不变矩空间信息的简单树动态规划的双目立体匹配方法,包括以下步骤:
步骤一、采用二阶矩构成的一阶不变矩将摄像机拍摄的双目灰度图像I1和I2转换为不变矩空间图像Ltex和Rtex,具体过程为,分别以灰度图像I1和I2的待变换像素点为中心、大小为M×N的变换窗口遍历灰度图像I1和I2的每个像素点,将每个变换窗口中计算出的一阶不变矩Φ1代替灰度图像I1和I2的待变换像素点的灰度值,获得不变矩空间图像Ltex和Rtex
所述一阶不变矩Φ1的计算过程为:
1.1计算二维u+v阶矩的中心矩,计算公式如式(1)所示,
μ uv = Σ x = 0 M - 1 Σ y = 0 N - 1 ( x - x ‾ ) u ( y - y ‾ ) v f ( x , y ) - - - ( 1 )
式(1)中,(x,y)表示灰度图像像素点的坐标,M×N为不变矩变换窗口大小,f(x,y)表示变换窗口中像素点的灰度值,其中,表示不变矩变换窗口的灰度重心,其中, x ‾ = m 10 m 00 y ‾ = m 01 m 00 , 中间变量 m 01 = Σ x = 0 M - 1 Σ y = 0 N - 1 y · f ( x , y ) , 中间变量 m 10 = Σ x = 0 M - 1 Σ y = 0 N - 1 x · f ( x , y ) , 中间变量
Figure BDA0000447420750000035
式(1)中设定u取2,v取0,得到二阶矩的20中心矩μ20,设定u取0,v取2,得到二阶矩的02中心矩μ02,设定设定u取0,v取0,得到零阶矩的中心矩μ00
1.2利用二阶矩的20中心矩μ20,二阶矩的02中心矩μ02,零阶矩的00中心矩μ00计算20归一化中心矩n20和02归一化中心矩n02,计算公式如(2)所示,
n 20 = μ 20 μ 00 r , n 02 = μ 02 μ 00 r - - - ( 2 )
式(2)中,系数
Figure BDA0000447420750000042
1.3利用20归一化中心矩n20和02归一化中心矩n02计算一阶不变矩Φ1,公式如(3)所示,
Φ1=n20+n02    (3)
步骤二、计算在视差范围内,不变矩空间图像Ltex的以待匹配像素点为中心的方形支持窗口n的像素灰度值与不变矩空间图像Rtex的以候选匹配像素点为中心的方形支持窗口n的像素灰度值的差值,获得每个视差d相对应的匹配差值矩阵diff,将每个视差d的匹配差值矩阵diff构成的三维矩阵做为简单树动态规划算法中的初始视差矩阵Edata,所述初始视差矩阵Edata如公式(4)所示,
Edata(p,d)=diff(p,d),d∈d_min~d_max    (4)
式(4)中,
Figure BDA0000447420750000043
其中Ltex(p)为待匹配图像Ltex中以待匹配像素点p为中心的方形支持窗口n中的像素点灰度值,Rtex(pd)表示匹配图像Rtex中的与待匹配像素点p相差d个像素位置的以候选匹配像素点pd为中心的方形支持窗口n中的像素点灰度值;
步骤三、用方形支持窗nt遍历灰度图像I1,计算每个方形支持窗口nt中心像素点k的自适应参数Lambda,
所述自适应参数lambda的计算方式如公式(5)所示,
                             (5)
lambda(k)=vk·ε
式(5)中,ε表示调节方差的常数项,ε的值为人为设定的值,用来调节代价能量函数的数量级;vk表示灰度图像I1的在支持窗内的像素方差,vk如公式(6)所示,
v k = Σ q ∈ n t ( I 1 ( q ) - I v ) 2 - - - ( 6 )
式(6)中,I1(q)表示在灰度图像I1的方形支持窗nt中任意像素点q的灰度值;Iv表示灰度图像I1的方形支持窗nt中所有像素点的平均灰度值;
步骤四、将初始视差矩阵Edata和自适应参数Lambda代入简单树代价能量函数迭代计算水平树代价能量函数矩阵Edatat,水平树规划路径分为水平树中的前向规划和后向规划,且前向规划过程与后向规划同时进行,其中,前向规划为从水平左边像素点向中心像素点迭代,后向规划为水平右边像素点向中心像素点迭代,
水平树代价能量函数值Edatat(p(x,y),d)的计算方式如公式(7)所示,
E dαtαt ( p ( x , y ) , d ) = E dαtα ( p ( x , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E F ( p ( x , y ) , d ) + E B ( p ( x , y ) , d ) - E dαtα ( p ( x , y ) , i ) } - - - ( 7 )
式(7)中,p为简单树窗口的中心像素点,s(d,i)=d-i,i∈[d_min,d_max];EF(p(x,y),d)为中心像素点p的水平树前向代价能量函数值,EB(p(x,y),d)为中心像素点p的水平树后向代价能量函数值,Edata(p(x,y),i)为中心像素点p在视差为i时的初始视差矩阵中的值;
所述获得中心像素点p的水平树前向代价能量函数值EF(p(x,y),d)的过程为:在基于待匹配图像Ltex每个中心像素点p的简单树窗口中,从与中心像素点p左边相差α个像素位置的像素点依次向中心像素点p迭代,计算公式如公式(8)所示,
E F ( p ( x , y - α + 1 ) , d ) = E dαtα ( p ( x , y - α + 1 ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E F ( p ( x , y - a ) , d ) } - - - ( 8 )
式(8)中,α表示规划剩余步数,初始值为
Figure BDA0000447420750000053
c为简单树窗口大小,当α=1时,迭代过程结束,
式(7)中,EF(p(x,y-α),d)为当所计算的像素点是简单树窗口中的边缘点时的初始前向代价能量函数值,EF(p(x,y-α),d)=Edata(p(x,y-α),d);
所述获得中心像素点p的水平树后向代价能量函数值EB(p(x,y),d)的过程为:在基于待匹配图像Ltex每个中心像素点p的简单树窗口中,从与中心像素点p右边相差α个像素位置的像素点依次向中心像素点p迭代,计算公式如公式(9)所示,
E B ( p ( x , y + α - 1 ) , d ) = E dαtα ( p ( x , y + α - 1 ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E B ( p ( x , y + α ) , d ) } - - - ( 9 )
公式(9)中,α表示规划剩余步数,初始值为
Figure BDA0000447420750000061
c为简单树窗口大小,当α=1时,迭代过程结束;EB(p(x,y+α),d)为当所计算的像素点是简单树窗口中的边缘点时的初始后向代价能量函数值,EB(p(x,y+α),d)=Edata(p(x,y+α),d);
步骤五、根据简单树代价能量函数迭代计算垂直树的代价能量函数矩阵E,比较不变矩空间图像Ltex每个像素点在不同视差下的垂直树代价能量函数矩阵中的代价能量函数值E(p(x,y),d),代价能量函数值最小时所对应的视差即为精确视差,从而获得视差图,
垂直树的代价能量函数矩阵E的计算公式如式(10)所示,
E ( p ( x , y ) , d ) = E dαtα ( p ( x , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E O ( p ( x , y ) , d ) + E U ( p ( x , y ) , d ) - E dαtα ( p ( x , y ) , i ) } - - - ( 10 )
式(10)中,EU(p(x,y),d)为中心像素点p的垂直树顶部代价能量函数值,其计算公式如公式(11)所示,
E U ( p ( x - α + 1 , y ) , d ) = E dαtα ( p ( x - α + 1 , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E U ( p ( x - α , y ) , d ) } - - - ( 11 )
在公式(11)中,α表示规划剩余步数,初始值为
Figure BDA0000447420750000064
c为简单树窗口大小,当α=1时,迭代过程结束;EU(p(x-α,y),d)为当所计算的像素点是简单树窗口中的边缘点时,初始顶部代价能量函数值,EU(p(x-α,y),d)=Edata(p(x-α,y),d);
式(10)中,EO(p(x,y),d)为中心像素点p的垂直树底部迭代能量函数值,其计算公式如公式(12)所示,
E O ( p ( x + α - 1 , y ) , d ) = E dαtα ( p ( x + α - 1 , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E O ( p ( x + α , y ) , d ) } - - - ( 12 )
公式(12)中,α表示规划剩余步数,初始值为
Figure BDA0000447420750000066
当α=1时,迭代过程结束;EO(p(x+α,y),d)为当所计算的像素点是简单树窗口中的边缘点时,初始底部代价能量函数值,此时EO(p(x+α,y),d)=Edata(p(x+α,y),d)。
本发明方法的效果可以通过以下仿真结果进一步说明:
第一组实验:采用实验室自主构建的场景拍摄获得图像I1和图像I2,如图2(a)和图2(b)所示,进行实验,本组实验构建四个实验:
实验一:采用区域立体匹配算法中的SAD立体匹配算法对图像I1和图像I2进行匹配,实验结果视差图如图2(c)所示。
实验二:采用本发明步骤一中的不变矩处理图像I1和图像I2,利用SAD立体匹配算法对处理后的不变矩图像Ltex和Rtex进行匹配,实验结果视差图如图2(d)所示。
实验三:采用本发明步骤三至步骤五中的自适应参数的简单树规划方法对图像I1和图像I2进行匹配,实验结果视差图如图2(e)所示。
实验四:采用本发明方法进行匹配,实验结果视差图如图2(f)所示。
通过比较图2(c)与图2(d)可以看出,以不变矩作为特征空间能减少匹配图像中同一视差的“空洞”,有效解决光照和噪声对匹配的影响,加入不变矩空间信息能有效提高匹配精度。
通过图2(d)与图2(f)比较可以看出,本发明方法能获得较为准确视差,使同一深度区域更加平滑,有效减少误匹配。
第二组实验:采用Middlebury测试平台提供的Tsukuba标准测试图像进行实验,本组实验构建两个实验:
实验一:采用区域立体匹配算法中的SAD立体匹配算法对Tsukuba标准测试图像进行匹配,实验结果视差图如图3(a)所示。
实验二:采用本发明方法对Tsukuba标准测试图进行匹配,实验结果视差图如图3(b)所示。
通过比较图3(a)和图3(b)可以看出,基于自适应参数的简单树动态规划算法大幅降低了误匹配率,块状噪声被大幅抑制,证明本发明方法的优越性。

Claims (5)

1.基于不变矩空间信息的简单树动态规划的双目立体匹配方法,其特征在于,包括以下步骤:
步骤一、采用二阶矩构成的一阶不变矩将摄像机拍摄的双目灰度图像I1和I2转换为不变矩空间图像Ltex和Rtex
步骤二、在视差范围内,计算不变矩空间图像Ltex中以待匹配像素点为中心的方形支持窗口n的像素灰度值与不变矩空间图像Rtex中以候选匹配像素点为中心的方形支持窗口n的像素灰度值的差值,获得每个视差d相对应的匹配差值矩阵diff,将每个视差d的匹配差值矩阵diff构成的三维矩阵做为简单树动态规划算法中的初始视差矩阵Edata
步骤三、用方形支持窗nt遍历灰度图像I1,计算每个方形支持窗口nt的中心像素点k的自适应参数Lambda,计算方式如公式(1)所示,
                            (1)
lambda(k)=vk·ε
式(1)中,ε表示调节方差的常数项,ε的值为人为设定的值,用来调节代价能量函数的数量级;vk表示灰度图像I1的在支持窗内的像素方差,vk如公式(2)所示,
v k = Σ q ∈ n t ( I 1 ( q ) - I v ) 2 - - - ( 2 )
式(2)中,I1(q)表示在灰度图像I1的方形支持窗nt中任意像素点q的灰度值;Iv表示灰度图像I1的方形支持窗nt中所有像素点的平均灰度值;
步骤四、将初始视差矩阵Edata和自适应参数Lambda代入简单树代价能量函数迭代计算水平树代价能量函数矩阵Edatat,水平树规划路径分为水平树中的前向规划和后向规划,且前向规划过程与后向规划同时进行,其中,前向规划为从水平左边像素点向中心像素点迭代,后向规划为水平右边像素点向中心像素点迭代;
步骤五、根据简单树代价能量函数迭代计算垂直树的代价能量函数矩阵E,比较不变矩空间图像Ltex每个像素点在不同视差下的垂直树代价能量函数矩阵中的代价能量函数值E(p(x,y),d),代价能量函数值最小时所对应的视差即为精确视差,从而获得视差图。
2.如权利要求1所述的基于不变矩空间信息的简单树动态规划的双目立体匹配方法,其特征在于,步骤一的具体过程为,分别以灰度图像I1和I2的待变换像素点为中心、大小为M×N的变换窗口遍历灰度图像I1和I2的每个像素点,将每个变换窗口中计算出的一阶不变矩Φ1代替灰度图像I1和I2的待变换像素点的灰度值,获得不变矩空间图像Ltex和Rtex,所述一阶不变矩Φ1的计算过程为:
2.1计算二维u+v阶矩的中心矩,计算公式如式(3)所示,
μ uv = Σ x = 0 M - 1 Σ y = 0 N - 1 ( x - x ‾ ) u ( y - y ‾ ) v f ( x , y ) - - - ( 3 )
式(3)中,(x,y)表示灰度图像像素点的坐标,M×N为不变矩变换窗口大小,f(x,y)表示变换窗口中像素点的灰度值,其中,
Figure FDA0000447420740000029
表示不变矩变换窗口的灰度重心,其中, x ‾ = m 10 m 00 y ‾ = m 01 m 00 , 中间变量 m 01 = Σ x = 0 M - 1 Σ y = 0 N - 1 y · f ( x , y ) , 中间变量 m 10 = Σ x = 0 M - 1 Σ y = 0 N - 1 x · f ( x , y ) , 中间变量
Figure FDA0000447420740000025
式(1)中设定u取2,v取0,得到二阶矩的20中心矩μ20,设定u取0,v取2,得到二阶矩的02中心矩μ02,设定设定u取0,v取0,得到零阶矩的中心矩μ00
2.2利用二阶矩的20中心矩μ20,二阶矩的02中心矩μ02,零阶矩的00中心矩μ00计算20归一化中心矩n20和02归一化中心矩n02,计算公式如(4)所示,
n 20 = μ 20 μ 00 r , n 02 = μ 02 μ 00 r - - - ( 4 )
式(4)中,系数
Figure FDA0000447420740000027
2.3利用20归一化中心矩n20和02归一化中心矩n02计算一阶不变矩Φ1,公式如(5)所示,
Φ1=n20+n02   (5)。
3.如权利要求1所述的基于不变矩空间信息的简单树动态规划的双目立体匹配方法,其特征在于,所述初始视差矩阵Edata的计算方式如公式(6)所示,
Edata(p,d)=diff(p,d),d∈d_min~d_max   (6)
式(6)中,
Figure FDA0000447420740000028
其中,Ltex(p)为待匹配图像Ltex中以待匹配像素点p为中心的方形支持窗口n中的像素点灰度值,Rtex(pd)表示匹配图像Rtex中的与待匹配像素点p相差d个像素位置的以候选匹配像素点pd为中心的方形支持窗口n中的像素点灰度值。
4.如权利要求1所述的基于不变矩空间信息的简单树动态规划的双目立体匹配方法,其特征在于,所述步骤四中水平树代价能量函数值Edatat(p(x,y),d)的计算方式如公式(7)所示,
E dαtαt ( p ( x , y ) , d ) = E dαtα ( p ( x , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E F ( p ( x , y ) , d ) + E B ( p ( x , y ) , d ) - E dαtα ( p ( x , y ) , i ) } - - - ( 7 )
式(7)中,p为简单树窗口的中心像素点,s(d,i)=d-i,i∈[d_min,d_max];EF(p(x,y),d)为中心像素点p的水平树前向代价能量函数值,EB(p(x,y),d)为中心像素点p的水平树后向代价能量函数值,Edata(p(x,y),i)为中心像素点p在视差为i时的初始视差矩阵中的值;
所述获得中心像素点p的水平树前向代价能量函数值EF(p(x,y),d)的过程为:在基于待匹配图像Ltex每个中心像素点p的简单树窗口中,从与中心像素点p左边相差α个像素位置的像素点依次向中心像素点p迭代,计算公式如公式(8)所示
E F ( p ( x , y - α + 1 ) , d ) = E dαtα ( p ( x , y - α + 1 ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E F ( p ( x , y - a ) , d ) } - - - ( 8 )
式(8)中,α表示规划剩余步数,初始值为
Figure FDA0000447420740000033
c为简单树窗口大小,当α=1时,迭代过程结束,
式(8)中,EF(p(x,y-α),d)为当所计算的像素点是简单树窗口中的边缘点时的初始前向代价能量函数值,EF(p(x,y-α),d)=Edata(p(x,y-α),d);
所述获得中心像素点p的水平树后向代价能量函数值EB(p(x,y),d)的过程为:在基于待匹配图像Ltex每个中心像素点p的简单树窗口中,从与中心像素点p右边相差α个像素位置的像素点依次向中心像素点p迭代,计算公式如公式(9)所示,
E B ( p ( x , y + α - 1 ) , d ) = E dαtα ( p ( x , y + α - 1 ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E B ( p ( x , y + α ) , d ) } - - - ( 9 )
公式(9)中,α表示规划剩余步数,初始值为
Figure FDA0000447420740000035
c为简单树窗口大小,当α=1时,迭代过程结束;EB(p(x,y+α),d)为当所计算的像素点是简单树窗口中的边缘点时的初始后向代价能量函数值,EB(p(x,y+α),d)=Edata(p(x,y+α),d)。
5.如权利要求1所述的基于不变矩空间信息的简单树动态规划的双目立体匹配方法,其特征在于,所述步骤五中垂直树的代价能量函数矩阵E的计算方式如公式(10)所示,
E ( p ( x , y ) , d ) = E dαtα ( p ( x , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E O ( p ( x , y ) , d ) + - E U ( p ( x , y ) , d ) - E dαtα ( p ( x , y ) , i ) } - - - ( 10 )
式(10)中,EU(p(x,y),d)为中心像素点p的垂直树顶部代价能量函数值,其计算公式如公式(11)所示,
E U ( p ( x - α + 1 , y ) , d ) = E dαtα ( p ( x - α + 1 , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E U ( p ( x - α , y ) , d ) } - - - ( 11 )
在公式(11)中,α表示规划剩余步数,初始值为
Figure FDA0000447420740000043
c为简单树窗口大小,当α=1时,迭代过程结束;EU(p(x-α,y),d)为当所计算的像素点是简单树窗口中的边缘点时,初始顶部代价能量函数值,EU(p(x-α,y),d)=Edata(p(x-α,y),d);
式(10)中,EO(p(x,y),d)为中心像素点p的垂直树底部迭代能量函数值,其计算公式如公式(12)所示,
E O ( p ( x + α - 1 , y ) , d ) = E dαtα ( p ( x + α - 1 , y ) , d ) + min i ∈ [ d min , d max ] { Lambda · s ( d , i ) + E O ( p ( x + α , y ) , d ) } - - - ( 12 )
公式(12)中,α表示规划剩余步数,初始值为当α=1时,迭代过程结束;EO(p(x+α,y),d)为当所计算的像素点是简单树窗口中的边缘点时,初始底部代价能量函数值,此时EO(p(x+α,y),d)=Edata(p(x+α,y),d)。
CN201310731236.8A 2013-12-26 2013-12-26 基于不变矩空间信息的简单树动态规划的双目立体匹配方法 Pending CN103714543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310731236.8A CN103714543A (zh) 2013-12-26 2013-12-26 基于不变矩空间信息的简单树动态规划的双目立体匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310731236.8A CN103714543A (zh) 2013-12-26 2013-12-26 基于不变矩空间信息的简单树动态规划的双目立体匹配方法

Publications (1)

Publication Number Publication Date
CN103714543A true CN103714543A (zh) 2014-04-09

Family

ID=50407486

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310731236.8A Pending CN103714543A (zh) 2013-12-26 2013-12-26 基于不变矩空间信息的简单树动态规划的双目立体匹配方法

Country Status (1)

Country Link
CN (1) CN103714543A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023263A (zh) * 2014-04-22 2015-11-04 南京理工大学 一种基于区域生长的遮挡检测和视差校正的方法
CN105376543A (zh) * 2014-08-06 2016-03-02 Tcl集团股份有限公司 一种3d图像的视差图获取方法及系统
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN107341822B (zh) * 2017-06-06 2019-11-08 东北大学 一种基于最小分支代价聚合的立体匹配方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686942A2 (en) * 1994-06-07 1995-12-13 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method
JP2004046777A (ja) * 2002-05-15 2004-02-12 Nec Corp 画像処理装置及びそれに用いる画像処理方法並びにそのプログラム
CN101086788A (zh) * 2006-06-07 2007-12-12 三星电子株式会社 产生视差图的方法和装置及其立体匹配方法和装置
CN101197045A (zh) * 2007-12-17 2008-06-11 电子科技大学 一种图像立体匹配方法及其装置
CN102074005A (zh) * 2010-12-30 2011-05-25 杭州电子科技大学 一种面向兴趣区域的立体匹配方法
CN103177451A (zh) * 2013-04-17 2013-06-26 南京理工大学 基于图像边缘的自适应窗口和权重的立体匹配算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0686942A2 (en) * 1994-06-07 1995-12-13 Matsushita Electric Industrial Co., Ltd. Stereo matching method and disparity measuring method
JP2004046777A (ja) * 2002-05-15 2004-02-12 Nec Corp 画像処理装置及びそれに用いる画像処理方法並びにそのプログラム
CN101086788A (zh) * 2006-06-07 2007-12-12 三星电子株式会社 产生视差图的方法和装置及其立体匹配方法和装置
CN101197045A (zh) * 2007-12-17 2008-06-11 电子科技大学 一种图像立体匹配方法及其装置
CN102074005A (zh) * 2010-12-30 2011-05-25 杭州电子科技大学 一种面向兴趣区域的立体匹配方法
CN103177451A (zh) * 2013-04-17 2013-06-26 南京理工大学 基于图像边缘的自适应窗口和权重的立体匹配算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
OLGA VEKSLER: "Stereo Correspondence by Dynamic Programming on a Tree", 《CVPR 2005》 *
XING PANG 等: "A Simple Tree Structure for Dynamic Programming Based on Real Scene", 《ICAIEES 2013》 *
桑瑞娟 等: "一种改进的区域双目立体匹配方法", 《传感器与微系统》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105023263A (zh) * 2014-04-22 2015-11-04 南京理工大学 一种基于区域生长的遮挡检测和视差校正的方法
CN105023263B (zh) * 2014-04-22 2017-11-14 南京理工大学 一种基于区域生长的遮挡检测和视差校正的方法
CN105376543A (zh) * 2014-08-06 2016-03-02 Tcl集团股份有限公司 一种3d图像的视差图获取方法及系统
CN106156748A (zh) * 2016-07-22 2016-11-23 浙江零跑科技有限公司 基于车载双目相机的交通场景参与者识别方法
CN107341822B (zh) * 2017-06-06 2019-11-08 东北大学 一种基于最小分支代价聚合的立体匹配方法

Similar Documents

Publication Publication Date Title
US10762645B2 (en) Stereo visual odometry method based on image gradient joint optimization
CN103528571B (zh) 单目立体视觉相对位姿测量方法
CN108038420B (zh) 一种基于深度视频的人体行为识别方法
CN102184540B (zh) 基于尺度空间的亚像素级立体匹配方法
US20190026943A1 (en) Dense visual slam with probabilistic surfel map
CN108010081B (zh) 一种基于Census变换和局部图优化的RGB-D视觉里程计方法
Dall'Asta et al. A comparison of semiglobal and local dense matching algorithms for surface reconstruction
CN107491071B (zh) 一种智能多机器人协同测图系统及其方法
US9361699B2 (en) Imaging system and method
CN104867135A (zh) 一种基于指导图像引导的高精度立体匹配方法
CN110766024B (zh) 基于深度学习的视觉里程计特征点提取方法及视觉里程计
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
CN104156957A (zh) 一种稳定高效的高分辨率立体匹配方法
CN105469386B (zh) 一种确定立体相机高度与俯仰角的方法及装置
CN102036094B (zh) 一种基于数字分数延时技术的立体匹配方法
CN113256698B (zh) 一种具有深度预测的单目3d重建方法
Shivakumar et al. Real time dense depth estimation by fusing stereo with sparse depth measurements
CN102447917A (zh) 立体图像匹配方法及其设备
CN112907573B (zh) 一种基于3d卷积的深度补全方法
CN104200453A (zh) 基于图像分割和可信度的视差图像校正方法
CN103714543A (zh) 基于不变矩空间信息的简单树动态规划的双目立体匹配方法
CN110021043A (zh) 一种基于立体匹配和置信度传播的场景深度获取方法
CN111260712B (zh) 一种基于重聚焦极线图邻域分布的深度估计方法和装置
KR101103511B1 (ko) 평면 영상을 입체 영상으로 변환하는 방법
Rothermel et al. Fast and robust generation of semantic urban terrain models from UAV video streams

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140409