CN106340041A - 一种基于级联遮挡滤除滤波器的光场相机深度估计方法 - Google Patents
一种基于级联遮挡滤除滤波器的光场相机深度估计方法 Download PDFInfo
- Publication number
- CN106340041A CN106340041A CN201610828210.9A CN201610828210A CN106340041A CN 106340041 A CN106340041 A CN 106340041A CN 201610828210 A CN201610828210 A CN 201610828210A CN 106340041 A CN106340041 A CN 106340041A
- Authority
- CN
- China
- Prior art keywords
- light
- pixel
- response
- focal plane
- correspondence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
本发明公开了一种基于级联遮挡滤除滤波器的光场相机深度估计方法。本发明根据遮挡信息在光线级、像素级和图像级中的不同表现形式,通过从光线级到像素级再到图像级的三层级联遮挡滤除滤波,滤除或保持原始光场图像数据中可能的遮挡信息,减少光场相机深度估计中的歧义性判断,实现精确的深度估计。本发明的主要特点在于通过光线级遮挡滤除滤波器滤除可能被遮挡的光线,通过像素级遮挡滤除滤波器保持处于深度不连续边缘处像素的遮挡特性,通过图像级遮挡滤除滤波器提取像素间的图像级遮挡信息,从而在深度估计中排除具有歧义性的遮挡信息,提高估计精度。
Description
技术领域
本发明属于计算机视觉和计算摄影学领域,具体来说是一种通过一组级联遮挡滤除滤波器实现光场相机的精确深度估计方法。
背景技术
光场相机可以捕获四维光场的空间-角度信息。与传统相机相比,它可从单帧光场图像中获取多视点或子光圈图像,为视觉分析和理解提供更有用的线索和信息。随着光场研究和应用的逐渐深入,从光场图像中恢复出精确深度信息已成为当前计算机视觉和计算摄影学领域中的研究热点之一。
目前已提出了许多光场相机的深度恢复方法。早期深度恢复方法可追溯到有关焦点栈[1]和景深提取[2]的研究。Georgiev和Lumsdaine[3]通过计算微透镜图像间归一化互相关来估计视差图。Bishop和Favaro提出一种可变贝叶斯框架重建场景深度[4]。Perwass和Wietzke提出一种基于对应性的深度估计方法[5]。Yu等人分析光场图像中线段的三维几何,并通过子光圈图像间线段匹配来计算视差图[6]。Tao等人讨论了不同深度线索在遮挡、重复文理和噪声下的优缺点,并在此基础上,提出了基于多线索融合的深度估计方法[7]。Jeon等人提出光场相移理论实现亚像素精度的深度估计[8]。Lin等人提出基于焦点栈和数据一致性测度的深度图恢复方法[9]。然而受制于光场图像的有限空间和角度分辨率,光场相机深度恢复依然面临着精度和鲁棒性的挑战,特别是在深度不连续和遮挡区域。近期Wang等人提出了一种光场遮挡模型[10,11],虽然表现出了较好的性能,但对颜色和纹理边缘敏感,因此对于具有丰富纹理变化的物体表面难以获得令人满意的结果。
参考文献:
[1]F.Nava,J.Marichal-Hernndez,and J.Rodrguez-Ramos,“The discretefocal stack transform,”in 16th European Signal Processing Conference(EUSIPCO2008),2008.
[2]T.Georgiev and A.Lumsdaine,“Depth of field in plenoptic cameras,”in 30th Annual Conference of the European Association for Computer Graphics(EuroGraphics 2009),2009.
[3]T.Georgiev and A.Lumsdaine,“Reducing plenoptic camera artifacts,”Computer Graphics Forum,vol.29,no.6,pp.1955–1968,2010.
[4]T.E.Bishop and P.Favaro,“The light field camera:Extended depth offield,aliasing,and superresolution.”IEEE Transactions on Pattern Analysis andMachine Intelligence.(PAMI),vol.34,no.5,pp.972–986,2012.
[5]C.Perwass and P.Wietzke,“Single lens 3d-camera with extendeddepth-of-field,”in SPIE Elect.Imaging,2012.
[6]Z.Yu,X.Guo,H.Ling,A.Lumsdaine,and J.Yu,“Line assisted light fieldtriangulation and stereo matching,”in Proceedings of International Conferenceon Computer Vision(ICCV),2013.
[7]M.Tao,S.Hadap,J.Malik,and R.Ramamoorthi,“Depth from combiningdefocus and correspondence using light-field cameras,”in Proceedings of theIEEE International Conference on Computer Vision(ICCV),2013.
[8]H.-G.Jeon,J.Park,G.Choe,J.Park,Y.Bok,Y.-W.Tai,and I.S.Kweon,“Accurate depth map estimation from a lenslet light field camera,”inProceedings of International Conference on Computer Vision and PatternRecognition(CVPR),2015.
[9]H.Lin,C.Chen,S.B.Kang,and J.Yu,“Depth recovery from light fieldusing focal stack symmetry.”in Proceedings of the IEEE InternationalConference on Computer Vision(ICCV),2015.
[10]T.-C.Wang,A.Efros,and R.Ramamoorthi,“Depth estimation withocclusion modeling using light-field cameras,”IEEE Transactions on PatternAnalysis and Machine Intelligence(TPAMI),2016.
[11]T.-C.Wang,A.Efros,and R.Ramamoorthi,“Occlusion-aware depthestimation using light-field cameras.”in Proceedings of the IEEEInternational Conference on Computer Vision(ICCV),2015.
[12]K.He,J.Sun,and X.Tang,“Guided image filtering,”in EuropeanConference on Computer Vision(ECCV),2010.
[13]P.Meer and B.Georgescu,“Edge detection with embedded confidence,”IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),vol.23,pp.1351–1365,2001
[14]A.Delong,A.Osokin,H.Isack,and Y.Boykov,“Fast approximate energyminimization with label costs.”International Journal of Computer Vision(IJCV),vol.96,no.1,pp.1–27,2012.
发明内容
本发明针对现有技术的不足,受遮挡检测模型的逆问题启发,提供了一种基于级联遮挡滤除滤波器的光场相机精确深度估计方法。
本发明方法的具体步骤如下:
步骤(1):将原始光场数据重组为一组子光圈图像阵列,具体为:
原始光场数据的双平面表示方式为表现为经过微透镜阵列平面和主透镜平面坐标的光线集合;(s,t)为微透镜阵列平面坐标,取值范围为s∈[1,Ns],t∈[1,Nt]中的整数值,Nt和Ns分别为微透镜阵列的行数和列数;(u,v)为主透镜平面坐标,取值范围为u∈[-Nu/2,Nu/2],v∈[-Nv/2,Nv/2]中的整数值,Nu和Nv分别微透镜图像水平和垂直方向的像素个数;c为颜色通道,通常为红、绿、蓝三色通道;对于主透镜平面上的某个具体坐标位置(u,v),从原始光场数据中提取主透镜平面坐标为具体坐标位置(u,v)的数据,合为一幅子光圈图像主透镜平面上所有坐标位置的子光圈图像共有Nu×Nv幅,组成子光圈图像阵列;主透镜平面中心坐标(0,0)的子光圈图像为中心子光圈图像
步骤(2):采用光场重对焦公式,计算从主透镜平面会聚到每个重对焦平面上每个像素的光线,具体为:
设定重对焦平面个数为Nα,第iα个重对焦平面表示为Πα,其中iα∈[1,Nα]为整数值,表示为重对焦平面的索引值。重对焦平面Πα的深度参数α为:
其中αmin和αmax为α的最小值和最大值。计算从主透镜平面上各个坐标位置到重对焦平面Πα上像素(x,y)的光线。通常Nα、αmin和αmax取值100、0.2和2.0。
所述的从主透镜平面上各个坐标位置到重对焦平面Πα上像素(x,y)的光线计算方法具体描述为:
对于从主透镜平面上的一个坐标位置(u,v)到重对焦平面Πα上的像素(x,y)的光线,采用光场重对焦公式计算其与子光圈图像的交点(s′,t′),并通过图像插值方法计算交点(s′,t′)的光线其中心光线为从主透镜平面中心坐标(0,0)到像素(x,y)的光线;图像插值方法通常为双线性插值方法,为已成熟技术。
所述光场重对焦公式具体描述为:
步骤(3):根据步骤(2)的结果,采用一种光线级遮挡滤除滤波器,计算每个重对焦平面上每个像素的对应性响应,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线采用一种光线级遮挡滤除滤波器,滤除所有可能被遮挡的光线;根据滤除后的剩余光线,计算其对应性响应。
所述的一种光线级遮挡滤除滤波器为一个迭代滤除过程,以将可能被遮挡的光线滤除,具体描述为:对于重对焦平面Πα上像素(x,y),会聚到该像素的光线计算所有光线值不同颜色通道的均值μα(x,y,c)和方差σα(x,y,c):
其中Nu×Nv为子光圈图像阵列中的子光圈图像个数。设定遮挡滤除阈值为3σα(x,y,c),定义满足的光线为可能被遮挡的光线;将可能被遮挡的光线滤除后,更新μα(x,y,c)、σα(x,y,c)和遮挡滤除阈值,进一步滤除可能被遮挡的光线;如此迭代,直至没有可能被遮挡的光线或剩余光线个数小于(Nu×Nv)/2,并保留最终更新后的μα(x,y,c)和σα(x,y,c)。
所述对应性响应计算方法具体描述为:
对于重对焦平面Πα上像素(x,y),经过光线级遮挡滤除滤波器滤除可能被遮挡的光线后,得到的最终更新后的μα(x,y,c)和σα(x,y,c),对应性响应的计算公式为:
其中||·||2为L2范数。
步骤(4):根据步骤(2)的结果,获取每个重对焦平面上的重对焦图像,采用文献[7]中散焦响应计算方法,得到每个重对焦平面上每个像素的散焦响应,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线其均值为像素(x,y)的对焦值。深度参数为α的重对焦平面上所有像素的对焦值组成为深度参数为α的重对焦图像并采用文献[7]中的散焦响应计算方法,得到每个像素的散焦响应
步骤(5):根据步骤(3)和步骤(4)的结果,采用一种像素级遮挡滤除滤波器,对各个重对焦平面上各个像素的对应性响应和散焦响应进行滤波,具体为:
对于重对焦平面Πα,根据步骤(3)和步骤(4)的结果,得到深度参数为α的重对焦平面上各个像素(x,y)的对应性响应和散焦响应所有重对焦平面上所有像素的对应性响应和散焦响应构成了对应性响应体和散焦响应体采用一种像素级遮挡滤除滤波器,对对应性响应体和散焦响应体进行滤波,以保持对应性响应体和散焦响应体中的遮挡边缘特性,得到滤波后各个重对焦平面上各个像素的对应性响应和散
焦响应
所述的一种像素级遮挡滤除滤波器是一种具有边缘保持特性的体滤波器,以保持对应性响应和散焦响应中的遮挡边缘特性,具体表述为:
对于深度参数为α的重对焦平面,将主透镜平面中心坐标(0,0)到该重对焦平面上所有像素的中心光线组成为中心图像Iα(x,y,c);从对应性响应和散焦响应体中提取该重对焦平面的对应性响应和散焦响应采用文献[12]提出的具有边缘保持特性的导向滤波方法,将中心图像Iα(x,y,c)作为导向图,对对应性响应和散焦响应进行导向滤波;所有重对焦平面滤波后的对应性响应和散焦响应重新构成了滤波后的对应性响应体和散焦响应体通常导向滤波方法中正则参数设为0.000001,窗口半径为9。
步骤(6):根据步骤(5)结果,估计每个像素的对应性置信度,具体为:
对于像素(x,y),根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的对应性响应;寻找对应性响应最小值和次小值则像素(x,y)的对应性置信度为:
步骤(7):根据步骤(6),估计每个像素的散焦置信度,具体为:
对于像素(x,y),根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的散焦响应;寻找散焦响应最大值和次大值则像素(x,y)的散焦置信度为:
步骤(8):根据步骤(6)和步骤(7)结果,将对应性响应和散焦响应合成深度线索代价,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(5)得到像素(x,y)在重对焦平面Πα上的对应性响应和散焦响应根据步骤(6)和步骤(7)得到像素(x,y)的对应性置信度和散焦置信度则像素(x,y)在重对焦平面Πα上的深度线索代价w(x,y,α)为:
其中和为调节对应性响应和散焦响应对于深度线索代价的贡献度参数,通常取和
步骤(9):采用一种图像级遮挡滤除滤波器,获取图像级遮挡信息。
所述的一种图像级遮挡滤除滤波器是一种边缘置信的检测方法;根据步骤(1)中提取的中心子光圈图像,采用文献[13]中的方法提取梯度边缘和边缘置信;将中心子光圈图像中所有像素的边缘置信归一化至[0,1];对于像素(x,y)和像素(x′,y′)的归一化后边缘置信ε(x,y)和ε(x′,y′),两像素间的图像级遮挡信息wε(x,y,x′,y′)计算公式为:
wε(x,y,x′,y′)=max(1-|ε(x,y)-ε(x′,y′)|,cε)
其中cε为正则常数项,通常取cε=0.1。
步骤(10):根据步骤(8)和步骤(9)结果,建立一种基于全局能量函数的深度估计优化方法,估计出每个像素的深度值。
对于像素(x,y),其深度值估计就是在所有重对焦平面中寻找到对焦度最好的重对焦平面Πα,并将该平面的索引值dα作为像素(x,y)的深度值,这是个标记问题。根据文献[14],该标记问题可转换为一种求解全局能量函数最小的优化方法,并采用文献[14]中图割算法求解,得到每个像素的深度值。
所述的全局能量函数为:
其中为4-邻域;
数据项Edata(x,y,dp)表示为像素(x,y)深度值赋值为dp的代价;根据dp重对焦平面所对应的深度参数αp,数据项Edata(x,y,dp)=w(x,y,αp);
平滑项Esmooth(dp,dq)表示为相邻两个像素(x,y)和(x′,y′)的深度值分别赋值为dp和dq的平滑代价;根据dp和dq重对焦平面所对应的深度参数αp和αq,平滑项Esmooth(dp,dq)=wε(x,y,x′,y′)·T(αp≠αq),T(·)为文献[14]中的Potts函数;
标号项Elabel(dm,dn)表示为深度值dm和dn之间的似然值,计算公式为:
其中为高斯分布方差,通常取 为正则常数项,通常取
本发明有益效果如下:
本发明提供了一种基于级联遮挡滤除滤波器的光场相机深度估计方法。该方法根据遮挡信息在光线级、像素级和图像级中的不同表现形式,通过从光线级到像素级再到图像级的三层级联遮挡滤除滤波,滤除或保持原始光场图像数据中可能的遮挡信息,减少光场相机深度估计中的歧义性判断,实现精确的深度估计。该方法的主要特点在于通过光线级遮挡滤除滤波器滤除可能被遮挡的光线,通过像素级遮挡滤除滤波器保持处于深度不连续边缘处像素的遮挡特性,通过图像级遮挡滤除滤波器提取像素间的图像级遮挡信息,从而在深度估计中排除具有歧义性的遮挡信息,提高估计精度。
附图说明
图1为本发明中的方法流程图;
图2为本发明中所提出方法的深度估计性能比对结果。
具体实施方式
以下结合附图对本发明作进一步说明。
如图1和2所示,一种基于级联遮挡滤除滤波器的光场相机深度估计方法具体步骤如下:
步骤(1):将原始光场数据重组为一组子光圈图像阵列,具体为:
原始光场数据的双平面表示方式为表现为经过微透镜阵列平面和主透镜平面坐标的光线集合;(s,t)为微透镜阵列平面坐标,取值范围为s∈[1,Ns],t∈[1,Nt]中的整数值,Nt和Ns分别为微透镜阵列的行数和列数;(u,v)为主透镜平面坐标,取值范围为u∈[-Nu/2,Nu/2],v∈[-Nv/2,Nv/2]中的整数值,Nu和Nv分别微透镜图像水平和垂直方向的像素个数;c为颜色通道,通常为红、绿、蓝三色通道;对于主透镜平面上的某个具体坐标位置(u,v),从原始光场数据中提取主透镜平面坐标为具体坐标位置(u,v)的数据,合为一幅子光圈图像主透镜平面上所有坐标位置的子光圈图像共有Nu×Nv幅,组成子光圈图像阵列;主透镜平面中心坐标(0,0)的子光圈图像为中心子光圈图像
步骤(2):采用光场重对焦公式,计算从主透镜平面会聚到每个重对焦平面上每个像素的光线,具体为:
设定重对焦平面个数为Nα,第iα个重对焦平面表示为Πα,其中iα∈[1,Nα]为整数值,表示为重对焦平面的索引值。重对焦平面Πα的深度参数α为:
其中αmin和αmax为α的最小值和最大值。计算从主透镜平面上各个坐标位置到重对焦平面Πα上像素(x,y)的光线。通常Nα、αmin和αmax取值100、0.2和2.0。
所述的从主透镜平面上各个坐标位置到重对焦平面Πα上像素(x,y)的光线计算方法具体描述为:
对于从主透镜平面上的一个坐标位置(u,v)到重对焦平面Πα上的像素(x,y)的光线,采用光场重对焦公式计算其与子光圈图像的交点(s′,t′),并通过图像插值方法计算交点(s′,t′)的光线其中心光线为从主透镜平面中心坐标(0,0)到像素(x,y)的光线;图像插值方法通常为双线性插值方法,为已成熟技术。
所述光场重对焦公式具体描述为:
步骤(3):根据步骤(2)的结果,采用一种光线级遮挡滤除滤波器,计算每个重对焦平面上每个像素的对应性响应,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线采用一种光线级遮挡滤除滤波器,滤除所有可能被遮挡的光线;根据滤除后的剩余光线,计算其对应性响应。
所述的一种光线级遮挡滤除滤波器为一个迭代滤除过程,以将可能被遮挡的光线滤除,具体描述为:对于重对焦平面Πα上像素(x,y),会聚到该像素的光线计算所有光线值不同颜色通道的均值μα(x,y,c)和方差σα(x,y,c):
其中Nu×Nv为子光圈图像阵列中的子光圈图像个数。设定遮挡滤除阈值为3σα(x,y,c),定义满足的光线为可能被遮挡的光线;将可能被遮挡的光线滤除后,更新μα(x,y,c)、σα(x,y,c)和遮挡滤除阈值,进一步滤除可能被遮挡的光线;如此迭代,直至没有可能被遮挡的光线或剩余光线个数小于(Nu×Nv)/2,并保留最终更新后的μα(x,y,c)和σα(x,y,c)。
所述对应性响应计算方法具体描述为:
对于重对焦平面Πα上像素(x,y),经过光线级遮挡滤除滤波器滤除可能被遮挡的光线后,得到的最终更新后的μα(x,y,c)和σα(x,y,c),对应性响应的计算公式为:
其中||·||2为L2范数。
步骤(4):根据步骤(2)的结果,获取每个重对焦平面上的重对焦图像,采用文献[7]中散焦响应计算方法,得到每个重对焦平面上每个像素的散焦响应,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线其均值为像素(x,y)的对焦值。深度参数为α的重对焦平面上所有像素的对焦值组成为深度参数为α的重对焦图像并采用文献[7]中的散焦响应计算方法,得到每个像素的散焦响应
步骤(5):根据步骤(3)和步骤(4)的结果,采用一种像素级遮挡滤除滤波器,对各个重对焦平面上各个像素的对应性响应和散焦响应进行滤波,具体为:
对于重对焦平面Πα,根据步骤(3)和步骤(4)的结果,得到深度参数为α的重对焦平面上各个像素(x,y)的对应性响应和散焦响应所有重对焦平面上所有像素的对应性响应和散焦响应构成了对应性响应体和散焦响应体采用一种像素级遮挡滤除滤波器,对对应性响应体和散焦响应体进行滤波,以保持对应性响应体和散焦响应体中的遮挡边缘特性,得到滤波后各个重对焦平面上各个像素的对应性响应和散
焦响应
所述的一种像素级遮挡滤除滤波器是一种具有边缘保持特性的体滤波器,以保持对应性响应和散焦响应中的遮挡边缘特性,具体表述为:
对于深度参数为α的重对焦平面,将主透镜平面中心坐标(0,0)到该重对焦平面上所有像素的中心光线组成为中心图像Iα(x,y,c);从对应性响应和散焦响应体中提取该重对焦平面的对应性响应和散焦响应采用文献[12]提出的具有边缘保持特性的导向滤波方法,将中心图像Iα(x,y,c)作为导向图,对对应性响应和散焦响应进行导向滤波;所有重对焦平面滤波后的对应性响应和散焦响应重新构成了滤波后的对应性响应体和散焦响应体通常导向滤波方法中正则参数设为0.000001,窗口半径为9。
步骤(6):根据步骤(5)结果,估计每个像素的对应性置信度,具体为:
对于像素(x,y),根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的对应性响应;寻找对应性响应最小值和次小值则像素(x,y)的对应性置信度为:
步骤(7):根据步骤(6),估计每个像素的散焦置信度,具体为:
对于像素(x,y),根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的散焦响应;寻找散焦响应最大值和次大值则像素(x,y)的散焦置信度为:
步骤(8):根据步骤(6)和步骤(7)结果,将对应性响应和散焦响应合成深度线索代价,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(5)得到像素(x,y)在重对焦平面Πα上的对应性响应和散焦响应根据步骤(6)和步骤(7)得到像素(x,y)的对应性置信度和散焦置信度则像素(x,y)在重对焦平面Πα上的深度线索代价w(x,y,α)为:
其中和为调节对应性响应和散焦响应对于深度线索代价的贡献度参数,通常取和
步骤(9):采用一种图像级遮挡滤除滤波器,获取图像级遮挡信息。
所述的一种图像级遮挡滤除滤波器是一种边缘置信的检测方法;根据步骤(1)中提取的中心子光圈图像,采用文献[13]中的方法提取梯度边缘和边缘置信;将中心子光圈图像中所有像素的边缘置信归一化至[0,1];对于像素(x,y)和像素(x′,y′)的归一化后边缘置信ε(x,y)和ε(x′,y′),两像素间的图像级遮挡信息wε(x,y,x′,y′)计算公式为:
wε(x,y,x′,y′)=max(1-|ε(x,y)-ε(x′,y′)|,cε)
其中cε为正则常数项,通常取cε=0.1。
步骤(10):根据步骤(8)和步骤(9)结果,建立一种基于全局能量函数的深度估计优化方法,估计出每个像素的深度值。
对于像素(x,y),其深度值估计就是在所有重对焦平面中寻找到对焦度最好的重对焦平面Πα,并将该平面的索引值dα作为像素(x,y)的深度值,这是个标记问题。根据文献[14],该标记问题可转换为一种求解全局能量函数最小的优化方法,并采用文献[14]中图割算法求解,得到每个像素的深度值。
所述的全局能量函数为:
其中为4-邻域;
数据项Edata(x,y,dp)表示为像素(x,y)深度值赋值为dp的代价;根据dp重对焦平面所对应的深度参数αp,数据项Edata(x,y,dp)=w(x,y,αp);
平滑项Esmooth(dp,dq)表示为相邻两个像素(x,y)和(x′,y′)的深度值分别赋值为dp和dq的平滑代价;根据dp和dq重对焦平面所对应的深度参数αp和αq,平滑项Esmooth(dp,dq)=wε(x,y,x′,y′)·T(αp≠αq),T(·)为文献[14]中的Potts函数;
标号项Elabel(dm,dn)表示为深度值dm和dn之间的似然值,计算公式为:
其中为高斯分布方差,通常取 为正则常数项,通常取
本发明根据遮挡信息在光线级、像素级和图像级中的不同表现形式,通过从光线级到像素级再到图像级的三层级联遮挡滤除滤波,滤除或保持原始光场图像数据中可能的遮挡信息,减少光场相机深度估计中的歧义性判断,实现精确的深度估计。该方法的主要特点在于通过光线级遮挡滤除滤波器滤除可能被遮挡的光线,通过像素级遮挡滤除滤波器保持处于深度不连续边缘处像素的遮挡特性,通过图像级遮挡滤除滤波器提取像素间的图像级遮挡信息,从而在深度估计中排除具有歧义性的遮挡信息,提高估计精度。
Claims (10)
1.一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于具体步骤如下:
步骤(1):将原始光场数据重组为一组子光圈图像阵列,
步骤(2):采用光场重对焦公式,计算从主透镜平面会聚到每个重对焦平面上每个像素的光线;
步骤(3):根据步骤(2)的结果,采用一种光线级遮挡滤除滤波器,计算每个重对焦平面上每个像素的对应性响应;
步骤(4):根据步骤(2)的结果,获取每个重对焦平面上的重对焦图像,采用散焦响应计算方法,得到每个重对焦平面上每个像素的散焦响应;
步骤(5):根据步骤(3)和步骤(4)的结果,采用一种像素级遮挡滤除滤波器,对各个重对焦平面上各个像素的对应性响应和散焦响应进行滤波;
步骤(6):根据步骤(5)结果,估计每个像素的对应性置信度;
步骤(7):根据步骤(6),估计每个像素的散焦置信度;
步骤(8):根据步骤(6)和步骤(7)结果,将对应性响应和散焦响应合成深度线索代价;
步骤(9):采用一种图像级遮挡滤除滤波器,获取图像级遮挡信息;
步骤(10):根据步骤(8)和步骤(9)结果,建立一种基于全局能量函数的深度估计优化方法,估计出每个像素的深度值。
2.根据权利要求1所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(1)所述的将原始光场数据重组为一组子光圈图像阵列,具体为:
原始光场数据的双平面表示方式为表现为经过微透镜阵列平面和主透镜平面坐标的光线集合;(s,t)为微透镜阵列平面坐标,取值范围为s∈[1,Ns],t∈[1,Nt]中的整数值,Nt和Ns分别为微透镜阵列的行数和列数;(u,v)为主透镜平面坐标,取值范围为u∈[-Nu/2,Nu/2],v∈[-Nv/2,Nv/2]中的整数值,Nu和Nv分别微透镜图像水平和垂直方向的像素个数;c为颜色通道,通常为红、绿、蓝三色通道;对于主透镜平面上的某个具体坐标位置(u,v),从原始光场数据 中提取主透镜平面坐标为具体坐标位置(u,v)的数据,合为一幅子光圈图像主透镜平面上所有坐标位置的子光圈图像共有Nu×Nv幅,组成子光圈图像阵列;主透镜平面中心坐标(0,0)的子光圈图像为中心子光圈图像
3.根据权利要求1所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(2)具体为:
设定重对焦平面个数为Nα,第iα个重对焦平面表示为Πα,其中iα∈[1,Nα]为整数值,表示为重对焦平面的索引值;重对焦平面Πα的深度参数α为:
其中αmin和αmax为α的最小值和最大值;计算从主透镜平面上各个坐标位置到重对焦平面Πα上像素(x,y)的光线;通常Nα、αmin和αmax取值100、0.2和2.0;
所述的从主透镜平面上各个坐标位置到重对焦平面Πα上像素(x,y)的光线计算方法具体描述为:
对于从主透镜平面上的一个坐标位置(u,v)到重对焦平面Πα上的像素(x,y)的光线,采用光场重对焦公式计算其与子光圈图像的交点(s′,t′),并通过图像插值方法计算交点(s′,t′)的光线 其中心光线为从主透镜平面中心坐标(0,0)到像素(x,y)的光线;
所述光场重对焦公式具体描述为:
4.根据权利要求3所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(3)所述采用一种光线级遮挡滤除滤波器,计算每个重对焦平面上每个像素的对应性响应,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线采用一种光线级遮挡滤除滤波器,滤除所有可能被遮挡的光线;根据滤除后的剩余光线,计 算其对应性响应;
所述的一种光线级遮挡滤除滤波器为一个迭代滤除过程,以将可能被遮挡的光线滤除,具体描述为:对于重对焦平面Πα上像素(x,y),会聚到该像素的光线计算所有光线值不同颜色通道的均值μα(x,y,c)和方差σα(x,y,c):
其中Nu×Nv为子光圈图像阵列中的子光圈图像个数;设定遮挡滤除阈值为3σα(x,y,c),定义满足的光线为可能被遮挡的光线;将可能被遮挡的光线滤除后,更新μα(x,y,c)、σα(x,y,c)和遮挡滤除阈值,进一步滤除可能被遮挡的光线;如此迭代,直至没有可能被遮挡的光线或剩余光线个数小于(Nu×Nv)/2,并保留最终更新后的μα(x,y,c)和σα(x,y,c)。
5.根据权利要求4所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于所述对应性响应计算方法具体描述为:
对于重对焦平面Πα上像素(x,y),经过光线级遮挡滤除滤波器滤除可能被遮挡的光线后,得到的最终更新后的μα(x,y,c)和σα(x,y,c),对应性响应cα(x,y)的计算公式为:
其中||·||2为L2范数。
6.根据权利要求5所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(4)具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线其均值为像素(x,y)的对焦值;深度参数为α的重对焦平面上所有像素的对焦值组成为深度参数为α的重对焦图像并采用散焦响应计算方法,得到每个像素的散焦响应
7.根据权利要求6所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(5)所述的根据步骤(3)和步骤(4)的结果,采用一种像素级遮挡滤除滤波器,对各个重对焦平面上各个像素的对应 性响应和散焦响应进行滤波,具体为:
对于重对焦平面Πα,根据步骤(3)和步骤(4)的结果,得到深度参数为α的重对焦平面上各个像素(x,y)的对应性响应和散焦响应 所有重对焦平面上所有像素的对应性响应和散焦响应构成了对应性响应体和散焦响应体采用一种像素级遮挡滤除滤波器,对对应性响应体和散焦响应体进行滤波,以保持对应性响应体和散焦响应体中的遮挡边缘特性,得到滤波后各个重对焦平面上各个像素的对应性响应和散焦响应
所述的一种像素级遮挡滤除滤波器是一种具有边缘保持特性的体滤波器,以保持对应性响应和散焦响应中的遮挡边缘特性,具体表述为:
对于深度参数为α的重对焦平面,将主透镜平面中心坐标(0,0)到该重对焦平面上所有像素的中心光线组成为中心图像Iα(x,y,c);从对应性响应和散焦响应体中提取该重对焦平面的对应性响应和散焦响应采用文献[12]提出的具有边缘保持特性的导向滤波方法,将中心图像Iα(x,y,c)作为导向图,对对应性响应和散焦响应进行导向滤波;所有重对焦平面滤波后的对应性响应和散焦响应重新构成了滤波后的对应性响应体 和散焦响应体
8.根据权利要求7所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于
步骤(6)所述的估计每个像素的对应性置信度,具体为:
对于像素(x,y),根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的对应性响应;寻找对应性响应最小值 和次小值则像素(x,y)的对应性置信度为:
步骤(7)所述的估计每个像素的散焦置信度,具体为:
对于像素(x,y),根据步骤(5)所得到的滤波后对应性响应体 提取该像素在各个重对焦平面上的散焦响应;寻找散焦响应最大值和次大值则像素(x,y)的散焦置信度为:
步骤(8)所述的将对应性响应和散焦响应合成深度线索代价,具体为:
对于重对焦平面Πα上像素(x,y),根据步骤(5)得到像素(x,y)在重对焦平面Πα上的对应性响应和散焦响应根据步骤(6)和步骤(7)得到像素(x,y)的对应性置信度和散焦置信度则像素(x,y)在重对焦平面Πα上的深度线索代价w(x,y,α)为:
其中和为调节对应性响应和散焦响应对于深度线索代价的贡献度参数,通常取和。
9.根据权利要求8所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(9)所述的采用一种图像级遮挡滤除滤波器,获取图像级遮挡信息;
所述的一种图像级遮挡滤除滤波器是一种边缘置信的检测方法;根据步骤(1)中提取的中心子光圈图像,采用文献[13]中的方法提取梯度边缘和边缘置信;将中心子光圈图像中所有像素的边缘置信归一化至[0,1];对于像素(x,y)和像素(x′,y′)的归一化后边缘置信ε(x,y)和ε(x′,y′),两像素间的图像级遮挡信息wε(x,y,x′,y′)计算公式为:
wε(x,y,x′,y′)=max(1-|ε(x,y)-ε(x′,y′)|,cε)
其中cε为正则常数项,通常取cε=0.1。
10.根据权利要求9所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法,其特征在于步骤(10)所述的建立一种基于全局能量函数的深度估计优化方法,估计出每个像素的深度值;
对于像素(x,y),其深度值估计就是在所有重对焦平面中寻找到对焦度最好的重对焦平面Πα,并将该平面的索引值dα作为像素(x,y)的深度值,这是个标记问题;该标记问题可转换为一种求解全局能量函数最小的优化方法,并采用图割算法求解,得到每个像素的深度值;
所述的全局能量函数为:
其中N为4-邻域;
数据项Edata(x,y,dp)表示为像素(x,y)深度值赋值为dp的代价;根据dp重对焦平面所对应的深度参数αp,数据项Edata(x,y,dp)=w(x,y,αp);
平滑项Esmooth(dp,dq)表示为相邻两个像素(x,y)和(x′,y′)的深度值分别赋值为dp和dq的平滑代价;根据dp和dq重对焦平面所对应的深度参数αp和αq,平滑项Esmooth(dp,dq)=wε(x,y,x′,y′)·T(αp≠αq),T(·)为文献[14]中的Potts函数;
标号项Elabel(dm,dn)表示为深度值dm和dn之间的似然值,计算公式为:
其中为高斯分布方差,通常取 为正则常数项,通常取
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610828210.9A CN106340041B (zh) | 2016-09-18 | 2016-09-18 | 一种基于级联遮挡滤除滤波器的光场相机深度估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610828210.9A CN106340041B (zh) | 2016-09-18 | 2016-09-18 | 一种基于级联遮挡滤除滤波器的光场相机深度估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106340041A true CN106340041A (zh) | 2017-01-18 |
CN106340041B CN106340041B (zh) | 2018-12-25 |
Family
ID=57840000
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610828210.9A Active CN106340041B (zh) | 2016-09-18 | 2016-09-18 | 一种基于级联遮挡滤除滤波器的光场相机深度估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106340041B (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108090920A (zh) * | 2017-12-14 | 2018-05-29 | 浙江工商大学 | 一种新的光场图像深度流估计方法 |
CN108564620A (zh) * | 2018-03-27 | 2018-09-21 | 中国人民解放军国防科技大学 | 一种针对光场阵列相机的场景深度估计方法 |
CN108846473A (zh) * | 2018-04-10 | 2018-11-20 | 杭州电子科技大学 | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 |
CN109255809A (zh) * | 2018-09-26 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种光场图像深度估计方法及装置 |
CN109360235A (zh) * | 2018-09-29 | 2019-02-19 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于光场数据的混合深度估计方法 |
CN110827343A (zh) * | 2019-11-06 | 2020-02-21 | 太原科技大学 | 基于能量增强散焦响应的改进光场深度估计算法 |
CN111066065A (zh) * | 2017-08-21 | 2020-04-24 | 快图有限公司 | 用于混合深度正则化的系统和方法 |
CN111970424A (zh) * | 2020-08-25 | 2020-11-20 | 武汉工程大学 | 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140204111A1 (en) * | 2013-01-18 | 2014-07-24 | Karthik Vaidyanathan | Layered light field reconstruction for defocus blur |
CN104966289A (zh) * | 2015-06-12 | 2015-10-07 | 北京工业大学 | 一种基于4d光场的深度估计方法 |
-
2016
- 2016-09-18 CN CN201610828210.9A patent/CN106340041B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140204111A1 (en) * | 2013-01-18 | 2014-07-24 | Karthik Vaidyanathan | Layered light field reconstruction for defocus blur |
CN104966289A (zh) * | 2015-06-12 | 2015-10-07 | 北京工业大学 | 一种基于4d光场的深度估计方法 |
Non-Patent Citations (2)
Title |
---|
TING-CHUN WANG ET AL: "Occlusion-Aware Depth Estimation Using Light-Field Cameras", 《2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
陈佃文 等: "基于四维光场数据的深度估计算法", 《中北大学学报(自然科学版)》 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111066065A (zh) * | 2017-08-21 | 2020-04-24 | 快图有限公司 | 用于混合深度正则化的系统和方法 |
CN111066065B (zh) * | 2017-08-21 | 2024-04-16 | 快图有限公司 | 用于混合深度正则化的系统和方法 |
CN108090920A (zh) * | 2017-12-14 | 2018-05-29 | 浙江工商大学 | 一种新的光场图像深度流估计方法 |
CN108090920B (zh) * | 2017-12-14 | 2021-11-30 | 浙江工商大学 | 一种光场图像深度流估计方法 |
CN108564620A (zh) * | 2018-03-27 | 2018-09-21 | 中国人民解放军国防科技大学 | 一种针对光场阵列相机的场景深度估计方法 |
CN108846473A (zh) * | 2018-04-10 | 2018-11-20 | 杭州电子科技大学 | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 |
CN108846473B (zh) * | 2018-04-10 | 2022-03-01 | 杭州电子科技大学 | 基于方向和尺度自适应卷积神经网络的光场深度估计方法 |
CN109255809A (zh) * | 2018-09-26 | 2019-01-22 | 郑州云海信息技术有限公司 | 一种光场图像深度估计方法及装置 |
CN109360235A (zh) * | 2018-09-29 | 2019-02-19 | 中国航空工业集团公司上海航空测控技术研究所 | 一种基于光场数据的混合深度估计方法 |
CN110827343A (zh) * | 2019-11-06 | 2020-02-21 | 太原科技大学 | 基于能量增强散焦响应的改进光场深度估计算法 |
CN110827343B (zh) * | 2019-11-06 | 2024-01-26 | 太原科技大学 | 基于能量增强散焦响应的改进光场深度估计方法 |
CN111970424A (zh) * | 2020-08-25 | 2020-11-20 | 武汉工程大学 | 基于微透镜阵列合成孔径的光场相机去遮挡系统和方法 |
Also Published As
Publication number | Publication date |
---|---|
CN106340041B (zh) | 2018-12-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106340041B (zh) | 一种基于级联遮挡滤除滤波器的光场相机深度估计方法 | |
Williem et al. | Robust light field depth estimation for noisy scene with occlusion | |
Meng et al. | High-dimensional dense residual convolutional neural network for light field reconstruction | |
US10574905B2 (en) | System and methods for depth regularization and semiautomatic interactive matting using RGB-D images | |
Rossi et al. | Geometry-consistent light field super-resolution via graph-based regularization | |
CN107862698B (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
Zitnick et al. | Consistent segmentation for optical flow estimation | |
Tao et al. | Depth from combining defocus and correspondence using light-field cameras | |
Zhang et al. | On 3D scene flow and structure estimation | |
CN106651943B (zh) | 一种基于遮挡几何互补模型的光场相机深度估计方法 | |
CN105023249A (zh) | 基于光场的高光图像修复方法及装置 | |
CN104574375A (zh) | 结合彩色和深度信息的图像显著性检测方法 | |
Mihara et al. | 4D light field segmentation with spatial and angular consistencies | |
CN111107337B (zh) | 深度信息补全方法及其装置、监控系统和存储介质 | |
Lee et al. | Depth estimation from light field by accumulating binary maps based on foreground–background separation | |
Neri et al. | A multi-resolution approach to depth field estimation in dense image arrays | |
CN109949354B (zh) | 一种基于全卷积神经网络的光场深度信息估计方法 | |
CN110889868B (zh) | 一种结合梯度和纹理特征的单目图像深度估计方法 | |
CN108090920B (zh) | 一种光场图像深度流估计方法 | |
Li et al. | Joint image denoising using light-field data | |
Maninchedda et al. | Face reconstruction on mobile devices using a height map shape model and fast regularization | |
Yan et al. | Light field depth estimation based on channel attention and edge guidance | |
Akimov et al. | Single-image depth map estimation using blur information | |
CN110827343B (zh) | 基于能量增强散焦响应的改进光场深度估计方法 | |
Lee et al. | Single camera-based full depth map estimation using color shifting property of a multiple color-filter aperture |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |