CN106340041A - 一种基于级联遮挡滤除滤波器的光场相机深度估计方法 - Google Patents

Abstract

本发明公开了一种基于级联遮挡滤除滤波器的光场相机深度估计方法。本发明根据遮挡信息在光线级、像素级和图像级中的不同表现形式，通过从光线级到像素级再到图像级的三层级联遮挡滤除滤波，滤除或保持原始光场图像数据中可能的遮挡信息，减少光场相机深度估计中的歧义性判断，实现精确的深度估计。本发明的主要特点在于通过光线级遮挡滤除滤波器滤除可能被遮挡的光线，通过像素级遮挡滤除滤波器保持处于深度不连续边缘处像素的遮挡特性，通过图像级遮挡滤除滤波器提取像素间的图像级遮挡信息，从而在深度估计中排除具有歧义性的遮挡信息，提高估计精度。

Description

一种基于级联遮挡滤除滤波器的光场相机深度估计方法

技术领域

本发明属于计算机视觉和计算摄影学领域，具体来说是一种通过一组级联遮挡滤除滤波器实现光场相机的精确深度估计方法。

背景技术

光场相机可以捕获四维光场的空间-角度信息。与传统相机相比，它可从单帧光场图像中获取多视点或子光圈图像，为视觉分析和理解提供更有用的线索和信息。随着光场研究和应用的逐渐深入，从光场图像中恢复出精确深度信息已成为当前计算机视觉和计算摄影学领域中的研究热点之一。

目前已提出了许多光场相机的深度恢复方法。早期深度恢复方法可追溯到有关焦点栈^[1]和景深提取^[2]的研究。Georgiev和Lumsdaine^[3]通过计算微透镜图像间归一化互相关来估计视差图。Bishop和Favaro提出一种可变贝叶斯框架重建场景深度^[4]。Perwass和Wietzke提出一种基于对应性的深度估计方法^[5]。Yu等人分析光场图像中线段的三维几何，并通过子光圈图像间线段匹配来计算视差图^[6]。Tao等人讨论了不同深度线索在遮挡、重复文理和噪声下的优缺点，并在此基础上，提出了基于多线索融合的深度估计方法^[7]。Jeon等人提出光场相移理论实现亚像素精度的深度估计^[8]。Lin等人提出基于焦点栈和数据一致性测度的深度图恢复方法^[9]。然而受制于光场图像的有限空间和角度分辨率，光场相机深度恢复依然面临着精度和鲁棒性的挑战，特别是在深度不连续和遮挡区域。近期Wang等人提出了一种光场遮挡模型^[10,11]，虽然表现出了较好的性能，但对颜色和纹理边缘敏感，因此对于具有丰富纹理变化的物体表面难以获得令人满意的结果。

参考文献：

[1]F.Nava,J.Marichal-Hernndez,and J.Rodrguez-Ramos,“The discretefocal stack transform,”in 16th European Signal Processing Conference(EUSIPCO2008),2008.

[2]T.Georgiev and A.Lumsdaine,“Depth of field in plenoptic cameras,”in 30th Annual Conference of the European Association for Computer Graphics(EuroGraphics 2009),2009.

[3]T.Georgiev and A.Lumsdaine,“Reducing plenoptic camera artifacts,”Computer Graphics Forum,vol.29,no.6,pp.1955–1968,2010.

[4]T.E.Bishop and P.Favaro,“The light field camera:Extended depth offield,aliasing,and superresolution.”IEEE Transactions on Pattern Analysis andMachine Intelligence.(PAMI),vol.34,no.5,pp.972–986,2012.

[5]C.Perwass and P.Wietzke,“Single lens 3d-camera with extendeddepth-of-field,”in SPIE Elect.Imaging,2012.

[6]Z.Yu,X.Guo,H.Ling,A.Lumsdaine,and J.Yu,“Line assisted light fieldtriangulation and stereo matching,”in Proceedings of International Conferenceon Computer Vision(ICCV),2013.

[7]M.Tao,S.Hadap,J.Malik,and R.Ramamoorthi,“Depth from combiningdefocus and correspondence using light-field cameras,”in Proceedings of theIEEE International Conference on Computer Vision(ICCV),2013.

[8]H.-G.Jeon,J.Park,G.Choe,J.Park,Y.Bok,Y.-W.Tai,and I.S.Kweon,“Accurate depth map estimation from a lenslet light field camera,”inProceedings of International Conference on Computer Vision and PatternRecognition(CVPR),2015.

[9]H.Lin,C.Chen,S.B.Kang,and J.Yu,“Depth recovery from light fieldusing focal stack symmetry.”in Proceedings of the IEEE InternationalConference on Computer Vision(ICCV),2015.

[10]T.-C.Wang,A.Efros,and R.Ramamoorthi,“Depth estimation withocclusion modeling using light-field cameras,”IEEE Transactions on PatternAnalysis and Machine Intelligence(TPAMI),2016.

[11]T.-C.Wang,A.Efros,and R.Ramamoorthi,“Occlusion-aware depthestimation using light-field cameras.”in Proceedings of the IEEEInternational Conference on Computer Vision(ICCV),2015.

[12]K.He,J.Sun,and X.Tang,“Guided image filtering,”in EuropeanConference on Computer Vision(ECCV),2010.

[13]P.Meer and B.Georgescu,“Edge detection with embedded confidence,”IEEE Transactions on Pattern Analysis and Machine Intelligence(TPAMI),vol.23,pp.1351–1365,2001

[14]A.Delong,A.Osokin,H.Isack,and Y.Boykov,“Fast approximate energyminimization with label costs.”International Journal of Computer Vision(IJCV),vol.96,no.1,pp.1–27,2012.

发明内容

本发明针对现有技术的不足，受遮挡检测模型的逆问题启发，提供了一种基于级联遮挡滤除滤波器的光场相机精确深度估计方法。

本发明方法的具体步骤如下：

步骤(1)：将原始光场数据重组为一组子光圈图像阵列，具体为：

原始光场数据的双平面表示方式为表现为经过微透镜阵列平面和主透镜平面坐标的光线集合；(s,t)为微透镜阵列平面坐标，取值范围为s∈[1,N_s],t∈[1,N_t]中的整数值，N_t和N_s分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，取值范围为u∈[-N_u/2,N_u/2],v∈[-N_v/2,N_v/2]中的整数值，N_u和N_v分别微透镜图像水平和垂直方向的像素个数；c为颜色通道，通常为红、绿、蓝三色通道；对于主透镜平面上的某个具体坐标位置(u,v)，从原始光场数据中提取主透镜平面坐标为具体坐标位置(u,v)的数据，合为一幅子光圈图像主透镜平面上所有坐标位置的子光圈图像共有N_u×N_v幅，组成子光圈图像阵列；主透镜平面中心坐标(0,0)的子光圈图像为中心子光圈图像

步骤(2)：采用光场重对焦公式，计算从主透镜平面会聚到每个重对焦平面上每个像素的光线，具体为：

设定重对焦平面个数为N_α，第i_α个重对焦平面表示为Π_α，其中i_α∈[1,N_α]为整数值，表示为重对焦平面的索引值。重对焦平面Π_α的深度参数α为：

$\mathrm{\α}=\frac{{\mathrm{\α}}_{max}-{\mathrm{\α}}_{min}}{N_{\mathrm{\α}}-1}\·(i_{\mathrm{\α}}-1)+{\mathrm{\α}}_{min}$

其中α_min和α_max为α的最小值和最大值。计算从主透镜平面上各个坐标位置到重对焦平面Π_α上像素(x,y)的光线。通常N_α、α_min和α_max取值100、0.2和2.0。

所述的从主透镜平面上各个坐标位置到重对焦平面Π_α上像素(x,y)的光线计算方法具体描述为：

对于从主透镜平面上的一个坐标位置(u,v)到重对焦平面Π_α上的像素(x,y)的光线，采用光场重对焦公式计算其与子光圈图像的交点(s′,t′)，并通过图像插值方法计算交点(s′,t′)的光线其中心光线为从主透镜平面中心坐标(0,0)到像素(x,y)的光线；图像插值方法通常为双线性插值方法，为已成熟技术。

所述光场重对焦公式具体描述为：

$\left\{\begin{array}{c}{s}^{\′}=x+(1-\frac{1}{\mathrm{\α}})u\\ t^{\′}=y+(1-\frac{1}{\mathrm{\α}})v\end{array}\right.$

步骤(3)：根据步骤(2)的结果，采用一种光线级遮挡滤除滤波器，计算每个重对焦平面上每个像素的对应性响应，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线采用一种光线级遮挡滤除滤波器，滤除所有可能被遮挡的光线；根据滤除后的剩余光线，计算其对应性响应。

所述的一种光线级遮挡滤除滤波器为一个迭代滤除过程，以将可能被遮挡的光线滤除，具体描述为：对于重对焦平面Π_α上像素(x,y)，会聚到该像素的光线计算所有光线值不同颜色通道的均值μ_α(x,y,c)和方差σ_α(x,y,c)：

其中N_u×N_v为子光圈图像阵列中的子光圈图像个数。设定遮挡滤除阈值为3σ_α(x,y,c)，定义满足的光线为可能被遮挡的光线；将可能被遮挡的光线滤除后，更新μ_α(x,y,c)、σ_α(x,y,c)和遮挡滤除阈值，进一步滤除可能被遮挡的光线；如此迭代，直至没有可能被遮挡的光线或剩余光线个数小于(N_u×N_v)/2，并保留最终更新后的μ_α(x,y,c)和σ_α(x,y,c)。

所述对应性响应计算方法具体描述为：

对于重对焦平面Π_α上像素(x,y)，经过光线级遮挡滤除滤波器滤除可能被遮挡的光线后，得到的最终更新后的μ_α(x,y,c)和σ_α(x,y,c)，对应性响应的计算公式为：

其中||·||₂为L2范数。

步骤(4)：根据步骤(2)的结果，获取每个重对焦平面上的重对焦图像，采用文献[7]中散焦响应计算方法，得到每个重对焦平面上每个像素的散焦响应，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线其均值为像素(x,y)的对焦值。深度参数为α的重对焦平面上所有像素的对焦值组成为深度参数为α的重对焦图像并采用文献[7]中的散焦响应计算方法，得到每个像素的散焦响应

步骤(5)：根据步骤(3)和步骤(4)的结果，采用一种像素级遮挡滤除滤波器，对各个重对焦平面上各个像素的对应性响应和散焦响应进行滤波，具体为：

对于重对焦平面Π_α，根据步骤(3)和步骤(4)的结果，得到深度参数为α的重对焦平面上各个像素(x,y)的对应性响应和散焦响应所有重对焦平面上所有像素的对应性响应和散焦响应构成了对应性响应体和散焦响应体采用一种像素级遮挡滤除滤波器，对对应性响应体和散焦响应体进行滤波，以保持对应性响应体和散焦响应体中的遮挡边缘特性，得到滤波后各个重对焦平面上各个像素的对应性响应和散

焦响应

所述的一种像素级遮挡滤除滤波器是一种具有边缘保持特性的体滤波器，以保持对应性响应和散焦响应中的遮挡边缘特性，具体表述为：

对于深度参数为α的重对焦平面，将主透镜平面中心坐标(0,0)到该重对焦平面上所有像素的中心光线组成为中心图像I_α(x,y,c)；从对应性响应和散焦响应体中提取该重对焦平面的对应性响应和散焦响应采用文献[12]提出的具有边缘保持特性的导向滤波方法，将中心图像I_α(x,y,c)作为导向图，对对应性响应和散焦响应进行导向滤波；所有重对焦平面滤波后的对应性响应和散焦响应重新构成了滤波后的对应性响应体和散焦响应体通常导向滤波方法中正则参数设为0.000001，窗口半径为9。

步骤(6)：根据步骤(5)结果，估计每个像素的对应性置信度，具体为：

对于像素(x,y)，根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的对应性响应；寻找对应性响应最小值和次小值则像素(x,y)的对应性置信度为：

步骤(7)：根据步骤(6)，估计每个像素的散焦置信度，具体为：

对于像素(x,y)，根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的散焦响应；寻找散焦响应最大值和次大值则像素(x,y)的散焦置信度为：

步骤(8)：根据步骤(6)和步骤(7)结果，将对应性响应和散焦响应合成深度线索代价，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(5)得到像素(x,y)在重对焦平面Π_α上的对应性响应和散焦响应根据步骤(6)和步骤(7)得到像素(x,y)的对应性置信度和散焦置信度则像素(x,y)在重对焦平面Π_α上的深度线索代价w(x,y,α)为：

其中和为调节对应性响应和散焦响应对于深度线索代价的贡献度参数，通常取和

步骤(9)：采用一种图像级遮挡滤除滤波器，获取图像级遮挡信息。

所述的一种图像级遮挡滤除滤波器是一种边缘置信的检测方法；根据步骤(1)中提取的中心子光圈图像，采用文献[13]中的方法提取梯度边缘和边缘置信；将中心子光圈图像中所有像素的边缘置信归一化至[0,1]；对于像素(x,y)和像素(x′,y′)的归一化后边缘置信ε(x,y)和ε(x′,y′)，两像素间的图像级遮挡信息w_ε(x,y,x′,y′)计算公式为：

w_ε(x,y,x′,y′)＝max(1-|ε(x,y)-ε(x′,y′)|,c_ε)

其中c_ε为正则常数项，通常取c_ε＝0.1。

步骤(10)：根据步骤(8)和步骤(9)结果，建立一种基于全局能量函数的深度估计优化方法，估计出每个像素的深度值。

对于像素(x,y)，其深度值估计就是在所有重对焦平面中寻找到对焦度最好的重对焦平面Π_α，并将该平面的索引值d_α作为像素(x,y)的深度值，这是个标记问题。根据文献[14]，该标记问题可转换为一种求解全局能量函数最小的优化方法，并采用文献[14]中图割算法求解，得到每个像素的深度值。

所述的全局能量函数为：

其中为4-邻域；

数据项E_data(x,y,d_p)表示为像素(x,y)深度值赋值为d_p的代价；根据d_p重对焦平面所对应的深度参数α_p，数据项E_data(x,y,d_p)＝w(x,y,α_p)；

平滑项E_smooth(d_p,d_q)表示为相邻两个像素(x,y)和(x′,y′)的深度值分别赋值为d_p和d_q的平滑代价；根据d_p和d_q重对焦平面所对应的深度参数α_p和α_q，平滑项E_smooth(d_p,d_q)＝w_ε(x,y,x′,y′)·T(α_p≠α_q)，T(·)为文献[14]中的Potts函数；

标号项E_label(d_m,d_n)表示为深度值d_m和d_n之间的似然值，计算公式为：

其中为高斯分布方差，通常取 为正则常数项，通常取

本发明有益效果如下：

本发明提供了一种基于级联遮挡滤除滤波器的光场相机深度估计方法。该方法根据遮挡信息在光线级、像素级和图像级中的不同表现形式，通过从光线级到像素级再到图像级的三层级联遮挡滤除滤波，滤除或保持原始光场图像数据中可能的遮挡信息，减少光场相机深度估计中的歧义性判断，实现精确的深度估计。该方法的主要特点在于通过光线级遮挡滤除滤波器滤除可能被遮挡的光线，通过像素级遮挡滤除滤波器保持处于深度不连续边缘处像素的遮挡特性，通过图像级遮挡滤除滤波器提取像素间的图像级遮挡信息，从而在深度估计中排除具有歧义性的遮挡信息，提高估计精度。

附图说明

图1为本发明中的方法流程图；

图2为本发明中所提出方法的深度估计性能比对结果。

具体实施方式

以下结合附图对本发明作进一步说明。

如图1和2所示，一种基于级联遮挡滤除滤波器的光场相机深度估计方法具体步骤如下：

步骤(1)：将原始光场数据重组为一组子光圈图像阵列，具体为：

原始光场数据的双平面表示方式为表现为经过微透镜阵列平面和主透镜平面坐标的光线集合；(s,t)为微透镜阵列平面坐标，取值范围为s∈[1,N_s],t∈[1,N_t]中的整数值，N_t和N_s分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，取值范围为u∈[-N_u/2,N_u/2],v∈[-N_v/2,N_v/2]中的整数值，N_u和N_v分别微透镜图像水平和垂直方向的像素个数；c为颜色通道，通常为红、绿、蓝三色通道；对于主透镜平面上的某个具体坐标位置(u,v)，从原始光场数据中提取主透镜平面坐标为具体坐标位置(u,v)的数据，合为一幅子光圈图像主透镜平面上所有坐标位置的子光圈图像共有N_u×N_v幅，组成子光圈图像阵列；主透镜平面中心坐标(0,0)的子光圈图像为中心子光圈图像

步骤(2)：采用光场重对焦公式，计算从主透镜平面会聚到每个重对焦平面上每个像素的光线，具体为：

设定重对焦平面个数为N_α，第i_α个重对焦平面表示为Π_α，其中i_α∈[1,N_α]为整数值，表示为重对焦平面的索引值。重对焦平面Π_α的深度参数α为：

$\mathrm{\α}=\frac{{\mathrm{\α}}_{max}-{\mathrm{\α}}_{min}}{N_{\mathrm{\α}}-1}\·(i_{\mathrm{\α}}-1)+{\mathrm{\α}}_{min}$

其中α_min和α_max为α的最小值和最大值。计算从主透镜平面上各个坐标位置到重对焦平面Π_α上像素(x,y)的光线。通常N_α、α_min和α_max取值100、0.2和2.0。

所述的从主透镜平面上各个坐标位置到重对焦平面Π_α上像素(x,y)的光线计算方法具体描述为：

对于从主透镜平面上的一个坐标位置(u,v)到重对焦平面Π_α上的像素(x,y)的光线，采用光场重对焦公式计算其与子光圈图像的交点(s′,t′)，并通过图像插值方法计算交点(s′,t′)的光线其中心光线为从主透镜平面中心坐标(0,0)到像素(x,y)的光线；图像插值方法通常为双线性插值方法，为已成熟技术。

所述光场重对焦公式具体描述为：

$\left\{\begin{array}{c}{s}^{\′}=x+(1-\frac{1}{\mathrm{\α}})u\\ t^{\′}=y+(1-\frac{1}{\mathrm{\α}})v\end{array}\right.$

步骤(3)：根据步骤(2)的结果，采用一种光线级遮挡滤除滤波器，计算每个重对焦平面上每个像素的对应性响应，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线采用一种光线级遮挡滤除滤波器，滤除所有可能被遮挡的光线；根据滤除后的剩余光线，计算其对应性响应。

所述的一种光线级遮挡滤除滤波器为一个迭代滤除过程，以将可能被遮挡的光线滤除，具体描述为：对于重对焦平面Π_α上像素(x,y)，会聚到该像素的光线计算所有光线值不同颜色通道的均值μ_α(x,y,c)和方差σ_α(x,y,c)：

其中N_u×N_v为子光圈图像阵列中的子光圈图像个数。设定遮挡滤除阈值为3σ_α(x,y,c)，定义满足的光线为可能被遮挡的光线；将可能被遮挡的光线滤除后，更新μ_α(x,y,c)、σ_α(x,y,c)和遮挡滤除阈值，进一步滤除可能被遮挡的光线；如此迭代，直至没有可能被遮挡的光线或剩余光线个数小于(N_u×N_v)/2，并保留最终更新后的μ_α(x,y,c)和σ_α(x,y,c)。

所述对应性响应计算方法具体描述为：

对于重对焦平面Π_α上像素(x,y)，经过光线级遮挡滤除滤波器滤除可能被遮挡的光线后，得到的最终更新后的μ_α(x,y,c)和σ_α(x,y,c)，对应性响应的计算公式为：

其中||·||₂为L2范数。

步骤(4)：根据步骤(2)的结果，获取每个重对焦平面上的重对焦图像，采用文献[7]中散焦响应计算方法，得到每个重对焦平面上每个像素的散焦响应，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线其均值为像素(x,y)的对焦值。深度参数为α的重对焦平面上所有像素的对焦值组成为深度参数为α的重对焦图像并采用文献[7]中的散焦响应计算方法，得到每个像素的散焦响应

步骤(5)：根据步骤(3)和步骤(4)的结果，采用一种像素级遮挡滤除滤波器，对各个重对焦平面上各个像素的对应性响应和散焦响应进行滤波，具体为：

对于重对焦平面Π_α，根据步骤(3)和步骤(4)的结果，得到深度参数为α的重对焦平面上各个像素(x,y)的对应性响应和散焦响应所有重对焦平面上所有像素的对应性响应和散焦响应构成了对应性响应体和散焦响应体采用一种像素级遮挡滤除滤波器，对对应性响应体和散焦响应体进行滤波，以保持对应性响应体和散焦响应体中的遮挡边缘特性，得到滤波后各个重对焦平面上各个像素的对应性响应和散

焦响应

所述的一种像素级遮挡滤除滤波器是一种具有边缘保持特性的体滤波器，以保持对应性响应和散焦响应中的遮挡边缘特性，具体表述为：

对于深度参数为α的重对焦平面，将主透镜平面中心坐标(0,0)到该重对焦平面上所有像素的中心光线组成为中心图像I_α(x,y,c)；从对应性响应和散焦响应体中提取该重对焦平面的对应性响应和散焦响应采用文献[12]提出的具有边缘保持特性的导向滤波方法，将中心图像I_α(x,y,c)作为导向图，对对应性响应和散焦响应进行导向滤波；所有重对焦平面滤波后的对应性响应和散焦响应重新构成了滤波后的对应性响应体和散焦响应体通常导向滤波方法中正则参数设为0.000001，窗口半径为9。

步骤(6)：根据步骤(5)结果，估计每个像素的对应性置信度，具体为：

对于像素(x,y)，根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的对应性响应；寻找对应性响应最小值和次小值则像素(x,y)的对应性置信度为：

步骤(7)：根据步骤(6)，估计每个像素的散焦置信度，具体为：

对于像素(x,y)，根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的散焦响应；寻找散焦响应最大值和次大值则像素(x,y)的散焦置信度为：

步骤(8)：根据步骤(6)和步骤(7)结果，将对应性响应和散焦响应合成深度线索代价，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(5)得到像素(x,y)在重对焦平面Π_α上的对应性响应和散焦响应根据步骤(6)和步骤(7)得到像素(x,y)的对应性置信度和散焦置信度则像素(x,y)在重对焦平面Π_α上的深度线索代价w(x,y,α)为：

其中和为调节对应性响应和散焦响应对于深度线索代价的贡献度参数，通常取和

步骤(9)：采用一种图像级遮挡滤除滤波器，获取图像级遮挡信息。

所述的一种图像级遮挡滤除滤波器是一种边缘置信的检测方法；根据步骤(1)中提取的中心子光圈图像，采用文献[13]中的方法提取梯度边缘和边缘置信；将中心子光圈图像中所有像素的边缘置信归一化至[0,1]；对于像素(x,y)和像素(x′,y′)的归一化后边缘置信ε(x,y)和ε(x′,y′)，两像素间的图像级遮挡信息w_ε(x,y,x′,y′)计算公式为：

w_ε(x,y,x′,y′)＝max(1-|ε(x,y)-ε(x′,y′)|,c_ε)

其中c_ε为正则常数项，通常取c_ε＝0.1。

步骤(10)：根据步骤(8)和步骤(9)结果，建立一种基于全局能量函数的深度估计优化方法，估计出每个像素的深度值。

对于像素(x,y)，其深度值估计就是在所有重对焦平面中寻找到对焦度最好的重对焦平面Π_α，并将该平面的索引值d_α作为像素(x,y)的深度值，这是个标记问题。根据文献[14]，该标记问题可转换为一种求解全局能量函数最小的优化方法，并采用文献[14]中图割算法求解，得到每个像素的深度值。

所述的全局能量函数为：

其中为4-邻域；

数据项E_data(x,y,d_p)表示为像素(x,y)深度值赋值为d_p的代价；根据d_p重对焦平面所对应的深度参数α_p，数据项E_data(x,y,d_p)＝w(x,y,α_p)；

平滑项E_smooth(d_p,d_q)表示为相邻两个像素(x,y)和(x′,y′)的深度值分别赋值为d_p和d_q的平滑代价；根据d_p和d_q重对焦平面所对应的深度参数α_p和α_q，平滑项E_smooth(d_p,d_q)＝w_ε(x,y,x′,y′)·T(α_p≠α_q)，T(·)为文献[14]中的Potts函数；

标号项E_label(d_m,d_n)表示为深度值d_m和d_n之间的似然值，计算公式为：

其中为高斯分布方差，通常取 为正则常数项，通常取

本发明根据遮挡信息在光线级、像素级和图像级中的不同表现形式，通过从光线级到像素级再到图像级的三层级联遮挡滤除滤波，滤除或保持原始光场图像数据中可能的遮挡信息，减少光场相机深度估计中的歧义性判断，实现精确的深度估计。该方法的主要特点在于通过光线级遮挡滤除滤波器滤除可能被遮挡的光线，通过像素级遮挡滤除滤波器保持处于深度不连续边缘处像素的遮挡特性，通过图像级遮挡滤除滤波器提取像素间的图像级遮挡信息，从而在深度估计中排除具有歧义性的遮挡信息，提高估计精度。

Claims (10)

1.一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于具体步骤如下：

步骤(1)：将原始光场数据重组为一组子光圈图像阵列，

步骤(2)：采用光场重对焦公式，计算从主透镜平面会聚到每个重对焦平面上每个像素的光线；

步骤(3)：根据步骤(2)的结果，采用一种光线级遮挡滤除滤波器，计算每个重对焦平面上每个像素的对应性响应；

步骤(4)：根据步骤(2)的结果，获取每个重对焦平面上的重对焦图像，采用散焦响应计算方法，得到每个重对焦平面上每个像素的散焦响应；

步骤(5)：根据步骤(3)和步骤(4)的结果，采用一种像素级遮挡滤除滤波器，对各个重对焦平面上各个像素的对应性响应和散焦响应进行滤波；

步骤(6)：根据步骤(5)结果，估计每个像素的对应性置信度；

步骤(7)：根据步骤(6)，估计每个像素的散焦置信度；

步骤(8)：根据步骤(6)和步骤(7)结果，将对应性响应和散焦响应合成深度线索代价；

步骤(9)：采用一种图像级遮挡滤除滤波器，获取图像级遮挡信息；

步骤(10)：根据步骤(8)和步骤(9)结果，建立一种基于全局能量函数的深度估计优化方法，估计出每个像素的深度值。

2.根据权利要求1所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(1)所述的将原始光场数据重组为一组子光圈图像阵列，具体为：

原始光场数据的双平面表示方式为表现为经过微透镜阵列平面和主透镜平面坐标的光线集合；(s,t)为微透镜阵列平面坐标，取值范围为s∈[1,N_s],t∈[1,N_t]中的整数值，N_t和N_s分别为微透镜阵列的行数和列数；(u,v)为主透镜平面坐标，取值范围为u∈[-N_u/2,N_u/2],v∈[-N_v/2,N_v/2]中的整数值，N_u和N_v分别微透镜图像水平和垂直方向的像素个数；c为颜色通道，通常为红、绿、蓝三色通道；对于主透镜平面上的某个具体坐标位置(u,v)，从原始光场数据 中提取主透镜平面坐标为具体坐标位置(u,v)的数据，合为一幅子光圈图像主透镜平面上所有坐标位置的子光圈图像共有N_u×N_v幅，组成子光圈图像阵列；主透镜平面中心坐标(0,0)的子光圈图像为中心子光圈图像

3.根据权利要求1所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(2)具体为：

设定重对焦平面个数为N_α，第i_α个重对焦平面表示为Π_α，其中i_α∈[1,N_α]为整数值，表示为重对焦平面的索引值；重对焦平面Π_α的深度参数α为：

其中α_min和α_max为α的最小值和最大值；计算从主透镜平面上各个坐标位置到重对焦平面Π_α上像素(x,y)的光线；通常N_α、α_min和α_max取值100、0.2和2.0；

所述的从主透镜平面上各个坐标位置到重对焦平面Π_α上像素(x,y)的光线计算方法具体描述为：

对于从主透镜平面上的一个坐标位置(u,v)到重对焦平面Π_α上的像素(x,y)的光线，采用光场重对焦公式计算其与子光圈图像的交点(s′,t′)，并通过图像插值方法计算交点(s′,t′)的光线 其中心光线为从主透镜平面中心坐标(0,0)到像素(x,y)的光线；

所述光场重对焦公式具体描述为：

4.根据权利要求3所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(3)所述采用一种光线级遮挡滤除滤波器，计算每个重对焦平面上每个像素的对应性响应，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线采用一种光线级遮挡滤除滤波器，滤除所有可能被遮挡的光线；根据滤除后的剩余光线，计 算其对应性响应；

所述的一种光线级遮挡滤除滤波器为一个迭代滤除过程，以将可能被遮挡的光线滤除，具体描述为：对于重对焦平面Π_α上像素(x,y)，会聚到该像素的光线计算所有光线值不同颜色通道的均值μ_α(x,y,c)和方差σ_α(x,y,c)：

其中N_u×N_v为子光圈图像阵列中的子光圈图像个数；设定遮挡滤除阈值为3σ_α(x,y,c)，定义满足的光线为可能被遮挡的光线；将可能被遮挡的光线滤除后，更新μ_α(x,y,c)、σ_α(x,y,c)和遮挡滤除阈值，进一步滤除可能被遮挡的光线；如此迭代，直至没有可能被遮挡的光线或剩余光线个数小于(N_u×N_v)/2，并保留最终更新后的μ_α(x,y,c)和σ_α(x,y,c)。

5.根据权利要求4所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于所述对应性响应计算方法具体描述为：

对于重对焦平面Π_α上像素(x,y)，经过光线级遮挡滤除滤波器滤除可能被遮挡的光线后，得到的最终更新后的μ_α(x,y,c)和σ_α(x,y,c)，对应性响应c_α(x,y)的计算公式为：

其中||·||₂为L2范数。

6.根据权利要求5所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(4)具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(2)得到从主透镜平面上所有坐标位置会聚到该像素的光线其均值为像素(x,y)的对焦值；深度参数为α的重对焦平面上所有像素的对焦值组成为深度参数为α的重对焦图像并采用散焦响应计算方法，得到每个像素的散焦响应

7.根据权利要求6所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(5)所述的根据步骤(3)和步骤(4)的结果，采用一种像素级遮挡滤除滤波器，对各个重对焦平面上各个像素的对应 性响应和散焦响应进行滤波，具体为：

对于重对焦平面Π_α，根据步骤(3)和步骤(4)的结果，得到深度参数为α的重对焦平面上各个像素(x,y)的对应性响应和散焦响应 所有重对焦平面上所有像素的对应性响应和散焦响应构成了对应性响应体和散焦响应体采用一种像素级遮挡滤除滤波器，对对应性响应体和散焦响应体进行滤波，以保持对应性响应体和散焦响应体中的遮挡边缘特性，得到滤波后各个重对焦平面上各个像素的对应性响应和散焦响应

所述的一种像素级遮挡滤除滤波器是一种具有边缘保持特性的体滤波器，以保持对应性响应和散焦响应中的遮挡边缘特性，具体表述为：

对于深度参数为α的重对焦平面，将主透镜平面中心坐标(0,0)到该重对焦平面上所有像素的中心光线组成为中心图像I_α(x,y,c)；从对应性响应和散焦响应体中提取该重对焦平面的对应性响应和散焦响应采用文献[12]提出的具有边缘保持特性的导向滤波方法，将中心图像I_α(x,y,c)作为导向图，对对应性响应和散焦响应进行导向滤波；所有重对焦平面滤波后的对应性响应和散焦响应重新构成了滤波后的对应性响应体 和散焦响应体

8.根据权利要求7所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于

步骤(6)所述的估计每个像素的对应性置信度，具体为：

对于像素(x,y)，根据步骤(5)所得到的滤波后对应性响应体提取该像素在各个重对焦平面上的对应性响应；寻找对应性响应最小值 和次小值则像素(x,y)的对应性置信度为：

步骤(7)所述的估计每个像素的散焦置信度，具体为：

对于像素(x,y)，根据步骤(5)所得到的滤波后对应性响应体 提取该像素在各个重对焦平面上的散焦响应；寻找散焦响应最大值和次大值则像素(x,y)的散焦置信度为：

步骤(8)所述的将对应性响应和散焦响应合成深度线索代价，具体为：

对于重对焦平面Π_α上像素(x,y)，根据步骤(5)得到像素(x,y)在重对焦平面Π_α上的对应性响应和散焦响应根据步骤(6)和步骤(7)得到像素(x,y)的对应性置信度和散焦置信度则像素(x,y)在重对焦平面Π_α上的深度线索代价w(x,y,α)为：

其中和为调节对应性响应和散焦响应对于深度线索代价的贡献度参数，通常取和。

9.根据权利要求8所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(9)所述的采用一种图像级遮挡滤除滤波器，获取图像级遮挡信息；

所述的一种图像级遮挡滤除滤波器是一种边缘置信的检测方法；根据步骤(1)中提取的中心子光圈图像，采用文献[13]中的方法提取梯度边缘和边缘置信；将中心子光圈图像中所有像素的边缘置信归一化至[0,1]；对于像素(x,y)和像素(x′,y′)的归一化后边缘置信ε(x,y)和ε(x′,y′)，两像素间的图像级遮挡信息w_ε(x,y,x′,y′)计算公式为：

w_ε(x,y,x′,y′)＝max(1-|ε(x,y)-ε(x′,y′)|,c_ε)

其中c_ε为正则常数项，通常取c_ε＝0.1。

10.根据权利要求9所述的一种基于级联遮挡滤除滤波器的光场相机深度估计方法，其特征在于步骤(10)所述的建立一种基于全局能量函数的深度估计优化方法，估计出每个像素的深度值；

对于像素(x,y)，其深度值估计就是在所有重对焦平面中寻找到对焦度最好的重对焦平面Π_α，并将该平面的索引值d_α作为像素(x,y)的深度值，这是个标记问题；该标记问题可转换为一种求解全局能量函数最小的优化方法，并采用图割算法求解，得到每个像素的深度值；

所述的全局能量函数为：

其中N为4-邻域；

数据项E_data(x,y,d_p)表示为像素(x,y)深度值赋值为d_p的代价；根据d_p重对焦平面所对应的深度参数α_p，数据项E_data(x,y,d_p)＝w(x,y,α_p)；

平滑项E_smooth(d_p,d_q)表示为相邻两个像素(x,y)和(x′,y′)的深度值分别赋值为d_p和d_q的平滑代价；根据d_p和d_q重对焦平面所对应的深度参数α_p和α_q，平滑项E_smooth(d_p,d_q)＝w_ε(x,y,x′,y′)·T(α_p≠α_q)，T(·)为文献[14]中的Potts函数；

标号项E_label(d_m,d_n)表示为深度值d_m和d_n之间的似然值，计算公式为：

其中为高斯分布方差，通常取 为正则常数项，通常取