CN104899870A - 基于光场数据分布的深度估计方法 - Google Patents

Abstract

一种基于光场数据分布的深度估计方法，其包括以下步骤：S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及重复所述步骤S2，获得所有宏像素的场景深度。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。

Description

基于光场数据分布的深度估计方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别涉及一种基于光场数据分布的深度估计方法。

背景技术

基于光场成像理论，新近发布的光场相机(如Lytro和RayTrix)获得了巨大的商业成功，并引发研究学界的广泛关注。普通用户利用单台相机除了能实现重聚焦与视点移动功能，也可以借助相关算法从所拍摄的光场图像中估算场景深度。该方法计算深度具有价廉、便捷等优势。

现存基于光场相机的深度估计方法大体可分为两类：立体匹配算法与光场分析算法。传统的立体匹配算法直接利用光场相机采集的各子孔径图像间的相关性计算深度。然而，这类算法通常计算复杂度较高，并且因为子孔径图像的低分辨率无法满足算法匹配所需精度要求，所以得到的深度结果质量较差。另一些改良的立体匹配算法，比如考虑光线传播的直线性，却仍旧因为只利用到光场数据中各视点图像的相关性信息，限制了深度估计的性能。

光场分析方法试图同时利用光场数据中包含的各视点图像的一致性与焦距信息这两种线索来估算深度。该类算法为不同线索定义不同的代价方程，并融合两种线索得到的深度估计进行互补来提升最终结果的准确度。但是，由该类算法估计的深度缺乏细节信息，在准确性与一致性上还有待提升。

发明内容

本发明的目的是提供一种基于光场数据分布的深度估计方法，以解决现有光场相机深度估计方法存在的上述技术问题中的至少一种。

本发明的思路是充分参考光场数据特性，从改变输入光场图像像素分布所得的一系列重聚焦光场图像中提取与焦距相关张量预估场景深度。进一步，还利用该张量随深度的变化趋势与场景中心子孔径纹理图的梯度信息建立多元可信度模型衡量各点初始深度质量，取长补短从而优化初步估计结果，达到利用光场相机采集数据计算高质量深度图像的目的。

本发明提供的一种基于光场数据分布的深度估计方法包括以下步骤：

S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；

S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及

重复所述步骤S2，获得所有宏像素的场景深度。

在上述的基于光场数据分布的深度估计方法中，优选地，所述步骤S1中，采用点扩散函数调整输入光场图像的像素分布。

在上述的基于光场数据分布的深度估计方法中，优选地，进一步还包括依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3。

在上述的基于光场数据分布的深度估计方法中，优选地，所述的依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场景深度作为初始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致性并保留深度边界。

在上述的基于光场数据分布的深度估计方法中，优选地，所述可信度模型为多元可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。

在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的第一部分为C₁(x,y)，

$C_1(x,y)=\sqrt{{(R_{z^{*}}(x,y)-R_{z^{\′}}(x,y))}^2+{(z^{*}-z^{\′})}^2}$

其中，R_z*(x,y)和R_z’(x,y)分别是强度范围R_z(x,y)随场景深度的变化曲线的最小值点和极小值点，z*和z’为最小值点和极小值点对应的场景深度。

在上述的基于光场数据分布的深度估计方法中，优选地，所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础；所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可信度的步骤。

本发明从变换输入图像像素分布所得的一系列重聚焦光场图像中提取与焦距相关张量估计场景深度。在更优的方案中，还利用该张量随深度的变化趋势与场景中心子孔径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一致性来进一步优化深度估计。利用本发明的方法能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的场景深度估计。

附图说明

图1为本发明基于光场数据分布的深度估计方法一些实施例的流程图。

具体实施方式

下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡化，未详细描述众所周知的操作过程。

参照图1，一些实施例基于光场数据分布的深度估计方法包括以下步骤：

S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像。

具体地，输入光场图像首先经过预矫正处理，将每个宏像素中未能捕捉到有效数据信息的外围点去除，防止无意义像素值干扰后续处理。采用点扩散函数(Point Spread Function,PSF)调整矫正后的光场图像L_o的像素位置分布，实现对输入光场图像的重聚焦处理如下：

$L_z(x,y,u,v)=L_o(x+u(1-\frac{1}{z}),y+v(1-\frac{1}{z}),u,v)---\left(1\right)$

生成聚焦平面由近及远变化的一系列光场图像L_z(z＝1,2,3…)，其中z为预设的深度层次，x，y与u，v分别为图像平面上的空间坐标与角度坐标。

S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度。所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围。

光场相机的微透镜阵列的每个微透镜相对于相机的主透镜而言代表某角度上的子孔径，光场数据中宏像素对应实际场景中的一点，宏像素包含了其相应场景点通过整个微透镜阵列投影的角度信息，并对应记录在宏像素内各点上，即各点的强度值与分布位置。根据光场成像理论，图像宏像素中各点强度反映场景点通过不同位置微透镜的投影，在一系列光场图像L_z(z＝1,2,3…)的聚焦平面由近及远变化时，宏像素中各点的强度值在不断变化，导致整个宏像素的强度范围也随之变化，因此，以宏像素的强度范围作为与深度相关张量来估计深度。具体地，提取宏像素强度范围如下：

$R_z(x,y)=I_{\underset{u,v}{\max }}(x,y,u,v)-I_{\underset{u,v}{\min }}(x,y,u,v),u,v\∈M---\left(2\right)$

其中I(x,y,u,v)是位于坐标(x,y)的微透镜(对应图像平面L_z中的宏像素(x,y))内一点(u,v)的强度值，M表示该微透镜内所有点的集合。

由光场成像原理分析可知当场景点恰好位于相机聚焦平面上时，该点透过位于各角度的子孔径被准确投影在图像平面上，即各角度投影均准确反映了该点的纹理值，因此其对应宏像素内各点强度的变化范围最小——宏像素强度范围最小。聚焦该场景点的光场图像L_z的焦距反映了该点的深度信息，由此得到宏像素(x,y)的场景深度初始估计D_initial(x,y)，

$D_{\mathrm{initial}}(x,y)=\mathrm{arc}\underset{z}{\min }{R}_z(x,y)---\left(3\right)$

重复上述步骤S2，即可获得所有宏像素的场景深度。

S3、依据可信度模型对步骤S2获得的场景深度进行全局优化。

在优选的实施例中，所述多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。

在更优选实施例中，多元可信度模型建立如下：首先定义一元可信度(即多元可信度模型的第一部分)以衡量深度估计的准确性，通过分析提取各点强度范围R_z(x,y)随深度D的变化趋势(变化曲线)，发现该曲线的最小值点与极小值点的欧氏距离与该点深度估计D_initial(x,y)的准确性存在正相关关系，由此对各点深度估计赋予与准确性相应的可信度C₁如下：

$C_1(x,y)=\sqrt{{(R_{z^{*}}(x,y)-R_{z^{\′}}(x,y))}^2+{(z^{*}-z^{\′})}^2}---\left(4\right)$

其中，R_z*(x,y)和R_z’(x,y)分别是强度范围R_z(x,y)随深度D的变化曲线的最小值点与极小值点，z*和z’为其各自对应的深度。其次，定义另一元可信度(即多元可信度模型的第二部分)以衡量估计深度D_initial在非边界区域的一致性与边界区域的突变性，根据中心子孔径纹理图像的梯度信息在非边界区域变化平缓、在边界区域突变的特性，定义另一元可信度C₂如下：

C₂(x，y)＝(Grad_x(x，y)+Grad_y(x，y))/2          (5)

$\begin{array}{c}{\mathrm{Grad}}_x(x,y)=\left\{\begin{array}{c}|F(x+1,y)-F(x,y)|,x=1\\ |F(x+1,y)-F(x-1,y)|/2,x\∈(1,M),\\ |F(x,y)-F(x-1,y)|,x=M\end{array}\right.\\ {\mathrm{Grad}}_y(x,y)=\left\{\begin{array}{c}|F(x,y+1)-F(x,y)|,y=1\\ |F(x,y+1)-F(x,y-1)|/2,y\∈(1,N),\\ |F(x,y)-F(x,y-1)|,y=N\end{array}\right.\end{array}---\left(7\right)$

其中Grad_x和Grad_y分别为图像平面x,y方向上的梯度值，F(x,y)为中心子孔径纹理图(x,y)处像素的强度值。最后，结合可信度C₁和C₂建立多元可信度模型C如下：

C(x，y)＝C₁(x，y)·C₂(x，y)             (6)

在上述更优选实施例中，所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础。相应地，所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可信度的步骤。具体地，由于宏像素内各点记录了角度信息，因此各宏像素中心点所构成的图像即为中心子孔径纹理图。

在一些实施例中，全局优化的步骤包括：以步骤S2获得的场景深度D_initial作为初始输入，利用马尔科夫随机场(Markov Random Field,MRF)进行优化。优化原则是：提高深度估计的准确性与一致性，并保留清晰的边界特征。具体的优化方法包括：依据所述可信度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致性并保留深度边界。全局优化后得最终深度估计D_final，过程如下：

$\begin{array}{c}\underset{D_{\mathrm{final}}}{\min \mathrm{imize}}\underset{(x,y)}{\mathrm{\Σ}}C\·|D_{\mathrm{final}}-D_{\mathrm{raw}}|\\ +{\mathrm{\λ}}_{\mathrm{flat}}\underset{(x,y)}{\mathrm{\Σ}}({\left|\frac{\∂D_{\mathrm{final}}}{\∂x}\right|}_{(x,y)}+{\left|\frac{\∂D_{\mathrm{final}}}{\∂y}\right|}_{(x,y)})\\ +{\mathrm{\λ}}_{\mathrm{smooth}}\underset{(x,y)}{\mathrm{\Σ}}{\left|\left(\mathrm{\Δ}{D}_{\mathrm{final}}\right)\right|}_{(x,y)}.\end{array}---\left(8\right)$

其中，λ_flat和λ_smooth为拉普拉斯约束项和二阶微分项的参数，分别限制了最终深度估计D_final的平滑性与连续性。此外还可以计算D_final与约束项间的误差，构造误差矩阵来最小化公式(8)，由此进一步优化深度估计结果。可以理解地，利用马尔科夫随机场进行全局优化只是一个优选方式，本发明还可以采用其它方式来进行全局优化，例如基于图像切割的多标记优化，联合离散连续优化等。

上述一些实施例充分参考光场数据特性，从变换输入光场图像像素分布所得的一系列重聚焦光场图像中提取与焦距相关张量估计场景深度，并利用该张量随深度的变化趋势与场景中心子孔径纹理图的梯度信息定义多元可信度模型衡量初始深度的准确性与一致性来进一步优化深度估计。利用一些实施例能够充分借助类似Lytro等光场相机采集的场景纹理及空间信息，获得细节丰富，特征清晰，准确性、一致性高的室内外场景深度估计。

Claims (7)

1.一种基于光场数据分布的深度估计方法，其特征在于，包括以下步骤：

S1、调整输入光场图像的像素分布，生成多个不同焦距的重聚焦光场图像；

S2、针对所述多个重聚焦光场图像，分别提取同一个宏像素的强度范围，进而选出最小强度范围对应的重聚焦光场图像，以该重聚焦光场图像的焦距作为该宏像素的场景深度；所述宏像素对应实际场景中的一点，所述宏像素的强度范围为该宏像素内所有点的强度值的变化范围；以及

重复所述步骤S2，获得所有宏像素的场景深度。

2.根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，所述步骤S1中，采用点扩散函数调整输入光场图像的像素分布。

3.根据权利要求1所述的基于光场数据分布的深度估计方法，其特征在于，进一步还包括依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3。

4.根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述的依据可信度模型对步骤S2获得的场景深度进行全局优化的步骤S3包括：以步骤S2获得的场景深度作为初始输入，利用马尔科夫随机场进行优化，具体的优化方法包括：依据所述可信度模型对各点的深度评估，利用准确性高的深度估计修正不准确的深度，提升同质区域深度估计的一致性并保留深度边界。

5.根据权利要求3所述的基于光场数据分布的深度估计方法，其特征在于，所述可信度模型为多元可信度模型，该多元可信度模型包括用于衡量所述场景深度的准确性的第一部分，以及用于衡量所述场景深度在非边界区域的一致性与边界区域的突变性的第二部分。

6.根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于，

所述多元可信度模型的第一部分为C1(x,y)，

$C_1(x,y)=\sqrt{{(R_{z^{*}}(x,y)-R_{z^{\′}}(x,y))}^2+{(z^{*}-z^{\′})}^2}$

其中，R_z*(x,y)和R_z’(x,y)分别是强度范围R_z(x,y)随场景深度的变化曲线的最小值点和极小值点，z*和z’为最小值点和极小值点对应的场景深度。

7.根据权利要求5所述的基于光场数据分布的深度估计方法，其特征在于，

所述多元可信度模型的第二部分以中心子孔径纹理图的梯度信息为基础；

所述深度估计方法进一步还包括分别获取所述多个重聚焦光场图像的中心子孔径纹理图的步骤，以及用获取的中心子孔径纹理图通过所述多元可信度模型的第二部分计算可信度的步骤。