CN108596965A - 一种光场图像深度估计方法 - Google Patents

Abstract

本发明公开了一种光场图像深度估计方法，包括：利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差；通过基于光流的方法对所述视差进行插值处理，最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项；考虑存在遮挡时遮挡区域会影响对象边界深度估计，将遮挡区域预测器与能量函数平滑项相结合，有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。

Description

一种光场图像深度估计方法

技术领域

本发明涉及图像处理以及立体视觉技术领域，尤其涉及一种针对光场图像的深度估计方法。

背景技术

近年来，光场成像技术作为一种真三维立体显示技术，取得了快速发展。由于光场成像的特殊成像原理，即光场成像设备可以同时记录空间中的光线位置与角度信号，使得景深调节、视点变换以及先拍摄后聚焦成为可能。光场相机由主镜头、透镜阵列和成像传感器组成，通过一次曝光可以获取拍摄场景的三维信息。同时，光场相机还具有还原拍摄场景深度信息的能力，从而使得立体视觉成像系统的结构更加简洁，简化了场景深度信息的获取过程。因此，针对光场相机获取的光场图像进行深度估计技术具有重要的理论研究和实际应用价值。

长久以来，深度估计一直是计算机视觉领域关注的重点之一。针对人类视觉系统中不同的深度线索(如视差、模糊、阴影、以及纹理等)，研究人员提出了不同的场景深度估计方法。但是，大多数深度估计方法仍依赖视差线索。在此基础上，基于区域和特征的匹配方法更是图像深度估计中的经典方法。目前，结合场景分割理论和全局优化理论，基于视差线索的方法获得较高的深度估计精度。但是，现有视差法仍存在深度估计过程不鲁棒的问题。一个原因是自然场景的复杂性，如遮挡、重复纹理、以及深度不连续等情况。另一个原因是采集系统对场景采样的视角不足、信噪比低，如传统双目或多目系统视点较少、普遍存在图像噪声与模糊。

由于光场采集系统提供的视点较多、数据集包含的光线角度采样信息量较大，这些特点为高质量的视差估计提供了数据保证。Wanner等采用结构张量在二维光场外极面图像(Epipolar Plane Image，EPI)上计算像素匹配方向以实现对场景的深度估计。Yu等针对便携式光场相机数据提出了对遮挡鲁棒的迭代深度估计方法，通过求解不同子视点图像的匹配关系实现了深度估计。之后，Yu等又提出了一种基于约束Delaunay三角化的光场图像分割方法，并采用基于直线约束的全局优化方法求取场景深度。Suzuki等提出一种考虑视差信息的深度获取方法，在EPI结构张量分析之前引入剪切值进行剪切变换，再对置信图进行平滑处理，进而通过积分得到最终的视差图。

发明人在实现本发明的过程中，发现现有技术中至少存在以下缺点和不足：

现有的光场图像深度估计方法，无法均衡地对主要对象和背景进行深度估计，需要平衡对象边界深度估计锐化、对象内部的深度变化区域过渡过于突兀、以及背景深度估计不准确等情况。

发明内容

本发明提供了一种光场图像深度估计方法，本发明考虑了立体匹配和光场结构特性，设计了一种针对光场图像深度估计的优化模型，实现对光场图像准确深度估计、同时有效平衡深度边界锐化，避免背景估计不准确的现象，详见下文描述：

一种光场图像深度估计方法，所述方法包括以下步骤：

利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；

利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；

采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差；

通过基于光流的方法对所述视差进行插值处理，最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项；

考虑存在遮挡时遮挡区域会影响对象边界深度估计，将遮挡区域预测器与能量函数平滑项相结合，有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。

所述能量函数平滑项具体为：

其中，为中心视点彩色图像的梯度，k和w为权重因素，为基于光场结构方法的预测深度图的梯度，P_occ(p)和P_occ(q)分别为相邻像素的遮挡区域预测器的值；分子表示平滑约束项，而分母则可在相邻像素差异明显、可能存在遮挡或者处于对象边界时弱化该分子表示的平滑约束项。

所述能量函数数据项具体为：

其中，d为最终的深度值，p为相邻像素，σ为对原始图像进行下采样的采样因子的标准差。

本发明提供的技术方案的有益效果是：

1、本发明在保留深度图结构特性的同时恢复对象的锐利边界，准确得到光场图像清晰的深度边界、并修正背景中不准确的深度估计结果，最终得到高质量的深度估计；

2、本发明还可以增强所获立体图像的清晰度和深度感，同时提供有效的深度信息，并获得良好的立体视觉感知。

附图说明

图1为一种光场图像深度估计方法的流程图；

图2为利用本发明对光场图像进行深度估计的实验结果的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面对本发明实施方式作进一步地详细描述。

实施例1

为了克服现有技术中的不足，本发明实施例以稠密立体匹配得到的深度估计结果作为基础，联合光场结构信息，在马尔科夫随机域中对全局深度进行迭代优化。在优化过程中，数据项考虑基于立体匹配的深度估计结果，平滑项联合基于光场结构深度估计的梯度信息。同时，将遮挡区域预测器与能量函数平滑项结合，有效减弱遮挡区域的误差深度值对全局深度优化过程的影响，具体的技术方案主要包括以下几个步骤：

101：利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；

其中，该步骤通过基于光场结构特性引导的深度估计方法可以获得锐利的对象边界。

102：采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差；

103：通过基于光流的方法对视差进行插值处理，最后利用光场图像的特点得到深度估计结果；

其中，基于立体匹配的方法能够得到背景平滑过渡的深度图。

104：联合光场结构特征和立体匹配的深度优化。

因此，本发明实施例提出了联合光场结构特征和立体匹配的光场图像深度估计方法。该方法通过在马尔科夫随机域框架对全局深度进行迭代优化，以立体匹配得到的深度估计结果作为能量函数数据项，以基于光场结构深度估计结果的梯度信息作为能量平滑项。同时，将遮挡区域预测器与能量函数平滑项相结合，有效减弱了遮挡区域的误差深度值对全局深度优化过程的影响。

综上所述，本发明实施例通过上述步骤101-步骤104实现对光场图像准确深度估计、同时有效平衡深度边界锐化，避免背景估计不准确的现象。

实施例2

下面结合具体的实例、计算公式对实施例1中的方案进行进一步地介绍，详见下文描述：

一、光场结构特性引导的深度估计

光场相机在拍摄过程中，空间场景中的某点通过微透镜阵列所形成的各个视点图像中对应位置的像素可以组合成一个矩阵块，称之为角度块。考虑到光场图像中的像素点存在空洞点，即其对应的角度块中不存在图像内容一致性，将角度块划分为被遮挡区域和遮挡区域，且划分两个区域的分界线方向与空域中遮挡物的边界方向一致。同时，由于角度块中至少有一半像素来自于被遮挡区域，因此对角度块采用均匀划分的方式进行分割。其中只有遮挡区域具有内容一致性，另一区域由于没有对焦得到合适的深度值，属于被遮挡区域。因此，采用最小方差计算一致性和失焦线索。

首先，计算遮挡区域和被遮挡区域各自的均值和方差：

其中，(u₁,v₁)和(u₂,v₂)分别表示角度块中的两个区域，N_j为区域j包含的像素数量，L_α(x,y,u_j,v_j)为4D光场数据的剪切的光场函数。使得i表示方差较小区域的标号，其表达式为：

则一致性响应可以表示为：

C_α(x,y)＝V_α,i(x,y)

类似的，失焦响应^[1]的表达式如下：

其中，L(x,y,0,0)为透镜平面位置为(0,0)时的四维光场函数。

最终的最佳深度值可以表示为：

二、多尺度多窗口立体匹配

基于多尺度多窗口的立体匹配计算两个视点之间的视差，并将其多次用于光场图像的子孔径图像阵列中的两个不同视点，获得光场图像中心视点的视差图。

多尺度多窗口的立体匹配中利用不同方向不同尺度的窗口，以零均值像素灰度差值平方和作为两个窗口的匹配代价，选择其中具有最小匹配代价的窗口作为匹配窗口。窗口尺寸直观地表现出了最小匹配代价，即视差方差变化的最小值。利用局部定向窗口对图像进行处理，使彩色图像的纹理区域进行精确的匹配。相比于全局方法，局部方法允许检查每个匹配的有效性，适用于多视点图像的立体匹配过程。

然而，局部方法存在两大缺点：匹配模糊度较高以及在不连续和倾斜表面处平行平面假设的失效。与自适应的窗口相比，定向窗口能够正确估计平行平面上的差异。因此，本发明实施例使用定向窗口来处理图像中的倾斜表面和不连续区域。在倾斜表面进行立体匹配时，窗口会根据视差变化的最小方向进行匹配并得到更低的匹配代价值。在不连续区域附近，窗口会依据不连续性进行均衡，使得不连续区域的立体匹配结果更有效。

三、基于光流的插值

为了填补立体匹配结果中的未匹配区域，采用基于光流估计的插值方法进行优化，以提高局部匹配的子像素准确性。

多尺度多窗口立体匹配得到的视差估计图用Ω→R表示，m_D:Ω→{0,1}为视差图的匹配掩模，表征了光流估计的视差结果与局部立体匹配结果相似的像素区域，其中，有效匹配区域的m_D置为1，未有效匹配区域置为0。Ω→R²代表2D矢量场中描述视差估计位移的矢量，即

以Brox等提出的光流估计方法为基础，即光流估计能量函数优化的过程中，不仅考虑视差图的数据项和平滑项，同时引入已得初始视差估计结果与插值优化后视差估计图u＝(u₁,u₂)的差异项作为约束项，得到如下光流估计能量函数表达式：

其中，x＝(x₁,x₂)∈Ω，是一个开有界域，一般表示R²中的一个矩形区域，x₁,x₂为相邻像素点，m_F(x)表示匹配结果中属于遮挡区域的掩膜，m_D(x):Ω→{0,1}为视差图的匹配掩模，表征了光流估计的视差结果与局部立体匹配结果相似的像素区域，其中，有效匹配区域的m_D置为1，未有效匹配区域置为0。C为图像的通道数，ε＝0.001，ω为函数变量。常量α,γ,φ＞0，表示图像I_i的通道c分量。

考虑到视差图中存在遮挡问题，因此在该能量函数的第一、第二项数据项中引入掩模m_F，即忽略被遮挡区域的光流约束以及梯度保持项。此外，能量函数的第三项为视差图平滑项，第四项用于优化立体匹配视差结果的有效值。并通过欧拉-拉格朗日方程进行最优化求解光流估计能量函数表达式。

四、中心视点深度估计

中心视点深度估计通过求取与中心视点位于同一水平位置上的其他视点与中心视点的视差，获得最终的场景深度估计结果。光场图像的子孔径图像阵列看作各个子视点图像I_(s,t)的集合，其中s,t＝0,...,N-1,N≥2，表示参考视点的图像(即中心视点图像)，最终目标为求解得到和的视差。由于光场图像中任意连续视点间的视差是一致的，因此，参考视点与其他任意同一水平位置视点之间的视差表示为d_s＝(s-s₀)d，其中，s＝0,…,N-1。

利用多尺度多窗口立体匹配算法进行立体匹配，并通过基于光流的方法进行插值，得到与中心视点在同一水平位置上的其他视点与中心视点的视差d_s。利用d_s(s＝0,...,N-1)可以求得每个视点的预期视差值d，然后通过取中值可以获得最终的视差估计结果，相关计算公式如下：

其中，m_s(x,y)表示视差d_s所对应的未有效匹配像素的掩模，即只利用有效匹配的区域计算最终的视差值，med表示取中值操作，d_s(x,y)为匹配像素(x,y)的视差，s₀＝(u,v,0)。

五、联合光场结构特征和立体匹配的深度优化

(1)能量函数数据项

能量函数数据项主要利用基于多窗口多尺度的立体匹配方法获取的深度图结果，使之能够提供对象内部深度变化区域更加准确的深度图。能量函数数据项的表达式如下所示：

其中，d为最终的深度值，p为相邻像素，σ为对原始图像进行下采样的采样因子的标准差。

(2)能量函数平滑项

基于光场结构的深度估计方法可以获得锐利的对象边界，因此在平滑项中使用光场结构深度估计的梯度信息优化深度边界。同时，考虑存在遮挡时遮挡区域会影响对象边界深度估计，因此，在平滑项中引入遮挡区域预测器获取更准确的对象边界。

能量函数平滑项表示为：

其中，为中心视点彩色图像的梯度，k和w为权重因素，为基于光场结构方法的预测深度图的梯度，P_occ(p)和P_occ(q)分别为相邻像素的遮挡区域预测器的值。分子表示平滑约束项，而分母则可以在相邻像素差异明显、可能存在遮挡或者处于对象边界时弱化该分子表示的平滑约束项。

其中，遮挡区域预测器P_occ融合了深度线索、一致性线索和失焦线索，表征深度图中某一特定像素是否为被遮挡像素。深度线索通过计算初始深度图的梯度获取初始空洞边界且其遮挡区域预测器分量定义如下：

其中，d_ini表示基于立体匹配获得的初始深度图，f(·)表示使高于某些阈值的响应饱和的裁剪函数，表示计算初始深度图的梯度。具有相同法向量的深度值越大，其像素间的深度变化越大，因此将初始深度的梯度值除以d_ini以增强鲁棒性。

对于存在遮挡的区域，大约仅有一半的角度块像素具有图像内容一致性。此外，被遮挡区域的方差较小，而遮挡区域中的像素由于来自于遮挡物的不同像素，具有更大的方差。因此，通过计算遮挡区域和被遮挡区域方差的比值，能够判断当前空间像素在光场成像过程中存在遮挡现象的概率。一致性线索的遮挡区域预测器分量定义如下：

其中，和分别表示区域1和区域2在最优深度值α^*时的方差，α^*为已有的初始深度值。

如果遮挡部分的结构不清晰，遮挡区域和被遮挡区域的方差都会较小。考虑到存在这一现象，失焦线索计算了遮挡区域和被遮挡区域的像素均值。由于遮挡区域和被遮挡区域来源于不同对象，其颜色值存在差异，因此，遮挡区域和被遮挡区域均值的差异较大同样也预示着该像素出现遮挡现象的可能性较大。失焦线索定义如下：

其中，分别为角度块中遮挡区域和被遮挡区域的均值。

最后，结合深度线索、一致性线索和失焦线索，得到遮挡区域预测器P_occ的计算表达式定义为：

其中，N(·)为标准化函数，表示考虑深度线索的遮挡区域预测器分量，表示考虑一致性线索的遮挡区域预测器分量，表示失焦线索。

(3)深度优化整体能量函数项

综合基于立体匹配获得的深度图(即d_ini)、遮挡区域的线索(即深度线索，一致性线索和失焦线索)以及基于光场结构获得的深度图(即利用深度图梯度)，在马尔科夫随机域中进行深度优化，得到深度估计优化结果。

在优化项设计过程中，构建数据项E_unary用于考虑基于立体匹配的深度估计结果，构建平滑项E_binary联合基于光场结构深度估计结果的梯度信息。同时，将遮挡区域预测器P_occ与能量函数平滑项相结合，有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。整体的深度优化的能量函数表达式如下所示：

其中，d为最终的深度值，p和q为相邻像素。

且能量函数数据项的表达式为：

能量函数平滑项表示为：

其中，为中心视点彩色图像的梯度，k和w为权重因素，为基于光场结构方法得到的预测深度图的梯度。

综上所述，本发明实施例通过上述步骤实现了对光场图像准确深度估计、同时有效平衡深度边界锐化，避免背景估计不准确的现象。

实施例3

下面结合图2对实施例1和2中的方案进行可行性验证，详见下文描述：

图2给出了光场图像进行深度估计的实验结果。第一行为光场图像的深度估计结果，第二行为光场图像的最小六边形物体的左侧边界。从图2中可以看出，本方法可以有效地修正背景中不准确的深度估计结果，提高深度图的估计质量，进一步增强所获立体图像的清晰度及深度感。

参考文献：

[1]Ren Ng,Levoy M,Bredif M,et al.Light field photography with a hand-held plenopic camera[C].Stanford University Computer Science Tech ReportCSTR,2005:1-11.Tao M W,Hadap S,Malik J,et al.Depth from combining defocus andcorrespondence using light-field cameras[C].IEEE International Conference onComputer Vision,2013:673-680.

本领域技术人员可以理解附图只是一个优选实施例的示意图，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种光场图像深度估计方法，其特征在于，所述方法包括以下步骤：

利用基于光场结构特性引导的深度估计，计算考虑遮挡问题下的光场图像中心视点的彩色图的深度图；

利用所述深度图的梯度信息作为马尔科夫随机域框架中对全局深度进行优化的能量函数平滑项；

采用多尺度多窗口的立体匹配，计算与中心视点图像在同一水平位置上其他视点与中心视点的视差；

通过基于光流的方法对所述视差进行插值处理，最后利用光场图像特点得到的深度估计结果作为马尔科夫随机域框架中对全局深度进行优化的能量函数数据项；

考虑存在遮挡时遮挡区域会影响对象边界深度估计，将遮挡区域预测器与能量函数平滑项相结合，有效减弱遮挡区域的误差深度值对全局深度优化过程的影响。

2.根据权利要求1所述的一种光场图像深度估计方法，其特征在于，所述能量函数平滑项具体为：

其中，▽I为中心视点彩色图像的梯度，k和w为权重因素，▽D₀为基于光场结构方法的预测深度图的梯度，P_occ(p)和P_occ(q)分别为相邻像素的遮挡区域预测器的值；分子表示平滑约束项，而分母则可在相邻像素差异明显、可能存在遮挡或者处于对象边界时弱化该分子表示的平滑约束项。

3.根据权利要求1所述的一种光场图像深度估计方法，其特征在于，所述能量函数数据项具体为：

其中，d为最终的深度值，p为相邻像素，σ为对原始图像进行下采样的采样因子的标准差。