CN109064505B - 一种基于滑动窗口张量提取的深度估计方法 - Google Patents

Abstract

本发明公开了一种基于滑动窗口张量提取的深度估计方法，包括以下步骤：A1：输入光场图像，进行预处理及重聚焦操作，根据聚焦平面改变时宏像素内部的变化特点提取光场图像的聚焦张量；A2：筛选出光场图像的遮挡区域，通过滑动窗口搜索的方式提取遮挡区域的聚焦张量；A3：根据步骤A1提取的光场图像的聚焦张量和步骤A2中提取的遮挡区域的聚焦张量来进行初始深度估计，得到初始深度图；A4：从光场图像中提取中心子孔径视角图像，根据光场图像的边界进行保边滤波；A5：结合初始深度图和中心子孔径视角图像来建立全局优化模型，进行深度的全局优化。本发明提出的基于滑动窗口张量提取的深度估计方法，能够获得准确性与一致性高、边界清晰的结果。

Description

一种基于滑动窗口张量提取的深度估计方法

技术领域

本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种基于滑动窗口张量提取的深度估计方法。

背景技术

近年来，基于光场成像理论发布的光场相机(如Lytro、Illum和Raytrix)以其便携性强、能够记录四维光场分布的特点引发了研究界的广泛关注，并获得了巨大的商业成功。光场相机通过在主透镜后插入二维微透镜相机阵列就可以同时采集多个视角的信息，包括空间信息和角度信息，相对于传统相机阵列具有成本低廉、可移动的特点。利用光场相机可实现先拍照后对焦，也可对其采集的数据进行二次开发，通过电脑软件借助一定算法实现视角的切换、计算场景景深信息，对于计算机视觉领域的科研人员而言具有很大的意义。

现有的基于光场相机的深度估计方法大体可分为三类：极面图像(EpipolarPlane Image)算法、立体匹配算法与散焦分析算法。其中极面图像算法充分分析了光场图像水平方向和竖直方向的斜率与深度的关系，从而建立光场图像斜率与深度的代价方程实现深度估计；当遮挡存在时，前景后景的斜率混杂，斜率计算错误将直接导致深度估计错误。传统的立体匹配算法利用各子孔径图像间的匹配一致性计算深度；然而，这类算法通常计算复杂度较高，而且由于光场相机各子孔径图像之间基线较短，匹配点可能位于分像素精度，导致无法满足算法匹配所需精度要求，因此该种方法所求得的深度结果质量较差。散焦分析算法则利用重聚焦过程中光场图像所包含的线索来估算深度；在对光场图像进行数字重聚焦的过程中，分析其在聚焦和散焦状态下表现的不同特点，选择能够准确描述该特点的深度线索，为不同线索定义不同的代价方程，通过最小化代价方程的形式来获取准确深度；但是该算法是在整个宏像素中进行一致性分析，当遮挡存在的情况下整个宏像素的视角不再来自同一物点，故一致性不再满足，导致结果并不准确。

综上所述，目前已有的深度估计方法对实际场景的深度估计的并不准确，错误经常出现在纹理稀少的平滑区域以及遮挡区域。

以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

发明内容

为解决上述技术问题，本发明提出一种基于滑动窗口张量提取的深度估计方法，能够获得准确性与一致性高、边界清晰的结果。

为了达到上述目的，本发明采用以下技术方案：

本发明公开了一种基于滑动窗口张量提取的深度估计方法，包括以下步骤：

A1：输入光场图像，进行预处理及重聚焦操作，根据聚焦平面改变时宏像素内部的变化特点提取所述光场图像的聚焦张量；

A2：筛选出所述光场图像的遮挡区域，通过滑动窗口搜索的方式提取遮挡区域的聚焦张量；

A3：根据步骤A1提取的所述光场图像的聚焦张量和步骤A2中提取的遮挡区域的聚焦张量来进行初始深度估计，得到初始深度图；

A4：从所述光场图像中提取中心子孔径视角图像，根据所述光场图像的边界进行保边滤波；

A5：结合步骤A3中的初始深度图和步骤A4中的中心子孔径视角图像来建立全局优化模型，进行深度的全局优化。

优选地，步骤A1中对输入的光场图像进行预处理及重聚焦操作具体包括：对输入的光场图像进行光场矫正和数字重聚焦处理，其中通过下述数字重聚焦公式进行数字重聚焦处理：

其中α为预设的深度层次，x、y和u、v分别为图像平面的空间坐标和角度坐标。

优选地，步骤A1中根据聚焦平面改变时宏像素内部的变化特点提取所述光场图像的聚焦张量具体为采用下式提取所述光场图像的聚焦张量：

其中，p可取1至∞中任意数值，N_u、N_v分别为宏像素中水平和竖直方向的像素个数，x、y和u′、v′分别为空间坐标和角度坐标，I_α(x,y,u′,v′)为相应坐标(x,y,u′,v′)上的光场强度，

代表整个宏像素的平均像素值，ND(x,y)为所述光场图像的聚焦张量。

优选地，步骤A2中筛选出所述光场图像的遮挡区域具体采用熵值法：当步骤A1中计算得到的聚焦张量取最小值时，若此时宏像素熵值大于设定阈值，则判定为遮挡区域。

优选地，步骤A2中通过滑动窗口搜索的方式提取遮挡区域的聚焦张量具体包括：从起始点开始按照预定步长向预定方向依次分块搜索，提取每个分块的聚焦张量，直至搜索完遮挡区域的整个宏像素；再将所得的所有分块的聚焦张量进行比较，取最小值作为遮挡区域的聚焦张量。

优选地，其中步骤A2中通过滑动窗口搜索的方式提取遮挡区域的聚焦张量的过程中，整个宏像素分为相互重叠的若干个分块，互不干扰地进行搜索。

优选地，其中提取每个分块的聚焦张量按照下式进行：

其中，q可取1至∞中任意数值，N_us和N_vs分别为宏像素第s个分块中相应的水平和竖直视角个数，I_α(x,y,us′,vs′)为相应坐标(x,y,us′,vs′)上的光场强度，

为分块s的平均像素值，NDS_s(x,y)为第s个分块的聚焦张量；

然后将所有分块的聚焦张量进行比较，提取遮挡区域的聚焦张量：

优选地，步骤A3中进行初始深度估计具体包括：

其中，α是预设的深度层次，COST(x,y)为每个宏像素的代价函数，表达式为：

其中，E(x,y)为宏像素熵值，δ为设定阈值，ND(x,y)为步骤A1提取的所述光场图像的聚焦张量，NDS(x,y)为步骤A2提取的遮挡区域的聚焦张量。

优选地，步骤A4中具体包括：从所述光场图像中提取各宏像素的中心值，各宏像素内各点记录了角度信息，提取各宏像素中心点所构成的图像为中心子孔径视角图像；然后对步骤A2中获取的初始深度图进行去噪滤波及保留边界。

优选地，步骤A5中结合初始深度图和中心子孔径视角图像来建立的全局优化模型为：

其中，α^*(x,y)为α(x,y)的优化值，COST(x,y)为步骤A2中计算的每个宏像素的代价函数，||α(x,y)-α(x′,y′)||为局部平滑度，α(x′,y′)为α(x,y)的八邻域像素值，||α(x,y)-α_r(x,y)||为数据保真度，α_r(x,y)为步骤A2中计算所得的初始深度估计值，ω₁和ω₂为权重系数。

与现有技术相比，本发明的有益效果在于：本发明的深度估计方法充分利用光场相机采集的角度信息及空间信息，将图像中的平坦区域和遮挡区域区分处理，针对其不同特点提出自适应张量提取方式，能够获得准确性高的深度估计结果，主要体现在所提出的聚焦张量精度较高，能够保证平坦区域的深度准确性，同时由于利用滑动窗口搜索不同区域，可以减少遮挡物对整个宏像素一致性的影响，使得遮挡区域(深度突变)的深度细节更加丰富。

附图说明

图1是本发明优选实施例的基于滑动窗口张量提取的深度估计方法流程图；

图2是本发明优选实施例的滑动窗口搜索过程示意图。

具体实施方式

下面对照附图并结合优选的实施方式对本发明作进一步说明。

如图1所示，本发明优选实施例公开了一种基于滑动窗口张量提取的深度估计方法，包括以下步骤：

A1：输入由光场相机采集的光场数据，进行预处理及重聚焦操作，分析聚焦平面改变时宏像素内部的变化特点，提取聚焦张量；

其中，可以对输入的光场数据进行光场矫正和数字重聚焦处理，得到焦栈，即一系列聚焦平面相对相机由近及远变化的光场图像。在焦栈维度上，分析该系列图像随焦距的变化特征，获得能够用数学方式明显表现焦平面位置变化的张量，从而对场景深度信息进行初步估计。

具体地，光场图像的获取一般借助手持式光场相机如Lytro、Illum或者Raytrix等设备，由Lytro或者Illum得到的原始光场图像格式是lfp或者lfr，可以借助MATLAB光场工具包(不限于此方式)对数据进行解码，从而获得原始场景图像。其中每个宏像素记录实际场景中的一个点，成像对应相机微透镜阵列中的一个单元。故宏像素内部包含的各个角像素记录了相应场景点通过整个微透镜阵列投影的角度信息，并记录在了宏像素内各点，即相应微透镜所对应的多个传感器单元上。但此时的图像一般是灰度图，一般要进行Demosaic操作，从而将原始的宏像素为六边形的图像转化成为原始输入光场图像，宏像素为矩形。同时由于光场相机先拍照后对焦的特点，可以通过数字重聚焦公式(包括但不限于)进行光场图像重聚焦：

通过式(1)形成焦栈，即包含一系列相对相机由近及远聚焦的光场图像L_α(α＝1,2,3,…)。其中α为预设的深度层次，x、y和u、v分别为图像平面的空间坐标和角度坐标。经过该步骤，得到一个完整焦栈。

在焦栈维度上，光场图像L_α(α＝1,2,3,…)的聚焦平面由近及远变化时，分析得到场景点在图像平面投影所对应宏像素中的点一致性也随之变化，其中点一致性是指：当聚集在准确深度时，同一宏像素中，不同视角的像素点来自于同一物体，因此宏像素内的像素具有相等的强度；其聚焦张量提取方式如下：

其中p可取1至∞中任意数值，即聚焦张量为任意范数。公式(2)(3)中，N_u、N_v分别为宏像素中水平和竖直方向的像素个数，x、y和u′、v′分别为空间坐标和角度坐标，I_α(x,y,u′,v′)为相应坐标(x,y,u′,v′)上的光场强度；所求得

代表整个宏像素的平均像素值，ND(x,y)为该宏像素中的平均范数值，即所求的聚焦张量。

A2：利用熵值法筛选遮挡区域，针对其宏像素的特殊特点，通过滑动窗口搜索的方式提取相应聚焦张量；

其中聚焦张量满足光场图像大部分平坦区域的变化规律，但当存在遮挡的情况下，由于宏像素中一部分像素来自遮挡物，整个宏像素中点一致性不再满足，因此本实施例中将平坦区域与遮挡区域区分处理。在本实施例中，采用熵值法线索作为对平坦区域和非平坦区域的划分线索。在焦栈维度上，当步骤A1中所提出的ND(x,y)取得最小值时，由于平坦区域的宏像素中像素点来自同一场景点，故整个宏像素的熵值最小；而遮挡区域的宏像素中像素点来自两个甚至多个场景点，整个宏像素像素值分布较为丰富，熵值较大。因此，当ND(x,y)取得最小值时，计算相应深度层次上相应宏像素的熵值大小，作为对不同区域的划分。

具体地，聚焦张量满足大部分平坦区域的变化规律，但当遮挡存在的情况下，由于宏像素中一部分像素来自遮挡物，整个宏像素中点一致性不再满足。因此当聚焦张量取得最优值时，对应深度并不一定为正确结果。本实施例中提出使用熵值法区分平坦区域和遮挡区域。当聚焦张量取最小值时，若此时宏像素熵值大于设定阈值，则将其判定为遮挡区域，进行下一步对遮挡区域的单独计算。经过对遮挡区域像素进行分析发现，准确聚焦时其中仍有一部分像素点来自被遮挡物体，故该部分像素满足点一致性，由于不能准确得知该部分像素所在位置，故采用滑动窗口搜索的方法，寻找点一致性最小的区域，提取其张量值作为整个宏像素的聚焦张量。具体实施方法如下：

其中，q可取1至∞中任意数值；该实施过程将整个宏像素分为相互重叠的若干个分块，互不干扰地进行搜索。公式(4)、(5)中，N_us和N_vs分别为宏像素第s个分块中相应的水平和竖直视角个数，I_α(x,y,us′,vs′)为相应坐标(x,y,us′,vs′)上的光场强度，

为分块s的平均像素值，NDS_s(x,y)为第s个分块的平均范数值，也即第s个分块的聚焦张量。

如图2所示，该搜索方式从左上角开始依次分块搜索，每个分块的大小为窗口尺寸W的数值。对一个分块搜索完成后，窗口向右或向下移动一个步长S，并以此时所在的位置重新作为下一个分块的左上角进行搜索，循环往复，直至搜索完整个宏像素。搜索完成后，将所得的所有分块的聚焦张量(NDS_s(x,y))进行比较取最小值作为整个宏像素的聚焦张量进行计算，也即将所有分块的聚焦张量进行比较，提取遮挡区域的聚焦张量：

A3：根据步骤A1提取的光场图像的聚焦张量和步骤A2中提取的遮挡区域的聚焦张量来进行初始深度估计，得到初始深度图；

最终，每个宏像素的代价函数定义为：

其中，E(x,y)为宏像素熵值，δ为设定的阈值，ND(x,y)为步骤A1提取的所述光场图像的聚焦张量，NDS(x,y)为步骤A2提取的遮挡区域的聚焦张量。

根据光场成像原理分析可知，当场景点恰好被准确聚焦时，其对应宏像素一致性最高，相应的张量——范数最小，场景深度的初始估计如下：

A4：从输入光场图像中提取中心子孔径视角图像，根据其边界进行保边滤波；

具体地，从输入光场图像L_F中提取各宏像素的中心值，依照步骤A1所述，宏像素内各点记录了角度信息，因此各宏像素中心点所构成的图像即对应中心子孔径纹理图。利用代价函数联合中心子孔径纹理图的梯度信息对获取的初始深度图进行去噪滤波，保留边界，使得处理后的深度图边缘更加平滑，保留更为丰富的信息。

A5：建立多标签的优化模型，进行深度的全局优化。

由于前述步骤仅使用局部特征进行深度估计，因此需要通过全局优化来利用准确性高的深度估计修正不准确的深度值，以提升同质区域深度估计的一致性并保留清晰的边界特征。因此，建立包含代价函数、数据保真度和局部平滑度等多标签的优化模型，进行深度的全局优化。全局优化模型如下所示：

其中，α^*(x,y)为α(x,y)的优化值，COST(x,y)即为步骤A2中定义的每个宏像素的代价函数，||α(x,y)-α(x′,y′)||为局部平滑度，α(x′,y′)为α(x,y)的八邻域像素值，此项保证了像素周边的平滑性，避免了噪声及空洞现象的出现；||α(x,y)-α_r(x,y)||为数据保真度，α_r(x,y)为步骤A2中计算所得的初始深度估计值，该项使得最终所求深度在满足前两项的条件下，尽可能接近初始深度估计值；ω₁和ω₂为权重系数，分别控制局部平滑度和数据保真度的相对权重。

在本实施例中，以步骤A2中获取的初始深度图和步骤A4中提取的中心子孔径图像作为输入，利用上述的优化模型，借助但不局限于图割(Graph Cut)进行全局优化，利用准确性高的深度估计值修正准确性低的深度值，提升同质区域深度估计的一致性并保留清晰的边界特征。

本发明的深度估计方法对宏像素作分块处理，在每一个分块中进行点一致性分析，以此提高遮挡区域聚焦张量提取的准确性；也即根据像素遮挡与否进行分类，并依此分类对宏像素进行相应的聚焦张量提取，以获得准确性与一致性高、边界清晰的结果。

本发明提出了一种新张量估算场景深度，对于平坦区域，该张量与变化的聚焦平面具有强相关性；对于遮挡区域，则通过滑动窗口搜索法找到相应聚焦区域，利用该张量进行进一步分析；在初始深度估计完成后，进行后续优化处理：保留初始估计优势的同时弥补缺陷；优化后的深度图的细节信息更加丰富，边界特征更加清晰。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种基于滑动窗口张量提取的深度估计方法，其特征在于，包括以下步骤：

A1：输入光场图像，进行预处理及重聚焦操作，根据聚焦平面改变时宏像素内部的变化特点提取所述光场图像的聚焦张量；

A2：筛选出所述光场图像的遮挡区域，通过滑动窗口搜索的方式提取遮挡区域的聚焦张量，其中通过滑动窗口搜索的方式提取遮挡区域的聚焦张量具体包括：从起始点开始按照预定步长向预定方向依次分块搜索，提取每个分块的聚焦张量，直至搜索完遮挡区域的整个宏像素；再将所得的所有分块的聚焦张量进行比较，取最小值作为遮挡区域的聚焦张量；

A3：根据步骤A1提取的所述光场图像的聚焦张量和步骤A2中提取的遮挡区域的聚焦张量来进行初始深度估计，得到初始深度图；

A4：从所述光场图像中提取中心子孔径视角图像，根据所述光场图像的边界进行保边滤波；

A5：结合步骤A3中的初始深度图和步骤A4中的中心子孔径视角图像来建立全局优化模型，进行深度的全局优化。

2.根据权利要求1所述的深度估计方法，其特征在于，步骤A1中对输入的光场图像进行预处理及重聚焦操作具体包括：对输入的光场图像进行光场矫正和数字重聚焦处理，其中通过下述数字重聚焦公式进行数字重聚焦处理：

其中α为预设的深度层次，x、y和u、v分别为图像平面的空间坐标和角度坐标。

3.根据权利要求1所述的深度估计方法，其特征在于，步骤A1中根据聚焦平面改变时宏像素内部的变化特点提取所述光场图像的聚焦张量具体为采用下式提取所述光场图像的聚焦张量：

其中，p可取1至∞中任意数值，N_u、N_v分别为宏像素中水平和竖直方向的像素个数，x、y和u′、v′分别为空间坐标和角度坐标，I_α(x,y,u′,v′)为相应坐标(x,y,u′,v′)上的光场强度，

代表整个宏像素的平均像素值，ND(x,y)为所述光场图像的聚焦张量。

4.根据权利要求1所述的深度估计方法，其特征在于，步骤A2中筛选出所述光场图像的遮挡区域具体采用熵值法：当步骤A1中计算得到的聚焦张量取最小值时，若此时宏像素熵值大于设定阈值，则判定为遮挡区域。

5.根据权利要求1所述的深度估计方法，其特征在于，其中步骤A2中通过滑动窗口搜索的方式提取遮挡区域的聚焦张量的过程中，整个宏像素分为相互重叠的若干个分块，互不干扰地进行搜索。

6.根据权利要求1所述的深度估计方法，其特征在于，其中提取每个分块的聚焦张量按照下式进行：

其中，q可取1至∞中任意数值，N_us和N_vs分别为宏像素第s个分块中相应的水平和竖直视角个数，I_α(x,y,us′,vs′)为相应坐标(x,y,us′,vs′)上的光场强度，

为分块s的平均像素值，NDS_s(x,y)为第s个分块的聚焦张量；

然后将所有分块的聚焦张量进行比较，提取遮挡区域的聚焦张量：

7.根据权利要求1所述的深度估计方法，其特征在于，步骤A3中进行初始深度估计具体包括：

其中，α是预设的深度层次，COST(x,y)为每个宏像素的代价函数，表达式为：

其中，E(x,y)为宏像素熵值，δ为设定阈值，ND(x,y)为步骤A1提取的所述光场图像的聚焦张量，NDS(x,y)为步骤A2提取的遮挡区域的聚焦张量。

8.根据权利要求1所述的深度估计方法，其特征在于，步骤A4中具体包括：从所述光场图像中提取各宏像素的中心值，各宏像素内各点记录了角度信息，提取各宏像素中心点所构成的图像为中心子孔径视角图像；然后对步骤A3中获取的初始深度图进行去噪滤波及保留边界。

9.根据权利要求7所述的深度估计方法，其特征在于，步骤A5中结合初始深度图和中心子孔径视角图像来建立的全局优化模型为：

其中，α^*(x,y)为α(x,y)的优化值，COST(x,y)为步骤A3中计算的每个宏像素的代价函数，||α(x,y)-α(x′,y′)||为局部平滑度，α(x′,y′)为α(x,y)的八邻域像素值，||α(x,y)-α_r(x,y)||为数据保真度，α_r(x,y)为步骤A3中计算所得的初始深度估计值，ω₁和ω₂为权重系数。

Images