CN111260712A - 一种基于重聚焦极线图邻域分布的深度估计方法和装置 - Google Patents

Abstract

一种基于重聚焦极线图邻域分布的深度估计方法和装置，所述方法包括：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback‑Leibler散度分析两侧的直方图分布；分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。本方法实现在未显示定义遮挡模型的前提下，保证整张深度图质量得到提高。

Description

一种基于重聚焦极线图邻域分布的深度估计方法和装置

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别是一种基于重聚焦极线图邻域分布的深度估计方法和装置。

背景技术

近些年来，如何让计算机感知世界万物，从而真实地重构出客观世界的场景，是计算机视觉领域中重要且具有挑战性的研究方向之一。光场数据可同时记录四维光场，实现多视角转换、先拍照后对焦等功能，在计算机视觉领域展现出无与伦比的优势，尤其丰富了该领域中深度估计的算法，提高了效率，对于基于深度的三维重建等应用具有重大意义。

光场数据有多种存储格式，极线图(Epipolar Image,EPI)是其中一种，在笛卡尔坐标系中，两个坐标轴中的一个代表空间信息，另一个代表角度信息，因此，3D空间中的点对应EPI中的一条线，当物体处在不同深度时，空间位置随视角变化的变化率不同，该线斜率就对应于该空间点的深度。当物体准确聚焦时，其空间信息不随视角变化而变化，因此表现形式为垂直于空间坐标的直线，两侧的邻域分布差异较大。当物体被遮挡时，背景物体的极线被前景物体截断，故而不能表现为完整的直线形式，但此时截断极线两侧的像素分布依然能保持较大差异。

发明内容

本发明的主要目的在于克服上述技术缺陷中的至少一种，提供一种基于重聚焦极线图邻域分布的深度估计方法和装置。

为实现上述目的，本发明采用以下技术方案：

一种基于重聚焦极线图邻域分布的深度估计方法，所述方法包括如下步骤：

A1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；

A2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度KLD分析两侧的直方图分布；

A3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；

A4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。

进一步地：

步骤A1中，首先进行光场重聚焦操作，生成一系列聚焦在不同深度的光场图L_α(x,y,u,v),(α＝1,2,3,…)，其中x,y为空间坐标，u,v为角度坐标,之后通过固定每张光场图竖直方向的空间坐标y和角度坐标v获得水平极线图(x-u)EPI，综合所有的深度层上的极线图生成水平极线图栈((x-u)EPI栈)，并以同样的方法生成竖直极线图栈((y-v)EPI栈)。

步骤A2中，对于每个像素在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度(K-L散度)分析两侧的直方图分布；

在(x-u)EPI栈上，首先将

定义为:

其中

和

为在EPI竖直两侧对应的强度值为i的像素出现概率；

代表左侧像素对右侧像素的K-L散度，

计算方式与其相同，代表右侧像素对左侧像素的K-L散度；进而，像素p(p＝(x,y))水平方向的深度张量Dh定义为:

像素p竖直方向的深度张量D_v以同样的方式在竖直(y-v)EPI栈中计算，

代表上侧像素对下侧像素的K-L散度，

代表下侧像素对上侧像素的K-L散度。像素p(p＝(x,y))竖直方向的深度张量D_v定义为:

水平或竖直张量的初始深度图通过以下方式获得：

其中*可选择性地代表h或v，即竖直或水平方向。

步骤A3中，对竖直和水平重聚焦EPI中提取的张量进行分析，从而得到每个结果的置信度，对于从竖直和水平张量得到的深度图，将其通过权重融合。

所述步骤A3中，KLD曲线波峰附近变化剧烈的像素点，认定所得深度值置信度更高，反之亦然；其中，通过方差作为衡量变化是否剧烈的指标，置信度c_*定义为:

c_*(p)＝var(D_*e(p))|e∈H(α(p)),H(α(p))＝[α_*(p)-δ,α_*(p)+δ],

(5)

其中*可选择性地代表h或v，var(·)代表计算方差的操作，H(α(p))代表在深度层α维度上，初始深度值α_*(p)周围的邻域中张量数值，δ即为邻域宽度。

步骤A5中，使用多标签优化模型进行深度值的迭代传递，其中，全局优化模型定义如下：

其中α_h(p)，α_v(p)分别代表从竖直和水平张量中计算求得的初始深度图，g_α(p)代表最终深度图中的梯度，

代表中心子孔径图像中的梯度，λ₁和λ₂分别为控制最终精细化深度图的连续性和平滑性的约束；

通过最小化方程(6),得到最终深度图α_final。

一种基于重聚焦极线图邻域分布的深度估计装置，包括至少一个存储器以及至少一个处理器；

所述存储器，存储有至少一个可执行程序；

所述可执行程序在由所述处理器执行时，实现所述的方法。

本发明具有如下有益效果：

本发明提出了一种基于重聚焦极线图邻域分布的深度估计方法装置，本发明充分利用光场数据结构特性，从一系列重聚焦EPI图中提取与聚焦相关的张量，分析其聚焦程度，且在没有显式定义遮挡模型的情况下，很好地保留遮挡边界，获得细节丰富、边界清晰的深度图。本发明深入分析重聚焦特点和极线图结构，最终将深度估计问题转化成为一个带有极线约束的全局优化问题。本发明综合散焦分析法与极线图法，首先对光场图像进行数字重聚焦，进而提取重聚焦图像中的极线图，通过邻域像素分布分析其是否为垂直空间坐标轴的直线，并选择能够准确描述该特点的深度线索KLD，并定义代价方程，通过最值化代价方程的形式来获取深度图，可获取准确性与一致性高、遮挡边缘锐利清晰的结果。本方法在未显示定义遮挡模型的前提下，保证整张深度图质量得到提高。

附图说明

图1为本发明一种实施例的基于重聚焦极线图邻域分布的深度估计方法的流程图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，本发明实施例提出一种基于重聚焦极线图邻域分布的深度估计方法，所述方法包括如下步骤：

A1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线图(Epipolar image,EPI)，即水平重聚焦极线图栈和竖直重聚焦极线图栈；

A2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度(KLD)分析两侧的直方图分布；

A3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到高质量的深度图；

A4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。

所述步骤A2、A3、A4体现的深度图像估计过程，均依赖于步骤A1中竖直和水平重聚焦EPI图的提取。在优选实施例中，步骤A1中，首先进行光场重聚焦操作，生成一系列聚焦在不同深度的光场图L_α(x,y,u,v),(α＝1,2,3,…)，其中x,y为空间坐标，u,v为角度坐标。之后通过固定每张光场图竖直方向的空间坐标y和角度坐标v即可获得水平极线图(x-u)EPI，综合所有的深度层上的极线图生成水平极线图栈((x-u)EPI栈)，竖直极线图栈((y-v)EPI栈)的获取方法亦然。

在优选实施例中，所述步骤A2中，对于每个像素在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度(KLD)分析两侧的直方图分布。

在重聚焦至每一个深度层的过程中，张量主要作用为表征相应深度层上物体的聚焦程度。物体在正确深度层上的响应即张量在深度维度上所取极值。K-L散度(Kullback-Leibler Divergence,KLD)，又称交叉熵，描述了两种概率分布之间的相对差异，因此优选实施例的方法选择它作为本算法中的深度张量。

在(x-u)EPI栈上，首先将

定义为:

其中

和

为EPI竖直两侧对应的强度值为i的像素出现概率。

代表左侧像素对右侧像素的K-L散度，

计算方式与其相同，代表右侧像素对左侧像素的K-L散度。进而，像素p(p＝(x,y))水平方向的深度张量D_h定义为:

像素p竖直方向的深度张量D_v以同样的方式在竖直(y-v)EPI栈中计算，

代表上侧像素对下侧像素的K-L散度，

代表下侧像素对上侧像素的K-L散度。像素p(p＝(x,y))竖直方向的深度张量D_v定义为:

水平或竖直张量的初始深度图可通过以下方式获得：

其中*可选择性地代表h或v，即竖直或水平方向。

所述步骤A3中，对竖直和水平重聚焦EPI中提取的张量进行分析，从而得到每个结果的置信度。

在优选实施例中，由于从竖直和水平张量得到的深度图各有优势，因此将其通过权重融合。该步骤的核心为获得各张量的权重。通过对多个像素点进行大量实验分析，可得出结论：KLD曲线波峰附近变化较为剧烈的像素点，所得深度值置信度更高，反之亦然。优选实施例通过方差作为衡量变化是否剧烈的指标，置信度c_*定义为:

c_*(p)＝var(D_*e(p))|e∈H(α(p)),H(α(p))＝[α_*(p)-δ,α_*(p)+δ],

(5)

其中*可选择性地代表h或v，var(·)代表计算方差的操作。H(α(p))代表在深度层α维度上，初始深度值α_*(p)周围的邻域中张量数值，δ即为邻域宽度。

所述步骤A5中，建立全局优化模型，将置信度高的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。

为了传递置信度高的深度值，且保持中心子孔径图像中的梯度，以提高深度图的整体质量，优选实施例使用多标签优化模型进行深度值的迭代传递。全局优化模型定义如下：

其中α_h(p)，α_v(p)分别代表从竖直和水平张量中计算求得的初始深度图，g_α(p)代表最终深度图中的梯度，

代表中心子孔径图像中的梯度。λ₁和λ₂分别为控制最终精细化深度图的连续性和平滑性的约束。通过最小化方程(6),即可得到最终既包含了丰富细节又保留了锐利边缘的深度图α_final。

本发明上述实施例提出了一种基于重聚焦极线图邻域分布的深度估计方法和装置，在未显示定义遮挡模型的前提下，保证整张深度图质量得到提高。本发明充分利用光场数据结构特性，从一系列重聚焦EPI图中提取与聚焦相关的张量，分析其聚焦程度，且在没有显式定义遮挡模型的情况下，很好地保留遮挡边界，获得细节丰富、边界清晰的深度图。本发明深入分析重聚焦特点和极线图结构，最终将深度估计问题转化成为一个带有极线约束的全局优化问题。本发明综合散焦分析法与极线图法，首先对光场图像进行数字重聚焦，进而提取重聚焦图像中的极线图，通过邻域像素分布分析其是否为垂直空间坐标轴的直线，并选择能够准确描述该特点的深度线索KLD，并定义代价方程，通过最值化代价方程的形式来获取深度图，可获取准确性与一致性高、遮挡边缘锐利清晰的结果。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (7)

1.一种基于重聚焦极线图邻域分布的深度估计方法，其特征在于，所述方法包括如下步骤：

A1：通过光场重聚焦方式，生成聚焦在不同深度层的光场图，并从中提取一系列不同方向重聚焦极线EPI图，即水平重聚焦极线图栈和竖直重聚焦极线图栈；

A2：对于每个像素，在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度KLD分析两侧的直方图分布；

A3：分析竖直和水平重聚焦极线图所得结果的置信度，并将其融合以得到深度图；

A4：建立全局优化模型，将初始深度图中的深度点通过初始深度值约束、图像纹理结构约束、以及邻域连续性约束传播到整个图像中。

2.如权利要求1所述的方法，其特征在于，步骤A1中，首先进行光场重聚焦操作，生成一系列聚焦在不同深度的光场图L_α(x,y,u,v),(α＝1,2,3,…)，其中x,y为空间坐标，u,v为角度坐标，之后通过固定每张光场图竖直方向的空间坐标y和角度坐标v获得水平极线图(x-u)EPI，综合所有的深度层上的极线图生成水平极线图栈即(x-u)EPI栈，并以同样的方法生成竖直极线图栈即(y-v)EPI栈。

3.如权利要求1或2所述的方法，其特征在于，步骤A2中，对于每个像素在重聚焦EPI图中，选取以其为中心的局部窗口中的邻域像素，利用张量Kullback-Leibler散度即K-L散度分析两侧的直方图分布；

在(x-u)EPI栈上，首先将

定义为:

其中

和

为EPI竖直两侧对应的强度值为i的像素出现概率；

代表左侧像素对右侧像素的K-L散度，

计算方式与其相同，代表右侧像素对左侧像素的K-L散度；进而，像素p(p＝(x,y))水平方向的深度张量D_h定义为:

像素p竖直方向的深度张量D_v以同样的方式在竖直(y-v)EPI栈中计算，

代表上侧像素对下侧像素的K-L散度，

代表下侧像素对上侧像素的K-L散度，像素p(p＝(x,y))竖直方向的深度张量D_v定义为:

水平或竖直张量的初始深度图通过以下方式获得：

其中*可选择性地代表h或v，即竖直或水平方向。

4.如权利要求1至3任一项所述的方法，其特征在于，步骤A3中，对竖直和水平重聚焦EPI中提取的张量进行分析，从而得到每个结果的置信度，对于从竖直和水平张量得到的深度图，将其通过权重融合。

5.如权利要求4所述的方法，其特征在于，所述步骤A3中，KLD曲线波峰附近变化剧烈的像素点，认定所得深度值置信度更高，反之亦然；其中，通过方差作为衡量变化是否剧烈的指标，置信度c_*定义为:

c_*(p)＝var(D_*e(p))|e∈H(α(p)),H(α(p))＝[α_*(p)-δ,α_*(p)+δ],

(5)

其中*可选择性地代表h或v，var(·)代表计算方差的操作，H(α(p))代表在深度层α维度上，初始深度值α_*(p)周围的邻域中张量数值，δ即为邻域宽度。

6.如权利要求1至5任一项所述的方法，其特征在于，步骤A5中，使用多标签优化模型进行深度值的迭代传递，其中，全局优化模型定义如下：

其中α_h(p)，α_v(p)分别代表从竖直和水平张量中计算求得的初始深度图，g_α(p)代表最终深度图中的梯度，

代表中心子孔径图像中的梯度，λ₁和λ₂分别为控制最终精细化深度图的连续性和平滑性的约束；

通过最小化方程(6),得到最终深度图α_final。

7.一种基于重聚焦极线图邻域分布的深度估计装置，其特征在于，包括至少一个存储器以及至少一个处理器；

所述存储器，存储有至少一个可执行程序；

所述可执行程序在由所述处理器执行时，实现如权利要求1至6中任一项所述的方法。

Images