CN111325763B - 一种基于光场重聚焦的遮挡预测方法和装置 - Google Patents

Abstract

一种基于光场重聚焦的遮挡预测方法和装置，该方法包括如下步骤：对中心子孔径图像分块提取边缘信息，进行区域判定；数字重聚焦对不同区域进行不同深度张量提取；根据初始深度图边缘得到遮挡边界一；根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。该方法能够鲁棒性预测遮挡，得到有效的遮挡边界，从而提高三维重建的准确性。

Description

一种基于光场重聚焦的遮挡预测方法和装置

技术领域

本发明涉及计算机视觉与数字图像处理领域，特别是一种基于光场重聚焦的遮挡预测方法和装置。

背景技术

遮挡边界是当前计算机视觉领域的重大挑战之一，是从二维图像中完整重现三维世界的关键，在三维重建、虚拟现实、视点合成、机器人导航等应用中发挥着至关重要的作用。然而由于二维图像在采集过程中丢失深度信息，遮挡边界在二维图像中通常的表现形式通常与纹理相似，即区分两个或多个部分的边界。因此，如何正确高效地预测出遮挡信息且将其与纹理信息完美分割开来，是本方法的主要目的。

通过分析异平面遮挡与同平面纹理的形成方式，易知其主要区别在于遮挡边界的两部分像素存在于不同深度而不能同时聚焦，纹理边界的两部分像素存在于相同深度因而可同时聚焦。在基于散焦分析的光场深度估计算法中，光场图像通过数字重聚焦的方式生成一系列由近及远依次聚焦的图像，即焦栈；光场图像中的宏像素记录同一空间位置中不同视角信息，又称角度块。基于前述分析中遮挡与纹理不同的形成方式，其在焦栈各深度层中角度块的呈现也必然不同。由于遮挡的存在，导致背景物体在准确聚焦时，其角度块中同时包含聚焦物体和遮挡物两种以上信息，一致性较低，而其余未被遮挡的物体在准确聚焦时角度块中仅包含一种信息，因此一致性很高。

发明内容

本发明的主要目的在于克服上述技术缺陷中的至少一种，提供一种基于光场重聚焦的遮挡预测方法和装置。

为实现上述目的，本发明采用以下技术方案：

一种基于光场重聚焦的遮挡预测方法，所述方法包括如下步骤：

A1：对中心子孔径图像分块提取边缘信息，进行区域判定；

A2：数字重聚焦对不同区域进行不同深度张量提取；

A3：根据初始深度图边缘得到遮挡边界一；

A4：根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。

进一步地：

步骤A1中，输入光场图像后，先固定视角，提取中心视角的子孔径图像，进而对中心子孔径图像进行划分空间块，并做离散余弦变换，从频域中提取信息进行区域划分与边缘提取。

步骤A1中，具体操作按照如下公式：

其中式(1)为二维离散余弦变换，c(·)为其系数，随括号中而变化，其取值如式(2)中c(e)所示；

I_xy(x′,y′)代表在中心子孔径图像中以坐标(x,y)为中心选取的尺寸为M·M的空间块，(x′,y′)为空间块中的坐标，变化范围(0～M-1)，F_xy(m₁,m₂)为对空间像素(x,y)进行M·M尺寸的DCT变换后的频域块，(m₁,m₂)为其中相应坐标；

空间块信息提取后，针对每一个空间块的频域分布，进行区域判定；区域判别标准设置如式(3)所示，当某像素对应的空间块变化缓慢或无变化时，即频域分布中低频占比大于指定阈值时，表示该像素所在区域无遮挡；

其中DCP表示低频占比，F_xy(0,0)表示该频域分布中的DC分量，τ为所设阈值，其中R(x,y)为指示函数，当DCP大于该阈值时即将其判定为非遮挡区域，R(x,y)＝0，否则为遮挡区域，R(x,y)＝1；

其中，利用准确聚焦时角度块中遮挡像素的方向与空间块中遮挡物边界方向相同的性质，进行区域划分，通过空间块中的内容预测角度块中的内容；其中，对于遮挡角度块，其边缘方向计算方式如下：

其中θ(x,y)为通过图像竖直方向与水平方向变化求得的遮挡边缘方向，F_xy(0,1)与F_xy(1,0)分别表示竖直与水平方向距离低频最近的AC分量。

步骤A2中，提取与分析频域特征，获得能够用数学方式明显表现聚焦平面位置变化的张量，以对场景深度信息进行计算；

当聚焦在准确深度时，对于非遮挡区域而言同一角度块中不同视角的角像素来自于同一场景点，因此具有相等的强度，即一致性；对于遮挡区域，通过寻找其子集，即遮挡边界两侧的一致性较高的子角度块来进行一致性判断从而实现深度估计。

针对区域划分，代价函数如下：

其中DCP_α(x,y)代表非遮挡区域整个角度块的聚焦张量，

代表遮挡区域处法线正方向对应的子角度块的聚焦张量；相应的代价函数取最大值，场景深度估计如下：

其中α_initial(x,y)为初始深度图。

步骤A3中，根据初始深度图边缘得到遮挡边界一；

步骤3中的计算方式与遮挡区域相同，角度块只部分参与计算；

首先，分析初始计算的深度图，在深度图中存在梯度变化的位置即为深度不连续处，通过下式提取初始深度梯度线索来预测遮挡：

其中α_initial(x,y)为初始深度图，Δ_(·)为取梯度操作，p₁(x,y)在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。

步骤A4中，根据纹理区域与遮挡区域聚焦响应的差异，通过分析深度张量变化曲线，得到数据一致性线索，计算方式如下：

其中

为子角度块聚焦张量在初始深度α_initial处的数值，DCP_xy(α_initial)为整角度块聚焦张量在初始深度α_initial处的数值；p₂(x,y)在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。

还综合考虑重聚焦过程中的张量变化和初始深度值，进行进一步的遮挡预测；其中，当得到两个遮挡边缘预测线索后，通过归一化方式将其相融合：

p＝N(p₁)·N(p₂),(10)

其中p代表遮挡像素概率，对于遮挡像素取得相对较大值而对于纹理像素取得相对较小值，N(·)为归一化操作结果，E(·)为取均值操作，D(·)为取方差操作；通过对p进行阈值化操作，得到遮挡边界。

一种基于光场重聚焦的遮挡预测装置，包括至少一个存储器以及至少一个处理器；

所述存储器，存储有至少一个可执行程序；

所述可执行程序在由所述处理器执行时，实现所述的方法。

本发明具有如下有益效果：

本发明提出一种基于光场重聚焦的遮挡预测方法和装置，本发明充分利用光场相机先拍照后对焦的特性，结合其同时采集到的空间信息及角度信息及两者之间的关系，分析异平面遮挡与同平面纹理在深度层上的不同展现模式，从而得到连续性较好、准确度较高的遮挡边界估计，大大丰富了其在三维重建、视点合成等领域的应用。本发明实施例的方法利用不同物体在焦栈上的角度块中的不同表现形式对其进行区分。实施例的方法提出基于光场重聚焦的遮挡预测模型，将二维图像重投影至三维空间从而提取遮挡边界的聚焦形式。首先利用光场图的中心子孔径图像中空间块的像素分布，检测边界；针对包含边界的区域，在空间块中计算其边缘的斜率并判断前后景信息；对边界与非边界区域采取不同的聚焦张量，并结合重聚焦过程中张量变化情况与初始深度图，进行精确的遮挡预测。实验结果表明，与现有算法相比，本方法能够鲁棒性预测遮挡，得到有效的遮挡边界，从而提高三维重建的准确性。

附图说明

图1为本发明一种实施例的结构示意图。

具体实施方式

以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。

参阅图1，本发明实施例提出一种一种基于光场重聚焦的遮挡预测方法，其特征在于，所述方法包括：

A1：对中心子孔径图像分块提取边缘信息，进行区域判定；

A2：数字重聚焦对不同区域进行不同深度张量提取；

A3：根据初始深度图边缘得到遮挡边界一；

A4：根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。

所述步骤A1中，对中心子孔径图像分块提取边缘信息，进行区域判定。

输入光场图像后，首先固定视角，提取中心视角的子孔径图像。进而对中心子孔径图像进行划分空间块，并做离散余弦变换(Discrete Cosine Transform，DCT)，从频域中提取信息进行区域划分与边缘提取。具体操作如下：

其中式(1)为二维离散余弦变换，c(·)为其系数，随括号中而变化，其取值如式(2)中c(e)所示；I_xy(x′,y′)代表在中心子孔径图像中以坐标(x,y)为中心选取的尺寸为M·M空间块，(x′,y′)为空间块中的坐标，变化范围(0～M-1)，F_xy(m₁,m₂)即为对空间像素(x,y)进行M·M尺寸的DCT变换后的频域块，(m₁,m₂)为其中相应坐标。

空间块信息提取后，针对每一个空间块的频域分布，进行区域判定，区域判别标准设置如式(3)所示，当某像素对应的空间块变化缓慢或无变化时，即频域分布中低频占比大于指定阈值时，表示该像素所在区域无遮挡，此特点在频域中的表现即为：DC(直流分量)幅值占据总能量较高比例。

其中DCP表示低频占比，F_xy(0,0)表示该频域分布中DC分量，τ为所设阈值，其中R(x,y)为指示函数，当DCP大于该阈值时即将其判定为非遮挡区域，R(x,y)＝0，否则为遮挡区域，R(x,y)＝1。

通过分析光场图成像原理可知，在准确聚焦时，遮挡物对应的宏像素(角度块)与其对应的空间域邻域(空间块)内容相似，角度块中遮挡像素的方向与空间块中遮挡物边界方向相同，优选实施例即利用该性质进行区域划分，通过空间块中的内容预测角度块中的内容。对于遮挡角度块，其边缘方向计算方式分别如下：

上式中θ(x,y)即为通过图像竖直方向与水平方向变化求得的遮挡边缘方向，F_xy(0,1)与F_xy(1,0)分别表示竖直与水平方向距离低频最近的AC分量。

所述步骤A2中针对不同区域，数字重聚焦对不同区域进行不同深度张量提取。

根据光场重聚焦能力，一系列聚焦平面由近及远变化的光场图像L_α(α＝1,2,3,…)，即焦栈。场景点在图像平面投影所对应角度块中的频域特征也随聚焦平面的变化而变化。因此，本发明提取与分析频域特征，获得能够用数学方式明显表现聚焦平面位置变化的张量，从而对场景深度信息进行计算。

当聚焦在准确深度时，对于非遮挡区域而言同一角度块中不同视角的角像素来自于同一场景点，因此具有相等的强度，即一致性。对于遮挡区域，由于聚焦时其角像素对应的整个角度块不再满足一致性条件，故本发明提出通过寻找其子集，即遮挡边界两侧的一致性较高的子角度块来进行一致性判断从而实现深度估计。

对于遮挡区域也可根据步骤4中方法找到其满足一致性的子角度块。其一致性表述由步骤2中的低频占比DCP(x,y)表述，故本发明中分区域代价方程表述如下：

其中DCP_α(x,y)代表非遮挡区域整个角度块的聚焦张量，而

代表遮挡区域处法线正方向对应的子角度块的聚焦张量。根据光场成像原理分析可知,当场景点恰好被准确聚焦时，其对应角度块一致性最高，相应的代价函数取最大值，场景深度估计如下：

所述步骤A3中根据初始深度图边缘得到遮挡边界一。

通过上述步骤，确实可以得到较高质量深度图，然而由于纹理区域不存在前后景信息，应与同质区域选择同一张量计算方式，然而在步骤3中其计算方式与遮挡区域相同，即角度块只部分参与计算，因此纹理信息有丢失。另为了排除纹理边缘对遮挡预测的干扰，准确估算遮挡视角。

首先，分析初始计算的深度图。在深度图中存在梯度变化的位置即为深度不连续处，因此优选实施例通过下式提取初始深度梯度线索来预测遮挡：

其中α_initial(x,y)为初始深度图，Δ_(·)为取梯度操作。p₁(x,y)在纹理位置处取得较小值，在遮挡位置处取得较大值。

所述步骤A4中根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合。

根据纹理区域与遮挡区域聚焦响应的差异，通过分析深度张量变化曲线，得到数据一致性线索，计算方式如下所示：

其中

为子角度块聚焦张量在初始深度α_initial处的数值，DCP_xy(α_initial)为整角度块聚焦张量在初始深度α_initial处的数值。对于纹理区域，由于其不存在前景遮挡，故聚焦方式与同质区域相同，即整角度块完整聚焦，分子与分母数值接近，因此p₂(x,y)的数值接近于1；而对于遮挡区域，即整角度块中背景聚焦，前景散焦，分子数值大于分母数值，因此p₂(x,y)的数值大于1。综上所述，p₂(x,y)在纹理位置处取得较小值，在遮挡位置处取得较大值。

优选实施例综合考虑重聚焦过程中的张量变化和初始深度值，进行了进一步的遮挡预测。当得到两个遮挡边缘预测线索后，优选实施例通过归一化方式将其相融合:

p＝N(p₁)·N(p₂),(10)

其中p代表遮挡像素概率，对于遮挡像素取得较大值而对于纹理像素取得较小值，故可实现遮挡与纹理像素的成功分离，得到较为准确的遮挡边缘。N(·)为归一化操作，具体计算方式见式(11)，E(·)为取均值操作，D(·)为取方差操作。通过对p进行阈值化操作，即可得到连续性强、准确率高的遮挡边界。

本发明上述实施例提出一种基于光场重聚焦的遮挡预测方法，本发明充分利用光场相机先拍照后对焦的特性，结合其同时采集到的空间信息及角度信息及两者之间的关系，分析异平面遮挡与同平面纹理在深度层上的不同展现模式，从而得到连续性较好、准确度较高的遮挡边界估计，大大丰富了其在三维重建、视点合成等领域的应用。本发明实施例的方法利用不同物体在焦栈上的角度块中的不同表现形式对其进行区分。本方法提出基于光场重聚焦的遮挡预测模型，将二维图像重投影至三维空间从而提取遮挡边界的聚焦形式。首先利用光场图的中心子孔径图像中空间块的像素分布，检测边界；针对包含边界的区域，在空间块中计算其边缘的斜率并判断前后景信息；对边界与非边界区域采取不同的聚焦张量，并结合重聚焦过程中张量变化情况与初始深度图，进行精确的遮挡预测。实验结果表明，与现有算法相比，本方法能够鲁棒性预测遮挡，得到有效的遮挡边界，从而提高三维重建的准确性。

本发明的背景部分可以包含关于本发明的问题或环境的背景信息，而不一定是描述现有技术。因此，在背景技术部分中包含的内容并不是申请人对现有技术的承认。

以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。在本说明书的描述中，参考术语“一种实施例”、“一些实施例”、“优选实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。尽管已经详细描述了本发明的实施例及其优点，但应当理解，在不脱离专利申请的保护范围的情况下，可以在本文中进行各种改变、替换和变更。

Claims (5)

1.一种基于光场重聚焦的遮挡预测方法，其特征在于，所述方法包括如下步骤：

A1：对中心子孔径图像分块提取边缘信息，进行区域判定；其中，输入光场图像后，先固定视角，提取中心视角的子孔径图像，进而对中心子孔径图像进行划分空间块，并做离散余弦变换，从频域中提取信息进行区域划分与边缘提取；

A2：数字重聚焦对不同区域进行不同深度张量提取；其中，提取与分析频域特征，获得能够用数学方式明显表现聚焦平面位置变化的张量，以对场景深度信息进行计算；当聚焦在准确深度时，对于非遮挡区域而言同一角度块中不同视角的角像素来自于同一场景点，具有相等的强度，即一致性；对于遮挡区域，通过寻找其子集来进行一致性判断从而实现深度估计；

A3：根据初始深度图边缘计算得到遮挡边界一；计算方式与遮挡区域相同，角度块只部分参与计算；首先，分析初始计算的深度图，在深度图中存在梯度变化的位置即深度不连续处，通过下式提取初始深度梯度线索来预测遮挡：

（8）

其中为初始深度图，为取梯度操作，在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值；

A4：根据重聚焦响应得到遮挡边界二，并对两遮挡边界进行融合；其中，根据纹理区域与遮挡区域聚焦响应的差异，通过分析深度张量变化曲线，得到数据一致性线索，计算方式如下：

（9）

其中为子角度块聚焦张量在初始深度处的数值，为整角度块聚焦张量在初始深度处的数值；在纹理位置处取得相对较小值，在遮挡位置处取得相对较大值。

2.如权利要求1所述的方法，其特征在于，步骤A1中，具体操作按照如下公式：

；

其中式（1）为二维离散余弦变换，c(•)为其系数，随括号中而变化，其取值如式（2）中c(e)所示；代表在中心子孔径图像中以坐标为中心选取的尺寸为的空间块，为空间块中的坐标，变化范围，为对空间像素进行尺寸的DCT变换后的频域块，为其中相应坐标；

空间块信息提取后，针对每一个空间块的频域分布，进行区域判定；区域判别标准设置如式（3）所示，当某像素对应的空间块变化缓慢或无变化时，即频域分布中低频占比大于指定阈值时，表示该像素所在区域无遮挡，

（3）

（4）

其中DCP表示低频占比，表示该频域分布中的DC分量，为所设阈值，其中R(x,y)为指示函数，当DCP大于该阈值时将其判定为非遮挡区域，，否则为遮挡区域，；

其中，利用准确聚焦时角度块中遮挡像素的方向与空间块中遮挡物边界方向相同的性质，进行区域划分，通过空间块中的内容预测角度块中的内容；其中，对于遮挡角度块，其边缘方向计算方式如下：

（5）

其中为通过图像竖直方向与水平方向变化求得的遮挡边缘方向，与分别表示竖直与水平方向距离低频最近的AC分量。

3.如权利要求2所述的方法，其特征在于，针对区域划分，代价函数如下：

（6）

其中代表非遮挡区域整个角度块的聚焦张量，代表遮挡区域处法线正方向对应的子角度块的聚焦张量；相应的代价函数取最大值，场景深度估计如下：

（7），

其中为初始深度图。

4.如权利要求1至3任一项所述的方法，其特征在于，综合考虑重聚焦过程中的张量变化和初始深度值，进行进一步的遮挡预测；其中，当得到两个遮挡边缘预测线索后，通过归一化方式将所述两遮挡边界相融合：

（10）

，（11）

其中p代表遮挡像素概率，对于遮挡像素取得相对较大值而对于纹理像素取得相对较小值，为归一化操作结果，为取均值操作，为取方差操作；通过对p进行阈值化操作，得到遮挡边界。

5.一种基于光场重聚焦的遮挡预测装置，其特征在于，包括至少一个存储器以及至少一个处理器；

所述存储器，存储有至少一个可执行程序；

所述可执行程序在由所述处理器执行时，实现如权利要求1至4中任一项所述的方法。

Images