CN114897951B - 聚合多视角深度信息的单张光场影像深度估计方法及系统 - Google Patents

Abstract

本发明涉及图像处理分析技术领域，且公开了聚合多视角深度信息的单张光场影像深度估计方法及系统，本发明利用不同视角深度一致性，分别找出被遮挡和未被遮挡视角，分别进行不同视角深度值聚合，提高了遮挡区域和弱纹理区域的深度估计精度。

Description

聚合多视角深度信息的单张光场影像深度估计方法及系统

技术领域

本发明涉及图像处理分析技术领域，具体为聚合多视角深度信息的单张光场影像深度估计方法及系统。

背景技术

与传统相机相比，光场相机不仅捕获到达某空间点所有方向光线的累积强度，而且捕获了每个方向光线的强度大小，因此可通过一次拍摄获取到多个视角的信息。目前的单张光场影像深度估计方法主要基于光场影像的三种可视化形式，包括：基于多视匹配、基于角度域影像（angular patch）和基于EPI的方法三类。但是，无论哪个哪种方法都仅利用了目标视角的深度信息，而忽略掉了其它视角的深度信息。

发明内容

本发明主要是提供聚合多视角深度信息的单张光场影像深度估计方法及系统。

为了解决上述技术问题，本发明采用如下技术方案：

聚合多视角深度信息的单张光场影像深度估计方法，包括：

基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值；

基于多个不同视角的深度值判断像素是否被遮挡；

基于判断结果对多个不同视角的深度图进行聚合和优化。

进一步，所述基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值，包括：

将光场影像基于均匀分布的视角划分成为多个子视角区域；

选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；

基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。

进一步，所述基于多个不同视角的深度值判断像素是否被遮挡，包括：

将所述中心视角和边缘视角的深度值加和生成总和深度图；

基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。

进一步，所述基于判断结果对多个不同视角的深度图进行聚合和优化，包括：

对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；

对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；

将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。

进一步，所述对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值，包括：

对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；

判断所述群组的成员数是否大于预定阈值；

若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。

聚合多视角深度信息的单张光场影像深度估计系统，包括：

多视角深度图获取模块，用于基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值；

像素遮挡判断模块，用于基于多个不同视角的深度值判断像素是否被遮挡；

多视角深度图聚合优化模块，用于基于判断结果对多个不同视角的深度图进行聚合和优化。

进一步，所述多视角深度图获取模块，包括：

视角分割子模块，用于将光场影像基于均匀分布的视角划分成为多个子视角区域；

视角选取子模块，用于选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；

视角深度值计算子模块，用于基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。

进一步，所述像素遮挡判断模块，包括：

深度图加和子模块，用于将所述中心视角和边缘视角的深度值加和生成总和深度图；

遮挡像素确定子模块，用于基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。

进一步，所述多视角深度图聚合优化模块，包括：

未遮挡计算子模块，用于对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；

被遮挡计算子模块，用于对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；

深度图优化子模块，用于将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。

进一步，所述被遮挡计算子模块，包括：

群组确定单元，用于对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；

阈值判断单元，用于判断所述群组的成员数是否大于预定阈值；

最终深度值选取单元，用于若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。

有益效果：本发明利用不同视角深度一致性，分别找出被遮挡和未被遮挡视角，分别进行不同视角深度值聚合，提高了遮挡区域和弱纹理区域的深度估计精度。

附图说明

图1为本发明聚合多视角深度信息的单张光场影像深度估计方法流程图；

图2为步骤S1流程图；

图3为步骤S2流程图；

图4为步骤S3流程图；

图5为步骤S32流程图；

图6为本发明聚合多视角深度信息的单张光场影像深度估计系统的框图；

图7为遮挡点在不同视角深度图；

图8为被遮挡点的成像几何图。

具体实施方式

以下将结合实施例对本发明涉及的聚合多视角深度信息的单张光场影像深度估计方法及系统技术方案进一步详细说明。

如图1所示，本实施例的聚合多视角深度信息的单张光场影像深度估计方法，包括： S1~S3

S1、基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值；

其中，将目标深度值的范围划分为N份，分别计算不同深度值下的深度值代价量，最大深度值代价量对应的深度值即视该像素对应的深度值。而影像中所有像素的深度值排列总和在一起，即是深度图。

其中，例子如下所示：

其中，当中心视角的代价量为0.8、0.5、0.6时，深度值为1时0.8为最大的代价量，则最后得到深度值为1；当边缘视角的代价量为0.3、0.8、0.6时，深度值为2时0.8为最大代价量，则最后得到深度值为2；最终将深度值1和深度值2总和得到深度图。

S2、基于多个不同视角的深度值判断像素是否被遮挡；

S3、基于判断结果对多个不同视角的深度图进行聚合和优化。

其中，在光场影像中，未被遮挡空间点在光场影像中所有视角的深度值应该是一致的；但是被遮挡空间点，在一些视角的深度值与空间点保持一致，但是在其他视角则等同于前方的遮挡物。对于被遮挡点，在大多数情况下，未被遮挡的视角数量大于被遮挡的数量。基于此，通过确定所有视角中未被遮挡视角的值可以消除遮挡的影响。

因此，本发明利用不同视角深度一致性，分别找出被遮挡和未被遮挡视角，分别进行不同视角深度值信息聚合，提高了遮挡区域和弱纹理区域的深度估计精度。

进一步，如图2所示，步骤S1中所述基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值，包括：

S11、将光场影像基于均匀分布的视角划分成为多个子视角区域；

S12、选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；

S13、基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。

其中，对被遮挡空间点，假设仅存在一个遮挡物，则不同视角的深度值可以被分为两部分，其中一部分等于目标点深度值，另一部分等于前方遮挡物深度值。如图7所示，右下角为被遮挡像素，即视角9和视角3、5、6、7、8的部分被遮挡；取中心视角，即视角5为目标视角，在它周围均匀地选取多个边缘视角，即视角1-4和6-9，并计算这些视角下的深度。从图8中可以看出，选取的视角中被遮挡视角和未被遮挡视角与整个光场数据中所有被遮挡视角和未被遮挡视角具有相同的几何关系。在计算各个单视角的深度值过程中，中心视角应用了整个光场数据，而被选取的其它视角则仅用了以中心视角为中心的周围部分视角的信息，如图7中所示，中心视角的深度值估计应用了15×15个视角的信息，而其它边缘视角应用了5×5个视角的信息。

进一步，如图3所示，步骤S2中所述基于多个不同视角的深度值判断像素是否被遮挡，包括：

S21、将所述中心视角和边缘视角的深度值加和生成总和深度图；

其中，这里加和的是不同深度值下，中心视角和边缘视角计算的代价量，得到不同深度值下总的代价量，进一步找到最大代价量对应的深度值，得到总和深度图。

S22、基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。

其中，对总和深度图求梯度，梯度反映了深度变化；且对深度图求梯度是本领域的常规技术手段。

其中，由于被遮挡像素的多视点深度分布模式不同于非遮挡像素的多视点深度分布模式，在集成多视点深度图时分别处理被遮挡像素和非遮挡像素。

定义被遮挡像素预测器

，来进行遮挡边缘检测；具体地，首先将不同视角的深度值进行加和生成一个总和深度图，从而增强对噪声的鲁棒性。在创建的总和深度图的过程中，非遮挡像素的深度值将保持正确的，而被遮挡像素的深度值可能不正确，然而其深度变化仍将保留。因此，可以通过寻找总和深度图上具有大梯度值的像素来定位被遮挡像素。设

是总和深度图，

是

的梯度图，则可以通过下式寻找被遮挡像素；

其中，利用

除以

可以增加鲁棒性。

是

的补偿值，用来平衡在较小深度值处的梯度变化。

是截断函数，超过预定阈值的值则舍弃。

进一步，如图4所示，步骤S3中所述基于判断结果对多个不同视角的深度图进行聚合和优化，包括：

S31、对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；

其中，对于未被遮挡空间点，不同视角的深度值是一致的。因此，直接将不同视角求得的代价量进行相加以减少噪声的影响。因为不同视角的深度值彼此独立，所以相加时不需要给每个深度值赋权重。该加和方法和步骤S21一致。

S32、对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；

其中，对于被遮挡空间点，深度一致性会被破坏，直接从几何的角度很难找到哪些视角被遮挡或者未被遮挡。因为选取的角度是均匀分布的，如图4-8所示，未被遮挡视角在所有视角中始终占据较大比例。

S33、将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。

其中，利用向导滤波进一步的优化可得到优化后的最终深度图，即直接对总和的深度图进行滤波。当颜色相近时，滤波会赋予较大的权重，否则赋予较小的权重。

进一步，如图5所示，步骤S32中所述对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值，包括：

S321、对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；

其中，如中心视角的深度值和所有边缘视角的深度值为（1，1，1，1，6，6，6，2，1）;可以分成两组（1，1，1，1，2，1）和（6，6，6），则（1，1，1，2，1，1）这个群组包含的最多聚类遍历的例子。且如：深度值差异小于2，则归为同一群组。

S322、判断所述群组的成员数是否大于预定阈值；

其中，如该群组的成员数包含6个，大于了预设5个，进行判断。

S323、若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。

其中，若阈值时5，则取（1，1，1，2，1，1）的平均值；若阈值为7，若中心视角为1，则取1，若中心视角为6，则取6。

如图6所示，本实施例的聚合多视角深度信息的单张光场影像深度估计系统，包括：

多视角深度图获取模块61，用于基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值；

像素遮挡判断模块62，用于基于多个不同视角的深度值判断像素是否被遮挡；

多视角深度图聚合优化模块63，用于基于判断结果对多个不同视角的深度图进行聚合和优化。

进一步，所述多视角深度图获取模块61，包括：

视角分割子模块611，用于将光场影像基于均匀分布的视角划分成为多个子视角区域；

视角选取子模块612，用于选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；

视角深度值计算子模块613，用于基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。

进一步，所述像素遮挡判断模块62，包括：

深度图加和子模块621，用于将所述中心视角和边缘视角的深度值加和生成总和深度图；

遮挡像素确定子模块622，用于基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。

进一步，所述多视角深度图聚合优化模块63，包括：

未遮挡计算子模块631，用于对未被遮挡空间点，直接将所述中心视角和边缘视角的深度值进行加和，获取最终深度值；

被遮挡计算子模块632，用于对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；

深度图优化子模块633，用于将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图。

进一步，所述被遮挡计算子模块632，包括：

群组确定单元6321，用于对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；

阈值判断单元6322，用于判断所述群组的成员数是否大于预定阈值；

最终深度值选取单元6323，用于若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (6)

1.聚合多视角深度信息的单张光场影像深度估计方法，其特征在于，包括：

基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值；

基于多个不同视角的深度值判断像素是否被遮挡，对未被遮挡空间点，直接将中心视角和边缘视角的深度值进行加和，获取最终深度值；对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图；对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；判断所述群组的成员数是否大于预定阈值；若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值；

基于判断结果对多个不同视角的深度图进行聚合和优化。

2.根据权利要求1所述的方法，其特征在于，所述基于光场影像计算多个均匀分布视角的深度代价量，获取多个不同视角的深度值，包括：

将光场影像基于均匀分布的视角划分成为多个子视角区域；

选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；

基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。

3.根据权利要求2所述的方法，其特征在于，所述基于多个不同视角的深度值判断像素是否被遮挡，包括：

将所述中心视角和边缘视角的深度值加和生成总和深度图；

基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。

4.聚合多视角深度信息的单张光场影像深度估计系统，其特征在于，包括：

多视角深度图获取模块，用于基于光场影像计算多个均匀分布视角的深度值代价量，获取多个不同视角的深度值；

像素遮挡判断模块，用于基于多个不同视角的深度值判断像素是否被遮挡，对未被遮挡空间点，直接将中心视角和边缘视角的深度值进行加和，获取最终深度值；对被遮挡空间点，将中心视角的深度值和所有边缘视角的深度值聚类为不同群组，找到包含最多深度值个数的群组，基于该群组的深度值获取最终深度值；将最终深度值的深度图作为初始深度图，并利用导向滤波进行优化，得到最终深度图；对中心视角的深度值和所有边缘视角的深度值进行聚类遍历，确定包含最多成员数的群组，将深度值差异小于某一阈值归为同一群组；判断所述群组的成员数是否大于预定阈值；若大于，则取所述群组的平均值作为最终深度值；若小于，则取中心视角的深度值作为最终深度值；

多视角深度图聚合优化模块，用于基于判断结果对多个不同视角的深度图进行聚合和优化。

5.根据权利要求4所述的系统，其特征在于，所述多视角深度图获取模块，包括：

视角分割子模块，用于将光场影像基于均匀分布的视角划分成为多个子视角区域；

视角选取子模块，用于选取光场影像中所有视角中心的视角为中心视角，所述中心视角所在的区域为中心子视角区域，取中心子视角区域周围均匀分布的子视角区域为边缘子视角区域，所述边缘子视角区域为边缘视角所在区域；

视角深度值计算子模块，用于基于所述中心子视角区域和边缘子视角区域，分别计算所述中心视角和边缘视角的深度代价量，在基于所述深度代价量获取所述中心视角和边缘视角的深度值。

6.根据权利要求5所述的系统，其特征在于，所述像素遮挡判断模块，包括：

深度图加和子模块，用于将所述中心视角和边缘视角的深度值加和生成总和深度图；

遮挡像素确定子模块，用于基于所述总和深度图加和过程中非遮挡像素和被遮挡像素的深度值分布的不同，确定所述总和深度图上具有最大梯度值的像素，进而确定被遮挡像素。

Images