CN109255809A - 一种光场图像深度估计方法及装置 - Google Patents

Abstract

本发明实施例公开了一种光场图像深度估计方法，方法包括：获取重建的光场图像信息；对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。通过本发明的方案，实现了一种可以获得光场图像更精确的深度信息方法。

Description

一种光场图像深度估计方法及装置

技术领域

本发明涉及数字图像处理，尤其涉及一种光场图像深度估计方法及装置。

背景技术

传统相机的原理基本相同，都是空间3D场景到2D的投影，不能真实的反映真实世界的3D空间结构。光场图像的四维信息不仅包括我们所熟知的轻度信息，还记录了光线的方向信息。机器视觉就是模拟人类的视觉系统，利用计算机对图像的处理达到对3D场景的理解即感知物体位置远近、大小等三维信息。其中，深度信息的获取是机器视觉系统中的基础问题，深度信息是指被拍摄物体到相机的距离，可以将距离他元件，用一幅灰度图中像素值的大小来表示，那么灰度图就可以表示拍摄场景中任意一点的深度信息，计算机可以很快判断物体的距离，为计算机在更高层次设别、描述解释复杂的场景提供基础信息，因此，深度估计是计算机感知3D场景的基础，从而图像的深度估计称为一个重要的研究领域。

现有技术中，对于光场图像深度估计的方法主要包括：

(1)用对极平面图(EPI)获取深度信息：是不同深度的物体在EPI图具有不同斜率的直线，通过检测斜率获取图像的深度信息由RC Bolles等人在1987年首次提出，该方法虽然理论简单，但后续优化复杂，计算复杂度高。

(2)光场立体匹配方法：由Yu等人在2013年提出采用傅里叶变换的相移定理来处理窄基线的光场图像深度估计，计算亚像素精度的稠密视差，用多视角的立体匹配实现深度估计，该方法因光场图像视差小、且易受遮挡物影响。

(3)基于重聚焦多种线索融合方法：聚焦线索、散焦线索、一致性线索、遮挡线索。该重聚焦多种线索融合方法采用多种深度估计方法融合，虽然获得的图像深度信息精度很高，但算法复杂度高。因此，如何实现一种简单并可以获取更加精确的图像深度信息的方法是亟待解决的技术问题。

发明内容

本发明的主要目的在于提供一种光场图像深度估计方法及装置，可以实现一种简单并可以获取更加精确的图像深度信息的方法。

为了解决上述技术问题，本发明提供了一种光场图像深度估计方法，包括：

获取重建的光场图像信息；

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；

采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。

进一步地，所述对所述光场图像进行重聚焦，包括：

对所述光场图像分割为多个角度像素块，并移动每个角度像素块到重聚焦平面；

对角度像素块叠加求和并获得均值计算后，得到重聚焦图像。

进一步地，所述利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息，包括：

计算每个角度像素块的方差确定一致性深度线索的深度响应值；

计算每个角度像素块的均值差的平方确定散焦深度线索用深度响应值；

利用所述一致性深度线索的深度响应值和所述散焦深度线索的深度响应值求和获得初始深度响应值；

计算所述初始深度响应值得到所述光场图像的初始深度。

进一步地，对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息后，还包括：

对获得的每个像素的全部初始深度响应值进行比较，获取最大的响应值与次值的响应值；

对所述最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

进一步地，所述采用马尔科夫融合算法对所述初始深度信息进行计算，包括：

根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。

为了解决上述问题，本发明还提供了一种光场图像深度估计装置，包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于光场图像深度估计的程序；

所述处理器，用于读取执行所述用于光场图像深度估计的程序，执行如下操作：

获取重建的光场图像信息；

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；

采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。

进一步地，所述对所述光场图像进行重聚焦，包括：

对所述光场图像分割为多个角度像素块，并移动每个角度像素块到重聚焦平面；

对角度像素块叠加求和并获得均值计算后，得到重聚焦图像。

进一步地，所述利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息，包括：

计算每个角度像素块的方差确定一致性深度线索的深度响应值；

计算每个角度像素块的均值差的平方确定散焦深度线索用深度响应值；

利用所述一致性深度线索的深度响应值和所述散焦深度线索的深度响应值求和获得初始深度响应值；

计算所述初始深度响应值得到所述光场图像的初始深度。

进一步地，所述处理器用于读取执行所述用于光场图像深度估计的程序，还执行如下操作：

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息后，

对获得的每个像素的全部初始深度响应值进行比较，获取最大的响应值与次值的响应值；

对所述最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

进一步地，所述采用马尔科夫融合算法对所述初始深度信息进行计算，包括：

根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。

本发明提出了一种光场图像深度估计方法，方法包括：获取重建的光场图像信息；对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。通过本发明的方案，解决了如何实现一种简单并可以获取更加精确的图像深度信息的方法的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

附图说明

附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本申请的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。

图1为本发明实施例的光场图像深度估计方法的流程图；

图2为本发明实施例的光场图像深度估计装置的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是本发明实施例的重建光场方法的流程图，根据该流程图，本实施例的重建光场方法，包括：

步骤100：获取重建的光场图像信息。

在本实施例中，获取利用掩膜相机重建的4D光场图像信息。

在其它实现方式中，获取重建的光场图像信息可以是通过仿真光场采集重建的4D光场图像信息。

步骤101：对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息。

在本实施例中，在基于光场图像重聚焦原理上，结合光场图像特点，对这一原理进一步简化，用光场角度像素块移动求和替代复杂积分实现光场图像重聚焦；在执行重聚焦计算后，利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息。

在本实施例的一些可选的实现方式中，对所述光场图像进行重聚焦，包括：

对获取的重建的光场图像分割为多个角度像素块，并移动每个角度像素块到重聚焦平面；对角度像素块叠加求和并获得均值计算后，得到重聚焦图像。其中，上述角度像素块是光场图像中子孔径图像，即同一角度(方向)不同空间位置的光线集合，包含了同一像素点的所有角度信息。对获取的重建的光场图像分割为多个角度像素块时，由于光场图像中包含深度和3D空间信息，但在提取深度信息时，常受到遮挡物的影响而降低深度估计的精度。因此，在光场图像进行重聚焦的过程中，通过光场图像遮挡模型对光场图像进行分割为多个角度像素块。

需要说明的是，光场图像遮挡模型属于本领域技术人员所熟知的惯用技术手段，并不用来限制本发明方法，在此不再赘述。

在本实施例的一些可选的实现方式中，所述利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息，包括：计算每个角度像素块的方差确定一致性深度线索的深度响应值；计算每个角度像素块的均值差的平方确定散焦深度线索用深度响应值；利用所述一致性深度线索的深度响应值和所述散焦深度线索用深度响应值求和获得初始深度响应值；计算所述初始深度响应值得到所述光场图像的初始深度。

通过一致性深度线索方法计算深度响应值和散焦深度线索方法计算深度响应值后，对两者求和计算得到初始深度响应值；基于计算所得的初始深度响应值求取光场图像的初始深度。在本实施例中，初始深度响应值是在某一聚焦平面上的深度值，若将深度图分辨率设定为128(即角度像素块共有128个)，对于同一像素点的初始深度值是通过将128个初始深度响应值将128个不同的深度响应通过计算得到所述光场图像的初始深度值。

在本实施例的一些可选的实现方式中，对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息后，还包括：对获得的每个像素的全部初始深度响应值进行比较，获取最大的响应值与次值的响应值；对所述最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

一个示例中，若将深度图分辨率设定为128(即角度像素块共有128个)，对于同一像素点的初始深度值是通过将128个初始深度响应值进行比较，将初始深度响应值最大值与次大值的比率作为此像素点的置信值。其中，像素点的置信值是用以描述深度估计的可靠性的一个参数。

步骤102：采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。

在本实施例中，根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。

边缘轮廓信息是通过光场图像遮挡模型计算获得的。需要说明的是，边缘轮廓信息的获取属于本领域技术人员所熟知的惯用技术手段，并不用来限制本发明方法，在此不再赘述。

在本实施例中，马尔科夫随机场(Markov Random Field，MRF)是一种描述图像空间结构的概率模型，是用概率论的方法来描述某一像素值与其相邻像素值之间的关系，即如果把二维图像定义为矩阵上的随机过程，那么马尔科夫随机场可以描述各个像素之间的相关性。MRF结合统计鞠策与估计理论以最优化为依据构建目标函数，通过优化准则计算最优解，其中，最常用的就是最大后验概率马尔科夫随机场模型，即MAP-MRF框架模型。将通过上述步骤100-101获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，结合马尔科夫随机场进行全局优化，计算得到光场图像的深度信息。

需要说明的是，马尔科夫随机场属于本领域技术人员所熟知的惯用技术手段，并不用来限制本发明方法，在此不再赘述。

需要说明的是，上述内容仅是本发明的具体实施例，与上述实施例相同或相似的实施例，以及上述实施例的变体都在本发明的保护范围之内。

另外，本申请提供了一种光场图像深度估计装置的一个实施例，该装置实施例与图1所示的方法实施例对应，该装置具体可以应用于各种云平台中。

如图2所示，本实施例的光场图像深度估计装置，包括：存储器和处理器：

所述存储器，用于保存用于光场图像深度估计的程序；

所述处理器，用于读取执行所述用于光场图像深度估计的程序，执行如下操作：

获取重建的光场图像信息；

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；

采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。

可选地，所述对所述光场图像进行重聚焦，包括：

对所述光场图像分割为多个角度像素块，并移动每个角度像素块到重聚焦平面；

对角度像素块叠加求和并获得均值计算后，得到重聚焦图像。

可选地，所述利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息，包括：

计算每个角度像素块的方差确定一致性深度线索的深度响应值；

计算每个角度像素块的均值差的平方确定散焦深度线索用深度响应值；

利用所述一致性深度线索的深度响应值和所述散焦深度线索用深度响应值求和获得初始深度响应值；

计算所述初始深度响应值得到所述光场图像的初始深度。

可选地，所述处理器用于读取执行所述用于光场图像深度估计的程序，还执行如下操作：

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息后，

对获得的每个像素的全部初始深度响应值进行比较，获取最大的响应值与次值的响应值；

对所述最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

可选地，所述采用马尔科夫融合算法对所述初始深度信息进行计算，包括：

根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。

本实施例的一个具体示例的实施过程如下：

(1)获取重建的光场图像信息；

(2)对所述光场图像分割为多个角度像素块，并对角度像素块叠加求和并获得均值计算后，得到重聚焦图像；

(3)计算每个角度像素块的方差确定一致性深度线索的深度响应值以及计算每个角度像素块的均值差的平方确定散焦深度线索用深度响应值。

(4)利用所述一致性深度线索的深度响应值和所述散焦深度线索用深度响应值求和获得初始深度响应值；再根据初始深度响应值得到所述光场图像的初始深度。

(5)对获得的每个像素的全部初始深度响应值中的最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

(6)根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。

本申请中的重建光场的一个具体示例，实现一种可获取高精度的光场图像的深度信息的方法。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。

上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。任何与本发明设计思路相同或相似的方案，以及与本发明实施例相同或相似的方案和本发明实施例的变体都在本发明的保护范围之内。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种光场图像深度估计方法，其特征在于，所述方法包括：

获取重建的光场图像信息；

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；

采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。

2.根据权利要求1所述的光场图像深度估计方法，其特征在于，所述对所述光场图像进行重聚焦，包括：

对所述光场图像分割为多个角度像素块，并移动每个角度像素块到重聚焦平面；

对角度像素块叠加求和并获得均值计算后，得到重聚焦图像。

3.根据权利要求1所述的光场图像深度估计方法，其特征在于，所述利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息，包括：

计算每个角度像素块的方差确定一致性深度线索的深度响应值；

计算每个角度像素块的均值差的平方确定散焦深度线索的深度响应值；

利用所述一致性深度线索的深度响应值和所述散焦深度线索的深度响应值求和获得初始深度响应值；

计算所述初始深度响应值得到所述光场图像的初始深度。

4.根据权利要求3所述的光场图像深度估计方法，其特征在于，对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息后，还包括：

对获得的每个像素的全部初始深度响应值进行比较，获取最大的响应值与次值的响应值；

对所述最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

5.根据权利要求1所述的光场图像深度估计方法，其特征在于，所述采用马尔科夫融合算法对所述初始深度信息进行计算，包括：

根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。

6.一种光场图像深度估计装置，包括：存储器和处理器；其特征在于：

所述存储器，用于保存用于光场图像深度估计的程序；

所述处理器，用于读取执行所述用于光场图像深度估计的程序，执行如下操作：

获取重建的光场图像信息；

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息；

采用马尔科夫融合算法对所述初始深度信息进行计算，得到所述光场图像的深度信息。

7.根据权利要求6所述的光场图像深度估计装置，其特征在于，所述对所述光场图像进行重聚焦，包括：

对所述光场图像分割为多个角度像素块，并移动每个角度像素块到重聚焦平面；

对角度像素块叠加求和并获得均值计算后，得到重聚焦图像。

8.根据权利要求6所述的光场图像深度估计装置，其特征在于，所述利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息，包括：

计算每个角度像素块的方差确定一致性深度线索的深度响应值；

计算每个角度像素块的均值差的平方确定散焦深度线索的深度响应值；

利用所述一致性深度线索的深度响应值和所述散焦深度线索用深度响应值求和获得初始深度响应值；

计算所述初始深度响应值得到所述光场图像的初始深度。

9.根据权利要求8所述的光场图像深度估计装置，其特征在于，所述处理器用于读取执行所述用于光场图像深度估计的程序，还执行如下操作：

对所述光场图像进行重聚焦，并利用散焦深度线索和一致性深度线索进行计算得到所述光场图像的初始深度信息后，

对获得的每个像素的全部初始深度响应值进行比较，获取最大的响应值与次值的响应值；

对所述最大的响应值与次值的响应值的作比率计算，得到每个像素的置信度，最终获得初始深度的置信图。

10.根据权利要求9所述的光场图像深度估计装置，其特征在于，所述采用马尔科夫融合算法对所述初始深度信息进行计算，包括：

根据预先获得的边缘轮廓信息、所述初始深度信息和所述初始深度的置信图，采用马尔科夫融合算法计算得到所述光场图像的深度信息。