CN102708570B - 获取深度图的方法及装置 - Google Patents

Abstract

本发明公开了一种获取深度图的方法及装置。其中，该方法包括：将三原色空间图像转化为YUV图像；提取YUV图像中的Y分量图；对Y分量图进行边缘检测，以获取Y分量图中的边缘信息；对边缘信息进行膨胀操作，获取闭合边缘；对闭合边缘进行散焦分析，以获取散焦图像的数据；根据散焦图像的数据来获取深度图。通过本发明，能够解决现有技术中生成深度图算法计算量大的问题，有效降低运算量。

Description

获取深度图的方法及装置

技术领域

本发明涉及图像处理领域，具体而言，涉及一种获取深度图的方法及装置。

背景技术

我国3D产业发展迅猛，立体频道的开通更为3D产业的整体发展带来重大机遇，虽然3D终端显示的技术飞速更新，但3D节目内容的发展却远远落后。随着数字图像采集设备技术的进步，人们拥有了大量的二维视频、图像、照片等媒体素材。在利用现有庞大的二维资源来满足3D产业发展需求的过程中，需要采用3D信息恢复和场景重建等技术进行3D节目内容的制作。研究表明，三维空间中同一物体在左右眼成像时会有水平方向上的位移，这被称为“视差”。对人类生理立体视觉要素的研究指出，由于视差的存在，人类左右眼看同一场景时会产生立体感。场景中物体距离摄像机位置的远近即深度信息是产生视差的主要原因，二者之间存在着对应关系。还原二维图像原有的立体信息(即垂直于图像平面的第三维度的深度信息)是二维图像转换成三维图像的重要内容，目前多数研究集中在通过获取图像的深度图像来计算视差进而恢复出3D信息。

目前通过单幅图片来生成深度的方法主要包括：基于几何透视的方法(利用透视成像中的几何约束关系确定目标对象的空间三维姿态和整个场景的三维深度信息，主要适用于城市建筑物等含有较为规则形状物体的场景)；基于几何光学的方法(聚焦法/散焦法：聚焦法是在焦距可调情况下，使图像中的目标点精确聚焦，然后根据透镜成像原理求得该点相对于相机的距离，该方法硬件昂贵、不易实现，精确聚焦定位不准会带来误差；散焦法根据模糊程度计算图像中各点相对于相机的距离，但如何准确建立散焦模型是主要难点)；近年来随着机器学习理论的成熟，采用机器学习和贝叶斯推断方法进行单视深度估计和场景重建的方法显示出了较大的优势。该类方法利用多种深度线索和图像特征，通过训练和学习的方法得到待测图像的深度图。但是这种方法需要采集训练数据、建立样本库，计算的性能也有待进一步提高。

现有算法多采用灰度图进行分析，而基于灰度图的图像算法不符合人类视觉生理特性；现有算法对图像中的物体边缘信息未加以有效利用；针对散焦的深度计算方法，现有算法多数采用全图逐像素运算，计算量较大。

针对现有技术中生成深度图算法计算量大的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中生成深度图算法计算量大的问题，目前尚未提出有效的解决方案，为此，本发明的主要目的在于提供一种获取深度图的方法及装置，以解决上述问题。

为了实现上述目的，根据本发明的一个方面，提供了一种获取深度图的方法，该方法包括：将三原色空间图像转化为YUV图像；提取YUV图像中的Y分量图；对Y分量图进行边缘检测，以获取Y分量图中的边缘信息；对边缘信息进行膨胀操作，获取闭合边缘；对闭合边缘进行散焦分析，以获取散焦图像的数据；根据散焦图像的数据来获取深度图。

进一步地，根据散焦图像的数据来获取深度图包括：根据闭合边缘确定Y分量图中的闭合区域；从闭合区域中提取Y分量图中的目标对象信息；将散焦图像的数据加载在目标对象信息之上，以获取深度图。

进一步地，在提取YUV图像中的Y分量图之后，且在对Y分量图进行边缘检测，以获取Y分量图中的边缘信息之前，方法还包括：采用直方图均衡法对Y分量图进行图像增强处理。

进一步地，对Y分量图进行边缘检测，以获取Y分量图中的边缘信息的步骤包括：利用canny算法对Y分量图进行边缘检测，以获取Y分量图中的边缘信息。

进一步地，在对边缘信息进行膨胀操作，获取闭合边缘之后，方法还包括：对闭合边缘进行腐蚀操作，以获取恢复边缘。

为了实现上述目的，根据本发明的一个方面，提供了一种获取深度图的装置，该装置包括：转换模块，用于将三原色空间图像转化为YUV图像；第一提取模块，用于提取YUV图像中的Y分量图；检测模块，对Y分量图进行边缘检测，以获取Y分量图中的边缘信息；第一处理模块，用于对边缘信息进行膨胀操作，获取闭合边缘；分析模块，用于对闭合边缘进行散焦分析，以获取散焦图像的数据；获取模块，用于根据散焦图像的数据来获取深度图。

进一步地，装置还包括：第二处理模块，用于根据闭合边缘确定Y分量图中的闭合区域；第二提取模块，用于从闭合区域中提取Y分量图中的目标对象信息；加载模块，用于将散焦图像的数据加载在目标对象信息之上，以获取深度图

进一步地，装置还包括：第三处理模块，用于将Y分量图进行图像增强，以获取增强后的Y分量图。

进一步地，检测模块还包括：计算模块，用于利用canny算法对Y分量图进行边缘检测，以获取Y分量图中的边缘信息。

进一步地，装置还包括：第四处理模块，用于对闭合边缘进行腐蚀操作，以获取恢复边缘。

通过本发明，采用将三原色空间图像转化为YUV图像；提取YUV图像中的Y分量图；对Y分量图进行边缘检测，以获取Y分量图中的边缘信息；对边缘信息进行膨胀操作，获取闭合边缘；对闭合边缘进行散焦分析，以获取散焦图像的数据；根据散焦图像的数据来获取深度图，解决了现有技术中生成深度图算法计算量大的问题，进而实现有效降低运算量的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的获取深度图的方法的流程图；以及

图2是根据本发明实施例的获取深度图的装置的结构示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

下面将参考附图并结合实施例来详细说明本发明。

图1是根据本发明实施例的获取深度图的方法的流程图。

如图1所示，本发明的获取深度图的方法包括如下步骤：

步骤S102，将三原色空间图像转化为YUV图像；

步骤S104，提取YUV图像中的Y分量图；

步骤S106，对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息；

步骤S108，对边缘信息进行膨胀操作，获取闭合边缘；

步骤S110，对闭合边缘进行散焦分析，以获取散焦图像的数据；

步骤S112，根据散焦图像的数据来获取深度图。

其中，三原色空间图像即RGB空间图像。YUV指的是彩色视频模拟信号的一种表达方式，其中Y分量是亮度信号，即灰阶值，Y分量是符合人类视觉生理特性的。将RGB图像转化为YUV图像，提取YUV图像中的Y分量，将其作为后续的运算数据，更符合人眼特性，更方便于纹理分析。

在本申请实现的获取深度图的方法实施例中，通过将RGB图像转化为YUV图像，然后提取YUV图像中的Y分量图，并在对Y分量图进行边缘检测，获取Y分量图中的边缘信息之后，对其进行膨胀操作，以获取闭合边缘，最后通过对闭合边缘进行散焦分析，来得到散焦图像的数据获取深度图，由于仅通过Y分量图中的边缘信息来获取深度图，解决了现有技术中对全图逐像素运算，运算量较大的问题，进而达到了有效降低运算量的效果。

本申请上述实施例中，在根据散焦图像的数据获取深度图之前，方法还可以包括以下步骤：根据闭合边缘确定Y分量图中的闭合区域；从闭合区域中提取Y分量图中的目标对象信息。然后，将散焦图像的数据加载在目标对象信息之上，以获取深度图。

本申请上述实施例中，在提取YUV图像中的Y分量图之后，且在对Y分量图进行边缘检测，以获取Y分量图中能够得到的所有边缘信息之前，该方法还可以包括：采用直方图均衡法将Y分量图进行图像增强，以获取增强后的Y分量图。对Y分量图进行边缘检测，以获取Y分量图中的边缘信息可以包括：对图像增强后的Y分量图进行边缘检测，以获取Y分量图中的边缘信息。该实施例通过采用直方图均衡法将Y分量图进行图像增强，使得Y分量图更加的清晰，因而，在后续的图像处理过程中，可以从Y分量图获取更多、更准确的有效信息。

优选地，对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息步骤包括：利用canny算法对Y分量图进行边缘检测，以获取Y分量图中的边缘信息。由于在对Y分量图进行边缘检测，以获取Y分量图中的边缘信息之后，获取的边缘信息可能会有所缺失，为了解决该问题，该实施例通过采用canny算法对Y分量图进行边缘检测，以获取Y分量图的边缘信息来得到相应的边缘区域，并可以通过设置阈值来控制提取的边缘区域的范围。

具体的，上述实施例中利用canny算法对Y分量图进行边缘检测，以获取Y分量图中的边缘信息的过程可以包括：利用canny算法提取未被虚化目标对象的边缘信息(即焦平面目标对象及距离焦平面在预设范围内的目标对象边缘信息)，因此，在通过设置阈值来控制提取的边缘区域的范围之后，可以得到更准确的焦平面目标对象信息及离焦平面较近的目标对象信息的边缘信息。本申请上述实施例中使用的Canny算法是一个多级边缘检测算法，考虑梯度的同时也考虑梯度的方向信息，因此采用该算法进行边缘检测得到边缘信息会得到更加爱准确的检测结果。

优选地，在对边缘信息进行膨胀操作，获取闭合边缘之后，上述实施例的方法还可以包括：对闭合边缘进行腐蚀操作，以获取恢复边缘。

上述实施例中，采用膨胀操作获取闭合边缘，以获得比较平滑的图像边缘。由于经过膨胀操作后的图像中的物像会“变长”或“加粗”，因此，在对Y分量图中的边缘信息进行膨胀操作时，会获得边缘变粗的闭合边缘。如果仅对膨胀操作处理得到的闭合边缘进行散焦分析，则得到的深度图在后续的运算过程中存在运算复杂、不准确的问题，为了解决该问题，该实施例采用对闭合边缘进行腐蚀操作的处理，以使得闭合边缘恢复到进行膨胀操作前的大小。

图2是根据本发明实施例的获取深度图的装置的结构示意图，如图2所示该装置包括：转换模块201，第一提取模块203，检测模块205，第一处理模块207，分析模块209和获取模块211。

具体地，转换模块201，用于将三原色颜色空间图像转化为YUV图像；第一提取模块203，用于提取YUV图像中的Y分量图；检测模块205，用于对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息，以获取Y分量图中的边缘信息；第一处理模块207，用于对边缘信息进行膨胀操作，获取闭合边缘；分析模块209，用于对闭合边缘进行散焦分析，以获取散焦图像的数据；获取模块211，用于根据散焦图像的数据来获取深度图。

在本申请实现的获取深度图的装置实施例中，通过将RGB图像转化为YUV图像，然后提取YUV图像中的Y分量图，并在对Y分量图进行边缘检测，获取Y分量图中的边缘信息之后，对其进行膨胀操作，以获取闭合边缘，最后通过对闭合边缘进行散焦分析，来得到散焦图像的数据获取深度图，由于仅通过Y分量图中的边缘信息来获取深度图，从而无需再对边缘信息之外的图像像素进行运算，解决了现有技术中对全图逐像素运算，运算量较大的问题，进而达到了有效降低运算量的效果。

在本申请的实施例中，装置还可以包括：第二处理模块和第三处理模块。第二处理模块，用于根据闭合边缘确定Y分量图中的闭合区域；第二提取模块，用于从闭合区域中提取Y分量图中的目标对象信息。优选地，本申请实施例中的获取模块可以包括：加载模块，用于将散焦图像的数据加载在目标对象信息之上，以获取深度图。

本申请上述实施例中，该装置还可以包括：第三处理模块，用于将Y分量图进行图像增强，以获取增强后的Y分量图。该实施例通过将Y分量图进行图像增强，使得Y分量图对比度更加强烈，因而，在后续的图像处理过程中，可以从Y分量图获取更多、更准确的有效信息。优选地，图像增强可以采用直方图均衡法。

优选地，检测模块还可以包括：计算模块，用于利用canny算法对Y分量图进行边缘检测，以获取Y分量图中的边缘信息。由于在对Y分量图进行边缘检测，以获取Y分量图中的边缘信息之后，提取出来的边缘信息可能会有所缺失，为了解决该问题，该实施例通过采用canny算法对Y分量图进行边缘检测，以获取Y分量图中的边缘信息来得到相应的边缘区域，并可以通过设置阈值来控制提取的边缘区域的范围。

本申请的上述实施例中，该装置还可以包括：第四处理模块，用于对所述闭合边缘进行腐蚀操作，以获取恢复边缘。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

从以上的描述中，可以看出，本发明实现了如下技术效果：通过提取YUV图像中的Y分量图的边缘信息，对其进行处理后，仅仅对处理后的闭合边缘进行散焦分析，根据分析数据获取深度图，有效地降低了运算量。本申请利用canny算法获取边缘信息的方法，使得后续执行散焦分析得到的结果更完整，以在深度图中较好的保留边缘信息，深度的层次也能通过散焦分析得到较好的反映。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.一种获取深度图的方法，其特征在于，包括：

将三原色空间图像转化为YUV图像；

提取所述YUV图像中的Y分量图；

对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息；

对所述边缘信息进行膨胀操作，获取闭合边缘；

对所述闭合边缘进行散焦分析，以获取散焦图像的数据；

根据所述散焦图像的数据来获取深度图，

其中，根据所述散焦图像的数据来获取深度图包括：

根据所述闭合边缘确定所述Y分量图中的闭合区域；

从所述闭合区域中提取所述Y分量图中的目标对象信息；

将所述散焦图像的数据加载在所述目标对象信息之上，以获取所述深度图。

2.根据权利要求1所述的方法，其特征在于，在提取所述YUV图像中的Y分量图之后，且在对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息之前，所述方法还包括：

采用直方图均衡法对所述Y分量图进行图像增强处理。

3.根据权利要求1所述的方法，其特征在于，对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息的步骤包括：

利用canny算法对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息。

4.根据权利要求1所述的方法，其特征在于，在对所述边缘信息进行膨胀操作，获取闭合边缘之后，所述方法还包括：

对所述闭合边缘进行腐蚀操作，以获取恢复边缘。

5.一种获取深度图的装置，其特征在于，包括：

转换模块，用于将三原色空间图像转化为YUV图像；

第一提取模块，用于提取所述YUV图像中的Y分量图；

检测模块，对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息；

第一处理模块，用于对所述边缘信息进行膨胀操作，获取闭合边缘；

分析模块，用于对所述闭合边缘进行散焦分析，以获取散焦图像的数据；

获取模块，用于根据所述散焦图像的数据来获取深度图，

其中，所述装置还包括：

第二处理模块,用于根据所述闭合边缘确定所述Y分量图中的闭合区域；

第二提取模块，用于从所述闭合区域中提取所述Y分量图中的目标对象信息；

加载模块，用于将所述散焦图像的数据加载在所述目标对象信息之上，以获取所述深度图。

6.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第三处理模块，用于将所述Y分量图进行图像增强，以获取增强后的Y分量图。

7.根据权利要求5所述的装置，其特征在于，所述检测模块还包括：

计算模块，用于利用canny算法对所述Y分量图进行边缘检测，以获取所述Y分量图中的边缘信息。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

第四处理模块，用于对所述闭合边缘进行腐蚀操作，以获取恢复边缘。