CN102982545A - 一种图像深度估计方法 - Google Patents

Abstract

本发明公开了一种图像深度估计方法，包括以下步骤：1）区域划分：将待处理的图像分割成多个区域；2）迭代处理：21）计算显著性值；22）判断：判断当前迭代针对的各区域的显著性值中最大值与最小值的差值是否小于设定阈值，如果是，则将当前迭代针对的各区域标记上背景标记F₀，停止迭代；如果否，则进入步骤23）；23）规范化、二值化和腐蚀：将步骤21）得到的各区域的显著性值规范化操作，规范到0-255；对规范化后的各区域的显著性值进行二值化处理，得到对应的二值图；对得到的二值图进行腐蚀操作，得到腐蚀后的二值图；24）抠图处理；3）深度赋值。本发明的图像深度估计方法，得到的深度图灰度值较精确，深度图层次感较强。

Description

一种图像深度估计方法

【技术领域】

本发明涉及计算机图像处理领域，特别是涉及一种图像深度估计方法。

【背景技术】

深度估计方法用于估计待处理的图像中各像素点的深度信息，获取待处理的图像的全局深度图，在计算机视觉和计算机图形学应用领域发挥着重要的作用。当前深度图估计的方法主要有基于图像的和基于视频的两种方式。对基于图像的方法，可以细分为四种思路：1.聚焦法：如果一张图片拍摄时聚焦在近景那么远景就会模糊，因此可以通过判断图片中的清晰和模糊区域来估计近景还是远景，从而得到深度图。2.形状匹配法：这种方法假设形状和深度有一定的对应关系，通过预先建立的形状和深度对应的关系库，来找出每个形状对应的深度从而得到深度图。3.零平面法：利用场景里的物体和零平面的关系来估计深度图。4.人工标记法：这种方法通过大量的人工交互来完成图像各区域的深度估计。上述各种思路下估算图像的深度信息，均有多种实现方法。然而，现有的多种估计深度信息的方法，通常仅依据图像中像素点的位置信息确定深度信息，依据自底向上的原则，将图像底部的物体视为近景，图像顶部的物体视为远景，确定得到图像的深度信息。这样的估计方法，通常估计的深度值不精确，深度图层次感不强。同时未考虑到图像中物体边缘的影响，得到的深度图边缘模糊。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像深度估计方法，得到的深度图灰度值较精确，深度图层次感较强。

本发明的技术问题通过以下的技术方案予以解决：

一种图像深度估计方法，包括以下步骤：1）区域划分：将待处理的图像分割成多个区域，定义为区域R₁、R₂、……、R_k、……、R_N；2）迭代处理：21）计算显著性值：对于当前迭代针对的各区域，分别计算各区域的显著性值；其中，当前迭代为第i次迭代，当i为1时，针对的各区域为全部N个区域；当i大于等于2时，针对的各区域为前i-1次迭代处理后剩下的未被标记前景标记的区域；22）判断：判断当前迭代针对的各区域的显著性值中最大值与最小值的差值是否小于设定阈值，如果是，则将当前迭代针对的各区域标记上背景标记F₀，停止迭代；如果否，则进入步骤23）；23）规范化、二值化和腐蚀：将步骤21）得到的各区域的显著性值规范化操作，规范到0-255；对规范化后的各区域的显著性值进行二值化处理，得到对应的二值图；对得到的二值图进行腐蚀操作，得到腐蚀后的二值图；24）抠图处理：根据步骤23）得到的腐蚀后的二值图对当前迭代针对的各区域进行抠图处理，分割出当前迭代下的前景区域，将相应的区域标记上前景标记F_i；3）深度赋值：按照自底向上，由近及远的原则，根据待处理图像的各像素点所处的位置等级以及步骤2）迭代处理后的标记确定各像素点的深度值。

本发明与现有技术对比的有益效果是：

本发明的图像深度估计方法，利用了显著性检测技术得到的显著性值，自动检测出感兴趣区域，同时结合了抠图分割技术，通过对显著性值和抠图分割的不断迭代，得到各次迭代的标记信息，依据该标记信息和像素点的位置信息对深度图灰度值赋值。由于迭代标记前景区域的先后反映了图像中前景背景信息，因此最终赋值得到的深度图灰度值较精确，能得到层次分明的深度图。同时，由于估计方法中，对二值图进行腐蚀操作，且不断的迭代抠图分割，可以有效的提取出精细的轮廓边缘，使最终得到深度图边缘较清晰。

【附图说明】

图1是本发明具体实施方式中的图像深度估计方法的流程图；

图2是本发明具体实施方式中的图像深度估计方法中迭代处理步骤的流程图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

如图1所示，为本具体实施方式中的图像深度估计方法的流程图。

U1）区域划分：将待处理的图像分割成多个区域，定义为区域R₁、R₂、……、R_k、……、R_N。

此步骤中，可采用已有的多种图像分割方法实现。优选地，利用一种简单高效的基于图的图像分割算法（graph-based image segmentation），将待处理的图像利用graph-based image segmentation算法进行区域划分，并且记录每一区域分别为R₁,R₂……R_N，其中N为划分后总的区域数目。对于划分后的每一区域，后续处理时默认为它是一个整体，有相同的特性，即区域中各像素点的显著性值以及深度值相同。

进一步优选地，在分割处理之前，对待处理的图像进行去噪处理。去噪处理可降低图像噪声对后续各步骤处理的影响。去噪处理方法例如可以采用高斯滤波方法进行。

U2）迭代处理。如图2所示，为迭代处理步骤的流程图，包括以下具体步骤U21）-U26）：

U21）计算显著性值：对于当前迭代针对的各区域，分别计算各区域的显著性值。

具体地，如当前迭代为第i次迭代，当i=1时，即当前迭代为第一次迭代时，针对的各区域为全部N个区域。经过第一次迭代处理后，分割出第一次迭代的前景区域（例如是R2、R4），则对这2个区域R2和R4标记上前景标记F1，剩下N-2个区域未被标记。则进行第二次迭代处理时，针对的各区域即为剩下的未被标记的N-2个区域。经过第二次迭代处理后，分割出第二次迭代的前景区域（例如是R3），则对相应的这1个区域R3标记上前景标记F2，剩下N-2-1个区域未被标记。则进行第三次迭代处理时，针对的各区域即为未被标记的N-2-1个区域。依次类推，则当i大于等于2时，针对的各区域为前i-1次迭代处理后剩下的未被标记前景标记的区域。

优选地，对于各次迭代过程中针对的各区域的显著性值的计算，采用一种简单快捷的方法。首先人们通常会注意到颜色对比度和周围相差较大的区域 ，这样的差异可以用色彩空间的距离来度量。其次不同区域的位置关系也会对显著性造成影响，相近的区域的高对比度比相距较远的区域更容易引起注意，因此两区域的空间关系也会影响显著性值。结合颜色距离和空间距离两个因素的影响，当前迭代时第k块区域R_k的显著性值S（R_k）为：

$S\left(R_k\right)=\underset{R_k\≠R_t}{\mathrm{\Σ}}\left(\exp (-D_S(R_k,R_t)/{\∂}^2)\right)\×D_r(R_k,R_t)$ ；

其中Rk，Rt分别表示当前迭代的多个区域中的两个区域，Rk为待计算显著性值的区域，Rt为另外任一区域。D_s，D_r分别表示两区域几何重心的欧式距离以及在CIELab色彩空间颜色距离，

为控制参数。控制参数

越大，空间距离对显著性值的影响越小，反之，控制参数

越小，空间距离对显著性值的影响越大。

几何重心欧式距离D_s由两区域的重心位置计算得到。具体的过程为对区域中所包含的像素点在其二维图像中的位置统计后求取其平均值，计算结果为，

，

，式子中n为区域中包含的像素点总数，xi和yi为像素点i的二维坐标。则

，其中，

，

分别为区域R_k中所包含的所有像素点二维位置中x坐标的均值，y坐标的均值，，分别为区域R_t中所包含的所有像素点二维位置中x坐标的均值，y坐标的均值。

CIELab色彩空间颜色距离D_r由两区域所包含的像素点的颜色均值计算得到。具体为：首先进行色彩空间的转换，将图像由RGB色彩空间转换为CIELab色彩空间，因为CIELab色彩空间更接近于人眼的感知特性，这样计算显著性值时会更加准确，颜色均值分别在L、a、b三个通道上计算，计算结果为

、

、

，

，

，

，式子中n为区域中包含的像素点总数，Li，ai，bi分别为区域中像素点i在CIELab色彩空间的L通道值，a通道值，b通道值。则，其中，

、

、

分别为区域R_k中所包含的所有像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值；

、

、

分别为区域R_t中所包含的所有像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值。

U22）判断：判断当前迭代针对的各区域的显著性值中最大值与最小值的差值是否小于设定阈值：

如果是，则进入U25）将当前迭代针对的各区域标记上背景标记F₀，U26）停止迭代；

如果否，则进入步骤23）。

此步骤中，当最大值与最小值的差值小于设定阈值时，即是检测不出较显著性的区域。也即设定一个循环迭代终止的条件，循环迭代直至检测不出较显著性的区域为止。设置的阈值的具体取值是可以人为设定的，阈值越小，计算结果越精细同时耗时越长，阈值越大，则情况相反。

U23）规范化、二值化和腐蚀：将步骤21）得到的各区域的显著性值规范化操作，规范到0-255；对规范化后的各区域的显著性值进行二值化处理，得到对应的二值图；对得到的二值图进行腐蚀操作，得到腐蚀后的二值图。

其中，对于规范化操作，可依据如下式子进行：

$y=(x-\mathrm{MinValue})/(\mathrm{MaxValue}-\mathrm{MinValue})$ ；

Y=y×255；

将待规范的区域的显著性值作为x带入式子中，y表示规范化中间值，Y表示规范后该区域的显著性值对应于灰度图像中的灰度值，MaxValue和MinValue分别为当前迭代的各区域显著性值中的最大显著性值和最小值显著性值。

对于二值化处理，目的是为了分割出显著性区域与背景区域，二值化的方法包括动态阈值和恒定阈值，而分割后的结果是用于后续的精细化抠图分割，这里选择恒定阈值做处理。设定阈值p，例如可根据经验将阈值p设定为显著性最大与最小值(最小值通常为零)之差的0.9倍。二值化处理时，显著性值大于阈值p的认为是这一次迭代的前景，低于p的认为是此次迭代的背景区域。取前景区域值为255，背景区域值为0，从而建立相对应的二值图。

对于腐蚀操作，由于前述二值化处理时，未考虑区域边界的特殊性。在各区域边界部分是纹理最为复杂的地方，二值化处理时极有可能将属于前景（或背景）的部分边界分割到了背景（或前景）之中。鉴于此，设置腐蚀操作，可避免二值化处理后造成的区域边界的不准确。腐蚀操作即是使前、背景的交接区域空白，设置为待定区域。后续通过精细化抠图分割操作来确定该待定区域的属性。例如可利用6*6的算子对前景和背景分别进行腐蚀，保存腐蚀后结果的前、背景图二值图。

24）抠图处理：根据步骤23）得到的腐蚀后的二值图对当前迭代针对的各区域进行抠图处理，分割出当前迭代下的前景区域，将相应的区域标记上前景标记F_i。

具体地，前述腐蚀后的二值图已较精确的区分了前景区域和背景区域，因此根据二值图，即可对原图中各区域属于前景还是背景进行区分，依据该腐蚀后的二值图对原图中各区域进行抠图处理，即可识别出当前迭代下的前景区域，背景区域，将相应的区域上标记上前景标记Fi。抠图处理实现时，可采用已有的多种抠图方法实现。优选地，利用一种方便实用的抠图算法lazy-snapping实现，对步骤23）得到腐蚀后的前景和背景区域提取原图中相应区域作为算法输入，分割出当前迭代的前景区域，并标记为Fi。这一步骤对前述步骤23）中腐蚀操作时的待定区域做了进一步的划分。

标记Fi时，对于第一次迭代处理后，如分割出前景区域为区域R2、R4，则对这2个区域R2和R4标记上前景标记F1，剩下N-2个区域未被标记。第二次迭代处理后，如分割出前景区域为区域R3，则对相应的这1个区域R3标记上前景标记F2，剩下N-2-1个区域未被标记。第三次迭代处理后，如分割出前景区域为区域R1、R5、R6，则对相应的这3个区域R1、R5、R6标记前景标记F3。依次类推，即对于当前第i次迭代，分割出当前迭代的前景区域后，即对相应的区域标记上前景标记Fi。

假设经过M次的迭代，停止迭代后，那么按照迭代的次序，可以分割出不同层次的区域结果，分别为F₁（R2、R4）、F₂（R3）、F₃（R1、R5、R6）……F_M，没有被标记的记为最终的背景区域F₀。

步骤U2）的迭代处理完成后，即进入下一步骤U3）。

U3）深度赋值：按照自底向上，由近及远的原则，根据待处理图像的各像素点所处的位置等级以及步骤U2）迭代处理后的标记确定各像素点的深度值。

优选地，可通过如下方式确定各像素点的深度图灰度值。根据分割出不同层次的前景标记F₁、F₂……F_M与最终的背景标记F₀，其深度值在深度图灰度图中是一个递减的过程，即从最前端的255逐渐递减至0，即标记有背景标记F₀的区域的深度图灰度值=0，标记有前景标记Fi的区域的深度图灰度值为 ，M表示迭代的总次数。对于由此得到的灰度图，再按照自底向上、由近及远的原则将灰度图进行一个线性调整。调整的过程为将图像自底向上分为256个等级，即从255至0。则像素点p的深度图灰度值dp，

。式子中lp为像素点p所在的等级，Fp为像素点p所在区域的标记，Fp=｛F₀、F₁、F₂……F_M｝。举例说明，如像素点p1位于图像最底端，划分区域时位于区域R5，而区域R5迭代时标记上F3，则lp=255，

，将迭代总次数M带入即可确定Fp的值，再将lp和Fp带入式子中，即可得到像素点p1的深度图灰度值。

本具体实施方式的图像深度估计方法，通过对显著性值和抠图分割的不断迭代，得到各次迭代的标记信息，依据该标记信息和像素点的位置信息对深度值赋值。由于迭代标记前景区域的先后反映了图像中前景背景信息，也即深度估计时考虑了图像中的前景背景信息，因此相对于单纯依据位置信息估计深度信息的方法，本具体实施方式中最终赋值得到的深度图灰度值较精确，能得到层次分明的深度信息。同时，由于估计方法中，对二值图进行腐蚀操作，且不断的迭代抠图分割，可以有效的提取出精细的轮廓边缘，使最终得到深度图边缘较清晰，也确保深度图较精确。

由上述分析，也可以得到本发明的深度估计方法体现的思想包括：1.深度估计结合显著性检测技术。显著性检测是对图像中感兴趣区域自动提取的方法，而感兴趣区域通常都为前景区域，利用了显著性检测技术对深度图进行估计。2.利用了精细化的抠图分割方法，有效的提取出精细的轮廓边缘，提高估计精确度。3.通过对显著性和图割方法的不断迭代，得到较精确的深度图灰度值估计结果以及层次分明、纵深感强的深度图信息。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (9)

1.一种图像深度估计方法，其特征在于：包括以下步骤：

1）区域划分：将待处理的图像分割成多个区域，定义为区域R₁、R₂、……、R_k、……、R_N；

2）迭代处理：

21）计算显著性值：对于当前迭代针对的各区域，分别计算各区域的显著性值；其中，当前迭代为第i次迭代，当i为1时，针对的各区域为全部N个区域；当i大于等于2时，针对的各区域为前i-1次迭代处理后剩下的未被标记前景标记的区域；

22）判断：判断当前迭代针对的各区域的显著性值中最大值与最小值的差值是否小于设定阈值，如果是，则将当前迭代针对的各区域标记上背景标记F₀，停止迭代；如果否，则进入步骤23）；

23）规范化、二值化和腐蚀：将步骤21）得到的各区域的显著性值规范化操作，规范到0-255；对规范化后的各区域的显著性值进行二值化处理，得到对应的二值图；对得到的二值图进行腐蚀操作，得到腐蚀后的二值图；

24）抠图处理：根据步骤23）得到的腐蚀后的二值图对当前迭代针对的各区域进行抠图处理，分割出当前迭代下的前景区域，将相应的区域标记上前景标记F_i；

3）深度赋值：按照自底向上，由近及远的原则，根据待处理图像的各像素点所处的位置等级以及步骤2）迭代处理后的标记确定各像素点的深度值。

2.根据权利要求1所述的图像深度估计方法，其特征在于：所述步骤3）根据如下式子确定各像素点的深度图灰度值dp：

，其中，lp为将待检测的图像自底向上分为256个等级时像素点p所在的等级，Fp为像素点p所在区域的标记；其中，背景标记F₀＝0，第i次迭代的前景标记，M表示迭代的总次数。

3.根据权利要求1所述的图像深度估计方法，其特征在于：所述步骤21）中依据如下式子计算得到当前迭代时第k个区域R_k的显著性值S（R_k）：

$S\left(R_k\right)=\underset{R_k\≠R_t}{\mathrm{\Σ}}\left(\exp (-D_S(R_k,R_t)/{\∂}^2)\right)\×D_r(R_k,R_t)$ ；

其中，Rk，Rt分别表示当前迭代的多个区域中的两个区域，Ds（Rk，Rt）表示区域Rk与区域Rt的几何重心的欧氏距离，

为控制参数，Dr（Rk，Rt）表示区域Rk与区域Rt在CIELab色彩空间的颜色距离。

4.根据权利要求3所述的图像深度估计方法，其特征在于：所述几何重心欧式距离

，其中，

，

分别为区域R_k中所包含的所有像素点二维位置中x坐标的均值，y坐标的均值，

，

分别为区域R_t中所包含的所有像素点二维位置中x坐标的均值，y坐标的均值。

5.根据权利要求3所述的图像深度估计方法，其特征在于：

，其中，

、

、

分别为区域R_k中所包含的所有像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值；

、

、

分别为区域R_t中所包含的所有像素点在CIELab色彩空间的L通道的均值，a通道的均值，b通道的均值。

6.根据权利要求1所述的图像深度估计方法，其特征在于：所述步骤23）中，二值化处理采用如下方法：当区域的显著性值大于设定的阈值时，将该区域作为当前迭代的前景，灰度值设为255；当区域的显著性值小于设定的阈值时，将该区域作为当前迭代的背景，灰度值设为0，从而得到对应的二值图。

7.根据权利要求6所述的图像深度估计方法，其特征在于：所述设定的阈值为当前迭代的各区域显著性值中的最大显著性值和最小值显著性值之差的0.9倍。

8.根据权利要求1所述的图像深度估计方法，其特征在于：所述步骤23）中，所述规范化操作依据如下式子进行；

$y=(x-\mathrm{MinValue})/(\mathrm{MaxValue}-\mathrm{MinValue})$ ；

Y=y×255；

其中，将待规范的区域的显著性值作为x带入式子中，y表示规范化中间值，Y表示规范后该区域的显著性值对应于灰度图像中的灰度值，MaxValue和MinValue分别为当前迭代的各区域显著性值中的最大显著性值和最小值显著性值。

9.根据权利要求1所述的图像深度估计方法，其特征在于：所述步骤1）之前还包括对待处理的图像进行去噪处理。

Images