CN104537637A - 一种单幅静态图像深度估计方法及装置 - Google Patents

Abstract

本发明公开了一种单幅静态图像深度估计方法及装置，该方法包括如下步骤：显著性检测步骤，对图像进行显著性区域检测，获得显著性灰度图；确定深度参考点步骤，对所述显著性灰度图确定深度参考点；初始深度计算步骤，对所述深度参考点赋予设定深度值，确定点所述显著性灰度图中的像素点p的深度积累值d(p)，确定所述显著性灰度图的初始深度图；深度图细化步骤，对所述初始深度图进行平滑处理。本发明具有较好的鲁棒性与自适应性。

Description

一种单幅静态图像深度估计方法及装置

【技术领域】

本发明涉及计算机图像处理领域，特别是涉及一种单幅静态图像深度估计方法及装置。

【背景技术】

人类的视觉机理和反射条件具有一定的共性，这会使图像中一定的显著性区域，如图像的边缘、色差梯度较大的图像区域，总会引起人们的注意。基于这种原理，可以对图像中的显著性的区域进行检测，提取出显著性值的灰度图像，从而广泛的应用于计算机视觉领域，包括对兴趣目标物体的图像分割，目标识别，自适应压缩，内容感知图像编辑，和图像检索等。同时，对图像的显著性区域的检测研究反过来对研究人类视觉系统的信息加工也有帮助。

显著性这个词最早由Tsotsos et al.以及Olshausen et al.等人提出，在Itti等人的文章中首次对显著性区域做了快速的场景分析，来获得显著性图，显著性检测(saliency detection)通常也被叫做视觉关注(visual attention)区域的检测。显著性估计的方法可以广泛的概括为以生物学为基础的方法，纯计算的方法，或者是二者结合的方法。一般的所有的方法都会通过检测图像不同区域与其周围信息的对比度来实现，通过检测亮度、色彩、梯度、纹理等特征来实现。

全自动2D转3D技术完全不需要人工干预，但是对其深度效果而言，有人工参与的算法比无人工参与的算法更为精确，因为人工参与提供了部分先验知识。2D转3D技术的关键步骤为图像深度信息的恢复，在获取了单目视频的或图像的深度后，依据基于深度的图像渲染算法，渲染出其余视点图像。在深度信息提出与恢复的过程中，针对视频序列，一般以关键帧对视频场景进行分割，关键帧内视频可认为是无过度的镜头切换的一段连续视频序列。提取关键帧之后，一般主要对关键帧图像进行深度恢复，对关键帧之间的图像序列做双向或单向的深度蔓延，以获取整个视频的深度图，因此关键帧图像的深度信息恢复是2D转3D技术的研究重点。

对全自动2D转3D算法，视频关键帧由于场景的切换，其缺少视频帧间关系，来对运动物体或前景物体做出有效的识别。因此对单幅静态图像的深度信息恢复算法十分重要，但是其深度恢复过程却十分复杂。一般情况下需要经过某种假设来设定其深度的变化趋势，比如图像自底向上可以认为是深度的由远及近。最近，J.Kim等人提出了一种基于图像显著性区域检测的全自动2D转3D算法，其算法将显著性检测后的显著 性图直接作为深度图，经过渲染完成另一视点视频序列的恢复。但是经过研究我们可以发现，显著性检测算法并不十分准确，虽然其可以有效的标示出关键信息所在的位置，但是在整体结构、边缘纹理上存在缺陷。

【发明内容】

为了解决上述技术问题，本发明提供了一种单幅静态图像深度估计方法及装置，以弥补现有的基于图像显著性区域检测的整体结构、边缘纹理上存在缺陷。

一种单幅静态图像深度估计方法，包括如下步骤：

显著性检测步骤，对图像进行显著性区域检测，获得显著性灰度图；

确定深度参考点步骤，对所述显著性灰度图确定深度参考点；

初始深度计算步骤，对所述深度参考点赋予设定深度值，确定点所述显著性灰度图中的像素点p的深度积累值d(p)，确定所述显著性灰度图的初始深度图；

其中，d(p)＝min{d(q)+S(p)×E(p，q)|q∈neighbor(p)}S(p)为像素点p的灰度值的权重参数，neighbor(p)为以像素点p为中心的领域，像素点q为neighbor(p)内的其中一点，E(p,q)表示像素点p和像素点q之间的边界权重；

深度图细化步骤，对所述初始深度图进行平滑处理。

优选地，所述深度参考点的横坐标X和纵坐标Y通过如下算法确定：

$\left\{\begin{array}{c}X={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{X}_i/N\\ Y={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{Y}_i/N\end{array}\right.;$

其中，th表示显著性灰度阈值，表示所述显著性灰度图中的任意大于显著性灰度阈值th的灰度值，N表示所述显著性灰度图中灰度值大于显著性灰度阈值th的像素点的总个数。

优选地，

$\mathrm{value}=\sqrt{{(L_p-L_q)}^2+{(a_p-a_q)}^2+{(b_p-b_q)}^2};$

其中value为像素点p和像素点q之间的色彩空间距离值，L_p、a_p和b_p分别为像素点p的L、a和b参数，L_q、a_q和b_q分别为像素点q的L、a和b参数，δ为颜色跃变的控制权值。

优选地，所述设定深度值为0，在获得所述显著性灰度图中的所有像素点q的深度积累值d(p)后，将所述深度参考点的灰度值反转为255。

优选地，再利用双边滤波算法，对进行平滑处理后的初始深度图进行边缘保留的再平滑处理。

优选地，在所述深度图细化步骤中，利用直方图统计方式对所述初始深度图进行平滑处理。

优选地，利用直方图统计方式对所述初始深度图进行平滑处理包括如下步骤：

统计所述初始深度图的灰度值直方图；

计算每一个灰度出现的频率，

忽略频率小于一定频率阈值的灰度值；

将灰度值小于设定灰度阈值的灰度值用其临近的大于设定灰度阈值的灰度值进行替代。

优选地，在将灰度值小于设定灰度阈值的灰度值用其临近的大于设定灰度阈值的灰度值进行替代之后，还包括如下步骤：

将初始深度图层次分为M层，以256\M个灰度单位为一层；

在每层区间内，选择灰度值频率最高的灰度值替代其余灰度值。

本发明还提供了一种单幅静态图像深度估计装置，包括如下单元：

显著性检测单元，对图像进行显著性区域检测，获得显著性灰度图；

确定深度参考点单元，对所述显著性灰度图确定深度参考点；

初始深度计算单元，对所述深度参考点赋予设定深度值，确定点所述显著性灰度图中的像素点p的深度积累值d(p)，确定所述显著性灰度图的初始深度图；

其中，d(p)＝min{d(q)+S(p)×E(p，q)|q∈neighbor(p)}S(p)为像素点p的灰度值的权重参数，neighbor(p)为以像素点p为中心的领域，像素点q为neighbor(p)内的其中一点，E(p,q)表示像素点p和像素点q之间的边界权重；

深度图细化单元，对所述初始深度图进行平滑处理。

优选地，所述深度参考点的横坐标X和纵坐标Y通过如下算法确定：

$\left\{\begin{array}{c}X={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{X}_i/N\\ Y={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{Y}_i/N\end{array}\right.;$

其中，th表示显著性灰度阈值，表示所述显著性灰度图中的任意大于显著性灰度阈值th的灰度值，N表示所述显著性灰度图中灰度值大于显著性灰度阈值th的像素点的总个数。

本发明的有益效果是：本发明的深度估计方法基于显著性区域检测技术，提出了一种全新的深度假设模型，该模型具有较好的鲁棒性与自适应性。之后我们利用了图论最有路径搜索算法来估计图像的初始深度，并采用显著性作为深度权值。对初始深度图，我们采用直方图统计量化分析的方法进行平滑处理，这种平滑不仅针对噪声点或噪声块，也对同一深度的层次信息进行了处理。

【附图说明】

图1是本发明一种具体实施例的单幅静态图像深度估计方法流程图；

图2是本发明另一种具体实施例的单幅静态图像深度估计方法流程图；

图3是本发明一种具体实施例的两点间深度变化的展示。

【具体实施方式】

以下对发明的较佳实施例作进一步详细说明。

如图1所示，一种具体实施例的单幅静态图像深度估计方法流程图，包括如下步骤：

显著性检测步骤，对图像进行显著性区域检测，获得显著性灰度图；

确定深度参考点步骤，对所述显著性灰度图确定深度参考点；

初始深度计算步骤，对所述深度参考点赋予设定深度值，确定点所述显著性灰度图中的像素点p的深度积累值d(p)，确定所述显著性灰度图的初始深度图；

其中，d(p)＝min{d(q)+S(p)×E(p，q)|q∈neighbor(p)}，S(p)为像素点p的灰度值的权重参数，neighbor(p)为以像素点p为中心的领域，像素点q为neighbor(p)内的其中一点，E(p,q)表示像素点p和像素点q之间的边界权重；

深度图细化步骤，对所述初始深度图进行平滑处理。

如图2所示，本发明一种更为具体的实施例的单幅静态图像深度估计方法流程图。

S1，显著性检测：显著性估计，显著性往往预示着部分深度信息。

对图像进行滤波处理以达到减小噪声的目的。本具体实施方式中，采用高斯滤波器，高斯滤波器是一种低通滤波器，对图像的数字信号进行平滑处理，以去掉高频噪声。高斯滤波处理是一种成熟滤波技术，具体处理方式在此不做详细介绍。之后可以采用现有的显著性区域检测算法对图像进行显著性区域检测，得到显著性灰度图。

S2，深度参考点确认：针对上述步骤U1)处理后的显著性图像确定深度参考点，也就是图像最前景的参考点或观察者最近的参考点。我们利用超过一定阈值的显著性值的几何中心来确定一个单像素参考点，也可以用超过一定阈值的显著性区域整体来作为其前景的参考区域，这两种方式均有效可行，因为在最终的深度图绘制过程中，我们可以通过显著性值做系数修正。这里我们利用超过一定阈值的显著性值位置中心来做前景参考点，阈值我们选为显著性图灰度值均值。参考点位置为筛选过后的像素点的几何中心，计算公式如下：

$\left\{\begin{array}{c}X={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{X}_i/N\\ Y={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{Y}_i/N\end{array}\right.;$

其中，表示任意大于阈值th的显著性灰度值，XY表示其图像位置坐标，N表示大于阈值像素点的总个数。之后，深度信息从参考点逐渐向其余图像区域蔓延。蔓延过程之后步骤做详细介绍。

这种建模方式的好处是不受固定模型的约束，不容易造成深度假设与实际场景不符合的情况。在之前的深度建模过程中，为了克服深度假设带来的错误，往往采用多种深度假设模型混合使用的情况，这样就需要做深度模型的应用分析。本假设模型避免了模型的选择过程，适应性较强，而且因对于不同场景的前景参考点确定，由于显著性区域的变化，其前景参考点位置也是不断变化的，具有一定的自适应能力。

S3，建立四领域无向图：根据图论的方法建立图像的四邻域图，边界权值为像素点间的颜色空间距离。

图论的基本方法在很多数字图像处理算法中均有应用，比如基于图论的图像分割算法等。这里我们创建像素点的四邻域图无向图，初始的深度先验通过前一步骤中的 深度假设模型确定。以像素点为图的节点，以像素点间的CIELab颜色距离来衡量边界权重。对相邻像素点p和q，其边界权重E为：

$E(p,q)=\left\{\begin{array}{cc}\mathrm{value}& \mathrm{if\; value}>\mathrm{\δ}\\ 0& \mathrm{otherwise}\end{array}\right.$

$\mathrm{value}=\sqrt{{(L_p-L_q)}^2+{\left(a_p{-a}_q\right)}^2+{(b_p-b_q)}^2}$

其中value为色彩空间距离值，δ为颜色跃变的控制权值。δ合理的取值区间为3至4之间。

S4，最优路径搜索、初始深度建立：由参考点开始进行其余像素点与参考点间的最优路径搜索，并同时进行粗糙深度值的生成。

这里我们确定像素点的粗糙深度值，利用图论中的最优路径搜索算法，对于任意像素点点p，其初始深度值累积为：

d(p)＝min{d(q)+S(p)×E(p，q)|q∈neighbor(p)}

其中，点q为点p的四领域点，S(p)为该点显著性值的权重参数，通过归一化显著性值完成。d(p)为深度累积值，当p点选为初始的深度参考点时，我们设定其深度值为0。在不断的累积过程中，获得全局的深度累计值，之后我们规范化初始深度值至0-255。由于设定了显著性初始点的深度值为0，最后我们还要经过一步图像反转操作，将初始深度参考点的值反转到255，获得初始深度图。

初始深度的获得过程，这里我们以4×4的图形矩阵为例。首先创建图像矩阵的四邻域无向图，其次我们根据深度假设模型确定其最优路径搜索过程中的参考点。图论的最优路径搜索算法有很多种，这里我们使用Dijkstra算法实现由参考点开始的图像最优路径遍历过程，直至图像中的所有节点被便利完成。Dijkstra算法的核心思想是将图中的节点分为两个集合：已确定最优路径的节点集合与与未确定最优路径的节点集合。算法开始时，最优路径节点集合只有最初的深度参考点，之后不断加入确定最优路径的节点，直至所有节点计算完成，因此这两个节点集合是没有交集的。顶点集不断移动的判断准则为始终确保从参考点到已确定最优路径节点集合的最优路径小于未确定最优路径节点集合的最优路径长度。最优路径搜索完成后，我们以最优路径边的权值的累积作为初始深度值，在图3的最后一幅做了两点间深度变化的展示。

S5，深度细化，得到深度图：通过最优路径所有过程确定的初始深度值存在一定的瑕疵，因为没有考虑像素点间的物理位置关系，初始深度灰度图不够平滑。像素点 间的位置关系对人眼的深度感知有一定的影响，这类似与显著性中的对比度计算过程。这里我们将通过灰度直方图统计的方式，对初始深度图进行平滑处理，并通过双边滤波算法，对深度图进行边缘保留的再平滑处理。

直方图统计的方式主要是去除初始深度图中的较大块的深度错误区域，以使得各层次的整体性更强。首先我们统计初始深度图的灰度直方图，然后计算每一个灰度出现的频率，这里我们通过忽略其频率小于一定阈值的灰度来平滑错误的深度小块。在平滑过程中，我们将灰度小于阈值的灰度值用其临近大于阈值的灰度值进行替代。其次，为了获得丰富的层次信息，在同一深度层面上的深度值为同一值，我们通过灰度划分的方式来进行层次内的平滑。默认的我们将图像层次分为N层，即以256\N个灰度单位为一层。在每区间内，我们选择灰度值频率最高的灰度来替代其余灰度值。这样做的好处是尽可能的将同一深度的区域划分在一个层次内。最后，我们通过双边滤波的方式来平滑整体图像，并获取边缘。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (10)

1.一种单幅静态图像深度估计方法，其特征是，包括如下步骤：

显著性检测步骤，对图像进行显著性区域检测，获得显著性灰度图；

确定深度参考点步骤，对所述显著性灰度图确定深度参考点；

初始深度计算步骤，对所述深度参考点赋予设定深度值，确定点所述显著性灰度图中的像素点p的深度积累值d(p)，确定所述显著性灰度图的初始深度图；

其中，d(p)＝min{d(q)+S(p）×E(p，q)|q∈neighbor(p)}，S(p)为像素点p的灰度值的权重参数，neighbor(p)为以像素点p为中心的领域，像素点q为neighbor(p)内的其中一点，E(p,q)表示像素点p和像素点q之间的边界权重；

深度图细化步骤，对所述初始深度图进行平滑处理。

2.如权利要求1所述的单幅静态图像深度估计方法，其特征是，所述深度参考点的横坐标X和纵坐标Y通过如下算法确定：

$\left\{\begin{array}{c}X={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{X}_i/N\\ Y={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{Y}_i/N\end{array}\right.;$

其中，th表示显著性灰度阈值，表示所述显著性灰度图中的任意大于显著性灰度阈值th的灰度值，N表示所述显著性灰度图中灰度值大于显著性灰度阈值th的像素点的总个数。

3.如权利要求1所述的单幅静态图像深度估计方法，其特征是，

$\mathrm{value}=\sqrt{{(L_p-L_q)}^2+{(a_p-a_q)}^2+{(b_p-b_q)}^2};$

其中value为像素点p和像素点q之间的色彩空间距离值，L_p、a_p和b_p分别为像素点p的L、a和b参数，L_q、a_q和b_q分别为像素点q的L、a和b参数，δ为颜色跃变的控制权值。

4.如权利要求1所述的单幅静态图像深度估计方法，其特征是，所述设定深度值为0，在获得所述显著性灰度图中的所有像素点q的深度积累值d(p)后，将所述深度参考点的灰度值反转为255。

5.如权利要求1所述的单幅静态图像深度估计方法，其特征是，再利用双边滤波算法，对进行平滑处理后的初始深度图进行边缘保留的再平滑处理。

6.如权利要求1所述的单幅静态图像深度估计方法，其特征是，在所述深度图细化步骤中，利用直方图统计方式对所述初始深度图进行平滑处理。

7.如权利要求6所述的单幅静态图像深度估计方法，其特征是，利用直方图统计方式对所述初始深度图进行平滑处理包括如下步骤：

统计所述初始深度图的灰度值直方图；

计算每一个灰度出现的频率，

忽略频率小于一定频率阈值的灰度值；

将灰度值小于设定灰度阈值的灰度值用其临近的大于设定灰度阈值的灰度值进行替代。

8.如权利要求7所述的单幅静态图像深度估计方法，其特征是，在将灰度值小于设定灰度阈值的灰度值用其临近的大于设定灰度阈值的灰度值进行替代之后，还包括如下步骤：

将初始深度图层次分为M层，以256\M个灰度单位为一层；

在每层区间内，选择灰度值频率最高的灰度值替代其余灰度值。

9.一种单幅静态图像深度估计装置，其特征是，包括如下单元：

显著性检测单元，对图像进行显著性区域检测，获得显著性灰度图；

确定深度参考点单元，对所述显著性灰度图确定深度参考点；

初始深度计算单元，对所述深度参考点赋予设定深度值，确定点所述显著性灰度图中的像素点p的深度积累值d(p)，确定所述显著性灰度图的初始深度图；

其中，d(p)＝min{d(q)+S(p）×E(p，q)|q∈neighbor(p)}，S(p)为像素点p的灰度值的权重参数，neighbor(p)为以像素点p为中心的领域，像素点q为neighbor(p)内的其中一点，E(p,q)表示像素点p和像素点q之间的边界权重；

深度图细化单元，对所述初始深度图进行平滑处理。

10.如权利要求9所述的单幅静态图像深度估计装置，其特征是，所述深度参考点的横坐标X和纵坐标Y通过如下算法确定：

$\left\{\begin{array}{c}X={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{X}_i/N\\ Y={\mathrm{\Σ}}_{\∀S\left(I\right)>\mathrm{th}}^N{Y}_i/N\end{array}\right.;$

其中，th表示显著性灰度阈值，表示所述显著性灰度图中的任意大于显著性灰度阈值th的灰度值，N表示所述显著性灰度图中灰度值大于显著性灰度阈值th的像素点的总个数。