CN105335968A - 一种基于置信度传播算法的深度图提取方法及装置 - Google Patents

Abstract

本发明公开了一种基于置信度传播算法的深度图提取方法及装置，该方法包括：采用装有编码光圈的相机拍摄场景实物得到离焦模糊图像；提取离焦模糊图像的边缘并计算其深度值；采用置信度传播算法将图像边缘的深度值传播到其他不包含边缘的区域得到多层次的深度图。该装置包括：离散模糊图像获取模块、边缘提取模块、深度图提取模块。本发明通过产生稳定的点光源，利用编码光圈对图像深度的高区分度并使用置信度传播算法建立非边缘区域像素点之间的联系，提高了深度图提取精度。

Description

一种基于置信度传播算法的深度图提取方法及装置

技术领域

本发明涉及计算机视觉领域，特别是一种基于置信度传播算法的深度图提取方法及装置。

背景技术

随着计算机视觉理念和技术的快速发展，如何从一幅或多幅图像中自动、有效地提取图像的深度图，即图像深度信息估计，成为计算机视觉领域中的一项重要研究内容。通过对图像进行深度信息估计，使计算机具有与人类类似的视觉功能，有效地代替人眼对目标进行识别、跟踪和测量。通过对图像进行深度信息估计，还可以获取精确的三维可视化场景信息，为勘探人员、考古学家、医生和检测人员提供决策参考。深度信息估计的主要方法有主动视觉法、双目立体视觉法、聚焦法和散焦法等。

主动视觉法，研究可控光源在物体表面上所形成的图像，通过几何关系计算出被测物体的深度信息，具有获得的深度图稳定、可靠性好、精度高等优点，但需要特殊的光源。双目立体视觉法，该方法研究如何利用二维投影图像对来恢复三维景物世界，存在立体匹配难的问题。聚焦法，聚焦法的优点是不存在立体视觉中的匹配问题，误差小，但需要拍摄大量图像，损失了时间分辨率且计算量大。散焦法，将深度信息估计问题转化为散焦特征参数估计，对图像噪声具有很好的鲁棒性，但提取的深度图精度不高。

发明内容

技术问题：本发明提供了一种具有较高区分度，提高图像边缘检测的精度和准确度，提高深度图获取速度和精度的基于置信度传播算法的深度图提取方法及装置。

技术方案：本发明的基于置信度传播算法的深度图提取方法，包括以下步骤：

1)采用装有编码光圈的相机拍摄场景实物，并获取离焦模糊图像；

2)提取所述离焦模糊图像的边缘并计算所述边缘处的深度值；

3)采用置信度传播算法将图像边缘的深度值传播到其他不包含边缘的区域，得到多层次的深度图。

进一步的，本发明方法的步骤1)中，离焦模糊图像根据如下方法得到：使用装有编码光圈的相机拍摄一组点光源在不同物距上的场景图像和模糊核，然后将所述模糊核与对应的场景图像进行合成，即得到离焦模糊图像。

进一步的，本发明方法的步骤2)中，按照如下方式提取所述离焦模糊图像的边缘：使用固定标准差的高斯函数将步骤1)中得到的离焦模糊图像进行再模糊，之后使用Canny边缘检测算子提取离焦模糊图像的边缘。

进一步的，本发明方法的步骤2)中，使用Canny边缘检测算子提取离焦模糊图像的边缘的过程中，先将再模糊处理后得到的二维图像的梯度幅值计算转换为两个一维梯度幅值计算，然后用Canny算法的梯度幅值计算方法提取离焦模糊图像的边缘。

进一步的，本发明方法的步骤2)中，采用模糊估计算法或重建误差算法计算离焦模糊图像边缘的深度值。

本发明的基于置信度传播算法的深度图提取装置，包括：离焦模糊图像获取模块、边缘提取模块和深度图提取模块；

所述离焦模糊图像获取模块，用于获取处理图像的离焦模糊图像；

所述边缘提取模块，用于提取离焦模糊图像的边缘并计算所述边缘处的深度值；

所述深度图提取模块，用于采用置信度传播算法将图像边缘的深度值传播到其他不包含边缘的区域，得到多层次的深度图。

进一步的，本发明装置中，离焦模糊图像模块，使用装有编码光圈的相机拍摄一组点光源在不同物距上的场景图像和模糊核，然后将所述模糊核与对应的场景图像进行合成，即得到离焦模糊图像。

进一步的，本发明装置中，所述边缘提取模块包括：边缘提取单元、深度值计算单元；

所述边缘提取单元，用于使用固定标准差的高斯函数将离焦模糊图像进行再模糊，之后采用Canny边缘检测算子得到离焦模糊图像的边缘；

所述深度值计算单元，用于计算得到离焦模糊图像边缘处的深度值。

有益效果：本发明与现有技术相比，具有以下优点：

通过激光器、光通量改变器、精密针孔的组合，产生稳定、足够小、强度适中的点光源，与主动视觉获取深度图的装置相比，本发明不需要特殊的光源设备。

相对于传统光圈，编码光圈对图像深度具有较高的区分度。

改进Canny算法的梯度幅值计算方法，将二维图像的梯度幅值计算转换为一维，能够很好地提高图像边缘检测的精度和准确度。

改进置信度传播算法的消息传播模式，对不同区域进行单独传播并建立非边缘区域像素点之间的联系，提高深度图获取速度；同时减少错误消息的传播，提高了精确度。

通过结合图像分割结果来拟合图像中相同深度的块，提高深度图中块内的质量。

本发明通过产生稳定的点光源，利用编码光圈对图像深度的高区分度并使用置信度传播算法建立非边缘区域像素点之间的联系，提高了深度图提取精度。

附图说明

图1是本发明基于置信度传播算法的深度提取方法的流程图。

图2是本发明基于置信度传播算法的深度提取装置的结构示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，下面通过参考说明书附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

图1是本发明基于置信度传播算法的深度提取方法流程图，从图中可知，本发明实施例提供了一种基于置信度传播算法的深度图提取方法包括如下步骤：

采用装有编码光圈的相机拍摄场景实物得到离焦模糊图像；

提取离焦模糊图像的边缘并计算其深度值；

采用置信度传播算法将图像边缘的深度值传播到其他不包含边缘的区域得到多层次的深度图。

其中，使用装有编码光圈的相机拍摄一组点光源在不同物距上的模糊核，将模糊核与对应的原始图像进行合成，得到离焦模糊图像。离焦模糊图像可以认为是清晰图像与PSF(点扩散函数)的卷积，其模型可表示为f₀为清晰图像，p为相应深度的PSF也即在不同物距上拍摄的点光源模糊核，n为噪声。

在得到离焦模糊图像后，需要提取离焦模糊图像的边缘并计算其深度值。提取图像边缘的算法很多，如各种微分边缘算子、小波边缘算子以及各种形态学算子等。Canny边缘检测算子也是一种常用的边缘检测方法，由于Canny算子能在噪声抑制和边缘检测之间取得较好的平衡，它对受白噪声影响的阶跃型边缘的提取是最优的。具体实施步骤为，首先，图像边缘模型可表示为f(x)＝Au(x)+O，u(x)为阶跃函数，A为图像边缘幅度，O为图像边缘的偏移量。图像模糊边缘i(x)可表示为其中高斯函数g(x,σ)为PSF的近似表示，高斯函数的标准差σ＝kc，k为常量，c为弥散圆的直径，弥散圆的直径随着物距的增加非线性单调递增。其次，用已知标准差的高斯函数g(x,σ_k)对离焦模糊图像进行再模糊处理，即用已知标准差的高斯函数g(x,σ_k)与离焦模糊图像进行卷积操作。再模糊图像的边缘为然后使用模糊估计算法计算其深度值，具体为计算离焦模糊边缘与再模糊图像边缘的梯度幅值比 $\frac{|\▿i\left(x\right)|}{|\▿i_1\left(x\right)|}=\sqrt{\frac{{\mathrm{\σ}}^2+{{\mathrm{\σ}}_k}^2}{{\mathrm{\σ}}^2}}\exp \left(\frac{x^2}{2{\mathrm{\σ}}^2}-\frac{x^2}{2({\mathrm{\σ}}^2+{{\mathrm{\σ}}_k}^2)}\right),$ 离焦模糊边缘与再模糊图像边缘的梯度幅值比在图像边缘处即x＝0最大，最后，根据梯度幅值比公式可求出未知的模糊量以上所说的函数均为一维函数，对于二维图像的梯度幅值，可用公式计算，其中▽i_x，▽i_y分别是二维图像的x和y方向的梯度。此外，计算边缘处深度值时还可使用重建误差算法，具体为将清晰图像与模糊核进行卷积操作变得模糊，之后将其去卷积，去卷积后的图像变得清晰，但与原始清晰图像有重建误差，重建误差为其中y为去卷积后的图像，f_k为模糊核，x_k为原始清晰图像。最后使用公式其中λ_k为常量，W_i为包含像素i的区域，进行计算得到图像边缘处像素i的深度值。

在得到图像边缘处的深度值后，需要将深度值从图像的边缘传播到其他非边缘的区域得到图像的整个深度图。对于图像的深度图求取，即求图像每个像素对应深度在深度取值范围内的每个值的概率，概率最大的深度值即为深度图中正确的值。因此，可将深度图求取问题转化为在MRF(马尔可夫随机场)中求每个节点对应的边缘概率的问题，图像中的每个像素点对应MRF中的节点。具体实施步骤为，首先，定义MRF能量函数：其中，为平滑的、接近未知模糊量σ的正则化深度标记，为单个隐藏节点，为成对隐藏节点。然后，在置信度传播算法中对各像素点之间能量值进行多次迭代，迭代计算方法为将不同的区域视为马尔可夫模型，在迭代过程中，将每次迭代的消息改为： $m_{i\→j}^t\left(l_j\right)=\underset{l_i\∈\mathrm{\Ω}}{\min }\left\{D_i\left(l_i\right))+V(l_i-l_j)+\underset{s\∈N\left(i\right)\backslash j}{\mathrm{\Σ}}{m}_{s\→i}^{t-1}(l_i)\right\},$ 其中为第t次迭代时i点传输给点j的消息；N(i)为i点的接受消息集，接收消息的像素j不包括在其中；D_i(l_i)为i点标记值为l_i时的代价函数；V(l_i-l_j)为两相邻像素i，j的不连续代价函数，采用带截断值得线性模型表示V(l_i-l_j)＝min(λ|l_i-l_j|,η)，其中η为截断常量，λ为|l_i-l_j|的增长系数。对于每一个l_j去寻找使得消息m最小的l_i并求其值，通过以上步骤即可求得图像的深度图。最后，对得到的深度图进行误差修正，由于无纹理区域，遮挡区域及图像噪声等问题，与真实的深度图相比仍然会有一些误差像素，通过结合图像分割结果来拟合图像中相同深度的块，提高深度图中块内的质量。

图2是本发明基于置信度传播算法的深度提取装置的结构示意图，该装置包括：离焦模糊图像获取模块、边缘提取模块和深度图提取模块；

离焦模糊图像获取模块，用于获取处理图像的离焦模糊图像；

具体地，离焦模糊图像获取模块包括:激光发射器1、光通量改变器2、精密针孔3、编码光圈4、普通相机5。激光发射器1用于产生稳定的光源；光通量改变器2用于改变进入精密针孔3的光源的强弱；精密针孔用于产生足够小的点。编码光圈4区别于普通光圈，用于图像中不同深度的区分；普通相机5用于拍摄图像。

提取模块6，用于提取离焦模糊图像的边缘及深度图。

具体地，提取模块包括：边缘提取单元、边缘处深度值计算单元、深度图提取单元。边缘提取单元，用于采用Canny边缘检测算子得到图像的边缘；边缘处深度值计算单元，用于采用模糊估计算法或重建误差算法得到图像边缘处的深度值；深度图提取单元，用于采用置信度传播算法得到图像的深度图以及对深度图的优化。

本发明通过产生稳定的点光源，利用编码光圈对图像深度的高区分度，并使用置信度传播算法建立非边缘区域像素点之间的联系，提高了深度图的提取精度。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述，意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

如上所示，本发明虽然已参照有限的实施例和附图进行了说明，应当指出：上述实施例仅是本发明的优选实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和等同替换，这些对本发明权利要求进行改进和等同替换后的技术方案，均落入本发明的保护范围。

Claims (8)

1.一种基于置信度传播算法的深度图提取方法，其特征在于，该方法包括如下步骤：

1)采用装有编码光圈的相机拍摄场景实物，并获取离焦模糊图像；

2)提取所述离焦模糊图像的边缘并计算所述边缘处的深度值；

3)采用置信度传播算法将图像边缘的深度值传播到其他不包含边缘的区域，得到多层次的深度图。

2.根据权利要求1所述的基于置信度传播算法的深度图提取方法，其特征在于，所述步骤1)中，离焦模糊图像根据如下方法得到：使用装有编码光圈的相机拍摄一组点光源在不同物距上的场景图像和模糊核，然后将所述模糊核与对应的场景图像进行合成，即得到离焦模糊图像。

3.根据权利要求1或2所述的基于置信度传播算法的深度图提取方法，其特征在于，所述步骤2)中，按照如下方式提取所述离焦模糊图像的边缘：使用固定标准差的高斯函数将步骤1)中得到的离焦模糊图像进行再模糊，之后使用Canny边缘检测算子提取离焦模糊图像的边缘。

4.根据权利要求3所述的基于置信度传播算法的深度图提取方法，其特征在于，所述步骤2)中，使用Canny边缘检测算子提取离焦模糊图像的边缘的过程中，先将再模糊处理后得到的二维图像的梯度幅值计算转换为两个一维梯度幅值计算，然后用Canny算法的梯度幅值计算方法提取离焦模糊图像的边缘。

5.根据权利要求1或2所述的基于置信度传播算法的深度图提取方法，其特征在于，所述步骤2)中，采用模糊估计算法或重建误差算法计算离焦模糊图像边缘的深度值。

6.一种基于置信度传播算法的深度图提取装置，其特征在于，该装置包括：离焦模糊图像获取模块、边缘提取模块和深度图提取模块；

所述离焦模糊图像获取模块，用于获取处理图像的离焦模糊图像；

所述边缘提取模块，用于提取离焦模糊图像的边缘并计算所述边缘处的深度值；

所述深度图提取模块，用于采用置信度传播算法将图像边缘的深度值传播到其他不包含边缘的区域，得到多层次的深度图。

7.根据权利要求6所述的基于置信度传播算法的深度图提取装置，其特征在于，所述离焦模糊图像模块，使用装有编码光圈的相机拍摄一组点光源在不同物距上的场景图像和模糊核，然后将所述模糊核与对应的场景图像进行合成，即得到离焦模糊图像。

8.根据权利要求6或7所述的基于置信度传播算法的深度图提取装置，其特征在于，所述边缘提取模块包括：边缘提取单元、深度值计算单元；

所述边缘提取单元，用于使用固定标准差的高斯函数将离焦模糊图像进行再模糊，之后采用Canny边缘检测算子得到离焦模糊图像的边缘；

所述深度值计算单元，用于计算得到离焦模糊图像边缘处的深度值。