CN103049906B - 一种图像深度提取方法 - Google Patents

Abstract

本发明公开了一种图像深度提取方法，包括以下步骤：1）对待处理的原始图像进行高斯模糊处理得到N幅模糊图像；N≥2；2）检测原始图像和N幅模糊图像的边缘，获得各图像的边缘图像；3）基于边缘图像，计算边缘处各个像素点在各个高斯滤波参数下对应的模糊参数估计值；4）使用统计学方法分析边缘处各个像素点的N个模糊参数估计值得到边缘处各个像素点的最优模糊参数估计值；5）根据边缘处各个像素点的最优模糊参数估计值，计算图像中边缘处各个像素点的深度值得到稀疏深度图；6）对稀疏深度图做插值处理，获得致密深度图。本发明的方法，相对于现有技术的方法，能得到精确度较高的模糊参数，从而使后续计算得到的深度值的精确度较高。

Description

一种图像深度提取方法

【技术领域】

本发明涉及计算机视觉领域，特别是涉及一种图像深度提取方法。

【背景技术】

深度提取方法用于获取待处理的图像中各像素点的深度信息，获取待处理的图像的全局深度图，在计算机视觉和计算机图形学应用领域发挥着重要的作用。

现有的基于单幅图像提取深度图的方法，主要分为三大类，其中一类的方法为通过高斯再模糊的方法获取图像的模糊参数值。通过对原始图像做高斯再模糊，并进行边缘检测后求解模糊参数，得到稀疏深度图。然后对得到的稀疏深度图做深度生长，最后结合双边滤波对深度图像进行精细化处理得到最终的致密深度图。然而上述方法中，由于该边缘信息的求取是通过一次性的梯度比值的计算获得模糊信息，因此边缘图像的模糊参数值的置信度并不高。另外，不同区域边缘差异性较大，通过一次性的全局计算容易忽略局部的特征信息，从而使得边缘值的精确性大大降低。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像深度提取方法，得到的边缘处各个像素点的深度值的精确度较高。

本发明的技术问题通过以下的技术方案予以解决：

一种图像深度提取方法，包括以下步骤：1）对待处理的原始图像进行高斯模糊处理，选用N个不同的高斯滤波参数，得到N幅模糊图像；N≥2；2）检测原始图像和N幅模糊图像的边缘，获得各图像的边缘图像；3）基于步骤2）获得的边缘图像，计算边缘处各个像素点在各个高斯滤波参数下对应的模糊参数估计值；4）使用统计学方法分析步骤3）中边缘处各个像素点的N个模糊参数估计值，从而得到边缘处各个像素点的最优模糊参数估计值；5）根据获取的边缘处各个像素点的最优模糊参数估计值，计算图像中边缘处各个像素点的深度值，从而得到稀疏深度图；6）对步骤5）获得的稀疏深度图做插值处理，获得致密深度图。

优选地，

还包括步骤7），对步骤6）获得的致密深度图进行优化处理，去除深度信息异值点。

所述步骤7）包括：将原始图像进行分割处理，得到N1个分割区域，对于待优化的各个分割区域，在其对应的深度图区域中，进行如下处理：71）随机选择三个像素点，计算三个像素点形成的平面方程；72）计算该深度图区域内其他像素点到该平面的距离，对于距离小于设定阈值的点定为内点，距离大于等于设定阈值的点定为外点，并统计该平面对应的内点个数；73）重复步骤71）-72）多次，统计多个平面对应的内点个数；74）取内点个数最多的平面为拟合平面，则该深度图区域中，如像素点为该拟合平面的内点，则深度值保持不变；如像素点为该拟合平面的外点，则深度值取修正后的深度值。

上述优化处理的方案中，使用立体匹配领域的平面拟合技术，对获取的深度图图像按分割区域分别进行优化，有效去除异值点，从而使得优化后的深度信息更加可靠，深度图平面更加平滑。

本发明与现有技术对比的有益效果是：

本发明的图像深度提取方法，采用多个高斯模糊尺度进行模糊处理，获取多个尺度下的边缘图像的模糊参数估计值，然后根据统计学方法从多个值中估计得到最优模糊参数估计值，即是得到精确度更高的模糊参数，从而确保后续计算得到边缘处各个像素点的深度值的精确度较高。

【附图说明】

图1是本发明具体实施方式中的图像深度提取方法的流程图；

图2是本发明具体实施方式中的优化处理步骤的流程图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

如图1所示，为本具体实施方式中的图像深度提取方法的流程图，包括以下步骤：

U1）对待处理的原始图像进行高斯模糊处理，选用N个不同的高斯滤波参数，得到N幅模糊图像。其中，N≥2。

本步骤中，高斯模糊处理即是对原始图像进行高斯滤波，如原始图像用I（x，y）表示，则模糊后的图像用I_b（x，y）表示，则模糊后的图像可表示为：

$I_b(x,y)=G\left(\mathrm{\σ}\right)\⊗I(x,y),$ 其中，G(σ)为高斯函数，选用N个不同的高斯滤波参数σ₁，σ₂，…，σ_n，即得到模糊图像序列为：

$I_{b1}(x,y)=G\left({\mathrm{\σ}}_1\right)\⊗I(x,y)$

$I_{b1}(x,y)=G\left({\mathrm{\σ}}_1\right)\⊗I(x,y)$

$I_{\mathrm{bn}}(x,y)=G\left({\mathrm{\σ}}_n\right)\⊗I(x,y)$

U2）检测原始图像和N幅模糊图像的边缘，获得各图像的边缘图像。

本步骤中，即检测得到原始图像I（x，y）和N幅模糊图像I_b（x，y）的边缘图像。本具体实施方式中，使用阶跃型边缘模型Au(x)+B作为边缘模型，模糊边缘用高斯函数G(x,y,σ₀)来建模，从而检测图像的边缘。检测图像边缘的算法有多种，优选地，对于这种阶跃型边缘模型建立的图像，一般选用基于Sobel算子的检测算法，检测效果较为理想。

具体地，在上述建立的模型中，原始图像的边缘i(x,y)为：

$i(x,y)=(\mathrm{Au}(x,y)+B)\⊗G(x,y,{\mathrm{\σ}}_0),$ 其中，（x，y）为图像中像素点的二维坐标，A、B分别为阶跃型边缘模型的参数，u(x,y)为阶跃函数，G(x,y,σ₀)为高斯函数，σ₀为原始图像的模糊参数。

第k幅模糊图像的边缘i_bk(x,y)为：

$i_k(x,y)=i(x,y)\⊗G(x,y,{\mathrm{\σ}}_k),$ 其中，k=1…n，σ_k为所述步骤1）中选取的高斯滤波参数。

U3）基于步骤U2）获得的边缘图像，计算边缘处各个像素点在各个高斯滤波参数下对应的模糊参数估计值。

本具体实施方式中，首先理论上，基于步骤U2）中建立的模型，为简单起见，先从一维图像开始分析，再类推至二维图像的情况。首先在一维情况下，原始图像的边缘可表示为：而模糊图像的边缘可表示为 $i_{\mathrm{bk}}\left(x\right)=i\left(x\right)\⊗G(x,{\mathrm{\σ}}_k),$ 对其分别求导数，即为

$\▿i\left(x\right)=\▿((\mathrm{Au}\left(x\right)+B)\⊗G(x,{\mathrm{\σ}}_0));$

${\▿i}_{\mathrm{bk}}=\▿(i\left(x\right)\⊗G(x,{\mathrm{\σ}}_k))=\▿((\mathrm{Au}\left(x\right)+B)\⊗G(x,{\mathrm{\σ}}_0)\⊗G(x,{\mathrm{\σ}}_k));$

而高斯函数 $G(x,\mathrm{\σ})=\frac{1}{2\mathrm{\π}{\mathrm{\σ}}^2}{e}^{-x^2/2{\mathrm{\σ}}^2},$ 代入上述两个求导数的表达式中，则

$\&dtri;i\left(x\right)=\frac{A}{\sqrt{2\mathrm{\&pi;}\left({{\mathrm{\&sigma;}}_0}^2\right)}}\exp <-\frac{x^2}{2\left({{\mathrm{\&sigma;}}_0}^2\right)}>,$

${\&dtri;i}_{\mathrm{bk}}\left(x\right)=\frac{A}{\sqrt{2\mathrm{\&pi;}({{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2)}}\exp <-\frac{x^2}{2({{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2)}>$

则原始图像与第k幅模糊图像的边缘梯度比值Rxy为：

$R_x=\frac{\&dtri;i\left(x\right)}{{\&dtri;i}_{\mathrm{bk}}\left(x\right)}=\sqrt{\frac{{{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2}{{{\mathrm{\&sigma;}}_0}^2}}\exp <-\frac{x^2}{2{{\mathrm{\&sigma;}}_0}^2}+\frac{x^2}{2({{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2)}>$

由此可以证明，当x=0，即在图像边缘处时，原始图像和模糊图像的一阶梯度比值取最大， $R_x=\frac{\&dtri;i\left(0\right)}{{\&dtri;i}_{\mathrm{bk}}\left(0\right)}=\sqrt{\frac{{{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2}{{{\mathrm{\&sigma;}}_0}^2}}.$

由此可知，在两图像梯度比值可检测得到，且参数σ_k已知的情况下，可代入上式计算得到未知的原始图像的模糊参数σ₀值。

同样地，对于二维图像，其推导原理类似。首先对则原始图像的边缘i(x,y)和模糊图像的边缘i_bk(x,y)求导数，即分别为

$\&dtri;i(x,y)=\&dtri;((\mathrm{Au}(x,y)+B)\&CircleTimes;G(x,y,{\mathrm{\&sigma;}}_0));$

${\&dtri;i}_{\mathrm{bk}}(x,y)=\&dtri;(i(x,y)\&CircleTimes;G(x,y,{\mathrm{\&sigma;}}_k))=\&dtri;((\mathrm{Au}(x,y)+B)\&CircleTimes;G(x,y,{\mathrm{\&sigma;}}_0)\&CircleTimes;G(x,y,{\mathrm{\&sigma;}}_k));$

其中高斯函数 $G(x,y,\mathrm{\&sigma;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}{e}^{-(x^2+y^2)/2{\mathrm{\&sigma;}}^2},$ 代入上述两个求导数的表达式中。根据微积分理论，二元函数的导数为一阶偏导数的平方和开方，则

$\&dtri;i(x,y)=\sqrt{{{\&dtri;i}_x}^2(x,y)+{{\&dtri;i}_y}^2(x,y)},$

$R_{\mathrm{xy}}=\frac{\&dtri;i(x,y)}{{\&dtri;i}_{\mathrm{bk}}(x,y)}=\frac{\sqrt{{{\&dtri;i}_x}^2+{{\&dtri;i}_y}^2}}{\sqrt{{{\&dtri;i_{\mathrm{bk}}}_x}^2+{{\&dtri;i_{\mathrm{bk}}}_y}^2}}=\sqrt{\frac{{{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2}{{{\mathrm{\&sigma;}}_0}^2}}\exp (\mathrm{xy}\&CenterDot;f(x,y,{\mathrm{\&sigma;}}_0,{\mathrm{\&sigma;}}_k));$

其中，上式指数函数中指数部分包括一个因子xy，提出因子xy后的表达式部分用函数f(x,y,σ₀,σ_k)来表示。从上述梯度比值的表达式可得到，对于理论上二维坐标中x=0或y=0处的像素点的梯度比值最大，为而理论上二维坐标x=0或y=0的点对应于实际图像上的点即为图像边缘处的像素点。因此得到，如像素点处于边缘处，则成立关系式：梯度比值Rxy都等于

而基于图像的检测，像素点的原始图像和模糊图像的梯度比值Rxy可通过多种方法检测得到，因此检测得到边缘处各个像素点的梯度比值Rxy后，根据边缘处像素点成立 $\mathrm{Rxy}=\sqrt{\frac{{{\mathrm{\&sigma;}}_0}^2+{{\mathrm{\&sigma;}}_k}^2}{{{\mathrm{\&sigma;}}_0}^2}},$ 可得到 ${\mathrm{\&sigma;}}_0=\frac{1}{\sqrt{{\mathrm{Rxy}}^2-1}}{\mathrm{\&sigma;}}_k,$ 即对于边缘处每一像素点，对应N个高斯滤波参数，计算得到N个不同模糊参数估计值σ₀。具体而言，即对于第一个高斯滤波参数σ₁，计算得到第一个模糊参数估计值σ₀₁；对于第二个高斯滤波参数σ₂，计算得到第二个模糊参数估计值σ₀₂；……；依次类推，对于第N个高斯滤波参数σ_n，计算得到第N个模糊参数估计值σ_0N。

U4）使用统计学方法分析步骤U3）中边缘处各个像素点的N个模糊参数估计值，从而得到边缘处各个像素点的最优模糊参数估计值。

如上所述，经过前述三个步骤，对于边缘处各个像素点，均计算得到N个不同的模糊参数估计值σ₀，即得到N个模糊参数估计值样本点。本步骤即进行统计学分析，确定出最优估计值。统计学分析方法均可适用过来，典型的如矩估计方法、最大似然估计方法。本具体实施方式中，选取简单实用的直接求取平均值的方法。即最优模糊参数估计值σ'通过如下式子计算得到：

${\mathrm{\&sigma;}}^{\&prime;}=\frac{1}{N}({\mathrm{\&sigma;}}_{01}+{\mathrm{\&sigma;}}_{02}+...+{\mathrm{\&sigma;}}_{0N})$

U5）根据获取的边缘处各个像素点的最优模糊参数估计值，计算图像中边缘处各个像素点的深度值，从而得到稀疏深度图。

具体地，计算得到边缘处像素点的最优模糊参数估计值σ'后，由于图像像素点的模糊参数σ'和散焦成像时的弥散斑半径c存在着正比例关系，并且弥散斑半径c与物体深度d在摄像相机参数已知的情况下存在确定的计算公式，因此结合其存在的两个关系式即可求得每个边缘处像素点对应的深度值，从而获得只包含边缘深度的稀疏深度图。

求解计算边缘处像素点（x，y）的深度值dxy的两个关系式为：

$\left\{\begin{array}{c}{\mathrm{\&sigma;}}^{\&prime;}=\mathrm{Kc}\\ c=\frac{|\mathrm{dxy}-d_f|}{\mathrm{dxy}}\frac{f_0^2}{N(d_f-f_0)}\end{array}\right.$

其中，σ'为所述步骤4）得到的最优模糊参数估计值，c为弥散斑半径，K为比例关系常数，d_f为成像时聚焦平面与透镜的距离，f₀为相机的焦距，N为相机的光圈值。

U6）对步骤U5）获得的稀疏深度图做插值处理，获得致密深度图。

由于前述步骤获得的都是边缘像素点的深度信息，因而需要采用插值技术对非边缘区域对应的深度信息进行估计，从而获得完整的深度图。进行插值的过程中，需要保证最终获得的完整深度图在对应边缘区域的深度信息与原来的稀疏深度图的边缘深度信息一致。进行插值处理有多种实现方法，典型的如拉普拉斯（matting-Laplacian）插值技术。

经过如上6个步骤，即完成了图像深度提取方法，得到了全局深度图。上述步骤中，由于模糊参数估计值是通过采用多个高斯模糊尺度进行模糊处理，获取多个尺度下的边缘图像的模糊参数估计值，然后根据统计学方法从多个值中估计得到最优模糊参数估计值，即是得到精确度更高的模糊参数，从而确保后续计算得到边缘处各个像素点的深度值的精确度较高。

优选地，本具体实施方式中的图像深度提取方法中，在得到全局致密深度图之后，还包括步骤U7），对致密深度图进行优化处理，去除深度信息异值点。本具体实施方式中，引入立体匹配领域中的平面拟合技术来实现对全局深度图的优化和去噪处理，能够很好的校正误差较大的异值点。对于初始的致密深度图，可能存在误差较大的深度点，因此需要对距离拟合平面较远的深度点进行检测，并且设定一个阈值，如果该点到深度平面的距离大于等于预先设定阈值ε₁，则对该点的深度值进行修正。如果该点到深度平面的距离小于预先设定阈值ε₁，则该点的深度信息保持不变。

具体步骤包括：将原始图像进行分割处理，得到N1个分割区域，对于待优化的各个分割区域，在其对应的深度图区域中，进行如下处理，处理的流程图，如图2所示，包括以下步骤：

U71）随机选择三个像素点，计算三个像素点形成的平面方程。

该步骤中，根据任意三个点确定一个平面，即可得到三个点对应的平面的平面方程。

U72）计算该深度图区域内其他像素点到该平面的距离，对于距离小于设定阈值的点定为内点，距离大于设定阈值的点定为外点，并统计该平面对应的内点个数。

具体地，平面的表达式为d=ax+by+c，则计算得到点到平面的距离D_err的表达式为：其中，d为像素点（x,y）对应的深度值，(a,b,c)即为平面方程系数。因此内点是满足以下条件的像素点：反之则为外点。其中，ε₁为预先设定的阈值。

U73）重复步骤U71）-U72）多次，统计多个平面对应的内点个数。

也即多次随机选择三个点，确定三个点对应的平面方程，统计其对应的内点个数。优选地，重复次数不超过

U74）取内点个数最多的平面为拟合平面，如像素点为该拟合平面的内点，则深度值保持不变；如像素点为该拟合平面的外点，则深度值取修正后的深度值。

此步骤中，从前述确定的多个平面中，选择对应内点个数最多的一个平面作为拟合平面。对应该拟合平面，内点的深度值信息保持不变，外点即为异值点，需要对其深度值进行修正。本具体实施方式中，直接取点到平面的距离来替代深度值进行修正。此处的a、b、c为拟合平面的平面方程的系数，d为待修正的外点（x，y）的深度值。

如上所述，根据步骤U71）-U74），即根据分割区域信息，针对每一个区域做平面拟合，估计得到各区域的拟合平面。对明显异于拟合平面的深度值做替代优化处理，能够很好的校正误差较大的异值点，从而使得最终优化后获得的深度信息更加可靠，深度图平面更加平滑。

进一步优选地，本具体实施方式中的图像深度提取方法中，在经过步骤7）对致密深度图进行优化处理后，还包括步骤U8），对步骤U7）优化处理后的深度图进行中值滤波处理。选择中值滤波的滤波窗口大小为15×15。中值滤波的基本思想是用像素点邻域灰度值的中值来代替该点的灰度值。中值滤波处理是较为成熟的技术，在此不重点说明。使用中值滤波法来进一步提炼精细化处理深度图主要有两大优点：一是能够有效地填充在弱纹理区域由于信噪比较低造成的误匹配点；二是可以滤除由误匹配造成的视差孤立点。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims (8)

1.一种图像深度提取方法，其特征在于：包括以下步骤：

1)对待处理的原始图像进行高斯模糊处理，选用N个不同的高斯滤波参数，得到N幅模糊图像；N≥2；

2)检测原始图像和N幅模糊图像的边缘，获得各图像的边缘图像；其中，基于阶跃型边缘模型和高斯函数建立模型，检测得到图像的边缘：原始图像的边缘i(x,y)为其中，(x，y)为图像中像素点的二维坐标，A、B分别为阶跃型边缘模型的参数，u(x,y)为阶跃函数，G(x,y,σ₀)为高斯函数，σ₀为原始图像的模糊参数；第k幅模糊图像的边缘i_bk(x,y)为其中，k＝1…N，σ_k为所述步骤1)中选取的高斯滤波参数；

3)基于步骤2)获得的边缘图像，计算边缘处各个像素点在各个高斯滤波参数下对应的模糊参数估计值；

4)使用统计学方法分析步骤3)中边缘处各个像素点的N个模糊参数估计值，从而得到边缘处各个像素点的最优模糊参数估计值；

5)根据获取的边缘处各个像素点的最优模糊参数估计值，计算图像中边缘处各个像素点的深度值，从而得到稀疏深度图；

6)对步骤5)获得的稀疏深度图做插值处理，获得致密深度图。

2.根据权利要求1所述的图像深度提取方法，其特征在于：所述步骤3)中基于边缘图像计算得到边缘处像素点(x，y)的原始图像和模糊图像的梯度比值Rxy，然后根据如下公式计算得到边缘处像素点(x，y)在各个参数下对应的模糊参数估计值 ${\mathrm{\&sigma;}}_{0k}=\frac{1}{\sqrt{\mathrm{Rx}{y}^2-1}}{\mathrm{\&sigma;}}_k.$

3.根据权利要求1所述的图像深度提取方法，其特征在于：所述步骤4)中统计学的方法为矩估计方法、最大似然估计方法或者直接取平均值的方法。

4.根据权利要求1所述的图像深度提取方法，其特征在于：还包括步骤7)，对步骤6)获得的致密深度图进行优化处理，去除深度信息异值点。

5.根据权利要求4所述的图像深度提取方法，其特征在于：所述步骤7)包括：将原始图像进行分割处理，得到N1个分割区域，对于待优化的各个分割区域，在其对应的深度图区域中，进行如下处理：71)随机选择三个像素点，计算三个像素点形成的平面方程；72)计算该深度图区域内其他像素点到该平面的距离，对于距离小于设定阈值的点定为内点，距离大于等于设定阈值的点定为外点，并统计该平面对应的内点个数；73)重复步骤71)-72)多次，统计多个平面对应的内点个数；74)取内点个数最多的平面为拟合平面，则该深度图区域中，如像素点为该拟合平面的内点，则深度值保持不变；如像素点为该拟合平面的外点，则深度值取修正后的深度值。

6.根据权利要求5所述的图像深度提取方法，其特征在于：所述步骤74)中，外点修正后的深度值为其中，a、b、c为拟合平面的平面方程的系数，d为待修正的外点(x，y)的深度值。

7.根据权利要求5所述的图像深度提取方法，其特征在于：所述步骤73)中重复次数不超过

8.根据权利要求4所述的图像深度提取方法，其特征在于：还包括步骤8)，对步骤7)优化处理后的深度图进行中值滤波处理。