CN103854257A - 一种基于自适应三边滤波的深度图像增强方法 - Google Patents

Abstract

本发明公开了一种基于自适应三边滤波的深度图像增强方法，属于图像技术领域。本发明根据深度图像的特征，自适应选用不同的滤波模型，并应用到深度图像增强中。本发明方法步骤包括：(1)输入低分辨率深度图像和高分辨率彩色图像I；(2)通过双线性插值上采样低分辨率深度图像到I的分辨率；(3)基于初始深度图像，在每个视差层上计算初始代价；(4)计算初始深度图像中每个像点对应的二进制权系数；(5)在每个视差层上，对初始代价进行自适应三边滤波；(6)在WTA框架下，求滤波后代价最小对应的视差，作为增强后的深度图像输出。本发明能够达到提高深度图像的分辨率、去除噪声，同时保持边缘的目的，使得深度图像精确度更高。

Description

一种基于自适应三边滤波的深度图像增强方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于自适应三边滤波的深度图像增强方法。背景技术

深度是反映3D场景中物体Z坐标值的数据。高质量的深度数据是3D计算机视觉研究领域中的核心问题之一，可被广泛应用于基于图像绘制、3DTV、3D对象建模、机器人视觉、对象跟踪等。例如：在一个3DTV系统中，2D的视频和对应的深度视频数据通过通信网络一起传输，用户在接收端可以选择2D+深度的观看模式，从而可以恢复3D视频，因此在3DTV系统中提供和2D视频对应的高质量深度视频数据是必须的。而获得高精确度和高分辨率的深度数据是困难的问题。

现有的深度测量方法，主要可以分为两种：一是主动方法，激光深度扫描仪可以提供高精度的深度图像，但只适合一些特定的应用场合，如静态环境；最近深度传感器如Time ofFlight(TOF)摄像机被广泛应用到研究和实际场合，TOF传感器是通过抽取收到的光脉冲的相位信息来估计物体和传感器之间的距离，以视频速度提供2D深度图，因此可以应用到动态环境，但是由于深度传感器内在的物理限制，获取的深度图分辨率低、噪声大；二是被动方法，也就是通过不同视角拍摄的图像计算3D场景的深度数据，被称为立体匹配问题。通过代价积聚或全局优化技术，人们提出了大量的立体匹配算法，并且可以结合图形处理单元(Graphics Processing Unit)以实时的速度提供深度图。但由于光线变化、遮挡、复杂度高等因素，立体匹配算法还不能满足实际应用的要求。深度图像增强的目的是为了提高主动或被动技术获得的深度数据质量，主要表现为提高深度图像的分辨率和降低噪声。

深度图像增强方法主要有两大类，一是基于MRF的全局方法，二是基于滤波的局部方法。基于滤波的方法因为易于实现和计算的有效性而得到广泛应用。传统的基于滤波的深度图像增强方法，一般是利用高分辨率的彩色图像指导深度图像上采样过程，这容易在深度平滑的区域把彩色图像的纹理信息复制到深度图像中，或在深度图像和彩色图像不一致的区域带来误差，从而造成上采样后的深度图像在连续区域的不平滑或边缘处的模糊。

发明内容

针对现有的基于滤波方法进行深度图像增强时容易出现的纹理复制和边缘模糊问题，本发明提供一种基于自适应三边滤波的深度图像增强方法，能够达到去除噪声的同时保持边缘的目的。为了实现本发明目的，本发明提供的技术方案如下：

Step1：对于低分辨率的深度图像进行双线性插值，上采样为和高分辨率彩色图像相同分辨率的图像；

Step2：基于上采样后初始深度图像计算3D代价，即在每个视差层上计算代价；

Step3：在每个视差层上，对代价进行自适应三边滤波。

Step4：在WTA框架下，基于滤波后的3D代价选择代价最小的视差作为最后的输出。

所述的3D代价的计算，选择截取的绝对差模型作为代价函数，该模型可以允许初始视差错误，具体表达式如下：

C(p，d)＝min(|d-D_p|，η)

其中，D_p为像点p的初始视差值，η是预定义的参数，C(p，d)即为像点p在视差层d上的代价。

所述的自适应三边滤波模型定义如下：

1)空间滤波核为：

W_S＝exp(-|p-q|/2σ_S)

2)范围滤波核为：

W_C＝α·exp(-|I_p-I_q|/2σ_C)+(1-α)·exp(-|I_p-I_q|/2σ_C)·exp(-|D_p-D_q|/2σ_J)

其中，σ_S、σ_C和σ_J为高斯方差，α为二进制加权系数，它的表示形式如下：

$\left\{\begin{array}{cc}\mathrm{\&alpha;}=1,& (\underset{q\&Element;N\left(p\right)}{\max }{D}_q-\underset{q\&Element;N\left(p\right)}{\min }{D}_q)\&GreaterEqual;\mathrm{\&beta;}\\ \mathrm{\&alpha;}=0,& (\underset{q\&Element;N\left(p\right)}{\max }{D}_q-\underset{q\&Element;N\left(p\right)}{\min }{D}_q)<\mathrm{\&beta;}\end{array}\right.$

其中，β为预定义的阈值，N(p)是像点p的邻域窗口。为了区分孤立的噪声点和实际的边缘，判断差值的计算是在对初始深度图像进行3×3高斯滤波后进行的。

所述的利用自适应三边滤波对3D代价滤波，计算公式如下：

$\tilde{C}(p,d)=1/K_p\&CenterDot;\underset{q\&Element;N\left(p\right)}{\mathrm{\&Sigma;}}{W}_S{W}_{C}C(q,d)$

其中，K_p为归一化系数。

所述的在WTA框架下求视差输出，表示如下：

$J_p=\underset{d\&Element;\mathrm{NumD}}{\min }\tilde{C}(p,d)$

其中，NumD为视差搜索范围，J_p是最后输出的视差。

上述技术方案可以看出，和传统基于滤波的方法不同，本发明不是直接对初始深度图像进行滤波，而是首先基于初始深度图像建立代价，然后对代价进行自适应滤波，提高了视差精度。同时，设计了自适应三边滤波模型，对于深度平滑和边缘区域，采用不同的滤波模型。通过局部窗口内最大和最小视差的差值和阈值比较来判断平滑和边缘区域。对于平滑区域，范围滤波核基于彩色图像颜色差和深度图像深度差，滤波模型演变为三边滤波，减少了传统双边滤波中的纹理复制和边缘模糊现象；对于边缘区域，范围滤波核仅基于彩色图像颜色差，滤波模型演变为双边滤波，基于彩色图像和深度图像的边缘区域一致性的假设，利用彩色图像对深度图像增强进行指导，可使滤波时不跨越深度边缘，从而保持边缘细节。

附图说明

为了更清楚地说明本发明实施例或现有技术的技术方案，下面对实施例或现有技术描述中需要给出的附图做简单介绍，下面描述的附图仅仅是本发明的一些实施例。

图1是本发明实例实现方法的流程图。

图2(a)～图2(d)为本发明实例经过双线性插值后得到的初始深度图像。

图3(a)～图3(d)为本发明实例上采样8×8倍的效果图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例的技术方案进行详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部实施例。

滤波是重要的图像处理工具，为了保持边缘细节，一般需要设计非线性滤波模型。在深度增强中，广泛采用双边滤波和改进的双边滤波方法，彩色图像可对低分辨率深度图像增强过程指导，从而在去噪的同时保持深度边缘信息。本发明设计自适应三边滤波模型，并基于该模型实现深度增强。在不同的图像特征区域，自适应选用滤波模型，避免了传统双边滤波方法带来的纹理复制问题，提高了深度边缘的准确性。

图1是本发明实例实现方法的流程图。

如图1所示，本发明的具体实施步骤如下。

(1)输入低分辨率的深度图像和高分辨率的彩色图像I，I的分辨率为m×n。

(2)低分辨率的深度图像通过双线性插值上采样到m×n分辨率，得到初始深度图像。

(3)基于初始深度图像，在每个视差层上计算初始代价，计算公式如下：

C(p，d)＝min(|d-D_p|，η)

其中，D_p为像点p的初始视差值，η是预定义的参数，C(p，d)即为像点p在视差层d下的代价。

(4)对初始深度图像进行3×3高斯滤波，以每个像点建立局部窗口，判断窗口内深度最大值和最小值之差，通过和阈值比较，求每个像点对应的二进制权系数α。计算公式表示如下：

$\left\{\begin{array}{cc}\mathrm{\&alpha;}=1,& (\underset{q\&Element;N\left(p\right)}{\max }{D}_q-\underset{q\&Element;N\left(p\right)}{\min }{D}_q)\&GreaterEqual;\mathrm{\&beta;}\\ \mathrm{\&alpha;}=0,& (\underset{q\&Element;N\left(p\right)}{\max }{D}_q-\underset{q\&Element;N\left(p\right)}{\min }{D}_q)<\mathrm{\&beta;}\end{array}\right.$

其中，β为预定义的阈值，N(p)是像点p的邻域窗口。

(5)在每个视差层上，对初始代价进行自适应三边滤波，计算公式表示如下：

$\tilde{C}(p,d)=1/K_p\&CenterDot;\underset{q\&Element;N\left(p\right)}{\mathrm{\&Sigma;}}{W}_S{W}_{C}C(q,d)$

其中，K_p为归一化系数，W_S为空间滤波核，W_C为范围滤波核。W_S和W_C在像点p处的计算公式如下：

W_S＝exp(-|p-q|/2σ_S)

W_C＝α·exp(-|I_p-I_q|/2σ_C)+(1-α)·exp(-|I_p-I_q|/2σ_C)·exp(-|D_p-D_q|/2σ_J)

其中，σ_S、σ_C和σ_J为高斯方差。

(6)在WTA框架下，求滤波后代价最小对应的视差，作为增强后的深度图像的输出J，在像点p处的计算公式如下：

$J_p=\underset{d\&Element;\mathrm{NumD}}{\min }\tilde{C}(p,d)$

其中，NumD为视差搜索范围。

图2(a)～图2(d)是本发明实例输入的低分辨率深度图像经过双线性插值后得到的初始深度图像，由图可见，初始深度图像中边缘模糊、含有噪声，效果不理想，需要进行后续增强处理。

图3(a)～图3(d)是本发明实例上采样8×8倍的效果图。从图中看到，对于含噪的低分辨率深度图像，本发明的技术方案可以提高分辨率、去除噪声，同时保持深度图像的边缘信息。

综上所述，从本发明的技术方案可以看出，相比较传统双边滤波方法，本发明没有直接对初始深度图像进行滤波，而是构建3D代价，对代价进行滤波，从而大大提高深度图像的精度，避免了深度图像边缘模糊的问题。同时，在对代价滤波时，可以根据深度图像的特征自适应选择滤波模型，在平滑区域和边缘区域，选用不同的滤波模型，有效地避免了单纯双边滤波或三边滤波带来的纹理复制问题。对于含噪的深度图像，本发明的技术方案可以更有效地完成去噪和边缘保持的任务，获得精确度更高的深度图像。

以上对本发明实例所提供的一种基于自适应三边滤波的深度图像增强方法，进行了详细地介绍，本文中应用了具体实例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (5)

1.一种基于自适应三边滤波的深度图像增强方法，其技术特征在于：

(1)输入低分辨率的深度图像和高分辨率的彩色图像I，I的分辨率为m×n；

(2)低分辨率的深度图像通过双线性插值上采样到m×n分辨率，得到初始深度图像；

(3)基于初始深度图像，在每个视差层上计算初始代价；

(4)对初始深度图像进行高斯滤波，计算每个像点对应的二进制权系数α；

(5)在每个视差层上，对初始代价进行自适应三边滤波；

(6)在WTA框架下，求滤波后代价最小对应的视差，作为增强后的深度图像输出。

2.根据权利要求1所述的基于自适应三边滤波的深度图像增强方法，其特征在于：

所述的3D代价的计算，选择截取的绝对差模型作为代价函数，计算公式如下：

C(p，d)＝min(|d-D_p|，η)

其中，D_p为像点p的初始视差值，η是预定义的参数，C(p，d)即为像点p在视差层d上的代价。

3.根据权利要求1所述的基于自适应三边滤波的深度图像增强方法，其特征在于：

所述的基于初始深度图像计算二进制权系数α，计算公式如下：

$\left\{\begin{array}{cc}\mathrm{\&alpha;}=1,& (\underset{q\&Element;N\left(p\right)}{\max }{D}_q-\underset{q\&Element;N\left(p\right)}{\min }{D}_q)\&GreaterEqual;\mathrm{\&beta;}\\ \mathrm{\&alpha;}=0,& (\underset{q\&Element;N\left(p\right)}{\max }{D}_q-\underset{q\&Element;N\left(p\right)}{\min }{D}_q)<\mathrm{\&beta;}\end{array}\right.$

其中，β为预定义的阈值，N(p)是像点p的邻域窗口。

4.根据权利要求1所述的基于自适应三边滤波的深度图像增强方法，其特征在于：

所述的自适应三边滤波模型，根据二进制加权系数自适应选择范围滤波核，具体表示形式如下：

空间滤波核W_S＝exp(-|p-q|/2σ_S)

范围滤波核W_C＝α·exp(-|I_p-I_q|/2σ_C)+(1-α)·exp(-|I_p-I_q|/2σ_C)·exp(-|D_p-D_q|/2σ_J)

其中，σ_S、σ_C和σ_J为高斯方差，α为二进制加权系数。

5.根据权利要求1所述的基于自适应三边滤波的深度图像增强方法，其特征在于：

所述的在每个视差层上，基于自适应三边滤波模型对初始代价滤波，计算公式如下：

$\tilde{C}(p,d)=1/K_p\&CenterDot;\underset{q\&Element;N\left(p\right)}{\mathrm{\&Sigma;}}{W}_S{W}_{C}C(q,d)$

其中，K_p为归一化系数。

Images