CN103700071B - 一种深度图上采样边缘增强方法 - Google Patents

Abstract

本发明提出了一种基于局部像素统计特性的深度图上采样边缘增强方法，包括：对低分辨率的深度图进行上采样得到高分辨率的深度图；对低分辨率和高分辨率的深度图分别进行直方图统计，得出每个像素值对应的像素点个数，对比分析得到高分辨率图中新增的像素值，利用低、高分辨率直方图统计结果对这些新增像素值进行校正。本发明使得上采样之后的深度图边缘的模糊、锯齿现象得到一定的改善，从而得到更清晰的高分辨率深度图。

Description

一种深度图上采样边缘增强方法

技术领域

本发明涉及图像处理技术，具体涉及一种深度图上采样边缘增强方法。

背景技术

3D视频(3D video)与传统的2D视频相比，因为蕴含了景物的深度信息，能够产生视觉立体感受，使观众获得更好的真实感、临场感与沉浸感的特点成为多媒体领域发展的一个重要趋势。而深度相机由于能够实时的获取动态深度图像信息而成为目前常用的技术手段。尽管它使用方便且通常能提供较好的效果，但由于噪声干扰和技术限制，采集得到的都是小尺寸低分辨率的深度图。

随着现在多媒体设备分辨率的提高，低分辨率显然已经不能满足需求，因此，研究者们提出了一系列提高深度图分辨率的方法。深度上采样方法可分为两类：独立深度上采样和联合纹理/深度上采样。独立深度上采样是只利用深度自身的信息进行上采样，比如双线性插值、双三次插值利用了周围像素的距离信息以及相似性，虽然方法简单，复杂度低，但往往会带来边缘模糊或者锯齿线性。联合纹理/深度上采样同时利用了深度和对应纹理的相关性，比如联合双边上采样滤波器(Joint Bilateral Upsampling,JBU)对保留物体边缘有效果，然而在深度图重构中，由于深度边缘与纹理边缘不一致，往往容易造成纹理拷贝的现象。因此，边缘轮廓质量的提升成为了深度图上采样的一个难题。

发明内容

针对现有技术的不足,本发明的目的在于提供一种深度图上采样边缘增强方法，利用低分辨率与高分辨率深度图应该具有相同的像素统计特性的性质，并用直方图来进行统计表示，对上采样之后深度图的模糊边缘地带进行增强和校正，从而获得最佳的增强效果。

本发明是通过以下技术方案实现的：

一种深度图上采样边缘增强方法，包括以下步骤：

（1）对低分辨率的深度图D进行上采样得到高分辨的深度图H；

（2）对低分辨率的深度图D和高分辨率的深度图H分别进行像素统计出对应于每个像素值的像素点个数，并用直方图进行表示；

（3）将得到的低分辨率统计直方图D_h与高分辨率统计直方图H_h进行对比分析，判断出新增的像素值P(i,j)；

（4）利用统计出的低分辨率直方图统计结果对这些新增像素值P(i,j)进行校正：

（4-1）对低分辨率深度图进行边缘提取，并根据低分辨率直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值P_lmax、P_rmax；

（4-2）将提取的低分辨率的边缘图像进行上采样，得到高分辨的精细边缘，并定位边缘的两侧；

（4-3）检测高分辨率深度图边缘地带的新增像素值所在的位置P_loc(i,j)，按下述公式进行校正，直到边缘地带的新增像素值全部处理完为止：

$P(i,j)=\left\{\begin{array}{c}{P}_{l\max },\mathrm{if}{P}_{\mathrm{loc}}(i,j)\∈{\mathrm{\Ω}}_1\\ P_{r\max },\mathrm{if}{P}_{\mathrm{loc}}(i,j)\∈{\mathrm{\Ω}}_2\end{array}\right.$

其中，Ω₁为边缘左侧区域，Ω₂为边缘右侧区域。

与传统深度图上采样的方法相比，本发明具有以下的优点和技术效果：

1、本发明充分考虑了低分辨率深度图与高分辨率深度图的统计特征的一致性；

2、本发明是在传统的上采样结果的基础上再进行图像边缘的增强，因此对于任何上采样方法，都可以适用。

附图说明

参照下面的说明，结合附图，可以对本发明有最佳的理解。在附图中，相同的部分可由相同的标号表示。

图1是本发明基于局部像素统计特性的深度图上采样边缘增强方法的流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及示例性实施例，对本发明进行进一步详细说明。应当理解，此处所描述的示例性实施例仅用以解释本发明，并不用于限定本发明的适用范围。

以下首先对本发明的技术术语进行解释和说明：

深度（深度图）：视频编码技术中的一个基本概念。深度反映的是空间物体表现到成像平面的几何距离。而深度图就是来记录视点下各个像素点的深度的灰度图。

下面结合附图对本发明的技术方案作进一步的描述。

如图1所示，本发明基于局像素统计特性的深度图上采样边缘增强方法包括以下步骤：

（1）对低分辨率深度图D用上采样方法（如双线性插值法，Bilinear Interpolation）进行上采样得到高分辨率的深度图H；在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在x和y两个方向分别进行一次线性插值。根据(u₀,v₀)点的四个相邻点的灰度值，插值计算出f(u₀,v₀)值。即根据f(u,v)、f(u+1,v)、f(u,v+1)、f(u+1,v+1)四个整数点的灰度值做两次线性插值（即双线性插值）而得到。上述f(u₀,v₀)插值计算方程可改写为：

f(u₀,v₀)＝[f(u+1,v)-f(u,v)]α+[f(u,v+1)-f(u,v)]β+

[f(u+1,v+1)+f(u,v)-f(u,v+1)-f(u+1,v)]αβ+f(u,v)

其中，α、β为插值系数。此方法考虑了(u₀,v₀)点的直接邻点对它的影响，因此一般可以得到令人满意的插值效果。但这种方法具有低通滤波性质，使高频分量受到损失，图像的轮廓变得模糊。

（2）对低分辨率和高分辨率的深度图分别进行边缘像素统计，统计的内容包括对应于每个像素值的像素点个数。由于本发明中处理的区域是边缘地带，统计的直方图整体呈双峰状。

（3）将得到的低分辨率统计直方图D_h与高分辨率统计直方图H_h进行对比分析，判断出新增的像素值P(i,j)。因为高分辨率的深度图中存在插值操作，因此其中肯定存在一些低分辨率深度图中没有的像素值，即新增的像素值。边缘模糊是由于插值导致边缘界限不尖锐，进而造成视觉上的模糊，因而这些新增像素值被视为造成边缘模糊的原因。

（4）利用统计出的低分辨率直方图统计结果对这些新增像素值进行校正：

（4-1）用边缘提取方法(如canny算子)对低分辨率深度图进行边缘提取，并根据直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值P_lmax、P_rmax，其中P_lmax是边缘左侧出现频率最高的像素值，P_rmax是边缘右侧出现频率最高的像素值。图象的边缘是指图象局部区域亮度变化显著的部分，既从一个灰度值在很小的缓冲区域内急剧变化到另一个灰度相差较大的灰度值。边缘检测主要是图象的灰度变化的度量、检测和定位，Canny算法通常处理的图像为灰度图，关于图像灰度值得梯度可使用一阶有限差分来进行近似，这样就可以得图像在x和y方向上偏导数的两个矩阵，Canny算子梯度算子为：

$s_x=\left[\begin{array}{cc}-1& 1\\ -1& 1\end{array}\right],s_y=\left[\begin{array}{cc}1& 1\\ -1& -1\end{array}\right]$

其x向、y向的一阶偏导数矩阵，梯度幅值以及梯度方向的数学表达式为：

P[i,j]＝(f[i,j+1]-f[i,j]+f[i+1,j+1]-f[i+1,j])/2

Q[i,j]＝(f[i,j]-f[i+1,j]+f[i,j+1]-f[i+1,j+1])/2

$M[i,j]=\sqrt{P{[i,j]}^2+Q{[i,j]}^2}$

θ[i,j]＝arctan(Q[i,j]/P[i,j])

（4-2）将提取的低分辨率的边缘图像用上采样方法（如双线性插值法，Bilinear Interpolation）进行插值处理，得到高分辨的精细边缘，并定位边缘的两侧（边缘可以任意归为一侧），比如左侧区域定义为Ω₁，右侧则定义为Ω₂；

（4-3）检测高分辨率深度图边缘地带的新增像素值所在的位置P _loc(i,j)，按下述公式进行校正，直到边缘地带的新增像素值全部处理完为止：

$P(i,j)=\left\{\begin{array}{c}{P}_{l\max },\mathrm{if}{P}_{\mathrm{loc}}(i,j)\∈{\mathrm{\Ω}}_1\\ P_{r\max },\mathrm{if}{P}_{\mathrm{loc}}(i,j)\∈{\mathrm{\Ω}}_2\end{array}\right..$

综上，传统的双线性插值可以很快速的得到上采样的结果，但是边缘明显的由于插值变得模糊，而本发明着重提升了边缘地带的主观质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于局部像素统计特性的深度图上采样边缘增强方法，包括以下步骤：

(1)对低分辨率的深度图D进行上采样得到高分辨率的深度图H；

(2)对低分辨率的深度图D和高分辨率的深度图H分别进行像素统计，统计出对应于每个像素值的像素点个数，并用直方图进行表示；

(3)将得到的低分辨率统计直方图D_h与高分辨率统计直方图H_h进行对比分析，判断出新增的像素值P(i,j)；

(4)利用统计出的低分辨率直方图统计结果对这些新增像素值P(i,j)进行校正：

(4-1)对低分辨率深度图进行边缘提取，并根据低分辨率直方图统计的结果分别求出边缘两侧一定区域内出现频率最高的像素值P_lmax、P_rmax，其中P_lmax是边缘左侧出现频率最高的像素值，P_rmax是边缘右侧出现频率最高的像素值；

(4-2)将提取的低分辨率的边缘图像进行上采样，得到高分辨率的精细边缘，并定位边缘的两侧；

(4-3)检测高分辨率深度图边缘地带的新增像素值所在的位置P_loc(i,j)，按下述公式进行校正，直到边缘地带的新增像素值全部处理完为止：

$P(i,j)=\left\{\begin{array}{cc}{P}_{l\max },& if{P}_{loc}(i,j)\∈{\mathrm{\Ω}}_1\\ P_{r\max },& if{P}_{loc}(i,j)\∈{\mathrm{\Ω}}_2\end{array}\right.$

其中，Ω₁为边缘的左侧区域，Ω₂为边缘的右侧区域。

2.根据权利要求1所述的方法，其中，所述上采样方法采用双线性插值法。