CN106651938A - 一种融合高分辨率彩色图像的深度图增强方法 - Google Patents

Abstract

本发明提出了一种融合高分辨率彩色图像的深度图增强方法，首先通过邻域差分法求取邻域内像素点的最大深度差值，将低分辨率深度图像划分为边缘区域和非边缘区域，并利用局部邻域方差将非边缘区域进行二次划分，分别采用均值插值法和立体卷积插值法获取待插值点对应映射点的深度值，然后以高分辨率彩色图像为参考图，基于双边滤波原理将低分辨率深度图上采样到高分辨率图像，获取各像素点对应映射点的深度值，最后将插值处理完成的深度增强图像输出。本发明不仅能有效地去除噪声干扰，缩短深度增强算法的复杂度，而且可以保持图像边缘信息的完整性。

Description

一种融合高分辨率彩色图像的深度图增强方法

技术领域

本发明属于图像处理技术领域，涉及深度图像增强方法，特指一种融合高分辨率彩色图像的深度图增强方法。

背景技术

深度图像是一种用来描述三维场景几何信息的图像，图像中的每一个像素点都表示三维场景中某点到成像平面的距离。随着计算机视觉技术的发展，深度信息估计技术也逐渐发展成为计算机视觉领域的研究热点之一，被广泛地应用于导航系统分析、立体视频生成、虚拟现实等系统中。

目前对深度信息估计的方法主要分为两类：主动光方法和被动光方法。

主动光方法是一种利用特殊测距设备如TOF摄像头、微软的Kinect、三维激光扫描仪等设备直接获取三维场景深度信息的方法，该方法具有较高的精确性和实时性，但主动光方法存在设备价格昂贵、易受噪声影响、分辨率低的缺陷。

被动光方法则无需添置额外设备，而是利用现有的图像采集设备直接获取彩色图像或视频，并从这些图像或视频帧中恢复出深度图，这种方法对视差估计精度要求较高，需要计算各坐标系的变换矩阵和摄像机内外参数，如双目立体匹配，存在较多的约束条件和高时间复杂度问题。

主动光方法因其获取深度图像具有实时性，因此越来越受人们的关注，逐步发展成为深度图获取的主流方式之一，并针对主动光设备获取的深度图提出了许多后处理方法来提高原深度图质量，达到降低噪声影响、提高深度图分辨率的目的。

深度图分辨率的提升是根据已知采样点的低分辨率深度值估计未知采样点的深度值，从有限离散采样点的深度图中恢复出更加连续的深度图像。经典插值方法是根据低分辨率图像本身的信息采用加权方法来确定待插值像素的深度值，这类经典的方法仅仅依靠深度图像本身的冗余信息，插值效果受到限制。

目前对于深度图像增强方法已有不少的研究，主要分为两类：基于全局优化的插值方法和基于双边的插值方法。基于全局优化的插值方法不仅从整体上考虑了深度图像的全局代价，而且考虑了局部平滑因素，能获得高质量的深度图像，主要代表方法有基于最小二乘优化的插值方法、基于马尔科夫随机场的深度图像插值方法、自回归优化方法等，但此类方法计算量大，时间复杂度高，耗时较长。基于双边滤波的插值方法具有低复杂度的性质，更适用于实时性较强的深度图像增强方法，但直接基于双边滤波插值方法可以有效地实现空洞填补，对深度图的分辨率增强并无明显改善，因此研究人员提出了许多改进方法，主要有针对边缘扩散问题的自适应融合颜色相似项与原始深度相似项的插值方法，基于梯度域的彩色图像滤波方法对边缘进行平滑约束等。

发明内容

针对主动光设备获取的深度图像存在分辨率低、易受噪声影响等缺陷，本发明其目的在于提出一种融合高分辨率彩色图像的深度图增强方法。

本发明的技术方案是：

一种融合高分辨率彩色图像的深度图增强方法，包括以下步骤：

S1对低分辨率的深度图像利用邻域差分法求取邻域内像素点的最大深度差值，设定阈值对深度图像进行区域划分，将深度图像划分为边缘区域和非边缘区域。

首先选定一个5*5的邻域窗口Ω，以待判定的像素点P_ij为邻域窗口中心像素点，通过取最大值函数max和取最小值函数min求得深度图像邻域窗口Ω内所有像素点的最大深度差值(max(Ω)-min(Ω))，设定阈值T，比较该邻域的最大深度差值与阈值的大小，若最大深度差值大于阈值T，则判断该邻域区域为边缘区域；否则，该邻域区域为非边缘区域。

S2对S1中低分辨率深度图像的非边缘区域基于局部邻域方差进行二次划分，初始化一个4*4的邻域窗口，以待插值点为中心，计算待插值点的直接相邻像素点深度值的期望和方差，根据深度方差将非边缘区域再次划分为深度值变化平坦区和纹理复杂区；

将S1中所有判定为低分辨率深度图像的非边缘区域的像素点标记为S1区域，判定为低分辨率深度图像的边缘区域的像素点标记为S2区域；基于局部邻域方差的立体卷积插值方法对S1区域的像素点进行插值，先在S1区域初始化一个像素点为待插值点，由(1)式计算待插值点在原图像(即低分辨率深度图像)中对应的四个直接与之相邻像素点的平均值E，由(2)式计算待插值点的直接相邻像素点深度值方差Var。

Var＝(E-D(i-1,j))²+(E-D(i+1,j))²+(E-D(i,j-1))²+(E-D(i,j+1))² (2)

设定阈值，当待插值点的直接相邻像素点深度值方差小于设定阈值时，表明该点所处的四邻域区域比较平坦，深度值变化不大，为深度值变化平坦区；当待插值点的直接相邻像素点深度值方差大于设定阈值时，表明该点的四邻域区域纹理细节较丰富，为纹理复杂区。

S3对S2得到的深度值变化平坦区进行插值增强，以四个直接相邻像素点的深度平均值作为待插值点对应映射点的深度值即D(i+μ,j+υ)＝E，对纹理复杂区利用4*4邻域的立体卷积插值法求得待插值点对应映射点的深度值；

利用立体卷积插值法既考虑四个直接相邻像素点的深度值影响，也考虑到4*4邻域内其他像素点间深度值变化率的影响，通过待插值点邻域内的16个已知像素点深度值估计映射点深度值。设待插值点(i,j)的深度值为D(i,j)，对应的映射点为(i+μ,j+υ)，映射点的深度值表示为D(i+μ,j+υ)，其中插值基函数S(x)的表达式如式(3)所示，x为自变量。

则利用立体卷积插值法计算映射点的深度值D(i+μ,j+υ)的公式如下：

S4对低分辨率深度图像的边缘区域基于联合双边滤波方法进行插值处理，以同一场景下的高分辨率彩色图像作为参考图，基于双边滤波原理将低分辨率深度图上采样到高分辨率图像，计算边缘区域内各像素点对应映射点的深度值，并将插值处理完成的深度增强图像输出。

设点m、n为同一场景下的高分辨率图像上的两个像素点，m'、n'是低分辨率深度图像上与高分辨率图像上m、n对应位置的像素点，I_m、I_n表示高分辨率图像在m、n点处的灰度值，权重函数通常以高斯函数作为核函数，其中δ_s、δ_r分别为空域距离核函数和颜色相似核函数的标准差，则空域距离核函数H_s(m',n')和灰度相似核函数H_r(I_m,I_n)的表达式如(5)式所示：

上采样高分辨图像与高分辨率彩色图像具有边缘一致性，以w为双边滤波窗口，将低分辨率深度图像边缘区域即S2区域上的所有像素点上采样到高分辨率计算公式如下：

其中D_n'表示低分辨率深度图上的像素点n'对应的深度值，D_m表示上采样高分辨率图像上各像素点对应的深度值。根据(6)式计算得到原低分辨率深度图像边缘区域内各像素点对应映射点的深度值，最后将低分辨率深度图像插值处理完成之后的深度增强图像输出。

本发明提出了一种融合高分辨率彩色图像的深度图增强方法，不仅能有效地去除噪声干扰，缩短深度增强算法的复杂度，而且可以保持图像边缘信息的完整性。通过邻域差分法求取邻域内像素点的最大深度差值，将低分辨率深度图像划分为边缘区域和非边缘区域，并利用局部邻域方差将非边缘区域进行二次划分，分别采用均值插值法和立体卷积插值法获取待插值点对应映射点的深度值，然后以高分辨率彩色图像为参考图，基于双边滤波原理将低分辨率深度图上采样到高分辨率图像，获取各像素点对应映射点的深度值，最后将插值处理完成的深度增强图像输出。

附图说明

图1是本发明一种融合高分辨率彩色图像的深度图增强方法的流程图；

图2是基于局部方差的插值法流程框图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

通过主动光设备获取的深度图像分辨率较低且存在大量的噪声干扰，深度图像相对于彩色图像而言，其边缘结构更加简单，可以利用插值方法来增加深度图像的分辨率，实现深度图像增强。若直接采用经典插值算法对整幅深度图进行处理，容易造成深度图像的非边缘区域出现纹理拷贝和边缘模糊的现象，同时为了避免深度图像出现边缘过平滑的问题。因此，本发明利用邻域差分法求取邻域内最大深度差值，设定阈值对深度图像进行区域划分，将深度图像的边缘区域和非边缘区域分离。

参照图1，本发明一种融合高分辨率彩色图像的深度图增强方法的流程图。

首先选定一个5*5的邻域窗口Ω，以待判定的像素点P_ij为邻域窗口中心像素点，通过取最大值函数max和取最小值函数min求得深度图像邻域窗口Ω内所有像素点的最大深度差值(max(Ω)-min(Ω))，设定阈值T，比较该邻域的最大深度差值与阈值的大小，若最大深度差值大于阈值T，则判断该邻域区域为边缘区域；否则，该邻域区域为非边缘区域。

将所有判定为非边缘区域的像素点标记为S1区域，判定为边缘区域的像素点标记为S2区域，然后分别对图像的两个区域像素点处理，基于局部邻域方差的立体卷积插值方法对S1区域的像素点进行插值，基于联合双边滤波方法对S2区域的像素点进行插值，达到较少噪声干扰，增加深度图像分辨率的目的。

考虑到邻域点深度值和邻域内像素点之间深度值变化率的影响，对非边缘区域S1中的像素点基于局部邻域方差的立体卷积插值方法进行插值处理。为了避免S1区域内所有像素点进行立体卷积插值处理，减少计算量，将待插值点的四邻域像素点深度值方差(即由公式(2)计算得到的待插值点的直接相邻像素点深度值方差Var)与设定阈值进行比较，当方差值小于阈值时，表明该点所处的四邻域区域比较平坦，深度值变化不大，则取相邻像素点的深度平均值作为待插值点对应映射点的深度值；当方差值大于阈值Var时，表明该点的四邻域区域纹理细节较丰富，则利用立体卷积插值法计算待插值点的深度值，提高算法精度，直到S1区域内的所有像素点计算完成。具体过程如图2所示：先在S1区域初始化一个像素点为待插值点，由(1)式计算待插值点在原图像中对应的四个直接相邻像素点的平均值E，由(2)式计算待插值点的直接相邻像素点深度值方差Var。

Var＝(E-D(i-1,j))²+(E-D(i+1,j))²+(E-D(i,j-1))²+(E-D(i,j+1))² (2)

根据实验经验值取阈值为20时，既能保证图像质量又能有效地降低运算量。当Var＜20时，取相邻像素点的深度平均值作为待插值点对应映射点的深度值，即D(i+μ,j+υ)＝E；当Var≥20时，利用立体卷积插值法既考虑四个直接相邻点的深度值影响，也考虑到4*4邻域内其他像素点间深度值变化率的影响，通过待插值点邻域内的16个已知像素点深度值估计映射点深度值，设待插值点(i,j)的深度值为D(i,j)，对应的映射点为(i+μ,j+υ)，映射点的深度值表示为D(i+μ,j+υ)，其中插值基函数S(x)的表达式如式(3)所示，x为自变量。

则利用立体卷积插值法计算映射点的深度值D(i+μ,j+υ)的公式如下：

至此，基于局部邻域方差的立体卷积插值方法完成对S1区域的所有像素点进行插值处理，降低计算量的同时保证非边缘区域的纹理细节信息被增强。由于彩色图像与深度图像之间存在着很强的结构相似性，因此通过高分辨率的彩色图像与低分辨率深度图像融合，基于联合双边滤波方法对深度图像的边缘S2区域进行插值来滤出噪声干扰，并提高深度图像的分辨率，实现深度图增强。

将同一场景下的高分辨率彩色图像作为参考图，基于双边滤波原理将低分辨率深度图像上采样到高分辨率图像，双边滤波结合了空域距离核函数和灰度相似核函数，双边滤波系数由空域邻近系数和灰度相似系数的非线性组合，空域邻近系数随着像素点坐标距离的增大而减小，灰度相似系数随着像素灰度之差的增大而减小。在图像变化平滑的区域，双边滤波转化为高斯低通滤波；在图像变化剧烈的区域，双边滤波转化为高斯高通滤波。因此，基于双边滤波的插值方法可以去噪的同时保留图像边缘细节信息。

设点m、n为高分辨率图像上的两个像素点，m'、n'是低分辨率深度图像上与高分辨率图像上m、n对应位置的像素点，I_m、I_n表示高分辨率图像在m、n点处的灰度值，权重函数通常以高斯函数作为核函数，其中δ_s、δ_r分别为空域距离核函数和颜色相似核函数的标准差，则空域距离核函数H_s(m',n')和灰度相似核函数H_r(I_m,I_n)的表达式如(5)式所示：

上采样高分辨图像与高分辨率彩色图像具有边缘一致性，以w为双边滤波窗口，将低分辨率深度图像边缘区域S2上的所有像素点上采样到高分辨率计算公式如下：

其中D_n'表示低分辨率深度图上的像素点n'对应的深度值，D_m表示上采样高分辨率图像上各像素点对应的深度值。根据(6)式计算得到原低分辨率深度图像边缘区域S2内各像素点对应映射点的深度值，最后将低分辨率深度图像插值处理完成之后的深度增强图像输出。

以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并不是想要将发明内容限制在实施例所描述的具体形式中，依据本发明内容主旨进行的其他修改和变型也受本专利保护。本发明内容的主旨是由权利要求书所界定，而非由实施例的具体描述所界定。

Claims (6)

1.一种融合高分辨率彩色图像的深度图增强方法，其特征在于，包括以下步骤：

S1.对低分辨率的深度图像利用邻域差分法求取邻域内像素点的最大深度差值，设定阈值对深度图像进行区域划分，将深度图像划分为边缘区域和非边缘区域；

S2对S1中低分辨率深度图像的非边缘区域基于局部邻域方差进行二次划分，初始化一个4*4的邻域窗口，以待插值点为中心，计算待插值点的直接相邻像素点深度值的期望和方差，根据深度方差将非边缘区域再次划分为深度值变化平坦区和纹理复杂区；

S3对S2得到的深度值变化平坦区进行插值增强，以四个直接相邻像素点的深度平均值作为待插值点对应映射点的深度值即D(i+μ,j+υ)＝E，对纹理复杂区利用4*4邻域的立体卷积插值法求得待插值点对应映射点的深度值；

S4对低分辨率深度图像的边缘区域基于联合双边滤波方法进行插值处理，以同一场景下的高分辨率彩色图像作为参考图，基于双边滤波原理将低分辨率深度图上采样到高分辨率图像，计算边缘区域内各像素点对应映射点的深度值，并将插值处理完成的深度增强图像输出。

2.根据权利要求1所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S1中，首先选定一个5*5的邻域窗口Ω，以待判定的像素点P_ij为邻域窗口中心像素点，通过取最大值函数max和取最小值函数min求得深度图像邻域窗口Ω内所有像素点的最大深度差值(max(Ω)-min(Ω))，设定阈值T，比较该邻域的最大深度差值与阈值的大小，若最大深度差值大于阈值T，则判断该邻域区域为边缘区域；否则，该邻域区域为非边缘区域。

3.根据权利要求1所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S2中，将S1中所有判定为低分辨率深度图像的非边缘区域的像素点标记为S1区域，判定为低分辨率深度图像的边缘区域的像素点标记为S2区域；基于局部邻域方差的立体卷积插值方法对S1区域的像素点进行插值，先在S1区域初始化一个像素点为待插值点，由(1)式计算待插值点在原图像(即低分辨率深度图像)中对应的四个直接与之相邻像素点的平均值E，由(2)式计算待插值点的直接相邻像素点深度值方差Var。

$E=\frac{1}{4}\[D(i-1,j)+D(i+1,j)+D(i,j-1)+D(i,j+1)\]---\left(1\right)$

Var＝(E-D(i-1,j))²+(E-D(i+1,j))²+(E-D(i,j-1))²+(E-D(i,j+1))² (2)

设定阈值，当待插值点的直接相邻像素点深度值方差小于设定阈值时，表明该点所处的四邻域区域比较平坦，深度值变化不大，为深度值变化平坦区；当待插值点的直接相邻像素点深度值方差大于设定阈值时，表明该点的四邻域区域纹理细节较丰富，为纹理复杂区。

4.根据权利要求3所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S2中设定的阈值为20，当Var＜20时，表明该点所处的四邻域区域比较平坦，深度值变化不大，为深度值变化平坦区；当Var≥20时，表明该点的四邻域区域纹理细节较丰富，为纹理复杂区。

5.根据权利要求3所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S3中，对纹理复杂区利用4*4邻域的立体卷积插值法求得待插值点对应映射点的深度值，通过待插值点邻域内的16个已知像素点深度值估计映射点深度值，其方法如下：

设待插值点(i,j)的深度值为D(i,j)，对应的映射点为(i+μ,j+υ)，映射点的深度值表示为D(i+μ,j+υ)，其中插值基函数S(x)的表达式如式(3)所示，x为自变量。

$S\left(x\right)=\left\{\begin{array}{cc}1-0.25|x{|}^2+1.5|x{|}^3& 0\&le;\left|x\right|<1\\ 2-4\left|x\right|+2.5|x{|}^2-0.5|x{|}^3& 1\&le;\left|x\right|<2\\ 0& \left|x\right|\&GreaterEqual;1\end{array}\right.---\left(3\right)$

则利用立体卷积插值法计算映射点的深度值D(i+μ,j+υ)的公式如下：

$D(i+\mathrm{\&mu;},j+\mathrm{\&upsi;})={\left[\begin{array}{c}S(1+\mathrm{\&mu;})\\ S\left(\mathrm{\&mu;}\right)\\ S(1-\mathrm{\&mu;})\\ S(2-\mathrm{\&mu;})\end{array}\right]}^T\left[\begin{array}{cccc}D(i-1,j-2)& D(i,j-2)& D(i+1,j-2)& D(i+2,j-2)\\ D(i-1,j-1)& D(i,j-1)& D(i+1,j-1)& D(i+2,j-1)\\ D(i-1,j)& D(i,j)& D(i+1,j)& D(i+2,j)\\ D(i-1,j+2)& D(i,j+1)& D(i+1,j+1)& D(i+2,j-2)\end{array}\right]\left[\begin{array}{c}S(1+\mathrm{\&upsi;})\\ S\left(\mathrm{\&upsi;}\right)\\ S(1-\mathrm{\&upsi;})\\ S(2-\mathrm{\&upsi;})\end{array}\right]---\left(4\right).$

6.根据权利要求5所述的融合高分辨率彩色图像的深度图增强方法，其特征在于：S4中，设点m、n为同一场景下的高分辨率图像上的两个像素点，m'、n'是低分辨率深度图像上与高分辨率图像上m、n对应位置的像素点，I_m、I_n表示高分辨率图像在m、n点处的灰度值，权重函数通常以高斯函数作为核函数，其中δ_s、δ_r分别为空域距离核函数和颜色相似核函数的标准差，则空域距离核函数H_s(m',n')和灰度相似核函数H_r(I_m,I_n)的表达式如(5)式所示：

$\left\{\begin{array}{c}{H}_s(m^{\&prime;},n^{\&prime;})=\exp (-\frac{\left|\right|m^{\&prime;}-n^{\&prime;}|{|}^2}{2{\mathrm{\&delta;}}_s^2})\\ H_r(I_m,I_n)=\exp (-\frac{\left|\right|I_m-I_n|{|}^2}{2{\mathrm{\&delta;}}_r^2})\end{array}\right.---\left(5\right)$

上采样高分辨图像与高分辨率彩色图像具有边缘一致性，以w为双边滤波窗口，将低分辨率深度图像边缘区域即S2区域上的所有像素点上采样到高分辨率计算公式如下：

$D_m=\frac{\underset{n^{\&prime;}\&Element;w}{\&Sigma;}{H}_s(m^{\&prime;},n^{\&prime;})H_r(I_m,I_n)D_{n^{\&prime;}}}{\underset{n^{\&prime;}\&Element;w}{\&Sigma;}{H}_s(m^{\&prime;},n^{\&prime;})H_r(I_m,I_n)}---\left(6\right)$

其中D_n'表示低分辨率深度图上的像素点n'对应的深度值，D_m表示上采样高分辨率图像上各像素点对应的深度值；根据(6)式计算得到原低分辨率深度图像边缘区域内各像素点对应映射点的深度值，最后将低分辨率深度图像插值处理完成之后的深度增强图像输出。