CN103957397A - 一种基于图像特征的低分辨率深度图像上采样方法 - Google Patents

Abstract

本发明公开了一种基于图像特征的低分辨率深度图像上采样方法，其利用低分辨率深度图像和低分辨率彩色图像各自基于内容的方差，及它们对应像素点之间的相关系数，能够很好地引导低分辨率深度图像的前景边缘像素点上采样后的像素值，使其能够较好的反映上采样后得到的高分辨率深度图像的边缘信息；针对低分辨率深度图像中的不连续像素点，通过其上采样后的像素值与以其为中心的指定窗口内像素点的像素值之间的相似程度，对不连续像素点的上采样后的像素值进行基于窗口内部低分辨率深度图像像素点的替换求精，以较好的保留上采样后得到的高分辨率深度图像的连续性，通过以上两个方面，本方法可有效地抑制低分辨率深度图像上采样过程中出现边缘模糊。

Description

一种基于图像特征的低分辨率深度图像上采样方法

技术领域

本发明涉及一种深度图像的处理方法，尤其是涉及一种基于图像特征的低分辨率深度图像上采样方法。

背景技术

随着3D（Three-Dimensional，3D）电影和3D电视等商业产业的不断发展和推进，三维视频已经涌入人们的视野之中。与二维视频格式不同，三维视频包含了广泛应用于计算机交互、机器人视觉、3D场景重建的深度信息，深度信息质量的高低将直接影响观看者的立体视觉体验效果；此外，深度信息还可用于基于深度图的绘制技术（DepthImage Based Rendering，DIBR），以实现自由视点视频系统的虚拟视点绘制功能。同时，在三维视频编码标准中，提供深度信息的深度图像被用来减少三维视频的数据量，以达到提升三维视频中深度视频压缩编码性能的目的。深度图像主要由以下两种途径获取：一、基于TOF（Time-of-Fly，TOF）原理的深度感知相机采集获得，基于TOF原理的深度感知相机通过测量内置红外线发射和接收的时间延迟来捕获现实场景的深度信息；二、利用立体匹配技术进行深度估计获取。近年来，随着基于TOF原理的深度感知相机广泛应用于实时获取深度图像，特别是微软Kinect传感器发布以后，RGB-D传感器受到许多用彩色和深度信息解决视觉分析问题的研究人员关注。然而，基于TOF原理的深度感知相机由于受到传感器自身物理因素的限制，其采集的深度图像的分辨率比相应的RGB传感器采集的彩色图像的分辨率低，因此基于TOF原理的深度感知相机采集的深度图像并不能完全表征现实场景的深度信息。

为了解决基于TOF原理的深度感知相机采集的深度图像分辨率较低的问题，科研人员利用RGB传感器采集的高分辨率（high-resolution，HR）彩色图像和基于TOF原理的深度感知相机采集的低分辨率（low-resolution，LR）深度图像，对基于TOF原理的深度感知相机采集的低分辨率深度图像进行上采样，以达到提高低分辨率深度图像质量和分辨率的目的。但是，一般基于高分辨率彩色图像的低分辨率深度图像上采样方法，容易导致上采样后得到的高分辨率深度图像出现边缘模糊，从而降低高分辨率深度图像的质量，降低高分辨率深度视频的准确性，影响其在人机交互、3D场景重建、虚拟视点绘制等等各种场合的应用。

发明内容

本发明所要解决的技术问题是提供一种基于图像特征的低分辨率深度图像上采样方法，其能够有效地抑制低分辨率深度图像上采样过程中出现边缘模糊的现象。

本发明解决上述技术问题所采用的技术方案为：一种基于图像特征的低分辨率深度图像上采样方法，其特征在于包括以下步骤：

①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，并使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致；

②通过获取低分辨率彩色图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数；

③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像；

④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为0的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像；

⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5×5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。

所述的步骤①中高分辨率彩色图像的横向分辨率为待处理的低分辨率深度图像的横向分辨率的2_n倍，且高分辨率彩色图像的竖直分辨率为待处理的低分辨率深度图像的竖直分辨率的2_n倍，其中n为1或2。

所述的步骤②的具体过程为：

②-1、采用尺寸大小为3×3的滑动窗口在低分辨率彩色图像中逐个像素点移动，计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为和 $E_C^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C^L(x+m,y+n),$ $V_C^L=(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\left(I_C^L(x+m,y+n)\right)}^2-{\left(E_C^L(x,y)\right)}^2,$ 其中，1≤x≤W^L，1≤y≤H^L，W^L表示低分辨率彩色图像和低分辨率深度图像的宽度，H^L表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数，表示低分辨率彩色图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H^L，则将低分辨率彩色图像中坐标位置为(1,y)的像素点的像素值赋给如果x+m>W^L且1≤y+n≤H^L，则将低分辨率彩色图像中坐标位置为(W^L,y)的像素点的像素值赋给如果1≤x+m≤W^L且y+n<1，则将低分辨率彩色图像中坐标位置为(x,1)的像素点的像素值赋给如果1≤x+m≤W^L且y+n>H^L，则将低分辨率彩色图像中坐标位置为(x,H^L)的像素点的像素值赋给如果x+m<1且y+n<1，则将低分辨率彩色图像中坐标位置为(1,1)的像素点的像素值赋给如果x+m>W^L且y+n<1，则将低分辨率彩色图像中坐标位置为(W^L,1)的像素点的像素值赋给如果x+m<1且y+n>H^L，则将低分辨率彩色图像中坐标位置为(1,H^L)的像素点的像素值赋给如果x+m>W^L且y+n>H^L，则将低分辨率彩色图像中坐标位置为(W^L,H^L)的像素点的像素值赋给

②-2、采用尺寸大小为3×3的滑动窗口在低分辨率深度图像中逐个像素点移动，计算以低分辨率深度图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为和 $E_D^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C^L(x+m,y+n),$ $V_D^L=(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\left(I_D^L(x+m,y+n)\right)}^2-{\left(E_D^L(x,y)\right)}^2,$ 其中，1≤x≤W^L，1≤y≤H^L，W^L表示低分辨率彩色图像和低分辨率深度图像的宽度，H^L表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数，表示低分辨率深度图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H^L，则将低分辨率深度图像中坐标位置为(1,y)的像素点的像素值赋给如果x+m>W^L且1≤y+n≤H^L，则将低分辨率深度图像中坐标位置为(W^L,y)的像素点的像素值赋给如果1≤x+m≤W^L且y+n<1，则将低分辨率深度图像中坐标位置为(x,1)的像素点的像素值赋给如果1≤x+m≤W^L且y+n>H^L，则将低分辨率深度图像中坐标位置为(x,H^L)的像素点的像素值赋给如果x+m<1且y+n<1，则将低分辨率深度图像中坐标位置为(1,1)的像素点的像素值赋给如果x+m>W^L且y+n<1，则将低分辨率深度图像中坐标位置为(W^L,1)的像素点的像素值赋给如果x+m<1且y+n>H^L，则将低分辨率深度图像中坐标位置为(1,H^L)的像素点的像素值赋给如果x+m>W^L且y+n>H^L，则将低分辨率深度图像中坐标位置为(W^L,H^L)的像素点的像素值赋给

②-3、计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口和以低分辨率深度图像中对应像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口和以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值记为E^L(x,y)，

$E^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}(I_C^L(x+m,y+n)\&times;I_D^L(x+m,y+n));$

②-4、根据相关性系数求取公式，计算低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，将低分辨率彩色图像中坐标位置为(x,y)的像素点与低分辨率深度图像中坐标位置为(x,y)的像素点之间的相关系数记为 ${\mathrm{\&rho;}}^L(x,y),{\mathrm{\&rho;}}^L(x,y)=\frac{E^L(x,y)-E_C^L(x,y)\&times;E_D^L(x,y)}{\sqrt{V_C^L(x,y)}\&times;\sqrt{V_D^L(x,y)}}.$

所述的步骤③的具体过程为：

③-1、利用Scharr算子，计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值；

③-2、根据低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，将低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点的像素值记为I_Edge(x,y)，I_Edge(x,y)=0.5×HT(x,y)+0.5×VT(x,y)，其中，HT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的水平方向梯度值，VT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的垂直方向梯度值；

③-3、根据低分辨率深度图像的边缘图像，获取低分辨率深度图像的前景边缘掩膜图像，将低分辨率深度图像的前景边缘掩膜图像中坐标位置为(x,y)的像素点的像素值记为 $I_{P-\mathrm{Edge}}(x,y),I_{P-\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}255& I_{\mathrm{Edge}}(x,y)>T\\ 0& I_{\mathrm{Edge}}(x,y)\&le;T,\end{array}\right.$ T表示利用大津阈值方法对低分辨率深度图像的边缘图像进行前景和背景分割的分割阈值。

所述的步骤④中假设高分辨率彩色图像中坐标位置为p的像素点与低分辨率彩色图像中坐标位置为p↓的像素点相对应，并假设初步的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，则将初步的高分辨率深度图像中坐标位置为p的像素点的像素值记为 ，其中，p∈Ω，Ω表示初步的高分辨率深度图像中的所有像素点的坐标位置的集合，Ω亦表示高分辨率彩色图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合，Ω↓亦表示低分辨率彩色图像中的所有像素点的坐标位置的集合，q∈Z，Z表示在初步的高分辨率深度图像和高分辨率彩色图像中以坐标位置为p的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，q↓∈Z↓，Z↓表示在低分辨率深度图像和低分辨率彩色图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，表示低分辨率深度图像中坐标位置为q↓的像素点的像素值，表示低分辨率深度图像空域的高斯滤波函数，σ_d表示低分辨率深度图像空域的高斯滤波函数的标准差，ρ^L(p↓)表示低分辨率彩色图像中坐标位置为p↓的像素点与低分辨率深度图像中坐标位置为p↓的像素点之间的相关系数，表示高分辨率彩色图像中坐标位置为p的像素点的像素值，表示高分辨率彩色图像中坐标位置为q的像素点的像素值，表示高分辨率彩色图像强度值的高斯滤波函数， $g\left(\right||I_C^H\left(p\right)-I_C^H\left(q\right)|\left|\right)=\exp \left(\frac{-{\left(\right||I_C^H\left(p\right)-I_C^H\left(q\right)|\left|\right)}^2}{2{{\mathrm{\&sigma;}}_1}^2}\right),$ σ₁表示高分辨率彩色图像强度值的高斯滤波函数的标准差，表示低分辨率深度图像中坐标位置为p↓的像素点的像素值，表示低分辨率深度图像深度值的高斯滤波函数， $h\left(\right||I_D^L(p\&DownArrow;)-I_D^L(q\&DownArrow;)|\left|\right)=\exp \left(\frac{-{\left(\right||I_D^L(p\&DownArrow;)-I_D^L(q\&DownArrow;)|\left|\right)}^2}{2{{\mathrm{\&sigma;}}_2}^2}\right),$ σ₂表示低分辨率深度图像深度值的高斯滤波函数的标准差，符号“||||”为欧氏距离计算符号，exp()表示以自然基数e为底的指数函数，I_P-Edge(p)表示低分辨率深度图像的前景边缘掩膜图像中坐标位置为p的像素点的像素值。

所述的步骤⑤的具体过程为：

⑤-1、假设初步的高分辨率深度图像和需获取的最终的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，其中，p∈Ω，Ω表示初步的高分辨率深度图像或需获取的最终的高分辨率深度图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合；

⑤-2、判断以低分辨率深度图像中坐标位置为p↓的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的方差是否大于或等于经验阈值T'，如果是，则确定低分辨率深度图像中坐标位置为p↓的像素点为不连续像素点，然后在低分辨率深度图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内，搜索一个像素值与初步的高分辨率深度图像中坐标位置为p的像素点的像素值的差值最小的像素点，再将搜索到的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值；否则，确定低分辨率深度图像中坐标位置为p↓的像素点为连续像素点，并直接将初步的高分辨率深度图像中坐标位置为p的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值。

所述的步骤⑤-2中取T'=0.01。

与现有技术相比，本发明的优点在于：一方面，本发明方法利用低分辨率深度图像和低分辨率彩色图像各自基于内容的方差，以及它们对应像素点之间的相关系数，能够很好地引导低分辨率深度图像的前景边缘像素点上采样后的像素值，使其能够较好的反映上采样后得到的高分辨率深度图像的边缘信息；另一方面，针对低分辨率深度图像中的不连续像素点，通过其上采样后的像素值与以其为中心的指定窗口内像素点的像素值之间的相似程度，对不连续像素点的上采样后的像素值进行基于窗口内部低分辨率深度图像像素点的替换求精，以较好的保留上采样后得到的高分辨率深度图像的连续性。通过以上两个方面，本发明方法可以有效地抑制低分辨率深度图像上采样过程中出现边缘模糊，从而提高上采样后得到的高分辨率深度图像的质量。

附图说明

图1为本发明方法的总体实现框图；

图2a为“Art”深度图像的前景边缘掩膜图像；

图2b为“Books”深度图像的前景边缘掩膜图像；

图2c为“Moebius”深度图像的前景边缘掩膜图像；

图2d为“Baby”深度图像的前景边缘掩膜图像；

图2e为“Bowling”深度图像的前景边缘掩膜图像；

图2f为“Cloth”深度图像的前景边缘掩膜图像；

图2g为“Monopoly”深度图像的前景边缘掩膜图像；

图2h为“Laundry”深度图像的前景边缘掩膜图像；

图2i为“Reindeer”深度图像的前景边缘掩膜图像；

图2j为“Cones”深度图像的前景边缘掩膜图像；

图2k为“Teddy”深度图像的前景边缘掩膜图像；

图2l为“Tsukuba”深度图像的前景边缘掩膜图像；

图3a为“Art”深度图像上采样后得到的高分辨率深度图像；

图3b为“Books”深度图像上采样后得到的高分辨率深度图像；

图3c为“Moebius”深度图像上采样后得到的高分辨率深度图像；

图3d为“Baby”深度图像上采样后得到的高分辨率深度图像；

图3e为“Bowling”深度图像上采样后得到的高分辨率深度图像；

图3f为“Cloth”深度图像上采样后得到的高分辨率深度图像；

图3g为“Monopoly”深度图像上采样后得到的高分辨率深度图像；

图3h为“Laundry”深度图像上采样后得到的高分辨率深度图像；

图3i为“Reindeer”深度图像上采样后得到的高分辨率深度图像；

图3j为“Cones”深度图像上采样后得到的高分辨率深度图像；

图3k为“Teddy”深度图像上采样后得到的高分辨率深度图像；

图3l为“Tsukuba”深度图像上采样后得到的高分辨率深度图像；

图4a为“Art”深度图像采用FEPDIU方法上采样后得到的高分辨率深度图像的坏点图；

图4b为“Art”深度图像采用JABDU方法上采样后得到的高分辨率深度图像的坏点图；

图4c为“Art”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；

图4d为“Art”深度图像采用本发明方法上采样后得到的高分辨率深度图像的坏点图；

图5a为“Cloth”深度图像采用FEPDIU方法上采样后得到的高分辨率深度图像的坏点图；

图5b为“Cloth”深度图像采用JABDU方法上采样后得到的高分辨率深度图像的坏点图；

图5c为“Cloth”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；

图5d为“Cloth”深度图像采用本发明方法上采样后得到的高分辨率深度图像的坏点图；

图6a为“Reindeer”深度图像采用FEPDIU方法上采样后得到的高分辨率深度图像的坏点图；

图6b为“Reindeer”深度图像采用JABDU方法上采样后得到的高分辨率深度图像的坏点图；

图6c为“Reindeer”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；

图6d为“Reindeer”深度图像采用本发明方法上采样后得到的高分辨率深度图像的坏点图。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于图像特征的低分辨率深度图像上采样方法，其总体实现框图如图1所示，其包括以下步骤：

①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，以降低高分辨率彩色图像的分辨率，得到低分辨率彩色图像，在最近值下采样操作时确定输出的低分辨率彩色图像的分辨率，要求与待处理的低分辨率深度图像的分辨率一致，即使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致。

在此具体实施例中，步骤①中高分辨率彩色图像的横向分辨率为待处理的低分辨率深度图像的横向分辨率的2_n倍，且高分辨率彩色图像的竖直分辨率为待处理的低分辨率深度图像的竖直分辨率的2_n倍，其中，n为1或2。如果选取的高分辨率彩色图像的分辨率远高于待处理的低分辨率深度图像的分辨率，则可能会造成上采样后得到的高分辨率深度图像出现边缘模糊，通过大量实验，确定选取的高分辨率彩色图像的分辨率为待处理的低分辨率深度图像的分辨率的2×2_n倍时，能够较好地避免上采样后得到的高分辨率深度图像出现边缘模糊。

②通过获取低分辨率彩色图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数。

在此具体实施例中，步骤②的具体过程为：

②-1、采用尺寸大小为3×3的滑动窗口在低分辨率彩色图像中逐个像素点移动，计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为和 $E_C^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C^L(x+m,y+n),$ $V_C^L=(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\left(I_C^L(x+m,y+n)\right)}^2-{\left(E_C^L(x,y)\right)}^2,$ 其中，1≤x≤W^L，1≤y≤H^L，W^L表示低分辨率彩色图像和低分辨率深度图像的宽度，H^L表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数，表示低分辨率彩色图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H^L，则将低分辨率彩色图像中坐标位置为(1,y)的像素点的像素值赋给如果x+m>W^L且1≤y+n≤H^L，则将低分辨率彩色图像中坐标位置为(W^L,y)的像素点的像素值赋给如果1≤x+m≤W^L且y+n<1，则将低分辨率彩色图像中坐标位置为(x,1)的像素点的像素值赋给如果1≤x+m≤W^L且y+n>H^L，则将低分辨率彩色图像中坐标位置为(x,H^L)的像素点的像素值赋给如果x+m<1且y+n<1，则将低分辨率彩色图像中坐标位置为(1,1)的像素点的像素值赋给如果x+m>W^L且y+n<1，则将低分辨率彩色图像中坐标位置为(W^L,1)的像素点的像素值赋给如果x+m<1且y+n>H^L，则将低分辨率彩色图像中坐标位置为(1,H^L)的像素点的像素值赋给如果x+m>W^L且y+n>H^L，则将低分辨率彩色图像中坐标位置为(W^L,H^L)的像素点的像素值赋给

②-2、采用尺寸大小为3×3的滑动窗口在低分辨率深度图像中逐个像素点移动，计算以低分辨率深度图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为和 $E_D^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C^L(x+m,y+n),$ $V_D^L=(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\left(I_D^L(x+m,y+n)\right)}^2-{\left(E_D^L(x,y)\right)}^2,$ 其中，1≤x≤W^L,1≤y≤H^L，W^L表示低分辨率彩色图像和低分辨率深度图像的宽度，H^L表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数，表示低分辨率深度图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H^L，则将低分辨率深度图像中坐标位置为(1,y)的像素点的像素值赋给如果x+m>W^L且1≤y+n≤H^L，则将低分辨率深度图像中坐标位置为(W^L,y)的像素点的像素值赋给如果1≤x+m≤W^L且y+n<1，则将低分辨率深度图像中坐标位置为(x,1)的像素点的像素值赋给如果1≤x+m≤W^L且y+n>H^L，则将低分辨率深度图像中坐标位置为(x,H^L)的像素点的像素值赋给如果x+m<1且y+n<1，则将低分辨率深度图像中坐标位置为(1,1)的像素点的像素值赋给如果x+m>WL且y+n<1，则将低分率深度图像中坐标位置为(W^L,1)的像素点的像素值赋给如果x+m<1且y+n>H^L，则将低分辨率深度图像中坐标位置为(1,H^L)的像素点的像素值赋给如果x+m>W^L且y+n>H^L，则将低分辨率深度图像中坐标位置为(W^L,H^L)的像素点的像素值赋给

②-3、由于低分辨率彩色图像与低分辨率深度图像相互独立，因此可以联合低分辨率彩色图像和低分辨率深度图像，计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口和以低分辨率深度图像中对应像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口和以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值记为E^L(x,y)， $E^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}(I_C^L(x+m,y+n)\&times;I_D^L(x+m,y+n));$

②-4、根据相关性系数求取公式，计算低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，将低分辨率彩色图像中坐标位置为(x,y)的像素点与低分辨率深度图像中坐标位置为(x,y)的像素点之间的相关系数记为 ${\mathrm{\&rho;}}^L(x,y),{\mathrm{\&rho;}}^L(x,y)=\frac{E^L(x,y)-E_C^L(x,y)\&times;E_D^L(x,y)}{\sqrt{V_C^L(x,y)}\&times;\sqrt{V_D^L(x,y)}}.$

③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像。

在此具体实施例中，步骤③的具体过程为：

③-1、利用Scharr算子，计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值。

③-2、根据低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，将低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点的像素值记为I_Edge(x,y)，I_Edge(x,y)=0.5×HT(x,y)+0.5×VT(x,y)，其中，HT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的水平方向梯度值，VT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的垂直方向梯度值。

③-3、根据低分辨率深度图像的边缘图像，获取低分辨率深度图像的前景边缘掩膜图像，将低分辨率深度图像的前景边缘掩膜图像中坐标位置为(x,y)的像素点的像素值记为 $I_{P-\mathrm{Edge}}(x,y),I_{P-\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}255& I_{\mathrm{Edge}}(x,y)>T\\ 0& I_{\mathrm{Edge}}(x,y)\&le;T,\end{array}\right.$ 即如果I_Edge(x,y)>T，则确定低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点为前景边缘像素点，并令I_P-Edge(x,y)=255，如果I_Edge(x,y)≤T，则确定低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点为背景边缘像素点，并令I_P-Edge(x,y)=0，T表示利用大津阈值方法对低分辨率深度图像的边缘图像进行前景和背景分割的分割阈值。

图2a～图2l分别给出了“Art”深度图像、“Books”深度图像、“Moebius”深度图像、“Baby”深度图像、“Bowling”深度图像、“Cloth”深度图像、“Monopoly”深度图像、“Laundry”深度图像、“Reindeer”深度图像、“Cones”深度图像、“Teddy”深度图像和“Tsukuba”深度图像的前景边缘掩膜图像。

④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为0的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像。

在此具体实施例中，步骤④中假设高分辨率彩色图像中坐标位置为p的像素点与低分辨率彩色图像中坐标位置为p↓的像素点相对应，并假设初步的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，则将初步的高分辨率深度图像中坐标位置为p的像素点的像素值记为，，其中，p∈Ω，Ω表示初步的高分辨率深度图像中的所有像素点的坐标位置的集合，Ω亦表示高分辨率彩色图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合，Ω↓亦表示低分辨率彩色图像中的所有像素点的坐标位置的集合，q∈Z，Z表示在初步的高分辨率深度图像和高分辨率彩色图像中以坐标位置为p的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，q↓∈Z↓，Z↓表示在低分辨率深度图像和低分辨率彩色图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，表示低分辨率深度图像中坐标位置为q↓的像素点的像素值，表示低分辨率深度图像空域的高斯滤波函数，σ_d表示低分辨率深度图像空域的高斯滤波函数的标准差，在本实施例中取σ_d=0.5，ρ^L(p↓)表示低分辨率彩色图像中坐标位置为p↓的像素点与低分辨率深度图像中坐标位置为p↓的像素点之间的相关系数，表示高分辨率彩色图像中坐标位置为p的像素点的像素值，表示高分辨率彩色图像中坐标位置为q的像素点的像素值，表示高分辨率彩色图像强度值的高斯滤波函数， $g\left(\right||I_C^H\left(p\right)-I_C^H\left(q\right)|\left|\right)=\exp \left(\frac{-{\left(\right||I_C^H\left(p\right)-I_C^H\left(q\right)|\left|\right)}^2}{2{{\mathrm{\&sigma;}}_1}^2}\right),$ σ₁表示高分辨率彩色图像强度值的高斯滤波函数的标准差，在本实施例中取σ₁=25.5，表示低分辨率深度图像中坐标位置为p↓的像素点的像素值，表示低分辨率深度图像深度值的高斯滤波函数， $h\left(\right||I_D^L(p\&DownArrow;)-I_D^L(q\&DownArrow;)|\left|\right)=\exp \left(\frac{-{\left(\right||I_D^L(p\&DownArrow;)-I_D^L(q\&DownArrow;)|\left|\right)}^2}{2{{\mathrm{\&sigma;}}_2}^2}\right),$ σ₂表示低分辨率深度图像深度值的高斯滤波函数的标准差，在本实施例中取σ₂=25.5，符号“||||”为欧氏距离计算符号，exp()表示以自然基数e为底的指数函数，I_P-Edge(p)表示低分辨率深度图像的前景边缘掩膜图像中坐标位置为p的像素点的像素值。

⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5×5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。

在此具体实施例中，步骤⑤的具体过程为：

⑤-1、假设初步的高分辨率深度图像和需获取的最终的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，其中，p∈Ω，Ω表示初步的高分辨率深度图像或需获取的最终的高分辨率深度图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合。

⑤-2、判断以低分辨率深度图像中坐标位置为p↓的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的方差是否大于或等于经验阈值T'，如果是，则确定低分辨率深度图像中坐标位置为p↓的像素点为不连续像素点，然后在低分辨率深度图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内，搜索一个像素值与初步的高分辨率深度图像中坐标位置为p的像素点的像素值的差值最小的像素点，再将搜索到的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值；否则，确定低分辨率深度图像中坐标位置为p↓的像素点为连续像素点，并直接将初步的高分辨率深度图像中坐标位置为p的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值。即：如果将最终的高分辨率深度图像中坐标位置为p的像素点的像素值记为则有：其中，q↓∈Z↓，Z↓表示在低分辨率深度图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，表示低分辨率深度图像中坐标位置为q↓的像素点的像素值，q'↓∈Z↓，表示取使得最小的q↓值q'↓。在本实施例中经验阈值T'=0.01。

图3a～图3l分别给出了“Art”深度图像、“Books”深度图像、“Moebius”深度图像、“Baby”深度图像、“Bowling”深度图像、“Cloth”深度图像、“Monopoly”深度图像、“Laundry”深度图像、“Reindeer”深度图像、“Cones”深度图像、“Teddy”深度图像和“Tsukuba”深度图像上采样后得到的高分辨率深度图像。

为了分析本发明方法抑制上采样后得到的高分辨率深度图像边缘模糊的有效性，对Middlebury立体图像数据库进行测试。首先，对原始的高分辨率深度图像进行4x最近值下采样获得低分辨率深度图像；然后，分别采用FEPDIU方法（Kim S Y and Ho Y S.Fast edge-preserving depth image upsampler[J].IEEE Transactions on Consumer Electronics,2012（金盛烈和扈尧盛，快速保护边缘深度图像上采样[期刊]，电气和电子工程师协会消费电子汇报，2012））、JABDU方法（Kim J,et al.Joint-adaptive bilateral depth mapupsampling[J].Signal Processing:Image Communication.2014（金朱赫等，联合自适应双边深度上采样[期刊]，信号处理：图像通信，2014））和本发明方法对获得的低分辨率深度图像进行上采样操作。Middlebury立体图像数据库采用坏点率（Bad Pixel Rate,BPR）、均方根误差（Root Mean Square Error,RMSE）和峰值信噪比（Peak Signal to Noise Rate,PSNR）进行评价；其中，BPR通过计算上采样后得到的高分辨率深度图像与原始的高分辨率深度图像之间对应像素点的像素值的绝对值的差值大于1的比例获取。表1给出了针对Middlebury立体数据库中图像采用FEPDIU方法、JABDU方法和本发明方法的BPR对比。从表1中可以看出，本发明方法相比于FEPDIU方法和JABDU方法减少了上采样后得到的高分辨率深度图像的BPR值，本发明方法的平均BPR为2.07%，而FEPDIU方法和JABDU方法的平均BPR分别为5.59%和8.03%。图4a、图4b和图4d分别给出了“Art”深度图像分别采用FEPDIU方法、JABDU方法及本发明方法上采样后得到的高分辨率深度图像的坏点图，图4c给出了“Art”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；图5a、图5b和图5d分别给出了“Cloth”深度图像分别采用FEPDIU方法、JABDU方法及本发明方法上采样后得到的高分辨率深度图像的坏点图，图5c给出了“Cloth”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图；图6a、图6b和图6d分别给出了“Reindeer”深度图像分别采用FEPDIU方法、JABDU方法及本发明方法上采样后得到的高分辨率深度图像的坏点图，图6c给出了“Reindeer”深度图像采用本发明方法（未对低分辨率深度图像中的不连续像素点进行处理）上采样后得到的高分辨率深度图像的坏点图，图4a～图6d中的黑点为坏点，即上采样后得到的高分辨率深度图像与原始的高分辨率深度图像之间对应像素点的像素值的绝对值的差值大于1的像素点。分析图4a～图6d，可以看出，相比于FEPDIU方法和JABDU方法，本发明方法先后两个方面减少了上采样后得到的高分辨率深度图像的BPR，特别是深度图像边缘处的坏点分布情况，如“Cloth”深度图像中左至右上角的长边缘坏点所示。

表2为针对Middlebury立体数据库中的图像分别采用FEPDIU方法、JABDU方法和本发明方法上采样后得到的高分辨率深度图像的RMSE和PSNR对比。从表2中可以看出，就RMSE而言，FEPDIU方法、JABDU方法和本发明方法的平均值分别为5.97、5.67和3.46；就PSNR而言，FEPDIU方法、JABDU方法和本发明方法的平均值分别为33.40、33.82和38.58。也就是说，本发明方法相比于FEPDIU方法和JABDU方法减小了上采样后得到的高分辨率深度图像的RMSE，提升了上采样后得到的高分辨率深度图像的PSNR，改善了高分辨率深度图像的质量。

表1针对Middlebury立体数据库中图像采用FEPDIU方法、JABDU方法和本发明方法的BPR（%）对比

表2针对Middlebury立体数据库中的图像分别采用FEPDIU方法、JABDU方法和本发明方法上采样后得到的高分辨率深度图像的RMSE和PSNR（dB）对比

Claims (7)

1.一种基于图像特征的低分辨率深度图像上采样方法，其特征在于包括以下步骤：

①获取一幅与待处理的低分辨率深度图像同一场景的高分辨率彩色图像，然后对高分辨率彩色图像进行最近值下采样操作，并使最近值下采样操作后得到的低分辨率彩色图像的分辨率与待处理的低分辨率深度图像的分辨率一致；

②通过获取低分辨率彩色图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、低分辨率深度图像中以每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差、以低分辨率彩色图像和低分辨率深度图像中对应的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，获取低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数；

③通过计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，再根据低分辨率深度图像的边缘图像获取低分辨率深度图像的前景边缘掩膜图像；

④根据低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，对低分辨率深度图像中与前景边缘掩膜图像中像素值为255的所有像素点对应的所有像素点进行上采样操作；并采用联合双边上采样方法，对低分辨率深度图像中与前景边缘掩膜图像中像素值为0的所有像素点对应的所有像素点进行上采样操作，得到一幅分辨率与高分辨率彩色图像的分辨率一致的初步的高分辨率深度图像；

⑤对低分辨率深度图像中的不连续像素点，通过搜索以不连续像素点为中心的5×5邻域窗口内的所有像素点，将与初步的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值差值最小的像素点的像素值作为最终的高分辨率深度图像中坐标位置与不连续像素点相对应的像素点的像素值；对低分辨率深度图像中的连续像素点，直接将初步的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值作为最终的高分辨率深度图像中坐标位置与连续像素点相对应的像素点的像素值。

2.根据权利要求1所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤①中高分辨率彩色图像的横向分辨率为待处理的低分辨率深度图像的横向分辨率的2ⁿ倍，且高分辨率彩色图像的竖直分辨率为待处理的低分辨率深度图像的竖直分辨率的2ⁿ倍，其中，n为1或2。

3.根据权利要求1或2所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤②的具体过程为：

②-1、采用尺寸大小为3×3的滑动窗口在低分辨率彩色图像中逐个像素点移动，计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为和 $E_C^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C^L(x+m,y+n),$ $V_C^L=(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\left(I_C^L(x+m,y+n)\right)}^2-{\left(E_C^L(x,y)\right)}^2,$ 其中，1≤x≤W^L，1≤y≤H^L，W^L表示低分辨率彩色图像和低分辨率深度图像的宽度，H^L表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数，表示低分辨率彩色图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H^L，则将低分辨率彩色图像中坐标位置为(1,y)的像素点的像素值赋给如果x+m>W^L且1≤y+n≤H^L，则将低分辨率彩色图像中坐标位置为(W^L,y)的像素点的像素值赋给如果1≤x+m≤W^L且y+n<1，则将低分辨率彩色图像中坐标位置为(x,1)的像素点的像素值赋给如果1≤x+m≤W^L且y+n>H^L，则将低分辨率彩色图像中坐标位置为(x,H^L)的像素点的像素值赋给如果x+m<1且y+n<1，则将低分辨率彩色图像中坐标位置为(1,1)的像素点的像素值赋给如果x+m>W^L且y+n<1，则将低分辨率彩色图像中坐标位置为(W^L,1)的像素点的像素值赋给如果x+m<1且y+n>H^L，则将低分辨率彩色图像中坐标位置为(1,H^L)的像素点的像素值赋给如果x+m>W^L且y+n>H^L，则将低分辨率彩色图像中坐标位置为(W^L,H^L)的像素点的像素值赋给

②-2、采用尺寸大小为3×3的滑动窗口在低分辨率深度图像中逐个像素点移动，计算以低分辨率深度图像中的每个像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差，将以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的均值和方差对应记为和 $E_D^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{I}_C^L(x+m,y+n),$ $V_D^L=(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}{\left(I_D^L(x+m,y+n)\right)}^2-{\left(E_D^L(x,y)\right)}^2,$ 其中，1≤x≤W^L,1≤y≤H^L，W^L表示低分辨率彩色图像和低分辨率深度图像的宽度，H^L表示低分辨率彩色图像和低分辨率深度图像的高度，-1≤m≤1,-1≤n≤1且m和n均为整数，表示低分辨率深度图像中坐标位置为(x+m,y+n)的像素点的像素值，如果x+m<1且1≤y+n≤H^L，则将低分辨率深度图像中坐标位置为(1,y)的像素点的像素值赋给如果x+m>W^L且1≤y+n≤H^L，则将低分辨率深度图像中坐标位置为(W^L,y)的像素点的像素值赋给如果1≤x+m≤W^L且y+n<1，则将低分辨率深度图像中坐标位置为(x,1)的像素点的像素值赋给如果1≤x+m≤W^L且y+n>H^L，则将低分辨率深度图像中坐标位置为(x,H^L)的像素点的像素值赋给如果x+m<1且y+n<1，则将低分辨率深度图像中坐标位置为(1,1)的像素点的像素值赋给如果x+m>W^L且y+n<1，则将低分辨率深度图像中坐标位置为(W^L,1)的像素点的像素值赋给如果x+m<1且y+n>H^L，则将低分辨率深度图像中坐标位置为(1,H^L)的像素点的像素值赋给如果x+m>W^L且y+n>H^L，则将低分辨率深度图像中坐标位置为(W^L,H^L)的像素点的像素值赋给

②-3、计算以低分辨率彩色图像中的每个像素点为中心的3×3的滑动窗口和以低分辨率深度图像中对应像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值，将以低分辨率彩色图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口和以低分辨率深度图像中坐标位置为(x,y)的像素点为中心的3×3的滑动窗口内的像素点的像素值之间的联合均值记为E^L(x,y)， $E^L(x,y)=\frac{1}{3\&times;3}\underset{m=-1}{\overset{1}{\mathrm{\&Sigma;}}}\underset{n=-1}{\overset{1}{\mathrm{\&Sigma;}}}(I_C^L(x+m,y+n)\&times;I_D^L(x+m,y+n));$

②-4、根据相关性系数求取公式，计算低分辨率彩色图像中的每个像素点与低分辨率深度图像中对应像素点之间的相关系数，将低分辨率彩色图像中坐标位置为(x,y)的像素点与低分辨率深度图像中坐标位置为(x,y)的像素点之间的相关系数记为 ${\mathrm{\&rho;}}^L(x,y),{\mathrm{\&rho;}}^L(x,y)=\frac{E^L(x,y)-E_C^L(x,y)\&times;E_D^L(x,y)}{\sqrt{V_C^L(x,y)}\&times;\sqrt{V_D^L(x,y)}}.$

4.根据权利要求3所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤③的具体过程为：

③-1、利用Scharr算子，计算低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值；

③-2、根据低分辨率深度图像中的每个像素点的水平方向梯度值和垂直方向梯度值，获得低分辨率深度图像的边缘图像，将低分辨率深度图像的边缘图像中坐标位置为(x,y)的像素点的像素值记为I_Edge(x,y)，I_Edge(x,y)=0.5×HT(x,y)+0.5×VT(x,y)，其中，HT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的水平方向梯度值，VT(x,y)表示低分辨率深度图像中坐标位置为(x,y)的像素点的垂直方向梯度值；

③-3、根据低分辨率深度图像的边缘图像，获取低分辨率深度图像的前景边缘掩膜图像，将低分辨率深度图像的前景边缘掩膜图像中坐标位置为(x,y)的像素点的像素值记为 $I_{P-\mathrm{Edge}}(x,y),I_{P-\mathrm{Edge}}(x,y)=\left\{\begin{array}{cc}255& I_{\mathrm{Edge}}(x,y)>T\\ 0& I_{\mathrm{Edge}}(x,y)\&le;T,\end{array}\right.$ T表示利用大津阈值方法对低分辨率深度图像的边缘图像进行前景和背景分割的分割阈值。

5.根据权利要求4所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤④中假设高分辨率彩色图像中坐标位置为p的像素点与低分辨率彩色图像中坐标位置为p↓的像素点相对应，并假设初步的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，则将初步的高分辨率深度图像中坐标位置为p的像素点的像素值记为 ，其中，p∈Ω，Ω表示初步的高分辨率深度图像中的所有像素点的坐标位置的集合，Ω亦表示高分辨率彩色图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合，Ω↓亦表示低分辨率彩色图像中的所有像素点的坐标位置的集合，q∈Z，Z表示在初步的高分辨率深度图像和高分辨率彩色图像中以坐标位置为p的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，q↓∈Z↓，Z↓表示在低分辨率深度图像和低分辨率彩色图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内的所有像素点的坐标位置的集合，表示低分辨率深度图像中坐标位置为q↓的像素点的像素值，表示低分辨率深度图像空域的高斯滤波函数，σ_d表示低分辨率深度图像空域的高斯滤波函数的标准差，ρ^L(p↓)表示低分辨率彩色图像中坐标位置为p↓的像素点与低分辨率深度图像中坐标位置为p↓的像素点之间的相关系数，表示高分辨率彩色图像中坐标位置为p的像素点的像素值，表示高分辨率彩色图像中坐标位置为q的像素点的像素值，表示高分辨率彩色图像强度值的高斯滤波函数， $g\left(\right||I_C^H\left(p\right)-I_C^H\left(q\right)|\left|\right)=\exp \left(\frac{-{\left(\right||I_C^H\left(p\right)-I_C^H\left(q\right)|\left|\right)}^2}{2{{\mathrm{\&sigma;}}_1}^2}\right),$ σ₁表示高分辨率彩色图像强度值的高斯滤波函数的标准差，表示低分辨率深度图像中坐标位置为p↓的像素点的像素值，表示低分辨率深度图像深度值的高斯滤波函数， $h\left(\right||I_D^L(p\&DownArrow;)-I_D^L(q\&DownArrow;)|\left|\right)=\exp \left(\frac{-{\left(\right||I_D^L(p\&DownArrow;)-I_D^L(q\&DownArrow;)|\left|\right)}^2}{2{{\mathrm{\&sigma;}}_2}^2}\right),$ σ₂表示低分辨率深度图像深度值的高斯滤波函数的标准差，符号“||||”为欧氏距离计算符号，exp()表示以自然基数e为底的指数函数，I_P-Edge(p)表示低分辨率深度图像的前景边缘掩膜图像中坐标位置为p的像素点的像素值。

6.根据权利要求5所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤⑤的具体过程为：

⑤-1、假设初步的高分辨率深度图像和需获取的最终的高分辨率深度图像中坐标位置为p的像素点与低分辨率深度图像中坐标位置为p↓的像素点相对应，其中，p∈Ω，Ω表示初步的高分辨率深度图像或需获取的最终的高分辨率深度图像中的所有像素点的坐标位置的集合，p↓∈Ω↓，Ω↓表示低分辨率深度图像中的所有像素点的坐标位置的集合；

⑤-2、判断以低分辨率深度图像中坐标位置为p↓的像素点为中心的3×3的滑动窗口内的所有像素点的像素值的方差是否大于或等于经验阈值T'，如果是，则确定低分辨率深度图像中坐标位置为p↓的像素点为不连续像素点，然后在低分辨率深度图像中以坐标位置为p↓的像素点为中心的5×5邻域窗口内，搜索一个像素值与初步的高分辨率深度图像中坐标位置为p的像素点的像素值的差值最小的像素点，再将搜索到的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值；否则，确定低分辨率深度图像中坐标位置为p↓的像素点为连续像素点，并直接将初步的高分辨率深度图像中坐标位置为p的像素点的像素值作为最终的高分辨率深度图像中坐标位置为p的像素点的像素值。

7.根据权利要求6所述的一种基于图像特征的低分辨率深度图像上采样方法，其特征在于所述的步骤⑤-2中取T'=0.01。