CN106095773B - 基于最短联合路径的深度图上采样方法 - Google Patents

Abstract

本发明给出了一种基于最短联合路径的深度图上采样方法，主要解决通过现有技术得到的上采样深度图像中深度边缘模糊和深度掺混问题。其实现步骤为：1.输入高分辨彩色图像和对应的低分辨深度图，将低分辨深度图对应到高分辨网格，得到待填充的高分辨深度图；2.计算欧式距离、颜色差异、梯度差异和边界四个分量，并通过对它们加权定义最短联合路径；3.采用全局遍历搜索算法，找出到每个目标点有最短联合路径的种子点；4.将搜索到的种子点的深度值赋给对应目标点，完成深度图的上采样，得到高分辨的深度图像。本发明能够快速高效的生成边缘清晰的上采样深度图像，在不同放大倍数下上采样结果稳定，可用于2D转3D技术和立体电视。

Description

基于最短联合路径的深度图上采样方法

技术领域

本发明属于图像处理技术领域，特别涉及一种深度图像上采样方法，可用于2D转3D，立体电视。

背景技术

由于3D视频可以提供身临其境的虚拟环境，被认为是未来多媒体的主要发展趋势。深度在人机交互、三维重建等3D应用领域中扮演着重要角色，深度图像的实时捕获受到了广泛关注。但是，深度传感器生产成本高，且其分辨率的提升速度远远低于市场需求，因此需要通过一些3D技术来获得高分辨的深度图。传统的方法主要有激光扫描法和被动立体视觉的方法，前者对设备要求高且做不到实时捕获，后者在图像渲染过程中不能解决遮挡区域的信息丢失问题，这两种方法都没能得到广泛应用。

近年来，使用深度相机捕获深度图像的方法已广泛应用于立体成像领域，深度相机由一个彩色摄像机和一个深度传感器组成，ToF传感器和Kinect是两个典型的深度传感器。深度相机可以通过彩色摄像机和深度传感器分别捕获高分辨彩色图和低分辨深度图，由于捕获的深度图像分辨率太低，深度上采样技术不可或缺并得到广泛研究。深度图上采样就是基于捕获的高分辨彩色图和低分辨深度图合成高分辨深度图的过程。

2007年，Kopf等人提出了联合双边滤波上采样(JBU)方法(J.Kopf,M.F.Cohen,D.Lischinski and M.Uyttendaele:Joint bilateral upsampling,ACM Trans.Graph,26,(3),pp.1–5,2007)，基于物理距离和颜色变化建立双边滤波函数，通过平滑滤波进行深度图像上采样。该算法简单易行，但是会伴随比较明显的深度边缘模糊和掺混现象。针对这一问题，S.B.Lee等人提出了一种不连续自适应的深度上采样(JBLM)方法(S.B.Lee,S.Kwonand Y.S.Ho:Discontinuity adaptive depth upsampling for 3D video acquisition,ELECTRONICS LETTERS 5^th,49(25),pp.1612–1614,2013)，在JBU算法的基础上，对深度边界上的点采用局部最小滤波函数，即在其邻域内选取有最小深度值的点并将其替换，这种方法在一定程度上改善了边界模糊现象，但是不能解决边界掺混问题。

Kang等人在2014年提出了基于马尔科夫随机场的深度图上采样方法(Y.S.Kang,S.B.Lee and Y.S.Ho:Depth map upsampling using depth local features,Electronics Letters,50,(3),pp.170-171,2014)，利用图像的局部特征设计目标函数，并通过优化目标函数得到高分辨深度图。该算法的缺点是，在优化过程中伴有误差传递并随之产生锯齿效应。

2013年，Ming-Yu Liu等人提出了著名的联合距离上采样(JGU)方法(M.Y.Liu,O.Tuzel and Y.Taguchi:Joint Geodesic Upsampling of Depth Images,CVPR,pp.169-176,2013.)，该算法给出了一种联合距离的定义，并依据该联合距离计算高分辨网格上每个目标点到所有种子点的联合路径长度，通过对K个有最短联合路径的种子点进行高斯滤波，求取目标点的深度值。其弊端在于，当彩色图像中被深度边缘覆盖的区域颜色相近或颜色丰富时，会出现明显的深度掺混现象。

上述几种算法虽说在同质区域能得到较好的上采样结果，但由于不能充分利用彩色图像信息且信息传递不具有全局性，导致得到的高分辨深度图像边缘不清晰。

发明内容

本发明的目的针对上述已有技术的不足，提出基于最短联合路径的深度图上采样方法，以得到深度边缘清晰的高分辨深度图像。

实现本发明目的技术方案是：通过定义一种新的联合距离，全局遍历搜索出到每个目标点有最短联合路径的种子点，用搜索到的种子点填充对应的目标点，得到边缘清晰的高质量上采样深度图像。其具体步骤包括如下：

1)输入高分辨彩色图I和低分辨深度图D_L，将低分辨深度图D_L对应到与彩色图I有相同分辨率的高分辨网格上，得到高分辨的待填充图像D_u；将待填充图像D_u中缺少深度信息的点作为待填充的目标点，即{x|D_u(x)＝0}，有深度信息的点作为种子点，即{y|D_u(y)≠0}；

2)在待填充图像D_u中，计算任意两个相邻像素点p和q之间的欧式距离分量d_D(p,q)；

3)在高分辨彩色图I中，计算任意两个相邻像素点p和q之间的颜色差异分量d_I(p,q)；

4)对高分辨彩色图I的灰度图进行求导，得到梯度图G，在梯度图G中，计算任意两个相邻像素点p和q之间的梯度差异分量d_G(p,q)；

5)采用Sobel算子对高分辨彩色图I进行边缘提取，并将边界像素赋值为1，非边界像素赋值为0，得到边界图E，在边界图E中，计算任意两个相邻像素点p和q之间的边界分量d_E(p,q)；

6)对上述四个分量进行加权，得到相邻两点p和q之间的联合距离d_p,q，

d_p,q＝d_D(p,q)+α·d_I(p,q)+β·d_G(p,q)+γ·d_E(p,q)，

其中α，β，γ分别是人为给出的颜色差异分量d_I，梯度差异分量d_G和边界分量d_E的权重系数；

7)在待填充图像D_u中，依据任意两点间的联合距离d_p,q，得出任意目标点x到种子点y的最短联合路径长L_x,y：

8)在待填充图像D_u中，采用由左上至右下的全局遍历搜索方式，搜索出经过第一次遍历后，到任意目标点x有最短联合路径的种子点y¹，并将存储给目标点x；

9)在待填充图像D_u中，采用由右下至左上的全局遍历搜索方式，再次搜索出经过第二次遍历后，到任意目标点x有最短联合路径的种子点y²，将目标点x中存储的信息更新为

10)在待填充图像D_u中，重复循环全局遍历搜索，其中奇数次循环按步骤8)进行，偶数次循环按步骤9)进行，直到第t次循环后任意目标点x中存储的种子点y^t，与t-1次循环后目标点x中存储的种子点y^t-1相同时，停止循环；

11)将任意目标点x中存储的种子点y^t的深度值赋给当前目标点x，完成深度图的上采样，得到最终的高分辨深度图像D_H。

本发明与现有技术相比具有以下特点：

1.本发明在联合距离的定义中，加入了梯度差异分量和边界分量，可以更准确的判断邻域中哪个点与当前目标点特征更为相似。

2.本发明通过对距离分量、颜色差异分量、梯度差异分量和边界分量进行加权，定义一种新的联合距离，该联合距离能更合理地反映两点间的真实距离，因此可直接将到达当前目标点有最短路径的种子点的深度值赋给该目标点，不需要求取前K个最近点后再平滑滤波，有效降低了计算复杂度。

3.本发明采用由左上至右下、由右下至左上的全局遍历搜索方式，在整幅图上搜索距离目标点有最短联合路径的种子点，较局部搜索方法，可以更准确有效的找到最优解。

4.本发明通过设置收敛条件，当目标点中的存储信息不再变化时即停止搜索，能在保证最优解的同时，有效避免重复操作，节省时间。

仿真实验结果表明，本发明能更准确的找出到达目标点有最短联合路径的种子点，用搜索到的种子点的深度值填充目标点，可以得到边界清晰的高质量高分辨深度图像。

附图说明

图1是本发明的实现总流程图；

图2是本发明中由左上至右下、由右下至左上的全局遍历搜索子流程图；

图3是仿真实验中使用的测试图像；

图4是对测试集Laundry，用现有三种典型方法与本发明将低分辨深度图进行上采样的结果对比；

图5是对测试集Doll，用现有三种典型方法与本发明将低分辨深度图进行上采样的结果对比；

图6是对测试集Doll，用现有五种方法与本发明将低分辨深度图进行上采样实验结果的数据分析。

具体实施方式

以下结合附图对本发明的具体实施方式和效果做进一步详细描述：

参照图1，本发明的实现步骤如下：

步骤1，输入高分辨彩色图I和低分辨深度图D_L，标记种子点与目标点。

输入测试集，包括高分辨彩色图I和低分辨深度图D_L，将低分辨深度图D_L对应到与彩色图I有相同分辨率的高分辨网格上，得到高分辨的待填充图像D_u；

将待填充图像D_u中缺少深度信息的点作为待填充的目标点，即{x|D_u(x)＝0}，将有深度信息的点作为种子点，即{y|D_u(y)≠0}，上采样的目的就是用种子点的深度值填充目标点。

本实例用到的测试集，来源于明德学院，Middlebury 2005dataset，http://vision.middlebury.edu/stereo/data/。

步骤2，计算欧式距离分量d_D。

在高分辨待填充图像D_u中，依据给定的上采样倍数r，计算任意两个相邻像素点p和q之间的欧式距离分量：

步骤3，计算颜色差异分量d_I。

在高分辨彩色图I中，求取任意两个相邻像素点p和q的像素绝对差值，得到任意两个相邻像素点p和q之间的颜色差异分量：d_I(p,q)＝||I(p)-I(q)||₂。

步骤4，计算梯度差异分量d_G。

对高分辨彩色图I的灰度图进行求导，得到梯度图G，在梯度图G中，计算任意两个相邻像素点p和q之间的梯度差异分量：d_G(p,q)＝||G(p)-G(q)||₂。

步骤5，计算边界分量d_E。

采用Sobel算子对高分辨彩色图进行边缘提取，并将边界处赋值为1，非边界处赋值为0，得到边界图E，计算相邻两点p和q之间的边界分量：d_E(p,q)＝||E(p)-E(q)||₂。

Sobel算子是通过滤波的形式提取边缘的，参考文献：P.E.Danielsson,O.Seger,“Generalized and Separable Sobel Operators,”Machine vision for three-dimensional scenes,Herbert Freeman(ed),Academic Press,1990.

此外边缘提取算子还有robert算子和prewitt算子。Robert算子是一种梯度算子，它用交叉的差分表示梯度，是一种利用局部差分算子寻找边缘的算子，对具有陡峭的低噪声的图像效果较好；prewitt算子是加权平均算子，对噪声有抑制作用，但是像素平均相当于对图像进行地同滤波，所以prewitt算子对边缘的定位不如robert算子。

步骤6，定义联合距离d。

对上述欧式距离分量d_D、颜色差异分量d_I、梯度差异分量d_G和边界分量d_E这四个分量进行加权，得到相邻两点p和q之间的联合距离d_p,q：

d_p,q＝d_D(p,q)+α·d_I(p,q)+β·d_G(p,q)+γ·d_E(p,q)，

其中α，β，γ分别是依经验人为给出的颜色差异分量d_I，梯度差异分量d_G和边界分量d_E的权重系数，实验中取α＝10，β＝r²，γ＝100。

步骤7，基于联合距离定义最短联合路径。

7a)在待填充图像D_u中，设P_j:{x,m₁,m₂,…m_i,y}为任意目标点x到种子点y的一条路径，即从目标点x出发，依次经过第一点m₁，第二点m₂，……，第i点m_i，共i个点可到种子点y，其中i为自然数；依据相邻两点间的联合距离d_p,q，定义路径P_j的联合路径长度：

即从目标点x逐点到种子点y的联合距离之和；

7b)设从目标点x到种子点y有{P₁,P₂,…,P_j,…,P_N}共N条路径，其中j∈[1,N]，对应的联合路径长度分别为则从目标点x到种子点y的最短联合路径长度：

步骤8，由左上至右下的全局遍历搜索。

在待填充图像D_u中，采用由左上至右下的全局遍历搜索方式，如图2(a)中的虚线箭头所示，搜索出经过第一次遍历后，到任意目标点x有最短联合路径的种子点y¹，并将存储给目标点x。

8a)找出当前点x斜上方，即正上方和左方的四个邻域点：{n_k|1≤k≤4}中的有效点，有效点n_k为已标记过的点，其中存储的信息是y_k是当前遍历下到有效点n_k有最短联合路径的种子点：

参照图2(a)，对于图示的4倍上采样，当前点x斜上方的四个邻域点n₁，n₂，n₃，n₄中，种子点n₁和目标点n₂、n₃为有效点，n₄为无效点；种子点n₁中存储的信息是到种子点n₁有最短联合路径的种子点是它本身，即y₁＝n₁；目标点n₂中存储的信息是是当前遍历下已经标记给目标点n₂的有效信息，同理目标点n₃中存储的信息是

8b)计算此时由当前点x途经有效点n_k到达种子点y_k的最短联合路径长度：

参照图2(a)，由当前点x途经有效点n₁到达种子点y₁的最短联合路径长度：由当前点x途经有效点n₂到达种子点y₂的最短联合路径长度：由当前点x途经有效点n₃到达种子点y₃的最短联合路径长度：

8c)依据以下公式找出第一次遍历后，到达当前目标点x有最短联合路径的种子点y¹：

参照图2(a)，从途径有效点n₁到达当前点x的最短联合路径途径有效点n₂到达当前点x的最短联合路径和途径有效点n₃到达当前点x的最短联合路径中，找出最短的那个联合路径：

若最短的联合路径为则到当前点x有最短联合路径的点：y¹＝y₁；

若最短的联合路径为则y¹＝y₂；

若最短的联合路径为则y¹＝y₃；

8d)将种子点y¹和从目标点x到种子点y¹的最短联合路径长度即存储给目标点x。

步骤9，进行由右下至左上的全局遍历搜索。

在待填充图像D_u中，采用由右下至左上的全局遍历搜索方式，如图2(b)中的虚线箭头所示，搜索出经过第二次遍历后，到任意目标点x有最短联合路径的种子点y²，将目标点x中存储的信息更新为

9a)参照图2(b)，找出当前点x斜下方，即正下方和右方的四个邻域点：{n_k|5≤k≤8}中的有效点；

9b)按照步骤8b)和步骤8c)，找出第二次遍历后，到任意目标点x有最短联合路径的种子点y²；

9c)将目标点x中存储的信息更新为种子点y²和从目标点x到种子点y²的最短联合路径长度即

步骤10，重复循环至所有目标点中的存储信息均保持不变。

10a)在待填充图像D_u中，重复循环全局遍历搜索，其中奇数次循环按步骤8)进行，偶数次循环按步骤9)进行，任意第s次全局遍历搜索结束时，找出当前循环后到达任意目标点x有最短联合路径的种子点y^s，并将目标点x中的存储信息更新为

10b)将经过第t次循环与t-1次循环后结果相比，若所有目标点中存储的种子点位置坐标均没有变化，即y^t＝y^t-1，则停止循环，此时所有目标点都已找到全局最优解，任意目标点x中都存储着到其有最短联合路径的种子点y^t；反之则继续循环。

步骤11，填充目标点。

将待填充图像中任意目标点x中存储的种子点y^t的深度值赋给当前目标点x，并保持原有种子点y的深度值不变，完成深度图的上采样，得到最终的高分辨深度图像D_H，即：

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为Core(TM)、3.20GHZ、内存4.00G、WINDOWS XP系统，Matlab R2012b平台上进行了仿真。

本发明选择两组测试图像进行仿真，这两组测试图像如图3，其中图3(a)是Laundry测试集的高分辨彩色图，图3(b)是Laundry测试集的高分辨深度图，图3(c)是Doll测试集的高分辨彩色图，图3(d)是Doll测试集的高分辨深度图。

实验开始前，对测试集中提供的高分辨深度图，分别进行2倍，4倍，8倍和16倍的降采样处理，得到待上采样的低分辨深度图像。

仿真方法：①双立方插值BC方法

②Kopf提出的联合双边滤波上采样JBU方法

③S.B.Lee提出的一种不连续自适应的深度图上采样JBLM方法

④基于马尔科夫域MRF方法

⑤Ming-Yu Liu提出的联合距离上采样JGU方法

⑥本发明基于最短联合路径的深度图上采样方法

3.仿真内容：

仿真1，对图3(a)和图3(b)中所示的Laundry测试集分别利用上述JBU，JBLM，JGU和本发明方法进行4倍和16倍的深度图上采样，结果如图4，其中：

图4(a)是通过JBU方法进行4倍上采样得到的高分辨深度图像；

图4(b)是通过JBLM方法进行4倍上采样得到的高分辨深度图像；

图4(c)是通过JGU方法进行4倍上采样得到的高分辨深度图像；

图4(d)是通过本发明方法进行4倍上采样得到的高分辨深度图像；

图4(e)是通过JBU方法进行16倍上采样得到的高分辨深度图像；

图4(f)是通过JBLM方法进行16倍上采样得到的高分辨深度图像；

图4(g)是通过JGU方法进行16倍上采样得到的高分辨深度图像；

图4(h)是通过本发明方法进行16倍上采样得到的高分辨深度图像。

从图4(a)，图4(b)，图4(c)和图4(d)中可以看出，当放大倍数较小时，通过四种方法中的每一种都可以得到质量较高的上采样图像；

从图4(e)和图4(f)中可以看出，基于局部滤波的JBU和JBLM方法，在放大倍数较大时瓶子周围会出现明显的深度模糊现象；

图4(g)所示的JGU方法表明，放大率较大时，红色衣物处的深度会向周边掺混；

从图4(e)，图4(f)，图4(g)和图4(h)中可以看出随着放大倍数增大，本发明表现出更明显的优势，有效解决了深度边缘模糊和深度掺混现象。

仿真2，对图3(c)和图3(d)中所示的Doll测试集分别利用上述JBU，JBLM，JGU和本发明方法进行4倍和16倍的深度图上采样，结果如图5，其中：

图5(a)是通过JBU方法进行4倍上采样得到的高分辨深度图像；

图5(b)是通过JBLM方法进行4倍上采样得到的高分辨深度图像；

图5(c)是通过JGU方法进行4倍上采样得到的高分辨深度图像；

图5(d)是通过本发明方法进行4倍上采样得到的高分辨深度图像；

图5(e)是通过JBU方法进行16倍上采样得到的高分辨深度图像；

图5(f)是通过JBLM方法进行16倍上采样得到的高分辨深度图像；

图5(g)是通过JGU方法进行16倍上采样得到的高分辨深度图像；

图5(h)是通过本发明方法进行16倍上采样得到的高分辨深度图像。

从图5(a)，图5(b)，图5(c)和图5(d)中可以看出，当放大倍数较小时，通过四种方法中的每一种都可以得到比较清晰的上采样图像；

从图5(e)和图5(f)中可以看出，JBU和JBLM方法在放大倍数较大时会出现明显的上采样错误；

图5(g)所示的JGU方法表明，放大率较大时，深度边缘掺混现象严重；

从图5(e)，图5(f)，图5(g)和图5(h)中可以看出，随着放大倍数增大，本发明表现出更明显的优势，实验结果表明上采样结果稳定。

仿真3，对图3(b)所示的Doll测试集图分别利用BC，JBU，JBLM，MRF和JGU方法与本发明方法进行2倍，4倍和8倍深度图上采样，并针对五个评价指标对实验结果进行数据分析。

五个指标分别是：

1)disc，边界区域的坏值点率，坏值点指与真实像素值相差1以上的点；

2)RMS，与真值的均方根误差；

3)SRMS，非边界区域处与真值的均方根误差；

4)bpr，坏值点率；

5)mad，坏值点处与真值的平均绝对值偏差。

针对所述五个评价指标进行数据分析，结果如图6，其中：

图6(a)是针对disc指标的结果分析；

图6(b)是针对RMS指标的结果分析；

图6(c)是针对SRMS指标的结果分析；

图6(d)是针对bpr指标的结果分析；

图6(e)是针对mad指标的结果分析。

从图6可以看出，本发明方法不仅能在主观视觉上得到较好的上采样结果，客观分析也表现出明显的优势。

Claims (8)

1.一种基于最短联合路径的深度图上采样方法，包括：

1)输入高分辨彩色图I和低分辨深度图D_L，将低分辨深度图D_L对应到与彩色图I有相同分辨率的高分辨网格上，得到高分辨的待填充图像D_u；将待填充图像D_u中缺少深度信息的点作为待填充的目标点，即{x|D_u(x)＝0}，有深度信息的点作为种子点，即{y|D_u(y)≠0}；

2)在待填充图像D_u中，计算任意两个相邻像素点p和q之间的欧式距离分量d_D(p,q)；

3)在高分辨彩色图I中，计算任意两个相邻像素点p和q之间的颜色差异分量d_I(p,q)；

4)对高分辨彩色图I的灰度图进行求导，得到梯度图G，在梯度图G中，计算任意两个相邻像素点p和q之间的梯度差异分量d_G(p,q)；

5)采用Sobel算子对高分辨彩色图I进行边缘提取，并将边界像素赋值为1，非边界像素赋值为0，得到边界图E，在边界图E中，计算任意两个相邻像素点p和q之间的边界分量d_E(p,q)；

6)对上述四个分量进行加权，得到相邻两点p和q之间的联合距离d_p,q，

d_p,q＝d_D(p,q)+α·d_I(p,q)+β·d_G(p,q)+γ·d_E(p,q)，

其中α，β，γ分别是人为给出的颜色差异分量d_I，梯度差异分量d_G和边界分量d_E的权重系数；

7)在待填充图像D_u中，依据任意两点间的联合距离d_p,q，得出任意目标点x到种子点y的最短联合路径长L_x,y：

8)在待填充图像D_u中，采用由左上至右下的全局遍历搜索方式，搜索出经过第一次遍历后，到任意目标点x有最短联合路径的种子点y1，并将存储给目标点x；

9)在待填充图像D_u中，采用由右下至左上的全局遍历搜索方式，再次搜索出经过第二次遍历后，到任意目标点x有最短联合路径的种子点y²，将目标点x中存储的信息更新为

10)在待填充图像D_u中，重复循环全局遍历搜索，其中奇数次循环按步骤8)进行，偶数次循环按步骤9)进行，直到第t次循环后任意目标点x中存储的种子点y^t，与t-1次循环后目标点x中存储的种子点y^t-1相同时，停止循环；

11)将任意目标点x中存储的种子点y^t的深度值赋给当前目标点x，完成深度图的上采样，得到最终的高分辨深度图像D_H。

2.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤2)中，在待填充图像D_u中，计算任意两个相邻像素点p和q之间的欧式距离分量d_D(p,q)，是依据给定上采样倍数r，得到任意两个相邻像素点p和q之间的欧式距离分量：||·||₂表示二范数。

3.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤3)中，在高分辨彩色图I中，计算任意两个相邻像素点p和q之间的颜色差异分量d_I(p,q)，是在高分辨彩色图I中，通过求取任意两个相邻像素点p和q的像素绝对差值，得到任意两个相邻像素点p和q之间的颜色差异分量：d_I(p,q)＝||I(p)-I(q)||₂，||·||₂表示二范数。

4.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤4)中，在梯度图G中，计算任意两个相邻像素点p和q之间的梯度差异分量d_G(p,q)，是在梯度图G中，计算任意两个相邻像素点p和q之间的梯度差异分量：d_G(p,q)＝||G(p)-G(q)||₂，||·||₂表示二范数。

5.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤5)中，在边界图E中，计算任意两个相邻像素点p和q之间的边界分量d_E(p,q)，是在边界图E中，计算任意两个相邻像素点p和q之间的边界分量：d_E(p,q)＝||E(p)-E(q)||₂，||·||₂表示二范数。

6.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤7)中，在待填充图像D_u中，依据任意两点间的联合距离d_p,q，得出任意目标点x到种子点y的最短联合路径长L_x,y，按如下步骤进行：

7a)在待填充图像D_u中，设P_j:{x,m₁,m₂,···m_i,y}为任意目标点x到种子点y的一条路径，即从目标点x出发，依次经过第一点m₁，第二点m₂，……，第i点m_i，共i个点可到种子点y，其中i为自然数；依据相邻两点间的联合距离d_p,q，定义路径P_j的联合路径长度：

7b)设从目标点x到种子点y有{P₁,P₂,···,P_j,···,P_N}共N条路径，其中j∈[1,N]，对应的联合路径长度分别为则从目标点x到种子点y的最短联合路径长：

7.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤8)中，在待填充图像D_u中，采用由左上至右下的全局遍历搜索方式，搜索出经过第一次遍历后，到任意目标点x有最短联合路径的种子点y¹，按如下步骤进行：

8a)找出当前点x斜上方，即正上方和左方的四个邻域点：{n_k|1≤k≤4}中的有效点，其中有效点n_k中存储的信息是y_k是当前遍历下到有效点n_k有最短联合路径的种子点；

8b)计算此时由当前目标点x经有效点n_k到种子点y_k的最短联合路径长度：

8c)依据以下公式找出第一次遍历后，到达当前目标点x有最短联合路径的种子点y¹：

8.根据权利要求1所述的基于最短联合路径的深度图上采样方法，其中步骤9)中，在待填充图像D_u中，采用由右下至左上的全局遍历搜索方式，再次搜索出经过第二次遍历后，到任意目标点x有最短联合路径的种子点y²，按如下步骤进行：

9a)找出当前目标点x斜下方，即正下方和右方的四个邻域点：{n_k|5≤k≤8}中的有效点，其中有效点n_k中存储的信息是y_k是当前遍历下到有效点n_k有最短联合路径的种子点；

9b)计算此时由当前目标点x经有效点n_k到种子点y_k的最短联合路径长度：

9c)依据以下公式找出经过第二次遍历后，到达当前目标点x有最短联合路径的种子点y²：