CN111145094A - 一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法 - Google Patents

Abstract

本发明属于图像处理领域，尤其涉及一种表面法向引导与图拉普拉斯先验约束的深度图像超分辨率(SR)重建方法。用于有效改善现有技术在深度图像重建过程中存在的边界伪影的问题。本发明将三维场景中物体表面法向与物体到相机距离之间的几何关系做为深度图的重建约束，融合进深度图的重建模型中。在这个模型中，法向图提供空间几何约束，图拉普拉斯矩阵提供分段平滑约束，通过求解这个优化模型得到最优重建高分辨率深度图。

Description

一种基于表面法向引导与图拉普拉斯先验约束的深度图增强 方法

技术领域

本发明属于图像处理领域，尤其涉及一种表面法向引导与图拉普拉斯先验约束的深度图像超分辨率(SR)重建方法。

背景技术

受硬件和传感技术的限制，通过传感器捕获的深度图像，相比于同一场景由彩色相机捕获的彩色图像，通常具有分辨率低，含有噪声、空洞等缺点。令x和y分别表示潜在的高质量深度图和由传感器捕获的低质量深度图，我们可以认为低质量深度图是高质量深度图的退化版本，退化模型为：

y＝Hx+n (1)

其中，H表示模糊和降采样矩阵，n表示噪声。由y重建x是一个不适定的逆问题，需要增加额外的先验信息和正则项使其更加适定。先验信息和正则项的选择在深度图重建过程中起到了至关重要的作用。传统的深度SR方法侧重于融合多个低分辨率(LR)深度图以获得高分辨率(HR)深度图像。Sebastian Schuon,Christian Theobalt,James Davis,andSebastian Thrun.2009.Lidarboost:Depth superresolution for tof 3d shapescanning.In 2009IEEE Conference on Computer Vision and PatternRecognition.IEEE,343–350.将用不同摄像机中心拍摄的多个低分辨率深度图结合到一个融合TOF传感器特性的优化框架中。AN Rajagopalan,Arnav Bhavsar,Frank Wallhoff,andGerhard Rigoll.2008.Resolution enhancement of pmd range maps.In Joint PatternRecognition Symposium.Springer,304–313.通过将原始高分辨率图像(HR)值域范围建模为马尔可夫随机场(MRF)，提出了一种融合多个低分辨率深度图像的贝叶斯框架。这些方法都是基于场景是静态的假设。此外，David Ferstl,Christian Reinbacher,Rene Ranftl,Matthias Rüther,and Horst Bischof.2013.Image guided depth upsampling usinganisotropic total generalized variation.In Proceedings of the IEEEInternational Conferenceon Computer Vision.993–1000.提出了一种基于各向异性全广义变分(TGV)的深度上采样模型，将深度上采样定义为一个使用高阶正则化项的凸优化问题。Yu Li,Dongbo Min,Minh N Do,and Jiangbo Lu.2016.Fast guided globalinterpolation for depth and motion.In European Conference on ComputerVision.Springer,717–733.提出在具有交替指导的加权最小二乘上执行快速指导内插(FGI)方法。

另一个研究方向是融合捕获的彩色信息和深度信息进行深度图的重建。JaesikPark,Hyeongwoo Kim,Yu-Wing Tai,Michael S Brown,and In So Kweon.2014.High-quality depth map upsampling and completion for RGB-D cameras.IEEETransactions on Image Processing 23,12(2014),5559–5572.提出彩色引导深度SR方法通过利用深度图与其相关彩色图像之间的结构相关性来提高恢复深度的准确性，从而获得了很好的性能。Yan jie Li,Tian fan Xue,Li feng Sun,and Jian zhuangLiu.2012.Joint example-based depth map super-resolution.In 2012IEEEInternational Conference on Multimedia and Expo.IEEE,152–157.提出了一种基于联合实例的方法，将彩色图像作为获得更多重建细节的参考。Jingyu Yang,Xinchen Ye,KunLi,Chunping Hou,and Yao Wang.2014.Color-guided depth recovery from RGB-D datausing an adaptive autoregressive model.IEEE transactions on imageprocessing23,8(2014),3443–3458.提出了一种基于采用自回归(AR)模型，在彩色项中添加双边滤波来保持局部图像结构的形状信息。WeiLiu,XiaogangChen,JieYang,andQiangWu.2016.Robust color guided depth map restoration.IEEE Transactionson Image Processing 26,1(2016),315–327.提出一个采用一种鲁棒的惩罚函数，用于构建彩色平滑项引导深度图恢复的模型。Weisheng Dong,Guangming Shi,Xin Li,KefanPeng,Jinjian Wu,and Zhenhua Guo.2016.Color-guided depth recovery via jointlocal structural and nonlocal low-rank regularization.IEEE Transactions onMultimedia 19,2(2016),293–301.提出了一种深度恢复优化方案，以彩色图像引导下的AR模型、全变分(TV)模型和低秩模型(LN)为指导。这些方法取得了明显的效果，证明彩色图像在地图重建中具有有效的指导作用。特别是当上采样倍数较大时，彩色图像纹理对重建的指导作用要大于对LR深度的深度不连续结构。然而，彩色导引图和深度图之间的纹理不一致，仍然会导致沿边界的许多错误重建结果。为了解决这个问题，Xiaoyong Shen,ChaoZhou,Li Xu,and Jiaya Jia.2015.Mutual-structure for joint filtering.InProceedings of the IEEE International Conference on Computer Vision.3406–3414.提出了目标图像和参考图像中的共同结构共同信息的概念。然而，忽略了目标图像本身的统计先验，因此具有有限的恢复性能。

发明内容

本发明解决的问题是：克服现有RGB-D深度图重建方法存在的不足，能有效改善现有技术在深度图像重建过程中存在的边界伪影的现象。提供一种表面法向引导与图拉普拉斯先验约束的深度图像增强方法。

为实现上述目的，本发明采用如下的技术方案：

一种表面法向引导与图拉普拉斯先验约束的深度图增强方法，包括以下步骤：

步骤1、使用现有法向估计方法由彩图获得相应三维场景的表面法向图N；

步骤2、将低分辨率图像Y通过插值的方法初始化为X⁰,大小为目标分辨率大小；设置相关参数；

步骤3、对深度图X⁰由二维空间坐标系转换为三维空间坐标系；

步骤4、对于初始图像X⁰，按照从上到下、从左到右的方式依次重叠地提取图像块

的大小为m×m，m可取5，8，10等常见图像块大小，但不宜过大；

步骤5、对于每个图像块

计算法向-深度估计算子K_s；

步骤6、对于每个图像块

计算图拉普拉斯矩阵L_r；

步骤7、对于每个图像块

使用共轭梯度(CG)方法迭代求解以下最小化问题得到重建后的高分辨率(HR)图像块x_i：

步骤8、将有重叠区域的图像块放置到原图对应位置，重叠区域的像素值按照重叠次数取平均值，得到最终高分辨率(HR)图像X。

每个步骤的具体操作如下：

步骤一的具体操作：使用文献Yinda Zhang and Thomas Funkhouser.2018.Deepdepth completion of a single rgb-d image.In Proceedings of the IEEEConference on Computer Vision and Pattern Recognition.175–185.所提供的基于深度学习的法向估计方法由彩图获得相应三维场景的表面法向图N，其中像素点i的法向量表示为n_i＝[n_ix,n_iy,n_iz]；

1.步骤二的具体操作：低分辨率的深度图使用Bicubic插值方法初始化为目标分辨率大小，设置相关参数：迭代次数K(可根据不同图像自行设定)以及模型相关参数包括：邻域控制参数(α≥0.95，β≤m(图像块的大小))，模型平衡参数λ＞0,γ＞0,η＞0，权重控制参数(σ_i＞0,i＝1,...,4)。

步骤三的具体操作：通过如下小孔成像模型将深度图像素坐标(u_i,v_i)由2维坐标系转换到3维空间坐标系(x_i,y_i,z_i)，其中z_i为3维场景物体到相机的深度值；

其中，c_x,c_y,f_x,f_y为相机内部参数，由相机获得。

步骤四及步骤五的具体操作：对图像按照从上到下、从左到右的方式依次重叠地提取图像块x_i，x_i的大小为m×m；对每一个图像块计算其法向-深度(NTD)估计算子，具体操作为：

(1)确定目标像素所在切平面Pi。对目标像素i，根据其3维空间坐标(x_i,y_i,z_i)及其空间法向量[n_ix,n_iy,n_iz]可得到他所在的空间切平面为：

n_ix(x-x_i)+n_iy(y-y_i)+n_iz(z-z_i)＝0； (3)

(2)为每个目标像素寻找邻域像素,

其中，β控制沿x-y方向邻域大小，α排除空间不共面的点。

(3)由邻域内像素j对目标像素i的深度做估计。邻域像素j的深度值是正确的，由像素j对目标像素i的估计记为z'_ji,

(5)对所有像素i的深度估计值进行加权平均作为像素i的深度值：

其中K是核函数，对邻域中像素j对目标像素i的估计值进行加权，

为归一化参数：

其中，

衡量像素i和像素j之间的几何距离，p∈{x,y,z}表示三维空间坐标的三个轴方向，n_ip表示像素i的法向n_i分别在p∈{x,y,z}方向上的分量，

衡量像素i和像素j的空间共面程度。σ₁，σ₂控制权重对几何距离和共面距离的敏感度，该参数设置越大，表示权重对几何距离和共面距离的敏感程度越大。

(6)定义法向-深度(NTD)估计算子

令x_i代表向量形式的低分辨率深度图像块，

代表向量形式的估计得到的高分辨率深度图像块。令

j∈M_i，则K_Q是图像块x_i的估计矩阵，K_Q的第i行为向量形式的

j∈M_i，代表了像素i的邻域像素j对i的估计权重，则有

则

为归一化后的估计矩阵。

步骤六的具体操作：对于第i个图像块x_i可被定义为一个加权无向图G(V,E,W)上的函数f，其中V是顶点集，E是边的集合，W是正定权重矩阵，W(i,j)＝W(j,i)。W(i,j)是链接顶点V_i和V_j的边的权重。

1)定义度矩阵D(对角阵)

度矩阵D的第i个对角元素是权重矩阵W第i行所有元素之和。两顶点之间权重可由下式得到：

2)定义图拉普拉斯矩阵

L＝D-W (11)

3)归一化图拉普拉斯矩阵

L_r＝D^-1/2LD^-1/2 (12)

步骤七的具体操作：联合法向-深度(NTD)估计算子和图拉普拉斯先验(GLR)构造如下优化模型：

其中y_i是低分辨率图像，x_i是待求解的高分辨率图像，K_s是归一化的法相-深度(NTD)估计算子，L_r是归一化的图拉普拉斯矩阵。为了方便迭代运算，对上式进行改进：

每次迭代优化得到的

都将作为下一次迭代的

当达到预设迭代次数，迭代结束，得到的

即为待重建的x_i，且上式可由共轭梯度(CG)进行求解。

有益效果

基于深度图像素深度与表面法向之间空间几何关系，本发明提出法向-深度(NTD)空间约束，同时，应用图信号重建中有效恢复分段平滑信号的图拉普拉斯正则辅助深度图的重建。结合两部分约束构建了深度图超分辨率重建模型。本发明有效的改善了现有技术在深度图像重建过程中存在的边界伪影的现象。

附图说明

图1表面法向几何约束与图拉普拉斯约束联合重建框架

图2三维场景表面法向与物体深度之间几何关系

图3本发明表面法向引导与图拉普拉斯约束的深度图增强方法8倍采样率下重建主观结果对比结果图；(a)由上至下分别为深度图、彩图、法向图(b)Groundtruth(c)ours(d)RCG(e)MSJF(f)LN(g)FGI(h)TGV；

具体实施方式

本发明提供一种表面法向引导与图拉普拉斯先验约束的深度图增强方法，将三维场景中物体表面法向与物体到相机距离之间的几何关系做为深度图的重建约束，融合进深度图的重建模型中。在这个模型中，法向图提供空间几何约束，图拉普拉斯矩阵提供分段平滑约束，通过求解这个优化模型得到最优重建高分辨率深度图。

问题描述：

y表示退化后的低分辨率深度图图像块，x是要重建的高分辨率深度图，通过低分辨率图像y恢复得到高分辨率图像x，是一个NP-hard问题。需要增加额外的先验信息和正则项使其更加适定。如何选择更有效的正则项使得重建误差更小是要解决的问题。

本发明的技术解决方案是：

通过物体表面法向与深度的几何先验信息和局部图拉普拉斯先验作为约束项构造一个优化模型，通过迭代求解该优化模型，得到误差更小的重建结果。为了能够更清楚地描述本发明的技术内容，下面结合具体实例来进一步的描述：

本发明的框架图如图1，具体实施过程分为两个阶段，约束条件准备阶段和联合约束重建阶段。本发明表面法向引导与图拉普拉斯先验约束的深度图增强方法包含两部分约束条件：1)法向-深度(NTD)估计算子构造的空间几何约束；2)图拉普拉斯矩阵构造的图拉普拉斯正则约束项(GLR)。

约束条件准备阶段：

一、法向-深度(NTD)估计算子的设计方法，包括以下步骤：

如图二所示，三维场景中物体到相机的距离(即深度图中像素深度)与物体表面的法向存在一定的几何关系。深度图中每个点的像素值表征该点到相机的距离，对应法向图中像素值表征该点所在空间切平面的法向量。在深度图平滑区域，相邻像素点的法向信息不会变化很大，而在深度不连续区域，每个像素点的法向信息将发生剧烈变化。由此，我们可以认为由相似法向量决定的空间切平面对像素的深度值起到空间约束作用。因此我们构造了如下法向-深度估计算子。

(1)坐标转换，通过如下小孔成像模型将深度图像素坐标(u_i,v_i)由2维坐标系转换到3维空间坐标系(x_i,y_i,z_i)，其中z_i为3维场景物体到相机的深度值；

x_i＝(u_i-c_x)*z_i/f_x；

y_i＝(v_i-c_y)*z_i/f_y；

其中，c_x，c_y为主点坐标，f_x，f_y为x-y方向的焦距。

(2)确定目标像素所在切平面Pi。对目标像素i，根据其3维空间坐标极其空间法向量可得到他所在的空间切平面为：

n_ix(x-x_i)+n_iy(y-y_i)+n_iz(z-z_i)＝0；

(3)为每个目标像素寻找邻域内像素,

其中，β控制沿x-y方向邻域大小，α排除空间不共面的点。

(4)由邻域内像素j对目标像素i的深度做估计。假设邻域像素j的深度值是正确的，由像素j对目标像素i的估计记为z'_ji,

对所有像素i的估计值进行加权平均作为像素i的深度值：

其中K是核函数，对邻域中各像素对目标像素的估计进行加权，S_k为归一化参数：

其中，

衡量像素i和像素j之间的几何距离，

衡量像素i和像素j的空间共面程度。σ₁，σ₂控制权重对几何距离和共面距离的敏感度。

(6)定义法向-深度(NTD)估计算子

令x_i代表向量形式的低分辨率深度图像块，

代表向量形式的估计得到的高分辨率深度图像块。令

j∈M_i，则K_Q是图像块x_i的估计矩阵，K_Q的第i行为向量形式的

j∈M_i，代表了像素i的邻域像素j对i的估计权重，则有

则

为归一化后的估计矩阵。

二、构造图拉普拉斯正则项(GLR)，具体步骤为：

第i个图像块x_i可被定义为一个加权无向图G(V,E,W)上的函数f，其中V是顶点集，E是边的集合，W是正定权重矩阵，W(i,j)＝W(j,i)。W(i,j)是链接顶点V_i和V_j的边的权重。

1)定义度矩阵D

度矩阵D的第i个对角元素是权重矩阵W第i行所有元素之和。两顶点之间权重可由下式得到：

衡量顶点V_i和V_j之间的几何距离，

衡量两点的光度距离，σ₃，σ₄控制权重对几何距离和光度距离的敏感性。

2)定义图拉普拉斯矩阵

L＝D-W

3)归一化图拉普拉斯矩阵

L_r＝D^-1/2LD^-1/2

4)定义图拉普拉斯正则项

其中，

则当x_i的相邻像素之间有相似像素值或两像素间边的权重W(i,j)足够小时，

就越小，通过最小化

能够起到沿局部结构平滑图像块x_i的作用。

联合约束重建阶段

联合法向估计深度(NTD)算子和图拉普拉斯先验(GLR)构造如下优化模型：

其中y_i是低分辨率图像，x_i是高分辨率图像，K_s是归一化的法相估计深度(NTD)算子，L_r是归一化的图拉普拉斯矩阵，λ，γ，η是平衡参数。为了方便迭代运算，对上式进行改进：

每次迭代优化得到的

都将作为下一次迭代的

最终迭代结束后得到的

即为待重建的x_i，且上式可由共轭梯度(CG)进行求解。算法：深度图超分辨率(SR)重建

输入：双三次插值得到的初始图像X⁰，法向图N

输出：重建高分辨率深度图X

初始化参数：K,α＞0.95,β＝m(图像块大小),λ＞0,γ＞0,σ_i＞0,i＝1,...,4；

步骤一：使用(2)式对深度图x⁰进行坐标系统转换

对每一个图像块进

行如下操作：

当迭代次数k＜K次时，进入循环：

步骤二：用(6)(8)式计算当前图像块的法向深度估计(NTD)算子；

步骤三：用(11)(12)式计算当前图像块的图拉普拉斯矩阵；

步骤四：通过求解(14)式得到高分辨率图像块；

步骤五：将高分辨率图像块

赋值给

进行下一次迭代；

当k≥K，结束循环。

当遍历完所有图像块，通过结合所有重建的深度图像块得到高分辨率图。

实施例1：

基于上述法向引导的图拉普拉斯约束的图像超分辨率重建方法

(1)将低分辨率图像Y通过Bicubic插值方法，初始化为目标大小的高分辨率深度图像X⁰；

(2)将图像X⁰按照从上到下、从左到右的方式依次重叠地提取图像块

的大小为m×m；m的大小优选取10；步长优选取1；

(3)对于每个图像块

进行如下k次迭代优化：

首先，计算每个图像块的法向深度估计算子K_s；

其次，计算每个图像块的图拉普拉斯矩阵L_r；

通过优化下式得到优化后的图像块，并赋值给图像块

(4)所有重建得到图像块x_i组合为重建后高分辨率深度图X；

总结

本发明在数据集Middlebury2014下进行了实验，实验证明，本发明能够取得良好的效果，图3和表1分别展示了本发明与现有主流方法在8倍采样率下主观和客观结果的对比。对比主流算法有：

RCG(WeiLiu,XiaogangChen,JieYang,andQiangWu.2016.Robust color guideddepth map restoration.IEEE Transactions on Image Processing 26,1(2016),315–327.)、MSJF(Xiaoyong Shen,Chao Zhou,Li Xu,and Jiaya Jia.2015.Mutual-structurefor joint filtering.In Proceedings of the IEEE International Conference onComputer Vision.3406–3414.)、LN(Weisheng Dong,Guangming Shi,Xin Li,Kefan Peng,Jinjian Wu,and Zhenhua Guo.2016.Color-guided depth recovery via joint localstructural and nonlocal low-rank regularization.IEEE Transactions onMultimedia 19,2(2016),293–301.)、FGI(Yu Li,Dongbo Min,Minh N Do,and JiangboLu.2016.Fast guided global interpolation for depth and motion.In EuropeanConference on Computer Vision.Springer,717–733.)、TGV(David Ferstl,ChristianReinbacher,Rene Ranftl,Matthias Rüther,and Horst Bischof.2013.Image guideddepth upsampling using anisotropic total generalized variation.In Proceedingsof the IEEE International Conference on Computer Vision.993–1000.)

为了证明两部分约束的有效性，本发明同样进行了消融实验，表2展示了当仅有NTD约束或仅有GLR约束以及联合约束重建时客观重建对比结果。实验结果证明了本发明中法向-深度估计约束的有效性，同时证明了联合两部分约束的重建方法取得更优的结果。

表1本发明表面法向引导与图拉普拉斯约束的深度图增强方法8倍采样率下重建RMSE标对比结果图

image	TGV	FGI	RCG	LN	MSJF	ours
							Jadeplant	16.49	13.71	14.20	15.60	14.71	11.03
Adiroback	2.50	2.67	2.25	3.22	3.01	2.54
							ArtL	7.15	5.19	4.87	5.81	5.60	4.27
Teddy	1.50	1.83	1.69	1.81	1.63	1.17
							Recycle	2.08	2.02	1.85	2.15	1.89	1.52
Playroom	4.72	4.28	4.07	4.72	3.89	3.11
							Playtable	2.53	2.79	2.15	2.85	2.27	2.11
Motorcycle	5.43	5.08	4.38	5.47	4.63	3.93
							Pipes	7.68	6.05	7.70	7.01	8.18	4.87
Shelves	2.06	2.41	2.01	2.13	1.77	1.42
							Vintage	3.81	2.19	1.98	2.07	1.62	1.37
Piano	2.38	2.52	2.06	1.85	2.01	1.30

表2本发明法向估计深度(NTD)与图拉普拉斯先验(GLR)两约束消融实验RMSE指标对比结果

Claims (8)

1.一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，基于对同一对象由彩色相机捕获的彩色图像和由传感器捕获的低分辨率深度图Y，其特征在于包括以下步骤：

步骤1、使用现有法向估计方法从彩色图像中获得相应三维场景的表面法向图N；

步骤2、将低分辨率深度图像Y通过插值的方法初始化为X⁰,大小为目标分辨率大小；设置相关参数；

步骤3、对深度图X⁰由二维空间坐标系转换为三维空间坐标系；

步骤4、对于初始图像X⁰，按照从上到下、从左到右的方式依次重叠地提取图像块

的大小为m×m；

步骤5、对于每个图像块

计算法向-深度估计算子K_s；

步骤6、对于每个图像块

计算图拉普拉斯矩阵L_r；

步骤7、对于每个图像块

使用共轭梯度(CG)方法迭代求解以下最小化问题得到

即为重建后的高分辨率(HR)图像块x_i：

步骤8、将有重叠区域的图像块放置到原图对应位置，重叠区域的像素值按照重叠次数取平均值，得到最终高分辨率(HR)图像X。

2.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于步骤一的具体操作为：使用文献Yinda Zhang and ThomasFunkhouser.2018.Deep depth completion of a single rgb-d image.In Proceedingsof the IEEE Conference on Computer Vision and Pattern Recognition.175–185.所提供的基于深度学习的法向估计方法由彩图获得相应三维场景的表面法向图N，其中像素点i的法向量表示为n_i＝[n_ix,n_iy,n_iz]。

3.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于步骤二的具体操作：低分辨率的深度图使用Bicubic插值方法初始化为目标分辨率大小，相关参数包括：迭代次数K，可根据不同图像自行设定，以及模型相关参数包括：邻域控制参数α≥0.95，β≤m，m为图像块大小，模型平衡参数λ＞0,γ＞0,η＞0，权重控制参数σ_i＞0，i＝1，...，4。

4.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于步骤三的具体操作：通过如下小孔成像模型将深度图像素坐标(u_i,v_i)由2维坐标系转换到3维空间坐标系(x_i,y_i,z_i)，其中z_i为3维场景物体到相机的深度值；

x_i＝(u_i-c_x)*z_i/f_x；

y_i＝(v_i-c_y)*z_i/f_y；

其中，c_x,c_y,f_x,f_y为相机内部参数，由相机获得。

5.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于步骤五的具体操作：

(1)对于图像块中的任一像素i，确定像素所在切平面Pi，根据其3维空间坐标(x_i,y_i,z_i)及其空间法向量n_i＝[n_ix,n_iy,n_iz]^T可得到像素i所在的空间切平面为：

n_ix(x-x_i)+n_iy(y-y_i)+n_iz(z-z_i)＝0，

(x，y，z)为切平面上的点；

(2)为每个像素寻找邻域像素，其中像素i的邻域像素集合M_i表示如下：

其中，β用于控制沿x-y方向邻域大小，α用于排除空间不共面的点；

(3)由邻域内像素j对目标像素i的深度做估计，已知邻域像素j的深度值，由像素j对目标像素i的估计记为z'_ji,

并得到

(5)对所有像素i的估计值进行加权平均作为像素i的最终深度值：

其中K是核函数，用于对邻域中像素j对目标像素i的估计值进行加权，

为归一化参数：

其中，

衡量像素i和像素j之间的几何距离，p∈{x,y,z}表示三维空间坐标的三个轴方向，n_ip表示像素i的法向n_i分别在p∈{x,y,z}方向上的分量，

衡量像素i和像素j的空间共面程度，σ₁，σ₂控制权重对几何距离和共面距离的敏感度，该参数设置越大，表示权重对几何距离和共面距离的敏感程度越大；

(6)定义法向-深度(NTD)估计算子

令x_i代表向量形式的低分辨率深度图像块，

代表向量形式的估计得到的高分辨率深度图像块，令

j∈M_i，则K_Q是图像块x_i的估计矩阵，K_Q的第i行为向量形式的

j∈M_i，代表了像素i的邻域像素j对i的估计权重，则有

则

为归一化后的估计矩阵。

6.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于步骤六的具体操作：对于第i个图像块x_i可被定义为一个加权无向图G(V,E,W)上的函数f，其中V是顶点集，E是边的集合，W是正定权重矩阵，W(i,j)＝W(j,i)，W(i,j)是链接顶点V_i和V_j的边的权重；

1)定义度矩阵D(对角阵)

度矩阵D的第i个对角元素是权重矩阵W第i行所有元素之和，两顶点之间权重可由下式得到：

其中，f(i)表示像素i的像素值；

2)定义图拉普拉斯矩阵

L＝D-W

3)归一化图拉普拉斯矩阵

L_r＝D^-1/2LD^-1/2。

7.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于步骤七的具体操作：联合法向-深度(NTD)估计算子和图拉普拉斯先验(GLR)构造如下优化模型：

其中y_i是低分辨率图像，x_i是待重建高分辨率图像，K_s是归一化的法相-深度(NTD)估计算子，L_r是归一化的图拉普拉斯矩阵，λ,γ,η为平衡参数，为了方便迭代运算，对上式进行改进：

每次迭代优化得到的

都将作为下一次迭代的

当达到预设迭代次数，迭代结束，得到的

即为待重建的x_i，且上式可由共轭梯度(CG)进行求解。

8.根据权利要求1所述的一种基于表面法向引导与图拉普拉斯先验约束的深度图增强方法，其特征在于：步骤4中所述m可取5，8，10常见图像块大小，但不宜过大。

Images