CN105427253B - 基于非局部回归和总差分的多视点rgb-d图像超分辨率方法 - Google Patents

Abstract

本发明提供一种基于非局部回归和总差分的多视点RGB‑D图像超分辨率方法，该方法包含以下步骤：1)对输入多视点RGB‑D图像估计其他视点下相对于参考视点图像的偏移量，对参考视点深度图放大，并利用放大的深度图构建多视点RGB图与超分辨率结果间的映射矩阵；2)将RGB图像的超分辨率问题构建为能量最优化问题，并利用归一化的总差分做为约束项，实现RGB图像的超分辨率；3)基于所重构的RGB超分辨率图像，将非局部约束项耦合到一个二次矩阵系统中实现深度图超分辨率。本发明所提出的RGB‑D图像超分辨率方法对充分利用了深度图和RGB图见的相关性，实现了彼此超分辨率效果的有效提高。

Description

基于非局部回归和总差分的多视点RGB-D图像超分辨率方法

技术领域

本发明涉及图像超分辨率技术领域，具体涉及一种基于非局部回归和总差分的多视点RGB-D图像超分辨率方法。

背景技术

随着4K时代的到来，高清图像的应用和需求日益增多，图像超分辨率技术的成为不可或缺的图像恢复手段，也被视为第二代图像恢复技术，为后续图像处理和可视化提供了良好的细节信息和显著的特征，同时也便利于后续的基于几何的计算机图形应用(例如：三维重构和3D打印等)。不同于传统的图像恢复技术，图像超分辨率的目的是通过最大化的利用输入单张图像或图像序列中的固有信息来生成一个高质量的放大图像，其中由于输入图像为超分辨率图像的模糊、下采样以及噪声等一系列操作的结果，因此，图像超分辨率技术被视为一个病态的图像逆问题。

常用的图像超分辨率方法可分为三种，分别为：基于插值的方法、基于重构的方法、基于学习的方法。基于插值的方法通常应用线性或非线性插值技术实现图像的超分辨率，该类方法简单快速易实现，被广泛的应用于现存的商业软件中。但是由于基于插值的方法仅使用了插值位置周边的有限信息做为插值依据，通常会造成插值效果中包含锯齿、边界过模糊以及细节信息丢失。对于基于重构的方法而言，输入图像序列的多幅图像需要使用图像配准技术来获得图像间的相关性，由于输入低分辨率图像通常比较模糊，且包含了有限的特征信息，造成了现有的图像配准技术并适用于该类低分辨率的图像，也不能得到准确的图间相关性，因此后续的基于重构的方法不能得到满意的超分辨率效果。同时现存的基于重构的技术为了能够得到好的重构效果，均采用了约束项从大量的重构效果中获得一个满意的结果，但目前的约束项并不能保证所获得重构效果和真实高清图像的有效一致性。第三类基于学习的方法利用了外部高低分辨率数据集，通过学习高低分辨率图像对间的相关性，在算法获得最小重构误差时，建立了高分辨率图像对间的映射关系，并将该映射关系应用于测试数据中。该类方法最大的问题是外部图像集的选择问题，过小的图像集不能达到有效的训练效果，过大的图像集造成训练时间过长且存在重构数据过拟合的现象，同时该类方法过度依赖于测试图像和训练图像间的相似性。以上三类图像超分辨率技术也被应用于深度图的超分辨率应用中，被针对深度图的特殊应用需求，在以上三类方法的基础上，将彩色图像做为先验信息来实现深度图的放大，该类方法需要一个额外的高分辨率RGB图像的辅助设备来获取高清图像。针对通常使用的Microsoft Kinect，所获得RGB图像及深度图的默认分辨率俊文640×480，因此针对此类应用，深度图的超分辨率将及其困难。

目前RGB-D图像超分辨率的关键技术在于如何利用深度图和RGB图像间的固有相关性构建图像序列间的映射关系，如何设计一个有效的先验信息使得重构超分辨率图像能最大限度的与真实的高清图像保持一致，如何利用RGB图像与深度图间的相关性实现深度图的超分辨率等。

为了解决上述问题，本发明非局部回归和总差分的多视点RGB-D图像超分辨率方法，该方法通过初始化的超分辨率深度图构建参考图像的点云，并利用小孔成像原理构建输入图像序列与超分辨率重构图像间的映射矩阵，提高了低分辨率输入图像间的配准精度；利用所提出的归一化的双边总差分约束项，并使用主对偶求解方法快速实现RGB图像的超分辨率，该约束项有效的保持了重构的RGB图像与真实高清图像的一致性，使得所获得的重构高分辨率图像较好的保持了细节和边界的清晰性；基于所重构的RGB图像，利用所提出的基于像素点的非局部回归方法实现深度图的重构，该重构方法提高了算法的求解速度，同时RGB信息的使用有效的防止了深度彩色信息的不一致问题。

发明内容

本发明要解决的技术问题是：克服了现有算法对图像配准技术的依赖性，提供了一种基于深度图的图间映射矩阵构建方法，通过小孔成像技术，提高了所发明的算法的理论可行性。克服了总差分方法重构效果存在的锯齿和过模糊的现象，提出了归一化的双边总差分先验的RGB图像超分辨重构方法；克服了基于RGB图像构建超分辨率深度图稳定性第、边界模糊以及细节丢失的问题，提出了基于非局部回归和RGB图像诱导的深度图超分辨率方法。

本发明采用的技术方案为：一种基于非局部回归和总差分的多视点RGB-D图像超分辨率方法，包括以下步骤：

步骤(1)、基于深度图的图间映射矩阵构建：将参考视点的深度图利用Bicubic算法插值到目的超分辨率维数，并利用反向投影技术获得参考视点的点云重构，并使用MonoSLAM算法获取图像序列相对于参考图像的偏移量，利用重构的点云数据、深度信息、偏移量以及小孔成像原理，分别构建相同视点下超分辨率图像和低分辨率图像间的映射矩阵和不同视点下的低分辨率输入图像和超分辨率图像间的映射矩阵，实现了映射矩阵M的初始化；

步骤(2)、基于归一化的双边总差分的RGB图像超分辨率：通过步骤(1)所获得的映射矩阵，并利用所提出的归一化的双边总差分先验知识，构建RGB图像重构能量函数，利用主对偶算法实现重构图像的快速求解，该步骤所使用的改进的总差分先验能够有效的保证重构的超分辨率图像与真实的高清图像的一致性，并且所使用的主对偶求解方法可以保证求解过程的快速性；

步骤(3)、基于非局部回归和RGB图像诱导的深度图超分辨率：通过步骤(2)中重构的超分辨率RGB图像，使用了基于方差的RGB图像通道选择方法获得结构特征最强的通道，利用深度图和所选择通道的RGB图像的双边核信息构建图像的重构系数，并使用非局部约束构建深度图的重构优化函数，该步骤有效的防止了深度彩色信息的不一致问题。

进一步的，步骤(1)中所述的深度图的图间映射矩阵构建方法，有效的解决了低分辨率图像间的配准不准确性问题，降低了对图像配准算法的依赖性提高了算法映射矩阵构建的准确性。

进一步的，步骤(2)中所述的基于归一化的双边总差分的RGB图像超分辨率，提出了一个归一化的双边总差分的先验知识，并将其做为约束项来构建RGB图像的优化函数，并利用主对偶算法实现图像的快速重构，该方法提出了一个全新的先验知识，该先验知识能有效的保证重构的超分辨率图像和真实的高清图像间的一致性，同时所使用的主对偶方法能有效的加快算法的求解速度，减少的求解时间，提高了算法实时性。

进一步的，步骤(3)中所述的基于非局部回归和RGB图像诱导的深度图超分辨率方法，首先将步骤(2)所构建的RGB超分辨率图像做为先验信息，并通过使用基于像素点的重构方法，提出了基于局部方差的RGB图像通道选择方法，利用了所选择通道的图像结构信息和输入的深度信息来构建重构系数，采用了非局部的构建方法来获取最相似的重构约束项，使用预条件共轭梯度算法来实现二次函数的快速求解；该方法利用了通道选择方法和RGB图像的局部结构信息，有效的防止了深度彩色信息的不一致问题，有效的提高了算法的边界和细节信息的重构准确性；同时使用了非局部的重构约束项增加了约束像素点的候选项，提高了算法的求解稳定性。

本发明的原理在于：

(1)本发明所提出的基于深度图的图间映射矩阵构建方法，该发明基于小孔成像原理，利用了深度图和RGB图像间的固有关系构建图像序列与重构图像的映射矩阵，有效的减少了对配准算法的强依赖性，提高了算法的准确性。

(2)本发明所提出的基于归一化的双边总差分的RGB图像超分辨率方法，通过使用归一化的双边总差分先验知识做为重构约束项，有效的保留了细节信息和提高了重构结果中边界的清晰性，提高了重构的超分辨率图像和真实的高清图像间的一致性。

(3)本发明所提出的基于非局部回归和RGB图像诱导的深度图超分辨率方法，利用了RBG三通道的不同结构表示能力构建局部结构核，并使用深度信息构建非局部重构系数，有效的防止了深度彩色信息的不一致问题，提高了算法的边界和细节信息的重构准确性，提高了算法的求解稳定性。

本发明与现有技术相比的优点在于：

1、本发明提出的基于深度图的图间映射矩阵构建方法，一方面利用了小孔成像原理，使得该算法具有较好的理论依据，另一方面采用映射矩阵构建方法有效的降低了对图像配准算法的依赖性。

2、对比已有基于重构的图像超分辨率算法，本发明提出的基于归一化的双边总差分重构方法，具有更好的信息保护能力，提高了重构的超分辨率图像和真实的高清图像间的一致性。

3、本发明提出的基于非局部回归和RGB图像诱导的深度图超分辨率方法，三通道RGB图像信息同时使用造成的重构结果边界模糊和细节丢失问题，提高了算法的结构清晰性，非局部重构方法的使用增加了候选约束像素点和提高了算法的稳定性。

附图说明

图1为基于非局部回归和总差分的多视点RGB-D图像超分辨率方法流程图；

图2为小孔成像及相机参数矩阵映射关系图；

图3为归一化双边总差分先验知识对比图；

图4为非局部回归权重计算及候选像素点示意图；其中(a)：深度相似性；(b)：RGB相似性；(c)：最终相似性；(d)：候选像素点；(e)：放大效果；

图5为RGB图像超分辨率效果对比图；其中(a)：本发明算法效果图；(b)：Bicubic效果图；(c)：Shan08效果图；(d)：Yang10效果图；(e)：ANR13效果图；(f)：SCRNN14效果图；(g)：JOR15效果图；

图6为RGB图像超分辨率效果对比图；其中(a)：真实高分辨率图像；(b)：Bicubic效果图；(c)：Shan08效果图；(d)：Yang10效果图；(e)：ANR13效果图；(f)：SCRNN14效果图；(g)：JOR15效果图；(h)：本发明算法效果图；

图7为深度图超分辨率效果对比图；其中(a)：Shan08效果图；(b)：Yang10效果图；(c)：ANR13效果图；(d)：SCRNN14效果图；(e)：JOR15效果图；(f)：本发明算法效果图；

图8为本发明算法8倍、16倍、20倍RGB超分辨率效果图；

图9为深度图超分辨率效果及残差对比图；其中(a)：Shan08效果图；(b)：Yang10效果图；(c)：ANR13效果图；(d)：SCRNN14效果图；(e)：JOR15效果图；(f)：本发明算法效果图；

图10为RGB和深度图4倍放大倍数下统计效果对比图；

图11为RGB和深度图4倍放大倍数下统计效果对比图；

图12为RGB和深度图在四个数据下，4倍放大倍数时PSNR和RMSE曲线和直方图统计效果对比图；其中(a)：PSNR曲线统计图；(b)：RMSE曲线统计图；(c)：PSNR直方图；(d)：RMSE直方图；

图13为RGB图诱导的深度图超分辨率效果对比图；其中(a)：真实高分辨率图像；(b)：JGF13效果图；(c)：TGV13效果图；(d)：Edge14效果图；(e)：AAR14效果图；(f)：本发明算法效果图；

图14为本发明算法4倍、8倍、16倍RGB图像诱导下的深度图超分辨率效果图；其中(a)：4倍效果图；(b)：8倍效果图；(c)：16倍效果图；

图15为图像诱导下的深度图4倍放大倍数下统计效果对比图。

具体实施方式

下面结合附图及具体实施方式进一步说明本发明。

图1给出基于非局部回归和总差分的多视点RGB-D图像超分辨率方法的总体处理流程。

本发明提供一种基于非局部回归和总差分的多视点RGB-D图像超分辨率方法，其主要步骤介绍如下：

1、基于深度图的图间映射矩阵构建

在构造图像间映射矩阵前，需要使用相机定位算法来估计相机参数，本发明使用了基于特征信息的MonoSLAM算法来估计每个图像所对应相机的参数，进而构建相同视点和不同视点下的图间映射矩阵。

对于相同视点，小孔成像原理使用相机的内参A(包括焦点c和焦距f)、平移矩阵t和旋转矩阵R来描述成像过程。对于参考视点0，相对应的高分辨率RGB-D图像使用了相同的平移矩阵t₀和旋转矩阵R₀和不同的内参A_0H来获得。图2显示了放大倍数为β时，超分辨率相机(焦点c_0H和焦距f_0H)与相同视点下低分辨率相机间的内参参数映射关系：c_0H＝βc₀，f_0H＝βf₀，因此相同视点下的低分辨率输入图像和所需重构的高分辨率图像间的映射矩阵由内参A₀和A_0H来决定，同时参考视点下的映射矩阵M₀应满足关系M₀I＝I₀，因此，参考视点下的映射矩阵为下采样矩阵，像素间的对应关系为I₀(i,j)＝I(βi,βj)。

对于不同视点，由于相机内参、平移矩阵和旋转矩阵均不相同，因此映射矩阵M_i的构建相对复杂。对于参考视点0下的高分辨率像素位置I(x,y)＝[x,y,1]^T和相关的深度值d(x,y)，本发明利用反向投影原理可以获得其在3D空间内的对应位置，其映射关系被定义如下：

其中，R₀为单位矩阵，t₀为零向量。该高分辨率像素位置在视点i下的投影位置可以通过以下公式获得(A_i＝A₀，R_i＝R₀,t_i)：

其中，ω((u,v,w))＝(u/w,v/w)，因此给定高分辨率图像中的像素坐标(x,y)，其所对应的视点i下的低分辨率图像中的像素坐标(u,v)即可通过获得，因此不同视点下的映射矩阵M_i被构建通过所获得的像素坐标(u,v)。该映射矩阵的构建过程通过利用3D空间的深度图，从而避免了显式的使用配准算法，提高了算法的准确性。

2、基于归一化的双边总差分的RGB图像超分辨率方法

本发明形式化RGB图像超分辨率优化函数如下：

其中，为图像保真项，B为模糊核的卷积矩阵表示形式，E_NB(I)为归一化的双边总差分约束项，λ₁为权重参数。约束项E_NB(I)被定义如下：

Ψ(m)＝0.7^m,m＝1,2,...Ψ(m)为空间权重，Φ(I,m)为广义化的双边数字总差分，拥有更大的邻居定义范围，包含了四个通用的离散滤波器，定义如下：

Φ(I,m)被定义为图像I与以上四个卷积核的卷积结果。空间权重Ψ(m)将弱化远距离像素位置的影响力，被视为空间结构核，函数Φ(I,m)增加了强不一致性像素的约束力，被视为范围核，||Ψ(m)Φ(I,m)||₁被称为双边总差分。同时||Ψ(m)Φ(I,m)||₂为L2范数，用于归一化的双边总差分项||Ψ(m)Φ(I,m)||₁，因此约束项E_NB(I)被命名为归一化的双边总差分。实验中参数m通常设置为2，表示了像素点的2环邻域。图3显示了本发明所提出的归一化的双边总差分先验知识能更好的保持重构的超分辨率图像和真实的高清图像间的一致性。

因此，RGB图像超分辨率重构的优化函数被定义如下：

由于归一化的双边总差分项以上优化函数为非凸。当||Ψ(m)Φ(I,m)||₂固定时，以上的优化函数将简化为L2约束的凸优化问题，被定义如下：

其中，重权重参数λ＝λ₁||Ψ(m)Φ(I,m)||₂，以上优化函数将能够通过使用主对偶算法被快速求解，同时该优化函数的矩阵乘表示形式表示如下：

其中H_{x1_1}为离散滤波器的卷积表示形式，其他卷积矩阵H_{y1_1},H_{y2_m}表示形式类似。以上优化函数可简化为其中P(SI)＝||SI||₁，

3、基于非局部回归和RGB图像诱导的深度图超分辨率方法

相似于RGB图像的超分辨率，深度图超分辨率优化函数被定义如下：

其中，为图像保真项，E_NL(D)为非局部回归约束项，λ₂为权重参数。约束项E_NL(D)被定义如下：

其中1为单位矩阵，W为非局部回归系数矩阵，定义为S_i为归一化参数，和分别为深度和RGB权重项，为使用Bicubic算法初始化的超分辨率深度图。RGB权重项被使用来防止深度彩色信息的不一致问题。深度权重项定义为深度图的高斯函数表示形式：σ₁为标准差，被用于控制深度相似性。同时，RGB权重项也被定义为高斯函数表示形式，但本发明不同于其他算法所使用的像素窗口计算方法，而采用了单像素来计算相似性。因此，RGB权重项被定义如下：

⊙表示为Hadamard逐元素乘，V_i表示了在所选择RGB通道提取的中心坐标为i的图像片，V为RGB三通道中图像片方差最大的一个通道，被用于能更好的获取RGB图像结构特征。F_i算子为所提取图像片的双边滤波器核，使用该局部结构核来生成更多的候选图像点，从而保证所构建的优化函数具有较小的条件数，进而促使所构建的优化函数为恰定。算子F_i被定义如下：

v_i其中为通道v像素坐标i处的灰度值，σ₃和σ₄分别为双边滤波器的空间和范围参数标准差，被用于控制边相应。图4显示了所使用的非局部回归方法能够获得更多的候选图像点。对于像素坐标i搜索窗口范围内的任意像素j，首先计算权重w_ij，若权重w_ij满足w_ij≥0.98或者位于前15个，则该像素点被用于非局部回归重构，相应的回归系数矩阵被定义如下：

基于所构建的非局部回归系数矩阵W，基于RGB图像的深度图超分辨率优化函数被定义如下：

该优化函数为凸，其全局最优解可通过求解以下二次矩阵系统得到：

该二次矩阵系统可通过预条件共轭梯度法快速求解。

4、本发明在Kinect所获取的RGB-D图像超分辨率处理中的应用

本发明所提出的一种基于非局部回归和总差分的多视点RGB-D图像超分辨率方法，通过Matlab实现，运行在Windows 7 64位系统上。实验使用的硬件配置是Intel i7-3770处理器，24G内存。图5～图7给出了所发明算法在RGB图像上放大4倍的超分辨率效果图，并对比了近期的多种算法，图8给出了所发明算法放大8倍、16倍、20倍的效果图，图9给出了深度图放大4的效果图，图10和图11给出了统计数据图，图12给出了PSNR和RMSE曲线图和直方图在四个数据集上的统计对比图，图13给出了所发明算法在RGB图像诱导的深度图放大4倍的超分辨率效果图，并对比了近期的多种算法，图14给出了所发明算法放大4倍、8倍、16倍的效果图，图15给出了统计数据图。

本发明未详细阐述的技术内容属于本领域技术人员的公知技术。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于非局部回归和总差分的多视点RGB-D图像超分辨率方法，其特征在于包括以下步骤：

步骤(1)、基于深度图的图间映射矩阵构建：将参考视点的深度图利用Bicubic算法插值到目的超分辨率维数，并利用反向投影技术获得参考视点的点云重构，并使用MonoSLAM算法获取图像序列相对于参考图像的偏移量，利用重构的点云数据、深度信息、偏移量以及小孔成像原理，分别构建相同视点下超分辨率图像和低分辨率图像间的映射矩阵和不同视点下的低分辨率输入图像和超分辨率图像间的映射矩阵，实现了映射矩阵M的初始化；

步骤(2)、基于归一化的双边总差分的RGB图像超分辨率：通过步骤(1)所获得的映射矩阵，并利用所提出的归一化的双边总差分先验知识，构建RGB图像重构能量函数，利用主对偶算法实现重构图像的快速求解；

步骤(3)、基于非局部回归和RGB图像诱导的深度图超分辨率：通过步骤(2)中重构的超分辨率RGB图像，使用了基于方差的RGB图像通道选择方法获得结构特征最强的通道，利用深度图和所选择通道的RGB图像的双边核信息构建图像的重构系数，并使用非局部约束构建深度图的重构优化函数；

具体步骤如下：

步骤(1)、基于深度图的图间映射矩阵构建

在构造图像间映射矩阵前，需要使用相机定位算法来估计相机参数，使用了基于特征信息的MonoSLAM算法来估计每个图像所对应相机的参数，进而构建相同视点和不同视点下的图间映射矩阵；

对于相同视点，小孔成像原理使用相机的内参A、平移矩阵t和旋转矩阵R来描述成像过程，内参A包括焦点c和焦距f，对于参考视点0，相对应的高分辨率RGB-D图像使用了相同的平移矩阵t₀和旋转矩阵R₀和不同的内参A_0H来获得，放大倍数为β时，超分辨率相机的焦点c_0H和焦距f_0H与相同视点下低分辨率相机间的内参参数映射关系：c_0H＝βc₀，f_0H＝βf₀，因此相同视点下的低分辨率输入图像和所需重构的高分辨率图像间的映射矩阵由内参A₀和A_0H来决定，同时参考视点下的映射矩阵M₀应满足关系M₀I＝I₀，因此，参考视点下的映射矩阵为下采样矩阵，像素间的对应关系为I₀(i,j)＝I(βi,βj)；

对于不同视点，由于相机内参、平移矩阵和旋转矩阵均不相同，因此映射矩阵M_i的构建相对复杂，对于参考视点0下的高分辨率像素位置I(x,y)＝[x,y,1]^T和相关的深度值d(x,y)，利用反向投影原理可以获得其在3D空间内的对应位置p_xy，其映射关系被定义如下：

其中，R₀为单位矩阵，t₀为零向量，该高分辨率像素位置在视点i下的投影位置可以通过以下公式获得(A_i＝A₀，R_i＝R₀,t_i)：

其中，ω((u,v,w))＝(u/w,v/w)，因此给定高分辨率图像中的像素坐标(x,y)，其所对应的视点i下的低分辨率图像中的像素坐标(u,v)即可获得，因此不同视点下的映射矩阵M_i通过所获得的像素坐标(u,v)被构建，该映射矩阵利用3D空间的深度图构建；

步骤(2)、基于归一化的双边总差分的RGB图像超分辨率方法

形式化RGB图像超分辨率优化函数如下：

其中，为图像保真项，B为模糊核的卷积矩阵表示形式，E_NB(I)为归一化的双边总差分约束项，λ₁为权重参数，约束项E_NB(I)被定义如下：

为空间权重，Φ(I,m)为广义化的双边数字总差分，拥有更大的邻居定义范围，包含了四个通用的离散滤波器，定义如下：

Φ(I,m)被定义为图像I与以上四个卷积核的卷积结果，空间权重Ψ(m)将弱化远距离像素位置的影响力，被视为空间结构核，函数Φ(I,m)对不一致像素增加了强的约束力，被视为范围核，||Ψ(m)Φ(I,m)||₁被称为双边总差分，同时||Ψ(m)Φ(I,m)||₂为L2范数，用于归一化的双边总差分项||Ψ(m)Φ(I,m)||₁，因此约束项E_NB(I)被命名为归一化的双边总差分，实验中参数m通常设置为2，表示了像素点的2环邻域；

因此，RGB图像超分辨率重构的优化函数被定义如下：

由于归一化的双边总差分项的存在，以上优化函数为非凸，当||Ψ(m)Φ(I,m)||₂固定时，以上的优化函数将简化为L2约束的凸优化问题，被定义如下：

其中，权重参数λ＝λ₁||Ψ(m)Φ(I,m)||₂，以上优化函数将能够通过使用主对偶算法被快速求解；

步骤(3)、基于非局部回归和RGB图像诱导的深度图超分辨率方法

相似于RGB图像的超分辨率，深度图超分辨率优化函数被定义如下：

其中，为图像保真项，E_NL(D)为非局部回归约束项，λ₂为权重参数，约束项E_NL(D)被定义如下：

其中1为单位矩阵，W为非局部回归系数矩阵，定义为S_i为归一化参数，和分别为深度和RGB权重项，为使用Bicubic算法初始化的超分辨率深度图，RGB权重项被使用来防止深度彩色信息的不一致问题，深度权重项定义为深度图的高斯函数表示形式：σ₁为标准差，被用于控制深度相似性，同时，RGB权重项也被定义为高斯函数表示形式，采用了单像素来计算相似性，RGB权重项被定义如下：

⊙表示为Hadamard逐元素乘，V_i表示了在所选择RGB通道提取的中心坐标为i的图像片，V为RGB三通道中图像片方差最大的一个通道，被用于能更好的获取RGB图像结构特征，F_i算子为以像素i为中心提取的图像块的双边滤波器核，使用该局部结构核来生成更多的候选图像点，从而保证所构建的优化函数具有较小的条件数，进而促使所构建的优化函数为恰定，算子F_i中权重值F_ij被定义如下：

其中，F_ij为双边滤波核F_i内像素i和像素j间的权重值，其中像素j在图像块内；

v_i为通道v像素坐标i处的灰度值，σ₃和σ₄分别为双边滤波器的空间和范围参数标准差，参数σ₃和σ₄用于控制对边界的敏感性；对于像素坐标i搜索窗口范围内的任意像素j，首先计算权重w_ij，若权重w_ij满足w_ij≥0.98或者位于前15个，则该像素点被用于非局部回归重构，相应的回归系数矩阵被定义如下：

基于所构建的非局部回归系数矩阵W，基于RGB图像的深度图超分辨率优化函数被定义如下：

该优化函数为凸，其全局最优解可通过求解以下二次矩阵系统得到：

该二次矩阵系统可通过预条件共轭梯度法快速求解。