CN103218776A - 基于最小生成树的非局部的深度图超分辨率重建方法 - Google Patents

Abstract

本发明属于计算机视觉和图像处理领域，为提出一种快速的非局部的基于MST的超分辨率重建方法，在降低算法时间复杂度的同时，保持重建结果的质量，在两者之间取得很好的平衡，本发明采取的技术方案是，基于最小生成树的非局部的深度图超分辨率重建方法，包括下列步骤：1）得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理；2）得到一幅标准的4连通的平面图；3）由2）中的无向连通图G，得到与之对应的MST（MST，Minimum Spanning Tree）；4）根据MST对预处理之后的粗糙的深度图进行重建。本发明主要应用于图像处理。

Description

基于最小生成树的非局部的深度图超分辨率重建方法

技术领域

本发明属于计算机视觉和图像处理领域，具体涉及一种针对低分辨率深度图的非局部的基于最小生成树（MST，Minimum Spanning Tree）的超分辨率方法，即基于最小生成树的非局部的深度图超分辨率重建方法。

背景技术

图像超分辨率（Image Super Resolution），即通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率,实现时间分辨率向空间分辨率的转换。

提高图像分辨率最直接的办法就是提高采集设备传感器的密度，然而高密度的图像传感器的价格相对昂贵，在一般应用中难以承受；另一方面，成像系统受其固有传感器排列密度的限制，目前已接近极限。提高图像分辨率的另一方法是提高芯片尺寸，但这将导致电容的增加和电荷转移速度的下降。

一种有效提高图像分辨率的途径是采用基于信号处理的方法对图像的分辨率进行提高，即超分辨率重建。它对单幅图像或多帧图像序列进行处理，生成高分辨率图像。若利用一个滑动窗口对低分辨率图像序列进行处理，则可以生成超分辨率图像序列。超分辨率重建技术的优点是不涉及硬件，成本低，现有的图像系统还可以使用，是一种比较经济的方案。

现阶段，国内外的很多工作都是采用对齐的高分辨率彩色图和低分辨率深度图结合，来对深度图进行超分辨率重建。假设深度图中不连续的地方对应于彩色图中的边缘，彩色图中颜色一致的区域具有相似的几何结构，采用彩色图提供的丰富的纹理信息，能够有效地重建深度图纹理结构。一种方法是将超分辨率优化归结为基于马尔科夫场的后项概率问题，通过优化最大后项概率问题来提高分辨率；还有一类方法采用基于引导的滤波器（Guided ImageFiltering）来实现超分辨率。联合双边滤波器（Joint Bilateral Filter）是应用最广泛的一种Guided Image Filter，在彩色纹理导图的指引下，权值的计算不仅取决于当前像素与邻近像素的空间位置关系，纹理导图上对应位置像素间的强度值差异同样会影响权重的取值，因此双边滤波在对图像进行平滑的同时可以很好的保护边缘信息。还有一种采用非局部均值滤波（Non-local Means Filter）来实现超分辨率的方法。非局部均值滤波在操作时会考虑非局部区域在结构上的相似性，对图像结构的恢复比较有效。但是，现有的方法存在一个共同的问题：时间复杂度较高，很难满足实际应用的需要，尤其是有实时性要求的应用。

发明内容

本发明旨在克服现有技术的不足，提出一种快速的非局部的基于MST的超分辨率重建方法，在降低算法时间复杂度的同时，保持重建结果的质量，在两者之间取得很好的平衡，为此，本发明采取的技术方案是，基于最小生成树的非局部的深度图超分辨率重建方法，包括下列步骤：

1）采用Middlebury的数据集即成对彩色图和深度图作为测试数据，根据超分辨率比例对深度图进行下采样，得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理，即采用双三次插值（Bicubic Interpolation）将下采样后的深度图放大至原来的尺寸；

2）将彩色纹理导图看作一幅连通的无向图G=（V,E），节点V对应于图像中所有的像素点，边E对应于图像中最邻近像素间的连线，这样就得到了一幅标准的4连通的平面图，设s和r是一对相邻的节点，连接s和r的边的权重定义如下：

ω(s,r)＝ω(r,s)＝|I(s)-I(r)|         (1)

ω(s,r)为连接s和r的边的权值，I(s)和I(r)是节点对应像素的强度值；

3）由2）中的无向连通图G，得到与之对应的MST（MST，Minimum Spanning Tree），在生成MST的过程中，权值较大的边会被移除，这些边正好对应于彩色图中强度值变化较大的区域；

4）根据MST对预处理之后的粗糙的深度图进行重建，在MST中，两个节点之间的距离越小，两者越相似，节点间距离为连接二者最短路径的边权的总和，节点间的相似度定义如下：

S(p,q)＝S(q,p)＝exp(-D(p,q)σ)       (2)

p、q为MST中的节点，σ是一个常数，用来对相似度进行调整，这样就将Joint BilateralFilter扩展至最小生成树结构，双边滤波在对图像进行平滑的同时能够有效的保护边缘信息，在立体匹配代价聚合中得到广泛应用，双边滤波的定义如下：

$I^A\left(m\right)=\frac{{\mathrm{\Σ}}_n\exp (-\frac{|m-n|}{{\mathrm{\σ}}_S})\exp (-\frac{|I\left(m\right)-I\left(n\right)|}{{\mathrm{\σ}}_R})I\left(n\right)}{{\mathrm{\Σ}}_n\exp (-\frac{|m-n|}{{\mathrm{\σ}}_S})\exp (-\frac{|I\left(m\right)-I\left(n\right)|}{{\mathrm{\σ}}_R})}---\left(3\right)$

I^A(m)代表当前像素点m加权平均之后的值，n为m点M×N领域内的像素点，|m-n|表示邻域像素与当前像素之间的空间距离，单位为像素；I(n)代表原始的像素值，|I(m)-I(n)|表示像素强度间的差异，σ_S和σ_R是用来调整空间和幅值相似性的参数，分母是归一化因子；

最小生成树下的定义：

$I^A\left(p\right)={\mathrm{\Σ}}_{q}S(p,q)I\left(q\right)={\mathrm{\Σ}}_q\exp (-\frac{D(p,q)}{\mathrm{\σ}})I\left(q\right)---\left(4\right)$

q是MST中除当前节点p外的所有的节点，MST下的加权平均将两个相似性参数σ_S和σ_R化归为σ。

21）为了考虑到图像局部的结构特征，取当前点的(2×w+1)×(2×w+1)邻域，w为窗口大小的一半，加权平均后再根据式（1）计算边权，式（1）改写为如下形式：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=|\frac{\underset{q\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{q,s}\×I\left(q\right)}{\underset{q\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{q,s}}-\frac{\underset{q\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{q,r}\×I\left(q\right)}{\underset{q\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{q,r}}---(1-1)$

N(r)和N(s)分别是当前边连接的两个节点的(2×w+1)×(2×w+1)邻域，w_q,*是加权平均的权值，下标中的*代表s或r；

22）在邻域加权平均时，权值w_q,*是根据双边滤波因子选取的。

$w_{q,*}=\exp (-\frac{I\left(q\right)-I(s/r)}{{\mathrm{\σ}}_R})\exp (-\frac{|q-s/r|}{{\mathrm{\σ}}_S}),q\∈N(*)---\left(5\right)$

N(*)是当前像素的(2×w+1)×(2×w+1)邻域，|I(q)-I(s/r)|为像素q与s或r间强度值差异，|q-s/r|表示像素q与s或r间的空间距离，为了简便将w_q,*写成如下形式：

$w_{q,*}=\exp (-\frac{I\left(q\right)-I(s/r)}{{\mathrm{\σ}}_R}),q\∈N(*)---\left(6\right)$

23）为了抑制彩色图像过于丰富的纹理带来的负面作用，引入另一幅深度图作为导图，深度导图是采用较高级的插值方法得到的，物体的边缘较为锐利，根据上述的过程，对深度导图做同样的处理，边的权值的最终表达式如下：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×{\mathrm{\ω}}_{\mathrm{color}}(r,s)+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---\left(7\right)$

ω_color是彩色导图提供的边权，ω_depth是深度导图提供的边权，

是一个常数，用于调整

二者的比重，式（7）可以改写为以下形式：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×\max \left\{\begin{array}{c}{\mathrm{\ω}}_{\mathrm{color}\_R}(r,s)\\ {\mathrm{\ω}}_{\mathrm{color}\_G}(r,s)\\ {\mathrm{\ω}}_{\mathrm{color}\_B}(r,s)\end{array}\right\}+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---(7-1)$

24）对三通道的彩色RGB图，分别对三个通道做相同的处理，边权的终值取三者中的最大值。

生成MST的过程进一步具体为：

31）根据边的权值的大小，采用直方图排序对边进行非降序排序；

32）采用kruskals方法得到无向连通图对应的最小生成树MST；

33）最小生成树没有固定的根节点，选定MST中的一个节点为根节点，构造一棵树。

41）计算更新后的像素强度的最简单的方法是遍历MST，采用线性时间的快速算法，可将I^A↑定义为聚合后的值：

$I^{A\↑}\left(v\right)=I\left(v\right)+\underset{P\left(v_c\right)=v}{\mathrm{\Σ}}S(v,v_c)I^{A\↑}\left(v_c\right)---\left(8\right)$

P(v_c)表示节点v_c的父节点；

I^A(v)＝S(v,P(v))×I^A(P(v))+[1-S²(v,P(v))]×I^A↑(v)           （9）

已知当前节点v的聚合值I^A↑(v)、其父节点P(v)的值I^A(P(v))以及v与P(v)之间的相似度S(v,P(v))，根据式（8）、（9），可以将整个过程分别两步：

首先，根据式（8），由叶节点向根节点进行聚合，每一个节点得到的值为I^A↑(v)；

然后，根据式（9），由根节点向叶节点计算出每一个节点更新后的值I^A(v)；

42）采用一种简便的归一化方法：定义一个与预处理后的深度图的尺寸相同的矩阵，所有的元素值均为1，对这个矩阵进行相同的重构操作，最终每个元素的值变为所有的权重之和，作为归一化的分母。

本发明的技术特点及效果：

1.程序简单，易于实现。

2.采用MST进行超分辨率重建，给出了一种更加自然的像素间相似度的评价，图像中其它所有的点均会对当前像素做出贡献，这是一种非局部重建方法。局部的方法是基于窗口或用户指定区域，不能完整的考虑到图像的结构信息，而且一般不可能找到一个适用于不同数据集的最佳窗口。

3.采用了一种快速的线性时间的算法，只需对MST遍历两次即可完成所有的运算，可以在10s以内处理一张分辨率为400×400左右的深度图。

4.在计算边权时，加入了深度导图，这样可以抑制彩色图过于丰富的纹理导致深度图纹理的扩散。

附图说明

图1是方法的流程图；

图2是彩色纹理导图；

图3原始的深度图（真值图）；

图4是8倍下采样后的低分辨率深度图；

图5是Bicubic Interpolation上采样后的深度图；

图6是AR Interpolation上采样后的深度导图；

图7是超分辨率重建的结果。

具体实施方式

本发明采取的技术方案包含以下几个步骤：

1）采用Middlebury的数据集（成对彩色图和深度图）作为测试数据，根据超分辨率比例对深度图进行下采样，得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理，即采用双三次插值（Bicubic Interpolation）将下采样后的深度图放大至原来的尺寸。

2）将彩色纹理导图看作一幅连通的无向图G=（V,E），节点V对应于图像中所有的像素点，边E对应于图像中最邻近像素间的连线，这样就得到了一幅标准的4连通的平面图。设s和r是一对相邻的节点，连接s和r的边的权重定义如下：

ω(s,r)＝ω(r,s)＝|I(s)-I(r)|        (1)

ω(s,r)为连接s和r的边的权值，I(s)和I(r)是节点对应像素的强度值。

3）无向的连通图必然存在一棵最小生成树，使得所有的节点保持连通性并且边的权值的总和最小。由2）中的无向连通图G，可以得到与之对应的MST。在生成MST的过程中，权值较大的边会被移除，这些边正好对应于彩色图中强度值变化较大的区域。

4）根据MST对预处理之后的粗糙的深度图进行重建，在MST中，两个节点之间的距离越小，两者越相似，节点间距离为连接二者最短路径的边权的总和。节点间的相似度定义如下：

S(p,q)＝S(q,p)＝exp(-D(p,q)/σ)           (2)

p、q为MST中的节点，D(p,q)是两节点间的距离，σ是一个常数，用来对相似度进行调整。这样就可以将Joint Bilateral Filter扩展至最小生成树结构。双边滤波在对图像进行平滑的同时能够有效的保护边缘信息，在立体匹配代价聚合中得到广泛应用。双边滤波的定义如下：

$I_B^A\left(m\right)=\frac{{\mathrm{\Σ}}_q\exp (-\frac{|m-n|}{{\mathrm{\σ}}_S})\exp (-\frac{|I\left(m\right)-I\left(n\right)}{{\mathrm{\σ}}_R})I\left(n\right)}{{\mathrm{\Σ}}_q\exp (-\frac{|m-n|}{{\mathrm{\σ}}_S})\exp (-\frac{I\left(m\right)-I\left(n\right)}{{\mathrm{\σ}}_R})}---\left(3\right)$

代表当前像素点加权平均之后的值，n为m点M×N领域内的像素点，|m-n|表示邻域像素与当前像素之间的空间距离（单位为像素），I(n)代表原始的像素值，|I(m)-I(n)|表示像素强度间的差异，σ_S和σ_R是用来调整空间和幅值相似性的参数。分母是归一化因子。

最小生成树下的定义：

$I^A\left(p\right)={\mathrm{\Σ}}_{q}S(p,q)I\left(q\right)={\mathrm{\Σ}}_q\exp (-\frac{D(p,q)}{\mathrm{\σ}})I\left(q\right)---\left(4\right)$

I^A(p)是当前节点p更新后的值，q是MST中除当前节点外的所有的节点，S(p,q)为节点间的相似度，MST下的加权平均将两个相似性参数σ_S和σ_R化归为σ。

21）为了考虑到图像局部的结构特征，取当前点的（2*w+1)×（2*w+1)邻域（w为窗口大小的一半），加权平均后再根据式（1）计算边权。式（1）改写为如下形式：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=|\frac{\underset{q\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{q,s}*I\left(q\right)}{\underset{q\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{q,s}}-\frac{\underset{q\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{q,r}*I\left(q\right)}{\underset{q\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{q,r}}---(1-1)$

N(r)和N(s)分别是当前边连接的两个的节点的(2×w+1)×(2×w+1)邻域，w_q,*(*取r,s)是加权平均的权值。

22）在邻域加权平均时，权值w_q,*是根据双边滤波因子选取的。

$w_{q,*}=\exp (-\frac{I\left(q\right)-I(s/r)}{{\mathrm{\σ}}_R})\exp (-\frac{|q-s/r|}{{\mathrm{\σ}}_S}),q\∈N(*)---\left(5\right)$

N(*)是当前像素的(2×w+1)×(2×w+1)邻域，|I(q)-I(s/r)|为像素q与s或r间强度值差异，|q-s/r|表示像素q与s或r间的空间距离，为了简便将w_q,*写成如下形式：

$w_{q,*}=\exp (-\frac{|I\left(q\right)-I(s/r)|}{{\mathrm{\σ}}_R}),q\∈N(*)---\left(6\right)$

23）深度图中梯度较大的地方一般出现在物体的边缘，而彩色图像的纹理要复杂得多，为了抑制彩色图像过于丰富的纹理带来的负面作用，我们引入另一幅深度图作为导图。深度导图是采用较高级的插值方法（如基于自回归模型的插值方法）得到的，物体的边缘较为锐利。根据上述的过程，对深度导图做同样的处理。边的权值的最终表达式如下：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×{\mathrm{\ω}}_{\mathrm{color}}(r,s)+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---\left(7\right)$

ω_color是彩色导图提供的边权，ω_depth是深度导图提供的边权，

是一个常数，用于调整二者的比重。式（7）可以改写为以下形式：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×\max \left\{\begin{array}{c}{\mathrm{\ω}}_{\mathrm{color}\_R}(r,s)\\ {\mathrm{\ω}}_{\mathrm{color}\_G}(r,s)\\ {\mathrm{\ω}}_{\mathrm{color}\_B}(r,s)\end{array}\right\}+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---(7-1)$

24）对三通道的彩色RGB图，分别对三个通道做相同的处理，边权的终值取三者中的最大值。

31）根据边的权值的大小，采用直方图排序对边进行非降序排序。

32）采用kruskals方法得到无向连通图对应的最小生成树MST。

33）最小生成树没有固定的根节点，选定MST中的一个节点为根节点，构造一棵树。

41）计算更新后的像素强度的最简单的方法是遍历MST，对每一个节点都根据式（4）来计算，但这样做的计算复杂度较高，比较耗时。为此，我们采用一种线性时间的快速算法，可以将算法复杂度降到最低。将I^A↑定义为聚合后的值，类似于立体匹配中的aggregated cost values。

$I^{A\↑}\left(v\right)=I\left(v\right)+\underset{P\left(v_c\right)=v}{\mathrm{\Σ}}S(v,v_c)I^{A\↑}\left(v_c\right)---\left(8\right)$

P(v_c)表示节点v_c的父节点,S(v,v_c)是节点间的相似度，即当前节点v的聚合值I^A↑(v)是其所有子节点v_c的聚合值的加权和与其自身的值I(v)的总和。

I^A(v)＝S(v,P(v))×I^A(P(v))+[1-S²(v,P(v))]×I^A↑(v)          （9）

已知当前节点v的聚合值I^A↑(v)、其父节点P(v)的值I^A(P(v))以及v与P(v)之间的相似度S(v,P(v))，就可以得到当前节点更新后的值。

根据式（8）、（9），可以将整个过程分别两步：

首先，根据式（8），由叶节点向根节点进行聚合，每一个节点得到的值为I^A↑(v)；

然后，根据式（9），由根节点向叶节点计算出每一个节点更新后的值I^A(v)。

42）由于还没有进行归一化，I^A(v)并不是真实的像素值。我们采用一种简便的归一化方法，定义一个与预处理后的深度图的尺寸相同的矩阵，所有的元素值均为1，对这个矩阵进行相同的重构操作，最终每个元素的值变为所有的权重之和，作为归一化的分母。

下面结合实例和附图对本发明做出详细的说明。

本发明利用最小生成树对深度图进行超分辨率重建，将纹理导图看作是连通的无向图，然后生成MST，根据MST定义节点间的相似度，然后进行非局部的加权平均。

具体方法包括以下几个步骤：

1）构造初始数据

11）采用Middlebury数据集里提供的成对的深度图和彩色图作为实验数据。

12）按照超分辨率比例对深度图进行下采样，得到低分辨率深度图作为输入。

13）采用双三次插值将低分辨率的深度图放大至原来的尺寸，得到初始的粗糙的深度图。

14）采用高级的插值方法将低分辨率的深度图放大至原来的尺寸，得到较为精细的深度图作为导图。

2）将彩色的纹理导图看作一幅连通（4连通或8连通）的无向图，根据彩色导图和深度导图，计算所有边的权值。权值的计算公式如下：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×{\mathrm{\ω}}_{\mathrm{color}}(r,s)+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---\left(1\right)$

r和s是相邻的两个节点，ω_color(r,s)和ω_depth(r,s)分别是彩色导图和深度导图贡献的权值，

是一个常数，用于调节二者之间的比重。

21）对深度导图和彩色导图的RGB三个通道，取当前像素的（2*w+1)×（2*w+1)邻域（w为窗口大小的一半），对邻域加权平均，权值的定义参见式（6）。

22）使用加权平均后的值计算边权，边权的定义参见式（1）和式（7）。

3）生成最小生成树，采用kruskals算法构造最小生成树，具体步骤如下：

31）使用直方图排序，根据边权大小将所有的边按非降序排序。

32）假设节点数为V，初始状态下存在V棵单节点树，连续的选取权重最小的边，当所选取的边不产生环就把它作为取定的边。

33）重复32）的操作，直至所有的边都加入同一集合，即得到MST。

34）选定MST中的某个节点为根节点，构造一棵树。

4）根据最小生成树，计算节点间的相似度，通过非局部的加权平均得到更新值。

41）由叶节点向根节点遍历，根据式（8）求出每个节点对应的I^A↑(v)。

42）由根节点向叶节点遍历，根据式（9）求出每个节点对应的I^A(v)。

5）进行归一化。定义一个与预处理后的深度图的尺寸相同的矩阵，所有的元素值均为1，对这个矩阵进行相同的重构操作，最终每个元素的值变为所有的权重之和，作为归一化的分母。

Claims (4)

1.一种基于最小生成树的非局部的深度图超分辨率重建方法，其特征是，包括下列步骤：

1）采用Middlebury的数据集即成对彩色图和深度图作为测试数据，根据超分辨率比例对深度图进行下采样，得到需要进行重建的初始的低分辨率深度图，然后对初始深度图进行一步简单的预处理，即采用双三次插值（Bicubic Interpolation）将下采样后的深度图放大至原来的尺寸；

2）将彩色纹理导图看作一幅连通的无向图G=（V,E），节点V对应于图像中所有的像素点，边E对应于图像中最邻近像素间的连线，这样就得到了一幅标准的4连通的平面图，设s和r是一对相邻的节点，连接s和r的边的权重定义如下：

ω(s,r)＝ω(r,s)＝|I(s)-I(r)|         (1)

ω(s,r)为连接s和r的边的权值，I(s)和I(r)是节点对应像素的强度值；

3）由2）中的无向连通图G，得到与之对应的MST（MST，Minimum Spanning Tree），在生成MST的过程中，权值较大的边会被移除，这些边正好对应于彩色图中强度值变化较大的区域；

4）根据MST对预处理之后的粗糙的深度图进行重建，在MST中，两个节点之间的距离越小，两者越相似，节点间距离为连接二者最短路径的边权的总和，节点间的相似度定义如下：

S(p,q)＝S(q,p)＝exp(-D(p,q)/σ)         (2)

p、q为MST中的节点，σ是一个常数，用来对相似度进行调整，这样就将JointBilateral Filter扩展至最小生成树结构，双边滤波在对图像进行平滑的同时能够有效的保护边缘信息，在立体匹配代价聚合中得到广泛应用，双边滤波的定义如下：

$I^A\left(m\right)=\frac{{\mathrm{\Σ}}_n\exp (-\frac{|m-n|}{{\mathrm{\σ}}_S})\exp (-\frac{|I\left(m\right)-I\left(n\right)|}{{\mathrm{\σ}}_R})I\left(n\right)}{{\mathrm{\Σ}}_n\exp (-\frac{|m-n|}{{\mathrm{\σ}}_S})\exp (-\frac{|I\left(m\right)-I\left(n\right)|}{{\mathrm{\σ}}_R})}---\left(3\right)$

I^A(m)代表当前像素点m加权平均之后的值，n为m点M×N领域内的像素点，|m-n|表示邻域像素与当前像素之间的空间距离，单位为像素；I(n)代表原始的像素值，|I(m)-I(n)|表示像素强度间的差异，σ_S和σ_R是用来调整空间和幅值相似性的参数，分母是归一化因子；

最小生成树下的定义：

$I^A\left(p\right)={\mathrm{\Σ}}_{q}S(p,q)I\left(q\right)={\mathrm{\Σ}}_q\exp (-\frac{D(p,q)}{\mathrm{\σ}})I\left(q\right)---\left(4\right)$

q是MST中除当前节点p外的所有的节点，MST下的加权平均将两个相似性参数σ_S和σ_R化归为σ。

2.如权利要求1所述的基于最小生成树的非局部的深度图超分辨率重建方法，其特征是：21）为了考虑到图像局部的结构特征，取当前点的(2×w+1)×(2×w+1)邻域，w为窗口大小的一半，加权平均后再根据式（1）计算边权，式（1）改写为如下形式：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=|\frac{\underset{q\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{q,s}\×I\left(q\right)}{\underset{q\∈N\left(s\right)}{\mathrm{\Σ}}{w}_{q,s}}-\frac{\underset{q\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{q,r}\×I\left(q\right)}{\underset{q\∈N\left(r\right)}{\mathrm{\Σ}}{w}_{q,r}}---(1-1)$

N(r)和N(s)分别是当前边连接的两个节点的(2×w+1)×(2×w+1)邻域，w_q,*是加权平均的权值，下标中的*代表s或r；

22）在邻域加权平均时，权值w_q,*是根据双边滤波因子选取的。

$w_{q,*}=\exp (-\frac{I\left(q\right)-I(s/r)}{{\mathrm{\σ}}_R})\exp (-\frac{|q-s/r|}{{\mathrm{\σ}}_S}),q\∈N(*)---\left(5\right)$

N(*)是当前像素的(2×w+1)×(2×w+1)邻域，|I(q)-I(s/r)|为像素q与s或r间强度值差异，|q-s/r|表示像素q与s或r间的空间距离，为了简便将w_q,*写成如下形式：

$w_{q,*}=\exp (-\frac{|I\left(q\right)-I(s/r)|}{{\mathrm{\σ}}_R}),q\∈N(*)---\left(6\right)$

23）为了抑制彩色图像过于丰富的纹理带来的负面作用，引入另一幅深度图作为导图，深度导图是采用较高级的插值方法得到的，物体的边缘较为锐利，根据上述的过程，对深度导图做同样的处理，边的权值的最终表达式如下：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×{\mathrm{\ω}}_{\mathrm{color}}(r,s)+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---\left(7\right)$

ω_color是彩色导图提供的边权，ω_depth是深度导图提供的边权，

是一个常数，用于调整二者的比重，式（7）可以改写为以下形式：

$\mathrm{\ω}(s,r)=\mathrm{\ω}(r,s)=(1-\∂)\×\max \left\{\begin{array}{c}{\mathrm{\ω}}_{\mathrm{color}\_R}(r,s)\\ {\mathrm{\ω}}_{\mathrm{color}\_G}(r,s)\\ {\mathrm{\ω}}_{\mathrm{color}\_B}(r,s)\end{array}\right\}+\∂\×{\mathrm{\ω}}_{\mathrm{depth}}(r,s)---(7-1)$

24）对三通道的彩色RGB图，分别对三个通道做相同的处理，边权的终值取三者中的最大值。

3.如权利要求1所述的基于最小生成树的非局部的深度图超分辨率重建方法，其特征是，生成MST的过程进一步具体为：

31）根据边的权值的大小，采用直方图排序对边进行非降序排序；

32）采用kruskals方法得到无向连通图对应的最小生成树MST；

33）最小生成树没有固定的根节点，选定MST中的一个节点为根节点，构造一棵树。

4.如权利要求1所述的基于最小生成树的非局部的深度图超分辨率重建方法，其特征是，

41）计算更新后的像素强度的最简单的方法是遍历MST，采用线性时间的快速算法，可将I^A↑定义为聚合后的值：

$I^{A\↑}\left(v\right)=I\left(v\right)+\underset{P\left(v_c\right)=v}{\mathrm{\Σ}}S(v,v_c)I^{A\↑}\left(v_c\right)---\left(8\right)$

P(v_c)表示节点v_c的父节点；

I^A(v)＝S(v,P(v))×I^A(P(v))+[1-S²(v,P(v))]×I^A↑(v)          （9）

已知当前节点v的聚合值I^A↑(v)、其父节点P(v)的值I^A(P(v))以及v与P(v)之间的相似度S(v,P(v))，根据式（8）、（9），可以将整个过程分别两步：

首先，根据式（8），由叶节点向根节点进行聚合，每一个节点得到的值为I^A↑(v)；

然后，根据式（9），由根节点向叶节点计算出每一个节点更新后的值I^A(v)；

42）采用一种简便的归一化方法：定义一个与预处理后的深度图的尺寸相同的矩阵，所有的元素值均为1，对这个矩阵进行相同的重构操作，最终每个元素的值变为所有的权重之和，作为归一化的分母。

Images