CN106886978B

CN106886978B - 一种图像的超分辨率重建方法

Info

Publication number: CN106886978B
Application number: CN201710084743.5A
Authority: CN
Inventors: 张永兵; 冯义晖; 王兴政; 王好谦; 戴琼海; 张云
Original assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Current assignee: Shenzhen Weilai Media Technology Research Institute; Shenzhen Graduate School Tsinghua University
Priority date: 2017-02-16
Filing date: 2017-02-16
Publication date: 2020-01-03
Anticipated expiration: 2037-02-16
Also published as: CN106886978A

Abstract

本发明公开了一种图像的超分辨率重建方法，包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，将得到的初始的高分辨率图像分块，计算各图像块的中心像素点的位置向量p所对应的结构张量S_w(p)；A2，计算各图像块的结构张量S_w(p)的特征值，判断图像块是否为平滑图像块；A3，在图像块为平滑图像块时，将初始的高分辨率图像块作为该图像块的最终高分辨率图像块；A4，在图像块为非平滑图像块时，结合图论进行重建计算；A5，待所有图像块得到最终的高分辨率图像块后，得到最终重建的高分辨率图像；重建时，对于重叠区域的像素点，取该像素点对应的两高分辨率像素值的平均值。本发明的超分辨率重建方法，可降低计算的复杂度，节省处理时间。

Description

一种图像的超分辨率重建方法

【技术领域】

本发明涉及计算机视觉技术和图像处理领域，特别涉及一种图像的超分辨率重建方法。

【背景技术】

图像超分辨率技术不需要改变现有物理设备，只要采用适当的数字信号处理技术就能获得满足需要的高分辨率图像，在技术上和成本上具有较大优势，因此被越来越多地应用于高清数字电视、军事遥感监测、公共安全和医学成像等领域。相对于多帧重建技术，单帧图像超分辨率技术在重建时仅需要一幅实际场景中的低分辨率图像就能估计出相同场景下的高分辨率图像，在一些应用中更能满足实际应用需求。同时，深度图像在计算机视觉应用中发挥着重要的作用，但是其低分辨率限制了其发展。

传统的超分辨方法大多采用字典学习的方法，在训练阶段首先利用高分辨率训练库和图像退化模型获得一个高低分辨率的图像训练集，然后通过一定的学习算法获得高分辨率图像之间的映射关系，最后利用优化算法对待重建的低分辨率图像进行优化，估计出相应的高分辨率图像。字典训练的方法，涉及大量图像集的处理，计算复杂，训练阶段需消耗大量的时间，处理效率低。

【发明内容】

本发明所要解决的技术问题是：弥补上述现有技术的不足，提出一种图像的超分辨率重建方法，可降低计算的复杂度，节省处理时间。

本发明的技术问题通过以下的技术方案予以解决：

一种图像的超分辨率重建方法，包括以下步骤：A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨率图像分块，计算各图像块的中心像素点的位置向量p所对应的结构张量S_w(p)；A2，计算各图像块的结构张量S_w(p)的特征值，并根据计算得到的特征值判断图像块是否为平滑图像块；A3，在图像块为平滑图像块时，将步骤A1得到的初始的高分辨率图像块作为该图像块的最终高分辨率图像块；A4，在图像块为非平滑图像块时，根据该图像块生成图论

其中，图论

v表示多个彼此连接的顶点，各顶点为该图像块中的各像素点；ε和W分别表示自定义的一组边缘集合和一个权重邻接矩阵，其中，W_i,j表示边缘集合ε中的边缘e的权重；设定对角矩阵D，其中，第i个对角元素d_i表示图论

中顶点i的所有边缘事件的权重的总和；生成拉普拉斯矩阵L＝D-W；由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块；A5，待所有图像块得到最终的高分辨率图像块后，得到最终重建的高分辨率图像；重建时，对于两图像块重叠区域的像素点，取该像素点对应的两高分辨率像素值的平均值得到该像素点的高分辨率像素值。

本发明与现有技术对比的有益效果是：

本发明的超分辨率重建方法中，先计算得到初始的高分辨率图像，利用初始的高分辨率图像块计算其所对应的结构张量矩阵，根据结构张量矩阵的特征值判断图像块的类型，对于非平滑图像块，则通过构建的图论和拉普拉斯矩阵进行高分辨率图像块的重建。本发明的方法结合图像块的不同特征选择不同的重建方法，更好地体现了图像块的结构信息，从而能很好的提升重建性能。相比传统的超分辨率方法，不需要额外的大批量字典训练样本，通过初始高分辨率图像的结构特征并构建矩阵进行矩阵运算即可，能够降低重建的计算复杂度，节省处理时间。

【附图说明】

图1是本发明具体实施方式的图像的超分辨率重建方法的流程图；

图2是本发明具体实施方式中生成的图论的示意图。

【具体实施方式】

下面结合具体实施方式并对照附图对本发明做进一步详细说明。

本发明的构思是：结合图论法进行单帧图像的超分辨率处理。在以往的超分辨算法中，没有考虑图像的结构性。在本发明中，利用图像的结构特征，当图像块为非平滑图像块时，则结合图论来计算高分辨率图像块。

如图1所示，本具体实施方式的图像的超分辨率重建方法包括以下步骤：

A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨率图像分块，各图像块的大小为m×m，m为正整数，表示像素点的个数；计算各图像块的中心像素点的位置向量p所对应的结构张量S_w(p)。

该步骤中，首先计算初始的高分辨率图像，计算时可通过成熟的简单方法计算得到，例如双三次插值算法或者二次插值算法等。得到初始的高分辨率图像后，进行图像分块，各图像块的大小为m×m，m为正整数，表示像素点的个数。分块的图像块的大小，例如可分成5×5，或者7×7等，具体可根据用户对重建精度和复杂度的要求综合设定。分块后，计算每一图像块中心像素点的位置向量p所对应的结构张量S_w(p)。

具体地，可以根据如下公式计算得到各图像块的中心像素点的位置向量p所对应的结构张量S_w(p)：

其中，p即表示图像块的中心像素点的位置向量，r从初始的高分辨率图像块得到，r表示图像块中的像素连接组成的向量。w(r)表示权重参数，∑_rw(r)＝1；w(r)即是可用来替代向量r的权重参数。I_x和I_y分别表示x轴和y轴的偏导数。

A2，计算各图像块的结构张量S_w(p)的特征值，并根据计算得到的特征值判断图像块是否为平滑图像块。

步骤A1得到的结构张量是一个矩阵，矩阵的特征值和特征向量可以通过现有成熟的方法计算得到，在此不再详细描述。由结构张量矩阵得到其特征值后，可根据其特征值λ₁和λ₂的关系即可判断图像块的类型，如当λ₁≥λ₂≥0时，相应的特征向量v₁和v₂描述了像素点p处的梯度

特征向量v₁对应较大的特征值λ₁。如当λ₁≈λ₂≈0，该图像块为平滑的图像块。

本具体实施方式中，当

时，判断图像块是非平滑图像块；否则，判断图像块为平滑图像块。其中，δ表示阈值，

和分别表示图像块n对应的结构张量S_w(p)的特征值，且

当结构张量的特征值差异较大时，表明该图像块有一个具有控制的主要梯度，结构张量特征值的大小反映了梯度的强度。由图像块具有控制的主要梯度，可判断出图像块是非平滑块。后续在超分辨率重建中则利用该特性利用拉普拉斯矩阵进行重建。

A3，在图像块为平滑图像块时，将步骤A1得到的初始的高分辨率图像块作为该图像块的最终高分辨率图像块。

A4，在图像块为非平滑图像块时，根据该图像块生成图论其中，图论v表示多个彼此连接的顶点，各顶点为该图像块中的各像素点；ε和W分别表示自定义的一组边缘集合和一个权重邻接矩阵，其中，W_i,j表示边缘集合ε中的边缘e的权重；设定对角矩阵D，其中，第i个对角元素d_i表示图

中顶点i的所有边缘事件的权重的总和；生成拉普拉斯矩阵L＝D-W；由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块。

该步骤中，对于非平滑图像块，结合图论法进行图像的超分辨率重建。具体地，

对于图论，高维数据往往存在于权重图的顶点上。图形是通用的数据表示形式，能够有效的用于描述在许多应用程序中的数据域的几何结构。在图中连接两个顶点的权重代表了所连接的两个顶点的相似度。这些图表上的数据可以被可视化为一个有限集合的样本，在图中的每个顶点的是一个样本。我们定义一个无方向、连接的、有权重的图

其中包含了有限个顶点v，一组边缘ε和一个权重邻接矩阵W。如果有一组边e＝(i,j)连接了两个顶点i和j，则W_i,j表示了这组边的权重。

当边缘权重没有根据应用进行特殊定义时，常用的一种方法是通过高斯核函数加权阈值定义一组边连接的两个顶点的权重：

其中dist(i,j)可能代表顶点i和j的物理距离或代表描述顶点i和j的特征向量的欧氏距离，后者在半监督学习模式中更为常用。

常见的第二种方式是基于物理或特征空间距离将顶点和离它最近的k个顶点连接起来。信号或函数f中的第I个组成定义为第i个顶点的函数值。本具体实施方式中即是采用这种基于空间距离连接顶点的方式来定义边缘权重，构建图论。

具体地，

其中，图包含多个彼此连接的顶点v，一组边缘集合ε和一个权重邻接矩阵W，其中，W_i,j表示边缘集合ε中的边缘e的权重。图论中的各顶点为图像块中的各像素点。由图像块的各像素点生成图论时，图论包含连接大多数相似邻域像素点的边缘，且是一个完全连接的图。

优选地，可按照如下过程由图像块的像素点构建图论，从而可较好地符合上述原则。具体过程为：1)，从0°～180°的角度范围内选择一边缘方向ψ₁，该边缘方向ψ₁垂直于该图像块的质心。2)，从0°～90°的角度范围内选择一个角度，由该角度{ψ₁}确定另一个边缘方向ψ₂，该边缘方向ψ₂垂直于该图像块的质心。3)在图论中，使用步骤2)中的边缘方向ψ₂将相邻的点连接起来从而得到图论

例如，从0°，45°，90°和135°中选择角度45°作为边缘方向ψ₁，从{0°，90°}/{ψ₁}中确定另一个边缘方向ψ₂，由边缘方向ψ₂将4×4的图像块中的像素点连接起来，则得到的图论如图2所示。

得到所需的图论后，计算边缘的权重。边缘e的权重为边缘两端连接的顶点i和j的权重，可通过欧式距离计算。由边缘权重即可设定权重邻接矩阵W。本具体实施方式中，通过顶点连接与否，直接二值化定义权重。具体地，对于权重邻接矩阵W，当图论

中的顶点i和顶点j连接时，Wi,j＝Wj,i＝1；当图论

中的顶点i和顶点j没有连接时，则Wi,j＝Wj,i＝0。

同样地，基于边缘权重设定度矩阵D。度矩阵D为对角矩阵，其第i个对角元素d_i等于图论

中顶点i的所有边缘事件的权重的总和，即D_ii＝∑_jA_i,j。

对于拉普拉斯矩阵而言，其是一个差异参数，对任何一个信号f都满足：

其中，邻域

是与顶点i相连的所有顶点的集合。定义

表示顶点连接到顶点i的路径的k或更少的边缘。拉普拉斯矩阵是一个实对称矩阵，有完备的正交向量用符号{u_l}_{l＝0,1,2,…N-1}。特征向量和对应的特征值{λ_l}_{1＝0,1,2,…N-1}满足

假设拉普拉斯矩阵的特征值按从小到大的顺序排列：0＝λ₀＜λ₁≤λ₂…≤λ_N-1：＝λ_max。

在传统图像处理中，傅里叶变换有着重要的作用，因此定义图论的傅里叶变换

同样反傅里叶变换定义

在传统的傅里叶分析中，特征值

表示了频率的含义：当ξ接近于零时(低频率)，相对应的复杂指数特征函数是平滑的，缓慢地振荡，然而当ξ远大于0时(高频率)，其对应的复杂指数特征函数就会振荡地剧烈。对于图论，其拉普拉斯矩阵的特征值和特征向量也表征了频率。对于一个连接的图论，拉普拉斯矩阵特征值为0所对应的特征向量u₀是一常数，并且在每个像素点其值都等于

与低频率λ₀相关联的拉普拉斯矩阵特征向量变化地非常缓慢，比如当两个顶点被一个有较大权重的边缘连接时，在这些位置的特征向量的值是相似的。同样，有较大特征值的特征向量振荡地比较快而且在连接的顶点处的值是不同的。

本具体实施方式中结合图论重建高分辨率图像时，由图论作为信号输入定义信号拉普拉斯矩阵L为：

L＝D-W

其中，度矩阵D即为上述由边缘权重生成的对角矩阵。W为上述图论的权重邻接矩阵。

根据拉普拉斯矩阵计算得到图像块的最终高分辨率图像块时，由公式y＝(H^TH-λL)计算得到。其中，H表示设定的由高分辨率图像下采样到低分辨率图像的采样矩阵，λ表示校正参数，可根据用户经验取值设定。y即表示所计算的高分辨率图像块。

A5，待所有图像块得到最终的高分辨率图像块后，得到最终重建的高分辨率图像；重建时，对于两图像块重叠区域的像素点，取该像素点对应的两高分辨率像素值的平均值得到该像素点的高分辨率像素值。

根据上述处理过程，即可重建得到高分辨率图像块。另外，在有些情况下，还可通过多次迭代构建得到更好的结果。迭代时，将步骤A5中的重建的高分辨率图像作为步骤A1中的初始的高分辨率图像，重新进行步骤A1～A5的处理过程，重复迭代多次直至达到设定的迭代次数。

本具体实施方式的高分辨率图像重建方法，基于图像的结构特征，不同特征选择不同的重建方法。对于有主要梯度的图像块，将图像块的信息生成图论，构建拉普拉斯矩阵计算得到。重建方法更好地体现了图像块的结构信息，能够更准确地由低分辨率深度图恢复高分辨图，恢复更多的细节信息。同时，重建过程中，不需要额外的训练样本，而是利用初始图像块构建矩阵进行运算，且运算仅涉及简单的矩阵的加减乘除运算，可大幅度降低单张图像超分辨重建的计算复杂度，节省处理时间。

以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下做出若干替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。

Claims

1.一种图像的超分辨率重建方法，其特征在于：包括以下步骤：

A1，计算待处理的低分辨率图像对应的高分辨率图像，作为初始的高分辨率图像，将得到的初始的高分辨率图像分块，根据如下公式计算各图像块的中心像素点的位置向量p所对应的结构张量S_w(p)：

其中，p表示图像块的中心像素点的位置向量，r表示图像块中的像素连接组成的向量；w(r)表示设定的权重参数，∑_rw(r)＝1；I_x和I_y分别表示x轴和y轴的偏导数；

A2，计算各图像块的结构张量S_w(p)的特征值，并根据计算得到的特征值判断图像块是否为平滑图像块；

A3，在图像块为平滑图像块时，将步骤A1得到的初始的高分辨率图像块作为该图像块的最终高分辨率图像块；

A4，在图像块为非平滑图像块时，根据该图像块生成图论其中，图论

表示多个彼此连接的顶点，各顶点为该图像块中的各像素点；ε和W分别表示自定义的一组边缘集合和一个权重邻接矩阵，其中，W_i,j表示边缘集合ε中的边缘e的权重；设定对角矩阵D，其中，第i个对角元素d_i表示图论

中顶点i的所有边缘事件的权重的总和；生成拉普拉斯矩阵L＝D-W；由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块；

2.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A4中，根据如下步骤生成图论

1)，从0°～180°的角度范围内选择一边缘方向ψ₁，该边缘方向ψ₁垂直于该图像块的质心；2)，从0°～90°的角度范围内选择一个角度，由该角度{ψ₁}确定另一个边缘方向ψ₂，该边缘方向ψ₂垂直于该图像块的质心；3)在图论中，使用步骤2)中的边缘方向ψ₂将相邻的点连接起来从而得到图论

3.根据权利要求2所述的图像的超分辨率重建方法，其特征在于：步骤1)中，从{0°，45°，90°，135°}四个角度中选择一个角度作为边缘方向ψ₁；步骤2)中，从{0°，90°}两个角度中选择一个角度。

4.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A4中，根据如下步骤由图论

得到权重邻接矩阵W：当图论

中的顶点i和顶点j连接时，Wi,j＝Wj,i＝1，当图论

中的顶点i和顶点j没有连接时，则Wi,j＝Wj,i＝0。

5.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A4中，根据如下步骤由拉普拉斯矩阵计算得到该图像块的最终高分辨率图像块：

y＝(H^TH-λL)

其中，H表示设定的由高分辨率图像下采样到低分辨率图像的采样矩阵，λ表示校正参数，y表示所计算的高分辨率图像块。

6.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A2中，当

时，判断图像块是非平滑图像块；否则，判断图像块为平滑图像块；其中，δ表示阈值，

和

分别表示图像块n对应的结构张量S_w(p)的特征值，且

7.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A1中，分块的图像块的大小根据用户对重建精度和复杂度的要求综合设定。

8.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：步骤A1中，利用双三次插值算法或者二次插值算法计算得到初始的高分辨率图像。

9.根据权利要求1所述的图像的超分辨率重建方法，其特征在于：还包括以下步骤：A6，将步骤A5中的重建的高分辨率图像作为步骤A1中的初始的高分辨率图像，重新进行步骤A1～A5的处理过程，重复迭代多次直至达到设定的迭代次数。