CN111402141B - 串联式单图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种串联式单图像超分辨率重建方法。利用以整块地分辨率图像作为输入的卷积稀疏编码进行重建，然后，使用以图像块作为输入的改进的固定邻域回归算法进行重建。最后，为了引进图像内部统计信息，建立自样例金字塔，以此为训练集使用自样例固定领域回归进行重建。本发明能利用各层方法各自的优势，对图像进行多次重建，能达到更好的重建效果。

Description

串联式单图像超分辨率重建方法

技术领域

本发明属于图像处理技术领域，特别涉及一种串联式单图像超分辨率重建方法。

背景技术

单图像超分辨率重建通过恢复高频细节和去除模糊等方法来重建一个高分辨率图像。显然，这种单图像超分辨率重建算法在很多领域中都有重要的应用，比如监视设备、卫星图像、医学图像等。但是单图像超分辨率是一个严重的病态问题，因为观察到的低分辨率图像比渴望的高分辨率图像要小得多，所以高分辨率图像的重建是不确定的。各种方法被提出来解决这个难题：

提出的大多数方法可以被分为3类：基于插值的方法、基于重建的方法和基于学习的方法。

目前基于学习的方法因为其出色的重建效果被广泛地研究和应用。这一类方法可以被再一次细分为基于外部统计信息和基于内部统计信息的方法。基于内部统计信息方法利用一幅图像在相同尺度和不同尺度的相似和冗余信息。最具代表性的方法是Huang等人在2015年提出的用对低分辨率图像块的变换版本来重建高分辨率图像块。而基于外部统计信息的学习方法，从外部数据集学习从低分辨率图像块到高分辨率图像块的映射。其中，最经典的是杨建超等人在2010年提出的稀疏表示方法，它需要从外部数据集学习一对字典。为了加速该算法，脊回归被应用到算法中去，代替l₁范正则化项。因为脊回归具有闭式解，所以可以提前计算给予每个原子领域的映射矩阵。随着深度学习在计算机视觉领域的广泛应用，Dong等人在2014年提出SRCNN第一次使用深度卷积神经网络进行超分辨率重建。

但是，现有技术的超分辨率图像重建方法，仍然难以满足实际使用需求，存在进一步提升的空间。

发明内容

本发明的目的是提供一种串联式单图像超分辨率重建方法，提高了图像的重建效果。

为了实现上述目的，本发明提供了一种串联式单图像超分辨率重建方法，包括以下步骤：

a、将训练集图片对分解为低频光滑图像和高频图像两部分，对高频图像采用卷积稀疏编码训练，得到低分辨率滤波器和高分辨率滤波器，以及低分辨率特征图到高分辨率特征图的变换函数，存储备用；

b、用卷积稀疏编码对低分辨率训练图像进行重建，将重建后的图像与真实图像组成训练图像对，使用联合字典训练方法得到低分辨率字典。以低分辨率字典原子为锚点，寻找离锚点最近的图像块构建低分辨率字典和高分辨率字典，存储备用；

c、对于输入的一张低分辨率图像，将其分解为低频光滑图像和高频图像两部分，对于低频部分直接使用双三次插值进行重建，高频部分则利用存储的低分辨率和高分辨率滤波器进行卷积稀疏编码超分辨率重建，将重建的两部分相加得到超分辨率图像；

d、将步骤c中得到的超分辨率图像，使用存储的低分辨率字典和高分辨率字典进行改进的固定邻域回归超分辨率重建；

e、对步骤d得到超分辨率图像构建自样例金字塔对，并以自样例金字塔对作为训练集，使用改进的固定领域回归的训练方式训练得到低分辨率和高分辨率字典；

f、对d得到的超分辨率图像，利用e中的低分辨率和高分辨率字典进行固定领域回归重建得到最终的超分辨率重建图像。

可选的，所述步骤a中，对于低分辨率训练集图片，通过解优化问题：

这里的是低分辨率图像Y的低频特征图，f^s是一个3×3的低通滤波器，其所有的系数都是1/9，f^dh和f^dv分别是水平和垂直的梯度算子[1,-1]和[1；-1]；我们可以将低分辨率图像分解为：

这里的表示低分辨率图像中的低频光滑部分，y表示低分辨率图像的高频边界和纹理部分，高分辨率中的高频部分可由高分辨率图片减去双三次插值后的低分辨率低频图像而获得。

可选的，联合求解最优化问题：

和

这里的x是训练集高分辨率图像的高频部分，f_i ^l和分别是低分辨率和高分辨率滤波器，e是一个范围限制高分辨率滤波器的能量，/>是低分辨率特征图，g(·,w_j)是低分辨率特征图到高分辨率特征图的映射。

可选的，所述步骤b中，对训练低分辨率图像使用卷积稀疏编码进行重建，将重建后的图像作为下一步训练的图像对中的低分辨率图像，采用联合字典学习训练得到低分辨率字典，以低分辨率字典中的每一个原子作为锚点，以训练集中距离每一个锚点最近的1024个低分辨率图像块作为原子构成低分辨率字典，并用其对应的高分辨率图像块构成高分辨率字典。

可选的，所述步骤c中，将输入的低分辨率图像分解为高频光滑部分和低频边界和纹理部分，对光滑部分直接使用双三次插值方法进行重建，高频部分通过低分辨率滤波器分解：

得到低分辨率稀疏特征映射{Z^l}，高分辨率特征映射可以通过{Z^h}＝g(Z^l；W)估计得到，然后高分辨率图像的高频纹理结构可以通过下式获得：

将高频部分和低频部分的超分辨率图像相加就得到卷积稀疏编码重建的超分辨率图像。

可选的，所述步骤d中，对使用卷积稀疏编码重建后的超分辨率图像分割成块，对于任意一块图像块寻找离其最近的锚点k，用其存储的映射对低分辨率图像块进行再次超分辨率重建：

其中P_k是对应于锚点k的低分辨率到高分辨率图像块的映射，将重建好的高分辨率图像块拼接成超分辨率图像。

可选的，所述步骤e中，利用固定领域回归得到的超分辨率重建图像构建自样例金字塔对和/>并使用自样例金字塔对作为训练集图像，把训练集图像分割成块，随机选取5000个低分辨率图像块作为锚点，对于每个锚点寻找离它最近的1024个低分辨率图像块作为原子构成低分辨率字典，对应的高分辨率图像块构成高分辨率字典。

可选的，所述步骤f中，将步骤d中得到的超分辨率重建图像分割成块，对于任意一个图像块寻找离它最近的锚点k，使用下式求得表示系数：

其中，为步骤d中得到的超分辨率重建图像分割得到的图像块，/>是锚点k所对应的低分辨率字典。

可选的，所述步骤f中，利用求得的系数α_i，通过下式进行重构高分辨率图像块：

其中，是锚点k对应的高分辨率字典；最后，将高分辨率图像块重叠拼接成最终的超分辨率图像。

与现有技术相比，本发明的有益效果在于：

通过不同的方法进行多次重建，有利于将各种方法的重建优势组合起来，发挥出协同作用，从而达到更好的重建效果，同时最后一层通过构建自样例金字塔来作为训练集，将图像内部统计先验信息引入重建目标当中。本发明能利用各层方法各自的优势，对图像进行多次重建，能达到更好的重建效果。

附图说明

图1a为低分辨率训练图片；

图1b低分辨率图像中的低频光滑部分；

图1c低分辨率图像的高频边界和纹理部分；

图1d卷积悉数编码训练过程；

图2训练图片的卷积稀疏编码重建图片；

图3a输入低分辨率图像；

图3b输入的低分辨率图像的低频光滑部分；

图3c输入的低分辨率图像的高频边界和纹理部分；

图3d卷积稀疏编码重建过程；

图4a卷积编码重建后图像；

图4b改进的固定邻域回归重建后的超分辨率图像；

图4c改进的固定邻域回归重建的过程；

图5自样例金字塔对的构建过程；

图6最终的超分辨率图像；

图7整个超分辨率重建过程的流程图。

具体实施方式

本发明基于先训练滤波器和映射，然后利用训练好的滤波器进行卷积稀疏编码重建，再用预先存储的锚点和对应的映射进行改进的固定邻域回归超分辨率重建。最后进一步用自样例锚点邻域回归进行图像增强。

本发明的基本思路为：

首先，通过卷积稀疏编码训练得到低分辨率和高分辨率滤波器还有低分辨率特征图到高分辨率特征图的映射。

其次，使用训练得到的滤波器和映射对低分辨率训练集进行重建作为新的低分辨率训练集，与高分辨率训练集组成训练对进行改进的固定邻域回归的字典训练，并将每个锚点和求出的每个锚点对应的映射预先存储。

再次，将输入的低分辨率图像进行卷积稀疏编码超分辨率重建得到中间超分辨率图像，再进行改进的固定邻域回归方法重建。

最后，使用重建的图像构成自样例金字塔，训练固定邻域回归的字典，再进行改进的固定邻域回归超分辨率重建得到最终的超分辨率重建图像。

下面结合实施例对本发明进行进一步说明。

本发明提供一种单图像超分辨率重建方法，包括如下步骤：

a、将训练集图片对分解为低频光滑图像和高频图像两部分，对高频图像采用卷积稀疏编码训练，得到低分辨率滤波器和高分辨率滤波器，以及低分辨率特征图到高分辨率特征图的变换函数，存储备用；

如图1a所示一张低分辨率训练图片，通过求解如下最小优化问题：

这里的是低分辨率图像Y的低频特征图，f^s是一个3×3的低通滤波器，其所有的系数都是1/9，f^dh和f^dv分别是水平和垂直的梯度算子[1,-1]和[1；-1]；我们可以将低分辨率图像分解为：

这里的表示低分辨率图像中的低频光滑部分如图1b所示，y表示低分辨率图像的高频边界和纹理部分如图1c所示。高分辨率中的高频部分可由高分辨率图片减去双三次插值后的低分辨率低频图像而获得；低分辨率高频图像和高分辨率高频图像组成训练图像对进行训练，求解联合优化问题：

和

这里的x是训练集高分辨率图像的高频部分，f_i ^l和分别是低分辨率和高分辨率滤波器，e是一个范围限制高分辨率滤波器的能量，/>是低分辨率特征图，g(·,w_j)是低分辨率特征图到高分辨率特征图的映射。求得低分辨率和高分辨率滤波器，低分辨率特征图到高分辨率特征图的映射，如图1d，进行存储。

b、用卷积稀疏编码对低分辨率训练图像进行重建，将重建后的图像与真实图像组成训练图像对，使用联合字典训练方法得到低分辨率字典。以低分辨率字典原子为锚点，寻找离锚点最近的图像块构建低分辨率字典和高分辨率字典，存储备用；

用卷积稀疏编码对低分辨率训练图像进行重建，如图2所示为一张训练图片的卷积稀疏编码重建图片，将重建后的图像与真实图像组成训练图像对，使用联合字典训练方法得到低分辨率字典:

和

其中是卷积稀疏编码重建后的图像块组成的矩阵，X_h是目标真实的高分辨率图像块组成的矩阵，D_h和D_l分别是高分辨率字典和低分辨率字典，Z是表示系数组成的矩阵，以低分辨率字典原子为锚点，寻找离锚点最近的图像块构建低分辨率字典和高分辨率字典，进行存储。

c、对于输入的一张低分辨率图像，将其分解为低频光滑图像和高频图像两部分，对于低频部分直接使用双三次插值进行重建，高频部分则利用存储的低分辨率和高分辨率滤波器进行卷积稀疏编码超分辨率重建，将重建的两部分相加得到超分辨率图像；

如图3a所示为一张输入低分辨率图像，将输入的低分辨率图像分解为低频光滑部分3b和高频边界和纹理部分3c，对光滑部分直接使用双三次插值方法进行重建，高频部分通过低分辨率滤波器分解：

得到低分辨率稀疏特征映射{Z^l}，高分辨率特征映射可以通过{Z^h}＝g(Z^l；W)估计得到，然后高分辨率图像的高频纹理结构可以通过下式获得：

其过程如图3d所示，将高频部分和低频部分的超分辨率图像相加就得到卷积稀疏编码重建的超分辨率图像。

d、将步骤c中得到的超分辨率图像，使用存储的低分辨率图像块到高分辨率图像块进行改进的固定邻域回归超分辨率重建；如图4a所示为一张卷积编码重建后图像，对其分割成块后，对于任意一块图像块寻找离其最近的锚点k，用其存储的映射对低分辨率图像块进行再次超分辨率重建:

其中P_k是对应于锚点k的低分辨率到高分辨率图像块的映射，将重建好的高分辨率图像块拼接成超分辨率图像4b，其整个过程如图4c所示。

e、对步骤d得到超分辨率图像构建自样例金字塔对，并以自样例金字塔对作为训练集，使用改进的固定邻域回归的训练方式训练得到低分辨率和高分辨率字典；

自样例金字塔对和/>如图5所示，其中的dmc表示前面的两次超分辨率重建，并使用自样例金字塔对作为训练集图像，把训练集图像分割成块，随机选取5000个低分辨率图像块作为锚点，对于每个锚点寻找离它最近的1024个低分辨率图像块作为原子构成低分辨率字典，对应的高分辨率图像块构成高分辨率字典。

f、对d得到的超分辨率图像，利用e中的低分辨率和高分辨率字典进行改进的固定邻域回归重建得到最终的超分辨率重建图像。

将步骤d中得到的超分辨率重建图像分割成块，对于任意一个图像块寻找离它最近的锚点k，使用下式求得表示系数：

其中，为步骤d中得到的超分辨率重建图像分割得到的图像块，/>是锚点k所对应的低分辨率字典。利用求得的系数α_i，通过下式进行重构高分辨率图像块：

其中，是锚点k对应的高分辨率字典；最后，将高分辨率图像块重叠拼接成如图6所示最终的超分辨率图像。整个过程的流程图如图7所示。

Claims (9)

1.一种串联式单图像超分辨率重建方法，其特征在于：包括以下步骤：

a、将训练集图片对分解为低频光滑图像和高频图像两部分，对高频图像采用卷积稀疏编码训练，得到低分辨率滤波器和高分辨率滤波器，以及低分辨率特征图到高分辨率特征图的变换函数，存储备用；

b、用卷积稀疏编码对低分辨率训练图像进行重建，将重建后的图像与真实图像组成训练图像对，使用联合字典训练方法得到低分辨率字典；以低分辨率字典原子为锚点，寻找离锚点最近的图像块构建低分辨率字典和高分辨率字典，存储备用；

c、对于输入的一张低分辨率图像，将其分解为低频光滑图像和高频图像两部分，对于低频部分直接使用双三次插值进行重建，高频部分则利用存储的低分辨率和高分辨率滤波器进行卷积稀疏编码超分辨率重建，将重建的两部分相加得到超分辨率图像；

d、将步骤c中得到的超分辨率图像，使用存储的低分辨率字典和高分辨率字典进行改进的固定邻域回归超分辨率重建；

e、对步骤d得到超分辨率图像构建自样例金字塔对，并以自样例金字塔对作为训练集，使用改进的固定邻域回归的训练方式训练得到低分辨率和高分辨率字典；

f、对d得到的超分辨率图像，利用e中的低分辨率和高分辨率字典进行固定邻域回归重建得到最终的超分辨率重建图像。

2.根据权利要求1所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤a中，对于低分辨率训练集图片，通过解优化问题：

这里的是低分辨率图像Y的低频特征图，f^s是一个3×3的低通滤波器，其所有的系数都是1/9，f^dh和f^dv分别是水平和垂直的梯度算子[1,-1]和[1；-1]；我们可以将低分辨率图像分解为：

这里的表示低分辨率图像中的低频光滑部分，y表示低分辨率图像的高频边界和纹理部分，高分辨率中的高频部分可由高分辨率图片减去双三次插值后的低分辨率低频图像而获得。

3.根据权利要求1或2所述串联式单图像超分辨率重建方法，其特征在于：联合求解最优化问题：

和

这里的x是训练集高分辨率图像的高频部分，f_i ^l和分别是低分辨率和高分辨率滤波器，e是一个范围限制高分辨率滤波器的能量，/>是低分辨率特征图，g(·,w_j)是低分辨率特征图到高分辨率特征图的映射。

4.根据权利要求1所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤b中，对训练低分辨率图像使用卷积稀疏编码进行重建，将重建后的图像作为下一步训练的图像对中的低分辨率图像，采用联合字典学习训练得到低分辨率字典，以低分辨率字典中的每一个原子作为锚点，以训练集中距离每一个锚点最近的1024个低分辨率图像块作为原子构成低分辨率字典，并用其对应的高分辨率图像块构成高分辨率字典。

5.根据权利要求1所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤c中，将输入的低分辨率图像分解为高频光滑部分和低频边界和纹理部分，对光滑部分直接使用双三次插值方法进行重建，高频部分通过低分辨率滤波器分解：

得到低分辨率稀疏特征映射{Z^l}，高分辨率特征映射可以通过{Z^h}＝g(Z^l；W)估计得到，然后高分辨率图像的高频纹理结构可以通过下式获得：

将高频部分和低频部分的超分辨率图像相加就得到卷积稀疏编码重建的超分辨率图像。

6.根据权利要求1所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤d中，对使用卷积稀疏编码重建后的超分辨率图像分割成块，对于任意一块图像块寻找离其最近的锚点k，用其存储的映射对低分辨率图像块进行再次超分辨率重建：

其中P_k是对应于锚点k的低分辨率到高分辨率图像块的映射，将重建好的高分辨率图像块拼接成超分辨率图像。

7.根据权利要求1所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤e中，利用固定邻域回归得到的超分辨率重建图像构建自样例金字塔对和/>并使用自样例金字塔对作为训练集图像，把训练集图像分割成块，随机选取5000个低分辨率图像块作为锚点，对于每个锚点寻找离它最近的1024个低分辨率图像块作为原子构成低分辨率字典，对应的高分辨率图像块构成高分辨率字典。

8.根据权利要求1所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤f中，将步骤d中得到的超分辨率重建图像分割成块，对于任意一个图像块寻找离它最近的锚点k，使用下式求得表示系数：

其中，为步骤d中得到的超分辨率重建图像分割得到的图像块，/>是锚点k所对应的低分辨率字典。

9.根据权利要求8所述的串联式单图像超分辨率重建方法，其特征在于：所述步骤f中，利用求得的系数α_i，通过下式进行重构高分辨率图像块：

其中，是锚点k对应的高分辨率字典；最后，将高分辨率图像块重叠拼接成最终的超分辨率图像。