CN105023240B - 基于迭代投影重建的字典类图像超分辨率系统及方法 - Google Patents

Abstract

本发明提供一种基于迭代投影重建的字典类图像超分辨率系统及方法，所述系统包括：字典训练和投影矩阵预计算模块、基于投影矩阵的迭代投影超分辨率重建模块和基于全局约束的后处理模块。所述方法包括：步骤S1、字典的学习和投影矩阵的计算；步骤S2、基于投影矩阵的迭代投影超分辨率重建：对低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建，对产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代重建，最后将全部重建成分加权相加作为最后重建的结果；步骤S3、对重建图像通过全局约束来消除不自然效应。本发明可有效提高字典类方法的计算速度并能够恢复图像高频细节信息。

Description

基于迭代投影重建的字典类图像超分辨率系统及方法

技术领域

本发明涉及图像及视频超分辨率技术领域，具体是一种基于迭代投影重建的字典类图像超分辨率系统及方法。

技术背景

超分辨率（Super-Resolution）也被称为上采样、图像放大，指的是通过低分辨率的图像来恢复高分辨率的清晰图像。超分辨率是图像和视频处理领域的基础问题之一，在医学图像处理、图像识别、数码照片处理、高清电视等领域有着非常广泛的应用前景。

最经典的超分辨率算法之一是基于核的插值算法，例如：双线性插值、样条曲线插值等等。但是这一类算法是通过已知的离散数据来生成连续数据，会带来模糊、锯齿等效应，同时，也无法恢复在低分辨率图像中所丢失的高频细节信息。近年来，大量的基于边缘的超分辨率算法被提出，改善了传统插值的不自然效应，同时提高了边缘的视觉质量。但是，这一类聚焦于改善边缘的算法仍然不能恢复高频纹理细节。为了解决高频细节重建的问题，一些字典学习类方法也被相继提出，通过使用额外的高分辨率图像块来训练低分辨率对应的高分辨率字典，来恢复低分辨率图像中丢失的细节信息。但是该类方法中逐块使用字典进行高分辨率重建非常耗时。因此，如何在降低时间和计算消耗的同时提高超分辨率图像的质量，是我们十分关注的一个重要课题。

发明内容

本发明所要解决的技术问题是，提供一种基于迭代投影重建的字典类超分辨率系统，以有效提高字典类方法的计算速度并且能够恢复图像高频细节信息。

本发明所要解决的技术问题是，提供一种基于迭代投影重建的快速字典类超分辨率方法，以有效提高字典类方法的计算速度并且能够恢复图像高频细节信息。

为解决上述技术问题，本发明首先提供一种基于迭代投影重建的字典类图像超分辨率系统，其包括：

字典训练和投影矩阵预计算模块，用于分别从训练图像集中提取高分辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本，然后使用K均值聚类的方法训练字典，计算字典中每个原子和全部样本的欧式距离，从中选取最近邻构成该原子的K近邻，再使用每个原子的K近邻样本集计算原子的投影矩阵，作为该原子代表的同一类图像块的投影矩阵；

基于投影矩阵的迭代投影超分辨率重建模块，用于对低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建，对使用字典中的相似原子来计算输入的投影矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代进行重建，最后将全部重建成分加权相加，作为最后重建的结果；

基于全局约束的后处理模块：用于对重建图像通过全局约束的后处理来消除逐块重建过程中出现的不满足全局约束的不自然效应。

另一方面，本发明还提供一种基于迭代投影重建的字典类图像超分辨率方法，其包括如下步骤：

步骤S1、字典的学习和投影矩阵的计算：分别从训练图像集中提取高分辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本，使用K均值聚类的方法训练字典，计算字典中每个原子和全部样本的欧式距离，从中选取最近邻构成该原子的K近邻，再使用每个原子的K近邻样本集计算原子的投影矩阵，作为该原子代表的同一类图像块的投影矩阵；

步骤S2、基于投影矩阵的迭代投影超分辨率重建：对于低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建，对使用字典中的相似原子来计算输入的投影矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代进行重建，最后将全部重建成分加权相加，作为最后重建的结果；

步骤S3、基于全局约束的后处理：对步骤S2后的重建图像通过全局约束来消除在重建过程中产生的不满足全局约束的不自然效应。

进一步地，进行步骤S1时，K近邻包含低分辨率图像块邻居样本集N _l 和相应高分辨率图像块邻居样本集N _h 。

进一步地，进行步骤S1时，投影矩阵的计算方法如下：

对于低分辨率字典中的原子d，使用低分辨率字典中的原子的K近邻样本集N _l 来对其进行重建，重建目标函数如下：

(1)

其中，α为重建的表达系数，λ为目标函数的参数，该目标函数的解为：

(2)

然后，使用原子d的高分辨率邻居样本集和求解出的表达系数对d进行超分辨率 重建，其重建的公式如下：

（3）

其中， N _h 为高分辨率图像块邻居样本集，I为单位矩阵，通过公式（3），定义投影矩阵：

（4）

再使用公式（4）预先计算出字典中每一个原子对应的投影矩阵，在重建时，使用这些预计算的字典原子的投影矩阵来估计输入图像块的投影矩阵。

进一步地，进行步骤S2时，通过计算内积，将y在各个原子上进行投影，选择投影长度最大的原子作为与y最相似的原子，计算公式如下：

（5）

其中，d _qo 是和y最相似的原子，使用原子d _qo 的投影矩阵P _dqo 来估计输入y的投影矩阵P _y ，得到y的超分辨率重建：

（6）

输入y和相似原子d _qo 之间的第一阶残差为，

（7）

同样的，使用内积计算残差R ₁的最相似原子d _q1，

（8）

使用相似原子d _q1 的投影矩阵P _dq1 来估计残差R ₁的投影矩阵P _R1 ，得到该残差分量的超分辨率重建：

（9）

考虑第一阶残差之后，输入y的超分辨率重建为，

（10）

其中，ω₁是人为定义的权值，且ω₁＜1，用于调整残差分量在最后重建结果中的比重，通过迭代的方式计算第i阶残差R _i ，

（11）

同样使用内积计算R _i 的最相似原子d _qi ，并使用该原子的投影矩阵P _dqi 来估计第i阶残差R _i 的投影矩阵P _Ri ，并计算R _i 的超分辨重建x _Ri ，在总计N _R 次迭代后，输入y的超分辨率重建为，

（12）

权值ω _i 计算公式如下，

(13)

其中，i∈(1，2，…，N_R)，R₀＝y，ε是一个很小的正数以避免分母为0，当低分辨率图像Y中每个低分辨率图像块y都使用公式（12）重建其高分辨率图像块x后，就得到了重建的高分辨率图像X。

进一步地，进行步骤S3时，采用以下公式进行全局约束：

（14）

其中，D和H分别为降采样和模糊操作，X是重建的高分辨率图像，Y为输入的低分辨率图像，X ₀ 是利用迭代投影超分辨率重建逐块重建得到的高分辨率图像，c是一个常数，公式（14）通过梯度下降法求解：

（15）

其中，X _t 代表第t次迭代后的高分辨率图像，γ为梯度下降步长，U为上采样操作，公式（15）的结果即作为最终的高分辨率输出图像。

通过采用上述技术方案，本发明具有以下技术效果：本发明对投影过程中产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代进行重建，最后将全部重建成分加权相加作为最后重建的结果，而且，还采用全局约束的后处理来消除逐块重建过程中可能出现的不自然效应，从而可以有效提高字典类方法的计算速度并且能够恢复图像高频细节信息。

附图说明

图1是本发明基于迭代投影重建的快速字典类图像超分辨率方法的流程图。

图2是本发明提出的方法与传统的Bicubic插值方法和快速字典类方法ANR(A+)的超分辨率效果对比图。

图3是本发明提出的方法与传统的Bicubic插值、ICBI方法、基于梯度图约束重建的方法、ScSR方法、ASDS分类字典方法以及ANR(A+)的效果对比图。

图4是本发明提出的方法与传统的字典类方法Bicubic、ScSR、ASDS、NE+LLE、Zeyde以及ANR(A+)的效果对比图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

如图1所示，本发明首先提供一种基于迭代投影重建的字典类图像超分辨率系统，其包括：

字典训练和投影矩阵预计算模块，用于分别从训练图像集中提取高分辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本，然后使用K均值聚类的方法训练字典，计算字典中每个原子和全部样本的欧式距离，从中选取最近邻构成该原子的K近邻，再使用每个原子的K近邻样本集计算原子的投影矩阵，作为该原子代表的同一类图像块的投影矩阵；

基于投影矩阵的迭代投影超分辨率重建模块，用于对低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建，对使用字典中的相似原子来估计输入的投影矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代进行重建，最后将全部重建成分加权相加，作为最后重建的结果；

基于全局约束的后处理模块：用于对重建图像通过全局约束的后处理来消除逐块重建过程中出现的不满足全局约束的不自然效应。

另一方面，本发明还提供一种基于迭代投影重建的字典类图像超分辨率方法，包括如下步骤：

步骤S1、字典的学习和投影矩阵的计算

首先，在训练图像中随机选取局部块，再在该图片的降采样图像上选取对应的低分辨率局部块，通过大量提取这种高分辨率图像块和对应的低分辨图像块的局部块特征作为样本；其次，使用K均值聚类的方法训练字典，从训练图像库中随机选取五百万个样本，使用K均值聚类算法聚类出1024个聚类中心，用这些聚类中心作为字典的原子构成字典；再次，计算字典中每个原子和全部五百万个样本的欧式距离，从中选取2048个最近邻构成该原子的K近邻，K近邻包含低分辨率图像块邻居样本集N _l 和相应高分辨率图像块邻居样本集N _h ，最后，使用每个原子的K近邻样本集计算原子的投影矩阵，作为该原子代表的同一类图像块的投影矩阵，投影矩阵的计算方法如下：

对于低分辨率字典中的原子d，我们使用低分辨率字典中的原子的K近邻样本集N _l 来对其进行重建，重建目标函数如下：

(1)

其中，α为重建的表达系数，λ为目标函数的参数，该目标函数的解为：

(2)

然后，可以使用原子d的高分辨率邻居样本集和求解出的表达系数α对d进行超分辨率重建，其重建的公式如下：

（3）

其中，N _h 为高分辨率图像块邻居样本集，I为单位矩阵，通过公式（3），可定义投影矩阵：

（4）

这样，可以使用公式（4）预先计算出字典中每一个原子对应的投影矩阵。在重建时，使用这些预计算的字典原子的投影矩阵来估计输入图像块的投影矩阵，从而避免了在重建每个图像块时对每个输入图像块单独计算其表达系数，因此大大提高了字典类方法的计算速度。

步骤S2、基于投影矩阵的迭代投影超分辨率重建

对于一个低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建。通过计算内积，将y在各个原子上进行投影，选择投影长度最大的原子作为与y最相似的原子，计算方式如下：

（5）

其中，d _qo 是和y最相似的原子，使用原子d _qo 的投影矩阵P _dqo 来估计输入y的投影矩阵P _y ，可以得到y的超分辨率重建：

（6）

由于直接使用相似的原子的投影矩阵直接估计输入的投影矩阵是有误差的，因而重建的效果取决于输入和选择的原子的相似程度，当估计误差扩大时，重建的误差也会相应增加，并且损失高频细节信息。本发明使用迭代投影的方法来更好地进行超分辨率重建，输入y和相似原子d _qo 之间的（第一阶）残差为，

（7）

同样的，使用内积计算残差R ₁的最相似原子d _q1，

（8）

我们使用相似原子d _q1 的投影矩阵P _dq1 来估计残差R ₁的投影矩阵P _R1 ，可以得到该残差分量的超分辨率重建：

（9）

考虑第一阶残差之后，输入y的超分辨率重建为，

（10）

其中，ω₁（ω₁＜1）是人为定义的权值，用于调整残差分量在最后重建结果中的比重。类似地，可以通过迭代的方式计算第i阶残差R _i ，

（11）

同样使用内积计算R _i 的最相似原子d _qi ，并使用该原子的投影矩阵P _dqi 来估计第i阶残差R _i 的投影矩阵P _Ri ，并计算R _i 的超分辨重建x _Ri 。在总计N _R 次迭代后，输入y的超分辨率重建为，

（12）

权值ω _i 计算公式如下，

(13)

其中，i∈(1，2，…，N_R)，R₀＝y，ε是一个很小的正数以避免分母为0。当低分辨率图像Y中每个低分辨率图像块y都使用公式（12）重建其高分辨率图像块x后，就得到了重建的高分辨率图像X。

步骤S3、基于全局约束的后处理

图像超分辨率的一个基本全局约束为重建的高分辨率图像X要和输入的低分辨率图像Y保持一致，即DHX=Y，其中D和H分别代表降采样和模糊操作。在本发明提出的方法中，图像逐块进行重建，受到噪声等影响时可能在图像块局部出现一些不自然效应，通过以下全局约束来消除这些不自然效应：

（14）

其中，X ₀ 是利用迭代投影超分辨率重建逐块重建得到的高分辨率图像，c是一个常数。公式（14）可以通过梯度下降法求解：

（15）

其中，X _t 代表第t次迭代后的高分辨率图像，γ为梯度下降步长，U为上采样操作。公式（15）的结果即作为最终的高分辨率输出图像。

图2给出了本发明提出的方法和传统的插值方法以及一种快速字典类方法ANR(A+) (R. Timofte, V. D. Smet, and L. V. Gool, " A+: Adjusted anchoredneighborhood regression for fast super-resolution," Asian Conference on Computer Vision, 2014, pp. 1-15 )的超分辨率效果比较。可以看出，本方法在边缘、织物、衣料、头发等细节纹理处的超分辨率效果有明显改善，恢复了插值算法及快速字典方法中丢失的高频纹理细节信息。

图3给出了本发明提出的方法和Bicubic插值，Giachett等人在2011年提出的ICBI方法（A. Giachett and N.Asuni, “Real-time artifact-free image upscaling,” IEEETransactions on Image Processing, vol. 20, no. 10, pp. 2760-2768, 2011），Wang等人提出的基于梯度图约束重建的方法（L. Wang, S. Xiang, G. Meng, et al, “Edge-Directed Single Image Super-Resolution via Adaptive Gradient Magnitude Self-Interpolation,” IEEE Transactions onCircuits and Systems for Video Technology, vol. 23, no. 8, pp. 1289-1299, 2013），Yang等人2010年提出的ScSR方法（J. Yang, J. Wright, T. S. Huang, et al, “Image super-resolution via sparserepresentation,” IEEE Transactions on Image Processing, vol. 19, no. 11, pp.2861-2873, 2010），Dong等人提出的ASDS分类字典方法（W. Dong, D. Zhang, G. Shi, etal. “Image deblurring and super-resolution by adaptive sparse domainselection and adaptive regularization,” IEEE Transactions on Image Processing, vol. 20, no. 7, pp. 1838-1857, 2011），以及ANR(A+)的效果比较。通过比较锐利边缘以及帽子等纹理细节，可以观察到，本发明提出的方法可以恢复锐利的边缘，在传统ScSR中会出现的边缘光晕效应也能够很好地避免；同时本方法还能够很好的恢复纹理细节。

图4给出了本发明提出的方法和一些效果较好的字典类方法的结果比较，对比方法有：ScSR，ASDS，NE+LLE（H. Chang, D. Y. Yeung, and Y. Xiong, “Super-resolutionthrough neighbor embedding,” IEEE Conference on Computer Vision and Pattern Recognition, 2004, vol. 1, pp. 275-282），Zeyde等人提出的方法（R. Zeyde, M.Elad, and M. Protter, “On single image scale-up using sparse-representations,” Curves and Surfaces, pp. 711- 730, 2010），以及ANR(A+)的效果比较。通过比较清晰边缘以及衣物、窗户等纹理细节，可以观察到，本发明提出的方法可以恢复清晰的边缘和最多的纹理细节。同时本方法还可以有效消除ScSR等方法在边缘处产生的振铃效应（图中长方形框标出）。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同范围限定。

Claims (6)

1.一种基于迭代投影重建的字典类图像超分辨率系统，其特征在于，其包括：

字典训练和投影矩阵预计算模块，用于分别从训练图像集中提取高分辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本，然后使用K均值聚类的方法训练字典，计算字典中每个原子和全部样本的欧式距离，从中选取最近邻构成该原子的K近邻，再使用每个原子的K近邻样本集计算原子的投影矩阵，作为该原子代表的同一类图像块的投影矩阵；

基于投影矩阵的迭代投影超分辨率重建模块，用于对低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建，对使用字典中的相似原子来计算输入的投影矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代进行重建，最后将全部重建成分加权相加，作为最后重建的结果；

基于全局约束的后处理模块：用于对重建图像通过全局约束的后处理来消除逐块重建过程中出现的不满足全局约束的不自然效应。

2.一种基于迭代投影重建的字典类图像超分辨率方法，其特征在于，其包括如下步骤：

步骤S1、字典的学习和投影矩阵的计算：分别从训练图像集中提取高分辨率图像块以及从该图像的降采样图像上选取对应的低分辨率图像块作为样本，使用K均值聚类的方法训练字典，计算字典中每个原子和全部样本的欧式距离，从中选取最近邻构成该原子的K近邻，再使用每个原子的K近邻样本集计算原子的投影矩阵，作为该原子代表的同一类图像块的投影矩阵；

步骤S2、基于投影矩阵的迭代投影超分辨率重建：对于低分辨率图像块输入y，在字典中寻找与其最相似的原子，使用该原子的投影矩阵来对y进行超分辨率重建，对使用字典中的相似原子来计算输入的投影矩阵的过程中产生的残差向量进行再次投影重建获得残差向量的高分辨率重建，如此迭代进行重建，最后将全部重建成分加权相加，作为最后重建的结果；

步骤S3、基于全局约束的后处理：对步骤S2后的重建图像通过全局约束来消除在重建过程中产生的不满足全局约束的不自然效应。

3.如权利要求2所述的基于迭代投影重建的字典类图像超分辨率方法，其特征在于，进行步骤S1时，K近邻包含低分辨率图像块邻居样本集N _l 和相应高分辨率图像块邻居样本集N _h 。

4.如权利要求2或3所述的基于迭代投影重建的字典类图像超分辨率方法，其特征在于，进行步骤S1时，投影矩阵的计算方法如下：

对于低分辨率字典中的原子d，使用低分辨率字典中的原子的K近邻样本集N _l 来对其进行重建，重建目标函数如下：

(1)

其中，α为重建的表达系数，λ为目标函数的参数，该目标函数的解为：

(2)

然后，使用原子d的高分辨率邻居样本集和求解出的表达系数α对d进行超分辨率重建，其重建的公式如下：

（3）

其中， N _h 为高分辨率图像块邻居样本集，I为单位矩阵，通过公式（3），定义投影矩阵：

（4）

再使用公式（4）预先计算出字典中每一个原子对应的投影矩阵，在重建时，使用这些预计算的字典原子的投影矩阵来估计输入图像块的投影矩阵。

5.如权利要求4所述的基于迭代投影重建的字典类图像超分辨率方法，其特征在于，进行步骤S2时，通过计算内积，将y在各个原子上进行投影，选择投影长度最大的原子作为与y最相似的原子，计算公式如下：

（5）

其中，d _qo 是和y最相似的原子，使用原子d _qo 的投影矩阵P _dqo 来估计输入y的投影矩阵P _y ，得到y的超分辨率重建：

（6）

输入y和相似原子d _qo 之间的第一阶残差为，

（7）

同样的，使用内积计算残差R ₁ 的最相似原子d _q1 ，

（8）

使用相似原子d _q1 的投影矩阵P _dq1 来估计残差R ₁ 的投影矩阵P _R1 ，得到该残差分量的超分辨率重建：

（9）

考虑第一阶残差之后，输入y的超分辨率重建为，

（10）

其中，ω₁是人为定义的权值，且ω₁ ＜ 1，用于调整残差分量在最后重建结果中的比重，通过迭代的方式计算第i阶残差R _i ，

（11）

同样使用内积计算R _i 的最相似原子d _qi ，并使用该原子的投影矩阵P _dqi 来估计第i阶残差R _i 的投影矩阵P _Ri ，并计算R _i 的超分辨重建x _Ri ，在总计N _R 次迭代后，输入y的超分辨率重建为，

（12）

权值ω_i计算公式如下，

(13)

其中，, ，是一个很小的正数以避免分母为0，当低分辨率图像Y 中每个低分辨率图像块y都使用公式（12）重建其高分辨率图像块x后，就得到了重建的高分 辨率图像X。

6.如权利要求2所述的基于迭代投影重建的字典类图像超分辨率方法，其特征在于，进行步骤S3时，采用以下公式进行全局约束：

（14）

其中，D和H分别为降采样和模糊操作，X是重建的高分辨率图像，Y为输入的低分辨率图像，X ₀ 是利用迭代投影超分辨率重建逐块重建得到的高分辨率图像，c是一个常数，公式（14）通过梯度下降法求解：

（15）

其中，X _t 代表第t次迭代后的高分辨率图像，γ为梯度下降步长，U为上采样操作，公式（15）的结果即作为最终的高分辨率输出图像。