CN108830791B - 基于自身样例和稀疏表示的图像超分辨率方法 - Google Patents

Abstract

单幅图像超分辨率处理方法的目标是仅从一幅低分辨率的图像，重建出一幅高分辨率且清晰的图像。本发明提出了一种利用内部样例和外部字典训练相结合的重建图像高频信息的方法。在训练阶段，该方法首先利用内部样例训练的方法重建出图像中的主要高频特征，然后再利用外部字典训练的方法训练稀疏字典对。在图像重建阶段，首先利用和离线过程中同样的方法重建出主要高频特征，然后再利用稀疏表示的方法重建出残差高频特征。实验表明，该算法可以重建出比较好的图像中的高频信息，所提出的方法的性能指标好于现有的超分辨率方法。

Description

基于自身样例和稀疏表示的图像超分辨率方法

技术领域

本发明涉及到一种图像处理的方法，尤其是单幅图像的超分辨率处理的技术领域。即， 仅给定一幅低分辨率的图像，需要从中重构出高分辨率且清晰度更高的图像。本技术在图像 与视频的放大、视频监控、遥感图像处理等领域有着广泛的的应用。

背景技术

仅从一幅低分辨图像中重建出一幅高分辨图像的过程称为单幅图像的超分辨率技术 (single image super-resolution)。在最近一些年，单幅图像的超分辨率技术在实际生活中有着 广泛的应用，例如：在遥感图像，医学图像，监控图像，图像视频压缩和计算机视觉等领域， 此技术用来提高图像的清晰度。

目前，图像的超分辨的方法可以分为如下几类：(1)基于插值的方法。其利用图像的已 知低分辨率像素值来进行插值获得高分辨率像素值。这类方法的特点是速度快，然而其重构 的图像的质量不高，尤其是对于图像的边缘部分，会产生边缘模糊的效应。(2)基于样例的 方法。在这类方法的基于外部样例法中，利用外部大量的训练图像来得到含有低分辨率图像 块和所对应的高分辨率图像块的集合。然后，对待放大的图像块，在训练集合中寻找其最相 似的几个低分辨率的图像块，通过这些图像块在训练集合中所对应的高分辨率图像块的优化 的组合来得到高分辨率的图像块。在这类方法的基于内部样例法中，通过对输入的低分辨率 图像进行模拟的退化过程，得到分辨率更低的图像块，并不断迭代重复这一过程直到获得足 够多的在不同分辨率上的图像块，以在这些图像中，提取低分辨率的图像块和所对应的高分 辨率的图像块放入训练集合。这类方法的特点是训练时间长，需要很大的存储空间来存储训 练集合。同时，其找到相似块的计算部分很费时。其重构的高分辨率的图像的质量一般来说 要好于基于插值的方法，但是在图像中会产生块效应，影响其输出图像的视觉效果。(3)基 于神经网络进行深度学习的方法。在这类方法中利用多层的卷积神经网络(CNN)来学习低 分辨率图像到高分辨率图像的映射，在学习完之后，利用学习好的模型来产生高分辨率的图 像。在这里，需要大量的训练图像来产生较好的卷积神经网络的模型。一般来说，这类方法 的效果也要好于基于插值的方法。同时，如果输入的低分辨率图像和训练集中的图像的差异 较大时，会降低其输出图像的质量。(4)基于稀疏表示的方法。在这类方法中，利用大量的 训练图像来产生可以稀疏表示图像的字典，包括低分辨率图像的字典和高分辨率图像的字典。 对于要放大图像上的图像块，首先利用低分辨率字典来稀疏表示，然后利用同样的稀疏表示 的系数和高分辨率的字典来产生高分辨率的图像块。这类方法在训练之后，仅需要存储低分 辨率块的字典和高分辨率块的字典，其需要的存储空间大大小于基于样例的方法。一般情况 下，其获得的输出的图像的质量和以上所介绍的基于神经网络进行深度学习方法所输出的图 像的质量差不多。同时，其泛化能力强，即使要放大的图像和训练集合中的图像相差较大， 也能获得较好的输出的高分辨率的图像。

通过以上介绍，可以看出基于稀疏表示的方法具有较好的性能，本发明将对原有的基于 稀疏表示的方法进行改进，以提高输出的高分辨率图像的质量和视觉效果，得到更清晰的图 像。

发明内容

本发明的主要创新点包括以下几个个方面：1)字典训练阶段和图像合成阶段只使用一个 稀疏字典对，即，低分辨率的残差字典(low-resolution dictionary，LRD)和高分辨率的残差字 典(high-resolution dictionary HRD)；2)在字典训练阶段和图像合成阶段都是利用内部样例重 建出主要高频特征(main high-frequency features，MHF)，而没有使用外部图像的信息重建出 主要的高频特征(MHF)；3)使用内部样例重建出主要高频特征(MHF)时只使用自身的一 幅低分辨(low-resolution，LR)图像训练投影矩阵p_k，没有像以前的方法那样使用很大的训练 样例集，因此运行时间比较短。同时，利用本文所提出的方法，字典训练阶段和图像重建阶 段是可以分离的，大大减少了在线的对图像进行超分辨率放大的时间。4)训练集和测试集是 分离的，训练集中高分辨率临时图像H_TMP与测试集中高分辨率临时图像H_TMP是不同的图像。 这样大大缩短了运行时间，并且训练阶段和测试阶段可以脱机处理。

本发明所提出的方法包括两个阶段：字典的离线训练阶段和图像的在线重建阶段。

1)字典的离线训练阶段

所提出的方法在字典训练阶段，首先高分辨率的原始图像H_ORG经过点扩展算子的卷积 和下采样操作后得到低分辨率的图像I₀。然后，把图像I₀看作为高分辨率的训练图像I_H，对 I_H进行点扩展算子的卷积和下采样后得到低分辨率的训练图像I_L。接下来，使用双三次插值 (bi-cubic interpolation)方法放大图像I_L，并对放大得到的图像使用迭代反投影(iterative back propagation，IBP)的方法进行修正得到图像I_LF，I_H减去I_LF得到图像I_HF。投影矩阵P_k的训练 集

其中，N₁是图像块的个数，

是由图像I_HF直接分块 得到的图像块的集合，

是使用下面的式(1-4)中的四个高通滤波器分别滤波处理 图像I_LF，在每个像素点上得到4个分量，并使用主成分分析的方法(principle component analysis，PCA)降维后只剩1个分量所得到的图像块集合。

G＝[1，0，-1]； (1)

L＝[1/2，0，-1，0，1/2]； (2)

G^T＝[1，0，-1]^T (3)

L^T＝[1/2，0，-1，0，1/2]^T (4)

在低分辨率的训练集

中采用K-均值(K-means)分类的方法，对其空间分为K 个类，每个类的中心点为锚点

每个锚点

都对应一个邻域矩阵

其中，每个邻域矩阵

由有n_c个和锚点最相近的原子(atom)

组成。这n_c个最相近的原子是通过计算训练样 例集合中的每个原子与锚点

的相关性，选择相关性最大的原子得到的。同时，和这些原子

相对应的高分辨率的图像块

组成高分辨率上的邻域矩阵

然后利用如下公式(5)，可以 得到和锚点

相对应的投影矩阵P_J。

其中，矩阵I是单位矩阵，λ是平衡因子，需要在实验中对其进行优化的设置，矩阵X^T是矩 阵X的转置矩阵。对低分辨率图像I₀使用双三次插值放大可以得到初始插值图像I_bic，然后对 I_bic中的每一个图像块

找到和其相关性最大的锚点

利用训练好的投影矩阵P_j0，和以 下公式(6)估计出高分辨率图像中的图像块

主要高频图像H_MHF可以通过合并以上所有估计出的高分辨率图像块以及对块与块之间的重 叠区域取平均值求出来。图像I_ibp加上得到的主要高频图像H_MHF可以得到高分辨率临时图像 H_TMP。图像H_ORG减去图像H_TMP可以得到残差高频图像H_RHF。用和处理图像I_HF和I_LF一样的方 法处理图像H_TMP和H_RHF，可以得到外部训练集

其中

是图像H_TMP上提取的图像块，N₂是其中的图像块的个数，

是图像H_RHF经过滤波和主成分分析后在相 同位置处提取的图像块。使用稀疏表示中K-SVD字典训练的方法处理

产生低 分辨冗余字典LRD和稀疏表示向量

利用外部训练集中的所有高分辨率块

可以构成矩阵Q，其中

是矩阵Q的第m列。利用稀疏表示向量

可以构成矩阵R，其中

是矩阵R的第m列。对于所求的高分辨率字典 HRD，希望其能最小化如下的函数。

对式(7)的求解，可以得到高分辨率的字典

HRD＝Q*R^H*(R*R^H)^-1 (8)

这样，就完成了离线的训练过程，得到了过完备的低分辨率的字典LRD和高分辨率字典 HRD，以供在线过程使用。

2)在线的放大过程

首先，对输入的一幅低分辨率的图像L_INPUT，按照上面离线过程中的处理方法，可以生成 图像I_LF，然后对I_LF图像中的每一个图像块，以及训练好的投影矩阵

根据前面的公式(6)， 生成主要高频特征图像H_MHF，图像I_ibp加上主要高频图像H_MHF得到高分辨率临时图像H_TMP。 生成HR临时图像H_TMP以后，先使用上面的(1-4)式中的四个高通滤波器分别滤波处理H_TMP， 并使用PCA降维以后可以得到图像块

再使用优化的匹配跟踪(optimal matchingpursuit， OMP)算法处理

和低分辨冗余字典LRD，可以得到图像块在低分辨率字典上的表示系数 矢量

这样，重建的高分辨率图像块可以表示为

按照这个方法对图像中所 有的块进行以上的处理，并对图像块块与图像块之间重叠的区域采用取平均值的方法，就可 以得到高分辨率的残差高频图像H_RHF。最后，高分辨率的残差高频图像H_RHF加上高分辨率的 临时图像H_TMP便得到最终的输出的高分辨图像H_EST。

附图说明

1.图1是所提出的方法的流程图；

2.图2是所提出方法的字典离线训练阶段的流程图；

3.图3是所提出方法的图像在线合成放大阶段的流程图；

4.图4是本发明所采用的训练图像；

5.图5是各种算法对Lena图像的超分辨率重建结果图；图5(a)是高分辨率图像的原图，图 5(b)是双三次插值方法的结果图，图5(c)是Zeyde方法的结果图，图5(d)是Zhang的方法的结 果图，图5(e)是所提出的方法的结果图；

6.图6是各种算法对Butterfly图像的超分辨率重建结果图；图6(a)是高分辨率图像的原图， 图6(b)是双三次插值方法的结果图，图6(c)是Zeyde方法的结果图，图6(d)是Zhang的方法 的结果图，图6(e)是所提出的方法的结果图。

具体实施方式

以下结合说明书的附图，具体介绍本发明的实施方式。

本发明所采用的训练图像只有如附图4所示的图像。由于只有一幅训练图像，其训练阶 段的计算复杂度低，运行的时间快。其离线训练阶段的目的是产生用于稀疏表示的高分辨率 的字典和低分辨率的字典。在离线训练阶段，输入的高分辨率的原始图像H_ORG经过点扩展算 子的卷积和下采样操作后得到低分辨率的图像I₀。然后，把图像I₀看作为高分辨率的训练图 像I_h，对I_h进行点扩展算子的卷积和下采样后得到低分辨率的训练图像I_L。接下来，使用双 三次插值方法放大图像I_L，并对放大得到的图像使用迭代反投影(iterativeback propagation， IBP)的方法进行修正得到图像I_LF，I_H减去I_LF得到图像I_HF。投影矩阵P_k的训练集

其中，N₁是图像块的个数，

是由图像I_HF直接分块得 到的图像块的集合，

是使用下面的式(9-12)中的四个高通滤波器分别滤波处理 图像I_LF，在每个像素点上得到4个分量，并使用主成分分析的方法(principlecomponent analysis，PCA)降维后只剩1个分量所得到的图像块集合。

G＝[1，0，-1]； (9)

L＝[1/2，0，-1，0，1/2]； (10)

G^T＝[1，0，-1]^T (11)

L^T＝[1/2，0，-1，0，1/2]^T (12)

在低分辨率的训练集

中采用K-均值(K-means)分类的方法，对其空间分为K 个类，每个类的中心点为锚点

每个锚点

都对应一个邻域矩阵

其中，每个邻域矩阵

由有n_c个和锚点最相近的原子(atom)

组成，

为矩阵

的第m列。这n_c个最相近的原子是通过计算训练样例集合中的每个原子与锚点

的相关性，选择相关性最大的原子得 到的。同时，和这些原子

相对应的高分辨率的图像块

组成高分辨率上的邻域矩阵

然后利用如下公式(13)，可以得到和锚点

相对应的投影矩阵P_j。

其中，矩阵I是单位矩阵，λ是平衡因子，矩阵X^T是矩阵X的转置矩阵。对低分辨率图像I₀使用双三次插值放大可以得到初始插值图像I_bic，然后对I_bic中的每一个图像块

找到和其 相关性最大的锚点

利用训练好的投影矩阵P_j0，和以下公式(14)估计出高分辨率图像中的 图像块

主要高频图像H_MHF可以通过合并以上所有估计出的高分辨率图像块，以及对块与块之间的重 叠区域取平均值求出来。图像I_ibp加上得到的主要高频图像H_MHF可以得到高分辨率临时图像H_TMP。图像H_ORg减去图像H_TMP可以得到残差高频图像H_RHF。用和处理图像I_HF、I_LF一样的方 法处理图像H_TMP和H_RHF，可以得到外部训练集

其中

是图像H_TMP上提取的图像块，N₂是其中的图像块的个数，

是图像H_RHF经过滤波和主成分分析后在相 同位置处提取的图像块。使用稀疏表示中K-SVD字典训练的方法处理

可以 得到低分辨冗余字典LRD和稀疏表示向量

利用外部训练集中的所有高分辨 率块

可以构成矩阵Q，其中

是矩阵Q的第m列。利用稀疏表示向量

可以构成矩阵R，其中

是矩阵R的第m列。然后，利用以下公式(15)可 以得到高分辨率的字典

HRD＝Q*R^H*(R*R^H)^-1 (15)

这样，就完成了离线的训练过程，得到了过完备的低分辨率的字典LRD和高分辨率字典 HRD，以供在线过程使用。

在本发明的在线放大过程中，对输入的一幅低分辨率的图像L_INPUT，按照上面离线过程中 的处理方法，可以生成图像I_LF，然后对I_LF图像中的每一个图像块，以及训练好的投影矩阵

根据前面的公式(14)，生成主要高频特征图像H_MHF，图像I_ibp加上主要高频图像H_MHF得 到高分辨率临时图像H_TMP。生成HR临时图像H_TMP以后，先使用上面的(9-12)式中的四个高通 滤波器分别滤波处理H_TMP，并使用PCA降维以后可以得到图像块

再使用优化的匹配跟 踪(optimal matching pursuit，OMP)算法处理

和低分辨冗余字典LRD，可以得到图像块在低分辨率字典上的表示系数矢量

这样，重建的高分辨率图像块可以表示为

按照这个方法对图像中所有的块进行以上的处理，并对图像块块与图像块之间重叠的区域采 用取平均值的方法，就可以得到高分辨率的残差高频图像H_RHF。最后，高分辨率的残差高频 图像H_RHF加上高分辨率的临时图像H_TMP便得到最终的输出的高分辨图像H_EST。

在本发明的实验中对低分辨图像的放大倍数是2倍。在本发明的实施过程中，对发明中 所涉及到的参数的设置如下：1)在训练过程中输入的低分辨率图像是通过窗口大小为5×5， 标准差为1的高斯滤波获得的。在实验中，训练阶段和重建阶段的图像块的大小设置为9×9。 2)由于需要把所提出的方法和Zhang所提出的方法和Zeyde所提出的方法进行对比，实验中 的主要字典和残差字典的字典原子的个数K都设置为500，因此在实验中残差字典原子的个 数也设置为500，锚点个数为K＝500。每个锚点所对应的邻域矩阵中有n_c个最相近的原子， 设置n_c＝256，正则化参数λ＝0.01。3)和Zhang所提出方法中的训练图像一样，本发明也采 用附图4作为训练图像。因此，本发明的实验中对所提出的方法和Zeyde的方法、Zhang的 方法一样，使用附图4作为训练图像。

本发明通过实验，对比了所提出的方法、Zeyde的方法、Zhang的方法的性能。所对比的 性能指标为常用的性能指标PSNR(峰值信噪比)和SSIM(结构相似度)上进行比较，实验 结果如以下表1所示。

表1.各种超分辨率重建方法的PSNR(dB)和SSIM(×2)

由表1的对各种算法的PSNR、SSIM对比结果可知，本发明所提出的方法的PSNR比Zeyde的方法、Zhang的方法的PSNR分别高了1.5dB、和1.19dB。本发明所提出的方法的 SSIM比Zeyde的方法、Zhang的方法的SSIM分别高了0.017、和0.0136。下面再从各个方 法的运行时间上进行比较，实验结果如以下表2所示。由于，在训练过程中产生的数据可以 保存起来，一次训练，多次地使用，本发明对比的所有方法的运行时间各指的是各个方法所 需的在线对图像进行超分辨率放大处理的时间。本发明的实验运行的环境为：Windows 10的 64位操作系统，Matlab的仿真软件，计算机的CPU为Intel的Xeon(R)的E5-2650处理器， 内存为64GB。

表2.Zeyde、Zhang、与本发明所提出的方法的在线运行时间(单位：秒)

图像	Zeyde的方法	Zhang的方法	所提出的方法
				Baby	2.95	4.18	3.68
Bird	0.91	1.35	1.12
				Butterfly	0.74	1.05	0.97
Head	0.93	1.23	1.08
				Woman	0.92	1.31	1.09
Baboon	2.62	3.74	3.15
				Coastguard	1.19	1.66	1.3
Foreman	1.12	1.59	1.34
				Lenna	2.93	4.36	3.44
Pepper	2.95	4.15	3.48
				Zebra	2.54	3.68	3.0
平均	1.8	2.57	2.15

由表2各个方法的运行时间可知，本发明所提出的方法的运行时间和Zeyde的方法、Zhang 的方法的运行时间都差不多在1秒到3秒之间，性能都差不多。再结合表1的PSNR和SSIM 的实验结果可以看出，本发明所提出的方法在性能指标上比已有的Zeyde的方法和Zhang的 方法在客观的图像质量的评价指标上要好，而且运行时间和已有的这两个方法差不多。

在附图5和附图6中，给出了采用不同方法进行超分辨率放大所重构图像的视觉效果图。 由附图5和附图6可以看出，双三次插值的方法的放大产生的图像比较模糊和平滑，视觉效 果最差。Zeyde的方法相对于双三次插值，视觉效果提高了很多，但局部纹理和边缘部分不 够清晰，Zhang的方法相对于Zeyde的方法有了较大程度的提高，但在图像细节信息的恢复 上仍然有缺陷，存在一定的锯齿和伪影的现象。而本发明所提出的方法的效果优于前三种方 法，更好地保持了图像的局部细节信息，而且减少了块效应和伪影效应。

Claims (2)

1.一种基于自身样例和稀疏表示的图像超分辨率方法，包括离线的获得投影矩阵、利用投影矩阵产生高频特征、利用外部训练法产生低分辨率字典、和高分辨率字典的离线的训练阶段；和在线的利用训练好的投影矩阵产生主要高频特征、利用低分辨率字典和最优匹配跟踪方法产生稀疏表示的系数、利用稀疏 表示的系数和高分辨率字典产生高频残差特征、重构高分辨率图像的在线的放大阶段；

其中的离线的训练阶段的特征在于，包括以下步骤：

步骤1)获得投影矩阵的方法，对于输入的高分辨率的原始图像H_ORG经过点扩展算子的卷积和下采样操作后得到低分辨率的图像I₀，然后，把图像I₀看作为高分辨率的训练图像I_H，对I_H进行点扩展算子的卷积和下采样后得到低分辨率的训练图像I_L，接下来，使用双三次插值方法放大图像I_L，并对放大得到的图像使用迭代反投影(iterative backpropagation,IBP)的方法进行修正得到图像I_LF，图像I_H减去图像I_LF得到图像I_HF，投影矩阵P_k的训练集

其中，N₁是图像块的个数，

是由图像I_HF直接分块得到的图像块的集合，

是使用下面的式(1-4)中的四个高通滤波器分别滤波处理图像I_LF，在每个像素点上得到4个分量，并使用主成分分析的方法(principlecomponent analysis,PCA)降维后只剩1个分量所得到的图像块集合，

G＝[1,0,-1]； (1)

L＝[1/2,0,-1,0,1/2]； (2)

G^T＝[1,0,-1]^T (3)

L^T＝[1/2,0,-1,0,1/2]^T (4)

在低分辨率的训练集

中采用K-均值(K-means)分类的方法，对其空间分为K个类，每个类的中心点为锚点

每个锚点

都对应一个邻域矩阵

其中，每个邻域矩阵

由有n_c个和锚点最相近的原子(atom)

组成，

为矩阵

的第m列，这n_c个最相近的原子是通过计算训练样例集合中的每个原子与锚点

的相关性，选择相关性最大的原子得到的，同时，和这些原子

相对应的高分辨率的图像块

组成高分辨率上的邻域矩阵

然后利用如下公式(5)，可以得到和锚点

相对应的投影矩阵P_j，

其中，矩阵I是单位矩阵，λ是平衡因子，矩阵X^T是矩阵X的转置矩阵；

步骤2)重建出主要高频特征的方法，对低分辨率图像I₀使用双三次插值放大可以得到初始插值图像I_bic，然后对I_bic中的每一个图像块

找到和其相关性最大的锚点

利用训练好的投影矩阵

和以下公式(6)估计出高分辨率图像中的图像块

主要高频图像H_MHF可以通过合并以上所有估计出的高分辨率图像块，以及对块与块之间的重叠区域取平均值求出来；

步骤3)利用外部训练法产生稀疏字典的方法，图像I_ibp加上得到的主要高频图像H_MHF可以得到高分辨率临时图像H_TMP，图像H_ORG减去图像H_TMP可以得到残差高频图像H_RHF，用和处理I_HF、I_LF一样的方法处理图像H_TMP和H_RHF，可以得到外部训练集

其中

是图像H_TMP上提取的图像块，N₂是其中的图像块的个数，

是图像H_RHF经过和在以上步骤1)中相同的滤波和主成分分析后在相同位置处提取的图像块，使用稀疏表示中K-SVD字典训练的方法处理

可以得到低分辨冗余字典LRD和稀疏表示向量

利用外部训练集中的所有高分辨率块

可以构成矩阵Q，其中

是矩阵Q的第m列，利用稀疏表示向量

可以构成矩阵R，其中

是矩阵R的第m列，然后，利用以下公式(7)可以得到高分辨率字典

HRD＝Q*R^H*(R*R^H)^-1 (7)

这样，就完成了离线的训练过程，得到了投影矩阵P_j、过完备的低分辨率字典LRD、和高分辨率字典HRD，以供在线过程使用。

2.如权利要求1所述的一种基于自身样例和稀疏表示的图像超分辨率方法，其中的在线的放大阶段的特征在于，包括以下步骤：

步骤1)利用训练好的投影矩阵产生主要高频特征的方法，对输入的一幅低分辨率的图像L_INPUT，以图像L_INPUT作为以上离线过程中的输入图像H_ORG，按照上面离线过程中步骤1)中的处理方法，可以生成图像I_LF，然后对I_LF图像中的每一个图像块，以及训练好的投影矩阵

根据前面的公式(6)，生成主要高频特征图像H_MHF；

步骤2)利用字典LRD和最优匹配跟踪方法产生低分辨率块的稀疏表示的系数的方法，图像I_ibp加上主要高频图像H_MHF得到高分辨率临时图像H_TMP，生成HR临时图像H_TMP以后，先使用上面的(1-4)式中的四个高通滤波器分别滤波处理H_TMP，并使用PCA降维以后可以得到一图像，然后从此图像中提取图像块

再使用优化的匹配跟踪(optimal matchingpursuit,OMP)算法处理

和低分辨冗余字典LRD，可以得到图像块

在低分辨率字典上的稀疏表示系数矢量

步骤3)利用字典HRD和稀疏表示的系数重建残差高频特征的方法，重建的高分辨率图像块可以表示为

按照这个方法对在线过程步骤2)最后得到的图像中所有的块进行以上的处理，并对图像块块与图像块之间重叠的区域采用取平均值的方法，就可以得到高分辨率的残差高频图像H_RHF；

步骤4)输出高分辨率的重构的图像的方法，最后，高分辨率的残差高频图像H_RHF加上高分辨率的临时图像H_TMP便得到最终的输出的高分辨图像H_EST。

Images