CN102750677B - 基于同尺度结构自相似与压缩感知的单图像超分辨率方法 - Google Patents

Abstract

一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法，首先将低分辨率图像进行插值获得准高分辨率图像；再将准高分辨率图像分成准高分辨率图像块，将每个准高分辨率图像块所对应的向量作为训练样本并组成样本矩阵，利用K-SVD字典学习方法求解获得字典；将低分辨率图像分成低分辨率图像块；利用降采样矩阵、字典以及每个低分辨率图像块所对应的向量，通过OMP方法求解得到高分辨率重构图像块所对应的向量；最后，将高分辨率重构图像块所对应的向量组合起来形成高分辨率重构图像，本发明将基于压缩感知和基于图像结构自相似性的超分辨率方法有机地结合起来，将附加信息通过压缩感知框架加入到高分辨率重构图像中从而实现空间分辨率的提升。

Description

基于同尺度结构自相似与压缩感知的单图像超分辨率方法

技术领域

本发明属于一种超分辨率方法，特别涉及一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法。

背景技术

高分辨率图像在很多领域具有广泛的应用价值，然而由于成像设备在制造工艺以及制造成本上所受限制，具有一定的分辨率极限。超分辨率方法可以在一定程度上克服分辨率极限问题，从而成为十分有效的提升图像分辨率的途径。超分辨率方法是一项通过多幅或单幅低分辨率图像获取高分辨率图像的技术，在超分辨率实现过程中将由低分辨率图像获取高分辨率图像的过程称作重构过程，并将重构得到的高分辨率图像称作高分辨率重构图像。根据在超分辨率方法中所利用低分辨率图像的数目，超分辨率方法可以分为基于单幅图像的超分辨率方法和基于多幅图像的超分辨率方法。由于在大多数场合下，同一场景中多幅图像的获取并非易事，如何仅利用单幅图像实现空间分辨率提升已成为目前超分辨率技术中亟待解决的关键问题之一。在基于单幅图像的超分辨率方法中，由于仅有单幅图像可以利用，因而在重构过程中需要加入必要的附加信息。

目前，在基于单幅图像的超分辨率方法中获得广泛认可的方法包括：基于压缩感知的超分辨率方法和基于图像结构自相似性的超分辨率方法。基于压缩感知的超分辨率方法在压缩感知的框架下进行字典学习，使得图像块在字典下能够得到稀疏表达，然后再利用学习得到的字典和低分辨率图像获得高分辨率重构图像。现有基于压缩感知的超分辨率方法是利用图像库作为字典学习的样本，图像库由大量的高分辨率图像组成。这种字典学习样本选取方式的不足在于为了使各种不同的图像块在字典下均能得到很好的表达，字典的规模必须很大而且字典学习的效率也无法得到保障；另外，当图像库中的图像不能提供低分辨率图像所需要的准确附加信息时，高分辨率重构图像的效果无法得到保障。基于图像结构自相似性的超分辨率方法利用图像中的相似图像块，且仅利用低分辨率图像自身而不需要图像库，这使得在重构过程中所利用的附加信息是准确的，但由于此类方法需要遍历搜索相似图像块，因此运算效率不高。基于压缩感知的超分辨率方法和基于图像结构自相似性的超分辨率方法具有各自的优势和不足，目前还没有将这两种方法有效结合起来的超分辨率方法。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法，将基于压缩感知的超分辨率方法和基于图像结构自相似性的超分辨率方法有机地结合起来，并利用这两种方法各自的优势、克服其不足，利用图像同尺度自相似结构提供的附加信息，并将附加信息通过压缩感知框架加入到高分辨率重构图像中从而实现空间分辨率的提升。

为了实现上述目的，本发明采用的技术方案是：

一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法，包括以下步骤：

步骤1：将低分辨率图像Y进行插值获得准高分辨率图像X′；

步骤2：将准高分辨率图像X′分成p×p的准高分辨率图像块，每一个准高分辨率图像块对应一个向量x′_i；

步骤3：将得到的向量x′_i作为训练样本并组成样本矩阵S＝[x′₁，…，x′_s]，利用K-SVD字典学习方法求解下式获得字典ψ；

$\underset{\mathrm{\Ψ},A}{\min }\left\{{\left|\right|S-\mathrm{\ΨA}\left|\right|}_F^2\right\}\mathrm{subject\; to}\∀i{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\≤T$

其中，A＝[α₁，…，α_s]为稀疏表示矩阵，表示样本在字典下的稀疏表示系数，‖·‖₀表示向量中非零元的数目，T是控制向量稀疏程度的参量并取T＝2，‖·‖_F表示Frobenius范数；

步骤4：将低分辨率图像Y分成q×q的低分辨率图像块，每一个低分辨率图像块对应一个向量y_i；

步骤5：利用降采样矩阵Φ、字典ψ以及向量y_i，通过OMP方法求解下式获得在字典ψ下的稀疏表示系数从而得到高分辨率重构图像块所对应的向量 ${\hat{x}}_i=\mathrm{\Ψ}{\widehat{\mathrm{\α}}}_i;$

min‖α_i‖₀subject to‖Φψα_i-y_i‖₂≤ε

其中x_i∈Rⁿ，y_i∈R^m，x_i＝ψα_i，y_i＝Φx_i＝Φψα_i，α_i为x_i在字典ψ下的稀疏表示系数并且满足‖α_i‖₀＝k＜＜n，‖α_i‖₀表示α_i中非零元的数目；Φ∈R^m×n表示对高分辨率图像块进行模糊以及降采样所对应的矩阵，n＝p×p，m＝q×q，p/q为空间分辨率提升倍率；

步骤6：将高分辨率重构图像块所对应的向量组合起来形成高分辨率重构图像

所述步骤1中可以通过将低分辨率图像Y进行双三次插值获得准高分辨率图像X′。

所述步骤2中所得准高分辨率图像块之间，以及所述步骤4中所得低分辨率图像块之间，都可以具有一定的重叠。

所述步骤2中p取值可以为4，则步骤4中q取值为2，降采样矩阵 $\mathrm{\Φ}=\frac{1}{4}\left[\begin{array}{cccccccccccccccc}1& 1& 0& 0& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 0& 0& 1& 1\end{array}\right].$

与现有技术相比，本发明具有如下优点：

（1）在超分辨率图像重构过程中，仅用到了低分辨率图像自身而没有用到由其他高分辨率图像构成的图像库，这使得在重构过程中附加信息的加入是准确的，因而保证了重构效果；

（2）方法实现过程中利用了图像自身同尺度自相似结构中所蕴含的附加信息，而该附加信息是在压缩感知框架下加入到高分辨率重构图像中的，由于方法中所采用的OMP方法运算复杂度较低，因而保证了方法的运算效率。

总之，与现有超分辨率方法相比，本发明既达到了较好的重构效果，又具有较高的运算效率。

附图说明

附图为本发明超分辨率方法流程图。

具体实施方式

下面结合附图和实施例对本发明做进一步详细说明。

如图所示，一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法，包括以下步骤：

步骤1：将低分辨率图像Y进行双三次插值获得准高分辨率图像X′；

步骤2：将准高分辨率图像X′分成4×4的准高分辨率图像块，每一个准高分辨率图像块对应一个向量x′_i，准高分辨率图像块之间可以具有一定的重叠；

步骤3：将得到的向量x′_i作为训练样本并组成样本矩阵S＝[x′₁，…，x′_s]，利用K-SVD字典学习方法求解下式获得字典ψ；

$\underset{\mathrm{\Ψ},A}{\min }\left\{{\left|\right|S-\mathrm{\ΨA}\left|\right|}_F^2\right\}\mathrm{subject\; to}\∀i{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\≤T$

步骤4：将低分辨率图像Y分成2×2的低分辨率图像块，每一个低分辨率图像块对应一个向量y_i，低分辨率图像块之间可以具有一定的重叠；

步骤5：利用降采样矩阵 $\mathrm{\Φ}=\frac{1}{4}\left[\begin{array}{cccccccccccccccc}1& 1& 0& 0& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 0& 0& 1& 1\end{array}\right],$ 字典ψ以及向量y_i，通过OMP方法求解下式获得在字典ψ下的稀疏表示系数从而得到高分辨率重构图像块所对应的向量

min‖α_i‖₀subject to‖Φψα_i-y_i‖₂≤ε

步骤6：将高分辨率重构图像块所对应的向量组合起来形成高分辨率重构图像

以上步骤中，x_i∈Rⁿ，表示高分辨率图像块所对应的向量，y_i∈R^m，表示高分辨率图像块所对应的低分辨率图像块所对应的向量，y_i＝Φx_i＝Φψα_i，Φ∈R^m×n为降采样矩阵，表示对高分辨率图像块进行模糊以及降采样所对应的矩阵，α_i为x_i在字典ψ下的稀疏表示系数并且满足‖α_i‖₀＝k＜＜n，‖α_i‖₀表示α_i中非零元的数目，A＝[α₁，…，α_s]为稀疏表示矩阵，表示样本在字典下的稀疏表示系数，‖·‖₀表示向量中非零元的数目，T是控制向量稀疏程度的参量并取T＝2，‖·‖_F表示Frobenius范数。

Claims (2)

1.一种基于同尺度结构自相似与压缩感知的单图像超分辨率方法，其特征在于，包括以下步骤：

步骤1：将低分辨率图像Y进行插值获得准高分辨率图像X′；

步骤2：将准高分辨率图像X′分成p×p的准高分辨率图像块，每一个准高分辨率图像块对应一个向量x′_i；

步骤3：将得到的向量x′_i作为训练样本并组成样本矩阵S＝[x′_i，...，x′_s]，利用K-SVD字典学习方法求解下式获得字典Ψ；

$\underset{\mathrm{\Ψ},A}{\min }\left\{{\left|\right|S-\mathrm{\ΨA}\left|\right|}_F^2\right\}\mathrm{subject\; to}\∀i{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\≤T$

其中，A＝[α₁，...，α_s]为稀疏表示矩阵，表示样本在字典下的稀疏表示系数，||·||₀表示向量中非零元的数目，T是控制向量稀疏程度的参量并取T＝2，||·||_F表示Frobenius范数；

步骤4：将低分辨率图像Y分成q×q的低分辨率图像块，每一个低分辨率图像块对应一个向量y_i；

步骤5：利用降采样矩阵Φ、字典Ψ以及向量y_i，通过OMP方法求解下式获得在字典Ψ下的稀疏表示系数从而得到高分辨率重构图像块所对应的向量 ${\hat{x}}_i=\mathrm{\Ψ}{\widehat{\mathrm{\α}}}_i;$

min||α_i||₀subject to||ΦΨα_i-y_i||₂≤ε

其中x_i∈Rⁿ，y_i∈R^m，x_i＝Ψα_i，y_i＝Φx_i＝ΦΨα_i，α_i为x_i在字典Ψ下的稀疏表示系数并且满足||α_i||₀＝k＜＜n，||α_i||₀表示α_i中非零元的数目；Φ∈R^m×n表示对高分辨率图像块进行模糊以及降采样所对应的矩阵，n＝p×p，m＝q×q，p/q为空间分辨率提升倍率；

步骤6：将高分辨率重构图像块所对应的向量组合起来形成高分辨率重构图像；

其中：

所述步骤1中将低分辨率图像Y进行双三次插值获得准高分辨率图像X′，所述步骤2中所得准高分辨率图像块之间具有一定的重叠，所述步骤4中所得低分辨率图像块之间具有一定的重叠；

在超分辨率图像重构过程中，仅用到了低分辨率图像自身而没有用到由其他高分辨率图像构成的图像库，在实现过程中利用了图像自身同尺度自相似结构中所蕴含的附加信息，而该附加信息是在压缩感知框架下加入到高分辨率重构图像中的。

2.根据权利要求1所述的超分辨率方法，其特征在于，所述步骤2中p取值为4，步骤4中q取值为2，降采样矩阵 $\mathrm{\Φ}=\frac{1}{4}\left[\begin{array}{cccccccccccccccc}1& 1& 0& 0& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 1& 1& 0& 0& 1& 1& 0& 0& 0& 0& 0& 0& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 0& 0& 1& 1& 0& 0\\ 0& 0& 0& 0& 0& 0& 0& 0& 0& 0& 1& 1& 0& 0& 1& 1\end{array}\right].$