CN103020909A - 基于多尺度结构自相似与压缩感知的单图像超分辨率方法 - Google Patents

Abstract

基于多尺度结构自相似与压缩感知的单图像超分辨率方法，先设置高分辨率重构图像的初始估计值，设置迭代中止的误差，迭代最大的次数，根据图像的降质过程确定降采样矩阵和模糊矩阵，构建图像金字塔，并将其作为K-SVD方法的训练样本建立字典；按照Nonlocal方法在当前高分辨率重构图像中搜索具有相同尺度的相似图像块并确定权值矩阵；更新高分辨率重构图像的估计值，更新稀疏表示系数，更新高分辨率重构图像的估计值；然后进行下一次迭代，直到连续两步的高分辨率重构图像满足相应要求或达到最大的迭代次数，本发明通过压缩感知框架将蕴含在图像多尺度自相似结构中的附加信息加入到高分辨率重构图像中，具有更高的运算效率。

Description

基于多尺度结构自相似与压缩感知的单图像超分辨率方法

技术领域

本发明涉及一种基于多尺度结构自相似与压缩感知的单图像超分辨率方法。

背景技术

高分辨率图像能够提供很多细节信息，因此在众多领域中高分辨率图像的获取具有重要意义。图像分辨率受成像平台、成像设备制造工艺以及成本等多方面因素的影响具有一定的局限性，因此在实际应用中通常采用超分辨率方法来提升图像的空间分辨率。超分辨率方法利用信号处理方法，通过单幅或多幅低分辨率图像重构高分辨率图像。传统的超分辨率方法通常采用多幅低分辨率图像，利用它们之间的互补信息重构高分辨率图像，然而在众多应用场合下同一时相、同一区域的多幅低分辨率图像通常无法获取，这使得利用单幅低分辨率图像提升空间分辨率成为目前超分辨率技术中一个亟待解决的问题。

超分辨率方法将低分辨率成像设备获取图像的过程看作由高分辨率图像退化为低分辨率图像的降质过程，在降质过程中高分辨率图像损失了一些细节信息。超分辨率方法所要解决的问题对应于降质过程的逆过程，即通过低分辨率图像重构高分辨率图像，这一逆过程被称为重构过程，而获得的高分辨率图像被称为高分辨率重构图像。在单幅图像的超分辨率方法中，只有一幅低分辨率图像可以利用，因此在重构过程中，需要加入附加信息以弥补降质过程中损失的细节信息。超分辨率方法通常将附加信息作为正则化约束项加入到重构过程中，这使得超分辨率问题转换成为求解带有约束项的最优化问题。基于压缩感知的超分辨率方法将图像在特定字典下具有稀疏性这一附加信息作为约束项；基于结构自相似性的超分辨率方法将图像中广泛存在自相似结构这一附加信息作为约束项。尽管这两种方法取得了较好的超分辨率重构效果，然而方法均存在各自的不足。基于压缩感知的超分辨率方法是在压缩感知框架下完成的，这种方法利用图像在特定字典下具有稀疏性这一先验知识，将由大量高分辨率图像构成的图像库作为训练样本进行字典学习。字典的每一列称为字典的一个元素，字典学习的过程是使样本能够表示为少数字典元素的线性组合。字典构建完成后，方法通过求解一个最优化问题获取高分辨率重构图像。由于用于字典学习的样本取自图像库，因此会带来两个问题：首先，由于图像内容多种多样，为了使所有的图像块在训练得到的字典下均具有较好的稀疏表示形式，用于构建字典的图像库必须具有较大的规模，这使得字典学习的过程很难得到收敛；另外，图像库未必能提供待处理低分辨率图像所需要的附加信息，虽然对于训练样本来说字典是最优的，但是对于某一特定的图像块而言这种全局字典既不是最优的也不是有效的。因此，全局字典所提供的附加信息可能是不准确的，这一点制约了现有基于压缩感知的超分辨率方法。基于结构自相似性的超分辨率方法将图像中广泛存在的相似结构作为附加信息提升图像的空间分辨率。在这种方法中，由于附加信息来自图像自身，因此是准确的，从而克服了基于压缩感知的超分辨率方法的不足。然而目前大多数基于结构自相似性的超分辨率方法仅利用了同尺度自相似结构，而没有利用不同尺度自相似结构，因此附加信息的获取具有局限性；另外，方法在实现过程中需要在整幅图像中搜索相似图像块，因此运算复杂度较高。

发明内容

为了克服上述现有技术的不足，本发明的目的在于提供一种基于多尺度结构自相似与压缩感知的单图像超分辨率方法。

为了实现上述目的，本发明采用的技术方案是：

基于多尺度结构自相似与压缩感知的单图像超分辨率方法，包括如下步骤：

步骤1：设置高分辨率重构图像的初始估计值

k＝0，设置迭代中止的误差∈，迭代最大的次数K_max；

步骤2：根据图像的降质过程确定降采样矩阵D和模糊矩阵H；

步骤3：构建图像金字塔，并将其作为K-SVD方法的训练样本建立字典Ψ；

步骤4：按照Nonlocal方法在当前高分辨率重构图像中搜索具有相同尺度的相似图像块并确定权值矩阵B；

步骤5：更新高分辨率重构图像的估计值 ${\hat{X}}^{(k+1/2)}={\hat{X}}^{\left(k\right)}+K^T(\tilde{Y}-K{\hat{X}}^{\left(k\right)})={\hat{X}}^{\left(k\right)}+({\left(\mathrm{DH}\right)}^{T}Y-U{\hat{X}}^{\left(k\right)}-V{\hat{X}}^{\left(k\right)}),$ 其中，U＝(DH)^TDH，V＝η²(I-B)^T(I-B)；

步骤6：更新稀疏表示系数

i＝1，2,...，p，

其中R_i为抽取矩阵，p为图像块的个数，soft(x，τ)＝sign(x)max(|x|-τ，0)为含有阈值丅的软阈值函数，sign(x)表示符号函数；

步骤7：更新高分辨率重构图像的估计值

步骤8：k＝k+1，进行下一次迭代，重复步骤4至步骤7，直到连续两步的高分辨率重构图像满足

或迭代次数k达到K_max。

所述步骤3中，图像金字塔的构建过程是将低分辨率图像进行降采样以及插值处理从而获得一系列具有不同分辨率的图像。

与现有的技术相比，本发明将待处理低分辨率图像的图像金字塔作为训练样本来构建字典，充分利用了图像中的多尺度自相似结构。本发明还将Nonlocal方法也融入到超分辨率方法中，Nonlocal方法可以有效地利用同尺度自相似结构所提供的附加信息。本发明利用图像自身所提供的附加信息，克服了现有基于压缩感知的超分辨率方法在获取附加信息时依赖于图像库这一不足；通过压缩感知框架将蕴含在图像多尺度自相似结构中的附加信息加入到高分辨率重构图像中，由于避免了在整幅图像中搜索相似图像块，因此与现有基于结构自相似性的超分辨率方法相比具有更高的运算效率。

附图说明

图1为多尺度自相似结构在图像金字塔中的体现。

图2为本发明处理流程图。

具体实施方式

下面结合附图对本发明做进一步详细说明。

设X∈R^N表示高分辨率图像，Y∈R^M表示低分辨率图像，

表示高分辨率重构图像。则高分辨率图像X与低分辨率图像Y之间的关系可以表示为：

Y＝DHX+υ                      (2.1)

其中，D表示降采样矩阵，H表示模糊矩阵，υ表示加性噪声。式(2.1)所示的观测模型说明低分辨率图像是由高分辨率图像经过模糊、降采样以及加入噪声等降质过程获取的。超分辨率方法通过求解降质过程的逆过程重构高分辨率图像，可以表示成如下的最优化问题：

$\hat{X}=\arg \underset{X}{\min }\left\{{\left|\right|Y-\mathrm{DHX}\left|\right|}_2^2\right\}---\left(2.2\right)$

由于满足Y＝DHX的解

不惟一，因此需要在式(2.2)中加入约束项从而获得最优解。图像在特定字典下具有稀疏性，为了将这种稀疏性作为约束项加入到式(2.2)所示的超分辨率模型中，通常需要对图像进行分块处理，图像块之间可以相互重叠。设x_i∈Rⁿ表示高分辨率图像块，

表示高分辨率重构图像块，x_i与X之间的关系可以表示为x_i＝R_iX，i=1，2，...,p,其中R_i为抽取矩阵，其作用是将高分辨率图像块从高分辨率图像中抽取出来，p表示高分辨率图像块的个数。

在字典ψ∈R^n×t下具有稀疏表示形式，即 ${\hat{x}}_i=\mathrm{\&Psi;}{\widehat{\mathrm{\&alpha;}}}_i,$ ${\widehat{\mathrm{\&alpha;}}}_i\&Element;R^t$ 为稀疏表示系数， ${\left|\right|{\widehat{\mathrm{\&alpha;}}}_i\left|\right|}_0=k<<n,$ 其中 ${\left|\right|{\widehat{\mathrm{\&alpha;}}}_i\left|\right|}_0$ 表示

中非零元的个数，则高分辨率重构图像可以表示为如下形式，为了书写方便引入符号ο：

将式(2.3)代入式(2.2)并加入对表示系数的稀疏性约束即可得到带有稀疏性约束项的超分辨率模型：

式(2.4)中最小化l₀范数的优化问题是一个NP难问题，在α足够稀疏时，可以将式(2.4)中的l₀范数用l₁范数代替，此时式(2.4)转化为如下所示的最小化l1范数优化问题：

式

(2.5)是一个凸优化问题，因此可以获得精确解。式

(2.5)中的第一项表示观测模型对高分辨率重构图像的限制，第二项表示稀疏性对高分辨率重构图像的限制。与现有基于压缩感知的超分辨率方法不同，本发明在构建字典的过程中并不是将图像库作为训练样本，而是将待处理低分辨率图像自身的图像金字塔作为训练样本。图像金字塔是指将图像做金字塔分解而获得的具有不同分辨率的一系列图像。图像金字塔含有大量多尺度自相似结构，图1直观地说明了多尺度自相似结构在图像金字塔中的体现，其中第0层I₀表示低分辨率图像，第K层I_K表示低分辨率图像的插值图像，六边形代表具有相似结构的图像块。与将图像库作为训练样本构建字典的超分辨率方法相比，这种利用图像金字塔的方法可以更加充分地提取蕴含在图像自身相似结构中的准确附加信息从而更有效地实现图像空间分辨率的提升。

本发明将Nonlocal方法所获得的同尺度自相似结构附加信息以正则化约束项的形式加入到超分辨率模型中。首先设置初始高分辨率重构图像，然后以迭代的方式不断更新高分辨率重构图像。设当前高分辨率重构图像为

对当前高分辨率重构图像块

在中搜索与其相似的图像块

由于在整幅图像中搜索具有较高的运算复杂度，因此实际中只取附近的较大区域进行搜索，即选取以

为中心的T×T大小的区域并只考虑中心像素位于这个区域中的图像块。由于在自然图像中，同尺度相似图像块通常出现在临近范围内，因此这种限制搜索范围的方法是行之有效的。设

与

之间的差异为

取L个与

最为接近的图像块

l=1，…,L，将作为x_i的相似图像块。设χ_i和

分别为x_i和

的中心像素灰度值，令 ${\widehat{\mathrm{\&chi;}}}_i={\mathrm{\&Sigma;}}_{l=1}^L{\mathrm{\&omega;}}_i^l{\mathrm{\&chi;}}_i^l,$ 其中 ${\mathrm{\&omega;}}_i^l=\exp (-e_i^l/h)/{\mathrm{\&Sigma;}}_{l=1}^L\exp ({-e}_i^l/h),$ 则

应该接近χ_i，也就是说

应该较小。令ω_i表示

l＝1,...，L所组成的向量，χ_i表示

l=1，...，L所组成的向量，将

作为一项约束项加入到式

(2.5)所示的超分辨率模型中，则有：

将式(2.6)用矩阵形式表示则有：

其中，I表示单位矩阵，B表示权值矩阵，满足

$B(i,l)=\left\{\begin{array}{cc}{\mathrm{\&omega;}}_i^l& \mathrm{if}{\mathrm{\&chi;}}_i^l\mathrm{is\; an\; element\; of}{\mathrm{\&chi;}}_i\\ 0& \mathrm{otherwise}\end{array}\right.$

式(2.7)即为基于多尺度结构自相似性与压缩感知的单幅图像超分辨率方法的数学模型，将式(2.7)中的第一项和第三项进行合并，可以得到如下的简化表示形式：

其中

$\tilde{Y}=\left[\begin{array}{c}Y\\ 0\end{array}\right],K=\left[\begin{array}{c}\mathrm{DH}\\ \mathrm{\&eta;}(I-B)\end{array}\right]$

本发明使用迭代收缩算法求解式(2.8)，将式(2.8)的解

代入式(2.3)即可得到高分辨率重构图像

以下是本发明的具体处理步骤：

步骤1：设置高分辨率重构图像的初始估计值

k＝0，设置迭代中止的误差∈，迭代最大的次数K_max；

步骤2：根据图像的降质过程确定降采样矩阵D和模糊矩阵H；

步骤3：构建图像金字塔，并将其作为K-SVD方法的训练样本建立字典Ψ；

步骤4：按照Nonlocal方法在当前高分辨率重构图像中搜索具有相同尺度的相似图像块并确定权值矩阵B；

步骤5：更新高分辨率重构图像的估计值 ${\hat{X}}^{(k+1/2)}={\hat{X}}^{\left(k\right)}+K^T(\tilde{Y}-K{\hat{X}}^{\left(k\right)})={\hat{X}}^{\left(k\right)}+({\left(\mathrm{DH}\right)}^{T}Y-U{\hat{X}}^{\left(k\right)}-V{\hat{X}}^{\left(k\right)}),$ 其中，U＝(DH)^TDH，V＝η²(I-B)^T(I-B)；

步骤6：更新稀疏表示系数i＝1，2,...，p，其中R_i为抽取矩阵，p为图像块的个数，soft(x，τ)＝sign(x)max(|x|-τ，0)为含有阈值τ的软阈值函数，sign(x)表示符号函数；

步骤7：更新高分辨率重构图像的估计值

步骤8：k＝k+1，进行下一次迭代，重复步骤4至步骤7，直到连续两步的高分辨率重构图像满足

或迭代次数k达到K_max。

Claims (2)

1.基于多尺度结构自相似与压缩感知的单图像超分辨率方法，包括如下步骤：

步骤1：设置高分辨率重构图像的初始估计值

k＝0，设置迭代中止的误差∈，迭代最大的次数K_max；

步骤2：根据图像的降质过程确定降采样矩阵D和模糊矩阵H；

步骤3：构建图像金字塔，并将其作为K-SVD方法的训练样本建立字典Ψ；

步骤4：按照Nonlocal方法在当前高分辨率重构图像中搜索具有相同尺度的相似图像块并确定权值矩阵B；

步骤5：更新高分辨率重构图像的估计值 ${\hat{X}}^{(k+1/2)}={\hat{X}}^{\left(k\right)}+K^T(\tilde{Y}-K{\hat{X}}^{\left(k\right)})={\hat{X}}^{\left(k\right)}+({\left(\mathrm{DH}\right)}^{T}Y-U{\hat{X}}^{\left(k\right)}-V{\hat{X}}^{\left(k\right)}),$ 其中，U＝(DH)^TDH，V＝η²(I-B)^T(I-B)；

步骤6：更新稀疏表示系数

i＝1，2,...，p，

其中R_i为抽取矩阵，p为图像块的个数，soft(x，τ)＝sign(x)max(|x|-τ，0)为含有阈值τ的软阈值函数，sign(x)表示符号函数；

步骤7：更新高分辨率重构图像的估计值

步骤8：k＝k+1，进行下一次迭代，重复步骤4至步骤7，直到连续两步的高分辨率重构图像满足

或迭代次数k达到K_max。

2.根据权利要求1所述基于多尺度结构自相似与压缩感知的单图像超分辨率方法，其特征在于，所述步骤3中，图像金字塔的构建过程是将低分辨率图像进行降采样以及插值处理从而获得一系列具有不同分辨率的图像。

Images