CN105590304A - 超分辨率图像重建方法和装置 - Google Patents

Abstract

本发明提供一种超分辨率图像重建方法和装置。该方法包括：对输入的低分辨率图像进行N次下采样生成图像片库；对低分辨率图像的任一给定图像片采用近似最近邻算法在图像片库中获取相似图像片；聚集重叠与相似图像片对应的图像区域，并根据与图像区域对应的权重系数获得第一高分辨率图像；对第一高分辨率图像采用背投影算法获得第二高分辨率图像，并将第二高分辨率图像加入图像片库。通过基于背投影算法的多级放大技术来估计初始目标高分辨率图像，并综合利用数据保真度、稀疏非局部正则化和梯度直方图正则化先验进行数学建模，通过求解最优化问题获取最终目标高分辨率图像，从而有效恢复低分辨率图像的边缘和纹理信息，提高重建图像的质量。

Description

超分辨率图像重建方法和装置

技术领域

本发明涉及图像、视频处理技术，尤其涉及一种超分辨率图像重建方法和装置。

背景技术

随着多媒体技术的迅速发展，人们对于图像和视频的视觉逼真效果和丰富的画面细节信息的要求越来越高，这需要高分辨率的图像和视频，并且在实际的图像处理与分析系统中，通常也都需要高分辨率的图像和视频。然而，图像的分辨率通常受限于图像采集设备、光学、成像速度和硬件存储等制约条件，在许多成像应用中捕获的都是低分辨率的图像和视频，例如，数码相机、医学成像系统和视频监控系统捕获的都是低分辨率的图像和视频。所以，为了获取高分辨率的图像和视频，需要超分辨率技术去利用获取的低分辨率图像和视频来重建出高分辨率的图像和视频。

现有的超分辨率图像重建方法大致可以分为两大类，多帧图像超分辨率方法和单帧图像超分辨率方法。其中，单帧图像超分辨率方法又进一步划分为基于重建的方法和基于学习的方法。基于重建的方法通常采取约束条件或先验知识来最优化超分辨率模型的目标函数；

然而，对于低分辨率图像的复杂结构，上述超分辨率方法不能够恢复微小的图像边缘和细节，甚至在结果中出现模糊不清或锯齿现象等失真，原因在于细纹图像结构和噪声的随机性；此外，上述超分辨率方法的性能严重依赖于输入图像的噪声水平。

发明内容

本发明提供一种基于结构自相似性的图像超分辨率重建方法和装置，用以有效恢复低分辨率图像的边缘和纹理信息，提高重建图像的质量。

第一方面，本发明提供一种超分辨率图像重建方法，包括：

步骤S1，对输入的低分辨率图像y进行N次下采样，生成图像片库B；

步骤S2，对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；

步骤S3，聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；

步骤S4，对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。

在第一方面的第一种可能的实现方式中，所述对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁之后，还包括：

将所述第二高分辨率图像I₁作为新的低分辨率图像y，重复执行步骤S2～步骤S4，获得第三高分辨率图像I′_p；

将所述第三高分辨率图像I′_p放大P级后，采用双三次插值对所述第三高分辨率图像I′_p进行下采样，获得放大倍数为z的初始目标高分辨率图像I_p。

结合第一方面的第一种可能的实现方式，在第二种可能的实现方式中，所述方法还包括：

步骤S5，对所述初始目标高分辨率图像I_p和所述低分辨率图像y采用交替最小化算法计算数学模型α_y；

其中，所述数学模型α_y为：

s.t.h_F＝h_r,

其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子，λ和μ表示正则化参数，α_i是所述给定图像片x_i的编码系数，α为α_i的集合，β_i是α_i在稀疏编码域的非局部均值，表示梯度操作符，F是变换函数，h_r是目标高分辨率图像x的参考直方图，h_F是变换的梯度图像的直方图。

结合第一方面的第二种可能的实现方式，在第三种可能的实现方式中，所述步骤S5具体包括：

S51，采用K均值聚类算法获取超完备字典；

S52，根据梯度直方图保持不变算法更新所述变换函数F；

S53，根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像I_p。

结合第一方面的第三种可能的实现方式，在第四种可能的实现方式中，所述S51具体包括：

根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初始类簇中心，采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析，从而获得K个初始类簇；

对每个所述初始类簇训练对应的子字典；

将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完备字典。

结合第一方面的第三种可能的实现方式，在第五种可能的实现方式中，所述S52具体包括：

所述目标高分辨率图像x和所述低分辨率图像y满足图像观测模型：y＝DHx+v；其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子；

根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像x的参考梯度直方图h_r；其中， $h_r=\arg \underset{h_x}{\min }\{{\left|\right|h_y-h_x\⊗h_g\left|\right|}^2+\mathrm{\ρ}\·R\left(h_x\right)\};$ 其中，h_y是对所述低分辨率图像利用双三次插值得到的上采样图像的梯度直方图；h_x是随机变量x的概率密度函数的离散形式，h_g是独立同分布随机变量g的概率密度函数的离散形式，ρ是常数，R(h_x)是梯度直方图正则项，是卷积操作符；

通过求解优化问题s.t.h_F＝h_r来更新变换函数F。

结合第一方面的第三种可能的实现方式，在第六种可能的实现方式中，所述S53具体包括：

根据公式 ${\hat{x}}^{(t+1/2)}={\hat{x}}^{\left(t\right)}+\mathrm{\δ}({\left(\mathrm{DH}\right)}^T(y-\mathrm{DH}{\hat{x}}^{\left(t\right)})+\mathrm{\μ}{\▿}^T(f-\▿{\hat{x}}^{\left(t\right)}))$ 确定其中，表示第t次迭代的目标高分辨率图像估计值，表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常数，表示的梯度图；

根据确定其中，表示第t+1/2次迭代的高分辨率图像片x_i的稀疏系数，表示第t次迭代的高分辨率图像片x_i所归属的初始类簇对应的子字典，R_i表示从初始目标高分辨率图像I_p在位置i处获取高分辨率图像片x_i的矩阵；

根据关于优化问题的循环迭代求解的稀疏编码系数修正公式和 ${\mathrm{\β}}_i={\mathrm{\Σ}}_c{w}_i^c{\mathrm{\α}}_i^c$ 确定第t+1次迭代的高分辨率图像片x_i的稀疏系数其中，其中，τ表示用于调节衰减速度的控制参数，W表示归一化因子，表示高分辨率图像片x_i的相似图像片组，S_λ/c表示软阈值函数，c表示正则化参数；

根据公式确定其中，表示第t+1次迭代的目标高分辨率图像，Φ^(t+1)表示对应的超完备字典。

结合第一方面的第三种至第六种任一可能的实现方式，在第七种可能的实现方式中，所述方法还包括：

重复执行步骤S51～步骤S53，获得收敛解为最终目标高分辨率图像x_H。

第二方面，一种超分辨率图像重建装置，包括：

生成模块，用于对输入的低分辨率图像y进行N次下采样，生成图像片库B；

获取模块，用于对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。

在第二方面的第一种可能的实现方式中，所述获取模块还用于：

将所述第二高分辨率图像I₁作为新的低分辨率图像y，获得第三高分辨率图像I′_p；将所述第三高分辨率图像I′_p放大P级后，采用双三次插值对所述第三高分辨率图像I′_p进行下采样，获得放大倍数为z的初始目标高分辨率图像I_p。

结合第二方面的第一种可能的实现方式，在第二种可能的实现方式中，所述装置还包括计算模块，用于对所述初始目标高分辨率图像I_p和所述低分辨率图像y采用交替最小化算法计算数学模型α_y；

其中，所述数学模型α_y为：

s.t.h_F＝h_r,

其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子，λ和μ表示正则化参数，α_i是所述给定图像片x_i的编码系数，α为α_i的集合，β_i是α_i在稀疏编码域的非局部均值，表示梯度操作符，F是变换函数，h_r是目标高分辨率图像x的参考直方图，h_F是变换的梯度图像的直方图。

结合第二方面的第二种可能的实现方式，在第三种可能的实现方式中，所述计算模块具体用于：

采用K均值聚类算法获取超完备字典；根据梯度直方图保持不变算法更新所述变换函数F；根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像I_p。

结合第二方面的第三种可能的实现方式，在第四种可能的实现方式中，所述计算模块具体用于：

根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初始类簇中心；采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析，从而获得K个初始类簇；对每个所述初始类簇训练对应的子字典；将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完备字典。

结合第二方面的第三种可能的实现方式，在第五种可能的实现方式中，所述计算模块具体用于：

所述目标高分辨率图像x和所述低分辨率图像y满足图像观测模型：y＝DHx+v；其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子；

根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像x的参考梯度直方图h_r；其中， $h_r=\arg \underset{h_x}{\min }\{{\left|\right|h_y-h_x\⊗h_g\left|\right|}^2+\mathrm{\ρ}\·R\left(h_x\right)\};$ 其中，h_y是对所述低分辨率图像利用双三次插值得到的上采样图像的梯度直方图；h_x是随机变量x的概率密度函数的离散形式，h_g是独立同分布随机变量g的概率密度函数的离散形式，ρ是常数，R(h_x)是梯度直方图正则项，是卷积操作符；

通过求解优化问题s.t.h_F＝h_r来更新变换函数F。

结合第二方面的第三种可能的实现方式，在第六种可能的实现方式中，所述计算模块具体用于：

根据公式 ${\hat{x}}^{(t+1/2)}={\hat{x}}^{\left(t\right)}+\mathrm{\δ}({\left(\mathrm{DH}\right)}^T(y-\mathrm{DH}{\hat{x}}^{\left(t\right)})+\mathrm{\μ}{\▿}^T(f-\▿{\hat{x}}^{\left(t\right)}))$ 确定其中，表示第t次迭代的目标高分辨率图像估计值，表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常数，表示的梯度图；

根据确定其中，表示第t+1/2次迭代的高分辨率图像片x_i的稀疏系数，表示第t次迭代的高分辨率图像片x_i所归属的初始类簇对应的子字典，R_i表示从初始目标高分辨率图像I_p在位置i处获取高分辨率图像片x_i的矩阵；

根据关于优化问题的循环迭代求解的稀疏编码系数修正公式和 ${\mathrm{\β}}_i={\mathrm{\Σ}}_c{w}_i^c{\mathrm{\α}}_i^c$ 确定第t+1次迭代的高分辨率图像片x_i的稀疏系数其中，其中，τ表示用于调节衰减速度的控制参数，W表示归一化因子，表示高分辨率图像片x_i的相似图像片组，S_λ/c表示软阈值函数，c表示正则化参数；

根据公式确定其中，表示第t+1次迭代的目标高分辨率图像，Φ^(t+1)表示对应的超完备字典。

结合第二方面的第三种至第六种任一可能的实现方式，在第七种可能的实现方式中，所述获取模块还用于获得收敛解为最终目标高分辨率图像x_H。

本发明提供的超分辨率图像重建方法和装置，包括：步骤S1，对输入的低分辨率图像y进行N次下采样，生成图像片库B；步骤S2，对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；步骤S3，聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；步骤S4，对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。通过基于背投影算法的多级放大技术来估计初始目标高分辨率图像，并综合利用数据保真度、稀疏非局部正则化和梯度直方图正则化先验进行数学建模，通过最优化问题求解来获取最终的目标高分辨率图像，从而能够有效恢复低分辨率图像的边缘和纹理信息，提高重建图像的质量。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明超分辨率图像重建方法实施例一的流程图；

图2为本发明超分辨率图像重建方法实施例二的流程图；

图3为本发明超分辨率图像重建装置实施例的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明超分辨率图像重建方法实施例一的流程图。如图1所示，本实施例提供的高分辨率图像重建方法可适用于获取高分辨率图像或者视频的场景，具体可以由高分辨率图像重建装置执行，其中，高分辨率图像重建装置例如可以是计算机等智能终端；本实施例提供的方法具体可以包括：

步骤S1，对输入的低分辨率图像y进行N次下采样，生成图像片库B。

本实施例中，在图像金字塔中，假设最终目标高分辨率图像x_H和低分辨率图像y之间的关系满足关系式：y＝(x_H*G)↓_s，其中，*是卷积符号，G是高斯核函数，↓_s是尺度因子为s的下采样操作符。在每级放大中，选取足够小的尺度因子，从而可以从图像金字塔中搜索到更多用于高分辨率重建的相似图像片，即，对于一幅输入的低分辨率图像y进行N次下采样，生成一序列下采样的低分辨率图像来构建图像片库B。

步骤S2，对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i。

本步骤中，若假设低分辨率图像I₀是对一幅未知的高分辨率图像I_p(p＝1，L，P)的下采样结果，对于任一放大倍数z，则总的放大级数为：

P＝round(log(z)/log(z_s))，

其中，z_s是每级放大步骤中的尺度因子。因此，可以利用尺度间图像片的相似性来重建高分辨率图像I_p，也就是说，本步骤中，对于低分辨率图像y的任一给定图像片x_i，利用近似最近邻算法在图像片库B中获取相似图像片Q_i。

步骤S3，聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁。

假设Q_i表示x_i的相似图像片，Γ_i和Π_i分别表示在给定图像，即低分辨率图像y和高分辨率图像I₁中对应的较大图像区域，尽管图像片Q_i和x_i是非常相似，但它们不完全相同，这种关系也适用于图像区域Γ_i和Π_i。因此，通过聚集重叠的图像区域Π_i及其权重exp(-||x_i-Q_i||²/σ²)来获得第一高分辨率图像I′₁；其中，σ是相似度测量的控制参数。

步骤S4，对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。

由于初始重建的高分辨率图像，即第一高分辨率图像I′₁可能存在未覆盖的区域，因此，采用背投影算法来提高图像分辨率，然后，把改进重建的第二高分辨率图像I₁加入图像片库B。

在实际应用中，在对第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁之后，还可以包括：将所述第二高分辨率图像I₁作为新的低分辨率图像y，重复执行步骤S2～步骤S4，获得第三高分辨率图像I′_p；将所述第三高分辨率图像I′_p放大P级后，采用双三次插值对所述第三高分辨率图像I′_p进行下采样，获得放大倍数为z的初始目标高分辨率图像I_p。

本实施例的技术方案，通过对输入的低分辨率图像y进行N次下采样，生成图像片库B；对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。通过基于背投影算法的多级放大技术来估计初始目标高分辨率图像，从而能够有效恢复低分辨率图像的边缘和纹理信息，提高重建图像的质量。

图2为本发明超分辨率图像重建方法实施例二的流程图。如图2所示，在上述实施例的基础上，本实施例提供的方法还包括：

步骤S5，对所述初始目标高分辨率图像I_p和所述低分辨率图像y采用交替最小化算法计算数学模型α_y；

其中，所述数学模型α_y为：

s.t.h_F＝h_r,

其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子，λ和μ表示正则化参数，α_i是所述给定图像片x_i的编码系数，α为α_i的集合，β_i是α_i在稀疏编码域的非局部均值，表示梯度操作符，F是变换函数，h_r是目标高分辨率图像x的参考直方图，h_F是变换的梯度图像的直方图。

具体的，所述步骤S5具体包括：

S51，采用K均值聚类算法获取超完备字典。

本步骤中，根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初始类簇中心；采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析，从而获得K个初始类簇；对每个所述初始类簇训练对应的子字典；将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完备字典。也即，对目标高分辨率图像x，采用K均值聚类将不同尺度图像的图像片分割成K个类簇，并且对每个图像片类簇训练一个子字典，随后，对于每个图像片，它所归属的子字典被自动地选取当作图像信号稀疏表示的超完备字典。

S52，根据梯度直方图保持不变算法更新所述变换函数F。

本步骤中，采用管所建立的反卷积模型来估计参考题都直方图h_r。假设梯度图像的所有像素是独立同分布，则它的归一化直方图被认为标量随机变量x的概率密度函数的离散形式。令其中，υ是加性高斯白噪声服从分布，事实上，噪声偏差在很多图像处理应用领域中是未知的，因此，本实施例利用主成分分析法提取低分辨率图像中不含高频信息的低秩图像片来估计图像噪声标准偏差σ_υ。

所述目标高分辨率图像x和所述低分辨率图像y满足图像观测模型：y＝DHx+v；其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子；根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像x的参考梯度直方图h_r；其中， $h_r=\arg \underset{h_x}{\min }\{{\left|\right|h_y-h_x\⊗h_g\left|\right|}^2+\mathrm{\ρ}\·R\left(h_x\right)\};$ 其中，h_y是对所述低分辨率图像利用双三次插值得到的上采样图像的梯度直方图；h_x是随机变量x的概率密度函数的离散形式，h_g是独立同分布随机变量g的概率密度函数的离散形式，ρ是常数，R(h_x)是梯度直方图正则项，是卷积操作符；通过求解优化问题s.t.h_F＝h_r来更新变换函数F。

S53，根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像I_p。

具体的，根据公式 ${\hat{x}}^{(t+1/2)}={\hat{x}}^{\left(t\right)}+\mathrm{\δ}({\left(\mathrm{DH}\right)}^T(y-\mathrm{DH}{\hat{x}}^{\left(t\right)})+\mathrm{\μ}{\▿}^T(f-\▿{\hat{x}}^{\left(t\right)}))$ 确定其中，表示第t次迭代的目标高分辨率图像估计值，表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常数，表示的梯度图；

根据确定其中，表示第t+1/2次迭代的高分辨率图像片x_i的稀疏系数，表示第t次迭代的高分辨率图像片x_i所归属的初始类簇对应的子字典，R_i表示从初始目标高分辨率图像I_p在位置i处获取高分辨率图像片x_i的矩阵；

根据关于优化问题的循环迭代求解的稀疏编码系数修正公式和 ${\mathrm{\β}}_i={\mathrm{\Σ}}_c{w}_i^c{\mathrm{\α}}_i^c$ 确定第t+1次迭代的高分辨率图像片x_i的稀疏系数其中，其中，τ表示用于调节衰减速度的控制参数，W表示归一化因子，表示高分辨率图像片x_i的相似图像片组，S_λ/c表示软阈值函数，c表示正则化参数；

根据公式确定其中，表示第t+1次迭代的目标高分辨率图像，Φ^(t+1)表示对应的超完备字典。

重复执行步骤S51～步骤S53，获得收敛解为最终目标高分辨率图像x_H。需要说明的是，本实施例中，可以选择迭代总次数，或迭代误差作为收敛条件，也可以以迭代次数或者相邻两次的迭代相对误差作为收敛条件。

本实施例的技术方案，通过基于背投影算法的多级放大技术来估计初始目标高分辨率图像，并综合利用数据保真度、稀疏非局部正则化和梯度直方图正则化先验进行数学建模，通过最优化问题求解来获取最终的目标高分辨率图像，从而能够有效恢复低分辨率图像的边缘和纹理信息，提高重建图像的质量。

图3为本发明超分辨率图像重建装置实施例的结构示意图。如图3所示，本实施例提供的超分辨率图像重建装置100具体可以包括：

生成模块101，用于对输入的低分辨率图像y进行N次下采样，生成图像片库B；

获取模块102，用于对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。

所述获取模块102还可以用于：将所述第二高分辨率图像I₁作为新的低分辨率图像y，获得第三高分辨率图像I′_p；将所述第三高分辨率图像I′_p放大P级后，采用双三次插值对所述第三高分辨率图像I′_p进行下采样，获得放大倍数为z的初始目标高分辨率图像I_p。

超分辨率图像重建装置100还可以包括计算模块103，用于对所述初始目标高分辨率图像I_p和所述低分辨率图像y采用交替最小化算法计算数学模型α_y；其中，所述数学模型α_y为：

s.t.h_F＝h_r,

其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子，λ和μ表示正则化参数，α_i是所述给定图像片x_i的编码系数，α为α_i的集合，β_i是α_i在稀疏编码域的非局部均值，表示梯度操作符，F是变换函数，h_r是目标高分辨率图像x的参考直方图，h_F是变换的梯度图像的直方图。

所述计算模块103具体可以用于采用K均值聚类算法获取超完备字典；根据梯度直方图保持不变算法更新所述变换函数F；根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像I_p。

所述计算模块103具体可以用于根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初始类簇中心；采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析，从而获得K个初始类簇；对每个所述初始类簇训练对应的子字典；将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完备字典。

所述计算模块103具体可以用于：所述目标高分辨率图像x和所述低分辨率图像y满足图像观测模型：y＝DHx+v；其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子；根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像x的参考梯度直方图h_r；其中， $h_r=\arg \underset{h_x}{\min }\{{\left|\right|h_y-h_x\⊗h_g\left|\right|}^2+\mathrm{\ρ}\·R\left(h_x\right)\};$ 其中，h_y是对所述低分辨率图像利用双三次插值得到的上采样图像的梯度直方图；h_x是随机变量x的概率密度函数的离散形式，h_g是独立同分布随机变量g的概率密度函数的离散形式，ρ是常数，R(h_x)是梯度直方图正则项，是卷积操作符；通过求解优化问题s.t.h_F＝h_r来更新变换函数F。

所述计算模块103具体可以用于：

根据公式 ${\hat{x}}^{(t+1/2)}={\hat{x}}^{\left(t\right)}+\mathrm{\δ}({\left(\mathrm{DH}\right)}^T(y-\mathrm{DH}{\hat{x}}^{\left(t\right)})+\mathrm{\μ}{\▿}^T(f-\▿{\hat{x}}^{\left(t\right)}))$ 确定其中，表示第t次迭代的目标高分辨率图像估计值，表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常数，表示的梯度图；

根据确定其中，表示第t+1/2次迭代的高分辨率图像片x_i的稀疏系数，表示第t次迭代的高分辨率图像片x_i所归属的初始类簇对应的子字典，R_i表示从初始目标高分辨率图像I_p在位置i处获取高分辨率图像片x_i的矩阵；

根据关于优化问题的循环迭代求解的稀疏编码系数修正公式和 ${\mathrm{\β}}_i={\mathrm{\Σ}}_c{w}_i^c{\mathrm{\α}}_i^c$ 确定第t+1次迭代的高分辨率图像片x_i的稀疏系数其中，其中，τ表示用于调节衰减速度的控制参数，W表示归一化因子，表示高分辨率图像片x_i的相似图像片组，S_λ/c表示软阈值函数，c表示正则化参数；

根据公式确定其中，表示第t+1次迭代的目标高分辨率图像，Φ^(t+1)表示对应的超完备字典。

所述获取模块102还可以用于获得收敛解为最终目标高分辨率图像x_H。

本实施例提供的超分辨率图像重建装置，可用于执行上述方法实施例的技术方案，其实现原理与技术效果类似，此处不再赘述。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (16)

1.一种超分辨率图像重建方法，其特征在于，包括：

步骤S1，对输入的低分辨率图像y进行N次下采样，生成图像片库B；

步骤S2，对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；

步骤S3，聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；

步骤S4，对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。

2.根据权利要求1所述的方法，其特征在于，所述对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁之后，还包括：

将所述第二高分辨率图像I₁作为新的低分辨率图像y，重复执行步骤S2～步骤S4，获得第三高分辨率图像I′_p；

将所述第三高分辨率图像I′_p放大P级后，采用双三次插值对所述第三高分辨率图像I′_p进行下采样，获得放大倍数为z的初始目标高分辨率图像I_p。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

步骤S5，对所述初始目标高分辨率图像I_p和所述低分辨率图像y采用交替最小化算法计算数学模型α_y；

其中，所述数学模型α_y为：

${\mathrm{\α}}_y=\arg \underset{\mathrm{\φ},\mathrm{\α},F}{\min }\{{\left|\right|y-\mathrm{DH\φo\α}\left|\right|}_2^2+\mathrm{\λ}{\mathrm{\Σ}}_i{\left|\right|{\mathrm{\α}}_i-{\mathrm{\β}}_i\left|\right|}_1+\mathrm{\μ}{\left|\right|F(\▿x)-\▿x\left|\right|}^2\},$

s.t.h_F＝h_r,

其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子，λ和μ表示正则化参数，α_i是所述给定图像片x_i的编码系数，α为α_i的集合，β_i是α_i在稀疏编码域的非局部均值，表示梯度操作符，F是变换函数，h_r是目标高分辨率图像x的参考直方图，h_F是变换的梯度图像的直方图。

4.根据权利要求3所述的方法，其特征在于，所述步骤S5具体包括：

S51，采用K均值聚类算法获取超完备字典；

S52，根据梯度直方图保持不变算法更新所述变换函数F；

S53，根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像I_p。

5.根据权利要求4所述的方法，其特征在于，所述S51具体包括：

根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初始类簇中心，采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析，从而获得K个初始类簇；

对每个所述初始类簇训练对应的子字典；

将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完备字典。

6.根据权利要求4所述的方法，其特征在于，所述S52具体包括：

所述目标高分辨率图像x和所述低分辨率图像y满足图像观测模型：y＝DHx+v；其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子；

根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像x的参考梯度直方图h_r；其中， $h_r=\arg \underset{h_x}{\min }\{{\left|\right|h_y-h_x\⊗h_g\left|\right|}^2+\mathrm{\ρ}\·R\left(h_x\right)\};$ 其中，h_y是对所述低分辨率图像利用双三次插值得到的上采样图像的梯度直方图；h_x是随机变量x的概率密度函数的离散形式，h_g是独立同分布随机变量g的概率密度函数的离散形式，ρ是常数，R(h_x)是梯度直方图正则项，是卷积操作符；

通过求解优化问题s.t.h_F＝h_r来更新变换函数F。

7.根据权利要求4所述的方法，其特征在于，所述S53具体包括：

根据公式 ${\hat{x}}^{(t+1/2)}={\hat{x}}^{\left(t\right)}+\mathrm{\δ}({\left(\mathrm{DH}\right)}^T(y-\mathrm{DH}{\hat{x}}^{\left(t\right)})+{\mathrm{\μ}\▿}^T(f-\▿{\hat{x}}^{\left(t\right)}))$ 确定其中，表示第t次迭代的目标高分辨率图像估计值，表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常数，表示的梯度图；

根据 ${\mathrm{\α}}_i^{(t+1/2)}={\mathrm{\Φ}}_k^T{R}_i{\hat{x}}^{(t+1/2)}$ 确定其中，表示第t+1/2次迭代的高分辨率图像片x_i的稀疏系数，表示第t次迭代的高分辨率图像片x_i所归属的初始类簇对应的子字典，R_i表示从初始目标高分辨率图像I_p在位置i处获取高分辨率图像片x_i的矩阵；

根据关于优化问题的循环迭代求解的稀疏编码系数修正公式 ${\mathrm{\α}}_i^{(t+1)}=S_{\mathrm{\λ}/c}({\mathrm{\Φ}}^{T}o{\left(\mathrm{DH}\right)}^T(y-\mathrm{DH\Φo}{\mathrm{\α}}_i^{(t+1/2)})/c+{\mathrm{\α}}_i^{(t+1/2)}-{\mathrm{\β}}_i)+{\mathrm{\β}}_i$ 和 ${\mathrm{\β}}_i={\mathrm{\Σ}}_c{w}_i^c{\mathrm{\α}}_i^c$ 确定第t+1次迭代的高分辨率图像片x_i的稀疏系数其中，其中，τ表示用于调节衰减速度的控制参数，W表示归一化因子，表示高分辨率图像片x_i的相似图像片组，S_λ/c表示软阈值函数，c表示正则化参数；

根据公式 ${\hat{x}}^{(t+1)}={\mathrm{\Φ}}^{(t+1)}o{\mathrm{\α}}^{(t+1)}={\left({\mathrm{\Σ}}_{i=1}^l{R}_i^T{R}_i\right)}^{-1}{\mathrm{\Σ}}_{i=1}^l\left(R_i^T{\mathrm{\Φ}}_k^{(t+1)}{\mathrm{\α}}_i^{(t+1)}\right)$ 确定其中，表示第t+1次迭代的目标高分辨率图像，Φ^(t+1)表示对应的超完备字典。

8.根据权利要求4-7任一所述的方法，其特征在于，所述方法还包括：

重复执行步骤S51～步骤S53，获得收敛解为最终目标高分辨率图像x_H。

9.一种超分辨率图像重建装置，其特征在于，包括：

生成模块，用于对输入的低分辨率图像y进行N次下采样，生成图像片库B；

获取模块，用于对所述低分辨率图像y的任一给定图像片x_i，采用近似最近邻算法在所述图像片库B中获取相似图像片Q_i；聚集重叠与所述相似图像片Q_i对应的图像区域Π_i，并根据与所述图像区域Π_i对应的权重系数，获得第一高分辨率图像I′₁；对所述第一高分辨率图像I′₁采用背投影算法，获得第二高分辨率图像I₁，并将所述第二高分辨率图像I₁加入所述图像片库B。

10.根据权利要求9所述的装置，其特征在于，所述获取模块还用于：

将所述第二高分辨率图像I₁作为新的低分辨率图像y，获得第三高分辨率图像I′_p；将所述第三高分辨率图像I′_p放大P级后，采用双三次插值对所述第三高分辨率图像I′_p进行下采样，获得放大倍数为z的初始目标高分辨率图像I_p。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括计算模块，用于对所述初始目标高分辨率图像I_p和所述低分辨率图像y采用交替最小化算法计算数学模型α_y；

其中，所述数学模型α_y为：

${\mathrm{\α}}_y=\arg \underset{\mathrm{\φ},\mathrm{\α},F}{\min }\{{\left|\right|y-\mathrm{DH\φo\α}\left|\right|}_2^2+\mathrm{\λ}{\mathrm{\Σ}}_i{\left|\right|{\mathrm{\α}}_i-{\mathrm{\β}}_i\left|\right|}_1+\mathrm{\μ}{\left|\right|F(\▿x)-\▿x\left|\right|}^2\},$

s.t.h_F＝h_r,

其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子，λ和μ表示正则化参数，α_i是所述给定图像片x_i的编码系数，α为α_i的集合，β_i是α_i在稀疏编码域的非局部均值，表示梯度操作符，F是变换函数，h_r是目标高分辨率图像x的参考直方图，h_F是变换的梯度图像的直方图。

12.根据权利要求11所述的装置，其特征在于，所述计算模块具体用于：

采用K均值聚类算法获取超完备字典；根据梯度直方图保持不变算法更新所述变换函数F；根据所述超完备字典以及所述变换函数F更新所述初始目标高分辨率图像I_p。

13.根据权利要求12所述的装置，其特征在于，所述计算模块具体用于：

根据尺寸大小随机选取K个所述初始目标高分辨率图像的高分辨率图像片作为K个初始类簇中心；采用所述K均值聚类算法对所述初始目标高分辨率图像进行聚类分析，从而获得K个初始类簇；对每个所述初始类簇训练对应的子字典；将每个所述高分辨率图像片所归属的所述初始类簇对应的子字典作为所述超完备字典。

14.根据权利要求12所述的装置，其特征在于，所述计算模块具体用于：

所述目标高分辨率图像x和所述低分辨率图像y满足图像观测模型：y＝DHx+v；其中，退化矩阵D表示下采样算子，退化矩阵H表示模糊算子；

根据所述图像观测模型，利用卷积算法获得所述目标高分辨率图像x的参考梯度直方图h_r；其中， $h_r=\arg \underset{h_x}{\min }\{{\left|\right|h_y-h_x\⊗h_g\left|\right|}^2+\mathrm{\ρ}\·R\left(h_x\right)\};$ 其中，h_y是对所述低分辨率图像利用双三次插值得到的上采样图像的梯度直方图；h_x是随机变量x的概率密度函数的离散形式，h_g是独立同分布随机变量g的概率密度函数的离散形式，ρ是常数，R(h_x)是梯度直方图正则项，是卷积操作符；

通过求解优化问题s.t.h_F＝h_r来更新变换函数F。

15.根据权利要求12所述的装置，其特征在于，所述计算模块具体用于：

根据公式 ${\hat{x}}^{(t+1/2)}={\hat{x}}^{\left(t\right)}+\mathrm{\δ}({\left(\mathrm{DH}\right)}^T(y-\mathrm{DH}{\hat{x}}^{\left(t\right)})+{\mathrm{\μ}\▿}^T(f-\▿{\hat{x}}^{\left(t\right)}))$ 确定其中，表示第t次迭代的目标高分辨率图像估计值，表示第t+1/2次迭代的目标高分辨率图像估计值，δ为常数，表示的梯度图；

根据 ${\mathrm{\α}}_i^{(t+1/2)}={\mathrm{\Φ}}_k^T{R}_i{\hat{x}}^{(t+1/2)}$ 确定其中，表示第t+1/2次迭代的高分辨率图像片x_i的稀疏系数，表示第t次迭代的高分辨率图像片x_i所归属的初始类簇对应的子字典，R_i表示从初始目标高分辨率图像I_p在位置i处获取高分辨率图像片x_i的矩阵；

根据关于优化问题的循环迭代求解的稀疏编码系数修正公式 ${\mathrm{\α}}_i^{(t+1)}=S_{\mathrm{\λ}/c}({\mathrm{\Φ}}^{T}o{\left(\mathrm{DH}\right)}^T(y-\mathrm{DH\Φo}{\mathrm{\α}}_i^{(t+1/2)})/c+{\mathrm{\α}}_i^{(t+1/2)}-{\mathrm{\β}}_i)+{\mathrm{\β}}_i$ 和 ${\mathrm{\β}}_i={\mathrm{\Σ}}_c{w}_i^c{\mathrm{\α}}_i^c$ 确定第t+1次迭代的高分辨率图像片x_i的稀疏系数其中，其中，τ表示用于调节衰减速度的控制参数，W表示归一化因子，表示高分辨率图像片x_i的相似图像片组，S_λ/_c表示软阈值函数，c表示正则化参数；

根据公式 ${\hat{x}}^{(t+1)}={\mathrm{\Φ}}^{(t+1)}o{\mathrm{\α}}^{(t+1)}={\left({\mathrm{\Σ}}_{i=1}^l{R}_i^T{R}_i\right)}^{-1}{\mathrm{\Σ}}_{i=1}^l\left(R_i^T{\mathrm{\Φ}}_k^{(t+1)}{\mathrm{\α}}_i^{(t+1)}\right)$ 确定其中，表示第t+1次迭代的目标高分辨率图像，Φ^(t+1)表示对应的超完备字典。

16.根据权利要求12-15任一所述的装置，其特征在于，所述获取模块还用于获得收敛解为最终目标高分辨率图像x_H。