CN103455988B - 基于结构自相似性与稀疏表示的超分辨率图像重构方法 - Google Patents

Abstract

本发明公开了一种基于结构自相似性与稀疏表示的超分辨率图像重构方法，其主要步骤为：首先对一组训练样例图像滤波提取特征，再抽取小块构造一对高分辨图像块与低分辨图像块字典；对输入的低分辨率图像插值放大，滤波提取特征；求解重构权值矩阵W；迭代更新稀疏系数{α_i}和待重构的高分辨率图像X；直到迭代收敛，最终恢复出满意的高分辨率图像。本发明利用图像的结构自相似性主要解决了现有方法重构质量不高的问题。运行时间短，重构图像的效率和质量高，能够对各种自然图像，包括动植物和人等非纹理类图像以及建筑物等纹理性比较强的图像进行重构。

Description

基于结构自相似性与稀疏表示的超分辨率图像重构方法

技术领域

本发明属于图像处理技术领域，涉及图像的超分辨率重构方法，具体是一种基于结构自相似性与稀疏表示的图像超分辨率重构方法，该方法可以用于各类自然图像的超分辨率重构。

背景技术

图像超分辨率重构旨在突破图像传感器的分辨率限制，从一幅或几幅低分辨率图像中，重构出更高分辨率的图像。在安全监控视频中的人脸识别、遥感卫星图像中的物体分辨、医学成像系统中的目标检测、以及图像与视频压缩等领域中，人们渴望获得高分辨率图像。而实际情况中，往往受到图像拍摄条件差、噪声干扰严重、成像设备自身分辨率低的限制，人们所能获得的图像视觉质量较低、分辨率不高，图像超分辨率重构能从低分辨率图像重构得到分辨率较高的清晰图像，能较好的满足现实中人们对清晰的、分辨率高的图像的需求，更重要的是能重清晰的高分辨率图像中获得更多有用的信息。

为了实现图像超分辨率重构这一目的，一些方法已经被提出，如：极大似然估计法，最大后验概率方法（MAP），凸集投影方法（POCS）等。这些方法会产生过平滑以及锯齿效应，重构图像质量不高。因此，Freeman等人提出了一种基于学习的图像超分辨率重构方法，其主要思路是：先构造一组低分辨率图像块与高分辨率图像块的训练样例的集合，再通过马尔科夫随机模型和先验知识来学习低分辨率图像块和高分辨率图像块之间的对应关系，最后利用这种对应关系指导图像的超分辨率重构。Sun等人则对Freeman等人的方法进行了扩展，主要是在重构过程中用原始的轮廓先验知识来减少边界和细节的过平滑。但是这些方法仍需要大量的训练样例以保证重构的效果，对于一张256*256的图像，至少需要10分钟以上的时间完成整个超分辨率重构过程，因此计算量巨大、耗时长，而且重构结果图像的质量一般。

发明内容

本发明的目的在于克服上述已有技术的缺点，提出一种运行时间短的基于图像结构自相似与稀疏表示的图像超分辨率重构方法，通过利用图像的结构自相似性提高重构图像的效率和质量。

为实现上述目的，本发明的技术方案首先引入训练样例图像，用这些图像学习出一对高分辨率字典和低分辨率字典；然后输入低分辨率图像，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像和特征图像块；再构造本发明的目标函数；最后通过优化目标函数，得到高分辨率图像输出，完成图像超分辨率重构。具体步骤包括：

（1）输入训练样例图像对，用训练样例图像对学习构造一对规模均为K的低分辨率字典D_l和所对应的高分辨率字典D_h；

（2）输入待超分辨率重构的低分辨率图像y，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像X₀和特征图像块。插值放大获得初始高分辨率图像X₀和特征图像块的过程包括：

（2.1）输入一幅低分辨率图像y，对该图像进行滤波提取特征，得到低分辨率特征图像Q；

（2.2）从低分辨率特征图像Q中，按重叠的方式，提取低分辨率特征图像Q的特征图像块，本发明从低分辨率特征图像Q中提取到相关特征图像块。

（2.3）对低分辨率图像y进行Bicubic插值放大，得到初始高分辨率图像X₀，本发明从低分辨率图像y中得到初始高分辨率图像X₀。

（3）引入稀疏表示约束项、图像结构自相似性约束项和保真约束项，构造出目标函数F（X，{α_i}）：

$\begin{array}{c}F(X,\{{\mathrm{\α}}_i\left\}\right)=\underset{(X,\{{\mathrm{\α}}_i\left\}\right)}{\min }\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_i\left|\right|}_0+{\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{FR}}_i^{l}y-D_l{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{l}y-{\mathrm{BHR}}_i^{h}X\left|\right|}_2^2+\\ {\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_4{\left|\right|(1-W)X\left|\right|}_2^2\end{array}$

其中，X为一个表示待重构图像的变量，α_i表示第i个特征图像块的稀疏系数，y是输入的低分辨率图像，F表示取特征操作，表示在低分辨率图像中取第i个低分辨率图像块的操作，表示在高分辨率图像中取第i个高分辨率图像块的操作，B表示下采样操作，H表示加模糊操作，D_l、D_h分别是低分辨率字典和高分辨率字典，λ₁、λ₂、λ₃和λ₄是正则化参数，I为单位阵，W是权值矩阵。本发明引入稀疏表示约束项、图像结构自相似性约束项和保真约束项，构造出目标函数F（X，{α_i}）。

（4）优化目标函数F（X，{α_i}），得到高分辨率图像X^*输出，完成图像超分辨率重构，其具体过程包括：

（4.1）对目标函数F（X，{α_i}）初始化，将初始高分辨率图像X₀的值赋给变量X；

（4.2）求出目标函数中的权值矩阵W；

（4.3）固定权值矩阵W和变量X，更新目标函数中稀疏系数变量{α_i}的值,继续下一步；

（4.4）固定稀疏系数变量{α_i}，更新目标函数中变量X的值；

（4.5）重复步骤4.2-4.4，直到算法收敛，将变量X最终的值赋给高分辨率图像X^*，将高分辨率图像X^*输出。

本发明设计的权值矩阵引入了待重构图像自身的自相似性信息，考虑到了自然图像是高度结构化的，相邻像素之间、相邻区域之间有很强的关联性，而现有技术中如以上提及的方法都没有很好的利用图像的自相似性。本发明利用图像的结构自相似性提高了超分辨率重构结果的质量。

本发明的实现还在于：步骤4中的步骤（4.2）所述的求出目标函数中的权值矩阵W，包括有如下步骤：

4.2a）在待修正的图像X中第j个图像块x_j的近邻区域中，找到图像块x_j的第k个近邻小块x_k，图像块x_j的所有的近邻小块的索引组成近邻索引集N(j)；

4.2b）根据下式计算图像块x_j与其近邻小块x_k的相似度权值w(j,k)：

$w(j,k)=\frac{\exp \{-{\left|\right|x_j-x_k\left|\right|}_2^2/h\}}{\underset{k\∈N\left(j\right)}{\mathrm{\Σ}}\exp \{-{\left|\right|x_j-x_k\left|\right|}_2^2/h\}}$

其中，0≤w(j,k)≤1，h是一个光滑参数，光滑参数是一个经验值，通常根据图像块的大小和图像的像素值的取值范围来选取。

4.2c）根据下式求出待修正的图像X的权值矩阵W：

本发明中权值矩阵W引入了图像的结构自相似性，能保证超分辨率重构结果质量高、视觉效果好。

本发明的实现还在于：其中步骤4中的步骤（4.4）所述的对变量X值的更新，包括有如下步骤：

4.4a）目标函数F（X，{α_i}）中与变量X有关的项，组成变量X的目标函数：

$\underset{X}{\min }{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{l}y-{\mathrm{BHR}}_i^{h}X\left|\right|}_2^2+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_4{\left|\right|(I-W)X\left|\right|}_2^2$

4.4b）对变量X的目标函数进行凸优化求解，三个正则参数λ₂、λ₃和λ₄中只需保留两个，去掉一个正则参数λ₂，得到上式的解为：

$\begin{array}{c}\hat{X}={(\underset{i}{\mathrm{\Σ}}{\left({\mathrm{BHR}}_i^h\right)}^T{\mathrm{BHR}}_i^h+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left(R_i^h\right)}^T{R}_i^h+{\mathrm{\λ}}_4{(I-W)}^T(I-W))}^{-1}\×\\ (\underset{i}{\mathrm{\Σ}}{\left({\mathrm{BHR}}_i^h\right)}^T{R}_i^{l}y+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left(R_i^h\right)}^T{D}_h{\mathrm{\α}}_i)\end{array}$

将求得的变量的值赋给目标函数中变量X，完成变量X的值的更新。

本发明中变量X的值只需通过求解一个解析公式得到，避免了大规模的循环迭代过程，减小了计算复杂度，因此，本发明的运行时间短、速度快。

本发明与现有的技术相比具有以下优点：

1.本发明基于图像结构自相似与稀疏表示的图像超分辨率重构方法简单，没有运算规模较大的查找近邻的过程，并且通过求解一个解析公式来完成待重构图像的优化更新，所以本发明运行时间短；

2.同时由于本发明在重构图像时，用到了图像结构的自相似性，能够较好的保持图像的纹理信息，从而提高了重构图像的质量；

3.此外，本发明构造了较大的训练样例集合学习字典，能对各种自然图像进行重构，包括植物、动物、人、建筑物，从而克服了传统方法对于各种输入图像兼容性不强的问题。

实验证明，本发明适用于各种自然图像的超分辨率重构，通过本方法进行重构后，重构图像的细节纹理信息都保持得比较好。

附图说明

图1是本发明的总流程图；

图2是本发明采用的植物训练图像；

图3是本发明采用的动物训练图像；

图4是本发明采用的人训练图像；

图5是本发明采用的建筑训练图像；

图6是用本发明对测试Lena图像的重构效果图；

图7是用本发明对测试Pepper图像的重构效果图；

图8是用本发明对测试Bobcat图像的重构效果图；

图9是用本发明对测试Athens图像的重构效果图；

图10是用本发明和其它各种方法对测试Girl图像的重构图像的效果对比图。

具体实施方式

下面结合附图和实施例对本发明详细说明。

实施例1

本发明是一种基于结构自相似性与稀疏表示的图像超分辨率重构方法，参照附图1，本发明的具体步骤包括：

步骤1.输入训练样例图像对，用训练样例图像对学习构造一对规模均为K的低分辨率字典D_l和所对应的高分辨率字典D_h，构造一对规模均为K的低分辨率字典D_l和所对应的高分辨率字典D_h的过程包括：

1a）输入训练图像对，对低分辨率图像进行滤波提取特征，所采用的滤波器是f₁＝[-1,0,1]，f₃＝[1,0,-2,0,1]，所采用的训练图像为图像处理领域中常用的标准自然图像，这些图可以从经典方法的图库中选取，参见图2-图5，其中，图2是本发明采用的植物训练图像，图3是本发明采用的动物训练图像，图4是本发明采用的人训练图像，图5是本发明采用的建筑训练图像，这些训练样例图像用于构造一对规模均为K的低分辨率字典D_l和对应的高分辨率字典D_h。

1b）从提取特征的低分辨率训练图像中随机抽取特征低分辨率图像块，相应地，从高分辨率训练图像对应的位置抽取高分辨率图像块，将这些特征低分辨率图像块和高分辨率图像块拉成列向量，并列放到矩阵中，分别组成特征低分辨率图像块矩阵Y^l和高分辨率图像块矩阵X^h。

1c）用K-SVD字典学习方法求解下式，联合学习出规模均为K的低分辨率字典D_l和高分辨率字典D_h：

$\underset{\{D_h,D_l,Z\}}{\min }{\left|\right|\left[\begin{array}{c}\frac{1}{\sqrt{N}}{X}^h\\ \frac{1}{\sqrt{M}}{Y}^l\end{array}\right]-\left[\begin{array}{c}\frac{1}{\sqrt{N}}{D}_h\\ \frac{1}{\sqrt{M}}{D}_l\end{array}\right]Z\left|\right|}_2^2+\widehat{\mathrm{\λ}}{\left|\right|Z\left|\right|}_1$

其中，是一个正则参数，N是特征低分辨率图像块拉成的列向量的维数，M是高分辨率图像块拉成的列向量的维数，Z表示特征低分辨率图像块和高分辨率图像块对应的稀疏系数矩阵。设置正则参数的值为0.1、K的值为512、低分辨率图像块的大小为3×3，超分辨率重构的放大倍数根据实际情况设置，设置完这些参数就能求解上式，得到低分辨率字典D_l和高分辨率字典D_h。

步骤2.输入待重构的低分辨率图像y，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像X₀和特征图像块。插值放大获得初始高分辨率图像X₀和特征图像块的过程包括：

（2.1）输入一幅低分辨率图像y，对该图像进行滤波提取特征，得到低分辨率特征图像Q，所采用的滤波器是f₁＝[-1,0,1]，f₃＝[1,0,-2,0,1]， $f_4=f_3^T.$

（2.2）从低分辨率特征图像Q中，按重叠的方式，提取低分辨率特征图像Q的特征图像块。

（2.3）对低分辨率图像y进行Bicubic插值放大，得到初始高分辨率图像X₀。本发明先得到低分辨率特征图像Q的特征图像块和初始高分辨率图像X₀，在之后的步骤中将会用到它们。

步骤3.构造基于图像结构自相似性与稀疏表示的图像超分辨率重构方法的目标函数F（X，{α_i}）：

$\begin{array}{c}F(X,\{{\mathrm{\α}}_i\left\}\right)=\underset{(X,\{{\mathrm{\α}}_i\left\}\right)}{\min }\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_i\left|\right|}_0+{\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{FR}}_i^{l}y-D_l{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{l}y-{\mathrm{BHR}}_i^{h}X\left|\right|}_2^2+\\ {\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_4{\left|\right|(1-W)X\left|\right|}_2^2\end{array}$

其中，X为一个表示待重构图像的变量，α_i表示第i个特征图像块的稀疏系数，y是输入的低分辨率图像，F表示取特征操作，表示在低分辨率图像中取第i个低分辨率图像块的操作，表示在高分辨率图像中取第i个高分辨率图像块的操作，B表示下采样操作，H表示加模糊操作，D_l、D_h分别是低分辨率字典和高分辨率字典，λ₁、λ₂、λ₃和λ₄是正则化参数，I为单位阵，W是权值矩阵。

在目标函数F（X，{α_i}）中，本发明引入了稀疏表示约束项（ 和）、图像结构自相似性约束项和保真约束项本发明首创在目标函数中的引入图像结构自相似性约束项，并将图像结构自相似性约束项与稀疏表示约束项、保真约束项相结合，这样既能保证重构速度快，又能保证超分辨率重构结果的质量高、不失真。

步骤4.优化目标函数F（X，{α_i}），得到高分辨率图像X^*输出，完成图像超分辨率重构，其具体过程包括：

（4.1）对目标函数F（X，{α_i}）初始化，将初始高分辨率图像X₀的值赋给变量X；

（4.2）求出目标函数中的权值矩阵W；

（4.3）固定权值矩阵W和变量X，更新目标函数中稀疏系数变量{α_i}的值；

（4.4）固定变量{α_i}，更新目标函数中变量X的值；

（4.5）重复步骤4.2-4.4，直到算法收敛，将变量X最终的值赋给高分辨率图像X^*，将高分辨率图像输出。

本发明首先引入训练样例图像，用这些图像学习出一对高分辨率字典和低分辨率字典；然后输入低分辨率图像，对其进行插值放大，得到该图的初始高分辨率图像和特征图像块；再构造目标函数；通过优化目标函数，得到高分辨率图像输出，完成图像超分辨率重构。

实施例2

基于结构自相似性与稀疏表示的图像超分辨率重构方法同实施例1。

其中，步骤4.2中获取目标函数中的权值矩阵W的过程包括有：

4.2a）在待修正的图像X中第j个图像块x_j的近邻区域中，找到图像块x_j的第k个近邻小块x_k，图像块x_j的所有的近邻小块的索引组成近邻索引集N(j)；

4.2b）根据下式计算图像块x_j与其近邻小块x_k的相似度权值w(j,k)：

$w(j,k)=\frac{\exp \{-{\left|\right|x_j-x_k\left|\right|}_2^2/h\}}{\underset{k\∈N\left(j\right)}{\mathrm{\Σ}}\exp \{-{\left|\right|x_j-x_k\left|\right|}_2^2/h\}}$

其中，0≤w(j,k)≤1，h是一个光滑参数，光滑参数是一个经验值，通常根据图像块的大小和图像的像素值的取值范围来选取。

4.2c）根据下式求出待修正的图像X的权值矩阵W：

本发明得到待修正的图像X的权值矩阵W，在下一步骤中将会用到它。本发明中的权值矩阵W引入了待重构图像自身的自相似性信息，提高了超分辨率重构结果的质量。

其中，步骤4.3中更新目标函数中稀疏系数变量{α_i}的值的过程：

4.3a）目标函数F（X，{α_i}）中与变量{α_i}有关的项，组成变量{α_i}的目标函数F₁（{α_i}）：

$F_1\left(\right\{{\mathrm{\α}}_i\left\}\right)=\underset{\left\{{\mathrm{\α}}_i\right\}}{\min }\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_i\left|\right|}_0+{\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{FR}}_i^{l}y-D_l{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i\left|\right|}_2^2$

4.3b）将变量{α_i}的目标函数F₁（{α_i}）进行等价变形，并设计一个辅助参数替代变量{α_i}的目标函数F₁（{α_i}）中正则参数λ₁和λ₃，该函数F₁（{α_i}）变成关于{α_i}的优化模型，表示为：

$\left\{\begin{array}{c}\underset{\left\{{\mathrm{\α}}_i\right\}}{\min }\underset{i}{\mathrm{\Σ}}{\left|\right|{\mathrm{\α}}_i\left|\right|}_0\\ s.t\underset{i}{\mathrm{\Σ}}{\left|\right|\left[\begin{array}{c}{\mathrm{FR}}_i^{l}y\\ {\mathrm{\βR}}_i^{h}X\end{array}\right]-\left[\begin{array}{c}{D}_l\\ {\mathrm{\βD}}_h\end{array}\right]{\mathrm{\α}}_i\left|\right|}_2^2\≤\mathrm{\ϵ}\end{array}\right.$

其中，ε是一个常数，β是辅助参数；

4.3c）用正交匹配追踪算法（OMP）来解4.3b）中关于{α_i}的优化模型，得到变量{α_i}的更新值。本发明完成了变量{α_i}值的更新。

其中，步骤4.4中更新目标函数中变量X的值的过程包括：

4.4a）目标函数F（X，{α_i}）中与变量X有关的项，组成变量X的目标函数：

$\underset{X}{\min }{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{l}y-{\mathrm{BHR}}_i^{h}X\left|\right|}_2^2+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i\left|\right|}_2^2+{\mathrm{\λ}}_4{\left|\right|(I-W)X\left|\right|}_2^2$

4.4b）对变量X的目标函数进行凸优化求解，三个正则参数λ₂、λ₃和λ₄中只需保留两个，去掉一个正则参数λ₂，得到上式的解为：

$\begin{array}{c}\hat{X}={(\underset{i}{\mathrm{\Σ}}{\left({\mathrm{BHR}}_i^h\right)}^T{\mathrm{BHR}}_i^h+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left(R_i^h\right)}^T{R}_i^h+{\mathrm{\λ}}_4{(I-W)}^T(I-W))}^{-1}\×\\ (\underset{i}{\mathrm{\Σ}}{\left({\mathrm{BHR}}_i^h\right)}^T{R}_i^{l}y+{\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}{\left(R_i^h\right)}^T{D}_h{\mathrm{\α}}_i)\end{array}$

将求得的变量的值赋给目标函数中变量X，完成变量X的值的更新。

本发明方法简单，没有运算规模较大的查找近邻的过程，并且通过求解一个解析公式来完成待重构图像的优化更新，所以本发明运行时间短。

本发明的效果可以通过以下实验进一步说明：

实施例3

基于结构自相似性与稀疏表示的图像超分辨率重构方法同实施例1-2

1)实验条件

采用软件MATLAB7.9.0作为仿真工具，计算机配置为IntelCore2/1.8G/2G。

2)实验内容

针对图6（a）显示的低分辨率的Lena图像，分别用Bicubic插值方法、Yang（TIP2010）方法和本发明进行重构。得到各自方法的重构图像结果，Bicubic插值方法重构结果见图6（b），Yang（TIP2010）方法的重构结果见图6（c），本发明的超分辨率重构结果见图6（d）。

本发明只对输入图像的灰度分量进行重构，即在步骤2时，将低分辨率的Lena图像（见图6（a））转换成YCbCr模式，提取其中的灰度分量，仅对YCbCr模式的灰度分量进行重构，色度分量Bicubic插值放大，最后将放大的YCbCr模式图像还原成原来的RGB模式。

从图6（b）、图6（c）和图6（d）对比，尤其是图中左上角局部放大部分显示的块效应可见，本发明在重构图像的纹理细节信息上保持得比较好，边缘线条连续，且没有锯齿效应，图像的视觉效果上要优于其它方法。

实施例4

基于结构自相似性与稀疏表示的图像超分辨率重构方法同实施例1-2，仿真条件和内容均同实施例2。本例中输入Pepper图像，见图7（a），用Bicubic插值方法结果见图7（b），采用Yang（TIP2010）方法的重构结果见图7（c），本发明对Pepper图像的超分辨率重构结果见图7（d）。

从图7（b）、图7（c）和图7（d）对比，整体而言，本发明在重构图像的对比度高，色彩更加逼真，边缘线条连续，块效应少，图像的视觉效果上要优于其它方法。

实施例5

基于结构自相似性与稀疏表示的图像超分辨率重构方法同实施例1-2，仿真条件同实施例2。本例实验内容同实施例2，输入Bobcat图像，见图8（a），Bicubic插值方法结果见图8（b），Yang（TIP2010）方法结果见图8（c），本发明结果见图8（d）。

从图8（b）、图8（c）和图8（d）对比，尤其是图中左上角局部放大部分显示的块效应可见，本发明在重构图像的平滑部分光滑，没有出现色彩的突变，边缘线条连续，块效应少，图像的视觉效果上要优于其它方法。

实施例6

基于结构自相似性与稀疏表示的图像超分辨率重构方法同实施例1-2，仿真条件同实施例2。本例实验内容同实施例2，输入Athens图像，见图9（a），Bicubic插值方法结果见图9（b），Yang（TIP2010）方法结果见图9（c），本发明结果见图9（d）。

从图9（b）、图9（c）和图9（d）对比，尤其是图中左上角局部放大部分显示的纹理细节可见，本发明在重构图像的纹理细节信息上保持得比较好，边缘清晰、连续，且没有锯齿效应和边缘的模糊，图像的视觉效果上要优于其它方法。

综合实施例3-6的重构效果，本发明不仅视觉效果上优于其它方法，而且每幅图像超分辨率重构过程耗时在3-5分钟，速度较快，另外用量化的指标能够更准确的反映本发明的重构效果，这些数值评价指标参见表1。

表1三种方法重构图像数值评价指标对比

表1可见，对于四幅输入的低分辨率图像，本发明相对于Bicubic插值方法和Yang（TIP2010）方法，在结构相似度和平均结构相似度方面有一定的提高，尤其是在峰值信噪比方面本发明提高了0.1-0.2dB。

实施例7

基于结构自相似性与稀疏表示的图像超分辨率重构方法同实施例1-2，仿真条件同实施例2。本例实验内容同实施例2，输入Girl图像，见图10（a），Bicubic插值方法结果见图10（b），另外增加了S.Dai方法作为对比实验结果见图10（c），Yang（TIP2010）方法结果见图10（d），本发明超分辨率重构结果见图10（e），原始高分辨图像见图10（f）。

从图10（b）、图10（c）、图10（d）和图10（e）对比，尤其是图中左上角局部放大部分显示的细节信息可见，本发明在重构图像的边缘清晰，没有锯齿效应，且边缘线条连续，块效应少，更加接近原始高分辨率图像，图像的视觉效果上要优于其它方法。

实验证明，本发明适用于各种自然图像的超分辨率重构，通过本方法进行重构后，重构图像的细节纹理信息都保持得比较好。

简而言之，本发明的基于结构自相似性与稀疏表示的超分辨率图像重构方法，其主要步骤为：首先对一组训练样例图像滤波提取特征，再抽取小块构造一对高分辨图像块与低分辨图像块字典；对输入的低分辨率图像插值放大，滤波提取特征；求解重构权值矩阵W；迭代更新稀疏系数{α_i}和待重构的高分辨率图像X；直到迭代收敛，最终恢复出满意的高分辨率图像。本发明利用图像的结构自相似性主要解决了现有方法重构质量不高的问题。运行时间短，重构图像的效率和质量高，能够对各种自然图像，包括动植物和人等非纹理类图像以及建筑物等纹理性比较强的图像进行重构。

Claims (5)

1.一种基于结构自相似性与稀疏表示的图像超分辨率重构方法，包括如下步骤：

步骤1.输入训练样例图像对，用训练样例图像对学习构造一对规模均为K的低分辨率字典D_l和所对应的高分辨率字典D_h；

步骤2.输入待重构的低分辨率图像y，对输入的低分辨率图像进行插值放大，得到该图的初始高分辨率图像X₀和特征图像块，插值放大获得初始高分辨率图像X₀和特征图像块的过程包括：

(2.1)输入一幅低分辨率图像y，对该图像进行滤波提取特征，得到低分辨率特征图像Q；

(2.2)从低分辨率特征图像Q中，按重叠的方式，提取低分辨率特征图像Q的特征图像块；

(2.3)对低分辨率图像y进行Bicubic插值放大，得到初始高分辨率图像X₀；

步骤3.引入稀疏表示约束项、图像结构自相似性约束项和保真约束项，构造出目标函数F(X，{α_i})：

$\begin{array}{c}F(X,\{{\mathrm{\α}}_i\left\}\right)-\underset{(X,\{{\mathrm{\α}}_i\left\}\right)}{\min }\underset{i}{\mathrm{\Σ}}\left|\right|{\mathrm{\α}}_i|{|}_0+{\mathrm{\λ}}_1\underset{i}{\mathrm{\Σ}}||{\mathrm{FR}}_i^{l}y-D_l{\mathrm{\α}}_i|{|}_2^2+{\mathrm{\λ}}_2\underset{i}{\mathrm{\Σ}}\left|\right|R_i^{l}y-{\mathrm{BHR}}_i^{h}X|{|}_2^2+\\ {\mathrm{\λ}}_3\underset{i}{\mathrm{\Σ}}\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i|{|}_2^2+{\mathrm{\λ}}_4|\left|(I-W)X\right|{|}_2^2\end{array}$

其中，X为一个表示待重构图像的变量，α_i表示第i个特征图像块的稀疏系数，y是输入的低分辨率图像，F表示取特征操作，表示在低分辨率图像中取第i个低分辨率图像块的操作，表示在高分辨率图像中取第i个高分辨率图像块的操作，B表示下采样操作，H表示加模糊操作，D_l、D_h分别是低分辨率字典和高分辨率字典，λ₁、λ₂、λ₃和λ₄是正则化参数，I为单位阵，W是权值矩阵；

步骤4.优化目标函数F(X，{α_i})，得到高分辨率图像X^*输出，完成图像超分辨率重构，其具体过程包括：

(4.1)对目标函数F(X，{α_i})初始化，将初始高分辨率图像X₀的值赋给变量X；

(4.2)求出目标函数中的权值矩阵W；

(4.3)固定权值矩阵W和变量X，更新目标函数中稀疏系数变量{α_i}的值,继续下一步；

(4.4)固定稀疏系数变量{α_i}，更新目标函数中变量X的值；

(4.5)重复步骤4.2‐4.4，直到算法收敛，将变量X最终的值赋给高分辨率图像X^*，将高分辨率图像X^*输出。

2.根据权利要求1所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤1所述的输入训练样例图像对，用训练样例图像对学习构造一对规模均为K的低分辨率字典D_l和所对应的高分辨率字典D_h，包括有如下步骤：

1a)输入训练图像对，对低分辨率图像进行滤波提取特征，所采用的滤波器是f₁＝[-1,0,1]，f₃＝[1,0,-2,0,1]，所采用的训练图像为图像处理领域中常用的标准自然图像；

1b)从提取特征的低分辨率训练图像中随机抽取特征低分辨率图像块，相应地，从高分辨率训练图像对应的位置抽取高分辨率图像块，通过K‐SVD字典学习方法，用这些特征低分辨率图像块和高分辨率图像块，联合学习出规模均为K的低分辨率字典D_l和高分辨率字典D_h。

3.根据权利要求2所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤4中的步骤(4.2)所述的求出目标函数中的权值矩阵W，包括有如下步骤：

4.2a)在待修正的图像X中第j个图像块x_j的近邻区域中，找到图像块x_j的第k个近邻小块x_k，图像块x_j的所有的近邻小块的索引组成近邻索引集N(j)；

4.2b)根据下式计算图像块x_j与其近邻小块x_k的相似度权值w(j,k)：

$w(j,k)=\frac{\exp \{-||x_j-x_k|{|}_2^2/h\}}{\underset{k\∈N\left(j\right)}{\Σ}\exp \{-||x_j-x_k|{|}_2^2/h\}}$

其中，0≤w(j,k)≤1，h是一个光滑参数；

4.2c)根据下式求出待修正的图像X的权值矩阵W：

4.根据权利要求3所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤4中的步骤(4.3)所述的对稀疏系数变量{α_i}的更新，包括有如下步骤：

4.3a)目标函数F(X，{α_i})中与变量{α_i}有关的项，组成变量{α_i}的目标函数F₁({α_i})：

$F_1\left(\right\{{\mathrm{\α}}_i\left\}\right)=\underset{\left\{{\mathrm{\α}}_i\right\}}{min}\underset{i}{\Σ}\left|\right|{\mathrm{\α}}_i|{|}_0+{\mathrm{\λ}}_1\underset{i}{\Σ}||{\mathrm{FR}}_i^{l}y-D_l{\mathrm{\α}}_i|{|}_2^2+{\mathrm{\λ}}_3\underset{i}{\Σ}\left|\right|R_i^{h}X-D_h{\mathrm{\α}}_i|{|}_2^2$

4.3b)将变量{α_i}的目标函数F₁({α_i})进行等价变形，并设计一个辅助参数替代变量{α_i}的目标函数F₁({α_i})中正则参数λ₁和λ₃，该函数F₁({α_i})变成关于{α_i}的优化模型，表示为：

$\left\{\begin{array}{cc}\underset{\left\{{\mathrm{\α}}_i\right\}}{min}& \underset{i}{\Σ}\left|\right|{\mathrm{\α}}_i|{|}_0\\ s.t.& \underset{i}{\Σ}\left|\right|\left[\begin{array}{c}{\mathrm{FR}}_i^{l}y\\ {\mathrm{\βR}}_i^{h}X\end{array}\right]-\left[\begin{array}{c}{D}_l\\ {\mathrm{\βD}}_h\end{array}\right]{\mathrm{\α}}_i|{|}_2^2\≤\mathrm{\ϵ}\end{array}\right.$

其中，ε是一个常数，β是辅助参数；

4.3c)用正交匹配追踪算法(OMP)来解4.3b)中关于{α_i}的优化模型，得到变量{α_i}的更新值。

5.根据权利要求4所述的基于结构自相似性与稀疏表示的图像超分辨率重构方法，其中步骤4中的步骤(4.4)所述的对变量X值的更新，包括有如下步骤：

4.4a)目标函数F(X，{α_i})中与变量X有关的项，组成变量X的目标函数： $\underset{X}{\min }{\mathrm{\λ}}_2\underset{i}{\Σ}\left|\right|R_i^{l}y-{\mathrm{BHR}}_i^{h}X|{|}_2^2+{\mathrm{\λ}}_3\underset{i}{\Σ}||R_i^{h}X-D_h{\mathrm{\α}}_i|{|}_2^2+{\mathrm{\λ}}_4\left|\right|(I-W)X|{|}_2^2$

4.4b)对变量X的目标函数进行凸优化求解，三个正则参数λ₂、λ₃和λ₄中只需保留两个，去掉一个正则参数λ₂，得到上式的解为：

$\begin{array}{c}\hat{X}={(\underset{i}{\Σ}{\left({\mathrm{BHR}}_i^h\right)}^T{\mathrm{BHR}}_i^h+{\mathrm{\λ}}_3\underset{i}{\Σ}{\left(R_i^h\right)}^T{R}_i^h+{\mathrm{\λ}}_4{(I-W)}^T(I-W\left)\right)}^{-1}\×\\ \left(\underset{i}{\Σ}{\left({\mathrm{BHR}}_i^h\right)}^T{R}_i^l\mathrm{y+}{\mathrm{\λ}}_3\underset{i}{\Σ}{\left(R_i^h\right)}^T{D}_h{\mathrm{\α}}_i\right)\end{array}$

将求得的变量的值赋给目标函数中变量X，完成变量X值的更新。