CN104867107A - 一种图像超分辨方法 - Google Patents

Abstract

本发明公开了一种图像超分辨方法，包括如下步骤：第一步：利用训练集，训练出第0级映射模型；第二步：以迭代的形式进行训练，一直得到第R级映射模型；第三步：利用所述第0级映射模型对输入的低分辨图像超分辨，得到第0级输出的高分辨率图像。

Description

一种图像超分辨方法

技术领域

本专利申请涉及计算机视觉和图像处理领域，特别涉及一种图像超分辨方法。

背景技术

图像超分辨属于计算机视觉和图像处理领域，是一个经典的图像处理问题，有着重要的学术和工业研究价值。图像超分辨的目标就是，由给定的低分辨率图像，重构出它相应的高分辨率图像，使得在重构误差尽可能小的情况下，视觉效果尽可能的好。目前主流的图像超分辨方法可以分为三大类：基于插值的方法；基于重构的方法；基于学习的方法。

基于插值的方法，是一类基本的超分辨方法，其处理过程通常会使用局部协方差系数，固定功能核或者自适应结构核，因其简单快速的特点而被广泛使用。但是，很多情况下，这类方法产生的结果会随着放大倍数的增大而产生视觉伪影，比如：锯齿效应和模糊效应。基于重构的方法，假设低分辨图像是由高分辨率图像经过几种退化因素得到的，比如：降采样和模糊化。这类方法在超分辨过程中强调重构约束的重要性，因而，其得到的高分辨率图像往往有着过于平滑和不自然的边缘以及在图像边缘附近产生振铃效应。基于学习的方法，因为利用机器学习技术从训练集中学习到了大量先验知识，因而获得了更好的结果。但是，这类方法通常需要求解基于L₀范数或者L₁范数的最优化问题，其处理速度是很慢的。

以上背景技术内容的公开仅用于辅助理解本专利申请的专利申请构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。

专利申请内容

本专利申请(主要)目的在于提出一种图像超分辨方法，以解决上述现有技术存在的处理速度慢的技术问题。

为此，本专利申请提出一种图像超分辨方法，包括如下步骤：第一步：利用训练集，训练出第0级映射模型；第二步：以迭代的形式进行训练，一直得到第R级映射模型；第三步：利用所述第0级映射模型对输入的低分辨图像超分辨，得到第0级输出的高分辨率图像。

所述的图像超分辨方法还包括第四步：利用所述第0级输出的高分辨率图像以及第0级后的各级映射模型，逐级输出高分辨率图像。

所述第一步具体包括：从训练集中得到高分辨率图像，将所述高分辨率图像通过缩小倍数为s进行下采样，得到低分辨率图像，从对应的高分辨率图像、低分辨率图像中提取对应的高分辨率特征和低分辨率特征，利用所述高征、低分辨率特征训练出第0级映射模型，所述第0级映射模型包括初级低分辨率字典、初级PCA降维矩阵，以及初级映射矩阵。

所述第二步具体包括：利用所述第0级映射模型及所述训练集，继续训练，得到第1级的映射模型；以此类推，利用第R-1级的映射模型以及训练集，继续训练，得到第R级的映射模型。

所述第三步具体包括：对于每一个低分辨率特征，选择所述第0级映射模型，在低分辨率字典中找到与其最接近的字典基，再用相应的映射矩阵恢复出高分辨率特征；将所有恢复出的高分辨特征加上包含低频信息的图像块，得到相应的高分辨率图像块，将所有高分辨图像块融合成一张第0级输出的高分辨图像。

所述第四步具体包括：使用所述第0级输出的高分辨图像以及第1级的映射模型得到第1级输出的高分辨率图像，以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型得到第R级输出的高分辨率图像，并将此图作为最终的高分辨率图像。

所述第一步具体包括：以自然图像公共数据集作为训练集，先使用第一插值算法，从所述高分辨率图像中得到低分辨率图像，再将所述低分辨率图像利用第二插值算法恢复至原高分辨率图像的尺寸一样；从所述高分辨率图像中提取高分辨率图像块集合与特征集合，在所述低分辨率图像中的相应位置提取出低分辨率图像块集合与特征集合；由上述高、低分辨率图像块和特征集合，可以得到第0级映射模型。

所述第二步具体包括利用所述第0级映射模型对所述低分辨率训练集进行超分辨，得到第0级输出的训练集，从中提取所述低分辨率特征，再联合高分辨率特征，训练出第1级映射模型；以此类推，利用第R-1级映射模型对低分辨率训练集进行超分辨，得到第R-1级输出的训练集，从中提取低分辨率的特征，再联合高分辨率特征，训练出第R级映射模型。

所述第三步具体包括：对于任意输入的低分辨率图像，从中提取相互重叠的低分辨率特征集合；对于每一个低分辨率特征，选择第0级的映射模型，在低分辨率字典中找到与其最接近的字典基，再用相应的映射矩阵恢复出高分辨率特征；将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张第0级输出的高分辨图像。

所述第四步具体包括：对于第0级输出的高分辨图像，从中提取相互重叠的低分辨率特征集合；对每一个低分辨率特征，在第1级映射模型中找到其最近邻的低分辨率字典基和映射矩阵，来恢复相应的高分辨率特征，将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像；以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型得到第R级输出的高分辨率图像，并将此图作为最终的高分辨率图像。

本专利申请与现有技术对比的有益效果包括：本专利申请提出了一种基于迭代和协同表示的图像超分辨方法；利用本专利申请能够再次利用初级超分辨后的结果，从中提取更精确的特征，重构出质量更好的高分辨率图像，使用迭代的方式，不断增强高分辨率图像质量，利用协同表示加快超分辨速度，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。

附图说明

图1是本专利申请的图像超分辨方法的流程图。

具体实施方式

下面结合具体实施方式并对照附图对本专利申请作进一步详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本专利申请的范围及其应用。

参照以下附图，将描述非限制性和非排他性的实施例，其中相同的附图标记表示相同的部件，除非另外特别说明。

本领域技术人员将认识到，对以上描述做出众多变通是可能的，所以实施例仅是用来描述一个或多个特定实施方式。

本专利申请提出了一种基于迭代协同表示的图像超分辨方法。在初级训练阶段，从已有的高质量图像中提取训练样本集合，在此训练样本上训练出第0级映射模型M₀，其包括：PCA(Principal ComponentAnalysis)降维矩阵P⁽⁰⁾，低分辨率字典以及映射矩阵在迭代训练阶段，利用第0级映射模型M₀以及A1中的训练集，继续训练，得到第1级的映射模型M₁。以此类推，利用第R-1级的映射模型M_R-1以及A1中的训练集，继续训练，得到第R级的映射模型M_R。在初级超分辨阶段，对于每一个低分辨率特征选择第0级的映射模型M₀，得到第0级输出的高分辨图像在迭代超分辨阶段，使用第0级输出的高分辨图像以及第1级的映射模型M₁得到第1级输出的高分辨率图像以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型M_R得到第R级输出的高分辨率图像并将此图作为最终的高分辨率图像I_H。该方法能够再次利用初级超分辨后的结果，从中提取更精确的特征，重构出质量更好的高分辨率图像，使用迭代的方式，不断增强高分辨率图像质量，利用协同表示加快超分辨速度，从而更准确地恢复高分辨率图像的高频信息，得到更高质量的高分辨率图像。

如图1所示，一种图像超分辨方法，包括如下步骤：

第一步A1：初级训练阶段：利用训练集，训练出第0级映射模型M₀。第二步：以迭代的形式进行训练，一直得到第R级映射模型。第三步：利用所述第0级映射模型M₀对输入的低分辨图像I_L进行超分辨，得到第0级输出的高分辨率图像第四步：利用所述第0级输出的高分辨率图像以及第0级后的各级映射模型，逐级输出高分辨率图像。

下面再做进一步详细描述。A1：初级训练阶段。以自然图像公共数据集(如Image Net数据集)作为训练集，从中得到高分辨率图像将其下采样得低分辨率图像缩小倍数为s，从高、低分辨率的图像对中提取高、低分辨率特征对和利用这些高、低分辨率特征来训练出初级低分辨率字典初级PCA(PrincipalComponent Analysis)降维矩阵P⁽⁰⁾以及初级映射矩阵

A2：迭代训练阶段。利用A1中得到的映射模型以及A1中的训练集，继续训练，得到第1级的映射模型。以此类推，利用第R-1级的映射模型以及A1中的训练集，继续训练，得到第R级的映射模型M_R。

A3：初级超分辨阶段。对于每一个低分辨率特征选择第0级的映射模型M₀，在低分辨率字典中找到与其最接近的字典基(字典基就是字典中的列向量)，再用相应的映射矩阵恢复出高分辨率特征将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块将所有高分辨图像块融合成一张第0级输出的高分辨图像

A4：迭代超分辨阶段。使用第0级输出的高分辨图像以及第1级的映射模型M₁得到第1级输出的高分辨率图像以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型M_R得到第R级输出的高分辨率图像并将此图作为最终的高分辨率图像I_H。

在具体的实施方案中，可按下面方式操作。

A1：在初级训练阶段。以自然图像公共数据集(如Image Net数据集)作为训练集。先使用第一插值算法，从高分辨率图像中得到低分辨率图像再将这些低分辨率图像利用第二插值算法上采样，上述过程中，下采样的缩小倍数和上采样的放大倍数都是s倍。第二插值算法与第一插值算法可以相同，也可以不同。从中提取高分辨率图像块集合与特征集合在中的相应位置提取出低分辨率图像块集合与特征集合其中，高分辨率特征y_H为：

y_H＝p_H-p_L,  (1)

低分辨率特征y_L为：

y_L＝[f₁*p_L；f₂*p_L；f₃*p_L；f₄*p_L],  (2)

其中，f₁和f₂是水平与垂直方向的梯度高通滤波器，f₃和f₄是水平与垂直方向拉普拉斯高通滤波器，符号表示卷积操作。为了降低运算复杂度，采用PCA降维，PCA变换矩阵为P⁽⁰⁾。为了得到低分辨率的字典，可以利用降维后的低分辨率特征集合来优化下列目标函数：

$\begin{array}{c}\underset{D_L^{\left(0\right)},X}{\min }{\left|\right|Y_L-D_L^{\left(0\right)}X\left|\right|}_F^2\\ s.t.{\left|\right|d_i^{\left(0\right)}\left|\right|}_2=1,\mathrm{and},{\left|\right|x_i\left|\right|}_0\≤L\end{array},---\left(3\right)$

其中，X＝{x_i}分别是低分辨率特征集合，字典以及系数。符号min表示求目标函数的最小值，和X就是求解优化问题所要输出的结果，符号s.t.表示求解优化问题时所要满足的条件。||||_F，||||₂和||||₀分别表示F-范数，2-范数以及0-范数。L是用来限制稀疏度的正整数。利用高、低分辨率特征对和对于任意低分辨率字典的基d_i，在中寻找其N近邻，组成低分辨率近邻集合将高分辨率特征集合中相应位置的特征用来组成高分辨率近邻集合假定一个低分辨特征y_L，与其最近的低分辨率字典基和近邻集合分别是d_k和N_L,k，为了得到重构高分辨率特征y_H所需要的系数x，先求解下列最优化目标函数：

$\underset{x}{\min }{\left|\right|y_L-N_{L,k}x\left|\right|}_2^2+\mathrm{\λ}{\left|\right|x\left|\right|}_2^2,---\left(4\right)$

公式(4)中，符号min表示求目标函数的最小值，λ为大于零的常数，N_L,k是字典基d_k对应的低分辨率近邻集合，x是系数，也是该优化问题所要输出的结果。该问题存在解析解，具体形式为：

$x={(N_{L,k}^T{N}_{L,k}+\mathrm{\λI})}^{-1}{N}_{L,k}^T{y}_L.---\left(5\right)$

公式(5)中，()^T表示矩阵的转置，I表示单位矩阵。那么相应的高分辨率特征可由下列式子求得：

$y_H=N_{H,k}x=N_{H,k}{(N_{L,k}^T{N}_{L,k}+\mathrm{\λI})}^{-1}{N}_{L,k}^T{y}_L,---\left(6\right)$

公式(6)中，N_H,k是字典基d_k对应的高分辨率近邻集合，()^-1表示矩阵的逆。上述式子的大部分是与输入的y_L无关的，因而可以离线计算出来，即为映射矩阵：

$F_k^{\left(0\right)}=N_{H,k}{(N_{L,k}^T{N}_{L,k}+\mathrm{\λI})}^{-1}{N}_{L,k}^T.---\left(7\right)$

表示第0级中，字典基d_k对应的映射矩阵。因此对于每个低分辨率字典基，都能求得其相应的映射矩阵。由此得到第0级映射模型。具体求解上述字典学习最优化问题的算法可采用KSVD算法等，本专利申请涵盖的范围不限于所例举的方法。

A2：在迭代训练阶段。利用第0级映射模型M₀对A1中低分辨率训练集进行超分辨，得到第0级输出的训练集从中提取公式(2)形式的特征，再联合高分辨率特征，训练出第1级映射模型M₁。以此类推，利用第R-1级映射模型对A1中低分辨率训练集进行超分辨，得到第R-1级输出的训练集，从中提取公式(2)形式的特征，再联合高分辨率特征，训练出第R级映射模型M_R。

A3：在初级超分辨阶段。对于任意输入的低分辨率图像I_L，从中提取相互重叠的低分辨率特征集合。对于每一个低分辨率特征选择第0级的映射模型M₀，在低分辨率字典中找到与其最接近的字典基再用相应的映射矩阵恢复出高分辨率特征将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块将所有高分辨图像块融合成一张第0级输出的高分辨图像

A4：在迭代训练阶段。对于第0级输出的高分辨图像从中提取相互重叠的低分辨率特征集合。对每一个低分辨率特征在第1级映射模型M₁中找到其最近邻的低分辨率字典基和映射矩阵来恢复相应的高分辨率特征即，将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块将所有高分辨图像块融合成一张高分辨图像以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型M_R得到第R级输出的高分辨率图像并将此图作为最终的高分辨率图像I_H。

尽管已经描述和叙述了被看作本专利申请的示范实施例，本领域技术人员将会明白，可以对其作出各种改变和替换，而不会脱离本专利申请的精神。另外，可以做出许多修改以将特定情况适配到本专利申请的教义，而不会脱离在此描述的本专利申请中心概念。所以，本专利申请不受限于在此披露的特定实施例，但本专利申请可能还包括属于本专利申请范围的所有实施例及其等同物。

Claims (10)

1.一种图像超分辨方法，其特征在于包括如下步骤：

第一步：利用训练集，训练出第0级映射模型；

第二步：以迭代的形式进行训练，一直得到第R级映射模型；

第三步：利用所述第0级映射模型对输入的低分辨图像超分辨，得到第0级输出的高分辨率图像。

2.如权利要求1所述的图像超分辨方法，其特征在于：还包括第四步：利用所述第0级输出的高分辨率图像以及第0级后的各级映射模型，逐级输出高分辨率图像。

3.如权利要求1所述的图像超分辨方法，其特征在于：所述第一步具体包括：从训练集中得到高分辨率图像，将所述高分辨率图像通过缩小倍数进行下采样，得到低分辨率图像，从对应的高分辨率图像、低分辨率图像中提取对应的高分辨率特征和低分辨率特征，利用所述高征、低分辨率特征训练出第0级映射模型，所述第0级映射模型包括初级低分辨率字典、初级PCA降维矩阵，以及初级映射矩阵。

4.如权利要求1所述的图像超分辨方法，其特征在于：所述第二步具体包括：利用所述第0级映射模型及所述训练集，继续训练，得到第1级的映射模型；以此类推，利用第R-1级的映射模型以及训练集，继续训练，得到第R级的映射模型。

5.如权利要求1所述的图像超分辨方法，其特征在于：所述第三步具体包括：对于每一个低分辨率特征，选择所述第0级映射模型，在低分辨率字典中找到与其最接近的字典基，再用相应的映射矩阵恢复出高分辨率特征；将所有恢复出的高分辨特征加上包含低频信息的图像块，得到相应的高分辨率图像块，将所有高分辨图像块融合成一张第0级输出的高分辨图像。

6.如权利要求1所述的图像超分辨方法，其特征在于：所述第四步具体包括：使用所述第0级输出的高分辨图像以及第1级的映射模型得到第1级输出的高分辨率图像，以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型得到第R级输出的高分辨率图像，并将此图作为最终的高分辨率图像。

7.如权利要求1所述的图像超分辨方法，其特征在于：所述第一步具体包括：以自然图像公共数据集作为训练集，先使用第一插值算法，从所述高分辨率图像中得到低分辨率图像，再将所述低分辨率图像利用第二插值算法恢复至原高分辨率图像的尺寸一样；从所述高分辨率图像中提取高分辨率图像块集合与特征集合，在所述低分辨率图像中的相应位置提取出低分辨率图像块集合与特征集合；由上述高、低分辨率图像块和特征集合，可以得到第0级映射模型。

8.如权利要求7所述的图像超分辨方法，其特征在于：所述第二步具体包括利用所述第0级映射模型对所述低分辨率训练集进行超分辨，得到第0级输出的训练集，从中提取所述低分辨率特征，再联合高分辨率特征，训练出第1级映射模型；以此类推，利用第R-1级映射模型对低分辨率训练集进行超分辨，得到第R-1级输出的训练集，从中提取低分辨率的特征，再联合高分辨率特征，训练出第R级映射模型。

9.如权利要求8所述的图像超分辨方法，其特征在于：所述第三步具体包括：对于任意输入的低分辨率图像，从中提取相互重叠的低分辨率特征集合；对于每一个低分辨率特征，选择第0级的映射模型，在低分辨率字典中找到与其最接近的字典基，再用相应的映射矩阵恢复出高分辨率特征；将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张第0级输出的高分辨图像。

10.如权利要求9所述的图像超分辨方法，其特征在于：所述第四步具体包括：对于第0级输出的高分辨图像，从中提取相互重叠的低分辨率特征集合；对每一个低分辨率特征，在第1级映射模型中找到其最近邻的低分辨率字典基和映射矩阵，来恢复相应的高分辨率特征，将所有恢复出的高分辨特征加上包含低频信息的图像块得到相应的高分辨率图像块，将所有高分辨图像块融合成一张高分辨图像；以此类推，使用第R-1级输出的高分辨图像以及第R级的映射模型得到第R级输出的高分辨率图像，并将此图作为最终的高分辨率图像。