CN107424119A - 一种单图像的超分辨率方法 - Google Patents

Abstract

本申请公开了一种单图像超分辨率方法，包括：a、利用待处理的低分辨率LR图像Y，生成初始HR图像X₀，并将其作为最近一次重建的HR图像X'；b、在最近一次重建的HR图像X'上，为每个HR图像块x_i的相似图像块集合分配加权系数，并计算每个HR图像块x_i的预测值E_i；c、计算当前次迭代重建的HR图像X；d、当迭代次数未达到迭代上限时，返回步骤b，并将最近一次重建的HR图像X'设置为所述当前次迭代重建的HR图像X，否则，将所述当前次迭代重建的HR图像X作为超分辨率结果。应用本申请，能够提高超分辨率的性能。

Description

一种单图像的超分辨率方法

技术领域

本申请涉及图像处理技术，特别涉及图像处理技术中一种单图像的超分辨率方法。

背景技术

图像超分辨(Super Resolution,SR)技术能够从给定的低分辨率(LowResolution,LR)图像中恢复出高分辨率(High Resolution,HR)图像，具备较高的实用价值和广阔的应用前景。

SR技术分为多图像SR以及单图像SR两类。其中，多图像SR技术从多幅LR图像中恢复出一幅HR图像，而单图像SR技术则是从单幅LR图像恢复出一幅HR图像。由于需要多幅LR图像，多图像SR技术具备明显的局限性；相比之下，单图像SR技术的应用更为广泛。

已有的单图像SR方法可以大致分为两类：一类是基于学习的方法，另一类是基于重建的方法。在基于学习的方法中，通常需要从给定的外部HR数据集中学习LR与HR空间的映射关系，常见的算法包括基于最近邻(Nearest Neighbor)的方法、基于稀疏表示(SparseRepresentation)的方法、基于协作表达(Collaborative Representation)的方法、基于深度学习(Deep Learning)的方法等。在基于重建的方法中，通常采用自然图像的先验知识来约束解空间。为了获取最优的SR重建结果，许多约束模型已被提出，常见的模型包括总变分(Total Variation)、非局部均值(Non-Local Means)、非局部低秩约束(Non-local Low-rank Regularization)等。

虽然已有许多SR方法被提出，但是，现有的方法均存在一定的不足，方法性能还有进一步提升的空间。

发明内容

有鉴于此，本申请的主要目的在于提供一种单图像的超分辨率方法，能够克服传统方法在性能上的不足，在相同的放大倍数下可以获得质量更高的重建图像。

为达到上述目的，本申请采用如下技术方案：

一种单图像的超分辨率方法，其特征在于，

a、利用待处理的低分辨率LR图像Y，生成初始HR图像X₀，并将其作为最近一次重建的HR图像X'；

b、在所述最近一次重建的HR图像X'上，为每个HR图像块x_i的相似图像块集合分配加权系数，并计算每个HR图像块x_i的预测值E_i；其中，所述相似图像块集合由所述HR图像块x_i最相似的N个图像块构成，N为预先设定的正整数；

c、计算当前次迭代重建的HR图像X，其中，

S代表下采样操作H代表模糊算子，R_i是第i个HR图像块x_i的提取算子，α是权重系数，P_j为所述预先利用高分辨率HR训练图像集训练得到的HR字典D中与所述最近一次重建的HR图像中的HR图像块x_i最相似的原子d_j对应的投影矩阵，所述投影矩阵为所述图像块x_i所在的HR空间投影到该HR空间本身的投影矩阵；

d、当迭代次数未达到迭代上限时，返回步骤b，并将最近一次重建的HR图像X'设置为所述当前次迭代重建的HR图像X，否则，将所述当前次迭代重建的HR图像X作为超分辨率结果。

较佳地，在所述步骤a前，该方法包括：

预先针对所述HR训练图像集中提取的HR图像块，训练得到所述HR字典D；

为所述HR字典D中的每一个原子，在所述提取的图像块中找到该原子的K个近邻，组成近邻矩阵N_j，并计算HR空间投影到HR空间的投影矩阵其中，λ是权重系数；

将计算得到的所有投影矩阵构成投影矩阵集合，并与所述HR字典D用于所述步骤c。

较佳地，所述计算当前次迭代重建的HR图像X包括：

对应每个待重建的HR图像块x_i，将所述最近一次重建的HR图像X'中的结果与HR字典D中的每个原子进行比较，找到最相似原子d_j；

利用所述最相似原子d_j对应的投影矩阵计算所述当前次迭代重建的HR图像X。

由上述技术方案可见，在SR重建过程中，首先生成初始HR图像；接下来，根据图像先验结构特征计算每个图像块的预测值，并结合利用HR训练图像集进行离线训练后得到的HR字典和HR空间到HR空间的投影矩阵，计算重建的HR图像；通过迭代计算预测值及重建HR图像，能够获得重建HR图像质量的逐步提升；在达到迭代上限后，将最近重建的HR图像进行存储或输出。通过上述方式，在SR重建过程中，引入了外部HR信息，同时还利用了图像先验结构特征，并通过HR空间到HR空间的投影矩阵，降低了SR方法的性能对外部图像与当前处理图像之间的相似性的依赖，有效提高了单图像SR方法的效果。

进一步地，在离线的投影矩阵及HR字典训练过程中，可以从外部HR图像集合中提取HR图像块；接下来，学习HR字典，并为每个字典原子寻找K近邻；最后根据所寻找的K近邻计算HR空间到HR空间的投影矩阵，以用于SR重建过程。利用上述离线训练过程，能够利用外部HR信息，并改进了投影矩阵，使得投影矩阵可以不受降质模型的约束，并可以用于SR重建过程。

附图说明

图1为本发明所采用的离线的投影矩阵及HR字典训练过程流程图；

图2为本发明所采用的SR重建过程流程图；

图3a为采用Zeyde方法得到的3倍放大下的HR图像；

图3b为采用ANR方法得到的3倍放大下的HR图像；

图3c为采用A+方法得到的3倍放大下的HR图像；

图3d为采用SRCNN方法得到的3倍放大下的HR图像；

图3e为采用NCSR方法得到的3倍放大下的HR图像；

图3f为采用本发明方法得到的3倍放大下的HR图像。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

首先，分析背景技术中单图像SR方法存在的问题及其原因。在现有的基于学习的单图像SR方法中，通常需要根据给定的降质模型(Degradation Model)学习HR空间和LR空间之间的映射关系。当降质模型改变，例如放大倍数改变、模糊算子改变时，需要重新学习前述映射关系，这给实际应用带来了困难。另外，基于学习的SR方法的性能好坏也往往取决于外部训练图像与当前处理图像之间的相似性，当训练图像与当前处理图像之间的相似性较低时，也会影响SR方法的性能。另一方面，在现有的基于重建的单图像SR方法中，由于没有通过学习获取外部HR信息，往往无法有效地恢复出HR图像细节。

基于上述对现有单图像SR方法性能缺陷的原因分析，本发明提出一种全新的单图像SR方法，能够有效结合现有的基于学习的方法以及基于重建的方法的优点，通过同时应用外部HR信息以及图像内部结构特性，克服传统SR方法的不足。具体地，本申请提出的SR方法中，在现有SR重建过程的基础上，引入HR字典和投影矩阵的训练过程。更详细地，将现有训练过程中的LR空间到HR空间的投影矩阵改进为HR空间到HR空间的投影矩阵，使得投影矩阵可以不受降质模型的约束，并可以用于SR重建过程。在通过训练过程得到HR字典和投影矩阵后，在SR重建过程中，利用该HR字典及投影矩阵计算重建的HR图像。

下面对本申请中的SR方法进行详细描述。由于引入了投影矩阵和HR字典的训练过程，因此，本申请中的SR方法包括两个过程：一个是离线的投影矩阵及HR字典训练过程，另一个是SR重建过程。下面就这两个过程进行详细说明。

本申请中离线的投影矩阵及HR字典训练过程具体包括：

步骤a1，从外部HR训练图像集中提取HR图像块集合。

该步骤为现有技术，例如，可以将图像块大小选取为5×5，以1个像素为步长，按照光栅扫描顺序提取外部HR训练图像集合中的所有HR图像块。

步骤b1，针对步骤a1所提取的HR图像块，训练出自适应的HR字典D。

其中，D＝[d₁,d₂,...d_M]，d_j代表字典中的第j个原子(atom)，M代表字典的大小，即字典中包括的原子数。HR字典D可以采用现有的各种训练方式，例如采用K-SVD算法。

步骤c1，为HR字典D中的每一个原子，在步骤a1所提取的HR图像块中找到该原子的K个近邻，组成近邻矩阵N_j，并计算HR空间到HR空间的投影矩阵。

为避免外部训练图像与处理图像之间的相似程度对SR性能的影响，本申请中训练投影矩阵时，不再采用现有技术中LR空间到HR空间的投影矩阵，而是每个训练图像块x_i所在的HR空间到该HR空间本身的投影矩阵。

为了更好地表述投影矩阵的计算过程，首先，介绍一下利用协作表达方法建立的最优化问题。

针对第i个HR训练图像块x_i，可以在HR字典D上进行搜索，找到与其最相似的原子d_j；接下来，根据d_j的下标j找到对应的近邻矩阵N_j，建立如下采用近邻矩阵N_j进行协作表达的最优化问题：

其中，w_i是协作表达系数，λ是权重系数，表示取F范数的平方，表示取2范数的平方。通过求解公式(1)，得到协作表达系数如下：

将w_i与N_j相乘，即可得到第i个HR训练图像块x_i的近似值。因此，计算HR空间到HR空间的投影矩阵如下：

步骤d1，将计算得到的所有投影矩阵构成集合{P_j}，并将集合{P_j}和HR字典D保存或输出，以便于在SR重建过程中使用。上述过程仅在HR空间训练投影矩阵集合{P_j}，由此克服了对降质模型的依赖，在进行一次离线训练后，投影矩阵集合{P_j}可适用于所有降质模型。

至此，完成了本申请中的离线的投影矩阵及HR字典训练过程。

在通过上述流程得到投影矩阵和HR字典后，采用如下流程进行SR重建，过程具体包括：

步骤a2，对LR图像Y，生成初始HR图像X，并将初始HR图像作为最近一次重建的HR图像X'。

可以采用现有的方式生成初始HR图像，例如采用传统双三次插值的方式等。

步骤b2，在最近一次重建的HR图像X'上，为每个图像块的相似图像块集合分配加权系数，并计算每个HR图像块的预测值E_i。

其中，相似图形块集是由与任一图像块最相似的N个图像块构成的，N为预设的正整数。具体进行加权系数分配可以采用各种方式进行，例如，采用非局部均值方法，非局部均值方法是现有方法，例如，以最近一次重建的HR图像中第i个图像块为中心，在周围20×20的搜索窗范围内寻找10个最相似图像块，并为第q个相似图像块x_i,q分配加权系数ω_i,q如下：

其中，h是控制参数，W是归一化因子，计算如下：

随后，采用如下公式计算预测结果E_i：

步骤c2，依照计算得到的预测值集合{E_i}、给定的LR图像Y、离线训练得到的投影矩阵集合{P_j}及HR字典D计算得到当前次迭代重建的HR图像X。

首先，介绍一下联合应用图像内非局部结构信息以及外部HR信息建立的最优化问题。对每个待重建的HR图像块x_i，将最近一次重建HR图像X'中对应x_i的结果与HR字典D中的每个原子进行比较，找到最相似原子d_j，将对应的投影矩阵P_j用于建立如下最优化问题：

其中，S代表下采样操作，H代表模糊算子，R_i是第i个图像块的提取算子，α是权重系数。

由公式(7)可知，在约束项中同时应用了外部HR信息以及图像内部结构特性，由此可以降低外部图像与当前处理图像之间的相似性对SR方法性能的影响。公式(7)具有如下闭式解：

步骤d2，若迭代次数小于迭代上限，则将最近一次重建的HR图像X'设置为当前次迭代重建的HR图像X，并回到步骤b2，否则进入步骤e2。通过迭代进行步骤b2及步骤c2，可以逐步提升预测值集合{E_i}的准确性，并由此逐步提升重建HR图像的质量。

步骤e2，将最后一次重建得到的HR图像X进行保存或输出。

至此，完成了本申请中的SR重建过程。

由上述本申请中SR方法的具体实现可见，本申请中的SR方法的最基本流程包括：

a、利用待处理的低分辨率LR图像Y，生成初始HR图像X₀，并将其作为最近一次重建的HR图像X'；

b、在最近一次重建的HR图像X'上，为每个HR图像块x_i的相似图像块集合分配加权系数，并计算每个HR图像块x_i的预测值E_i；

c、计算当前次迭代重建的HR图像X，其中，

d、当迭代次数未达到迭代上限时，返回步骤b，并将最近一次重建的HR图像X'设置为所述当前次迭代重建的HR图像X，否则，将所述当前次迭代重建的HR图像X作为超分辨率结果。

下面通过具体实施例说明本申请的具体实现。

图1为本申请所采用的离线的投影矩阵及HR字典训练过程流程图。如图1所示，该方法包括以下步骤：

步骤100：从外部HR训练图像集中提取HR图像块集合。

本步骤的处理与前述离线训练过程的步骤a相同，这里就不再赘述。在本实例中，在公开发布的训练图像集Yang91上采集总共5000000个HR图像块。

步骤101：采用传统K-SVD方法训练HR字典D。

本步骤的处理与前述离线训练过程的步骤b相同，这里就不再赘述。在本实例中，选取字典D中原子的总数M为1024。

步骤102：设置j＝1。

这里，j代表HR字典D中原子的序号，初始值为1。

步骤103：为第j个字典原子找到K个近邻。

这里，K代表近邻数，每个近邻是所提取的一个HR图像块。在本实例中，选取近邻数为2048。

步骤104：为第j个字典原子计算投影矩阵P_j。

这里，投影矩阵P_j采用公式(3)计算。在本实例中，公式(3)中的权重系数λ选取经验值为0.9。

步骤105：判断字典D中的M个原子是否循环完毕，若完毕，则进入步骤106；否则将j自加返回步骤103。

步骤106：保存或输出投影矩阵集合{P_j}及HR字典D。

至此，即完成了本实施例中的离线的投影矩阵及HR字典训练过程。

图2为本申请所采用的SR重建过程流程图。如图2所示，该方法包括以下步骤：

步骤100：采用传统方法插值得到初始HR图像，并将其作为最近一次重建的HR图像。

在本发明实例中，采用传统双三次插值方法计算初始HR图像。

步骤101：设置t＝1。

这里，t代表迭代重建HR图像X的次数，初始值为1。

步骤102：采用最近一次重建的HR图像来计算加权系数集合{ω_i,q}。

这里，采用公式(4)计算加权系数ω_i,q。在本实例中，选取控制参数h的经验值为75。

步骤103：根据最近一次重建的HR图像及{ω_i,q}计算预测图像块集合{E_i}。

这里，采用公式(6)计算预测图像块E_i。在本实例中，选取相似图像块的个数为10。

步骤104：为最近一次重建的HR图像中的每个图像块找到最匹配的投影矩阵P_j。

这里，对最近一次重建的HR图像中的每个图像块，分别将其与前述离线训练过程得到的HR字典D中的每个原子进行比较，找到最相似的原子d_j，由此根据下标j找到投影矩阵P_j。

步骤105：采用LR图像Y及每个HR图像块对应的E_i和P_j对HR图像X进行重建。

这里，根据公式(8)计算得到重建的HR图像X。在本实例中，选取权重系数α经验值为0.005。

步骤106：判断循环次数t是否已达到上限T，是则进入步骤107；否则将t自加，并将最近一次重建的HR图像设置为步骤105计算得到的HR图像X，返回步骤102。

在本实例中，选取循环次数上限T为200。

步骤107：保存或输出重建的HR图像X。

至此，即完成了本实施例中的SR重建过程。

为说明本申请重建方法的性能，在Matlab平台中进行仿真，分别采用图1所述实施例中的方法进行训练、采用图2所述实施例中的方法进行SR重建，与现有的Zeyde、ANR、A+、SRCNN以及NCSR方法进行比较。采用的测试图像包括Butterfly、Parrots、Bike、Flower、Leaves、Plants，大小均为256×256。对于上述图像，选取7×7大小、标准差为1.6的高斯滤波器作为模糊算子，并采用3倍下采样生成LR图像。

表1展示了在3倍放大倍数下，6个测试图像的SR结果峰值信噪比(Peak Signal toNoise Ratio,PSNR)比较。从表1的结果可知，本发明方法效果明显好于已有的SR方法，特别是对于Butterfly图像，与第二好的算法NCSR相比，本发明方法的PSNR增益超过1dB。

图3a～图3f给出了Zeyde、ANR、A+、SRCNN、NCSR以及本发明方法在3倍放大倍数下的主观质量比较。从图3a、3b、3c、3d、3e中可以看出，采用已有的5种方法得到的结果细节丢失相对明显，且不同程度地出现了振铃、混叠等假象；从图3f可以看出，采用本实施例中的方法，有明显的主观质量提升，边缘和细节信息更为清晰。

表1.不同单图像超分辨率算法在3倍放大情况下的PSNR比较(dB)

总之，采用本申请所述的方法，能够有效结合现有的基于学习的方法以及基于重建的方法的优点，通过同时应用外部HR信息以及图像内部结构特性，克服传统SR方法的不足，从而大幅度提升SR结果质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (3)

1.一种单图像的超分辨率方法，其特征在于，包括：

a、利用待处理的低分辨率LR图像Y，生成初始HR图像X₀，并将其作为最近一次重建的HR图像X'；

b、在所述最近一次重建的HR图像X'上，为每个HR图像块x_i的相似图像块集合分配加权系数，并计算每个HR图像块x_i的预测值E_i；其中，所述相似图像块集合由所述HR图像块x_i最相似的N个图像块构成，N为预先设定的正整数；

c、计算当前次迭代重建的HR图像X，其中，

S代表下采样操作H代表模糊算子，R_i是第i个HR图像块x_i的提取算子，α是权重系数，P_j为所述预先利用高分辨率HR训练图像集训练得到的HR字典D中与所述最近一次重建的HR图像中的HR图像块x_i最相似的原子d_j对应的投影矩阵，所述投影矩阵为所述图像块x_i所在的HR空间投影到该HR空间本身的投影矩阵；

d、当迭代次数未达到迭代上限时，返回步骤b，并将最近一次重建的HR图像X'设置为所述当前次迭代重建的HR图像X，否则，将所述当前次迭代重建的HR图像X作为超分辨率结果。

2.根据权利要求1所述的方法，其特征在于，在所述步骤a前，该方法包括：

预先针对所述HR训练图像集中提取的HR图像块，训练得到所述HR字典D；

为所述HR字典D中的每一个原子，在所述提取的图像块中找到该原子的K个近邻，组成近邻矩阵N_j，并计算HR空间投影到HR空间的投影矩阵其中，λ是权重系数；

将计算得到的所有投影矩阵构成投影矩阵集合，并与所述HR字典D用于所述步骤c。

3.根据权利要求1所述的方法，其特征在于，所述计算当前次迭代重建的HR图像X包括：

对应每个待重建的HR图像块x_i，将所述最近一次重建的HR图像X'中的结果与HR字典D中的每个原子进行比较，找到最相似原子d_j；

利用所述最相似原子d_j对应的投影矩阵计算所述当前次迭代重建的HR图像X。