CN109741258A

CN109741258A - 基于重建的图像超分辨率方法

Info

Publication number: CN109741258A
Application number: CN201811590038.3A
Authority: CN
Inventors: 常侃; 张学雨; 唐振华; 覃团发
Original assignee: Guangxi University
Current assignee: Guangxi University
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2019-05-10
Anticipated expiration: 2038-12-25
Also published as: CN109741258B

Abstract

本申请公开了一种基于重建的图像超分辨率方法，包括：a、对低分辨率LR图像Y，生成初始HR图像X₀，并将初始HR图像作为最近一次重建的HR图像X'；b、在最近一次重建的HR图像X'上，为每个图像块计算引导核，并由此建立相应的同质像素提取矩阵；在最近一次重建的HR图像X'上，为每个图像块利用同质像素提取矩阵进行自适应形状的块匹配，并计算第i个图像块的相似图像块组的预测值；采用最近一次重建的HR图像X'以及预先训练好的去噪器计算HR图像的梯度预测值；e、确定当前次重建的HR图像X，若未达到迭代次数上限，则将当前次重建的HR图像X作为最近一次重建的HR图像X'返回到步骤b，否则，将当前次重建的HR图像X进行保存或输出。应用本申请，能够提高超分辨率的性能。

Description

基于重建的图像超分辨率方法

技术领域

本申请涉及图像处理技术，特别涉及图像处理技术中一种基于重建的图像超分辨率方法。

背景技术

图像超分辨(Super Resolution,SR)技术的任务是从给定的低分辨率(LowResolution,LR)图像中恢复出高分辨率(High Resolution,HR)图像，具备较高的实用价值和广阔的应用前景。

已有的图像SR方法可以大致分为两类：一类是基于学习的方法，另一类是基于重建的方法。在基于学习的方法中，通常需要从给定的外部HR数据集中学习LR与HR空间的映射关系，常见的算法包括基于最近邻(Nearest Neighbor)的方法、基于稀疏表示(SparseRepresentation)的方法、基于协作表达(Collaborative Representation)的方法、基于深度学习(Deep Learning)的方法等。在基于重建的方法中，通常采用自然图像的先验知识来约束解空间。为了获取最优的SR重建结果，许多约束模型已被提出，常见的模型包括总变分(Total Variation)、非局部均值(Non-Local Means，NLM)、非局部低秩约束(Non-localLow Rank，NLR)等。

虽然已有许多SR方法被提出，但是，现有的方法均存在一定的不足，方法性能还有进一步提升的空间。

发明内容

有鉴于此，本申请的主要目的在于提供一种基于重建的图像超分辨率方法，能够克服传统方法在性能上的不足，在相同的放大倍数下可以获得质量更高的重建图像。

为达到上述目的，本申请采用如下技术方案：

一种基于重建的图像超分辨率方法，包括：

a、对LR图像Y，生成初始HR图像X₀，并将初始HR图像作为最近一次重建的HR图像X'；

b、在最近一次重建的HR图像X'上，为每个图像块计算引导核；对于每个图像块，将引导核系数大于预设门限值T_h的像素点作为该图像块中心像素点的同质像素点，并根据该图像块的所有所述同质像素点建立相应图像块的同质像素提取矩阵F_i；

在最近一次重建的HR图像X'上，对于每个图像块，利用该图像块的所有所述同质像素点进行自适应形状的块匹配，找到与该图像块最相似的N-1个图像块，并与该图像块构成相似图像块组，计算所述相似图像块组的预测值E_i＝[e_i,1,e_i,2,...e_i,N]；其中，N是预设的正整数，代表每个图像组中的图像块的数目，i表示图像X'上的图像块索引，x_i,n表示第i个图像块的相似图像块组中的第n个图像块；

采用最近一次重建的HR图像X'以及预先基于学习的方法训练好的去噪器，计算所述HR图像X'的梯度预测值G；

c、根据所有图像块的所述同质像素点提取矩阵集合{F_i}、所有图像块的相似图像块组预测值的集合{E_i}、所述HR图像X'的梯度预测值G以及所述LR图像Y，通过求解确定当前次重建的HR图像X；其中，H是模糊算子，S是下采样矩阵，D是梯度算子，R_i是第i个图像块的相似图像块组的提取算子；||·||₂代表计算向量的L2范数，||·||_*代表计算矩阵的核范数；β和γ是预设的第一、第二权衡因子；

d、若当前迭代次数已达到预设的上限T，则将所述当前次重建的HR图像X作为高分辨率结果图像保存或输出，否则将所述当前次重建的HR图像X作为所述最近一次重建的HR图像X'回到步骤b。

较佳地，所述通过求解确定当前次重建的HR图像X包括：通过求解确定所述确定当前次重建的HR图像X；其中，α是预设的第三权衡因子，b_i是根据Bregman迭代方法进行更新的迭代中间变量，d_i是第i个图像块的相似图像块组对应的近似变量，近似于F_i(R_iX-E_i)。

较佳地，所述通过求解确定所述当前次重建的HR图像X包括：

通过交替求解第i个图像块的相似图像组对应的近似变量d_i子问题重建HR图像的X子问题计算所述当前次重建的HR图像X。

较佳地，所述计算当前次重建的HR图像X包括：

对所述近似变量d_i进行第k次更新，得到其中，U_i、Λ_i和V_i分别是的计算结果的奇异值分解后得到的左正交基、对角矩阵、右正交基，k为迭代次数；shrink(·)是收缩算子；在第一次迭代时，

对HR重建图像X进行第k次更新，得到

对迭代中间变量b_i进行第k次更新，得到

较佳地，采用梯度下降法计算

较佳地，采用基于CNN的去噪器计算所述梯度预测值G。

较佳地，选取α＝0.005，β＝0.0006，γ＝4.25，T_h＝0.006。

较佳地，所述上限T设置为150次。

由上述技术方案可见，在SR重建过程中，a、生成初始HR图像；b、在最近一次重建的HR图像X'上，计算引导核和同质像素提取矩阵，进行自适应形状的块匹配并计算每个图像块组的预测值，采用预先通过基于学习的方法训练好的去噪器计算梯度预测值；c、通过求解确定当前次重建的HR图像X，并将其作为最近一次重建的HR图像X'返回b，直到达到预设的循环终止条件，将当前次重建的HR图像X进行保存或输出。通过上述方式，利用自适应形状的块匹配能够有效地应用图像中的非局部自相似性，并通过基于学习的方法训练的去噪器引入了外部先验信息，由此克服传统SR方法的不足。

附图说明

图1a为某图像块中心像素点的同质像素点集合示意图；

图1b为根据图1a中的图像块确定出的另一图像块的同质像素区域示意图；

图2为本申请所采用的SR重建过程流程图；

图3a为采用Bicubic方法得到的3倍放大下的HR图像；

图3b为采用A+方法得到的3倍放大下的HR图像；

图3c为采用SRCNN方法得到的3倍放大下的HR图像；

图3d为采用NCSR方法得到的3倍放大下的HR图像；

图3e为采用IRCNN方法得到的3倍放大下的HR图像；

图3f为采用本申请方法得到的3倍放大下的HR图像。

具体实施方式

为了使本申请的目的、技术手段和优点更加清楚明白，以下结合附图对本申请做进一步详细说明。

首先分析背景技术中图像SR方法存在的问题及其原因。一方面，在现有的基于重建的图像SR方法中，没能有效利用外部HR先验信息，因此不能很好地恢复出图像细节；另一方面，在传统的NLR约束方法中，基于固定的正方形图像块进行块匹配，并且是直接在图像块组上强调低秩特征，没能有效地应用图像中的非局部自相似性。

基于上述对现有图像SR方法性能缺陷的原因分析，本发明提出一种全新的基于重建的图像SR方法，能够有效地应用图像中的非局部自相似性，并引入了外部先验信息，由此克服传统SR方法的不足。具体地，本申请提出的SR方法中，一方面，通过结合现有的引导核方法，提升现有的NLR约束方法的准确性；另一方面，通过使用现有的基于学习的去噪器来引入外部先验知识，并将其与改进的NLR约束结合，从而获取高质量的重建结果。采用本申请中的SR方法进行重建，过程具体包括：

步骤a，对LR图像Y，生成初始HR图像X₀，并将初始HR图像作为最近一次重建的HR图像X'。

可以采用现有的方式生成初始HR图像，例如采用传统双三次插值的方式等。

步骤b，在最近一次重建的HR图像X'上，为每个图像块计算引导核，并建立相应的同质像素提取矩阵F_i。

其中，在HR图像X'上划分图像块，具体划分方式与现有相同。引导核是现有方法，通过计算，得到如下第i个图像块中第j个像素点的引导核系数值：

其中，C_i,j是一个2×2的梯度协方差矩阵，h是平滑参数，P_i和P_j分别表示第i个图像块中心点位置以及第j个像素点位置的二维坐标向量。所有引导核系数构成图像块的引导核。

对应于第i个图像块，在得到引导核系数ω_i,j后，如果ω_i,j大于预先设定的门限值T_h，则将第i个图像块中的第j个像素点视为中心像素点的同质像素点并予以保留，并根据第i个图像块保留的所有同质像素点，建立第i个图像块的同质像素点提取矩阵F_i。其中，同质像素点提取矩阵能够从第i个图像块中将所有同质像素点提取出来，具体地，第i个图像块与提取矩阵相乘后，只保留同质像素点位置上的像素值，不再包括其余像素点。

依照上述方法得到所有图像块的同质像素提取矩阵。

步骤c，在最近一次重建的HR图像X'上，为每个图像块进行自适应形状的块匹配，并计算各图像块对应的相似图像块组的预测值E_i。

对应任一图像块，利用该图像块的所有同质像素点进行自适应形状的块匹配，找到与任一图像块最相似的N-1个图像块，与该任一图像块组成相似图像块组。也就是说，块匹配处理时利用同质像素点进行匹配，不考虑除同质像素点外的其他像素点。具体地，自适应形状块匹配的方式可以包括：

对应第i个图像块A，将该图像块A的各同质像素点与当前搜索窗内其他图像块中的相同位置像素点进行比较，根据比较结果找出最相似的N-1个图像块，将图像块A及找出的最相似的N-1个图像块形成图像块组，作为图像块A的相似图像块组。

在上述处理中，将图像块A的同质像素点与其他图像块上相同位置像素点比较时，可以利用步骤b中的同质像素提取矩阵F_i进行。具体地，可以利用同质像素提取矩阵F_i在图像块A和搜索窗内的其他图像块中提取同质像素区域，并将相同位置上的像素点进行比较。其中，将利用同质像素提取矩阵F_i提取出的某图像块中的所有像素点构成的集合称为同质像素区域。举个简单的例子，如图1a和1b所示，图像块A的同质像素点包括图1a中的斜线区域，利用同质像素提取矩阵F_i从图像块B中提取出的同质像素区域包括图1b中的斜线区域，由图1可见，图像块B中提取出的各像素点与图像块A中的各像素点位置完全相同，在进行比较时，将相同位置上的像素点进行比较，并将所有像素点上的比较结果相加作为两个图像块的比较结果。其中，在对不同图像块上相同位置的像素点进行比较时，可以采用现有块匹配中两个图像块间像素点的比较方式进行，例如，直接将两个像素点取值相减再取绝对值，得到各像素点的比较结果后，再将图像块中各同质像素点的比较结果相加作为两个图像块间的比较结果。

由上述进行块匹配的比较方式可见，本申请中不再直接将两个正方形图像块中的所有像素点进行一一比较，而是选择出目标图像块的中心像素点的同质像素点，仅将同质像素点位置上的像素进行一一比较。由于每个图像块中的主体事物通常不是刚刚好的正方形，而图像块的边角也总会出现主体事物的其他邻近事物，例如图像块主体是个叶子，该图像块的边角处往往会出现树枝、花等的边缘。这种情况下，如果将两个图像块的所有像素点进行比较，并依此判断两个图像块是否相似，那么往往会由于非主体事物的区别降低两个图像块的相似度结果；本申请中的方式选取同质像素点进行相似度比较，也就是只将图像块中的主体形象进行相似度比较，由于不考虑图像块中与主体无关的内容，因此，据此判断出的图像块的相似度更加贴近实际相似度。例如，如图1a和图1b所示，假定图像块A和图像块B的中心区域是相同的，但是，图像块A的底边两个边角均为白色，而图像块B的底边两个边角均为黑色；如果将两个图像块A和图像块B的所有像素点进行比较以判断相似性，那么在二者在边角上的区别将被加入相似度判断结果中；如果采用本申请中的方式，仅将同质像素区域进行比较，那么边角上的区别就不会被加入相似度判断结果中，因此，能够提升相似度判断的准确性。

由上述分析可见，通过本申请中提供的利用同质像素点进行比较的方式得到的比较结果能够更准确地反映图像块间的相似关系，按照这种方式得到的相似图像块组中各个图像块间的相似度更高，因此，当利用矢量来表示一个图像块时，由相似图像块组中各个图像块构成的矩阵的秩就更低。这样，在进行匹配时，可以在提高比较速度的同时，更有效地应用图像中的非局部相似性。

接下来，采用如下公式计算第i个图像块的相似图像块组的预测值E_i：

E_i＝[e_i,1,e_i,2,...e_i,N] (2)

其中

其中x_i,n表示第i个图像块的相似图像块组中的第n个图像块，任意两个图像块的相加操作是指两个图像块中所有相同位置上像素点的值对应相加。

步骤d，采用最近一次重建的HR图像X'以及预先基于学习的方法训练好的去噪器计算HR图像的梯度预测值G。

为了获得准确的HR图像的梯度预测值，首先采用预先训练好的去噪器对最近一次重建的HR图像进行去噪。为了获得外部HR先验信息，这里特别采用基于学习的方法训练的去噪器。基于学习的方法训练的去噪器是已有技术，这里不再赘述。接下来，计算去噪器的输出图像的梯度值，并将该梯度值作为HR图像的梯度预测值G。

步骤e，根据前述步骤得到的同质像素点提取矩阵集合{F_i}、各图像块的相似图像块组预测值集合{E_i}、HR图像的梯度预测值G以及给定的LR图像Y计算得到当前次迭代重建的HR图像X。若当前迭代次数达到预设的迭代次数上限T，则将重建的HR图像X作为图像重建结果保存并输出；否则，将重建的HR图像X作为最后一次重建的HR图像X'回到步骤b。

首先，介绍一下联合应用图像内非局部自相似性和外部HR先验信息建立的最优化问题。具体地，最基本的最优化问题为：

其中，Y是LR图像，H是模糊算子，S是下采样矩阵，D是梯度算子，G是HR图像的梯度预测值，R_i是第i个图像块的相似图像块组的提取算子，F_i是第i个图像块的同质像素点提取矩阵，E_i是第i个图像块的相似图像块组的预测值；||·||₂代表计算向量的L2范数，||·||_*代表计算矩阵的核范数；β和γ是两个权衡因子，分别称为第一权衡因子和第二权衡因子。这里利用相似图像块组的提取算子R_i可以在HR图像X'中提取相似图像块组。

在上述最优化问题中，G是通过采用基于学习的方法预先训练好的去噪器对最近一次重建的HR图像进行处理，并对处理结果取梯度得到。因此，通过约束项引入了外部HR先验信息。另一方面，如前所述，由于采用自适应形状的块匹配，使得相似图像组中各图像块间相似度更高，因此由相似图像块组中各个图像块构成的矩阵的秩就更低，这使得由公式(4)中的约束项得出的X能够更准确地匹配原始图像，从而应用了图像内的非局部自相似性，并通过同质像素点提取矩阵F_i和图像块组的预测值E_i提升了传统NLR约束的准确性。将上述两类约束项结合，能够同时有效地应用外部HR先验信息和图像内非局部自相似性，因此图像的SR重建效果优于现有技术。

通过对上述最优化问题的求解得到当前次迭代重建的HR图像X，其中，优化问题的具体求解方式可以根据实际需要确定，本申请对此不作限定。同时，无论采用何种求解方法，确定出的X都有效利用了外部HR先验信息以及内部非局部相似性，因此，重建的HR图像均能够具备更优的图像质量。

至此，本申请中的SR方法流程结束。在上述流程的介绍中，步骤b和c顺序执行，步骤d的处理可以在步骤b和c完成之后，或者，也可以与步骤b和c的处理并行执行，或者，也可以先执行步骤d的处理，然后再顺序执行步骤b和c。

下面给出一种上述最优化问题的具体求解方式。当然，本申请的处理只需要能够求解该最优化问题，就可以实现提高SR方法准确性的目的，并不限定具体求解方式。

为了求解公式(4)，可以引入第i个图像块的相似图像块组对应的近似变量d_i，以及第i个图像块对应的迭代中间变量b_i，将公式(4)中最基本的最优化问题进一步变形为如下形式：

其中，α是新引入的第三权衡因子，b_i根据Bregman迭代方法进行更新，近似变量d_i用于近似表示F_i(R_iX-E_i)。

在利用公式(5)确定重建的HR图像X时，仍然可以采用各种可行的方法对公式(5)进行求解，本申请对于公式(5)的具体求解方式亦不做限定。

下面针对公式(5)，给出一种具体的求解方式。当然，本申请不限于该求解方式。具体地，可以将公式(5)分解成若干子问题再交替迭代进行求解。

更详细地，分别建立HR重建图像X子问题和每个图像块组的近似变量d_i子问题如下：

可以通过交替迭代求解上述两个子问题；并在每次迭代结束前，更新Bregman迭代中间变量b_i；在达到预设的最大循环次数后，迭代完成。

下面通过具体实施例说明本申请的具体实现。图2为本申请所采用的基于重建的图像超分辨率方法流程图，其中，以通过公式(6)(7)求解公式(5)为例进行说明。如图2所示，该方法包括以下步骤：

步骤200：采用传统方法插值得到初始HR图像X⁰，并将其作为最近一次重建的HR图像。

在本发明实例中，采用传统双三次插值方法计算初始HR图像。

步骤201：设置k＝1。

这里，k代表迭代重建HR图像X的次数，初始值为1。

步骤202：在最近一次重建的HR图像上，为每个图像块计算引导核，并建立相应的同质像素提取矩阵F_i。

在这里，采用公式(1)计算引导核系数ω_i,j，其中平滑参数h的取值为2.4；如果ω_i,j大于预先设定的门限值T_h，则将第i个图像块中的第j个像素点视为中心像素点的同质像素点并予以保留，并依此建立第i个图像块的同质像素点提取矩阵F_i，其中门限值T_h预设为0.06。

步骤203：在最近一次重建的HR图像上，为每个图像块进行自适应形状的块匹配，并计算第i个图像块的相似图像块组的预测值E_i。

这里，采用公式(2)和(3)计算第i个图像块的相似图像块组的预测值E_i。在本实例中，选取相似图像块的个数N为20。

步骤204，采用最近一次重建的HR图像以及预先基于学习的方法训练好的去噪器计算HR图像的梯度预测值G。

这里采用基于卷积神经网(Convolutional Neural Network,CNN)训练的去噪器。基于CNN的去噪器是已有技术，此处不再赘述。将CNN去噪器对最近一次重建的HR图像进行处理，并提取输出结果的梯度值，由此得到HR图像的梯度预测值G。

步骤205，进行每个图像块组的近似变量d_i的第k次更新。

通过求解公式(7)，得到近似变量d_i的第k次更新计算公式如下：

其中，U_i、Λ_i和V_i分别是的计算结果的奇异值分解后得到的左正交基、对角矩阵、右正交基；shrink(·)是收缩算子，为现有技术，在此不再赘述。在第一次迭代，也即k＝1时，中间变量b_i的取值为0，在本实例中，选取经验值γ为4.25。

步骤206，进行重建的HR图像X的第k次更新。

通过求解公式(6)，得到近似变量X的第k次更新的计算公式如下：

在计算时，需要进行矩阵求逆，为了降低复杂度，优选地，可以采用梯度下降法计算公式(9)。梯度下降法是现有技术，在此不再赘述。在本实例中，选取α＝0.005，β＝0.0006。

步骤207，进行中间变量b_i的第k次更新。

中间变量b_i的第k次更新方法如下：

步骤208：判断迭代次数k是否已达到上限T，若是，则进入步骤209；否则将k自加，并将最近一次重建的HR图像设置为步骤206计算得到的HR图像X，返回步骤202。

在本实例中，选取迭代次数上限T为150。

步骤209：保存或输出当前重建的HR图像X。

至此，即完成了本实施例中的SR重建过程。

为说明本申请重建方法的性能，在Matlab平台中进行仿真，采用图2所述实施例中的方法进行SR重建，与现有的Bicubic、A+、SRCNN、IRCNN、NCSR方法进行比较。采用的测试图像集合为国际上常用的Set5和Set14。对于上述图像，选取7×7大小、标准差为1.6的高斯滤波器作为模糊算子，并采用3倍及4倍下采样生成LR图像。

表1展示了在3倍、4倍放大倍数下，两个测试图像集合的SR结果的平均峰值信噪比(Peak Signal to Noise Ratio,PSNR)比较。从表1的结果可知，本申请方法效果明显好于已有的SR方法，在X3情况下的Set5和Set14上，与第二好的算法IRCNN相比，本申请方法的平均PSNR增益分别为0.59dB和0.27dB。

图3a～图3f给出了Bicubic、A+、SRCNN、IRCNN、NCSR以及本申请方法在3倍放大倍数下的主观质量比较。从图3a、3b、3c、3d、3e中可以看出，采用已有的5种方法得到的重建结果细节丢失相对明显，且不同程度地出现了失真；从图3f可以看出，采用本实施例中的方法，有明显的主观质量提升，边缘和细节信息更为清晰。

表1.不同图像超分辨率算法在3倍放大情况下的平均PSNR比较(dB)

总之，采用本申请所述的方法，能够有效地应用图像中的非局部自相似性，并通过引入外部先验信息，克服传统SR方法的不足，从而大幅度提升SR结果质量。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims

1.一种基于重建的图像超分辨率方法，特征在于，该方法包括：

2.根据权利要求1所述的方法，其特征在于，所述通过求解确定当前次重建的HR图像X包括：通过求解确定所述确定当前次重建的HR图像X；其中，α是预设的第三权衡因子，b_i是根据Bregman迭代方法进行更新的迭代中间变量，d_i是第i个图像块的相似图像块组对应的近似变量，近似于F_i(R_iX-E_i)。

3.根据权利要求2所述的方法，其特征在于，所述通过求解确定所述当前次重建的HR图像X包括：

4.根据权利要求3所述的方法，其特征在于，所述计算当前次重建的HR图像X包括：

对HR重建图像X进行第k次更新，得到

对迭代中间变量b_i进行第k次更新，得到

5.根据权利要求4所述的方法，其特征在于，采用梯度下降法计算

6.根据权利要求1所述的方法，其特征在于，采用基于CNN的去噪器计算所述梯度预测值G。

7.根据权利要求2所述的方法，其特征在于，选取α＝0.005，β＝0.0006，γ＝4.25，T_h＝0.006。

8.根据权利要求1所述的方法，其特征在于，所述上限T设置为150次。