CN104123707B - 一种基于局部秩先验的单幅图像超分辨率重建方法 - Google Patents

Abstract

本发明是一种基于局部秩先验的单幅图像超分辨率重建方法。其核心是通过学习方法得到高分辨率图像的局部秩先验信息，利用这种先验信息，通过能量最小函数，约束待重建高分辨率图像的局部秩。然后将这种能量最小函数转化为局部秩约束的重建模型。考虑到图像的非局部特性，提出一种全局与非局部结合的优化模型。为了得到更好的非局部权值，还提出一种基于局部秩的优化的权值计算方法。本发明所提出的重建模型不仅能够很好的重建具有较多细节的高分辨率图像，而且能够减少重建图像的瑕疵以及锐化图像的边缘。

Description

一种基于局部秩先验的单幅图像超分辨率重建方法

技术领域

本发明属于计算机图像处理技术领域，涉及一种单幅图像的超分辨率重建方法。

背景技术

在获取视觉图像过程中，有许多因素造成了图像的质量下降。其中影响因素包括:系统的像差、散焦、空气的扰动和噪声的存在。所以在很多数字图像应用中，人们期望得到具有高分辨率的图像。图像超分辨率是指由一幅低分辨率图像或图像序列恢复出高分辨率图像。在计算机视觉、卫星遥感、天文学、生物医学成像、民用安防等多个领域都有广泛的应用。提高图像分辨率有两种方式：改善硬件条件和进行图像处理。如果从改善硬件设施方面着手，我们可以做两方面工作：一、改进成像器件的物理特性。但该做法的缺陷在于：增大芯片面积会导致电荷转移速率下降，缩小像元尺寸将会使得单位像元受光量减少、从而加大成像单元受散粒噪声的影响，进而导致成像图像的质量急剧下降。二、增大光学镜头的孔径和焦距，但是在日常的使用中，无论是处于成本价格，或是装置的简易性来考虑，都几乎不会考虑这种方式来改善图像分辨率。相比之下通过数字图像处理技术来提高图像分辨率的超分辨率技术就显得更加经济实用。目前国内外学者针对单幅图像超分辨率重建这一逆问题，提出了许多重建算法，主要可分为三个范畴：基于插值的方法、基于重建的方法和基于学习的方法。基于插值和重建的方法会在图像重建过程中产生振铃、块效应以及图像过度平滑现象，并且在放大倍数较大情况下重构出的图像质量下降较严重。Freeman等提出了在马尔科夫网络下的基于例子学习的方法。而后，Chang等提出了基于邻域嵌入的方法。Yang等对此进行扩展，提出了基于稀疏表示的单幅图像超分辨率重建算法。这种方法首先对训练图像库做块的采样处理，然后用采样得到的图像块训练相应的高分辨率和低分辨率字典，最后用所得到的高低分辨率字典重建高分辨率图像。一些改进的基于稀疏表示的方法也在此之后相继提出。

但是，基于稀疏表示方法的效果对用于字典训练的图像库的要求很高。如果选取的训练图像库不好，则重建的高分辨率图像就会存在瑕疵，而且边缘和细节也不锐化和突出。所以，为了提高基于稀疏表示的单幅图像超分辨率重建算法的性能，需要引入一些新的图像先验知识。

发明内容

本发明的目的是提出一种基于局部秩先验的单幅图像超分辨率重建方法，在图像超分辨率重建过程中，引入局部秩先验，能够有效解决基于稀疏表示的单幅图像超分辨率重建技术存在的缺陷，恢复更多的图像细节信息，减少重建瑕疵以及锐化边缘。

本发明是在基于稀疏表示的单幅图像超分辨率重建方法的基础上，提出一种局部秩先验，通过将这种局部秩先验约束引入到图像重建过程中，有效重建较好质量的高分辨率图像。实现步骤如下：

(1)图像的局部秩变换(LRT)的定义为：对于图像中某个像素，在它的邻域中比它的像素值小的图像像素的个数。根据此原理，利用局部秩变换，将所得到的高低图像训练图像块分为两类：和然后分别求取每个类的类中心，并对每一类分别训练，得到相应的字典；

(2)利用训练得到的字典，求得高分辨率图像的局部秩先验；

(3)提出能量最小化函数，约束高分辨率图像的局部秩；若待重建的低分辨率图像块属于类则提出的能量最小函数为：若待重建的低分辨率图像块属于类则提出的能量最小函数为：

(4)将(3)中能量最小化函数转化为约束优化问题，求得初始高分辨率图像；

(5)对(4)中求得的初始高分辨率图像做全局和改进权值的非局部约束，得到最终的高分辨率图像。在计算图像的非局部权值时，为了使得离目标块不远也不近的块有较好的权值，提出一种优化的基于局部秩的权值计算方法。

本发明通过学习高分辨率图像的局部秩先验知识，建立一种局部秩能量最小函数，并将这种能量最小函数和基于稀疏表示的重建方法相结合，提出一种局部秩约束的重建模型。考虑到图像非局部特征，为了得到更好的非局部权值，提出一种优化的权值计算方法。本发明所提出的重建模型不仅能够很好的重建高分辨率图像，而且能够减少重建图像的瑕疵以及锐化图像的边缘。

附图说明

图1：本发明方法的实现框图；

图2：本发明方法所用到的部分训练图像(来自于BSDS300高分辨图像库)；

图3：本发明方法所用到的测试图像:(a)是高分辨率测试图像“window”；(b)是高分辨率测试图像“leaves”；

图4：本发明方法针对局部秩先验相对其他方法对测试图像window所改善的效果图：(a)是低分辨率图像；(b)是传统稀疏表示重建的图像(PSNR＝28.08,SSIM＝0.8000)；(c)只引入正局部秩变换的先验重建图像(PSNR＝28.19,SSIM＝0.8065)；(d)只引入负局部秩变换的先验重建图像(PSNR＝28.17,SSIM＝0.8037)；(e)同时引入正局部秩变换的先验和负局部秩变换的先验重建图像(PSNR＝28.27,SSIM＝0.8095)；(f)高分辨率图像。

图5：本发明方法和其他各种方法对测试图像leaves的重建结果。

具体实施方式

以下结合附图和实施例对本发明做进一步详细说明：

图1为本发明方法的实现框图，该方法主要由以下步骤构成：

步骤1：对训练库高分辨率图像做模糊降采样，生成对应的低分辨率图像，同时对高分辨率图像做局部秩变换，然后，对所有训练库图像做分块处理。

首先，从通用的BSDS300高分辨图像库(全名：The Berkeley Segmentation DataSet 300。来自于：Berkeley University of California。用途：被用于图像分割，识别，分类，以及图像重建的训练库和测试库。链接：http://www.eecs.berkeley.edu/Research/ Projects/CS/vision/grouping/)中随机选取70幅高分辨率图像作为训练图像。利用退化模型(1)生成对应的低分辨率图像：

Y＝UBX (1)

式中，X表示高分辨率图像，Y表示对应的低分辨率图像，U表示下采样算子,B表示模糊算子。

其次，对高分辨率训练图像做局部秩变换，生成对应的正局部秩变换图像LRT_δ(X)和负局部秩变换图像LRT_-δ(X)。

最后，分别对低分辨率图像Y，高分辨率图像X，正局部秩变换图像LRT_δ(X)和负局部秩变换图像LRT_-δ(X)进行7×7的分块处理，得到相应的图像块： 和

步骤2：对步骤1得到的图像块进行分类

对步骤1中的训练图像块：和按照是否为零，将对应的块和分类。若不为零，则将相应的块分到类若为零，则将相应的块分到类其中n₁+n₂＝n。

步骤3：对步骤2中分好类的图像块进行联合字典训练

对于类，我们用公式(2)求得相应的字典：

式中，是P_δ类的高分辨率字典，D_δ是P_δ类的正LRT_δ字典,是P_δ类的负LRT_-δ字典,D_l是P_δ类的低分辨率字典,是稀疏表示系数，τ₁控制稀疏度，F是指F范数，n₁是P_δ类的样本数量。

对于类，用公式(3)求得相应的字典：

式中，D_h是P_-δ类的高分辨率字典，D_-δP_-δ是类的负LRT_-δ字典,是P_-δ类的低分辨率字典,是稀疏表示系数，τ₂控制稀疏度，n₂是P_-δ类的样本数量。

步骤4：重建低分辨率图像，得到初始的高分辨率图像

对于低分辨率图像Y，首先取7×7的块，然后计算此块与类P_δ和类P_-δ的距离，若此图像块属于类P_-δ，则根据公式(4)得到高分辨率图像的负局部秩为：

式中，R_-δ是重建的高分辨率图像的负局部秩，是对应的稀疏表示系数。

为了使得重建的高分辨率图像块的负局部秩和重建的负局部秩R_-δ相接近，提出公式(5)所示的能量最小函数，使得重建的高分辨率图像块的负局部秩和重建的负局部秩R_-δ相接近：

式中，是重建的高分辨率图像块。

传统的基于稀疏表示的超分辨率重建，其高分辨率图像块按公式(6)重建：

我们将公式(5)能量最小函数和公式(6)结合，形成基于负局部秩约束的最小优化函数：

式中，γ₁控制LRT_-δ项。

同理，如果低分辨率图像块属于类P_δ，提出如下的能量最小化函数：

式中，高分辨率图像块的正局部秩为高分辨率图像块的负局部秩为 是P_δ类对应的稀疏表示系数。

将此能量最小函数转化为约束优化问题，得到如下的重建公式：

式中，γ₂,γ₃分别控制LRT_δ和LRT_-δ项。

将所有的重建的高分辨率图像块合并，得到初始的高分辨率图像X₀。

步骤5：利用全局和非局部约束，得到最终的高分辨率图像

将步骤4得到的高分辨率图像做全局和非局部约束，得到最终的高分辨率图像：

式中，X^*是最终重建的高分辨率图像，W是非局部约束的权值矩阵，μ和β是正则化参数，U,B分别是图像的下采样和模糊操作。

在计算图像的非局部约束的权值时，为了使得离目标块不远也不近的块有较好的权值，提出如下的权值计算方法：

式中，N(Xⁱ)目标图像块，N(X^j)是搜索窗中的相似块，h₁和h₂是均衡参数，Z(i)是归一化算子，其计算按公式(12)进行：

从以上的过程描述可见，发明方法在传统基于稀疏表示的超分辨率重建方法的基础上，引入局部秩先验，能够明显的改善重建效果，克服传统方法对训练字典用的图像库的过度依赖。

实施例：本发明方法的计算机仿真分析

图4为本发明方法所引入的不同的局部秩先验与传统方法(都不采用后处理)的试验效果对比图。(a)是低分辨率图像；(b)是传统稀疏表示重建的图像；(c)是只引入正局部秩变换的先验重建图像；(d)是只引入负局部秩变换的先验重建图像；(e)是同时引入正局部秩变换的先验和负局部秩变换的先验重建图像；(f)是高分辨率图像。我们可以看到本方法的重建效果((c)、(d)、(e))明显的对边缘有锐化的作用，而且图像更清晰。在客观上，所提出的方法对应于(c)图在PSNR上提高0.11dB，在SSIM上提高0.065；对应于(d)图在PSNR上提高0.09dB，在SSIM上提高0.037；对应于(e)图在PSNR上提高0.19dB，在SSIM上提高0.095。

图5为本发明方法与其它超分辨率重建方法的重建效果对比图。(a)是低分辨率图像；(b)是双三次插值的图像；(c)是邻域嵌入方法重建的图像；(d)是传统稀疏表示重建的图像；(e)是Zeyde等的方法重建的图像；(f)是同时引入正局部秩变换的先验和负局部秩变换的先验重建图像；(g)是所提出的方法重建的图像；(h)是原始高分辨率图像。从图中可以看到，利用双三次插值方法的结果对边缘有模糊的作用；邻域嵌入方法产生振铃效应，而且重建的图像不真实，传统的基于稀疏编码的方法重建结果过于平滑，细节信息缺失，图像边缘较模糊；Zeyde等的方法则产生振铃效应，图像也较模糊；本方法不仅能够重建具有较多细节的高分辨率图像，而且边缘也较锐化。

Claims (3)

1.一种基于局部秩先验的单幅图像超分辨率重建方法，该方法包括以下步骤：

步骤1，根据局部秩变换的原理，利用局部秩变换，将所得到的高分辨率训练图像块和低分辨率训练图像块分为两类：和然后分别求取每个类的类中心，并利用稀疏编码对每一类分别训练，得到相应的字典；其中为低分辨率训练图像块，为高分辨率训练图像块，为正局部秩变换图像块，为负局部秩变换图像块,n₁,n₂分别为P_δ和P_-δ类的训练样本数量；

步骤2，利用训练得到的字典，求得高分辨率图像的局部秩先验；

步骤3，提出能量最小化函数，约束高分辨率图像的局部秩；若待重建的低分辨率图像块属于类则提出的能量最小函数为：若待重建的低分辨率图像块属于类则提出的能量最小函数为：其中，R_-δ是重建的高分辨率图像的负局部秩，是重建的高分辨率图像块，表示对图像块 进行正局部秩变换，表示对图像块 进行负局部秩变换，E₁(),E₂(),E₃()为能量函数；

步骤4，将步骤3中能量最小化函数转化为约束优化问题，求得初始高分辨率图像；

步骤5，对步骤4中求得的初始高分辨率图像做全局和改进权值的非局部约束，得到最终的高分辨率图像；其中在计算图像的非局部权值时，采用优化的基于局部秩的权值计算方法；

在步骤1中，利用局部秩变换，将所得到的高分辨率训练图像块和低分辨率训练图像块分为两类：和此过程如下：

首先，从通用的BSDS300高分辨图像库中随机选取70幅高分辨率图像作为训练图像，利用退化模型(1)生成对应的低分辨率图像：

Y＝UBX (1)

式中，X表示高分辨率图像，Y表示对应的低分辨率图像，U表示下采样算子,B表示模糊算子；

其次，对训练图像做局部秩变换，生成对应的正局部秩变换图像LRT_δ(X)和负局部秩变换图像LRT_-δ(X)；

最后，分别对低分辨率图像Y，高分辨率图像X，正局部秩变换图像LRT_δ(X)和负局部秩变换图像LRT_-δ(X)进行分块处理，选取7×7块，得到相应的图像块： 和对这些训练图像块按照是否为零，将对应的块和分类；若不为零，则将相应的块分到类若为零，则将相应的块分到类其中n₁+n₂＝n，n为总的训练样本数量；

所述步骤5中的非局部约束的权值计算过程如下：

在计算图像的非局部约束的权值时，采用优化权值计算方法：

式中，N(Xⁱ)为目标图像块，N(X^j)是搜索窗中的相似块，h₁和h₂是均衡参数，Z(i)是归一化算子，按公式(8)计算：

2.根据权利要求1所述的基于局部秩先验的单幅图像超分辨率重建方法，其特征在于所述步骤2中高分辨率图像的局部秩先验的学习过程如下：

对于低分辨率图像Y，根据所述的7×7块，选取与其大小相同的7×7块图像块，然后计算此图像块与类P_δ和类P_-δ的距离，若此图像块属于类P_-δ，则根据公式(2)得到高分辨率图像块的负局部秩为：

式中，D_-δ是类P_-δ的负LRT_-δ字典，是类P_-δ对应的稀疏表示系数；

如果低分辨率图像块属于类P_δ，则根据公式(3)和(4)得到高分辨率图像块的正局部秩和负局部秩分别为：

和

式中，R_δ是重建的高分辨率图像的正局部秩，D_δ是类P_δ的正LRT_-δ字典，是类P_δ的负LRT_-δ字典，是类P_δ对应的稀疏表示系数。

3.根据权利要求2所述的基于局部秩先验的单幅图像超分辨率重建方法，其特征在于所述步骤4中将能量最小化函数转化为约束优化问题，求得初始高分辨率图像，过程如下：

在重建高分辨率图像块的过程中，若待重建的图像块属于类P_-δ，形成约束优化函数：

式中，是类P_-δ的高分辨率字典，γ₁控制LRT_-δ项；

若待重建图像块属于类P_δ，形成约束优化函数：

式中，是类P_δ的高分辨率字典，γ₂,γ₃分别控制LRT_δ和LRT_-δ项。