CN103593825B - 基于改进的非局部约束和局部自相似性的图像超分辨方法 - Google Patents

Abstract

本发明公开了一种基于改进的非局部约束和局部自相似性的图像超分辨方法。其实现步骤为：(1)对低分辨率图像X作双三次插值放大和高通滤波，获得预放大图像及低、高频分量；(2)分别在预放大图像和低频分量中提取图像块；(3)对低频图像块进行K聚类，并将预放大图像块与每一类的聚类中心作比较，找到最相似的类，进而在最相似类中找到3个相似的低频图像块；(4)根据相似的低频图像块找到相对应的高频图像块，再对这些高频图像块进行非局部加权，得到重构的初步高分辨率图像；(5)将重构的高分辨率图像作为下一次的输入图像，重复步骤(1)～步骤(4)，获得最终的高分辨率图像。本发明在对图像超分辨时，能够锐化图像边缘，更好的恢复图像高频细节。

Description

基于改进的非局部约束和局部自相似性的图像超分辨方法

技术领域

本发明属于图像处理技术领域，具体的说是一种图像的分辨方法，该方法可用于对输入的低分辨率图像进行超分辨，获得高分辨率图像。

背景技术

图像超分辨技术是为了获得更准确的图像信息，而通过多种技术手段提高图像的清晰度，抑制噪声的一门学科。它是图像处理中重要而又富有挑战性的研究内容。对于图像超分辨问题，研究者已经提出了很多方法。

2008年Yang等人提出一种基于样例学习的图像超分辨重建方法，见J.Yang,J.Wright,T.Huang,andY.Ma,“Imagesuper-resolutionassparserepresentationofrawimagepatches”,inProc.IEEEConf.Comput.Vis.PatternRecognit.,2008,pp.1-8.这种方法的基本思想是从一些高分辨率图像中随机选取一些块组成一个过完备的高分辨词典D_h，再用同样的方法组成一个低分辨字典D_o，通过训练两个字典D_o和D_h，得到在低分和高分字典下的低分辨和高分辨图像块的相似稀疏表示。因此低分辨图像块的稀疏表示同高分辨字典D_h相乘可以得到高分辨图像块。该方法的缺陷就在于过完备字典的选择，随机的选择只能实现特定领域的图像的超分辨率，对于通用图像的超分辨率效果较差。

2011年Gilad提出基于局部自相似性的算法，利用迭代放大的方法对图像进行超分辨重建，并且证明了在较小的放大因子下，局部极小块与放大后图像的局部极小块存在极强的相似性。见Gilad.Freedman,RFattal,“ImageandVideoUpscalingfromLocalSelf-examples”,ACMTransactiononGraphics(TOG),april2011,30(2).其基本思想是将低分辨图像X进行较小因子的放大，获得预放大图像Y_o，同时对低分辨图像进行滤波，得到X的高频图像X_h和低频图像X_o，取预放大图像Y_o中的图像块，找到其在X_o中最相似的块，并在X_h中找到与之相应的匹配高频块，最终将查找到的高频块迭加在预放大图像块上。但该方法由于只查找一个相似高频图像块，对匹配准则的依赖性过高，容易产生误差，得到的高分辨图像边缘模糊，视觉效果不好。

发明内容

本发明的目的在于针对已有技术的不足，提出了一种基于改进的非局部约束和局部自相似性的图像超分辨方法，以在匹配时找到更多的相似高频图像块，获取更多的高频信息，得到边缘清晰，视觉效果好的高分辨图像。

实现本发明目的的技术关键是：直接从输入的低分辨图像内部寻找高频细节信息，并以输入的低分辨图像作为训练字典，不需要外部的训练图像，克服现有算法对训练字典的敏感性，且在匹配时通过找到更多的相似高频图像块，获取更多的高频信息，其具体步骤包括如下

(1)输入低分辨率图像X，并将其进行双三次插值放大，放大因子λ＝1.25，获得预放大图像Y_o；

(2)通过高通滤波器对低分辨图像X进行滤波，将其分解为高频分量X_h和低频分量X_o；

(3)利用高频分量X_h，低频分量X_o和预放大图像Y_o对输入的低分辨图像X进行超分辨重建：

3a)在低频分量X_o中提取低频图像块j＝1,...,M，M为低频图像块的数目，在预放大图像Y_o中提取预放大图像块i＝1,...,N，N为预放大图像块的数目；

3b)对提取的低频图像块进行k-means聚类，将其分成20类，得到每一类的聚类中心；

3c)用预放大图像块Y_o ⁱ中的每一个图像块与上步获得的聚类中心作比较，找到与其最为相似的那一类，并在这一类中找到与预放大图像块Y_o ⁱ最相似的3个近邻低频图像块k＝1,...,3，k为最相似的近邻块的数目；

3d)利用上步的最相似的低频图像块在高频分量X_h中找到其相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{k}{\mathrm{\Σ}}{w}_i^k*w_h^k,$

其中，为非局部加权系数；

3e)根据合成的高频图像块Y_f ⁱ和预放大图像块Y_o ⁱ，得到高分辨图像块

$Y_h^i={Y_o}^i+{Y_f}^i;$

3f)将高分辨图像块Y_h ⁱ按照排列顺序，放到相应的位置处，得到初步的高分辨图像Y_p：

$Y_p=\underset{i}{\mathrm{\Σ}}{Y}_h^i;$

(4)将步骤3获得的初步高分辨图像Y_p作为步骤1的输入图像X，迭代重复步骤1～步骤3，直至达到预期设定的放大倍数m，获得最终的超分辨图像Y_h。

本发明与现有的技术相比具有以下优点：

本发明用k-means算法对提取的低频图像块进行聚类，得到多块与预放大图像块相似的图像块，解决了只查找一个相似块，对匹配准则依赖性高的难题；

本发明利用非局部约束对得到的相似块进行加权重构，能够锐化图像边缘，且能够恢复更多的图像细节；

附图说明

图1是本发明的实现流程图；

图2是本发明与现有的两种方法在仿真实验中应用的Lena高分辨率图像；

图3是本发明与现有两种方法在仿真实验中应用的Lena低分辨率图像；

图4是用现有基于样例学习法在仿真实验中得到的Lena高分辨率图像；

图5是用现有基于局部自相似性的方法在仿真实验中得到的Lena高分辨率图像。

图6是本发明在仿真实验中得到的Lena高分辨率图像；

具体实施方式

参照图1，本发明的实现步骤如下：

步骤1，输入低分辨率图像X，并对其进行插值放大。

输入如图3所示的低分辨图像X，设放大因子λ＝1.25，对该低分辨图像X进行双三次插值放大，获得预放大图像Y_o

步骤2，对低分辨图像X进行滤波。

使用高斯高通滤波器对输入的低分辨图像X进行滤波，将其分解为高频分量X_h和低频分量X_o。

步骤3，利用高频分量X_h、低频分量X_o和预放大图像Y_o，对输入的低分辨图像X进行超分辨重建。

3a)在低频分量X_o中提取低频图像块X_o ^j,j＝1,...,M，M为低频图像块的数目，在预放大图像Y_o中提取预放大图像块Y_o ⁱ,i＝1,...,N，N为预放大图像块的数目，其中图像块大小均为5×5，重叠块大小均为4×4；

3b)对提取的低频图像块X_o ^j进行k-means聚类，将低频图像块X_o ^j分成20类，得到每一类的聚类中心V_u,u＝1,...,20；

3c)对于预放大图像Y_o中的每一个图像块Y_o ⁱ，将其与上步得到的聚类中心V_u作比较，找到与其最为相似的那一类，即先计算预放大图像块Y_o ⁱ与每个聚类中心的均方差，再从这些均方差中找出最小值，该最小值所对应的聚类中心就是与预放大图像块Y_o ⁱ最相似的块，包含这个最相似块的类即为最相似的那一类；再在这一类中找到与预放大图像块Y_o ⁱ最相似的3个近邻低频图像块k＝1,...,3，k为最相似的近邻块的数目；

3d)利用最相似的低频图像块在高频分量X_h中找到其相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{k}{\mathrm{\Σ}}{w}_i^k*y_h^k,$

其中，为非局部加权系数：

$w_i^k=\exp (-{\left|\right|{Y_o}^{\text{i}}-y_i^k\left|\right|}^2/h)/c_i,$

其中c_i为归一化参数， $c_i=\underset{k=1}{\overset{3}{\mathrm{\Σ}}}\exp \left(-{\left|\right|{Y_o}^{\text{i}}-y_i^k\left|\right|}^2/h\right),h=100;$

3e)根据合成的高频图像块Y_f ⁱ和预放大图像块Y_o ⁱ，得到高分辨图像块

$Y_h^i={Y_o}^i+{Y_f}^i;$

3f)将高分辨图像块Y_h ⁱ按照排列顺序，放到相应的位置处，得到初步的高分辨图像Y_p：

$Y_p=\underset{i}{\mathrm{\Σ}}{Y}_h^i.$

步骤4，将步骤3获得的初步高分辨图像Y_p作为步骤1的输入图像X，迭代重复步骤1～步骤3，直至达到预期设定的放大倍数m，其中m＝2，获得最终的超分辨图像Y_h，如图6所示。

本发明的效果可以通过下面的仿真实验进一步说明：

1、实验条件与内容

实验条件为：IntelCore2DuoCPUE65502.33GHZ、2GBRAM，编程平台为MATLABR2010a。实验所用到的图像来源于标准图像库，分别为Cameraman，Lena，Boats，大小均为256×256，其中原始的高分辨率图像如图2所示，低分辨率图像如图3所示。

实验内容：分别为现有的基于样例学习的图像超分辨方法，现有的基于局部自相似性的图像超分辨方法和本发明方法，其中前两种方法都是基于学习的超分辨重构中的经典方法。

实验中，应用峰值信噪比PSNR值评价指标来评价超分辨结果的优劣，PSNR值的定义为：

$\mathrm{PSNR}=10{\log }_{10}\left(\frac{{255}^2\×U\×V}{\mathrm{\Σ}{\left|\right|x-\hat{x}\left|\right|}^2}\right)$

其中：x为原始的高分辨率图像，为仿真实验中得到的高分辨率图像，U和V为图像的行数和列数。

2、仿真内容与结果

本发明将图3所示的Lena图像作为输入的低分辨率图像，大小为256×256。

仿真一，用现有的基于样例学习的方法对图3进行超分辨重建，结果如图4所示。

由图4可见，该方法能够较好的恢复出图像的细节信息，但同时在图像的边界处产生了阶梯效应；

仿真二，用现有的基于局部自相似性的方法对图3进行超分辨重建，结果如图5所示。

由图5可见，该方法重建的图像视觉效果较好，能够很好地保持边界区域信息，但对非边界区域的保持则不够好，存在过平滑现象；

仿真三，用本发明对图3进行超分辨重建，结果如图6所示。

由图6可见，本发明的超分辨重建结果有最好视觉效果，同时保留了更多的图像边缘和细节信息。

本发明与两种对比方法在实验中获取的PSNR值如表1所示，其中，Alg1是基于样例学习的方法，Alg2是基于局部自相似性的方法，Alg3是本发明的方法。

表1.本发明和对比方法在实验设置下得到的PSNR值

从表1中可以看出，本发明比其它两种对比方法具有更高的PSNR值，有更好的超分辨结果。

Claims (4)

1.一种基于改进的非局部约束和局部自相似性的图像超分辨方法，包括如下步骤：

(1)输入低分辨率图像X，并将其进行双三次插值放大，放大因子λ＝1.25，获得预放大图像Y_o；

(2)通过高通滤波器对低分辨图像X进行滤波，将其分解为高频分量X_h和低频分量X_o；

(3)利用高频分量X_h，低频分量X_o和预放大图像Y_o对输入的低分辨图像X进行超分辨重建：

3a)在低频分量X_o中提取低频图像块j＝1,...,M，M为低频图像块的数目，在预放大图像Y_o中提取预放大图像块i＝1,...,N，N为预放大图像块的数目；

3b)对提取的低频图像块进行k-means聚类，将其分成20类，得到每一类的聚类中心；

3c)用预放大图像块Y_o ⁱ中的每一个图像块与上步获得的聚类中心作比较，找到与其最为相似的那一类，并在这一类中找到与预放大图像块Y_o ⁱ最相似的3个近邻低频图像块k＝1,...,3，k为最相似的近邻块的数目；

3d)利用上步的最相似的低频图像块在高频分量X_h中找到其相对应的高频图像块并对这些高频图像块进行非局部加权，得到合成的高频图像块Y_f ⁱ：

$Y_f^i=\underset{k}{\Σ}{w}_i^k*y_h^k,$

其中，为非局部加权系数，c_i为归一化参数， $c_i=\underset{k=1}{\overset{3}{\Σ}}\exp (-||{Y_o}^i-y_i^k|{|}^2/h),h=100;$

3e)根据合成的高频图像块Y_f ⁱ和预放大图像块Y_o ⁱ，得到高分辨图像块

$Y_h^i={Y_o}^i+{Y_f}^i;$

3f)将高分辨图像块Y_h ⁱ按照排列顺序，放到相应的位置处，得到初步的高分辨图像Y_p：

$Y_p=\underset{i}{\Σ}{Y}_h^i;$

(4)将步骤3获得的初步高分辨图像Y_p作为步骤1的输入图像X，迭代重复步骤1～步骤3，直至达到预期设定的放大倍数m，获得最终的超分辨图像Y_h。

2.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法，其中所述步骤(3a)中的低频图像块X_o ^j和预放大图像块Y_o ⁱ，其大小均为5×5，重叠块的大小均为4×4。

3.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法，其中所述步骤(3c)中找出聚类中心中与预放大图像块Y_o ⁱ最相似的块，是先计算预放大图像块Y_o ⁱ与每个聚类中心的均方差，再从这些均方差中找出最小值，该最小值所对应的聚类中心就是与预放大图像块Y_o ⁱ最相似的块。

4.根据权利要求1所述的基于改进的非局部约束和局部自相似性的图像超分辨方法，其中所述步骤(4)中的预期设定放大倍数m，在实验中设定为m＝2。