CN102800069A - 一种融合软决策自适应插值与双三次插值的图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种融合软决策自适应插值与双三次插值的图像超分辨率方法。它包括以下步骤：首先，分别采用软决策自适应插值与双三次插值对低分辨率图像进行超分辨率；然后，采用基于像素值差异与结构差异的失真检测方法检测出软决策自适应插值获得的高分辨率图像中出现失真的区域；最后，采用基于像素加权的图像融合方法融合不同插值方法获得的高分辨率图像从而得到最终的超分辨率结果。本发明将实时的双三次插值技术与快速的软决策自适应插值技术结合起来应用于图像超分辨率，即能够保证超分辨率后图像的边缘清晰，又不会在图像纹理密集区域造成失真，能在放大低分辨率图像的同时改善其视觉效果，具有非常大的理论意义与实际应用价值。

Description

一种融合软决策自适应插值与双三次插值的图像超分辨率方法

技术领域

本发明涉及一种图像超分辨率方法，更具体的说是一种融合软决策自适应插值与双三次插值的图像超分辨率方法。 

背景技术

图像插值比如经典的双线性与双三次插值方法，具有速度快、鲁棒性强等特点，因此被广泛应用于图像处理软件和相关的图像处理设备中。然而双线性与双三次插值方法在插值过程中常常导致图像边缘的模糊，而图像的边缘又是影响视觉效果和其他后续处理如目标识别与跟踪的关键因素。因此，基于边缘的插值方法成为近年图像超分辨率领域研究的热点。基于边缘的插值方法用图像边缘信息来辅助插值，在插值的过程中尽可能保证边缘的清晰。其中，软决策自适应插值方法是基于边缘的插值方法中可靠实用的方法之一。然而在图像纹理密集的区域，基于边缘的插值方法包括软决策自适应方法会产生很严重的图像失真，其原因是由于图像纹理密集区域的边缘信息如边缘方向很难被准确估计。而用错误估计的边缘信息来辅助插值，反而会导致超分辨率结果失真。 

发明内容

为了解决双三次插值与软决策自适应插值存在的上述技术问题，本发明提供了一种融合双三次插值与软决策自适应插值的图像超分辨率方法。本发明通过图像融合技术将双三次插值的鲁棒性强与软决策自适应插值边缘清晰度高的优点结合起来，解决了双三次插值会造成图像边缘模糊的问题以及基于边缘 的插值方法易在纹理密集区域出现失真的问题。本方法首先采用软决策自适应插值与双三次插值分别对低分辨率图像进行插值；然后通过比较不同插值方法获得的高分辨率图像的像素差异和结构差异，检测出软决策自适应插值出现失真的区域；最后通过加权图像融合，将软决策自适应插值出现失真的区域用双三次插值得到的高分辨率图像的像素替换，从而得到最终的高辨率图像。本发明提出的算法既能保证高分辨率图像边缘的清晰同时又能避免在纹理密集区域出现图像失真，由于双三次插值与软决策自适应插值都能够快速实现，所以本算法可以直接用于解决实际问题，比如低分率图像在高分辨率显示器和打印机上的显示和打印问题。 

本发明解决上述技术问题的技术方案包括以下步骤： 

1）对低分辨率图像采用软决策自适应插值与双三次插值分别进行超分辨率。 

2）通过比较软决策自适应插值获得的高分辨率图像与双三次插值获得的高分辨率图像的像素值差异和结构差异，检测出软决策自适应插值获得的高分辨率图像中出现失真的区域。 

3）用双三次插值获得的高分辨率图像的像素替换软决策自适应插值图像失真区域的像素，从而得到最终的高分辨率图像。 

由于采用上述技术方案，本发明的技术效果在于：本发明提出的图像超分辨率方法是一种融合软决策自适应插值与双三次插值的超分辨率算法。本算法通过像素值差异与结构差异检测出软决策自适应插值获得的高分辨率图像中出现失真的区域，并将失真区域的像素用基于双三次插值得到的高分辨率图像的像素替换。该超分辨率方法在保证图像边缘清晰的同时不会在纹理密集的区域出现失真，因此对图像的后续处理及其在电子设备上的应用具有重大意义和 实用价值。 

附图说明

图1为本发明提出的融合软决策自适应插值和双三次插值的图像超分辨率方法示意图； 

如图所示，先利用软决策自适应插值方法与双三次插值方法分别对低分辨率图像进行超分辨率，然后通过像素值差异和结构差异检测出软决策自适应插值后超分辨率图像的失真区域，最后根据检测结果对不同插值方法得到的高分辨率图像进行融合，得到最终的高分辨率图像。 

图2为采用不同方法获得的高分辨率图像比较； 

图3中左起第一幅为双三次插值超分辨率方法获得的超分辨率结果，第二幅图像为采用边缘导向插值方法获得的超分辨率结果，第三幅图像为采用软决策自适应插值算法获得的超分辨率结果，第四幅为本发明方法获得的超分辨率结果。 

具体实施方式

图1为本发明提出的融合软决策自适应插值和双三次插值的图像超分辨率方法示意图，输入为低分辨率的灰度或彩色图像，输出为高分辨率的灰度或彩色图像。如图1所示，本发明各部分具体实施细节如下： 

1．采用软决策自适应方法和双三次方法分别对低分辨率图像进行插值其具体步骤为： 

1）采用双三次插值的方法对低分辨率图像I^L进行超分辨率，超分辨倍数为n倍,获得高分辨率图像 

 。 

$I_{\mathrm{BIC}}^H=\mathrm{Bicubic}(I^L,n)---\left(1\right)$

（双三次插值方法的具体实施细节参考Robert G. Keys 于1981年发表在IEEE Transactions on Signal Processing, Acoustics, Speech, and Signal Processing 上的论文R. Keys, “Cubic convolution interpolation for digital image processing”， IEEE Trans. Signal Process., Acoustics, Speech, Signal Process., vol. 29, no. 6, pp. 1153–1160.） 

2） 采用软决策自适应插值方法对低分辨率图像进行超分辨率，超分辨倍数为n倍，获得高分辨率图像  。 

$I_{\mathrm{SAI}}^H=\mathrm{SAI}(I^L,n)---\left(2\right)$

其中SAI代表软决策自适应插值，软决策自适应插值方法将插入像素的估计值反馈回分段二维自回归模型参数的估计过程中，并通过最小二乘法对估计出的模型参数进行修正。（软决策自适应插值方法的具体实施细节请参考 Xiaojun Zhang 与 Xiaolin Wu 与2008年发表在IEEE Transactions on Image Processing 上的论文 X. Zhang and X. Wu,“Image interpolation by adaptive 2-D autoregressive modeling and soft-decision estimation”, IEEE Trans. Image Process., vol. 17, no. 6, pp. 887-896.） 

2．通过比较采用不同插值方法获得的高分辨率图像的像素值差异和结构差异，检测出软决策自适应插值出现失真的区域。其具体步骤为： 

1）计算不同插值方法获得的高分辨率图像

  与 

  的像素值差异。其中

 与

 在处理前需把像素值归一化到[0,1]的范围内。 

$M_1(x,y)=|I_{\mathrm{SAI}}^H(x,y)-I_{\mathrm{BIC}}^H(x,y)|---\left(3\right)$

2）计算不同插值方法获得的高分辨率图像

  与 

 的结构差异。 

$M_2(x,y)=\mathrm{SSIM}(I_{\mathrm{SAI}}^H(x,y),I_{\mathrm{BIC}}^H(x,y))---\left(4\right)$

SSIM是一种估计图像结构差异的客观指标。它的具体计算方式如下： 

$\mathrm{SSIM}(I_{\mathrm{BIC}}^H(x,y),I_{\mathrm{SAI}}^H(x,y))=\frac{(2{\mathrm{\μ}}_{\mathrm{BIC}}{\mathrm{\μ}}_{\mathrm{SAI}}+c_1)(2{\mathrm{\σ}}_{\mathrm{BICSAI}}+c_2)}{({\mathrm{\μ}}_{\mathrm{BIC}}^2+{\mathrm{\μ}}_{\mathrm{SAI}}^2+c_1)({\mathrm{\σ}}_{\mathrm{BIC}}^2+{\mathrm{\σ}}_{\mathrm{SAI}}^2+c2)}---\left(5\right)$

其中，μ_BIC 表示高分辨率图像

 中以像素(x,y)为中心的8×8窗口内像素的平均值，μ_SAI  表示高分辨率图像

 中以像素(x,y)为中心的8×8窗口内像素的平均值，

  表示高分辨率图像

 中以像素(x,y)为中心的8×8窗口内像素的方差，  表示高分辨率图像

 中以像素(x,y)为中心的8×8窗口内像素的方差，σ_BICSAI 表示高分辨率图像

 中以像素(x,y)为中心的8×8窗口内像素与高分辨率图像

 中以像素(x,y)为中心的8×8窗口内像素的协方差。c₁=(K₁L)² 与 c₂=(K₂L)² 为两个参数，K₁=0.01，K₂=0.03，L表示图像像素值的动态范围(本方法中L=255)。（结构相似度的理论模型和算法原理请参考 Wang and Bovik 等人于2004 年发表于IEEE Trans. Image Process. 上的论文 Z. Wang, A. C. Bovik, H. R. Sheikh and E. P. Simoncelli, “Image quality assessment: From error visibility to structural similarity”, IEEE Trans. on Image Process., vol.13,no.4,pp.600-612.） 

3）通过乘法运算结合图像的像素差异与结构差异来检测软决策自适应插值方法获得的高分辨率图像出现失真的区域。 

$M(x,y)=M_1(x,y)\×M_2(x,y)---\left(6\right)$

然而由于双三次插值方法与软决策自适应插值方法生成的高分辨率图像不仅在软决策自适应插值出现失真的区域具有差异，在双三次插值方法出现边缘模糊和锯齿的区域同样具有差异。为了准确的检测出软决策自适应插值出现失真的纹理密集区域，考虑到由于边缘模糊和锯齿引起的像素值差异和结构差异通常以细线或点状的形式出现。本发明先对检测结果 M 进行一次高斯滤波来滤除边缘模糊和锯齿引起的点状和线状的像素值差异和结构差异的影响（高斯滤波器O的尺寸为30×30，其标准偏差δ_g=9,该参数设置能获得理想的检测结 果）。 

然后对高斯平滑后的图像   取阈值TH进行二值化，从而检测出软决策自适应插值方法出现失真的区域。 

其中TH=0.9为默认参数，实验证明该参数设置能获得理想的检测结果 

3．根据检测结果W_SAI，最终的超分辨率图像可以通过如公式（9）所示的基于像素加权的图像融合方法获得。 

$I^H(x,y)=W_{\mathrm{SAI}}(x,y)\×I_{\mathrm{SAI}}^H(x,y)+(1-W_{\mathrm{SAI}}(x,y))\×I_{\mathrm{BIC}}^H(x,y))---\left(9\right)$

其中I^H为本发明最终的超分辨率图像。该步骤的目的是将软决策自适应插值获得的高分辨率图像与双三次插值获得的高分辨率图像融合，融合后的图像中软决策自适应插值出现失真的纹理密集区域的像素由双三次插值方法获得，因此，融合的高分辨率图像不仅能很好的保证边缘的清晰同时不会再纹理密集区域出现失真。 

本发明所提供的方法与基于双三次插值、new edge directed (新边缘定向) 插值以及软决策自适应插值的超分辨率方法进行了比较。附图2与3是我们的方法与不同插值算法对低分辨率图像放大两倍的结果比较。图2中（a）-(d)分别为使用双三次插值、新边缘定向插值、软决策自适应插值以及本发明所获的高分辨率图像。如图2中（a）-(c)中箭头所示，双三次插值方法会造成边缘的模糊和锯齿如（屋檐和斜栏杆的边缘），而新边缘定向插值和软决策自适应插值方法在纹理密集区域会造成图像失真（如密集的栏杆区域）。而如（d）所示，本发明提出方法即能有效保持边缘的清晰度，同时不会在纹理密集的区域造成图像失真。图3给出另一幅图像的实验结果比较，如图所示，双三次插值 方法和基于边缘的插值方法包括边缘导向插值与软决策自适应插值都会在超分辨率过程中产生不同程度的失真，而于本发明提供的超分辨率算法相比其他插值方法效果更好。实验证明本方法获得的高分辨率图像与双三次插值和基于边缘的插值获得高分辨率图像相比，视觉效果更好，因此具有更大的实用价值。 

表1列出了附图2和3所示的不同算法的超分辨率结果以及原高分辨率图像峰值信噪比（PSNR）的比较。峰值信噪比越高，表明效果越好。从实验结果可以看出，本发明提出的融合双三次插值和软决策自适应插值方法的超分辨率方法峰值信噪比最高。因此本发明所提出的融合软决策自适应插值与双三次插值的超分辨率方法得到的超分辨率结果更接近原始的高分辨率图像。 

表1附图2与3所示的图像超分辨率结果的客观评价 

Claims (3)

1.一种融合软决策自适应插值和双三次插值的图像超分辨率方法，包括以下具体步骤：

1）分别使用软决策自适应方法和双三次方法对低分辨率图像进行插值得到两幅不同的高分辨率图像；

2）通过比较不同插值方法得到的高分辨率图像的像素值差异和结构差异，检测出软决策自适应插值得到的高分辨率图像中的失真区域；

3）将失真检测结果作为权值图，通过图像融合技术，融合软决策自适应插值得到的高分辨率图像与双三次插值得到的高分辨率图像，从而得到最终的超分辨率结果。

2.根据权利要求1所述的融合软决策自适应插值与双三次插值的图像超分辨率方法，其特征在于，所述的步骤2）的具体特征为：通过像素值与结构差异检测图像的失真区域。其中结构差异检测采用的是结构相似性测度（SSIM）。

3.根据权利要求1所述的融合软决策自适应插值与双三次插值的图像超分辨率方法，其特征在于，所述的步骤3）的具体特征为：采用基于像素加权平均的图像融合方法来融合不同插值方法获得的高分辨率图像。  

Images