CN102800047A - 一种单帧图像超分辨率重构方法 - Google Patents

Abstract

本发明属于信号与图像处理领域，具体为一种单帧图像超分辨率重构方法，采用二阶差分方法计算源图像中像素点各方向的相关性，根据相关性的大小选择加权系数，利用牛顿插值方法对各方向进行插值计算，对插值结果进行加权求和获得最终超分辨率图像。本发明可应用于图像复原领域中。

Description

一种单帧图像超分辨率重构方法

技术领域

本发明属于信号与图像处理领域，涉及一种单帧图像超分辨率重构方法，特别涉及一种利用源图像的相关信息，同时从多个方向进行牛顿插值来实现单帧图像超分辨率重构的方法。

背景技术

超分辨率重构借助信号估计理论，克服成像系统固有分辨率的限制，达到提高图像质量的目的，在机器视觉、图像理解以及图像复原等领域有着广泛的应用空间。1984年，Tsai和Huang首次提出用低分辨率、欠采样图像序列生成高分辨率图像的思想，并给出了频域逼近的方法。尽管单帧图像超分辨率重构方法无法恢复衍射频率极限以外的图像信息，但在某些特定的条件下，尤其对图像处理提出实时性要求的情况下，单帧图像超分辨率重构方法的性能显得十分重要。而且，单帧图像超分辨率重构方法往往是多帧图像超分辨率重构的基础，因此单帧图像超分辨率重构方法具有广阔的应用空间。

目前，在各种单帧图像超分辨率重构算法中，以插值原理为基础的超分辨率重构方法具有较好的应用性能。常用的插值方法有最近邻插值法、双线性插值法、牛顿插值法等。但这些方法通常根据插值公式直接求得超分辨率图像的插值结果，往往忽略源图像中各像素点的相关性对插值结果的影响，从而使得超分辨率图像细节信息丢失、边缘模糊、图像质量较差。

因此，设计一种能够充分利用源图像中各像素点的相关性，从而改善超分辨率图像质量的单帧图像超分辨率重构方法具有一定的应用价值。

发明内容

本发明所要解决的技术问题是，设计一种单帧图像超分辨率重构方法，尤其利用源图像中像素点不同方向的相关信息实现单帧图像的超分辨率重构。

本发明所采用的技术方案是：一种单帧图像超分辨率重构方法，采用二阶差分方法计算源图像中像素点各方向的相关性，根据相关性的大小选择加权系数，利用牛顿插值方法对各方向进行插值计算，对插值结果进行加权求和获得最终超分辨率图像。

本发明的目的在于利用源图像中的像素点信息，同时从多个方向计算牛顿插值结果，并根据源图像中各像素点的相关性通过融合计算获得高质量的超分辨率图像。

附图说明

图1是源像素与目标像素的相对位置关系图。

图2是单帧图像超分辨率重构对于结果图。

具体实施方式

下面结合实施例和附图对本发明作进一步详细说明。

已知函数f(x)在等节点x_i上的函数值为f(x_i)＝f_i，则其一阶差分表示为：

Δf_i＝f_i+1-f_i        (1)

其k阶差分可表示为：

Δ^kf_i＝Δ^k-1f_i+1-Δ^k-1f_i    (2)

这样，n次牛顿插值公式可表示为：

$N_n(x_0+\mathrm{th})=\underset{k=0}{\overset{n}{\mathrm{\Σ}}}\frac{{\mathrm{\Δ}}^k{f}_0}{k!}\underset{j=0}{\overset{k-1}{\mathrm{\Π}}}(t-j)---\left(3\right)$

其中，t=(x-x0)/k，h为步长。利用式(3)，根据函数f(x)的n+1个等距节点上的值便可求出f(x)在任一点的插值。n的取值越大，计算结果越精确，误差越小，但计算量也随之迅速增加。

将上述牛顿插值方法应用于图像处理过程中时，可将二维图像先在水平方向进行一维插值，然后再对所得结果在垂直方向进行一维插值，即可实现二维图像信号的插值运算。

式(3)中，当n＝1时，对图像的二维差值即是双线性插值算法。为了能够在计算量较小的情况下获得较高质量的超分辨率图像，可采用n＝2时的二阶牛顿插值公式：

$N_2(x_0+t)=f_0+\mathrm{\Δ}{f}_{0}t+\frac{{\mathrm{\Δ}}^2{f}_0}{2!}t(t-1)---\left(4\right)$

采用上述二阶牛顿插值法实现图像差值时，源像素与目标像素的相对位置关系如图1所示。

图1中，空心圆表示源像素，实心圆与点圆表示目标(插值)像素。例如f_j，m+1像素是由f_j，i，f_j，i+1和f_j，i+2三个像素利用式(4)横向插值计算求得；f_k+1，i像素是由f_j，i、f_j+1，i和f_j+2，i三个像素利用式(4)纵向插值计算求得；而f_k+1，m+1像素是由f_j，m+1、f_j+1，m+1和f_j+2，m+1三个像素利用式(4)纵向插值计算求得。

在上述插值计算过程中，仅利用了图像一个方向的信息，而忽略了另一个方向的信息，例如，对于f_j，m+1像素既可由f_j，i、f_j，i+1和f_j，i+2三个像素利用式(4)横向插值计算求得，也可利用f_j，i+3、f_j，i+2和f_j，i+1三个像素从反方向利用式(4)横向插值计算求得。当f_j，i、f_j，i+1、f_j,i+2和f_j，i+3处在图像均一区域(各灰度值相差很小)时，上述两种方向所得插值结果几乎相同，对超分辨率图像的影响很小。但当f_j，i、f_j，i+1、f_j，i+2和f_j，i+3处在图像的边缘或细节区域时，上述两种方向计算所得插值结果将相差很大。当仅考虑一个方向的插值计算势必会丢失另一个方向的细节信息，从而造成超分辨率图像边缘模糊，图像质量下降。另外，对于图1中点圆位置的插值像素不仅丢失了图像一个方向的相关信息，而且插值计算过程中所利用的像素也是横向插值所得结果，而并非源像素。由于插值结果本身存在不精确性和信息的丢失，因此利用插值结果再进行插值会使不精确性进一步增加，从而使超分辨率的质量进一步下降。

为了提高超分辨率图像的质量，本发明利用源图像中的像素点信息，同时从两个方向计算牛顿插值结果，并根据源图像中各像素点的相关性通过融合计算获得超分辨率图像的插值结果。

例如，对于f_j，m+1像素的插值结果，采用f_j，i、f_j，i+1和f_j，i+2三个源像素利用式(4)进行横向正向插值计算求得插值结果为f′_j，m+1，采用f_j，i+3、f_j，i+2和f_j，i+1三个像素利用式(4)进行横向反向插值计算求得插值结果为f″_j，m+1，超分辨率图像中f_j，m+1的计算结果为：

f_j，m+1＝w₁f′_j，m+1+w₂f″_j，m+1        (5)

上式中w₁和w₂为正向和反向插值的相关性加权系数，反映了插值结果中所用到的源像素点之间的相关性。相关性表示插值过程中所用到的各源像素点所处图像区域的性质，所处像素区域性质越趋于一致，相关性则越大，其加权系数亦越大。因此，源像素点的相关性可采用二阶差分进行计算求得，即：

Δ²f₊＝|(f_j，i+2-f_j，i+1)-(f_j，i+1-f_j，i)|＝|f_j，i+2-2f_j，i+1+f_j，i|        (6)

Δ²f_-＝|(f_j，i+1-f_j，i+2)-(f_j，i+2-f_j，i+3)|＝|f_j，i+1-2f_j，i+2+f_j，i+3|    (7)

相关性加权系数按下式计算：

$w_1=\frac{{\mathrm{\Δ}}^2{f}_{+}}{{\mathrm{\Δ}}^2{f}_{+}+{\mathrm{\Δ}}^2{f}_{-}}---\left(8\right)$

$w_2=\frac{{\mathrm{\Δ}}^2{f}_{-}}{{\mathrm{\Δ}}^2{f}_{+}+{\mathrm{\Δ}}^2{f}_{-}}---\left(9\right)$

同样，对于f_k+1，i像素可由f_j，i、f_j+1，i、f_j+2，i和f_j+3，i四个像素利用式(4)在纵向上分别进行正向和反向插值求得f′_k+1，i和f″_k+1，i，并根据源像素的相关性加权求得超分辨率图像的值f_k+1，i。

为了提高超分辨率图像的质量，超分辨率图像中f_k+1，m+1像素采用源图像45度和135度方向的像素点进行正反向插值加权求得，即：

$f_{k+1,m+1}=w_1^{-}{f}_{k+1,m+1}^{\′-}+w_1^{+}{f}_{k+1,m+1}^{\′+}+w_2^{-}{f}_{k+1,m+1}^{\′\′-}+w_2^{+}{f}_{k+1,m+1}^{\′\′+}---\left(10\right)$

Δ²f′_-＝|f_j+3，i-2f_j+2，i+1+f_j+1，i+2|        (11)

Δ²f′₊＝|f_j，i+3-2f_j+1，i+2+f_j+2，i+1|        (12)

Δ²f″_-＝|f_j+3，i+3-2f_j+2，i+2+f_j+1，i+1|      (13)

Δ²f″₊＝|f_j，i-2f_j+1，i+1+f_j+2，i+2|          (14)

$w_1^{-}=\frac{{\mathrm{\Δ}}^2{f}_{-}^{\′}}{{\mathrm{\Δ}}^2{f}_{-}^{\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′}+{\mathrm{\Δ}}^2{f}_{-}^{\′\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′\′}}---\left(15\right)$

$w_1^{+}=\frac{{\mathrm{\Δ}}^2{f}_{+}^{\′}}{{\mathrm{\Δ}}^2{f}_{-}^{\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′}+{\mathrm{\Δ}}^2{f}_{-}^{\′\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′\′}}---\left(16\right)$

$w_2^{-}=\frac{{\mathrm{\Δ}}^2{f}_{-}^{\′\′}}{{\mathrm{\Δ}}^2{f}_{-}^{\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′}+{\mathrm{\Δ}}^2{f}_{-}^{\′\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′\′}}---\left(17\right)$

$w_2^{+}=\frac{{\mathrm{\Δ}}^2{f}_{+}^{\′\′}}{{\mathrm{\Δ}}^2{f}_{-}^{\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′}+{\mathrm{\Δ}}^2{f}_{-}^{\′\′}+{\mathrm{\Δ}}^2{f}_{+}^{\′\′}}---\left(18\right)$

由于上述插值结果利用源图像中的像素点插值加权求得，减少了插值过程中误差的累积，有利于提高超分辨率图像的质量。而加权系数由源图像的相关性确定，有利于充分利用源图像中蕴含的信息，提高超分辨率图像的清晰度，恢复图像的细节。

实施例

对给定的高分辨图像进行均匀亚采样，生成低分辨率图像。再对所生成的低分辨率图像利用本发明方法进行超分辨率插值重构，并以原高分辨率图像为基础，进行性能比较。

图2给出图像处理中经常用到的经典图片LENA的重构结果，其中。图2(a)图为源图像，图2(b)图为低分辨率图像，图2(c)图为采用双线性插值方法所得超分辨率图像，图2(d)图为采用牛顿插值方法所得超分辨率图像，图2(e)图为采用基于边缘的自适应牛顿插值方法所得超分辨率图像，图2(f)图为采用本发明方法所得超分辨率图像。

从所得实验结果可见，双线性插值和牛顿插值结果比较模糊，有较明显的失真，而基于边缘的自适应牛顿插值在图像细节处存在毛刺，而本发明方法所得结果具有最好的直观效果，其图像边缘和细节更加清晰可辨。这是由于本发明方法插值目标像素点均是利用源像素点进行插值，减少了插值过程中误差的积累，同时考虑水平、垂直以及对角方向的相关信息，提高了插值过程中信息的利用率，因此重构出的超分辨率目标图像质量明显优于其它几种方法所得结果，具有更优的视觉重构效果，可以获得细腻和清晰的图像局部特征，例如图2中黑框所示的边缘区域包含了图像大量的细节信息，本发明方法所得插值图像更加清晰可辨。另外，双线性插值方法所得超分辨率图像的峰值信噪比为28.84，牛顿插值方法所得超分辨率图像的峰值信噪比为28.16，自适应牛顿插值方法所得超分辨率图像的峰值信噪比为29.73，本发明方法所得超分辨率图像的峰值信噪比为30.04。可见，本发明方法所得超分辨率图像具有最高的峰值信噪比，能够有效改善单帧图像超分辨率的质量。

本发明的优点在于，同时利用源图像中不同方向像素之间的相关性，增加了插值过程中有用信息的利用率，减少了插值的累积误差。可改善超分辨率图像的质量，使得图像边缘和细节信息更加清晰和细腻。同时，可有效提高峰值信噪比，提高超分辨率重构图像的质量。可应用于图像复原领域中。

Claims (3)

1.一种单帧图像超分辨率重构方法，其特征在于，利用源图像中像素点不同方向的相关信息实现单帧图像的超分辨率重构。

2.根据权利要求1所述的一种单帧图像超分辨率重构方法，其特征在于，采用二阶差分方法计算源图像中像素点各方向的相关性。

3.根据权利要求1、2所述的一种单帧图像超分辨率重构方法，其特征在于，根据相关性的大小选择加权系数，利用牛顿插值方法对各方向进行插值计算，对插值结果进行加权求和获得最终超分辨率图像。

Images