CN101226634A - 基于核回归的单帧图像快速超分辨率重建方法 - Google Patents

Abstract

基于核回归的单帧图像快速超分辨率重建方法，本发明涉及图像超分辨率重建的方法。它克服了已有核回归单帧图像的超分辨率重建方法计算量巨大、耗费时间长的缺陷。它包括以下步骤：把低分辨率图像上的像素点映射到高分辨率网格中；确定待估值像素点并分为两大类；确定每个第一类待估值像素点的正方形邻域像素集合，把集合中各点的像素值代入核回归方程计算像素值；确定第二类待估值像素点的菱形邻域像素集合，把集合代入核回归方程计算像素值；当所有待估值像素点都赋值后输出图像。本发明引入二维非线性核回归进行插值点的估值、利用局部邻域处理代替整幅图像处理、采用即时更新策略，从而实现单帧图像的超分辨率重建。

Description

基于核回归的单帧图像快速超分辨率重建方法

技术领域

本发明涉及图像超分辨率重建的方法。

背景技术

空间分辨率是成像系统对图像细节分辨能力的一种度量，也是图像中目标细微程度的指标。然而在图像获取过程中，诸多因素均会导致图像质量的下降或退化。解决这一问题的一种有效方法就是超分辨率图像重建。超分辨率图像重建是近些年来出现的图像处理方法，此类方法通过对图像信息的估计、整合来获取高分辨率图像，是一种既经济又容易实现的图像重建与分辨率增强的方法。图像超分辨重建技术由退化的低分辨率图像的二维各采样值，经过一系列的二维操作，提高其分辨率和对比度，以重建和逼近其原来的连续图像。因为一帧不失真的数字图像的像素数一般是相应的低分辨率数字图像的像素数的数倍，所以超分辨率重建还意味着像素总数的增加，使图像的大小和质量都逼近于不失真的数字图像。

从目前在该领域内针对单帧图像超分辨率重建存在的方法来看，大致可以分为两大部分：传统单帧图像插值方法和基于边缘的插值方法。现有的单帧图像插值方法未能达到令人满意的插值效果，且更多的是线性插值方法，无法达到更好的图像自适应性。上述方法之所以不能够达到令人满意的处理效果的原因主要在于，这些方法不能够较好地解决图像质量退化过程中存在的非线性因素(即造成图像质量退化的众多因素在实际中并非是简单的线性叠加，而是呈现出非线性特性)。为解决该问题，国外学者新近提出了核回归理论，能够用于单帧图像的超分辨率重建。但该理论应用于实践中有一个严重弊端，即它的计算量巨大，非常耗时。因此，目前急需一种既能够具有强大的非线性数据处理能力，又能够快速实现的方法。

发明内容

本发明的目的是提供一种基于核回归的单帧图像快速超分辨率重建方法，以克服已有核回归单帧图像的超分辨率重建方法计算量巨大、耗费时间长的缺陷。它包括下述步骤：一、把低分辨率图像上的像素点映射到高分辨率网格中，并使上述像素点位于高分辨率网格的网格交点上；二、将高分辨率网格中剃除低分辨率图像像素点占据的网格交点之外的网格交点，作为待估值像素点，并依据空间位置关系，将待估值像素点进一步分为两类，第一类待估值像素点是高分辨率网格的交叉点中剔除位于低分辨率图像像素点之间连线上的点后所剩余的待估值像素点；第二类待估值像素点是位于低分辨率图像像素点之间连线上的待估值像素点；三、依次取出第一类待估值像素点，确定每个第一类待估值像素点的正方形邻域像素集合，把正方形邻域像素集合中各点的像素值代入核回归方程进行计算，确定该待估值像素点的像素值并赋值给该点；四、依次取出第二类待估值像素点，确定第二类待估值像素点的菱形邻域像素集合，利用菱形像素邻域集合中各点的像素值代入核回归方程进行计算，确定该待估值像素点的像素值并赋值给该点；五、当所有待估值像素点都赋值后输出图像。

本发明的核心是引入二维非线性核回归进行插值点的估值、利用局部邻域处理代替整幅图像处理、采用即时更新策略，从而实现单帧图像的超分辨率重建。本发明与现有技术相比，具有如下优点：(1)突破了现有基于线性插值的超分辨率图像重建方法只具有线性效果、不能实现复杂的、非线性的超分辨率效果的技术难题；由于在回归问题中，引入二维核函数，本发明方法具有突出的非线性处理性能，可大大提高超分辨处理能力，有效弥补目前现有技术的不足；图3和图4给出了一维情况下，核回归插值方法同经典方法B样条曲线的比较。可以明显看出，核回归方法具有良好的自适应性和非线性处理能力，而B样条曲线方法只能按照均匀分段的方式进行线性插值，无法根据待插值图像区域具体信息进行自适应处理。(2)根据空间相关性原理，利用局部邻域像素进行超分辨率重建，在保证重建图像质量的同时，本发明方法可大大提高超分辨图像重建的处理速度。与国外学者提出的核回归方法相比，在相同运算环境下，处理256×256大小的图像，采用4×4的局部窗口，本发明的处理速度比国外方法节省了3个数量级，当窗口大小为16×16时，节省了近2个数量级，而超分辨率重建图像质量等同于或略高于国外方法得到的结果。

附图说明

图1为原始的低分辨率图像像素点示意图，图2为低分辨率图像像素点映射到高分辨率网格的示意图，图3为本发明方法的非线性处理效果的一维示意图，图中1是样本测量值，2是回归函数，3是核加权函数，4是插值节点；图4是传统的B样条曲线线性处理效果的一维示意图，图5是实施方式二待估值像素点位于低分辨率图像的图像边缘附近时，采用镜像对称方式来获得缺失部分像素点的像素值的示意图，图6为本发明步骤三所确定的第一类待估值像素点的正方形邻域像素集合的示意图；图7为本发明步骤四所确定第二类待估值像素点的菱形邻域像素集合的示意图。

具体实施方式

具体实施方式一：下面结合图1、图2、图6和图7具体说明本实施方式。本实施方式包括下述步骤：一、把低分辨率图像上的像素点映射到高分辨率网格中，并使上述像素点位于高分辨率网格的网格交点上；二、将高分辨率网格中剃除低分辨率图像像素点占据的网格交点之外的网格交点，作为待估值像素点，并依据空间位置关系，将待估值像素点进一步分为两类，第一类待估值像素点是高分辨率网格的交叉点中剔除位于低分辨率图像像素点之间连线上的点后所剩余的待估值像素点；第二类待估值像素点是位于低分辨率图像像素点之间连线上的待估值像素点；三、依次取出第一类待估值像素点，确定每个第一类待估值像素点的正方形邻域像素集合，把正方形邻域像素集合中各点的像素值代入核回归方程进行计算，确定该待估值像素点的像素值并赋值给该点；四、依次取出第二类待估值像素点，确定第二类待估值像素点的菱形邻域像素集合，利用菱形像素邻域集合中各点的像素值代入核回归方程进行计算，确定该待估值像素点的像素值并赋值给该点；五、当所有待估值像素点都赋值后输出图像。

在第一步骤中根据拟重建图像和原始低分辨率图像之间的分辨率关系，构造高分辨率网格，并将低分辨率图像映射到高分辨率网格上，如图1和图2所示，图1为原始低分辨率图像，图2给出了高分辨率网格，两个图中的对应点直接进行映射，即图2中圆点A、B、C和D所示。

图6中给出了第二步骤中两类待估值点的区分示意图，第一类是类似于图6中的X1的点的集合，该类点是虚线和虚线的交叉点，它们都位于低分辨率图像映射点所构成的局部窗口的中心，第二类是类似于图6中X2和X3点的集合，即虚线和实线交叉点的集合；

下面详细解释步骤三和步骤四中如何运用核回归方程进行计算，来确定该待估值像素点的像素值。图像超分辨率重建技术基于图像复原技术，成功地恢复截止频率以外的信息，从而提高图像的分辨率。图像复原技术可以理解为，根据傅立叶光学理论，整个成像过程可以看成一个傅立叶滤波器，由于光学衍射的影响导致其传递函数在某个截止频率以外的部分为零，因此运用普通的图像反卷积理论只能把低分辨率图像复原到截止频率处，要恢复截止频率以外的信息无论从理论上还是技术上几乎都是不可能的。但是，根据解析延拓理论，如果一个函数在空域中是有界的，那么在频域中就是一个解析函数，可以证明此函数如果在某一有限区域上为已知，那么就会处处已知，从这种角度看，恢复截止频率以外的信息是完全有可能的。

本实施方式中正是基于图像超分辨率重建的理论基础，采用二维核回归技术来实现由低分辨率图像中复原出高分辨率图像。首先建立二维核回归方程，利用低分辨率图像中的局部邻域像素，带入到二维核回归方程，来获取高分辨率图像的当前像素点的回归估值，从而实现由低分辨率图像获取高分辨率图像的超分辨过程。

下面说明二维核函数回归原理。二维核回归公式如下：

y_i＝z(x_i)+ε_i，i＝1，……，P，                   (1)

其中，x_i为2×1维向量，表示二维空间的坐标，y_i代表相应的图像灰度值。z(x_i)称作回归函数，ε为随机误差或随机干扰，它是一个分布与x无关的随机变量，通常假定它是均值为0的正态变量。相应的，可以得到如下公式：

z(x_i)＝β₀+β₁ ^T(x_i-x)+β₂ ^T vech{(x_i-x)(x_i-x)^T}+…     (2)

这里定义vech(.)是对对称矩阵下三角部分的向量化处理，以2×2对称阵为例：

$\mathrm{vech}\left(\left[\begin{array}{cc}a& b\\ b& d\end{array}\right]\right)={\left[\begin{array}{ccc}a& b& d\end{array}\right]}^T---\left(3\right)$

β₀＝z(x)，β₁和β₂满足：

${\mathrm{\β}}_1=\▿z\left(x\right)={[\frac{\∂z\left(x\right)}{\∂x_1},\frac{\∂z\left(x\right)}{\∂x_2}]}^T---\left(4\right)$

${\mathrm{\β}}_2=\frac{1}{2}{[\frac{{\∂}^{2}z\left(x\right)}{{\∂x}_1^2},2\frac{{\∂}^{2}z\left(x\right)}{{\∂x}_1{x}_2},\frac{{\∂}^{2}z\left(x\right)}{{\∂x}_2^2}]}^T---\left(5\right)$

而参数β_n是通过求解下面最优化问题得到的：

$\underset{\left\{{\mathrm{\β}}_n\right\}}{\min }\underset{i=1}{\overset{P}{\mathrm{\Σ}}}{[y_i-{\mathrm{\β}}_0-{\mathrm{\β}}_1^T(x_i-x)-{\mathrm{\β}}_2^T\mathrm{vech}\{(x_i-x){(x_i-x)}^T\}-\·\·\·]}^2.---\left(6\right)$

其中                     K_H(x_i-x，y_i-y)

$K_H\left(t\right)=\frac{K\left(H^{1}t\right)}{\det \left(H\right)}---\left(7\right)$

H称为平滑矩阵。

利用数学运算方法进行化简，求得z(x)的零阶估计值为：

$\hat{z}={\widehat{\mathrm{\β}}}_0=e_1^T{\left(X_x^T{W}_x{X}_x\right)}^{-1}{X}_x^T{W}_{x}y---\left(8\right)$

其中e₁ ^T是一个第一行元素为1，其它为0的列向量，

$y=[y_1,y_2,\·\·\·,y_P^T]---\left(9\right)$

W_x＝diag[K_H(x₁-x)，K_H(x₂-x)，…，K_H(x_P-x)]          (10)

$X_x=\left[\begin{array}{cccc}1& {(x_1-x)}^T& {\mathrm{vech}}^T\left\{(x_1-x){(x_1-x)}^T\right\}& \·\·\·\\ 1& {(x_2-x)}^T& {\mathrm{vech}}^T\left\{(x_2-x){(x_2-x)}^T\right\}& \·\·\·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ 1& {(x_P-x)}^T& {\mathrm{vech}}^T\left\{(x_P-x){(x_P-x)}^T\right\}& \·\·\·\end{array}\right]---\left(11\right)$

由上面的公式可以看出，评价的结果

部分取决于平滑矩阵的选择。这里，使用一个简单且计算效率较高的模型来表示：

                         H_i＝hu_iI                   (12)

在上式中，u_i表征数据采样密集程度(一般令u_i＝1)，h称作平滑参数，它的取值是通过一系列迭代公式计算出来的。为了计算简便，一般情况下，h的取值在“2”附近。

这样，只要确定图像局部邻域内每个像素点的像素值，并按照公式(10)-(12)计算，将计算结果代入公式(9)，即可得到局部邻域中心像素的回归估计值。一般地，核函数均采用高斯径向基函数形式。此时回归核函数形式K及其参数h和u_i如下：K为高斯核函数形式，h取值为2，u_i取值为1。

具体实施方式二：下面结合图5和图6具体说明本实施方式。本实施方式与实施方式一的不同点在于：步骤三中第一类待估值像素点的正方形邻域像素集合是这样确定的：a、采用正方形局部窗口并确定局部窗口大小为n×n，n×n为局部窗口内低分辨率图像的像素点数目，n等于4或8，选择为4×4的偶数窗口即可达到较好的重建结果，且运算速度快；b、使待估值像素点位于局部窗口的中心；c、局部窗口内所有的低分辨率图像的像素点构成局部邻域像素集合。以图5为例，当待估值像素点为X1，则4×4窗口下，局部邻域像素集合应为{A1、A2、A3、A4、B1、B2、B3、B4、C1、C2、C3、C4、D1、D2、D3、D4}；如果待估值像素点因位于低分辨率图像的图像变缘使其局部邻域像素集合中缺失部分像素点的像素值时，利用低分辨率图像边缘处的像素点，采用镜像对称方式来获得缺失部分像素点的像素值。如图4所示。其中A、B、D为边界点，虚线为镜像扩展的像素点位置，通过它们的镜像对称可以得到B’、C’、D’的值；

具体实施方式三：下面结合图7具体说明本实施方式。本实施方式与实施方式一的不同点在于：步骤四中第二类待估值像素点的菱形邻域像素集合是这样确定的：a、采用菱形局部窗口并确定局部窗口大小为m×m，m等于4或8，所述m为菱形的一条边中含有的第一类待估值像素点和低分辨率图像像素点的个数和。以图6为例，当待估值像素点为X2时，则4×4窗口下，局部邻域像素集合为该图中粗虚线交叉点，即空心圆点和空心三角形点；需要注意的是这里空心三角形点属于前面已经得到估计值的第一类点。因此，本步骤实质上是采用了更新的策略，即利用原始低分辨率图像的像素值和已经求取的第一类点的估计值来获取第二类点的估计值，而不是单纯的利用最原始的低分辨率图像像素值；b、使待估值像素点位于局部窗口的中心；c、局部窗口内所有的低分辨率图像的像素点构成局部邻域像素集合。

Claims (6)

1.基于核回归的单帧图像快速超分辨率重建方法，其特征在于它包括下述步骤：一、把低分辨率图像上的像素点映射到高分辨率网格中，并使上述像素点位于高分辨率网格的网格交点上；二、将高分辨率网格中剃除低分辨率图像像素点占据的网格交点之外的网格交点，作为待估值像素点，并依据空间位置关系，将待估值像素点进一步分为两类，第一类待估值像素点是高分辨率网格的交叉点中剔除位于低分辨率图像像素点之间连线上的点后所剩余的待估值像素点；第二类待估值像素点是位于低分辨率图像像素点之间连线上的待估值像素点；三、依次取出第一类待估值像素点，确定每个第一类待估值像素点的正方形邻域像素集合，把正方形邻域像素集合中各点的像素值代入核回归方程进行计算，确定该待估值像素点的像素值并赋值给该点；四、依次取出第二类待估值像素点，确定第二类待估值像素点的菱形邻域像素集合，利用菱形像素邻域集合中各点的像素值代入核回归方程进行计算，确定该待估值像素点的像素值并赋值给该点；五、当所有待估值像素点都赋值后输出图像。

2.根据权利要求1所述的基于核回归的单帧图像快速超分辨率重建方法，其特征在于核函数采用高斯径向基函数。

3.根据权利要求1所述的基于核回归的单帧图像快速超分辨率重建方法，其特征在于步骤三中第一类待估值像素点的正方形邻域像素集合是这样确定的：a、采用正方形局部窗口并确定局部窗口大小为n×n，n×n为局部窗口内低分辨率图像的像素点数目，n等于4或8；b、使待估值像素点位于局部窗口的中心；c、局部窗口内所有的低分辨率图像的像素点构成局部邻域像素集合。

4.根据权利要求3所述的基于核回归的单帧图像快速超分辨率重建方法，其特征在于局部窗口为4×4。

5.根据权利要求3所述的基于核回归的单帧图像快速超分辨率重建方法，其特征在于待估值像素点因位于低分辨率图像的图像变缘使其局部邻域像素集合中缺失部分像素点的像素值时，利用低分辨率图像边缘处的像素点，采用镜像对称方式来获得缺失部分像素点的像素值。

6.根据权利要求1所述的基于核回归的单帧图像快速超分辨率重建方法，其特征在于a、采用菱形局部窗口并确定局部窗口大小为m×m，m等于4或8，所述m为菱形的一条边中含有的第一类待估值像素点和低分辨率图像像素点的个数和；b、使待估值像素点位于局部窗口的中心；c、局部窗口内所有的低分辨率图像的像素点构成局部邻域像素集合。

Images