CN104766272A - 一种基于亚像素偏移模型的图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于亚像素偏移模型的图像超分辨率重建方法，首先将输入图像配置于一个网格中，并形成像素均匀分布的图像；然后提出一种亚像素偏移模型，并由此构造新的图像退化模型；接着设计基于梯度的偏移估计算法估计出亚像素偏移量，并据此构造和计算偏移核函数；最后根据新的图像退化模型，利用所述偏移核函数和泰勒级数扩展法则构造核回归估计式，并由此重建出高分辨率图像。本发明所提方法将核回归超分辨率重建中的插值重采样和复原两个独立环节整合，避免了分步建模的复杂性和解卷积的不适定性。同时，所提供的方法对于观测图像的数量没有限定，既可用于单帧重建也可用于多帧重建，适用性增强。

Description

一种基于亚像素偏移模型的图像超分辨率重建方法

技术领域

本发明涉及一种基于亚像素偏移模型的图像超分辨率重建方法，属于计算机图像与视频处理领域。

背景技术

近年来，高分辨率显示设备，特别是高清液晶显示器已普及。而很多情况下，展现在高清显示器上的图像或视频却并不清晰。这主要是由于在图像或视频获取环节，所用设备大多考虑成本要素(主要有技术、资金等)，其成像传感器固有分辨率受限，只能获取低分辨率图像。如何不增加成像设备成本，又能最大限度发挥高分辨率显示设备的性能(高清地呈现低分辨率图像)，为相关应用(例如，医学成像诊断、卫星遥感分析、远程监控研判或移动互联娱乐等)提供准确的信息或丰富的消费体验，是科技人员所面临的挑战。为克服低成本成像传感器分辨率的固有局限性，超分辨率(SR)图像重建技术被应用并成为一个非常活跃的研究领域。它将同一场景的单或多帧低分辨率退化图像作为输入，通过亚像素精度的配准和融合，重建出一帧高分辨率图像，是一种有效的分辨率增强技术。

现有的超分辨率重建技术大致可分为以下几类:1).基于函数插值的方法：根据其基函数的不同，主要有零阶保持、双线性、双三次和离散傅里叶变换插值等。但以上方法均基于原始高分辨率图像信号是带限的假设，这并不能真实反映图像信号的天然特征。因此，此类方法难以重建出保真图像。2).基于实例的方法:首先从已有的实例图像样本库中抽取出一系列高频模式，用以与待重建图像进行匹配。如果实例图像足够多，那么众多高频模式就足以恢复低分辨率图像中丢失的高频信息。然而很多情况下，实例图像的数量并不能保证，这就影响了基于实例重建的效果。3).基于重构的方法:通过建立图象退化模型，沿插值-复原路径对低分辨率图像进行重建。该类方法使用严谨的数学模型，且抑制噪声时能保持边缘，因而广受关注，新算法层出不穷。尤其是近来出现的基于核回归的超分辨率重建算法，利用各向异性核回归对单帧低分辨率图像完成插值放大，而后再进行复原，使方向性纹理得到更好地重建。

上述传统的核回归超分辨率重建算法中，插值过后还要进行复原的原因在于：用于插值的核回归仅解决了退化图像的欠采样和噪声问题，其结果与原始图像之间还有一定差别(主要是原始高频细节无法恢复，导致结果模糊)。通过下面数学方式来解释更加直观：

假设高分辨率图像f为原始图像，实际的观测图像y是f的低分辨率退化版本。退化因素主要有模糊、欠采样和噪声，退化模型如下所示：

y＝D(h*f)+n＝Dg+n＝z_g+n

其中*表示卷积运算，h表示模糊核，D表示欠采样算子，n表示噪声，g表示f的模糊版本，z_g表示f的欠采样模糊版本。核回归就是利用y估计出回归函数z_g(x)，这里x＝[x₁,x₂]^T表示图像中的坐标。显然，z_g就是z_g(x)的离散形式，而g可通过对z_g(x)重新高频采样而获得。但是，要进一步得到f就必须对g进行解卷积运算，这实际也是复原(去模糊)过程。

事实上，解卷积大多都会存在不适定问题，复原结果很容易出现振铃、过冲等形式的伪影，难以消除。而且，模糊、欠采样和噪声问题在图像的退化过程中是相互影响的，上述传统的核回归超分辨率重建将这些问题割裂加以解决，难免造成顾此失彼(已解决问题有可能在其它步骤中再次引发)。从数学建模角度来讲，这种分步建模增加了推理步骤的复杂性，也无法做到整体建模的简洁直观。另外，上述核回归重建仅针对单帧低分辨率观测图像，并未给出多帧观测图像重建的解决方案。

发明内容

发明目的：为了解决核回归超分辨率重建中独立的复原环节解卷积效果不佳的问题，本发明提供一种基于亚像素偏移模型的核回归超分辨率重建方法，该方法将核回归超分辨率重建中的插值重采样和复原两个独立环节整合，避免了分步建模的复杂性和解卷积的不适定性。同时，所提供的方法对于观测图像的数量没有限定，既可用于单帧重建也可用于多帧重建，适用性增强。

技术方案：为实现上述目的，本发明的基于亚像素偏移模型的图像超分辨率重建方法，包括以下步骤：

步骤1，将待重建的低分辨率图像进行初始化，得到初始化后的图像y；

步骤2，建立亚像素偏移模型模拟图像的模糊过程，对所述亚像素偏移模型进行欠采样并加入噪声得到新的图像退化模型；

步骤3，利用基于梯度的偏移估计算法估计亚像素偏移量，并根据所述亚像素偏移量构造并计算偏移核函数；

步骤4，根据所述新的图像退化模型，利用所述偏移核函数和泰勒级数扩展法则，构造核回归估计式；

步骤5，基于所述核回归估计式，利用共轭梯度法逐点估计图像像素值，最终得到高分辨率图像。

其中，步骤1中获取所述初始化后的图像y包括以下步骤：

步骤1.1，判断同一场景的低分辨率图像的帧数，若帧数为1则设其为所述初始化后的图像y，若帧数大于1则进行步骤1.2；

步骤1.2，利用Keren配准算法对多帧低分辨率图像y_k(k＝1,2...N)进行配准，其中N为大于1的自然数，表示图像的帧数；根据配准结果将图像y_k置于一个图像网格中，形成图像其像素为非均匀分布；利用核回归对图像进行初始化，得到像素均匀分布的图像作为初始化后的图像y。

其中，步骤2中所述亚像素偏移模型的表达式为：g(x_i)＝f(x_i+s_i)，其中f为原始高分辨率图像，g是将f模糊后的图像，x_i＝[x_1i,x_2i]^T表示图像中的坐标，s_i＝[s_1i,s_2i]^T表示坐标的亚像素偏移量。

所述新的图像退化模型的表达式为：

y(x_i)＝z_g(x_i)+n_i＝g(x_i)+n_i＝f(x_i+s_i)+n_i

式中，n_i表示噪声，z_g是对g进行欠采样后的图像。

其中，步骤3中所述利用基于梯度的偏移估计算法估计亚像素偏移量中，亚像素偏移量s_i＝[s_1i,s_2i]^T用如下公式估计：

$s_{1i}=\mathrm{\αsgn}\left({\▿}_{x_1}y\left(x_i\right)\right)\underset{j\∈\mathrm{\ω}}{\mathrm{\Σ}}{K}_{\mathrm{ij}}{\▿}_{x_1}^{2}y\left(x_j\right),s_{2i}=\mathrm{\αsgn}\left({\▿}_{x_2}y\left(x_i\right)\right)\underset{j\∈\mathrm{\ω}}{\mathrm{\Σ}}{K}_{\mathrm{ij}}{\▿}_{x_2}^{2}y\left(x_j\right),$

式中▽和▽²分别表示一阶和二阶导数算子，sgn(·)表示正负号函数，α表示全局尺度参数，K_ij表示以x_i为中心的2维高斯函数位于x_j处的函数值，ω表示以x_i为中心的局部窗口。

所述偏移核函数的表达式为：

$K_i^s(x_i+s_i-x)=\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}{h}^2}\exp [-\frac{1}{2h^2}{(x_i+s_i-x)}^T{C}_i(x_i+s_i-x)]$

式中，C_i为x_i+s_i处的协方差矩阵，h为平滑参数。

其中，步骤4中所述核回归估计式的表达式如下：

$\begin{array}{c}\hat{f}\left(x\right)=\arg \underset{f\left(x\right)}{\min }\underset{i\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left\{{[y\left(x_i\right)-f(x_i+s_i)]}^2{K}_i^s(x_i+s_i-x)\right\}\\ =\arg \underset{f\left(x\right)}{\min }\underset{i\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left\{{[y\left(x_i\right)-f\left(x\right)-{[\▿f\left(x\right)]}^T(x_i+s_i-x)-\·\·\·]}^2{K}_i^s(x_i+s_i-x)\right\}\end{array}$

式中，Ω表示以x_i为中心的局部窗口。

有益效果：本发明可以在利用核回归对图像进行插值的同时，实现图像的去模糊复原，也就是通过整体建模，不需分插值和复原两个环节，单个环节就完成了超分辨率重建的任务，步骤简洁，推理直观，且能较好解决独立复原环节中常出现的伪影问题。另外，本发明提出的方法不仅适用于单帧图像的超分辨率重建，也适用于多帧图像的超分辨率重建，消除了对观测图像的数量约束。

附图说明

图1是本发明方法的具体实施流程图；

图2是多帧图像配置到网格中的示意图；

图3是像素不均匀分布图像初始化为像素均匀图像的示意图；

图4为1维传统卷积模糊模型示意图；

图5为1维亚像素偏移模型示意图；

图6是基于同一回归函数的不同采样密度图像的纵剖面比较示意图。

具体实施方式

下面结合实施例对本发明作更进一步的说明。

如图1所示，一种基于亚像素偏移模型的图像超分辨率重建方法，包括如下步骤：

第1步，输入受到形变、模糊、降采样和噪声污染的低分辨率图像。

第2步，判断所输入的低分辨率图像的数量。

第3步，如果输入的是单帧图像，则将其设为y，并跳转至第6步；如果输入的是多帧图像，则继续以下步骤。

第4步，利用Keren配准算法对输入的多帧图像y_k(k＝1,2...N)进行配准，N表示总帧数，并根据配准结果将它们置于一个图像网格中，形成图像如图2所示，图像的像素在网格中的分布不均匀。

第5步，利用核回归对图像初始化，得到像素均匀分布的图像y，如图3所示。核回归的具体步骤为：

①构造核函数 $K_m(x_m-x_i)=\frac{1}{2\mathrm{\π}{h}^2}\exp [-\frac{1}{2h^2}{(x_m-x_i)}^T(x_m-x_i)]$ 其中，x_m为图像的像素所在位置的坐标，x_i为图像y的像素所在位置的坐标，h为平滑参数(用来控制核函数的作用范围)；

②推导出y的核回归估计式： $\hat{y}\left(x_i\right)=arg\underset{y\left(x_i\right)}{\min }\underset{m\∈\mathrm{\Π}}{\mathrm{\Σ}}\left\{{[\hat{y}\left(x_m\right)-y\left(x_i\right)]}^2{K}_m(x_m-x_i)\right\},$ 其中，Π表示以x_m为中心的局部窗口；

③基于上述估计式，利用共轭梯度法逐点估计出y(x_i)，估计点x_i为均匀分布。

第6步，建立亚像素偏移模型g(x_i)＝f(x_i+s_i)，用来模拟成像过程中的图像模糊。其中f是高清图像，g是模糊图像，x_i＝[x_1i,x_2i]^T表示图像中的坐标，s_i＝[s_1i,s_2i]^T表示坐标的亚像素偏移量。

相较于传统的卷积模糊模型，亚像素偏移模型能够嵌入后续的核回归估计式中，无需独立的复原环节，实现整体建模、单环节重建。图4为1维传统卷积模糊模型示意图，图5为1维亚像素偏移模型示意图。通过比较可看出，传统卷积模型主要是通过纵向值域变换实现模糊，而亚像素偏移模型主要是通过横向坐标变换实现模糊。亚像素偏移模型的优势在于：f(x_i+s_i)可直接嵌入核回归估计式中(见第10步)，实现对高清图像f的直接重建；而如果是卷积模糊模型h*f(x_i)，其嵌入核回归估计式后，所估计的是模糊图像g，还要进行解卷积操作，其模型的卷积结构导致重建f无法直接实现。

第7步，根据亚像素偏移模型，构造亚像素偏移的图像退化模型(作为图像重建的理论基础)：y(x_i)＝z_g(x_i)+n_i＝g(x_i)+n_i＝f(x_i+s_i)+n_i，自右至左分析此模型，可得出完整的图像退化过程：高清图像f首先变成模糊图像g，接着经过欠采样形成图像z_g，最后加入噪声得到观测图像y。这里，z_g和g的回归函数完全相同，区别仅在于采样点的密度不同，如图6所示。所以如果z_g(x_i)存在，则z_g(x_i)＝g(x_i)。

第8步，估计亚像素偏移量s_i＝[s_1i,s_2i]^T，估计公式为：

$s_{1i}=\mathrm{\αsgn}\left({\▿}_{x_1}y\left(x_i\right)\right)\underset{j\∈\mathrm{\ω}}{\mathrm{\Σ}}{K}_{\mathrm{ij}}{\▿}_{x_1}^{2}y\left(x_j\right),s_{2i}=\mathrm{\αsgn}\left({\▿}_{x_2}y\left(x_i\right)\right)\underset{j\∈\mathrm{\ω}}{\mathrm{\Σ}}{K}_{\mathrm{ij}}{\▿}_{x_2}^{2}y\left(x_j\right),$

其中，▽和▽²分别表示一阶和二阶导数算子，sgn(·)表示正负号函数，α表示全局尺度参数(正比于超分辨率缩放因子)，K_ij表示以x_i为中心的2维高斯函数位于x_j处的函数值，ω表示以x_i为中心的局部窗口。

第9步，构造并计算偏移核函数计算公式为：

$K_i^s(x_i+s_i-x)=\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}{h}^2}\exp [-\frac{1}{2h^2}{(x_i+s_i-x)}^T{C}_i(x_i+s_i-x)]$

其中，C_i为x_i+s_i处的协方差矩阵(由y的偏导数计算得到)，h为平滑参数(用来控制偏移核函数的作用范围)。

第10步，构建加权平方和函数： $\underset{i\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left\{{[y\left(x_i\right)-f(x_i+s_i)]}^2{K}_i^s(x_i+s_i-x)\right\},$ 并将f(x_i+s_i)泰勒扩展，得到以下核回归估计式：

$\begin{array}{c}\\ \hat{f}\left(x\right)=\arg \underset{f\left(x\right)}{\min }\underset{i\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left\{{[y\left(x_i\right)-f\left(x\right)-{[\▿f\left(x\right)]}^T(x_i+s_i-x)-\·\·\·]}^2{K}_i^s(x_i+s_i-x)\right\}\end{array}$

其中，Ω表示以x_i为中心的局部窗口。利用共轭梯度法对上式逐点估计出

第11步，输出作为超分辨率重建的结果。

通过上述实施方式对6帧同场景低分辨率图像进行超分辨率重建实验，又对单帧低分辨率图像进行了超分辨率重建实验。实验表明，本实施方式既能将单帧图像重建，又能将多帧图像重建，特别是将插值和复原两个环节有效整合，提高了重建效率且重建结果较清晰。所以，本发明的超分辨率重建方法的效果是显著的。

Claims (5)

1.一种基于亚像素偏移模型的图像超分辨率重建方法，其特征在于，该方法包括以下步骤：

步骤1，将待重建的低分辨率图像进行初始化，得到初始化后的图像y；

步骤2，建立亚像素偏移模型模拟图像的模糊过程，对所述亚像素偏移模型进行欠采样并加入噪声得到新的图像退化模型；

步骤3，利用基于梯度的偏移估计算法估计亚像素偏移量，并根据所述亚像素偏移量构造并计算偏移核函数；

步骤4，根据所述新的图像退化模型，利用所述偏移核函数和泰勒级数扩展法则，构造核回归估计式；

步骤5，基于所述核回归估计式，利用共轭梯度法逐点估计图像像素值，最终得到高分辨率图像。

2.根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征在于，步骤1中获取所述初始化后的图像y包括以下步骤：

步骤1.1，判断同一场景的低分辨率图像的帧数，若帧数为1则设其为所述初始化后的图像y，若帧数大于1则进行步骤1.2；

步骤1.2，利用Keren配准算法对多帧低分辨率图像y_k(k＝1,2…N)进行配准，其中N为大于1的自然数，表示图像的帧数；根据配准结果将图像y_k置于一个图像网格中，形成图像，其像素为非均匀分布；利用核回归对图像进行初始化，得到像素均匀分布的图像作为初始化后的图像y。

3.根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征在于，步骤2中所述亚像素偏移模型的表达式为：g(x_i)＝f(x_i+s_i)，其中f为原始高分辨率图像，g是将f模糊后的图像，x_i＝[x_1i,x_2i]^T表示图像中的坐标，s_i＝[s_1i,s_2i]^T表示坐标的亚像素偏移量；

所述新的图像退化模型的表达式为：

y(x_i)＝z_g(x_i)+n_i＝g(x_i)+n_i＝f(x_i+s_i)+n_i

其中，n_i表示噪声，z_g是对g进行欠采样后的图像。

4.根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征在于，步骤3中所述利用基于梯度的偏移估计算法估计亚像素偏移量中，亚像素偏移量s_i＝[s_1i,s_2i]^T用如下公式估计：

$s_{1i}=\mathrm{\αsgn}\left({\▿}_{x_1}y\left(x_i\right)\right)\underset{j\∈\mathrm{\ω}}{\mathrm{\Σ}}{K}_{\mathrm{ij}}{\▿}_{x_1}^{2}y\left(x_j\right),s_{2i}=\mathrm{\αsgn}\left({\▿}_{x_2}y\left(x_i\right)\right)\underset{j\∈\mathrm{\ω}}{\mathrm{\Σ}}{K}_{\mathrm{ij}}{\▿}_{x_2}^{2}y\left(x_j\right)$

其中，▽和▽²分别表示一阶和二阶导数算子，sgn(·)表示正负号函数，α表示全局尺度参数，K_ij表示以x_i为中心的2维高斯函数位于x_j处的函数值，ω表示以x_i为中心的局部窗口；

所述偏移核函数的表达式为：

$K_i^s(x_i+s_i-x)=\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}{h}^2}\exp [-\frac{1}{2h^2}{(x_i+s_i-x)}^T{C}_i(x_i+s_i-x)]$

其中，C_i为x_i+s_i处的协方差矩阵，h为平滑参数。

5.根据权利要求1所述的一种基于亚像素偏移模型的图像超分辨率重建方法，其特征在于，步骤4中所述核回归估计式的表达式如下：

$\begin{array}{c}\hat{f}\left(x\right)=\arg \underset{f\left(x\right)}{\min }\underset{i\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left\{{[y\left(x_i\right)-f(x_i+s_i)]}^2{K}_i^s(x_i+s_i-x)\right\}\\ =\arg \underset{f\left(x\right)}{\min }\underset{i\∈\mathrm{\Ω}}{\mathrm{\Σ}}\left\{{[y\left(x_i\right)-f\left(x\right)-{[\▿f\left(x\right)]}^T(x_i+s_i-x)-...]}^2{K}_i^s(x_i+s_i-x)\right\}\end{array}$

其中，Ω表示以x_i为中心的局部窗口。