CN102222320B - 基于全变分迭代反向投影的单帧图像空间分辨率增强方法 - Google Patents

Abstract

本发明公开了一种基于全变分迭代反向投影的单帧图像空间分辨率增强方法，其方法是：(1)利用双线性插值获取低分辨率图像I^l的初始高分辨率估计图像

(2)利用成像退化模型对

降质，将I^l与降质后图像作差获取反向投影误差e；(3)利用双线性插值对e上采样，得投影误差e^z；(4)利用全变分方法对e^z正则化，得修正后的上采样投影误差e^TV；(5)利用e^TV对

进行修正，得反向投影后的高分辨率图像I^BP；(6)利用全变分方法对I^BP进行正则化，得全变分反向投影处理后的高分辨率图像I^TV；(7)将本轮得到的I^TV反馈到第(2)步取代进行下一轮反向投影和正则化处理。本发明有效提高了对图像边缘特征的保持，降低图像高分辨率估计值与实际值之间的偏差，可用于单帧灰度或彩色图像的超分辨率复原。

Description

基于全变分迭代反向投影的单帧图像空间分辨率增强方法

技术领域

本发明属于数字信号处理技术领域，是一种数字图像复原方法，具体涉及的是基于全变分迭代反向投影的单帧图像空间分辨率增强方法，适合用于单帧图像的空间分辨率增强。

背景技术

高空间分辨率的图像能够提供更丰富的场景细节信息，因而成为当今医学影像、遥感遥测、多媒体通信以及光电显示等应用领域的迫切需求。然而许多成像系统受其物理条件的限制，所获取图像的空间分辨率较低。提高成像分辨率最直接的途径就是通过增加探测元密度以实现空间采样率的提升。而高密度图像传感器的研制涉及到多个基础研究领域，难以在短时间内完成；此外，随着探测元尺寸的减小，散弹噪声将会严重影响成像信噪比，探测元尺寸的下限也受到限制。可见，采用改善成像装置硬件的方法获取高分辨率图像，成本高且难于实现。而采用基于现代信号处理的超分辨率复原技术，无需改变成像系统结构，仅通过计算机软件处理就能提高图像的高空间分辨率，是一种低费效比的方法。

超分辨率复原方法分为：序列帧超分辨率方法和单帧超分辨率方法两类。其中，前者利用帧间的亚像素平移提供的大量冗余信息重建高分辨率图像，但此类方法需进行大量的相关运算和数据吞吐操作，且需要大容量的外部存储空间，从而导致难以实现实时处理。因此，在实时性要求较高的应用中多采用单帧超分辨率方法。

单帧超分辨率方法通过引入约束条件发掘附加信息以恢复成像过程中损失的高分辨率细节。现有的单帧超分辨率方法通常可分为基于实例和基于插值两类。基于实例的方法可产生高分辨率的细节，但计算复杂度较高；基于插值的方法计算简单执行效率高，但会导致图像边缘模糊。为了使基于插值的超分辨率方法所产生图像边缘更加清晰，许多改进算法被提出来。例如，边缘方向插值，该方法需要去模糊的后处理过程，然而对边缘的精确定位本身就难以实现。此外，迭代反向投影方法同时实现了插值和去模糊，然而此方法却会在所获得图像的边缘处产生棋盘和振铃效应，从而影响到超分辨率复原效果。显然，上述方法对图像边缘特征保持方面还存在不足，不利于图像的高分辨率细节恢复。因此，针对如何保持图像的边缘特征，寻求一种有效而可靠的方法对单帧图像超分辨率复原就显得尤为重要。

发明内容

针对上述存在的问题，本发明的目的是在于将全变分方法引入到迭代误差的正则化过程中，提出了一种新颖的基于全变分迭代反向投影的单帧图像空间分辨率增强方法，以减小图像高分辨率估计值与实际值之间的偏差，提高复原图像边缘和纹理的清晰度。

实现本发明目的的技术方案是：针对单帧图像超分辨率复原中边缘特征保持的要求，引入全变分方法以正则化迭代误差，将全变分方法与迭代反向投影超分辨率方法相结合，具体步骤如下：

(1)利用双线性插值方法对低分辨率图像I^l进行插值，获取高分辨率图像的估计值

(2)利用退化模型对

进行包括模糊和下采样的降质处理，而后与低分辨率图像I^l作差，计算出反向投影误差e。

(3)利用双线性插值方法对反向投影误差进行插值，获取上采样的投影误差值e^z。

(4)利用全变分方法对投影误差e^z进行正则化，得到修正后的上采样投影误差e^TV。

(5)利用e^TV对高分辨率图像的估计值进行修正，得到反向投影后的高分辨率图像I^BP。

(6)再次利用全变分方法对I^BP进行正则化，得到全变分反向投影处理后的高分辨率图像I^TV。

(7)将I^TV反馈到步骤(2)中取代

进行下一轮的反向投影和正则化处理。

上述步骤(2)，高分辨率图像I^h退化成低分辨率图像I^l的成像过程，根据公式I^l＝(I^h*B)↓_S的退化模型描述，式中B代表模糊因子，它由探测器的点扩散函数决定，*代表卷积算子，↓_S代表S倍下采样算子；根据上述退化模型，可计算出高分辨率图像估计值

经过降质处理后的低分辨率图像而后将

与实际的低分辨率图像Il作差，计算出反向投影误差 $e=I^l-\widehat{I^l}.$

上述步骤(4)中e^TV的计算公式为

$e^{\mathrm{TV}}=e^z+\mathrm{\Δt}\·\mathrm{\λ}\·(e^z-e_f^z)+\mathrm{\Δt}\·\▿\frac{{\▿e}^z}{|\▿e^z|}$

式中，e^z为本轮步骤(3)得到的上采样投影误差值，为上一轮步骤(3)得到的上采样投影误差值，Δt为时间步长，λ为正则化参数，

为偏导数算子。

本发明由于在迭代的重建误差修正过程中将全变分正则化与反向投影复原方法相结合，即用全变分方法对每一轮次的反向投影误差和结果进行正则化处理，能够有效地提高对各向异性边缘特征的保持，从而降低了图像高分辨率估计值与实际值之间的偏差，使得超分辨率复原后的图像边缘和纹理细节更加锐利清晰。

附图说明

图1是本发明的实现框图；

图2是本发明方法与现有方法对灰度图像分辨率增强效果对比图；

图3是本发明方法与现有方法对彩色图像分辨率增强效果对比图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图1，本实施例是基于全变分迭代反向投影的单帧图像空间分辨率增强，包括以下步骤：

步骤1，利用双线性插值方法对低分辨率图像I^l进行插值，获取高分辨率图像的估计值

$\widehat{I^h}=\left(I^l\right){\↑}_S---\left(1\right)$

式中，↑_S代表S倍双线性插值算子。

步骤2，利用退化模型对

进行包括模糊和下采样的降质处理，而后与低分辨率图像I^l作差，计算出反向投影误差e。

通常，高分辨率图像I^h退化成低分辨率图像I^l的成像过程可以用如(2)式所示的退化模型描述，式中B代表模糊因子，它由探测器的点扩散函数决定，*代表卷积算子，↓_S代表S倍下采样算子。

I^l＝(I^h*B)↓_S    (2)

根据式(2)，可计算出高分辨率图像估计值

经过降质处理后的低分辨率图像

$\widehat{I^l}=(\widehat{I^h}*B){\↓}_S---\left(3\right)$

而后将

与实际的低分辨率图像I^l作差，计算出反向投影误差

$e=I^l-\widehat{I^l}---\left(4\right)$

步骤3，利用双线性插值方法对反向投影误差e进行S倍的插值，获取上采样的投影误差值

e^z＝(e)↑_S    (5)

步骤4，利用全变分方法对投影误差e^z进行正则化，得到修正后的上采样投影误差

$e^{\mathrm{TV}}=e^z+\mathrm{\Δt}\·\mathrm{\λ}\·(e^z-e_f^z)+\mathrm{\Δt}\·\▿\frac{{\▿e}^z}{|\▿e^z|}---\left(6\right)$

式中，e^z为本轮步骤3得到的上采样的投影误差值，

为上一轮步骤3得到的上采样的投影误差值，Δt为时间步长，λ为正则化参数，

为偏导数算子。

步骤5，利用e^TV对高分辨率图像的估计值

进行修正，得到反向投影后的高分辨率图像

$I^{\mathrm{BP}}=\widehat{I^h}+e^{\mathrm{TV}}*p---\left(7\right)$

式中，p为恒定的反向投影核。

步骤6，再次利用全变分方法对I^BP进行正则化，得到全变分反向投影处理后的高分辨率图像

$I^{\mathrm{TV}}=I^{\mathrm{BP}}+\mathrm{\Δt}\·\mathrm{\λ}\·(I^{\mathrm{BP}}-I_f^{\mathrm{BP}})+\mathrm{\Δt}\·\▿\frac{{\▿I}^{\mathrm{BP}}}{|\▿I^{\mathrm{BP}}|}---\left(8\right)$

式中，I^BP为本轮步骤5得到反向投影后的高分辨率图像，为上一轮步骤5得到反向投影后的高分辨率图像。

步骤7，将I^TV反馈到步骤2的(3)式中取代

进行下一轮的反向投影和正则化处理。

本实施例提出的基于全变分迭代反向投影的空间分辨率增强方法与现有方法对灰度和彩色图像的分辨率增强效果分别如图2和图3所示。从图2和图3可以看出，本发明提出的全变分迭代反向投影方法在边缘特征的保持方面要优于现有的双线性插值、改进的新边缘方向插值(iNEDI)、迭代曲率插值(ICBI)、迭代反向投影(IBP)和非局部迭代反向投影(NLIBP)方法。

本实施例提出的空间分辨率增强方法与现有方法性能的量化对比分别如表1和表2所示。

表1本实施例的方法与现有方法仿真结果的PSNR对比

由表1可见，经本实施例提出方法增强后的图像的峰值信噪比(PSNR)显著高于现有方法增强后的图像。

表2本实施例方法与现有方法仿真结果的SSIM对比

由表2可见，经本实施例提出方法增强后图像的结构相似度(SSIM)也显著高于现有方法增强后的图像。

上述结果充分说明了，本发明方法在对图像进行空间分辨率增强时能够更好地保留边缘和细节信息，从而更加接近实际的高分辨率图像。

综上，本发明所提出的基于全变分的迭代反向投影方法能在增强图像空间分辨率的同时有效保持了边缘特征，对图像的高分辨率细节的恢复起到了重要作用。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (3)

1.基于全变分迭代反向投影的单帧图像空间分辨率增强方法，其特征在于，其包括如下步骤：

(1)利用双线性插值方法对低分辨率图像I^l进行插值，获取高分辨率图像的估计值

$\widehat{I^h}=\left(I^l\right){\↑}_S$

式中，↑_S代表S倍双线性插值算子；

(2)利用退化模型对

进行包括模糊和下采样的降质处理，而后与低分辨率图像I^l作差，计算出反向投影误差e；

(3)利用双线性插值方法对反向投影误差进行插值，获取上采样的投影误差e^z；

(4)利用全变分方法对投影误差e^z进行正则化，得到修正后的上采样投影误差e^TV；

(5)利用e^TV对高分辨率图像的估计值

进行修正，得到反向投影后的高分辨率图像I^BP；

(6)再次利用全变分方法对I^BP进行正则化，得到全变分反向投影处理后的高分辨率图像

$I^{\mathrm{TV}}=I^{\mathrm{BP}}+\mathrm{\Δt}\·\mathrm{\λ}\·(I^{\mathrm{BP}}-I_f^{\mathrm{BP}})+\mathrm{\Δt}\·\▿\frac{{\▿I}^{\mathrm{BP}}}{\left|{\▿I}^{\mathrm{BP}}\right|}$

式中，Δt为时间步长，λ为正则化参数，

为偏导数算子，I^BP为本轮步骤(5)得到反向投影后的高分辨率图像，

为上一轮步骤(5)得到反向投影后的高分辨率图像；

(7)将I^TV反馈到步骤(2)中取代

进行下一轮的反向投影和正则化处理。

2.根据权利要求1所述的基于全变分迭代反向投影的单帧图像空间分辨率增强方法，其特征在于，上述步骤(2)中，高分辨率图像I^h退化成低分辨率图像I^l的成像过程，根据公式I^l＝(I^h*B)↓_S的退化模型描述，式中B代表模糊因子，它由探测器的点扩散函数决定，*代表卷积算子，↓_S代表S倍下采样算子；根据上述退化模型，可计算出高分辨率图像估计值经过降质处理后的低分辨率图像

而后将

与实际的低分辨率图像I^l作差，计算出反向投影误差

3.根据权利要求1所述的基于全变分迭代反向投影的单帧图像空间分辨率增强方法，其特征在于，上述步骤(4)中e^TV的计算公式为

$e^{\mathrm{TV}}=e^z+\mathrm{\Δt}\·\mathrm{\λ}\·(e^z-e_f^z)+\mathrm{\Δt}\·\▿\frac{{\▿e}^z}{\left|{\▿e}^z\right|}$

式中，e^z为本轮步骤(3)得到的上采样投影误差值，为上一轮步骤(3)得到的上采样投影误差值，Δt为时间步长，λ为正则化参数，为偏导数算子。

Images