CN103544687A - 图像超分辨率重建高效方法 - Google Patents

Abstract

本发明公开了一种图像超分辨率重建的方法，通过用不同已有算法的比较迭代，集成为一种超级算法，可以在保证效率的前提下，提高重建图像的效果。在本发明中，用户可以自主选择要恢复的分辨率和手动处理及自动处理两种模式。本发明可通过自适应的算法为用户返回最佳结果。

Description

图像超分辨率重建高效方法

技术领域

本发明属于图像信号处理技术领域，具体涉及非均匀间隔样本内插，迭代反响投影法和凸集投影法，以及方法的整合和高效性分析。

背景技术

从七十年代起，人们便广泛使用图像传感器来获取数字图像，但是在数字图像的采集和处理过程中，有许多因素会导致图像分辨率的下降；另外，在成像、传输、存储过程当中，也会引入不同类型的噪声(如高斯、椒盐噪声等)，这些都会直接影响到图像的分辨率。因此，为了满足人们低成本同时又能显著提高图像分辨率的需求，研究人员引入了软件的思想，提出了从多个低分辨率图像或图像序列中重建的高分辨率图像的方法。使用信号处理技术，从多幅低分辨率图像来获得一幅高分辨率图像图像或者高分辨率图像序列，这样的方法称为超分辨率图像重建。

早期的工作主要集中在频率与进行，也就是在频域解决图像内插问题，理论基础为傅里叶变换的疑问特性。但基于频域的内插方法局限于全局平移运动和线性空间不变的降质模型。

当前的工作主要实在空间域完成的，我们认为低分辨率图像的一个像素是由高分辨率图像的若干离散像元加权混合而成，它将复杂的运动模型与相应的差值、迭代以及滤波重采样放在一起处理。目前主要方法有：非均匀间隔样本内插法，迭代反向投影法，集合论方法(如凸集投影)等等。相对比来说，前两种方法结合先验信息能力比较弱，而POCS方法方便加入先验信息，保持了高分辨率细节，但其解不唯一，收敛慢，并且不稳定。

发明内容

本发明的目的在于提供一种通用的超分辨率重建的方法。

为了实现上述目的，本发明的采用的技术方案如下：

第一步：用户选择要进行超分辨率重建的图片，既可以是单帧图片，也可以是一个图像序列。图像的采集可以是本地图像，也可以是现场拍摄。

第二步：用户选择想要恢复的分辨率。

第三步：用户选择手动处理/自动处理。

第四步：根据用户选择的图像的类型，序列长度，用不同的算法对图像进行超分辨率重建，把结果保存在缓冲区中。

第五步：若用户选择自动处理，根据缓冲区的结果，用主观评判的标准，选择一个最好的结果。跳至

第六步：若用户选择手动处理，则令其选择处理方法，同时预留出查看全部的选项，最后由用户选择出最满意的结果图。

第七步：对最好的结果进行后处理，返回给用户。

第八步：用户选择保存结果/放弃结果。

第九步：若用户选择保存结果，则根据用户第二步中选择的分辨率导出至本地。

附图说明

图1为迭代反向投影法流程图

图2为凸集投影法流程图

具体实施方式

本发明主要涉及三大类超分辨率重建的经典算法，分别是非均匀间隔样本内插法，迭代反响投影法和凸集投影法，并对这三大类方法进行了改进。

首先，非均匀间隔样本内插法包括最邻近插值，双线性差值，双三次差值，这些均可以看作是传统的图像复原插值技术。这三种方法根据已知点的信息，拟合出一个二维曲面，进而推断出未知像素点的信息。最邻近插值是零阶插值，即另输出像素的像素值等于离它所映射到的位置最近的输入像素的像素值，这应该是最简单的一种差值方法，但在很多情况下，结果很难令人接受，因为当图像中包含像素之间灰度级别有变化的细微结构时，最邻近插值法会在图像中产生人工的痕迹。双线性插值是取该像素点周围矩形栅格的4个顶点确定一条二次曲面f(x，y)＝ax+by+cxy+d，从而决定此矩形面内的各个插入像素点的灰度值。双三次差值与双线性插值类似，这种方法是拟合一条三次曲线，在这种方法中，函数f在点(x，y)的值可以通过矩形网格中最近的十六个采样点的加权平均得到，在这里需要使用两个多项式插值三次函数，每个方向使用一个。双三次插值通过公式

进行计算。计算系数aij的过程依赖于插值数据的特性。如果已知插值函数的导数，常用的方法就是使用四个顶点的高度以及每个顶点的三个导数。以上三种算法随着阶数的增加，运算精度和准确度都在增加，但是运算量也不断增加。

其次，迭代反向投影法是一个重复的迭代过程。首先假定初始值f(0)是想要得到的结果，模拟成像过程得到一个低分辨率图像(LR)的集合{gk(0)}。如果f(0)是正确的高分辨率图像，则得到的这一集合就应该和一致的低分辨率图像序列集合相等。而通过将它们之间的差值{gk-gk(0)}返回给f(0)中相应的区域可以改善f(0)，得到一个相对较正确结果的f(1)。反复迭代该过程，使得一下误差函数达到最小值

其具体步骤为：

将初始四幅低分辨率图像依次读入，并依次将二、三、四幅图像根据第一幅图像做运动估计，返回运动参数。

根据返回的运动参数将四幅图像进行配准。

将第一幅图像进行二维线性插值，作为高分辨率的初始估计值f0。

将f0与点扩散函数(取高斯模型)作用后与第二幅图像做差，其结果的绝对值-如果小于给定的某个阈值，则继续与下一幅图像比较，直至比较所有图像之后转(6)，否则转(5)。

将二者之间的差值做高斯反变换加回原来的f0，更新数据之后，返回(4)。

将得到的结果中小于0的灰度值都赋值为0，大于255的灰度值都赋值为255，输出图像。

再次，凸集投影(Projection onto Convex Sets，POCS)方法把成像系统空间相应特性及噪声统计特性等先验知识作为进行图像重构的约束条件，每个约束条件对应于整个成像空间中的一个含有理想高分辨率的凸型约束集。这组凸型约束集代表了期望的超分辨率图像的一些特性，如正定、能量有界等，通过这些约束集就可以得到简化的解空间。POCS是一种迭代过程，在给定超分辨率图像空间中任意一个点的前提下，可以定位一

能满足所有凸型约束集条件的点(这些凸集的交集中的点即为收敛解)。因为一般来说交集不是唯一的点，所以最终结果往往和最初点的选取有关。POCS的基本理论如下：

假设理想高分辨率图像f(x，y)，用M×N的传感器阵列对其进行采样以得到M×N分辨率的图像序列(LR)，则传感器阵列中第i个传感器的输出可以表示为：

y_i＝∑∑f[m，n]σ_i[m，n]

式中，σ_i[m，n]为传感器空间响应特性，可用下式表示：

上式可写为矩阵形式：

y_i＝σ_i ^Tf

于是可以得到凸形约束集合：

C_i＝{f|σ_i ^Tf＝y_i}，1＜i＜M×N

这个集合的元素为所有满足使第i个传感器的输出值为yi的高分辨率图像。对低分辨率图像序列的每个像素点都有这样的集合，寻找出它们交集中的一个元素f，即f满足所有的集合的条件，也就是说f经过成像系统可以得到对应的LR图像序列。

目前已有很多的投影算法，一般来说可以使用与投影算子相乘的方法。定义投影算子Pi为：

POCS算法的过程就是先预估计一帧SR图像，作为成像空间的初始点，设此点为f(0)，然后将f(0)依次投影在凸形约束集合C_i(1＜i＜M×N)上，使得重构结果满足所有凸形约束集合，即重构结果与观察图形一致。投影过程如下：

f(n+1)＝P₁P₂P₃…P_Kf⁽ⁿ⁾

式中K为凸型约束集合的个数，也就是要经过投影的次数。

在不考虑噪声的情况下，使用的观察模型为：

y_k＝H_Kf

式中

$H_k={[{\mathrm{\σ}}_{1k}^T{\mathrm{\σ}}_{2k}^T...{\mathrm{\σ}}_{\mathrm{MNk}}^T]}^T$

如果加上噪声的因素，则使用下面的观察模型：

Y＝Hf+N

凸集约束集合可重新定义为：

C_i＝{f||r_i＜δ₀|}

我们可以看出，r_i为观察模型中的噪声，δ₀为根据噪声统计特性所设定的一个阈值。上述两种模型的基于POCS方法的超分辨率复原过程类似，只需将投影算子重新修订即可。

如果除了观察到的LR图像之外，还有已知的先验知识作为约束条件，可以通过增加一个或多个凸形约束集合的办法将这些先验知识方便的加入到基于POCS方法的超分辨率复原过程中。应用较多的幅度约束条件，如已知SR的所有像素值在区间[α，β]内，则可增加此凸形约束集合：

C_i＝{f|α≤f_i≤β，α＜β}

若有先验知识：SR图像与图像f_s接近，则可增加加凸集约束集合：

C_i＝{f||f-f_s|≤ε}

式中ε为根据两帧图像相似度而设定的阈值。

Claims (6)

1.用户选择要进行超分辨率重建的图片，既可以是单帧图片，也可以是一个图像序列。图像的采集可以是本地图像，也可以是现场拍摄。

2.用户选择想要恢复的分辨率。

3.用户选择手动处理/自动处理。

4.根据用户选择的图像的类型，序列长度，用不同的算法对图像进行超分辨率重建，把结果保存在缓冲区中。

5.若用户选择自动处理，根据缓冲区的结果，用主观评判的标准，选择一个最好的结果。跳至第六步

6.若用户选择手动处理，则令其选择处理方法，同时预留出查看全部的选项，最后由用户选择出最满意的结果图。

Images