CN101980289B - 基于频域配准和凸集投影的多帧图像超分辨率重建方法 - Google Patents

Abstract

本发明公开了一种基于频域配准和凸集投影的超分辨率重建，该方法首先读入多帧图像，并选取一张作为配准的参考帧，然后对图像进行配准，得到各帧图像的相对位移。配准算法采用一种基于频域的快速配准算法。然后根据各帧的相对位移，采用凸集投影算法对多帧图像进行超分辨率重建。最后输出图像，由于视频序列采样速度快，相邻帧的位移较小，因此本方法简化了配准过程，只利用图像的中频域信息估计运动平移，而不用估计旋转角，使得配准算法运算量大大减少。同时本方法简化了凸集投影重建过程，只使用图像的亮度幅值约束和高斯点扩散函数这一先验约束，使得超分辨率算法的整体运算量大大减少，同时可保证重建质量。

Description

基于频域配准和凸集投影的多帧图像超分辨率重建方法

技术领域

本发明涉及到一种基于频域配准和凸集投影的多帧图像超分辨率重建方法，此方法主要是利用多帧低分辨率图像来重建高分辨率图像，旨在提高图像的分辨率，增强图像的视觉效果，并且要求运算量较低，能够应用于快速的图像处理设备。本方法能够应用于医学图像处理，遥感图像重建，SDTV转换为HDTV等领域。

背景技术

超分辨率，简而言之就是提高图像或者视频的分辨率，给观看者提供更好的视觉效果。超分辨率复原技术就是由一系列低分辨率图像来估计一幅(或一系列)较高分辨率的图像，同时能够消除加性噪声以及由有限检测器尺寸和光学元件产生的模糊，它是图像融合研究领域中的一个重要分支。

随着科技的发展，摄像头等监控设施被广泛应用于各个领域。但是，由于受限于设备成本(诸如镜头质量、使用年限较长引起的设备老化、为节省资料存储空间而进行的高强度图像降质压缩)、天气条件、与事件目标间的拍摄距离，在所存储的视频资料中，人们感兴趣的对于分析事件有重要意义的细节部分(我们称之为“目标”，例如交通事故中肇事车的车牌，刑事案件中疑犯的人脸)往往由于分辨率过低而难以辨认。在不改变硬件增加成本的情况下，采用超分辨率的方法改善图像或者视频质量，基于已得到的多幅或者单幅图像中，利用各种方法提取更多的信息。如图1所示，为一视频序列中的一帧，该图像由于噪声，模糊，分辨率低等因素影响，所获取的图像模糊不清。图2为用超分辨率技术将宽度和高度各放大两倍后的图像。从图中可以看出放大后的图像比原来图像的细节更加清晰。

由于上述诸多条件的限制，在监控视频资料的每一帧图像中，人们关注的目标区域已丢失了大部分的细节信息而成为低分辨率图像，因此从视频资料中提取并分析单帧图像往往难以在事件分析中发挥作用。但是，计算机视觉领域的研究发现，在同一段视频资料中，各幅低分辨率图像所丢失的细节信息是不尽相同的。而超分辨率技术正是通过提取在这些低分辨率图像中所残留的细节信息，并将这些信息融合之后重新注入用户所指定的某一幅高分辨率图像，从而在放大图像的同时，恢复目标区域的重要细节。其效果相当于在事件发生时，现场有一架高质量的照相机拍摄下了一幅高分辨率图像。

除了从低分辨率视频资料中恢复高分辨率图像之外，对于普通质量的视频，超分辨率技术能有效抑制影像中的噪声以及视频压缩引起的伪彩、色块效应等，以达到提高视频质量的效果，在网络视频点播、遥感、医学成像和高清晰度电视等多个领域也有重要应用。

发明内容

本发明的目的在于针对已有技术催在的缺陷，提供一种基于频域配准和凸集投影的多帧图像超分辨率重建方法实现图像放大，提高图像的分辨率，改善图像的质量，实现多帧图像的超分辨率重建。针对视频序列各帧的相对位移较小的情况，提出一种快速的超分辨算法，并且图像重建质量良好。

为了达到上述目的，本发明的构思是：

1.图像配准

首先选取多帧低分辨率图像中的一帧作为参考图像，假设参考图像为f₁(x)，f₂(x)为需要估计位移的图像，f₂(x)是f₁(x)旋转和偏移的结果。假设f₂(x)相对f₁(x)的旋转角为φ，水平和垂直偏移量为分别为Δx₁和Δx₂，则f₂(x)和f₁(x)的关系可表示为

f₂(x)＝f₁(R(x+Δx))                (1)

其中，x＝[x₁ x₂]^T，Δx＝[Δx₁ Δx₂]^T，

则f₂(x)的傅里叶变换f₂(u)为

F₂(u)＝∫∫_xf₁(R(x+Δx)exp(-j2πu^Tx)dx

＝exp(-j2πu^TΔx)∫∫_xf₁(Rx)exp(-j2πu^Tx)dx

                                                (2)

＝exp(-j2πu^TΔx)∫∫_x′f₁(x′)exp(-j2π(Ru)^Tx′)fx′

＝exp(-j2πu^TΔx)F₁(Ru)

其中，u＝[u₁ u₂]^T，u₁和u₂分别表示频域的水平和垂直坐标。F₂(u)和F₁(u)的振幅关系为

|F₂(u)|＝exp(-j2πu^TΔx)∫∫_xf₁(Rx)exp(-j2πu^Tx)dx|

＝|exp(-j2πu^TΔx)||∫∫_xf₁(Rx′)exp(-j2π(Ru)^Tx′)dx′|        (3)

＝|exp(-j2πu^TΔx)||F₁(Ru)|＝|F₁(Ru)|

通过公式2，3可知，f₂(x)相对f₁(x)旋转角为φ，只影响F₂(u)的振幅，而水平和垂直的位移只影响频谱的相位。

旋转角的求取可采用对两个频谱作自相关，当自相关达到最大时即可得出旋转角度。这样做运算量非常大。对于视频序列这种相对运动位移较小的情况，可以忽略旋转角度的估计，只估计水平和垂直位移来加以近似。水平和垂直位移Δx可根据公式(4)求出，F₂(u)/F₁(u)得到相位谱，为了提高估计精度，采用最小二乘法。

$F_2\left(u\right)=e^{j2\mathrm{\π}{u}^T\mathrm{\Δx}}{F}_1\left(u\right)$

                            (4)

u^TΔx＝angle(F₂(u)/F₁(u))/2π

由于多帧低分辨率图像是降质的高分辨图像，也即低分辨率图像是在低于奈奎斯特采样频率得到的结果，因此低分辨率图像存在混叠效应。当图像出现混叠效应时，公式1不再成立。因此在估计图像相对位移的过程中必须考虑混叠效应的影响。假设连续的一维带限信号f₁(x)，其频谱为F₁(u)，如图3(a)所示。假设最高频率为U_max，采样频率为U_s，U_max＜U_s＜2U_max，图3(b)是在采样频率U_s采样的结果。这时公式(3)(4)就不再成立。我们可以将高频分量滤除，只使用低频成分估计运动参数，图3(c)是低通滤波的结果。

由于低频成分占据图像频谱能量的大部分，10％的低频成分往往占据超过90％的频谱能量。图5为实验中用于重建高分辨率图像中的一张低分辨率图，图4为图5的幅度频谱，可以看出，低频成分占据了绝大部分能量。为了提高估计精度，对位移的估计只使用中频分量。

对于中频分量的选取，将图像转换到频域，频域坐标的中心移到图像的中心，计算出F₂(u)/F₁(u)得到相位谱。假设没有混叠效应的最高频率为U_max，采样频率U_s，定义图像中的任一点到图像中心的距离为r，选取εU_max＜|r|＜U_s-U_max作为中频分量，其中ε∈[0，0.5]，通常取ε＝0.1。然后按照公式4来估计位移。

上述在频域对图像进行配准的步骤是：

(1)对输入图像f₁(x)，f₂(x)...f_n(x)进行傅里叶变换，并选取f₁(x)作为参考图像其他为要估计相当位移的图像。傅里叶变换结果为F₁(u)F₂(u)...F_n(u)。

(2)根据εU_max＜|r|＜U_s-U_max选取图像的频谱范围，这个范围通常在图像中心的三分之一的位置。如图8蓝色部分所示。

(3)根据前述公式4计算图像之间的相对位移，采用最小二乘法。

2.图像重建

采用凸集投影(POCS)算法进行超分辨率重建。将待估计的高分辨率图像看作是一些限制集合的交集，POCS算法使用集合理论，利用空域中的模型，把需要复原的图像的各种先验信息，如正定、能量有界、数据可靠、光滑等，定义为约束凸集，每一约束条件对应于一个含有理想超分辨率图像的凸集。每一个集合用C_i表示，它们的交集用C₀表示，则重建的高分辨率图像y满足

$y\∈\underset{i=1}{\overset{m}{\mathrm{\Σ}}}{C}_i=C_0---\left(5\right)$

凸集的定义为

C_k[m₁，m₂]＝{y[n₁，n₂]：|r^(f)[m₁，m₂]|≤δ_k[m₁，m₂]}

                                                        (6)

$r^{\left(f\right)}[m_1,m_2]=f_k[m_1,m_2]-\underset{n_1,n_2}{\mathrm{\Σ}}y[n_1,n_2]W_k[m_1,m_2;n_1,n_2]$

f_k为低分辨率图像，W_k为系统的点扩散函数，对于理想高分辨率图像的估计y如下(上标(n)和(n+1)表示迭代次数)，n₁，n₂为积分变量，m₁，m₂为图像的坐标：

$y^{(n+1)}[n_1,n_2]=y^{\left(n\right)}[n_1,n_2]+$

$\left\{\begin{array}{c}\frac{r^{\left(f\right)}[m_1,m_2]-{\mathrm{\&delta;}}_k[m_1,m_2].W_k[m_1,m_2,n_1,n_2]}{\underset{p,q}{\mathrm{\&Sigma;}}{W}_k^2[m_1,m_2,p,q]},r^{\left(f\right)}[m_1,m_2]>{\mathrm{\&delta;}}_k[m_1,m_2]\\ 0,\left|r^{\left(f\right)}\right[m_1,m_2\left]\right|<{\mathrm{\&delta;}}_k[m_1,m_2]\\ \frac{r^{\left(f\right)}[m_1,m_2]+{\mathrm{\&delta;}}_k[m_1,m_2].W_k[m_1,m_2,n_1,n_2]}{\underset{p,q}{\mathrm{\&Sigma;}}{W}_k^2[m_1,m_2,p,q]},r^{\left(f\right)}[m_1,m_2]<-{\mathrm{\&delta;}}_k[m_1,m_2]\end{array}\right.---\left(7\right)$

经过循环迭代可求得最终的估计结果。对于低分辨图像相对位移较小的情况，重建过程只使用平移参数，系统的点扩散函数设定为高斯函数，在每次循环中使用一次能量约束条件。

上述凸集投影算法步骤是：

(1)对参考帧放大到目标尺寸，得到y⁽⁰⁾这一过程采样双线性差值法。

(2)用高斯核对放大的图像y⁽ⁿ⁾进行模糊，来近似低通过程，将核归一化，保证能量在输入图像的幅值范围内；

(3)将其他图像同样双线性差值放大，根据已经求得的配准信息，将这些图像依次投影到模糊后图像的相应位置，得到y⁽ⁿ⁺¹⁾；

(4)重复步骤2和不步骤3，直到满足循环结束条件。delta＝norm(yⁿ-y^n-2)/norm(yⁿ)小于预定值，其中

本发明与现有技术相比较，具有如下显而易见的突出实质性特点和显著优点：本发明利用多帧低分辨率图像来重建高分辨率图像，旨在提高图像的分辨率，增强图像的视觉效果。因此本发明简化了配准过程，只利用图像的中频信息估计运动平移，而不用估计旋转角，使得配准算法运算量大大减少。同时本方法简化了凸集投影重建过程，只使用图像的亮度幅值约束和高斯点扩散函数这一先验约束，使得超分辨率算法的整体运算量大大减少，同时可保证重建质量。本算法对视频序列的重建效果很好。

附图说明

图1超分辨率应用实例的原图

图2是超分辨率应用实例放大后的图像

图3a、3b、3c分别是一维带限信号频谱、采样后混叠频谱、低通滤波结果。

图4为图5的幅度频谱。

图5是本发明一个实施例中所用的低分辨率视频序列中的一帧图像；

图6是双线性插值的结果，作为超分辨率重建的初始估计；

图7是用本发明方法一个实施例得到的最终重建结果。

图8：配准算法选取频率范围示意图

图9，图10，图11：测试图像Lena、Cameraman、Baboon(从左到右)。

图12本方法的流程图。

具体实施方式

本发明的优选实施例子结合附图详述如下：

实施例：参见图1，图2。本基于频域配准和凸集投影的多帧图像超分辨率重建方法，其特征在于其具体实现步骤是：

A、读入多帧图像，并选取一张作为配准的参考帧

B、图像配准：将图像转换到频域，对较小偏移量情况下，仅估计水平和垂直位移分量，忽略旋转角；

C、图像重建：根据所求的位移参数，将低分辨率图像配准到高分辨率的网格上，使用凸集投影算法进行超分辨率重建；

D.输出图像

实施例2：

本实施例与实施例一基本相同，特别之处如下：

本实施例首先提取一视频序列的连续10帧，分别为f₁(x)，f₂(x)…f₁₀(x)，大小为90×90。如图5所示为从视频序列中选取十帧图像中的一帧。

(一)图像配准

(1)对输入图像f₁(x)，f₂(x)…f₉(x)进行傅里叶变换，并选取f₁(x)作为参考图像其他为要估计相当位移的图像。傅里叶变换结果为F₁(u)F₂(u)…F₁₀(u)。

(2)根据εU_max＜|r|＜U_s-U_max选取图像的频谱范围，这个范围通常在图像中心的三分之一的位置。如图5蓝色部分所示。

(3)根据公式4计算图像之间的相对位移，采用最小二乘法。

按照频域配准算法计算参考图像和其他图像的平移参数如表1所示。

(二)图像重建

(5)对参考帧放大到目标尺寸，得到y⁽⁰⁾这一过程采样双线性差值法。双线性差值结果如图6所示。

(6)用高斯核对放大的图像y⁽ⁿ⁾进行模糊，将核归一化，保证能量在输入图像的幅值范围内，选取的高斯点扩散函数为如下矩阵，[0.25 0 1 0 0.25；0 1 2 1 0；12 4 2 1；0 1 2 1 0；0.25 0 1 0 0.25]；

(7)将其他图像同样双线性差值放大，根据已经求得的配准信息，将这些图像依次投影到模糊后图像的相应位置，得到y⁽ⁿ⁺¹⁾；

(8)重复2和3，直到满足循环结束条件，delta＝norm(y⁽ⁿ⁾-y^(n-2))/norm(y⁽ⁿ⁾)小于预定值，其中

图7为最终的重建结果。实验环境为Matlab7.8，2.5GHz CPU，2GB RAM，重建运行时间为0.9s。实验：对图像和视频放大，同时提高图像的质量，是本发明的目的，为了进一步说明本发明的实用性，给出了更多的实验结果，我们选取“Cameraman”，“Lena”，“Baboon”这3幅图像作为测试图像，如图9，10，11所示，分别产生4幅128×128的降质图像，然后分别用这些图像重构256*256的高分辨率图像，用本发明的方法，重构运行时间及PSNR值如表2所示。

表一

Δx	0	0.0016	-0.0102	0.0040	0.1778	0.1931	0.1920	0.1599	0.3773	0.3677
											Δy	0	0.1701	0.4032	0.6994	0.0108	0.1697	0.4206	0.6698	0.0034	0.1671

表二

Claims (1)

1.一种基于频域配准和凸集投影的多帧图像超分辨率重建方法，其特征在于其具体实现步骤是：

A、读入多帧图像，并选取一张作为配准的参考帧；

B、图像配准：将图像转换到频域，对较小偏移量情况下，仅估计水平和垂直位移分量，忽略旋转角；具体步骤为：

(1)对输入图像f₁(x)，f₂(x)...f_n(x)进行傅里叶变换，并选取f₁(x)作为参考图像，其他为要估计相对位移的图像；傅里叶变换结果为F₁(u)、F₂(u)、...F_n(u)，以u为频域坐标；

(2)根据εU_max＜|r|＜U_s-U_max选取图像的频谱范围，其中ε∈[0，0.5]，U_max为假设的没有混叠效应的最高频率，r为定义频域图像中一点到图像中心的距离，U_s为采样频率；

(3)根据公式 $\begin{array}{c}{F}_2\left(u\right)=e^{j2\mathrm{\&pi;}{u}^T\mathrm{\&Delta;x}}{F}_1\left(u\right)\\ u^T\mathrm{\&Delta;x}=\mathrm{angle}(F_2\left(u\right)/F_1\left(u\right))/2\mathrm{\&pi;}\end{array}$ 计算图像之间的相对位移，采用最小二乘法，其中，x＝[x₁ x₂]^T，Δx＝[Δx₁ Δx₂]^T，Δx₁和Δx₂分别为水平和垂直的偏移量；

C、图像重建：根据所求的位移参数，将低分辨率图像配准到高分辨率的网格上，使用凸集投影算法进行超分辨率重建；其具体步骤为：

a.对参考帧放大到目标尺寸，得到目标图像的初始估计y⁽⁰⁾，这一过程采用双线性插值法；

b.用高斯核对n次循环放大的结果图像y⁽ⁿ⁾进行模糊，来近似低通过程，将卷积核归一化，保证能量在输入图像的幅值范围内，选取的高斯点扩散函数为矩阵[0.25 0 1 00.25；0 1 2 1 0；1 2 4 2 1；0 1 2 1 0；0.25 0 1 0 0.25]；

c.将其他图像同样双线性插值放大，根据已经求得的配准信息，将这些图像依次投影到模糊后图像的相应位置，得到n+1次循环的结果图像y⁽ⁿ⁺¹⁾；

d.重复步骤b和步骤c，直到满足循环结束条件：delta＝norm(yⁿ-y^n-2)/norm(yⁿ)小于预定值，其中 $\mathrm{norm}\left(y\right)={\left(\underset{i}{\mathrm{\&Sigma;}}\underset{j}{\mathrm{\&Sigma;}}{\left|y_{\mathrm{ij}}\right|}^p\right)}^{1/p};$

D.输出图像。

Images