CN102136144B - 图像配准可靠性模型和超分辨率图像的重构方法 - Google Patents

Abstract

本发明公布了一种图像配准可靠性模型及其构造方法和一种基于该模型的超分辨率图像的重构方法。本发明提供的图像配准可靠性模型，利用图像配准残差在不同尺度下的分布特征和图像局部结构信息来表示每个像素配准可靠性。超分辨率图像的重构方法：利用核回归的预测模型，根据低分辨率图像结构特性和低分辨率图像间的运动关系，根据图像内容和运动特性自适应的3维核函数用来估计高分辨率像素值。本发明不仅能够对运动平滑的低分辨率图像进行超分辨率重构，同时也可以对运动剧烈的低分辨率图像进行有效的超分辨率重构，提高了超分辨率技术的鲁棒性，适合实际应用。

Description

图像配准可靠性模型和超分辨率图像的重构方法

技术领域

本发明属于数字信号处理领域，具体涉及一种图像配准可靠性模型及其构造方法和一种基于该模型的超分辨率图像的重构方法。

背景技术

数字图像的空间分辨率是指离散的像素之间所能分辨出目标物体细节的最小尺寸。在实际应用中，图像分辨率的高低能够直接影响图像处理和分析方法的性能，例如，提高监控视频图像的分辨率，能够提高对监控目标跟踪和识别的准确程度。由于数字图像可以看作是对连续的自然图像的采样，因此，要获得高分辨的数字图像需要较高的空间采样率，这就需要提高采集设备中感光器件的密度，但是在实际应用中，一方面由于在硬件中提高感光器件密度成本非常高，另一方面，提高感光器件密度的同时会使数字图像在成像过程中更容易受噪声影响。因此，采用信号处理的方法来提高数字图像的分辨率成为了一种经济有效的途径。

超分辨率技术是近年来图像分辨率增强领域的研究热点，它是指利用对同一场景从不同角度拍摄的多幅低分辨率图像之间的相关信息，重构出高质量的高分辨率图像，使高分辨率图像逼近连续的自然图像。上世纪80年代初，Tsai和Huang[1]首先提出基于多帧图像的超分辨率技术，并且在频域建立了目标高分辨率图像与多帧低分辨率图像之间的关系。但是由于频域超分辨率技术受限于低分辨率图像间全局平移运动的约束，同时不能有效利用图像的先验知识，因此没能够在实际中得到应用。为了进一步有效地提高超分辨率技术的性能，研究人员提出了空域的超分辨率重构技术(例如，[2]，[3])。这类超分辨率技术通常分为三个步骤，首先，将各帧低分辨率图像的像素通过图像配准映射到目标高分辨率图像平面空间上；接着，根据低分辨率像素之间的关系预测高分辨图像中的像素值；最后，为了增加高分辨率图像的清晰度，需要对图像进行去模糊处理。

虽然，在处理运动可控的低分辨率图像方面(例如，遥感图像)，传统的空域超分辨率技术取得了较好的效果，但是对于视频图像，传统超分辨率技术性能会有很大的下降。因为视频图像间存在很多较为剧烈的局部运动，甚至存在遮挡现象，这样超分辨率技术的性能会直接受到图像配准技术的影响。根据目前的图像配准技术来看，视频图像配准精度还不能满足传统超分辨率技术的要求，因此，对视频图像配准可靠性进行分析，在超分辨率重建中区别对待低分辨率图像的像素，可以有效地提高视频图像超分辨率重建的质量和鲁棒性。

参考文献

[1]Park，S.，Park，M.and Kang，M.G，“Super-resolution image reconstruction：a technical overview，”IEEE signalprocessing Magazine，vol.20，no.3，pp.21-36，May 2003.

[2]R.R.Schultz and R.L.Stevenson，“A Bayesian approach to image expansion for improved definition，”IEEETrans.Image Processing，vol.3，no.3，pp.233-242，MAY 1994

[3]H.Takeda，S.Farsiu and P.Milanfar，“Kernel regression for image processing and reconstruction，”IEEE Trans.Image Process，vol.16，no.2，pp.349-366，Feb.2007.

[4]X. Li and M.T.Orchard，“New edge directed interpolation，”IEEE Trans.Image Process，vol.10，no.10，pp.1521-1527，Oct.2001.

[5]M.Elad and Y.Hel-Or，“A fast super-resolution reconstruction algorithm for pure transnational motion andcommon space invariant blur，”IEEE Trans.Image Processing，vol.10，no.8，pp.1187-1193，August 2001.

[6]Omer，OA.，Tanaka，T.，“Multiframe image and video super-resolution algorithm with inaccurate motionregistration errors rejection，”in Proc.of the SPIE Conf.on Visual Comm.andImage Processing，San Jose，California，pp.82222-1-682222-9，Jan.2008.

[7]H.Takeda，P.van Beek and P.Milanfar，“Spatio-temporal video interpolation and denoising usingmotion-assisted steering kernel(MASK)regression，”in Int.Conf.on Image Processing，San Diego，USA，pp.637-640，Oct.2008.

发明内容

为了便于说明，以下文字中“残差值”是指低分辨率像素点与图像配准后该像素在目标图像平面位置处的像素值之间的差值。

本发明要解决的技术问题是在图像配准不可靠的情况下，提高视频图像超分辨率技术的性能和鲁棒性。本发明提出了一种新的反映图像配准可靠性的模型和结合该模型的超分辨率图像的重构方法。

本发明提供的技术方案如下：

一、图像配准可靠性模型方案1：一种图像配准可靠性模型，其特征在于，该模型利用图像配准残差在不同尺度下的

分布特征和图像局部结构信息来表示每个像素的配准可靠性。方案2：作为方案1的一种优选实现，其特征在于，像素p(i_t，j_t)的配准可靠性用如下公式计算：

$p(i_t,j_t)=\frac{c_1}{1+T_t(i_t,j_t)}\exp \{-\underset{m_t=-L}{\overset{L}{\mathrm{\Σ}}}\underset{n_t=-L}{\overset{L}{\mathrm{\Σ}}}w(m_t,n_t)\×|r_0(i_t+m_t,j_t+n_t)\left|\right\}---\left(1\right)$

其中，c₁是常数，T_t(i_t，j_t)是在N个粗尺度残差图像中计算的残差绝对值的加权平均值之和，L是以像素p(i_t，j_t)为中心的窗口半径，r₀(i_t+m_t，j_t+n_t)是R_t0中对应位置像素的配准残差，w(m_t，n_t)是窗口内对应像素配准残差的权值，该权值是根据图像配准中产生亚像素位置像素预测值所用到的低分辨率像素的统计信息计算得到的，该权值不仅随残差位置与窗口中心距离的增加而降低，同时随亚像素位置预测过程中样本像素集合方差的增加而减小。

二、构造方案1所述模型的方法

方案3：一种构造方案1所述模型的方法，其特征在于，计算第t帧低分辨率图像(i_t，j_t)位置的像素p(i_t，j_t)的配准可靠性(参图2)，采用如下步骤，

1)对图像配准得到残差图像R_t0；

2)低通滤波得到粗尺度下残差图像LR_tk(k表示图像尺度级别，k＝1，2，...，，N)；

3)在以该像素为中心的一个M×N的局部窗内计算多个尺度下残差绝对值的权值w(m_t，n_t)，然后用如下公式计算像素p(i_t，j_t)配准可靠性：

$p(i_t,j_t)=\frac{c_1}{1+T_t(i_t,j_t)}\exp \{-\underset{m_t=-L}{\overset{L}{\mathrm{\Σ}}}\underset{n_t=-L}{\overset{L}{\mathrm{\Σ}}}w(m_t,n_t)\×|r_0(i_t+m_t,j_t+n_t)\left|\right\}$

$T_t(i_t,j_t)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\underset{m_t=-L}{\overset{L}{\mathrm{\Σ}}}\underset{n_t=-L}{\overset{L}{\mathrm{\Σ}}}w(m_t,n_t)\×\left|r_k(i_t+m_t,j_t+n_t)\right|.$

其中，c₁是常数，T_t(i_t，j_t)是N个粗尺度残差图像中计算的残差绝对值的加权平均值之和，L是以像素p(i_t，j_t)为中心的窗口半径，r₀(i_t+m_t，j_t+n_t)是R_t0中对应位置像素的配准残差，r_k(i_t+m_t，j_t+n_t)是R_tk中对应位置像素的配准残差，w(m_t，n_t)是窗口内像素残差绝对值对应的权值，该权值是根据图像配准中产生亚像素位置像素预测值所用到的低分辨率像素的统计信息计算得到的，该权值不仅随残差位置与窗口中心距离的增加而降低，同时随亚像素位置预测过程中样本像素集合方差的增加而减小。

方案4：作为方案3的优选实现，其特征在于，所述步骤1)中的配准算法为具有亚像素精度的图像配准算法(例如：Lucas-Kanade光流算法)。

方案5：作为方案3的优选实现，其特征在于，所述步骤2)的实现方法为，用低通滤波器对上一步得到的残差图像滤波，得到粗尺度的低分辨率图像LR_t1，该过程可以迭代进行多次来得到不同尺度的残差图像，即对LR_tk滤波得到LR_t(k+1)，；其中，图像配准结果存在亚像素位置时，该位置的像素值是利用一个Q抽头的低通滤波器LPF(·)对周围样本像素滤波得到的。

方案6：作为方案3的优选实现，其特征在于，步骤3)所述多个尺度下残差绝对值的权值的计算方法为：首先，给定两个经验常数权重T₁和T₂(T₁＜T₂)；接着，分为三种情况计算权值：

(1)当σ_s(i_t+m_t，j_t+n_t)小于T₁，或者σ_s(i_t+m_t，j_t+n_t)介于T₁和T₂之间同时像素p(i_t，j_t)的值超出产生预测值所用样本集合{s₁，s₂，...，s_Q}中的像素值范围时，权值仅随与窗口中心距离的增加而减小，

$w(m_t,n_t)=\exp (-\frac{\sqrt{m_t^2+n_t^2}}{h_1})$

其中h₁是一个常数的平滑因子；

(2)当σ_s(i_t+m_t，j_t+n_t)介于T₁和T₂之间，同时像素p(i_t，j_t)的值不超出产生预测值所用样本集合{s₁，s₂，...，s_Q}中的像素值范围时，权值不仅随该像素点与所在窗口中心的距离的增加而减小，同时随着σ_s(i_t+m_t，j_t+n_t)的增加而减小，

$w(m_t,n_t)=\frac{c_2}{1+{\mathrm{\σ}}_s(i_t+m_t,j_t+n_t)-T_1}\exp (-\frac{\sqrt{m_t^2+n_t^2}}{h_1})$

其中c₂是一个常数；

(3)其余情况，权值均设为某一常数，即w(m_t，n_t)＝C。

三、超分辨率图像的重构方法

方案7：一种超分辨率图像的重构方法，其特征在于，利用核回归的预测模型，根据低分辨率图像结构特性和低分辨率图像间的运动关系，根据图像内容和运动特性自适应的3维核函数用来估计高分辨率像素值；包括如下步骤(参图3)：

a)根据图像局部梯度统计特征计算每个像素的方向性矩阵；

b)按照图像局部像素运动矢量计算像素结构的旋转矩阵；

c)利用方案1所述的图像配准可靠性模型计算每个像素配准可靠性；

d)结合上面三步的计算结果得到3维核函数；

e)利用核回归模型计算高分辨率图像像素值。

方案8：作为方案7的优选实现，其特征在于，所述步骤b)的实现方法为：

1)首先，以(i_t，j_t)位置为中心划定一个M2xN2的窗口，利用仿射变换模型，将窗口内的像素坐标(x₁，x₂)通过仿射变换映射到配准后目标图像平面上的位置(x₁’，x₂’)；

2)接着，通过最小均方误差估计方法得出仿射变换参数a_i，i＝0...5；

3)之后，按照施密特正交化方法，将仿射变换中旋转矩阵内的向量[a₀ a2]^T和[a₁a₃]^T进行规范正交化，可以得到配准后的结构旋转矩阵。

方案9：作为方案7的优选实现，其特征在于，所述步骤d)的实现方法为：联合前面三步的计算结果，得到3维核函数如下，

$K(x_i-x)=p_i\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}}\exp \{-\frac{{(x_i-x)}^T{C}_i{H}^{R_i}(x_i-x)}{2h}\}$

其中h是平滑参数，x_i是像素i的坐标向量，p_i是像素i的配准可靠性，C_i是像素i的方向性矩阵，

是像素i的结构旋转矩阵。

本发明不仅能够对运动平滑的低分辨率图像进行超分辨率重构，同时也可以对运动剧烈的低分辨率图像进行有效的超分辨率重构，提高了超分辨率技术的鲁棒性，适合实际应用。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明，其中：

图1运动估计和像素映射关系。(a)低分辨率图像(b)目标图像平面，{S₁，S₂，S₃，S₄}可以看作是预测像素P_i时的样本像素。

图2图像配准可靠性模型的构造方法流程。

图3超分辨率重建过程流程图。

具体实施方式

本发明的基本思想：利用不同尺度的图像配准残差结果计算每个像素配准的可靠性；利用图像结构、运动特性和配准可靠性，计算每个像素点3维核函数。整个算法可以分为两个部分，运动配准可靠性的计算和超分辨率图像的重建。下面通过实例分别介绍这两部分。

一、运动配准可靠性的计算

以计算第t帧低分辨率图像(i_t，j_t)位置的像素p(i_t，j_t)为例，其中对残差图像做一次低通滤波。第一步，利用现有图像配准算法(例如：Lucas-Kanade光流算法)计算第t帧图像中每个像素在目标图像平面中的位置，如图1所示。

第二步，计算第t帧图像经过配准后每个像素点的残差图像R_t，并用低通滤波器对该残差图像滤波，得到粗尺度的低分辨率图像LR_t0。其中，图像配准结果存在亚像素位置时，该位置的像素值是利用一个Q抽头的低通滤波器LPF(·)对周围样本像素滤波得到，集合{s₁，s₂，...，s_Q}表示低通滤波器所用的样本像素集合。

第三步，以像素p(i_t，j_t)中心划定一个MxN大小的局部窗，窗口内像素点经过图像配准后在尺度R_t0和LR_tk(k＝1，2，...，N)下得到的残差值分别记作r₀(i_t+m_t，j_t+n_t)和r_k(i_t+m_t，j_t+n_t)，其中m_t，n_t是窗口内像素与窗口中心的相对坐标。每个残差值对应的样本像素集合的标准差用σ_s(i_t+m_t，j_t+n_t)表示。

第四步，计算第三步中局部窗内每个残差的权值。首先，给定两个经验常数权重T₁和T₂(T₁＜T₂)；接着，分为三种情况计算权值：

第一种情况，当σ_s(i_t+m_t，j_t+n_t)小于T₁，或者σ_s(i_t+m_t，j_t+n_t)介于T₁和T₂之间同时像素p(i_t，j_t)的值超出产生预测值所用样本集合{s₁，s₂，...，s_Q}中的像素值范围时，权值仅随与窗口中心距离的增加而减小，

$w(m_t,n_t)=\exp (-\frac{\sqrt{m_t^2+n_t^2}}{h_1})$

其中h₁是一个常数的平滑因子；

第二种情况，当σ_s(i_t+m_t，j_t+n_t)介于T₁和T₂之间，同时像素p(i_t，j_t)的值不超出产生预测值所用样本集合{s₁，s₂，...，s_Q}中的像素值范围时，权值不仅随该像素点与所在窗口中心的距离的增加而减小，同时随着σ_s(i_t+m_t，j_t+n_t)的增加而减小，

$w(m_t,n_t)=\frac{c_2}{1+{\mathrm{\σ}}_s(i_t+m_t,j_t+n_t)-T_1}\exp (-\frac{\sqrt{m_t^2+n_t^2}}{h_1})$

其中c₂是一个常数。

其余情况，权值均设为某一常数，即w(m_t，n_t)＝C。

第五步，通过像素的配准可靠性模型函数公式(1)，计算每个像素配准的可靠性。其中，公式(1)中T_t(i_t，j_t)计算方法如下所示，

$T_t(i_t,j_t)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\underset{m_t=-L}{\overset{L}{\mathrm{\Σ}}}\underset{n_t=-L}{\overset{L}{\mathrm{\Σ}}}w(m_t,n_t)\×\left|r_k(i_t+m_t,j_t+n_t)\right|.$

本发明的实现利用了Lucas-Kanade光流算法，但是图像配准可靠性模型并不依赖于图像配准算法，因此，对其他图像配准算法该模型同样有效。同时本发明的实现中利用了双线性插值滤波器作为产生亚像素位置的像素值，但是该配准可靠性模型同样不依赖于低通滤波器类型，因此，当采用其他低通滤波器时，该模型依然适用。本发明实现中虽然只利用了两个尺度的配准残差图像，但是可以扩展到利用更多尺度的图像配准残差。

二、2维核回归原理介绍

2维核回归公式可以写成如下形式，

y_i＝z(x_i)+ε_i i＝1…P

其中，x_i是2x1的坐标向量，ε_i是随机噪声，P是样本个数，y_i是给定的样本值，利用泰勒级数在x处展开可以得到多项式的回归函数，

$z\left(x_i\right)={\mathrm{\β}}_0+{\mathrm{\β}}_1^T(x_i-x)+{\mathrm{\β}}_2^T\mathrm{vech}(x_i-x){(x_i-x)}^T+\·\·\·$

其中，vech(·)是对对称矩阵下三角部分的向量化处理，以2x2矩阵为例，

$\mathrm{vech}\left(\left[\begin{array}{cc}a& b\\ b& d\end{array}\right]\right)={\left[\begin{array}{ccc}a& b& d\end{array}\right]}^T$

其中β₀＝z(x)，β₁和β₂分别满足如下形式，

${\mathrm{\β}}_1=\▿z\left(x\right)={[\frac{\∂z\left(x\right)}{\∂x_1},\frac{\∂z\left(x\right)}{\∂x_2}]}^T$

${\mathrm{\β}}_2=\frac{1}{2}{[\frac{{\∂}^{2}z\left(x\right)}{\∂{x_1}^2},2\frac{{\∂}^{2}z\left(x\right)}{\∂{x_{1}x}_2},\frac{{\∂}^{2}z\left(x\right)}{\∂{x_2}^2}]}^T$

为了估计位置x处的未知函数值，可以通过求解如下最优化问题，

$\underset{\left\{{\mathrm{\β}}_n\right\}}{\min }\underset{i=0}{\overset{N}{\mathrm{\Σ}}}{[y_i-{\mathrm{\β}}_0-{\mathrm{\β}}_1^T(x_i-x)-{\mathrm{\β}}_2^T\mathrm{vech}\{(x_i-x){(x_i-x)}^T\}-\·\·\·]}^2{K}_H(x_i-x)---\left(2\right)$

其中KH(·)是2维核函数，通过化简计算可以得到估计的函数值，

$\hat{z}\left(x\right)={\widehat{\mathrm{\β}}}_0=e_1^T{\left(X_x^T{W}_x{X}_x\right)}^{-1}{X}_x^T{W}_{x}y$

其中

是第一个元素为1的行向量，

y＝[y₁，y₁，…，y_P]^T

W＝diag[K_H(x_i-x)，K_H(x_i-x)…，K_H(x_i-x)]

$X_x=\left[\begin{array}{cccc}1& {(x_1-x)}^T& \mathrm{vech}\left\{(x_1-x){(x_1-x)}^T\right\}& \·\·\·\\ 1& {(x_2-x)}^T& \mathrm{vech}\left\{(x_2-x){(x_2-x)}^T\right\}& \·\·\·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ \·& \·& \·& \·\\ 1& {(x_M-x)}^T& \mathrm{vech}\left\{(x_M-x){(x_M-x)}^T\right\}& \·\·\·\end{array}\right]$

三、超分辨率图像的重建

第一步，计算每帧低分辨率图像中像素的方向性矩阵，以像素p(i_t，j_t)为例。

首先，计算低分辨率图像的一阶梯度向量；

其次，以(i_t，j_t)位置为中心划定一个M₁xN₁的窗口，将窗口内的一阶梯度向量排列成一个M₁N₁x2的矩阵，记作G(i_t，j_t)；接着对该矩阵进行奇异值分解，

$G(i_t,j_t)=\left[\begin{array}{cc}\·& \·\\ \·& \·\\ \·& \·\\ p(i_t+m,j_t+n)& p(i_t+m,j_t+n)\\ \·& \·\\ \·& \·\\ \·& \·\end{array}\right]$

${=U}_{(i_t,j_t)}{S}_{(i_t,j_t)}{V}_{(i_t,j_t)}^T$

其中表示了像素点p(i_t，j_t)所在位置的主方向。最后，将方向性矩阵写作如下形式，

$C(i_t,j_t)={\mathrm{\γ}}_{(i_t,j_t)}{U}_{\mathrm{\θ}(i_t,j_t)}{\mathrm{\Λ}}_{\mathrm{\θ}(i_t,j_t)}{U}_{\mathrm{\θ}(i_t,j_t)}^T$

$U_{\mathrm{\θ}(i_t,j_t)}=\left[\begin{array}{cc}\cos \mathrm{\θ}(i_t,j_t)& \sin \mathrm{\θ}(i_t,j_t)\\ -\sin \mathrm{\θ}(i_t,j_t)& \cos \mathrm{\θ}(i_t,j_t)\end{array}\right]$

${\mathrm{\Λ}}_{(i_t,j_t)}=\left[\begin{array}{cc}{\mathrm{\σ}}_{(i_t,j_t)}& 0\\ 0& {\mathrm{\σ}}_{(i_t,j_t)}^{-1}\end{array}\right]$

其中θ(i_t，j_t)表示像素p(i_t，j_t)所在位置的主方向角，可以根据的第二列v₂＝[v₁，v₂]来表示主方向角，

${\mathrm{\θ}}_{(i_t,j_t)}=\arctan \left(\frac{v_1}{v_2}\right)$

同时

和按照如下公式计算，

${\mathrm{\σ}}_{(i_t,j_t)}=\frac{s_1+{\mathrm{\λ}}^{\′}}{s_2+{\mathrm{\λ}}^{\′}}$

${\mathrm{\γ}}_{(i_t,j_t)}=\frac{s_1{s}_2+{\mathrm{\λ}}^{\′\′}}{M_1\×N_1}$

其中s₁和s₂是公式(3)中特征值矩阵

中的对角线元素，λ′和λ″是两个常数。

第二步，计算图像配准后的结构旋转矩阵。

首先，以(i_t，j_t)位置为中心划定一个M₂xN₂的窗口，利用仿射变换模型，将窗口内的像素坐标(x₁，x₂)，通过仿射变换映射到配准后目标图像平面上的位置(x₁’，x₂’)，

$\left[\begin{array}{cc}{a}_0& a_1\\ a_2& a_3\end{array}\right]\×\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right]+\left[\begin{array}{c}{a}_4\\ a_5\end{array}\right]=\left[\begin{array}{c}{x}_1^{\′}\\ x_2^{\′}\end{array}\right]$

接着，通过最小均方误差估计方法得出仿射变换参数a_i，i＝0...5。之后，按照施密特正交化方法，将仿射变换中旋转矩阵内的向量[a₀ a2]^T和[a₁a₃]^T进行规范正交化，可以得到配准后的结构旋转矩阵，记作

第三步，利用图像配准可靠性模型计算每个像素的配准可靠性。

第四步，联合前面步骤一至步骤三的计算结果，得到3维核函数如下，

$K(x_i-x)=p_i\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\π}}\exp \{-\frac{{(x_i-x)}^T{C}_i{H}^{R_i}(x_i-x)}{2h}\}---\left(4\right)$

其中h是平滑参数，x_i是像素i的坐标向量，p_i是像素i的配准可靠性，C_i是像素i的方向性矩阵，

是像素i的结构旋转矩阵。

第五步，将核函数(4)代入优化目标函数(2)计算对应高分辨率图像中的像素值。

表1列出了本发明算法在不同运动特性序列上和其他分辨率增强方法的对比，低分辨率图像是通过对原始高分辨率图像进行3x3的高斯滤波，然后在水平和垂直方向分别上下采样到原始分辨率的一半，对输入的低分辨率图像利用单帧的插值算法，如Bilinear和NEDI[4]；以及多帧的超分辨率算法MAP[2]，RMAP[6]，MASK[7]和本发明提出的算法进行分辨率增强，其中多帧算法都是利用5帧低分辨率图像生成一帧高质量的高分辨率图像，表1中的结果是对应序列中的第2帧图像分辨率增强后的峰值信噪比。从客观质量对比来看，本发明方法对运动平滑和剧烈的图像都能取得较好的超分辨率结果。

表1不同分辨率增强算法的结果对比(单位：dB)

Claims (6)

1.一种衡量图像配准可靠性的方法，其特征在于，计算第t帧低分辨率图像(i_t，j_t)位置的像素p(i_t，j_t)的配准可靠性，采用如下步骤，

1)对图像配准得到残差图像R_t0；残差值是指低分辨率像素点与图像配准后该像素在目标图像平面位置处的像素值之间的差值；

2)低通滤波得到粗尺度下残差图像LR_tk(k=1,2,…,N)；

3)在以该像素为中心的一个M×N的局部窗内计算多个尺度下残差的绝对值的权值w(m_t,n_t)，然后用如下公式计算像素p(i_t，j_t)配准可靠性：

$p(i_t,j_t)=\frac{c_1}{1+T_t(i_t,j_t)}\exp \{-\underset{m_t=-L}{\overset{L}{\mathrm{\Σ}}}\underset{n_t=-L}{\overset{L}{\mathrm{\Σ}}}w(m_t,n_t)\×|r_0(i_t+m_t,j_t+n_t)\left|\right\}---\left(1\right)$

$T_t(i_t,j_t)=\underset{k=1}{\overset{N}{\mathrm{\Σ}}}\underset{m_t=-L}{\overset{L}{\mathrm{\Σ}}}\underset{n_t=-L}{\overset{L}{\mathrm{\Σ}}}w(m_t,n_t)\×\left|r_k(i_k+m_t,j_t+n_t)\right|;$

其中，c₁是常数，T_t(i_t，j_t)是N个粗尺度残差图像中计算的残差绝对值的加权平均值之和，L是以像素p(i_t，j_t)为中心的窗口半径，m_t,n_t是窗口内像素与窗口中心的相对坐标，r₀(i_t+m_t，j_t+n_t)是R_t0中对应位置像素的配准残差，r_k(i_t+m_t，j_t+n_t)是R_tk中对应位置像素的配准残差，w(m_t，n_t)是窗口内像素残差绝对值对应的权值，该权值是根据图像配准中产生亚像素位置像素预测值所用到的低分辨率像素的统计信息计算得到的，该权值不仅随残差位置与窗口中心距离的增加而降低，同时随亚像素位置预测过程中样本像素集合方差的增加而减小；

w(m_t,n_t)的计算方法为：

当每个残差值对应的样本像素集合的标准差σ_s(i_t+m_t,j_t+n_t)小于T₁，或者σ_s(i_t+m_t,j_t+n_t)介于T₁和T₂之间同时像素p(i_t，j_t)的值超出产生预测值所用样本集合{s₁,s₂,…,s_Q}中的像素值范围时，权值仅随与窗口中心距离的增加而减小，

$w(m_t,n_t)=\exp (-\frac{\sqrt{m_t^2+n_t^2}}{h_1})$

其中h₁是一个常数的平滑因子；

当σ_s(i_t+m_t,j_t+n_t)介于T₁和T₂之间，同时像素p(i_t,j_t)的值不超出产生预测值所用样本集合{s₁,s₂,…,s_Q}中的像素值范围时，权值不仅随该像素点与所在窗口中心的距离的增加而减小，同时随着σ_s(i_t+m_t,j_t+n_t)的增加而减小，

$w(m_t,n_t)=\frac{c_2}{1+{\mathrm{\σ}}_s(i_t+m_t,j_t+n_t)-T_1}\exp (-\frac{\sqrt{m_t^2+n_t^2}}{h_1})$

其中c₂是一个常数；

其余情况，权值均设为某一常数，即w(m_t,n_t)＝C；

其中，T₁和T₂为经验常数权重，且T₁<T₂。

2.如权利要求1所述的方法，其特征在于，所述步骤1）中的配准算法为具有亚像素精度的图像配准算法。

3.如权利要求1所述的方法，其特征在于，所述步骤2）的实现方法为，用低通滤波器对上一步得到的残差图像滤波，得到粗尺度的低分辨率图像LR_t1，该过程迭代进行多次来得到不同尺度的残差图像，即对LR_tk滤波得到LR_t(k+1)；其中，图像配准结果存在亚像素位置时，该位置的像素值是利用一个Q抽头的低通滤波器LPF对周围样本像素滤波得到的。

4.一种超分辨率图像的重构方法，其特征在于，包括如下步骤：

a)根据低分辨率图像局部梯度统计特征计算每个像素的方向性矩阵；

b)按照低分辨率图像局部像素运动矢量计算像素结构的旋转矩阵；

c)利用权利要求1所述的衡量图像配准可靠性的方法计算每个像素配准可靠性；

d)结合上面三步的计算结果得到3维核函数；

e)根据所得到的3维核函数计算高分辨率图像像素值。

5.如权利要求4所述的方法，其特征在于，所述步骤b）的实现方法为：

1)首先，以第t帧低分辨率图像中像素位置(i_t，j_t)为中心划定一个M₂xN₂的窗口，将窗口内的像素坐标(x₁，x₂)通过仿射变换映射到配准后目标图像平面上的位置(x₁’,x₂’)；

2)接着，通过最小均方误差估计方法得出仿射变换参数a_i,i=0…5；

3)之后，按照施密特正交化方法，将仿射变换中旋转矩阵内的向量[a₀ a₂]^T和[a₁a₃]^T进行规范正交化，可以得到配准后的结构旋转矩阵。

6.如权利要求4所述的方法，其特征在于，所述步骤d）的实现方法为：联合前面三步的计算结果，得到3维核函数如下，

$K(x_i-x)=p_i\frac{\sqrt{\det \left(C_i\right)}}{2\mathrm{\&pi;}}\exp \{-\frac{{(x_i-x)}^T{C}_i{H}^{R_i}(x_i-x)}{2h}\};$

其中h是平滑参数，x_i是像素i的坐标向量，p_i是像素i的配准可靠性，C_i是像素i的方向性矩阵，

是像素i的结构旋转矩阵，x是任意待估计像素的位置的坐标向量。

Images