CN101794440A - 图像序列的加权自适应超分辨率重建方法 - Google Patents

Abstract

本发明提出一种图像序列的加权自适应超分辨率重建方法，该方法在鲁棒性和实用性方面优于传统的方法，对获得高质量的图像具有重要的应用价值，它包括如下步骤：(1)取同一传感器获得的连续多帧低分辨率图像，然后对该低分辨率图像序列进行重采样，得到重采样的低分辨率图像序列；(2)利用重采样的低分辨率图像序列重建一帧高分辨率图像，重建一帧高分辨率图像的方法为：首先建立高分辨率图像的退化模型，然后根据给定的高分辨率图像的退化模型以及正则化理论，把退化模型中高分辨率图像的求解过程转化为高分辨率图像的重建优化模型解的优化过程，最后利用逐渐非凸算法对高分辨率图像的重建优化模型进行优化，得到高分辨率图像的最优估计值。

Description

图像序列的加权自适应超分辨率重建方法

技术领域

本发明属于图像处理领域，具体涉及一种图像序列的加权自适应超分辨率重建方法。

背景技术

超分辨技术有着广泛的应用需求，该技术可以应用到军事、医学、交通监控、遥感、工业等多个领域，如在交通监控方面，由实际监控监控系统捕获的低分辨率图像重建高清的目标图像，以达到目标识别与定位、牌照识别等目的；在军事上，对所捕获到的低分辨率图像进行重建，以提高军事目标的识别能力。

超分辨率重建方法源于这样一个事实，即传感器在获取图像的过程中会有众多因素导致图像的退化，导致所获取的视频图像质量的退化的原因有很多，如大气扰动，运动、散聚、欠采样以及系统噪声等引起的图像质量的下降。超分辨率技术是一种融合技术，旨在利用低分辨率图像序列间的互补信息来重建一帧高分辨率图像，不但能提高图像的像素数，而且通过考虑图像的退化过程来获得图像更多的细节和信息。

近年来，超分辨率图像重建技术成为图像恢复领域的一个热点研究课题，在理论上说明了存在的可能性，更提出了并发展了许多有现实意义和应用价值的方法，按其作用域可以分为两大类：频域法和空域法。前期的研究主要是集中在频域法，频域法处理速度快，实验仿真的效果也不错。但由于频域法不能很好地包含先验知识，在实际应用中不能令人满意，所以近年来研究逐渐转向空域法。空域法可以分为3个主要范畴：基于重建、基于学习和基于插值的方法。总的来说，在空域法的诸方法中，基于重建的方法取得了较好的效果，但是还需进一步提高超分辨率图像增强的能力，使用不同的图像和应用场合

发明内容

本发明的目的是提供一种能够进一步提高超分辨率图像增强的能力，适用于不同的应用需求的图像序列的加权自适应超分辨率重建方法。

为了达到上述目的，本发明提供一种图像序列的加权自适应超分辨率重建方法，包括如下步骤：

步骤1取同一传感器获得的连续K帧M₁×M₂大小的低分辨率图像，得到低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}，其中，M₁和M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，M₂、M₁以及K为正整数，用Y_k(x，y)二维函数形式表示低分辨率图像序列中第k帧图像，坐标(x，y)的值为离散量并且x和y都为非负整数，然后对该低分辨率图像序列进行重采样，得到重采样的低分辨率图像序列，对该低分辨率图像序列进行重采样的方法为

(1.1)选取参考帧，建立图像序列中偏移图与参考帧图像之间的运动变形变换关系模型

以第一帧图像Y₁(x，y)为参考帧图像，则第k帧图像Y_k(x，y)为第一帧图像Y₁(x，y)经过旋转角度

水平平移

垂直平移

所得，即：

$\stackrel{\→}{Y_k}(x,y)=\stackrel{\→}{Y_1}(x\cos \left({\stackrel{\‾}{\mathrm{\θ}}}_k\right)-y\sin \left({\stackrel{\‾}{\mathrm{\θ}}}_k\right)+{\stackrel{\‾}{a}}_k,y\cos \left({\stackrel{\‾}{\mathrm{\θ}}}_k\right)+x\sin \left({\stackrel{\‾}{\mathrm{\θ}}}_k\right)+{\stackrel{\‾}{b}}_k)---\left(1\right)$

所述的旋转角度

水平平移

及垂直平移

为运动变形参数，所述的运动变形参数

以及

的确定方法为：

步骤1.1：利用维纳滤波对低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行预处理，预处理后的低分辨率图像序列仍记为{Y_k(x，y)：k＝1，2，...，K}；

步骤1.2：利用公知的建立图像金字塔的方法，分别对预处理后的K帧低分辨率图像进行分层，其算法如下：对第k帧预处理后的图像Y_k(x，y)经过低通滤波后并做隔行隔列降采样，即

$f_{k,l}(x,y)=\underset{m=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-2}{\overset{2}{\mathrm{\&Sigma;}}}w(m,n)f_{k,l-1}(2x+m,2y+n),1\&le;l\&le;L,0<x<C_{k,l},0<y<R_{k,l}---\left(2\right)$

其中，f_k，l(x，y)表示第k帧图像Y_k(x，y)的图像金字塔中第l层图像；f_k，0(x，y)为原图像Y_k(x，y)，作为第k帧图像Y_k(x，y)的图像金字塔的底层；L表示第k帧图像Y_k(x，y)的图像金字塔的总层数；C_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的列数；R_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的行数；其中，l、m、n、L、C_k，l以及R_k，l为大于零的正整数，

为5×5大小的窗口函数，其中，m′和n′为正整数，

为服从高斯密度分布的函数，

服从高斯密度分布的函数满足如下三个约束条件：

1)归一化：m″为整数；

2)对称性：

m′″＝0、1、2；

3)奇偶项等贡献： $\stackrel{\&OverBar;}{w}\left(0\right)+\stackrel{\&OverBar;}{w}(-2)+\stackrel{\&OverBar;}{w}(-2)=\stackrel{\&OverBar;}{w}(-1)+\stackrel{\&OverBar;}{w}\left(1\right);$

由上面三个约束条件可以得到

$\stackrel{\&OverBar;}{w}\left(0\right)=\frac{3}{8},$ $\stackrel{\&OverBar;}{w}(-1)=\stackrel{\&OverBar;}{w}\left(1\right)=\frac{1}{4},$ $\stackrel{\&OverBar;}{w}(-2)=\stackrel{\&OverBar;}{w}(-2)=\frac{1}{16}$

窗口函数w(m′，n′)则可以表示为

$w(m^{\&prime;},n^{\&prime;})=\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

由{f_k，l(x，y)：l＝1，2，...，L}构成了第k帧预处理后的低分辨率图像Y_k(x，y)的图像金字塔；

步骤1.3：利用梯度法来估计第k帧图像Y_k(x，y)的图像金字塔第L层图像相对于参考帧图像Y₁(x，y)的图像金字塔的第L层的旋转角度

水平平移

垂直平移

其算法如下：以第一帧图像

的图像金字塔第L层图像f_1，L(x，y)作为参考帧图像，第k帧图像Y_k(x，y)的图像金字塔第L层f_k，L(x，y)作为f_1，L(x，y)经过旋转角度

水平平移垂直平移

则f_k，L(x，y)表示为

$f_{k,K}(x,y)=f_{1,L}(x\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)-y\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+{\stackrel{\&OverBar;}{a}}_{k,L},y\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+x\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+{\stackrel{\&OverBar;}{b}}_{k,L})---\left(3\right)$

将

和

用泰勒级数展开到二阶，近似得

$f_{k,L}(x,y)\&ap;f_{1,L}(x+{\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2},y+{\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})---\left(4\right)$

进一步将f_1，L用泰勒级数展开到一阶，可近似得

$f_{k,L}(x,y)\&ap;f_{1,L}(x,y)+({\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;x}+({\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;y}---\left(5\right)$

则f_1，L和f_k，L之间的误差函数表示为

$E({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L},{\stackrel{\&OverBar;}{a}}_{k,L},{\stackrel{\&OverBar;}{b}}_{k,L})=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[f_{1,L}(x,y)+({\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;x}+({\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;y}-f_{k,L}(x,y){]}^2---\left(6\right)$

对式(6)关于

求偏导数并令其等于零，忽略高阶项后可以得到

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\left(\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\right)}^2{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}(f_{1,L}(x,y)-f_{k.L}(x,y))---\left(7\right)$

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\left(\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}\right)}^2{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}({\&PartialD;f}_{1,L}(x,y)-{\&PartialD;f}_{k,L}(x,y))---\left(8\right)$

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{R}^2{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R(f_{1,L}(x,y)-f_{k,L}(x,y))---\left(9\right)$

其中

$R=x\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}-y\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x},$

解线性方程组(7)-(9)，得到旋转角度水平平移

垂直平移

步骤1.4：利用公式

以及得到最佳运动变形参数 以及

的值；

(1.2)几何位置校正

以参考帧图像Y₁(x，y)的坐标系作为标准坐标系，按照运动变形变换关系模型，把预处理后的低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}分别投影到标准坐标系中的相应位置，得到几何位置校正后的低分辨率图像序列，几何位置校正后的低分辨率图像序列仍然记为{Y_k(x，y)：k＝1，2，...，K}；

(1.3)低分辨率图像序列的初始重采样

利用加权拉格朗日插值算法对几何位置校正后的低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行重采样，得到初始重采样的低分辨率图像序列；

(1.4)确定图像区域的输出范围

首先把初始重采样的低分辨率图像序列投影到标准坐标系中，然后分别找出投影图像的横坐标和纵坐标的最大值和最小值，并以此确定图像区域的输出范围，输出重采样的低分辨率图像序列

重采样的低分辨率图像序列中每帧图像的大小为N₁×N₂，其中N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；

步骤2.利用重采样的低分辨率图像序列

重建一帧大小为pN₁×pN₂的高分辨率图像其中放大因子p为正整数，重建一帧高分辨率图像的方法为：

(2.1)建立高分辨率图像的退化模型

首先将重采样的低分辨率图像序列按行排成列向量，重排后的低分辨率图像序列记为

$\{\stackrel{\&RightArrow;}{Y_k}:k=\mathrm{1,2},...,K\},$

同样将高分辨率图像

按行排成列向量后，重排后的低分辨率图像序列记为其中

为包含N₁N₂个元素的列向量、

为包含p²N₁N₂个元素的列向量以及T表示转置；令N＝N₁N₂和M＝p²N₁N₂，则建立如下高分辨率图像的退化模型

$\stackrel{\&RightArrow;}{Y_k}=\mathrm{DB}\stackrel{\&RightArrow;}{X},$ 1≤k≤K，

其中，

表示高分辨率图像；

表示第k帧重采样后的低分辨率图像；B表示大小为M×M的模糊矩阵；D表示大小为L×M的降采样矩阵，

(2.2)建立高分辨率图像的重建优化模型

根据(1.2)给定的高分辨率图像的退化模型以及正则化理论，将退化模型中高分辨率图像的求解过程转化为如下高分辨率图像的重建优化模型解的优化过程

$F\left(\stackrel{\&RightArrow;}{X}\right)=\arg \underset{\stackrel{\&RightArrow;}{X}}{\min }\{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k\mathrm{\&rho;}(\stackrel{\&RightArrow;}{Y_k},\mathrm{DB}\stackrel{\&RightArrow;}{X})+\mathrm{\&lambda;}\left(\stackrel{\&RightArrow;}{X}\right)\mathrm{\&Gamma;}\left(\underset{\&RightArrow;}{X}(x,y)\right)\}$

其中，w_k表示加权因子，λ(·)表示正则项系数，ρ(·)表示数据残差项，Γ(·)表示正则项；ρ(·)和Γ(·)分别为

$\mathrm{\&rho;}(\stackrel{\&RightArrow;}{Y_k},\mathrm{DB}\stackrel{\&RightArrow;}{X})={\left|\right|\stackrel{\&RightArrow;}{Y_k}-\mathrm{DB}\stackrel{\&RightArrow;}{X}\left|\right|}_2^2$

和

$\mathrm{\&Gamma;}\left(\underset{\&RightArrow;}{X}(x,y)\right)=\underset{i=1}{\overset{N_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_2}{\mathrm{\&Sigma;}}}4*\mathrm{\&gamma;}-\mathrm{\&gamma;exp}\{-[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i,j-1){]}^2/\mathrm{\&gamma;}\}-\mathrm{\&gamma;exp}\{-[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i,j+1){]}^2/\mathrm{\&gamma;}\}$

$-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i-1,j)]}^2/\mathrm{\&gamma;}\}-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i+1,j)]}^2/\mathrm{\&gamma;}\}$

其中，i和j为正整数、||·||₂ ²表示2范数的平方、γ为退火参数且0＜γ＜300；

正则化系数λ(·)的选取应该遵循这样的原则：1)正则化系数λ(·)与数据残差项ρ(·)成正比；2)正则化系数λ(·)与正则项Γ(·)成反比；3)正则化系数λ(·)非负；4)在边缘和纹理点等非光滑区域的像素点对应的正则化系数值小；根据正则化系数λ(·)的选取应该遵循这样的原则，构造如下公式来确定正则化系数λ(·)

$\mathrm{\&lambda;}\left(\stackrel{\&RightArrow;}{X}\right)=\sqrt{\mathrm{\&tau;}\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|\stackrel{\&RightArrow;}{Y_k}-\mathrm{DB}\stackrel{\&RightArrow;}{X}\left|\right|}_2^2}{\mathrm{\&Gamma;}\left(\stackrel{\&RightArrow;}{X}\right)+\mathrm{\&delta;}}}$

其中，0＜τ＜1、0＜δ＜20；

所述的高分辨率图像的重建优化模型中加权因子w_k、模糊矩阵B以及降采样矩阵D的确定，所述的w_k、B以及D的确定方法为：

(a)加权因子w_k的确定：定义第k帧图像所在的数据残差项ρ(·)赋予的权值w_k为：

w_k＝w₁-a(H_k)|k-1|，1≤k≤K    (10)

其中w₁表示参考帧图像所在的数据残差项ρ(·)赋予的权值、H_k表示重采样的低分辨率图像序列中第k帧图像的熵值以及a(H_k)的表达式为

$a\left(H_k\right)=\frac{\mathrm{\&mu;}}{(K+1)H_k}---\left(11\right)$

其中μ是一个正的实常数；

把式(11)代入式(10)中得

$w_k=w_1-\frac{\mathrm{\&delta;}|k-1|}{(K+1)H_k},1\&le;k\&le;K---\left(12\right)$

w₁和δ的最优值分别为0.5和0.2，则加权因子w_k表示为

$w_k=0.5-0.2\frac{|k-1|}{(K+1)H_k},1\&le;k\&le;K;$

(b)模糊矩阵B的确定

通过模糊核位移确定模糊矩阵B，模糊核为h＝(h₁，h₂，h₃)^T，其中h₁+h₂+h₃＝1，则

$B={\left[\begin{array}{cccccccc}{h}_2& h_3& 0& 0& \&CenterDot;\&CenterDot;\&CenterDot;& 0& 0& h_1\\ h_1& h_2& h_3& 0& \&CenterDot;\&CenterDot;\&CenterDot;& 0& 0& 0\\ 0& h_1& h_2& h_3& \&CenterDot;\&CenterDot;\&CenterDot;& 0& 0& 0\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 0& 0& 0& 0& \&CenterDot;\&CenterDot;\&CenterDot;& h_1& h_2& h_3\\ h_3& 0& 0& 0& \&CenterDot;\&CenterDot;\&CenterDot;& 0& h_1& h_2\end{array}\right]}_{M\&times;M}$

且所述h₁＝0.25、h₂＝0.5、h₃＝0.25；

(c)降采样矩阵D的确定

降采样矩阵D为：

$D=\frac{1}{p^2}{\left(D_{i^{\&prime;}{j}^{\&prime;}}\right)}_{N\&times;M}=\frac{1}{p^2}{\left[\begin{array}{cccc}{D}_{11}& D_{12}& \&CenterDot;\&CenterDot;\&CenterDot;& D_{1M}\\ D_{21}& D_{22}& \&CenterDot;\&CenterDot;\&CenterDot;& D_{2M}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ D_{N1}& D_{N2}& \&CenterDot;\&CenterDot;\&CenterDot;& D_{\mathrm{NM}}\end{array}\right]}_{N\&times;M}$

对于i′＝1，2，...，N

其中，N＝N₁N₂、N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；

(2.3)利用逐渐非凸算法对高分辨率图像的重建优化模型进行优化，得到高分辨率图像的最优估计值，利用逐渐非凸算法进行优化的具体步骤如下：

步骤2.3.1：计算重采样的图像序列

的熵值；

步骤2.3.2：用三次线性插值法对熵值最高的低分辨率图像进行插值，获得高分辨率图像的初始值

步骤2.3.3：令取γ⁽⁰⁾＝2ρ，其中k′＝1，2，...，M-1，表示高分辨率图像的初始值

的第k′个分量，γ⁽⁰⁾表示退火参数的初始值且0＜γ⁽⁰⁾＜300；

步骤2.3.4：n″＝0；

步骤2.3.5：按以下公式求解第n″次迭代的正则项系数λ^(n″)：

${\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}=\sqrt{\mathrm{\&tau;}\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|\stackrel{\&RightArrow;}{Y_k}-\mathrm{DB}{\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}\left|\right|}_2^2}{\mathrm{\&Gamma;}\left({\stackrel{\&RightArrow;}{X}}^{(n^{\&prime;\&prime;}-1)}\right)+\mathrm{\&delta;}}}$

步骤2.3.6：按

进行迭代，估计高分辨率图像

其中

$\&dtri;F\left({\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}\right)=\{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k{B}^T{D}^T(\mathrm{DB}{\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}-\stackrel{\&RightArrow;}{Y_k})$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j-1)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j-1)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j+1)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j+1)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i-1,j)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i-1,j)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i+1,j)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i+1,j)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}\}.$

步骤2.3.7：令n″＝n″+1，γ^(n″)＝ηγ^(n″-1)，如果

转至步骤2.3.5；否则，转至步骤2.3.8；

步骤2.3.8：输出超分辨率重建图像

其中，n″为非负正整数、0＜τ＜1，0＜η＜1，0＜τ＜1、0＜δ＜20、γ^(n″)为第n″次迭代的退火参数、ε是一个大于零的迭代终止系数，β表示的迭代步长，所述η＝0.7，τ＝0.4，ε＝0.0001，β＝0.9以及δ＝5。

与现有技术相比，本发明的有益效果和特点在于：

为了获得高质量的高分辨率图像，满足不同的实际应用要求，本发明提供了一种图像序列的加权自适应超分辨率重建方法，该方法利用同一传感器获得的连续多帧低分辨率图像间的互补信息，重建一帧高分辨率图像，不但能提高图像的像素数，而且通过考虑图像的退化过程来获得图像更多的细节和信息。

1.本发明提出的图像序列的加权自适应超分辨率重建方法，针对低分辨率图像序列中每帧图像所包含信息量的不同，在重建过程中对每帧图像赋予不同的权值，以提高重建后高分辨图像的质量；

2.本发明所建立的高分辨率图像的重建优化模型中正则项系数决定了图像正则化得强度，对重建结果影响很大，为了得到好的重建效果，针对本发明所建立的高分辨率图像的重建优化模型的特点，提出了一种简单的自适应求解正则项系数的方法，使得正则化作用的强度随着重建图像光滑程度而自适应地改变，有利于更好地抑制光滑区域的噪声同时保持图像细节；

3.本发明从实际应用出发，提出一种图像序列的加权自适应超分辨率重建算法，次方法对实际场景拍摄到的低分辨率图像序列有很好的重建结果，图3.1显示了这6帧低分辨率图像序列，图3.2是三次样条插值方法的结果，图3.3是本发明提出的图像序列的加权自适应超分辨率重建方法的结果，从图中可以看出，本发明提出的方法在图像细节保持方面明显好于三次样条插值方法；

总之，本发明所述的图像序列的加权自适应超分辨率重建算法的鲁棒性和有效性从实验结果可以看出是令人满意的。

附图说明

图1图像序列的加权自适应超分辨率重建算法系统流框架图。

图2低分辨率图像序列重采样的一般步骤。

图3实拍低分率图像序列及其重建结果。

其中，图3.1 6帧连续低分辨率图像序列；

      图3.2三次样条插值图像；

      图3.3加权自适应超分辨率重建方法重建图像。

具体实施方式

在具体的实施方式中，将结合附图，清楚、完整地描述图像序列的加权自适应超分辨率重建方法的详细过程。

1.一种图像序列的加权自适应超分辨率重建方法，其特征在于，包括如下步骤：

步骤1取同一传感器获得的连续K帧M₁×M₂大小的低分辨率图像，得到低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}，其中，其中，M₁和M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，M₂、M₁以及K为正整数、用Y_k(x，y)二维函数形式表示低分辨率图像序列中第k帧图像，坐标(x，y)的值为离散量并且x和y都为非负整数，Y_k(x，y)用矩阵形式表示为

$Y_k(x,y)={\left[\begin{array}{cccc}{Y}_k\left(\mathrm{0,0}\right)& Y_k\left(\mathrm{0,1}\right)& \&CenterDot;\&CenterDot;& Y_k(0,M_2-1)\\ Y_k\left(\mathrm{1,0}\right)& Y_k\left(\mathrm{1,1}\right)& \&CenterDot;\&CenterDot;& Y_k(1,M_2-1)\\ \&CenterDot;& \&CenterDot;& & \&CenterDot;\\ \&CenterDot;& \&CenterDot;& & \&CenterDot;\\ \&CenterDot;& \&CenterDot;& & \&CenterDot;\\ Y_k(M_1-\mathrm{1,0})& Y_k(M_1-\mathrm{1,1})& \&CenterDot;\&CenterDot;& Y_k(M_1-1,M_2-1)\end{array}\right]}_{M_1\&times;M_2},$

然后对该低分辨率图像序列进行重采样，得到重采样的低分辨率图像序列。下面结合附图2来说明对低分辨率图像序列进行重采样的方法：

(1.1)选取参考帧，建立图像序列中偏移图与参考帧图像之间的运动变形变换关系模型以第一帧图像Y₁(x，y)为参考帧图像，则第k帧图像Y_k(x，y)为第一帧图像Y₁(x，y)经过旋转角度

水平平移

垂直平移

所得，即：

$\stackrel{\&RightArrow;}{Y_k}(x,y)=\stackrel{\&RightArrow;}{Y_1}(x\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)-y\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)+{\stackrel{\&OverBar;}{a}}_k,y\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)+x\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)+{\stackrel{\&OverBar;}{b}}_k)---\left(1\right)$

所述的旋转角度

水平平移

及垂直平移为运动变形参数，所述的运动变形参数

以及

的确定方法为：

步骤1.1：利用维纳滤波对低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行预处理，预处理后的低分辨率图像序列仍记为{Y_k(x，y)：k＝1，2，...，K}；

步骤1.2：利用公知的建立图像金字塔的方法，分别对预处理后的K帧低分辨率图像进行分层，其算法如下：对第k帧预处理后的图像Y_k(x，y)经过低通滤波后并且隔行隔列降采样，即

$f_{k,l}(x,y)=\underset{m=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-2}{\overset{2}{\mathrm{\&Sigma;}}}w(m,n)f_{k,l-1}(2x+m,2y+n),1\&le;l\&le;L,0<x<C_{k,l},0<y<R_{k,l}---\left(2\right)$

其中，f_k，l(x，y)表示第k帧图像Y_k(x，y)的图像金字塔中第l层图像；f_k，0(x，y)为原图像Y_k(x，y)，作为第k帧图像Y_k(x，y)的图像金字塔的底层；L表示第k帧图像Y_k(x，y)的图像金字塔的总层数；C_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的列数；R_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的行数；其中，l、m、n、L、C_k，l以及R_k，l为大于零的正整数，为5×5大小的窗口函数，其中，m′和n′为正整数，

为服从高斯密度分布的函数，

服从高斯密度分布的函数满足如下三个约束条件：

1)归一化：

m″为整数；

2)对称性：

m′″＝0、1、2；

3)奇偶项等贡献： $\stackrel{\&OverBar;}{w}\left(0\right)+\stackrel{\&OverBar;}{w}(-2)+\stackrel{\&OverBar;}{w}(-2)=\stackrel{\&OverBar;}{w}(-1)+\stackrel{\&OverBar;}{w}\left(1\right);$

由上面三个约束条件可以得到

$\stackrel{\&OverBar;}{w}\left(0\right)=\frac{3}{8},\stackrel{\&OverBar;}{w}(-1)=\stackrel{\&OverBar;}{w}\left(1\right)=\frac{1}{4},\stackrel{\&OverBar;}{w}(-2)=\stackrel{\&OverBar;}{w}(-2)=\frac{1}{16}$

窗口函数w(m′，n′)则可以表示为

$w(m^{\&prime;},n^{\&prime;})=\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

由{f_k，l(x，y)：l＝1，2，...，L}构成了第k帧预处理后的低分辨率图像Y_k(x，y)的图像金字塔；

步骤1.3：利用公知的梯度法来估计第k帧图像Y_k(x，y)的图像金字塔第L层图像相对于参考帧图像Y₁(x，y)的图像金字塔的第L层的旋转角度

水平平移

垂直平移

其算法如下：以第一帧图像

的图像金字塔第L层图像f_1，L(x，y)作为参考帧图像，第k帧图像Y_k(x，y)的图像金字塔第L层f_k，L(x，y)作为f_1，L(x，y)经过旋转角度

水平平移

垂直平移

则f_k，L(x，y)表示为

$f_{k,K}(x,y)=f_{1,L}(x\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)-y\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+{\stackrel{\&OverBar;}{a}}_{k,L},y\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+x\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+{\stackrel{\&OverBar;}{b}}_{k,L})---\left(3\right)$

将

和

用泰勒级数展开到二阶，近似得

$f_{k,L}(x,y)\&ap;f_{1,L}(x+{\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2},y+{\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})---\left(4\right)$

进一步将f_1，L用泰勒级数展开到一阶，可近似得

$f_{k,L}(x,y)\&ap;f_{1,L}(x,y)+({\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;x}+({\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;y}---\left(5\right)$

则f_1，L和f_k，L之间的误差函数表示为

$E({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L},{\stackrel{\&OverBar;}{a}}_{k,L},{\stackrel{\&OverBar;}{b}}_{k,L})=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}[f_{1,L}(x,y)+({\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;x}+({\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;\stackrel{\&RightArrow;}{Y_1}(x,y)}{\&PartialD;y}-f_{k,L}(x,y){]}^2---\left(6\right)$

对式(6)关于

求偏导数并令其等于零，忽略高阶项后可以得到

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\left(\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\right)}^2{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}(f_{1,L}(x,y)-f_{k.L}(x,y))---\left(7\right)$

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\left(\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}\right)}^2{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}({\&PartialD;f}_{1,L}(x,y)-{\&PartialD;f}_{k,L}(x,y))---\left(8\right)$

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{R}^2{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R(f_{1,L}(x,y)-f_{k,L}(x,y))---\left(9\right)$

其中

$R=x\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}-y\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x},$

解线性方程组(7)-(9)，得到旋转角度

水平平移

垂直平移

步骤1.4：利用公式

以及

得到最佳运动变形参数

以及

的值；

(1.2)几何位置校正

以参考帧图像Y₁(x，y)的坐标系作为标准坐标系，按照运动变形变换关系模型，把预处理后的低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}分别投影到标准坐标系中的相应位置，得到几何位置校正后的低分辨率图像序列，几何位置校正后的低分辨率图像序列仍然记为{Y_k(x，y)：k＝1，2，...，K}；

(1.3)低分辨率图像序列的初始重采样

利用公知的加权拉格朗日插值算法对几何位置校正后的低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行重采样，得到初始重采样的低分辨率图像序列；(加权拉格朗日插值算法见“敬忠良，肖刚，李振华.图像融合理论与应用.北京：高等教育出版社，2007”)

(1.4)确定图像区域的输出范围

为了避免重采样的低分辨率图像序列空白过多，确定图像区域的输出范围，获得恰当的图像区域的输出范围的方法为：首先把初始重采样的低分辨率图像序列投影到标准坐标系中，然后分别找出投影图像的横坐标和纵坐标的最大值和最小值，并以此确定图像区域的输出范围，输出重采样的低分辨率图像序列

重采样的低分辨率图像序列中每帧图像的大小为N₁×N₂，其中N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；

步骤2.利用重采样的低分辨率图像序列

重建一帧大小为pN₁×pN₂的高分辨率图像

其中放大因子p为正整数，重建一帧高分辨率图像的方法为：

(2.1)建立高分辨率图像的退化模型

将重采样的低分辨率图像序列

按行排成列向量，按行排成列向量的具体方法为：假设第k帧低分辨率图像

的矩阵表示形式为

$\underset{\&RightArrow;}{Y_k}(x,y)={\left[\begin{array}{cccc}\underset{\&RightArrow;}{Y_k}\left(\mathrm{0,0}\right)& \underset{\&RightArrow;}{Y_k}\left(\mathrm{0,1}\right)& \&CenterDot;\&CenterDot;\&CenterDot;& \underset{\&RightArrow;}{Y_k}(0,N_2-1)\\ \underset{\&RightArrow;}{Y_k}\left(\mathrm{1,0}\right)& \underset{\&RightArrow;}{Y_k}\left(\mathrm{1,1}\right)& \&CenterDot;\&CenterDot;& \underset{\&RightArrow;}{Y_k}(1,N_2-1)\\ \&CenterDot;& \&CenterDot;& & \&CenterDot;\\ \&CenterDot;& \&CenterDot;& & \&CenterDot;\\ \&CenterDot;& \&CenterDot;& & \&CenterDot;\\ \underset{\&RightArrow;}{Y_k}(N_1-\mathrm{1,0})& \underset{\&RightArrow;}{Y_k}(N_1-\mathrm{1,1})& \&CenterDot;\&CenterDot;\&CenterDot;& \underset{\&RightArrow;}{Y_k}(N_1-1,N_2-1)\end{array}\right]}_{N_1\&times;N_2},$

则排成列向量变为

重采样的低分辨率图像序列

按行排成列向量后，记为

$\{\stackrel{\&RightArrow;}{Y_k}:k=\mathrm{1,2},...,K\},$

同样将高分辨率图像按行排成列向量后，记为

其中，

为包含N₁N₂个元素的列向量、

为包含p²N₁N₂个元素的列向量以及T表示转置；令N＝N₁N₂和M＝p²N₁N₂，则建立如下高分辨率图像的退化模型

$\stackrel{\&RightArrow;}{Y_k}=\mathrm{DB}\stackrel{\&RightArrow;}{X},1\&le;k\&le;K,$

其中，

表示高分辨率图像；

表示第k帧重采样后的低分辨率图像；B表示大小为M×M的模糊矩阵；D表示大小为L×M的降采样矩阵，

(2.2)建立高分辨率图像的重建优化模型

根据(2.1)给定的退化模型：

1≤k≤K，图像序列的超分辨率重建相当于根据低分辨率图像序列

求解因为模糊矩阵B和降采样矩阵D的乘积是个有高度病态性的系数矩阵，从数值分析的角度分析，模糊矩阵B和降采样矩阵D的乘积的高度病态性造成超分辨率重建的不适定性，换句话说，退化模型：

1≤k≤K的解不能完全满足“存在性、唯一性、稳定性”三个条件，这里稳定性的含义是模糊矩阵B和降采样矩阵D的微小误差都可能会导致超分辨率重建图像与真实的高分辨率图像偏离甚远。下面将把上面的不适定问题转化为适定性问题，同时保证与退化模型真实解的保真度。根据(1.2)给定的高分辨率图像的退化模型以及正则化理论，将退化模型中高分辨率图像的求解过程转化为如下高分辨率图像的重建优化模型解的优化过程

$F\left(\stackrel{\&RightArrow;}{X}\right)=\arg \underset{\stackrel{\&RightArrow;}{X}}{\min }\{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k\mathrm{\&rho;}(\stackrel{\&RightArrow;}{Y_k},\mathrm{DB}\stackrel{\&RightArrow;}{X})+\mathrm{\&lambda;}\left(\stackrel{\&RightArrow;}{X}\right)\mathrm{\&Gamma;}\left(\underset{\&RightArrow;}{X}(x,y)\right)\}$

其中，w_k表示加权因子，λ(·)表示正则项系数，ρ(·)表示数据残差项，Γ(·)表示正则项；ρ(·)和Γ(·)分别为

$\mathrm{\&rho;}(\stackrel{\&RightArrow;}{Y_k},\mathrm{DB}\stackrel{\&RightArrow;}{X})={\left|\right|\stackrel{\&RightArrow;}{Y_k}-\mathrm{DB}\stackrel{\&RightArrow;}{X}\left|\right|}_2^2$

和

$\mathrm{\&Gamma;}\left(\underset{\&RightArrow;}{X}(x,y)\right)=\underset{i=1}{\overset{N_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_2}{\mathrm{\&Sigma;}}}4*\mathrm{\&gamma;}-\mathrm{\&gamma;exp}\{-[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i,j-1){]}^2/\mathrm{\&gamma;}\}-\mathrm{\&gamma;exp}\{-[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i,j+1){]}^2/\mathrm{\&gamma;}\}$

$-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i-1,j)]}^2/\mathrm{\&gamma;}\}-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i+1,j)]}^2/\mathrm{\&gamma;}\}$

其中，i和j为正整数、||·||₂ ²表示2范数的平方、γ为退火参数且0＜γ＜300；

正则化系数λ(·)的选取应该遵循这样的原则：1)正则化系数λ(·)与数据残差项ρ(·)成正比；2)正则化系数λ(·)与正则项Γ(·)成反比；3)正则化系数λ(·)非负；4)在边缘和纹理点等非光滑区域的像素点对应的正则化系数值小；根据正则化系数λ(·)的选取应该遵循这样的原则，构造如下公式来确定正则化系数λ(·)

$\mathrm{\&lambda;}\left(\stackrel{\&RightArrow;}{X}\right)=\sqrt{\mathrm{\&tau;}\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|\stackrel{\&RightArrow;}{Y_k}-\mathrm{DB}\stackrel{\&RightArrow;}{X}\left|\right|}_2^2}{\mathrm{\&Gamma;}\left(\stackrel{\&RightArrow;}{X}\right)+\mathrm{\&delta;}}}$

其中，0＜τ＜1、0＜δ＜20；

所述的高分辨率图像的重建优化模型中加权因子w_k、模糊矩阵B以及降采样矩阵D的确定，所述的w_k、B以及D的确定方法为：

(a)加权因子w_k的确定：定义第k帧图像所在的数据残差项ρ(·)赋予的权值w_k为：

w_k＝w₁-a(H_k)|k-1|，1≤k≤K    (10)

其中w₁表示参考帧图像所在的数据残差项ρ(·)赋予的权值、H_k表示重采样的低分辨率图像序列中第k帧图像的熵值，重采样的低分辨率图像序列中第k帧图像的熵值H_k的计算表达式为

$H_k=-\underset{q=0}{\overset{Q-1}{\mathrm{\&Sigma;}}}{P}_k\left(q\right)\log P_k\left(q\right)$

其中，Q为图像的灰度等级，对于256灰度等级的图像Q＝255以及

$P_k\left(q\right)=\frac{n_k\left(q\right)}{N_1\&times;N_2}$

其中，n_k(q)表示灰度级为q在重采样的低分辨率图像序列第k帧图像中包含的像素数；

通过分析知，a(H_k)需要满足如下三条重要的性质：

1)a(H_k)与信息熵H_k成反比；

2)a(H_k)大于或等于0；

3)a(H_k)需要保证(10)式中的w_k≥0(k＝1，...，K)。

基于上面描述的几条性质，定义a(H_k)的表达式为

$a\left(H_k\right)=\mathrm{\&Phi;}\left(\frac{1}{(K+1)H_k}\right)$

其中Φ(·)是单调递增函数。为了提高速度且不影响结果的前提下，本发明用线性函数来定义Φ(·)

$a\left(H_k\right)=\frac{\mathrm{\&mu;}}{(K+1)H_k}---\left(11\right)$

其中μ是一个正的实常数；

把式(11)代入式(10)中得

$w_k=w_1-\frac{\mathrm{\&mu;}|k-1|}{(K+1)H_k},1\&le;k\&le;K---\left(12\right)$

w₁和μ的最优值分别为0.5和0.2，则加权因子w_k表示为

$w_k=0.5-0.2\frac{|k-1|}{(K+1)H_k},1\&le;k\&le;K;$

(b)模糊矩阵B的确定

通过模糊核位移确定模糊矩阵B，模糊核为h＝(h₁，h₂，h₃)^T，其中h₁+h₂+h₃＝1，则

$B={\left[\begin{array}{cccccccc}{h}_2& h_3& 0& 0& \&CenterDot;\&CenterDot;\&CenterDot;& 0& 0& h_1\\ h_1& h_2& h_3& 0& \&CenterDot;\&CenterDot;\&CenterDot;& 0& 0& 0\\ 0& h_1& h_2& h_3& \&CenterDot;\&CenterDot;\&CenterDot;& 0& 0& 0\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ 0& 0& 0& 0& \&CenterDot;\&CenterDot;\&CenterDot;& h_1& h_2& h_3\\ h_3& 0& 0& 0& \&CenterDot;\&CenterDot;\&CenterDot;& 0& h_1& h_2\end{array}\right]}_{M\&times;M}$

且所述h₁＝0.25、h₂＝0.5、h₃＝0.25；

(c)降采样矩阵D的确定

本发明基于低分辨率图像中产生的混叠效应是由平均算子所造成的这个事实来构造降采样矩阵D，则降采样矩阵为：

$D=\frac{1}{p^2}{\left(D_{i^{\&prime;}{j}^{\&prime;}}\right)}_{N\&times;M}=\frac{1}{p^2}{\left[\begin{array}{cccc}{D}_{11}& D_{12}& \&CenterDot;\&CenterDot;\&CenterDot;& D_{1M}\\ D_{21}& D_{22}& \&CenterDot;\&CenterDot;\&CenterDot;& D_{2M}\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ \&CenterDot;& \&CenterDot;& \&CenterDot;& \&CenterDot;\\ D_{N1}& D_{N2}& \&CenterDot;\&CenterDot;\&CenterDot;& D_{\mathrm{NM}}\end{array}\right]}_{N\&times;M}$

对于i′＝1，2，...，N

其中，p为放大因子且为正整数、N＝N₁N₂、N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；

(2.3)利用逐渐非凸算法对高分辨率图像的重建优化模型进行优化，得到高分辨率图像的最优估计值，利用逐渐非凸算法进行优化的具体步骤如下：

步骤2.3.1：计算重采样的图像序列

的熵值；

步骤2.3.2：用三次线性插值法对熵值最高的低分辨率图像进行插值，获得高分辨率图像的初始值

步骤2.3.3：令取γ⁽⁰⁾＝2ρ，其中k′＝1，2，...，M-1，

表示高分辨率图像的初始值

的第k′个分量，γ⁽⁰⁾表示退火参数的初始值且0＜γ⁽⁰⁾＜300；

步骤2.3.4：n″＝0；

步骤2.3.5：按以下公式求解第n″次迭代的正则项系数λ^(n″)：

${\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}=\sqrt{\mathrm{\&tau;}\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|\stackrel{\&RightArrow;}{Y_k}-\mathrm{DB}{\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}\left|\right|}_2^2}{\mathrm{\&Gamma;}\left({\stackrel{\&RightArrow;}{X}}^{(n^{\&prime;\&prime;}-1)}\right)+\mathrm{\&delta;}}}$

步骤2.3.6：按

进行迭代，估计高分辨率图像

其中

$\&dtri;F\left({\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}\right)=\{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k{B}^T{D}^T(\mathrm{DB}{\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}-\stackrel{\&RightArrow;}{Y_k})$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j-1)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j-1)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j+1)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j+1)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i-1,j)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i-1,j)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i+1,j)]\exp \{-{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i+1,j)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}\}.$

步骤2.3.7：令n″＝n″+1，γ^(n″)＝ηγ^(n″-1)，如果

转至步骤2.3.5；否则，转至步骤2.3.8；

步骤2.3.8：输出超分辨率重建图像

其中，n″为非负正整数、0＜τ＜1，0＜η＜1，0＜τ＜1、0＜δ＜20、γ^(n″)为第n″次迭代的退火参数、ε是一个大于零的迭代终止系数，β表示的迭代步长，所述η＝0.7，τ＝0.4，ε＝0.0001，β＝0.9以及δ＝5。

序列图像的加权自适应超分辨率重建方法在实拍低分辨率图像的应用试验

在应用试验中，利用分辨率为320×240的摄像机对实际场景拍摄一段视频流，选取视频流中的连续6帧图像，并截取其中94×102大小的感兴趣区域作为低分辨率图像序列，然后利用本发明提出的加权自适应超分辨率重建方法对这一低分辨率图像序列进行重建实验，取放大因子为2。图3.1显示了这6帧低分辨率图像序列，图3.2是三次样条插值方法的结果，图3.3是本发明提出的超分辨率重建方法。从直观效果看，三次样条插值的结果非常模糊，几乎所有的字符很难去辨认，而本发明提出的方法恢复出更多的细节，获得了比较好的直观效果。

Claims (1)

1.一种图像序列的加权自适应超分辨率重建方法，其特征在于，包括如下步骤：

步骤1取同一传感器获得的连续K帧M₁×M₂大小的低分辨率图像，得到低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}，其中，M₁和M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，M₁、M₂以及K为正整数，用Y_k(x，y)二维函数形式表示低分辨率图像序列中第k帧图像，坐标(x，y)的值为离散量并且x和y都为非负整数，然后对该低分辨率图像序列进行重采样，得到重采样的低分辨率图像序列，对该低分辨率图像序列进行重采样的方法为：

(1.1)选取参考帧，建立图像序列中偏移图与参考帧图像之间的运动变形变换关系模型

以第一帧图像Y₁(x，y)为参考帧图像，则第k帧图像Y_k(x，y)为第一帧图像Y₁(x，y)经过旋转角度

水平平移

垂直平移

所得，即：

${\stackrel{\&RightArrow;}{Y}}_k(x,y)={\stackrel{\&RightArrow;}{Y}}_1(x\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)-y\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)+{\stackrel{\&OverBar;}{a}}_k,y\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)+x\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_k\right)+{\stackrel{\&OverBar;}{b}}_k)---\left(1\right)$

所述的旋转角度水平平移

以及垂直平移

为运动变形参数，所述的运动变形参数

以及

的确定方法为：

步骤1.1：利用维纳滤波对低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行预处理，预处理后的低分辨率图像序列仍记为{Y_k(x，y)：k＝1，2，..，K}；

步骤1.2：利用公知的建立图像金字塔的方法，分别对预处理后的K帧低分辨率图像建立图像金字塔，其算法如下：对第k帧预处理后的图像Y_k(x，y)经过低通滤波后并做隔行隔列降采样，即

$f_{k,l}(x,y)=\underset{m=-2}{\overset{2}{\mathrm{\&Sigma;}}}\underset{n=-2}{\overset{2}{\mathrm{\&Sigma;}}}w(m,n)f_{k,l-1}(2x+m,2y+n),1\&le;l\&le;L,0\&le;x\&le;C_{k,l},0\&le;y<R_{k,l}---\left(2\right)$

其中，f_k，l(x，y)表示第k帧图像Y_k(x，y)的图像金字塔中第l层图像；f_k，0(x，y)为原图像Y_k(x，y)，作为第k帧图像Y_k(x，y)的图像金字塔的底层；L表示第k帧图像Y_k(x，y)的图像金字塔的总层数；C_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的列数；R_k，l为第k帧图像Y_k(x，y)的图像金字塔中第l层图像的行数；其中，l、m、n、L、C_k，l以及R_k，l为大于零的正整数，

为5×5大小的窗口函数，其中，m′和n′为正整数，

为服从高斯密度分布的函数，

服从高斯密度分布的函数满足如下三个约束条件：

1)归一化：

m″为整数；

2)对称性：

m″′＝0、1、2；

3)奇偶项等贡献：

由上面三个约束条件可以得到

$\stackrel{\&OverBar;}{w}\left(0\right)=\frac{3}{8},\stackrel{\&OverBar;}{w}(-1)=\stackrel{\&OverBar;}{w}\left(1\right)=\frac{1}{4},\stackrel{\&OverBar;}{w}(-2)=\stackrel{\&OverBar;}{w}(-2)=\frac{1}{16}$

窗口函数w(m′，n′)则可以表示为

$w(m^{\&prime;},n^{\&prime;})=\left[\begin{array}{ccccc}1& 4& 6& 4& 1\\ 4& 16& 24& 16& 4\\ 6& 24& 36& 24& 6\\ 4& 16& 24& 16& 4\\ 1& 4& 6& 4& 1\end{array}\right]$

由{f_k，l(x，y)：l＝1，2，..，L}构成了第k帧预处理后的低分辨率图像Y_k(x，y)的图像金字塔；步骤1.3：利用梯度法来估计第k帧图像Y_k(x，y)的图像金字塔第L层图像相对于参考帧图像Y₁(x，y)的图像金字塔的第L层的旋转角度

水平平移

垂直平移

其算法如下：以第一帧图像

的图像金字塔第L层图像f_1，L(x，y)作为参考帧图像，第k帧图像Y_k(x，y)的图像金字塔第L层f_k，L(x，y)作为f_1，L(x，y)经过旋转角度

水平平移

垂直平移

则f_k，L(x，y)表示为

$f_{k,K}(x,y)=f_{1,L}(x\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)-y\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+{\stackrel{\&OverBar;}{a}}_{k,L},y\cos \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+x\sin \left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)+{\stackrel{\&OverBar;}{b}}_{k,L})---\left(3\right)$

将

和

用泰勒级数展开到二阶，近似得

$f_{k,L}(x,y)\&ap;f_{1,L}(x+{\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2},y+{\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})---\left(4\right)$

进一步将f_1，L用泰勒级数展开到一阶，可近似得

$f_{k,L}(x,y)\&ap;f_{1,L}(x,y)+({\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;{\stackrel{\&RightArrow;}{Y}}_1(x,y)}{\&PartialD;x}+({\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;{\stackrel{\&RightArrow;}{Y}}_1(x,y)}{\&PartialD;y}---\left(5\right)$

则f_1，L和f_k，L之间的误差函数表示为

$E({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L},{\stackrel{\&OverBar;}{a}}_{k,L},{\stackrel{\&OverBar;}{b}}_{k,L})=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{[f_{1,L}(x,y)+({\stackrel{\&OverBar;}{a}}_{k,L}-y{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-x\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;{\stackrel{\&RightArrow;}{Y}}_1(x,y)}{\&PartialD;x}+({\stackrel{\&OverBar;}{b}}_{k,L}+x{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}-y\frac{{\left({\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}\right)}^2}{2})\frac{\&PartialD;{\stackrel{\&RightArrow;}{Y}}_1}{\&PartialD;y}-f_{k,L}(x,y)]}^2---\left(6\right)$

对式(6)关于

求偏导数并令其等于零，忽略高阶项后可以得到

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\left(\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\right)}^2{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}(f_{1,L}(x,y)-f_{k,L}(x,y))---\left(7\right)$

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}\frac{\&PartialD;f_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{\left(\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}\right)}^2{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}({\&PartialD;f}_{1,L}(x,y)-{\&PartialD;f}_{k,L}(x,y))---\left(8\right)$

$\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x}{\stackrel{\&OverBar;}{a}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}{\stackrel{\&OverBar;}{b}}_{k,L}+\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}{R}^2{\stackrel{\&OverBar;}{\mathrm{\&theta;}}}_{k,L}=\underset{x}{\mathrm{\&Sigma;}}\underset{y}{\mathrm{\&Sigma;}}R(f_{1,L}(x,y)-f_{k,L}(x,y))---\left(9\right)$

其中

$R=x\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;y}-y\frac{{\&PartialD;f}_{1,L}(x,y)}{\&PartialD;x},$

解线性方程组(7)-(9)，得到旋转角度

水平平移

垂直平移

 步骤1.4：利用公式

以及

得到最佳运动变形参数

以及的值；

(1.2)几何位置校正

以参考帧图像Y₁(x，y)的坐标系作为标准坐标系，按照运动变形变换关系模型，把预处理后的低分辨率图像序列{Y_k(x，y)：k＝1，2，..，K}分别投影到标准坐标系中的相应位置，得到几何位置校正后的低分辨率图像序列，几何位置校正后的低分辨率图像序列仍然记为{Y_k(x，y)：k＝1，2，...，K}；

(1.3)低分辨率图像序列的初始重采样

利用加权拉格朗日插值算法对几何位置校正后的低分辨率图像序列{Y_k(x，y)：k＝1，2，...，K}进行重采样，得到初始重采样的低分辨率图像序列；

(1.4)确定图像区域的输出范围

首先把初始重采样的低分辨率图像序列投影到标准坐标系中，然后分别找出投影图像的横坐标和纵坐标的最大值和最小值，并以此确定图像区域的输出范围，输出重采样的低分辨率图像序列

重采样的低分辨率图像序列中每帧图像的大小为N₁×N₂，其中N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；

步骤2.利用重采样的低分辨率图像序列

重建一帧大小为pN₁×pN₂的高分辨率图像

其中放大因子p为正整数，重建一帧高分辨率图像的方法为：

(2.1)建立高分辨率图像的退化模型

首先将重采样的低分辨率图像序列按行排成列向量，重排后的低分辨率图像序列记为

$\{{\stackrel{\&RightArrow;}{Y}}_k:k=\mathrm{1,2},...,K\},$

同样将高分辨率图像

按行排成列向量后，重排后的低分辨率图像序列记为

其中

为包含N₁N₂个元素的列向量、

为包含p²N₁N₂个元素的列向量以及T表示转置；令N＝N₁N₂和M＝p²N₁N₂，则建立如下高分辨率图像的退化模型

${\stackrel{\&RightArrow;}{Y}}_k=\mathrm{DB}\stackrel{\&RightArrow;}{X},$ 1≤k≤K，

其中，

表示高分辨率图像；

表示第k帧重采样后的低分辨率图像；B表示大小为M×M的模糊矩阵；D表示大小为L×M的降采样矩阵，

(2.2)建立高分辨率图像的重建优化模型

根据(1.2)给定的高分辨率图像的退化模型以及正则化理论，将退化模型中高分辨率图像的求解过程转化为如下高分辨率图像的重建优化模型解的优化过程

$F\left(\stackrel{\&RightArrow;}{X}\right)=\arg \underset{\stackrel{\&RightArrow;}{X}}{\min }\{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k\mathrm{\&rho;}({\stackrel{\&RightArrow;}{Y}}_k,\mathrm{DB}\stackrel{\&RightArrow;}{X})+\mathrm{\&lambda;}\left(\stackrel{\&RightArrow;}{X}\right)\mathrm{\&Gamma;}\left(\underset{\&RightArrow;}{X}(x,y)\right)\}$

其中，w_k表示加权因子，λ(·)表示正则项系数，ρ(·)表示数据残差项，Γ(·)表示正则项；ρ(·)和Γ(·)分别为

$\mathrm{\&rho;}({\stackrel{\&RightArrow;}{Y}}_k,\mathrm{DB}\stackrel{\&RightArrow;}{X})={\left|\right|{\stackrel{\&RightArrow;}{Y}}_k-\mathrm{DB}\stackrel{\&RightArrow;}{X}\left|\right|}_2^2$

和

$\mathrm{\&Gamma;}\left(\underset{\&RightArrow;}{X}(x,y)\right)=\underset{i=1}{\overset{N_1}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N_2}{\mathrm{\&Sigma;}}}4*\mathrm{\&gamma;}-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(x,y)-\stackrel{\&RightArrow;}{X}(i,j-1)]}^2/\mathrm{\&gamma;}\}-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i,j+1)]}^2/\mathrm{\&gamma;}\}$

$-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i-1,j)]}^2/\mathrm{\&gamma;}\}-\mathrm{\&gamma;exp}\{-{[\stackrel{\&RightArrow;}{X}(i,j)-\stackrel{\&RightArrow;}{X}(i+1,j)]}^2/\mathrm{\&gamma;}\}$

其中，i和j为正整数、||·||₂ ²表示2范数的平方、γ为退火参数且0＜γ＜300；

正则化系数λ(·)的选取应该遵循这样的原则：1)正则化系数λ(·)与数据残差项ρ(·)成正比；2)正则化系数λ(·)与正则项Γ(·)成反比；3)正则化系数λ(·)非负；4)在边缘和纹理点等非光滑区域的像素点对应的正则化系数值小；根据正则化系数λ(·)的选取应该遵循这样的原则，构造如下公式来确定正则化系数λ(·)

$\mathrm{\&lambda;}\left(\stackrel{\&RightArrow;}{X}\right)=\sqrt{\mathrm{\&tau;}\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|{\stackrel{\&RightArrow;}{Y}}_k-\mathrm{DB}\stackrel{\&RightArrow;}{X}\left|\right|}_2^2}{\mathrm{\&Gamma;}\left(\stackrel{\&RightArrow;}{X}\right)+\mathrm{\&delta;}}}$

其中，0＜τ＜1、0＜δ＜20；

所述的高分辨率图像的重建优化模型中加权因子w_k、模糊矩阵B以及降采样矩阵D的确定，所述的w_k、B以及D的确定方法为：

(a)加权因子w_k的确定：定义第k帧图像所在的数据残差项ρ(·)赋予的权值w_k为：

w_k＝w₁-a(H_k)|k-1|，1≤k≤K    (10)

其中w₁表示参考帧图像所在的数据残差项ρ(·)赋予的权值、H_k表示重采样的低分辨率图像序列中第k帧图像的熵值以及a(H_k)的表达式为

$a\left(H_k\right)=\frac{\mathrm{\&mu;}}{(K+1)H_k}---\left(11\right)$

其中μ是一个正的实常数；

把式(11)代入式(10)中得

$w_k=w_1-\frac{\mathrm{\&delta;}|k-1|}{(K+1)H_k},1\&le;k\&le;K---\left(12\right)$

w₁和δ的最优值分别为0.5和0.2，则加权因子w_k表示为

$w_k=0.5-0.2\frac{|k-1|}{(K+1)H_k},1\&le;k\&le;K;$

(b)模糊矩阵B的确定

通过模糊核位移确定模糊矩阵B，模糊核为h＝(h₁，h₂，h₃)^T，其中h₁+h₂+h₃＝1，则

$B={\left[\begin{array}{cccccccc}{h}_2& h_3& 0& 0& ...& 0& 0& h_1\\ h_1& h_2& h_3& 0& ...& 0& 0& 0\\ 0& h_1& h_2& h_3& ...& 0& 0& 0\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ .& .& .& .& .& .& .& .\\ 0& 0& 0& 0& ...& h_1& h_2& h_3\\ h_3& 0& 0& 0& ...& 0& h_1& h_2\end{array}\right]}_{M\&times;M}$

且所述h₁＝0.25、h₂＝0.5、h₃＝0.25；

(c)降采样矩阵D的确定

降采样矩阵D为：

$D=\frac{1}{p^2}{\left(D_{i^{\&prime;}{j}^{\&prime;}}\right)}_{N\&times;M}=\frac{1}{p^2}{\left[\begin{array}{cccc}{D}_{11}& D_{12}& ...& D_{1M}\\ D_{21}& D_{22}& ...& D_{2M}\\ .& .& .& .\\ .& .& .& .\\ .& .& .& .\\ D_{N1}& D_{N2}& ...& D_{\mathrm{NM}}\end{array}\right]}_{N\&times;M}$

对于i′＝1，2，...，N

其中，N＝N₁N₂、N₁和N₂为正整数且分别为重采样的每帧低分辨率图像的图像矩阵的行数和列数；

(2.3)利用逐渐非凸算法对高分辨率图像的重建优化模型进行优化，得到高分辨率图像的最优估计值，利用逐渐非凸算法进行优化的具体步骤如下：

步骤2.3.1：计算重采样的图像序列的熵值；

步骤2.3.2：用三次线性插值法对熵值最高的低分辨率图像进行插值，获得高分辨率图像的初始值

步骤2.3.3：令

取γ⁽⁰⁾＝2ρ，其中k′＝1，2，...，M-1，表示高分辨率图像的初始值

的第k′个分量，γ⁽⁰⁾表示退火参数的初始值且0＜γ⁽⁰⁾＜300；

步骤2.3.4：n″＝0；

步骤2.3.5：按以下公式求解第n″次迭代的正则项系数λ^(n″)：

${\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}=\sqrt{\mathrm{\&tau;}\frac{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{\left|\right|{\stackrel{\&RightArrow;}{Y}}_k-\mathrm{DB}{\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}\left|\right|}_2^2}{\mathrm{\&Gamma;}\left({\stackrel{\&RightArrow;}{X}}^{(n^{\&prime;\&prime;}-1)}\right)+\mathrm{\&delta;}}}$

步骤2.3.6：按

进行迭代，估计高分辨率图像

其中

$\&dtri;F\left({\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}\right)=\{\underset{k=1}{\overset{K}{\mathrm{\&Sigma;}}}{w}_k{B}^T{D}^T(\mathrm{DB}{\stackrel{\&RightArrow;}{X}}^{\left(n^{\&prime;\&prime;}\right)}-{\stackrel{\&RightArrow;}{Y}}_k)$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j-1)]\exp \{-[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j-1)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j+1)]\exp \{-[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i,j+1)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i-1,j)]\exp \{-[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i-1,j)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}$

$+2{\mathrm{\&lambda;}}^{\left(n^{\&prime;\&prime;}\right)}{[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i+1,j)]\exp \{-[\underset{\&RightArrow;}{X}(i,j)-\underset{\&RightArrow;}{X}(i+1,j)]}^2/{\mathrm{\&gamma;}}^{\left(n^{\&prime;\&prime;}\right)}\}\}.$

步骤2.3.7：令n″＝n″+1，γ^(n″)＝ηγ^(n″-1)，如果

转至步骤2.3.5；否则，转至步骤2.3.8；

步骤2.3.8：输出超分辨率重建图像

其中，n″为非负正整数、0＜τ＜1，0＜η＜1，0＜τ＜1、0＜δ＜20、γ^(n″)为第n″次迭代的退火参数、ε是一个大于零的迭代终止系数，β表示的迭代步长，所述η＝0.7，τ＝0.4，ε＝0.0001，β＝0.9以及δ＝5。

Images