CN101441765A - 保持边缘清晰的自适应正则超分辨图像重建方法 - Google Patents

Abstract

本发明公开了一种能够保持边缘清晰的自适应正则超分辨图像重建方法，主要解决现有方法对退化图像重建的边缘模糊问题。其步骤为：构造成像模型；在Lagrangian乘子法构造的无约束的目标函数的基础上，增加梯度逼近约束项，对目标函数进行扩展；采用L₁范数对数据逼近项进行度量；利用一种能对平滑作用加以局部适应性控制的自适应双边总变分模型构造自适应正则项；增加梯度逼近项作为梯度一致性约束，保持边缘信息；引入自适应正则项与梯度一致性约束项作为约束条件，构造扩展后的Lagrangian目标函数，并进行优化；利用优化后的无约束目标函数重构图像，获得保持边缘的高分辨率图像。本发明既可保持图像边缘清晰又可抑制噪声，适用于对退化图像的复原处理。

Description

保持边缘清晰的自适应正则超分辨图像重建方法

技术领域

本发明属于信号处理技术领域，涉及超分辨率图像重建方法，应用于遥感、医学成像和高清晰电视等多个领域中进行退化图像的复原。

背景技术

在获取图像的过程中，有许多因素会导致图像质量的下降即退化，而普通的图像复原技术只能将物体的频率复原到衍射极限相应的截止频率处，而不能超越它，这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像重建就是试图复原截止频率之外的信息，以使图像获得更多的细节和信息。超分辨率重建技术是指由一些低分辨率变形的图像或视频序列来估计具有更高分辨率非变形的图像，同时能够消除噪声以及由有限检验器尺寸和光学元件产生的模糊，是提高降质图像分辨率的有效手段之一。该技术已成为信号处理领域的一个研究热点，并已广泛应用于遥感、医学成像和高清晰电视等多个领域。虽然超分辨率重建技术已经取得了迅速的发展，但在目前的技术水平下仍需要在算法的设计中做出某些改进，当将某些现有的算法进行改进以后，将会改善重建图像的感观，使超分辨率图像重建的效果更好。

目前超分辨率图像重建方法大致可分为两大类：频域法和空域法。

在频域法中，Tsai和Huang首先利用互有平移的图像序列，采用消混叠的算法进行超分辨重建。其后相继产生了一系列改进的频域重建算法。空域法主要包括非均匀内插法，凸集投影算法，和反向投影迭代法，正则化方法等。近些年，人们又提出了基于学习的超分辨率方法，时空结合的超分辨率方法等。与频域法相比，空域法因其具有更好的适应性和复原效果从而成为目前研究的热点。

由于超分辨率图象重建是一个病态问题，因此其解是不稳定的。空域法中的正则化方法是克服此问题的一种有效方法，它包括随机正则化法和确定性正则化法。“M.Elad and A.Feuer.Restoration of a single superresolution image fromseveral blurred，noisy，and undersampled measured images[J].IEEE Trans.ImageProcessing，Dec.1997，6(12)：1646-1658.”中的Tikhonov正则重建法就是其中一种确定性正则化方法，该方法通过引入平滑性约束而抑制重建图像的噪声，但同时也损失了图像的细节信息。Sina Farsiu等人提出了一种用双边总变分BTV算子作为正则项，用L₁范数度量数据逼近项和正则项的快速稳健超分辨率重建算法“S.Farsiu，M.D.Robinson，M，.Elad and P.Milanfar.Fast and robust multiframe superresolution[J].IEEE Trans.Image Processing，2004，13(10)：1327-1344.”该算法具有较好的稳健性，边缘保持性能优于传统的Tikhonov正则化方法。但是，该算法正则项的构造没有充分利用图像局部光滑性特征，其中的加权参数和度量范数是固定的，未能实现局部自适应，因此，对超分辨率重建的自适应控制能力有限，无法在抑制噪声和重建丰富细节之间做出很好的平衡，使图像的边缘产生模糊，降低了图像的复原质量。

发明内容

本发明的目的在于克服上述已有技术的不足，提供一种能够保持边缘清晰的自适应正则超分辨图像重建方法，以提高退化图像的复原质量。

实现本发明目的的技术要点是在图像的边缘区域和平滑区域选择不同的权值，既可保持边缘又可抑制噪声，具体实现步骤如下：

1)对一幅高分辨率图像采用一种含有加性噪声、光学模糊、运动模糊及下采样过程的成像系统进行退化，形成多帧低分辨率图像；

2)对多帧低分辨率图像，先采用Lagrangian乘子法构造无约束目标函数为：

其中，X为高分辨率图像矢量，Y _k为第k个观测到的低分辨率图像矢量，F_k为运动矩阵，H_k为模糊矩阵，D_k为下采样矩阵，λ为Lagrangian系数，γ(X)为加入BTV模型的正则项，N为低分辨率图像的帧数；

3)在无约束目标函数中依次增加数据逼近项、自适应正则项，梯度逼近约束项，将原无约束目标函数扩展为：

$\underset{\‾}{\overset{^}{X}}=\underset{\underset{\‾}{X}}{\mathrm{ArgMin}}[\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{\left|\right|D_k{H}_k{F}_k\underset{\‾}{X}-{\underset{\‾}{Y}}_k\left|\right|}_1$

4)采用最速下降法对扩展后的无约束目标函数进一步优化为：

${\underset{\‾}{\overset{^}{X}}}_{n+1}={\underset{\‾}{\overset{^}{X}}}_n-\mathrm{\β}\{\underset{k=1}{\overset{N}{\mathrm{\Σ}}}{F}_k^T{H}_k^T{D}_k^T\mathrm{sign}(D_k{H}_k{F}_k{\underset{\‾}{\overset{^}{X}}}_n-{\underset{\‾}{Y}}_k)$

其中，

是当前图像，

是目标图像，β是迭代步长，

和

表示平移矩阵，和

分别是

和

的转置矩阵，

表示高分辨率图像水平、垂直和两个对角方向的梯度函数对X的偏导，Φ(m，l)^|m|+|l|为自适应权值矩阵，p _X (m，l)为L_p范数的p参数，I为单位矩阵，

和

分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值，

和

分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值，λ₁为正则化系数，λ₂为梯度项系数；

5)利用优化后的无约束目标函数重构图像，获得保持边缘清晰的高分辨率图像。

本发明具有如下优点

1)由于本发明提出了一种能对平滑作用加以局部适应性控制的自适应双边总变分ABTV模型，该模型在图像的边缘区域和平滑区域采用不同的权值，因而既可保持图像的边缘清晰又可抑制噪声，从而大大提高重建图像的质量；同时，由于采用自适应L_p范数(1<p≤2)取代BTV中的L₁范数，克服了由基于L₂范数模型和基于L₁范数模型易引起的边缘模糊和阶梯效应，从而提高该方法对估计误差的稳健性。

2)本发明增加了梯度逼近项作为图像梯度一致性的约束，保持图像的边缘信息，确保高分辨率图像梯度的估计值与低分辨率图像梯度的观测值相一致，进一步提高了超分辨率重建图像的质量。从实验结果可以看出，增加梯度逼近项后，图像边缘的重建效果明显提高，同时重建图像的PSNR值也从20.866提高到了21.203。

3)从仿真实验中可以看出，本发明中的方法在主客观方面都获得了较好的效果，抑制了噪声，保持了边界特征，避免了由于部分模型估计误差而引起的重建结果的明显波动，具有一定的稳健性，并且在信息不足的情况下，本发明同样很好地解决了抑制噪声和保持细节之间的矛盾，能获得较好的可视效果。

附图说明

图1是本发明重建方法的流程图

图2是本发明成像系统框图

图3是采用现有方法进行图像重建后的效果图；

图4是对现有方法采用不同的正则项进行图像复原后的效果图；

图5是本发明中增加梯度逼近项前后的图像重建效果图；

图6是采用不同方法对Eia图像的重建效果图；

图7是在噪声估计错误下，采用不同方法对Boat图像的重建效果图；

图8是在运动估计错误下，采用不同方法对Boat图像的重建效果图；

图9是低分辨率图像数量不足时，采用不同方法对Shopping图像的重建效果图。

具体实施方案

本发明的核心思想是在引入正则化约束稳定求解超分辨率图像重建这个典型的不适定问题的基础上，提出了一种针对图像不同区域自适应处理的正则超分辨率图像重建新方法。该方法根据图像的邻域一致性测度构造自适应平滑约束项，并定义自适应的L_p范数对此项进行度量。同时，构造基于L₁范数的梯度逼近范数项，将其加入正则化的重建过程中，进一步提高重建图像的质量。

参照图1，本发明的具体步骤如下：

步骤1，构造合理成像模型。

要实现超分辨率图像重建首先需要构造合理的成像系统退化模型，使模型能反应成像的物理过程，成像系统框图如图2所示，使高分辨率图像经过大气扰动、仿射变换、光学模糊和下采样过程后，得到多帧的低分辨率图像。设期望的高分辨率图像矢量 $\underset{\&OverBar;}{X}={[x_1,x_2,\&CenterDot;\&CenterDot;\&CenterDot;,x_{Q^2}]}^T,$ Q＝rM，其中r为下采样的尺度。第k个观测到的低分辨率图像Y_k大小为M×M，矢量表示为 ${\underset{\&OverBar;}{Y}}_k=[y_1^k,y_2^k,\&CenterDot;\&CenterDot;\&CenterDot;y_{M^2}^k]$ (k＝1，2，…，N)，N为低分辨率图像总数，考虑加性噪声干扰，则该观测模型的矩阵-向量形式为：

${\underset{\&OverBar;}{Y}}_k=D_k{H}_k^{\mathrm{cam}}{F}_k\underset{\&OverBar;}{X}+{\underset{\&OverBar;}{V}}_{k}k=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,N---\left(1\right)$

其中，X为高分辨率图像矢量，Y _k为第k个观测到的低分辨率图像矢量，F_k为运动矩阵，表示第k个LR图像的运动变形过程；

是模糊矩阵，表示摄像机传感器的点扩散函数(PSF)；D_k是下采样矩阵；V _k是系统噪声矢量。

步骤2，扩展无约束的目标函数。

将含有先验知识的正则项Y(X)引入超分辨率图像重建的观测模型中，并利用Lagrangian乘子法构造无约束的目标函数：

其中，

ρ是观测值与估计值之间的“距离”测度，λ为Lagrangian系数，γ(X)为加入BTV模型的正则项，

和为平移矩阵，分别表示将图像在水平和垂直方向平移l像素和m像素，α是权值参数，满足0<α<1，是通过实验获得的经验值。如图3所示，图3(a)是当α＝0.1时，采用上述方法进行图像重建后的效果图，图3(b)是当α＝0.9时，采用上述方法进行图像重建后的效果图，由图3可以看出，权值越小，图像的边缘保持的效果越好。

为了更好地重建图像的细节信息，进一步提高重建效果，本发明在(2)式的基础上，增加了梯度逼近约束项

将目标函数扩展为：

其中，ρ′是低分辨率图像梯度值与估计的高分辨率图像梯度值之间的“距离”测度，

表示高分辨率图像的梯度估计值，

和

分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值，N为低分辨率图像的帧数。

步骤3，数据逼近项的度量。

在传统正则化超分辨率图像重建方法中，式(2)和(3)式中的ρ通常取为数据残差的L_p范数(1≤p≤2)，则数据逼近项为：

$\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{\&rho;}({\underset{\&OverBar;}{Y}}_k,D_k{H}_k{F}_k\underset{\&OverBar;}{X})=\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left|\right|D_k{H}_k{F}_k\underset{\&OverBar;}{X}-{\underset{\&OverBar;}{Y}}_k\left|\right|}_p^p---\left(4\right)$

根据“S.Farsiu，M.D.Robinson，M，.Elad and P.Milanfar.Fast and robust multiframesuper resolution[J].IEEE Trans.Image Processing，2004，13(10)：1327-1344.”文章的揭示，在数据逼近项的度量方面，用L₁范数对估计误差的稳健性要优于用L₂范数。因此，本发明采用L₁范数对数据逼近项进行度量，即令(4)式中的p＝1，则基于L₁范数的数据逼近项为：

$\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\mathrm{\&rho;}({\underset{\&OverBar;}{Y}}_k,D_k{H}_k{F}_k\underset{\&OverBar;}{X})=\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}|D_k{H}_k{F}_k\underset{\&OverBar;}{X}-{\underset{\&OverBar;}{Y}}_k|---\left(5\right)$

公式(5)中的符号解释同上。

步骤4，引入自适应正则项。

正则项的引入是为了控制病态过程解的扰动，限制解为平滑解。本发明提出了一种能对平滑作用加以局部适应性控制的ABTV模型，设大小为Q×Q的图像X＝[x_i，j]_Q×Q的矢量表示形式为 $\underset{\&OverBar;}{X}={[x_1,x_2,\&CenterDot;\&CenterDot;\&CenterDot;,x_{Q^2}]}^T.$

和表示平移矩阵，则采用ABTV模型的正则项的矩阵-向量形式定义为：

其中，

$p_{\underset{\&OverBar;}{X}}(m,l)={\left[p_{x_k}(m,l)\right]}_{k=1,\&CenterDot;\&CenterDot;\&CenterDot;,Q^2}={\left[p_{i,j}(m,l)\right]}_{\begin{array}{c}i=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,Q\\ j=\mathrm{1,2},\&CenterDot;\&CenterDot;\&CenterDot;,Q\end{array}}(k=(j-1)\&times;Q+i)---\left(7\right)$

p _X (m，l)的范围是1<p _X (m，l)≤2，其取值是随着像元及平移量l和m的不同而自适应变化的，Φ(m，l)是对角线元素为φ_k，k(m，l)的对角矩阵，其大小为Q²×Q²，表示自适应权值矩阵，可根据图像区域特性对平滑作用施加不同的权值，和表示平移矩阵，ω为位移量，X为高分辨率图像矢量。

如图4所示，图4(a)是一帧退化后的低分辨率图像，图4(a)是当α＝0.1时，采用现有方法进行图像重建后的效果图，图3(b)是当α＝0.9时，采用现有方法进行图像重建后的效果图，图4(d)为引入自适应正则项后得到的重建效果图，由图4可以看出，引入自适应正则项后得到的重建图像即可保持图像的边缘清晰又可抑制噪声，从而大大提高重建图像的质量。

权值矩阵Φ(m，l)和范数参数p _X (m，l)均可通过对初始估计的高分辨率图像进行计算而获得，进而可由(7)式构造自适应正则项。对于具有不同平滑性特征的像元，该正则项对其平滑性影响是不同的，因此可以通过考察图像X中的一个非边界像元x_i，j的变化所造成的采用ABTV模型的正则项算子变化的度量来表现正则项对x_i，j的平滑作用。

步骤5，定义梯度逼近项。

为了保持边缘信息，确保高分辨率图像梯度的估计值与低分辨率图像梯度的观测值相一致，本发明增加梯度逼近项作为梯度一致性约束。梯度逼近项定义为：

$\mathrm{\&rho;}\&prime;({\&dtri;\underset{\&OverBar;}{Y}}_k,D_k{F}_k\&dtri;\underset{\&OverBar;}{X})=\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}|D_k{F}_k\left({\&dtri;}_i\underset{\&OverBar;}{X}\right)-{\&dtri;}_i{\underset{\&OverBar;}{Y}}_k|---\left(8\right)$

式中，F_k为运动矩阵，D_k是为下采样矩阵，

和

分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值，和

分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值。

如图5所示，图5(a)为一帧退化后的低分辨率图像，图5(b)为引入梯度逼近项前，采用BTV做为正则项，迭代7步后得到的重建效果图，图5(c)为引入梯度逼近项后，取与图5(b)相同的正则项及参数时，迭代相同的步长得到的重建效果图，由图5可以看出，加了梯度逼近项后，图像边缘的重建效果明显提高。

步骤6，构造扩展后的Lagrangian目标函数。

将基于L₁范数的数据逼近项、基于ABTV模型的正则项与梯度一致性约束项作为约束条件，把Lagrangian目标函数扩展为：

$\underset{\&OverBar;}{\overset{^}{X}}=\underset{\underset{\&OverBar;}{X}}{\mathrm{ArgMin}}[\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left|\right|D_k{H}_k{F}_k\underset{\&OverBar;}{X}-{\underset{\&OverBar;}{Y}}_k\left|\right|}_1$

采用最速下降法对(9)式进行进一步优化为：

${\underset{\&OverBar;}{\overset{^}{X}}}_{n+1}={\underset{\&OverBar;}{\overset{^}{X}}}_n-\mathrm{\&beta;}\{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{F}_k^T{H}_k^T{D}_k^T\mathrm{sign}(D_k{H}_k{F}_k{\underset{\&OverBar;}{\overset{^}{X}}}_n-{\underset{\&OverBar;}{Y}}_k)$

其中，

是当前图像，

是目标图像，β是迭代步长，

和

表示平移矩阵，

和

分别是和

的转置矩阵，表示高分辨率图像水平、垂直和两个对角方向的梯度函数对X的偏导，Φ(m，l)^|m|+|l|为自适应权值矩阵，p _x  (m，l)为L_p范数的P参数，I为单位矩阵，

和

分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值，和

分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值，λ₁为正则化系数，λ₂为梯度项系数。

步骤7，利用优化后的无约束目标函数重构图像，获得保持边缘的高分辨率图像。

对生成的多帧低分辨率图像进行插值放大，将放大的一帧图像作为当前图像，其余多帧图像作为待重建图像序列，采用式(10)对待重建图像序列迭代求解目标图像，当目标图像达到最优解时，停止迭代，此时的目标图像即为重建后的保持边缘的高分辨率图像。

本发明的效果可以通过以下对比试验进一步说明。

1.实验条件：本发明采用主观和客观两种测度对本发明的方法性能进行评估，并与双三次插值法和现有超分辨率方法进行对比实验。在实验中，采用图2中的成像模型来模拟真实的成像过程，生成多帧低分辨率图像。测试数据是256级灰度图像Eia、Boat和Shopping。对于每一个实验，各方法中参数选择原则为：1)经过大量实验，选择能产生最好重建效果的参数组合；2)均以各方法产生的最佳结果来进行对比实验。

2.实验内容

A.主观实验，如图(6)、图(7)、图(8)、图(9)所示。

图6(a)为原始图像；图6(b)为将图6(a)经过退化后产生的16帧低分辨率图像的其中一帧；图6(c)为采用现有的双三次插值法得到的重建效果图；图6(d)为现有的稳健超分辨率图像重建方法得到的重建效果图，其相应的正则化系数λ₁为0.008，BTV模型中的参数分别是w＝2，α＝0.6；图6(e)为引入梯度逼近项前，本发明的重建效果图，其正则化系数λ₁为0.006，BTV模型中的参数w＝2；图6(f)为引入梯度逼近项后，本发明的重建效果图，参数分别为λ₁＝0.004，λ₂＝0.12，w＝2。从图6中可看出，由于双三次插值法是基于单帧图像进行内插，所以重建效果最差。对比现有方法的结果图6(d)与本发明方法的结果图6(e)和图6(f)可见，本发明方法不仅在恢复图像的细节信息和保持边缘清晰方面优于现有方法，而且，更能有效地减弱平坦区域的噪声放大，提高重建图像的整体亮度，改善总的重建效果。

图7(a)为原始图像；图7(b)为将图7(a)经过退化后产生的16帧低分辨率图像中的一帧噪声估计错误的低分辨率图像；图7(c)为采用现有双三次插值法得到的重建效果图；图7(d)为现有的稳健超分辨率图像重建方法在参数为λ₁＝0.02，w＝2，α＝0.9时得到的重建效果图；图7(e)和图7(f)为引入梯度逼近项前后，本发明的重建效果图，其对应参数分别是λ₁＝0.007，w＝2和λ₁＝0.006，λ₂＝0.001，w＝2。

图8(a)为将图7(a)经过退化后产生的16帧低分辨率图像中的一帧存在仿射运动的低分辨率图像；图8(b)为将图7(a)经过退化后产生的16帧低分辨率图像中的一帧存在缩放运动的低分辨率图像；图8(c)为采用现有的双三次插值法得到的重建效果图；图8(d)为现有的稳健超分辨率图像重建方法在参数为λ₁＝0.03，w＝2，α＝0.7时得到的重建效果图；图8(e)和图8(f)为引入梯度逼近项前后，本发明的重建效果图，其对应参数分别是λ₁＝0.005，w＝2和λ₁＝0.005，λ₂＝0.0003，w＝2。

通过图7和图8的对比可看出，即使在部分模型估计错误的情况下，本发明的方法的重建效果仍优于现有的方法。而且，虽然在现有方法中参数λ₁和α的取值相对较大，但其重建图像的平坦区域的噪声仍然明显大于本发明的方法。因此，本发明的方法具有一定的稳健性，在模型估计错误时，仍能很好地平滑背景等平坦区域，同时保持边缘区域的清晰，如船身上的字样和划痕清晰可见。

图9(a)为原始图像；图9(b)将图9(a)经过退化后产生的9帧低分辨率图像的其中一帧，图9(c)为采用现有的双三次插值法得到的重建效果图；图9(d)为现有的稳健超分辨率图像重建方法在参数为λ₁＝0.009，w＝2，α＝0.9时得到的重建效果图；图9(e)和图9(f)为引入梯度逼近项前后，本发明的重建效果图，其对应参数分别是λ₁＝0.004，w＝2和λ₁＝0.004，λ₂＝0.0002，w＝2。对比重建结果，可以看出在退化图像数量不足的情况下，本发明的方法同样很好地解决了抑制噪声和保持细节之间的矛盾，如图9(e)和图9(f)中的食品盒身表面的噪声明显减小，而盒子上的文字能较好地保持清晰。因此可见，本发明的方法能获得较好的可视效果。

B.客观实验，如表1所示。

表1给出了采用不同方法对Eia图像、Boat图像和Shopping图像重建后的峰值信噪比PSNR值，由该PSNR值比较各方法重建的图像与原始图像的近似程度。从表1可以看出，本发明引入梯度逼近项之前的方法优于双三次插值和现有的稳健超分辨率重建方法，同时引入梯度逼近项的方法又进一步提高了重建图像的质量，其实验的PSNR比现有的双三次插值方法和现有的稳健超分辨率重建方法的PSNR分别提高了4.4312dB～11.8307dB和1.0869dB～4.1338dB。

表1.Eia图像、Boat图像和Shopping图像重建后的峰值信噪比PSNR值

Claims (3)

1.一种保持边缘清晰的自适应正则超分辨图像重建方法，包括如下步骤：

(1)对一幅高分辨率图像采用一种含有加性噪声、光学模糊、运动模糊及下采样过程的成像系统进行退化，形成多帧低分辨率图像；

(2)对多帧低分辨率图像，先采用Lagrangian乘子法构造无约束目标函数为：

其中，X为高分辨率图像矢量，Y _k为第k个观测到的低分辨率图像矢量，F_k为运动矩阵，H_k为模糊矩阵，D_k为下采样矩阵，λ为Lagrangian系数，

为加入双边总变分模型的正则项，N为低分辨率图像的帧数；

(3)在无约束目标函数中依次增加数据逼近项、自适应正则项，梯度逼近约束项，将原无约束目标函数扩展为：

$\underset{\&OverBar;}{\overset{^}{X}}=\underset{\underset{\&OverBar;}{X}}{\mathrm{ArgMin}}[\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{\left|\right|D_k{H}_k{F}_k\underset{\&OverBar;}{X}-{\underset{\&OverBar;}{Y}}_k\left|\right|}_1$

 

(4)采用最速下降法对扩展后的无约束目标函数进一步优化为：

${\underset{\&OverBar;}{\overset{^}{X}}}_{n+1}={\underset{\&OverBar;}{\overset{^}{X}}}_n-\mathrm{\&beta;}\{\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}{F}_k^T{H}_k^T{D}_k^T\mathrm{sign}(D_k{H}_k{F}_k{\underset{\&OverBar;}{\overset{^}{X}}}_n-{\underset{\&OverBar;}{Y}}_k)$

   

   

其中，是当前图像，

是目标图像，β是迭代步长，

和

表示平移矩阵，

和

分别是

和的转置矩阵，

表示高分辨率图像水平、垂直和两个对角方向的梯度函数对X的偏导，Φ(m，l)^|m|+|l|为自适应权值矩阵，p _x (m，l)为L_p范数的P参数，I为单位矩阵，

和

分别表示高分辨率图像在水平、垂盲和两个对角方向的梯度估计值，

和

分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值，λ₁为正则化系数，λ₂为梯度项系数。

(5)利用优化后的无约束目标函数重构图像，获得保持边缘清晰的高分辨率图像。

2.如权利要求1所述的方法，其中步骤(3)所述的增加自适应正则项包括如下步骤：

(3a)在无约束目标函数的正则项

中设定大小为Q²×Q²、对角线元素为φ_k，k(m，l)的对角矩阵Φ(m，l)，该对角矩阵的对角元素φ_k，k(m，l)为：

${\mathrm{\&phi;}}_{k,k}(m,l)=\left\{\begin{array}{cc}{\mathrm{\&alpha;}}_{i,j}& {\mathrm{\&alpha;}}_{i,j}\&le;{\mathrm{\&alpha;}}_{i+m,j+l}\\ {\mathrm{\&alpha;}}_{i+m,j+l}& {\mathrm{\&alpha;}}_{i,j}>{\mathrm{\&alpha;}}_{i+m,j+l}\end{array}\right.(k=(j-1)\&times;Q+i)$

其中，

η为不为零的正数，φ_k，k(m，l)为小于1的正值，当像元及其邻域像元均处于平滑区域时，α_i，j和α_i+m，j+l均趋近1，当像元及其邻域像元均处于棱边区域时，φ_k，k(m，l)则具有较小的值，φ_k，k(m，l)可在0到1的范围内自适应地变化，R_i，j为模糊熵的邻域一致性信息测度；

(3b)在无约束目标函数的正则项

中增加自适应选取的L_p(1<p≤2)范数，其中p参数的选取是同每个像元与其邻域像元的亮度差值有关的，对于图像X＝[x_i，j]，用x_i+m，j+l表示x_i，j的一个邻域像元，则p_i，j(m，l)为：

其中，δ是不为零的正数，x_i，j为图像像元，x_i+m，j+l为x_i，j的一个邻域像元；

(3c)在无约束目标函数的正则项

中设定自适应权值矩阵和增加自适应选取的L_p范数后，得到的自适应正则项为：

其中，p _x (m，l)为L_p范数的P参数，Φ(m，l)^|m|+|l|为自适应权值矩阵，

和

表示平移矩阵，ω为位移量，X为高分辨率图像矢量。

3.如权利要求1所述的方法，其中步骤(3)所述的增加梯度逼近约束项，是对高分辨率图像梯度的估计值与低分辨率图像梯度的观测值在水平、垂直和两个对角方向进行逼近，该梯度逼近项为：

$\mathrm{\&rho;}\&prime;(\&dtri;{\underset{\&OverBar;}{Y}}_k,D_k{F}_k\&dtri;\underset{\&OverBar;}{X})=\underset{k=1}{\overset{N}{\mathrm{\&Sigma;}}}\underset{i=1}{\overset{4}{\mathrm{\&Sigma;}}}|D_k{F}_k\left({\&dtri;}_i\underset{\&OverBar;}{X}\right)-{\&dtri;}_i{\underset{\&OverBar;}{Y}}_k|$

其中，

和

分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值，和

分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值，N为低分辨率图像的帧数。

Images