CN101441765A - 保持边缘清晰的自适应正则超分辨图像重建方法 - Google Patents

保持边缘清晰的自适应正则超分辨图像重建方法 Download PDF

Info

Publication number
CN101441765A
CN101441765A CNA2008102323399A CN200810232339A CN101441765A CN 101441765 A CN101441765 A CN 101441765A CN A2008102323399 A CNA2008102323399 A CN A2008102323399A CN 200810232339 A CN200810232339 A CN 200810232339A CN 101441765 A CN101441765 A CN 101441765A
Authority
CN
China
Prior art keywords
msub
mrow
munder
image
resolution image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2008102323399A
Other languages
English (en)
Inventor
高新波
路文
王茜
邓勤耕
胡彦婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CNA2008102323399A priority Critical patent/CN101441765A/zh
Publication of CN101441765A publication Critical patent/CN101441765A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

本发明公开了一种能够保持边缘清晰的自适应正则超分辨图像重建方法,主要解决现有方法对退化图像重建的边缘模糊问题。其步骤为:构造成像模型;在Lagrangian乘子法构造的无约束的目标函数的基础上,增加梯度逼近约束项,对目标函数进行扩展;采用L1范数对数据逼近项进行度量;利用一种能对平滑作用加以局部适应性控制的自适应双边总变分模型构造自适应正则项;增加梯度逼近项作为梯度一致性约束,保持边缘信息;引入自适应正则项与梯度一致性约束项作为约束条件,构造扩展后的Lagrangian目标函数,并进行优化;利用优化后的无约束目标函数重构图像,获得保持边缘的高分辨率图像。本发明既可保持图像边缘清晰又可抑制噪声,适用于对退化图像的复原处理。

Description

保持边缘清晰的自适应正则超分辨图像重建方法
技术领域
本发明属于信号处理技术领域,涉及超分辨率图像重建方法,应用于遥感、医学成像和高清晰电视等多个领域中进行退化图像的复原。
背景技术
在获取图像的过程中,有许多因素会导致图像质量的下降即退化,而普通的图像复原技术只能将物体的频率复原到衍射极限相应的截止频率处,而不能超越它,这样截止频率之外的能量和信息被无可奈何的丢失了。超分辨率图像重建就是试图复原截止频率之外的信息,以使图像获得更多的细节和信息。超分辨率重建技术是指由一些低分辨率变形的图像或视频序列来估计具有更高分辨率非变形的图像,同时能够消除噪声以及由有限检验器尺寸和光学元件产生的模糊,是提高降质图像分辨率的有效手段之一。该技术已成为信号处理领域的一个研究热点,并已广泛应用于遥感、医学成像和高清晰电视等多个领域。虽然超分辨率重建技术已经取得了迅速的发展,但在目前的技术水平下仍需要在算法的设计中做出某些改进,当将某些现有的算法进行改进以后,将会改善重建图像的感观,使超分辨率图像重建的效果更好。
目前超分辨率图像重建方法大致可分为两大类:频域法和空域法。
在频域法中,Tsai和Huang首先利用互有平移的图像序列,采用消混叠的算法进行超分辨重建。其后相继产生了一系列改进的频域重建算法。空域法主要包括非均匀内插法,凸集投影算法,和反向投影迭代法,正则化方法等。近些年,人们又提出了基于学习的超分辨率方法,时空结合的超分辨率方法等。与频域法相比,空域法因其具有更好的适应性和复原效果从而成为目前研究的热点。
由于超分辨率图象重建是一个病态问题,因此其解是不稳定的。空域法中的正则化方法是克服此问题的一种有效方法,它包括随机正则化法和确定性正则化法。“M.Elad and A.Feuer.Restoration of a single superresolution image fromseveral blurred,noisy,and undersampled measured images[J].IEEE Trans.ImageProcessing,Dec.1997,6(12):1646-1658.”中的Tikhonov正则重建法就是其中一种确定性正则化方法,该方法通过引入平滑性约束而抑制重建图像的噪声,但同时也损失了图像的细节信息。Sina Farsiu等人提出了一种用双边总变分BTV算子作为正则项,用L1范数度量数据逼近项和正则项的快速稳健超分辨率重建算法“S.Farsiu,M.D.Robinson,M,.Elad and P.Milanfar.Fast and robust multiframe superresolution[J].IEEE Trans.Image Processing,2004,13(10):1327-1344.”该算法具有较好的稳健性,边缘保持性能优于传统的Tikhonov正则化方法。但是,该算法正则项的构造没有充分利用图像局部光滑性特征,其中的加权参数和度量范数是固定的,未能实现局部自适应,因此,对超分辨率重建的自适应控制能力有限,无法在抑制噪声和重建丰富细节之间做出很好的平衡,使图像的边缘产生模糊,降低了图像的复原质量。
发明内容
本发明的目的在于克服上述已有技术的不足,提供一种能够保持边缘清晰的自适应正则超分辨图像重建方法,以提高退化图像的复原质量。
实现本发明目的的技术要点是在图像的边缘区域和平滑区域选择不同的权值,既可保持边缘又可抑制噪声,具体实现步骤如下:
1)对一幅高分辨率图像采用一种含有加性噪声、光学模糊、运动模糊及下采样过程的成像系统进行退化,形成多帧低分辨率图像;
2)对多帧低分辨率图像,先采用Lagrangian乘子法构造无约束目标函数为:
其中,X为高分辨率图像矢量,Y k为第k个观测到的低分辨率图像矢量,Fk为运动矩阵,Hk为模糊矩阵,Dk为下采样矩阵,λ为Lagrangian系数,γ(X)为加入BTV模型的正则项,N为低分辨率图像的帧数;
3)在无约束目标函数中依次增加数据逼近项、自适应正则项,梯度逼近约束项,将原无约束目标函数扩展为:
X ‾ ^ = ArgMin X ‾ [ Σ k = 1 N | | D k H k F k X ‾ - Y ‾ k | | 1
4)采用最速下降法对扩展后的无约束目标函数进一步优化为:
X ‾ ^ n + 1 = X ‾ ^ n - β { Σ k = 1 N F k T H k T D k T sign ( D k H k F k X ‾ ^ n - Y ‾ k )
Figure A200810232339D00072
Figure A200810232339D00073
其中,
Figure A200810232339D00074
是当前图像,
Figure A200810232339D00075
是目标图像,β是迭代步长,
Figure A200810232339D00076
Figure A200810232339D00077
表示平移矩阵,
Figure A200810232339D00079
分别是
Figure A200810232339D000710
Figure A200810232339D000711
的转置矩阵,
Figure A200810232339D000712
表示高分辨率图像水平、垂直和两个对角方向的梯度函数对X的偏导,Φ(m,l)|m|+|l|为自适应权值矩阵,p X (m,l)为Lp范数的p参数,I为单位矩阵,
Figure A200810232339D000713
Figure A200810232339D000714
分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值,
Figure A200810232339D000715
Figure A200810232339D000716
分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值,λ1为正则化系数,λ2为梯度项系数;
5)利用优化后的无约束目标函数重构图像,获得保持边缘清晰的高分辨率图像。
本发明具有如下优点
1)由于本发明提出了一种能对平滑作用加以局部适应性控制的自适应双边总变分ABTV模型,该模型在图像的边缘区域和平滑区域采用不同的权值,因而既可保持图像的边缘清晰又可抑制噪声,从而大大提高重建图像的质量;同时,由于采用自适应Lp范数(1<p≤2)取代BTV中的L1范数,克服了由基于L2范数模型和基于L1范数模型易引起的边缘模糊和阶梯效应,从而提高该方法对估计误差的稳健性。
2)本发明增加了梯度逼近项作为图像梯度一致性的约束,保持图像的边缘信息,确保高分辨率图像梯度的估计值与低分辨率图像梯度的观测值相一致,进一步提高了超分辨率重建图像的质量。从实验结果可以看出,增加梯度逼近项后,图像边缘的重建效果明显提高,同时重建图像的PSNR值也从20.866提高到了21.203。
3)从仿真实验中可以看出,本发明中的方法在主客观方面都获得了较好的效果,抑制了噪声,保持了边界特征,避免了由于部分模型估计误差而引起的重建结果的明显波动,具有一定的稳健性,并且在信息不足的情况下,本发明同样很好地解决了抑制噪声和保持细节之间的矛盾,能获得较好的可视效果。
附图说明
图1是本发明重建方法的流程图
图2是本发明成像系统框图
图3是采用现有方法进行图像重建后的效果图;
图4是对现有方法采用不同的正则项进行图像复原后的效果图;
图5是本发明中增加梯度逼近项前后的图像重建效果图;
图6是采用不同方法对Eia图像的重建效果图;
图7是在噪声估计错误下,采用不同方法对Boat图像的重建效果图;
图8是在运动估计错误下,采用不同方法对Boat图像的重建效果图;
图9是低分辨率图像数量不足时,采用不同方法对Shopping图像的重建效果图。
具体实施方案
本发明的核心思想是在引入正则化约束稳定求解超分辨率图像重建这个典型的不适定问题的基础上,提出了一种针对图像不同区域自适应处理的正则超分辨率图像重建新方法。该方法根据图像的邻域一致性测度构造自适应平滑约束项,并定义自适应的Lp范数对此项进行度量。同时,构造基于L1范数的梯度逼近范数项,将其加入正则化的重建过程中,进一步提高重建图像的质量。
参照图1,本发明的具体步骤如下:
步骤1,构造合理成像模型。
要实现超分辨率图像重建首先需要构造合理的成像系统退化模型,使模型能反应成像的物理过程,成像系统框图如图2所示,使高分辨率图像经过大气扰动、仿射变换、光学模糊和下采样过程后,得到多帧的低分辨率图像。设期望的高分辨率图像矢量 X &OverBar; = [ x 1 , x 2 , &CenterDot; &CenterDot; &CenterDot; , x Q 2 ] T , Q=rM,其中r为下采样的尺度。第k个观测到的低分辨率图像Yk大小为M×M,矢量表示为 Y &OverBar; k = [ y 1 k , y 2 k , &CenterDot; &CenterDot; &CenterDot; y M 2 k ] (k=1,2,…,N),N为低分辨率图像总数,考虑加性噪声干扰,则该观测模型的矩阵-向量形式为:
Y &OverBar; k = D k H k cam F k X &OverBar; + V &OverBar; k k = 1,2 , &CenterDot; &CenterDot; &CenterDot; , N - - - ( 1 )
其中,X为高分辨率图像矢量,Y k为第k个观测到的低分辨率图像矢量,Fk为运动矩阵,表示第k个LR图像的运动变形过程;
Figure A200810232339D00091
是模糊矩阵,表示摄像机传感器的点扩散函数(PSF);Dk是下采样矩阵;V k是系统噪声矢量。
步骤2,扩展无约束的目标函数。
将含有先验知识的正则项Y(X)引入超分辨率图像重建的观测模型中,并利用Lagrangian乘子法构造无约束的目标函数:
Figure A200810232339D00092
其中,
Figure A200810232339D00093
ρ是观测值与估计值之间的“距离”测度,λ为Lagrangian系数,γ(X)为加入BTV模型的正则项,
Figure A200810232339D00094
为平移矩阵,分别表示将图像在水平和垂直方向平移l像素和m像素,α是权值参数,满足0<α<1,是通过实验获得的经验值。如图3所示,图3(a)是当α=0.1时,采用上述方法进行图像重建后的效果图,图3(b)是当α=0.9时,采用上述方法进行图像重建后的效果图,由图3可以看出,权值越小,图像的边缘保持的效果越好。
为了更好地重建图像的细节信息,进一步提高重建效果,本发明在(2)式的基础上,增加了梯度逼近约束项
Figure A200810232339D00096
将目标函数扩展为:
Figure A200810232339D00097
其中,ρ′是低分辨率图像梯度值与估计的高分辨率图像梯度值之间的“距离”测度,
Figure A200810232339D00098
表示高分辨率图像的梯度估计值,
Figure A200810232339D00099
Figure A200810232339D000910
分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值,N为低分辨率图像的帧数。
步骤3,数据逼近项的度量。
在传统正则化超分辨率图像重建方法中,式(2)和(3)式中的ρ通常取为数据残差的Lp范数(1≤p≤2),则数据逼近项为:
&Sigma; k = 1 N &rho; ( Y &OverBar; k , D k H k F k X &OverBar; ) = &Sigma; k = 1 N | | D k H k F k X &OverBar; - Y &OverBar; k | | p p - - - ( 4 )
根据“S.Farsiu,M.D.Robinson,M,.Elad and P.Milanfar.Fast and robust multiframesuper resolution[J].IEEE Trans.Image Processing,2004,13(10):1327-1344.”文章的揭示,在数据逼近项的度量方面,用L1范数对估计误差的稳健性要优于用L2范数。因此,本发明采用L1范数对数据逼近项进行度量,即令(4)式中的p=1,则基于L1范数的数据逼近项为:
&Sigma; k = 1 N &rho; ( Y &OverBar; k , D k H k F k X &OverBar; ) = &Sigma; k = 1 N | D k H k F k X &OverBar; - Y &OverBar; k | - - - ( 5 )
公式(5)中的符号解释同上。
步骤4,引入自适应正则项。
正则项的引入是为了控制病态过程解的扰动,限制解为平滑解。本发明提出了一种能对平滑作用加以局部适应性控制的ABTV模型,设大小为Q×Q的图像X=[xi,j]Q×Q的矢量表示形式为 X &OverBar; = [ x 1 , x 2 , &CenterDot; &CenterDot; &CenterDot; , x Q 2 ] T .
Figure A200810232339D00104
表示平移矩阵,则采用ABTV模型的正则项的矩阵-向量形式定义为:
Figure A200810232339D00106
其中,
p X &OverBar; ( m , l ) = [ p x k ( m , l ) ] k = 1 , &CenterDot; &CenterDot; &CenterDot; , Q 2 = [ p i , j ( m , l ) ] i = 1,2 , &CenterDot; &CenterDot; &CenterDot; , Q j = 1,2 , &CenterDot; &CenterDot; &CenterDot; , Q ( k = ( j - 1 ) &times; Q + i ) - - - ( 7 )
p X (m,l)的范围是1<p X (m,l)≤2,其取值是随着像元及平移量l和m的不同而自适应变化的,Φ(m,l)是对角线元素为φk,k(m,l)的对角矩阵,其大小为Q2×Q2,表示自适应权值矩阵,可根据图像区域特性对平滑作用施加不同的权值,表示平移矩阵,ω为位移量,X为高分辨率图像矢量。
如图4所示,图4(a)是一帧退化后的低分辨率图像,图4(a)是当α=0.1时,采用现有方法进行图像重建后的效果图,图3(b)是当α=0.9时,采用现有方法进行图像重建后的效果图,图4(d)为引入自适应正则项后得到的重建效果图,由图4可以看出,引入自适应正则项后得到的重建图像即可保持图像的边缘清晰又可抑制噪声,从而大大提高重建图像的质量。
权值矩阵Φ(m,l)和范数参数p X (m,l)均可通过对初始估计的高分辨率图像进行计算而获得,进而可由(7)式构造自适应正则项。对于具有不同平滑性特征的像元,该正则项对其平滑性影响是不同的,因此可以通过考察图像X中的一个非边界像元xi,j的变化所造成的采用ABTV模型的正则项算子变化的度量来表现正则项对xi,j的平滑作用。
步骤5,定义梯度逼近项。
为了保持边缘信息,确保高分辨率图像梯度的估计值与低分辨率图像梯度的观测值相一致,本发明增加梯度逼近项作为梯度一致性约束。梯度逼近项定义为:
&rho; &prime; ( &dtri; Y &OverBar; k , D k F k &dtri; X &OverBar; ) = &Sigma; k = 1 N &Sigma; i = 1 4 | D k F k ( &dtri; i X &OverBar; ) - &dtri; i Y &OverBar; k | - - - ( 8 )
式中,Fk为运动矩阵,Dk是为下采样矩阵,
Figure A200810232339D00113
Figure A200810232339D00114
分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值,
Figure A200810232339D00116
分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值。
如图5所示,图5(a)为一帧退化后的低分辨率图像,图5(b)为引入梯度逼近项前,采用BTV做为正则项,迭代7步后得到的重建效果图,图5(c)为引入梯度逼近项后,取与图5(b)相同的正则项及参数时,迭代相同的步长得到的重建效果图,由图5可以看出,加了梯度逼近项后,图像边缘的重建效果明显提高。
步骤6,构造扩展后的Lagrangian目标函数。
将基于L1范数的数据逼近项、基于ABTV模型的正则项与梯度一致性约束项作为约束条件,把Lagrangian目标函数扩展为:
X &OverBar; ^ = ArgMin X &OverBar; [ &Sigma; k = 1 N | | D k H k F k X &OverBar; - Y &OverBar; k | | 1
Figure A200810232339D00118
采用最速下降法对(9)式进行进一步优化为:
X &OverBar; ^ n + 1 = X &OverBar; ^ n - &beta; { &Sigma; k = 1 N F k T H k T D k T sign ( D k H k F k X &OverBar; ^ n - Y &OverBar; k )
Figure A200810232339D00122
Figure A200810232339D00123
其中,
Figure A200810232339D00124
是当前图像,
Figure A200810232339D00125
是目标图像,β是迭代步长,
Figure A200810232339D00126
Figure A200810232339D00127
表示平移矩阵,
Figure A200810232339D00128
Figure A200810232339D00129
分别是
Figure A200810232339D001211
的转置矩阵,表示高分辨率图像水平、垂直和两个对角方向的梯度函数对X的偏导,Φ(m,l)|m|+|l|为自适应权值矩阵,p x  (m,l)为Lp范数的P参数,I为单位矩阵,
Figure A200810232339D001213
Figure A200810232339D001214
分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值,
Figure A200810232339D001216
分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值,λ1为正则化系数,λ2为梯度项系数。
步骤7,利用优化后的无约束目标函数重构图像,获得保持边缘的高分辨率图像。
对生成的多帧低分辨率图像进行插值放大,将放大的一帧图像作为当前图像,其余多帧图像作为待重建图像序列,采用式(10)对待重建图像序列迭代求解目标图像,当目标图像达到最优解时,停止迭代,此时的目标图像即为重建后的保持边缘的高分辨率图像。
本发明的效果可以通过以下对比试验进一步说明。
1.实验条件:本发明采用主观和客观两种测度对本发明的方法性能进行评估,并与双三次插值法和现有超分辨率方法进行对比实验。在实验中,采用图2中的成像模型来模拟真实的成像过程,生成多帧低分辨率图像。测试数据是256级灰度图像Eia、Boat和Shopping。对于每一个实验,各方法中参数选择原则为:1)经过大量实验,选择能产生最好重建效果的参数组合;2)均以各方法产生的最佳结果来进行对比实验。
2.实验内容
A.主观实验,如图(6)、图(7)、图(8)、图(9)所示。
图6(a)为原始图像;图6(b)为将图6(a)经过退化后产生的16帧低分辨率图像的其中一帧;图6(c)为采用现有的双三次插值法得到的重建效果图;图6(d)为现有的稳健超分辨率图像重建方法得到的重建效果图,其相应的正则化系数λ1为0.008,BTV模型中的参数分别是w=2,α=0.6;图6(e)为引入梯度逼近项前,本发明的重建效果图,其正则化系数λ1为0.006,BTV模型中的参数w=2;图6(f)为引入梯度逼近项后,本发明的重建效果图,参数分别为λ1=0.004,λ2=0.12,w=2。从图6中可看出,由于双三次插值法是基于单帧图像进行内插,所以重建效果最差。对比现有方法的结果图6(d)与本发明方法的结果图6(e)和图6(f)可见,本发明方法不仅在恢复图像的细节信息和保持边缘清晰方面优于现有方法,而且,更能有效地减弱平坦区域的噪声放大,提高重建图像的整体亮度,改善总的重建效果。
图7(a)为原始图像;图7(b)为将图7(a)经过退化后产生的16帧低分辨率图像中的一帧噪声估计错误的低分辨率图像;图7(c)为采用现有双三次插值法得到的重建效果图;图7(d)为现有的稳健超分辨率图像重建方法在参数为λ1=0.02,w=2,α=0.9时得到的重建效果图;图7(e)和图7(f)为引入梯度逼近项前后,本发明的重建效果图,其对应参数分别是λ1=0.007,w=2和λ1=0.006,λ2=0.001,w=2。
图8(a)为将图7(a)经过退化后产生的16帧低分辨率图像中的一帧存在仿射运动的低分辨率图像;图8(b)为将图7(a)经过退化后产生的16帧低分辨率图像中的一帧存在缩放运动的低分辨率图像;图8(c)为采用现有的双三次插值法得到的重建效果图;图8(d)为现有的稳健超分辨率图像重建方法在参数为λ1=0.03,w=2,α=0.7时得到的重建效果图;图8(e)和图8(f)为引入梯度逼近项前后,本发明的重建效果图,其对应参数分别是λ1=0.005,w=2和λ1=0.005,λ2=0.0003,w=2。
通过图7和图8的对比可看出,即使在部分模型估计错误的情况下,本发明的方法的重建效果仍优于现有的方法。而且,虽然在现有方法中参数λ1和α的取值相对较大,但其重建图像的平坦区域的噪声仍然明显大于本发明的方法。因此,本发明的方法具有一定的稳健性,在模型估计错误时,仍能很好地平滑背景等平坦区域,同时保持边缘区域的清晰,如船身上的字样和划痕清晰可见。
图9(a)为原始图像;图9(b)将图9(a)经过退化后产生的9帧低分辨率图像的其中一帧,图9(c)为采用现有的双三次插值法得到的重建效果图;图9(d)为现有的稳健超分辨率图像重建方法在参数为λ1=0.009,w=2,α=0.9时得到的重建效果图;图9(e)和图9(f)为引入梯度逼近项前后,本发明的重建效果图,其对应参数分别是λ1=0.004,w=2和λ1=0.004,λ2=0.0002,w=2。对比重建结果,可以看出在退化图像数量不足的情况下,本发明的方法同样很好地解决了抑制噪声和保持细节之间的矛盾,如图9(e)和图9(f)中的食品盒身表面的噪声明显减小,而盒子上的文字能较好地保持清晰。因此可见,本发明的方法能获得较好的可视效果。
B.客观实验,如表1所示。
表1给出了采用不同方法对Eia图像、Boat图像和Shopping图像重建后的峰值信噪比PSNR值,由该PSNR值比较各方法重建的图像与原始图像的近似程度。从表1可以看出,本发明引入梯度逼近项之前的方法优于双三次插值和现有的稳健超分辨率重建方法,同时引入梯度逼近项的方法又进一步提高了重建图像的质量,其实验的PSNR比现有的双三次插值方法和现有的稳健超分辨率重建方法的PSNR分别提高了4.4312dB~11.8307dB和1.0869dB~4.1338dB。
表1.Eia图像、Boat图像和Shopping图像重建后的峰值信噪比PSNR值
Figure A200810232339D00141

Claims (3)

1.一种保持边缘清晰的自适应正则超分辨图像重建方法,包括如下步骤:
(1)对一幅高分辨率图像采用一种含有加性噪声、光学模糊、运动模糊及下采样过程的成像系统进行退化,形成多帧低分辨率图像;
(2)对多帧低分辨率图像,先采用Lagrangian乘子法构造无约束目标函数为:
Figure A200810232339C0002185042QIETU
其中,X为高分辨率图像矢量,Y k为第k个观测到的低分辨率图像矢量,Fk为运动矩阵,Hk为模糊矩阵,Dk为下采样矩阵,λ为Lagrangian系数,
Figure A200810232339C0003105816QIETU
为加入双边总变分模型的正则项,N为低分辨率图像的帧数;
(3)在无约束目标函数中依次增加数据逼近项、自适应正则项,梯度逼近约束项,将原无约束目标函数扩展为:
X &OverBar; ^ = ArgMin X &OverBar; [ &Sigma; k = 1 N | | D k H k F k X &OverBar; - Y &OverBar; k | | 1
 
Figure A200810232339C00023
(4)采用最速下降法对扩展后的无约束目标函数进一步优化为:
X &OverBar; ^ n + 1 = X &OverBar; ^ n - &beta; { &Sigma; k = 1 N F k T H k T D k T sign ( D k H k F k X &OverBar; ^ n - Y &OverBar; k )
   
Figure A200810232339C00025
   
其中,是当前图像,
Figure A200810232339C00028
是目标图像,β是迭代步长,
Figure A200810232339C00029
Figure A200810232339C000210
表示平移矩阵,
Figure A200810232339C000211
Figure A200810232339C000212
分别是
Figure A200810232339C000213
的转置矩阵,
Figure A200810232339C000215
表示高分辨率图像水平、垂直和两个对角方向的梯度函数对X的偏导,Φ(m,l)|m|+|l|为自适应权值矩阵,p x (m,l)为Lp范数的P参数,I为单位矩阵,
Figure A200810232339C000216
Figure A200810232339C000217
分别表示高分辨率图像在水平、垂盲和两个对角方向的梯度估计值,
Figure A200810232339C000218
Figure A200810232339C000219
分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值,λ1为正则化系数,λ2为梯度项系数。
(5)利用优化后的无约束目标函数重构图像,获得保持边缘清晰的高分辨率图像。
2.如权利要求1所述的方法,其中步骤(3)所述的增加自适应正则项包括如下步骤:
(3a)在无约束目标函数的正则项
Figure A200810232339C0003105816QIETU
中设定大小为Q2×Q2、对角线元素为φk,k(m,l)的对角矩阵Φ(m,l),该对角矩阵的对角元素φk,k(m,l)为:
&phi; k , k ( m , l ) = &alpha; i , j &alpha; i , j &le; &alpha; i + m , j + l &alpha; i + m , j + l &alpha; i , j > &alpha; i + m , j + l ( k = ( j - 1 ) &times; Q + i )
其中,
η为不为零的正数,φk,k(m,l)为小于1的正值,当像元及其邻域像元均处于平滑区域时,αi,j和αi+m,j+l均趋近1,当像元及其邻域像元均处于棱边区域时,φk,k(m,l)则具有较小的值,φk,k(m,l)可在0到1的范围内自适应地变化,Ri,j为模糊熵的邻域一致性信息测度;
(3b)在无约束目标函数的正则项
Figure A200810232339C0003105816QIETU
中增加自适应选取的Lp(1<p≤2)范数,其中p参数的选取是同每个像元与其邻域像元的亮度差值有关的,对于图像X=[xi,j],用xi+m,j+l表示xi,j的一个邻域像元,则pi,j(m,l)为:
其中,δ是不为零的正数,xi,j为图像像元,xi+m,j+l为xi,j的一个邻域像元;
(3c)在无约束目标函数的正则项
Figure A200810232339C0003105816QIETU
中设定自适应权值矩阵和增加自适应选取的Lp范数后,得到的自适应正则项为:
其中,p x (m,l)为Lp范数的P参数,Φ(m,l)|m|+|l|为自适应权值矩阵,
Figure A200810232339C0003110047QIETU
Figure A200810232339C0003110051QIETU
表示平移矩阵,ω为位移量,X为高分辨率图像矢量。
3.如权利要求1所述的方法,其中步骤(3)所述的增加梯度逼近约束项,是对高分辨率图像梯度的估计值与低分辨率图像梯度的观测值在水平、垂直和两个对角方向进行逼近,该梯度逼近项为:
&rho; &prime; ( &dtri; Y &OverBar; k , D k F k &dtri; X &OverBar; ) = &Sigma; k = 1 N &Sigma; i = 1 4 | D k F k ( &dtri; i X &OverBar; ) - &dtri; i Y &OverBar; k |
其中,
Figure A200810232339C00041
Figure A200810232339C00042
分别表示高分辨率图像在水平、垂直和两个对角方向的梯度估计值,
Figure A200810232339C00044
分别表示低分辨率图像在水平、垂直和两个对角方向的梯度观测值,N为低分辨率图像的帧数。
CNA2008102323399A 2008-11-19 2008-11-19 保持边缘清晰的自适应正则超分辨图像重建方法 Pending CN101441765A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CNA2008102323399A CN101441765A (zh) 2008-11-19 2008-11-19 保持边缘清晰的自适应正则超分辨图像重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CNA2008102323399A CN101441765A (zh) 2008-11-19 2008-11-19 保持边缘清晰的自适应正则超分辨图像重建方法

Publications (1)

Publication Number Publication Date
CN101441765A true CN101441765A (zh) 2009-05-27

Family

ID=40726185

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2008102323399A Pending CN101441765A (zh) 2008-11-19 2008-11-19 保持边缘清晰的自适应正则超分辨图像重建方法

Country Status (1)

Country Link
CN (1) CN101441765A (zh)

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101794440A (zh) * 2010-03-12 2010-08-04 东南大学 图像序列的加权自适应超分辨率重建方法
CN101976435A (zh) * 2010-10-07 2011-02-16 西安电子科技大学 基于对偶约束的联合学习超分辨方法
CN101989350A (zh) * 2009-08-02 2011-03-23 联发科技股份有限公司 图像增强方法、图像增强装置及图像处理电路
CN102184533A (zh) * 2011-06-10 2011-09-14 西安电子科技大学 基于非局部约束的全变分图像去模糊方法
CN102208100A (zh) * 2011-05-31 2011-10-05 重庆大学 基于Split Bregman 迭代的全变差正则化图像盲复原方法
CN102222321A (zh) * 2011-05-24 2011-10-19 南京航空航天大学 一种视频序列盲重建方法
CN102222320A (zh) * 2011-05-24 2011-10-19 西安电子科技大学 基于全变分迭代反向投影的单帧图像空间分辨率增强方法
CN102236887A (zh) * 2011-03-11 2011-11-09 贵州大学 基于旋转差分和加权总变分的运动模糊图像复原方法
CN102243711A (zh) * 2011-06-24 2011-11-16 南京航空航天大学 一种基于邻域嵌套的图像超分辨率重建方法
CN102779335A (zh) * 2011-05-13 2012-11-14 华晶科技股份有限公司 数字图像处理装置及其处理方法
CN102819829A (zh) * 2012-07-17 2012-12-12 中国科学院地理科学与资源研究所 基于分形的超分辨率遥感影像的重建算法
CN103379255A (zh) * 2012-04-24 2013-10-30 华晶科技股份有限公司 影像处理装置及其处理方法
CN103606130A (zh) * 2013-10-22 2014-02-26 中国电子科技集团公司第二十八研究所 红外退化图像自适应复原方法
CN103632344A (zh) * 2013-11-21 2014-03-12 上海海洋大学 Mean边界条件下模糊矩阵与图像矢量乘积的替代计算方法
CN104021526A (zh) * 2013-11-21 2014-09-03 上海海洋大学 Ar边界条件下图像模糊矩阵与矢量乘积的替代计算方法
CN104616257A (zh) * 2015-01-26 2015-05-13 山东省计算中心(国家超级计算济南中心) 一种模糊退化数字图像在司法中的复原取证方法
CN104992410A (zh) * 2015-02-10 2015-10-21 国网重庆市电力公司电力科学研究院 一种单目视觉图像的处理方法
CN107316274A (zh) * 2017-05-10 2017-11-03 重庆邮电大学 一种边缘保持的红外图像重建方法
CN107945110A (zh) * 2017-11-17 2018-04-20 杨俊刚 一种针对光场阵列相机的盲深度超分辨率计算成像方法
CN108765293A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种基于稀疏表示的磁共振图像重建方法及系统
CN109064402A (zh) * 2018-07-27 2018-12-21 四川大学 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN109658342A (zh) * 2018-10-30 2019-04-19 中国人民解放军战略支援部队信息工程大学 双范数混合约束的遥感影像亮度不均变分校正方法和系统
CN110766628A (zh) * 2019-10-16 2020-02-07 哈尔滨工程大学 一种基于多波段自适正则化迭代的目标边缘反演方法
CN111080532A (zh) * 2019-10-16 2020-04-28 北京理工大学深圳研究院 基于理想边缘外推的遥感影像超分辨率复原方法
CN112184549A (zh) * 2020-09-14 2021-01-05 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112488919A (zh) * 2020-11-27 2021-03-12 浙江工业大学 一种洛伦兹拟合模糊核的图像超分辨重建方法

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101989350A (zh) * 2009-08-02 2011-03-23 联发科技股份有限公司 图像增强方法、图像增强装置及图像处理电路
CN101794440A (zh) * 2010-03-12 2010-08-04 东南大学 图像序列的加权自适应超分辨率重建方法
CN101976435B (zh) * 2010-10-07 2012-10-24 西安电子科技大学 基于对偶约束的联合学习超分辨方法
CN101976435A (zh) * 2010-10-07 2011-02-16 西安电子科技大学 基于对偶约束的联合学习超分辨方法
CN102236887A (zh) * 2011-03-11 2011-11-09 贵州大学 基于旋转差分和加权总变分的运动模糊图像复原方法
CN102779335B (zh) * 2011-05-13 2015-07-08 华晶科技股份有限公司 数字图像处理装置及其处理方法
CN102779335A (zh) * 2011-05-13 2012-11-14 华晶科技股份有限公司 数字图像处理装置及其处理方法
CN102222321A (zh) * 2011-05-24 2011-10-19 南京航空航天大学 一种视频序列盲重建方法
CN102222320A (zh) * 2011-05-24 2011-10-19 西安电子科技大学 基于全变分迭代反向投影的单帧图像空间分辨率增强方法
CN102208100A (zh) * 2011-05-31 2011-10-05 重庆大学 基于Split Bregman 迭代的全变差正则化图像盲复原方法
CN102184533B (zh) * 2011-06-10 2012-10-24 西安电子科技大学 基于非局部约束的全变分图像去模糊方法
CN102184533A (zh) * 2011-06-10 2011-09-14 西安电子科技大学 基于非局部约束的全变分图像去模糊方法
CN102243711A (zh) * 2011-06-24 2011-11-16 南京航空航天大学 一种基于邻域嵌套的图像超分辨率重建方法
CN103379255A (zh) * 2012-04-24 2013-10-30 华晶科技股份有限公司 影像处理装置及其处理方法
CN103379255B (zh) * 2012-04-24 2017-06-06 华晶科技股份有限公司 影像处理装置及其处理方法
CN102819829A (zh) * 2012-07-17 2012-12-12 中国科学院地理科学与资源研究所 基于分形的超分辨率遥感影像的重建算法
CN103606130A (zh) * 2013-10-22 2014-02-26 中国电子科技集团公司第二十八研究所 红外退化图像自适应复原方法
CN104021526B (zh) * 2013-11-21 2017-08-22 上海海洋大学 Ar边界条件下图像模糊矩阵与矢量乘积的替代计算方法
CN103632344A (zh) * 2013-11-21 2014-03-12 上海海洋大学 Mean边界条件下模糊矩阵与图像矢量乘积的替代计算方法
CN104021526A (zh) * 2013-11-21 2014-09-03 上海海洋大学 Ar边界条件下图像模糊矩阵与矢量乘积的替代计算方法
CN103632344B (zh) * 2013-11-21 2017-11-07 上海海洋大学 Mean边界条件下模糊矩阵与图像矢量乘积的替代计算方法
CN104616257A (zh) * 2015-01-26 2015-05-13 山东省计算中心(国家超级计算济南中心) 一种模糊退化数字图像在司法中的复原取证方法
CN104992410A (zh) * 2015-02-10 2015-10-21 国网重庆市电力公司电力科学研究院 一种单目视觉图像的处理方法
CN104992410B (zh) * 2015-02-10 2019-04-05 国网重庆市电力公司电力科学研究院 一种单目视觉图像的处理方法
CN107316274A (zh) * 2017-05-10 2017-11-03 重庆邮电大学 一种边缘保持的红外图像重建方法
CN107945110A (zh) * 2017-11-17 2018-04-20 杨俊刚 一种针对光场阵列相机的盲深度超分辨率计算成像方法
CN108765293A (zh) * 2018-05-31 2018-11-06 成都信息工程大学 一种基于稀疏表示的磁共振图像重建方法及系统
CN109064402A (zh) * 2018-07-27 2018-12-21 四川大学 基于增强非局部总变分模型先验的单幅图像超分辨率重建方法
CN109658342A (zh) * 2018-10-30 2019-04-19 中国人民解放军战略支援部队信息工程大学 双范数混合约束的遥感影像亮度不均变分校正方法和系统
CN110766628A (zh) * 2019-10-16 2020-02-07 哈尔滨工程大学 一种基于多波段自适正则化迭代的目标边缘反演方法
CN111080532A (zh) * 2019-10-16 2020-04-28 北京理工大学深圳研究院 基于理想边缘外推的遥感影像超分辨率复原方法
CN111080532B (zh) * 2019-10-16 2024-07-19 北京理工大学深圳研究院 基于理想边缘外推的遥感影像超分辨率复原方法
CN112184549A (zh) * 2020-09-14 2021-01-05 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112184549B (zh) * 2020-09-14 2023-06-23 阿坝师范学院 基于时空变换技术的超分辨图像重建方法
CN112488919A (zh) * 2020-11-27 2021-03-12 浙江工业大学 一种洛伦兹拟合模糊核的图像超分辨重建方法
CN112488919B (zh) * 2020-11-27 2024-03-22 浙江工业大学 一种洛伦兹拟合模糊核的图像超分辨重建方法

Similar Documents

Publication Publication Date Title
CN101441765A (zh) 保持边缘清晰的自适应正则超分辨图像重建方法
CN102576454B (zh) 利用空间图像先验的图像去模糊法
CN101794440B (zh) 图像序列的加权自适应超分辨率重建方法
CN106600538A (zh) 一种基于区域深度卷积神经网络的人脸超分辨率算法
US8345971B2 (en) Method and system for spatial-temporal denoising and demosaicking for noisy color filter array videos
CN102231204A (zh) 一种序列图像自适应正则超分辨率重建方法
CN107784628B (zh) 一种基于重建优化和深度神经网络的超分辨率实现方法
CN110675347A (zh) 一种基于组稀疏表示的图像盲复原方法
CN106254720B (zh) 一种基于联合正则化的视频超分辨率重建方法
CN105513033A (zh) 一种非局部联合稀疏表示的超分辨率重建方法
Makwana et al. Single image super-resolution via iterative back projection based Canny edge detection and a Gabor filter prior
CN110473153B (zh) 基于模糊核估计迭代结构保持的图像盲复原方法
CN115345791A (zh) 一种基于注意力机制残差网络模型的红外图像去模糊算法
CN107085826B (zh) 基于加权重叠非局部回归先验的图像超分辨率重建方法
CN113674154B (zh) 一种基于生成对抗网络的单幅图像超分辨率重建方法及系统
Khattab et al. A Hybrid Regularization-Based Multi-Frame Super-Resolution Using Bayesian Framework.
CN104200439A (zh) 基于自适应滤波和正则约束的图像超分辨方法
He et al. MAP based resolution enhancement of video sequences using a Huber-Markov random field image prior model
CN112837220A (zh) 一种提高红外图像分辨率的方法及其用途
Gao et al. High performance super-resolution reconstruction of multi-frame degraded images with local weighted anisotropy and successive regularization
CN106846286B (zh) 基于多种互补先验的视频超分辨率重建算法
Liu et al. Robust multi-frame super-resolution with adaptive norm choice and difference curvature based BTV regularization
CN108665412B (zh) 一种利用自然图像先验知识进行多帧图像超分辨重建的方法
CN112837231A (zh) 一种包含噪声估计的卷积盲去噪方法
Suo et al. Robust super-resolution reconstruction based on adaptive regularization

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20090527