CN103325103A - 高分辨率图像复原方法及系统 - Google Patents

高分辨率图像复原方法及系统 Download PDF

Info

Publication number
CN103325103A
CN103325103A CN2013100734481A CN201310073448A CN103325103A CN 103325103 A CN103325103 A CN 103325103A CN 2013100734481 A CN2013100734481 A CN 2013100734481A CN 201310073448 A CN201310073448 A CN 201310073448A CN 103325103 A CN103325103 A CN 103325103A
Authority
CN
China
Prior art keywords
resolution image
spectrum data
phi
frequency spectrum
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2013100734481A
Other languages
English (en)
Other versions
CN103325103B (zh
Inventor
骆建华
敬忠良
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Jiaotong University
Original Assignee
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Jiaotong University filed Critical Shanghai Jiaotong University
Priority to CN201310073448.1A priority Critical patent/CN103325103B/zh
Publication of CN103325103A publication Critical patent/CN103325103A/zh
Application granted granted Critical
Publication of CN103325103B publication Critical patent/CN103325103B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了高分辨率图像复原方法及系统,针对单帧图像因超出光学系统极限分辨率(光学系统存在截止空间频率)而被丢失高频图像信息的恢复难题。从单幅低分辨率图像进行高分辨率复原方法包括以下步骤:首先根据高分辨率像素点个数,由低分辨率图像计算高分辨率图像的低频频谱数据,然后根据解析函数延拓定理,用奇异信息论方法延拓高分辨率图像的高频频谱分量,获得高分辨率图像的全部频谱,从而将低分辨率复原到高分辨率图像。本发明复原精度优于现有的Sinc和TV正则化法,方法计算时间和TV正则化方法相当,本发明可应用于数字电视、航天航空遥感图像的超分辨复原。

Description

高分辨率图像复原方法及系统
技术领域
本发明涉及图像处理领域,特别涉及航天航空遥感图像高分辨率复原技术领域,具体是指一种高分辨率图像复原方法及系统。
背景技术
卫星遥感具有覆盖面大、持续时间长、实时性强、不受国界、地域限制等独特优势,广泛地应用于资源开发、环境监测、灾害研究、全球变化分析等领域,深受各国的高度重视。卫星图像的空间分辨率是衡量卫星遥感能力的一项主要指标,也是衡量一个国家航天遥感水平的重要标志。提高卫星观测空间分辨率已成为卫星工程技术研究热点。卫星获取图像过种中,有很多因素会导致图像质量下降,大气扰动、运动、散焦、传输和噪声都会直接影响到图像分辨率下降,特别是卫星截荷所限使光学系统截止频率有限高,及其CCD芯片像元尺寸有限小,限止了卫星图像空间高频分量,使得图像分辨率不够高。
根据光学傅里叶频谱理论,光学系统存在截止频率cf=(D-l)/(2fλ),其中D为等效透镜直径,l为CCD芯片尺寸,f为透镜焦距和λ为光波长。若CCD芯片的像元尺寸为w,则按采样定理,也有截止频率为uw=1/(2w)。被摄物中,只有同时小于uw和cf的空间频率分量才能获取并成像,若cf≠uw,则导致采样资源或光学成像资源浪费。设卫星与被拍摄物的距离为R,则卫星图像的可分辨距离△x=wR/f=λR/(D-l)。若减少CCD芯片的像元尺寸提高uw,并且光学截止频率也随之提高cf=uw,则可以提高图像的空间分辨率(目前最小值为50μm2),但是CCD芯片像元尺寸w太小,信噪比太低,以至无法正常使用。因此,卫星图像的高频分量缺失是一个绕不开的科学难题。传统的高分辨率(参考文献1:J.L.Harris,Diffraction and resolving power,J.Opt.Soc.Amer.,54(7):931-133,1964和文献2:W.Lukosz,Optical systems with resolving power exceeding the classicallimit.J.Opt.Soc.Amer.,56(11):1463-1471,1966)是指对超出光学系统截止频率cf而被丢失的图像高频信息进行恢复,这种方法称为高分辨率复原技术。多数人认为要准确恢复截止频率之外的频谱信息是不可能的,并称此为高分辨率神话。
当可以获得多幅同一场景的图像序列时,可以建立数学模型:gi=Hsi+ni,i=1,2,...,k,其中gi,si,ni分别表第i帧低分辨率图像、高分辨率图像和噪声图像,H表示各种导致图像低分辨率的各种因素。通过多帧插值方法(参见文献3:L.Zhang,X.Wu,An Edge-Guided Image Interpolation Algorithm viaDirectional Filtering and Data Fusion,IEEE Transaction on image processing,15(8):2226-2238,2006,文献4:D.Rajan D,S.Chaudhuri,Generalized interpolationand its application in super-resolution imaging,Image and Vision Computing,19(13):957-969,2001,文献5:A.Sánchez-Beato and G.Pajares,Non-iterativeinterpolation-based super-resolution minimizing aliasing in the reconstructed image,IEEE Trans.Image Process.,17(10),pp.1817–1826,2008,文献6:S.Lertrattanapanich,N.K.BOSE,High resolution image formation from low resolutionframes using Delaunay triangulation,IEEE Transaction on Image Processing,11(12):1427-1441,2002和文献7F.Zhou,W.Yang,and Q.Liao,Interpolation-Based ImageSuper-Resolution Using Multisurface Fitting,IEEE Transaction on Image Processing,21(7):3312-28,2012)、利用先验知识进行优化求解(参见文献8:X.Gao,K.Zhang,D.Tao and X.Li,Image Super-Resolution With Sparse Neighbor Embedding,I IEEETrans.on Image Processing,Vol.21,No.7,pp.3194-3205,2012,文献9:Z.M.Wang and W.W.Wang,Fast and Adaptive Method for SAR Superresolution ImagingBased on Point Scattering Model and Optimal Basis Selection,IEEE Tran.on ImageProcessing,18(7):1477-1486,2009,文献10:A.Marquina and S.J.Osher,Imagesuper-resolution by TV regularization and Bregman iteration,Journal of ScientificComputing,vol.37,no.3,pp.367–382,2008和文献11:J.Yang,J.Wright,T.S.Huang and Y.Ma,“Image super-resolution via sparse representation,”IEEE Trans.Image Process.,vol.19,no.11,pp.2861–2873,2010)、基于学习方法(参见文献11,文献12:T.Goto,Y.Kawamoto,Y.Sakuta,A.Tsutsui and M.Sakurai,Learning-based Super-resolution Image Reconstruction on Multi-core Processor,IEEE Transactions on Consumer Electronics,58(3):941~946,2012,文献13:P.Purkait and B.Chanda,Super Resolution Image Reconstruction Through BregmanIteration Using Morphologic Regularization,IEEE Trans.on Image Processing,21(9):4029~4040,2012,文献14:P.P.Gajjar and M.V.Joshi,New learning basedsuper-resolution:Use of DWT and IGMR-F prior,IEEE Trans.on Image Processing,Vol.19,No.5,pp.1201-1213,2010,文献15:M.S.Crouse,R.D.Nowak,R.GBaraniuk,Wavelet-based statistical signal processing using hidden Markov models,IEEE Transactions on Signal Processing,46(4):886-902,1998和文献16:M N Do,M.Vetterli,The contourlet transform:An efficient directional multi-resolution imagerepresentation,IEEE Transactions on Image Processing,14(12):2091-2106,2005)等等(参见文献17:D.D.-Y Po and DO M.N.Do,Directional multi-scale modelingof images using the contourlet transform,IEEE Transactions on Image Processing,15(6):1610-1620,2006和文献18:W.Dong,L.Zhang,G.Shi and X.Wu,Imagedeblurring and superresolution by adaptive sparse domain selection and adaptiveregularization,IEEE Trans.Image Process.,vol.20,no.7,pp.533–549,Jul.2011)获取高分辨率图像,改善欠采样而导致的图像质量退化。但在卫星观测摄像中,同一视场的多帧图像采集是极浪费资源且难做到的,单帧图像超分辨复原技术才是遥感图像超分辨复原的关键技术,但至今没有实质性突破。为研究单帧图像的高分辨率复原,我们考虑以下低分辨率图像形成机制的数学模型.
若不考虑干扰因素,对于一个成像系统其成像过程可用下式加以描述为:
g(x,y)=p(x,y)*s(x,y)
这里g(x,y),p(x,y),s(x,y)分别表示遥感图像,视场和成像系统点扩散函数,*表示卷积运算。对图像频谱函数为:G(u,v)=P(u,v)S(u,v),点扩散函数的频谱函数P(u,v)=1,|u|<cf&|v|<cf是有限带宽的矩形窗。当实际视场截止频率cs大于光学成像系统截止频率cf时,视场的cf以外的高频分量丢失,成为低分辨率图像。传统习惯认为在光学成像系统截止频率之外cf频谱是不可以复原的。但根据解析延拓定理:若解析在某一有限区间上为已知,就可以唯一地延拓到全部区域。也就说"如果两个解析函数在任一给定的区域上完全一致"则它们一定在整体上完全一致"即为同一函数(参见文19:E.B.Saff and A.D.Snider,Fundamentals ofComplex Analysis with Applications to Engineering and Science,2003,PearsonEducation)。视场可以看作是一个有界定义域上的函数,其谱函数是一个解析函数。因此,按照解析延拓定理,可以由图像频谱数据G(u,v)=P(u,v)S(u,v),|u|<cf&|v|<cf,延拓到整个频谱空间,截止频率cf=∞。早期研究从单帧图像进行高分辨率复原主要方法是频谱外推(参见文献20:H.Greenspan,C.H.Anderson,S.Akber,Image enhancement by nonlinear extrapolationin frequency space,IEEE Trans.Im age Processing,vol.9,no6,pp.1035—1048,2000),长椭球波函数法(参见文献21:H.A.Brown,Effect of Truncation on ImageEnhancement by Prolate Spheroidal Functions,Journal of the Optical Society ofAmerica,Vol.59,no2,pp.228-229,1969),迭加正弦模板法(参见文献22:S.Wadaks,T.Sato,Superresolution in Incoherent Imaging System,Journal of theOptical Society of America,65(3):354-355,1975)、插值方法(参见文献3)等超分辨复原技术。但是这些方法充分利用低分辨率图像中隐含着图像高分辨率信息,没有理解和运用解析延拓定理数学原理,从而无法或很少研究从低分辨图像获取高频信息方法,因而效果十分有限(参见文献23:S.C.Park,M.K.Park,M.G.Kang,Super-resolution image reconstruction:a technical overview,IEEE Signal Processing Magazine,Vol.20,no.3,pp.21-36,May2003)。
发明内容
本发明的目的在于提供一种高分辨率图像复原方法,能够在高频频谱数据缺失的情况下,快速高效地利用单幅低分辨率图像复原高分辨率图像。
为解决上述问题,本发明提供一种高分辨率图像复原方法,包括:
获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;
根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;
对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;
根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数;
根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数;
根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数;
根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。
进一步的,在上述方法中,获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据的步骤中,
一幅低分辨率图像gl(i,j),i,j=0,1,...,l要复原到高分辨率图像g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),则g(i,j)图像的低频频谱数据表示为
G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。
进一步的,在上述方法中,根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据的步骤中,
所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,
Figure BDA00002895010600061
进一步的,在上述方法中,对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像的步骤中,
所述高分辨率图像的低频频谱数据补零法图像表示为
进一步的,在上述方法中,根据所述低频频谱数据补零法图像获取最佳奇异化算子的步骤包括:
初始化:
Figure BDA00002895010600063
其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;
记四个基本奇异化算子为:
φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),
φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);
执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } , 判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx ,
若是,则将 &phi; I ( i , j ) * g ~ &phi; ( i , j ) 赋值给 g ~ &phi; ( i , j ) , mx = | g ~ &phi; ( i , j ) | 1 , 并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } 和判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx 的步骤;
若否,则输出最佳奇异化算子φ(i,j)。
进一步的,在上述方法中,根据所述最佳奇异化算子获取奇异函数的步骤包括:
根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。
进一步的,在上述系统中,根据所述奇异函数获取奇异谱函数的步骤中,奇异谱函数为
Figure BDA00002895010600071
进一步的,在上述方法中,根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数的步骤包括:
初始化:
Figure BDA00002895010600072
计算: ( i c , j c ) = arg max i , j &Element; 1,2 , . . . , N { | g ~ &phi; ( i , j ) | } , b = g ~ &phi; ( i c , j c ) / p ( 0,0 ) , g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) 赋值给
Figure BDA00002895010600075
其中(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标;
判断是否 | | g ~ &phi; ( i , j ) | | 2 &NotEqual; | | g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) | | 2 , 其中,||·||2表示二次范数,
若是,则重复所述计算的步骤;
若否,则q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。
进一步的,在上述方法中,根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数的步骤包括:
根据解析延拓定理构造奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 , 其中,e=2.718281828459;
用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q。
进一步的,在上述方法中,根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据的步骤包括:
根据奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 延拓所述高分辨率图像的高频频谱数据;
根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky)。进一步的,在上述方法中,根据所述完整频谱数据输出所述高分辨率图像的步骤中,根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),
Figure BDA00002895010600081
根据本发明的另一面,提供一种高分辨率图像复原系统,包括:
低频频谱数据模块,用于获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;
补零法频谱数据模块,用于根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;
补零法图像模块,用于对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;
奇异谱函数模块,用于根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数;
坐标参数模块,用于根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数;
加权参数模块,用于根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数;
复原模块,用于根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。
进一步的,在上述系统中,所述低频频谱数据模块用于将一幅低分辨率图像表示为gl(i,j),i,j=0,1,...,l,将要复原到高分辨率图像表示为g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l2表示低分辨率图像的横向或纵向像素点个数,N2表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),则g(i,j)图像的低频频谱数据表示为
G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。
进一步的,在上述系统中,所述补零法频谱数据模块将所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,
进一步的,在上述系统中,所述补零法图像模块将所述高分辨率图像的低频频谱数据补零法图像表示为
Figure BDA00002895010600093
进一步的,在上述系统中,所述奇异谱函数模块,用于
初始化:
Figure BDA00002895010600094
Figure BDA00002895010600095
其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;
记四个基本奇异化算子为:
φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),
φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);
执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } , 判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx ,
若是,则将 &phi; I ( i , j ) * g ~ &phi; ( i , j ) 赋值给 g ~ &phi; ( i , j ) , mx = | g ~ &phi; ( i , j ) | 1 , 并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行和判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx 的步骤;
若否,则输出最佳奇异化算子φ(i,j)。
进一步的,在上述系统中,所述奇异谱函数模块根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。
进一步的,在上述系统中,所述奇异谱函数模块根据
Figure BDA00002895010600101
获取奇异谱函数。
进一步的,在上述系统中,所述坐标参数模块,用于
初始化:c=1,
计算: ( i c , j c ) = arg max i , j &Element; 1,2 , . . . , N { | g ~ &phi; ( i , j ) | } , b = g ~ &phi; ( i c , j c ) / p ( 0,0 ) , g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) 赋值给其中(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标;
判断是否 | | g ~ &phi; ( i , j ) | | 2 &NotEqual; | | g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) | | 2 , 其中,||·||2表示二次范数,
若是,则重复所述计算的步骤;
若否,则q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。
进一步的,在上述系统中,所述加权参数模块,用于根据解析延拓定理构造奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 , 其中,e=2.718281828459;
用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q。
进一步的,在上述系统中,所述复原模块,用于根据奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 延拓所述高分辨率图像的高频频谱数据;
根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky)。
进一步的,在上述系统中,所述复原模块,用于根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),
Figure BDA00002895010600109
与现有技术相比,本发明通过获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数;根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数;根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数;根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像,能够在高频频谱数据缺失的情况下,快速高效地利用单幅低分辨率图像复原高分辨率图像。
附图说明
图1a是本发明一实施例的高分辨率图像复原方法的流程图;
图1b是图1a中步骤S4的详细流程图;
图1c是是图1a中步骤S5的详细流程图;
图2是本发明一实施例的一幅256X256的低分辨率图像复原到512X512的高分辨率图像的原理图;
图3a是本发明一实施例的用于仿真的参照图像;
图3b是本发明一实施例的截止频率为32~96的低分辨图像,经Sinc插值、TV正则化和SSIT方法复原图像的误差峰值信噪比;
图4是本发明一实施例的截止频率为64的高分辨率图像复原实验原理图;
图5a是以图3a为参照图像的复原误差峰值信噪比随噪声大小的变化
图5b是以加入噪声后图像为参照图像的复原误差峰值信噪比随噪声大小的变化;
图6a是本发明一实施例的加入噪声参照图像的频谱图;
图6b是本发明一实施例的Sinc方法复原图像的频谱图;
图6c是本发明一实施例的TV方法复原图像的频谱图;
图6d是本发明一实施例的SSIT方法复原图像的频谱图;
图7a是本发明一实施例的用于测试的第一参照图像;
图7b是本发明一实施例的用于测试的第二参照图像;
图7c是本发明一实施例的用于测试的第三参照图像;
图7d是本发明一实施例的用于测试的第四参照图像;
图7e是本发明一实施例的用于测试的第五参照图像;
图7f是本发明一实施例的用于测试的第六参照图像;
图8a是本发明一实施例的128X128的低分辨率图像;
图8b是本发明一实施例的Sinc方法高分辨率复原后的256X256图像;
图8c是本发明一实施例的TV方法高分辨率复原后的256X256图像;
图8d是本发明一实施例的SSIT方法高分辨率复原后的256X256图像;
图8e是图8b的频谱图;
图8f是图8c的频谱图;
图8g是8d的频谱图;
图9是本发明一实施例的将左下角的一幅128X128的低分辨率图像用SSTI方法高分辨率复原的512X512图像;
图10是本发明一实施例的高分辨率图像复原系统的模块示意图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例一
如图1a所示,本发明提供一种高分辨率图像复原方法(奇异信息论频谱延拓方法,SSIT),包括:
步骤S1,获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据。
优选的,所述步骤S1中,一幅低分辨率图像gl(i,j),i,j=0,1,...,l要复原到高分辨率图像g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),具体G(kx,ky)可包括低频频谱数据和高频频谱数据,kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),
Figure BDA00002895010600131
则g(i,j)图像的低频频谱数据表示为
G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2,具体的,每幅图像的横向或纵向像素点个数相等,每幅图像的像素点个数为横向像素点个数X纵向像素点个数,如256X256,512X512,即l2或N2
步骤S2,根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据。
优选的,步骤S2中,所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,
具体的,如图2所示,(b)中的512X512的待复原的高分辨率图像的补零法频谱数据中的低频频谱数据来自于图2中(a)的256X256的低分辨率图像的频谱数据,高分辨率图像的补零法频谱数据中的高频频谱数据部分用零填补的补零频谱数据。
步骤S3,对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像。
优选的,步骤S3中,所述高分辨率图像的低频频谱数据补零法图像表示为
步骤S4,根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数。具体的,每幅图像都有其最佳奇异化算子,即使变成为低分辨率图像,最佳奇异化算子是不会改变的。奇异化算子决定奇异谱函数,最佳奇异化算子可以得到图像的最简奇异信息数学模型。
优选的,如图1b所示,步骤S4中,根据所述低频频谱数据补零法图像获取最佳奇异化算子的步骤包括:
步骤S41,初始化:
Figure BDA00002895010600142
Figure BDA00002895010600143
其中,“*”表示卷积,δ(i,j)为二维狄拉克函数,具体的,如图2所示,(c)为所述低频频谱数据补零法图像被所述最佳奇异化算子卷积后的图像
Figure BDA00002895010600144
步骤S42,记四个基本奇异化算子为:
φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),
φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);
步骤S43,执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } , 判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx , 若是,则转到步骤S44,若否,即
Figure BDA00002895010600147
则转到步骤S45。
步骤S44,将
Figure BDA00002895010600148
赋值给
Figure BDA00002895010600149
g ~ &phi; ( i , j ) &DoubleLeftArrow; &phi; I ( i , j ) * g ~ &phi; ( i , j ) , 并将φ(i,j)*φI(i,j)赋值给φ(i,j)即
Figure BDA000028950106001412
后,转到步骤S43。
步骤S45,输出最佳奇异化算子φ(i,j)。
优选的,步骤S4中,根据所述最佳奇异化算子获取奇异函数的步骤包括:
根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j),具体的,“*”表示卷积,δ(i,j)为二维狄拉克函数,若把最佳奇异化算子看成系统,则奇异函数h(i,j)是最佳奇异化算子φ(i,j)的单位冲激响应。
优选的,步骤S4中,根据所述奇异函数获取奇异谱函数的步骤中,奇异谱函数为具体的,根据最佳奇异化算子φ(i,j)生成的奇异谱函数H(kx,ky),使得奇异信息数学模型参数尽量少
G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , k x , k y &Element; &Omega; ,
其中H(kx,ky)称为奇异谱函数,(ac,ic,jc),c=1,2,...,q为待定模型参数,q<<N2为信息量,要求尽量小;Ω为高分辨率图像频谱空间,奇异函数h(i,j)为奇异谱函数的原函数,
步骤S5,根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数。具体的,点扩散函数定义为
Figure BDA00002895010600154
其中,
Figure BDA00002895010600155
这里kx,ky表示可以从所述低分辨率图像中估计的频谱空间点。
优选的,如图1c所示,步骤S5包括:
步骤S51,初始化:
Figure BDA00002895010600157
步骤S52,计算: ( i c , j c ) = arg max i , j &Element; 1,2 , . . . , N { | g ~ &phi; ( i , j ) | } , b = g ~ &phi; ( i c , j c ) / p ( 0,0 ) , g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) 赋值给
Figure BDA000028950106001510
g ~ &phi; ( i , j ) &DoubleLeftArrow; g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) , c = c + 1 , 其中,(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标,所述坐标参数的集合为χ={(i1,j1),(i2,j2)...,(iq,jq)};
步骤S53,判断是否 | | g ~ &phi; ( i , j ) | | 2 &NotEqual; | | g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) | | 2 , 其中,||·||2表示二次范数,若是,则转到步骤S52,若否,即
Figure BDA000028950106001513
则转到步骤S54;
步骤S54,q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。
步骤S6,根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数。
优选的,步骤S6中,根据解析延拓定理构造奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 , 其中,e=2.718281828459;
用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q,具体的,加权参数ac,c=1,2,...,q为函数
Figure BDA00002895010600162
中的非零值。
步骤S7,根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。
优选的,步骤S7中,根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据的步骤包括:
根据奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 延拓所述高分辨率图像的高频频谱数据,具体的,图2中的(d)为用点扩散函数层析得奇异信息坐标参数(ic,jc),及解奇异信息数学模型获的奇异信息图;
根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky)。具体的,图2中的(e)是完整频谱数据的图像。
优选的,步骤S7中,根据所述完整频谱数据输出所述高分辨率图像的步骤中,根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),
Figure BDA00002895010600164
具体的,图2中的(f)为复原后的512X512的高分辨率图像。
更详细的,为验证本发明的高分辨率图像复原方法即奇异信息论频谱延拓方法(SSIT)的有效性,先用仿真实验进行研究,确定方法有效性。仿真实验方案为:根据丢失高频频谱分量导致低分辨率图像的机制,对高分辨率图像的截止频率以外的高频频谱数据去掉,获得低分辨率图像,然后运用sinc插值方法、TV正则化方法和本发明方法(SSIT)进行高分辨率图像复原。仿真实验如下:
实验一、考察截止频率对算法的影响。
用如图3a中国上海虹桥机场的256X256尺寸,灰度范围(0~255)的遥感图像为参照图像,取截止频率范围为(32~96),生成尺寸为64x64~192x192的低分辨图像,分别用sinc插值方法、TV正则化方法和SSIT方法进行高分辨率复原。各复原图像与参照图像的误差峰值信噪比如图3b所示。总体上看,各种方法的误差峰值信噪比(PSNR)都随着截止频率(Cut Frequency)提高而提高,SSIT方法在各种截止频率下,超分辨复原图像精度都高于sinc和TV方法。SSIT方法在截止频率为45左右,PSNR值已达30dB以上。
图4是本发明一实施例的截止频率为64的高分辨率图像复原实验原理图,在截止频率为64时,128X128低分辨率图像见图4中(a)即为128X128低分辨率图像,用Sinc、TV和SSIT方法复原的图像如图4中的(b)即为Sinc方法复原的图像、(c)即为TV方法复原的图像和(d)即为SSIT方法复原的图像所示,它们的误差峰值信噪比分别PSNR=32.2分贝、32.8分贝和33.6分贝。虽然PSNR相差不多,但图像差异较为明显。Sinc方法的图像比较模糊,在两架飞机旁可以清楚地发现截断伪影。TV方法的图像有少量伪影。SSIT方法的图像和参照图像最为接近,几乎没有伪影。三种方法的图像分别与参照图像的误差图像可更容易看出彼此间的差别,如图4中的(e)即为图4中(b)与图3a的误差图、(f)即为图4中(c)与图3a的误差图和(g)即为图4中(d)与图3a的误差图所示,Sinc方法伪影显著,TV方法次之,SSIT方法的伪影最少,显示的误差范围均为-31%~31%。
实验二、考察噪声对复原算法影响
为了考察噪声对本发明方法的高分辨率复原精度的影响,对参照图像3a加入零均值的高斯白噪声,均方差分别为1~10,取截止频率为64的低分辨率128X128图像,分别用Sinc插值、TV正则化和SSIT方法进行高分辨率复原,并分别以图2和加噪声后图像为参照图像计算复原误差峰值噪声比,结果见图5a和5b。三种方法随着噪声(Noise Level)的增加,以PSNR值都下降趋势,相比较以图2中的(a)为参照图像的PSNR下降较慢,也就是说复原图像更接近于加噪声前的图像,说明三种方法都具有去噪声功效。PSNR随着噪声增加而下降,意味着噪声破坏了图像的细节,影响三种方法的复原精度。在各级噪声情况下,SSIT方法的PSNR总是高于Sinc和TV方法,从定量指标PSNR上看,SSIT方法的复原精度优于Sinc和TV方法。
从图像频谱图也可以看出,SSIT方法比Sinc和TV方法有更高的复原精度。图6a、6b、6c和6d分别是10级噪声下,加入噪声参照图像的频谱图、Sinc方法复原图像的频谱图、TV方法复原图像的频谱图和SSIT方法复原图像的频谱图。图6b中,Sinc方法复原图像的频谱图没有观察到截止频率以外的高频分量,说明Sinc插值复原到尺寸为256X256图像,没有给图像增加任何高频信息,即图像细节。图6c中,TV方法复原图像的频谱图,在截止频率以外有部分频谱分量,但与参照图像的频谱图相比截止频率以外频谱显得很少,误差很大。图6d中,SSIT复原的频谱图在截止频率以外频谱与截止频率以内的频谱都和参照图像的频谱图相当接近,说明对应的图像也与参照图像接近。这也从频谱角度说明了SSIT方法的精度高于TV和Sinc方法。
实验三、考察图像结构对算法的影响。
为考察图像结构、灰度分布特性对复原算法的影响,我们选择图7a、7b、7c、7d、7e和7f为参照图像,尺寸都为256X256,分别以截止频率为64,生成低分辨率128X128图像,然后分别用sinc插值、TV正则化和SSIT方法进行高分辨率复原,并将复原后图像分别与图7a、7b、7c、7d、7e和7f计算误差峰值信噪比PSNR,结果见下表:
图像序号 a b c d e f
Sinc 34.0 33.4 30.1 32.2 29.1 27.1
TV 34.4 34.3 29.9 32.8 29.3 27.8
SSIT 34.7 35.5 31.4 33.6 29.7 28.2
根据上表,可以得出Sinc方法没有复原高频分量的能力,用Sinc方法得到高PSNR的图像,说明图像本身高频分量较少。从上表可以看出六幅参照图像中的高频分量按7a、7b、7d、7c、7e和7f顺序地依次增加。TV方法对7a、7b、7d、7e和7f参照图像的复原提高了PSNR,改善了图像质量,但对7c参照图像复原却降低了PSNR,说明TV方法对某些结构的图像会导到不如Sinc插值。SSIT方法在各种图像结构情况下都有较好地复原图像高频分量。
实验四、实际高分辨率复原实验
通过实验一、二和三的仿真实验,检验了SSIT方法能复原高频频谱。本实验直接从图3a)中取二幅如图9a的左下角和8a的128X128图像,将其频谱作为256复原图像的截止频率为64的低频频谱数据,然后分别以Sinc、TV和SSIT方法复原到256X256图像。复原的图像及其频谱图分别在图9除左下角以外的图像和图8和所示。如图8b,Sinc方法复原的图像有伪影,如图8c,TV方法的图像也有少许伪影,而如图8d,SSIT方法的图像几乎没有伪影。这和仿真实验一的结果相一致。从三种方法的频谱图8e、8f和8g看,也是Sinc方法的图像只有截止频率以下的低频频谱,TV方法的图像在截止频率以外有少许频谱,只有SSIT方法的图像在截止频谱以外的频谱比较丰富,截止频率以内频谱分布形态上相一致,从形态上可以看出截止频率以外的频谱是截止频率以内频谱的延拓,说明SSIT方法正真复原了截止频率以外高频分量。在图9中同样可以发现类似结果。这个实验结果表明低分辨图像频谱可以看作是高分辨图像的低频频谱,用这个些低频频谱可以延拓出高分辨率图像的高频频谱,从而达到超分图像复原。
SSIT是一种有效的高分辨率复原新方法。实验结果表明:SSIT的复原精度在各种截止频率下,各种噪声情况下和各种图像结构下,SSIT方法都比Sinc和TV方法的复原图像有更高的精度。但是,SSIT和Sinc、TV方法一样,其复原精度随低分辨率图像高频信息损失增大而降低,随低分辨率图像的噪声增大而降。前者是因为截止频率以外高频信息丢失过多,后者是因为噪声破坏了图像的高频信息,使得图像的奇异信息难以准确检测,从而导致SSIT方法复原图像精度下降。实验结果表明低分辨图像频谱可以看作是高分辨图像的低频频谱,用这个些低频频谱可以延拓出高分辨率图像的高频频谱,从而达到超分图像复原。
实施例二
如图10所示,本发明还提供另一种高分辨率图像复原系统,包括低频频谱数据模块1、补零法频谱数据模块2、补零法图像模块3、奇异谱函数模块4、坐标参数模块5、加权参数模块6和复原模块7。
低频频谱数据模块1,用于获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据。
优选的,所述低频频谱数据模块1用于将一幅低分辨率图像表示为gl(i,j),i,j=0,1,...,l,将要复原到高分辨率图像表示为g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),
Figure BDA00002895010600201
则g(i,j)图像的低频频谱数据表示为
G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。
优选的,补零法频谱数据模块2,用于根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据。
所述补零法频谱数据模块将所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,
Figure BDA00002895010600211
补零法图像模块3,用于对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像。
优选的,所述补零法图像模块3将所述高分辨率图像的低频频谱数据补零法图像表示为
Figure BDA00002895010600212
奇异谱函数模块4,用于根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数。
优选的,所述奇异谱函数模块4,用于
初始化:
Figure BDA00002895010600213
Figure BDA00002895010600214
其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;
记四个基本奇异化算子为:
φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),
φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);
执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } , 判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx ,
若是,则将
Figure BDA00002895010600217
赋值给 g ~ &phi; ( i , j ) , mx = | g ~ &phi; ( i , j ) | 1 , 并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行
Figure BDA00002895010600219
和判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx 的步骤;
若否,则输出最佳奇异化算子φ(i,j)。
优选的,所述奇异谱函数模块4根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。
优选的,所述奇异谱函数模块4根据
Figure BDA00002895010600221
获取奇异谱函数。
坐标参数模块5,用于根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数。
优选的,所述坐标参数模块5,用于
初始化:
Figure BDA00002895010600222
计算: ( i c , j c ) = arg max i , j &Element; 1,2 , . . . , N { | g ~ &phi; ( i , j ) | } , b = g ~ &phi; ( i c , j c ) / p ( 0,0 ) , g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) 赋值给
Figure BDA00002895010600225
其中(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标;
判断是否 | | g ~ &phi; ( i , j ) | | 2 &NotEqual; | | g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) | | 2 , 其中,||·||2表示二次范数,
若是,则重复所述计算的步骤;
若否,则q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。
加权参数模块6,用于根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数。
优选的,所述加权参数模块6,用于根据解析延拓定理构造奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 , 其中,e=2.718281828459;
用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q。
复原模块7,用于根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。
优选的,所述复原模块7,用于根据奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 延拓所述高分辨率图像的高频频谱数据;
根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky);
根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),
Figure BDA00002895010600232
实施例二的详细内容具体可参照实施例一中的对应部分。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
专业人员还可以进一步意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
显然,本领域的技术人员可以对发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包括这些改动和变型在内。

Claims (22)

1.一种高分辨率图像复原方法,其特征在于,包括:
获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;
根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;
对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;
根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数;
根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数;
根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数;
根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。
2.如权利要求1所述的高分辨率图像复原方法,其特征在于,获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据的步骤中,
一幅低分辨率图像gl(i,j),i,j=0,1,...,l要复原到高分辨率图像g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),
Figure FDA00002895010500011
则g(i,j)图像的低频频谱数据表示为
G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。
3.如权利要求2所述的高分辨率图像复原方法,其特征在于,根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据的步骤中,
所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,
Figure FDA00002895010500021
4.如权利要求3所述的高分辨率图像复原方法,其特征在于,对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像的步骤中,
所述高分辨率图像的低频频谱数据补零法图像表示为
5.如权利要求4所述的高分辨率图像复原方法,其特征在于,根据所述低频频谱数据补零法图像获取最佳奇异化算子的步骤包括:
初始化:
Figure FDA00002895010500023
Figure FDA00002895010500024
其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;
记四个基本奇异化算子为:
φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),
φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);
执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } , 判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx ,
若是,则将
Figure FDA00002895010500027
赋值给 g ~ &phi; ( i , j ) , mx = | g ~ &phi; ( i , j ) | 1 , 并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行
Figure FDA00002895010500029
和判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx 的步骤;
若否,则输出最佳奇异化算子φ(i,j)。
6.如权利要求5所述的高分辨率图像复原方法,其特征在于,根据所述最佳奇异化算子获取奇异函数的步骤包括:
根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。
7.如权利要求6所述的高分辨率图像复原方法,其特征在于,根据所述奇异函数获取奇异谱函数的步骤中,奇异谱函数为
Figure FDA00002895010500031
8.如权利要求7所述的高分辨率图像复原方法,其特征在于,根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数的步骤包括:
初始化:
Figure FDA00002895010500032
计算: ( i c , j c ) = arg max i , j &Element; 1,2 , . . . , N { | g ~ &phi; ( i , j ) | } , b = g ~ &phi; ( i c , j c ) / p ( 0,0 ) , g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) 赋值给
Figure FDA00002895010500035
其中(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标;
判断是否 | | g ~ &phi; ( i , j ) | | 2 &NotEqual; | | g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) | | 2 , 其中,||·||2表示二次范数,
若是,则重复所述计算的步骤;
若否,则q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。
9.如权利要求8所述的高分辨率图像复原方法,其特征在于,根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数的步骤包括:
根据解析延拓定理构造奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 , 其中,e=2.718281828459;
用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q。
10.如权利要求9所述的高分辨率图像复原方法,其特征在于,根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据的步骤包括:
根据奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 延拓所述高分辨率图像的高频频谱数据;
根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky)。
11.如权利要求10所述的高分辨率图像复原方法,其特征在于,根据所述完整频谱数据输出所述高分辨率图像的步骤中,根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),
Figure FDA00002895010500042
12.一种高分辨率图像复原系统,其特征在于,包括:
低频频谱数据模块,用于获取待复原的高分辨率图像的横向或纵向像素点个数和一幅低分辨率图像,根据所述像素点个数和低分辨率图像获取所述高分辨率图像的低频频谱数据;
补零法频谱数据模块,用于根据所述高分辨率图像的低频频谱数据获取所述高分辨率图像的补零法频谱数据;
补零法图像模块,用于对所述补零法频谱数据作傅里叶变换以获取高分辨率图像的低频频谱数据补零法图像;
奇异谱函数模块,用于根据所述低频频谱数据补零法图像获取最佳奇异化算子,根据所述最佳奇异化算子获取奇异函数,根据所述奇异函数获取奇异谱函数;
坐标参数模块,用于根据所述最佳奇异化算子并运用点扩散函数层析法获取高分辨率图像复原的坐标参数;
加权参数模块,用于根据所述奇异谱函数和所述坐标参数获取高分辨率图像复原的加权参数;
复原模块,用于根据所述加权参数和奇异谱函数获取所述高分辨率图像的高频频谱数据,根据所述高分辨率图像的低频频谱数据和高频频谱数据获取完整频谱数据,并根据所述完整频谱数据输出所述高分辨率图像。
13.如权利要求12所述的高分辨率图像复原系统,其特征在于,所述低频频谱数据模块用于将一幅低分辨率图像表示为gl(i,j),i,j=0,1,...,l,将要复原到高分辨率图像表示为g(i,j),i,j=0,1,...,N,N>>l,g(i,j)图像的频谱数据表示为G(kx,ky),kx,ky∈Ω,Ω为所述高分辨率图像的频谱空间,l表示低分辨率图像的横向或纵向像素点个数,N表示待复原的高分辨率图像的横向或纵向像素点个数,低分辨率图像的频谱数据表示为Gl(kx,ky),
Figure FDA00002895010500051
则g(i,j)图像的低频频谱数据表示为
G(kx,ky)=(N/l)2Gl(kx,ky),-l/2≤kx,ky<l/2。
14.如权利要求13所述的高分辨率图像复原系统,其特征在于,所述补零法频谱数据模块将所述高分辨率图像的补零法频谱数据表示为G(kx,ky)P(kx,ky),其中,
Figure FDA00002895010500052
15.如权利要求14所述的高分辨率图像复原系统,其特征在于,所述补零法图像模块将所述高分辨率图像的低频频谱数据补零法图像表示为
16.如权利要求15所述的高分辨率图像复原系统,其特征在于,所述奇异谱函数模块,用于
初始化:
Figure FDA00002895010500054
其中,“*”表示卷积,δ(i,j)为二维狄拉克函数;
记四个基本奇异化算子为:
φ1(i,j)=φi,j-(i,j)=δ(i,j)-δ(i,j-1),φ2(i,j)=φi-,j-(i,j)=δ(i,j)-δ(i-1,j-1),
φ3(i,j)=φi+,j-(i,j)=δ(i,j)-δ(i+1,j-1),φ4(i,j)=φi-,j(i,j)=δ(i,j)-δ(i-1,j);
执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } , 判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx ,
若是,则将赋值给 g ~ &phi; ( i , j ) , mx = | g ~ &phi; ( i , j ) | 1 , 并将φ(i,j)*φI(i,j)赋值给φ(i,j)后,重复所述执行 I = arg max i = 1,2,3,4 { | &phi; i ( i , j ) * g ~ &phi; ( i , j ) | 1 } 和判断是否 | &phi; I ( i , j ) * g ~ &phi; ( i , j ) | 1 < mx 的步骤;
若否,则输出最佳奇异化算子φ(i,j)。
17.如权利要求16所述的高分辨率图像复原系统,其特征在于,所述奇异谱函数模块根据差分方程φ(i,j)*h(i,j)=δ(i,j)的零状态的解获取奇异函数h(i,j)。
18.如权利要求17所述的高分辨率图像复原系统,其特征在于,所述奇异谱函数模块根据
Figure FDA00002895010500067
获取奇异谱函数。
19.如权利要求18所述的高分辨率图像复原系统,其特征在于,所述坐标参数模块,用于
初始化:
Figure FDA00002895010500068
计算: ( i c , j c ) = arg max i , j &Element; 1,2 , . . . , N { | g ~ &phi; ( i , j ) | } , b = g ~ &phi; ( i c , j c ) / p ( 0,0 ) , g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) 赋值给
Figure FDA000028950105000611
其中(ic,jc)表示所述坐标参数,c=1,2,...,q,所述坐标参数为非零坐标;
判断是否 | | g ~ &phi; ( i , j ) | | 2 &NotEqual; | | g ~ &phi; ( i , j ) - bp ( i - i c , j - j c ) | | 2 , 其中,||·||2表示二次范数,
若是,则重复所述计算的步骤;
若否,则q=c,输出坐标参数{(ic,jc),c=1,2,...,q}。
20.如权利要求19所述的高分辨率图像复原系统,其特征在于,所述加权参数模块,用于根据解析延拓定理构造奇异信息数学模型
G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 , 其中,e=2.718281828459;
用伪逆矩阵方法获得高分辨率图像复原的加权参数ac,c=1,2,...,q。
21.如权利要求20所述的高分辨率图像复原系统,其特征在于,所述复原模块,用于根据奇异信息数学模型 G ( k x , k y ) = &Sigma; c = 1 q a c e - 2 &pi; N ( k x i c + k y j c ) - 1 H ( k x , k y ) , P ( k x , k y ) = 0 延拓所述高分辨率图像的高频频谱数据;
根据所述高分辨率图像的低频频谱数据和高频频谱数据获取所述完整频谱数据G(kx,ky)。
22.如权利要求21所述的高分辨率图像复原系统,其特征在于,所述复原模块,用于根据所述完整频谱数据G(kx,ky)输出所述高分辨率图像g(i,j),
Figure FDA00002895010500072
CN201310073448.1A 2013-03-07 2013-03-07 高分辨率图像复原方法及系统 Expired - Fee Related CN103325103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201310073448.1A CN103325103B (zh) 2013-03-07 2013-03-07 高分辨率图像复原方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201310073448.1A CN103325103B (zh) 2013-03-07 2013-03-07 高分辨率图像复原方法及系统

Publications (2)

Publication Number Publication Date
CN103325103A true CN103325103A (zh) 2013-09-25
CN103325103B CN103325103B (zh) 2015-09-02

Family

ID=49193826

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201310073448.1A Expired - Fee Related CN103325103B (zh) 2013-03-07 2013-03-07 高分辨率图像复原方法及系统

Country Status (1)

Country Link
CN (1) CN103325103B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112496862A (zh) * 2020-11-30 2021-03-16 上海交通大学 一种基于包含铣削角度理论模型的铣削颤振智能识别方法
CN112819082A (zh) * 2021-02-09 2021-05-18 南京邮电大学 一种基于深度学习的卫星频谱感知数据重构方法
CN113163138A (zh) * 2021-05-20 2021-07-23 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737456A (en) * 1995-06-09 1998-04-07 University Of Massachusetts Medical Center Method for image reconstruction
CN101067650A (zh) * 2007-06-08 2007-11-07 骆建华 基于部分频谱数据信号重构的信号去噪方法
CN101916435A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度光谱投影遥感影像融合方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5737456A (en) * 1995-06-09 1998-04-07 University Of Massachusetts Medical Center Method for image reconstruction
CN101067650A (zh) * 2007-06-08 2007-11-07 骆建华 基于部分频谱数据信号重构的信号去噪方法
CN101916435A (zh) * 2010-08-30 2010-12-15 武汉大学 一种多尺度光谱投影遥感影像融合方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JIANHUA LUO ET AL: "Magnetic Resonance Image Denoising Using Spectral Data Substitution", 《CISP2010》 *
骆建华等: "磁共振截断频谱信号重建的奇异谱分析法", 《电子科学学刊》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112496862A (zh) * 2020-11-30 2021-03-16 上海交通大学 一种基于包含铣削角度理论模型的铣削颤振智能识别方法
CN112496862B (zh) * 2020-11-30 2021-10-29 上海交通大学 一种基于包含铣削角度理论模型的铣削颤振智能识别方法
CN112819082A (zh) * 2021-02-09 2021-05-18 南京邮电大学 一种基于深度学习的卫星频谱感知数据重构方法
CN113163138A (zh) * 2021-05-20 2021-07-23 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法
CN113163138B (zh) * 2021-05-20 2023-01-17 苏州大学 基于双向循环网络的高分辨率视频复原系统及方法

Also Published As

Publication number Publication date
CN103325103B (zh) 2015-09-02

Similar Documents

Publication Publication Date Title
CN102136144B (zh) 图像配准可靠性模型和超分辨率图像的重构方法
Moonon et al. Remote sensing image fusion method based on nonsubsampled shearlet transform and sparse representation
CN102542296A (zh) 一种采用基于多变量灰色模型的二维经验模态分解提取图像特征的方法
Donghua et al. A multiscale transform denoising method of the bionic polarized light compass for improving the unmanned aerial vehicle navigation accuracy
CN101388113B (zh) 一种星图图像的快速去噪方法
CN103325103B (zh) 高分辨率图像复原方法及系统
CN104217412B (zh) 一种机载超分辨率图像重建装置及重建方法
CN107133921B (zh) 基于多层次邻域嵌入的图像超分辨率重建方法及系统
CN101540039A (zh) 单帧图象超分辨方法
CN103116882B (zh) 高分辨率图像复原的坐标参数获取方法及系统
Priyadharsini et al. Underwater acoustic image enhancement using wavelet and KL transform
Jadhav et al. An effective method for satellite image enhancement
CN116957940A (zh) 基于轮廓波知识引导网络的多尺度图像超分辨率重建方法
CN103325091B (zh) 低频频谱数据补零法图像获取方法及系统
Dogiwal et al. Super resolution image reconstruction using wavelet lifting schemes and gabor filters
Dhekale et al. Satellite image (multispectral) enhancement techniques in wavelet domain: an overview
CN103208098B (zh) 高分辨率图像复原的奇异谱函数获取方法及系统
Daithankar et al. Analysis of the wavelet domain filtering approach for video super-resolution
CN106709873B (zh) 一种基于三次样条插值和迭代更新的超分辨率方法
Jadhav et al. Satellite image resolution enhancement using Dyadic-integer coefficients based bi-orthogonal wavelet filters
Liu et al. SAR image super-resolution based on TV-regularization using gradient profile prior
Abraham Sundar et al. Multi-frame super-resolution using adaptive normalized convolution
Amro et al. General shearlet pansharpening method using Bayesian inference
Vyas et al. Image restoration
CN113435487B (zh) 一种面向深度学习的多尺度样本生成方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150902

Termination date: 20180307

CF01 Termination of patent right due to non-payment of annual fee