CN101206763A - 利用波前数据的多帧自适应光学图像高分辨率复原方法 - Google Patents

利用波前数据的多帧自适应光学图像高分辨率复原方法 Download PDF

Info

Publication number
CN101206763A
CN101206763A CNA2007101775619A CN200710177561A CN101206763A CN 101206763 A CN101206763 A CN 101206763A CN A2007101775619 A CNA2007101775619 A CN A2007101775619A CN 200710177561 A CN200710177561 A CN 200710177561A CN 101206763 A CN101206763 A CN 101206763A
Authority
CN
China
Prior art keywords
estimated value
spread function
point spread
high resolution
short exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007101775619A
Other languages
English (en)
Other versions
CN100583144C (zh
Inventor
田雨
饶长辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Optics and Electronics of CAS
Original Assignee
Institute of Optics and Electronics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Optics and Electronics of CAS filed Critical Institute of Optics and Electronics of CAS
Priority to CN200710177561A priority Critical patent/CN100583144C/zh
Publication of CN101206763A publication Critical patent/CN101206763A/zh
Application granted granted Critical
Publication of CN100583144C publication Critical patent/CN100583144C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)

Abstract

利用波前数据的多帧自适应光学图像高分辨率复原方法:(1)连续记录多帧短曝光降质图像gm(x,y)及对应的在波前传感器的斜率信号;(2)利用波前残差将所述的斜率信号恢复为点扩散函数m(x,y),并作为起猜点,(3)利用短曝光降质图像gm (x,y)与点扩散函数m(x,y)复原出真实图像的估计值(x,y),对其加入正性限制,得到估计值(x,y);(4)利用短曝光降质图像gm (x,y)与估计值(x,y)得到出点扩散函数的估计值hm (x,y),同样加入正性限制,得到估计值(x,y);(5)定义迭代停止条件,如果未达到条件要求,则返回步骤(3),直至收敛为止。本发明收敛速度快,可以适应于不同类型,不同程度的波前扰动下得到的降质图像,有效地补充自适应光学系统受硬件限制的校正能力,提升成像质量。

Description

利用波前数据的多帧自适应光学图像高分辨率复原方法
技术领域
本发明属于图像处理技术,提出了一种针对自适应光学系统图像复原方法。
背景技术
图像复原就是从观测到的降质图像中得到真实图像的估计过程。其成像模型可以表示为:
g(x,y)=f(x,y)h(x,y)+n(x,y)    (1)
式中,g(x,y)表示观测到的降质图像;f(x,y)代表真实目标,即待复原目标;h(x,y)表示光学系统的点扩散函数,用来描述波前相差;n(x,y)表示系统噪声;“”代表循环卷积。自适应光学系统由于受限于变形镜自由度不够以及波前传感器测量不准等因素,往往不能达到对降质图像的完全校正。因此,需要对其部分校正的图像结果进行二次复原。波前传感器受噪声等因素制约,由其探测的波前信息得到的点扩散函数不能完全表示实际的波前扰动,需要对其进行修正。
Ayers等提出一种迭代的盲图像复原方法,使用单帧降质图像及正性限制对真实目标进行复原,但只能处理点扩散函数较小的情况,且收敛性不能保证;Conan等提出一种利用在Kolmogorov大气湍流模型下Zernike多项式分布规律对f(x,y)与h(x,y)的复原方法。但在实际观测中,大气湍流并不能很好地符合Kolmogorov模型,因此,该方法适应性较差。
发明内容
本发明的目的是:克服现有技术的不足,提出一种利用波前数据的多帧自适应光学图像高分辨率复原方法,该方法具有同时复原真实目标以及点扩散函数的能力,且并不依赖任何大气模型;且运算速度较快、收敛性有保证。使用此方法可以有效地提高待校正图像的成像质量。
本发明的技术解决方案是:利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:记录经自适应光学部分校正的同一目标的多帧短曝光降质图像gm(x,y)及对应波前残差φm(x,y),利用波前残差恢复出各帧短曝光图像的点扩散函数,作为
Figure S2007101775619D00011
的起猜点,根据gm(x,y)与
Figure S2007101775619D00012
复原出真实图像的估计值
Figure S2007101775619D00013
,再由
Figure S2007101775619D00014
与gm(x,y)重新估计出新的,如此循环迭代直至收敛,具体实现步骤如下:
(1)连续记录多帧短曝光降质图像gm(x,y)及对应的在波前传感器的斜率信号;
(2)利用波前残差将所述的斜率信号恢复为点扩散函数hm(x,y),并以该点扩散函数作为起始点,m=1,2,...,M;
(3)利用短曝光降质图像gm(x,y)与点扩散函数hm(x,y)复原出真实图像的估计值
Figure S2007101775619D00022
,对其加入正性限制,得到估计值
Figure S2007101775619D00023
(4)利用短曝光降质图像gm(x,y)与估计值得到出点扩散函数的估计值hm(x,y),同样加入正性限制,得到估计值
Figure S2007101775619D00025
(5)定义迭代停止条件,如果未达到条件要求,则返回步骤(3),直至收敛为止。本发明与现有技术相比有如下优点:
(1)本发明使用同一目标的多帧降质图像而非单帧进行复原,这样可以将一个“知一求二”(已知g(x,y)未知h(x,y)与f(x,y))的问题转变为“知m求m+1”(已知gm(x,y)未知hm(x,y)与f(x,y))的问题,大大减少了问题的不确定性;同时引入了由波前传感器得到的波前残差信息可以使点扩散函数的初始值更为接近真实值,增加了迭代精度,使整个算法更容易收敛。
(2)使用同一目标的多帧降质图像可以有效地提高复原质量,帧数越多复原效果越好。同时,多帧降质图像可以很好地避免迭代过程中出现无效解,这都是由于更多的降质图像可以提供更多有关目标的信息,即使某一帧降质图像中未能反应出目标的某一特征也可以从其它降质图像中得到,因此增强了盲解卷积算法的健壮性。对较强的波前扰动,只要适当增加短曝光降质图像的帧数就能得到较好的复原结果。
(3)盲图像复原方法往往容易陷入无效解中,将点扩散函数的起猜点定为波前残差可以进一步减少不确定性,使对点扩散函数的估计不偏离真实解,有效地减少迭代次数,确保算法的收敛性,同时也能够大大地提高运算速度。
(4)数据依赖仅仅为降质图像以及作为初始值的波前传感器数据,不需要假定大气模型等其它先验知识。越少的数据依赖,则有越强的适应性和通用性。
附图说明
图1为本发明具体实现的流程图;
图2是利用本发明复原受人眼眼底成像图像。其中,(a)为100像素×100像素的未经自适应光学系统校正的降质图像,(b)图为经自适应光学校正后的图像,(c)图校正后的波前传感器记录的残差斜率数据,(d)为由(c)复原出的波前象差,(e)为对应波前象差的点扩散函数,(f)为本发明复原的图像。
图3为使用本发明对实测恒星目标的复原处理。其中,(a)~(c)为降质图像,(d)为本发明方法的复原结果;
图4为图3中(a)与(d)的截面图;
图5为使用本发明对自适应光学系统校正效果较好的实测恒星目标的复原处理。其中,(a)~(c)为降质图像,(d)为本发明方法的复原结果;
图6为图5中(a)与(d)的截面图。
具体实施方式
下面对本发明做详细说明。针对现在图像复原算法的不足,本发明的具体流程如图1所示:
(1)连续记录M帧短曝光降质图像gm(x,y)及对应的在波前传感器的斜率信号;其中的短曝光图像的曝光时间范围在5ms~40ms间。
(2)使用模式法复原出各帧的波前残差φm(x,y),使用点函数的物理定义公式(2)得到其对应的点扩散函数。
h ~ m ( x , y ) = | FT { Pexp [ jφ m ( x , y ) ] } | 2 - - - ( 2 )
式中,P代表瞳径函数,FT表示傅里叶变换。
(3)使用gm(x,y)与得到的
Figure S2007101775619D00032
估计出目标
Figure S2007101775619D00033
。定义Gm(fx,fy)、
Figure S2007101775619D00034
Figure S2007101775619D00035
分别为gm(x,y)、
Figure S2007101775619D00036
的傅里叶频谱。
F ^ ( f x , f y ) = Σ m H ~ m * ( f x , f y ) G m ( f x , f y ) Σ m | H ~ m ( f x , f y ) | 2 + ϵ 1 - - - ( 3 )
f ^ ( x , y ) = IFT ( F ^ ( f x , f y ) ) - - - ( 4 )
其中,“*”代表复共轭;IET代表逆傅里叶变换。ε1为一常量防止除数为0。
(4)根据光成像的物理意义, f ~ ( x , y ) ≥ 0 . 因此加入正性限制。
f ~ ( x , y ) = f ^ ( x ) , f ^ ( x ) > 0 0 , otherwise - - - ( 5 )
(5)根据傅立叶逆滤波原理,使用gm(x,y)与
Figure S2007101775619D000312
得到出点扩散函数的估计值
Figure S2007101775619D000313
H ^ m ( f x , f y ) = G m ( f x , f y ) F ~ ( f x , f y ) + ϵ 2 - - - ( 6 )
h ^ m ( x , y ) = IFT ( H ^ m ( f x , f y ) ) - - - ( 7 )
Figure S2007101775619D00041
Figure S2007101775619D00042
分别是
Figure S2007101775619D00044
的傅里叶变换;ε2的作用与ε1一样。
(6)根据点扩散函数的物理定义,对
Figure S2007101775619D00045
同样加入正性限制。
h ~ m ( x , y ) = h ^ m ( x ) , h ^ m ( x ) > 0 0 , otherwise - - - ( 8 )
(7)定义迭代停止条件。如果未达到条件要求,则重回(3)步,直至收敛为止。
| | h ~ m ( x , y ) &CircleTimes; f ~ ( x , y ) - g ~ m ( x , y ) | | 2 < &epsiv; - - - ( 9 )
‖·‖代表定义在希尔柏特空间上的范数;ε为一正常数。
实施例1
如图2所示,利用本发明人眼图像进行复原。(a)为100像素×100像素的未经自适应光学系统校正的降质图像,(b)图为经自适应光学校正后的图像,(c)图校正后的波前传感器记录的残差斜率数据,(d)为由(c)复原出的波前象差,(e)为对应波前象差的点扩散函数,(f)为本发明复原的图像。从实验结果可以看出,复原图像的质量较(a)与(b)都有较大提升,体现出更多细节。整个计算过程经过25次迭代,耗时20秒。
实施例2
应用本发明对经过自适应光学系统部分校正的图像进行复原,如图3所示。(a)~(c)为三帧100像素×100像素自适应光学校正后恒星目标。(d)为经本发明方法二次校正后的结果。实验表明,复原结果较好。从图3可以看到,在相同能量下,(d)的峰值较(a)~(c)分别提高了2.56倍、2.47和1.49倍,也就意味着斯特列尔比分别提高了2.56倍、2.47和1.49倍。图4比较了图3(a)与(d)的截面图。从图4可以进一步发现,经二次校正后,图3(d)的半高全宽较图3(a)提高了近4个像素,达到5.9个象素,接近整个光学系统衍射极限4.8象素。整个复原过程经过25次迭代即收敛,用时30秒。
实施例3
如图5所示,(a)~(c)同样为三帧100像素×100像素自适应光学校正后恒星目标,但系统校正质量较实例1有所提高。(d)为经本发明方法二次校正后的结果。实验结果同样表明复原结果较好。(d)的斯特列尔比较(a)~(c)也有较大地提高。图6比较了图5(a)与(d)的截面图。从图6可以看出,(d)的半高全宽为4.9个象素,较(a)提高了近1个象素,已经达到了系统的衍射极限。整个复原过程经过15次迭代,耗时20秒。

Claims (7)

1.利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于步骤如下:
(1)连续记录多帧短曝光降质图像gm(x,y)及对应的在波前传感器的斜率信号;
(2)利用波前残差将所述的斜率信号恢复为点扩散函数
Figure S2007101775619C00011
,并以该点扩散函数
Figure S2007101775619C00012
作为起始点,m=1,2,...,M;
(3)利用短曝光降质图像gm(x,y)与点扩散函数
Figure S2007101775619C00013
复原出真实图像的估计值
Figure S2007101775619C00014
,对其加入正性限制,得到估计值
Figure S2007101775619C00015
(4)利用短曝光降质图像gm(x,y)与估计值
Figure S2007101775619C00016
得到出点扩散函数的估计值hm(x,y),同样加入正性限制,得到估计值
Figure S2007101775619C00017
(5)定义迭代停止条件,如果未达到条件要求,则返回步骤(3),直至收敛为止。
2.根据权利要求1所述的利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:所述步骤(1)中的短曝光图像的曝光时间范围在5ms~40ms间。
3.根据权利要求1所述的利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:所述步骤(2)中点扩散函数
Figure S2007101775619C00018
的计算公式如下:
h ~ m ( x , y ) = | FT { Pexp [ j&phi; m ( x , y ] ) } | 2
式中,P代表瞳径函数,FT表示傅里叶变换。
4.根据权利要求1所述的利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:所述步骤(3)中利用短曝光降质图像gm(x,y)与点扩散函数
Figure S2007101775619C000110
复原出真实图像的估计值
Figure S2007101775619C000111
的公式如下:定义Gm(fx,fy)、
Figure S2007101775619C000112
Figure S2007101775619C000113
分别为gm(x,y)、
Figure S2007101775619C000114
Figure S2007101775619C000115
的傅里叶频谱,
F ^ ( f x , f y ) = &Sigma; m H ~ m * ( f x , f y ) G m ( f x , f y ) &Sigma; m | H ~ m ( f x , f y ) | 2 + &epsiv; 1 - - - ( 3 )
f ^ ( x , y ) = IFT ( F ^ ( f x , f y ) ) - - - ( 4 )
其中,“*”代表复共轭;IFT代表逆傅里叶变换,ε1为一常量防止除数为0。
5.根据权利要求1所述的利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:所述步骤(3)中加入正性限制的公式为:
f ~ ( x , y ) = f ^ ( x ) , f ^ ( x ) > 0 0 , otherwise .
6.根据权利要求1所述的利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:所述步骤(4)利用短曝光降质图像gm(x,y)与估计值
Figure S2007101775619C00022
得到出点扩散函数的估计值hm(x,y)的公式如下:
H ^ m ( f x , f y ) = G m ( f x , f y ) F ~ ( f x , f y ) + &epsiv; 2
h ^ m ( x , y ) = IFT ( H ^ m ( f x , f y ) )
Figure S2007101775619C00025
Figure S2007101775619C00026
分别是
Figure S2007101775619C00027
Figure S2007101775619C00028
的傅里叶变换;ε2为一常量防止除数为0。
7.根据权利要求1所述的利用波前数据的多帧自适应光学图像高分辨率复原方法,其特征在于:所述步骤(4)中加入正向限制的公式如下:
h ~ m ( x , y ) = h ^ m ( x ) , h ^ m ( x ) > 0 0 , otherwise
CN200710177561A 2007-11-16 2007-11-16 利用波前数据的多帧自适应光学图像高分辨率复原方法 Expired - Fee Related CN100583144C (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN200710177561A CN100583144C (zh) 2007-11-16 2007-11-16 利用波前数据的多帧自适应光学图像高分辨率复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN200710177561A CN100583144C (zh) 2007-11-16 2007-11-16 利用波前数据的多帧自适应光学图像高分辨率复原方法

Publications (2)

Publication Number Publication Date
CN101206763A true CN101206763A (zh) 2008-06-25
CN100583144C CN100583144C (zh) 2010-01-20

Family

ID=39566939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200710177561A Expired - Fee Related CN100583144C (zh) 2007-11-16 2007-11-16 利用波前数据的多帧自适应光学图像高分辨率复原方法

Country Status (1)

Country Link
CN (1) CN100583144C (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996387A (zh) * 2009-08-20 2011-03-30 佳能株式会社 图像处理装置及图像处理方法
CN102164004A (zh) * 2011-03-02 2011-08-24 中国科学院上海光学精密机械研究所 用于光斑定位的时变湍流位相屏快速模拟方法
CN102819828A (zh) * 2012-07-17 2012-12-12 中国科学院光电技术研究所 一种应用在自适应光学图像高分辨率复原的自解卷积方法
CN103201765A (zh) * 2010-09-28 2013-07-10 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN103761712A (zh) * 2014-01-21 2014-04-30 太原理工大学 基于自适应光学系统点扩散函数重建的图像盲卷积方法
CN106482838A (zh) * 2016-09-30 2017-03-08 中国科学院光电技术研究所 一种基于自适应拟合的波前传感器
CN111123538A (zh) * 2019-09-17 2020-05-08 印象认知(北京)科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111854981A (zh) * 2020-07-10 2020-10-30 中国科学院光电技术研究所 一种基于单帧焦面光强图像的深度学习波前复原方法
CN112782844A (zh) * 2021-01-12 2021-05-11 中国科学院光电技术研究所 一种自适应光学系统稳定闭环控制方法
CN114323310A (zh) * 2021-12-28 2022-04-12 中国科学院光电技术研究所 一种高分辨率哈特曼波前传感器
CN114897717A (zh) * 2022-04-25 2022-08-12 电子科技大学 一种用于太阳图像复原的多帧校正盲解卷积方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1904941A (zh) * 2005-07-29 2007-01-31 清华大学 一种图像处理中的去模糊方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101996387A (zh) * 2009-08-20 2011-03-30 佳能株式会社 图像处理装置及图像处理方法
US8565555B2 (en) 2009-08-20 2013-10-22 Canon Kabushiki Kaisha Image processing apparatus and image processing method
CN103201765A (zh) * 2010-09-28 2013-07-10 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN103201765B (zh) * 2010-09-28 2016-04-06 马普科技促进协会 用于从所观察到的数字图像序列恢复数字图像的方法与设备
CN102164004A (zh) * 2011-03-02 2011-08-24 中国科学院上海光学精密机械研究所 用于光斑定位的时变湍流位相屏快速模拟方法
CN102819828A (zh) * 2012-07-17 2012-12-12 中国科学院光电技术研究所 一种应用在自适应光学图像高分辨率复原的自解卷积方法
CN103761712A (zh) * 2014-01-21 2014-04-30 太原理工大学 基于自适应光学系统点扩散函数重建的图像盲卷积方法
CN103761712B (zh) * 2014-01-21 2016-05-25 太原理工大学 基于自适应光学系统点扩散函数重建的图像盲卷积方法
CN106482838A (zh) * 2016-09-30 2017-03-08 中国科学院光电技术研究所 一种基于自适应拟合的波前传感器
CN106482838B (zh) * 2016-09-30 2019-07-05 中国科学院光电技术研究所 一种基于自适应拟合的波前传感器
CN111123538A (zh) * 2019-09-17 2020-05-08 印象认知(北京)科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111123538B (zh) * 2019-09-17 2022-04-05 印象认知(北京)科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111854981A (zh) * 2020-07-10 2020-10-30 中国科学院光电技术研究所 一种基于单帧焦面光强图像的深度学习波前复原方法
CN111854981B (zh) * 2020-07-10 2022-09-20 中国科学院光电技术研究所 一种基于单帧焦面光强图像的深度学习波前复原方法
CN112782844A (zh) * 2021-01-12 2021-05-11 中国科学院光电技术研究所 一种自适应光学系统稳定闭环控制方法
CN114323310A (zh) * 2021-12-28 2022-04-12 中国科学院光电技术研究所 一种高分辨率哈特曼波前传感器
CN114323310B (zh) * 2021-12-28 2023-05-26 中国科学院光电技术研究所 一种高分辨率哈特曼波前传感器
CN114897717A (zh) * 2022-04-25 2022-08-12 电子科技大学 一种用于太阳图像复原的多帧校正盲解卷积方法

Also Published As

Publication number Publication date
CN100583144C (zh) 2010-01-20

Similar Documents

Publication Publication Date Title
CN100583144C (zh) 利用波前数据的多帧自适应光学图像高分辨率复原方法
CN100568278C (zh) 结合帧选择和盲解卷积的自适应光学图像高分辨率复原方法
CN101359398B (zh) 运动模糊图像的盲恢复方法
Zhu et al. Image reconstruction from videos distorted by atmospheric turbulence
CN110956653B (zh) 相关滤波器与运动估计融合的卫星视频动态目标追踪方法
CN105931196A (zh) 基于傅里叶光学建模的编码光圈相机图像恢复方法
US11880903B2 (en) Bayesian image denoising method based on distribution constraint of noisy images
CN103310427B (zh) 图像超分辨率与像质增强方法
CN103761712B (zh) 基于自适应光学系统点扩散函数重建的图像盲卷积方法
CN109887050B (zh) 一种基于自适应字典学习的编码孔径光谱成像方法
CN101976434A (zh) 一种用于图像配准的频域加权的相关方法
CN109635824A (zh) 一种图像匹配深度学习方法及系统
CN111968047A (zh) 一种基于生成式对抗网络的自适应光学图像盲复原方法
CN112184549B (zh) 基于时空变换技术的超分辨图像重建方法
Güngör et al. Autofocused compressive SAR imaging based on the alternating direction method of multipliers
EP3229207A2 (en) Warp models for registering multi-spectral imagery
CN102819828B (zh) 一种应用在自适应光学图像高分辨率复原的自解卷积方法
KR100987031B1 (ko) 공간 해상도와 다이내믹 레인지가 향상된 영상 생성 방법과그 장치, 및 상기 방법을 구현하는 프로그램이 기록된 기록매체
EP3232403B1 (en) Fast multi-spectral image registration by modeling platform motion
CN106991659B (zh) 一种适应大气湍流变化的多帧自适应光学图像恢复方法
CN116363014A (zh) 一种级联自适应光学图像盲复原方法
CN115561825A (zh) 基于相位差法和深度神经网络的复杂波前探测技术
CN115760590A (zh) 一种视频稳像方法及系统
CN113030964B (zh) 基于复Laplace先验的双基地ISAR稀孔径高分辨成像方法
CN101779112B (zh) 估计光学系统的波前的至少一个变形或者通过所述光学系统观察到的物体的方法以及相关设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100120

Termination date: 20151116

EXPY Termination of patent right or utility model