CN104483752B - 一种反射式数字成像系统的设计方法 - Google Patents
一种反射式数字成像系统的设计方法 Download PDFInfo
- Publication number
- CN104483752B CN104483752B CN201410814461.2A CN201410814461A CN104483752B CN 104483752 B CN104483752 B CN 104483752B CN 201410814461 A CN201410814461 A CN 201410814461A CN 104483752 B CN104483752 B CN 104483752B
- Authority
- CN
- China
- Prior art keywords
- optical
- aberration
- digital
- digital processing
- design
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0012—Optical design, e.g. procedures, algorithms, optimisation routines
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0025—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
Abstract
本发明涉及一种反射式数字成像系统的设计方法,实现步骤如下:反射式数字成像系统的光学像差有离焦、畸变、像散、慧差、场曲、球差、场曲,本发明把光学设计和数字处理一起来进行优化来校正这些像差,对不易于用数字处理补偿的像差留给光学设计校正,对易于用数字处理补偿的像差用图像处理算法校正。通过系统综合设计指标把光学成像系统和数字处理系统相结合,通过成像目标先验模型对数字成像系统设计参数加以约束,形成反馈迭代式优化设计,降低了反射式光学系统的复杂度。
Description
技术领域
本发明涉及一种反射式数字成像系统设计方法。
背景技术
随着电子技术和材料工艺的飞速发展,反射式成像系统经已经由卤化银胶片成像式发展为数字成像,并因其适用于长焦距、大口径、波长无选择性的优点,被广泛的应用于气象观测,资源调查,环境监测,海洋遥感,空间摄影测量,侦察和预警,行星恒星等空间物理现象观测,空间目标搜索等领域,如图1所示,成像系统的光学系统通常由主镜、次镜、校正镜组组成,显然校正镜的加入使得传统的纯反射式系统变为了折反射式系统,目标通过光学系统成像在CCD或COMS探测器上形成数字图像,人们再针对应用需求利用图像处理算法对数字图像进行或多或少的修正,而数字图像处理对于传统的反射式数字成像系统来说并非是必要的组成部分,这样,在数字处理迅猛发展的今天,就一定意义上失去了所谓“数字”成像的特点,并没有完全的挖掘出数字成像的全部优点。
反射式光学系统一般不考虑色差的影响,光学系统主要针对离焦、畸变、像散、慧差、场曲、球差等单色光学像差进行校正,传统的设计方法主要分为两个步骤:第一步,用基于光线追迹的方法对光程差函数(或者波像差)进行优化来设计光学系统。光程差函数(或者波像差)是光学系统优化设计首要考虑的因素,其可以通过离焦、畸变、像散、慧差、场曲、球差来表示,光学系统设计就是要平衡这些像差,使镜头出瞳光程差函数平方的均值最小,但是各种像差级次繁多,远远多于系统设计参数数量,导致每种像差都会有一定残留,影响图像清晰度。第二步,在光学系统设计完毕后,需要根据需求对光学系统的成像结果进行数字处理来提高图像的视觉效果即成像清晰度,处理算法主要包括提高信噪比和提高对比度。总的来说传统的设计方法是一种顺序队列式的设计,光学设计和数字处理设计相互独立,其缺点主要表现在:
(1)光学系统设计的优劣成为决定成像质量的唯一环节,导致光学系统的结构十分复杂。为了“完美”校正像差,反射式系统通常都采用非球面,而非球面由于各点曲率半径都不相同给加工带了很大困难,同时它的检测也不能用传统的球面检测方法,需要专门的辅助设备,这必然都带来加工周期、成本的增加。另外,校正镜组的引入削弱了反射式系统对成像波长无选择性的优势,降低了系统适用场合。
(2)数字处理提高图像的清晰度主要包括提高信噪比和提高对比度,图像信噪比表征了成像系统噪声程度,目标对比度表征了成像系统的调制传递函数MTF影响。图像数字处理中,平滑滤波可以提高图像信噪比,锐化滤波可以提高对比度,然而提高信噪比和提高对比度相互制约、难以兼顾,图像平滑必然降低对比度,图像锐化引入卷积算法必然会使噪声放大或引入新的噪声。
(3)光学设计和数字处理设计相互独立、不成体系。光学设计不考虑数字处理的需求,数字处理也不考虑光学设计指标对算法的影响,这使光学器件约束导致的光学设计的缺陷,和处理算法约束导致的数字处理设计的缺陷,两者在最终的数字图像上只能是相加或者放大,而无法相互抵消。
总之,传统设计中,即便光学系统和数字处理算法都已经设计的“非常好”,但是,一个“最优”的光学系统和一个“最优”的数字处理算法的组合并非意味着一个“最优”的数字成像系统,这样的组合只能实现成像系统的局部最优而非全局最优。因此,需要对传统的设计方法进行改进,使光学系统设计和数字信号处理有机结合,为简化光学系统提供一种解决途径。
发明内容
本发明技术解决问题:克服现有技术的不足,提供一种反射式数字成像系统设计方法,通过数字图像处理算法校正光学像差,从而放宽对光学系统的严格要求,降低反射式数字成像系统的复杂度。
本发明技术解决方案:一种反射式数字成像系统的设计方法,其特征在于实现步骤如下:
(1)分析像差对成像清晰度损失的影响
在反射式光学系统由于光学设计、光学材料、光学加工装调等限制引起的光学像差有:离焦、畸变、像散、慧差、场曲、球差。根据波像差理论和泽尼克多项式,能够得到当光学系统仅含有一种单色像差时的点扩散函数,对离焦、畸变、像散、慧差、球差、场曲的点扩散函数分别做傅里叶变换再取模值即可得到每种像差的调制传递函数,而调制传递函数能够更直观的表示出各个单色像差对成像清晰度的影响,如图2所示,表示当光学系统仅含有一种单色像差时的调制传递函数曲线,且每种像差引起的波相差值均相等。
从图2中也可以看出不同像差对成像清晰度的影响也是不同的,根据图像恢复的理论可知,如果图像的调制传递函数下降过于快速,或者过零点频率较低,或者零点较多都会给图像复原带来更大的难度,特别是在过零点图像的信息基本完全损失,难以恢复。因此对于不同的像差,用数字处理来补偿的难度是不一样的,由简到难为:
畸变<慧差<像散≤场曲<离焦≤球差
在设计光学系统时,就可以根据研发成本和应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像差留给数字处理系统来补偿,利用数字处理系统分担了光学系统的部分压力,从而放宽了对光学系统的严格要求,例如,光学系统就不再需要加入校正镜组来修正因为视场扩大带来的像散修正问题,或者主镜和次镜的不再需要引入非球面来增加结构变量达到优化其余各单色像差,这会大大降低光学系统的复杂度,可以用低成本的光学系统实现高质量的数字图像。
(2)建立成像目标的先验模型
成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,主要包括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息。
(21)物理先验信息:由目标发出的光线中的所有光子都被探测器所接收,也就是说,像差引起的点扩散函数的矩阵所有行相加为1,即目标光线强度在像平面上的投影能量上是无损失的,数学上可以表示为Hjn×1=jm×1,其中H表示像差点扩散函数在探测器上的投影矩阵,j为一个所有元素和为1的矩阵;
(22)噪声先验信息:噪声是一个随机过程,噪声灰度值是一个随机向量,按照其统计特性可分为:高斯噪声、Gamma噪声、泊松噪声、瑞利噪声。在空间域,噪声灰度值是随机跳变的;在频率域,噪声信息在高频段,具体可以参考现有技术得以理解,在此不做赘述。(Rafael C.Gonzalez and Richard E.Woods.Digital image Processing.3rdEdition.Prentice Hall PTR,2007.);
(23)纹理先验信息:纹理是引起人类视觉系统感知理解的最重要因素,是由许多周期性的相互接近、相互编织的模式和灰度(颜色)在空间以一定形式变化而产生的图案。纹理是自然图像的固有特征,它往往反映了目标内部的精细结构以及具有不规则性和相似性的振荡行为。纹理保持模型主要有Mumford-Shah模型、全变分模型等。具体可以参考现有技术得以理解,在此不做赘述。(D.Mumford and J.Shah.Optimal approximations bypiecewise smooth functions and associated variational problems.Comm.PureAppl.Math.,42:577-685,1989.);
(24)成像过程先验信息:目标在光学系统中的成像结果可以认为是一个与像差有关的随机统计量,即光学系统成像结果可以表示成条件概率:P{T9=Y|T0=t0,T1=t1,...,T8=t8},其中,T0—T6表示离焦、畸变、像散、慧差、场曲、球差、色差等光学像差,T7表示为探测器造成的清晰度下降,T8表示为噪声引起的清晰度下降,下标0-9表示了清晰度状态的转移,如果光学像差、探测器、噪声是相互独立的,则光学系统的成像结果可以用Markov随机场来表示。具体可以参考现有技术得以理解,在此不做赘述。(Anand Rangarajan and RamaChellappa.Markov random field models in image processing.MIT Press.564-567,1995.);
(25)以上(21)—(24)构成成像目标的先验信息模型,用以对光学成像系统设计和数字处理系统设计提供先验约束,成像目标先验模型设计参数集合可以表示为ΩTarget。
(3)建立光学成像系统模型
光学成像系统模型包括光学子系统模型和探测器子系统模型。
(31)根据图2可知用数字处理的方法补偿光学像差的难度由小到大排序为:
畸变<慧差<像散≤场曲<离焦≤球差
因此可以需根据研发周期和设计成本等因素来选择通过光学设计校正哪些不易于数字补偿的像差;
(32)目标场景x经光学系统调制的结果yoptic可以表示成空间变化的卷积积分:
yoptic=∫x(t-τ)hoptic(t,τ)dτ (21)
其中,t表示图像的空间位置,τ为卷积松弛变量,hoptic表示由像差引起的光学系统点扩散函数;
(33)hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,可就是说光学系统的像差可以表示为真实波前和理想波前的光程差:
hoptic(t,τ)=|∫A(p)expj[OPD(p,t)+2πτp]dp|2 (22)
其中,p表示光学系统出瞳平面的二维坐标,A(p)表示出瞳的幅值,光学子系统的优化就是改变光学参数使光学子系统出瞳OPD函数平方均值最小。这些参数包括入射光波段范围、光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔等,用ΩOptic来表示这些设计参数组成的集合;
(34)探测器子系统相当于对光学子系统的调制结果进行采样的一个带通滤波器,通常探测器由矩形像元构成,其传递函数可以表示为:
其中,ωs为探测器采样频率;为探测器方形像元的相对宽度,与填充因子有关,当填充因子为100%时,填充因子小于100%时,探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子效率等,用ΩSensor来表示这些设计参数组成的集合;
(35)将光学子系统的传递函数和探测器子系统的传递函数联合起来,结合目标场景的先验信息,建立光学成像系统传递函数模型:
利用成像目标先验信息获得的系统噪声N(ΩTarget)即可建立光学成像系统成像模型:
Y=H(ΩOptic,ΩSensor|ΩTarget)X+N(ΩTarget) (25)
(4)建立数字处理系统模型
数字处理系统由平滑滤波器和锐化滤波器构成,用于补偿光学成像系统的遗留像差。
(41)平滑滤波器用于降低图像的噪声,一般来讲,对大小为M1×M2的图像f(x,y)经过一个大小为m1×m2的掩模进行平滑滤波后得到的图像为:
平滑滤波器的基本构成都由上式发展而来,在具体实现方法上有所不同,可以是线性也可以是非线性的,可以在空域对图像进行操作也可以在频域对图像进行操作。如中值滤波器、阿尔法均值滤波器等;
(42)锐化滤波器用于提高图像的对比度,通常来讲,锐化滤波均与图像的梯度有关,对于图像f来说,其梯度可以定义为一阶微分:
也可以定义为二阶微分:
上式中,Gx、Gy分别表示图像在水平方向x的梯度和竖直方向y的梯度,f(x,y)表示在坐标(x,y)处的灰度值;
现代的锐化滤波器基本都由图像梯度发展而来,在具体实现方法上有所不同,可以是线性也可以是非线性的,可以在空域对图像进行操作也可以在频域对图像进行操作,如高频提升滤波器、高斯型高通滤波器等;
(43)在数字图像处理中平滑滤波和锐化滤波是相互矛盾的,平滑滤波必然会造成图像的对比度损失,锐化滤波必然会造成图像的信噪比损失,因此,数字处理设计时必须同时考虑这两种损失,以使像差修正效果达到最优,例如逆滤波器、维纳滤波器等;
(44)用ΩDigital来表示平滑滤波器和锐化滤波器参数组成的集合,用表示补偿像差后的数字图像,用W(ΩDigital|ΩTarget)表示结合目标先验信息的数字处理系统调制传递函数,则数字处理系统调制模型为:
(5)建立系统综合设计指标模型
系统综合设计指标模型是联接光学成像子系统和数字处理子系统的桥梁,通过系统综合设计指标使这两部分设计内容能够相互联系,把光学系统和数字处理作为整体进行设计和优化,实现数字成像系统的系统级最优。
(51)使用理想成像结果与像差数字补偿后的图像差的均方值最小作为系统综合设计设计的性能指标,即:
J=min E(eTe)=min E[Tr(eeT)] (30)
其中,符号“E”表示数学期望,符号“Tr”表示矩阵的迹;
(52)根据光学成像系统成像模型和数字处理系统调制模型,有:
将(31)式代入(30)式,有:
(53)一般来讲,可以假设噪声均值为0,且噪声与成像结果不相关,则:
E(XNT)=E(NXT)=0 (33)
则(32)式变为:
上式中,XXT和NNT分别为成像场景与噪声的自相关函数,令RX=XXT,RN=NNT,则:
J=min Tr(RX-2WHRX+WHRXHTWT+WRNW) (35)
上式中既包含了光学成像系统模型H,也包含了数字处理系统模型W;并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平滑的平衡;
(54)根据维纳滤波理论,有:
W=RXHT(HRXHT+RN)-1 (36)
根据步骤(2)中物理先验信息,H定义为Hjn×1=jm×1,其中j为一个所有元素和为1的矩阵。再引入拉格朗日乘子ξ,则(35)式变为:
J=minTr(RX-2WHRX+WHRXHTWT+WRNW)+ξ(Hjn×1-jm×1) (37)
上式对H求导有:
可得:
再根据Hjn×1=jm×1,令有:
将(40)式子代入(39)式,有:
根据步骤(3)可知,光学成像系统传递函数H由光学子系统传递函数hoptic和探测器子系统传递函数hsensor组成,而hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,探测器参数ΩSensor也是已知的,因此,可以获得光学成像系统传递函数初值H1,应用(36)式可获得H1对应的数字处理系统传递函数W1,再将W1代入(41)式可获得迭代一次以后的光学成像系统传递函数H2,再重复上述迭代步骤,直至系统满足(35)式的约束条件,假设共迭代了k次,得到全局最优的光学成像系统传递函数Hk和数字处理系统传递函数Wk,再根据(43)式得到数字处理校正像差后的图像。
本发明原理:反射式数字成像系统主要由反射式光学成像系统和数字处理系统组成,为了描述光学系统设计与数字处理系统设计之间的联系,首先要分析各个光学像差对成像清晰度的影响。在反射式光学系统由主镜、次镜、校正镜组构成,由于光学设计、光学材料、光学加工装调等限制引起的光学像差有:离焦、畸变、像散、慧差、场曲、球差。根据波像差理论和泽尼克多项式,能够得到当光学系统仅含有一种单色像差时的点扩散函数,对离焦、畸变、像散、慧差、球差、场曲的点扩散函数做傅里叶变换再取模值即可得到每种像差的调制传递函数,而调制传递函数能够更直观的表示出各个单色像差对成像清晰度的影响。
如图2所示,表示当光学系统仅含有一种单色像差时的调制传递函数曲线,且每种像差引起的波相差值均相等。从图中也可以看出不同像差对成像清晰度的影响也是不同的,有的像差的调制传递函数下降较快速,有的像差的调制传递函数下降较缓慢,有的像差调制传递函数过零点较多,有的像差的调制传递函数过零点较少,这些特性都与图像清晰度的损失密切相关。根据图像恢复的理论可知,如果图像的调制传递函数下降过于快速,或者过零点频率较低,或者零点较多都会给图像复原带来更大的难度,特别是在过零点图像的信息基本完全损失,难以恢复。再结合图2可知,对于不同的像差,用数字处理来补偿的难度是不一样的,例如,畸变的调制传递函数下降最缓慢且过零点频率最高,因此其对清晰度的影响是最小的;而相比于球差来说,慧差由于其调制传递函数过零点相对较少且第一个过零点频率较高,因此,利用数字处理的方式修正慧差比修正球差更容易,慧差修正后的结果也较球差修正后的结果较好。
用数字处理补偿光学像差的由简到难为:畸变<慧差<像散≤场曲<离焦≤球差,在设计光学系统时,就可以根据研发成本和应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像差留给数字处理系统来补偿,这就是本发明设计的核心思想。在传统设计中,仅是在成本和需求的约束下,对所有像差一起做平衡来满足设计要求,并没有考虑数字处理对像差的补偿作用,而在本发明中,利用数字处理系统分担了光学系统的部分压力,从而放宽了对光学系统的严格要求,例如,光学系统就不再需要加入校正镜组来修正因为视场扩大带来的像散修正问题,或者主镜和次镜的不再需要引入非球面来增加结构变量达到优化其余各单色像差,这会大大降低光学系统的复杂度,可以用低成本的光学系统实现高质量的数字图像。
本发明与现有技术相比的优点在于:在本发明中,反射式数字成像系统的成像质量由光学成像系统和数字处理系统一起决定,光学成像系统仅作为成像系统的一个中间环节,并非传统设计中成像质量的决定环节,这样就放宽了对光学系统像差修正的严格要求,,把光学系统和数字处理作为整体进行设计和优化,实现数字成像系统的系统级最优,从而充分体现了“数字成像”的特点。
附图说明
图1为反射式光学成像系统结构示意图;
图2为不同像差的调制传递函数;
图3为简化后的反射式光学成像系统结构示意图;
图4为本发明原理框图;
图5为本发明光学系统模型与数字处理模型迭代示意图。
具体实施方式
本发明的技术关键点在于:通过分析利用数字处理补偿离焦、畸变、像散、慧差、场曲、球差、场曲引起的成像清晰度损失的难易程度,把不易于用数字处理补偿的像差留给光学设计校正,把易于用数字处理补偿的像差用图像处理算法校正,并通过对成像目标先验信息、光学成像系统、数字处理系统、系统综合设计指标的建模实现反射数字成像系统的设计,放宽了对光学系统的严格限制,降低光学系统的复杂度,同时又实现了光学设计和数字处理的全局最优。
如图4所示,本发明具体实现为:
(1)像差选定
如图2所示,用数字处理来校正光学像差的难度由简到难为:
畸变<慧差<像散≤场曲<离焦≤球差
在设计光学系统时,就可以根据研发成本和应用需求,通过光学设计着重校正那些不易于数字修正的像差,而把易于数字修正的像差留给数字处理系统来补偿,利用数字处理系统分担了光学系统的部分压力,从而放宽了对光学系统的严格要求,例如,光学系统就不再需要加入校正镜组来修正因为视场扩大带来的像散修正问题,或者主镜和次镜的不再需要引入非球面来增加结构变量达到优化其余各单色像差,这会大大降低光学系统的复杂度,可以用低成本的光学系统实现高质量的数字图像。
(1)建立成像目标的先验模型
成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,主要包括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息。物理先验信息根据物理理论获得,如目标的功率谱密度函数;噪声先验信息根据噪声分布规律获得,高斯噪声、Gamma噪声等;纹理先验信息根据目标反应在数字图像中的自然景物的像素值变化规律获得,反映了目标特征纹理的保持;成像过程先验信息是把数字图像的产生看做为一个Markov随机场,把图像清晰度的降低看做为由像差、探测器采样、噪声引起的随机过程。先验模型可以综合以上四种先验信息也可以只由其中几种先验信息构成,需视具体应用和已知信息而定,用ΩTarget表示设计成像目标先验模型时的参数集合。
(2)建立光学成像系统模型
光学成像系统包括光学子系统和探测器子系统。光学子系统即反射式光学镜头,其在具体设计时首先根据研发成本和应用需求确定哪些像差着重使用光学元件校正,哪些像差留给数字处理进行校正,从而放宽了对光学元器件的苛刻限制(作为图1所示光学系统简化的例子,如图3所示,由于反射式光学系统通过主镜和次镜能够较好的校正球差,而通过严格的装配可以控制离焦像差在很小范围内,这就可以不用再加校正镜组校正其它像差,把慧差、像散、场曲保留一部分给数字处理系统补偿);再根据光线追迹理论,以最小空气间隔、最小边缘厚度、最小中心厚度、镜片可用材料等条件为约束,并引入光学系统出瞳光程差函数平方的均值最小(或者波像差最小)作为性能指标函数对光学镜头进行优化设计。在数学建模时,光学子系统空间域可以通过点扩散函数建模,频域可以将光学系统看作为一个低通滤波器,利用光学传递函数、调制传递函数进行建模。光学设计参数包括光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔等,用ΩOptic来表示这些设计参数组成的集合。
探测器子系统在空间域上可以建模为一个对光学子系统所收集信息的离散采样滤波器。探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子效率等,用ΩSensor来表示这些设计参数组成的集合。
光学子系统和探测器子系统模型建立后,再结合目标的先验信息,就可以建立光学成像模型,表示为H(ΩOptic,ΩSensor|ΩTarget),其具体意义为在先验信息ΩTarget下,探测器对像差点扩散函数的离散采样结果。
那么,假设目标场景为X(即理想无像差成像结果),光学成像系统的成像结果为Y,利用成像目标先验信息获得的系统噪声为N(ΩTarget),则根据经典的成像方程可得:
Y=H(ΩOptic,ΩSensor|ΩTarget)X+N(ΩTarget) (42)
(3)建立数字处理系统模型
数字处理系统用于补偿光学成像系统的遗留像差,数字处理系统的模型取决于采用何种算法提高图像的清晰度来补偿光学成像系统的缺陷,本发明中,图像清晰度的提升主要包括信噪比提升和对比度增强两个方面,信噪比提升需要对图像进行平滑滤波,对比度增强需要对图像进行锐化滤波。然而,在数字图像处理中平滑滤波和锐化滤波是相互矛盾的,平滑滤波必然会造成图像的对比度损失,锐化滤波必然会造成图像的信噪比损失,因此,数字处理设计时必须同时考虑这两种损失,以使像差修正效果达到最优。
数字处理系统的设计参数包括滤波器的设计方法(如滤波器是线性的还是非线性的),滤波器的功能(如实现对比度增强,还是实现信噪比提升),滤波器的具体形式(如维纳滤波、逆滤波等),用ΩDigital来表示这些参数组成的集合,用表示补偿像差后的数字图像,用W(ΩDigital|ΩTarget)表示结合目标先验信息的数字处理系统模型,则有:
(4)建立系统综合设计指标模型
如图5所示,系统综合设计指标模型是联接光学成像子系统和数字处理子系统的桥梁,通过系统综合设计指标使这两部分设计内容能够相互联系,把光学系统和数字处理作为整体进行设计和优化,实现数字成像系统的系统级最优。本发明中使用理想成像结果与像差数字补偿后的图像差的均方值最小作为数字成像系统综合设计的性能指标,即:
J=min E(eTe)=min E[Tr(eeT)] (44)
上式中,X与步骤(2)中X所表示意义一致,与步骤(3)中所表示意义一致,E表示数学期望,Tr表示矩阵的迹。将(42)式和(43)式代入(44)式,有:
J=min Tr(RX-2WHRX+WHRXHTWT+WRNW) (45)
上式中,W为步骤(3)中W(ΩDigital|ΩTarget)的简写,H为步骤(2)中H(ΩOptic|ΩTarget,ΩSensor)的简写,N为步骤(2)中N(ΩTarget)的简写。RX为目标自相关函数,RN为噪声自相关函数,这两个自相关函数都与先验信息有关。(45)式中既包含了光学成像系统模型H,也包含了数字处理系统模型W;并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平滑的平衡。再根据维纳滤波理论,有:
W=RXHT(HRXHT+RN)-1 (46)
根据步骤(2)中物理先验信息,H定义为Hjn×1=jm×1,其中j为一个所有元素和为1的矩阵。再引入拉格朗日乘子ξ,则(45)式变为:
J=minTr(RX-2WHRX+WHRXHTWT+WRNW)+ξ(Hjn×1-jm×1) (47)
上式对H求导有:
可得:
再根据Hjn×1=jm×1,令有:
将(50)式子代入(49)式,有:
根据步骤(3)可知,光学成像系统传递函数H由光学子系统传递函数hoptic和探测器子系统传递函数hsensor组成,而hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,探测器参数ΩSensor也是已知的,因此,可以获得光学成像系统传递函数初值H1,应用(46)式可获得H1对应的数字处理系统传递函数W1,再将W1代入(51)式可获得迭代一次以后的光学成像系统传递函数H2,再重复上述迭代步骤,直至系统满足(45)式的约束条件,假设共迭代了k次,得到全局最优的光学成像系统传递函数Hk和数字处理系统传递函数Wk,再根据(43)式得到数字处理校正像差后的图像。
提供以上实施例仅仅是为了描述本发明的目的,而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改,均应涵盖在本发明的范围之内。
Claims (2)
1.一种反射式数字成像系统的设计方法,其特征在于实现步骤如下:
(1)分析像差对成像清晰度损失的影响
反射式光学系统的光学像差有:离焦、畸变、像散、慧差、场曲、球差,对于不同的像差,用数字处理来校正的难度由简到难排序为:
畸变<慧差<像散≤场曲<离焦≤球差
(2)建立成像目标先验模型
成像目标先验模型包含光学设计和数字处理设计所需的成像目标先验信息,包括物理先验信息、噪声先验信息、纹理先验信息、成像过程先验信息;用光学设计和数字处理联合对光学像差进行修正属于数学的逆问题,成像目标先验信息为求解这个逆问题提供了约束条件,成像目标先验模型设计参数集合表示为ΩTarget;
(3)建立光学成像系统模型
光学成像系统包括光学子系统和探测器子系统,光学子系统为光学镜头,探测器子系统为CCD或COMS传感器;光学子系统设计首先要根据步骤(1)决定通过光学设计着重修正哪些像差,在像差确定后就能够建立光学子系统和探测器子系统的模型,如下:
目标场景x发出的光线经光学子系统后得到的结果yoptic表示成空间变化的卷积积分:
yoptic=∫x(t-τ)hoptic(t,τ)dτ (1)
其中,t表示图像的空间位置,τ为卷积松弛变量,hoptic表示由像差引起的光学系统点扩散函数,hoptic可以通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,即光学系统的像差表示为真实波前和理想波前的光程差:
hoptic(t,τ)=|∫A(p)expj[OPD(p,t)+2πτp]dp|2 (2)
其中,p表示光学系统出瞳平面的二维坐标,A(p)表示出瞳的幅值,光学子系统的优化就是改变光学参数使光学子系统出瞳(OPD)函数平方均值最小,OPD函数由光学像差决定,反射式光学镜头一般不考虑色差,因此,OPD函数由离焦、畸变、像散、慧差、场曲、球差决定,而像差由光学子系统的设计参数决定,这些参数包括光学镜片数量、镜片材质、镜片大小、镜片曲率半径、镜片间的空气间隔,用ΩOptic来表示这些设计参数组成的集合;
结合步骤(2)中的成像目标先验信息,根据成像过程先验信息约束光学像差造成的清晰度损失,从而约束光学子系统设计参数ΩOptic,在成像目标先验信息约束下的光学子系统传递函数表示为:
探测器子系统的作用是对光学子系统的光学信息进行数字化采集,其性能由探测器子系统传递函数决定:
其中,ωs为探测器采样频率;为探测器方形像元的相对宽度;探测器设计参数包括探测器的像元数量、像元大小、像元形状、填充因子、量子效率,用ΩSensor来表示这些设计参数组成的集合;
结合步骤(2)中的成像目标先验信息,根据噪声先验信息约束探测器暗电流噪声,从而约束探测器子系统设计参数ΩSensor,在成像目标先验信息约束下的探测器子系统传递函数表示为:
用H(ΩOptic,ΩSensor|ΩTarget)表示成像目标先验信息下的光学成像系统传递函数模型为:
利用成像目标先验信息中噪声先验信息获得的噪声模型N(ΩTarget)和光学成像系统传递函数模型即可建立光学成像系统模型:
Y=H(ΩOptic,ΩSensor|ΩTarget)X+N(ΩTarget) (7)
其中X表示无像差、无噪声的理想图像,Y表示光学成像系统的成像结果,即目标发出的光线经过光学子系统后在探测器子系统上采集到的数字图像;显然Y中通过H(ΩOptic,ΩSensor|ΩTarget)包含了对像差对图像清晰度的影响,通过N(ΩTarget)包含了噪声对清晰度的影响;
(4)建立数字处理系统模型
数字处理系统的目的是要降低步骤(3)中像差和噪声对图像清晰度的影响,数字处理系统由平滑滤波器和锐化滤波器构成,用于补偿光学成像系统的遗留像差;平滑滤波器用于降低噪声对图像的影响,锐化滤波器用于降低像差对图像的影响;数字图像处理中平滑滤波和锐化滤波是相互矛盾的,在数字处理系统设计时必须同时考虑这两种损失,以使像差修正效果达到最优,用ΩDigital来表示平滑滤波器和锐化滤波器设计参数组成的集合;
用W(ΩDigital)表示数字处理系统的传递函数,结合步骤(2)中的成像目标先验信息,如用纹理先验信息约束锐化滤波器的锐化程度,从而约束设计参数ΩDigital,结合成像目标先验信息的数字处理系统传递函数表示为W(ΩDigital|ΩTarget),用Y表示步骤(3)中光学成像系统的成像结果,用表示对Y补偿像差后的数字图像,则数字处理系统模型为:
(5)建立系统综合设计指标模型
系统综合设计指标模型是联接成像光学系统和数字处理系统的桥梁,通过系统综合设计指标使这两部分设计内容能够相互联系,把光学系统和数字处理作为整体进行设计和优化,实现数字成像系统的系统级最优;
(51)使用理想成像结果与像差数字补偿后的图像差的均方值最小作为数字成像系统综合设计的性能指标,即:
J=min E(eTe)=min E[Tr(eeT)] (9)
其中, 与步骤(4)中所表示意义一致,E表示数学期望,Tr表示矩阵的迹;
(52)根据步骤(3)光学成像系统模型和步骤(4)数字处理系统模型,有:
上式中,W为步骤(4)中W(ΩDigital|ΩTarget)的简写,H为步骤(3)中H(ΩOptic,ΩSensor|ΩTarget)的简写,N为步骤(3)中N(ΩTarget)的简写;
将(10)式代入(9)式,有:
(53)假设噪声均值为0,且噪声与成像结果不相关,则:
E(XNT)=E(NXT)=0 (12)
则(11)式变为:
上式中,XXT和NNT分别为成像场景与噪声的自相关函数,令RX=XXT,RN=NNT,则:
J=min Tr(RX-2WHRX+WHRXHTWT+WRNW) (14)
上式中既包含了光学成像系统传递函数模型H,也包含了数字处理系统传递函数模型W;并且右端包含RX的三项与对比度增强有关,包含RN的项与噪声放大有关,这样就实现了锐化和平滑的平衡;
(54)根据维纳滤波理论,有:
W=RXHT(HRXHT+RN)-1 (15)
根据步骤(2)中物理先验信息,H定义为Hjn×1=jm×1,其中j为一个所有元素和为1的矩阵;再引入拉格朗日乘子ξ,则(14)式变为:
J=minTr(RX-2WHRX+WHRXHTWT+WRNW)+ξ(Hjn×1-jm×1) (16)
上式对H求导有:
得:
再根据Hjn×1=jm×1,令有:
将(19)式子代入(18)式,有:
根据步骤(3),光学成像系统传递函数H由光学子系统传递函数hoptic和探测器子系统传递函数hsensor组成,而hoptic能够通过光线追迹方法测量光程差函数OPD(p,t)波前分布获得,探测器参数ΩSensor也是已知的,因此,能够获得光学成像系统传递函数初值H1,应用(15)式可获得H1对应的数字处理系统传递函数W1,再将W1代入(20)式获得迭代一次以后的光学成像系统传递函数H2,再重复上述迭代步骤,直至系统满足(14)式的约束条件,假设共迭代了k次,得到全局最优的光学成像系统传递函数Hk和数字处理系统传递函数Wk,再根据(43)式得到数字处理校正像差后的图像。
2.根据要求1所述的一种反射式数字成像系统的设计方法,其特征在于:所述步骤(3)中与填充因子有关,当填充因子为100%时,填充因子小于100%时,
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410814461.2A CN104483752B (zh) | 2014-12-23 | 2014-12-23 | 一种反射式数字成像系统的设计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410814461.2A CN104483752B (zh) | 2014-12-23 | 2014-12-23 | 一种反射式数字成像系统的设计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104483752A CN104483752A (zh) | 2015-04-01 |
CN104483752B true CN104483752B (zh) | 2017-02-22 |
Family
ID=52758315
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410814461.2A Active CN104483752B (zh) | 2014-12-23 | 2014-12-23 | 一种反射式数字成像系统的设计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104483752B (zh) |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CA3109670A1 (en) * | 2015-04-22 | 2016-10-27 | Esight Corp. | Methods and devices for optical aberration correction |
CN108734681A (zh) * | 2018-05-31 | 2018-11-02 | 天津煋鸟科技有限公司 | 一种基于嵌入式的片上径向失真校正方法 |
CN109239914B (zh) * | 2018-09-12 | 2020-05-01 | 南京大学 | 一种实现高空间带宽积的成像方法 |
CN109884056B (zh) * | 2019-03-04 | 2021-10-08 | 哈尔滨工业大学 | 一种基于优化结构探测函数的显微成像方法 |
CN110458901A (zh) * | 2019-06-26 | 2019-11-15 | 西安电子科技大学 | 一种基于计算成像的光电成像系统的全局性优化设计方法 |
CN110794577B (zh) * | 2019-11-11 | 2022-08-23 | 中国科学院光电技术研究所 | 一种结合自适应光学和图像处理的高分辨力成像系统控制方法 |
CN111507049B (zh) * | 2020-06-01 | 2024-01-30 | 中国计量大学 | 一种镜头像差仿真及优化方法 |
CN115933180B (zh) * | 2023-01-10 | 2023-07-04 | 哈尔滨工业大学 | 一种光学注意力机制超简镜头设计方法 |
CN116087983B (zh) * | 2023-04-07 | 2023-07-11 | 清华大学 | 一种针对极少量探测点的非视域成像方法及装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102721477A (zh) * | 2012-06-04 | 2012-10-10 | 中国科学院光电技术研究所 | 一种用于相位差波前传感器的离焦量测量方法 |
CN103399315A (zh) * | 2013-07-13 | 2013-11-20 | 西安电子科技大学 | 实孔径相控阵雷达高分辨探测成像方法 |
CN103701515A (zh) * | 2013-12-11 | 2014-04-02 | 北京遥测技术研究所 | 一种数字多波束形成方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8965118B2 (en) * | 2010-02-08 | 2015-02-24 | Thomson Licensing | Reducing chromatic aberration |
-
2014
- 2014-12-23 CN CN201410814461.2A patent/CN104483752B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102721477A (zh) * | 2012-06-04 | 2012-10-10 | 中国科学院光电技术研究所 | 一种用于相位差波前传感器的离焦量测量方法 |
CN103399315A (zh) * | 2013-07-13 | 2013-11-20 | 西安电子科技大学 | 实孔径相控阵雷达高分辨探测成像方法 |
CN103701515A (zh) * | 2013-12-11 | 2014-04-02 | 北京遥测技术研究所 | 一种数字多波束形成方法 |
Also Published As
Publication number | Publication date |
---|---|
CN104483752A (zh) | 2015-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104483752B (zh) | 一种反射式数字成像系统的设计方法 | |
US11721002B2 (en) | Imaging system and method for imaging objects with reduced image blur | |
Nikonorov et al. | Toward ultralightweight remote sensing with harmonic lenses and convolutional neural networks | |
CN103201765B (zh) | 用于从所观察到的数字图像序列恢复数字图像的方法与设备 | |
CN103314571B (zh) | 摄像装置和摄像系统 | |
CN104091312B (zh) | 一种根据图像频谱信息提取模糊核先验的单透镜成像方法 | |
JP2008310828A (ja) | 電気光学画像システムのエンドツーエンド設計 | |
WO2022205627A1 (zh) | 一种端到端成像设备设计方法和装置 | |
CN112837232A (zh) | 一种水下图像增强及细节恢复的方法 | |
Shi et al. | Rapid all-in-focus imaging via physical neural network optical encoding | |
Liaudat et al. | Rethinking data-driven point spread function modeling with a differentiable optical model | |
CN104570344B (zh) | 一种数字成像系统的光学和数字联合设计方法 | |
CN105278100B (zh) | 一种透射式数字成像系统设计方法 | |
Sun et al. | Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction | |
Engler et al. | Wavefront sensing with prisms for astronomical imaging with adaptive optics | |
Dun et al. | Joint-designed achromatic diffractive optics for full-spectrum computational imaging | |
Zhou et al. | Revealing the preference for correcting separated aberrations in joint optic-image design | |
Lucat et al. | Diffraction effects detection for HDR image-based measurements | |
Jallod | Simulations of Four Types of Optical Aberrations using Zernik Polynomials | |
Portilla et al. | Comparing optical to digital metrics: What is the optimal defocus in a rotationally symmetric system? | |
RU2785988C1 (ru) | Система формирования изображений и способ обработки изображений | |
Zhang et al. | Noise removal in Shack-hartamnn wavefront sensor based on nonconvex weighted adaptively regularization | |
Wang et al. | Simplified Design Method for Imaging Systems Based on Optical-Digital Joint Optimization | |
Wang et al. | Simplified design method for optical imaging systems based on aberration characteristics of optical-digital joint optimization | |
Liu et al. | Prior Guided Multi-Scale Dynamic Deblurring Network for Diffraction Image Restoration in Droplet Measurement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |