CN102422200A - 以减小的像模糊对物进行成像的成像系统和方法 - Google Patents

以减小的像模糊对物进行成像的成像系统和方法 Download PDF

Info

Publication number
CN102422200A
CN102422200A CN2010800205393A CN201080020539A CN102422200A CN 102422200 A CN102422200 A CN 102422200A CN 2010800205393 A CN2010800205393 A CN 2010800205393A CN 201080020539 A CN201080020539 A CN 201080020539A CN 102422200 A CN102422200 A CN 102422200A
Authority
CN
China
Prior art keywords
matrix
picture
imaging device
lens
pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2010800205393A
Other languages
English (en)
Other versions
CN102422200B (zh
Inventor
I·科拉普
D·门得洛维奇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ramot at Tel Aviv University Ltd
Original Assignee
Ramot at Tel Aviv University Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ramot at Tel Aviv University Ltd filed Critical Ramot at Tel Aviv University Ltd
Publication of CN102422200A publication Critical patent/CN102422200A/zh
Application granted granted Critical
Publication of CN102422200B publication Critical patent/CN102422200B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/001Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/06Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the phase of light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0025Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration
    • G02B27/0037Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 for optical correction, e.g. distorsion, aberration with diffracting elements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/4266Diffraction theory; Mathematical models
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/42Diffraction optics, i.e. systems including a diffractive element being designed for providing a diffractive effect
    • G02B27/46Systems using spatial filters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/951Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Computing Systems (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

一种用于成像系统中的能够改善像质量的成像装置。该成像装置具有限定了成像装置的有效孔径的一个或者更多个光学系统。该成像装置包括透镜系统和相位编码器实体,透镜系统具有限定了第一条件数的对角形式的代数表示矩阵,而相位编码器实体被设置为实现比透镜系统的第一条件数更小的成像装置的代数表示矩阵的第二条件数。

Description

以减小的像模糊对物进行成像的成像系统和方法
技术领域
本发明总体上涉及成像技术,具体地涉及一种旨在通过对光进行相位编码来提高像质量的成像装置和利用该成像装置的系统。
参考文献
以下文献用于帮助理解本发明的背景:
1.T.P.Costello and W.B.Mikhael,″Efficient restoration of space variant blurs fromphysical optics by sectioning with modified wiener filtering″,Digital and image processing,13,1-22,(2003).
2.H.C.Andrews and C.L.Paterson,″Singular value Decomposition and digital imageprocessing″,IEEE.Trans,on ASSP.24,1,26-53,(1976).
3.J.W.Goodman,Introduction to Fourier Optics(Mcgraw-Hill 1968).
4.M.Bertero and P.Boccacci,″Introduction to inverse problems in imaging″,No.86,252,IOP,(1998).
5.R.W.Gerschberg and W.O.Saxton,A practical algorithm for the determination ofphase from image diffraction plane picture,optic,237-246,V35,N2,(1972).
6.R.Gonsalves,Phase retrieval and diversity in adaptive optics,Opt Eng,V21 829-832(1982).
7.R.A.Gonsalves,et-al,Joint estimation of object and aberrations by using phasediversity J.Opt.Soc.Am.A,1072-1085,V9(1992).
8.RA.Gonsalves,Nonisoplanatic imaging by phase diversity,Opt Lett.V1 9,493-495,(1994).
9.M.G.Lofdahl,Multiframe deconvolution with space variant point spread functionby use of inverse filtering and fast Fourier transform,V26 4686-4693,App Opt,(2007).
10.R.G.Paxman,J.H.Seldin,′Phase-Diversity Data set and Processing Strategies,ASPConf,V1 83,(1999).
背景技术
用提高像质量来表示的像增强是构建光学系统中的永恒要求。可以用一个或者更多个特征参数来代表像质量,诸如焦深、畸变、涉及像差的模糊、SNR或者分辨率,而像改善可能是改善这些参数中的一个或者更多个的结果。由此,例如,可以为了减少像差而将各种光学部件包括在光学系统中。可以使用各种类型的透镜涂层或者其它光学校正器(例如透镜)来减少成像透镜单元造成的色差和/或球面像差(彗差或者其它模糊源)。
最近几年,像处理技术也变为用于增强像的常用工具,并且通过对从给定光学系统获得的像进行适当的像后处理,可实际实现这些像的显著改善。计算机处理器的小型化以及随后的这些处理器在诸如数字和视频相机、蜂窝电话相机等的商业实体中的广泛使用,加快了在这些装置中并入计算机像增强装置。
已知使用光学系统内的孔径编码(例如,相位编码)和/或适当的像处理来提高像质量。例如,US 6,842,297公开了一种波前编码光学装置,其向来自要成像的物的光的波前应用相位曲线,保留它们对涉及聚焦的像差的不灵敏性,同时增加得到的调制传递函数(MTF)的高度并且减少最终像中的噪声。US 2008/0131018描述了一种像重构技术,利用应用于相位编码的像数据的算法来获得去除了相位扰动效果的像。该技术包括估计所获得的像的离焦程度,调整重构算法以将所估计的离焦程度考虑在内,以及应用调整的重构算法来获得恢复像。
发明内容
本领域存在帮助对物成像以获得改善的像质量的需求,例如信噪比(SNR)、分辨率等,例如没有或者至少明显减少模糊和/或离焦效果。本发明提供了一种能够改善像质量的新颖的成像装备和成像系统。
本发明涉及发明人的以下理解:涉及离焦的模糊通常是空间不变的,即,与离焦效果相关联的模糊在整个物平面上大致类似。这意味着成像点的污点(smear)对于像平面上的不同点将是类似的。然而,大量的重要模糊源是空间变化的。换句话说,与不同场点的像相关联的模糊关于光学系统的光轴根据点的位置而不同。这些空间变化模糊源可以例如是彗差、像散、场曲、畸变等。由于模糊源的不同本质,在空间不变模糊的情况下可以应用的像增强的方法可能对于空间变化模糊的情况不适合。例如,在空间变化模糊的情况下,不能使用沿用已久的傅里叶反卷积的方法,从而需要其它像处理方法。对于光学系统像差是类似彗差的情况,可通常使用基于梅林变换和一维傅里叶变换的逆方法。在空间变化模糊的一般情况下,在边界条件连续性的限制下(以防止边缘效应),像可以被划分为伪空间不变区域的拼合体。如果拼合方法不适用,则应考虑其它方法。
本发明利用成像系统的代数表示,适用于空间变化像恢复。具有代数表示的成像光学装置可用点扩散函数(PSF)矩阵描述。因此,物平面中的物及其在像平面中的像可分别用列向量o和i表示,并且光学装置自身可用矩阵H表示,其列是针对每个场点的PSF。在该表示中,可通过将向量o和矩阵H相乘获得离散像i:
i=H·o                                                (1)
由此,可以通过将像向量i乘以光学装置矩阵的逆H-1获得物的无模糊重构:
irestored=H-1·i                                      (2)
然而,当应用于现有光学系统时通过上述像后处理技术的像增强面临限制。例如,光学系统产生或者收集并且添加到像的噪声可能妨碍矩阵求逆处理。另外,像增强涉及的数值处理,例如当采用矩阵求逆时,由于矩阵病态可能经常增加最终像中的噪声。
另选或者另外地,诸如奇异值分解(SVD)的数学工具可应用于像增强[2]。更具体地,当光学系统的表示矩阵H不可逆或者病态时,SVD允许通过裁掉与矩阵低奇异值相关联的矩阵部分来提供逼近逆矩阵。还可通过正则化或者最小二乘法执行求逆。然而,应强调的是全部上述方法对矩阵对矩阵条件敏感,如以下更详细描述的。
本发明利用实施光学系统的代数表示矩阵(其成像装备包括一个或者更多个透镜或者透镜区域)以改善矩阵条件,以及由此允许通过后处理获得更准确的像恢复。要在光学系统中实现的代数表示矩阵的效果目的在于使代数表示矩阵满秩(并且改善条件)并且因而可逆,以及另外或者另选地,较少受到后处理过程中的矩阵求逆的误差影响。
应理解的是一般地当光学系统(以及任何其它线性系统)的代数表示矩阵满秩时,矩阵通常具有对角形式,其中主对角线上的全部数字不同于零,并且矩阵可逆。当光学系统的代数表示矩阵秩亏时,矩阵的对角形式可以一般具有位于主对角线上的至少一个或者更多个零,并且矩阵因此不可逆。在每种情况下,即,用具有满秩或者秩亏代数表示矩阵的光学系统操作,本发明实施都代数表示矩阵以通过改善其条件来帮助其求逆。
由此,在其总体方面,本发明提供一种机械和/或光学的用于监视线性系统的操作的监视系统。该监视系统包括:主测量系统,利用代数表示矩阵H描述;辅助测量系统,用辅助系统矩阵O描述;以及控制单元。该主测量系统和该辅助测量系统配置和可操作用于从线性机械系统的n个位置进行有限序列的n个测量。该控制单元被配置和可操作用于根据预定分解变换矩阵处理指示辅助系统进行的测量的数据,以及将主系统测量的数据和所处理的辅助数据相加,由此获得对应于改善条件的平行测量系统的测量数据。
更具体地,例如考虑成像设备,根据本发明的一些实施方式,提供使用应用于透过光学系统(透镜系统)的光场的相位编码器。透镜系统具有限定第一条件数的对角化形式的特定的代数表示矩阵。相位编码器用于实现成像设备(透镜系统和相位编码器)的代数表示矩阵的第二条件数,其中第二条件数比第一条件数更小。
在一些实施方式中,相位编码器包括位于第一区域中的第一图案,其沿着透镜系统的光轴与成像设备的有效孔径的一部分对准,留下有效孔径的剩余部分没有第一图案。第一区域的几何结构和第一图案的配置被选择以限定被第一图案引起到透过其的光的预定第一相位校正函数以实施条件数的实现。相位编码器可以被配置以额外地对透过其的光的振幅编码(例如,编码器具有额外的振幅图案,即透射曲线)。第一区域的几何结构和第一图案的配置优选地被选择从而对应于相位编码器的第一相位校正函数满足关于被有效孔径的剩余部分(例如,被透镜)引起的相位校正函数的预定条件。优选地,预定条件是第一相位校正函数值沿着第一区域不小于被有效孔径的剩余部分引起的相位校正函数。
应理解的是根据本发明为了改善矩阵条件而被相位编码器引起的相位校正函数P(x,y)可以具有各种形状和对称性。还应理解的是相位校正函数P(x,y)变化的区域(连续或者分步)对应于相位编码器的构图区域。
对于相位编码器的构图区域,应注意以下事项:在一些实施方式中,构图区域可以被限制到光学系统的有效孔径的边缘(周边)。在一些其它实施方式中,其可位于从有效孔径的边缘隔开,或者在其中心。在一些另外实施方式中,其可以具有完全旋转对称性围绕透镜区域或者被透镜区域包围,或者可仅具有离散旋转对称性。在再其它实施方式中,构图区域和对应的相位校正函数P(x,y)可具有反射对称性。类似地,根据本发明的再其它实施方式,相位校正函数P(x,y)可具有其它形状和对称性,用于实现上述矩阵条件的改善。
根据本发明的一些实施方式,提供使用“常规”光学系统(即,没有相位编码的光学系统)与对同一物(同时或者不同时)成像的具有不同光收集数值孔径的相同光学单元集成或者不集成。接着,对所捕获的像应用像处理。像处理利用复制和相对于对应于其它(第二)光接收数值孔径的其它像移位对应于第一光收集数值孔径的像,以及进一步处理因而获得的多个像数据。这些像被组合到对应于可通过具有改善条件的矩阵表示的光学系统获得的一个像。应理解的是,本发明可与单个光学系统相关联,作为主系统和辅助系统连续工作。
这就是所称的“多次曝光”(例如,“双重曝光”)技术。
在其任何方面,本发明允许使用光学系统具有大数值孔径(NA)的成像透镜。这种光学系统将在弱照明中工作但是承受由于大像差引起的空间变化模糊。例如,通过采用本发明,可改善具有0.35的高NA的成像透镜的光学系统的操作以具有使用0.29的NA的成像透镜的系统的像质量。
由此,根据本发明的一个广泛方面,提供一种具有有效孔径的成像设备(装置),包括:透镜系统,具有限定第一条件数的对角形式的代数表示矩阵,以及相位编码器实体,适用于实现比透镜系统的第一条件数更小的成像装置的代数表示矩阵的第二条件数。在一些实施方式中,相位编码器包括位于第一区域中的第一图案,其沿着透镜系统的光轴与该有效孔径的一部分对准,留下有效孔径的剩余部分没有该第一图案。该第一区域的几何结构和其中的该第一图案的配置被选择以限定被该第一图案引起到透过其的光上的预定的第一相位校正函数。
优选地,该第一区域的几何结构和该第一图案的配置被选择从而第一相位校正函数满足关于被该有效孔径的剩余部分引起的相位校正函数的预定条件。预定条件可以是第一相位校正函数值沿着第一区域不小于被该有效孔径的剩余部分引起的相位校正函数。
在一些实施方式中,该代数表示矩阵是点扩散函数(PSF)矩阵。代数表示矩阵的对角形式是奇异值分解(SVD)或者可以是傅里叶分解或者其它对角形式。具有该第一图案的第一区域可以围绕光轴排列。
具有所述第一图案的第一区域可以围绕所述光轴排布,例如,具有环状几何结构。
第一图案可以是沿着第一区域的连续图案,或者可以具有沿着该第一区域以间隔关系排列的多个构图片段的形式。第一图案的构图片段可以包括至少一个透镜片段,或者透镜片段的阵列。
第一相位校正函数可以关于光轴旋转对称;或者可以沿着第一区域变化保持大于或者小于有效孔径的剩余部分中的相位校正函数。
第一区域可以位于有效孔径的周边内,而剩余部分位于有效孔径的中心区域内。另选地,第一区域可以位于被该剩余部分围绕的有效孔径的中心区域内。
第一区域可以大致位于透镜系统的出瞳。第一区域可以沿着;轴位于透镜系统的上游或者下游。或者在透镜系统内在其主平面的上游或者下游。
相位编码器可以与透镜系统的透镜一体。第一图案可以具有折射率不同于透镜的材料的间隔区域的阵列形式。第一图案可以具有透镜系统的透镜的变化表面的轮廓的形式。
根据本发明的另一个广泛方面,提供一种成像系统,包括:以上描述的成像设备、检测单元、和控制系统。后者被配置和可操作用于通过对被检测单元检测的像的数据应用与具有空间变化像差的光学系统的代数表示矩阵相对应的预定PSF矩阵的逆矩阵来处理和分析指示被检测单元检测的像的数据。
根据本发明的另一个方面,提供一种成像系统,包括:——成像装置,包括:基础透镜系统和相位编码器以及限定有效孔径,基础透镜系统具有限定第一条件数的对角形式的代数表示矩阵,相位编码器被配置以实现成像装置的代数表示矩阵的第二条件数,相位编码器包括位于第一区域中的第一图案,其沿着透镜系统的光轴与有效孔径的一部分对准,留下有效孔径的剩余部分没有第一图案,第一区域的几何结构和其中第一图案的配置被选择以限定被第一图案引起到通过其的光的预定第一相位校正函数,成像装置的第二条件数由此小于透镜系统的第一条件数;
像检测单元;以及
控制系统,被配置和可操作用于处理和分析指示被检测单元检测的像的数据来以明显减小的像模糊恢复物的像。
本发明还提供一种成像系统,包括:
光学系统,包括:具有共用视场的第一透镜系统和第二透镜系统,其中第一透镜系统具有第一光轴和第一数值孔径;以及第二透镜系统具有平行并且从第一光轴隔开的第二光轴和小于第一数值孔径的第二数值孔径,
像检测单元,用于检测被第一透镜系统和第二透镜系统收集的光以及产生指示其的像数据;以及——控制系统,用于接收和处理像数据,处理包括复制和相对于对应于被第一透镜系统收集的光的第一像移位对应于被第二透镜系统收集的光的第二像,以及产生重构像数据。
本发明还提供一种像处理方法,包括:接收像数据,像数据包括第一数据部分和第二数据部分,第一数据部分对应于具有特定视场和光收集的数值孔径的关注区域的第一像,第二数据部分对应于对应于具有特定视场和光收集的数值孔径的关注区域的第二像;以及通过复制和相对于第一像移位第二像处理像数据以及产生重构像数据。对应于第一像和第二像的数值孔径可以相同或者不同。
在其其它方面,本发明提供一种用于减少光学系统中像模糊的方法,该方法包括:
获得光学系统的代数表示矩阵;
将代数表示矩阵对角化,由此获得第一对角矩阵S;
选择具有与第一对角矩阵S大致相同大小的第二对角矩阵ΔS,第二对角矩阵ΔS具有对角线上对应于第一对角矩阵S中的个位置的位置处上的n个数字,以及全部其它数字等于零;
对第一对角矩阵S和第二对角矩阵ΔS的矩阵和应用对角化的逆操作,由此获得第三矩阵O;
对透过光学系统的光应用校正函数,从而被校正函数影响的光学系统的代数表示矩阵逼近矩阵O。
附图说明
为了理解本发明并搞清楚如何在实践中实施本发明,现在仅通过非限制性示例,参照附图来描述一些实施方式,其中:
图1是适用于实现本发明的成像系统的示意例示图;
图2A和图2B分别示出包括成像透镜和相位编码器的本发明的成像装置的两个示例;
图3A示出成像装置的更具体的示例,其中相位编码器位于围绕透镜的装置轮环上;
图3B是示出成像透镜的PSF矩阵的奇异值分解的归一化奇异值的按照其值降序排列的曲线图;
图3C示出BMSD的点扩散函数的按照25个代表场点中的对应的场点排列的视觉表示;
图4A是比较本发明的成像系统和现有成像系统(没有相位编码器)这两个光学系统中的作为信噪比(SNR)的函数的均方误差改善参数(MSEIF)的曲线图;
图4B示出比较本发明的成像系统和现有成像系统(没有相位编码器)的性能的示例;
图5A示出本发明和现有成像系统的性能之间比较的其它示例;
图5B是对应于一个示例的比较本发明的成像系统和现有成像系统(没有相位编码器)中的作为信噪比(SNR)的函数的均方误差改善参数(MSEIF)的曲线图;
图6A示出用本发明和现有成像技术获得的示例像;
图6B是比较本发明的成像系统和现有成像系统(没有相位编码器)中的作为SNR的函数的MSEIF的对应的曲线图;
图7A是示出比较没有编码器但是有焦内配置的现有成像系统、具有出焦配置的相同系统、和本发明的用于校正现有系统的聚焦的系统这三个成像系统的PSF矩阵的奇异值分解的归一化特征值的示例的曲线图;
图7B是比较现有的出焦和实现本发明的改进版本的相同系统这两个光学系统中的作为SNR的MSEIF的曲线图;
图7C示出对应的上述两个系统的成像性能;
图8是本发明的用于通过引起相位校正对成像涉及的光进行相位编码的方法的流程图的示例;
图9A是举例说明作为相位编码函数的计算迭代的函数的系统条件数的进展的曲线图;
图9B和图9C举例说明对应于图9A的示例的相位编码器引起的相位校正函数;
图10A示出现有系统和使用图8-图9C例示的原理的本发明系统这两个系统的成像结果;
图10B是对应于图10A的比较两个光学系统中的作为SNR的函数的MSEIF的曲线图;
图11A和图11B示出包括透镜和相位编码器的成像装置的另一示例,其中相位编码器图案具有隔开的透镜的阵列;
图12是根据本发明的另一个方面的成像技术的示例的示意图;图13A比较用现有技术和图12的技术可获得的像;
图13B是比较物的理想像(物自身)和图13A的像这三个像的像素灰度级的曲线图;
图13C举例说明用于模拟的物整体;
图13D比较针对“研究案例”恢复“按照原样”(即,仅具有主透镜系统没有辅助透镜的成像装置)和利用简单辅助透镜的“轨迹”或者“移位透镜”技术中的作为主系统SNR的函数的恢复平均MESIF整体结果;
图13E举例说明本发明的原理如何可一般地在任何线性系统中使用,无论是否是光学系统;
图14示出像移位和6x6矩阵的轨迹矩阵之间的关系;
图15A和图15B示出针对3x2 FOV的6x6矩阵的基于“变换”的方案,其中图15A呈现像素受限情况(“完美”辅助透镜),并且图15B呈现用模糊辅助透镜的“模糊变换”,假设2x2内核(在右下部呈现);
图16示出恢复平均MSEIF整体结果,呈现以下系统中的平均MSEIF:具有“主透镜”而没有附加光学装置的系统;具有“轮环”平行光学设计的系统、具有使用“模糊轨迹”的平行光学装置的系统、全部利用正则化方法恢复;
图17举例说明对于以下:没有平行光学装置的研究案例像(SC-Img.)、辅助透镜像(Aux-Img.)、物(Obj.)、利用正则化的研究案例恢复(SC-Res.)、轮环恢复(RR-Res.)和模糊轨迹恢复(Traj-Res.)的通常像和利用正则化的恢复,全部在主SNR=45[dB]中;
图18例示用于模拟的主透镜设计,其中主透镜承受常规赛德尔像差和176μm离焦;
图19示出“主”系统奇异值曲线图和用于模拟的选定(目标)BMSD矩阵;
图20呈现针对“模糊轨迹”(Traj)、具有二次相位系数的“轮环”、和没有附加光学设计的“研究案例”(SC)这三个系统的正则化方法的主MSEIF结果的比较;
图21举例说明通常的“物”、“主”系统像、“辅助”系统像、“模糊轨迹”恢复、没有附加光学设计的“研究案例”恢复(按照原样)、和“轮环”恢复,全部在SNR=45[db]中;
图22示出从最后50个特征矩阵构成的系统目标BMSD;
图23例示均值滤波器的计算,在图中每4个PSF(x,y,j)在适当移位之后呈现;
图24示出图23的整体的均值(目标PSF)的应用;
图25示出应用改善图22--图24中的示例的条件数的针对轮环实现方式的相位曲线;
图26A示出针对成像装置的MSEIF曲线,其中主透镜系统配备和不配备均值PP轮环滤波器;以及
图26B示出针对具有和不具有在SNR=60[db]中的均值PP轮环滤波器的透镜利用矩阵求逆的像恢复。
具体实施方式
参照图1,示意地例示了适用于进行本发明的成像系统,总体用I标记。成像系统1包括:成像装备(装置)2,用于收集来自物平面3的光并且在像平面产生对应的像的成像装备(装置)2;检测单元4,位于像平面内用于收集来自成像装置2的光并且产生表示该光的像数据;以及控制单元6,用于处理像数据。
成像装置2包括:透镜系统10(一个或者更多个透镜),限定光传播的光轴OA;以及校正器单元20,对通过成像装置的光应用校正函数,其在本示例中由用于应用相位校正函数的相位编码器20构成,其配置将在下面描述。成像装置2被配置和可操作用于根据本发明减少透镜系统创建的像模糊。应理解的是,透镜可以是具有适用于成像的透镜效果的任何光学元件,例如,透镜式反射镜。
透镜系统和相位编码器被排列在一起以限定成像装置2的有效孔径EA。透镜系统10在下面有时被称为主系统或者主透镜或者主光学装置或者第一系统。主系统具有限定第一条件数的对角化形式的代数表示矩阵。与主透镜的各个部分一起考虑,相位编码器20在下面有时被称为辅助系统或者第二系统或者辅助透镜或者辅助。相位编码器20被配置以产生比主透镜矩阵的第一条件数更小的成像装置2的代数表示矩阵第二条件数。如以下更详细举例说明的,相位编码器20可以配置为限定位于第一区域中的第一图案的掩模,其(沿着透镜系统的光轴)与有效孔径的一部分对准,留下有效孔径的剩余部分免受第一图案的影响。第一区域的几何结构和其中的第一图案的配置是这样以限定被第一图案引起到透过其的光上的预定的第一相位校正函数。
控制单元6通常包括计算机系统,该计算机系统包括处理器单元、数据输入/输出单元、数据呈现单元(显示器)等。相位编码器20和控制单元6一起操作以产生高质量像。成像装置2配备有相位编码器20,使从物收集的光的波前适当地畸变(编码),对应于这种畸变像的数据接着被控制单元数字处理以恢复具有改善质量的无畸变像。
没有相位编码器的成像装置(即,成像透镜系统)的代数表示可用矩阵H表示,其列是以向量表示的针对每个场点的PSF。因此,该成像装置可以用由L×L个元素组成的矩阵H表示,其中L=m×n,针对表示像的m×n个像素。
一种将矩阵H对角化的方式是对其应用奇异值分解(SVD)。根据此方法,H的奇异值是H·Ht的特征值的平方根,其中Ht是H的所谓转置矩阵。根据此方法,Ht可以表示为[2]:
H=U·S·Vt                                          (3)
其中通过解以下特征值问题得到矩阵U和V:
H·Ht=U·Δ·Ut                                     (4)
Ht·H=V·Δ·Vt                                     (5)
UL×L=[u1,u2,...,uL]                             (6)
VL×L=[v1,v2,...,vL]                             (7)
(ui和vi分别是U和V的列向量)。接着可从矩阵Δ获得奇异值矩阵S,S=Δ1/2
应注意的是,除了SVD通常还有很多方法来对角化矩阵H。本发明可以结合表示矩阵H的任何对角化过程采用,其得到对角矩阵S,并且本发明的原理不限于此处描述的示例。
返回基于SVD的方案,Δ的特征值的正平方根是S中的特征值σi,并且也称为H中的奇异值。S的行的顺序是使得σi从高到低顺序排列。
Figure BDA0000107245410000121
矩阵H的品质因数中的一个是条件数k(H),由以下的(9)和(10)的比来定义:
k ( H ) = < &sigma; m > < &sigma; n > | &sigma; n &le; &sigma; m , &ForAll; m , n . - - - ( 9 )
在此,<>标记加权平均的任意阶的矩,<σm>是所选择的高奇异值的组的平均值,<σn>是所选择的低奇异值的组的平均值。条件数的一个示例由此是H的最高与最低奇异值的比:
k(H)=σ1L                                  (10)
应理解的是,当矩阵S是矩阵H的通常对角化过程(而不是SVD)的结果时,则σm和σn标记S的特征值的绝对值。
考虑基于SVD的方案,S的全部特征值是实数,并且小于或者等于1并且非负,因此k(S)总大于或者等于1。通常,条件数越高,矩阵的条件越低(或者越差),并且对于矩阵求逆,系统对附加噪声的免疫力越差。另外,如果例如H不可逆(即,其至少一个奇异值为0),则k是无穷大。在绝对无噪声系统中,像求逆总是可能的即使在非常病态(高条件数)的系统中;然而,噪声引入到病态系统中将损坏像求逆恢复结果。由此,改善矩阵条件改善系统对噪声的免疫力并且允许在存在噪声时进行像恢复。在矩阵旋转中进行像求逆提供像中的模糊减少。因此,改善矩阵条件可以是实际光学系统中利用像重构改善像质量的有效指示。
返回图1,本发明的成像装置2呈现“改善的”装置,包括透镜系统和相位编码器,其通过使整个成像装置的条件数小于透镜系统的条件数来改善整个成像装置的条件(相比于仅透镜系统而没有相位编码器的条件)。根据一些示例,相位编码器可以被配置以增加透镜系统的表示矩阵H的最小奇异值,由此减小整个成像装置(由透镜系统和相位编码器限定)的矩阵的条件数。
如以上指示的,透镜系统可以包括单个透镜,或者一个或者更多个透镜和可能的一个或者更多个其它光学元件。应理解的是相位编码器由与透镜系统相关联的适当的一个或者更多个相位影响转换区域构成,以对成像装置引入预定的相位校正来改善对应的矩阵的条件。换句话说,相比于相位编码器之外的光,相位编码器可以影响入射到之上的光的相位,并且有可能还不同地影响透过相位编码器的不同区域的光部分的相位。结果,整个成像装置在透过其的光中创建特定相位曲线。
由此,例如,相位编码器可以是独立元件(例如,从透镜物理隔开的掩模),位于透镜系统的上游或者下游,或者位于透镜系统的元件之间(只要与透镜和相位编码器相关联的光部分空间隔开这就是可能的)。在另一个示例中,相位编码器可以被配置为附接到透镜系统的透镜的相位影响元件(例如,光学地粘接到透镜上的相位影响构图结构);或者可以是并入透镜内的相位修改元件(通常在透镜系统的一个或者更多个元件内)。例如,可以以表面浮凸(曲线)和/或不同折射率的材料的形式,用透镜表面上雕刻的特定相位图案形成成像透镜。但是相位编码元件的其它可能示例可以包括反射工作模式的反射镜结构、全息图相位编码元件等。
参照图2A和图2B,例示本发明的成像装置2的配置的两个具体但是非限定示例。为了帮助理解,使用相同的附图标记来标识对于本发明的全部示例共同的部件。在两个示例中,成像装置都包括具有孔径LA的成像透镜10(由透镜系统构成)和一起限定有效孔径EA的相位编码器20。另外,在两个示例中,编码器都相对于透镜10的光轴OA大致对称实现,尽管应理解的是本发明不限于此实现方式,如以下将更详细描述的。在具体示例中,相位编码器20占据成像装置的有效孔径EA的周边,而透镜10位于其中心区域。然而,应理解的是本发明不限于这种配置。
在图2A的示例中,相位编码器20围绕透镜10,形式为围绕透镜10的环状结构。总体而言,此配置举例说明了当相位编码器20沿着光轴OA不与透镜10交叠时的情况。相位编码器20包括折射率不同于透镜10的折射率的一个或者更多个材料。由此,成像装置2的有效孔径EA包括位于被编码器20占据的有效孔径的部分R2内的第一相位图案,以及没有第一图案(但是可以或者可以形成有第二相位图案)的有效孔径的剩余部分R1,其中透镜效果应用于光。
在图2B的示例中,相位编码器20也为环形元件的形式,但是与透镜10的周边区域内的一部分交叠。由此,在此示例中,成像装置2的有效孔径实际用透镜孔径表示(等于透镜孔径)。另外,在此示例中,相位编码器20用表面浮凸(曲线)实现,并且可以或者可以不由不同于透镜的材料制成。在此,类似于上述示例,相位编码器限定有效孔径的区域R2内的第一图案,留下有效孔径的剩余部分R1没有此图案(并且可能具有另一个第二图案)。
选择区域R2的几何结构和其中第一图案的配置从而第一相位校正函数满足相对于透镜区域R1(通常,有效孔径的剩余部分)引起的相位校正函数的预定条件。在一些示例中,该预定条件是使全部沿着与区域R2相对应的第一相位校正函数的值不小于与区域R1相对应的相位校正函数;以及在一些示例中,是使区域R2中的第一校正函数的值不超过与区域R1相对应的另一相位校正函数。
如以下将进一步描述的,承载第一图案的有效孔径的该部分的几何结构,以及第一图案自身的配置,限定了第一图案对透过其的光引起的相位校正函数。作为第二图案,可以在与应用透镜效果的有效孔径的剩余部分交叠的光路内设置,这种相位图案可以主要旨在实现另一个效果,例如延长焦深。在与透镜区域交叠的光路中使用相位掩模通常是已知的因此不需要详细描述。
以下是如何选择用于相位编码器的适当配置的示例,即,将在特定成像系统中使用的图案的几何结构(形状和尺寸)和特征。
可以设计相位编码器以并入透镜系统中来修改(通常,增加)透镜系统矩阵的H的所选择的奇异值的子组σj。为了说明的清楚和简化,σt在此标记矩阵H的奇异值的整个组,其中i取从1到L的全部数,L是H的大小。此外,σj标记该要修改的奇异值的子组,通常将被增加。另外,所选择的奇异值σj在矩阵S中的位置将简单标记为“位置j”,避免需要更复杂的正式数学记号。
因此可以产生大小为S的对角矩阵ΔS,在所选择的位置j(对应于要修改的H的奇异值的位置)具有正数。因此遵循S和ΔS的矩阵和可产生具有改善条件的可逆矩阵。换句话说,如果S1是该和,
S1=S+ΔS                                             (11)
则矩阵H1是:
H1=U·S1·Vt=U·(S+ΔS)·Vt=U·S·Vt+U·ΔS·Vt=H+U·ΔS·Vt=H+O  (12)
逼近由用矩阵H表示的透镜系统和由按照以下确定的附加部分表示的相位编码器形成的整个成像装置(透镜和编码器)的PSF矩阵,
O=U·ΔS ·Vt                    (13)
在各个实施方式中,两个系统H和O总体上不同,然而观察相同物和像被混合。因此,这些实施方式在此被称为平行光学装置。
应理解的是实际相位编码器(掩模)的构造可能除了针对O的算式(13)表示的还受到附加限制,如以下更详细描述的。因此实际相位编码器可能用逼近等于O(但是不一定等于其)的矩阵来代数表示。
本发明的用于设计相位编码器的方案利用选择得到像质量改善的针对相位编码器矩阵的期望逼近。因此应理解的是下文提到的相位编码器的矩阵的O矩阵还可以是其期望逼近。
用矩阵H和O表示的透镜系统和相位编码器两者都“看到”相同物并且瞄准系统的像平面。然而,透镜效果和相位编码效果应用于入射在有效孔径上的光的不同部分,由此呈现平行型光学处理。可通过将透镜区域划分为两个部分(或者总体上更多个)来考虑该效果。此划分可以例如通过划分延伸透镜为位于中心的“透镜区段”和位于此处称为“轮环区段”的透镜边缘区域(周边)中的“相位掩模”。衍射的线性本质允许这种分离,是将积分划分为两个区段。针对“透镜区段”的积分边界类似于内圆光瞳函数,而针对“轮环区段”的积分边界类似于环状光瞳函数。在模拟中,这些是具有针对不同相位的两个不同区段的连续光瞳函数。
应注意的是在此方案中有效孔径可按照需要被划分为很多区段(不同图案的部分)。这些区段可具有任意形状和透射值以适当地影响透过这些区段的光的相位(还有可能影响振幅)。
接着上述讨论,矩阵H和O产生针对每个场点的非相干脉冲响应,相干响应将是以下形式(例如参见[3]):
h ~ ( x img , y img ) = &Integral; &Integral; P ^ ( &lambda;S img x ~ , &lambda;S img y ~ ) &CenterDot; exp ( - j 2 &pi; ( x img x ~ , y img y ~ ) ) d x ~ d y ~ - - - ( 14 )
( x ~ = xp / &lambda; &CenterDot; S img , y ~ = yp / &lambda; &CenterDot; S img ) - - - ( 15 )
其中(ximg,yimg)是像点坐标,Simg是像距离。光瞳函数的显式是:
P ~ ( &lambda; S img x ~ , &lambda;S img , y ~ ) = P ( &lambda;S img x ~ , &lambda;S img y ~ ) &CenterDot; exp ( jKW ( &lambda;S img x ~ , &lambda;S img y ~ ) ) - - - ( 16 )
在此,P()是被局部透射率影响的振幅,KW()是被透镜像差和相位元件两者影响的相位(后者仅影响“轮环区段”)。系统脉冲响应是两个“光学装置”响应的叠加,于是它也是其放大率的函数,反映了交叉动作区域(A)和透明(T)。
h ~ tot ( x img , y img ) = h ~ lens ( x img , y img , A lens , T lens ) + h ~ rim - ring ( x img , y img , A rim - ring , T rim - ring ) - - - ( 17 )
然而,在常规摄影中,光学系统描述成像非相干照明中的成像。因此矩阵列是系统PSF。由此:
PSF ( x img , y img ) = | h ~ tot ( x img , y img ) | 2 =
= | h ~ lens | 2 + | h ~ rim - ring | 2 + h ~ * lens h ~ rim - ring + h ~ lens h ~ * rim - ring &ap;
&ap; | h ~ lens | 2 + | h ~ rim - ring | 2 - - - ( 18 )
在该情况下,存在“透镜”和“轮环”之间的叉积,并且因此它们的贡献在场响应中不完全平行。理论地,叉积损害平行假设。然而,问题的本质是“轮环”PSF和“透镜”PSF在FOV的不同区段中工作。由此,叉积的力量相对低,从而总体上平行假设是合理的。
由此,根据本发明的一些实施方式,可以根据以上定义的特征值σj和得到的ΔS来配置相位编码器,相位编码器引起期望的相位校正并且由此改善矩阵S的条件(减小条件数)。由于构建相位编码器的初始条件可如下设定:针对每个奇异值σi,存在由适当的列向量u和v的外积定义的特征矩阵Mi,如(6)和(7)中定义的:
M L &times; L i = u i &CenterDot; v i r - - - ( 19 )
由此,要求的相位编码器的PSF矩阵可由与奇异值σj相关联的特征矩阵(称为矩阵Mj)的线性组合组成,其中线性组合中的实际系数是新的、修改的奇异值。对应于奇异值σj的矩阵Mj(对应于期望的O)的直接和,如以下(20)定义的,在此称为二进制矩阵点列图(Binary Matrix Spot Diagram,BMSD):
BMSD = &Sigma; j M j - - - ( 20 )
BMSD由此用作构建相位编码器O的初始条件。
应注意的是由于相位编码器是物理实体,针对每个场点其代数表示必须仅包含实数PSF。此外,为了实际对矩阵H表示的整个透镜系统的条件进行变化,应选择相位编码器使得(透镜系统和编码器的)修改的系统矩阵H1可逆。
作为这些局限的结果,从矩阵O构建相位编码器通常涉及一些必要的逼近。由于一方面相位掩模对于全部场点是共用的,另一方面该特征矩阵Mj的线性组合是空间变化的,为了产生共用最佳光瞳函数,必须在每个场点的最佳光瞳函数之间进行妥协。
参照图3A,其示出了构建本发明的实施方式的成像装置2。根据此实施方式,成像装置2包括成像透镜10、和位于透镜的边缘(周边)上的相位编码器20。相位编码器20具有关于透镜光轴的旋转对称性。此外,相位编码器20由两个几何结构参数表征:半径(宽度)Δr和形状函数(表面曲线)F。成像装置还用透镜10的透射率Tlens和编码元件20的透射率Trim-ring的比来表征。由此以下根据奇异值σ和矩阵ΔS来计算几何结构参数Δr和F,和相对透射率因数Tlens/Tring,以获得对成像透镜10的要求的改善。
涉及从透镜到达的放大率Powerlens的从相位编码器到达像平面的整体放大率Powerring根据编码器的面积(有效孔径的部分R2的面积)相对于透镜部分R1的面积,以及根据相对透射率因数来确定。假设环透射率Tring等于1,
PR = Power ring Power lens &ap; D > > &Delta;r 2 &CenterDot; &Delta;r T lens 2 &CenterDot; D / 2 - - - ( 21 )
因此
&Delta;r = 1 / 4 &CenterDot; T lens 2 &CenterDot; D &CenterDot; PR - - - ( 22 )
返回参照图3A,β是来自轮环区段R2的中部的光线12和光轴之间在像平面中的夹角:
tan ( &beta; ) = 0.5 &CenterDot; ( D + &Delta;r ) Si - - - ( 23 )
其中,D是透镜区域R1的尺寸(例如,直径)。从图3还得到:
R=Si/cos(β)                               (24)
用作模糊半径的光束像差Rim涉及波前导数。对于最大光束像差,可获得:
- R n &CenterDot; &PartialD; W ( xp rim , yp rim ) &PartialD; r | max = Rim &CenterDot; cos ( &beta; ) - - - ( 25 )
其中,W是波前(通过phase=K*W将波前联系到波相位,其中K是波数),(xprim,yprim)是环20的坐标,n是通过成像系统的光传播的光路中的装置周围环境的折射率。得到:
- &PartialD; W ( xp rim , yp rim ) &PartialD; r | max = Rim &CenterDot; cos ( &beta; ) R = Rim &CenterDot; cos 2 ( &beta; ) Si - - - ( 26 )
假设形状函数F的二次形式,相位可表示为:
W ( xp rim , yp rim ) = F 0 ( xp rim 2 + yp rim 2 ) &Delta;r 2 = F 0 &Delta;r 2 &Delta;r max 2 , - - - ( 27 )
其中F0是常数。对(27)求导得到光束像差:
- &PartialD; W ( xp rim , yp rim ) &PartialD; r = 2 &CenterDot; F 0 &CenterDot; &Delta;r &Delta;r max 2 , - - - ( 28 )
然后应用最大值,获得:
- &PartialD; W ( xp rim , yp rim ) &PartialD; r | max = 2 &CenterDot; F 0 &CenterDot; &Delta;r max &Delta;r max 2 &CenterDot; - - - ( 29 )
通过组合(26)和(29),获得几何结构F0和模糊半径之间的关系:
2 &CenterDot; F 0 &Delta;r max = Rim &CenterDot; cos 2 ( &beta; ) Si - - - ( 30 )
F 0 = Rim &CenterDot; &Delta;r &CenterDot; cos 2 ( &beta; ) 2 &CenterDot; Si &DoubleLeftRightArrow; Rim = 2 &CenterDot; F 0 &CenterDot; Si &Delta;r max &CenterDot; cos 2 ( &beta; ) - - - ( 31 )
例如,有效孔径的与成像透镜10相关联的剩余部分R1可以具有0.4mm的直径D,从成像装置到像平面的距离Si(粗略等于焦距f)是Si=0.69mm。成像透镜10进一步用相对高的像差来表征,具有赛尔而和S1=0.0123,S2=0.0130,S3=0.0199,S4=2.922·10-4和S5=3.335·10-5。透镜系统的出瞳在透镜平面中。利用这种成像装置2的成像系统还与具有10x10像素的方形FOV和0.113mm的宽度相关联。可使用光学模拟工具来计算成像系统的光学特征,并且还计算对应于成像系统的PSF矩阵。此外,获得PSF矩阵的奇异值分解(SVD)。
图3B示出了获得的SVD矩阵的100个奇异值,并且插入图350详细示出了最小的奇异值。因此,成像透镜系统10的条件数计算为k(s)=σ1100=87,640.
接着,为了通过减小系统中使用的成像装置的条件数来改善系统条件,系统的弱(低值)奇异值被放大。由此,选择一组要修改的奇异值σj。在本示例中,为了改善透镜系统10的性能,选择要修改6个最低奇异值σ95,...,σ100。因此,为了构建相位掩模将如(19)限定的特征矩阵M95,...,M100以及如(20)限定的它们的和BMSD考虑在内,如以下描述的。
图3C示出了在转换为2D像之后BMSD的PSF形状。为了方便,仅示出每第四个列,由此呈现25个像301,302,...,325。从像301到图325主要观察到表征BMSD的像素扩散平均移位了4.5个像素,标准差为2个像素,并且还在x方向上3.1个像素(一个标准差)和在y方向上2.0个像素的宽度的FOV上分布。这设定了要求的模糊半径Rim,如以下进一步描述的。
返回参照图3A,参数Δr和Trim-ring影响了从相位编码器20到达像的相对放大率,并且根据Δr和要求的模糊半径Rim,根据以上的(31)来设定参数F0。从相位编码器20要求的模糊半径被选择成粗略等于FOV大小,即Rim=0.113mm。为了设置这些参数的值,进行了如下描述的优化。
针对相位编码器20选择参数值的初级集合,并且发现针对成像装置2的新的PSF矩阵。从新的PSF矩阵,计算新的SVD矩阵并且从新的SVD矩阵获得新的条件数。这样完成了优化处理的第一次迭代。
第二次迭代开始于选择针对Δr、F0和Tring的参数值的第二集合。从第二次迭代获得的新的SVD矩阵来重新计算新的条件数,并且与第一次迭代获得的新的条件数相比较。重复该迭代处理直至实现最小或者另选地,令人满意的低级别的新条件数。
此示例中得到的成像装置2的相位编码元件20的参数值是Δr=0.03mm、F0=2.235um和Tring=0.9。与成像装置2相关联的新的条件数被确定为2291,这表示相对于透镜10的条件数改善了约38倍。
由整个成像装置2获得的相比于透镜10的改善像质量表示的像增强可用(32)中限定的均方误差改善因数(MSEIF)[5]来量化地描述:
MSEIF = 20 &CenterDot; log ( | | i image - i Object | | 2 | | i restored - i Object | | 2 ) - - - ( 32 )
其中i是对应于像FOV的像素数(NxM)的大小(NxM)的矩阵的列向量表示(Lx1),并且包括像素的灰阶级别。
由此,iobject表示物的理想像,iImage表示恢复之前从光学系统获得的像(针对从未校正的光学系统采取的比较),iRestored对应于恢复之后获得的像。运算‖x‖2代表得到的向量x的范数。重要限制是当分子和分母范数相等时(对应于MSEIF=0db)。在该点,恢复像iRestored和恢复前的像iImage具有对物的相等类似度,即,恢复没有用。具有负值的MSEIF指示像恢复比像更差的情况。在此示例中通过根据(2)的简单矩阵求逆提供恢复像,即iRestored=Hl-1·iImage,其中i表示各个像的列向量,并且H1是成像装置2的PSF矩阵,如(12)中限定的。
在以下给出的描述中,通过模拟来给出可从现有成像系统(没有基于成像装置的相位编码器)获得的像质量与本发明的像质量的比较。
图4A图形地示出了两个光学系统中的作为信噪比(SNR)的函数的均方根改善因数(MESIF):曲线图G1对应于本发明的成像系统,曲线图G2对应于现有成像系统(没有相位编码器)。曲线图G2和G1示出了针对改变级别的信噪比(SNR)的本发明的成像透镜成像装置的MSEIF。示出针对任意SNR级别,本发明的成像装置的MSEIF优于现有成像系统,并且本发明的成像装置跨过SNR级别的0db限制,通常比现有的光学装置低25-37db,即,呈现出对噪声的更好免疫力。
图4B示出了用以上曲线图G1和G2描述的处于两个SNR级别的成像系统获得的像。在附图中,附图标记410对应于物的理想像;412——处于SNR=60db的现有系统(曲线图G2)获得的物的像;以及414——根据算式(2)恢复之后的相同像412。此外,“416”对应于在60db的相同SNR下从本发明的成像系统(曲线图G1)获得的物的像,以及418——恢复之后的像。类似地,像422和424从在55db的SNR级别现有系统获得,分别在恢复之前和之后,以及像426和428从在类似条件下从本发明的成像系统获得,分别在恢复之前和之后。这些像呈现在相同SNR级别条件下,本发明的改善的成像装置接合恢复处理(其将在以下更具体地描述)比使用现有成像和处理技术可获得的可获得更好的像。
下面参照图5A和图5B,其示出了相比于现有的成像系统,本发明的成像系统提供的像增强的另一个示例。图5A示出在65db的SNR下从这两个成像系统获得的示例像,其中510对应于物的理想像,512是从现有成像装置获得的像,以及514是像512数据的恢复的结果(根据算式(2)),516是从本发明的成像装置获得的物的像,以及518是像数据的适当恢复的结果。清楚可见,尽管512具有与物510的大致相似性,但是恢复(像514)仅使结果退化。相比较地,从本发明的系统获得的恢复后的像518表现出与物510的最佳相似性。
图5B示出了现有和本发明的系统的比较的进一步图示。更具体地,示出作为SNR的函数的这两个系统的MSEIF。如图所示,针对给定级别的MSEIF,本发明的技术可容许约25db的更高级别的噪声。
图6A和图6B示出了现有和本发明的技术之间的比较的另外一些示例。图6A示出在60db的SNR下从两个光学系统获得的示例像,其中610是物的理想像,612是从现有系统(图6B中的曲线图G2)获得的像,以及614是像612的恢复的结果(根据算式(2)),616是从本发明的系统(图6B中的曲线图G1)获得的物的像,以及618是恢复后的像结果。清楚可见发明系统创建了类似于物的像,而现有系统不这样,具有或者不具有重构步骤。
另外如图6B所示,针对给定级别的MSEIF,本发明的系统可容许约25db的更高级别的噪声。
参照图7A到图7C,提供了比较结果的另一个示例。在此示例中,现有成像系统用相对低的空间变化像差来表征,具有赛德尔和S1=0.0123,S2=2.59*10-4,S3=3.97*10-4,S4=2.922*10-4和S5=3.335*10-5。此外,系统(现有系统和本发明的系统)被配置为具有0.176mm的离焦量。由此,此示例例示在离焦形式的主要空间不变模糊的情况下,利用本发明的相位编码成像装置获得的改善。
更具体地,图7A示出系统的奇异值的3个曲线图,71、72和73,其中曲线图71对应于聚焦配置的现有成像系统的奇异值,具有3.9的条件数;曲线图73示出相同系统在其离焦设置下的奇异值,具有6413的条件数;以及曲线图72示出离焦位置的本发明的成像装置2的特征值,具有约97的特征值。由此,本发明的系统中的条件数相对于现有的改善是约66。应理解的是,在此认为现有系统具有由单个成像透镜形成的成像装置,并且本发明的系统是具有相同成像透镜和相位编码器的成像装置。
图7B比较了作为SNR的函数的系统的MSEIF(曲线图G1对应于本发明的系统,并且曲线图G2对应于现有系统),以及示出针对给定级别的MSEIF,本发明的系统相对于现有系统可容许约37db的更高级别的噪声。
图7C示出在46db的SNR下从现有和本发明的系统获得的示例像。在此,710是物的理想像,712是从现有系统获得的像,以及714是在(根据算式(2))恢复之后的像712;716是从本发明的系统获得的物的像,以及718是恢复之后的像结果。清楚可见,本发明的技术提供了类似于物的像,而现有技术并不这样,具有或者不具有重构步骤。
参照图8,通过流程图例示了设计(构建)根据本发明的相位编码器的方法的示例。根据此示例,在相位编码元件平面上的每个点(x,y)决定了相位编码器引起的相位变化P(x,y)。
使用特定成像透镜装备(例如,特定透镜直径、曲率、材料、厚度、折射率、以及物像距离)从实验测量、或者此成像透镜装备的模拟,或者从制造商提供,获得成像透镜装备(即,缺少相位编码器)的PSF矩阵H(步骤801)。接着,计算矩阵H的SVD形式S、V、U(步骤802)。选择H的一组弱奇异值σj(步骤803)并且构建具有改善的奇异值的新的矩阵ΔS(步骤804)。
在PSF矩阵ΔH(对应于根据(12)的矩阵ΔS)中,每个列表示不同场点的PSF。因此将列转换为2D PSF像并且选择代表PSF(步骤805)。接着,针对所选择数量的场点来计算(成像透镜装置的)系统出瞳处的相位(步骤806)。为了使用像平面和出瞳平面之间的傅里叶变化和傅里叶逆变换关系来获得针对每个场点的所计算的相位的物理结果,进行“往复”迭代处理[5](步骤806)直至获得相位函数在系统出瞳处收敛。针对所选择的场点(m,n)重复此处理直至获得一组相位函数Pm,n(x,y)(一个与每个场点相关联)(步骤807)。总体而言,这些相位函数彼此不同,由此不能实际上存在真实相位编码器能够引起全部这些。因此,要求从相位函数的组中选择或者产生代表相位函数。
根据一些实施方式,由此计算这些相位函数之间的互相关矩阵ρm,n(步骤808),并且选择具有与全部其它相位函数的最佳积累互相关
Figure BDA0000107245410000221
的相位函数
Figure BDA0000107245410000222
(步骤810)。
考虑到在出瞳引起相位校正
Figure BDA0000107245410000223
的整个成像装置(透镜装备和相位编码器),再次计算PSF矩阵,并且获得相关联的条件数(步骤811)。这样完成相位掩模构建的单个迭代步骤。如果条件数不令人满意(步骤812),则重复上述操作序列(步骤812)。针对全部所选择的场点,取共用校正相位
Figure BDA0000107245410000224
作为迭代处理的初始条件,重复步骤(806)-(812)。由此重复迭代处理直至获得对改善的成像装置(优化相位编码器)的PSF矩阵的条件数的令人满意的改善(步骤813)。
参照图9A到图9C,举例说明使用以上描述的方法参照图8以便构建相位编码器,该相位编码器与成像透镜一起使用并且相对于透镜排列,类似于图2A或者图2B任意一个的示例,即位于围绕透镜区域R1的有效孔径的周边区域R2内的相位编码器。与成像透镜10相关联的有效孔径的剩余部分R1具有0.4mm的直径D;从成像装置(从其出瞳)到像平面的距离Si是Si=0.69mm。成像透镜10用赛德尔和S1=0.0123,S2=0.0130,S3=0.0199,S4=2.922*10-4和S5=3.335*10-5来表征。成像系统具有10x10个像素和宽度为0.113mm的方形FOV。
图9A示出了通过迭代处理作为迭代数量的函数作为透镜和相位编码器形成的成像装置的像恢复参数的条件数的进展(任意单位)。在图上的点A中发现最佳条件数(最低)是约1815。这对应于相对于成像透镜的条件数约48倍的改善。图9B和图9C示出了相位编码器引起的对应的相位校正函数。图9B示出了对周边区段R2的相位校正的拓扑图;图9C示出了3D直方图中的相同相位校正。
下面参照图10A和图10B,其示出相比于现有装置,本发明的成像装置提供的像增强的示例。图10A示出现有系统和使用图9B-图9C例示的原理的本发明系统这两个系统获得的示例像,均在60db的SNR下。
图10B示出了比较对应于图10A的两个光学系统中作为信噪比(SNR)的函数的均方误差改善因素(MSEIF)的曲线图G2和G1。
在图10A中,1010是物的理想像,1012是从现有系统获得的像,1014是在(根据算式(2))恢复之后的像1012;1016是从本发明的系统获得的物的像,1018是恢复之后的结果。像1012和1016具有很差的与物1010的类似度。从现有系统获得的恢复像1014使结果退化。相比较地,从本发明的系统获得的像1018示出与物1010的最佳相似性。
如图10B所示,相比于现有系统,针对给定级别的MSEIF,本发明的系统可容许约25db的更高级别的噪声。
总体上应注意,像的重构步骤不限于矩阵H1求逆的处理,如以上示例中描述的。根据本发明的一些实施方式,可利用任何已知方法进行像重构,旨在去除在被成像装置创建时被相位编码器引入到像的相位编码,由此也去除至少一些像模糊。例如,可利用最小二乘法提供像重构方法。根据最小二乘法,通过在(33)中将范数E最小化获得重构像iRstored
E=‖H1·irestored-iImage2                                   (33)
其中iImage是与PSF矩阵H1相关联的像列向量(即,重构之前从成像装置获得的像)。
根据另一个示例,所谓的正则化方法,通过在(34)中将范数E最小化来获得重构像iRstored
E=‖H1·irestored-i‖2+α‖I·irestored2                      (34)
其中α是常数(通常0<α<1),并且I是单位矩阵。这样正则化,
irestored=(H1t·H1+α·I)-1·H1·i                            (35)
其中I是恒等矩阵,α是正则化因数。为了以下的模拟,假设α=1/SNR。下面将进一步具体举例说明此方法。
以下是本发明的技术的另一个示例的描述。成像系统用特定FOV捕捉像。BMSD矩阵可以被逼近分解为与相对于成像FOV移位所捕捉的像相关联的一系列转换或者轨迹矩阵,即像中的一些将超出FOV,由此物空间和像空间之间的转换矩阵将会改变。此技术有时在此称为移位透镜技术或者移位像技术,或者转换技术或者轨迹技术。
假设使用了像素受限成像系统,其从物空间到像空间的转换(PSF)矩阵是单位矩阵。遵循向量的字母顺序,物坐标(lin)到像坐标(lout)的映射是:
(lin)→(lout)=(m-1)·Nn+n→(m-1)·Nn+n                (36)
通过确定PSF矩阵,限定系统的视场(FOV)。假设,捕捉有限像,如果像相对于固定FOV原点移位(Δm,Δn),则物坐标(lin)到像坐标(lout)的映射将改变为:
(lin)→(lout)=(m-1)·Nn+n→(m+Δm-1)·Nn+n+Δn             (37)
用一系列移位,创建一系列传递矩阵,每一个都“描绘”了2D LxL空矩阵中的不同的“轨迹”。
参照图14,示出了像移位和6x6矩阵的轨迹矩阵之间的关系。示出当FOV固定时,像移位和输入/输出矩阵表示之间存在对偶性。针对每个移位,获得标记为Ol的另一个传递矩阵。
为了实现具有所要求的辅助PSF矩阵O的辅助系统,FOV被限定为H矩阵FOV并且将O分解为一系列加权移位“转换”矩阵,如以下所示:
Figure BDA0000107245410000241
针对每个“转换”,存在不同的加权常数(W1)。通过解以下均值方程来限定加权:
Figure BDA0000107245410000251
其中Nl是特定“轨迹”中的实例数量,BMSD(参见上面的(20))是针对辅助系统O的目标PSF矩阵,ο是投影算子,用于在Ol上投影BMSD。综合(38)和(39),全部转换矩阵Ol的和可用于逼近透镜10的BMSD(参见上面的(20))。通过在(40)中最小化方差E,可优化对BMSD的逼近。
E = ( BMSD - &Sigma; l W l O l ) 2 | &RightArrow; min
(40)
最终整体系统响应是: H 1 = H + &Sigma; l W l O l . - - - ( 41 )
下面一起参照图11A和图11B,示出了本发明的成像装置2的又一个示例。成像装置2包括成像透镜10和相位编码器20。在本示例中,相位编码器20具有空间隔开透镜22(所谓的“移位透镜”)的阵列形式的图案(构成第一图案)。另外如附图所示,相位编码器可以可选地包括折叠元件30,能够影响光的相位由此转折光束。它们例如可以是棱镜、分束器(未示出)等。应理解的是可用超过一个透镜实现移位透镜22,例如三个透镜24的组件,如图11B举例说明的。成像装置2可以潜在地还包括用于限定FOV的视场光阑40,视场光阑并入作为例如透镜组件24的一部分,如图11B所示。
还应注意的是尽管以上举例说明“移位透镜”实施方式在图2A的有效孔径配置中,但是相同概念可在图2B的配置中实现。
如图11A和图11B进一步示出,根据本实施方式,移位透镜22的光轴平行于成像透镜10的光轴,并且它们形成光学系统的像平面上的物的多个像(“移位像”)。这些移位像贡献与加强成像透镜10的PSF矩阵的弱部分。每个移位透镜22都可按照成像透镜10的坐标系统用PSF矩阵Ol(k=1,...,N,N是移位透镜的数量)表示。例如,选择移位像的数量(对应于移位透镜的数量)和移位量(移位透镜之间的距离)可以用于改善逼近。另外或者另选地,选择适当的转换因数,用加权常数Wl表示,可进一步改善逼近。
根据本发明的又一个实施方式,可利用结合成像技术使用的像处理算法(不一定利用相位编码器作为物理元件)来实现用于改善成像装置的矩阵条件的“移位像”方案。这种成像技术利用以不同的数值孔径和不同的模糊级别创建两个像。系统可以包括以上称为主系统和辅助系统的两个单独的成像装置。主系统和辅助系统观察相同视场,其例如可以类似于相位分集系统中使用的像捕捉。相位分集技术的原理实质上是已知的,不需要详细描述,除了注意其旨在减少要处理的数据量。像是物和像差这两个未知量的组合;用两个同时收集的像之间相位的已知差异对像差扰动,例如通过稍微离焦地记录像中的一个[6-10]。
假定病态主系统,可利用辅助系统像的N个移位和加权再现的数字相加来限定上述目标BMSD并对其进行分解。最终,主系统像被添加到该和,获得与改善的条件系统相关联的新的像。起作用的算式(35)-(39)可应用于此处理,尽管移位和加权在捕捉的辅助系统像上数字地进行。
根据一些实施方式,例如可通过在(39)中使E最小化获得期望的加权因数的集合。此外,在(35)-(39)中加权因数Wl可以假设为负和正值两者,因为相加是计算机进行而不是人工进行。因此,通过矩阵的适当相加,可获得对BMSD的相对好的逼近,因而可实现客观的矩阵条件的改善。
参照图12,示出利用以上“移位像”的概念的成像系统50的示例。成像系统9包括具有光轴OA1和数值孔径NA1的第一成像装置52和具有平行于光轴OA1的光轴OA2和更低的数值孔径NA2的第二成像装置54。应理解的是成像装置52和54可以与自身的光检测器或者共用光检测器相关联。另外,无论是否是共用集成系统的一部分,成像装置52和54都不需要同时工作;本发明的这个方面需要的是提供利用这种不同的成像装置收集的两个不同像数据片段。由此,如图所示,成像系统50包括像检测器56和控制单元6,配置和可操作用于登记和处理检测器56提供的像数据。第一成像装置52可包括例如高数值孔径(NA)透镜,其产生高强度但是相对模糊的像。第二成像装置54可包括例如低数值孔径(NA)透镜,其提供相对无模糊(锐利)像,具有低强度和相对低的SNR。两个成像装置都“看到”系统物并且对准相同像平面,因此它们产生的像是在同一方向上从物获得的。两个成像装置52和54提供的像(imain)和(iaux)被检测器56检测并且被控制单元6彼此独立地登记。
根据一些实施方式,通过向像(i)添加利用第二成像装置54获得的N个移位像(i1)组合来改善成像装置52的弱部分。通过复制和移位计算机地从辅助像(iaux)获得像(ii)。针对第一成像装置52的给定BMSD,获得移位像(i1)的期望组合接着构建和sum(imain+i),例如,通过乘以逆矩阵
Figure BDA0000107245410000272
-以产生物的增强像。
根据本发明的一些示例,可按照以下描述的方式获得加权因数W1的期望集合。获得并且以例如SVD的第一模态形式呈现第一成像装置52的代数表示H,例如PSF矩阵。标识模态矩阵的弱部分,以及相应地产生BMSD矩阵,如上所述。
参照图13A和图13B,示出上述本发明的“移位像”方面的“计算机”方案的示例实现方式。图13A比较了用现有技术和图12的技术可获得的像;以及图13B示出了比较物的理想像(物自身——曲线图H1)和图13A的像(曲线图H2和H3)这3个像的灰度级的曲线图H1、H2和H3。成像装置52的透镜孔径(在此情况下为有效孔径)具有0.4mm的直径,与成像检测器隔开Si=0.69mm的距离,并且用相对高的像差来表征,具有赛德尔和S1=0.0123,S2=0.0130,S3=0.0199,S4=2.922*10-4和S5=3.335*10-5。成像装置54的透镜/有效孔径具有0.16mm的直径,并且产生大致限制于11个微平方像素的PSF。成像装置52和54的FOV相同并且是具有10x10像素0.113mm的边长的形式。
图13A示出针对第一装置的55db和针对第二装置的25db的SNR下的示例像重构。在图中,1310是物的理想像,1312是从第一更高NA成像装置52获得的像,1314是在(根据算式(2))恢复之后的像1312;像1316是从第二成像装置54获得的物的像。考虑像1316的低强度,其乘以第一透镜52和第二透镜54的面积比,即(0.4/0.16)2。得到的像很暗但是相对锐利。
像1317是像1316的多个复制像的加权和,在允许的10x10像素FOV中以全部可能的移位相对于彼此移位。像1317中的关注区域,在中心1317A用矩形标记,用于在处理中进一步改善系统矩阵条件。像1318是第一成像装置52的像1312和像1317A的直接和。像1319是像1318根据算式(2)的恢复之后的结果。
应理解的是,分别在恢复之前和之后从成像装置52获得的像1312和1314都具有与物1310很差的相似性。相比较地,利用完全“移位像”技术获得的恢复像1319表现出与物1310的相对高的相似性。
图13B图形地比较了现有和本发明技术,即像1314和1319。在成像装置52的恢复像1314(三角形)和装置52和54的组合的恢复像1319(圆形)之间,比较每个物像1310的每个像素的灰度级(星号表示)。曲线图示出恢复像1319中的像素灰度级紧密遵循物像1310中的像素灰度级。相比较地,像1314中的像素灰度级具有很大的扩展而没有与物像1310的像素灰度级的可观察的相关性。
参照图13C和图13D,示出了针对上述技术的模拟结果。图13C举例说明了用于模拟的物整体;图13D比较了针对“研究案例”恢复“按照原样”(即,仅具有主透镜系统没有辅助透镜的成像装置)和利用简单辅助透镜的上述“轨迹”或者“移位透镜”技术中的作为主系统SNR的函数的恢复平均MESIF整体结果。在此,曲线图G1对应于针对具有简单辅助透镜的基于“轨迹”的系统利用正则化的像恢复,曲线图G2对应于利用矩阵求逆的“研究案例”透镜恢复,曲线图G3对应于利用正则化的“研究案例”透镜恢复。
在上述“移位透镜”或者“轨迹”示例中,假设辅助透镜系统属于不感应像模糊的所谓“完美”或者“像素受限”配置。还要强调的是针对真实展示,还考虑几乎像素受限的低NA简单透镜形成的辅助系统。还应理解“轨迹”或者“转换”技术的原理可应用于不同于光学系统的线性系统,例如,机械系统振动测量。就此而言,参照图13E示出主系统矩阵H表征的主系统10和辅助系统矩阵O表征的辅助系统20组成的系统。假设两个系统都从同一振动系统的n个位置同时捕捉有限序列的n个样品,如果H矩阵系统是病态的,则可计算等同于上述BMSD的由其特征矩阵组成的目标矩阵,接着可根据基于轨迹的分解转换矩阵L1,L2,..,Ln移位并且加权辅助矩阵系统O的示例数据。最终,通过将H矩阵数据和处理的辅助数据相加,获得了改善条件的平行系统。
返回到光学系统设计,辅助系统自身可以具有模糊响应。另外,同一透镜系统可以用作“主系统”和“辅助系统”,在此情况下“主”和“辅助”功能由同一透镜系统进行的连续像获取构成。
以下是如何将“轨迹”或者“转换”模型延伸到具有模糊响应(有时在下面在此称为模糊轨迹或者模糊转换)的更真实辅助透镜的示例。
将轨迹或者转换模型延伸到模糊辅助透镜的通常情况,辅助透镜像不是像素受限的,因而将其联系到完美物,其首先被模糊接着被加权和移位。在此情况下,利用简单矩阵乘法计算的“模糊转换”将O矩阵分解(以上的算式(38)。
O ^ 1 l ( i , j ; &Delta;m , &Delta;n ) = O l ( i , j ; &Delta;m , &Delta;n ) &CenterDot; H aux ( i , j ) - - - ( 42 )
遵循“模糊转换”方案,修改归一化因数N:
N ^ l = &Sigma; i = 1 L &Sigma; j = 1 L O l ( i , j ; &Delta;m , &Delta;m ) &CenterDot; H aux ( i , j ) - - - ( 43 )
最终,针对算式(37)的加权因数是:
Figure BDA0000107245410000292
整体分解是:
Figure BDA0000107245410000293
图15A和图15B示出针对3x2 FOV的6x6PSF接着的“转换”矩阵。图15A呈现了像素受限情况(假设像素受限辅助透镜),图15B呈现了具有模糊辅助透镜的“模糊转换”,假设2x2核心(在右下部呈现)。将理想“转换”(图15A)扩展到“模糊转换”(图15B)取决于模糊辅助形状核心的形状。这就给出了用于选择可最佳地分解目标BMSD的模糊辅助系统的自由度。
例如,主系统矩阵H可以是:
H = 1.00 2.10 3.00 4.00 5.00 6.000 1.00 2.10 3.30 4.40 5.10 6.100 1.05 2.30 3.20 4.10 5.40 6.200 1.05 2.11 3.10 4.12 5.14 6.110 1.11 2.22 3.30 4.14 5.21 6.111 1.21 2.21 3.41 4.12 5.17 6.100 - - - ( 45 )
矩阵是病态的,具有κ=18625的条件数。
使用上述“模糊转换”技术,系统的矩阵具有6个特征矩阵。例如,可任意确定最后两个特征矩阵作为目标BMSD。在像素受限的假设下,获得图15A呈现的一组15个“转换”。得到的平行光学系统具有κ=72.6的改善的条件数。针对相同的研究案例((45)的主系统矩阵H),遵循以上的算式(42)-(44),并且假设模糊辅助系统,得到的“模糊转换”如图16B所示并且平行光学装置条件数是κ=362。尽管在第二种情况下,“模糊转换”之间存在一些交叠,投影的集合仍支持有效地分解目标BMSD。
以下是针对使用空间变化成像系统和高度离焦的成像系统这两个不同光学系统的“模糊转换”的模拟结果。在像恢复中在各个SNR级别经过8个物的整体(参见图13C)两个系统的性能测试。模糊像承受白高斯加性噪声。
恢复性能由均方根误差改善因数(MSEIF)决定——算式(32),如以上呈现的:
MSEIF = 20 &CenterDot; log ( | | I L &times; 1 image - I L &times; 1 object | | 2 | | I L &times; 1 res - I L &times; 1 object | | 2 ) - - - ( 45 )
在此函数中,恢复误差和模糊误差都是相对于理想物(Iobject)的。当MSIEF<0db时,恢复像(Ires)比模糊光学像(Iimg)更差,因此进行恢复是没有用的。针对每个SNR,进行8个物的一组2400个测试,接着针对每个测试计算MSEIF,和整体上的平均值。结果呈现为主系统SNR的函数。
由于物范围限制于256灰度的动态范围,假设0以下和255以上的恢复灰度级超出动态范围,因而被修整为0到255。针对后处理,使用以下算式(35)。
I ^ Lx 1 res = ( H 1 t &CenterDot; H 1 + &alpha; &CenterDot; I ) - 1 &CenterDot; H 1 &CenterDot; I Lx 1 image - - - ( 46 )
为了展示“模糊转换”能力,假定使用的辅助系统是模糊的,并且产生这种坏像,如果采取作为恢复结果则得到的MSEIF将是负的。算式(47)代表辅助系统PSF:
PSF = 1 11 &CenterDot; 1 1 1 1 3 1 1 1 1 - - - ( 47 )
考虑空间变化病态成像系统,使用类似的模拟条件,同时去除假设像素受限辅助透镜。主系统总体上类似于以上参照图3B描述的,是高度模糊空间变化成像系统,具有κ=87640的条件数。主光学系统是0.4mm直径的透镜。像距离是0.69mm,并且视场是±4.673度。系统遭受了很大的赛德尔像差:S1=0.0123,S2=0.013,S3=0.0199,S4=2.92e-4,S5=3.335e-5。像大小10X10,n=1。FOV是非对称的,x方向上-0.6个像素,y方向上+1.4个像素。
辅助透镜是0.16mm直径的透镜,其具有如算式(47)的空间不变PSF。辅助系统用比主系统更低的NA工作。这将影响信号电平并且在比主系统的低16db的SNR电平反映。在PSF计算中,使用衍射模型,用512x512 FFT算子矩阵实现。关于NA条件,应注意的是本发明根本不限于对辅助系统的NA的任何具体要求,并且相对于主系统的NA。
由于“变换”分解是对角形式的,所以针对特征矩阵组合进行搜索,其产生了具有类似“托普利茨”形状的BMSD。搜索是自动进行的,并且在每个步骤中添加附加特征矩阵并且计算所得到的平行光学装置的条件数。发明人发现了几个局部最小值并且选择具有κ=1212的条件数的解。由于以高保真度分解目标BMSD的能力取决于目标BMSD和辅助系统PSF曲线的选择,所以它在总体上不是系统的最优解而是局部最小值。
图16示出了恢复平均MSEIF整体结果,呈现4个系统中的平均MSEIF。曲线图A1对应于具有“主透镜”而没有附加光学装置的系统。曲线图A2对应于上述二次“轮环”平行光学装置设计,曲线图A3对应于使用上述“模糊轨迹”的平行光学装置,它们都是利用以上算式(46)描述的正则化方法恢复的。曲线图A4是使用“模糊轨迹”法的模糊辅助透镜像的MSEIF值的基准,如同是恢复结果一样。负的MSEIF值表示其不能按照原样用作恢复结果。按照希望,结果遵循矩阵条件。对于具有κ=1212的条件数的“模糊轨迹”(曲线图A3),恢复质量的改善(MSEIF值)是最佳的,以下是具有κ=2290.6的条件数的二次“轮环”(曲线图A2),最后是具有κ=87640的条件数的没有附加光学装置的曲线图A1情况。正则化因数随着SNR减小而增加(算式46)。由于正则化的剪裁本质,在本方法中随着SNR减小剪裁更深。由于辅助系统由系统特征矩阵组成,所以裁剪的结果是辅助透镜贡献更弱直至结果渐近地收敛于原始系统解为止。“模糊轨迹”法提供了重要结果,其中通过混合两个模糊像,得到改善的恢复,这对于大范围的SNR相比仅利用正则化实现的结果要更好。
图17例示了上述系统的通常的像和利用正则化(算式(46))的恢复,全部在主增益SNR=45[db],示出没有平行光学装置的研究案例像(SC-Img.);辅助透镜像(Aux-Img)、对象(Obj.)、利用正则化的研究案例恢复(SC-Res.)、二次轮环恢复(RR-Res.)和模糊轨迹恢复(Traj-Res.)。MSEIF的平均改善是4.4[db]。视觉结果遵循MSEIF结果。总体而言,具有“模糊轨迹”(Traj-Res)的恢复性能等于或者好于没有平行光学装置的研究案例恢复(SC-Res)的那些,并且对于物3、4、7和8特别更好。比较“模糊轨迹”和“轮环”(RR-Res)的恢复外观,结果通常是相同级别的。
以下是严重离焦的成像系统情况的示例。在此情况下,使用标准0.4mm直径双凸透镜。假设进行0.69mm焦距单色成像(λ=0.5875μm)。透镜材料是肖特K10。系统的FOV、像素大小和像距离与以上描述的示例相同(FOV是±4.67度,像素大小是11μm)。透镜承受常规赛德尔像差以及167μm离焦。这在图18示意地示出。该系统(主系统)的代数表示是100X100几乎空间不变矩阵,具有κ=6412.5的条件数。该矩阵是“主”系统。作为辅助透镜,使用具有相同PSF的相同的0.16mm直径模糊系统。
首先,图形地确定目标BMSD。图19示出了“主”系统奇异值曲线图和此情况下的选定(目标)BMSD矩阵。从奇异值曲线图可见,从第八个奇异值开始,曲线图是单调下降的,因此决定选择第30个奇异值而不是更高的值作为针对BMSD的限制,该决定不被矩阵条件降低单独影响而是被BMSD形状影响。得到的BMSD是类似“托普利茨”的矩阵,其形状接近“轨迹”、“对角线”形状从而可被后者适当地分解。在此情况下,理论条件数是65.2,并且使用“模糊轨迹”得到的条件数是κ=238.7。
图20呈现了“模糊轨迹”(Traj)——曲线图C1、具有二次相位系数的“轮环”(曲线图C2)和没有附加光学设计的“研究案例”(SC)这3个系统的正则化(算式(46))的平均MSEIF结果的比较,曲线图C4是基准值。如先前的研究案例,针对每个SNR值(主系统SNR),比较包括8个不同物的一组2400个测量(参见图13C)。恢复SNR是“主SNR”,并且如第一研究案例,辅助系统SNR是16[db]更低。“轮环”方案是按照与第一研究案例类似的方式设计的,但是针对“透镜”和“轮环”都具有100%透射率和0.0022mm的二次相位系数。如所期望的,结果示出针对具有更好条件的系统更高的MSEIF。对于κ=96.8的条件数,二次“轮环”是最佳的,“模糊轨迹”紧随其后,其中κ=238.7。最后是研究案例(κ=6412.5)。如上所述,随着SNR减小正则化剪裁切除辅助透镜影响的更多部分,因此两个“平行光学装置”解(二次轮环和模糊轨迹)渐近地趋于主系统解。
图21举例说明了通常的“物”、“主”系统像、“辅助”系统像、“模糊轨迹”恢复、没有附加光学设计的“研究案例”恢复(按照原样)和二次“轮环”恢复,全部在SNR=45[db]中。可见二次“轮环”恢复(RR-Res)和“模糊轨迹”恢复(Traj-Res.)呈现类似的恢复级别。对于看上去包含高的空间频率的诸如“3、4、6、7和8”的物,后者视觉上呈现出明显比仅利用正则化的研究案例恢复(SC-Res)更好的恢复。
返回算式(47),辅助系统中的3个像素模糊的大小是33μm。这可能是衍射极限的直径,艾里斑:
Figure BDA0000107245410000321
(48)中的结果表明可以用微透镜阵列实现“模糊轨迹”(以上图11B的示例),其包括视场光阑,其中利用弯曲棱镜实现每个“轨迹”移位,并且利用局部透射实现加权因数(44)。
另外,如以上所指示的,由于“模糊轨迹”技术使用两个高度模糊的像的混合体来创建相对锐利的像,所以可以选择使用“主”系统像(总体上至少两个像)作为主像和辅助像的光学设计,即解决所谓的“双重曝光”的问题。
像素受限“轨迹”(或者“转换”)模型可扩展为“模糊轨迹”模型。模拟示出了利用吉洪诺夫正则化,模糊轨迹可改善系统条件和像恢复。本发明的技术提供了对系统矩阵条件的明显改善(第一研究案例中从κ=87640降到κ=87640,在第二研究案例中从κ=6412.5降到κ=238.7)。由于总体上通过软件而不是硬件进行“模糊轨迹”滤波,所以比传统光学滤波方案更灵活。组合两个模糊像支持“模糊轨迹”方法产生其中利用单孔径系统产生“主”和“辅助”像的系统。
由此,本发明的“像模糊”技术提供了改善成像系统的矩阵条件。例如,可使用“轮环”或者“往复”方法来在不同的辅助系统(标记为O)上工作。全部这些方法都遵循平行光学规则:
Iimage=H·Iobject+O                                            (49)
这实际上是两个系统的融合,其目的是改善系统矩阵条件,主像是:
Iimage_main=H·Iobject                                         (50)
辅助像是:
Iimage_Aux=O·Iobject                                          (51)
融合像是:Iimage=Iimage_main+Iimage_Aux                        (52)
其中(38)是具有改善的矩阵条件的系统的H1虚拟捕捉的融合像。
H1=H+O                                                         (53)
H是主系统,O是辅助系统。
返回图1,例示了使用辅助光学系统的轮环设计的示例以便改善成像系统的像质量。以下是轮环方案的另一个示例。
在此示例中,主透镜系统类似于上述的一个(图1中的10),即病态空间变化系统。SVD技术用于限定系统BMSD。图22例示了由最后50个特征矩阵组成的这种系统BMSD。
每个行被转换为2D像,PSF(x,y,i)。轮环滤波器是单个,假设在轮环区域由此引起的相位效果比主透镜像差更主要,并且与主透镜一起创建对于全部场点共同并且逼近集中在旁轴坐标周围的点扩散函数(“滤波器的PSF”)。滤波器的PSF设计是优选的例如以在不同的PSF(x,y,i)形状之间妥协。例如,可以利用PSF(x,y,i)的加权叠加构建这种滤波器,一个可能的实现方式是均值滤波器。
接着,为了计算均值滤波器,每个PSF(x,y,i)被移位从而其旁轴坐标(xpr,yPr)传递到场的中心(x=0,y=0)。这在图23中例示。将整体的平均值应用于(54):
PSF t arg et ( x , y ) = 1 K &Sigma; i = 1 K w i &CenterDot; psf ( x - x paraxial , y - y paraxial , i ) - - - ( 54 )
不是针对非相干点扩散函数的物理响应的负值被剪裁,并且如图24所示限定了针对辅助系统的目标PSF。可针对轮环或者针对全孔径的根据Gershberg和Saxton法来计算产生目标PSF的滤波器。这在图25中例示,示出针对轮环实现方案条件数的相位曲线,从接近87000到约4900。接着,可根据上述平行光学实现方案在“轮环”或者单独的辅助系统中实现新的掩模。
此方法可用于计算单独的辅助系统O,从而其实现方式将适用于在包括两个单独的光学系统的成像装置中使用,诸如图12的轨迹法的上述示例。在该情况下掩模安装在辅助透镜上。
图26A举例说明了针对成像装置的MSEIF算式(45)曲线,其中主透镜系统配备(曲线图G1)和不配备(曲线图G2)均值轮环滤波器。附图示出了零交叉中的20db差异。利用简单矩阵求逆进行恢复,每个SNR级别中的整体大小都为N=1000。图26B示出了SNR=60[db]的针对具有平均PP轮环滤波器恢复示例的透镜性能(像恢复)。
本领域技术人员将理解各种修改和变化可应用于本发明的实施方式描述而不背离按照所附的权利要求限定的保护范围。

Claims (37)

1.一种具有有效孔径的成像装置,该成像装置包括:
透镜系统,其具有限定了第一条件数的对角形式的代数表示矩阵,以及
相位编码器实体,其被设置为实现所述成像装置的代数表示矩阵的第二条件数,该第二条件数比所述透镜系统的所述第一条件数小。
2.根据权利要求1所述的成像装置,其中,所述相位编码器包括位于第一区域中的第一图案,该第一图案沿着所述透镜系统的光轴与所述有效孔径的一部分对准,留下所述有效孔径的剩余部分没有所述第一图案,对所述第一区域的几何结构和其中的所述第一图案的配置进行选择以限定所述第一图案引起的对透过所述第一图案的光的预定第一相位校正函数。
3.根据权利要求2所述的成像装置,其中,所述第一区域的几何结构和所述第一图案的配置被选择成,使得第一相位校正函数满足由所述有效孔径的剩余部分引起的针对相位校正函数的预定条件。
4.根据权利要求3所述的成像装置,其中,所述预定条件是第一相位校正函数值沿着所述第一区域不小于由所述有效孔径的剩余部分引起的相位校正函数。
5.根据权利要求3所述的成像装置,其中,所述预定条件是第一相位校正函数值沿着所述第一区域不超过由所述有效孔径的剩余部分引起的相位校正函数。
6.根据上述任意一项权利要求所述的成像装置,其中,所述代数表示矩阵是点扩散函数PSF矩阵。
7.根据上述任意一项权利要求所述的成像装置,其中,所述对角形式的代数表示矩阵是奇异值分解SVD。
8.根据权利要求1至6中任意一项所述的成像装置,其中,所述对角形式的代数表示矩阵是傅里叶分解。
9.根据上述任意一项权利要求所述的成像装置,其中,具有所述第一图案的所述第一区域围绕所述光轴布置。
10.根据上述任意一项权利要求所述的成像装置,其中,所述第一区域具有围绕所述光轴的环状几何结构。
11.根据上述任意一项权利要求所述的成像装置,其中,所述第一图案是沿着所述第一区域的连续图案。
12.根据上述任意一项权利要求所述的成像装置,其中,所述第一相位校正函数关于所述光轴旋转对称。
13.根据权利要求1至10中任意一项所述的成像装置,其中,所述第一图案的形式为沿着所述第一区域以间隔关系布置的多个构图片段。
14.根据上述任意一项权利要求所述的成像装置,其中,所述第一相位校正函数值沿着所述第一区域变化,保持为大于或者小于所述有效孔径的剩余部分内的相位校正函数。
15.根据上述任意一项权利要求所述的成像装置,其中,所述第一区域位于所述有效孔径的周边内,所述剩余部分位于所述有效孔径的中心区域内。
16.根据权利要求1至14中任意一项所述的成像装置,其中,所述第一区域位于所述有效孔径的中心区域内,所述剩余部分位于所述有效孔径的周边内。
17.根据上述任意一项权利要求所述的成像装置,其中,所述第一区域大致位于所述透镜系统的出瞳处。
18.根据权利要求17所述的成像装置,其中,所述第一区域沿着所述光轴位于所述透镜系统的上游或者下游。
19.根据权利要求17所述的成像装置,其中,所述第一区域位于所述透镜系统的主平面的上游或者下游。
20.根据权利要求1至17中任意一项所述的成像装置,其中,所述编码器与所述透镜系统的透镜是一体的。
21.根据权利要求20所述的成像装置,其中,所述第一图案的形式为折射率不同于所述透镜的材料的间隔区域的阵列。
22.根据权利要求19或者20所述的成像装置,其中,所述第一图案的形式为所述透镜系统的透镜的变化表面的轮廓。
23.根据权利要求13至22中任意一项所述的成像装置,其中,所述第一图案的所述构图片段包括至少一个透镜片段。
24.根据权利要求23所述的成像装置,其中,所述构图片段包括透镜片段的阵列。
25.一种成像系统,该成像系统包括:根据上述任意一项权利要求所述的成像装置;像检测单元;以及控制系统,其被设置和可操作用于通过对表示所述检测单元检测到的像的数据应用与具有空间变化像差的光学系统的代数表示矩阵相对应的预定PSF矩阵的逆矩阵来处理和分析所述数据。
26.一种用于监视线性机械系统的操作的监视系统,该监视系统包括:用代数表示矩阵H表征的主测量系统;用辅助系统矩阵O表征的辅助测量系统;以及控制单元,所述主测量系统和所述辅助测量系统被设置和可操作用于从所述线性机械系统的n个位置进行有限序列的n个测量,所述控制单元被设置和可操作用于根据预定分解变换矩阵对表示所述辅助系统进行的所述测量的数据进行处理,并将主系统测量的数据和经处理的辅助数据相加,由此获得与改善条件的平行测量系统相对应的测量数据。
27.一种成像系统,该成像系统包括:
成像装置,其包括基础透镜系统和相位编码器并限定了有效孔径,所述基础透镜系统具有限定了第一条件数的对角形式的代数表示矩阵,所述相位编码器被设置为实现所述成像装置的代数表示矩阵的第二条件数,所述相位编码器包括位于第一区域中的第一图案,该第一图案沿着所述透镜系统的光轴与所述有效孔径的一部分对准,留下所述有效孔径的剩余部分没有所述第一图案,所述第一区域的几何结构和其中的所述第一图案的配置被选择以限定由所述第一图案对经过所述第一图案的光引起的预定第一相位校正函数,由此所述成像装置的第二条件数小于所述透镜系统的第一条件数;
像检测单元;以及
控制系统,其被设置和可操作用于对表示所述检测单元检测到的像的数据进行处理和分析,从而以明显减小的像模糊来恢复物的像。
28.一种成像系统,该成像系统包括:
光学系统,其包括:具有共用视场的第一透镜系统和第二透镜系统,其中,第一透镜系统具有第一光轴和第一数值孔径;第二透镜系统具有与所述第一光轴平行并且间隔开的第二光轴和小于所述第一数值孔径的第二数值孔径;
成像检测单元,其用于检测第一透镜系统和第二透镜系统所收集的光并生成表示该光的像数据;以及
控制系统,其用于接收和处理所述像数据,所述处理包括复制和相对于与第一透镜系统所收集的光相对应的第一像来移位与第二透镜系统所收集的光相对应的第二像,以及产生重构的像数据。
29.一种像处理方法,该像处理方法包括以下步骤:接收像数据,所述像数据包括第一数据部分和第二数据部分,第一数据部分与具有特定视场和光收集的数值孔径的关注区域的第一像相对应,第二数据部分与具有所述特定视场和光收集的数值孔径的所述关注区域的第二像相对应;以及通过复制和相对于第一像移位第二像来处理所述像数据并产生重构的像数据。
30.根据权利要求29所述的像处理方法,其中,与第一像和第二像相对应的数值孔径是不同的。
31.根据权利要求29所述的像处理方法,其中,与第一像和第二像相对应的数值孔径是相同的。
32.一种用于减少光学系统中像模糊的方法,该方法包括以下步骤:
获得光学系统的代数表示矩阵;
将所述代数表示矩阵对角化,由此获得第一对角矩阵S;
从所述对角矩阵S的总共N个本征值中选择沿着所述对角矩阵S的对角线分别位于n个位置的n个本征值;
选择大小与所述第一对角矩阵S大致相同的第二对角矩阵ΔS,所述第二对角矩阵ΔS在其对角线上与第一对角矩阵S中的所述n个位置相对应的位置上有n个数字,而所有其它数字都等于零;
对第一对角矩阵S和第二对角矩阵ΔS的矩阵和应用所述对角化的逆运算,由此获得第三矩阵O;
对经过所述光学系统的光应用校正函数,从而受到所述校正函数影响的所述光学系统的代数表示矩阵逼近矩阵O。
33.根据权利要求32所述的方法,其中,所述代数表示矩阵是PSF矩阵。
34.根据权利要求33所述的方法,其中,所述对角化是所述PSF矩阵的奇异值分解。
35.根据权利要求33所述的方法,其中,所述对角化是所述PSF矩阵的傅里叶分解。
36.根据权利要求32所述的方法,其中,所述应用校正函数的步骤包括:
选择具有至少一个可变参数的初级相位校正函数;
改变所述至少一个可变参数的值,使得受到所述相位校正函数影响的所述光学系统的代数表示逼近所述矩阵O;
在所述光学系统中提供相位编码器,该相位编码器被设置和可操作用于引起所述相位校正函数。
37.根据权利要求32所述的方法,其中,所选择的n个本征值是矩阵S的最小本征值。
CN201080020539.3A 2009-03-13 2010-03-14 以减小的像模糊对物进行成像的成像系统和方法 Expired - Fee Related CN102422200B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US15984109P 2009-03-13 2009-03-13
US61/159,841 2009-03-13
US16719409P 2009-04-07 2009-04-07
US61/167,194 2009-04-07
US29378210P 2010-01-11 2010-01-11
US61/293,782 2010-01-11
PCT/IL2010/000214 WO2010103527A2 (en) 2009-03-13 2010-03-14 Imaging system and method for imaging objects with reduced image blur

Publications (2)

Publication Number Publication Date
CN102422200A true CN102422200A (zh) 2012-04-18
CN102422200B CN102422200B (zh) 2015-07-08

Family

ID=42227733

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201080020539.3A Expired - Fee Related CN102422200B (zh) 2009-03-13 2010-03-14 以减小的像模糊对物进行成像的成像系统和方法

Country Status (4)

Country Link
US (6) US9405119B2 (zh)
EP (1) EP2406682B1 (zh)
CN (1) CN102422200B (zh)
WO (1) WO2010103527A2 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573093A (zh) * 2015-12-16 2016-05-11 哈尔滨理工大学 基于最小二乘拟合相位型计算全息图编码误差校正方法
CN108132529A (zh) * 2017-03-03 2018-06-08 中国北方车辆研究所 一种基于波前编码的景深变焦光学方法及系统
CN108168464A (zh) * 2018-02-09 2018-06-15 东南大学 针对条纹投影三维测量系统离焦现象的相位误差校正方法
CN110068906A (zh) * 2018-01-23 2019-07-30 德克萨斯仪器股份有限公司 多轴线万向节扩展像素分辨率致动器
CN111123538A (zh) * 2019-09-17 2020-05-08 印象认知(北京)科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN113009689A (zh) * 2021-03-04 2021-06-22 清华大学 量子成像方法以及量子成像系统
CN113554555A (zh) * 2020-04-24 2021-10-26 深圳大学 相位畸变补偿方法、装置、计算机设备和存储介质
CN116625648A (zh) * 2023-07-21 2023-08-22 武昌理工学院 一种基于液晶微透镜阵列的距离测量方法

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2406682B1 (en) * 2009-03-13 2019-11-27 Ramot at Tel-Aviv University Ltd Imaging system and method for imaging objects with reduced image blur
US9137441B2 (en) * 2012-02-16 2015-09-15 Ricoh Co., Ltd. Spatial reconstruction of plenoptic images
US8761534B2 (en) 2012-02-16 2014-06-24 Ricoh Co., Ltd. Optimization of plenoptic imaging systems
JP5779724B2 (ja) * 2012-09-26 2015-09-16 富士フイルム株式会社 画像処理装置、撮像装置、コンピュータ及びプログラム
US9542742B2 (en) * 2014-01-30 2017-01-10 Ricoh Company, Ltd. Estimation of the system transfer function for certain linear systems
WO2016123529A1 (en) * 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
KR102163057B1 (ko) * 2015-10-13 2020-10-07 삼성전기주식회사 카메라 모듈 및 이의 제조 방법
US10075633B2 (en) * 2015-10-13 2018-09-11 Samsung Electro-Mechanics Co., Ltd. Camera module and method of manufacturing the same
JP7289653B2 (ja) * 2016-03-31 2023-06-12 ソニーグループ株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
CN108693642B (zh) * 2017-04-07 2021-11-09 东莞前沿技术研究院 光学成像系统成像质量的确定方法和装置
US20220012853A1 (en) * 2020-07-09 2022-01-13 Technoimaging, Llc Joint minimum entropy method for simultaneous processing and fusion of multi-physics data and images
EP4195918A1 (en) * 2020-08-14 2023-06-21 Martineau & Associates Systems and methods for aquatic organism imaging
CN114442131B (zh) * 2022-04-11 2022-06-14 西南交通大学 一种目标坐标计算的方法、装置、设备及存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757424A (en) * 1995-12-19 1998-05-26 Xerox Corporation High-resolution video conferencing system
WO2000012983A1 (en) * 1998-08-27 2000-03-09 Hyper3D Corp. Three-dimensional display system: apparatus and method
US20030038814A1 (en) * 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
WO2003021333A1 (en) * 2001-08-31 2003-03-13 The Regents Of The University Of Colorado Mtf-improved optical system employing phase mask with unchanged phase in central region
EP1296213A1 (de) * 2001-09-21 2003-03-26 EMT Ingenieurbüro für Elektro-Mechanische Technologien Dipl.-Ing. Hartmut Euer Verfahren und Vorrichtung zum Führen eines unbemannten Fluggerätes
EP1372013A1 (en) * 2001-02-19 2003-12-17 Olympus Optical Co., Ltd. Image comparing device, image comparing method and progrom having computer run image comparison
US20060045388A1 (en) * 2004-08-31 2006-03-02 Zeineh Jack A Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide
WO2006125975A1 (en) * 2005-05-23 2006-11-30 Qinetiq Limited Coded aperture imaging system
WO2007016318A2 (en) * 2005-07-28 2007-02-08 Microsoft Corporation Real-time preview for panoramic images
US20070280556A1 (en) * 2006-06-02 2007-12-06 General Electric Company System and method for geometry driven registration
WO2007141788A2 (en) * 2006-06-06 2007-12-13 Xceed Imaging Ltd. Optical system and method for multi-range and dual-range imaging
WO2008150285A1 (en) * 2007-05-24 2008-12-11 Fotonation Vision Limited Image processing method and apparatus
CN101339350A (zh) * 2008-08-14 2009-01-07 浙江渤影数码影像科技有限公司 一种拍摄设备及其全息冻结拍摄制作方法
WO2009020918A1 (en) * 2007-08-04 2009-02-12 Omnivision Cdm Optics, Inc. Multi-region imaging systems

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202925B2 (en) 2003-07-31 2007-04-10 Samsung Electronics Co., Ltd. Optical sheet assembly and liquid crystal display apparatus having the same
US7693324B2 (en) * 2004-07-13 2010-04-06 International Business Machines Corporation Optical surface inspection
WO2006027405A1 (en) * 2004-09-09 2006-03-16 Nokia Corporation Method of creating colour image, imaging device and imaging module
JP4699995B2 (ja) * 2004-12-16 2011-06-15 パナソニック株式会社 複眼撮像装置及び撮像方法
US8350948B2 (en) * 2005-11-29 2013-01-08 Kyocera Corporation Image device which bypasses blurring restoration during a through image
TWI397995B (zh) * 2006-04-17 2013-06-01 Omnivision Tech Inc 陣列成像系統及其相關方法
KR100827238B1 (ko) * 2006-08-21 2008-05-07 삼성전기주식회사 고화질 영상을 위한 영상 표시 방법 및 장치
EP1926047A1 (en) 2006-11-21 2008-05-28 STMicroelectronics (Research & Development) Limited Artefact Removal from Phase Encoded Images
US8115992B2 (en) * 2007-12-31 2012-02-14 Stc.Unm Structural illumination and evanescent coupling for the extension of imaging interferometric microscopy
EP2110702B1 (en) * 2008-04-16 2012-03-14 STMicroelectronics (Research & Development) Limited Compact optical zoom with extended depth of field through wavefront coding using a phase mask
EP2406682B1 (en) 2009-03-13 2019-11-27 Ramot at Tel-Aviv University Ltd Imaging system and method for imaging objects with reduced image blur

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757424A (en) * 1995-12-19 1998-05-26 Xerox Corporation High-resolution video conferencing system
WO2000012983A1 (en) * 1998-08-27 2000-03-09 Hyper3D Corp. Three-dimensional display system: apparatus and method
EP1372013A1 (en) * 2001-02-19 2003-12-17 Olympus Optical Co., Ltd. Image comparing device, image comparing method and progrom having computer run image comparison
US20030038814A1 (en) * 2001-08-27 2003-02-27 Blume Leo R. Virtual camera system for environment capture
WO2003021333A1 (en) * 2001-08-31 2003-03-13 The Regents Of The University Of Colorado Mtf-improved optical system employing phase mask with unchanged phase in central region
EP1296213A1 (de) * 2001-09-21 2003-03-26 EMT Ingenieurbüro für Elektro-Mechanische Technologien Dipl.-Ing. Hartmut Euer Verfahren und Vorrichtung zum Führen eines unbemannten Fluggerätes
US20060045388A1 (en) * 2004-08-31 2006-03-02 Zeineh Jack A Systems and methods for stitching image blocks to create seamless magnified images of a microscope slide
WO2006125975A1 (en) * 2005-05-23 2006-11-30 Qinetiq Limited Coded aperture imaging system
WO2007016318A2 (en) * 2005-07-28 2007-02-08 Microsoft Corporation Real-time preview for panoramic images
US20070280556A1 (en) * 2006-06-02 2007-12-06 General Electric Company System and method for geometry driven registration
WO2007141788A2 (en) * 2006-06-06 2007-12-13 Xceed Imaging Ltd. Optical system and method for multi-range and dual-range imaging
WO2008150285A1 (en) * 2007-05-24 2008-12-11 Fotonation Vision Limited Image processing method and apparatus
WO2009020918A1 (en) * 2007-08-04 2009-02-12 Omnivision Cdm Optics, Inc. Multi-region imaging systems
CN101339350A (zh) * 2008-08-14 2009-01-07 浙江渤影数码影像科技有限公司 一种拍摄设备及其全息冻结拍摄制作方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105573093B (zh) * 2015-12-16 2018-06-22 哈尔滨理工大学 基于最小二乘拟合相位型计算全息图编码误差校正方法
CN105573093A (zh) * 2015-12-16 2016-05-11 哈尔滨理工大学 基于最小二乘拟合相位型计算全息图编码误差校正方法
CN108132529A (zh) * 2017-03-03 2018-06-08 中国北方车辆研究所 一种基于波前编码的景深变焦光学方法及系统
CN110068906B (zh) * 2018-01-23 2023-04-07 德克萨斯仪器股份有限公司 多轴线万向节扩展像素分辨率致动器
CN110068906A (zh) * 2018-01-23 2019-07-30 德克萨斯仪器股份有限公司 多轴线万向节扩展像素分辨率致动器
CN108168464A (zh) * 2018-02-09 2018-06-15 东南大学 针对条纹投影三维测量系统离焦现象的相位误差校正方法
CN108168464B (zh) * 2018-02-09 2019-12-13 东南大学 针对条纹投影三维测量系统离焦现象的相位误差校正方法
CN111123538A (zh) * 2019-09-17 2020-05-08 印象认知(北京)科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN111123538B (zh) * 2019-09-17 2022-04-05 印象认知(北京)科技有限公司 图像处理方法及基于点扩散函数调整衍射屏结构的方法
CN113554555A (zh) * 2020-04-24 2021-10-26 深圳大学 相位畸变补偿方法、装置、计算机设备和存储介质
CN113554555B (zh) * 2020-04-24 2023-09-26 深圳大学 相位畸变补偿方法、装置、计算机设备和存储介质
CN113009689B (zh) * 2021-03-04 2021-12-21 清华大学 量子成像方法以及量子成像系统
CN113009689A (zh) * 2021-03-04 2021-06-22 清华大学 量子成像方法以及量子成像系统
CN116625648A (zh) * 2023-07-21 2023-08-22 武昌理工学院 一种基于液晶微透镜阵列的距离测量方法

Also Published As

Publication number Publication date
US9405119B2 (en) 2016-08-02
WO2010103527A2 (en) 2010-09-16
US20190295226A1 (en) 2019-09-26
EP2406682A2 (en) 2012-01-18
US20120062760A1 (en) 2012-03-15
EP2406682B1 (en) 2019-11-27
US20180253832A1 (en) 2018-09-06
US9953402B2 (en) 2018-04-24
WO2010103527A3 (en) 2010-11-11
US20230222629A1 (en) 2023-07-13
US10311555B2 (en) 2019-06-04
US11721002B2 (en) 2023-08-08
CN102422200B (zh) 2015-07-08
US20210166359A1 (en) 2021-06-03
US10949954B2 (en) 2021-03-16
US20160350897A1 (en) 2016-12-01

Similar Documents

Publication Publication Date Title
CN102422200B (zh) 以减小的像模糊对物进行成像的成像系统和方法
CN101819325B (zh) 光学系统和产生所述光学系统的方法
US11293806B2 (en) Wavefront sensor and method of using it
US20100008597A1 (en) Artifact removal from phase encoded images
US20110197428A1 (en) Optical mask for all-optical extended depth-of-field for imaging systems under incoherent illumination
US20050204329A1 (en) Methods and systems for designing electromagnetic wave filters and electromagnetic wave filters designed using same
US20080131018A1 (en) Artifact removal from phase encoded images
CN102356298A (zh) 光学测距仪与带有手性光学布置的成像仪器
US7635832B2 (en) Hybrid diversity method utilizing adaptive diversity function for recovering unknown aberrations in an optical system
Zhou et al. Revealing the preference for correcting separated aberrations in joint optic-image design
WO2007054938A2 (en) Optics for an extended depth of field
JP2021196230A (ja) 光学特性取得方法
Dun et al. Joint-designed achromatic diffractive optics for full-spectrum computational imaging
Pal Multi-scale methods for deconvolution from wavefront sensing
Yang et al. Improved spatial modulation diversity with high noise robust based on deep denoising convolution neural network
Alici Numerical study of satellite images in the presence of fifth-order aberrations and tri-arm fractal sparse apertures
CN101936780B (zh) 一种具有两面锥镜的波前传感器
Chulani et al. Simulations and laboratory performance results of the weighted Fourier phase slope centroiding algorithm in a Shack–Hartmann sensor
Florin A global study about optical 4f image processing filters
Yang et al. End-to-End Hybrid Refractive-Diffractive Lens Design with Differentiable Ray-Wave Model
Sun et al. Super-resolution imaging of telescopic systems based on optical-neural network joint optimization
Furieri Extended Field of View using Multi Conjugated Deformable Lenses
Youngworth et al. The AWMC metric for zoom lens assessment
Block A sensitivity study of a polychromatic sparse-aperture system
Otten III et al. Comparison between a Shack-Hartmann and a distorted grating wavefront sensor

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150708

CF01 Termination of patent right due to non-payment of annual fee