CN101048691A - 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深 - Google Patents

使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深 Download PDF

Info

Publication number
CN101048691A
CN101048691A CNA200580036684XA CN200580036684A CN101048691A CN 101048691 A CN101048691 A CN 101048691A CN A200580036684X A CNA200580036684X A CN A200580036684XA CN 200580036684 A CN200580036684 A CN 200580036684A CN 101048691 A CN101048691 A CN 101048691A
Authority
CN
China
Prior art keywords
image
subsystem
assembly
many focus
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA200580036684XA
Other languages
English (en)
Other versions
CN100594398C (zh
Inventor
尼古拉斯·乔治
迟万里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Automatic Recognition & Control
Original Assignee
Automatic Recognition & Control
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Automatic Recognition & Control filed Critical Automatic Recognition & Control
Publication of CN101048691A publication Critical patent/CN101048691A/zh
Application granted granted Critical
Publication of CN100594398C publication Critical patent/CN100594398C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00Optical objectives specially designed for the purposes specified below
    • G02B13/18Optical objectives specially designed for the purposes specified below with lenses having one or more non-spherical faces, e.g. for reducing geometrical aberration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95Computational photography systems, e.g. light-field imaging systems
    • H04N23/958Computational photography systems, e.g. light-field imaging systems for extended depth of field imaging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Lenses (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

一种通过计算成像系统获得的扩展景深,该计算成像系统结合了用于产生故意模糊中间图像的多焦点成像子系统以及用于产生具有扩展景深的恢复图像的数字处理子系统。所述多焦点成像系统优选的将球面像差展示为故意模糊的主要特征。所述多焦点成像子系统的中心遮拦使得物体点的点扩展函数在物距取值范围内更均匀。用于将中间图像转换为恢复图像的迭代数字去卷积算法包含加速收敛、避免驻点并且增强图像质量的度量参数。

Description

使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深
技术领域
本发明涉及能够通过将模糊的中间图像与产生具有扩展景深的恢复图像的数字处理组合从而进行对焦的成像场景或其他物体。更具体的,本发明应用于照相应用,并且包括图案识别、检测、显微镜、机器视觉和光学检测在内的其他应用也可以从中获益。
背景技术
由传统成像子系统成像的物体在一个称为景深的有限距离内被精确对焦,对于衍射极限成像,所述景深与成像系统的数字孔径的平方成反比。现在的相机具有包括自动系统的机械对焦装置,以在不同物距上提供特定场景的高质量图像,即便具有这样的装置,对横跨大范围的上述距离的物体进行清晰地摄像仍然是困难的。具有更大焦深的照相机无疑将会提供更优质的照片。
对图像数据进行的基于逐个像素的数字处理已经提供了更多机会来改善和校正光学成像的场景。这些改善中有些已经涉及对景深进行增大。例如,数字处理已经用于合并在不同焦深处得到的同一场景的图像以产生具有扩展景深的合成图像。这样的多个图像搜集起来耗费时间,处理困难,并且通常对于发生改变的场景而言也不能令人满意。
振幅衰减滤光器也已经用于对景深进行扩展。通常,所述衰减滤光器设置于成像系统的孔径中,使得内半径畅通而对外环面进行衰减。然而,所述滤光器产生了大量的光损耗,这限制了它的应用。
已经进行了更有价值的尝试,即,故意采用系统方法模糊中间图像,从而保留在对焦位置范围内的成像物体的至少某些信息并且在散焦范围内的非理想脉冲响应函数基本保持不变。数字处理对点扩展函数进行有效的去卷积,将图像恢复为在扩展景深范围内的更可分辨的物体图像。
此后,一个这样的示例在成像系统的孔径中设置立方相位掩膜(cubic phase mask)以产生不随距离变化的传递函数。数字处理去除所述模糊。尽管景深得到了显著改善,但是所述立方相位掩膜为非旋转对称的,并且已经被证实制造费用高且制造困难。
另一个这样的示例类似地设置了圆对称的对数型非球面透镜以扩展景深,其制造起来更加经济。然而,对于对数型非球面透镜,脉冲响应在全部工作范围内不完全一致,并且由此导致恢复图像的图像质量下降。
用于去除中间图像的模糊的重建算法受到涉及其结果的质量和效率的问题的制约。非线性处理算法可能遇到慢收敛或驻点的问题并且产生的图像在高空间频率处对比度减小。
发明内容
本发明在一个或多个优选实施例中,引入了多焦点成像子系统,所述多焦点成像子系统通过例如引入量受控的球面像差而故意模糊物体的中间图像,以在一个焦深范围内提供更一致的脉冲响应。优选的,三阶球面像差为故意模糊的主要特征。数字处理子系统通过所述更一致的脉冲响应恢复被卷积的图像,从而产生在物体深度的扩展范围内保持对焦的物体的照片。故意模糊中间图像所述多焦点成像子系统优选的为圆对称的,并具有中心遮拦孔径,这使得脉冲响应变窄并且避免了例如大量散焦时对比度反转的情况。总之,受控球面像差和中心遮拦孔径提供了在扩展焦深范围内非常窄并且不变的脉冲响应,以便在扩展区域达到远超出经典极限的衍射极限性能。在景深范围内的衍射极限性能可以增大到经典极限的6到10倍。所述成像子系统的圆对称结构简化了制造并降低了总成本。
根据本发明用于产生具有扩展景深的图像的集成计算成像系统的一个示例包括多焦点成像子系统,用于产生被故意模糊的中间图像。所述多焦点成像系统展示球面像差作为故意模糊的主要特征。中心遮拦与所述球面像差协作以减小散焦位置区域内模糊效果中的差异。数字处理子系统对通过多焦点成像子系统产生的中间图像进行去模糊并且计算具有扩展景深的恢复图像。
所述多焦点成像子系统的总像差可以表示为以成像光的标称波长表示的相位延迟函数,并且所述球面像差提供的相位延迟优选的在1.8到6倍波长之间。所述球面误差的受控测量优选的为大约三阶并且不依赖于照明波长、焦距、以及最佳对焦物距。
所述多焦点成像子系统的孔径优选的为圆对称的,最小半径为δR,其限定了中心遮拦的外部界限和环孔径的内部界限,并且最大半径R,其限定了环孔径的外部界限。优选的,假设没有过多光损耗,比率δR/R大于等于0.3。
所述多焦点成像子系统的至少一个透镜可以设计为基本没有球面像差,并且相位板(phase plate)可以设计为产生形成故意模糊的主要特征的球面像差。通常,所述相位板可以依附于在所述多焦点成像子系统的像平面一侧的所述多焦点成像子系统的孔径上。可替换的,所述多焦点成像子系统可以包括具有表面被修正以产生所述球面像差的至少一个透镜元件,所述球面像差形成故意模糊的主要特征并且在适当范围内以便减小脉冲响应的差异。所述球面像差也可以在一个以上的透镜元件分配,以提高设计的灵活性。优选的,对于所设计物体区域的中心,孔径中在δR和R处产生的所述相位延迟大致相同。
本发明的另一个实施例为扩展景深成像系统,包括多焦点成像子系统,其设计为理想成像组件和球面像差组件的组合,该球面像差组件均衡在物距取值范围内的对焦效果不均匀(in and out)。中间图像检测设备检测由成像子系统形成的图像,展示在该物距取值范围内的被均衡的对焦效果不均匀。计算机处理设备基于对在该物距取值范围内的被均衡的对焦效果不均匀的修正,计算具有扩展景深的恢复图像。
所述理想成像组件优选地用于为对给定物距处的物体进行成像,并且球面成像组件在其中对对焦效果不均匀进行均衡的物距取值范围包括所述给定的物距。例如,所述多焦点成像子系统可以包括一个设计用于提供理想成像组件的透镜和一个设计用于提供球面像差组件的相位板。所述相位板可以设置在所述透镜和所述中间图像检测设备之间的所述多焦点成像子系统的孔径中。
本发明还可实践为用于设计作为集成计算成像子系统的一部分的多焦点成像子系统的方法。所述多焦点成像子系统的第一组件设计为理想的成像组件,用于对在给定物距处的物体进行成像。所述多焦点成像子系统的第二组件设计为球面像差组件,用于均衡在物距取值范围内的对焦效果不均匀。将所述多焦点成像子系统的第一和第二组件组合,产生故意模糊的中间图像。所述多焦点成像子系统的第二组件提供作为所述故意模糊的主要特征的球面像差。与所述中间图像和所述故意模糊相关的信息被提供给数字处理系统,以便产生具有扩展景深的恢复图像。
球面成像组件在其中对对焦效果不均匀进行均衡的物距取值范围优选地包括所述给定的物距。而且,球面成像组件在其中对对焦效果不均匀进行均衡的物距取值范围比所述第一组件在其中产生衍射极限成像的物距大至少6倍。所述多焦点成像子系统的孔径优选的设置为具有中心遮拦,设计所述中心遮拦的尺寸以便与所述多焦点成像子系统的第二组件配合,从而进一步均衡在物距取值范围内的对焦效果不均匀。
根据本发明的集成计算成像系统的另一个示例包括用于产生物体的中间图像的多焦点成像子系统,所述多焦点成像子系统组合了理想成像组件和用于故意模糊中间图像的预定像差组件。所述多焦点成像子系统的中心遮拦使得随所述故意模糊产生的物体点的点扩展函数的在物距取值范围内更均匀。数字处理子系统将由所述多焦点成子系统产生的中间图像进行去模糊并且计算具有扩展景深的恢复图像。
物体点的点扩展函数中的每一个都优选地具有中心峰和振荡环形结构,并且所述中心模糊用来根据设计,使得近景(close-in)距离点和距离物体点两者之一的平均点扩展函数变窄。特别是,所述中心遮拦优选的使得的中心峰的宽度和振荡环形结构的宽度在多个物体点之间更一致。
所述多焦点成像子系统的故意模糊优选的是用于使得物体点的点扩展函数在物距取值范围内更均匀的初始点。所述中心遮拦优选的去除由故意模糊产生的点扩展函数的不同分量,以使得在多个物体点之间的平均点扩展函数的中心峰变窄,特别是与所述成像子系统的中心部分对应的物距。所述数字处理子系统优选的基于所述平均点扩展函数来计算所述恢复图像。与所述中心遮拦相关的性能提高被认为主要是由于在物距的设计取值范围内的各个点扩展函数的相似性,而不是由于伴随在理想成像系统中使用中心遮拦而来的任何对景深的直接增大。特别是,景深的相关改善,特别是对于近景距离,被认为主要是由于在所设计的物体取值范围内所述平均点扩展函数的更窄的中心峰和所述各个点扩展函数的相似的振荡环形结构。这两个因素导致各个点扩展函数随物距的变化较小,从而用于所述数字处理中的所述平均点扩展函数可以提供显著改善的输出。
而本发明的另一个示例为用于产生具有扩展景深的图像的集成计算成像系统,包括用于产生物体的中间图像的成像子系统以及使用预定量的三阶球面像差产生所述中间图像中的故意模糊的装置,所述三阶球面像差提供了扩展景深。数字处理子系统对通过所述多焦点成像子系统产生的中间图像进行去模糊并且用于计算具有扩展景深的恢复图像。
本发明的一个示例为多焦点成像系统,包括采用三阶球面像差对其进行故意模糊的多透镜元件系统,所述三阶球面像差提供扩展景深。所述三阶球面像差在多个透镜元件之间分配,并且形成了所述系统的主要单色像差。优选的,中心遮拦与所述三阶球面像差协作,用于减小在扩展景深范围内故意模糊中的差异。所述多透镜元件可以包括至少两个对数型非球面。
根据本发明的一种设计用于扩展景深成像的多焦点透镜系统的方法包括设计作为理想成像组件和像差组件的组合的成像系统,所述理想成像组件设置为用于衍射极限成像,所述像差组件由三阶球面像差所控制。所述三阶球面像差的量被确定为使得在扩展景深的范围内各个脉冲响应之间的差异减小。优选的,通过将三阶球面像差的量从某一个量调节到另一量以便确认在扩展景深的范围内各个脉冲响应的更加一致的组合,来确定三阶球面像差的量。
根据本发明的一种设计用于扩展景深成像的多焦点透镜系统的另一方法包括:通过将一定量的三阶球面像差结合到透镜设计中来修正理想透镜设计。修正了的透镜设计的性能在对焦位置范围内进行测试。调节所述三阶球面像差的量,以便产生在对焦位置范围内变化更小的点扩展函数。优选的将中心遮拦结合到所述设计中,以使得所述点扩展函数变窄,例如β型设计的近景距离处。
根据本发明的一种设计用于产生具有扩展景深的图像的集成计算成像系统的方法,包括设计具有像差组件的成像系统,所述像差组件由三阶球面像差控制,用来产生被模糊的中间图像。确定所述三阶像差的量,以使得在对焦位置范围内的各个脉冲响应之间的差异减小。所计算的脉冲响应偏移在该对焦位置范围内的各个脉冲响应的算术平均,以便对扩展景深范围内的脉冲响应进行不均衡加权。该所计算的脉冲响应被结合到数字处理算法中,用于对由多焦点成像子系统产生的中间图像进行去模糊并且用于计算具有扩展景深的恢复图像。
由此,根据本发明的圆对称的、具有球面像差的、具有中心遮拦孔径的多焦点成像系统可以用于中间成像。所得到脉冲响应在物体深度范围内具有充分的不变性,以支持用于恢复在焦深范围内保持对焦的图像的数据处理。这样的组合系统在光强度方面没有过多的损耗,可以在扩展景深范围内得到衍射极限分辨率,所述扩展景深是由传统透镜系统所得到的景深的10倍。用来扩展景深的现有技术不具备该能力。所述新的成像系统可以是圆对称的,所以制造起来也很经济。
本发明还可以实践为一种基于中间图像来恢复图像的方法,包括获取场景的中间图像以及使用最大熵算法来执行所述中间图像的迭代数字去卷积。使用最大熵算法估计一个新图像,其包含多个方向图的组合。通过使用度量参数来唯一性地改变这些方向图,从而加速逼近恢复图像的收敛,同时避免了驻点。
所述度量参数在度量参数值为0和1时与传统的最大熵算法一致。所述度量参数的值优选地在0到1之间选择,以方便调节不同像素值的权重。优选的,所述度量参数的值在0.2到0.6之间。适当选择所述度量参数,从而使得所得到调制传递函数的形状提高在接近奈奎斯特极限的高空间频率处的对比度。
所述中间图像可以使用多焦点成像系统例如非球面透镜来产生。这样的透镜的典型的点扩展函数具有减小图像对比度的振荡基(oscillating base)。所述度量参数在其优选范围内可调,显著减小了在模糊图像中所见到的侧瓣(side lobe)振荡。
发明人参考了非线性数字处理的新形式如“度量参数-最大熵算法”或者MPME算法,其被认为是对于数字图像处理具有广阔的应用性。快速收敛且避免驻点的特性通常可以有利于图像重建、恢复、滤波、以及图像处理。
附图说明
图1为根据本发明的集成计算成像系统的框图;
图2为具有中心遮拦孔径的多焦点成像子系统的图;
图3A-3F为描述对于不同球面像差量的中心遮拦β型多焦点透镜的点扩展函数的图;
图4A-4F为描述对于不同球面像差量的非中心遮拦β型多焦点透镜的点扩展函数的图;
图5A-5F为描述对于不同球面像差量的中心遮拦γ型多焦点透镜的点扩展函数的图;
图6A-6F为描述对于不同球面像差量的非中心遮拦γ型多焦点透镜的点扩展函数的图;
图7为根据最大熵算法的非线性数字处理的上层流程图;
图8为显示在用于确定对于由所述多焦点成像系统成像的物体的连续估计的最大熵算法中的步骤;
图9为显示与最大熵算法中的度量参数的优化相关的收敛优势的曲线图;
图10为用于具有全孔径的成像系统的、采用衍射极限距离而分离的两个点物体的一系列的图像,包括:中间图像(a),显示采用理想透镜对在最佳物距处的点物体成像的衍射极限模糊图像,中间图像(b)(c)(d),显示采用具有球面像差的多焦点成像子系统对其它物距成像的模糊图像,以及恢复图像(e)、(f)、(g)、(h),显示采用最大熵算法分别从中间图像(a)(b)(c)和(d)中恢复的图像;
图11为用于具有中心遮拦孔径的成像系统的、采用衍射极限距离而分离两个点物体的一系列的图像,包括:图像(a)、(b)、(c)、(d)、以及(e),由具有中心遮拦的理想透镜在不同物距上形成,中间图像(f)、(g)、(h)、(i)、以及(j),由具有中心遮拦的、具有球面像差的多焦点成像系统在相同物距上形成,以及恢复图像(k)、(l)、(m)、(n)、以及(o),显示采用最大熵算法分别从中间图像(f)、(g)、(h)、(i)、以及(j)中恢复的图像;
图12为示出在一个散焦物距处的两点物体的恢复数据的图,比较了来自具有不同中心遮拦值的具有球面像差的成像子系统的结果以及不具有中心遮拦的Nikon透镜的模糊图像数据;
图13为示出在一个最佳物距处的两点物体的恢复数据的图,比较了来自具有不同中心遮拦值的具有球面像差的成像子系统的结果以及不具有中心遮拦的尼康透镜的模糊图像数据;
图14为显示散焦老虎图像的最大熵恢复的系列图,包括图像(a),由不具有中心遮拦的理想透镜形成;以及恢复图像(b)、(c)、以及(d),分别来自于具有不同中心遮拦值0.0R、0.3R和0.5R的具有球面像差的成像系统;
图15为示出具有中心遮拦孔径的集成成像系统分别针对6个物距的各个总传递函数的图;以及
图16为描绘在使用点物体和边缘物体的集成成像系统的各个总传递函数之间相对较小的差别的图。
具体实施方式
对圆对称的多焦点透镜的研究表明,一定受控量的球面像差提供了产生更好的景深成像所需要的不随距离变化(distance-invariant)的模糊。优选的用于扩展景深的多焦点透镜可以是基于被修正以结合三阶球面像差以及更高阶球面像差的任意标准成像部件。所述标准成像部件包括Petzval透镜、Cooke透镜、以及双高斯透镜。
而且,研究还发现,景深成像的进一步提高,特别在整个扩展景深中的衍射极限分辨率方面,可以通过遮拦所述多焦点成像子系统的孔径的中心部分从而使得对于近景距离(β型设计)或对于远距离(γ型设计)的脉冲响应变窄而实现。这增大了脉冲响应不变的距离的取值范围。多焦点成像子系统的中心部分可以是使得脉冲响应随距离而改变的主要贡献者。中心遮拦与适当设计的多焦点成像的组合可以用于进一步扩展景深,或用于支持在扩展景深范围内的更高分辨率成像。
参考图1,用于扩展景深成像的集成计算成像系统10包括多焦点成像子系统12、中间图像检测设备14、数字处理子系统16,以及显示器18。
所述多焦点成像子系统12包括单个或多个元件透镜22和相位板24。所述透镜22优选的为具有至少一个设置用于理想成像的球面表面的传统透镜;并且所述相位板24优选的设置为提供预定量的球面像差。也可以将中心遮拦26放置在多焦点成像子系统12的孔径28中,以进一步提高性能。所述相位板24可以单独制造并且与透镜22排列为如图所示,或者相位板的光学效用可以被结合到透镜22的平面中,例如采用对数型透镜的形式。尽管透镜22和相位板24都优选的为透射性的,然而透镜22和相位板24两者或者任意一者都可以制造成反射面例如在望远镜摄影应用中。所述中心遮拦26也可以采用不同方式实现,例如通过在孔径28添加中心阻挡(stop)或者通过设置中心黑暗的环形发光图案。现有的中心阻挡也可以用于本发明的目的,例如望远镜的辅镜。
本发明所设想的其他成像系统包括多个透镜元件,例如用于处理色差或者其他的成像需求。本发明在这种多个透镜元件的设计中提供更加灵活的设计,以将所需球面像差的量在多个透镜元件之间进行分配。例如,可以将多个透镜元件中的至少两个形成为对数型非球面,每个包括所需球面像差的一部分。
图像检测设备14采集通常被模糊了的物体20的中间图像30,图像检测设备14可以制成反常(pixilated)CCD(电荷耦合器件)或者COMS(互补金属氧化物半导体)检测器或者其他的光敏设备。检测器像素可以设置为二维阵列、一维阵列、或者甚至是单个检测器像素。任意少于二维的像素组合都优选的易于扫描以采集足够的信息来完成二维中间图像30。然而,一维成像能够用于特殊的应用。
为了进行图像处理,所述数字处理子系统16优选地包括具有硬件和软件的组合的计算机处理设备。所述数字处理子系统16可以结合到一个相机系统中,该相机系统还包括了所述多焦点成像子系统12的,或者所述数字处理子系统16可以设置为独立的图像处理计算机。所述数字处理子系统16的主要用途是对中间图像30进行锐化。逆滤波器或其变型,例如Wiener滤波器,可用作这一用途。优选的,采用非线性算法例如迭代最大熵算法来锐化中间图像30。如果采用最大熵算法,可以随意选择加速因子、度量参数来优化速度与收敛。
经过数字处理的图像称为恢复图像32,其被输出至显示设备18,显示设备18可以为CRT(阴极射线管)、LCD(液晶显示器)或者其他的适合于观测目的的显示设备。可替换的,所述显示设备18可以省略而可以将所述恢复图像32输入到其他的功能硬件或软件。例如,所述恢复图像32可以输入到图案识别系统或者机器视觉系统。如果所述恢复图像32用于后面两种用途,则所述数据处理子系统可以结合至所述图案识别或机器视觉系统中。所述数字处理设备可以根据在中间图像中的模糊量而变为可选的。
所述集成计算成像系统10应用于二元成像或灰度级成像或者彩色成像。其还可应用于包括红外成像在内的不同的波长范围。
图2中显示了用于产生所述中间图像30的修正的多焦点成像子系统12的光路图,其是基于对数型非球面34的使用的,所述对数型非球面34结合了透镜22的理想成像以及相位板24的预定球面像差。点光源S位于沿着光轴36的位置上并与物平面I处的对数型非球面34间隔s0的距离处,点光源S在像平面II处成像为模糊的中间点图像P,像平面II沿光轴36在对数型非球面34的另一侧的距离t处。对数型非球面34安装在环(或者环形)孔径28中,其半径为从δR到R,其中δR为中心遮拦26的半径,R为透镜孔径28的半径,此处0≤δR<R。透镜孔径28的中心部分从光轴36至δR被具有碟形阻挡形式的中心遮拦26所遮挡。然而,δR=0被看作全孔径的特殊情况,这与本发明的特殊实施例相一致。
在光学系统设计中,所述理想成像组件和像差可表示为:
            φ/k=W+φideal/k                       (1)
其中相位延迟φ以弧度来度量,k等于2π/λ0,此处λ0为光源的平均波长,W为测微器(micrometer)中的光路差(light path difference,O.P.D)。
对于理想成像系统,以下为公知的:
φ ideal = k ( t 2 + r 2 - t + s 0 2 + r 2 - s 0 ) - - - ( 2 )
其中理想衍射极限透镜的相位延迟φideal以弧度来度量,r为平面I中的径向坐标,s0为对焦的物体位置,且k=2π/λ0
对于理想透镜,例如具有s0=1500mm、t=62.5mm、R=8mm和λ0=0.5μm的示例,从φideal的幂级数展开中,可以轻易地发现:
φ ideal = 6702.07 ( r R ) 2 - 26.35 ( r R ) 4 + 0.21 ( r R ) 6 + . . . - - - ( 3 )
其中方程(3)在非傍轴范围下有效。
对于用下标β和下标γ表示的两种对数型非球面的O.P.D.W,可以将其表示如下:
W = s 0 2 + r 2 - s 0 + λ 0 2 π φ P - - - ( 4 )
其中,s0为景深范围的中心,λ0为光源在真空中的波长,对于两种类型对数型非球面的φP的表示φ和φ可以表述为如下:
φ Pβ ( ρ ) = a β t 2 + r 2 2 { ln [ A β ( t 2 + r 2 ) ] - 1 } - a β t 2 2 [ ln ( A β t 2 ) - 1 ] - - - ( 5 )
其中
a β = 2 π λ 0 1 / δ R 2 + s 1 2 - 1 / R 2 + s 2 2 ln ( R 2 + t 2 δ R 2 + t 2 ) A β = 1 δ R 2 + t 2 exp [ - R 2 + s 2 2 R 2 + s 2 2 - δ R 2 + s 1 2 ln ( R 2 + t 2 δ R 2 + t 2 ) ] . - - - ( 6 )
并且
φ Pγ ( ρ ) = - a γ t 2 + r 2 2 { ln [ A γ ( t 2 + r 2 ) ] - 1 } + a γ t 2 2 [ ln ( A γ t 2 ) - 1 ] - - - ( 7 )
其中
a γ = 2 π λ 0 1 / R 2 + s 1 2 - 1 / δR 2 + s 2 2 ln ( R 2 + t 2 δ R 2 + t 2 ) A γ = 1 δ R 2 + t 2 exp [ R 2 + s 1 2 δ R 2 + s 2 2 - R 2 + s 1 2 ln ( R 2 + t 2 δ R 2 + t 2 ) ] . - - - ( 8 )
根据方程(5)或(7)的幂级数展开,可以理解为了本发明的目的,附加的球面像差是所引入的故意模糊的主要特征。这在某些特定实施例中将表现得更为明显。
为完成基于方程(4)至(8)的设计,可以随着t、R、δR、s0以及λ0的典型值一起来选择景深s1、s2的所需范围。其后,可以计算变量aβ、Aβ和φ(或者aγ、Aγ和φ)。从而,方程(4)可以用于计算像差项W。
上述的对数型非球面是能够根据本发明构造的多焦点透镜的示例。从更普遍的观点来看,用于扩展景深成像的多焦点透镜可以由任意标准成像装置组成,所述标准成像装置设计为结合了预定量的球面像差,包括三阶球面像差以及更高阶球面像差。例如,如Petzval透镜、Cooke透镜以及双高斯透镜的标准成像与投影部件可以用于这些目的。
为了在像差的取值范围方面描述多焦点透镜,可以使用(r/R)项的级数来展开所述像差函数φP。例如,如果方程(4)、(5)、(6)的设计参数设为:s0=1500mm、s1=1400mm、s2=1615mm、t=62.5mm、R=8mm、λ0=0.5μm以及δR=0,则可得到β型对数型非球面或者对数型相位板的相位延迟的幂级数展开,表示为:
                                   表格I
  (r/R)2   (r/R)4   (r/R)6   (r/R)8   (r/R)10
  β型透镜系统   6721.22   -45.63   0.32   可忽略   可忽略
  理想透镜   6702.07   -26.35   0.21   可忽略   可忽略
  β型相位板   19.15   -19.28   0.11   可忽略   可忽略
在表格I中,第一行数据为从方程(1)中得到的多焦点透镜的总相位延迟函数,也就是,φβ(r)=6721.22(r/R)2-45.63(r/R)4+0.32(r/R)6+...。第二行数据为理想透镜部件如Petzval透镜、Cooke透镜、双高斯透镜或者Cassegrain系统的弧度相位延迟函数。第三行数据为相位延迟函数的像差项,是多焦点透镜与理想透镜的相位延迟之差。多焦点透镜中的主要像差项为三阶球面像差。(也就是r/R的第四阶项)。对于衍射极限分辨率,允许的最大的O.P.D.通常为0.25λ。为获得景深的十倍增加,所述球面像差大约为三倍的波长(即19.28λ/2π=3λ),其对于衍射极想成像而言是可允许散焦的十倍多一点。本发明的多焦点透镜的良好性能包括1.8到6倍波长的球面像差量,同时更高阶球面像差无显著意义。以此方式设计的多焦点透镜的扩展景深是传统理想透镜的景深的6到10倍。
本发明的多焦点透镜的另一示例除了δR/R=0.5外具有与上述相同的参数值,以阐述中心遮拦26的效用。下面的表II显示了不同项的相位延迟。
                                   表格II
  (r/R)2   (r/R)4   (r/R)6   (r/R)8   (r/R)10
  β型透镜系统   6734.06   -52.11   0.36   可忽略   可忽略
  理想透镜   6702.07   -26.35   0.21   可忽略   可忽略
  β型相位板   32.99   -25.76   0.15   可忽略   可忽略
尽管三阶球面像差(r/R)4看来比不具备中心遮拦时更大,但是有效的三阶球面像差,即来自于透镜边缘与中心遮拦阻挡的边缘之间的球面像差的相位延迟差为25.76-{25.76×(δR/R)2}=19.32弧度。这样,对于表I描述的全孔径多焦点透镜和表II描述的中心遮拦多焦点透镜,有效的三阶像差量近似相等。因此,性能良好的中心遮拦多焦点透镜具有大小仍然在1.8到6倍波长范围之间的有效三阶像差。
从以上描述明显可见,具有在1.8到6倍波长范围内的有效三阶球面像差的多焦点透镜可以将景深提高到传统透镜的景深的6到10倍。这一结论适合于任何合理的中心遮拦量并且不依赖于光源的波长、焦距和最佳的对焦物距。
第二阶项,即级数展开的(r/R)2,与景深的增加无关,但是具有改变对焦范围的中心位置的功能。对于第二阶项,通常采用使得在孔径28的内缘处的像差W和中心遮拦的外缘处的像差W具有相同值的方式来选择一个值,从而便于相位板或者透镜的制造。在不使用中心遮拦,即δR=0的情况下,选择第二阶项的系数以使得孔径28的边缘处的像差W为零。
这些受控制的像差可以以不同的方式结合到公知的成像透镜部件中,例如,Petzval透镜或者Cooke透镜中。对于现有的透镜部件,一种简单的方式是将多焦点透镜的像差部分制造为相位板24,其能够附加到透镜部件的孔径28。如果透镜部件的孔径28在像平面(II)端的末尾的透镜元件的外侧,这样的方法更加有效。
实现多焦点透镜的另一方法是将像差结合到对数型非球面34的透镜设计中。通过修正对数型非球面34的表面参数,总相位延迟参数仍然可以包括理想透镜部分和像差部分。这种方法的好处是不需要实际的透镜元件。例如,公知透镜部件的翻转过渡(flipover)引入大量的球面像差,这可以用作初始设计点。本实施例的两个重要特征是其包括了良好的角度分辨率和良好的颜色校正。所需球面像差的量可以在所述设计的多个透镜元件之间进行分配以提高设计的灵活性。
基本不随距离变化的脉冲响应对恢复具有扩展焦深的图像是重要的。预定量的球面像差可以用来产生更多不随距离变化的脉冲响应,以得到具备中心遮拦和不具备中心遮拦时的有效性能。在δR=0.5的透镜中,球面像差的最佳量为大约3倍的波长。然而,球面像差在1.8到6倍波长的范围内,可以获得非常好的图像恢复。图3A-3F显示了用于不随距离变化的脉冲响应的有效范围。注意:1)中心峰的宽度;2)侧瓣的相似性;3)渗漏到侧瓣的能量。图4A-4F显示了对于δR=0的透镜的相应的脉冲响应。
上述讨论也应用于γ型对数型非球面的情况。对于γ型对数型非球面,W的幂级数的系数的符号改变了但是其他的类似,这以示例显示如下。
对于γ型对数型非球面,可以使用同样的设计参数,包括:s0=1500mm、s1=1400mm、s2=1615mm、t=62.5mm、R=8mm、λ0=0.5μm以及δR=0。根据方程(4)、(7)和(8),可得到如表格III中所示的γ型对数型非球面或者对数型相位板的相位延迟的幂级数展开。
                                  表格III
  (r/R)2   (r/R)4   (r/R)6   (r/R)8   (r/R)10
  β型透镜系统   6682.92   -7.05   0.10   可忽略   可忽略
  理想透镜   6702.07   -26.35   0.21   可忽略   可忽略
  β型相位板   -19.15   19.30   -0.11   可忽略   可忽略
作为所述多焦点透镜的另一实施例,表IV基于与上述相同的参数,但是具有δR/R=0.5以阐明中心遮拦26的效用。其结果可以与表格II中的进行比较。
                                     表格IV
  (r/R)2   (r/R)4   (r/R)6   (r/R)8   (r/R)10
  β型透镜系统   6670.05   -.56   0.07   可忽略   可忽略
  理想透镜   6702.07   -26.35   0.21   可忽略   可忽略
  β型相位板   -32.02   25.79   -0.14   可忽略   可忽略
β型相位板与γ型相位板之间的差别是第二阶和四阶项的符号的改变。第四阶项对应于三阶球面像差,对于γ型透镜为正,对于β型透镜为负。然而,相应的三阶球面像差项的绝对值对同样的设计范围是相似的。
为了论证所述γ型透镜的性能,图5A-5F描述了对于结合了δR/R=0.5的中心遮拦的O.P.D.的单元中不同量的三阶球面像差的点扩展函数。图6A-6F描述了对于不具备中心遮拦的O.P.D.的单元中不同量的三阶球面像差的点扩展函数。明显的,点扩展函数的宽度随着物体远离而从小到大地变化,这与β型透镜的结果相反。从图5和图6明显的看出,有效球面像差仍然在1.8到6倍波长的范围内,只不过对于γ型透镜所述范围为正而对于β型透镜所述范围为负。从透镜类型之间进一步的比较中可以看出,β型提供了更佳的长距离性能,而当近景距离更关键时γ型的性能更优。
基于在物距取值范围内(例如s1到s2内)的各个脉冲响应的相似性,中间图像30的数字处理可以用于锐化在整个景深范围内的物体点的图像。图像恢复的一个方法是使用逆滤波器,例如Weiner-Helstrom逆滤波器。可替换的,可以将最大熵算法编程到数字处理子系统中,并且应用该算法的优选方法在下面进行描述。
对于已知的、经过测量的噪声图像d、点扩展函数h、以及在d的第i、j像素中的噪声
Figure A20058003668400311
的标准偏差σi,j以及未知的物体f,可以写出如下的关系:
其中双星号(**)为空间卷积。为了估计物体f,我们以假定的物体f(0)开始并且根据图5进行迭代。最大熵标准是找到物体f的估计,其将在C=Caim妇的制约条件下使得S最大。
其中:
C = Σ i , j 1 σ i , j 2 ( d - h * * f ) i , j 2 - - - ( 10 )
S = - Σ i , j f i , j ( ln f i , j ⟨ f ⟩ - 1 ) - - - ( 11 )
并且Caim为图像中像素的总数,<f>为图像的平均。
最大熵算法是确定图像20的估计的迭代方法。图5中显示了所述算法,其中采用透镜的实际点扩展函数对未知物体进行卷积。然后,在成像过程中添加噪声。从物体的最初估计开始,通过用单个点扩展函数进行卷积来计算该物体的图像。然后,计算测量的模糊图像和计算的模糊图像的差别。如果所述差别在统计上比实验中的噪声更大或者未达到熵最大化的标准,则产生新的物体估计,直到噪声约束和熵最大化标准都符合要求为止,即,满足方程(10)和(11)。
卷积使用的单个点扩展函数可以计算为对不同焦深而观测的各个点扩展函数的平均。然而,可以对各个焦距进行不同的加权,以调节单个点扩展函数从而支持用于补偿其他效应的其他的特定物距。实验上单个点扩展函数也可以被改变,以获得特定应用或场景的预期结果。
对于每次迭代,通过将三个(四个)方向图(direction-image)与适当的系数相加,可以从先前的估计中计算新的物体估计,即:
Figure A20058003668400321
其中f(n+1)为物体的第(n+1)次估计,f(n)为先前的第n次估计,ei为第i个方向图。
这样,所述算法的两个关键步骤为:
i)应使用什么方向图ei
ii)如何计算所述方向图的相应系数xi
作为确定方向图ei的第一步骤,引入新的度量参数γ。所述参数γ调节通过急速上升(steep ascent)法得到的方向图的像素值。所述参数γ的范围从0到1,尽管γ>1也是可能的。当该参数越大时,就更加强调较大的像素值,并且方向图ei与通过急速上升法得到的方向图之间存在更大的偏离。
在第二步骤中,与变量δf有关的S和C的泰勒展开被计算至第二阶项。从而,建立二次近似模型St和Ct。所述二次模型极大地方便了所述约束的最大化过程,这是因为这些二次方程比方程(10)和(11)中的原始的非线性方程更容易求解。图8中显示了如何找到物体的下一个估计的图。
为了研究度量参数γ的最佳值,进一步研究了改变参数γ的效果。采用了改变了直方图的3个不同图像,包括:二元场景、斑马和老虎。每个图像具有256×256像素,最大像素范围为255。使用15个标准化的脉冲响应模糊每个图像,最大的模糊包括具有15个非零值和外围的10个零值的5×5的矩阵。在9个步骤中,添加具有取值范围为0.2到1.8的标准偏离σ的高斯噪声。所述度量参数γ为取值范围从0.0到1.0的给定的21个值。因此,在这些计算机模拟中,存在大约8000种情况。使用针对迭代数量的有效参数是方便的,其由Lσ/D进行定义,其中L为使得最大熵计算收敛的循环次数,σ为噪声标准偏差,D为模糊函数中的非零像素的数量。在图9中显示了Lσ/D相对于γ的图,其中γ为所述度量收敛参数。在所述算法中的初始图像为像素值与模糊图像的均值相同的单一灰度值的灰度图像。使用参数Lσ/D的基本原理解释如下。
对于计算机模拟,用于最大熵恢复的循环L的数量与点扩展函数的面积D成线性比,或者与所述模糊程度的定性地成比例。所述循环L的数量也近似的反比例于噪声的标准偏差σ。
对于图像内容的广泛变化,从图9明显可见选择γ=0.4相比γ=0.1而言提供了更快的收敛。对于急速上升法,γ=0时,算法是收敛的,但是对于固定的σ/D的循环次数与γ=4的情况下相比为后者的173倍(对于斑马)。另一个特征在该曲线中不是显而易见的:当度量γ等于或者接近1时,有可能算法会由于驻点而失败。通过这个实验,所述度量参数的推荐值为从0.2到0.6,并且更优选的为从0.3到0.5。总之,明显可见,使用度量参数γ保证了收敛并且使得该算法对于场景的宽广范围的收敛得更快。在0.3<γ<0.5情况下没有观测到驻点。这种新型的非线性数字处理被称为度量参数-最大熵(MPME)算法。
接下来对所述度量参数-最大熵算法进行更精确的数学描述,其中对所述度量参数γ的控制使得该算法能够对于场景的宽广范围收敛得更快。
为了方便,用于该章节中的两个算子定义如下:
(i)如果f为向量f={fi},则f分量定义为如下的向量:
( f . &gamma; ) = &Delta; { f i . &gamma; }
(ii)如果f和g为同一维度的向量,f={fi}并且g={gi},则f.×g为分量定义为如下的向量:
{ f . &times; g } i = &Delta; { f i g i }
为根据拉格朗日乘子法求解{fk},定义如下的新函数:
                 Q=S-λC                           (13)
其中λ为拉格朗日乘子常数。现在,该问题变为在约束C=Caim下使得Q最大化。由于Q为n个变量的函数,其中n为图像中的像素个数,n通常非常大,所以可用迭代数值法进行求解。在每次迭代中,标准的方式是先确定多个查找方向,所述查找方向是估计该解所位于的方向,然后找到沿着这些方向的步长。
选择方向图在确定算法的收敛和速度中非常重要。在急速上升法中,使得Q最大化的查找方向为Q。但为了调节不同像素值fi的权重,所述方向可以修正为:
                 eA=f×Q                   (14)
在上述方程中,新的度量参数γ提高了度量参数-最大熵算法的速度和可靠性。对于摄影中的图像去模糊,较大的像素将具有较大的权重,所以选择γ>0以使得所述算法更快的接近所需要的更大的像素值。通常γ是从0到1中选择。当γ=0,eA成为最急速上升法的查找方向。当γ=1,eA成为Burch等人在Comput.Visions Graph.ImageProcess.23,113-128(1983)中的题为“Image restoration by a powerfulmaximum entropy method”的论文中使用的查找方向,其作为参考结合于此。最急速上升法以及Burch等人的方法都没有结合所述度量参数γ,所述度量参数γ提供了可用来提高收敛速度并避免驻点的新的数学结构。
在所述最大点Q,有
                   Q=0                        (15)
这表示Q·Q也需要被最小化。因此,下一个查找方向应为1/2(Q·Q),或者Q·Q。在此,Q为二次梯度(dyadicgradient),其分量定义如下:
( &dtri; &dtri; Q ) ij = &PartialD; 2 &PartialD; f i &PartialD; f j Q
此外,为强调较大的像素值,所述方向被修正为:
e B = f . &gamma; . &times; [ &dtri; &dtri; Q &CenterDot; ( f . &gamma; . &times; &dtri; Q ) ] - - - ( 16 )
将方程(13)带入到方程(14)(16)中得到:
e A = f . &gamma; . &times; &dtri; S - &lambda; f . &gamma; . &times; &dtri; C e B = &lambda; 2 f . &gamma; . &times; [ &dtri; &dtri; C &CenterDot; ( f . &gamma; . &times; &dtri; C ) ] - &lambda; f . &gamma; . &times; [ &dtri; &dtri; C &CenterDot; ( f . &gamma; . &times; &dtri; S ) ] + f . &gamma; . &times; [ &dtri; &dtri; S &CenterDot; ( f . &gamma; . &times; &dtri; S ) ] - &lambda; f . &gamma; . &times; [ &dtri; &dtri; S &CenterDot; ( f . &gamma; . &times; &dtri; C ) ] . - - - ( 17 )
观察上述表达式,可知所述两个方向实际上为多个方向的线性组合,所述这些方向可以作为独立的查找方向对待,即
e 1 = f . &gamma; . &times; &dtri; S e 2 = f . &gamma; . &times; &dtri; C e 3 = f . &gamma; . &times; [ &dtri; &dtri; C &CenterDot; ( f . &gamma; . &times; &dtri; C ) ] e 4 = f . &gamma; . &times; [ &dtri; &dtri; C &CenterDot; ( f . &gamma; . &times; &dtri; S ) ] e 5 = f . &gamma; . &times; [ &dtri; &dtri; S &CenterDot; ( f . &gamma; . &times; &dtri; S ) ] e 6 = f . &gamma; . &times; [ &dtri; &dtri; S &CenterDot; ( f . &gamma; . &times; &dtri; C ) ] . - - - ( 18 )
从方程(10)和(11)中,得到:
( &dtri; S ) i = - ln f i &lang; f &rang; ( &dtri; &dtri; S ) i = - 1 f i &delta; ij - - - ( 19 )
并且:
( &dtri; C ) i = &Sigma; k = 1 n &Sigma; j = 1 n 2 &sigma; k 2 ( H kj f j - d k ) H ki ( &dtri; &dtri; C ) i = &Sigma; k = 1 n 2 &sigma; k 2 H kj H ki - - - ( 20 )
将方程(19)和(20)带入到方程(18)中得到每个查找方向的分量如下:
( e 1 ) i = - f i &gamma; ln f i &lang; f &rang; ( e 2 ) i = f i r &Sigma; k = 1 n &Sigma; j = 1 n 2 &sigma; k 2 ( H kj f j - d k ) H ki ( e 3 ) i = f i r &Sigma; j = 1 n &Sigma; k = 1 n &Sigma; l = 1 n &Sigma; m = 1 n f m &gamma; 4 &sigma; k 2 &sigma; l 2 ( H kj f j - d k ) H km H li H lm ( e 4 ) i = - f i &gamma; &Sigma; j = 1 n &Sigma; k = 1 n f j &gamma; 2 &sigma; k 2 H ki H kj ln f j &lang; f &rang; ( e 5 ) i = f i 2 &gamma; - 1 ln f i &lang; f &rang; ( e 6 ) i = - f t 2 &gamma; - 1 &Sigma; k = 1 n &Sigma; j = 1 n 2 &sigma; k 2 ( H kj f j - d k ) H ki - - - ( 21 )
在所述算法中,e5和e6可以不作为查找方向,因为当γ=0.5时,它们分别分解为e1和e2;并且当γ<0.5时,对于小的像素值,它们都涉及除以较小的数的问题,这可能导致数值的精确度问题。所以,e1、e2、e3和e4被选为四个查找方向。
为简化算法,三个查找方向对此问题已经足够,选择e1、e2和e3或者选择e1、e2和e4-λe3作为另一个选择。所述算法以大约相同的速度收敛,尽管后一种选择更好一些。此处,λ为由方程(13)和(15)选择的常数,即,λ通过以下而得到:
&lambda; = [ &Sigma; i = 1 n f i &gamma; ( &PartialD; S &PartialD; f i ) 2 &Sigma; i = 1 n f i &gamma; ( &PartialD; C &PartialD; f i ) 2 ] 1 / 2 - - - ( 22 )
为简化起见,在两种情况中的任一情况下三个方向均被记为e1、e2和e3。在每个查找方向的计算中,显而易见的是,方向e2和e3基本上是与真实点扩展函数h和变形为一维前的物体f相关的卷积。需要注意的是,确定在进行卷积操作后不存在像素位移或是图像位置位移。
在对于当前迭代(n)计算了三个查找方向后,下一个任务是找到下次迭代f(n+1)的物体估计,其被定义为:
                   f(n+1)=f(n)+δf                    (23)
其中,δf为对于当前迭代的图像变化。其定义为各个查找方向的如下线性组合,其中各个查找方向的系数待定,即:
               δf=x1e1+x2e2+x3e3                     (24)
由于S和C是以复杂方式变化的f的函数,所以可采用泰勒展开将它们的值作为查找方向的函数来计算。保留到二次项,St和Ct可被记为如下:
S t = S ( f ( n ) ) + &dtri; S &CenterDot; &delta;f + 1 2 &delta;f &CenterDot; &dtri; &dtri; S &CenterDot; &delta;f - - - ( 25 )
C t = C ( f ( n ) ) + &dtri; C &CenterDot; &delta;f + 1 2 &delta;f &CenterDot; &dtri; &dtri; C &CenterDot; &delta;f - - - ( 26 )
将方程(24)代入到方程(25)和(26)中,得到记为矩阵形式的下列表达式,
S t = S 0 + AX - 1 2 X T BX - - - ( 27 )
C t = C 0 + MX + 1 2 X T NX - - - ( 28 )
在方程(27)和(28)中,符号被定义如下:
S0=S(f(n))
C0=C(f(n))
X=[x1 x2 x3]T
A=[S·e1 S·e2 S·e3]
B = - e 1 &CenterDot; &dtri; &dtri; S &CenterDot; e 1 e 1 &CenterDot; &dtri; &dtri; S &CenterDot; e 2 e 1 &CenterDot; &dtri; &dtri; S &CenterDot; e 3 e 2 &CenterDot; &dtri; &dtri; S &CenterDot; e 1 e 2 &CenterDot; &dtri; &dtri; S &CenterDot; e 2 e 2 &CenterDot; &dtri; &dtri; S &CenterDot; e 3 e 3 &CenterDot; &dtri; &dtri; S &CenterDot; e 1 e 3 &CenterDot; &dtri; &dtri; S &CenterDot; e 2 e 3 &CenterDot; &dtri; &dtri; S &CenterDot; e 3
M=[C·e1 C·e2 C·e3]
N = e 1 &CenterDot; &dtri; &dtri; C &CenterDot; e 1 e 1 &CenterDot; &dtri; &dtri; C &CenterDot; e 2 e 1 &CenterDot; &dtri; &dtri; C &CenterDot; e 3 e 2 &CenterDot; &dtri; &dtri; C &CenterDot; e 1 e 2 &CenterDot; &dtri; &dtri; C &CenterDot; e 2 e 2 &CenterDot; &dtri; &dtri; C &CenterDot; e 3 e 3 &CenterDot; &dtri; &dtri; C &CenterDot; e 1 e 3 &CenterDot; &dtri; &dtri; C &CenterDot; e 2 e 3 &CenterDot; &dtri; &dtri; C &CenterDot; e 3 - - - ( 29 )
其中[…]T表示矩阵的转置。矩阵A、B、M和N可以通过方程(20)和(21)计算。
方程(27)和(28)可以通过引入新变量将B和N对角化来被简化。首先,找到旋转矩阵R以将矩阵B对角化,即:
             RBRT=diag(λ1,λ2,λ3)          (30)
其中diag(…)表示对角矩阵。
新变量Y定义如下:
                   Y=RX                        (31)
将方程(31)和(30)代入到方程(27)和(28)中得到下列表达式:
S t = S 0 + AR T Y - 1 2 Y T diag ( &lambda; 1 , &lambda; 2 , &lambda; 3 ) Y - - - ( 32 )
C t = C 0 + MR T Y + 1 2 Y T RNR T Y - - - ( 33 )
B的部分特征值可能非常小,这将在以下两种情况中进行讨论。情况i)假定λ1、λ2和λ3都不小。
引入Z,这样:
Z = diag ( &lambda; 1 , &lambda; 2 , &lambda; 3 ) Y - - - ( 34 )
将方程(34)代入到方程(32)和(33)中,得到:
S t = S 0 + A R T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 ) Z - 1 2 Z T Z - - - ( 35 )
C t = C 0 + MR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 ) Z + 1 2 Z T PZ , - - - ( 36 )
其中:
P = diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 ) RNR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 )
第二个旋转矩阵V被引入以将P对角化,即,
           VPVT=diag(μ1,μ2,μ3)          (37)
并且还定义U为:
                U=VZ                         (38)
然后,将方程(37)和(38)代入到方程(35)和(36)中,得到下列表达式:
S t = S 0 + AR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 ) V T U - 1 2 U T U - - - ( 39 )
C t = C 0 + MR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 ) V T U + 1 2 U T diag ( &mu; 1 , &mu; 2 , &mu; 3 ) U . - - - ( 40 )
组合方程(31)和(34)和(38),得到恒等式:
X = R T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 1 &lambda; 3 ) V T U - - - ( 41 )
情况ii)假定λ3相对于λ1和λ2而言较小。
在这种情况下,方程(31)中λ3≈0,y3=0,并且还有:
z 1 z 2 z 3 = 0 = &lambda; 1 0 0 0 &lambda; 2 0 0 0 0 y 1 y 2 y 3 = 0 - - - ( 42 )
然后,方程(32)和(33)变成为:
S t = S 0 + AR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 ) Z - 1 2 Z T Z - - - ( 43 )
C t = C 0 + MR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 ) Z + 1 2 Z T PZ , - - - ( 44 )
其中
P = diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 ) RNR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 )
引入第二旋转矩阵V,这样
VPV T = &mu; 1 0 0 0 &mu; 2 0 0 0 &mu; 3 = 0 - - - ( 45 )
其中:
V = v 11 v 12 0 v 21 v 22 0 0 0 0
定义新变量U为:
                   U=VZ                            (46)
然后:
S t = S 0 + AR T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 ) V T U - 1 2 U T U - - - ( 47 )
C t = C 0 + M R T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 ) V T U + 1 2 U T diag ( &mu; 1 , &mu; 2 , 0 ) U - - - ( 48 )
组合方程(31)、(42)和(46),得到恒等式:
X = R T diag ( 1 &lambda; 1 , 1 &lambda; 2 , 0 ) V T U - - - ( 49 )
在另一种情况下,当λ1、λ2和λ3中有两个值比较小时,可以以类似的方式处理。通常,对于二阶矩阵被对角化的所有情况,St和Ct可以记为如下表达式:
S t = S 0 + &Sigma; s i u i - 1 2 &Sigma; u i 2 - - - ( 50 )
C t = C 0 + &Sigma; c i u i + 1 2 &Sigma; &mu; i u i 2 - - - ( 51 )
ui与xi(i=1、2、3或者i=1、2,或者i=1)的关系可以在恒等式方程(41)或者(49)中得到。
现在最大熵问题变为在方程(51)中的约束Ct=Caim下使得方程(50)中St最大化的问题。方程中(51)中的Ct具有最小值:
C min = C 0 - 1 2 &Sigma; c i 2 &mu; i - - - ( 52 )
很明显,Cmin可以大于Caim。如果此情况发生,则在约束Ct=Caim下对S的最大化将无解。因此定义一个新的约束,其总是可以按照如下而实现:
C t = C ~ 0 = &Delta; max { C 0 - 1 3 &Sigma; c i 2 &mu; i , C aim } - - - ( 53 )
通过引入如下的新变量Qt,能够使用拉格朗日乘子法来求解方程(50)中的最大化:
                Qt=αSt-Ct  (α>0)             (54)
其中Qt与方程(54)左侧的Q波动变量相对应,(α>0)保证得到的解将使得熵最大化而不是最小化。
将方程(50)和(51)代入到(54)中,得到使Qt最大化的μi的值如下:
u i = &alpha;s i - c i &mu; i + &alpha; - - - ( 55 )
其中α通过求解下列的方程而确定,该方程时通过将方程(55)代入方程(51)并且使用方程(53)中的约束而得到:
c 0 + &Sigma; c i &alpha; s i - c i &mu; i + &alpha; + 1 2 &Sigma; &mu; i ( &alpha; s i - c i &mu; i + &alpha; ) 2 = C ~ 0 ( &alpha; > 0 ) - - - ( 56 )
在已知α后,通过方程(55)和(41)或者(49)得到系数x1、x2和x3,并且用于下一次迭代的下一个假定物体可以通过方程(23)和(24)进行计算。在每次迭代时,每个假定物体的负值被重置为零。
在每次迭代中,如果满足约束C=Caim,则通过确定Q是否为零来检查熵是否被最大化,或者通过计算如下的值而检查S和C是否相似(parallel):
test = &dtri; S &CenterDot; &dtri; C &dtri; S &CenterDot; &dtri; S &dtri; C &CenterDot; &dtri; C - - - ( 57 )
如果|test|<0.1则该算法停止。
存在一种特殊情况,系数x1、x2和x3过大从而使得方程(25)和(26)中的表达式不准确。Burch等人的论文通过引入距离处罚(distance penalty)参数解决了此问题。然而,如果物体的初始估量为单一灰度图像或是模糊图像,则通常可以避免此复杂问题。只有当初始图像为随机时,才应该将额外的参数引入到算法中,而且只能在最初的几次循环中引入。在共同发明人撰写的在2003年12月的J.Opt.Soc.Am.A/Vol.20,No.12上的题为“Computational imaging with thelogarithmic asphere:theory”的论文中,对该度量参数-最大熵算法进行了进一步的描述,其作为参考结合于此。
除提高收敛速度并避免驻点之外,还可以改善去模糊和图像恢复。度量参数-最大熵算法或者MPME算法通过提高恢复图像的对比度而改善图像质量。调节度量参数γ,特别将其调节到0.2到0.6范围内,得到具有更接近矩形的形式的调制传递函数,这保存了较高空间频率成分的对比度。度量参数γ对于点扩展函数的影响同样也是明显的,因为在在中间图像中侧瓣振荡显著减小。最终的点图像更加接近真实点,并且仅具有少量或者根本没有环。振荡环的消失也提高了对比度。
所述MPME算法提供了可以以任意图像开始的迭代数字去卷积方法。下一个新图像的估计可以包含方向图的线性组合。度量参数γ对通过传统的最大熵算法提供的方向图进行修正,同时使得传统算法的方向图与度量参数γ的整数情况相一致。优选的,使用二次泰勒展开计算作为查找方向的函数的熵S和统计噪声约束C的值。修正的统计噪声约束确保了新图像的估计的迭代解。
度量参数-最大熵算法(MPME)由于所得到的总调制传递函数的“箱形”形式而具有重要的应用范围,如图15所示。因此,在高空间频率上,任意的数字图像的对比度将高于典型的标准衰退的摄影图像的对比度。公知的,当空间频率范围从零变化到公知为截止频率的奈奎斯特极限时,不连续的图像光学传递函数以三角形的方式衰减。MPME算法提供更尖锐、更明确、高分辨率的输出。虽然现有算法在提供某些高频或者边缘锐化的形式,但是这些现有算法也放大了高频噪声。例如这样的一种算法包括二维FFT,随后是高频加重(emphasis),随后是逆FFT。然而,公知的,这些提供了在更高空间频率上的加重或者更高对比度的现有算法放大了图像中的噪声。根据使用MPME算法的试验,从图7和8所述的操作研究中明显看出,MPME算法不存在这种缺陷。MPME算法在更高的空间频率上提供了更尖锐的对比度而没有对噪声进行不适当的放大。所以,这促使了它在数字图像处理中的普遍应用。
图2中明显可见,孔径28的可选择的中心遮拦被引入以改善系统的性能。通过将中心遮拦26结合到多焦点成像系统12中,处理的图像可以具有更高的分辨率和更高的对比度,特别是对于物距近的情况。下面的段落将详细描述该比较。
为阐明通过中心遮拦对数型非球面引起的性能改善,图10和11比较了通过全孔径对数型非球面产生的图像和通过中心遮拦对数型非球面产生的图像。图10中显示了基于全孔径β型设计对数型非球面,对两点物体成像的模拟情况。所述设计参数为:近距离s1=1400mm、远距离s2=1615mm、中间距离s0=1500mm,透镜的f/#为4。衍射极限景深为±8mm。两个物体点相互分离,间距为衍射极限距离即2.27μm。图10(b)-(d)分别显示对于物距s=1450mm、1500mm和1580mm,由该对数型非球面模糊的物体图像。图10(e)-(h)分别显示了图10(a)-(d)中图像的最大熵恢复结果。为进行比较,图10(a)和10(e)显示了理想透镜的性能。很明显的由于最大熵算法内在的去卷积,恢复性能非常好。在这些恢复中用到的噪声标准偏差为σ=1.5。用于图10(b)-(d)的点扩展函数为在整个设计范围内的对数型非球面的平均点扩展函数,并且用于图10(a)的点扩展函数为理想透镜的实际衍射模糊。在最大熵恢复中使用多个脉冲响应中的任意一个都将在所述距离得到近乎完美的恢复。然而,对于扩展景深而言,使用平均点扩展函数更有利。从图10(b)-(d)还可以看出,通过消除大部分的振荡环并且缩小模糊,可以在整个范围内获得接近衍射极限的分辨率。图10(g)-(h)中显示在恢复中明显的黯淡的环。
图11(a)-(o)中显示了使用中心遮拦的对数型非球面26的类似模拟。使用同样的近距离(s1=1400mm)、远距离(s2=1615mm)、中间距离(s0=1500mm)。中心遮拦δR=0.5,即孔径面积的25%没有被利用。所述遮拦导致光强度大约损失25%。在最终的设计均衡中需要考虑到这一点。在图11中,行分别对应于物距1450mm、1492mm、1500mm、1508mm和1580mm,而列分别对应于理想图像、中间(模糊)图像以及恢复图像。传统景深(对于全孔径f/4.0)的范围为从1492mm到1508mm。在设计范围内的单个平均脉冲响应被用于所有的五个恢复。从中间列的中间(模糊)图像可以清楚地看出对数型非球面的模糊的相似性,所有这些图像在中心处都具有两个明亮的峰并伴随低亮度的振荡环。中心的明亮峰也具有相似的尺寸。所述振荡环没有带来问题,因为所有的五个图像都已经得到了良好的恢复。所述两点的恢复(右边列)显示了从1450mm至1580mm的卓越的衍射极限分辨率。在s=1420mm(未图示),所述两点仍然可以容易分辨,但是不如图示中那样清晰。
性能的提升特别是对于近景距离的性能提升(β型设计),被认为是由于在整个所设计的物体区域内的平均点扩展函数的更狭窄的中心峰以及点扩展函数的相似的振荡环结构。这两个因素导致了点扩展函数随着物距s的变化较小,从而用于数字处理中的平均点扩展函数可以提供显著改善的输出。这样,比较图10和11可见,通过使用中心遮拦的对数型非球面可以获得显著改善的结果。在整个物距取值范围内,所述环被更好的抑制并且两点更加清晰可辨。而且,中心遮拦可以避免例如散焦量较大时对比度反转的情况。
为进一步演示中心遮拦的对数型非球面的性能改善,图12和13中显示了与使用三个对数型非球面对相同的两点物体进行成像相关的强度分布,所述三个对数型非球面分别具有不同的中心遮拦值δR=0、δR=0.3、δR=0.5。当物体位于距离s=1450mm或者比最佳对焦平面近50mm时,在两点的方向中所恢复的一维像素值与由理想透镜成像的模糊图像的像素值一起绘于图12中。为产生理想透镜曲线,使用全孔径的透镜,即δR=0。中心遮拦为δR=0.5时产生完全可辨的两点恢复。然而,当遮拦减小到δR=0.3时,恢复点刚刚可分辨;并且当没有中心遮拦即δR=0时,恢复点不可分辨。这些曲线清楚地显示出通过恰当尺寸的中心遮拦得到的性能的改善。所述的性能改善被认为主要是由于物距的整个设计取值范围内的点扩展函数的相似性,而不是出于通过中心遮拦获得的景深增大,因为从先前章节可以看出通过孔径的中心遮拦得到的景深提高,就其自身而言,是非常有限的。图13显示了在对于所述对数型非球面和理想透镜的最佳的对焦位置即距离s=1500mm处的物体的一系列相似曲线。此外,明显看出具有中心遮拦的对数型非球面对于分辨能力和对比度的好处。
通过本发明可能得到的性能改善对于摄影具有特别的益处,可以通过比较图14(a)-(d)的图片观察到这一点。在这次模拟中,老虎图片在距离1580mm处(即超出最佳对焦位置80mm)。图14(a)为不具有中心遮拦的对数型非球面的恢复图像。图14(b)和14(d)分别为具有中心遮拦δR=0.3和δR=0.5的对数型非球面的恢复图像。为了进行比较,图14(c)显示了通过具有全孔径的理想透镜再生的老虎图像,用于进行比较。具有遮拦和不具有遮拦的对数型非球面都可以扩展景深。然而,具有遮拦的对数型非球面得到的恢复图像更佳,因为存在更少的伪像。恢复造成的伪像被认为是由于在所述物距取值范围内的各个点扩展函数之间的差异,同时在设计范围内的平均点扩展函数用于所有的恢复。在检查这些图像中,注意到模拟中的老虎胡须的宽度大约为0.7μm,这小于衍射极限点的尺寸。
在强度成像系统中,通常用光学传递函数来描述其性能的特征。将这一概念推广到计算成像系统,原则上,可以通过用恢复图像的光谱输入物体的光谱,来获得总频率响应。这样,为得到总频率响应,点光源的像可以在不同的物距处进行计算,并且最大熵算法可以应用于这些中间图像以恢复点物体。所述恢复可以被认为是集成计算成像系统的组合脉冲响应。图15为所述恢复的傅立叶变换图。各个曲线为物距取值范围内的系统的组合的传递函数。系统的传递函数是圆对称的,并且图15显示了该传递函数在一个焦深范围内的沿着径向的值。对于同样的成像部件,相对空间频率1.0对应于衍射极限透镜的截止频率。该新系统的总传递函数的振幅在扩展的物体范围内被增大到衍射极限。而且,由于脉冲响应的圆对称,所述总传递函数的相位为零。从这些曲线可以清楚地看出在扩展景深范围内所述集成计算成像系统的衍射极限性能。
然而,总传递函数的概念只是系统性能的大概指标,因为还涉及了非线性数字处理。换而言之,可以对不同的物体采用不同的总传递函数。但是,图15中所示的传递函数仍然很好的表示了集成成像系统的性能。图16涉及在距离s=1580mm处的物体的总传递函数,其中对点和边缘物体的传递函数都进行了作图。对数型透镜对模糊图像的恢复分别提供了总的点扩展函数和总的边缘响应函数。从图16明显看出,这两种情况下的总传递函数是相似的。
从之前的描述可以清楚地看出,使用多焦点成像系统提供了用于成像的改善的系统、方法和设备,在所述多焦点成像系统中球面像差是中间图像的模糊的主要形式并且在所述多焦点成像系统中可以使用中间遮拦来使得更多的中间图像更容易通过数字处理进行校正从而提高分辨率和景深。本领域技术人员在本发明的本质和范围内可以容易地做出在此描述的系统、方法和装置的变形和修正形式。

Claims (85)

1.一种用于产生具有扩展景深的图像的集成计算成像系统,包括:
多焦点成像子系统,用于产生被故意模糊的中间图像;
所述多焦点成像子系统展示球面像差作为所述故意模糊的主要特征;
中心遮拦,与所述球面像差协作,以减小在散焦位置的范围内的各模糊效果之间的差异;以及
数字处理子系统,用于对由所述多焦点成像子系统产生的中间图像进行去模糊,并且用于计算具有扩展景深的恢复图像。
2.根据权利要求1所述的系统,其中,所述多焦点成像子系统的总像差可以表示为以成像光的标称波长表示的相位延迟函数,并且所述球面像差提供在1.8到6倍波长之间的相位延迟。
3.根据权利要求2所述的系统,其中,所述相位延迟函数可以用(r/R)项的级数表示为如下:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
其中,φ为所述总相位延迟,r为所述成像子系统的孔径中的所考虑点的半径,R为所述孔径的最大半径,并且a、b、c和d分别为第二、四、六和八阶项的系数。
4.根据权利要求3所述的系统,其中,所述第四阶项的系数b定义三阶球面像差。
5.根据权利要求4所述的系统,其中,所述系数b大于所述系数c和d。
6.根据权利要求4所述的系统,其中,所述多焦点成像子系统的孔径具有最小半径δR,并且r等于δR时的相位延迟φ与r等于R时的相位延迟φ至少大致相等。
7.根据权利要求6所述的系统,其中,所述多焦点成像子系统的总像差是圆对称的。
8.根据权利要求1所述的系统,其中,所述多焦点成像子系统包括环孔径,所述环孔径具有与所述中心遮拦的半径相对应的最小半径δR,并具有最大半径R,且比率δR/R大于或者等于0.3。
9.根据权利要求8所述的系统,其中,所述比率δR/R大于或者等于0.5。
10.根据权利要求1所述的系统,其中,所述多焦点成像子系统包括至少一个设计为基本上没有球面像差的透镜,以及产生形成所述故意模糊的主要特征的球面像差的相位板。
11.根据权利要求10所述的系统,其中,所述相位板依附于在所述多焦点成像子系统的像平面一侧的所述多焦点成像子系统的孔径上。
12.根据权利要求1所述的系统,其中,所述多焦点成像子系统包括至少一个其表面被修正以产生形成所述故意模糊的主要特征的球面像差的透镜元件。
13.根据权利要求1所述的系统,其中,所述多焦点成像子系统包括多个成像元件,并且所述球面像差在多于一个所述成像元件之间分配。
14.一种扩展景深成像系统,包括:
多焦点成像子系统,设计为理想成像组件和球面像差组件的组合,所述球面像差组件均衡在物距取值范围内的对焦效果的不均匀;
中间图像检测设备,用于检测由在所述物距取值范围内展示出经过均衡的对焦效果不均匀的所述成像子系统形成的图像;以及
计算机处理设备,用于基于对在所述物距取值范围内的经过均衡的对焦效果不均匀进行的校正,计算具有扩展景深的恢复图像。
15.根据权利要求14所述的系统,其中,所述理想成像组件用于对在给定物距处的物体进行成像,并且所述球面像差组件对其中的对焦效果不均匀进行均衡的所述物距取值范围包括所述给定的物距。
16.根据权利要求14所述的系统,其中,所述多焦点成像子系统的理想成像组件包括设计为提供所述理想成像组件的透镜以及设计为提供所述球面像差组件的相位板。
17.根据权利要求16所述的系统,其中,所述相位板位于在所述透镜与所述中间图像检测设备之间的所述多焦点成像子系统的孔径中。
18.根据权利要求14所述的系统,其中,用于产生所述中间图像的光束具有标称波长,并且所述球面像差可以表示为相位延迟,所述相位延迟的量在所述光束的标称波长的1.8到6倍波长之间。
19.根据权利要求14所述的系统,其中,所述相位延迟可以用(r/R)项的级数表示为如下:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
其中,φ为所述总相位延迟,r为所述成像子系统的孔径中的所考虑点的半径,R为所述孔径的最大半径,并且a、b、c和d分别为第二、四、六和八阶项的系数。
20.根据权利要求19所述的系统,其中,所述第四阶项的系数b定义三阶球面像差,并且所述系数b大于所述系数c和d。
21.根据权利要求20所述的系统,其中,所述多焦点成像子系统包括环孔径,所述环孔径具有最小半径δR和最大半径R,并且比率δR/R至少等于0.3。
22.根据权利要求21所述的系统,其中,r等于δR时的相位延迟φ与r等于R时的相位延迟φ至少大致相等。
23.一种设计作为集成计算成像子系统的一部分的多焦点成像子系统的方法,包括如下步骤:
设计所述多焦点成像子系统的第一总组件,其作为理想成像组件,用于对在给定物距处的物体进行成像;
设计所述多焦点成像子系统的第二总组件,其作为球面像差器,用于均衡在物距取值范围内的对焦效果不均匀;
组合所述多焦点成像子系统的所述第一组件和所述第二组件以产生被故意模糊的中间图像,并且所述多焦点成像子系统的第二组件提供作为所述故意模糊的主要特征的非球面像差;以及
进行设置,以提供与所述中间图像和所述故意模糊相关的信息给数字处理系统,用于产生具有扩展景深的恢复图像。
24.根据权利要求23所述的方法,其中,所述球面像差组件在其中对对焦效果不均匀进行均衡的所述物距取值范围包括所述给定的物距。
25.根据权利要求24所述的方法,其中,所述球面像差组件在其中对对焦效果不均匀进行均衡的所述物距取值范围比所述第一组件在其中产生衍射极限成像的物距取值范围至少大6倍。
26.根据权利要求23所述的方法,其中,设计所述多焦点成像子系统的第一组件的步骤包括设计用于对在给定物体处的物体进行成像的理想透镜。
27.根据权利要求26所述的方法,其中,设计所述第二组件的步骤包括设计展示出在成像光的标称波长的1.8到6倍之间的相位延迟的所述第二组件。
28.根据权利要求27所述的方法,其中,所述第二组件的像差通过相位延迟函数定义,所述相位延迟函数可以用(r/R)项的级数表示为如下:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
其中,φ为总相位延迟,r为所述成像子系统的孔径中的所考虑点的半径,R为所述孔径的最大半径,并且a、b、c和d分别为第二、四、六和八阶项的系数。
29.根据权利要求23所述的方法,其还包括附加步骤:设置具有中心遮拦的所述多焦点成像子系统的孔径,调节所述中心遮拦的尺寸以与所述多焦点成像子系统的第二组件协作以进一步均衡在物距取值范围内的对焦效果的不均匀。
30.一种用于产生具有扩展景深的图像的集成计算成像系统,包括:
用于产生物体的中间图像的多焦点成像子系统,其结合了理想的总成像组件和用于故意模糊所述中间图像的指定的总像差组件;
所述多焦点成像子系统的中心遮拦,其使得由所述故意模糊产生的各个物体点的点扩展函数在物距取值范围内更均匀;
数字处理子系统,用于对由所述多焦点成像子系统产生的所述中间图像进行去模糊,并且用于计算具有扩展景深的恢复图像。
31.根据权利要求30所述的系统,其中:
(a)所述中心遮拦阻挡了所述多焦点成像子系统的半径为R的孔径的一部分。
(b)所述中心遮拦的半径为δR,并且
(c)相对于所述孔径,将所述中心遮拦的尺寸调节为使得比率δR/R等于或者大于0.3。
32.根据权利要求31所述的系统,其中,相对于所述孔径,将所述中心遮拦的尺寸调节为使得比率δR/R等于或者大于0.5。
33.根据权利要求30所述的系统,其中,各个物体点的点扩展函数中的每一个都具有中心峰和振荡的环形结构,并且所述中心遮拦用于使得所述物体点之间的平均点扩展函数变窄。
34.根据权利要求33所述的系统,其中,所述中心遮拦使得所述振荡的环形结构在所述物体点之间更均匀。
35.根据权利要求30所述的系统,其中,通过至少一个传统透镜提供所述理想成像组件,并且通过相位板提供所述像差组件。
36.根据权利要求30所述的系统,其中,所述理想成像组件和像差组件由其表面被修正以产生所述指定像差的对数型非球面提供。
37.根据权利要求30所述的系统,其中,所述指定像差为作为所述故意模糊的主要特征的球面像差。
38.根据权利要求37所述的系统,其中,所述多焦点成像子系统的总像差可以表示为以成像光的标称波长表示的相位延迟函数,并且所述球面像差提供在1.8到6倍波长之间的相位延迟。
39.一种用于产生具有扩展景深的图像的集成计算成像系统,包括:
多焦点成像子系统,用于产生被故意模糊的中间图像,产生所述被故意模糊的中间图像的方式是使得多个物体点的点扩展函数在物距取值范围内比没有被故意模糊时产生的相应点扩展函数更均匀;
所述点扩展函数的平均具有中心峰;
所述多焦点成像子系统的中心遮拦,用于使得在所述物体点之间的所述平均点扩展函数的所述中心峰变窄;并且
数字处理子系统,用于对由所述多焦点成像子系统产生的所述中间图像进行去模糊,并且用于基于在焦深范围内的所述平均点扩展函数计算恢复图像。
40.根据权利要求39所述的系统,其中,所述点扩展函数具有振荡的环形结构并且所述中心遮拦使得所述点扩展函数的振荡的环形结构在所述多个物体点之间更均匀。
41.根据权利要求40所述的系统,其中,所述中心遮拦抑制所述物体点的振荡的环形结构。
42.根据权利要求39所述的系统,其中:
(a)所述中心遮拦阻挡了所述多焦点成像系统的半径为R的孔径的一部分。
(b)所述中心遮拦的半径为δR,并且
(c)相对于所述孔径,将所述中心遮拦的尺寸调节为使得比率δR/R等于或者大于0.3。
43.根据权利要求42所述的系统,其中,相对于所述孔径,将所述中心遮拦的尺寸调节为使得比率δR/R等于或者大于0.5。
44.根据权利要求39所述的系统,其中,多焦点成像子系统结合了理想成像组件以及用于故意模糊所述中间图像的指定像差组件。
45.根据权利要求44所述的系统,其中,所述多焦点成像子系统包括提供所述理想成像组件的至少一个传统透镜元件以及提供所述指定像差组件的相位板。
46.根据权利要求44所述的系统,其中,所述多焦点成像系统包括提供所述理想成像组件和像差组件的对数型非球面。
47.根据权利要求39所述的系统,其中,球面像差为所述故意模糊的主要特征。
48.根据权利要求47所述的系统,其中,所述多焦点成像子系统的总像差可以以成像光的标称波长表示为相位延迟函数,并且所述球面像差提供在1.8到6倍波长之间的相位延迟。
49.根据权利要求39所述的系统,其中,所述中心遮拦包括位于所述多焦点成像子系统与所述中间图像之间的阻挡。
50.一种用于扩展景深的多焦点成像系统,包括:
多透镜元件系统,其借助三阶球面像差而被故意模糊,所述三阶球面像差提供了扩展景深;并且
所述三阶球面像差在多个所述透镜元件之间分配,并且所述三阶球面像差形成所述系统的主要的单色像差。
51.根据权利要求50所述的系统,还包括中心遮拦,所述中心遮拦与所述三阶球面像差协作,以减小在所述扩展景深范围内的故意模糊中的差异。
52.根据权利要求51所述的系统,其中,所述多透镜元件系统包括环孔径,所述环孔径具有与所述中心遮拦的半径相对应的最小半径δR,并具有最大半径R,并且比率δR/R大于或者等于0.3。
53.根据权利要求50所述的系统,其中,所述多透镜元件系统包括至少两个对数型非球面。
54.根据权利要求50所述的系统,其中,所述三阶球面像差可以用相位延迟表示,所述相位延迟以意欲用于所述多透镜元件系统的光的波长为单位,并且所述三阶球面像差产生在1.8倍波长至6倍波长之间的相位延迟。
55.一种用于产生具有扩展景深的图像的集成计算成像系统,包括:
成像子系统,用于产生物体的中间图像;
用于使用预定量的三阶球面像差在所述中间图像中产生故意模糊的装置,所述三阶球面像差提供扩展景深;
数字处理子系统,用于对由所述多焦点成像子系统产生的所述中间图像进行去模糊,并且用于计算具有扩展景深的恢复图像。
56.根据权利要求55所述的系统,其中,所述三阶球面像差均衡在物距取值范围内的对焦效果的不均匀。
57.根据权利要求55所述的系统,其中,所述成像子系统的总相位延迟可以用(r/R)项的级数表示为如下:
φ=a(r/R)2±b(r/R)4±c(r/R)6±d(r/R)8+…
其中,φ为所述总相位延迟,r为所述成像子系统的孔径中的所考虑点的半径,R为所述孔径的最大半径,并且a、b、c和d分别为第二、四、六和八阶项的系数。
58.根据权利要求57所述的系统,其中,所述第四阶项的系数b定义所述三阶球面像差,并且所述系数b大于所述系数c和d。
59.根据权利要求58所述的系统,其中,用于产生所述中间图像的光束具有标称波长,并且所述三阶球面像差可以表示为相位延迟,所述相位延迟量在1.8到6倍波长之间。
60.一种设计用于扩展景深成像的多焦点透镜系统的方法,包括如下步骤:
将成像系统设计为理想成像组件和像差组件的组合,所述理想成像组件设置用于衍射极限成像,所述像差组件主要提供三阶球面像差;以及
确定减小所述扩展景深范围内的各个脉冲响应之间的差异的所述三阶球面像差的量。
61.根据权利要求60所述的方法,其中,确定所述三阶球面像差的量的步骤包括将所述三阶球面像差的量从一个量调节至另一个量,以便确定在所述扩展景深范围内各个脉冲响应的更均匀的组合。
62.根据权利要求60所述的方法制成的多焦点透镜系统,其中,借助所述三阶球面像差对所述成像系统进行故意模糊。
63.一种设计用于扩展景深成像的多焦点透镜系统的方法,包括如下步骤:
通过将一定量的三阶球面像差结合到理想透镜设计中而修正所述透镜设计;
测试所述修正的透镜设计在焦深范围内成像的性能;以及
调节所述三阶球面像差的量,以便产生在所述扩展景深范围内变化较小的多个点扩展函数。
64.根据权利要63所述的方法,其中,所述多焦点透镜系统包括多个透镜元件,并且所述理想透镜设计的修正包括将所述三阶球面像差的多个部分结合到一个以上的所述透镜元件中。
65.根据权利要求63所述的方法,包括进一步的步骤:将中心遮拦结合到所述设计中以使得所述各个点扩展函数变窄。
66.一种设计用于产生具有扩展景深的图像的集成计算成像系统的方法,包括如下步骤:
设计成像系统,所述成像系统具有由三阶球面像差控制的像差组件,所述三阶球面像差用于产生被模糊的中间图像;并且
确定用于减小在所述扩展景深范围内的各个脉冲响应之间的差异的所述三阶球面像差的量;
计算与在所述扩展景深范围内的所述多个脉冲响应的算术平均值相偏离的脉冲响应,以便对在所述扩展景深范围内的所述多个脉冲响应进行不均匀加权;并且
将所述计算出的脉冲响应结合到数字处理算法中,用于对由所述多焦点成像子系统产生的所述中间图像进行去模糊,并且用于计算具有扩展景深的恢复图像。
67.根据权利要求66所述的方法,还包括附加步骤:在所述成像系统中结合中心遮拦,用于进一步影响所述多个脉冲响应,以产生更尖锐的恢复图像。
68.一种基于中间图像来恢复图像的方法,包括如下步骤:
获得中间图像;并且
使用最大熵算法执行对所述中间图像的迭代数字去卷积,包括以下子步骤:
估计包含多个方向图的组合的新图像;并且
使用度量参数改变所述方向图,以使得在避免驻点的同时加速逼近恢复图像的收敛。
69.根据权利要求68所述的方法,其中,所述度量参数的值为非整数。
70.根据权利要求69所述的方法,其中,所述度量参数的值在0.2到0.6之间。
71.根据权利要求68所述的方法,其中,所述方向图包括多个像素值,并且所述度量参数调节所述像素值之间的权重。
72.根据权利要求71所述的方法,其中,所述度量参数被调节为大于零,以便对较大像素值给予较大权重。
73.根据权利要求68所述的方法,其中,所述度量参数的值导致调制传递函数具有使得在接近奈奎斯特极限的高空间频率处的对比度增大的形状。
74.根据权利要求68所述的方法,包括进一步的步骤:使用多焦点成像系统产生所述中间图像。
75.根据权利要求74所述的方法,其中,由所述多焦点成像系统产生的所述中间图像展示了具有侧瓣环的点扩展函数,并且所述度量参数在减小所述重建图像的点扩展函数的侧瓣环的范围内可调。
76.根据权利要求74所述的方法,其中,所述多焦点成像系统包括三阶球面像差。
77.根据权利要求74所述的方法,其中,所述多焦点成像系统包括中心遮拦。
78.一种用于图像处理的迭代数字去卷积方法,包括如下步骤:
基于初始图像以及由多个方向图构成的组合,计算物体的一连串的估计图像;
输入度量参数,其修正所述方向图;
对根据按照熵最大化标准的所述度量参数和统计噪声参数而修正的所估计图像进行评估,以便选择对所述物体的更为接近的估计;并且
输出所述初始图像基础上的所述物体的增强图像。
79.根据权利要求78所述的方法,其中,所述估计图像包含多个像素值,并且所述度量参数改变分配给所述多个像素值的权重。
80.根据权利要求79所述的方法,其中,所述度量参数的值为非整数。
81.根据权利要求80所述的方法,其中,所述度量参数的值在0.2至0.6之间。
82.根据权利要求78所述的方法,其中,所述初始图像包含故意模糊。
83.根据权利要求82所述的方法,其中,球面像差是所述故意模糊的主要特征。
84.根据权利要求83所述的方法,其中,所述球面像差均衡在物距取值范围内的对焦效果不均匀。
85.根据权利要求84所述的方法,其中,所述增强的图像具有扩展景深。
CN200580036684A 2004-09-03 2005-05-11 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深 Expired - Fee Related CN100594398C (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US60707604P 2004-09-03 2004-09-03
US60/607,076 2004-09-03
US52299004P 2004-11-30 2004-11-30
US60/522,990 2004-11-30
US10/908,287 US7336430B2 (en) 2004-09-03 2005-05-05 Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
US10/908,287 2005-05-05
PCT/US2005/016231 WO2006028527A2 (en) 2004-09-03 2005-05-11 Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and centrally obscured aperture

Publications (2)

Publication Number Publication Date
CN101048691A true CN101048691A (zh) 2007-10-03
CN100594398C CN100594398C (zh) 2010-03-17

Family

ID=35995929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200580036684A Expired - Fee Related CN100594398C (zh) 2004-09-03 2005-05-11 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深

Country Status (10)

Country Link
US (4) US7336430B2 (zh)
EP (1) EP1789830A2 (zh)
JP (1) JP2008511859A (zh)
KR (1) KR20070057231A (zh)
CN (1) CN100594398C (zh)
AU (1) AU2005283143A1 (zh)
CA (1) CA2577735A1 (zh)
IL (1) IL181671A (zh)
SG (1) SG142313A1 (zh)
WO (1) WO2006028527A2 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010017694A1 (zh) * 2008-08-15 2010-02-18 北京泰邦天地科技有限公司 一种等模糊中间像获取装置
CN102221746A (zh) * 2010-04-15 2011-10-19 财团法人工业技术研究院 景深扩展的投影系统及影像处理方法
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN102566045A (zh) * 2010-12-20 2012-07-11 北京泰邦天地科技有限公司 光学成像系统
CN102007440B (zh) * 2008-02-15 2012-09-26 全视Cdm光学有限公司 提供非单调的波前相位轮廓和扩展景深的圆对称的非球面光学器件
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像系统和操作方法
US8430513B2 (en) 2010-04-09 2013-04-30 Industrial Technology Research Institute Projection system with extending depth of field and image processing method thereof
CN103608713A (zh) * 2011-09-21 2014-02-26 奥林巴斯医疗株式会社 物镜光学系统、拍摄装置以及内窥镜
CN101887170B (zh) * 2009-05-13 2015-04-22 北京泰邦天地科技有限公司 一种抑制气动光学效应的成像方法和系统
CN106575035A (zh) * 2014-06-25 2017-04-19 雷蒙特亚特特拉维夫大学有限公司 用于光场成像的系统和方法
CN110849260A (zh) * 2019-10-29 2020-02-28 北京临近空间飞行器系统工程研究所 测距装置、电子显微镜及显微镜物距调节方法

Families Citing this family (128)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8005314B2 (en) * 2005-12-09 2011-08-23 Amnis Corporation Extended depth of field imaging for high speed object analysis
US8717456B2 (en) * 2002-02-27 2014-05-06 Omnivision Technologies, Inc. Optical imaging systems and methods utilizing nonlinear and/or spatially varying image processing
US7773316B2 (en) * 2003-01-16 2010-08-10 Tessera International, Inc. Optics for an extended depth of field
KR20050107741A (ko) * 2003-01-16 2005-11-15 디-블러 테크놀로지즈 리미티드 이미지 인해스먼트 기능을 가진 카메라
US8294999B2 (en) 2003-01-16 2012-10-23 DigitalOptics Corporation International Optics for an extended depth of field
WO2005054927A2 (en) 2003-12-01 2005-06-16 Cdm Optics, Inc. System and method for optimizing optical and digital system designs
US7944467B2 (en) * 2003-12-01 2011-05-17 Omnivision Technologies, Inc. Task-based imaging systems
US7602989B2 (en) * 2004-05-26 2009-10-13 Biggs David S C Realtime 2D deconvolution system and method
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
KR101134208B1 (ko) 2004-10-01 2012-04-09 더 보드 어브 트러스티스 어브 더 리랜드 스탠포드 주니어 유니버시티 촬상 장치 및 그 방법
US7215493B2 (en) * 2005-01-27 2007-05-08 Psc Scanning, Inc. Imaging system with a lens having increased light collection efficiency and a deblurring equalizer
US7760957B2 (en) * 2005-03-14 2010-07-20 Ffei Limited Sharpness enhancement
JP4790329B2 (ja) * 2005-06-21 2011-10-12 オリンパスイメージング株式会社 焦点調節装置を有するカメラ
KR100691268B1 (ko) * 2005-08-02 2007-03-12 삼성전기주식회사 Psf를 이용하여 이미지를 처리하는 광학 시스템 및이미지 처리방법
WO2007016744A1 (en) * 2005-08-11 2007-02-15 Global Bionic Optics Pty Ltd Optical lens systems
CN101288013B (zh) * 2005-09-19 2010-12-08 Cdm光学有限公司 基于任务的成像系统
US7512574B2 (en) * 2005-09-30 2009-03-31 International Business Machines Corporation Consistent histogram maintenance using query feedback
US20070239417A1 (en) * 2006-03-31 2007-10-11 D-Blur Technologies Ltd. Camera performance simulation
ES2291129B1 (es) 2006-08-03 2008-12-16 Consejo Superior De Investigaciones Cientificas Procedimiento de restauracion de imagenes afectadas por imperfecciones, dispositivo para llevarlo a cabo y sus aplicaciones.
KR100801088B1 (ko) * 2006-10-02 2008-02-05 삼성전자주식회사 다중 초점 카메라 장치 및 다중 초점 카메라 장치를이용하여 포커스 프리 영상과 아웃포커스 영상을 생성하는방법
US8155478B2 (en) * 2006-10-26 2012-04-10 Broadcom Corporation Image creation with software controllable depth of field
US20090112314A1 (en) * 2007-10-25 2009-04-30 Sarver Edwin J Multi-focal intraocular lens with asymmetric point spread function
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8559705B2 (en) * 2006-12-01 2013-10-15 Lytro, Inc. Interactive refocusing of electronic images
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
US7646549B2 (en) * 2006-12-18 2010-01-12 Xceed Imaging Ltd Imaging system and method for providing extended depth of focus, range extraction and super resolved imaging
US7755766B1 (en) * 2007-03-27 2010-07-13 Itt Manufacturing Enterprises, Inc. Telescope interferometric maintenance evaluation tool
EP1978394A1 (en) * 2007-04-06 2008-10-08 Global Bionic Optics Pty Ltd. Optical system for increasing depth of field
JP4407714B2 (ja) 2007-04-06 2010-02-03 セイコーエプソン株式会社 生体認証装置及び生体認証方法
KR100896572B1 (ko) 2007-04-27 2009-05-07 삼성전기주식회사 피사계 심도 확장을 위한 이미지 처리 방법
JP5536995B2 (ja) * 2007-07-17 2014-07-02 オリンパス株式会社 顕微鏡対物レンズおよびレーザー走査型顕微鏡システム
WO2009061439A2 (en) * 2007-11-06 2009-05-14 Tessera North America, Inc. Determinate and indeterminate optical systems
KR101412752B1 (ko) 2007-11-26 2014-07-01 삼성전기주식회사 디지털 자동 초점 영상 생성 장치 및 방법
US8149319B2 (en) * 2007-12-03 2012-04-03 Ricoh Co., Ltd. End-to-end design of electro-optic imaging systems for color-correlated objects
US7615729B2 (en) * 2007-12-10 2009-11-10 Aptina Imaging Corporation Apparatus and method for resonant lens focusing
EP2891918A1 (en) * 2008-02-29 2015-07-08 Global Bionic Optics Pty Ltd. Single-lens extended depth-of-field imaging systems
EP2096483A1 (en) * 2008-02-29 2009-09-02 Global Bionic Optics Pty Ltd. Single-lens extended depth-of-field imaging systems
WO2009120718A1 (en) * 2008-03-24 2009-10-01 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for controlling depth of field in images
EP2265989A1 (en) * 2008-04-03 2010-12-29 Omnivision Technologies, Inc. Imaging systems including distributed phase modification and associated methods
US8280194B2 (en) 2008-04-29 2012-10-02 Sony Corporation Reduced hardware implementation for a two-picture depth map algorithm
FR2931255A1 (fr) * 2008-05-15 2009-11-20 Dxo Labs Sa Systeme optique et procede de conception associe
JP4658162B2 (ja) * 2008-06-27 2011-03-23 京セラ株式会社 撮像装置および電子機器
US7898746B2 (en) * 2008-07-03 2011-03-01 Aptina Imaging Corporation Extended depth-of-field lenses and methods for their design, optimization and manufacturing
US8194995B2 (en) 2008-09-30 2012-06-05 Sony Corporation Fast camera auto-focus
JP5103637B2 (ja) * 2008-09-30 2012-12-19 富士フイルム株式会社 撮像装置、撮像方法、およびプログラム
US8553093B2 (en) 2008-09-30 2013-10-08 Sony Corporation Method and apparatus for super-resolution imaging using digital imaging devices
KR20100051359A (ko) * 2008-11-07 2010-05-17 삼성전자주식회사 영상 데이터 생성 방법 및 장치
WO2010065344A1 (en) 2008-11-25 2010-06-10 Refocus Imaging, Inc. System of and method for video refocusing
KR101634353B1 (ko) * 2008-12-04 2016-06-28 삼성전자주식회사 마이크로 렌즈, 상기 마이크로 렌즈 제조방법, 상기 마이크로 렌즈 제조 장치, 및 상기 마이크로 렌즈를 구비한카메라 모듈
WO2010077625A1 (en) 2008-12-08 2010-07-08 Refocus Imaging, Inc. Light field data acquisition devices, and methods of using and manufacturing same
US8111319B2 (en) * 2009-01-16 2012-02-07 Ricoh Co., Ltd. Imaging system using enhanced spherical aberration and specifically sized FIR filters
US8199248B2 (en) * 2009-01-30 2012-06-12 Sony Corporation Two-dimensional polynomial model for depth estimation based on two-picture matching
US8379321B2 (en) * 2009-03-05 2013-02-19 Raytheon Canada Limited Method and apparatus for accurate imaging with an extended depth of field
EP2228677A1 (en) * 2009-03-09 2010-09-15 Global Bionic Optics Pty Ltd. Extended depth-of-field surveillance imaging system
US8908058B2 (en) * 2009-04-18 2014-12-09 Lytro, Inc. Storage and transmission of pictures including multiple frames
TWI387331B (zh) * 2009-04-22 2013-02-21 Avermedia Information Inc 實物攝影機
US8358410B2 (en) * 2009-05-22 2013-01-22 C8 Medisensors Inc. Large field of view, high numerical aperture compound objective lens with two pairs of identical elements and near IR spectrometer containing two such compound lenses
US8194170B2 (en) * 2009-06-02 2012-06-05 Algonquin College Axicon lens array
CN101964866B (zh) * 2009-07-24 2013-03-20 鸿富锦精密工业(深圳)有限公司 计算摄像型数码相机
KR101648540B1 (ko) * 2009-08-13 2016-08-16 삼성전자주식회사 웨이퍼-레벨 렌즈 모듈 및 이를 구비하는 촬상 장치
US20110044554A1 (en) * 2009-08-21 2011-02-24 Konica Minolta Systems Laboratory, Inc. Adaptive deblurring for camera-based document image processing
US8305699B2 (en) * 2009-09-23 2012-11-06 Samsung Electronics Co., Ltd. Wafer-level lens module with extended depth of field and imaging device including the wafer-level lens module
JP2011070134A (ja) * 2009-09-28 2011-04-07 Kyocera Corp 撮像装置および画像処理方法
US8248511B2 (en) * 2009-09-30 2012-08-21 Ricoh Co., Ltd. Dual-mode extended depth-of-field imaging systems
TWI402478B (zh) * 2009-10-29 2013-07-21 Univ Nat Sun Yat Sen 使用相位光罩之顯微量測系統及方法
US8027582B2 (en) * 2009-12-21 2011-09-27 Sony Corporation Autofocus with confidence measure
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8330825B2 (en) * 2010-02-22 2012-12-11 Eastman Kodak Company Zoom lens system characterization for image sharpening
US8600186B2 (en) * 2010-04-26 2013-12-03 City University Of Hong Kong Well focused catadioptric image acquisition
US8416334B2 (en) 2010-04-27 2013-04-09 Fm-Assets Pty Ltd. Thick single-lens extended depth-of-field imaging systems
KR101725044B1 (ko) 2010-05-27 2017-04-11 삼성전자주식회사 촬영이 가능한 디스플레이 장치
EP2466872B1 (en) 2010-12-14 2018-06-06 Axis AB Method and digital video camera for improving the image quality of images in a video image stream
US8768102B1 (en) 2011-02-09 2014-07-01 Lytro, Inc. Downsampling light field images
US8406548B2 (en) * 2011-02-28 2013-03-26 Sony Corporation Method and apparatus for performing a blur rendering process on an image
US9184199B2 (en) 2011-08-01 2015-11-10 Lytro, Inc. Optical assembly including plenoptic microlens array
TW201323854A (zh) * 2011-12-01 2013-06-16 Ind Tech Res Inst 光干涉裝置
US8831377B2 (en) 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
US8811769B1 (en) 2012-02-28 2014-08-19 Lytro, Inc. Extended depth of field and variable center of perspective in light-field processing
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
US8948545B2 (en) 2012-02-28 2015-02-03 Lytro, Inc. Compensating for sensor saturation and microlens modulation during light-field image processing
US9420276B2 (en) 2012-02-28 2016-08-16 Lytro, Inc. Calibration of light-field camera geometry via robust fitting
US9201008B2 (en) 2012-06-26 2015-12-01 Universite Laval Method and system for obtaining an extended-depth-of-field volumetric image using laser scanning imaging
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10129524B2 (en) 2012-06-26 2018-11-13 Google Llc Depth-assigned content for depth-enhanced virtual reality images
US9607424B2 (en) 2012-06-26 2017-03-28 Lytro, Inc. Depth-assigned content for depth-enhanced pictures
TWI452333B (zh) 2012-08-15 2014-09-11 Largan Precision Co Ltd 影像擷取系統組
US8997021B2 (en) 2012-11-06 2015-03-31 Lytro, Inc. Parallax and/or three-dimensional effects for thumbnail image displays
US9001226B1 (en) 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
CN103313084B (zh) * 2013-06-20 2015-01-14 四川大学 基于不同微透镜阵列参数的集成成像两次拍摄法
KR20150005107A (ko) * 2013-07-04 2015-01-14 삼성전자주식회사 광속제한소자, 이를 채용한 광학주사장치 및 전자사진방식의 화상형성장치
US10397545B2 (en) * 2013-12-23 2019-08-27 University Of Deleware 3-D light field camera and photography method
JP6228300B2 (ja) 2013-12-24 2017-11-08 ライトロ, インコーポレイテッドLytro, Inc. プレノプティックカメラの分解能の改良
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
WO2016033590A1 (en) 2014-08-31 2016-03-03 Berestka John Systems and methods for analyzing the eye
KR102195407B1 (ko) 2015-03-16 2020-12-29 삼성전자주식회사 이미지 신호 프로세서와 이를 포함하는 장치들
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US9495590B1 (en) * 2015-04-23 2016-11-15 Global Bionic Optics, Ltd. Extended depth-of-field biometric system
FR3038193B1 (fr) * 2015-06-26 2018-07-13 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de conception d'un systeme d'imagerie, filtre spatial et systeme d'imagerie comportant un tel filtre spatial
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
CN105118031B (zh) * 2015-08-11 2017-11-03 中国科学院计算技术研究所 一种恢复深度信息的图像处理的方法
CN105824237B (zh) * 2016-03-11 2018-10-09 西北工业大学 基于线激光传感器的自适应偏移控制方法
WO2017177180A1 (en) * 2016-04-08 2017-10-12 ARIZONA BOARD OF REGENTS on behalf of THE UNIVERSITY OF ARIZONA, A BODY CORPORATE Systems and methods for extended depth-of-field microscopy
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US11301655B2 (en) 2017-12-15 2022-04-12 Cognex Corporation Vision imaging system having a camera and dual aimer assemblies
US10832023B2 (en) 2017-12-15 2020-11-10 Cognex Corporation Dual-imaging vision system camera and method for using the same
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
EP3594731A1 (en) * 2018-07-10 2020-01-15 CSEM Centre Suisse D'electronique Et De Microtechnique SA Micro-optical component for generating an image
US10984513B1 (en) * 2019-09-30 2021-04-20 Google Llc Automatic generation of all-in-focus images with a mobile camera
BE1027429B1 (nl) 2019-11-07 2021-02-08 Innovate Prec Besloten Vennootschap Met Beperkte Aansprakelijkheid Werkwijze en apparaat voor het verkrijgen van een beeld met uitgebreide scherptediepte
WO2023113193A1 (en) * 2021-12-15 2023-06-22 Samsung Electronics Co., Ltd. Device and method for extended depth of field imaging
CN114911036A (zh) * 2022-05-18 2022-08-16 Oppo广东移动通信有限公司 镜头及电子设备

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4340283A (en) * 1978-12-18 1982-07-20 Cohen Allen L Phase shift multifocal zone plate
US4745484A (en) 1986-07-30 1988-05-17 Drexler Technology Corporation Method and apparatus for stepped imaging in reading data
FR2609817B1 (fr) 1987-01-21 1989-05-05 Matra Procede et dispositif de prise de vue a grande profondeur de champ
DE3905619C2 (de) 1988-02-23 2000-04-13 Olympus Optical Co Bildeingabe-/Ausgabevorrichtung
DE3931934C2 (de) * 1988-10-03 1994-11-10 Olympus Optical Co Bild-Ein/Ausgabevorrichtung
JP2907465B2 (ja) 1989-11-24 1999-06-21 オリンパス光学工業株式会社 画像入出力装置
JP3165672B2 (ja) 1991-01-23 2001-05-14 松下電器産業株式会社 撥水撥油性被膜を有する物品及びその製造方法
IL100657A0 (en) 1992-01-14 1992-09-06 Ziv Soferman Multifocal optical apparatus
US5438366A (en) * 1993-03-31 1995-08-01 Eastman Kodak Company Aspherical blur filter for reducing artifacts in imaging apparatus
US5322998A (en) * 1993-03-31 1994-06-21 Eastman Kodak Company Conical blur filter for reducing artifacts in imaging apparatus
US5483366A (en) * 1994-07-20 1996-01-09 David Sarnoff Research Center Inc LCD with hige capacitance pixel having an ITO active region/poly SI pixel region electrical connection and having poly SI selection line extensions along pixel edges
US6229649B1 (en) 1994-10-04 2001-05-08 The United States Of America As Represented By The Secretary Of The Air Force Pseudo deconvolution method of recovering a distorted optical image
JP3275010B2 (ja) * 1995-02-03 2002-04-15 ザ・リジェンツ・オブ・ザ・ユニバーシティ・オブ・コロラド 拡大された被写界深度を有する光学システム
US20020118457A1 (en) * 2000-12-22 2002-08-29 Dowski Edward Raymond Wavefront coded imaging systems
US7218448B1 (en) * 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US6911638B2 (en) * 1995-02-03 2005-06-28 The Regents Of The University Of Colorado, A Body Corporate Wavefront coding zoom lens imaging systems
US20020195548A1 (en) * 2001-06-06 2002-12-26 Dowski Edward Raymond Wavefront coding interference contrast imaging systems
US20030057353A1 (en) * 2001-07-20 2003-03-27 Dowski Edward Raymond Wavefront coding zoom lens imaging systems
SE512350C2 (sv) * 1996-01-09 2000-03-06 Kjell Olsson Ökat skärpedjup i fotografisk bild
JP4136011B2 (ja) * 1996-04-30 2008-08-20 オリンパス株式会社 焦点深度伸長装置
JP3408112B2 (ja) * 1997-04-30 2003-05-19 キヤノン株式会社 回折光学素子を有した光学部材及びそれを用いた光学系
US6069738A (en) * 1998-05-27 2000-05-30 University Technology Corporation Apparatus and methods for extending depth of field in image projection systems
US6097856A (en) * 1998-07-10 2000-08-01 Welch Allyn, Inc. Apparatus and method for reducing imaging errors in imaging systems having an extended depth of field
US20010008418A1 (en) * 2000-01-13 2001-07-19 Minolta Co., Ltd. Image processing apparatus and method
US6536898B1 (en) * 2000-09-15 2003-03-25 The Regents Of The University Of Colorado Extended depth of field optics for human vision
US6873733B2 (en) * 2001-01-19 2005-03-29 The Regents Of The University Of Colorado Combined wavefront coding and amplitude contrast imaging systems
US20030051353A1 (en) * 2001-02-13 2003-03-20 Andreas Gartner Formation of a disk from a fracturable material
US6525302B2 (en) * 2001-06-06 2003-02-25 The Regents Of The University Of Colorado Wavefront coding phase contrast imaging systems
US6842297B2 (en) * 2001-08-31 2005-01-11 Cdm Optics, Inc. Wavefront coding optics
US6927922B2 (en) * 2001-12-18 2005-08-09 The University Of Rochester Imaging using a multifocal aspheric lens to obtain extended depth of field
US20040008423A1 (en) * 2002-01-28 2004-01-15 Driscoll Edward C. Visual teleconferencing apparatus
US7197193B2 (en) 2002-05-03 2007-03-27 Creatv Microtech, Inc. Apparatus and method for three dimensional image reconstruction
US7031054B2 (en) * 2002-10-09 2006-04-18 The Regent Of The University Of Colorado Methods and systems for reducing depth of field of hybrid imaging systems
US7180673B2 (en) * 2003-03-28 2007-02-20 Cdm Optics, Inc. Mechanically-adjustable optical phase filters for modifying depth of field, aberration-tolerance, anti-aliasing in optical systems
JP4749332B2 (ja) * 2003-05-30 2011-08-17 オムニビジョン テクノロジーズ, インコーポレイテッド 拡大された焦点深度を有するリソグラフィックシステムおよび方法
CA2545448A1 (en) 2003-11-12 2005-06-02 Siemens Corporate Research, Inc. A system and method for filtering and automatic detection of candidate anatomical structures in medical images
US7336430B2 (en) * 2004-09-03 2008-02-26 Micron Technology, Inc. Extended depth of field using a multi-focal length lens with a controlled range of spherical aberration and a centrally obscured aperture
US7898746B2 (en) * 2008-07-03 2011-03-01 Aptina Imaging Corporation Extended depth-of-field lenses and methods for their design, optimization and manufacturing

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102007440B (zh) * 2008-02-15 2012-09-26 全视Cdm光学有限公司 提供非单调的波前相位轮廓和扩展景深的圆对称的非球面光学器件
WO2010017694A1 (zh) * 2008-08-15 2010-02-18 北京泰邦天地科技有限公司 一种等模糊中间像获取装置
US8390932B2 (en) 2008-08-15 2013-03-05 Typonteq Company Device for acquiring equally blurred intermediate images
CN101887170B (zh) * 2009-05-13 2015-04-22 北京泰邦天地科技有限公司 一种抑制气动光学效应的成像方法和系统
US8430513B2 (en) 2010-04-09 2013-04-30 Industrial Technology Research Institute Projection system with extending depth of field and image processing method thereof
CN102221746B (zh) * 2010-04-15 2014-01-22 财团法人工业技术研究院 景深扩展的投影系统及影像处理方法
CN102221746A (zh) * 2010-04-15 2011-10-19 财团法人工业技术研究院 景深扩展的投影系统及影像处理方法
CN102566045A (zh) * 2010-12-20 2012-07-11 北京泰邦天地科技有限公司 光学成像系统
CN102768412A (zh) * 2011-05-02 2012-11-07 索尼公司 红外成像系统和操作方法
CN102768412B (zh) * 2011-05-02 2016-12-14 索尼公司 红外成像系统和操作方法
CN102314683B (zh) * 2011-07-15 2013-01-16 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN102314683A (zh) * 2011-07-15 2012-01-11 清华大学 一种非平面图像传感器的计算成像方法和成像装置
CN103608713A (zh) * 2011-09-21 2014-02-26 奥林巴斯医疗株式会社 物镜光学系统、拍摄装置以及内窥镜
CN103608713B (zh) * 2011-09-21 2016-08-17 奥林巴斯株式会社 物镜光学系统、拍摄装置以及内窥镜
CN106575035A (zh) * 2014-06-25 2017-04-19 雷蒙特亚特特拉维夫大学有限公司 用于光场成像的系统和方法
CN110849260A (zh) * 2019-10-29 2020-02-28 北京临近空间飞行器系统工程研究所 测距装置、电子显微镜及显微镜物距调节方法
CN110849260B (zh) * 2019-10-29 2021-07-13 北京临近空间飞行器系统工程研究所 测距装置、电子显微镜及显微镜物距调节方法

Also Published As

Publication number Publication date
KR20070057231A (ko) 2007-06-04
US20080089598A1 (en) 2008-04-17
CA2577735A1 (en) 2006-03-16
US8086058B2 (en) 2011-12-27
IL181671A0 (en) 2007-07-04
WO2006028527A3 (en) 2007-01-18
IL181671A (en) 2010-11-30
SG142313A1 (en) 2008-05-28
US20080151388A1 (en) 2008-06-26
US20080075386A1 (en) 2008-03-27
US7511895B2 (en) 2009-03-31
US7336430B2 (en) 2008-02-26
CN100594398C (zh) 2010-03-17
EP1789830A2 (en) 2007-05-30
US7593161B2 (en) 2009-09-22
US20060050409A1 (en) 2006-03-09
JP2008511859A (ja) 2008-04-17
WO2006028527A2 (en) 2006-03-16
AU2005283143A1 (en) 2006-03-16

Similar Documents

Publication Publication Date Title
CN101048691A (zh) 使用具有受控球面像差范围和中心遮拦孔径的多焦点透镜的扩展景深
CN1145045C (zh) 使用衍射光学表面的彩色校正投影透镜
CN1119689C (zh) 投影透镜系统
CN1305010C (zh) 在考虑其噪声的情况下改变数字图像的方法和系统
CN100338499C (zh) 波前编码成像系统的优化图像处理
RU2523028C2 (ru) Устройство обработки изображения, устройство захвата изображения и способ обработки изображения
CN100350326C (zh) 模板、投影曝光设备、器件制造方法及测量方法
US8830351B2 (en) Image processing method and image processing apparatus for image restoration to reduce a detected color shift
CN102970459B (zh) 图像处理设备、摄像设备和图像处理方法
CN1239925C (zh) 用于光受控扩展的结构化屏
CN1898590A (zh) 用于优化光学和数字系统设计的系统和方法
CN1926417A (zh) 产生含有深度信息的图像的方法和设备
CN1260593C (zh) 变倍透镜系统以及具有该变倍透镜系统的投影仪
CN101076085A (zh) 图像捕获方法和装置以及使用该装置的电子装置
CN1739118A (zh) 具有图像增强功能的照相机
CN1967185A (zh) 镜头评价装置
CN1247977C (zh) 透镜检查装置及检查片
CN1643936A (zh) 图像处理设备和方法、以及图像处理设备的制造方法
CN1335579A (zh) 图象处理方法、装置及记录执行该方法程序的记录介质
CN1671176A (zh) 修正图像变形的图像处理装置、修正摄影图像变形的摄影装置
CN1493014A (zh) 用于反射像素平板的投影透镜
CN1797060A (zh) 变焦镜头和摄像装置
CN1691744A (zh) 图像处理系统、投影机及图像处理方法
CN101052910A (zh) 低高度成像系统及相关方法
CN101046549A (zh) 投射用变焦透镜及投影型显示装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1110397

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1110397

Country of ref document: HK

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100317

Termination date: 20210511