CN115885311A - 用于数字光学像差校正和光谱成像的系统和方法 - Google Patents

用于数字光学像差校正和光谱成像的系统和方法 Download PDF

Info

Publication number
CN115885311A
CN115885311A CN202180043538.9A CN202180043538A CN115885311A CN 115885311 A CN115885311 A CN 115885311A CN 202180043538 A CN202180043538 A CN 202180043538A CN 115885311 A CN115885311 A CN 115885311A
Authority
CN
China
Prior art keywords
unit
image
sensor
optical
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180043538.9A
Other languages
English (en)
Inventor
Y·贝拉茨基
Y·海尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
PXE Computational Imaging Ltd
Original Assignee
PXE Computational Imaging Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from IL276922A external-priority patent/IL276922A/en
Application filed by PXE Computational Imaging Ltd filed Critical PXE Computational Imaging Ltd
Publication of CN115885311A publication Critical patent/CN115885311A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J9/00—Measuring optical phase difference; Determining degree of coherence; Measuring optical wavelength
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)
  • Geometry (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Testing Of Optical Devices Or Fibers (AREA)

Abstract

提供了一种用于数字光学像差校正和光谱成像的系统和方法。光学系统可包括:一光学成像单元，以在光学系统的像平面附近形成一光学图像；一波前成像传感器单元，位于所述像平面附近，用于提供一光场上的原始数字数据及所述像平面附近的图像输出；及一控制单元，用于处理原始数字数据和图像输出以提供去模糊图像输出，其中所述控制单元包括一存储单元和一处理单元，所述存储单元存储指令，所述处理单元执行指令以接收图像输入和入射到波前成像传感器的光场的原始数字数据，并基于对像平面处的光学互相干函数的分析，生成去模糊图像。

Description

用于数字光学像差校正和光谱成像的系统和方法
相关申请
本申请主张2020年5月12日提交的美国临时专利申请号63/023,287和2020年8月25日提交的以色列专利申请号276922的优先权，两者均通过引用的方式并入本文。
技术领域
本发明属于光学成像、数字去模糊、数字像差校正、数字自适应光学和光谱成像领域。
背景技术
光学像差是衡量非理想成像的指标，它会导致图像质量和清晰度下降。在几何光学中，理想成像通常被描述为来自物空间中每个光点的光线穿过成像系统，在像平面上的单个对应点会聚的情况。在实际实践中，必须考虑到光的波动特性，这就排除了将光聚焦到无限小的点。相反地，对于物理波动光学，由于衍射效应，理想会聚的光线会产生有限大小的光斑。此类光斑的典型代表直径由艾里斑(Airy disc)l.22·λ/NA给出，其中λ是典型波长，NA是会聚光线锥的数值孔径。理想成像通常被称为“衍射极限”，就射线光学而言，一个充分的标准是射线会聚到艾里斑内。
光学像差可能由多种来源引起。由于成像要求和系统复杂性之间的冲突需求，一些是光学成像系统固有的设计妥协。在一方面，诸如视场、工作距离、放大倍率、孔径大小和光谱范围等操作要求参数为光学设计增加了额外的限制。这些通常表现为增加的系统复杂性，例如增加光学元件的数量和类型、使用的材料、表面轮廓(球形/非球形)以及对准和制造公差。在另一方面，推动简化的力量，例如成本、尺寸、重量、容易获得的材料和工艺、放宽的制造公差以及对环境因素的鲁棒性(robustness)，会导致图像质量受损。使用多个复杂的非球面来减少像差在本领域中是已知的。
额外的像差也是光学成像系统构建过程中制造和对准公差的结果。制造和对准公差导致实际成像系统的参数偏离标称设计值(nominal design values)。由于环境因素(例如热变化、压力变化、冲击和/或振动)导致的光学系统漂移/变化可能会导致其他像差。
由于成像系统之外的影响，也会出现光学像差。通过大气扰动等湍流介质，成像会导致随时间变化的光学像差，从而降低成像质量，例如在地面天文学和监视中“看到”效果。在医学眼科成像中，受试者眼睛中存在的像差会降低成像分辨率，在许多情况下会抑制视网膜上微观细胞结构成像中的衍射极限分辨率。大块生物组织的成像也受到半透明组织引起的像差的限制。
在现有技术中，自适应光学系统用于补偿像差。自适应光学系统特别用于补偿依赖于成像系统外部的成像介质的像差。自适应光学系统进一步用于补偿光学系统参数的时间相关变化(time-dependent variations)。这些自适应光学系统由能够动态调制光波前的光学元件组成，例如可变形镜或空间光调制器；反馈波前传感器，例如夏克-哈特曼(Shack-Hartman)传感器；控制单元使用来自波前传感器的数据来使用闭环反馈控制波前调制元件。
自适应光学系统很难集成到现有的成像系统中。将自适应光学系统集成到现有成像系统中需要修改光路以结合波前传感器和波前调制元件，通常采用附加光学继电器和分束器的形式。此外，许多自适应光学系统的设计使得波前传感器和波前调制元件都位于成像系统的光瞳平面处或附近，从而在整个成像场中以均匀的方式对光学波前像差进行采样和校正。空间相关的自适应光学校正通常在扫描光学成像系统中执行，这进一步使整个系统设计复杂化。在许多情况下，需要额外的“导星(guide-star)”照明系统来为波前传感器提供足够的反馈信号，从而进一步使系统复杂化并限制其实用性和操作范围。
一方面，简单的光学设计和高质量成像之间的冲突需求需要有效的像差校正方案。另一方面，使用自适应光学对光学波前进行物理校正是非常复杂的，用例有限且成本高昂。因此，数字像差校正(或数字自适应光学)的想法，即对拍摄的成像数据执行数字算法去模糊，是非常引人注目的。
在图像处理方面，像差表现为应用到名义上理想图像的模糊核(blurringkernel)，产生模糊图像。在许多情况下，这种模糊核是空间相关的，也就是将不同的模糊核应用于图像的不同部分。在很多情况下，实际的模糊核是未知的，特别是在光学成像系统之外的因素造成光学像差的情况下，例如混浊的成像介质，或者当光学成像由于环境温度、压力等环境因素而发生变化时。
由于几个原因，模糊图像的反褶积去模糊结果有限。首先，在许多情况下，实际的光学像差会严重降低调制传递函数(modulation transfer function，MTF)，使得以数字方式恢复它的程度会引入不可接受的噪声水平。此外，在许多情况下，模糊核是未知的，导致一系列盲目的反褶积/去模糊算法，但效果有限。
用于数字去模糊和像差校正的另一种已知技术是基于使用全光相机(plenopticcamera)、角度敏感像素及其变体的光场成像，用于捕获光场数据。光场数据是从场景传播到成像设备的光线轨迹的几何描述。传统成像记录照射在每个传感器像素上的光线数量，而与每条光线的入射角无关，而光场成像旨在使用全光相机配置中的微透镜阵列记录每条光线的位置(即它击中的像素)和入射角或角度敏感像素。在概念上，光场成像提供了关于成像场景的光线位置和角度的数据，因为它们从成像物体通过主成像孔径传播到图像传感器上。理论上，这种光线角度位置数据记录接著可用于虚拟光线追踪、传播和操纵光线，以推断物体和相机之间的距离，并以数字校正因为像差或仅因为离焦平面较远而未收敛到理想焦点的像差光线。
众所周知，光场成像不能实现数字去模糊和图像质量的恢复到衍射—有限的理想成像。由于其固有的角度-空间分辨率权衡，光场成像能够产生的图像分辨率是由Δx＝λ/4NA给出的衍射极限奈奎斯特采样极限(Nyquist sampling limit)的倍数(通常为3-10)。原因是全光系统的入射瞳(entrance pupil)，因为通过主成像镜头成像，只是主镜头入射瞳的一小部分，产生的光学分辨率要低得多。这种配置背后的逻辑是每个这样的光瞳段代表一个不同的光线角束。如果没有对主成像光瞳进行分割，全光系统就无法识别通过系统成像的光线的角度信息，从而使整个虚拟光线追踪和传播方案无效。
因此，光场成像可用于校正光学像差的承诺仍未实现，因为标准的光场成像是在远离主成像孔径的光学衍射极限工作。光场固有的图像分辨率和质量远低于由衍射极限光学器件的典型像差引起的有效降低分辨率，因此它们没有任何收获。
其他已知技术基于稀疏采样(sparse sampling)和欠定重建(underdeterminedreconstruction)，例如编码孔径和压缩光场技术。然而，这些方法基于对成像场景的启发式假设(heuristic assumption)，因此会为包含算法训练集未涵盖的元素的场景创建大量成像伪影。此外，所需的孔径编码和压缩的光场掩模阻挡了大部分光，减少了到达探测器传感器阵列的信号，并降低了系统的整体信噪比(signal-to-noise ratio，SNR)。这些类型的成像系统旨在远离主成像孔径的衍射极限工作，类似于光场成像。
使用基于硬件的自适应光学系统来校正像差是非常复杂且昂贵的，可能效果有限，并且可能对成像系统的操作范围施加限制性的约束。基于模糊原始图像的去模糊和反褶积技术的数字像差校正通常受到噪声和无法提前知道像差模糊核的限制。此外，由于固有的空间和角度分辨率限制，基于光场的方法不能执行衍射极限的数字像差校正。众所周知，稀疏采样技术会引入不可接受的成像伪影，降低系统信噪比，且通常也会在远离衍射极限的情况下工作。
传统的彩色成像通常使用彩色滤色器阵列，例如RGB拜尔滤色镜(Bayer filter)阵列及其变体。这会导致到达传感器的光传输显着损失。通常，多达50-70％的光被过滤掉。使用二向色棱镜可以克服光的损失，但以增加图像传感器和系统复杂性为代价。其他依赖衍射的多光谱或光栅的高光谱成像仪通常只能用作具有狭窄入口狭缝的一维线扫描相机。
需要一种系统和方法，用于执行高达衍射极限的数字像差校正并且可选地不损失光，在最大信噪比下产生去模糊的输出图像，而不管成像的输入场景如何。需要使用2D成像阵列和最小的光损失来执行RGB颜色、多光谱成像或高光谱成像，可能还结合数字像差校正。
发明内容
根据本发明的实施例，提供了一种光学系统，包括：一光学成像单元，用于在所述光学系统的一像平面附近形成一光学图像；一波前成像传感器单元，位于所述像平面附近，用于提供光场上的原始数字数据和像平面附近的图像输出；一控制单元，用于处理所述原始数字数据和所述图像输出以提供去模糊图像输出；其中，所述控制单元包括存储指令的一存储单元和执行指令以接收图像输入和照射在所述波前成像传感器上的光场的原始数字数据，并基于对像平面光学互相干函数的分析生成去模糊图像。
所述控制单元还可以：计算所述光场的场特性；基于所述场特性中的相干性和叠加信息，对图像输出中的点源进行识别；对于每个识别的点源，估计其模糊程度；以及将去模糊图像重建为去模糊点源的合成。
所述场特性可以是维格纳分布或通过数学变换与维格纳分布相关的等效实体。
所述波前成像传感器单元还可以包括具有至少两个色带的滤色器阵列，且所述控制单元用于计算每个色带对应的场特性，产生多个色场属性，并基于色场特性的组合重建所述去模糊图像。
所述波前成像传感器单元可以包括至少两个图像传感器，每个图像传感器与光谱滤波器相关联，且所述控制单元用于计算与每一个所述至少两个图像传感器相对应的场特性，从而产生多个彩色场特性，以及基于色场特性的组合重建去模糊图像。
根据本发明的实施例，所述波前成像传感器单元包括：一光调制器单元，位于所述像平面附近；及一图像传感器单元，相对于输入光场通过系统的一般传播方向位于光调制器单元下游，用于获取原始数字图像输出，其中所述光调制器单元使用一相位调制和一幅度调制的至少一种来调制光场。
所述光调制器单元可包括多个单位晶格(unit cell)，且所述图像传感器单元可包括传感器单元阵列；传感器单元阵列定义了多个传感器子阵列单元，每个传感器子阵列对应于所述光调制器单元的所述多个单位晶格中的一个单位晶格；且所述光调制器单元用于对图像传感器单元采集的输入光进行预调制，所述光调制器单元的每个单位晶格将入射在其上的收集的输入光的一部分引导到与其对应的传感器子阵列单元和预定接近区域内的一个或多个相邻传感器子阵列单位单元上。
根据本发明的实施例，所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN。
根据其他实施例，所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR和所述光调制器单元的奈奎斯特采样点的数量NN遵循以下关系:
Figure BDA0004005048450000071
其中/>
Figure BDA0004005048450000072
且其中/>
Figure BDA0004005048450000073
表示动态像差的空间变异性。
根据本发明的实施例，所述控制单元用于计算对应于每个单位晶格的场特性，产生多个色场特性，并基于所述色场特性的组合来重建由以下各项组成的组中的至少一个：全彩色RGB图像、不使用光谱滤光片或彩色滤光片的高光谱图像。
根据其他实施例，所述控制单元用于计算对应于每个单位晶格的场特性，产生多个色场特性，并重建具有NO个输出图像像素和NC个色场特性的输出图像，其中NO低于奈奎斯特采样极限NN和NC x NO≤NR，即原始像素数。
根据本发明的一个方面，所述光场包括不同的或连续的多个波长的情况下，所述控制单元将执行以下操作之一或两者：(1)为每个识别的点源估计其光谱分布；(2)重建图像的光谱分布图。
所述控制单元进一步执行以下一项或多项：(1)估计每个识别的点源的像差强度；(2)基于对每个识别的点源估计的动态像差强度估计深度，产生光度像差强度的空间图，并基于光度像差强度的空间图重建一深度图；(3)基于所述深度图，恢复图像散焦部分的衍射极限成像分辨率。
至少所述光调制器单元的单位晶格和所述图像传感器单元的传感器单元阵列可以被制造为由以下各项所组成的群组中的一个：单片集成单元；以及使得单位晶格是用于制造传感器单元阵列的工艺堆栈的一部分；和单独的单元。
所述光调制单元的设计可以是由以下各项所组成的群组中的一种：每个单位晶格具有一个盘单元的二元设计；由具有等间距半径的同心环组成的多层设计；由具有至少两个不等间距半径的同心环组成的多层设计；二元设计，每个单位晶格具有两个盘，排列在单位晶格的边缘；多环设计，每个单位晶格有两组环，布置在单位晶格的边缘。
所述光调制单元的单位晶格将应用相位调制、幅度调制或相位和幅度调制两者。
所述光学成像单元可以是由下列各项所组成的群组中的一种:一折射光学成像单元、一反射光学成像单元、一反射折射光学成像单元、一衍射光学成像单元及前述组合。
所述光学成像单元可以包括一物镜以及由管透镜、中继光学器件和望远镜光学器件所组成的群组中的至少一个，用于在所述像平面上形成图像。所述光学成像单元可用作照相机镜头并且是由一广角镜头、一普通镜头、一远摄镜头和一变焦镜头所组成的群组中的一种。所述光学成像单元可以是由一折射望远镜系统、一反射望远镜系统或一反射折射望远镜系统所组成的群组中的一种。
所述波前成像传感器单元可以是由以下各项所组成的群组中的一种：2D区域传感器、线扫描传感器、多线扫描传感器和TDI传感器。
根据本发明的一个方面，提供了一种用于对由靠近一光学系统的一像平面的一成像单元形成的一图像进行数字光学像差校正的方法，包括：提供照射在位于所述像平面附近的一波前成像传感器单元上的一光场的原始数字数据和在所述像平面附近形成的图像输出；及通过一控制单元处理所述原始数字数据和图像输出，以基于像平面上的光学互相干函数的分析，提供去模糊图像输出。
在一个实施例中，所述波前成像传感器单元包括位于所述像平面附近的一光调制器单元和相对于输入光场通过系统的一般传播方向位于所述光调制器单元下游的一图像传感器单元，用于获取原始数字图像输出，且所述方法还包括使用相位调制和幅度调制中的至少一种来调制所述光场。
在另一个实施例中，所述光调制器单元包括多个单位晶格，且所述图像传感器单元包括传感器单元阵列；所述传感器单元阵列定义了多个传感器子阵列单元，每个传感器子阵列对应于光调制器单元的所述多个单位晶格中的一个单位晶格；且其中所述方法进一步包括：由所述光调制器单元对所述图像传感器单元收集的输入光进行预调制；由所述光调制器单元的每个单位晶格，将入射在其上的所收集输入光的一部分引导到与其对应的传感器子阵列单元和预定邻近区域内的一个或多个相邻传感器子阵列单元上。所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN。所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR和所述光调制器单元的奈奎斯特采样点的数量NN遵循以下关系:
Figure BDA0004005048450000091
其中/>
Figure BDA0004005048450000092
且其中/>
Figure BDA0004005048450000093
表示动态像差的空间变异性。
在本发明的一个实施例中，所述方法还包括:计算所述光场的场特性；基于所述场特性中的相干性和叠加信息，对所述图像输出中的点源进行识别；对于每个识别的点源，估计其模糊程度；将去模糊图像重建为去模糊的点源的合成。所述场特性是一维格纳分布或通过数学变换与所述维格纳分布相关的等效实体。
在本发明的一个实施例中，所述波前成像传感器单元还包括具有至少两个色带的滤色器阵列，且所述方法还包括计算对应于每个色带的色场特性，从而产生多个色场特性，以及基于色场特性的组合重建去模糊图像。
在另一个实施例中，所述波前成像传感器单元包括至少两个图像传感器，每个图像传感器与光谱滤波器相关联，且所述方法进一步包括计算对应于每一个所述至少两个图像传感器中的的色场特性，产生多个色场特性，以及基于色场特性的组合来重建去模糊图像。
在又一实施例中，所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN。，且所述方法还包括计算每个单位晶格对应的色场特性，产生多个色场特性，以及基于色场特性的组合，重建由以下各项所组成的群组中的至少一个：全色RGB图像、不使用光谱滤光片或彩色滤光片的高光谱图像。
在光场包括不同或连续的多个波长的情况下，所述方法还可以包括为每个识别的点源估计其光谱分布。所述方法还可以包括重建图像的光谱分布图。
根据本发明的又一方面，提供了一种处理原始数字数据的方法，原始数字数据指示光学系统的像平面附近的光场的光学互相干函数的元素，所述方法包括：基于光学互相干函数来计算场特性；基于场特性中的相干性和叠加信息，在像平面附近输出的图像中识别点源；对于每个识别的点源，估计其模糊，从而产生去模糊点源；将去模糊图像重建为去模糊点源的合成。
所述方法还可包括以下任何操作或其组合：估计每个点源的像差强度程度；估计每个点源的空间光谱分布，产生一组逐点的光谱分布估计；基于逐点光谱的组重建光场光谱分布的空间图分布估计；使用维格纳变换(Wigner-Weyl)变换将光学互相干函数转换为Wigner分布，并基于Wigner分布执行所述识别、估计和计算。估计每个点源的像差强度程度的操作还可以包括将像差分类为静态像差或动态像差。
根据本发明的一个方面，提供了一种用于图像处理的方法，包括：生成指示光学系统的像平面附近的光场的光学互相干函数的元素的原始数字数据，生成包括：用具有多个单位晶格的光调制器单元来调制光场，获取由图像传感器单元输出的原始数字图像，图像传感器单元相对于输入光场通过系统的传播的一般方向位于光调制器单元下游，图像传感器单元包括传感器单元阵列，传感器单元阵列限定多个传感器子阵列单元，每个传感器子阵列对应于光调制器单元的所述多个单位晶格中的一个单位晶格，使得光调制器单元的每个单位晶格将入射到其上所收集的输入光的一部分引导到对应的传感器子阵列单元和在预定接近区域内的一个或多个相邻传感器子阵列单元上；根据本发明实施例的方法处理所述原始数据。
根据本发明的另一方面，提供一种处理原始数字数据的方法，原始数字数据指示光学系统的像平面附近的光场的光学互相干函数的元素，所述方法包括：基于光学相干函数计算场的特性；根据场特性中的相干性和叠加信息，识别像平面附近输出的图像中的点源；估计每个识别的点源的空间光谱分布，产生一组逐点的光谱分布估计。
所述方法还可以包括以下操作中的任何一个或其组合：基于逐点光谱分布估计组重建光场光谱分布的空间图；对于每个识别的点源，估计其模糊，产生去模糊点源，并将去模糊图像重建为去模糊点源的组合；估计每个点源的像差强度；使用Wigner-Weyl变换将光学互相干函数转换为Wigner分布，基于Wigner分布和执行所述识别、估计和计算。估计每个点源的像差强度程度的操作可以进一步包括将像差分类为静态像差或动态像差。
根据本发明的一个方面，提供了一种波前成像传感器系统，包括一光调制器单元和一图像传感器单元，图像传感器单元相对于输入光场通过系统的一般传播方向位于光调制器单元下游的图像传感器单元，用于获取原始数字图像输出，其中：所述光调制器单元包括多个单位晶格，且所述图像传感器单元包括传感器单元阵列，所述传感器单元阵列定义了多个传感器子阵列单元，每个传感器子阵列对应于光调制器单元的所述多个单位晶格中的一个单位晶格；所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN；光调制器单元用于对图像传感器单元收集的输入光进行预调制，并且光调制器单元的每个单位晶格将入射到其上所收集到的输入光的一部分引导到与其对应的传感器子阵列单元和一个或多个相邻的预定邻近区域内的传感器子阵列单元上；单位晶格的设计遵循以下群组中的至少一个条件：所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN；每个单位晶格具有一个盘单元的二元设计；由具有等间距半径的同心环组成的多层设计；由具有至少两个不等间距半径的同心环组成的多层设计；二元设计，每个单位晶格具有两个盘，排列在单位晶格的边缘；多环设计，每个单位晶格有两组环，布置在单位晶格的边缘且具有准周期设计。
根据本发明的另一方面，提供了一种设计波前成像传感器系统的方法，波前成像传感器系统具有一光调制器单元及相对于输入光场通过系统的一般传播方向位于光调制器单元下游的一图像传感器单元，用于获取原始数字图像输出，所述方法包括：在光调制器单元处提供多个单位晶格，并且在图像传感器单元处提供传感器单元阵列，传感器单元阵列定义多个传感器子阵列单元，每个传感器子阵列对应于光调制器单元的所述多个单位晶格中的一个单位晶格，使得所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN，并使得所述光调制器单元对图像传感器单元收集的输入光进行预定调制，且光调制器单元的每个单位晶格将收集到的入射其上的输入光的一部分引导到与其对应的传感器子阵列单元以及预定接近区域内的一个或多个相邻传感器子阵列单元上；且将单位晶格设计为遵循以下组中的至少一个条件：所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN；每个单位晶格具有一个盘单元的二元设计；由具有等间距半径的同心环组成的多层设计；由具有至少两个不等间距半径的同心环组成的多层设计；每个单位晶格具有两个盘的二元设计，排列在单位晶格的边缘；每个单位晶格有两组环的多环设计，布置在单位晶格的边缘；以及准周期设计(quasi-periodic design)。
根据本发明的一个方面，提供了一种光学系统，包括：一光学成像单元，用于在光学系统的一像平面附近形成一光学图像；自适应光学系统单元，位于所述光学成像单元和所述像平面之间；依波前成像传感器单元，位于所述像平面附近，用于提供一光场上的原始数字数据和所述像平面附近的图像输出；一控制单元，用于处理原始数字数据和图像输出，以提供去模糊图像输出；其中，所述控制单元包括存储指令的一存储单元、和执行指令以接收图像输入和照射在波前成像传感器上的光场的原始数字数据并基于对像平面光学互相干函数的分析生成去模糊图像的一处理单元，其中所述自适应光学系统单元包括位于成像系统光瞳平面附近的自适应光学波前传感器和自适应光学波前调制器，以及自适应光学控制单元；其中所述自适应光学波前传感器在所述自适应光学控制单元的控制下提供反馈，以驱动波前调制器。自适应光学系统单元还可以包括光瞳继电器和管透镜。所述控制单元用于接收来自自适应光学波前传感器的信息，并提供波前像差的粗略测量。所述光学成像单元、所述波前传感器和所述控制单元(以及所述自适应光学波前传感器、所述自适应光学波前调制器和所述自适应光学控制单元)可以根据本发明的任何方面和实施例来实现。
附图说明
为了更好地理解本发明的实施例，请参考附图，其中全文中相同的数字表示相应的实体，且其中：
图1a是示意性说明根据本发明实施例的数字光学像差校正系统的方块图；
图1b是示意性说明根据本发明另一实施例的数字光学像差校正系统的方块图；
图2a-2c是光学配置的示意图，举例说明本发明的实施例的方面；
图3a-3b是说明根据本发明实施例的方法的流程图；
图4是源参考物体-西门子星标(Siemens star target)；
图5a-5b示出了根据本发明实施例的系统的示例特性；
图6a和6b示出了根据本发明实施例的系统的光学特性；
图7示出了根据本发明实施例的系统的另一个光学特性；
图8a和8b示出了根据本发明实施例的图4的源参考物体的模糊和去模糊图像；
图9a-9b示意性地示出了根据本发明实施例的原始像素排列；
图10a-10d示意性地示出了根据本发明实施例的光调制器单元的方面；
图11a-11b示意性地示出了根据本发明实施例的光调制器单元的其他方面；
图12a示意性地示出了根据本发明实施例的波前成像传感器的一个方面；
图12b是根据本发明实施例的系统的方块图；
图13a示意性地示出了根据本发明实施例的光谱带滤波器；
图13b示意性地示出了根据本发明实施例的光谱分布；和
图14是示意性说明根据本发明实施例的数字光学像差校正系统的方块图。
具体实施方式
根据本发明的实施例，描述了用于数字光学像差校正的系统和方法。所提出的系统可以在不引入成像伪影的情况下，将光学像差校正到衍射极限。在一些实施方式中，所提出的系统可以在不降低通过光学系统的光透射率的情况下校正光学像差。校正成像系统中的光学像差的能力可以简化光学、增强操作参数及更广泛的应用。
根据图1a所示的本发明的实施例，数字光学像差校正系统10包括一光学成像单元102，也称为“成像光学器件”。所述光学成像单元102用于在一像平面104或表面附近形成光学图像；一波前成像传感器单元106；和一控制单元108。所述控制单元108用于处理物体100的原始数字图像输出，以提供去模糊图像输出。所述控制单元108还可以测量所述像平面104上的光学像差强度。
本发明的实施例可被解释为满足若干应用：显微镜、照相机、望远镜、远程成像系统等。例如，在显微镜的应用中，所述光学成像单元102可以由物镜、可选的管透镜和其他中继或望远镜光学器件(图1中未示出)组成，用于在系统的像平面104上形成图像。对于相机的应用，所述光学成像单元102可以用作相机镜头，其可以是广角镜头、普通镜头、长焦镜头或变焦镜头(图1a中未示出)。对于望远镜和远程成像系统，所述光学成像单元102可以包括折射、反射或折反射望远镜(catadioptric telescope)系统(图1a中未示出)。
图1b示出根据本发明实施例的光学系统12：所述波前成像传感器单元106可以包括靠近所述像平面104的一光调制器单元110。所述光调制器单元110使用相位调制、幅度调制或两者来调制光。所述波前成像传感器单元106还可以包括图像传感器检测器阵列112，也称为下游图像传感器单元112。所述图像传感器检测器阵列112用于获取原始数字图像输出。
取决于应用，所述波前成像传感器单元106可以被配置为任何常规类型的成像传感器，例如2D区域传感器、线扫描传感器、多线扫描传感器或TDI传感器。
所述控制单元108(在图1a和图1b中示出)可包括一处理单元和一存储单元(未示出)。所述处理单元可用于执行数字算法处理，如下所述。所述存储单元可以存储指示光学图像单元的静态像差的预先计算的、或预先测量的、或以其他方式预先确定的数据，如下所述。
所述存储单元还可用于存储指示光学图像单元的色度特性的预先计算的、预先测量的、或以其他方式预先确定的数据。所述存储单元可以存储指示所述波前成像传感器单元106以及可选地还有所述光调制器单元110的色度特性的预先计算的、预先测量的、或以其他方式预先确定的数据。
所述光学成像单元102可以是任何类型:折射的、反射的、反射折射的、衍射的、或前述的组合。所述光学成像单元102可以用放宽的光学像差规范来设计和构造，以简化其设计和制造过程，同时依靠本文所述系统的数字像差校正能力来恢复图像质量和清晰度。可由系统10校正的由光学成像单元102引起的像差类型包括但不限于：赛得像差(Seidelaberration)球面、彗形(coma)像差、像散(astigmatism)、场曲(field curvature)和畸变、横向和纵向色差、和可选地还有它们的高阶对应物。
所述波前成像传感器单元106负责向所述控制单元108提供原始数据，以实现衍射极限去模糊重建。所述波前成像传感器单元106还可以提供在所述像平面104上的光学像差强度的测量。术语“原始数据”指的是由所述图像传感器106测量的光强度的数字化。所述原始数据由所述控制单元108进一步处理，例如以下所述，以提供光学互相干函数或等效实体(例如维格纳”Wigner”分布)的元素的测量。所述波前成像传感器106被设计成以衍射极限的采样分辨率，提供关于成像系统的像平面104附近的光场的光学互相干函数的元素的数据。如背景技术部分所述，标准Shack-Hartmann型传感器、全光相机传感器或角度敏感像素传感器无法以衍射极限采样分辨率提供此数据。
本文使用的术语“波前成像传感器”涉及提供衍射极限的采样分辨率的能力。如本文所用，术语“波前传感器”指的是不能达到衍射极限采样分辨率的常规技术，例如Shack-Hartmann传感器、全光照相机或角度敏感像素。
根据本发明的实施例，所述波前成像传感器单元106和所述控制单元108可以按照PCT专利公开号WO/2018/185740中描述的原理进行操作，所述专利通过引用并入本文。根据本发明的实施例，所述波前成像传感器106由位于成像光学器件的像平面104附近的一光调制器110(也称为编码器)和一下游图像传感器检测器阵列112组成。所述光调制器110(编码器)可以是静态无源光学元件，其对到达所述像平面104的光进行幅度调制、相位调制或两者。如果仅进行相位调制，则所述光调制器110不会在光学系统10中引起任何附加损耗。从那里，调制的光传播到下游检测器阵列112被采样然后数字化。所述原始数字数据(子像素传感器单元阵列112的输出)接著由所述控制单元106进行处理。下面将描述编码器单元110单元与像平面104处的光场的奈奎斯特采样的关系。所述控制单元106可用于执行WO/2018/185740中描述的控制单元的功能，以及例如如下所述的附加控制功能。控制功能可以由单独的控制单元执行。
应当注意的是，在本发明的一些实施例中，所述光调制器110可以是与检测器阵列112分离的单元。在其他实施例中，所述光调制器110可与检测器阵列112单片集成。根据又一实施例，所述光调制器110可以是用于制造传感器阵列112的工艺堆栈(process stack)的一部分，例如，使用金属化工艺步骤，或类似于制造微透镜阵列的工艺步骤，用于提高传感器阵列中的像素填充因素(pixel fill-factors)。
波前成像传感器单元106在成像系统的像平面104提供光学互相干函数(opticalmutual coherence function)的测量。光场E(x)的光学互相干函数ρ定义了平均时间场的空间相关性，为：
(方程式1)ρ(x,x')＝{E(x)E*(x')}
其中，在方程式1中，x＝(x，y)与场的横向空间坐标有关。通常，使用探测器阵列和数字化数据需要对相互相干性进行一定的离散化，以提供以下形式的相互相干矩阵:
(方程式2)ρij＝{E(xi)E*(xj)}
其中，在方程式2中，E(xi)与点
Figure BDA0004005048450000191
的场的共轭复数相关，且E*(xj)与点/>
Figure BDA0004005048450000192
的场的共轭复数相关。应该注意的是，物理上可能实现相干矩阵是厄米特(Hermitian)且非负的矩阵。
如本领域已知的，常规成像和检测技术或典型检测装置或系统提供了指示对角元(diagonal elements)的数据，其对应于传统的强度测量，即li＝ρii＝{E(xi)E*(xi)}。测得的强度li＝ρii表示无论入射角如何，撞击每个探测器像素的光子/射线的数量，提供横向射线位置x的离散测量。测量强度li＝ρii没有提供关于非对角元(off-diagonal element)的信息。互相干函数的非对角元包含光场的相位和相干关系。
非对角元中的相位和相干关系表示在光学系统的像平面104处照射在波前成像传感器106上的光线的角度信息。在物理光学中，波位置和角度之间的相关性完全由Wigner分布W(x,θ)描述，其中x＝(x,y)与场的横向空间坐标有关，且θ＝(θx,θy)描述射线轨迹角度。在射线光学的极限下，Wigner分布简化为几何光学光线的传统光场描述，其中记录了每条光线的位置x和传播角度θ。然而，Wigner分布实际上是一种“准概率”分布，可能达到负值，表示物理光学波状现象。
在数学上，维格纳分布和互相干函数是完全等价的，它们通过傅里叶变换(Wigner-Weyl变换)相关：
(方程式3)
Figure BDA0004005048450000201
如本领域所知，传统的光场全光照相机、角度敏感像素传感器或Shack-Hartmann型传感器不能提供衍射极限的成像分辨率或像差去模糊。根据本发明的实施例，所述波前成像传感器106可提供互相干函数的衍射极限采样。从Wigner-Weyl变换，我们获得了具有衍射极限空间采样的Wigner分布。得到的Wigner分布的角采样分辨率在互相干函数中测量的最大非对角元距离有关。
根据本发明的实施例，包含在Wigner分布中的组合位置角信息接著用于执行数字像差校正。为了说明，以下简单示例演示了如何执行数字像差校正。所示的简单示例可以扩展到涵盖任何类型的成像场景上的所有像差类型。
图2a中描绘了光学配置20。在这个简单的例子中，我们考虑使用理想光学器件202成像的两个不同但接近的点源a和b的成像。重叠的模糊点a图像和模糊点b图像在图2b中更详细地示出。两个点源a和b位于成像系统的焦平面之外，即它们失焦，甚至可能是不同程度的散焦。在这个示例中，散焦和随后的模糊被视为一般代表成像像差的示例，并且可以扩展到任何类型的像差。选择散焦和空间分离的程度，使两个点源a和b的模糊图像重叠。
如果点源的间隔更宽而使得它们的模糊图像不重叠，那么已知技术将适合于对它们的每个图像进行数字反褶积(deconvolve)，并且甚至使用相位检索或其他技术来估计它们的像差程度。通常，模糊图像包含许多重叠，且可选地不同的模糊核，每个模糊核对应于成像物体空间中的一个点源。
因此，我们发现目前的一般问题是如何为可能具有不同程度像差的两个或更多个重叠模糊核执行模糊核的数字估计，就像在讨论中的简单示例中一样，如图2a所示。我们现在参考目前问题的光线追踪几何光学描述，如图2c所示。我们发现，在两个散焦模糊点a和b图像的重叠模糊区域214中，存在包含朝向第一点源的图像和也朝向第二点源的图像的光线216的光线216的点。在图2c的特定示例中，会聚点放置在成像系统的像平面204之后，因此是散焦的点源图像。不失一般性，如果一个或两个点源被成像到像平面204之前(未示出)，则相同的考虑是有效的。在重叠区域214内，每个空间点包含两条不同的射线216角度，其中一条射线216a来自第一个点源(点源a)，另一条射线216b来自第二个点源(点源b)。
假设使用传统的全光光场传感器或放置在像平面204上的角度敏感像素成像传感器：这些类型的传感器被配置为在输出数据和照射在传感器上的输入光线之间提供一对一的对应关系。每个光场数据点对应于空间x中的特定位置，具有独特的传播光线θ。角度敏感像素检测器也提供这样的一对一信息。当特定像素亮起时，指出射线位置x和单个入射角θ。另一方面，正如我们刚在图2a-2c所示的简单示例中所展示的，在重叠区域214内，存在包含具有不同角度的两条不同光线穿过它们的位置。由于一对一的对应关系被破坏，传统的角度敏感或全光光场传感器无法准确地记录这些类型的双射线或多射线点。我们还注意到，这种一对一对应约束也是传统角度敏感像素传感器和全光光场传感器无法执行高达衍射极限的成像的部分原因。当以比衍射极限空间分辨率更粗糙的分辨率运行时，光场的光线追踪光场描述不包含光线位置和角度之间的一对一对应关系被破坏的这种模糊区域。
另一方面，Wigner分布W(x,θ)可以安全地描述和量化一对一角度-位置对应关系被破坏的模糊性。回想一下，Wigner分布是使用Wigner-Weyl变换从相互相干函数ρ(x,x')＝{E(x)E*(x')}中提取的，这反过来由波前传感器单元来估计。Wigner分布不仅是传统光场几何射线光学描述的波动光学模拟。它还包含相干和干扰信息。Wigner分布准确地记录和描述了射线的重叠组合，如在图2a-2c所示的上述示例中的重叠区域214中描述的射线216。
使用Wigner分布描述，可以测量和识别重叠模糊区域214中重叠但不同的光线。通过这样做，我们可以将问题简化为一个更简单的非重叠模糊点源。我们可以执行去模糊，还可以估计导致模糊的像差和散焦程度。
Wigner分布包含指示光场的光谱含量的数据。这是对指示光场强度、相干性和相位的数据的补充。可以通过方程式3中描述的波长依赖性来获取光谱含量。
波前成像传感器还可用于提取关于成像输入场景的光谱信息。Wigner分布所包含的光谱信息可用于估计每个点源的光谱分布(“光谱”)。光谱信息可选地用于重建成像场景的光谱分布图，或者作为彩色(RGB)、多光谱图像或高光谱图像。
图3a是说明根据本发明实施例的方法30的流程图，用于使用例如图1a-图1b中的配置进行数字去模糊、像差估计以及可能还有频谱分布估计。为了容易解释，我们参考图2a-图2c所示的成像场景来呈现这些步骤。
方法30始于拍摄图像并生成原始数据的操作300，例如，使用如图1a-图1b所示放置在成像系统的像平面104附近的成像波前传感器单元106。由成像波前传感器单元108(例如由图1b中所示的检测器像素阵列112)生成的原始数据例如被传递到图1a-图1b中所示的控制单元108。
在操作300之后是操作302，例如通过控制单元108，计算例如撞击在波前成像传感器106上的光场的Wigner分布的场特性。根据本发明的一个实施例，操作302是通过操作302a以及操作302b来执行，操作302a是基于原始数据计算光学互相干函数；操作302b是使用Wigner-Weyl变换(方程式3)将光学互相干函数变换为等效的光学Wigner分布。
在操作302之后是分离各个点源的操作304。Wigner分布中的相干性和角度组合信息用于区分构成整个成像场景的不同点源。
在操作304之后是计算每个点源的模糊的操作306。
在操作306之后可选地进行估计每个点源的像差强度程度的操作308。
在操作306(或可选地，操作308)之后是操作估计每个点源的空间光谱分布的操作309。
在操作306(或可选地，操作308或操作309)之后是重建去模糊图像的操作310。例如，去模糊图像被重建为去模糊点源的合成。
在操作310之后是从逐点像差估计来重建各种像差强度的空间图的操作312。
在操作310(或可选地，操作312)之后，可选地进行计算每个点源的光谱分布的操作314。
在操作314之后可选地进行从逐点光谱分布估计来重建输入光的光谱分布的空间图的操作316。
图3b是说明根据本发明实施例的方法34的流程图，用于使用例如图1a-图1b中的配置进行谱分布估计。为了容易解释，我们参考图2a图-2c所示的成像场景来呈现这些步骤。
方法34始于操作340，例如使用如图la-图lb所示的放置在成像系统的像平面104附近的成像波前传感器单元106来拍摄图像并生成原始数据。由成像波前传感器单元108(例如由图1b中所示的检测器像素阵列112)生成的原始数据例如被传递到图1a-图1b中所示的控制单元108。
在操作340之后是操作342，由例如控制单元108计算场特性，例如撞击在波前成像传感器106上的光场的Wigner分布。根据本发明的一个实施例，操作342通过操作342a以及操作342b来执行，操作342a基于原始数据计算光学互相干函数；操作342b，使用Wigner-Weyl变换(方程式3)将光学互相干函数变换为等效的光学Wigner分布。
在操作342之后是分离各个点源的操作344。Wigner分布中的相干性和角度组合信息用于区分构成整个成像场景的不同点源。
在操作344之后是为每个点源估计空间光谱分布的操作346。
在操作346之后是从逐点光谱分布估计来重建输入光的光谱分布的空间图的操作348。
可选地，执行以下用于像差校正的部分或全部附加操作：计算每个点源的模糊的操作350；估计每个点源的像差强度程度的操作352；重建去模糊图像的操作354；操作356从逐点像差估计重建各种像差强度的空间图。
在不失一般性的情况下，由于Wigner分布和互相干矩阵在数学上是等价的并且通过代表性基础的变化而相关，因此可以执行方法30或34以计算任何基础表示中的场的特性，每个基础表示都包含所需的相干性、角度、相位和光谱信息。因此，可以在Wigner基础、互相干基础或作为互相干或Wigner分布矩阵元素的组合获得的任何其他基础中执行上述方法30中的操作302，304和306，或上述方法34中的操作342、344和346。
为了说明，我们给出了数值模拟的示例，阐明根据本发明实施例的方法和系统性能。在此示例中，西门子星形目标(Siemens star type target)用作源参考物体，如图4所示。目标(例如，图4)具有极端的周期性、对比度和几何结构。下面说明(例如在图1a或图1b)的光学成像系统对西门子星形目标的西门子星形目标的性能。
光学成像系统(例如图1a-图1b)中所示的系统10或12可能具有由图5a中所示的点扩散函数(point-spread function，PSF)50描述的像差。显然地，这与衍射极限点相去甚远。这对应于图5b中描绘的波前误差52，其几乎是4个波峰到峰。用这种像差成像系统对西门子星标(图4)进行成像产生了相应的光学互相干函数，如图6a(实部60)和图6b(虚部62)所示。等效的Wigner分布70来自Wigner-Weyl变换，如图7所示。图8a显示了从像差光学成像系统获得的模糊图像80。图8b示出了使用上述方法从Wigner分布70中的信息重建的去模糊图像82。
根据本发明实施例的方法可用于在广泛的应用中校正光学像差。根据本发明的实施例可以处理几种类型的像差：
由光学成像系统的设计和制造引起的静态像差。这些静态像差可以通过光学成像系统的适当计算、测量和表征来预先确定。
由环境因素引起的光学成像系统的变化或执行成像的介质的变化引起的动态像差，例如大气湍流、眼睛像差等。这些动态像差是事先不知道的，且可能会因影响单个成像系统的外部因素的变化而因图像而异。
横向或纵向光谱像差，或者它们的组合，或者更高阶的光谱相关变体的色差。根据上述定义，这些类型的色差还可以进一步分为静态或动态。
再次回到图3a的方法30：根据本发明的实施例，模糊估计的操作306可以考虑将像差分类为静态像差或动态像差。在静态情况下，所需的模糊是预先知道的，而在动态情况下，它是根据每个图像实例动态计算的。静态像差参数可以被计算或测量或以其他方式预先确定并存储在控制单元的存储单元中。
静态和动态像差之间的区别也会影响波前成像传感器单元中使用的像素数量(图1a-图1b中的元件106)。为了解释这一点，我们需要根据Δ＝λ/4NA给出的衍射极限奈奎斯特采样极限，区分图像传感器的原始像素数NR和所需的采样点数NN。在常规成像中，如果传感器的像素等于或小于上述奈奎斯特极限Δ＝λ/4NA，,也就是原始像素的数量至少等于奈奎斯特采样点的数量，则可以获得良好采样的图像。这是从像平面上光场强度的独立自由度的数量得出的。独立自由度的个数用奈奎斯特采样点的个数NN来描述。因此，为了充分考虑这些自由度，它们需要使用至少NR≥NN个采样点进行采样。
此原理延续到波前成像传感器(例如图1a-图1b中的元件106)的设计。如果所有像差都是静态的并且事先已知，则未知自由度数为NN。因此，所需的原始像素数至少应为奈奎斯特采样点数NR≥NN。然而，如果要考虑动态像差，则存在额外的未知自由度。每种类型的动态像差Ai，例如放大率、彗差、散光像差等，都与一组新的自由度编号
Figure BDA0004005048450000261
有关。每个像差的假设空间变化与每个/>
Figure BDA0004005048450000262
的值有关:对于空间不变的像差/>
Figure BDA0004005048450000263
对于可以在像平面上的任何点处假设任意强度值的动态像差/>
Figure BDA0004005048450000264
对于具有缓慢空间相依(slow spatialdependence)的像差/>
Figure BDA0004005048450000265
因此，为了充分考虑图像自由度和动态像差，波前成像传感器至少需要
Figure BDA0004005048450000266
其中/>
Figure BDA0004005048450000267
取决于每个动态像差的空间可变性。自然地，采用过多的原始像素会增加冗余，并可以提高波前成像传感器的鲁棒性和信噪比。
为了根据上述关系获得更高的像素数，实际的原始像素需要小于奈奎斯特极限Δ＝λ/4NA。这在图9a-图9b中示意性地示出。图9a显示了奈奎斯特采样网格90。图9b显示了原始像素采样网格92。对于普通的成像传感器，这仅意味着对光学图像进行过采样，不会产生新信息。然而，对于根据本发明实施例的波前成像传感器(例如图1b所示)，光学调制器产生新的光学信息，其可由图像传感器检测器阵列(例如图1b中的元件112)采样，产生原始数据，并且该新信息用于执行去模糊以及动态估计如上所述的像差强度。
波前成像传感器(例如图1a-图1b中的元件106)也可用于NR<NN的情况。在这种情况下，除了执行静态像差校正外，它还用作抗混叠滤波器，产生分辨率低于奈奎斯特极限的去模糊图像，输出分辨率为NO(输出图像中的像素数)。当在
Figure BDA0004005048450000271
的情况下与动态像差一起使用时，抗混叠效果仍然存在，再次产生分辨率低于奈奎斯特极限NO<NN的去模糊图像。
还可以在输出分辨率NO低于奈奎斯特采样点数NN下计算色场特性(例如输出图像中的光谱带或颜色通道)。在这些情况下，为了在NO<NN个点的输出分辨率下提取NC色场特性(例如光谱带)，我们需要NC x NO≤NR，即图像传感器的原始像素数。
在本发明的实施例中，例如基于PCT专利公开WO/2018/185740中描述的波前成像传感器，编码器单位晶格与奈奎斯特采样网格相关，可选地具有单位晶格的大小和奈奎斯特网格间的非整数比。单位晶格大小与奈奎斯特网格之间的比率取决于所需的采样程度，可以1:1的比率进行良好采样，当单位晶格小于奈奎斯特网格时会过度采样，而当单位晶格大于采样网格时则采样不足。每个单位晶格内的子像素的数量可以是固定整数，并且原始数据像素的总数可以等于单位晶格的数量乘以每个单位晶格的子像素的数量。
如果单位晶格大于奈奎斯特网格，也可以恢复采样良好的相互相干和Wigner分布数据，但原始数据像素的总数符合上述采样关系。
还应注意的是，编码器单位晶格，例如在PCT专利公开WO/2018/185740中描述的，被描述为周期性的。然而，在一些实施例中，可以使用准周期性或非周期性结构来说明在所需视场(FOV)内空间依赖(spatially dependent)的光学特性。例如，可以调整编码器的间距以考虑主光线角(chief-ray angle，CRA)在FOV上的变化。此外，像差的程度和类型可能在FOV上有所不同，因此FOV中的每个位置都需要不同的最佳光学编码器/调制器设计。调制器的设计可以根据这些要求而变化，从而产生准周期性或非周期性设计。
因此，根据本发明的实施例，光调制器单元(例如图1b中的元件110)可包括多个单位晶格(图1b中未示出)，且图像传感器检测器阵列单元112可包括传感器单元阵列(图1b中未示出)；元件112的传感器单元阵列可以定义多个传感器子阵列单元(图1b中未示出)，每个传感器子阵列对应于光调制器单元110的所述多个单位晶格中的一个单位晶格；且光调制器单元110用于对图像传感器单元112收集的输入光应用预调制。光调制器单元110的每个单位晶格可以将入射在其上的收集的输入光的一部分引导到与其对应的传感器子阵列单元和预定邻近区域内的一个或多个相邻传感器子阵列单元上。
图10a-图10d示意性地示出了具有周期性单元布置的光调制器单元110的各种实施方式。本发明不受光调制器单元110的特定单元布置的限制。
图10a是一个二元设计(binary design)，每个单位晶格有一个盘单元。盘可使用相位或幅度调制或两者的组合。应注意的是，在某些情况下，相位调制是合适的，因为它不会导致光损失，即100％的光子到达底层传感器像素。通常，盘可以具有25％到75％的填充因子，且在设计波长下相位调制可从90度到270度。
图10b描绘了由同心环组成的多层设计。环可以具有等间距的半径，或具有其他增量。同样地，相位或幅度调制是可能的，或两者的组合。
图10c和图10d描绘了二元盘或多环设计，每个单位晶格有两个盘/环组，布置在单位晶格的边缘上。实际上，这些等同于图10a和图10b的设计旋转了45度并缩小了
Figure BDA0004005048450000291
倍。
图11a和图11b描绘了根据本发明实施例的光调制器单元110的单位晶格与检测器阵列112的相应传感器子阵列之间的关系。在图11a中，每个单位晶格有2x2传感器子阵列像素，而在图11b中，每个单位晶格有3x3传感器子阵列像素。当然，可以在传感器子阵列中使用更高的MxN像素数，且本发明不受光调制器单元110和检测器阵列112中的像素数的限制。
我们注意到，即使光调制器单位晶格大于奈奎斯特极限Δ＝λ/4NA，只要原始像素数为NR(由子阵列像素数乘以单位晶格决定)足以确保NR≥NN用于恢复图像，或在动态存在的情况下为
Figure BDA0004005048450000292
就可以获得衍射极限成像分辨率像差。可以使用本领域已知的技术，使用设计有所需光谱灵敏度带的波前成像传感器来处理色差。一种技术可以使用传统的彩色滤色器阵列，例如拜尔滤色镜。图12a中提供了非限制性示例，其中每个数字代表不同的光谱带滤波器。图12b示意性地示出了根据本发明实施例的光学系统12。系统12包括参考图1a-图1b讨论的元件100、102、104、108。系统12还包括多传感器配置206-包括波前成像传感器206λ1-206λ3，具有适当的分色镜或其他分束器114，提供光谱过滤。光谱灵敏度带可以通过使用多传感器配置206来实现。其他可能的配置可以包括二向色或其他分束器和光谱滤波器的组合。每个光谱元素都可以使用单独的Wigner分布进行处理，然后应用组合的光谱敏感去模糊。
应注意的是，总原始像素的数量应包括如上所述的所需自由度，并且还应考虑光谱带。根据一个实施例，复制单个光谱带所需的原始像素的数量，用于所有光谱带，这可以在与滤色器阵列结合使用的多个原始像素中体现出来，例如图12a中所描绘的。根据另一实施例，如果根据图12b的示例使用多传感器配置，则每个传感器206应包括适当数量的原始像素，足以覆盖相关光谱带所需的自由度。
根据本发明的实施例，使用例如图1a、1b和12b中所示的系统来执行高光谱成像(Hyperspectral Imaging，HSI)。高光谱成像是一种分析广谱光的技术，而不仅仅是为每个像素分配原色(红、绿、蓝)。照射到每个像素的光被分解为许多不同的光谱带，以便提供有关成像内容的更多信息。
根据本发明的实施例，高光谱成像是通过在考虑到所测量的光谱带及像差的数量和类型的原始传感器像素总数中提供一定程度的冗余(redundancy)来实现的。原始传感器像素的总数被选择为高于测量的光谱带的数量，并考虑到要估计的像差的数量和类型。
例如，通过每个奈奎斯特像素使用3x3(9)个原始像素，有有足够的冗余来提取8个光谱带中的强度和1个额外的深度测量或像差估计通道。在这种条件下，可以提取额外光谱带的Wigner分布，这些光谱带是从实际使用的光谱滤波器内插或外推的。这可以通过相对简单的滤色器阵列或二向色棱镜配置实现高光谱成像。例如，对于RGB拜尔滤波器，可提取高光谱成像数据，用于红绿和绿蓝光谱区域中的其他光谱带，以及外推到光谱的紫色和红色区域的精细光谱采样。
图13a示意性地示出了四个光谱带滤光器1-2-3-4，其对应于诸如图12a中所示的滤色器阵列布置，或如图12b中所示的二向色棱镜配置。如上所述，光谱信息可以在每个光谱带内细化，从而产生超过四个波长的光谱信息。
此外，在总原始像素中有足够冗余的情况下，可以在宽光谱带(例如整个可见光范围、400-700n或甚至超出)上将光谱信息提取到例如紫外或红外光谱区域。这可以在不使用任何类型的光谱滤光片或滤色片阵列的情况下实现全彩色RGB成像、多光谱成像或高光谱成像，由于没有光子丢失，因此大大提高了收集效率。这种传感器在光线不足的情况下很有用。
根据本发明的实施例，传感器被配置为捕获可见范围(例如，400-700nm)以及近红外(IR)光中的标准RGB成像。近红外(IR)光可以例如在700-1000nm的范围内或甚至超过、或在SWIR范围内，这取决于底层传感器像素光谱灵敏度)。组合的RGB+IR感应对于涉及不显眼的泛光IR照明的各种应用非常有用。例如，组合的RGB+IR感应允许捕获全彩色图像，同时用不可见的泛光IR照亮场景以增强低光性能。根据另一示例，场景用不可见的IR点图案照明以增强深度成像。
可能会出现使用宽光谱带会在提取光谱数据时引起模糊的情况。这些模糊可以通过使用“梳状”光谱滤波器来克服，其将到达传感器的光谱分成一系列彼此不同的较窄光谱带，如图13b所示的光谱分布1。参考图12b中所示的系统，此光谱滤波器应用于整个图像，并且可以定位在光学系统12中的任何位置或作为图像传感器206的一部分。除了此处描述的梳状图案之外，光谱去模糊也会受到具有不同光谱图案的其他光谱滤波器的影响，例如13b中的光谱分布2。
在不失一般性的情况下，到达如上描述和在图12b、图13a和图13b描绘的传感器206的光谱含量的控制，可以通过结合使用合适的照明源或代替光谱滤波器来影响，以实现相同的效果。例如，诸如LED之类的窄带照明源可用于照射RGB或其他光谱分布。照明源的光谱含量可以顺序改变，基本上导致与图12b和图13a中所示的设置等效的设置，或同时改变，如图13b所示和上文所述。
以数字方式校正光学像差的能力可以放宽成像光学系统的设计和制造限制，潜在地导致更低的成本、更小的尺寸、增强的操作参数或增加的对环境因素的鲁棒性。根据本发明的实施例，光学器件的简化可以表现为来自由以下操作参数组成的组中的一个或多个的各种组合：
减少折射和反射光学元件的数量：由于更大的像差宽容度(aberrationlatitude)，减少了对相互补偿光学元件的复杂组合的需求。
更简单的光学表面，即可以使用球面：可以简化光学设计以利用球面代替非球面或自由曲面。
用于光学元件的低成本材料：减少对可能更昂贵或需要更昂贵制造工艺的特殊材料的需求。
更短的光路：元件的减少可导致更短的光路，可选地结合更快的光学器件，见下文。
更快的光学器件(更低的f/#，更高的NA)：放宽的像差容限可以使得能够使用更大的光圈或更短的焦距。在显微镜中，这可以获得更高的数值孔径(NA)。
放宽的制造公差：这些可以表现为单个光学元件、表面或材料的更宽公差，从而导致更高的产量或更低的成本。
放宽的对准公差：更广的光学元件未对准范围可以简化安装和对准程序。
放宽的系统稳定性和可重复性要求：系统可以适应更广泛的环境因素，例如可以影响光学元件的对准和性能参数的热、压力、冲击。
扩展焦距范围：补偿散焦模糊以实现扩展焦深范围。
更大的视场：在许多情况下，光学系统的像差朝向视场的边缘增加。放宽像差容限可以允许更大的视野。
适应更强的场曲：扩展的聚焦范围可以允许更强的场曲和可选地更大的视场。
更大的工作距离：在显微镜物镜中，大的工作距离通常需要大而复杂的设计来克服像差。数字校正像差的能力可以使给定工作距离或工作距离增加或两者的设计更简单。
显微镜载玻片盖玻片、样品盘和容积室：允许显微镜物镜设计在显微镜载玻片或更厚的载玻片的盖玻片上使用放宽的公差。它还可以让倒置显微镜以更高的NA工作并更好地渗透到样品盘中。它还允许使用更厚的载玻片或样品室。可以使用具有容积或微流体通道和操作能力的载玻片或样品室。
浸没物镜(Immersion objective)：增加了折射率匹配的容差，取消了对浸没物镜的折射率调节环的要求。
RGB颜色、多光谱或高光谱成像：在不使用滤色器阵列的情况下执行实时、单快照RGB颜色、多光谱或高光谱成像的能力。这可以通过几个因素提高光敏感度因为没有光子被过滤掉，它们都到达了探测器单元的像素阵列。此功能可以与上述去模糊功能结合使用。
许多光学成像系统具有调整各种成像参数的设施，例如控制孔径光阑、改变焦点和用变焦机构改变焦距。根据本发明的实施例，如果这些机制可重复到所需的程度，那么它们在成像系统单元中影响的变化可以被预先确定并作为各种静态像差集存储在控制单元的存储单元中，每个这样的集对应于特定的成像参数配置。
根据本发明的其他实施例，为了简化和降低成本，某些光学成像参数机制可以具有更宽松的可重复性容差，这可以使用动态像差去模糊来补偿。
计算像平面中每个点处的动态像差强度的能力可用于估计像平面中每个点处的深度，以及执行数字去模糊以补偿散焦模糊并因此获得扩展深度对焦范围。在这种情况下，相关的像差是放大率，它取决于成像系统到物体空间中每个点的距离。放大率像差强度的空间图与深度图直接相关，并且算法的去模糊能力可以恢复衍射极限的成像分辨率，也适用于最初失焦的图像部分。此外，对于特定的光学成像系统及其特征像差，物空间中每个点的距离可能会引起超出放大率的其他像差，例如球面像差或其他像差。有关这些额外像差的信息也可用于增加物体空间中每个点源的深度估计。
在不失一般性的情况下，此方案可以根据本发明的实施例进行扩展，以在宽光谱范围内工作，其中色度像差用于估计深度，并且波前成像传感器可以使用图10a-图10b中之一描绘的配置或其他配置。根据本发明的实施例，该系统还可以适应光学成像系统中存在的静态像差。
根据本发明的实施例，深度估计可以与简化的成像光学器件结合使用。
根据本发明的实施例，为了执行数字自适应光学，计算像平面中每个点处的动态像差以适应超出放大率的各种不同程度的像差。数字自适应光学用于执行数字去模糊，并在无法事先知道像差的情况下恢复衍射极限的成像分辨率。
在以不可预测的方式影响成像系统单元的各种环境因素，例如热或压力变化、冲击、光学系统内的气流、光学元件在自重下的下垂等所引起像差的情况下，无法预先知道像差。外部环境因素也可能发挥作用，例如通过大气湍流成像。在许多生物应用中，由于光穿过生物组织引起的像差，在体内或在实验室中，大块组织的显微成像受到限制。在通过受试者眼睛的显微眼科成像中，角膜和晶状体中的像差会导致图像清晰度和质量大幅下降。
在现有技术中，这些类型的像差使用复杂、笨重和昂贵的自适应光学系统来部分地校正。这种系统很难集成到现有的成像系统中，需要修改光路以结合波前传感器和波前调制元件，通常采用额外的光学继电器和分束器的形式。
许多自适应光学系统被设计为使得波前传感器和波前调制元件都位于或靠近成像系统的光瞳平面，从而在整个成像场上以均匀的方式对光学波前像差进行采样和校正。空间依赖自适应光学校正通常在扫描光学成像系统中进行，这使整个系统设计更加复杂。
在许多情况下，需要额外的“导星”照明系统来为波前传感器提供足够的反馈信号，这进一步使系统复杂化并限制了其有用性和操作范围。
根据本发明的实施例的动态像差校正允许原始成像系统与波前成像传感器结合使用，从而使得光学系统整体上更简单。
根据本发明的实施例，可以提供空间相关去模糊，这是使用传统自适应光学系统极其复杂的壮举。
根据本发明的进一步的实施例，本发明的实施例的实施避免了“引星”的使用，使得进一步的简化。
根据本发明的实施例，例如，在具有低光照水平的情况下，可以用“导星”来扩充本发明，以提高数字去模糊算法的SNR。
根据本发明的实施例，可以实现数字自适应光学系统以补偿光学成像系统由于环境因素引起的变化，以及补偿由于影响成像介质的外部因素而引起的模糊。
根据本发明的实施例，可以将数字光学像差校正系统并入现有的自适应光学成像系统中，其中波前成像传感器代替自适应光学成像系统中的传统成像传感器，或者提供在此之外传统的成像传感器。这可以为像差校正提供“最后一英里”，补偿自适应光学系统留下的残余像差误差，并且还允许更简单地补偿空间相关像差。这样的配置可以在有或没有“导星”的情况下使用。
图14是根据本发明实施例的具有自适应光学系统单元140的像差校正系统14的示意方块图。由虚线框包围的自适应光学系统单元140以一般方式示出。根据本发明的实施例，自适应光学系统单元140包含波前传感器1410和位于成像系统的光瞳平面1412附近的波前调制器1406。这可能需要包括光瞳中继器(pupil relay)1402和管透镜1408的扩展光路。自适应光学波前传感器1410提供反馈以在自适应光学控制单元1414的控制下驱动波前调制器1406。在不失一般性的情况下，图14示出了自适应光学系统，其中自适应光学波前传感器1410位于波前调制器1406波前校正之前测量原始波前。存在本领域已知的其他自适应光学系统配置，其中自适应光学波前传感器1410测量波前调制器1406校正后的残余波前误差。自适应光学系统的这种设计变化以及其他类似的设计变化都在本发明的范围内，并且图14中描述的自适应光学系统仅作为示例，用于说明目的。
根据本发明的实施例，自适应光学波前成像传感器1410位于系统的像平面1414，代替成像传感器206。根据本发明的实施例，例如参考图1a、图1b、图3、图12b所讨论的，波前成像传感器306和控制单元108可以校正由自适应光学系统单元140留下的残余像差并且还补偿空间依赖模糊。
根据本发明的实施例，控制单元108可以独立于自适应光学系统单元140运作。
根据其他实施例，控制单元108还可以使用来自自适应光学波前传感器1410的信息来提供波前像差的粗略测量，然后执行精细的、可能与空间相关的数字自适应光学校正，如上文参考图3所述。
数字自适应光学系统14可用于提供深度估计以及与先前描述的简化光学方案结合使用。
本发明的实施例可以用于各种应用。
根据本发明的实施例，数字像差校正系统可用于具有较短镜头轨道和减少光学元件数量的相机，例如不突出手机壳的手机摄像头，用于可穿戴设备、无人机和机器人的小型相机。
根据本发明的实施例，数字像差校正系统可用于具有RGB、多光谱或高光谱功能且没有滤色器阵列的相机中，以提高感光度，并且可能还用于数字去模糊和扩展景深能力。
根据本发明的实施例，数字像差校正系统可用于隐藏在显示面板(例如移动电话或车辆中的显示屏)后面的照相机中。数字像差校正可以补偿由于通过显示设备层成像而产生的像差。此外，无需彩色滤色器阵列即可获得彩色RGB、多光谱或高光谱成像，以提高光灵敏度、补偿光损失和由于通过显示设备成像而可能导致的光谱不平衡。
根据本发明的实施例，数字像差校正系统可用于具有更高成像分辨率的简化的检眼镜(ophthalmoscope)中。简化的检眼镜可以允许更简单的区域成像而不是扫描配置。简化的检眼镜可以提供用于生物识别目的的改进的视网膜扫描分辨率。简化的检眼镜可以用来代替传统的自适应光学系统，或者在添加到现有系统时用作“最后一英里”精细校正。
根据本发明的实施例，数字像差校正系统可以用于显微镜中可使用的各种组合中。采用根据本发明实施例的数字像差校正系统的显微镜可以提供以下一个或多个优点：简化的物镜设计，更宽的视野；更大的工作距离；增强样品处理的操作参数，例如载玻片、盖玻片、容积室、微流体通道；增加浸没物镜的工作公差；扩展焦点；混浊介质中的数字像差校正。
根据本发明实施例的数字像差校正系统可以被实现为传统成像显微镜的一部分；作为共聚焦显微镜的一部分；或用于光片显微镜。
根据本发明实施例的数字像差校正系统可以用在显微镜中，用于需要RGB颜色、多光谱或高光谱灵敏度的应用，尤其是用于非线性成像。
根据本发明的实施例的数字像差校正系统可以在用于明场、暗场、微分干涉显微镜(DIC)、相差、定量相位成像和断层扫描以及其他成像技术的显微镜中使用。
根据本发明的实施例的数字像差校正系统可在显微镜中用于常规、荧光、双光子、多光子、非线性技术。
根据本发明实施例的数字像差校正系统可以代替传统的自适应光学系统使用，或当添加到现有自适应光学系统时用作“最后一英里”精细校正。
根据本发明实施例的数字像差校正系统可以用于远程监视和成像系统。例如机载、星载、海洋、陆地和太空望远镜和成像系统。
采用本发明的各种实施例，这样的成像系统可以使用简化的、重量轻的成像光学器件。
采用本发明的各种实施例，这样的成像系统可以对影响成像系统的环境因素(例如温度、压力、冲击和振动)提供更宽的容限。
采用本发明的各种实施例，这样的成像系统可以使用数字自适应光学器件来校正环境因素下的大气湍流和成像系统可变性。
采用本发明的各种实施例，这样的成像系统可以使用数字像差校正来代替传统的自适应光学系统，或者当添加到现有系统时作为“最后一英里”精细校正。
根据本发明的实施例的数字像差校正系统可用于成像系统中，用于需要RGB颜色、多光谱、高光谱灵敏度且没有滤色器阵列以提高灵敏度的应用。

Claims (20)

1.一种光学系统，其特征在于:所述光学系统包含︰
一光学成像单元，用于在光学系统的一像平面附近形成一光学图像；
一波前成像传感器单元，位于所述像平面附近，用于提供一光场的原始数字数据和所述像平面附近的图像输出；及
一控制单元，用于处理所述原始数字数据和所述图像输出，以提供去模糊图像输出，
其中，所述控制单元包括一存储单元和一处理单元，所述存储单元存储指令，所述处理单元执行指令以接收照射在波前成像传感器上的所述图像输出和所述光场的所述原始数字数据，并基于所述像平面上的光学互相干函数的分析，生成一去模糊图像。
2.如权利要求1所述的光学系统，其特征在于:所述控制单元还用于：
计算所述光场的场特性；
基于所述场特性中的相干性和叠加信息，对所述图像输出中的点源进行识别；对于每个识别的点源，估计其模糊程度；及
将去模糊图像重建为去模糊的点源的合成。
3.如权利要求2所述的光学系统，其特征在于:所述场特性是一维格纳分布或通过数学变换与所述维格纳分布相关的等效实体。
4.如权利要求2所述的光学系统，其特征在于:所述波前成像传感器单元还包括具有至少两个色带的一彩色滤色器阵列，所述控制单元用于计算对应每个色带的场特性、产生对多个色场特性、以及基于色场特性的组合重建所述去模糊图像。
5.如权利要求2所述的光学系统，其特征在于:所述波前成像传感器单元包括至少两个图像传感器，每个图像传感器与一光谱滤波器相关联，且所述控制单元用于计算对应于所述至少两个图像传感器中的每一个的场特性、产生多个色场特性、以及基于色场特性的组合重建所述去模糊图像。
6.如权利要求1所述的光学系统，其特征在于:所述波前成像传感器单元包括：
一光调制器单元，位于所述像平面附近；及
一图像传感器单元，相对于输入光场通过系统的一般传播方向位于所述光调制器单元的下游，用于获取原始数字图像输出，
其中，所述光调制器单元使用相位调制和幅度调制中的至少一种来调制所述光场。
7.如权利要求6所述的光学系统，其特征在于:
所述光调制器单元包括多个单位晶格，且所述图像传感器单元包括传感器单元阵列；
所述传感器单元阵列定义了多个传感器子阵列单元，每个传感器子阵列对应于光调制器单元的所述多个单位晶格中的一个单位晶格；及
所述光调制器单元用于对所述图像传感器单元收集的输入光进行预调制，所述光调制器单元的每个单位晶格将其上的收集到的输入光的一部分引导到与其对应的传感器子阵列单元以及预定邻近区域内的一个或多个相邻的传感器子阵列单元上。
8.如权利要求6所述的光学系统，其特征在于:所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN。
9.如权利要求6所述的光学系统，其特征在于:所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR和所述光调制器单元的奈奎斯特采样点的数量NN遵循以下关系:
Figure FDA0004005048440000021
其中/>
Figure FDA0004005048440000022
且其中/>
Figure FDA0004005048440000023
表示动态像差的空间变异性。
10.如权利要求6所述的光学系统，其特征在于:所述控制单元用于计算对应于每个单位晶格的场特性，产生多个色场特性，并基于所述色场特性的组合来重建，由以下各项组成的组中的至少一个：全彩色RGB图像、不使用光谱滤光片或彩色滤光片的高光谱图像。
11.如权利要求6所述的光学系统，其特征在于:所述控制单元用于计算对应于每个单位晶格的场特性，产生多个色场特性，并重建具有NO个输出图像像素和NC个色场特性的输出图像，其中NO低于奈奎斯特采样极限NN和NC xNO≤NR，即原始像素数。
12.如权利要求2所述的光学系统，其特征在于:所述光场包括不同的或连续的多个波长，且其中所述控制单元执行以下一者或两者操作：(1)估计每个识别的点源的光谱分布；(2)重建图像的光谱分布图。
13.如权利要求1所述的光学系统，其特征在于:所述控制单元还执行以下一项或多项操作：(1)估计每个识别的点源的像差强度；(2)基于对每个识别的点源估计的动态像差强度估计深度，产生光度像差强度的空间图，并基于光度像差强度的空间图重建一深度图；(3)基于所述深度图，恢复图像散焦部分的衍射极限成像分辨率。
14.一种方法，用于对一光学系统的一像平面附近的一成像单元形成的一图像进行数字光学像差校正，其特征在于:所述方法包括：
提供照射在位于所述像平面附近的一波前成像传感器单元上的一光场的原始数字数据和在所述像平面附近形成的图像输出；及
由一控制单元处理所述原始数字数据和图像输出，以基于像平面上的光学互相干函数的分析，提供去模糊图像输出。
15.如权利要求14所述的方法，其特征在于:所述波前成像传感器单元包括位于所述像平面附近的一光调制器单元和相对于输入光场通过系统的一般传播方向位于所述光调制器单元下游的一图像传感器单元，用于获取原始数字图像输出，且所述方法还包括使用相位调制和幅度调制中的至少一种来调制所述光场。
16.如权利要求15所述的方法，其特征在于:所述光调制器单元包括多个单位晶格，且所述图像传感器单元包括传感器单元阵列；所述传感器单元阵列定义了多个传感器子阵列单元，每个传感器子阵列对应于光调制器单元的所述多个单位晶格中的一个单位晶格；且其中所述方法进一步包括：
通过所述光调制器单元对所述图像传感器单元收集的输入光进行预调制；通过所述光调制器单元的每个单位晶格，将入射在其上的所收集输入光的一部分引导到与其对应的传感器子阵列单元和预定邻近区域内的一个或多个相邻传感器子阵列单元上。
17.如权利要求15所述的方法，其特征在于:所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR等于或大于所述光调制器单元的奈奎斯特采样点的数量NN。
18.如权利要求15所述的方法，其特征在于:所述图像传感器单元的所述多个传感器子阵列单元的原始像素数NR和所述光调制器单元的奈奎斯特采样点的数量NN遵循以下关系:
Figure FDA0004005048440000041
其中/>
Figure FDA0004005048440000042
且其中/>
Figure FDA0004005048440000043
表示动态像差的空间变异性。
19.如权利要求15所述的方法，其特征在于:所述方法还包括：
计算所述光场的场特性；
基于所述场特性中的相干性和叠加信息，对所述图像输出中的点源进行识别；对于每个识别的点源，估计其模糊程度；
将去模糊图像重建为去模糊的点源的合成。
20.如权利要求19所述的方法，其特征在于:所述场特性是一维格纳分布或通过数学变换与所述维格纳分布相关的等效实体。
CN202180043538.9A 2020-05-12 2021-05-12 用于数字光学像差校正和光谱成像的系统和方法 Pending CN115885311A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063023287P 2020-05-12 2020-05-12
US63/023,287 2020-05-12
IL276922 2020-08-25
IL276922A IL276922A (en) 2020-08-25 2020-08-25 Systems and methods for digital optical aberration correction and spectral imaging
PCT/IL2021/050545 WO2021229575A1 (en) 2020-05-12 2021-05-12 System and method for digital optical aberration correction and spectral imaging

Publications (1)

Publication Number Publication Date
CN115885311A true CN115885311A (zh) 2023-03-31

Family

ID=78525526

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180043538.9A Pending CN115885311A (zh) 2020-05-12 2021-05-12 用于数字光学像差校正和光谱成像的系统和方法

Country Status (6)

Country Link
US (1) US20230177655A1 (zh)
EP (1) EP4150561A4 (zh)
JP (1) JP2023527273A (zh)
KR (1) KR20230027012A (zh)
CN (1) CN115885311A (zh)
WO (1) WO2021229575A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644682B2 (en) * 2020-06-11 2023-05-09 Carnegie Mellon University Systems and methods for diffraction line imaging
CN114240790A (zh) * 2021-12-21 2022-03-25 江苏天瑞仪器股份有限公司 光谱仪所拍摄的图像的处理方法及其装置
US11703318B1 (en) * 2022-02-24 2023-07-18 United States Of America As Represented By The Secretary Of The Navy Homodyne encoder system with adaptive path length matching
CN117058118B (zh) * 2023-08-28 2024-04-05 北京航空航天大学 一种用于评估平面屏蔽玻璃丝网导致图像恶化效果的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL251636B (en) * 2017-04-06 2018-02-28 Yoav Berlatzky A system and method for a coherent camera
AU2017202910A1 (en) * 2017-05-02 2018-11-22 Canon Kabushiki Kaisha Image processing for turbulence compensation

Also Published As

Publication number Publication date
WO2021229575A1 (en) 2021-11-18
US20230177655A1 (en) 2023-06-08
EP4150561A4 (en) 2023-11-08
EP4150561A1 (en) 2023-03-22
KR20230027012A (ko) 2023-02-27
JP2023527273A (ja) 2023-06-28

Similar Documents

Publication Publication Date Title
CN115885311A (zh) 用于数字光学像差校正和光谱成像的系统和方法
US10401609B2 (en) Embedded pupil function recovery for fourier ptychographic imaging devices
JP7328232B2 (ja) フルカラー撮像のためのメタ表面およびシステムならびに撮像の方法
Geelen et al. A compact snapshot multispectral imager with a monolithically integrated per-pixel filter mosaic
US7723662B2 (en) Microscopy arrangements and approaches
US8243353B1 (en) Holography-based device, system and method for coded aperture imaging
US7933010B2 (en) Depth of field extension for optical tomography
WO2013080552A1 (ja) 撮像装置及び撮像システム
US9432591B2 (en) Multiscale optical system having dynamic camera settings
CA2754264C (en) Method and apparatus for accurate imaging with an extended depth of field
Fisher et al. Comparison of low-cost hyperspectral sensors
FR2919733A1 (fr) Systeme optique muni d&#39;un dispositif d&#39;accroissement de sa profondeur de champ
JP4796666B2 (ja) 撮像装置およびそれを用いた測距装置
US11933676B2 (en) Microscope for quantitative wavefront measurements, microscope module and kit, method and computer program for computational wavefront reconstruction
US11092489B2 (en) Wide-angle computational imaging spectroscopy method and apparatus
JP7355008B2 (ja) 分光計測装置、および分光計測方法
CN112985601B (zh) 一种基于衍射的长焦光谱编码成像系统和方法
Fisher et al. Survey and analysis of fore-optics for hyperspectral imaging systems
CN114689174A (zh) 一种芯片级多光谱相机系统及其操作方法
KR20230152671A (ko) 고품질의 얇은 렌즈 이미징을 위한 신경 나노 광학
CA2775621A1 (en) Scanning multispectral telescope comprising wavefront analysis means
Bennett et al. Optical design of a coded aperture infrared imaging system with resolution below the pixel limit
CN109839190B (zh) 一种快照式高光谱成像装置
Batshev et al. Multispectral video camera optical system
Zhao et al. Optical-digital joint design of multi-order diffractive lenses for lightweight high-resolution computational imaging

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination