CN107113370B - 图像记录设备及记录图像方法 - Google Patents

图像记录设备及记录图像方法 Download PDF

Info

Publication number
CN107113370B
CN107113370B CN201580059078.3A CN201580059078A CN107113370B CN 107113370 B CN107113370 B CN 107113370B CN 201580059078 A CN201580059078 A CN 201580059078A CN 107113370 B CN107113370 B CN 107113370B
Authority
CN
China
Prior art keywords
image
displacement
images
illumination
illumination angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580059078.3A
Other languages
English (en)
Other versions
CN107113370A (zh
Inventor
L.斯托普
M.丰克
A.伯纳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Carl Zeiss Microscopy GmbH
Original Assignee
Carl Zeiss Microscopy GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Carl Zeiss Microscopy GmbH filed Critical Carl Zeiss Microscopy GmbH
Publication of CN107113370A publication Critical patent/CN107113370A/zh
Application granted granted Critical
Publication of CN107113370B publication Critical patent/CN107113370B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Automatic Focus Adjustment (AREA)
  • Microscoopes, Condenser (AREA)
  • Image Processing (AREA)

Abstract

出于图像记录目的，以多个照明角度对物体进行照明。检测器针对所述多个照明角度而捕获所述物体的多个图像(41‑43)。电子评估装置对所述多个图像(41‑43)中的至少一些应用图像校正，所述图像校正包括位移(T1、T2)，其中所述位移(T1、T2)取决于在记录相应的所述图像(41‑43)时所使用的所述照明角度(4)。可将经校正图像(44‑46)相组合。

Description

图像记录设备及记录图像方法
技术领域
本发明的实施例涉及用于记录图像的设备及方法。具体来说，实施例涉及那些有利于对光学像差进行计算校正的设备及方法。
背景技术
现代光学系统应满足在图像品质方面越来越严格的要求。为此，可利用高精度及高品质光学单元。另一选择为，可利用更具成本效益的光学单元，并将此与随后进行的后处理相组合。
可使用较高品质的光学单元来产生高品质图像。然而，除成本方面的缺点以外，此也可能会引起大的安装空间及高的重量。此外，大量的透镜可能会提高系统的易反射性(Reflection susceptibility)及/或降低透射性。对于许多应用来说，例如在昂贵专业器具的领域中，此可能是不利的。
将成本较低的光学单元与随后进行的后处理相组合的设备及方法可在进一步的数字处理中包含去卷积技术。此类技术常常与高计算成本有关。此可被认为是不利的，尤其是需要对图像进行快速计算时，例如在显微镜系统中实时地显示记录样品区域。调制传递函数(MTF)的低对比度及/或图像的不良信噪比(SNR)可使得使用去卷积技术所确定的某些空间频率不能被重建或者只能在某些额外假设下被重建。举例来说，对于其中由于像差而使MTF具有0的空间频率区域，情况即可如此。举例来说，在发生像散或散焦的情况下，MTF中可能会出现这些0。纵向色像差可能不能通过去卷积技术来轻易地进行补偿。
发明内容
需要改善用于将物体成像的技术。具体来说，需要允许使用具成本效益的成像光学单元且与去卷积技术相比可在进一步数字处理中降低计算复杂性的设备及方法。具体来说，需要可用以校正纵向色像差及/或像散的设备及方法。
根据实施例，详细说明其中以多个照明角度对物体进行照明且在每种情况下记录图像的设备及方法。通过计算来进一步处理所述多个图像。在所述过程中，可对所述多个图像中的至少一些应用位移，所述位移取决于照明角度。可使用所述位移使图像区域在空间中移置。在应用所述位移之后，可将图像进行求和或以不同的方式进行进一步处理。
对于不同色彩通道，位移可不同，以校正色像差。例如在像散校正的范围内，所述位移可以是场点相关的，以将图像平面中局部变化的影响考虑在内。
在根据实施例的设备及方法中，可以计算高效的方式来实施图像校正，而无需通过相应的点扩散函数(PSF)来将图像去卷积。可通过以下方式来减少传统上与使MTF出现0有关的问题：以多个照明角度进行照明并在对图像进行计算处理时将照明角度考虑在内。可通过将以多个照明角度捕获的图像相组合来减少信息损失。可通过例如位移及加法等运算来实施所述组合，所述运算可以计算高效方式来实施且可满足实时状态。
根据一个实施例，一种图像记录设备包括照明装置，所述照明装置是可控的，以设定用于对物体进行照明的多个照明角度。所述图像记录设备包括检测器，所述检测器包括图像传感器，所述图像传感器用以针对所述多个照明角度而捕获物体的多个图像。所述图像记录设备包括电子评估装置，所述电子评估装置用于处理所述多个图像且耦合至所述图像传感器。所述电子评估装置用以对所述多个图像中的至少一些应用图像校正，所述图像校正包括位移，其中所述位移取决于在记录相应图像时所使用的照明角度。所述电子评估装置用以在所述图像校正之后将所述多个图像相组合。
所述电子评估装置可用以通过所述处理来校正色像差。
所述电子评估装置可用以通过所述处理来校正纵向色像差。
所述电子评估装置可用以使图像的不同色彩通道相对于彼此局部地移置，其中位移取决于在记录图像时的照明角度。
所述图像传感器可包括多个色彩通道。所述位移可取决于相应色彩通道、以及在记录相应图像时的照明角度。
对于一个色彩通道，在坐标空间中所使用的位移可取决于所述色彩通道的焦点位置与另一色彩通道的另一焦点位置之间的距离。因此，可将色彩通道之间的散焦考虑在内，并且可随之减轻物体边缘的色彩相关几何模糊。
至少两个色彩通道的焦点位置之间的距离可以非易失性方式存储在图像记录设备的存储媒体中。另一选择为或另外，色彩通道的焦点位置可以非易失性方式存储在图像记录设备的存储媒体中。所述电子评估装置可用以通过计算而根据上述信息来为所述色彩通道判定取决于照明角度的位移。
所述检测器可具有比不同色彩通道的焦点位置之间的距离大的检测器场深。
另一选择为或另外，所述电子评估装置可用以校正像散。出于校正像散的目的，所述位移可取决于照明角度与像散的一个或多个平面的相对关系。所述位移可取决于对物体进行照明的照明角度与第一平面的相对关系，所述第一平面由光学组件的子午线(被指派给第一焦距)及光学轴形成。所述位移可取决于对物体进行照明的照明角度与第二平面的相对关系，所述第二平面不同于所述第一平面且由光学组件的另一子午线(被指派给第二焦距)及光学轴形成。
所述位移可取决于成像光学单元不同平面的焦点位置的距离。
所述电子评估装置可用以确定图像平面中的位移沿着两个正交方向的分量，在每种情况下，所述分量均取决于照明角度。
对以一个照明角度捕获的图像应用的位移可取决于以所述照明角度入射的光束相对于由成像光学单元的像散轴及光学轴界定的平面的位置。
对以一个照明角度捕获的图像应用的位移可取决于以所述照明角度入射的光束相对于由第一像散轴及光学轴界定的第一平面以及相对于由第二像散轴及光学轴界定的第二平面的位置。
所述位移沿着第一坐标轴的分量可取决于以所述照明角度入射的光束在第一平面中的投影。
所述位移沿着第二坐标轴的另一分量可取决于以所述照明角度入射的光束在第二平面中的投影，所述第二坐标轴正交于所述第一坐标轴。
所述检测器可具有比像散不同平面的焦点位置之间的距离大的检测器场深。
另一选择为或另外，所述电子评估装置可用以校正场曲率。
所述检测器可具有比由纵向色像差、像散及场曲率的组合引起的散焦大的检测器场深。
由电子评估装置应用的位移可以是场点不相关的。可对图像的每一像素或对所述图像的色彩通道的每一像素应用相同位移，以使所述图像或所述图像的色彩通道在图像平面中移置。
由电子评估装置应用的位移可以是场点相关的。因此，也可校正例如由场曲率或像散引起的失真。
对于多个照明角度，所述位移可分别以非易失性方式存储在图像记录设备的存储媒体中。另一选择为或另外，关于像散的不同色彩通道或不同平面的散焦的信息可以非易失性方式存储在图像记录设备的存储媒体中，所述电子评估装置根据所述信息来计算位移。
图像或图像的色彩通道的位移可包括将所述位移舍入成整数像素间隔。
图像或图像的色彩通道的位移可包括：在位移不等于图像传感器的整数像素间隔时，在多个像素值之间进行内插。
所述电子评估装置可用以在图像校正之后将多个图像相加，以计算结果图像。
所述电子评估装置可用以在图像校正之后使用所述多个图像来进行傅里叶叠层成像(Fourier ptychography)。所述电子评估装置可用以计算物体的相位及幅值分布。所述电子评估装置可用以根据通过图像校正而校正的多个图像在坐标空间中重建所述物体的光谱并通过傅里叶变换来确定物体的相位及幅值分布。所述电子评估装置可用以在所述图像校正之后根据多个图像来计算物体的相位对比图像。
所述电子评估装置可用以在图像校正之后将多个图像用于自动地确定焦点位置及/或用于相位对比方法。
所述电子评估装置可用以对针对一个照明角度捕获的图像应用图像校正，同时所述检测器针对另一照明角度捕获另一图像。通过使图像校正及以不同照明角度对其他图像的记录并行化，直至提供结果图像时所需的时间可进一步减少。
所述图像记录设备可以是显微镜系统。可以透射构造来捕获所述图像。可以反射构造来捕获所述图像。
根据一个实施例，一种用于记录图像的方法包括在以多个照明角度对物体进行照明时捕获多个图像。所述方法包括处理所述多个图像。此处，对所述多个图像中的至少一些应用图像校正，其中所述图像校正包括位移，所述位移取决于在记录相应图像时的照明角度。在应用所述图像校正之后将所述多个图像相组合。
根据一个实施例，所述方法可由所述图像记录设备自动地实施。
在所述方法中，可通过所述处理来校正色像差。
在所述方法中，可通过所述处理来校正纵向色像差。
可使图像的不同色彩通道相对于彼此移置，其中位移取决于在记录图像时的照明角度。
用于捕获图像的图像传感器可包括多个色彩通道。所述位移可取决于相应色彩通道、以及在记录相应图像时的照明角度。
对于一个色彩通道，所述位移可取决于所述色彩通道的焦点位置与另一色彩通道的另一焦点位置之间的距离。
至少两个色彩通道的焦点位置之间的距离可以非易失性方式存储在图像记录设备的存储媒体中。另一选择为或另外，色彩通道的焦点位置可以非易失性方式存储在图像记录设备的存储媒体中。可通过计算关于焦点位置的信息来为所述色彩通道判定取决于照明角度的位移。
另一选择为或另外，在所述方法中，可通过所述处理来校正像散。出于校正像散的目的，所述位移可取决于照明角度与像散的一个或多个平面的相对关系。
所述位移可取决于成像光学单元不同平面的焦点位置的距离。
在所述方法中，可确定图像平面中的位移沿着两个正交方向的分量，在每种情况下，所述分量均取决于照明角度。
在所述方法中，对以一个照明角度捕获的图像应用的位移可取决于以所述照明角度入射的光束相对于由成像光学单元的像散轴及光学轴界定的平面的位置。
在所述方法中，对以一个照明角度捕获的图像应用的位移可取决于以所述照明角度入射的光束相对于由第一像散轴及光学轴界定的第一平面以及相对于由第二像散轴及光学轴界定的第二平面的位置。
在所述方法中，所述位移沿着第一坐标轴的分量可取决于以所述照明角度入射的光束在第一平面中的投影。
在所述方法中，所述位移沿着第二坐标轴的另一分量可取决于以所述照明角度入射的光束在第二平面中的投影，所述第二坐标轴正交于所述第一坐标轴。
另一选择为或另外，所述方法可校正场曲率。
出于图像校正目的而应用的位移可以是场点不相关的。可对图像的每一像素或对所述图像的色彩通道的每一像素应用相同位移，以使所述图像或所述图像的色彩通道在图像平面中移置。
出于图像校正目的而应用的位移可以是场点相关的。因此，也可校正例如由场曲率或像散引起的失真。
对于多个照明角度，所述位移可分别以非易失性方式存储在图像记录设备的存储媒体中且出于图像校正目的而被检索。另一选择为或另外，关于像散的不同色彩通道或不同平面的散焦的信息可以非易失性方式存储在图像记录设备的存储媒体中，所述电子评估装置根据所述信息来计算位移。
在所述方法中，图像或图像的色彩通道的位移可包括将所述位移舍入成整数像素间隔。
在所述方法中，图像或图像的色彩通道的位移可包括：在位移不等于图像传感器的整数像素间隔时，在多个像素值之间进行内插。
所述方法可包括在图像校正之后将多个图像相加，以计算结果图像。
所述方法可包括在图像校正之后使用多个图像来进行傅里叶叠层成像。所述方法可包括计算物体的相位及幅值分布。所述方法可包括根据通过图像校正而校正的图像在坐标空间中重建所述物体的光谱，其中通过傅里叶变换来确定物体的相位及幅值分布。
所述方法可包括自动确定焦点位置及/或将经校正图像用于相位对比方法。
在所述方法中，可对针对一个照明角度捕获的图像应用图像校正，而同时使检测器针对另一照明角度捕获另一图像。通过使图像校正及以不同照明角度对其他图像的记录并行化，直至提供结果图像时所需的时间可进一步减少。
所述方法可由显微镜系统自动地实施。可以透射构造来捕获所述图像。可以反射构造来捕获所述图像。
根据实施例的设备及方法允许使用具成本效益的光学单元。可以快速、能维持分辨率且能减轻輕伪影的方式来处理记录图像。可对纵向色像差或像散进行场点相关校正。
上文所述的特征及下文所述的特征不仅可以明确陈述的对应组合形式使用，而且可以其他组合形式或以独立形式使用，此并不背离本发明的保护范围。
附图说明
结合以下对实施例的说明，本发明的上述性质、特征及优点以及实现这些性质、特征及优点的方式将变得更加清楚且被更清楚地理解，将结合图式来更详细地解释这些实施例。
图1是根据一个实施例的图像记录设备的示意图；
图2是根据一个实施例的方法的流程图；
图3例示在根据实施例的设备及方法中对多个图像的处理；
图4例示根据实施例的图像记录设备及方法对于纵向色像差校正的应用；
图5例示通过根据实施例的图像记录设备及方法来校正的因色像差引起的点扩散函数；
图6及图7例示判定为对色彩通道的像素进行纵向色像差校正而应用的位移；
图8例示在根据实施例的图像记录设备及方法的情况下针对一个照明角度进行纵向色像差校正时用于不同色彩通道的像素的位移场；
图9例示在根据实施例的图像记录设备及方法的情况下针对另一照明角度进行纵向色像差校正时用于不同色彩通道的像素的位移场；
图10是根据一个实施例用于纵向色像差校正的方法的流程图；
图11例示根据实施例的图像记录设备及方法对于像散校正的应用；
图12是根据一个实施例用于像散校正的方法的流程图；
图13例示根据实施例的图像记录设备及方法中的场点相关位移场；
图14是根据一个实施例的图像记录设备的框图；以及
图15例示用于对图像或图像的色彩通道应用位移的各种技术。
具体实施方式
下文将参照图式基于优选实施例来更详细地解释本发明。在各图中，相同的参考符号表示相同或类似的元件。各图均是本发明各种实施例的示意图。各图中所示的元件未必是按照真实比例进行绘示。而是，各图中所示的不同元件是以使得其功能及用途变得可由所属领域的技术人员理解的方式进行重现。
如图中所示各功能单元及元件之间的连接及耦合也可被实施为间接连接或耦合。可以有线或无线方式来实施连接或耦合。
下文将描述可用以通过计算来校正由对物体的照明的散焦引起的光学像差的技术。此处，对光学像差的“校正(correction及correcting)”被理解为意指可用以改善所产生结果图像的品质且可减轻至少某些光学像差(例如，纵向色像差及/或像散)的措施。
如下文将更详细描述，在本发明的实施例中，循序地记录物体的多个图像。将用于对物体进行照明的照明角度设定成各种值，以记录多个图像。对所述图像中的全部或一些应用图像校正。所述图像校正可包括像素在图像平面中的位移。可通过所述位移来减轻图像平面中由散焦引起的不清晰度，所述不清晰度是例如由色像差或像散引起。
所述图像校正可包括一个图像相对于另一图像或者一个色彩通道相对于另一色彩通道的位移。所述图像校正可与整个图像有关或仅与个别图像区域有关。所述图像校正可包括一个图像的所有像素相对于另一图像的所有像素的位移，其中所述位移取决于在记录所述图像时的照明角度。所述位移在图像平面中可以是局部恒定的或者局部可变的。所述图像校正可包括一个图像的一个色彩通道的像素相对于同一图像的另一色彩通道的像素的位移，其中所述位移取决于在记录所述图像时的照明角度。
通过计算来处理包括图像校正的捕获图像可以非易失性方式存储在图像记录设备中的存储媒体上的数据为基础。所述数据可包括针对各种照明角度在每种情况下将要被应用的位移。另一选择为或另外，所述数据可包含电子评估装置用以判定将要被应用的位移的信息。
可通过计算预先确定出在图像记录设备进行计算性图像校正的操作期间所使用的数据并将其存储在存储媒体中。另一选择为或另外，也可通过使用参考物体在图像记录设备上进行校准测量来产生所述数据并将其以非易失性方式进行存储。
通过在图像校正之后将所述多个图像相组合，所述电子评估装置能够自动地产生结果图像，所述结果图像包含来自所述多个图像的信息。所述结果图像可以使得其包含对图像的位移及求和的方式来产生，而不需要通过图像的点扩散函数(PSF)对所述图像中的任一个进行去卷积。
图1是根据一个实施例的图像记录设备1的示意图。图像记录设备1可用以自动地实施根据实施例的方法。图像记录设备1可以是显微镜系统或者可包括显微镜，并且具备可控照明装置(下文将更详细地加以描述)、照相机及电子评估装置，所述照相机包括图像传感器，所述电子评估装置用于校正图像。
图像记录设备1包括照明装置，所述照明装置包括光源11。聚光透镜12可以本身公知的方式使由光源11发射的光偏转至将要被成像的物体2上。所述照明装置是以使得光可以多个不同照明角度4辐射至物体2上的方式来配置。举例来说，出于此种目的，光源11可包括具有多个发光二极管(LED)的LED构造，所述多个LED可以是可个别致动的。所述LED构造可以是LED环形构造。另一选择为，可在传统光源被以放大方式成像至其中的中间图像平面中布置可控元件，以提供不同的照明角度。所述可控元件可包括可移动小孔、微镜构造、液晶矩阵、或空间光调制器。
照明装置可以使得包括光学轴5的照明角度4的绝对值可被修改的方式来配置。照明装置可以使得可以照明角度4对物体进行照明的光束3的方向也可在极方向上围绕光学轴5移动的方式来配置。
在每种情况下，图像记录设备1的检测器14针对物体2被照明的多个照明角度中的每一个而捕获物体2的至少一个图像。举例来说，检测器14的图像传感器15可被配置为CCD传感器、CMOS传感器、或TDI(“时间延迟与积分”)CCD传感器。成像光学单元(例如，仅被示意性绘示的显微镜物镜13)可在图像传感器15处产生物体2的放大图像。
图像记录设备1包括电子评估装置20。所述电子评估装置进一步处理针对多个照明角度为物体2捕获的多个图像。电子评估装置20对所述多个图像中的一些或全部应用图像校正。如参照图2至图15更详细地描述，在每种情况下，图像校正均包含取决于记录图像时的照明角度的位移。出于图像校正目的而进行的位移可减小图像平面中的横向偏移，所述横向偏移是由照明装置在图像平面或中间图像平面中的纵向色像差引起。为此，可根据针对多个波长出现的散焦来设定图像平面中的位移。可以不同的位移向量使不同色彩通道的像素在图像平面中移置，以产生经校正图像。另一选择为或另外，图像平面中的位移可减小图像平面中由照明装置的像散引起的横向偏移。为此，可根据针对像散的不同平面出现的各焦点位置之间的距离来设定图像平面中的位移。
图像记录设备1包括具有校正信息的存储媒体21。电子评估装置20耦合至所述存储媒体或可包括所述存储媒体。电子评估装置20可根据存储媒体中的校正信息来判定针对每一照明角度将分别应用的图像校正。
可以不同方式将分别指派给多个照明角度中每一个的经校正图像相组合。举例来说，可在图像校正之后将各图像相加。为重建物体2的幅值及相位信息，可将图像用于傅里叶叠层成像算法中。可使用经校正图像来判定焦点位置、或以任一其他方式自动地对图像记录设备1进行设定。可由电子评估装置20自动地实施对应的处理。
由于电子评估装置20能够通过对图像的像素或对图像的色彩通道应用位移来实施图像校正，因而处理能够实时地进行。图像记录设备1可包括由光学输出装置实现的用户界面，电子评估装置20可在运作期间在所述用户界面上输出所产生的结果图像。通过个别图像的点扩散函数对所述图像进行去卷积不再是必须进行的，此去卷积运算从计算观点来看是复杂的。通过将来自在以多个照明角度进行照明的情况下捕获的各图像的信息相组合，也可获得关于物体2的那些使照明角度中的其中一个的MTF具有0的坐标空间频率的信息。
参照图2至图15更详细地描述根据实施例的图像记录设备的功能。
图2是根据一个实施例的方法30的流程图。所述方法可由图像记录设备1自动地实施。
在步骤31中，以第一照明角度对物体进行照明。举例来说，电子评估装置20可以用物体被以第一照明角度进行照明的方式来致动照明装置。图像传感器15捕获第一图像。
在步骤32中，以不同于第一照明角度的第二照明角度对物体进行照明。为此，可相应地致动照明装置。图像传感器15捕获第二图像。
可重复以不同照明角度循序地对物体进行照明并进行图像记录的步骤。
在步骤33中，以第N照明角度对物体进行照明，其中N是＞1的整数。为此，可相应地致动照明装置。图像传感器15捕获第N图像。
在步骤34中，对所有N个图像或所述N个图像中的至少一些应用图像校正。所述图像校正包括像素在图像平面中的位移，对于不同图像，所述位移能够不同。对于图像传感器的不同色彩通道，所述位移可不同。对图像校正的应用在对其他图像的捕获可在时间上重叠。举例来说，可通过对第一图像的图像校正来判定经校正第一图像，而同时，以步骤32或33进行对下一图像的记录。
在步骤35中，可通过计算将在以不同照明角度进行物体照明时所捕获的图像相组合。为此，可将各图像相加。可进行更复杂的处理。举例来说，可根据多个图像通过计算来确定物体2的相位信息。
图3是用于更详细地解释图像记录设备1的操作模式的示意图。
当以第一照明角度对物体进行照明时捕获第一图像41。当以第二照明角度对物体进行照明时捕获第二图像42。当以第三照明角度对物体进行照明时捕获第三图像43。
电子评估装置20通过变换T1来使第一图像41移置，以产生经校正第一图像44。变换T3可包含所有像素在图像平面中的位移。对于第一图像41的不同色彩通道，所述位移可不同，如下文将基于图4至图10更详细地进行描述。
电子评估装置20通过变换T3来使第三图像43移置，以产生经校正第三图像46。变换T3可包含所有像素在图像平面中的位移。对第三图像43应用的位移可不同于对第一图像41应用的位移。对于第三图像43的不同色彩通道，所述位移可不同，如下文将基于图4至图10更详细地进行描述。
也可使第二图像42经受图像校正，以产生经校正第二图像45。
可将经校正图像44-46彼此相组合。举例来说，可通过将经校正图像44-46相加来判定结果图像47。所述加法可用于将经校正图像44-46平均化。
另一选择为或另外，也可根据经校正图像44-46来判定关于被成像物体的相位及/或幅值信息。可实施对物体的自动聚焦。为此，举例来说，可根据针对不同照明角度确定的视差来判定物体相对于检测器14的焦平面的距离及位置。
如参照图4至图10更详细地描述，可通过根据实施例的图像记录设备及方法来校正例如由检测器系统的色像差或物体照明引起的纵向色像差。
出于纵向色像差校正的目的，电子评估装置20可用以使不同色彩通道的像素相对于彼此局部地移置。图像平面中位移的至少一个方向可取决于照明方向。不必使图像校正范围内的所有色彩通道的像素均局部地移置。举例来说，可以使得波长与色彩通道中的一个对应的光的焦点位置被设定为z平面的方式来实施系统的聚焦。在发生纵向色像差的情况下，另一或另一些色彩通道的焦点位置因散焦而相对于此z平面移置。中间图像平面中或图像传感器的平面中发生散焦可引起横向模糊，例如，引起物体边缘处的伪影(artifact)。
举例来说，所述不同色彩通道可以是RGB传感器的R通道、G通道及B通道。可使用其他配置。举例来说，在专业应用中，可使用在界定波长或界定波长范围下具有两个、三个或多于三个色彩通道的图像传感器。所述图像传感器可包括由对不同波长敏感的像素形成的构造。色彩通道中的每一个可在某一波长范围中敏感，其中不同色彩通道的波长范围彼此不同。也可使用多个单独的图像传感器，以捕获各种色彩通道。可使用滤光片或使用图像传感器的半导体区域的本征性质(例如基于半导体的图像传感器的带隙)来设定色彩通道的波长。针对色彩通道所敏感的且为色彩通道所特有的波长或波长范围的光而出现的焦点位置在本文以缩略方式被称为色彩通道的焦点位置。举例来说，色彩通道的焦点位置可以是针对对应色彩通道的敏感范围的质心波长出现的焦点位置。
所述电子评估装置使用关于不同色彩通道的焦点位置之间的距离的信息来校正纵向色像差。对于图像记录设备1来说，可通过计算来判定此信息。为此，可使用已知技术来模拟光学系统。另一选择为或另外，也可测量不同光波长的焦点位置及/或其距离。可使用参考物体，以通过测量来判定关于焦点位置或至少关于不同色彩通道的两个焦点位置之间的距离的信息。此信息可以非易失性方式存储在显微镜系统的存储媒体中。
关于焦点位置及/或其距离的信息是在将物体成像之前判定。随后，可使用存储在图像记录设备中的关于焦点位置及/或其距离的信息来将大量物体成像。可至少针对每一色彩通道的检测光谱的质心来判定焦点位置及/或关于其距离的信息。可使用替代波长，例如对应色彩通道的敏感度最大时的波长。
作为通过模拟光学性质及/或通过校准而根据照明角度通过计算来判定位移的替代方案或除此种方式以外，也可通过将不同色彩通道或不同图像彼此对齐来判定位移。为此，可利用本身公知的各种对齐方法。举例来说，为实施对齐并判定位移，可利用SSIM(“结构相似性”)指数。
出于纵向色像差校正的目的，可针对在以多个照明角度进行的物体照明下捕获的多个图像中的每一个实施以下程序：将图像的个别色彩通道指派给不同波长。举例来说，所述色彩通道可在检测光谱中具有不同质心。因此，可给色彩通道中的每一个指派针对相应波长出现的焦点位置。
以取决于一个色彩通道的焦点位置与另一色彩通道的焦点位置之间的距离的方式来判定跨越光学轴的局部位移。所述位移是因z散焦以及以所述照明角度进行的照明而出现。视照明方向而定，所述位移可在图像平面中具有不同方向。位移的方向可取决于色彩通道相对于另一色彩通道是以焦内还是焦外方式移置。举例来说，在以下情况时，RGB图像传感器的三个色彩通道中的两个的位移可呈现出相反方向：所述色彩通道中的一个相对于聚焦是在图像传感器的平面上实施的另一色彩通道具有焦内位移，且所述色彩通道中的另一个相对于聚焦是在图像传感器的平面上实施的另一色彩通道具有焦外位移。
根据所判定位移来使图像的一个或多个色彩通道(即，一个或多个图像通道)移置。这样一来，可补偿各色彩通道之间由散焦引起的横向偏移。为此，在计算性处理的范围内，可使对应色彩通道的所有像素相对于另一色彩通道的像素局部地移置。不必使所有图像通道均移置。举例来说，可存在R、G、B三个图像通道。可以使得所述色彩通道中的一个被精确地聚焦至图像传感器的平面上的方式来自动地对图像记录系统的光学单元进行设定。随后，出于纵向色像差校正的目的，可仅使另两个色彩通道相对于此色彩通道移置。
如果每一图像存在总共m个色彩通道，则在纵向色像差校正期间可使m-1个色彩通道移置。此处，位移可对于不同色彩通道而不同且在每种情况下可取决于对应色彩通道的z散焦。可通过纵向色像差校正来校正散焦对照明的影响。
可在图像校正之后进一步处理所述多个图像。举例来说，可将所述多个图像进行求和，以产生结果图像。
图4及图5例示进行纵向色像差校正所使用的变量。色像差对于具有第一波长的光51引起第一焦点位置52、对于具有第二波长的光53引起不同于第一焦点位置52的第二焦点位置54、且对于具有第三波长的光55引起不同于第一焦点位置52及第二焦点位置54的第三焦点位置56。在使用图像记录设备1将物体成像之前，可测量或通过计算来判定焦点位置52、54、56。举例来说，所述焦点位置可以是位于图像传感器的附近或位于中间图像平面中的焦点位置。
引起第一焦点位置52的第一波长可以是图像传感器15的第一色彩通道的检测带的质心波长。另一选择为，第一波长也可以是第一色彩通道的检测带的不同特性波长，例如敏感度最大时的波长。引起第二焦点位置54的第二波长可以是图像传感器15的第二色彩通道的检测带的质心波长。另一选择为，第二波长也可以是第二色彩通道的检测带的不同特性波长，例如，敏感度最大时的波长。引起第三焦点位置56的第三波长可以是图像传感器15的第三色彩通道的检测带的质心波长。另一选择为，第三波长也可以是第三色彩通道的检测带的不同特性波长，例如，敏感度最大时的波长。
图5例示由于照明装置的纵向色像差针对不同波长引起的点扩散函数。具有第一波长的光的点扩散函数61在z平面60中具有最小直径。举例来说，z平面60可以是图像传感器的平面、或系统的中间图像平面。具有第二波长的光的点扩散函数63在平面62中具有最小直径。也就是说，存在与平面60、62之间的距离对应的z散焦66。具有第三波长的光的点扩散函数65在平面64中具有最小直径。也就是说，存在与平面60、64之间的距离对应的z散焦67。
当以不同照明角度进行照明时，z散焦66、67使得不同色彩通道相对于彼此具有横向位移。可通过使一个或多个色彩通道的数据在图像平面中相对于另一色彩通道的数据移置来减轻光学像差。
检测器14是以检测器场深大于z散焦66、67的方式来配置。随后，可实施下文更详细描述的图像校正，以通过计算高效地减轻纵向色像差。
图6及图7例示确定色彩通道的像素的位移，此位移可在图像校正的范围内实施。由纵向色像差针对某一波长引起的散焦Δz可通过使对对应波长敏感的一个色彩通道的像素如下移置来校正
在x方向上，Δxj＝sf·tan(θx)·Δzj (1)
以及
在y方向上，Δyj＝sf·tan(θy)·Δzj (2)
此处，j表示色彩通道的索引。值Δzj表示如下两个焦点位置之间的距离：可例如是色彩通道j及不同于色彩通道j的参考色彩通道的质心波长的波长的焦点位置、以及可对应于z平面而选择的焦点位置。因数sf是换算因数。可使用所述换算因数来实施从由检测器成像于图像传感器的平面中的中间图像平面中的距离至图像传感器平面中的距离的转换。所述换算因数可具有负号。出于重建物体的目的，所述换算因数也可具有等于1的绝对值。
角度θx表示xz平面中的照明角度。举例来说，可根据以照明角度入射的光束在xz平面上的投影来确定角度θx。角度θx可界定以照明角度入射的光束在xz平面上的投影与界定光学轴的z轴之间的角度。角度θy表示yz平面中的照明角度。举例来说，可根据以照明角度入射的光束在yz平面上的投影来确定角度θy。角度θy可界定以照明角度入射的光束在yz平面上的投影与界定光学轴的z轴之间的角度。
如果图像传感器具有多于两个色彩通道，则第一色彩通道及第三色彩通道的特性波长的焦点位置可排列在垂直于光学轴且其中排列有第二色彩通道的特性波长的焦点的平面的不同侧上。在此种情况下，可以使得第二色彩通道的特性波长的焦点位置界定被聚焦至图像传感器上的z＝0平面的方式来对图像记录设备进行设定。在每种情况下，可使第一色彩通道的像素及第三色彩通道的像素相对于第二色彩通道的像素在图像传感器的xy平面中移置。在此种情况下，如图4及图5中以实例性方式所示，散焦Δzj对于第一色彩通道(j＝1)及第三色彩通道(j＝3)具有不同正负号。可使在第一色彩通道中所捕获的图像及在第三色彩通道中所捕获的图像沿相反方向移置，以校正纵向色像差。在每种情况下，位移的方向可取决于由角度θx及θy界定的照明方向。如果第一色彩通道的散焦绝对值与第三色彩通道的散焦绝对值不同，则位移的绝对值可不同。在此种情况下，可根据相应色彩通道的散焦来成比例地设定位移的绝对值。
图8示意性显示针对第一照明角度对图像的一个色彩通道的像素应用的位移场75。可使所有像素在x方向及y方向上移置相同的位移。电子评估装置可对同一图像的不同色彩通道的像素应用不同位移场76。如果另一色彩通道的散焦等于0，则此另一色彩通道的像素可保持不移置。位移场75及另一位移场76可界定在方向上旋转180°的位移。尤其在一个波长的色像差引起以焦内方式移置的中间图像且另一波长的色像差引起以焦外方式移置的中间图像时，情况即可如此。
图9示意性显示在以不同照明角度进行的照明下记录图像时所应用的位移场77、78。位移随着照明角度而改变。对于不同照明角度，位移的方向及绝对值可不同。
尽管图8及图9示意性绘示在图像传感器的平面中恒定的位移场(即，其将色彩通道的所有像素的位移界定为取决于照明角度的同一向量)，但位移也可在空间中变化。举例来说，也可通过此种在空间上变化的位移场来校正像散或场曲率，所述位移场界定对图像的像素或图像的色彩通道的像素应用的变换。
图10是用于校正纵向色像差的方法80的流程图。所述方法可由电子评估装置20自动地实施。检测器可具有m个色彩通道。可以使得对于色彩通道中的一个不存在散焦的方式来对图像记录设备进行设定。
在步骤81中，可确定使其中散焦不等于0的至少m-1个色彩通道中的每一个的数据移置的偏移。所述偏移取决于在记录图像时的照明角度。举例来说，可根据方程式(1)及(2)来界定所述偏移。
可以不同方式来判定由纵向色像差及用于通过计算再次校正纵向色像差的位移产生的偏移。在一种配置中，可将关于被指派给不同色彩通道的波长的焦点位置的信息以非易失性方式存储在图像记录设备的存储媒体中。随后，电子评估装置能够计算位移。在另一种配置中，可能已在特性场基础上存储了位移本身。可存在其中使电子评估装置使用预先判定的关于色像差的信息来实施图像校正的众多其他配置。举例来说，可以非易失性方式存储线性映射，在每种情况下，所述线性映射针对多个色彩通道及多个照明角度界定所记录图像的像素如何被映射至经校正图像的像素。
在步骤82中，使多个色彩通道移置。举例来说，可使R图像通道、G图像通道及B图像通道中的两个相对于这些图像通道中的一个移位。此处，举例来说，可使R图像通道的所有像素在x方向及y方向上相对于G图像通道的像素移置相同数目个像素。可使B图像通道的所有像素在x方向及y方向上相对于G图像通道的像素移置相同数目个像素。R图像通道及B图像通道的位移可在方向及/或绝对值上不同。所述移置可以如下方式来实施：除图像边缘上的像素以外，将来自被移置图像通道的像素在图像平面中再次与未移置图像通道的像素一致地排列。为此，可例如实施舍入及/或内插，如也将基于图15更详细地进行描述。
在步骤83中，可判定针对所述照明方向而产生的经校正图像。
可对N个图像中的每一个实施步骤81至83，所述N个图像是针对N个不同照明角度而捕获，其中N＞2、且尤其N＞＞2可适用。
在步骤84中，可在图像校正之后将N个图像相组合。可将所述图像进行求和。可在坐标空间中或在傅里叶空间中判定图像的幅值及/或相位信息。
作为纵向色像差校正的替代方案或除纵向色像差校正以外，也可使用根据实施例的图像记录设备及方法来校正其他光学像差，例如校正像散，如基于图11至图13更详细地描述。
图11显示根据一个实施例的图像记录设备的局部视图，其中照明装置的例如仅被示意性绘示的光学单元具有像散。第一子午线91在像散的第一平面中延伸。像散的第一平面可界定第一焦点位置92。第二子午线96在像散的第二平面中延伸。像散的第二平面可界定第二焦点位置97。第一平面可以是最小焦距出现的平面。第二平面可以是最大焦距出现的平面。
焦点位置92、97中的一个或多个可相对于由检测器对焦地成像的z＝0平面移置。焦点位置92、97可沿着光学轴具有z散焦106、107。z散焦可以场点相关方式变化。
当以某一照明角度对物体进行照明时，光可沿着光束90入射，光束90的方向是由被分别设定的照明角度决定。出于校正像散的目的，可向像散的平面中进行投影。在每种情况下，这些平面可由光学组件的子午线及光学轴来界定，其中给不同的焦平面指派不同的子午线。以照明角度入射的光束90在第一平面中的投影93与光学轴5成角度94。角度94也可被表示为角度θa。以照明角度入射的光束90在第二平面中的投影98与光学轴5成角度99。角度99也可被表示为角度θb。由像散的第一平面界定的平面无需与图像传感器的x轴或y轴重合。然而，通过本身公知的在图像传感器的平面中进行的坐标变换，也可将坐标轴界定成例如使得像散的第一平面与图像传感器的平面的相交线对应于x轴且像散的第二平面与图像传感器的平面的相交线对应于y轴。
出于校正像散的目的，可使一个图像的像素相对于另一图像的像素移置某一位移。所述位移可取决于照明角度。所述位移可取决于针对像散的多个平面出现的z散焦106、107。
举例来说，图像传感器的平面中的位移可由以下界定
在由像散的第一平面与传感器平面的相交线界定的方向上：
sf·tan(θa)·Δza (3)
以及
在由像散的第二平面与传感器平面的相交线界定的方向上：
f·tan(θb)·Δzb (4)
此处，Δza表示像散的第一平面的z散焦106，zb表示像散的第二平面的z散焦，且sf表示用于将中间图像平面中由z散焦引起的位移转换成图像传感器平面中的位移的换算因数。换算因数sf是由图像记录设备决定且可例如通过计算或以校准测量方式来判定。
如果像散的平面相对于图像传感器的x坐标轴及y坐标轴而倾斜，则可通过适当变换来判定图像传感器的x坐标轴及y坐标轴上的位移。举例来说，如果像散的第一平面的相交线与图像传感器的x轴成角度φ且像散的第一平面的相交线与图像传感器的y轴成角度φ，则可如下来判定位移的坐标：
在x方向上：
Δx＝cos(φ)·sf·tan(θa)·Δza+sin(φ)·sf·tan(θb)·Δzb (5)
以及
在y方向上：
Δy＝cos(φ)·sf·tan(θb)·Δzb-sin(φ)·sf·tan(θa)·Δza (6)
可对所有色彩通道的相同像素应用相同位移。如果色像差也被校正，则对于不同色彩通道，位移可不同，如参照图3至图10所述。
可通过像素的场点相关位移而将像散的场点相关性考虑在内。用以使像素值在图像传感器的平面中移置的位移向量场可在图像传感器的平面中改变。
图12是方法100的流程图。方法100可由图像记录设备1自动地实施。
在步骤101中，判定出于像散校正目的而将要对在以某一照明角度进行照明的情况下捕获的图像的像素应用的位移。
为判定所述位移，可将所述照明角度投影至由像散界定的平面中，如参照图11所述。可根据像散性系统距检测器所聚焦至的平面的最小焦距及最大焦距的焦点位置的距离并结合照明角度在相关联像散平面中的投影来判定将要对图像应用的位移。
进行图像校正所需的信息可以不同方式非易失性地存储在图像记录设备中。将要被应用的位移可作为取决于照明角度的特性场来存储。关于具有像散的光学系统的焦距的信息可与关于像散平面的位置的信息相组合地被存储。电子评估装置可通过计算来进一步处理此信息，以确定在图像校正期间将如何使图像的像素移置。也可针对多个照明角度中的每一个存储线性映射，所述线性映射界定如何将以某一照明角度记录的图像的像素映射至经校正图像的像素。
可针对在以N个不同照明角度进行的照明下捕获的N个图像中的每一个来实施步骤101。
在步骤102中，对图像应用在每种情况下所判定的位移。所述位移可以如下方式来实施：除图像边缘上的像素以外，将来自被移置图像的像素在图像平面中再次与图像传感器的像素一致地排列。为此，可例如实施舍入及/或内插，如也将基于图15更详细地进行描述。可以如下方式来实施步骤102：对于N个图像中的每一个，出于像散校正目的而实施被指派给照明角度的图像校正。
在步骤103中，可在图像校正之后将N个图像相组合。可将所述图像进行求和。可在坐标空间中或在傅里叶空间中判定图像的幅值及/或相位信息。
图13例示一位移场110，所述位移场110可用以使图像的像素在图像平面中移置以例如校正具有像散的光学系统中不同焦距的影响。
位移场110可界定在图像的平面中以空间相关方式改变的位移。位移向量的方向及/或绝对值可局部地改变。因此，也可校正由像散引起的空间相关可变失真。
尽管参照图1至图13以实例性方式描述了可用以实施纵向色像差校正及像散校正的图像记录设备及方法，然而，本文所述的技术也可用于校正其他光学像差，例如用于校正场曲率。
图14是根据一个实施例的图像记录设备的框图120。所述图像记录设备可用以进行自动纵向色像差校正及/或像散校正。
所述图像记录设备包括可控照明装置121。可通过照明装置121以多个不同照明角度循序地对物体进行照明。照明控制器122可控制被循序设定的照明角度。照明装置121可包括LED构造。照明装置121可包括位于中间图像平面中的可控光学元件，所述可控光学元件例如能够包括可移动小孔、微镜构造、液晶矩阵、或空间光调制器。
图像传感器123针对物体被照明的照明角度中的每一个捕获至少一个图像。所述图像可包括多个色彩通道中的信息。图像传感器123可包括至少一个CCD芯片或CMOS芯片。
图像校正模块124可实施图像校正。所述图像校正可取决于在图像记录期间所使用的照明角度。所述图像校正可包括使图像的一个、数个或全部色彩通道中的像素进行的位移。所述位移可对于所有被移置像素相同、或者可在图像平面中局部地变化。
具有校正信息的存储媒体125可以各种形式存储由图像校正模块124使用的信息。所述校正信息可包含关于不同波长及/或不同像散平面的焦点位置的信息，图像校正模块124根据所述信息来计算将要被应用的位移。所述校正信息可规定针对不同照明角度的位移。所述校正信息可例如以成像矩阵的形式来界定线性映射，在图像校正期间，根据所述线性映射将原始图像的像素映射至经校正图像的像素。
图像校正模块124可被配置为应用专用专业电路、控制器、微控制器、处理器、或微处理器。图像校正模块124可与图像传感器123组合成一个结构单元，所述结构单元会自动地计算经校正图像。因此，可将图像校正编码在硬件中。
所述图像记录设备可以用校正信息是通过在图像记录设备本身上进行测量而判定的方式来配置。所述图像记录设备可包括校准模块128，校准模块128自动地判定校正信息。为此，可记录并通过计算来进一步处理多个已知参考物体，以确定为重建物体需要如何对图像进行校正。
所述图像记录设备可包括图像组合模块126，可通过图像组合模块126将N个经校正图像相组合。可将在图像校正之后所判定的图像进行求和或以任一其他方式来进行进一步处理，以确定结果图像。
所述图像记录设备可包括其他单元。举例来说，可存在用于设定自动聚焦的单元。用于设定自动聚焦的单元可使用针对不同照明角度而产生的视差来作为输入变量。
一般来说，出于位移目的，根据图像I来判定经校正图像Ic，其中
Ic(u，v；j)＝I(u-Δxj，v-Δyj；j) (7)
此处，u及v表示图像传感器中沿着x方向及y方向的像素坐标。索引j可表示色彩通道。如果希望校正色像差，则位移可取决于色彩通道，或者所述位移可与色彩通道无关。
由于根据方程式(1)至(6)所判定的位移未必将位移界定为整数个像素，因而可实施舍入或内插运算，以确保对不同的图像及/或不同的色彩通道使用一致的像素坐标系统。
举例来说，可提供舍入运算，以此
Ic(u，v；j)＝I(u-round(Δxj)，v-round(Δyj)；j) (8)
确定经校正图像。此处，round(·)表示舍入函数。在方程式(8)中，也可使用下取整函数
Figure GDA0001282425860000241
或上取整函数
Figure GDA0001282425860000242
而非舍入函数。如果位移以非易失性方式存储在图像记录设备中，则也可能已将舍入运算考虑在内。
也可在不同像素值之间实施内插。此处，举例来说，为在图像校正期间判定被移置图像，也可对四个像素值、抑或多于四个像素值进行内插。
图15例示在图像校正期间像素的位移。图像传感器具有像素构造130。例如根据方程式(1)至(6)所判定的位移向量136可使得在两个坐标方向137、138上，位移向量136的分量均不是像素距离的整数倍。举例来说，当应用舍入运算时，像素131可移置至像素132。在内插期间，可对像素132-135的像素值进行线性内插，以判定经校正图像中像素131的像素值。
尽管已参照各图描述了各实施例，但也可在其他实施例中实现多种开发形式。尽管根据实施例的图像记录设备具体来说可以是显微镜系统，但所述技术也可用于其他成像系统中。尽管可使用所述技术来进行纵向色像差校正及/或像散校正，但另一选择为或另外，也可校正其他光学像差。可以多种不同方式将经校正图像彼此相组合。举例来说，可将经校正图像用于傅里叶叠层成像，或者可将经校正图像相加以判定结果图像。

Claims (16)

1.一种图像记录设备，包括：
照明装置(11、12；121)，是可控的，以设定用于对物体(2)进行照明的多个照明角度(4)；
检测器，包括图像传感器(15；123)，所述图像传感器(15；123)包括多个色彩通道且用以针对所述多个照明角度(4)而捕获所述物体(2)的多个图像(41-43)；
电子评估装置(20；124-126)，用于处理所述多个图像，且耦合至所述图像传感器(15；123)，其中所述电子评估装置(20；124-126)用以对所述多个图像(41-43)中的至少一些应用图像校正，所述图像校正包括位移(T1、T2；75-78；110)，其中所述位移(T1、T2；75-78；110)取决于相应的所述色彩通道、以及在记录相应的所述图像(41-43)时所使用的所述照明角度(4)，以及
在所述图像校正之后将所述多个图像(44-46)相组合；
其中对于一个色彩通道，所述位移(T1、T2；75-78；110)取决于所述色彩通道的焦点位置(54、56)与另一色彩通道的另一焦点位置(52)之间的距离(66、67)。
2.如权利要求1所述的图像记录设备，
其中所述电子评估装置(20；124-126)用以通过所述处理来校正纵向色像差。
3.如权利要求1所述的图像记录设备，
其中所述距离(66、67)及/或所述焦点位置(54、56)是以非易失性方式储存在所述图像记录设备的存储媒体(21)中。
4.如权利要求1至3中任一项所述的图像记录设备，
其中所述电子评估装置(20；124-126)用以校正像散。
5.如权利要求4所述的图像记录设备，
其中对以一个照明角度(4)捕获的图像(41-43)应用的所述位移(110)取决于以所述照明角度(4)入射的光束(90)相对于由成像光学单元的像散轴及光学轴(5)界定的平面的位置。
6.如权利要求5所述的图像记录设备，
其中对以一个照明角度(4)捕获的图像应用的所述位移(110)取决于以所述照明角度入射的所述光束(90)相对于第一平面及相对于第二平面的位置，所述第一平面是由第一像散轴及所述光学轴(5)界定，所述第二平面是由第二像散轴及所述光学轴(5)界定。
7.如权利要求6所述的图像记录设备，
其中所述位移沿着第一坐标轴的分量取决于以所述照明角度入射的所述光束(90)在所述第一平面中的投影(93)，以及
其中所述位移沿着第二坐标轴的分量取决于以所述照明角度入射的所述光束(90)在所述第二平面中的投影(98)，所述第二坐标轴正交于所述第一坐标轴。
8.如权利要求1至3中任一项所述的图像记录设备，
其中所述电子评估装置(20；124-126)用以校正场曲率。
9.如权利要求1至3中任一项所述的图像记录设备，
其中所述位移(110)是场点相关的。
10.如权利要求1至3中任一项所述的图像记录设备，
其中对于所述多个照明角度(4)，所述位移分别以非易失性方式存储在所述图像记录设备的存储媒体(21)中。
11.如权利要求1至3中任一项所述的图像记录设备，
其中所述电子评估装置(20；124-126)用以在所述图像校正之后将所述多个图像(44-46)相加，以计算结果图像(47)。
12.如权利要求1至3中任一项所述的图像记录设备，
其中所述电子评估装置(20；124-126)用以对针对一个照明角度(4)捕获的图像(41)应用所述图像校正，同时所述检测器针对另一照明角度捕获另一图像(42、43)。
13.如权利要求1至3中任一项所述的图像记录设备，
其中所述图像记录设备(1)是显微镜系统。
14.一种用于记录图像的方法，包括：
当物体(2)被以多个照明角度(4)照明时，使用包括多个色彩通道的图像传感器(15；123)来捕获多个图像(41-43)；
处理所述多个图像(41-43)，其中所述处理步骤包括：
对所述多个图像(41-43)中的至少一些应用图像校正，所述图像校正包括位移(T1、T2；75-78；110)，所述位移(T1、T2；75-78；110)取决于相应的所述色彩通道、以及在记录相应的所述图像(41-43)时的所述照明角度，以及
在应用所述图像校正之后将所述多个图像(44-46)相组合；
其中对于一个色彩通道，所述位移(T1、T2；75-78；110)取决于所述色彩通道的焦点位置(54、56)与另一色彩通道的另一焦点位置(52)之间的距离(66、67)。
15.如权利要求14所述的方法，进一步包括校正像散，
其中对以一个照明角度(4)捕获的图像(41-43)应用的所述位移(110)取决于以所述照明角度(4)入射的光束(90)相对于由成像光学单元的像散轴及光学轴(5)界定的平面的位置。
16.如权利要求14所述的方法，进一步包括校正像散，
其中对以一个照明角度(4)捕获的图像应用的所述位移(110)取决于以所述照明角度入射的光束(90)相对于第一平面及相对于第二平面的位置，所述第一平面是由第一像散轴及光学轴(5)界定，所述第二平面是由第二像散轴及所述光学轴(5)界定。
CN201580059078.3A 2014-08-29 2015-08-27 图像记录设备及记录图像方法 Active CN107113370B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
DE102014112416.2 2014-08-29
DE102014112416 2014-08-29
DE102014112666.1A DE102014112666A1 (de) 2014-08-29 2014-09-03 Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme
DE102014112666.1 2014-09-03
PCT/EP2015/069678 WO2016030474A1 (de) 2014-08-29 2015-08-27 Bildaufnahmevorrichtung und verfahren zur bildaufnahme

Publications (2)

Publication Number Publication Date
CN107113370A CN107113370A (zh) 2017-08-29
CN107113370B true CN107113370B (zh) 2020-06-23

Family

ID=55311894

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580059078.3A Active CN107113370B (zh) 2014-08-29 2015-08-27 图像记录设备及记录图像方法

Country Status (6)

Country Link
US (1) US10247933B2 (zh)
EP (1) EP3186952B1 (zh)
JP (1) JP6580673B2 (zh)
CN (1) CN107113370B (zh)
DE (1) DE102014112666A1 (zh)
WO (1) WO2016030474A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014109687B4 (de) 2014-07-10 2020-03-19 Carl Zeiss Microscopy Gmbh Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung
DE102014110302B3 (de) * 2014-07-22 2015-09-03 Carl Zeiss Ag Verfahren und Vorrichtung zum Abbilden eines Objekts
DE102015107517B3 (de) * 2015-05-13 2016-06-23 Carl Zeiss Ag Vorrichtung und Verfahren zur Bildaufnahme mit erhöhter Schärfentiefe
US10186023B2 (en) * 2016-01-25 2019-01-22 Qualcomm Incorporated Unified multi-image fusion approach
JP7289653B2 (ja) * 2016-03-31 2023-06-12 ソニーグループ株式会社 制御装置、内視鏡撮像装置、制御方法、プログラムおよび内視鏡システム
DE102016108079A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Artefaktreduktion bei der winkelselektiven beleuchtung
DE102016116309A1 (de) * 2016-05-02 2017-11-02 Carl Zeiss Microscopy Gmbh Beleuchtungsmodul für winkelselektive Beleuchtung
WO2018230575A1 (ja) * 2017-06-15 2018-12-20 オリンパス株式会社 顕微鏡システム
DE102017121291A1 (de) * 2017-09-14 2019-03-14 Carl Zeiss Microscopy Gmbh Bestimmung von Aberrationen mittels Winkel-variabler Beleuchtung
DE102017125799A1 (de) * 2017-11-06 2019-05-09 Carl Zeiss Industrielle Messtechnik Gmbh Reduktion von Bildstörungen in Bildern
WO2019097524A1 (en) 2017-11-20 2019-05-23 Scopio Labs Ltd. Accelerating digital microscopy scans using empty/dirty area detection
DE102018107356A1 (de) * 2018-03-28 2019-10-02 Carl Zeiss Microscopy Gmbh Autofokus mit winkelvariabler Beleuchtung
US20200311886A1 (en) * 2019-03-28 2020-10-01 Carl Zeiss Microscopy Gmbh Method for determining an image recording aberration
CN115136579B (zh) * 2020-02-27 2023-08-04 株式会社富士 图像校正方法、拍摄装置及检查装置
EP4276512A1 (en) * 2022-05-12 2023-11-15 Siemens Healthcare GmbH Array of light sources, fourier ptychographic imaging system and method of performing fourier ptychography
WO2023217844A1 (en) * 2022-05-12 2023-11-16 Siemens Healthcare Gmbh Array of light sources, fourier ptychographic imaging system and method of performing fourier ptychography

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1746846A1 (en) * 2004-04-12 2007-01-24 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
CN101534375A (zh) * 2008-03-12 2009-09-16 汤姆森特许公司 用于校正色差的方法
CN103154662A (zh) * 2010-10-26 2013-06-12 加州理工学院 扫描投影无透镜显微镜系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1746846A (en) * 1926-11-26 1930-02-11 Robert Wieland A Process for the manufacture of fashioned stockings
JP2005101854A (ja) * 2003-09-24 2005-04-14 Intelligent Cosmos Research Institute パケット追跡装置、パケット追跡システム、パケット追跡方法およびパケット追跡プログラム
DE102004012125B3 (de) * 2004-03-12 2005-09-01 Nanofilm Technologie Gmbh Ellipsometrisches Messverfahren mit ROI-gestützter Bildkorrektur
DE102007001010A1 (de) * 2007-01-02 2008-07-10 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Bilderfassungssystem zur achromatisierten Bildaufnahme von Objekten
DE102008025658A1 (de) * 2008-05-28 2009-12-03 Wincor Nixdorf International Gmbh Optische Erfassung und Klassifizierung von gegenständlichen Leergut-Objekten in einem Leergut-Rückgabesystem
JP2010199650A (ja) * 2009-02-23 2010-09-09 Fujitsu Semiconductor Ltd 画像処理装置および画像処理方法
DE102009044986A1 (de) * 2009-09-24 2011-03-31 Carl Zeiss Microimaging Gmbh Mikroskop
JP5820650B2 (ja) * 2011-07-26 2015-11-24 オリンパス株式会社 撮像装置
DE102012102707A1 (de) * 2012-03-29 2013-10-02 Carl Zeiss Ag Verfahren und Vorrichtungen zur Bildverarbeitung
DE102012106584B4 (de) * 2012-07-20 2021-01-07 Carl Zeiss Ag Verfahren und Vorrichtung zur Bildrekonstruktion

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1746846A1 (en) * 2004-04-12 2007-01-24 Nikon Corporation Image processing device having color shift-correcting function, image processing program, and electronic camera
CN101534375A (zh) * 2008-03-12 2009-09-16 汤姆森特许公司 用于校正色差的方法
CN103154662A (zh) * 2010-10-26 2013-06-12 加州理工学院 扫描投影无透镜显微镜系统

Also Published As

Publication number Publication date
JP2017526964A (ja) 2017-09-14
US20170261741A1 (en) 2017-09-14
EP3186952A1 (de) 2017-07-05
EP3186952B1 (de) 2019-10-02
US10247933B2 (en) 2019-04-02
WO2016030474A1 (de) 2016-03-03
CN107113370A (zh) 2017-08-29
JP6580673B2 (ja) 2019-09-25
DE102014112666A1 (de) 2016-03-03

Similar Documents

Publication Publication Date Title
CN107113370B (zh) 图像记录设备及记录图像方法
CN107077722B (zh) 图像记录设备及用于记录图像的方法
US10560684B2 (en) System and methods for calibration of an array camera
JP5681954B2 (ja) 撮像装置及び撮像システム
JP6112824B2 (ja) 画像処理方法および装置、プログラム。
JP5358039B1 (ja) 撮像装置
US10755429B2 (en) Apparatus and method for capturing images using lighting from different lighting angles
KR20090004428A (ko) 광학 설계 방법 및 시스템과 광학 수차를 갖는 광학 요소를이용한 촬상 소자
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
CN114424516A (zh) 图像处理装置、图像处理方法、摄像装置和程序
US10339665B2 (en) Positional shift amount calculation apparatus and imaging apparatus
JP6682184B2 (ja) 画像処理方法、画像処理プログラム、画像処理装置および撮像装置
JP5900049B2 (ja) 被写界深度拡張システム及び被写界深度拡張方法
JP2017050662A (ja) 画像処理装置、撮像装置および画像処理プログラム
CN102158730A (zh) 影像处理系统及方法
JP6436840B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP6777079B2 (ja) 寸法測定装置、寸法測定システム、及び、寸法測定方法
JP2015198380A (ja) 画像処理装置、撮像装置、画像処理プログラム、および画像処理方法
JP7341843B2 (ja) 画像処理装置および画像処理方法、撮像装置、プログラム
JP2017118293A (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
WO2015075769A1 (ja) 撮像装置及び距離測定装置
JP6604737B2 (ja) 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体
JP2016092742A (ja) 画像処理装置および画像処理方法
Colburn et al. Mitigating metalens aberrations via computational imaging
JP2015076685A (ja) 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant