CN112817138A - 用于显微镜的光学成像设备 - Google Patents

用于显微镜的光学成像设备 Download PDF

Info

Publication number
CN112817138A
CN112817138A CN202011269214.0A CN202011269214A CN112817138A CN 112817138 A CN112817138 A CN 112817138A CN 202011269214 A CN202011269214 A CN 202011269214A CN 112817138 A CN112817138 A CN 112817138A
Authority
CN
China
Prior art keywords
optical
image
data
distortion
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011269214.0A
Other languages
English (en)
Inventor
凯·瑞特舍尔
马可·宾格尔
帕特里克·佩尔泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of CN112817138A publication Critical patent/CN112817138A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/002—Scanning microscopes
    • G02B21/0024—Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008—Details of detection or image processing, including general computer control
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/18—Arrangements with more than one light path, e.g. for comparing two specimens
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/37—Determination of transform parameters for the alignment of images, i.e. image registration using transform domain methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Studio Devices (AREA)

Abstract

用于显微镜的光学成像设备包括：第一和第二光学系统，分别被配置为根据第一、第二成像模式形成与样本的第一、第二区域相对应的第一、第二光学图像，其中第一和第二区域在空间上重合于目标区域，并且第一和第二成像模式彼此不同；存储器，存储第一和第二畸变校正数据以及适于校正第一与第二光学图像之间的位置不对准的变换数据，畸变校正数据适于校正光学图像中由光学系统引起的光学畸变；和处理器，被配置为基于第一畸变校正数据处理第一图像数据以生成第一畸变校正图像数据，基于第二畸变校正数据处理第二图像数据以生成第二畸变校正图像数据；以及基于变换数据组合第一和第二畸变校正图像数据以生成组合图像数据。

Description

用于显微镜的光学成像设备
技术领域
本发明涉及一种用于显微镜的光学成像设备。此外，本发明涉及一种使用显微镜对样本进行成像的方法以及一种用于校准显微镜的光学成像设备的方法。
背景技术
在显微镜领域，多种不同的成像模式用于生成样本的光学图像。这些成像模式中的每一种在图像质量、空间分辨率、成像速度、曝光等方面具有优点和缺点。例如，虽然共焦成像可以实现更高的空间分辨率，但它具有较长图像采集时间的缺点，因为样本必须被逐点扫描以创建图像。相反，就图像采集所需的时间而言，宽视场成像模式是有利的。但是，图像分辨率可能会大大降低。
因此，需要在对同一样本成像时组合不同的模式。然而，由于不同的成像模式可能使用不同的光路，因此使以不同模式生成的两个图像重合使得适当组合的图像可以被显示在例如监视器上是一个挑战。在用户手动地配准或对准图像的情况下，需要可以基于其执行配准的相似图像结构。这是一项繁琐的任务，并且在许多情况下不可能进行精确的图像融合。
在本上下文中，参考文献EP 2 322 969 B1，该文献公开一种显微镜，显微镜包括能够以不同模式采集同一样本的图像的多个观察光学系统。该显微镜允许充分利用多个观察光学系统的各个视场，从而提高工作效率。然而，前面提及到的文献没有涉及将通过应用不同的成像模式生成的图像自动地合并成组合图像。
发明内容
本发明的目的是提供一种光学成像设备和方法，其能够精确地组合根据不同成像模式生成的图像。此外，目的是提供一种用于校准显微镜的光学成像设备的方法，使得光学成像设备能够精确地组合图像。
前面提及到的目的通过独立权利要求的主题实现。在从属权利要求和以下描述中限定有利的实施例。
根据实施例，用于显微镜的光学成像设备包括第一光学系统和第二光学系统，第一光学系统被配置为根据第一成像模式形成与样本的第一区域相对应的第一光学图像，第二光学系统被配置为根据第二成像模式形成与样本的第二区域相对应的第二光学图像，其中第一区域和第二区域在空间上重合于样本的目标区域，并且第一成像模式和第二成像模式彼此不同。光学成像设备还包括存储器，存储器存储适于校正第一光学图像中由第一光学系统引起的第一光学畸变的第一畸变校正数据、适于校正第二光学图像中由第二光学系统引起的第二光学畸变的第二畸变校正数据、以及适于校正第一光学图像和第二光学图像之间的位置不对准的变换数据。光学成像设备还包括处理器，处理器被配置为基于第一畸变校正数据处理表示第一光学图像的第一图像数据，用于生成第一畸变校正图像数据。处理器还被配置为基于第二畸变校正数据处理表示第二光学图像的第二图像数据，用于生成第二畸变校正图像数据。处理器被配置为基于变换数据组合第一畸变校正图像数据和第二畸变校正图像数据，用于生成表示与对象的目标区域相对应的组合图像的组合图像数据。
光学成像设备包括两个光学系统，其中这些光学系统中的每个可以具有适配于特定成像模式的图像传感器。认为每个光学系统可能在由该光学系统生成的光学图像中引起光学畸变。第一光学系统和第二光学系统可以使用不同的光路用于成像，使得由第一光学系统和第二光学系统引起的光学畸变可以彼此独立。因此，第一畸变校正数据和第二畸变校正数据也不彼此相关。可以在组装期间针对每个光学系统独立地确定和存储畸变校正数据。典型地，由相应光学系统引起的光学畸变表示像差，该像差导致图像模糊或畸变，使得图像的正确对准受不利影响。由于相应光学畸变由于不同成像模式而彼此明显不同，因此这更加正确。通过存储第一畸变校正数据和第二畸变校正数据可以避免任何这样的不利影响，当将第一光学图像和第二光学图像合并为组合图像时，这些畸变校正数据将被自动考虑在内。
光学成像设备的存储器还存储适于校正第一光学图像和第二光学图像之间的位置不对准的变换数据。与可以针对每个光学系统独立地确定的第一畸变校正数据和第二畸变校正数据相比，变换数据表示考虑到两个光学系统的数据，尤其是考虑到可能导致光学图像之间的位置不对准的光学系统之间的位置关系。
第一光学系统和第二光学系统用于分别对样本的第一区域和第二区域成像，其中这些区域在空间上重合于样本的目标区域。样本的第一区域和第二区域可以以不同的方式在空间上重合。例如，第一样本区域和第二样本区域可以彼此相同，使得目标区域本身同样地与相应区域相同。可替代地，样本区域中的一个可以被完全包括在另一区域中，使得目标区域由被包括的样本区域形成。在其他替代方案中，第一区域和第二区域可以部分重叠。在这种情况下，目标区域由两个样本区域共有的重叠区域形成。
光学成像设备可以包括显示单元，在显示单元上显示与样本的成像目标区域相对应的组合图像。因此，使用户能够基于受益于两种成像模式的优点的合成图像观察样本的目标区域。
优选地，第一成像模式是宽视场模式以及第二成像模式是共焦成像模式。基于这些根本不同的成像模式的合成图像向用户提供远远超出标准图像信息的图像信息。
在优选实施例中，变换数据表示由第一光学系统根据第一成像模式形成的第一光学参考图像与由第二光学系统根据第二成像模式形成的第二光学参考图像之间的位置不对准。可以使用适于在两种成像模式下适当地成像的参考对象生成光学参考图像。可替代地，在实际成像期间生成的实时图像可以用作参考图像。
优选地，提供校准模式，在校准模式中处理器被配置为在形成第一光学图像和第二光学图像之前，生成变换数据并将变换数据存储在存储器中。在该校准模式下，处理器还可以被配置为生成第一畸变校正数据和第二畸变校正数据并将该数据存储在存储器中。优选地，在制造和组装过程中应用校准模式，使得畸变校正数据和变换数据已经存储在成品中。因此，用户不需要担心任何校准。相反，允许用户完全专注于包括样本制备、调整成像参数等的实验。
处理器可以被配置为确定表示第一光学参考图像和第二光学参考图像之间的相关性的相关性数据，并且基于所述相关性数据生成变换数据。例如，可以应用基于对图像中结构特征的识别确定相关性系数的算法。基于该信息，可以使用迭代优化过程确定所需的坐标变换。
由变换数据表示的位置不对准可以包括平移、旋转、缩放、剪切、镜像和/或畸变。
在优选实施例中，处理器被配置为更新变换数据并将更新的变换数据存储在存储器中。通过更新变换数据，使用户能够对实验期间发生的变化做出反应。例如，可以通过重新确定存储在存储器中的变换数据补偿由于样本中的漂移、结构修改、动态过程等引起的变化。
作为示例，处理器可以被配置为使第一光学系统根据第一成像模式生成第一光学图像序列，并且使第二光学系统根据第二成像模式生成第二光学图像序列。为了重新确定变换，处理器还可以被配置为确定第一光学图像序列中的一个内的第一跟踪标记，并且确定第二光学图像序列中的一个内的第二跟踪标记。在这种情况下，处理器被配置为执行对第一跟踪标记和第二跟踪标记的跟踪，并且基于所述跟踪更新变换数据。通过以前面提及到的初始图像中的跟踪标记的形式自动限定所谓的标志，并且随着时间跟踪这些标志，可以在不必再次使用参考对象形式的校准标准的情况下重新校准变换。
处理器还可以被配置为基于变换数据组合第一畸变校正图像数据和第二畸变校正图像数据，使得第一光学图像和第二光学图像中的一个被映射到由所述第一光学图像和第二光学图像中的另一个限定的参考系，或者使得两个光学图像被映射到公共参考系。换句话说，应用坐标变换，一个光学图像的坐标系通过该坐标变换被变换为另一图像的坐标系，或者两个光学图像的坐标系被变换为新公共坐标系。
第一光学系统和第二光学系统可以彼此以固定的位置关系安装。优选地，两种不同的成像模式通过物理对准相应光学元件而彼此尽可能接近地适配。这种对准允许最小化图像点的所需变换。因此，可以明显减少由于插值、旋转等引起的干扰。
根据另一方面，提供一种使用显微镜对样本成像的方法。成像方法包括以下步骤：通过第一光学系统根据第一成像模式形成与样本的第一区域相对应的第一光学图像；通过第二光学系统根据第二成像模式形成与样本的第二区域相对应的第二光学图像，其中第一区域和第二区域在空间上重合于样本的目标区域并且第一成像模式和第二成像模式彼此不同；获取适于校正第一光学图像中由第一光学系统引起的第一光学畸变的第一畸变校正数据；获取适于校正第二光学图像中由第二光学系统引起的第二光学畸变的第二畸变校正数据；获得适于校正第一光学图像和第二光学图像之间的位置不对准的变换数据；基于第一畸变校正数据处理表示第一光学图像的第一图像数据，用于生成第一畸变校正图像数据；基于第二畸变校正数据处理表示第二光学图像的第二图像数据，用于生成第二畸变校正图像数据；以及基于变换数据组合第一畸变校正图像数据和第二畸变校正图像数据，用于生成表示与对象的目标区域相对应的组合图像的组合图像数据。
根据另一方面，提供一种用于校准显微镜的光学成像设备的方法，所述光学成像设备包括：第一光学系统，被配置为根据第一成像模式形成与样本的第一区域相对应的第一光学图像；第二光学系统，被配置为根据第二成像模式形成与样本的第二区域相对应的第二光学图像，其中第一区域和第二区域在空间上重合于样本的目标区域并且第一成像模式和第二成像模式彼此不同；处理器；和存储器。方法包括以下校准步骤：获得适于校正第一光学图像中由第一光学系统引起的第一光学畸变的第一畸变校正数据；获取适于校正光学图像中由第二光学系统引起的第二光学畸变的第二畸变校正数据；获得适于校正第一光学图像和第二光学图像之间的位置不对准的变换数据；以及将第一畸变校正数据、第二畸变校正数据和变换数据存储在存储器中以供处理器可访问。
校准方法可以在制造和组装过程中执行，使得可以将组装产品提供给用户，该组装产品具有已经存储在其中的所需校准数据。
根据优选实施例，通过第一光学系统根据第一成像模式形成参考对象的第一光学参考图像。通过第二光学系统根据第二成像模式形成参考对象的第二光学参考图像。基于第一参考图像和第二参考图像的位置不对准确定变换数据。通过使用以前面提及到的参考对象形式的单个校准标准，可以以简单且可再现的方式确定变换数据。校准标准还可以用于确定第一畸变校正数据和第二畸变校正数据。
仅作为示例，参考对象可以包括由多个点形成的网格。网格适配于第一光学系统和第二光学系统，使得每个光学系统能够在可用放大范围内对多个点中的至少两个成像。这种网格用于确保校准标准包含足够的结构信息，以实现所需的准确性。特别地，形成网格以在两种成像模式下表示相同的结构。此外，可以用透射光和荧光两者对网格进行成像。
附图说明
在下文中，将参考附图描述具体实施例，其中：
图1是示出根据实施例的用于显微镜的光学成像设备的示意图；
图2是图示待由光学成像设备成像的样本的第一区域和第二区域之间的位置关系的示例的图；
图3是示出根据实施例的用于校准的参考对象的图；
图4是图示用于更新变换数据的跟踪过程的图；
图5是示出根据实施例的用于校准光学成像设备的方法的流程图；
图6是示出根据实施例的使用显微镜对样本成像的方法的流程图；以及
图7是图示分别分配给第一光学图像和第二光学图像的坐标系到公共参考坐标系的变换的图。
具体实施方式
图1示出包括光学成像设备102的显微镜100，光学成像设备102被配置为根据不同的成像模式对显微镜台106上的样本104成像。例如，光学成像设备102可以用于以宽视场成像模式和共焦成像模式对样本104成像。不用说这些成像模式仅应被理解为示例。可以应用任何其他模式，只要这些模式适配于提供可以被合理地组合用于生成合成图像的图像信息。
光学成像设备102包括第一光学系统108，第一光学系统108被配置为根据第一成像模式形成与样本104的第一区域210(参见图2)相对应的第一光学图像，第一成像模式在本实施例中为宽视场成像模式。同样地，光学成像设备102包括第二光学系统112，第二光学系统112被配置为根据第二成像模式形成与样本104的第二区域214(参见图2)相对应的第二光学图像，第二成像模式在本实施例中为共焦成像模式。如图1所示意性图示的，第一光学系统108和第二光学系统112分别使用不同的光路116和118，从样本104发出的检测光沿着光路116和118传播通过光学系统108、112到分别耦合到光学系统108、112的图像传感器120、122。分配给第一光学系统108的第一图像传感器120可以由适合于宽视场成像的相机形成。分配给第二光学系统112的第二图像传感器122可以由适于共焦成像的传感器形成，例如点探测器。
光学成像设备102还包括处理器124，处理器124可以用于控制光学成像设备102的整体操作。特别地，处理器124被配置为处理表示第一光学图像的第一图像数据和表示第二光学图像的第二图像数据，其中分别通过第一光学系统108和第二光学系统112在图像传感器120、122上生成第一光学图像和第二光学图像。为此，处理器124经由控制线126、128、130、132连接到光学系统108、112和图像传感器120、122。
光学成像设备还包括经由控制线136连接到处理器124的存储器134。此外，可以提供经由控制线140连接到处理器124的显示单元138。
此外，为了提供朝向第一光学系统108和第二光学系统112的不同的光路116、118，分束器或任何其他合适的光偏转器142可以被包括在光学成像设备102中。
如以上所提及到的，光学成像设备102能够在宽视场成像模式和共焦成像模式下操作，以便对样本104的第一区域210和第二区域214成像。第一区域210和第二区域214在空间上重合于样本104的目标区域，这由图2中的阴影区域242图示。空间重合可以以不同的方式实现。例如，分配给共焦成像模式的第二区域214可以完全包括在第一区域中，如图2(a)所示。由于目标区域242由第一区域210和第二区域214的重叠形成，因此目标区域242与在图2(a)所示的示例中的第二区域214相同。此外，图2(b)示出第一区域210和第二区域214相同使得目标区域242同样地与相应区域相同的示例。在图2(c)所示的示例中，第一区域210和第二区域214部分重叠，使得目标区域242由两个区域210、214共有的重叠区域形成。不用说第一区域210和第二区域214之间的空间重合不限于图2所示的示例。
在图1所示的实施例中，提供用于存储第一畸变校正数据和第二畸变校正数据的存储器134。第一畸变校正数据适于校正当根据宽视场成像模式生成样本104的第一区域210的第一光学图像时由第一光学系统108引起的第一光学畸变(例如光学像差)。同样地，第二畸变校正数据用于校正当根据共焦成像模式生成样本104的第二区域214的第二光学图像时由第二光学系统112引起的第二光学畸变。由于第一光学系统108和第二光学系统112使用不同的光路116、118以对相应区域210、214进行成像，因此由第一光学系统108和第二光学系统112引起的光学畸变彼此独立。因此，可以独立地确定第一畸变校正数据和第二畸变校正数据并且将其存储在存储器134中。
此外，存储器134存储可以用于校正分别在宽视场成像模式和共焦成像模式下创建的第一光学图像和第二光学图像之间的位置不对准的变换数据。尽管可以将第一畸变校正数据和第二畸变校正数据独立地分配给每个光学系统108、112，但是存储在存储器134中的变换数据反映光学系统108、112之间的位置关系。
处理器124利用存储在存储器134中的第一畸变校正数据和第二畸变校正数据以及变换数据以提供与对象104的目标区域242相对应的组合图像。该组合图像提供从宽视场成像和共焦成像两者中得出的图像信息。为了创建组合图像，处理器通过基于第一畸变校正数据处理表示第一光学图像的第一图像数据，生成第一畸变校正图像数据。同样地，处理器124通过基于第二畸变校正数据处理表示第二光学图像的第二图像数据，生成第二畸变校正图像数据。然后基于变换数据，处理器组合第一畸变校正图像数据和第二畸变校正图像数据，以便创建表示待在显示单元134上显示的组合图像的组合图像数据。
光学成像设备102可以提供校准模式，在校准模式中处理器124生成变换数据并且将该数据存储在存储器134中。该校准模式优选地应用于光学成像设备102的制造和组装过程中，使得校准模式可以在用户操作显微镜100以对样本104成像的稍后阶段被自动地使用。独立地分配给相应光学系统108、112的第一畸变校正数据和第二畸变校正数据同样地可以由处理器124在校准模式下生成。
为了校准光学成像设备102，可以使用参考对象。仅作为示例，这样的参考对象可以由如图3所示的网格350形成。
网格350包括以矩形阵列设置的多个点352。网格350适配于第一光学系统108和第二光学系统112，使得尽管光学系统108、112应用不同的成像模式的事实，但两个光学系统108、112能够在显微镜100的可用放大率范围内对点352中的至少两个成像。
出于校准的目的，第一光学系统108在宽视场成像模式下生成网格350的第一光学参考图像。相应地，第二光学系统112在共焦成像模式下生成网格350的第二光学参考图像。随后，处理器124生成第一畸变校正数据和第二畸变校正数据，并且将该数据存储在存储器134中。此外，处理器确定表示网格350的第一参考图像和第二参考图像之间的位置不对准。基于该不对准，处理器124生成变换数据并且将该数据存储在存储器134中。
应理解的是，使用如图3所示的参考对象用于校准光学成像设备102仅是示例。因此，也可以基于当用户操作显微镜100以对样本104成像时创建的实时图像生成变换数据。此外，还可以使用实时图像，以便更新存储在存储器134中的初始变换数据，从而补偿实验期间发生的样本中的漂移、结构修改、动态过程等。例如处理器124可以使光学系统108、112中的每个根据相应成像模式生成光学图像序列。对于每个序列，处理器在该序列的初始图像内确定如图4所示的跟踪标记452，并且随着时间即在初始图像之后生成的多个图像上对跟踪标记452进行跟踪。使用跟踪标记452，使处理器124能够在不必使用如图3所示的参考对象的情况下生成更新的变换数据以重新校准变换。
为了生成变换数据，处理器124可以被配置为确定表示参考图像之间相关性的相关性数据。如以上所解释的，可以使用表示参考对象的图像或实时图像。
图5的流程图图示根据实施例的用于校准光学成像设备102的方法。
在步骤S2中，第一光学系统108对如图3所示的参考对象进行成像，用于形成第一参考图像。表示第一参考图像的图像数据可以存储在图像存储器(图中未示出)中。在步骤S4中，处理器124例如通过比较表示第一参考图像的数字数据与预先定义的对应于理想参考图像的标称数据，确定第一畸变校正数据，理想参考图像即为在没有任何光学畸变的情况下生成的图像。在步骤S6中，处理器124将第一畸变校正数据存储在存储器134中。
在步骤S8中，第二光学系统112形成第二参考图像，并且处理器124将对应的图像数据存储在图像存储器中。在步骤S10中，处理器124确定第二畸变校正数据。在步骤S12中，处理器124将第二畸变校正数据存储在存储器134中。以与步骤S2、S4和S6关于第一畸变校正数据相同的方式执行用于生成和存储第二畸变校正数据的步骤S8、S10和S12。
在步骤S14中，如以上解释的，处理器124基于第一参考图像和第二参考图像确定变换数据。最后在步骤S16中，处理器124将变换数据存储在存储器134中。
图6所示的流程图示出根据实施例的用于对样本104成像的方法。
在步骤S12中，第一光学系统108根据宽视场成像模式形成第一目标区域210的第一光学图像。相应地在步骤14中，第二光学系统112根据共焦成像模式形成第二区域214的第二光学图像。如以上参考图2所解释的，样本104的第一区域和第二区域在空间上重合于目标区域242。在步骤12和14中，分别表示第一光学图像和第二光学图像的第一图像数据和第二图像数据被存储在图像存储器中。
在已经生成第一图像和第二图像之后，在步骤S16中处理器124从存储器134读取第一畸变校正数据。同样地在步骤S18中，处理器124从存储器134中读取第二畸变校正数据。在步骤S20中处理器124从存储器134中读取变换数据。
在步骤S22中，处理器124基于第一畸变校正数据处理表示第一光学图像的第一图像数据，以便创建第一畸变校正图像数据。相应地在步骤24中，处理器124基于第二畸变校正数据处理表示第二光学图像的第二图像数据，以便创建第二畸变校正图像数据。第一畸变校正图像数据和第二畸变校正图像数据被存储在图像存储器中。
最后在步骤S26中，处理器124使用从存储器134读取的变换数据组合第一畸变校正图像数据和第二畸变校正图像数据。因此，创建表示组合图像的组合图像数据。可以将与样本104的目标区域242相对应的组合图像显示在显示单元138上。此外，可以将组合数据存储在图中未示出的图像存储器中。
在图7中示意性地图示由处理器124执行的用于组合第一光学图像和第二光学图像的特定变换。根据图7的示例，处理器124使用两个映射操作T'和T”，用于将分配给第一图像的第一坐标系KS1和分配给第二图像的第二坐标系KS2变换为第三坐标系KS3。第三坐标系KS3表示被分配给由第一图像和第二图像形成的组合图像的公共参考系。
不用说图7中所示的变换仅是示例。因此，处理器124可以基于变换数据组合第一畸变校正图像数据和第二畸变校正图像数据，使得第一坐标系KS1被映射到第二坐标系KS2，反之亦然。
尽管已经在装置的上下文中描述一些方面，但是很清楚的是这些方面也表示对相应方法的描述，其中框或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示对相应装置的相应框或项目或特征的描述。方法步骤中的一些或全部可以通过(或使用)硬件装置(例如处理器、微处理器、可编程计算机或电子电路)执行。在一些实施例中，可以由这种装置执行最重要的方法步骤中的某一个或多个。
取决于某些实现要求，本发明的实施例可以以硬件或软件实现。实现可以使用非暂时性存储介质(诸如数字存储介质，例如软盘、DVD、蓝光、CD、ROM、PROM和EPROM、EEPROM或FLASH存储器)执行，非暂时性存储介质具有存储在其上的电子可读控制信号，电子可读控制信号与可编程计算机系统协作(或能够协作)，使得相应方法被执行。因此，数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，电子可读控制信号能够与可编程计算机系统协作，使得本文描述的方法中的一个被执行。
通常本发明的实施例可以被实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，该程序代码可操作用于执行方法中的一个。程序代码可以例如被存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的、用于执行本文描述的方法中的一个的计算机程序。
换句话说，因此，本发明的实施例是一种计算机程序，当计算机程序在计算机上运行时，该计算机程序具有用于执行本文描述的方法中的一个的程序代码。
因此，本发明的其他实施例是一种存储介质(或数据载体、或计算机可读介质)，其包括存储在其上的计算机程序，该计算机程序用于在由处理器执行时执行本文描述的方法中的一个。数据载体、数字存储介质或记录介质通常是有形的和/或非暂时性的。本发明的其他实施例是如本文描述的装置，该装置包括处理器和存储介质。
因此，本发明的其他实施例是表示用于执行本文描述的方法中的一个的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接(例如因特网)传输。
其他实施例包括被配置为或适于执行本文描述的方法中的一个的处理装置(例如计算机或可编程逻辑设备)。
其他实施例包括一种计算机，该计算机具有在其上安装用于执行本文描述的方法中的一个的计算机程序。
根据本发明的其他实施例包括一种装置或系统，该装置或系统被配置为(例如，以电子地或光学地)将用于执行本文描述的方法中的一个的计算机程序传输给接收器。接收器可以是例如计算机、移动设备、存储设备等。该装置或系统可以例如包括用于将计算机程序传输到接收器的文件服务器。
在一些实施例中，可编程逻辑器件(例如，现场可编程门阵列)可以用于执行本文描述的方法中的一些或全部功能。在一些实施例中，现场可编程门阵列可以与微处理器协作以便执行本文描述的方法中的一个。通常该方法优选地由任何硬件装置执行。
附图标记列表
Figure BDA0002777169380000101
Figure BDA0002777169380000111

Claims (15)

1.一种用于显微镜(100)的光学成像设备(102)，包括：
第一光学系统(108)，被配置为根据第一成像模式形成与样本(104)的第一区域(210)相对应的第一光学图像，
第二光学系统(112)，被配置为根据第二成像模式形成与所述样本(104)的第二区域(214)相对应的第二光学图像，其中所述第一区域和所述第二区域(214)在空间上重合于所述样本(104)的目标区域(242)并且所述第一成像模式和所述第二成像模式彼此不同，
存储器(134)，存储适于校正所述第一光学图像中由所述第一光学系统(108)引起的第一光学畸变的第一畸变校正数据、适于校正所述第二光学图像中的由所述第二光学系统(112)引起的第二光学畸变的第二畸变校正数据、以及适于校正所述第一光学图像和所述第二光学图像之间的位置不对准的变换数据，以及
处理器(124)，所述处理器被配置为：
基于所述第一畸变校正数据处理表示所述第一光学图像的第一图像数据，用于生成第一畸变校正图像数据，
基于所述第二畸变校正数据处理表示所述第二光学图像的第二图像数据，用于生成第二畸变校正图像数据；以及
基于所述变换数据组合所述第一畸变校正图像数据和所述第二畸变校正图像数据，用于生成表示与所述样本(104)的所述目标区域(242)相对应的组合图像的组合图像数据。
2.根据权利要求1所述的光学成像设备(102)，其中所述第一成像模式是宽视场成像模式以及所述第二成像模式是共焦成像模式。
3.根据权利要求1或2所述的光学成像设备(102)，其中所述变换数据表示由所述第一光学系统(108)根据所述第一成像模式形成的第一光学参考图像与由所述第二光学系统(112)根据所述第二成像模式形成的第二光学参考图像之间的位置不对准。
4.根据前述权利要求中一项所述的光学成像设备(102)，其中提供校准模式，在所述校准模式中，所述处理器(124)被配置为在形成所述第一光学图像和所述第二光学图像之前生成所述变换数据并且将所述变换数据存储在所述存储器(134)中。
5.根据权利要求3或4所述的光学成像设备(102)，其中所述处理器(124)被配置为确定表示所述第一光学参考图像和所述第二光学参考图像之间的相关性的相关性数据，并且基于所述相关性数据生成所述变换数据。
6.根据前述权利要求中一项所述的光学成像设备(102)，其中由所述变换数据表示的位置不对准包括平移、旋转、缩放、剪切、镜像和/或畸变。
7.根据前述权利要求中一项所述的光学成像设备(102)，其中所述处理器(124)被配置为更新所述变换数据并且将所述更新的变换数据存储在所述存储器(134)中。
8.根据权利要求7所述的光学成像设备(102)，其中所述处理器(124)被配置为使所述第一光学系统(108)根据所述第一成像模式生成第一光学图像序列，并且使所述第二光学系统(112)根据所述第二成像模式生成第二光学图像序列，
其中，所述处理器(124)被配置为确定所述第一光学图像序列中的一个内的第一跟踪标记(452)并且确定所述第二光学图像序列中的一个内的第二跟踪标记，以及
其中，所述处理器(124)被配置为执行对所述第一跟踪标记和所述第二跟踪标记(452)的跟踪并且基于所述跟踪更新所述变换数据。
9.根据前述权利要求中一项所述的光学成像设备(102)，其中所述处理器(124)被配置为基于所述变换数据组合所述第一畸变校正图像数据和第二畸变校正图像数据，使得所述第一光学图像和所述第二光学图像中的一个被映射到由所述第一光学图像和所述第二光学图像中的另一个限定的参考系(KS1，KS2)，或者使得两个光学图像被映射到公共参考系(KS3)。
10.根据前述权利要求中一项所述的光学成像设备(102)，其中所述第一光学系统(108)和所述第二光学系统(112)以彼此固定的位置关系安装。
11.一种使用显微镜(100)对样本(104)成像的方法，包括以下步骤：
通过第一光学系统(108)根据第一成像模式形成与样本(104)的第一区域(210)相对应的第一光学图像，
通过第二光学系统(112)根据第二成像模式形成与所述样本(104)的第二区域(214)相对应的第二光学图像，其中所述第一区域和所述第二区域(214)在空间上重合于所述样本(104)的目标区域(242)并且所述第一成像模式和第二成像模式彼此不同，
获得适于校正所述第一光学图像中由所述第一光学系统(108)引起的第一光学畸变的第一畸变校正数据，
获得适于校正所述第二光学图像中由所述第二光学系统(112)引起的第二光学畸变的第二畸变校正数据，
获得适于校正所述第一光学图像和所述第二光学图像之间的位置不对准的变换数据，
基于所述第一畸变校正数据处理表示所述第一光学图像的第一图像数据，用于生成第一畸变校正图像数据；
基于所述第二畸变校正数据处理表示所述第二光学图像的第二图像数据，用于生成第二畸变校正图像数据，以及
基于所述变换数据组合所述第一畸变校正图像数据和所述第二畸变校正图像数据，用于生成表示与所述样本(104)的所述目标区域(242)相对应的组合图像的组合图像数据。
12.一种用于校准显微镜(100)的光学成像设备(102)的方法，所述光学成像设备(102)包括：
第一光学系统(108)，被配置为根据第一成像模式形成与样本(104)的第一区域(210)相对应的第一光学图像，
第二光学系统(112)，被配置为根据第二成像模式形成与所述样本(104)的第二区域(214)相对应的第二光学图像，其中所述第一区域和所述第二区域(214)在空间上重合于所述样本(104)的目标区域(242)并且所述第一成像模式和所述第二成像模式彼此不同，
处理器(124)，以及
存储器(134)，
其中所述方法包括以下校准步骤：
获得适于校正所述第一光学图像中由所述第一光学系统(108)引起的第一光学畸变的第一畸变校正数据，
获得适于校正所述第二光学图像中由所述第二光学系统(112)引起的第二光学畸变的第二畸变校正数据，
获得适于校正所述第一光学图像和所述第二光学图像之间的位置不对准的变换数据，以及
将所述第一畸变校正数据、所述第二畸变校正数据和所述变换数据存储在所述存储器(134)中，以供所述处理器(124)可访问。
13.根据权利要求12所述的方法，其中通过所述第一光学系统(108)根据所述第一成像模式形成参考对象(350)的第一光学参考图像，
通过所述第二光学系统(112)根据所述第二成像模式形成所述参考对象的第二光学参考图像，以及
基于所述第一参考图像和所述第二参考图像的位置不对准确定所述变换数据。
14.根据权利要求13所述的方法，其中所述参考对象包括由多个点(352)形成的网格(350)，所述网格(350)适配于所述第一光学系统和所述第二光学系统(112)，使得每个光学系统(108、112)能够在可用放大范围内对所述多个点(352)中的至少两个成像。
15.一种具有程序代码的计算机程序，当所述计算机程序在处理器上运行时，所述程序代码用于执行根据权利要求11-14中任一项所述的方法。
CN202011269214.0A 2019-11-15 2020-11-13 用于显微镜的光学成像设备 Pending CN112817138A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP19209559.4A EP3822687A1 (en) 2019-11-15 2019-11-15 Optical imaging device for a microscope
EP19209559.4 2019-11-15

Publications (1)

Publication Number Publication Date
CN112817138A true CN112817138A (zh) 2021-05-18

Family

ID=68583263

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011269214.0A Pending CN112817138A (zh) 2019-11-15 2020-11-13 用于显微镜的光学成像设备

Country Status (4)

Country Link
US (1) US11841494B2 (zh)
EP (1) EP3822687A1 (zh)
JP (1) JP2021081722A (zh)
CN (1) CN112817138A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4198602A1 (en) * 2021-12-20 2023-06-21 Leica Microsystems CMS GmbH Method and arrangement for analysing a microscopic sample containing a plurality of fluorophores, microscope and computer program
CN117523025B (zh) * 2024-01-05 2024-05-10 之江实验室 一种基于光强分布调校的数字仿体生成方法

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images
JP2004343222A (ja) * 2003-05-13 2004-12-02 Olympus Corp 画像処理装置
US7298938B2 (en) * 2004-10-01 2007-11-20 University Of Washington Configuration memory for a scanning beam device
IL166799A (en) * 2005-02-10 2014-09-30 Lumus Ltd Aluminum shale surfaces for use in a conductive substrate
DE602006017940D1 (de) * 2005-09-09 2010-12-16 Olympus Medical Systems Corp Medizinisches Stereo-Beobachtungssystem
US8488895B2 (en) * 2006-05-31 2013-07-16 Indiana University Research And Technology Corp. Laser scanning digital camera with pupil periphery illumination and potential for multiply scattered light imaging
JP5643101B2 (ja) * 2007-10-25 2014-12-17 ワシントン・ユニバーシティＷａｓｈｉｎｇｔｏｎ Ｕｎｉｖｅｒｓｉｔｙ 散乱媒体の画像化方法、画像化装置及び画像化システム
US20090252398A1 (en) * 2008-04-07 2009-10-08 Compucyte Corporation Method and System for Creating a Three-Dimensionally-Perceived Image of a Biological Sample
WO2013040555A2 (en) * 2011-09-15 2013-03-21 The Trustees Of Dartmouth College Apparatus for measuring in-vivo mechanical properties of biological tissues
DE102008054317A1 (de) * 2008-11-03 2010-05-06 Carl Zeiss Microlmaging Gmbh Kombinationsmikroskopie
JP4750175B2 (ja) * 2008-11-28 2011-08-17 オリンパスメディカルシステムズ株式会社 ステレオ光学系、並びにそれを用いたステレオ計測用光学装置、ステレオ計測装置及びステレオ観察装置
JP5405937B2 (ja) * 2009-08-07 2014-02-05 株式会社日立製作所 透過型電子顕微鏡およびそれを用いた試料像の観察方法
JP5452180B2 (ja) 2009-11-13 2014-03-26 オリンパス株式会社 顕微鏡装置
JP2013011856A (ja) * 2011-06-01 2013-01-17 Canon Inc 撮像システムおよびその制御方法
CN102226852B (zh) * 2011-06-13 2013-01-09 广州市晶华光学电子有限公司 一种数码体视显微镜的成像系统
US11510600B2 (en) * 2012-01-04 2022-11-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
JP6091866B2 (ja) * 2012-11-30 2017-03-08 株式会社キーエンス 計測顕微鏡装置、画像生成方法及び計測顕微鏡装置操作プログラム並びにコンピュータで読み取り可能な記録媒体
US9295386B2 (en) * 2013-04-03 2016-03-29 Kabushiki Kaisha Topcon Ophthalmologic apparatus
US9526415B2 (en) * 2013-04-03 2016-12-27 Kabushiki Kaisha Topcon Ophthalmologic apparatus
EP2796917A1 (en) * 2013-04-26 2014-10-29 Baden-Württemberg Stiftung gGmbH A method for automated platform and/or reference object independent acquisition of positional information and localization of objects of interest in a microscope
US10935893B2 (en) * 2013-08-11 2021-03-02 Kla-Tencor Corporation Differential methods and apparatus for metrology of semiconductor targets
US10061111B2 (en) * 2014-01-17 2018-08-28 The Trustees Of Columbia University In The City Of New York Systems and methods for three dimensional imaging
US9704232B2 (en) * 2014-03-18 2017-07-11 Arizona Board of Regents of behalf of Arizona State University Stereo vision measurement system and method
JP6451833B2 (ja) * 2015-03-27 2019-01-16 株式会社ニコン 顕微鏡装置、観察方法、及び制御プログラム
JP6516597B2 (ja) * 2015-07-07 2019-05-22 キヤノン株式会社 画像処理装置及び画像処理方法
CN109804290B (zh) * 2016-12-01 2022-01-04 索尼公司 医疗观察装置和控制方法
US10992924B2 (en) * 2019-03-05 2021-04-27 California Institute Of Technology Stereo-polarimetric compressed ultrafast photography (SP-CUP) systems and methods
JP7265392B2 (ja) * 2019-03-25 2023-04-26 ソニー・オリンパスメディカルソリューションズ株式会社 医療用画像処理装置、医療用観察システム、画像処理方法およびプログラム
WO2021149127A1 (ja) * 2020-01-21 2021-07-29 オリンパス株式会社 赤血球分化モニタリング装置および赤血球分化モニタリング方法
JP2022096324A (ja) * 2020-12-17 2022-06-29 オリンパス株式会社 細胞回収装置、細胞回収方法、プログラム

Also Published As

Publication number Publication date
JP2021081722A (ja) 2021-05-27
EP3822687A1 (en) 2021-05-19
US20210149175A1 (en) 2021-05-20
US11841494B2 (en) 2023-12-12

Similar Documents

Publication Publication Date Title
JP5154392B2 (ja) 撮像装置
US10809515B2 (en) Observation method and specimen observation apparatus
US10746980B2 (en) Calibration of microscopy systems
US11841494B2 (en) Optical imaging device for a microscope
JP6035023B2 (ja) 共焦点走査型顕微鏡における画像歪みを補正する方法
JP6411115B2 (ja) ズーム系を有するデジタル光学撮像システムを較正するための方法、ズーム系を有するデジタル光学撮像システムにおける収差を補正するための方法、及びデジタル光学撮像システム
US20170261741A1 (en) Image capturing device and method for image capturing
JPH1070681A (ja) デジタル画像形成方法
JP2012026841A (ja) ステレオ測距装置及びステレオ測距方法
JP6899894B2 (ja) パターン検出
JP2006196236A (ja) 電子顕微鏡及び観察方法
US20110134254A1 (en) Measuring and correcting lens distortion in a multispot scanning device
US20180174279A1 (en) Method for the determination and compensation of geometric imaging errors
US20220189048A1 (en) Generating composite image from multiple images captured for subject
JP5798099B2 (ja) 画質調整方法、プログラムおよび電子顕微鏡
JP2008298589A (ja) 位置検出装置及び位置検出方法
JP5996462B2 (ja) 画像処理装置、顕微鏡システム及び画像処理方法
US8179575B2 (en) Chromatic registration for biological sample imaging
JP2022136051A (ja) マルチスペクトル顕微鏡システムおよびマルチスペクトル顕微鏡システムを用いて第１の画像と第２の画像とを位置合わせする方法
US11709180B2 (en) Atomic force microscope using artificial intelligence object recognition technology and operation method thereof
JP6796609B2 (ja) 収差測定方法および電子顕微鏡
JP2012068761A (ja) 画像処理装置
US20220398778A1 (en) Lens calibration method for digital imaging apparatus
KR20230096870A (ko) 빔 위치 결정 방법 및 시스템
JPH0465058A (ja) 電子ビーム装置及びその画像取得方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination