CN118778240A - 用于记录拼接显微图像的方法、显微系统和计算机程序产品 - Google Patents

用于记录拼接显微图像的方法、显微系统和计算机程序产品 Download PDF

Info

Publication number
CN118778240A
CN118778240A CN202410395774.2A CN202410395774A CN118778240A CN 118778240 A CN118778240 A CN 118778240A CN 202410395774 A CN202410395774 A CN 202410395774A CN 118778240 A CN118778240 A CN 118778240A
Authority
CN
China
Prior art keywords
image
sample
fused
capturing
microscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410395774.2A
Other languages
English (en)
Inventor
T·席林
M·卡泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yijingtong Technology Center Europe LLC
Original Assignee
Yijingtong Technology Center Europe LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yijingtong Technology Center Europe LLC filed Critical Yijingtong Technology Center Europe LLC
Publication of CN118778240A publication Critical patent/CN118778240A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • G02B21/367Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10141Special mode during image acquisition
    • G06T2207/10152Varying illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本发明涉及一种用于记录样品(300)的拼接显微图像(200)的方法(100),包括:至少第一融合图像(210)和第二融合图像(220)的显微捕获(110):–第一图像(230)的捕获(111),其中以结构化方式照明所述样品(300),–第二图像(240)的捕获(112),其中均匀地照明样品(300),以及–所述第一图像(230)和所述第二图像(240)的融合(113),其中所述第一图像(230)用于位于焦点中的低频图像信息,所述第二图像(240)用于位于焦点中的高频图像信息,其中,第二融合图像(220)描绘所述样品(300)上与第一融合图像(210)不同的位置,以及将至少所述第一融合图像(210)和所述第二融合图像(220)拼接(120)成拼接显微图像(200)。本发明还涉及显微系统(400)和计算机程序产品。

Description

用于记录拼接显微图像的方法、显微系统和计算机程序产品
技术领域
本发明涉及一种用于记录拼接显微图像的方法、显微系统和计算机程序产品。
背景技术
已知有许多不同的显微镜具有非常广泛的应用。这些在光学系统和它们的性能方面可以有相当大的不同。
显微镜的缺点是用单个图像可以捕获的非常小的图像部分。
光学系统通常还具有的共同点是,由于光学定律,显微捕获的景深非常浅。这可能导致这样的事实,即,尽管仅观察单个焦平面,但是图像的捕获被在焦平面外部出现的发射干扰,并且然后在捕获的图像上作为模糊的发光现象而被感知。
在现有技术中已经知道解决这个问题的各种方法。
利用共焦显微镜,一次仅照明待捕获对象的一个部分。然后,逐件扫描样品。根据其位置测量来自样品的反射光或荧光,然后从其构造整个样品。在反射光或荧光的光路中安装针孔光阑,其仅允许来自清晰成像区域的光通过。这有效地减少了来自焦平面之外的层的发射的干扰影响。这种设置的缺点是,通过扫描对象来创建单个图像需要花费大量的时间。
同时,HiLo显微镜也被认为是一种替代方法。该方法描述于例如Lim et al,Optics Letters-33:1819-1821,2008and Jerome Mertz,Nature Methods-8:811-8192011中。这种捕获方法的原理是捕获两个图像。在HiLo显微镜中,具有所谓的散斑照明的第一图像实际上被用作滤波器,其描绘了图像中的低频(Lo),并因此描绘了背景。用高斯照明创建的第二图像(Hi)包含聚焦的图像信息。通过使用第一图像作为滤波器,可以消除来自焦平面之外的平面的干扰发射。
发明内容
本发明的目的是至少部分地消除现有技术中已知的上述缺点。特别地,本发明的目的是提供一种用于记录拼接显微图像的方法、显微系统和计算机程序产品,其能够同时以特别高的光学质量,特别是图像清晰度,以最大可能的图像截面,特别是整个样品的最大可能的图像截面来实现快速、成本有效的捕获。
上述问题通过具有权利要求1的特征的方法、具有权利要求14的特征的显微镜系统、以及具有权利要求15的特征的计算机程序产品来解决。从相应的从属权利要求、说明书和附图中,本发明的进一步的特征和细节是显而易见的。结合根据本发明的方法描述的特征和细节自然也适用于结合根据本发明的显微系统和/或根据本发明的计算机程序产品,反之亦然,从而相对于本公开内容互相关联地参考或总是参考本发明的各个方面。
根据本发明的第一方面,提供了一种用于记录样品的拼接显微图像的方法,包括:通过显微方式至少捕获第一融合图像和第二融合图像,特别是通过光学捕获装置:
–第一图像的捕获,其中,以结构化方式照明样品,特别是通过结构化照明装置照明样品,
–第二图像的捕获,该样品被均匀地照明,特别是通过高斯照明装置,以及
–第一图像和第二图像的融合,其中,通过应用低通滤波器,第一图像被用于位于焦点中的低频图像信息,并且通过应用高通滤波,第二图像器被用于位于焦点中的高频图像信息,
其中第二融合图像描绘了样品上与第一融合图像不同的位置,以及
特别地由计算设备拼接至少第一融合图像和第二融合图像以形成拼接显微图像。
方法步骤/阶段可以至少部分地同时和/或顺序地进行,其中方法步骤/阶段的顺序不受特定顺序的限制,使得各个步骤/阶段可以以不同的顺序进行。此外,可以重复进行单个或所有步骤/阶段。
在本发明的上下文中,参考第一和第二图像以及第一和第二融合图像。表达“第一”和“第二”可以仅表示图像或融合图像的数量,而不是捕获的顺序。
特别地,该方法可以是计算机实现的方法。
在本发明的上下文中,显微图像的记录可以被理解为获得样品的微观区域中的图像信息所必需的那些措施。
拼接显微图像可以理解为具有至少部分重叠的视场的若干图像的组合,由此特别地可以通过拼接来生成分割的全景或高分辨率图像。
可以想到的是,提供了捕获参数的定义。捕获参数可至少被配置为待捕获区域、分辨率或色彩通道。
可以提供的是,定义产生拼接显微图像的待捕获区域。可以将待捕获区域划分为发生显微捕获的视场。待捕获区域可以包括在z方向、x方向或y方向上的至少一个区域。待捕获区域与z方向、x方向或y方向上的区域一起也可以被称为块。
此外,可以提供至少在x、y或z方向上的分辨率的至少一个定义。特别地,z方向上的分辨率可以被指定为xy平面的数量。这具有用户可以容易地记录拼接图像将包括多少层的优点。
可以提供给的是,特别是基于定义的分辨率将待捕获区域划分为块。块的大小可以特别地至少根据显微系统的视场的数目、xy平面的数目或存储器的存储大小来定义。
此外,可以定义至少一个色彩通道。如果定义了多于一个色彩通道,则可以提供的是,在显微捕获期间定义色彩通道的顺序。特别地,可以提供的是,可以为每个色彩通道单独地定义至少一个曝光时间或滤波器深度。
还可以想到的是,提供显微预捕获。预捕获可以被理解为意味着根据定义的捕获参数进行捕获,但是与显微捕获相比,至少在待捕获区域、分辨率、滤波器深度或计算质量方面受到限制。这允许用户快速获得定义捕获参数的效果的概观,而不必为每次调整以相应的时间量捕获完整的图像。
原则上,样品可以是能够通过所使用的显微镜观察的任何物体。特别地,样品可以是生物样品和/或医学样品,尤其是细胞、组织或器官。可以提供的是,将样品布置在物体保持器上。物体保持器可以保持一个或多个样品。
在本发明的上下文中,显微捕获可以被理解为借助于捕获装置生成包含关于样品的微观尺度的信息的图像。
融合图像可以包括来自至少两个显微捕获的信息。特别地,可以在样品上的相同位置处捕获融合图像。
第二图像包含模糊和清晰内容。模糊内容基本上包含具有低局部频率的分量。为了丢弃模糊图像信息,可以对第二图像应用高通滤波器。高通滤波器可以被配置成使得仅选择高空间频率分量而排除低频分量。
在第一图像中,结构化照明意味着对于在焦点外出现的对象信号,成像调制的对比度是可忽略的。这意味着成像调制的局部对比度的测量是对象聚焦程度的测量。
可以提供第一图像的局部调制对比度的测量。第一图像的调制对比度的测量可以至少作为局部方差、单边带解调或双边带解调的测量来执行。局部调制对比度的测量可以是粗粒度的。
可以提供的是,这样构成从第一图像导出的低频图像信息,使得补充从第二图像导出的高频图像信息。高频和低频图像内容的融合产生完全分辨的清晰图像,该图像包含显微系统的频率带宽内的所有频率内容。这基本上对应于HiLo显微方法。
结构化照明可以被理解为被配置为主要在焦平面中作为对照明的反应而从样品生成发射的照明。特别地,结构化照明的强度可以根据位置而变化。强度的变化可以由漫射器产生,光源,特别是相干光源,通过该漫射器照明。
均匀照明(也称为高斯照明)可以被定义为基本上以均匀强度曝光待捕获图像区域的照明。由于光源和光学系统的特性而不可避免地发生的不均匀性,即使在均匀照明的情况下也总是在一定程度上发生。可以提供的是,均匀照明由旋转的漫射器提供,光源、尤其是相干光源通过该漫射器照明。特别有利的是,漫射器是用于提供结构化照明的相同漫射器,由此当提供结构化照明时,漫射器是静止的。然后,可以通过停止或旋转漫射器在结构化照明和均匀照明之间切换。
此外可以提供的是,如此设置第一和第二图像的捕获顺序,使得在样品上的位置移动之后,第一图像后面接着是另一第一图像。还可以提供的是,在样品上的位置移动之后,第二图像之后是另一第一图像。这提供了这样的优点,即不必针对每次捕获改变捕获装置的捕获模式,这使得能够实现甚至更快的捕获。
融合图像的拼接(也称为合并)可以被理解为融合图像中包含的图像信息的组合。可以提供的是,融合图像至少部分地重叠,由此,尤其是在图像拼接时,至少识别重叠区域,对图像进行对齐或调整其外观,尤其是至少关于亮度、颜色或对比度。
在样品上的不同位置可以意味着第一融合图像和第二融合图像具有不包含在两个图像中的至少一个区域。换句话说,这意味着可以在不同位置捕获两个图像。可以提供的是,显微捕获和拼接被执行若干次,尤其是对于图像的预定区域,尤其是块,执行一次。块可以在xy位置和xy平面中具有一个或多个图像。可以提供的是,首先使用来自第一块和另一块的单对融合图像,使用具有最高对比度的融合图像来执行拼接,由此使用该比率来拼接其他融合图像。这允许通过拼接过程来最小化图像误差。
可以提供的是,该方法包括以下步骤/阶段中的至少一个,特别是按所示的顺序:
将至少所述样品或透镜移动到第一块。显微捕获该块的第一xy平面,其中捕获并融合第一图像和第二图像,显微捕获第一块的下一xy平面,其中捕获并融合第一图像和第二图像,直到显微捕获第一块的所有xy平面。针对一个或多个另一色彩通道重复第一块的显微捕获。第一块的所有xy平面的所有融合图像的中间存储。
将至少所述样品或透镜移动到另一块。微观地捕获另一块的第一xy平面,由此捕获并融合第一图像和第二图像,微观地捕获另一块的下一xy平面,由此捕获并融合第一图像和第二图像,直到已经微观地捕获该块的所有xy平面。针对一个或多个另一色彩通道重复下一块的显微捕获。第一块的所有xy平面的所有融合图像的中间存储。
将第一块的具有最高对比度的xy平面的融合图像(特别是在第一色彩通道中)与来自同一xy平面的第二块的融合图像拼接。“同一xy平面”尤其可以涉及至少部分重叠的图像内容。可替换地或另外地,也可以意味着在z方向上相对于至少透镜或样品的相同位置。根据第一拼接图像的关系,还拼接第一块的所有其他融合图像。
则至少可以将样品或透镜移动到下一块,并且重复步骤/阶段。块的拼接图像可以彼此组合以创建样品的拼接显微图像。
总之,根据本发明的方法的优点在于,利用尽可能大的图像部分,尤其是整个样品,可以实现具有特别高的光学质量,尤其是图像清晰度的快速、成本有效的捕获。第一和第二图像的融合意味着可以非常快速地创建图像,其中可以丢弃来自不在透镜焦点中的平面的图像信息,从而增加图像的锐度。由于该方法不需要扫描图像,而是仅需要捕获两个图像,因此与利用共焦显微镜扫描图像相比,该方法特别快。通过拼接至少两个、特别是多个融合图像,可以利用捕获速度将多个图像串在一起,并由此产生具有特别多的信息量的图像,例如分割的全景图或具有大景深的高分辨率图像。
在本发明的范围内,还可以想到,当捕获第一图像时,结构化照明被配置为至少散斑照明、周期性网格或棋盘图案。
散斑照明可以被配置成生成光的散射点。散斑可以被理解为样品上的单独的点状位置,其中照明的强度相对于样品的其余部分是高的。散斑可以由干涉产生。为此,可以提供与漫射器结合的单色相干光源。
散斑照明的优点是,焦平面之外的背向散射光的强度显著降低,因此可以产生特别清晰的融合图像。
周期性网格或棋盘图案也可以借助于产生干涉的光学元件来提供。
此外,在根据本发明的方法中,可以有利地提供的是,在第一和第二图像的捕获期间的照明被配置为荧光照明,特别是具有至少两个色彩通道的荧光照明。
换句话说,第一和第二图像可以是荧光图像,特别是多通道荧光图像。荧光图像尤其受到不是源自焦平面的发射的影响,因为这些发射产生一种散焦效应,这可能使原本相对于相当暗的背景的清晰结构模糊。因此,根据本发明的方法与荧光照明相结合是特别有利的。
此外,在根据本发明的方法中,可以想到,利用至少第一和第二色彩通道来捕获第一和第二图像,其中,特别地,首先利用第一色彩通道以结构化且均匀的方式照明样品,然后利用第二色彩通道以结构化且均匀的方式照明样品。特别有利的是,当捕获多个色彩通道时,第一或第二图像的照明总是从前一色彩通道的捕获结束开始照明。例如,对于三个色彩通道红色、绿色和蓝色,这将导致以下顺序:红色结构化、红色均匀、绿色均匀、绿色结构化、蓝色结构化、蓝色均匀。这意味着漫射器不必经常加速和减速,一方面节省了捕获时间,另一方面减少了振动形式的干扰。
在多个色彩通道和多个xy平面中的显微捕获的情况下,可以在切换到下一个xy平面之前,首先针对每个xy平面的每个色彩通道进行显微捕获。这具有的优点是,当组合各个通道时可以实现特别高的图像质量,因为这些通道是在不移动样品或透镜的情况下捕获的。还可以提供的是,xy平面分别以唯一的色彩通道穿过。
此外,在根据本发明的方法中,可以有利地规定,样品上的位置至少在样品的z方向、样品的x方向或样品的y方向上不同,其中,特别地,样品的至少在x方向或y方向上的位置通过其上可以布置样品的xy载物台移动。
在本发明的上下文中,az方向可以被理解为样品的深度,其位于样品区域中的捕获光学器件的光轴上。因此,x轴和y轴跨越与样品区域中的光轴正交的平面。
通过改变z方向上的位置,拼接显微图像可以基本上对应于断层摄影。由于定义的景深区域,可以特别清晰地显示各个层。
可以通过拼接x和/或y方向上的融合图像来映射样品。有可能至少在x、y或z方向上从融合图像拼接整个样品。这提供了以下优点,即,然后在一个或多个方向上完全记录样品,因此特别大量的信息可用于评估。
在本发明的上下文中,还可以想到的是,在第二融合图像中的样品的位置与第一融合图像中的样品的位置在z方向上在500nm与500μm之间、特别是在1μm与300μm之间不同。
换句话说,对于光学显微镜,可以测量非常厚的样品。在厚样品的情况下,传统的光学显微镜具有的问题是来自不对应于焦平面的发射相加,并且拼接图像将是模糊的。这通过根据本发明的方法来防止,从而也能够以特别高的质量捕获在规定厚度范围内的样品。
在本发明的范围内,还可以想到的是,可以调整各个所捕获的融合图像的景深。
这允许融合效果最佳地适应于当前捕获情况。更大的景深允许从不是精确地在焦平面中的区域获得更多的信息。这可以防止在z平面上远离的对象的情况下,如果在待拼接的融合图像之间存在大的距离或者如果焦平面没有被准确地正确设置,则物体的信息被截断。另一方面,浅景深确保了特别清晰的图像以及在z方向上待拼接的图像之间具有小距离的良好概观。
在根据本发明的方法中,还可以想到的是,还提供拼接显微图像的输出,由此特别地可以在输出期间设置z方向上的深度。
这允许用户根据情况选择最佳景深。如上所述,该值可以变化,甚至在样品内。因此,可定制性总是确保最佳的用户体验,这允许对拼接显微图像的准确评估。
在根据本发明的方法中,还可以设想提供对至少被配置用于捕获第一图像和第二图像的透镜的识别,其中特别地,基于对透镜的识别来设置z方向上的深度。
通过适配于相应的透镜,可以设置在z方向上的深度,其表示图像清晰度和景深之间的最佳折衷。
在根据本发明的方法中,还可以设想,连续地执行至少第一融合图像和第二融合图像的显微捕获。
对待融合图像的连续捕获提供了可以特别快速地生成捕获的优点。
在本发明的背景下,此外可以设想,当至少第一融合图像和第二融合图像被拼接以形成拼接显微图像时,提供阴影校正。
阴影校正可以实现特别好的光学质量,尤其是在待拼接的两个图像之间的过渡处。
在根据本发明的方法中,也可以设想,至少第一融合图像或第二融合图像被显示为实况图像,由此可以在z方向上设置至少一个深度。
实况图像允许用户立即检查z方向上的深度设置的效果,并因此设置测量的最优值。即时反馈有效地防止了开始冗长的图像捕获过程,其中只有在以后才会明白所做的设置不是最佳的。
优选地,在根据本发明的方法中,此外可以设想至少:
–将显微镜载玻片装载到显微系统中,
–对显微镜载玻片的概观扫描,
–记录显微镜载玻片的标签信息,
–检测显微镜载玻片上的样品,
–基于样品检测的图像记录区域的指定,
–捕获参数的定义,
–根据先前定义的捕获参数的显微预捕获,特别是根据本发明的显微捕获,
–根据先前定义的捕获参数的显微捕获,特别是根据本发明的显微捕获,
–焦点图的生成,
–xy载物台向图像记录区域的移动,
–透镜缺陷的校正,
–提供至少第一图像、第二图像、第一融合图像、第二融合图像或拼接显微图像的存储,
–xy载物台向下一样品或显微镜载玻片的移动。
通过记录标签信息,可以在捕获图像之前最佳地调整显微镜。例如,在z方向上的深度可以适应于标签信息。例如,标签可以包含关于样品的厚度或类型的信息,使得特定深度是有利的。
样品的概观扫描可以被理解为显微捕获,其中与显微捕获相比,使用至少较低分辨率、较少通道或不同通道、较大图像面积或较低放大率。这种概观扫描允许快速识别用于高分辨率捕获的样品和感兴趣区域。
通过将xy载物台移动到下一个样品,可以快速地拾取下一样品。此外,还可以以这种方式拾取下一显微镜载片,其特别地还可以具有一个或多个样品。还可以提供的是,下一显微镜载片通过显微镜载片机构插入到xy载物台中。
可以采取措施将显微镜载玻片装载到显微系统中,概观扫描显微镜载玻片,指定图像记录区域,定义捕获参数,显微捕获,至少存储第一图像、第二图像、第一融合图像、第二融合图像或拼接显微图像,或者将xy载物台移动到下一样品或下一显微镜载玻片,特别是按照指定的顺序。
根据本发明的另一方面,提供了一种显微系统,特别是用于执行根据本发明的方法的显微系统,包括:光学捕获装置,其适于提供至少第一融合图像和第二融合图像的显微捕获,所述光学捕获装置包括:
–相机和透镜,其被配置成捕获第一图像和第二图像,
–结构化照明装置,其被配置成在捕获第一图像时以结构化方式照明样品,
–高斯照明装置,其适于在捕获第二图像时均匀地照明样品,以及
计算设备,其适于融合第一图像和第二图像,其中,第一图像用于提供低频聚焦图像信息,并且第二图像用于提供高频聚焦图像信息,其中,第二融合图像描绘与第一融合图像不同的在样品上的位置,并且适于将至少第一融合图像和第二融合图像拼接成拼接显微图像。
因此,根据本发明的显微系统具有与已经参照根据本发明的方法详细描述的那些优点相同的优点。
结构化照明装置可以包括至少一个相干光源,特别是激光器或漫射器,由此漫射器被激光器的光照明并且生成散斑图案。
此外可以提供的是,漫射器被配置成可旋转的,并且在被高斯照明装置照明时被旋转到这样的程度,使得在显微捕获的时间尺度上捕获均匀照明的图像。这种布置允许特别快速地一个接一个地生成第一图像和第二图像,使得用于拼接显微图像的总捕获时间被极大地减少。
根据本发明的另一方面,提供了一种包括指令的计算机程序产品,当由计算机、特别是由根据本发明的显微系统的计算设备执行该计算机程序产品时,该指令使计算机执行根据本发明的方法。
因此,根据本发明的计算机程序产品具有与已经参照根据本发明的方法和/或根据本发明的显微系统详细描述的那些相同的优点。
附图说明
本发明的其它优点、特征和细节从以下描述中显而易见,其中参考附图详细描述了本发明的实施例。在权利要求和说明书中提及的特征可以单独地或以任何组合对本发明是必要的。其示意性地示出:
图1:根据本发明的方法
图2:拼接融合图像的一个示例,
图3:拼接融合图像的另一示例,
图4:根据本发明的显微系统。
具体实施方式
在本发明的一些实施例的以下描述中,相同的参考标记用于相同的技术特征,即使在不同的实施例中。
图1示出了用于记录样品300的拼接显微图像200的方法100,包括:
至少第一融合图像210和第二融合图像220的显微捕获110:
–第一图像230的捕获111,其中以结构化方式照明样品300,
–第二图像240的捕获112,其中均匀地照明样品300,以及
–第一图像230和第二图像240的融合113,其中第一图像230用于提供位于焦点中的低频图像信息,第二图像240用于提供位于焦点中的高频图像信息,
其中第二融合图像220描绘了样品300上与第一融合图像210不同的位置,以及
至少第一融合图像210和第二融合图像220拼接120成拼接显微图像200。
总之,根据本发明的方法100实现了这样的优点,即,可以利用同时最大可能的图像部分,尤其是整个样品300,实现具有特别高的光学质量,尤其是图像清晰度的快速、廉价的捕获。第一和第二图像230、240的拼接意味着可以非常快速地创建图像,其中可以丢弃来自不在透镜412的焦点中的平面的图像信息,从而增加图像的锐度。由于该方法不需要对图像进行任何扫描,而仅需要捕获两个图像230、240,因此与共焦显微镜中的通过图像进行扫描相比,该方法特别快。通过拼接至少两个、特别是多个融合图像210、220,可以利用捕获速度将多个图像串在一起,并由此产生具有特别多的信息量的图像200,例如分割的全景图或具有大景深的高分辨率图像。
此外,在根据本发明的方法中可以提供另外的步骤/阶段。
例如,可以提供拼接显微图像200的输出130,特别是在屏幕上。尤其可以进一步提供的是,在输出130期间,可以调节z方向上的深度,对于该深度丢弃来自拼接显微图像200的那些图像信息。这样,用户可以最佳地使深度适应于评估和/或捕获要求。
图2和3示出了如何可以拼接120融合图像210、220。
图2示出了样品300的俯视图。虚线标记了第一融合图像210和第二融合图像220被捕获的点。每个虚线方块对应于第一图像230和第二图像240,然后在113将它们拼接。换句话说,在所示的示例中,显微系统400捕获四次两个图像230、240。融合图像210、220在每种情况下重叠。融合图像210、220的拼接120然后产生拼接显微图像200,其在xy平面中比单独的融合图像210、220覆盖大得多的样品300的区域。特别地,可以提供整个样品300和/或样品的预选部分由拼接显微图像200覆盖。
图3示出了用于拼接120融合图像210、220的另一变型。虽然在图2的示例中,融合图像210、220的样品上的位置在xy平面中变化,但是在图3的示例中,示出了z平面中的变化。换句话说,在z轴(平行于捕获装置410(见图4)的光轴)上变化的融合图像210、220也可以被拼接120。
虚线所示的是z方向上的深度,对于该深度来说,丢弃了来自第二图像240的不在第二图像240的焦点中的图像信息。可以提供的是,该深度是可调节的。可以如所示的那样以融合图像210、220在深度上不重叠的方式选择融合图像210、220之间的距离。还可以提供的是,融合图像210、220在其深度上至少部分地重叠。
当然,拼接显微图像200也可以通过拼接120在xy平面中变化的融合图像210、220以及在z轴上变化的融合图像210、220来提供。结果,显微系统400的用户具有特别大量的图像信息可用于评估,由此根据本发明的方法100非常快速地创建拼接显微图像200,尽管信息含量高。
图4示出了显微系统400,其特别用于执行根据本发明的方法100。显微系统400包括光学捕获装置410,其适于提供至少第一融合图像210和第二融合图像220的显微捕获110:
–相机411和透镜412,其适于捕获111第一图像230和第二图像240,
–结构化照明装置413,其适于在捕获第一图像230时以结构化方式照明样品300,
–高斯照明装置414,其适于在捕获第二图像240时均匀地照明样品300,以及
计算设备420,其适于融合113第一图像230和第二图像240,其中,第一图像230用于提供低频聚焦图像信息,并且第二图像240用于提供高频聚焦图像信息,其中,第二融合图像220描绘与第一融合图像210不同的在样品300上的位置,并且适于将至少第一融合图像210和第二融合图像220拼接成拼接显微图像200。
图4以x-z平面的视图示出了显微系统。光从相干光源430经由结构化照明装置413和/或高斯照明装置414经由分束器450和透镜412被引导到位于载物台415上的样品300上。在那里反射或发荧光的光被反射回来,并且在通过分束器450之后,落到相机411中。在所示的实施例中,结构化照明装置413和高斯照明装置414具有被配置成可旋转的漫射器440。如果漫射器不旋转,则由结构化照明装置413生成散斑照明,以用于捕获111结构化照明的图像230。如果漫射器440被设置为旋转,则可以捕获112均匀照明的图像240。控制装置420可以至少控制捕获装置410、相机411、透镜412、结构化照明装置413、高斯照明装置414、载物台415、相干光源430或漫射器440。
因此,根据本发明的显微系统400具有与已经参照根据本发明的方法100详细描述的那些优点相同的优点。
结构化照明装置413可以包括至少一个相干光源430,特别是激光器,以及漫射器440,其中漫射器440被激光器的光照明并且生成散斑图案。
此外可以提供的是,漫射器440被配置成可旋转的,并且在被高斯照明装置414照明时被旋转到这样的程度,使得在显微捕获110的时间尺度上捕获均匀照明的图像。这种布置允许特别快速地一个接一个地生成结构化且均匀照明的图像230、240,使得拼接显微图像200的总捕获时间大大减少。
上述实施例的解释仅通过示例的方式描述了本发明。当然,在不脱离本发明的范围的情况下,实施例的各个特征可以彼此自由地组合,只要这在技术上是有利的。
附图标记列表
100 方法
110 捕获
111 捕获低分辨率图像
112 捕获高分辨率图像
113 融合低分辨率图像和高分辨率图像
120 拼接至少第一融合图像和第二融合图像
130 输出
200 显微图像
210 第一融合图像
220 第二融合图像
230 第一图像
240 第二图像
300 样品
310 显微镜载玻片
400 显微系统
410 捕获装置
411 相机
412 透镜
413 结构化照明装置
414 高斯照明装置
415 载物台
420 计算设备
430 相干光源
440 漫射器

Claims (15)

1.一种用于记录样品(300)的拼接显微图像(200)的方法(100),包括:
显微捕获(110)至少第一融合图像(210)和第二融合图像(220):
–捕获(111)第一图像(230),其中以结构化方式照明所述样品(300),
–捕获(112)第二图像(240),其中均匀地照明样品(300),以及
–融合(113)所述第一图像(230)和所述第二图像(240),其中所述第一图像(230)用于提供位于焦点中的低频图像信息,所述第二图像(240)用于提供位于焦点中的高频图像信息,
其中,第二融合图像(220)描绘所述样品(300)上与第一融合图像(210)不同的位置,以及
将至少所述第一融合图像(210)和所述第二融合图像(220)拼接(120)成拼接显微图像(200)。
2.根据权利要求1所述的方法(100),
其特征在于
在所述第一图像(230)的捕获(111)期间实现为至少散斑照明、周期性网格或棋盘图案的结构化照明。
3.根据权利要求1或2所述的方法(100),
其特征在于
当捕获(112)所述第一和第二图像(240)时,所述照明被配置为荧光照明,特别是具有至少两个色彩通道的荧光照明。
4.根据前述权利要求中任一项所述的方法(100),
其特征在于
以至少第一和第二色彩通道来执行所述第一图像(230)的捕获(111)和所述第二图像(240)的捕获(112),其中特别地,最初利用所述第一色彩通道以结构化且均匀的方式照明所述样品(300),然后利用所述第二色彩通道以结构化且均匀的方式照明所述样品(300)。
5.根据前述权利要求中任一项所述的方法(100),
其特征在于
所述样品(300)上的位置至少在所述样品(300)的z方向、所述样品(300)的x方向或所述样品(300)的y方向上不同,特别是将所述样品(300)布置在xy载物台(415)上,所述样品(300)在所述x方向或y方向上的位置被所述xy载物台(415)移动。
6.根据前述权利要求中任一项所述的方法(100),
其特征在于
在所述第二融合图像(220)中的所述样品(300)的位置在z方向上不同于所述第一融合图像(210)中的所述样品(300)的位置在500nm与500μm之间、特别是在1μm与300μm之间。
7.根据前述权利要求中任一项所述的方法(100),
其特征在于
可以设置各个所捕获的融合图像(210,220)的景深。
8.根据前述权利要求中任一项所述的方法(100),
其特征在于
此外,提供了所述拼接显微图像(200)的输出(130),其中特别地,在所述输出(130)期间能够设置所述z方向上的深度。
9.根据前述权利要求中任一项所述的方法(100),
其特征在于
提供了对被配置成至少用于捕获(111)所述第一图像(230)或用于捕获(112)所述第二图像(240)的透镜(412)的识别,具体地,基于对所述透镜(412)的识别来设置所述z方向上的深度。
10.根据前述权利要求中任一项所述的方法(100),
其特征在于
连续地执行至少所述第一融合图像(210)和所述第二融合图像(220)的显微捕获(110)。
11.根据前述权利要求中任一项所述的方法(100),
其特征在于
当将至少所述第一融合图像(210)和所述第二融合图像(220)拼接(120)以形成所述拼接显微图像(200)时,提供阴影校正。
12.根据前述权利要求中任一项所述的方法(100),
其特征在于
至少所述第一融合图像(210)或所述第二融合图像(220)被显示为实况图像,所述z方向上的至少一个深度是可调节的。
13.根据前述权利要求中任一项所述的方法(100),
其特征在于
此外,至少规划以下步骤:
–将显微镜载玻片装载到显微系统(400)中,
–对所述显微镜载玻片进行概观扫描(310),
–记录所述显微镜载玻片(310)的标签信息,
–检测所述显微镜载玻片(310)上的所述样品(300),
–基于所述样品(300)的检测指定图像记录区域,
–生成焦点图,
–将xy载物台(415)移动到所述图像记录区域,
–校正透镜缺陷,
–存储至少所述第一图像(230)、所述第二图像(240)、所述第一融合图像(210)、所述第二融合图像(220)或所述拼接显微图像(200),
–将所述xy载物台(415)移动到下一样品(300)或下一显微镜载玻片(310)。
14.一种显微系统(400),特别用于执行根据前述权利要求中的任一项所述的方法(100),包括:
光学捕获装置(410),其适于提供至少第一融合图像(210)和第二融合图像(220)的显微捕获(110):
–相机(411)和透镜(412),其适于捕获(111)第一图像(230)和第二图像(240),
–结构化照明装置(413),其适于在捕获所述第一图像(230)时以结构化方式照明所述样品(300),
–高斯照明装置(414),其适于在捕获所述第二图像(240)时均匀地照明所述样品(300),以及
计算设备(420),其适于融合(113)所述第一图像(230)和所述第二图像(240),其中,所述第一图像(230)用于提供低频聚焦图像信息,并且所述第二图像(240)用于提供高频聚焦图像信息,其中,所述第二融合图像(220)描绘所述样品(300)上的位置与所述第一融合图像(210)描绘的位置不同,并且将所述至少第一融合图像(210)和所述第二融合图像(220)拼接成所述拼接显微图像(200)。
15.一种包括指令的计算机程序产品,当所述计算机程序产品由计算机执行时,特别是由根据权利要求14所述的显微系统(400)的计算设备(420)执行时,所述指令使所述计算机执行根据权利要求1至13中任一项所述的方法。
CN202410395774.2A 2023-04-03 2024-04-02 用于记录拼接显微图像的方法、显微系统和计算机程序产品 Pending CN118778240A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102023108517.4 2023-04-03
DE102023108517 2023-04-03

Publications (1)

Publication Number Publication Date
CN118778240A true CN118778240A (zh) 2024-10-15

Family

ID=92801997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410395774.2A Pending CN118778240A (zh) 2023-04-03 2024-04-02 用于记录拼接显微图像的方法、显微系统和计算机程序产品

Country Status (4)

Country Link
US (1) US20240331100A1 (zh)
JP (1) JP2024147524A (zh)
CN (1) CN118778240A (zh)
DE (1) DE102024109226A1 (zh)

Also Published As

Publication number Publication date
US20240331100A1 (en) 2024-10-03
JP2024147524A (ja) 2024-10-16
DE102024109226A1 (de) 2024-10-10

Similar Documents

Publication Publication Date Title
CN107526156B (zh) 光片显微镜以及用于运行光片显微镜的方法
JP5485156B2 (ja) 顕微鏡により試料を3次元結像するための方法
JP5599314B2 (ja) 試料の検査のための方法および光学装置
US7885447B2 (en) Image acquiring apparatus including macro image acquiring and processing portions, image acquiring method, and image acquiring program
KR101624433B1 (ko) 결함 관찰 방법 및 그 장치
US10073258B2 (en) Microscope system
JP5532459B2 (ja) 顕微鏡システム
US20090296207A1 (en) Laser scanning microscope and its operating method
EP2834832B1 (en) Integrated optical and charged particle inspection apparatus
JP2017167535A (ja) ライトフィールド顕微鏡および照明方法
CN112654911B (zh) 具有虚拟物镜的显微镜设备
JP2021521478A (ja) モノクロセンサでカラービデオを生成するための装置、システム、および方法
JP5322368B2 (ja) 顕微鏡システム、観察方法および観察プログラム
EP1947498A1 (en) Cofocal microscope
CN113039470B (zh) 显微镜装置
JP4136635B2 (ja) 分析装置
US20240331100A1 (en) Method for recording a merged microscope image, microscope system and computer program product
JP2008051772A (ja) 蛍光画像取得装置、及び蛍光画像取得方法
JP4197898B2 (ja) 顕微鏡、三次元画像生成方法、三次元画像を生成する制御をコンピュータに行わせるプログラム、及びそのプログラムを記録した記録媒体
KR20080114550A (ko) 자외선 현미경 장치
JP7251957B2 (ja) 拡大観察装置
JP6255305B2 (ja) 光学顕微装置
JP7036396B1 (ja) オートフォーカス装置
JP2018205567A (ja) ライトフィールド顕微鏡、観察方法
WO2021192123A1 (ja) 荷電粒子線装置

Legal Events

Date Code Title Description
PB01 Publication