CN115390230A - 用于确定荧光显微镜中的照明强度的控制系统和方法及对应的显微镜系统 - Google Patents

用于确定荧光显微镜中的照明强度的控制系统和方法及对应的显微镜系统 Download PDF

Info

Publication number
CN115390230A
CN115390230A CN202210562241.XA CN202210562241A CN115390230A CN 115390230 A CN115390230 A CN 115390230A CN 202210562241 A CN202210562241 A CN 202210562241A CN 115390230 A CN115390230 A CN 115390230A
Authority
CN
China
Prior art keywords
light source
illumination intensity
value
sample
illumination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210562241.XA
Other languages
English (en)
Inventor
凯·瑞特舍尔
克里斯蒂安·舒曼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Microsystems CMS GmbH
Original Assignee
Leica Microsystems CMS GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Microsystems CMS GmbH filed Critical Leica Microsystems CMS GmbH
Publication of CN115390230A publication Critical patent/CN115390230A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0032Optical details of illumination, e.g. light-sources, pinholes, beam splitters, slits, fibers
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/645Specially adapted constructive features of fluorimeters
    • G01N21/6456Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458Fluorescence microscopy
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0076Optical details of the image generation arrangements using fluorescence or luminescence
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/32Micromanipulators structurally combined with microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64Fluorescence; Phosphorescence
    • G01N21/6428Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels

Landscapes

  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

本发明涉及用于自动确定荧光显微镜的光源的照明强度的控制系统,光源用于刺激样本中的荧光团并且被配置为改变照明强度,显微镜具有用于检测样本的图像强度的检测器,控制系统被配置为在光路径中的改变之后,自动确定用于光源的照明强度的控制值,以实现表征样本检查的检查参数的期望值,其中确定光源的照明强度的控制值是基于在光路径中的改变之前设置的照明强度的值、基于在光路径中的改变之前使用的检查参数的值、以及基于在光路径的物理模型,物理模型在考虑到光路径中的光学组件的成像特性情况下将光源的照明强度映射到检查参数。本发明还涉及显微镜系统和对应的方法。

Description

用于确定荧光显微镜中的照明强度的控制系统和方法及对应 的显微镜系统
技术领域
本发明主要涉及用于自动确定荧光显微镜中的光源的照明强度的控制系统,该光源用于刺激样本中的荧光团,涉及包括荧光显微镜和这种控制系统的显微镜系统,以及涉及对应的方法。
背景技术
特别是在荧光显微镜中,当改变物镜和/或光路径中的其他组件并保持照明参数,诸如中间图像中的视场和中间图像中的强度恒定时,入射到物场(和样本)上的照明强度会发生改变。此外,检测器上的检测强度以不同的方式改变。
然而,为了在荧光显微镜中检查或成像样本,通常在物镜改变之后也需要样本处的恒定照明强度或图像强度。这需要重新设置光源的照明强度或功率。
发明内容
鉴于上述缺点和问题,需要一种在荧光显微镜中调适照明强度的改进方式。根据本发明的实施例,提出了具有独立权利要求的特征的控制系统、具有荧光显微镜的显微镜系统和方法。有利的进一步发展形成从属权利要求和随后描述的主题。
本发明的实施例通常涉及具有荧光显微镜的显微镜系统,特别是落射荧光显微镜,并且涉及用于这种荧光显微镜的控制系统。所述控制系统可以包括一个或多个处理器;它可能是单独的计算机(系统)或集成到显微镜中的处理器。显微镜包括至少一个光源,该光源用于刺激样本中的至少一种荧光团(也称为荧光染料或染料;它是在光激发时可以重新发光的荧光化合物),该样本通过所述显微镜的方式检查和/或成像。至少一个光源被配置成使得其照明强度(也称为照明功率或照明亮度)可以改变。所述荧光显微镜进一步包括被使用并被配置为检测图像强度的至少一个检测器(可以是具有多个检测器的检测器单元的一部分);所述图像强度是样本中激发的荧光染料发出的荧光。图像强度还取决于光源的照明强度。
在此方面,术语“光源”应包括任何适合激发荧光团的发光布置;优选地,使用固态光源。激发荧光团需要预定的激发波长存在于光源的光谱中。因此,这样的光源可以包括:包括激发波长的宽带光源、包括激发波长的窄带光源、或具有下游滤波器的光源,该下游滤波器从包括激发波长的光源的光谱中过滤光谱。这同样适用于术语“检测器”。这种检测器或检测器单元必须能够检测所讨论中的荧光团的发射荧光辐射的波长。为此,可以使用对应宽带检测器或对应窄带检测器,该检测器对于荧光辐射的对应波长具有足够的灵敏度。此外,可以使用具有上游滤波器的宽带检测器,所述滤波器过滤荧光辐射的相关波长并使其可被检测器的传感器访问。所述滤波器连接在光源之后或检测器的上游,可以被设计为滤光轮或滤光载波片、光谱分束器层、光谱仪或单色仪布置,或者也可以以例如基于声光或液晶的系统的形式设计。
根据本申请的每个光源旨在直接激发存在于待成像的样本中的用户采用的荧光团。这些光源中的每一个都可以根据它们的照明强度或照明亮度单独调整。以这种方式,可以调整撞击直接分配的荧光团的光子通量,从而调整最终撞击检测器的从荧光辐射产生的光子通量。如果单个光源激发多于一个荧光团,则最好在照明控制方法中考虑所谓的交叉激发。
取决于用户执行的检查或成像的具体类型,这可能需要改变从至少一个光源到样本(也称为照明路径)和/或从样本到至少一个检测器(也称为成像路径)的光路径。这种改变通常包括显微镜的当前布置在光路径中的物镜的改变。此外,在光路径中布置的其他组件如滤波器等可能会被插入、移除或更换。这也可能导致光路径相对于照明强度的改变。在诸如中间图像中的视场和中间图像中的强度等照明参数不改变的情形中,入射到物场上的照明强度因此会由于物镜改变而发生改变。除了样本和荧光团上的照明强度之外,成像强度,即从荧光团发射并到达至少一个检测器的光的强度可能会发生改变。
因此,为了保持样本上的照明强度和/或成像强度恒定或将其重新设置为所期望的值(该期望值可以是适当的值,以实现例如某些实验的适当照明),必须调整光源的照明强度或照明功率。例如,手动重新设置非常耗时。因此,这种调整优选地应该以自动方式执行。自动照明控制方法可以基于数据库和查找表来工作,以使滤波器设置与弧光灯和滤波器兼容。然而,为查找表和数据库生成数据非常耗时,并且需要在更改诸如光源等硬件时进行调适。此外,此类方法无法充分利用现代固态荧光光源(照明器)的精细和特定于波长的调整可能性的全部潜力。
实现自动照明控制的一种优选方式是使用迭代法。然而,对于这种迭代法的快速收敛,即快速达到照明强度的最终设置,好的起始点对于迭代法是必不可少的。
为了克服这些问题,根据本发明实施例的控制系统被配置为在光路径中改变后自动确定至少一个光源的照明强度的控制值,以便达到表征样本检查的检查参数的期望值。优选地,控制系统被配置为自动检测光路径中的所述改变,例如,通过在物镜转台等处的一个或多个传感器。所述检查参数特别地基于或包括在样本处的期望的照明强度。此外,所述检查参数可以基于或包括所述至少一个检测器检测到的样本的期望的成像强度。所述检查参数的期望值特别是用户希望对样本进行检查的值;例如,这样的期望值与改变之前使用或设置的值相同。然而,也可以选择或使用任何其他值。在检测器单元检测到的样本的成像强度的所述期望值可以基于针对至少一个荧光团从检测器检测到的光子统计得到的值来定义,例如,在至少一个检测器处的信噪比。优选地,控制系统还根据确定的用于照明强度的控制值自动调适至少一个光源的照明强度。这特别是通过调适提供给至少一个光源的电功率来执行的。
进一步地,所述确定用于所述至少一个光源的照明强度的控制值是基于在光路径中的改变之前设置的照明强度的值、基于在照明路径中的改变之前使用的检查参数的值、以及基于光路径的物理模型。此物理模型将至少一个光源的照明强度映射或关联到检查参数,同时考虑到光路径中光学组件的成像特性。
在物理模型中可以考虑到不同种类的这种成像特性。优选地,这些包括以下的组中的至少一个:物镜的放大倍率,物镜的透射率,物镜的数值孔径,浸没介质的折射率,中间图像中的照明场光阑的面积,总光瞳面积,物镜处的受照明光瞳面积,以及系统光学组件的放大倍率和/或焦距的比率。后者可以包括例如放大倍率改变器,相机适配器,焦距照明模块等。
本发明的实施例利用基于第一性原理光学数据来实现这样的物理模型,以便从改变之前已知的数据,即当前照明强度以及图像亮度和基本光学数据计算物镜改变等之后的预期图像强度和/或照明强度。特别是,这可用于在物镜改变后为自动(迭代)的照明调整生成足够的起始点,从而导致更快的收敛。
下面将简要描述所述物理模型,并且在附图的描述中以及关于附图更详细地描述。例如,对于落射荧光宽场显微镜,入射到物镜光瞳上的光的照明功率散布在照明的光瞳区域上,所述物镜光瞳在落射照明的情况下用作聚光光瞳。入射在样本上的功率是物镜的透射率乘以物镜的光瞳面积与受照明光瞳面积的比值。可以假设物镜具有一定的放大倍率,并且可以被设计用于具有一定折射率的浸没介质。这允许确定样本中的强度。
如果改变物镜时应保持样本的光胁迫恒定,则相应地调适光源的照明功率。假设只能改变(功率线性化的)光源的驱动电流,而不能改变光源的光谱,则可以很容易地推导出新的驱动电流。
如果在至少一个检测器中检测到的强度(图像强度)应保持恒定,则可以确定检测到的立体角和(由于荧光发射的各向同性而导致的)采集的荧光量。假设以类似于当改变物镜时的照明场光阑的缩小的改变的方式改变了阵列检测器的像素区域到样本中的缩小,这两个区域效应相互抵消,而剩下的影响所检测到的每像素的荧光强度的仅有因子是渐晕和立体角。如果像素区域的缩小因子独立于照明场光阑的缩小而改变,例如在放大倍率改变器的情况下,此因子也可以很容易地以相应区域放大倍率的形式并入模型中。
虽然常数因子和透射因子可以忽略不计,但通过从荧光团光谱数据以及光学系统的透射、照明和灵敏度光谱重新计算交叉激发和交叉发射重叠积分,很容易包括透射效应。
这允许在物镜改变之后或甚至在这种改变期间确定照明强度或光源的新的且非常好的值。如上所述,此值优选地用作迭代法中的起始值或点,以甚至更好地调适照明强度以实现检查参数的期望值。如果起始值已经满足迭代法的收敛标准,则可能完全省略迭代。
在这样的迭代法中,照明强度的值优选地连续改变,直到例如样本处的照明或成像强度的指定目标值(例如,经由每个荧光团的信噪比)达到(或满足收敛标准)。在此种迭代法中改变照明强度包括增加或也包括降低照明强度。
虽然在典型的迭代法中,照明强度的初始值或起始值被设置为例如零或在目标改变之前使用的值,但所提出的物理模型允许生成非常接近于最终值的起始值;因此,迭代法收敛得很快。这减少了所需的迭代步骤的数量。在成像强度作为检查参数的情况下,尤其可以直接在至少一个检测器处检测图像强度。在样本处的照明强度作为检查参数的情况下,至少一个检测器处的图像强度也可以被检测并用于(如果需要,重新计算)以确定照明强度的相关值。在交叉发射的情况下,每个荧光团的成像强度可以通过从采集的数据中解混合来重建(交叉发射,另见下文)。
在优选实施例中,使用具有至少两个光源的荧光显微镜,所述至少两个光源用于刺激样本中至少两个荧光团中的不同荧光团的,所述至少两个光源被配置为单独改变照明强度。然后,配置对应的控制系统,用于在光路径中的改变后,自动确定用于至少两个光源中的每一光源的照明强度的控制值。然后,所述物理模型可以用于具有相应单独参数如照明强度的每个光源。单独确定用于至少两个光源中的每一光源的照明强度的控制值的优选方式是通过确定样本中的至少两个荧光团的交叉激发和/或交叉发射以考虑激发和/或检测中的串扰效应。检测器中的这种串扰效应允许非常准确地确定所需的强度。
在此方面,要注意的是,对于至少两个检测器,根据分配给某个荧光团的每个检测器由于其灵敏度光谱而在一定程度上也检测来自其他荧光团的荧光辐射。可以考虑这种交叉发射通过确定光源的照明强度的设置期间的串扰程度来考虑。以类似的方式,某个激发波长通常不仅会激发指定的荧光团,而且在一定程度上也会激发其他荧光团;这称为交叉激发。
包括具有相应的检测光谱的检测器,具有相应的光源光谱的光源和具有相应的激发和发射光谱的荧光团的系统的交叉激发和交叉发射可以根据预先已知的光谱数据来先验地确定,例如,根据系统设计数据,并且校准测量以及光源光谱和激发光谱的适当重叠积分的连续计算产生交叉激发矩阵和检测光谱和发射光谱的矩阵元素,以产生交叉发射矩阵的矩阵元素。可替代地,可以使用系统上的单个标记样本执行控制测量,并且可以从这些控制(测量)中得出相应的矩阵元素。
如上所述,本发明的实施例还涉及一种用于自动确定荧光显微镜的照明强度的方法。对于任何进一步的细节,该方法的优选实施例和优点参考上面的注释,它们对应地适用于本文。
本发明还涉及一种根据本发明实施例的具有程序代码的计算机程序,当该计算机程序在一个或多个处理器上或控制系统上运行时,该计算机程序用于执行根据本发明的方法。
本发明的进一步优点和实施例将从描述和附图中变得显而易见。
应该注意的是,前面提到的特征和下面将要进一步描述的特征不仅可以在相应指出的组合中使用,而且可以在进一步的组合中或单独使用,而不脱离本发明的范围。
附图说明
图1示意性地示出了根据本发明的优选实施例的显微镜系统;
图2示意性地示出了根据本发明的进一步优选实施例的显微镜系统;
图3示出了根据本发明的优选实施例的方法的流程图。
具体实施方式
图1非常示意性地示出了显微镜系统102,其包括根据本发明的优选实施例的荧光显微镜100,其例如具有用于激发波长的光源120k。有利地,此光源是具有对应光谱的LED或激光器,必要时具有能够在下游连接的滤光器。原则上,也可以使用宽带光源,可以通过滤光轮或滤光载波片从该宽带光源的光谱中滤出期望的激发波长。
如图1中所示,光源120k发射照明光,该照明光沿着照明光束路径164,被引导到显微镜100的物镜160m中。在其到达物镜160m的途中,照明光束路径164穿过会聚透镜122、具有面积ALF的照明场光阑124、具有光瞳照明直径2rLF的聚光透镜126,然后在光谱分束器元件166上反射。此光谱分束器元件166优选为二向色元件,其偏转相关的激发波长,并且对于对应的荧光辐射是透明的。荧光显微镜的光学细节在图1中仅非常示意性地示出,因为它们在现有技术中已经充分地熟知。
物镜160m具有半径为fref·NAmm(基准焦距fref,数值孔径NAm和放大倍率βm)的光瞳132,透射率Tm和浸没折射率nm。照明光束路径164经由物镜160m被引导到样本110上,并且激发位于其中的荧光团130以发射荧光辐射。照明光束路径的受照明物场134具有面积AI。所发射的荧光辐射经由物镜160m、管透镜136以及根据需要的任何其他光学成像元件而成像在检测器140上。落在检测器上的检测光束路径用168表示。
照明强度或亮度Pk(λ)(“照明功率”)以及因此光源120k的发射功率可以被单独设置。提供了控制系统150,其被配置为设置该照明强度。此外,控制系统150与用于设置光源的照明强度的装置通信或操作连接。检测器140检测样本110的记录图像中的相应荧光团130的分布,并且因此检测图像强度B。控制系统150与检测器140通信或操作连接,以便能够记录对应于图像强度的信号。
当使用荧光显微镜100时,可以通过控制系统150将光源的照明强度Pk(λ)设置为期望值。在多于一个光源的情况下(也参见图2),对于例如,这可以是以这样的方式:为每个可区分的荧光团设置信噪比的预定义设定点值。可以考虑到以下情况:由未直接分配给它的荧光团的其他发射光谱而导致的来自检测器的串扰,以及由未直接分配给它的光源的其他照明光谱所考虑到的荧光团的交叉激发。
除了布置在光路径(包括照明光束路径164和成像光束路径168)中的物镜160m之外,在荧光显微镜100中还提供了进一步的物镜160m+1,例如连同物镜160m一起布置在转台162或其他物镜改变机制上。物镜160m+1具有半径为fref·NAm+1m+1(基准焦距fref,数值孔径NAm+1和放大倍率βm+1)的光瞳,透射率Tm+1和浸没折射率nm+1
取决于检查和/或成像要求,用户可能会在检查期间改变物镜,即,将物镜160m从光路径中移除并且将物镜160m+1移动到光路径中。如上所述,物镜的改变通常要求调适照明强度,以实现样本110处的期望照明强度和/或检测器140处的期望成像强度。
需要注意的是,用户的典型要求是光源的照明强度,使得样本处的照明强度或成像强度等于(或尽可能接近于)在物镜改变前使用的值。然而,也可能使用不同的期望值,可能是改变前的值的某个范围,例如该值的+/-10%或+/-5%,或者可能是完全不同的值。确定所要求的照明强度和调整光源的照明强度(或功率)是自动执行的,并且通过控制系统150。可以例如通过输入期望值(经由用户界面等)或随着物镜的改变/在物镜的改变之后(特别是当成像强度的期望值等于之前使用的值时)自动地开始该调适过程。
下面,将基于图1的荧光显微镜100及其参数以及上文解释的光路径中的相应光学组件的成像特性来解释本发明构思中使用的物理模型。例如,对于落射荧光(epifluorescence)宽场显微镜,入射到物镜光瞳上的来自光源120k(或k)并且针对波长λ的照明功率Pk(λ)散布在受照明光瞳面积AI上,所述物镜光瞳在落射照明的情况下用作聚光光瞳。
入射在样本110上的功率从而是物镜160m(或m)的透射率Tm(λ)乘以光瞳面积与所述受照明光瞳面积的比值,其中-不失一般性-可以假设物镜光瞳132被均匀地照明,否则该比值应该被替代为重叠积分。假设物镜具有相对于基准焦距fref和数值孔径NAm的放大倍率βm,并且被设计用于折射率为nm的浸没介质。
假设中间图像中的半径为rLF(直径为2rLF)的均匀光瞳照明以及面积为ALF的照明场光阑,则样本中的以物镜m的强度Im
Figure BDA0003657063210000071
在该公式中,第一项是照明场光阑的缩小,第二项是渐晕(vignetting),第三项是物镜的透射率。例如,如果意图在改变物镜时保持样本的光胁迫(light stress)(即样本处的照明强度)恒定,则必须调适光源k的照明强度或功率,使得Im=Im+1。这里,Im+1是以物镜160m+1(或m+1)在样本处或样本中的强度;因此,在上述公式中,用于物镜160m的值必须被替代为用于物镜160m+1的相应值,以确定照明强度Im+1
假设无法改变光谱而只能改变光源的(功率线性化的)驱动电流,则在使用物镜160m+1的情况下与新的照明强度对应的用于光源120k的新驱动电流Pk,m+1(控制值)为
Figure BDA0003657063210000072
其中电流Pk,m是用于光源120k和物镜160m的驱动电流(控制值)。请注意,以这种方式确定的光源的驱动电流Pk,m或对应的照明强度通常会使得样本处的照明强度非常接近于期望值,例如物镜改变前的值;该值可用作设置光源的控制值。然而,可能会有一些小的偏差。
因此,在优选实施例中,如前所述,以此方式确定的值Pk,m可以用作迭代法中的起始点或起始值,以确定允许实现样本处的更好照明强度的最终控制值。在这种迭代法中,可以设置通过物理模型确定的照明强度或功率的起始值;然后,确定样本处的相应照明强度或(检测器处的)相应成像强度。取决于此值与期望值之间的差,可以进一步调整照明强度。
可以重复这些步骤,直到实现样本处的照明强度或成像强度的期望值,或者直到所实现的值与期望值的偏差小于预定阈值。
使用这种物理模型的特别优点是可以以非常有效的方式考虑到影响样本处照明强度的光学组件的许多参数。从这种确定或计算得到的值是用于迭代法的更好的起始点,例如与在物镜改变之前使用的值相比(即,起始点更接近于最终值)。因此,该用于确定最终控制值的迭代法与不使用这种物理模型相比,收敛速度快得多。由于该迭代法通常要求迭代改变的光源的照明强度和随后的检测,因此物理模型的使用导致更少的能量消耗和更少的非期望样本照射。
在另一实施例中,在检测器处检测到的图像的强度(图像强度)应在物镜改变后具有期望值(例如,保持恒定)。因此,信噪比也必须具有特定值,例如,必须保持恒定(由于视场的改变,这可以仅在统计基础上考虑,诸如直方图数据)。然后,所检测到的立体角以及由于荧光发射的各向同性而导致的针对物镜160m采集的荧光量由以下公式给出:
Figure BDA0003657063210000081
在该公式中,通过将立体角限制为2π,排除了超临界角荧光。考虑到以类似于当改变物镜时的照明场光阑的缩小的改变的方式改变了阵列检测器的像素区域到样本中的缩小,这两个区域效应相互抵消,而剩下的影响所检测到的每像素的荧光强度βm的仅有因子是渐晕和立体角,使得
Figure BDA0003657063210000082
请注意,这里忽略了常数因子和透射因子。通过从荧光团光谱数据以及光学系统的透射、照明和灵敏度光谱重新计算交叉激发和交叉发射重叠积分,可以很容易地包括透射效应。与样本处的照明强度的情况相似,在使用物镜160m+1的情况下对应于新成像强度的用于光源120k的新驱动电流Pk,m+1
Figure BDA0003657063210000091
其中电流Pk,m是针对光源120k和物镜160m的驱动电流。与上文解释的样本处的照明强度的情况相似,以这种方式实现的值通常非常准确。然而,可以使用迭代方法以获得更好的最终控制值。
图2示意性地示出了根据本发明的进一步优选实施例的包括荧光显微镜200的显微镜系统202。荧光显微镜200基本上对应于图1的荧光显微镜100。然而,荧光显微镜200例如包括在公共的灯罩120中的用于两种不同激发波长的两个光源120k、120k+1。换言之,除了荧光显微镜100中的一个光源之外,还具有进一步的光源120k+1。另外,光源120k+1可以改变照明强度;这特别是独立于光源120k。光路径164、168对于所有光源是共用的。使用多个光源允许同时地设置它们的照明强度,从而不需要顺序操作或顺序设置。
此外,样本110包括两个荧光团,表示为130j、130j+1(而在图1中,仅使用了附图标记130)。每个荧光团将被不同的激发波长激发。此外,检测成像强度Bi、Bi+1的两个(单独的)检测器140i、140i+1被设置在例如公共外壳142中。虽然在此示例中示出了两个光源、两个荧光团和两个检测器,但是取决于用户或实验的具体需求或能力,也可以使用这些部件中的每种部件的多于两个。请注意,光源、荧光团和检测器的数量不一定必须与其他部件的数量相对应。
可以为每个发射激发波长的光源分配对应的荧光团,荧光团进而发射荧光辐射,荧光辐射进而被对应的检测器检测到。因此,检测器被分配给可区分的荧光团中的每一个。
对于光源中的每一个,可以通过物理模型,如上文针对单个光源所解释的那样单独确定在物镜改变(或光路径中的其他改变)之后的相应照明强度。特别地,可以如上所述地考虑激发和/或检测中的串扰效应。
图3通过流程图示出了根据本发明优选实施例的方法,在该方法中,将调整如图1所示的荧光显微镜100的光源的照明强度。在步骤300中,通过使用物镜m和特定值Pk,m作为用于光源的控制值(驱动电流),执行样本的检查;这对应于光源的照明强度Pk的特定值。因此,样本处的照明强度I(检查参数)应具有值I=Im
在步骤302中,物镜m(160m)与物镜m+1(160m+1)交换。在该交换之后或者也在该交换期间,在步骤304中,确定用于光源的新控制值Pk,m+1(驱动电流),其导致非常接近于物镜的改变之前的值Im的样本处的照明强度I的值。这通过使用如上面关于图1所解释的物理模型M来执行。特别地,考虑到光路径中存在的光学组件的成像特性(并且其可能随着物镜的改变而改变)。
根据公式
Figure BDA0003657063210000101
其中
Im=FmPk,m
来确定和设置新的控制值Pk,m+1。如上所述,此新的控制值导致接近于物镜的改变之前的值Im的样本处的照明强度I。
为了更好地调整控制值——并且为了实现更接近于值Im或任何其他期望值的样本处的照明强度I——在步骤306中执行迭代法。这种迭代法包括稍微改变控制值,并且观察所导致的样本处的照明强度I。这种迭代法的示例可以在涉及数值优化的文献中找到,其中,例如牛顿法或拟牛顿法特别容易适应当前模型。重复这些步骤,直到样本处的照明强度I已经达到期望值I=Im+1;视情况而定,如果实现了值的小范围,例如+/-5%,则可以认为实现了这样的期望值。然后设置对应的最终控制值P′k,m+1,以便提供光源的对应的照明强度。这允许利用已经改变的物镜进行进一步检查,而样本处的照明强度(几乎)恒定。
如本文所用,术语“和/或”包括一个或多个相关列出的项目的任何和所有组合,并且可以缩写为“/”。
尽管已经在装置的上下文中描述了一些方面,但显然这些方面也代表了对于对应方法的描述,其中块或设备对应于方法步骤或方法步骤的特征。类似地,在方法步骤的上下文中描述的方面也表示对应装置的对应块或项目或特征的描述。
一些实施例涉及包括结合图1至3的一个或多个所描述的系统的显微镜。可替代地,显微镜可以是结合图1至3的一个或多个所描述的系统的一部分或连接到该系统。图1示出了系统102的示意图,该系统102被配置为执行本文所述的方法。系统102包括显微镜100和计算机系统(或控制系统)150。显微镜100被配置为拍摄图像并连接到计算机系统150。计算机系统150被配置为执行本文所述方法的至少一部分。计算机系统150可以被配置为执行机器学习算法。计算机系统150和显微镜100可以是单独的实体,但也可以一起集成在一个共同的外壳中。计算机系统150可以是显微镜100的中央处理系统的一部分和/或计算机系统150可以是显微镜100的子组件的一部分,诸如显微镜100的传感器、致动器、相机或照明单元等。
计算机系统150可以是具有一个或多个处理器和一个或多个存储设备的本地计算机设备(例如个人计算机,笔记本电脑,平板计算机或移动电话),或者可以是分布式计算机系统(例如具有一个或多个处理器和分布在各个位置的一个或多个存储设备的云计算系统,例如,在本地客户端和/或一个或多个远程服务器群和/或数据中心)。计算机系统150可以包括任何电路或电路组合。在一个实施例中,计算机系统150可以包括一个或多个可以是任何类型的处理器。如本文所用,处理器可以指任何类型的计算电路,诸如但不限于例如显微镜或显微镜组件(例如相机)或任何其他类型的处理器或处理电路的微处理器,微控制器,复杂指令集计算(CISC)微处理器,精简指令集计算(RISC)微处理器,非常长的指令字(VLIW)微处理器,图形处理器,数字信号处理器(DSP),多核处理器,现场可编程门阵列(FPGA)。可以包括在计算机系统150中的其他类型的电路可以是定制电路,专用集成电路(ASIC)等,诸如例如一个或多个电路(诸如通信电路)用于移动电话,平板电脑,笔记本电脑,双向无线电和类似电子系统等无线设备。计算机系统150可以包括一个或多个存储设备,其可以包括一个或多个适用于特定应用的存储器元件,诸如随机存取存储器(RAM)形式的主存储器,一个或多个硬盘驱动器和/或一个或多个处理诸如光盘(CD),闪存卡,数字视频磁盘(DVD)等可移动介质的驱动器。计算机系统150还可以包括显示设备,一个或多个扬声器以及键盘和/或控制器,该键盘和/或控制器可以包括鼠标,轨迹球,触摸屏,语音识别设备或任何其他允许系统用户向计算机系统150输入信息和从计算机系统150接收信息的设备。
一些或所有方法步骤可以通过(或使用)硬件装置来执行,例如处理器,微处理器,可编程计算机或电子电路。在一些实施例中,一些一个或多个最重要的方法步骤可以由这样的装置执行。
取决于某些实施要求,本发明的实施例可以以硬件或软件来实施。可以使用非暂时性存储介质来执行该实施,诸如数字存储介质,例如软盘,DVD,蓝光,CD,ROM,PROM和EPROM,EEPROM或FLASH存储器,其上存储有电子可读控制信号,其与可编程计算机系统协作(或能够协作)以执行相应的方法。因此,数字存储介质可以是计算机可读的。
根据本发明的一些实施例包括具有电子可读控制信号的数据载体,其能够与可编程计算机系统协作,从而执行本文描述的方法之一。
通常,本发明的实施例可以实现为具有程序代码的计算机程序产品,当计算机程序产品在计算机上运行时,该程序代码可操作用于执行方法之一。例如,程序代码可以存储在机器可读载体上。
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
换言之,因此,本发明的实施例是具有程序代码的计算机程序,该程序代码用于当计算机程序在计算机上运行时执行本文描述的方法之一。
因此,本发明的进一步实施例是一种存储介质(或数据载体,或计算机可读介质),其包括存储在其上的计算机程序,用于在由处理器执行时执行本文所述的方法之一。数据载体,数字存储介质或记录介质通常是有形的和/或非暂时的。本发明的进一步实施例是如本文所述的装置,包括处理器和存储介质。
因此,本发明的进一步实施例是表示用于执行本文所述方法之一的计算机程序的数据流或信号序列。数据流或信号序列可以例如被配置为经由数据通信连接,例如经由互联网传送。
进一步实施例包括处理装置,例如计算机或可编程逻辑器件,其被配置为或适用于执行本文描述的方法之一。
进一步实施例包括其上安装有用于执行本文所述方法之一的计算机程序的计算机。
根据本发明的进一步实施例包括一种装置或系统,其被配置为将用于执行本文描述的方法之一的计算机程序(例如,电子地或光学地)传送到接收器。例如,接收器可以是计算机,移动设备,存储设备等。例如,该装置或系统可以包括用于将计算机程序传送到接收器的文件服务器。
在一些实施例中,可编程逻辑器件(例如,现场可编程门阵列)可用于执行本文描述的方法的一些或所有功能。在一些实施例中,现场可编程门阵列可以与微处理器协作以执行本文描述的方法之一。通常,这些方法优选地由任何硬件装置来执行。
参考标号列表
100,200 荧光显微镜
102,202 显微镜系统
110 样本
120 光源外壳
120k,120k+1 光源
122 会聚透镜
124 照明场光阑
126 聚光透镜
130,130j,130j+1 荧光团
132 物镜的光瞳
134 受照明物场
136 管透镜
140 检测器外壳
140,140i,140i+1 检测器
150 控制系统
160m,160m+1 物镜
162 物镜改变机制
164 照明光束路径
168 成像光束路径
ALF 视场光阑的面积
AI 受照明物场的面积
2rLF 光瞳照明直径
Tm 透射率
βm 放大倍率
NAm 数值孔径
fref 基准焦距
nm 浸没折射率
Pk(λ),Pk+1(λ) 照明强度
B,Bi,Bi+1 图像强度
300-308 方法步骤

Claims (20)

1.一种用于自动确定荧光显微镜(100)的至少一个光源(120k,120k+1)的照明强度(Pk,Pk+1)的控制系统(150),所述至少一个光源(120k,120k+1)用于刺激样本(110)中的至少一个荧光团(130,130j,130j+1),所述至少一个光源(120k,120k+1)被配置为改变所述照明强度(Pk,Pk+1),并且所述显微镜(100)具有至少一个检测器(140,140i,140i+1),所述至少一个检测器(140,140i,140i+1)用于检测所述样本(110)的图像强度(B,Bi,Bi+1),所述控制系统(150)被配置为:
在光路径(164,168)中的改变(302)之后,自动确定(304)用于所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)的控制值(Pk,m+1),以实现表征样本检查的检查参数(I,B,Bi,Bi+1)的期望值(Im+1),其中所述光路径包括以下中的至少一个:从所述至少一个光源(120k,120k+1)到所述样本(110)的照明路径(164),以及从所述样本(110)到所述至少一个检测器(140,140i,140i+1)的成像路径(168),
其中确定(304)用于所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)的所述控制值(Pk,m+1)是基于在所述光路径(164,168)中的所述改变(302)之前设置的所述照明强度(Pk,,Pk+1)的值(Pk,m)、基于在所述光路径中的所述改变(302)之前使用的所述检查参数(I,B,Bi,Bi+1)的值(Im)、以及基于所述光路径(164,168)的物理模型(M),所述物理模型(M)在考虑到所述光路径(164,168)中的光学组件(124,132,160m,160m+1)的成像特性的情况下将所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)映射到所述检查参数(I,B,Bi,Bi+1)。
2.根据权利要求1所述的控制系统(150),进一步被配置为:基于迭代法(306)确定用于所述照明强度(Pk,Pk+1)的最终控制值(P'k,m+1),在所述最终控制值(P'k,m+1)处实现了所述检查参数(I,B,Bi,Bi+1)的期望值(Im+1),其中基于所述物理模型(M)确定的所述控制值(Pk,m+1)被用作所述迭代法(306)中的起始值。
3.根据权利要求1或2所述的控制系统(150),其中在所述物理模型中所考虑的所述光路径中的光学组件(124,132,160m,160m+1)的成像特性包括以下组中的至少一个:物镜(160m,160m+1)的放大倍率(βm),物镜(160m,160m+1)的透射率(Tm),物镜(160m,160m+1)的数值孔径(NAm),浸没介质的折射率(nm),中间图像中的照明场光阑(124)的面积(ALF),以及在物镜(160m,160m+1)处总光瞳面积与照明光瞳面积的比值,系统光学组件的放大倍率,以及系统光学组件的焦距。
4.根据前述权利要求中任一项所述的控制系统(150),其中,所述检查参数是基于或包括所述样本(110)处的期望照明强度(I)。
5.根据前述权利要求中任一项所述的控制系统(150),其中,所述检查参数是基于或包括在所述至少一个检测器(140,140i,140i+1)处检测到的所述样本(110)的期望成像强度(B,Bi,Bi+1)。
6.根据权利要求5所述的控制系统(150),其中在所述至少一个检测器(140,140i,140i+1)处检测到的所述样本(110)的成像强度的所述期望值(B,Bi,Bi+1)是基于以下值来定义的:所述值是从在所述检测器(140)处针对所述至少一个荧光团(130,130j,130j+1)检测到的光子统计得出的。
7.根据前述权利要求中任一项所述的控制系统(150),其中,所述检查参数的所述期望值(Im+1)偏离在所述照明路径(164,168)中的所述改变之前使用的所述检查参数的所述值(Im)不超过10%,优选为不超过5%,更优选为所述检查参数的所述期望值等于在所述照明路径(164,168)中的所述改变之前使用的所述检查参数的所述值。
8.根据前述权利要求中任一项所述的控制系统(150),其中,所述光路径(164,168)中的所述改变(302)包括所述显微镜(100)的当前布置在所述光路径(164,168)中的物镜(160m,160m+1)的改变。
9.根据前述权利要求中任一项所述的控制系统(150),用于自动确定所述荧光显微镜(100)的至少两个光源(120k,120k+1)的照明强度(Pk,Pk+1),所述至少两个光源(120k,120k+1)用于刺激所述样本(110)中的至少两个荧光团(130j,130j+1)中的不同荧光团,所述至少两个光源(120k,120k+1)被配置为单独改变所述照明强度(Pk,Pk+1),所述控制系统(150)进一步被配置为:在所述光路径(164,168)中的所述改变之后,单独地自动确定用于所述至少两个光源(120k,120k+1)中的每一光源的所述照明强度(Pk,Pk+1)的控制值。
10.根据权利要求9所述的控制系统(150),其中,单独地确定用于所述至少两个光源(120k,120k+1)中的每一光源的所述照明强度(Pk,Pk+1)的所述控制值进一步包括:确定以下中的至少一个:所述样本(110)中的所述至少两个荧光团(130j,130j+1)的交叉激发和交叉发射,以考虑激发和检测中的至少一个中的串扰效应。
11.根据前述权利要求中任一项所述的控制系统(150),进一步被配置为:自动检测所述光路径(164,168)中的所述改变(302)。
12.根据前述权利要求中任一项所述的控制系统(150),进一步被配置为:根据所确定的用于所述照明强度的控制值(Pk,m+1),特别是通过调适提供给所述至少一个光源(120k,120k+1)的电功率,自动调适所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)。
13.根据权利要求12所述的控制系统(150),被配置为:根据所确定的用于所述照明强度的控制值(Pk,m+1),通过调适提供给所述至少一个光源(120k,120k+1)的电功率,自动调适所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)。
14.一种显微镜系统(102),包括荧光显微镜(100)和根据前述权利要求中任一项所述的控制系统(150),所述荧光显微镜(100)包括:至少一个光源(120k,120k+1),所述至少一个光源(120k,120k+1)被配置为用于刺激样本(110)中的至少一个荧光团(130,130j,130j+1),并且被配置为改变照明强度(Pk,Pk+1),以及至少一个检测器(140,140i,140i+1),所述至少一个检测器(140,140i,140i+1)被配置为用于检测所述样本(110)的图像强度,以及根据前述权利要求中任一项所述的控制系统(150)。
15.根据权利要求14所述的显微镜系统(102),其中,所述荧光显微镜(100)被配置为落射荧光显微镜。
16.一种用于自动确定荧光显微镜(100)的至少一个光源(120k,120k+1)的照明强度(Pk,Pk+1)的方法,所述至少一个光源(120k,120k+1)用于刺激样本中的至少一个荧光团(130,130j,130j+1),所述至少一个光源(120k,120k+1)被配置为改变所述照明强度(Pk,Pk+1),并且所述显微镜(100)具有至少一个检测器(140,140i,140i+1),所述至少一个检测器(140,140i,140i+1)用于检测所述样本(110)的图像强度(B,Bi,Bi+1),所述方法包括:
在光路径(164,168)中的改变(302)之后,确定(304)用于所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)的控制值(Pk,m+1),以实现表征样本检查的检查参数(I)的期望值(Im+1),其中所述光路径包括以下中的至少一个:从所述至少一个光源(120k,120k+1)到所述样本(110)的照明路径(164),以及从所述样本(110)到所述至少一个检测器(140,140i,140i+1)的成像路径(168),
其中确定(304)用于所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)的所述控制值(Pk,m+1)是基于在所述光路径(164,168)中的所述改变(302)之前设置的所述照明强度的值(Pk,m)、基于在所述光路径(164,168)中的所述改变(302)之前使用的所述检查参数的值(Im)、以及基于所述光路径(164,168)的物理模型(M),所述物理模型(M)在考虑到所述光路径(164,168)中的光学组件(124,132,160m,160m+1)的成像特性的情况下将所述至少一个光源(120k,120k+1)的所述照明强度(Pk,Pk+1)映射到所述检查参数。
17.根据权利要求16所述的方法,进一步包括:基于迭代法确定用于所述照明强度(Pk,Pk+1)的最终控制值(P'k,m+1),在所述最终控制值(P'k,m+1)处实现了所述检查参数的期望值,其中基于所述物理模型确定的所述控制值(Pk,m+1)被用作所述迭代法中的起始值。
18.根据权利要求16或17所述的方法,其中,所述光路径(164,168)的所述改变包括所述显微镜(100)中的当前布置在所述光路径(164,168)中的物镜(160m,160m+1)的改变。
19.根据权利要求16至18中任一项所述的方法,使用落射荧光显微镜。
20.一种具有程序代码的计算机程序,所述程序代码用于当所述计算机程序在一个或多个处理器或如权利要求1至13中任一项所述的控制系统(150)上运行时执行如权利要求16至19中任一项所述的方法。
CN202210562241.XA 2021-05-21 2022-05-23 用于确定荧光显微镜中的照明强度的控制系统和方法及对应的显微镜系统 Pending CN115390230A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP21175391.8A EP4092465A1 (en) 2021-05-21 2021-05-21 Control system and method for determining an illumination intensity in a fluorescence microscope and corresponding microscope system
EP21175391.8 2021-05-21

Publications (1)

Publication Number Publication Date
CN115390230A true CN115390230A (zh) 2022-11-25

Family

ID=76059806

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210562241.XA Pending CN115390230A (zh) 2021-05-21 2022-05-23 用于确定荧光显微镜中的照明强度的控制系统和方法及对应的显微镜系统

Country Status (4)

Country Link
US (1) US20220373464A1 (zh)
EP (1) EP4092465A1 (zh)
JP (1) JP2022179452A (zh)
CN (1) CN115390230A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4725720A (en) * 1985-05-27 1988-02-16 Mitutoyo Manufacturing Co., Ltd. Microscope with auto focus and light adjusting means
JP3458002B2 (ja) * 1994-07-06 2003-10-20 オリンパス光学工業株式会社 共焦点顕微鏡
JP2005250151A (ja) * 2004-03-04 2005-09-15 Olympus Corp 顕微鏡装置、その調光方法、及びその調光プログラム
EP3514600A1 (en) * 2018-01-19 2019-07-24 Leica Instruments (Singapore) Pte. Ltd. Method for fluorescence intensity normalization

Also Published As

Publication number Publication date
EP4092465A1 (en) 2022-11-23
JP2022179452A (ja) 2022-12-02
US20220373464A1 (en) 2022-11-24

Similar Documents

Publication Publication Date Title
US11852590B1 (en) Systems and methods for metrology with layer-specific illumination spectra
CA2690633C (en) Method and system for standardizing microscope instruments
US8809809B1 (en) Apparatus and method for focusing in fluorescence microscope
TWI728197B (zh) 整合至一計量及/或檢測工具中之製程模組
TWI685652B (zh) 用於判定晶圓上缺陷之資訊之系統及方法
US7817335B2 (en) Microscope apparatus
JP2011186182A (ja) 顕微鏡装置
US11215806B2 (en) Method for imaging a sample by means of a microscope and microscope
CN115390230A (zh) 用于确定荧光显微镜中的照明强度的控制系统和方法及对应的显微镜系统
WO2017217325A1 (ja) データ復元装置、顕微鏡システム、およびデータ復元方法
CN116348800A (zh) 用于在荧光显微镜中进行照明设定的方法和相应的荧光显微镜
US20180299324A1 (en) Filter Assembly for Providing Adjustable Spectral Capabilities in a Broadband Inspection System
JP2023518448A (ja) 蛍光顕微鏡および物体をイメージングする方法
JP7330260B2 (ja) ランプハウス補正を備えるプラズマ源
TW202239968A (zh) Merfish成像系統的標準化
EP4092466A1 (en) Method for obtaining an operating value of an illumination parameter for examining a fluorescent sample, method for examining a fluorescent sample, microscope system and computer program
FI125682B (en) Apparatus and method for measuring an optical component
JP2020051954A (ja) 試料撮影装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination