CN116337755A - 用于定位样品的方法和系统 - Google Patents

用于定位样品的方法和系统 Download PDF

Info

Publication number
CN116337755A
CN116337755A CN202211619023.1A CN202211619023A CN116337755A CN 116337755 A CN116337755 A CN 116337755A CN 202211619023 A CN202211619023 A CN 202211619023A CN 116337755 A CN116337755 A CN 116337755A
Authority
CN
China
Prior art keywords
sample
image
aperture
light
objective lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211619023.1A
Other languages
English (en)
Inventor
A·格雷诺夫
M·严
M·布拉德利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thermo Electron Scientific Instruments LLC
Original Assignee
Thermo Electron Scientific Instruments LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thermo Electron Scientific Instruments LLC filed Critical Thermo Electron Scientific Instruments LLC
Publication of CN116337755A publication Critical patent/CN116337755A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/2823Imaging spectrometer
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/02Details
    • G01J3/0205Optical elements not provided otherwise, e.g. optical manifolds, diffusers, windows
    • G01J3/0237Adjustable, e.g. focussing
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N21/359Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using near infrared light
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/40Optical focusing aids
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/28Investigating the spectrum
    • G01J3/42Absorption spectrometry; Double beam spectrometry; Flicker spectrometry; Reflection spectrometry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0106General arrangement of respective parts
    • G01N2021/0112Apparatus in one mechanical, optical or electronic block
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/35Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light
    • G01N2021/3595Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry using infrared light using FTIR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/65Raman scattering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/12Circuits of general importance; Signal processing
    • G01N2201/127Calibration; base line adjustment; drift compensation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biochemistry (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

描述了用于在如傅里叶变换红外(FTIR)光谱仪的光谱仪中自动地调整样品位置的方法和系统。可以使用自动聚焦程序自动地定位样品。例如,通过将光经由光圈引导向所述样品来获取包括光圈标记的图像。可以基于从所述光圈标记图像中提取的特征来调整所述样品位置。

Description

用于定位样品的方法和系统
优先权
本申请要求Grenov等人于2021年12月17日提交的题为“光谱仪的自动聚焦(Auto-focus for Spectrometers)”的美国临时专利申请63/291,217的优先权,所述申请以全文引用的方式并入本文中。
技术领域
本公开涉及光谱仪,并且更具体地说涉及用于使用自动聚焦程序在光谱仪中定位样品的方法和系统。所述系统包括光谱仪,如傅里叶变换红外(FTIR)光谱仪或拉曼光谱仪。
背景技术
如傅里叶变换红外(FTIR)光谱仪的光谱仪可以包括用于观察样品的光学显微镜。通常,样品放置到如样品架的支撑结构上,并且使用照明源,使用光(如可见光)来照亮整个或大部分样品。光学显微镜用于在照明下观测样品(或对样品进行成像)。
一旦样品的所需部分在照明下可视化或成像,就使用不同照明源,使用分析光学系统来照亮样品的感兴趣区域以进行分析。来自样品的光然后经由光学器件传输到光谱仪的检测器。通过检测来自样品的光的光谱,确定样品对不同频率的光的吸收。获取的光谱指示样品的分子“指纹”并且用于识别感兴趣区域中的样品组成。
将光学显微镜正确地聚焦在样品上提供了清晰的可视化显示,并且确保焦点在正确的位置处,用于生成由分析光学系统获取的光谱。因此,应调整样品相对于光学显微镜和分析光学系统的位置,使得焦点基本上在样品表面处。例如,可以调整样品台的z方向,以将样品表面定位成靠近光谱仪的焦点。
发明内容
在一个实施例中,成像系统包含:样品台,其用于定位样品;光圈;相机;物镜;控制器,其包括处理器和非暂时性存储器,其中通过执行存储在非暂时性存储器中的计算机可读指令,成像系统被配置成:将第一光依次通过光圈和物镜引导到样品;通过经由相机收集来自样品的光来生成包括光圈标记的第一图像;基于第一图像和预期光圈标记图像确定相似度得分;并且基于相似度得分调整物镜和样品台之间的距离。
在一些实施方案中,用于在成像系统中定位样品的方法包含:将第一光依次通过光圈和物镜引导到样品;通过经由相机收集来自样品的光来生成包括光圈标记的第一图像;基于第一图像和预期光圈标记图像确定相似度得分;和基于相似度得分调整物镜和样品之间的距离。
应理解,提供以上概述是为了以简化的形式介绍在详细描述中另外描述的一些概念。其并非打算识别所要求保护主题的关键或必需特征,所要求保护主题的范围唯一地由实施方式之后的权利要求书来界定。此外,所要求保护主题并不限于解决上文或在本公开的任何部分中指出的任何缺点的实施方案。
附图说明
图1示出了光谱仪的实例。
图2示出了用于使用自动聚焦程序来调整样品位置的实例方法。
图3A-3E是由光谱仪的相机获取的光圈标记图像的实例。
图4示出了由光谱仪的相机获取的实例图像。
图5示出了使用光谱仪的相机观察到的重像的实例。
图6是用于启动自动聚焦程序的实例用户界面。
图7是在自动聚焦程序期间的实例用户界面。
图8A和8B示出了优化过程。
图9示出了压缩室的实例示意图。
贯穿图式的若干视图,相同的附图标记指代对应部分。
具体实施方式
样品特征和组成可以使用成像系统来确定,如光谱仪,包括数字光学显微镜和分析系统。在一个实例中,光谱仪可以是傅里叶变换红外的(FTIR)。光学显微镜可用于观察样品以进行分析。光学显微镜可以捕获并显示样品图像。分析系统可用于收集从样品反射或透射的光。分析系统的检测器捕获穿过光圈的样品光,并且然后生成指示样品的分子组成的光谱。
在光谱仪中定位样品的一种方式是基于光学显微镜获取的样品图像来调整样品位置。例如,样品图像中物体(或样品特征)的清晰度可用于将样品定位在光学显微镜的焦点处。然而,申请人认识到,对于具有高反射表面的样品或具有很少物体(或无特征)的样品,基于来自光学显微镜的图像来调整样品位置可能是困难的。此外,当样品表面远离焦点时,样品图像可能是“重像”,这是具有不属于样品的的鲜明样品特征的图像。对于焦点位置调整,不能依赖重像。实例重像示于图5。图5中所示的物体(或样品特征)是从光学显微镜的组件生成的,而不是样品的视觉表示。在一个实例中,可以基于光圈标记图像来调整相对于成像系统(如光谱仪)的焦点的样品位置。为了生成光圈标记图像,第一光依次通过光圈和物镜被引导向样品。通过相机获取包括光圈标记的第一图像。基于基于第一图像和预期光圈标记图像计算的相似度得分来调整物镜和样品之间的距离。相似度得分衡量第一图像中观察到的标记和预期光圈标记图像之间的相似度。例如,相似度得分表示第一图像中观察到的光圈标记的特征与预期光圈标记图像中预期光圈标记的特征的相似度。这些特征可以包括光圈标记的形状、大小、位置和紧凑度以及取向中的一种或多种。通过计算相似度得分,提取并比较光圈标记的特征。光圈可以是分析系统的一部分。当使用分析系统获取光谱数据时,光圈限定从中获取光谱的样品区域。相机可以是用于在光学显微镜中获取样品的彩色图像的摄像机。
第一光可以具有在可见波长范围内的窄带宽(半峰全宽,或FWHM)。因而,第一图像中的光圈标记可以由单一颜色(即,单色或灰度图像)表示。在一个实例中,第一光从标记照明源生成。可以基于用于引导第一光的光圈来确定预期光圈制造机图像,包括预期光圈标记图像中预期光圈标记的大小、形状和位置。可以进一步基于成像系统的光学设置来确定预期光圈标记图像。例如,基于所使用的物镜(例如物镜的放大倍率)来确定预期光圈标记的大小。
在一个实例中,通过光谱仪的光学配置来确定光谱仪内焦点的位置。当样品定位于焦点处时,由光学显微镜获取的样品图像具有最佳分辨率,并且由分析系统获取的光谱具有最佳质量。可以通过沿着光谱仪的光轴(例如,Z轴)移动样品台来调整物镜和样品之间的距离。
基于光圈标记图像(即,第一图像)调整样品位置可以是自动聚焦程序的第一部分。在自动聚焦的第一部分期间,样品表面仅被第一光照亮。
自动聚焦程序的第一部分可以是迭代程序,其中基于相似度得分来调整物镜和样品之间的距离。在一个实例中,可以使用优化算法来调整物镜和样品之间的距离。将相似度得分提供给优化算法,并基于优化算法的输出来调整样品台位置。优化算法可以输出调整方向和调整量。
在一些实例中,在自动聚焦程序的第一部分之后,可以执行自动聚焦程序的第二部分。例如,从光学显微镜照明源生成的第二光被引导到样品并且通过光学显微镜的相机获取第二图像。基于第二图像来调整物镜和样品之间的距离。例如,可以基于在第二图像中捕获的样品特征的清晰度来调整距离。可以经由优化算法调整距离。在自动聚焦程序的第二部分中焦点位置的调整范围可以小于在自动聚焦程序的第一部分中的调整范围。这是因为自动聚焦程序的第一部分可能会使光谱仪的焦点非常接近样品表面。
自动聚焦程序可用于快速且准确地定位光谱仪相对于样品表面的焦点。自动聚焦程序的第一部分使焦点相对靠近样品的表面。接下来,在自动聚焦程序的第二部分中,接通光学显微镜使用的照明源,以进一步促进焦点的自动聚焦。第一部分提供较粗略的焦点调整,而第二部分提供较精细的焦点调整,以提供对z位置的更多细化。这允许使用FTIR光谱仪对正在分析的样品进行更快且更准确的自动聚焦。更重要的是,由于自动聚焦程序的第一部分不依赖于样品图像中观察到的样品特征,所以即使样品是无特征的、高反射性的或具有透明涂层,也可以基于所公开的方法定位样品。
尽管本文的许多实例描述了FTIR光谱仪,但也可以利用其他类型的光谱仪。例如,本文所描述的技术也可以与拉曼光谱仪或数字光学显微镜一起使用。
转向图1,该图示出了包括光学显微镜和分析系统的光谱仪的实例。在此实例中,光学显微镜包括光学显微镜照明源110、分束器111和相机180。从光学显微镜照明源生成的光(如可见光)在被分束器111反射之后被引导向物镜170。然后物镜170将光引导向定位在样品台160上的样品151。从样品反射的一部分光穿过物镜被相机180接收。照相机接收到的光还可以通过一个或多个分束器。相机180可以是摄像机或用于获取样品的图像的任何其他检测器。样品图像允许样品151的可视化。例如,可以在样品图像中观测样品表面上的特征或物体。
分析系统包括分析系统照明源130、分束器131、孔径光阑155和检测器150。从分析照明源130生成的光(如在NIR-IR波长范围内的光)依次被引导到分束器131、物镜170和样品151。从样品反射回来的光依次通过物镜170、分束器156、孔径光阑155,并且最后到达分析检测器150。孔径光阑包括可调整的光圈,其中可以通过如照明控制系统的控制器来调整光圈的大小。基于分析检测器150接收到的光谱数据,可以确定样品组成,如分子组成。孔径光阑的光圈限制了反射光可以从其中到达分析检测器的样品区域。以这种方式,孔径光阑决定了分析系统分析的样品区域的大小。换句话说,光圈决定了分析系统的空间分辨率。
光谱仪还包括标记照明源120。从标记照明源生成的光在依次通过孔径光阑155、分束器156和物镜170之后到达样品151。从样品反射的一部分光在穿过分束器156、131和111之后被相机180收集。与从光学显微镜照明源110生成的光相比,从标记照明源生成的光具有更窄的带宽。在一个实例中,由标记照明源生成的光的波长带宽小于100 nm。优选地,用于获取光圈标记图像的光的波长带宽小于50 nm或30 nm。在另一实例中,由标记照明源生成的光是蓝光。在又一实例中,用于获取光圈标记图像的光的波长为440 nm到480 nm。使用可见波长范围内的短波长可以增加光圈标记图像的分辨率,从而增加自动聚焦程序的第一部分的准确性。使用窄波长范围(如蓝光)可以有利地降低外部光源对获取光圈标记图像的影响。当样品仅被标记照明源照亮时,照相机180获取的图像包括对应于样品表面被穿过光圈的光照亮的部分的高强度区域。图像中的高强度区域在本文中被称为光圈标记。图像中光圈标记的形状和大小取决于孔径光阑的光圈的形状和大小、光谱仪的光学配置以及样品相对于物镜的位置。所获取的图像中的光圈标记可用于指示由分析系统分析的样品区域。因而,当光学显微镜照明源和标记照明源都接通时,光圈标记可以用于选择用于分析采集的样品区域。
光学显微镜照明源110、分析照明源130和标记照明源120由于它们被光谱仪的不同部分使用而可以具有不同的光学特性(例如,不同的波长、强度等)。因为来自照明源120的光最终通过孔径光阑投射到样品上,所以与光学显微镜的照明源110相比,标记照明源投射到样品151上的光可能更少。
在一些实施例中,标记照明源可以是与光谱仪分开的模型。在一些实施例中,可以省略标记照明源。例如,可以通过过滤从光学显微镜照明源生成的光来实现标记照明源。
光学显微镜和分析光学系统的焦点相同,以允许适当的可视化和样品分析。在本文中,光学显微镜和分析系统的焦点被称为光谱仪的焦点。理想地,光谱仪的焦点应基本上在样品表面处。因此,通过移动样品151的位置或移动光学器件(如物镜)直到焦点正确地定位来调整样品的位置(如沿着z轴)。在一个实例中,相对于样品表面调整焦点包括调整物镜170和样品台160之间的距离152。
成像系统包括控制器191,其包括处理器和用于存储计算机可读指令的非暂时性存储器。通过执行处理器中的指令,成像系统可以执行本文所公开的方法。控制器可以发送和接收来自照明控制系统140、相机180、检测器150、孔径光阑155和样品台160中的一个或多个的信息。例如,控制器可以与照明控制系统140通信以接通或断开光学显微镜照明源110、分析系统照明源130和标记照明源120中的任何一个。照明控制系统可以是与控制器191分开的模块,并且包括处理器和存储器。在一些实例中,照明控制系统可以是控制器191的一部分。控制器可以通过致动孔径光阑155来调整光圈的大小。控制器可以通过移动样品台160来调整样品台(或样品)和物镜之间的距离。控制器接收从相机和检测器获取的数据,以基于接收到的数据生成图像或图表。控制器191可以从计算机接口192接收用户输入,并经由计算机接口显示获取的信息,如图像和样品组成信息。计算机接口可以包括显示器和用户输入设备。
图1示出用于检测来自样品的反射光的成像系统。在一些实施例中,成像系统可以以透射模式收集来自样品的光。样品从样品的第一侧被照亮,并且从样品的相对的第二侧收集光。
图2示出用于在成像系统(如图1的光谱仪)中定位样品的实例方法200。可以使用两部分自动聚焦程序调整样品位置,使得可以快速且准确地调整光谱仪的焦点相对于样品表面的位置,以获取光谱数据。通过快速且准确地定位焦点,可以收集到质量较佳的光谱。
在202,样品定位在成像系统中。用户可以在光谱仪的样品台上定位和采样。在一些实例中,用户可以使用光学显微镜来观测样品。所获取的样品图像可以经由用户界面(UI)显示给用户。
在204,成像系统接收用户输入以启动自动聚焦程序。例如,图6示出UI,其中显示了在202获取的样品图像602。用户可以点击UI中的自动聚焦按钮601以启动自动聚焦程序。
在206,光圈大小由孔径光阑(如图1中的孔径光阑155)设置为已知大小。将光圈设置为已知大小包括将光圈设置为已知形状和大小。此外,对于具有多个物镜的成像系统,步骤206可以包括选择物镜。一旦设置了光圈并选择了物镜,就会确定预期光圈标记图像。例如,在设置光圈并选择物镜之后,预期光圈标记确定为100微米(µm)×100 µm正方形。
此外,优化算法可以在206启动。优化算法的启动可以包括设置边界条件,如物镜和样品之间的距离的调整范围。所述范围可以是样品台沿着Z轴的移动范围。启动优化算法还可以包括设置调整的最小步长。在214(自动聚焦程序的第一部分)为优化算法设置的调整范围和最小步长可以大于(在223)自动聚焦程序的第二部分的为优化算法设置的调整范围和最小步长。
在208,将第一光从照明源通过光圈和物镜引导向定位在样品台上的样品。第一光的带宽可以是窄的并且在可见范围内。例如,第一光可以是单色的,如蓝色。第一光的波长带宽可以小于100 nm。例如,在图1中,光学显微镜照明源110和分析系统照明源130均断开,而标记照明源120接通。这导致光束通过已知大小和形状的光圈投射在样品151上。样品151的被光束照亮的区域与分析系统可以分析的区域相同。
在210,光圈标记图像由光学显微镜的相机(如图1的相机180)获取。通过使用相机收集来自样品的光(反射光或透射光)来获取光圈制造机图像。在图1的实例中,从反射151反射的光在到达相机之前通过分束器156、131和111。由于第一束光的窄带宽。相机获取的图像(即光圈标记图像)具有高强度信号区域,所述高强度信号区域对应于被穿过光圈的光照亮的样品区域,而图像的其余部分是暗的(低信号)。如果样品表面在光谱仪的焦点处,则观察到的光圈标记应与预期光圈标记相同,所述预期光圈标记类似于在206设置的光圈的形状。这在光圈标记图像图3E中描绘,其中光圈标记305被示为具有靠近图像中心的高强度。用于获取图像的光圈为正方形形状。暗区315对应于样品表面上的物体(或样品特征)。所获取的光圈标记图像可以显示给用户,如图7中所示。
在212,基于在210获取的光圈标记图像和在206确定的预期光圈标记图像来计算相似度得分。在一个实例中,可以基于观察到的光圈标记图像和预期光圈标记图像中的光圈标记的边缘来计算相似度得分。为了提取边缘,可以通过用索贝尔滤波器(Sobelfilter)或形态滤波器(Morphological filter)对光圈标记图像进行滤波来生成梯度图像。然后使用加权统计平均值减法来计算梯度图像的强度。可以基于所提取的边缘之间的相关性来计算相似度得分。相似度得分表示观察到的光圈标记图像和预期光圈标记图像之间的特征的相似度。所述特征可以包括光圈标记图像中光圈标记的几何形状、大小、紧凑度、取向和位置中的一种或多种。相似度得分越高,在210获取的图像中的光圈标记越类似于预期光圈标记。在一个实例中,相似度得分可以在零到一的范围内,其中一表示所获取的光圈标记图像与预期光圈标记图像中的预期光圈标记相同。
在214,相似度得分被提供给优化算法。所述算法经由迭代最大化相似度得分。基于当前相似度得分和先前相似度得分,优化算法输出样品台的调整量和调整方向。在一个实例中,优化算法可以是鲍威尔算法(Powell algorithm)的鲁棒版本,或可以是使用相似度得分的曲线拟合的其他算法。
图8A和8B示出实例优化过程的进程。图8A示出Z位置801和相似度得分802随着迭代次数(X轴)增加的变化。图8B示出图8A中每次迭代的Z位置和对应的相似度得分。随着迭代次数增加,发现最大相似度得分在Z位置6800附近。曲线803是相似度得分的二次多项式的抛物线拟合,并且星号指示曲线803的最大值。
在220,方法200检查优化过程是否结束。如果答案为“是”,则方法200进行到221。否则,在218,基于优化算法的输出来调整样品台和物镜之间的距离。在一个实例中,如果迭代之间的相似度得分的变化量小,则优化结束。在另一实例中,如果输出的调整量小于在206设置的最小步长,则优化结束。在又一实例中,如果相似度得分的曲线拟合匹配预期的抛物线(或指数函数),则优化结束。
在218,基于优化算法的输出来调整后样品台和物镜之间的距离。可以通过沿着Z轴调整样品台的位置来调整所述距离。调整距离,使得观察到的光圈标记图像与预期光圈标记更相似。调整距离,使得光圈标记的提取特征更接近预期特征。换句话说,调整距离以增加相似度得分。调整量可以响应于相似度得分低于最小相似度得分而增加。也就是说,当观察到的光圈标记与预期光圈标记之间的差异大时,可以更积极地进行调整。沿着Z轴的移动的步距较大
在另一实例中,通过考虑所获取的图像中光圈标记的位置,以及观察到的标记的形状和大小等,基于相似度得分来调整的方向(即增加或减小距离)。图3A-3E示出在调整样品台位置时使用4×物镜获取的光圈标记图像。当光谱仪的焦点在样品表面上方2 mm和1mm时,获取图3A和3B。当焦点在样品表面下方2.4 mm和1 mm时,获取图3C和3D。当焦点在样品表面处时,获取图3E。在本文中,如图1中所指示沿着Z方向的方向被称为“上方”或“更高”,并且与Z方向相反的方向被称为“下方”或“更低”。当焦点从样品表面移动得更高时,光圈标记(301和302)的中心在光圈标记图像中向下移动。另一方面,当焦点从样品表面移动得更低时,当光圈标记(303和304)的中心在光圈标记图像中向上移动时。因而,可以基于观察到的光圈标记的中心的位置来调整样品台,以缩短自动聚焦程序的持续时间。
在一些实例中,可以基于观察到的光圈标记的清晰度和光圈标记的大小中的一项或多项来进一步确定调整的方向和量。
转回到图2,如果在220优化完成,则方法200进行到221开始自动聚焦例程的第二部分,其中基于样品图像调整物镜和样品台之间的距离。
在221,在不通过光圈的情况下将第二光引导到样品。例如,在图1中,接通光学显微镜照明源110。从光学显微镜照明源生成的第二光被分束器111反射,并且然后穿过分束器131和156,之后到达物镜170。物镜将光聚焦到样品151上。
在222,使用相机获取样品图像。例如,如图1中所示,来自样品的反射光穿过分束器156、131和111,并被相机180收集。样品图像是示出样品特征的多色图像。在步骤222标记照明源120可以断开或保持接通。样品图像可以显示给用户。
图4示出使用光学显微镜的摄像机获得的处于焦点位置的实例样品图像。样品图像是在标记照明源接通的情况下获取的。因而,光圈标记401在多色样品图像的中心处可见为蓝色并且合成图像清晰(即,焦点对准)。
在223,计算在222获取的样品图像的清晰度得分并将其提供给优化算法。清晰度得分衡量样品图像中捕获的样品特征(或物体)的清晰度。清晰度得分可以使用图像处理算法,如索贝尔梯度(Sobel gradient)或形态梯度(Morphological gradient)来确定。可以使用优化算法来最大化清晰度得分。所述优化算法可以与在自动聚焦程序的第一部分中使用的优化算法相同或不同。优化算法输出调整的量和方向。
在224,方法200确定优化是否完成。响应于清晰度得分的变化低或调整量低于最小步长,优化可以完成。如果优化完成,则方法200进行到228。否则,在226基于优化算法输出来调整样品位置。
在228,使用光学显微镜和相机获取样品图像。样品图像可以显示给用户
在230,控制器接收要由分析系统分析的样品区域的用户选择。可以通过UI做出用户选择。
在232,调整光圈大小以分析样品组成。可以基于用户设置的空间分辨率来调整光圈大小。此外,第三光(如由图1的分析系统照明源130生成的NIR-IR光)在不通过光圈的情况下被引导向样品。第三光可以在经由物镜170被投射到样品上之前被分束器131和直通分束器156反射。来自样品的反射光被物镜收集,被分束器156反射。已经通过光圈的反射光被检测器150收集为光谱。
在234,控制器基于光谱数据确定样品组成。样品组成可以例如通过将经彩色编码的组成覆盖在样品图像上而与样品图像一起显示。
以这种方式,两部分自动聚焦程序允许执行更快且更准确的自动聚焦。相较于其中基于全色样品图像调整样品位置的第二部分,其中基于光圈标记图像调整样品位置的第一部分可以提供快速且粗略的调整。与仅使用样品图像进行自动聚焦相比,自动聚焦程序的第一部分确保样品表面定位于对于自动聚焦程序的第二部分来说优选的位置处(例如,相对靠近光谱仪的焦点)。这在观察到重像时尤其重要。
在一些实例中,可以跳过自动聚焦程序的第二部分。例如,如果样品表面缺少高对比度物体,则不基于样品图像调整样品位置。
在一些实例中,分析信号(即,用于生成光谱的信号)可用于定位样品。可以使用优化算法来最大化分析信号的信噪比。然而,获取光谱通常比获取光圈标记图像或样品图像更耗时。
在一些实例中,当分析压缩在压缩室内的样品时可以跳过自动聚焦程序的第二部分。如图9中所示,压缩室是用于将样品901压缩在两个透明窗口(903和904)之间的透明装置。压缩室的两个窗口可以是已知厚度(902)和折射率的金刚石(或其他晶体,如KBr)。自动聚焦程序的第一部分(基于光圈标记图像调整样品位置)可用于使焦点与压缩室的顶面(即最靠近光学显微镜的光学器件和分析光学系统的表面)对准。因为顶部窗口的厚度(902)是已知的,所以可以提供焦点的额外移动以将焦点带到样品被压缩在其中的两个窗口的中间。这也将允许生成较佳的光谱,因为要分析的光来自样品。因此,如果正在使用压缩室(例如,如计算机控制系统可访问的软件中所示),则使用压缩室的顶部窗口的厚度来进一步移动焦点。

Claims (20)

1.一种成像系统,其包含:
样品台,其用于定位样品;
光圈;
相机;
物镜;
控制器,其包括处理器和非暂时性存储器,其中通过执行存储在所述非暂时性存储器中的计算机可读指令,所述成像系统被配置成:
将第一光依次通过所述光圈和所述物镜引导到所述样品;
通过经由所述相机收集来自所述样品的光来生成包括光圈标记的第一图像;
基于所述第一图像和预期光圈标记图像确定相似度得分;并且
基于所述相似度得分调整所述物镜和所述样品台之间的距离。
2. 根据权利要求1所述的成像系统,其还包括用于生成第二光的光学显微镜照明源,其中所述成像系统被进一步配置成:
在基于所述相似度得分调整所述物镜和所述样品台之间的所述距离之后,将所述第二光通过所述物镜引导向所述样品并使用所述相机获取第二图像,其中所述第二光绕过所述光圈被引导向所述样品;并且
基于所述第二图像调整所述物镜和所述样品台之间的所述距离。
3.根据权利要求1所述的成像系统,其中基于所述第一图像和所述预期光圈标记图像确定所述相似度得分包括:基于所述第一图像中所述光圈标记的特征和所述预期光圈标记图像中预期光圈标记的特征确定所述相似度得分。
4.根据权利要求3所述的成像系统,其中所述第一图像中所述光圈标记的所述特征包括以下中的至少一项:所述第一图像中所述光圈标记的形状、大小、紧凑度和位置。
5. 根据权利要求1所述的成像系统,其中所述第一光的波长带宽(FWHM)小于50 nm。
6.根据权利要求1至5中任一项所述的成像系统,其还包含用于生成第三光的分析系统照明源,和检测器,并且所述成像系统被进一步配置成:
在基于所述相似度得分调整所述物镜和所述样品台之间的所述距离之后,将所述第三光引导向所述样品;
经由所述检测器收集穿过所述光圈的来自所述样品的光,并生成光谱;并且
基于所述光谱分析样品组成。
7.根据权利要求1至5中任一项所述的成像系统,其中调整所述物镜和所述样品台之间的所述距离包括调整所述样品台的位置。
8.根据权利要求1所述的成像系统,其中所述样品定位于包括至少一个窗口的压缩室中,并且所述成像系统被进一步配置成:基于所述窗口的厚度调整所述物镜和所述样品台之间的所述距离。
9.根据权利要求1所述的成像系统,其中所述成像系统被进一步配置成向优化算法提供所述相似度得分,并且其中基于所述相似度得分调整所述物镜和所述样品台之间的所述距离包括:基于所述优化算法的输出调整所述物镜和所述样品台之间的所述距离。
10.一种用于在成像系统中定位样品的方法,其包含:
将第一光依次通过光圈和物镜引导到所述样品;
通过经由相机收集来自所述样品的光来生成包括光圈标记的第一图像;
基于所述第一图像和预期光圈标记图像确定相似度得分;和
基于所述相似度得分调整所述物镜和所述样品之间的距离。
11.根据权利要求10所述的方法,其还包含:
在调整所述物镜和所述样品之间的所述距离之后,获取所述光圈标记的第二图像;
基于所述第二图像和所述预期光圈标记更新所述相似度得分;和
基于更新后的相似度得分调整所述物镜和所述样品之间的所述距离。
12.根据权利要求10所述的方法,其还包含向优化算法提供所述相似度得分,并且基于所述相似度得分调整所述物镜和所述样品之间的所述距离包括:基于所述优化算法的输出调整所述物镜和所述样品之间的所述距离。
13.根据权利要求12所述的方法,其中所述优化算法的所述输出包括所述调整的量和所述调整的方向中的一项或多项。
14. 根据权利要求10所述的方法,其还包含:
在基于所述相似度得分调整所述物镜和所述样品之间的所述距离之后,将第二光通过所述物镜引导向所述样品并使用所述相机获取第二图像,其中所述第二光绕过所述光圈被引导向所述样品;和
基于所述第二图像调整所述物镜和所述样品之间的所述距离。
15.根据权利要求14所述的方法,其中基于所述第二图像调整所述物镜和所述样品之间的所述距离包括:基于所述第二图像中至少一个样品特征的清晰度调整所述物镜和所述样品之间的所述距离。
16.根据权利要求10至15中任一项所述的方法,其还包含:
在基于所述相似度得分调整所述物镜和所述样品之间的所述距离之后,将第三光经由所述物镜引导向所述样品;
经由检测器收集穿过所述光圈的来自所述样品的光,并生成光谱;和
基于所述光谱分析样品组成。
17.根据权利要求16所述的方法,其中所述第一光是可见光并且所述第三光是近红外到红外光。
18.根据权利要求16所述的方法,其还包含:在基于所述相似度得分调整所述物镜和所述样品之间的所述距离之后,将第二光引导向所述样品并经由所述相机获取样品图像;和显示带有所述样品组成的所述样品图像。
19.根据权利要求18所述的方法,其中所述第一光的波长带宽比所述第二光窄。
20.根据权利要求10所述的方法,其还包含在显示器上显示所述第一图像。
CN202211619023.1A 2021-12-17 2022-12-16 用于定位样品的方法和系统 Pending CN116337755A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163291217P 2021-12-17 2021-12-17
US63/291217 2021-12-17

Publications (1)

Publication Number Publication Date
CN116337755A true CN116337755A (zh) 2023-06-27

Family

ID=84488683

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211619023.1A Pending CN116337755A (zh) 2021-12-17 2022-12-16 用于定位样品的方法和系统

Country Status (3)

Country Link
US (1) US20230194346A1 (zh)
EP (1) EP4198604A1 (zh)
CN (1) CN116337755A (zh)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60040960D1 (de) * 1999-11-08 2009-01-15 Leica Microsystems Verfahren und Vorrichtung zur Dickenmessung von durchsichtigen Filmen
US20100157086A1 (en) * 2008-12-15 2010-06-24 Illumina, Inc Dynamic autofocus method and system for assay imager
GB201507021D0 (en) * 2015-04-24 2015-06-10 Isis Innovation Compact microscope
US10146041B1 (en) * 2018-05-01 2018-12-04 Nanotronics Imaging, Inc. Systems, devices and methods for automatic microscope focus

Also Published As

Publication number Publication date
EP4198604A1 (en) 2023-06-21
US20230194346A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
US10725279B2 (en) Systems and methods for extended depth-of-field microscopy
US10983305B2 (en) Methods for correctly orienting a substrate in a microscope
US10477097B2 (en) Single-frame autofocusing using multi-LED illumination
AU2011357735B2 (en) Fast auto-focus in microscopic imaging
US9813608B2 (en) Fast auto-focus in imaging
KR101106852B1 (ko) 광학식 3차원 계측 장치 및 필터 처리 방법
US9683946B2 (en) Method and device for detecting defects and method and device for observing defects
EP2057582A2 (en) Spectroscopic microscopy with image -driven analysis
JPH08211282A (ja) オートフォーカス式顕微鏡
EP3988986A1 (en) Microscope system
CN111912835B (zh) 一种具备烧蚀量测量功能的libs装置及方法
US20180252643A1 (en) Auto-focus system
JPH10513287A (ja) 物体のイメージ、画像を記録、撮像のための方法及び装置
CN109003228A (zh) 一种暗场显微大视场自动拼接成像方法
US20140071260A1 (en) Digital confocal optical profile microscopy
EP4198604A1 (en) Method and system for positioning a sample
CN115165889A (zh) 基于过焦扫描成像的样品特征分析方法及其装置
EP2946398A1 (en) Optical and integrated inspection apparatus and method
JP3125124U (ja) 赤外顕微鏡
JP2005221368A (ja) 観察装置及びその観察方法
US20230258918A1 (en) Digital microscope with artificial intelligence based imaging
CN114363481B (zh) 具有检测样品相对物镜移位的装置的显微镜及其检测方法
JP7246073B2 (ja) 位置補正機能を有する顕微分光装置
JP2010014463A (ja) 光学素子の測定方法及び光学素子の製造方法
CN117330542A (zh) 高对比度各向同性高分辨荧光显微成像方法及成像系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication