CN107076964B - 基于图像的激光自动聚焦系统 - Google Patents

基于图像的激光自动聚焦系统 Download PDF

Info

Publication number
CN107076964B
CN107076964B CN201580049904.6A CN201580049904A CN107076964B CN 107076964 B CN107076964 B CN 107076964B CN 201580049904 A CN201580049904 A CN 201580049904A CN 107076964 B CN107076964 B CN 107076964B
Authority
CN
China
Prior art keywords
image
plate
objective lens
imaging
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201580049904.6A
Other languages
English (en)
Other versions
CN107076964A (zh
Inventor
R·A·库恩
K·A·伊波利托
D·J·范登伯格三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cellomics Inc
Original Assignee
Cellomics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cellomics Inc filed Critical Cellomics Inc
Publication of CN107076964A publication Critical patent/CN107076964A/zh
Application granted granted Critical
Publication of CN107076964B publication Critical patent/CN107076964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Abstract

呈现用于使用载玻片或微量滴定板的透镜式显微镜应用的准确、可靠且稳健的基于激光的自动聚焦解决方案。所述基于激光的自动聚焦解决方案解决归因于相对于所关注的样品处于不同距离的多个反射表面而出现的诸多问题。所述基于激光的自动聚焦解决方案提供通过使用基于图像的方法解决由这些多个反射表面造成的不明确性的独特解决方案。

Description

基于图像的激光自动聚焦系统
技术领域
本申请案涉及用于使成像装置自动聚焦的系统和方法。更确切地说，本申请案涉及对于使用载玻片或微量滴定板的透镜式显微镜应用使用基于图像的激光自动聚焦系统的自动聚焦。
背景技术
为对板或载玻片上的样品进行成像，使用成像装置。将成像装置和/或样品彼此移近或移远，直到样品处于成像装置的焦点。对于例如高含量成像(HCI)系统的自动化系统，通常使用自动聚焦来加速所述过程。
当前使用各种类型的自动聚焦系统，包含基于图像的系统和基于激光的系统。尽管这些常规系统提供优于非自动聚焦系统的某些优势，但其具有某些缺点，且并不始终以所需速度提供自动化系统所需要的焦点水平。
发明内容
呈现用于使用载玻片或微量滴定板的透镜式显微镜应用的准确、可靠且稳健的基于激光的自动聚焦解决方案。所述基于激光的自动聚焦解决方案解决归因于相对于所关注的样品处于不同距离的多个反射表面而出现的诸多问题。所述基于激光的自动聚焦解决方案提供通过使用基于图像的方法解决由这些多个反射表面造成的不明确性的独特解决方案。
前述“发明内容”仅为说明性的，且不意欲以任何方式为限制性的；提供所述“发明内容”以便以简化形式引入下文在“具体实施方式”中进一步描述的一系列概念。此“发明内容”并不意欲识别所主张的标的物的关键或基本特征，也不意欲辅助确定所主张的标的物的范围。
以下描述中将阐述本发明的额外特征和优点，且这些特征和优点将部分从所述描述中显而易见，或者通过实践本文中所描述或设想的实施例而获知。可以借助于所附权利要求书中明确指出的仪器和组合来实现且获得本文中描述或设想的实施例的特征和优势。这些和其它特征将从以下描述和所附权利要求书变得更完全地显而易见，或可以通过实践如在下文中阐述的本文中描述或设想的实施例而获知。
附图说明
现在将参看附图论述各种实施例。应了解，这些图式仅仅描绘典型的实施例，因而不被视为限制本申请案的范围。还应了解，图式未必按比例绘制且出于清楚起见可能仅仅绘制一些元件。
图式中相同的参考标号表示相同的元件。此外，元件的多个例子可以各自包含附加到元件数字的单独字母。举例来说，特定元件“20”的两个例子可标注为“20a”和“20b”。在这种情况下，可使用不带附加字母的元件标记(例如“20”)以总体上指代元件的每个例子；而当参照元件的特定的例子时，元件标记将包含附加字母(例如“20a”)。
图1为示出成像板的各表面以及可从其发生的反射的框图。
图2说明其中样品的z位置在凹孔或板中可能彼此不同的实例。
图3为示出离焦图像与聚焦图像之间的差异的图像。
图4说明并有本文中所揭示或设想的特征的系统的实例实施例。
图5是根据一个实施例的细胞成像装置的截面侧视图。
图6是图5的细胞成像装置的截面俯视图，图中示出了通过装置的激发光和发射光流。
图7说明并有本文中所揭示或设想的特征的系统的实例实施例。
图8说明根据一个实施例的使用激光自动聚焦装置使样品聚焦的方法。
图9说明根据一个实施例的在高含量成像系统中使样品成像的方法。
图10说明根据一个实施例的确定用于训练图像的信息的方法。
图11说明根据一个实施例的处理自动聚焦图像的方法。
图12和13为使用本文中描述的方法获得的样品图像。
图14为对应于图14的每一列的最大强度的投影。
图15说明根据一个实施例的移行成像组件到所需焦点位置的方法。
图16说明根据另一实施例的移行成像组件到所需焦点位置的方法。
图17说明根据另一实施例的移行成像组件到所需焦点位置的方法。
图18说明根据一个实施例的独立LAF。
具体实施方式
如说明书中所使用，以单数形式出现的词语涵盖其复数的对应部分，而以复数形式出现的词语涵盖其单数的对应部分，除非暗含地或明确地以其它方式理解或陈述。此外，应理解，对于本文中描述的任何给定组件或实施例，针对所述组件列出的任何可能候选或替代方案通常可以个别地使用或彼此结合使用，除非隐含地或明确地另有理解或陈述。另外，将理解，除非另外隐含地或明确地理解或陈述，否则此类候选或替代方案的任何列表仅是说明性的，而不是限制性的。另外，除非另外指明，否则本说明书和权利要求书中所用的表示成分的量、组分、反应条件等等的数字应理解为均由术语“约”修饰。
因此，除非相反地指示，否则本说明书和随附权利要求书中所阐述的数值参数是可以取决于试图通过本文提出的标的物获得的所需性质而变化的近似值。最低限度地，且不试图限制等效物原则对权利要求书范围的应用，每一个数值参数都应至少根据所报告的有效数字的数量且通过应用一般四舍五入技术来解释。尽管阐述本文中提出的标的物的广泛范围的数值范围和参数为近似值，但具体实例中所阐述的数值是尽可能精确报告的。然而，任何数值固有地含有某些由其对应的测试测量值中所发现的标准差必然造成的误差。
此外，如在说明书和所附权利要求书中使用，例如“顶部”、“底部”、“左”、“右”、“上”、“下”、“上部”、“下部”、“近”、“远”等等的方向术语在本文中仅用以指示相对方向且并不希望限制本发明或权利要求的范围。
如图1中所说明，为对板或载玻片152上的样品150进行成像，使用成像组件154，例如显微镜物镜。为易于论述，我们将基于定位在板上的样品进行我们的论述。然而，应了解，本文中的论述也可以适用于载玻片或样品可以定位在上面以进行成像的其它装置。
将成像组件154和/或板152彼此竖直地移近或移远以经由成像组件154使样品150聚焦。参考图1，我们在本文中将把竖直移动方向定义为z方向。由此，任何组件在z方向上的位置可以称为所述项目的“z位置”，且各组件之间在z方向上的距离可以称为组件之间的“z距离”。成像组件154与样品150之间的在样品处于焦点时的z距离将在本文中定义为“焦距”。我们还将把成像组件154与样品150的z位置称为每一项目的“焦点位置”。
如图1所示，成像组件154与样品150之间的z距离为以下各者的组合：(1)成像组件154与板152之间的z距离、(2)跨越板152的z距离，以及(3)从板152到样品150的需要成像的部分的z距离。通常，样品150的待成像的所需部分处于板152的表面处，从而实质上消除板与样品的所述部分之间的z距离。
如果样品150在成像期间不在焦点上，那么可能发生诸多问题。要在焦点上，成像组件154必须处于距样品150的特定焦距处。
将成像组件154和/或样品150在z方向上移动以改变其间的z距离，直到样品出现于焦点中。此时，z距离等于焦距，且样品和成像组件处于对应于焦距的焦点位置。尽管本文中的论述将针对移动成像组件154以获得所需焦距，但应了解，也可以替代或结合成像组件154而移动板152。还应了解，成像组件154可以定位在样品150上方或下方。
因为板152定位于样品150与成像组件154之间，因此每一样品的z位置将随着板的形状或位置的变化而变化。结果，样品在一个视场中的z位置可能不同于样品在另一视场中的z位置。由此，如果成像组件不移动，那么每一样品与成像组件之间的z距离可能变化。
图2示出其中样品的z位置在凹孔或板中可能彼此不同的一个实例。如所描绘，曲率164可能存在于一个或多个凹孔166中的每一个上。此曲率可能使得z距离在物镜与对应凹孔中的每一样品之间变化。此外，曲率168可能存在于整个板152a上。此曲率可能使得z距离在物镜与不同凹孔中的样品之间变化。例如在所描绘的实施例中的两种类型的曲率164与168的组合可能使所述问题加剧。此外，板在其厚度上可能具有随机变化，从而使得所述问题几乎不可能模拟。实际上，板的形状甚至跨越在同一制造批次中产生的板也可能会不可预测地变化。
归因于这些z距离变化，必须相应地改变成像组件154的z位置以维持到每一样品的正确焦距且有效地“移除”如由图2的底部部分表示的不合需要的板和/或凹孔曲率。这样做将允许每一样品在所需焦距处成像。
为尝试补救此情境，已使用基于图像的自动聚焦来确定样品在每一视场中的z位置，接着可以使用所述z位置来移动成像组件和/或板以达到正确焦距。在此方法中，使用与用以出于筛查目的而对样品进行成像的检测模式(例如，荧光、明视场，等)相同的检测模式来出于自动聚焦目的而对样品进行成像。尽管此方法已提供许多益处，但其具有数个缺点，包含：
●速度-必然会在搜索正确焦距的同时以不同z距离拍摄图像。当对样品进行成像所必需的曝光时间长时，这就成为问题。
●光致漂白-由焦点成像造成的光致漂白可能影响样品，且因此更改用于筛查的所得样品图像。
●厚样品-当样品比光学系统的视场深度厚时，在视觉上最佳的聚焦图像从视场到视场可能不是在到样品的相同相对位置处。这可能会引起在迥然不同的区域中进行测量，从而可能导致对结果的误解。
●生物学上难以成像或稀疏-有时样品在板上难以成像或非常稀疏。这可能使得基于软件的自动聚焦算法选择出不正确的焦点位置。
基于激光的自动聚焦(LAF)系统克服这些问题中的诸多问题。LAF系统使用激光来确定焦距。由此，LAF系统使用不同于用以由装置筛查样品的成像模式的成像模式。激光通过检测板的表面来确定板的位置。这接着用作参考来估计在哪里找到样品。举例来说，可能估计样品驻留在距板位置固定的数微米处。为确定板的位置，LAF系统可以使用板与周围介质之间的界面的反射性。
对于其中样品驻留在载玻片与盖玻片之间或驻留在微量滴定板(其中成像系统必须经由板的透明塑料或玻璃底部进行聚焦)上的显微法应用，激光自动聚焦系统呈现出特定问题——通常存在若干反射表面，每一反射表面处在不同z位置。举例来说，在图1中示出的实施例中，存在至少三个反射表面——板152的上表面156和下表面158，以及介质162的上表面160(样品150定位于其中)。这些表面中的每一个可能产生激光的单独反射，这可能引起自动聚焦系统的混淆。
第一且通常最亮的反射来自板的最近表面(例如，板152的下表面156)。这一表面在本文中将称为“外”表面。来自外表面的反射是由空气与板的材料(通常为塑料或玻璃)之间的界面造成。
然而，外表面并不是所关注的样品在z方向上通常所位于之处。实际上，样品通常位于板的另一表面处或超出所述表面。举例来说，如图1中所描绘，样品150位于板152的上表面158处或稍微超出所述上表面。这另一表面在本文中将称为“内”表面。
第二反射来自这一内表面，且是由板的材料与空气或样品周围的液态介质之间的界面造成。所述第二反射通常比第一反射弱得多，从而使得第二反射难以检测或从第一反射辨识出来。其它反射可能来自其它表面，从而使得检测和区分困难得多。举例来说，如图1中所描绘，第三反射可能来自介质162的上表面160，由介质与空气之间的界面造成。
如上文所指出，外表面与内表面之间的z距离可以跨越板和/或跨越板内的凹孔而变化。结果，外表面的z位置通常并不是用于确定样品的z位置的良好参考。实际上，因为样品通常直接定位在板的内表面上，因此内表面的z位置是所使用的更好参考。如果可以确定内表面的z位置，那么可以使用其来更准确地定位成像组件以获得聚焦图像。
两种主要方法已由LAF系统用于尝试确定微量滴定板和载玻片与盖玻片的内表面与外表面的z位置。在第一方法中，同时检测来自内表面和外表面的反射，且所述表面的位置指示距焦点的z位置。为实现这一目的，激光以入射角与表面成角度地定位，以使得当激光照到板上时，反射各自成角度地返回，类似于图1中所示出者。传感器的线性阵列经定位以检测所述反射。由于激光的角度，反射在传感器阵列上在彼此不同的位置返回。结果，由线性阵列检测到的反射的位置可以用来确定表面的z位置。这允许使用激光信号的单个测量来确定样品的z位置的估计。
然而，这种第一方法受到限制，因为：(a)不同反射具有显著不同的强度，而不同反射必须仍通过线性传感器阵列同时俘获，(b)不同反射归因于成角方法而通常在传感器上彼此重叠，以及(c)板表面的任何角度变化或变形将引起线性传感器阵列上的偏移。这可能使得难以同时检测两个反射。此外，因为激光设置必须以可以同时观测两个反射的方式进行，因此难以设计适应板厚度与视场深度不同的不同物镜两者的变化的单个设置。
在第二方法中，独立地检测来自内表面与外表面的反射。为实现这一目的，使用传感器检测且分析激光经由成像组件的反射。在反射出现于焦点中时，其变得较小且强度增大，如图3的图像170和172中所示。结果，系统可以使用传感器测量到的大小和强度来检测界面何时出现于焦点中。可以例如通过使用介刀而使激光为非对称的，这将使得反射指示在哪一方向上移动以获得焦点。通过一个或两个大面积传感器测量激光反射，其测量反射的总强度值。这种第二方法不利用单个测量预测样品的确切z位置-实际上，使用搜索算法来移动成像组件，直到确定出表面的z位置。
所述第二方法解决了第一方法存在的诸多问题，但仍具有数个缺点。举例来说，因为两个反射无法同时看到，因此无法确定是哪一表面引起反射。
对于其中基于激光和基于软件的自动聚焦两者皆适用的应用，上文所论述的两个LAF方法的成功率通常都不如基于图像的自动聚焦方法有效。然而，对于一些应用，可能仅LAF方法为有效选项。
本文中呈现解决常规自动聚焦系统遇到的以上和其它的LAF方法和装置。举例来说，使用本文中呈现的LAF解决方案的实施例，可以独立而同时地检测多个反射。此外，反射的不明确性得以解决，且解决方案的准确度经由使用反射的位置、强度、形状和大小而得以改善。此外，在一些实施例中，可以使用单个测量替代使用搜索算法来估计焦点位置。
本文中呈现的解决方案可以为常规上由成像装置使用的自动聚焦方法和系统提供额外速度、可靠性和稳健性。这至少部分地通过使用高分辨率相机(例如已经在用于对样品进行成像的系统中使用的相同相机)对激光反射进行成像来实现。通过这样做，可以利用数百万传感器替代仅测量总强度(如在常规系统中那样)的仅一个或两个传感器来以高分辨率测量激光反射。结果，可以与其它离焦(模糊)反射同时观测所需反射。所有这些反射可能存在于给定图像中，但每一反射将具有不同位置、强度、形状和大小。结果，可以个别地识别反射，且每一反射的信息可以用来提供样品的z位置(其对于多个反射的存在是不变的)的稳健估计。
此外，通过使用提供较宽、较高分辨率传感器区域的相机，LAF系统可以经设计以使得反射随着z位置改变而跨越图像移动。可以使跨越图像的距离与距反射的z距离成比例。由此，替代主要依靠多个反射的强度、形状和大小，反射的位置也可以在估计到反射表面中的每一个的相对距离中起到关键作用。这允许使用单个测量来准确地确定从当前z位置到板的内表面(且因此到样品)的物镜距离，验证恰当反射被聚焦，且能够处置存在三个或三个以上反射的情况。
本文中所揭示或设想的实施例可包括或利用专用或通用计算机，包含计算机硬件，例如一个或多个处理器，如下文更详细地论述。实施例还可包含用于携载或存储计算机可执行指令和/或数据结构的物理和其它计算机可读媒体。此类计算机可读媒体可以是可以通过通用或专用计算机系统存取的任何可用媒体。存储计算机可执行指令的计算机可读媒体是物理存储媒体。携载计算机可执行指令的计算机可读媒体是传输媒体。因此，借助于实例而非限制，实施例可以包括至少两种明显地不同类别的计算机可读媒体：计算机存储媒体和传输媒体。
计算机存储媒体包含RAM、ROM、EEPROM、CD-ROM或其它光盘存储器、磁盘存储器或其它磁性存储器装置，或者可以用来存储计算机可执行指令或数据结构的形式的所需程序代码构件且可以通过通用或专用计算机存取的任何其它媒体。
“网络”被定义为一个或多个数据链路，其使得能够在计算机系统和/或模块和/或其它电子装置之间传送电子数据。当经由网络或另一通信连接(固线式、无线式的或固线式的与无线式的组合)向计算机传送或提供信息时，计算机将连接恰当地视为传输媒体。传输媒体可以包含可以用于携载数据或计算机可执行指令或数据结构形式的所需程序代码构件且可以通过通用或专用计算机存取的网络和/或数据链路。以上各项的组合也应包含在计算机可读媒体的范围内。
另外，当到达各种计算机系统组件时，计算机可执行指令或数据结构形式的程序代码构件可以从传输媒体自动传送到计算机存储媒体(或反之亦然)。举例来说，经由网络或数据链路接收到的计算机可执行指令或数据结构可以在网络接口模块(例如“NIC”)内的RAM中缓冲，且接着最终传送到计算机系统RAM和/或计算机系统处的较低易失性的计算机存储媒体。因此，应理解，计算机存储媒体可以包含在也(或甚至主要)利用传输媒体的计算机系统组件中。
计算机可执行指令包括例如使通用计算机、专用计算机或专用处理装置执行某一功能或功能群组的指令和数据。计算机可执行指令可以例如是二进位、例如汇编语言的中间格式指令，或甚至源代码。尽管已经以特定地针对结构特征和/或方法动作的语言来描述标的物，但应理解，所附权利要求书中所界定的标的物未必限于上文所描述的所描述特征或动作。而是，作为实施权利要求的实例形式揭示所描述的特征和动作。
所属领域的技术人员将理解，可以在具有许多类型的计算机系统配置的网络计算环境中实践实施例，这些计算机系统配置包含个人计算机、桌上型计算机、膝上型计算机、消息处理器、手持式装置、多处理器系统、基于微处理器的或可编程消费型电子装置、网络PC、微型计算机、大型主机计算机、平板电脑、移动电话、PDA、寻呼机、路由器、交换机等等。可以在分布式系统环境中实践实施例，其中本地和远程计算机系统都执行任务，该本地和远程计算机系统通过网络(通过固线式数据链路、无线数据链路或通过固线式链路与无线数据链路的组合)链接。在分布式系统环境中，程序模块可以位于本地存储装置和远程存储器存储装置中。用于一个实体的程序模块可以位于另一实体数据中心中或者在“云中”，或者在另一实体数据中心中或者在“云中”运行。在本说明书和以下权利要求书中，计算机系统还定义为包含成像系统(例如，图4中的成像系统102)。
图4说明并有本文中所揭示或设想的特征的示范性系统100。在系统的中心是定量高含量细胞成像系统102，其中对生物细胞进行扫描和分析。示例性细胞成像系统102包含(但不限于)成像装置104和计算装置106。
成像装置104包括安装在显微镜组合件110上的级壳108。级壳108经配置以容纳定位含有细胞的试样板(例如96孔板)所必需的组件，使得显微镜组合件110可以对细胞进行成像以允许执行细胞的高含量筛查，这是所属领域的技术人员已知的。成像装置104配合计算装置106可以执行从成像获得的数据的分析和存储。
计算装置106可以用作所述系统的控制器且用于自身或者配合成像装置104执行成像装置104获得的数据的分析和/或存储。计算装置106可以包括如上定义的通用或专用计算机或服务器等等或任何其它计算机化装置。如本领域中已知，计算装置106可以直接或通过网络与成像装置104通信。在一些实施例中，计算装置106并入到成像装置104中。
系统100还可以包含用户显示装置112以显示结果和/或系统配置。成像装置104和/或计算装置106可以直接或间接地与用户显示装置112通信。
通常布置在成像装置104中的光学配置在相机上产生细胞的放大图像以便记录细胞样品的高分辨率图像。具体来说，本文中论述的配置提供一种不仅能够实现所属领域的技术人员已知的“宽视场”显微检查而且能够实现光学分段能力的系统。这可以包含(例如)在一系列细胞上扫描的聚焦照明点或照明行的标准共焦显微镜。这些能力可以与辅助提供如由相机记录的所需图像的成像算法相结合。
在一个实施例中，作为软件应用程序执行本文所述的方法步骤中的一个或多个。然而，实施例不限于这种情况，且方法步骤也可以在固件、硬件或固件、硬件和/或软件的组合中执行。此外，方法的步骤可以完全或部分地存在于成像装置104、计算装置106和/或其它计算装置上。
用于所述系统的装置的操作环境可以包括或利用具有一个或多个微处理器和系统存储器的处理系统。根据计算机编程领域的技术人员的实践，除非另有规定，下文参照处理系统执行的操作或指令的动作和符号表示描述实施例。这些动作和操作或指令被称作“计算机执行的”、“CPU执行的”或“处理器执行的”。
图5是成像装置104的示例性实施例。图5显示内部平台设计的总体横截面侧视图。一般来说，成像装置104集成定位含有生物细胞的HCS样品板116所必需的组件，从而使得显微镜组合件110可以执行生物细胞的高含量筛查。
级壳108包括级组合件114，其以便于与构成显微镜组合件110的组件进行光学和机械协作的方式安装。级组合件114一般包括上面能定位HCS样品板116的级，以及用于选择性地移动级以便观察的级定位机构，如本领域中已知。
在描绘的实施例中，显微镜组合件110容纳倒置式显微镜，其可以用于从试样下方对试样样品板116上的试样执行筛查。显微镜包含物镜组合件118，如本领域中已知，其包括多个物镜以获得试样的放大视图。每个物镜可以对应于不同的放大水平。在一个实施例中，包含至少三个标准物镜。如果需要，还可以包含额外物镜。实例标准物镜可以包含10x/0.4NA、20x/0.45NA和40x/0.6NA光学规范。实例额外物镜可以包含2x/0.08NA、4x/0.16NA和20x/0.7NA光学规范。还可以使用其它放大水平和物镜类型。
显微镜还包含聚焦驱动机构120，其机械耦合到显微镜物镜组合件118。物镜组合件118可以经由聚焦驱动机构120而相对于级组合件114上下(即，在z方向上)移动，以便将显微镜物镜组合件118的物镜中的任一者对准且聚焦在安置在试样样品板116内的生物细胞上。聚焦驱动机构120可以配置有步进式电机和螺丝/螺母组合，其降低消隙以提供(例如)低至0.006-μm/微步的分辨率以支持成像装置104中配置的显微镜物镜。
虽然本文中的论述是针对使用倒置式显微镜配置，但是应了解，可以替代地使用非倒置式显微镜配置从细胞上方执行筛查。此外，虽然本文中论述的显微镜组合件110是定制的，但是在需要时可以并入其它常规显微镜配置，例如德国哥廷根(Goettingin)的卡尔蔡司微成像有限公司(Carl Zeiss MicroImaging,Inc.)制造的Axiovert 200M。在一些实施例中，根本不需要显微镜。
显微镜组合件104还包括各种已知组件，用于产生和记录通过物镜获得的试样的图像。这些组件可以包含(但不限于)：
●图像记录器122，例如单色CCD或CMOS相机，
●荧光团激发源124，例如包括多个发光二极管(LED)的光引擎，
●滤光器，其对激发和发射光进行滤波，例如多位置双色滤光轮128和多位置发射滤光轮130，以及
●光引导装置，其引导激发和发射光通过显微镜组合件，例如特兰透镜132、折叠镜134(例如90度折叠镜)和一个或多个导光管。
以上组件中的一个或多个通常受到计算装置106的控制以允许自动成像。通常布置在成像装置104中的光学配置可以在图像记录器122上产生细胞的放大图像，以使得可以记录细胞样品的高分辨率图像。具体来说，本文中论述的配置提供一种不仅能够实现所属领域的技术人员已知的“宽视场”显微检查而且能够实现光学分段能力的系统。
在一个实施例中，特兰透镜132是经设计用于在使用具有所需发射波长的任何经配置物镜时增强成像装置104在从蓝色到NIR的可见光谱的全范围上的性能的近红外(NIR)增强透镜(例如Olympus Triplet)，下文将予以论述。
对于荧光分析，荧光团激发源124产生激发光，其照明细胞且使得细胞诱发荧光团发射光。举例来说，荧光团激发源124可以是多LED光引擎，其与双色滤光轮128和发射滤光轮130提供的配置激发滤光器协作工作，这两个滤光轮都可以受到计算机驱动以选择所需滤光器。
作为一种通用的操作方法，可以自动或手动地引导荧光团激发源124以提供从紫色(例如380nm)到近红外(例如至少700nm)的范围的多个光带宽，且经设计以激发荧光团，例如蓝绿色荧光蛋白质(CFP)和远红外(即，近红外)荧光团。
使用系统100，可以执行细胞的荧光分析。为了执行分析，级组合件114首先将样品板116移动到微孔的所需特定片段或载玻片的特定片段处于给定光路中的位置。
图6是进一步说明显微镜组合件110内的实例组件的落射荧光路径的俯视图描绘(与图5的侧视图相反)。如图5和6中所描绘，荧光团激发源124发出通过光纤递送系统中继(如图6中的大方向箭头136所示)的所需系统波长带宽，这取决于相对于样品板116中的荧光标记细胞的应用。照明转接器138使用各种光学件导引激发波长带宽以便另外沿着激发光路140受到引导(如图5和6中通过含有斜杠的箭头指示)，直到被安置在多位置双色滤光轮128中的所需双色组件142(图6中所示)接收到。双色组件142经过设计且自动经过软件选择，以用于荧光团激发光源124提供的特定波长带宽。双色组件142将激发光引导到90度折叠镜134。此后，如图5所示，激发光沿着激发光路140继续向上，通过特兰透镜132和物镜组合件118到达安置在样品板支座116中的细胞，如所属领域的技术人员所已知。
激发光在安置在样品板支座116中的细胞中诱发荧光。诱发荧光沿着路径144(图5和6中通过暗箭头示出)通过物镜组合件118和特兰透镜132经由落射荧光布置从细胞返回，直到被90度折叠镜134接收到。如图6中具体所示，折叠镜134将诱发的荧光引导回到双色组件142，这允许诱发荧光沿着通过(例如)额外光学组件的路径144继续返回。诱发的荧光接着通过布置在发射滤光轮组合件130中的经配置滤光器滤光，且经由相机122俘获经滤波的诱发荧光且记录为图像。
如图5所示，为了能够进行明视场和发色团成像，显微镜组合件104进一步包括位于样品板116上方的透光组合件126。透光组合件126利用具有不同彩色波长(例如，蓝色、绿色、琥珀色与红色)的光源(例如LED)照亮图5中所示的透光几何结构中的样品，以使得可以使用图像记录器122基于发色团对光的不同吸收来检测发色团。透光组合件126还提供透射白光以用于明视场成像。
如图5所示，显微镜组合件104包含激光自动聚焦(LAF)装置200，其提供用以确定物镜相对于样品的正确焦点位置的激光。LAF装置200产生激光束，其照射到试样样品板116上以便从样品板表面产生反射。所述反射通过图像记录器122成像，且执行软件方法以基于所述图像确定物镜相对于样品板的内表面的z位置。聚焦驱动机构接着基于针对物镜确定的原始z位置而将物镜移动到对应于正确焦距的新z位置。在一些实施例中，激光束和随之而来的反射通过物镜，使得激光束和对应反射从物镜的中心偏移。在一些实施例中，反射随着物镜与样品板的内表面之间的z距离改变而跨越图像移动。
图7为说明用于荧光成像的相同相机如何也可以由激光自动聚焦系统使用的框图。如所描绘实施例中所示，LAF装置200包括例如激光二极管202的用以产生激光的激光产生单元以及例如准直透镜204的用以将由激光产生单元产生的激光对准且聚焦到激光束中的光学件。还可以包含通常称为“介刀”的阻断装置206以阻断由LAF装置200发射的激光束的一部分，使得激光束的反射为非圆形的。这允许产生不对称反射，从而可以提供更多信息以辅助聚焦。
举例来说，如果激光束的一侧被阻断，那么由LAF装置200发射的激光束和基于其的反射将具有“D”横截面形状。这可以用来以圆形截面形状所不可能的一种方式来确定聚焦信息。当反射离焦时，将产生“D”形状。归因于光学特性，“D”形状在焦距过短时将在一个方向上延伸，且在焦距过长时将在相反方向上延伸。即，在经过正确焦距时，“D”形状将“翻转”。
尽管本文中论述的LAF装置200是定制的，但其它常规LAF装置也可以用作LAF装置200。一些实例包含：德国哥廷根的卡尔蔡司微成像有限公司制造的Definite Focus、由马萨诸塞州罗克兰市的Prior Scientific公司制造的LF210激光自动聚焦系统，以及由蒙大拿州博兹曼市的Quantum Composers公司制造的AF910自动聚焦传感器。
如图7中所说明且大体如上文所论述，在样品的荧光成像期间，荧光团激发源124发射所需系统波长带宽，其沿着经过一个或多个双色组件(例如双色镜208)且经过物镜210的激发光路140导引到安置于样品板152上的150。由激发光在样品150中诱发的荧光从样品150向后经由物镜210且沿着荧光返回路径144返回，其一部分与激发光路140重合。荧光返回路径144与激发光路140归因于允许激发光与所诱发荧光中的仅一者通过而反射另一个的双色组件(例如，双色镜208等等)而在某一点处分叉。所诱发荧光继续沿着返回路径144到相机122，其在所述相机处被俘获且记录为图像。
在自动聚焦期间，LAF装置200发射激光束，其沿着经过一个或多个双色组件(例如，双色镜214)的激光路径212导引，直到使激光路径212与激发光路140重合。激光束经由物镜210朝向安置于样品板152上的样品150引导。如上文所论述，板152的内表面和外表面以及可能的其它表面反射激光束。这些反射经由物镜210向后且沿着反射返回路径216返回。反射返回路径216与由所诱发荧光使用的荧光返回路径144重合。由此，反射到达相机122，类似于所诱发荧光，所述反射在所述相机处被俘获且记录为图像。
如上文所指出，激光束在其通过物镜210时可能从其中心偏移。这可能导致返回的反射也从物镜210的中心偏移，但在相反侧上偏移。结果，反射可能出现于图像上的不同横向位置处，且可能随着物镜与表面之间的z距离改变而跨越图像移动。这可以用来帮助确定对应于反射的表面的z位置。
将HCI系统的相机用作LAF装置的图像记录器提供数个益处。因为相机已经在HCI系统内，因此无需额外相机，从而提供经济益处。此外，不需要额外校准步骤。
在一替代实施例中，可以使用与HCS相机分离的相机。尽管较不经济，但使用单独相机可以提供其它益处。举例来说，这样做可能加速z马达、相机与定位方法之间的往返。这可以通过若干方式实现-包含使用视频率相机、在硬件与相机之间使用硬件触发器，或使用与激光自动聚焦单元直接耦合的集成式相机。此外，可能实施单独的成像路径和检测器专用于激光的特定波长。
此外，尽管以上论述已针对使用具有HCI系统的LAF装置，但应了解，类似于上文所论述的装置的LAF装置也可以与其它类型的样品成像系统一起使用。举例来说，上文所论述或设想的LAF装置也可以与通用显微镜和例如板读取器的低含量成像系统一起使用。其它系统也可以并有LAF装置。这同样适用于下文论述的方法。
图8说明根据一个实施例的使用激光自动聚焦装置使样品自动聚焦的方法。LAF装置发射激光束，所述激光束例如以上文所论述的方式朝向样品照射。在激光束照在各表面(例如，板的内表面和外表面、细胞/介质界面表面，和介质表面)上时，光例如以上文所论述的方式经由成像组件(例如，显微镜物镜)反射到相机。通过成像组件产生反射的图像，例如图像222。使用一个或多个软件算法224处理所述图像以确定用于使样品聚焦的信息，包含例如识别图像的每一反射、确定每一反射涉及的表面，以及估计成像组件相对于由所述反射表示的表面中的任一者的z位置。使用所述信息来确定成像组件对于待处于焦点上的样品的所需焦点位置，例如物镜的z位置。最后，驱动机构将成像组件移动到所需焦点位置。
如下文较详细论述，一个实施例使用图像处理算法来将图像投影到线上，且接着识别所述投影的峰值以识别所述线上的多个激光反射的数目和位置。基于识别结果，测量图像中的每一斑点(其中每一斑点为所检测到的反射)的位置、强度、形状和大小。基于每一斑点的相对大小、强度和位置，软件可以预测物镜相对于内表面且因此相对于样品的位置。
图9说明根据一个实施例的使用高含量成像(HCI)系统对样品进行成像的方法250。所述方法也可以适于用于其它类型的系统。方法250包括步骤252到264。
在步骤252中，建立成像组件相对于样品的所需焦点位置。在一个实施例中，用户手动地操纵物镜以在z方向上移动，直到定位在板上的样品处于焦点上。在另一实施例中，物镜的移动受计算机装置控制，所述计算机装置确定样品何时处于焦点上。在一个实施例中，z方向为竖直的，且物镜向上和/或向下移动。在一个实施例中，用户经由物镜观看样品以确定样品何时处于焦点上。在一个实施例中，用户观看经由物镜拍摄的样品的所记录图像以确定样品何时处于焦点上。
在步骤254中，一旦已建立成像组件的所需焦点位置，就训练所述系统以使LOA装置的反射的图像上的位置与所需焦点位置相关。在一个实施例中，使用由相机俘获的激光束的反射来确定所需焦点位置。在一个实施例中，所需焦点位置与由相机俘获的内表面的反射的位置直接相关。
在步骤256中，一旦系统已得以训练，就使成像组件在z方向上与待成像的第一样品对准。在一个实施例中，水平地移动板或物镜以使物镜与待成像的第一视场或凹孔对准，如本领域中已知。
在步骤258中，一旦成像组件已与待成像的样品对准，就在z方向上移动成像组件和/或样品以在对应于所需焦点位置的相同位置中产生反射。在一个实施例中，将物镜在z方向上移动到导致所需焦距的新焦点位置。如下文所论述，在一个实施例中，可以使用由相机成像的激光束的反射来确定新焦点位置。
在步骤260中，一旦成像组件和/或样品已移动到所需z位置，就经由具有记录装置的成像组件来俘获样品的一个或多个图像。在一个实施例中，以本领域中已知的方式使用相机经由物镜俘获图像。
如由决策步骤262所指示，如果需要对更多样品进行成像，那么方法继续进行到步骤264。否则，所述方法结束。在一个实施例中，每一样品对应于凹孔中的不同视场。在一个实施例中，每一样品对应于板中的不同凹孔。
在步骤264中，使成像组件在z方向上与待成像的下一个样品对准。在一个实施例中，水平地移动板或物镜以使物镜与待成像的第一视场或凹孔对准，如本领域中已知。
一旦成像组件已与待成像的下一个样品对准，就对于所述样品重复步骤258和260。继续这一过程，直到已对所有所需样品进行成像。由此，重复步骤256和258，直到已对所有所需样品进行成像。
图10说明根据一个实施例的确定所需焦距的方法270。方法270可以用于例如方法250的步骤254。方法270包括步骤272到280。
在步骤272中，产生自动聚焦图像。在一个实施例中，这包括将激光束从LAF装置照射到板上，以便使得光的反射从各个表面通过成像组件且由记录装置记录。在一个实施例中，光经由物镜至少从板的内表面和外表面反射，且所述反射例如以上文所论述的方式由相机记录。获得示出一个或多个反射的图像，例如，类似于图8中所示的图像222或图12中所示的图像230。所述图像可以存储在例如计算机存储器等存储装置上，如本领域中已知。
在步骤274中，处理自动聚焦图像以确定其中的对象的数目以及关于每一对象的信息。下文论述这样做的一种方式。
如由决策步骤276所指示，如果在图像中发现至少两个对象，那么所述方法继续进行到步骤278。否则，已发生错误，且可能需要获得并处理其它图像。
在步骤278中，使来自板的外表面与内表面的反射分别对等(默认对应)于图像的第一与第二所确定对象。
在步骤280中，确定所需焦距。在一个实施例中，所需焦距为物镜与板的内表面之间的距离，且部分地基于从图像的第二对象获得的信息而计算。
图11说明根据一个实施例的处理自动聚焦图像以确定其中的反射对象(或斑点)的数目和关于每一对象的信息的方法300。在方法300中，使用图像处理算法将自动聚焦图像投影到线上，且接着识别投影的峰值以识别多个激光反射的数目和位置。基于识别结果，测量图像中的每一斑点(其中每一斑点为所检测到的反射)的位置、强度、形状和大小。基于每一斑点的相对大小、强度和位置，可以估计物镜相对于内表面的z位置。方法300可以用于例如方法270的步骤274。方法300包括步骤302到314。
在步骤302中，从相机直接获得或从存储装置获得自动聚焦图像。图12中所示的自动聚焦图像230为使用本发明的实施例获得的一个此类图像的实例。图像230大致含有在约1100行和约1100列中的一百万个像素。每一行/列位置对应于图像的单个像素。如图12中所示，在自动聚焦图像230的右上方处在行100与500之间以及列700与1100之间示出两个对象232和234。对象232与234分别表示从板的外表面与内表面反射的激光束的第一反射与第二反射。在一个实施例中，以一系列流从相机或计算机装置获得图像。举例来说，可以从第一行开始一次一行地获得图像。
在步骤304中，裁减所获得的自动聚焦图像以获得所需区域且移除图像的与自动聚焦对象不相关的一个或多个部分。举例来说，可以裁减图像230以移除图像的下一半且获得图13中所示的区域236。移除图像的不相关部分去除了那些部分内的任何对象，以使得那些对象不会错误地用于聚焦计算中。可以在校准先前执行的系统期间确定图像的要使用的区域。其可以取决于物镜内的激光反射所经过的位置以及其它因素。
在步骤306中，确定图像的每一列的代表值且将其存储成线性阵列。阵列的每一位置对应于列中的一个。举例来说，对于区域236，使用约1100的线性阵列，其中阵列中每一位置对应于单独列。在一个实施例中，列的代表值为所述列中的任何像素的最大强度值。在一个实施例中，代表值为列中的所有像素的总强度。
在使用图像236的实例中，阵列的每一位置填入在对应列中发现的最大强度值。已标绘所得值以获得图14中所示的图形投影238。如图14中所示，大致在投影238的列550处观测到几乎为600的最高强度值，其中数个其它强度峰值出现于列560、620、640、720，等处。谷值出现于投影238上的强度峰值之间。峰值与谷值的宽度不同。约为125的恒定“噪声”等级在投影的所有列上恒定。
鉴于以上内容，尽管图像236包含分别表示第一与第二反射的两个对象232与234，但图14中图示的代表性阵列值具有许多强度峰值和谷值，从而使得难以确定存在多少单独的反射对象，更不用说关于每一对象的任何信息。由此，包含步骤308到312以有助于在对象之间进行区分。
在步骤308中，确定对象之间的局部最小值，且获得局部最小值的强度值。首先假定最高强度值与第一或第二反射对象相对应。举例来说，对于投影238，假定反射对象中的一个包含具有最高强度值的列550。
在一个实施例中，首先确定潜在局部最小值。潜在局部最小值为从最高强度列向左与向右至少预定数目个列宽(在下文中称为“预定宽度”)和至少预定数目个列(在下文中称为“预定距离”)的投影的第一谷值的最低强度值。举例来说，如果预定宽度与距离分别为25与30，那么投影238的第一潜在局部最小值将为140，在最高强度列向右的位置590处。第二潜在局部最小值也可能出现在最高强度列左侧，尽管在投影238上并未发现。
局部最小值确定为潜在局部最小值中的最大值。举例来说，投影238的局部最小值为如由LocalMin线指示的140。
在步骤310中，一旦确定了局部最小值，就确定阈值强度。阈值强度用于确定对应于反射对象的列，如下文所论述。阈值强度设定为比局部最小值高的值，以使得可以在对象之间进行清楚区分。在一个实施例中，通过简单地将预定阈值调整值相加到强度局部最小值来获得阈值强度。举例来说，如果预定阈值调整值为40，那么阈值强度为180(140+40)，如由图14中的阈值线所指示。
在步骤312中，使用阈值强度识别且区分反射对象。在一个实施例中，弥合投影的强度峰值之间的小间隙以移除谷值且使曲线平滑。在一个实施例中，如果邻近峰值之间的列距离小于预定值，那么对峰值之间的列的强度值给出介于邻近峰值的强度值之间的新值。在一个实施例中，对峰值之间的列给出最低峰值的强度值。
一旦已使反射平滑化，就将阈值强度应用于每一列以产生二进制阵列；如果投影的列的强度值大于或等于阈值强度，那么就将对应于所述列的二进制阵列位置设定为1；否则，将二进制阵列位置设定为0。二进制阵列的具有重复的1的每一部分潜在地对应于对象。
一旦已填入二进制阵列，就将阈值对象宽度应用于阵列以移除过小的潜在对象。移除1的重复数目小于阈值对象宽度的潜在对象(即，将对应阵列位置重置为0)。阵列中左侧的内容对应于宽度至少为阈值对象宽度的对象，在阵列中由零分隔开。
接着识别二进制阵列中的每一反射对象，包含构成所述对象的列。反射对象通常从最右侧对象开始识别为第一到第n对象。
在步骤314中，计算每一对象的信息。此信息可以包含对象的列图心、平均强度、峰值强度，等。为进行此操作，再次使用原始图像。举例来说，在步骤312中识别为图像的部分的每一列的强度值可以用来确定图像的图心。在一个实施例中，使用图像的所有列的强度来确定图像的强度加权列，类似于质心计算。在另一实施例中，仅使用高于阈值的值来确定强度加权列。接着使用图心来表示反射对象的位置。可以保存每一对象的信息。
图15说明移行成像组件到所需焦点位置的方法320。所需焦点位置对应于导致样品处于焦点上的z位置。方法320可以用作例如方法250的步骤258。方法320包括步骤322到336。
在步骤322中，基于训练时确定的值以及来自在本方法期间使用的值的结果来估计物镜的所需z位置。目标为将物镜置于在与训练图像相同的列位置处产生内表面的反射图像的z位置。
在步骤324中，例如通过驱动机构将物镜移动到所需z位置，如本领域中已知。
在步骤326中，如上文所论述(例如见方法270的步骤272)而产生自动聚焦图像。
在步骤328中，例如以上文所论述的方式处理所述自动聚焦图像以确定其中的对象的数目以及关于每一对象的信息。
在步骤330中，将自动聚焦图像的内表面反射的列位置添加到用于移行处理的一组此类列位置。如果是第一次进行本移行方法的步骤330，那么列位置组将仅包含这个第一列位置。
如在决策步骤332中所反映，如果经训练图像的内表面反射的列位置在列位置组的最高值与最低值之间，那么所述方法继续进行到步骤334。否则，所述方法返回到步骤322以再次执行步骤322到330。每次执行步骤322时，可以使用每次进行所述循环时添加的列位置组来更好地估计新的所需z位置。
在步骤334中，一旦经训练图像的内表面反射的列位置在列位置组的最高值与最低值之间，那么确定物镜所要使用的z位置(即，焦点位置)。在一个实施例中，使用关于经训练图像的列位置组的最高值和最低值来内插焦点位置。在另一实施例中，使用三个值来内插焦点位置：最接近于经训练图像的内表面反射的列位置的列位置组的第一值，以及在所述第一值两侧上的列位置的两个值。
在步骤336中，例如通过驱动机构将物镜移动到焦点位置以用于成像，如本领域中已知。
图16说明移行成像组件到所需焦点位置的另一方法340。方法340包括步骤342到352。
除了确定可以退出循环的方式之外，方法340类似于方法320。由此，步骤342、344、346、348与350分别对应于方法320的步骤322、324、326、328与330。然而，如在决策步骤352中所反映，如果自动聚焦图像的内表面反射的列位置在距经训练图像的内表面反射的列位置的预定列距离内，那么已获得焦点位置。因为物镜已经在焦点位置处，因此其不必移动到那里。
图17说明移行成像组件到所需焦点位置的另一方法360。方法360包括步骤362到380。
方法360也类似于方法320，只是经训练图像的内表面反射的列位置需要处于列位置组的最高值与最低值之间，而且列位置组的值中的一个还需要接近于经训练图像的内表面反射的列位置。
由此，步骤362、364、366、368、370与372分别对应于方法320的步骤322、324、326、328、330与332。当确定经训练图像的内表面反射的列位置在列位置组的最高值与最低值之间时，所述方法继续进行到步骤374。
在步骤374中，确定列位置组中的最接近于经训练图像的内表面反射的列位置的值的值。
如在决策步骤376中所反映，如果在步骤374中确定的值在距经训练图像的内表面反射的列位置的预定量内，那么所述方法继续进行到步骤380。否则，所述方法返回到步骤362以再次执行步骤362到374。
在步骤378中，一旦列位置组中的值中的一个在距经训练图像的内表面反射的列位置的预定量内，就确定物镜所要使用的z位置(即，焦点位置)。在一个实施例中，使用在步骤374中确定的值和列位置组内的另一值来内插焦点位置。
图18为LAF装置400的另一实施例。LAF装置400为可以插入到HCI成像器中(例如插入到其中的传统插槽中)的独立单元。独立LAF装置可以与在发射路径中具有开放插槽的任何系统集成或经由荧光激发路径的共享电动化双色而集成。
类似于非独立LAF装置，独立LAF装置包含例如激光二极管的激光产生元件、介刀以及准直透镜。此外，独立LAF装置400还可以包含用以朝向板、相机(例如CCD或CMOS相机)反射激光以记录激光反射的双色元件以及例如微处理器的用以控制LAF装置的计算机装置。益处可以包含：(a)具有用于LAF装置的专用处理器，(b)归因于与马达控制器(例如指示马达已完成其移动的硬件触发器)的直接耦合而增大速度，以及(c)可以按比HCI装置的成像相机高的速度(例如视频率速度)操作LAF图像记录器。
在一个实施例中，可以包含搜索算法以反复地改善z位置估计。搜索可以产生最佳z位置的反复估计，且最终估计可以是来自反复估计的结果的加权平均值。最终估计可能较不易于受到由反射位置处的塑料的激光强度变化、振动、缺陷等造成的错误的影响。
在一个实施例中，可以使用机器学习方法。在此方法中，对于当前实验呈现一组训练激光图像(物镜、板类型和样品)。系统对这些图像进行训练，以使得当呈现新激光自动聚焦图像时，系统可以产生到内表面(且因此到样品)的距离的估计。这一实施例的益处包含：(a)不需要图像处理来识别反射的位置和数目，因此减少潜在错误；(b)训练算法可以有效地决定如何相对于输出z位置估计对位置、强度、形状和大小的重要性进行加权；以及(c)不同反射的纹理质量可以包含于算法中，这可以添加额外稳定性水平，因为来自每一反射表面的反射通常具有稍微不同的光学质量。
应理解，关于本文中的各种实施例描述的特征可以在任何组合中混合且匹配而不脱离本发明的精神和范围。在不脱离本发明精神或基本特征的情况下，可以其它特定形式实施本发明。所描述的实施例应视为在所有方面均仅为说明性而非限制性的。因此，本发明的范围由所附权利要求书而不是由前述描述指示。在权利要求书等效物的含义和范围内的所有变化均涵盖在权利要求书的范围内。

Claims (20)

1.一种通过HCI系统对定位在板上的生物样品进行聚焦的方法，所述板具有内表面和外表面，所述HCI系统具有用于对生物样品进行成像的成像组件和相机，所述方法包括：
在所述成像组件的第一z位置处并且在不从所述第一z位置移动所述成像组件的情况下，将激光束经由所述成像组件照向所述板，以使得所述激光从所述板的所述内表面和所述外表面的反射向后通过所述成像组件且到达所述相机；
通过所述相机产生在所述第一z位置处所接收的反射的图像，所述图像包括组织成多列的多个像素；
通过计算机化装置处理所述图像以估计所述成像组件与所述板的所述内表面之间的z距离，其中处理所述图像包括：
确定所述多列中的每一列的代表值；
用所述代表值填充线性阵列；
从所述线性阵列中识别和区分两个或更多个对象，所述两个或更多个对象对应于在所述第一z位置处的所接收的反射；
基于所识别和区分的两个或更多个对象，确定所述板的内表面的列位置；以及
基于针对所述板的内表面确定的所述列位置，估计所述成像组件与所述板的内表面之间的所述z距离；以及
基于所估计的z距离将所述成像组件移动到使所述生物样品聚焦的z位置。
2.根据权利要求1所述的方法，其中所述成像组件包括显微镜的物镜。
3.根据权利要求2所述的方法，其中所述激光束从所述物镜的中心偏移。
4.根据权利要求1所述的方法，其中所述z距离是在与所述板垂直的方向上测量到的距离。
5.根据权利要求1所述的方法，其中所述z距离直接对应于所述内表面反射在所述图像上的位置。
6.根据权利要求1所述的方法，其中通过计算机化装置处理所述图像包括：
裁剪所述图像以获得所需区域，其中，所述代表值针对所述所需区域的每一列而确定，并且其中，所述线性阵列被针对所述所需区域的每一列确定的所述代表值填充；
确定所述线性阵列的局部最小值；
基于所述局部最小值确定阈值；
基于所述阈值识别且区分对应于所述所接收反射的对象；
基于所识别和区分的对象确定所述内表面反射的列位置；以及
基于针对所述内表面反射确定的所述列位置估计所述成像组件与所述板的内表面之间的所述z距离。
7.根据权利要求6所述的方法，其中每一列的所述代表值包括在所述列的任何行中发现的最大强度值。
8.根据权利要求6所述的方法，其中所述局部最小值包括距具有最高强度值的所述列至少预定数目个列的最小强度值。
9.根据权利要求6所述的方法，其中所述阈值是通过将预定阈值调整值相加到所述局部最小值而确定。
10.根据权利要求6所述的方法，其中识别且区分对应于所述所接收反射的对象包括：
弥合所述线性阵列的强度峰值之间的间隙；
将所述阈值应用于所述线性阵列的所述值以产生二进制阵列；
从所述二进制阵列移除小于阈值对象宽度的潜在对象表示；以及
基于所述二进制阵列中剩余的所述值确定反射对象。
11.一种在HCI系统中执行生物样品筛查的方法，所述生物样品定位在板的凹孔上，所述板具有内表面和外表面，所述HCI系统具有用于对所述生物样品进行成像的物镜和相机，所述方法包括：
手动地建立所述物镜的所需焦点位置；
训练所述系统以使所述所需焦点位置与所述板的所述内表面的激光反射在所述相机所拍摄的第一图像上的第一位置相关；
对于待成像的每一生物样品：
使所述物镜与所述样品对准；
产生由所述相机拍摄的后续图像，所述后续图像包括在所对准的物镜处接收的激光反射；
从所述后续图像中确定所述板的内表面上的所述激光反射的第二位置；
将所述物镜移行到对应于所述样品的沿z轴的估计焦点位置，所述估计焦点位置是基于所述激光反射的第一z位置与对应于所对准的物镜的所述板的所述内表面的激光反射的所述第二位置之间的比较；以及
使用处于所述估计焦点位置的所述物镜执行所述样品的筛查。
12.根据权利要求11所述的方法，其中训练所述系统包括：
处理所述相机拍摄的所述第一图像以确定所述第一图像上的第一反射对象和第二反射对象；以及
确定对应于所述内表面激光反射的所述反射对象在所述第一图像上的位置。
13.根据权利要求12所述的方法，其中移行所述物镜包括：
估计所述物镜的所需z位置；
将所述物镜移动到所述估计z位置；
使用所述相机产生第二图像；
通过计算机化装置处理所述第二图像以确定对应于所述物镜的所述对准位置的所述板的所述内表面的所述激光反射在所述第二图像上的位置；以及
基于所述内表面反射在所述第一图像和所述第二图像上的所述位置确定所述估计焦点位置。
14.根据权利要求13所述的方法，其中所述z位置是在与所述板垂直的方向上测量到的位置。
15.根据权利要求13所述的方法，其中所述焦点直接对应于所述内表面反射在所述图像上的所述位置。
16.一种HCI系统，其包括：
可移除式板，其具有内表面和对置外表面，所述板适于将生物样品接收在所述内表面上；
成像组件，其放大所述生物样品且聚焦于所述生物样品上；
基于激光的自动聚焦LAF装置，其将激光束经由所述成像组件照向所述板，以使得所述激光从所述板的所述内表面和所述外表面的反射向后通过所述成像组件；以及
驱动机构，其使所述成像组件在z方向上朝向且远离所述板而移动；
相机，其记录从所述成像组件接收的所述生物样品的图像，对于要成像的每个生物样品包括图像，该图像至少包含在第一z位置处的来自所述板的内表面和外表面的激光的反射；以及
计算机装置，其针对要成像的每个生物样品，基于对由所述相机记录的包含在所述第一z位置处的来自所述板的内表面和外表面的所述激光的所述反射的所述图像的分析而确定将所述成像组件在所述z方向上移动到何处。
17.根据权利要求16所述的系统，其中所述成像组件包括显微镜的物镜。
18.根据权利要求17所述的系统，其中所述LAF装置经定位以使得经由所述物镜照射的所述激光束从所述物镜的中心偏移。
19.根据权利要求16所述的系统，其中所述z方向为与所述板垂直的方向。
20.根据权利要求16所述的系统，其中所述计算机装置基于所述内表面反射在所述图像上的位置确定将所述成像组件移动到何处。
CN201580049904.6A 2014-08-06 2015-07-29 基于图像的激光自动聚焦系统 Active CN107076964B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462034045P 2014-08-06 2014-08-06
US62/034,045 2014-08-06
PCT/US2015/042725 WO2016022359A1 (en) 2014-08-06 2015-07-29 Image-based laser autofocus system

Publications (2)

Publication Number Publication Date
CN107076964A CN107076964A (zh) 2017-08-18
CN107076964B true CN107076964B (zh) 2020-01-03

Family

ID=53785775

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580049904.6A Active CN107076964B (zh) 2014-08-06 2015-07-29 基于图像的激光自动聚焦系统
CN201520769509.2U Active CN205958834U (zh) 2014-08-06 2015-08-05 基于图像的激光自动聚焦系统

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201520769509.2U Active CN205958834U (zh) 2014-08-06 2015-08-05 基于图像的激光自动聚焦系统

Country Status (4)

Country Link
US (1) US10274715B2 (zh)
EP (1) EP3213136B1 (zh)
CN (2) CN107076964B (zh)
WO (1) WO2016022359A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534402A (en) * 2015-01-22 2016-07-27 Idea Biomedical Ltd Auto-focussing method and device
CN107438495B (zh) 2015-02-12 2021-02-05 格罗弗治公司 云控制激光制造
US10509390B2 (en) 2015-02-12 2019-12-17 Glowforge Inc. Safety and reliability guarantees for laser fabrication
JP6698421B2 (ja) * 2016-05-17 2020-05-27 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
WO2018098397A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Calibration of computer-numerically-controlled machine
WO2018098398A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Preset optical components in a computer numerically controlled machine
WO2018098399A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Controlled deceleration of moveable components in a computer numerically controlled machine
CN110226137A (zh) 2016-11-25 2019-09-10 格罗弗治公司 借助图像跟踪进行制造
WO2018098396A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Multi-user computer-numerically-controlled machine
WO2018098395A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Improved engraving in a computer numerically controlled machine
WO2018098393A1 (en) 2016-11-25 2018-05-31 Glowforge Inc. Housing for computer-numerically-controlled machine
US10630913B2 (en) * 2017-04-27 2020-04-21 Aptiv Technologies Limited Lidar and camera data fusion for automated vehicle
CN107290717B (zh) * 2017-05-19 2019-07-26 中国人民解放军信息工程大学 针对非圆信号的多目标直接定位方法
EP3418789A1 (de) * 2017-06-20 2018-12-26 Euroimmun Medizinische Labordiagnostika AG Verfahren und mikroskopiesystem zum aufnehmen eines bildes
CN109283672B (zh) * 2017-07-19 2021-05-28 深圳华大智造科技股份有限公司 自动对焦装置
JP6899963B2 (ja) 2017-09-29 2021-07-07 ライカ バイオシステムズ イメージング インコーポレイテッドＬｅｉｃａ Ｂｉｏｓｙｓｔｅｍｓ Ｉｍａｇｉｎｇ， Ｉｎｃ． リアルタイムの自動焦点調節走査
JP6993423B2 (ja) * 2017-11-02 2022-01-13 富士フイルム株式会社 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
AU2018375358B2 (en) * 2017-11-28 2021-02-04 Leica Biosystems Imaging, Inc. Dual processor image processing
EP3857284B1 (en) * 2018-09-27 2023-12-27 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method of and apparatus for forming and shifting a light intensity distribution in a focal area of an objective lens
DE102018133188A1 (de) * 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem
ES2912473T3 (es) * 2018-12-20 2022-05-25 Euroimmun Medizinische Labordiagnostika Ag Procedimiento y sistema de microscopía para obtener una imagen de fluorescencia microscópica de un área para la muestra con una muestra biológica
EP3757648B1 (en) * 2019-06-28 2023-08-30 Associação Fraunhofer Portugal Optical system attachable to a mobile device for scanning biological sample slides and operating method thereof
CN111390377B (zh) * 2020-03-27 2021-08-20 伊诺福科光学技术有限公司 一种用于激光加工的表面自动聚焦方法及系统、存储介质
US11740608B2 (en) 2020-12-24 2023-08-29 Glowforge, Inc Computer numerically controlled fabrication using projected information
US11698622B2 (en) 2021-03-09 2023-07-11 Glowforge Inc. Previews for computer numerically controlled fabrication

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278190A (zh) * 2005-09-29 2008-10-01 奥林巴斯株式会社 焦点位置决定方法、焦点位置决定装置、微弱光检测装置及微弱光检测方法
CN102648389A (zh) * 2009-05-19 2012-08-22 生物纳米基因公司 用于动态确定样品空间取向并动态重新定位的装置和方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548661A (en) * 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
JP2696044B2 (ja) * 1992-07-14 1998-01-14 株式会社ミツトヨ 合焦検出方法、これを用いた非接触変位測定方法及び装置
US5483055A (en) * 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
US5594235A (en) * 1993-06-17 1997-01-14 Ultrapointe Corporation Automated surface acquisition for a confocal microscope
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
US20020186874A1 (en) * 1994-09-07 2002-12-12 Jeffrey H. Price Method and means for image segmentation in fluorescence scanning cytometry
IL148664A0 (en) * 2002-03-13 2002-09-12 Yeda Res & Dev Auto-focusing method and device
US7283253B2 (en) * 2002-03-13 2007-10-16 Applied Precision, Llc Multi-axis integration system and method
EP1618176A2 (en) * 2003-04-14 2006-01-25 Surface Logix, Inc. Devices and assays for monitoring/measuring cellular dynamics to create subject profiles from primary cells
WO2004113922A2 (en) * 2003-06-19 2004-12-29 Applied Precision, Llc System and method employing photokinetic techniques in cell biology imaging applications
US7813579B2 (en) * 2004-05-24 2010-10-12 Hamamatsu Photonics K.K. Microscope system
US20060001954A1 (en) * 2004-06-30 2006-01-05 Michael Wahl Crystal detection with scattered-light illumination and autofocus
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
EP2067021A2 (en) * 2006-09-14 2009-06-10 Oxford Gene Technology IP Limited Apparatus for imaging single molecules
US7865007B2 (en) * 2006-10-30 2011-01-04 Olympus Corporation Microscope system, observation method and observation program
JP5259207B2 (ja) * 2008-02-05 2013-08-07 オリンパス株式会社 細胞画像解析装置及びその方法並びにそのソフトウェア
EP2288903A4 (en) * 2008-05-16 2012-03-21 Biomedical Photometrics Inc IMAGING SYSTEM WITH OPTIMIZATION OF THE DYNAMIC RANGE
US8571342B2 (en) * 2008-08-27 2013-10-29 Adobe Systems Incorporated Image processing and generation of focus information
GB2466830B (en) * 2009-01-09 2013-11-13 Ffei Ltd Method and apparatus for controlling a microscope
WO2011028818A2 (en) * 2009-09-01 2011-03-10 Trustees Of Boston University High throughput multichannel reader and uses thereof
SG187479A1 (en) * 2009-10-19 2013-02-28 Ventana Med Syst Inc Imaging system and techniques
US8362409B2 (en) * 2009-10-29 2013-01-29 Applied Precision, Inc. System and method for continuous, asynchronous autofocus of optical instruments
JP5732265B2 (ja) * 2011-01-24 2015-06-10 株式会社キーエンス 顕微鏡システム、焦点位置検出方法および焦点位置検出プログラム
DE102011077236A1 (de) * 2011-06-08 2012-12-13 Carl Zeiss Microlmaging Gmbh Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung
US9360659B2 (en) * 2011-08-10 2016-06-07 Molecular Devices, Llc Method for presenting and evaluation of images of micro-titer plate properties
US20130064468A1 (en) * 2011-09-12 2013-03-14 Perkinelmer Cellular Technologies Germany Gmbh Methods and Apparatus for Image Analysis and Modification Using Fast Sliding Parabola Erosian
US10001622B2 (en) * 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
US9031399B2 (en) * 2012-04-17 2015-05-12 Mitutoyo Corporation Autofocus mechanism
US20140168402A1 (en) * 2012-12-13 2014-06-19 Vala Sciences, Inc. Continuous-Scanning Image Acquisition in Automated Microscopy Using Reflective Autofocus
US8970850B2 (en) * 2012-12-14 2015-03-03 University Of New Brunswick Method and apparatus for surface profilometry
JP6123360B2 (ja) * 2013-03-07 2017-05-10 セイコーエプソン株式会社 分光測定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101278190A (zh) * 2005-09-29 2008-10-01 奥林巴斯株式会社 焦点位置决定方法、焦点位置决定装置、微弱光检测装置及微弱光检测方法
CN102648389A (zh) * 2009-05-19 2012-08-22 生物纳米基因公司 用于动态确定样品空间取向并动态重新定位的装置和方法

Also Published As

Publication number Publication date
CN107076964A (zh) 2017-08-18
US10274715B2 (en) 2019-04-30
EP3213136B1 (en) 2020-06-03
US20160041380A1 (en) 2016-02-11
WO2016022359A1 (en) 2016-02-11
EP3213136A1 (en) 2017-09-06
CN205958834U (zh) 2017-02-15

Similar Documents

Publication Publication Date Title
CN107076964B (zh) 基于图像的激光自动聚焦系统
EP1942333B1 (en) Optical autofocus for use with microtiter plates
US10365468B2 (en) Autofocus imaging
JP5703609B2 (ja) 顕微鏡及び領域判定方法
CN107407551B (zh) 用于使显微镜自动聚焦到基片上的方法、系统及装置
Liron et al. Laser autofocusing system for high‐resolution cell biological imaging
JP2008276070A (ja) 拡大撮像装置
US20110317156A1 (en) Inspection device for defect inspection
JP6534658B2 (ja) スキャニング顕微鏡、およびスキャニング顕微鏡の点像分布関数（ｐｓｆ）を決定する方法
CN105203507A (zh) 远心、宽场荧光扫描成像系统和方法
CN113795778A (zh) 用于无限远校正显微镜的自校准和定向聚焦系统和方法
CN111985292A (zh) 用于图像处理结果的显微镜方法、显微镜和具有验证算法的计算机程序
JP2018533070A (ja) フォトルミネセンス撮像のための徹照ベースの自動フォーカシングを備えた顕微鏡システム
Liao et al. Deep learning-based single-shot autofocus method for digital microscopy
EP3884327B1 (en) Real-time focusing in a slide-scanning system
CN103299231A (zh) 光扫描系统
WO2019114760A1 (zh) 成像方法、装置及系统
CN114994895A (zh) 用于试样的光片显微镜检测的方法和装置
US11971531B2 (en) Method and microscope for determining the thickness of a cover slip or slide
CN114326074A (zh) 用于生成样品概览图像的方法和显微镜
JP5085460B2 (ja) 共焦点走査型顕微鏡装置
EP2390706A1 (en) Autofocus imaging.
JP2007279085A (ja) 共焦点顕微鏡
Liao Imaging Innovations for Whole-Slide and Hyperspectral Microscopy
CN117120907A (zh) 补偿衬底厚度误差的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: CELLOMICS, INC.

Address before: American Pennsylvania

Applicant before: CELLOMICS, INC.

GR01 Patent grant
GR01 Patent grant