CN205958834U - 基于图像的激光自动聚焦系统 - Google Patents

基于图像的激光自动聚焦系统 Download PDF

Info

Publication number
CN205958834U
CN205958834U CN201520769509.2U CN201520769509U CN205958834U CN 205958834 U CN205958834 U CN 205958834U CN 201520769509 U CN201520769509 U CN 201520769509U CN 205958834 U CN205958834 U CN 205958834U
Authority
CN
China
Prior art keywords
image
laser
sample
forming block
plate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201520769509.2U
Other languages
English (en)
Inventor
R·A·库恩
K·A·伊波利托
D·J·范登伯格三世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cellomics Inc
Original Assignee
Cellomics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cellomics Inc filed Critical Cellomics Inc
Application granted granted Critical
Publication of CN205958834U publication Critical patent/CN205958834U/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0088—Inverse microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/244—Devices for focusing using image analysis techniques
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G02B21/245—Devices for focusing using auxiliary sources, detectors
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/671—Focus control based on electronic image sensor signals in combination with active ranging signals, e.g. using light or sound signals emitted toward objects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)

Abstract

本申请公开了一种基于图像的激光自动聚焦系统。该系统包括可移动的板，具有内表面和相对的外表面，所述板被适配成在所述内表面上接收生物样品；成像部件，所述成像部件放大所述生物样品并聚焦在所述生物样品上；基于激光的自动聚焦LAF设备，所述基于激光的自动聚焦设备通过所述成像部件朝向所述板照射激光束，以使得所述激光从所述板的内表面和外表面的反射往回通过所述成像部件；以及驱动机构，所述驱动机构在z方向上朝向和远离所述板移动所述成像部件；相机，所述相机记录从所述成像部件接收的所述生物样品的图像；控制器，所述控制器基于内表面反射的图像上的位置来确定在所述z方向上向哪里移动所述成像部件。

Description

基于图像的激光自动聚焦系统
技术领域
本申请涉及用于自动聚焦成像设备的系统和方法。更具体而言，本申请涉及使用基于图像的激光自动聚焦系统对使用载玻片或微量滴定板的经由透镜显微镜应用进行自动聚焦。
背景技术
为了对板或载玻片上的样品进行成像，使用成像设备。更靠近或者进一步远离彼此移动成像设备和/或样品，直至样品通过成像设备而聚焦。对于自动化系统（诸如高内涵（content）成像（HCI）系统），常常使用自动聚焦来加速这一过程。
目前使用各种类型的自动聚焦系统，包括基于图像的系统和基于激光的系统。虽然这些传统的系统相比非自动聚集系统提供某些优点，然而它们具有某些缺点并且它们并不总是以期望的速度提供自动化系统所要求的聚焦水平。
实用新型内容
公开了一种基于图像的激光自动聚焦系统。该系统包括可移动的板，具有内表面和相对的外表面，所述板被适配成在所述内表面上接收生物样品；成像部件，所述成像部件放大所述生物样品并聚焦在所述生物样品上；基于激光的自动聚焦LAF设备，所述基于激光的自动聚焦设备通过所述成像部件朝向所述板照射激光束，以使得所述激光从所述板的内表面和外表面的反射往回通过所述成像部件；以及驱动机构，所述驱动机构在z方向上朝向和远离所述板移动所述成像部件；相机，所述相机记录从所述成像部件接收的所述生物样品的图像；控制器，所述控制器基于内表面反射的图像上的位置来确定在所述z方向上向哪里移动所述成像部件。
针对使用载玻片或微量滴定板的经由透镜显微镜应用提出准确、可靠和稳健的基于激光的自动聚焦解决方案。基于激光的自动聚焦解决方案解决了由于在相对于感兴趣样品的变化的距离处的多个反射表面所出现的很多问 题。基于激光的自动聚焦解决方案提供了一种独特的解决方案以通过使用基于图像的方法来解决由这些多个反射表面所引起的不确定性。
前面的概述仅是说明性的，并且不旨在以任何方式进行限制；提供该概述以按照简化形式来介绍下面在详细说明中进一步描述的概念的选择。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用作确定所要求保护的主题的范围的辅助。
在随后的描述中将阐述附加的特征和优点，并且这些附加的特征和优点部分地将根据该描述而显而易见，或者可通过实践本文中所描述或所设想的实施例来获悉。可借助于所附权利要求中所指出的仪器和组合来实现和获得本文中所描述或设想的实施例的特征和优点。这些和其它特征将根据下面的描述和所附权利要求而将变得更加明显，或者可通过实践如下文中所阐述的本文中所描述或设想的实施例来获悉。
附图说明
现在将参照附图讨论各个实施例。应当理解，这些附图仅描绘典型的实施例，并且因此不视为限制本申请的范围。还应当理解，不必按照比例绘制这些附图，并且可仅为了清晰缘故而绘制某些元件。
在附图中，相同数字指定相同元件。此外，元件的多个实例可各自包括附加于元件号的单独的字母。例如，特定元件“20”的两个实例可被标记为“20a”和“20b”。在此情形中，可在没有附加字母的情况下使用元件标记（例如，“20”）来一般指代该元件的每个实例；而当指代该元件的具体实例时，元件标记将包括附加字母（例如，“20a”）。
图1是示出了成像板的多个表面以及可从该多个表面发生的反射的框图。
图2示出了其中在孔或板中样品的z-位置可彼此不同的示例。
图3是示出了离焦和聚焦的图像之间的差别的图像。
图4示出了包含本文中所公开或设想的特征的系统的示例实施例。
图5是根据一个实施例的细胞（cell）成像设备的截面侧视图。
图6是图5的细胞成像设备的截面顶视图，示出了激发光和发射光通过该设备的流动。
图7示出了包含本文中所公开或设想的特征的系统的示例实施例。
图8示出了根据一个实施例的使用激光自动聚焦设备对样品进行聚焦的方法。
图9示出了根据一个实施例的在高内涵成像系统中对样品进行成像的方法。
图10示出了根据一个实施例的确定训练图像的信息的方法。
图11示出了根据一个实施例的处理自动聚焦图像的方法。
图12和13是使用本文中所描述的方法所获得的样品图像。
图14是针对对应于图14的每一列的最大强度的投影。
图15示出了根据一个实施例的使成像部件跟踪到期望的焦点位置的方法。
图16示出了根据另一个实施例的使成像部件跟踪到期望的焦点位置的方法。
图17示出了根据另一个实施例的使成像部件跟踪到期望的焦点位置的方法。
图18示出了根据一个实施例的独立的LAF系统。
具体实施方式
如说明书中所使用的，以单数形式出现的单词包含其复数，并且以复数形式出现的单词包含其单数，除非另有隐含或明确地理解或陈述。此外，要理解，对于本文中所描述的任何给定的部件或实施例，通常可单独或彼此结合地使用针对该部件所列出的任何可能的候选或替代，除非另有隐含或明确地理解或陈述。此外，将理解这些候选或替代的任何列表仅仅是说明性而非限制性的，除非另有隐含或明确地理解或陈述。另外，除非另外指出，说明书和权利要求书中所使用的表示成分的量、组分、反应条件等的数字要被理解为通过“大约”来进行修改。
因此，除非相反地指出，否则在说明书和所附权利要求书中阐述的数值参数是近似值，这些近似值可取决于由本文中所呈现的主题所寻求获得的期望的性质而变化。至少并且没有尝试将等同原则的应用限制到权利要求的范围，应当至少按照所报告的有效数位的数量并且通过应用普通的舍入技术来解 释每个数值参数。尽管阐述本文中所呈现的主题的宽泛范围的数值范围和参数是近似值，但是在特定示例中所阐述的数值是尽可能精确地被报告的。然而，任何数值都固有地包含必定从它们各自的测试测量中发现的标准偏差所得到的一定误差。
此外，如说明书和所附权利要求书中所使用的，方向性术语（诸如，“顶部”、“底部”、“左”、“右”、“上”、“下”、“上部”、“下部”、“近侧”、“远侧”等）在本文中仅用于指示相对方向，并且不旨在在其它方面限制说明书或权利要求的范围。
如图1中所示，为了对板或载玻片152上的样品150成像，使用成像部件154，例如显微镜物镜。为了易于讨论，我们的讨论将基于被设置在板上的样品。不过，应当理解，此处的讨论也可被应用于样品可被设置在其上以进行成像的载玻片或其他设备。
垂直地更接近或进一步远离彼此移动成像部件154和/或板152以通过成像部件154聚焦样品150。参照图1，在此将垂直的运动方向定义为z方向。由此，任何部件在z方向上的位置可被称为该物品的“z位置”，并且部件之间在z方向上的距离可被称为部件之间的“z距离”。此处，当样品处于焦点时，成像部件154与样品150之间的z距离将被定义为“焦距”。我们也将成像部件154和样品150的z位置称作每个物品的“焦点（focal）位置”。
如图1中所示，成像部件154与样品150之间的z距离是（1）成像部件154与板152之间的z距离，（2）通过板152的z距离，以及（3）从板152到样品150的期望成像部分的z距离的组合。典型地，样品150的待成像的期望部分在板152的表面处，基本上无需考虑板与样品的该部分之间的z距离。
如果样品150在成像期间没有处于焦点，则多种问题可出现。为了聚焦，成像部件154必须处于远离样品150的特定焦距处。
在z方向上移动成像部件154和/或样品150以改变它们之间的z距离，直至该样品进入焦点（come into focus）。在该点处，z距离等于焦距并且样品和成像部件处于与焦距对应的焦点位置处。尽管此处的讨论将针对移动成像部件154以获得期望的焦距，不过应当理解的是，还可替代地或连同成像部件154移动板152。还应当理解，可将成像部件154设置在样品150之上或之下。
由于板152被设置在样品150与成像部件154之间，每个样品的z位置将随着板的形状或位置的变化而变化。作为结果，样品在一个场（field）中的z位置可能不同于样品在另一个场中的z位置。由此，如果不移动成像部件，则每个样品与成像部件之间的z距离可变化。
图2示出了一个示例，其中在一个孔（well）或板中，样品的z位置可彼此不同。如所描绘的，弯曲164可存在于一个或多个孔166中的每一个上。该弯曲可使z距离在物镜与相应的孔中的每个样品之间变化。此外，弯曲168可存在于整个板152a上。该弯曲可使z距离在物镜与不同孔中的样品之间变化。诸如在所描绘的实施例中的这两种类型的弯曲164与168的组合可使问题加剧。此外，板在它的厚度方面可具有随机的变化，这使得该问题事实上不可能被建模。实际上，甚至在以同一制造运行所制造的板上，板的形状也可不可预测地变化。
由于这些z距离变化，成像部件154的z位置必须相应地改变以维持到每个样品的正确的焦距，并且有效地“移除”如由图2的底部所表示的不期望的板和/或孔弯曲，这样做将允许在期望的焦距处对每个样品成像。
为了尝试解决这一问题，已经采用基于图像的自动聚焦来确定每个场中样品的z位置，这随后可被用于移动成像部件和/或板以到达正确的焦距处。在该方法中，使用与为了筛选（screening）目的（例如，荧光，明视场等）而对样品成像时所使用的相同的检测模式来为了自动聚焦目的而对样品成像。尽管此方法已提供了众多益处，不过其具有多个缺点，包括：
速度—必须在搜索正确的焦距的同时在不同的z距离处拍摄图像。这在对样品进行成像所需的曝光时间较长时会成为问题。
光漂白—由聚焦成像所引起的光漂白可影响样品，并且因此改变所得的被用于筛选的样品的图像。
厚样品—当样品比光学系统的景深更厚时，在场与场之间，视觉上最佳的聚焦图像可能并不处于到样品中的相同的相对位置。这可引起在截然不同的区域中进行测量，从而可导致结果的误释。
难以成像或者稀疏的生物—有时，样品难以进行成像或者样品在板上是非常稀疏的。这可使基于软件的自动聚焦算法选择并非正确的聚焦位置。
基于激光的自动聚焦（LAF）系统克服了这些问题中的多个。LAF系统采用激光器来确定焦距。由此，LAF系统使用一种与通过设备筛选（screen）样品所使用的成像模式不同的成像模式。激光器通过检测板的表面来确定板的位置。这随后被用作参考来估算在何处找到样品。例如，可估算出样品位于距板的位置固定数量的微米处。为了确定板的位置，LAF系统可使用板与周围介质之间的界面的反射率。
对于样品位于载玻片与盖玻片之间或者位于微量滴定板上、成像系统必须通过板的透明塑料或玻璃底部而聚焦的显微镜应用来说，激光自动聚焦系统存在有特定问题—典型地存在多个反射表面，每个反射表面处于不同的z位置处。例如，在图1中所示的实施例中存在至少三个反射表面—板152的上表面和下表面156，158以及样品150被设置在其中的介质162的上表面160。这些表面中的每一个都可产生对激光的单独的反射，而这会引起自动聚焦系统的混淆。
第一并且典型地最亮的反射来自于板的最近的表面（例如，板152的下表面156）。在此该表面将被称为“外”表面。由空气与板的材料（典型地为塑料或玻璃）之间的界面引起来自外表面的反射。
不过，外表面并非感兴趣的样品通常在z方向上所处的地方。相反，样品典型地位于板的更远的表面处或超过该更远的表面。例如，如图1中所描绘的，样品150位于板152的上表面158处或者稍微超过上表面158。此更远的表面在本文中将被称为“内”表面。
第二反射来自于该内表面，并且是由板的材料与包围样品的空气或液体介质之间的界面所引起的。第二反射通常远弱于第一反射，使得第二反射难以检测或者难以与第一反射区分开。其他反射可来自于其他表面，使得检测和区分困难得多。例如，如图1中所描绘的，第三反射可来自于介质162的上表面160、由介质与空气之间的界面引起。
如上所述，外表面与内表面之间的z距离可在板上和/或在板内的孔上变化。作为结果，外表面的z位置通常不是用于确定样品的z位置的好的参考。相反，由于样品通常被直接定位在板的内表面上，因而内表面的z位置是使用的更好的参考。如果可确定内表面的z位置，则其可被用于更准确地定位 成像部件以获得聚焦图像。
LAF系统已经采用两种主要的方法来尝试确定微量滴定板和具有盖玻片的载玻片的内表面和外表面的z位置。在第一种方法中，同时检测来自内表面和外表面的反射并且表面的位置指示距焦点的z位置。为完成这一点，与表面的入射角成一定角度地定位激光器，从而使得当使激光照射到板上时，各个反射以某一角度各自返回，类似于图1中所示的。线性的传感器阵列被定位成检测这些反射。由于激光的角度，这些反射以与彼此不同的位置返回在传感器阵列上。作为结果，可使用由线性阵列所检测到的这些反射的位置来确定各个表面的z位置。这允许使用激光信号的单次测量来确定对样品的z位置的估算。
不过，该第一种方法是有局限性的，因为（a）不同的反射具有显著不同的强度，然而必须依然通过线性传感器阵列同时捕获不同的反射，（b）由于角度接近，不同的反射常常在传感器上彼此重叠，以及（c）任何角度变化或板表面的变形都将在线性传感器阵列上引起移动。这可使得难以同时检测两个反射。此外，由于必须以可同时观察两个反射的方式来完成激光器设置，因而难以设计容纳板厚度和景深变化的不同物镜两者的变化的单个设置。
在第二种方法中，独立地检测来自内表面和外表面的反射。为完成这一点，使用传感器来检测并分析通过成像部件的激光的反射。随着反射进入焦点，其变得越小并且强度增加，如图3的图像170和172所示。作为结果，该系统可使用由传感器所测量的尺寸和强度来检测界面何时进入焦点。例如通过使用刀可使激光为非对称的，这将使反射指示朝哪个方向移动以获得焦点。通过一个或两个大面积传感器来测量激光反射，其测量反射的总强度值。该第二种方法没有利用单次测量来预测样品的准确的z位置—相反，使用搜索算法来移动成像部件直至确定表面的z位置。
第二种方法解决了第一种方法所存在的很多问题，不过依然具有若干缺点。例如，由于两个反射不能被同时看到，因而不能确定哪个表面正引起反射。
对于基于激光和基于软件的自动聚焦都可适用的应用来说，前面所述的两种LAF方法的成功率典型地都没有基于图像的自动聚焦方法那样有效。 然而，对于某些应用来说，LAF方法可能是唯一有效的选择。
此处提出解决传统自动聚焦系统所遇到的上述和其他问题的LAF方法和设备。例如，使用此处所提出的LAF解决方案的实施例，可独立地、还同时地检测多个反射。另外，通过使用这些反射的位置、强度、形状和尺寸，解决了反射的不确定性，并改善了解决方案的准确度。此外，在一些实施例中，可使用单次测量取代使用搜索算法来估算焦点位置。
此处所提出的解决方案可向由成像设备所通常使用的自动聚焦方法和系统提供附加的速度、可靠性以及稳健性。这至少部分地是通过使用高分辨率照相机（诸如在对样品进行成像的系统中已经被使用的同样的照相机）对激光反射进行成像来完成。如此，可利用数百万个传感器而不是仅测量总的强度的只有一个或两个传感器（如传统系统中所做的），来以高分辨率测量激光反射。作为结果，能够与其他的、离焦（模糊的）反射同时地观察期望的反射。所有这些反射都可存在于一幅给定的图像中，但每个反射将具有变化的位置、强度、形状和尺寸。作为结果，这些反射可被单独地标识，并且每个反射的信息可被用于为样品的z位置提供稳健的估算，该稳健的估算对于多个反射的存在是不变的。
此外，通过使用提供更宽、更高分辨率的传感器区域的相机，LAF系统可被设计成使得随着z位置改变，这些反射在图像上移动。可使得在图像上的距离与距反射的z距离成比例。由此，代替主要依赖于多个反射的强度、形状和尺寸，这些反射的位置在估算距每个反射表面的相对距离方面也能够起到关键作用。这允许使用单次测量来准确地确定从当前的z位置到板的内表面（并因此到样品）的物距，确认正对适当的反射进行聚焦，以及处理存在三个或更多反射的情形的能力。
此处所公开或设想的实施例可包括或利用专用或通用计算机，包括计算机硬件，诸如例如一个或多个处理器，如下面更详细地讨论的。各实施例还可包括用于承载或存储计算机可执行指令和/或数据结构的物理和其他计算机可读介质。这样的计算机可读介质可以是可由通用或专用计算机系统访问的任何可用介质。存储计算机可执行指令的计算机可读介质是物理存储介质。承载计算机可执行指令的计算机可读介质是传输介质。因此，作为示例而非限制，各实施例可包括至少两种明显不同的计算机可读介质：计算机存储介质和传输 介质。
计算机存储介质包括RAM、ROM、EEPROM、CD-ROM或其他光盘存储、磁盘存储或其他磁存储设备、或可用于存储计算机可执行指令或数据结构形式的所需程序代码装置且可由通用或专用计算机访问的任何其他介质。
“网络”被定义为使得电子数据能够在计算机系统和/或模块和/或其它电子设备之间传输的一个或多个数据链路。当信息通过网络或另一个通信连接（硬连线、无线、或者硬连线和无线的组合）传输或提供给计算机时，该计算机将该连接适当地视为传输介质。传输介质可包括可用于携带计算机可执行指令或数据结构形式的数据或所需程序代码装置且可由通用或专用计算机访问的网络和/或数据链路。上述的组合应当也被包括在计算机可读介质的范围内。
此外，在到达各种计算机系统组件之后，计算机可执行指令或数据结构形式的程序代码资料可从传输介质自动传输到计算机存储介质（或反之亦然）。例如，通过网络或数据链路接收到的计算机可执行指令或数据结构可被缓存在网络接口模块（例如，“NIC”）内的RAM中，然后最终被传输到计算机系统RAM和/或计算机系统处的较不易失性的计算机存储介质。因而，应当理解，计算机存储介质可被包括在还利用（或甚至主要利用）传输介质的计算机系统组件中。
计算机可执行指令例如包括使通用计算机、专用计算机、或专用处理设备执行某一功能或某组功能的指令和数据。计算机可执行指令可以是例如二进制代码、诸如汇编语言之类的中间格式指令、或甚至源代码。尽管用结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的主题不必限于上述特征或动作。相反，所描述的特征和动作是作为实现权利要求的示例形式而公开的。
本领域的技术人员将理解，各实施例可以在具有许多类型的计算机系统配置的网络计算环境中实践，这些计算机系统配置包括个人计算机、台式计算机、膝上型计算机、消息处理器、手持式设备、多处理器系统、基于微处理器的或可编程消费电子设备、网络PC、小型计算机、大型计算机、移动电话、PDA、寻呼机、路由器、交换机等等。各实施例可在其中通过网络链接（或者通过硬连线数据链路、无线数据链路，或者通过硬连线和无线数据链路的组合）的本地和远程计算机系统两者都执行任务的分布式系统环境中实施。在分布式 系统环境中，程序模块可以位于本地和远程存储器存储设备二者中。用于一个实体的程序模块可位于和/或运行在另一个实体数据中心或者“在云（cloud）”中。在本说明书和所附权利要求书中，计算机系统也被定义成包括成像系统（例如，图4中的成像系统102）。
图4示出了结合本文中所公开或设想的特征的示例性系统100。在该系统的核心处是定量的高内涵细胞成像系统102，在其中扫描并分析生物细胞。该示例性细胞成像系统102包括但不限于成像设备104和计算设备106。
成像设备104包括安装在显微镜组件110上的载物台机架（stage housing）108。载物台外壳108被配置成容纳定位试样（specimen）板（诸如，例如，96-孔板）或包含细胞的载玻片所需的部件，以使得显微镜组件110能够对细胞进行成像，以允许执行对细胞的高内涵筛选（high content screening），如本领域技术人员所知的。可通过成像设备104连同计算设备106来执行对从成像获得的数据进行分析和存储。
计算设备106可被用作该系统的控制器，以及用于单独地或者连同成像设备104，对通过成像设备104所获得的数据进行分析和/或存储。计算设备106可包括如前所定义的通用或专用计算机或者服务器等，或者任何其他计算机化设备。如本领域所知，计算设备106可直接地或通过网络与成像设备104通信。在一些实施例中，计算设备106被并入成像设备104中。
系统100还可包括用户显示设备112，用于显示结果和/或系统配置。成像设备104和/或计算设备106可直接或间接地与用户显示设备112通信。
通常设置在成像设备104中的光学配置在相机上产生细胞（多个）的放大的图像，以便记录细胞样品的高分辨率图像。特别地，此处所讨论的配置提供一种系统，该系统不仅启用本领域技术人员所知的“宽场”显微技术，而且启用光学切片能力。这可包括例如，在一定范围的细胞上所扫描的聚焦的照明点或线的标准的共焦显微术。这些能力可与成像算法结合，这些成像算法有助于在通过相机记录时提供所需的图像。
在一个实施例中，本文中所描述的方法步骤中的一个或多个被执行为软件应用。不过，各实施例不限于此，并且还可在固件、硬件或者固件、硬件和/或软件的组合中执行这些方法步骤。此外，这些方法的步骤可完全地或者部分地存在于成像设备104、计算设备106、和/或其他计算设备上。
该系统的各设备的操作环境可包括或者利用具有一个或多个微处理器和系统存储器的处理系统。根据计算机编程领域的技术人员的实践，下面参照由处理系统所执行的动作和操作或指令的符号表示来描述实施例，除非另有说明。这样的动作和操作或指令被称为被“计算机执行的”、“CPU执行的”或“处理器执行的”。
图5是成像设备104的示例性实施例。图5显示了内部平台设计的一般截面侧视图。通常，成像设备104集成了定位包含生物细胞的HCS样品板116所需的部件，以使显微镜组件110能够执行对生物细胞的高内涵筛选。
载物台机架108包括载物台组件114，该载物台组件114按照以便与构成显微镜组件110的部件光学地和机械地协作的方式进行安装。如本领域所知的，载物台组件114一般包括其上可设置HCS样品板116的载物台，以及用于有选择地移动载物台以进行观察的载物台定位机构。
在所描绘的实施例中，显微镜组件110容纳倒置的显微镜，该倒置的显微镜可被用于从试样的下面对试样样品板116执行试样筛选。如本领域所知，该显微镜包括包含多个物镜的物镜组件118，以获得试样的放大的视图。每个物镜可对应于不同的放大级别。在一个实施例中，包括至少三个标准物镜。如果需要，还可包括附加的物镜。示例标准物镜可包括10倍/0.4NA，20倍/0.45NA和40倍/0.6NA光学规格。示例附加的物镜可包括2倍/0.08NA，4倍/0.16NA和20倍/0.7NA光学规格。也可使用其他放大级别和物镜类型。
该显微镜还包括与显微镜物镜组件118机械地耦接的聚焦驱动机构120。可经由聚焦驱动机构120使物镜组件118相对于载物台组件114上下（即，在z方向上）移动，以便将显微镜物镜组件118的物镜中的任何一个对准并聚焦在设置在试样样品板116内的生物细胞上。聚焦驱动机构120可被配置有步进电机和螺丝/螺母组合，该组合减少消隙（anti-backlash）以提供例如小至0.006-μm/微步的分辨率，以支持配置在成像设备104中的显微镜物镜。
尽管此处的讨论针对使用倒置的显微镜配置，但要理解的是，可替代地使用非倒置的显微镜配置来从细胞上面执行筛选。此外，尽管此处所讨论的显微镜组件110是定制的，但在需要时可包含其他常规的显微镜配置，诸如例如，由德国Goettingin的Carl ZeissMicroImaging公司制造的Axiovert 200M。在一些实施例中，根本不需要显微镜。
显微镜组件104还包括被用于生成和记录通过物镜所获得的试样的图像的各种已知的部件。这些部件可包括，但不限于：
·图像记录器122，诸如，例如，单色CCD或CMOS相机，
·荧光团（fluorophore）激发源124，诸如，例如，包括多个发光二极管（LED）的光引擎，
·对激发光和发射光进行滤光的滤光器，诸如，例如，多位置二向色滤光轮128和多位置发射滤光轮130，以及
·引导激发光和发射光通过显微镜组件的光引导设备，诸如，例如，特兰透镜（telan lens）132、折叠镜134（例如，90度折叠镜）以及一个或多个光管。
典型地通过计算设备106控制以上部件中的一个或多个，以允许自动成像。通常设置在成像设备104中的光学配置可在图像记录器122上产生细胞（多个）的放大的图像，从而使得可记录细胞样品的高分辨率图像。特别地，此处所讨论的配置提供一种系统，该系统不仅启用本领域技术人员已知的“宽场”显微技术，而且启用光学切片能力。
在一个实施例中，特兰透镜132是近红外（NIR）增强型透镜（例如，奥林巴斯三合透镜（Olympus Triplet）），该增强型透镜被设计成当使用下面将要讨论的具有所需发射波长的任何经配置的物镜时，在从蓝到NIR的可见光谱的全范围上实现成像设备104的增强的性能。
为了进行荧光分析，荧光团激发源124产生激发光，该激发光照射细胞并使细胞诱发荧光团发射光。例如，荧光团激发源124可以是多LED光引擎，该多LED光引擎与由二向色滤光轮128和发射滤光轮130所提供的经配置的激发滤光器协同工作，该二向色滤光轮128和发射滤光轮130两者都可以是计算机驱动的以选择所需的滤光器。
作为一般操作方法，可自动地或手动地指导荧光团激发源124以提供从紫外（例如，380nm）到近红外（例如，至少700nm）范围的多个光的带宽，并且被设计成激发荧光团，诸如，例如，青色荧光蛋白（CFP）和远红（即，近红外）荧光团。
使用系统100，可对细胞执行荧光分析。为了执行分析，载物台组件114首先将样品板116移动到某一位置，在该位置中，微孔的期望的特定的段或 载玻片的特定的段处于给定的光路中。
图6是（与图5的侧视图相对的）顶视图描绘，其进一步示出了显微镜组件110内的示例部件的荧光显微路径。如图5和6中所描绘的，取决于关于样品板116中被荧光标记的细胞的应用，荧光团激发源124发射由光纤传输系统所中继（如由图6中的大方向箭头136所示）的期望的系统波长带宽。激发波长带宽被使用各种光学器件的照明适配器138所引导，以便沿着激发光路140（如在图5和6中由包含斜线的箭头所指示）被进一步引导，直至被设置在多位置二向色滤光轮128中的期望的二向色部件142（图6中所示）所接收。针对由荧光团激发光源124所提供的特定波长带宽，设计并自动地软件选择二向色部件142。二向色部件142将激发光引导至90度折叠镜134。其后，如图5中所示，激发光沿着激发光路140继续向上通过特兰透镜132和物镜组件118到达设置在样品板保持器116中的细胞，如本领域普通技术人员所知的。
激发光在设置在样品板保持器116中的细胞中诱发荧光。所诱发的荧光沿着路径144（由图5和6中的黑色箭头所示）向后经由荧光显微布置从细胞返回通过物镜组件118和特兰透镜132，直到被90度折叠镜134所接收。如图6中所具体示出，折叠镜134将所诱发的荧光引导回至二向色部件142，该二向色部件142允许所诱发的荧光继续沿着路径144往回通过例如附加的光学部件。所诱发的荧光随后通过设置在发射滤光轮组件130中的经配置的滤光器进行光学过滤，并且经滤光的诱发的荧光经由相机122被捕捉并记录为图像。
如图5中所示，为了能够进行明视场和生色团成像，显微镜组件104进一步包括被定位在样品板116之上的透射光组件126。透射光组件126利用光源（诸如具有不同颜色波长，例如，蓝色、绿色、琥珀色和红色的LED）以图5中所示的透射光几何结构照射样品，以使得可基于发色团对光的不同吸收来使用图像记录器122来检测发色团。透射光组件126还提供透射的白光以用于明视场成像。
如图5中所示，显微镜组件104包括激光自动聚焦（LAF）设备200，该激光自动聚焦设备200提供被用于确定物镜相对于样品的正确焦点位置的激光。LAF设备200产生激光束，该激光束被照射到试样样品板116上以产生来自样品板的表面的反射。通过图像记录器122对这些反射进行成像，并且基于图像执行软件方法以确定物镜相对于样品板的内表面的z位置。聚焦驱动机构 随后基于针对物镜所确定的原始z位置来将物镜移动到与正确焦距相对应的新的z位置。在一些实施例中，使激光束和接着发生的反射通过物镜，以使得激光束和相应的反射偏离物镜的中心。在一些实施例中，这些反射随着物镜与样品板的内表面之间的z距离改变而在图像上移动。
图7为示出了用于荧光成像的同一相机如何也能够被激光自动聚焦系统所使用的框图。如所描绘的实施例中所示，LAF设备200包括诸如激光二极管202之类的用于生成激光的激光生成单元，以及用于将激光生成单元所生成的激光对准并聚焦成激光束的诸如准直透镜204之类的光学器件。还可包括通常被称为“刀”的阻挡设备206，以阻挡由LAF设备200所发射的激光束的一部分，以使激光束的反射为非圆形的。这允许生成非对称的反射，其可提供更多信息以有助于聚焦。
例如，如果激光束的一侧被阻挡，则由LAF设备200所发射的激光束以及基于该激光束的反射将具有“D”截面形状。这可被用于以圆形截面形状所不能的一种方式来确定聚焦信息。当反射处于离焦时，将生成“D”形状。由于光学性质，当焦距太短时，“D”形状将在一个方向上延伸，并且当焦距太长时，“D”形状将在相反的方向上延伸。即，当通过正确的焦距时，“D”形状将“翻转（flip）”。
尽管此处所讨论的LAF设备200是定制的，但也可使用其他常规的LAF设备作为LAF设备200。一些示例包括：由德国Goettingin的Carl Zeiss MicroImaging公司所制造的Definite Focus，由马萨诸塞州Rockland的Prior Scientific公司所制造的LF210激光自动聚焦系统，以及由蒙大纳州（Montana）Bozeman的Quantum Composers公司所制造的AF910自动聚焦传感器。
如图7中所示以及以上概括讨论的，在样品的荧光成像期间，荧光团激发源124发射期望的系统波长带宽，沿着激发光路140引导该期望的系统波长带宽通过一个或多个二向色部件（例如，二向色镜208）、并通过物镜210到达设置在样品板152上的样品150。由激发光在样品150中所诱发的荧光通过物镜210并沿着荧光返回路径144从样品150向后返回，该荧光返回路径144的一部分与激发光路140重合。荧光返回路径144与激发光路140由于二向色部件（例如，二向色镜208等）而在某点处发生分叉，该二向色部件仅允许激发光和诱发的荧光中的一个通过而反射另一个。诱发的荧光沿着返回路径144继续前进至相机122，在该相机122处，该荧光被捕获并记录为图像。
在自动聚焦期间，LAF设备200发射激光束，沿着激光光路212引导该激光束通过一个或多个二向色部件（例如，二向色镜214），直到使得激光光路212与激发光路140重合。通过物镜210朝向被设置在样品板152上的样品150引导激光束。如以上所讨论的，板152的内表面和外表面以及可能地其他表面反射该激光束。这些反射通过物镜210并沿着反射返回路径216向后返回。反射返回路径216与诱发的荧光所使用的荧光返回路径144重合。由此，类似于诱发的荧光，这些反射到达相机122，在该相机122处这些反射被捕获并记录为图像。
如前所注意的，激光束在通过物镜210时可偏离物镜210的中心。这可导致返回的反射也偏离物镜210的中心，但是在相反侧上。作为结果，这些反射可出现在图像上的不同的横向位置处，并且可随着物镜与表面之间的z距离变化而在图像上移动。这可被用于帮助确定与这些反射相对应的表面的z位置。
将HCI系统的相机用作LAF设备的图像记录器提供了若干益处。由于相机已经位于HCI系统内，因而不需要附加的相机，这提供了经济上的益处。此外，无需附加的校准步骤。
在替代实施例中，可使用与HCS相机分离的相机。尽管经济性较差，但使用单独的相机能够提供其他益处。例如，这样做可加速z电机、相机和定位方法之间的往返行程。这可按多种方式来实现—包括使用视频速率相机，在硬件与相机之间的硬件触发器，或者使用与激光自动聚焦单元直接耦合的集成式相机。另外，可实现专门用于特定波长的激光的单独的成像路径和检测器。
此外，尽管以上讨论已经针对将LAF设备与HCI系统一起使用，但应当理解，也可将与以上所讨论的这些类似的LAF设备与其它类型的样品成像系统一起使用。例如，以上所讨论或设想的LAF设备还可与通用显微镜和低内涵成像系统（诸如，板读卡器）一起使用。其它系统也可包含LAF设备。对于下面所讨论的方法同样适用。
图8示出了根据一个实施例的使用激光自动聚焦设备对样品进行自动聚焦的方法。LAF设备例如按照以上所讨论的方式发射朝向样品进行照射的激光束。当激光束击打各个表面（例如，板的内表面和外表面，细胞/介质界面表面以及介质表面）时，该光例如按照以上所讨论的方式被反射通过成像部件 （例如，显微镜物镜）到达相机。通过成像部件由反射产生诸如例如图像222之类的图像。使用一个或多个软件算法224来处理该图像，以确定被用于对样品进行聚焦的信息，包括，例如，在图像中标识每个反射，确定与每个反射有关的表面，以及估算成像部件相对于由这些反射所代表的表面中的任何一个的z位置。使用该信息来确定成像部件的期望的焦点位置（例如，物镜的z位置），以使样品处于焦点。最后，驱动机构将成像部件移动到期望的焦点位置。
如下面更详细地讨论的，一个实施例使用图像处理算法来将图像投影到一条线上，并且随后标识投影的峰值，以标识在该条线上的多个激光反射的数量和位置。基于标识结果，测量图像中的每个斑点（blob）（其中，每个斑点是检测到的反射）的位置、强度、形状和尺寸。基于每个斑点的相对尺寸、强度和位置，软件可预测物镜相对于内表面、并且因此相对于样品处于何处。
图9示出了根据一个实施例的使用高内涵成像(HCI)系统对样品进行成像的方法250。该方法还可被适配成被用于其他类型的系统。方法250包括步骤252到264。
在步骤252中，建立成像部件相对于样品的期望的焦点位置。在一个实施例中，用户手动地操纵物镜以在z方向上移动直到设置在板上的样品处于焦点。在另一个实施例中，通过计算机设备来控制物镜的移动，该计算机设备确定样品何时处于焦点。在一个实施例中，z方向是垂直的，并且物镜被向上和/或向下移动。在一个实施例中，用户通过物镜观察样品，以确定样品何时处于焦点。在一个实施例中，用户观察通过物镜所采集的样品的记录的图像，以确定样品何时处于焦点。
在步骤254中，一旦已经建立了成像部件的期望的焦点位置，就训练（train）该系统以使LOA设备的反射的图像上的位置与期望的焦点位置相关联。在一个实施例中，使用通过相机所捕获的激光束的反射来确定期望的焦点位置。在一个实施例中，期望的焦点位置与通过相机所捕获的内表面的反射的位置直接相关。
在步骤256中，一旦已经训练系统，就在z方向上将成像部件与待成像的第一样品对准。在一个实施例中，如本领域中已知的，水平地移动板或者物镜，以使物镜与待成像的第一场或者孔对准。
在步骤258中，一旦成像部件已经与待成像的样品对准，就在z方 向上移动成像部件和/或样品，以在与期望的焦点位置相对应的同一位置中产生反射。在一个实施例中，在z方向上将物镜移动到产生期望的焦距的新的焦点位置。如下面所讨论的，在一个实施例中，可使用通过相机所成像的激光束的反射来确定该新的焦点位置。
在步骤260中，一旦成像部件和/或样品已经被移动到期望的z位置，就利用记录设备通过成像部件捕获样品的一个或多个图像。在一个实施例中，按照本领域中已知的方式，使用相机通过物镜捕获图像。
如由判定步骤262所指示的，如果希望对更多的样品进行成像，则该方法前进到步骤264。否则，该方法结束。在一个实施例中，每个样品对应于孔中的不同的场。在一个实施例中，每个样品对应于板中的不同的孔。
在步骤264中，在z方向上将成像部件与下一个待成像的样品对准。在一个实施例中，如本领域中已知的，水平地移动板或者物镜，以使物镜与待成像的第一场或孔对准。
一旦成像部件已经与下一个待成像的样品对准，就针对该样品重复步骤258和260。继续这一过程直至已经对所有的期望的样品进行成像。同样地，重复步骤256和258直至已经对所有期望的样品进行成像。
图10示出了根据一个实施例的确定期望的焦距的方法270。方法270可被用于例如方法250的步骤254。方法270包括步骤272到280。
在步骤272中，产生自动聚焦图像。在一个实施例中，这包括将来自LAF设备的激光束照射到板上，以便使来自各个表面的光的反射通过成像部件并且被记录设备所记录。在一个实施例中，光通过物镜至少从板的内表面和外表面反射，并且例如按照以上所讨论的方式通过相机记录这些反射。获得表示一个或多个反射的图像，例如，类似于图8中所示的图像222或图12中所示的图像230。该图像可被存储在诸如计算机存储器等的存储设备上，如本领域中已知的。
在步骤274中，处理自动聚焦图像以确定在其中的对象（object）的数量以及关于每个对象的信息。下面讨论这样做的一种方式。
如由判定步骤276所指示的，如果在图像中发现至少两个对象，则该方法前进到步骤278。否则，错误已经发生，并且可能需要获得并处理进一步的图像。
在步骤278中，来自板的外表面和内表面的反射被相应地等同（默认（defaulted））至图像的第一和第二经确定的对象。
在步骤280中，确定期望的焦距。在一个实施例中，期望的焦距是物镜与板的内表面之间的距离，并且部分地根据从图像的第二对象所获得的信息来计算的。
图11示出了根据一个实施例的处理自动聚焦图像，以确定在其中的反射对象（或斑点）的数量以及关于每个斑点的信息的方法300。在方法300中，使用图像处理算法来将自动聚焦图像投影到一条线上，并且随后标识投影的峰值以标识多个激光反射的数量和位置。基于标识结果，测量图像中的每个斑点（其中，每个斑点是检测到的反射）的位置、强度、形状和尺寸。基于每个斑点的相对尺寸、强度和位置，可估算物镜相对于内表面的z位置。方法300可被用于例如方法270的步骤274。方法300包括步骤302到314。
在步骤302中，直接从相机或者从存储设备中获得自动聚焦图像。图12中所示的自动聚焦图像230是使用本实施例所获得的一个这样的图像的示例。图像230包含处于约1100行和约1100列中的大约一个兆像素。每行/每列位置对应于图像的单个像素。如图12中所示，在自动聚焦图像230的右上方，在行100与500之间并且在列700与1100之间示出两个对象232和234。对象232和234分别代表激光束光从板的外表面和内表面反射的第一和第二反射。在一个实施例中，以串行流从相机或者计算机设备获得图像。例如，可从第一行开始每次一行地获得图像。
在步骤304中，裁切所获得的自动聚焦图像以获得期望的区域，并且移除图像的与自动聚焦对象无关的一个或多个部分。例如，可裁切图像230以移除该图像的下半部分，并获得图13中所示的区域236。移除图像的无关部分除去了这些部分内的任何对象，从而使得那些对象不被错误地用在聚焦计算中。可在先前执行的系统的校准期间确定要使用的图像的区域。除了别的以外，其可取决于物镜内激光反射通过的位置。
在步骤306中，确定图像的每一列的代表值，并将其存储在线性阵列中。阵列中的每一个位置对应于其中的一列。例如，对于区域236，使用约1100的线性阵列，其中该阵列中的每一个位置对应于单独的列。在一个实施例中，列的代表值是该列中的任意像素的最大强度值。在一个实施例中，代表值 是该列中的所有像素的总强度。
在使用图像236的示例中，利用相应列中所发现的最大强度值来填充该阵列的每一个位置。已对所得的值进行标绘，以获得图14中所示的图形投影238。如图14中所示，在投影238的大约列550处观察到差不多600的最高强度值，其中若干个其他强度峰在列560、620、640、720等处出现。谷在投影238上的强度峰之间出现。峰和谷的宽度变化。约125的恒定“噪音”强度级在投影的所有列上是恒定的。
鉴于上文，尽管图像236包括分别代表第一和第二反射的两个对象232和234，但图14中所图示的代表阵列值具有多个强度峰和谷，使得难以确定存在多少个单独的反射对象，更不用说关于每个对象的任何信息了。由此，包括步骤308到312以帮助在对象之间区分。
在步骤308中，确定对象之间的局部最小值，并获得该局部最小值的强度值。首先假设最高强度值与第一或第二反射对象相符合。例如，对于投影238，假设反射对象中的一个包括列550，其具有最高强度值。
在一个实施例中，首先确定潜在的局部最小值。潜在的局部最小值是投影的第一谷的最低强度值，其中第一谷是至少预定数量的列那么宽（在下文中的“预定的宽度”）并且从最高强度列向左和向右至少预定数量的列（在下文中的“预定的距离”）。例如，如果预定的宽度和距离分别为25和30，则投影238的第一潜在的局部最小值将是最高强度列右边的位置590处的140。尽管在投影238上没有发现，不过在最高强度列的左边也可出现第二潜在的局部最小值。
局部最小值被确定为潜在的局部最小值的最大值。例如，投影238的局部最小值是如由局部最小值（LocalMin）线所指示的140。
在步骤310中，一旦确定了局部最小值，就确定了阈值强度。该阈值强度被用于确定与反射对象相对应的列，如下面所讨论的。该阈值强度被设定成处于比局部最小值更高的值，从而使得可在对象之间进行清楚的区分。在一个实施例中，通过简单地向强度局部最小值添加预定的阈值调整值来获得阈值强度。例如，如果预定的阈值调整值为40，则如图14中的阈值线所指示，阈值强度为180（140+40）。
在步骤312中，使用阈值强度来标识和区分反射对象。在一个实 施例中，在投影的强度峰之间关闭小的间隙，以移除谷并使曲线平滑。在一个实施例中，如果相邻的峰之间的列距离小于预定值，则峰之间的列的强度值被给予相邻的峰的强度值之间的新的值。在一个实施例中，峰之间的列被给予最低的峰的强度值。
一旦已经使反射平滑，就将阈值强度应用于每一列，以产生二进制阵列；如果投影的列的强度值大于或等于阈值强度，则将与该列相对应的二进制阵列位置设定为1；否则，将该二进制阵列位置设定为0。二进制阵列的具有重复的1的每个部分潜在地对应于对象。
一旦已经填充了二进制阵列，就将阈值对象宽度应用于该阵列以移除潜在的太小的对象。移除其中重复的1的数量小于阈值对象宽度的潜在的对象（即，相应的阵列位置被重置为0）。阵列中所剩下的对应于宽度至少为阈值对象宽度宽的、被阵列中的零分开的对象。
随后标识二进制阵列中的每个反射对象，包括构成该对象的列。通常将反射对象标识为从最右侧对象开始的第一到第n对象。
在步骤314中，针对每个对象计算信息。该信息可包括该对象的列矩心（centroid）、平均强度、峰值强度等。为此，再一次使用原始图像。例如，可使用在步骤312中被识别为图像一部分的每一列的强度值来确定图像的矩心。在一个实施例中，使用图像的所有列的强度来确定该图像的强度加权的列，这类似于质心计算。在另一实施例中，仅使用高于阈值的值来确定强度加权的列。随后使用该矩心来表示反射对象的位置。可节省用于每个对象的信息。
图15示出了使成像部件跟踪至期望的焦点位置的方法320。期望的焦点位置对应于使样品处于焦点的z位置。方法320可被用于例如方法250的步骤258。方法320包括步骤322到336。
在步骤322中，基于训练时所确定的值以及来自本方法期间所使用的值的结果来估算物镜的期望的z位置。目标是将物镜放置在一z位置处，其在与训练（training）图像的列位置相同的列位置处产生内表面的反射图像。
在步骤324中，如本领域已知的，例如通过驱动机构将物镜移动到期望的z位置。
在步骤326中，如上面所讨论地产生自动聚焦图像（参见，例如，方法270的步骤272）。
在步骤328中，例如按照上面所讨论的方式处理自动聚焦图像，以确定在其中的对象的数量以及关于每个对象的信息。
在步骤330中，将自动聚焦图像的内表面反射的列位置添加到一组这样的列位置以用于跟踪过程。如果是第一次通过步骤330进行本跟踪方法，则列位置集合将仅包括此第一列位置。
如判定步骤332中所反映的，如果训练（trained）图像的内表面反射的列位置是在列位置集合的最高值与最低值之间，则该方法前进到步骤334。否则，该方法返回到步骤322，以再次执行步骤322-330。每次执行步骤322，可使用通过循环每次都被添加的列位置集合来更好地估算新的期望的z位置。
在步骤334中，一旦训练图像的内表面反射的列位置是在列位置集合的最高值与最低值之间，就确定了用于物镜的z位置（即，焦点位置）。在一个实施例中，使用关于训练图像的列位置集合的最高值和最低值来对焦点位置进行插值。在另一实施例中，使用以下三个值：与训练图像的内表面反射的列位置最接近的列位置集合的第一值，以及在第一值的两边上的列位置的两个值来对焦点位置进行插值。
在步骤336中，如本领域中已知的，例如通过驱动机构将物镜移动到焦点位置以用于成像。
图16示出了使成像部件跟踪到期望的焦点位置的另一种方法340。方法340包括步骤342到352。
除了确定可使循环退出的方式以外，方法340类似于方法320。由此，步骤342、344、346、348和350分别对应于方法320的步骤322、324、326、328和330。然而，如判定步骤352中所反映的，如果自动聚焦图像的内表面反射的列位置是在距离训练图像的内表面反射的列位置预定的列距离内，则已经获得了焦点位置。由于物镜已经在焦点位置处，因而其在那儿不必被移动。
图17示出了使成像部件跟踪到期望的焦点位置的另一种方法360。方法360包括步骤362到380。
方法360也类似于方法320，除了不仅训练图像的内表面反射的列位置需要在列位置集合的最高值与最低值之间，而且列位置集合的值中的一 个还需要接近于训练图像的内表面反射的列位置。
由此，步骤362、364、366、368、370和372分别对应于方法320的步骤322、324、326、328、330和332。当确定训练图像的内表面反射的列位置是在列位置集合的最高值与最低值之间时，该方法继续至步骤374。
在步骤374中，确定列位置集合中最接近于训练图像的内表面反射的列位置的值的值。
如判定步骤376中所反映的，如果在步骤374中所确定的值是在距训练图像的内表面反射的列位置预定量内，则该方法进行到步骤380。否则，该方法返回至步骤362，以再次执行步骤362-374。
在步骤378中，一旦列位置集合中的值中的一个是在距训练图像的内表面反射的列位置预定量内，就确定了用于物镜的z位置（即，焦点位置）。在一个实施例中，使用在步骤374中所确定的值以及位于列位置集合内的另一个值来对焦点位置进行插值。
图18是LAF设备400的另一个实施例。LAF设备400是可被插入HCI成像器中（例如，被插入在其中的传统槽中）的独立的单元。独立的LAF设备可与发射路径中具有开口槽，或者通过荧光激发路径的共享机动化二向色的任何系统集成。
与非独立的LAF设备类似，独立的LAF设备包括诸如激光二极管之类的激光产生元件，刀和准直透镜。另外，独立的LAF设备400还可包括用于朝向板反射激光的二向色元件，诸如CCD或CMOS相机之类的用于记录激光反射的相机，以及诸如微处理器之类的用于控制LAF设备的计算机设备。益处可包括：（a）具有用于LAF设备的专用处理器，（b）归因于与电机控制器（诸如，用于指示电机已经完成了其移动的硬件触发器）的直接耦合的速度的增加，以及（c）LAF图像记录器可按比HCI设备的成像相机更高的速度（诸如，视频速率速度）来操作LAF图像记录器。
在一个实施例中，可包括搜索算法以迭代地改进z位置估算。搜索可产生最佳z位置的迭代估算，并且最终估算可以是来自迭代估算的结果的加权平均。最终估算不易于产生由激光强度变化、振动、反射的位置处的塑料中的缺陷等所引起的误差。
在一个实施例中，可使用机器学习方法。在这种方法中，针对当 前的实验（物镜，板类型和样品）呈现激光图像的训练集。该系统在这些图像上进行训练，从而使得当新的激光自动聚焦图像呈现时，该系统能够产生到内表面（并且因此到样品）的距离的估算。此实施例的益处包括：（a）不需要图像处理来标识反射的位置和数量，因此降低了潜在的误差；（b）训练算法能够有效地判定如何加权位置、强度、形状和尺寸相对于输出z位置估算的重要性；以及（c）不同反射的纹理质量可被包括在算法中，这可增加附加的稳定级别，因为来自每个反射表面的反射典型地具有稍微不同的光学质量。
要理解的是，在不背离本实用新型的精神和范围的情况下，可按任意组合来混合和匹配本文中关于各实施例所描述的特征。在不背离本实用新型的精神或本质特征的情况下，可以其他特定形式实现本实用新型。所描述的实施例在所有方面都要被认为仅是说明性的而非限制性的。因此，本实用新型的范围由所附权利要求所指示而非由前面的描述所指示。落入权利要求的含义和等效范围内的所有变化都被包含在其范围之内。

Claims (3)

1.一种基于图像的激光自动聚焦系统，包括：
可移动的板，具有内表面和相对的外表面，所述板被适配成在所述内表面上接收生物样品；
成像部件，所述成像部件放大所述生物样品并聚焦在所述生物样品上；
基于激光的自动聚焦LAF设备，所述基于激光的自动聚焦设备通过所述成像部件朝向所述板照射激光束，以使得所述激光从所述板的内表面和外表面的反射往回通过所述成像部件；以及
驱动机构，所述驱动机构在z方向上朝向和远离所述板移动所述成像部件；
相机，所述相机记录从所述成像部件接收的所述生物样品的图像；
控制器，所述控制器基于内表面反射的图像上的位置来确定在所述z方向上向哪里移动所述成像部件。
2.如权利要求1所述的系统，其中所述成像部件包括显微镜的物镜。
3.如权利要求2所述的系统，其中所述LAF设备照射所述激光束通过所述物镜并偏离所述物镜的中心。
CN201520769509.2U 2014-08-06 2015-08-05 基于图像的激光自动聚焦系统 Active CN205958834U (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201462034045P 2014-08-06 2014-08-06
US62/034,045 2014-08-06

Publications (1)

Publication Number Publication Date
CN205958834U true CN205958834U (zh) 2017-02-15

Family

ID=53785775

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201580049904.6A Active CN107076964B (zh) 2014-08-06 2015-07-29 基于图像的激光自动聚焦系统
CN201520769509.2U Active CN205958834U (zh) 2014-08-06 2015-08-05 基于图像的激光自动聚焦系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201580049904.6A Active CN107076964B (zh) 2014-08-06 2015-07-29 基于图像的激光自动聚焦系统

Country Status (4)

Country Link
US (1) US10274715B2 (zh)
EP (1) EP3213136B1 (zh)
CN (2) CN107076964B (zh)
WO (1) WO2016022359A1 (zh)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107290717A (zh) * 2017-05-19 2017-10-24 中国人民解放军信息工程大学 针对非圆信号的多目标直接定位方法
CN108802760A (zh) * 2017-04-27 2018-11-13 德尔福技术公司 用于自动化车辆的激光雷达和照相机数据融合
CN109283672A (zh) * 2017-07-19 2019-01-29 深圳华大智造科技有限公司 自动对焦装置
CN111279242A (zh) * 2017-11-28 2020-06-12 徕卡生物系统成像股份有限公司 双处理器图像处理
US10737355B2 (en) 2016-11-25 2020-08-11 Glowforge Inc. Engraving in a computer numerically controlled machine
US10802465B2 (en) 2016-11-25 2020-10-13 Glowforge Inc. Multi-user computer-numerically-controlled machine
US11137738B2 (en) 2016-11-25 2021-10-05 Glowforge Inc. Calibration of a computer-numerically-controlled machine
US11231693B2 (en) 2015-02-12 2022-01-25 Glowforge Inc. Cloud controlled laser fabrication
US11249456B2 (en) 2016-11-25 2022-02-15 Glowforge Inc. Fabrication with image tracing
US11281189B2 (en) 2016-11-25 2022-03-22 Glowforge Inc. Controlled deceleration of moveable components in a computer numerically controlled machine
US11305379B2 (en) 2016-11-25 2022-04-19 Glowforge Inc. Preset optical components in a computer numerically controlled machine
US11327461B2 (en) 2015-02-12 2022-05-10 Glowforge Inc. Safety assurances for laser fabrication using temperature sensors
US11433477B2 (en) 2016-11-25 2022-09-06 Glowforge Inc. Housing for computer-numerically-controlled machine
US11698622B2 (en) 2021-03-09 2023-07-11 Glowforge Inc. Previews for computer numerically controlled fabrication
US11740608B2 (en) 2020-12-24 2023-08-29 Glowforge, Inc Computer numerically controlled fabrication using projected information

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2534402A (en) * 2015-01-22 2016-07-27 Idea Biomedical Ltd Auto-focussing method and device
JP6698421B2 (ja) * 2016-05-17 2020-05-27 富士フイルム株式会社 観察装置および方法並びに観察装置制御プログラム
EP3418789A1 (de) * 2017-06-20 2018-12-26 Euroimmun Medizinische Labordiagnostika AG Verfahren und mikroskopiesystem zum aufnehmen eines bildes
AU2018339011B2 (en) 2017-09-29 2023-11-02 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
JP6993423B2 (ja) * 2017-11-02 2022-01-13 富士フイルム株式会社 撮影制御装置、撮影制御装置の作動方法、及び撮影制御プログラム
EP3857284B1 (en) * 2018-09-27 2023-12-27 Max-Planck-Gesellschaft zur Förderung der Wissenschaften e.V. Method of and apparatus for forming and shifting a light intensity distribution in a focal area of an objective lens
DE102018133188A1 (de) * 2018-12-20 2020-06-25 Carl Zeiss Microscopy Gmbh Abstandbestimmung einer probenebene in einem mikroskopsystem
ES2912473T3 (es) * 2018-12-20 2022-05-25 Euroimmun Medizinische Labordiagnostika Ag Procedimiento y sistema de microscopía para obtener una imagen de fluorescencia microscópica de un área para la muestra con una muestra biológica
EP3757648B1 (en) * 2019-06-28 2023-08-30 Associação Fraunhofer Portugal Optical system attachable to a mobile device for scanning biological sample slides and operating method thereof
CN111390377B (zh) * 2020-03-27 2021-08-20 伊诺福科光学技术有限公司 一种用于激光加工的表面自动聚焦方法及系统、存储介质

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5548661A (en) * 1991-07-12 1996-08-20 Price; Jeffrey H. Operator independent image cytometer
JP2696044B2 (ja) * 1992-07-14 1998-01-14 株式会社ミツトヨ 合焦検出方法、これを用いた非接触変位測定方法及び装置
US5483055A (en) * 1994-01-18 1996-01-09 Thompson; Timothy V. Method and apparatus for performing an automatic focus operation for a microscope
US5594235A (en) * 1993-06-17 1997-01-14 Ultrapointe Corporation Automated surface acquisition for a confocal microscope
US5932872A (en) * 1994-07-01 1999-08-03 Jeffrey H. Price Autofocus system for scanning microscopy having a volume image formation
US20020186874A1 (en) * 1994-09-07 2002-12-12 Jeffrey H. Price Method and means for image segmentation in fluorescence scanning cytometry
US7283253B2 (en) * 2002-03-13 2007-10-16 Applied Precision, Llc Multi-axis integration system and method
IL148664A0 (en) * 2002-03-13 2002-09-12 Yeda Res & Dev Auto-focusing method and device
EP1618176A2 (en) * 2003-04-14 2006-01-25 Surface Logix, Inc. Devices and assays for monitoring/measuring cellular dynamics to create subject profiles from primary cells
WO2004113922A2 (en) * 2003-06-19 2004-12-29 Applied Precision, Llc System and method employing photokinetic techniques in cell biology imaging applications
US7813579B2 (en) * 2004-05-24 2010-10-12 Hamamatsu Photonics K.K. Microscope system
US20060001954A1 (en) * 2004-06-30 2006-01-05 Michael Wahl Crystal detection with scattered-light illumination and autofocus
US20070031056A1 (en) * 2005-08-02 2007-02-08 Perz Cynthia B System for and method of focusing in automated microscope systems
CN101278190B (zh) * 2005-09-29 2012-12-19 奥林巴斯株式会社 焦点位置决定方法、焦点位置决定装置、微弱光检测装置及微弱光检测方法
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
JP2010503847A (ja) * 2006-09-14 2010-02-04 オックスフォード・ジーン・テクノロジー・アイピー・リミテッド 単一分子を撮像する装置
US7865007B2 (en) * 2006-10-30 2011-01-04 Olympus Corporation Microscope system, observation method and observation program
JP5259207B2 (ja) * 2008-02-05 2013-08-07 オリンパス株式会社 細胞画像解析装置及びその方法並びにそのソフトウェア
CA2724563C (en) * 2008-05-16 2018-07-17 Huron Technologies International Inc. Imaging system with dynamic range maximization
US8571342B2 (en) * 2008-08-27 2013-10-29 Adobe Systems Incorporated Image processing and generation of focus information
GB2466830B (en) * 2009-01-09 2013-11-13 Ffei Ltd Method and apparatus for controlling a microscope
EP2433087B1 (en) 2009-05-19 2015-01-21 BioNano Genomics, Inc. Devices and methods for dynamic determination of sample spatial orientation and dynamic repositioning
US8936762B2 (en) * 2009-09-01 2015-01-20 Trustees Of Boston University High throughput multichannel reader and uses thereof
EP2993510B1 (en) * 2009-10-19 2020-06-24 Ventana Medical Systems, Inc. Device and method for scanning a slide
US8362409B2 (en) * 2009-10-29 2013-01-29 Applied Precision, Inc. System and method for continuous, asynchronous autofocus of optical instruments
JP5732265B2 (ja) * 2011-01-24 2015-06-10 株式会社キーエンス 顕微鏡システム、焦点位置検出方法および焦点位置検出プログラム
DE102011077236A1 (de) * 2011-06-08 2012-12-13 Carl Zeiss Microlmaging Gmbh Autofokusverfahren für Mikroskop und Mikroskop mit Autofokuseinrichtung
EP2742338B1 (en) * 2011-08-10 2019-04-24 Molecular Devices, LLC Method for presenting and evaluation of images of microtiter plate properties
US20130064468A1 (en) * 2011-09-12 2013-03-14 Perkinelmer Cellular Technologies Germany Gmbh Methods and Apparatus for Image Analysis and Modification Using Fast Sliding Parabola Erosian
US10001622B2 (en) * 2011-10-25 2018-06-19 Sanford Burnham Medical Research Institute Multifunction autofocus system and method for automated microscopy
US9031399B2 (en) * 2012-04-17 2015-05-12 Mitutoyo Corporation Autofocus mechanism
US20140168402A1 (en) * 2012-12-13 2014-06-19 Vala Sciences, Inc. Continuous-Scanning Image Acquisition in Automated Microscopy Using Reflective Autofocus
US8970850B2 (en) * 2012-12-14 2015-03-03 University Of New Brunswick Method and apparatus for surface profilometry
JP6123360B2 (ja) * 2013-03-07 2017-05-10 セイコーエプソン株式会社 分光測定装置

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11231693B2 (en) 2015-02-12 2022-01-25 Glowforge Inc. Cloud controlled laser fabrication
US11537095B2 (en) 2015-02-12 2022-12-27 Glowforge Inc. Multi-function computer numerically controlled machine
US11995159B2 (en) 2015-02-12 2024-05-28 Glowforge, Inc. Multi-function computer numerically controlled machine
US11537096B2 (en) 2015-02-12 2022-12-27 Glowforge Laser cutter engraver material height measurement
US11880182B2 (en) 2015-02-12 2024-01-23 Glowforge Inc. Safety and reliability for laser fabrication
US11537097B2 (en) 2015-02-12 2022-12-27 Glowforge Inc. Visual preview for laser fabrication by assembling multiple camera images
US11327461B2 (en) 2015-02-12 2022-05-10 Glowforge Inc. Safety assurances for laser fabrication using temperature sensors
US11797652B2 (en) 2015-02-12 2023-10-24 Glowforge, Inc. Cloud controlled laser fabrication
US11249456B2 (en) 2016-11-25 2022-02-15 Glowforge Inc. Fabrication with image tracing
US11338387B2 (en) 2016-11-25 2022-05-24 Glowforge Inc. Engraving in a computer numerically controlled machine
US11835936B2 (en) 2016-11-25 2023-12-05 Glowforge, Inc. Multi-user computer-numerically-controlled machine
US11281189B2 (en) 2016-11-25 2022-03-22 Glowforge Inc. Controlled deceleration of moveable components in a computer numerically controlled machine
US11860606B2 (en) 2016-11-25 2024-01-02 Glowforge, Inc. Fabrication with image tracing
US11305379B2 (en) 2016-11-25 2022-04-19 Glowforge Inc. Preset optical components in a computer numerically controlled machine
US10802465B2 (en) 2016-11-25 2020-10-13 Glowforge Inc. Multi-user computer-numerically-controlled machine
US11137738B2 (en) 2016-11-25 2021-10-05 Glowforge Inc. Calibration of a computer-numerically-controlled machine
US11433477B2 (en) 2016-11-25 2022-09-06 Glowforge Inc. Housing for computer-numerically-controlled machine
US11460828B2 (en) 2016-11-25 2022-10-04 Glowforge Inc. Multi-user computer-numerically-controlled machine
US10737355B2 (en) 2016-11-25 2020-08-11 Glowforge Inc. Engraving in a computer numerically controlled machine
US11860601B2 (en) 2016-11-25 2024-01-02 Glowforge Inc. Calibration of a computer-numerically-controlled machine
CN108802760A (zh) * 2017-04-27 2018-11-13 德尔福技术公司 用于自动化车辆的激光雷达和照相机数据融合
CN107290717B (zh) * 2017-05-19 2019-07-26 中国人民解放军信息工程大学 针对非圆信号的多目标直接定位方法
CN107290717A (zh) * 2017-05-19 2017-10-24 中国人民解放军信息工程大学 针对非圆信号的多目标直接定位方法
CN109283672B (zh) * 2017-07-19 2021-05-28 深圳华大智造科技股份有限公司 自动对焦装置
CN109283672A (zh) * 2017-07-19 2019-01-29 深圳华大智造科技有限公司 自动对焦装置
CN111279242B (zh) * 2017-11-28 2022-03-29 徕卡生物系统成像股份有限公司 双处理器图像处理
CN111279242A (zh) * 2017-11-28 2020-06-12 徕卡生物系统成像股份有限公司 双处理器图像处理
US11740608B2 (en) 2020-12-24 2023-08-29 Glowforge, Inc Computer numerically controlled fabrication using projected information
US11698622B2 (en) 2021-03-09 2023-07-11 Glowforge Inc. Previews for computer numerically controlled fabrication

Also Published As

Publication number Publication date
US20160041380A1 (en) 2016-02-11
US10274715B2 (en) 2019-04-30
EP3213136A1 (en) 2017-09-06
CN107076964B (zh) 2020-01-03
EP3213136B1 (en) 2020-06-03
CN107076964A (zh) 2017-08-18
WO2016022359A1 (en) 2016-02-11

Similar Documents

Publication Publication Date Title
CN205958834U (zh) 基于图像的激光自动聚焦系统
Osibote et al. Automated focusing in bright‐field microscopy for tuberculosis detection
CN104515469B (zh) 用于检查微观样本的光显微镜和显微镜学方法
CN106461540A (zh) 发色团标记样本的自动成像
US20220148224A1 (en) Calibration in automated testing apparatus
US9360659B2 (en) Method for presenting and evaluation of images of micro-titer plate properties
US8809809B1 (en) Apparatus and method for focusing in fluorescence microscope
JP4633712B2 (ja) 画像形成装置
JP7150868B2 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
CN103513411A (zh) 荧光显微镜中聚焦的装置和方法
JP7150866B2 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
JPWO2020066043A1 (ja) 顕微鏡システム、投影ユニット、及び、画像投影方法
CN108603998A (zh) 多光谱轨迹的数字成像的自动聚焦方法和系统
JP2015230393A (ja) 撮像装置の制御方法および撮像システム
US20090166570A1 (en) Biological-specimen observation apparatus
US20050287520A1 (en) Screening method and device, and new drug screening method and device
CN109564230A (zh) 用于检测实验室对象上的标识和/或实验室对象的特征的检测装置和方法
Rowland et al. Resolving fast, confined diffusion in bacteria with image correlation spectroscopy
CN103299231A (zh) 光扫描系统
US20200074628A1 (en) Image processing apparatus, imaging system, image processing method and computer readable recoding medium
JP5343762B2 (ja) 制御装置、およびその制御装置を用いた顕微鏡システム
CN104347089A (zh) 信息记录介质、信息再现装置和信息再现方法
JP4507060B2 (ja) 創薬スクリーニング方法および装置
Liu et al. Underwater Raman microscopy—a novel in situ tool for deep-sea microscale target studies
JP2005095012A (ja) 創薬スクリーニング装置

Legal Events

Date Code Title Description
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder
CP02 Change in the address of a patent holder

Address after: American California

Patentee after: CELLOMICS, INC.

Address before: American Pennsylvania

Patentee before: CELLOMICS, INC.