CN107111124A - 在显微镜系统中使用并行成像生成对焦图像的设备和方法 - Google Patents

在显微镜系统中使用并行成像生成对焦图像的设备和方法 Download PDF

Info

Publication number
CN107111124A
CN107111124A CN201580071797.7A CN201580071797A CN107111124A CN 107111124 A CN107111124 A CN 107111124A CN 201580071797 A CN201580071797 A CN 201580071797A CN 107111124 A CN107111124 A CN 107111124A
Authority
CN
China
Prior art keywords
image
camera sensor
focusing optics
focus
sample retainer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201580071797.7A
Other languages
English (en)
Other versions
CN107111124B (zh
Inventor
阿夫鲁·艾萨克·科恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Molecular Devices LLC
Original Assignee
Molecular Devices LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Molecular Devices LLC filed Critical Molecular Devices LLC
Publication of CN107111124A publication Critical patent/CN107111124A/zh
Application granted granted Critical
Publication of CN107111124B publication Critical patent/CN107111124B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361—Optical details, e.g. image relay to the camera or image sensor
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00—Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48—Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/50—Chemical analysis of biological material, e.g. blood, urine; Testing involving biospecific ligand binding methods; Immunological testing
    • G01N33/53—Immunoassay; Biospecific binding assay; Materials therefor
    • G01N33/543—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals
    • G01N33/554—Immunoassay; Biospecific binding assay; Materials therefor with an insoluble carrier for immobilising immunochemicals the carrier being a biological cell or cell fragment, e.g. bacteria, yeast cells
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/0004—Microscopes specially adapted for specific applications
    • G02B21/0008—Microscopes having a simple construction, e.g. portable microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/24—Base structure
    • G02B21/241—Devices for focusing
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/362—Mechanical details, e.g. mountings for the camera or image sensor, housings
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28—Systems for automatic generation of focusing signals
    • G02B7/36—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38—Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Immunology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Cell Biology (AREA)
  • Microbiology (AREA)
  • Signal Processing (AREA)
  • Hematology (AREA)
  • Urology & Nephrology (AREA)
  • Mycology (AREA)
  • Medicinal Chemistry (AREA)
  • Biochemistry (AREA)
  • Food Science & Technology (AREA)
  • Pathology (AREA)
  • Biotechnology (AREA)
  • Theoretical Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

提供了一种在显微镜成像系统中生成样品保持器的测量地点的对焦图像的方法。将聚焦光学器件阵列和相机传感器定位在距离样品保持器的第一焦距处。使用相机传感器采集测量地点的第一图像。根据第一图像得出与聚焦光学器件阵列和相机传感器相关联的候选输出图像。将聚焦光学器件阵列和相机传感器设置在距离样品保持器的第二距离处，并使用相机传感器采集测量地点的第二图像。根据选择标准根据第二图像的一部分来更新候选输出图像的一部分。发送更新的候选图像。

Description

在显微镜系统中使用并行成像生成对焦图像的设备和方法
相关申请
本申请涉及2013年4月30日提交的美国临时专利申请No.61/817,869。
技术领域
本发明涉及用于细胞生物学和其他类似研究的自动和半自动显微镜，并且特别涉及高内涵筛选显微镜成像系统。
背景技术
研究人员可以在高内涵筛选(HCS)过程中使用显微镜成像系统来获得显微镜样品的图像。样品保持器(例如，微量滴定板、载玻片、盘等)可在筛选过程中支撑显微镜样品。自动显微镜成像系统可以包括物镜，其耦接到诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)芯片的电子成像装置，以产生显微镜样品的图像。可以调节物镜相对于样品保持器的位置以将显微镜样品带入成像装置上的焦点。
显微镜样品可以停留在样品保持器的上表面上的各种测量地点(例如，凹陷部(well))。由此，显微镜成像系统的物镜可以定位在相对于样品保持器的顶部或底部的焦点位置，以便获得显微镜样品的对焦图像。然而，样品保持器在厚度和弯曲程度上的变化可能会阻碍一定范围的测量地点的精确聚焦。结果，可能需要在每个测量地点校正物镜的焦点位置，以便获得所有测量地点的各自的对焦图像。因为高内涵筛选可以使数百或数千个测量样品成像，所以一些显微镜成像系统可以构造为在每个测量地点自动执行聚焦维持。
为了提高成像的效率，多个成像装置可以用于使多个凹陷部并行(即，同时)成像。然而，使多个成像装置中的每一个的物镜聚焦所需的时间可以消除可以从并行成像中得到的任何效率。此外，单独使每个物镜聚焦也可能会增加成像系统的复杂性。
因此，需要在高内涵筛选显微镜成像系统中使用并行操作的成像装置来生成多个测量地点的对焦图像的改进的系统和方法。
发明内容
提供了一种在显微镜成像系统中生成样品保持器的测量地点的对焦图像的方法。将聚焦光学器件阵列和相机传感器定位在距离样品保持器的第一焦距处。使用相机传感器采集测量地点的第一图像。根据第一图像得出与相机传感器相关联的候选输出图像。聚焦光学器件阵列和相机传感器定位在距离样品保持器的第二焦距处，并使用相机传感器采集测量地点的第二图像。根据选择标准用第二图像的一部分更新候选输出图像的一部分。发送更新后的候选图像。
还提供了一种用于采集样品保持器的多个测量地点的对焦图像的显微镜成像系统。该系统包含相机传感器、聚焦光学器件阵列、运动控制器、运动控制模块。运动控制器将聚焦光学器件阵列和相机传感器相对于样品保持器定位。与相机传感器以及运动控制器或采集系统控制器之一相关联的预处理模块接收图像。运动控制器将聚焦光学器件阵列和相机传感器定位在距离样品保持器的多个距离处，以从中采集多个图像，其中在多个距离中的各自的一个距离处采集多个图像中的每一个。预处理模块根据多个图像得出与相机传感器相关联的对焦图像。
附图说明
图1是并行图像采集系统的示意图；
图2是示出可以在图1的并行图像采集系统中使用的聚焦光学器件的组件的分解图；
图3是图1的成像装置的相机阵列和样品保持器的分解图；
图4A至图4C是用于一些实施例的预处理模块与图1的并行图像采集系统的各元件的关联的分解图；以及
图5是由并行图像采集系统进行的用以并行得出对焦图像的处理的流程图。
具体实施方式
参照图1，用于使测试板并行成像的系统100包含相机传感器102(其具有内置预处理单元)、运动控制模块104、相机控制模块106、聚焦光学器件阵列108以及控制器110。如下文进一步描述的，聚焦光学器件阵列108可以包括以二维模式布置在保持器上的聚焦光学器件。
在操作期间，聚焦光学器件阵列108和相机传感器102定位在要被成像的样品保持器的下方。在一些实施例中，聚焦光学器件阵列和相机传感器最初被定位成使得聚焦光学器件阵列定位在样品保持器的凹陷部或凹陷部的一部分的下方。控制器110指示运动控制模块104将相机传感器102移动到初始位置，使得相机传感器102距离样品保持器的底部至少为预定的初始距离。在一些实施例中，预定的初始距离为从相机传感器102的顶表面测量至样品保持器的底表面或顶表面。在其他实施例中，预定的初始距离为从与相机传感器102中特定的相机相关联的物镜的顶表面测量至样品保持器的底表面或顶表面。建立预定的初始距离的其他方式对本领域的技术人员将是显而易见的。
然后，控制器110指示相机控制模块106致动相机传感器102以从其获得第一候选图像。所述图像作为设置在与预处理模块相关联的存储器中的候选输出图像被存储。在一些实施例中，将候选图像提供给相机控制模块并存储在与相机控制模块相关联的存储器中。在一些实施例中，相机控制模块将候选图像提供给采集系统控制器110。
采集系统控制器110随后指示运动控制模块104将聚焦光学器件阵列108和相机传感器102移动至用于向上调整焦点的预定增量距离。在一个实施例中，预定增量距离是根据聚焦光学器件阵列的景深确定的。例如，预定增量距离可以基本上与这样的景深或景深的分数倍相同。采集系统控制器110指示相机控制模块106致动相机传感器102以采集另一组图像。在一些实施例中，该另外的图像也提供给相机控制模块106。在一些实施例中，相机控制模块将该另外的图像提供给采集系统控制器110。
相机传感器102使用预定义的选择标准来确定候选图像的任何部分是否应该被更新为另外的图像的对应部分。这样的选择标准可以包括：另外的图像的所述部分与候选图像的对应部分相比是否具有更高的强度值、更低的强度值、更高的梯度、更好的聚焦等。如果满足该选择标准，则用另外的图像的对应部分替代候选图像的所述部分。在一个实施例中，具有预处理模块的相机传感器将成像装置采集的另外的图像的每个像素和与这一成像装置相关联的候选输出图像的对应像素相比较。如果另外的图像的像素具有比候选输出图像中的对应像素更好的聚焦，则用聚焦图像中的像素的强度值替代与候选输出图像中的像素相关联的强度值。在一个实施例中，如果第一像素和其直接相邻的像素之间的对比度比第二像素和其直接相邻的像素之间的对比度更大，则第一像素具有比第二像素更好的聚焦。在一些实施例中，可以通过计算像素和其每个直接相邻的像素之间的强度差的平均值来估计该像素和其直接相邻的像素之间的对比度。在一些实施例中，如果另外的图像的像素具有比候选输出图像的对应像素更高的强度值，则用另外的图像的像素的强度值替代候选图像的像素的强度值。如果图像是发荧光的样品，则这样的实施例可以是有用的。在其他实施例中，如果另外的图像的像素具有比候选输出图像的对应像素更低的强度值，则用另外的图像的像素的强度值替代候选图像的像素的强度值。
在另一实施例中，将另外的图像的像素的强度值加到候选图像的对应像素的强度值中。由这样的实施例产生的图像对于量化样品中存在的荧光材料的量是有用的。可以使用对于本领域的技术人员显而易见的得出(develop)候选输出图像的其他方式。
然后采集系统控制器110指示运动控制模块104来使调节焦点的聚焦光学器件阵列108和相机传感器102移动至与预定的间隔距离相同的位置。采集系统控制器110随后指示相机控制模块106致动相机传感器102以采集又一图像。所述又一图像按照如上所述被处理以更新包含候选输出图像的图像。以这种方法操作并行图像采集系统100，直到聚焦光学器件阵列108和相机传感器102的焦点位置已经朝向样品保持器遍历了预定范围。在一些实施例中，这样的预定范围可以是基于样品保持器的底表面的弯曲程度的预期变化或其他变化。在一些实施例中，样品保持器的制造商可以提供关于这种预期变化的信息。在其他实施例中，通过测量一个或多个样品保持器可以使这种预期变化显露出来。在一些实施例中，所述预定范围在约50mm和约500mm之间。建立所述预定范围的其他方式对于本领域的技术人员来说是显而易见的。
在一些实施例中，在聚焦光学器件阵列108和相机传感器102的已经朝向样品保持器遍历预定范围之后，控制器110指示相机传感器提供对焦图像。在一些实施例中，相机控制器从其自身的存储器中检索对焦图像。相机控制器提供对焦预处理模块418以提供作为并行图像采集系统100的对焦输出图像的候选输出图像。对焦输出图像可以被提供给与系统100相关联的图像存储子系统和/或图像处理与测量子系统。在一些情况下，控制器110可以将一组对焦输出图像(例如，通过网络或通信信道)发送到单独的系统以进行进一步处理。在一些实施例中，预处理模块418将候选输出图像从预处理模块418的存储器中清除。
在一些实施例中，将包含感兴趣的样品地点的每个图像的仅部分从相机传感器102提供给相机控制模块106。在一些实施例中，这些部分将对应于样品保持器中的个别样品。在一些实施例中，每个部分是提供给相机控制模块并之后提供给采集系统控制器110的独立的图像。在一些实施例中，将整个图像或该图像的一个连续部分从相机传感器提供给相机控制模块。在一些实施例中，仅将每个图像的包含感兴趣的样品地点的部分提供给采集系统控制器110。在另外的一些实施例中，将整个图像提供给采集系统控制器，然而在一些实施例中，仅每个图像的包括感兴趣的样品地点的部分将由采集系统控制器存储或处理。
此外，采集系统控制器110指示运动控制模块104将聚焦光学器件阵列108和相机传感器102从样品保持器移开，直到聚焦光学器件阵列108和相机传感器102与样品保持器之间的距离基本等于预定的初始距离。采集系统控制器110随后指示运动控制模块104在平行于样品保持器的方向上移动聚焦光学器件阵列108和相机传感器102在基本，使得相机阵列102的成像装置被定位在未被成像的另一测量地点的下方。在一些实施例中，如果成像装置的视野小于凹陷部，则另一测量地点可以是刚被采集的凹陷部的另一部分。采集系统控制器110指示运动控制模块104和相机控制模块106。用这种方式得出另外的对焦输出图像组，直到使样品保持器的所有测量地点都已经成像。
在一些实施例中，不是逐个像素地更新每个候选输出图像，而是通过相机传感器执行的预处理来比较采集的图像的焦点和对应的候选输出图像的焦点。如果采集的图像的焦点被评估为更好，则用采集的图像替代对应的候选输出图像。可以例如通过在图像上应用梯度或边缘检测滤光器并生成梯度或检测到的边缘的平均值来评估图像的焦点。评估图像的焦点或比较两个图像的焦点的其他方式对于本领域的技术人员来说将是显而易见的。而且，应当显而易见的是，候选图像的一部分(该部分比一个像素大且比整个候选图像小)可与来自另外的图像的对应部分进行比较以更新候选图像。
在并行图像采集系统100的一些实施例中，聚焦光学器件阵列108和相机传感器102保持固定，并且运动控制模块104使样品保持器相对于聚焦光学器件阵列和相机传感器移动。在另外的实施例中，运动控制模块104使样品保持器和聚焦光学器件阵列108与相机传感器102移动。例如，运动控制模块104可以通过增大或减小相机传感器和聚焦光学器件阵列与样品保持器之间的距离使相机传感器与聚焦光学器件阵列移动并在平行于它们的方向上移动样品保持器以使样品保持器上的各个测量地点能够成像。能够使聚焦光学器件阵列108和相机传感器102与样品保持器之间相对移动的其他方式对于本领域的技术人员来说将是显而易见的。
在一些实施例中，运动控制模块104可以移动或调节聚焦光学器件阵列而不是移动相机传感器或样品保持器。
参照图2和图3，成像装置204包含图像采集电子器件402，其包括例如CCD或CMOS芯片以及相关联的电子器件。一个或多个滤光器404和/或透镜406设置在样品保持器200和图像采集电子器件402之间的光路中。诸如发光二极管(LED)的光源408也可以设置在图像采集电子器件402和样品保持器200之间。光源408被设置成使得光源408不干扰样品保持器200和图像采集电子器件402之间的光路。在操作期间，由光源408发射的光被待成像的测量地点202反射、穿过透镜406和滤光器404、并由图像采集电子器件402感测。在其他实施例中，由光源408发射的光激励测量地点202处的样品的荧光分子。由这种荧光分子响应于这种激励而发射的光穿过透镜406和滤光器404，并由图像采集电子器件402感测。
在一些实施例中，另一光源416可以被设置成使得样品保持器200在另一光源416和图像采集电子器件402之间。来自另一光源416的光透射通过设置在待成像的测量地点202处的样品保持器200中的样品、透射通过透镜406和滤光器404，并由图像采集电子器件402感测。在一些应用中，只有光源408可以用于照亮设置在样品保持器200中的样品。在其他应用中，只有来自于另一光源416的光可以用于照亮这样的测量地点。在另外的应用中，来自于光源408和另一光源416的光可以同时或者分别用于照亮这样的测量地点。在一些实施例中，如果来自于光源408和另一光源416的光分别用于使特定的测量地点202成像，则使用光源408得出第一组对焦输出图像。
在一些实施例中，每当聚焦光学器件阵列和相机传感器102被重新定位以开发出多个图像通道时，相机控制模块106可以指示相机传感器102采集测量地点的多个图像。例如，当光源408照亮测量地点时可以开发一个通道，且当光源416照亮测量地点时可以开发另一个通道。在一些实施例中，光源408(或光源416)可能能够产生不同波长的光。在这些情况下，利用每个这种波长的光照亮样品并且获得与这种波长的光相关联的图像通道。例如，光源408可以包含多个LED，其中每个LED发射一种特定颜色的光。相机控制模块106可以针对获得的每个图像通道致动这些LED中的一个或这些LED的组合。在一些实施例中，滤光器404可以包含一个或更多的子滤光器，其中每个子滤光器允许一个或多个波长的光穿过。运动控制模块104可以在获得图像通道之前将每个子滤光器定位在测量地点和与该测量地点相关联的相机采集装置之间的光路中。用这种方式，可以产生用于每一个这样的子滤光器的图像通道。在一些实施例中，针对每个通道得出与测量地点相关联的输出图像。在其他实施例中，将所述通道组合起来以产生一个输出图像。在一些实施例中，针对每个测量地点获得2至6个图像通道。
在一个实施例中，图像采集电子器件402生成的图像数据在相机传感器上进行预处理。通过接口410将成像装置的图像数据提供给附加的预处理模块418。附加的预处理模块418通过接口412将所述附加的预处理模块418得出的输出图像组发送至其他系统(未示出)。接口410和接口412可以根据以下接口：通用串行总线(USB)接口、接口或IEEE1394接口、接口或对于本领域的技术人员来说显而易见的任何其他接口。在一个实施例中，实现接口410和接口412的全部或部分的电子器件以及预处理模块在单板计算机414上实现。
再次参照图3，滤光器404可以设置在滤光器保持器500上，透镜406可以设置在透镜保持器502上，且光源408可以设置在光源保持器504上。用这种方式，滤光器500、透镜406和光源408可以根据设置在被成像的测量地点204处的样品而容易地与所需的其它滤光器406、透镜406和/或光源408互换。
应当显而易见的是：滤光器保持器500、透镜保持器502和光源保持器504相对于彼此的设置顺序可以改变。在一些实施例中，透镜保持器502可以设置在样品保持器200和滤光器保持器500之间。在其他实施例中，滤光器保持器500可以设置在样品保持器200和透镜保持器502之间。在一些情况下，透镜保持器502和光源保持器504可以设置成使得来自于光源408的光在到达样品保持器200之前穿过透镜406。在其他情况下，滤光器保持器500、透镜保持器502和光源保持器504可以设置成使得来自于光源408的光在到达样品保持器200之前穿过滤光器404和透镜406的两者或其中之一。
对于本领域的技术人员应当显而易见的是：聚焦光学器件阵列108和相机传感器102可以安装在由一个或多个电动机506操作的X-Y-Z平台上。可替代地，如上所述，样品保持器200可以安装在由电动机506操作的X-Y-Z平台上。
参照图5，流程图600示出了由并行图像采集系统100进行的用以并行得出一组对焦输出图像的示例步骤。在步骤602中，运动控制模块104相对于样品保持器200定位相机传感器102使得设置在聚焦光学器件阵列上的成像装置204与样品保持器200的测量地点对齐。在步骤604中，运动控制模块104相对于样品保持器200定位聚焦光学器件阵列108和相机传感器102，使得样品保持器200与聚焦光学器件阵列108和相机传感器102之间的距离基本上等于预定的初始距离。在步骤606中，相机控制模块通过致动光源408和光源416两者或其中之一来照亮测量地点202。如上所述，在一些实施例中，光源408可以发射激励设置在测量地点202处的样品以及导致这种样品的荧光的光。在步骤608中，相机控制模块106指示相机传感器102采集图像。如果所述系统100要捕获如上所述的多个图像通道，则在步骤608中在不改变相机传感器102相对于样品板200的位置的情况下捕获所有图像通道。
在步骤610中，相机传感器如上所述地处理所述图像并更新与该装置相关联的候选输出图像。
然后在步骤612中，控制器110确定聚焦光学器件阵列108和相机传感器102是否已经遍历了预定范围。如果聚焦光学器件阵列108和相机传感器102没有遍历预定范围，则在步骤614中，运动控制模块104将聚焦光学器件阵列108和相机传感器102朝着样品保持器200(即，在平行于Z轴的方向)移动等于预定增量距离的距离。之后，并行图像采集系统100行进至步骤606。
如果在步骤612中，控制器110确定已经遍历了预定范围，则控制器110指示相机传感器。在下一步中(步骤616)，控制器指示相机控制模块通过接口412发送更新的候选图像。
在步骤618中，控制器110确定是否样品保持器200的所有测量地点202已经被成像。如果是这样，则并行图像采集系统100退出。否则，在步骤620中，运动控制模块104相对于样品保持器200定位聚焦光学器件阵列108和相机传感器102使得成像装置204与没有被成像的测量地点202对齐(即，将聚焦光学器件阵列108和相机传感器102分别平行于X轴和Y轴移动距离ΔX和ΔY)。然后并行图像采集系统100行进至步骤604，以使这样的地点成像。
应当理解并认识到：关于图1至图5描述的模块、处理、子处理和处理步骤中的一个或多个可以由一个或多个电子器件或数字控制装置上的硬件、软件或硬件与软件的组合来执行。软件可以存在于合适的电子处理组件或系统(例如，图1至图4中示意性地描绘的功能系统、控制器、装置、组件、模块或子模块中的一个或多个)的软件存储器(未示出)中。软件存储器可以包括用于实现逻辑功能(也就是说，可以以诸如数字电路或源代码的数字形式或者诸如模拟源(例如模拟电信号、声信号或视频信号)的模拟形式实现的“逻辑”)的可执行指令的有序列表。指令可以在处理模块或控制器(例如，运动控制模块104、相机控制模块106、预处理模块418、成像装置204，这些包括例如一个或多个微处理器、通用处理器、处理器的组合、数字信号处理器(DSP)、现场可编程门阵列(FPGA)或专用集成电路(ASIC))内执行。此外，示意图描述了具有不受功能的架构或物理布局限制的物理(硬件和/或软件)实现方式的功能的逻辑划分。本申请描述的示例系统可以以各种配置实现，并且在单个硬件/软件单元或在单独的硬件/软件单元中作为硬件/软件组件运行。
所述可执行的指令可以被实现为具有存储在其中的指令的计算机程序产品，当电子系统的处理模块执行计算机程序产品时，该计算机程序产品指示电子系统执行所述指令。计算机程序产品可以选择性地体现在任何非暂时性计算机可读存储介质中，以由指令执行系统、装置或设备(诸如基于电子计算机的系统、包括处理器的系统或可以选择性地从指令执行系统、装置或设备取出指令并执行指令的其他系统)使用，或者与指令执行系统、装置或设备相关联。在本文档的上下文中，计算机可读存储介质是可以存储供指令执行系统、装置或设备使用，或者与指令执行系统、装置或设备相关联的程序的任何非暂时性装置。非暂时性计算机可读存储介质可选地可以为例如电子的、磁性的、光学的、电磁的、红外的或半导体的系统、设备或装置。非暂时性计算机可读介质的更具体示例的非详尽列表包括：具有一个或多个电线的电连接(电子的)；便携式电脑磁盘(磁性的)；随机存取(即易失性)存储器(电子的)；只读存储器(电子的)；例如，诸如闪存的可擦除可编程只读存储器(电子的)；例如，诸如CD-ROM、CD-R、CD-RW的光盘存储器(光学的)；以及数字通用光盘存储器，即DVD(光学的)。注意，非暂时性计算机可读存储介质甚至可以是打印有程序的纸张或其他合适的介质，因为程序可以经由例如纸或其它介质的光学扫描被电子地采集，然后被编译、解译或必要的话以其他方式处理，然后存储在计算机存储器或机器存储器中。
也可以理解，在本文档中使用的数据的接收和发送意味着两个或多个系统、装置、组件、模块或子模块能够经由在某种类型的信号路径上传播的信号彼此通信。所述信号可以是通信信号、电力信号、数据信号、或能量信号，其可以沿着第一系统和第二系统之间、第一装置和第二装置之间、第一组件和第二组件之间、第一模块和第二模块之间或第一子模块和第二子模块之间的信号路径将信息、电力或能量从第一系统、第一设备、第一组件、第一模块或第一子模块传送到第二系统、第二设备、第二组件、第二模块或第二子模块。信号路径可以包括物理的、电子的、磁性的、电磁的、电化学的、光学的、有线的或无线的连接。信号路径也可以包括位于第一系统和第二系统之间、第一装置和第二装置之间、第一组件和第二组件之间、第一模块和第二模块之间或第一子模块和第二子模块之间的附加的系统、装置、组件、模块或子模块。
参照图4A、图4B和图4C，图像预处理模块可以根据多个图像得出对焦图像。在一些实施例中(图4A)，预处理模块418与相机传感器402相关联。在一个实施例中，预处理器与传感器相关联，作为双用途CMOS传感器和处理器。在一些实施例中(图4B)，预处理模块与相机控制器414相关联。在一些实施例中，预处理模块与采集系统控制器110相关联(图4C)。
工业实用性
鉴于上述描述，对本发明的大量修改对于本领域的技术人员来说是显而易见的。由此，本说明书将被解释为仅作为说明性的，并且是为了使本领域技术人员能够制造和使用本发明的目的并教导实施本发明的最佳模式而呈现的。保留在所附权利要求范围内的所有修改的专有权利。

Claims (22)

1.一种在显微镜成像系统中生成样品保持器的测量地点的对焦图像的方法，所述方法包括：
(a)将聚焦光学器件阵列和相机传感器定位在距离所述样品保持器第一焦距处；
(b)使用所述相机传感器采集测量地点的第一图像；
(c)根据所述第一图像得出与所述聚焦光学器件阵列和所述相机传感器相关联的候选输出图像；
(d)将所述聚焦光学器件阵列和所述相机传感器定位在距离所述样品保持器第二焦距处；
(e)使用所述相机传感器采集所述测量地点的第二图像；
(f)根据选择标准用所述第二图像的一部分来更新所述候选输出图像的一部分；以及
(g)发送更新后的候选输出图像。
2.根据权利要求1所述的方法，还包括重复步骤(d)至步骤(f)，直到所述相机传感器遍历了焦点的预定范围。
3.根据权利要求1所述的方法，其中更新所述候选输出图像的一部分包括更新所述候选输出图像的像素。
4.根据权利要求3所述的方法，其中更新所述候选输出图像的一部分还包括将所述候选图像的像素的强度值与其邻近像素的强度值进行比较以进行焦点的第一评估，并将所述第二图像的相应像素的强度值与其邻近像素进行比较，以进行焦点的第二评估。
5.根据权利要求4所述的方法，其中更新所述候选输出图像的像素还包括：如果焦点的所述第二评估大于焦点的所述第一评估，则用所述第二图像的相应像素的强度值替代所述候选输出图像的像素的强度值。
6.根据权利要求1所述的方法，还包括：
(h)使所述相机传感器和所述聚焦光学器件阵列与所述样品保持器之间进行相对移动使得所述相机传感器和所述聚焦光学器件阵列与第二测量地点对齐；以及
(i)得出第二更新候选输出图像，其中所述第二更新候选输出图像与所述第二测量地点相关联。
7.根据权利要求1所述的方法，其中成像装置包括图像采集电子器件，且所述方法还包括：
(h)将第一滤光器定位在所述测量地点与所述相机传感器之间的光路中，其中所述第一图像被采集时所述第一滤光器被定位在所述光路中；
(i)将第二滤光器定位在所述光路中；以及
(j)使用所述相机传感器采集所述测量地点的第二图像，其中所述第二图像被采集时所述第二滤光器被定位在所述光路中。
8.根据权利要求7所述的方法，其中所述第一图像被采集时所述相机传感器与所述聚焦光学器件阵列相对于所述样品保持器的位置与所述第二图像被采集时所述相机传感器和所述聚焦光学器件阵列相对于所述样品保持器的位置实质上相同。
9.根据权利要求1所述的方法，还包括：使用所述相机传感器和所述聚焦光学器件阵列来采集所述测量地点的第二图像，其中，使用第一照明条件采集所述第一图像，并且使用第二照明条件采集所述第二图像。
10.根据权利要求1所述的方法，还包括：步骤(b)和步骤(c)之间的第一附加步骤，其中所述第一图像被分成多个第一图像；以及步骤(e)和步骤(f)之间的第二附加步骤，其中所述第二图像被分成多个第二图像。
11.用于采集样品保持器的多个测量地点的对焦图像的显微镜成像系统，包括：
相机传感器；
聚焦光学器件阵列；
运动控制器，其用于相对于所述样品保持器定位所述聚焦光学器件阵列和所述相机传感器；以及
预处理模块，其用于接收由所述相机传感器采集的图像，
其中，所述运动控制器将所述聚焦光学器件阵列和所述相机传感器定位在距离所述样品保持器的多个焦距处，所述相机传感器采集多个图像，其中，在所述多个焦距中的相应一个焦距处采集多个图像中的每一个，并且所述预处理模块根据所述多个图像得出与成像装置相关联的对焦图像。
12.根据权利要求11所述的显微镜成像系统，其中所述预处理模块与相机控制器相关联，且所述预处理模块根据所述多个图像得出与所述相机传感器相关联的对焦图像。
13.根据权利要求11所述的显微镜成像系统，其中所述预处理模块与所述聚焦光学器件阵列相关联，且所述预处理模块根据所述多个图像得出与所述聚焦光学器件阵列相关联的对焦图像。
14.根据权利要求11所述的显微镜成像系统，其中所述预处理模块与所述采集系统相关联，且所述预处理模块根据所述多个图像得出与所述采集系统相关联的对焦图像。
15.根据权利要求11所述的显微镜成像系统，其中所述多个焦距在预定范围之内且所述预定范围与所述样品保持器相关联。
16.根据权利要求11所述的显微镜成像系统，其中所述运动控制器造成所述相机传感器和所述聚焦光学器件阵列与所述样品保持器之间的相对移动，使得所述相机传感器和所述聚焦光学器件阵列与第二测量地点对齐，成像装置采集所述第二测量地点的多个第二图像，并且所述预处理模块根据所述多个第二图像得出第二对焦图像。
17.根据权利要求16所述的显微镜成像系统，其中所述预处理模块得出与所述相机传感器相关联的第二对焦图像。
18.根据权利要求16所述的显微镜成像系统，其中所述预处理模块得出与所述相机控制器相关联的第二对焦图像。
19.根据权利要求16所述的显微镜成像系统，其中所述预处理模块得出与所述采集系统相关联的第二对焦图像。
20.根据权利要求11所述的显微镜成像系统，其包括所述多个第一图像被采集时设置在所述样品保持器和所述相机传感器之间的光路中的第一滤光器以及所述多个第二图像被采集时设置在所述样品保持器和所述相机传感器之间的光路中的第二滤光器。
21.根据权利要求20所述的显微镜成像系统，其中所述多个图像被采集时所述聚焦光学器件阵列与所述相机传感器相对于所述样品保持器的位置与所述多个第二图像被采集时所述聚焦光学器件阵列与所述相机传感器相对于所述样品保持器的位置实质上相同。
22.根据权利要求11所述的显微镜成像系统，还包括第一照明源和第二照明源，其中当所述多个图像被采集时致动所述第一照明源，当多个第二图像被采集时致动所述第二照明源。
CN201580071797.7A 2014-10-29 2015-10-28 在显微镜系统中使用并行成像生成对焦图像的设备和方法 Active CN107111124B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462072230P 2014-10-29 2014-10-29
US62/072,230 2014-10-29
PCT/US2015/057705 WO2016069685A1 (en) 2014-10-29 2015-10-28 Apparatus and method for generating in-focus images using parallel imaging in a microscopy system

Publications (2)

Publication Number Publication Date
CN107111124A true CN107111124A (zh) 2017-08-29
CN107111124B CN107111124B (zh) 2020-04-21

Family

ID=55858283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580071797.7A Active CN107111124B (zh) 2014-10-29 2015-10-28 在显微镜系统中使用并行成像生成对焦图像的设备和方法

Country Status (5)

Country Link
US (1) US10690901B2 (zh)
EP (1) EP3213139B1 (zh)
JP (1) JP6657242B2 (zh)
CN (1) CN107111124B (zh)
WO (1) WO2016069685A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110793965A (zh) * 2019-10-31 2020-02-14 湖南爱威医疗科技有限公司 图像采集方法和装置、显微镜系统、计算机可读存储介质
CN111149037A (zh) * 2017-09-29 2020-05-12 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法
CN113939759A (zh) * 2019-06-03 2022-01-14 分子装置有限公司 用于校正显微镜物镜视场中对焦平面变化的系统和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111093830A (zh) * 2017-07-18 2020-05-01 分子装置有限公司 具有基于成像的移液管吸头定位的对象挑取设备
GB201721430D0 (en) * 2017-12-20 2018-01-31 Q-Linea Ab Method and device for microscopy-based imaging of samples
EP3851894B1 (en) * 2020-01-20 2024-06-12 CellaVision AB System and method for digital microscopy imaging

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057094A1 (en) * 2002-09-23 2004-03-25 Olszak Artur G. Multi-mode scanning imaging system
CN101634747A (zh) * 2008-07-23 2010-01-27 中国科学院半导体研究所 高分辨率共聚焦显微镜
CN102053357A (zh) * 2009-10-15 2011-05-11 通用电气公司 用于具有增强景深的成像的系统和方法
CN102879088A (zh) * 2011-07-12 2013-01-16 徕卡显微系统复合显微镜有限公司 用于探测光的装置和方法
CN103201602A (zh) * 2010-09-28 2013-07-10 莱卡地球系统公开股份有限公司 具有至少两个独立数字照相机的数字多光谱照相机系统

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5647025A (en) * 1994-09-20 1997-07-08 Neopath, Inc. Automatic focusing of biomedical specimens apparatus
JPH10256326A (ja) 1997-03-07 1998-09-25 Sharp Corp パターン検査方法及び検査装置
US7283253B2 (en) * 2002-03-13 2007-10-16 Applied Precision, Llc Multi-axis integration system and method
JP2004239890A (ja) * 2003-01-16 2004-08-26 Keyence Corp 拡大観察装置、拡大画像観察方法、拡大観察装置操作プログラムおよびコンピュータで読み取り可能な記録媒体
JP2008116526A (ja) 2006-11-01 2008-05-22 Matsushita Electric Ind Co Ltd 顕微鏡画像の処理装置及び処理方法
JP2008139796A (ja) * 2006-12-05 2008-06-19 Keyence Corp 蛍光顕微鏡、蛍光顕微鏡の操作方法、蛍光顕微鏡操作プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器
JP5047764B2 (ja) * 2007-12-06 2012-10-10 オリンパス株式会社 顕微鏡用撮影装置
JP2010256530A (ja) * 2009-04-23 2010-11-11 Olympus Corp 顕微鏡装置
JP5555014B2 (ja) * 2010-03-10 2014-07-23 オリンパス株式会社 バーチャルスライド作成装置
JP2012008254A (ja) 2010-06-23 2012-01-12 Shicoh Engineering Co Ltd 撮影装置及びマイクロスコープ
JP2013003386A (ja) * 2011-06-17 2013-01-07 Olympus Corp 撮像装置およびバーチャルスライド装置
JP5830310B2 (ja) 2011-09-01 2015-12-09 オリンパス株式会社 顕微鏡装置、及び、顕微鏡装置の合焦方法
JP5705096B2 (ja) * 2011-12-02 2015-04-22 キヤノン株式会社 画像処理装置及び画像処理方法
US10133053B2 (en) * 2013-04-30 2018-11-20 Molecular Devices, Llc Apparatus and method for generating in-focus images using parallel imaging in a microscopy system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040057094A1 (en) * 2002-09-23 2004-03-25 Olszak Artur G. Multi-mode scanning imaging system
CN101634747A (zh) * 2008-07-23 2010-01-27 中国科学院半导体研究所 高分辨率共聚焦显微镜
CN102053357A (zh) * 2009-10-15 2011-05-11 通用电气公司 用于具有增强景深的成像的系统和方法
CN103201602A (zh) * 2010-09-28 2013-07-10 莱卡地球系统公开股份有限公司 具有至少两个独立数字照相机的数字多光谱照相机系统
CN102879088A (zh) * 2011-07-12 2013-01-16 徕卡显微系统复合显微镜有限公司 用于探测光的装置和方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HANS J. TIZIANI, HANS-MARTIN UHDE: "Three-dimensional analysis by a micro lens-array confocal arrangement", 《APPLIED OPTICS》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111149037A (zh) * 2017-09-29 2020-05-12 徕卡生物系统成像股份有限公司 实时自动对焦聚焦算法
US11454781B2 (en) 2017-09-29 2022-09-27 Leica Biosystems Imaging, Inc. Real-time autofocus focusing algorithm
CN113939759A (zh) * 2019-06-03 2022-01-14 分子装置有限公司 用于校正显微镜物镜视场中对焦平面变化的系统和方法
CN110793965A (zh) * 2019-10-31 2020-02-14 湖南爱威医疗科技有限公司 图像采集方法和装置、显微镜系统、计算机可读存储介质

Also Published As

Publication number Publication date
JP2017538972A (ja) 2017-12-28
JP6657242B2 (ja) 2020-03-04
US20190129160A1 (en) 2019-05-02
CN107111124B (zh) 2020-04-21
EP3213139B1 (en) 2021-11-24
EP3213139A4 (en) 2018-07-04
US10690901B2 (en) 2020-06-23
EP3213139A1 (en) 2017-09-06
WO2016069685A1 (en) 2016-05-06

Similar Documents

Publication Publication Date Title
CN107111124A (zh) 在显微镜系统中使用并行成像生成对焦图像的设备和方法
CN109507155B (zh) 阵列级傅立叶重叠关联成像
AU2018374379B2 (en) Slide rack gripper apparatus
EP2758825B1 (en) Slide scanner with a tilted image plane
US20240080579A1 (en) Unscanned Optical Inspection System using a micro camera array
CN110140129B (zh) 使用双光学路径和单成像传感器的低分辨率载片成像和载片标签成像以及高分辨率载片成像
US10928408B2 (en) Slide rack clamp apparatus
JP2019511011A (ja) サンプル場所のための補助画像検出器を有する撮像システム
KR20100091837A (ko) 바이오칩 스캐닝 방법
JP6509818B2 (ja) 顕微鏡システムにおいて平行撮像を用いて焦点の合った画像を生成するための装置および方法
CN111542742B (zh) 载片架确定系统
CN111149000B (zh) 用于2×3和1×3玻片的转盘
JP2017003904A (ja) 顕微鏡システムおよび顕微鏡観察方法
CN111373239A (zh) 在高通量实验室环境中管理多个扫描装置
CN103175780A (zh) 大尺度生物组织连续切片的自动化成像系统
JP2022540978A (ja) ウェルを含有したアッセイプレート内の複毛目や昆虫や他の生命体に対する有効成分の効果を決定するためのシステム
CN117859086A (zh) 用于周期性图案化表面的测序仪聚焦质量度量和聚焦跟踪
ITPD20060249A1 (it) Metodo di elaborazione digitale delle immagini acquisite da un microscopio ottico e sistema operante secondo tale metodo

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant