CN108139650B - 线扫描成像中的实时聚焦 - Google Patents

线扫描成像中的实时聚焦 Download PDF

Info

Publication number
CN108139650B
CN108139650B CN201680055451.2A CN201680055451A CN108139650B CN 108139650 B CN108139650 B CN 108139650B CN 201680055451 A CN201680055451 A CN 201680055451A CN 108139650 B CN108139650 B CN 108139650B
Authority
CN
China
Prior art keywords
sensor
image
focus
field
focusing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201680055451.2A
Other languages
English (en)
Other versions
CN108139650A (zh
Inventor
邹云陆
艾伦·欧森
卡伦·萨利格玛
陈露比
陪门·拿玛巴帝
魁格·卡达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of CN108139650A publication Critical patent/CN108139650A/zh
Application granted granted Critical
Publication of CN108139650B publication Critical patent/CN108139650B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/40Optical focusing aids
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/244Devices for focusing using image analysis techniques
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/02Objectives
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/06Means for illuminating specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/18Arrangements with more than one light path, e.g. for comparing two specimens
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/241Devices for focusing
    • G02B21/245Devices for focusing using auxiliary sources, detectors
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/34Microscope slides, e.g. mounting specimens on microscope slides
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/361Optical details, e.g. image relay to the camera or image sensor
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/36Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals
    • G02B7/38Systems for automatic generation of focusing signals using image sharpness techniques, e.g. image processing techniques for generating autofocus signals measured at different points on the optical axis, e.g. focussing on two or more planes and comparing image data
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Microscoopes, Condenser (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

一种用于采集显微镜载片上的样品的数字图像的系统。在一个实施方案中,所述系统包括载物台,所述载物台被构造来支撑样品;物镜,所述物镜具有与所述载物台正交的单个光轴;成像传感器;以及聚焦传感器。所述系统还包括至少一个光束分离器,所述至少一个光束分离器光学地耦合到所述物镜并且被构造来接收对应于所述物镜的所述光轴的视野,并且同时地向所述成像传感器提供所述视野的至少第一部分并向所述聚焦传感器提供所述视野的至少第二部分。所述聚焦传感器可在多个不同焦距处同时采集图像和/或同时采集一对镜像,所述图像各自包括在多个不同焦距处采集的像素。

Description

线扫描成像中的实时聚焦
相关申请的交叉引用
本申请要求2015年9月24日提交且标题“Real-Time Focusing in Line ScanImaging”的美国临时专利申请号62/232,229的优先权,所述申请的全部内容特此以引用方式并入本文。
本申请与2014年10月31日提交的美国专利申请号14/398,443相关,所述申请要求2013年3月13日提交的国际专利申请号PCT/US2013/031045和2012年5月2日提交的美国临时申请号61/641,788的优先权,所有申请的全部内容特此以引用方式并入本文。
背景
发明领域
本发明总体上涉及数字病理学,并且更具体地,涉及一种用于执行线扫描成像中的实时聚焦的多个独立线性传感器设备。
相关技术
显微镜成像系统中的大多数自动聚焦方法可分为两种:用于感测载片位置的基于激光的干涉仪和图像内容分析。在基于激光的干涉仪方法的情况下,测量离开载片表面的激光束的反射仅可提供载片位置或盖玻片位置的全局聚焦信息。它缺乏针对高度大幅变化的组织样品的聚焦精度。另外,图像内容分析方法需要不同聚焦深度的多个图像采集,并且使用算法来比较这些图像以便确定最佳焦点。然而,在不同聚焦深度采集多个图像可在聚焦与成像之间产生时间延迟。因此,所需要的是克服以上所述的常规方法中存在的这些显著问题的系统和方法。
概述
在一个实施方案中,公开了一种用于扫描样品以采集所述样品的数字图像的系统。所述系统可包括:载物台,所述载物台被构造来支撑样品;物镜,所述物镜具有与所述载物台正交的单个光轴;成像传感器;聚焦传感器;以及至少一个光束分离器,所述至少一个光束分离器光学地耦合到所述物镜并且被构造来接收对应于所述物镜的所述光轴的视野,并且同时地向所述成像传感器提供所述视野的至少第一部分并向所述聚焦传感器提供所述视野的至少第二部分。
所述聚焦传感器可沿着光路接收所述视野的所述第二部分,其中所述聚焦传感器相对于所述光路成角度倾斜,这样使得由所述聚焦传感器采集所述视野的所述第二部分作为包括表示不同焦距的像素的图像。此外,所述聚焦传感器可包括多个区域,其中所述聚焦传感器的每个区域沿着单独光路接收所述视野的所述第二部分,并且其中所述聚焦传感器相对于所述单独光路中的每一个成角度倾斜,这样使得由聚焦传感器的每个区域以不同于聚焦传感器的所述其他区域的焦距采集所述视野的所述第二部分。
可替代地,所述聚焦传感器可包括多个区域,其中所述聚焦传感器的每个区域沿着单独光路接收所述视野的所述第二部分,其中所述聚焦传感器相对于所述单独光路中的每一个正交,并且其中所述单独光路中的每一个具有不同焦距,这样使得由聚焦传感器的每个区域以不同于聚焦传感器的所述其他区域的焦距采集所述视野的所述第二部分。
可替代地,所述聚焦传感器可包括第一部分和第二部分,其中所述聚焦传感器的所述第一部分沿着第一光路接收所述视野的所述第二部分并且相对于所述第一光路以第一角度倾斜,并且其中所述聚焦传感器的所述第二部分沿着第二光路接收所述视野的所述第二部分,也就是与所述第一光路分离,并且相对于所述第二光路以第二角度倾斜,也就是与所述第一角度反向。
可替代地,所述聚焦传感器可包括第一区域和第二区域,其中所述第一区域沿着第一光路接收所述视野的所述第二部分,其中所述第二区域沿着第二光路接收所述视野的镜像第二部分,并且其中所述聚焦传感器相对于所述第一光路和所述第二光路中的每一个成角度倾斜。
可替代地,可利用非倾斜传感器和放置在所述非倾斜传感器前方的楔形棱镜来替代所述倾斜传感器。所述倾斜的角度可具有负值、零值或正值。
可替代地,所述聚焦传感器可以是在其前方具有楔形光学器件的传感器的一段,以便形成沿着所述传感器轴线覆盖所述传感器的这个聚焦区段的焦点变化,而所述传感器的其他区段作用为成像传感器。
另外,所述系统可包括处理器,所述处理器被配置为针对待扫描的所述样品的每个部分:从所述聚焦传感器采集所述样品的所述部分的聚焦图像;针对所述聚焦传感器上的多个位置中的每一个,为所述聚焦图像的对应于所述聚焦传感器上的那个位置的区域计算对比度测量值;为所述对比度测量值确定峰值;以及为所述物镜确定在所述聚焦传感器上的所述一个齐焦点处提供所述对比度测量的所述峰值的位置。
在另一个实施方案中,公开了一种用于自动实时聚焦的方法。所述方法可包括在载片扫描器中使用处理器来针对待扫描的样品的每个部分:在所述样品的所述部分由成像传感器感测之前、同时或之后从聚焦传感器采集所述样品的所述部分的聚焦图像,其中视野的由所述聚焦传感器感测的一部分从所述视野的由所述成像传感器感测的一部分偏移,这样使得在扫描方向上,所述聚焦传感器在所述成像传感器感测所述视野的一部分之前、当时或之后感测所述视野的按个相同部分,并且其中所述聚焦传感器上的一个点与所述成像传感器齐焦;针对所述聚焦传感器上的多个位置中的每一个,为所述聚焦图像的对应于所述聚焦传感器上的那个位置的区域计算对比度测量值,为所述对比度测量值确定峰值,为物镜确定在所述聚焦传感器上的所述齐焦点处为所述对比度测量值提供所述峰值的位置,以及将所述物镜移动到所述所确定位置;以及当所述物镜处于所述所确定位置时,从所述成像传感器采集所述样品的所述部分的图像。
在另一个实施方案中,公开了一种上面存储有指令的非易失性计算机可读介质。所述指令在由处理器执行时使所述处理器针对待扫描的样品的每个部分:在所述样品的所述部分由成像传感器感测之前、同时或之后从聚焦传感器采集所述样品的所述部分的聚焦图像,其中视野的由所述聚焦传感器感测的一部分从所述视野的由所述成像传感器感测的一部分偏移,这样使得在扫描方向上,所述聚焦传感器在所述成像传感器感测所述视野的一部分之前、当时或之后感测所述视野的那个相同部分,并且其中所述聚焦传感器上的一个点与所述成像传感器齐焦;针对所述聚焦传感器上的多个位置中的每一个,为所述聚焦图像的对应于所述聚焦传感器上的那个位置的区域计算对比度测量值,为所述对比度测量值确定峰值,为物镜确定在所述聚焦传感器上的所述齐焦点处为所述对比度测量值提供所述峰值的位置,以及将所述物镜移动到所述所确定位置;以及当所述物镜处于所述所确定位置时,从所述成像传感器采集所述样品的所述部分的图像。
在另一个实施方案中,定义来自所述聚焦图像的所述对比度测量值与来自所述主图像的所述对比度测量值之间的关系(例如,差或比率),并且确定这个关系的峰值,以便从而确定所述物镜相对于所述齐焦点的位置。
在阅读以下详细说明和附图后,本领域的普通技术人员将更清楚地了解所公开实施方案的其他特征和优点。
附图简述
将通过阅读以下详细描述和附图理解实施方案的结构和操作,在附图中相似参考号指相似部分,在附图中:
图1是示出根据一个实施方案的扫描系统的示例性侧视图构造的框图;
图2是示出根据一个实施方案的聚焦传感器和成像传感器相对于照明半径和圆形光学视野的示例性构造的框图;
图3A是示出根据一个实施方案的成像传感器的示例性俯视图构造的框图;
图3B是示出根据一个实施方案的倾斜聚焦传感器的示例性俯视图构造的框图;
图3C是示出根据一个实施方案的传感器的实例的框图,其中传感器的一半用于产生标准图像,并且另一半用于产生它的各种聚焦深度处的图像;
图4是示出根据一个实施方案的倾斜聚焦传感器的示例性俯视图构造的框图;
图5是示出根据一个实施方案的在扫描过程中聚焦传感器与成像传感器之间的示例性相互作用的时序图;
图6是示出根据一个实施方案的具有聚焦光学器件的示例性倾斜聚焦传感器的框图;
图7A-7C是示出根据一个实施方案的具有聚焦光学器件的示例性非倾斜聚焦传感器的框图;
图8示出根据一个实施方案的来自寻峰算法的示例性结果。
图9A示出根据一个实施方案的倾斜聚焦传感器与成像传感器之间的焦点关系。
图9B-9D示出根据一个实施方案的用于倾斜聚焦传感器和成像传感器的对比度函数的关系。
图10示出根据一个实施方案的包括两个倾斜线传感器的示例性倾斜聚焦传感器。
图11A是示出根据一个实施方案的具有用于采集反像的聚焦光学器件的示例性倾斜聚焦传感器的框图。
图11B是示出根据一个实施方案的具有用于采集反像的聚焦光学器件的示例性倾斜聚焦传感器的框图。
图12A示出根据一个实施方案的用于聚焦传感器采集到的两个图像的焦距的方向性。
图12B示出根据一个实施方案的用于聚焦传感器采集到的两个反像的对比度函数。
图13是根据一个实施方案的实时聚焦过程的流程图。
图14A是示出根据一个实施方案的示例性显微镜载片扫描器的框图;
图14B是示出根据一个实施方案的替代示例性显微镜载片扫描器的框图;
图14C是示出根据一个实施方案的示例性线性传感器阵列的框图;以及
图15是示出可与本文所述的各种实施方案结合使用的示例性有线或无线处理器使能装置的框图。
详述
某些实施方案基于图像内容分析(例如,组织寻找和宏聚焦)并利用线成像和线聚焦实现准确实时自动聚焦。在一个实施方案中,在线扫描的逆程过程期间执行全带聚焦。在替代实施方案中,在图像扫描期间执行聚焦。这两个实施方案消除成像扫描中的延时,从而加速整个数字图像扫描过程。另外,某些实施方案使用多个线性检测器或其他部件在线扫描成像中提供实时(即,瞬时或近瞬时)聚焦。在阅读本说明书后,如何实施各种替代实施方案并在替代应用中使用那些实施方案将对本领域技术人员显而易见。然而,虽然本文将描述各种实施方案,但应了解,这些实施方案仅以举例的方式而不是以限制性的方式来展现。这样,各种替代实施方案的这个详细描述将不应被解释为如所附权利要求书所阐述的限制本申请的范围或宽度。
在一个实施方案中,为样品(例如,在玻璃显微镜载片上制备的组织样品)确定一个或多个焦点。例如,可为样品确定宏焦点或多个焦点。具体来说,可确定样品上的一个或多个位置。对于这些位置中的每一个来说,样品可沿着X轴和Y轴(例如,由机动载物台)移动,这样使得样品上的那个位置位于物镜下方。在替代实施方案中,物镜可沿着X轴和Y轴移动,或物镜和样品两者可沿着X轴和Y轴移动,这样使得物镜位于样品上的每个位置上方。在任何情况下,对于每个位置来说,当样品在X轴和Y轴上静止时,样品所处位置区域的图像可通过在物镜沿着Z轴(即与X轴和Y轴两者正交的轴)移动穿过多个聚焦高度时与物镜光学地耦合的聚焦传感器在多个聚焦高度处采集。软件可用于基于在所述位置的多个聚焦高度处采集到的图像为每个位置计算最佳聚焦高度。然后,实时聚焦机构可通过反馈回路将物镜约束在对应位置处的所计算最佳聚焦高度处,同时扫描整个样品。应理解,尽管术语“聚焦高度”或“Z高度”在全文中可用于描述物镜相对于样品的距离,但这个术语不将所公开实施方案限制于定位在样品之上的物镜,而是相反,应理解为包括表示物镜与样品平面之间的距离的任何距离,而不管它们对于彼此的取向。
图1是示出根据一个实施方案的扫描系统11的示例性侧视图构造的框图。在所示实施方案中,扫描系统11包括样品120(例如,在玻璃显微镜载片上制备的组织样品),所述样品120放置在机动载物台(未示出)上、由照明系统(未示出)照明并在扫描方向65上移动。物镜130具有光学视野(FOV)250,所述FOV 250在样品120上对准并为来自照明系统的光提供光路,所述光传送穿过载片上的标本,反射离开载片上的标本,从载片上的标本发荧光或另外传送穿过物镜130。
图1示出在空间上成像传感器20与聚焦传感器30之间的相对位置。光在光路上行进穿过物镜130到光束分离器140,光束分离器140允许一些光传送穿过透镜160到成像传感器20。如图1中所示,光可在透镜160与成像传感器20之间由反射镜150弯曲(例如,以90°弯曲)。成像传感器20可以是例如线电荷耦合装置(CCD)或线互补金属氧化物半导体(CMOS)装置。
另外,一些光从光束分离器140行进穿过透镜165到聚焦传感器30。如图1中所示,这些光可在物镜130与透镜165之间由光束分离器140弯曲(例如,以90°弯曲)。聚焦传感器30也可以是例如线电荷耦合装置(CCD)或线CMOS装置。
在一个实施方案中,行进到图像传感器20的光和行进到聚焦传感器30的光各自表示来自物镜130的完整光学视野250。基于系统的构造,样品120的扫描方向65相对于成像传感器20和聚焦传感器30逻辑地取向,这样一来,逻辑扫描方向60使物镜130的光学视野250越过相应聚焦传感器30和成像传感器20。
图2是示出根据一个实施方案的聚焦传感器30和成像传感器20相对于具有圆形照明半径240的光学视野250的示例性构造的框图。在所示实施方案中,聚焦传感器30的定位相对于成像传感器20和逻辑扫描方向60示出。在这种情况下,扫描方向60是指载物台或标本(例如,组织样品)相对于传感器30和20在空间中移动的方向。如图所示,成像传感器20在物镜130的光学视野250内居中,而聚焦传感器30偏离物镜130的光学视野250中心。聚焦传感器30偏离物镜130的光学视野250中心的方向与逻辑扫描方向60相反。这种放置将聚焦传感器30逻辑地取向在成像传感器20前方,这样一来,当扫描载片上的标本时,聚焦传感器30在成像传感器20感测图像数据之前、同时或之后感测相同图像数据。因此,样品120的给定部分(例如,线)将首先到达聚焦传感器30,随后其次到达成像传感器20。
当使用例如光束分离器将成像传感器20和聚焦传感器30投射到相同平面上时,聚焦传感器30关于逻辑扫描方向60在主成像传感器20前方的位置处在光学视野250的照明圆内,所述照明圆具有半径R。因此,当组织样品的区段的视线经过聚焦传感器30时,在组织样品的相同区段的视线经过成像传感器20的时间之前、同时或之后,可捕获聚焦数据并且可基于一个或多个预定算法计算物镜130的聚焦高度。物镜130的聚焦数据和所计算聚焦高度可用于在组织样品的相同区段的视线由成像传感器20通过物镜130感测之前(例如,由控制器)控制物镜130距样品120的高度。以此方式,当物镜130位于所计算聚焦高度处时,成像传感器20感测组织样品的区段的视线。
圆形照明半径240优选地照明覆盖聚焦传感器30和成像传感器20两者的光学视野250。半径240是样品120上的视野和聚焦光路的光学放大倍率M聚焦的函数。所述函数可表述为:
2R=FOV×M聚焦
例如,对于M聚焦=20且FOV=1.25mm(例如,Leica PlanApo 20倍物镜)来说,R=12.5mm。为了最佳图像质量,成像传感器20投射在光学视野250的中间,而聚焦传感器30相对于光学视野250的中心偏离成像传感器20距离h。距离h、半径R和聚焦传感器30的长度L之间存在关系,使得:
h≤square root(R2–(L/2)2)
例如,对于传感器长度=20.48mm且R=12.5mm来说,h≤7.2mm。应理解,当h>0时,样品120的任何给定区域首先由聚焦传感器30感测,其次由成像传感器20感测,而当h<0时,样品120的给定区域首先由成像传感器20感测,其次由聚焦传感器30感测。如果h=0,当载物台沿着载片扫描方向65移动时,样品120的给定区域由成像传感器20和聚焦传感器30同时感测。在一个实施方案中,样品120的相同区域的多个线图像的平均值可用作那个区域的线图像。
用于聚焦传感器30捕获多个相机行、用于聚焦高度计算和用于将物镜130移动到正确聚焦高度的可用时间t是聚焦传感器30与成像传感器20之间的距离h、放大倍率M聚焦和扫描速度v的函数:
v×t=h/M聚焦
例如,对于4.6mm/s的扫描速度来说,针对M聚焦=20且h=7.2mm的可用最大时间是约78.3ms。由聚焦传感器30捕获的可供聚焦计算的相机行的最大数量是:
N=t×κ,其中κ是聚焦传感器30的行速率。
例如,对于18.7kHz的相机行速率来说,N最大=1,464行,其中物镜130停留在相同高度处。另外,N<N最大以便允许物镜130移动到下一个聚焦高度。
在高水平处,样品120(例如,组织样品)在物镜130下方在X方向上传送。样品120的一部分被照明,以便在样品120的一部分的Z方向上(即,垂直于样品120的X-Y平面)形成被照明的光学视野250。被照明光学视野250例如使用光束分离器140传送穿过物镜130,所述物镜130光学地耦合到聚焦传感器30和成像传感器20两者。聚焦传感器30和成像传感器20经定位以使得聚焦传感器30在成像传感器20接收光学视野250的区域或行之前、同时或之后接收相同的区域或行。换句话说,当聚焦传感器30接收第一行图像数据时,成像传感器20同时接收第二行图像数据,所述第二行图像数据早先由聚焦传感器30接收并且在样品120上距第一行图像数据距离h/M聚焦。成像传感器20将花费时间段Δt来在聚焦传感器30已经接收第一行图像数据后接收第一行图像数据,其中Δt表示样品120用于在逻辑扫描方向60上移动距离h/M聚焦的时间。
在时期Δt期间,扫描系统10的处理器为第一行图像数据计算Z方向上的最佳聚焦高度,并且在成像传感器20接收第一行图像数据之前、当时或之后将物镜130调整到所计算的最佳焦距。
在一个实施方案中,聚焦传感器30与成像传感器20分离,并且相对于垂直于光学成像路径的方向以角度θ倾斜。因此,对于每行图像数据,聚焦传感器30在多个Z高度值处同时接收图像数据的像素。然后,处理器可确定所述行图像数据内具有最佳焦点的像素(例如,相对于所述行图像数据内的其他像素具有最高对比度)。在确定最佳Z高度值后,处理器或其他控制器可在成像传感器20接收相同行图像数据之前、同时或之后在Z方向上将物镜130移动到所确定的最佳Z高度值。
如以上所讨论的,聚焦传感器30可在光学视野内倾斜,这样使得来自物镜130的光由聚焦传感器30以多个Z高度值感测。图3A是示出根据一个实施方案的成像传感器20相对于成像光路210的示例性俯视图构造的框图。图3B是示出根据一个实施方案的倾斜聚焦传感器30相对于聚焦光路200的示例性俯视图构造的框图。如可在图3B中看出,聚焦传感器30相对于垂直于聚焦光路200的方向以角度θ倾斜。图3C是示出传感器的实例的框图,其中传感器的一半用于采集主图像,而传感器的另一半用于采集聚焦图像。
因此,投射在倾斜聚焦传感器30上并由倾斜聚焦传感器30作为一行图像数据采集的图像将具有可变的锐度或对比度。这行图像数据将在倾斜聚焦传感器30的特定区域或像素位置中具有其最高聚焦(例如,最大锐度或对比度)。倾斜聚焦传感器30的每个区域或像素位置可直接映射到物镜130的Z高度或以其他方式与其相关,这样一来可根据倾斜聚焦传感器30的特定像素位置确定物镜130的Z高度。因此,一旦确定最高聚焦(例如,最高对比度)的像素位置,可通过识别物镜130的映射到最高聚焦的那个像素位置的Z高度来确定提供最高聚焦的物镜130的Z高度。因此,可构成反馈回路。通过这个反馈回路,对于样品120上的给定区域,物镜130的位置可(例如,通过增加或降低物镜130的高度)自动地控制,以便在成像传感器20感测样品120上的那个区域之前、当时或之后始终对应于针对相同区域具有最高聚焦的倾斜聚焦传感器30上的位置,这样一来,样品120的由成像传感器20成像的区域始终在最佳可用焦距处。
图4是示出根据一个实施方案的示例性倾斜聚焦传感器30的框图。在所示实施方案中,倾斜聚焦传感器30在组织样品上的聚焦范围(z)内(例如,20μm)包括多个传感器像素218。如图4中所示,倾斜聚焦传感器30可定位在Z方向上的整个聚焦范围(z)由光学器件传输到Y方向上倾斜聚焦传感器30中的传感器像素218的整个阵列的位置处。每个像素传感器218的位置与物镜130的Z高度直接相关或映射到物镜130的Z高度。如图4中所示,跨所投射聚焦范围(d)的每个虚线p1、p2、…、pi…、pn表示不同聚焦值并对应于物镜130的不同聚焦高度。针对样品的给定区域具有最高聚焦的pi可由扫描系统11用于确定样品120的那个区域的物镜130的最佳聚焦高度。
倾斜聚焦传感器30上的所投射聚焦范围(d)与样品120上的聚焦范围(z)之间的关系可表述为:d=z×M聚焦2,其中M聚焦是聚焦路径的光学放大倍率。例如,如果z=20μm且M聚焦=20,那么d=8mm。
为了使倾斜聚焦传感器30(线性阵列传感器)覆盖整个投射聚焦范围(d),倾斜角度θ应跟随以下关系:sinθ=d/L,其中L是聚焦传感器30的长度。使用d=8mm且L=20.48mm,θ=23.0°。θ和L可变化,只要倾斜聚焦传感器30覆盖整个聚焦范围(z)即可。
聚焦高度运动沿着Z轴线的聚焦分辨率或最小步长Δz是传感器像素尺寸的函数,e=minimum(ΔL)。从以上公式导出:Δz=e×z/L。例如,如果e=10μm、L=20.48mm且z=20μm,那么Δz=0.0097μm<10nm。
在一个实施方案中,分析倾斜聚焦传感器30从样品120采集到的扫描线(例如,一维图像数据)。可限定品质因数(FOM)(例如,数据的对比度)。可发现传感器阵列上最大FOM的像素218的位置(对应于物镜130的聚焦高度值)。以此方式,可为那个扫描线确定物镜130的对应于最大FOM的像素218的位置的聚焦高度。
像素i在倾斜聚焦传感器30上的位置Li与物镜130的聚焦高度Zi之间的关系可如下表示:Li=Zi×M聚焦2/sinθ。
如果由L1到L2的均值确定聚焦,根据以上讨论的来自倾斜聚焦传感器30的数据的分析,物镜130的聚焦高度需要基于以下公式从Z1移动到Z2:Z2=Z1+(L2-L1)×sinθ/M聚焦2。
尽管聚焦传感器30和成像传感器20在Y轴线上的视野(FOV)可不同,但两个传感器的中心优选地沿着Y轴线彼此对齐。
图5是示出根据一个实施方案的在扫描过程中聚焦传感器30与成像传感器20之间的示例性相互作用的时序图。具体来说,示出使用成像传感器20和聚焦传感器30扫描的时序。在时间t0,物镜130的聚焦高度在组织区段X1上的Z0处,所述组织区段X1在聚焦传感器30的视野中。聚焦传感器30接收对应于组织区段X1的聚焦数据。通过使用聚焦数据,以及在一些实施方案中使用相关联的聚焦算法,将聚焦高度Z1确定为用于组织区段X1的最佳聚焦高度。然后,将最佳聚焦高度馈送到Z定位器,以便例如使用控制环路将物镜130移动到高度Z1。在t1,组织区段X1移动到成像传感器20的视野中。在具有正确的聚焦高度的情况下,成像传感器20将感测组织区段X1的最佳聚焦图像。在相同时间t1,聚焦传感器30从组织区段X2捕获聚焦数据,并且聚焦数据将用于确定最佳聚焦高度Z2,最佳聚焦高度Z2进而将在组织区段X2在时间t2传送到成像传感器20的视野中之前、当时或之后被馈送到Z定位器中。这种过程可继续直到扫描整个组织样品。
一般而言,在时间tn,组织区段Xn+1在聚焦传感器30的视野中,组织区段Xn在成像传感器30的视野中,并且物镜130在聚焦高度Zn处。此外,在tn+1之前、当时或之后,确定组织区段Xn+1的最佳聚焦高度并将物镜130的聚焦高度调整到Zn+1。在时间t0,聚焦传感器30感测组织区段X1并将组织区段X1的聚焦高度确定为Z1;在时间t1,组织区段X1在成像传感器20下方移动,并且物镜130移动到聚焦高度Z1,同时聚焦传感器30感测组织区段X2并将组织区段X2的聚焦高度确定为Z2;在时间tn,组织区段Xn在成像传感器20下方移动,并且物镜130移动到聚焦高度Zn,同时聚焦传感器30感测组织区段Xn+1并将组织区段Xn+1的聚焦高度确定为Zn+1。Xn-1和Xn不必表示连续或相邻行图像数据,只要扫描线由聚焦传感器30采集并在相同扫描线由成像传感器20采集之前、同时或之后确定并设置扫描线的最佳聚焦高度即可。换句话说,聚焦传感器30和成像传感器20可被布置使得一个或多个扫描线存在于聚焦传感器30的视野与成像传感器20的视野之间,即,聚焦传感器30与成像传感器20之间的那个距离h包括一个或多个数据扫描线。例如,在距离h包括五个扫描线的情况下,组织区段X6将在聚焦传感器30的视野中,同时组织区段X1在成像传感器20的视野中。在这种情况下,物镜130的聚焦高度将在组织区段X5由成像传感器20感测后但在组织区段X6由成像传感器20感测之前、同时或之后被调整为所计算的最佳聚焦高度。有利地,物镜130的聚焦高度可在组织区段X1与X6之间平滑地控制,这样使得X1与X6之间的聚焦高度存在近似组织样品的平缓斜率的增量变化。
图6示出根据一个实施方案的利用一个或多个光束分离器和一个或多个棱镜反射镜的倾斜聚焦传感器30。光束分离器和反射镜用于形成倾斜聚焦传感器30上相同视野的多个图像,所述多个图像中的每一个处于不同焦距,从而使得聚焦传感器30能够在不同焦点处(对应于物镜130的不同聚焦高度)同时感测样品120的相同区域的多个图像。聚焦传感器30可以是单个大型线传感器,或可包括多个线传感器(例如,沿着纵轴线成行定位)。
具体来说,图6示出倾斜聚焦传感器30,所述倾斜聚焦传感器30利用光束分离器620A和620B以及棱镜反射镜630来引导光束605(示为单独红色、蓝色和绿色通道,尽管它们不需要是单独通道)穿过多个光路610A-610C到单个倾斜线传感器30上,所述多个光路610A-610C各自具有不同焦距。应理解,光束605从物镜130传送视野。如图所示,以最高焦距到最低焦距的顺序,光路是610A、610B和610C。然而,应理解,由于倾斜线传感器30的倾斜,每个光路将以焦距范围而不是以单一焦距到达倾斜线传感器30。换句话说,由倾斜线传感器30在每个光路上采集的图像将包括从图像的第一侧向图像的第二相对侧增加的焦距处采集的像素。在所示实例中,光束605进入光束分离器620A,并且被分为以第一焦距行进到倾斜聚焦传感器30的第一区域的光路610A和行进到光束分离器620B的光路。行进到光束分离器620B的光路被分为以第二焦距行进到倾斜聚焦传感器30的第二区域的光路610B和以第三焦距反射离开反射镜630到倾斜聚焦传感器30的第三区域上的光路610C。第一、第二和第三焦距以及第一、第二和第三区域中的每一个彼此不同。以此方式,单个倾斜聚焦传感器30以多个不同焦距(例如,在所示实例中三个)同时感测光束605。应理解,更少或更多的光束分离器620和/或反射镜630可用于形成焦距不同的更少或更多光路610(例如,两个光路或四个或更多个光路,各自具有相对于倾斜聚焦传感器30的不同焦距)。
参考图6中所示的实施方案,可用如以上所述的相同方式确定最佳焦点并使其与物镜130的高度相关。来自不同焦距处的多个图像的冗余信息可向聚焦结果提供更高可信度。
图7A和7B示出倾斜聚焦传感器的替代方案。具体来说,图7A和7B示出根据一对实施方案的非倾斜聚焦传感器30,所述非倾斜聚焦传感器30利用一个或多个光束分离器和一个或多个棱镜反射镜来实现与倾斜聚焦传感器相同的结果。光束分离器和反射镜用于形成聚焦传感器30上的相同视野的多个图像,所述多个图像中的每一个处于不同焦距,从而使得聚焦传感器30能够在不同焦点处(对应于物镜130的不同聚焦高度)同时感测样品120的相同区域的多个图像。聚焦传感器30可以是单个大型线传感器,或可包括沿着纵轴线成行定位的多个线传感器。
具体来说,图7A示出非倾斜聚焦传感器30,所述非倾斜聚焦传感器30利用光束分离器620A和620B以及棱镜反射镜630A和630B来引导光束605(示为单独红色、蓝色和绿色通道,尽管它们不需要是单独通道)穿过多个光路610A-610C到达单个线传感器30上,所述多个光路610A-610C各自具有不同焦距。应理解,光束605从物镜130传送视野。如图所示,以最高焦距到最低焦距的顺序,光路是610A、610B和610C。在所示实例中,光束605进入光束分离器620A,并且被分为以第一焦距反射离开反射镜630A并穿过玻璃块640A到达聚焦传感器30的第一区域上的光路610B和行进到光束分离器620B的光路。行进到光束分离器620B的光路被分为以第二焦距传送到聚焦传感器30的第二区域(例如,与聚焦传感器30的第一区域相邻)上的光路610A和以第三焦距反射离开反射镜630B并穿过玻璃块640B到达传感器30的第三区域(例如,与聚焦传感器30的第二区域相邻)上的光路610C。第一、第二和第三焦距以及第一、第二和第三区域中的每一个彼此不同。以此方式,聚焦传感器30以多个不同焦距(例如,在所示实例中三个)同时感测光束605。应理解,更少或更多的光束分离器620、反射镜630、玻璃块640和/或聚焦传感器30的区域可用于形成焦距不同的更少或更多光路610(例如,两个光路或四个或更多个光路,各自具有相对于聚焦传感器30的不同焦距)。
图7B示出非倾斜聚焦传感器30,所述非倾斜聚焦传感器30利用光束分离器620A和620B以及棱镜反射镜630A和630B来引导光束605(示为单独红色、蓝色和绿色通道,尽管它们不需要是单独通道)穿过多个光路610A-610C到达多个线传感器30A-30C中的相应一个上,所述多个光路610A-610C各自具有不同焦距。如图所示,以最高焦距到最低焦距的顺序,光路是610A、610B和610C。在所示实例中,光束605进入光束分离器620A,并且被分为以第一焦距反射离开反射镜630A并穿过玻璃块640A到达聚焦传感器30的第一区域上的光路610B和行进到光束分离器620B的光路。行进到光束分离器620B的光路被分为以第二焦距传送到聚焦传感器30的第二区域上的光路610A和以第三焦距反射离开反射镜630B并穿过玻璃块640B到达聚焦传感器30上的第三区域上的光路610C。聚焦传感器30的第一、第二和第三焦距以及第一、第二和第三区域中的每一个彼此不同。以此方式,聚焦传感器30以多个不同相应焦距(例如,在所示实例中三个)同时感测光束605。应理解,更少或更多的光束分离器620、反射镜630、玻璃块640和/或聚焦传感器30的区域可用于形成焦距不同的更少或更多光路610(例如,两个光路或四个或更多个光路,各自具有相对于不同聚焦传感器30的不同焦距)。
在图6、7A和7B中所示的实施方案中,光束分离器和反射镜定位在光路中的成像透镜之后。可替代地,镜筒透镜可定位在光束分离光学器件之后。在这个替代实施方案中,视野相同的单独图像的位置由透镜的焦距和位置限定。
图7C示出根据一个实施方案的替代非倾斜聚焦传感器30,其中光束分离光学器件定位在镜筒透镜之前。具体来说,非倾斜聚焦传感器30利用光束分离器620A、620B和620C以及棱镜反射镜630来引导光束605穿过多个光路610A-610D到达单个线传感器30上,所述多个光路610A-610D各自具有不同焦距。如图所示,以最高焦距到最低焦距的顺序,光路是610A、610B、610C和610D。在所示实例中,光束605进入光束分离器620A,并且被分为由透镜650A以第一焦距聚焦到聚焦传感器30的第一区域上的光路610A和行进到光束分离器620B的光路。行进到光束分离器620B的光路被分为由透镜650B以第二焦距聚焦到聚焦传感器30的第二区域上的光路610B和进行到光束分离器620C的光路。行进到光束分离器620B的光路被分为由透镜650C以第三焦距聚焦到聚焦传感器30的第三区域上的光路610C和以第四焦距反射离开反射镜630并由透镜650D聚焦到倾斜聚焦传感器30的第四区域上的光路610C。第一、第二、第三和第四焦距以及第一、第二、第三和第四区域中的每一个彼此不同。以此方式,聚焦传感器30(例如,包括单个线传感器或多个线传感器)以多个不同焦距(例如,在所示实例中四个)同时感测光束605。应理解,更少或更多的光束分离器620、反射镜630和/或聚焦传感器30的区域可用于形成焦距不同的更少或更多光路610(例如,两个光路、三个光路或五个或更多个光路,各自具有相对于聚焦传感器30的不同焦距)。
在以上所述的实施方案中,样品120的给定区域由聚焦传感器30的不同区域以多个不同焦距同时采集,从而以不同焦距产生多个图像。然后可将算法应用到这些多个图像以便确定最佳焦距,所述最佳焦距可与物镜130沿着Z轴的聚焦高度相关。
通过使光学器件对齐(例如,如以上所述),聚焦传感器30的不同区域采集到的多个图像可与来自聚焦缓冲的各种焦斑相关或映射到来自聚焦缓冲的各种焦斑。聚焦缓冲可包括针对焦点的对比度测量值,所述对比度测量值在物镜130沿着Z轴移动(即,当物镜130的聚焦高度改变时)时根据已经连续采集的图像数据计算。例如,可绘制由多个图像表示的针对每个聚焦高度的对比度测量值(例如,平均对比度),如在实例中由图8中的诸点所示的。最佳焦点(即,聚焦缓冲中的对比度测量值的峰值)可通过使用寻峰算法(例如,拟合法、爬山法等)确定,以便识别最佳拟合所述点的曲线的峰值,如在实例中由图8中的曲线所示的。曲线的峰值表示最佳对比度测量值,并映射到提供最佳焦点的特定聚焦高度。
图9A示出根据一个实施方案的倾斜聚焦传感器30与成像传感器20之间的焦点关系。具体来说,在一个实施方案中,倾斜聚焦传感器30的点P与成像传感器20齐焦。因此,当使用倾斜聚焦传感器30感测样品120的区域时,物镜130距样品120的适当聚焦高度可确定为物镜130将具有最佳焦点的像素定位在聚焦传感器30的点P处的聚焦高度。这个确定的聚焦高度就是随后在使用成像传感器20感测相同区域时可用于物镜130的聚焦高度。
图9B-9D示出用于倾斜聚焦传感器30和成像传感器20的聚焦函数。聚焦函数可以是由倾斜聚焦传感器30和成像传感器20感测的图像内的对比度的函数。例如,CI表示用于成像传感器20的对比度函数,并且CT表示用于倾斜聚焦传感器30的对比度函数。因此,CI(x)针对沿着成像传感器20的阵列的位置x处的图像像素返回对比度测量值,并且CT(x)针对沿着倾斜聚焦传感器30的阵列的位置x处的图像像素返回对比度测量值。在两个例子中,对比度测量值可以是x处的对比度值的均方根。CD表示CT与CI之间的差(例如,CT-CI)。因此,CD(x)表示沿着成像传感器20和倾斜聚焦传感器30的阵列的位置x处的CT与CI之间的差(例如,CT(x)-CI(x))。CD(x)去除依赖组织的空间变化。两个图像的对比度函数之间的比率也可用于去除依赖组织的空间变化(例如,CT(x)/CI(x))。另外,可限定阈值以便去除来自背景噪声的影响。
图9B示出对比度函数CI2,所述对比度函数CI2将对比度测量值表示为成像传感器20上的位置的函数。类似地,图9C示出对比度函数CT2,所述对比度函数CT2将对比度测量值表示为倾斜聚焦传感器30上的位置的函数。图9D示出倾斜聚焦传感器30的对比度函数相比成像传感器20的对比度函数的比率(即,CT2/CI2)。
当倾斜聚焦传感器30和成像传感器20两者感测样品120的相同区域时,最佳焦点将在传感器30和20两者上的位置x处,在所述位置x处CT相比CI的比率(例如,CT/CI)是1.0。倾斜聚焦传感器30的预定点P与成像传感器20齐焦。这个点P可在系统校准期间确定。
在一个实施方案中,品质因数(FOM)函数可用于基于倾斜聚焦传感器30采集到的数据为样品120的区域确定最佳焦点。具体来说,可确定CT函数的峰值。这个CT峰值将对应于倾斜聚焦传感器30上的位置x,并与物镜130的Z范围内的聚焦高度相关。因此,当CT峰值偏离倾斜聚焦传感器30上的齐焦点P时(即,CT(P)不表示峰值),可启动命令以便沿着与样品120正交的轴线(即,Z轴)实时移动物镜130,直到CT的峰值位于P处(即,直到CT(P)是CT的峰值)。换句话说,散焦特征在于CT的峰值的移位偏离倾斜聚焦传感器30上的齐焦点P,并且自动聚焦可通过反馈回路实现,所述反馈回路使物镜130沿着Z轴移动直到CT的峰值位于倾斜聚焦传感器30上的齐焦点P处。
在一个实施方案中,成像传感器20采集到的视野的图像与聚焦传感器30(例如,倾斜聚焦传感器30)采集到的相同视野的图像使用它们的比率、差或其他计算相比较。
在一个实施方案中,聚焦传感器30可包括被设计成采集相同视野的两个图像的单个线传感器或双重线传感器,所述两个图像在图像的像素所表示的焦距方面反向。例如,两个图像中的第一个具有表示所捕获视野的第一侧(例如,左侧)上最低焦距的像素和表示所捕获视野的与第一侧相对的第二侧(例如,右侧)上最高焦距的像素,而两个图像中的第二个具有在所捕获视野的第一侧(例如,左侧)上最高焦距的像素和表示所捕获视野的第二侧(例如,右侧)上最低焦距的像素。如果最高和最低焦距对于两个图像是相同的,那么每个图像中心的一行像素将在两个图像之间齐焦,并且从中心发射到每个图像的所捕获视野的侧边缘(例如,左边缘和右边缘)的对应行像素也将在两个图像之间但在相反方向上齐焦。例如,使用左和右来任意地定义图像的边缘,对于所有距离D,第一图像中从中心到第一图像中所表示的视野的左边缘距离D的竖直行像素将与第二图像中从中心到第二图像中所表示的视野的右边缘距离D的竖直行像素齐焦。应理解,如果视野在第一图像与第二图像之间反转或成镜像,那么两个图像将具有其在图像的相同侧上但在由图像所表示的视野的相对侧上的最高和最低焦距。
图10示出根据一个实施方案的用于使用两个聚焦传感器30A和30B形成具有反向焦距的图像的光学部件。聚焦传感器30A的倾斜相对于聚焦传感器30B的倾斜围绕逻辑Z轴(即,聚焦轴)反向。应理解,图10中的逻辑Z轴不必与物镜130的物理Z轴相同,因为光可在传送穿过物镜130后(例如,由光束分离器或棱镜反射镜正交地)弯曲。在这个实施方案中,光路610A和610B向聚焦传感器30A和30B提供相同光学视野,但由于聚焦传感器30A和30B在其倾斜方面反向,因此两个图像中像素的焦距反向。这由标记Z1、Z2和Z3的三个箭头组示出,所述三个箭头各自表示不同的样品聚焦高度。因此,Z1a和Z1b均表示第一聚焦高度,Z2a和Z2b均表示第二聚焦高度,并且Z3a和Z3b均表示第三聚焦高度,其中第一、第二和第三聚焦高度中的每一个不同于彼此。
图11A和11B示出根据两个不同实施方案的用于在倾斜聚焦传感器30上形成两个镜像的光学部件。在所示实施方案中,一个或多个光学部件可用于形成倾斜聚焦传感器30的第一区域上的视野和倾斜聚焦传感器30的第二区域上的反向视野。应理解,倾斜聚焦传感器30可以是单个线传感器或多个相邻线传感器。
图11A示出根据第一实施方案的用于在倾斜聚焦传感器30上形成两个镜像的光学部件。如图所示,光束605进入光束分离器620,并且被分为反射离开反射镜630到聚焦传感器30的第一区域30A上使得第一图像从聚焦传感器30的第一区域30A采集到的光路610A和传送穿过达夫(dove)棱镜660的光路610B。达夫棱镜660接收光束605,使得镜像在聚焦传感器30的第二区域30B上形成,这样使得第二图像从聚焦传感器30的第二区域30B采集。换句话说,光路610A向聚焦传感器30的第一区域30A提供视野并向聚焦传感器30的第二区域30B提供镜像视野。因此,第二图像是第一图像围绕逻辑Z轴的镜像。由于倾斜角度(θ)在聚焦传感器30的第一区域30A和第二区域30B两者中相同,因此第一图像和第二图像中所描绘的视野在它们被采集的焦距的方向(例如,最高到最低)方面反向。
图11B示出根据第二实施方案的用于在倾斜聚焦传感器30上形成两个镜像的光学部件。如图所示,光束605进入光束分离器620,并且被分为反射离开反射镜630A(例如,平板)到倾斜聚焦传感器30的第一区域30A的光路610A和光路610B。光路610B反射离开反射镜630B的两个表面回到光束分离器620中,光路610B在光束分离器620处反射到倾斜聚焦传感器30的第二区域30B上。在光路610B上行进的光束605被反向,这样使得其在倾斜聚焦传感器30的第二区域30B上产生图像,所述图像是在倾斜聚焦传感器30的第一区域30A上在光路610A中形成的图像的镜像。由于倾斜角度(θ)在倾斜聚焦传感器30的第一区域30A和第二区域30B两者中相同,因此第一图像和第二图像中所描绘的视野在它们被采集的焦距的方向(例如,最高到最低)方面反向。
图12A示出根据一个实施方案的用于由图10、11A和11B中所示的实施方案中聚焦传感器30的区域30A和30B采集到的两个图像的焦距的方向性。这两个图像在差、比率或其他计算方面的比较可提供将物镜130放置在Z轴上的实现聚焦传感器30的最佳焦点的聚焦高度处所需的移动量和移动方向。在一个实施方案中,聚焦传感器30的区域(即,对应于其自身单独光路610的每个区域)中的每一个的中心或齐焦点彼此齐焦以及与成像传感器20齐焦。因此,确定样品120的给定区域的最佳焦点包括识别物镜130的焦距高度,这样使得聚焦传感器30采集到的两个图像的最佳焦点在聚焦传感器30的采集图像的相应区域的中心或齐焦点处。当针对聚焦传感器30的诸区域的最佳焦点以此方式居中或齐焦时,物镜130的对应于两个区域的中心或齐焦点的聚焦高度也是成像传感器30(其与聚焦传感器30的两个区域的中心或与齐焦点齐焦,例如,在系统校准期间确定)在样品120的给定区域的最佳焦点处的聚焦高度。
图12B示出聚焦传感器30的区域30A和30B采集到的两个反像的聚焦函数。在(例如,由图11A和11B中的区域30B)采集镜像的实施方案中,镜像由软件或其他装置在相对于两个反像执行操作之前反转。镜像的这个反转导致两个图像在内容方面不再是彼此的镜像。换句话说,两个图像表示相同取向上的相同视野。然而,尽管由图像表示的视野的取向相同,但它们的焦距的方向反向。例如,在这个反转过程之后,图像中的第一个的一侧上的内容将已经在焦距Z1处采集,而图像中的第二个的相同侧上的相同内容将已经在焦距Z3处采集,并且第一图像的另一侧上的内容将已经在焦距Z3处采集,而第二图像的相同侧上的相同内容将已经在Z1处采集。图像的中心将均已经在Z2处采集。
聚焦函数可以是反像内的对比度的函数。函数可针对沿着聚焦传感器30的每个区域(例如,区域30A和30B)的采集反像中的一个的给定位置x返回对比度测量值(例如,位置x处的对比度值的均方根)。例如,Cb表示聚焦传感器30的采集反像的区域30B的对比度测量值,并且Ca表示聚焦传感器30的采集非反像的区域30A的对比度测量值。C2a和C2b表示反像的中间位置的对比度测量值,并且C1a和C1b表示反像的一侧的对应部分的对比度测量值,并且C3a和C3b表示反像的另一侧的对应部分的对比度测量值。
如果使用比率算法,当两个图像的最佳焦点在它们在聚焦传感器30的对应区域(例如,区域30A和30B)中居中,那么C2a/C2b将在聚焦传感器30的整个视野中接近1.0。当C1a/C1b的最小值(即,C1a/C1b<1.0)在齐焦点P的左侧时,可在反馈回路中发送命令,以便在使得C1a/C1b的最小值朝向齐焦点P移动的方向上沿着Z轴移动物镜130。当C3a/C3b的最大值(即,C3a/C3b>1.0)在齐焦点P的左侧时,可在反馈回路中发送命令,以便在使得C3a/C3b的最大值朝向齐焦点P移动的方向上沿着Z轴移动物镜130。可对相对齐焦点P居中的另一半(即,曲线的右侧)比率数据应用相同算法。第二组数据可在视野的一半不包括组织数据或包括不可用数据的情况下加以使用,或简单地用于冗余以增加成功率。
在本文所述的使用聚焦传感器30的多个区域的任何实施方案(例如,图6-7C、11A和11B所示的实施方案)中,聚焦传感器30可以是包括多个区域的单个聚焦传感器或各自由多个区域中的一个组成的多个聚焦传感器。此外,在多个聚焦传感器用作聚焦传感器30的区域的实施方案中,取决于具体设计,多个聚焦传感器中的每一个可布置在彼此相同的平面中,或在彼此不同的平面中。
图13示出根据一个实施方案的用于实时聚焦的方法。初始地,可执行校准步骤1302。校准步骤1302可包括将齐焦点P(例如,与成像传感器20齐焦)定位在倾斜聚焦传感器30上(在利用倾斜聚焦传感器的实施方案中),为来自成像传感器20的图像确定照明轮廓,和/或为来自聚焦传感器30的图像确定照明轮廓。应理解,校准步骤1302可仅为特定系统11执行一次,或者在需要或希望重新校准的情况下为系统11周期性地执行。
实时聚焦过程可在步骤1304中开始,其中使用聚焦缓冲方法采集一个或多个并且优选地多个三个或更多个焦点。每个焦点可包括X、Y和Z位置,其中X和Y位置表示样品120的平面内的位置,并且Z位置表示物镜130的聚焦高度。在一个实施方案中,每个焦点通过将物镜130定位在样品120上的X-Y位置上、从其高度范围的一端向其高度范围的另一端扫掠物镜130以确定在X-Y位置处提供最佳焦点(例如,对比度函数的峰值)的聚焦高度来获得。
在步骤1306中,使用在步骤1304中获得的焦点来形成参考平面。应理解,参考平面可由少至三个焦点形成。当存在多于三个焦点时,可丢弃相对于平坦参考平面是异常值的焦点。另外,所有焦点可用于拟合参考平面。或者,替代参考平面,可由任何多个焦点形成焦面。用于形成参考平面或焦面的不同实施方案在2000年5月3日提交并在2004年3月23日颁布为美国专利号6,711,283的美国专利申请号09/563,437以及2004年4月16日提交并在2009年4月14日颁布为美国专利号7,518,652的美国专利申请号10/827,207中描述,所述两个专利的全部内容特此以引用方式并入本文。
在步骤1308中,物镜130移动到Z位置,所述Z位置由参考平面定义为待扫描的X-Y位置的函数。
在步骤1310中,从聚焦传感器30采集聚焦图像。类似地,在步骤1320中,从成像传感器20采集主图像。
在步骤1312中,使用任何熟知的照明校正技术校正在步骤1310中采集到的聚焦图像中的照明。类似地,在步骤1322中,使用任何熟知的照明校正技术校正在步骤1320中采集到的主图像中的照明。用于聚焦图像的照明校正可基于聚焦传感器30在校准步骤1302中确定的照明轮廓,并且用于主图像的照明校正可基于成像传感器20在校准步骤1302中确定的照明轮廓。
在步骤1314中,计算经照明校正的聚焦图像的绝对梯度。类似地,在步骤1324中,计算经照明校正的主图像的绝对梯度。
在步骤1316中,对在步骤1314中计算的聚焦图像梯度的行求平均。类似地,在步骤1326中,对在步骤1324中计算的主图像梯度的行求平均。
在步骤1318中,将低通滤光片应用到聚焦图像梯度。类似地,在步骤1328中,将低通滤光片应用到主图像梯度。
在步骤1330中,确定主图像中的背景面积(即,图像中不含组织的面积)是否小于主图像中的组织面积(即,图像中包含组织的面积)。如果主图像中的背景面积大于组织面积(即,在步骤1330中是“否”),过程可返回到步骤1308。否则,如果主图像中的背景面积小于组织面积(即,在步骤1330中是“是”),过程可进行到步骤1332。
在步骤1332中,计算聚焦图像梯度与主图像梯度之间的比率。例如,聚焦图像梯度可除以主图像梯度。
在步骤1334中,以最小的误差将峰值拟合到在步骤1332中计算的比率。例如,可为比率寻找最佳拟合曲线。
在步骤1336中,确定步骤1334中拟合的峰值。例如,在为步骤1334中的比率找到最佳拟合曲线的实施方案中,可在步骤1336中识别最佳拟合曲线的峰值。
在步骤1338中,如果在步骤1336中所识别的峰值不在齐焦点P处,物镜130例如使用如本文别处所述的反馈回路移动直到峰值位于齐焦点P处。
在步骤1340中,确定扫描是否完成。如果扫描未完成(即,在步骤1340中是“否”),过程返回到步骤1310和1320。否则,如果扫描完成(即,在步骤1340中是“是”),过程结束。
图14A和14B是示出根据一个实施方案的示例性显微镜载片扫描器的框图,并且图14C是示出根据一个实施方案的示例性线性传感器阵列的框图。这三个特征将在下文更详细地进行描述。然而,它们将首先组合描述以便提供综述。应指出,以下描述仅是载片扫描器装置的实例,并且也可采用替代载片扫描器装置。图14A和14B示出可结合所公开传感器布置使用的示例性显微镜载片扫描器。图14C示出可在如所公开传感器(成像传感器20或聚焦传感器30)的任何组合中使用的示例性线性传感器。
例如,成像传感器20和聚焦传感器30可如以上所讨论的使用线扫描相机18作为主成像传感器20来布置。在一个实施方案中,线扫描相机18可包括聚焦传感器30和成像传感器20。成像传感器20和聚焦传感器30可通过显微镜物镜130和/或聚焦光学器件34和290从样品120接收图像信息。用于聚焦传感器30的聚焦光学器件290可包括图6-8中所示的各种光束分离器620、反射镜630和玻璃块640。成像传感器20和聚焦传感器30可向数据处理器21提供信息和/或从其接收信息。数据处理器21通信地连接到存储器36和数据存储装置38。数据处理器21可进一步通信地连接到通信端口,所述通信端口可由至少一个网络42连接到一个或多个计算机44,所述一个或多个计算机44可进而连接到显示监测器46。
数据处理器21还可通信地连接到载物台控制器22并向其提供指令,所述载物台控制器22控制载片扫描器11的机动载物台14。机动载物台14支撑样品120,并在X-Y平面中的一个或多个方向上移动。在一个实施方案中,机动载物台14还可沿着Z轴移动。数据处理器21还可通信地连接到机动控制器26并向其提供指令,所述机动控制器26控制机动定位器24(例如,压电定位器)。机动定位器24被配置为在Z轴上移动物镜130。载片扫描器11还包括用于从上方或下方照明样品120的光源31和/或照明光学器件32。
图14A是示出根据一个实施方案的光学显微镜系统10的实施方案的框图。系统10的心脏是用于扫描并数字化标本或样品120的显微镜载片扫描器11。样品120可以是可由光学显微镜探询的任何事物。例如,样品120可包括显微镜载片或可由光学显微镜探询的其他样品类型。显微镜载片经常用作针对标本的观察衬底,所述标本包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、念珠、活检材料或任何其他类型的生物材料或者死的或活的、染色或未染色的、标记或未标记的基质。样品120还可以是任何类型的DNA或DNA相关材料的阵列,诸如cDNA或RNA或沉积在任何类型的载片或其他衬底上的蛋白质,包括被称为微阵列的任何和所有样品。样品120可以是微量滴定板,例如96孔板。样品120的其他实例包括集成电路板、电泳记录、培养皿、膜、半导体材料、法医材料或机加工零件。
扫描器11包括机动载物台14、显微镜物镜130、线扫描相机18和数据处理器21。样品120定位在机动载物台14上以供扫描。机动载物台14连接到载物台控制器22,所述载物台控制器22进而连接到数据处理器21。数据处理器21通过载物台控制器22确定样品120在机动载物台14上的位置。在一个实施方案中,机动载物台14在样品120的平面中的至少两个轴(x/y)上移动样品120。样品120沿着光学z轴的精细移动对于扫描器11的某些应用,例如对于聚焦控制也可能是必要的。Z轴移动可利用压电定位器24完成,诸如来自Polytec PI的PIFOC或来自Piezosystem Jena的MIPOS 3。压电定位器24直接附接到显微镜物镜130并通过压电控制器26连接到数据处理器21并由其引导。提供粗略聚焦调整的装置也有可能需要,并且可由Z轴移动提供,作为机动载物台14的部分或手动齿轮齿条式粗略聚焦调整(未示出)。
在一个实施方案中,机动载物台14包括高精度定位台,所述定位台通过滚珠轴承线性方式来提供平滑运动和优异的直线和平整性精度。例如,机动载物台14可包括彼此累叠的两个Daedal(106004型号)台。其他类型的机动载物台14也适合用于扫描器11,包括基于滚珠轴承以外方式的堆叠式单轴载物台、中间开口并且尤其适合从样品下方透射照明的单轴或多轴定位载物台,或可支撑多个样品的更大载物台。在一个实施方案中,机动载物台14包括两个堆叠式单轴定位台,所述两个堆叠式单轴定位台各自耦合到两个毫米丝杆和Nema-23步进电动机。在每秒二十五(25)转的最大丝杆速度下,样品120在机动载物台14上的最大速度是每秒五十(50)毫米。通过选择具有更大直径,例如五(5)毫米的丝杆,最大速度可增加到每秒100毫米以上。机动载物台14可装备有机械或光学位置编码器,所述位置编码器的缺点在于大幅增加了系统的开销。因此,这种实施方案不包括位置编码器。然而,如果要使用伺服电动机替代步进电动机,那么必须使用位置反馈以供适当控制。
来自数据处理器21的位置命令被转换为载物台控制器22中的电动机电流或电压命令。在一个实施方案中,载物台控制器22包括2轴伺服/步进电动机控制器(Compumotor6K2)和两个4安培微步进驱动机(Compumotor OEMZL4)。微步进提供用于以比相对较大的单个1.8度电动机步长更小的增量来命令步进电动机的装置。例如,在100的微步长下,可命令样品120以小至0.1微米的步长移动。在一个实施方案中,使用25,000的微步长。更小的步长尺寸也有可能。应理解,机动载物台14和载物台控制器22的最佳选择取决于许多因素,包括样品120的性质、样品数字化所需时间和样品120的所产生数字图像的所需分辨率。
显微镜物镜130可以是普遍可用的任何显微镜物镜。本领域普通技术人员将认识到选择使用哪个物镜将取决于具体情况。在一个实施方案中,显微镜物镜130是无限校正类型的。
样品120由包括光源31和照明光学器件32的照明系统28照明。在一个实施方案中,光源31包括可变强度卤素光源,所述可变强度卤素光源具有用于使光输出最大化的凹面反射镜和用于抑制热量的KG-1滤光片。然而,光源31也可以是任何其他类型的弧光灯、激光、发光二极管(“LED”)或其他光源。在一个实施方案中,照明光学器件32包括具有与光轴正交的两个共轭平面的标准
Figure GDA0002519663640000151
照明系统。照明光学器件32表示明视场照明光学器件,所述明视场照明光学器件可在由Leica、Carl Zeiss、Nikon或Olympus等公司销售的最可商购的复式显微镜上找到。一组共轭平面包括(i)由光源31照明的场光阑光圈,(ii)由样品120的焦面定义的物体平面,以及(iii)包括线扫描相机18的光响应元件的平面。第二共轭平面包括(i)灯泡的灯丝,所述灯泡是光源31的一部分,(ii)聚光器光阑的光圈,所述聚光器光阑紧接聚光器光学器件之前安置,所述聚光器光学器件是照明光学器件32的一部分,以及(iii)显微镜物镜130的后焦面。在一个实施方案中,样品120在传输模式下照明并成像,线扫描相机18感测由样品120传输的光能,或相反地,光能由样品120吸收。
扫描器11同样适于检测从样品120反射的光能,在这种情况下,光源31、照明光学器件32和显微镜物镜130必须基于与反射成像的兼容性而选择。因此,可能的实施方案可包括通过定位在样品120上方的光纤束照明。其他可能性包括由单色器光谱调节的激发。如果将显微镜物镜130选为与相差显微镜兼容,那么聚光器光学器件中的至少一个相位停止的并入将使得扫描器11能够用于相差显微镜,所述聚光器光学器件是照明光学器件32的一部分。对于本领域普通技术人员来说,其他类型的显微镜,诸如差分干涉对比和共焦显微镜所需的修改应显而易见。总体来说,在适当但熟知的修改的情况下,扫描器11适合微观样品在光学显微镜的任何已知模式下的探询。
在显微镜物镜130与线扫描相机18之间安放了线扫描相机聚焦光学器件34,所述线扫描相机聚焦光学器件34将由显微镜物镜130捕获的光学信号聚焦到线扫描相机18的光响应元件(例如,成像传感器20)上。在现代的无限校正显微镜中,显微镜物镜与接目镜光学器件之间或显微镜物镜与外部成像端口之间的聚焦光学器件包括被称为镜筒透镜的光学元件,所述光学元件是显微镜的观察筒的一部分。镜筒透镜通常由多个光学元件组成,以便防止引入彗发或散光。从传统的有限管长光学器件向无限校正光学器件的相对较近变化的动机中的一个是增加样品120的光能藉以平行的物理空间,这意味这些光能的焦点在无限远处。在这种情况下,二向色镜或滤光片等附属元件可在不改变光路放大倍率或引入不希望的光学伪影的情况下插入无限空间中。
无限校正显微镜物镜通常内接有无限标记。无限校正显微镜物镜的放大倍率由镜筒透镜的焦距除以物镜的焦距的商而得到。例如,如果使用焦距为9毫米的物镜,焦距为180毫米的镜筒透镜将产生20倍放大倍率。由不同显微镜制造商制造的物镜不兼容的原因中的一个是因为镜筒透镜焦距尚未标准化。例如,来自Olympus(这家公司使用180毫米镜筒焦距)的20倍物镜在基于200毫米的不同管长焦距的Nikon显微镜上将不会提供20倍放大倍率。反而,雕刻有20倍且焦距为9毫米的这种Olympus物镜的有效放大倍率将是22.2倍,这是通过将200毫米镜筒透镜焦距除以物镜的9毫米焦距获得。在不拆卸显微镜的情况下改变常规显微镜上的镜筒透镜是不可能的。镜筒透镜是显微镜的关键固定元件的一部分。由不同制造商制造的物镜与显微镜之间的不兼容性的另一个影响因素是藉以观察标本的接目镜光学器件、双筒镜的设计。尽管大多数光学校正已经被设计到显微镜物镜中,但大多数显微镜用户仍然确信使一个制造商的双筒镜光学器件与那个相同制造商的显微镜物镜相匹配对实现最佳视觉图像有益。
线扫描相机聚焦光学器件34包括安装在机械管内侧的镜筒透镜光学器件。在一个实施方案中,由于扫描器11缺少用于传统视觉观察的双筒镜或接目镜,常规显微镜面临的物镜与双筒镜之间的潜在不兼容性问题立即得以消除。普通技术人员将类似地认识到实现显微镜的接目镜与显示监测器上的数字图像之间的齐焦的问题也可通过不含任何接目镜来消除。由于扫描器11还通过提供实际上仅受样品120的物理边界限制的视野来克服传统显微镜的视野限制,因此诸如由扫描器11提供的全数字成像显微镜的放大倍率的重要性受到了限制。一旦样品120的一部分已经数字化,直接向样品120的图像施加电子放大倍率,有时被称为电变焦,以便增加其放大倍率。电子地增加图像的放大倍率的作用在于增加那个图像在用于显示图像的监测器上的大小。如果施加了过多电子变焦,那么显示监测器将能够仅示出所放大图像的一部分。然而,不可能使用电子放大倍率来显示最先数字化的原始光信号中不存在的信息。在一个实施方案中,由于扫描器11的物镜中的一个将提供高质量数字图像来替代通过显微镜的接目镜视觉观察,因此扫描器11采集到的图像的内容应包括尽可能多的图像细节。术语分辨率通常用于描述这类图像细节,并且术语衍射限制用于描述光学信号中可获得的波长限制的最大空间细节。扫描器11通过选择镜筒透镜焦距来提供衍射限制的数字成像,所述镜筒透镜焦距是根据熟知的Nyquist采样标准匹配到光感测相机(诸如线扫描相机18)中的单独像素元素的大小并匹配到显微镜物镜130的数值光圈的。众所周知,数值光圈是显微镜物镜的分辨率限制属性,而不是放大倍率。
实例将帮助示出镜筒透镜焦距的最佳选择,所述镜筒透镜是线扫描相机聚焦光学器件34的一部分。再次考虑先前所讨论的焦距为9毫米的20倍显微镜物镜130,并假设这个物镜的数值光圈为0.50。假设聚光器没有明显降级,这个物镜在500纳米的波长下的衍射限制的分辨率为约0.6微米,这是使用熟知的Abbe关系获得。进一步假设线扫描相机18(在一个实施方案中具有多个14微米正方形像素)用于检测样品120的一部分。根据采样理论,有必要使至少两个传感器像素对着最小可分辨空间特征。在这种情况下,必须选择镜筒透镜以实现46.7的放大倍率,所述放大倍率是通过将对应于两个14微米像素的28微米除以0.6毫米的最小可分辨特征尺寸获得的。因此,最佳镜筒透镜光学焦距为约420毫米,通过将46.7乘以9获得。因此,具有焦距为420毫米的镜筒透镜光学器件的线扫描聚焦光学器件34将能够采集具有最佳可能空间分辨率的图像,类似于通过在使用相同20倍物镜的显微镜下观察标本将观察到的。重申一下,扫描器11在更高放大倍率的光学构造(在以上实例中约47倍)下利用传统20倍显微镜物镜130,以便采集衍射限制的数字图像。如果使用具有更高数值光圈(如0.75)的传统20倍放大倍率物镜130,用于衍射限制成像的所需镜筒透镜光学器件放大倍率将为约615毫米,这对应于68倍的总光学放大倍率。类似地,如果20倍物镜的数值光圈仅为0.3,那么最佳镜筒透镜光学放大倍率将仅为约28倍,这对应于约252毫米的镜筒透镜光学焦距。线扫描相机聚焦光学器件34可以是扫描器11的模块化元件,所述元件可在必要时针对最佳数字成像进行互换。衍射限制的数字成像的优点对于例如明视场显微镜的应用尤其明显,其中信号亮度会随着放大倍率的增加而降低,而所述降低易于通过增加适当设计的照明系统28的强度来补偿。
原则上,有可能将放大倍率增加的外部光学器件附接到基于显微镜的常规数字成像系统,以便有效地增加镜筒透镜放大倍率,以实现刚刚针对扫描器11描述的衍射限制成像。然而,由此导致的视野减小常常为不可接受的,因此这种方法不切实际。此外,显微镜的许多用户通常没有充分理解衍射限制成像的细节,以便自己有效地采用这些技术。在实践中,利用放大倍率降低的光学耦合器将数字相机附接到显微镜端口,以便尝试将视野的大小增加到更类似可通过接目镜看到的某些事物。如果目标是获得衍射限制的数字图像,添加缩小光学器件的标准实践是在错误方向上的步骤。
在常规显微镜中,不同倍率的物镜通常用于以不同分辨率和放大倍率观察标本。标准显微镜具有容纳五个物镜的换镜旋座。在全数字成像系统中,诸如扫描器11,对于具有对应于最高空间分辨率期望的数值光圈的仅一个显微镜物镜130存在需求。因此,在一个实施方案中,扫描器11仅由一个显微镜物镜130组成。一旦已经以这个分辨率捕获衍射限制数字图像,直接使用标准数字图像处理技术来以任何所希望的减小分辨率和放大倍率呈现图像信息。
扫描器11的一个实施方案基于具有布置在线性阵列中的1024个像素(图片元素)的Dalsa SPARK线扫描相机18,每个像素具有14乘14微米的尺寸。还可使用任何其他类型的线性阵列,无论作为相机的一部分封装还是定制集成到成像电子模块中。在一个实施方案中,线性阵列有效地提供八位量子化,但还可使用提供更高或更低水平量子化的其他阵列。还可使用基于三通道红绿蓝(RGB)颜色信息或延时积分(TDI)的替代阵列。TDI阵列通过合计来自标本的先前成像区域的强度数据,在SNR中得出与积分级的数量的平方根成比例的增加来在输出信号中提供实质上更好的信噪比(SNR)。TDI阵列可包括多级线性阵列。TDI阵列可在24、32、48、64、96或甚至更多级的情况下得到。扫描器11还支持以多种格式形成的线性阵列,包括具有512个像素的一些、具有1024个像素的一些以及具有多至4096个像素的其他线性阵列。可能需要对照明系统28和线扫描相机聚焦光学器件34的适当但熟知修改,以便适应更大的阵列。还可在扫描器11中使用具有多种像素大小的线性阵列。对于选择任何类型的线扫描相机18的显著要求是样品120可在样品120的数字化期间相对于线扫描相机18运动,以便获得高质量图像,从而克服现有技术已知的常规成像倾斜方法的静态要求。
线扫描相机18的输出信号连接到数据处理器21。在一个实施方案中,数据处理器21包括具有辅助电子装置(例如,母板)的中央处理单元,以便支持至少一个信号数字化电子装置,诸如成像板或帧接收器。在一个实施方案中,成像板是EPIX PIXCID24 PCI总线成像板。然而,存在来自多个制造商的可替代EPIX板使用的许多其他类型的成像板或帧接收器。替代实施方案可以是使用诸如IEEE 1394的接口(也被称为火线)来完全旁通成像板并将数据直接存储在数据存储装置38(例如,硬盘)上的线扫描相机。
数据处理器21还连接到存储器36,诸如对于短期数据存储是随机存取存储器(RAM),并连接到数据存储装置38,诸如对于长期数据存储是硬盘驱动器。此外,数据处理器21连接到通信端口40,所述通信端口40连接到网络42,诸如局域网(LAN)、广域网(WAN)、城域网(MAN)、内联网、外联网或互联网。存储器36和数据存储装置38也彼此连接。数据处理器21还能够以软件形式执行计算机程序,以便控制扫描器11的关键元件,诸如线扫描相机18和级控制器22,或用于多种图像处理功能、图像分析功能或联网。数据处理器21可基于任何操作系统,包括诸如Windows、Linux、OS/2、Mac OS和Unix的操作系统。在一个实施方案中,数据处理器21基于Windows NT操作系统操作。
数据处理器21、存储器36、数据存储装置38和通信端口40各自是可在常规计算机中找到的元件。一个实例将是个人计算机,诸如特征在于奔腾III 500MHz处理器和高达756兆字节(MB)的RAM的戴尔Dimension XPS T500。在一个实施方案中,包括数据处理器21、存储器36、数据存储装置38和通信端口40的计算机元件全部在扫描器11内部,使得仅扫描器11向系统10的其他元件的连接是通过通信端口40实现。在扫描器11的替代实施方案中,计算机元件可在扫描器11外部,而计算机元件与扫描器11之间具有对应连接。
在一个实施方案中,扫描器11将光学显微镜、数字成像、机动样品定位、计算和基于网络的通信集成到单套单元中。封装扫描器11作为单套单元以及通信端口40作为主要数据输入和输出装置的主要优点是降低复杂性并提高可靠性。优化扫描器11的各种元件以便一起运作,与传统基于显微镜的成像系统截然不同,在传统基于显微镜的成像系统中,显微镜、光源、机动载物台、相机和计算机通常由不同供应商提供并需要实质性集成和维护。
通信端口40提供用于与系统10的其他元件快速通信的装置,包括网络42。用于通信端口40的一个通信协议是载波监听多路访问冲突检测协议(诸如以太网)连同用于传输控制和联网的TCP/IP协议。扫描器11意图利用任何类型的传输介质运作,包括宽带、基带、同轴电缆、双绞线、光纤光学器件、DSL或无线。
在一个实施方案中,扫描器11的控制和由扫描器11捕获的图像数据的查看在连接到网络42的计算机44上执行。在一个实施方案中,计算机44连接到显示监测器46,以便向操作员提供图像信息。多个计算机44可连接到网络42。在一个实施方案中,计算机44使用网络浏览器与扫描器11连通,所述网络浏览器诸如来自MicrosoftTM的Internet ExplorerTM、来自GoogleTM的ChromeTM、来自AppleTM的SafariTM等。图像以通用压缩格式,诸如JPEG存储在扫描器11上,所述通用压缩格式与已经构建到最商业浏览器中的标准图像解压方法兼容。其他标准或非标准、有损或无损的图像压缩格式也将起作用。在一个实施方案中,扫描器11是基于从扫描器11发送到计算器44的网页来提供操作员界面的网络服务器。对于图像数据的动态查看,扫描器11的实施方案是基于回放实现的,对于在连接到计算机44的显示监测器46上的查看,图像数据的多个帧是使用标准多帧浏览器兼容软件包实现的,诸如来自MicrosoftTM的Media-PlayerTM、来自AppleTM的QuicktimeTM或来自Real NetworksTM的RealPlayerTM。在一个实施方案中,计算机44上的浏览器使用超文本传输协议(HTTP)连同用于传输控制的TCP。
存在并且将来会有许多不同装置和协议,其中扫描器11可通过所述装置和协议与计算机44或多个计算机连通。尽管一个实施方案基于标准装置和协议,但开发被称为小应用程序的一个或多个定制软件模块的方法同样可行,并且对于扫描器11的选定将来应用可以是希望的。此外,在计算机44是任何特定类型(诸如个人计算机(PC))方面或由任何特定公司(诸如DellTM)制造方面不存在约束。标准化通信端口40的优点中的一个在于操作通用网络浏览器软件的任何类型的计算机44可与扫描器11通信。
若需要,有可能在对扫描器11进行一些修改的情况下获得光谱解析图像。光谱解析图像是在每个图像像素处测量光谱信息的图像。光谱解析图像可通过利用光学狭缝和成像摄谱仪替代扫描器11的线扫描相机18来获得。成像摄谱仪使用二维CCD检测器来通过使用棱镜或光栅沿着所述行检测器中的每一个来分散在光学狭缝上聚焦的光学信号为一列图像像素捕获波长特定强度数据。
图14B是示出根据一个实施方案的光学显微镜系统10的第二实施方案的框图。在这个系统10中,扫描器11比图14A中所示的实施方案更复杂且昂贵。所示扫描器11的附加属性不必为任何替代实施方案正确地运行而全部呈现。图14B意图提供可并入扫描器11的附加特征和能力的合理实例。
图14B的替代实施方案提供比图14A的实施方案更高级的自动化。照明系统28的更复杂级自动化由数据处理器21与照明系统28的光源31和照明光学器件32两者之间的连接实现。通向光源31的连接可用开放回路或闭合回路的方式控制电压或电流,以便控制光源31的强度。记住光源31可以是卤素灯泡。数据处理器21与照明光学器件32之间的连接可提供场光阑光圈和聚光器光阑的闭环控制,以便提供用于确认维持最佳
Figure GDA0002519663640000191
照明的装置。
将扫描器11用于荧光成像需要对光源31、照明光学器件32和显微镜物镜130的易于辨别的修改。图14B的实施方案还提供包括激发滤光片、二向色滤光片和阻挡滤光片的荧光滤光立方体50。荧光滤光立方体50定位在存在于显微镜物镜130与线扫描相机聚焦光学器件34之间的无限校正光路中。荧光成像的实施方案可包括将滤光轮或可调谐滤光片添加到照明光学器件32,以便为市场上可获得的各种荧光染料或纳米晶体提供适当光谱激发。
向成像路径添加至少一个光束分离器52允许光学信号分为至少两个路径。主路径如先前所述通过线扫描相机聚焦光学器件34,以便实现由线扫描相机18(可包括成像传感器20)衍射限制成像。第二路径通过用于由区域扫描相机56成像的区域扫描相机聚焦光学器件54提供。应显而易见,这两个聚焦光学器件的适当选择可确保由具有不同像素大小的两个相机传感器的衍射限制成像。区域扫描相机56可以是当前可获得的许多类型中的一个,包括简单的彩色视频相机、高性能的冷却CCD相机或可变积分时间快速帧相机。区域扫描相机56为扫描器11提供传统的成像系统配置。区域扫描相机56连接到数据处理器21。如果使用两个相机,例如线扫描相机18和区域扫描相机56,那么两个相机类型可使用单个两用成像板、两个不同成像板或IEEE1394火线接口连接到数据处理器,在这种情况下,可能不再需要一个或两个成像板。将成像传感器对接到数据处理器21的其他相关方法也是可用的。
尽管扫描器11向计算机44的主接口是通过网络42实现的,但可存在例如网络42出现故障的实例,在这个实例中能够将扫描器11直接连接到本地输出装置(诸如显示监测器58)并且还能够提供直接连接到扫描器11的数据处理器21的本地输入装置(诸如键盘和鼠标59)是有益的。在这个实例中,也将必须提供适当驱动器软件和硬件。
图14B中所示的第二实施方案还提供更高级的自动成像性能。扫描器11的成像的增强自动化可通过使用熟知的自动聚焦方法来关闭包括压电定位器24、压电控制器26和数据处理器21的聚焦控制回路来实现。第二实施方案还提供机动换镜旋座62以容纳若干物镜。机动换镜旋座62通过换镜旋座控制器64连接到数据处理器21并由其引导。
其他特征和能力也可合并入扫描器11。例如,相对于基本上静止的显微镜物镜130在样品120的X-Y平面中扫描样品120的过程可被修改以包括显微镜物镜130相对于静止样品120的扫描(即,在X-Y平面中移动显微镜物镜130)。扫描样品120或扫描显微镜物镜130或同时扫描样品120和显微镜物镜130两者是扫描器11的可能实施方案,所述实施方案可提供样品120的与先前所讨论相同的较大连续数字图像。
扫描器11还提供用于使许多类型的基于显微镜的分析自动化的通用平台。照明系统28可从传统卤素灯或弧光灯修改为基于激光的照明系统,以便允许利用激光激发扫描样品120。修改可用于提供检测从激光能量与样品120的交互产生的光学信号的装置,所述修改包括并入光电倍增管或其他非成像检测器,添加或替换线扫描相机18或区域扫描相机56。
现在转向图14C,线扫描相机视野250包括图14A的样品120的由多个单独像素元素72成像的区域,所述像素元素72以线性方式布置到线性阵列74中。实施方案的线性阵列74包括1024个单独像素元素72,像素元素72中的每一个是14平方微米。在一个实施方案中,线性阵列74的物理尺寸是14.34毫米乘14微米。出于讨论扫描器11的操作的目的,假设样品120与线扫描相机18之间的放大倍率是十(10),那么线扫描相机视野250对应于样品120的具有等于1.43毫米乘1.4微米的尺寸的区域。每个像素元素72对约1.4微米乘1.4微米的区域进行成像。
在扫描器11的一个实施方案中,扫描和数字化在行进方向上执行,所述行进方向在图像带之间交替。这种类型的双向扫描提供比单向扫描更快速数字化的过程,其中所述单向扫描是一种需要用于每个图像带的相同行进方向的扫描和数字化的方法。
线扫描相机18(例如,包括成像传感器20)和聚焦传感器30的能力通常确定扫描和聚焦可单向地还是双向地完成。单向系统常常包括多于一个线性阵列74,诸如图14C中所示的三通道彩色阵列86或多通道TDI阵列88。彩色阵列86检测获得彩色图像所需的RGB强度。用于获得彩色信息的替代实施方案使用棱镜来将宽带光学信号分为三个彩色通道。TDI阵列88可在扫描器11的替代实施方案中用于提供增加线扫描相机18的有效积分时间,同时维持较快数据速率并且数字图像数据的信噪比并不显著损失的装置。
图15是示出可与本文所述的各种实施方案结合使用的示例性有线或无线系统1500的框图。例如,系统1500可用作以上所述的机构、过程、方法或功能中的一个或多个或与其结合使用,并且可表示载片扫描器11的部件,诸如数据处理器21。系统1500可以是能够进行有线或无线数据通信的任何处理器使能装置。也可使用其他计算机系统和/或体系结构,如对本领域技术人员将清楚了解的。
系统1500优选地包括一个或多个处理器,诸如处理器1510。可提供附加处理器,诸如用于管理输入/输出的辅助处理器、用于执行浮点数学运算的辅助处理器、具有适合信号处理算法的快速执行的体系结构的专用微处理器(例如,数字信号处理器)、从属于主处理系统的从属处理器(例如,后端处理器)、用于双处理器系统或多处理器系统的附加微处理器或控制器或协处理器。此类辅助处理器可以是离散处理器或可与处理器1510集成。可与系统1500一起使用的处理器的实例包括但不限于
Figure GDA0002519663640000211
处理器、Core
Figure GDA0002519663640000212
处理器和
Figure GDA0002519663640000213
处理器,所述处理器全部可从加利福尼亚州Santa Clara的因特尔公司获得。
处理器1510优选地连接到通信总线1505。通信总线1505可包括用于促进信息在存储装置与系统1500的其他外围部件之间的传输的数据通道。通信总线1505可进一步提供一组信号,所述一组信号用于与处理器1510连通,包括数据总线、寻址总线和控制总线(未示出)。通信总线1505可包括任何标准或非标准总线体系结构,例如像与工业标准体系结构(ISA)、扩展工业标准体系结构(EISA)、微通道体系结构(MCA)、外围部件互连(PCI)本地总线或由电气电子工程师协会(IEEE)发布的标准,包括IEEE 488通用接口总线(GPIB)、IEEE696/S-100等兼容的总线体系结构。
系统1500优选地包括主存储器1515,并且还可包括辅助存储器1520。主存储器1515为在处理器1510上执行的程序提供指令和数据存储,诸如以上所讨论的功能和/或模块中的一个或多个。应理解,存储在存储器中并由处理器1510执行的程序可根据任何合适的语言书写和/或编译,包括但不限于C/C++、Java、JavaScript、Perl、Visual Basic、.NET等。主存储器1515通常是基于半导体的存储器,诸如动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。其他基于半导体的存储类型包括例如同步动态随机存取存储器(SDRAM)、Rambus动态随机存取存储器(RDRAM)、铁电随机存取存储器(FRAM)等,包括只读存储器(ROM)。
辅助存储器1520可任选地包括内部存储器1525和/或可移除介质1530。可移除介质1530以任何熟知方式读取和/或书写。可移除存储介质1530可以是例如磁带驱动、光盘(CD)驱动、数字通用盘(DVD)驱动、其他光学驱动、闪存驱动等。
可移除存储介质1530是上面存储有计算机可执行代码(即,软件)和/或数据的非瞬态计算机可读介质。存储在可移除存储介质1530上的计算机软件或数据被读取到系统1500中以供处理器1510执行。
在替代实施方案中,辅助存储器1520可包括用于允许计算机程序或其他数据或指令加载到系统1500中的其他类似装置。此类装置可包括例如允许软件和数据从外部存储介质1545传输到系统1500的外部存储介质1545和通信接口1540(例如,通信端口40)。外部存储介质1545的实例可包括外部硬盘驱动、外部光驱、外部磁光驱动等。辅助存储器1520的其他实例可包括基于半导体的存储器,诸如可编程只读存储器(PROM)、可擦可编程只读存储器(EPROM)、电可擦只读存储器(EEPROM)或闪存(类似于EEPROM的面向块的存储器)。
如以上所提到的,系统1500可包括通信接口1540。通信接口1540允许在系统1500与外部装置(例如,打印机)、网络或其他信息源之间传输软件和数据。例如,计算机软件或可执行代码可通过通信接口1540从网络服务器传输到系统1500。通信接口1540的实例包括内置网络适配器、网络接口卡(NIC)、个人计算机存储器卡国际协会(PCMCIA)网络卡、卡总线网络适配器、无线网络适配器、通用串行总线(USB)网络适配器、调制解调器、网络接口卡(NIC)、无线数据卡、通信端口、红外接口、IEEE 1394火线或能够将系统550与网络或另一计算装置对接的任何其他装置。通信接口1540优选地实现工业协会协议标准,诸如以太网IEEE 802标准、光纤通道、数字用户线路(DSL)、异步数字用户线路(ADSL)、帧中继、异步传输模式(ATM)、综合数字服务网络(ISDN)、个人通信服务(PCS)、传输控制协议/互联网协议(TCP/IP)、串行线路互联网协议/点对点协议(SLIP/PPP)等,但还可实现定制或非标准接口协议。
通过通信接口1540传输的软件和数据一般呈电通信信号1555的形式。这些信号1555通过通信通道1550提供给通信接口1540。在一个实施方案中,通信通道1550可以是有线或无线网络或各种其他通信链路中的任何一个。通信通道1550载送信号1555并可使用多种有线或无线通信装置来实现,举例来说包括电线或缆线、光纤、常规电话线、蜂窝电话链路、无线数据通信链路、射频(“RF”)链路或红外链路。
计算机可执行代码(即,计算机程序或软件)存储在主存储器1515和/或辅助存储器1520中。计算机程序还可通过通信接口1540接收并存储在主存储器1515和/或辅助存储器1520中。此类计算机程序在执行时使系统1500能够执行如本文别处所描述的所公开实施方案的各种功能。
在本说明书中,术语“计算机可读介质”用于指用于向系统1500提供计算机可执行代码(例如,软件和计算机程序)的任何非瞬态计算机可读存储介质。此类介质的实例包括主存储器1515、辅助存储器1520(包括内部存储器1525、可移除介质1530和外部存储介质1545)以及与通信接口1540(包括网络信息服务器或其他网络装置)通信耦合的任何外围装置。这些非瞬态计算机可读介质是用于向系统1500提供可执行代码、编程指令和软件的装置。
在使用软件实现的实施方案中,软件可存储在计算机可读介质上并通过可移除介质1530、I/O接口1535或通信接口1540加载到系统1500中。在这种实施方案中,软件呈电通信信号1555的形式加载到系统1500中。软件在由处理器1510执行时,优选地使处理器1510执行本文别处所描述的特征和功能。
在一个实施方案中,I/O接口1535在系统1500的一个或多个部件与一个或多个输入和/或输出装置之间提供接口。示例性输入装置包括但不限于键盘、触摸屏或其他触敏装置、生物计量感测装置、计算机鼠标、跟踪球、基于笔的指示装置等。输出装置的实例包括但不限于阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器、液晶显示器(LCD)、打印机、真空荧光显示器(VFD)、表面传导电子发射器显示器(SED)、场致发射显示器(FED)等。
系统1500还包括促进通过语音网络和/或数据网络的无线通信的任选无线通信部件。无线通信部件包括天线系统1570、无线电系统1565和基带系统1560。在系统1500中,射频(RF)信号由天线1570在无线电系统1565的管理下通过空气传输和接收。
在一个实施方案中,天线系统1570可包括执行开关功能以便向天线系统1570提供传输和接收信号路径的一个或多个天线和一个或多个多路复用器(未示出)。在接收路径中,所接收RF信号可从多路复用器耦合到低噪声放大器(未示出),所述低噪声放大器放大所接收RF信号并将放大信号发送到无线电系统1565。
在替代实施方案中,无线电系统1565可包括被配置为在各种频率内通信的一个或多个无线电。在一个实施方案中,无线电系统1565可将解调器(未示出)和调制器(未示出)结合在一个集成电路(IC)中。解调器和调制器也可以是单独部件。在进入路径中,解调器去除RF载波信号留下基带接收音频信号,所述基带接收音频信号从无线电系统1565发送到基带系统1560。
如果所接收信号包括音频信息,那么基带系统1560解码所述信号并将其转换为模拟信号。然后将信号放大并发送到扬声器。基带系统1560还从麦克风接收模拟音频信号。这些模拟音频信号被转换为数字信号并由基带系统1560编码。基带系统1560还编码用于传输的数字信号,并生成路由到无线电系统1565的调制器部分的基带传输音频信号。调制器将基带传输音频信号与RF载波信号混合,从而生成路由到天线系统1570并可传送穿过功率放大器(未示出)的RF传输信号。功率放大器放大RF传输信号并将其路由到天线系统1570,信号在天线系统1570处切换到天线端口以供传输。
基带系统1560还与处理器1510通信地耦合,所述处理器1510可以是中央处理器单元(CPU)。处理器1510能够访问数据存储区域1515和1520。处理器1510优选地被配置为执行可存储在主存储器1515或辅助存储器1520中的指令(即,计算机程序或软件)。计算机程序还可从基带处理器1560接收并存储在主存储器1510中或在辅助存储器1520中或在接收后执行。此类计算机程序在执行时使系统1500能够执行所公开实施方案的各种功能。例如,数据存储区域1515和1520可包括各种软件模块。
本领域技术人员应了解,结合本文公开的上述附图和实施方案所描述的各种示例性逻辑块、模块、电路和方法步骤常可实施为电子硬件、计算机软件或两者的组合。为了清楚地例示硬件和软件的这种可互换性,以上已经大体上在各种例示性部件、块、模块、电路和步骤的功能性方面描述各种例示性部件、块、模块、电路和步骤。这种功能性是实施为硬件还是软件取决于具体应用和强加于整个系统的设计约束。技术人员可针对每个具体应用以不同方式实施所描述的功能性,但是这种实施决策不应被解释为导致背离本发明的范围。另外,在模块、块、电路或步骤内的功能分组是为了便于描述。在不脱离本发明的情况下,特定功能或步骤可以从一个模块、块或电路中移动到另一个。
本文所述的软件部件中的任何可采取多种形式。例如,部件可以是独立式软件包,或其可以是作为“工具”合并在更大的软件产品中的软件包。其可从网络(例如,网站)作为独立式产品或作为用于安装在现有软件应用中的加载包可下载。其还可作为客户-服务器软件应用、作为网络使能软件应用和/或作为移动应用可获得。
提供对公开的实施方案的以上描述来使本领域的任何技术人员能够制作或使用本申请的主题。本领域的技术人员将容易明白对这些实施方案的各种修改,并且本文所述的一般原理可应用于其他实施方案而不背离本申请的精神和范围。因此,应理解,本文呈现的说明书和附图表示当前优选的实施方案并且因而表示本申请广泛考虑的主题。还应理解,本申请的范围完全包括可能对于本领域的技术人员显而易见的其他实施方案,并且本申请的范围不因此受限制。

Claims (43)

1.一种用于扫描样品以采集所述样品的数字图像的系统,所述系统包括:
载物台,所述载物台被构造来支撑样品;
物镜,所述物镜具有与所述载物台正交的单个光轴;
成像传感器;
聚焦传感器,其中所述聚焦传感器上的一个齐焦点与所述成像传感器齐焦,且其中所述齐焦点在所述聚焦传感器的中心处;
至少一个第一光束分离器,所述至少一个第一光束分离器光学地耦合到所述物镜并且被构造来接收对应于所述物镜的所述光轴的视野,并且同时地向所述成像传感器提供所述视野的至少第一部分并向所述聚焦传感器提供所述视野的至少第二部分,其中所述视野的所述第一部分是所述视野的第一区域,且其中所述视野的所述第二部分是从所述视野的所述第一部分偏移的第二区域;以及
处理器,所述处理器被配置为针对待扫描的所述样品的每个部分:
从所述聚焦传感器采集所述样品的所述部分的聚焦图像;
从所述成像传感器采集所述样品的所述部分的主图像;
针对所述聚焦传感器上的多个位置中的每一个,为所述聚焦图像的对应于所述聚焦传感器上的那个位置的区域计算对比度测量值;
针对所述成像传感器上的多个位置中的每一个,为所述主图像的对应于所述成像传感器上的那个位置的区域计算对比度测量值;
确定所述聚焦图像与所述主图像之间的关系;
为所述关系确定峰值;
基于所述聚焦传感器上对应于所述峰值的位置与所述齐焦点之间的距离更新目标表面,所述齐焦点位于所述聚焦传感器与所述成像传感器之间;并且
使用反馈回路为所述物镜确定为所述关系提供所述峰值的位置,以移动所述物镜直到所述峰值在经更新的所述目标表面上,
其中所述物镜的使用所述反馈回路的移动方向基于所述聚焦图像与所述聚焦图像的镜像之间的关系,
其中所述聚焦图像包括在所述聚焦图像的第一侧到所述聚焦图像的第二侧的方向上以减小的焦距采集的像素,
其中所述聚焦图像的所述镜像包括在与所述聚焦图像相同的方向上以减小的焦距采集的像素,且
其中所述聚焦图像与所述聚焦图像的所述镜像之间的所述关系包括所述聚焦图像的对比度测量值与所述聚焦图像的所述镜像的对比度测量值之间的比率,或者所述聚焦图像的对比度测量值与所述聚焦图像的所述镜像的对比度测量值之间的差。
2.如权利要求1所述的系统,其中所述第一区域是所述视野的中心区域。
3.如权利要求2所述的系统,其中所述视野的所述第二区域在扫描方向上在所述视野的所述第一区域之前。
4.如权利要求1所述的系统,其中所述样品是组织样品,并且所述载物台被构造来支撑衬底,所述衬底支撑所述组织样品。
5.如权利要求4所述的系统,其中所述衬底是载片。
6.如权利要求1所述的系统,其中所述载物台是使所述样品相对于所述物镜的所述光轴移动的机动载物台。
7.如权利要求1所述的系统,其中所述聚焦传感器沿着光路接收所述视野的所述第二部分,并且其中所述聚焦传感器相对于所述光路成角度倾斜,这样使得由所述聚焦传感器采集所述视野的所述第二部分作为包括表示不同焦距的像素的图像。
8.如权利要求1所述的系统,其中所述聚焦传感器包括多个区域,其中所述聚焦传感器的每个区域沿着单独光路接收所述视野的所述第二部分,并且其中所述聚焦传感器相对于所述单独光路中的每一个成角度倾斜,这样使得由所述聚焦传感器的每个区域以不同于所述聚焦传感器的所述多个区域中任何其他区域的不同焦距采集所述视野的所述第二部分。
9.如权利要求8所述的系统,其还包括聚焦光学器件,其中所述聚焦光学器件包括至少一个第二光束分离器,所述至少一个第二光束分离器光学地耦合到所述至少一个第一光束分离器并将传送所述视野的所述第二部分的光束分到所述单独光路中。
10.如权利要求9所述的系统,其中所述至少一个第二光束分离器包括多个第二光束分离器,并且其中所述多个第二光束分离器中的每一个在距所述聚焦传感器相同距离处定位。
11.如权利要求9所述的系统,其中所述聚焦光学器件还包括至少一个反射镜,所述至少一个反射镜将已被所述至少一个第二光束分离器分离的所述光束反射到所述单独光路中的一个中。
12.如权利要求10所述的系统,其中所述聚焦光学器件还包括至少一个反射镜,所述至少一个反射镜将已被所述至少一个第二光束分离器分离的所述光束反射到所述单独光路中的一个中,并且其中所述至少一个反射镜在距所述聚焦传感器与所述多个第二光束分离器所述相同距离处定位。
13.如权利要求8所述的系统,其中所述聚焦传感器的所有区域在单个线传感器内。
14.如权利要求8所述的系统,其中所述聚焦传感器的每个区域包括单独线传感器。
15.如权利要求1所述的系统,其中所述聚焦传感器包括多个区域,其中所述聚焦传感器的每个区域沿着单独光路接收所述视野的所述第二部分,其中所述聚焦传感器相对于所述单独光路中的每一个正交,并且其中所述单独光路中的每一个具有不同焦距,这样使得由所述聚焦传感器的每个区域以不同于所述聚焦传感器的所述多个区域中任何其他区域的焦距采集所述视野的所述第二部分。
16.如权利要求15所述的系统,其还包括聚焦光学器件,其中所述聚焦光学器件包括至少一个第二光束分离器,所述至少一个第二光束分离器光学地耦合到所述至少一个第一光束分离器并将传送所述视野的所述第二部分的光束分到所述单独光路中。
17.如权利要求16所述的系统,其中所述至少一个第二光束分离器包括多个第二光束分离器,并且其中所述多个第二光束分离器中的每一个在距所述聚焦传感器与所述多个第二光束分离器中的任何其他个第二光束分离器不同距离处定位。
18.如权利要求16所述的系统,其中所述聚焦光学器件还包括至少一个反射镜,所述至少一个反射镜将已被所述至少一个第二光束分离器分离的所述光束反射到所述单独光路中的一个中。
19.如权利要求18所述的系统,其中所述至少一个反射镜包括多个反射镜,并且其中所述多个反射镜中的每一个在距所述聚焦传感器与所述多个反射镜中的任何其他个反射镜不同距离处定位。
20.如权利要求19所述的系统,其中所述聚焦光学器件还包括多个玻璃块,并且其中所述多个玻璃块中的每一个定位在所述多个反射镜中的一个与所述聚焦传感器的所述多个区域中的一个之间。
21.如权利要求16所述的系统,其中所述聚焦光学器件还包括至少两个镜筒透镜,其中所述至少两个镜筒透镜中的每一个在至少一个第二光束分离器与所述聚焦传感器的所述多个区域中的一个区域之间定位在所述单独光路中的另一个上并将已被所述至少一个第二光束分离器分离的所述光束聚焦到所述一个区域上。
22.如权利要求15所述的系统,其中所述聚焦传感器的所有区域在单个线传感器内。
23.如权利要求15所述的系统,其中所述聚焦传感器的每个区域包括单独线传感器。
24.如权利要求23所述的系统,其中所述单独线传感器中的至少一个与所述单独线传感器中的至少另一个在单独平面中。
25.如权利要求1所述的系统,其中所述聚焦传感器包括第一区域和第二区域,其中所述聚焦传感器的所述第一区域沿着第一光路接收所述视野的所述第二部分并且相对于所述第一光路以第一角度倾斜,并且其中所述聚焦传感器的所述第二区域沿着第二光路接收所述视野的所述第二部分,也就是与所述第一光路分离,并且相对于所述第二光路以第二角度倾斜,也就是与所述第一角度反向。
26.如权利要求25所述的系统,其中所述聚焦传感器的所述第一区域和所述聚焦传感器的所述第二区域两者上的至少一个点与所述成像传感器齐焦。
27.如权利要求25所述的系统,其中所述聚焦传感器的所述第一区域采集第一图像,其中所述聚焦传感器的所述第二区域采集第二图像,其中所述第一图像包括在所述第一图像的第一侧到所述第一图像的第二侧的方向上以减小的焦距采集的像素,并且其中所述第二图像包括在所述第二图像的所述第一侧到所述第二图像的所述第二侧的方向上以增加的焦距采集的像素。
28.如权利要求1所述的系统,其中所述聚焦传感器包括第一区域和第二区域,其中所述第一区域沿着第一光路接收所述视野的所述第二部分,其中所述第二区域沿着第二光路接收所述视野的镜像第二部分,并且其中所述聚焦传感器相对于所述第一光路和所述第二光路中的每一个成角度倾斜。
29.如权利要求28所述的系统,其中所述视野的所述第二部分由所述聚焦传感器的所述第一区域在焦距处接收,并且所述视野的所述镜像第二部分由所述聚焦传感器的所述第二区域在所述焦距处接收。
30.如权利要求28所述的系统,其中所述聚焦传感器的所述第一区域采集所述视野的所述第二部分的第一图像,其中所述聚焦传感器的所述第二区域采集所述视野的所述镜像第二部分的第二图像,其中所述第一图像包括在所述第一图像的第一侧到所述第一图像的第二侧的方向上以减小的焦距采集的像素,并且其中所述第二图像包括在与所述第一图像相同的方向上以减小的焦距采集的像素。
31.如权利要求28所述的系统,其还包括聚焦光学器件,其中所述聚焦光学器件包括至少一个第二光束分离器,所述至少一个第二光束分离器光学地耦合到所述至少一个第一光束分离器并将传送所述视野的所述第二部分的光束分到所述第一光路和所述第二光路中。
32.如权利要求31所述的系统,其中所述聚焦光学器件还包括至少一个反射镜,所述至少一个反射镜将已被所述至少一个第二光束分离器分离的所述光束反射在所述第一光路和所述第二光路中的一个中。
33.如权利要求31所述的系统,其中所述聚焦光学器件在所述第二光路中还包括达夫棱镜,所述达夫棱镜位于所述至少一个第一光束分离器与所述聚焦传感器的所述第二区域之间,所述达夫棱镜翻转所述视野的所述第二部分以便形成所述视野的所述镜像第二部分。
34.如权利要求32所述的系统,其中所述至少一个反射镜包括第一反射镜和第二反射镜,并且其中所述第二光路包括所述第一反射镜向所述第二反射镜上的反射、所述第二反射镜回到所述至少一个第二光束分离器的反射以及所述至少一个第二光束分离器向所述聚焦传感器的所述第二区域的路径,这样使得所述视野的所述第二部分翻转以便形成所述视野的所述镜像第二部分。
35.如权利要求1所述的系统,其中所述处理器进一步被配置为:
将所述物镜移动到经确定的所述位置;并且
为待扫描的所述样品的下一个部分采集新的聚焦图像和主图像。
36.如权利要求1所述的系统,其中确定所述关系的峰值包括:
为所述关系计算最佳拟合曲线;并且
确定所述最佳拟合曲线的峰值。
37.如权利要求1所述的系统,其中所述聚焦传感器上的所述多个位置中的每一个映射到所述物镜的位置,并且其中为所述物镜确定位置包括确定所述物镜的位置是映射到所述聚焦传感器上对应于经确定的所述峰值的位置。
38.一种用于自动实时聚焦的方法,其中所述方法包括使用载片扫描器中的处理器来针对待扫描的样品的每个部分:
在所述样品的所述部分由成像传感器感测之前、当时或之后,
从聚焦传感器采集所述样品的所述部分的聚焦图像,其中视野的由所述聚焦传感器感测的一部分从所述视野的由所述成像传感器感测的一部分偏移,这样使得在扫描方向上,所述聚焦传感器在所述成像传感器感测所述视野的一部分之前、同时或之后感测所述视野的那个相同部分,并且其中所述聚焦传感器上的一个齐焦点与所述成像传感器齐焦,
采集所述聚焦图像同时地采集所述聚焦图像的镜像,其中所述聚焦图像包括在所述聚焦图像的第一侧到所述聚焦图像的第二侧的方向上以减小的焦距采集的像素,并且其中所述聚焦图像的所述镜像包括在与所述聚焦图像相同的方向上以减小的焦距采集的像素,针对所述聚焦传感器上的多个位置中的每一个,为所述聚焦图像的对应于所述聚焦传感器上的那个位置的区域计算对比度测量值,
确定所述聚焦图像与所述样品的所述部分由所述成像传感器采集的主图像之间的关系,
为所述关系确定峰值,
基于所述聚焦传感器上对应于所述峰值的位置与所述齐焦点之间的距离更新目标表面,以及
使用反馈回路为物镜确定为所述关系提供所述峰值的位置,以移动所述物镜直到所述峰值在经更新的所述目标表面上,其中所述物镜的使用所述反馈回路的移动方向基于所述聚焦图像与所述聚焦图像的镜像之间的关系,其中所述聚焦图像与所述聚焦图像的所述镜像之间的所述关系包括所述聚焦图像的对比度测量值与所述聚焦图像的所述镜像的对比度测量值之间的比率;以及
在所述物镜处于经确定的所述位置时,从所述成像传感器采集所述样品的所述部分的图像。
39.如权利要求38所述的方法,其中确定所述关系的峰值包括:
为所述关系计算最佳拟合曲线;以及
确定所述最佳拟合曲线的峰值。
40.如权利要求38所述的方法,其中所述聚焦传感器上的所述多个位置中的每一个映射到所述物镜的位置,并且其中确定所述物镜的位置包括确定所述物镜的位置是映射到所述更新目标表面上对应于经确定的所述峰值的位置。
41.一种上面存储有指令的非瞬态计算机可读介质,其中所述指令在由处理器执行时使所述处理器为有待扫描的样品的每个部分:
在所述样品的所述部分由成像传感器感测之前、同时或之后,
从聚焦传感器采集所述样品的所述部分的聚焦图像,其中视野的由所述聚焦传感器感测的一部分从所述视野的由所述成像传感器感测的一部分偏移,这样使得在扫描方向上,所述聚焦传感器在所述成像传感器感测所述视野的一部分之前、同时或之后感测所述视野的那个相同部分,并且其中所述聚焦传感器上的一个齐焦点与所述成像传感器齐焦,
采集所述聚焦图像同时地采集所述聚焦图像的镜像,其中所述聚焦图像包括在所述聚焦图像的第一侧到所述聚焦图像的第二侧的方向上以减小的焦距采集的像素,并且其中所述聚焦图像的所述镜像包括在与所述聚焦图像相同的方向上以减小的焦距采集的像素,
针对所述聚焦传感器上的多个位置中的每一个,为所述聚焦图像的对应于所述聚焦传感器上的那个位置的区域计算对比度测量值,
确定所述聚焦图像与所述样品的所述部分由所述成像传感器采集的主图像之间的关系,
为所述关系确定峰值,
基于所述聚焦传感器上对应于所述峰值的位置与所述齐焦点之间的距离更新目标表面,
使用反馈回路为物镜确定为所述关系提供所述峰值的位置,以移动所述物镜直到所述峰值在经更新的所述目标表面上,其中所述物镜的使用所述反馈回路的移动方向基于所述聚焦图像与所述聚焦图像的镜像之间的关系,其中所述聚焦图像与所述聚焦图像的所述镜像之间的所述关系包括所述聚焦图像的对比度测量值与所述聚焦图像的所述镜像的对比度测量值之间的比率,以及
将所述物镜移动到经确定的所述位置;并且
在所述物镜处于经确定的所述位置时,从所述成像传感器采集所述样品的所述部分的图像。
42.如权利要求41所述的非瞬态计算机可读介质,其中确定所述关系的峰值:
为所述关系计算最佳拟合曲线;并且
确定所述最佳拟合曲线的峰值。
43.如权利要求41所述的非瞬态计算机可读介质,其中所述聚焦传感器上的所述多个位置中的每一个映射到所述物镜的位置,并且其中确定所述物镜的位置包括确定所述物镜的位置是映射到所述更新目标表面上对应于经确定的所述峰值的位置。
CN201680055451.2A 2015-09-24 2016-09-23 线扫描成像中的实时聚焦 Active CN108139650B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562232229P 2015-09-24 2015-09-24
US62/232,229 2015-09-24
PCT/US2016/053581 WO2017053891A1 (en) 2015-09-24 2016-09-23 Real-time focusing in line scan imaging

Publications (2)

Publication Number Publication Date
CN108139650A CN108139650A (zh) 2018-06-08
CN108139650B true CN108139650B (zh) 2020-10-30

Family

ID=58387414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680055451.2A Active CN108139650B (zh) 2015-09-24 2016-09-23 线扫描成像中的实时聚焦

Country Status (9)

Country Link
US (2) US10634894B2 (zh)
EP (1) EP3353601A4 (zh)
JP (1) JP6865740B2 (zh)
KR (1) KR20180058730A (zh)
CN (1) CN108139650B (zh)
AU (1) AU2016326723B2 (zh)
BR (1) BR112018005822A2 (zh)
CA (1) CA3000053C (zh)
WO (1) WO2017053891A1 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10634894B2 (en) 2015-09-24 2020-04-28 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging
US11709156B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved analytical analysis
US11709155B2 (en) 2017-09-18 2023-07-25 Waters Technologies Corporation Use of vapor deposition coated flow paths for improved chromatography of metal interacting analytes
JP2019062462A (ja) * 2017-09-27 2019-04-18 キヤノン株式会社 表示装置およびその制御装置、ならびにそれらの制御方法
JP6940696B2 (ja) * 2017-09-29 2021-09-29 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. 二次元および三次元の固定式z走査
KR102419163B1 (ko) * 2017-09-29 2022-07-08 라이카 바이오시스템즈 이미징 인크. 실시간 오토포커스 포커싱 알고리즘
US10481377B2 (en) * 2017-09-29 2019-11-19 Leica Biosystems Imaging, Inc. Real-time autofocus scanning
AU2018375358B2 (en) * 2017-11-28 2021-02-04 Leica Biosystems Imaging, Inc. Dual processor image processing
US11055105B2 (en) * 2018-08-31 2021-07-06 Micron Technology, Inc. Concurrent image measurement and execution
EP3988987A4 (en) * 2018-09-28 2023-09-20 Evident Corporation MICROSCOPE SYSTEM, PROJECTION UNIT AND IMAGE PROJECTION METHOD
JP7150868B2 (ja) 2018-09-28 2022-10-11 株式会社エビデント 顕微鏡システム、投影ユニット、及び、画像投影方法
CN112714887B (zh) 2018-09-28 2024-02-23 仪景通株式会社 显微镜系统、投影单元以及图像投影方法
CN109342322A (zh) * 2018-10-23 2019-02-15 南京光声超构材料研究院有限公司 时域热反射谱测量中的自动聚焦方法
CN109905618B (zh) * 2019-03-26 2021-03-16 中国科学院长春光学精密机械与物理研究所 夹心成像单元结构及一步正样的设计方法
EP3884327B1 (en) * 2019-08-06 2024-02-21 Leica Biosystems Imaging, Inc. Real-time focusing in a slide-scanning system
US11704003B2 (en) 2019-08-06 2023-07-18 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control
US11053540B1 (en) 2020-01-17 2021-07-06 Element Biosciences, Inc. High performance fluorescence imaging module for genomic testing assay
US11918936B2 (en) 2020-01-17 2024-03-05 Waters Technologies Corporation Performance and dynamic range for oligonucleotide bioanalysis through reduction of non specific binding
CN111866387B (zh) * 2020-07-27 2021-11-02 支付宝(杭州)信息技术有限公司 深度图像成像系统和方法
JP2022049808A (ja) * 2020-09-17 2022-03-30 オリンパス株式会社 撮影装置、撮影システム、及び、制御方法
CN111932542B (zh) * 2020-10-14 2021-02-02 深圳市瑞图生物技术有限公司 一种基于多焦距的图像识别方法及装置、存储介质
JP2022127536A (ja) * 2021-02-19 2022-08-31 株式会社キーエンス 拡大観察装置、拡大画像観察方法、拡大画像観察プログラム及びコンピュータで読み取り可能な記録媒体並びに記憶した機器
CN113031243B (zh) * 2021-03-26 2021-08-31 杭州辰景光电科技有限公司 一种基于波导片的反射式片上数字全息显微装置
CN113281874A (zh) * 2021-06-30 2021-08-20 成都易迅光电科技有限公司 一种伸缩多镜头模组
CN117908219A (zh) * 2024-03-06 2024-04-19 东莞市沃德普自动化科技有限公司 一种对焦模组、自动对焦显微成像系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3967110A (en) * 1973-09-21 1976-06-29 Corning Glass Works Automatic focusing system
CN101558430A (zh) * 2006-12-11 2009-10-14 西泰克公司 评价图像聚焦质量的方法
CN103038692A (zh) * 2010-06-24 2013-04-10 皇家飞利浦电子股份有限公司 基于差分测量的自动聚焦
WO2013165576A1 (en) * 2012-05-02 2013-11-07 Aperio Technologies, Inc. Real-time focusing in line scan imaging

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4636627A (en) 1983-01-17 1987-01-13 Canon Kabushiki Kaisha Focus detecting apparatus
US5756307A (en) 1991-09-20 1998-05-26 The United States Of America As Represented By The Department Of Health And Human Services Sequence of human dopamine transporter cDNA
JP2966311B2 (ja) * 1995-03-10 1999-10-25 科学技術振興事業団 顕微測光装置
JPH08320430A (ja) 1995-05-23 1996-12-03 Nikon Corp 自動焦点検出装置
JPH09189850A (ja) * 1996-01-09 1997-07-22 Olympus Optical Co Ltd オートフォーカス顕微鏡
JPH1152224A (ja) 1997-06-04 1999-02-26 Hitachi Ltd 自動焦点検出方法およびその装置並びに検査装置
US6091075A (en) 1997-06-04 2000-07-18 Hitachi, Ltd. Automatic focus detection method, automatic focus detection apparatus, and inspection apparatus
US20060060781A1 (en) 1997-08-11 2006-03-23 Masahiro Watanabe Charged-particle beam apparatus and method for automatically correcting astigmatism and for height detection
US6640014B1 (en) * 1999-01-22 2003-10-28 Jeffrey H. Price Automatic on-the-fly focusing for continuous image acquisition in high-resolution microscopy
US6839469B2 (en) * 2000-01-21 2005-01-04 Lam K. Nguyen Multiparallel three dimensional optical microscopy system
US6724489B2 (en) 2000-09-22 2004-04-20 Daniel Freifeld Three dimensional scanning camera
AU2002213157A1 (en) 2000-10-12 2002-04-22 Amnis Corporation System and method for high numeric aperture imaging systems
DE10127284A1 (de) 2001-06-05 2002-12-12 Zeiss Carl Jena Gmbh Autofokussiereinrichtung für ein optisches Gerät
JP2004046132A (ja) 2002-05-17 2004-02-12 Olympus Corp 自動焦点調節装置
US6760154B1 (en) 2002-06-04 2004-07-06 Biotechs, Inc. Microscope system with continuous autofocus
JP4370554B2 (ja) 2002-06-14 2009-11-25 株式会社ニコン オートフォーカス装置およびオートフォーカス付き顕微鏡
DE10319182B4 (de) 2003-04-29 2008-06-12 Carl Zeiss Jena Gmbh Verfahren und Anordnung zur Bestimmung der Fokusposition bei der Abbildung einer Probe
US7330574B2 (en) 2003-05-08 2008-02-12 Ometrix, Inc. Best-focus estimation by lateral scanning
WO2005010495A2 (en) 2003-07-22 2005-02-03 Trestle Corporation System and method for generating digital images of a microscope slide
JP2005070225A (ja) 2003-08-21 2005-03-17 Tokyo Seimitsu Co Ltd 表面画像投影装置及び表面画像投影方法
JP2005114859A (ja) * 2003-10-03 2005-04-28 Nikon Corp 顕微鏡
WO2005057193A1 (en) 2003-11-18 2005-06-23 Applied Materials Israel, Ltd Inspection system with auto-focus
US7813579B2 (en) 2004-05-24 2010-10-12 Hamamatsu Photonics K.K. Microscope system
US7232980B2 (en) 2004-05-24 2007-06-19 Hamamatsu Photonics K.K. Microscope system
US8164622B2 (en) 2005-07-01 2012-04-24 Aperio Technologies, Inc. System and method for single optical axis multi-detector microscope slide scanner
JP4680052B2 (ja) 2005-12-22 2011-05-11 シスメックス株式会社 標本撮像装置及びこれを備える標本分析装置
US20090295963A1 (en) 2006-02-10 2009-12-03 Pascal Bamford Method and apparatus and computer program product for collecting digital image data from microscope media-based specimens
JP5094048B2 (ja) 2006-06-09 2012-12-12 株式会社日立ハイテクノロジーズ 外観検査装置
DE102006027836B4 (de) * 2006-06-16 2020-02-20 Carl Zeiss Microscopy Gmbh Mikroskop mit Autofokuseinrichtung
DE102007017598A1 (de) * 2007-04-13 2008-10-16 Carl Zeiss Microimaging Gmbh Verfahren und Anordnung zum Positionieren eines Lichtblattes in der Fokusebene einer Detektionsoptik
US8179432B2 (en) 2007-04-30 2012-05-15 General Electric Company Predictive autofocusing
US7576307B2 (en) 2007-04-30 2009-08-18 General Electric Company Microscope with dual image sensors for rapid autofocusing
US8878923B2 (en) 2007-08-23 2014-11-04 General Electric Company System and method for enhanced predictive autofocusing
JP4885156B2 (ja) 2008-02-07 2012-02-29 株式会社日立製作所 フォーカス制御装置及び方法
WO2010067256A1 (en) 2008-12-09 2010-06-17 Koninklijke Philips Electronics N.V. Autofocus for a microscope system.
ATE551841T1 (de) 2009-04-22 2012-04-15 Raytrix Gmbh Digitales bildgebungsverfahren zum synthetisieren eines bildes unter verwendung der mit einer plenoptischen kamera aufgezeichneten daten
US8304704B2 (en) 2009-07-27 2012-11-06 Sensovation Ag Method and apparatus for autofocus using a light source pattern and means for masking the light source pattern
JP5627698B2 (ja) 2009-10-19 2014-11-19 ベンタナ メディカル システムズ, インコーポレイテッド 撮像システムおよび技法
WO2011080670A1 (en) 2009-12-30 2011-07-07 Koninklijke Philips Electronics N.V. Sensor for microscopy.
EP2572226A1 (en) 2010-05-18 2013-03-27 Koninklijke Philips Electronics N.V. Autofocus imaging
US8175452B1 (en) 2010-10-26 2012-05-08 Complete Genomics, Inc. Method and system for imaging high density biochemical arrays with sub-pixel alignment
CA2837226A1 (en) 2011-05-25 2012-11-29 Huron Technologies International Inc. 3d pathology slide scanner
GB201113071D0 (en) 2011-07-29 2011-09-14 Ffei Ltd Method and apparatus for image scanning
CA2849330C (en) 2011-09-21 2020-11-03 Huron Technologies International Inc. Slide scanner with a tilted image
US9402036B2 (en) * 2011-10-17 2016-07-26 Rudolph Technologies, Inc. Scanning operation with concurrent focus and inspection
JP6019998B2 (ja) 2012-02-17 2016-11-02 ソニー株式会社 撮像装置、撮像制御プログラム及び撮像方法
GB2505691B (en) 2012-09-07 2018-02-21 Ffei Ltd Method and apparatus for image scanning
EP2947489A4 (en) 2013-01-17 2016-10-05 Hamamatsu Photonics Kk IMAGE-DEFINITION APPARATUS AND METHOD FOR FOCUSING AN IMAGE-DEFINITION DEVICE
EP2947490A4 (en) 2013-01-17 2016-08-31 Hamamatsu Photonics Kk IMAGE ACQUISITION DEVICE AND FOCUSING METHOD FOR IMAGE ACQUISITION DEVICE
CN104919351B (zh) 2013-01-17 2017-05-24 浜松光子学株式会社 图像取得装置以及图像取得装置的聚焦方法
JP2014178474A (ja) 2013-03-14 2014-09-25 Sony Corp デジタル顕微鏡装置、その合焦位置探索方法およびプログラム
US9661212B2 (en) 2013-04-26 2017-05-23 Hamamatsu Photonics K.K. Image acquisition device and focusing method for image acquisition device
JP6010505B2 (ja) 2013-06-11 2016-10-19 浜松ホトニクス株式会社 画像取得装置及び画像取得装置のフォーカス方法
JP6394850B2 (ja) 2013-09-20 2018-09-26 大学共同利用機関法人自然科学研究機構 補償光学系及び光学装置
TWI515503B (zh) 2013-12-09 2016-01-01 聯詠科技股份有限公司 自動對焦影像擷取裝置與影像擷取方法
US10634894B2 (en) * 2015-09-24 2020-04-28 Leica Biosystems Imaging, Inc. Real-time focusing in line scan imaging

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3967110A (en) * 1973-09-21 1976-06-29 Corning Glass Works Automatic focusing system
CN101558430A (zh) * 2006-12-11 2009-10-14 西泰克公司 评价图像聚焦质量的方法
CN103038692A (zh) * 2010-06-24 2013-04-10 皇家飞利浦电子股份有限公司 基于差分测量的自动聚焦
WO2013165576A1 (en) * 2012-05-02 2013-11-07 Aperio Technologies, Inc. Real-time focusing in line scan imaging

Also Published As

Publication number Publication date
AU2016326723B2 (en) 2021-11-11
EP3353601A4 (en) 2019-10-02
US20180275388A1 (en) 2018-09-27
US20200218053A1 (en) 2020-07-09
BR112018005822A2 (pt) 2018-10-09
JP6865740B2 (ja) 2021-04-28
WO2017053891A1 (en) 2017-03-30
KR20180058730A (ko) 2018-06-01
JP2018534610A (ja) 2018-11-22
EP3353601A1 (en) 2018-08-01
CA3000053A1 (en) 2017-03-30
CN108139650A (zh) 2018-06-08
US10634894B2 (en) 2020-04-28
CA3000053C (en) 2023-07-04
US11422350B2 (en) 2022-08-23
AU2016326723A1 (en) 2018-04-12

Similar Documents

Publication Publication Date Title
CN108139650B (zh) 线扫描成像中的实时聚焦
US11243387B2 (en) Real-time focusing in line scan imaging
US11454781B2 (en) Real-time autofocus focusing algorithm
EP2737453A2 (en) Standardizing fluorescence microscopy systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant