CN111527438B - 冲击重新扫描系统 - Google Patents

冲击重新扫描系统 Download PDF

Info

Publication number
CN111527438B
CN111527438B CN201880069032.3A CN201880069032A CN111527438B CN 111527438 B CN111527438 B CN 111527438B CN 201880069032 A CN201880069032 A CN 201880069032A CN 111527438 B CN111527438 B CN 111527438B
Authority
CN
China
Prior art keywords
movement
sample
scanning stage
scanning
lines
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880069032.3A
Other languages
English (en)
Other versions
CN111527438A (zh
Inventor
N.纽伯格
P.德杰洛塞维克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leica Biosystems Imaging Inc
Original Assignee
Leica Biosystems Imaging Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leica Biosystems Imaging Inc filed Critical Leica Biosystems Imaging Inc
Publication of CN111527438A publication Critical patent/CN111527438A/zh
Application granted granted Critical
Publication of CN111527438B publication Critical patent/CN111527438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0036Scanning details, e.g. scanning stages
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/711Time delay and integration [TDI] registers; TDI shift registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/02Scanning details of television systems; Combination thereof with generation of supply voltages by optical-mechanical means only
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00Indicating or recording presence, absence, or direction, of movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/16Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/24Base structure
    • G02B21/26Stages; Adjusting means therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20201Motion blur correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)

Abstract

一种数字病理学扫描设备被配置为响应于在图像采集期间检测到超过预定阈值的机械振动而发起对样品的一部分的重新扫描。所述数字病理学扫描设备包括多个传感器以及处理器,所述处理器分析在图像采集期间在支撑样品的扫描载物台的移动期间接收到的传感器数据。所述处理器被配置为识别在图像采集期间施予在所述扫描载物台上的机械振动并且确定所述机械振动是否超过预定阈值。如果超过所述预定阈值,那么所述处理器被配置为发起对所述样品的在发生所述机械振动时被扫描的部分的重新扫描。

Description

冲击重新扫描系统
相关申请的交叉引用
本申请要求2017年11月30日提交的美国临时专利申请号62/593,119的优先权,该申请以引用方式整体并入本文,如同完全地阐述一样。
背景
发明领域
本发明总体上涉及一种数字载片扫描设备,并且更具体地涉及由于机械冲击而在数字图像中引入的图像伪影。
相关技术
数字病理学是通过允许管理从物理载片产生的信息的计算机技术实现的基于图像的信息环境。数字病理学部分地通过虚拟显微术实现,虚拟显微术是扫描物理玻璃载片上的样本并产生可在计算机监视器上存储、查看、管理和分析的数字载片图像的实践。通过对整个玻璃载片进行成像的能力,数字病理学领域迅猛发展并且在当前被认为是诊断医学中用来实现对重大疾病(诸如癌症)的甚至更好、更快且更便宜的诊断、预后和预测的最有前景的途径之一。
向数字载片扫描设备施加的机械冲击可在所得的数字图像中引起不利的图像伪影。机械冲击可能源于数字载片扫描设备本身或源于各种外部来源中的任一种。常规的数字载片扫描设备经受由机械冲击引起的不利的图像伪影。因此,需要一种克服在如上文所描述的常规的系统中发现的这些显著问题的系统和方法。
发明内容
因此,本文描述了一种数字病理学扫描设备,所述数字病理学扫描设备被配置为识别在图像采集期间向所述数字病理学扫描设备的扫描载物台施加的机械冲击。所述数字病理学扫描设备还被配置为确定机械冲击何时超过预定阈值,并且如果所述机械冲击超过所述预定阈值,则致使重新扫描所述样品(或其一部分)。这有利地在没有使所述数字病理学扫描设备增加附加的传感器和/或加速度计的成本的情况下实现。
在一个实施方案中,一种数字病理学扫描设备包括:扫描载物台,所述扫描载物台被配置为支撑样品并且在受控方向上相对于成像系统移动所述样品,以将所述样品的一部分数字化;一个或多个传感器,所述一个或多个传感器被配置为在所述扫描载物台在所述受控方向上的移动期间生成传感器数据;以及处理器,所述处理器被配置为控制所述扫描载物台在所述受控方向上的移动,并且还被配置为分析由所述一个或多个传感器在所述扫描载物台在所述受控方向上的移动期间生成的传感器数据。所述处理器还被配置为基于在所述扫描载物台在所述受控方向上的移动期间所述扫描载物台在非受控方向上的检测到的移动的持续时间和距离中的一个或多个来识别所述传感器数据中的事件。如果识别的事件超过预定阈值,那么所述处理器被配置为发起对所述样品的在所述识别的事件发生时被扫描的部分的重新扫描。
在一个实施方案中,一种扫描样品的方法包括:在受控方向上相对于成像系统移动扫描载物台;在所述扫描载物台在所述受控方向上的所述移动期间将由所述扫描载物台支撑的样品的一部分数字化;使用一个或多个传感器在所述扫描载物台在所述受控方向上的所述移动期间生成传感器数据;以及分析由所述一个或多个传感器在所述扫描载物台在所述受控方向上的移动期间生成的所述传感器数据。所述方法还包括基于所述分析来识别所述传感器数据中的事件,其中所述事件包括在所述扫描载物台在所述受控方向上的移动期间所述扫描载物台在非受控方向上的检测到的移动的持续时间和距离中的一个或多个。如果所述识别的事件超过预定阈值,那么所述方法还包括发起对所述样品的在所述识别的事件发生时被所述成像系统数字化的部分的重新数字化。
在阅读以下详细描述和附图之后,本发明的其他特征和优点对于本领域的普通技术人员来说将变得更显而易见。
附图说明
通过阅读以下详细描述和附图,将理解本发明的结构和操作,在附图中,相同的附图标记指代相同的部分并且其中:
图1是根据本发明的一个实施方案的示出用于响应于机械振动而发起对玻璃载片的一部分的重新扫描的示例过程的流程图;
图2A是示出可结合本文所描述的各种实施方案使用的示例支持处理器的装置550的框图;
图2B是示出具有单个线性阵列的示例线扫描相机的框图;
图2C是示出具有三个线性阵列的示例线扫描相机的框图;以及
图2D是示出具有多个线性阵列的示例线扫描相机的框图。
具体实施方式
本文公开的某些实施方案提供了用于响应于响应于在图像采集期间检测到超过预定阈值的机械振动而发起对样品的一部分的重新扫描的系统和方法。在阅读本说明书之后,对于本领域的技术人员来说将变得显而易见的是,如何在各种可选的实施方案和可选的应用中实现本发明。然而,尽管本文将描述本发明的各种实施方案,但是应理解,这些实施方案仅以示例方式呈现,而不进行限制。如此,对各种可选的实施方案的这个详细描述不应被解释为限制如所附权利要求书中所阐述的本发明的范围或广度。
1.示例方法
图1是示出根据本发明的一个实施方案的用于响应于机械振动而发起对玻璃载片的一部分的重新扫描的示例过程的流程图。该过程可由诸如稍后关于图2A至图2D描述的数字病理学扫描设备执行。最初,在步骤100中,数字病理学扫描设备开始扫描样品的一部分,例如玻璃载片上的样本。扫描样品包括在受控方向上相对于成像系统移动扫描载物台,该成像系统将样品的图像数字化。数字病理学扫描设备的处理器控制扫描载物台的移动。受控方向可包括处理器指示扫描载物台移动的任何方向。在一个实施方案中,处理器可指示扫描载物台在任一X、Y、Z方向上移动任何距离,并且受控方向包括所指示的移动的方向和距离两者。
接下来,并且在样品的扫描期间,一个或多个传感器生成传感器数据,并且在步骤150中,由数字病理学扫描装置的处理器接收传感器数据。一个或多个传感器可包括感测位置/移动信息的编码器。一个或多个传感器还可包括感测位置/移动信息的加速度计。接下来,在步骤200中,处理器分析传感器数据。如果处理器识别出传感器数据中的与在受控方向上的移动不对应的任何信息(例如,来自处理器的用于使扫描载物台在一定方向上移动一定距离的指令),那么在步骤250中,识别出与在非受控方向上的移动相对应的事件。在样品的整个扫描过程期间,处理器继续接收并分析传感器数据并且识别事件。
对于所识别的每个事件,在步骤300中,处理器确定在非受控方向上的移动的量。例如,处理器确定在非受控方向上的移动的量(例如,距离)。在一个实施方案中,这个量可为由位置传感器记录的位置误差的量。在步骤350中,处理器还确定在非受控方向上的移动的持续时间。如果事件的非受控移动的量和持续时间的组合超过预定阈值,如在步骤400中确定的,那么在步骤450中,处理器发起对样品的在发生所述事件时被数字化的那部分的重新扫描。可选地,如果只有事件的非受控移动的量超过预定阈值,那么处理器仍可发起对样品的在发生所述事件时被数字化的那部分的重新扫描。可选地,如果只有事件的非受控移动的持续时间超过预定阈值,那么处理器仍可发起对样品的在发生所述事件时被数字化的那部分的重新扫描。在一个实施方案中,重新扫描包括重新扫描整个条带。然而,如果事件或事件的任何元素(例如,持续时间或量)没有超过预定阈值,那么处理器继续扫描样品。
在一个实施方案中,在非受控方向上的移动可例如由数字病理学扫描设备本身或在数字病理学扫描设备外的某种力对扫描载物台施予的振动引起。对扫描载物台施予的振动的重大问题在于扫描载物台在非受控方向上的移动可能会不利地影响所得的数字载片图像的质量。例如,数字载片图像的焦点可能被不利地影响。而且,数字载片图像的一部分(例如,条带)与数字载片图像的其他部分组合的能力可被不利地影响。例如,如果振动引起扫描载物台漂移而使得所得的图像条带不与其相邻的条带重叠,那么非重叠区域将阻碍数字病理学扫描设备将条带组合到全载片图像中的能力。
2.示例实施方案
在一个实施方案中,一种数字病理学扫描设备包括扫描载物台,该扫描载物台被配置为支撑样品并且在受控方向上相对于成像系统移动样品,以将样品的一部分数字化。该数字病理学扫描设备还包括一个或多个传感器,该一个或多个传感器被配置为在扫描载物台在受控方向上的移动期间生成传感器数据。在一个实施方案中,该数字病理学扫描设备包括三个传感器,并且传感器中的每一个被配置为感测在特定轴线上的移动,例如,第一传感器被配置为感测在X轴上的移动,第二传感器被配置为感测在Y轴上的移动,并且第三传感器被配置为感测在Z轴上的移动。在一个实施方案中,传感器是位置编码器。传感器数据可包括位置数据或移动数据或这两者。该数字病理学扫描设备还包括处理器,该处理器被配置为控制扫描载物台在受控方向上的移动,并且还被配置为分析由一个或多个传感器在扫描载物台在受控方向上的移动期间生成的传感器数据。处理器还被配置为基于在扫描载物台在受控方向上的移动期间扫描载物台在非受控方向上的移动的持续时间和距离中的一个或多个来识别分析的传感器数据中的事件。处理器还被配置为发起对样品的在识别的事件发生时被成像系统扫描的部分的重新扫描。
在一个实施方案中,一个或多个传感器包括一个或多个位置编码器,一个或多个位置编码器与处理器协作地操作以控制扫描载物台在受控方向上的移动。在一个实施方案中,一个或多个传感器包括加速度计,加速度计被配置为检测扫描载物台在非受控方向上的移动。在一个实施方案中,一个或多个传感器包括被配置为检测扫描载物台的位置的一个或多个位置编码器,以及被配置为检测扫描载物台在非受控方向上的移动的一个或多个加速度计。
在一个实施方案中,预定阈值仅基于在非受控方向上的检测到的移动的持续时间。在一个实施方案中,预定阈值仅基于在非受控方向上的检测到的移动的距离。在一个实施方案中,预定阈值是基于在非受控方向上的检测到的移动的距离和在非受控方向上的检测到的移动的持续时间的组合。
在一个实施方案中,一种使用数字病理学扫描设备将样品数字化的方法包括:在受控方向上相对于成像系统移动扫描载物台;以及在扫描载物台在受控方向上的移动期间将由扫描载物台支撑的样品的一部分数字化。在扫描载物台在受控方向上的移动期间,该方法使用一个或多个传感器来生成传感器数据。传感器数据可包括位置数据或移动数据或这两者。该方法还包括:分析由一个或多个传感器在扫描载物台在受控方向上的移动期间生成的传感器数据;以及基于分析来识别传感器数据中的事件,其中识别的事件包括扫描载物台在非受控方向上的检测到的移动的持续时间和距离中的一个或多个。该方法还包括:如果识别的事件超过预定阈值,那么发起对样品的在识别的事件发生时被成像系统数字化的部分的重新数字化。
在一个实施方案中,一个或多个传感器包括位置编码器,位置编码器与处理器协作地操作以控制扫描载物台在受控方向上的移动。在一个实施方案中,一个或多个传感器包括加速度计,加速度计被配置为检测扫描载物台在非受控方向上的移动。在一个实施方案中,预定阈值仅基于在非受控方向上的检测到的移动的持续时间。在一个实施方案中,预定阈值仅基于在非受控方向上的检测到的移动的距离。在一个实施方案中,预定阈值是基于在非受控方向上的检测到的移动的距离和在非受控方向上的检测到的移动的持续时间的组合。
3.示例数字载片扫描设备
可使用诸如关于图2A至图2D描述的数字病理学扫描装置来实现本文所描述的各种实施方案。
图2A是示出可结合本文所描述的各种实施方案使用的示例支持处理器的装置550的框图。如技术人员将理解,还可使用装置550的可选形式。在所示的实施方案中,装置550被呈现为数字成像装置(也称为数字载片扫描设备、数字载片扫描仪、扫描仪、扫描仪系统或数字成像装置等),该数字成像装置包括:一个或多个处理器555;一个或多个存储器565;一个或多个运动控制器570;一个或多个接口系统575;一个或多个可移动载物台580,该一个或多个可移动载物台各自支撑具有一个或多个样品590的一个或多个玻璃载片585;一个或多个照明系统595,该一个或多个照明系统对样品进行照明;一个或多个物镜600,该一个或多个物镜各自限定沿着光轴行进的光学路径605;一个或多个物镜定位器630;一个或多个任选的落射照明系统635(例如,包括在荧光扫描仪系统中);一个或多个聚焦光学器件610;一个或多个线扫描相机615;和/或一个或多个面扫描相机620,该一个或多个面扫描相机中的每一个限定在样品590和/或玻璃载片585上的单独视野625。扫描仪系统550的各种元件经由一个或多个通信总线560通信地耦合。尽管可存在扫描仪系统550的各种元件中的每一种中的一个或多个,但是为了描述的简单起见,除非需要以复数形式进行描述来传达适当的信息,否则将以单数形式描述这些元件。
一个或多个处理器555可包括例如能够并行地处理指令的中央处理单元(“CPU”)和单独的图形处理单元(“GPU”),或者一个或多个处理器555可包括能够并行地处理指令的多核心处理器。还可提供附加的单独处理器以控制特定部件或执行特定功能,诸如图像处理。例如,附加的处理器可包括用于管理数据输入的辅助处理器、用于执行浮点数学运算的辅助处理器、具有适合于快速地执行信号处理算法的架构的专用处理器(例如,数字信号处理器)、从属于主处理器的从处理器(例如,后端处理器)、用于控制线扫描相机615、载物台580、物镜225和/或显示器(未示出)的附加的处理器。这样的附加的处理器可为单独的离散处理器,或者可与处理器555集成。
存储器565提供可由处理器555执行的程序的数据和指令的存储。存储器565可包括存储数据和指令的一种或多种易失性和/或非易失性计算机可读存储介质,包括例如随机存取存储器、只读存储器、硬盘驱动器、可移动存储装置驱动器等。处理器555被配置为执行存储在存储器565中的指令并经由通信总线560与扫描仪系统550的各种元件通信以实施扫描仪系统550的整体功能。
一个或多个通信总线560可包括被配置为传达模拟电信号的通信总线560,并且可包括被配置为传达数字数据的通信总线560。因此,从处理器555、运动控制器570和/或接口系统575经由一个或多个通信总线560进行的通信可包括电信号和数字数据两者。处理器555、运动控制器570和/或接口系统575还可被配置为经由无线通信链路与扫描系统550的各种元件中的一个或多个通信。
运动控制系统570被配置为精确地控制和协调载物台580和物镜600(例如,经由物镜定位器630)的XYZ移动。运动控制系统570还被配置为控制扫描仪系统550中的任何其他移动部分的移动。例如,在荧光扫描仪实施方案中,运动控制系统570被配置为协调落射照明系统635中的滤光器等的移动。
在一个实施方案中,运动控制系统570包括一个或多个传感器,所述一个或多个传感器被配置为与处理器555协作来在扫描载物台580在受控方向上的移动期间生成传感器数据。例如,一个或多个传感器可包括一个或多个位置编码器,所述一个或多个位置编码器在扫描载物台580在受控方向上的移动期间向处理器555提供信息,以部分地允许处理器555精确地控制扫描载物台580的移动且部分地允许处理器555分析位置编码器信息以识别扫描载物台580在非受控方向上的任何移动。在非受控方向上的移动可例如由数字病理学扫描设备本身或在数字病理学扫描设备外的某种力对扫描载物台580施予的振动引起。另外地或可选地,一个或多个传感器可包括一个或多个加速度计,所述一个或多个加速度计在扫描载物台580在受控方向上的移动期间向处理器555提供信息,其中所述信息与扫描载物台580在受控方向上的移动和扫描载物台580在非受控方向上的移动相关。来自加速度计的信息允许处理器555精确地控制载物台在受控方向上的移动,并且还允许处理器555分析加速度计信息以识别扫描载物台580在非受控方向上的任何移动。有利地,一个或多个传感器(例如,位置编码器或加速度计)被配置为在样品的数字化期间精确地检测扫描载物台的位置和/或移动,并且处理器555被配置为分析传感器数据以基于在样品的数字化期间扫描载物台的精确地检测到的位置和/或移动来识别扫描载物台在非受控方向上的任何非希望的移动。
接口系统575允许扫描仪系统550与其他系统和人类操作员介接。例如,接口系统575可包括用户界面以用于将信息直接地提供给操作员和/或允许来自操作员的直接输入。接口系统575还被配置为便于扫描系统550与直接地连接的一个或多个外部装置(例如,打印机、可移动存储介质等)或经由网络(未示出)连接到扫描仪系统550的外部装置(诸如图像服务器系统、操作员站、用户站和管理服务器系统)之间的通信和数据传输。
照明系统595被配置为对样品590的一部分进行照明。照明系统595可包括例如光源和照明光学器件。光源可为可变强度卤素光源,其具有凹面反射镜以最大化光输出并具有KG-1滤光片以抑制热量。光源还可为任何类型的弧光灯、激光器或其他光源。在一个实施方案中,照明系统595以透射模式对样品590进行照明,使得线扫描相机615和/或面扫描相机620感测透射穿过样品590的光学能量。可选地或另外地,照明系统595可被配置为以反射模式对样品590进行照明,使得线扫描相机615和/或面扫描相机620感测从样品590反射的光学能量。总的来说,照明系统595被配置为适合于在光学显微术的任何已知模式中探询显微镜样品590。
在一个实施方案中,扫描仪系统550任选地包括落射照明系统635来优化扫描仪系统550以进行荧光扫描。荧光扫描是对包括荧光分子的样品590的扫描,所述荧光分子是可吸收特定波长的光(激发)的光子敏感分子。这些光子敏感分子还以更高波长发射光(发射)。由于这种光致发光现象的效率非常低,因此发射光量通常非常低。这种低发射光量典型地阻碍用于扫描和数字化样品590的常规技术(例如,透射模式显微术)。有利地,在扫描仪系统550的任选的荧光扫描仪系统实施方案中,使用包括多个线性传感器阵列的线扫描相机615(例如,时间延迟积分(“TDI”)线扫描相机)通过将样品590的同一区域暴露于线扫描相机615的多个线性传感器阵列中的每一个来增加线扫描相机对光的敏感度。这在用低发射光来扫描微弱荧光样品时特别地有用。
因此,在荧光扫描仪系统实施方案中,线扫描相机615优选地是单色TDI线扫描相机。有利地,单色图像在荧光显微术中是理想的,因为它们提供了来自存在于样品上的各种通道的实际信号的更准确表示。如本领域的技术人员将理解,可用发射不同波长的光的多种荧光染料来标记荧光样品590,这些波长也称为“通道”。
此外,由于各种荧光样品的低端和高端信号电平呈现线扫描相机615要感测的波长的宽光谱,因此期望线扫描相机615可感测到的低端和高端信号电平是类似地宽的。因此,在荧光扫描仪实施方案中,在荧光扫描系统550中使用的线扫描相机615是单色10位64线性阵列TDI线扫描相机。应注意,可采用线扫描相机615的各种位深度以与扫描系统550的荧光扫描仪实施方案一起使用。
可移动载物台580被配置为在处理器555或运动控制器570的控制下进行精确的X-Y轴移动。可移动载物台还可被配置为在处理器555或运动控制器570的控制下在Z轴上进行移动。可移动载物台被配置为在由线扫描相机615和/或面扫描相机进行的图像数据捕获期间将样品定位在期望位置。可移动载物台还被配置为在扫描方向上将样品590加速到基本上恒定的速度,并且然后在由线扫描相机615进行的图像数据捕获期间维持基本上恒定的速度。在一个实施方案中,扫描仪系统550可采用高精度且紧密地协调的X-Y网格来帮助将样品590定位在可移动载物台580上。在一个实施方案中,可移动载物台580是基于线性马达的X-Y载物台,其中在X轴和Y轴两者上采用高精度编码器。例如,可在扫描方向上的轴线上和在垂直于扫描方向并与扫描方向在同一平面上的方向上的轴线上使用非常精确的纳米编码器。载物台还被配置为支撑玻璃载片585,样品590设置在该玻璃载片上。
样品590可为可通过光学显微术探询的任何事物。例如,玻璃显微镜载片585经常用作样本的观察基底,该样本包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、小滴、活检材料,或任何其他类型的死或活的、染色或未染色的、标记或未标记的生物材料或物质。样品590还可为沉积在任何类型的载片或其他基底上的任何类型的DNA或DNA相关材料(诸如cDNA、RNA或蛋白质)的阵列,包括通常称为微阵列的任何和所有样品。样品590可为微量滴定板,例如96孔板。样品590的其他示例包括集成电路板、电泳记录、培养皿、膜、半导体材料、法医材料和机加工零件。
物镜600安装在物镜定位器630上,在一个实施方案中,该物镜定位器可采用非常精确的线性马达来使物镜600沿着由物镜600限定的光轴移动。例如,物镜定位器630的线性马达可包括50纳米编码器。载物台580和物镜600在XYZ轴上的相对位置在处理器555的控制下使用运动控制器570以闭环方式进行协调和控制,该处理器采用存储器565来存储信息和指令,包括用于扫描系统550的整个操作的计算机可执行的编程的步骤。
在一个实施方案中,物镜600是平场复消色差(“APO”)无限远校正物镜,其数值孔径对应于期望的最高空间分辨率,其中物镜600适合于透射模式照明显微术、反射模式照明显微术和/或落射照明模式荧光显微术(例如,Olympus 40X,0.75NA或20X,0.75NA)。有利地,物镜600能够校正色像差和球面像差。由于物镜600是无限远校正的,因此聚焦光学器件610可在光学路径605中放置于物镜600上方,在那里,穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光信号聚焦到线扫描相机615和/或面扫描相机620的光响应元件上并且可包括光学部件(诸如滤光片、放大变换器透镜等)。与聚焦光学器件610相结合的物镜600为扫描系统550提供了总放大率。在一个实施方案中,聚焦光学器件610可包含镜筒透镜和任选的2X放大变换器。有利地,2X放大变换器允许本机20X物镜600以40X放大率扫描样品590。
线扫描相机615包括图片元素(“像素”)的至少一个线性阵列。线扫描相机可为单色或彩色的。彩色线扫描相机典型地具有至少三个线性阵列,而单色线扫描相机可具有单个线性阵列或多个线性阵列。还可使用任何类型的单数或复数线性阵列,无论是被封装作为相机的部分还是定制集成到成像电子模块中。例如,还可使用3线性阵列(“红-绿-蓝”或“RGB”)彩色线扫描相机或96线性阵列单色TDI。TDI线扫描相机典型地通过对来自样本的先前成像区域的强度数据求和而产生信噪比(“SNR”)的与积分级的数量的平方根成比例的增加来在输出信号中提供显著地更好的SNR。TDI线扫描相机包括多个线性阵列。例如,TDI线扫描相机可具有24个、32个、48个、64个、96个或甚至更多的线性阵列。扫描仪系统550还支持以各种格式制造的线性阵列,包括具有512个像素的一些格式、具有1024个像素的一些格式,以及具有多达4096个像素的其他格式。类似地,还可在扫描仪系统550中使用具有各种像素大小的线性阵列。选择任何类型的线扫描相机615的突出要求是载物台580的运动可与线扫描相机615的线速率同步,使得在样品590的数字图像捕获期间,载物台580可相对于线扫描相机615处于运动中。
由线扫描相机615生成的图像数据存储在存储器565的一部分中并由处理器555处理以生成样品590的至少一部分的连续数字图像。连续数字图像可由处理器555进一步处理,并且处理过的连续数字图像也可存储在存储器565中。
在具有两个或更多个线扫描相机615的实施方案中,线扫描相机615中的至少一个可被配置为用作聚焦传感器,该聚焦传感器与线扫描相机615中的被配置为用作成像传感器的至少一个组合地操作。聚焦传感器可逻辑上定位成与成像传感器在同一光轴上,或者聚焦传感器可逻辑上定位成相对于扫描仪系统550的扫描方向在成像传感器之前或之后。在其中至少一个线扫描相机615用作聚焦传感器的一个实施方案中,由聚焦传感器生成的图像数据存储在存储器565的一部分中并由一个或多个处理器555处理以生成聚焦信息,从而允许扫描仪系统550调整样品590与物镜600之间的相对距离以在扫描期间维持聚焦在样品上。另外地,在一个实施方案中,用作聚焦传感器的至少一个线扫描相机615可被定向,使得聚焦传感器的多个单独像素中的每一个沿着光学路径605定位在不同的逻辑高度处。
在操作中,扫描仪系统550的各种部件以及存储在存储器565中的编程的模块使得能够对设置在玻璃载片585上的样品590进行自动扫描和数字化。玻璃载片585牢固地放置在扫描仪系统550的可移动载物台580上以扫描样品590。在处理器555的控制下,可移动载物台580将样品590加速到基本上恒定的速度,以供线扫描相机615感测,其中载物台的速度与线扫描相机615的线速率同步。在扫描图像数据条带之后,可移动载物台580减速并使样品590基本上完全停止。然后,可移动载物台580正交于扫描方向移动来定位样品590,以进行对后续图像数据条带(例如,相邻的条带)的扫描。随后扫描附加的条带,直到样品590的整个部分或整个样品590被扫描为止。
例如,在对样品590的数字扫描期间,获取样品590的连续数字图像作为多个连续视野,这些连续视野组合在一起以形成图像条带。多个相邻的图像条带类似地组合在一起以形成样品590的一部分或整个样品590的连续数字图像。对样品590的扫描可包括获取竖直图像条带或水平图像条带。对样品590的扫描可为从上到下、从下到上或这两者(双向),并且可在样品上的任何点处开始。可选地,对样品590的扫描可为从左到右、从右到左或这两者(双向),并且可在样品上的任何点处开始。另外地,不必以相邻或连续方式获取图像条带。此外,样品590的所得图像可为整个样品590或仅样品590的一部分的图像。
在一个实施方案中,计算机可执行指令(例如,编程的模块或其他软件)存储在存储器565中,并且当被执行时,使得扫描系统550能够执行本文所描述的各种功能。在本说明书中,术语“计算机可读存储介质”用于指代用于存储计算机可执行指令并将其提供给扫描系统550以供处理器555执行的任何介质。这些介质的示例包括存储器565以及直接地或间接地与扫描系统550通信地耦合(例如,经由网络)的任何可移动或外部存储介质(未示出)。
图2B示出了具有单个线性阵列640的线扫描相机,该单个线性阵列可被实现为电荷耦合装置(“CCD”)阵列。单个线性阵列640包括多个单独像素645。在所示的实施方案中,单个线性阵列640具有4096个像素。在可选的实施方案中,线性阵列640可具有更多或更少的像素。例如,线性阵列的常见格式包括512个、1024个和4096个像素。像素645以线性方式布置来限定线性阵列640的视野625。视野的大小根据扫描仪系统550的放大率而变化。
图2C示出了具有三个线性阵列的线扫描相机,该三个线性阵列中的每一个可被实现为CCD阵列。三个线性阵列进行组合以形成色彩阵列650。在一个实施方案中,色彩阵列650中的每个单独线性阵列检测不同的色彩强度(例如,红色、绿色或蓝色)。来自色彩阵列650中的每个单独线性阵列的色彩图像数据进行组合以形成色彩图像数据的单个视野625。
图2D示出了具有多个线性阵列的线扫描相机,该多个线性阵列中的每一个可被实现为CCD阵列。多个线性阵列进行组合以形成TDI阵列655。有利地,TDI线扫描相机可通过对来自样本的先前成像区域的强度数据求和而产生SNR的与线性阵列(也称为积分级)的数量的平方根成比例的增加来在其输出信号中提供显著地更好的SNR。TDI线扫描相机可包括更多数量的线性阵列。例如,TDI线扫描相机的常见格式包括24个、32个、48个、64个、96个、120个和甚至更多的线性阵列。
提供了所公开的实施方案的以上描述,以使得本领域的任何技术人员能够制造或使用本发明。对这些实施方案的各种修改对于本领域的技术人员来说将显而易见,并且在不脱离本发明的精神或范围的情况下,本文所描述的一般原理可应用于其他实施方案。因此,应理解,本文所呈现的描述和附图表示本发明的当前优选实施方案,并且因此表示通过本发明广泛地设想的主题。还应理解,本发明的范围完全地涵盖对于本领域的技术人员来说可变得明显的其他实施方案,并且本发明的范围相应地不受限制。

Claims (3)

1.一种数字病理学扫描设备,所述数字病理学扫描设备包括:
扫描载物台,所述扫描载物台被配置为支撑样品并且在受控方向上相对于成像系统移动所述样品,所述成像系统被配置为基于所述样品在所述受控方向上的移动将所述样品作为多条线进行扫描;
处理器,所述处理器被配置为控制所述扫描载物台在所述受控方向上的移动;以及
一个或多个硬件位置编码器,所述一个或多个硬件位置编码器被配置为在所述扫描载物台在所述受控方向上的移动期间生成传感器数据,
其中,所述处理器被配置为:
基于所述传感器数据,检测所述扫描载物台在不同于所述受控方向的非受控方向上的移动,其中所述移动引起所述扫描载物台漂移而使得所述多条线中的一条或多条相邻线不重叠,
确定检测到的所述扫描载物台在非受控方向上的移动的持续时间是否超过预定持续时间阈值,
确定检测到的所述扫描载物台在非受控方向上的移动的距离是否超过预定距离阈值,其中预定持续时间阈值和预定距离阈值是基于检测所述扫描载物台在非受控方向上的移动中导致所述多条线中的一条或多条相邻线不重叠的漂移而被确定的,以及
响应于确定检测到的移动超过预定持续时间阈值和预定距离阈值中的两者,发起对所述样品上与所述多条线中不重叠的所述一条或多条相邻线相对应的部分的重新扫描。
2.一种扫描样品的方法,所述方法包括:
在受控方向上相对于成像系统移动扫描载物台;
在所述扫描载物台在所述受控方向上的所述移动期间将由所述扫描载物台支撑的样品的一部分数字化;
基于所述样品在所述受控方向上的移动将所述样品作为多条线进行扫描;
使用一个或多个硬件位置编码器在所述扫描载物台在所述受控方向上的所述移动期间生成传感器数据;
分析由所述一个或多个硬件位置编码器生成的所述传感器数据,以检测所述扫描载物台在不同于所述受控方向的非受控方向上的移动,其中所述移动引起所述扫描载物台漂移而使得所述多条线中的一条或多条相邻线不重叠;
确定检测到的所述扫描载物台在非受控方向上的移动的持续时间是否超过预定持续时间阈值,
确定检测到的所述扫描载物台在非受控方向上的移动的距离是否超过预定距离阈值,其中预定持续时间阈值和预定距离阈值是基于检测所述扫描载物台在非受控方向上的移动中导致所述多条线中的一条或多条相邻线不重叠的漂移而被确定的,以及
响应于确定检测到的移动超过预定持续时间阈值和预定距离阈值中的两者,发起对所述样品上与所述多条线中不重叠的所述一条或多条相邻线相对应的部分的重新数字化。
3.一种非暂时性计算机可读介质,所述非暂时性计算机可读介质具有存储在其上的一个或多个指令序列,所述一个或多个指令序列用于致使一个或多个处理器执行以下步骤,所述步骤包括:
在受控方向上相对于成像系统移动扫描载物台;
在所述扫描载物台在所述受控方向上的所述移动期间将由所述扫描载物台支撑的样品的一部分数字化;
基于所述样品在所述受控方向上的移动将所述样品作为多条线进行扫描;
使用一个或多个硬件位置编码器在所述扫描载物台在所述受控方向上的所述移动期间生成传感器数据;
分析由所述一个或多个硬件位置编码器生成的所述传感器数据,以检测所述扫描载物台在不同于所述受控方向的非受控方向上的移动,其中所述移动引起所述扫描载物台漂移而使得所述多条线中的一条或多条相邻线不重叠;
确定检测到的所述扫描载物台在非受控方向上的移动的持续时间是否超过预定持续时间阈值,
确定检测到的所述扫描载物台在非受控方向上的移动的距离是否超过预定距离阈值,其中预定持续时间阈值和预定距离阈值是基于检测所述扫描载物台在非受控方向上的移动中导致所述多条线中的一条或多条相邻线不重叠的漂移而被确定的,以及
响应于确定检测到的移动超过预定持续时间阈值和预定距离阈值中的两者,发起对所述样品上与所述多条线中不重叠的所述一条或多条相邻线相对应的部分的重新数字化。
CN201880069032.3A 2017-11-30 2018-11-30 冲击重新扫描系统 Active CN111527438B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762593119P 2017-11-30 2017-11-30
US62/593,119 2017-11-30
PCT/US2018/063469 WO2019109034A1 (en) 2017-11-30 2018-11-30 Impulse rescan system

Publications (2)

Publication Number Publication Date
CN111527438A CN111527438A (zh) 2020-08-11
CN111527438B true CN111527438B (zh) 2023-02-21

Family

ID=66633780

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880069032.3A Active CN111527438B (zh) 2017-11-30 2018-11-30 冲击重新扫描系统

Country Status (6)

Country Link
US (2) US11943537B2 (zh)
EP (1) EP3625609A4 (zh)
JP (1) JP7119085B2 (zh)
CN (1) CN111527438B (zh)
AU (1) AU2018374385B2 (zh)
WO (1) WO2019109034A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111527438B (zh) 2017-11-30 2023-02-21 徕卡生物系统成像股份有限公司 冲击重新扫描系统
WO2021026374A1 (en) 2019-08-06 2021-02-11 Leica Biosystems Imaging, Inc. Graphical user interface for slide-scanner control

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2299307A2 (en) * 2000-11-03 2011-03-23 Cytyc Corporation Cytological imaging method
JP2013105500A (ja) * 2011-11-15 2013-05-30 Mitsutoyo Corp 画像取得動作の連続ストリームが実行モード中に実行されるパートプログラムのマシンビジョンシステム編集環境
CN106291897A (zh) * 2016-08-23 2017-01-04 宁波江丰生物信息技术有限公司 一种组织切片扫描装置以及组织切片扫描方法
CN107209360A (zh) * 2015-01-20 2017-09-26 浜松光子学株式会社 图像取得装置以及图像取得方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5578813A (en) * 1995-03-02 1996-11-26 Allen; Ross R. Freehand image scanning device which compensates for non-linear movement
JPH1031165A (ja) * 1996-07-16 1998-02-03 Olympus Optical Co Ltd 画像入力装置及び走査型顕微鏡装置
EP1234026B1 (en) * 1999-11-30 2011-08-17 Cyntellect, Inc. Method and apparatus for selectively targeting specific cells within a cell population
US6711283B1 (en) * 2000-05-03 2004-03-23 Aperio Technologies, Inc. Fully automatic rapid microscope slide scanner
US7668362B2 (en) * 2000-05-03 2010-02-23 Aperio Technologies, Inc. System and method for assessing virtual slide image quality
US7140738B2 (en) 2004-11-24 2006-11-28 Cytyc Corporation System and method for calibrating position of microscope slide within storage receptacle
WO2007030731A2 (en) 2005-09-07 2007-03-15 Nr Laboratories, Llc Positional sensing system and method
CN101438198A (zh) 2006-03-13 2009-05-20 伊康尼西斯公司 自动化的显微镜载片读取系统
JP2008170641A (ja) 2007-01-10 2008-07-24 Olympus Corp 顕微鏡システム及びステージ制御方法
US8098956B2 (en) * 2007-03-23 2012-01-17 Vantana Medical Systems, Inc. Digital microscope slide scanning system and methods
WO2008137667A1 (en) * 2007-05-04 2008-11-13 Aperio Technologies, Inc. System and method for quality assurance in pathology
US8904560B2 (en) 2007-05-07 2014-12-02 Bruker Nano, Inc. Closed loop controller and method for fast scanning probe microscopy
US8322220B2 (en) 2007-05-10 2012-12-04 Veeco Instruments Inc. Non-destructive wafer-scale sub-surface ultrasonic microscopy employing near field AFM detection
JP5159240B2 (ja) 2007-10-18 2013-03-06 キヤノン株式会社 撮像装置
US8120376B2 (en) 2007-12-12 2012-02-21 Novellus Systems, Inc. Fault detection apparatuses and methods for fault detection of semiconductor processing tools
JP2009180828A (ja) 2008-01-29 2009-08-13 Nikon Corp 顕微鏡と、顕微鏡の像ぶれ補正結像レンズと、顕微鏡の像ぶれ補正方法
US20090224047A1 (en) * 2008-03-05 2009-09-10 Konica Minolta Systems Laboratory, Inc. Contactless Scan Position Orientation Sensing
JP2009273056A (ja) 2008-05-09 2009-11-19 Nikon Corp 撮影装置
US8743195B2 (en) * 2008-10-24 2014-06-03 Leica Biosystems Imaging, Inc. Whole slide fluorescence scanner
EP2376965B1 (en) * 2008-12-15 2020-11-11 Koninklijke Philips N.V. Scanning microscope
DE102009009562A1 (de) 2009-02-19 2010-09-09 Integrated Dynamics Engineering Gmbh Kombinierter Bewegungssensor zum Einsatz in Feedback-Regelsystemen zur Schwingungsisolation
JP2011085652A (ja) * 2009-10-13 2011-04-28 Olympus Corp 画像取得装置
KR101699111B1 (ko) 2009-10-29 2017-01-24 브루커 나노, 인코퍼레이션. 운동학적 굴곡 어레인지먼트를 채용한 지지 스테이지를 갖는 주사형 프로브 현미경
US8780347B2 (en) * 2010-06-11 2014-07-15 Block Engineering, Llc QCL spectroscopy system and applications therefor
WO2012083438A1 (en) * 2010-12-24 2012-06-28 Huron Technologies International Inc. Pathology slide scanner
US8736914B2 (en) * 2012-01-12 2014-05-27 Rjs Technologies, Inc. Image scanning apparatus and methods of using the same
CN202854042U (zh) * 2012-09-29 2013-04-03 帝麦克斯(苏州)医疗科技有限公司 光学扫描显微镜系统
JP2014153500A (ja) * 2013-02-07 2014-08-25 Sony Corp 画像取得装置およびステージ制御方法
DE102013008452B4 (de) 2013-05-17 2018-06-21 Carl Zeiss Meditec Ag Operationsmikroskop mit Positionierhilfe
EP2865323B1 (en) * 2013-10-23 2022-02-16 Canon Kabushiki Kaisha Retinal movement tracking in optical coherence tomography
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US20180172971A1 (en) * 2016-12-19 2018-06-21 Novartis Ag Systems and methods for active vibration reduction of a surgical microscope
US11187720B2 (en) 2017-06-16 2021-11-30 Tektronix, Inc. Test and measurement devices, systems, and methods associated with augmented reality
CN111527438B (zh) 2017-11-30 2023-02-21 徕卡生物系统成像股份有限公司 冲击重新扫描系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2299307A2 (en) * 2000-11-03 2011-03-23 Cytyc Corporation Cytological imaging method
JP2013105500A (ja) * 2011-11-15 2013-05-30 Mitsutoyo Corp 画像取得動作の連続ストリームが実行モード中に実行されるパートプログラムのマシンビジョンシステム編集環境
CN107209360A (zh) * 2015-01-20 2017-09-26 浜松光子学株式会社 图像取得装置以及图像取得方法
CN106291897A (zh) * 2016-08-23 2017-01-04 宁波江丰生物信息技术有限公司 一种组织切片扫描装置以及组织切片扫描方法

Also Published As

Publication number Publication date
AU2018374385A1 (en) 2020-07-16
JP2021512346A (ja) 2021-05-13
AU2018374385B2 (en) 2021-03-04
JP7119085B2 (ja) 2022-08-16
CN111527438A (zh) 2020-08-11
WO2019109034A1 (en) 2019-06-06
US20190166293A1 (en) 2019-05-30
US11943537B2 (en) 2024-03-26
EP3625609A4 (en) 2021-03-03
EP3625609A1 (en) 2020-03-25
US20240205546A1 (en) 2024-06-20

Similar Documents

Publication Publication Date Title
KR102523559B1 (ko) 디지털 스캐닝 장치
US11597612B2 (en) Slide rack gripper apparatus
CN111148963B (zh) 载片卡死确定系统
KR102419163B1 (ko) 실시간 오토포커스 포커싱 알고리즘
US11347044B2 (en) Low resolution slide imaging and slide label imaging and high resolution slide imaging using dual optical paths and a single imaging sensor
CN111164484B (zh) 双程微距图像
US20240205546A1 (en) Impulse rescan system
JP2020525848A (ja) 異なるサイズのスライド用の調整可能なスライドステージ
CN111279200B (zh) 载片架转盘
US11445081B2 (en) Slide rack determination system
CN111406218A (zh) 用于载片装载和卸载的固定的基准边缘系统
EP3625568B1 (en) Carousel for slides with different sizes
CN111279242B (zh) 双处理器图像处理

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant