CN111149037B - 实时自动对焦聚焦算法 - Google Patents

Abstract

提供了一种数字扫描设备，所述数字扫描设备包括成像传感器和聚焦传感器以及处理器，所述处理器分析由所述成像传感器和所述聚焦传感器捕获的图像数据并在扫描操作期间实时调整所述扫描设备的焦点。所述成像传感器的各个像素相对于所述数字扫描设备的光学路径全部在同一图像平面中。所述聚焦传感器的所述各个像素相对于所述光学路径各自在不同的图像平面中，并且所述聚焦传感器的一个像素与所述图像传感器在所述同一图像平面上。所述处理器分析来自所述成像传感器和所述聚焦传感器的图像数据，并确定距离和方向以调整所述数字扫描设备的物镜和载物台的相对位置以在所述扫描操作期间实现最佳聚焦。

Description

实时自动对焦聚焦算法

相关申请的交叉引用

本申请要求在2017年9月29日提交的第62/566,145号美国临时专利申请的优先权，所述美国临时专利申请据此以引用方式并入本文，如同在此充分阐述一样。

发明背景

技术领域

本公开总体上涉及数字病理学，并且更具体地涉及数字载玻片扫描设备的实时自动聚焦。

背景技术

数字病理学是通过计算机技术而启用的基于图像的信息环境，所述计算机技术允许管理从物理载玻片生成的信息。数字病理学是部分地由虚拟显微镜实现的，所述虚拟显微镜是扫描物理载玻片上的样品并创建可以在计算机监视器上存储、查看、管理和分析的数字载玻片图像的实践。凭借对整个载玻片进行成像的能力，数字病理学领域飞速发展并且目前被认为是诊断医学最有前途的途径之一，以便实现对诸如癌症的重疾的更好、更快、更便宜的诊断、预后和预测。

数字病理学行业的主要目标是减少扫描载玻片所需的时间。一些常规的数字扫描装置需要至少20秒预扫描处理以获取载玻片上整个样本的焦点，并从所获取的焦点创建焦平面。因此，需要一种克服如上所述的常规系统中发现的这些重大问题的系统和方法。

发明内容

在实施方案中，扫描设备包括成像传感器、聚焦传感器以及处理器，所述处理器被配置为分析由所述成像传感器和所述聚焦传感器捕获的图像数据。所述聚焦传感器可以倾斜，使得沿着所述聚焦传感器的各个像素的光学路径的位置对于所捕获的每一行图像数据是变化的，而沿着所述成像传感器的各个像素的光学路径的位置对于所捕获的每一行图像数据全部基本上相同。然而，当所述成像传感器和所述聚焦传感器都捕获一行图像数据时，倾斜的聚焦传感器的一个像素沿着光学路与所述成像传感器的所有像素位于同一逻辑图像平面内。沿着光学路径在逻辑图像平面内具有公共位置的这种状态称为“齐焦”。

在实施方案中，在扫描期间，所述处理器被配置为分析来自所述成像传感器和所述聚焦传感器的图像数据以确定物镜距其最佳聚焦位置(即，在所述成像传感器的成像平面与所述最佳焦平面重合时物镜的位置)的距离和方向。对于捕获的图像数据的每个像素，所述处理器可以确定来自所述聚焦传感器的图像数据的对比度值和来自所述成像传感器的图像数据的对比度值。然后，所述处理器可以针对每个像素确定所述聚焦传感器对比度值除以所述成像传感器对比度值的比率。所述处理器可以绘制所述对比度比率以生成对比度曲线。然后，所述处理器可以识别所述对比度曲线的峰值以确定具有最高对比度值的像素。所述齐焦点也可以绘制在所述对比度曲线上。因为相对于光学路径在同一逻辑像平面内的成像传感器上的像素和聚焦传感器上的像素将具有基本上相同的对比度值，所以齐焦点将存在于所述对比度曲线上。所述对比度曲线上的齐焦点与所述对比度曲线上的峰值对比度点之间的像素距离(在本文中也称为“ΔX”)指示沿着光学路径的物理距离。该物理距离表示物镜的当前位置与物镜的最佳聚焦位置(即，沿着物镜的光学路径的最佳焦平面将与成像传感器的各个像素重合时的位置)之间的距离。从齐焦点到最高对比度点的方向(在本文中也称为“X方向”或由ΔX的正值或负值指示)指示物镜应当沿着光学路径移动的方向。应当理解，如果齐焦点与对比度曲线上的峰值对比度点相同(即，ΔX＝0)，则物镜已经处于最佳焦点位置。

在实施方案中，聚焦传感器的倾斜垂直于扫描设备的扫描方向。该倾斜是沿着聚焦传感器的轴线，所述轴线还与成像传感器对准。这种几何形状有利于区分由于组织可变性和焦点引起的对比度变化，这是因为比率方法抵消了组织变化分量并仅留下由于焦点引起的对比度变化。

在阅读以下详细说明和附图之后，本发明的其他特征和优点对于所属领域普通技术人员将变得更加显而易见。

附图说明

通过阅读以下详细描述和附图，将理解本发明的结构和操作，在附图中相同的附图标记指代相同部件，并且在附图中：

图1是示出根据实施方案的用于实时自动聚焦的示例性成像传感器的框图；

图2是示出根据实施方案的用于实时自动聚焦的示例性聚焦传感器的框图；

图3是示出根据实施方案的用于实时自动聚焦的成像传感器和聚焦传感器的示例性逻辑布置的框图；

图4是示出根据实施方案的来自成像传感器和聚焦传感器的图像数据的示例性对比度曲线的曲线图；

图5是示出根据实施方案的用于确定用于实时自动聚焦的物镜调整的距离和方向的示例性过程的流程图；

图6A是示出可以结合本文中描述的各种实施方案使用的示例性处理器启用装置的框图；

图6B是示出具有可以结合本文中描述的实施方案使用的单个线性阵列的示例性线扫描相机的框图；

图6C是示出具有可以结合本文中描述的实施方案使用的三个线性阵列的示例性线扫描相机的框图；并且

图6D是示出具有可以结合本文中描述的实施方案使用的多个线性阵列的示例性线扫描相机的框图。

具体实施方式

本文公开的某些实施方案提供了在样本的扫描期间的实时自动聚焦。在实施方案中，可以在数字病理扫描设备中实施实时自动聚焦算法以改善受处理器控制的设备的操作。例如，本文公开的一种系统提供了处理器，所述处理器被配置为分析来自所述成像传感器和所述聚焦传感器的图像数据，并确定距离和方向以调整所述数字扫描设备的物镜和/或载物台的相对位置以在所述扫描操作期间实现最佳聚焦。在阅读本描述之后，对于所属领域技术人员而言，如何在各种可选实施方案和可选应用中实施本发明将变得显而易见。然而，尽管本文将描述本发明的各种实施方案，但是应当理解，这些实施方案仅以示例的方式而不是限制的方式呈现。因此，对各种可选实施方案的这种详细描述不应被解释为限制如所附权利要求中所阐述的本发明的范围或广度。

图1是示出根据实施方案的用于实时自动聚焦的示例性成像传感器10的框图。在所示实施方案中，成像传感器10包括多个像素20，其被配置为经由光学路径605感测视野。成像传感器10的像素20中的每一个相对于光学路径605基本上在同一图像平面内。如本文中所使用的，“图像平面”是与光学路径605正交的平面。

成像传感器10可以是多种传感器类型中的任何一种(例如，参见图6A至图6D)，并且可以具有各种长度和各种数量的像素20。在所示实施方案中，成像传感器10具有N个像素，所述N个像素限定成像传感器10的范围15。成像传感器10的范围15在与光学路径605正交并且在实施方案中与扫描方向正交的方向上从第一端处的像素(1)延伸到第二端处的像素(n)。在实施方案中，成像传感器10的范围15可以是约43毫米。然而，其他实施方案可以具有例如从5毫米到95毫米的其他范围。

图2是示出根据实施方案的用于实时自动聚焦的示例性聚焦传感器30的框图。在所示实施方案中，类似于成像传感器10，聚焦传感器30包括多个像素20。然而，与成像传感器10中的像素不同，聚焦传感器30的每个像素20与聚焦传感器30的任何其他像素20在不同的图像平面中。

聚焦传感器30可以是多种传感器类型中的任何一种(例如，参见图6A至图6D)，并且可以具有各种长度和各种数量的像素20。在所示实施方案中，聚焦传感器30具有N个像素，所述N个像素限定聚焦传感器30的范围35。聚焦传感器30的范围35在与扫描方向垂直的方向上从第一端处的像素(1)延伸到第二端处的像素(n)。在实施方案中，聚焦传感器30的范围35可以是约43毫米。然而，其他实施方案可以具有例如从5毫米到95毫米的其他范围。

图3是示出根据实施方案的用于实时自动聚焦的成像传感器10和聚焦传感器30的示例性逻辑布置的框图。在所示实施方案中，成像传感器10和聚焦传感器30相对于光学路径605定位，使得成像传感器10的范围15和聚焦传感器30的范围35在逻辑上相同。此外，成像传感器10和聚焦传感器30还被定位成使得它们具有被扫描的样本590的相同逻辑视野。

另外，在实施方案中，成像传感器10和聚焦传感器30被定位成使得成像传感器10的各个像素20相对于光学路径与聚焦传感器30的各个像素20在逻辑上对准。换句话说，成像传感器10的每个单独像素20可以与聚焦传感器30的对应的单独像素20配对，并且所述对中的两个像素都与光学路径605在逻辑上对准，使得它们具有样本590的相同逻辑视野。可选地，聚焦传感器30的两个或更多个像素20的片段可以与成像传感器10的两个或更多个像素20的对应片段在逻辑上对准，并且多对聚焦传感器和成像传感器片段可以包含相同数量或不同数量的像素20。

可选地，在实施方案中，成像传感器10和聚焦传感器30被定位成使得成像传感器10的各个像素20的至少一部分相对于光学路径605偏离聚焦传感器30的各个像素20，使得成像传感器10的各个像素20可以或可以不与聚焦传感器30的对应像素20具有样本590的相同逻辑视野。在此类可选实施方案中，成像传感器10和聚焦传感器30可以被定位成使得成像传感器10和聚焦传感器30的各个像素20在光学路径605中在逻辑上未对准。例如，聚焦传感器30的各个像素20可以相对于光学路径605在逻辑上部分或完全偏离成像传感器10的各个像素20。聚焦传感器30的一些像素20可以相对于光学路径605与成像传感器10的对应像素20在逻辑上对准，而聚焦传感器30的其他像素20可以相对于光学路径605在逻辑上部分地偏离成像传感器10的对应图像20，而聚焦传感器30的其他像素20可以相对于光学路径605在逻辑上完全偏离成像传感器10的对应像素20。另外，聚焦传感器30的范围35可以小于或大于成像传感器10的范围15。

在所示实施方案中，成像传感器10和聚焦传感器30相对于光学路径605定位，使得聚焦传感器30的在聚焦传感器30上的齐焦点50处的一个像素的图像平面与成像传感器10的图像平面在逻辑上对准。这种布置相对于光学路径605限定齐焦图像平面。重要的是，齐焦图像平面相对于光学路径605为成像传感器10和聚焦传感器30捕获的图像数据提供公共参考系。例如，当成像传感器10和聚焦传感器30两者捕获图像数据的单个视野时，在齐焦点50处(即，在齐焦图像平面内)的聚焦传感器像素的对比度值将类似于成像传感器10的对比度值。此外，如果聚焦传感器30的单独像素20各自与成像传感器30的对应的单独像素20在逻辑上对准，则聚焦传感器30的在齐焦点50处的像素20的对比度值将基本上与成像传感器10中的与该齐焦聚焦传感器像素在逻辑上对准的对应像素20的对比度值相同。

对于由聚焦传感器30捕获的图像数据的每个单个视野，单个图像平面内的单个像素将具有最高对比度。出于说明目的，假设图像平面60是具有最高对比度的该单个图像平面。然而，应当理解这仅仅是示例。实际上，对于传感器范围35内的特定视野具有最高对比度的图像平面可以是从图像_平面(1)至图像_平面(n)的任何图像平面(例如，包括图像_平面(齐焦))。

类似地，对于由聚焦传感器30捕获的图像数据的每个连续视野集，单个图像平面(例如，为了便于解释，被示为图像平面60)将具有最高的平均对比度。在实施方案中，连续视野集可以包括1,000个视野，其中每个单独视野表示单条扫描线。所述视野集在本文中可以被称为“缓冲器”。术语“缓冲器”不限于任何特定数量的扫描线或任何特定物理存储器片段，因此，缓冲器的大小可以根据物理存储器片段或扫描设备的速度而变化，其中速度可以由载物台速度或图像数据捕获速度限定。

尽管本文将实施方案主要描述为计算特定像素的对比度值，但是应当理解，可以替代地计算图像数据已经存储在缓冲器中的一列像素的对比度值。具体地，成像传感器10和聚焦传感器30中的每个像素20可以表示与该像素在同一平面内并且与所示范围15和35正交(例如，在图1至图3中延伸到页面内或页面外)的一列像素。在这种情况下，可以将一列的对比度值计算为所述列中所有像素的对比度值的平均值。然后，分别与范围15和35相交的成像传感器像素和聚焦传感器像素的每一列的对比度值可以代替整个范围15和35的各个像素的对比度值来计算本文所述的比率。

更一般地，用于成像传感器10的对比度值可以被表示为对比度值的第一矢量，并且用于聚焦传感器30的对比度值可以被表示为对比度值的第二矢量。第一矢量和第二矢量中的每一者内的每个值可以表示单个像素的对比度值、一列像素的对比度值(例如，平均对比度值)或像素的任何片段的对比度值(例如，平均对比度值)。然而，在每种情况下，第一矢量中的每个对比度值表示一个或多个成像传感器像素20的片段在整个范围15中的位置，第二矢量中的每个对比度值表示一个或多个聚焦传感器像素20的片段在整个范围35中的位置，并且第一矢量中的每个对比度值对应于第二矢量中的对应位置处的对比度值。

图4是示出根据实施方案的用于来自成像传感器10和聚焦传感器30中的每一者的图像数据的示例性对比度曲线70的曲线图。可以针对图像数据的单条扫描线或图像数据的单个缓冲器计算对比度曲线70。在操作中，当成像传感器10和聚焦传感器30捕获对应的图像数据时，由成像传感器10和聚焦传感器30的每个像素提供的原始强度值用于计算成像传感器10和聚焦传感器30的每个像素、每一列或其他片段的对比度值。随后，通过将每个成像传感器位置的对比度值除以其对应的聚焦传感器位置的对比度值(例如，将第二矢量中的对比度值中的每一个除以第一矢量中的其对应对比度值)来确定成像传感器10和聚焦传感器30上的对应部分(例如，像素、列或其他片段)的对比度值的比率。可以将所得比率值相对于对应位置(例如，图4中的像素编号)绘制在曲线图上以生成对比度曲线70。

有利地，由于成像传感器10和聚焦传感器30的先前描述的逻辑布置(通过所述逻辑布置，成像传感器10的每个位置(例如，单独像素)与聚焦传感器30的对应位置(例如，单独像素)在逻辑上对准)，因此齐焦点50将落在对比度曲线70上。这是因为与成像传感器10在同一逻辑图像平面内的聚焦传感器30上的位置(例如，单独像素)是已知的或者可以确定的。另外，在齐焦点50处的聚焦传感器位置(例如，像素)的对比度值与所定位的对应成像传感器(例如，与聚焦传感器像素在逻辑上对准的成像传感器像素)的对比度值的比率将基本上为一，这是因为这两个像素将具有基本上相同的对比度值。

对比度曲线70除了具有齐焦点50外还具有表示最高对比度点60的峰值。最高对比度点60表示单条扫描线或单个缓冲器的最佳焦点。因为齐焦点50表示成像传感器10的图像平面，所以如果最高对比度点60与齐焦点50不同，则成像传感器10的聚焦不在其最佳位置。因此，沿着对比度曲线70的像素轴(即，图4中所示的X轴)，在齐焦点50与最高对比度点60之间的距离表示应当调整物镜以实现最佳聚焦的距离。类似地，沿着像素轴从齐焦点50到最高对比度点60的方向表示应当在光学路径内调整物镜以实现最佳聚焦的方向。

例如，如果沿着X轴，齐焦点50在位置A(例如，特定像素)处，并且最高对比度点60在位置B(例如，特定像素)处，则移动物镜以实现最佳聚焦的距离可以通过由ΔX＝|A-B|表示。类似地，如果沿着X轴从位置A处的齐焦点50到位置B处的最高对比度点60的方向为负，则可以将物镜600在光学路径605中移动的方向确定为朝向样本590(即，减小物镜与样本之间的距离)。另一方面，如果该方向为正，则可以将物镜600在光学路径605中移动的方向确定为远离样本590(即，增大物镜与样本之间的距离)。

在一个实施方案中，可以将ΔX的值乘以沿着光学路径605在聚焦传感器30的各个像素之间的物理距离D(例如，以微米为单位)以获得物理距离。所得乘积表示物理距离，所述物理距离可以被转换为对定位系统(例如，物镜定位器630)的指令，所述指令控制物镜600与载物台580上的样本590之间的相对距离。可以将指令提供给定位系统，以对物镜600与载物台580上的样本590之间的相对距离进行适当调整。

图5是示出根据实施方案的用于确定用于实时自动聚焦的物镜调整的距离和方向的示例性过程的流程图。所示过程可以由诸如关于图1至图3和图6A至图6D所描述的那些的数字扫描设备系统来执行。为了简单起见，关于确定各个像素的对比度值来描述所述过程。然而，如上文所讨论的，可以概括所述过程以确定多个像素的列或其他片段的对比度值(例如，平均对比度值)。

首先，在步骤100中，所述系统确定从成像传感器10和聚焦传感器30接收的图像数据的每个像素的对比度值(即，强度值)，其中成像传感器10和聚焦传感器30的各个像素的至少一部分相对于光学路径605在逻辑布置中彼此对应(即，对应于视野的相同部分)。接下来，在步骤110中，所述系统计算每对对应像素的对比度值的比率，其中来自聚焦传感器的像素的对比度值作为分子，并且来自成像传感器的像素的对比度值作为分母。

接下来，在步骤120中，所述系统生成在步骤110中计算出的对比度值比率的曲线的表示，其中所述对比度值比率值由Y轴表示，并且成像和聚焦传感器的对应像素对的像素数量由X轴表示。在实施方案中，成像传感器10的像素中的每一个具有聚焦传感器30的对应像素，其沿着光学路径605处于逻辑对准。除此之外或可选地，聚焦传感器30的像素中的每一个具有成像传感器10的对应像素，其沿着光学路径605处于逻辑对准。在实施方案中，在成像传感器10的每个像素与聚焦传感器30的对应像素之间存在一对一逻辑对准，使得这两个传感器的每个像素与另一传感器上的恰好一个对应像素逻辑配对(即，共享光学路径605内的公共视野)。

在将曲线拟合为对比度值比率之后，在步骤130中，所述系统在对比度值比率的曲线上识别峰值点60和齐焦点50。然后，在步骤140中，所述系统计算齐焦点50与峰值点60之间的距离值。应当理解，如果齐焦点50和峰值点60结果是同一个，则该距离值可以为零。另外，在步骤150中，所述系统确定从齐焦点50到峰值点60的方向值。应当理解，在实际的实施方案中，可以通过简单地从齐焦点50减去峰值点60来组合步骤140和步骤150。这将导致值为零(即，峰值点60与齐焦点50相同)；负值(即，峰值点60与齐焦点50相比处于更大像素编号)，这指示第一方向；或者正值(即，峰值点60与齐焦点50相比处于更低像素编号)，这指示与第一方向相反的第二方向。

在实施方案中，所述系统将在步骤140中计算出的距离值转换为移动物镜的物理距离，并且将在步骤150中确定的方向值转换为沿着光学路径移动物镜的物理方向。有利地，所述系统可以使用物理距离和物理方向来生成物镜调整指令，然后所述系统可以将所述物镜调整指令提供给定位系统(例如，物镜定位器630)以相对于样本590调整物镜600的相对位置以实现最佳聚焦。

图6A是示出可以结合本文中描述的各种实施方案使用的示例性处理器启用装置550的框图。如技术人员将理解的，也可以使用装置550的可选形式。在所示实施方案中，装置550被呈现为数字成像装置(也被称为扫描仪系统、扫描系统、扫描设备、数字扫描设备、数字载玻片扫描设备等)，所述数字成像装置包括一个或多个处理器555、一个或多个存储器565、一个或多个运动控制器570、一个或多个接口系统575、一个或多个可移动载物台580(各自支撑具有一个或多个样本590的一个或多个载玻片585)、照明样本590的一个或多个照明系统595、一个或多个物镜600(各自限定沿着光轴行进的光学路径605)、一个或多个物镜定位器630、一个或多个可选的落射照明系统635(例如，包括在荧光扫描仪系统中)、一个或多个聚焦光学器件610、一个或多个线扫描相机615和/或一个或多个附加相机620(例如，线扫描相机或面扫描相机)，其中的每一个限定样本590和/或载玻片585上的单独视野625。扫描仪系统550的各个元件经由一根或多根通信总线560通信地耦合。尽管可以存在扫描仪系统550的各个元件中的每一个中的一个或多个，但是为了简单起见，除非需要以复数形式来描述以传达适当信息，否则本文以单数形式描述这些元件。

一个或多个处理器555可以包括例如能够并行处理指令的中央处理单元(CPU)和单独的图形处理单元(GPU)，或者一个或多个处理器555可以包括能够并行处理指令的多核处理器。还可以提供附加的单独处理器以控制特定部件或执行特定功能，诸如图像处理。例如，附加处理器可以包括用于管理数据输入的辅助处理器、用于执行浮点数学运算的辅助处理器、具有适于快速执行信号处理算法的架构的专用处理器(例如，数字信号处理器)、隶属于主处理器的从属处理器(例如，后端处理器)、用于控制线扫描相机615的附加处理器、载物台580、物镜225和/或显示器(未示出)。此类附加处理器可以是单独的离散处理器，或者可以与处理器555集成在一起。

存储器565为可以由处理器555执行的程序提供数据和指令的存储。存储器565可以包括存储数据和指令的一种或多种易失性和/或非易失性计算机可读存储介质，例如随机存取存储器、只读存储器、硬盘驱动器、可移动存储驱动器等。处理器555被配置为执行存储在存储器565中的指令并经由通信总线560与扫描仪系统550的各个元件进行通信以执行扫描仪系统550的整体功能。

一根或多根通信总线560可以包括被配置为传达模拟电信号的通信总线560，并且可以包括被配置为传达数字数据的通信总线560。因此，经由一根或多根通信总线560来自处理器555、运动控制器570和/或接口系统575的通信可以包括电信号和数字数据两者。处理器555、运动控制器570和/或接口系统575还可以被配置为经由无线通信链路与扫描系统550的各个元件中的一个或多个进行通信。

运动控制系统570被配置为(例如，经由物镜定位器630)精确地控制和协调载物台580和/或物镜600的XYZ运动。运动控制系统570还被配置为控制扫描仪系统550中任何其他运动部件的运动。例如，在荧光扫描仪实施方案中，运动控制系统570被配置为协调落射照明系统635中的滤光器等的运动。

接口系统575允许扫描仪系统550与其他系统和人类操作员交互。例如，接口系统575可以包括用户界面，以将信息直接提供给操作员和/或允许来自操作员的直接输入。接口系统575还被配置为促进扫描系统550与直接连接到扫描系统550的一个或多个外部装置(例如，打印机、可移动存储介质等)或诸如图像服务器系统、操作员站、用户站和/或经由网络(未示出)连接到扫描仪系统550的管理服务器系统的远程装置之间的通信和数据传输。

照明系统595被配置为照明样本590的至少一部分。照明系统可以包括例如光源和照明光学器件。光源可以是可变强度的卤素光源，其具有用于将光输出最大化的凹面反射镜以及用于抑制热量的KG-1滤光器。光源还可以是任何类型的弧光灯、激光器或其他光源。在实施方案中，照明系统595以透射模式照明样本590，使得线扫描相机615和/或相机620感测通过样本590透射的光能。可选地或组合地，照明系统595也可以被配置为以反射模式照明样本590，使得线扫描相机615和/或相机620感测从样本590反射的光能。在任何情况下，照明系统595被配置为适合于在光学显微镜的任何已知模式中检查显微镜样本590。

在实施方案中，扫描仪系统550可选地包括落射照明系统635以优化扫描仪系统550以便荧光扫描。荧光扫描是对包括荧光分子的样本590的扫描，所述荧光分子是可以吸收特定波长的光(激发)的光子敏感分子。这些光子敏感分子还发射更高波长的光(发射)。因为这种光致发光现象的效率非常低，所以发射的光量通常非常低。这种少量的发射光通常使用于扫描和数字化样本590的常规技术(例如，透射模式显微镜)令人沮丧。有利地，在扫描仪系统550的可选的荧光扫描仪系统实施方案中，包括多个线性传感器阵列的线扫描相机615(例如，时间延迟积分(“TDI”)线扫描相机)的使用通过将样本590的相同区域暴露于线扫描相机615的多个线性传感器阵列中的每一个来增加线扫描相机615对光的敏感度。当用低发射光扫描微弱的荧光样本时，这特别有用。

因此，在荧光扫描仪系统实施方案中，线扫描相机615优选地是单色TDI线扫描相机。有利地，单色图像在荧光显微镜中是理想的，因为它们提供了来自样本590上存在的各个通道的实际信号的更准确表示。如所属领域技术人员将理解的，可以用发射不同波长的光的多种荧光染料标记荧光样本590，所述荧光染料也被称为“通道”。

此外，因为各种荧光样本的低端和高端信号电平呈现出用于供线扫描相机615感测的波长的宽光谱，所以期望线扫描相机615可以感测到的这些低端和高端信号电平同样宽。因此，在荧光扫描仪实施方案中，在荧光扫描系统550中使用的线扫描相机615是单色10位64线性阵列TDI线扫描相机。然而，应当理解，线扫描相机615的各种位深度可以用于与扫描系统550的荧光扫描器实施方案一起使用。

可移动载物台580被配置为在处理器555或运动控制器570的控制下进行精确的XY运动(即，在可移动载物台580的平面内沿两个方向的运动)。可移动载物台580还可以被配置为在处理器555或运动控制器570的控制下进行Z运动(即，沿与可移动载物台580的平面正交的方向的运动)。可移动载物台580被配置为在由线扫描相机615和/或面扫描相机620捕获图像数据期间将样本590定位在所需位置。可移动载物台580还被配置为沿扫描方向将样本590加速至基本恒定速度，然后在线扫描相机615捕获图像数据期间保持基本上恒定速度。在实施方案中，扫描仪系统550可以采用高精度且紧密协调的XY网格以帮助将样本590定位在可移动载物台580上。可移动载物台580可以是在X和Y轴上都采用高精度编码器的基于线性马达的XY载物台。例如，可以在扫描方向上的轴线上以及在垂直于扫描方向的方向上的轴线上并且在与扫描方向相同的平面内使用非常精确的纳米编码器。载物台580还被配置为支撑载玻片585，样本590设置在载玻片585上。

样本590可以是可以通过光学显微镜检查的任何东西。例如，玻璃显微镜载玻片585经常用作样品的观察基底，所述样品包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、珠子、活检材料或者已失效或未失效、已染色或未染色、已标记或未标记的任何其他类型的生物材料或物质。样本590也可以是沉积在任何类型的载玻片或其他基底上的任何类型的DNA或DNA相关材料的阵列，诸如cDNA或RNA或蛋白质，包括通常称为微阵列的任何和所有样本。样本590可以是微量滴定板(例如，96孔板)。样本590的其他示例包括集成电路板、电泳记录板、培养皿、膜、半导体材料、法医材料和机械零件。

物镜600安装在物镜定位器630上，所述物镜定位器可以采用非常精确的线性马达来使物镜600沿着由物镜600限定的光轴移动。例如，物镜定位器630的线性马达可以包括50纳米编码器。载物台580和物镜600在XYZ轴上的相对位置在处理器555的控制下使用运动控制器570以闭环方式进行协调和控制，所述处理器采用存储器565来存储信息和指令，所述指令包括用于扫描系统550的整个操作的计算机可执行编程步骤。

在实施方案中，物镜600是平面复消色差(“APO”)无限远校正物镜，其数值孔径对应于所需的最高空间分辨率，其中物镜600适合于透射模式照明显微镜、反射模式照明显微镜和/或落射照明模式荧光显微镜(例如，Olympus 40X、0.75NA或20X、0.75NA)。有利地，物镜600能够校正色差和球面像差。因为物镜600进行无限远校正，所以可以将聚焦光学器件610放置在物镜600上方的光学路径605中，在所述光学路径中，穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光信号聚焦到线扫描相机615和/或相机620的光响应元件上，并且可以包括诸如滤光器、变倍透镜等的光学部件。物镜600与聚焦光学器件610相结合为扫描系统550提供总放大倍率。在实施方案中，聚焦光学器件610可以包含管透镜和可选的2X倍率变换器。有利地，2X倍率变换器允许本机20X物镜600以40X放大率扫描样本590。

线扫描相机615包括图像元件(“像素”)的至少一个线性阵列。线扫描相机可以是单色或彩色的。彩色线扫描相机通常具有至少三个线性阵列，而单色线扫描相机可以具有单个线性阵列或复数线性阵列。也可以使用任何类型的单数或复数线性阵列，无论是作为相机的一部分包装还是定制集成到成像电子模块中。例如，可以使用三线性阵列(“红绿蓝”或“RGB”)彩色线扫描相机或96线性阵列单色TDI。TDI线扫描相机通常通过对来自样品的先前成像区域的强度数据求和来在输出信号中提供显著更好的信噪比(“SNR”)，从而产生与积分阶段的数量的平方根成正比的SNR增加。TDI线扫描相机包括多个线性阵列。例如，TDI线扫描相机可使用24个、32个、48个、64个、96个或者甚至更多个线性阵列。扫描仪系统550还支持以各种格式制造的线性阵列，所述格式包括具有512个像素的一些格式、具有1024个像素的一些格式，以及具有多达4096个像素的其他格式。类似地，在扫描器系统550中也可以使用具有各种像素尺寸的线性阵列。选择任何类型的线扫描相机615的突出要求是，载物台580的运动可以与线扫描相机615的线速同步，使得载物台580可以在样本590的数字图像捕获期间相对于线扫描相机615运动。

由线扫描相机615生成的图像数据存储在存储器565的一部分中，并由处理器555处理，以生成样本590至少一部分的连续数字图像。连续数字图像可以由处理器555进一步处理，并且修改后的连续数字图像也可以存储在存储器565中。

在具有两个或更多个线扫描相机615的实施方案中，线扫描相机615中的至少一个可以被配置为用作聚焦传感器30，所述聚焦传感器与被配置为用作成像传感器10的线扫描相机615中的至少一个组合操作。相对于扫描仪系统550的扫描方向，聚焦传感器30可以在逻辑上与成像传感器10定位于同一光轴上，或者聚焦传感器30可以在逻辑上定位于成像传感器10之前或之后。在至少一个线扫描相机615用作聚焦传感器30的此类实施方案中，由聚焦传感器30生成的图像数据存储在存储器565的一部分中，并由一个或多个处理器555处理以生成聚焦信息以允许扫描仪系统550调整样本590与物镜600之间的相对距离，以在扫描期间保持聚焦在样本590上。另外，在实施方案中，用作聚焦传感器30的至少一个线扫描相机615可以被定向成使得聚焦传感器30的多个单独像素中的每一个沿着光学路径605定位于不同的逻辑高度处。

在操作中，扫描仪系统550的各个部件以及存储在存储器565中的编程模块实现对样本590的自动扫描和数字化，所述样本被设置在载玻片585上。载玻片585牢固地放置在扫描仪系统550的可移动载物台580上以扫描样本590。在处理器555的控制下，可移动载物台580将样本590加速到基本恒定速度以供线扫描相机615感测，其中载物台的速度与线扫描相机615的线速同步。在扫描图像数据条纹之后，可移动载物台580减速并使样本590基本上完全停止。然后，可移动载物台580正交于扫描方向移动以定位样本590以便扫描图像数据的后续条纹(例如，相邻条纹)。随后扫描附加条纹，直到样本590的整个部分或整个样本590被扫描为止。

例如，在样本590的数字扫描期间，获取样本590的连续数字图像作为组合在一起以形成图像条纹的多个连续视野。多个相邻的图像条纹类似地组合在一起，以形成样本590的一部分或整个样本590的连续数字图像。对样本590的扫描可以包括获取垂直图像条纹或水平图像条纹。对样本590的扫描可以是从上到下、从下到上或两者(双向)，并且可以在样本上的任何点开始。可选地，对样本590的扫描可以是从左到右、从右到左或两者(双向)，并且可以在样本上的任何点开始。另外，不必以相邻或连续方式获取图像条纹。样本590的所得图像可以是整个样本590或样本590的仅一部分的图像。

在实施方案中，计算机可执行指令(例如，编程模块和软件)存储在存储器565中，并且在被执行时，使得扫描系统550能够执行本文所述的各种功能。在本描述中，术语“计算机可读存储介质”用于指代用于存储计算机可执行指令并将其提供给扫描系统550以供处理器555执行的任何介质。这些介质的示例包括存储器565以及例如经由网络(未示出)直接或间接地与扫描系统550通信地耦合的任何可移动或外部存储介质(未示出)。

图6B示出了具有单个线性阵列640的线扫描相机，所述单个线性阵列可以被实施为电荷耦合装置(“CCD”)阵列。单个线性阵列640包括多个单独的像素20。在所示实施方案中，单个线性阵列640具有4096个像素。在可选实施方案中，线性阵列640可以具有更多或更少的像素。例如，线性阵列的常见格式包括512个、1024个和4096个像素。像素20以线性方式布置以限定线性阵列640的视野625。视野625的尺寸根据扫描仪系统550的放大倍率而变化。

图6C示出了具有三个线性阵列的线扫描相机，每个线性阵列可以被实施为CCD阵列。三个线性阵列组合以形成彩色阵列650。在实施方案中，彩色阵列650中的每个单独的线性阵列检测不同的颜色强度，例如红色、绿色或蓝色。来自彩色阵列650中的每个单独的线性阵列的彩色图像数据被组合以形成彩色图像数据的单个视野625。

图6D示出了具有多个线性阵列的线扫描相机，每个线性阵列可以被实施为CCD阵列。多个线性阵列组合以形成TDI阵列655。有利地，TDI线扫描相机可以通过对来自样品的先前成像区域的强度数据求和来在其输出信号中提供显著更好的SNR，从而产生与线性阵列(又被称为积分阶段)的数量的平方根成正比的SNR增加。TDI线扫描相机可以包括更多数量的线性阵列。例如，TDI线扫描相机的常见格式包括24、32、48、64、96、120个以及甚至更多个线性阵列。

提供对所公开的实施方案的先前描述是为了使所属领域任何技术人员能够制作或使用本发明。对于所属领域技术人员来说，对这些实施方案的各种修改将是显而易见的，并且在不脱离本发明的精神或范围的情况下，可以将本文描述的一般原理应用于其他实施方案。因此，应当理解，本文呈现的描述和附图表示本发明的当前优选实施方案，因此表示本发明广泛预期的主题。还应当理解，本发明的范围完全涵盖对于所属领域技术人员而言将变得显而易见的其他实施方案，因此，本发明的范围不受限制。

Claims (16)

1.一种数字扫描设备，其包括：

物镜，其被定位用于观察由载物台支撑的样本的一部分，所述物镜限定光学路径；

成像传感器，其与所述物镜光学耦合，其中所述成像传感器包括多个成像传感器像素，所述多个成像传感器像素被配置为经由所述光学路径捕获图像数据，并且其中所述多个成像传感器像素全部在与所述光学路径正交的单个第一图像平面内；

聚焦传感器，其与所述物镜光学耦合，其中所述聚焦传感器包括多个聚焦传感器像素，所述多个聚焦传感器像素被配置为经由所述光学路径捕获图像数据，其中所述聚焦传感器相对于所述光学路径在逻辑上倾斜，使得所述多个聚焦传感器像素中的每一个与所有其他聚焦传感器像素在不同的图像平面上，并且其中所述聚焦传感器上的齐焦位置与所述第一图像平面齐焦；和

处理器，其被配置为：

从所述多个成像传感器像素中的每一个接收图像数据，并确定所述成像传感器上的多个成像传感器位置中的每一个的所述图像数据的对比度值，

从所述多个聚焦传感器像素中的每一个接收图像数据，并确定所述聚焦传感器上的多个聚焦传感器位置中的每一个的所述图像数据的对比度值，

对于多对对应的成像传感器位置和聚焦传感器位置中的每一对，计算所述对中的所述聚焦传感器位置的所述图像数据的所述对比度值与所述对中的所述对应成像传感器位置的所述图像数据的所述对比度值的对比度值比率，

识别所计算出的对比度值比率的峰值，

将与所述聚焦传感器上的所述齐焦位置相关联的对比度值比率识别为齐焦值，

确定所述峰值与所述齐焦值之间的距离和方向，所确定的距离和方向表示实现从所述成像传感器接收到的图像数据中的峰值聚焦的、所述物镜的位置，

以及

在所述样本的扫描期间，根据所述峰值与所述齐焦值之间的所确定的距离和方向，将所述物镜与所述样本之间的距离调整至实现峰值聚焦的所述物镜的位置。

2.如权利要求1所述的数字扫描设备，其中所述成像传感器和所述聚焦传感器由相等数量的像素组成。

3.如权利要求1所述的数字扫描设备，其中所述多个成像传感器位置中的每一个由所述多个成像传感器像素中的单独一个组成。

4.如权利要求3所述的数字扫描设备，其中所述多个聚焦传感器位置中的每一个由所述多个聚焦传感器像素中的单独一个组成。

5.如权利要求4所述的数字扫描设备，其中所述多个聚焦传感器像素中的每一个相对于所述光学路径内的位置与对应的成像传感器像素在逻辑上对准，以便感测所述样本的与其对应成像传感器像素相同的视野。

6.如权利要求1所述的数字扫描设备，其中所述多个聚焦传感器像素中的至少一个相对于所述光学路径内的位置与对应的成像传感器像素在逻辑上对准，以便感测所述样本的与其对应成像传感器像素相同的视野。

7.如权利要求1所述的数字扫描设备，其中所述多个聚焦传感器像素中的任一个都未相对于所述光学路径内的位置与任何对应的成像传感器像素在逻辑上对准。

8.如权利要求1-7中任一项所述的数字扫描设备，其中所述成像传感器和所述聚焦传感器在所述样本的扫描期间具有所述样本的同一视野。

9.如权利要求1-7中任一项所述的数字扫描设备，其中所述光学路径包括所述物镜与所述成像传感器之间的第一光学路径和所述物镜与所述聚焦传感器之间的第二光学路径。

10.如权利要求1-7中任一项所述的数字扫描设备，其中确定所述峰值与所述齐焦值之间的距离包括计算所述齐焦位置与和所述峰值对应的聚焦传感器位置之间的聚焦传感器像素的数量。

11.如权利要求10所述的数字扫描设备，其中确定所述峰值与所述齐焦值之间的方向包括从所述齐焦值或所述峰值中的一者减去所述峰值或所述齐焦值中的另一者，并确定所述值是负还是正。

12.如权利要求10所述的数字扫描设备，其中根据所述峰值与所述齐焦值之间的所确定距离和方向来调整所述物镜与所述样本之间的所述距离包括：

将所述峰值与所述齐焦值之间的所述距离转换为物理距离；

将所述峰值与所述齐焦值之间的所述方向转换为沿着所述光学路径的物理方向；以及

将所述物镜与所述样本之间的所述距离在所述物理方向上改变所述物理距离。

13.如权利要求12所述的数字扫描设备，其中将所述峰值与所述齐焦值之间的所述距离转换为物理距离包括将聚焦传感器像素的所计算数量乘以所述多个聚焦传感器像素中的两个或更多个之间的物理距离。

14.如权利要求1所述的数字扫描设备，其中所述多个成像传感器位置中的每一个由一列成像传感器像素组成，并且其中所述多个聚焦传感器位置中的每一个由一列聚焦传感器像素组成。

15.如权利要求14所述的数字扫描设备，其中所述多个成像传感器位置中的每一个的所述图像数据的所述对比度值是相应列的成像传感器像素的平均对比度值，并且其中所述多个聚焦传感器位置中的每一个的所述图像数据的所述对比度值是相应列的聚焦传感器像素的平均对比度值。

16.一种自动地调整数字扫描设备的物镜与所述数字扫描设备扫描的样本之间的距离的方法，所述方法包括在所述样本的扫描期间：

从成像传感器的多个成像传感器像素中的每一个接收图像数据，并确定所述成像传感器上的多个成像传感器位置中的每一个的所述图像数据的对比度值；

从聚焦传感器的多个聚焦传感器像素中的每一个接收图像数据，并确定所述聚焦传感器上的多个聚焦传感器位置中的每一个的所述图像数据的对比度值；

对于多对对应的成像传感器位置和聚焦传感器位置中的每一对，计算所述对中的所述聚焦传感器位置的所述图像数据的对比度值与所述对中的所述对应成像传感器位置的所述图像数据的所述对比度值的对比度值比率；

识别所计算出的对比度值比率的峰值；

将与所述多个聚焦传感器位置中的齐焦聚焦传感器位置相关联的对比度值比率识别为齐焦值，其中所述齐焦聚焦传感器位置与所述成像传感器的图像平面齐焦，所述图像平面与由所述物镜限定的光学路径正交；

确定所述峰值与所述齐焦值之间的距离和方向，所确定的距离和方向表示实现从所述成像传感器接收到的图像数据中的峰值聚焦的、所述物镜的位置；以及

在所述样本的扫描期间，根据所述峰值与所述齐焦值之间的所确定的距离和方向，将所述物镜与所述样本之间的距离调整至实现峰值聚焦的所述物镜的位置。

Images