CN108603998B - 通过确定最优扫描轨迹获取载玻片上的样本的聚焦图像的方法、系统和产品 - Google Patents

Abstract

一种用于通过确定最优扫描轨迹获取载玻片上的样本的聚焦图像的方法以及相关方法和计算机程序产品。该方法包括捕获该载玻片的相对低放大率的图像以定位该样本，形成包括网格点布置的网格，将该网格的至少一部分叠加在覆盖该样本的至少一部分的视场上，在该视场内捕获该样本的相对高放大率的Z堆叠图像，为该网格的所述至少一部分内的每个网格点确定最佳焦点以形成所得三维点网格，以及基于该所得网格确定一个或多个三维扫描轨迹。

Description

通过确定最优扫描轨迹获取载玻片上的样本的聚焦图像的方 法、系统和产品

相关申请

本申请要求于2015年12月16日提交的美国专利申请号62/268,165号的优先权，所述专利申请的全部内容以引用方式并入本申请中。

相关申请

本申请总体上涉及用于成像显微镜载玻片的基于计算机的自动聚焦系统和相关方法。更具体地，本申请涉及使用多光谱轨迹(multi-spectral trajectories)进行自动载玻片扫描以在高载玻片数字化速率获得高质量图像数据。

背景技术

数字病理学设备通常用于产生显微镜载玻片的数字图像。病理学家和组织学家通常在视觉上检查数字图像，以获得关于组织样品的信息，并且识别最合适的治疗以改善临床结果。为了产生彩色图像，自动载玻片扫描仪通常在红色、绿色和蓝色通道中分别获取图像，并且组合这些图像以产生RGB图像。

扫描仪可以进一步获取具有不同光谱特性的多个图像通道，如具有多个或可调谐滤光片的工作台的荧光或明场成像器，以获取图像数据。为了实现合适的图像数据，自动载玻片扫描通常包括在大量不同的Z平面上自动扫描组织样品。许多捕获的图像提供的价值很小或没有价值，因为图像数据在大多数Z平面中常常会失焦。这个问题会影响使用滤光片工作台的荧光和明场成像、和RGB传感器、或任何其他获取光谱特性的方法。

对于RGB成像，尤其是如果要成像的特征很小(例如，比光的波长小)，则蓝色或绿色通道中最佳焦点的Z平面可能不是红色通道中最佳焦点的Z平面。对于多光谱成像，最佳焦点的Z平面对于每个单独的通道可能是不同的。一个颜色通道中的图像模糊可能会损害整体彩色图像质量，导致解译、诊断和/或自动图像分析出现严重问题。

为了减少模糊，彩色载玻片扫描仪可以获取完整的Z堆叠图像(Z-stack ofimages)(例如，每个颜色通道一组Z堆叠图像)，并使用复杂的自动聚焦算法从Z堆叠(Z-stack)创建单个图像。然而，这需要大量的采集时间，需要存储器来存储大量Z堆叠数据，并且需要大量处理时间来分析Z堆叠数据并生成彩色图像。

更具体地，Z堆叠包括针对被扫描的组织中表示的每个颜色通道的若干个(通常3到15个)图像(或层)。获取Z堆叠是非常耗时的，例如，7层的成像的时间长度几乎是普通扫描的7倍。

问题在于病理载玻片数字化所需的高放大率镜片表现出极窄的景深，并且因此它们的成像能力受到色差的限制。这意味着如果设定镜片焦点以确保载玻片上接近一种颜色的样本元素被最佳聚焦，则与该颜色非常不同的对象会有些模糊。换句话说，对于不同的感兴趣颜色，诸如绿色和红色，用于最佳焦点的z层可以不同使得如果聚焦算法针对绿色对象进行优化，则红色对象可能经常会失焦。

替代来自该效果的模糊，或除了来自该效果的模糊之外，如果对象被非常不同颜色的材料包围，则由于光学衍射效应，对象颜色可能会与周围材料的颜色混合。因此，如本申请所使用，“最佳焦点(best focus)”并不一定意味着“最清晰焦点(sharpest focus)”，而是可能意味着使每个对象与其周围环境或希望区分的其他对象最佳区分的焦点，而不管它们是否在附近。

替代地，常规的彩色载玻片扫描仪可以为一个通道选择焦点(或焦)平面，然后在选定的焦点平面上扫描其他通道。例如，可以为绿色通道选择焦点平面。载玻片扫描仪获取该焦点平面处的红色和蓝色通道中的图像以产生彩色或多光谱图像。然而，用于获取所有通道的图像的公共焦点平面可能不是每个通道的最佳焦点平面，导致由除主导聚焦程序的颜色之外的其他颜色主导的特征的合成图像中的不希望的图像模糊。

已经提出了以下常规的聚焦方法。一种这样的方法是在文塔纳医疗系统公司(Ventana Medical Systems,Inc.)扫描仪中实施的“来自灰度图像的最佳自动聚焦轨迹”方法。虽然该方法提供高扫描速度，但是仍然需要改善，特别是对于在光谱上与主导灰度图像的颜色相对不同的颜色通道的扫描焦点需要改善。

根据另一种示例性常规聚焦方法，扫描仪系统以使得样本在每个z值处完全成像的方式获取并存储Z堆叠图像。选择z的范围使得所有当前的色差被覆盖；即，组织中的每种颜色将会在Z堆叠中的至少一层中充分聚焦。这导致对于每个颜色通道的Z堆叠的每一层具有高放大率的样本的图像。然后，采用能够从这样的Z堆叠图像创建单个图像的图像合成算法来得到合成图像，该合成图像以良好的聚焦显示所有颜色通道。这种方法提供了高图像质量，同时导致过长的扫描时间和过大的数据文件大小。

又一种扫描方法包括利用校准样品进行预数字化校准的步骤，以便为视场中的各种感兴趣颜色中的每一种颜色建立最佳焦点的z值。该步骤的输出通常是查找表格或校准曲线，其指导后续的载玻片的数字化。

因此，需要新的基于计算机的自动聚焦系统、计算机程序产品以及相关方法，用于使显微镜载玻片高速数字成像，同时避免为每个颜色通道获取和存储完整的Z堆叠图像。

发明内容

本申请满足了这种需要，并且提出了基于计算机的自动聚焦系统、计算机程序产品和相关方法，用于通过确定被扫描的载玻片的最优多光谱轨迹来使显微镜载玻片成像，从而实现以高载玻片数字化速率创建高质量图像数据的自动载玻片扫描。

本申请的一个目的是在获取整个样本的数字图像的同时自动地选择和调整数字光学系统(诸如显微镜)的焦点。

本申请的另一个目的是获得扫描图像中不同染色的对象的清晰聚焦与扫描速度之间的最优折衷。更具体地，本图像处理和扫描方法产生大幅减少的扫描时间和数据文件大小，同时为组织中表示的每一种感兴趣颜色提供符合要求的焦点。

本申请的另一个目的是避免使用校准载玻片并提供一种自动且单独地将每个载玻片调整到“最佳焦点”的方法。最佳焦点的确定是通过图像处理技术和数据分析技术的组合来进行的，这些技术最大化所获取的图像值的数学函数。作为一个例子，可以利用图像梯度(gradient)的数学函数来确定焦点。

为此并且为了以高载玻片数字化速率获得高质量图像数据，本申请的数字成像系统(也称为数字成像处理器、数字成像器或光学处理器)可以使用由文塔纳医疗系统公司(Ventana Medical Systems,Inc.)开发的扫描仪来根据以下步骤实施数字成像扫描：

该数字成像系统使用相对低的放大率(例如，每个像素25微米)来捕获整个载玻片的图像，并且处理所捕获图像以便定位样本。所捕获图像也称为感兴趣区域(“AOI”)缩略图(thumbnail)图像。该步骤通常被称为：捕获整个样本(或载玻片)的缩略图图像。

然后，数字成像系统在样本内形成网格点布置。该布置可以包括例如由网格点形成的网格，这些网格点在载玻片的平面中(即，在“x”和“y”平面中)分开一毫米或几毫米，使得样本完全被网格覆盖。该步骤通常被称为：将网格叠加(overlay)在整个样本上。

然后，数字成像系统使用相对高的放大率(例如，每个像素0.5微米)在每个网格点处捕获相机图像的“Z堆叠”。然后，数字成像系统基于对Z堆叠的图像分析来确定每个z值的焦点度量和每个网格点的最佳焦点(即，最佳z值)。然后，数字成像系统舍弃Z堆叠图像。该步骤通常被称为：捕获Z堆叠图像(Z-stack images)，为每个网格点确定最佳焦点，然后舍弃Z堆叠图像。

数字成像系统将所得xyz点网格输入到计算用于扫描载玻片的xyz轨迹的算法中。该步骤通常被称为：计算扫描仪的xyz轨迹。

更具体地，本申请提出在扫描操作期间在与灰度轨迹平行但在z方向上偏离灰度轨迹(“来自灰度图像的最佳自动聚焦轨迹”)的附加扫描轨迹处添加样本的一个或多个完整图像。作为分析Z堆叠图像以确定每个网格点处灰度图像的最佳焦点的一部分，数字成像系统另外评估每个网格点处的Z堆叠，以确定图像中存在的一个(或多个)其他颜色通道在z方向上的哪个位置看起来具有与灰度图像的最佳焦点显著不同的最佳焦点z值。

颜色通道是否具有显著不同的最佳焦点z值是根据“先验”规则或表格确定的，或者是通过考虑对梯度滤光图像的选择中的一个或多个的图像分析来确定的。

假设灰度自动聚焦由绿色通道主导，则这种颜色通道可以是RGB相机的红色和/或蓝色通道。在替代实施方案中，一个或多个颜色通道可以是被设计用于强调一种或多种生物标志物的RGB通道的组合。在另一个替代实施方案中，一个或多个颜色通道可以对应于用于使载玻片成像的滤色器或彩色光源中的一个或多个，或者对应于荧光图像中存在的一种或多种颜色。

附加轨迹的偏移距离主要由最佳焦点类型的计算确定，类似于用于灰度图像的计算，用于每个网格点处的Z堆叠的一种或多种感兴趣颜色或生物标志物。

附图说明

将参考具体实施方式和附图更详细地描述本申请的各种特征以及实现它们的方式，其中：

图1展示了根据本申请的基于计算机的数字成像系统，其形成载玻片扫描仪的一部分，在网络环境中操作以完成自动聚焦技术；

图2、图3和图4展示了图1的载玻片扫描仪的各种一般视图，其进一步示出了载玻片扫描仪的一般机械、光学和处理部件；

图5是图1的载玻片扫描仪的一些机械和光学部件的概述框图，其展示了根据本申请的载玻片扫描仪的整体操作；

图6是展示根据本申请的由先前附图的载玻片扫描仪实施的扫描过程的流程图；

图7是根据本申请的整个样本载玻片的相对低放大率或缩略图图像，其展示了叠加在整个待扫描样本上的网格；

图8是根据本申请的由载玻片扫描仪在图7的网格的每个网格点处捕获的相对高放大率的Z堆叠图像；

图9展示了根据本申请的用于确定灰度和另外感兴趣颜色的最佳焦点z值的过程，该过程在图7的网格的每个网格点处重复；

图10是根据本申请的焦点度量值图表的放大视图，其在视觉上展示了每个z值的梯度的平均值并且由图9的过程来确定；

图11展示了主要由载玻片扫描仪的数字成像系统实施以进行以下步骤的过程：生成对应于每个网格点处的最佳焦点和每一种感兴趣颜色的x,y,z阵列、基于x,y,z阵列生成以xyz表示的扫描轨迹，以及为形成载玻片扫描仪的一部分的驱动电子装置的生成信号，以对于灰度和感兴趣颜色选择性地驱动用于捕获覆盖整个样本的一系列高放大率图像的载玻片台组件和镜片组件；

图12是由图11的过程生成的x,y,z阵列的示例性层的放大视图，其示出了用于灰度和红色的两组最佳焦点；

图13、图14、图15、图16展示了根据本申请的对于灰度和每种感兴趣颜色通道由数字成像系统基于图11和图12的x,y,z阵列执行的示例性替代单独扫描轨迹；

图17包括图17A和图17B，并且展示了已被染色以显示HER2基因的表达程度的乳腺细胞核的例子，其中三种感兴趣颜色是：蓝色、红色和黑色，其中图17A展示了红点的最佳焦点，而图17B展示了黑点的最佳焦点；并且

图18展示了多个图块(tiles)的拼接操作，其由数字成像系统执行以生成已经由根据本申请的载玻片扫描仪扫描的整个样本的最终渲染(rendering)。

应当明白的是，为了使说明简单和清楚起见，图中所示的元件不一定是按比例绘制的。例如，为了清楚起见，一些元件的尺寸可能相对于其他元件被夸大。另外，在认为合适的情况下，可以在图中重复使用附图标记以指示对应或类似的特征。

具体实施方式

图1展示了根据本申请的一个实施方案的病理分析系统100，其在网络环境中操作用于实现使用多光谱轨迹的数字成像的自动聚焦技术(本申请也称为“自动载玻片扫描”或“扫描”)。如本申请所使用，“自动聚焦”是指显微镜载玻片的自动数字化，使得所得图像对于病理学家进行诊断是有用的。

显微镜载玻片在本申请中也称为“样本载玻片”或“载玻片”。本申请的显微镜载玻片旨在保持非常薄的生物样本层(例如，细胞或组织)。通常对样本进行染色或以其他方式标记以实现以下任何一个或多个功能：

(i)吸收透过载玻片的光(“明场成像”)，

(ii)散射从外部光源发出的光，或者

(iii)发出由外部光源激发的光(“荧光成像”)。

后两种功能通常被称为“暗场成像”。

为了以高载玻片数字化速率实现高质量图像数据，自动载玻片扫描需要自动聚焦方法，因为载玻片的厚度、载玻片沿着光轴的定位以及样本的厚度是可变的。

参考图1，病理分析系统100通常包括载玻片扫描仪200和通过网络130进行通信的多个客户端计算机系统(或用户站)140、142。将载有样本的显微镜载玻片117装载到载玻片扫描仪200中。扫描仪200实现自动聚焦技术并且在多个颜色通道中产生样本的图像。

如本申请所使用，全色(或多光谱)可以意味着用于RGB相机的红色、绿色和蓝色三个通道；荧光图像的所有不同颜色通道；或用彩色滤光片或彩色光源制成的图像。通常，在若干个(通常7到15个)z值中的每一个处收集Z堆叠图像。“Z堆叠”意味着在覆盖样本的网格的每个网格点处，沿着光轴(“z轴”)的载玻片位置以小步长(诸如0.5微米)变化，并且相机在每个z值处捕获全色图像或单个通道图像。

在一些实施方案中，扫描仪200包括显微镜115(也称为镜片或多个镜片)，用于对载有样本的显微镜载玻片117进行明场和/或荧光成像。扫描仪200可以进一步是全载玻片扫描仪，一个例子是文塔纳医疗系统公司(Ventana Medical Systems,Inc.)的VENTANAiScan HT产品。

客户端计算机系统140、142的用户(诸如病理学家、组织学家或类似专业人员)能够远程或者本地实时访问和查看扫描输出(例如，载玻片117的增强图像)。客户端计算机系统140、142进一步使得用户能够访问存储在联网数据库150上的扫描数据。

在一个实施方案中，扫描仪200进一步包括基于计算机的数字成像系统110，其被配置为通过捕获不同Z切片(例如，由Z堆叠生成的Z平面)处的图像并且通过自动地且单独地调整每个载玻片以最佳地聚焦选定颜色通道或滤光片带的z值(也称为最佳焦点或最佳焦点设置)来改善所捕获图像的“清晰度”。

如稍后将更详细地解释的，数字成像系统110利用最大化图像梯度的数学函数的图像处理和数据分析技术的组合来确定最佳焦点z值。对于每个感兴趣灰度和选定颜色通道或滤光片带，数字成像系统110识别Z切片上的焦点，例如，将焦点识别为具有最小模糊量或者以该颜色示出与背景或周围对象具有最佳区别的对象。这被称为每个Z切片中“对焦的”或最清晰的最佳焦点。数字成像系统110使用所识别的“最佳焦点”来确定扫描仪200的扫描轨迹(或多个轨迹)并且捕获聚焦图像。将聚焦的图像组合(或拼接)以产生聚焦的合成图像。因为数字成像系统110使用选定颜色通道的最佳焦点，所以在最终合成图像中观察到的色差量显著减少，并且扫描速度得到最优提高。

本申请描述的技术可以用于增强已知或可用的自动聚焦和Z切片技术，诸如无源(passive)或有源(active)自动聚焦技术，包括但不限于相位检测自动聚焦技术、对比度检测自动聚焦技术等。

在图1的特定示例性实施方案中，扫描仪200通常包括一个或多个图像捕获装置111、数字成像系统110和处理器125(即，计算机或终端)。更具体地，图像捕获装置111通常包括具有光学系统(例如，一个或多个镜片115、传感器聚焦镜片组、显微镜物镜等)的数字成像器113(例如，数码相机)、成像传感器(例如，电荷耦合装置(CCD)、互补金属氧化物半导体(CMOS)图像传感器等)等。

在数字实施方案中，数字成像器111可以包括多个镜片115，这些镜片协作以提供聚焦(例如，自动聚焦)。CCD传感器可以捕获样本载玻片117的数字图像。在某些实施方案中，数字成像器111具有用于产生彩色图像的红色、绿色和蓝色通道，并且可操作以在不同竖直平面或Z切片处捕获图像。在其他实施方案中，数字成像器111是单色或彩色传感器，光学系统包括多个和/或可调谐滤光片，并且通过利用不同滤光片或滤光片设置从成像器111获取多个图像来创建多光谱或彩色图像通道。一种产生彩色图像的方法包括确定一个或多个扫描区域，该扫描区域包括显微镜载玻片的区域或载玻片位置，该区域或载玻片位置包括样本的至少一部分。扫描区域可以分成多个快照。可以通过组合(或拼接)快照来产生图像。整个样本或载玻片117的组合图像可以具有在RGB通道或者在相同或不同焦平面处的多光谱彩色图像通道中的图像的快照。

扫描仪200还可以包括检修门121、存储器112和单独的控制器123。载玻片117经由检修门121装载到扫描仪200中。最佳焦点的xyz坐标可以存储在存储器112中。控制器123可以结合或独立于处理器125使用以通过处理数字成像系统110的操作来控制扫描仪200的操作。为此，数字成像系统110至少部分地可以是(或可以包括)软件应用程序、算法、计算机程序产品等，在本申请中统称为计算机程序产品。该计算机程序产品包括多个可执行指令代码，并且嵌入或存储在计算机存储介质上。处理器125(和/或控制器123)执行数字成像系统110的指令代码，这将在后面更详细地解释。

处理器125可以包括台式计算机、膝上型计算机、平板电脑等，并且可以进一步包括数字电子电路、固件、硬件、存储器、计算机程序、处理器(包括编程处理器)和用于以二进制形式存储数字图像的存储介质。图像被分成像素矩阵，使得像素包括由位深定义的一个或多个位的数字值。数字值可以表示例如能量、亮度、颜色、强度、密度、高度(elevation)或通过图像处理导出的分类值。非限制性示例性数字图像格式包括但不限于位映射、联合图像专家组(JPEG)、标记图像文件格式(TIFF)和图形交换格式(GIF)、以及其他数字数据格式。

网络130(或直接连接)将扫描仪200与客户端计算机140、142互联。网络130通常包括一个或多个网关，路由器，网桥，其组合，一个或多个服务器，以及客户端计算机140、142可访问并且可以发送和接收信息以供使用的一个或多个网站。服务器可以包括用于存储信息(例如，数字图像、算法、染色协议等)的一个或多个相关数据库。网络130可以包括但不限于使用传输控制协议(TCP)、用户数据报协议(UDP)、因特网协议(IP)和其他数据协议的数据网络。客户端计算机系统120可以实现本申请讨论的方法和技术。客户端计算机系统120的部件和特征可以与所公开技术的其他部件和特征混合和匹配。

图2、图3和图4展示了扫描仪200的机械、光学和处理部件。扫描仪200包括支撑扫描仪200的各种部件的平台205。更具体地，平台205为光源210、数字成像器113、分光器230、载玻片台组件520和镜片组件530提供支撑。

载玻片台组件520通常包括支撑样本载玻片117的载玻片保持器、以及用于设定载玻片117的x-y位置的驱动器。镜片组件530通常包括镜片115、支撑镜片115的镜片平台222、镜片轴承组件225、以及用于设定镜片115沿着图3的箭头Z-Z(z轴)的竖直位置的驱动器。如图4中所展示，镜片轴承组件225包括轴承410和偏心柱444，该偏心柱旋转并连接到外部马达450。

如图2中进一步展示的，电缆227将处理器125和控制器123互连，并且将由数字成像系统110提供的指令和数据传输到扫描仪200的各种部件。应当理解的是，虽然本申请将互连描述为电缆227，但是其他通信装置也是可能的，包括但不限于无线通信和网络通信。另外，电缆227将电力传输到扫描仪200的各种电操作部件。

图5是展示扫描仪200的一般操作的流程图500。如稍后将更详细地解释的，数字成像系统110确定扫描仪200使用的xyz轨迹以沿着z方向(z轴)移动镜片组件530，并且在x-y方向上移动载玻片117。为此，可以集成在控制器123和/或处理器125内的驱动电子装置510从数字成像系统110接收xyz轨迹数据。

驱动电子装置510从xyz轨迹数据导出适当的驱动指令，并且将对应的驱动指令传输到镜片组件530以设定沿着z方向的竖直位置，并且传输到载玻片台组件520以设定沿着xy平面的x和y位置。由箭头555指示的光束(或光学束)从光源210发出并且经由分光器230引导朝向数字成像器113。

现在参考图6、图7和图8，图6展示了数字成像系统110的整体操作(或过程)600。在步骤610处，数字成像系统110使镜片组件530使用相对低的放大率(例如，每像素25微米)来捕获整个样本载玻片117的图像700(图7)。所捕获图像700也被称为AOI缩略图图像700。

在步骤611处，数字成像系统110处理所捕获图像700以便在载玻片117上定位样本710或其一部分。

在过程600的步骤612处，数字成像系统110定义网格711(图7)，其形成网格点(例如，720、721、722等)的布置。网格点(例如，720、721、722等)在载玻片117的平面中(即，在“x”和“y”平面中或xy平面中)分开例如几毫米或零点几毫米。应当理解的是，网格711可以在xy平面中具有均匀或不规则的网格点布置(或分布)。

在步骤620处，数字成像系统110将网格711叠加在整个样本710上。

在步骤630处，数字成像系统110指示镜片组件530(图5)使用相对高的放大率(例如，每个像素0.5微米)以便在每个网格点(例如，720、721、722等)处捕获“Z堆叠”图像800(图8)。

在步骤632和633处，数字成像系统110针对每个网格点(例如，720、721、722等)使用Z堆叠图像800来确定分别对应于灰度和每一种感兴趣颜色的最佳焦点的z值。如稍后将结合图11解释，这种最佳焦点的确定产生一个或多个x,y,z阵列1111：一个用于灰度，并且一个用于每种感兴趣颜色。然后，数字成像系统110舍弃Z堆叠图像800，但是存储每个最佳焦点z的最佳焦点x值和y值。

在步骤642和643处，数字成像系统110使用表示最佳焦点(或z值)的所得x,y,z阵列1111来计算灰度和每一种感兴趣颜色的最佳xyz扫描轨迹。稍后将分别结合图13、图14、图15、图16描述示例性自动聚焦(或扫描)轨迹1300、1400、1500、1600。

在步骤650处，数字成像系统110使镜片组件530针对自动聚焦轨迹1300、1400、1500、1600中的每一个捕获样本710的数字化图像1810(图18)。

作为补充步骤660，如果在步骤620处网格711落在镜片组件530的视场之外，则将样本710划分为较小图块(例如，1810、1811、1812等)的矩阵，如图18中所展示，并且网格711叠加在一个图块(例如，1810)上。数字成像系统110针对每个其他图块(例如，1811、1812等)重复步骤620到650。然后由数字成像系统110拼接所得数字化图像(例如，1820、1821、1822等)以生成合成图像。

参考图9和图10，它们提供了由示例性图示支持的图6的步骤632和633的更详细描述。图9表示过程900，其组合步骤632、633以分别用于确定灰度和另外的感兴趣颜色的最佳焦点z值。对每个网格点重复过程900(例如，720、721、722等)。

在步骤910处，数字成像系统110使用在每个网格点(例如，720、721、722等)处捕获的高放大率图像800的Z堆叠，以确定每个z值、灰度和每一种感兴趣颜色的梯度的平均值。在每个Z堆叠内，具有最大平均梯度的图像800被定义为“最佳焦点”，并且对应的z针对该xyz点被记录为z中的最佳焦点。

如本申请所使用，“灰度图像”意味着数字成像器113的R、G和B通道被组合成灰度图像或者一个颜色通道被选择为灰度图像。这里使用的最大平均梯度是所谓的“焦点度量”(即，对应于聚焦质量的数字)的例子。使用本申请的教导确定的扫描轨迹被称为“来自灰度图像的最佳自动聚焦轨迹”。

根据本申请的一个实施方案，对要使用(或要排除)的颜色通道的选择进一步改善了扫描速度，而不会显著地影响扫描仪200的聚焦能力。更具体地，病理载玻片117的数字化所需的高放大率镜片115导致极窄的景深，并且因此它们的成像能力受到色差的限制。这意味着如果确定z值以便确保样本710中接近绿色的元素将处于清晰焦点(这是典型的灰度成像)，则非常偏红的元素(例如)会有些模糊。如果红色特征相当小，则这种模糊从诊断角度来看可能会导致载玻片的所得数字图像受到损害，甚至完全无用。“偏红”仅是例子，并且本申请感兴趣的是样本710中在颜色方面与“来自灰度图像的最佳自动聚焦轨迹”充分不同以被色差模糊的任何对象。该问题与明场和暗场图像的数字化相关联。

图17A和图17B展示了已被染色以显示HER2基因的表达程度的乳腺细胞核1700的例子，其中三种感兴趣颜色是：蓝色、红色和黑色。图17A展示了红点1710的最佳焦点，而图17B展示了黑点1721、1722的最佳焦点。

在图17A中，蓝色是指细胞核1700，而红色指示染色体17的存在，并且黑色指示HER2基因的表达。图17A示出了红点1710的最佳焦点，该红点是彩色的且良好形成的。图17B展示了黑点1721、1722的最佳焦点。虽然红点1710在图17A中比图17B中更清楚，但是黑点1722在图17B中比图17A中更明显。在该例子中，样本710在固定的xy坐标处以分开0.25微米的15个不同的焦点z位置来成像。

现在参考图9和图10，附图标记915展示了每个z值的梯度的平均值。附图标记915示出了红点(由圆圈表示)的合适焦点度量与黑点(由X表示)的类似度量的示例性响应。附图标记915中的竖直轴是度量值，而水平轴是Z层的数量。应当注意的是，在该特定例子中，红色的“最佳焦点”是黑色的左侧的至少两个z值。该组实验数据指示，红色和黑色的最佳焦点之间的偏移在载玻片之间从2个Z层到6个Z层变化，其中每组连续层分开0.25微米。

在步骤920处，数字成像系统110使用附图标记915来将灰度和其他感兴趣颜色的最佳焦点z分别确定为颜色相关梯度图表中的峰值1022、1023(图10)。

通常，本申请的自动聚焦方法600将z值确定为在样本710中的多个位置(x,y)处具有最高焦点度量的焦点设置。具体来说，由该自动聚焦步骤确定的(x,y)点可以分开几毫米。将每个位置(x,y)与最佳焦点度量的位置z组合在3D空间中产生点云(x,y,z)。由于样本710的不均匀性，这些点通常不会位于平面中。为了驱动控制载玻片117的xyz移动和扫描载玻片时的焦点位置的电子装置510(图5)，连续路径或轨迹必须适合于xyz点的网格(最佳焦点或最佳焦点Z点)。该连续路径在本申请中将被称为“扫描轨迹”(例如，1300、1400、1500、1600)。

参考图11到图16，它们提供了由示例性图示支持的图6的步骤642、643和650的更详细描述。一旦过程900完成，如先前结合图9所述，为了确定对于灰度和另外感兴趣颜色值的最佳焦点z，图11的过程1100进行到步骤1120，其组合图6的步骤642、643。在步骤1120处，数字成像系统110从x,y,z阵列1111生成扫描轨迹(以xyz表示)。

在步骤1130处，过程1100生成适当信号用于驱动电子装置510以沿着与光轴垂直的平面(例如，xy平面)选择性地驱动载玻片台组件520，并且用于镜片组件530以沿着光轴(例如，z轴)驱动镜片115，同时收集来自相机的图像，使得在步骤650处，扫描仪200针对灰度和每一种感兴趣颜色捕获覆盖整个载玻片样本710(或者镜片115的视场内部的图块)的一系列高放大率图像。

图12展示了示例性阵列1111，其示出了灰度(黑色X)1210的最佳焦点，并且对于x固定但y变化的一组网格点，感兴趣颜色之一的最佳焦点(红点)1222可能在z中不同。竖直轴标记为“z层”，并且对应于捕获Z堆叠图像时的z值。水平轴标记为“y”，并且在沿着载玻片117的宽度的固定x内对应于沿着载玻片117的长度的距离。

应当注意的是，在该例子中，黑色X 1210与红点1222之间的z的距离大多为2层，但是在一个y值处为2层以上，而在另外两个y值处为2层以下。这种变化在“现实世界”中是典型的。因为网格点例如分开几毫米，所以必须针对黑色X 1210计算扫描轨迹而针对红点1222计算另一个扫描轨迹，使得在扫描期间可以连续控制聚焦机构(包括镜片组件530)。

在一个实施方案中，数字成像系统110首先确定灰度(黑色X)1210的平滑轨迹，然后确定通过分析感兴趣颜色1222的最佳焦点判定的任何其他轨迹。附加轨迹可能紧跟红点。在另一个实施方案中，附加轨迹可能被约束为始终在黑色X 1210之上或之下。在又一个实施方案中，附加轨迹可被约束为总是以在z中相距预定固定距离平行于灰度轨迹。在再一个实施方案中，附加轨迹可以进一步受到镜片115的色差模型的约束，该色差模型可能在预扫描校准步骤期间产生或者可能基于镜片115的物理模型。校准步骤可能使用具有不同颜色的人造目标的载玻片117，或者存在所有相关生物标志物和颜色的样本载玻片。

然而，在本申请的一个示例性实施方案中，不需要校准步骤。当已知存在于载玻片117中的单独染色时，通过染色的物理性质，可以根据更长波长的光到达比更短波长的光更远离镜片115的焦点的知识来粗略地估计这些染色的焦点深度。因此，当存在三种染色(例如红色、黑色和蓝色)时，使用染色颜色的先验知识，可预先知道哪种染色将会占据更高的z值以及哪些染色将会占据更低的z值。相对于灰度图像的最佳焦点层，这种知识提供了针对每种染色的最佳焦点z层的先验估计。在给定的组织中，当染色变化使得关于不同染色的不同焦点深度的该初始假被违反时，基于先验知识的预校准可能不起作用。否则，对于大多数实际情况，可以预先估计每个单独染色的不同扫描轨迹的相对位置。

根据需要，前述轨迹确定方法可以扩展到一种或多种其他感兴趣颜色。如果灰度与感兴趣颜色之间的z距离几乎总是为零，则不需要附加轨迹。如果它几乎总是等于或大于1，则对于该感兴趣颜色的附加轨迹将会提供整个样本710的附加数字化图像，可能对病理学家有益。

对于捕获透射(近似白色)光的图像的RGB相机，可能仅需要一个附加扫描轨迹，这取决于感兴趣生物特征的颜色分布。对于在由彩色滤光片、彩色光源或荧光样本生成的连续多个窄色带上捕获图像的相机，可能需要一个以上的附加扫描轨迹以满足载玻片图像中存在的所有颜色的聚焦。

一旦确定了最佳焦点1210、1222，就可以跟随不同的轨迹(例如，1300、1400、1500、1600等)以定位载玻片117并且将镜片115聚焦在这些最佳焦点1210、1222处。图13展示了第一示例性完整轨迹1300，其针对每个颜色通道执行并且按顺序首先连接最佳焦点1210，然后连接最佳焦点1222。为了提高定位精度，从相同方向(即，在渐增z方向上)接近所有位置。该接近补偿了系统中可能的机械后冲。轨迹1300提供独立的颜色通道，并且需要附加的配准(registration)步骤以将独立的颜色通道对齐成一个合成图像。

图14展示了根据“交替层”图案执行的另一个轨迹1400。虽然轨迹1300(图13)使载玻片117移动通过灰度的最佳焦点轨迹，然后通过(例如)红色的最佳焦点轨迹，并且类似地对于任何其他期望的颜色轨迹，轨迹1400根据交替层图案来执行。当扫描仪200在x和y中移动载玻片时，该扫描仪从z中的一个子轨迹(在两个最佳焦点之间)交替到下一个子轨迹。控制该移动使得针对每个轨迹收集的图像彼此完全重叠，以便确保样本710的完全数字化。

随着扫描在x,y中进行，在每个x,y处捕获每个颜色通道的最佳焦点图像，这可以证明需要较少的扫描时间。图14中所展示的方法的优点在于，它需要载玻片117在样本710的数字化所需的x和y的范围内仅移动一次，并且所获取图像数据总是在空间上对齐。

图15展示了具有减小的总扫描运动的另一个示例性交替轨迹1500。沿着轨迹1500，选择在每个载玻片位置处获取的图像通道的顺序，使得首先对z中的最近位置进行成像。然后通过合成技术将所得多个图像融合成单个图像并分析，或者首先单独分析该多个图像，然后将结果融合成合成分析。

图16展示了根据本申请的又一个可能轨迹1600。应当理解的是，轨迹1300、1400、1500、1600是非排他性的例子，并且在本申请中是用于展示目的而提供的。

在本申请描述的每个流程图中，一种或多种方法可以被实施在包含计算机可读代码的计算机可读介质中，使得当计算机可读代码在计算装置上执行时一系列步骤被完成。在一些实施方式中，在不脱离本申请的精神和范围的情况下，方法的某些步骤被组合、同时或以不同顺序实现或者可能被省略。因此，虽然以具体顺序描述和展示了方法步骤，但是特定步骤顺序的使用并不意味着暗示对本申请的任何限制。在不脱离本申请的精神或范围的情况下，可以对步骤顺序进行改变。因此，具体顺序的使用不应被视为具有限制意义。

如本领域技术人员将明白的，本申请的各方面可以被实施为系统、方法或计算机程序产品。因此，本申请的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件及硬件方面组合的实施方案的形式，这些方面通常在本申请中可以称为“电路”、“模块”或“系统”。另外，本申请的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，该计算机可读介质具有在其上实施的计算机可读程序代码。

还应理解，可以使用软件、固件或硬件的任何组合来实施本申请的实施方案中的过程。作为在软件中实践本申请的准备步骤，编程代码(无论是软件还是固件)通常会存储在一个或多个计算机可读存储介质中，这些计算机可读存储介质例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、设备或装置或者前述各项的任何合适的组合。计算机可读存储介质的更具体例子(非详尽列表)将包括以下项：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各项的任何合适的组合。在本申请的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、设备或装置使用或者结合指令执行系统、设备或装置使用的程序的任何有形介质。

包含编程代码的制品通过以下项来使用：直接从存储装置执行代码、或将代码从存储装置复制到另一个存储装置(诸如硬盘、RAM等)、或传输代码以供使用传输类型介质(诸如数字和模拟通信链路)的远程执行之用。可以通过将包含根据本申请的代码的一个或多个机器可读存储装置与适当的处理硬件组合以执行其中包含的代码来实践本申请的方法。用于实践本申请的设备可以是一个或多个处理装置和存储系统，其包含或具有对根据本申请编码的程序的网络访问。

计算机可读信号介质可以包括其中实施计算机可读程序代码的传播数据信号，例如在基带中或作为载波的部分。这种传播信号可以采取各种形式中的任何一种形式，包括(但不限于)电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且可以通信、传播或传输程序，以由指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用。

计算机可读介质上包括的程序代码可以使用任何适当的介质传输，该介质包括但不限于无线、有线、光纤电缆、射频(R.F)等或前述各项的任何合适的组合。用于执行本申请的各方面的操作的计算机程序代码可以一种或多种编程语言(包括诸如Java、Smalltalk、C++等面向对象的编程语言)与常规的程序化编程语言(诸如“C”编程语言或类似编程语言)的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上执行作为独立的软件包、部分在用户的计算机且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以(例如，通过使用互联网服务供应商的因特网)连接到外部计算机。

因此，重要的是，虽然在具有安装(或执行)的软件的全功能计算机(服务器)系统的背景中描述了本申请的展示性实施方案，但是本领域技术人员将会明白的是，本申请的展示性实施方案的软件方面能够以各种形式作为程序产品分发，并且本申请的展示性实施方案同样适用，而与用于实际执行分发(distribution)的特定类型的介质无关。

另外，虽然已经参考示例性实施方案描述了本申请，但是本领域技术人员将会理解的是，在不脱离本申请的范围的情况下，可进行各种改变并且可用等同物替换其元件。另外，在不脱离本申请的实质范围的情况下，可以进行许多修改以使具体的系统、装置或其部件适应本申请的教导。因此，意图是本申请不限于为实现本申请而公开的具体实施方案。

应当理解的是，本申请中参考装置、机构、系统或元件定向(例如，x,y,z方向)使用的措辞和术语仅出于描述具体实施方案的目的而不是旨在限制本申请。如本申请所使用的，单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文清楚地另外指明。应进一步理解的是，说明书中所用的术语“包括”和/或“包含””指定存在所述特征、整数、步骤、操作、元件和/或部件，但并不排除存在或附加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。另外，术语第一、第二等的使用不表示任何顺序或重要性，而是术语第一、第二等用于将一个元件与另一个元件区分开。另外，本申请中出于描述目的使用诸如“a”、“b”、“c”、“第一”、“第二”和“第三”等列举术语，并且这些术语不旨在指示或暗示相对重要性或意义。

本发明中所有手段或步骤及功能元件的对应结构、材料、作用和等效物旨在包括用于结合具体要求保护的其他所要求保护的元件来实现该功能的任何结构、材料或作用。本申请的描述已经为了展示及描述目的而呈现，但是不旨在穷尽或限于所公开的形式的公开内容。在不脱离本申请范围和精神的前提下，本领域普通技术人员可显而易见地做出许多修改和变化。所选和所述的实施方案用于最好地解释本申请的原理及实践应用，同时让本领域普通技术人员了解多个实施方案的公开，这些实施方案可针对特定的目标用途做出各种修改。

Claims (20)

1.一种用于通过确定最优扫描轨迹获取载玻片上的样本的聚焦图像的方法，该方法包括：

捕获该载玻片的初始图像以定位该样本，其中所述初始图像以第一放大率水平被捕获；

形成包括网格点布置的网格；

将该网格的至少一部分叠加在覆盖该样本的至少一部分的视场上；

对于该网格的至少一部分内的每个网格点：

捕获对应于该网格点的Z堆叠图像的组，其中“Z堆叠图像”在z轴的值处以第二放大率水平捕获由网格点表示的初始图像的一部分，其中所述z轴的值确定用于以一定焦点捕获所述Z堆叠图像的扫描系统镜片组件的竖直位置，且其中所述第二放大率水平高于所述第一放大率水平；

计算该Z堆叠图像的组中每个图像的一个或多个图像特征的平均梯度值；

从该Z堆叠图像的组中选择具有最大平均梯度值的图像；以及

处理该具有最大平均梯度值的图像以生成对应于该网格点的焦点值；

使用该网格的至少一部分内的每个网格点的焦点值以形成所得三维点网格；以及

基于该所得三维点网格确定一个或多个三维扫描轨迹。

2.根据权利要求1所述的方法，其中处理该具有最大平均梯度值的图像以生成对应于该网格点的焦点值进一步包括在生成对应于该网格点的焦点值之后舍弃该Z堆叠图像的组。

3.根据权利要求1所述的方法，其中该网格形成在二维平面中；并且

其中捕获该Z堆叠图像的组包括使用与该二维平面垂直的光束。

4.根据权利要求1所述的方法，其进一步包括：

捕获对应于所述一个或多个三维扫描轨迹中的每一个的样本的一部分的聚焦图像；以及

拼接该样本的各部分的聚焦图像以获得整个样本的合成图像。

5.根据权利要求3所述的方法，其中该网格包括均匀的网格点布置。

6.根据权利要求3所述的方法，其中该网格包括不规则的网格点布置。

7.根据权利要求3所述的方法，其中所述一个或多个三维扫描轨迹包括多光谱轨迹。

8.根据权利要求1所述的方法，其中计算该Z堆叠图像的组中每个图像的平均梯度值包括确定对应于所述网格点的灰度和每个感兴趣颜色的每个Z值的平均梯度值。

9.根据权利要求8所述的方法，其进一步包括远程地访问和显示灰度图像、感兴趣颜色的图像和/或整个样本的合成图像中的任何一个或多个。

10.根据权利要求1所述的方法，其中所述一个或多个图像特征对应于灰度颜色通道，其对应于所述Z堆叠图像的组中的图像。

11.根据权利要求1所述的方法，其中所述一个或多个图像特征对应于多个颜色通道，其对应于所述Z堆叠图像的组中的图像。

12.一种用于通过确定最优扫描轨迹获取载玻片上的样本的聚焦图像的系统，该系统包括：

数字成像器，其捕获该载玻片的初始图像以定位该样本，其中所述初始图像以第一放大率水平被捕获；和

数字成像系统，其：

形成包括网格点布置的网格；

将该网格的至少一部分叠加在覆盖该样本的至少一部分的视场上；

对于该网格的至少一部分内的每个网格点：

从所述数字成像器接收对应于所述网格点的Z堆叠图像的组，其中Z堆叠图像在z轴的值处以第二放大率水平捕获由网格点表示的初始图像的一部分，其中所述z轴的值确定用于以一定焦点捕获所述Z堆叠图像的镜片组件的竖直位置，且其中所述第二放大率水平高于所述第一放大率水平；

计算该Z堆叠图像的组中每个图像的一个或多个图像特征的平均梯度值；

从该Z堆叠图像的组中选择具有最大平均梯度值的图像；且

处理该具有最大平均梯度值的图像以生成对应于该网格点的焦点值；

使用该网格的至少一部分内的每个网格点的焦点值以形成所得三维点网格；以及

基于该所得三维点网格，确定一个或多个三维扫描轨迹。

13.根据权利要求12所述的系统，其中该数字成像系统在生成对应于所述网格点的焦点值之后舍弃该Z堆叠图像的组。

14.根据权利要求13所述的系统，其中计算该Z堆叠图像的组中每个图像的平均梯度值包括确定对应于所述网格点的灰度和每个感兴趣颜色的每个Z值的平均梯度值。

15.根据权利要求13所述的系统，其进一步包括用户站，该用户站远程地访问和显示灰度图像、感兴趣颜色的图像和/或整个样本的合成图像中的任何一个或多个。

16.一种非瞬态计算机可读存储介质，其存储有指令，通过一个或多个处理器执行时产生用于获取载玻片上的样本的聚焦图像以实施操作的系统，该操作包括：

命令数字成像器捕获该载玻片的初始图像以定位该样本，其中所述初始图像以第一放大率水平被捕获；

形成包括网格点布置的网格；将该网格的至少一部分叠加在覆盖该样本的至少一部分的视场上；

对于该网格的至少一部分内的每个网格点：

从所述数字成像器接收对应于所述网格点的Z堆叠图像的组，其中Z堆叠图像在z轴的值处以第二放大率水平捕获由网格点表示的初始图像的一部分，其中所述z轴的值确定用于以一定焦点捕获所述Z堆叠图像的镜片组件的竖直位置，且其中所述第二放大率水平高于所述第一放大率水平；

计算该Z堆叠图像的组中每个图像的一个或多个图像特征的平均梯度值；

从该Z堆叠图像的组中选择具有最大平均梯度值的图像；且

处理该具有最大平均梯度值的图像以生成对应于该网格点的焦点值；

使用该网格的至少一部分内的每个网格点的焦点值以形成所得三维点网格；以及

基于该所得三维点网格，确定一个或多个三维扫描轨迹。

17.根据权利要求16所述的非瞬态计算机可读存储介质，其中所述处理该具有最大平均梯度值的图像以生成对应于该网格点的焦点值的操作进一步包括在生成对应于该网格点的焦点值之后舍弃该Z堆叠图像的组。

18.根据权利要求17所述的非瞬态计算机可读存储介质，其中计算该Z堆叠图像的组中每个图像的平均梯度值包括确定对应于所述网格点的灰度和每个感兴趣颜色的每个Z值的平均梯度值。

19.根据权利要求17所述的非瞬态计算机可读存储介质，其中所述操作进一步包括使得远程定位的用户站能够访问和显示灰度图像、感兴趣颜色的图像和/或整个样本的合成图像中的任何一个或多个。

20.根据权利要求16所述的非瞬态计算机可读存储介质，其中所述操作进一步包括：

捕获对应于所述一个或多个三维扫描轨迹中的每一个的样本的一部分的聚焦图像；且

拼接该样本的各部分的聚焦图像以获得整个样本的合成图像。

Images