CN103430077B - 显微镜载玻片坐标系对齐方法和显微镜系统 - Google Patents

Abstract

描述了映射各种成像站点的坐标的系统、方法及计算机程序产品。在一些实现中，可以将生物样本（112）中的细胞（例如，红血球细胞）用于确定成像站点（120a，120b）之间的映射信息。细胞的使用使得可以将一个成像站点（120b）拍摄的目标图像（例如，生物样本中的细胞的子区域的图像）与另一个成像站点（120a）拍摄的参考图像（例如，示出生物样本中的细胞较大区域（也包括该子区域）的图像）进行模式匹配。一旦目标图像与参考图像匹配，就可以建立目标图像与参考图像之间的逐点对应关系（因此坐标对应关系），以便计算用于映射成像站点的坐标变换。

Description

显微镜载玻片坐标系对齐方法和显微镜系统

技术领域

本申请的主题一般涉及图像处理。

背景技术

包括显微镜光学系统、照相机、电动载物台、和计算机控制系统的自动成像系统可以从沉积在显微镜载玻片上的生物标本中获取细胞的图像。该系统然后可以处理这些图像以识别感兴趣的细胞。以后可能需要重新审视这些细胞，例如，以便获取这样细胞的更高放大倍数图像，或为人工审查展示某些感兴趣细胞。这种重新审视往往发生在单独成像站点上。对于与在第一成像站点上找到的感兴趣细胞相对应的载物台地点，为了进一步审查，这个第二成像站点必须重新定位那些确切细胞。

如果两个成像站点的坐标系是相同的，则第二站点可以简单地将它的载物台移动到第一成像站点上为一个细胞报告的载物台位置，那个细胞将处在第二成像站点上的视场的中心上。但是，由于载物台之间的差异或将载玻片装载或固定在特定成像站点上的不精确性，两个不同成像站点上的相同载物台坐标往往对应于标本出现在成像站点光学系统的视场中的不同区域。当被放置在成像站点的可动载物台上的载玻片稍有倾斜或没有适当地靠着载玻片插板摆放时，可能会出现误差。并且，当载物台的标称零位置由于载物台归位开关的不精确性一天天逐渐变化时，也可能出现误差。这种类型的小误差会产生戏剧性影响，因为第二成像站点上的更高放大倍数视场从标本的这一头到另一头可能小于十分之一毫米。甚至那个数值一半的误差就足以使感兴趣细胞处在图像之外。因此，对于每个载玻片，测量和校正载玻片定位的任何误差是有利的。

传统上，用在成像系统中或用于人工审查的显微镜载玻片具有印刷在它们的上面，为独立于载物台的载玻片建立标准坐标系的一个或多个“基准标记”。在每个成像站点上，成像系统定位载玻片上的这些标记，并将它们的坐标的差值用于确定可以应用于将来自第一成像站点的坐标转换成第二成像站点的坐标的变换。这种方法是有效的，但需要印刷在载玻片上的特殊标记，这潜在地增加了载玻片制造成本。另外，该方法是耗时的，因为在图像中定位基准标记之前可能有必要搜索几个地点。在高放大倍数上这特别困难，因为视场与使用较低放大倍数的成像站点相比较小。因此，需要不用显微镜载玻片上的预印刷基准标记地将一个成像站点上的感兴趣对象或视场的载物台坐标转变成其他成像站点的坐标的方法和系统。

发明内容

本文描述使用沉积在基片上的生物标本的细胞确定两个或更多个成像站点的载物台坐标之间的坐标变换的系统、方法及计算机程序产品。将载玻片装载到第一成像站点中。该第一成像站点获取细胞的图像，并选择某些图像用作参考图像。计算机将参考图像与第一成像站点获取参考图像的载物台坐标一起存储。然后将该载玻片装载到可以在比第一成像站点高的放大倍数上获取图像的第二成像站点上。该第二成像站点在第一成像站点获取参考图像的载物台坐标上获取第二图像。

因此，如果两个成像站点的载物台完全匹配，则第二图像将以在参考图像中作为中心的相同细胞为中心。更典型的是，在两个载物台的坐标系中存在些许失配，第二图像以在参考图像中稍微偏离中心找到的细胞为中心。因为参考图像的放大倍数是已知的，所以可以确定那些细胞在第一站点上的载物台坐标。因此，将那些细胞在第二系统上的载物台坐标与它们在第一系统上的载物台坐标匹配。对每个参考图像重复这个过程。这样确定的相应坐标对可以用于计算将第一站点上的任何地点—例如，感兴趣细胞的地点转换成第二站点上的正确地点的数学变换。

本文还提出了从较大一组可能候选者中选择参考图像以便使某些误差源最小的方法。这包括识别没有缺乏细胞物质的大空白区的参考图像，如果在与第一成像站点相比更高的放大倍数上拍摄则这可能导致空白第二图像。另外，公开的方法选择来自载玻片当中充分隔开和非共线的区域的参考图像，以便使数学变换尽可能精确。另外，还公开了有效地将第二图像与参考图像匹配的方法。

在一些实现中，提供了根据第一成像站点上感兴趣对象的坐标在第二成像站点上重新定位感兴趣对象的方法。该方法可以包括获取包括第一成像站点上的标本的参考图像和第二成像站点上的标本的第二图像的第一对图像；识别出现在参考图像和第二图像两者中的细胞群；从获取参考图像的载物台坐标中确定第一成像站点上的细胞群的载物台坐标；从获取第二图像的载物台坐标中确定第二成像站点上的细胞群的载物台坐标；以及计算将第一成像站点的载物台坐标转换成第二成像站点的载物台坐标的仿射变换。

在一些实现中，还可以提供包括第一成像站点和第二成像站点的系统，该第一成像站点用于获取第一成像站点上的标本的参考图像，以及该第二成像站点用于获取第二成像站点上的标本的第二图像；识别出现在参考图像和第二图像两者中的细胞群；从获取参考图像的载物台坐标中确定第一成像站点上的细胞群的载物台坐标；从获取第二图像的载物台坐标中确定第二成像站点上的细胞群的载物台坐标；以及计算将第一成像站点的载物台坐标转换成第二成像站点的载物台坐标的仿射变换。

在附图和如下描述中展示了本发明的一个或多个实施例的细节。本发明的其他特征、目的和优点可以从该描述和附图中，以及可以从权利要求书中明显看出。

附图说明

图1A示出了生物标本成像系统的例子；

图1B示出了包括多个基准标记的显微镜载玻片的放大视图；

图2示出了两个不同成像站点从细胞的相同区域中获得的图像；

图3A示出了在低放大倍数下拍摄的图像的例子；

图3B示出了在高放大倍数下拍摄的图像的例子；

图3C示出了在各种区域上叠加了在高放大倍数下拍摄的图像的在低放大倍数下拍摄的图像；

图3D示出了用在高放大倍数下拍摄的图像遮蔽的等高线图上的三个区域；

图4A示出了可以确定第二图像的图像的例子；

图4B示出了覆盖得分高于显示在图4A中的那个的图像的例子；

图5A示出了限定了可以从每个区域中选择一个参考图像的三个部分的扫描区的例子；

图5B示出了在扫描区的中心上遮蔽掉的区域；

图6示出了确定将与第一成像站点相关联的坐标映射到与第二成像站点相关联的坐标的坐标变换的过程的例子；以及

图7示出了可以作为显示在图1中的生物筛选系统的一部分或除了显示在图1中的生物筛选系统之外形成的计算设备的例子。

各种图形中的相同标号表示相同元件。

具体实施方式

系统概况

图1A示出了通过计算机130控制的生物标本成像系统100的例子。计算机130包括中央处理单元(CPU)132、硬盘驱动器134、存储器136、和传统上已知的其他硬件部件(例如，通信接口)。计算机130能够使用计算机与成像站点之间的标准硬件连线，经由已知的通信协议与低放大倍数成像站点120a和高放大倍数成像站点120b通信。这种通信能力使计算机130可以命令载物台128a和128b在水平平面内移动到不同(x，y)位置，沿着垂直轴相对于显微镜载玻片110的表面上下移动物镜126a和126b，以及接收由照相机124a和124b捕获的图像。

系统100能够捕获和处理沉积在显微镜载玻片110上的生物样本112的图像。例如，生物样本112可以包含载玻片110的表面上的薄单层血液细胞。图像捕获步骤从第一成像站点120a在低放大本领物镜126a下面扫描沉积在载玻片110上的整个标本开始。计算机130选择从标本的低放大倍数扫描中获得的多个参考图像。另外，计算机130能够处理低放大倍数图像，以便识别要求在如包括在第二成像站点120b中的更高放大本领物镜216b下成像的感兴趣对象。

在完成结合第一成像站点120a进行的扫描、图像捕获、和图像处理步骤之后，自动输送系统(未显示在图1中)将载玻片110移动到高放大倍数成像站点120b。对于在第一成像站点120a上获得的每个参考图像，高放大倍数成像站点120b经由第二载物台128b将载玻片110移动到第一成像站点捕获参考图像的载物台坐标并获取第二图像。如下面进一步所述，以及使用沉积在载玻片110上的标本的各种特征，计算机130将第二图像与参考图像匹配，并将参考图像与第二图像之间的像素偏移转换成第一成像站点12a(第一载物台128a)和第二成像站点120b(第二载物台128b)的坐标系之间的偏移值(例如，以微米为单位)。

计算机130能够将偏移值转换成以微米为单位的距离，因为参考图像和第二图像的放大倍数值是已知的。举例来说，系统100在第一成像站点上在载物台坐标(54000μm，18000μm)上获取标本112的参考图像。当该系统在第二成像站点上在那些相同坐标上获取第二图像时，计算机130确定第二图像是否与比参考图像地点的中心低200个像素和靠右300个像素的地点匹配。如果参考图像具有每个像素0.88μm的放大倍数，则可以将这个偏移转变成微米数(例如，264μm，176μm)。这意味着为了成像在第一站点上处在坐标(54000μm，18000μm)上的细胞，第二站点必须将它的载物台移动到坐标(54264μm，18176μm)。

系统110为计算机选择的任何其余参考图像完成这个过程，并且，如下面进一步详述，计算机130计算将第一坐标系(即，第一成像站点120a和第一载物台128a的)映射到第二坐标系(例如，第二成像站点120b和第二载物台128b的)的仿射变换。因此，当需要捕获在第一成像站点上标注了坐标的细胞的图像时，系统100将这种变换应用于那些坐标，以便获取第二成像站点上的等效载物台坐标。

载玻片扫描概述

在某些应用中，生物标本112可以包含像单层细胞那样沉积在载玻片110上和通过公开在，例如，通过引用将其公开内容全部并入本文中、发明名称为“MethodofDeterminingaCompleteBloodCountandaWhiteBloodCellDifferential(确定完整血液计数和白血球差异的方法)”的同时待审美国专利申请第12/430,885号中的系统的一个实施例制备的血液样品。在一个或多个固定，染色，漂洗，和/或干燥步骤之后，自动输送系统或实验室技术人员将载玻片110装载到低放大倍数成像站点120a的第一载物台128a上。然后计算机130命令第一载物台128a移动载玻片110以便将标本的所希望地点定位在低放大本领物镜126a的正下方。

照相机124a透过物镜126a的“视场”包括载玻片110上的标本被照相机124a捕获在一个或多个图像中的区域。在系统100的一个实施例中，低放大本领物镜126a包括一个10×物镜、和在低放大本领物镜126a与能够将图像缩小到其原始尺寸的50％的照相机124a之间的附加光学系统(未示出)。照相机124a包括1624×1224像素的CCD阵列，其中阵列中的每个像素是4.4μm×4.4μm。因此，第一成像站点120a的视场尺度可以按如下[1]计算：

$\begin{array}{c}width=(1624pixels\·4.4\frac{\mathrm{\μ}m}{pixel})/(10\·0.5)=1429\mathrm{\μ}m\\ height=(1224pixels\·4.4\frac{\mathrm{\μ}m}{pixel})/(10\·0.5)=1077\mathrm{\μ}m\end{array}---\[1\]$

标准显微镜载玻片具有近似1in×3in或25400μm×76200μm的尺度。因此，成像系统100必须获取几个图像来覆盖载玻片110包含生物样本112的部分。在特定应用需要成像整个标本的情况下，扫描过程可以从使生物样本112的一角处在低放大本领物镜126a下面的第一载物台128a开始。然后可以按等于照相机124a的视场的宽度的步长(例如，1429μm)沿着“X”方向移动第一载物台128a，在每个步长上可以获取一个或多个图像。例如，在每个地点上，照相机124a可以在不同焦高上和/或具有不同照射颜色地获取一系列图像。当扫描了生物样本112的整个宽度时，第一载物台128a可以按等于照相机124a的视场的高度的数量(例如，1077μm)沿着“Y”方向移动。也可以使第一载物台128a沿着相反“X”方向按相同步长量步进地获取新的一系列图像，直到照相机124a到达生物样本113的另一边。系统100重复这个过程，直到照相机124a成像了载玻片110上的整个生物样本112。

在上述的扫描过程，系统100可以获取几百或更多生物样本112的图像。这些图像用于对标本作出某些测量，以选择标本的区域或感兴趣的某些细胞在更高放大倍数下重新审视，以及识别将载物台坐标从第一成像站点120a映射到第二成像站点120b的一个或多个参考图像。例如，系统100可以使用在第一成像站点120a上获得的图像来计数标本中的红血球和白血球。另外，系统100可以选择一部分白血球群落在高放大倍数下重新审视以便作进一步分类。

一旦在低放大倍数成像站点120a上扫描了载玻片110，就可以将载玻片110移动到第二成像站点120b。照相机124b与同物镜126a相比放大倍数更高的物镜126结合，将具有比第一成像站点上的照相机124a小的视场。例如，对于作为高放大倍数透镜126b的50×物镜、和包括640×480像素CCD的照相机124b，第二成像站点上的像素大小是7.4μm。因此，第二成像站点120b上的视场的尺度可以按[2]计算：

$\begin{array}{c}width=(640pixels\·7.4\frac{\mathrm{\μ}m}{pixel})/50=95\mathrm{\μ}m\\ height=(480pixels\·7.4\frac{\mathrm{\μ}m}{pixel})/50=71\mathrm{\μ}m\end{array}---\[2\]$

正如上面所讨论，可以在第二成像站点120b上重新审视在放大倍数扫描期间成像的标本112上的一个或多个感兴趣地点或细胞。为了加速第二成像站点120b上的图像获取过程，计算机130可以命令载物台128b移动载玻片110，只给出标本112上要捕获图像的那些特定地点，而不是在第二成像站点120b上进行标本的完全扫描。因此，第二成像站点120b必须相对于照相机124b的视场地放置载玻片110，以便照相机124b获取在第一成像站点上进行的扫描期间识别的所希望地点或感兴趣细胞的图像。虽然这样地点或细胞的坐标在第一成像站点120a的第一载物台128a的坐标系中是已知的，但系统必须将这些坐标映射到第二成像站点120b上的第二载物台128b的坐标，以便精确地重新成像那些确切细胞。因此，系统100必须确定两个坐标系(例如，第一成像系统120a的坐标系和第二成像系统120b的坐标系)之间的差异，并且当在第二成像站点上成像所选地点时计及这样的差异。由于多种因素影响这种差异，所以通常不能在制造期间一次性测量该差异，将其存储在系统100的计算机130上。而是，系统100针对在第一和第二成像站点120a和120b上成像的每个载玻片110重新测量该差异。这种测量过程通常从为标本112选择参考图像开始。

参考图像的选择

计算机130选择在标本112的低放大倍数扫描期间获取的一个或多个图像，用作在第一成像站点120a与第二成像站点120b之间映射载物台坐标的参考图像210。选择具有足够细胞计数的参考图像保证了参考图像210包含足够的信息与在放大倍数增加了的第二成像站点120b上获取的第二图像220进行明确匹配(例如，至少三个或四个细胞)。并且，标本描述在参考图像20中的部分大于即使不是全部，也是大多数的载玻片定位误差或第一和第二成像站点120a和120b之间的坐标偏移。例如，如果低放大倍数视场是1429μm×1077μm，则第二成像站点上的载玻片位置将需要大于半毫米，以便使在参考图像坐标上拍摄的第二图像220不包含在参考图像210内找到的任何细胞。由于有可能存在某种定位误差，所以第二图像220实际上可能与参考图像210的某个部分匹配。

计算机130可以对在第一成像站点上的图像指定覆盖得分，以评估这样的图像是否可接受用作参考图像。图4A示出了在标本112的低放大倍数扫描期间捕获的参考图像候选者400。通过如图4A所示将网格叠加在图像上可以将图像400划分成一系列较小区域。在这个例子中，网格大小是8×6方块，但其他网格大小或评估细胞覆盖的其他方法也是可以的。图4A示出了参考图像候选者包含没有细胞的两个网格方块404a和404b、和只含有小部分细胞的三个另外网格方块406a，406b和406c。在这个例子中，计算机130对图像400指定-5的覆盖得分，也就是说，五个网格方块是不可接受的。

图4B描绘了覆盖得分高于显示在图4A中的图像的参考图像。图像410中的每个网格方块包含至少包含几个细胞，因此，系统100对图像410指定零的覆盖得分(例如，图像410不包含任何空白网格方块)。由于图像410具有高于图像400的覆盖得分值，所以当选择参考图像时，与图像400相比系统100更喜欢图像410。

本领域的普通技术人员应该懂得，其他度量标准或其他评分惯例也可以用于评估参考图像候选者的细胞覆盖。例如，与充满100％细胞的区域相比，系统100可以将较高的得分指定给充满50％的区域。在前者的这种区域中，细胞可能挤得紧紧的，系统可能无法将各个细胞区分开，这可能与沉积在载玻片上的标本内完全空的区域一样使对齐算法出问题。

除了选择具有可接受覆盖的参考图像之外，计算机130还可以保证所选参考图像相互隔得足够开。另外，当选择三个或更多个参考图像时，系统100可以从标本112的非共线区域中选择参考图像。如果系统110从标本112上挨得太近的点中选择参考图像，则当将坐标变换测量值外推到参考图像地点附近之外的标本区域时，测量参考图像地点的任何小不精确性都将被放大。

本发明的实施例有利地使为对齐评估的参考图像候选者的数量最少，并且又减轻了系统100保存在标本112的低放大倍数扫描期间为参考图像候选者捕获的所有图像的负担。计算机130可以预选标本112的某些扫描区域来识别参考图像。如下面进一步所述，计算机130可以限定标本112的三个不同部分，以便特定区域的任何图像地点与标本112的其他两个区域中的参考图像地点相距足够远距离。

图5A示出了具有为识别参考图像限定的三个部分的标本112的扫描区500的例子。扫描区500可以代表几百个低放大倍数图像，并且，例如，可以覆盖沉积在载玻片110上的整个生物样本112的重要部分。三条直线，即，542a，542b和542c将扫描区500划分成六个区域，三条直线542a-542c三等分扫描区500的边缘。如图5A所示，限定的六个区域与扫描区500的尺度无关地具有相等面积。例如，顶部区域510b可以是底边长度是扫描区500的宽度的2/3和高度是扫描区500的高度的1/3的三角形，面积是 $\frac{1}{2}(\frac{2}{3}\·width)\·(\frac{1}{2}\·height)=\frac{1}{6}\·width\·height,$ 或扫描区500的面积的六分之一。通过选择相等面积的交替区域510a，510b和510c，可以获得每一个具有相同面积的三个区域。当选择参考图像时，计算机130可以限制系统100，以便该系统选择来自不同阴影区域510a，510b和510c的三个参考图像的每一个。

但是，前述的过程未消除可能将三个参考图像选择成挨得很近的可能性，因为系统100可能选择与三个区域510a，510b和510c覆盖的点最接近、在扫描区500的中心附近的参考图像。于是，如图5B所示，系统100可以遮蔽扫描区500中心的区域，以便将区域510a，510b和510c限制成沿着扫描区500的边缘的区域。如果遮蔽掉的区域540具有与扫描区500相同的中心和相同的宽高比，则在遮蔽区之外的三个区域510在面积上仍然相等。这种遮蔽技术是系统100可以应用于保证参考图像在标本112的扫描区500上充分隔开的一种方法。

在上述的低放大倍数扫描期间，系统100可以跟踪三个区域510a-510c的每一个中覆盖得分最高的图像。如图5B所示，方块512a，512b和512c代表相对于整个扫描区500的照相机124a的视场。当在标本112的低放大倍数扫描期间从三个区域510a-510c之一内获得新图像时，计算机130为该图像计算覆盖得分。如果覆盖得分好于那个区域中的当前最佳图像，则系统100用新图像取代该图像。这样，系统100只需为参考图像目的保存来自每个区域的最佳图像的副本，而不是保存在低放大倍数扫描期间获得的所有图像。如图5A和5B所示的扫描区500的划分只是例示性的，不排除将其他方法用于将扫描区500分割成三个区域或用于选择参考图像。

当在低放大倍数成像站点120a上完全扫描了载玻片110时，可以将所选图像和它们各自的坐标储存在存储器136中或硬盘驱动器134上，供在高放大倍数成像站点120b上成像载玻片110时使用。

星座对齐

在第二成像站点120b上，计算机130命令成像硬件在与低放大倍数扫描期间识别的参考图像地点相对应的载物台坐标上获取图像。计算机130然后执行匹配过程以便将高放大倍数图像与沉积在载玻片110上的标本112的参考图像210的一部分对齐。在匹配了图像之后，系统100能够计算第一成像站点120a与第二成像站点120b的两个坐标系之间的差异，并在在第二成像站点120b的更高放大倍数上成像在低放大倍数扫描期间识别的载玻片110上的所选地点时考虑这样的差异。

当将高放大倍数图像与参考图像对齐时，本发明的实施例可以有利地依靠成像细胞的圆形形状和大约相等大小。因为细胞在外观上是相似的，所以细胞的中心点的模式足以表征一群细胞。这类似于如何通过其组成星球的排列识别熟悉星座，而不是通过像亮度和颜色那样在星球之间差别很小的特征来识别。本领域的普通技术人员应该识别到，存在许多匹配点的模式的已知算法。这些算法的许多算法很好地补偿那些点的旋转和扰动。但是，在细胞对齐的当前情况下，如图3所示，要对齐的图像不太可能是明显旋转和扭曲的，可以使用较简单算法。

系统100处理高放大倍数图像340以识别细胞的中心点(例如，在图3B中用“X”标记的342c，344c和346c)，以及深处背景区域之中的点(例如，在图3B中用“O”标记的342b，344b和346b)。然后，如图3C所示，将这种点模式叠加在参考图像330中的各个地点上。在像352a那样，匹配好的地点上，该模式的细胞中心点很好地落在参考图像中的细胞中，而该模式中的背景点很好地落在参考图像的背景区域中细胞的外面。像352b那样的较不理想地点仍然含有该模式正确处在细胞或背景区域中的点，但如图3C所示与细胞的边缘和背景区域接近得多。像352c那样的不良匹配几乎没有适当处在细胞和背景区域中的点。通过在参考图像330中的每个可能地点上进行这种点模式的匹配，该系统可以识别最佳匹配地点，或确定没有地点具有良好匹配，因此目标图像340包含在参考图像330中未找到的细胞。

当评估目标图像340当中的点模式与参考图像330的区域匹配得有多好时，该系统可以计算基于那些点与细胞或背景区域有多接近的得分。从参考图像330中，计算机130构建叫做距离变换的标量场，其中细胞边缘上的点(例如，图3B中的点342a，344a，346a，或图3C中的图像框架352b的X匹配指示符)具有零的数值，细胞内的点具有与它们离边缘的距离相对应的数值，以及细胞外的点具有它们离边缘的距离的负值的数值。因此，细胞中心点(例如，显示在图3C中的图像框架352a的342c，344c，和346c)是正局部极大，而深处背景点(例如，显示在图3C中的图像框架352a的342b，344b，和346b)是负局部极小。当将目标图像340当中的点模式叠加在参考图像中的各种地点上时，如图3D所示，对于良好匹配，距离变换标量场将使每个细胞中心模式点(X)处在大正值的地点上，使每个深处背景模式点(O)处在大负值的地点上。因此，每个地点的匹配得分可以简单地通过相加细胞中心模式点上的场值和从中减去深处背景模式点上的场值来计算。在下表1中给出了显示在图3D中的地点的得分。

表1

图像框架	X1	X2	X3	O1	O2	O3	总得分
								352A	14	27	28	-56	-40	-31	196
352B	4	9	11	-46	-18	-42	130
								352C	-27	-15	-57	-15	-12	-8	-94

实际上，目标图像340包含，例如，在10个到40个之间的几个细胞。因此，匹配模式可以包含多达40个的细胞中心点和多达40个的深处背景点。对于测试的大多数地点，不必相加所有这些地点。如果首先仅仅相加每种类型的大多数突出点的少数几个，则会发现大多数地点的得分足够低，使得不必相加其余距离变换值。如果模式点被识别成目标图像340的距离变换的局部极小和极大，则大多数突出点是是大多数负极小和大多数负极大。这样的话，模式匹配过程无需通过被扫描图像中包括向匹配得分提供一点点或提供不了有意义价值的那些点的每组点继续进行，从而不会影响匹配得分的可靠性地加速匹配过程。

坐标变换

一旦系统在来自第二成像站点的图像中定位了细胞，并将这样的细胞与在第一成像站点上获得的参考图像中的地点匹配，计算机130就可以计算那些细胞在第二成像站点上的坐标。计算机使用参考图像中的像素以微米为单位的已知大小作出这种计算。当对所有参考图像地点重复这个过程时，计算机获得在两个不同成像站点上定位相同细胞的几对坐标。计算机然后可以计算将第一成像站点的坐标映射到第二成像站点的坐标的仿射变换。在一个实施例中，事先校准第一成像站点120a和第二成像站点120b，以便照相机124a和124b的轴分别与载物台128a和128b的轴成直线。然后，该变换简单地就是可以加入在第一成像站点上获得细胞的坐标中，以便获得在第二成像站点上可以找到那些细胞的坐标的恒定偏移。

在计算机130为三个不同参考图像确定匹配点的例子中，结果可以包括每一对具有(firstX,firstY)和(secondX,secondY)形式的三对载物台坐标。给定这三对坐标，将一组坐标映射到另一组坐标的变换可以通过[4]给出：

$transform=\left[\begin{array}{ccc}{\mathrm{secondX}}_1& {\mathrm{secondX}}_2& {\mathrm{secondX}}_3\\ {\mathrm{secondY}}_1& {\mathrm{secondY}}_2& {\mathrm{secondY}}_3\\ 1& 1& 1\end{array}\right]\·{\left[\begin{array}{ccc}{\mathrm{firstX}}_1& {\mathrm{firstX}}_2& {\mathrm{firstX}}_3\\ {\mathrm{firstY}}_1& {\mathrm{firstY}}_2& {\mathrm{firstY}}_3\\ 1& 1& 1\end{array}\right]}^{-1}---\[4\]$

给定这个变换矩阵，通过如[5]给出的矩阵相乘可以将来自第一载物台128a的一组坐标映射到第二载物台128b的一组坐标：

$\left[\begin{array}{c}\sec ondX\\ \sec ondY\\ 1\end{array}\right]=transform\·\left[\begin{array}{c}frstX\\ frstY\\ 1\end{array}\right]---\[5\]$

示范性过程

图6例示了如针对图1的成像系统100所述，将沉积在显微镜载玻片上的和利用第一成像站点成像的感兴趣细胞的坐标与与第二成像站点相关联的坐标对齐的过程600的例子。过程600可以用于在第一成像站点(例如，低放大倍数成像站点210a)上对沉积在载玻片110上的生物样本112进行图像分析，然后使用来自第一成像站点的参考图像在第二成像站点(例如，高放大倍数成像站点210b)上重新定位所选对象，以便在第一载物台(例如，低放大倍数成像站点210a的第一载物台128a)与第二载物台(例如，高放大倍数成像站点210b的第二载物台128b)之间进行转变。在这个例子中，标本112包含沉积在载玻片110上的薄单层血液细胞。

在一些实现中，第一成像站点接收包含标本112的载玻片110。在一些实现中，这可以通过自动载玻片装载机构来进行。

参照图6，在602中，可以获取包括第一成像站点上的标本的参考图像和第二成像站点上的标本的第二图像的第一对图像。在一些实现中，第一成像站点120a的成像硬件扫描载玻片上的多个地点，并将来自一个或多个地点的图像保存成参考图像候选者。在下面的描述中为了简化数字，假设这个示范性系统的第一成像站点120a具有1000μm×1000μm的视场，以及像素大小是1μm。进一步，包含标本112的载玻片的扫描区是5000μm×5000μm，以及扫描区的左上角具有以μm为单位的载物台坐标(50000，10000)。当系统100获取标本112的第一图像时，第一图像的中心在载物台坐标(50500，10500)上，使得第一图像的左上角的像素(0，0)对应于载物台坐标(50000，10000)，第一图像的右下角的像素(999，999)对应于载物台坐标(50999，10999)。

计算机130发送命令以便将第一载物台129a移动到第一地点并获取聚焦图像。计算机130然后确定图像中红血球的数量，同时也识别和定位任何白血球。在这个例子中，标本112在图像坐标(200，800)，(500，400)和(900，700)上包含白血球。可以保存这些图像坐标，以便最终转变成在高放大倍数成像站点120b上重新审视的载物台坐标：(50200，10800)，(50500，50400)和(50900，10700)。

根据一个或多个参考图像候选者的覆盖得分选择参考图像。如前所述，参考图像候选者的覆盖可以通过，例如，将网格叠加在图像上和计数空网格方块的数量来评估。在这个例子中，计算机1300在第一参考图像候选者中确定三个网格方块是空的，因此，计算机130对该参考图像候选者指定三的覆盖得分。因为对于第一参考图像，还不存在其他选择，所以与图像地点(50500，10500)一起存储该参考图像候选者和覆盖得分。

计算机130对在第一成像站点上成像的载玻片110上的下一个地点重复上述过程，如果以光栅模式扫描样品，则下一个载物台地点可以是(51500，10500)。图像的左上角可以对应于正好与前地点的右上角(50999，10000)相邻的载物台地点(51000，10000)。也就是说，如果将两个图像并排放着，则两个图像形成标本112的一个连续的较大图像。这样，系统100能够通过获取标本112的多个图像覆盖整个扫描区。可以对第二参考图像候选者重复图像处理和覆盖分析。在这个例子中，第二参考图像候选者在覆盖测试中只有两个空网格方块(与第一参考图像候选者的三个相比)。第二参考图像候选者因此取代第一参考图像的前参考图像候选者，可以将新参考图像地点与二的覆盖得分一起存储在(51500，10500)上。在这个实施例中，可以对总共二十五扫描地点重复前述过程；在这个过程结束时，系统100识别出三个参考图像，为识别参考图像选择的每个预定扫描区一个。

系统100将载玻片110传送到第二成像站点；例如，通过自动载玻片传送机构。在这个例子中，第二成像站点具有100μm×100μm的视场以及0.1μm的像素大小。

第二成像站点在第一成像站点获得参考图像的相同载物台坐标上获取第二图像。例如，可以将载物台移动到第一参考地点(51500，10500)。在这个地点上，系统获取第二图像。然后搜索参考图像以定位在这个第二图像的中心上看到的细胞。可以扫描一个或多个另外参考地点来获取一个或多个第二图像。

在604中，可以识别出现在参考图像和第二图像两者中的细胞群。在一些实现中，为了识别细胞群，系统100为第二图像创建一组匹配指示符。例如，该组匹配指示符包括与第二图像中的对象中心点相对应的第一匹配指示符、和与第二图像中的背景中心点相对应的第二匹配指示符。如前所述，“X”匹配指示符可以用于代表参考图像中的参考细胞内的各种地点，“O”匹配指示符可以用于代表参考细胞附近的空白区域。

可以将第二图像与参考图像内的地点匹配。在找到匹配之前，该系统通过获取图像和尝试将所获图像与参考图像中的地点匹配重复前述过程。如果匹配失败，则该系统通过，例如，使载物台以螺旋方式从第一地点开始向外步进继续搜索，直到找到匹配的地点。

在606中，可以从获得参考图像的载物台坐标中确定第一成像站点上的细胞群的载物台坐标。类似地，在608中，可以从获得第二图像的载物台坐标中确定第二成像站点上的细胞群的载物台坐标。假设第二成像站点获得的第二图像与参考图像中心在像素坐标(900，300)上的区域匹配。由于参考图像中的一个像素是1μm，所以第二载物台上的载物台坐标(51500，10500)对应于第一载物台上的载物台坐标(51900，10300)。

在确定了第二图像与参考图像中的地点之间的匹配之后，可以计算将第一成像站点的载物台坐标转换成第二成像站点的载物台坐标的仿射变换。如前所讨论，这可以通过计算仿射变换矩阵来完成。使用上面给出的例子，该变换可以简单地将(-400，200)加入第一载物台的坐标中来获取第二载物台上相同细胞的坐标。

对于系统需要在较高放大倍数上重新审视的在低放大倍数扫描期间识别的其余地点，计算机130将第一成像站点的坐标变换到第二成像系统的第二载物台的坐标系。例如，第一图像中的白细胞处在载物台坐标(50200，10800)，(50500，50400)和(50900，10700)上。可以将这些坐标转变到第二载物台的坐标系：(49800，1100)，(50100，10600)，和(50500，10900)。计算机130然后可以指示成像硬件将第二载物台移动到这些坐标的每一个，以及以前当在低放大倍数扫描期间获得其他图像时加入该列表中的其他坐标。在每个地点上，可以获取一个或多个高放大倍数图像，并且可以进行图像处理。例如，可以进一步成像和分析在低放大倍数下选择的白细胞，以确定白细胞的各自类型。

通用计算机系统

图7示出了可以作为生物筛选系统100的一部分或除了生物筛选系统100之外形成以实现这里所述的主题的计算设备700的例子。例如，成像站点118a/118b、服务器120和审查站点122的每一个都可以包括执行，例如，各种指令或例程的计算设备700。计算设备700可以代表像膝上型计算机、台式计算机、工作站、个人数字助理、服务器、片状服务器、大型机、和其他适当计算机那样，各种形式的数字计算机。

如图7所示，计算设备700可以包括处理器702、存储器704、存储设备706、与存储器704和多个高速扩展端口710连接的高速接口708、和与低速扩展端口714和存储设备706连接的低速接口712。处理器702、存储器704、存储设备706、高速接口708、高速扩展端口710、和低速接口712使用各种总线互连，并且可以安装在常见主板上或以其他适当方式安装。处理器702可以处理在计算设备700内执行的指令，包括存储在存储器704中或存储设备706上以便在外部输入/输出设备，譬如，与高速接口708耦合的显示器716上显示GUI的图形信息的指令。在其他实现中，可以与多个存储器和多种类型的存储器一起适当使用多个处理器和/或多条总线。此外，可以连接多个计算设备，每个设备提供必须操作的一部分(例如，像服务器阵、一群片状服务器、或多处理器系统那样)。

存储器704存储计算设备700内的信息。在一些实现中，存储器704是一个或几个易失性存储单元。存储器740也可以是另一种形式的计算机可读介质，譬如，磁盘或光盘。

存储设备706能够为计算设备700提供大容量存储。在一些实现中，存储设备706可以是或包含计算机可读介质，譬如，软盘设备、硬盘设备、光盘设备、或磁带设备、闪速存储器或其他类似固态存储设备、或包括存储区域网中的设备或其他配置的设备阵列。可以将指令存储在信息载体中。该指令当被一个或多个处理设备(例如，处理器702)执行时，执行像上述的那些那样的一种或多种方法。该指令也可以通过像计算机或机器可读介质(例如，存储器704、存储设备706、或处理器702上的存储器)那样的一个或多个存储设备来存储。

高速接口708管理计算设备700的带宽依赖度高的操作，而低速接口712管理带宽依赖度较低的操作。这样的功能分配只是一个例子。在一些实现中，将高速接口708与存储器704、显示器716(例如，通过图形处理器或加速器)、和可以接受各种扩展卡(未示出)的高速扩展端口710耦合。在该实现中，将低速接口712与存储设备706和低速扩展端口714耦合。可以包括各种通信端口(例如，USB、蓝牙、以太网、无线以太网)的低速扩展端口714可以与像键盘、定位设备、或扫描仪那样的一个或多个输入/输出设备耦合，或者通过，例如，网络适配器与像交换机或路由器那样的联网设备耦合。

如图所示，计算设备700可以以许多不同形式实现。例如，可以实现成标准服务器720，或多次在一群这样的服务器中实现。另外，可以在像膝上型电脑722那样的个人计算机中实现。也可以实现成机架式服务器系统724的一部分。可替代地，整个系统可以由相互通信的多个计算设备组成。

这里所述的系统和技术的各种实现可以在数字电路、集成电路、特别设计的ASIC(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合体中完成。这些各种实现可以包括用可在可编程系统上执行和/或解释的一个或多个计算机程序的实现，该可编程系统包括可以是专用的或通用的至少一个可编程处理器，该至少一个可编程处理器被耦合成从存储系统、至少一个输入设备，和至少一个输出设备接收数据和指令，以及向它们发送数据和指令。

这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以用高级过程和/或面向对象编程语言，和/或用汇编/机器语言实现。如本文所使用，术语“机器可读介质”和“计算机可读介质”指的是用于向可编程处理提供机器指令和/或数据的任何计算机程序产品(例如，非短暂计算机可读介质)、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(PLD))，包括接收作为机器可读信号的机器指令的机器可读介质(例如，非短暂计算机可读介质)。术语“机器可读信号”指的是用于向可编程处理器提供机器指令和数据的任何信号。

适合执行程序指令的处理器包括，举例来说，通用和专用微处理器、和任何类型计算机的单个处理器或多个处理器之一。一般说来，处理器从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是执行指令的处理器和存储指令和数据的一个或多个存储器。一般说来，计算机还包括存储数据文件的一个或多个大容量存储设备，或可操作地耦合成与其通信；这样的设备包括像内部硬盘和移动盘那样的磁盘；磁光盘；和光盘。适合有形体现计算机程序指令和数据的存储设备包括所有形式的非易失性存储器，举例来说，包括像EPROM、EEPROM、和闪速存储设备那样的半导体存储设备；像内部硬盘和移动盘那样的磁盘；磁光盘；以及CD-ROM和DVD-盘。处理器和存储器可以由ASIC(专用集成电路)补充或并入ASIC中。

为了提供与用户的交互，这里所述的系统和技术可以在含有向用户显示信息的显示设备(例如，CRT(阴极射线管)、或LCD(液晶显示器)监视器)以及用户可以向计算机提供输入的键盘和定位设备(例如，鼠标或跟踪球)的计算机上实现。也可以将其他类型的设备用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈或触觉反馈)；以及来自用户的输入可以以任何形式接收，包括声音、语音或触觉输入。

这里所述的系统和技术可以在包括后端部件(例如，作为数据服务器)，包括中间部件(例如，应用服务器)，包括前端部件(例如，具有用户可以与这里所述的系统和技术的实现交互的图形用户界面或万维网浏览器的客户计算机)，或包括这样的后端、中间、或前端部件的任何组合体的计算系统中实现。系统的部件可以通过数字数据通信的任何形式或媒体(例如，通信网络)互连。通信网络的例子包括局域网(LAN)、广域网(WAN)、和互联网。

计算系统可以包括客户机和服务器。客户机和服务器一般相互远离，通常通过通信网络交互。客户机和服务器的关系通过运行在各自计算机上和相互具有客户机-服务器关系的计算机程序建立起来。

尽管上面详细描述了几种实现，但其他变型也是可以的。例如，虽然客户应用程序被描述成访问代表，但在其他实现中，该代表可以被通过一个或多个处理器实现的其他应用程序，譬如，在一个或多个服务器上执行的应用程序采用。

另外，描述在图形中的逻辑流程无需所示的特定次序，或顺序来获得所希望结果。另外，可以提供其他步骤，或可以从所述的流程中删除一些步骤，以及可以将其他部件加入所述的系统中，或从所述的系统中除去一些部件。于是，其他实现也在所附权利要求书的范围之内。

虽然本说明书包含许多具体细节，但这些具体细节不应该被理解为限制要求保护的范围，而是作为对特定实现特有的特征的描述。在分开实现的背景下描述在本说明书中的某些特征也可以在单种实现中以组合形式实现。相反，在单种实现的背景下描述的各种特征也可以分开地在多种实现中或以任何适当分组合的形式实现。此外，尽管上面可能将一些特征描述成以某种组合形式起作用和甚至最初要求这样，但所要求组合当中的一种或多种特征在一些情况下可以从该组合中分割出来，以及所要求组合可以针对分组合或分组合的变种。

类似地，虽然在附图中按特定次序描述这些操作，但不应该理解为要求按所示的特定次序或顺序地执行这样的操作，或执行所有例示的操作来获得所希望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，在上述的实现中各种系统部件的分开不应该理解为在所有实现中都要求这样分开。

上面已经描述了本发明的许多实施例。不过，应该明白，可以不偏离本发明的精神和范围地作出各种修改。于是，其他实施例也在所附权利要求的范围之内。

Claims (24)

1.一种根据第一成像站点上感兴趣对象的坐标在第二成像站点上重新定位感兴趣对象的方法，该方法包含：

获取包括第一成像站点上的标本的参考图像和第二成像站点上的标本的第二图像的第一对图像；

识别出现在参考图像和第二图像两者中的细胞群，其中，识别细胞群包括：

从第二图像中识别细胞中心点的排列，以及

将来自第二图像的细胞中心点的排列与参考图像中的细胞中心点的排列相比较；

从获取参考图像的载物台坐标中确定第一成像站点上的细胞群的载物台坐标；

从获取第二图像的载物台坐标中确定第二成像站点上的细胞群的载物台坐标；以及

计算将第一成像站点的载物台坐标转换成第二成像站点的载物台坐标的仿射变换。

2.如权利要求1所述的方法，进一步包含：

获取包括在第一成像站点上获得的参考图像和在第二成像站点上获得的第二图像的第二对图像；

对于第二对图像，识别出现在参考图像和第二图像两者中的细胞群；

确定第一成像站点和第二成像站点上与第二对图像相关联的细胞群的载物台坐标；以及

根据第一和第二对图像计算仿射变换。

3.如权利要求1所述的方法，其中获取第一对图像包括从在第一成像站点上在标本的扫描期间获得的多个参考图像候选者中选择参考图像。

4.如权利要求3所述的方法，进一步包含：

对多个参考图像候选者的每一个指定适用性得分；以及

选择适用性得分最高的参考图像候选者作为参考图像。

5.如权利要求4所述的方法，其中指定适用性得分包括指定与从参考图像内取得的预定大小的图像包括独特可识别细胞的概率相对应的得分。

6.如权利要求4所述的方法，其中指定适用性得分包括：

将每个参考图像候选者划分成多个图像区；

识别每个图像区中缺乏细胞的区的数量；以及

根据识别的数量指定适用性得分。

7.如权利要求3所述的方法，进一步包含在第一成像站点上从在扫描期间获得的标本的扫描区内的多个预定区域的每一个中获取多个参考图像候选者。

8.如权利要求7所述的方法，进一步包含识别多个预定区域，其包括：

将标本的扫描区划分成等楔形块；以及

从每个楔形块中除去扫描区的中心部分。

9.如权利要求1所述的方法，进一步包含如果第二图像不包含在参考图像中识别的细胞群，则在第二成像站点上在第二图像附近的地点上获取一个或多个附加图像。

10.如权利要求1所述的方法，进一步包含：

从第二图像中识别深处背景点的排列；以及

将来自第二图像的深处背景点的排列与参考图像中的深处背景点的排列相比较。

11.如权利要求10所述的方法，其中将来自第二图像的细胞中心点和深处背景点的排列与参考图像相比较包含：

以相对于参考图像的两个或更多个偏移量布置细胞中心点和深处背景点的排列；

为两个或更多个偏移量的每一个计算匹配得分；以及

根据匹配得分为偏移量确定匹配。

12.如权利要求11所述的方法，其中为每个偏移量计算匹配得分包含：

计算参考图像的距离变换；

为细胞中心点的排列计算距离变换值的第一和值；

为深处背景点的排列计算距离变换值的第二和值；以及

从第一和值中减去第二和值以计算匹配得分。

13.一种显微镜系统，其包含：

数据处理装置；以及

存储器，与该数据处理装置数据通信，并且存储该数据处理装置可执行，以及根据这样的执行使该数据处理装置执行包含如下的操作的指令：

获取包括第一成像站点上的标本的参考图像和第二成像站点上的标本的第二图像的第一对图像；

识别出现在参考图像和第二图像两者中的细胞群，其中，识别细胞群包括：

从第二图像中识别细胞中心点的排列，以及

将来自第二图像的细胞中心点的排列与参考图像中的细胞中心点的排列相比较；

从获取参考图像的载物台坐标中确定第一成像站点上的细胞群的载物台坐标；

从获取第二图像的载物台坐标中确定第二成像站点上的细胞群的载物台坐标；以及

计算将第一成像站点的载物台坐标转换成第二成像站点的载物台坐标的仿射变换。

14.如权利要求13所述的系统，其中该存储器进一步包括该数据处理装置可执行的指令，以及所述指令根据这样的执行使该数据处理装置执行包含如下的操作：

获取包括在第一成像站点上获得的参考图像和在第二成像站点上获得的第二图像的第二对图像；

对于第二对图像，识别出现在参考图像和第二图像两者中的细胞群；

确定第一成像站点和第二成像站点上与第二对图像相关联的细胞群的载物台坐标；以及

根据第一和第二对图像计算仿射变换。

15.如权利要求13所述的系统，其中该指令使该数据处理装置从在第一成像站点上在标本的扫描期间获得的多个参考图像候选者中选择参考图像。

16.如权利要求15所述的系统，其中该存储器进一步包括该数据处理装置可执行的指令，以及所述指令根据这样的执行使该数据处理装置执行包含如下的操作：

对多个参考图像候选者的每一个指定适用性得分；以及

选择适用性得分最高的参考图像候选者作为参考图像。

17.如权利要求16所述的系统，其中适用性得分包括与从参考图像内取得的预定大小的图像包括独特可识别细胞的概率相对应的得分。

18.如权利要求16所述的系统，其中该指令使该数据处理装置：

将每个参考图像候选者划分成多个图像区；

识别每个图像区中缺乏细胞的区的数量；以及

根据识别的数量指定适用性得分。

19.如权利要求15所述的系统，其中该存储器进一步包括该数据处理装置可执行的指令，以及所述指令根据这样的执行使该数据处理装置执行包含如下的操作：

在第一成像站点上从在扫描期间获得的标本的扫描区内的多个预定区域的每一个中获取多个参考图像候选者。

20.如权利要求19所述的系统，其中该存储器进一步包括该数据处理装置可执行的指令，以及所述指令根据这样的执行使该数据处理装置执行包含如下的操作：

识别多个预定区域，其包括：

将标本的扫描区划分成等楔形块；以及

从每个楔形块中除去扫描区的中心部分。

21.如权利要求13所述的系统，其中该存储器进一步包括该数据处理装置可执行的指令，以及所述指令根据这样的执行使该数据处理装置执行包含如下的操作：

如果第二图像不包含在参考图像中识别的细胞群，则在第二成像站点上在第二图像附近的地点上获取一个或多个附加图像。

22.如权利要求13所述的系统，其中该存储器进一步包括该数据处理装置可执行的指令，以及所述指令根据这样的执行使该数据处理装置执行包含如下的操作：

从第二图像中识别深处背景点的排列；以及

将来自第二图像的深处背景点的排列与参考图像中的深处背景点的排列相比较。

23.如权利要求22所述的系统，其中该指令使该数据处理装置：

以相对于参考图像的两个或更多个偏移量布置细胞中心点和深处背景点的排列；

为两个或更多个偏移量的每一个计算匹配得分；以及

根据匹配得分为偏移量确定匹配。

24.如权利要求23所述的系统，其中该指令使该数据处理装置：

计算参考图像的距离变换；

为细胞中心点的排列计算距离变换值的第一和值；

为深处背景点的排列计算距离变换值的第二和值；以及

从第一和值中减去第二和值以计算匹配得分。