CN111164484A - 双程微距图像 - Google Patents

Abstract

公开了对微距图像的双程捕获。在一个实施方案中，一种扫描设备包括台、高分辨率相机和透镜，所述透镜向所述高分辨率相机提供宽度基本上等于载片宽度的视野。所述设备还包括用于透射模式照明的第一照明系统和用于反射模式照明的第二照明系统。一个或多个处理器使所述台在第一方向上移动以在单程期间在所述视野由所述第一照明系统照明时捕获样本的第一微距图像，以及使所述台在第二方向上移动以在单程期间在所述视野由所述第二照明系统照明时捕获所述样本的第二微距图像。所述一个或多个处理器识别所述第二微距图像中的伪影，并且基于那些伪影，校正所述第一微距图像以生成修改的第一微距图像。

Description

双程微距图像

相关申请的交叉引用

本申请要求2017年9月29日提交的美国临时专利申请号62/566,165的优先权，该申请以引用方式整体并入本文，如同完全地阐述一样。

背景

发明领域

本公开总体上涉及数字病理学，并且更具体地，涉及使用数字载片扫描设备来识别玻璃载片上的组织区域。

相关技术

数字病理学是通过允许管理从物理载片产生的信息的计算机技术实现的基于图像的信息环境。数字病理学部分地通过虚拟显微术实现，虚拟显微术是扫描物理玻璃载片上的样本并产生可以在计算机监视器上存储、查看、管理和分析的数字玻璃载片图像的实践。通过对整个玻璃载片进行成像的能力，数字病理学领域迅猛发展并且在当前被认为是诊断医学中用来实现对重大疾病(诸如癌症)的甚至更好、更快且更便宜的诊断、预后和预测的最有前景的途径之一。

常规的数字载片扫描设备典型地包括用于扫描载片上的样本的高分辨率图像的高分辨率相机传感器。常规的数字载片扫描设备典型地还包括用于扫描载片上的样本的低分辨率微距图像的低分辨率相机传感器。典型地，微距图像用来识别玻璃载片的被样本占据的区域，并且还可以用来生成整个载片的缩略图像。常规的数字载片扫描设备的缺陷在于，包括低分辨率相机传感器增加了设备的成本。已经提出的一个解决方案是使用高分辨率相机传感器来捕获高分辨率微距图像。

然而，用高分辨率相机获得高分辨率微距图像的缺点在于，高分辨率微距图像经常包括来自载片或载片盖片上的实物(诸如灰尘、指纹等)的不想要的图像伪影。这些伪影可能会在载片准备或处理期间被引入。

微距图像中的这些不想要的图像伪影可能会显著地影响在样本的微距图像上执行来确定例如样本的位置、玻璃载片的待扫描的区域和样本上的初始焦点的图像处理。此外，如果初始焦点(例如，用于构建焦面)刚好设置到不想要的图像伪影的位置，那么可能会不利地影响所得数字载片图像的质量。因此，需要一种克服在如上文所描述的常规的系统中发现的这些显著问题的系统和方法。

发明内容

为了解决与数字载片扫描设备中的常规的微距图像捕获相关联的问题，本文中描述了利用第一照明系统和第二照明系统来捕获载片的两个图像的解决方案。在一个实施方案中，使用透射照明系统(从载片下方)捕获第一图像，并且处理该第一图像以用于照明校正以及可能地用于其他图像增强。可以使用反射照明系统(从载片上方)捕获第二图像，并且处理该第二图像以识别不想要的图像伪影。然后可以从第一图像去除来自第二图像的所识别的图像伪影，并且可以将校正的第一图像存储为微距图像。

在微距图像采集过程的一个实施方案中，台行进于线性往返路径以使玻璃载片一直移动去往微距图像位置并且然后返回扫描位置。在行程的“去往”部分上，使用透射模式照明和对应于微距图像光学路径的透镜来捕获微距图像。在行程的“返回”部分上，使用反射模式照明和对应于微距图像光学路径的透镜来捕获第二微距图像。因此，在扫描设备中包括第二倾斜照明源并且将其定位成与微距图像光学路径一起使用。第二照明源从玻璃载片的顶部提供照明并且使用成角度的散射光来仅突出显示玻璃载片和/或盖片上的伪影，而不将任何光反射到光学路径中的相机传感器上。扫描设备中的处理器处理在微距图像光学路径下方的行程的“去往”和“返回”部分期间捕获两个完整载片图像，并且图像处理从第一图像去除在第二图像中识别的伪影。之后将修改的第一图像用作干净微距图像，以用于组织发现和初始焦点选择。

本文所描述的实施方案提供优于常规的解决方案的显著优点。一个优点是高分辨率相机产生具有精细细节的微距载片图像。然而，使用透射模式照明扫描的微距图像包括玻璃载片和/或盖片上的样本以及不想要的图像伪影两者。有利地，顶部照明的微距图像清楚地示出来自经常存在于玻璃载片或盖片上的物项的不想要的图像伪影，所述物项诸如指纹、灰尘、头发、密封剂、无溶剂密封剂(凡士林、羊毛脂、石蜡)、白漆标签等(在本文中统称为“碎屑”)。因此，对两个微距图像(一个用底部照明捕获并且一个用顶部照明捕获)的图像处理允许从用底部照明捕获的微距图像去除不想要的图像伪影，以产生没有不想要的图像伪影的高分辨率微距图像。本发明的实施方案防止需要包括额外的区域来进行高分辨率扫描。本发明的实施方案还对用顶部照明捕获的微距图像执行深度图像去噪，而对用底部照明捕获的微距图像执行非常少的图像处理，这降低误识别玻璃载片上的样本区域的风险。

在一个实施方案中，公开了一种数字载片扫描设备，所述数字载片扫描设备包括：高分辨率相机，所述高分辨率相机具有视野；第一透镜，所述第一透镜在微距图像光学路径中，所述第一透镜被配置为向所述高分辨率相机的视野提供玻璃载片的基本上完整宽度的图像；第一照明系统，所述第一照明系统与所述第一透镜光耦合并且被配置用于透射模式照明；第二照明系统，所述第二照明系统与所述第一透镜光耦合并且被配置用于反射模式照明且进一步被配置为以一定模式使照明光成角度，使得第二照明系统光基本上不反射到所述高分辨率相机的所述视野中；处理器，所述处理器被配置为在第一方向上移动支撑所述玻璃载片的台并且在所述玻璃载片在所述第一透镜下方的单程期间使用所述高分辨率相机、所述第一透镜和所述第一照明系统来捕获所述玻璃载片上的样本的第一微距图像；其中所述处理器还被配置为在与所述第一方向相反的第二方向上移动所述台，以在所述玻璃载片在所述第一透镜下方的单程期间使用所述高分辨率相机、所述第一透镜和所述第二照明系统来捕获所述玻璃载片上的样本的第二微距图像；其中所述处理器还被配置为识别所述第二微距图像中的不想要的图像伪影并且根据所述识别的图像伪影来校正所述第一微距图像以生成修改的第一微距图像。所述处理器还可以被配置为将所述修改的第一微距图像用于组织发现和初始焦点选择。所述第一照明系统还可以包括漫射器。

在一个实施方案中，公开了一种方法，所述方法包括：打开被配置用于透射模式照明的第一照明系统，所述第一照明系统与透镜和具有视野的高分辨率相机光耦合，其中所述透镜和所述高分辨率相机限定光学路径；相对于所述光学路径在第一方向上移动支撑玻璃载片的台并且在所述移动期间，使用所述高分辨率相机、所述透镜和所述第一照明系统来捕获所述玻璃载片上的样本的第一微距图像；关闭所述第一照明系统；在关闭所述第一照明系统之后，打开被配置用于反射模式照明的第二照明系统，所述第二照明系统与所述透镜和所述高分辨率相机光耦合；在与所述第一方向相反的第二方向上移动支撑所述玻璃载片的所述台并且在所述移动期间，使用所述高分辨率相机、所述透镜和所述第二照明系统来捕获所述玻璃载片上的样本的第二微距图像；识别所述第二微距图像中的一个或多个不想要的图像伪影；根据所述识别的不想要的图像伪影来校正所述第一微距图像以生成修改的第一微距图像。

在一个实施方案中，公开了一种方法，所述方法包括：打开被配置用于反射模式照明的反射模式照明系统，所述反射模式照明系统与透镜和具有视野的高分辨率相机光耦合，其中所述透镜和所述高分辨率相机限定光学路径；相对于所述光学路径在第一方向上移动支撑玻璃载片的台并且在所述移动期间，使用所述高分辨率相机、所述透镜和第一照明系统来捕获所述玻璃载片上的样本的反射模式微距图像；关闭所述反射模式照明系统；在关闭所述反射模式照明系统之后，打开被配置用于透射模式照明的透射模式照明系统，所述透射模式照明系统与所述透镜和所述高分辨率相机光耦合；在与所述第一方向相反的第二方向上移动支撑所述玻璃载片的所述台并且在所述移动期间，使用所述高分辨率相机、所述透镜和所述透射模式照明系统来捕获所述玻璃载片上的所述样本的透射模式微距图像；识别所述反射模式微距图像中的一个或多个不想要的图像伪影；根据所述识别的不想要的图像伪影来校正所述透射模式微距图像以生成修改的透射模式微距图像。

在一个实施方案中，公开了一种方法，所述方法包括：打开被配置用于反射模式照明的反射模式照明系统，所述反射模式照明系统与透镜和具有视野的高分辨率相机光耦合，其中所述透镜和所述高分辨率相机限定光学路径；相对于所述光学路径在第一方向上移动支撑玻璃载片的台并且在所述移动期间，使用所述高分辨率相机、所述透镜和第一照明系统来捕获所述玻璃载片上的样本的反射模式微距图像；打开被配置用于透射模式照明的透射模式照明系统，所述透射模式照明系统与所述透镜和所述高分辨率相机光耦合；在与所述第一方向相反的第二方向上移动支撑所述玻璃载片的所述台并且在所述移动期间，使用所述高分辨率相机、所述透镜和所述透射模式照明系统来捕获所述玻璃载片上的所述样本的透射模式微距图像；识别所述反射模式微距图像中的一个或多个不想要的图像伪影；根据所述识别的不想要的图像伪影来校正所述透射模式微距图像以生成修改的透射模式微距图像。

在一个实施方案中，公开了一种方法，所述方法包括：使用高分辨率相机、透镜和第一照明系统来捕获玻璃载片上的样本的第一微距图像；使用所述高分辨率相机、所述透镜和第二照明系统来捕获所述玻璃载片上的所述样本的第二微距图像；分析所述第二微距图像以识别不想要的图像伪影；以及根据所述识别的不想要的图像伪影来校正所述第一微距图像以生成修改的第一微距图像。所述第一照明系统可以被配置用于透射模式照明。所述第二照明系统可以被配置用于反射模式照明。

在阅读以下详细描述和附图之后，本发明的其他特征和优点对于本领域的普通技术人员来说将变得更显而易见。

附图说明

通过阅读以下详细描述和附图，将理解本发明的结构和操作，在附图中，相同的附图标记指代相同的部分并且其中：

图1A是根据一个实施方案的示出用于识别玻璃载片的组织区域的示例数字载片扫描系统的框图；

图1B是根据一个实施方案的示出示例光学路径和线扫描相机的框图；

图2A是根据一个实施方案的示出用于识别玻璃载片的组织区域的示例数字载片扫描系统的框图，其中第一照明系统打开；

图2B是根据一个实施方案的示出用于识别玻璃载片的组织区域的示例数字载片扫描系统的框图，其中第二照明系统打开；

图3是根据一个实施方案的示出用于在数字载片扫描设备中扫描玻璃载片的微距图像的示例过程的流程图；

图4A是根据一个实施方案的示出用于确定上面有样品的玻璃载片的扫描区域的示例过程的流程图；

图4B是根据一个实施方案的示出用来确定上面有样品的玻璃载片的扫描区域的一组示例图像的框图；

图5A是示出可以结合本文所描述的各种实施方案使用的示例支持处理器的装置的框图；

图5B是根据一个实施方案的示出具有单个线性阵列的示例线扫描相机的框图；

图5C是根据一个实施方案的示出具有三个线性阵列的示例线扫描相机的框图；以及

图5D是根据一个实施方案的示出具有多个线性阵列的示例线扫描相机的框图。

具体实施方式

本文所公开的某些实施方案提供了用于捕获玻璃载片的没有不想要的图像伪影的高分辨率微距图像的系统和方法。例如，本文所公开的一种方法允许使用底部照明系统来捕获第一高分辨率微距图像并且使用顶部照明系统来捕获第二高分辨率微距图像。处理这两个高分辨率微距图像以识别第二高分辨率微距图像中的不想要的图像伪影并且从第一高分辨率微距图像去除所识别的不想要的图像伪影，以产生没有不想要的图像伪影的高分辨率微距图像。在阅读本说明书之后，对于本领域的技术人员来说将变得显而易见的是，如何在各种可选的实施方案和可选的应用中实现本发明。然而，尽管本文将描述本发明的各种实施方案，但是应理解，这些实施方案仅以示例方式呈现，而不进行限制。如此，对各种可选的实施方案的这个详细描述不应被解释为限制如所附权利要求书中所阐述的本发明的范围或广度。

图1A是根据一个实施方案的示出用于识别玻璃载片90上的样品95的组织区域的示例数字载片扫描设备10的框图。在所示的实施方案中，扫描设备10包括结合第一透镜40来限定第一光学路径30的高分辨率相机20。第一光学路径30被配置用于捕获载片90上的样品95的高分辨率微距图像。第一光学路径30完全地包含高分辨率相机20在样品95上的视野25。高分辨率相机20和第一透镜40与第一光学路径30的组合使得视野25基本上覆盖载片90的整个宽度，使得载片90在第一光学路径30下方的单程允许对整个载片90进行成像。典型地以低放大率捕获微距图像，并且在微距图像中包括整个载片90。高分辨率相机20也结合第二透镜60来限定第二光学路径50。第二光学路径50用于以高放大率捕获高分辨率图像。

在一个实施方案中，高分辨率相机可以是线扫描相机或区域扫描相机或者多种高分辨率相机中的任一种，诸如时间延迟积分(TDI)相机、彩色相机等。为了便于讨论，高分辨率相机在本文中将被称为线扫描相机20。

数字载片扫描设备10还包括第一照明系统70，该第一照明系统可以任选地包括一个或多个漫射器75。第一照明系统70定位在载片90下方并且被配置用于透射模式照明，使得来自第一照明系统70的光穿过样品95并进入第一光学路径30中。来自第一照明系统70的光也可以先穿过一个或多个漫射器75，然后再穿过样品95。有利地，一个或多个漫射器75用来在第一光学路径30中提供均匀照明。

数字载片扫描设备10还包括第二照明系统80。第二照明系统80定位在载片90上方并且被配置用于反射模式照明，使得来自第二照明系统80的基本上所有光反射离开载片90和样品95并远离第一光学路径30。有利地，来自碎屑的期望的反射光将进入第一光学路径30。然而，一些非期望的反射光也可能会进入第一光学路径30。因此，数字载片扫描设备10被配置为使得来自第二照明系统80的非期望的反射光不落在高分辨率相机20的任何单独像素传感器上。

在一个实施方案中，在微距图像采集过程中，台(未示出)行进于线性往返路径(例如，沿着平行于载片90的纵向轴线的X轴)。往返路径使玻璃载片90在由第一光学路径30限定的微距成像位置下方移动，从而在第一方向上从开始位置(例如，在该开始位置处，表示载片90或样本95的一端的第一视野25在微距图像位置下方)行进到结束位置(例如，在该结束位置处，表示载片90或样本95的相对端的第二视野25在微距成像位置下方)。随后，往返路径使玻璃载片90在微距成像位置下方移动，从而在与第一方向相反的第二方向上从结束位置移动回开始位置。在行程的“去往”部分上，使用第一透射模式照明系统70和第一透镜40沿着第一光学路径30捕获第一微距图像。在行程的“返回”部分上，使用第二反射模式照明系统80和第一透镜40沿着第一光学路径30捕获第二微距图像。可选地，可以首先在行程的“去往”部分上捕获第二微距图像，并且可以其次在行程的“返回”部分上捕获第一微距图像。在另一个可选的实施方案中，可以在台保持静止(即，台没有相对于第一透镜40移动)时例如通过区域扫描相机来捕获第一微距图像和第二微距图像。在任何情况下，尽管为了简单起见，第一微距图像在本文中一般将被描述为首先捕获，并且第二微距图像在本文中一般将被描述为其次捕获，但应当理解，图像捕获的次序可以颠倒，使得其次捕获第一微距图像并且首先捕获第二微距图像。

有利地，第二照明系统70从玻璃载片90的顶部提供倾斜照明并且使用成角度的散射光来仅突出显示玻璃载片90和/或盖片的顶部上的不想要的碎屑。第二照明系统70的定位及其散射光的方向被仔细地配置为使行进到第一光学路径30中的非期望的反射光最小化。另外地，高分辨率相机20在第一光学路径30内的定位被仔细地配置为最小化或消除光学路径30中的到达高分辨率相机20的传感器的非期望的反射光。

有利地，数字载片扫描设备10被配置为提供极高的图像质量，该极高的图像质量可以用来识别玻璃载片90的被样本95占据的区域。由于来自第二照明系统80的光可以反射离开第一照明系统70的元件和/或漫射器75，因此第一照明系统70、漫射器75、第二照明系统80和高分辨率相机20仔细地对准以避免高分辨率相机20的单独传感器接收来自第二照明系统80的从漫射器75、第一照明系统70、玻璃载片90或样品95的任何光。在使用第二照明系统80时，这导致高分辨率相机20的单独传感器捕获仅强调玻璃载片和/或盖片的顶部上的碎屑的图像。

数字载片扫描设备10中的处理器555处理在行程的“去往”和“返回”部分期间在第一光学路径30下方捕获的两个高分辨率微距图像。在使用第二照明系统80捕获的微距图像中识别对应于碎屑的不想要的图像伪影，并且在使用第一照明系统70捕获的微距图像中校正所识别的不想要的图像伪影。结果是没有不想要的图像伪影并且随后可以用于组织发现和初始焦点选择的干净高分辨率微距图像。

图1B是根据一个实施方案的示出示例第一光学路径30和高分辨率相机传感器20的框图。如先前所讨论，数字载片扫描设备10的元件仔细地对准，使得高分辨相机20的单独传感器定位在第一光学路径30中，使得单独传感器不接收来自第二照明系统80的非期望的反射光85。

图2A是根据一个实施方案的示出用于识别玻璃载片90的组织区域95的示例数字载片扫描系统10的框图，其中第一照明系统70打开。在所示的实施方案中，第一照明系统70打开，并且由第一照明系统70产生的光穿过一个或多个漫射器75，该一个或多个漫射器被配置为均匀地对载片90和第一光学路径30进行照明。线扫描相机20逻辑地对准，使得其视野25定位在由第一照明系统70均匀地照明的载片90的一部分上。

图2B是根据一个实施方案的示出用于识别玻璃载片90的组织区域95的示例数字载片扫描系统10的框图，其中第二照明系统80打开。在所示的实施方案中，第二照明系统80打开，并且由第二照明系统80产生的光对载片90、样品95和盖片97进行照明。第二照明系统80定位成使得来自第二照明系统80的光反射离开载片90、样品95、盖片97、漫射器75、第一照明系统70以及该第二照明系统的照明场内的任何其他物体，并且反射光不进入第一光学路径30。然而，一些非期望的反射光85可能会进入第一光学路径30。线扫描相机20进行对准，使得没有进入第一光学路径30的非期望的反射光85不被线扫描相机20的单独传感器中的任一个接收。

图3是根据一个实施方案的示出用于在数字载片扫描设备中扫描玻璃载片的微距图像的示例过程的流程图。在所示的实施方案中，该过程可以由系统(诸如关于图1A至图2B和图5A至图5D描述的那些)实施。最初，在步骤100中，系统打开第一照明系统70以用于从下方对载片进行照明。这是透射模式照明。

接下来，在步骤110中，将支撑带有样本的玻璃载片90的台移动通过微距成像位置。微距成像位置由定位在第一光学路径30中的高分辨率相机20的视野25限定，该第一光学路径由微距成像透镜40和高分辨率相机20的组合产生。在台将载片90移动通过微距成像位置时，在单程期间捕获整个载片90的第一微距图像，如在步骤120中所示。有利地，高分辨率相机20的视野25足够宽以捕获载片90的基本上整个宽度。

在可选的实施方案中，可以在台相对于物镜保持静止时例如通过区域扫描相机捕获整个载片90的第一微距图像。例如，可以将第一微距图像捕获为一系列拼接图块，其中在台保持静止时捕获每个图块。可选地，可以将第一微距图像捕获为在台保持静止时捕获的单个图像。区域扫描相机也可以在台处于运动时例如使用选通照明来捕获第一微距图像(作为单个图像或一系列拼接图块)。

接下来，在步骤130中，将第一照明系统70关闭，并且然后在步骤140中，将第二照明系统系统80打开。第二照明系统80从上方以一定角度对载片90进行照明。这是反射模式照明。接下来，在步骤150中，台再次将玻璃载片90移动通过微距成像位置，并且在步骤160中，在单程期间捕获整个载片90的第二微距图像。同样地，在可选的实施方案中，可以在台保持静止时例如通过区域扫描相机捕获整个载片90的第二微距图像。

然后在步骤170中，分析使用反射模式照明捕获的整个载片90的第二微距图像，并且在步骤180中，识别第二微距图像中的对应于碎屑的不想要的图像伪影。接下来，在步骤190中，在第一微距图像中识别在第二微距图像中识别的相同的不想要的图像伪影。然后在步骤200中校正第一微距图像，以去除或以其他方式考虑存在于第一微距图像中的不想要的图像伪影。最终，在步骤210中，将校正的第一微距图像存储为玻璃载片90的干净微距图像。有利地，校正的第一微距图像随后可以用来识别玻璃载片90的被样品95占据的区域。

尽管图3示出了在第二微距图像之前采集第一微距图像，但应当理解，可以在第一微距图像之前采集第二微距图像。例如，步骤100至120可以与步骤140至160交换，并且步骤130可以包括关闭第二照明系统80，而不是第一照明系统70。另外，应当理解，步骤170和180可以在步骤160中采集第二微距图像之后的任何时间执行，并且因此，不一定需要在步骤120中采集第一微距图像之后进行。

图4A是根据一个实施方案的示出用于确定上面有样品的玻璃载片的扫描区域的示例过程的流程图。图4B是根据一个实施方案的示出用来确定上面有样品的玻璃载片的扫描区域的一组示例图像的框图。图4A和图4B将在下文一起描述。在所示的实施方案中，图4A的过程可以由系统(诸如关于图1A至图2B和图5A至图5D描述的那些)实施。

图像的预处理

最初，获得(例如，经由图3中的步骤100至120采集)第一微距图像300(图4A中的“底部照亮的图像”，对应于图4B中的示例图像400)，并且获得(例如，经由图3中的步骤140至160采集)第二微距图像310(图4A中的“顶部照亮的图像”)。可以对第一微距图像300进行预处理来进行照明校正、背景偏移和/或背景噪声去除，以生成预处理的第一微距图像320(对应于图4A中的示例图像420)。有利地，照明校正过程校正照明的不均匀性，并且背景偏移处理将背景水平减小至零。通过在完成背景偏移处理之后计算负像素的标准偏差来估计背景噪声。当对第一微距图像300进行预处理时，可以将没有载片的空台的预定图像用作使用第一照明系统70捕获的微距图像的照明分布。

类似地，对第二微距图像310进行预处理来进行背景偏移，以便生成预处理的第二微距图像330。然后进一步处理预处理的第二微距图像330以识别图像中的噪声。预处理的第二微距图像330中的噪声对应于由碎屑引起的不想要的图像伪影。在一个实施方案中，对预处理的第二微距图像330进行去噪以突出显示不想要的图像伪影，并且使用坎尼(canny)边缘检测来识别不想要的图像伪影的对象边缘，从而抑制通常由噪声引起的小尖峰，并且连接断裂边缘和/或线。因此，从预处理的第二微距图像330生成不想要的图像伪影的伪影掩模340。可以通过向伪影分配值1并且向其他分配值0来产生伪影掩模340。示例伪影掩模340的图像在图4B中的图像440中示出。在一个实施方案中，通过边缘图像和预处理的微距图像330来重建图像440。在一个实施方案中，延迟伪影掩模340以考虑第一微距图像与第二微距图像之间的像素移位。

从底部照亮的图像的伪影去除

一旦已经生成预处理的第一微距图像320和伪影掩模340，就处理这两个图像以生成没有不想要的图像伪影的校正的第一微距图形350。在一个实施方案中，可以通过将预处理的第一微距图像320乘以(1-伪影掩模340)来完成这个图像处理，以从预处理的第一微距图像320去除不想要的图像伪影并且由此生成校正的第一微距图像350(对应于图4B中的示例图像450)。

组织重建

在一个实施方案中，取决于存在的不想要的图像伪影的量，该过程还可以将预处理的第一微观图像320分成块。因此，也可以通过评估被识别有不想要的图像伪影的像素周围的强度水平来执行组织重建过程。然后将那些像素加回到周围强度水平以生成重建的校正的第一微距图像360(对应于图4B中的示例图像460)。

盖片和小物体去除

接下来，在一个实施方案中，使用线检测器来进行盖片检测，并且使用形态学操作来进行小物体检测。然后去除识别的盖片和小物体以生成最终的第一微距图像伪影370，其中组织由值1标识并且非组织由值0标识。有利地，最终的第一微距图像掩模370可以用来识别扫描区域380。

在一个示例实施方案中，中间图像处理可以导致具有不想要的图像伪影的模糊微距载片图像。在图4B中，图像400示出了第一微距图像300，并且图像420示出了在对第一微距图像300进行预处理器来进行背景偏移和背景噪声去除之后的二进制图像掩模。类似地，在图4B中，图像440示出了在第二微距图像310已经被预处理来进行背景偏移并且对图像数据进行去噪之后的处理的不想要的图像伪影掩模340。有利地，伪影掩模图像440突出显示不想要的图像伪影和不想要的载片标签。然后将两个掩模420和440用于从第一微距图像300(也被示出为图4B中的图像400)的不想要的图像伪影检测和去除。还可以将两个掩模420和440用于组织重建(如图像450所示)以及盖片和小物体检测和去除，以生成图像460，该图像是最终的组织掩模。在所示的示例中，所识别的扫描区域380被示出为图像460中的矩形内的区。

示例扫描系统

图5A是示出可以结合本文所描述的各种实施方案使用的示例支持处理器的装置550的框图。如技术人员将理解，还可以使用装置550的可选形式。在所示的实施方案中，装置550被呈现为数字成像装置(在本文中也称为扫描仪系统、扫描系统、数字扫描设备、数字载片扫描设备等)，该数字成像装置包括：一个或多个处理器555；一个或多个存储器565；一个或多个运动控制器570；一个或多个接口系统575；一个或多个可移动台580，该一个或多个可移动台各自支撑具有一个或多个样品590的一个或多个玻璃载片585；一个或多个照明系统595，该一个或多个照明系统对样品进行照明；一个或多个物镜600，该一个或多个物镜各自限定沿着光轴行进的光学路径605；一个或多个物镜定位器630；一个或多个任选的落射照明系统635(例如，包括在荧光扫描仪系统中)；一个或多个聚焦光学器件610；一个或多个线扫描相机615(例如，包括线扫描相机20)；和/或一个或多个区域扫描相机620，该一个或多个区域扫描相机中的每一个限定在样品590和/或玻璃载片585上的单独视野625。扫描仪系统550的各种元件经由一个或多个通信总线560通信地耦合。尽管可以存在扫描仪系统550的各种元件中的每一种中的一个或多个，但是为了下文的描述的简单起见，除非需要以复数形式进行描述来传达适当的信息，否则将以单数形式描述这些元件。

一个或多个处理器555可以包括例如能够并行地处理指令的中央处理单元(CPU)和单独的图形处理单元(GPU)，或者一个或多个处理器555可以包括能够并行地处理指令的多核心处理器。还可以提供附加的单独的处理器以控制特定部件或执行特定功能，诸如图像处理。例如，附加的处理器可以包括用于管理数据输入的辅助处理器、用于执行浮点数学运算的辅助处理器、具有适合于快速地执行信号处理算法的架构的专用处理器(例如，数字信号处理器)、从属于主处理器的从处理器(例如，后端处理器)、用于控制线扫描相机615、台580、物镜225和/或显示器(未示出)的附加的处理器。这样的附加的处理器可以是单独的离散处理器，或者可以与处理器555集成。

存储器565提供可以由处理器555执行的程序的数据和指令的存储。存储器565可以包括存储数据和指令的一种或多种易失性和/或非易失性计算机可读存储介质，包括例如随机存取存储器、只读存储器、硬盘驱动器、可移动存储装置驱动器等。处理器555被配置为执行存储在存储器565中的指令并经由通信总线560与扫描仪系统550的各种元件通信以实施扫描仪系统550的整体功能。

一个或多个通信总线560可以包括被配置为传达模拟电信号的通信总线560，并且可以包括被配置为传达数字数据的通信总线560。因此，从处理器555、运动控制器570和/或接口系统575经由一个或多个通信总线560进行的通信可以包括电信号和数字数据两者。处理器555、运动控制器570和/或接口系统575还可以被配置为经由无线通信链路与扫描系统550的各种元件中的一个或多个通信。

运动控制系统570被配置为精确地控制和协调台580(例如，在X-Y平面内)和/或物镜600(例如，沿着与X-Y平面正交的Z轴，经由物镜定位器630)的X、Y和/或Z移动。运动控制系统570还被配置为控制扫描仪系统550中的任何其他移动部分的移动。例如，在荧光扫描仪实施方案中，运动控制系统570被配置为协调落射照明系统635中的滤光器等的移动。

接口系统575允许扫描仪系统550与其他系统和人类操作员介接。例如，接口系统575可以包括用户界面以用于将信息直接地提供给操作员和/或允许来自操作员的直接输入。接口系统575还被配置为便于扫描系统550与直接地连接的一个或多个外部装置(例如，打印机、可移动存储介质)或经由网络(未示出)连接到扫描仪系统550的外部装置(诸如图像服务器系统、操作员站、用户站和管理服务器系统)之间的通信和数据传输。

照明系统595被配置为对样品590的一部分进行照明。照明系统595可以包括例如一个或多个光源(包括第一照明系统70和第二照明系统80)以及照明光学器件。光源可以包括可变强度卤素光源，其具有凹面反射镜以最大化光输出并具有KG-1滤光片以抑制热量。光源可以包括任何类型的弧光灯、激光器或其他光源。在一个实施方案中，照明系统595以透射模式对样品590进行照明，使得线扫描相机615和/或区域扫描相机620感测透射穿过样品590的光学能量。可选地或组合地，照明系统595还可以被配置为以反射模式对样品590进行照明，使得线扫描相机615和/或区域扫描相机620感测从样品590反射的光学能量。照明系统595可以被配置为适合于在光学显微术的任何已知模式中探询显微镜样品590。

在一个实施方案中，扫描仪系统550任选地包括落射照明系统635来优化扫描仪系统550以进行荧光扫描。荧光扫描是对包括荧光分子的样品590的扫描，所述荧光分子是可以吸收特定波长的光(激发)的光子敏感分子。这些光子敏感分子还以更高波长发射光(发射)。由于这种光致发光现象的效率非常低，因此发射光量通常非常低。这种低发射光量典型地阻碍用于扫描和数字化样品590的常规技术(例如，透射模式显微术)。有利地，在扫描仪系统550的任选的荧光扫描仪系统实施方案中，使用包括多个线性传感器阵列的线扫描相机615(例如，TDI线扫描相机)通过将样品590的同一区域暴露于线扫描相机615的多个线性传感器阵列中的每一个来增加线扫描相机对光的敏感度。这在用低发射光来扫描微弱荧光样品时特别地有用。

因此，在荧光扫描仪系统实施方案中，线扫描相机615优选地是单色TDI线扫描相机。有利地，单色图像在荧光显微术中是理想的，因为它们提供了来自存在于样品上的各种通道的实际信号的更准确表示。如本领域的技术人员将理解，可以用发射不同波长的光的多种荧光染料来标记荧光样品590，这些波长也称为“通道”。

此外，由于各种荧光样品的低端和高端信号电平呈现线扫描相机615要感测的波长的宽光谱，因此期望线扫描相机615可以感测到的低端和高端信号电平是类似地宽的。因此，在荧光扫描仪实施方案中，在荧光扫描系统550中使用的线扫描相机615是单色10位64线性阵列TDI线扫描相机。应注意，可以采用线扫描相机615的各种位深度以与扫描系统550的荧光扫描仪实施方案一起使用。

可移动台580被配置为在处理器555或运动控制器570的控制下进行精确的X-Y移动。可移动台还可以被配置为在处理器555或运动控制器570的控制下进行Z移动。可移动台被配置为在由线扫描相机615和/或区域扫描相机进行的图像数据捕获期间将样品定位在期望位置。可移动台还被配置为在扫描方向上将样品590加速到基本上恒定的速度，并且然后在由线扫描相机615进行的图像数据捕获期间维持基本上恒定的速度。在一个实施方案中，扫描仪系统550可以采用高精度且紧密地协调的X-Y网格来帮助将样品590定位在可移动台580上。在一个实施方案中，可移动台580是基于线性马达的X-Y台，其中在X轴和Y轴两者上采用高精度编码器。例如，可以在扫描方向上的轴线上和在垂直于扫描方向并与扫描方向在同一平面上的方向上的轴线上使用非常精确的纳米编码器。台还被配置为支撑玻璃载片585，样品590设置在该玻璃载片上。

样品590(例如，对应于样品95)可以是可通过光学显微术探询的任何东西。例如，玻璃显微镜载片585(例如，对应于载片90)经常用作样本的观察基底，该样本包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、小滴、活检材料，或任何其他类型的死或活的、染色或未染色的、标记或未标记的生物材料或物质。样品590还可以是沉积在任何类型的载片或其他基底上的任何类型的DNA或DNA相关材料(诸如cDNA或RNA或蛋白质)的阵列，包括通常称为微阵列的任何和所有样品。样品590可以是微量滴定板(例如，96孔板)。样品590的其他示例包括集成电路板、电泳记录、培养皿、膜、半导体材料、法医材料或机加工零件。

物镜600安装在物镜定位器630上，在一个实施方案中，该物镜定位器采用非常精确的线性马达来使物镜600沿着由物镜600限定的光轴移动。例如，物镜定位器630的线性马达可以包括50纳米编码器。台580和物镜600在X轴、Y轴和/或Z轴上的相对位置在处理器555的控制下使用运动控制器570以闭环方式进行协调和控制，该处理器采用存储器565来存储信息和指令，包括用于整个扫描系统550操作的计算机可执行的编程的步骤。

在一个实施方案中，物镜600是平场复消色差(“APO”)无限远校正物镜，其数值孔径对应于期望的最高空间分辨率，其中物镜600适合于透射模式照明显微术、反射模式照明显微术和/或落射照明模式荧光显微术(例如，Olympus 40X,0.75NA或20X,0.75NA)。有利地，物镜600能够校正色差和球差。由于物镜600是无限远校正的，因此可以将聚焦光学器件610在光学路径605中放置于物镜600上方，其中穿过物镜600的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光信号聚焦到线扫描相机615和/或区域扫描相机620的光响应元件上并且可以包括光学部件(诸如滤光片、放大率变换器透镜等)。与聚焦光学器件610相结合的物镜600为扫描系统550提供了总放大率。在一个实施方案中，聚焦光学器件610可以包含镜筒透镜和任选的2倍放大率变换器。有利地，2倍放大率变换器允许本机20倍物镜600以40倍放大率扫描样品590。

线扫描相机615包括图片元素(“像素”)的至少一个线性阵列。线扫描相机可以是单色或彩色的。彩色线扫描相机典型地具有至少三个线性阵列，而单色线扫描相机可以具有单个线性阵列或多个线性阵列。还可以使用任何类型的单数或复数线性阵列，无论是被封装作为相机的部分还是定制集成到成像电子模块中。例如，还可以使用3线性阵列(“红-绿-蓝”或“RGB”)彩色线扫描相机或96线性阵列单色TDI。TDI线扫描相机典型地通过对来自样本的先前成像区域的强度数据求和而产生信噪比(“SNR”)的与积分级的数量的平方根成比例的增加来在输出信号中提供显著更好的SNR。TDI线扫描相机包括多个线性阵列。例如，TDI线扫描相机可具有24个、32个、48个、64个、96个或甚至更多的线性阵列。扫描仪系统550还支持以各种格式制造的线性阵列，包括具有512个像素的一些格式、具有1024个像素的一些格式，以及具有多达4096个像素的其他格式。类似地，还可以在扫描仪系统550中使用具有各种像素大小的线性阵列。选择任何类型的线扫描相机615的突出要求是台580的运动可以与线扫描相机615的线速率同步，使得在样品590的数字图像捕获期间，台580可以相对于线扫描相机615处于运动中。

由线扫描相机615生成的图像数据存储在存储器565的一部分中并由处理器555处理以生成样品590的至少一部分的连续数字图像。连续数字图像可以由处理器555进一步处理，并且修改过的连续数字图像也可以存储在存储器565中。

在具有两个或更多个线扫描相机615的实施方案中，线扫描相机615中的至少一个可以被配置为用作聚焦传感器，该聚焦传感器与其他线扫描相机615中的被配置为用作成像传感器的至少一个组合地操作。聚焦传感器可以逻辑上定位成与成像传感器在同一光轴上，或者聚焦传感器可以逻辑上定位成相对于扫描仪系统550的扫描方向在成像传感器之前或之后。在其中至少一个线扫描相机615用作聚焦传感器的这样的实施方案中，由聚焦传感器生成的图像数据存储在存储器565的一部分中并由一个或多个处理器555处理以生成聚焦信息，从而允许扫描仪系统550调整样品590与物镜600之间的相对距离以在扫描期间维持聚焦在样品上。另外地，在一个实施方案中，用作聚焦传感器的至少一个线扫描相机615可以被定向，使得聚焦传感器的多个单独的像素中的每一个沿着光学路径605定位在不同的逻辑高度处。

在操作中，扫描仪系统550的各种部件以及存储在存储器565中的编程的模块实现对设置在玻璃载片585上的样品590的自动扫描和数字化。玻璃载片585牢固地放置在扫描仪系统550的可移动台580上以扫描样品590。在处理器555的控制下，可移动台580将样品590加速到基本上恒定的速度，以供线扫描相机615感测，其中台的速度与线扫描相机615的线速率同步。在扫描图像数据条带后，可移动台580减速并使样品590基本上完全停止。然后，可移动台580正交于扫描方向移动以定位样品590来进行对后续图像数据条带(例如，相邻的条带)的扫描。随后扫描附加的条带，直到样品590的整个部分或整个样品590被扫描为止。

例如，在对样品590的数字扫描期间，采集样品590的连续数字图像作为多个连续视野，这些连续视野组合在一起以形成图像条带。多个相邻的图像条带类似地组合在一起以形成部分或整个样品590的连续数字图像。对样品590的扫描可以包括获取竖直图像条带或水平图像条带。对样品590的扫描可以是从上到下、从下到上或这两者(双向)，并且可以在样品上的任何点处开始。可选地，对样品590的扫描可以是从左到右、从右到左或这两者(双向)，并且可以在样品上的任何点处开始。另外地，不必以相邻或连续方式获取图像条带。此外，样品590的所得图像可以是整个样品590或仅样品590的一部分的图像。

在一个实施方案中，计算机可执行指令(例如，编程的模块和软件)存储在存储器565中，并且当被执行时，使得扫描系统550能够执行本文所描述的各种功能。在本说明书中，术语“计算机可读存储介质”用于指代用于存储计算机可执行指令并将其提供给扫描系统550以供处理器555执行的任何介质。这些介质的示例包括存储器565以及例如经由网络(未示出)直接地或间接地与扫描系统550通信地耦合的任何可移动或外部存储介质(未示出)。

图5B示出了具有单个线性阵列640的线扫描相机，该单个线性阵列可以被实现为电荷耦合装置(“CCD”)阵列。单个线性阵列640包括多个单独像素645。在所示的实施方案中，单个线性阵列640具有4096个像素。在可选的实施方案中，线性阵列640可以具有更多或更少的像素。例如，线性阵列的常见格式包括512个、1024个和4096个像素。像素645以线性方式布置以限定线性阵列640的视野625(例如，对应于视野25)。视野625的大小根据扫描仪系统550的放大率而变化。

图5C示出了具有三个线性阵列的线扫描相机，该三个线性阵列中的每一个可以被实现为CCD阵列。三个线性阵列进行组合以形成色彩阵列650。在一个实施方案中，色彩阵列650中的每个单独线性阵列检测不同的色彩强度，例如红色、绿色或蓝色。来自色彩阵列650中的每个单独线性阵列的色彩图像数据进行组合以形成色彩图像数据的单个视野625。

图5D示出了具有多个线性阵列的线扫描相机，该多个线性阵列中的每一个可以被实现为CCD阵列。多个线性阵列进行组合以形成TDI阵列655。有利地，TDI线扫描相机可以通过对来自样本的先前成像区域的强度数据求和而产生SNR的与线性阵列(也称为积分级)的数量的平方根成比例的增加在其输出信号中提供显著更好的SNR。TDI线扫描相机可以包括更多数量的线性阵列。例如，TDI线扫描相机的常见格式包括24个、32个、48个、64个、96个、120个和甚至更多的线性阵列。

提供所公开的实施方案的以上描述以使得本领域的任何技术人员能够制造或使用本发明。对这些实施方案的各种修改对于本领域的技术人员来说将显而易见，并且在不脱离本发明的精神或范围的情况下，本文所描述的一般原理可以应用于其他实施方案。因此，应理解，本文所呈现的描述和附图表示本发明的当前优选实施方案，并且因此表示通过本发明广泛地设想的主题。还应理解，本发明的范围完全地涵盖对于本领域的技术人员来说可以变得明显的其他实施方案，并且本发明的范围相应地不受限制。

Claims (15)

1.一种数字载片扫描设备，所述数字载片扫描设备包括：

台，所述台被配置为支撑玻璃载片；

高分辨率相机；

第一透镜，所述第一透镜限定到所述高分辨率相机的微距图像光学路径，其中所述第一透镜被配置为向所述高分辨率相机提供视野，并且其中所述视野具有基本上等于玻璃载片的完整宽度的宽度；

第一照明系统，所述第一照明系统与所述第一透镜光耦合并且被配置用于从所述台上的玻璃载片下方对所述视野进行透射模式照明；

第二照明系统，所述第二照明系统与所述第一透镜光耦合并且被配置用于从所述台上的玻璃载片上方对所述视野进行反射模式照明，其中所述第二照明系统被配置为以一定模式使照明光成角度，使得所述第二照明系统的照明光基本上不沿着所述光学路径反射到所述高分辨率相机；以及

至少一个处理器，所述至少一个处理器被配置为在台支撑玻璃载片时，

当所述视野由所述第一照明系统照明时，在所述玻璃载片在所述第一透镜下方时使用所述高分辨率相机来捕获所述玻璃载片上的样本的第一微距图像，

当所述视野由所述第二照明系统照明时，在所述玻璃载片在所述第一透镜下方时使用所述高分辨率相机来捕获所述玻璃载片上的所述样本的第二微距图像，

识别所述第二微距图像中的图像伪影；以及

基于所述第二微距图像中的所述识别的图像伪影，校正所述第一微距图像以生成修改的第一微距图像。

2.如任一前述权利要求所述的数字载片扫描设备，其中所述至少一个处理器还被配置为使用所述修改的第一微距图像来发现所述样本中的组织并且选择初始焦点以用于扫描所述样本。

3.如任一前述权利要求所述的数字载片扫描设备，其中所述第一照明系统还包括漫射器。

4.如任一前述权利要求所述的数字载片扫描设备，其中在所述第二微距图像之前捕获所述第一微距图像。

5.如权利要求1至3中任一项所述的数字载片扫描设备，其中在所述第二微距图像之后捕获所述第一微距图像。

6.如任一前述权利要求所述的数字载片扫描设备，所述数字载片扫描设备还包括第二透镜，所述第二透镜用于以高放大率捕获高分辨率图像，其中所述第二透镜限定到所述高分辨率图像的另一个光学路径，所述另一个光学路径不同于所述微距图像光学路径，并且其中所述第二透镜被配置为提供比所述第一透镜小的视野，所述视野具有小于玻璃载片的完整宽度的宽度。

7.如任一前述权利要求所述的数字载片扫描设备，其中识别所述第二微距图像中的图像伪影包括从所述第二微距图像生成伪影掩模。

8.如权利要求7所述的数字载片扫描设备，其中校正所述第一微距图像包括将所述伪影掩模应用于所述第一微距图像。

9.如权利要求8所述的数字载片扫描设备，其中校正所述第一微距图像包括在将所述伪影掩模应用于所述第一微距图像之前，对所述第一微距图像进行预处理以将照明校正、背景偏移或背景噪声去除中的一者或多者应用于所述第一微距图像。

10.如权利要求7至9中任一项所述的数字载片扫描设备，其中识别所述第二微距图像中的伪影包括在生成所述伪影掩模之前，对所述第二微距图像进行预处理以将背景偏移应用于所述第二微距图像。

11.如任一前述权利要求所述的数字载片扫描设备，其中所述至少一个处理器还被配置为基于所述修改的第一微距图像来确定所述样本的要扫描的区域。

12.如任一前述权利要求所述的数字载片扫描设备，其中校正所述第一微距图像包括根据所述第一微距图像中的表示伪影的像素周围的像素的强度水平来改变表示伪影的那些像素的强度水平。

13.如任一前述权利要求所述的数字载片扫描设备，

其中捕获所述第一微距图像包括在第一方向上移动所述台以在所述玻璃载片在所述第一透镜下方的单程期间使用所述高分辨率相机来捕获所述玻璃载片上的所述样本的所述第一微距图像，并且

其中捕获所述第二微距图像包括在第二方向上移动所述台以在所述玻璃载片在所述第一透镜下方的单程期间使用所述高分辨率相机来捕获所述玻璃载片上的所述样本的所述第二微距图像。

14.如权利要求13所述的数字载片扫描设备，其中所述第二方向与所述第一方向相反。

15.一种用于在数字载片扫描设备中生成微距图像的方法，所述数字载片扫描设备包括：台，所述台被配置为支撑玻璃载片；高分辨率相机；透镜，所述透镜限定到所述高分辨率相机的微距图像光学路径并且被配置为向所述高分辨率相机提供视野，所述视野具有基本上等于玻璃载片的完整宽度的宽度；第一照明系统，所述第一照明系统与第一透镜光耦合并且被配置用于从所述台上的玻璃载片下方对所述视野进行透射模式照明；第二照明系统，所述第二照明系统与所述第一透镜光耦合并且被配置用于从所述台上的玻璃载片上方对所述视野进行反射模式照明；以及至少一个处理器，所述方法包括由所述数字载片扫描设备的所述至少一个处理器：

当所述视野由所述第一照明系统照明时，在所述玻璃载片在所述第一透镜下方时使用所述高分辨率相机来捕获所述玻璃载片上的样本的第一微距图像；

当所述视野由所述第二照明系统照明时，在所述玻璃载片在所述第一透镜下方时使用所述高分辨率相机来捕获所述玻璃载片上的所述样本的第二微距图像；

识别所述第二微距图像中的图像伪影；以及

基于所述第二微距图像中的所述识别的图像伪影，校正所述第一微距图像以生成修改的第一微距图像。

Images