CN110476101B - 用于病理学的增强现实显微镜 - Google Patents

Abstract

由病理学家用来查看包含生物样品(诸如组织或血液)的切片类型的显微镜，在切片被移动到新位置或发生放大率或聚焦方面的改变时，该显微镜基本上实时地被提供有对视野的增加物(诸如热图、边界或注释)的投射。增加物帮助病理学家对(诸如对癌细胞或病原体的存在呈阳性的)样品进行表征或分类。

Description

用于病理学的增强现实显微镜

技术领域

本公开涉及病理学领域，并且更具体地涉及一种用于帮助病理学家对生物样品(诸如血液或组织)进行分类的改进的显微镜系统和方法，这些生物样品例如包含癌细胞或包含病理试剂(诸如原生动物疟原虫或结核细菌)。

背景技术

为了对生物样品(诸如组织)进行表征或分类，将样品放置在显微镜切片上，并且病理学家利用显微镜对该样品进行放大观察。样品可以利用诸如苏木精和伊红(hematoxylin and eosin，H&E)的试剂染色，以使样品中潜在感兴趣的特征更容易被看到。可选地，可以利用高分辨率数字扫描仪对样品进行染色和扫描，并且病理学家在工作站或计算机的屏幕上观察样品的放大图像。

例如，淋巴结转移的评估是许多类型的实体瘤(包括乳腺癌)的分期的核心。该过程需要高度熟练的病理学家，非常耗时且容易出错，尤其是对于癌症呈阴性或具有小的癌症病灶的结。目前的护理标准包括检查已经利用苏木精和伊红染色的结活检的数字切片。然而，手动阅读有几个固有的局限性，包括读者疲劳，以及分级者内和分级者间的可靠性，这些都会负面影响过程的敏感性。淋巴结活检切片的准确查看和评估非常重要，因为淋巴结组织中肿瘤细胞的存在可能需要对癌症进行新的或更积极的治疗，并提高患者的生存机会。

现有技术包括对深度学习技术和经训练的神经网络适应于数字组织图像的背景以便改进癌症诊断、表征和/或分期的描述。相关背景技术包括以下文章：G.Litjens等人的《深度学习作为用于提高组织病理学诊断准确性和效率的工具》(Deep learning as atool for increasing accuracy and efficiency of histopathological diagnosis)，www.nature.com/scientificreports 6：26286(2016年5月)；D.Wang等人的《用于标识转移性乳腺癌的深度学习》(Deep Learning for Identifying Metastatic Breast Cancer)，ARXiv：1606.05718v1(2016年6月)；A.Madabhushi等人的《数字病理学中的图像分析和机器学习：挑战和机遇》(Image analysis and machine learning in digital pathology:Challenges and opportunities)，医学图像分析33,p.170-175(2016)；A.Schuamberg等人的《H&E染色全切片深度学习预测前列腺癌中的SPOP突变状态》(H&E-stained Whole SlideDeep Learning Predicts SPOP Mutation State in Prostate Cancer)，bioRxiv预印本http:/.bioRxiv.or/content/early/2016/07/17/064279。其他感兴趣的现有技术包括Quinn等人的《基于显微镜的护理点诊断的深度卷积神经网络》(Deep ConvolutionalNeural Networks for Microscopy-based Point of Care Diagnostics)，2016年国际医疗保健机器学习会议记录。

本领域已经描述了增大显微镜的视野以辅助外科手术的几个示例。见美国专利申请公开2016/0183779和公开的PCT申请WO 2016/130424A1。另请参见Watson等人的《增强显微术：亮场和近红外荧光图像的实时覆盖》(Augmented microscopy:real-time overlayof bright-field and near-infrared fluorescence images)，生物医学光学杂志，vol.20(10)2015年10月。

发明内容

一方面，描述了一种用于利用显微镜帮助查看包含生物样品(血液、组织、痰、粪便等)的显微镜切片的方法。该方法包括利用相机捕获通过显微镜的目镜看到的样品的视野的放大数字图像的步骤。机器学习模式识别器接收图像，并根据数字图像中的数据标识样品中的感兴趣的区域。这些感兴趣的区域可以是可能含有癌细胞的区域，或者在其他应用中是血液样品中的原生动物疟原虫的标识，该原生动物疟原虫在痰样品中引起疟疾或结核细菌。该方法还包括将增加物(enhancement)作为覆盖叠置在通过显微镜目镜的视野上的步骤。根据特定的应用，增加物可以采取几种形式，诸如包含癌细胞的可能性高的“热图”或彩色编码区域、感兴趣区域边界、注释(诸如用于前列腺组织样品的格里森评分)、测量值或其他标记。在用户相对于显微镜光学器件移动样品或改变放大率或聚焦时，新图像被相机捕获并将其供应给机器学习模式识别器，并且新的感兴趣区域边界、注释和/或其他类型的增加物被覆盖在通过目镜的视野上。在病理学家相对于显微镜光学器件移动切片、改变聚焦或改变放大率并继续通过目镜观察样本时，覆盖在视野上的新增加物的显示基本上实时发生(即，在几秒钟或甚至几分之一秒内)。覆盖的增加物帮助病理学家根据样品的类型对(例如包含癌细胞或癌组织，或包含病原体的)生物样品进行分类或表征。

本公开还可以表征为呈显微镜的形式的系统，该系统具有用于容纳包含生物样品的切片的载物台和目镜、捕获通过显微镜的目镜看到的样品的放大数字图像的数字相机、以及包括从相机接收图像的机器学习模式识别器的计算单元。模式识别器被训练来执行“推理”，即在当前放置在载物台上的生物样品中标识感兴趣的区域(例如癌细胞或癌组织、诸如病毒的病原体、原生动物或细菌、寄生虫卵等)。模式识别器识别由相机捕获的图像上的感兴趣区域。计算单元以感兴趣区域边界、注释、热图和/或其他信息的形式生成覆盖在通过目镜的视图上的增加物。在用户相对于显微镜移动样品或改变放大率或聚焦时，会生成附加的增加物。

在一方面，提供了一种用于帮助用户利用具有目镜的显微镜查看包含生物样品的切片的方法，包括以下步骤：(a)利用相机捕获通过显微镜的目镜看到的样品的视图的数字图像，(b)使用机器学习模式识别器从由相机捕获的图像中标识样品中的感兴趣区域，以及(c)将增加物作为覆盖叠置到通过显微镜的目镜看到的样品的视图上，其中增加物基于样品中所标识的感兴趣区域，(d)其中，当样品相对于显微镜光学器件被移动时，或者当显微镜的放大率或聚焦改变时，样品的新视图的新数字图像被相机捕获并被供应给机器学习模式识别器，并且新的增加物被基本实时地叠置到通过目镜看到的样品的新视图上，由此该增加物帮助用户对生物样品进行分类或表征。

步骤(b)可以还包括使用推理加速器来促进增加物的基本实时的生成的步骤。该方法可以还包括在耦合到显微镜的计算单元中提供接口以接收用于不同类型的生物样品的新的机器学习模式识别器并将其本地存储在计算单元中的步骤。生物样品可以是从由组织、淋巴结、血液、痰、尿液、粪便、水、土壤和食物组成的样品组选择的类型。感兴趣区域可以包括癌细胞或癌组织、细胞结构、细胞类型或病原体，其中病原体可选地是从由疟原虫、结核杆菌、疟疾原生动物、病毒、寄生虫卵组成的组中选择的病原体。增加物可以从由热图、感兴趣区域边界、注释、格里森评分、分类可能性预测、细胞计数和物理测量值组成的增加物组中选择，其中物理测量值可选地是肿瘤直径。该方法可以还包括在与显微镜相关联的工作站的监视器上显示来自一个或多个其他样品的一个或多个图像区域的步骤，一个或多个其他样品与显微镜的当前视图中的样品相似。该方法可以还包括显示与所显示的一个或多个其他样品相关联的元数据的步骤。

该方法可以还包括将通过显微镜的目镜看到的样品的视图的图像数据和增加物输出到外部显示器的步骤。显微镜可以还包括用于支撑和相对于目镜移动切片的机动载物台，并且其中该方法还包括使用显微镜机动载物台和数字相机以及机器学习模式识别器来对生物样品中的潜在感兴趣区域执行初步检测的步骤。该方法可以还包括控制机动载物台来移动该载物台以放置潜在感兴趣区域以便由用户观看以及在潜在感兴趣区域中的每一个处生成增加物的步骤。该方法可以还包括将具有叠置的增加物的显微镜样品的视图与从包含生物样品的切片的全切片扫描获得的样品的孤立的数字图像集成以生成样品的集成视图的步骤。该方法可以还包括在样品的集成视图上突出显示样品视图的步骤。显微镜可以还包括用于支撑和相对于目镜移动切片的机动载物台，并且其中该方法还包括在孤立的数字图像上指定区域并且移动机动载物台使得所指定的区域位于显微镜的视野中的步骤。该方法可以还包括将与所指定的区域相关联的信息投射在孤立的数字图像上作为对样品的视图的增加物，其中所投射的信息可选地包括标签和/或注释。

该方法可以还包括通过网络从远程数据源下载机器学习模式识别器的附加集合的步骤。该方法还可以包括：接收指示显微镜放大率的数据；以及基于所接收的数据选择多个机器学习模式识别器中的机器学习模式识别器。所选择的机器学习模式识别器可以用于从由相机捕获的图像中标识样品中的感兴趣区域。

在一方面，提供了一种用于帮助用户查看包含生物样品的切片的系统，包括：显微镜，该显微镜具有用于容纳包含生物样品的切片的载物台、至少一个物镜和目镜；数字相机，该数字相机被配置为捕获通过该显微镜的目镜看到的样品的视图的数字图像；计算单元，该计算单元包括机器学习模式识别器，该机器学习模式识别器被配置为从该数字相机接收数字图像，其中该模式识别器被训练为标识当前放置在载物台上的类型的生物样品中的感兴趣区域，并且其中该模式识别器识别由该相机捕获的数字图像上的感兴趣区域，并且其中该计算单元生成表示对通过显微镜的目镜看到的样品视图的增加物的数据，其中该增加物基于样品中的感兴趣区域；耦合到目镜的一个或多个光学组件，用于将该增加物叠置在视野上；其中该相机、计算单元和一个或多个光学组件被配置成使得当样品相对于显微镜光学器件被移动时，或者当显微镜的放大率或聚焦改变时，样品的新视图的新数字图像被相机捕获并被供应给机器学习模式识别器，并且新的增加物被基本上实时地叠置到通过目镜看到的样品的新视野上。

相机可以基本上连续操作以按帧速率捕获数字图像。该系统可以还包括对数字图像进行操作的推理加速器，以促进增加物的基本实时生成。该系统可以还包括计算机单元中的到便携式计算机存储介质的接口，该便携式计算机存储介质包含用于不同类型生物样品的新的机器学习模式识别器。生物样品可以是从由组织、淋巴结、血液、痰、尿液、粪便、水、土壤和食物组成的样品组中选择的类型。感兴趣区域可以包括癌细胞或癌组织、细胞结构、细胞类型或病原体，其中病原体可选地从由疟原虫、结核杆菌、疟疾原生动物、病毒、寄生虫卵组成的组中选择。增加物可以从由热图、感兴趣区域边界、注释、格里森评分、分类可能性预测、细胞计数和物理测量值组成的增加物组中选择，其中物理测量值可选地是肿瘤直径。该系统可以还包括与显微镜相关联的外部工作站，该外部工作站具有显示器，该显示器显示来自一个或多个其他样品的一个或多个图像区域，一个或多个其它样品与显微镜当前视图中的样品相似。显示器可以显示与所显示的一个或多个其他样品相关联的元数据。该系统可以还包括显示器，并且其中计算单元在显示器上输出通过显微镜看到的样品的视图的图像数据以及增加物。

显微镜载物台可以包括用于支撑和相对于目镜移动切片的机动载物台，并且其中该显微镜、机动载物台、数字相机和机器学习模式识别器以对生物样品中的潜在感兴趣区域执行初步检测的模式操作。电机可以被配置为移动载物台以放置潜在感兴趣区域中的每一个以便由用户观看，并且其中计算单元和一个或多个光学组件在潜在感兴趣区域中的每一个处生成增加物。该系统可以还包括外部工作站，该外部工作站具有耦合到计算单元的显示器，并且其中显微镜上的具有叠置的增加物的样品视图与从包含生物样品的切片的全切片扫描获得的样品的孤立的数字图像集成并显示在显示器上，以生成样品的集成视图。计算单元可以呈通用计算机的形式，其具有到数字相机的接口和到一个或多个光学组件的接口。计算单元可以还包括到计算机网络的接口。

在进一步的方面，在具有显微镜目镜、用于容纳包含样品的切片的载物台、以及用于捕获显微镜目镜的视野的图像的数字相机的显微镜系统中，提供了改进，该改进包括：耦合到显微镜的计算单元，该计算单元包括耦合到显微镜的深度神经网络模式识别器的集合，该深度神经网络模式识别器以不同放大率在一组样品切片上训练，该集合接收由相机生成的图像。

计算单元可以还包括到便携式计算机存储介质的接口，该便携式计算机存储介质包含用于不同类型生物样品或显微镜应用的新机器学习模式识别器。

在进一步的方面，提供了一种装置，该装置以组合的方式包括：便携式计算机存储介质的集，每个便携式计算机存储介质包含用于要由病理学家使用显微镜观察的不同类型的生物样品的不同的机器学习模式识别器，不同的机器学习模式识别器中的每一个以机器学习模式识别器的集合的形式以不同的放大等级进行训练。

在进一步的方面，提供了一种训练机器学习模式识别器的方法，包括：a)获得包含给定类型的生物样品的多个切片的全切片图像；b)对该全切片图像执行参数变形，以便模拟由耦合到显微镜的目镜的相机捕获的数字图像的光学质量；以及c)使用步骤b)中变形的全切片图像来训练机器学习模式识别器。

在进一步的方面，提供了一种训练机器学习模式识别器的方法，包括：a)利用由病理学家使用的类型的具有相机和一个以上的物镜的显微镜，以显微镜的一个以上的物镜提供的不同放大率在显微镜的视野中获得生物样品的多个数字图像；和b)使用在步骤a)中获得的图像训练机器学习模式识别器的集合，集合中的每个成员以与物镜中的一个相关联的特定放大率来训练。

该方法可以还包括对不同类型的生物样品重复步骤a)和b)从而生成机器学习模式识别器的多个不同集合的步骤。该方法可以还包括将机器学习模式识别器的多个不同集合中的每一个存储到便携式计算机存储介质上的步骤。

本公开的方法和系统实现了几个显著的优点，包括在显微镜的视野中的感兴趣区域增加物的基本实时的显示。光路本身没有被中断，即病理学家仍然在显微镜目镜的视野中观察实际切片，而不是数字表示。覆盖在视野上的增加物可以采取多种形式，这些形式可以根据样品的类型进行修整。另外，在一些实施例中，硬件和软件设计的模块化方法允许在计算单元中运行任何类型的检测或分类模式识别模型。示例包括：

a)一般肿瘤或癌细胞的存在(例如前列腺癌、乳腺癌)或淋巴结组织中癌症的存在；

b)检测样品中的疟原虫或结核杆菌；

c)检测组织特征，如巨噬细胞等；

d)组织样品的深度表征，例如，检测显示格里森3和格里森4特性的前列腺组织，以及用户选择表征的水平或程度；

d)除病理学外，使用光学显微镜的任何检测或分类任务，例如电子组件的质量控制检查。

与病理学家从所扫描的数字图像中标识感兴趣区域相比，本公开的方法和系统提供了几个优点，并且总体上为病理学提供了有吸引力的新的替代性方法。首先，病理学家习惯于在显微镜上观察物理玻璃切片，而不是在屏幕上观察数字图像。显微镜具有更大的视野，并且能够在z平面上聚焦，而全切片扫描图像并不总是这样，在许多格式中，全切片扫描图像仅在最佳但单一的聚焦深度上捕获图像。物理显微镜通常比扫描的数字图像具有更好的光学质量，这对于边缘病例的诊断或表征是有用的。附加地，病理学家不必担心全切片扫描仪是否遗漏了小组织碎片或在小视野中失焦。另外，使用物理切片可以实现快速诊断，无需延迟扫描和上传切片。附加地，全切片扫描仪及相关联的设备和工作站非常昂贵，在某些情况下成本高达数十万美元，比具有本公开的特征的显微镜多几个数量级。

另外，载物台式显微镜的小的形状因子和低光焦度要求使得在偏远地区使用本公开的显微镜(例如在非洲或偏远的太平洋岛屿进行疟疾检测或癌症筛查)是可行的。附加地，通过提供本地或离线地运行推理的能力，无需上传数据，这消除了数据共享限制、互联网连接以及上传带宽要求。

在本公开的另一方面，一种系统包括存储在一组切片上以不同放大率训练的深度神经网络模式识别器的集合的计算单元，该计算单元耦合到具有数字相机和光学器件的显微镜，用于将增加物叠置或覆盖到通过显微镜目镜的当前视图上。在一个实施例中，存在存储在分立的便携式计算机存储介质(例如SD卡等)上的几个这样的集合，一个集合用于模式识别应用中的每一个类型。我们设想一种模块化系统，其中计算单元具有接口(例如SD卡插槽)，用于接收多个独立SD卡中的任何一个，每个SD卡装载有用于特定应用(例如乳腺癌检测、前列腺癌检测、疟疾检测等)的模式识别器的集合，从而使显微镜能够随着病理学家的需求发展而为不同的病理应用装配和升级软件和模型。

可选地，计算单元中的接口可以连接到局域网或广域网(诸如因特网)，并且机器学习模式识别器的附加集合可以从远程位置(诸如远程数据存储装置、云或远程服务器)下载到计算单元。

如本文所用，术语“生物样品”旨在广义地定义为涵括血液或血液成分、来自植物或动物的组织或组织片段、痰、粪便、尿液或其他身体物质，以及可能含有病原体的水、土壤或食物样品。

附图说明

图1是用于病理学的增强现实显微镜系统的示意图，其与可选连接的病理学家工作站结合示出。

图2A是在给定放大等级(例如10x)下示出乳腺癌样品的显微镜视野的图示。图2B是由病理学家使用图1的显微镜看到的增强视图的图示，其中增加物以“热图”的形式叠加在样品中可能癌变的、配准的威尔细胞的视野上。图2B中热图的叠置帮助病理学家表征样品，因为它将他们的注意力引向特别可能癌变的感兴趣区域。如果病理学家要改变显微镜物镜(例如，更换为40X透镜)以便放大图2B的热图区域，则将通过显微镜目镜看到样品的新视野，捕获新图像，并且基本上实时地(例如，用一秒或两秒)将新热图覆盖在视野(未示出)上，以进一步帮助病理学家对样品进行研究。

图3A是在给定放大等级(例如10x)下示出前列腺癌样品的显微镜视野的图示。图3B是由病理学家使用图1的显微镜看到的增强的视图的图示，其中呈轮廓形式的增加物叠置在包围样品中可能癌变的细胞的视野上。增加物还包括提供注释的文本框，在此示例中为格里森评分分级和肿瘤大小数据。图3B中的轮廓和注释的叠置帮助病理学家表征样品，因为它将他们的注意力引向特别可能癌变的感兴趣区域，并为样品提供建议的评分。如果病理学家要改变焦平面位置或深度(即，调整显微镜的聚焦)，以便在不同深度处探测轮廓内的感兴趣区域，则样品的新视野将通过显微镜目镜看到并由相机捕获，并且基本上实时地(例如，在一秒或两秒内)将新的增加物(未示出)(例如轮廓和注释文本框)覆盖在视野上，以进一步帮助病理学家对样品进行研究。

图4A是在低放大率下通过显微镜的血液样品的视野的图示。图4B示出了图4A的视野，但是其中呈矩形的形式的标识样品中存在疟原虫(疟原虫属)的增加物被覆盖在视野上，以帮助病理学家表征样品。

图5是图1的计算单元的更详细的框图。

图6是示出图1的系统的工作流程的流程图。

图7是示出用于解释呈热图的形式的增加物的颜色代码或级别的图表。

图8是机器学习模式识别器的图示，其形式是在一组显微镜切片图像上预先训练的独立深度卷积神经网络的集合。集合的每个成员都在特定的放大等级下被训练。

图9是一组便携式计算机存储介质的图示，存储介质中的每一个加载有代码、参数和相关联数据，这些数据表示用于特定应用(诸如乳腺组织中乳腺癌的检测、前列腺组织中癌细胞的检测和表征等)的、在一组显微镜切片图像上训练的独立深度卷积神经网络的集合。想要增强显微镜系统能力的图1的系统的用户可以获得图9的一个或多个介质，并将相关联的深度卷积神经网络的集合加载到图1和图5的本地计算单元中。可选地，可以通过计算单元中的网络接口从远程数据存储装置下载深度卷积神经网络的附加集合。

具体实施方式

图1是用于病理学的增强现实显微镜系统100的示意图，其与可选连接的病理学家工作站140结合示出。系统100包括常规的病理学家显微镜102，其包括目镜104(在立体显微镜的情况下，可选地为第二目镜)。载物台110支撑包含生物样品的切片114。照明源112投射光穿过样品。显微镜物镜108如箭头106所示那样将样品的图像引向光学模块120。在显微镜中设置附加的透镜108A和108B，用于提供不同的放大等级。聚焦调节旋钮160允许用户改变透镜108的聚焦深度。

显微镜包括光学模块120，该光学模块结合了诸如半透镜122或光束组合器/分离器的部件，用于将增加物覆盖到通过目镜的视野上。光学模块120允许病理学家像在常规显微镜中一样看到显微镜的视野，并且根据需要或自动地将增加物(热图、边界或轮廓、注释等)视为视野上的覆盖，该增加物由增强现实(augmented reality，AR)显示生成单元128和透镜130投射到视野中。由显示单元128生成的图像通过半透镜122与显微镜视野相结合。作为半透镜的替代方案，可以在光路中放置液晶显示器(liquid crystal display，LCD)，该液晶显示器使用透射阴像将增加物投射到光路中。

光学模块120可以采取各种不同的形式，并且在本领域中使用各种术语来描述这种模块。例如，它被称为“投射单元”、“图像注入模块”或“光学透视显示技术”。描述这种单元的文献包括美国专利申请公开2016/0183779(见图1、11、12、13的描述)和公开的PCT申请WO 2016/130424A1(见图2、3、4A至4C的描述)；Watson等人的《增强显微术：亮场和近红外荧光图像的实时覆盖》(Augmented microscopy:real-time overlay of bright-field andnear-infrared fluorescence images)，《生物医学光学杂志》，vol.20(10)October 2015；Edwards等人的《使用手术显微镜的增强现实》(Augmentation of Reality Using anOperating Microscope)，图像引导外科手术杂志(J.Image Guided Surgery)，Vol.1no.3(1995)；Edwards等人的《外科显微镜中的立体增强现实》(Stereoaugmented reality inthe surgical microscope)，医学与虚拟现实相遇(19997)J.D.Westward等(编辑)IOS出版社，第102页。

半透镜122将显微镜的视野导向目镜104并且还导向数字相机124。相机的透镜未示出，但为常规透镜。相机可以采用以例如每秒10或30帧操作的高分辨率(例如1600万像素)相机的形式。数字相机捕获通过显微镜的目镜看到的样品的放大图像。由相机捕获的数字图像被供应给计算单元126。将在图5中更详细地描述计算单元126。可选地，相机可以采用超高分辨率数字相机的形式，诸如由Cannon开发并于2015年9月宣布的APS-H-尺寸(大约29.2x 20.2mm)2.5亿像素CMOS传感器。

简而言之，计算单元126包括从相机接收图像的机器学习模式识别器。机器学习模式识别器可以采用深度卷积神经网络的形式，该深度卷积神经网络在与被检生物样品的类型相同的一组显微镜切片图像上进行训练。附加地，模式识别器优选地采取模式识别器的集合的形式，每个模式识别器在一组切片上以不同的放大等级(例如，5X、10X、20X、40X)进行训练。模式识别器被训练在当前放置在载物台上的生物样品的图像中标识感兴趣区域(例如癌细胞或癌组织、诸如病毒或细菌的病原体、寄生虫卵等)。模式识别器识别由相机124捕获的图像上的感兴趣区域。计算单元126生成表示对用户所见的样品的视图的增加物的数据，该增加物由AR显示单元128生成和投射，并通过半透镜122与目镜视野组合。

由相机124对图像的基本连续的捕获、由模式识别器对图像的推理的快速执行、以及作为覆盖在视野上的增加物的生成和投射，使得图1的系统100能够继续提供对视野的增加物，并且当操作者通过切换到不同的物镜108A或108B来改变放大率，或者通过操作聚焦旋钮160来改变聚焦深度来在切片周围导航(例如，通过使用驱动载物台的电机116)时，帮助病理学家基本实时地表征或分类样本。这是本领域的重大进步，并且是对使用显微镜的常规病理学的改进。

所谓“基本实时”，我们是指在改变放大率、改变聚焦深度或导航并且然后停在切片上的新位置处的10秒钟内，将增加物或覆盖投射到视野上。实际上，如下文所解释的那样，在可选地使用推理加速器的情况下，我们预期在大多数情况下，新的覆盖可以在聚焦变化、放大率变化或切片位置变化的一秒或两秒甚至几分之一秒内生成并投射到视野上。

总之，然后公开了一种利用具有目镜104的显微镜102帮助用户(例如病理学家)查看包含生物样品的切片114的方法。该方法包括以下步骤：利用相机124捕获用户通过显微镜的目镜看到的样品的数字图像，使用机器学习模式识别器(200，图5，图8)从由相机124捕获的图像中标识样品中的感兴趣区域，并且将增加物作为覆盖叠置到用户通过显微镜的目镜看到的样品视图上。在用户相对于显微镜光学器件移动样品或改变显微镜的放大率或聚焦时，新的图像被相机捕获并被供应给机器学习模式识别器，并且新的增加物被基本实时地覆盖到通过目镜看到的样品的新视图上。所覆盖的增加物帮助用户对生物样品进行分类。

图2A是在给定放大等级(例如10X)下示出乳腺癌样品152的显微镜视野150的图示。图2A示出了没有增加物的视野，如现有技术的显微镜那样。图2B是由病理学家使用图1的显微镜看到的增强视图的图示，其中增加物154以“热图”的形式叠加在样品中可能癌变的配准的威尔细胞的视野上。“热图”是表示可能癌变的组织的一组像素，这些像素根据图7的代码着色以突出显示包含癌细胞的高概率(例如红色的)区域。图2B中热图154的叠置帮助病理学家表征样品，因为它将他们的注意力引向特别可能癌变的感兴趣区域。如果病理学家要改变显微镜物镜(例如，选择图1中的透镜108A)以便放大图2B的热图区域154(例如，改变为40X透镜)，则样品的新视野将通过显微镜目镜看到并指向相机。相机124捕获新图像，并且基本上实时地(例如，用一秒或两秒)生成新的热图154(未示出)并将其覆盖在视野上，以进一步帮助病理学家以更高的放大率对样品进行研究。

在一种可能的配置中，显微镜102包括标识哪个显微镜物镜当前处于对对样品进行成像的位置的能力(例如，利用开关或通过对控制包含透镜的转载物台的操作的显微镜电子设备的用户指令)，并且使用简单的电子设备将这种标识传递到计算单元126，使得模式识别器集合中的正确的机器学习模式识别模块(见下面的图8)被赋予对新的视野图像执行推理的任务。

图3A是在给定放大等级(例如10X)下示出前列腺癌样品的显微镜视野150的图示，如没有本公开的能力的常规显微镜那样。图3B是由病理学家使用图1的显微镜看到的增强视野150的图示，其中增加物以轮廓156的形式叠置在包围样品中可能癌变的细胞的视野上。增加物还包括提供注释的文本框，在此示例中为格里森(Gleason)评分分级和大小测量值。在这个特定示例中，注释是轮廓内87％的细胞是格里森3级评分，13％的细胞是格里森4级评分，并且由格里森4级评分的细胞组成的肿瘤的直径是0.12μm。

另一可能的增加物是样品细胞癌变的置信度评分。例如，增加物可以采取概率或置信度评分的形式，诸如轮廓中的细胞是格里森3级的85％的置信度，以及轮廓中的细胞是格里森4级的15％的置信度。此外，测量值(0.12μm)可以是整个轮廓区域的直径。

图3B中的轮廓和注释的叠置帮助病理学家表征样品，因为它将他们的注意力引向特别可能癌变的感兴趣区域，并为样品提供建议的评分。如果病理学家要改变显微镜的聚焦深度以便探测轮廓156内的感兴趣区域，则样品的新视野将通过显微镜目镜看到并由相机124捕获，并且基本上实时地(例如，在一秒或两秒内)将新的增加物(例如轮廓和注释文本框)覆盖在视野(未示出)上，以进一步帮助病理学家对样品进行研究。图1的系统可选地包括病理学家打开或关闭增加物投射的能力，例如通过在图1的附属工作站140上提供对系统的控制，在计算单元126上提供简单的用户界面，或者通过打开和关闭AR显示单元128的脚踏开关。

图4A是在低放大率下通过血液样品的显微镜的视野150的假设性图示，如在常规显微镜中看到的那样。该视图包括各种血液碎片(红细胞和白细胞)和诸如血小板的成分。图4B示出了图4A的同一视野，但是其中呈矩形156形式的标识样品中存在的疟原虫(疟原虫属)的增加物被覆盖在视野上，以帮助病理学家表征样品，在这种情况下为疟疾阳性。

以下表1列出了用于病理学的典型显微镜的光学特性和可以在图1中使用的相机124的数字分辨率。

表1

*基于16MP摄相机

图5是图1的计算单元126的一种可能形式的框图。本质上，在一种可能的配置中，计算单元是专用计算机系统，其被设计为执行图1的系统的所需任务，包括对捕获的图像执行推理，生成用于视野的覆盖的数字数据，可选的推理加速以足够快地执行推理操作，从而实现增加物的基本实时的显示，以及加载附加的机器学习模型(模式识别器)以支持附加的病理学任务的能力。

在图5中，计算单元包括深度卷积神经网络模式识别器200，深度卷积神经网络模式识别器200的形式为存储用于神经网络的处理指令和参数的存储器202和用于对所捕获的图像执行推理的中央处理单元204。该模块还可以包括图形卡206，用于基于来自模式识别器200的推理结果来生成覆盖的数字数据(例如，热图、注释、轮廓等)。存储器212包括处理指令，用于基于当前的放大等级选择适当的机器学习模型，并与远程工作站140(图1)协调共享视野图像，以及本文所解释的其他任务。计算单元还可以包括推理加速器214，以加速对所捕获的图像的执行推理。计算单元还包括到系统的其他组件的各种接口，包括用于从相机接收数字图像的接口(未示出)(诸如USB端口)、用于将数字显示数据发送到AR显示单元128的接口(例如，网络电缆端口或HDMI端口)208、到工作站140的接口(例如，网络电缆端口)216、以及使计算单元能够接收和下载包含附加模式识别器的便携式介质(见图9)的接口210(例如，SC读卡器)，以扩展系统的能力，从而对不同的病理学应用执行模式识别和覆盖生成。高速总线220或网络连接计算单元126中的模块。实际上，附加的硬盘驱动器、处理器或其他组件可以存在于计算单元中，其细节并不特别重要。

在另一可能的配置中，计算单元126可以采取被增强为具有(多个)模式识别器和加速器的通用计算机(例如PC)以及如图5所示的图形处理模块的形式。如图1所示，个人计算机具有到相机的接口(例如，从相机接收数字图像数据的USB端口)、到AR投射单元的接口(例如，HDMI端口)和使得能够下载附加的模式识别器和/或与远程工作站通信的网络接口。

在使用中，假设多个不同的模式识别器被加载到计算单元中，则自动样本类型检测器或手动选择器在样本相关模式识别模型(例如，前列腺癌vs乳腺癌vs疟疾检测)之间切换，并且基于此选择合适的机器学习模式识别器或模型。如前面所解释的那样，切片移动到新位置(例如，通过使用驱动载物台的电机116)或切换到另一显微镜物镜108(即放大)触发增加物的更新。可选地，如果仅改变放大率，在不同放大等级下操作的不同模型的集合(见图8)对样本执行推理，并且推理结果可以组合在切片的相同位置。在2017年2月23日提交的题为“用于帮助病理学家在放大组织图像中标识肿瘤细胞的方法和系统(Method andSystem for Assisting Pathologist Identification of Tumor Cells in MagnifiedTissue Images)”的序列号为PCT/US17/019051的未决PCT申请中描述了如何执行该操作的进一步细节，其内容通过引用结合于此。另一选择是，计算单元可以通过从显微镜到计算单元的简单电子通信从显微镜中知道当前的放大率。显微镜监控用户将哪个透镜放入光路，并将选择信息传送给计算单元。

在图5的计算单元中使用的以200示出的类型的深度卷积神经网络模式识别器在模式识别和机器视觉领域中是众所周知的，并且因此为了简洁起见省略了对其的详细描述。科学文献中描述了当前模式识别器所基于的谷歌Inception-v3深度卷积神经网络架构。参见以下参考文献，其内容通过引用结合于此：C.Szegedy等人的《深入卷积》(GoingDeeper with Convolutions)，arXiv:1409.4842[cs.CV](2014年9月)；C.Szegedy等人的《重新思考计算机视觉的初始架构》(Rethinking the Inception Architecture forComputer Vision)，arXiv：1512.00567[cs.CV](2015年12月)；另见C.Szegedy等人的于2015年8月28日提交的序列号为14/839,452的美国专利申请“使用深度神经网络处理图像(Processing Images Using Deep Neural Networks)”。被称为Inception-v4的第四代被认为是模式识别器306的替代架构。参见C.Szegedy等人的《Inception-v4，Inception-ResNet和剩余连接对学习的影响》(Inception-v4,Inception-ResNet and the Impact ofResidual Connections on Learning)，arXiv:1602.0761[cs.CV](2016年2月)。另见于2016年12月30日提交的序列号为15/395,530的美国专利申请“图像分类神经网络(ImageClassification Neural Networks)”。这些论文和专利申请中对卷积神经网络的描述通过引用并入本文。

描述深层神经网络模式识别器的其他文献包括以下项：G.Litjens等人的《深度学习作为用于提高组织病理学诊断准确性和效率的工具》(Deep learning as a tool forincreasing accuracy and efficiency of histopathological diagnosis)，www.nature.com/scientificreports 6：26286(2016年5月)；王.Wang等人的《用于标识转移性乳腺癌的深度学习》(Deep Learning for Identifying Metastatic BreastCancer)，ARXiv：1606.05718v1(2016年6月)；A.Madabhushi等人的《数字病理学中的图像分析和机器学习：挑战和机遇》(Image analysis and machine learning in digitalpathology:Challenges and opportunities)，医学图像分析(Medical Image Analysis)33,p.170-175(2016)；A.Schuamberg等人的《H&E染色全切片深度学习预测前列腺癌中的SPOP突变状态》(H&E-stained Whole Slide Deep Learning Predicts SPOP MutationState in Prostate Cancer)，bioRxiv预印本http:/.bioRxiv.or/content/early/2016/07/17/064279。

用于训练深度神经网络模式识别器200的训练切片源可以通过对感兴趣的样品类型的一组切片进行全切片扫描从零开始生成。例如，用于训练的切片图像可以从加利福尼亚州的圣地亚哥海军医学中心(Naval Medical Center in San Diego，NMCSD)和公众可获得的来源(诸如CAMELYON16挑战赛和癌症基因组图谱(The Cancer Genome Atlas，TCGA))获得。可选地，它们可以从由图1的相机捕获的不同切片的一组图像中生成。

用于染色切片的数字全切片扫描仪和系统在本领域中是已知的。这种设备和相关系统可从Aperio科技公司、浜松光电公司、飞利浦、Ventana医疗系统公司和其他公司获得。数字全切片图像可以以第一放大等级(例如40X)获得，这是惯例的。可以对图像进行上采样或下采样，从而获得其他放大率的训练图像。可选地，可以以不同的放大率(例如，以常规手动显微镜提供的每个放大等级)多次扫描训练切片。

推理速度

在一些实施方式中，可以对作为显微镜的整个视野的数字图像进行推理。在其他情况下，可能期望仅对图像的一部分(诸如位于视野中心周围的几个299×299矩形像素片)执行推理，或者对视野的某个较大部分执行推理。

使用具有299x299像素输入尺寸的基于Inception-v3的模型和16MP相机，光学FoV的球形区域的密集覆盖(2700个像素的直径)需要～120个片推理。如果推理只针对中间三分之一运行(增加推理粒度，并将另外三分之二用作上下文)，则需要～1200个推理调用。如果添加旋转和翻转或者集成(ensembling)，则可能需要附加的推理调用。

表2列出了使用现有技术水平的图形处理单元和推理加速器的推理调用次数和推理时间。

表2

*假设每秒150次推理，Inception-v3

**假设在使用推理加速器系统的情况下为每秒56000次推理

假设相机124以每秒30帧(fps)运行，以获得无缝的基本接近实时的体验，具有旋转、翻转和集成的合理组合的密集覆盖是可能的。

推理加速器(214，图5)

推理加速器(也称为人工智能(AI)加速器)是一类新兴的微处理器或协处理器，该类微处理器或协处理器被设计为加速执行用于模式识别的输入数据集的推理的过程。这些系统目前采用定制专用集成电路芯片(application-specific integrated circuitchip，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)、图形处理单元(graphics processing unit，GPU)和通用计算单元的组合形式。在图1的系统的一些应用中，可能期望的是在计算单元126中包括推理加速器，如图5所示。在本领域中描述了推理加速器，参见Jonathon Ross等人的题为“神经网络处理器(Neural Network Processor)”的美国专利申请公开2016/0342891，并且这些推理加速器目前市场上可获得，诸如NVidia TM和Tesla TM P40和P4 GPU加速器以及英特尔TM深度学习推理加速器。

在简单的实施方式中，图1的系统可以仅使用插入到标准PC(计算单元126)中的USB相机输出，该标准PC执行模式识别，并经由图形卡输出接口(例如，HDMI)将覆盖图形(增加物)输出到AR显示设备。该推理可以由标准PC中的图形处理单元(GPU)完成。在这种配置中，设备上的推理加速器是可选的，并且不是必需的。在需要更快的推理的情况下，计算机稍后可以利用现成的推理加速器作为插件模块进行增强。

增加物的生成

投射到视野上的增加物的生成可以如下执行：

1)计算单元126中的机器学习模式识别器200在视野上运行模型推理，以创建每个区域的肿瘤概率(这里使用癌症检测作为示例)。

2a)热图：将视野中的每个图像片的肿瘤概率被转换成颜色值(例如，RGB)，并且将这些颜色值缝合在一起以创建热图。这个任务可以由图形卡206执行。

2b)多边形轮廓：肿瘤概率以某个评分(例如概率>50％)阈值化，并且剩余区域(或多个区域，如果有几个未连接的区域的话)的边界形成多边形轮廓。同样，这个任务可以由图形卡206来执行。

3)来自步骤2a或2b数字图像数据由AR显示单元128转换成显示器上的图像，然后由透镜130和半透镜120投射到光路中。

附加地，图形卡206可以单独或与来自机器学习模式识别器的输出一起生成用于包括在数字增加物数据中的格里森评分分级、注释等，并向AR显示模块128提供这种附加增加物。

显微镜与计算机关于切片上的位置的通信。

实际上，在某些情况下，除了病理学家使用图1的显微镜系统之外，对样本切片执行全切片扫描可能是有用的。在这种情形下，全切片扫描可以驻留在工作站140上(或者由工作站140和计算单元126共享)。多种可能的用途可以由视野的增加物构成，包括：

1.在全切片图像上突出显示显微镜当前视野(field of view，FoV)(例如，用于教学目的)。FoV的定位可以通过显微镜图像到全切片图像的图像配准(image registration)来完成，或者通过使用驱动显微镜载物台110的电机116来完成，其中电机坐标被映射到全切片图像坐标上。

2.显微镜FoV自动导航到切片上的指定区域。例如，显微镜可以在“预扫描”模式下操作，在该模式下，电机116驱动显微镜切片到一系列的X-Y位置，并且在每个位置处利用相机获得低放大率图像。图像被传递到计算单元126中的机器学习模式识别器，并且模式识别器从包含感兴趣区域(例如，可能癌变的细胞)的相应位置标识那些图像。然后，在病理学家使用期间，电机116可被操作以驱动切片到那些位置，操作者被提示研究每个位置处的视野，并利用适当的增加物(热图、轮廓等)来增强视野。在这个实施例中，计算单元可以结合显微镜的用户界面来操作，以帮助病理学家的工作流程。这种用户界面可以被结合在显微镜本身中，或者被呈现在工作站140的显示器142中。例如，在图1中，工作站140包括显示显微镜的当前视野150的显示器142。通过使用鼠标146或键盘144，病理学家可以在工作站上输入命令，以使显微镜载物台电机116步进经过切片上包含感兴趣区域的一系列位置。可以在全切片图像上执行低放大率下的潜在感兴趣区域的标识，并且可以使用电机坐标到切片坐标的映射将潜在感兴趣区域的位置转换成切片坐标。

3.将标签和注释从全切片图像转移到显微镜图像

由全切片扫描仪获得的样本切片的全切片图像可以被提供为具有用于图像中的各种感兴趣对象的标签或注释。因为可以获得全切片图像和机动载物台110上的切片之间的配准(例如，根据电机116位置到全切片图像坐标的映射)，所以可以将标签和注释转移到通过目镜看到的显微镜图像上。通过以下方式这是可能的：将标签和注释提供给计算单元中的图形卡206，并且然后当电机驱动滑块到其中存在这种标签和注释的坐标时，将这种标签和注释的数字数据提供给AR显示单元128。

获得全切片图像和显微镜上的切片之间的配准的方法可以被实施为算法解决方案，或者通过使用计算机视觉方法(诸如图像配准)来定位对应于相机图像的全切片图像的区域来实施。

4.将视野连同预测输出到本地储存器，用于例如在病理学报告中使用

实际上，病理学家可能期望记录他们在表征或分类样品方面的工作。这种记录可以采用视野(有或没有增加物)的数字图像的形式，这些数字图像可以被生成和存储(例如，在计算单元的存储器212中)，并且然后经由接口216将它们传输到附属的病理工作站140。工作站软件通常包括工作流软件，病理学家在对样品执行分类或表征任务并生成报告时遵循该工作流软件。这种软件包括工具(例如图标或提示)，这允许病理学家将被存储在存储器212中的视野的存储数字图像和相关注释或增加物插入到报告中。

系统中可以包括另外的可选特征。

A.用于在监视器上显示视野的输出端口

计算单元包括接口或端口216，用于将计算单元连接到附属的外围病理学家工作站140。该接口允许由相机捕获的视野和由图形卡生成的任何增加物被传输到工作站140的监视器142。

B.根据需要连接的监视器显示与当前视野中的图像区域相似的图像区域，带有注释等。

在一种可能的配置中，工作站140的监视器142显示来自其他切片(例如，来自其他患者)的与当前视野中的图像区域“相似”的图像区域，以及对于(多个)其他切片可能存在的任何增加物或注释。具体地，工作站140可以包括加载有来自其他患者的一组其他切片的数字图像数据的存储器，并且潜在地有数百或数千个这样的切片。工作站可以包括模式识别器，该模式识别器对所有这种其他数字切片图像执行显微镜上的切片视野的模式识别，并选择最接近视野的图像。视野(即，存储在存储器中的选定数字切片的部分)可以在工作站140的显示器142上与通过显微镜100的当前视野一起被呈现。存储在工作站上的存储器中的切片中的每一个都与元数据(诸如患者诊断、日期、治疗、治疗后的结果或存活数据、年龄、吸烟者状况等)相关联。所选择的数字切片的视野的显示可以利用元数据的显示来增强。

增加物的示例

1.热图

图2B示出了彩色像素的覆盖的形式的“热图”的示例，该热图标识特别感兴趣的区域，例如可能包含癌细胞的区域。热图通过在视野上向病理学家呈现覆盖来帮助病理学家查看切片，在该覆盖中，包含肿瘤细胞的高概率的切片的离散区域(即像素的群组)以特定颜色(例如暗红色)指示。相反，视野中包含肿瘤细胞的概率相对较低的区域可以被单独留下，或者以对比色(例如蓝色或紫色)再现。热图图像可以伴随有一系列不同区域，在这些区域中存在包含肿瘤细胞的高概率的细胞群组。

在一个实施例中，由相机124捕获的数字切片图像中的小的像素(“片”)群组的评分范围在从0.0到1.0。具有最高评分的热图的区域被显示为暗红色，而具有最低评分的热图的区域或者被单独留下(未增强)，或者被示出为另一种对比色，诸如紫色。图7的代码22基本上使用可见光谱(即彩虹的颜色)来给肿瘤概率评分分配颜色。然而，可能仅使用可见光谱的一部分，例如仅生成肿瘤概率可能性大于0.5的像素的增加物。而且，在又一个可能的可替代的实施例中，只有灰度级可以用于代码，例如，其中白色对应于评分0，黑色对应于评分1，并且灰度级构成0和1之间的值。例如，可以使用单个颜色(例如绿色)，并且不透明度(灰度)可以用于编码肿瘤概率。

在2017年2月23日提交的序列号为PCT/US17/019051的待决PCT申请“用于帮助病理学家在放大组织图像中标识肿瘤细胞的方法和系统(Method and System forAssisting Pathologist Identification of Tumor Cells in Magnified TissueImages)”中描述了关于热图和肿瘤概率评分的生成和计算的进一步细节，该申请通过引用结合于此。

2.感兴趣区域的轮廓和注释

图3B示出了感兴趣区域的轮廓的示例，轮廓可以如上所述生成并被投射在视野上。轮廓可以伴随有文本材料(注释)，诸如格里森评分、大小的测量值(例如肿瘤直径)、癌症可能性预测、细胞计数或其他相关病理学信息。尺寸测量值数据(例如，“肿瘤直径2mm”)的显示是可能的，因为计算单元知道当前物镜光焦度，并且因此可以将图像数据的像素转换成物理单元。这种测量值可以触发附加的标签或注释，诸如“微转移”vs“宏转移”。注释还可以包括统计数据，诸如癌细胞的图像阳性的百分比和癌细胞图像阴性的百分比，以及置信度或概率评分。

3.标识对象的矩形

图4B示出了围绕感兴趣对象放置的矩形或边界框的使用示例。这种方法可以用于例如标识食物、血液、水或其他类型生物样品中的细菌(例如结核病)、原生动物(例如疟原虫)、寄生虫卵或其他病原体。矩形可以伴随有附加信息，诸如注释(如大小)、置信度或概率评分、样本标识等，这取决于应用。

工作流程

图6是示出使用图1的系统的工作流程的流程图。在步骤302，用户将新切片114插入到显微镜载物台110上。在步骤304，样本分类器或手动选择(例如，通过使用附属的工作站140或通过显微镜或计算单元上的用户界面控件)根据切片上的样本的类型选择模式识别模型(例如，乳腺癌、前列腺癌、疟疾)，并且计算单元中的相关机器学习模式识别器被标记以供操作。

在步骤306，视野的图像被数字相机124捕获并发送到计算单元126。如果操作者移动切片(例如，通过在摇摄模式下操作载物台电机116)，则由相机捕获视野的新图像。类似地，如果操作者改变物镜108(例如，放大或缩小)，则捕获新图像。新图像被发送到计算单元126。(实际上，相机124可以以例如每秒10或30帧的连续帧速率操作，并且计算单元中的视野的更新可以基本上是连续的，而不仅仅是当载物台位置或物镜改变时)。

在步骤312，视野的图像作为输入被提供给计算单元126(图5)中的相关机器学习模式识别器200，以执行推理。实际上，步骤312可以与相机124的帧速率同步地重复执行。

在步骤314，计算单元126中的图形卡或GPU 206生成对应于与样品类型相关的增加物或增强物的数字图像数据，并且这个数字图像数据被提供给AR显示单元128，以便投射到视野上，供病理学家在目镜104中观察。

计算单元可以包括控件(例如，通过附属的工作站)，通过这些控件，用户可以指定他们希望看到的被投射到视野上的注释或增加物的类型，从而给用户关于他们希望显微镜如何在增强现实模式下操作的控制。例如，用户可以只以热图的形式指定增加物。作为另一示例，如果样本是血液样品，则用户可以指定呈矩形的形式的、标识样品中存在的疟原虫的增加物。在前列腺样品中，用户可以指定格里森评分为3或更高的细胞周围的边界或轮廓，以及诸如前面图3B中所示出和描述的注释。作为另一示例，可以向用户提供开关(例如脚踏开关)以打开和关闭投射，并且因此在显微镜视野中显示增加物。

机器学习模式识别器的集合

应当注意，图1的系统被设计成与提供几个不同物镜和放大等级的显微镜结合使用。通常，特定的模式识别器或机器学习模型以特定放大等级在一组训练切片上训练。因此，为了适应用户在检查给定样品期间改变物镜的可能性，计算单元的优选实施例包括模式识别器的集合，每个模式识别器以不同放大等级在图像数据上训练。例如，在图8中，示出了四个不同模式识别器(406A、406B、406C和406D)的集合。模式识别器中的每一个采用深度卷积神经网络的形式，深度卷积神经网络以特定放大率在一组数字切片图像上训练。例如，模式识别器406A在40X放大切片图像上训练。模式识别器406B在20X放大切片图像上训练。模式识别器406C在10X放大切片图像上训练。模式识别器406D在5X放大切片图像上训练。理想情况下，模式识别器训练的放大等级中的每一个对应于图1的显微镜上可用的放大等级。这不是必需的，因为如果显微镜放大率和训练切片放大率之间存在不匹配，则由相机124捕获的显微镜图像可以被上采样或下采样以对应于模式识别器的放大等级。

在操作中，根据显微镜上使用的当前物镜，将片(即显微镜FoV的一部分，诸如299×299矩形像素片)402A、402B、402C或402D作为输入404A、404B、404C或404D提供给相关图案识别器406A、406B、406C、406D。在热图应用中，0和1之间的像素片的评分以多项式逻辑回归的形式生成为神经网络模式识别器406A、406B、406C、406D的最后一层，其生成呈0和1之间的概率的形式的、该输入数据(片)属于哪一类(这里是健康的vs有肿瘤的)的预测。多项式逻辑回归在监督学习和优化领域是众所周知的，有时被称为“Softmax回归”。可在网(http://ufldl.stanford.edu/tutorial/supervised/SoftmaxRegression/)上找到的教程提供了进一步的细节，其通过引用结合于此。因此，输出408A、408B、408C、408D是像素片的评分。

在一种配置中，对形成显微镜的视野的所有片执行生成像素片的评分的过程。输出408A、408B、408C、408D被提供给计算单元中的图形卡(GPU)206，以生成表示增强(在本示例中为热图)的数据。在载物台保持静止但用户改变放大率的情形下下，可以使用图8中示出的集合成员中的两个来生成热图，一个用于第一放大率，以及一个用于第二放大率。理论上，可以组合集合成员的输出。因此，在一种变型中，在使用集合的多个成员的情况下，例如在聚焦平面中存在变化的情况下，多个输出408A、408B、408C或408D被供应给组合器功能250，该组合器功能250组合输出并将数据发送到图形卡。进一步的细节在先前引用的于2017年2月23日提交的PCT专利申请中进行了描述。

还应当理解，计算单元优选地包括在显微镜用于的病理学应用(例如，乳腺癌组织、淋巴结组织、前列腺组织、疟疾等)中的每一个的不同放大等级下在显微镜切片图像上训练的模式识别器的集合，如图8所示。

具有机器学习模式识别器的便携式介质

在一个实施例中，图1和图5的计算单元126包括硬件配置，用于接收和本地存储针对不同类型的生物样品或显微镜应用的新训练的模式识别器/机器学习模型。这个配置例如在图5中被示为SD卡接口210，其允许包含机器学习模型的单个SD卡被插入到计算单元中，并且内容被下载并存储在存储器202中。图9示出了一组900SD卡的示例，包括卡902、904、906和908。每个卡包含用于特定病理学应用的机器学习模式识别器的模型参数、过滤器系数、可执行代码和其他细节，诸如乳腺组织中癌细胞的标识(卡902)、前列腺组织中癌细胞的标识(卡904)、血液样品中结核分枝杆菌的标识(卡906)、用于疟疾检测的血液样品中疟原虫原生动物的标识(卡908)。在这种设计中，计算单元可以被提供为例如具有用于普通病理学应用(例如巴氏涂片中的癌细胞检测)的机器学习模型的标准装备，并且用户可以从提供商或来源获得附加的卡或卡组900，以提高显微镜用于其他病理学应用的能力。以这种方式，操作显微镜的实验室可以根据需要或根据市场要求，针对特定的病理学应用，修整他们对显微镜中增强现实的需求。实验室不需要创建模型，而是服务提供商可以与一组训练切片图像分离地创建这些模型，验证模型以确保鲁棒性和通用性，并且然后创建包含此类模型的便携式存储介质(诸如SD卡)，并根据需要将它们提供给客户。

虽然SD卡在图9中示出，但是当然也可以使用能够存储机器学习模式识别模型的存储器设备的其他物理格式，包括当前可用的那些格式和将来生成的那些格式。计算单元也可以连接到计算机网络，并通过诸如接口216(图5)的计算机接口下载附加的机器学习模型(或模型集合)。

特定应用

虽然已经描述了显微镜用于病理学查看的几个特定应用，包括乳腺癌检测、前列腺癌检测、病原体(例如疟原虫、结核病、疟疾寄生虫、寄生虫卵)标识等，但应当理解，病理学领域中的其他应用当然是可能的。附加地，图1的系统的原理可以扩展到显微镜的其他应用，诸如小零件的质量控制检查、食品安全或检查、水质监测等。

独立系统

具有本地计算单元和(多个)模式识别模型的图1的显微镜系统理想地适合作为本地独立系统。只要它能为图1和图5中示出的电子设备提供合适的电源，它就可以被认为是便携式的，并可以在远程位置使用。在其最基本的形式中，它不需要任何互联网或其他网络连接，并且附属的外围工作站140也不是绝对必要的。计算单元可以带有它自己的附属的用户界面(未示出)或控件来打开或关闭增强、选择模型、针对所选择的特定放大率改变到适当的机器学习模型以及任何其他辅助任务。用户界面的设计可以采取任何合适的形式，诸如简单的触摸屏和图标来引导用户提供合适的选择。

联网配置

在另一配置中，图1的系统可以在联网环境中实施，其中计算单元连接到远程服务器，例如，以获得新的机器学习模型或在孤立的平台上执行推理或推理加速。例如，先前结合远程工作站140的显示描述的处理任务中的一些可以在工作站上本地执行或者在远离计算单元和工作站两者的联网计算机上执行。

电机驱动载物台110/116

电机驱动载物台110(其在病理学显微镜中很常见)的结合允许形成附加的功能以进一步帮助病理学家。例如，电机116可以将切片驱动到一系列位置，以利用整个切片的相机捕获低放大率图像。然后将低放大率图像供应给计算单元中的在低放大等级下训练的机器学习模式识别器，以提供可疑区域(例如，可能含有癌细胞或可能含有结核分枝杆菌的区域)的初步检测。然后，显微镜载物台可以在一系列步骤中被自动驱动到包含潜在相关区域的那些域。切片的增量定位可以根据用户的命令来执行，例如，通过用于显微镜的控件或通过所附属的工作站的用户界面来执行。

利用当前的技术，在短时间内以40X对全切片进行详尽的搜索以获得感兴趣区域当前是不可行的。然而，使用图1的系统，使用能够以低放大率检测可疑区域并且然后仅在需要时进行放大的低放大率模型当前是可行的。

模型训练

在一些实施方式中，从相机124获得的图像在光学质量或分辨率方面可以不同于机器学习模式识别器在其上训练的全切片扫描仪的图像。数字相机124和相关联的光学组件的质量与此有很大关系，并且理想地，数字相机和相关联的光学组件的质量与用于捕获训练切片图像的光学组件和相机的质量相同或几乎相同。虽然图像分辨率应该是可比的，但是来自显微镜相机124的图像可能具有一些伪影(诸如几何失真)，这些伪影在全切片扫描仪训练图像中不存在或较少存在。理论上，收集显微镜特定的训练图像用于训练新模型是可能的。然而，这不是一个特别可扩展的解决方案。更实用的解决方案是确保基于全切片图像的模式识别模型推广到由相机124捕获的显微镜图像。如果利用默认模型进行推广是不可接受的，那么应该可以根据全切片图像扫描生成人工训练数据，这些扫描“看起来”像它们相对应的显微镜相机图像。这种人工训练数据可以通过将参数变形引入到全切片图像扫描图像并使用经变形的图像用于训练来生成。这种参数变形的示例包括扭曲、添加噪声、降低分辨率、模糊和对比度调整。

替代性方案是使用显微镜的相机根据多个切片生成大量的训练图像，然后使用这些图像来训练模型，而不是使用从全切片扫描仪中获得图像。

另一替代性方案是训练生成式对抗网络(generative adversarial network，GAN)来产生用于训练机器学习模式识别器的图像。

进一步的考虑

图1的相机124的图像质量是重要的考虑。由于相机实时流通常是图像源，因此应研究实时流中图像的图像质量与从全切片扫描仪获得并用于训练的静止图像(通常是高质量)的比较情况，以及这对模型性能的影响。

一个特别的挑战是人眼的光学分辨率远远高于当前的数字相机的分辨率。例如，为了检测微小的转移，对相同的转移，机器学习模型与人类可能需要的相比可能需要进一步放大(切换到更高的光焦度物镜)。解决这一问题的一种方法是，当用户查看潜在感兴趣的区域时，提示用户切换到高(或更高)放大等级，并且然后以更高的光焦度生成新的增加物。另一方法是使用超高分辨率相机，诸如Cannon 2.5亿像素的CMOS传感器。

如上所述，包括半透镜122的光学组件120应该被放置在光路中，使得它再现最佳视觉体验。在一种可能的配置中，显微镜可以采用具有两个目镜的立体显微镜的形式，并且可以将增加物投射到一个或两个目镜的视野中。

另一考虑是确保在与相机相同的配准的情况下，眼睛看到视野上的增加物或覆盖。这可以使用存在于视野中的基准标志和由相机捕获的图像来执行。

还应注意的是，可以存在于被检查切片的全切片图像上的标签可以被转移到相机图像并被投射到视野中，例如，使用图像配准技术，如前所述，

由用户对光学器件进行的改变(例如聚焦、屈光度校正)将影响相机图像和所显示的图像上的图像质量。相机图像需要保持清晰和高质量，使得可以执行推理。在一种可能的配置中，计算单元包括图像质量检测器模块，该图像质量检测器模块评估图像何时足够好以执行推理。如果图像不具有足够好的质量，可以提示用户进行适当的校正，诸如调整焦距或对显微镜进行其他光学调整。

先前还注意到，本公开的增强现实显微镜适用于其他用途，诸如检查或质量控制，例如在电子组件或其他产品的制造中，其中检查通过显微镜进行。因此，作为本公开的附加方面，已经公开了一种用于帮助用户利用具有目镜的显微镜查看物体(例如，制造的物体)的方法，包括以下步骤：(a)利用相机捕获由用户通过显微镜目镜看到的物体的数字图像，(b)使用机器学习模式识别器从由相机捕获的图像中识别物体中的感兴趣区域(例如，缺陷)，以及(c)将增加物作为覆盖叠置到由用户通过显微镜的目镜看到的物体的视图。在用户相对于显微镜光学器件移动样品，并且然后停止或改变显微镜的放大率或聚焦时，新的数字图像被相机捕获并被供应给机器学习模式识别器，并且新的增加物被基本实时地叠置到通过目镜看到的物体的新视图上，由此增加物帮助用户对对象进行分类或表征。所附权利要求的特征被认为适用于这种变化，其中代替切片上的生物样品，物体(例如，制造的物体、计算机芯片、小零件等)通过显微镜被查看，并且相机捕获在显微镜视野中看到的物体的图像。

一方面还可以提供一种帮助用户查看包含生物样品的切片的系统，该系统以组合的方式包括：显微镜，该显微镜具有用于容纳包含生物样品的切片的载物台、至少一个物镜和目镜；数字相机，该数字相机捕获通过显微镜的目镜看到的样品的放大数字图像；计算单元，该计算单元包括从数字相机接收数字图像的机器学习模式识别器，其中该模式识别器被训练为标识当前放置在载物台上的类型的生物样品中的感兴趣区域，并且其中该模式识别器识别由该相机捕获的数字图像上的感兴趣区域，并且其中该计算单元生成表示对用户通过目镜看到的样品的视野的增加物的数据；耦合到目镜的一个或多个光学组件，用于将增加物叠置在视野上；其中该相机、计算单元和一个或多个光学组件操作，使得在用户相对于显微镜光学器件移动样品，并且然后停止或改变显微镜的放大率或聚焦时，由相机捕获新的数字图像并将其供应给机器学习模式识别器，并且新的增加物被基本实时地叠置到通过目镜看到的样品的新视野上。

尽管特别地描述了当前优选的实施例，但是所有关于本发明范围的问题都将通过参考根据前述内容解释的所附权利要求来回答。

Claims (32)

1.一种用于帮助用户利用具有目镜和具有不同放大率的多个物镜的显微镜查看包含生物样品的切片的方法，所述方法包括以下步骤：

(a)利用相机捕获通过所述显微镜的多个物镜中的第一物镜和目镜看到的样品的当前视野的数字图像，

(b)使用第一机器学习模式识别器从由所述相机捕获的图像中标识所述样品中的感兴趣区域，第一机器学习模式识别器是基于第一物镜的放大率从模式识别器的集合中选择的，每个相应的模式识别器是以不同放大率在图像数据上训练的，以及

(c)通过目镜并且作为当前视野上的覆盖将增加物叠置到通过显微镜的目镜看到的样品的当前视野上，其中，所述增加物基于所述样品中的所标识的感兴趣区域，

(d)其中，当所述显微镜的放大率通过切换到所述多个物镜中的第二物镜而发生改变时，所述样品的新视野的新数字图像被所述相机捕获并被供应给第二机器学习模式识别器，第二机器学习模式识别器是基于第二物镜的放大率从模式识别器的集合中选择的，并且作为覆盖新的增加物被基本实时地叠置在通过目镜看到的样品的新视野上，由此所述增加物帮助用户对所述生物样品进行分类或表征。

2.根据权利要求1所述的方法，其中，步骤(b)还包括使用推理加速器来促进所述增加物的基本实时的生成的步骤。

3.根据权利要求1所述的方法，还包括在耦合到所述显微镜的计算单元中提供接口以接收用于不同类型的生物样品的新的机器学习模式识别器并将其本地存储在所述计算单元中的步骤。

4.根据权利要求1至3中任一项所述的方法，其中，所述生物样品是从由包括淋巴结的组织、血液、痰、尿液、粪便、水、土壤和食物组成的样品组中选择的类型。

5.根据权利要求1至3中任一项所述的方法，其中，所述感兴趣区域包括癌细胞或癌组织、细胞结构、细胞类型或病原体，其中，所述病原体是从由疟原虫、结核杆菌、疟疾原生动物、病毒、寄生虫卵组成的组中选择的病原体。

6.根据权利要求1至3中任一项所述的方法，其中，所述增加物从由热图、感兴趣区域边界、注释、格里森评分、分类可能性预测、细胞计数和物理测量值组成的增加物组中选择，其中，所述物理测量值是肿瘤直径。

7.根据权利要求1至3中任一项所述的方法，还包括在与所述显微镜相关联的工作站的监视器上显示来自一个或多个其他样品的一个或多个图像区域的步骤，所述一个或多个其他样品与所述显微镜的当前视野中的样品相似。

8.根据权利要求7所述的方法，还包括显示与所显示的一个或多个其他样品相关联的元数据的步骤。

9.根据权利要求1至3中任一项所述的方法，还包括将通过所述显微镜的目镜看到的样品的当前视野的图像数据和增加物输出到外部显示器的步骤。

10.根据权利要求1至3中任一项所述的方法，其中，所述显微镜还包括用于支撑和相对于所述目镜移动切片的机动载物台，并且其中，所述方法还包括使用显微镜机动载物台和数字相机以及机器学习模式识别器来执行所述生物样品中的潜在感兴趣区域的初步检测的步骤。

11.根据权利要求10所述的方法，还包括控制所述机动载物台来移动所述载物台以放置所述潜在感兴趣区域以便由用户观看以及在所述潜在感兴趣区域中的每一个区域处生成增加物的步骤。

12.根据权利要求1至3中任一项所述的方法，还包括将具有所叠置的增加物的显微镜的样品的视野与从包含所述生物样品的切片的全切片扫描获得的样品的孤立的数字图像集成以生成所述样品的集成视图的步骤。

13.根据权利要求12所述的方法，还包括在所述样品的集成视图上突出显示所述样品的当前视野的步骤。

14.根据权利要求12所述的方法，其中，所述显微镜还包括用于支撑和相对于所述目镜移动切片的机动载物台，并且其中，所述方法还包括在所述孤立的数字图像上指定区域并且移动所述机动载物台使得所指定的区域位于所述显微镜的视野中的步骤。

15.根据权利要求14所述的方法，还包括将与所指定的区域相关联的信息投射在所述孤立的数字图像上作为在所述显微镜的视野中对所述样品的增加物，其中，所述投射的信息包括标签。

16.根据权利要求14所述的方法，还包括将与所指定的区域相关联的信息投射在所述孤立的数字图像上作为在所述显微镜的视野中对所述样品的增加物，其中，所述投射的信息包括注释。

17.根据权利要求1至3中任一项所述的方法，还包括通过网络从远程数据源下载机器学习模式识别器的附加集合的步骤。

18.一种帮助用户查看包含生物样品的切片的系统，包括：

显微镜，所述显微镜具有用于容纳包含生物样品的切片的载物台、具有不同放大率的多个物镜和目镜，

数字相机，所述数字相机被配置为捕获通过所述显微镜的多个物镜中的第一物镜和目镜看到的样品的当前视野的数字图像，

计算单元，所述计算单元包括机器学习模式识别器的集合，所述机器学习模式识别器的集合中的每个机器学习模式识别器被配置为从所述数字相机接收数字图像，并被训练为标识当前放置在所述载物台上的类型的生物样品中的感兴趣区域，其中每个相应的机器学习模式识别器是以不同放大率在图像数据上训练的，并且其中，所述机器学习模式识别器的集合中的第一机器学习模式识别器识别由所述数字相机捕获的数字图像上的感兴趣区域，该第一机器学习模式识别器是基于第一物镜的放大率从所述机器学习模式识别器的集合中选择的，并且其中，所述计算单元生成表示对通过所述显微镜的目镜看到的样品的当前视野的增加物的数据，其中，所述增加物基于所述样品中的感兴趣区域；以及

耦合到所述目镜的一个或多个光学组件，所述一个或多个光学组件用于将所述增加物叠置在视野上；

其中，所述数字相机、计算单元和一个或多个光学组件被配置成使得当显微镜的放大率通过切换到所述多个物镜中的第二物镜而发生改变时，所述样品的新视野的新数字图像被所述数字相机捕获并被供应给所述机器学习模式识别器的集合中的第二机器学习模式识别器，第二机器学习模式识别器是基于第二物镜的放大率从机器学习模式识别器的集合中选择的，并且新的增加物被基本上实时地叠置到通过所述目镜看到的样品的新视野上。

19.根据权利要求18所述的系统，其中，所述数字相机基本上连续操作以按帧速率捕获数字图像。

20.根据权利要求18所述的系统，还包括对所述数字图像进行操作的推理加速器，以促进所述增加物的基本实时生成。

21.根据权利要求18至20中任一项所述的系统，还包括在计算单元中的到便携式计算机存储介质的接口，所述便携式计算机存储介质包含用于不同类型的生物样品的新的机器学习模式识别器。

22.根据权利要求18至20中任一项所述的系统，其中，所述生物样品是从由包括淋巴结的组织、血液、痰、尿液、粪便、水、土壤和食物组成的样品组中选择的类型。

23.根据权利要求18至20中任一项所述的系统，其中，所述感兴趣区域包括癌细胞或癌组织、细胞结构、细胞类型或病原体，其中，所述病原体从由疟原虫、结核杆菌、疟疾原生动物、病毒、寄生虫卵组成的组中选择。

24.根据权利要求18至20中任一项所述的系统，其中，所述增加物从由热图、感兴趣区域边界、注释、格里森评分、分类可能性预测、细胞计数和物理测量值组成的增加物组中选择，其中，所述物理测量值是肿瘤直径。

25.根据权利要求18至20中任一项所述的系统，还包括与显微镜相关联的外部工作站，所述外部工作站具有显示器，所述显示器显示来自一个或多个其他样品的一个或多个图像区域，所述一个或多个其它样品与所述显微镜的当前视野中的样品相似。

26.根据权利要求25所述的系统，其中，所述显示器显示与所显示的一个或多个其他样品相关联的元数据。

27.根据权利要求18至20中任一项所述的系统，其中，所述系统还包括显示器，并且其中，所述计算单元在所述显示器上输出通过所述显微镜看到的样品的当前视野的图像数据以及所述增加物。

28.根据权利要求18至20中任一项所述的系统，其中，所述显微镜载物台包括用于支撑和相对于所述目镜移动切片的机动载物台，并且其中，所述显微镜、机动载物台、数字相机和机器学习模式识别器以对所述生物样品中的潜在感兴趣区域执行初步检测的模式操作。

29.根据权利要求28所述的系统，其中，电机被配置为移动所述载物台以放置所述潜在感兴趣区域中的每一个区域以便由用户观看，并且其中，所述计算单元和一个或多个光学组件在所述潜在感兴趣区域中的每一个区域处生成增加物。

30.根据权利要求18至20中任一项所述的系统，还包括外部工作站，所述外部工作站具有耦合到所述计算单元的显示器，并且其中，所述显微镜上的具有所叠置的增加物的样品的视野与从包含生物样品的切片的全切片扫描获得的样品的孤立的数字图像集成并显示在所述显示器上，以生成样品的集成视图。

31.根据权利要求18至20中任一项所述的系统，其中，所述计算单元呈通用计算机的形式，其具有到所述数字相机的接口和到所述一个或多个光学组件的接口。

32.根据权利要求18至20中任一项所述的系统，其中，所述计算单元还包括到计算机网络的接口。

Images