CN113366530A - 计算机支持的组织学图像中的肿瘤审查和术后肿瘤切缘评估 - Google Patents

Abstract

提供了一种用于在组织学图像中标识和可视化肿瘤并且测量肿瘤切缘的计算机装置和方法。CNN被用于根据它们被确定为与非肿瘤组织相关联还是与肿瘤组织的一个或多个类别相关联来对图像中的像素进行分类。分割是基于CNN结果执行的以生成掩模，掩模标记由各个肿瘤占据的区域。针对每个肿瘤的概要统计数据被计算并且供应给过滤器，过滤器通过滤出被认为不重要的肿瘤来编辑分割掩模。可选地，通过过滤器的肿瘤可以根据概要统计数据来排名，例如按照临床相关性的顺序或者通过病理学的合理审查顺序。可视化应用然后可以考虑到分割掩模、概要统计数据和/或排名来显示组织学图像。由切除提取的肿瘤块是用着墨涂刷的，以突出显示其表面区域。CNN被训练，以区分着墨与无无着墨组织以及肿瘤与无肿瘤组织。CNN被应用于组织学图像，以生成其像素被指派给组织类别的输出图像。组织切片的肿瘤切缘状态是通过肿瘤并且着墨分类像素的存在或不存在来确定的。肿瘤切缘累及范围和肿瘤切缘距离是通过基于分类指定的像素间距离参数计算附加参数来确定的。

Description

计算机支持的组织学图像中的肿瘤审查和术后肿瘤切缘评估

背景

发明领域

本公开涉及利用卷积神经网络(CNN)对包含肿瘤的组织学图像进行图像处理，以便由病理学家评估已通过切除而从患者去除的肿瘤块的切缘来辅助审查和诊断。

相关领域

数字病理学持续改变病理学家查看和诊断载玻片的方式。病理学家检查载玻片的传统方法是在显微镜下观察载玻片。病理学家将通过用低放大率物镜查看载玻片来开始。当具有潜在诊断价值的区域被观察到时，病理学家将切换到高放大率物镜，以更详细地查看该区域。随后，病理学家将切换回低放大率，以继续检查载玻片上的其他区域。这种低-高-低放大率查看序列可以在载玻片上重复多次，直到可以对载玻片做出明确和完整的诊断为止。

在过去二十年中，数字扫描仪的引入改变了该工作流。数字扫描仪可以获取整个载玻片的图像，即所谓的整个载玻片图像(WSI)，并且在不需要病理学家的高度自动化过程中将其保存为数字图像数据文件。所得的图像数据文件通常被存储在载玻片数据库中，经由临床网络，病理学家在具有高分辨率显示器的查看工作站处可以获得该图像数据文件，该工作站具有用于该目的的可视化应用。

病理学的最新发展是CNN方法已成为越来越多的研究兴趣。越来越多的报告称，CNN方法在从组织学图像中标识和诊断肿瘤方面的表现与病理学家一样好，甚或更好。

Wang等人在2016年描述了一种检测乳腺癌淋巴结转移的CNN方法。

US2015213302A1描述了如何在癌组织区域中检测到细胞有丝分裂。在训练CNN之后，分类基于自动核检测系统执行，该系统执行有丝分裂计数，然后这被用于对肿瘤进行分级。

Hou等人在2016年处理脑癌和肺癌图像。来自WSI的图像块(patch)被用于进行由块级CNN给出的块级预测。

Liu等人在2017年用CNN处理从十亿像素乳腺癌组织学图像中提取的图像块，以通过为图像中的每个像素指派肿瘤概率来检测和定位肿瘤。

Bejnordi等人在2017年应用两个堆叠的CNN，以对从用苏木精和伊红(H&E)染色剂染色的乳房组织的WSI提取的图像块中的肿瘤进行分类。性能被示出为有利于这些病理学图像中的对象检测和分割。我们还注意到，Bejnordi等人还提供了适用于乳腺癌样本的其他基于CNN的肿瘤分类方法的概述(参见参考文献10-13)。

Esteva等人在2017年应用深度CNN来分析皮肤病变，并根据树状结构分类法将病变分类为各种恶性类型、非恶性类型和非肿瘤类型，包括恶性类型的肢端黑色素瘤、无色素性黑色素瘤和雀斑黑色素瘤和非恶性型蓝痣、晕痣和蒙古斑。皮肤病变(例如黑色素瘤)的图像被按顺序扭曲为临床类别的概率分布，以执行分类。

Mobadersany等人在2017年公开了一种基于生存CNN的计算方法，以预测诊断为脑肿瘤的患者的总体生存率。来自组织活检的病理学图像数据(组织学图像数据)被馈送到模型以及患者特异性基因组生物标志物中，以预测患者预后。该方法使用自适应反馈来同时学习与患者预后相关联的视觉模式和分子生物标志物。

肿瘤切除是去除肿瘤组织的手术，通常通过去除部分或全部器官或腺体，其中部分去除被称为分段切除。肿瘤切除的目的是去除包含所有肿瘤以及肿瘤切缘周围的少量正常组织的组织块。

为了检查切除已经完全去除了肿瘤，以下病理学检查在从身体去除组织块之后执行。切除的组织块的表面被涂刷有彩色墨水。组织块以各种方式制备，以保存微观组织结构。组织块然后用切片机切割为薄切片。在切割之后，微观组织结构的进一步的保护措施可以被执行。组织切片被安装在载玻片上。组织切片用专业染色剂或标志物染色，以在例如相比之下增强细胞的整体可见性，或用特定于特定基因表达或关联受体的标志物来标识特定类型的细胞。针对乳腺癌肿瘤，典型的靶向受体是：ER+、ER-、PR+、PR-、HER2+和HER2-，其中ER代表雌激素受体，PR代表孕激素受体，并且HER2代表人类表皮生长因子受体2。

评估切缘的传统方法是使病理学家在显微镜下检查染色的载玻片，并且确定是否有任何肿瘤细胞位于或太靠近着墨表面。如果在墨水上发现肿瘤细胞，则病理学家会将手术切缘报告为阳性(Lester等人，2009年)。阳性切缘通常指示需要更多的手术来去除更多的组织块。针对阳性切缘，病理学家还可以使用子分类来报告切缘累及范围，诸如与切缘侵入量相关的局灶性、最小/中度和广泛性。如果癌细胞靠近着墨表面，但不是完全在其上，例如小于2mm，那么病理学家可能会将肿瘤切缘报告为‘靠近’。如果着墨表面上没有癌细胞(不是‘阳性’)或靠近它(不是‘靠近’)，则病理学家会将边缘报告为‘清晰的’，例如切缘大于或等于2mm。针对清晰或靠近的切缘，病理学家还可以报告切缘距离，该切缘距离指示着墨表面与最靠近着墨表面的那些肿瘤细胞之间的距离。在切缘阳性的情况下，可能需要执行进一步的手术以去除残留的癌组织。尽管准确报告切缘状态对于随后的癌症治疗很重要，但切缘状态报告的质量存在很大差异(Persing等人，2011)。

因此，需要克服在上述常规系统中发现的这些显着问题的系统和方法。

发明内容

根据本公开的一个方面，提供了一种在组织学图像(或其集合)中标识肿瘤的方法，该方法包括：

接收包括二维像素阵列的组织学图像；

应用卷积神经网络(CNN)以生成具有二维像素阵列的输出图像，该二维像素阵列具有到组织学图像的映射，输出图像是通过将多个组织类别中的一个组织类别指派给每个像素生成的，其中多个组织类别包括表示非肿瘤组织的至少一个类别和表示肿瘤组织的至少一个类别；

从输出图像生成分割掩模，其中由各个肿瘤占据的区域被标记；

针对每个肿瘤计算概要统计数据；以及

将过滤器应用于每个肿瘤的概要统计数据，以通过根据过滤器选择和取消选择肿瘤来编辑分割掩模。

利用所提出的方法，可能的是向病理学家指示图像中潜在或可能重要的肿瘤所在的位置，从而促使病理学家直接导航到这些区域。通过这种方式，分析的可靠性可以被改善，这是因为包含肿瘤的区域被病理学家遗漏的可能性较小。而且，吞吐量可以被增加，这是因为病理学家不再需要检查整个载玻片区域来定位肿瘤区域。病理学家还被隐含地鼓励以考虑到基于CNN分析结果进行的过滤和排名的方式分配他们有限的分析时间，从而在研究任何特定的载玻片图像时提供病理学家的时间的更好总体分配。

该方法可以通过根据评分算法对每个肿瘤进行评分来扩展，以将评分指派给每个肿瘤。基于分数，可能的是对肿瘤进行排名，其中排名顺序可以表示各种有用的排序，例如示出感知的临床相关性，或预测临床医生可能希望审查肿瘤的顺序。排名可以被局限于在应用过滤器后剩余的那些肿瘤。排名可以被存储到例如记录中，作为与组织学图像相关联的附加元数据。组织学图像可以从存储在虚拟载玻片库或其他数据库中的记录接收，或者在由数字扫描仪获取之后直接接收，在这种情况下，该方法可以由数字扫描仪或由计算机装置执行，例如一个被连接至数字扫描仪或来自另一数据源。

组织学图像的可视化然后可以考虑到所编辑的分割掩模来创建。通过在计算机装置上运行的可视化应用，然后可视化可以在显示器上被显示给用户。例如，可视化可以包括概览查看窗格，在概览查看窗格中分割掩模被重叠在组织学图像上。用于可视化的另一选项是使其包括相应的概览查看窗格，在概览查看窗格中分割掩模与组织学图像被彼此相邻地(例如并排)呈现以进行一对一比较。(一个或多个)概览查看窗格可以包括基于排名的每个肿瘤的排名标签。用户界面肿瘤选择控件可以被提供，以允许用户与可视化交互，以便在所编辑的分割掩模中选择肿瘤。可视化可以包括在当前选择的肿瘤上放大的特写查看窗格。肿瘤选择控件可以并入滚动功能，以用于按排名顺序扫过所编辑的分割掩模中的肿瘤。肿瘤选择控件还可以并入诊断功能，以用于允许用户对当前选择的肿瘤运行附加的计算诊断过程。

以其最简单的形式，CNN只有两个组织类别，一个用于肿瘤组织，并且一个用于非肿瘤组织。然而，肿瘤组织的两个或更多个类别可以被提供。例如，肿瘤组织的组织类别可以区分侵袭性肿瘤和原位肿瘤。非肿瘤组织可以只有一个组织类别或者多个类别，例如以区分骨骼与其他组织。也可以有非组织类别，即，整个载玻片图像上不存在样本的区域，这可能对组织微阵列样本特别有用。

在指派步骤之后，该方法还可以包括以下步骤：将输出图像块组装为组织学图像(或其集合)的概率图。

在组装步骤之后，该方法还可以包括以下步骤：将概率图存储到例如数据储存库中的记录中，使得概率图被链接至组织学图像(或其集合)。

在我们当前的实施方式中，在每个连续的卷积阶段，随着尺寸减小，深度增加，使得卷积层的深度不断增加以及尺寸不断减小，并且在每个连续的转置卷积阶段，随着尺寸增大，深度减少，使得反卷积层的深度不断减少以及尺寸不断增大。然后最终卷积层具有最大深度以及最小尺寸。与分别通过卷积和反卷积阶段连续增加和减少深度的方法不同，备选方案是设计神经网络，其中除了输入层和输出层之外的每层都具有相同的深度。

该方法还可以包括：在显示器上显示具有概率图的组织学图像(或其集合)，例如彼此重叠在其上或彼此并排。概率图可以被用于确定哪些区域应该通过使用免疫组织化学(IHC)评分算法来评分。概率图还可以被用于生成肿瘤细胞周围的轮廓集合，这些轮廓可以被呈现在显示器中，例如以便允许病理学家评估由CNN生成的结果。

在某些实施例中，卷积神经网络具有一个或多个跳跃连接。每个跳跃连接从比最终卷积层维度更大的卷积层中的至少一个卷积层获得中间结果，并且根据需要次数对这些结果进行转置卷积，以获得与输入图像块大小匹配的至少一个额外恢复层，该转置卷积的需要可以是没有、一次或多于一次。然后在将组织类别指派给每个像素的所述步骤之前，这些与上面提及的恢复层组合。进一步的处理步骤将恢复层与额外恢复层中的每个恢复层组合以重新计算概率，从而考虑从跳跃连接获得的结果。

在某些实施例中，软最大(softmax)操作被用于生成概率。

从(一个或多个)组织学图像提取的图像块可以覆盖(一个或多个)图像的整个区域。块可以是不重叠的图像图块或者在其切缘处重叠以辅助拼接概率图的图像图块。虽然每个图像块在宽度和高度上都应该有固定数目的像素来与CNN匹配，因为CNN将被设计为仅接受固定大小的像素阵列，但是这并不意味着每个图像块必须对应于组织学图像上的相同物理区域，因为组织学图像中的像素可以被组合为覆盖更大区域的较低分辨率块，例如邻近像素的每个2x2阵列可以被组合为一个‘超级’像素以形成块，该块的物理面积是以组织学图像的原生分辨率提取的块的物理面积的四倍。

一旦CNN已经被训练，该方法就可以被执行以进行预测。训练的目的是为层间连接指派合适的权重值。针对训练，地面真值数据将被提供，该数据将组织学图像(或其集合)中的每个像素指派给组织类别中的一个组织类别。地面真值数据将基于专家临床医生的使用来注释足够多数目的图像。训练是通过迭代地应用CNN执行的，其中每次迭代都涉及基于将地面真值数据与输出图像块进行比较来调整权重值。在我们当前的实施方式中，权重在训练期间通过梯度下降进行调整。

有多种选项用于设置组织类别，但大多数(如果不是全部)实施例将具有共同点，即在非肿瘤组织和肿瘤组织之间的类别中进行区分。非肿瘤组织类别可以包括一个、两个或更多个类别。肿瘤组织类别也可以包括一个、两个或更多个类别。例如，在我们当前的实施方式中，我们有三个组织类别，一个用于非肿瘤组织，并且两个用于肿瘤组织，其中两个肿瘤组织类别用于侵袭性肿瘤和原位肿瘤。

在一些实施例中，CNN一次被应用于一个组织学图像。在其他实施例中，CNN可以被应用于通过组合从组织区域的不同染色的相邻切片获得的组织学图像集合而形成的复合组织学图像。在更进一步的实施例中，CNN可以被并行地应用于从组织区域的不同染色的相邻切片获得的图像集合中的图像中的每个图像。

利用来自CNN的结果，该方法可以被扩展到包括基于像素分类的评分过程以及参照概率图从该分类限定的肿瘤。例如，该方法还可以包括：根据概率图在组织学图像中限定对应于肿瘤的区域；根据评分算法对每个肿瘤进行评分，以将分数指派给每个肿瘤；并将分数存储到例如数据储存库中的记录中。因此，评分发生在组织学图像上，但局限于由概率图标识为包含肿瘤组织的那些区域。

结果可以在显示器上被显示给临床医生。即，组织学图像可以与其关联的概率图一起显示，例如重叠在其上或彼此并排。肿瘤分数也可以以某种便利方式显示，例如具有在肿瘤上或指向肿瘤或图像旁边的文本标签。

卷积神经网络可以是全卷积神经网络。

本发明的额外方面涉及一种用于在组织学图像(或其集合)中标识肿瘤的计算机程序产品，该计算机程序产品承载用于执行上述方法的机器可读指令。

本发明的再一方面涉及一种用于在组织学图像(或其集合)中标识肿瘤的计算机装置，该装置包括：

输入，可操作以例如从所存储的记录接收组织学图像(或其集合)，组织学图像包括二维像素阵列；

处理模块，被配置为：

应用卷积神经网络以生成具有二维像素阵列的输出图像，该二维像素阵列具有到组织学图像的映射，输出图像是通过将多个组织类别中的一个组织类别指派给每个像素生成的，其中多个组织类别包括表示非肿瘤组织的至少一个类别和表示肿瘤组织的至少一个类别；

从输出图像生成分割掩模，其中由各个肿瘤占据的区域被标记；针对每个肿瘤计算概要统计数据；以及

将过滤器应用于每个肿瘤的概要统计数据，以通过根据过滤器选择和取消选择肿瘤来编辑分割掩模。

该计算机装置还可以包括：后处理模块，被配置为将输出图像块组装为组织学图像(或其集合)的概率图。而且，该计算机装置还可以包括：输出，可操作以将概率图存储到例如数据储存库中的记录中，使得概率图被链接至组织学图像(或其集合)。该装置可以更进一步地包括：显示器和显示输出，可操作以将组织学图像(或其集合)和概率图传输给显示器，使得组织学图像与概率图一起显示，例如重叠在其上或在概率图旁边。

本发明的另一方面涉及一种系统，该系统包括上面与一个或多个其他元件组合指定的计算机装置。例如，该系统可以包括可操作以获取组织学图像的图像获取装置，诸如可操作以获取组织学图像或其集合并将其存储到数据储存库中的记录的显微镜。这种显微镜可以被并入到数字扫描仪中。该系统还可以包括：数据储存库，被配置为存储包括组织学图像的患者数据的记录；以及网络连接，能够在计算机装置和数据储存库之间传送患者数据记录或其部分。

总而言之，一种方法、计算机装置、计算机程序产品和系统可以被提供，以用于标识和可视化组织学图像中的肿瘤。卷积神经网络CNN被用于根据它们被确定为与非肿瘤组织还是表示肿瘤组织的一个或多个类别相关来对图像中的像素进行分类。分割是基于CNN结果执行的以生成掩模，其中由各个肿瘤占据的区域被标记。然后每个肿瘤的概要统计数据被计算并且供应给过滤器，该过滤器通过滤出被认为不重要的肿瘤来编辑分割掩模。可选地，通过过滤器的肿瘤可以根据概要统计数据来排名，例如按照临床相关性的顺序或者通过病理学家的合理审查顺序。可视化应用然后可以考虑到分割掩模、概要统计数据和/或排名来显示组织学图像。

组织学图像可以包括一个或多个其他二维像素阵列，并因此包括多个二维像素阵列，视情况而定，例如一个用于多种染色剂中的每种染色剂，或一个用于通过使显微镜的焦平面步进通过有限深度的透明或半透明样本而获得的样本中的不同深度中的每个深度(所谓的z堆栈)。由CNN生成的输出图像还将包括一个或多个二维像素阵列，其中(一个或多个)(输入)组织学图像和(一个或多个)输出图像之间存在所限定的映射，其中这可能是一对一映射、多对一映射或一对多映射。要理解的是，在至少一些实施例中，(一个或多个)组织学图像是通过显微镜(具体地光显微镜)切片的组织样本获得的二维图像的数字表示，其可以是常规的光学显微镜、共聚焦显微镜或适合于获得未染色或染色组织样本的组织学图像的任何其他种类的显微镜。在组织学图像集合的情况下，这些可以是对组织区域的相邻切片(即，切片)获得的一系列显微镜图像，其中每个切片可以被不同地染色。单个组织学图像也可以是通过合并从组织区域的不同染色的相邻切片获得的多个组织学图像而计算的合成物，该多个组织学图像使用简单重叠或通过扭曲变换辅助的重叠。

在一个实施例中，CNN可以被应用于计算机自动化方法，以用于自动确定手术切除后的肿瘤切缘状态。

根据本公开的一个方面，提供了一种对组织学图像进行图像处理以确定肿瘤块的切缘状态的方法，该方法包括：

接收组织样本切片的组织学图像，该组织样本切片是从通过切除提取的肿瘤块获得的并且用着墨涂刷以突出其表面，该组织学图像包括二维像素阵列；

使用已经被训练以区分组织类别的至少一个神经网络来应用CNN过程，以便生成具有二维像素阵列的输出图像，该二维像素阵列具有到组织学图像的映射，输出图像是通过将组织类别指派给每个像素以区分着墨与无着墨以及肿瘤与无肿瘤来生成的；

分别取决于肿瘤并且着墨像素的存在或不存在来将切缘状态计算为阳性或阴性；以及

输出切缘状态。

阳性或阴性切缘状态可以至少部分地基于肿瘤并且着墨像素的计数是高于还是低于阈值数目来计算。阳性和阴性状态可以被细分。切缘状态的计算可以在靠近与清晰子状态之间细分阴性状态，其中靠近与清晰是通过低于或高于阈值的肿瘤并且无着墨像素以及着墨并且无肿瘤像素之间的距离来区分的。切缘状态的计算可以在本领域中统称为切缘累及范围的多个子状态之间细分阳性状态。切缘累及范围据说是局灶性的、最小/中度的和广泛性的。切缘累及范围可以基于肿瘤并且着墨像素的普遍性来确定，其中普遍性可以至少部分地基于计算肿瘤并且着墨像素之间的最大距离来量化。

因此，我们提议使用一种图像分析算法，该算法使用深度学习来检测肿瘤切缘状态，并且还能够报告切缘距离和切缘累及范围。该算法可以在一批虚拟载玻片图像上无监督地运行，然后可以由病理学家进行审查。通过这种计算机自动化方法向病理学家提供该切缘信息改善了病理学家工作流的速度，并产生更高质量和更一致的肿瘤切缘报告。

在一组实施例中，单个卷积神经网络被用于执行完整分类。即，卷积神经网络过程包括：应用一个神经网络，该一个神经网络已经被训练以针对以下区分组织类别：肿瘤并且着墨、肿瘤并且无着墨、无肿瘤并且着墨以及无肿瘤并且无着墨。

在另一组实施例中，单独的卷积神经网络被应用，一个用于在肿瘤类型之间进行分类，并且另一个用于在着墨与无着墨之间进行分类，并且来自这两个神经网络的结果被逻辑组合以生成完整类别集合。即，卷积神经网络过程包括：单独地应用第一神经网络和第二神经网络，第一神经网络被训练为针对肿瘤与无肿瘤区分组织类别并且输出第一输出图像，第二神经网络被训练为针对着墨与无着墨区分组织类别并且输出第二输出图像，所述输出图像是通过组合第一输出图像和第二输出图像来针对以下指派组织类别来生成的：肿瘤并且着墨、肿瘤并且无着墨、无肿瘤并且着墨以及无肿瘤并且无着墨。

分类方案中可能只有一个肿瘤组织类型或多个肿瘤组织类型。在一个实施例中，针对侵袭性和原位肿瘤有单独的肿瘤组织类型，针对非肿瘤组织有一个类别，使得六个类别集合被提供，记住与肿瘤组织类型并行存在着墨与无着墨之间的拆分。

由该处理方法接收的组织学图像可以从存储在虚拟载玻片库或其他数据库中的记录加载，或者可以在通过数字扫描仪获取组织学图像后直接获得，在这种情况下，该方法可以由数字扫描仪本身或由计算机装置执行，例如一个被连接至数字扫描仪或来自另一数据源。

在指派步骤之后，该方法还可以包括以下步骤：将输出图像组装为组织学图像(或其集合)的概率图。在组装步骤之后，该方法还可以包括以下步骤：将链接至组织学图像或其集合的概率图存储在例如公共记录中，其具有构成组织学图像数据的元数据的概率图。

在我们当前的实施方式中，在每个连续的卷积阶段，随着尺寸减小，深度增加，使得卷积层的深度不断增加以及尺寸不断减小，并且在每个连续的转置卷积阶段，随着尺寸增大，深度减少，使得反卷积层的深度不断减少以及尺寸不断增大。然后最终卷积层具有最大深度以及最小尺寸。与分别通过卷积和反卷积阶段连续增加和减少深度的方法不同，备选方案是设计神经网络，其中除了输入层和输出层之外的每层都具有相同的深度。

该方法还可以包括：在显示器上显示具有概率图的组织学图像(或其集合)，例如重叠在其上或彼此并排。

在某些实施例中，卷积神经网络具有一个或多个跳跃连接。每个跳跃连接从比最终卷积层维度更大的卷积层中的至少一个获得中间结果，并且根据需要次数对这些结果进行转置卷积，以获得与输入图像块大小匹配的至少一个额外恢复层，该转置卷积可以是没有、一次或多于一次。然后在将组织类别指派给每个像素的所述步骤之前，这些与上面提及的恢复层组合。进一步的处理步骤将恢复层与额外恢复层中的每个恢复层组合以重新计算概率，从而考虑从跳跃连接获得的结果。

在某些实施例中，软最大操作被用于生成概率。

从(一个或多个)组织学图像提取的图像块可以覆盖(一个或多个)图像的整个区域。块可以是不重叠的图像图块或者在其切缘处重叠以辅助拼接概率图的图像图块。虽然每个图像块在宽度和高度上都应该有固定数目的像素来与CNN匹配，因为CNN将被设计为仅接受固定大小的像素阵列，这并不意味着每个图像块必须对应于组织学图像上的相同物理区域，因为组织学图像中的像素可以被组合为覆盖更大区域的较低分辨率块，例如邻近像素的每个2x2阵列可以被组合为一个‘超级’像素以形成块，该块的物理面积是以组织学图像的原生分辨率提取的块的物理面积的四倍。

一旦CNN被训练，该方法就可以被执行以进行预测。训练的目的是为层间连接指派合适的权重值。针对训练，所使用的地面真值数据将训练数据的组织学图像中的每个像素指派给组织类别中的一个组织类别。地面真值数据将基于专家临床医生的使用来注释足够多数目的图像。训练是通过迭代地应用CNN执行的，其中每次迭代都涉及基于将地面真值数据与输出图像块进行比较来调整权重值。在我们当前的实施方式中，权重在训练期间通过梯度下降进行调整。

在使用单独的卷积神经网络的实施例中，一个用于在肿瘤组织类型之间进行分类，并且另一个用于在着墨与无着墨之间进行分类，训练数据的供应可能更直接，因为两个单独的训练数据集可以被使用，一个仅基于肿瘤分割，并且另一个仅基于对着墨边界进行分割。因此，着墨训练数据可能不特定于肿瘤类型或肿瘤组织类型的子分类类型。而且，肿瘤训练数据可以使用任何合适的病理学图像，而不是专门来自具有着墨的切除切片的图像。另一方面，如果相同的卷积神经网络要在4路、6路或更高的偶数分类中使用，那么训练数据集需要是涂刷的切除组织块的图像，这些图像进行了合适的专业分析，并用地面真值数据进行了扩充。

有多种选项用于设置肿瘤组织类别，但大多数(如果不是全部)实施例将具有共同点，即在非肿瘤组织和肿瘤组织之间的类别中进行区分。非肿瘤组织类别可以包括一个、两个或更多个类别。肿瘤组织类别也可以包括一个、两个或更多个类别。例如，在我们当前的实施方式中，我们有三个组织类别，一个用于非肿瘤组织，并且两个用于肿瘤组织，其中两个肿瘤组织类别用于侵袭性肿瘤和原位肿瘤。

在一些实施例中，CNN一次被应用于一个组织学图像。在其他实施例中，CNN可以被应用于通过组合从组织区域的不同染色的相邻切片获得的组织学图像集合而形成的复合组织学图像。在更进一步的实施例中，CNN可以被并行地应用于从组织区域的不同染色的相邻切片获得的图像集合中的图像中的每个图像。

结果可以在显示器上被显示给临床医生。即，组织学图像可以与其关联的概率图一起显示，例如重叠在其上或彼此并排。肿瘤分数也可以以某种便利方式显示，例如具有在肿瘤上或指向肿瘤或图像旁边的文本标签。

常规的神经网络可以是全卷积神经网络。

本发明的额外方面涉及一种用于在组织学图像或其集合中标识肿瘤的计算机程序产品，该计算机程序产品承载用于执行上述方法的机器可读指令。

本发明的再一方面涉及一种用于对组织学图像进行图像处理以确定肿瘤块的切缘状态的计算机装置，该装置包括：

输入，可操作以接收组织样本切片的组织学图像，该组织样本切片是从通过切除提取的肿瘤块获得的并且用墨水涂刷以突出显示其表面，该组织学图像包括二维像素阵列；

包括至少一个神经网络的卷积神经网络处理模块，该至少一个神经网络已经被训练以在组织类别之间进行区分，以便生成具有二维像素阵列的输出图像，该二维像素阵列具有到组织学图像的映射，输出图像是通过将组织类别指派给每个像素以在着墨与无着墨之间、以及在肿瘤与无肿瘤之间进行区分来生成的；

切缘评估模块，可操作以分别取决于肿瘤并且着墨像素在输出图像中的存在或不存在来将切缘状态计算为阳性或阴性；以及

输出，可操作以输出切缘状态。

输出可以被连接至数据储存库，以将切缘状态和可选地也将输出图像存储到记录中。所存储的输出图像可以包括每个像素的组织类别和/或每个像素的概率，即，概率图。保存输出图像对于构造可视化可能很有用，这是因为例如组织学图像可以与重叠的组织类别图或概率图一起呈现。无论是否被存储到记录，输出可以可操作以将组织学图像和输出图像传输给显示器，使得组织学图像与输出图像一起显示。

本发明的另一方面涉及一种系统，诸如临床网络，包括：上文中结合以下元件中的一个或多个描述的计算机装置：图像获取装置，诸如显微镜，可操作以获取组织学图像或其集合；以及数据储存库，被配置为存储包括组织学图像(或其集合)的患者数据的记录。要理解的是，合适的网络连接将在这些元件中的一些元件之间提供，以实现数据传送，诸如在计算机装置和数据储存库之间传送患者数据记录或其部分。

要理解的是，在至少一些实施例中，(一个或多个)组织学图像是通过显微镜(具体地光显微镜)切片的组织样本获得的二维图像的数字表示，其可以是常规的光学显微镜、共聚焦显微镜或适合于获得未染色或染色组织样本的组织学图像的任何其他种类的显微镜。在组织学图像集合的情况下，这些可以是对组织区域的相邻切片(即，切片)获得的一系列显微镜图像，其中每个切片可以被不同地染色。

在审查以下详细描述和附图之后，本发明的其他特征和优点对于本领域的普通技术人员将变得更加显而易见。

附图说明

本发明的结构和操作将通过审查以下详细描述和附图来理解，其中相同的附图标记指代相同的部分，其中：

图1A是在本发明的一个实施例中使用的神经网络架构的示意图。

图1B示出了在图1A的神经网络架构内的全局特征图与局部特征图如何被组合以生成特征图，该特征图为输入图像块中的每个像素预测各个类别。

图2A是示出了在操作中是彩色图像的原始组织学块图像的图。

图2B是示出了在操作中是彩色图像的图2A的CNN预测的图。CNN预测图示了预测肿瘤区域，其在彩色图像中呈深红色。

图2C是示出了在操作中是彩色图像的原始组织学图像的图。所标记的原始组织学图像图示了病理学家的手工注释(红色)和CNN预测(粉色和黄色)。

图2D是示出了在操作中是彩色图像的CNN预测的图。CNN预测图像图示了非肿瘤区域(绿色)、侵袭性肿瘤区域(红色，对应于图2C中的粉色)和非侵袭性肿瘤(蓝色，对应于图2C中的黄色)。

图3A是示出了在操作中是彩色图像的输入RGB图像块的示例的图。图像块示出了病理学家对侵袭性肿瘤的手动概述(红色)，附加地还示出了神经网络预测的重叠(粉色和黄色)。

图3B是示出了在操作中是彩色图像的最终输出肿瘤概率热图的图。热图示出了神经网络预测的重叠(分别为红棕色和蓝色)。

图4是示出了在训练CNN时涉及的步骤的流程图。

图5是示出了在使用CNN的预测时涉及的步骤的流程图。

图6是示出了在使用所训练的CNN来评估切缘时涉及的步骤的流程图。

图7是根据本公开的实施例的方法的流程图。

图8是TPU的框图，该TPU可以被用于执行在实施图1A和1B的神经网络架构时涉及的计算。

图9示出了可以结合本发明的实施例使用的示例计算机网络。

图10是例如可以被用作图10的TPU的主机计算机的计算装置的框图。

图11A是图示了可以结合本文描述的各种实施例使用的示例处理器启用设备550的框图；

图11B是示出了具有单个线性阵列的示例线扫描相机的框图。

图11C是图示了具有三个线性阵列的示例线扫描相机的框图；以及

图11D是图示了具有多个线性阵列的示例线扫描相机的框图。

具体实施方式

在以下详细描述中，出于解释而非限制的目的，具体细节被陈述以便提供对本公开的更好理解。对于本领域技术人员显而易见的是，本公开可以在脱离这些具体细节的其他实施例中实践。

癌症是北美女性的第二大死因。在所有类型的女性癌症中，乳腺癌是最常见的，并且是癌症死亡的第二大原因。因此，乳腺癌治疗的准确性对在其生命中的某个点会受到乳腺癌影响的很大一部分女性的寿命和生活质量有很大影响。

基于某些基因的表达，乳腺癌可以被分为不同的分子亚型。常用的分类方案如下：

1.Luminal A：ER+、PR+、HER2-

2.Luminal B：ER+、PR-、HER2+

3.三阴性乳腺癌(TNBC)：ER-、PR-、HER2-

4.HER2富集：HER2+、ER-、PR-

5.正常样。

ER代表雌激素受体。PR代表孕激素受体。HER2代表人类表皮生长因子受体2。

我们描述了一种计算机自动化的肿瘤发现方法，该方法自动检测和勾勒轮廓侵袭性和原位乳腺癌细胞核。该方法被应用于单个输入图像(诸如WSI)或输入图像集合(诸如WSI集合)。每个输入图像都是数字化的组织学图像，诸如WSI。在输入图像集合的情况下，这些图像可以是相邻组织切片的不同染色图像。我们广义使用术语染色来包括用生物标志物染色以及用常规对比增强染色剂染色。

由于计算机自动勾勒轮廓肿瘤比手动勾勒轮廓要快得多，因此它使整个图像能够被处理，而不仅仅是手动注释从图像中选择的提取图块。因此，所提议的自动肿瘤勾勒轮廓应该使病理学家能够计算图像中的所有肿瘤细胞的阳性(或阴性)百分比，这应该会产生更准确和可重复的结果。

所提议的用于肿瘤发现、勾勒轮廓和分类的计算机自动化方法使用卷积神经网络(CNN)在WSI上发现每个核像素，然后将每个这种像素分类为非肿瘤类别和多个肿瘤类别之一，在我们当前的实施方式中为乳腺肿瘤类别。

我们的实施方式中的神经网络在设计上类似于VGG-16架构，其可在<http://www.robots.ox.ac.uk/～vgg/research/very_deep/>中获得，并且是Simonyan和Zisserman于2014年描述的，其全部内容通过引用并入本文。

输入图像是用数种常规染色剂中的任何一种染色的病理学图像，如本文档其他地方更详细地讨论的。针对CNN，特定像素尺寸的图像块被提取，例如128x128、256x256、512x512或1024x1024个像素。要理解的是，图像块可以是任意大小的，并且不必是正方形，但是块的行和列中的像素数目符合2n，其中n是正整数，这是因为这种数目通常更经得起通过合适的单个CPU(中央处理单元)、GPU(图形处理单元)或TPU(张量处理单元)或其阵列进行直接数字处理。

我们注意到‘块’是本领域的术语，用于指代取自WSI的图像部分，通常具有正方形或矩形形状。在这方面，我们注意到WSI可以包含10亿或更多像素(千兆像素图像)，因此图像处理通常被应用于具有可管理大小(例如约500x500个像素)的块，以供CNN处理。因此，WSI将在将其拆分为块的基础上进行处理，用CNN分析块，然后将输出(图像)块重新组装为与WSI大小相同的概率图。然后概率图可以例如半透明地被重叠在WSI或其一部分上，使得病理学图像和概率图二者可以被一起查看。在这个意义上，概率图被用作病理学图像上的重叠图像。由CNN分析的块可能具有相同的放大率，或者可能具有不同放大率的混合，例如5x、20x、50x等，因此对应于样本组织的不同大小的物理区域。通过不同的放大率，这些可能对应于WSI被获取的物理放大率，或通过数字缩小更高放大率(即，更高分辨率)物理图像获得的有效放大率。

图1A是我们的神经网络架构的示意图。层C1、C2、…、C10是卷积层。层D1、D2、D3、D4、D5和D6是转置卷积(即，反卷积)层。互连某些层的线指示在卷积C层与反卷积D层之间的跳跃连接。跳跃连接允许来自较大尺寸、较浅深度层(其中“较大”和“浅”意味着较低索引的卷积层)的局部特征与来自最后一个(即，最小、最深)卷积层的全局特征组合。这些跳跃连接提供了更准确的轮廓。最大池化层(每层都被用于将块的宽度和高度减小2倍)位于层C2、C4和C7之后，但没有直接示出在示意图中，尽管它们通过因此减小块大小暗示来示出。在我们的神经网络的一些实施方式中，最大池化层被替换为1x1卷积，从而形成全卷积网络。

神经网络的卷积部分依次有以下层：输入层(RGB输入图像块)；两个卷积层，C1、C2；第一最大池化层(未示出)；两个卷积层C3、C4；第二最大池化层(未示出)；三个卷积层，C5、C6、C7和第三最大池化层(未示出)。除了分别到层C5和C8的正常连接之外，来自第二最大池化层以及第三最大池化层的输出还使用跳跃连接被直接连接至反卷积层。

最终卷积层(C10)、来自第二最大池化层(即，C4之后的一层)的输出和来自第三最大池化层(即，C7之后的一层)的输出然后分别被连接至“反卷积层”的单独序列，其将它们放大回与输入(图像)块相同的大小，即，将卷积特征图转换为与输入图像块具有相同宽度和高度的特征图以及等于要被检测的组织类别数目的多个通道(即，特征图的数目)，即，非肿瘤类型和一种或多种肿瘤类型。针对第二最大池化层，我们看到与层D6的直接链接，因为只需要一个反卷积阶段。针对第三最大池化层，需要两个反卷积阶段，经由中间反卷积层D4来得到层D5。针对最深的卷积层C10，需要三个反卷积阶段，经由D1和D2到层D3。结果是与输入块大小相同的三个阵列D3、D5、D6。

尽管性能可能不太好，但是图1A所图示的简化版本可以省略跳跃连接，在这种情况下，层D4、D5和D6将不存在，并且输出块将仅从层D3计算。

图1B更详细地示出了图1A的神经网络架构中的最终步骤如何被执行。即，全局特征图层D3和局部特征图层D5、D6被组合以生成特征图，该特征图预测输入图像块的每个像素的各个类别。具体地，图1B示出了最后三个转置卷积层D3、D5、D6如何被处理为肿瘤类别输出块。

我们现在讨论上述方法与当前在数字病理学中使用的已知CNN有何不同。这个已知的CNN将从多个可用类别中选择的一个类别指派给每个图像块。这种类型的CNN的示例是由Wang等人在2016年、Liu等人在2017年、Cruz-Roa等人在2017年以及Vandenberghe等人在2017年所著的论文中。然而，我们刚刚描述的是，在给定的图像块内，从多个可用类别中选择的一个类别被指派给每一个像素。因此，我们的神经网络不是为每个图像块生成单个类别标签，而是为给定块的每个单独像素输出类别标签。我们的输出块与输入块具有一对一的像素到像素对应关系，使得输出块中的每个像素都为其指派了多个可用类别中的一个类别(非肿瘤、肿瘤1、肿瘤2、肿瘤3等)。

在这种已知的CNN中，为了为每个块指派单个类别，一系列卷积层被采用，后跟着一个或数个全连接层，后跟着输出向量，该输出向量具有与要检测的类别一样多的值。预测类别由输出向量中的最大值的地点确定。

训练后的CNN将采用来自数字载玻片图像的像素作为输入，并且返回针对每个像素的概率向量(Goodfellow、Bengio和Courville2016)。向量的长度为N，其中N是CNN已被训练检测的类别数目。例如，如果CNN已经被训练以区分三个类别，侵袭性肿瘤、原位肿瘤和非肿瘤，则向量v的长度将是3。向量中的每个坐标指示像素属于特定类别的概率。所以v[0]可以指示像素属于侵袭性肿瘤类别的概率，v[1]指示它属于原位类别的概率，并且v[2]指示它属于非肿瘤类别的概率。每个像素的类别是从概率向量确定的。将像素指派给类别的一种简单方法是将其指派给其具有最高概率的类别。

为了预测各个像素的类别，我们的CNN在卷积层之后使用了不同的架构。我们不是在一系列全连接层之后，而是在卷积层之后使用一系列转置卷积层。全连接层是从该架构中去除的。每个转置层都将特征图的宽度和高度翻倍，同时将通道数目减半。通过这种方式，特征图被放大回输入块的大小。

另外，为了改善预测，我们使用了Long等人在2015年描述的跳跃连接，其全部内容通过引用并入本文。

跳跃连接使用较浅的特征来改善通过从最终卷积层C10放大而做出的粗略预测。来自图1A的层D5和D6中所包含的跳跃连接的局部特征与通过从最终卷积层放大图1A的层D3中所包含的全局特征生成的特征连结在一起。然后全局和局部特征层D3、D5和D6被连结为组合层，如图1B所示。

来自图1B的连结层(或者备选地在跳跃连接未被使用的情况下直接来自最终反卷积层D3)，通道数目通过组合层的1x1卷积减少以与类别示例相匹配。该分类层上的软最大操作然后将组合层中的值转换为概率。输出块层的大小为NxNxK，其中N是输入块的宽度和高度(以像素为单位)，并且K是正在被检测的类别数目。因此，针对图像块中的任何像素P，都有大小为K的输出向量V。然后通过其对应向量V中的最大值的地点，唯一的类别可以被指派给每个像素P。

因此，CNN将每个像素标示为非癌性的或属于多种不同癌症(肿瘤)类型中的一种或多种。特别感兴趣的癌症是乳腺癌，但该方法也适用于其他癌症的组织学图像，诸如膀胱癌、结肠癌、直肠癌、肾癌、血癌(白血病)、子宫内膜癌、肺癌、肝癌、皮肤癌、胰腺癌、前列腺癌、脑癌、脊柱癌和甲状腺癌。

我们的特定神经网络实施方式被配置为对具有某些固定像素尺寸的输入图像进行操作。因此，作为用于训练和预测的预处理步骤，具有期望像素尺寸的块是从WSI提取的，例如NxNxn个像素，其中当WSI是由常规可见光显微镜获取的彩色图像时，在每个物理地点具有与三种基色(通常是RGB)相关联的三个像素的情况下，n＝3。(如下面进一步提及的，在两个或更多个彩色WSI被组合的情况下，‘n’可以是复合WSI数目的3倍。)而且，在单个单色WSI的情况下，‘n’的值为1。为了使训练更快，输入块也在这个阶段被居中和归一化。

我们的优选方法是处理整个WSI，或至少包含组织的WSI的整个区域，因此在我们的情况下，块是至少覆盖WSI的整个组织区域的图块。图块可以不重叠地邻接，或者具有重叠的边缘切缘区域，例如1、2、3、4、5、6、7、8、9或10个像素宽，使得CNN的输出块可以考虑到任何差异被拼接在一起。然而，如果需要，则我们的方法也可以被应用于WSI上具有相同或不同放大率的随机块样本，如现有技术中那样，或者如可能由病理学家执行的那样。

我们的神经网络在设计上类似于Simonyan和Zisserman在2014年的VGG-16架构。它在所有卷积过滤器中使用非常小的3x3内核。最大池化是以2x2的小窗口和2的步幅执行的。与VGG-16架构相比，VGG-16架构在卷积层之后有一系列全连接层，我们在卷积层之后使用一系列“反卷积”(更准确地转置卷积)以生成分割掩模。用于语义分割的这种上采样先前已被Long等人在2015年用于自然图像处理，其全部内容通过引用并入本文。

每个反卷积层将输入特征图在宽度和高度尺寸上放大两倍。这抵消了最大池化层的收缩效应，并且导致与输入图像大小相同的类别特征图。来自每个卷积和反卷积层的输出由非线性启动层变换。目前，非线性启动层使用整流器函数ReLU(x)＝max(0,x)ReLU(x)＝max(0,x)。不同的启动函数可以根据需要使用，诸如ReLU、渗漏ReLU、eLU等。

所提议的方法无需修改即可以被应用于任何期望数目的组织类别。约束仅仅是合适的训练数据的可用性，这些数据已经按照期望在神经网络中复制的方式被分类。进一步的乳房病理学的示例是侵袭性小叶癌或侵袭性导管癌，即，先前示例的单个侵袭性肿瘤类别可以被替换为多个侵袭性肿瘤类别。神经网络的准确性主要由每个类别可用的图像数目、类别的类似程度以及在遇到存储器限制之前神经网络的深度指定。通常，每个类别的图像数目多、更深的网络和不同的类别会导致更高的网络准确性。

软最大回归层(即，多项逻辑回归层)被应用于通道块中的每个通道块，以将特征图中的值转换为概率。

在通过软最大回归进行该最终变换后，最终特征图中的通道C中的地点地点(x,y)处的值包含输入图像块中的地点地点(x,y)处的像素属于由通道C检测到的肿瘤类型的概率P(x,y)。

要了解的是，卷积层和反卷积层的数目可以根据需要增加或减少，并且受到运行神经网络的硬件的存储器限制。

我们使用小批量梯度下降来训练神经网络。使用指数衰减，学习率从0.1的初始率下降。我们通过使用Srivastava等人在2014[2017]年描述的“排除(dropout)”过程来防止神经网络过度拟合，其全部内容通过引用并入本文。训练网络可以使用多种可用的深度学习框架中的任何一种在GPU、CPU或FPGA上完成。针对我们当前的实施方式，我们使用的是谷歌Tensorflow，但同样的神经网络也可以在另一深度学习框架(诸如微软CNTK)中实施。

神经网络输出概率图的大小为NxNxK，其中N是输入块的宽度和高度(以像素为单位)，并且K是正在被检测的类别数目。这些输出块被拼接回大小为WxHxK的概率图，其中W和H是原始WSI被拆分为块之前的宽度和高度。

然后通过在标签图像中的每个地点(x,y)处记录具有最大概率的类别索引，概率图可以被折叠为WxH标签图像。

在其当前的实施方式中，我们的神经网络将每个像素指派给以下三个类别中的一个类别：非肿瘤、侵袭性肿瘤和原位肿瘤。

当多个肿瘤类别被使用时，输出图像可以被后处理为更简单的非肿瘤和肿瘤的二进制分类，即，多个肿瘤类别被组合。当从基础数据创建图像时，二进制分类可以被用作选项，而多类肿瘤分类被保留在所保存的数据中。

虽然我们的发明的特定实施方式的以上描述集中于使用CNN的特定方法，但是要理解的是，我们的方法可以在多种不同类型的卷积神经网络中实施。通常，使用卷积来检测越来越复杂的特征并随后使用转置卷积(“反卷积”)将特征图放大回输入图像的宽度和高度的任何神经网络都应该是合适的。

示例1

图2A至图2D是操作中的彩色图像，并且示出了在块级预测(诸如由谷歌的CNN解决方案为Camelyon竞赛生成的(Liu等人在2017年))与由目前描述的CNN生成的肿瘤类别的像素级预测之间的差异。

图2A和图2B复制自Liu等人2017年的图7，而图2C和图2D是根据当前描述的CNN的示例的可比较图块，其被应用以按肿瘤组织类别(不包括着墨/无着墨)进行分类。

图2A是来自H&E染色WSI的块，其中右下象限中较大的深紫色细胞簇是肿瘤，而较小的深紫色细胞是淋巴细胞。

图2B是由Liu等人2017年的CNN生成的肿瘤概率热图，作者声称准确标识了肿瘤细胞，而忽略了结缔组织和淋巴细胞。

图2C是来自实施本发明的CNN方法被应用的示例WSI的原始图像块。除了原始图像之外，图2C示出了由病理学家手动绘制的轮廓(红色周边实线)。另外，参照图2D，图2C还示出了来自目前描述的CNN方法的结果(具有粉色周边线的粉色阴影的第一区域对应于第一肿瘤类型，即，图2D中示出为红色的肿瘤类型；具有粉色周边线的黄色阴影的第二区域对应于第二肿瘤类型，即，图2D中蓝色阴影的肿瘤类型)。

图2D是由我们的CNN生成的肿瘤概率热图。可以看出我们的像素级预测方法如何产生具有平滑周边轮廓的区域。针对我们的热图，不同(任意选择)的颜色指示不同的类别，即，绿色针对非肿瘤，红色针对第一肿瘤类型，并且蓝色针对第二肿瘤类型。

示例2

图3A至图3B是操作中的彩色图像，并且示出了输入RGB图像块(图3A)和最终输出肿瘤概率热图(图3B)的示例。

图3A附加地示出了病理学家对侵袭性肿瘤的手动勾勒轮廓(红色轮廓)，并且另外示出了我们的神经网络预测的重叠(粉色和黄色阴影区域)，如图3B中单独示出的。

图3B是由我们的CNN生成的肿瘤概率热图。针对我们的热图，不同(任意选择)的颜色指示不同的类别，即，绿色针对非肿瘤，红棕色针对侵袭性肿瘤(图3A中示出为粉色)，并且蓝色针对原位肿瘤(图3A中示出为黄色)。再一次，可以看出我们的像素级预测方法如何产生具有平滑周边轮廓的区域。而且，可以看出CNN预测如何与病理学家的手动标记兼容。另外，CNN进一步在未由病理学家执行的侵袭性与非侵袭性(原位)组织之间进行了区分，并且本质上是我们多通道CNN设计的一部分，其可以被编程和训练以将组织分类为根据需要和临床相关的任何数目的不同类型。

获取和图像处理

该方法的起点是组织样本已被切片，即，切割，并且相邻切片已用不同的染色剂染色。相邻的切片将具有非常类似的组织结构，这是因为这些切片很薄，但不会完全相同，这是因为它们是不同的层。

例如，可以有5个相邻的切片，每个切片都有不同的染色剂，诸如ER、PR、p53、HER2、H&E和Ki-67。然后每个切片的显微镜图像被获取。尽管相邻切片的组织形状非常类似，但染色剂会突出显示不同的特征，例如细胞核、细胞质、通过一般对比增强等的所有特征。

然后不同的图像被对准、扭曲或以其他方式预处理，以将在一个图像上的任何给定特征的坐标映射到其他图像上的相同特征。映射将处理由以下因素引起的在图像之间的任何差异，诸如：略有不同的放大率、由于显微镜中的载玻片对准或将组织切片安装在载玻片上的差异而导致的定向差异等。

注意到的是，利用在包括不同染色的相邻切片的集合的不同WSI之间的坐标映射，WSI可以被合并为单个复合WSI，其中复合块可以被提取以供CNN处理，其中这种复合块将具有NxNx3m的尺寸，其中‘m’是形成该集合的复合WSI的数目。

然后图像的一些标准处理被执行。这些图像处理步骤可以在WSI级别或在单个图像块级别执行。如果CNN被配置为对单色而不是彩色图像进行操作，则图像可以从彩色转换为灰度。图像可以通过应用对比增强过滤器来修改。然后一些分割可以被执行，以标识图像集合中的共同组织区域或简单地拒绝与组织无关的背景。分割可以涉及以下任何或所有图像处理技术：

1.基于方差的分析来标识种子组织区域

2.自适应阈值化

3.形态学操作(例如blob分析)

4.轮廓标识

5.基于邻近启发式规则的轮廓合并

6.不变图像矩的计算

7.边缘提取(例如Sobel边缘检测)

8.曲率流过滤

9.直方图匹配以消除连续切片之间的强度变化

10.多分辨率刚性/仿射图像配准(梯度下降优化器)

11.非刚性变形/变换

12.超像素聚类

还要理解的是，以上种类的图像处理步骤可以对WSI或在块提取之后对各个块执行。在一些情况下，在块提取之前和之后执行相同类型的图像处理可能很有用，即，分别作为CNN预处理和CNN后处理。即，一些图像处理可以在块提取之前在WSI上完成，并且其他图像处理可以在从WSI提取块之后在块上完成。

这些图像处理步骤是通过示例的方式描述的，并且不应被解释为以任何方式限制本发明的范围。例如，如果有足够的处理功率可用，则CNN可以直接处理彩色图像。

训练和预测

图4是示出了在训练CNN时涉及的步骤的流程图。

在步骤S40中，包含WSI的训练数据被取回以用于处理，其已经由临床医生注释以发现、勾勒轮廓和分类肿瘤。临床医生的注释表示地面真值数据。

在步骤S41中，WSI被分解为图像块，这些图像块是CNN的输入图像块。即，图像块从WSI被提取。

在步骤S42中，图像块被如上所述地预处理。(备选地或另外，WSI可以在步骤S41之前被如上所述地预处理。)

在步骤S43中，初始值是针对CNN权重设置的，即，在层之间的权重。

在步骤S44中，一批输入图像块中的每个图像块被输入到CNN中并且被处理，以在逐像素的基础上发现、勾勒轮廓和分类块，如上面参照图1A和图1B进一步描述的。此处的术语轮廓在技术上不一定严格地是要使用的正确术语，这是因为我们的方法标识每个肿瘤(或肿瘤类型)像素，所以说CNN确定每种肿瘤类型的肿瘤区域可能更准确。

在步骤S45中，将CNN输出图像块与地面真值数据进行比较。这可以在每块的基础上完成。备选地，如果覆盖整个WSI的块被提取，那么这可以在WSI级别处完成，或者在WSI的子区域中完成，该子区域由连续批次的块组成，例如WSI的一个象限。在这种变型中，输出图像块可以被重新组装为整个WSI或其连续部分的概率图，并且例如如果概率图在显示器上被呈现为与WSI半透明重叠，则概率图可以由计算机以及用户在视觉上与地面真值数据进行比较。

在步骤S46中，CNN然后从该比较中学习并且更新CNN权重，例如使用梯度下降方法。因此，学习被反馈回训练数据的重复处理中，如通过过程流中的返回循环在图4中指示的，使得CNN权重可以被优化。

在训练之后，CNN可以独立于任何地面真值数据被应用于WSI，即，用于实时预测。

图5是示出了在使用CNN的预测时涉及的步骤的流程图。

在步骤S50中，一个或多个WSI被例如从实验室信息系统(LIS)或其他组织学数据储存库取回以用于处理。WSI被例如如上所述地预处理。

在步骤S51中，图像块是从该WSI或每个WSI提取的。块可以覆盖整个WSI，或者可以是随机或非随机选择的。

在步骤S52中，图像块被预处理，例如如上所述。

在步骤S53中，一批输入图像块中的每个图像块被输入到CNN中并且被处理，以在逐像素的基础上发现、勾勒轮廓和分类块，如上面参照图1A和图1B进一步描述的。然后输出块可以被重新组装为WSI的概率图，其中输入图像块被提取。例如，如果概率图作为WSI上或WSI旁边的半透明重叠被呈现在显示器上，则概率图可以由数字处理中的计算机装置以及用户二者在视觉上与WSI进行比较。

在步骤S54中，肿瘤区域被过滤，排除可能是假阳性的肿瘤，例如太小的区域或可能是边缘伪影的区域。

在步骤S55中，评分算法被运行。评分是细胞特异性的，并且分数可以针对每个肿瘤合计，和/或针对WSI(或WSI的子区域)进一步合计。

在步骤S56中，结果被呈现给病理学家或其他相关技术的临床医生以例如通过在合适的高分辨率监测器上显示带注释的WSI用于诊断。

在步骤S57中，CNN的结果以链接至包含已由CNN处理的WSI或WSI集合的患者数据文件的方式保存，CNN的结果亦即，概率图数据以及可选地与CNN参数相关的元数据连同由病理学家添加的任何附加诊断信息。因此，在LIS或其他组织学数据储存库中的患者数据文件是用CNN结果补充的。

切缘评估

图6是示出了在使用CNN的预测时涉及的步骤的流程图。

在步骤S1中，着墨并且染色的组织样本的一个或多个WSI被取回以用于处理，例如使用实验室信息系统(LIS)从虚拟载玻片库或其他组织学数据储存库取回数据。

在步骤S2中，WSI被预处理，例如如上所述。

在步骤S3中，第一CNN被应用以执行3路组织类型分类(非肿瘤、侵袭性肿瘤、原位肿瘤)。图像块是从一个或多个WSI提取的。块可以覆盖整个WSI，或者可以是随机或非随机选择。图像块可以被例如如上所述地预处理。一批输入图像块中的每个图像块被输入到CNN中并且被处理，以在逐像素的基础上分类块，如上面参照图1A和图1B进一步描述的。输出块被重新组装为肿瘤地点的概率图。

在步骤S4中，第二CNN被应用以执行二进制分类来识别着墨像素(着墨、无着墨)。如针对步骤S3描述的，概率图被生成，其中这次概率图标识着墨地点，即，组织块的边界。

在步骤S5中，两个概率图的一些后处理被执行，以根据简单的阈值化或一些更复杂的数值处理来过滤概率值。例如，分割可以被应用于概率值以标识着墨边界，然后相应地调整着墨类别的像素的概率值。后处理还可以使用分割来排除可能是假阳性的肿瘤区域，例如太小的区域或可能是边缘伪影的区域。如果需要，从步骤S3和S4输出的两个概率图可以被合并或组合为单个概率图，并且后处理被应用于合并后的概率图。

如上文进一步描述的，在其他实施例中，步骤S3和S4被有效地合并，其中单个CNN执行6路分类并且生成单个概率图，在这种情况下，步骤S5的后处理将对单个概率图执行。(还要注意，概率图也可以被用于在查看应用中生成可视化，例如作为组织学图像的重叠，其可以与从图6的过程流输出的切缘评估数据一起被呈现给病理学家。)

在步骤S6中，掩模通过将每个像素指派给六个类别中的一个类别来创建。(还要注意，掩模还可以被用于在查看应用中生成可视化，例如作为组织学图像的一个或多个重叠，诸如着墨边界重叠或肿瘤像素重叠。这些重叠可以与从图6的过程流输出的切缘评估数据一起被呈现给病理学家。)

在步骤S7中，确定肿瘤并且着墨类别中是否存在多于阈值数目ε的像素。如果‘否’，则在步骤S8中切缘状态被设置为‘阴性’，并且过程流继续计算切缘距离；而如果‘是’，则在步骤S12中切缘状态被设置为‘阳性’，并且过程流继续计算切缘累及范围，即，肿瘤组织侵入由切除手术切除的组织块边界的程度。阈值文本可以对所有肿瘤并且着墨类别中的像素总和应用单个阈值，或者对每个肿瘤并且着墨类别的单独总和应用单独的阈值。例如，在后一种情况下，如果在高于相应阈值(可能相同或不同)的级别检测到“侵袭性肿瘤并且着墨”或“着墨上的原位肿瘤”类别，则阈值测试结果为‘是’并且切缘状态为“阳性”，而如果级别在两个阈值比较中都等于或低于阈值，那么测试结果为否并且切缘状态为“阴性”。(一个或多个)阈值可以被设置为凭经验限定的(一个或多个)值或任何其他合适的(一个或多个)值。

跟随阴性分支，在步骤S9中，切缘距离被计算，并且在步骤S10中，测试针对合适的阈值进行。如果以低于阈值ε的级别检测到肿瘤并且无着墨类别中的像素，那么存在切缘，并且因此切缘状态必须为“清晰”或“靠近”中任一者，这取决于切缘距离。在步骤S11中，如果切缘距离低于阈值，那么状态被设置为阴性/靠近。在步骤S14中，如果切缘距离低于阈值，那么状态被设置为阴性/清晰。我们将切缘距离限定为在肿瘤组织与着墨表面之间的最近距离。可以将集合S1限定为包含所有肿瘤像素的坐标(xt,yt)∈R²，并且将集合S2限定为包含所有切缘像素的坐标(xm,ym)∈R²。因此，计算切缘距离的问题就是计算在两个平面点集合之间的最小距离的问题。已经示出的是，这个测量可以在O(nLogn)时间中被计算，并且因此即使是大的点集也可以快速计算(Toussaint和Bhattacharya在1983年)。如果切缘距离Dm低于可以由用户设置的指定阈值θ，则切缘状态被返回为“清晰”。如果Dm≥θ，则切缘状态被返回为“清晰”。当然，实际计算出的切缘距离也可以被输出。这可以是表示最小距离的简单数字，或者可以是提供附加数据的更复杂的输出，诸如针对最小切缘距离以及最大切缘距离的单独距离、诸如平均切缘距离及其概率分布的统计值，例如在标准偏差方面。

跟随阳性分支之后，在步骤S13中切缘累及范围被计算。由于已在处于或高于一个阈值ε的级别处检测到肿瘤并且着墨类别中的像素，那么不存在无肿瘤切缘，即，存在阳性切缘。针对阳性切缘，切缘累及范围可以被计算为在着墨表面上的肿瘤细胞的总长度。这相当于发现在属于每个肿瘤的两个像素之间的最大距离并且对结果求和。由于这个问题相当于最小距离问题，因此它也可以在O(nLogn)时间内解决(Vaidya在1989年)。当前美国病理学家学会的指南只要求报告大概的范围。基于总长度对切缘累及范围程度进行分类的一种方案如下：

·单灶性：切缘处的一个癌灶区域，具有小于阈值的最大距离，例如<4mm

·多灶性：切缘处有两个或更多个癌灶，它们的最大距离之和小于单灶阈值

·最小/中度：对于单灶或多灶但最大距离之和小于第二阈值，该阈值大于用于单灶和多灶分类的阈值，例如<5mm。

·广泛性：癌存在于宽阔的前沿的切缘处(最大距离之和>5mm)

如果需要，单灶和多灶可以被合并为单个类别标示的局灶。

最后，过程流以步骤S15结束，其中切缘状态(即，输出)被报告，例如以显示和/或通过保存到文件。

总而言之，我们已经描述了一种计算机自动化方法，以用于对从通过切除提取的肿瘤块获得的、并且用着墨涂刷以突出显示其表面区域的组织切片的组织学图像进行图像处理。一个或两个卷积神经网络被训练以在组织类别之间进行区分，这些类别区分着墨与无着墨以及肿瘤与无肿瘤。训练后的一个或多个神经网络被应用于组织学图像，以生成其像素被指派给组织类别的输出图像。然后分别取决于肿瘤并且着墨分类像素的存在或不存在，组织切片的阳性或阴性切缘状态被确定。另外，通过基于分类指定的像素间距离来计算附加参数，阳性和阴性切缘状态可以被进一步检查，以生成切缘累及范围(阳性子状态)和切缘距离(阴性子状态)的子状态。

肿瘤区域过滤和排名

图7是根据本公开的实施例的流程图。

步骤S71提供包含WSI的图像数据的图像数据文件，如可以已经由载玻片扫描仪生成的。要了解的是，图像数据文件可以包括多个图像，例如针对多种染色剂中的每种染色剂一个图像，或针对通过使显微镜的焦平面步进通过有限深度的透明或半透明样本而获得的样本(所谓的z堆栈)中的不同深度中的每个深度一个图像。

步骤S72是可选步骤，其中一些CNN预处理可以被执行，如上面通过示例的方式进一步描述的，诸如基于方差的分析、自适应阈值化、形态学操作等。

步骤S73运行上述CNN，具体地如参照图5的步骤S51至S54描述的。组织类型的逐像素分类被执行以标记肿瘤像素，然后进行分割以对肿瘤(即，肿瘤区域)勾勒轮廓。组织类型按癌类型被分类。针对分割，通常情况下是连续的肿瘤像素，即，彼此接触或彼此靠近的像素，其属于共同的肿瘤。然而，更复杂的分割标准通常会被包括在内以改善可靠性，例如标识不同像素分类的两个接触肿瘤，例如与两种不同的癌细胞分类相关联。CNN为每个像素指派概率，该概率是表示像素属于CNN已被训练以检测的N个类别中的每个类别的概率的概率向量。例如，在CNN被训练以区分侵袭性、原位和非肿瘤区域的情况下，每个像素将被指派长度为3的向量。地点k处的像素可以具有概率向量[0.1,0.2,0.7]，指示像素位于侵袭性区域的概率为10％，位于原位区域的概率为20％，并且位于非肿瘤区域的概率为70％。

在步骤S74中，由肿瘤发现CNN在步骤73中生成的数据(即，肿瘤特异性数据)被用于计算每个肿瘤的概要统计数据集合。例如，针对每个肿瘤，分数可以被计算为该肿瘤(区域)中所包含的所有像素的上面提及的概率值的数学平均值。一些其他概要统计数据(诸如中值、加权平均数等)也可以被用于计算分数。其他测量可以被使用，例如肿瘤的尺寸或形态学属性，诸如通过肿瘤中的像素数目或肿瘤区域的形状或某种像素分类(诸如侵袭性肿瘤和原位肿瘤)的普遍性测量的肿瘤区域。通常针对每个肿瘤，肿瘤概率、肿瘤面积和肿瘤最大尺寸长度的平均值和标准偏差都被包括在内。肿瘤区域不一定来自单个载玻片；它们可以属于单独的载玻片，例如两个载玻片的组织样本可以被不同的染色剂染色，从而突出显示不同类别的肿瘤细胞，使得在第一载玻片中标识出一些肿瘤，并且在第二载玻片中标识出其他肿瘤。可选地，更复杂的分数可以被计算。例如，可以使用在组织学图像数据(即，图像数据中标识的肿瘤)和患者特异性基因(即，基因组)数据的组合上训练的CNN来预测患者风险。这种CNN是Mobadersany等人在2018年描述的。在其他实施方式中，分数可以使用应用于由CNN标识的肿瘤的传统图像处理技术(例如如上面结合分割进一步列出的)计算。例如，形状和纹理测量可以与基因数据组合，以创建统计测量集合以包括在概要统计数据中。支持向量机或随机森林算法可以使用这些特征来预测转移风险。我们将转移风险限定为来自该肿瘤的细胞将转移到身体其他部分的概率。无论哪种方式，转移风险分数都将被计算，并且与每个肿瘤区域相关联。

步骤S75基于在步骤S74中计算和编译的概要统计数据来执行肿瘤的过滤。过滤器可以通过简单地穿过肿瘤列表来操作，从而比较概要统计数据中的单个参数的值或从逻辑组合和/或公式导出的复合值，包括存在于具有阈值的概要统计数据中的多个参数，然后基于比较结果去除或保留肿瘤对象。例如，可以由病理学家配置或预设的过滤器可以选择仅通过最大尺寸高于阈值的肿瘤，例如100微米，其具有高于阈值的平均概率，例如50％。另一示例过滤器是仅通过分类为侵袭性的肿瘤，并且在侵袭性肿瘤中，仅通过平均概率高于阈值(例如据说是80％)的那些肿瘤。

步骤S76获得步骤S75中由过滤器通过的肿瘤集合，并且按顺序对它们进行排名。肿瘤的排名然后可以基于概要统计数据并且应用标准集合来执行。标准排名方法的预设可以被提供给用户，允许用户选择预设中的一个预设。而且，用户可以被提供有用户界面以限定哪些标准要被应用。在标量值标准的情况下，例如基于长度尺寸或面积或整数计数(例如单元计数)，用户可以为这些标准设置阈值或值范围。排名顺序可以基于指示对患者存活的重要性的复合分数，例如5年生存概率，或者是简单的单参数排名，例如基于肿瘤的大小参数(诸如面积或最大尺寸)或形态学参数(诸如圆度)。

步骤S77生成载玻片图像的可视化，并且在显示设备的GUI窗口中将其显示给用户。可视化考虑了过滤以及排名。具体地，WSI中被认为是最重要的肿瘤以临床相关的方式显示，它们的概要统计数据也可以在所有情况下作为整体显示的一部分可用，或者选择性地响应来自用户的GUI命令，例如用光标在WSI中感兴趣的肿瘤上‘点击’以生成弹出窗口，其以表格或其他合适的形式示出该肿瘤的统计数据。该方法允许潜在重要肿瘤以向用户提供潜在重要肿瘤之间的排名信息以及这些肿瘤的统计概要的方式突出显示并且呈现给用户。统计概要可以呈现每个肿瘤的各个参数值(具体地被用作过滤和/或排名标准的那些参数值)以及复合参数，诸如从多个过滤和/或排名标准的公式和/或布尔逻辑组合计算的排名数目或重要性分数。

通常，所显示的图像将是组合重叠视图或多图块视图的形式。在重叠视图中，原始数据(可能经过处理)与重叠在顶部的分割数据一起显示，其中分割数据针对可视化被转化为每个肿瘤的阴影和/或轮廓。阴影或轮廓可以用颜色编码，例如按肿瘤分类。组织的非肿瘤区域可以根本没有被标记，或可以被高透明度的彩色涂料着色，例如蓝色涂料。在多图块视图中，重叠视图中的不同层被并排显示为图块，因此将有示出原始图像数据(可能已处理)的图块和过滤后的肿瘤区域的分割数据。如果需要，单独的分割数据图块可以针对每个肿瘤分类类型显示。显示器中的肿瘤区域的呈现考虑了在步骤S75中执行的过滤，并且优选地还考虑了在步骤S76中执行的排名。与肿瘤区域相关联的概要统计数据中的诸如肿瘤分数、分类的肿瘤类型和任何其他参数等因素可以单独或组合使用，来配置显示器。

有多个选项用于向用户显示检测到的、过滤后的和排名后的肿瘤。

在WSI视图中，显示肿瘤信息的一种方式是重叠一系列标志物，这些标志物可以包括WSI的低分辨率图像上的缩略图像和/或文本信息。标志物可以按排名排序或明确指示排名。病理学家被提供有合适的GUI工具，以用于通过选择其标志物来选择肿瘤，并且可选地也用于通过排名在肿瘤中导航，从较高排名的肿瘤到较低排名的肿瘤以及以较低排名的肿瘤到较高排名的肿瘤。合适的GUI工具包括：键盘快捷键；键盘上下左右、箭头键、键盘上下翻页键、鼠标导航(例如用滚轮上下滚动)或其他输入设备(语音导航、触摸传感器中的多点触控手势等。)在GUI中选择排名标志物可以促进显示该肿瘤的概要统计数据或其子集和/或在链接至肿瘤在低分辨率图像或单独的高分辨率查看窗格中的显示的弹出窗口中显示高分辨率的肿瘤视图。用户可能会导致通过合适的GUI命令(诸如键盘命令、鼠标命令(例如双击)或其他合适的输入)显示肿瘤的高(例如完整原生的)分辨率图像。对应的GUI命令被提供，以导航回低分辨率WSI视图。可视化应用优选地提供GUI控件，其允许用户通过在低分辨率和高分辨率视图中的排名顺序向上或向下逐步浏览肿瘤。

一个示例WSI视图将使已通过步骤S76的过滤器的所有肿瘤以及排名标志物标签1、2、3等被显示(即，其分割数据被显示)。点击排名标志物标签(或肿瘤)然后可以生成弹出窗口，其列出所选的概要统计数据集合，特别是被过滤器使用和/或分辨率高于WSI视图中的肿瘤的缩略视图的那些。备选地，该视图可以是分屏视图，其中重叠图像或图像图块在屏幕的一部分中被显示，并且过滤肿瘤的表格在屏幕的另一部分中被显示。表格最初可以按排名排序来呈现，但GUI也可以使设施被用户按任何其他列或多列的组合重新排序，其中其他列可以是来自概要统计数据的任何标准或过滤标准，诸如肿瘤区域、肿瘤分类、转移概率等。例如，排序可以按肿瘤分类，后跟着肿瘤区域。在多载玻片图像文件的情况下，排序可以是载玻片编号，后跟着(一个或多个)一些其他参数。

在多分辨率视图中，包括以低分辨率(例如10x放大率)的一个查看窗格，通常再现WSI，以及高分辨率(例如60x放大率，即，相对于10x视图的6x或600％缩放)的另一查看窗格)。例如，所呈现的初始视图可以是WSI低分辨率图像窗格和以具有顶部排名的肿瘤区域为中心的高分辨率图像窗格。逐步向下箭头(或一对向下和向上箭头)或其他合适的GUI按钮或按钮组合(诸如物理或虚拟滚轮)然后可以允许用户通过逐一排名来逐步浏览过滤的肿瘤区域。GUI可以允许用户通过用户输入来调整高分辨率图像窗格中的分辨率。GUI还可以为高分辨率图像窗格选择初始分辨率，使得肿瘤的大小被确定以基本填满高分辨率查看窗格。

因此，可视化应用可以确定向用户显示什么，用分割数据和概要统计数据突出显示什么肿瘤以及在选择性视图的情况下肿瘤被显示给用户的时间序列，即，顺序。

显示特别适合载玻片集合的肿瘤区域的另一方式是创建拼接图(montage)，其中肿瘤的低分辨率图像连同它们的概要统计数据被显示为排序的图块。排序可以通过显示一维(ID)列表或二维(2D)网格的方式进行。甚至可以以三个尺寸布置肿瘤，例如借助于虚拟现实护目镜。用户可以使用击键、鼠标滚动或其他输入模态(语音、触摸等)来导航ID列表或2D图块阵列。一旦图块被选择，病理学家就可以快速导航到适当载玻片中的肿瘤的高分辨率版本，以对肿瘤进行更深入的验证，可选地与由概要统计数据和分割数据呈现的CNN分析结果进行比较，并且可选地还通过对肿瘤应用可以辅助诊断的一种或多种进一步分析算法来对肿瘤执行附加处理。

在步骤S78中，在查看经过滤和排名的肿瘤之后，病理学家具有选择这些肿瘤中的任何一个(或排名肿瘤的任何子集，或者实际上是过滤肿瘤的全集)以供进一步研究的额外选项。

在步骤S79中，该进一步研究被执行。通过进一步研究，我们的意思是应用一种或多种附加算法来提供关于所选肿瘤的其他信息，以辅助其诊断。这可以是为了帮助确认临时诊断或对病理学做出初步诊断以考虑作为起点。

例如，针对乳腺癌，在步骤S78中，病理学家可以选择包含侵袭性乳腺癌的肿瘤，然后在步骤S79中应用计算肿瘤的有丝分裂计数的算法。即，可视化应用包括这种算法。与来自IHC染色载玻片的图像数据相关的另一乳腺癌示例是应用算法来计算所选肿瘤中的一个或多个诊断相关基因(诸如ER、PR或HER2)的表达分数。

总而言之，可视化被配置为提示用户检查图像中包含潜在重要肿瘤的区域。具体地，与传统的可视化应用相比，用户无需以低分辨率对整个载玻片区域执行手动视觉扫描，从而在遇到潜在肿瘤区域时放大和退出高分辨率视图。如上所述，基于CNN辅助过滤和排名呈现给病理学家的可视化的自动预处理因此减少了病理学家审查载玻片并且做出适当诊断所需的时间量，以及减少重要肿瘤被人为错误遗漏的机会。

示例实施例

在一个实施例中，用于在组织学图像中标识肿瘤的系统被配置为执行在组织学图像中标识肿瘤的方法。该方法包括：接收包括二维像素阵列的组织学图像，并且应用卷积神经网络来生成具有二维像素阵列的输出图像以及输出图像中的像素到组织学图像的像素的映射。输出图像通过将多个组织类别中的一个组织类别指派给每个像素被生成，其中多个组织类别包括表示非肿瘤组织的至少一个类别和表示肿瘤组织的至少一个类别。

接下来，系统从输出图像生成分割掩模。分割掩模标识由各个肿瘤占据的区域。该系统还计算每个肿瘤的概要统计数据，并且该系统被配置为过滤分割掩模，以根据每个肿瘤的概要统计数据来选择和取消选择各个肿瘤。该系统还被配置为根据所编辑的分割掩模创建组织学图像的可视化，并且接收对过滤后的分割掩模中的各个肿瘤的选择，然后协调对当前选择的肿瘤执行附加的计算诊断过程。

在一个实施例中，附加计算诊断过程包括：将处理任务发送给附加计算诊断过程，并且从附加计算诊断接收处理任务的结果。附加计算诊断过程可以在本地或在经由数据通信网络通信耦合的远程处理器启用设备上执行。处理任务的一部分可以包括组织学图像。处理任务还可以包括与组织学图像相关的元数据，并且在一些情况下，与组织学图像相关的元数据可以包括分割掩模。附加地，与组织学图像相关的元数据还可以包括以下一项或多项：患者信息、染色剂信息、染色协议信息和扫描协议信息。

CNN计算平台

所提议的图像处理可以在各种计算架构上执行，特别是针对神经网络优化的那些，这些架构可以基于CPU、GPU、TPU、FPGA和/或ASIC。在一些实施例中，神经网络使用在来自加利福尼亚州圣克拉拉的英伟达公司的英伟达GPU上运行的谷歌Tensorflow软件库来实施，诸如特斯拉K80 GPU。在其他实施例中，神经网络可以在通用CPU上运行。更快的处理可以通过专门设计的用于执行CNN计算的处理器来获得，例如Jouppi等人在2017年公开的TPU，其全部内容通过引用并入本文。

图8示出了Jouppi等人2017年的TPU，它是Jouppi的图1的简化再现。TPU 100具有收缩矩阵乘法单元(MMU)102，它包含256x256个MAC，其可以对有符号整数或无符号整数执行8位乘加。MMU的权重通过权重FIFO缓冲器104供应，该缓冲器104继而经由合适的存储器接口108从片外8GB DRAM形式的存储器106读取权重。统一缓冲器(UB)110被提供，以存储中间结果。MMU 102被连接以从权重FIFO接口104和UB 110(经由收缩数据设置单元112)接收输入，并且将MMU处理的16位乘积输出给累加器单元114。启动单元116对保持在累加器单元114中的数据执行非线性功能。在由归一化单元118和池化单元120进行进一步处理之后，中间结果被发送给UB 110，以经由数据设置单元112重新供应给MMU 102。池化单元120可以根据需要执行最大池化(即，最大池化ing)或平均池化。可编程DMA控制器122向或从TPU的主机计算机和UB 110传送数据。TPU指令经由主机接口124和指令缓冲器126从主机计算机发送给控制器122。

要理解的是，无论是基于CPU、GPU还是TPU，用于运行神经网络的计算功率都可以被本地托管在临床网络(例如下面描述的)中或远程托管在数据中心中。

网络和计算和扫描环境

所提议的计算机自动化方法在实验室信息系统(LIS)的上下文中操作，而实验室信息系统(LIS)通常是更大的临床网络环境的一部分，诸如医院信息系统(HIS)或图片存档和通信系统(PACS)。在LIS中，WSI将被保留在数据库中，通常是包含各个患者的电子医疗记录的患者信息数据库。WSI将取自安装在载玻片上的染色组织样本，载玻片承载WSI用合适的元数据标记的所打印的条形码标签，因为获取WSI的显微镜被配备有条形码阅读器。从硬件的角度来看，LIS将是常规的计算机网络，诸如具有期望的有线和无线连接的局域网(LAN)。

图9示出了可以结合本发明的实施例使用的示例计算机网络。网络150包括医院152中的LAN。医院152被配备有多个工作站154，其分别可以经由局域网访问具有关联存储设备158的医院计算机服务器156。LIS、HIS或PACS档案被存储在存储设备158上，使得档案中的数据可以从任何工作站154访问。一个或多个工作站154可以访问图形卡和软件，以用于计算机实施生成图像方法，如上文所描述的。软件可以被本地存储在工作站154或每个工作站154处，或者可以被远程存储并在需要时通过网络150下载到工作站154。在其他示例中，实施本发明的方法可以在具有作为终端操作的工作站154的计算机服务器上执行。例如，工作站可以被配置为接收限定期望组织学图像数据集的用户输入，并且在CNN分析在系统中的其他地方执行时显示所得图像。而且，多个组织学和其他医学成像设备160、162、164、166被连接至医院计算机服务器156。用设备160、162、164、166收集的图像数据可以被直接存储到存储设备156上的LIS、HIS或PACS档案中。因此，在对应的组织学图像数据被记录之后，组织学图像可以被立即查看和处理。局域网通过医院互联网服务器170被连接至互联网168，其允许远程访问LIS、HIS或PACS档案。例如如果患者被移动，这可用于远程访问数据并且在医院之间传送数据，或允许进行外部研究。

图10是图示了可以结合本文描述的各种实施例使用的示例计算装置500的框图。例如，计算装置500可以被用作上面提及的LIS或PACS系统中的计算节点，例如CNN处理结合合适的GPU执行的主机计算机或者图8所示的TPU。

计算装置500可以是服务器或任何常规的个人计算机，或者是能够进行有线或无线数据通信的任何其他处理器启用设备。其他计算装置、系统和/或架构也可以被使用，包括不能够进行有线或无线数据通信的设备，这对于本领域技术人员来说是清晰的。

计算装置500优选地包括一个或多个处理器，诸如处理器510。处理器510可以是例如CPU、GPU、TPU或阵列或其组合，诸如CPU和TPU的组合或CPU和GPU的组合。附加处理器可以被提供，诸如管理输入/输出的辅助处理器、执行浮点数学操作的辅助处理器(例如TPU)、具有适合于快速执行信号处理算法的架构的专用微处理器(例如数字信号处理器、图像处理器)、从属于主处理系统的从处理器(例如后端处理器)、用于双处理器系统或多处理器系统的附加微处理器或控制器或者协处理器。这种辅助处理器可以是离散处理器，或者可以与处理器510集成在一起。可以与计算装置500一起使用的CPU的示例是奔腾处理器、酷睿i7处理器和至强处理器，所有这些都可以从加利福尼亚州圣克拉拉的英特尔公司获得。可以与计算装置500一起使用的示例GPU是加利福尼亚州圣克拉拉的英伟达公司的特斯拉K80GPU。

处理器510被连接至通信总线505。通信总线505可以包括用于促进在存储装置与计算装置500的其他外围组件之间的信息传送的数据通道。通信总线505还可以提供用于与处理器510通信的信号集合，包括数据总线、地址总线和控制总线(未示出)。通信总线505可以包括任何标准或非标准总线架构，诸如例如符合工业标准架构(ISA)、扩展工业标准架构(EISA)、微通道架构(MCA)、外围组件互连(PCI)局部总线或者由电气和电子工程师协会(IEEE)颁布的标准(包括IEEE 488通用接口总线(GPIB)、IEEE 696/S-100等)的总线架构。

计算装置500优选地包括主存储器515，并且还可以包括次级存储器520。主存储器515为在处理器510上执行的程序提供指令和数据的存储，诸如上面讨论的功能和/或模块中的一个或多个。应该理解的是，存储在存储器中并由处理器510执行的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路系统的配置数据或者通过一种或多种编程语言的任何组合编写和/或编译的源代码或目标代码，包括但不限于Smalltalk、C/C++、Java、JavaScript、Perl、Visual Basic、.NET等。主存储器515通常是基于半导体的存储器，诸如动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。其他基于半导体的存储器类型包括例如同步动态随机存取存储器(SDRAM)、Rambus动态随机存取存储器(RDRAM)、铁电随机存取存储器(FRAM)等，包括只读存储器(ROM)。

计算机可读程序指令可以完全在用户计算机上，部分在用户计算机上，作为独立的软件包，部分在用户计算机上并且部分在远程计算机上或者完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接至用户计算机，或者可以连接至外部计算机(例如使用互联网服务提供方通过互联网)。

次级存储器520可以可选地包括内部存储器525和/或可移除介质530。可移除介质530以任何众所周知的方式被读取和/或写入。可移除存储介质530可以是例如磁带驱动器、压缩盘(CD)驱动器、数字通用盘(DVD)驱动器、其他光学驱动器、闪存驱动器等。

可移除存储介质530是在其上存储有计算机可执行代码(即，软件)和/或数据的非暂时性计算机可读介质。存储在可移除存储介质530上的计算机软件或数据被读入计算装置500中，以由处理器510执行。

次级存储器520可以包括其他类似的元件，以用于允许计算机程序或其他数据或指令被加载到计算装置500中。这种部件可以包括例如外部存储介质545和通信接口540，其允许软件和数据从外部存储介质545被传送给计算装置500。外部存储介质545的示例可以包括外部硬盘驱动器、外部光学驱动器、外部磁光驱动器等。次级存储器520的其他示例可以包括基于半导体的存储器，诸如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)或闪存(类似于EEPROM的面向块的存储器)。

如上面提及的，计算装置500可以包括通信接口540。通信接口540允许软件和数据在计算装置500和外部设备(例如打印机)、网络或其他信息源之间传送。例如，计算机软件或可执行代码可以经由通信接口540从网络服务器传送给计算装置500。通信接口540的示例包括内置网络适配器、网络接口卡(NIC)、个人计算机存储卡国际协会(PCMCIA)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(USB)网络适配器、调制解调器、网络接口卡(NIC)、无线数据卡、通信端口、红外接口、IEEE 1394火线或者能够将系统550与网络或另一计算设备接口的任何其他设备。通信接口540优选地实施行业颁布的协议标准，诸如以太网IEEE 802标准、光纤通道、数字订户线(DSL)、异步数字订户线(ADSL)、帧中继、异步传送模式(ATM)、集成数字服务网络(ISDN)、个人通信服务(PCS)、传输控制协议/互联网协议(TCP/IP)、串行线互联网协议/点对点协议(SLIP/PPP)等，但是也可以实施定制的或非标准的接口协议。

经由通信接口540传送的软件和数据通常是电通信信号555的形式。这些信号555可以经由通信通道550被提供给通信接口540。在实施例中，通信通道550可以是有线或无线网络或者任何各种其他通信链接。通信通道550携带信号555，并且可以使用各种有线或无线通信部件来实施，包括电线或电缆、光纤、常规电话线、蜂窝电话链接、无线数据通信链接、射频(“RF”)链接或者红外链接，仅举几例。

计算机可执行代码(即，计算机程序或软件)被存储在主存储器515和/或次级存储器520中。计算机程序也可以经由通信接口540接收，并且被存储在主存储器515和/或次级存储器520中。在被执行时，这种计算机程序使计算装置500能够执行本文其他地方描述的所公开实施例的各种功能。

在该文档中，术语“计算机可读介质”被用于指代任何非暂时性计算机可读存储介质，其用于向计算装置500提供计算机可执行代码(例如软件和计算机程序)。这种介质的示例包括主存储器515、次级存储器520(包括内部存储器525、可移除介质530和外部存储介质545)以及与通信接口540通信耦合的任何外围设备(包括网络信息服务器或其他网络设备)。这些非暂时性计算机可读介质是用于向计算装置500提供可执行代码、编程指令和软件的部件。在使用软件实施的实施例中，软件可以被存储在计算机可读介质上，并通过可移除介质530、I/O接口535或通信接口540被加载到计算装置500中。在这种实施例中，软件以电通信信号555的形式被加载到计算装置500中。在由处理器510执行时，软件优选地使处理器510执行本文其他地方描述的特征和功能。

I/O接口535提供计算装置500的一个或多个组件与一个或多个输入和/或输出设备之间的接口。示例输入设备包括但不限于键盘、触摸屏或其他触敏设备、生物特征感测设备、计算机鼠标、轨迹球、基于笔的指向设备等。输出设备的示例包括但不限于阴极射线管(CRT)、等离子体显示器、发光二极管(LED)显示器、液晶显示器(LCD)、打印机、真空荧光显示器(VFD)、表面传导电子发射体显示器(SED)、场发射显示器(FED)等。

计算装置500还包括可选的无线通信组件，其促进通过语音网络和/或数据网络进行的无线通信。无线通信组件包括天线系统570、无线电系统565和基带系统560。在计算装置500中，射频(RF)信号在无线电系统565的管理下由天线系统570通过空中传输和接收。

天线系统570可以包括一个或多个天线和一个或多个复用器(未示出)，其执行切换功能以向天线系统570提供传输和接收信号路径。在接收路径中，接收到的RF信号可以从复用器耦合至低噪声放大器(未示出)，该低噪声放大器放大接收到的RF信号并将放大后的信号发送给无线电系统565。

无线电系统565可以包括一个或多个无线电，其被配置为通过各种频率进行通信。在实施例中，无线电系统565可以在一个集成电路(IC)中组合解调器(未示出)和调制器(未示出)。解调器和调制器也可以是单独的组件。在传入路径中，解调器剥离RF载波信号，从而留下基带接收音频信号，该基带接收音频信号从无线电系统565被发送给基带系统560。

如果接收到的信号包含音频信息，那么基带系统560对该信号进行解码并将其转换为模拟信号。然后信号被放大并发送给扬声器。基带系统560还从麦克风接收模拟音频信号。这些模拟音频信号被转换为数字信号，并由基带系统560编码。基带系统560还编码用于传输的数字信号，并生成被路由到无线电系统565的调制器部分的基带传输音频信号。调制器混合具有RF载波信号的基带传输音频信号，该RF载波信号生成被路由到天线系统570并且可以穿过功率放大器(未示出)的RF传输信号。功率放大器放大RF传输信号，并将其路由到天线系统570，其中信号被切换到天线端口以进行传输。

基带系统560还与处理器510通信耦合，该处理器510可以是中央处理单元(CPU)。处理器510可以访问数据存储区域515和520。处理器510优选地被配置为执行指令(即，计算机程序或软件)，其可以被存储在主存储器515或次级存储器520中。计算机程序560还可以从基带处理器接收，并被存储在主存储器510或次级存储器520中，或者在接收时执行。在被执行时，这种计算机程序使计算装置500能够执行所公开实施例的各种功能。例如，数据存储区域515或520可以包括各种软件模块。

计算装置还包括直接附接至通信总线505的显示器575，其可以代替连接至上面引用的I/O接口535的任何显示器或者除其之外来提供。

各种实施例也可以主要在硬件中实施，例如使用诸如专用集成电路(ASIC)、可编程逻辑阵列(PLA)或现场可编程门阵列(FPGA)等组件。能够执行本文描述的功能的硬件状态机的实施方式对于相关领域的技术人员来说也将是显而易见的。各种实施例还可以使用硬件和软件两者的组合来实施。

此外，本领域技术人员将了解，结合本文公开的上述附图和实施例描述的各种说明性逻辑块、模块、电路和方法步骤通常可以被实施为电子硬件、计算机软件或两者的组合。为了清晰地说明硬件和软件的这种可互换性，各种说明性组件、框、模块、电路和步骤已经在上面在其功能性方面进行了总体描述。这种功能性是被实施为硬件还是软件取决于特定应用和强加于总体系统的设计约束。技术人员可以针对每个特定应用以不同方式实施所描述的功能性，但是这种实施决策不应被解释为导致脱离本发明的范围。另外，模块、框、电路或步骤内的功能分组是为了便于描述。在不脱离本发明的情况下，特定功能或步骤可以从一个模块、框或电路移动到另一模块、框或电路。

而且，结合本文公开的实施例描述的各种说明性逻辑块、模块、功能和方法可以用通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其他可编程逻辑设备、离散门或晶体管逻辑、离散硬件组件或其任何组合(被设计为执行本文描述的功能)实施或执行。通用处理器可以是微处理器，但是在备选方案中，处理器可以是任何处理器、控制器、微控制器或状态机。处理器也可以被实施为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、结合DSP核心的一个或多个微处理器或者任何其他这种配置。

附加地，结合本文公开的实施例描述的方法或算法的步骤可以被直接实施在硬件中、由处理器执行的软件模块中或者两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除磁盘、CD-ROM或包括网络存储介质的任何其他形式的存储介质中。示例性存储介质可以被耦合至处理器，使得处理器可以从该存储介质读取信息，并且向该存储介质写入信息。在备选方案中，存储介质对于处理器来说可能是必不可少的。处理器和存储介质也可以驻留在ASIC中。

如本文引用的，计算机可读存储介质不应被解释为瞬态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过电线传输的电信号。

本文描述的任何软件组件都可以采用各种形式。例如，组件可以是独立的软件包，或者它可以是作为“工具”并入更大软件产品中的软件包。它可以作为独立产品或作为用于安装在现有软件应用中的插件包从网络(例如网站)下载。它还可以用作客户端-服务器软件应用、web启用的软件应用和/或移动应用。

本发明的实施例是本文参照根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或框图描述的。要理解的是，流程图图示和/或框图中的每个框以及流程图图示和/或框图中的框的组合可以通过计算机可读程序指令来实施。

计算机可读程序指令可以被提供给通用计算机、专用计算机或者其他可编程数据处理装置的处理器，以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实施在流程图和/或框图的一个或多个框中指定的功能/行动的部件。这些计算机可读程序指令还可以被存储在计算机可读存储介质(可以指导计算机、可编程数据处理装置和/或其他设备以特定方式运行)中，使得在其中存储有指令的计算机可读存储介质包括制品，该制品包括实施在流程图和/或框图的一个或多个框中指定的功能/行动的各个方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或者其他设备上，以使一系列操作步骤在计算机、其他可编程装置或者其他设备上执行以产生计算机实施的过程，使得在计算机、其他可编程装置或者其他设备上执行的指令实施在流程图和/或框图的一个或多个框中指定的功能/行动。

所图示的流程图和框图图示了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能性和操作。在这方面，流程图或框图中的每个框都可以表示模块、分段或代码部分，其包括用于实施所指定的(一个或多个)逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按照附图中提到的顺序发生。例如，事实上，连续示出的两个框可以基本上并发执行，或者这些框有时可以按照相反顺序执行，取决于所涉及的功能性。还要注意的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由基于专用硬件的系统实施，其执行指定功能或行动或者执行专用硬件和计算机指令的组合。

实施本发明的装置和方法能够在云计算环境中托管并由其递送。云计算是服务递送模型，用于实现对可配置计算资源(例如网络、网络带宽、服务器、处理、存储器、存储装置、应用、虚拟机和服务)的共享池的便利、按需网络访问，其可以利用最少的管理工作或与服务提供方的交互来快速供应和发布。该云模型可以包括至少五个特点、至少三个服务模型和至少四个部署模型。

特点如下：

按需自助服务：云消费者可以单方面地根据需要自动供应计算能力，诸如服务器时间和网络存储，而无需与服务提供方进行人工交互。

广泛的网络访问：能力可以通过网络获得，并通过标准机制访问，该标准机制促进异构瘦客户端或胖客户端平台(例如移动电话、膝上型计算机和PDA)的使用。

资源池化：提供方的计算资源被池化，以使用多租户模型为多个消费者服务，不同的物理和虚拟资源根据需求动态地指派和重新指派。存在地点独立性，因为消费者通常无法控制或了解所提供资源的确切地点，但可能能够在更高的抽象级别(例如国家、州或数据中心)指定地点。

快速弹性：能力可以快速且弹性地供应，在一些情况下自动地供应，以迅速向外扩展并快速释放以迅速向内扩展。对于消费者来说，可用于供应的能力通常似乎是无限的，并且可以在任何时间以任何数目购买。

测量服务：通过在适合服务类型(例如存储装置、处理、带宽和活动用户账户)的某种抽象级别利用计量能力，云系统自动控制和优化资源使用。资源使用可以被监测、控制和报告，从而为所使用服务的提供方和消费者提供透明度。

服务模型如下：

软件即服务(SaaS)：提供给消费者的能力是使用提供方在云基础设施上运行的应用。这些应用可以通过瘦客户端界面(诸如web浏览器(例如基于web的电子邮件))从各种客户端设备访问。消费者不管理或控制底层云基础设施，包括网络、服务器、操作系统、存储装置，甚或各个应用能力，但有限的用户特定的应用配置设置可能除外。

平台即服务(PaaS)：提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上，这些应用是使用提供方支持的编程语言和工具创建的。消费者不管理或控制底层云基础设施，包括网络、服务器、操作系统或存储装置，但可以控制所部署的应用和可能的应用托管环境配置。

基础设施即服务(IaaS)：提供给消费者的能力是供应处理、存储装置、网络和其他基本计算资源，消费者能够在其中部署和运行任意软件，其可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但可以控制操作系统、存储装置、所部署的应用以及可能对所选联网组件(例如主机防火墙)的有限控制。

部署模型如下：

私有云：云基础设施仅针对组织操作。它可以由组织或第三方管理，并且可能存在于内部或外部。

社区云：云基础设施由多个组织共享，并支持具有共同关注点(例如任务、安全性要求、策略和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可能存在于内部或外部。

公共云：云基础设施可供公众或大型工业集团使用，并由销售云服务的组织拥有。

混合云：云基础设施是两个或更多个云(私有、社区或公共)的合成物，它们仍然是唯一的实体，但通过标准化或专有技术被绑定在一起，从而实现数据和应用可移植性(例如用于云之间的负载平衡的云爆发)。

云计算环境是面向服务的，重点是无状态、低耦合、模块化和语义互操作性。在云计算的核心处是包括互连节点网络的基础设施。

本领域技术人员将清楚，在不脱离本公开的范围的情况下，许多改善和修改可以对前述示例性实施例进行。

图11A是图示了可以结合本文描述的各种实施例使用的示例处理器启用设备551的框图。如本领域技术人员将理解的，设备551的备选形式也可以被使用。在所图示的实施例中，设备551被呈现为数字成像设备(在本文中也称为扫描仪系统或扫描系统)，其包括：一个或多个处理器556、一个或多个存储器566、一个或多个运动控制器571、一个或多个接口系统576、分别支撑具有一个或多个样本590的一个或多个载玻片585的一个或多个可移动载物台580、照亮样本的一个或多个照射系统595、分别限定沿着光轴行进的光径605的一个或多个物镜600、一个或多个物镜定位器630、一个或多个可选的epi照射系统635(例如被包括在荧光扫描仪系统中)、一个或多个聚焦光学器件610、一个或多个线扫描相机615和/或每个在样本590和/或载玻片585上限定单独视野625的一个或多个区域扫描相机620。扫描仪系统551的各种元件经由一个或多个通信总线560通信耦合。尽管可能存在扫描器系统551的各种元件中的每种元件中的一个或多个元件，但为了以下描述的简单起见，这些元件将以单数形式描述，除非需要以复数形式描述以传达适当的信息。

一个或多个处理器556可以包括例如能够并行处理指令的中央处理单元(“CPU”)和单独的图形处理单元(“GPU”)，或者一个或多个处理器556可以包括能够并行处理指令的多核处理器。附加的单独处理器还可以被提供，以控制特定组件或执行特定功能，诸如图像处理。例如，附加处理器可以包括管理数据输入的辅助处理器、执行浮点数学操作的辅助处理器、具有适合于快速执行信号处理算法的架构的专用处理器(例如数字信号处理器)、从属于主处理器的从处理器(例如后端处理器)、用于控制线扫描相机615、载物台580、物镜225和/或显示器(未示出)的附加处理器。这种附加处理器可以是单独的离散处理器，或可以与处理器556集成在一起。

存储器566为可以由处理器556执行的程序提供数据和指令的存储。存储器566可以包括存储数据和指令的一个或多个易失性和持久性计算机可读存储介质，例如随机存取存储器、只读存储器、硬盘驱动器、可移除存储驱动器等。处理器556被配置为执行存储在存储器566中的指令，并且经由通信总线560与扫描仪系统551的各种元件通信，以执行扫描仪系统551的总体功能。

一个或多个通信总线560可以包括被配置为传达模拟电信号的通信总线560，并且可以包括被配置为传达数字数据的通信总线560。因此，经由一个或多个通信总线560的来自处理器556、运动控制器571和/或接口系统576的通信可以包括电信号和数字数据。处理器556、运动控制器571和/或接口系统576还可以被配置为经由无线通信链接与扫描系统551的各种元件中的一个或多个进行通信。

运动控制系统571被配置为精确控制和协调载物台580和物镜600的XYZ移动(例如经由物镜定位器630)。运动控制系统571还被配置为控制扫描仪系统551中的任何其他移动部分的移动。例如，在荧光扫描仪实施例中，运动控制系统571被配置为协调光学过滤器等在epi照射系统635中的移动。

接口系统576允许扫描仪系统551与其他系统和人类操作员接口。例如，接口系统576可以包括用户界面，以直接向操作员提供信息和/或允许来自操作员的直接输入。接口系统576还被配置为促进在扫描系统551与直接连接的一个或多个外部设备(例如打印机、可移除存储介质)或者与经由网络(未示出)被连接至扫描仪系统551的外部设备(诸如图像服务器系统、操作员站、用户站和管理服务器系统)之间的通信和数据传送。

照射系统595被配置为照亮样本590的一部分。照射系统可以包括例如光源和照射光学器件。光源可以是可变强度卤素光源，其具有最大化光输出的凹面反射镜和抑制热量的KG-1过滤器。光源也可以是任何类型的弧光灯、激光器或其他光源。在一个实施例中，照射系统595以透射模式照亮样本590，使得线扫描相机615和/或区域扫描相机620感测通过样本590透射的光能。备选地或组合地，照射系统595还可以被配置为以反射模式照亮样本590，使得线扫描相机615和/或区域扫描相机620感测从样本590反射的光能。总的来说，照射系统595被配置为适合于以任何已知的光学显微镜模式对微观样本590的询问。

在一个实施例中，扫描仪系统551可选地包括epi照射系统635，以优化用于荧光扫描的扫描仪系统551。荧光扫描是包括荧光分子的样本590的扫描，该荧光分子是可以吸收特定波长(激发)的光的光子敏感分子。这些光子敏感分子还发射更高波长的光(发射)。因为这种光致发光现象的效率非常低，所以所发射的光量往往非常低。这种少量的发射光通常会阻碍用于扫描和数字化样本590的常规技术(例如透射模式显微镜)。有利地，在扫描仪系统551的可选荧光扫描仪系统实施例中，通过将样本590的相同区域暴露于线扫描相机615的多个线性传感器阵列中的每个线性传感器阵列，使用包括多个线性传感器阵列(例如时间延迟积分(“TDI”)线扫描相机)的线扫描相机615增加了对线扫描相机的光的敏感性。这在扫描具有低发射光的微弱荧光样本时特别有用。

因此，在荧光扫描仪系统实施例中，线扫描相机615优选地是单色TDI线扫描相机。有利地，单色图像在荧光显微镜中是理想的，因为它们提供来自样本上存在的各种通道的实际信号的更准确表示。如本领域技术人员将理解的，荧光样本590可以用多种荧光染料标示，这些荧光染料在不同波长下发射光，也被称为“通道”。

此外，由于各种荧光样本的低端和高端信号电平呈现出线扫描相机615感测的宽谱波长，因此线扫描相机615可以感测的低端和高端信号电平类似宽是可取的。因此，在荧光扫描仪实施例中，在荧光扫描系统551中使用的线扫描相机615是单色10位64线性阵列TDI线扫描相机。应该注意的是，线扫描相机615的各种位深度可以被采用，以与扫描系统551的荧光扫描仪实施例一起使用。

可移动载物台580被配置用于在处理器556或运动控制器571的控制下进行精确的XY移动。可移动载物台也可以被配置用于在处理器556或运动控制器571的控制下在Z上移动。可移动载物台被配置为在由线扫描相机615和/或区域扫描相机捕获的图像数据期间将样本定位在期望地点中。可移动载物台还被配置为在扫描方向上将样本590加速至基本恒定的速度，然后在由线扫描相机615捕获的图像数据期间维持基本恒定的速度。在一个实施例中，扫描仪系统551可以采用高精度且紧密协调的XY网格，以辅助样本590在可移动载物台580上的定位。在一个实施例中，可移动载物台580是基于线性电机的XY载物台，其在X和Y轴上均采用高精度编码器。例如，非常精确的纳米编码器可以在扫描方向上的轴线上以及与扫描方向垂直的方向上且与扫描方向在同一平面上的轴线上使用。该载物台还被配置为支撑载玻片585，样本590被设置在载玻片585上。

样本590可以是可以通过光学显微镜询问的任何东西。例如，显微镜载玻片585经常被用作标本的观察基底，该标本包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、珠子、活检材料或任何其他类型的生物材料或者死或活、染色或未染色、标示或未标示的物质。样本590也可以是被沉积在任何类型的载玻片或其他基底上的任何类型的DNA或DNA相关材料(诸如cDNA或RNA或蛋白质)的阵列，包括通常称为微阵列的任何和所有样本。样本590可以是微量滴定板，例如96孔板。样本590的其他示例包括集成电路板、电泳记录、培养皿、薄膜、半导体材料、法医材料或机加工部分。

物镜600被安装在物镜定位器630上，在一个实施例中，其可以采用非常精确的线性电机来沿着由物镜600限定的光轴移动物镜600。例如，物镜定位器630的线性电机可以包括50纳米编码器。载物台580和物镜600在XYZ轴上的相对位置在处理器556的控制下使用运动控制器571以闭环方式协调和控制，该处理器556采用存储器566来存储信息和指令，包括用于整个扫描系统551操作的计算机可执行编程步骤。

在一个实施例中，物镜600是平场复消色差(“APO”)无限远校正物镜，其数值孔径对应于期望的最高空间分辨率，其中物镜600适合于透射模式照射显微镜、反射模式照射显微镜和/或epi照射模式荧光显微镜(例如奥林匹斯40X、0.75NA或20X、0.75NA)。有利地，物镜600能够校正色差和球面像差。因为物镜600是无限远校正的，所以聚焦光学器件610可以被放置在物镜600上方的光径605中，其中穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光学信号聚焦到线扫描相机615和/或区域扫描相机620的光响应元件上，并且可以包括诸如过滤器、放大率变换器透镜等光学组件。与聚焦光学器件610组合的物镜600为扫描系统551提供总放大率。在一个实施例中，聚焦光学器件610可以包含镜筒透镜和可选的2X放大率变换器。有利地，2X放大率变换器允许原生20X物镜600以40X放大率扫描样本590。

线扫描相机615包括图片元件(“像素”)的至少一个线性阵列。线扫描相机可以是单色或彩色的。彩色线扫描相机通常具有至少三个线性阵列，而单色线扫描相机可以具有单个线性阵列或多个线性阵列。任何类型的单数或复数线性阵列也可以被使用，无论是作为相机的一部分封装还是定制集成到成像电子模块中。例如，3线性阵列(“红-绿-蓝”或“RGB”)彩色线扫描相机或96线性阵列单色TDI也可以被使用。通过对来自标本的先前成像区域的强度数据求和，TDI线扫描相机通常在输出信号中提供实质上更好的信噪比(“SNR”)，从而改善与积分级数目的平方根成正比的SNR。TDI线扫描相机包括多个线性阵列，例如TDI线扫描相机有24、32、48、64、96个甚或更多线性阵列可用。扫描仪系统551还支持以各种格式制造的线性阵列，包括一些具有512个像素，一些具有1024个像素，并且其他具有多达4096个像素。类似地，具有多个像素大小的线性阵列也可以被用于扫描仪系统551中。选择任何类型的线扫描相机615的突出要求是载物台580的运动可以与线扫描相机615的线速率同步，使得在样本590的数字图像捕获期间，载物台580可以相对于线扫描相机615运动。

由线扫描相机615生成的图像数据被存储在存储器566的一部分中并且由处理器556处理，以生成样本590的至少一部分的连续数字图像。该连续数字图像可以由处理器556进一步处理，并且改善的连续数字图像也可以被存储在存储器566中。

在具有两个或更多个线扫描相机615的实施例中，线扫描相机615中的至少一个可以被配置为用作聚焦传感器，其与被配置为用作成像传感器的线扫描相机615中的至少一个组合操作。聚焦传感器可以被逻辑地定位在与成像传感器相同的光轴上，或者聚焦传感器可以相对于扫描仪系统551的扫描方向被逻辑地定位在成像传感器之前或之后。在至少一个线扫描相机615用作聚焦传感器的这种实施例中，由聚焦传感器生成的图像数据被存储在存储器566的一部分中并且由一个或多个处理器556处理，以生成聚焦信息，以允许扫描仪系统551调整在样本590与物镜600之间的相对距离以在扫描期间维持对样本的聚焦。附加地，在一个实施例中，用作聚焦传感器的至少一个线扫描相机615可以被定向为使得聚焦传感器的多个单独像素中的每个像素沿着光径605位于不同的逻辑高度。

在操作中，扫描仪系统551的各种组件以及存储在存储器566中的编程模块能够自动扫描和数字化被设置在载玻片585上的样本590。载玻片585被牢固地放置在扫描仪系统551的可移动载物台580上，以用于扫描样本590。在处理器556的控制下，可移动载物台580将样本590加速到基本恒定的速度，以用于由线扫描相机615感测，其中载物台的速度与线扫描相机615的线速率同步。在扫描图像数据的条带之后，可移动载物台580减速并且使样本590基本完全停止。然后可移动载物台580正交于扫描方向移动以定位样本590，以用于扫描图像数据的后续条带，例如相邻条带。随后附加条带被扫描，直到样本590的整个部分或整个样本590被扫描为止。

例如，在样本590的数字扫描期间，样本590的连续数字图像被获取为多个连续视野，这些视野被组合在一起以形成图像条带。多个相邻的图像条带类似地被组合在一起，以形成一部分或整个样本590的连续数字图像。样本590的扫描可以包括获取竖直图像条带或水平图像条带。样本590的扫描可以是自上到下、自下到上或两者(双向)，并且可以在样本上的任何点开始。备选地，样本590的扫描可以是自左到右、自右到左或两者(双向)，并且可以在样本上的任何点开始。附加地，图像条带不必以相邻或连续的方式获取。此外，样本590的所得图像可以是整个样本590的图像或样本590的仅一部分的图像。

在一个实施例中，计算机可执行指令(例如编程模块和软件)被存储在存储器566中，并且在被执行时，使得扫描系统551能够执行本文描述的各种功能。在本描述中，术语“计算机可读存储介质”被用于指代任何介质，其用于存储计算机可执行指令并将其提供给扫描系统551以供处理器556执行。这些介质的示例包括存储器566和任何可移除的或者外部存储介质(未示出)，其与扫描系统551直接或间接地通信耦合，例如经由网络(未示出)。

图11B图示了具有单个线性阵列640的线扫描相机，其可以被实施为电荷耦合设备(“CCD”)阵列。单个线性阵列640包括多个单独像素645。在所图示的实施例中，单个线性阵列640具有4096个像素。在替代实施例中，线性阵列640可以具有更多或更少的像素。例如，线性阵列的常见格式包括512、1024和4096个像素。像素645以线性方式布置，以限定线性阵列640的视野625。视野的大小根据扫描仪系统551的放大率变化。

图11C图示了具有三个线性阵列的线扫描照相机，每个线性阵列可以被实施为CCD阵列。三个线性阵列组合以形成彩色阵列650。在一个实施例中，彩色阵列650中的每个单独的线性阵列检测不同的彩色强度，例如红色、绿色或蓝色。来自彩色阵列650中的每个单独线性阵列的彩色图像数据被组合，以形成彩色图像数据的单个视野625。

图11D图示了具有多个线性阵列的线扫描照相机，每个线性阵列可以被实施为CCD阵列。多个线性阵列组合以形成TDI阵列655。有利地，通过将来自标本的先前成像区域的强度数据求和，TDI线扫描相机可以在其输出信号中提供实质上更好的SNR，从而改善与线性阵列(也称为积分级)数目的平方根成正比的SNR。TDI线扫描相机可以包括更多数目的线性阵列，例如TDI线扫描相机的常见格式包括24、32、48、64、96、120个甚至更多的线性阵列。

所公开实施例的以上描述被提供，以使本领域的任何技术人员能够制造或使用本发明。对这些实施例的各种修改对于本领域技术人员来说将是显而易见的，并且在不脱离本发明的精神或范围的情况下，本文描述的一般原理可以被应用于其他实施例。因此，要理解的是，本文呈现的描述和附图表示本发明的当前优选实施例，并因此代表由本发明广泛设想的主题。还要理解的是，本发明的范围完全涵盖对本领域技术人员而言可能显而易见的其他实施例，因此本发明的范围不受限制。

Claims (71)

1.一种在组织学图像中标识肿瘤的方法，所述方法包括：

接收包括二维像素阵列的组织学图像；

应用卷积神经网络以生成具有二维像素阵列的输出图像，所述输出图像的二维像素阵列具有到所述组织学图像的二维像素阵列的映射，所述输出图像通过向每个像素指派多个组织类别中的一个组织类别而被生成，其中所述多个组织类别包括表示非肿瘤组织的至少一个类别以及表示肿瘤组织的至少一个类别；

从所述输出图像生成分割掩模，其中由各个肿瘤占据的区域被标记；

针对每个肿瘤计算概要统计数据；以及

将过滤器应用于每个肿瘤的所述概要统计数据，以根据所述过滤器通过选择和取消选择肿瘤来编辑所述分割掩模。

2.根据权利要求1所述的方法，还包括：

根据评分算法对每个肿瘤进行评分，以将向每个肿瘤指派分数；以及

根据所述肿瘤的分数对所述肿瘤进行排名。

3.根据权利要求2所述的方法，其中所述排名被局限于在应用所述过滤器之后剩余的那些肿瘤。

4.根据权利要求2或3所述的方法，还包括：存储所述排名。

5.根据权利要求1、2、3或4所述的方法，还包括：基于编辑的所述分割掩模来创建所述组织学图像的可视化。

6.根据权利要求5所述的方法，其中所述可视化包括概览查看窗格，在所述概览查看窗格中，所述分割掩模被重叠在所述组织学图像上。

7.根据从属于权利要求2的权利要求6所述的方法，其中所述概览查看窗格包括针对每个肿瘤的排名标签。

8.根据权利要求5所述的方法，其中所述可视化包括相应的概览查看窗格，在所述概览查看窗格中，所述分割掩模与所述组织学图像被彼此相邻地呈现以用于一对一比较。

9.根据从属于权利要求2的权利要求8所述的方法，其中所述分割掩模的所述概览查看窗格包括针对每个肿瘤的排名标签。

10.根据权利要求5至9中任一项所述的方法，还包括：用户界面肿瘤选择控件，所述用户界面肿瘤选择控件可操作以允许用户与所述可视化交互，以便在编辑的所述分割掩模中选择肿瘤。

11.根据权利要求10所述的方法，其中所述可视化包括在当前选择的所述肿瘤上放大的特写查看窗格。

12.根据权利要求10或11所述的方法，其中所述肿瘤选择控件具有滚动功能，以用于按排名的顺序扫过编辑的所述分割掩模中的所述肿瘤。

13.根据权利要求10、11或12所述的方法，其中所述肿瘤选择控件具有诊断功能，以用于允许用户对当前选择的所述肿瘤运行附加的计算诊断过程。

14.根据前述权利要求中任一项所述的方法，其中所述组织类别包括针对肿瘤组织的至少两个类别。

15.根据权利要求14所述的方法，其中针对肿瘤组织的所述组织类别至少包括针对侵袭性肿瘤的第一类别以及针对原位肿瘤的第二类别。

16.根据前述权利要求中任一项所述的方法，其中存在针对非肿瘤组织的一个组织类别。

17.根据前述权利要求中任一项所述的方法，还包括：在显示器上显示所述可视化。

18.根据前述权利要求中任一项所述的方法，其中应用所述卷积神经网络包括：

从所述组织学图像提取图像块，所述图像块是所述组织学图像的具有由在宽度和高度中的像素数目限定的大小的区域部分；

为所述卷积神经网络提供权重集合以及多个通道，每个通道对应于要被标识的所述多个组织类别中的一个组织类别；

将每个图像块作为输入图像块输入到所述卷积神经网络中；

执行多级卷积以生成维度不断减小的卷积层，直到并且包括最小维度的最终卷积层为止，跟随着多级转置卷积以通过生成维度不断增大的反卷积层来反转所述卷积，直到与所述输入图像块大小匹配的层被恢复为止，恢复的所述层中的每个像素包含属于所述组织类别中的每个组织类别的概率；以及

基于所述概率，向恢复的所述层的每个像素指派所述组织类别以得到输出图像块。

19.根据权利要求18所述的方法，还包括：将所述输出图像块组装为针对所述组织学图像的概率图。

20.根据权利要求18或19所述的方法，还包括：根据所述概率图，限定在所述组织学图像中对应于肿瘤的所述区域。

21.根据权利要求18所述的方法，还包括：存储链接至所述组织学图像的所述概率图。

22.根据权利要求18所述的方法，还包括：

为所述卷积神经网络提供至少一个跳跃连接，所述至少一个跳跃连接中的每个跳跃连接从所述卷积层中的比所述最终卷积层维度更大的至少一个卷积层获得中间结果，并且对这些结果进行所需要的数目的转置卷积，以获得与所述输入图像块大小匹配的至少一个额外恢复层，所述转置卷积的数目可以是没有、一个或多于一个；以及

在向每个像素指派组织类别的所述步骤之前，进一步处理恢复的所述层以将恢复的所述层与所述至少一个额外恢复层组合，以便重新计算所述概率以考虑所述至少一个跳跃连接。

23.根据权利要求18所述的方法，其中软最大操作被用于生成所述概率。

24.根据权利要求18所述的方法，所述方法被执行以用于预测，其中所述卷积神经网络已经在先前训练期间被指派了所述卷积神经网络的权重值。

25.根据权利要求18所述的方法，所述方法被执行以用于训练，所述方法还包括：提供将所述组织学图像中的每个像素指派给所述组织类别中的一个组织类别的地面真值数据，权利要求18所述的方法被迭代地执行，其中每次迭代涉及基于将所述地面真值数据与所述输出图像块进行比较来调整针对所述卷积神经网络的所述卷积神经网络的权重值。

26.根据权利要求25所述的方法，其中在训练期间调整所述权重是通过梯度下降执行的。

27.根据前述权利要求中任一项所述的方法，其中所述组织学图像是包括从组织区域的不同染色的、相邻切片获得的多个组织学图像的合成物。

28.一种用于在组织学图像中标识肿瘤的计算机程序产品，所述计算机程序产品承载用于执行前述权利要求中任一项所述的方法的机器可读指令。

29.一种用于在组织学图像中标识肿瘤的计算机装置，所述装置包括：

输入，可操作以接收包括二维像素阵列的组织学图像；

处理模块，被配置为：

应用卷积神经网络以生成具有二维像素阵列的输出图像，所述输出图像的二维像素阵列具有到所述组织学图像的二维像素阵列的映射，所述输出图像通过向每个像素指派多个组织类别中的一个组织类别而被生成，其中所述多个组织类别包括表示非肿瘤组织的至少一个类别以及表示肿瘤组织的至少一个类别；

从所述输出图像生成分割掩模，其中由各个肿瘤占据的区域被标记；

针对每个肿瘤计算概要统计数据；以及

将过滤器应用于每个肿瘤的所述概要统计数据，以根据所述过滤器通过选择和取消选择肿瘤来编辑所述分割掩模。

30.根据权利要求29所述的装置，其中所述处理模块还被配置为：创建所述组织学图像以及所编辑的所述分割掩模的可视化。

31.根据权利要求29或30所述的装置，还包括：输出，可操作以将所述分割掩模作为元数据与所述组织学图像存储在一起。

32.根据权利要求29、30或31所述的装置，还包括：输出，可操作以将所述概要统计数据作为元数据与所述组织学图像存储在一起。

33.根据权利要求29、30、31或32所述的装置，还包括：

显示器；以及

显示输出，可操作以将所述组织学图像和所述分割掩模传输

给所述显示器，使得所述组织学图像与编辑的所述分割掩模一起显示。

34.一种系统，包括：

根据权利要求29至33中任一项所述的计算机装置；以及

图像获取装置，可操作以获取组织学图像。

35.一种系统，包括：

根据权利要求29至33中任一项的计算机装置；

数据储存库，被配置为存储包括组织学图像的患者数据的记录；以及

网络连接，使得能够在所述计算机装置与所述数据储存库之间传送患者数据记录或所述患者数据记录的部分。

36.一种系统，包括：

根据权利要求29至33中任一项所述的计算机装置；

图像获取装置，可操作以获取组织学图像；

数据储存库，被配置为存储包括组织学图像的患者数据的记录；以及

网络连接，使得能够在所述计算机装置与所述数据储存库之间传送患者数据记录或所述患者数据记录的部分。

37.一种对组织学图像进行图像处理以确定肿瘤块的切缘状态的方法，所述方法包括：

接收组织样本切片的组织学图像，所述组织样本切片是从通过切除提取的肿瘤块获得的、并且用着墨涂刷以突出显示所述组织样本的表面，所述组织学图像包括二维像素阵列；

使用已经被训练以在组织类别之间进行区分的至少一个神经网络来应用卷积神经网络过程，以便生成具有二维像素阵列的输出图像，所述输出图像的二维像素阵列具有到所述组织学图像的二维像素阵列的映射，所述输出图像是通过向每个像素指派组织类别以区分着墨与无着墨以及肿瘤与无肿瘤来生成的；

分别取决于肿瘤并且着墨像素的存在或不存在来将切缘状态计算为阳性或阴性；以及

输出所述切缘状态。

38.根据权利要求37所述的方法，其中所述卷积神经网络过程包括：应用一个神经网络，所述一个神经网络已经被训练以针对以下在组织类别之间进行区分：肿瘤并且着墨、肿瘤并且无着墨、无肿瘤并且着墨以及无肿瘤并且无着墨。

39.根据权利要求37所述的方法，其中所述卷积神经网络过程包括：单独地应用第一神经网络以及第二神经网络，所述第一神经网络被训练为在肿瘤组织类别与无肿瘤组织类别之间进行区分并且输出第一输出图像，所述第二神经网络被训练为在着墨组织类别与无着墨区分组织类别之间进行区分并且输出第二输出图像，所述输出图像是通过组合所述第一输出图像与所述第二输出图像来针对以下指派所述组织类别来生成的：肿瘤并且着墨、肿瘤并且无着墨、无肿瘤并且着墨以及无肿瘤并且无着墨。

40.根据前述权利要求中任一项所述的方法，其中存在用于标识多种肿瘤组织类型的类别。

41.根据权利要求40所述的方法，其中所述多种肿瘤组织类型包括侵袭性和原位。

42.根据前述权利要求中任一项所述的方法，其中切缘状态的所述计算在靠近子状态与清晰子状态之间细分所述阴性状态，其中靠近与清晰是通过在肿瘤并且无着墨像素以及着墨并且无肿瘤像素之间的距离是低于或高于阈值来区分的。

43.根据前述权利要求中任一项所述的方法，其中切缘状态的所述计算基于肿瘤并且着墨像素的普遍性在多个子状态之间细分所述阳性状态。

44.根据权利要求43所述的方法，其中普遍性是至少部分地基于计算在肿瘤并且着墨像素之间的最大距离来量化的。

45.根据前述权利要求中任一项所述的方法，其中所述阳性切缘状态或所述阴性切缘状态是至少部分地基于肿瘤并且着墨像素的计数是高于阈值数目还是低于阈值数目来计算的。

46.根据前述权利要求中任一项所述的方法，其中应用所述卷积神经网络或每个卷积神经网络包括：

从所述组织学图像提取图像块，所述图像块是所述组织学图像的具有由在宽度和高度中的像素数目限定的大小的区域部分；

提供权重集合以及多个通道，每个通道对应于要被标识的所述多个组织类别中的一个组织类别；

将每个图像块作为输入图像块输入到所述卷积神经网络中；

执行多级卷积以生成维度不断减小的卷积层，直到并且包括最小维度的最终卷积层为止，跟随跟着多级转置卷积以通过生成维度不断增大的反卷积层来反转所述卷积，直到与所述输入图像块大小匹配的层被恢复为止，恢复的所述层中的每个像素包含属于所述组织类别中的每个组织类别的概率；以及

基于所述概率，向恢复的所述层的每个像素指派所述组织类别以得到输出图像块。

47.根据权利要求46所述的方法，其中所述组织学图像是从组织区域的不同染色的、相邻切片获得的组织学图像集合。

48.根据权利要求46或47所述的方法，还包括：将所述输出图像块组装为针对所述组织学图像的概率图。

49.根据权利要求46、47或48所述的方法，还包括：存储链接至所述组织学图像的所述概率图。

50.根据权利要求46、47、48或49所述的方法，还包括：将所述组织学图像与所述概率图一起显示在显示器上。

51.根据权利要求46至50中任一项所述的方法，还包括：

为所述卷积神经网络或每个卷积神经网络提供至少一个跳跃连接，所述至少一个跳跃连接中的每个跳跃连接从所述卷积层中的比所述最终卷积层维度更大的至少一个卷积层获得中间结果，并且对这些结果进行所需要的数目的转置卷积，以获得与所述输入图像块大小匹配的至少一个额外恢复层，所述转置卷积的数目可以是没有、一个或多于一个；以及

在向每个像素指派组织类别的所述步骤之前，进一步处理恢复的所述层以将恢复的所述层与所述至少一个额外恢复层组合，以便重新计算所述概率以考虑所述至少一个跳跃连接。

52.根据权利要求46至51中任一项所述的方法，其中软最大操作被用于生成所述概率。

53.根据权利要求46至52中任一项所述的方法，所述方法被执行以用于训练，所述方法还包括：提供将所述组织学图像中的每个像素指派给所述组织类别中的一个组织类别的地面真值数据，权利要求46至52中任一项所述的方法被迭代地执行，其中每次迭代涉及基于将所述地面真值数据与所述输出图像块进行比较来调整针对所述卷积神经网络的所述卷积神经网络的权重值。

54.根据权利要求53所述的方法，其中在训练期间调整所述权重是通过梯度下降执行的。

55.一种用于在组织学图像中标识肿瘤的计算机程序产品，所述计算机程序产品承载用于执行前述权利要求中任一项所述的方法的机器可读指令。

56.一种用于对组织学图像进行图像处理以确定肿瘤块的切缘状态的计算机装置，所述装置包括：

输入，可操作以接收组织样本切片的组织学图像，所述组织样本切片是从通过切除提取的肿瘤块获得的、并且用着墨涂刷以突出显示所述组织样本的表面，所述组织学图像包括二维像素阵列；

包括至少一个神经网络的卷积神经网络处理模块，所述至少一个神经网络已经被训练以在组织类别之间进行区分，以便生成具有二维像素阵列的输出图像，所述输出图像的二维像素阵列具有到所述组织学图像的二维像素阵列的映射，所述输出图像是通过向每个像素指派组织类别以区分着墨与无着墨以及肿瘤与无肿瘤来生成的；

切缘评估模块，可操作以分别取决于肿瘤并且着墨像素在所述输出图像中的存在或不存在来将切缘状态计算为阳性或阴性；以及

输出，可操作以输出所述切缘状态。

57.根据权利要求56所述的装置，其中所述输出被连接至数据储存库，以将所述切缘状态作为元数据与所述组织学图像存储在一起。

58.根据权利要求56或57所述的装置，其中所述输出被连接至数据储存库，以将所述输出图像作为元数据与所述组织学图像存储在一起。

59.根据权利要求56、57或58所述的装置，其中所述输出图像包括针对每个像素的组织类别。

60.根据权利要求58所述的装置，其中所述输出图像包括针对每个像素的概率，并且因此构成概率图。

61.根据权利要求56至60中任一项所述的装置，其中所述输出可操作以将所述组织学图像和所述输出图像传输给显示器，使得所述组织学图像与所述输出图像一起被显示。

62.一种系统，包括：

根据权利要求56至61中任一项所述的计算机装置；

数据储存库，被配置为存储包括组织学图像或所述组织学图像集合的患者数据的记录；以及

网络连接，使得能够在所述计算机装置与所述数据储存库之间传送患者数据记录或所述患者数据记录的部分。

63.一种系统，包括：

根据权利要求56至61中任一项所述的计算机装置；以及

图像获取装置，可操作以获取组织学图像或所述组织学图像的集合，并且将所述组织学图像或所述组织学图像的集合存储到所述数据储存库中的记录。

64.根据权利要求63所述的系统，还包括：

数据储存库，被配置为存储包括组织学图像或所述组织学图像的集合的患者数据的记录；以及

网络连接，使得能够在所述计算机装置与所述数据储存库之间传送患者数据记录或所述患者数据记录的部分。

65.一种在组织学图像中标识肿瘤的方法，所述方法包括：

接收包括二维像素阵列的组织学图像；

应用卷积神经网络以生成输出图像，所述输出图像具有二维像素阵列以及到所述组织学图像的二维像素阵列的映射，所述输出图像通过向每个像素指派多个组织类别中的一个组织类别而被生成，其中所述多个组织类别包括表示非肿瘤组织的至少一个类别以及表示肿瘤组织的至少一个类别；

从所述输出图像生成分割掩模，所述分割掩模标识由各个肿瘤占据的区域；

针对每个肿瘤计算概要统计数据；

过滤所述分割掩模，以根据针对每个肿瘤的所述概要统计数据来选择和取消选择各个肿瘤；

根据编辑的所述分割掩模来创建所述组织学图像的可视化；

在过滤的所述分割掩模中接收对各个肿瘤的选择；以及

对当前选择的所述肿瘤执行附加的计算诊断过程。

66.根据权利要求65所述的方法，其中所述附加计算诊断过程包括：向所述附加计算诊断过程发送处理任务，并且从所述附加计算诊断接收所述处理任务的结果。

67.根据权利要求66所述的方法，其中所述附加计算诊断过程在经由数据通信网络通信耦合的处理器启用设备上被执行。

68.根据权利要求66所述的方法，其中所述处理任务包括所述组织学图像。

69.根据权利要求68所述的方法，其中所述处理任务包括与所述组织学图像相关的元数据。

70.根据权利要求68所述的方法，其中与所述组织学图像相关的所述元数据包括所述分割掩模。

71.根据权利要求68所述的方法，其中与所述组织学图像相关的所述元数据包括以下一项或多项：患者信息、染色信息、染色协议信息以及扫描协议信息。

Images