CN113474811A - 数字病理学图像中的感兴趣区域的基于神经网络的标识 - Google Patents

Abstract

CNN被应用于组织学图像以标识感兴趣区域。CNN根据相关类对像素进行分类，相关类包括指示兴趣水平的一个或多个类和指示缺乏兴趣的至少一个类。CNN在训练数据集合上被训练，训练数据集合包括已经记录病理学家如何与组织学图像的可视化进行交互的数据。在已训练CNN中，基于兴趣的像素分类用于生成限定感兴趣区域的分割掩码。掩码可以用于指示临床相关特征可能位于图像中的哪个位置。此外，它可以用于指导组织学图像的可变数据压缩。此外，它可以用于在客户端服务器模型或存储器高速缓存策略中控制图像数据的加载。此外，对已经用测试化合物处理过的组织类型的组织样本的组织学图像被图像处理，以检测可能已经发生对测试化合物的毒性反应的区域。自动编码器利用训练数据集合被训练，该训练数据集合包括具有给定组织类型但尚未用测试化合物处理的组织样本的组织学图像。已训练自动编码器被应用以通过它们与训练过程中学习到的组织类型中看到的正常变化的偏差来检测组织区域，从而构建图像的毒性图。然后可以使用毒性图指导毒理学病理学家检查自动编码器标识为位于组织类型的正常异质性范围之外的区域。这使得病理学家的查看更快且更可靠。毒性图也可以与指示感兴趣区域的分割掩码重叠。当感兴趣区域和区域被标识为位于组织类型的正常异质性范围之外时，将增加的置信度得分应用于重叠区域。

Description

数字病理学图像中的感兴趣区域的基于神经网络的标识

技术领域

本公开涉及利用神经网络对病理学图像进行图像处理以便找出临床感兴趣区域和包括毒理学病理学的区域。

背景技术

数字病理学继续改变病理学家查看和诊断载玻片的方式。病理学家检查载玻片的传统方法是在显微镜下观察载玻片。病理学家将首先使用低倍率物镜查看载玻片。当观察到具有潜在诊断价值的区域时，病理学家将切换到高倍率物镜以更详细地查看该区域。随后，病理学家将切换回低倍率以继续检查载玻片上的其他区域。这种低高低倍率查看顺序可以在载玻片上重复多次，直到可以对载玻片做出明确且完整的诊断。

在过去的二十年中，数字扫描仪的引入改变了这一工作流程。数字扫描仪可以获取整个载玻片的图像，即，所谓的整个载玻片图像(WSI)，并且在不需要病理学家的高度自动化过程中将其保存为数字图像数据文件。所得到的图像数据文件通常存储在载玻片数据库中，通过临床网络，病理学家在具有高分辨率显示器的观察工作站处可以从载玻片数据库中获取图像数据文件，该工作站具有用于该目的的可视化应用。

病理学的最新发展是CNN方法已经成为越来越多的研究兴趣。越来越多的报道称，CNN方法在从病理学图像中标识和诊断肿瘤方面的表现与病理学家一样好，甚至更好。

Wang等人于2016年描述了一种用于检测乳腺癌淋巴结转移的CNN方法。

US2015213302A1描述了如何在癌组织区域中检测细胞有丝分裂。在训练CNN之后，基于自动核检测系统进行分类，该自动核检测系统执行有丝分裂计数，该有丝分裂计数然后用于对肿瘤进行分级。

Hou等人于2016年处理脑癌和肺癌图像。来自WSI的图像块用于进行由块级CNN给出的块级预测。

Liu等人于2017年使用CNN处理从十亿像素乳腺癌组织学图像中提取的图像块以通过为图像中的每个像素分配肿瘤概率来检测和定位肿瘤。

Bejnordi等人于2017年应用两个堆叠的CNN对从用苏木精和伊红(H&E)染色的乳房组织的WSI中提取的图像块中的肿瘤进行分类。性能被证明有利于这些病理学图像中的对象检测和分割。我们进一步注意到，Bejnordi等人还概述了适用于乳腺癌样本的其他基于CNN的肿瘤分类方法(参见参考文献10-13)。

Esteva等人于2017年应用深度CNN以分析皮肤病变并且根据树状结构将病变分类为各种恶性类型、非恶性类型和非肿瘤类型，包括恶性类型的肢端黑色素瘤、无色素性黑色素瘤和雀斑黑色素瘤和非恶性类型的蓝痣、晕痣和蒙古斑。皮肤病变(例如，黑色素瘤)的图像被顺序扭曲成临床类的概率分布以执行分类。

Mobadersany等人于2017年公开了一种基于生存CNN的计算方法以用于预测诊断为脑肿瘤的患者的总体生存率。来自组织活检的病理学图像数据(组织学图像数据)被输入模型以及患者特定基因组生物标志物中以预测患者结果。该方法使用自适应反馈同时学习与患者结果相关联的视觉模式和分子生物标志物。

Schaumberg等人于2017年采用了不同方法。不是试图模仿病理学家的诊断来标识肿瘤，而是通过观察病理学家在显微镜下观察载玻片的每个区域(称为块)的时间来训练CNN。病理学图像是膀胱癌或前列腺癌患者的组织样本。CNN基于在显微镜下检查载玻片的传统工作流程被训练。也就是说，病理学家首先在低倍率下查看载玻片。当观察到具有诊断价值的区域时，病理学家会切换到高倍率物镜，然后在完成查看之后切换回低倍率。这个过程可能会重复几次，直到可以做出明确诊断。训练数据是通过观察病理学家在载玻片的不同区域上的运动和观察时间来收集的，CNN使用它来生成载玻片的空间和时间“显著性”图。在这个模型中，如果病理学家用交高倍率的物镜观察块，即，从较低倍率切换到较高倍率的物镜以更接近地研究块，则块只能被归类为“显著”，即，潜在癌变。然后根据病理学家在该较高倍率下的观察时间是高于还是低于阈值时间，将在较高倍率下观察的块分类为“显著”或“非显著”。据报道，这种CNN方法能够以85％到91％的测试准确率预测显著的载玻片块。

Roa-Pena等人于2010年报告了一项关于不同病理学家如何查看虚拟载玻片图像的研究，目的是使用结果来改进可视化应用的图形用户界面的设计，以便以低和高分辨率视图向病理学家呈现虚拟载玻片图像。结果表明，感兴趣区域由参数组合限定，即，病理学家访问哪些区域、在访问区域处花费的时间、以及病理学家之间的重合度，其中重合度是病理学家之间的相关性的度量，即，查看同一虚拟载玻片的病理学家中有多少人访问了同一区域。

此外，当标识出测试化合物(诸如药物候选)时，必须了解它是否对健康有任何不利影响。这些影响可能是微妙的，并且可能只能在微观层面上辨别。为了检查对健康的不利影响，毒理学病理学家查看了已经用测试化合物处理过和未用测试化合物处理的组织样本的互补载玻片图像(Greaves 2012)。通过比较处理过和未处理的样本载玻片，训练有素的病理学家能够从其他变化和正常组织变异中标识出由测试化合物引起的变化。由于正常组织变异的范围可能非常广泛，因此这不是一项简单的任务。

传统上，病理学家在显微镜下对载玻片进行观察。然而，随着数字扫描仪的引入，创建数字图像已经成为可能。数字扫描仪可以获取整个载玻片的图像，即，所谓的整个载玻片图像(WSI)，并且在一个不需要病理学家的高度自动化的过程中将其保存为数字图像数据文件，即所谓的虚拟载玻片。所得到的图像数据文件通常存储在载玻片数据库中，通过临床网络，病理学家在具有高分辨率显示器的观察工作站处可以从载玻片数据库中获取图像数据文件，该工作站具有用于该目的的可视化(或观察)应用。数字病理学允许毒理学病理学家咨询其他病理学家以确定诊断。对这些数字WIS执行的图像分析减少或消除了手动量化的需要(Dobson等人，2010年)。尽管数字病理学提高了效率，但检测由测试化合物引起的形态变化仍然是一个乏味且容易出错的过程，该过程需要毒理学病理学家查看很多组织样本并且确定观察到的变化是由于测试化合物而引起的还是由于正常组织异质性或某个其他疾病过程而引起的。

数字病理学的最新发展是CNN方法已经成为研究兴趣。越来越多的报道称，CNN方法在多个领域的表现与病理学家一样好，甚至更好，诸如在从组织学图像中标识和诊断肿瘤方面。

Wang等人于2016年描述了一种用于检测乳腺癌淋巴结转移的CNN方法。

Liu等人于2017年使用CNN处理从十亿像素乳腺癌组织学图像中提取的图像块以通过为图像中的每个像素分配肿瘤概率来检测和定位肿瘤。

Esteva等人于2017年应用深度CNN以分析皮肤病变并且根据树状结构将病变分类为各种恶性类型、非恶性类型和非肿瘤类型，包括恶性类型的肢端黑色素瘤、无色素性黑色素瘤和雀斑黑色素瘤和非恶性类型的蓝痣、晕痣和蒙古斑。皮肤病变(例如，黑色素瘤)的图像被顺序扭曲成临床类的概率分布以执行分类。

因此，需要克服在如上所述的传统系统中发现的这些显著问题的系统和方法。

发明内容

根据本公开的一个方面，提供了一种处理组织学图像的数据集合的方法，该方法包括：

接收包括二维像素阵列的组织学图像的数据集合；

应用卷积神经网络以利用到组织学图像的二维像素阵列的映射来生成具有二维像素阵列的输出图像块，输出图像块是通过将多个相关类中的一个相关类分配给每个像素而生成的，其中多个相关类包括表示感兴趣像素的至少一个类和表示不感兴趣像素的至少一个类，其中卷积神经网络已经使用包括组织学图像和病理学家交互数据的训练数据集合被训练，其中病理学家交互数据已经记录了与病理学家如何与组织学图像的可视化进行交互相关的多个参数；以及

从输出图像块生成分割掩码，在分割掩码中由感兴趣像素占据的感兴趣区域被标记。

使用所提出的方法，可以向病理学家指示图像中潜在的或潜在重要的肿瘤、病变或其他临床相关特征可能位于何处，从而促使病理学家直接导航到这些区域。以这种方式，可以提高分析的可靠性，因为病理学家不太可能遗漏相关区域。此外，病理学家的吞吐量可以增加，因为病理学家受益于被引导到由CNN方法标记的感兴趣区域，因此可以较少担心意外遗漏相关区域，并且可以更彻底地查看CNN方法已经标识为兴趣的区域。还暗中鼓励病理学家分配他们的有限的分析时间以使得能够考虑到基于CNN分析结果而进行的感兴趣区域的可选滤波和/或排名，从而提供病理学家研究虚拟载玻片图像的时间的更好的整体分配。

该方法还可以包括根据评分算法来确定针对每个感兴趣区域的得分，该评分算法基于聚合来自感兴趣区域中所包含的每个感兴趣像素的得分贡献。此外，感兴趣区域可以根据它们的得分被排名。

可以针对每个感兴趣区域计算汇总统计数据；并且将滤波器应用于每个感兴趣区域的汇总统计数据以通过根据滤波器选择和取消选择感兴趣区域来编辑分割掩码。

类可以包括表示感兴趣像素的多个类，这些类与增加的兴趣水平相关联。在这种情况下，得分贡献可以根据兴趣水平对像素进行加权。

参数可以以任何组合包括以下中的一项或多项：像素的查看时间；像素的查看倍率；组织学图像上与病理学家的注释相关联的位置或区域处的像素；以及组织学图像上受到以更高倍率进行查看的用户命令的位置或区域处的像素。

在训练数据集合中，针对给定组织学图像的病理学家交互数据包括来自多个病理学家的交互，并且参数可以包括来自多个病理学家的与同一组织学图像的交互之间的相关因子。

在某些实施例中，通过以下方式应用卷积神经网络：从组织学图像中提取图像块，图像块是尺寸由一定宽度和高度的像素的数目限定的组织学图像或其集合中的区域部分；为卷积神经网络提供一组权重和多个通道，每个通道对应于多个相关类中的待标识的相关类；将每个图像块作为输入图像块输入到卷积神经网络中；执行多级卷积以生成维度不断减小的卷积层，直到并且包括最小维度的最终卷积层，然后执行多级转置卷积以通过生成维度不断增加的反卷积层来反转卷积，直到恢复尺寸与输入图像块匹配的层，恢复层中的每个像素包含属于相关类中的每个相关类的概率；以及基于上述概率将相关类分配给恢复层的每个像素以达到输出图像块。

此外，输出图像块可以组装成用于组织学图像的概率图。此外，组织学图像中感兴趣区域可以根据概率图来限定。

在我们当前的实现中，在每个连续卷积阶段，随着维度的减少，深度增加，因此卷积层的深度不断增加，维度也不断减少，并且在每个连续转置卷积阶段，随着维度增加，深度减少，使得反卷积层的深度不断减少，维度不断增加。最后的卷积层具有最大深度和最小尺寸。与分别通过卷积和反卷积阶段连续增加和减少深度的方法不同，另一种方法是设计一个神经网络，其中除了输入层和输出层之外的每一层都具有相同深度。

在某些实施例中，卷积神经网络具有一个或多个跳跃连接。至少一个跳跃连接中的每个跳跃连接从卷积层中维度大于最终卷积层的至少一个卷积层中获取中间结果并且对这些结果进行如所需要的转置卷积，以获取尺寸与输入图像块匹配的至少一个另外的恢复层，所需要的转置卷积可以是没有转置卷积、一次转置卷积或多于一次的转置卷积。然后在为每个像素分配类的上述步骤之前将这些与上述恢复层组合。另外的处理步骤将恢复层与另外的恢复层中的每个组合以重新计算概率，从而考虑从跳跃连接中获取的结果。

在某些实施例中，使用softmax操作来生成概率。

从组织学图像中提取的图像块可以覆盖图像的整个区域。块可以是不重叠的图像图块或在它们的边缘重叠以帮助拼接概率图的图像图块。虽然每个图像块在宽度和高度上都应当有固定数目的像素来与CNN匹配，因为CNN将被设计为仅接受固定尺寸的像素阵列，这并不表示每个图像块必须对应于组织学图像上的相同物理区域，因为组织学图像中的像素可以组合成覆盖更大区域的较低分辨率块，例如相邻像素的每个2×2阵列可以组合成一个“超级”像素以形成一个块，该块的物理面积是以组织学图像的原始分辨率提取的块的物理面积的四倍。

一旦CNN被训练，就可以执行该方法以进行预测。训练的目的是为层间连接分配合适的权重值。对于训练，所使用的记录将包括真实数据(ground truth data)，该真实数据将组织学图像或其集合中的每个像素分配给类中的一个类。真实数据将基于专家临床医生的使用来注释足够多的图像。训练是通过迭代地应用CNN来进行的，其中每次迭代涉及基于将真实数据与输出图像块进行比较来调节权重值。在我们当前的实现中，权重在训练期间通过梯度下降被调节。

组织学图像数据集合可以仅包括一个组织学图像或者可以是例如从组织区域的不同染色的相邻部分获取的多个组织学图像的合成物。在一些实施例中，CNN一次应用于一个组织学图像(其可以是合成图像)。在其他实施例中，CNN可以并行地应用于从组织区域的不同染色的相邻部分获取的一组图像中的每个图像。

结果可以在显示器上被显示给临床医生。也就是说，组织学图像可以与其关联的概率图一起显示，例如重叠在其上或彼此并排。得分也可以以某种方便的方式显示，例如带有文本标签或者指向感兴趣区域或与图像并排。

来自上述方法的结果可以在可视化应用的帮助下被呈现给用户，该可视化应用用于根据分割掩码生成组织学图像的可视化。可视化可以在考虑到排名的情况下被生成以包括排名的视觉指示。

图形用户界面的布局有多种选择。适合在显示设备上显示的可视化可以包括概览查看窗格和分割掩码查看窗格。概览查看窗格和分割掩码查看窗格可以以分割掩码覆盖在组织学图像上或与组织学图像并排的方式被显示。可视化也可以是包括所有或所选择的感兴趣区域的多个并置图像的蒙太奇的形式。可视化应用可以包括图形用户界面选择控件，该图形用户界面选择控件能够操作以允许用户与可视化交互以便选择感兴趣区域。

可以提供可视化应用的代理，该代理监测用户与组织学图像数据集合的可视化的交互，以跟踪用户已具体查看感兴趣区域中的哪些感兴趣区域。基于跟踪，可视化应用可以合并检查功能，该检查功能对结束组织学图像上的可视化会话的用户命令进行响应而被调用，其中该检查功能执行关于用户是否已经具体查看了感兴趣区域的逻辑样本的检查，其中该检查可能会以某种方式受到排名的限制。例如，它可能只检查排名靠前的感兴趣区域是否已经被具体查看，例如前5名或前10名，或者它可能只检查具体查看的感兴趣区域列表是否至少包括排名最高的感兴趣区域和排名中的所有其他感兴趣区域，直到用户具体查看的排名最低的感兴趣区域。例如，如果用户仅具体查看了排名第三和第五的感兴趣区域，则检查功能可以提示用户也具体查看排名第一、第二和第四的感兴趣区域。当检查指示用户尚未具体查看感兴趣区域的逻辑样本时，可以向用户发出在结束可视化会话之前需要进一步的确认输入的通知和/或可以引导用户查看尚未具体查看的感兴趣区域。

上述方法的结果可以用于辅助组织学图像数据的数据压缩。特别地，可变图像压缩可以应用于组织学图像数据集合，该组织学图像数据集合考虑了由卷积神经网络发现的感兴趣区域。也就是说，可以应用压缩算法，该压缩算法优先压缩感兴趣区域外部的像素，从而生成组织学图像数据集合的压缩版本，然后可以将压缩版本与导出它的数据集合分开存储或与数据集合一起存储，或者通过覆盖源数据集合来存储。

压缩算法可以是无损的或有损的。所使用的压缩标准可以是仅无损或仅有损的，或者可以组合无损和有损压缩选项。

标识感兴趣区域的上述方法可以集成在包括获取组织学图像数据集合的工作流程中。也就是说，该方法可以包括基于提供包含组织学样本的载玻片的图像数据获取；以及使用载玻片扫描仪扫描载玻片并且获取组织学图像数据集合。然后可以应用上述利用CNN来标识感兴趣区域的方法。然后可以将结果与组织学图像数据集合一起存储，其中组织学图像数据集合可以是如获取的，或者是使用上述可变压缩算法得到的压缩版本。

CNN处理可以与载玻片扫描仪集成，并且由载玻片扫描仪或其控制计算机执行，例如在通过合适的网络连接将所获取的组织学图像数据作为记录存储到虚拟载玻片库或其他数据储存库之前。另一选项是将CNN处理与数据储存库集成，因此在应用CNN处理之前，首先将所获取的组织学图像数据从载玻片扫描仪传输到数据储存库。

本公开的另一方面涉及一种操作用于组织学图像的可视化应用的方法。该方法包括提供加载有可视化应用的计算机装置，可视化应用能够操作以向用户交互式地显示组织学图像数据集合的组织学图像。计算机装置例如通过网络连接从数据储存库加载组织学图像数据集合，其中组织学图像数据集合是已经根据上述CNN方法被预处理的并且因此包括标记组织学图像中的感兴趣区域的分割掩码的组织学图像数据集合。加载优先加载包含感兴趣区域的组织学图像数据集合的小区域子图像，然后加载不包含任何感兴趣区域的其他子图像。以这种方式，如果在从图像数据存储位置到计算机装置的数据传输中存在例如由于网络连接的带宽限制而导致的延迟，则首先加载与感兴趣区域相关的高分辨率图像数据。小区域子图像可以以存储在组织学图像数据集合中的原始分辨率被加载。当组织学图像数据集合已经被预处理以对感兴趣区域排名时，小区域子图像可以在考虑到排名顺序的情况下被加载。

本公开的另外的方面涉及承载用于执行任何上述方法的机器可读指令的计算机程序产品。

根据本公开的另一方面，提供了一种用于标识组织学图像中的感兴趣区域的计算机装置，该装置包括：能够操作以从被存储在存储器中的记录接收组织学图像数据集合的输入；以及被配置为执行上述CNN方法的CNN处理模块。计算机装置可以配备有输出，该输出能够操作以将与分割掩码相关的元数据存储到还包含组织学图像数据集合的记录中，使得元数据被链接到组织学图像数据集合。显示器可以经由显示输出连接到计算机装置，该显示输出能够操作以向显示器传输组织学图像数据集合和分割掩码，使得组织学图像能够在考虑到分割掩码的情况下被显示。

根据本公开的另一方面，提供了一种系统，例如，一种临床网络，该系统包括：与以下元件中的一个或多个组合的上述计算机装置。一个系统元件是被配置为存储包括组织学图像的患者数据的记录的数据储存库。应当理解，合适的网络连接将支持患者数据记录或其部分在计算机装置域数据储存库之间的传输。另一系统元件是能够操作以获取组织学图像的图像获取装置。图像获取装置可以能够操作以经由合适的网络连接将获取的组织学图像存储到数据储存库中的记录。

根据本公开的另一方面，提供了一种用于从组织学载玻片获取组织学图像数据集合的载玻片扫描仪，该载玻片扫描仪包括：包括载玻片加载器和物镜的显微镜模块；能够操作以控制显微镜模块获取组织学图像数据集合的控制计算机；以及能够操作以执行上述CNN处理方法以标识感兴趣区域的神经网络处理模块。载玻片扫描仪还可以包括压缩模块，该压缩模块能够操作以基于感兴趣区域对组织学图像数据集合执行以上指定的可变压缩。

根据本公开的另一方面，提供了一种加载有可视化应用的计算机装置，该可视化应用用于向用户交互式地显示组织学图像数据集合的组织学图像，该计算机装置包括：存储器，由多个存储器层组成，该多个存储器层以延迟增加的层级被布置，其中至少最低延迟存储器层是高速缓存层；以及可视化应用。可视化应用能够操作以访问被存储在存储器的较高延迟部分中的组织学图像数据集合，其中组织学图像数据集合已经根据上述任何一种CNN方法被预处理，并且因此包括标记组织学图像中的感兴趣区域的分割掩码，其中组织学图像数据集合大于能够单独被保留在最低延迟存储器层中的数据集合。此外，可视化应用通过与不包含任何感兴趣区域的其他子图像相比优先地将包含感兴趣区域的数据集合的较高分辨率小区域子图像预加载到并且保留在至少一个高速缓存层中来响应于接收到查看组织学图像数据集合的命令。当组织学图像数据集合已经被预处理以对感兴趣区域排名之后，小区域子图像在考虑到排名顺序的情况下被优先加载并且被保留在至少一个高速缓存层中，使得高排名映射到低延迟和/或优先高速缓存保留。

应当理解，在至少一些实施例中，组织学图像是通过显微镜、特别是光学显微镜获取的部分组织样本的二维图像的数字表示，该显微镜可以是传统的光学显微镜、共聚焦显微镜、或适合于获取未染色或染色组织样本的组织学图像的任何其他类型的显微镜。在一组组织学图像的情况下，这些可以是对组织区域的相邻部分(即，切片)获取的一系列显微镜图像，其中每个部分可以被不同地染色。

总结本公开的一个方面，卷积神经网络被应用于组织学图像以标识感兴趣区域。CNN根据相关类对像素进行分类，相关类包括表示兴趣水平的一个或多个类和表示缺乏兴趣的至少一个类。CNN在训练数据集合上被训练，训练数据集合包括已经记录病理学家如何与组织学图像的可视化进行交互的数据。在已训练CNN中，基于兴趣的像素分类用于生成限定感兴趣区域的分割掩码。掩码可以用于不同的目的。可视化应用可以使用它来指示临床相关特征可能位于图像中的哪个位置。此外，它可以用于指导组织学图像的可变数据压缩。此外，它可以用于在客户端服务器模型或存储器高速缓存策略中控制图像数据的加载。

根据本公开的另一方面，可以使用神经网络来标识由测试化合物引起的组织中潜在的危险变化，从而产生更快且更可靠且更便宜的毒理学研究。作为神经网络，我们建议使用自动编码器(Elman和Zipser于1988年)。自动编码器可以在自监督学习过程中利用训练数据集合被训练，该训练数据集合包括未用化合物和/或用化合物处理过的某种组织类型的组织样本，而不是已知无毒的测试化合物。通过训练过程，自动编码器了解组织类型的病理学图像中的哪些变化在正常范围内，同时考虑到异质性量很大的某些组织类型。然后可以应用已训练自动编码器以按照它们与在特定组织类型中看到的正常变化的偏差的顺序来检测和排名组织区域。通过检查自动编码器标识的区域，即自动编码器确定为在组织类型的正常异质性范围之外的区域，毒理学病理学家可以更快且更可靠地确定是否存在不利的健康影响。所提出的方法能够减少遗漏测试化合物对健康的不利影响的可能性，并且提高毒理学病理学家工作流程的速度。

根据本公开的一个方面，提供了一种用于处理已经用测试化合物处理过的给定组织类型的组织样本的组织学图像的计算机自动化方法。该方法包括：接收已经用测试化合物处理过的组织样本的组织学图像，组织学图像包括二维像素阵列，二维像素阵列能够细分为多个图像图块；提供已经利用训练数据集合训练的自动编码器，训练数据集合包括尚未用测试化合物处理的上述给定组织类型的组织样本的多个组织学图像；将自动编码器应用于组织学图像以生成组织学图像的毒性图。自动编码器在逐图块基础上操作以从组织学图像中提取图像图块；将图像图块输入到自动编码器；接收对应图像图块作为输出；并且计算输入图像图块与输出图像图块之间的距离。正是这些距离用于生成毒性图。然后可以保存毒性图，例如作为链接到可以包含在记录中的组织学图像的元数据。该记录可以是共同存储在数据储存库中的多个这样的记录中的一个记录。数据储存库可以是数据库，诸如虚拟载玻片库，也可以是简单文件结构，诸如存储驱动器的文件夹。

在一些实施例中，将每个图块的距离与阈值进行比较，并且如果距离超过阈值，则将图像图块标记为有毒。这些二元图块结果可以用于根据每个图块是否被标记为有毒来生成毒性图作为二元掩码。毒性图也可以是热图的形式，在热图中，标记为有毒的图块被分配与它们的距离值成比例的温度值。这些值可以被滤波使得热图将公共基础温度值分配给无毒图块，即未标记为有毒的图块，使得在可视化中，无毒图块被统一地可视化，例如通过根本不标记，或以某种方式标记使得能够向用户肯定地将它们标识为无毒，例如通过半透明洗涤。

对于作为一个整体的组织学图像，可以通过聚合图块结果来生成有毒或无毒的单个二进制标签。也就是说，可以生成总体毒性标签，如果已经确定其图像图块中的任何一个是有毒的，则该标签是将组织学图像指定为有毒的二进制标签。因此，只有当所有图像图块都没有被确定为有毒时，总体毒性标签才是无毒的。

作为上述方法的扩展，可以将分割算法应用于毒性图以将有毒图块分组为有毒区域，从而生成有毒区域的分割掩码。分割掩码也可以保存到毒性图。

给定组织学图像的毒性图可以是两个或更多个图的集合(例如，二元图、热图、分段图)，或者只是一个图。

该方法还可以根据由距离测量的毒性对有毒图块或有毒区域进行排名，并且该排名可以存储到毒性图中。

组织学图像处理的结果、即毒性图可以与可视化应用有效地结合，该可视化应用被配置为在考虑到其毒性图的情况下创建组织学图像的可视化。

有多种可视化选项。可视化可以包括概览查看窗格，在概览查看窗格中，毒性图覆盖在组织学图像上。概览查看窗格可以包括用于每个有毒区域的排名标签。可视化可以包括相应概览查看窗格，在相应概览查看窗格中，毒性图和组织学图像彼此相邻地被呈现以用于一对一比较。可视化应用可以包括用于选择一个或多个有毒区域的用户界面控件。所选择的有毒区域然后可以在弹出窗口或侧边栏中显示其汇总统计数据，或者允许用户对所选择的有毒区域发起进一步的数值处理。可视化可以包括呈现当前选择的任何有毒区域的可视化的特写查看窗格，其中特写查看窗格示出了当前选择的有毒区域的高分辨率放大视图。有毒区域选择控件可以具有滚动功能，滚动功能用于按照排名顺序扫过有毒区域，例如使用鼠标滚轮。

另一种可视化形式是按照排名顺序在列表中呈现有毒区域，每个有毒区域都呈现为缩略图图像。这可以结合上述分屏格式的特写查看窗格来完成，其中特写查看窗格最初以高分辨率示出排名最高的有毒区域，然后改为示出由用户当前选择的列表项。

另一种可视化形式是将有毒区域呈现在布置为适合显示器的马赛克图像中。每个马赛克元素都可以示出有一个排名标签。

用于设置二进制掩码的阈值可以由用户设置和/或由用户调节，例如在可视化应用中使用合适的用户控件。

在热图的可视化中，它可以以各种方式呈现，例如利用色标或灰度或者利用等高线。

对于训练自动编码器，如果用于训练的提取图像图块与随后将在实时系统中使用的图像图块尺寸相同，则可能会有所帮助。也就是说，训练图块与用于生成毒性图的实时系统的图块尺寸相同，这些图块是从已经用测试化合物处理过的组织样本的组织学图像中提取的。

本公开的另一方面涉及一种承载用于执行上述方法的机器可读指令的计算机程序产品。

本公开的又一方面涉及一种用于处理已经用测试化合物处理过的给定组织类型的组织样本的组织学图像的计算机装置，该装置包括：能够操作以接收已经用测试化合物处理过的组织样本的组织学图像的输入，组织学图像包括二维像素阵列，二维像素阵列能够细分为多个图像图块；加载有用于执行已经利用训练数据集合训练的自动编码器的机器可读指令的处理模块，训练数据集合包括尚未用测试化合物处理的上述给定组织类型的组织样本的多个组织学图像，处理模块被配置为：将自动编码器在逐图块基础上应用于组织学图像以：从组织学图像中提取图像块；将图像块输入到自动编码器；接收对应图像块作为输出；并且计算输入图像块与输出图像块之间的距离；并且基于计算出的距离生成组织学图像的毒性图；以及能够操作以保存毒性图的输出。

该装置还可以包括：能够操作以在考虑到组织学图像的毒性图的情况下创建组织学图像的可视化的可视化应用。还可以提供显示器以从可视化应用接收和呈现可视化。

本公开的其他方面提供了一种系统，该系统包括与一个或多个元件相结合的上述计算机装置。特别地，该系统可以包括图像获取装置，诸如数字载玻片扫描仪，该图像获取装能够操作以获取组织学图像。该系统还可以包括数据储存库，诸如虚拟载玻片库，数据储存库被配置为存储患者数据的记录，该数据的记录包括具有相关毒性图的组织学图像。应当理解，支持患者数据记录或其部分在计算机装置域数据储存库之间的传输的网络连接也可以是系统的一部分。

总之，在本公开的这个方面，提供了一种方法、装置和系统，其用于处理已经用测试化合物处理过的给定组织类型的组织样本的组织学图像，以检测对测试化合物的毒性反应。使用已经利用训练数据集合训练的自动编码器，该训练数据集合包括具有给定组织类型但尚未用测试化合物处理的组织样本的组织学图像。已训练自动编码器被应用以按照组织区域与组织类型中看到的正常变化的偏差的顺序来检测组织区域并且可选地对其进行排名，从而构建图像的毒性图。然后可以使用毒性图指导毒理学病理学家检查自动编码器标识为位于组织类型的正常异质性范围之外的区域。平均而言，这种对病理学家的支持将使病理学家的查看更快且更可靠。

应当理解，在至少一些实施例中，组织学图像是通过显微镜、特别是光学显微镜获取的部分组织样本的二维图像的数字表示，该显微镜可以是传统的光学显微镜、共聚焦显微镜、或适合于获取未染色或染色组织样本的组织学图像的任何其他类型的显微镜。在一组组织学图像的情况下，这些可以是从组织区域的相邻部分(即，切片)获取的一系列显微镜图像，其中每个部分可以被不同地染色。

在阅读以下详细描述和附图之后，本发明的其他特征和优点对于本领域普通技术人员将变得更加明显。

附图说明

本发明的结构和操作将通过阅读以下详细描述和附图来理解，其中相同的附图标记指代相同的部分，在附图中：

图1A是在本发明的一个实施例中使用的神经网络架构的示意图。

图1B示出了根据实施例的如何在图1A的神经网络架构内组合全局和局部特征图以生成特征图，该特征图为输入图像块中的每个像素预测个体类。

图1C示出了根据实施例的如何在图1A的神经网络架构内组合全局和局部特征图以生成特征图，该特征图为输入图像块中的每个像素预测个体类。

图2A是示出根据实施例的原始病理学图像并且在操作中该图像是彩色的图。

图2B是示出根据实施例的由CNN生成的预测感兴趣区域的图。

图3是示出训练CNN所涉及的步骤的流程图。

图4是示出使用CNN进行预测所涉及的步骤的流程图。

图5是根据本公开的一个实施例的方法的流程图。

图6是根据本公开的另一实施例的方法的流程图。

图7是根据本公开的又一实施例的方法的流程图。

图8是示出应用已训练自动编码器CNN来检测异常所涉及的步骤的流程图。

图9是可以用于执行实现图5A和5B的神经网络架构所涉及的计算的TPU的框图。

图10示出了可以结合本发明的实施例使用的示例计算机网络。

图11是可以用作例如图9的TPU的主机计算机的计算装置的框图。

图12A是示出可以与本文中描述的各种实施例结合使用的示例处理器使能设备550的框图；

图12B是示出具有单个线性阵列的示例线扫描相机的框图。

图12C是示出具有三个线性阵列的示例线扫描相机的框图；以及

图12D是示出具有多个线性阵列的示例线扫描相机的框图。

具体实施方式

在以下详细描述中，出于解释而非限制的目的，阐述了具体细节以提供对本公开的更好理解。对于本领域技术人员来说很清楚的是，可以在脱离这些具体细节的其他实施例中实践本公开。

简而言之，我们描述了一种计算机自动化方法，该方法基于标识经验丰富的病理学家应当仔细查看的区域来自动检测临床感兴趣区域。该方法基于应用卷积神经网络，该卷积神经网络已经利用训练数据集合被训练，该训练数据集合包括与病理学家在使用可视化应用的诊断查看过程中如何与这些图像进行交互相关的组织学图像和数据。交互通过记录指示病理学家如何与组织学图像的可视化进行交互的所选择参数来测量。CNN利用到组织学图像的二维像素阵列的映射来生成具有二维像素阵列的输出图像块，输出图像块是通过将多个相关类中的一个相关类分配给每个像素而生成的，其中多个相关类包括表示感兴趣像素的一个或多个类和表示不感兴趣像素的一个或多个类。然后应用分割以根据像素的分类将像素分组为感兴趣区域。当有两个或更多个类表示感兴趣像素时，这些类可以与增加的兴趣水平相关联，或者与不同的兴趣类型相关联。在后一种情况下，当训练数据被编译时，有必要知道查看病理学家的兴趣是什么，这可以从用户交互的性质中推断出来，或者可以是病理学家的先验手动输入，例如以表明他或她正在筛查特定类型的癌症。

该方法应用于单个输入图像，诸如WSI，或应用于一组输入图像，诸如一组WSI。每个输入图像都是数字化的组织学图像，诸如WSI。在一组输入图像的情况下，这些可以是相邻组织部分的不同染色图像。我们广泛使用术语染色来包括用生物标志物进行染色以及用常规对比增强染色进行染色。因此，组织学图像数据集合可以是从单次扫描获取的单个WSI，或者是由多个组织学图像数据子集组成的复合物，每个子集与组织区域的不同染色的相邻部分有关。另一复合示例是存在多个组织学图像数据子集，每个子集与同一样本中的不同焦深有关，即所谓的z堆叠。

所提出的用于找出感兴趣区域的计算机自动化方法使用卷积神经网络(CNN)将每个像素分类为一个相关类，该类表示该像素是感兴趣还是不感兴趣的。

我们的实现中的神经网络在设计上类似于VGG-16架构，该架构在：http:// www.robots.ox.ac.uk/～vgg/research/very_deep/可获取并且在2014年的Simonyan和Zisserman中有描述_，其全部内容通过引用并入本文。

输入图像是病理学图像，例如被多种常规染色中的任何一种染色的病理学图像，如在本文档的别处更详细地讨论的。对于CNN，提取特定像素尺寸的图像块，例如128×128、256×256、512×512或1024×1024像素。可以理解，图像块可以是任意尺寸的，不必是正方形，但是块的行和列中的像素的数目符合2n，其中n是正整数，因为这样的数字通常为更适合通过合适的单个CPU(中央处理单元)、GPU(图形处理单元)或TPU(张量处理单元)或其阵列进行直接数字处理。

我们注意到，“块”是一个领域术语，用于指代取自WSI的图像部分，通常具有正方形或矩形形状。在这点上，我们注意到，WSI可以包含10亿或更多个像素(千兆像素图像)，因此图像处理通常应用于具有可管理尺寸(例如，约500×500像素)的块，以供CNN处理。因此，WSI将在将其拆分为块的基础上进行处理，使用CNN分析块，然后将输出(图像)块重新组装成与WSI尺寸相同的概率图。然后可以将概率图例如半透明地覆盖在WSI或其一部分上，以便可以一起查看病理学图像和概率图。在这个意义上，概率图被用作病理学图像上的覆盖图像。CNN分析的块可以具有相同的倍率，或者可以具有不同倍率的混合，例如5×、20×、50×等并且因此对应于样本组织的不同尺寸的物理区域。通过不同的倍率，这些可以对应于获取WSI的物理倍率、或通过数字缩小更高倍率(即，更高分辨率)物理图像而获取的有效倍率。

图1A是我们的神经网络架构的示意图。层C1、C2、……、C10是卷积层。层D1、D2、D3、D4、D5和D6是转置卷积(即，反卷积)层。互连某些层的线指示卷积C层与反卷积D层之间的跳跃连接。跳跃连接允许来自较大维度较浅深度层(其中“较大”和“浅”表示较低索引的卷积层)的局部特征与来自最后的(即，最小、最深)卷积层的全局特征相结合。这些跳跃连接提供了更准确的轮廓。Maxpool层(每个用于将块的宽度和高度减小2倍)出现在层C2、C4和C7之后，但没有直接示出在示意图中，尽管它们通过相应地减小块的尺寸隐含示出。在我们的神经网络的一些实现中，maxpool层被替换为1×1卷积，从而形成一个完全卷积网络。

神经网络的卷积部分依次有以下几层：输入层(RGB输入图像块)；两个卷积层C1、C2；第一maxpool层(未示出)；两个卷积层C3、C4；第二maxpool层(未示出)；三个卷积层C5、C6、C7和第三maxpool层(未示出)。除了分别与层C5和C8的正常连接，来自第二和第三maxpool层的输出还使用跳跃连接直接连接到反卷积层。

最后的卷积层C10、来自第二maxpool层(即，C4之后的一层)的输出和来自第三maxpool层(即，C7之后的一层)的输出然后分别连接到单独序列“反卷积层”，该单独序列将它们放大回与输入(图像)块相同的尺寸，即将卷积特征图转换为与输入图像块具有相同宽度和高度并且具有等于要检测的相关类的数目的多个通道(即，特征图的数目)的特征图，例如一个类用于感兴趣像素，一个类用于不感兴趣像素。对于第二maxpool层，我们看到与D6层的直接链接，因为只需要一个解卷积阶段。对于第三maxpool层，需要两个阶段的反卷积，通过中间反卷积层D4，达到D5层。对于最深的卷积层C10，需要三个阶段的反卷积，通过D1和D2到D3层。结果是与输入块尺寸相同的三个数组D3、D5、D6。

图1所示的简化版本，尽管性能可能较差，但可以省略跳跃连接，在这种情况下，将不存在层D4、D5和D6，并且输出块将仅从层D3计算。

图1B更详细地示出了图A的神经网络架构中的最后步骤如何进行。也就是说，全局特征图层D3和局部特征图层D5、D6被组合以生成特征图，该特征图为输入图像块的每个像素预测个体类。具体地，图2示出了如何将最后三个转置卷积层D3、D5、D6处理为相关类输出块。

我们现在讨论上述方法与目前在数字病理学中使用的已知CNN有何不同。这个已知CNN将从多个可用类中选择的一个类分配给每个图像块。这种类型的CNN的示例在Wang等人的2016年、Liu等人的2017年、Cruz-Roa等人的2017年和Vandenberghe等人的2017年的论文中。然而，我们刚刚描述的是，在给定图像块中，从多个可用类中选择的一个类被分配给每个像素。因此，我们的神经网络不是为每个图像块生成单个类标签，而是为给定块的每个个体像素输出一个类标签。我们的输出块与输入块具有一对一的像素到像素对应关系，因此输出块中的每个像素被分配给多个可用类中的一个可用类(例如，二元分类中的不感兴趣类和感兴趣类)。

在这种已知CNN中，为了为每个块分配一个类，使用一系列卷积层，然后是一个或几个全连接层，然后是输出向量，该输出向量具有与要检测的类一样多的值。预测类由输出向量中最大值的位置确定。

已训练CNN将采用数字载玻片图像中的像素作为输入，并且返回每个像素的概率向量。向量的长度为N，其中N是CNN已经被训练为检测的类数。例如，如果CNN已经被训练为区分三类：感兴趣类、组织的不感兴趣类和非组织的不感兴趣类，则向量v的长度为3。向量中的每个坐标表示像素属于特定类的概率。因此v[0]可以表示像素属于感兴趣区域的单个类的概率，v[1]表示像素属于组织的不感兴趣类的概率，v[2]表示它属于非组织的像素的不感兴趣类的概率。每个像素的类由概率向量确定。将像素分配给类的一种简单方法是将其分配给它具有最高概率的类。

为了预测个体像素的类，我们的CNN在卷积层之后使用不同架构。我们不是在一系列全连接层之后，而是在卷积层之后使用一系列转置卷积层。全连接层从该架构中删除。每个转置层都将特征图的宽度和高度加倍，同时将通道数目减半。以这种方式，特征图被放大回输入块的尺寸。

此外，为了改进预测，我们使用Long等人于2015年描述的跳跃连接，其全部内容通过引用并入本文。

跳跃连接使用较浅特征来改进通过从最终卷积层C10进行放大而做出的粗略预测。将来自包含在图1A的D5和D6层中的跳跃连接的局部特征与通过从最终卷积层放大图1A的D3层中包含的全局特征而生成的特征级联。然后将全局和局部特征层D3、D5和D6级联成组合层，如图1B所示。

来自图1B的级联层(或者在不使用跳跃连接的情况下直接来自最终的反卷积层D3)，通过组合层的1×1卷积减少通道数以匹配类数。该分类层上的softmax操作然后将组合层中的值转换为概率。输出块层的尺寸为N×N×K，其中N是输入块的宽度和高度(以像素为单位)，K是正在检测的类数。因此，对于图像块中的任何像素P，都有尺寸为K的输出向量V。然后可以通过对应向量V中最大值的位置为每个像素P分配一个唯一的类。

因此，CNN将每个像素标记为感兴趣或不感兴趣。

我们的特定神经网络实现被配置为对具有某些固定像素尺寸的输入图像进行操作。因此，作为用于训练和预测两者的预处理步骤，当WSI是由传统可见光显微镜获取的彩色图像时，从WSI中提取具有期望像素尺寸的块，例如N×N×n个像素，其中在每个物理位置具有与三种原色(通常是RGB)相关联的三个像素的情况下，n＝3。(如下文进一步提到的，在组合两个或更多个彩色WSI的情况下，'h'可以是合成WSI的数目的3倍。)此外，在单个单色WSI的情况下，'h'的值为1。为了使训练更快，输入块也在这个阶段被居中和归一化。

我们的优选方法是处理整个WSI，或至少处理包含组织的WSI的整个区域，因此在我们的案例中，块是至少覆盖WSI的整个组织区域的图块。图块可以不重叠地邻接，或者具有重叠的边缘余量区域，例如1、2、3、4、5、6、7、8、9或10个像素宽，以便可以在考虑到任何差异的情况下将CNN的输出块拼接在一起。然而，如果需要，我们的方法也可以应用于WSI上具有相同或不同倍率的随机块样本，如现有技术中那样，或者如可能由病理学家执行的那样。

我们的神经网络在设计上类似于Simonyan和Zisserman于2014年的VGG-16架构。它在所有卷积滤波器中使用非常小的3×3内核。最大池化是在2×2的小窗口和2的步长下执行的。与VGG-16架构相比，VGG-16架构在卷积层之后有一系列全连接层，我们在卷积层之后使用一系列“反卷积”(更准确地是转置卷积)以生成分割掩码。这种用于语义分割的上采样之前已经被Long等人在2015年用于自然图像处理，其全部内容通过引用并入本文。

每个反卷积层将输入特征图在宽度和高度维度上放大两倍。这抵消了maxpool层的收缩效应，并且产生与输入图像尺寸相同的类特征图。每个卷积和反卷积层的输出由非线性激活层转换。目前，非线性激活层使用整流函数ReLU(x)＝max(0，x)ReLU(x)＝max(0，x)。可以根据需要使用不同激活函数，例如ReLU、leaky ReLU、eLU等。

所提出的方法无需修改即可应用于任何期望数目的相关类。约束仅仅是合适的训练数据的可用性，这些数据已经按照希望在神经网络中复制的方式进行分类。例如，如果训练数据区分了查看临床专家的学科或子学科，则每个学科或子学科可以有不同的相关类。另一示例是不同疾病类型的不同相关类，因此例如，每个相关类可以特定于某个肿瘤类型。在这种情况下，训练数据需要知道查看员的任务是在病理学图像中寻找什么疾病类型。有多个不感兴趣的类也可能是有帮助的。例如，可以区分WSI上根本不包含组织并且因此从根本上没有任何兴趣的区域、以及包含组织但不包含任何临床感兴趣的组织的区域。训练数据很可能反映了这种区别，因为病理学家通常会完全跳过非组织区域，但会以低倍率查看所有或至少大部分组织区域。

将softmax回归层(即，多项逻辑回归层)应用于每个通道块，以将特征图中的值转换为概率。

在经过softmax回归的最终转换后，最终特征图中通道C中位置(x，y)处的值包含输入图像块中位置(x，y)处的像素属于通道C检测到的类型的概率P(x，y)。

可以理解，卷积层和去卷积层的数目可以根据需要增加或减少，并且受到运行神经网络的硬件的存储器限制。

我们使用小批量梯度下降训练神经网络。使用指数衰减，学习速率从0.1的初始速率下降。我们通过使用Srivastava等人于2014年描述的“dropout”过程来防止神经网络过度拟合，其全部内容通过引用并入本文。可以使用几种可用的深度学习框架中的任何一种在GPU、CPU或FPGA上训练网络。对于我们当前的实现，我们使用的是Google Tensorflow，但同样的神经网络也可以在另一深度学习框架(诸如Microsoft CNTK)中实现。

神经网络输出尺寸为N×N×K的概率图，其中N是输入块的宽度和高度(以像素为单位)，K是正在检测的类数。这些输出块被重新拼接成尺寸为W×H×K的概率图，其中W和H是原始WSI被分割成块之前的宽度和高度。

然后，通过在标签图像中的每个位置(x，y)处记录具有最大概率的类索引，可以将概率图折叠为W×H标签图像。

在当前的实现中，我们的神经网络将每个像素分配给两个类中的一个：感兴趣和不感兴趣。

当多个相关类用于感兴趣区域时，输出图像可以被后处理成一个更简单的二元分类，其中一个类用于感兴趣区域，一个类用于不感兴趣区域，例如可以组合感兴趣区域的不同相关类。当从基础数据创建图像时，可以使用二元分类作为选项，而多类感兴趣分类(或不感兴趣分类)保留在所保存的数据中。

虽然我们的发明的特定实现的以上描述集中于使用CNN的特定方法，但是应当理解，我们的方法可以在多种不同类型的卷积神经网络中实现。一般来说，使用卷积来检测越来越复杂的特征并且随后使用转置卷积(“反卷积”)将特征图放大回输入图像的宽度和高度的任何神经网络都应当是合适的。

图1C更详细地示出了根据实施例的如何执行图1A的神经网络架构中的最后步骤。也就是说，全局特征图层D3和局部特征图层D5、D6被组合以生成特征图，该特征图为输入图像块的每个像素预测个体类。具体地，图1B示出了如何将最后三个转置卷积层D3、D5、D6处理为输出块。

我们的神经网络输出尽可能与输入图像相似的图像。重构的质量将取决于输入图像与训练集中的图像的相似程度。对于在训练期间经常看到的图像类型，重构图像将与输入图像紧密匹配。对于训练集中不存在的图像类型，诸如显示有毒效应的图像，输入图像与重构图像之间的相似性将降低。

已训练自动编码器CNN将从数字载玻片图像中获取像素作为输入，并且返回尝试尽可能匹配输入像素的一组像素。为了防止网络简单地学习将输入像素复制到输出，在训练期间将稀疏约束添加到损失函数中。当太多激活同时触发时，稀疏约束会增加损失。这迫使网络学习编码，对于任何给定输入，只需要少量单元就可以激活。

为了提高重构图像的质量，我们的自动编码器CNN在卷积层之后使用不同架构。我们不是在一系列全连接层之后，而是在卷积层之后使用一系列转置卷积层。全连接层从该架构中删除。每个转置层将特征图的宽度和高度加倍，同时将通道数目减半。以这种方式，特征图被放大回输入块的尺寸。

此外，为了改进预测，我们使用Long等人于2015年描述的跳跃连接，其全部内容通过引用并入本文。跳跃连接使用较浅的特征来改进通过从最终卷积层C10进行放大而做出的粗略预测。将来自包含在图1A的D5和D6层中的跳跃连接的局部特征与通过从最终卷积层放大图1A的D3层中包含的全局特征而生成的特征级联。然后将全局和局部特征层D3、D5和D6级联成组合层，如图1C所示。

来自图1C的级联层(或者在不使用跳跃连接的情况下直接来自最终的反卷积层D3)，通过组合层的1×1卷积减少通道数以匹配输入图像的通道数。输出块层的尺寸为N×N×C，其中N是输入块的宽度和高度(以像素为单位)，C是输入图像中的通道数。

我们的特定神经网络实现被配置为对具有某些固定像素尺寸的输入图像进行操作。因此，作为用于训练和预测两者的预处理步骤，当WSI是由传统可见光显微镜获取的彩色图像时，从WSI中提取具有期望像素尺寸的块，例如N×N×n个像素，其中在每个物理位置具有与三种原色(通常是RGB)相关联的三个像素的情况下，n＝3。(如下文进一步提到的，在组合两个或更多个彩色WSI的情况下，'h'可以是合成WSI的数目的3倍。)此外，在单个单色WSI的情况下，'h'的值为1。为了使训练更快，输入块也在这个阶段被居中和归一化。

我们的优选方法是处理整个WSI，或至少处理包含组织的WSI的整个区域，因此在我们的案例中，块是至少覆盖WSI的整个组织区域的图块。图块可以不重叠地邻接，或者具有重叠的边缘余量区域，例如1、2、3、4、5、6、7、8、9或10个像素宽，以便可以在考虑到任何差异的情况下将CNN的输出块拼接在一起。然而，如果需要，我们的方法也可以应用于WSI上具有相同或不同倍率的随机块样本，如现有技术中那样，或者如可能由病理学家执行的那样。

我们的神经网络在设计上类似于Simonyan和Zisserman于2014年的VGG-16架构。它在所有卷积滤波器中使用非常小的3×3内核。最大池化是在2×2的小窗口和2的步长下执行的。与VGG-16架构相比，VGG-16架构在卷积层之后有一系列全连接层，我们在卷积层之后使用一系列“反卷积”(更准确地是转置卷积)以放大输出图像，使其尺寸与输入图像的尺寸相匹配。这种类型的上采样之前已经被Long等人于2015年用于自然图像处理，其全部内容通过引用并入本文。

每个反卷积层将输入特征图在宽度和高度维度上放大两倍。这抵消了maxpool层的收缩效应，并且产生与输入图像尺寸相同的输出图像。每个卷积和反卷积层的输出由非线性激活层转换。目前，非线性激活层使用整流函数ReLU(x)＝max(0，x)ReLU(x)＝max(0，x)。可以根据需要使用不同的激活函数，例如ReLU、leaky ReLU、eLU等。

所提出的方法无需修改即可应用于任何期望数目的组织类型。约束仅仅是神经网络要学习的组织类型的合适数目和种类的组织学图像的可用性。组织学图像不需要事先的专家查看，除了确定图像代表健康组织，或者至少是未用任何化合物处理的组织，未来可能希望对其进行测试。

可以理解，卷积层和去卷积层的数目可以根据需要增加或减少，并且受到运行神经网络的硬件的存储器限制。

我们使用小批量梯度下降训练神经网络。使用指数衰减，学习速率从0.1的初始速率下降。我们通过使用Srivastava等人于2014年描述的“dropout”过程来防止神经网络过度拟合，其全部内容通过引用并入本文。可以使用几种可用的深度学习框架中的任何一种在GPU、CPU或FPGA上训练网络。对于我们当前的实现，我们使用的是Google Tensorflow，但同样的神经网络也可以在另一深度学习框架(诸如Microsoft CNTK)中实现。

自动编码器神经网络输出尺寸为N×N×C的图像图块，其中N是输入块的宽度和高度(以像素为单位)，C是输入图像中的通道数。对于每对输入和输出图像图块，计算距离度量，诸如地球移动距离(EMD)。如果距离度量高于经验确定的阈值T，则在尺寸为W×H×1的输出地图中，与输入图像中图块位置相对应的像素被标记为针对毒性效应是正的，其中W和H是原始WSI的宽度和高度。

虽然以上对我们发明的特定实现的描述集中在使用一个特定自动编码器CNN的特定方法上，但应当理解，我们的方法可以在多种不同类型的自动编码器卷积神经网络中实现。一般来说，使用卷积来检测越来越复杂的特征并且随后使用转置卷积(“反卷积”)将特征图放大回输入图像的宽度和高度的任何自动编码器神经网络都应当是合适的。

示例

图2A示出了原始图像的一部分，作为来自H&E染色的WSI的块，其中右下象限中较大的深紫色细胞簇是肿瘤，而较小的深紫色细胞是淋巴细胞。

图2B示出了由CNN生成作为掩码的预测感兴趣区域。图2B是可以由我们的CNN生成的二进制掩码的示意图，其中二进制掩码基于不重叠的图像图块，交叉阴影图块是感兴趣区域，而无阴影图块是预测为不感兴趣的区域。应当理解，如果采用基于图块的方法，则图块的数目通常会比所示的12×8阵列高得多，例如一个数量级。在其他示例中，感兴趣区域的周长可以被配置为遵循基于形状的分割算法，因此表示任意形状而不是正方形或矩形。

获取和图像处理

该方法的起点是组织样本已经被分割，即切片，并且相邻部分已经用不同染色剂染色。相邻分别将具有非常相似的组织结构，因为部分很薄，但不会完全相同，因为它们属于不同层。

例如，可能有5个相邻部分，每个部分有不同染色，诸如ER、PR、p53、HER2、H&E和Ki-67。然后获取每个部分的显微镜图像。尽管相邻部分的组织形状非常相似，但污渍会突出不同特征，例如细胞核、细胞质、一般对比度增强的所有特征等。

然后对不同图像进行对准、变形或以其他方式进行预处理，以将一个图像上的任何给定特征的坐标映射到其他图像上的相同特征。映射将处理由以下因素引起的图像之间的任何差异，诸如略有不同的倍率、由于显微镜中载玻片对准或将组织切片安装在载玻片上的差异而导致的取向差异等。

注意，通过包括不同染色的相邻部分的集合的不同WSI之间的坐标映射，WSI可以合并为单个复合WSI，可以从中提取复合块以供CNN处理，其中这样的复合块将具有维度N×N×3m，其中'm'是形成集合的复合WSI的数目。

然后对图像进行一些标准处理。这些图像处理步骤可以在WSI级别或在单个图像块级别执行。如果CNN被配置为对单色而不是彩色图像进行操作，则图像可以从彩色转换为灰度。可以通过应用对比度增强滤波器来修改图像。然后可以执行一些分割以标识图像集中的共同组织区域或简单地拒绝与组织无关的背景。分割可能涉及以下任何或所有图像处理技术：

1.基于方差的分析，用于标识种子组织区域

2.自适应阈值

3.形态学操作(例如，blob分析)

4.轮廓标识

5.基于邻近启发式规则的轮廓合并

6.图像不变矩的计算

7.边缘提取(例如，Sobel边缘检测)

8.曲率流滤波

9.直方图匹配，用于消除连续部分之间的强度变化

10.多分辨率刚性/仿射图像配准(梯度下降优化器)

11.非刚性变形/变换

12.超像素聚类

还可以理解，上述类型的图像处理步骤可以在WSI上或在块提取之后在个体块上进行。在某些情况下，在块提取之前和之后执行相同类型的图像处理可能很有用，即分别作为CNN预处理和CNN后处理。也就是说，可以在块提取之前对WSI进行一些图像处理，而在从WSI提取块之后可以对块进行其他图像处理。

这些图像处理步骤是通过示例的方式描述的，而不应当被解释为以任何方式进行限制。

训练和预测

图3是示出训练CNN所涉及的步骤的流程图。

在步骤S40中，检索包含用于处理的WSI的训练数据，这些WSI之前已经由至少一位临床医生查看过并且查看会话已经被记录以记录与临床医生与WSI的交互相关的相关参数。训练数据集合包括组织学图像和病理学家交互数据。病理学家交互数据包括与病理学家如何与训练数据集合中所包含的给定组织学图像的一个或多个可视化交互相关的多个参数。合适的参数包括以下各项的任何组合：

·像素的查看时间和像素的查看倍率；

·组织学图像上与病理学家注释相关的位置或区域处的像素；以及

·组织学图像上受到以更高倍率进行查看的用户命令的位置或区域处的像素。

·鼠标(或其他指针)点击信息(例如，像素坐标、倍率、时间戳)，

·放大峰值，即病理学家多次放大到全倍(WSI的原始分辨率)的载玻片中的区域

·缓慢平移区域，即病理学家缓慢移动的区域

·固定区域，即病理学家花费较长时间观察的区域，

此外，当给定组织学图像包括来自多个病理学家的相互作用时，可以生成复合参数。在这种情况下，可以计算基于来自多个病理学家的与同一组织学图像的交互之间的相关因子的参数，例如，以与仅由一位病理学家详细查看的区域相比，当多个病理学家详细查看同一区域时突出显示。

在步骤S41中，将WSI分解为图像块，图像块是CNN的输入图像块。也就是说，图像块是从WSI中提取的。

在步骤S42中，如上所述对图像块进行预处理。(替代地或另外地，WSI可以在步骤S41之前如上所述进行预处理。)

在步骤S43中，为CNN权重设置初始值，即层之间的权重。

在步骤S44中，将一批输入图像块中的每个输入到CNN中并且对其进行处理以逐像素地查找和分类块。

在步骤S45中，将CNN输出图像块与真实数据进行比较。这可以在每个块的基础上进行。替代地，如果提取了覆盖整个WSI的块，则这可以在WSI级别进行，或者在WSI的由连续批次块组成的子区域(例如，WSI的一个象限)中进行。在这样的变体中，输出图像块可以被重新组合成整个WSI或其连续部分的概率图，并且概率图可以通过计算机和由用户在视觉上(如果概率图例如在显示器上显示为WSI的半透明覆盖图)与真实数据进行比较。

在步骤S46中，CNN然后从这个比较中学习并且更新CNN权重，例如使用梯度下降方法。学习因此通过流程中的返回循环被反馈到训练数据的重复处理中，如图4所示，从而可以优化CNN权重。

在训练之后，CNN可以独立于任何真实数据应用于WSI，即实时用于预测。

现在将描述图3的替代实施例。在这个替代实施例中，图3是示出训练自动编码器CNN所涉及的步骤的流程图。

在步骤S40中，检索包含用于处理的WSI的训练数据。学习是自监督的，因此不需要真实数据，诸如专家注释、专家分割等。

在步骤S41中，将WSI分解成图像块，图像块是CNN的输入图像块。也就是说，图像块是从WSI中提取的。

在步骤S42中，如上所述对图像块进行预处理。(替代地或另外地，WSI可以在步骤S41之前如上所述进行预处理。)

在步骤S43中，为CNN权重设置初始值，即层之间的权重。

在步骤S44中，如以上参考图1A和1B进一步描述的，将一批输入图像块中的每个输入到CNN中并且逐像素对其进行处理。

在步骤S45中，将CNN输出图像块与CNN输入图像块进行比较。这可以在每个块的基础上进行。替代地，如果提取了覆盖整个WSI的块，则这可以在WSI级别进行，或者在包括连续批次的块的WSI的子区域(例如，WSI的一个象限)中进行。在这样的变体中，输出图像块可以被重新组合成整个WSI或其连续部分的概率图。

在步骤S46中，CNN然后通过迭代更新CNN权重来最小化输入和输出块之间的差异来学习，例如使用梯度下降方法。因此，自监督学习通过流程中的返回循环被反馈到训练数据的重复处理中，如图2所示，从而可以优化CNN权重。

在训练之后，CNN可以应用于WSI，即实时用于异常检测。

图4是示出使用CNN进行预测所涉及的步骤的流程图。

在步骤S50中，例如从实验室信息系统(LIS)或其他组织学数据储存库中检索一个或多个WSI以用于处理。WSI被预处理，例如如上所述。

在步骤S51中，从WSI或每个WSI中提取图像块。块可以覆盖整个WSI，也可以是随机或非随机选择。

在步骤S52中，例如如上所述对图像块进行预处理。

在步骤S53中，如上文参考图1和2进一步描述的，将一批输入图像块中的每个输入到CNN中并且对其进行处理以逐像素地查找和分类块。然后可以将输出块重新组装为WSI的概率图，从该概率图中提取输入图像块。例如，如果概率图作为WSI上或与WSI并排的半透明覆盖物呈现在显示器上，则概率图可以通过计算机装置在数字处理中和由用户在视觉上与WSI进行比较。

在步骤S54中，对感兴趣区域滤波，排除可能是误报的感兴趣区域，例如太小的区域或可能是边缘伪影的区域。

在步骤S55中，运行评分算法。计算得分可以涉及滤波器的应用，在应用评分公式(这将是步骤S54的一部分)之前滤除某些像素或像素组(例如，图块)，或者在评分公式之后应用滤波器已经被应用于修改得分(这将是步骤S55的一部分)。可以针对每个感兴趣区域汇总评分，和/或针对WSI(或WSI的子领域)进一步汇总评分。在WSI的数据集合存储在相邻图像图块的存储器中(即，非重叠或重叠矩形或方形图块的二维数组)的情况下，一种用于汇总得分的有用子区域可以是图像图块(或一组图像图块)，在重叠的情况下，这通常是边缘处相对较小的重叠。以这种方式，可以在考虑到图像图块的得分的情况下做出关于是否预先高速缓存图像图块的决定。

在步骤S56中，将结果呈现给病理学家或其他相关熟练的临床医生以供查看和诊断，例如，通过在合适的高分辨率显示器上显示带注释的WSI。

在步骤S57中，以链接到包含已经由CNN处理的WSI或一组WSI的患者数据文件的方式保存CNN的结果，即概率图数据和可选的与CNN参数相关的元数据以及病理学家添加的任何附加诊断信息。LIS或其他组织学数据储存库中的患者数据文件因此通过CNN结果得到补充。

总之，已训练CNN将数字(即，虚拟)载玻片图像作为输入像素并且计算得分，例如作为0到1范围内的得分比率。基于CNN从其训练数据中学到的有关病理学家在使用可视化应用时如何与虚拟载玻片图像交互的内容，该得分表明一个区域应当与病理学家的相关程度。

如下所述，得分输出可以被组装，例如以创建感兴趣区域的热图，将每个输入载玻片区域映射到其得分。相互接触或非常接近的感兴趣像素可以通过分割算法分组以确定个体感兴趣区域。对于每个区域，可以将得分计算为覆盖一组像素的分割区域中像素的所有概率的数学平均值。一些其他汇总统计数据(诸如中值、加权平均数等)也可以用于计算区域的得分。

使用感兴趣区域的增强型图形用户界面

图5是根据本公开的实施例的由具有GUI的可视化应用执行的流程图，该GUI支持如上所述的已训练CNN发现的感兴趣区域。

步骤S71提供包含WSI的图像数据的图像数据文件，如可能已经由载玻片扫描仪生成的。应当理解，图像数据文件可以包括多个图像，例如多个污渍中的每个有一个图像，或者通过使显微镜的焦平面步进通过有限深度的透明或半透明样本而获取的样本中的每个不同深度(所谓的z堆叠)有一个图像。

步骤S72是可选步骤，其中可以执行一些CNN预处理，如以上通过示例的方式进一步描述的，诸如基于方差的分析、自适应阈值化、形态学操作等。

步骤S73运行上述CNN，具体如参考图4的步骤S51至S54所描述的。执行组织类型的逐像素分类以标记感兴趣像素，然后分割以勾勒感兴趣区域。对于分割，通常情况下是属于公共感兴趣区域的连续的感兴趣像素，即彼此接触或彼此靠近的像素。然而，通常会包括更复杂的分割标准以提高可靠性，例如标识具有不同像素分类的两个接触的感兴趣区域，例如与两种不同的兴趣分类相关联。CNN为每个像素分配一个概率。个体像素得分基于由分割确定的个体区域进行组合，以确定要限定哪些感兴趣区域。可以通过软件应用中设置的标准滤波感兴趣区域，该标准可以是预先设置的并且也可以可选地由用户调节，例如病理学家可以选择仅查看直径超过100微米且平均兴趣得分超过50％的感兴趣区域。另一位病理学家可能只想检查平均兴趣得分高于80％的区域。

在步骤S74中，使用由在步骤73中的感兴趣区域查找CNN生成的数据(即，感兴趣区域特定数据)为每个感兴趣区域计算一组汇总统计数据。例如，对于每个感兴趣区域，可以将得分计算为该感兴趣区域中包含的所有像素的上述概率值的数学平均值。一些其他汇总统计数据(诸如中值、加权平均数等)也可以用于计算得分。该组汇总统计数据可以包括例如感兴趣区域的维度或形态属性，诸如由感兴趣区域的像素的数目或形状测量的总面积、或者当存在多个兴趣像素类时某个像素分类的普遍性。感兴趣区域不一定来自一个载玻片；它们可能属于单独载玻片，例如两个载玻片的组织样本可能用不同染色剂染色，从而突出不同类的肿瘤细胞，因此某些感兴趣区域与第一载玻片相关联，而其他感兴趣区域与第二载玻片相关联。在其他实现中，可以使用应用于由CNN标识的感兴趣区域的传统图像处理技术来计算得分。例如，形状和纹理度量可以用于创建一组统计度量以包括在汇总统计数据中。可选地，步骤S74还基于汇总统计数据对感兴趣区域进行滤波。例如，可以由病理学家配置或预先设置的滤波器可以选择仅使最大尺寸高于阈值(例如，100微米)的感兴趣区域通过。

步骤S75获取由步骤S74通过的该组感兴趣区域并且按顺序布置它们。然后可以基于汇总统计数据并且应用一组标准来执行感兴趣区域的排名。可以向用户提供标准排名方法的预设，以允许用户基于预设进行选择。此外，可以向用户提供用于限定要应用哪些标准的用户界面。在标量值标准的情况下，例如基于长度维度或面积或整数计数(例如，像素的数目)，用户可以为这些标准设置阈值或值范围。排名顺序可以基于综合得分，或者是简单的单个参数排名，例如基于感兴趣区域的尺寸参数(诸如面积或最大尺寸)或形态参数(诸如纵横比)。然后，可视化应用生成显示器的可视化，该显示器以依赖于分割掩码的方式显示WSI或其一部分或多个子区域，该分割掩码包含在任何滤波之后剩余的感兴趣区域数据。还可以在考虑到排名的情况下生成可视化，例如以便包括排名的视觉指示，例如标签或注释，或者在创建具有带有缩略图图像的感兴趣区域列表的蒙太奇视图的情况下，该列表可以按照排名顺序或反向排名顺序布置，也可以仅限于已经通过滤波器的感兴趣区域。在一些实现中，可视化包括概览查看窗格和分割掩码查看窗格。概览查看窗格和分割掩码查看窗格可以以分割掩码覆盖在组织学图像上或与组织学图像并排的方式显示。可视化应用可以有用地包括能够操作以允许用户与可视化交互以便选择一个或多个感兴趣区域的GUI控件。

可视化应用还可以合并用户跟踪，用户跟踪监测与被监测以编译训练数据相同或相似的一组参数。也就是说，可视化应用可以具有代理，该代理监测用户与组织学图像数据集合的可视化的交互以跟踪用户具体查看了哪些感兴趣区域，如逻辑测试所决定的，诸如包括布尔运算符的测试、阈值测试和/或使用被监测参数的参数值作为操作数的复合评分方程。因此，代理可以跟踪用户具体查看了哪些感兴趣区域，即，查看的细节足够详细以保证用户能够得出关于该区域的可靠诊断结论的结论。

在步骤S79中，基于该会话跟踪，可以响应于在步骤S78中发出的用户命令来应用检查功能以结束对组织学图像的可视化会话，检查功能检查用户是否已经具体查看了所有感兴趣区域、或者可能是所有排名最高的'n'个感兴趣区域，其中'n'是一个整数值，其可以由用户或为用户预先设置或设置。当检查表明用户没有特别查看被馈送到检查功能的感兴趣区域时，可以向用户发出通知，例如通过弹出窗口，这需要在步骤S79a中结束可视化会话之前来自用户的进一步的确认输入，但是这也向用户提供了查看已经错过的一个或多个感兴趣区域的第二选项。在步骤S79b中，当检查表示用户没有具体查看过所有感兴趣区域时，引导用户查看尚未具体查看过的每个感兴趣区域，该引导可以是强制的，也可以是可选的。

参考如何在显示设备的GUI窗口中向用户显示图像数据来讨论用于载玻片图像可视化的选项的另外的细节。可视化可以考虑滤波和排名。特别是，WSI中被认为是最相关的感兴趣区域以临床相关的方式显示，其汇总统计数据也可以在所有情况下作为整体显示的一部分，或选择性地响应于来自用户，例如用光标在WSI中的感兴趣区域上“单击”以生成一个弹出窗口，以表格或其他合适形式显示该感兴趣区域的统计数据。该方法允许以向用户提供潜在重要的感兴趣区域之间的排名信息以及这些区域的统计概要的方式来突出显示感兴趣区域并且将其呈现给用户。统计概要可以呈现每个感兴趣区域的个体参数值、特别是用作滤波和/或排名标准的参数值、以及复合参数，诸如从多个滤波和/或排名标准的公式和/或布尔逻辑组合而计算的排名数或显著性得分。

通常，所显示的图像将采用组合覆盖视图或多平铺视图的形式。在覆盖视图中，原始数据(可能已处理)与重叠在顶部的分割数据一起显示，其中分割数据被转换以可视化为阴影和/或轮廓。如果感兴趣区域存在表示感兴趣像素多个类，则可以按类对阴影或轮廓进行颜色编码。如果有多个感兴趣的类，另一种可能性是将分割数据表示为热图(彩色或灰度)或等高线图(带等高线)。

不感兴趣区域可能根本没有标记，或者可能用高透明度的彩色或单色水洗阴影，例如蓝色洗涤或灰色洗涤。在多图块视图中，覆盖视图中的不同层并排显示为图块，因此将有一个图块显示原始图像数据(可能已处理)和感兴趣区域的分割数据。如果需要，可以在多个感兴趣类的情况下为每个感兴趣分类类型显示单独的分割数据图块。显示中感兴趣区域的呈现考虑了在步骤S75中执行的滤波和/或排名。诸如面积得分、感兴趣区域的分类类型以及与感兴趣区域相关联的汇总统计数据中的任何其他参数等因素可以单独或组合使用来配置显示。

有几个选项用于向用户显示检测到的、滤波后的和排名的感兴趣区域。

在WSI视图中，显示感兴趣区域信息的一种方式是在WSI的低分辨率图像上覆盖一系列标记。标记将被排名。为病理学家提供合适的GUI工具，用于通过对他们感知的兴趣水平进行排名来导航通过感兴趣区域，从较高级别的感兴趣区域到较低级别的感兴趣区域以及以相反顺序。合适的GUI工具包括：键盘快捷键；键盘上下左右、箭头键、键盘上下翻页键、鼠标导航(例如，使用滚轮上下滚动)或其他输入设备(语音导航、触摸传感器中的多点触控手势等)。在GUI中选择排名标记可以提示显示该区域的汇总统计数据或其子集，和/或在低分辨率图像中或在单独的更高分辨率的查看窗格中在与肿瘤显示链接的弹出窗口中显示感兴趣区域的更高分辨率视图。用户可能会导致例如通过合适的GUI命令(诸如键盘命令、鼠标命令(例如，双击)或其他合适的输入)来显示感兴趣区域的高(例如，完整原始)分辨率图像。提供对应GUI命令以导航回低分辨率WSI视图。可视化应用优选地提供允许用户在低分辨率和高分辨率视图中按照排名顺序向上或向下步进通过感兴趣区域的GUI控件。

一个示例WSI视图是应当显示已经通过步骤S75的滤波器的所有感兴趣区域(即，显示的它们的分割数据)、以及排名标记标签1、2、3等。点击排名标记标签然后可以生成一个弹出窗口，以列出所选择的一组汇总统计数据，特别是滤波器和/或感兴趣区域的缩略图视图使用的那些，其分辨率高于WSI视图中的分辨率。替代地，该视图可以是分屏视图，其中覆盖图像或图像图块显示在屏幕的一部分中，并且滤波后的感兴趣区域的表格显示在屏幕的另一部分中。表格最初可以按照排名进行排序，但GUI也可以让用户按任何其他列或多列的组合重新排序，其中其他列可以是来自汇总统计数据或滤波条件的任何标准，例如感兴趣区域的总面积、感兴趣区域的分类等。例如，排序可以是感兴趣分类然后是总面积。在多载玻片图像文件的情况下，排序可以是载玻片编号然后是一个或多个其他参数。

在多分辨率视图中，包括通常再现WSI的较低分辨率(例如，10×放大)的一个查看窗格、以及分辨率较高的另一查看窗格(例如，60×放大，即相对于10×视图的6×或600％缩放)。例如，呈现的初始视图可以是WSI低分辨率图像窗格和以具有最高排名的感兴趣区域为中心的高分辨率图像窗格。逐步向下箭头(或一对向下和向上箭头)或其他合适的GUI按钮或按钮组合(诸如物理或虚拟滚轮)然后可以允许用户通过逐一排名来逐步查看滤波后的感兴趣区域。GUI可以允许用户通过用户输入来调节高分辨率图像窗格中的分辨率。GUI还可以为高分辨率图像窗格选择初始分辨率，使得感兴趣区域的尺寸被调节为基本填充高分辨率查看窗格。

可视化应用因此可以确定向用户显示什么、用分割数据和汇总统计数据突出显示什么感兴趣区域，以及在选择性视图的情况下，确定将感兴趣区域显示给用户的时间序列，即顺序。

显示特别适合载玻片组的感兴趣区域的另一种方式是创建蒙太奇，其中感兴趣区域的低分辨率图像连同它们的概要统计数据被显示为排序图块。排序可以通过显示一维(ID)列表或二维(2D)网格的方式进行。甚至可以在三个维度上布置感兴趣区域，例如借助虚拟现实护目镜。用户可以使用击键、鼠标滚动或其他输入方式(语音、触摸等)来导航ID列表或2D平铺阵列。一旦选择图块，病理学家就可以快速导航到适当载玻片中感兴趣区域的高分辨率版本，以可选地参考通过汇总统计数据和分割数据所呈现的CNN分析结果对该感兴趣区域进行更深入的查看。一旦病理学家在感兴趣区域中发现肿瘤，该方法可以进一步扩展以允许病理学家通过对肿瘤应用可以辅助诊断的一种或多种进一步分析算法对肿瘤进行进一步的数值处理。

在查看滤波和排名后的感兴趣区域之后，病理学家可以进一步选择这些感兴趣区域中的任何一个(或已排名感兴趣区域的任何子集，或者实际上是滤波后的感兴趣区域的完整集合)以供进一步研究。通过进一步研究，我们的意思是应用一种或多种附加算法来提供有关所选择的感兴趣区域的进一步信息，以帮助诊断。

可选地在滤波和/或排名之后，所确定的感兴趣区域可以通过将一系列标记覆盖到整个虚拟载玻片的低分辨率图像上，或至少其大部分上来呈现在GUI中。标记可以包含某种视觉排名指示。可以提供GUI控件以允许用户使用合适的输入按照排名顺序向上或向下导航通过感兴趣区域，例如，键盘快捷键(诸如箭头键)、鼠标导航(滚动)或其他输入(通过音频输入的语音导航、通过触摸屏的触摸手势等)。GUI可以被配置为使得当可以选择标记时，感兴趣区域的汇总统计数据可以与该区域的更高分辨率图像一起显示。汇总统计数据和高分辨率图像可以显示在同一弹出窗口中，或者显示在相应弹出窗口中，其中弹出的高分辨率图像可以是缩略图类型裁剪。另一选项是使用分屏视图，显示器的一个区域显示低分辨率图像，而显示器的另一区域显示选择了高分辨率图像的任何区域。病理学家可以选择通过点击键盘上的按键、双击鼠标或其他等效动作来查看全分辨率区域。类似的动作将使病理学家迅速返回到低分辨率视图。病理学家可以在低分辨率或高分辨率查看窗口中导航列表。

病理学家可以选择一个或多个区域以供病理学家或通过附加算法进行附加处理。

总之，可视化被配置为提示用户检查图像中可能具有临床意义的区域，这些区域由已训练CNN确定，CNN已经用通过监测专家用户如何使用可视化应用与WSI交互而生成的训练数据被训练。感兴趣区域是通过对已训练CNN的输出应用分割来限定的。特别是，与传统的可视化应用相比，所提出的感兴趣区域标记有助于支持用户以低分辨率对整个载玻片区域进行初步粗略的手动视觉扫描，并且提示用户以更高分辨率查看某些区域，即感兴趣区域。如上所述，基于CNN辅助滤波和排名呈现给病理学家的可视化的自动预处理可以减少病理学家查看载玻片所需要的时间，并且减少临床重要区域的查看由于人为错误而被错过的机会。

感兴趣区域的预取和预先高速缓存

图6是根据本公开的实施例的流程图，其中基于通过如上所述的CNN方法找出的感兴趣区域，执行感兴趣区域的选择性预取或预先高速缓存。

步骤S81提供对包含WSI的图像数据的图像数据文件的访问，如可能已经由载玻片扫描仪生成的。应当理解，图像数据文件可以包括多个图像，例如，多个污渍中的每个有一个图像，或者通过使显微镜的焦平面步进通过有限深度的透明或半透明样本而获取的样本中的每个不同深度(所谓的z堆叠)有一个图像。

步骤S82是可选步骤，其中可以执行一些CNN预处理，如以上通过示例的方式进一步描述的，诸如基于方差的分析、自适应阈值化、形态学操作等。

步骤S83运行上述CNN，具体如参考图4的步骤S51至S54所描述的。执行组织类型的逐像素分类以标记感兴趣像素，然后分割以勾勒感兴趣区域。对于分割，通常情况下是属于公共感兴趣区域的连续的感兴趣像素，即彼此接触或彼此靠近的像素。然而，通常会包括更复杂的分割标准以提高可靠性，例如标识具有不同像素分类的两个接触的感兴趣区域，例如与两种不同的兴趣分类相关联。CNN为每个像素分配一个概率。

在步骤S84中，使用由在步骤73中的感兴趣区域查找CNN生成的数据(即，感兴趣区域特定数据)为每个感兴趣区域计算一组汇总统计数据。例如，对于每个感兴趣区域，可以将得分计算为该感兴趣区域中包含的所有像素的上述概率值的数学平均值。一些其他汇总统计数据(诸如中值、加权平均数等)也可以用于计算得分。该组汇总统计数据可以包括例如感兴趣区域的维度或形态属性，诸如由感兴趣区域的像素的数目或形状测量的总面积、或者当存在多个兴趣像素类时某个像素分类的普遍性。感兴趣区域不一定来自一个载玻片；它们可能属于单独载玻片，例如两个载玻片的组织样本可能用不同染色剂染色，从而突出不同类的肿瘤细胞，因此某些感兴趣区域与第一载玻片相关联，而其他感兴趣区域与第二载玻片相关联。在其他实现中，可以使用应用于由CNN标识的感兴趣区域的传统图像处理技术来计算得分。例如，形状和纹理度量可以用于创建一组统计度量以包括在汇总统计数据中。可选地，步骤S84还基于汇总统计数据对感兴趣区域进行滤波。例如，可以由病理学家配置或预先设置的滤波器可以选择仅使最大尺寸高于阈值(例如，100微米)的感兴趣区域通过。

步骤S85获取由步骤S84通过的该组感兴趣区域并且按顺序布置它们。然后可以基于汇总统计数据并且应用一组标准来执行感兴趣区域的排名。可以向用户提供标准排名方法的预设，以允许用户基于预设进行选择。此外，可以向用户提供用于限定要应用哪些标准的用户界面。在标量值标准的情况下，例如基于长度维度或面积或整数计数(例如，像素的数目)，用户可以为这些标准设置阈值或值范围。排名顺序可以基于综合得分，或者是简单的单个参数排名，例如基于感兴趣区域的尺寸参数(诸如面积或最大尺寸)或形态参数(诸如纵横比)。

步骤S86然后将来自步骤S82至S85的元数据添加到载玻片数字文件中，因此载玻片数字文件不仅包括组织学图像数据集合，还包括标识由CNN限定的感兴趣区域的元数据以及随后的分割。

当可视化应用或希望处理组织学图像数据集合的某个其他应用发出从载玻片数字文件中检索图像数据的命令时，元数据可以用作用于决定图像数据的不同部分从高延迟存储加载到低延迟存储的顺序的基础。

在载玻片数字文件中包含或不包含其他类型数据的情况下加载图像数据可以在网络的上下文中，其中载玻片数字文件存储在远程服务器上的数据储存库或库(通常作为数据库)中，并且可视化应用(或至少其瘦客户端)在通过网络连接而连接到数据储存库的客户端计算机上运行，例如在医院网络中。在这种情况下，高延迟存储是库，低延迟存储是客户端计算机的本地存储。

在步骤S87中，加载有能够操作以将组织学图像数据集合的组织学图像交互式地显示给用户的可视化应用的计算机装置例如从用户接收从虚拟载玻片库中加载某个载玻片数字文件的命令。一旦与载玻片库建立网络连接，例如通过计算机装置的网络连接器，就可以在载玻片库与计算机装置之间进行数据传输。执行用户加载命令可以涉及最初检查所请求的载玻片数字文件是否包括由上述步骤S82至S85生成的感兴趣区域元数据。如果不是，则可以通过引起对载玻片数字文件执行步骤S81至S86的方法来生成该元数据。

如步骤S88所示，如果载玻片数字文件包括感兴趣区域元数据，则图像数据的检索可以通过首先传输包含感兴趣区域的数据集合的小区域子图像，然后加载不包含任何感兴趣区域的其他子图像，其中与感兴趣区域相关的图像数据的这种主动检索可称为预取。小区域子图像可以以原始分辨率加载，如存储在数据储存库的记录中，或者以增加的分辨率步骤分阶段加载，例如从×5到×50，例如以×5、×20、×40、×60的步长。通常，在开始传输任何高分辨率子图像之前，将WSI的低分辨率大面积版本传输到客户端计算机。在元数据包括感兴趣区域的排名的实施例中，可以在考虑到排名顺序的情况下加载小区域子图像。此外，所加载的小区域子图像可以由载玻片数字文件的存储结构决定。一些虚拟载玻片图像是通过使用单个60×高分辨率物镜扫描获取的，但不仅以60×分辨率存储，而且还以从高分辨率图像数据计算出的一个或多个逐步降低的分辨率存储，例如40×、20×和5×。此外，存储在载玻片数字文件中的图像数据的每个分辨率层可以存储在固定存储器尺寸的图块中，例如256×256或512×512像素的图块。小区域子图像的传输因此可以以这些图块为单位进行，以便如果感兴趣区域包括来自某个图块的至少一个像素，则该图块与包括感兴趣区域的一个或多个像素的其他图块一起加载。

图像数据的加载也可以在单个计算机装置的上下文中，其中存储具有两个或更多个延迟级别，例如如本地磁盘存储、大容量RAM存储、高速缓存RAM存储、数字(中央)处理器高速缓冲存储器和图形处理器高速缓冲存储器以延迟递减的顺序表示。高速缓冲存储器是与处理器或处理器集群(诸如CPU、GPU或TPU)相关联的高速静态随机存取存储器(SRAM)，与处理器或处理器集群可以访问的其他RAM相比，它对处理器或处理器集群的访问时间更快。换言之，可以用这样的计算机装置来优化负载，该计算机装置的存储器由多个存储器层组成，这些存储器层以延迟增加的层级被布置，其中至少最低延迟存储器层是高速缓存层。当计算机装置运行可视化应用，并且可视化应用发出查看已经加载到计算机装置的存储器中的组织学图像数据集合的命令时，计算机存储器的不同时延级别可以参考与所请求的组织学图像数据集合相关联的感兴趣区域元数据。计算机装置可以采用高速缓存策略，该策略将包含感兴趣区域的数据集合的较高分辨率小区域子图像优先加载和/或优先保留在一个或多个较低延迟高速缓存层中，其中将偏好与不包含任何感兴趣区域的其他小区域子图像或在元数据包括排名顺序的情况下不太感兴趣区域进行比较，以便高排名映射到较低延迟和/或优先高速缓存保留。

如步骤S89所示，当用户在可视化应用中导航虚拟载玻片时，如上所述作为计算机的高速缓存策略的一部分的通过网络的预取或预先高速缓存将总体上减少在用户请求的高分辨率子图像被显示之前用户的等待时间，因为这些通常已经被预取或预先高速缓存，或者至少预取或预先高速缓存将在发出用户请求之前开始。

可以设想各种修改。例如，训练数据可以包含对每个个体用户如何查看WSI的监测，因此可以建立用户如何倾向于查看WSI的空间序列模式。因此，感兴趣区域的排名顺序可能不会通过临床相关性(例如，通过用户以最高可用分辨率查看特定区域的时间长短来测量)进行优化，或者不仅可以优化，而是可以针对预期用户在会话期间查看每个感兴趣区域的时间顺序进行优化。例如，用户可能倾向于遵循从WSI的顶部到底部的从左到右的线扫描或从上到下的锯齿形水平扫描的类似光栅的模式。以这种方式，预取或预先高速缓存可以遵循预期用户逐步完成他或她查看感兴趣区域的顺序。

总而言之，我们为病理学图像可视化应用(“查看器”)提供了一种帮助，该应用在逐图块的基础上处理WSI，即WSI被分解为2D图块网格，并且仅这些图块的一小部分会随时显示在屏幕上。图块的使用将可视化应用的存储器需求降低到可管理水平，这在处理数十GB的大型WSI时至关重要，如果以原始分辨率加载它们的整体，这些WSI会导致应用崩溃。当用户在载玻片上导航时，新的图块从本地或网络存储加载并且高速缓存到存储器中。这种方法是提高图块渲染速度和增强整体用户体验的既定方法。我们提议的对图块的存储器管理的帮助利用CNN生成的元数据来标识感兴趣区域。该元数据为应用提供了感兴趣区域的先验知识，这允许应用采用预取策略(通过网络访问WSI数据)和预先高速缓存策略(在运行可视化应用的计算机内)以减少载玻片查看期间的滞后量。每当用户打开新的WSI会话时，可视化应用预取和预先高速缓存与感兴趣区域相关的图块，可选地按照排名顺序。以这种方式，导航总体上会更快，因为当用户放大和平移感兴趣区域时，用户最有可能访问的区域已经在存储器中可用。

应当理解，上述预先高速缓存或预取涉及以没有被管理应用特别请求的高分辨率小区域子图像加载。通常，如果可视化应用或其他应用请求以高分辨率加载某个子图像，则这将优先于由上述预取或预先高速缓存过程执行的任何预加载。

基于感兴趣区域的可变图像压缩

图7是根据本公开的实施例的由具有GUI的可视化应用执行的流程图，该GUI支持如上所述的已训练CNN发现的感兴趣区域。

步骤S90向载玻片扫描仪提供包含组织学样本的载玻片。载玻片扫描仪包含显微镜模块，显微镜模块包括载玻片加载器和高分辨率物镜。根据设计，显微镜模块可以有多个不同分辨率的物镜，并且扫描可以只使用多个物镜中的一个物镜或多个物镜的组合。载玻片扫描仪可以具有能够操作以控制显微镜模块以获取组织学图像数据集合的集成控制计算机，或者载玻片扫描仪可以被设计为由通过接口连接而连接到载玻片扫描仪的单独控制计算机(例如，个人计算机)控制。载玻片扫描仪扫描载玻片以获取作为样本的WSI的组织学图像数据集合。然后将WSI作为所谓的虚拟载玻片存储在数字文件中。

步骤S91提供包含由载玻片扫描仪生成的WSI的图像数据的图像数据文件。应当理解，图像数据文件可以包括多个图像，例如，多个污渍中的每个有一个图像，或者用于通过使显微镜的焦平面步进通过有限深度的透明或半透明样本而获取的样本中的每个不同深度(所谓的z堆叠)有一个图像。图像数据文件还可以包括来自相邻样本切片的多个图像，每个图像染色不同。

步骤S92是可选步骤，其中可以执行一些CNN预处理，如以上通过示例的方式进一步描述的，诸如基于方差的分析、自适应阈值化、形态学操作等。在该步骤中，也可以进行一些压缩，例如对于预处理确定为不相关的区域，例如非组织区域，我们指的是不存在样本的载玻片区域。

步骤S93运行上述CNN，具体如参考图4的步骤S51至S54所描述的。执行组织类型的逐像素分类以标记感兴趣像素，然后分割以勾勒感兴趣区域。对于分割，通常情况下是属于公共感兴趣区域的连续的感兴趣像素，即彼此接触或彼此靠近的像素。然而，通常会包括更复杂的分割标准以提高可靠性，例如标识具有不同像素分类的两个接触的感兴趣区域，例如与两种不同的兴趣分类相关联。CNN为每个像素分配一个概率。

在步骤S94中，使用由在步骤73中的感兴趣区域查找CNN生成的数据(即，感兴趣区域特定数据)为每个感兴趣区域计算一组汇总统计数据。例如，对于每个感兴趣区域，可以将得分计算为该感兴趣区域中包含的所有像素的上述概率值的数学平均值。一些其他汇总统计数据(诸如中值、加权平均数等)也可以用于计算得分。该组汇总统计数据可以包括例如感兴趣区域的维度或形态属性，诸如由感兴趣区域的像素的数目或形状测量的总面积、或者当存在多个兴趣像素类时某个像素分类的普遍性。感兴趣区域不一定来自一个载玻片；它们可能属于单独载玻片，例如两个载玻片的组织样本可能用不同染色剂染色，从而突出不同类的肿瘤细胞，因此某些感兴趣区域与第一载玻片相关联，而其他感兴趣区域与第二载玻片相关联。在其他实现中，可以使用应用于由CNN标识的感兴趣区域的传统图像处理技术来计算得分。例如，形状和纹理度量可以用于创建一组统计度量以包括在汇总统计数据中。可选地，步骤S94还基于汇总统计数据对感兴趣区域进行滤波。例如，可以由病理学家配置或预先设置的滤波器可以选择仅使最大尺寸高于阈值(例如，100微米)的感兴趣区域通过。

步骤S95获取由步骤S94通过的该组感兴趣区域并且按顺序布置它们。然后可以基于汇总统计数据并且应用一组标准来执行感兴趣区域的排名。可以向用户提供标准排名方法的预设，以允许用户基于预设进行选择。此外，可以向用户提供用于限定要应用哪些标准的用户界面。在标量值标准的情况下，例如基于长度维度或面积或整数计数(例如，像素的数目)，用户可以为这些标准设置阈值或值范围。排名顺序可以基于综合得分，或者是简单的单个参数排名，例如基于感兴趣区域的尺寸参数(诸如面积或最大尺寸)或形态参数(诸如纵横比)。

步骤S96利用压缩算法对组织学图像数据集合应用可变图像压缩，该压缩算法优先压缩感兴趣区域外部的像素以生成组织学图像数据集合的压缩版本。然后将压缩版本存储到载玻片数字文件(即，记录)中。应用于不感兴趣区域的图像压缩算法可以是无损压缩算法，诸如PNG(便携式网络图形)或GIF(图形交换格式)，也可以是有损压缩算法，诸如LZW(Lempel-Ziv-Welch)、JPEG、JPEG 2000、JPEG XR或PGF(渐进式图形文件)，或者是包括有损和无损压缩两者的压缩算法。在其他实施例中，可以对所有图像数据集合进行压缩，但是可以根据感兴趣区域不同地应用不同压缩算法或具有不同压缩级别的相同压缩算法。如果非组织区域和不具有临床意义的组织区域有单独的不感兴趣类，则可以对非组织区域使用最积极的压缩，而不感兴趣的组织区域可以被压缩到较小程度。另一选项是为感兴趣区域保留无损压缩，为不感兴趣区域保留有损压缩。又一选项是在压缩方面将感兴趣区域周围的边缘与感兴趣区域的边缘处理相同，其中边缘可以基于厚度并且通过斑点膨胀来实现，或者可以基于整数个图像图块，例如一个或两个图像图块被添加到每个感兴趣区域的周边。

例如，JPEG格式允许在0到100范围内自限定“质量”参数，从而影响丢弃的数据量和整体压缩率。通过从CNN执行的兴趣分类中获取额外信息，可以使用标识感兴趣区域和可选的兴趣水平的额外信息来决定如何改变质量参数。也就是说，可以对不感兴趣或兴趣较低区域设置较低质量(较高压缩比)，而可以对被CNN认为是感兴趣或兴趣较高的区域应用较高质量(较低压缩比)或不压缩或仅进行无损压缩。

节省存储器空间可能很重要，请记住，未压缩的虚拟载玻片数据集合可能很大，并且随着技术能力的提高，可能会变得更大。例如，当前载玻片扫描仪可以为单个图像生成例如20到50GB尺寸的虚拟载玻片，其中单个图像可以例如由150，000×75，000像素组成。组织学图像数据集合的压缩版本可以通过覆盖从其被压缩的组织学图像数据集合来存储到记录中。替代地，原始原始图像可以保留，但可能会定期隐藏，以便用户在访问载玻片库时默认可以访问压缩版本。

图8是示出已训练自动编码器(之前在图3的替代自动编码器训练实施例中描述)如何用于检测异常的并且因此可能被测试化合物破坏或至少改变的组织的流程图。

步骤S21提供从存储在诸如虚拟载玻片库等数据储存库中的记录中检索的图像数据文件。图像数据文件属于可以由载玻片扫描仪生成的组织学WSI。组织学图像是用测试化合物处理过的组织样本。组织学图像包括二维像素阵列。应当理解，图像数据文件可以包括多个图像，例如，多个污渍中的每个有一个图像，或者用于通过使显微镜的焦平面步进通过有限深度的透明或半透明样本而获取的样本中的每个不同深度(所谓的z堆叠)有一个图像。

步骤S22是可选步骤，其中可以执行一些CNN预处理，如以上通过示例的方式进一步描述的，诸如基于方差的分析、自适应阈值化、形态学操作等。

步骤S23使用自动编码器，该自动编码器使用未用测试化合物处理的组织用如上所述的训练数据集合被训练。自动编码器在逐图块基础上应用于组织学图像，目的是将输入图块忠实地再现为输出图块。提供给自动编码器用于异常检测的输入图块的尺寸很方便与之前用于自监督训练自动编码器的图像图块的尺寸相同。

步骤S24计算每个图块的输入和输出块之间的距离D(X，Y)。

步骤S25将距离'D'与阈值'ε'进行比较。

如果D(X，Y)＜ε，则步骤S26将图块标记为负，即正常或无毒，而如果D(X，Y)≥ε，则步骤S27将图块标记为正，即异常或有毒。因此，每个图块都标有二进制标签。阈值可以由用户设置。例如，可视化应用可以具有用户控件，用户可以通过该用户控件来设置阈值。允许用户修改阈值允许用户根据需要增加或减少灵敏度或特异性。

在步骤S24至S27已经检查给定图像的所有图块之后，将步骤S28布置在处理流程中以测试图像作为一个整体(即，WSI)是负还是正，然后分别在步骤S29和S30中将WSI标记为负或正。因此，WSI负或正结果是WSI的总体毒性标签(以及WSI构成其一部分的潜在记录)。因此，总体毒性标签是二元标签，如果图像图块中的任何一个被确定为正，则该二元标签将组织学图像指定为有毒/异常，如果没有一个图像图块被确定为正，即所有图像图块都被确定为负，则该二元标签将组织学图像指定为无毒/正常。

步骤S31基于所计算的距离生成组织学图像的毒性图，例如，可以直接或在作为与图像相关联的元数据保存到记录之后覆盖在复合显示中的组织学图像上。作为步骤S25的测试结果而生成的二元图块标签共同构成图像的二元掩码，其中该二元标记可以是上面提到的毒性图。每个图块的距离值共同构成图像的标量值掩码，其中该标量值掩码是毒性图的另一选项。例如，这种标量值掩码可以作为热图覆盖在复合显示中的图像上。在可视化中，热图可以用色标或等高线来呈现。可以针对热图进一步处理距离值以提供期望的覆盖呈现。例如，距离值可以不变地用作热图中的温度值，或者仅以公共转换因子缩放。另一种可能性是毒性图将所有低于阈值的距离值设置为零温度或某个其他恒定值，以便在显示热图时均匀显示正常组织区域，例如根本没有标记，或被浅灰色水洗覆盖。不是将距离值保留为热图中的标量值，而是可以将它们转换为以某种方式与距离值成比例的离散值，从而为热图提供多个毒性级别，例如2、3、4、5个或更多。毒性图的另一选项是应用分割算法将有毒区域分组为有毒区域，从而生成有毒区域的分割掩码，该掩码可以与逐图块毒性数据分开或代替它进行存储，因为它将包含相同的信息内容。

另一选项是根据由距离测量的毒性(或在进一步处理上述距离值的过程中从中导出的一些其他值)或在有毒区域的情况下的聚合距离，对有毒图块或有毒区域进行排名。排名数据可以作为元数据与毒性图一起存储或作为毒性图的一部分进行存储。

针对可视化应用可以如何利用毒性图来创建组织学图像的可视化，存在多种选择，该可视化以对毒理学病理学家或其他用户有用的方式呈现来自自动编码器的异常数据。

可视化可以呈现概览查看窗格，在概览查看窗格中，毒性图覆盖在组织学图像上，如已经提到的。可选地，例如，可以包括有毒区域的排名标签，以便病理学家可以首先查看排名最高的区域。毒性图和组织学图像可以彼此相邻呈现，而不是覆盖，例如并排，以进行一对一比较。有用的是，可视化应用可以具有用户界面控件，该用户界面控件能够操作以允许用户与可视化交互以便选择有毒区域或个体有毒图块。

一种可视化形式是分屏，在分屏中，屏幕的一部分显示概览查看窗格，而屏幕的另一部分在特写查看窗格中以更高倍率显示当前选择的有毒区域，例如底层图像数据的原始分辨率。如果个体有毒图块或有毒区域按距离值或总距离值(或从其导出的某个值)排名，则可视化应用可以具有用户界面控件，用户界面控件能够操作以允许用户按照排名顺序滚动通过有毒图块或区域，其中滚动可以在排名中向上或向下，例如可以通过鼠标滚轮访问。

另一种可视化形式是将有毒图块或区域按照排名顺序以表格或列表形式呈现，每个排名代表一行，每行包括有毒图块或区域的缩略图图像。

更进一步的可视化形式是将有毒图块或区域呈现为图像的马赛克，以便用户基本上仅被呈现图像的异常部分，即有毒部分，而正常区域是不显示，或仅外围显示。

示例实施例

在一个实施例中，一种用于处理已经用测试化合物处理过的组织样本的组织学图像的由计算机自动化系统体现的方法开始于接收组织样本的组织学图像，该组织学图像包括二维像素阵列。接下来，该系统将第一卷积神经网络应用于组织学图像以利用到组织学图像的二维像素阵列的映射来生成具有二维像素阵列的第一输出图像块，第一输出图像块是通过将多个相关类中的一个相关类分配给每个像素而生成的，其中多个相关类包括表示感兴趣像素的至少一个类和表示不感兴趣像素的至少一个类。有利地，第一卷积神经网络已经使用包括组织学图像和病理学家交互数据的训练数据集合被训练，其中病理学家交互数据已经记录了与病理学家如何与组织学图像的可视化进行交互相关的多个参数。接下来，该系统从第一输出图像块生成感兴趣区域图。感兴趣区域图标识由感兴趣像素占据的感兴趣区域。

接下来，将第二卷积神经网络应用于组织学图像以利用到组织学图像的二维像素阵列的映射生成具有二维像素阵列的第二输出图像块。在这种情况下，第二卷积网络已经使用包括尚未用测试化合物处理的组织样本的多个组织学图像的训练数据集合被训练。该系统随后根据映射计算第二输出图像块和组织学图像的对应部分之间的距离。然后，该系统基于计算出的距离生成组织学图像的毒性图，并且分析感兴趣区域图和毒性图以标识出现在感兴趣区域图和毒性图两者中的组织学图像区域。最后，该系统增加出现在感兴趣区域图和毒性图两者中的组织学图像的每个区域的毒性置信度得分。

CNN计算平台

所提出的图像处理可以在各种计算架构上进行，特别是针对神经网络进行优化的架构，这些架构可以基于CPU、GPU、TPU、FPGA和/或ASIC。在一些实施例中，神经网络使用在来自加利福尼亚州圣克拉拉的Nvidia公司的Nvidia GPU(诸如Tesla K80 GPU)上运行的谷歌的Tensorflow软件库来实现。在其他实施例中，神经网络可以在通用CPU上运行。通过专门设计的用于执行CNN计算的处理器可以获取更快的处理，例如Jouppi等人于2017中公开的TPU，其全部内容通过引用并入本文。

图9示出了Jouppi等人于2017的TPU，它是Jouppi的图1的简化复制。TPU 100具有收缩矩阵乘法单元(MMU)102，MMU 102包含256×256个MAC，MAC可以对有符号或无符号整数执行8位乘法和加法。MMU的权重通过权重FIFO缓冲器104提供，该FIFO缓冲器104继而通过合适的存储器接口108从片外8GB DRAM形式的存储器106中读取权重。统一缓冲器(UB)110被提供以存储中间结果。MMU 102被连接以接收来自权重FIFO接口104和UB 110的输入(通过收缩数据设置单元112)并且向累加器单元114输出MMU处理的16位乘积。激活单元116对保存在累加器单元114中的数据执行非线性函数。在经过归一化单元118和池化单元120的进一步处理后，中间结果被发送到UB 110，以通过数据设置单元112重新提供给MMU 102。池化单元120可以根据需要执行最大池化(即，maxpooling)或平均池化。可编程DMA控制器122向或从TPU的主机计算机和UB 110传输数据。TPU指令通过主机接口124和指令缓冲器126从主机计算机发送到控制器122。

可以理解，用于运行神经网络的计算能力(无论是基于CPU、GPU还是TPU)都可以本地托管在临床网络中，例如下面描述的，或远程托管在数据中心中。

网络和计算和扫描环境

所提出的计算机自动化方法在实验室信息系统(LIS)的背景下运行，而实验室信息系统(LIS)通常是更大的临床网络环境(例如，医院信息系统(HIS)或图片存档和通信系统(PACS))的一部分。在LIS中，WSI将保留在数据库中，数据库通常是包含个体患者的电子病历的患者信息数据库。WSI将取自安装在载玻片上的染色组织样本，载玻片带有打印的条形码标签，WSI用合适的元数据标记该条形码标签，因为获取WSI的显微镜配备有条形码阅读器。从硬件的角度来看，LIS将是传统的计算机网络，诸如根据需要具有有线和无线连接的局域网(LAN)。

图10示出了可以结合本发明的实施例使用的示例计算机网络。网络150包括医院152中的LAN。医院152配备有多个工作站154，每个工作站154可以通过局域网访问具有关联存储设备158的医院计算机服务器156。LIS、HIS或PACS档案存储在存储设备158上，以便可以从任何工作站154访问档案中的数据。一个或多个工作站154可以访问图形卡和用于如上文所述生成图像的方法的计算机实现的软件。软件可以本地存储在工作站154或每个工作站154处，或者可以远程存储并且在需要时通过网络150下载到工作站154。在其他示例中，体现本发明的方法可以在具有作为终端操作的工作站154的计算机服务器上执行。例如，工作站可以被配置为接收限定期望组织学图像数据集合的用户输入并且在系统中的别处执行CNN分析时显示结果图像。此外，多个组织学和其他医学成像设备160、162、164、166连接到医院计算机服务器156。用设备160、162、164、166收集的图像数据可以直接存储到存储设备156上的LIS、HIS或PACS存档中。因此，可以在记录对应组织学图像数据之后立即查看和处理组织学图像。局域网通过医院互联网服务器170连接到互联网168，以允许远程访问LIS、HIS或PACS档案。这可以用于远程访问数据和在医院之间传输数据，例如，如果患者移动，或允许进行外部研究。

图11是示出可以结合本文中描述的各种实施例使用的示例计算装置500的框图。例如，计算装置500可以用作上述LIS或PACS系统中的计算节点，例如结合合适的GPU或图9所示的TPU执行CNN处理的主机计算机。

计算装置500可以是服务器或任何传统的个人计算机，或能够进行有线或无线数据通信的任何其他支持处理器的设备。也可以使用其他计算装置、系统和/或架构，包括不能进行有线或无线数据通信的设备，这对于本领域技术人员来说是清楚的。

计算装置500优选地包括一个或多个处理器，例如处理器510。处理器510可以是例如CPU、GPU、TPU或阵列或其组合，例如CPU和TPU的组合或CPU和GPU的组合。可以提供额外的处理器，例如管理输入/输出的辅助处理器、执行浮点数学运算的辅助处理器(例如，TPU)、具有适合快速执行信号处理算法的架构的专用微处理器(例如，数字信号处理器、图像处理器)、隶属于主处理系统的从属处理器(例如，后端处理器)、用于双或多处理器系统的附加微处理器或控制器、或协处理器。这样的辅助处理器可以是分立处理器或者可以与处理器510集成。可以与计算装置500一起使用的CPU的示例是Pentium处理器、Core i7处理器和Xeon处理器，所有这些都可以从加利福尼亚州圣克拉拉的英特尔公司可获取。可以与计算装置500一起使用的示例GPU是加利福尼亚州圣克拉拉的Nvidia公司的Tesla K80 GPU。

处理器510连接到通信总线505。通信总线505可以包括用于促进存储和计算装置500的其他外围组件之间的信息传输的数据通道。通信总线505还可以提供用于与处理器510通信的一组信号，包括数据总线、地址总线和控制总线(未示出)。通信总线505可以包括任何标准或非标准总线架构，例如符合工业标准架构(ISA)、扩展工业标准架构(EISA)、微通道架构(MCA)、外围组件互连(PCI)本地总线、或由电气和电子工程师协会(IEEE)颁布的标准的总线架构，包括IEEE 488通用接口总线(GPIB)、IEEE 696/S-100等。

计算装置500优选地包括主存储器515并且还可以包括辅存储器520。主存储器515为在处理器510上执行的程序提供指令和数据，例如上面讨论的一个或多个功能和/或模块。应当理解，存储在存储器中并且由处理器510执行的计算机可读程序指令可以是汇编器指令、指令集架构(ISA)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据、或者用一种或多种编程语言的任何组合编写和/或编译的源代码或目标代码，包括但不限于Smalltalk、C/C++、Java、JavaScript、Perl、Visual Basic、.NET等。主存储器515通常是基于半导体的存储器，诸如动态随机存取存储器(DRAM)和/或静态随机存取存储器(SRAM)。其他基于半导体的存储器类型包括例如同步动态随机存取存储器(SDRAM)、Rambus动态随机存取存储器(RDRAM)、铁电随机存取存储器(FRAM)等，包括只读存储器(ROM)。

计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上执行并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(LAN)或广域网(WAN)，或者可以进行到外部计算机的连接(例如，使用互联网服务提供者通过互联网)。

辅存储器520可以可选地包括内部存储器525和/或可移动介质530。可移动介质530以任何众所周知的方式被读取和/或写入。可移动存储介质530可以是例如磁带驱动器、压缩盘(CD)驱动器、数字多功能盘(DVD)驱动器、其他光驱、闪存驱动器等。

可移动存储介质530是其上存储有计算机可执行代码(即，软件)和/或数据的非暂态计算机可读介质。存储在可移动存储介质530上的计算机软件或数据被读入计算装置500以供处理器510执行。

辅存储器520可以包括用于允许将计算机程序或其他数据或指令加载到计算装置500中的其他类似元件。这样的装置可以包括例如外部存储介质545和通信接口540，其允许将软件和数据从外部存储介质545传输到计算装置500。外部存储介质545的示例可以包括外部硬盘驱动器、外部光驱、外部磁光驱动器等。辅存储器520的其他示例可以包括基于半导体的存储器，例如可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、电可擦除只读存储器(EEPROM)或闪存(类似于EEPROM的面向块的存储器)。

如上所述，计算装置500可以包括通信接口540。通信接口540允许在计算装置500与外部设备(例如，打印机)、网络或其他信息源之间传输软件和数据。例如，计算机软件或可执行代码可以经由通信接口540从网络服务器传输到计算装置500。通信接口540的示例包括内置网络适配器、网络接口卡(NIC)、个人计算机存储卡国际协会(PCMCIA)网卡、卡总线网络适配器、无线网络适配器、通用串行总线(USB)网络适配器、调制解调器、网络接口卡(NIC)、无线数据卡、通信端口、红外接口、IEEE 1394火线、或能够将系统550与网络或其他计算设备接口连接的任何其他设备。通信接口540优选地实现行业颁布的协议标准，诸如以太网IEEE 802标准、光纤通道、数字用户线(DSL)、异步数字用户线(ADSL)、帧中继、异步传输模式(ATM)、集成数字服务网络(ISDN)、个人通信服务(PCS)、传输控制协议/互联网协议(TCP/IP)、串行线路互联网协议/点对点协议(SLIP/PPP)等，但也可以实现定制或非标准接口协议。

通过通信接口540传输的软件和数据通常是电通信信号555的形式。这些信号555可以通过通信信道550提供给通信接口540。在一个实施例中，通信信道550可以是有线或无线网络、或任何其他各种通信链路。通信信道550携带信号555并且可以使用各种有线或无线通信方式来实现，包括电线或电缆、光纤、传统电话线、蜂窝电话链路、无线数据通信链路、射频(“RF”)链路、或红外链路，仅举几例。

计算机可执行代码(即，计算机程序或软件)存储在主存储器515和/或辅存储器520中。计算机程序也可以通过通信接口540接收并且存储在主存储器515和/或辅存储器中520。这样的计算机程序在被执行时使得计算装置500能够执行如本文别处描述的所公开的实施例的各种功能。

在本文档中，术语“计算机可读介质”用于指代用于向计算装置500提供计算机可执行代码(例如，软件和计算机程序)的任何非暂态计算机可读存储介质。这样的介质的示例包括主存储器515、辅存储器520(包括内部存储器525、可移动介质530和外部存储介质545)、以及与通信接口540通信耦合的任何外围设备(包括网络信息服务器或其他网络设备)。这些非暂态计算机可读介质是用于向计算装置500提供可执行代码、编程指令和软件的装置。在使用软件实现的实施例中，软件可以存储在计算机可读介质上并且通过可移动介质530、I/O接口535或通信接口540加载到计算装置500中。在这样的实施例中，软件以电通信信号555的形式加载到计算装置500中。软件在由处理器510执行使优选地引起处理器510执行本文别处描述的特征和功能。

I/O接口535提供计算装置500的一个或多个组件与一个或多个输入和/或输出设备之间的接口。示例输入设备包括但不限于键盘、触摸屏或其他触敏设备、生物特征传感设备、计算机鼠标、轨迹球、基于笔的定点设备等。输出设备的示例包括但不限于阴极射线管(CRT)、等离子显示器、发光二极管(LED)显示器、液晶显示器(LCD)、打印机、真空荧光显示器(VFD)、表面传导电子发射器显示器(SED)、场发射显示器(FED)等。

计算装置500还包括促进通过语音网络和/或数据网络的无线通信的可选的无线通信组件。无线通信组件包括天线系统570、无线电系统565和基带系统560。在计算装置500中，射频(RF)信号在无线电系统565的管理下由天线系统570通过空中传输和接收。

天线系统570可以包括一个或多个天线和执行切换功能以向天线系统570提供传输和接收信号路径的一个或多个多路复用器(未示出)。在接收路径中，接收RF信号可以从多路复用器耦合到低噪声放大器(未示出)，该放大器放大接收RF信号并且将放大信号发送到无线电系统565。

无线电系统565可以包括被配置为通过各种频率进行通信的一个或多个无线电。在一个实施例中，无线电系统565可以在一个集成电路(IC)中组合解调器(未示出)和调制器(未示出)。解调器和调制器也可以是独立组件。在传入路径中，解调器剥离RF载波信号，留下基带接收音频信号，该信号从无线电系统565发送到基带系统560。

如果接收信号包含音频信息，则基带系统560对该信号进行解码并且将其转换为模拟信号。然后信号被放大并且发送到扬声器。基带系统560还从麦克风接收模拟音频信号。这些模拟音频信号被转换为数字信号并且由基带系统560编码。基带系统560还编码用于传输的数字信号并且生成路由到无线电系统565的调制器部分的基带传输音频信号。调制器混合基带传输音频信号与RF载波信号，以生成被路由到天线系统570并且可以通过功率放大器(未示出)的RF传输信号。功率放大器放大RF传输信号并且将其路由到天线系统570，在那里信号被切换到天线端口以进行传输。

基带系统560还与处理器510通信耦合，处理器510可以是中央处理单元(CPU)。处理器510可以访问数据存储区域515和520。处理器510优选地被配置为执行可以存储在主存储器515或辅存储器520中的指令(即，计算机程序或软件)。还可以从基带处理器560接收计算机程序并且将其存储在主存储器510或辅存储器520中或在接收时执行。这样的计算机程序在执行时使得计算装置500能够执行所公开的实施例的各种功能。例如，数据存储区515或520可以包括各种软件模块。

计算装置还包括直接附接到通信总线505的显示器575，显示器575可以被提供作为连接到上述I/O接口535的任何显示器的替代或补充。

各种实施例也可以主要在硬件中实现，例如使用诸如专用集成电路(ASIC)、可编程逻辑阵列(PLA)或现场可编程门阵列(FPGA)等组件。能够执行本文中描述的功能的硬件状态机的实现对于相关领域的技术人员来说也是很清楚的。各种实施例也可以使用硬件和软件两者的组合来实现。

此外，本领域技术人员将理解，结合上述附图和本文中公开的实施例描述的各种说明性逻辑块、模块、电路和方法步骤通常可以实现为电子硬件、计算机软件或这两者的组合。为了清楚地说明硬件和软件的这种可互换性，上面已经根据它们的功能大体描述了各种说明性组件、块、模块、电路和步骤。这种功能实现为硬件还是软件取决于特定应用和对整个系统施加的设计约束。技术人员可以针对每个特定应用以不同方式实现所描述的功能，但是这种实现决定不应当被解释为导致偏离本发明的范围。此外，模块、块、电路或步骤内的功能分组是为了便于描述。在不脱离本发明的情况下，可以将特定功能或步骤从一个模块、块或电路移动到另一模块、块或电路。

此外，结合本文中公开的实施例描述的各种说明性逻辑块、模块、功能和方法可以用被设计为执行本文中描述的功能的通用处理器、数字信号处理器(DSP)、ASIC、FPGA或其他可编程逻辑器件、分立的门或晶体管逻辑、分立硬件组件或其任何组合来执行。通用处理器可以是微处理器，但在替代方案中，处理器可以是任何处理器、控制器、微控制器或状态机。处理器还可以实现为计算设备的组合，例如DSP和微处理器的组合、多个微处理器、一个或多个微处理器与DSP核结合、或任何其他这样的配置。

此外，结合本文中公开的实施例描述的方法或算法的步骤可以直接体现在硬件中、在由处理器执行的软件模块中、或者在这两者的组合中。软件模块可以驻留在RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM、或包括网络存储介质在内的任何其他形式的存储介质中。示例性存储介质可以耦合到处理器，使得处理器可以从存储介质读取信息和向存储介质写入信息。替代地，存储介质可以与处理器成一体。处理器和存储介质也可以位于ASIC中。

本文所指的计算机可读存储介质不应当被解释为瞬态信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)、或通过电线传输的电信号。

本文中描述的任何软件组件都可以采用多种形式。例如，一个组件可以是独立软件包，也可以是作为“工具”并入更大软件产品中的软件包。它可以作为独立产品或作为用于安装在现有软件应用中的插件包从网络(例如，网站)下载。它还可以用作客户端服务器软件应用、支持网络的软件应用和/或移动应用。

本文中参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图来描述本发明的实施例。应当理解，流程图和/或框图的每个块、以及流程图和/或框图中的块的组合可以由计算机可读程序指令来实现。

计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现一个或多个流程图和/或框图块中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理装置和/或其他设备以特定方式运行，使得其中存储有指令的计算机可读存储介质包括制品，制品包括实现一个或多个流程图和/或框图块中指定的功能/动作的各方面的指令。

计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以引起在计算机、其他可编程装置或其他设备上执行一系列操作步骤以产生计算机实现过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现一个或多个流程图和/或框图块中指定的功能/动作。

图示的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个块可表示指令模块、段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些替代实现中，块中标注的功能可以不按照图中标注的顺序发生。例如，根据所涉及的功能，连续示出的两个块实际上可以基本上同时执行，或者这些块有时可以以相反的顺序执行。还将注意，框图和/或流程图说明的每个块、以及框图和/或流程图说明中的块的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。

体现本发明的装置和方法能够托管在云计算环境中并且由其交付。云计算是一种服务交付模型，其用于实现对共享的可配置计算资源池(例如，网络、网络带宽、服务器、处理、存储器、存储、应用、虚拟机和服务)的便捷的按需网络访问，这些可配置计算资源可以通过与服务提供者的最少的管理工作或交互来快速配置和发布。该云模型可以包括至少五个特征、至少三个服务模型和至少四个部署模型。

特点如下：

按需自助服务：云消费者可以根据需要自动提供计算能力，例如服务器时间和网络存储，而无需与服务提供者进行人工交互。

广泛的网络访问：功能可以通过网络获取，并且通过标准机制访问，这些机制促进异构瘦客户端或胖客户端平台(例如，移动电话、膝上型电脑和PDA)的使用。

资源池：提供者的计算资源被池化以使用多租户模型为多个消费者服务，根据需求动态分配和重新分配不同物理和虚拟资源。存在位置独立性，因为消费者通常无法控制或了解所提供的资源的确切位置，但可以能够在更高抽象级别(例如，国家、州或数据中心)指定位置。

快速弹性：可以快速弹性地配置能力，在某些情况下是自动的，以快速向外扩展并且快速释放以快速收缩。对于消费者来说，可用于配置的能力通常似乎是无限的，并且可以在任何时间以任何数量购买。

测量服务：云系统通过在适合服务类型(例如，存储、处理、带宽和活动用户帐户)的某种抽象级别利用计量功能来自动控制和优化资源使用。可以监测、控制和报告资源使用情况，从而为所使用的服务的提供者和消费者提供透明度。

服务模式如下：

软件即服务(SaaS)：提供给消费者的能力是使用提供者在云基础设施上运行的应用。这些应用可以通过瘦客户端界面(例如，网络查看器(例如，基于网络的电子邮件))从各种客户端设备访问。消费者不管理或控制底层云基础设施，包括网络、服务器、操作系统、存储、甚至个体应用功能，但有限的用户特定应用配置设置可能除外。

平台即服务(PaaS)：提供给消费者的能力是将消费者创建或获取的应用部署到云基础设施上，这些应用是使用提供者支持的编程语言和工具创建的。消费者不管理或控制底层云基础设施，包括网络、服务器、操作系统或存储，但可以控制所部署的应用和可能的应用托管环境配置。

基础设施即服务(IaaS)：提供给消费者的能力是提供处理、存储、网络和其他基本计算资源，消费者能够在其中部署和运行任意软件，可以包括操作系统和应用。消费者不管理或控制底层云基础设施，但可以控制操作系统、存储、部署的应用、以及可能对所选择的网络组件(例如，主机防火墙)的有限控制。

部署模型如下：

私有云：云基础设施专为组织运营。它可以由组织或第三方管理，并且可以存在于内部或外部。

社区云：云基础设施由多个组织共享，并且支持具有共同关注点(例如，任务、安全要求、政策和合规性考虑)的特定社区。它可以由组织或第三方管理，并且可以存在于内部或外部。

公共云：云基础设施可供公众或大型行业集团使用，并且由销售云服务的组织拥有。

混合云：云基础设施是两个或更多个云(私有、社区或公共)的组合，这些云仍然是独特的实体，但通过标准化或专有技术绑定在一起，使得数据和应用具有可移植性(例如，云之间的负载平衡)。

云计算环境是面向服务的，重点是无状态、低耦合、模块化和语义互操作性。云计算的核心是包括互连节点网络的基础设施。

本领域技术人员将清楚，在不脱离本公开的范围的情况下，可以对前述示例性实施例进行很多改进和修改。

图12A是示出可以与本文中描述的各种实施例结合使用的示例处理器使能设备551的框图。本领域技术人员将理解，也可以使用设备551的替代形式。在图示的实施例中，设备551被呈现为数字成像设备(本文中也称为扫描仪系统或扫描系统)，该数字成像设备包括一个或多个处理器556、一个或多个存储器566、一个或多个运动控制器571、一个或多个接口系统576，每个支持带有一个或多个样本590的一个或多个载玻片585的一个或多个可移动平台580、照射样本的一个或多个照射系统595、每个限定沿着光轴行进的光路605的一个或多个物镜600、一个或多个物镜定位器630、一个或多个可选的落射照射系统635(例如，被包括在荧光扫描仪系统中)、一个或多个聚焦光学器件610、一个或多个线扫描相机615和/或一个或多个面扫描相机620，每个相机在样本590和/或载玻片585上限定单独的视场625。扫描器系统551的各种元件经由一个或多个通信总线560通信耦合。虽然扫描器系统551的各种元件中的每个可以有一个或多个，但是为了在下面的描述中简单起见，这些元件将以单数形式描述，除非需要以复数形式描述以传达适当信息。

一个或多个处理器556可以包括例如能够并行处理指令的中央处理单元(“CPU”)和单独的图形处理单元(“GPU”)，或者一个或多个处理器556可以包括能够并行处理指令的多核处理器。还可以提供附加的单独处理器来控制特定组件或执行特定功能，例如图像处理。例如，附加处理器可以包括用于管理数据输入的辅助处理器、用于执行浮点数学运算的辅助处理器、具有适合于快速执行信号处理算法的架构的专用处理器(例如，数字信号处理器)、从属于主处理器的从属处理器(例如，后端处理器)、用于控制线扫描相机615、载物台580、物镜225和/或显示器(未示出)的附加处理器。这样的附加处理器可以是单独的离散处理器或者可以与处理器556集成。

存储器566为可以由处理器556执行的程序提供数据和指令的存储。存储器566可以包括存储数据和指令的一个或多个易失性和持久性计算机可读存储介质，例如，随机存取存储器、只读存储器、硬盘驱动器、可移动存储驱动器等。处理器556被配置为执行存储在存储器566中的指令并且经由通信总线560与扫描仪系统551的各种元件通信以执行扫描仪系统551的整体功能。

一个或多个通信总线560可以包括被配置为传送模拟电信号的通信总线560并且可以包括被配置为传送数字数据的通信总线560。因此，经由一个或多个通信总线560的来自处理器556、运动控制器571和/或接口系统576的通信可以包括电信号和数字数据。处理器556、运动控制器571和/或接口系统576还可以被配置为经由无线通信链路与扫描系统551的各种元件中的一个或多个通信。

运动控制系统571被配置为精确控制和协调平台580和物镜600的XYZ移动(例如，通过物镜定位器630)。运动控制系统571还被配置为控制扫描仪系统551中任何其他运动部件的运动。例如，在荧光扫描仪实施例中，运动控制系统571被配置为协调落射照射系统635中的滤光器等的运动。

接口系统576允许扫描仪系统551与其他系统和操作员接口。例如，接口系统576可以包括用于直接向操作员提供信息和/或允许来自操作员的直接输入的用户界面。接口系统576还被配置为促进扫描系统551与直接连接的一个或多个外部设备(例如，打印机、可移动存储介质)或通过网络(未示出)连接到扫描仪系统551的诸如图像服务器系统、操作员站、用户站和管理服务器系统等外部设备之间的通信和数据传输。

照射系统595被配置为照射样本590的一部分。照射系统可以包括例如光源和照射光学器件。光源可以是带有用于最大化光输出的凹面反射镜和用于抑制热量的KG-1滤光片的可变强度卤素光源。光源也可以是任何类型的弧光灯、激光或其他光源。在一个实施例中，照射系统595以透射模式照射样本590，使得线扫描相机615和/或面扫描相机620感测透射通过样本590的光能。替代地或组合地，照射系统595还可以被配置为以反射模式照射样本590，使得线扫描相机615和/或面扫描相机620感测从样本590反射的光能。总的来说，照射系统595被配置为适合于询问以任何已知的光学显微镜模式观察微观样本590。

在一个实施例中，扫描仪系统551可选地包括落射照射系统635以优化用于荧光扫描的扫描仪系统551。荧光扫描是包括荧光分子的样本590的扫描，荧光分子是可以吸收特定波长(激发)的光的光子敏感分子。这些光子敏感分子还发射更高波长的光(发射)。因为这种光致发光现象的效率很低，所以发出的光量往往很低。这种少量的发射光通常会阻碍用于扫描和数字化样本590的常规技术(例如，透射模式显微镜)。有利地，在扫描仪系统551的可选荧光扫描仪系统实施例中，包括多个线性传感器阵列(例如，时间延迟积分(“TDI”)线扫描相机)的线扫描相机615的使用通过将样本590的相同区域暴露于线扫描相机615的多个线性传感器阵列中的每个而增加了对线扫描相机的光的灵敏度。这在扫描具有低发射光的微弱荧光样本时特别有用。

因此，在荧光扫描仪系统实施例中，线扫描相机615优选地是单色TDI线扫描相机。有利地，单色图像在荧光显微镜中是理想的，因为它们提供来自样本上存在的各种通道的实际信号的更准确表示。如本领域技术人员将理解的，荧光样本590可以用多种荧光染料标记，这些荧光染料在不同波长(也称为“通道”)下发射光。

此外，因为各种荧光样本的低端和高端信号水平呈现出线扫描相机615感测的宽光谱波长，所以线扫描相机615能够感测的低端和高端信号水平的宽度相似是合乎需要的。因此，在荧光扫描仪实施例中，在荧光扫描系统551中使用的线扫描相机615是单色10位64线阵TDI线扫描相机。应当注意，线扫描相机615的各种位深度可以用于与扫描系统551的荧光扫描仪实施例一起使用。

可移动平台580被配置为在处理器556或运动控制器571的控制下进行精确的XY移动。可移动平台也可以被配置为在处理器556或运动控制器571的控制下在Z上移动。可移动平台被配置为在由线扫描相机615和/或面扫描相机捕获图像数据期间将样本定位在期望位置。可移动平台还被配置为在扫描方向上将样本590加速到基本恒定的速度，然后在由线扫描相机615捕获图像数据期间保持基本恒定的速度。在一个实施例中，扫描仪系统551可以采用高速精确且紧密协调的XY网格以帮助在可移动平台580上定位样本590。在一个实施例中，可移动平台580是基于线性电机的XY台，其在X轴和Y轴上均采用高精度编码器。例如，可以在扫描方向上的轴上和与扫描方向垂直的方向上且与扫描方向在同一平面上的轴上使用非常精确的纳米编码器。可移动台还被配置为支撑其上布置有载玻片585的载玻片585。

样本590可以是任何可以通过光学显微镜检查的东西。例如，玻璃显微镜载玻片585经常用作标本的观察基底，标本包括组织和细胞、染色体、DNA、蛋白质、血液、骨髓、尿液、细菌、珠子、活检材料、或者死或活、染色或未染色、标记或未标记的任何其他类型的生物材料或物质。样本590也可以是沉积在任何类型的载玻片或其他基底上的任何类型的DNA或DNA相关材料(诸如cDNA或RNA或蛋白质)的阵列，包括通常称为微阵列的任何和所有样本。样本590可以是微量滴定板，例如96孔板。样本590的其他示例包括集成电路板、电泳记录、培养皿、薄膜、半导体材料、法医材料或机加工部件。

物镜600安装在物镜定位器630上，在一个实施例中，物镜定位器630可以采用非常精确的线性电机来沿着由物镜600限定的光轴移动物镜600。例如，线性电机物镜定位器630可以包括50纳米编码器。平台580和物镜600在XYZ轴上的相对位置在处理器556的控制下使用运动控制器571以闭环方式协调和控制，处理器556采用存储器566来存储信息和指令，包括用于整个扫描系统551操作的计算机可执行编程步骤。

在一个实施例中，物镜600是平面复消色差(“APO”)无限远校正物镜，其数值孔径对应于所需要的最高空间分辨率，其中物镜600适用于透射模式照射显微镜、反射模式照射显微镜和/或落射照射模式荧光显微镜(例如，Olympus 40X，0.75NA或20X，0.75NA)。有利地，物镜600能够校正色差和球面像差。因为物镜600是无限远校正的，所以聚焦光学器件610可以放置在物镜600上方的光路605中，其中穿过物镜的光束变成准直光束。聚焦光学器件610将由物镜600捕获的光学信号聚焦到线扫描相机615和/或面扫描相机620的光响应元件上，并且可以包括诸如滤光器、倍率改变透镜等光学组件。与聚焦光学器件610组合的物镜600为扫描系统551提供总倍率。在一个实施例中，聚焦光学器件610可以包含管透镜和可选的2X倍率变换器。有利地，2X倍率变换器允许原生20X物镜600以40X倍率扫描样本590。

线扫描相机615包括至少一个线性阵列的图片元素(“像素”)。线扫描相机可以是单色或彩色的。彩色线扫描相机通常具有至少三个线性阵列，而单色线扫描相机可以具有单个线性阵列或多个线性阵列。也可以使用任何类型的单数或复数线性阵列，无论是作为相机的一部分封装还是定制集成到成像电子模块中。例如，也可以使用3线性阵列(“红绿蓝”或“RGB”)彩色线阵扫描相机或96线性阵列单色TDI。TDI线扫描相机通常通过汇总来自样本先前成像区域的强度数据来在输出信号中提供明显更好的信噪比(“SNR”)，从而产生与积分阶段数的平方根成正比的SNR增加。TDI线扫描相机包括多个线阵，例如TDI线扫描相机具有24、32、48、64、96或甚至更多个线阵列可用。扫描仪系统551还支持以各种格式制造的线性阵列，包括一些具有512个像素，一些具有1024个像素，以及其他具有多达4096个像素。类似地，在扫描仪系统551中也可以使用具有多种像素尺寸的线性阵列。选择任何类型的线扫描相机615的突出要求是平台580的运动可以与线扫描相机615的线速率同步使得在样本590的数字图像捕获期间平台580可以相对于线扫描相机615运动。

由线扫描相机615生成的图像数据被存储在存储器566的一部分中并且由处理器556处理以生成样本590的至少一部分的连续数字图像。连续数字图像可以由处理器556进一步处理，并且修订后的连续数字图像也可以存储在存储器566中。

在具有两个或更多个线扫描相机615的实施例中，线扫描相机615中的至少一个可以被配置为用作聚焦传感器，聚焦传感器与被配置为用作成像传感器的线扫描相机615中的至少一个相结合来操作。聚焦传感器可以逻辑地定位在与成像传感器相同的光轴上，或者聚焦传感器可以相对于扫描仪系统551的扫描方向逻辑地定位在成像传感器之前或之后。在至少一个线扫描相机615用作聚焦传感器的这样的实施例中，聚焦传感器生成的图像数据被存储在存储器566的一部分中并且由一个或多个处理器556处理以生成聚焦信息以允许扫描仪系统551调节样本590与物镜600之间的相对距离以在扫描期间保持对样本的聚焦。另外，在一个实施例中，用作聚焦传感器的至少一个线扫描相机615可以定向成使得聚焦传感器的多个个体像素中的每个沿着光路605位于不同逻辑高度。

在操作中，扫描仪系统551的各种组件和存储在存储器566中的编程模块能够自动扫描和数字化设置在载玻片585上的样本590。载玻片585牢固地放置在扫描仪系统551的可移动平台580上以用于扫描样本590。在处理器556的控制下，可移动平台580将样本590加速到基本恒定的速度以供线扫描相机615感测，其中平台的速度与线扫描相机615的线速率同步。在扫描图像数据的条带之后，可移动平台580减速并且使样本590基本完全停止。可移动平台580然后垂直于扫描方向移动以定位样本590以用于扫描图像数据的后续条带，例如相邻条带。随后扫描附加条带，直到样本590的整个部分或整个样本590被扫描。

例如，在样本590的数字扫描期间，样本590的连续数字图像被获取作为多个连续视场，这些视场组合在一起形成图像条。多个相邻图像条类似地组合在一起以形成部分或整个样本590的连续数字图像。样本590的扫描可以包括获取垂直图像条或水平图像条。样本590的扫描可以是自上而下、自下而上或这两者(双向)并且可以在样本上的任何点处开始。替代地，样本590的扫描可以是从左到右、从右到左或这两者(双向)并且可以在样本上的任何点处开始。此外，不必以相邻或连续方式获取图像条。此外，样本590的所得到的图像可以是整个样本590的图像或样本590的仅一部分的图像。

在一个实施例中，计算机可执行指令(例如，编程模块和软件)被存储在存储器566中，并且当被执行时，使得扫描系统551能够执行本文中描述的各种功能。在本说明书中，术语“计算机可读存储介质”用于指代用于存储计算机可执行指令并且将计算机可执行指令提供给扫描系统551以供处理器556执行的任何介质。这些介质的示例包括存储器566和与扫描系统551直接或间接(例如，通过网络(未示出))通信耦合的任何可移动或外部存储介质(未示出)。

图12B示出了具有可以实现为电荷耦合器件(“CCD”)阵列的单个线性阵列640的线扫描相机。单个线性阵列640包括多个个体像素645。在所示实施例中，单个线性阵列640具有4096个像素。在替代实施例中，线性阵列640可以具有更多或更少像素。例如，线性阵列的常见格式包括512、1024和4096个像素。像素645以线性方式布置以限定线性阵列640的视场625。视场的尺寸根据扫描仪系统551的倍率而变化。

图12C示出了具有三个线性阵列的线扫描相机，每个线性阵列可以实现为CCD阵列。三个线性阵列组合以形成颜色阵列650。在一个实施例中，颜色阵列650中的每个个体线性阵列检测不同颜色强度，例如红色、绿色或蓝色。来自彩色阵列650中每个个体线性阵列的彩色图像数据被组合以形成彩色图像数据的单个视场625。

图12D示出了具有多个线性阵列的线扫描相机，每个线性阵列可以实现为CCD阵列。多个线性阵列组合形成TDI阵列655。有利地，TDI线扫描相机可以通过将来自样本的先前成像区域的强度数据相加而在其输出信号中提供实质上更好的SNR，从而产生与线性阵列(也称为积分级)数目的平方根成正比的SNR的增加。TDI线扫描相机可以包括更多种类的线性阵列，例如TDI线扫描相机的常见格式包括24、32、48、64、96、120和甚至更多线性阵列。

提供所公开的实施例的以上描述以使得本领域技术人员能够制造或使用本发明。对这些实施例的各种修改对于本领域技术人员来说将是很清楚的，并且在不脱离本发明的精神或范围的情况下，可以将本文中描述的一般原理应用于其他实施例。因此，应当理解，本文中呈现的描述和附图代表本发明的当前优选实施例并且因此代表本发明的广泛涵盖的主题。还应当理解，本发明的范围完全包括对本领域技术人员而言很清楚的其他实施例，因此本发明的范围不受限制。

Claims (86)

1.一种处理组织学图像的数据集合的方法，所述方法包括：

接收包括二维像素阵列的组织学图像的数据集合；

应用卷积神经网络以利用到所述组织学图像的所述二维像素阵列的映射来生成具有二维像素阵列的输出图像块，所述输出图像块是通过将多个相关类中的一个相关类分配给每个像素而生成的，其中所述多个相关类包括表示感兴趣像素的至少一个类和表示不感兴趣像素的至少一个类，其中所述卷积神经网络已使用包括组织学图像和病理学家交互数据的训练数据集合被训练，其中所述病理学家交互数据已记录与病理学家如何与组织学图像的可视化进行交互相关的多个参数；以及

从所述输出图像块生成分割掩码，在所述分割掩码中，由感兴趣像素占据的感兴趣区域被标记。

2.根据权利要求1所述的方法，还包括根据评分算法来确定针对每个感兴趣区域的得分，所述评分算法基于聚合来自所述感兴趣区域中所包含的每个感兴趣像素的得分贡献。

3.根据权利要求2所述的方法，还包括根据所述感兴趣区域的所述得分对所述感兴趣区域进行排名。

4.根据权利要求1所述的方法，还包括：

针对每个感兴趣区域计算汇总统计数据；以及

将滤波器应用于每个感兴趣区域的所述汇总统计数据，以通过根据所述滤波器选择和取消选择感兴趣区域来编辑所述分割掩码。

5.根据权利要求1所述的方法，其中存在多个类，该多个类表示感兴趣像素，并且这些类与增加的兴趣水平相关联。

6.根据从属于权利要求2的权利要求5所述的方法，其中所述得分贡献根据所述兴趣水平对像素进行加权。

7.根据权利要求1所述的方法，其中所述多个参数包括：像素的查看时间和像素的查看倍率。

8.根据权利要求1所述的方法，其中所述多个参数包括：所述组织学图像上与病理学家的注释相关联的位置或区域处的像素。

9.根据权利要求1所述的方法，其中所述多个参数包括：所述组织学图像上受到以更高倍率进行查看的用户命令的位置或区域处的像素。

10.根据权利要求1所述的方法，其中在所述训练数据集合中，针对给定组织学图像的所述病理学家交互数据包括来自多个病理学家的交互，并且所述参数包括来自多个病理学家的与同一组织学图像的交互之间的相关因子。

11.根据权利要求1所述的方法，其中所述组织学图像数据集合是从组织区的不同染色的相邻部分获取的多个组织学图像的合成。

12.根据前述权利要求中任一项所述的方法，其中应用所述卷积神经网络包括：

从所述组织学图像中提取图像块，所述图像块是尺寸由一定宽度和高度的像素的数目限定的所述组织学图像或其集合中的区域部分；

为所述卷积神经网络提供一组权重和多个通道，每个通道对应于所述多个相关类中的待标识的相关类；

将每个图像块作为输入图像块输入到所述卷积神经网络中；

执行多级卷积以生成维度不断减小的卷积层，直到并且包括最小维度的最终卷积层，然后执行多级转置卷积以通过生成维度不断增加的反卷积层来反转所述卷积，直到恢复尺寸与所述输入图像块匹配的层，恢复层中的每个像素包含属于所述相关类中的每个相关类的概率；以及

基于所述概率将所述相关类分配给所述恢复层的每个像素以达成输出图像块。

13.根据权利要求12所述的方法，还包括将所述输出图像块组装成用于所述组织学图像的概率图。

14.根据权利要求12或13所述的方法，还包括根据所述概率图限定所述组织学图像中的所述感兴趣区域。

15.根据权利要求12所述的方法，还包括存储被链接到所述组织学图像的所述概率图。

16.根据权利要求12所述的方法，还包括：

为所述卷积神经网络提供至少一个跳跃连接，至少一个跳跃连接中的每个跳跃连接从所述卷积层中维度大于所述最终卷积层的至少一个卷积层中获取中间结果，并且对这些结果进行如所需要的转置卷积，以获取尺寸与所述输入图像块匹配的至少一个另外的恢复层，所需要的转置卷积可以是没有转置卷积、一次转置卷积或多于一次的转置卷积；以及

在为每个像素分配相关类的所述步骤之前，进一步处理所述恢复层以将所述恢复层与所述至少一个另外的恢复层组合，以便重新计算所述概率来考虑所述至少一个跳跃连接。

17.根据权利要求12所述的方法，其中使用softmax操作来生成所述概率。

18.根据权利要求12所述的方法，其针对预测而被执行，其中所述卷积神经网络已在先前训练期间将其权重值分配。

19.根据权利要求12所述的方法，其针对训练而被执行，还包括将所述组织学图像中的每个像素分配给所述相关类中的一个相关类的真实数据，根据权利要求12所述的方法被迭代地执行，其中每次迭代涉及基于将所述真实数据与所述输出图像块进行比较来调节所述卷积神经网络的权重值。

20.根据权利要求12所述的方法，其中在训练期间调节所述权重是通过梯度下降来执行的。

21.根据权利要求1所述的方法，还包括使用可视化应用，以生成依赖于所述分割掩码的所述组织学图像的可视化。

22.根据从属于权利要求3的权利要求21所述的方法，其中所述可视化在考虑到所述排名的情况下被生成，以包括所述排名的视觉指示。

23.根据权利要求21所述的方法，其中所述可视化包括概览查看窗格和分割掩码查看窗格。

24.根据权利要求23所述的方法，其中所述概览查看窗格和所述分割掩码查看窗格以所述分割掩码覆盖在所述组织学图像上或与所述组织学图像并排的方式被显示。

25.根据权利要求21所述的方法，其中所述可视化包括蒙太奇，所述蒙太奇包括针对所述感兴趣区域中的一些感兴趣区域的多个图像。

26.根据权利要求21至25中任一项所述的方法，其中所述可视化应用包括图形用户界面选择控件，该图形用户界面选择控件能够操作以允许用户与所述可视化交互以便选择感兴趣区域。

27.根据权利要求21至26中任一项所述的方法，其中所述可视化应用包括代理，所述代理监测用户与所述组织学图像数据集合的可视化的交互，以跟踪所述用户已具体查看所述感兴趣区域中的哪些感兴趣区域。

28.根据权利要求27所述的方法，其中所述可视化应用还包括对结束组织学图像上的可视化会话的用户命令进行响应的检查功能，所述检查功能执行关于所述用户是否已具体查看所述感兴趣区域的逻辑样本的检查。

29.根据权利要求28所述的方法，还包括：当所述检查指示所述用户尚未具体查看所述感兴趣区域的逻辑样本时，向所述用户发出在结束所述可视化会话之前需要进一步的确认输入的通知。

30.根据权利要求27所述的方法，还包括：当所述检查指示所述用户尚未具体查看所述感兴趣区域的逻辑样本时，引导所述用户查看所述感兴趣区域的所述逻辑样本或尚未具体查看的感兴趣区域。

31.根据权利要求21至30中任一项所述的方法，还包括在显示器上显示所述可视化。

32.根据权利要求1至20中任一项所述的方法，还包括通过以下对所述组织学图像数据集合应用可变图像压缩：

应用压缩算法，所述压缩算法优先压缩所述感兴趣区域外部的像素以生成所述组织学图像数据集合的压缩版本；以及

存储所述压缩版本。

33.根据权利要求32所述的方法，其中所述压缩算法是无损和有损中的一者。

34.根据权利要求32或33所述的方法，其中所述组织学图像数据集合的所述压缩版本是通过覆盖所述组织学图像数据集合来存储的，所述压缩版本是从所述组织学图像数据集合而压缩的。

35.一种图像数据获取方法，包括：

提供包含组织学样本的载玻片；

使用载玻片扫描仪扫描所述载玻片并且获取组织学图像数据集合；

执行根据权利要求1至20中任一项所述的方法以标识所述感兴趣区域；

执行根据权利要求32所述的附加措施以基于所述感兴趣区域可变地压缩所述组织学图像数据集合；以及

存储压缩后的组织学图像数据集合。

36.根据权利要求35所述的方法，其中所述载玻片扫描仪或所述载玻片扫描仪的控制计算机执行根据权利要求1至20中任一项所述的方法和根据权利要求32至34中任一项所述的附加措施。

37.根据权利要求35所述的方法，其中在所述组织学图像数据集合已经被存储到数据储存库中的记录之后，所述载玻片扫描仪执行根据权利要求1至20中任一项所述的方法和根据权利要求32至34中任一项所述的附加措施，所述数据储存库能够通过网络连接选择性地连接到所述载玻片扫描仪或所述载玻片扫描仪的控制计算机。

38.一种操作用于组织学图像的可视化应用的方法，所述方法包括：

提供加载有可视化应用的计算机装置，所述可视化应用能够操作以向用户交互式地显示组织学图像数据集合的组织学图像；

使已经根据权利要求1至20或权利要求32至37中任一项预处理的组织学图像数据集合可用，经预处理的所述组织学图像数据集合因此包括标记所述组织学图像中的感兴趣区域的分割掩码；以及

将所述组织学图像数据集合加载到所述计算机装置中以用于所述可视化应用，其中所述加载优先加载包含所述感兴趣区域的所述组织学图像数据集合的小区域子图像，然后加载不包含任何感兴趣区域的其他子图像。

39.根据权利要求38所述的方法，其中所述小区域子图像以如被存储在所述组织学图像数据集合中的原始分辨率被加载。

40.根据权利要求38或39所述的方法，其中当所述组织学图像数据集合已经根据权利要求3被预处理时，所述小区域子图像在考虑到排名顺序的情况下被加载。

41.一种用于标识组织学图像或其集合中的感兴趣区域的计算机程序产品，所述计算机程序产品承载用于执行根据权利要求1至20或权利要求32至34中任一项所述的方法的机器可读指令。

42.一种用于标识组织学图像中的感兴趣区域的计算机装置，所述装置包括：

输入，能够操作地从被存储在存储器中的记录接收组织学图像数据集合；

处理模块，被配置为执行根据权利要求1至20或权利要求32至34中任一项所述的方法。

43.根据权利要求42所述的装置，还包括输出，所述输出能够操作地将与所述分割掩码相关的元数据存储到所述记录中，使得所述元数据被链接到所述组织学图像数据集合。

44.根据权利要求42或43所述的装置，还包括：

显示器；以及

显示输出，能够操作地向所述显示器传输所述组织学图像数据集合和所述分割掩码，使得所述组织学图像能够在考虑到所述分割掩码的情况下被显示。

45.一种临床网络，包括：

根据权利要求42至44中任一项所述的计算机装置；

数据储存库，被配置为存储包括组织学图像的患者数据的记录；以及

网络连接，支持患者数据记录或其部分在所述计算机装置与所述数据储存库之间的传输。

46.根据权利要求45所述的临床网络，还包括图像获取装置，该图像获取装置能够操作地获取组织学图像并且将所述组织学图像存储到所述数据储存库中的记录。

47.一种用于从组织学载玻片获取组织学图像数据集合的载玻片扫描仪，所述载玻片扫描仪包括：

显微镜模块，包括载玻片加载器和物镜；

控制计算机，能够操作地控制所述显微镜模块获取组织学图像数据集合；以及

神经网络处理模块，能够操作地执行根据权利要求1至20中任一项所述的方法以标识所述感兴趣区域。

48.根据权利要求47所述的载玻片扫描仪，还包括压缩模块，该压缩模块能够操作地执行根据权利要求32至34中任一项所述的附加措施以基于所述感兴趣区域可变地压缩所述组织学图像数据集合。

49.一种加载有可视化应用的计算机装置，所述可视化应用用于向用户交互式地显示组织学图像数据集合的组织学图像，所述计算机装置包括：

存储器，由多个存储器层组成，所述多个存储器层以延迟增加的层级被布置，其中至少最低延迟存储器层是高速缓存层；以及

可视化应用，所述可视化应用：

能够操作以访问被存储在所述存储器的较高延迟部分中的组织学图像数据集合，其中所述组织学图像数据集合已经根据权利要求1至20或权利要求32至37中任一项被预处理，并且因此包括标记所述组织学图像中的感兴趣区域的分割掩码，其中所述组织学图像数据集合大于能够单独被保留在所述最低延迟存储器层中的数据集合；并且

通过与不包含任何感兴趣区域的其他子图像相比，优先地将包含所述感兴趣区域的所述数据集合的较高分辨率小区域子图像预加载到并且保留在所述至少一个高速缓存层中，来响应于接收到查看所述组织学图像数据集合的命令。

50.根据权利要求49所述的计算机装置，其中当所述组织学图像数据集合已经根据权利要求3被预处理时，所述小区域子图像在考虑到排名顺序的情况下被优先加载并且被保留在所述至少一个高速缓存层中，使得高排名映射到低延迟和/或优先高速缓存保留。

51.根据权利要求49或50所述的计算机装置，还包括图形处理单元，其中存在被分配给所述图形处理单元的至少一个高速缓存层。

52.一种计算机装置，包括：

可视化应用，用于向用户交互式地显示组织学图像数据集合的组织学图像；以及

网络连接器，用于建立网络连接以支持组织学图像数据集合从远程数据储存库到所述计算机装置的传输，

其中所述可视化应用能够操作地通过在预加载不包含任何感兴趣区域的其他子图像之前优先加载包含所述感兴趣区域的所述数据集合的小区域子图像，来加载已经根据权利要求1至20或权利要求32至37中任一项被预处理的并且因此包括标记所述组织学图像中的感兴趣区域的分割掩码的组织学图像数据集合。

53.根据权利要求52所述的计算机装置，其中包含感兴趣区域的小区域子图像的所述优先加载被应用来以如被存储在所述数据储存库中的原始分辨率加载所述子图像。

54.根据权利要求52或53所述的计算机装置，其中当被存储在所述数据储存库中的组织学图像数据集合已经根据权利要求3被预处理时，所述小区域子图像在考虑到所述小区域子图像的排名顺序的情况下被优先加载。

55.一种用于处理已经用测试化合物处理过的给定组织类型的组织样本的组织学图像的计算机自动化方法，所述方法包括：

接收已经用测试化合物处理过的组织样本的组织学图像，所述组织学图像包括二维像素阵列，所述二维像素阵列能够被细分为多个图像图块；

提供已经利用训练数据集合训练的自动编码器，所述训练数据集合包括尚未用所述测试化合物处理的所述给定组织类型的组织样本的多个组织学图像；

将所述自动编码器在逐图块基础上应用于所述组织学图像以：

a.从所述组织学图像中提取图像图块；

b.将所述图像图块输入到所述自动编码器；

c.接收对应图像图块作为输出；以及

d.计算输入图像图块与输出图像图块之间的距离；

基于计算出的距离生成所述组织学图像的毒性图；以及

保存所述毒性图。

56.根据权利要求55所述的方法，其中将每个图块的所述距离与阈值进行比较，并且如果所述距离超过所述阈值，则将所述图像图块标记为有毒。

57.根据权利要求56所述的方法，其中所述毒性图包括基于每个图块是否被标记为有毒的二元掩码。

58.根据权利要求56所述的方法，其中所述毒性图包括热图，在所述热图中，被标记为有毒的图块被分配与所述图块的距离值成比例的温度值。

59.根据权利要求58所述的方法，其中所述热图向未被标记为有毒的图块分配公共基础温度值。

60.根据前述权利要求中任一项所述的方法，还包括保存总体毒性标签，其中所述总体毒性标签是二进制标签，如果所述图像图块中的任何一个被确定为有毒，则所述二进制标签将所述组织学图像指定为有毒，而如果所述图像图块中没有一个被确定为有毒，则所述二进制标签将所述组织学图像指定为无毒。

61.根据前述权利要求中任一项所述的方法，还包括将分割算法应用于所述毒性图以将有毒图块分组为有毒区域并且由此生成所述有毒区域的分割掩码。

62.根据权利要求61所述的方法，还包括将所述分割掩码保存到所述毒性图。

63.根据权利要求55所述的方法，还包括根据由所述距离测量的毒性对所述有毒图块或有毒区域进行排名。

64.根据权利要求63所述的方法，还包括将所述排名存储到所述毒性图中。

65.根据前述权利要求中任一项所述的方法，还包括：

提供可视化应用；以及

在考虑到所述毒性图的情况下创建所述组织学图像的可视化。

66.根据权利要求65所述的方法，其中所述可视化包括概览查看窗格，在所述概览查看窗格中，所述毒性图被覆盖在所述组织学图像上。

67.根据从属于权利要求63的权利要求65所述的方法，其中所述概览查看窗格包括用于每个有毒区域的排名标签。

68.根据权利要求65所述的方法，其中所述可视化包括相应的概览查看窗格，在所述相应概览查看窗格中，所述毒性图和所述组织学图像彼此相邻地被呈现用于一对一比较。

69.根据从属于权利要求63的权利要求67所述的方法，其中所述毒性图的所述概览查看窗格包括用于每个有毒区域的排名标签。

70.根据前述权利要求中任一项所述的方法，还包括用户界面有毒区域选择控件，所述用户界面有毒区域选择控件能够操作以允许用户与所述可视化交互以便选择有毒区域。

71.根据权利要求70所述的方法，其中所述可视化包括在当前选择的有毒区域上被放大的特写查看窗格。

72.根据权利要求70或71所述的方法，其中所述有毒区域选择控件具有用于按照排名顺序扫过所述有毒区域的滚动功能。

73.根据从属于权利要求63的权利要求65所述的方法，其中所述可视化包括按照排名顺序呈现的有毒区域的排名列表，每个有毒区域具有所述有毒区域的缩略图图像。

74.根据权利要求65所述的方法，其中所述可视化包括所述有毒区域的图像的马赛克。

75.根据前述权利要求中任一项所述的方法，其中所述阈值能够由用户设置。

76.根据从属于权利要求65的权利要求75所述的方法，其中所述可视化应用具有用户控件，所述用户能够通过所述用户控件来设置所述阈值。

77.根据从属于权利要求58的权利要求65所述的方法，其中所述热图在所述可视化中利用色标或灰度被呈现。

78.根据从属于权利要求58的权利要求65所述的方法，其中所述热图在所述可视化中利用等高线被呈现。

79.根据前述权利要求中任一项所述的方法，其中所述自动编码器通过从所述训练数据集合的所述组织学图像中提取图像图块被训练，其中用于训练的所提取的图像图块的尺寸与已经用所述测试化合物处理过的所述组织样本的所述组织学图像被细分以生成所述毒性图的图像图块的尺寸相同。

80.一种计算机程序产品，承载用于执行根据前述权利要求中任一项所述的方法的机器可读指令。

81.一种用于处理已经用测试化合物处理过的给定组织类型的组织样本的组织学图像的计算机装置，所述装置包括：

输入，能够操作以接收已经用测试化合物处理过的组织样本的组织学图像，所述组织学图像包括二维像素阵列，所述二维像素阵列能够被细分为多个图像图块；

处理模块，加载有用于执行已经利用训练数据集合训练的自动编码器的机器可读指令，所述训练数据集合包括尚未用所述测试化合物处理的所述给定组织类型的组织样本的多个组织学图像，所述处理模块被配置为：

将所述自动编码器在逐图块基础上应用于所述组织学图像以：

a.从所述组织学图像中提取图像图块；

b.将所述图像图块输入到所述自动编码器；

c.接收对应图像图块作为输出；以及

d.计算输入图像图块与输出图像图块之间的距离；以及

基于计算出的距离生成所述组织学图像的毒性图；以及

输出，能够操作以保存所述毒性图。

82.根据权利要求81所述的装置，还包括：

可视化应用，能够操作以在考虑到组织学图像的毒性图的情况下创建所述组织学图像的可视化；以及

显示器，被配置为从所述可视化应用接收可视化。

83.一种系统，包括：

根据权利要求81或82所述的计算机装置；

数据储存库，被配置为存储包括具有相关毒性图的组织学图像的患者数据记录；以及

网络连接，支持患者数据记录或其部分在所述计算机装置与所述数据储存库之间的传输。

84.一种系统，包括：

根据权利要求81或82所述的计算机装置；以及

图像获取装置，能够操作以获取组织学图像。

85.根据权利要求84所述的系统，还包括：

数据储存库，被配置为存储包括具有相关毒性图的组织学图像的患者数据记录；以及

网络连接，支持患者数据记录或其部分在所述计算机装置与所述数据储存库之间的传输。

86.一种用于处理已经用测试化合物处理过的组织样本的组织学图像的计算机自动化方法，所述方法包括：

接收所述组织样本的所述组织学图像，所述组织学图像包括二维像素阵列；

将第一卷积神经网络应用于所述组织学图像以利用到所述组织学图像的所述二维像素阵列的映射来生成具有二维像素阵列的第一输出图像块，所述第一输出图像块是通过将多个相关类中的一个相关类分配给每个像素而生成的，其中所述多个相关类包括表示感兴趣像素的至少一个类和表示不感兴趣像素的至少一个类，其中所述第一卷积神经网络已使用包括组织学图像和病理学家交互数据的训练数据集合被训练，其中所述病理学家交互数据已记录与病理学家如何与组织学图像的可视化进行交互相关的多个参数；

从所述第一输出图像块生成感兴趣区域图，所述感兴趣区域图标识由感兴趣像素占据的感兴趣区域；

将第二卷积神经网络应用于所述组织学图像以利过到所述组织学图像的所述二维像素阵列的映射来生成具有二维像素阵列的第二输出图像块，其中所述第二卷积网络已利用包括尚未用所述测试化合物处理的组织样本的多个组织学图像的训练数据集合被训练；

根据所述映射计算所述第二输出图像块与所述组织学图像的对应部分之间的距离；

基于计算出的距离生成所述组织学图像的毒性图；

分析所述感兴趣区域图和所述毒性图以标识出现在所述感兴趣区域图和所述毒性图两者中的所述组织学图像的区域；以及

增加出现在所述感兴趣区域图和所述毒性图两者中的所述组织学图像的每个区域的毒性置信度得分。

Images