CN109791693A - 用于提供可视化全切片图像分析的数字病理学系统及相关工作流程 - Google Patents

Abstract

一种数字病理学系统和相关方法及计算机程序产品，提供了对整个组织切片的定量分析以及对该整个组织切片的相关区域中的生物标记表达的直观、有效、快速和精确的量化。该数字病理系统实现了一种新颖的工作流程，其允许用户有效地勾画出整个临床相关形态，包括实体肿瘤区域。然后在几秒钟内有效且直观地向用户提供对所有组织内容物(即，数百万个细胞)的定量分析结果。通过计算和存储图像分析结果以供以后检索的预计算步骤，这种效率成为可能。有效地可视化大量数据是系统的另一个组成部分，其为用户提供关于生物标记表达水平的信息和置信度。

Description

用于提供可视化全切片图像分析的数字病理学系统及相关工 作流程

技术领域

本发明总体上涉及一种数字病理学系统，其托管用于提供对全切片图像的定量分析及其直观可视化的工作流程。更具体地，本工作流程提供对生物标记表达的精确量化，以帮助体外诊断。

背景技术

数字病理学设备通常用于产生显微镜切片的数字图像。病理学家和组织学家通常在视觉上检查数字图像，以获得关于组织样本的信息，并且确定最合适的治疗以改进临床结果。

当前的数字病理学图像分析系统越来越多地被期望分析组织切片或“虚拟切片”的大量高分辨率数字图像。事实证明，数字图像分析是计算密集型的，需要大量的存储空间，并且降低了实时诊断和交互执行的能力。

另外，常规的数字病理学系统通常分析数字切片的一个或多个小区域，通常称为视场(FOV)。数字切片的这种分割迫使用户或病理学家通过仔细选择那些更有可能代表附着在切片上的整个组织的信息的FOV，在接近正确的解决方案方面做出大量的脑力劳动。

尽管它们具有潜在的优点，但是目前的数字病理学系统在提供对整个组织切片的快速/实时的定量分析及其直观可视化方面还没有达到期望效率。

例如，处理能力有限的常规数字成像系统将每个视场的大小限制为大约1,000到2,500个像素，整个切片图像的一小部分可以包含例如60,000到110,000个像素并且占用例如0.5GB到1.5GB的存储器空间。

发明内容

预计全切片图像分析将广泛应用于自动图像分析，用于治疗、预后或诊断决策支持。因此，本公开文本描述了一种在数字病理学系统中使用的高效全切片图像分析工作流程，以执行整个组织切片的定量分析以及直观可视化。

更具体地，本工作流程有效地提供了对生物标记表达的精确、可视量化，以帮助病理学家提供准确的体外诊断。

数字病理学系统提供自动数字切片创建、管理、分析和查看。它可以用于体外诊断，以作为病理学家在基于特定的形态、颜色、强度、大小、模式和形状对临床感兴趣的组织和细胞进行显示、检测、计数、检查和分类时的辅助。

该数字病理学系统的工作流程可以在包含组织样本的整个切片上自动地勾画或使得用户(诸如病理学家)能够有效地勾画出临床相关形态(例如，一个或多个实体肿瘤区域)。然后，可以在几秒钟内有效且直观地向用户提供对整个勾画的临床相关形态(在一些情况下可以包含数千或数百万个细胞)的定量分析结果。此外，本工作流程使得能够有效地可视化大量数据，这显著改善了诊断并且为用户提供了关于生物标记表达水平的信息和置信度。

本工作流程可以驻留在工作流程模块上。它可以在远程或本地病理工作站上执行，并且可以充当与用户的接口。该工作流程可以通过在用户开始分析病例之前准备全切片图像(或多个图像)来开始。为此，该数字病理学系统可以获取整个切片的扫描数字图像，其可以由用户在各种放大率水平下观察和评估。

在一个实施方案中，用户检查全切片图像并手动分离全切片图像中的相关区域和非相关区域。为此，用户求助于数字病理学系统来手动选择一个或多个相关区域，例如，通过使用诸如鼠标的输入设备或者在触敏显示器的情况下使用手指来勾画相关区域。可以在不同的放大率水平下查看每个勾画的相关区域。选定的相关区域在本文中也称为“全肿瘤区域”或“临床相关形态”，以表示在选定的相关区域内包括整个肿瘤区域以及可选的周围感兴趣区域的能力。

应清楚的是，用户不再受用于限定并选择组织样本中的相关感兴趣区域的特定几何形状(诸如矩形)的限制。相反，本数字病理学系统使得用户能够通过勾画相关区域(诸如通过手动勾画相关感兴趣区域周围的边界)来执行对组织样本中较大的相关区域的徒手选择。

还应理解，可以使用其他手动选择方法。作为一个示例，用户能够注释全切片数字图像以便指定需要评分的感兴趣区域。可选地，相关区域的选择过程可以由数字病理学系统自动执行。

一旦完成选择相关区域的步骤，用户就调用图像分析模块，该图像分析模块发起对选定的相关区域的图像分析算法。图像分析模块基于细胞检测和分类提供临床得分，例如以阳性免疫细胞百分比得分的形式。在一个实施方案中，临床得分在0至100之间，其中“0”指示不表达一种或多种感兴趣生物标记表达，而“100”指示一种或多种感兴趣生物标记的充分表达。得分结果表示大量的生物信息，诸如诊断结果(阳性/阴性)或告知治疗决定。

可视化模块准备图像分析结果的计算机生成的覆盖，并向用户提供在最初选定的全切片图像的顶层的得分结果的用户友好的视觉呈现，作为密度的表示。覆盖可以表示一个或多个图，诸如热图、位置图、相关图等，并且可以根据应用使用颜色和/或线条来示出信息的变化。

在通过可视化模块检查视觉呈现时，用户可以任选地调用伪影提取模块，以去除非期望的伪影，诸如卷褶、基质分离伪影、斑点、空白区域(即，基本上不存在组织的区域)等。伪影移除可以通过勾画伪影来手动实现，或者通过求助于自动方法来实现，该自动方法检测、可视化伪影区域并将其从视觉渲染中排除。

用户可以进一步可选地调用组织内容提取模块以去除非期望的组织或染色内容，诸如炭末沉着色素、坏死和血管内嗜中性粒细胞等。组织或染色内容的去除可以通过手动勾画感兴趣的区域来实现，或者通过采用组织内容检测和提取的自动化方法来实现。

因此，视觉呈现将表示与用户选择的临床相关区域(诸如实体肿瘤区域)有关的大的、准确的和特定的生物信息，但不包括用户认为无关的数据，诸如坏死以及各种伪影和组织内容。视觉呈现有望帮助合格的病理学家提供更准确的诊断解释。

然后，用户决定是接受视觉呈现还是部分或全部手动覆盖它。如果选择覆盖，则可以选择性地忽略图像分析模块、伪影提取模块和组织内容提取模块中的任何一者或多者的结果，并且使用户能够手动输入他或她从可视化模块提供的视觉呈现的评估中推导出的最终得分。

附图说明

本专利或申请文件含有至少一个彩制附图。本专利或专利申请出版物的彩色附图副本将由官方应要求提供，并需支付必要的费用。

将参考具体实施方式、权利要求和附图更详细地描述本发明的各种特征以及实现它们的方式，其中：

图1示出了根据本发明的一个实施方案的示例性基于计算机的数字病理学系统，其在网络环境中操作并托管驻留在工作流程模块上的工作流程，用于提供对全切片图像的视觉定量分析以及生物标记表达的量化的直观可视化；

图2是图1的工作流程模块的示例性概述框图；

图3是根据本发明的一个实施方案的示例性高级流程图，其示出了图1和2的工作流程模块的整体操作，用于使得用户能够有效地勾画全切片图像中的包括所有实体肿瘤区域的临床相关形态；

图4包括图4A和4B，并且表示根据本发明的替代实施方案的图1和图2的工作流程模块的整体操作的示例性流程图；

图5示出了由形成图1的数字病理学系统的一部分的扫描仪生成的示例性全切片图像；

图6至图9是图5中所示的全切片图像的示例性屏幕截图，其在调用图1和图2的工作流程模块之前使用不同的放大率来示出观看环境；

图10是一个屏幕截图，示出了由用户添加的示例性注释，用于捕获图6至图9的全切片图像内的临床相关形态或相关区域，为调用图1和图2的工作流程模块做准备；

图11是示出由图1和图2的工作流程模块执行的分析的视觉呈现的示例性屏幕截图，其为用户提供覆盖，该覆盖帮助用户理解低放大率下的全切片图案以及理解高放大率下的单独细胞结果，并进一步向用户提供图10的相关区域的定量得分图案；

图12至图14是示例性屏幕截图，示出了由工作流模块提供给用户的在图11的视觉呈现和图10的注释视图之间以不同的放大率级别切换的能力，以便为用户提供比较视图和更好地评估由图1和图2的工作流程模块提供的分析的能力；

图15是示出在图11的视觉呈现内的指定临床相关形态的高放大率视图的示例性屏幕截图，其中覆盖中的各个点标记各个分类细胞，从而使得用户能够以低放大率理解全切片图案并以高放大率理解单独细胞单元结果以便进行非常精细的比较；

图16是与图15相同的临床相关形态的示例性屏幕截图，其中覆盖被切换为关闭，以允许更好地理解图1和图2的工作流模块的视觉呈现；

图17是图11的分析呈现的示例性屏幕截图，为用户提供接受、覆盖或修改图1和图2的工作流程模块的得分评估的能力；

图18是可视化肿瘤示例性样本中的生物标记表达的H&E(A)和PD-L1(B)屏幕截图图像的示例性并排比较视图，其中图像(B)示出了PD-L1膀胱上的覆盖，其中阳性区域用彩色点表示；

图19和20是在2X放大率水平(图19)和10X放大率水平(图20)下的示例性彩色覆盖的示例性屏幕截图；并且

图21至26示出了本发明的全切片热图可视化过程的示例性视图。

应当明白，为了说明的简单和清楚起见，可以在附图中重复使用附图标记来指示对应或类似的特征。

具体实施方式

图1示出了根据本发明的一个实施方案的基于计算机的数字病理学系统100，其在网络环境中操作，用于提供对全切片图像的视觉定量分析以及生物标记表达的量化的直观可视化。数字病理学系统100通过网络130与多个客户端计算机系统(或用户站)140、142对接。

数字病理学系统100可以包括染色机110、扫描仪111、工作流程模块200和处理器或计算机125等。客户端计算机系统140、142的用户(诸如病理学家、组织学家或类似专业人员)可能能够实时地远程或在本地访问、查看扫描仪111和工作流程模块200的输出，并与该输出交互。可选地，可以在联网数据库150上存储和访问这些输出。

如图2中进一步详述，工作流程模块200通常可以包括图像分析模块210、可视化模块220、伪影提取模块230和组织内容提取模块240，它们的操作将更详细地描述。

工作流程模块200可以托管在处理器125上执行的以及在一个或多个用户站140、142上执行的工作流程300(图3)。工作流程300在步骤305处开始于根据适当的测定指南制备数字病理学切片(或多个切片)，包括对组织样本染色。在一种示例性实现方式中，通过使用文塔纳医疗系统公司开发的PD-L1(SP142)测定法，获取一个或多个显微镜切片的图像，所述玻片包含已经使用例如免疫组织化学(IHC)染色的组织切片(例如福尔马林固定的石蜡包埋的(FFPE)组织切片)，以检测PD-L1蛋白的存在。IHC切片可以例如在BenchMarkULTRA染色机110上染色，该染色机也是文塔纳医疗系统公司的产品。除了IHC载玻片之外，在一些实施方案中，可以获取包含同一组织块的相邻组织切片的载玻片的附加数字图像，并且可以用其他IHC染色剂、苏木精和曙红(H&E)染色剂或者使用其他类型的染色技术来染色。

在步骤310处，扫描仪111在用户开始分析病例之前获取样本组织的全切片图像(或多个图像)500(图5)。用户可以在各种放大水平下查看和评估扫描的数字图像500。例如，可以将切片装载到VENTANA iScan HT全切片扫描仪111中，该扫描仪可以在单色或多色通道中生成样本的数字图像500。该数字图像500可以存储在例如数据库150中。批量对照也可以扫描并可供检查。

在步骤315处，在没有工作流程模块200提供的图像分析的益处的情况下，用户可以检查相关区域(或临床相关形态学)610(图6)的数字图像。图6至图9在调用图1和图2的工作流程模块200之前使用不同放大水平示出了该相关区域610的各种屏幕截图600、700、800、900。当用户检查数字图像600时，他或她将开始制定切片的整体阳性并评估染色细胞的相关性。然后，用户选定(或识别)相关区域，诸如肿瘤区域，并相应地注释全切片图像500。在一些实施方案中，可以在没有用户输入的情况下自动识别相关区域，如本公开文本的其他部分中所描述的。

工作流程模块200的图像分析模块210可以在步骤320处独立地分析整个切片上的内容。在一些实施方案中，分析“整个切片”可以意味着分析包含至少一些组织的切片的所有区域。即，在一些实施方案中，分析整个切片可以包括自动检测全切片图像内不包含组织(即，没有生物材料)的区域，从分析中排除此类区域，并且仅分析包含至少一些组织的那些区域。

图像分析模块210可以基于细胞检测和分类以阳性免疫细胞百分比得分的形式提供初始临床得分。在优选实施方案中，临床得分在0至100之间，其中“0”指示不表达一种或多种感兴趣生物标记表达，而“100”指示一种或多种感兴趣生物标记的充分表达。得分结果代表了大量的生物信息，诸如细胞类型、位置、密度、形成等。

如稍后将结合图21至图26更详细地解释，可视化模块220准备图像分析结果的计算机生成的覆盖，并向用户提供在最初选定的全切片图像上的得分结果的用户友好的视觉呈现(或覆盖)1100(图11)，作为选定的临床相关形态中的生物标记表达密度的表示。覆盖可以表示一个或多个图，诸如热图、位置图、相关图等，并且可以根据应用来示出信息的变化。更具体地，工作流程模块200提供对整个组织切片的定量分析及其直观可视化，包括生物标记表达的精确的可视化量化。

通常在图像被扫描并可用于图像分析模块210之后，图像分析模块210立即离线分析整个载玻片。该分析可以包括确定切片内的所有感兴趣对象(例如，细胞)的位置、对它们进行分类(即，确定它们的类型)，以及在数据库150中存储位置和分类数据以及与感兴趣对象相关的任何其他信息。

取决于整个切片的大小、其包含的信息量以及分析模块210的处理能力，对整个切片的上述分析可能花费大量时间，有时长达10分钟或更长。因此，“离线”地进行该分析(即，在扫描切片图像时并且在用户请求切片之前开始分析)可以使得分析在用户首次访问分析以供检查和注释时完成。图像分析模块210预期用户与所得分析的交互，诸如通过添加注释，例如，围绕相关临床相关形态1020绘制边界1010(图10)。

因此，当用户开始与所得分析交互时，可以完成所有计算密集的步骤，诸如对细胞定位和分类，其中结果存储在数据库150中，在这种情况下，图像分析模块210可能仅需要从数据库150加载预先计算的信息，并执行量化操作，例如，量化选定的临床相关形态内的某些类型的细胞。此类量化操作可以足够快地执行以向用户提供“实时”体验，其中量化结果在非常短的时间内(例如，在一秒内或在几秒内)变得可见。

在一些实施方案中，作为离线分析的一部分，图像分析模块210还可以生成与不同类型的所识别的对象(例如，细胞)相对应的一个或多个全切片覆盖图像，并将其存储在数据库150中。通过这种方式，当用户选择临床相关形态的区域时，图像分析模块210可以从数据库150加载预先生成的覆盖图像，并显示覆盖图像中对应于临床相关形态的所选区域的部分，而不是生成覆盖图像。。

在工作流程300的步骤325处，用户通过例如打开和关闭热图覆盖以及通过以多种放大率比较视觉呈现1100的整个切片得分，将带注释的全切片图像500(步骤315)与经评分的视觉呈现1100(步骤320)进行比较。如图10的屏幕截图1000中所示，用户然后在视觉呈现1000上注释相关感兴趣区域1020，诸如通过在相关区域1020(例如，实体肿瘤区域和周围区域)周围绘制轮廓1010。

轮廓1010表示对工作流程模块200的指令，以排他性地将分析限制到轮廓1010内的相关区域1020。因为工作流程300需要对整个肿瘤水平进行评估，所以绘制用户的注释以捕获所有相关或可疑的肿瘤区域。用户可能需要返回参考阴性对照或H&E以便继续完善他或她对轮廓1010中包含的相关区域的理解。如果某些区域与全切片得分无关，诸如大面积坏死，则用户可以注释呈现1000，或者可选地使用一个或多个排除视场以从分析中去除那些不相关的区域。可选地，可以重绘原始轮廓1010。

在步骤330处，用户调用嵌入在工作流程模块200的图像分析模块210上的图像分析算法，并将用户注释1010转发到该图像分析模块，以便指示图像分析模块210和可视化模块220将分析和呈现排他性地限制于带注释的相关区域1020，因此最小化处理和呈现时间并加快分析过程。

在步骤335，工作流模块200通过生成两条主要信息来响应用户的调用，以供用户对照相关区域610(图6)的数字图像呈现进行查看。第一条信息包括覆盖1120(图11)，其中工作流程模块200示出了阳性PD-L1免疫细胞的位置。该数据基于单细胞分类水平，因此当任何特定区域具有高密度的阳性IC时，颜色合并以形成在低放大率下可视化的区域。当用户以较高放大率查看注释覆盖1120时，单独的点标记单独分类的细胞，使用户能够在低放大率下理解全切片图案，并且还能够在高放大率下理解单独细胞结果，以便进行非常精细的比较。

如在图12的屏幕截图1200中进一步所示，该注释覆盖1120可以打开和关闭，允许用户将没有图像分析的数字图像呈现1200与包含本发明的图像分析的数字图像呈现1100进行低和高放大率水平下的比较。分别参考图13和图14的屏幕截图1300、1400。这允许用户在高放大率下理解工作流程模块200如何对细胞进行分类以及在低放大率下理解染色的整体模式。

由工作流程模块200提供的第二条信息使得用户能够将图像分析结果与整体切片度量(或得分)1130(在图11的屏幕截图1100的左边缘中示出)进行比较。图像分析模块210生成总体定量得分，其是阳性免疫细胞面积与总相关肿瘤面积的累积比例并且表示为百分比。该计算是与用于执行测定的过程相同的过程。另外，图像分析模块210还指示两个其他度量，包括阳性免疫细胞的总数和总肿瘤面积。基于淋巴细胞的平均大小以及其他相关免疫细胞度量(即，巨噬细胞)，将免疫细胞计数转换为面积概念。

参考图15的屏幕截图1500，当用户以更高放大率查看图11的注释覆盖1120时，单独的点1555标记单独分类的细胞，使用户能够在低放大率下理解全切片图案，并且还能够在高放大率下理解单独细胞结果，以便进行非常精细的比较。

如在图16的屏幕截图1600中进一步所示，包括单独的点1555的注释覆盖1120可以打开和关闭，允许用户将没有图像分析的数字图像呈现1200与包含本发明的图像分析的数字图像呈现1100进行低和高放大率水平下的比较。这使得用户能够在较高放大水平下理解图像分析模块210如何对细胞进行分类以及在较低放大水平下理解染色的整体模式。

在步骤340处，在上述用户比较检查之后，用户在步骤335处确定是否接受由工作流程模块200生成的结果，或者是否手动修正或覆盖这些结果。

如果用户选择并实际执行覆盖或修订，则工作流程300前进到步骤325，并继续迭代用户输入直到用户对最终数字呈现完全满意为止。然后，专业从业者可以将最终数字呈现用于预期目的。然后，用户将退出该病例，并且由工作流程模块200提供的选定结果被合并到报告中。

图18是可视化肿瘤示例性样本中的生物标记表达的H&E(A)和PD-L1(B)屏幕截图图像1800(A)和1800(B)的示例性并排比较视图，其中图像(B)示出了PD-L1膀胱上的覆盖，其中阳性区域用彩色点表示。

图19和图20分别是在2X放大率水平(图19)和10X放大率水平(图20)下的示例性彩色覆盖的示例性屏幕截图1900、2000。

现在考虑图4，根据本发明的另一个实施方案，它包括图4A和4B并且表示托管在图1和2的工作流程模块200上的工作流程400。类似于步骤305，工作流程400在步骤405处开始于根据适当的测定指南制备数字病理学切片(或多个切片)，包括对组织样本染色。

在步骤410处并且类似于步骤310，扫描仪111在用户开始分析病例之前获取样本组织的全切片图像(或多个图像)500(图5)。用户可以在各种放大水平下查看和评估扫描的数字图像500。可以在数据库150上存储和访问数字图像500。批量对照也被扫描并可供检查。

在步骤415处，用户登录到数字病理学系统100并检查存储的对照图像。另外，在步骤420处，用户在没有工作流程模块200提供的图像分析的益处的情况下检查染色切片的数字图像500。

在步骤425处，用户将全切片数字图像500中的相关区域与非相关区域分离。为此，用户使用数字病理学系统100通过例如勾画相关区域来手动选择感兴趣的相关区域。可以选择性地以不同的放大水平观察每个相关区域。

应清楚的是，用户不再受用于限定并选择组织样本中的相关感兴趣区域的特定几何形状(诸如矩形)的限制。相反，本数字病理学系统使得用户能够通过勾画这些相关区域(诸如通过手动绘制相关感兴趣区域1020周围的边界1010)来执行对组织样本中较大的相关区域的徒手选择，如早先结合图10所解释的。

还应理解，可以使用其他手动选择方法。作为一个示例，用户能够注释全切片数字图像以便指定需要评分的感兴趣区域。可选地，相关区域的选择过程可以由数字病理学系统100自动执行。例如，数字病理学系统100可以自动检测全切片数字图像内包含肿瘤的一个或多个区域(例如，基于任何已知的机器学习或深度学习技术，诸如使用被训练用于检测肿瘤区域的神经网络)并将此类区域指定为相关区域。

一旦在步骤420处完成对相关区域的选择，工作流程400就前进到步骤430，以使得用户能够调用工作流程模块200的图像分析模块210，以便启动所选相关区域1010的图像分析算法。图像分析模块210基于细胞检测和分类以阳性免疫细胞百分比得分的形式提供临床得分(在0至100之间的范围)。得分结果代表了大量的生物信息，诸如细胞类型、位置、密度、形成等。

在图4B的步骤435处，可视化模块220对用户的指令做出响应，并准备图像分析结果的计算机生成的覆盖1120(图11)，并向用户提供对在最初选定的全切片图像上的得分结果的用户友好的视觉呈现1100来作为密度的表示。覆盖可以表示一个或多个图，诸如热图、位置图、相关图等，并且可以根据应用来示出信息的变化，如早先结合步骤335所解释。

在步骤440处，用户根据需要验证得到的得分并注释视觉呈现1100。

在步骤445处，用户调用伪影提取模块230(图2)，其使得用户能够选择非期望的图像伪影，诸如卷褶、基质分离伪影、斑点等。为此，用户可以通过手动勾画非期望的伪影(或伪影区域)或者通过实现检测、可视化这些非期望的伪影的自动化方法来执行选择。然后，伪影提取模块230从图像分析模块210和可视化模块220的所得图像分析和可视化中排除非期望的伪影。

在步骤450处，用户调用组织内容提取模块240(图2)，其使得能够去除非期望的组织和染色内容，诸如炭末沉着色素、坏死和血管内嗜中性粒细胞等。为此，用户可以通过手动勾画非期望内容区域或者通过实现检测、可视化这些非期望内容区域的自动化方法来执行选择。然后，组织内容提取模块240从图像分析模块210和可视化模块220的所得图像分析和可视化中排除非期望的伪影。

在判定步骤455处，用户确定是否接受由工作流程模块200生成的评分结果。如果接受评分结果，则工作流程模块200在步骤460处确定最终数字呈现。然后，用户将退出该病例，并且由工作流程模块200提供的选定结果被合并到报告中。

然而，如果用户在步骤455处选择对评分结果的覆盖或修正，则工作流程400前进到步骤465，并输入修正后的得分。工作流程模块200继续迭代用户输入，直到用户对最终数字呈现完全满意为止。然后确定最终的数字呈现，并且在步骤460处将工作流程模块200提供的最终结果合并到报告中。然后，用户将退出该病例，并且该报告可供专业从业者用于预期目的。

应清楚的是，本发明不限于对一种类型细胞的检测和可视化，而是可以分析包含各种类型细胞的整个肿瘤区域。每种类型的细胞可以用不同的颜色可视化。

现在将结合图21至26更详细地描述本发明的全切片热图可视化过程。总的来说，全切片热图覆盖是一种可视化数字病理图像的方法，用于显示生物标记表达密度或聚集程度较高的区域。热图可视化过程为用户提供了在低图像放大率(例如，4X)下独立于缩放因子在视觉上感知生物标记表达的密度的能力。以低放大率生成全切片热图以指示来自全切片图像的细胞检测结果的密度。颜色梯度用于指示密度越来越高的区域，其中每个细胞被分配密度值，并且使用梯度使整个层可视化。离散点的插值创建连续表面，被称为密度表面。影响观察者如何解释数据的最终可视化是主观的。

图21至图24示出了包括临床相关形态(或用户感兴趣的区域)2111的数字病理学图像2100(图21)的例子。图21示出了在低放大率水平下的临床相关形态2111，而图22示出了该临床相关形态2111的高度放大视图。虽然临床相关形态2111被示为具有大致方形形状，但是应理解，用户可以使用规则或不规则的轮廓来选择感兴趣的形态。

嵌入在工作流程模块200的图像分析模块210上的图像分析算法在图22的临床相关形态2111上执行以提供细胞检测结果(或图)2300，其在图23中被示为绿点2323。在获得全切片图像的细胞检测结果后，细胞检测结果用于生成与生物标记表达的密度相对应的全切片热图(或热图覆盖)2400(图24)。图24示出了原始全切片图像2100(图21)上的全切片热图覆盖2400。颜色梯度用于指示密度越来越高的区域。

除了可视化生物标记表达密度的热图概念之外，本发明还描述了能够检测和识别全切片2100内的多种细胞类型的可视化过程。现在，颜色将用于表示细胞类型，诸如肿瘤或免疫细胞，以及它们是否表达某种生物标记，即，阳性或阴性，而不是使用颜色来提供对组织中的生物标记表达的量的指示。

图25、图26示出了膀胱癌和肺癌组织的例子，其中通过本发明的图像分析算法检测，将PD-L1阳性免疫细胞以及PD-L1阳性/阴性肿瘤细胞可视化。在这种情况下，每个细胞类型被分配不同的颜色，并且通过使用颜色强度梯度来可视化每个细胞类型的密度，该颜色强度梯度将较低颜色强度值平滑地分配给更远离相应细胞类型的中心位置的位置。因此，高密度区域将由连续强颜色区域表示，并且混合细胞类型的区域将由新颜色表示，该新颜色由周围区域中的所有不同细胞类型的贡献产生。

图25示出了在PD-L1膀胱切片2500上检测到的阳性免疫细胞2550的例子。这些阳性免疫细胞2550由绿色区域表示。图26示出了PD-L1阳性免疫细胞2650(绿色区域)、PD-L1阳性肿瘤细胞2655(红色区域)和PD-L1阴性免疫细胞2660(蓝色区域)的例子。特定细胞类型的较高密度区域以分组出现，并且混合区域以混合颜色出现。

在本文描述的每个流程图中，一种或多种方法可以被实施在包含计算机可读代码的计算机可读介质中，使得当计算机可读代码在计算装置上执行时一系列步骤被完成。在一些实施方式中，在不脱离本发明的精神和范围的情况下，方法的某些步骤被组合、同时或以不同顺序完成或者可能被省略。因此，虽然以具体顺序描述和展示了方法步骤，但是特定步骤顺序的使用并不意味着暗示对本发明的任何限制。在不脱离本发明的精神或范围的情况下，可以对步骤顺序进行改变。因此，具体顺序的使用不应被视为具有限制意义，并且本发明的范围仅由所附权利要求书限定。

如本领域技术人员将明白的，本发明的各方面可以被实施为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件及硬件方面组合的实施方案的形式，这些方面通常在本文中可以称为“电路”、“模块”或“系统”。另外，本发明的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，该计算机可读介质具有在其上实现的计算机可读程序代码。

还应理解，可以使用软件、固件或硬件的任何组合来实施本发明的实施方案中的过程。作为在软件中实践本发明的准备步骤，编程代码(无论是软件还是固件)通常会存储在一个或多个计算机可读存储介质中，这些计算机可读存储介质例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、设备或装置或者前述各项的任何合适的组合。计算机可读存储介质的更具体例子(非详尽列表)将包括以下项：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各项的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、设备或装置使用或者结合指令执行系统、设备或装置使用的程序的任何有形介质。

包含编程代码的制品通过以下项来使用：直接从存储装置执行代码、或将代码从存储装置复制到另一个存储装置(诸如硬盘、RAM等)、或传输代码以供使用传输类型介质(诸如数字和模拟通信链路)的远程执行之用。可以通过将包含根据本发明的代码的一个或多个机器可读存储装置与适当的处理硬件组合以执行其中包含的代码来实践本发明的方法。用于实践本发明的设备可以是一个或多个处理装置和存储系统，其包含或具有对根据本发明编码的程序的网络访问。

计算机可读信号介质可以包括其中实施了计算机可读程序代码的传播数据信号，例如在基带中或作为载波的部分。这种传播信号可以采取各种形式中的任何一种形式，包括(但不限于)电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且可以通信、传播或传输程序，以供指令执行系统、设备或装置使用或与指令执行系统、设备或装置结合使用。

计算机可读介质上包括的程序代码可以使用任何适当的介质传输，该介质包括但不限于无线、有线、光纤电缆、射频等或前述各项的任何合适的组合。用于执行本发明的各方面的操作的计算机程序代码可以一种或多种编程语言(包括诸如Java、Smalltalk、C++等面向对象的编程语言)与常规的程序化编程语言(诸如“C”编程语言或类似编程语言)的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上执行作为独立的软件包、部分在用户的计算机且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以(例如，通过使用互联网服务供应商的因特网)连接到外部计算机。

因此，重要的是，虽然在具有安装(或执行)的软件的全功能计算机(服务器)系统的背景中描述了本发明的展示性实施方案，但是本领域技术人员将会明白的是，本发明的展示性实施方案的软件方面能够以各种形式作为程序产品分发，并且本发明的展示性实施方案同样适用，而与用于实际执行分发的特定类型的介质无关。

另外，虽然已经参考示例性实施方案描述了本发明，但是本领域技术人员将会理解的是，在不脱离本发明的范围的情况下，可进行各种改变并且可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使具体的系统、装置或其部件适应本发明的教导。因此，意图是本发明不限于为实现本发明而公开的具体实施方案，而是本发明将包括落入所附权利要求书范围内的所有实施方案。

如本文所用，除非在上下文另外明确指出，否则单数形式“一”、“一个”和“该/所述”也旨在包括复数形式。应进一步理解的是，说明书中所用的术语“包括”和/或“包含”指定存在所述特征、整体、步骤、操作、元件和/或部件，但并不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。另外，术语第一、第二等的使用不表示任何顺序或重要性，而是术语第一、第二等用于将一个元件与另一个元件区分开。另外，本文和所附权利要求中出于描述目的使用诸如“a”、“b”、“c”、“第一”、“第二”和“第三”等列举术语，并且这些术语不意图指示或暗示相对重要性或意义。

下面的权利要求书中所有方法或步骤及功能元件的对应结构、材料、作用和等效物意图包括用于结合具体要求的其他所要求的元件来实现该功能的任何结构、材料或作用。本发明的描述已经出于说明和描述的目的被呈现，但并不意图是详尽的或将本发明限于所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。所选和所述的实施方案用于最好地解释本发明的原理及实践应用，同时让本领域其他普通技术人员理解本发明的多种实施方案，这些实施方案可针对特定的目标用途做出各种修改。

Claims (22)

1.一种数字病理学系统，其托管用于提供对整个组织切片和该整个组织切片内包含的临床相关形态中的生物标记表达的定量分析的工作流程，该工作流程包括：

图像分析模块，其生成对该整个组织切片的图像分析以准备供用户访问；

可视化模块，其使得用户能够选择该临床相关形态的一部分或整体中的任一者；并且

其中，响应于用户对该临床相关形态的选择，该可视化模块将该图像分析排他性地限制于该选定的临床相关形态，并生成包括该选定的临床相关形态中的一组可量化得分的视觉覆盖，作为该选定的临床相关形态中的该生物标记表达的表示。

2.权利要求1的数字病理学系统，其中该组可量化得分是该选定的临床相关形态中的该生物标记表达密度的表示。

3.权利要求1或2的数字病理学系统，其中该临床相关形态包括至少一个肿瘤区域。

4.权利要求1或2的数字病理学系统，其中该临床相关形态包括多个不同的实体肿瘤区域。

5.权利要求1至4中任一项的数字病理学系统，其中该视觉覆盖表示覆盖图。

6.权利要求5的数字病理学系统，其中该覆盖图包括热图、位置图和相关图中的至少一者。

7.权利要求1至6中任一项的数字病理学系统，其中该图像分析模块接受用户输入；并且

该可视化模块相应地修正该视觉覆盖。

8.权利要求1至7中任一项的数字病理学系统，其进一步包括扫描仪；

其中该扫描仪扫描整个组织切片以生成该整个组织切片的扫描图像；并且

其中该图像分析模块在生成该扫描图像之后的预定时间内并在该用户选择该临床相关形态之前生成该图像分析。

9.权利要求8的数字病理学系统，其中生成该图像分析包括确定该整个组织切片的该扫描图像内的多个细胞的位置和类型。

10.权利要求9的数字病理学系统，其中该数字病理学系统进一步包括数据库，并且其中该图像分析模块在该用户选择该临床相关形态之后将所确定的该多个细胞的位置和类型存储在该数据库中以供访问。

11.权利要求9的数字病理学系统，其中生成该图像分析进一步包括基于所确定的该多个细胞的位置和类型生成至少一个覆盖图像，并存储该至少一个覆盖图像。

12.权利要求1至11中任一项的数字病理学系统，其进一步包括伪影提取模块，其使得该用户能够选择非期望的图像伪影以从该可视化模块的该分析中排除，其中该非期望的图像伪影包括卷褶、基质分离伪影和斑点中的至少一者。

13.权利要求11的数字病理学系统，其进一步包括组织内容提取模块，其使得该用户能够选择非期望的组织和染色内容，以将其从该可视化模块的分析中排除。

14.权利要求13的数字病理学系统，其中该非期望的组织和染色内容至少包括炭末沉着色素、坏死和血管内嗜中性粒细胞。

15.一种数字病理学方法，用于提供对整个组织切片和该整个组织切片内包含的临床相关形态中的生物标记表达的定量分析，该方法包括：

生成对该整个组织切片的图像分析以准备供用户访问；

自动选择或使得用户能够选择该临床相关形态；

对该选定的临床相关形态执行图像分析，其中该图像分析基本上限制于该选定的临床相关形态；以及

生成包括该选定的临床相关形态中的一组可量化得分的视觉覆盖，作为该选定的临床相关形态中的该生物标记表达的表示。

16.权利要求15的数字病理学方法，其中该组可量化得分是该选定的临床相关形态中的该生物标记表达密度的表示。

17.权利要求15或16的数字病理学方法，其中该临床相关形态包括至少一个肿瘤区域。

18.权利要求15至17中任一项的数字病理学方法，其中自动选择该临床相关形态包括通过被训练用于检测肿瘤区域的神经网络来处理该整个组织切片。

19.权利要求15至18中任一项的数字病理学方法，其中该视觉覆盖表示覆盖图。

20.权利要求19的数字病理学方法，其中该覆盖图包括热图、位置图或相关图中的任一者。

21.权利要求15至20中任一项的数字病理学方法，其进一步包括接受用户输入；以及

相应地修正该视觉覆盖。

22.一种位于处理器可读介质上的计算机程序产品，用于提供对整个组织切片和该整个组织切片内包含的临床相关形态中的生物标记表达的定量分析，该计算机程序产品包括处理器可执行指令代码并包括：

第一组指令代码，其用于生成对该整个组织切片的图像分析以准备供用户访问；

第二组指令代码，其用于使得用户能够选择该临床相关形态的一部分或整体中的任一者；以及

其中，响应于用户对该临床相关形态的选择，第三组指令代码用于将该图像分析排他性地限制于该选定的临床相关形态，并用于生成包括该选定的临床相关形态中的一组可量化得分的视觉覆盖，作为该选定的临床相关形态中的该生物标记表达的表示。