CN112639994A - 上下文自适应数字病理界面 - Google Patents

Abstract

本公开提供一种用于图像可视化系统(120)的方法、系统和计算机程序产品，所述图像可视化系统包括上下文自适应数字病理界面。获得针对一种或多种生物标志物的存在而染色的生物学样品的至少一个图像(300)。所述图像以第一缩放级别显示在显示屏上(310)，其中同时显示用户可选元素的第一子集(320)。作为用户输入的结果，以第二缩放级别显示正在显示的图像(330)，其中用户可选元素的第二子集与所述图像同时显示(340)。所述用户可选元素的第二子集内的一个或多个元素在所述第一缩放级别禁用或隐藏，或者所述用户可选元素的第一子集内的一个或多个元素在所述第二缩放级别禁用或隐藏。

Description

上下文自适应数字病理界面

相关专利申请的交叉引用

本申请要求2018年8月31日提交的美国专利临时申请第62/726,081号的权益，该美国专利临时申请的公开内容全文以引用方式合并于本文以实现所有目的。

背景技术

数字病理学是指在数字环境中对病理信息的管理和解释。扫描设备用于对生物学样品的载片成像，这些载片可能被染色，从而生成数字载片，例如全载片图像。数字病理学软件使得能够在计算机存储设备中存储数字载片，在计算机显示器上对其进行查看，以及将其进行分析以得到病理信息。

发明内容

本公开提供一种图形用户界面，该图形用户界面适于提供针对一种或多种生物标志物的存在而染色的生物学样品的图像的可视化效果，并且适于使得能够基于预设标准满足与否而向用户显示上下文相关元素(例如，分析工具、查看器面板)。在一些实施例中，基于选定的缩放级别或具有特定染色的图像的选择，向用户提供上下文相关元素。据信，通过仅提供那些上下文相关的元素，用户不会面对过多可视化的元素(例如，那些不合适的或那些在给定上下文中无效的元素)，而是可以基于条件状态(例如，选定的缩放级别、选定的图像类型、选定的组织类型、全载片图像相对源自组织微阵列的载片的选择、选定的施用了特定染色的载片(举例而言，H&E)、选定的针对特定生物标志物的存在而染色的载片、选定的使用免疫组织化学而不是原位杂交染色的载片、选定的已应用某些图像分析算法的载片)。进一步相信，仅提供上下文相关的元素使得能够更快且更准确地检查所呈现的图像数据。此外，鉴于显示屏的尺寸和分辨率有限，通常很难一次提供多种可视化效果，或者如果提供多种可视化效果，则它们可能会重叠或妨碍用户查看重要元素。通过仅在给定特定条件(例如，用户选择的特定缩放级别)时显示那些上下文相关的元素，考虑到有限的显示尺寸和分辨率，可以最合适的元素进行优先级排序和可视化。

在一些实施例中，一种计算设备包括显示屏，该计算设备配置为：从通信地联接至计算设备的一个或多个存储器访问针对一种或多种生物标志物(例如HER2、PD-L1等)的存在而染色的生物学样品的至少一个图像；在显示屏上以第一缩放级别显示至少一个图像的第一可视化效果，并且在显示第一可视化效果的同时，在显示屏上显示用户可选元素的第一子集；以及随后在显示屏上以第二缩放级别显示所述至少一个图像的第二可视化效果，其中第二缩放级别大于第一缩放级别，并且在显示第二可视化效果的同时，在显示屏上显示用户可选元素的第二子集，(i)用户可选元素的第二子集内的一个或多个元素在第一缩放级别禁用或隐藏，或者(ii)用户可选元素的第一子集内的一个或多个元素在第二缩放级别禁用或隐藏。

在一些实施例中，第二缩放级别至少满足预定的阈值缩放值。在一些实施例中，用户可选元素的第二子集在第二缩放级别是上下文相关的。在一些实施例中，用户可选元素包括菜单栏工具和上下文菜单项。举例来说，工具和菜单是上下文的。当用户完全“缩小”时，仅启用要在该上下文中使用的相关工具(参见图4A)。当用户放大到指定的缩放级别时(参见图4B)，工具栏中的工具将被启用和/或出现上下文面板。用户现在可以在载片的“放大”上下文中使用这些工具。这样，在第一系列工具或在第二系列工具中可用的工具取决于用户选择的缩放级别，例如，第二缩放级别与第一缩放级别相比，其中第二缩放级别达到或超过用于启用第二系列工具的预定阈值缩放级别。

在一些实施例中，菜单栏工具包括图像注释工具、载片设置工具、载片选择工具、导航工具和查看工具。在一些实施例中，在第二缩放级别启用图像注释工具。在一些实施例中，图像注释工具在第一缩放级别隐藏。在一些实施例中，图像注释工具包括关注区域识别工具、测量工具、标记绘制工具和区域排除工具。

在一些实施例中，计算设备进一步配置为在显示屏上以第二缩放级别显示一个或多个查看器面板，其中用于在第二缩放级别显示的所述一个或多个查看器面板在第一缩放级别禁用或隐藏。在一些实施例中，第一缩放级别为1x缩放级别(即，最低缩放级别，诸如在不放大的情况下扫描的或以其他方式捕获的图像)，并且其中第一可视化效果包括至少一种表示形式，所述至少一种表示形式包括生物学样品的至少一个图像。在一些实施例中，所述至少一种表示形式进一步包括包含识别标记的部分。

在一些实施例中，一种计算设备包括显示屏，该计算设备配置为：从通信地联接至计算设备的一个或多个存储器访问针对一种或多种生物标志物的存在而染色的生物学样品的至少一个图像；在显示屏上以第一缩放级别显示包含所述至少一个图像的至少第一表示形式，并且在显示第一表示形式的同时，在显示屏上显示至少第一查看器面板；随后在显示屏上以第二缩放级别显示至少一个图像的第二表示形式，其中第二缩放级别大于第一缩放级别，并且在显示第二表示形式的同时，在显示屏上显示除第一查看器面板之外的至少一个第二查看器面板，其中至少第二查看器面板在第一缩放级别隐藏而不显示。

在一些实施例中，在显示第二显示面板的同时，第三查看器面板显示在显示屏上，其中第三查看器面板在所述第一缩放级别隐藏而不显示。在一些实施例中，在显示第二显示面板的同时，菜单栏图标在显示屏上启用。在一些实施例中，显示的菜单栏图标选自目标区域识别工具、测量工具、标记绘制工具和区域排除工具。在一些实施例中，所述至少第一表示形式包括：(i)第一部分，其在第一缩放级别包括生物学样品的至少一个图像，以及(ii)第二部分，其包括识别标记。在一些实施例中，识别标记包括生物标志物的识别。

在一些实施例中，一种方法包括：在具有显示屏的计算设备上显示包括经染色生物学样品的至少一个图像的第一可视化效果，其中第一可视化效果在第一条件状态下显示，并且在显示第一可视化效果的同时，在显示屏上显示第一查看器面板或第一系列用户可选元素中的至少一者；以及随后在显示屏上在第二条件状态下显示所述至少一个图像的第二可视化效果，其中第二条件状态推导为用户选择的结果，并且在显示第二可视化效果的同时，在显示屏上显示在第一条件状态下未启用的第二系列用户可选元素或除第一查看器面板之外的第二查看器面板，其中第二查看器面板在第一缩放级别隐藏而不显示。在一些实施例中，第一条件状态为默认状态。在一些实施例中，用户选择为缩放级别，并且其中第二条件为大于默认缩放级别的缩放级别。在一些实施例中，用户选择为图像选择，其中针对第二条件选择的图像包括与第一条件状态的图像不同的染色。

在一些实施例中，一种方法包括：在具有显示屏的计算设备上显示包括经染色生物学样品的至少一个图像的第一可视化效果，其中第一可视化效果以第一缩放级别显示，并且在显示第一可视化效果的同时，在显示屏上显示第一查看器面板或第一系列用户可选元素中的至少一者；以及随后在显示屏上以第二缩放级别显示所述至少一个图像的第二可视化效果，其中第二缩放级别大于第一缩放级别，并且在显示第二可视化效果的同时，在显示屏上显示在第一缩放级别隐藏或未启用的第二系列用户可选元素或除第一查看器面板之外的至少第二查看器面板中的至少一者，其中第二查看器面板在第一缩放级别隐藏而不显示。

在一些实施例中，第一缩放级别为默认缩放级别。在一些实施例中，第二缩放级别为足以分辨细胞簇或足以分辨细胞核的缩放级别。在一些实施例中，第一缩放级别为最低的可用缩放级别，并且第二缩放级别为至少5x。在一些实施例中，第一缩放级别为最低的可用缩放级别，并且第二缩放级别为至少10x。

在一些实施例中，用户可选元素的第二子集在第二缩放级别是上下文相关的。在一些实施例中，用户可选元素包括菜单栏工具和上下文菜单项。在一些实施例中，菜单栏工具包括图像注释工具、载片设置工具、载片选择工具、导航工具和查看工具。在一些实施例中，在第二缩放级别启用图像注释工具。在一些实施例中，图像注释工具在第一缩放级别隐藏。在一些实施例中，图像注释工具包括关注区域识别工具、测量工具、标记绘制工具和区域排除工具。

在一些实施例中，第一可视化效果包括至少一种表示形式，所述至少一种表示形式包括：(i)第一部分，其在所述第一缩放级别包括所述生物学样品的所述至少一个图像，以及(ii)第二部分，其包括识别标记。在一些实施例中，识别标记包括生物标志物的识别。

在一些实施例中，一种非暂时性计算机可读介质存储有指令，当所述指令由计算系统的一个或多个处理器执行时，使计算系统在显示屏上以第一缩放级别显示至少一个图像的第一可视化效果，并且在显示第一表示形式的同时，在显示屏上显示用户可选工具的第一子集；以及随后在显示屏上以第二缩放级别显示所述至少一个图像的第二可视化效果，其中第二缩放级别大于第一缩放级别，并且在显示第二表示形式的同时，在显示屏上显示用户可选元素的第二子集，其中用户可选工具的第二子集内的一个或多个工具在第一缩放级别未启用。

附图说明

参考附图来总体理解本公开的特征。在附图中，相同的附图标记始终用于识别相同的元件。

专利或申请文件含有至少一幅彩色附图。在提出请求并支付必要的费用后，将向专利局提供带有彩色附图的专利或专利申请公布的拷贝。

图1示出根据一些实施例的系统，该系统包括具有一个或多个处理器和扫描设备的计算机，其中该计算机和扫描设备通信地联接(例如通过网络)。

图2A示出根据一些实施例的系统，该系统包括处理子系统、存储子系统、输出设备和输入设备，每个部件通过总线、网络或其他有线或无线互连通信地联接。所述系统还可以包括用于实现远程访问的软件，即客户端门户或客户端接口。

图2B阐述根据一些实施例的通过网络与客户端接口通信地联接的系统的框图。

图3阐述根据一些实施例的提供显示可视化效果的一般步骤的流程图。

图4A示出根据一些实施例的包括可视化效果的查看器窗口，该可视化效果包括在第一缩放级别的多种表示形式。

图4B示出根据一些实施例的包括可视化效果的查看器窗口，该可视化效果包括在第二缩放级别的表示形式，第二缩放级别大于图4A的第一缩放级别。

图4C示出根据一些实施例的包括可视化效果的查看器窗口，该可视化效果包括在第三缩放级别的多种表示形式，第三缩放级别介于图4A的第一缩放级别和图4B第二缩放级别之间。

图5A示出根据一些实施例的用于选择某些查看器面板的下拉菜单，诸如在第一缩放级别(例如，图4A中的缩放级别)可用的那些查看器面板。

图5B示出根据一些实施例的用于选择某些查看器面板的下拉菜单，诸如在第二缩放级别(例如，图4B中的缩放级别)可用的那些查看器面板。

图6A示出根据一些实施例的包括第一可视化效果的查看器窗口，该第一可视化效果包括在第一缩放级别的三种表示形式。

图6B示出根据一些实施例的包括第一可视化效果的查看器窗口，该第一可视化效果包括在第二缩放级别的三种表示形式，第二缩放级别与图6A和图6C中描绘的缩放级别相比为中间缩放级别。

图6C示出根据一些实施例的包括第一可视化效果的查看器窗口，该第一可视化效果包括在第三缩放级别的三种表示形式，该第三缩放级别大于图6A和图6B中的缩放级别。

具体实施方式

还应该理解的是，除非有明显的相反指示，否则在本文主张的包括多个步骤或动作的任何方法中，所述步骤或动作的顺序不必限于所述方法叙述的步骤或动作的顺序。

如本文所使用的，除非另有说明，否则单数术语“一(a/an)”及“该/所述”包括复数个参考物。类似地，除非上下文另外明确指出，否则单词“或”旨在包括“和”。术语“包括”定义为包括性的，以使“包括A或B”表示包括A、B、或A和B。

如在本文的说明书和权利要求书中所使用的，“或”应理解为具有与以上定义的“和/或”相同的含义。例如，当将列表中的项目分开时，“或”或“和/或”应解释为包括性的，即包括多个元素或元素的列表以及可选的其它未列出项目中的至少一个，但也包括多于一个。仅明确指出相反的术语，例如“仅一个”或“恰好一个”，或当在权利要求书中使用时，“由……组成”将指的是仅包括一个或多个元素中的一个元素。通常，当前置有排他性术语诸如“任一”、“一个”、“仅一个”、“正好一个”时，本文中使用的术语“或”仅应解释为表明排他性选择(例如“一个或另一个，但并非两者”)。当在权利要求书中使用时，“基本上由……组成”应具有在专利法领域中所使用的普通含义。

术语“包括”、“包含”、“具有”等可互换使用并且具有相同的含义。类似地，“包括”、“包含”、“具有”等可互换使用并且具有相同的含义。具体而言，每个术语的定义都与普通美国专利法对“包括”的定义一致，因此每个术语都可理解为一个开放性术语，其含义为“至少以下”，并且也可理释为不排除额外的特征、限制、方面等。因此，例如“具有组件a、b和c的装置”是指所述装置至少包括组件a、b和c。同样，短语：“涉及步骤a、b和c的方法”是指所述方法至少包括步骤a、b和c。此外，尽管本文可以特定的顺序概述步骤和过程，但是本领域技术人员将认识到，所述顺序步骤和过程可能会有所不同。

如本文在说明书和权利要求书中所使用的，在提及一个或多个元素的列表时，短语“至少一个”应理解为指从该元素的列表中的任何一个或多个元素中选择的至少一个元素，但不一定包括元素的列表中具体列出的每个元素中的至少一个，并且不排除元素的列表中元素的任何组合。该定义还允许除了短语“至少一个”所指代的元素列表中具体识别的元素之外，可以可选地存在别的元素，无论与那些具体识别的元素有关还是无关。因此，作为一个非限制性实例，“A和B中的至少一个”(或者等效地，“A或B中的至少一个”，或者等效地，“A和/或B中的至少一个”)在一个实施例中可以指至少一个任选地包括一个以上的A，但没有B(以及任选地包括B以外的元素)；在一些实施例中，指至少一个任选地包括一个以上的B，但没有A(以及任选地包括A以外的元素)；在一些实施例中，指至少一个任选地包括一个以上的A，以及至少一个任选地包括一个以上的B(以及任选地包括其他元素)等。

如本文所用，术语“图像数据”涵盖从生物组织样品采集的原始图像数据，例如通过光学传感器或传感器阵列，或预处理的图像数据。特别地，所述图像数据可以包括像素矩阵。

如本文所用，术语“图像”、“图像扫描”或“扫描的图像”涵盖从生物组织样品采集的原始图像数据，例如通过光学传感器或传感器阵列，或预处理的图像数据。特别地，所述图像数据可以包括像素矩阵。

如本文所用，术语“生物学样品”、“组织样品”、“标本”或类似的术语是指从包括病毒在内的任何生物体中获得的包括生物分子(例如蛋白质、肽、核酸、脂质、碳水化合物或其组合)在内的任何样品。其他生物体的实例包括哺乳动物(例如人类；兽类动物，如猫、狗、马、牛和猪；以及实验室动物，如小鼠、大鼠和灵长类动物)、昆虫、环节动物、蛛形纲动物、有袋类动物、爬行类动物、两栖类动物、细菌和真菌。生物学样品包括组织样品(例如组织切片和组织的穿刺活检)、细胞样品(例如细胞学涂片，如子宫颈涂片或血液涂片或通过显微解剖获得)，或细胞级分、碎片或细胞器(例如通过裂解细胞并通过离心或其他方式分离其组分获得)。生物学样品的其他实例包括血液、血清、尿液、精液、粪便、脑脊液、间质液、粘液、眼泪、汗液、脓液、活检组织(例如，通过手术活检或穿刺活检获得)、乳头抽吸物、耵聍、乳汁、阴道分泌物、唾液、拭子(例如口腔拭子)、或任何含有生物分子且从第一生物学样品导出的材料。在某一些实施例中，本文使用的术语“生物学样品”是指从受试者获得的肿瘤或其一部分制备的样品(例如经均质或液化处理的样品)。

如本文所用，术语“载片”是指任何合适尺寸的、可将生物学标本置于上面进行分析的任何基质(例如，全部或部分由玻璃、石英、塑料、硅等制成的基质)，更特别地是指标准3x 1英寸显微镜载片或标准75mm x25mm显微镜载片等“显微镜载片”。可以置于载片上的生物学标本的实例包括但不限于细胞学涂片、薄的组织切片(例如来自活检)和生物标本阵列，例如组织阵列、细胞阵列、DNA阵列、RNA阵列、蛋白质阵列或其任何组合。因此，在一些实施例中，将组织切片、DNA样品、RNA样品和/或蛋白质置于载片的特定位置上。在一些实施例中，术语“载片”可指SELDI和MALDI芯片，以及硅片。

如本文所用，术语“染色剂”、“染色”或类似的术语通常是指对生物学标本的任何处理，所述处理检测和/或区分生物学标本中特定分子(例如脂质、蛋白质或核酸)或特定结构(例如正常或恶性细胞、细胞质、细胞核、高尔基氏体或细胞骨架)的存在、位置和/或量(例如浓度)。例如，染色可以将生物学标本的特定分子或特定细胞结构与周围部分进行比对，并且染色的强度可以测定所述标本中特定分子的量。染色不仅可以和明视野显微镜一起使用，而且还可以和相衬显微镜、电子显微镜和荧光显微镜等其他观察工具一起使用，以用于辅助观察分子、细胞结构和生物体。一些由系统进行的染色可以让细胞的轮廓清晰可视。由所述系统进行的其他染色可依赖于染色的且不对其他细胞组分染色或对其他细胞组分相对极少染色的特定细胞组分(例如分子或结构)。由所述系统进行的各类染色方法的实例包括但不限于，组织化学方法、免疫组化方法和基于核酸分子间的杂交反应等分子间反应(包括非共价结合相互作用)的其他方法。特定的染色方法包括但不限于，初级染色方法(如H&E染色、子宫颈染色等)、酶联免疫组化方法，以及原位RNA和DNA杂交方法，例如荧光原位杂交(FISH)。

如本文所使用的，术语“用户界面”指允许用户(例如终端用户，诸如组织学家和/或病理学家)输入命令和数据并接收结果的界面，例如图形用户界面(GUI)。术语“用户界面”和“图形用户界面”在本文可互换使用。

如本文中进一步详细描述的，本公开涉及一种图形用户界面，其允许用户查看和/或分析针对一种或多种生物标志物的存在而染色的生物学样品的一个或多个图像，从而在上下文基础上向用户提供某些元素的可视化效果及/或某些分析和/或处理工具的可用性。在一些实施例中，图形用户界面适于基于预设条件满足与否来提供上下文相关的可视化效果和元素以供选择。在一些实施例中，预设条件是用户做出的选择。例如，选择可以是由用户选择的缩放级别或放大级别，其中不同的缩放级别或放大级别选择使图形用户界面自适应地生成某些可视化效果或启用某些用户可配置项，例如，注释工具、图像处理工具等。在一些实施例中，图形用户界面根据选定的缩放级别来调整向用户提供的可视化效果、分析工具和/或查看器面板(例如用于在显示器上显示)，例如可以以最低的缩放级别(例如，与例如10x、20x或40x光学放大倍数相比，没有光学放大倍数)向用户呈现上下文相关工具的第一子集，而工具的更具包容性的第二子集可以以10x的更大缩放级别呈现给用户，其中第二子集内包含的其他工具又是在10x缩放级别上下文相关的。作为另一示例，选择可以是由用户选择的特定类型的组织(即，组织的图像)或针对特定生物标志物的存在而染色的组织样品的图像。

可以相信，仅通过呈现与预定条件上下文相关的那些可视化效果、分析工具、查看器面板等，所述预定条件例如在选定的缩放级别、选定的组织类型、选定的施用了特定染色的载片、选定的针对特定生物标志物的存在而染色的载片、全载片图像而不是组织微阵列的选择等，用户可能能够更有效地与软件交互。换句话说，由于用户不会受困于在特定缩放级别不相关的众多工具和/或查看器面板的可用性，因此操作者可能能够更有效地与图形用户界面交互，最终可以更快地检查和分析所呈现的组织样品的图像。

在一些实施例中，本公开的系统适于帮助解释和报告从受试者(例如人类患者)获得的图像数据。在一些实施例中，图像数据是从扫描设备(例如，VENTANA DP 200扫描仪，可从Ventana Medical Systems,Inc.,Tucson,AZ获得)获取的，并且图像数据可以存储在数据库中，例如联网的数据库中，以便以后进行可视化和分析。例如，可以使用扫描设备来获取图像数据，并且所扫描的图像数据存储在位于存储子系统104或联网服务器上的文件中，从而可以稍后检索该文件以进行可视化和分析(参见图1)。在一些实施例中，直接在系统上运行软件(例如图像可视化和分析应用)，并且由与该软件交互的用户从联网服务器检索图像数据以进行解释和报告(参见图2A)。在一些实施例中，在远程系统上运行软件(例如图像可视化和分析应用)，并且使用客户端接口或客户端门户访问该系统，从而可以从存储子系统检索图像数据以进行可视化和分析(参见图2B)。

本文提供的系统和方法可以应用于可视化和分析针对一种或多种生物标志物的存在而染色的组织的任何类型的图像。例如，生物学样品可以通过应用一种或多种染色剂进行染色，并且由此产生的图像或图像数据包括对应于一种或多种染色剂中每一者的信号。在一些实施例中，输入图像是仅具有单一染色剂的单纯形图像(如，用3,3'-二氨基联苯胺(DAB)染色)。在一些实施例中，所述生物学样品可以在两种或多种染色剂的多路分析中染色(从而提供多路图像)。在一些实施例中，针对至少两种生物标志物对所述生物学样品进行染色。在一些实施例中，针对至少两种生物标志物的存在对所述生物学样品进行染色，并且还用初染剂(如苏木精)对所述生物学样品进行染色。在一些实施例中，针对至少一种蛋白生物标志物和至少两种核酸生物志记物(如DNA、RNA、microRNA等)的存在对所述生物学样品进行染色。

在一些实施例中，在免疫组化测定中针对一种或多种蛋白生物标志物的存在对所述生物学样品进行染色。例如，可以针对人表皮生长因子受体2蛋白(HER2蛋白)的存在对所述生物学样品进行染色。目前，美国有两种食品和药物管理局(FDA)批准的用于HER2评定的方法。HerceptTest^TM(DAKO,Glostrup Demark)和HER2/neu(4B5)兔单克隆一级抗体(Ventana,Tucson,Arizona)。

在一些实施例中，针对雌激素受体(ER)、孕激素受体(PR)或Ki-67的存在对所述生物学样品进行染色。在其他实施例中，针对EGFR或HER3的存在对所述生物学样品进行染色。Zamay等人，“Current and Prospective Biomarkers of Long Cancer”，Cancers(Basel)，2018年11月；9(11)描述了其他蛋白生物标志物的示例，其公开内容通过引用整体合并于本文。Zamay描述的蛋白生物标志物的实例包括CEACAM、CYFRA21-1、PKLK、VEGF、BRAF和SCC。

在一些实施例中，生物学样品针对一种或多种核酸，包括mRNA的存在在原位杂交(ISH)测定中进行染色。美国专利第7,087,379号(其公开内容通过引用整体合并于本文)描述了用ISH探针对样品进行染色进而可以观察和检测代表单个基因拷贝的单个斑点(或点)的方法。在一些实施例中，通过将细胞或组织样品暴露在多个核酸探针上来同时分析多个靶基因，所述核酸探针已经由多个不同的核酸标签标记。

图1阐述了系统100(计算机或计算设备)，包括通信地联接至处理子系统102的扫描设备110。扫描设备110可以直接(例如通过一个或多个通信电缆)或通过一个或多个有线和/或无线网络130联接至处理子系统102。在一些实施例中，处理子系统102可以包括在或集成在扫描设备110中。在一些实施例中，系统100可以包括软件，以命令扫描设备110使用某些用户可配置参数来执行某些操作，并将所获得的所得成像数据发送到所述处理子系统102或存储子系统(例如本地存储子系统或联网存储设备)。在一些实施例中，处理子系统102或扫描设备110可联接至网络130。在一些实施例中，存储设备联接至网络130，用于存储或检索图像数据、受试者信息和/或其他组织数据。处理子系统102可以包括显示器108和一个或多个输入设备(未示出)，用于从用户或操作员(例如，技术员、组织学家或病理学家)接收命令。

在一些实施例中，用户界面由处理子系统102渲染并且提供在显示器108上以(i)促进分析、解释和/或报告成像数据和/或受试者数据；(ii)从扫描设备中检索数据；或(iii)从数据库(例如通过网络可用的一个数据库)中检索成像数据、受试者信息或其他临床信息。在一些实施例中，网络130使得能够(例如通过客户端接口或客户端门户，未示出)远程访问处理子系统102和/或扫描设备110。以这种方式，远程用户可以访问处理子系统102，使得图像可视化和分析软件可以在处理子系统102上远程运行。在一些实施例中，客户端接口或客户端门户还可以使得能够在分析成像数据之后检索存储的报告。

图2A是根据本公开的实施例的系统100的框图。系统100可以使用任何类型的用户可操作的计算设备来实现，包括台式计算机、便携计算机、平板计算机、手持式设备(例如智能电话、媒体播放器)等等。系统100可以包括多个互连的部件，例如如下面更详细地讨论的处理子系统102、存储子系统104、用户输入设备106、显示器108和经由总线114进行通信的网络接口112。在一些实施例中，图2A中所描绘的系统100是可以远程访问的，例如一个或多个远程用户可以诸如通过网络访问系统100，使得可以检查、解释、分析和/或报告存储在存储子系统104内的图像数据。

处理子系统102可以包括单个处理器(其可以具有一个或多个核)，或者可以包括多个处理器(每个具有一个或多个核)。在一些实施例中，处理子系统102可以包括一个或多个通用处理器(例如CPU)、专用处理器(例如图形处理器，GPU)、数字信号处理器、或这些和其它类型的处理器的任意组合。在一些实施例中，可以使用例如专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的定制电路来实现处理子系统中的一些或所有处理器。在一些实施例中，这样的集成电路执行存储在电路本身上的指令。在一些实施例中，处理子系统102可以检索并执行存储在存储子系统104中的指令，并且所述指令可以由处理子系统102执行，无论用户是本地访问还是例如通过客户端门户116远程访问系统。举例来说，处理子系统102可以执行指令以接收和处理存储在本地或网络存储系统内的图像数据并显示图像数据(例如，显示全载片扫描图像或任何全载片扫描图像的放大部分)。

存储子系统104可以包括各种存储器单元，例如系统存储器、只读存储器(ROM)和永久存储设备。ROM可以存储处理子系统102和系统100的其它模块所需的静态数据和指令。所述永久存储设备可以是读写存储设备。所述永久存储设备可以是即使在系统100断电时也存储指令和数据的非易失性存储单元。在一些实施例中，大容量存储设备(例如磁盘或光盘或闪存)可以用作永久存储设备。其它实施例可以使用可移动存储设备(例如闪存驱动器)作为永久存储设备。所述系统存储器可以是读写存储设备，也可以是易失性读写存储器(例如动态随机存取存储器)。所述系统存储器可以存储处理器在运行时所需的部分或全部指令和数据。

存储子系统104可以包括非暂时性计算机可读存储介质的任意组合，包括各种类型的半导体存储芯片(DRAM、SRAM、SDRAM、闪存、可编程只读存储器)等等。也可以使用磁盘和/或光盘。在一些实施例中，存储子系统104可包括可读取和/或可写入的可移动存储介质；此类介质的示例包括光盘(CD)、只读数字通用光盘(例如DVD-ROM、双层DVD-ROM)、只读和可读

磁盘、超密度光盘、闪存存储卡(例如SD卡、小型SD卡、微型SD卡等)等等。在一些实施例中，图像数据和/或受试者数据可以存储在一个或多个远程位置，例如云存储中，并与系统100的其他组件同步。当在本文中使用术语“存储器”或“一存储器”时，它们可以指一个或多个存储器，例如多个存储器。

在一些实施例中，存储子系统104可以存储处理待由处理子系统102执行的一个或多个软件程序，例如图像可视化和分析应用120。“软件”通常指指令序列，当由处理子系统102执行时，使系统100执行各种操作，从而定义一种或多种执行和实施软件程序的操作的特定机器实施方式。因此，“软件”还可以包括固件或嵌入式应用或处理子系统102可读和可执行的任何其它类型的指令。软件可以实现为单个程序，也可以实现为按期望交互的单独程序或程序模块的集合。在一些实施例中，程序和/或数据可以存储在非易失性存储器中，并在程序执行期间全部或部分拷贝到易失性工作存储器中。处理子系统102可以从存储子系统104中检索要执行的程序指令和要处理的数据，以便执行包括以下描述的操作的各种操作。

在一些实施例中，软件可以在系统100上本地运行，但是例如通过客户端门户116远程访问和/或控制。例如，图像可视化和分析应用120的实例可以在系统100上本地运行，但是远程操作者可以借助于网络连接的客户端门户116访问图像可视化和分析应用120，使得远程用户可以控制图像可视化和分析应用120的实例，以帮助查看、解释和分析图像数据(例如，从存储子系统104检索并呈现给远程用户进行分析的生物学样品的扫描图像)。

可以将用户界面提供给显示器108和/或一个或多个其他用户输出设备(未示出)。用户界面可以包括，例如，可视化效果和其他表示形式，该表示形式包括源自对经染色生物学样品(例如，针对一种或多种生物标志物的存在而染色或用苏木精和曙红染色的样品)的扫描的图像、菜单栏、下拉菜单和/或面板。提供给显示器的用户界面可以经适配使得基于例如用户选择(包括但不限于用户选择的缩放或放大级别)，仅将上下文相关的工具和/或查看器面板提供给用户。用户输入设备106可以包括用户可通过其向系统100提供信号的任何设备；系统100可以将信号解释为指示特定用户请求或信息。在一些实施例中，用户输入设备106可以包括键盘触摸板、触摸屏(例如显示器108的显示表面上的触敏覆盖层)、鼠标或其他点选设备、滚轮、点击轮、拨盘、按钮、开关、键盘、麦克风等等中的任一个或全部。

显示器108可以显示由系统100生成的可视化效果(例如包括图像数据的表示形式、向用户传达信息的查看器面板、或提供用户可选配置选项的上下文菜单等)，并且可以包括各种图像生成技术，例如阴极射线管(CRT)、液晶显示器(LCD)、发光二极管(LED)(包括有机发光二极管(OLED))、投影系统等，以及支持电子设备(例如数模转换器或模数转换器、信号处理器等)。一些实施例可以包括既充当输入设备又充当输出设备的设备，例如触摸屏。在一些实施例中，除了显示器108之外或代替显示器，可以提供其它用户输出设备。

在一些实施例中，用户界面可以提供图形用户界面，其中显示器108的某些区域中的可见图像元素定义为用户使用用户输入设备106选择的活动元素、交互元素或控制元素。例如，用户可以操纵用户输入设备106以将屏幕上的光标或指针定位在所述控制元素上，然后“点击”按钮以指示选择，其中所述选择发送信号以执行指定的动作或例程。例如，用户可以操纵用户输入设备106以选择用户界面内的图标(诸如在查看器面板中、在菜单栏中或下拉菜单内的图标)，这将实现工具操作或选择的启动，例如发起对组织样品图像的一种或多种显示的表示形式的注释。作为另一示例，用户可以点击菜单栏图标以发起工具的选择，使得用户可以基于接收到的输入来选择目标区域。在一些实施例中，用户可以操纵用户输入设备106以便与下拉菜单交互以选择一个或多个面板，包括交互面板。在一些实施例中，只能由用户基于预设条件满足与否来进行这些选择，确定是否启用工具和/或查看器面板，所述预设条件例如用户是否选择了某个缩放级别、是否选择了特定组织类型、是否选择了具有某种生物标志物的特定载片。

替代地，用户可以(例如用手指或手写笔)触摸触摸屏设备上的控制元素。在一些实施例中，用户可以说出与控制元素相关联的一个或多个单词(该单词可以是例如元素上的标签或与元素相关联的功能)。在一些实施例中，可以将触敏设备上的用户手势识别并解释为输入命令；这些手势可以但不必与显示器108上的任何特定区域相关联。其它用户界面也可以实现。

网络接口112可以为系统100提供数据通信能力。在一些实施例中，网络接口112可以包括用于访问无线语音和/或数据网络(例如使用蜂窝电话技术、高级数据网络技术(诸如3G、4G或EDGE、5G、WiFi(IEEE 802.11系列标准))或其他移动通信技术、或它们的任意组合)的射频(RF)收发器部件、GPS接收器部件和/或其他部件。在一些实施例中，除了无线接口之外或代替无线接口，网络接口112可以提供有线网络连接性(例如以太网)。可以使用硬件(例如天线、调制器/解调器、编码器/解码器以及其它模拟和/或数字信号处理电路)和软件部件的组合来实现网络接口112。网络接口112可以促进诸如通过客户端门户116对系统100的远程访问(例如远程用户可以通过远程计算机访问系统100，并且所述远程计算机通过网络接口112与系统100交互)。在一些实施例中，客户端门户116是由远程用户在远程计算机或其它计算设备上运行的独立应用。在一些实施例中，客户端门户116是在远程计算机或其他通过网络访问系统100的计算设备上运行的Web浏览器。

总线114可以包括通信地连接系统100的大量部件的各种系统总线、外围总线和芯片组总线。例如，总线114可以将处理子系统102与存储子系统104通信地联接。总线114也可以连接至用户输入设备106和显示器108。总线114还可以通过网络接口112将处理子系统102联接至网络。以这种方式，系统100可以连接至多个计算机系统的网络，例如局域网(LAN)、广域网(WAN)、内联网或网络的网络(诸如因特网)。技术人员将理解，可以将其他部件(诸如扫描设备、扫描设备、组织处理系统)连接至总线114。

一些实施例包括电子部件，例如微处理器、存储设备和将计算机程序指令存储在计算机可读存储介质中的存储器。本文描述的许多特征可以实现为指定为编码在计算机可读存储介质上的一组程序指令的过程。当这些程序指令由一个或多个处理单元执行时，它们使处理单元执行程序指令中指示的各种操作。程序指令或计算机代码的示例包括(例如由编译器产生的)机器代码和文件(包括由计算机、电子部件或使用解释器的微处理器执行的高级别代码)。

通过适当的编程，处理子系统102可以为系统100提供各种功能。例如，处理子系统102可以执行具有用户界面的图像可视化和分析应用120，该用户界面有助于检查和解释生物学样品的扫描图像。图像可视化和分析应用120可以提供各种功能，例如选择用户可配置选项或用户可选面板的能力，或者控制导航和注释图像的能力。在一些实施例中，分析应用120包括逻辑，使得基于预设条件满足与否，仅向用户呈现相关用户项例如仅满足相关用户项(信息项、用户可选择项、交互项)，所述预设条件用户例如用户是否选择了达到或超过预定义阈值的缩放级别，或者是否选择了某种针对特定生物标志物的存在而染色的图像以进行检查。在一些实施例中，可以将附加组件并入本公开的系统和软件中，包括在美国专利申请公开第2012/0320094号中标识的那些组件，该公开的全部内容通过引用整体合并于本文。

在一些实施例中，图像可视化和分析应用120合并了各种互操作模块(例如代码块)，当所述互操作模块由处理子系统102内的一个或多个处理器执行时，实现界面操作的各方面。例如，图像可视化和分析应用120可以包括内容获取器122、内容渲染器124、GUI渲染器126和UI解释器128。

在一些实施例中，内容获取器122可以包括指令，其用于与本地数据库(例如，存储子系统104)或与网络接口112进行交互(例如，访问)以获取或以其他方式检索内容项，诸如图像数据和/或受试者数据。在一些实施例中，内容获取器122配置为访问多个扫描图像，扫描图像中的每一个源自受试者样品，并且其中扫描图像中的每一个可以针对一种或多种生物标志物的存在或因苏木精和曙红而染色。在一些实施例中，内容获取器122配置为检索受试者信息、图像元数据、病案信息等。在一些实施例中，内容获取器122可以包括指令，其用于与扫描设备110交互，使得可以从一个或多个具有针对一种或多种生物标志物的存在而染色的组织样品的载片获取图像数据。

在一些实施例中，内容渲染器124可以包括指令，其用于解释从一个或多个来源获取的内容项，然后将渲染的内容填充或传递至由GUI渲染器126生成的图像占位符或其他表示形式。例如，内容渲染器124可以用从内容获取器122检索的图像数据来填充一种或多种渲染的表示形式(参见图4A的表示形式401)。在一些实施例中，内容渲染器124可以将受试者信息传递至其他GUI元素，诸如一个或多个查看器面板，或将检索的受试者信息置于GUI表示形式的一部分中。在一些实施例中，内容渲染器124可以将元数据传递至其他GUI元素，例如，组织类型、施用的染色剂、扫描参数、z-堆栈层、聚焦层等。在一些实施例中，内容渲染器124还可以处理获取的图像数据，例如，对获取的图像进行任何预处理。

在一些实施例中，GUI渲染器126创建要与由内容渲染器124或其它系统模块渲染的内容项目一起呈现给用户的图形用户界面(GUI)元素。GUI渲染器126可以包括定义GUI元素的位置和外观的代码，所述GUI元素诸如菜单栏项和查看器面板，其中的每一者本身都是交互元素或者可以包括交互元素。在一些实施例中，GUI渲染器126与从UI解释器128接收的信号一起可以确定某些菜单栏项或查看器面板是否应当启用或以其他方式对用户可用，例如取决于预设条件满足与否，例如，是否已选择阈值缩放级别或放大级别。例如，菜单栏项可以由用户激活，从而随后将允许用户从下拉菜单选择配置选项或面板视图(参见例如图5A和图5B)。在一些实施例中，GUI渲染器126可以将从内容获取器122或内容渲染器124提供的获取的图像数据并入一些或全部GUI元素中(例如，可以在用户界面内的表示形式内显示扫描的生物学样品的实际图像等)。

作为示例，GUI渲染器126可以生成一系列表示形式401，其可以用由内容获取器122检索的图像数据来填充。表示形式的示例在图4A、图4B和图4C中示出。这些表示形式可以是交互式表示形式。例如，如果用户点击任何特定表示形式(例如，图4A的表示形式401)(例如，由UI解释器128解释)，则GUI渲染器126可以更新查看器面板(例如，载片导航器查看器面板)中的相应显示。

同样，GUI渲染器126可以生成一系列查看器面板。在一些实施例中，生成的查看器面板为交互式面板，用户可以在其中选择某些可配置选项。例如，缩放面板可以包括滑动条，用户可以在其中选择特定的预设缩放级别，例如，1x、2x、10x、40x等，或者用户可以在其中输入特定缩放级别值。在一些实施例中，查看器面板配置为例如向用户传达相关信息，例如病案日志面板可以提供用户在分析图像数据期间所做的用户可配置选择的历史记录。另外，GUI渲染器126可以渲染可视化效果，该可视化效果示出了隐藏的或用户不可用或无法与之交互的项。

UI解释器128可以(例如经由用户输入设备106)接收用户输入，并且可以解释所述输入以确定待要通过分析应用120执行的动作。例如，UI解释器28可以确定用户选择了哪个GUI元素(例如图标、或菜单中可选择项目、上下文菜单、下拉列表、按钮、表示形式等)并发起相应的动作(例如添加注释、显示其他内容信息、缩放选定的缩放级别生成报告以便导出)。例如，UI解释器128可以检测用户是否选择了注释工具(参见图4A和图4B中的注释工具405)，并且可以向GUI渲染器126发送信号以显示其他用户选定项。在一些实施例中，注释工具包括手动目标区域(ROI)生成工具、自动ROI生成工具、允许绘制形状(例如箭头)的工具、测量工具或文本输入生成工具。这些工具中的每一个都可以基于用户交互的上下文独立地禁用或隐藏。在一些实施例中，可以选择的菜单项包括运行某些图像处理算法，例如膜检测算法、细胞检测和计数算法、核检测算法、评分算法、热图生成算法，组织掩蔽算法、组织类型识别算法等(参见例如PCT公开号WO2016/120442和WO2015/113895及美国专利申请公开号2017/0154420、2017/0372117、2017/0103521、2017/0140246、2015/0347702、2017/0082627、2014/0377753、2017/0337695、2017/0323148和2017/0243051，这些文献的公开内容通过引用整体合并于本文)。从UI解释器128接收的输入可以用于确定预设条件满足与否。

应当理解，系统100是说明性的，并且变化和修改是可能的。此外，尽管参考特定块描述了系统100，但是应当理解，这些块是为了便于描述而定义的，并且不意图暗示组成部分的特定物理布置。此外，这些块不必对应于物理上不同的部件。块可以配置为(例如通过对处理器进行编程或提供适当的控制电路)来执行各种操作，并且取决于如何访问初始配置，各种块可以是或者可以不是可重新配置的。可以在包括使用电路和软件的任何组合实现的电子设备的各种装置中实现本公开的实施例。图像可视化和分析应用120也是说明性的，并且特定的实施方式可以包括比这里描述的更多或更少的模块。而且，尽管可以将特定模块描述为执行特定功能，但是这样的描述并不旨在暗示由所述模块执行的特定功能或者包括在这样的模块内的特定指令集。

图2B描绘了与网络130和系统100(例如图1和图2所示的系统)通信的客户端接口140。客户端接口140可以是独立的应用(例如独立的图像可视化和分析软件)或是允许远程访问图像可视化和分析应用120的Web浏览器或其他接口软件。例如，客户端接口140允许远程操作者登录系统100(例如图1和图2所示的系统)并访问存储的图像数据(诸如存储在存储子系统104或其他网络连接的存储设备中的数据)或上传到系统100进行处理的图像数据。在一些实施例中，客户端接口140可以包括本文描述的任何软件模块。以此方式，远程用户可以与系统的元素(例如，可配置的元素)进行远程交互，使得可以分析和/或解释图像数据(例如，组织学家或病理学家可以选择用户可配置参数，诸如菜单栏工具和/或查看器面板。

在一些实施例中，图形用户界面适于根据选定的缩放级别仅显示某些特征。例如，根据选定的缩放级别，可能不会启用菜单栏内的某些工具(参见图4A)。同样，在经访问图像的可视化效果附近呈现的某些面板可能不可用。通常，系统100可以配置为“限制”对某些工具和面板的访问，这些工具和面板在给定某个缩放级别的情况下在图像分析期间将不是上下文相关的。例如，在某些缩放级别，如果图像内某些特征之间不存在足够的分辨率，则对图像的特定部分进行注释可能不可行。这样，如果软件确定某个工具在选定的缩放级别不相关，则该工具将不会启用，并且如上所述，这有助于更快地检查可视化效果内呈现的数据，并且还提供增强的用户体验，并且不存在潜在混淆。

图3阐述了流程图，该流程图阐明一种可视化相关联图像数据的方法，该相关联图像数据源自针对一种或多种生物标志物的存在而染色的生物学样品。在步骤300，访问生物学样品的至少一个图像。在一些实施例中，生物学样品针对一种或多种生物标志物的存在而染色。在一些实施例中，检索多个图像，诸如来自相同生物学样品的多个图像，但是其中每个图像包括指示特定生物标志物存在或不存在的染色。

随后，在图形用户界面内渲染第一可视化效果(步骤310)，其中第一可视化效果至少包括在第一缩放级别对至少一个图像的渲染。在一些实施例中，第一可视化效果400包括对多个经访问图像的渲染(例如，参见图4A)。在一些实施例中，第一可视化效果包括一系列表示形式401(例如，图像占位符)，其中每种表示形式401可以包括经访问图像410A或410B之一。在一些实施例中，每种表示形式401具有相同的尺寸和/或形状。在一些实施例中，每种表示形式401包括第一部分402和第二部分403，第一部分包括经访问图像410中的一个，第二部分包括识别标记。在一些实施例中，识别标记包括对图像中出现的染色或经染色的生物标志物的识别。举例来说，表示形式401的第二部分403指示第一部分402内的特定图像410A用苏木精和曙红染色。

在一些实施例中，菜单栏404内的第一系列工具(例如，注释工具405)与第一可视化效果400同时显示(步骤320)。如上所述，并且如图4A所示，一些工具不可用于选择，即，它们“灰化”(参见例如设置校准工具408)，而其他工具可用于选择并显示为白色图标(参见例如旋转工具407)。作为进一步的示例，五个注释工具405中的每一个都灰化并且因此禁用。在一些实施例中，某些工具可以如本文中进一步描述的那样在特定缩放级别完全向用户隐藏。这样，第一系列工具(即那些可用于选择和/或表示为白色图标的工具)表示可以对用户可用的所有那些工具的子集。给定图4A的表示形式401中所描绘的四个图像的缩放级别的情况下，据信那些不可用的工具，即那些“灰化”的工具在如图4A所示的给定的1x缩放级别将是不相关的。换句话说，那些未启用或对用户选择隐藏的工具确定为在选定的缩放级别无效。例如，相信对于组织学家或病理学家来说，进行测量或向细胞绘制箭头没有任何价值，因为在给定的缩放级别(例如1x)，将无法分辨足够的细胞特征以便可以精确地进行测量，或者可以正确地放置箭头以指向特定的期望结构。

在一些实施例中，第一组面板也可以与第一可视化效果和第一系列工具同时显示。例如，缩放面板406和载片导航器面板409可以与第一可视化效果以及与第一系列工具同时显示。与第一系列工具一样，仅显示那些在给定的缩放级别上下文相关的面板。例如，图5A示出可由用户在上下文菜单或下拉菜单中选择的面板。那些不可用的项将无法选择，并且“灰化”。同样，那些能够选择的面板以白色显示，并且能够由用户选择。而且，已经选定的那些面板可以标记有标记，例如复选标记。

在同时呈现第一可视化效果(例如，图4A中的三种表示形式401)和第一系列工具(菜单栏404中未“灰化”的那些)和/或第一组面板之后，接着，用户可以与可视化效果交互，例如更改缩放级别以增加在第一可视化效果中呈现的一个或多个经访问图像的缩放，使用户能够更详细地查看其中一个经访问图像的至少一部分，从而在第二缩放级别430提供至少第二可视化效果。“增加缩放”或“放大图像”是指图像的一部分被放大，从而增加了该部分图像的视觉分辨率。例如，图4A中在1x缩放级别呈现经访问图像410B，并且应理解的是，在此缩放级别的某些组织结构例如420A难以辨认。然而，如图4B所示，当图像410B的缩放级别增加时(例如，将缩放级别从1x增加至约10x)，以可以分辨单个细胞的级别更详细地示出了组织结构420B的放大倍数和/或分辨率。

在第二缩放级别430显示第二可视化效果(步骤330)的同时，显示菜单栏404中的第二系列工具(步骤340)。像第一系列工具一样，第二系列工具再次呈现对用户可用的所有那些工具的子集。举例来说，与可用的第一系列工具相比(参见图4A)，第二系列工具包括五个注释工具405(参见图4B)中的每一个。

在图4B所示的特定实施例中，第二组工具包括第一系列工具，即第二组工具包括在第一系列中可用的所有那些工具。在一些实施例中，第二组工具不包括第一系列中提供的所有工具。在一些实施例中，第二系列工具包括至少一个与第一系列工具中提供的工具不同的工具。

在一些实施例中，第二组面板在第二缩放级别430与第二可视化效果同时显示以及与第二系列工具同时显示。与第二系列工具一样，仅呈现在给定的缩放级别上下文相关的面板。在图4B所示的实施例中，并且与图4A的实施例相比，在约10x缩放级别自动显示载片面板425。转至图5B中，那些不可用的项再次无法选择并且“灰化”。同样，那些能够选择的查看器面板以白色显示，并且能够由用户选择。而且，已经选定的那些面板标记有标记，例如复选标记。

图4C示出缩放级别的选择(例如中间缩放级别)，该缩放级别落在图4A中所描绘的缩放级别与图4B中描绘的缩放级别之间。尽管图4A中在1x的缩放级别示出四种表示形式401，但在图4C中的缩放级别，只有三种表示形式被可视化，并且三种表示形式中只有一种被完全可视化。值得注意的是，如在图4A中一样，相同的工具在图4C中显示为可用。同样，如在图4A中一样，相同的面板出现在图4C中。这样，图4C示出用户尚未达到阈值缩放值，使得图像可视化和分析应用420将使菜单栏404中的其他工具可用，或者为此使其他可用的查看器面板可用。在这方面，图4C示出显示的且对用户可用的项是上下文相关的，在此上下文相关取决于用户选择的缩放级别。

在一些实施例中，菜单项和/或查看器面板中的每一者具有在启用相应的菜单项和/或查看器面板之前必须达到的预编程阈值缩放级别。例如，参考图4A，只有当用户选择超过预定阈值缩放级别值的缩放级别(例如5x)时，注释工具405才变得可用。在一些实施例中，菜单栏404内的每个单独的工具可以具有不同的预定阈值。例如，第一注释工具可以具有2x的预定阈值，第二注释工具可以具有6x的预定阈值，并且载片校准工具可以具有10x的预定阈值。在一些实施例中，阈值缩放值可以取决于被观察的组织类型或染色。

在一些实施例中，用于确定菜单栏项或查看器面板可用与否的阈值不需要与预定阈值缩放值(即，值1x、2x、4x、8x、16x、32x等)相关。而是，该阈值可以与是否选择了用户可以在其中分辨单个细胞或单个核的缩放级别相关。可替代地，该阈值可以与是否选择了一定数量的细胞在其中呈现预定区域(例如，像素x像素)的缩放级别相关，例如100个细胞在500像素x 500像素的区域中。在一些实施例中，取决于可用的显示分辨率，可以可视化不同的元素。例如，如果显示分辨率为“m x n”，则阈值可以预定义为“p”，如果显示分辨率为(m*q x n*q)，则阈值可以预定义为“p*q”，其中q为比例放因子以考虑到显示分辨率的差异。在其他实施例中，某些查看器面板可以显示还是隐藏可以与可用的显示分辨率相关。例如，尽管在达到阈值缩放级别时，可以使5个查看器面板可用或不隐藏(例如，它们变得上下文相关并且可用)，但是如果由于显示分辨率低或有限而使可用的屏幕“不动产”不可用，则系统可能继续隐藏某些面板，并且系统可以在给定分辨率限制的情况下确定哪些可用的查看器面板最相关，并对这些面板进行优先级排序以利于显示。另外，作为示例，查看器面板可以根据需要循环以适应有限的显示分辨率。

如本文所述，在一些实施例中，可以隐藏整个菜单项，直到用户选择了特定的缩放级别为止。例如，假设菜单栏包含项A、B、C、D、E、F、G和H。进一步假设缩放级别为1x，则在图形用户界面内仅示出菜单栏项A、B、E和H，如图6A所示。根据本公开，那些菜单栏项A、B、E和H是在1x的缩放级别对于用户相关且有用的唯一工具。一旦用户放大了图像之一(见图6B)，就可以显示附加的菜单栏项，例如菜单栏项C和G，前提是菜单栏项(即C和G)与所选缩放级别(例如3x)相关。一旦用户进一步放大图像之一(参见图6C)，在这里为601B，就可以显示另外的菜单栏项，即D和F，再次假设那些另外的菜单栏项在所选缩放级别(例如8x)是相关的。图6C进一步示出第二查看器面板(即“查看器面板2”)变得由图形用户界面显示，但是仅在达到特定缩放级别时(即至少大于3x的缩放级别，诸如在8x)再次显示。

在一些实施例中，输入图像由可视化系统接收，并且在默认缩放级别(例如，1x的缩放级别)提供可视化效果。在一些实施例中，系统接收用户输入，例如更新的缩放级别的选择、特定图像的选择。在一些实施例中，在接收的用户输入和阈值条件之间进行比较，例如在接收到的缩放级别的用户输入之间进行比较以确定是否达到阈值缩放级别，或者在接收到的图像选择的用户输入之间进行比较以确定在图像中标识的生物标志物。在一些实施例中，如果满足阈值缩放级别，则可以向用户呈现附加的可视化元素(例如，工具、面板)。在一些实施例中，如果与第一图像相比在第二图像中选择了不同的生物标志物，则可以向用户呈现附加的可视化元素。在一些实施例中，基于用户选择来改变至少一个GUI元素。

附加实施例

在一些实施例中，每个显示的可视化效果或元素在界面应用(诸如浏览器)内提供的显示器的坐标系内具有位置。例如，用于工具(诸如图像分析工具)的图标在显示坐标系内具有位置。例如，如果显示器的分辨率为4,000x 3000，并且每个像素都被视为坐标系中的一个点，则用于注释工具的图标可具有由像素区域[150,200](左上角)、[160,200](右上角)、[150,210](左下角)和[160,210](右下角)限定的位置。在一些实施例中，查看器面板、图像数据和其他表示形式可以在显示器的坐标系内具有位置。在一些实施例中，第一查看器面板可以具有第一位置区域，而第二查看器元素可以具有第二位置区域。在一些实施例中，每个查看器面板可以具有可变的位置区域，这取决于所显示信息的类型和可用信息的数量。在一些实施例中，各种元素在显示器的坐标系内的位置可以是固定的，或者可以是可变的，这取决于上下文。

本说明书中描述的主题和操作的实施例可以在数字电子电路中或在计算机软件、固件或硬件(包括本说明书中公开的结构及其等同结构)中实施，或以他们的一种或多种的组合来实施。本说明书中描述的主题的实施例可以实现为一个或多个计算机程序，即计算机程序指令的一个或多个模块，其编码在计算机存储介质上以由数据处理设备执行或控制数据处理装置的操作。本文所述的任何模块可包括由处理器执行的逻辑。如本文中所使用的，“逻辑”是指具有指令信号和/或数据的形式的任何信息，其可以应用来影响处理器的操作。软件是逻辑的示例。

计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行访问存储器阵列或设备、或它们中的一个或多个的组合，或可以包含在其中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是以人工生成的传播信号编码的计算机程序指令的来源或目的地。计算机存储介质还可以是一个或多个分开的物理部件或介质(例如多个CD、磁盘或其它存储设备)，或可以包含在其中。本说明书中描述的操作可以实现为由数据处理设备对存储在一个或多个计算机可读存储设备上或从其它来源接收到的数据执行的操作。

术语“可编程处理器”涵盖用于处理数据的所有种类的装置、设备和机器，包括作为示例的可编程微处理器、计算机、片上系统、或前述的多个或组合。装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其中一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础架构，诸如Web服务、分布式计算和网格计算基础架构。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言(包括编译或解释语言、声明性或过程语言)编写，并且可以以任何形式进行部署，包括作为独立程序或作为模块、部件、子例程、对象或其它适合在计算环境中使用的单元。计算机程序可以但不必对应于文件系统中的文件。程序可以存储在保存其它程序或数据的文件的一部分中(例如存储在标记语言文档中的一个或多个脚本)，专用于所讨论程序的单个文件中或多个协调文件中(例如存储一个或多个模块、子程序或部分代码的文件)。可以部署计算机程序，以在位于一个站点或分布于多个站点、并通过通信网络互连的一个计算机或多个计算机上执行。

本说明书中描述的过程和逻辑流程可以由一个或多个可编程处理器执行，所述可编程处理器执行一个或多个计算机程序以通过对输入数据进行操作并生成输出来执行动作。过程和逻辑流程也可以由专用逻辑电路执行，并且装置也可以实现为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。

作为示例，适合于执行计算机程序的处理器包括通用微处理器和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储设备。通常，计算机还将包括或可操作地联接以从一个或多个用于存储数据的大容量存储设备(例如磁盘、磁光盘或光盘)接收数据、或向其传输数据、或从其接收数据和向其传输数据。但是，计算机不必具有此类设备。此外，计算机可以嵌入到另一设备中，仅举几例，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器或便携式存储设备(例如通用串行总线USB闪存驱动器)。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储设备，作为示例，包括半导体存储设备(例如EPROM、EEPROM和闪存设备)、磁盘(例如内部硬盘或可移动磁盘)、磁光盘、以及CD-ROM和DVD-ROM磁盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，可以在具有显示设备和键盘和点选设备(例如鼠标或轨迹球)的计算机上实现本说明书中描述的主题的实施例，所述显示设备例如为LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器，用于向用户显示信息，用户可以通过键盘和点选设备向计算机提供输入。在一些实施方式中，触摸屏可以用于显示信息并从用户接收输入。其它种类的设备也可以用于提供与用户的交互。例如，提供给用户的反馈可以是任何形式的感觉反馈(诸如视觉反馈、听觉反馈或触觉反馈)，并且可以以任何形式接收来自用户的输入(包括声音、语音或触觉输入)。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户进行交互；例如，通过将Web页面发送到用户客户端设备上的Web浏览器而响应于从Web浏览器收到的请求。

本说明书中描述的主题的实施例可以在包括后端部件(例如数据服务器)、或者包括中间件部件(例如应用服务器)、或者包括前端部件(例如具有图形用户界面或Web浏览器的客户端计算机，用户可以通过图形用户界面或网络浏览器与本说明书中描述的主题的实施方式进行交互)、或者一个或多个此类后端、中间件或前端部件的任何组合的计算系统中实现。系统的部件可以通过数字数据通信的任何形式或介质(例如通信网络)互连。通信网络的示例包括局域网("LAN")和广域网("WAN")、网际网络(例如互联网)和对等网络(例如ad hoc对等网络)。例如，图1的网络20可以包括一个或多个局域网。

计算系统可以包括任意数量的客户端和服务器。客户端和服务器通常彼此远离，并且通常通过通信网络进行交互。客户端和服务器之间的关系是通过在各自计算机上运行并彼此具有客户端-服务器关系的计算机程序产生的。在一些实施例中，服务器将数据(例如HTML页面)发送到客户端设备(例如，出于向与客户端设备交互的用户显示数据并从中接收用户输入的目的)。可以从服务器处的客户设备接收在客户端设备处生成的数据(例如用户交互的结果)。

本说明书中提及的和/或在申请数据表中列出的所有美国专利、美国专利申请出版物、美国专利申请、外国专利、外国专利申请和非专利出版物通过引用整体并入本文。如有必要，可对一些实施例的各个方面进行修改，从而采用各类专利、申请和公开的概念来提供其他进一步的实施例。

尽管已经参考多个说明性实施例描述了本公开，但是应当理解，本领域技术人员可以设计出许多其它修改和实施例，它们将落入本公开原理的精神和范围内。更特别地，在前述公开、附图和所附权利要求的范围内，主题组合布置的组成部分和/或布置中的合理变化和修改是可能的，而不背离本公开的精神。除了组成部分和/或布置的变化和修改之外，替代使用对本领域技术人员也是显而易见的。

Claims (21)

1.一种包括显示屏的计算设备，所述计算设备配置为：

从通信地联接至所述计算设备的一个或多个存储器访问针对一种或多种生物标志物的存在而染色的生物学样品的至少一个图像；

在所述显示屏上以第一缩放级别显示所述至少一个图像的第一可视化效果，并且在显示所述第一可视化效果的同时，在所述显示屏上显示用户可选元素的第一子集；以及

响应于接收到用户输入，在所述显示屏上以第二缩放级别显示所述至少一个图像的第二可视化效果，其中所述第二缩放级别不同于所述第一缩放级别，并且在显示所述第二可视化效果的同时，在所述显示屏上显示用户可选元素的第二子集，其中(i)所述用户可选元素的第二子集内的一个或多个元素在所述第一缩放级别禁用或隐藏，或(ii)所述用户可选元素的第一子集内的一个或多个元素在所述第二缩放级别禁用或隐藏。

2.根据权利要求1所述的计算设备，其中所述第二缩放级别至少满足预定的阈值缩放值。

3.根据权利要求1所述的计算设备，其中在所述第一缩放级别禁用或隐藏的所述用户可选元素的第二子集在所述第二缩放级别是上下文相关的，但是在所述第一缩放级别不是上下文相关的。

4.根据权利要求1所述的计算设备，其中所述用户可选元素的第二子集包括在所述第一缩放级别禁用或隐藏的一个或多个图像注释工具。

5.根据权利要求4所述的计算设备，其中所述图像注释工具包括关注区域识别工具、测量工具、标记绘制工具和区域排除工具。

6.根据权利要求1所述的计算设备，其中所述用户可选元素的第二子集包括在所述第一缩放级别禁用或隐藏的一个或多个图像处理工具。

7.根据权利要求1所述的计算设备，其中所述第二缩放级别大于所述第一缩放级别。

8.根据权利要求1所述的计算设备，其中所述计算设备进一步配置为在所述显示屏上以所述第二缩放级别显示一个或多个查看器面板，其中用于在所述第二缩放级别显示的所述一个或多个查看器面板在所述第一缩放级别禁用或隐藏。

9.根据权利要求1所述的计算设备，其中所述第一缩放级别是未放大的缩放级别，并且其中所述第一可视化效果包括至少一种表示形式，所述至少一种表示形式包括所述生物学样品的至少一个图像。

10.根据权利要求9所述的计算设备，其中所述至少一种表示形式进一步包括包含识别标记的部分。

11.一种包括显示屏的计算设备，所述计算设备配置为：

从通信地联接至所述计算设备的一个或多个存储器访问针对一种或多种生物标志物的存在而染色的生物学样品的至少一个图像；

在所述显示屏上以第一缩放级别显示包含所述至少一个图像的至少第一可视化效果，并且在显示所述第一可视化效果的同时，在所述显示屏上显示至少第一查看器面板；以及

响应于接收到用户输入，在所述显示屏上以第二缩放级别显示所述至少一个图像的第二可视化效果，其中所述第二缩放级别不同于所述第一缩放级别，并且在显示所述第二可视化效果的同时，在所述显示屏上显示除所述第一查看器面板之外的至少第二查看器面板，其中所述至少第二查看器面板在所述第一缩放级别禁用或隐藏而不显示。

12.根据权利要求11所述的计算设备，其中在显示所述第二查看器面板的同时，第三查看器面板显示在所述显示屏上，其中所述第三查看器面板在所述第一缩放级别隐藏而不显示。

13.根据权利要求11所述的计算设备，其中在显示所述第二查看器面板的同时，先前显示或隐藏的用户可选工具在所述显示屏上启用。

14.根据权利要求13所述的计算设备，其中所述用户可选工具为图像注释工具。

15.根据权利要求11所述的计算设备，其中所述至少第一可视化效果包括：(i)第一部分，其在所述第一缩放级别包括所述生物学样品的所述至少一个图像，以及(ii)第二部分，其包括识别标记。

16.根据权利要求15所述的计算设备，其中所述识别标记包括生物标志物的识别。

17.一种方法，其包括：

在具有显示屏的计算设备上显示包括经染色生物学样品的至少一个图像的第一可视化效果，其中所述第一可视化效果在第一条件状态下显示；

在显示所述第一可视化效果的同时，在所述显示屏上显示第一查看器面板或第一系列用户可选元素中的至少一者；

响应于接收到用户输入，在所述显示屏上在第二条件状态下显示所述至少一个图像的第二可视化效果，其中所述第二条件状态推导为用户选择的结果；以及

在显示所述第二可视化效果的同时，在所述显示屏上显示以下项中的至少一项：(i)在所述第一条件状态下未启用的第二系列用户可选元素；或(ii)除所述第一查看器面板之外的第二查看器面板，其中所述第二查看器面板在所述第一条件状态下隐藏而不显示。

18.根据权利要求17所述的方法，其中所述第一条件状态为默认状态。

19.根据权利要求18所述的方法，其中所述用户选择为缩放级别选择，并且其中，所述第一条件状态为第一缩放级别且所述第二条件状态为不同于所述第一缩放级别的第二缩放级别。

20.根据权利要求17所述的方法，其中所述用户选择为图像选择，其中针对所述第二条件状态选择的图像包括与所述第一条件状态的图像不同的染色。

21.一种存储有指令的非暂时性计算机可读介质，当所述指令由计算系统的一个或多个处理器执行时，使所述计算系统：

在显示屏上以第一缩放级别显示至少一个图像的第一可视化效果，

并且在显示所述第一可视化效果的同时，在所述显示屏上显示用户可选工具的第一子集；以及

随后在所述显示屏上以第二缩放级别显示所述至少一个图像的第二可视化效果，其中所述第二缩放级别不同于所述第一缩放级别，并且在显示所述第二可视化效果的同时，在所述显示屏上显示用户可选工具的第二子集，其中所述用户可选工具的第二子集内的一个或多个工具在所述第一缩放级别未启用。

Images