CN112840375A - 使用图形分析显微数据的系统 - Google Patents

Abstract

本发明公开了一种用于分析从生物细胞获取的显微图像数据的系统。所述系统包括数据处理系统，其被配置为读取图像数据并确定多个顶点，其中每个顶点表示关注实体在图像数据的关注区域内的位置。所述数据处理系统生成多个图形，其中对于每个图形，各个图形的生成包括生成多条边，其中每条边具有与之关联的多个顶点中的两个。对于每个图形，鉴别了一或多个顶点集，每一个由多个顶点中的一或多个顶点组成。所述数据处理系统针对每个图形进一步确定了鉴别的顶点集的数目。

Description

使用图形分析显微数据的系统

发明领域

本发明涉及对从生物细胞获取的显微图像数据的计算分析。

发明背景

组织病理学是癌症诊断和预后的基础。在癌症诊断和预后的常规技术中，病理学家目视检查癌症活检样品的染色载玻片，并为检测到的肿瘤赋分。然而，这个过程耗时，并且病理学家之间的结果通常不一致。

通过可以获取整个显微镜载玻片的高分辨率数字扫描结果的整体载玻片扫描仪，已经对染色的组织学图像进行了特别有效的计算机辅助定量分析。这种扫描仪可以快速生成整个组织样品的超大2D图像，以对组织学载玻片数字化。然后可以应用自动图像处理程序从原始图像中提取关注的结构，以用于诊断或预后。这个领域已被广泛称为数字病理学，并取代了由传统病理学家评估的人工主观且费时的数据评分。所述图像处理程序可以自动检测细胞和组织类型，并借助深度卷积神经网络技术变得非常强大。在细胞学图像评估中也出现类似的问题。

然而，仍需要从获取自细胞的显微图像中提取一或多个参数，以使得这些参数可以允许有效且可靠的图像分析。

发明概述

实施方案提供了一种用于分析从生物细胞获取的显微图像数据的系统。所述系统包括数据处理系统，其被配置为读取所述图像数据及确定多个顶点，其中每个顶点表示关注实体在所述图像数据的关注区域内的位置。所述数据处理系统进一步被配置为生成图形(graph)，其中所述图形的生成包括生成多条边，其中每条边具有与之相关联的多个顶点中的两个顶点。所述数据处理系统进一步被配置为依据为所述图形生成的边来鉴别多个顶点集，每个顶点集由所述多个顶点中的一或多个顶点组成。所述数据处理系统进一步被配置为确定所述鉴别的顶点集的数目。

术语“图形”可以如在图论中所定义的。具体而言，图形可以定义为由一组顶点(也称为节点)和一组边组成。每条边都有两个与之关联的顶点，称为端点。一条边被称为连接其端点。

所述数据分析系统可包括具有处理器和用于存储可由所述处理器处理的指令的存储器的计算机系统。所述处理器可以执行操作系统。所述数据分析系统可进一步包括用户界面，其被配置为允许用户从所述数据处理系统接收数据和/或为所述数据处理系统提供数据。所述用户界面可以包括图形用户界面。

所述数据处理系统可以包括显示设备，可以被配置为向用户展示关注区域和/或依据所述图形、依据一或多个顶点集和/或依据鉴别的顶点集的数目确定的一或多个图示。例如，所述图示可以是热图，或者可以示出所述图形、顶点集和/或鉴别的顶点集的数目。所述图示和所述图像数据的至少一部分可以同时显示在显示器上。所述图示与所述图像数据的至少一部分可以重叠显示。所述数据处理系统可以被配置为接收用户输入，以选择显示给用户的关注区域。举例来说，例如，用于选择关注区域的所述用户输入可以指示关注区域相对于由显微图像数据表示的图像区域的缩放水平和/或位置。所述数据处理系统可以进一步被配置为依据接收的用于选择视野的用户输入，更新显示给用户的图示。

另外或替代地，所述系统可以包括用于获取所述图像数据的图像获取单元。所述图像获取单元可以被配置为显微镜。所述显微镜可以以至少5倍或至少10倍的放大倍率操作。放大倍率可以小于500倍或小于200倍。所述显微镜可以是扫描仪，特别是显微镜载片扫描仪。所述显微镜可以被配置用于透射和/或反射成像。所述图像从组织样品获取。所述组织样品可得自人体或动物机体区域。所述图像数据可以包括灰度图像数据和/或彩色图像数据。所述图像数据可以显示生物细胞和/或组织部分。所述显微图像数据可具有足以确定直径为5微米的细胞核的位置和/或形状的分辨率。所述显微图像数据可具有优于5微米或优于3微米或优于2微米的分辨率。所述组织样品可以是组织切片。所述生物细胞可包括肿瘤细胞和/或免疫细胞。

所述顶点可以使用所述图像数据的至少一部分确定。每个所述顶点可以代表所述图像中的一个点。所述顶点的确定可以包括鉴别所述图像数据中的一或多个关注实体。例如，关注实体可以是细胞、细胞核、细胞簇或组织部分。所述顶点的确定还可包括将每个关注实体指派给多个预定类别的关注实体之一。关注实体的类别可以是但不限于以下一种或组合：免疫细胞(或免疫细胞核或免疫细胞簇)，肿瘤细胞(或肿瘤细胞核或肿瘤细胞簇)，基质细胞(或基质细胞核或基质细胞簇)，肿瘤组织，健康组织(即非肿瘤组织)，上皮组织，内皮组织和基质组织。

所述关注区域可以是由所述显微图像数据表示的图像区域的至少一部分。

所述顶点和/或关注实体的确定可以自动地进行或交互地进行，即使用经用户界面接收的用户输入。可以经图形用户界面接收用户输入。例如，确定所述顶点和/或关注实体可以包括图像处理操作，如应用于图像数据的至少一部分的边检测和/或分割。另外或替代地，确定所述顶点和/或关注实体可以使用神经网络进行，特别是卷积神经网络和/或统计数据分析，例如聚类分析。

可以依据至少一部分生成的顶点、特别是依据至少一部分所述顶点的位置生成所述图形的边。所述图形可以是无向图。然而，也可以设想所述图形是有向图。

可以交互地生成所述图形的边(即需要经由用户界面的用户干预)。所述数据处理系统可以被配置为使用所述数据处理系统的显示设备为用户呈现关注区域的至少一部分和/或使用所述图形、顶点集和/或鉴别的顶点集的数目确定的图示。至少一部分图示可以覆盖关注区域的显示部分。所述数据处理系统可以被配置为接收指示一或多个参数的用户输入，所述参数由所述数据处理系统用于确定所述多个顶点、生成所述图形的边和/或鉴别所述顶点集。例如，所述数据处理系统可以接收指示阈值的用户输入。所述数据处理系统可以依据所述阈值确定一对或多对顶点是否生成与该顶点对相关联的边。

鉴别所述图形的一个或多个顶点集。例如，每个顶点集可以表示所述图形的连通分支(connected component)，即孤立的子图。但是，也可以考虑将另外或替代标准应用于鉴别所述顶点集。

确定确定的顶点集或连通分支的数目。所确定的数目可以在1和顶点数目之间的范围，已依据所述图像数据确定。

根据一个实施方案，所述数据处理系统进一步被配置为根据确定的生成的顶点集的数目对一个或多个关注实体和/或关注区域进行分类和/或评级。所述数据处理系统可以被配置为对包含于关注区域中的至少一个组织部分分类和/或评级和/或对包含于关注区域中的至少一个细胞进行评级。分类的类别可以包括但不限于以下的一种或组合：免疫细胞(或免疫细胞核或免疫细胞簇)，肿瘤细胞(或肿瘤细胞核或肿瘤细胞簇)，基质细胞(或基质细胞核或基质细胞簇)，肿瘤组织，健康组织(即非肿瘤组织)，上皮组织，内皮组织和基质组织。所述评级可以包括确定概率。所述概率可以是关注区域和/或一或多个关注实体表示异常组织/细胞例如癌性组织/细胞而不是正常组织/细胞的概率。所述评级可以包括肿瘤分级。肿瘤分级可以被定义为基于肿瘤细胞和/或肿瘤组织异常程度的肿瘤描述。所述数据处理系统可以被配置为依据分类和/或依据评级生成图示。例如，所述图示是热图。所述图示可以由所述数据处理系统在显示设备上显示。所述图示可以与至少一部分图像数据同时和/或以重叠方式显示。

根据进一步的实施方案，a)每个鉴别的顶点集由顶点组成，由此每对顶点通过一或多条生成的边连接；和b)鉴别的顶点集不由所述图形的边相互连接。上述条件a)和b)可以表示图形的连接分支的定义，由此每个鉴别的顶点集都可表示一个孤立的子图。

根据进一步的实施方案，所述图形的生成包括根据预定度量依据一对顶点之间的距离值确定这对顶点是否生成与这对顶点相关的边。预定度量可以是欧几里得度量。可以针对每对顶点确定是否生成边。

根据进一步的实施方案，所述确定是否生成边包括将所述距离值与预定阈值进行比较。例如，如果所述距离值等于或小于预定阈值，则生成边，如果所述距离值超过预定阈值，则不生成边。

根据进一步的实施方案，所述数据处理系统进一步被配置为生成多个图形。对于每个图形，各个图形的生成可以包括生成多条边，其中每条边具有与之相关联的多个顶点中的两个顶点。所述数据处理系统可以进一步被配置为针对每个图形及根据为各个图形生成的边来鉴别一个或多个顶点集，每个顶点集由所述多个顶点中的一个或多个顶点组成。所述数据处理系统可以进一步被配置为每个图形生成鉴别的顶点集的数目。

根据进一步的实施方案，所述数据处理系统被配置为确定对所有或部分生成的图形确定的鉴别的顶点集的数目的总和。另外或替代地，所述数据处理系统被配置为确定不同图形的鉴别的顶点集的两个确定数目之间的差异。

根据进一步的实施方案，对于每个图形，各个图形的生成包括：依据一对顶点之间根据预定度量的距离是否小于为各个图形预定的阈值，从而确定这对顶点是否生成与这对顶点相关联的边。所述预定度量可以是欧几里得度量。用于生成所述图形的预定阈值可以彼此不同。

根据进一步的实施方案，所述图形的生成包括依据至少一部分所述顶点生成单位圆盘图。单位圆盘图可以定义为由欧几里得平面中的顶点集合形成的图形，其中如果两个顶点的距离低于固定阈值，则连接这两个顶点。

根据进一步的实施方案，图形的生成包括依据至少一部分所述顶点生成维诺(Voronoi)图。

根据进一步的实施方案，顶点的确定包括确定这样的顶点，由此a)每个顶点对应于免疫细胞，特别是对应于关注区域中包含的免疫细胞的细胞核；或b)每个顶点对应于肿瘤细胞，特别是对应于关注区域中包含的肿瘤细胞的细胞核。

根据进一步的实施方案，确定边，由此每条边与一对不同的预定细胞类型相关联。例如，所述预定细胞类型可以包括肿瘤细胞和免疫细胞。

根据进一步的实施方案，每个顶点表示关注区域中包含的细胞或细胞核。

根据进一步的实施方案，所述数据处理系统进一步被配置为确定组织样品的多个关注区域中每个区域的顶点集数目。所述数据处理系统可以进一步被配置为依据所述多个关注区域的顶点集的确定的数目生成所述多个关注区域的分布图(map)。

根据进一步的实施方案，所述系统包括图像获取单元，其被配置为接收样品，所述样品包括生物细胞。所述样品可以被放置在显微镜载玻片上，并且所述图像获取单元可以被配置为接收所述显微镜载玻片。所述图像获取单元可以被配置为对所述生物细胞进行成像。所述图像获取单元可以被配置为从所述生物细胞获取图像数据。所述图像数据可以是显微图像数据。或者，可以使用由所述图像获取单元获取的图像数据，例如通过使用图像处理系统，来生成显微图像数据。

实施方案提供一种分析从生物细胞获取的显微图像数据的方法。使用数据处理系统进行所述分析。所述方法包括使用所述数据处理系统读取所述图像数据。所述方法还包括使用所述数据处理系统确定多个顶点，其中每个顶点表示关注实体在所述图像数据的关注区域内的位置。所述方法还包括使用所述数据处理系统生成图形，其中图形的生成包括生成多条边。每条边具有与其关联的多个顶点中的两个。所述方法还包括，使用数据处理系统及依据针对图形生成的边，鉴别多个顶点集，每个顶点集由多个顶点中的一个或多个顶点组成。所述方法还包括使用所述数据处理系统确定鉴别的顶点集的数目。

实施方案提供了一种分析从生物细胞获取的显微图像数据的程序元件。使用数据处理系统进行所述分析。所述程序元件当由所述数据处理系统的处理器执行时，其被调适以进行：读取所述图像数据及确定多个顶点，其中每个顶点表示关注实体在所述图像数据的关注区域内的位置。所述程序元件进一步被配置为生成图形，其中图形的生成包括生成多条边。每条边具有与其关联的多个顶点中的两个。所述程序元件进一步被配置为依据为图形生成的边来执行鉴别多个顶点集，每个顶点集由所述多个顶点中的一个或多个顶点组成。所述程序元件进一步被配置为确定鉴别的顶点集的数目。

实施方案提供了一种计算机可读介质，其上存储有如先前段落中描述的计算机程序元件。

本公开涉及如下实施方案。

条款1：一种用于分析从生物细胞获取的显微图像数据的系统，所述系统包括数据处理系统，所述数据处理系统被配置为：读取所述图像数据；确定多个顶点，其中每个顶点表示关注实体在所述图像数据的关注区域内的位置；生成图形，其中图形的生成包括生成多条边，其中每条边具有与之关联的多个顶点中的两个；依据为所述图形生成的边，鉴别多个顶点集，每个顶点集由所述多个顶点中的一个或多个顶点组成；以及确定鉴别的顶点集的数目。

条款2：根据条款1所述的系统，其中所述数据处理系统进一步被配置为依据生成的顶点集的确定的数目，对关注区域中包含的至少一个组织部分、关注区域中包含的细胞、关注区域中包含的一组细胞和/或关注区域进行分类和/或评级。

条款3：根据条款1或2所述的系统，其中：a)每个鉴别的顶点集由一个顶点或多个顶点组成，由此每对顶点之间通过图形的一或多条边连接；及b)鉴别的顶点集不由图形的边相互连接。

条款4：根据前述任一条款所述的系统，其中所述图形的生成包括依据一对顶点之间根据预定度量的距离值确定这对顶点是否产生与这对顶点相关联的边。

条款5：根据条款1-4任一项所述的系统，其中所述数据处理系统进一步被配置为：生成多个图形，其中对于每个图形，各个图形的生成包括生成多条边；其中每条边具有与之关联的多个顶点中的两个顶点；对于每个图形及依据为各个图形生成的边，鉴别一个或多个顶点集，每个顶点集由所述多个顶点中的一个或多个顶点组成；以及为每个图形生成鉴别的顶点集的数目。

条款6：根据条款5所述的系统，其中所述数据处理系统进一步被配置为确定：所有或部分生成的图形的鉴别的顶点集的确定的数目的总和；和/或不同图形的鉴别的顶点集的确定数目中的两个之间的差异。

条款7：根据条款5或6所述的系统，其中对于每个图形，各个图形的生成包括：依据一对顶点之间根据预定度量的距离是否小于为各个图形预定的阈值，确定这对顶点是否生成与这对顶点相关联的边；其中所述图形的预定阈值彼此不同。

条款8：根据前述任一条款所述的系统，其中所述数据处理系统包括显示设备，及进一步被配置为向用户显示依据所述图形(1，33)、依据一个或多个所述顶点集和/或依据鉴别的顶点集的数目确定的一或多个图示。

条款9：根据前述任一条款所述的系统，其中所述图形的生成包括：依据至少一部分所述顶点生成单位圆盘图；和/或依据至少一部分所述顶点生成维诺图。

条款10：根据前述任一条款所述的系统，其中确定顶点包括确定这样的顶点，由此：a)每个顶点对应于关注区域中包含的免疫细胞；或者b)每个顶点对应于关注区域中包含的肿瘤细胞。

条款11：根据前述任一条款所述的系统，其中：确定边，由此每条边与一对不同的预定细胞类型相关联；和/或每个顶点表示关注区域中包含的细胞核。

条款12：根据前述任一条款所述的系统，其中所述系统包括图像获取单元，其被配置为：接收样品，包括细胞；以及为所述细胞成像。

条款13：一种分析从生物细胞获取的显微数据的方法，其中使用数据处理系统进行所述分析，所述方法包括：使用所述数据处理系统读取所述图像数据；使用所述数据处理系统确定多个顶点，其中每个顶点表示关注实体在所述图像数据的关注区域内的位置；使用所述数据处理系统生成图形，其中所述图形的生成包括生成多条边，其中每条边具有与之关联的多个顶点中的两个；使用所述数据处理系统，依据为所述图形生成的边，鉴别多个顶点集，每个顶点集由所述多个顶点中的一个或多个顶点组成；以及使用所述数据处理系统确定鉴别的顶点集的数目。

条款14：用于分析从生物细胞获得的显微数据的程序元件，其中使用数据处理系统进行所述分析，其中当所述程序元件由所述数据处理系统的处理器执行时，被调适于执行：读取所述图像数据；确定多个顶点，其中每个顶点表示关注实体在所述图像数据的关注区域内的位置；产生图形，其中图形的生成包括生成多条边，其中每条边具有与之相关联的多个顶点中的两个；依据为所述图形生成的边，鉴别多个顶点集，每个顶点集由所述多个顶点中的一个或多个顶点组成；以及确定鉴别的顶点集的数目。

条款15：一种计算机可读介质，其上存储有条款14的计算机程序元件。

附图简述

图1A是乳腺组织的H&E染色部分的显微照片，示出生物细胞的密度分布；

图1B和1C示出不同关注区域的组织部分的热图，其中所述热图示出各个关注区域内免疫细胞的密度分布；

图2是用于分析组织样品的示例性方法的流程图；

图3A是依据根据示例性方法确定的多个顶点确定的第一单位圆盘图；

图3B是使用与用于产生图3A所示图形相同的顶点产生的第二单位圆盘图，但是使用不同的阈值用于生成所述图形的边；

图4A和4B图示说明根据另一种示例性方法生成图形，其中基于依据图像数据确定的顶点生成维诺图；

图5A和5B是不同度量的图示说明，这些度量是从孤立子图数目的依赖性计算的，其是基于同一组顶点相对于用于生成各个图形的边的阈值而确定的；及

图6是根据示例性实施方案用于分析从生物细胞获取的显微图像数据的系统的图示说明。

实施方案详述

图6图示说明了根据示例性实施方案的用于分析从生物细胞获取的显微图像数据的系统40。系统40包括可以配置为独立计算机的数据处理系统41。然而，也可以想到的是数据处理系统41被配置为分布式计算机系统，其使用计算机网络49如因特网或局域网(LAN)被执行。

数据处理系统41包括显示设备42和输入设备如键盘43和计算机鼠标44，可以经由数据处理系统41的图形用户界面进行用户交互。

数据处理系统41被配置为读取使用图像获取单元45生成的显微图像数据。在示例性实施方案中，图像获取单元45是显微镜载玻片扫描仪，例如整个载玻片扫描仪，其被配置为获取置于显微镜载玻片46上的生物细胞的图像。应理解的是本发明不限于载玻片扫描仪。可以设想其他种类的显微镜用于从生物细胞获取图像数据。可以进一步设想使用显微镜以外的其他图像获取技术。例如，非显微图像数据可以由图像获取单元生成，并使用计算机算法转换成显微图像数据，所述计算机算法可以在数据处理系统41中执行。显微图像数据可以包括灰度图像数据和/或彩色图像数据。

物体47包括生物细胞，及可以是取自活检或切除材料的组织样品，由此系统40用于检视组织病理学图像。但是，也可以设想物体47是在显微镜载玻片46上制备的涂片例如Pap涂片。如图6进一步所示，在获取图像之前，使用染色剂48对物体47染色。。

图1A是乳腺组织样品的图像，使用图像获取单元45获取(如图6所示)。图1A中示出的图像是整个载玻片图像的一部分，示出表示肿瘤微环境的关注区域。如前所述，在获取图像数据之前对组织样品进行染色。为获取图1的图像，使用H&E染色区分具有不同形态外观的细胞。另外或替代地，也可以设想使用免疫组织化学染色对具有相似外观的细胞进行子类型化。

图1A示出具有高肿瘤细胞密度的第一区域50、中等水平肿瘤细胞密度的第二区域51和低肿瘤细胞密度的第三区域52的关注区域的肿瘤细胞的非均匀密度分布。由于肿瘤微环境包括细胞密度水平差异很大的区域，因此确定在整个关注区域的平均细胞密度导致有价值信息的丢失，因此未产生具有足够高预测值的肿瘤微环境的鉴定。在下文结合图1B和1C所示的免疫细胞的密度分布对此进一步讨论。

已经显示出肿瘤组织不仅由肿瘤细胞组成，而且包含多种细胞，这些细胞被肿瘤细胞募集以使肿瘤生长，或者被宿主的免疫应答募集以应对异常情况。已经表明，由免疫细胞表示的肿瘤微环境内的空间背景对癌症发展有重要影响。因此，免疫系统的应答对于预后及预测对新类型癌症治疗如检查点阻断免疫疗法和其他免疫疗法的应答具有十分重要的意义。

图1B示出了从组织切片获取的图像数据，及示出说明关注区域上免疫细胞的密度分布的热图。所述热图示出局部的“热点”(即图1B中的基本为白色的区域)，指示存在高密度的肿瘤浸润淋巴细胞(TIL)的区域。

图1C示出了另外的图像数据，其从与图1B中所示图像数据相同的组织切片中获取，但是取自不同的关注区域。以与图1B的图像数据相同的方式，图1C的图像数据示出说明第二关注区域上免疫细胞的密度分布的热图。

通过比较图1B和1C可以看出，在第一和第二关注区域中免疫细胞的密度分布是显著不同的。但是，已经表明热图本身对于病理学评估图1B和1C的关注区域的微环境之间的差异不太有用。

鉴于此，本发明人发现可以评估肿瘤微环境以确定一个或多个参数值，其可以有效和可靠地诊断和预后。所述参数值可以代表肿瘤微环境的评分和/或可以用于比较不同的肿瘤微环境，即不同的关注区域。举例来说，所确定的参数值可以涉及肿瘤细胞和/或免疫细胞的空间排列和/或涉及肿瘤细胞嵌入基质组织中。下文结合图5A和5B对此进行详细解释。

因此，所确定的参数值可用于为病理学家提供各种类型的信息。例如，所确定的参数值可用于对癌症的组织病理学特征进行定量分析，或者甚至可以帮助估计患者的存活率。

具体而言，确定的参数值可用于鉴定免疫细胞提供的微环境内肿瘤的空间背景。已经发现这种空间背景对于癌症发展至关重要。举例来说，在各种类型的癌症中，肿瘤浸润淋巴细胞的丰度和空间位置与良好预后相关。此外，已经表明肿瘤浸润淋巴细胞的空间模式与肿瘤边缘处的特定生长模式相关。

例如，可以确定一个或多个参数值，这些参数值指示细胞或者一或多种选择的细胞类型的聚集程度，或者指示关注区域内组织或者一或多种选择的组织类型的片段化程度。细胞类型的示例是肿瘤细胞、免疫细胞和基质细胞。组织类型的示例可以是肿瘤组织、正常组织和基质组织。

已经表明，所确定的参数值可以以定量方式鉴定关注实体如细胞或组织部分的密度分布，从而可以比较不同关注区域的密度分布。可以在不同的缩放水平鉴定密度分布。举例来说，细胞的密度分布可以在较高的缩放水平鉴定，以及组织部分的密度分布可以在较低的缩放水平鉴定。

还已经表明，本发明设想的方法和系统可以应用于细胞学领域，特别是用于评估Pap检验。特别地，所设计的方法和系统可以有利地用于评估细胞簇的特性。

图2示出了用于使用数据处理系统分析组织样品的示例性方法100的流程图。数据处理系统包括处理器，其被配置为执行指令以实施示例性方法。一或多个或全部所描述的步骤均可以自动地或交互地执行。

数据处理系统读取110从组织切片获取的图像数据。组织切片可通过活检或切除获得。可以使用图像获取单元(在图6中参照数字45所示)获取图像数据，所述图像获取单元可以是整个载玻片扫描仪。依据所获取的图像数据，可以自动或交互地确定关注区域。还可以设想可以使用除了显微镜和/或其他显微镜检以外的其他图像获取技术从组织切片中获取图像数据。

关注区域可以代表其中存在肿瘤的肿瘤微环境即细胞环境的切片。微环境可以包括血管、免疫细胞、成纤维细胞、淋巴细胞和/或细胞外基质(ECM)之一或组合。已经表明，肿瘤与周围微环境密切相关并彼此相互作用。

然后，数据处理系统根据图像数据确定120多个顶点，每个顶点表示关注实体在关注区域内的位置。所述多个顶点由此形成二维点云。关注实体可以包括或可以由以下组成：细胞，细胞核，一组细胞(例如细胞簇)或组织部分。确定顶点的步骤可以由数据处理系统自动或交互地执行。可以使用数据处理系统的图形用户界面来执行交互式确定。

顶点的确定可包括图像数据中关注实体的细分(segmentation)。可以使用如边缘检测的图像处理操作进行细分。可以使用如深度卷积神经网络之类的神经网络进行细分。

对于至少一部分细分的关注实体，可以确定各个关注实体形态的一或多个形态学参数。所述一或多个形态学参数可以是以下参数：细分的关注实体内获取的图像数据的强度，细分的关注实体内获取的图像数据的颜色外观(如色调，色彩，色度，饱和度，明度和/或亮度)，细分的关注实体内图像数据的纹理和/或细分的关注实体的形状。形状参数可以包括和/或可以取决于：细分的关注实体的面积，细分的关注实体的偏心率(例如在关注实体的形状已接近椭圆形之后确定)，细分的关注实体的最小直径和/或细分的关注实体的最大直径。

依据所述一个或多个形态学参数，关注实体可以被分类为多种关注实体预定类别之一。这些类别例如是肿瘤细胞，免疫细胞和基质细胞。

对于至少一部分关注实体中的每一个，可以确定一或多个顶点。每个顶点可以表示关注实体在关注区域内的位置。可以根据已经指定给关注实体的类别来进行确定。举例来说，可以仅针对预定类别的子集生成顶点。因此，例如顶点可以表示关注区域内肿瘤细胞的分布。

依据确定的多个顶点，生成130一或多个图形。通常，图形是相当于一组对象的结构，其中一些成对的对象对在某种意义上是“相关的”。这些对象对应于称为顶点的数学抽象(也称为节点或点)，每对相关的顶点称作边(也称为弧或线)。图形可以以图表形式描绘为通过边的直线或曲线连接的顶点的一组点或圆。

在示例性方法中，一个或多个生成的图形的每一个均基于在步骤120中确定的顶点生成及使用边生成标准生成130边。不同图形的边生成标准不同，因此尽管这些图形基于同一组顶点，但其彼此不同。另一方面，使用相同的边生成标准生成图形中的每条边。因此，用于生成图形的边的边生成标准表征了所述图形。

下文参考图3A和3B更详细地描述生成130图形的步骤。图3A示出了第一图形1，其是基于在步骤120中确定的顶点如图3A中所示的顶点2而生成的。图形1包括多条边，例如边6，其中每条边连接一对顶点。图形1的边生成标准如下：对于每对顶点，如果各对顶点之间的欧几里得距离小于或等于预定阈值R₁，则为各对顶点生成边。如图3A所示，顶点7和8之间的欧几里得距离等于R₁。因此，数据分析系统为这对顶点7和8生成一条边。另一方面，顶点8和9之间的欧几里得距离大于R₁，因此对于这对顶点8和9不生成边。

因此，预定阈值R₁表示生成图形1的边的预定阈值，通过将一对顶点之间的距离与预定阈值R₁进行比较生成图形1的边。

使用上述边生成标准生成的图形如图形1通常称为单位圆盘图。

从图3A中可以看出，应用上述边生成标准形成图形1产生相互独立的多个孤立子图3、4和5。举例来说，关于子图3和4，一方面子图3的任一顶点与另一方面子图4的任一顶点之间生成的边不提供连接。在图论中，这种孤立子图通常表示为“连通分支”。

如上所述，由于图形的边生成标准彼此不同，因此生成了多个不同图形，每个图形具有相同的顶点但是不同的边排列。通过对比图3A的图形1与图3B示出的使用第二边生成标准生成的图形33可以看出这一点。所述第二边生成标准如下：对于在步骤120中确定的每对顶点，如果各对顶点之间的欧几里得距离小于或等于预定阈值R₂，则为各对顶点生成边。在示例的实例中，R₂小于用于生成图3A所示图形1的R₁。因此，在图3B中所示图形2中，为一对顶点9和18(具有的距离等于R₂)生成了边19，而对一对顶点7和8未生成边(对这对顶点在图1中生成边20，从图3A中可见)。

从图3B中可以看出，应用上述边生成标准形成图形33产生多个孤立子图3、5、10、12、13、14、16、17、36、37、38，其彼此相互不连接。通过对比图形1(图3A所示)与图形33(图3B所示)，可以进一步看出用于生成图形的不同边生成标准导致不同数目的孤立子图。

从图3A和3B还可以看出，每个孤立子图对应于一个顶点集，由此每个图形包括一个或多个顶点集。对于图形1和33，顶点集的数目是不同的。本发明人发现，顶点集的数目可以有利地用于评估关注区域，特别是用于比较不同的关注区域。因此，示例性方法100(图2所示)包括鉴别140顶点集及针对每个图形(即针对每个边生成标准)确定150生成的孤立子图(即顶点集)的数目。这些步骤可以由数据处理系统自动或交互地执行。交互操作可以例如使用数据处理系统的图形用户界面进行。

应注意，本发明不限于如图3A和3B所示的单位圆盘图。在另一示例性方法中，如下文参考图4A和4B所讨论的，使用维诺图确定所述图形。

图4A示出了维诺图34，其基于在图4A中由点表示的多个顶点(如顶点21)确定。维诺图34精确包括每个顶点的一个维诺区域(例如顶点21和23的维诺区域24和26)。通常，维诺图34由平面中的一组给定的顶点指明。相邻维诺区域之间的边界，例如维诺区域24和26之间的边界22，均由直线线段构成。边界(例如边界22)上每个点与相邻维诺区域(维诺区域24和26)的每个顶点(顶点21和23)具有相等的距离。换句话说，对于每个顶点，都有一个对应的维诺区域，所述区域由比任何其它顶点更接近于所述顶点的所有点组成。

如图4A所示，存在无限延伸的维诺区域，例如区域25。此外，如果相邻维诺区域的顶点相隔较大距离，则维诺区域可以相对较大。如图4B所示，在另一示例方法中，修改了维诺图，以使每个维诺区域均具有从所述区域的顶点开始测量的最大预定半径R₃。因此，图4B的维诺图是以半径为边界的维诺图35，其中每个维诺区域在空间上由相同最大半径R₃为边界。因此，对于每个区域，各个边界由直线线段(定义维诺区域的直接邻域(directneighbor))和/或曲率半径为R₃的圆弧(例如弧27)组成。

以半径为界的维诺图35允许对更好得多地模拟真实细胞组织的结构进行建模。其原因在于病理图像可能包括不存在细胞的区域这一事实。这种区域可涉及充满液体的腔、空腔、脂肪组织等。每当这种区域很大时，假设这个区域相对侧的细胞是直接邻域是不现实的。

基于图4B所示的以半径为界的维诺图35，在另一示例性方法中，通过连接相邻维诺区域的顶点构建图形。这产生了图4B所示图形28。最大半径R₃提供了用于生成所述图形的边的阈值。如果两个顶点之间的距离大于最大半径R₃的两倍，则相应维诺区域不能是相邻区域，从而注意到其彼此通过一条边连接。

与单位圆盘图(如图3A和3B中所示的图形)相比，在使用维诺图生成的图形中，如果有一个或多个其他顶点位于两个顶点之间，则避免了这两个顶点是邻域。

以关于图3A和3B所示的单位圆盘图如描述的相同方式，根据另一示例性实施方案的使用半径为界的维诺图生成的图形也可以产生一个或多个彼此互不连接的孤立子图。同样对于另一示例性实施方案，数据处理系统被配置为确定150顶点集的数目，即所述图形的孤立子图的数目。可以生成多个图形，每个图形均与用于确定以半径为界的维诺图的不同最大半径相关。

如图3A、3B和4B所示图形所证明的，每个图形均由长度等于或小于最大长度的边组成，这是各个图形的特征。使用欧几里得度量测量最大长度。但是，也可以设想使用除了欧几里得度量之外的其他度量来定义图形。

如下文关于图5A和5B所详细描述的，依据确定的孤立子图的数目，数据处理系统被配置为对关注区域进行分类和/或评级。确定的评级和/或分类可以用于诊断和/或预后。

图5A示出了曲线29，其针对多个图形的每个图形示出了孤立子图的数目(在图5A中指定为n)相对于用于生成各个图形的边的阈值(在图5A中指定为R)的曲线，其中每个图形具有相同的顶点(如图2所示步骤110中确定)。因此，曲线29对应于从关注区域的图像数据确定的一组顶点及对应于依据这组顶点确定的多个不同的图形。

从图5A可见，对于小于顶点对之间的所有距离中的最短距离R₄的阈值，孤立子图的数目为N，这是关注区域中包含的顶点的数目。另一方面，对于等于或大于顶点对之间所有距离中的最大距离R5的阈值R，所述图形是完全连接的，因此孤立子图的数目正好为1。

本发明人已经表明，可以分析曲线29的形状以获得对关注区域的分类和/或评级。分类和/或评级可以用于诊断和/或预后。本发明人已经进一步表明，从曲线29的形状计算出的参数值可以用于比较不同的关注区域。

举例来说，本发明人已经发现，曲线29在阈值区间例如从0-R₅区间的积分产生一个值，其与关注实体(例如细胞)聚集排列程度相关。高度聚集表示组织的高度片段化。从0-R₅的积分对应于图5A所示的阴影线区域31。

特别地，较高积分值表明关注实体在关注区域上相对均匀地分布，而较低积分值表示相对高度聚集。这可以比较不同关注区域之间的聚集程度或片段化程度。

这种比较在图5B中示出，除了曲线29之外，其还示出了第二曲线30，其与第二关注区域相关，即从相同或不同组织样品确定的第二组顶点。与第一曲线29相比，第二曲线30在小阈值R示出比曲线29陡得多的下降。在小阈值R的更陡下降导致较低的积分值，因为根据定义，代表孤立子图数目的曲线必须随着阈值增加而单调减少。

曲线的斜率表明随着阈值R增加时组织片段化改变的速率。如图5A所示，在曲线29中，R₆和R₇之间阈值的孤立子图的数目基本恒定，从而形成平台段。在阈值R₇处，曲线29随着阈值R增加而开始进一步下降。这表明在关注区域中存在多个孤立的高密度区域或聚集，其以基本上是R₇的最小距离彼此分隔。因此，可以使用在不同阈值的孤立子图数目之间的差异来确定关注实体的高密度区域或聚集之间的最小分隔距离。例如，所述差异可用于鉴别平台段和/或确定斜率值。

从图5A中还可以看出，曲线29示出了在阈值R₈和R₉之间的急剧下降区域，其之前是相对较浅下降的区域。这表明在较高阈值下进一步的片段化或聚集形成水平。由此所述示例性方法使得可以在不同缩放水平分析图像数据，特别是分析聚集形成和/或组织片段化。

根据本文所述的方法，从不同的关注区域的图像数据得出的参数值可以用于生成一部分或甚至整个组织切片的热图。因此，热图是可以同时显示的图示，特别是以与至少一部分显微图像数据重叠的方式。这些参数的示例是在全部或部分生成的图形中鉴别的顶点集的确定的数目的总和(如在阈值区间如图5A和5B所示的曲线29上的积分)；和/或不同图形的鉴别的顶点集的两个确定的数目之间的差异(例如曲线29的斜率)。

另外或替代地，所述数据处理系统可以被配置为对关注区域包含的至少一个组织部分、关注区域包含的细胞、关注区域包含的一组细胞和/或关注区域进行分类和/或评级。所述数据处理系统可以被配置为依据所述分类和/或评级和/或所述分类和/或评级的指示来生成热图。因此，热图是可以同时显示的图示，特别是以与至少一部分显微图像数据的重叠方式。

举例来说，强度图的强度值对应于相同的阈值。另外或替代地，参数值也可以用于比较取自相同或不同患者的不同样品。以此方式，例如可以做出关于病变的异质性或者不同病变之间的异质性的陈述。

在根据所述方法的进一步示例性实施方案的方法中，在图2所示的步骤120中，确定顶点，由此每条边与由不同类别的关注实体组成的一对顶点相关联(即所述边连接这对顶点)。已经表明，这使得可以研究预期具有生物学相互作用的所选细胞或组织类型的邻近性。

举例来说，可以生成边，由此每条边与由免疫细胞和肿瘤细胞组成的一对顶点相关。可以使用这个示例性实施方案研究的这种生物学相互作用的一个实例是细胞毒性T细胞和肿瘤细胞之间的相互作用。举例来说，可以为组织切片生成热图，对每个位置，其示出对于阈值的孤立子图的数目，所述阈值对应于两类细胞之间的预定最大相互作用距离。由此，可以鉴别组织载玻片上存在所述细胞类别的细胞之间的高度相互作用的位置。

进一步可以设想为了确定顶点，使用分类器来区分不同细胞类别和/或不同组织类别。对于每个关注实体，这可以通过数据处理系统对各个关注实体进行分类。举例来说，数据处理系统可以被配置为对每个细胞进行分类和/或对特定类别的细胞的环境(context)进行分类。数据处理系统然后可以生成由均具有相同环境类别的关注实体组成的图形。

所述数据处理系统可以包括显示设备及可以被配置为向用户呈现至少一部分关注区域和/或依据图形、依据一个或多个顶点集和/或依据鉴别的顶点集的数目确定的一个或多个图示。所述显示设备可以包括平板显示器。至少一部分所述图示可以覆盖在关注区域的显示部分上。

显示的图示可以是例如图形的图示(即通过显示顶点和边，例如图3A、3B、4A或4B所示)和/或一个或多个确定的顶点集的图示。顶点集的图示可以示出顶点集的顶点的位置或不同顶点集的顶点的位置，其中所述图示表明哪些顶点是同一顶点集的成员。另外或替代地，可以显示示出了顶点集的数目(即孤立子图的数目)相对于阈值(例如图5A中所示)的曲线的图示。所述图示可以涉及由显示设备显示的至少一部分关注区域。这使得用户可以将所述图示与关注区域进行比较。

所述数据处理系统可以进一步被配置为接收用户输入，以选择显示给用户的关注区域的部分。举例来说，用户输入可以指示缩放水平和/或指示图像数据内的视野位置。所述数据处理系统可以进一步被配置为响应于选择视野的用户输入以依据用户输入而更新显示给用户的一个或多个图示。可以与用户输入以时间关系、特别是实时进行更新，以选择关注区域。这使得用户可以有效方式浏览图像数据以鉴别用于后续分析的感兴趣的视野。

确定顶点(图2中的步骤120)和/或生成图形的边(图2中的步骤130)可以交互地进行(即需要通过用户界面的用户干预)。所述数据处理系统可以被配置为使用所述数据处理系统的显示设备向用户呈现关注区域的至少一部分。所述数据处理系统可以被配置为接收指示一个或多个参数的用户输入，其被所述数据处理系统用来确定多个顶点，以生成图形的边和/或鉴别顶点集。举例来说，所述数据处理系统可以接收指示阈值的用户输入。所述数据处理系统可以依据阈值确定对于一对或多对顶点是否生成与所述顶点对相关联的边。

另外或替代地，所述数据处理系统可以被配置为接收对关注区域进行细分的用户输入以进行顶点的确定(图2中的步骤120)。举例来说，用户输入可以代表边检测滤波器的一个或多个参数。

鉴于前述内容，本发明提供了一种方法和系统，其可以对组织样品进行有效可靠的分析以及增强诊断和预后。

上述实施方案仅是示例说明性的，不意图限制本发明的技术方法。尽管参考所述优选实施方案详细描述了本发明，但是本领域技术人员将理解，在不脱离本发明权利要求的保护范围的情况下，可以对本发明的技术方法进行修改或等价地替换。特别地，尽管已经基于投影摄片技术描述了本发明，但是本发明可以应用于产生投影图像的任何成像技术。在权利要求中，单词“包括”不排除其他元件或步骤，不定冠词“a”或“an”不排除多个。权利要求中的任何参考标号都不应被解释为限制了本发明范围。

Claims (15)

1.一种用于分析从生物细胞获取的显微图像数据的系统(40)，所述系统(40)包括数据处理系统(41)，其被配置为：

读取(110)所述图像数据；

确定(120)多个顶点(2，7，8)，其中每个顶点(2，7，8)表示关注的实体在所述图像数据的关注的区域内的位置；

生成多个图形(1，33)，其中对于每个图形(1，33)，各个图形(1，33)的生成包括生成多条边，其中每条边具有与之相关联的多个顶点中的两个顶点；

其中，每个图形(1，33)包括针对各个图形生成的多条边和多个顶点；

对于每个图形(1，33)及根据对各个图形生成的边，鉴别一或多个顶点集，每个顶点集由所述多个顶点中的一或多个顶点组成；以及

对每个图形(1，33)生成鉴别的顶点集的数目。

2.根据权利要求1的系统(40)，其中所述数据处理系统(41)进一步被配置为确定对全部或部分生成的图形鉴别的顶点集的确定的数目的总和。

3.根据权利要求2的系统，其中所述数据处理系统进一步被配置为依据所确定的总和，对关注的区域中包含的至少一个组织部分、关注的区域中包含的细胞、关注的区域中包含的一组细胞和/或关注的区域进行分类和/或评级。

4.根据前述权利要求任一项的系统(40)，其中所述数据处理系统(41)进一步被配置为确定不同图形的鉴别的顶点集的两个确定的数目之间的差异。

5.根据权利要求4的系统，其中所述数据处理系统(41)进一步被配置为依据所确定的差异，对关注的区域中包含的至少一个组织部分、关注的区域中包含的细胞、关注的区域中包含的一组细胞和/或关注的区域进行分类和/或评级。

6.根据前述权利要求任一项的系统(40)，

其中所述图形的生成包括：依据所述顶点生成维诺图(34)；

其中所述维诺图(34)恰好包含对于每个顶点的一个维诺区域；以及

其中每个图形均基于所述维诺图生成。

7.根据权利要求6的系统(40)，其中每个图形均构建自各自以半径为界的维诺图，其中每个维诺区域在空间上以相同最大半径(R3)为界；

其中每个图形具有不同的最大半径(R3)。

8.根据前述权利要求任一项的系统(40)，其中所述数据处理系统(41)进一步被配置为依据所生成的顶点集的确定的数目(3、4、5)，对关注的区域中包含的至少一个组织部分、关注的区域中包含的细胞、关注的区域中包含的一组细胞和/或关注的区域进行分类和/或评级。

9.根据前述权利要求任一项的系统(40)，其中对于每个图形(1，33)，各个图形(1，33)的生成包括：

依据一对顶点(7，8)之间根据预定度量的距离是否小于为各个图形(1，33)预定的阈值(R1，R2)来确定这对顶点是否生成与这对顶点相关联的边；

其中所述图形的预定阈值(R1，R2)互不相同。

10.根据前述权利要求任一项的系统，其中对于每个图形(1，33)，所述多条边的生成包括：确定每对顶点是否生成边。

11.根据前述权利要求任一项的系统(40)，其中对于每个图形(1，33)：

a)每个鉴别的顶点集(3，4，5)由一或多个顶点组成，由此每对顶点之间通过所述图形(1)的一或多条边连接；以及

b)鉴别的顶点集(3，4，5)不由所述图形(1)的边(2，7，8)相互连接。

12.根据前述权利要求任一项的系统(40)，其中所述系统(40)包括图像获取单元(45)，其被配置为：

接收包含细胞的样品；以及

对细胞成像。

13.一种分析从生物细胞获取的显微数据的方法，其中所述分析使用数据处理系统(41)进行，所述方法包括：

使用所述数据处理系统(41)读取(110)图像数据；

使用所述数据处理系统(41)确定(120)多个顶点(2，7，8)，其中每个顶点(2，7，8)表示关注的实体在所述图像数据的关注的区域中的位置；

使用所述数据处理系统(41)生成多个图形(1，33)，其中对于每个图形(1，33)，各个图形(1，33)的生成包括生成多条边，其中每条边具有与之相关联的多个顶点中的两个顶点；

其中每个图形(1，33)包含为各个图形生成的多条边以及多个顶点；

使用所述数据处理系统(41)针对每个图形(1，33)及依据为各个图形生成的边，鉴别一或多个顶点集，每个顶点集由所述多个顶点中的一或多个顶点组成；及

使用所述数据处理系统(41)对每个图形(1，33)生成鉴别的顶点集的数目。

14.一种用于分析从生物细胞获得的显微数据的程序元件，其中所述分析使用数据处理系统(41)进行，其中当由所述数据处理系统(41)的处理器执行时，所述程序元件被调适以执行：

读取(110)图像数据；

确定(120)多个顶点(2，7，8)，其中每个顶点(2，7，8)表示关注的实体在所述图像数据的关注的区域内的位置；

使用所述数据处理系统生成多个图形(1，33)，其中对于每个图形(1，33)，各个图形(1，33)的生成包括生成多条边，其中每条边具有与之相关联的多个顶点中的两个顶点；

其中每个图形(1，33)包含为各个图形生成的多条边及多个顶点；

对于每个图形(1，33)及依据为各个图形生成的边，鉴别一或多个顶点集，每个顶点集由所述多个顶点中的一或多个顶点组成；及

对每个图形(1，33)生成鉴别的顶点集的数目。

15.一种计算机可读介质，其具有存储于其上的权利要求14的计算机程序元件。

Images