CN111527519B - 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法 - Google Patents

Abstract

一种用于为染色组织图像中的至少一种感兴趣的细胞类型生成选择性染色剂分割图像的图像分析系统和方法。所述系统和所述方法可以检测所述组织图像中的细胞并且生成对应的膜掩模图像。它们可以对在所述组织图像中检测到的所述细胞进行分类并且生成所述细胞的分类细胞图像。所述系统和所述方法可以进一步基于所述细胞的所述膜掩模图像和所述分类细胞图像为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像。

Description

用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统 和方法

相关申请的交叉引用

本申请要求2017年12月22日提交的美国临时专利申请号62/609,748的申请日的权益，所述申请的公开内容通过引用整体结合于此。

发明背景

技术领域

本公开文本总体上涉及用于医疗诊断的数字图像处理方法和系统。具体地，本公开文本涉及制备用于感兴趣的特定细胞类型的选择性染色剂分割图像。

背景技术

在对诸如组织切片、血液、细胞培养物等生物样本进行分析中，将所述生物样本固定在载玻片上，并且用染色剂和生物标记的一种或多种组合进行染色，并且对所得的测定物进行观察或成像以用于进一步分析。测定物可以包括诸如来自人类受试者的组织切片的生物样本，所述生物样本被用含有与抗体缀合的荧光团或色原的染色剂处理，所述抗体与样本中的蛋白质、蛋白质片段或其他靶标结合。观察测定物可以实现多种过程，包括疾病的诊断、对治疗反应的评估、以及抗击疾病的新药研发。

一旦扫描测定物，就得到图像数据的、包括颜色通道的多个信息通道，其中每个观察通道包括多个信号的混合。苏木精-伊红(H&E)染色是测定物染色的最常见例子之一，其包括两种有助于识别组织结构信息的染色剂。H-染色剂主要用一般的蓝色来染色细胞核，而E-染色剂主要起将细胞质染成一般粉色的作用。特殊的染色测定物可以根据组织中的靶标物质的化学特性、生物特性或病理特性来识别这些靶标物质。

免疫组织化学(IHC)测定物包括与抗体缀合的一种或多种染色剂，所述抗体与样本中的蛋白质、蛋白质片段或其他感兴趣的结构(在下文中被称为靶标或感兴趣的对象)结合。将样本中的靶标结合至染色剂的抗体和其他化合物(或物质)在本文中被称为生物标记。

对于H&E或特殊的染色测定物，生物标记与染色剂(例如，苏木精复染剂)具有固定的关系，而对于IHC测定物，染色剂的选择可用于生物标记以研发和创造新的测定物。在成像前根据测定物制备生物样本。一旦向组织施加单个光源、一系列多个光源或任何其他输入光谱源，观察者通常就可以通过显微镜对测定物进行评估，或者可以从测定物中采集图像数据以用于进一步处理。

在这种采集中，得到图像数据的多个信息通道(例如，颜色通道)，其中每个观察通道包括多个信号的混合。对该图像数据的处理可以包括也被称为光谱解混、颜色分离等的颜色反卷积方法，所述方法用于从图像数据的一个或多个观察通道中确定特定染色剂的局部浓度。对于通过自动化方法处理的图像数据(在显示器上描绘的)或对于由观察者观察的测定物，可以确定被染色组织的局部外观与所施加的染色剂和生物标记之间的关系以确定被染色组织中的生物标记分布的模型。

在医疗保健领域，数字图像分析的一个重要领域是能够识别和量化针对特定亚细胞位置中的感兴趣分析物的染色的能力。目前存在用于进行这种分析的算法。例如，目前已知用于检测HER2和cMET的膜表达的算法。这些算法依赖于细胞核检测以在细胞核周围的局部邻域上搜索被染色膜，使用预定义的阈值来限定将要搜索膜区域的细胞核周围的邻域。因此，如果这些算法漏掉了细胞核，或者如果膜位于预定义的邻域半径之外，则可能无法检测到所述细胞核周围的被染色膜。此外，算法可能会忽略包含与其他染色隔室相结合的膜染色(诸如细胞质染色)的区域。因此，使用这些方法进行的染色量化可能是不完整的或不正确的。

图5展示了二氨基联苯胺(DAB)染色的(例如，棕色，512)组织载玻片的示例性的输入图像210。目前，专业人士依赖于类似的输入图像以对各种细胞进行分类，并以提供用于其的主观载玻片评分结果。然而，应当理解的是，在DAB染色剂中输入图像210中的各种细胞看起来是混杂的，因此使得感兴趣的特定类别的细胞与其他类别的其余细胞在视觉上是没有区别的。

尽管在本领域中提出的许多细胞检测和分类方法能够提供一定水平的用于细胞的背景数据，但是尤其是在膜染色组织图像中仍然长期需要对细胞进行更准确分类，以便提高整个载玻片评分结果。此外，由于在传统的明场成像或较新的多路复用成像中可使用多个标记，因此准确分离膜染色剂的属于特定类型细胞的那些部分变得越来越重要。这将在个性化医学或医疗保健的背景下有直接应用，其中特定的标记或其组合可能会根据患者而有不同的含义。

发明内容

本公开文本尤其通过提供一种用于为感兴趣的特定细胞类型生成选择性染色剂分割图像的数字图像分析系统和方法来解决前述问题。更具体地，所述数字图像分析系统包括存储数字编码的非暂态计算机可读指令的数字存储介质，所述指令用于由一个或多个处理器执行，以便实施本公开文本的所述方法。

在一个实施方案中，与特定类型的细胞(诸如肿瘤细胞或免疫细胞)相关联的细胞膜被明显地分割，以便改善整个载玻片评分结果的计算。例如，在PDL1评分方法中，病理学家将能够使用与感兴趣的特定细胞类型相对应的选择性染色剂掩模图像对载玻片进行更好的评分。

为此，所述图像分析系统为染色组织图像内的感兴趣的选定细胞类型生成染色剂分割图像，并提供所生成的选择性染色剂分割图像的可视图像分析。它通常包括除了其他方面还可以检测所述组织图像中的细胞的膜掩模生成引擎，以便生成对应的膜掩模图像。它还包括除了其他方面还可以对所述组织图像中的细胞进行分类，并生成所述细胞的分类细胞图像的细胞分类引擎。在一些实施方案中，所述细胞分类引擎可以在对所述细胞进行分类之前运行任何合适的细胞检测算法来检测所述细胞。在其他实施方案中，所述细胞分类引擎可以从另一个引擎获得细胞检测结果。在其他实施方案中，所述细胞分类引擎可以在不首先检测细胞的情况下，例如使用训练后的神经网络或另一种机器学习(例如，深度学习)方法对所述细胞进行分类。所述图像分析系统还可以包括选择性染色剂分割引擎，然后可以基于所述细胞的所述膜掩模图像和所述分类细胞图像来为所述感兴趣的细胞类型生成选择性染色剂分割图像。

所述选择性染色剂分割引擎能够在所述膜掩模图像中定位感兴趣的分类细胞，并且能够通过在相邻细胞之间分离共享的膜成分来界定感兴趣的分类细胞与其他细胞之间的膜边界。作为说明性例子，所述选择性染色剂分割引擎能够基于Voronoi图分离所述相邻细胞之间的共享膜成分。

所述选择性染色剂分割图像可以用于为感兴趣的细胞类型生成至少一个染色剂掩模图像。在专业人员检查所述染色剂掩模图像后，可以用反映所述细胞属于正被研究的细胞类型的可能性的置信度得分对载玻片的输入数字图像进行评分。然后可以将所述选择性染色剂分割引擎的输出存储在数据库中。

本文描述的图像分析系统可以使得整个载玻片成像或基于视场(FOV)成像中的图像分析结果能够可视化或促进其可视化，以进一步支持病理学家和其他医学专业人士检查和分析组织图像。在一个实施方案中，其使得能够在数字病理组织载玻片中分离多种生物标记染色剂。

附图说明

将参考具体实施方式、权利要求和附图更详细地描述本公开文本的各种特征以及实现它们的方式，其中：

图1描绘了根据本公开文本的示例性实施方案的适于为感兴趣的特定细胞类型生成选择性染色分段图像的基于计算机的细胞检测系统；

图2是根据本公开文本的示例性实施方案的形成图1的细胞检测系统的一部分的细胞分类引擎、细胞膜掩模生成引擎和选择性染色剂分割引擎的高级框图；

图3是根据本公开文本的示例性实施方案的图2的选择性染色剂分割引擎的更详细的框图；

图4是根据本公开文本的示例性实施方案的用于通过图1的细胞检测系统选择性地生成染色剂分割图像的工作流(或过程)的流程图；

图5描绘了根据本公开文本的示例性实施方案的由图4的工作流实施以生成选择性染色剂分割图像的示例性序列图像；

图6展示了根据本公开文本的示例性实施方案的基于图4的工作流中的Voronoi类图已经在两个相邻细胞(对应于蓝色652和红色651)之间分离的细胞膜片段的放大视图；

图7和图8是根据本公开文本的示例性实施方案的真实世界中存在的Voronoi分离对象的放大图示；以及

图9是根据本公开文本的示例性实施方案的与特定细胞类别(即，阳性免疫细胞)相关联的示意性染色剂掩模图像(绿色覆盖图，910)的屏幕截图，所述染色剂掩模图像由图3的选择性染色分段引擎生成以用于将这种特定类型的细胞与其余DAB染色的(例如，阳性肿瘤细胞)细胞类别进行区分。

将理解的是，为了展示的简单和清楚起见，可以在附图中重复使用附图标记以指示对应或类似的特征。

具体实施方式

I-定义

除非另有定义，否则本文所使用的技术和科学术语均具有与本领域普通技术人员通常理解的相同含义。参见例如Lackie，DICTIONARY OF CELL AND MOLECULAR BIOLOGY(《细胞和分子生物学词典》)，Elsevier(第4版，2007)；Sambrook等人，MOLECULAR CLONING,A LABORATORY MANUAL(《分子克隆，实验室手册》)，Cold Springs Harbor出版社(ColdSprings Harbor，纽约，1989)。

抗体：本文中术语“抗体”以最广义使用并且涵盖各种抗体结构，包括但不限于单克隆抗体、多克隆抗体、多特异性抗体(例如，双特异性抗体)以及抗体片段，只要所述抗体片段表现出所期望的抗原结合活性。

生物标记：如本文所用的，术语“生物标记”应指在生物样品中发现的可被用于表征生物样品或从中获得所述生物样品的受试者的任何分子或分子组。例如，生物标记可以是一个分子或一组分子，所述一个分子或一组分子的存在、不存在或相对丰度为：

·特定细胞或组织类型或状态的特征；

·特定病理情况或状态的特征；或者

·指示病理情况的严重性，病理情况进展或消退的可能性和/或病理情况将对特定治疗作出反应的可能性。

作为另一个例子，生物标记可以是细胞类型或微生物(诸如细菌、分枝杆菌、真菌、病毒等)，或者取代基分子或其分子组。如本文所预期的，生物标记成像包括但不限于多路复用的组织生物标记成像。

生物标记特异性试剂：一种能够直接与细胞样品中的一种或多种生物标记特别地结合的特异性检测试剂，诸如第一抗体。

细胞检测：用于识别图像中特定细胞的位置的自动化计算机过程。

细胞样品：如本文所使用的，术语“细胞样品”是指包含完整细胞(诸如细胞培养物)、体液样品或被用于病理学、组织学或细胞学解释的外科样本的任何样品。生物样品可以是组织或细胞样品。组织或细胞样品的来源可以是来自新鲜、冷冻和/或保藏的器官或组织样品或者活组织检查或抽吸物的实体组织；血液或任何血液成分；体液，诸如脑脊髓液、羊水、腹膜液或组织液；来自受试者妊娠期或发育期中任何时候的细胞。细胞样品也可以从体外组织或细胞培养物中获得。细胞样品可以包含天然不与细胞自然混合的化合物，诸如防腐剂、抗凝剂、缓冲剂、固定剂、营养物、抗生素等。本文中细胞样品的例子包括但不限于肿瘤活组织检查、循环肿瘤细胞、血清或血浆、源自肿瘤或表现出肿瘤样特性的原代细胞培养物或细胞系，以及保藏的肿瘤样品，诸如由福尔马林固定的、石蜡包埋的肿瘤样品或冷冻的肿瘤样品。

计算机程序：也称为程序、软件、软件应用、脚本或代码，可以用任何形式的编程语言(包括编译或解释语言、说明性或过程性语言)编写，并且所述计算机程序也可以以任何形式被部署，包括作为独立程序或作为模块、部件、子程序、对象或适用于在计算环境中使用的其他单元。计算机程序可以但不需要对应于文件系统中的文件。可以将程序存储在保存其他程序或数据(例如，存储在标记语言文档中的一个或多个脚本)的文件的一部分中、在专用于所讨论的程序的单个文件中、或者在多个协调文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署成在一个计算机上、或者在位于一个站点处或跨多个站点分布且通过通信网络互连的多个计算机上执行。本说明书中描述的过程或逻辑流可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行以通过操作输入数据并且生成输出来执行动作。过程和逻辑流还可以由专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)执行，并且设备还可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。举例来讲，适用于执行计算机程序的处理器包括通用微处理器和专用微处理器两者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者中接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器以及用于存储指令和数据的一或多个存储器装置。通常，计算机还将包括用于存储数据的一个或多个大容量存储装置(例如，磁盘、磁光盘或者光盘)，或者可操作地耦合以从大容量存储装置中接收数据或向大容量存储装置传送数据、或两者。然而，计算机不必具有此类装置。此外，计算机可以嵌入另一个装置中，仅举几例，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储装置(例如，通用串行总线(USB)闪存驱动器)。适用于存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储器设备，举例来讲，包括半导体存储器装置(例如，EPROM、EEPROM以及闪存存储器设备)、磁盘(例如，内置硬盘或可移除盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路系统补充或并入其中。

计算系统：也称为计算机，包括任意数量的客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。客户端与服务器之间的关系是通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生的。在一些实施方案中，服务器将数据(例如，HTML页面)传输到客户端装置(例如，目的是向与客户端装置交互的用户显示数据和从与客户端装置交互的用户接收用户输入)。可以从服务器处的客户端装置接收在客户端装置处生成的数据(例如，用户交互的结果)。

复染色：用与主染色剂形成鲜明对比的颜色染色以使被染色对象更容易被检测到。例如，在H&E染色法中曙红对苏木精复染色。

细胞质染色：以具有细胞的胞质区域的形态特征的方式排列的一组像素。

标记：一种可以允许生物标记与周围的组织和/或与其他生物标记区分开的染色剂、染料或标签。可以从组织特征(并且更具体地，指示医疗情况的组织特征)的意义上理解术语“生物标记”，诸如特定细胞类型(例如免疫细胞)的存在。生物标记物可以通过组织特征中特定分子(例如蛋白质)的存在来识别。

膜/点状区域：在其中扩散的膜染色与点状染色混合的区域。

处理器：包括用于处理数据的各种设备、装置和机器，举例来讲，包括可编程微处理器、计算机、芯片上系统或多个芯片上系统或前述项的组合。所述设备可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，设备还可以包括为所讨论的计算机程序创造可执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或其中的一者或多者的组合的代码。设备和执行环境可以实现各种不同的计算模型基础结构，诸如，web服务、分布式计算和网格计算基础结构。

点状染色：一组具有较强局部染色强度的像素，表现为在细胞的膜区域上散射的斑点/点。

样品：如本文所用的，术语“样品”应指从能够测试生物标记存在或不存在的对象或目标中获得的任何材料。

染色剂：当被用作名词时，术语“染色剂”应指可被用于可视化细胞样品中特定分子或结构以用于(包括明场显微镜、荧光显微镜、电子显微镜等)显微镜分析的任何物质。当被用作动词时，术语“染色”应指导致染色剂沉积在细胞样品上的任何过程。

受试者：当被用作名词时，术语“受试者(subject)”或“个体”是哺乳动物。哺乳动物包括但不限于家养动物(例如牛、绵羊、猫、狗和马)、灵长类(例如，人类和诸如猴子的非人类灵长类)、兔子和啮齿动物(例如，小鼠和大鼠)。在某些实施方案中，个体或受试者是人类。

测试样品：从受试者中获得的在其被获得时具有未知结果的肿瘤样品。

组织样品：如本文所用的，术语“组织样品”应指维护细胞之间的截面空间关系的细胞样品，所述细胞存在于从其获得所述样品的受试者体内。“组织样品”应包括初生组织样品(即，由受试者产生的细胞和组织)和异种移植物(即，植入受试者体内的外来细胞样品)。

组织样本：包含可被固定在载玻片上的任何类型的生物样本，诸如组织切片、血液、细胞培养物和类似的生物样品。

用户界面装置：包括提供与用户交互的显示器，本说明书中描述的主题的实施方案可以在具有用于向用户显示信息的显示装置(例如，LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器)、以及通过其用户可以向计算机提供输入的键盘和定点装置(例如鼠标或轨迹球)的计算机上实施。在一些实施方式中，触摸屏可以被用于显示信息并接收来自用户的输入。还可以使用其他种类的装置来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的装置发送文档和从用户使用的装置接收文档(例如，通过响应于从用户的客户端装置上的web浏览器接收的请求将网页发送到web浏览器)来与用户交互。本说明书中描述的主题的实施方案可以实施在包括以下的计算系统中：后端部件(例如，作为数据服务器)、或中间件部件(例如，应用服务器)、或前端部件(例如，具有图形用户界面装置或Web浏览器的客户端计算机，用户可以通过所述图形用户界面或所述Web浏览器与本说明书中描述的主题的实施方式交互)、或者一个或多个这种后端、中间件或前端部件的任何组合。系统部件可以通过任何数字数据通信形式或介质(例如，通信网络)而互连。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)以及对等网络(例如，自组织对等网络)。

II-细胞检测系统

参考图1，根据本公开文本的示例性实施方案提供了一种细胞检测系统10。细胞检测系统10可以适于自动检测被染色组织图像中细胞的存在，并且更特别地适于自动检测组织图像中的细胞并对其进行分类。细胞检测系统10通常包括图像分析系统100和图像采集系统120。

图像采集系统120采集被染色生物样品的一个或多个数字图像。本质上，可以使用能够产生彩色数字图像的任何合适的成像方法。例如，可以生成被染色组织样品(组织样本或细胞样品)的RGB彩色的输入图像210(图4)并将其存储在存储装置(诸如本地计算机、磁盘驱动器、固态盘、服务器计算机等)中。

图像分析系统100可以包括一个或多个计算装置(诸如台式计算机、膝上型计算机、平板计算机、智能电话、服务器，专用计算设备)或能够执行本文所描述的技术和/或操作的任何其他(多种)类型的(多个)电子装置。在一些实施方案中，图像分析系统100可以被实施为单个装置。在其他实施方案中，图像分析系统100可以被实施为两个或更多个装置的组合，一起实现本文所描述的各种功能。例如，图像分析系统100可以包括经由一个或多个局域网和/或诸如因特网或内联网的广域网彼此通信地耦接的一个或多个服务器计算机和一个或多个客户端计算机。

图像分析系统100可以包括存储器115、处理器116和显示器117。存储器115可以包括任意类型的易失性或非易失性存储器的任意组合，诸如随机存取存储器(RAM)、诸如电可擦除可编程只读存储器(EEPROM)的只读存储器、闪存、硬盘驱动器、固态驱动器、光盘等。存储器115可以存储用于处理器116的非暂态计算机可读指令以执行本公开文本的工作流，所述工作流将稍后被更详细地描述。为了简洁起见，尽管在图1中存储器115被描绘为单个装置，但是理解的是，存储器115也可以分布在两个或更多个装置上。

处理器116可以包括任何类型的一个或多个处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、专用信号或图像处理器、现场可编程门阵列(FPGA)、张量处理单元(TPU)等。为了简洁起见，尽管图1中处理器116被描绘为单个装置，但是理解的是，处理器116也可以分布在任何数量的装置上。

可以使用诸如LCD、LED、OLED、TFT、等离子体等任何适当技术来实施显示器117。在一些实施方式中，显示器117可以是触敏显示器(触摸屏)。

图像分析系统100还可以包括对象识别器110、感兴趣区域(ROI)生成器111、用户界面模块112、细胞分类引擎114、细胞膜掩模生成引擎126和选择性染色剂分割引擎134。尽管这些模块在图1中被描绘为模块，但对于本领域的普通技术人员显而易见的是，每个模块可以替代地被实施为多个子模块，并且在一些实施方案中，任何两个或更多个模块可以被组合成单个模块。此外，在一些实施方案中，为简洁起见，图像分析系统100可以包括在图1中未被描绘的另外的引擎和模块(例如，输入装置、连网和通信模块等)。此外，在一些实施方案中，在图1中所描绘的一些块可以被禁用或省略。如将在下面更详细地讨论的，图像分析系统100的一些或所有模块的功能可以以硬件、软件、固件或其任何组合来实施。可用于实施本文公开的模块的示例性可商购软件包包括：VENTANA VIRTUOSO、Definiens TISSUESTUDIO、DEVELOPER XD和IMAGE MINER以及Visiopharm BIOTOPIX、ONCOTOPIX和STEREOTOPIX软件包。

在采集输入图像210之后，图像分析系统100可以将输入图像210传递给对象识别器110，所述对象识别器的功能是识别并且标记输入图像210内的随后将被用于细胞分类的相关对象和其他特征。对象识别器110可从每个输入图像210中提取(或为每个图像生成)表征图像中各种对象以及表示(多个)生物标记表达的像素的多个图像特征。提取的图像特征可以包括例如诸如Haralick特征、词袋特征等之类的纹理特征或其他统计特征，所述纹理特征包括但不限于：形状、强度。可以将多个图像特征的值组合成可以用于表征生物标记表达、特定对象或在图像中的对象位置的高维向量(在下文中被称为“特征向量”)。例如，如果针对每个对象和/或像素提取了M个特征，则每个对象和/或像素可以由M维特征向量来表征。对象识别器110的输出实际上是图像的地图，所述地图注释了感兴趣对象和像素的位置，并且将这些对象和像素与描述对象或像素的特征向量相关联。应当理解的是，本文仅出于展示目的描述了特征向量并且本公开文本不限于生物标记；例如，还可以包括细胞类型。

对于基于生物标记与特定类型的对象(诸如膜、细胞核、细胞等)的关联进行评分的生物标记，由对象识别器110提取的特征可以包括足以将样品中的对象分类为感兴趣的生物标记阳性对象或感兴趣的生物标记阴性对象和/或按对象的生物标记染色的水平或强度对所述对象进行分类的特征或特征向量。在根据表达生物标记(诸如可以基于肿瘤细胞的表达对其进行评分的诸如PD-L1、PD-L2和IDO的免疫逃避生物标记、免疫细胞表达或两者)的对象类型对所述生物标记进行不同加权的情况下，由对象识别器110提取的特征可以包括与确定与生物标记阳性像素相关联的对象的类型有关的特征。因此，使用生物标记成像，然后可以至少基于生物标记的表达(例如，生物标记阳性细胞或生物标记阴性细胞)以及对象的子类型(例如肿瘤细胞、免疫细胞等)(如果有关的话)将所述对象分类。在不顾与对象的相关联而对生物标记表达的程度进行评分的情况下，由对象识别器110提取的特征可以包括例如生物标记阳性像素的位置和/或强度。

图像分析系统100还可以将输入图像210传递到ROI生成器111。ROI生成器111可以用于识别输入图像210的、可以从中计算免疫环境得分的(多个)感兴趣的区域、一个或多个ROI。在对象识别器110未被应用于整个图像的情况下，由ROI生成器111生成的一个或多个ROI也可以被用于定义在其上执行对象识别器110的图像的子集。在一个实施方案中，可以通过用户界面模块112来访问ROI生成器111。在用户界面模块112的图形用户界面上显示生物标记染色的样品的图像(或生物标记染色的样品的在形态上被染色的连续切片)，并且用户在图像中注释的一个或多个区域将被视为ROI。在该例子中，ROI注释可以采用多种形式。例如，用户可以手动定义ROI(以下称为“自由式ROI注释”)。

在其他例子中，ROI生成器111可以帮助用户注释ROI。例如，用户可以注释图像中的边缘(诸如例如，肿瘤的有创边缘的前缘，或表示从肿瘤核心到肿瘤的侵袭边缘的过渡的边缘)，并且ROI生成器111可以基于用户定义的边缘自动地定义ROI。例如，用户可以在用户界面模块112中注释有创边缘的前缘，并且ROI生成器111使用所述边缘作为指导来创建ROI，例如，通过绘制包含所述前缘或所述前缘的一侧的预定义距离内的所有对象的ROI。在一些情况下，可以给用户一个选项来修改由ROI生成器111注释的ROI(诸如通过扩展ROI、注释ROI的区域或ROI中要从分析中排除的对象等)。在其他实施方案中，ROI生成器111可以(例如，通过将组织分割功能应用于未注释图像)自动建议ROI，而无需来自用户的任何直接输入，然后用户可以选择适当地接受、拒绝或编辑。在一些实施方案中，ROI生成器111还可以包括注册功能，由此在一组连续切片的一个切片中被注释的ROI被自动地传送到所述一组连续切片的其他切片中。当将要分析多个生物标记时，或当被H&E染色的连续切片与生物标记标记的切片一起提供时，该功能是特别有用的。

在一些实施方案中，图像分析系统100可以可通信地耦接到图像采集系统120。图像采集系统120可以采集生物样本的图像并将那些输入图像210提供给图像分析系统100以用于进行分析并呈现给用户。

图像采集系统120可以包括诸如可以以20倍、40倍或其他放大倍数扫描被染色载玻片以产生高分辨率的全载玻片数字图像的载玻片扫描仪的扫描平台125，包括例如载玻片扫描仪。图像采集系统120还可包括H&E染色平台124。

在基本层面上，典型的载玻片扫描仪至少包括：(1)具有物镜的显微镜，(2)光源(诸如卤素灯、发光二极管、白光和/或多光谱光源，取决于染料)，(3)用于四周移动玻璃载玻片(或用于在载玻片周围移动光学元件)的机器人，(4)用于捕获图像的一个或多个数码相机，(5)计算机和用于控制机器人并且操纵、管理和查看数字载玻片的相关的软件。相机的电荷耦合器件(CCD)可以捕获载玻片上多个X-Y位置处(并且在某些情况下，在多个Z平面处)的数字数据，并将图像合并在一起以形成整个被扫描表面的合成图像。以下是完成该任务的示例性方法：

(1)基于图块的扫描，其中载物台或光学元件以非常小的增量移动以捕获与相邻正方形略有重叠的正方形图像帧。然后将捕获的正方形自动地彼此匹配以构建合成图像；以及

(2)基于行的扫描，其中，载物台在采集过程中沿单轴移动以捕获多许多合成图像“条”。然后，图像条可以彼此匹配以形成较大的合成图像。

可以将由扫描平台125生成的图像传送到图像分析系统100或图像分析系统100可访问的服务器或数据库。在一些实施方案中，可以经由一个或多个局域网和/或广域网自动地传送图像。在一些实施方案中，图像分析系统100可以与扫描平台125和/或图像采集系统120的其他模块集成或包括在其中，在这种情况下，可以例如通过由平台125和系统120两者都可访问的存储器将图像传送到图像分析系统。

在一些实施方案中，图像采集系统120可以不与图像分析系统100可通信地耦接，在这种情况下，图像可以被存储在任何类型的非易失性存储介质(例如，闪存驱动器)上，并且从所述介质下载所述图像到图像分析系统100或与所述介质可通信地耦接的服务器或数据库中。在以上任何例子中，图像分析系统100可以获得生物样品的图像，其中所述样品可能已经被附着到载玻片上并被组织化学染色平台123染色，并且所述载玻片可能已经被载玻片扫描仪或另一种类型的扫描平台125扫描。然而，理解的是，在其他实施方案中，下面描述的技术也可以被应用于通过其他方式采集和/或染色的生物样品的图像。

细胞检测系统10进一步可以包括实验室信息系统(LIS)130和数据库160。LIS 130通常执行选自以下功能中的一种或多种功能：对样品以及对从所述样品衍生的载玻片和图像执行记录和跟踪过程、指示免疫环境评分系统的不同部件对样品、载玻片和/或图像执行特定过程，以及跟踪关于应用于样品和或载玻片的特定试剂的信息(诸如批号、有效期、分配的体积等)。

在已经实施了对象识别器110和ROI生成器111两者之后，实施细胞分类引擎114和细胞膜掩模生成引擎126以分别生成分类细胞图像283和膜掩模图像271(图2)。选择性染色剂分割引擎134基于选定的感兴趣的细胞类型来组合分类细胞图像283和膜掩模图像271，如稍后将更详细描述的那样，以为所述感兴趣的细胞类型(图2、图3)生成染色剂掩模图像380(与本文中的术语“选择性染色剂分割图像”互换使用)。在专业人员检查染色剂掩模图像380后，以置信度得分260(图2)对输入图像210进行评分，这指示所述细胞属于正被研究的细胞类型的可能性。选择性染色剂分割引擎134的输出可以存储在诸如数据库160的数据库中。

III-染色剂分割引擎和工作流

参考图2和图4，图2展示了形成图像分析系统100的一部分的细胞分类引擎114，并且图4展示了依照本公开文本的示例性实施方案的实施选择性染色剂分割引擎134的工作流400。将输入图像210馈送到颜色反卷积模块220以用于反卷积成两个颜色通道，所述两个颜色通道在被组合之前被单独地处理。在这种特定展示中，将输入图像210反卷积为两个单独的图像：膜染色组织图像230和复染色细胞核图像250。如2017年8月4日提交的题为“Automated Methods And Systems For Detecting Cells In Stained Specimen Images(用于检测染色样本图像中细胞的自动化方法和系统)”的共同待决的美国临时专利申请号62/541,630中的详细解释(并且所述申请的全部内容通过引用结合于此)，生成膜染色组织图像的补码以便清楚地反映先前掩盖的浅色细胞核。补码图像和复染色图像被任选地归一化，并且然后被组合并且被分割以生成具有清楚界定的细胞核的输出图像。可替代地，膜染色组织图像的补码图像和复染色图像可以被任选地归一化，并且然后在被组合之前被分割以生成输出图像。在工作流400的步骤414处，然后可以对输出图像中的细胞进行分类，并且可以生成分类细胞图像283并且将其存储在数据库160中。

参考图2、图4、图5和图6，并且如2017年12月22日提交的题为“System And MethodFor Classifying Cells In Tissue Images Based On Membrane Features(用于基于膜特征对组织图像中的细胞进行分类的系统和方法)”的共同待决的美国临时专利申请号62/609,719中的进一步详细解释(所述申请的全部内容通过引用结合于此)，可以基于特定的膜染色图案将膜染色组织图像230馈送到细胞膜掩模生成引擎126。在工作流400的步骤415处，可以对膜组织图像进行染色，使得可以不同图案对不同类型的细胞的膜进行染色。膜染色图案可以用作细胞分类的有用信息来源。为此，细胞膜掩模生成引擎126有助于区分被例如两种图案染色的细胞，所述两种图案在本文中称为椭圆图案和点状图案。

可以将高斯差分(DoG)滤波器应用于膜染色组织图像230以生成DoG滤波图像540(图5)。Otsu阈值模块可以应用于DoG滤波图像540以生成膜掩模图像271。然后可以通过连接感兴趣的子区域(或邻域)610内的各种部件或特征对膜掩模图像应用斑点提取以提取例如围绕核640的感兴趣的子区域(或者邻域)610内的630(图6)的斑点对象。为了进一步提高椭圆膜染色图案与点状膜染色图案之间的区别，细胞分类引擎可以为每个检测到的细胞计算与膜斑点对象有关的统计值，并将所述统计值存储在数据库160中。

参考图3、图4和图5，选择性染色剂分割引擎134能够为一种或多种感兴趣的特定细胞类型生成按需选择性的染色剂掩模图像380，以排除组织载玻片上的其余类型的细胞。为此，选择性染色剂分割引擎134适于对与特定类型的细胞相关联的膜染色进行分割，这将有助于增加整个载玻片评分结果260计算的准确性。

在操作中，将分类细胞图像283、膜掩模图像271和用户选择的感兴趣的细胞类型302馈送到组合模块301，所述组合模块形成选择性染色剂分割引擎134的一部分。组合模块301可以实施工作流400的步骤410，以便基于存储在数据库160中的分类细胞图像283数据来在膜掩模图像271内定位感兴趣的分类细胞。

更具体，组合模块301可以通过遵循下面列出的示例性序列来实施工作流400的步骤410：

·组合模块301为感兴趣的细胞302设置标签，诸如L*。

·对于输入图像210的感兴趣区域510(图5)内的每个像素p，组合模块301找到(在分类细胞图像283内)最接近的细胞c，并且判定该最接近细胞c是否为感兴趣的细胞302。

·如果组合模块301确定c有资格作为感兴趣的细胞302，则然后像素p和其他类似像素被识别为感兴趣的区域520(图5)，然后由可识别颜色(诸如染色剂掩模图像380中所示的绿色)标记感兴趣的区域520。

尽管为感兴趣的特定细胞类型320生成染色剂掩模图像380其自身表示相对于常规方法的显著改进，但是本公开文本旨在通过将染色剂掩模图像380馈送到膜分离模块304(图3)中来进一步提高其准确性。膜分离模块304可以实施工作流400的步骤420(图4)，以通过分割相邻的感兴趣的细胞302之间的共享膜成分来进一步限定所识别的感兴趣的细胞302的膜边界，并且在工作流400的步骤430处生成最终的增强的染色剂掩模图像380。

图6展示了包括着红色的细胞552的感兴趣的子区域610，针对细胞552，细胞膜掩模生成引擎126已经识别了各种膜成分，例如630、640，并且其中，组合模块301已经以独特的绿色标记了这些膜成分630、640。为了增加准确性，可以实施膜分离模块304(图3)以进一步限定图5的感兴趣区域510内的两个相邻细胞(诸如属于不同类别的着红色的细胞552和附近的着蓝色的细胞551)之间的边界或界限，例如641、642。

为此，膜分离模块304计算在不同类别的相邻细胞551、552之间的膜成分的最佳分离。可以基于适当定义的最佳能量来执行分离(或分开)然而，如果其他生物学信息可用或变得可用，则分离将解释此类其他生物学信息。在一个实施方案中，膜分离模块304可以均等地分离相邻细胞551、552之间的共享感兴趣区域。

在图7和图8中表示的另一个实施方案中，膜分离模块304基于Voronoi图执行分离。根据Voronoi图，在这种情况下包括成分630的感兴趣区域基于它们到相邻细胞551、552的距离被分割为较小连续区域，例如651、652。应当理解的是，Voronoi图在本文用于展示目的，并且可以替代地使用其他合适的分离方法。图7展示了由膜分离模块304生成的Voronoi类掩模700的代表性展示，所述掩模变成染色剂掩模图像380的一部分。图8展示了一块干燥的土壤，其基于存储在土壤中的能量而最佳地分离。

图9展示了代表性的组织载玻片的输入图像210的屏幕截图(也称为Voronoi分离DAB掩模覆盖图)900，所述屏幕截图提供了细胞类别之间的可视化的区别，其中感兴趣的细胞类别通过绿色掩模(910)来区分。应当理解的是，在本公开文本出现之前，整个组织载玻片的输入图像210将具有相同(例如，棕色、DAB)的颜色(912)，并且将不能清楚地和在视觉上区分感兴趣的细胞的各种类别。

在本文描述的每个流程图中，一种或多种方法可以被实施在包含计算机可读代码的计算机可读介质中，使得当计算机可读代码在计算装置上执行时执行一系列步骤。在一些实施方式中，在不脱离本发明的精神和范围的情况下，方法的某些步骤被组合、同时或以不同顺序执行或者可能被省略。因此，尽管以特定顺序描述和展示了方法步骤，但是特定步骤序列的使用并不意味着暗示对本发明的任何限制。在不脱离本发明的精神或范围的情况下，可以对步骤序列进行改变。因此，特定序列的使用不应被视为具有限制意义，并且本发明的范围仅由所附权利要求限定。

如本领域技术人员将理解的是，本发明的各方面可以被实施为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件及硬件方面组合的实施方案的形式，这些方面可以在本文中通常称为“电路”、“模块”或“系统”。另外，本发明的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，该计算机可读介质具有在其上实现的计算机可读程序代码。

如将进一步理解的是，可以使用软件、固件或硬件的任何组合来实施本发明的实施方案中的过程。作为在软件中实践本发明的准备步骤，编程代码(无论是软件还是固件)通常会存储在一个或多个计算机可读存储介质中，这些计算机可读存储介质例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、设备或装置或者前述各项的任何合适的组合。计算机可读存储介质的更具体例子(非详尽列表)将包括以下项：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储装置、磁性存储装置或前述各项的任何合适的组合。在本文档的背景中，计算机可读存储介质可以是可以包含或存储由或结合指令执行系统、设备或装置使用的程序的任何有形介质。

包含编程代码的制品通过以下项来使用：直接从存储装置执行代码、将代码从存储装置复制到另一个存储装置(诸如硬盘、RAM等)或者传输代码以供使用传输类型介质(诸如数字和模拟通信链路)的远程执行之用。可以通过将包含根据本发明的代码的一个或多个机器可读存储装置与适当的处理硬件组合以执行其中包含的代码来实践本发明的方法。用于实践本发明的设备可以是一个或多个处理装置和存储系统，其包含或具有对根据本发明编码的程序的网络访问。

计算机可读信号介质可以包括其中实施了计算机可读程序代码的传播数据信号，例如在基带中或作为载波的部分。这种传播信号可以采取各种形式中的任何一种形式，包括(但不限于)电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且可以通信、传播或传输程序，以供指令执行系统、装置或设备使用或与指令执行系统、设备或装置结合使用。

计算机可读介质上包括的程序代码可以使用任何适当的介质传输，该介质包括但不限于无线、有线、光纤电缆、射频等或前述的任何合适的组合。用于执行针对本发明的各方面的操作的计算机程序代码可以用一种或多种编程语言(包括诸如Java、Smalltalk、C++等面向对象的编程语言)与常规的程序化编程语言(诸如“C”编程语言或类似编程语言的)的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上执行作为独立的软件包、部分地在用户的计算机上且部分地在远程计算机上或完全在远程计算机或服务器上执行。在后一种情况中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以(例如，通过使用互联网服务供应商的因特网)连接到外部计算机。

这样，重要的是，尽管在具有安装(或执行)的软件的全功能计算机(服务器)系统的背景中描述了本发明的展示性实施方案，但是本领域技术人员将会理解的是，本发明的展示性实施方案的软件方面能够以各种形式作为程序产品分发，并且本发明的展示性实施方案同样适用，而与用于实际执行分发的特定类型的介质无关。

另外，尽管已经参考示例性实施方案描述了本发明，但是本领域技术人员将会理解的是，在不脱离本发明的范围的情况下，可进行各种改变并且可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使特定系统、装置或其部件适应本发明的教导。因此，意图是本发明不限于为执行本发明而公开的特定实施方案，而是本发明将包括落入所附权利要求范围内的所有实施方案。

如本文所用，除非在上下文另外明确指出，否则单数形式“一(a)”、“一个(an)”和“该/所述(the)”也旨在包括复数形式。应进一步理解的是，说明书中所用的术语“包括(comprises)”和/或“包括(comprising)”指定存在所述特征、整体、步骤、操作、元件和/或部件，但并不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。另外，术语第一、第二等的使用不表示任何顺序或重要性，而是术语第一、第二等用于将一个元件与另一个元件区分开。另外，本文和所附权利要求中出于描述目的使用诸如“a”、“b”、“c”、“第一(first)”、“第二(second)”和“第三(third)”等列举术语，并且这些术语不旨在指示或暗示相对重要性或意义。

随附权利要求书中所有方法和步骤及功能元件的对应结构、材料、作用和等效物旨在包括用于结合特别主张的其他权利要求元件执行该功能的任何结构、材料或作用。本发明的描述已经为了展示及描述目的而提出，但是不旨在详尽或以所揭示形式限于本发明。在不脱离本发明的范围和精神的前提下，本领域一般技术人员可显而易见地做出许多修改和变化。所选和所述的实施方案用于最好地解释本发明的原理及实践应用，同时让本领域一般技术人员了解多个实施方案，这些实施方案可针对特定的目标用途做出各种修改。

Claims (9)

1.一种为染色组织图像中的至少一种感兴趣的细胞类型生成选择性染色剂分割图像的方法，所述方法包括：

检测所述组织图像中的细胞(551、552)并且生成对应的膜掩模图像(271)；

对在所述组织图像中检测到的细胞进行分类并且生成所述细胞的分类细胞图像(283)；以及

基于所述细胞的所述膜掩模图像(271)和所述分类细胞图像(283)，为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像，其中，为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像包括：

在所述膜掩模图像(271)中定位分类的感兴趣的细胞，以及

通过分离相邻细胞之间的共享膜成分(630、640)来限定所述分类的感兴趣的细胞与其他细胞之间的膜边界(641、642)。

2.根据权利要求1所述的方法，进一步包括对所述生成的选择性染色剂分割图像进行可视图像分析。

3.根据权利要求1所述的方法，其中，分离相邻细胞之间的共享膜成分(630、640)包括基于Voronoi图执行分离。

4.根据权利要求1所述的方法，其中，从染色组织病理学载玻片中生成所述染色组织图像；以及

其中，为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像进一步包括分离染色的病理学组织中的相邻生物标记染色剂。

5.根据权利要求1所述的方法，其中，对所述细胞进行分类包括基于细胞膜染色图案进行的分类。

6.根据权利要求1所述的方法，其中，对所述细胞进行分类包括基于生物标记进行的分类。

7.根据权利要求6所述的方法，其中，基于生物标记进行的分类包括确定与生物标记阳性像素或生物标记阴性像素的任何一个相关联的对象的类型。

8.一种用于为染色组织图像中的至少一种感兴趣的细胞类型生成选择性染色剂分割图像的图像分析系统(100)，所述图像分析系统包括：

细胞膜掩模生成引擎(126)，所述细胞膜掩模生成引擎用于检测所述组织图像中的细胞(551、552)并且用于生成对应的膜掩模图像(271)；细胞分类引擎(114)，所述细胞分类引擎对在所述组织图像中检测到的细胞进行分类并且用于生成所述细胞的分类细胞图像(283)；和

选择性染色剂分割引擎(134)，所述选择性染色剂分割引擎用于基于所述细胞的所述膜掩模图像(271)和所述分类细胞图像(283)为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像，其中，为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像包括：

在所述膜掩模图像(271)中定位分类的感兴趣的细胞，以及

通过分离相邻细胞之间的共享膜成分(630、640)来限定所述分类的感兴趣的细胞与其他细胞之间的膜边界(641、642)。

9.一种包括指令的非暂态计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行多个操作以用于为染色组织图像内的至少一种感兴趣的细胞类型生成选择性染色剂分割图像，所述指令包括：

检测所述组织图像中的细胞(551、552)并且生成对应的膜掩模图像(271)；

对在所述组织图像中检测到的细胞进行分类并且生成所述细胞的分类细胞图像(283)；以及

基于所述细胞的所述膜掩模图像(271)和所述分类细胞图像(283)，为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像，其中，为所述至少一种感兴趣的细胞类型生成选择性染色剂分割图像包括：

在所述膜掩模图像(271)中定位分类的感兴趣的细胞，以及

通过分离相邻细胞之间的共享膜成分(630、640)来限定所述分类的感兴趣的细胞与其他细胞之间的膜边界(641、642)。