CN111095352A - 用于检测被染色样本图像中的细胞的自动化方法和系统 - Google Patents

Abstract

公开了一种用于显出输入图像中可见性差的或着色轻的细胞核的系统和方法。输入图像(210)被馈送到颜色反卷积模块(220)以用于反卷积成两个颜色通道，所述两个颜色通道在被组合之前被单独地处理。所述输入图像被反卷积为两个单独的图像：染色图像(230)和复染色图像(250)。生成所述染色图像的补码图像(234)，以便清楚地反映所述可见性差的或着色轻的细胞核的位置。所述补码图像和所述复染色图像被任选地归一化(236，264)，并且然后被组合(270)并且被分割(275)以生成具有边界清晰的细胞核的输出图像(280)。可替代地，所述染色图像的所述补码图像和所述复染色图像可以被可选地归一化，并且然后在被组合之前被分割以生成所述输出图像。

Description

用于检测被染色样本图像中的细胞的自动化方法和系统

发明背景

技术领域

本公开涉及用于医学诊断的数字图像处理方法和系统。特别地，本公开文本涉及对被染色样本图像中的细胞的自动检测。更具体地，本公开文本涉及对被染色样本图像中的细胞的自动检测。

背景技术

在对诸如组织切片、血液、细胞培养物等生物样本进行分析中，将生物样本固定在载玻片上，并且用染色剂和生物标记的一种或多种组合进行染色，并且对所得的测定物进行观察或成像以用于进一步分析。测定物可以包括诸如来自人类受试者的组织切片的生物样本，所述生物样本被用含有与抗体缀合的荧光团或色原的染色剂处理，所述抗体与样本中的蛋白质、蛋白质片段或其他靶标结合。观察测定物可以实现多种过程，包括疾病的诊断、对治疗反应的评估、以及抗击疾病的新药研发。

一旦扫描测定物，就得到图像数据的、包括颜色通道的多个信息通道，其中每个观察通道包括多个信号的混合。苏木精-伊红(H&E)染色是测定物染色的最常见例子之一，其包括两种有助于识别组织结构信息的染色剂。H-染色剂主要用一般的蓝色来染色细胞核，而E-染色剂主要起将细胞质染成一般粉色的作用。特殊的染色测定物可以基于组织中的目标物质的化学特征、生物学特征或病理特征来识别所述目标物质。

免疫组织化学(IHC)测定物包括与抗体缀合的一种或多种染色剂，所述抗体与样本中的蛋白质、蛋白质片段或其他感兴趣的结构(在下文中被称为靶标或感兴趣的对象)结合。将样本中的靶标结合至染色剂的抗体和其他化合物(或物质)在本文中被称为生物标记。

对于H&E或特殊的染色测定物，生物标记与染色剂(例如，苏木精复染剂)具有固定的关系，而对于IHC测定物，染色剂的选择可用于生物标记以研发和创造新的测定物。在成像之前根据测定物准备生物样本。一旦向组织施加单个光源、一系列多个光源或任何其他输入光谱源，观察者通常就可以通过显微镜对测定物进行评估，或者可以从测定物中获取图像数据以用于进一步处理。

在这种获取中，得到图像数据的多个信息通道、例如颜色通道，其中每个观察通道包括多个信号的混合。对该图像数据的处理可以包括也被称为光谱解混、颜色分离等的颜色反卷积方法，所述方法用于从图像数据的一个或多个观察通道中确定特定染色剂的局部浓度。对于通过自动化方法处理的图像数据(在显示器上描绘的)或对于由观察者观察的测定物，可以确定被染色组织的局部外观与所施加的染色剂和生物标记之间的关系以确定被染色组织中的生物标记分布的模型。

在医疗保健领域，数字图像分析的一个重要领域是能够识别和量化针对特定亚细胞位置中的感兴趣分析物的染色的能力。目前存在用于进行这种分析的算法。例如，目前已知用于检测HER2和cMET的膜表达的算法。这些算法依赖于细胞核检测以在细胞核周围的局部邻域上搜索被染色膜，使用预定义的阈值来限定将要搜索膜区域的细胞核周围的邻域。因此，如果这些算法漏掉了细胞核，或者如果膜位于预定义的邻域半径之外，则可能无法检测到所述细胞核周围的被染色膜。此外，算法可能会忽略包含与其他染色隔室相结合的膜染色(诸如细胞质染色)的区域。因此，使用这些方法进行的染色量化可能是不完整的或不正确的。

在本领域中已经提出了多种用于细胞核检测的方法。示例性方法包括在以下代表性出版物中描述的检测(或分割)方法的应用，诸如基于径向对称的方法、或复染色图像通道(例如苏木精)上分水岭变换方法的应用：

·B.Parvin等人，“Iterative voting for inference of structural saliencyand characterization of subcellular events(对结构显着性推断和亚细胞事件表征的迭代投票)”，IEEE Transactions on Image Processing，16卷，第615-623页，2007。

·J.M.Sharif，M.F.Miswan，M.A Ngadi，M.S.H.Salam和M.M.bin Abdul Jamil，“Red blood cell segmentation using masking and watershed algorithm:Apreliminary study(使用掩蔽和分水岭算法进行红细胞分割：初步研究)”，BiomedicalEngineering(ICoBE)，2012年国际会议，槟城，2012年，第258-262页。

然而，某些细胞表面受体可能显示出膜染色(其中细胞表面受体可能起配体受体的作用)、细胞质染色(其中细胞表面受体可能发挥一些效应物功能)和细胞核染色三者。在这些情况中的每一种情况中，细胞核的检测可能取决于染色颜色以及这些染色颜色是否是相互排斥的。作为结果，在细胞膜被强烈地染色的区域中，应用复染色图像通道(例如苏木精)通常会失败，而复染色即使存在也会非常微弱。更具体地，较深的着棕色的膜DAB染色剂可能掩盖下面的较浅的着蓝色的核H-染色剂。这样，当不同的染色颜色开始互相混合时，传统方法的可靠性开始下降。

因此，在本公开文本出现之前，传统方法可能导致误诊和/或错过选择针对几位患者的有效治疗的机会。

发明内容

本公开文本尤其通过提供一种数字图像处理系统和方法来解决前述问题，所述数字图像处理系统和方法用于自动检测混合的被染色样本图像、尤其是被染色图像中的细胞。更具体地，所述数字图像处理系统包括存储数字编码的非暂态计算机可读指令的数字存储介质，所述指令用于由一个或多个处理器执行的，以便实施本公开文本的所述方法。

本公开文本描述了一种用于在输入图像中、并且特别是在组织化学染色区域(或感兴趣的区域)中显出未被检测到的或不可检测到的细胞核(诸如可见性差的细胞核和/或轻度着色的细胞核)的方法，诸如可包括例如膜、细胞质或点状模式的在分析上不同的染色模式。

在一个实施方案中，输入图像被馈送到颜色反卷积模块以用于反卷积为两个被单独地处理的信息通道，诸如颜色通道。颜色反卷积模块从所述输入图像生成两个单独的图像：染色图像和复染色图像。在这个示例性图示中，细胞检测引擎旨在检测染色图像以及复染色图像中的细胞核。

染色图像补码模块适于自动生成所述染色图像的二进制补码图像，以便清楚地检测先前被掩盖的轻度着色的细胞核。归一化模块适于对所述染色图像的所述补码图像进行归一化。

可以以多种方式执行细胞检测，所述细胞检测包括计算机的自动化过程以识别图像中特定细胞的位置。尽管本公开文本描述了用于实施细胞检测的两个示例性可替代的实施方案，但应当清楚的是，其他实施方案可以从中衍生并且由本公开文本所设想。

根据一个实施方案，所述归一化模块可以适于将所述被复染色的细胞核图像归一化为归一化复染色图像。此后，图像运算器模块可以将所述染色图像的所述归一化补码图像和所述归一化复染色图像进行组合，以便生成组合的归一化图像。分割模块然后可以自动地提取所述组合的归一化图像中的单独的细胞。

根据另一个实施方案，所述输入图像被馈送到所述颜色反卷积模块以用于反卷积为两个被单独地处理的信息通道，以便从所述输入图像中生成两个单独的图像：棕色(例如，膜染色的组织)图像和蓝色(例如，复染色)图像。染色图像补码模块适于自动地生成染色图像的二进制补码图像。分割模块然后可以从所述二进制补码染色图像中自动地检测所有细胞。细胞核分割模块从所述复染色图像中分割所有细胞核(例如，蓝色图像通道中的蓝色椭圆)。然后，对象运算器模块将来自两个图像的细胞检测结果组合到最终的细胞检测输出中。

附图说明

本专利或申请文件含有至少一个彩制附图。本专利或专利申请出版物的彩色附图副本将由官方应要求提供，并需支付必要的费用。

将参考具体实施方式、权利要求和附图更详细地描述本公开文本的各种特征以及实现它们的方式，其中：

图1描绘了根据本主题公开文本的示例性实施方案的基于计算机的细胞检测系统，所述细胞检测系统适于自动地检测被染色样本图像中的细胞的存在，并且更特别地用于自动地检测染色图像中的细胞；

图2是根据本主题公开文本的示例性实施方案的形成图1的细胞检测系统的一部分的细胞检测引擎的框图；

图3描绘了根据本主题公开文本的示例性实施方案的由图2的细胞检测引擎实施的工作流，其中，由细胞检测引擎生成的图像被归一化、被组合并且然后被分割；

图4描绘了根据本主题公开文本的示例性实施方案的在图2和图3中示出的复染色图像、和膜染色图像的补码图像中的细胞分布的示意图；

图5是根据本主题公开文本的示例性可替代实施方案的形成图1的细胞检测系统的一部分的可替代细胞检测引擎的框图；

图6描绘了根据本主题公开文本的示例性实施方案的由图5的可替代细胞检测引擎实施的工作流，其中，由细胞检测引擎生成的图像可选地被归一化、被组合并且然后被分割；

图7描绘了根据本主题公开文本的示例性实施方案的在图5和图6中示出的复染色图像、和膜染色图像的补码图像中的细胞分布的示意图；

图8描绘了根据本主题公开文本的示例性实施方案的包括两个被不同地染色的感兴趣区域的PDL1染色样本图像的再现，所述感兴趣区域包含将要由细胞检测引擎检测的细胞。

图9描绘了根据本主题公开文本的示例性实施方案的由在图3或图6中示出的细胞检测工作流的执行所导致的图8的PDL1染色样本图像的输出再现；并且

图10描绘了由使用径向对称的、被应用于复染色苏木精(蓝色通道)的传统细胞检测算法的执行所导致的图8的PDL1染色样本图像的输出再现。

应当明白，为了说明的简单和清楚起见，可以在附图中重复使用附图标记来指示对应或类似的特征。

具体实施方式

除非另有定义，否则本文所使用的技术和科学术语均具有与本领域普通技术人员通常理解的相同含义。参见例如Lackie，《细胞和分子生物学词典(DICTIONARY OF CELLAND MOLECULAR BIOLOGY)》，Elsevier(第4版，2007)；Sambrook等人，《分子克隆，实验室手册(MOLECULAR CLONING,A LABORATORY MANUAL)》，Cold Springs Harbor出版社(ColdSprings Harbor，纽约，1989)。

在分析上不同的染色模式：传达不同生物学意义的同一个分析物或同一组分析物的两种或多种不同的空间关系。例如，转录因子可以定位于细胞质(在这种情况下，它们很可能是无活性的)或细胞核(在这种情况下，它们很可能是被激活的)。这样，“细胞质”染色模式和“细胞核”染色模式在分析上是不同的。类似地，某些细胞表面受体可以具有显示定位于膜或者定位于细胞质的染色模式。受体的相关活性可以根据受体被定位的位置而不同。这样，在该实例中，“膜”染色模式与“细胞质”染色模式在分析上是不同的。然而，在其他情况下，特定分析物的定位可能并不重要。例如，针对受体酪氨酸激酶的磷酸化信号的特定定位的免疫组织化学测定物很可能在分析上是无关的。

抗体：本文中术语“抗体”以最广义使用并且涵盖各种抗体结构，包括但不限于单克隆抗体、多克隆抗体、多特异性抗体(例如，双特异性抗体)以及抗体片段，只要所述抗体片段表现出所期望的抗原结合活性。

生物标记：如本文所用的，术语“生物标记”应指在生物样品中发现的可被用于表征生物样品或从中获得所述生物样品的受试者的任何分子或分子组。例如，生物标记可以是一个分子或一组分子，所述一个分子或一组分子的存在、不存在或相对丰度为：

·特定细胞或组织类型或状态的特征；

·特定病理情况或状态的特征；或者

·指示病理情况的严重性，病理情况进展或消退的可能性和/或病理情况将对特定治疗作出反应的可能性。

作为另一个例子，生物标记可以是细胞类型或微生物(例如细菌、分枝杆菌、真菌、病毒等)，或者取代基分子或其分子组。

生物标记特异性试剂：一种能够直接与细胞样品中的一种或多种生物标记特别地结合的特异性检测试剂，诸如第一抗体。

细胞检测：针对图像中存在的所有细胞，用于识别图像中特定细胞的位置的自动化计算机过程。

细胞样品：如本文所使用的，术语“细胞样品”是指包含完整细胞(诸如细胞培养物)、体液样品或被用于病理学、组织学或细胞学解释的外科样本的任何样品。生物样品可以是组织或细胞样品。组织或细胞样品的来源可以是来自新鲜、冷冻和/或保藏的器官或组织样品或者活组织检查或抽吸物的实体组织；血液或任何血液成分；体液，诸如脑脊髓液、羊水、腹膜液或组织液；来自受试者妊娠期或发育期中任何时候的细胞。细胞样品也可以从体外组织或细胞培养物中获得。细胞样品可以包含天然不与细胞自然混合的化合物，诸如防腐剂、抗凝剂、缓冲剂、固定剂、营养物、抗生素等。本文中细胞样品的例子包括但不限于肿瘤活组织检查、循环肿瘤细胞、血清或血浆、源自肿瘤或表现出肿瘤样特性的原代细胞培养物或细胞系，以及保藏的肿瘤样品，诸如由福尔马林固定的、石蜡包埋的肿瘤样品或冷冻的肿瘤样品。

补码图像：在二进制图像的补码图像中，0变为1，而1变为0；较深的颜色(例如，黑色或棕色)和较浅的颜色(例如，白色或蓝色)互相反转。作为结果，在补码图像中，较深的区域变得较浅，而较浅的区域变得较深。

计算机程序：也称为程序、软件、软件应用、脚本或代码，可以用任何形式的编程语言(包括编译或解释语言、说明性或过程性语言)编写，并且所述计算机程序也可以以任何形式被部署，包括作为独立程序或作为模块、部件、子程序、对象或适用于在计算环境中使用的其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，被存储在专用于所讨论程序的单个文件中或多个协调的文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个站点或跨多个站点分布并且通过通信网络互连的多个计算机上执行。本说明书中所描述的过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行以便通过操作输入数据并生成输出来执行动作。过程和逻辑流程还可以由装置执行，并且装置还可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。举例来讲，适用于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常来说，处理器将从只读存储器或随机存取存储器或二者中接收指令和数据。计算机的必不可少的元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或者光盘)，或者被可操作地耦合以从大容量存储设备中接收数据或者向大容量存储设备传送数据，或者两者。然而，计算机无需具有这样的设备。此外，计算机可以嵌入在另一个设备中，例如移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几例。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，举例来讲，包括半导体存储器设备(例如，EPROM、EEPROM以及闪存存储器设备)、磁盘(例如，内置硬盘或可移除盘)、磁光盘以及CDROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或结合在其中。

计算系统：也称为计算机，包括任意数量的客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。客户端与服务器的关系借助于在各自的计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。在一些实施方案中，服务器将数据(例如，HTML页面)传输到客户端设备(例如，目的是向与客户端设备交互的用户显示数据和从与客户端设备交互的用户接收用户输入)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。

复染色：用与主染色剂形成鲜明对比的颜色染色以使被染色对象更容易被检测到。例如，在H&E染色法中曙红对苏木精复染色。

细胞质染色：以具有细胞的胞质区域的形态特征的方式排列的一组像素。

标记：一种可以允许生物标记与周围的组织和/或与其他生物标记区分开的染色剂、染料或标签。可以从组织特征(并且更具体地，指示医疗情况的组织特征)的意义上理解术语“生物标记”，诸如特定细胞类型(例如免疫细胞)的存在。生物标记可以通过组织特征中特定的分子(例如蛋白质)的存在来识别。

膜/细胞质区域：在其中扩散的膜染色与细胞质染色混合的区域。

膜/点状区域：在其中扩散的膜染色与点状染色混合的区域。

归一化特征量度：一种特征量度，其值已通过归一化因子进行了调整。

对象分割：一种对象隔离过程，在其中将感兴趣的对象(例如，细胞、肿瘤或骨骼等)与变化的背景(例如，光学复杂性)分开。常规的图像分割技术可以大致分为三类：

1.基于边缘或基于轮廓的方法，在其中标记了持续的强度变化或边缘(通常用离散的导数算子)。

2.直接区域分割方法，在其中根据一些均匀性标准对图像进行分割。

3.灰度阈值，其中通过使用适当的阈值将亮(或暗)对象从背景中分离出来。

处理器：包括用于处理数据的各种装置、设备和机器，举例来讲，包括可编程微处理器、计算机、芯片上系统或多个芯片上系统或前述项的组合。所述装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可包括为所讨论的计算机程序创造执行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或其中的一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。

点状染色：一组具有较强局部染色强度的像素，表现为在细胞的膜区域上散射的斑点/点。

样品：如本文所用的，术语“样品”应指从能够测试生物标记存在或不存在的对象或目标中获得的任何材料。

染色剂：当被用作名词时，术语“染色剂”应指可被用于可视化细胞样品中特定分子或结构以用于(包括明场显微镜、荧光显微镜、电子显微镜等)显微镜分析的任何物质。当被用作动词时，术语“染色”应指导致染色剂沉积在细胞样品上的任何过程。

受试者：当被用作名词时，术语“受试者(subject)”或“个体”是哺乳动物。哺乳动物包括但不限于家养动物(例如牛、绵羊、猫、狗和马)、灵长类(例如，人类和诸如猴子的非人类灵长类)、兔子和啮齿动物(例如，小鼠和大鼠)。在某些实施方案中，个体或受试者是人类。

测试样品：从受试者中获得的在其被获得时具有未知结果的肿瘤样品。

组织样品：如本文所用的，术语“组织样品”应指维护细胞之间的截面空间关系的细胞样品，所述细胞存在于从其获得所述样品的受试者体内。“组织样品”应包括初生组织样品(即，由受试者产生的细胞和组织)和异种移植物(即，植入受试者体内的外来细胞样品)。

组织样本：包含可被固定在载玻片上的任何类型的生物样本，诸如组织切片、血液、细胞培养物和类似的生物样品。

用户界面设备：包括提供与用户交互的显示器，本说明书中描述的主题的实施方案可以在具有用于向用户显示信息的显示设备(例如，LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器)、以及通过其用户可以向计算机提供输入的键盘和定点设备(例如鼠标或轨迹球)的计算机上实施。在一些实施方式中，触摸屏可以被用于显示信息并接收来自用户的输入。还可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档(例如，通过响应于从用户的客户端设备上的web浏览器接收的请求将网页发送到web浏览器)来与用户交互。本说明书中描述的主题的实施方案可以实施在包括以下的计算系统中：后端部件(例如，作为数据服务器)、或中间件部件(例如，应用服务器)、或前端部件(例如，具有图形用户界面或Web浏览器的客户端计算机，用户可以通过所述图形用户界面或所述Web浏览器与本说明书中描述的主题的实施方式交互)、或者一个或多个这种后端、中间件或前端部件的任何组合。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)进行互连。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)以及对等网络(例如，自组织对等网络)。

参照图1，根据本公开文本的示例性实施方案提供了一种细胞检测系统10。细胞检测系统10可以适于自动检测被染色样本图像中细胞的存在，并且更特别地，适于自动检测被着较深颜色的染色图像中的细胞。细胞检测系统10通常包括图像分析系统100和图像采集系统120。

图像采集系统120采集被染色生物样品的一个或多个数字图像。本质上，可以使用能够产生彩色数字图像的任何合适的成像方法。例如，可以生成被染色组织样品(组织样本或细胞样品)的RGB输入彩色图像210(图2)并将其存储在存储设备(诸如本地计算机、磁盘驱动器、固态盘、服务器计算机等)中。

图像分析系统100可以包括一个或多个计算设备(诸如台式计算机、膝上型计算机、平板计算机、智能电话、服务器，专用计算设备)或能够执行本文所描述的技术和/或操作的任何其他(多种)类型的(多个)电子设备。在一些实施方案中，图像分析系统100可以被实施为单个设备。在其他实施方案中，图像分析系统100可以被实施为两个或更多个设备的组合，一起实现本文所描述的各种功能。例如，图像分析系统100可以包括经由一个或多个局域网和/或诸如因特网或内联网的广域网彼此通信地耦接的一个或多个服务器计算机和一个或多个客户端计算机。

图像分析系统100可以包括存储器115、处理器116和显示器117。存储器115可以包括任意类型的易失性或非易失性存储器的任意组合，诸如随机存取存储器(RAM)、诸如电可擦除可编程只读存储器(EEPROM)的只读存储器、闪存、硬盘驱动器、固态驱动器、光盘等。存储器115可以存储用于处理器116的非暂态计算机可读指令以执行本公开文本的工作流，所述工作流将稍后被更详细地描述。为了简洁起见，虽然在图2中存储器115被描绘为单个设备，但是应理解的是，存储器115也可以分布在两个或更多个设备上。

处理器116可以包括任何类型的一个或多个处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、专用信号或图像处理器、现场可编程门阵列(FPGA)、张量处理单元(TPU)等。为了简洁起见，虽然图2中存储器116被描绘为单个设备，但是应理解的是，存储器116也可以分布在任何数量的设备上。

可以使用诸如LCD、LED、OLED、TFT、等离子等任何合适技术来实施显示器117。在一些实施方式中，显示器117可以是触敏显示器(触摸屏)。

图像分析系统100还可以包括对象识别器110、感兴趣区域(ROI)生成器111、用户界面模块112和细胞检测引擎114。尽管这些模块在图1中被描绘为独立的模块，但对于本领域的普通技术人员显而易见的是，每个模块可以替代地被实施为多个子模块，并且在一些实施方案中，任何两个或更多个模块可以被组合成单个模块。此外，在一些实施方案中，为简洁起见，系统100可以包括在图1中未被描绘的另外的引擎和模块(例如，输入设备、连网和通信模块等)。此外，在一些实施方案中，在图1中所描绘的一些块可以被禁用或省略。如将在下面更详细地讨论的，系统100的一些或所有模块的功能可以以硬件、软件、固件或其任何组合来实施。可用于实施本文公开的模块的示例性可商购软件包包括：VENTANAVIRTUOSO、Definiens TISSUE STUDIO、DEVELOPER XD和IMAGE MINER以及VisopharmBIOTOPIX、ONCOTOPIX和STEREOTOPIX软件包。

在获取图像210之后，图像分析系统100可以将图像210传递给对象识别器110，所述对象识别器的功能是识别并标记图像210内的随后将被用于细胞检测的相关对象和其他特征。对象识别器110可从每个图像210中提取(或为每个图像210生成)表征图像中各种对象以及代表(多个)生物标记表达的像素的多个图像特征。提取的图像特征可以包括例如诸如Haralick特征的纹理特征、词袋特征等。可以将多个图像特征的值组合成表征生物标记表达的、在下文中被称为“特征向量”的高维向量。例如，如果针对每个对象和/或像素提取了M个特征，则每个对象和/或像素可以由M维特征向量来表征。对象识别器110的输出实际上是图像的地图，所述地图注释了感兴趣对象和像素的位置，并且将这些对象和像素与描述对象或像素的特征向量相关联。应理解的是，本文出于说明的目的描述了特征向量并且本公开文本不限于生物标记。

对于基于生物标记与特定类型的对象(诸如膜、细胞核、细胞等)的关联进行评分的生物标记，由对象识别器110和/或由所述对象的生物标记染色的水平或强度提取的特征可以包括足以将样品中的对象分类为感兴趣的生物标记阳性对象(如图8中的红色箭头箭头810所指示的)或感兴趣的生物标记阴性对象(如图8中的蓝色箭头箭头820所指示的)的特征或特征向量。在根据表达生物标记(诸如可以基于肿瘤细胞的表达对其进行评分的诸如PD-L1、PD-L2和IDO的免疫检查点生物标记、免疫细胞表达或两者)的对象类型对所述生物标记进行不同加权的情况下，由对象识别器110提取的特征可以包括与确定与生物标记阳性像素相关联的对象的类型有关的特征。这样，然后可以至少基于生物标记的表达(例如，生物标记阳性或生物标记阴性细胞)以及对象的子类型(例如肿瘤细胞、免疫细胞等)(如果有关的话)将对象分类。在不顾与对象的相关联而对生物标记表达的程度进行评分的情况下，由对象识别器110提取的特征可以包括例如生物标记阳性像素的位置和/或强度。

图像分析系统100还可以将图像传递到ROI生成器111。ROI生成器111可被用于识别图像210的、可以从中计算免疫环境得分的感兴趣的(多个)区域、一个或多个ROI。在对象识别器110未被应用于整个图像的情况下，由ROI生成器111生成的一个或多个ROI也可以被用于定义在其上执行对象识别器110的图像的子集。在一个实施方案中，可以通过用户界面模块112来访问ROI生成器111。在用户界面模块112的图形用户界面上显示生物标记染色的样品的图像(或生物标记染色的样品的在形态上被染色的连续切片)，并且用户在图像中注释的一个或多个区域将被视为ROI。在该例子中，ROI注释可以采用多种形式。例如，用户可以手动定义ROI(以下称为“自由式ROI注释”)。

在其他例子中，ROI生成器111可以帮助用户注释ROI。例如，用户可以注释图像中的边缘(诸如例如，肿瘤的有创边缘的前缘，或表示从肿瘤核心到肿瘤的有创区域的过渡的边缘)，并且ROI生成器111可以基于用户定义的边缘自动地定义ROI。例如，用户可以在用户界面模块112中注释有创边缘的前缘，并且ROI生成器111使用所述边缘作为指导来创建ROI，例如，通过绘制包含所述前缘或所述前缘的一侧的预定义距离内的所有对象的ROI。在某些情况下，可以给用户一个选项来修改由ROI生成器111注释的ROI，诸如通过扩展所述ROI、注释所述ROI的区域或在所述ROI内的将要从分析中排除的对象等。在其他实施方案中，ROI生成器111可以自动地举荐ROI，而无需来自用户的任何直接输入(例如，通过将样本分割功能应用于未注释的图像)，然后用户可以酌情选择接受、拒绝或编辑所述ROI。在一些实施方案中，ROI生成器111还可以包括注册功能，由此在一组连续切片的一个切片中被注释的ROI被自动地传送到所述一组连续切片的其他切片中。当将要分析多个生物标记时，或当被H&E染色的连续切片与生物标记标记的切片一起提供时，该功能是特别有用的。

在对象识别器110和ROI生成器111都已经被实施之后，如稍后将更详细描述的，实施细胞检测引擎114。

在一些实施方案中，图像分析系统100可以可通信地耦接到图像采集系统120。图像采集系统120可以获取生物样本的图像并将那些图像210提供给图像分析系统100以用于进行分析并呈现给用户。

图像采集系统120可以包括诸如可以以20倍、40倍或其他放大倍数扫描被染色载玻片以产生高分辨率的全载玻片数字图像的载玻片扫描仪的扫描平台125，包括例如载玻片扫描仪。在基本层面上，典型的载玻片扫描仪至少包括：(1)具有物镜的显微镜，(2)光源(诸如卤素灯、发光二极管、白光和/或多光谱光源，取决于染料)，(3)用于四周移动玻璃载玻片(或用于在载玻片周围移动光学元件)的机器人，(4)用于捕获图像的一个或多个数码相机，(5)计算机和用于控制机器人并且操纵、管理和查看数字载玻片的相关的软件。相机的电荷耦合器件(CCD)可以捕获载玻片上多个X-Y位置处(并且在某些情况下，在多个Z平面处)的数字数据，并将图像合并在一起以形成整个被扫描表面的合成图像。以下是完成该任务的示例性方法：

(1)基于图块的扫描，其中载物台或光学元件以非常小的增量移动以捕获与相邻正方形略有重叠的正方形图像帧。然后将捕获的正方形自动地彼此匹配以构建合成图像；以及

(2)基于行的扫描，其中，载物台在采集过程中沿单轴移动以捕获多许多合成图像“条”。然后，图像条可以彼此匹配以形成较大的合成图像。

可以将由扫描平台125生成的图像传送到图像分析系统100或图像分析系统100可访问的服务器或数据库。在一些实施方案中，可以经由一个或多个局域网和/或广域网自动地传送图像。在一些实施方案中，图像分析系统100可以与扫描平台125和/或图像采集系统120的其他模块集成或包括在其中，在这种情况下，可以例如通过由平台125和系统120双方都可访问的存储器将图像传送到图像分析系统。

在一些实施方案中，图像采集系统120可以不与图像分析系统100可通信地耦接，在这种情况下，图像可以被存储在任何类型的非易失性存储介质(例如，闪存驱动器)上，并且从所述介质下载所述图像到图像分析系统100或与所述介质可通信地耦接的服务器或数据库中。在以上任何例子中，图像分析系统100可以获得生物样品的图像，其中所述样品可能已经被附着到载玻片上并被组织化学染色平台123染色，并且所述载玻片可能已经被载玻片扫描仪或另一种类型的扫描平台125扫描。然而，应理解的是，在其他实施方案中，下面描述的技术也可以被应用于通过其他方式获取和/或染色的生物样品的图像。

细胞检测系统10还可以包括自动化组织化学染色平台123，诸如自动化IHC/ISH载玻片染色器和H&E染色平台124。

进一步参照图2、图3和图4，图2展示了形成图像分析系统100的一部分的细胞检测引擎114。图3展示了由细胞检测引擎114实施的工作流300，其中，在图像已经被反卷积(去卷积)、分别地被补码、被可选地归一化并且然后重新组合之后，执行细胞检测(或分割)。图4描绘了由工作流300实施的细胞分布的示例性图示。

在该特定示图中并进一步参照图8，输入图像210是PDL1染色的包括至少两个明显的被染色感兴趣区域(或感兴趣区域组)ROI的样本图像。第一ROI包括正区域并且由红色箭头810指示，并且第二ROI包括负区域并且由蓝色箭头820指示，其中，需要在ROI 810、ROI820两者中都检测细胞核。

为此，ROI 810代表在其中细胞膜被3,3'-二氨基联苯胺(3,3'-diaminobenzidine)(DAB)染色的示例性样本图像，其产生深(或较深)颜色的染色，诸如棕色、紫色或任何其他相对深的颜色，无论酶在何处结合。此外，使用镍(nickel)可增强与DAB的反应以产生深紫色/黑色染色。各种因素(包括深色染色)可能掩盖在下面的着较浅颜色的被染色细胞核并使它们无法被检测到。ROI 820代表在其中细胞核可能已被苏木精(Hematoxylin)复染的样本图像。

图10表示由于执行细胞检测算法而产生的输入图像210的再现1000，所述单元检测算法仅使用例如径向对称算法聚焦在蓝色通道上。尽管由这种传统方法产生的输出图像1000相对于输入图像210示出了一定的改善，但仍有进一步改善的余地，特别是DAB、强(或暗)膜染色区域810仍不能清楚地描绘出在下面的并仍被掩盖的着较浅颜色的细胞核。

本公开文本描述了用于显出输入图像210中、特别是DAB区域810中被掩盖的细胞核的方法。为此，输入图像210被馈送到颜色反卷积(或颜色解混)模块220以用于将其反卷积为两个颜色通道，所述两个颜色通道在合并之前被分别地处理。颜色反卷积模块220从输入图像210中生成两个单独的图像：染色图像230和复染色图像250。在该示例性图示中，细胞检测引擎114主要旨在检测染色图像230以及复染色图像250中的细胞核。

然后，通过简单或复杂的方式分割为前景和背景，将由颜色反卷积模块220生成的图像分别转换为二进制图像。例如，在该示例性图示中，前景是由图像中被棕色DAB染色剂覆盖的所有区域组成的。染色图像补码模块232适于自动生成染色图像230的二进制补码234。在二进制图像的补码中，0变为1，而1变为0，从而导致颜色反转。作为结果，补码图像234清楚地反映了先前被掩盖的着浅色的细胞核。

归一化模块260(图2)适于归一化染色图像230的补码图像234，以便生成归一化补码图像262(图3、图4)。在一些实施方案中，归一化特征度量可以是总度量。在其他实施方案中，归一化特征量度可以是针对ROI的多个控制区域的归一化特征量度的平均值或中值。

可以在补码图像234上可选地实施归一化模块236以生成膜染色图像230的归一化补码图像262。另一个(或相同的)归一化模块260可以可选地将被复染色的细胞核图像250归一化为归一化复染色图像264。此后，图像运算器模块270(图2)适于将染色图像230的归一化补码262与复染色图像264的归一化二进制图像进行组合以生成组合的归一化图像272。然后，细胞检测引擎114的分割模块275(图2)检测组合的归一化图像272内的细胞核，并输出组合的检测到的细胞图像280(图2、图3、图4、图9)。图9的输出图像280和先前技术的输出图像1000的比较阐明了本公开文本提供了一种更好的细胞核检测方法，尤其是在DAB映射的图像810中。

现在考虑图5、图6和图7，图5展示了形成图像分析系统100的一部分的细胞检测引擎500。图6示出了由细胞检测引擎500实施的工作流600，所述工作流如下：输入图像210可以在两个单独的通道中被反卷积：可以生成膜染色图像230的棕色的通道；可以生成复染色图像250的蓝色通道。染色图像补码模块232可以生成补码膜染色图像(棕色)234。

可以在补码图像234上可选地实施归一化模块236以生成膜染色图像230的归一化补码图像262。另一个归一化模块260(或相同的归一化模块236)可以可选地将被复染色的细胞核图像250归一化为归一化复染色图像264。

此后，分割模块275可以分割归一化补码膜染色图像262并从中生成分割的细胞核图像652，从而检测到棕色染色图像230中的细胞核。同时地，另一个分割模块277(或相同的分割模块275)可以分割归一化复染色图像(蓝色)264并从中生成分割的细胞核图像650，从而检测到蓝色的复染色图像250中的细胞核。图像运算器模块270然后可以将两个分割的细胞核图像650、652组合成最终检测结果图像280(图5、图6、图7、图9)。

在本文描述的每个流程图中，一种或多种方法可以被实施在包含计算机可读代码的计算机可读介质中，使得当计算机可读代码在计算设备上执行时一系列步骤被完成。在一些实施方式中，在不脱离本发明的精神和范围的情况下，方法的某些步骤被组合、同时或以不同顺序完成或者可能被省略。因此，虽然以具体顺序描述和展示了方法步骤，但是特定步骤顺序的使用并不意味着暗示对本发明的任何限制。在不脱离本发明的精神或范围的情况下，可以对步骤顺序进行改变。因此，具体顺序的使用不应被视为具有限制意义，并且本发明的范围仅由所附权利要求书限定。

如本领域技术人员将明白的，本发明的各方面可以被实施为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件及硬件方面组合的实施方案的形式，这些方面通常在本文中可以称为“电路”、“模块”或“系统”。另外，本发明的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，该计算机可读介质具有在其上实现的计算机可读程序代码。

还应理解，可以使用软件、固件或硬件的任何组合来实施本发明的实施方案中的过程。作为在软件中实践本发明的准备步骤，编程代码(无论是软件还是固件)通常会存储在一个或多个计算机可读存储介质中，这些计算机可读存储介质例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、装置或设备或者前述各项的任何合适的组合。计算机可读存储介质的更具体例子(非详尽列表)将包括以下项：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述各项的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、设备或装置使用或者结合指令执行系统、装置或设备使用的程序的任何有形介质。

包含编程代码的制品通过以下项来使用：直接从存储设备执行代码、或将代码从存储设备复制到另一个存储设备(诸如硬盘、RAM等)、或传输代码以供使用传输类型介质(诸如数字和模拟通信链路)的远程执行之用。可以通过将包含根据本发明的代码的一个或多个机器可读存储设备与适当的处理硬件组合以执行其中包含的代码来实践本发明的方法。用于实践本发明的装置可以是一个或多个处理设备和存储系统，其包含或具有对根据本发明编码的程序的网络访问。

计算机可读信号介质可以包括其中实施了计算机可读程序代码的传播数据信号，例如在基带中或作为载波的部分。这种传播信号可以采取各种形式中的任何一种形式，包括(但不限于)电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且可以通信、传播或传输程序，以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用。

计算机可读介质上包括的程序代码可以使用任何适当的介质传输，该介质包括但不限于无线、有线、光纤电缆、射频等或前述各项的任何合适的组合。用于执行针对本发明的各方面的操作的计算机程序代码可以用一种或多种编程语言(包括诸如Java、Smalltalk、C++等面向对象的编程语言)与常规的程序化编程语言(诸如“C”编程语言或类似编程语言的)的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上执行作为独立的软件包、部分在用户的计算机且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以(例如，通过使用互联网服务供应商的因特网)连接到外部计算机。

这样，重要的是，虽然在具有安装(或执行)的软件的全功能计算机(服务器)系统的背景中描述了本发明的展示性实施方案，但是本领域技术人员将会明白的是，本发明的展示性实施方案的软件方面能够以各种形式作为程序产品分发，并且本发明的展示性实施方案同样适用，而与用于实际执行分发的特定类型的介质无关。

另外，虽然已经参考示例性实施方案描述了本发明，但是本领域技术人员将会理解的是，在不脱离本发明的范围的情况下，可进行各种改变并且可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使具体的系统、设备或其部件适应本发明的教导。因此，意图是本发明不限于为实现本发明而公开的具体实施方案，而是本发明将包括落入所附权利要求书范围内的所有实施方案。

如本文所用，除非在上下文另外明确指出，否则单数形式“一(a)”、“一个(an)”和“该/所述(the)”也旨在包括复数形式。应进一步理解的是，说明书中所用的术语“包括(comprises)”和/或“包含(comprising)”指定存在所述特征、整体、步骤、操作、元件和/或部件，但并不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。另外，术语第一、第二等的使用不表示任何顺序或重要性，而是术语第一、第二等用于将一个元件与另一个元件区分开。另外，本文和所附权利要求中出于描述目的使用诸如“a”、“b”、“c”、“第一(first)”、“第二(second)”和“第三(third)”等列举术语，并且这些术语不旨在指示或暗示相对重要性或意义。

下面的权利要求书中所有方法或步骤及功能元件的对应结构、材料、作用和等效物意图包括用于结合具体要求的其他所要求的元件来实现该功能的任何结构、材料或作用。本发明的描述已经出于说明和描述的目的被呈现，但并不意图是详尽的或将本发明限于所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。所选和所述的实施方案用于最好地解释本发明的原理及实践应用，同时让本领域其他普通技术人员理解本发明的多种实施方案，这些实施方案可针对特定的目标用途做出各种修改。

Claims (13)

1.一种用于检测样本图像(210)中的细胞核的方法，所述方法包括：

将所述样本图像(210)反卷积为至少第一信息通道和第二信息通道；

沿着所述第一信息通道生成染色图像(230)；

生成所述染色图像的补码图像(234)，以便显出至少一些未被检测到的细胞核；

沿着所述第二信息通道生成复染色图像(250)；

组合所述染色图像的所述补码图像(234)和所述复染色图像(250)以生成组合图像(272)；以及

在所述组合图像(272)中分割所述细胞核。

2.根据权利要求1所述的方法，其中，所述第一信息通道包括第一颜色通道。

3.根据权利要求2所述的方法，其中，所述第一颜色通道代表免疫组织化学(IHC)染色。

4.根据权利要求2和3中任一项所述的方法，其中，所述第二信息通道包括不同于所述第一颜色通道的第二颜色通道。

5.根据权利要求4所述的方法，其中，所述第二颜色通道代表复染色。

6.根据前述权利要求中任一项所述的方法，进一步包括归一化所述染色图像的所述补码图像(234)以生成所述染色图像的归一化补码图像(262)；以及

将所述染色图像的所述归一化补码图像(262)和所述复染色图像(250)进行组合以生成所述组合图像(272)。

7.根据权利要求6所述的方法，进一步包括归一化所述复染色图像(250)以生成归一化复染色图像(264)；以及

将所述染色图像的所述归一化补码图像(262)和所述归一化复染色图像(264)组合以生成所述组合图像(272)。

8.一种用于检测样本图像中的细胞核的图像分析系统(100)，所述图像分析系统包括：

反卷积模块(220)，所述反卷积模块被配置成将所述样本图像反卷积成至少第一信息通道和第二信息通道，从而沿着所述第一信息通道生成染色图像(230)以及沿着所述第二信息通道生成复染色图像(250)；

染色图像补码模块(232)，所述染色图像补码模块被配置成生成所述染色图像的补码图像(234)以显出至少一些未被检测到的细胞核；

分割模块(275)，所述分割模块被配置成分割所述染色图像的所述补码图像(234)以生成第一分割细胞核图像(652)；

其中，所述分割模块(275)进一步被配置成分割所述复染色图像以生成第二分割细胞核图像(650)；以及

图像运算器模块(270)，所述图像运算器模块被配置成组合所述第一分割细胞核图像(652)和所述第二分割细胞核图像(650)。

9.根据权利要求8所述的图像分析系统，进一步包括：归一化模块(236)，所述归一化模块被配置成归一化所述染色图像的所述补码图像(234)以生成所述染色图像的归一化补码图像(262)；

其中，所述分割模块(275)分割所述染色图像的所述归一化补码图像(262)以生成第一归一化分割细胞核图像(652)；并且

其中，所述图像运算器模块(270)将所述第一归一化分割细胞核图像(652)和所述第二分割细胞核图像(650)组合。

10.根据权利要求9所述的图像分析系统，其中，所述归一化模块(236)进一步被配置成归一化所述复染色图像(250)以生成归一化复染色图像(264)；

其中，所述分割模块(275)进一步分割所述归一化复染色图像(264)以生成第二归一化分割细胞核图像(650)；并且

其中，所述图像运算器模块(270)将所述第一归一化分割细胞核图像(652)和所述第二归一化分割细胞核图像(650)组合。

11.一种包括指令的非暂态计算机可读介质(115)，所述指令在由图像分析系统(100)的一个或多个处理器(116)执行时使所述图像分析系统执行多种操作以用于检测样本图像中的细胞核，所述操作包括：

将所述样本图像(210)反卷积为至少第一信息通道和第二信息通道；

沿着所述第一信息通道生成染色图像(230)；

生成所述染色图像的补码图像(234)，以便显出至少一些未被检测到的细胞核；

沿着所述第二信息通道生成复染色图像(250)；

组合所述染色图像的所述补码图像(234)和所述复染色图像(250)以生成组合图像(272)；以及

在所述组合图像(272)中分割所述细胞核。

12.根据权利要求11所述的非暂态计算机可读介质，其中，所述操作进一步包括：

归一化所述染色图像的所述补码图像(234)以生成所述染色图像的归一化补码图像(262)；以及

将所述染色图像的所述归一化补码图像(262)和所述复染色图像(250)进行组合以生成所述组合图像(272)。

13.根据权利要求12所述的非暂态计算机可读介质，其中，所述操作进一步包括：

归一化所述复染色图像(250)以生成归一化复染色图像(264)；以及

将所述染色图像的所述归一化补码图像(262)和所述归一化复染色图像(264)组合以生成所述组合图像(272)。

Images