CN111492368A - 用于基于膜特征对组织图像中的细胞进行分类的系统和方法 - Google Patents

用于基于膜特征对组织图像中的细胞进行分类的系统和方法 Download PDF

Info

Publication number
CN111492368A
CN111492368A CN201880082661.XA CN201880082661A CN111492368A CN 111492368 A CN111492368 A CN 111492368A CN 201880082661 A CN201880082661 A CN 201880082661A CN 111492368 A CN111492368 A CN 111492368A
Authority
CN
China
Prior art keywords
image
features
cells
tissue
cell
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880082661.XA
Other languages
English (en)
Other versions
CN111492368B (zh
Inventor
C·盖特
K·阮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ventana Medical Systems Inc
Original Assignee
Ventana Medical Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ventana Medical Systems Inc filed Critical Ventana Medical Systems Inc
Publication of CN111492368A publication Critical patent/CN111492368A/zh
Application granted granted Critical
Publication of CN111492368B publication Critical patent/CN111492368B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2134—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis
    • G06F18/21342—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on separation criteria, e.g. independent component analysis using statistical independence, i.e. minimising mutual information or maximising non-gaussianity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

一种图像分析系统和方法对组织图像中的细胞进行分类。所述系统和方法可以提取表征所述组织图像中的对象的至少一个图像特征。基于所述提取的图像特征，所述系统和方法可以根据至少一种预定的膜模式对所述细胞进行分类。对于每个已分类的细胞，所述系统和方法可以输出标识所述已分类的细胞所属的类别的类别标记。

Description

用于基于膜特征对组织图像中的细胞进行分类的系统和方法
背景技术
技术领域
本公开文本涉及用于医学诊断的数字图像处理方法和系统。具体地，本公开文本涉及基于特定膜特征的组织图像中的细胞的分类。
相关技术描述
在对诸如组织切片、血液、细胞培养物等生物样本进行分析中，将生物样本固定在载玻片上，并且用染色剂和生物标记物的一种或多种组合进行染色，并且对所得的测定物进行观察或成像以用于进一步分析。测定物可以包括诸如来自人类受试者的组织切片的生物样本，所述生物样本被用含有与抗体缀合的荧光团或色原的染色剂处理，所述抗体与样本中的蛋白质、蛋白质片段或其他靶标结合。观察测定物可以实现多种过程，包括疾病的诊断、对治疗反应的评估、以及抗击疾病的新药研发。
一旦扫描测定物，就得到图像数据的、包括颜色通道的多个信息通道，其中每个观察通道包括多个信号的混合。苏木精-伊红(H&E)染色是测定物染色的最常见例子之一，其包括两种有助于识别组织结构信息的染色剂。苏木精主要用一般的蓝色来染色细胞核，而伊红主要起将细胞质染成一般粉色的作用。特殊的染色测定物可以基于组织中的目标物质的化学特征、生物学特征或病理特征来识别所述靶标物质。
免疫组织化学(IHC)测定物包括与抗体缀合的一种或多种染色剂，所述抗体与样本中的蛋白质、蛋白质片段或其他感兴趣的结构(在下文中被称为靶标或感兴趣的对象)结合。将样本中的靶标结合至染色剂的抗体和其他化合物(或物质)在本文中被称为生物标记物。
对于H&E或特殊的染色测定物，生物标记物与染色剂(例如，苏木精复染剂)具有固定的关系，而对于IHC测定物，染色剂的选择可用于生物标记物以研发和创造新的测定物。在成像之前根据测定物制备生物样本。一旦向组织施加单个光源、一系列多个光源或任何其他输入光谱源，观察者通常就可以通过显微镜对测定物进行评估，或者可以从测定物中获取图像数据以用于进一步处理。
在这种采集中，得到图像数据的多个信息通道、例如颜色通道，其中每个观察通道包括多个信号的混合。对该图像数据的处理可以包括也被称为光谱解混、颜色分离等的颜色反卷积方法，所述方法用于从图像数据的一个或多个观察通道中确定特定染色剂的局部浓度。对于通过自动化方法处理的图像数据(在显示器上描绘的)或对于由观察者观察的测定物，可以确定被染色组织的局部外观与所施加的染色剂和生物标记物之间的关系以确定被染色组织中的生物标记物分布的模型。
在医疗保健领域，数字图像分析的一个重要领域是能够识别和量化针对特定亚细胞位置中的感兴趣分析物的染色的能力。目前存在用于进行这种分析的算法。例如，目前已知用于检测HER2和cMET的膜表达的算法。这些算法依赖于细胞核检测以在细胞核周围的局部邻域上搜索被染色膜，使用预定义的阈值来限定将要搜索膜区域的细胞核周围的邻域。因此，如果这些算法漏掉了细胞核，或者如果膜位于预定义的邻域半径之外，则可能无法检测到所述细胞核周围的被染色膜。此外，算法可能会忽略包含与其他染色隔室相结合的膜染色(诸如细胞质染色)的区域。因此，使用这些方法进行的染色量化可能是不完整的或不正确的。
在本领域中已经提出了若干种用于细胞分类的方法。尽管某些示例性方法通常可以探索细胞周围的背景信息，但是它们提出了通用的解决方案，并且未明确针对不同膜染色模式的结构或外观差异。尽管这些现有方法可以为细胞提供一定水平的背景数据，但是仍然需要长期基于特定的膜特征对组织图像中的细胞进行准确分类，特别是当必须基于细胞膜的不同模式区分不同类型的细胞时。最近，满足可持续癌症治疗需求的免疫疗法已示出沿细胞膜的取决于细胞的状态和类型的更复杂的染色模式。
发明内容
本公开文本尤其通过提供一种数字图像处理系统和方法来解决前述问题，所述数字图像处理系统和方法用于自动分类被染色组织图像中的细胞、尤其是组织图像中的细胞。更具体地，所述数字图像处理系统包括存储数字编码的非暂态计算机可读指令的数字存储介质，所述指令用于由一个或多个处理器执行的，以便实施本公开文本的所述方法。
在一个实施方案中，输入图像被馈送到颜色反卷积模块以用于反卷积为两个被单独地处理的颜色通道。颜色反卷积模块从所述输入图像生成两个或更多个单独的图像：苏木精(HTX)染色组织图像和二氨基联苯胺(DAB)染色图像。在该示例性展示中，细胞分类引擎旨在基于经染色细胞膜的结构对细胞进行分类。
可以将高斯差分(DoG)滤波器应用于膜染色图像，以便生成滤波图像。使用DoG滤波器对膜染色图像进行滤波的原因之一是因为DoG滤波器有助于增强特定子区域的强度，所述子区域可能包含可识别的模式化膜结构。
Otsu阈值模块可以应用于滤波图像，以便通过生成膜掩模图像来进一步增强膜结构的微弱染色细节。然后可以将斑点提取应用于膜掩模图像，以便通过将子区域内的各种组件或特征连接来提取感兴趣子区域内的斑点对象。
为了进一步改善椭圆膜染色模式与点状膜染色模式之间的区别，细胞分类引擎为每个检测到的细胞计算与膜斑点对象有关的统计值。这些统计值被设计为与细胞的视觉表示相关联，并且存储在训练数据库中，以备将来用于帮助准确识别细胞。
附图说明
本专利或申请文件包含至少一个彩色附图。应请求并且支付必要的费用后，具有彩色附图的本专利或专利申请公开的副本将由专利局提供。
将参考具体实施方式、权利要求和附图更详细地描述本公开文本的各种特征以及实现它们的方式，其中：
图1描绘了根据本主题公开文本的示例性实施方案的基于计算机的细胞检测系统，所述细胞检测系统适于基于特定膜特征对组织图像中的细胞进行分类；
图2是根据本主题公开文本的示例性实施方案的形成图1的细胞检测系统的一部分的细胞分类引擎的框图；
图3描绘了根据本主题公开文本的示例性实施方案的由图2的细胞分类引擎实施的工作流；
图4描绘了PD-L1图像的阳性肿瘤细胞中的示例性椭圆膜染色模式；
图5描绘了PD-L1染色图像的阳性免疫细胞区域中的示例性点状膜染色模式；
图6描绘了表皮生长因子受体(EGFR)染色图像中的示例性椭圆染色模式；
图7描绘了EGFR染色图像中的示例性点状染色模式；
图8A、图8B、图8C描绘了根据本主题公开文本的示例性实施方案的三个示例性序列模式，所述三个示例性序列模式由图2的细胞分类引擎处理以生成用于椭圆膜染色模式的膜特征计算的膜掩模图像；并且
图9A、图9B、图9C描绘了根据本主题公开文本的示例性实施方案的三个示例性序列模式，所述三个示例性序列模式由图2的细胞分类引擎处理以生成用于点状膜染色模式的膜特征计算的膜掩模图像。
应当明白，为了说明的简单和清楚起见，可以在附图中重复使用附图标记来指示对应或类似的特征。
具体实施方式
I-定义
除非另有定义，否则本文所使用的技术和科学术语均具有与本领域普通技术人员通常理解的相同含义。参见例如Lackie，《细胞和分子生物学词典(D ICTIONARY OF CELLAND MOLECULAR BIOLOGY)》，Elsevier(第4版，2007)；Sambrook等人，《分子克隆，实验室手册(MOLECULAR CLO NING,A LABORATORY MANUAL)》，Cold Springs Harbor出版社(ColdSprings Harbor，纽约，1989)。
在分析上不同的染色模式：传达不同生物学意义的同一个分析物或同一组分析物的两种或多种不同的空间关系。例如，转录因子可以定位于细胞质(在这种情况下，它们很可能是无活性的)或细胞核(在这种情况下，它们很可能是被激活的)。这样，“细胞质”染色模式和“细胞核”染色模式在分析上是不同的。类似地，某些细胞表面受体可以具有显示定位于膜或者定位于细胞质的染色模式。受体的相关活性可以根据受体被定位的位置而不同。这样，在该例子中，“膜”染色模式与“细胞质”染色模式在分析上是不同的。然而，在其他情况下，特定分析物的定位可能并不重要。例如，针对受体酪氨酸激酶的磷酸化信号的特定定位的免疫组织化学测定物很可能在分析上是无关的。
抗体：本文中术语“抗体”以最广义使用并且涵盖各种抗体结构，包括但不限于单克隆抗体、多克隆抗体、多特异性抗体(例如，双特异性抗体)以及抗体片段，只要所述抗体片段表现出所期望的抗原结合活性。
生物标记物：如本文所用的，术语“生物标记物”应指在生物样品中发现的可被用于表征生物样品或从中获得所述生物样品的受试者的任何分子或分子组。例如，生物标记物可以是一个分子或一组分子，所述一个分子或一组分子的存在、不存在或相对丰度为：
·特定细胞或组织类型或状态的特征；
·特定病理情况或状态的特征；或者
·指示病理情况的严重性，病理情况进展或消退的可能性和/或病理情况将对特定治疗作出反应的可能性。
作为另一个例子，生物标记物可以是细胞类型或微生物(诸如细菌、分枝杆菌、真菌、病毒等)，或者取代基分子或其分子组。如本文所预期，生物标记物成像包括但不限于多路复用的组织生物标记物成像。
生物标记物特异性试剂：一种能够直接与细胞样品中的一种或多种生物标记物特别地结合的特异性检测试剂，诸如第一抗体。
细胞检测：用于识别图像中特定细胞的位置的计算机的自动化过程。
细胞样品：如本文所使用的，术语“细胞样品”是指包含完整细胞(诸如细胞培养物)、体液样品或被用于病理学、组织学或细胞学解释的外科样本的任何样品。生物样品可以是组织或细胞样品。组织或细胞样品的来源可以是来自新鲜、冷冻和/或保藏的器官或组织样品或者活组织检查或抽吸物的实体组织；血液或任何血液成分；体液，诸如脑脊髓液、羊水、腹膜液或组织液；来自受试者妊娠期或发育期中任何时候的细胞。细胞样品也可以从体外组织或细胞培养物中获得。细胞样品可以包含天然不与细胞自然混合的化合物，诸如防腐剂、抗凝剂、缓冲剂、固定剂、营养物、抗生素等。本文中细胞样品的例子包括但不限于肿瘤活组织检查、循环肿瘤细胞、血清或血浆、源自肿瘤或表现出肿瘤样特性的原代细胞培养物或细胞系，以及保藏的肿瘤样品，诸如由福尔马林固定的、石蜡包埋的肿瘤样品或冷冻的肿瘤样品。
计算机程序：也称为程序、软件、软件应用、脚本或代码，可以用任何形式的编程语言(包括编译或解释语言、说明性或过程性语言)编写，并且所述计算机程序也可以以任何形式被部署，包括作为独立程序或作为模块、部件、子程序、对象或适用于在计算环境中使用的其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)中，被存储在专用于所讨论程序的单个文件中或多个协调的文件(例如，存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署成在一个计算机上或者在位于一个站点或跨多个站点分布并且通过通信网络互连的多个计算机上执行。本说明书中描述的过程或逻辑流程可以由执行一个或多个计算机程序的一个或多个可编程处理器来执行以便通过操作输入数据并生成输出来执行动作。过程和逻辑流程还可以由装置执行，并且装置还可以被实施为专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。举例来讲，适用于执行计算机程序的处理器包括通用和专用微处理器，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或两者中接收指令和数据。计算机的必不可少的元件是用于根据指令执行运动的处理器以及用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或者光盘)，或者可操作地耦合以从大容量存储设备中接收数据或向大容量存储设备传送数据、或两者。然而，计算机无需具有这种设备。此外，计算机可被嵌入另一设备，例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器、或便携式存储设备(例如，通用串行总线(USB)闪存驱动器)，仅举几例。适用于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，举例来讲，包括半导体存储器设备(例如，EPROM、EEPROM以及闪存存储器设备)、磁盘(例如，内置硬盘或可移除盘)、磁光盘以及CD ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或结合在其中。
计算系统：也称为计算机，包括任意数量的客户端和服务器。客户端和服务器通常远离彼此并且通常通过通信网络进行交互。客户端与服务器的关系借助于在相应计算机上运行并且彼此具有客户端-服务器关系的计算机程序产生。在一些实施方案中，服务器将数据(例如，HTML页面)传输到客户端设备(例如，目的是向与客户端设备交互的用户显示数据和从与客户端设备交互的用户接收用户输入)。可以从服务器处的客户端设备接收在客户端设备处生成的数据(例如，用户交互的结果)。
复染色：用与主染色剂形成鲜明对比的颜色染色以使被染色对象更容易被检测到。例如，在H&E染色法中曙红对苏木精复染色。
细胞质染色：以具有细胞的胞质区域的形态特征的模式排列的一组像素。
标记物：一种可以允许生物标记物与周围的组织和/或与其他生物标记物区分开的染色剂、染料或标签。可以从组织特征(并且更具体地，指示医疗情况的组织特征)的意义上理解术语“生物标记物”，诸如特定细胞类型(例如免疫细胞)的存在。生物标记物可以通过组织特征中特定的分子(例如蛋白质)的存在来识别。
膜/点状区域：在其中扩散的膜染色与点状染色混合的区域。
处理器：包括用于处理数据的各种装置、设备和机器，举例来讲，包括可编程微处理器、计算机、芯片上系统或多个芯片上系统或前述项的组合。所述装置可以包括专用逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除了硬件之外，装置还可包括为所讨论的计算机程序创造执行环境的代码，例如，组成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机、或其中的一个或多个的组合的代码。装置和执行环境可以实现各种不同的计算模型基础结构，诸如web服务、分布式计算和网格计算基础结构。
点状染色：一组具有较强局部染色强度的像素，表现为在细胞的膜区域上散射的斑点/点。
样品：如本文所用的，术语“样品”应指从能够测试生物标记物存在或不存在的对象或靶标中获得的任何材料。
染色剂：当被用作名词时，术语“染色剂”应指可被用于可视化细胞样品中特定分子或结构以用于(包括明场显微镜、荧光显微镜、电子显微镜等)显微镜分析的任何物质。当被用作动词时，术语“染色”应指导致染色剂沉积在细胞样品上的任何过程。
受试者：当被用作名词时，术语“受试者(subject)”或“个体”是哺乳动物。哺乳动物包括但不限于家养动物(例如牛、绵羊、猫、狗和马)、灵长类(例如，人类和诸如猴子的非人类灵长类)、兔子和啮齿动物(例如，小鼠和大鼠)。在某些实施方案中，个体或受试者是人类。
测试样品：从受试者中获得的在其被获得时具有未知结果的肿瘤样品。
组织样品：如本文所用的，术语“组织样品”应指维护细胞之间的截面空间关系的细胞样品，所述细胞存在于从其获得所述样品的受试者体内。“组织样品”应包括初生组织样品(即，由受试者产生的细胞和组织)和异种移植物(即，植入受试者体内的外来细胞样品)。
组织样本：包含可被固定在载玻片上的任何类型的生物样本，诸如组织切片、血液、细胞培养物和类似的生物样品。
用户界面设备：包括提供与用户交互的显示器，本说明书中描述的主题的实施方案可以在具有用于向用户显示信息的显示设备(例如，LCD(液晶显示器)、LED(发光二极管)显示器或OLED(有机发光二极管)显示器)、以及通过其用户可以向计算机提供输入的键盘和定点设备(例如鼠标或轨迹球)的计算机上实施。在一些实施方式中，触摸屏可以被用于显示信息并接收来自用户的输入。还可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感官反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以以任何形式接收来自用户的输入，包括声音、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档(例如，通过响应于从用户的客户端设备上的web浏览器接收的请求将网页发送到web浏览器)来与用户交互。本说明书中描述的主题的实施方案可以实施在包括以下的计算系统中：后端部件(例如，作为数据服务器)、或中间件部件(例如，应用服务器)、或前端部件(例如，具有图形用户界面设备或Web浏览器的客户端计算机，用户可以通过所述图形用户界面或所述Web浏览器与本说明书中描述的主题的实施方式交互)、或者一个或多个这种后端、中间件或前端部件的任何组合。系统的部件可以通过数字数据通信的任何形式或介质(例如，通信网络)进行互连。通信网络的例子包括局域网(“LAN”)和广域网(“WAN”)、互联网络(例如，互联网)以及对等网络(例如，自组织对等网络)。
II-细胞检测系统
参照图1，根据本公开文本的示例性实施方案提供了一种细胞检测系统10。细胞检测系统10可以适于自动检测被染色组织图像中细胞的存在，并且更具体地，适于自动检测和分类组织图像中的细胞。细胞检测系统10通常包括图像分析系统100和图像采集系统120。
图像采集系统120采集被染色生物样品的一个或多个数字图像。本质上，可以使用能够产生彩色数字图像的任何合适的成像方法。例如，可以生成被染色组织样品(组织样本或细胞样品)的RGB输入彩色图像210(图2)并将其存储在存储设备(诸如本地计算机、磁盘驱动器、固态盘、服务器计算机等)中。
图像分析系统100可以包括一个或多个计算设备(诸如台式计算机、膝上型计算机、平板计算机、智能电话、服务器，专用计算设备)或能够执行本文所描述的技术和/或操作的任何其他(多种)类型的(多个)电子设备。在一些实施方案中，图像分析系统100可以被实施为单个设备。在其他实施方案中，图像分析系统100可以被实施为两个或更多个设备的组合，一起实现本文所描述的各种功能。例如，图像分析系统100可以包括经由一个或多个局域网和/或诸如因特网或内联网的广域网彼此通信地耦接的一个或多个服务器计算机和一个或多个客户端计算机。
图像分析系统100可以包括存储器115、处理器116和显示器117。存储器115可以包括任意类型的易失性或非易失性存储器的任意组合，诸如随机存取存储器(RAM)、诸如电可擦除可编程只读存储器(EEPROM)的只读存储器、闪存、硬盘驱动器、固态驱动器、光盘等。存储器115可以存储用于处理器116的非暂态计算机可读指令以执行本公开文本的工作流，所述工作流将稍后被更详细地描述。为了简洁起见，虽然在图2中存储器115被描绘为单个设备，但是应理解的是，存储器115也可以分布在两个或更多个设备上。
处理器116可以包括任何类型的一个或多个处理器，诸如中央处理单元(CPU)、图形处理单元(GPU)、专用信号或图像处理器、现场可编程门阵列(FPGA)、张量处理单元(TPU)等。为了简洁起见，虽然图2中存储器116被描绘为单个设备，但是应理解的是，存储器116也可以分布在任何数量的设备上。
可以使用诸如LCD、LED、OLED、TFT、等离子等之类的任何适当技术来实施显示器117。在一些实施方式中，显示器117可以是触敏显示器(触摸屏)。
图像分析系统100还可以包括对象识别器110、感兴趣区域(ROI)生成器111、用户界面模块112和细胞分类引擎114。尽管这些模块在图1中被描绘为独立的模块，但对于本领域的普通技术人员显而易见的是，每个模块可以替代地被实施为多个子模块，并且在一些实施方案中，任何两个或更多个模块可以被组合成单个模块。此外，在一些实施方案中，为简洁起见，系统100可以包括在图1中未被描绘的另外的引擎和模块(例如，输入设备、连网和通信模块等)。此外，在一些实施方案中，在图1中所描绘的一些块可以被禁用或省略。如将在下面更详细地讨论的，系统100的一些或所有模块的功能可以以硬件、软件、固件或其任何组合来实施。可用于实施本文公开的模块的示例性可商购软件包包括：VENTANAVIRTUOSO、Definiens TISSUE STUDIO、DEVELOPER XD和IMAGE MINER以及VisiopharmBIOTOPIX、ONCOTOPIX和STEREOTOPIX软件包。
在获取输入图像210之后，图像分析系统100可以将图像210传递给对象识别器110，所述对象识别器的功能是识别并标记图像210内的随后将被用于细胞分类的相关对象和其他特征。对象识别器110可从每个图像210中提取(或为每个图像210生成)表征图像中各种对象的多个图像特征。在另一个实施方案中，对象识别器110可以从每个图像210提取(或为每个图像210生成)表征表示生物标记物表达的原始像素的多个图像特征。
提取的图像特征可以包括例如诸如Haralick特征的纹理特征、词袋特征等，包括但不限于：形状、强度、或其他统计特征。可以将多个图像特征的值组合成在下文中被称为“特征向量”的高维向量，所述高维向量可以被用于表征生物标记物的表达、特定对象、或位于图像中的对象。例如，如果针对每个对象和/或像素提取了M个特征，则每个对象和/或像素可以由M维特征向量来表征。对象识别器110的输出实际上是图像的地图，所述地图注释了感兴趣对象和像素的位置，并且将这些对象和像素与描述对象或像素的特征向量相关联。应理解的是，本文仅出于说明的目的描述了特征向量并且本公开文本不限于生物标记物，例如，还可以包括细胞类型。
对于基于生物标记物与特定类型的对象(诸如膜、细胞核、细胞等)的关联进行评分的生物标记物，由对象识别器110和/或由所述对象的生物标记物染色的水平或强度提取的特征可以包括足以将样品中的对象分类为感兴趣的生物标记物阳性对象或感兴趣的生物标记物阴性标记物的特征或特征向量。在根据表达生物标记物(诸如可以基于肿瘤细胞的表达对其进行评分的诸如PD-L1、PD-L2和IDO的免疫逃逸生物标记物、免疫细胞表达或两者)的对象类型对所述生物标记物进行不同加权的情况下，由对象识别器110提取的特征可以包括与确定与生物标记物阳性像素相关联的对象的类型有关的特征。这样，使用生物标记物成像，然后可以至少基于生物标记物的表达(例如，生物标记物阳性或生物标记物阴性细胞)以及对象的子类型(例如肿瘤细胞、免疫细胞等)(如果有关的话)将对象分类。在不顾与对象的相关联而对生物标记物表达的程度进行评分的情况下，由对象识别器110提取的特征可以包括例如生物标记物阳性像素的位置和/或强度。
图像分析系统100还可以将图像210传递至ROI生成器111。ROI生成器111可被用于识别可以从其中计算免疫环境得分的图像210的感兴趣的(多个)区域、一个或多个ROI。在对象识别器110未被应用于整个图像的情况下，由ROI生成器111生成的一个或多个ROI也可以被用于定义在其上执行对象识别器110的图像的子集。在一个实施方案中，可以通过用户界面模块112来访问ROI生成器111。在用户界面模块112的图形用户界面上显示生物标记物染色的样品的图像(或生物标记物染色的样品的在形态上被染色的连续切片)，并且用户在图像中注释的一个或多个区域将被视为ROI。在该例子中，ROI注释可以采用多种形式。例如，用户可以手动定义ROI(以下称为“自由式ROI注释”)。
在其他例子中，ROI生成器111可以帮助用户注释ROI。例如，用户可以注释图像中的边缘(诸如例如，肿瘤的有创边缘的前缘，或表示从肿瘤核心到肿瘤的有创边缘的过渡的边缘)，并且ROI生成器111可以基于用户定义的边缘自动地定义ROI。例如，用户可以在用户界面模块112中注释有创边缘的前缘，并且ROI生成器111使用所述边缘作为指导来创建ROI，例如，通过绘制包含所述前缘或所述前缘的一侧的预定义距离内的所有对象的ROI。在一些情况下，可以给用户选项来修改ROI生成器111注释的ROI，诸如通过扩展ROI、注释ROI的区域或ROI内要从分析中排除的对象等。在其他实施方案中，ROI生成器111可以自动建议ROI，而无需来自用户的任何直接输入(例如，通过将组织分割功能应用于未注释的图像)，然后用户可以选择接受、拒绝或适当地编辑所述ROI。在一些实施方案中，ROI生成器111还可以包括注册功能，由此在一组连续切片的一个切片中被注释的ROI被自动地传送到所述一组连续切片的其他切片中。当将要分析多个生物标记物时，或当被H&E染色的连续切片与生物标记物标记的切片一起提供时，该功能是特别有用的。
在一些实施方案中，图像分析系统100可以可通信地耦接到图像采集系统120。图像采集系统120可以获取生物样本的图像并将那些图像210提供给图像分析系统100以用于进行分析并呈现给用户。
图像采集系统120可以包括诸如可以以20倍、40倍或其他放大倍数扫描被染色载玻片以产生高分辨率的全载玻片数字图像的载玻片扫描仪的扫描平台125，包括例如载玻片扫描仪。在基本层面上，典型的载玻片扫描仪至少包括：(1)具有物镜的显微镜，(2)光源(诸如卤素灯、发光二极管、白光和/或多光谱光源，取决于染料)，(3)用于四周移动玻璃载玻片(或用于在载玻片周围移动光学元件)的机器人，(4)用于捕获图像的一个或多个数码相机，(5)计算机和用于控制机器人并且操纵、管理和查看数字载玻片的相关的软件。相机的电荷耦合器件(CCD)可以捕获载玻片上多个X-Y位置处(并且在某些情况下，在多个Z平面处)的数字数据，并将图像合并在一起以形成整个被扫描表面的合成图像。以下是完成该任务的示例性方法：
(1)基于图块的扫描，其中载物台或光学元件以非常小的增量移动以捕获与相邻正方形略有重叠的正方形图像帧。然后将捕获的正方形自动地彼此匹配以构建合成图像；以及
(2)基于行的扫描，其中，载物台在采集过程中沿单轴移动以捕获多许多合成图像“条”。然后，图像条可以彼此匹配以形成较大的合成图像。
可以将由扫描平台125生成的图像传送到图像分析系统100或图像分析系统100可访问的服务器或数据库。在一些实施方案中，可以经由一个或多个局域网和/或广域网自动地传送图像。在一些实施方案中，图像分析系统100可以与扫描平台125和/或图像采集系统120的其他模块集成或包括在其中，在这种情况下，可以例如通过由平台125和系统120双方都可访问的存储器将图像传送到图像分析系统。
在一些实施方案中，图像采集系统120可以不与图像分析系统100可通信地耦接，在这种情况下，图像可以被存储在任何类型的非易失性存储介质(例如，闪存驱动器)上，并且从所述介质下载所述图像到图像分析系统100或与所述介质可通信地耦接的服务器或数据库中。在以上任何例子中，图像分析系统100可以获得生物样品的图像，其中所述样品可能已经被附着到载玻片上并被组织化学染色平台123染色，并且所述载玻片可能已经被载玻片扫描仪或另一种类型的扫描平台125扫描。然而，应理解的是，在其他实施方案中，下面描述的技术也可以被应用于通过其他方式获取和/或染色的生物样品的图像。
在一些实施方案中，图像采集系统120可以不与图像分析系统100可通信地耦接，在这种情况下，图像可以被存储在任何类型的非易失性存储介质(例如，闪存驱动器)上，并且从所述介质下载所述图像到图像分析系统100或与所述介质可通信地耦接的服务器或数据库中。在以上任何例子中，图像分析系统100可以获得生物样品的图像，其中所述样品可能已经被附着到载玻片上并被组织化学染色平台123染色，并且所述载玻片可能已经被载玻片扫描仪或另一种类型的扫描平台125扫描。然而，应理解的是，在其他实施方案中，下面描述的技术也可以被应用于通过其他方式获取和/或染色的生物样品的图像。
细胞检测系统10可以进一步包括实验室信息系统(LIS)130和训练数据库160。LIS130通常执行选自以下的一种或多种功能：记录和跟踪对样品和载玻片以及从样品得到的图像执行的处理、指示免疫环境得分系统的不同组件对样品、载玻片、和/或图像执行特定处理、以及跟踪应用于样品和/或载玻片的特定试剂的信息(例如批号、有效期、分配的体积等)。
在对象识别器110和ROI生成器111都已经被实施之后，如稍后将更详细描述的，实施细胞分类引擎114。细胞分类引擎114(本文中也称为分类器模块114)，可以适于执行训练的模式识别算法，以便根据正在研究的模式对每个细胞进行分类。细胞分类引擎114的输出可以是指示所检测到的细胞所属的预定义类别(例如，细胞类型类别或生物标记物阳性/阴性类别)的类别标记。细胞分类引擎114的输出存储在训练数据库160中。
III-细胞分类引擎和工作流
参照图2，其展示了形成图像分析系统100的一部分的细胞分类引擎114。图3展示了由细胞分类引擎114基于特定的膜染色模式实施的工作流300。在膜染色或组织图像中，不同类型细胞的膜可以用不同的模式染色。膜染色模式可以用作对细胞进行分类的有用信息来源。为此，细胞分类引擎114有助于区分被多个不同模式染色的细胞；例如，与本展示性实施方案相关地描述的这些模式中的两个被称为椭圆模式和点状模式。
尽管本文中可以根据椭圆形模式和点状模式描述本发明的示例性实施方案，但是应该充分清楚的是，本公开文本不限于这两个模式。更确切地说，这两个模式在本文中仅用于展示目的，并且本公开文本可以预期其他特定模式。
例如，在PD-L1染色的图像400(图4)和EGFR染色的图像600(图6)中，阳性肿瘤细胞的膜可以通过椭圆形染色模式来表征，即，染色看似具有如ROI410(图4)和610(图6)所展示的围绕核的大致(基本)椭圆形状。另一方面，在PD-L1染色的图像500(图5)和EGFR染色的图像700(图7)中，阳性免疫细胞的膜的可以通过一般的点状染色模式来表征，即，染色呈现为如ROI510(图5)和710(图7)中所展示的围绕细胞核的多个小斑点。
本公开文本描述了用于基于各种细胞的特定膜(或组织)染色模式对各种细胞进行分类的方法。为此并且参照图2和图3，输入图像210被馈送至颜色反卷积模块220，用于沿着可被单独处理的不同颜色通道将输入图像210反卷积为多个染色图像，例如染色1、染色2、…、染色N。为了展示清楚，将结合两个示例性染色图像描述本实施方案：二氨基联苯胺(DAB)染色的组织图像230(在本文中也称为生物标记物染色的组织图像230)，以及苏木精(HTX)染色的组织图像(在本文中也称为复染色图像250)。
如在工作流300(图3)的步骤320处进一步展示的，本示例性实施方案的颜色反卷积模块220从输入图像210生成两个单独的图像：生物标记物染色的组织图像230和复染色的图像250。
在工作流300(图3)的步骤340处，将诸如高斯差分(DoG)滤波器240(图2)之类的滤波器应用于包括染色膜区域的生物标记物染色图像230，以便生成滤波图像350。参照图8A，其展示了形成图4的染色图像400的一部分的ROI 410的放大视图。图8B展示了ROI 410已经被DoG滤波器240滤波后的放大视图412。类似地，并且参照图9A，其展示了形成图5的染色图像500的一部分的ROI 510的放大视图。图9B展示了ROI 510已经被DoG滤波器240滤波后的放大视图512。使用DoG滤波器240对染色图像230进行滤波的原因之一是因为DoG滤波器240有助于增强特定子区域(诸如子区域810(图8B)和子区域910(图9B))的强度，所述子区域可能包含可识别的模式化膜结构。
一旦完成了这些子区域(例如810、910)的强度增强，就可以在工作流300(图3)的步骤360处将阈值模块(诸如Otsu阈值模块260(图2))应用至滤波图像350(图3)，以通过生成膜掩模图像270(图2、图3)进一步增强膜结构的微弱染色细节。在图像处理中，Otsu阈值方法可以用于通过将灰度图像减小为二进制图像自动地执行基于聚类的图像阈值。图8C展示了与膜掩模图像270的创建同时生成的ROI 412的放大视图414。图8B的滤波后的ROI 412与膜掩模图像270(图8C)的ROI 414的视觉比较清楚地示出了掩模图像270内的膜特征的增强的视觉外观。
图8C进一步展示了子区域810的放大视图，以便清楚地描绘前景(白色)和更大的斑点(或斑点对象)830，所述斑点的颜色已经从白色改变为深色，更可见的颜色以便更好地展示。在该特定例子中，子区域810表示具有核840的单个细胞，所述核被由大尺寸斑点830形成的大致椭圆的膜围绕。类似地，图9C展示了子区域910的放大视图，以便清楚地描绘前景(白色)和更小的斑点(或斑点对象)930，所述斑点的颜色已经从白色改变为深色，更可见的颜色以便更好地展示。在该特定例子中，子区域910表示具有核940的单个细胞，所述核被由小尺寸斑点930形成的大致点状的膜围绕。
为了进一步识别和区分斑点对象830、930，诸如组件细胞分类引擎114(图2)的连接组件标记模块280之类的标记模块自动连接子区域(例如在工作流300(图3)的步骤380处的子区域810、910)内的各种组件或特征。通常，连接组件标记(也称为连接组件分析、斑点提取、区域标记、斑点发现或区域提取)是图论的算法应用，其中，基于预定义的邻域连接性唯一地标记了连接组件的子集。它通过扫描图像并识别连接的像素区域(即，具有相同强度值集的相邻像素区域)来工作，以便从连接的、椭圆(通常为封闭的)膜结构中稳健地检测和分离断开(或点状)的膜。通常在步骤380处对由阈值步骤360(图3)产生的二元膜掩模图像270执行斑点提取。
作为连接组件标记步骤380的结果，可以对膜斑点对象(或斑点)290进行计数、过滤、跟踪、处理或以其他方式提取。图3展示了围绕细胞810、910的两个示例性子区域，所述两个示例性子区域分别具有连接的斑点830和点状斑点930。
为了进一步改善椭圆膜染色模式830(图8C)与其他膜染色模式(诸如点状膜染色模式930(图9C))之间的区别，当对细胞进行分类时，细胞分类引擎114在工作流300(图3)的步骤390处，为每个检测到的细胞计算与膜斑点对象830、930有关的统计值(在本文中也称为膜特征)295。膜特征295以及细胞的相关联的视觉表示被存储在训练数据库160中，以备将来用于帮助识别细胞。
为此，给定细胞核840(图8C)或细胞核940(图9C)，细胞分类引擎114认为不同的同心圆邻域R1、R2、…、Rn(统称为R)具有减小的半径r1<r2<…rn。对于圆形区域内的每个邻域R，细胞分类引擎114计算以下特征：
·落在邻域R内的膜斑点对象830、930的平均大小。预期的是，由膜斑点对象830构成的椭圆模式中的斑点大小大于点状模式中的斑点对象930。
·落在邻域R内的斑点对象830的数量。预期的是，椭圆模式中的斑点对象830比点状模式中的斑点对象930少。
·斑点对象830、930的像素的(在膜染色图像上计算的)平均强度值。预期的是，点状模式内的斑点对象930的像素强度比椭圆模式内的斑点对象830的像素强度强。点状模式通常包含深褐色的点，而椭圆模式可能包含淡褐色的染色区域。
·染色在核840、940周围的分布。为了计算该特征，可以将邻R划分为例如36个圆锥区域，每个圆锥区域在10度的角度内。接下来，对包含任何斑点对象830、930的圆锥区域的数量进行计数，并将其用作描述核840、940周围的染色分布的特征。预期的是，对于椭圆模式，包含斑点对象830的圆锥区域的数量大于点状模式内的圆锥区域的数量。
在本文描述的每个流程图中，一种或多种方法可以被实施在包含计算机可读代码的计算机可读介质中，使得当计算机可读代码在计算设备上执行时一系列步骤被完成。在一些实施方式中，在不脱离本发明的精神和范围的情况下，方法的某些步骤被组合、同时或以不同顺序完成或者可能被省略。因此，虽然以具体顺序描述和展示了方法步骤，但是特定步骤顺序的使用并不意味着暗示对本发明的任何限制。在不脱离本发明的精神或范围的情况下，可以对步骤顺序进行改变。因此，具体顺序的使用不应被视为具有限制意义，并且本发明的范围仅由所附权利要求书限定。
如本领域技术人员将明白的，本发明的各方面可以被实施为系统、方法或计算机程序产品。因此，本发明的各方面可以采取完全硬件实施方案、完全软件实施方案(包括固件、常驻软件、微代码等)或将软件及硬件方面组合的实施方案的形式，这些方面通常在本文中可以称为“电路”、“模块”或“系统”。另外，本发明的各方面可以采取在一个或多个计算机可读介质中实施的计算机程序产品的形式，该计算机可读介质具有在其上实现的计算机可读程序代码。
如将进一步理解，可以使用软件、固件或硬件的任何组合来实施本发明的实施方案中的过程。作为在软件中实践本发明的准备步骤，编程代码(无论是软件还是固件)通常会存储在一个或多个计算机可读存储介质中，这些计算机可读存储介质例如但不限于电子、磁性、光学、电磁、红外、或半导体系统、装置或设备或者前述各项的任何合适的组合。计算机可读存储介质的更具体例子(非详尽列表)将包括以下项：具有一条或多条电线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪存)、便携式光盘只读存储器(CD-ROM)、光学存储设备、磁性存储设备或前述各项的任何合适的组合。在本文档的上下文中，计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备使用或者结合指令执行系统、装置或设备使用的程序的任何有形介质。
包含编程代码的制品通过以下项来使用：直接从存储设备执行代码、或将代码从存储设备复制到另一个存储设备(诸如硬盘、RAM等)、或传输代码以供使用传输类型介质(诸如数字和模拟通信链路)的远程执行之用。可以通过将包含根据本发明的代码的一个或多个机器可读存储设备与适当的处理硬件组合以执行其中包含的代码来实践本发明的方法。用于实践本发明的装置可以是一个或多个处理设备和存储系统，其包含或具有对根据本发明编码的程序的网络访问。
计算机可读信号介质可以包括其中实施了计算机可读程序代码的传播数据信号，例如在基带中或作为载波的部分。这种传播信号可以采取各种形式中的任何一种形式，包括(但不限于)电磁、光学或其任何合适的组合。计算机可读信号介质可以是任何计算机可读介质，其不是计算机可读存储介质并且可以通信、传播或传输程序，以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合使用。
计算机可读介质上包括的程序代码可以使用任何适当的介质传输，该介质包括但不限于无线、有线、光纤电缆、射频等或前述各项的任何合适的组合。用于执行针对本发明的各方面的操作的计算机程序代码可以用一种或多种编程语言(包括诸如Java、Smalltalk、C++等面向对象的编程语言)与常规的程序化编程语言(诸如“C”编程语言或类似编程语言)的任何组合来编写。程序代码可完全在用户的计算机上、部分地在用户的计算机上执行作为独立的软件包、部分在用户的计算机且部分在远程计算机上、或者完全在远程计算机或服务器上执行。在后一种情况中，远程计算机可以通过任何类型的网络(包括局域网(LAN)或广域网(WAN))连接到用户的计算机，或者可以(例如，通过使用互联网服务供应商的因特网)连接到外部计算机。
根据图像分析系统的实施方案，所述类别标记包含与所述组织图像中的所述表征的对象有关的统计值。
根据本文公开的实施方案，图像分析系统进一步包括用于存储输出的已分类细胞的类别标记的存储器。
这样，重要的是，虽然在具有安装(或执行)的软件的全功能计算机(服务器)系统的背景中描述了本发明的展示性实施方案，但是本领域技术人员将会明白的是，本发明的展示性实施方案的软件方面能够以各种形式作为程序产品分发，并且本发明的展示性实施方案同样适用，而与用于实际执行分发的特定类型的介质无关。
另外，虽然已经参考示例性实施方案描述了本发明，但是本领域技术人员将会理解的是，在不脱离本发明的范围的情况下，可进行各种改变并且可用等同物替换其元件。另外，在不脱离本发明的实质范围的情况下，可以进行许多修改以使具体的系统、设备或其部件适应本发明的教导。因此，意图是本发明不限于为实现本发明而公开的具体实施方案，而是本发明将包括落入所附权利要求书范围内的所有实施方案。
如本文所用，除非在上下文另外明确指出，否则单数形式“一(a)”、“一个(an)”和“该/所述(the)”也旨在包括复数形式。应进一步理解的是，说明书中所用的术语“包括(comprises)”和/或“包含(comprising)”指定存在所述特征、整体、步骤、操作、元件和/或部件，但并不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、部件和/或其组合。另外，术语第一、第二等的使用不表示任何顺序或重要性，而是术语第一、第二等用于将一个元件与另一个元件区分开。另外，本文和所附权利要求中出于描述目的使用诸如“a”、“b”、“c”、“第一(first)”、“第二(second)”和“第三(third)”等列举术语，并且这些术语不旨在指示或暗示相对重要性或意义。
下面的权利要求书中所有方法或步骤及功能元件的对应结构、材料、作用和等效物意图包括用于结合具体要求的其他所要求的元件来实现该功能的任何结构、材料或作用。本发明的描述已经出于说明和描述的目的被呈现，但并不意图是详尽的或将本发明限于所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域的普通技术人员来说将是显而易见的。所选和所述的实施方案用于最好地解释本发明的原理及实践应用，同时让本领域其他普通技术人员理解本发明的多种实施方案，这些实施方案可针对特定的目标用途做出各种修改。

Claims (15)

1.一种用于对组织图像中的细胞进行分类的方法，包括：
提取表征所述组织图像中的对象的至少一个图像特征；
基于所述提取的图像特征，根据至少一种预定的膜模式对所述细胞进行分类；并且
对于每个已分类的细胞，输出标识所述已分类的细胞所属的类别的类别标记。
2.根据权利要求1所述的方法，进一步包括存储输出的所述已分类的细胞的类别标记。
3.根据权利要求2所述的方法，其中，所述类别标记包含与所述组织图像中的所述表征的对象有关的统计值。
4.根据权利要求1和2中任一项所述的方法，其中，所述提取的图像特征包括以下任一项：纹理特征和统计特征。
5.根据权利要求4所述的方法，其中，所述纹理特征包括以下任一项：Haralick特征、词袋特征、形状和强度。
6.根据权利要求1至4中任一项所述的方法，进一步包括将所述组织图像馈送至颜色反卷积模块以用于反卷积为不同的颜色通道并且用于从所述组织图像生成至少两个单独的图像。
7.根据权利要求6所述的方法，其中，所述至少两个单独的图像包括膜染色的组织图像和复染色的图像。
8.根据权利要求7所述的方法，其中，提取所述提取的图像特征包括将高斯差分滤波器应用于所述膜染色的组织图像以生成滤波图像。
9.根据权利要求8所述的方法，其中，提取所述提取的图像特征进一步包括将Otsu阈值模块应用于所述滤波图像以生成膜掩模图像。
10.根据权利要求9所述的方法，其中，提取所提取的图像特征进一步包括将斑点提取模块应用于所述膜掩模图像，以通过连接子区域内的特征来提取感兴趣的所述子区域内的斑点对象。
11.根据权利要求10所述的方法，其中，对所述细胞进行分类包括为每个检测到的细胞计算与所述膜斑点对象有关的统计值。
12.根据权利要求10所述的方法，其中，对所述细胞进行分类进一步包括区分椭圆膜染色模式与点状膜染色模式。
13.一种用于对组织图像中的细胞进行分类的图像分析系统(100)，包括：
对象识别器(110)，用于提取表征所述组织图像中的对象的至少一个图像特征；
细胞分类引擎(114)，用于基于所述提取的图像特征根据至少一种预定模式对所述细胞进行分类；并且
其中，对于每个已分类的细胞，所述细胞分类引擎(114)输出标识所述已分类的细胞所属的类别的类别标记。
14.根据权利要求13所述的图像分析系统，其中，所述提取的图像特征包括以下任一项：纹理特征和统计特征。
15.一种包括指令的非暂态计算机可读介质，所述指令在由一个或多个处理器执行时使所述一个或多个处理器执行根据权利要求1至12中任一项所述的方法。
CN201880082661.XA 2017-12-22 2018-12-17 用于基于膜特征对组织图像中的细胞进行分类的系统和方法 Active CN111492368B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762609719P 2017-12-22 2017-12-22
US62/609,719 2017-12-22
PCT/EP2018/085286 WO2019121555A1 (en) 2017-12-22 2018-12-17 System and method for classifying cells in tissue images based on membrane features

Publications (2)

Publication Number Publication Date
CN111492368A true CN111492368A (zh) 2020-08-04
CN111492368B CN111492368B (zh) 2024-03-05

Family

ID=64870469

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880082661.XA Active CN111492368B (zh) 2017-12-22 2018-12-17 用于基于膜特征对组织图像中的细胞进行分类的系统和方法

Country Status (5)

Country Link
US (1) US11302107B2 (zh)
EP (1) EP3729329A1 (zh)
JP (1) JP7011067B2 (zh)
CN (1) CN111492368B (zh)
WO (1) WO2019121555A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051250A (zh) * 2020-09-09 2020-12-08 南京诺源医疗器械有限公司 一种医学荧光成像影像补光调节系统及调节方法
CN116665210A (zh) * 2023-07-28 2023-08-29 珠海横琴圣澳云智科技有限公司 基于多通道信息融合的细胞分类方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325103B (zh) * 2020-01-21 2020-11-03 华南师范大学 一种细胞标注系统和方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009137866A1 (en) * 2008-05-16 2009-11-19 Swinburne University Of Technology Method and system for automated cell function classification
US20130051650A1 (en) * 2011-08-30 2013-02-28 General Electric Company Systems and methods for tissue classification
JP2015508639A (ja) * 2012-02-01 2015-03-23 ベンタナ メディカル システムズ， インコーポレイテッド 組織試料中で遺伝子を検出するための系
CN104813366A (zh) * 2012-12-04 2015-07-29 通用电气公司 使用免疫染色掩膜选择性细化ish分析结果的系统和方法
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
WO2017037180A1 (en) * 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1504247A1 (en) * 2002-05-14 2005-02-09 Amersham Biosciences Niagara Inc. System and methods for rapid and automated screening of cells
US7299088B1 (en) * 2002-06-02 2007-11-20 Nitish V Thakor Apparatus and methods for brain rhythm analysis
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
EP1789923A1 (en) * 2004-08-11 2007-05-30 Aureon Laboratories, Inc. Systems and methods for automated diagnosis and grading of tissue images
US8060348B2 (en) * 2006-08-07 2011-11-15 General Electric Company Systems for analyzing tissue samples
US8131476B2 (en) * 2006-08-07 2012-03-06 General Electric Company System and method for co-registering multi-channel images of a tissue micro array
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US8515150B2 (en) * 2009-10-13 2013-08-20 The Charles Stark Draper Laboratory, Inc. Mathematical image analysis based cell reprogramming with applications for epigenetic and non-epigenetic base induced pluripotent stem cell derivation
US8838565B2 (en) * 2011-11-17 2014-09-16 CereScan Corporation Neuroimaging database systems and methods

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009137866A1 (en) * 2008-05-16 2009-11-19 Swinburne University Of Technology Method and system for automated cell function classification
US20130051650A1 (en) * 2011-08-30 2013-02-28 General Electric Company Systems and methods for tissue classification
US8831327B2 (en) * 2011-08-30 2014-09-09 General Electric Company Systems and methods for tissue classification using attributes of a biomarker enhanced tissue network (BETN)
JP2015508639A (ja) * 2012-02-01 2015-03-23 ベンタナ メディカル システムズ， インコーポレイテッド 組織試料中で遺伝子を検出するための系
CN104813366A (zh) * 2012-12-04 2015-07-29 通用电气公司 使用免疫染色掩膜选择性细化ish分析结果的系统和方法
CN105027165A (zh) * 2013-03-15 2015-11-04 文塔纳医疗系统公司 用于数字完整载片的自动化评分的基于组织对象的机器学习系统
WO2017037180A1 (en) * 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051250A (zh) * 2020-09-09 2020-12-08 南京诺源医疗器械有限公司 一种医学荧光成像影像补光调节系统及调节方法
CN112051250B (zh) * 2020-09-09 2021-11-23 南京诺源医疗器械有限公司 一种医学荧光成像影像补光调节系统及调节方法
CN116665210A (zh) * 2023-07-28 2023-08-29 珠海横琴圣澳云智科技有限公司 基于多通道信息融合的细胞分类方法和装置
CN116665210B (zh) * 2023-07-28 2023-10-17 珠海横琴圣澳云智科技有限公司 基于多通道信息融合的细胞分类方法和装置

Also Published As

Publication number Publication date
JP2021507419A (ja) 2021-02-22
US11302107B2 (en) 2022-04-12
WO2019121555A1 (en) 2019-06-27
CN111492368B (zh) 2024-03-05
EP3729329A1 (en) 2020-10-28
JP7011067B2 (ja) 2022-01-26
US20200302153A1 (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US11682192B2 (en) Deep-learning systems and methods for joint cell and region classification in biological images
US11922681B2 (en) Systems and methods for identifying cell clusters within images of stained biological samples
US11210782B2 (en) System and method for generating selective stain segmentation images for cell types of interest
JP6968177B2 (ja) 一次染色および免疫組織化学画像に基づくコンピュータ採点
JP7228688B2 (ja) 改善された核検出およびセグメンテーションを可能にする画像強化
JP6725646B2 (ja) 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析
US11144774B2 (en) Automated methods and systems for detecting cells in stained specimen images
US11302107B2 (en) System and method for classifying cells in tissue images based on membrane features
JP2023510915A (ja) 腫瘍検出および分析を支援するための非腫瘍セグメンテーション
JP2023100730A (ja) 自動化された原位置ハイブリッド形成分析のためのシステム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant