CN109196554A - 肿瘤接近度量 - Google Patents

肿瘤接近度量 Download PDF

Info

Publication number
CN109196554A
CN109196554A CN201780027128.9A CN201780027128A CN109196554A CN 109196554 A CN109196554 A CN 109196554A CN 201780027128 A CN201780027128 A CN 201780027128A CN 109196554 A CN109196554 A CN 109196554A
Authority
CN
China
Prior art keywords
cell
immunocyte
identification
tumour cell
tumour
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780027128.9A
Other languages
English (en)
Other versions
CN109196554B (zh
Inventor
F·盖尔
E·克莱曼
K·科尔斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN109196554A publication Critical patent/CN109196554A/zh
Application granted granted Critical
Publication of CN109196554B publication Critical patent/CN109196554B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/107—Measuring physical dimensions, e.g. size of the entire body or parts thereof
    • A61B5/1075—Measuring physical dimensions, e.g. size of the entire body or parts thereof for measuring dimensions by non-invasive methods, e.g. for determining thickness of tissue layer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本发明涉及一种用于肿瘤分类的图像分析系统(100)。该系统配置为：接收(202)组织样本的至少一个数字图像(118)；分析(204)至少一个接收的图像，以便识别至少一个接收的图像中的免疫细胞和肿瘤细胞；对于所识别的肿瘤细胞中的每一个，确定(206)所述肿瘤细胞与最近的免疫细胞的距离；根据所确定的距离计算(208)接近度量；取决于接近度量，将所识别的肿瘤细胞分类(210)成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及将分类结果存储(212)在存储介质上和/或将分类结果显示(214)在显示设备(102)上。

Description

肿瘤接近度量
技术领域
本发明涉及图像分析领域，并且更特别涉及基于图像的肿瘤分类领域。
背景技术
微卫星不稳定性(MSI)是由受损的DNA错配修复(MMR)导致的遗传超突变性的条件。MSI的存在表示MMR不能正常发挥功能的表型证据，并且因此是被认为是潜在肿瘤细胞的细胞遗传状态的指标。
已知微卫星不稳定性与结肠癌、胃癌、子宫内膜癌、卵巢癌、肝胆管癌、泌尿道癌、脑癌和皮肤癌有关。MSI作为结肠癌的原因最为普遍。每年，全世界有超过500,000例结肠癌病例。基于MSI-高(MSI-H)、MSI-低(MSI-L)或微卫星稳定(MSS)结肠癌分层的7,000多个患者的结果，与MSI-L或MSS肿瘤相比，MSI-H患者具有15％的更正面的预后。
MSI是用于确定癌症治疗预后的良好标志物。存在基于肿瘤遗传信息的其它方法。例如，正在进行广泛的研究以破译肿瘤组织细胞的潜在遗传模式，希望改善早期癌症的诊断和治疗。最近在下一代测序技术方面取得的进展彻底改变了癌症基因组学领域。然而，这些研究的一个事先声明仍然是识别的大量遗传变异及其解释。
发明内容
本发明的目的是提供一种改进的方法和图像分析系统，用于对独立权利要求中所述的肿瘤细胞进行分类。在从属权利要求中给出了本发明的实施例。如果它们不相互排斥，则本发明的实施例可以彼此自由组合。
在一个方面，本发明涉及用于肿瘤分类的图像分析方法。该方法包括：
-由图像分析系统接收组织样本的至少一个数字图像；
-由图像分析系统分析至少一个接收的图像以便识别至少一个接收的图像中的免疫细胞和肿瘤细胞；
-对于识别的肿瘤细胞中的每一个，由图像分析系统确定所述肿瘤细胞与最近的免疫细胞的距离；
-由图像分析系统根据所确定的距离计算接近度量；
-取决于接近度量，由图像分析系统将识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-由图像分析系统将分类结果存储在存储介质上和/或将分类结果显示在显示设备上。
由于多种原因，用于将识别的肿瘤细胞分类成炎性肿瘤与非炎性肿瘤细胞的所述方法可能是有利的：
免疫细胞和肿瘤细胞的距离似乎更准确地反映了与生物体对肿瘤的免疫反应相关的细胞过程，而不是例如MSS/MSI状态。因此，接近度量似乎更准确地反映了肿瘤的炎症状态(炎症一般来说是身体的免疫系统对刺激的反应)而不是遗传方法。已经观察到，至少在一些情况下，基于接近度量正确区分炎性与非炎性肿瘤，该接近度量基于其MSS/MSI状态未被正确区分。
MSI肿瘤中的高突变负荷产生许多肿瘤特异性新抗原，通常是MSS肿瘤的10-50倍。这些新抗原中的一些将被加工，呈现在MHC上，并被T细胞识别为外源的。高的新抗原负担可能是MSI肿瘤中高水平肿瘤浸润淋巴细胞(“炎性肿瘤状态”)的一种解释。MSI肿瘤比MSS肿瘤具有更好的预后，并且对增强或调节免疫反应的几类药物反应更好。通过基于肿瘤细胞和免疫细胞的个体距离确定接近度量，能够进行炎性与非炎性肿瘤的更准确分类和/或能够给出更准确的预后和治疗建议(无论是否开出增强或调节免疫反应的药物)。
根据另一有益方面，可以从已经用免疫荧光测定法染色的肿瘤组织样本的数字图像快速计算接近度量。因此，可以避免额外的耗时且昂贵(并且看起来不太准确)的肿瘤细胞的MSS/MSI状态分析。
在另一有益方面(与例如各种免疫评分计算相比)，可以实现肿瘤分类和预后的增加的准确性，因为确定了各个免疫细胞和肿瘤细胞之间的距离。不是粗略地确定肿瘤区域的轮廓并且然后确定免疫细胞是否包含在所述肿瘤区域中，本发明的实施例使用个体免疫细胞-肿瘤细胞距离作为用于从所有所述确定的距离计算接近度量的基础。该接近度量更准确地指示免疫细胞和肿瘤细胞是否彼此足够接近以允许针对肿瘤细胞的有效免疫反应。换句话说，接近度量例如指示足够大量的免疫促进免疫细胞(诸如细胞毒性T细胞、B细胞、记忆细胞、T辅助细胞和/或巨噬细胞)是否在距肿瘤细胞的“免疫有效距离”内。
如在此所用的“免疫有效距离”是免疫细胞与其最近的肿瘤细胞之间的距离，该距离足够小以允许所述免疫细胞杀死所述肿瘤细胞。肿瘤细胞的杀死可以直接或间接执行，并且可以通过可以取决于免疫细胞类型的不同途径执行。例如，经由免疫细胞和肿瘤细胞之间的直接细胞-细胞相互作用，经由所述免疫细胞与肿瘤细胞附近的另一免疫细胞的直接或基于信号分子的相互作用(其中另一免疫细胞杀死或触发肿瘤细胞的凋亡)，或通过触发肿瘤细胞的凋亡(例如经由直接的细胞-细胞相互作用或经由免疫细胞分泌的信号分子)，可实现对肿瘤细胞的杀死。
在另一有益方面，距离信息不仅可以用作将肿瘤准确分类为炎性肿瘤与非炎性肿瘤的输入，距离信息还可以用于生成可以允许病理学家容易并准确地识别肿瘤组织内炎症区域的位置和分布的图形输出。
在另一有益方面，一旦已识别出各个免疫细胞和肿瘤细胞，就可以非常快速和有效地执行各对相邻肿瘤细胞和免疫细胞中的距离计算。作为计算的数值上的距离，即使在所描绘的组织样本包括数千个细胞的情况下，也可以快速地并且以相对低的计算量来根据多个数值执行接近度量计算。
在另一方面，本发明涉及用于肿瘤分类的图像分析方法。该方法包括：
-由图像分析系统接收组织样本的至少一个数字图像；
-由图像分析系统分析至少一个接收的图像以便识别至少一个接收的图像中的肿瘤细胞；
-由图像分析系统分析用于识别肿瘤区域的识别的肿瘤细胞，其中，肿瘤区域是其大多数细胞由肿瘤细胞组成的组织区域；
-由图像分析系统分析至少一个接收的图像以便识别位于识别的肿瘤区域中的一个肿瘤区域内或位于肿瘤区域中的一个肿瘤区域周围的边界区域内的免疫细胞，边界的宽度小于200μm；
-对于识别的免疫细胞中的每一个，由图像分析系统确定所述免疫细胞与最近的肿瘤细胞的距离；
-由图像分析系统根据所确定的距离计算接近度量；
-取决于接近度量，由图像分析系统将识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-由图像分析系统将分类结果存储在存储介质上和/或将分类结果显示在显示设备上。
因此，根据所述替代方法，首先在数字图像中识别肿瘤细胞和对应的肿瘤区域。然后，识别所述肿瘤区域中或与所述肿瘤区域紧密空间接近的免疫细胞，并识别免疫细胞-肿瘤细胞距离。在该情况下，可以从各个识别的免疫细胞(“对于每个识别的免疫细胞”)开始计算距离，或者可以从各个识别的肿瘤细胞(“对于每个识别的肿瘤细胞”)开始计算距离。例如，灰度和颜色分割技术、边缘检测、投票和基于径向对称的图像分析技术可用于识别和/或分类细胞以及用于识别由已经识别为肿瘤细胞的类似颜色或形状的细胞组成或主要包含的区域。此外，可以使用具有监督学习方法的各种机器学习技术，诸如SVM(支持向量机)、DNN(深度神经网络)、随机森林等，将细胞分类为类型和/或识别载玻片上的肿瘤区域、非肿瘤组织区域和玻璃区域。限制肿瘤及其边界的距离确定可以确保在整个组织载玻片仅包含小肿瘤区域并且大多数免疫细胞位于远离肿瘤的情况下，所述远端免疫细胞的影响(可以存在于所述远处区域而不管肿瘤是否是炎性的)不会改变接近度量。
根据实施例，图像分析方法进一步包括分析所接收的数字图像以确定所识别的肿瘤细胞的肿瘤细胞密度。将识别的肿瘤细胞分类为炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞包括将接近度量和肿瘤细胞密度输入到被配置成执行分类的分类器中。
根据实施例，图像分析方法进一步包括分析所接收的数字图像以确定所识别的免疫细胞或特定类型的免疫细胞(例如T细胞、B细胞、巨噬细胞等)的免疫细胞密度。将识别的肿瘤细胞分类为炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞包括将接近度量和免疫细胞密度输入到被配置成执行分类的分类器中。
根据实施例，将识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞包括将接近度量、肿瘤细胞密度和免疫细胞密度输入到被配置成执行分类的分类器中。
根据一些实施例，肿瘤细胞密度的确定包括例如通过确定以所述肿瘤细胞为中心的预定义区域中的肿瘤细胞密度来单独确定每个肿瘤细胞的肿瘤细胞密度。在该情况下，确定的肿瘤细胞密度值中的每一个值可以作为输入提供到分类器中。可替代地，从各个密度值计算平均值，并将其作为单个值输入到分类器中。同样地，免疫细胞密度的确定包括例如通过确定以所述免疫细胞为中心的预定义区域中的免疫细胞密度来单独确定每个免疫细胞的免疫细胞密度。在该情况下，确定的免疫细胞密度值中的每一个值可以作为输入提供到分类器中。可替代地，从各个密度值计算平均值，并将其作为单个值输入到分类器中。
使用细胞密度信息作为分类器的附加输入参数可能是有利的，因为可以显著增加分类的准确性。
根据实施例，分类结果的显示包括将所有识别的肿瘤细胞表示为具有第一颜色的第一像素斑点，并且将其距最近的肿瘤细胞的距离低于阈值的所有识别的免疫细胞表示为具有第二颜色的第二像素斑点。然后，图像分析系统将第二像素斑点显示为第一像素斑点的叠加。
例如，组织样本可以是结肠直肠癌的活检样本，识别的免疫细胞可以是细胞毒性T细胞，并且距离阈值可以是35μm。已经被识别为肿瘤细胞的所有细胞可以用蓝色着色并且可以对应于第一图像层。已经识别为距其最近的肿瘤细胞的距离低于35μm的免疫细胞的所有细胞用橙色着色并且可以对应于第二图像层。第二图像层叠加在第一图像层上，结果是橙色“肿瘤仿射”免疫细胞覆盖并隐藏肿瘤细胞中的至少一些肿瘤细胞。在该情况下，肿瘤组织中的橙色区域指示炎症区域。如果在所生成的叠加图像中表示的组织切片仅包含少量橙色区域，则预测免疫反应仅是弱的或预测不会显著影响肿瘤发展。预测在该情况下患者不会因施用药物增强或调节免疫反应而获益，因为免疫细胞离肿瘤细胞太远而不能够杀死它们。因此，病理学家的用户可以立即且容易地从这种叠加图像中得出特定肿瘤组织是否是炎性的和/或用已知增强或调节免疫反应的物质治疗患者是否在治疗该肿瘤方面有效。
根据实施例，组织样本是整个载玻片组织样本，并且数字图像是整个载玻片图像。通常，这种整个载玻片组织样本包含数千或甚至10,000个细胞。因此，接近度量可以是数千个相邻免疫细胞-肿瘤细胞对的距离的函数。
根据实施例，肿瘤细胞的识别包括识别增殖的非淋巴细胞并使用所述识别的细胞作为肿瘤细胞。
例如，可以通过使用通用增殖标志物(诸如结合到KI67蛋白或PCNA蛋白的荧光染色的抗体)识别增殖细胞。非淋巴细胞被识别为例如不表达典型免疫细胞标志物(诸如CD3)的细胞。因此，具有表达谱KI67+/CD3-的任何细胞被识别为增殖的非淋巴细胞，并且因此被识别为肿瘤细胞。该方法可能是有益的，因为它提供了一种非常通用的识别肿瘤细胞的方法，该方法适用于许多不同类型的肿瘤和许多不同类型的组织。
另外或可替代地，肿瘤细胞的识别包括识别表达(特定)一组一种或多种肿瘤特异性生物标志物的细胞，并使用所述识别的细胞作为肿瘤细胞。
例如，例如通过使用荧光染色剂选择性地染色相应的细胞角蛋白，确定组织样本中细胞的细胞角蛋白谱(指示特定一组细胞角蛋白是否在细胞中表达的数据)。然后通过图像分析系统将获得的细胞角蛋白谱与各种组织(诸如肝、肺、结肠等)的已知细胞角蛋白谱进行比较。在图像中描绘的组织样本中细胞的细胞角蛋白谱与获取组织样本的组织的典型细胞角蛋白谱不同的情况下，具有该“异常/非典型”细胞角蛋白谱的细胞被自动或半自动地识别为肿瘤细胞。
细胞角蛋白是在上皮组织的胞质内细胞骨架中发现的含角蛋白的中间丝的蛋白。例如，已知基础细胞角蛋白CK1、CK2、CK3、CK4、CK5、CK6、CK7、CK8和酸性细胞角蛋白CK9、CK10、CK12、CK13、CK14、CK16、CK17、CK18、CK19和CK20。这些细胞角蛋白的表达通常是器官或组织特异性的。因此，解剖学病理学家可以使用细胞角蛋白表达谱来检测各种肿瘤的存在和/或起源细胞。
取决于组织样本的组织类型和/或怀疑存在于患者中的肿瘤的类型，可以确定其它肿瘤特异性生物标志物的存在(足够高的表达水平)，例如Her2蛋白皮毛乳腺癌的存在。
根据实施例，免疫细胞的识别包括或由如下组成：识别细胞毒性T细胞，并使用识别的细胞毒性T细胞作为识别的免疫细胞。例如，在细胞毒性T细胞中特异性表达的CD8蛋白用作生物标志物。使用选择性结合到组织样本中的CD8蛋白的染色剂，并且从染色的组织样本中取出其像素强度值指示CD8蛋白的存在的图像。对CD8生物标志物相关染色和强度信号执行图像分析操作，例如基于阈值的斑点检测操作，并且对应的像素斑点被识别为CD8+细胞，并且因此被识别为细胞毒性T细胞。
根据其它实施例，CD8+和CD3+细胞(即，表达CD8蛋白和CD3蛋白二者的细胞)被识别为细胞毒性T细胞。CD3蛋白是在许多不同免疫细胞上表达的蛋白，并且用作进一步的生物标志物，其有助于确保特定斑点确实是免疫细胞而不是例如由用于染色CD8蛋白的抗体的非特异性染色反应产生的伪影。
另外或可替代地，免疫细胞的识别包括或由如下组成：识别T辅助细胞，并使用识别的T辅助细胞作为识别的免疫细胞。例如，表达CD4的细胞(“CD4+细胞”)被识别为T辅助细胞。根据其它示例，表达CD4和CD3蛋白二者的细胞(“CD4+/CD3+细胞”)被识别为T辅助细胞。同样，CD3蛋白表达被用作进一步的指标以确保斑点确实是免疫细胞，而不是非特异性染色的斑点。作为CD4标志物的替代或补充，T-bet标志物同样可用于识别T辅助细胞。
另外或可替代地，免疫细胞的识别包括或由如下组成：识别记忆细胞，并使用识别的记忆细胞作为识别的免疫细胞。例如，表达CD45RO的细胞(“CD45RO+细胞”)被识别为记忆细胞。
另外或可替代地，免疫细胞的识别包括或由如下组成：识别B细胞，并使用识别的B细胞作为识别的免疫细胞。例如，表达CD20的细胞(“CD20+细胞”)被识别为B细胞。
另外或可替代地，免疫细胞的识别包括或由如下组成：识别活化的T细胞，并使用识别的活化T细胞作为识别的免疫细胞。例如，表达CD137的细胞(“CD137+细胞”)被识别为活化的T细胞。
另外或可替代地，免疫细胞的识别包括或由如下组成：识别PD1+免疫细胞，并使用识别的PD1+免疫细胞作为识别的免疫细胞。此外，肿瘤细胞的识别包括识别PDL1+肿瘤细胞，并使用识别的PDL1+肿瘤细胞作为识别的肿瘤细胞。PDL1+肿瘤细胞是表达PDL1蛋白的肿瘤细胞。例如，如前所述，可以识别肿瘤细胞例如作为表达KI67蛋白和/或表达PCNA蛋白并且不表达CD3蛋白的细胞。因此，PDL1+肿瘤细胞将是具有表达谱PDL1+/KI67+/CD3-的细胞。可替代地，指示细胞是肿瘤细胞的任何其它生物标志物(例如panCK+或偏离周围组织谱的特定细胞因子谱)可用于识别肿瘤细胞。
如在此所用，“表达”生物标志物BM的细胞(“BM+细胞”)是指至少以最小量表达所述生物标志物的细胞。例如，可以通过将相应数字图像上的强度值与强度阈值进行比较来确定是否生成所述最小量的问题。所述阈值可以特异于所使用的生物标志物或染色剂。取决于所检查的生物标志物的类型，“表达”生物标志物的细胞也可以是表达比所述细胞类型的“典型”细胞或另一种参考细胞类型更大量的所述生物标志物的细胞。在该情况下，标签“BM+细胞”是指过表达生物标志物BM的细胞(相对于参考表达水平)。
程序性死亡配体1(PDL1)是40kDa的1型跨膜蛋白，其在特定事件(诸如妊娠、组织异体移植物、自身免疫疾病和诸如肝炎的其它疾病状态)期间抑制免疫系统中起主要作用。通常，免疫系统通过触发抗原特异性CD8+T细胞的增殖而对外来抗原起反应。
程序性细胞死亡蛋白1(PD1)是属于免疫球蛋白超家族并且在T细胞和pro-B细胞上表达的细胞表面受体。PD1结合两种配体PDL1和PD-L2。PD1是免疫检查点，并且通过阻止T细胞的活化在下调免疫系统中起重要作用。PD1在活化的T细胞、B细胞和巨噬细胞的表面上表达。
PD1/PDL1配体复合物的形成发送对免疫反应的抑制信号。看起来一些癌症上调PDL1表达，从而设法逃避宿主免疫系统。已经观察到肿瘤细胞的高表达PDL1与增加的肿瘤侵袭性和增加的死亡风险相关联。
通过使用上述PDL1/PD1生物标志物计算接近度量，可以确定位于距肿瘤细胞的免疫有效距离内的免疫细胞是否表达PD1受体蛋白，并确定肿瘤细胞是否(过)表达PDL1蛋白。
另外或可替代地，免疫细胞的识别包括或由如下组成：识别巨噬细胞，并使用识别的巨噬细胞作为识别的免疫细胞。例如，表达CD163和CD68蛋白二者的细胞(“CD163+/CD68+细胞”)被识别为巨噬细胞。作为CD163标志物的替代或补充，CSF1R标志物同样可用于识别巨噬细胞。
已经观察到用靶向生物标志物CD3、CD4、CD8和KI67的免疫荧光测定法染色的一群载玻片的自动化全载玻片分析揭示了CD3+/CD8+和CD3+/CD4+免疫细胞分布的指标以及与肿瘤区域中KI67+增殖的非淋巴细胞(CD3-/KI67+)的接近度可以作为肿瘤区域中免疫反应的强有力指标。通过计算基于个体肿瘤细胞-免疫细胞距离的接近度评分，提供了特别准确的肿瘤分类方法，其比现有技术的基于MSS/MSI状态或基于免疫的分类方案更准确。此外，已经在结肠直肠癌中观察到所提出的基于细胞距离的接近度评分的计算和肿瘤分类的评分的使用，以具有比AJCC/UICC TNM分类更高的预后价值。
细胞毒性T细胞、记忆细胞、T辅助细胞和巨噬细胞是免疫细胞，其负责或能够启动和/或增强免疫反应。相反，调节性T细胞通常参与免疫反应的下调。因此，通过选择性地识别对免疫反应具有阳性或刺激作用的那些免疫细胞，并通过选择性地识别所述正刺激免疫细胞的距离，可以实现从所述距离得到的甚至更高的接近度评分准确度：可能对免疫反应产生负面影响的调节性T细胞的存在被忽略，从而阻止接近度评分的计算，该接近度评分指示许多免疫细胞在主要是调节性T细胞而非巨噬细胞的情况下与肿瘤细胞非常接近，细胞毒性T细胞和/或T辅助细胞与各个肿瘤细胞非常接近。
根据实施例，免疫细胞的识别包括或由如下组成：识别增强免疫反应的一种或多种免疫细胞类型的免疫细胞(例如巨噬细胞、细胞毒性T细胞、记忆细胞、B细胞和T辅助细胞)，并且忽略(“过滤掉”)抑制或下调免疫反应的免疫细胞类型的免疫细胞(例如调节性T细胞)。因此，用于计算接近度量的所识别的免疫细胞的总数可以由相同或多种不同免疫细胞类型的免疫细胞组成。在该情况下，为了根据距离(例如，比率或直方图斜率)计算接近度量，使用免疫细胞类型特定函数(例如，对应于所述免疫细胞类型的免疫细胞类型特异性免疫有效距离的免疫细胞类型特异性距离阈值)。例如，可以针对每种免疫细胞类型单独计算免疫细胞比率，并且可以针对与所述免疫细胞类型的免疫有效距离相同的免疫细胞类型特异性距离阈值计算免疫细胞类型特异性比率。然后，平均值(例如免疫细胞类型特定比率的算术平均值)可例如计算为最终比率并用作接近度量。在增强免疫细胞类型的不同免疫反应的免疫有效距离相同或非常相似的情况下，相同的函数(例如，比率计算的相同距离阈值)可用于所考虑的多种或所有免疫细胞类型。
计算来自多种不同免疫细胞类型的单一接近度量(使用肿瘤细胞-免疫细胞距离的相同或免疫细胞类型的特异性函数)可能是有利的，因为提供了促进免疫细胞及其潜在靶标(肿瘤细胞)的相关免疫反应之间空间关系的更好和更完整的数据基础，并且可以提供对炎性和非炎性肿瘤细胞的更准确分类。
另外或可替代地，可以针对多种相应的免疫细胞类型和/或肿瘤细胞类型计算多个个体接近度量，例如，用于确定组织样本的肿瘤是否是PDL1+肿瘤以及肿瘤细胞的足够部分是否在PD1+免疫细胞的免疫有效距离内。所述额外的接近度量可以允许肿瘤的进一步子分类以及治疗方案的更好预测。
根据实施例，免疫细胞的识别包括识别调节性T细胞并识别增强免疫反应的至少一种类型的免疫细胞的免疫细胞，并选择性地使用增强免疫反应的识别的免疫细胞，但不使用识别的调节性T细胞作为识别的免疫细胞。例如，表达FoxP3蛋白的细胞(“FoxP3+细胞”)被识别为调节性T细胞，并且当确定肿瘤细胞-免疫细胞距离时被忽略。根据其它实施例，FoxP3+/CD3+细胞被识别为调节性T细胞，由此CD3生物标志物的表达用作进一步的指标以确保斑点确实是免疫细胞，而不是非特异性染色的斑点。
根据实施例，如在此针对本发明的实施例所述，多次确定接近度量，从而分别分析其像素强度表示不同生物标志物的不同数字图像，不同的生物标志物指示不同类型的免疫细胞(例如：CD8用于细胞毒性T细胞，FoxP3用于调节性T细胞，CD163或CSF1R用于巨噬细胞，CD20用于B细胞，CD137用于活化T细胞，PD1用于一些桶型T-和pro-B细胞)和/或指示不同类型的肿瘤细胞(例如PDL1+/PDL1-肿瘤细胞)。所述多个接近度量中的每一个可用作肿瘤细胞类别和/或预后和/或合适治疗方案的预测因子。
对于不同类型的免疫细胞类型和/或癌细胞类型多次计算接近度量可以允许更准确地预测哪种不同类型的免疫反应调节药物将有效治疗肿瘤以及哪些不会。通过结合不同免疫细胞和肿瘤细胞类型的空间接近中包含的信息，可以增加将肿瘤分类为炎性或非炎性肿瘤的准确性，并可以启用将其分类为进一步的肿瘤(例如PDL1+或PDL1-肿瘤)亚类。此外，如果特定药物类别在治疗肿瘤方面有效，则预测的准确性可能增加。
当针对不同免疫细胞亚型和/或不同肿瘤细胞亚型计算多种接近度量时，还考虑了具有对免疫系统的抑制作用的免疫细胞。虽然它们在距肿瘤细胞的免疫有效距离内的存在可能不指示肿瘤是炎性肿瘤，但是它们与肿瘤细胞的空间接近度的信息可以允许预测施用抑制所述抑制性免疫细胞类型的药物是否可以增强针对肿瘤的免疫反应。
根据实施例，图像分析系统自动输出预测是否特定类别的药物将有效治疗癌症。
例如，所述类别的药物中的一种可以是PD1抑制剂。PD1抑制剂激活免疫系统以攻击肿瘤，并且通过阻断或以其它方式抑制PD1受体的活性来不同成功地用于治疗一些类型的癌症。根据实施例，图像分析系统被配置成仅在接近度量指示足够大多数的PDL1+肿瘤细胞包括预定义距离(免疫有效距离)内的至少一个PD1+免疫细胞的情况下，预测PDL1抑制剂将是有效的。如果免疫细胞不在距肿瘤细胞的免疫有效距离内，或者如果免疫细胞位于PDL1+肿瘤细胞的所述距离内但不表达PD1，则图像分析系统被配置成预测抗PDL1药物不会有效治疗肿瘤。
同样地，存在其它药物类别，其增强或调节免疫反应并且特异性地调节各个免疫细胞类型(诸如巨噬细胞、T辅助细胞、B细胞、细胞毒性T细胞(T细胞接合剂)等)的活性。所述免疫反应调节或增强药物也可能仅关于特定肿瘤类型有效。通过自动计算多种不同免疫细胞类型和/或肿瘤细胞类型的接近度量，在单个步骤中使用细胞类别的定量位置信息(细胞-细胞距离小于免疫有效距离)以及定性信息作为预测特定药物类别将是否有效治疗肿瘤的基础。
根据本发明的实施例，其中针对识别的肿瘤细胞中的每一个肿瘤细胞确定距离，根据所确定的距离计算接近度量包括：
-识别所识别的肿瘤细胞的第一子集和第二子集；第一子集(“具有近免疫细胞的肿瘤细胞”)选择性地包括其最近的免疫细胞小于预定义距离的肿瘤细胞；第二子集(“具有远免疫细胞的肿瘤细胞”)选择性地包括其最近的免疫细胞距肿瘤细胞至少预定义距离的肿瘤细胞；例如，预定距离可以是识别的免疫细胞的“免疫有效距离”；
-计算第一子集中包含的肿瘤细胞数量与第二子集中的肿瘤细胞数量的比率；以及
-使用比率作为接近度量，其中比率越高，分类结果指示识别的肿瘤细胞属于炎性肿瘤的概率越高。
根据本发明的替代实施例，其中针对识别的免疫细胞中的每一个免疫细胞确定距离，根据所确定的距离计算接近度量包括：
-识别所识别的免疫细胞的第一子集和第二子集，第一子集选择性地包括其最近的肿瘤细胞小于预定义距离的免疫细胞，第二子集选择性地包括其最近的肿瘤细胞距肿瘤细胞至少预定义距离的免疫细胞；
-计算第一子集中包含的免疫细胞数量与第二子集中的免疫细胞数量的比率；以及
-使用比率作为接近度量，其中比率越高，分类结果指示识别的肿瘤细胞属于炎性肿瘤的概率越高。
根据实施例，预定距离是“免疫细胞的免疫有效距离”。免疫有效距离是识别的免疫细胞能够直接或间接触发肿瘤细胞的细胞凋亡的杀死或执行的最大距离。
根据实施例，预定义距离大于15μm。
根据实施例，预定义距离在20μm至50μm的范围内，例如35μm。
例如，肿瘤类型可以是结肠直肠癌，距离可以是35μm。对于其它肿瘤类型，距离可能略有变化，但通常在20μm至50μm的范围内。
根据实施例，分类结果指示，在比率超过预定义百分比或阈值(通常为50％)的情况下，识别的肿瘤细胞属于炎性肿瘤。因此，根据一个实施例，分类结果指示，在第一子集中包含的肿瘤细胞的数量大于第二子集中的肿瘤细胞的数量(并且因此，第一子集中肿瘤细胞的比例超过所有肿瘤细胞的50％)的情况下，识别的肿瘤细胞属于炎性肿瘤。
根据涉及确定肿瘤细胞中每一个肿瘤细胞的距离的实施例，根据所确定的距离计算接近度量包括：
-生成肿瘤细胞距其识别的免疫细胞的相应最近的一个免疫细胞的距离的直方图；该直方图包括至少两个距离区间；直方图覆盖0μm到至少50μm(通常最高80μm)的距离范围，区间中的每一个区间对应于直方图的条形，条形中的每一个条形指示具有落入所述区间中的距其最近的免疫细胞的距离的识别的肿瘤细胞的计数；
-用线将条形中的第一条形的上端与条形中的最后一个条形的上端连接；线可以是直的或弯曲的；例如，该线可以是平衡线；第一条形对应于覆盖最小距离的区间中的一个区间；最后一个条形对应于覆盖距离范围的最大距离的区间中的一个区间；
-确定线的斜率；例如，第一条形可以位于直方图的左边界处，最后一个条形可以位于直方图的右边界处，并且可以确定连接左侧第一条形与右侧最后一个条形的线的斜率；
-使用斜率作为接近度量，其中在斜率指示第一条形的肿瘤细胞计数高于最后一个条形的肿瘤细胞计数的情况下(即，如果第一条形被绘制在直方图的左侧上，则为负值)，分类结果是识别的肿瘤细胞属于炎性肿瘤。
根据涉及确定免疫细胞中每一个免疫细胞的距离的实施例，根据所确定的距离计算接近度量包括：
-生成免疫细胞距识别的肿瘤细胞的其相应最近的一个肿瘤细胞的距离的直方图，直方图包括至少两个距离区间，直方图覆盖0μm到至少50μm的距离范围，区间中的每一个区间对应于直方图的条形，条形中的每一个条形指示具有落入所述区间中的距其最近的肿瘤细胞的距离的识别的免疫细胞的计数；
-用线将条形中的第一条形的上端与条形中的最后一个条形的上端连接，第一条形对应于覆盖最小距离的区间中的一个区间，最后一个条形对应于覆盖距离范围的最大距离的区间中的一个区间；
-确定线的斜率；
-使用斜率作为接近度量，其中在斜率指示第一条形的肿瘤细胞计数高于最后一个条形的肿瘤细胞计数的情况下，分类结果是识别的肿瘤细胞属于炎性肿瘤。
计算直方图斜率作为接近度量可以具有如下优点：需要计算用于确定斜率的直方图可以用作图形输出，该图形输出在视觉上表示组织样本中的相对免疫细胞-肿瘤细胞分布。直方图可以经由显示设备输出，从而向用户(例如病理学家)提供关于免疫和肿瘤细胞的距离分布的宝贵信息。
根据实施例，在分类结果指示识别的肿瘤细胞属于炎性肿瘤的情况下，图像分析系统选择性地输出信号，其中信号指示治疗建议以使用增强或调节免疫反应的物质作为用于治疗肿瘤的药物。
根据实施例，该方法包括除了MSS-MSI状态指标之外或代替MSS-MSI状态指标使用接近度量来计算肿瘤对增强或调节免疫反应的物质的反应性的预后。
根据实施例，识别的肿瘤细胞是结肠直肠癌细胞。然而，根据本发明实施例的方法和系统也适用于其它肿瘤类型，例如乳腺癌、胰腺癌、肺癌等。
根据实施例，免疫细胞的识别包括通过分析至少一个数字图像中的像素强度值来识别多种不同免疫细胞类型的免疫细胞，由此像素强度表示不同免疫细胞类型特异性生物标志物的存在，并且使用多种不同免疫细胞类型的识别的免疫细胞的总数作为用于计算接近度量的识别的免疫细胞。
根据实施例，肿瘤细胞被识别为表达至少第一肿瘤类型特异性生物标志物的细胞。免疫细胞被识别为表达至少第一免疫细胞类型特异性生物标志物的细胞。该方法进一步包括：
-分析组织样本的至少一个接收的图像或另一图像，以便识别另一免疫细胞作为表达第二免疫细胞类型特异性生物标志物的细胞；以及
-分析组织样本的至少一个接收的图像或另一图像，以便识别另一肿瘤细胞作为表达第二肿瘤类型特异性生物标志物的细胞，或使用识别的免疫细胞作为另一肿瘤细胞；
-对于识别的另一肿瘤细胞中的每一个，确定所述另一肿瘤细胞与最近的另一免疫细胞的距离；可替代地，对于识别的另一免疫细胞中的每一个，确定所述另一免疫细胞与最近的另一肿瘤细胞的距离；
-根据所述确定的距离计算另一接近度量；
-取决于另一接近度量，对识别的肿瘤细胞进行亚分类和/或通过物质类别预测肿瘤的可治疗性。
在另一方面，本发明涉及一种用于肿瘤分类的图像分析系统，该系统被配置用于：
-接收组织样本的至少一个数字图像；
-分析至少一个接收的图像，以便识别至少一个接收的图像中的免疫细胞和肿瘤细胞；
-对于识别的肿瘤细胞中的每一个，确定所述肿瘤细胞与最近的免疫细胞的距离；
-根据所确定的距离计算接近度量；
-取决于接近度量，将识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-将分类结果存储在存储介质上和/或在将分类结果显示在显示设备上。
在另一方面，本发明涉及一种包括指令的计算机可读介质，该指令在由处理器执行时使处理器执行根据在此描述的任何一个实施例的方法。
在另一方面，本发明涉及一种用于肿瘤分类的图像分析系统，该系统被配置用于：
-接收组织样本的至少一个数字图像；
-分析至少一个接收的图像，以便识别至少一个接收的图像中的肿瘤细胞；
-分析用于识别肿瘤区域的识别的肿瘤细胞，其中肿瘤区域是其大多数细胞由肿瘤细胞组成的组织区域；
-分析至少一个接收的图像，以便识别位于识别的肿瘤区域中的一个肿瘤区域内或位于肿瘤区域中的一个肿瘤区域周围的边界区域内的免疫细胞，边界的宽度小于200μm；优选地，边界区域的宽度在120μm和200μm之间；因此，边界区域可以具有围绕肿瘤区域的带的形状，带宽度是边界区域宽度。
-对于识别的免疫细胞中的每一个，确定所述免疫细胞与最近的肿瘤细胞的距离；
-根据所确定的距离计算接近度量；
-取决于接近度量，将识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-将分类结果存储在存储介质上和/或将分类结果显示在显示设备上。
因此，肿瘤区域周围的边界区域的宽度限定了将用于计数个体免疫细胞-肿瘤细胞距离的区域(肿瘤区域和肿瘤边界区域)。选择性地识别在识别的肿瘤区域周围的边界区域的外部轮廓内的免疫细胞可以允许通过包括通常分布在远离肿瘤的组织区域中的免疫细胞来确保接近度量的准确性不会受到负面影响，无论如何，它永远不会对肿瘤产生免疫反应。另外，这可以确保接近度量的准确性不会受到太窄的边界的负面影响，该边界会排除其位置是用于预测肿瘤炎症状态的关键的肿瘤附近的免疫细胞。
根据一些实施例，根据经验确定特定癌症类型的边界区域的宽度。该确定包括：在图像中选择相邻区域的阵列(例如，具有例如在20μm至40μm的范围内的预定义直径、宽度和/或高度的圆形、正方形或矩形)，相邻区域的阵列从肿瘤区域轮廓(“起始区域”)的像素处开始，并从肿瘤中心径向延伸至少200μm进入非肿瘤组织区域(相邻区域的最后一个区域被称为“末端区域”)；计数所述相邻区域中的每个区域的免疫细胞数量；在末端区域的方向中从起始区域扫描相邻区域的免疫细胞计数，从而识别位于与肿瘤区域的边界相距120μm至200μm的范围内并且基本上具有与所有随后扫描的区域相同的免疫细胞计数的第一区域。该区域被认为包括许多免疫细胞，对于远离任何肿瘤组织的“正常”非肿瘤组织这是典型的；并且使用所识别区域的位置(例如，所述识别区域内的像素中的任何一个像素与由“起始区域”覆盖的肿瘤区域轮廓上的像素的距离)作为边界区域宽度。
如在此所用的“肿瘤”或“瘤”是组织的异常生长，并且当还形成团块时通常称为肿瘤。这种异常增长通常但不总是形成团块。
如在此所用的“炎性肿瘤”是可观察到免疫系统的局部保护性反应的肿瘤。所述反应可包括肿瘤中的浆细胞、淋巴细胞和嗜酸性粒细胞的浸润。
如在此所用的“非炎性肿瘤”是可观察到免疫系统对所述肿瘤没有或没有显著反应的肿瘤。
如在此所用的“免疫细胞”是在身体的各个部分中在网状内皮系统的骨髓细胞、淋巴和网状部分中形成的一种细胞，并且通常存在于那些部位和循环血液中(很少在其它组织中)。特别地，免疫细胞可以是淋巴细胞，例如T淋巴细胞、B淋巴细胞和巨噬细胞。
接近度量是从多个免疫细胞-肿瘤细胞距离计算的数据值。例如，它可以是数字数据值，例如不同组距离的比率(0和1之间的值)或连接直方图区间的线的斜率或由其导出的数据值。接近度量可以指示所检查的大多数肿瘤细胞-免疫细胞距离是否短于预定义距离阈值，例如，免疫细胞的免疫有效距离。
如在此所用的“图像分析系统”是电子系统，例如计算机，其被配置为借助于数字图像处理技术从数字图像中提取有意义的信息。图像分析任务可以包括用于识别细胞的颜色反卷积、连通成分分析和/或边缘检测，用于识别细胞类型(肿瘤或基质细胞，不同类型的免疫细胞)和距离测量。
附图说明
在下面的实施例中，参考附图仅通过举例的方式更详细地解释本发明，在附图中：
详细说明
图1是图像分析系统的框图；
图2是用于分类肿瘤的图像分析方法的流程图；
图3描绘了从相应MSI肿瘤样本导出的三个叠加图像，该图像包括具有肿瘤细胞的第一层和具有位于距最近的肿瘤细胞的最大距离内的不同上色的免疫细胞的第二层；
图4描绘了从相应的MSS肿瘤样本导出的8个叠加图像；
图5描绘了从图3中描绘的三个MSI组织样本导出的三个直方图；
图6描绘了从图4中描绘的8个MSS组织样本导出的8个直方图；
图7描绘了图3中描绘的三个MSI组织样本的三个IHC荧光图像；
图8描绘了图4中描绘的8个MSS组织样本的8个荧光图像；
图9描绘了针对MSI样本(左列)和MSS样本(右列)生成的叠加图像、IHC荧光图像和直方图的比较；以及
图10描绘了指示特定免疫细胞位于距其最近的肿瘤细胞的给定距离内的概率密度的曲线图。
图11描绘了用于捕获肿瘤背景信息以用于分类肿瘤的接近度信息和细胞密度信息的组合。
图12描绘了具有相似T细胞密度但不同接近度量的两个患者的染色组织样本。
具体实施方式
图1是根据本发明实施例的图像分析系统100的框图。该系统包括一个或多个处理器104、主存储器106和非易失性存储介质108。该存储介质包括被配置用于执行一个或多个图像处理任务的一个或多个应用程序或模块110、114、112、116。例如，第一模块110可以执行连通成分分析和边缘检测例程，以便识别表示细胞的像素斑点。可以对源自相同组织样本的不同单色荧光或明场显微镜图像执行识别，由此不同单色图像的像素强度分别指示特定生物标志物。通过应用颜色反卷积算法，可以从特定组织样本的多光谱荧光图像导出多个单色荧光图像。
存储介质108可以进一步包括已经用一种或多种生物标志物特异性染色剂染色的组织样本的一个或多个数字图像118。此外，系统100耦接到或包括显示器102，例如LCD显示器。该系统使用显示器102来显示各种患者的组织样本的数字图像118(参见例如图7和图8)，用于显示已从各种组织图像118导出的叠加图像(如图3和图4中所示)，用于显示接近度量的图形表示(例如图5和图6中描绘的直方图)和/或用于显示肿瘤分类结果或治疗建议。
例如，使用已经被多种生物标志物特异性染色剂染色的组织样本，例如活检样本。一种或多种该染色剂选择性地结合到强增殖的非淋巴细胞或由肿瘤细胞选择性表达的蛋白。所述染色剂的强度信号和对应的单色图像可由模块110分析以识别肿瘤细胞。所述染色剂中的一种或多种另一染色剂选择性地结合到免疫细胞或免疫细胞(例如细胞毒性t细胞或T辅助细胞)的特定亚型。所述染色剂的强度信号和对应的单色图像可由模块110分析以识别免疫细胞。在执行应用程序或模块110之后，已经识别出组织样本内的肿瘤细胞和免疫细胞以及对应的数字图像。
然后，距离测量应用程序或模块112使用被识别为免疫细胞和肿瘤细胞的像素斑点的位置作为输入，以确定肿瘤细胞及其最近的相邻免疫细胞的距离。例如，模块112识别每个细胞的中心并确定相应细胞中心之间的距离。可替代地，模块112将距离确定为两个相邻细胞的外边界之间的距离。
由模块112测量的全部距离被提供作为到应用程序或模块114的输入，其根据模块112针对特定组织样本提供的距离的总和来计算接近度量。模块114计算例如肿瘤细胞之间的比率，其中识别出预定义距离阈值内的至少一个免疫细胞，并且识别出在该预定义距离阈值内没有免疫细胞的肿瘤细胞。另外或可替代地，模块114可以计算任何肿瘤细胞与其最近的免疫细胞邻居之间的所有识别的距离的直方图，并且可以计算如图5、6和9中所示的直方图区间的斜率。
另外，由模块112测量的全部距离被提供作为到应用程序或模块116的输入，其生成如例如在图3和图4中所示的叠加图像。在叠加图像中，肿瘤细胞以第一颜色在基础图像层中表示，并且已经被识别为肿瘤细胞中的至少一种肿瘤细胞的下一个邻居并且另外已被识别为与所述肿瘤细胞相距低于距离阈值的距离内(例如，预定义的“免疫有效距离”)的肿瘤细胞以第二颜色在另一图像层中表示。另一层呈现在基础层的顶部上。图像118，着色的叠加图像由模块116生成和/或直方图经由显示器102呈现给用户(例如病理学家)。
图2是用于对肿瘤进行分类的图像分析方法的流程图。例如，图2中描绘的方法可以通过如图1所示的图像分析系统100来实施。
在第一步骤202中，图像分析系统接收组织样本的数字图像118。数字图像可以是多光谱荧光免疫组织化学(IHC)图像，其通过应用颜色反卷积算法由图像分析系统分解成多个单色图像。可替代地，图像分析系统可以接收组织样本的多个单色数字图像。可以经由与图像采集系统的接口提供组织样本的多光谱数字图像和/或多个单色数字图像。可替代地，图像分析系统100可以通过从存储介质(例如，CD-ROM或闪存驱动器)读取图像来接收组织样本的数字图像。
例如，从其中导出图像的组织样本可以是结肠直肠癌组织样本的活检，该样本已由选择性结合以下生物标志物的多个荧光染色剂染色：KI67、CD3和CD8。获得KI67信号但没有获得CD3或CD8信号的像素区域被识别为增殖的非淋巴细胞，并且因此被识别为肿瘤细胞。获得CD3和CD8信号的像素区域被识别为细胞毒性T细胞，并且因此被识别为免疫细胞。如在此所用的“KI67信号”是由选择性地染色KI67蛋白的染色剂发射的光信号，由此所述光信号以相应单色图像中的像素强度值的形式表示，该单色图像选择性地捕获用于选择性染色KI67蛋白的染色剂的发射光谱。该定义也类似地适用于其它“生物标志物信号”。
例如，可以使用Ventana iScan HT载玻片扫描仪获取IHC染色的载玻片的数字图像。使用Roche IRIS平台查看和组织图像。Ventana图像分析软件VDP-SKD和Ventana数字病理学软件开发套件用于执行大多数图像分析方法，以便识别细胞边界和识别单独的组织和玻璃区域、肿瘤细胞和免疫细胞以及主要(例如超过50％)由肿瘤细胞组成的肿瘤细胞区域。
在第二步骤204中，图像分析系统的模块110执行一个或多个图像分析例程，用于识别组织样本的所接收的一个数字图像或多个数字图像中的免疫细胞和肿瘤细胞。例如经由连通成分分析、灰度和颜色分割技术、强度阈值处理等用于检测细胞的图像分析例程在本领域中是已知的。
在进一步的步骤206中，图像分析系统的模块112针对识别的肿瘤细胞中的每一个肿瘤细胞，例如通过测量细胞边界之间的距离来确定肿瘤细胞与最近的免疫细胞的距离。
在步骤206完成之后，模块114在步骤208中根据所确定的距离计算接近度量。例如，接近度量可以是具有至少一个“近免疫细胞”的肿瘤细胞与不具有这种“近免疫细胞”的肿瘤细胞的比率，由此“近免疫细胞”是位于距肿瘤细胞的预定义(例如免疫学有效)最大距离内的免疫细胞。换句话说，该比率描述了可能被附近免疫细胞攻击的肿瘤细胞与看起来不会被免疫细胞攻击的肿瘤细胞的比率。另外或者可替代地，可以计算距离直方图的两个或更多个区间的斜率，由此负斜率(从短距离区间到长距离区间)指示大多数肿瘤细胞可能被附近的免疫细胞攻击，并且由此正斜率(从短距离区间到长距离区间)指示大多数肿瘤细胞可能不会被免疫细胞成功攻击。
在步骤210中，模块114取决于接近度量将识别的肿瘤细胞分类为炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞。例如，如果比率大于1和/或如果斜率是负的，则将肿瘤细胞分类为炎性肿瘤细胞。如果该比率小于1和/或如果斜率是正的，则将肿瘤细胞分类为非炎性肿瘤细胞。
在步骤212中，将分类结果存储在存储介质108上。另外或可替代地，将分类结果显示在显示设备102上。例如，图3和图4中描绘的叠加图像可以用作分类结果的图形表示：如果大多数肿瘤细胞被处于“免疫有效距离”内的免疫细胞覆盖，则这指示叠加图像中描绘的肿瘤细胞是炎性肿瘤的肿瘤细胞。
图3和图4描绘了针对一组结肠直肠癌(CRC)患者生成的叠加图像。使用免疫荧光测定法(CD3/CD4/CD8/Ki67/DAPI)，从结肠直肠癌(CRC)患者(n＝23)的原发性肿瘤获得的手术样本被染色。所述患者的MSS/MSI状态是已知的。KI67+/CD3-细胞被识别为肿瘤细胞。CD3+/CD8+细胞被识别为免疫细胞。
图3描绘了由图像分析系统针对其微卫星稳定性状态被识别为“不稳定”(“MSI”)的CRC患者中三个CRC患者计算的三个叠加图像302-306。
图像中的每一个图像包括第一层，其中所有肿瘤细胞用第一颜色(例如蓝色)着色，不论任何免疫细胞的存在或位置。在所述图像302-306中的每一个图像中，所述第一层与第二层叠加(并被第二层覆盖)，其中像素斑点表示已被识别为位于距至少一个肿瘤细胞的预定义最大距离内的免疫细胞。例如，这些“潜在免疫有效”的免疫细胞以橙色着色。重要的是要注意，第二层不指示存在没有位于预定义最大距离内的免疫细胞。因此，第二层不仅仅是表示不同颜色的免疫细胞和肿瘤细胞的层的叠加，而是指示肿瘤内潜在的免疫有效的免疫细胞的计算结果。已经观察到，该特定形式的叠加图像提供了关于肿瘤炎症状态的更好和更准确的指示，而不仅仅是通用肿瘤细胞图像层和通用免疫细胞图像层的叠加。
从图3中可以看出，叠加图像302、304、306中的每一个图像的大多数肿瘤细胞被“潜在免疫学上有效的免疫细胞”覆盖。在图像306中观察到最完整的覆盖。因此，与叠加图像302-306对应的组织样本的肿瘤细胞被分类为炎性肿瘤的细胞。因此，对于这三个患者，状态“MSI”与基于距离的分类结果“一致”。
图4描绘了其微卫星稳定性状态是“稳定的”(MSS)的8个其他患者的8个叠加图像。如已经针对图3所描述的那样生成叠加图像。叠加图像402、406-416清楚地示出大多数肿瘤细胞未被表示“潜在免疫有效”的免疫细胞(即，位于距至少一个肿瘤细胞的预定义最大距离内的免疫细胞)的像素覆盖。因此，与叠加图像402、406-416对应的组织样本的肿瘤细胞被分类为非炎性肿瘤的细胞。对于对应的七个患者，状态“MSS”与基于距离的分类结果“一致”。
然而，在叠加图像404中，肿瘤细胞几乎完全被“潜在免疫有效”的免疫细胞覆盖。因此，根据本发明实施例的图像分析系统将叠加图像404中描绘的组织样本的肿瘤细胞分类为炎性肿瘤的肿瘤细胞。这与对应患者的已知遗传MSS状态相矛盾。病理学家的深入分析揭示，叠加图像404中描绘的肿瘤确实是炎性肿瘤。如果MSS/MSI状态将用作治疗决定的基础，则对应的患者将不会被开出刺激或调节免疫反应的药物。然而，使用如在此所述的本发明的实施例的接近度量作为治疗建议的基础，与叠加图像404对应的患者被图像分析系统识别为受益于刺激免疫系统的幸运的处方(subscription of a dragon)的患者。
图5描绘了从其计算的叠加图像302、304、306在图3中描绘的相同的三个MSI组织样本导出的三个直方图502、504、506。
图5、6和9中描绘的每个直方图包括四个距离区间。第一区间覆盖0μm至20μm的距离，第二区间覆盖从21μm至40μm的距离，第三区间覆盖41μm至60μm的距离，并且最后一个区间覆盖从61μm至80μm的距离。术语“距离”涉及任何识别的肿瘤细胞与其最接近的识别的免疫细胞的距离。距离是指组织样本中相应细胞之间的“真实”距离。图像分析系统使用关于图像的分辨率和/或缩放因子的信息作为输入，用于从分隔一个图像内的两个细胞的边界的像素的数量计算以μm为单位的细胞-细胞距离。对于每个区间，在直方图中绘制相应的条形，其中每个条形的高度反映了与其最近的免疫细胞的距离落入所述区间内的肿瘤细胞的数量。
如从直方图502、504、506可以推断，第一和第二区间中包含的大多数肿瘤细胞表示免疫细胞的免疫有效距离内的距离。通过绘制连接第一区间的条形顶部和最后一个区间的条形顶部的直线或曲线，并通过确定该线的斜率，将识别出负(下降)斜率。距离直方图中的负斜率用作接近度量，其指示肿瘤的肿瘤细胞属于炎性肿瘤。基于该接近度量的分类结果与微卫星不稳定状态信息“MSI”一致。
图6描绘了从其叠加图像在图4中描绘的8个MSS组织样本得到的8个直方图。因此，直方图602-616对应于其微卫星稳定性状态为“稳定”(MSS)的8个患者。已经如图5所述生成直方图。直方图602、606-616都具有正斜率，从而清楚地示出大多数肿瘤细胞不包括反映“免疫有效的”免疫细胞距离的预定最大距离内的相邻免疫细胞。因此，与直方图602、606-616对应的组织样本的肿瘤细胞被分类为非炎性肿瘤的肿瘤细胞。对于对应的七个患者，状态“MSS”与基于斜率的分类结果“一致”。
然而，在直方图604(对应于与叠加图像404相同的患者)中，观察到负斜率，并且图像分析系统将与距离直方图604对应的肿瘤的肿瘤细胞分类为炎性肿瘤。这与对应的患者的已知遗传MSS状态相矛盾。如上所述，深入分析揭示与直方图604对应的肿瘤确实是炎性肿瘤。换句话说，基于接近度量的肿瘤分类，例如，图3和图4中所示的基于肿瘤细胞比率的分类以及图5和图6中所示的基于直方图斜率的分类比现有技术的基于MSS/MSI状态的肿瘤分类更准确。
图7描绘了三个患者的MSI组织样本的三个IHC荧光图像702、704、806，其中如图3所示生成相应的叠加图像，并且如图5所示生成相应的距离直方图。
图8描绘了8个患者的MSI组织样本的8个IHC荧光图像802-816，其中如图4所示生成相应的叠加图像，并且如图6所示生成相应的距离直方图。IHC图像804示出其IHC图像看起来与IHC图像702-706比IHC图像802、806-816更相似的炎性肿瘤。
图9描绘了两组图像的比较，其中左侧描绘的组对应于第一患者的炎性CRC肿瘤，右侧组对应于第二患者的非炎性CRC肿瘤。将肿瘤细胞识别为KI67+/CD3-细胞。免疫细胞(此处：细胞毒性T细胞)被识别为CD8+/CD3+细胞。第一(最上面的)行描绘了以与针对图3和图4描述的相同方式计算的叠加图像。第二行描绘了相应组织样本的IHC荧光图像，并且第三行描绘了如针对图5和图6所描述的生成的分别计算的距离直方图。
对于炎性肿瘤组织(左列)，大多数肿瘤细胞在叠加图像902中由已被识别为位于距肿瘤细胞的预定义最大距离(免疫有效距离)内的免疫细胞覆盖。来自下面对应组织的对应视野(FOV)902示出肿瘤免疫浸润的显著程度。如针对图5和图6所描述的确定的对应距离直方图的斜率是负的。
对于非炎性肿瘤组织(右列)，大多数肿瘤细胞在叠加图像904中没有由已被识别出位于距肿瘤细胞的预定义最大距离(免疫有效距离)内的免疫细胞覆盖。来自下面对应组织的对应视野(FOV)908示出免疫细胞几乎没有肿瘤浸润。所确定的对应距离直方图的斜率是正的。
如在叠加图像902、904中以图形方式表达并且如在直方图910、912的斜率中表达的那样，在不同肿瘤类别之间接合癌细胞的细胞毒性t细胞的分布差异是显而易见的。
图10描绘了指示特定免疫细胞位于距其最近的肿瘤细胞的给定距离内的概率密度的曲线图。
概率密度函数(PDF)是描述变量对给定值采取的相对可能性的函数。变量落在特定值范围内的概率由该变量在该范围内的密度的积分给出-也就是说，它由密度函数下方但高于水平轴以及范围的最低值和最大值之间的面积给出。概率密度函数在任何地方都是非负的，并且它在整个空间中的积分等于1。
该曲线图描绘了多个薄MSS曲线，分别表示取决于肿瘤细胞与其最近的免疫细胞的距离的概率函数，该免疫细胞从已被分类为MSS样本的组织样本的图像获得。对于MSS样本，概率密度在大于90μm的距离处强烈增加。粗体MSS曲线表示曲线图中所有MSS曲线的平均值。
该曲线图进一步描绘了多个细MSI曲线，其分别表示取决于肿瘤细胞与其最近的免疫细胞的距离的概率函数，该免疫细胞从已被分类为MSI样本的组织样本的图像获得。对于MSI样本，概率密度在小于35μm的距离处最高。粗体MSI曲线表示曲线图中所有MSI曲线的平均值。
此外，该曲线图包括针对具有未知MMS/MSI状态的组织样本获得的一些曲线。
在整个载玻片水平上自动评估组织样本中的肿瘤细胞-免疫细胞距离提供了对肿瘤生物学的更全面和准确的洞察。
图11描绘了包括肿瘤背景信息的注释的染色的结肠直肠癌样本的数字图像。捕获接近信息和细胞密度信息的组合作为用于分类肿瘤的肿瘤背景信息。如对本发明的若干实施例所述，已经观察到肿瘤细胞和免疫细胞之间的接近度量以表示用于将肿瘤细胞分类为炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞的有价值的预测参数。分类结果还可用于预测肿瘤是否可被增强免疫系统的药物治疗。因此，免疫细胞和肿瘤细胞之间的距离以及由此得到的距离测量表示肿瘤背景信息，该背景信息提供关于可能的肿瘤类型、肿瘤进展和可治疗性的有价值的预测信息。
已经观察到，通过确定和使用肿瘤细胞的密度和/或免疫细胞的密度作为输入，可以显著提高分类的准确性。因此，根据实施例，自动确定肿瘤细胞密度和/或免疫细胞密度(例如以每100μm×100μm的细胞数量测量的)并将其作为附加输入提供至分类器。根据实施例，免疫细胞的密度以免疫细胞类型特异性方式(导致计算细胞毒性t细胞的密度、巨噬细胞的密度、B细胞的密度等)确定。
因此，在分类器的训练阶段，可以将密度信息分配给任何训练图像中包含的每个肿瘤细胞和/或每个免疫细胞。例如，对于训练图像中的每个肿瘤细胞，可以确定在其几何中心包括所述肿瘤细胞的约100μm×100μm的正方形或圆形区域。然后，自动确定所述区域中的肿瘤细胞数量，并针对所述区域计算肿瘤细胞密度。然后，将计算的密度分配给该区域中心的肿瘤细胞。可以对每个肿瘤细胞重复该过程。同样地，对于训练图像中的每个免疫细胞，可以确定在其几何中心包括所述免疫细胞的约100μm×100μm的正方形或圆形区域。然后，自动确定所述区域中的免疫细胞数量，并针对所述区域计算免疫细胞密度。然后，将计算的密度分配给该区域中心的免疫细胞。根据实施例，免疫细胞的密度在培养阶段以免疫细胞类型特异性方式(导致计算细胞毒性t细胞的密度、巨噬细胞的密度、B细胞的密度等)确定。
在所描绘的图像中，识别了几个肿瘤细胞(Ki67阳性细胞)和几个免疫细胞(CD8阳性T细胞)并且确定了肿瘤细胞和T细胞之间的距离(参见两个小肿瘤细胞的两个大圆圈)：大圆圈中的每一个圆圈表示例如约35μm的距离阈值。对于识别的肿瘤细胞中的每一个，图像分析系统确定所述肿瘤细胞与最近的免疫细胞的距离，并确定所述距离是否低于由大圆圈指示的预定义距离阈值。除了例如相应肿瘤细胞的免疫细胞密度信息之外，测量的小于距离阈值的“近距离”的肿瘤细胞与大于距离阈值的“大距离”的肿瘤细胞的比率被提供到用于将肿瘤分类为“炎性”或“非炎性”的分类器中。
根据实施例，分类器被配置为使得所识别的肿瘤细胞分类为“炎性肿瘤的肿瘤细胞”或“非炎性肿瘤的肿瘤细胞”，包括检查所接收图像中描绘的肿瘤中的大多数肿瘤细胞的肿瘤细胞密度是否在针对炎性肿瘤的肿瘤细胞预期的肿瘤细胞密度范围内，或者所接收的图像中描绘的肿瘤中的大多数肿瘤细胞的肿瘤细胞密度是否在针对非炎性肿瘤的肿瘤细胞预期的肿瘤细胞密度范围内。例如，预期密度范围可以针对不同类型的肿瘤(炎性/非炎性乳腺癌/结肠癌/肺癌等)被手动指定，或者可以在训练阶段期间通过使用作为附加训练参数的肿瘤细胞密度被自动和隐含地指定。
另外或可替代地，分类器被配置成使得所识别的肿瘤细胞分类为“炎性肿瘤的肿瘤细胞”或“非炎性肿瘤的肿瘤细胞”，包括检查与肿瘤在空间上接近的大多数免疫细胞的免疫细胞密度是否在炎性肿瘤背景下预期的免疫细胞密度范围内，或者与肿瘤在空间上接近的大多数免疫细胞的免疫细胞密度是否在非炎性肿瘤的肿瘤细胞的背景下预期的免疫细胞密度范围内。如上所述，免疫细胞密度的预期密度范围可以针对不同类型的肿瘤(炎性/非炎性乳腺癌/结肠癌/肺癌等)被手动指定，或者可以在训练阶段期间通过使用作为附加训练参数的免疫细胞密度被自动和隐含地指定。
根据实施例，在患者治疗之前、期间和/或之后多次确定接近度量和细胞密度，以预测肿瘤的可治疗性并确定施用的药物是否对肿瘤或免疫细胞有影响。
此外，根据实施例，确定具有给定参考点(例如，另一种细胞类型的细胞，而不是细胞群的细胞，如免疫细胞、肿瘤细胞、基质细胞或例如血管的其它组织)的任何细胞群(例如肿瘤细胞或免疫细胞)的动态相互作用，并将其用作训练未训练的分类器和/或用于提供已训练的分类器的附加预测输入参数。
图12描绘了具有相似T细胞密度但不同接近度量的两个患者A、B的染色组织样本。已观察到肿瘤巢中不同程度的免疫细胞浸润以表示肿瘤细胞识别和/或免疫细胞根除的重要迹象。在两个比较的组织样本中，观察到相同的T细胞密度但强烈偏离的接近度量：虽然在样本A中，仅在T细胞附近观察到4％的肿瘤细胞，但是在样本B中，超过20％的肿瘤细胞具有紧密靠近(例如在约35μm的距离内)的至少一个T细胞。已经观察到免疫细胞的低程度肿瘤浸润与微卫星状态“MSS”相关，而高度肿瘤浸润(样本B)与微卫星状态“MSI”相关。此外，已经观察到，尽管接近测量的计算提供了比常规且昂贵的MSS/MSI状态确定的良好或甚至更好的炎症/非炎性肿瘤分类结果，但已经观察到，与仅使用接近度量相比，密度信息的附加确定和使用提供了显著更准确的分类结果。这是因为组织的密度也可能对接近度量产生影响，然而，这可能与肿瘤干细胞的组织类型相关，而不是与肿瘤的免疫细胞浸润状态有关。

Claims (22)

1.一种用于肿瘤分类的图像分析方法，所述方法包括：
-由图像分析系统(100)接收(202)组织样本的至少一个数字图像(118)；
-由所述图像分析系统分析(204)至少一个接收的图像，以便识别所述至少一个接收的图像中的免疫细胞和肿瘤细胞；
-对于识别的肿瘤细胞中的每一个，由所述图像分析系统确定(206)所述肿瘤细胞与最近的免疫细胞的距离；
-由所述图像分析系统根据所确定的距离计算(208)接近度量；
-取决于所述接近度量，由所述图像分析系统将所述识别的肿瘤细胞分类(210)成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-由所述图像分析系统将所述分类结果存储(212)在存储介质上和/或将所述分类结果显示(214)在显示设备上。
2.一种用于肿瘤分类的图像分析方法，所述方法包括：
-由图像分析系统(100)接收组织样本的数字图像(118)；
-由所述图像分析系统分析至少一个接收的图像，以便识别所述至少一个接收的图像中的肿瘤细胞；
-由所述图像分析系统分析用于识别肿瘤区域的识别的肿瘤细胞，其中，肿瘤区域是其大多数细胞由肿瘤细胞组成的组织区域；
-由所述图像分析系统分析所述至少一个接收的图像，以便识别位于识别的肿瘤区域中的一个肿瘤区域内或位于所述肿瘤区域中的一个肿瘤区域周围的边界区域内的免疫细胞，所述边界的宽度小于200μm；
-对于识别的免疫细胞中的每一个，由所述图像分析系统确定所述免疫细胞与最近的肿瘤细胞的距离；
-由所述图像分析系统根据所确定的距离计算接近度量；
-取决于所述接近度量，由所述图像分析系统将所述识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-由所述图像分析系统将所述分类结果存储在存储介质上和/或将所述分类结果显示在显示设备上。
3.根据权利要求1或2所述的方法，显示所述分类结果包括：
-将所有识别的肿瘤细胞表示为具有第一颜色的第一像素斑点；以及
-将其距最近的肿瘤细胞的距离低于阈值的所有识别的免疫细胞表示为具有第二颜色的第二像素斑点；
-将所述第二像素斑点显示为所述第一像素斑点的叠加。
4.根据前述权利要求中任一项所述的图像分析方法，所述组织样本是整个载玻片组织样本，并且所述数字图像是整个载玻片图像。
5.根据前述权利要求中任一项所述的图像分析方法，进一步包括：
-分析所接收的数字图像以便确定所述识别的肿瘤细胞的肿瘤细胞密度；
-其中，将所述识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞包括将所述接近度量和所述肿瘤细胞密度输入到被配置成执行所述分类的分类器中。
6.根据前述权利要求中任一项所述的图像分析方法，进一步包括：
-分析所接收的数字图像，以便确定所述识别的免疫细胞或特定类型的免疫细胞的免疫细胞密度；
-其中，将所述识别的肿瘤细胞分类成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞包括将所述接近度量和所述免疫细胞密度输入到被配置成执行所述分类的分类器中。
7.根据前述权利要求中任一项的图像分析方法，识别所述肿瘤细胞包括：
-识别增殖的非淋巴细胞，并使用所述识别的细胞作为所述肿瘤细胞；和/或
-识别表达一组一种或多种肿瘤特异性生物标志物的细胞，并使用所述识别的细胞作为所述肿瘤细胞。
8.根据前述权利要求中任一项所述的图像分析方法，
-识别所述免疫细胞包括识别细胞毒性T细胞，并使用所述识别的细胞毒性T细胞作为所述识别的免疫细胞；和/或
-识别所述免疫细胞包括识别T辅助细胞，并使用所述识别的T辅助细胞作为所述识别的免疫细胞；和/或
-识别所述免疫细胞包括识别巨噬细胞，并使用所述识别的巨噬细胞作为所述识别的免疫细胞；和/或
-识别所述免疫细胞包括识别记忆细胞，并使用所述识别的记忆细胞作为所述识别的免疫细胞；和/或
-识别所述免疫细胞包括识别B细胞，并使用所述识别的记忆细胞作为所述识别的免疫细胞；和/或
-识别所述免疫细胞包括识别活化的T细胞，并使用所述识别的活化T细胞作为所述识别的免疫细胞；和/或
-识别所述免疫细胞包括识别PD1+免疫细胞，并使用所述识别的PD1+免疫细胞作为所述识别的免疫细胞，识别所述肿瘤细胞包括识别PDL1+肿瘤细胞，并使用所述识别的PDL1+肿瘤细胞作为所述识别的肿瘤细胞。
9.根据前述权利要求中任一项所述的图像分析方法，
-识别所述免疫细胞包括识别调节性T细胞，并识别增强免疫反应的至少一种类型的免疫细胞的免疫细胞；以及
-选择性地使用增强所述免疫反应的所述识别的免疫细胞，但不使用所述识别的调节性T细胞作为所述识别的免疫细胞。
10.根据前述权利要求1、3-9中任一项所述的图像分析方法，根据所确定的距离计算所述接近度量包括：
-识别所述识别的肿瘤细胞的第一子集和第二子集，所述第一子集选择性地包括其最近的免疫细胞小于预定义距离的肿瘤细胞，所述第二子集选择性地包括其最近的免疫细胞距所述免疫细胞至少所述预定义距离的肿瘤细胞；
-计算所述第一子集中包含的肿瘤细胞数量与所述第二子集中的肿瘤细胞数量的比率；以及
-使用所述比率作为所述接近度量，其中所述比率越高，所述分类结果指示所述识别的肿瘤细胞属于所述炎性肿瘤的概率越高。
11.根据前述权利要求2-9中任一项所述的图像分析方法，根据所确定的距离计算所述接近度量包括：
-识别所述识别的免疫细胞的第一子集和第二子集，所述第一子集选择性地包括其最近的肿瘤细胞小于预定义距离的免疫细胞，所述第二子集选择性地包括其最近的肿瘤细胞距所述肿瘤细胞至少所述预定义距离的免疫细胞；
-计算所述第一子集中包含的免疫细胞数量与所述第二子集中的免疫细胞数量的比率；以及
-使用所述比率作为所述接近度量，其中所述比率越高，所述分类结果指示所述识别的肿瘤细胞属于所述炎性肿瘤的概率越高。
12.根据权利要求10-11中任一项所述的图像分析方法，所述预定义距离是所述识别的免疫细胞的免疫有效距离，所述免疫有效距离是所述识别的免疫细胞能够直接或间接触发所述肿瘤细胞的细胞凋亡的杀死或执行的最大距离。
13.根据权利要求10-12中任一项所述的图像分析方法，所述预定义距离在20μm至50μm的范围内。
14.根据权利要求10-13中任一项所述的图像分析方法，其中，在所述比率超过预定义百分比例如50％的情况下，所述分类结果指示所述识别的肿瘤细胞属于所述炎性肿瘤。
15.根据前述权利要求1、3-9中任一项所述的图像分析方法，根据所确定的距离计算所述接近度量包括：
-生成所述肿瘤细胞距其所述识别的免疫细胞的相应最近的一个免疫细胞的距离的直方图(502-506；602-616；910，912)，所述直方图包括至少两个距离区间，所述直方图覆盖0μm到至少50μm的距离范围，所述区间中的每一个区间对应于所述直方图的条形，所述条形中的每一个条形指示具有落入所述区间中的距其最近的免疫细胞的距离的所述识别的肿瘤细胞的计数；
-用线将所述条形中的第一条形的上端与所述条形中的最后一个条形的上端连接，所述第一条形对应于覆盖最小距离的所述区间中的一个区间，所述最后一个条形对应于覆盖所述距离范围的最大距离的所述区间中的一个区间；
-确定所述线的斜率；
-使用所述斜率作为所述接近度量，其中在所述斜率指示所述第一条形的所述肿瘤细胞计数高于所述最后一个条形的所述肿瘤细胞计数的情况下，所述分类结果是所述识别的肿瘤细胞属于炎性肿瘤。
16.根据前述权利要求2-9中任一项所述的图像分析方法，根据所确定的距离计算所述接近度量包括：
-生成所述免疫细胞距所述识别的肿瘤细胞的其相应最近的一个肿瘤细胞的距离的直方图，所述直方图包括至少两个距离区间，所述直方图覆盖0μm到至少50μm的距离范围，所述区间中的每一个区间对应于所述直方图的条形，所述条形中的每一个条形指示具有落入所述区间中的距其最近的肿瘤细胞的距离的所述识别的免疫细胞的计数；
-用线将所述条形中的第一条形的上端与所述条形中的最后一个条形的上端连接，所述第一条形对应于覆盖最小距离的所述区间中的一个区间，所述最后一个条形对应于覆盖所述距离范围的最大距离的所述区间中的一个区间；
-确定所述线的斜率；
-使用所述斜率作为所述接近度量，其中在所述斜率指示所述第一条形的所述免疫细胞计数高于所述最后一个条形的所述免疫细胞计数的情况下，所述分类结果是所述识别的肿瘤细胞属于炎性肿瘤。
17.根据前述权利要求中任一项所述的图像分析方法，所述方法进一步包括：
-在所述分类结果指示所述识别的肿瘤细胞属于炎性肿瘤的情况下，选择性地输出指示治疗建议的信号，以使用增强或调节免疫反应的物质作为用于治疗所述肿瘤的药物。
18.根据前述权利要求中任一项所述的图像分析方法，所述方法进一步包括：
-除了MSS-MSI状态指标之外或代替MSS-MSI状态指标使用所述接近度量来计算所述肿瘤对增强或调节免疫反应的物质的反应性的预后。
19.根据前述权利要求中任一项所述的图像分析方法，所述识别的肿瘤细胞是结肠直肠癌细胞。
20.根据权利要求中任一项所述的图像分析方法，识别所述免疫细胞包括通过分析表示不同免疫细胞类型特异性生物标志物的存在的所述至少一个数字图像中的像素强度值来识别多种不同免疫细胞类型的免疫细胞，并且使用所述多种不同免疫细胞类型的全部所述识别的免疫细胞作为用于计算所述接近度量的所述识别的免疫细胞。
21.根据权利要求中任一项所述的图像分析方法，所述肿瘤细胞被识别为表达至少第一肿瘤类型特异性生物标志物的细胞，所述免疫细胞被识别为表达至少第一免疫细胞类型特异性生物标志物的细胞，所述方法进一步包括：
-分析所述组织样本的所述至少一个接收的图像或另一图像，以便识别另一免疫细胞作为表达第二免疫细胞类型特异性生物标志物的细胞；以及
-分析所述组织样本的所述至少一个接收的图像或所述另一图像，以便识别另一肿瘤细胞作为表达第二肿瘤类型特异性生物标志物的细胞，或使用所述识别的免疫细胞作为另一肿瘤细胞；
-对于所述识别的另一肿瘤细胞中的每一个，确定所述另一肿瘤细胞与所述最近的另一免疫细胞的距离；
-根据所述确定的距离计算另一接近度量；
-取决于所述另一接近度量，对所述识别的肿瘤细胞进行亚分类和/或通过物质种类预测所述肿瘤的可治疗性。
22.一种用于肿瘤分类的图像分析系统(100)，所述系统被配置用于：
-接收(202)组织样本的数字图像(118)；
-分析(204)至少一个接收的图像，以便识别所述至少一个接收的图像中的免疫细胞和肿瘤细胞；
-对于识别的肿瘤细胞中的每一个，确定(206)所述肿瘤细胞与最近的免疫细胞的距离；
-根据所确定的距离计算(208)接近度量；
-取决于所述接近度量，将所述识别的肿瘤细胞分类(210)成炎性肿瘤的肿瘤细胞或非炎性肿瘤的肿瘤细胞；以及
-将所述分类结果存储(212)在存储介质上和/或将所述分类结果显示(214)在显示设备(102)上。
CN201780027128.9A 2016-05-18 2017-05-18 肿瘤接近度量 Active CN109196554B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP16170224.6 2016-05-18
EP16170224 2016-05-18
EP16201272.8 2016-11-29
EP16201272 2016-11-29
PCT/EP2017/062037 WO2017198790A1 (en) 2016-05-18 2017-05-18 Tumor proximity measure

Publications (2)

Publication Number Publication Date
CN109196554A true CN109196554A (zh) 2019-01-11
CN109196554B CN109196554B (zh) 2024-02-02

Family

ID=58772877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780027128.9A Active CN109196554B (zh) 2016-05-18 2017-05-18 肿瘤接近度量

Country Status (5)

Country Link
US (1) US11315240B2 (zh)
EP (2) EP3889893B1 (zh)
JP (1) JP6944955B2 (zh)
CN (1) CN109196554B (zh)
WO (1) WO2017198790A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400318A (zh) * 2019-06-14 2019-11-01 广东省人民医院(广东省医学科学院) 一种免疫组化病理图像cd4阳性细胞核分割方法及系统
CN111407284A (zh) * 2020-03-26 2020-07-14 承德石油高等专科学校 用于获取三维头型数据的辅助设备、方法、装置及控制器
CN112183557A (zh) * 2020-09-29 2021-01-05 山西医科大学 基于胃癌组织病理图像纹理特征的msi预测模型构建方法
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN113192633A (zh) * 2021-05-24 2021-07-30 山西大学 基于注意力机制的胃癌细粒度分类方法
CN113361580A (zh) * 2021-05-31 2021-09-07 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种结直肠癌错配修复功能的预测方法及装置
CN114533148A (zh) * 2022-02-15 2022-05-27 佳木斯大学 一种消化内科用于胃癌检测的取样系统
CN114981899A (zh) * 2020-01-28 2022-08-30 佩治人工智能公司 用于处理用于生物标志物定位的电子图像的系统和方法
WO2024130732A1 (zh) * 2022-12-23 2024-06-27 西南华大生命科学研究院 病理数据处理方法、装置及电子设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10956795B2 (en) * 2017-09-15 2021-03-23 Case Western Reserve University Predicting recurrence in early stage non-small cell lung cancer (NSCLC) using spatial arrangement of clusters of tumor infiltrating lymphocytes and cancer nuclei
JP7076698B2 (ja) * 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
WO2019108888A1 (en) * 2017-11-30 2019-06-06 The Research Foundation For The State University Of New York SYSTEM AND METHOD TO QUANTIFY TUMOR-INFILTRATING LYMPHOCYTES (TILs) FOR CLINICAL PATHOLOGY ANALYSIS
WO2019197509A1 (en) 2018-04-13 2019-10-17 Ventana Medical Systems, Inc. Systems for cell shape estimation
US11348661B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348239B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
US11348240B2 (en) 2018-05-14 2022-05-31 Tempus Labs, Inc. Predicting total nucleic acid yield and dissection boundaries for histology slides
EP3794551A4 (en) * 2018-05-14 2022-02-09 Tempus Labs, Inc. FRAMEWORK FOR GENERALIZABLE AND INTERPRETABLE DEEP LEARNING FOR PREDICTING MSI FROM HISTOPATHOLOGICAL SLIDE IMAGES
US10991097B2 (en) 2018-12-31 2021-04-27 Tempus Labs, Inc. Artificial intelligence segmentation of tissue images
US10957041B2 (en) 2018-05-14 2021-03-23 Tempus Labs, Inc. Determining biomarkers from histopathology slide images
CN112585696A (zh) * 2018-08-30 2021-03-30 应用材料公司 用于自动肿瘤检测和分类的系统
WO2020081463A1 (en) * 2018-10-18 2020-04-23 Verily Life Sciences Llc Systems and methods for using image processing to generate inferences of biomarker for immunotherapy
JP2022504634A (ja) * 2018-10-23 2022-01-13 エフ・ホフマン－ラ・ロシュ・アクチェンゲゼルシャフト 距離に基づく組織状態の決定
US11701066B2 (en) * 2020-01-17 2023-07-18 Ping An Technology (Shenzhen) Co., Ltd. Device and method for detecting clinically important objects in medical images with distance-based decision stratification
WO2021158806A1 (en) * 2020-02-07 2021-08-12 The Board Of Trustees Of The Leland Stanford Junior University Method for predicting patient response to immunotherapy
KR102628046B1 (ko) * 2020-05-08 2024-01-23 주식회사 루닛 면역 항암제에 대한 반응을 예측하는 방법 및 시스템
CN111967465A (zh) * 2020-07-07 2020-11-20 广州金域医学检验中心有限公司 肿瘤细胞含量评估方法、系统、计算机设备及存储介质
CN113092202A (zh) * 2021-03-25 2021-07-09 上海福君基因生物科技有限公司 一种胃癌预后预测装置
US20220319002A1 (en) * 2021-04-05 2022-10-06 Nec Laboratories America, Inc. Tumor cell isolines
CN113643291B (zh) * 2021-10-14 2021-12-24 武汉大学 食管标志物浸润深度等级确定方法、装置及可读存储介质

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999008091A1 (en) * 1997-08-08 1999-02-18 Oncometrics Imaging Corp. System and method for automatically detecting malignant cells and cells having malignancy-associated changes
EP1092154A2 (en) * 1998-06-30 2001-04-18 The Rockefeller University Detection and modulation of cellular immunity to immune privileged antigens
WO2004108208A2 (en) * 2003-06-06 2004-12-16 Wayne State University, Technology Transfer Office Methods and apparatus for conversion of eukaryotic cells by application of electric and magnetic fields
US20080131396A1 (en) * 2006-12-04 2008-06-05 Cel-Sci Corp. Method for altering the CD4/CD8 ratio and the mononuclear cellular infiltrate into a tumor
CN101557758A (zh) * 2005-03-25 2009-10-14 Cnoga控股有限公司 用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元
US20100104513A1 (en) * 2008-10-28 2010-04-29 General Electric Company Method and system for dye assessment
US20100144839A1 (en) * 2008-12-04 2010-06-10 The United States Of America As Represented By The Secretary, Department Of Health And Human Service Anti-cancer oligodeoxynucleotides
CN102542562A (zh) * 2011-11-23 2012-07-04 首都医科大学 一种基于肺结节三正交位ct图像纹理的提取方法和预测肺癌方法
WO2012096631A1 (en) * 2011-01-14 2012-07-19 Agency For Science, Technology And Research Gene signatures for use with hepatocellular carcinoma
CN104541167A (zh) * 2012-06-14 2015-04-22 国家医疗保健研究所 用于定量肿瘤组织中的免疫细胞的方法及其应用
US20150133321A1 (en) * 2013-11-13 2015-05-14 General Electric Company Quantitative in situ characterization of biological samples
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
US20160123964A1 (en) * 2014-11-05 2016-05-05 The Regents Of The University Of California Methods for stratifying non-responders to therapies that block pd1/pdl1 axis

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8873827B2 (en) * 2012-06-29 2014-10-28 General Electric Company Determination of spatial proximity between features of interest in biological tissue
US9741112B2 (en) * 2015-09-10 2017-08-22 Definiens Ag Generating image-based diagnostic tests by optimizing image analysis and data mining of co-registered images
EP3539080B1 (en) * 2016-11-10 2022-03-23 F. Hoffmann-La Roche AG Distance-based tumor classification

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999008091A1 (en) * 1997-08-08 1999-02-18 Oncometrics Imaging Corp. System and method for automatically detecting malignant cells and cells having malignancy-associated changes
EP1092154A2 (en) * 1998-06-30 2001-04-18 The Rockefeller University Detection and modulation of cellular immunity to immune privileged antigens
WO2004108208A2 (en) * 2003-06-06 2004-12-16 Wayne State University, Technology Transfer Office Methods and apparatus for conversion of eukaryotic cells by application of electric and magnetic fields
CN101557758A (zh) * 2005-03-25 2009-10-14 Cnoga控股有限公司 用于测量化学浓度、化学饱和度和生物物理参数的光学传感器装置和图象处理单元
US20080131396A1 (en) * 2006-12-04 2008-06-05 Cel-Sci Corp. Method for altering the CD4/CD8 ratio and the mononuclear cellular infiltrate into a tumor
US20100104513A1 (en) * 2008-10-28 2010-04-29 General Electric Company Method and system for dye assessment
US20100144839A1 (en) * 2008-12-04 2010-06-10 The United States Of America As Represented By The Secretary, Department Of Health And Human Service Anti-cancer oligodeoxynucleotides
WO2012096631A1 (en) * 2011-01-14 2012-07-19 Agency For Science, Technology And Research Gene signatures for use with hepatocellular carcinoma
CN102542562A (zh) * 2011-11-23 2012-07-04 首都医科大学 一种基于肺结节三正交位ct图像纹理的提取方法和预测肺癌方法
CN104541167A (zh) * 2012-06-14 2015-04-22 国家医疗保健研究所 用于定量肿瘤组织中的免疫细胞的方法及其应用
US20150133321A1 (en) * 2013-11-13 2015-05-14 General Electric Company Quantitative in situ characterization of biological samples
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US9298968B1 (en) * 2014-09-12 2016-03-29 Flagship Biosciences, Inc. Digital image analysis of inflammatory cells and mediators of inflammation
US20160123964A1 (en) * 2014-11-05 2016-05-05 The Regents Of The University Of California Methods for stratifying non-responders to therapies that block pd1/pdl1 axis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JULIANE M KRUGER ET AL: "Combat or surveillance？ Evaluation of the heterogeneous inflammatory breast cancer microenvironment", 《JOURNAL OF PATHOLOGY》 *
JULIANE M KRUGER ET AL: "Combat or surveillance？ Evaluation of the heterogeneous inflammatory breast cancer microenvironment", 《JOURNAL OF PATHOLOGY》, vol. 229, no. 4, 4 February 2013 (2013-02-04) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110400318A (zh) * 2019-06-14 2019-11-01 广东省人民医院(广东省医学科学院) 一种免疫组化病理图像cd4阳性细胞核分割方法及系统
CN110400318B (zh) * 2019-06-14 2021-08-20 广东省人民医院(广东省医学科学院) 一种免疫组化病理图像cd4阳性细胞核分割方法及系统
CN114981899A (zh) * 2020-01-28 2022-08-30 佩治人工智能公司 用于处理用于生物标志物定位的电子图像的系统和方法
CN111407284A (zh) * 2020-03-26 2020-07-14 承德石油高等专科学校 用于获取三维头型数据的辅助设备、方法、装置及控制器
CN112183557A (zh) * 2020-09-29 2021-01-05 山西医科大学 基于胃癌组织病理图像纹理特征的msi预测模型构建方法
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112801939B (zh) * 2020-12-31 2022-07-22 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN113192633A (zh) * 2021-05-24 2021-07-30 山西大学 基于注意力机制的胃癌细粒度分类方法
CN113192633B (zh) * 2021-05-24 2022-05-31 山西大学 基于注意力机制的胃癌细粒度分类方法
CN113361580A (zh) * 2021-05-31 2021-09-07 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种结直肠癌错配修复功能的预测方法及装置
CN114533148A (zh) * 2022-02-15 2022-05-27 佳木斯大学 一种消化内科用于胃癌检测的取样系统
WO2024130732A1 (zh) * 2022-12-23 2024-06-27 西南华大生命科学研究院 病理数据处理方法、装置及电子设备

Also Published As

Publication number Publication date
JP6944955B2 (ja) 2021-10-06
EP3889893B1 (en) 2022-03-30
WO2017198790A1 (en) 2017-11-23
EP3459046A1 (en) 2019-03-27
JP2019516976A (ja) 2019-06-20
US11315240B2 (en) 2022-04-26
EP3889893A1 (en) 2021-10-06
US20190287240A1 (en) 2019-09-19
CN109196554B (zh) 2024-02-02
EP3459046B1 (en) 2021-06-16

Similar Documents

Publication Publication Date Title
CN109196554A (zh) 肿瘤接近度量
US10746647B2 (en) Analysis device, analysis method, analysis program, cell manufacturing method and cells
US11257209B2 (en) Cancer risk stratification based on histopathological tissue slide analysis
EP3195191B1 (en) Systems and methods for calculating immune scores
EP3539080B1 (en) Distance-based tumor classification
JP2017529513A (ja) 複数の染色で染色されている生物組織サンプルから取得されるマルチチャネル画像を分析するための画像処理方法及びシステム
CN111133470B (zh) 用于组织样品中生物标志物的计算机-辅助评价的方法、系统和计算机程序
US12031988B2 (en) Distance-based tissue state determination
Rathore et al. Prediction of overall survival and molecular markers in gliomas via analysis of digital pathology images using deep learning
Kuo et al. Automated assessment in HER-2/neu immunohistochemical expression of breast cancer
Liu et al. Prediction of Ovarian Cancer Response to Therapy Based on Deep Learning Analysis of Histopathology Images. Cancers 2023, 15, 4044
TW202437271A (zh) 預測患者與胰臟癌相關之結果
WO2024173431A1 (en) Nuclei-based digital pathology systems and methods
JP2024150478A (ja) 距離に基づく組織状態の決定
Mercer Automated image analysis of estrogen receptor immunohistochemistry in breast cancer

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40002666

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment