CN109906469A - 基于距离的肿瘤分类 - Google Patents

基于距离的肿瘤分类 Download PDF

Info

Publication number
CN109906469A
CN109906469A CN201780067886.3A CN201780067886A CN109906469A CN 109906469 A CN109906469 A CN 109906469A CN 201780067886 A CN201780067886 A CN 201780067886A CN 109906469 A CN109906469 A CN 109906469A
Authority
CN
China
Prior art keywords
fap
tumour
cell
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780067886.3A
Other languages
English (en)
Other versions
CN109906469B (zh
Inventor
F·盖尔
O·格里姆
H·S·萨德
S·维加·哈林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
F Hoffmann La Roche AG
Original Assignee
F Hoffmann La Roche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by F Hoffmann La Roche AG filed Critical F Hoffmann La Roche AG
Publication of CN109906469A publication Critical patent/CN109906469A/zh
Application granted granted Critical
Publication of CN109906469B publication Critical patent/CN109906469B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147Distances to closest patterns, e.g. nearest neighbour classification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • G06T7/0014Biomedical image inspection using an image reference approach
    • G06T7/0016Biomedical image inspection using an image reference approach involving temporal comparison
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及用于肿瘤分类的图像分析系统(100)。该系统配置为:–接收(202)患者的组织样本的至少一个数字图像(118);–分析(204)该至少一个接收的图像以鉴定该至少一个接收的图像的一个区域中的肿瘤细胞;–分析(206)该至少一个接收的图像以鉴定所述区域中的FAP+区,每个FAP+区是一个像素斑点,该像素斑点代表一个或多个表达成纤维细胞活化蛋白–“FAP”的细胞;–分析(208)该至少一个接收的图像以鉴定经鉴定的肿瘤细胞和它们各自最近的FAP+区之间的距离;–作为经鉴定的距离的函数计算(210)临近性度量;–通过分类器处理(212)该临近性度量以产生分类结果,该分类结果指示该患者的肿瘤是否可通过结合FAP的药物或药物组分被有效治疗;和–输出(214)该分类结果。

Description

基于距离的肿瘤分类
发明领域
本发明涉及图像分析领域,且更具体地涉及基于图像的肿瘤分类领域。
背景和相关技术
失调的细胞凋亡和对细胞死亡的抵抗是疾病进展的重要标志。已设计药物以通过活化外在凋亡途径来克服肿瘤细胞中的细胞凋亡失调。例如,PeterBrünker等人在MolCancer Ther,15(5),946–57,2016AACR中描述了一种强烈依赖于细胞表面上高度聚簇的死亡受体(DR)的调节途径。对同时一方面靶向表达在肿瘤相关成纤维细胞上的成纤维细胞活化蛋白(FAP)且另一方面靶向表达在肿瘤细胞上的DR5的双特异性抗体(BsAb)工程化。该抗体能够在具有FAP阳性的成纤维细胞的临床前肿瘤模型中在体外和体内触发有力的肿瘤细胞凋亡,且能够在患者衍生的异种移植物模型中触发实质性肿瘤消退。
通常,癌细胞对化学治疗剂和其他药物的应答依赖于许多不同因素,且通常是不可预测的。例如,p53突变使得HCT116结肠癌细胞对阿霉素和辐射更敏感,但对5-氟尿嘧啶敏感性较低(Watson AJM,apoptosis and colorectal cancer,2004,53(11):1701-1709,doi:10.1136/gut,2004,052704)。癌症治疗通常具有严重副作用,且只应在对肿瘤的预期抑制作用值得不良副作用时才进行。特别地,应避免对不会从药物中获益然而可能遭受副作用的患者开具癌症药物。
发明概述
本发明的一个目的是提供一种改进的方法和图像分析系统,用于按照独立权利要求中所述对肿瘤分类。在从属权利要求中给出了本发明的实施方案。如果它们不相互排斥,则本发明的实施方案可彼此自由地组合。
在一方面,本发明涉及一种用于肿瘤分类的图像分析方法。该方法包括:
–通过图像分析系统接收患者的组织样本的至少一个数字图像;
–通过该图像分析系统分析该至少一个接收的图像以鉴定该至少一个接收的图像的一个区域中的肿瘤细胞;
–通过该图像分析系统分析该至少一个接收的图像以鉴定所述区域中的FAP+区;每个FAP+区是一个像素斑点,该像素斑点代表一个或多个表达成纤维细胞活化蛋白–“FAP”的细胞;
–通过该图像分析系统分析该至少一个接收的图像以鉴定经鉴定的肿瘤细胞和它们各自最近的FAP+区之间的距离;
–通过该图像分析系统作为经鉴定的距离的函数计算临近性度量;
–通过分类器处理该临近性度量以产生分类结果,该分类结果指示该患者的肿瘤是否可通过结合FAP蛋白的药物或药物组分得到有效治疗;和
–通过该图像分析系统输出该分类结果。
例如,该输出可包括在存储介质中存储该结果和/或在显示设备上显示该分类结果。“区域”可以是全切片的整个图像,或者可以是所述图像内的视场(“FOV”)。
所述特征可能是有利的,因为提供了可再现且准确的方法,这可允许预测结合FAP的药物或药物组分是否会有效治疗肿瘤。已观察到癌症相关成纤维细胞选择性地表达FAP蛋白,且是合适的药物靶点(Peter Brünker等人在Mol Cancer Ther;15(5);946–57,2016AACR中,其通过提述以其整体并入本文)。然而,以前不可能准确且可再现地预测患者或试验动物是否会从该药物中获益。
在进一步有益的方面,FAP在癌症相关成纤维细胞上的选择性表达用于通过肿瘤基质靶向可限制肿瘤进展的细胞毒性化合物的活化。该策略独立于FAP在肿瘤进展中的作用而有效,因为FAP可仅用作该药物的结合配偶体,用于在肿瘤附近引导和浓缩药物。该策略(至少对于某些药物)不依赖于该药物对FAP蛋白活性和成纤维细胞中的过程的影响。
根据一些实施方案,该药物是克服肿瘤细胞中凋亡失调的药剂。
失调的细胞凋亡和对细胞死亡的抵抗是瘤起始和肿瘤进展的标志。因此,肿瘤细胞凋亡(但非正常、健康细胞中的),特别是外在凋亡途径的选择性活化可允许终止或减慢肿瘤进展。例如,该药物可以是活化肿瘤细胞的表面上高度聚簇的DR5或DR4(死亡受体(DR))的药剂,例如激动性抗体。该药物可以是同时靶向肿瘤基质中的癌症相关成纤维细胞上的FAP蛋白和肿瘤细胞上的DR蛋白,例如DR5的双特异性抗体(BsAb)。假设与FAP和DR5二者的二价结合导致亲合力驱使的DR5高度聚簇,随后在肿瘤细胞中而非在正常细胞中强烈诱导凋亡。这种药物的一个例子是RG7386。观察到RG7386的抗肿瘤功效严格依赖于FAP。与伊立替康或多柔比星组合,观察到基于RG7386的FAP-DR5治疗导致患者衍生的异种移植物模型中的实质性肿瘤消退。双特异性FAP死亡受体抗体样RG7386(在单一疗法和组合疗法中的一种新型且有力的抗肿瘤药剂)已至少在几个患者中观察到克服先前DR5抗体的限制,且代表了一种有希望的方法来克服肿瘤相关的凋亡抗性。
本发明的实施方案根据利用FAP-肿瘤细胞距离中包含的信息预测的治疗结果对肿瘤细胞进行分类。更具体地,可例如从针对患者的组织样本获得的距离直方图中得到的特定临近性度量可用于将肿瘤细胞分类为可由双特异性FAP-DR抗体(特别是RG7386)治疗的肿瘤细胞和不可由所述双特异性抗体治疗的肿瘤细胞。
而且,该临近性度量可提供肿瘤相关FAP样式的可再现描述符,其不依赖于病理学家的主观标准,该标准可依赖于手动分析其中FAP被选择性染色的肿瘤组织样本的图像的病理学家而显著不同。因此,它提供了比手动注释更适合生成和训练基于机器学习的精确肿瘤细胞分类器的注释。
“成纤维细胞活化蛋白”(FAP)或“成纤维细胞活化蛋白α”是一种在超过90%的上皮恶性肿瘤(包括乳腺癌,结肠直肠癌和肺癌)的反应性基质成纤维细胞中和骨和软组织肉瘤的恶性间充质细胞上表达的同型二聚体、单次II型膜蛋白。FAP属于丝氨酸蛋白酶家族,且在上皮癌的反应性基质成纤维细胞、愈合中的伤口的肉芽组织、和骨和软组织肉瘤的恶性细胞中选择性表达。FAP蛋白,也称为seprase,属于SC蛋白酶宗族,作为170kD二聚体具有催化活性,并具有二肽酶和明胶酶活性。在超过90%的所有人类癌的癌症相关成纤维细胞中观察到FAP表达。所述成纤维细胞在癌的发生、生长和转移中起重要作用。对像Talabostat的药物进行了临床试验,Talabostat是FAP和相关酶的抑制剂。
成纤维细胞在癌症进展的所有阶段与癌细胞相关。它们的生长因子、趋化因子和细胞外基质的产生促进了内皮细胞和周细胞的血管生成募集。因此,成纤维细胞是癌症恶性进展中的关键决定因素,且代表了癌症治疗的重要靶标。
如本文所用,“癌相关成纤维细胞”(CAF),也称为“癌症相关成纤维细胞”,是成纤维细胞的异质组,特别是肿瘤基质内的成纤维细胞,其功能由癌细胞掠夺并重新定向于癌症发生。这些细胞通常衍生自周围基质中的正常成纤维细胞,但也可来自周细胞、平滑肌细胞、纤维细胞、间充质干细胞(MSC),或通过上皮-间充质转化(EMT)或内皮-间充质转化(EndMT)。不同于它们正常对应物,CAF不延缓体外癌症的生长。CAF执行支持肿瘤生长的若干功能,例如分泌血管内皮生长因子(VEGF)、成纤维细胞生长因子(FGF)、血小板衍生的生长因子(PDGF)和其他促血管生成信号以诱导血管生成。CAF还可以分泌转化生长因子β(TGF-β),其与EMT相关,EMT是一过程,癌细胞可通过该过程转移,并且与抑制细胞毒性T细胞和天然杀伤T细胞相关。作为成纤维细胞,CAF能够重新加工ECM以包括更多的旁分泌存活信号,例如IGF-1和IGF-2,从而促进周围癌细胞的存活。CAF还与反向沃伯格效应相关,其中CAF进行有氧糖酵解并将乳酸盐供给至癌细胞。
如本文所用的“肿瘤(tumor)”或“瘤(neoplasm)”是组织的异常生长,且当其还形成肿块时,通常称为肿瘤。这种异常生长通常但不总是形成肿块。
“临近性度量”是根据多个最小肿瘤细胞–FAP+区距离计算的数据值。例如,它可以是数字数据值,例如不同组的距离的分数或“比率”(0和1之间的值)或连接直方图仓的线的斜率或由其派生的数据值。该临近性度量可指示所检查的大部分肿瘤细胞–FAP+区距离是否短于预定的距离阈值,例如,已结合癌症相关成纤维细胞的FAP蛋白的药物的生理上有效距离。
如本文所用的“图像分析系统”是经配置用于借助数字图像处理技术从数字图像中提取有意义信息的电子系统,例如计算机。图像分析工作可包括颜色解卷积、连通成分分析和/或边缘检测,以鉴定细胞,以鉴定细胞类型(肿瘤或基质细胞、FAP+成纤维细胞等)和距离测量。
不希望受任何理论束缚,假设靶向由癌症相关成纤维细胞选择性表达的FAP蛋白的药物可用于将该药物引导至位于肿瘤足够空间近距的区域,从而允许该药物变得有效。申请人观察到FAP在癌发生中的作用取决于环境,特别是肿瘤微环境以及FAP+成纤维细胞与最近的肿瘤细胞之间的距离。通过进行图像分析以自动地确定指示肿瘤细胞和其最近的FAP+区的距离的临近性度量,可计算结合FAP蛋白的抗肿瘤药物的功效的快速、可再现且可靠的预测。
在进一步有益的优势中,选择结合FAP蛋白(即在癌症相关成纤维细胞而非肿瘤细胞上表达的蛋白)的抗肿瘤药物可能是有益的,因为与肿瘤细胞的该蛋白质表达谱相比,所述成纤维细胞的该蛋白质表达谱相对稳定。这是因为肿瘤细胞(特别是晚期中的)是遗传不稳定的。因此,测量肿瘤细胞和它们最近的FAP+区(对应于一个或多个CAF的簇)的距离可提供临近性度量,其是比肿瘤细胞自身的表面上特定肿瘤标记物的存在更准确且可再现的药物抗肿瘤功效的预测因子。
使用靶向FAP的药物(例如具有至少一个结合FAP蛋白的结合位点的药物)可允许“包封”抗肿瘤药物,因为肿瘤由“吸引”且局部浓缩该药物的成纤维细胞包围。因此,该药物的总量/其在血液中的浓度可以是相对低的。这可减轻副作用。
已观察到,如本文中关于本发明实施方案所述计算临近性度量并将其用作药物功效的预测因子是高度准确和可再现的,这可能是因为该药物与癌症相关成纤维细胞的结合确保了该药物浓缩,并在与肿瘤紧密的空间近距生效。
根据实施方案,组织样本是全切片组织样本,并且数字图像是全切片图像。对于全切片图像使用该方法可能是有利的,因为可以在短时间内有效地鉴定多个肿瘤细胞的距离。因此,切片中的许多肿瘤细胞和相应的图像可快速分类,且该方法还可用于切片扫描系统,用于进行许多不同患者的许多不同组织切片中描绘的肿瘤细胞的大量分类操作。
分类器可以是例如基于规则的分类器、支持向量机、神经网络、随机森林或其他类型的分类器。优选地,分类器是机器学习算法,其基于获自至少两组患者的经验数据,在包括肿瘤细胞像素斑点的多个训练图像上训练,所述肿瘤细胞像素斑点已被注释为可治疗和不可治疗的肿瘤细胞。
根据实施方案,肿瘤细胞的鉴定包括鉴定增殖中的非淋巴样细胞,和使用所述经鉴定的细胞作为肿瘤细胞。例如,一种或多种生物标志物,如KI67或PCNA(增殖标志物)和CD3(免疫细胞标志物),可用作染色测定法中各自荧光或明场染色的靶点。经染色的肿瘤组织切片的一个或多个(荧光或明场)图像由图像捕获装置捕获,例如荧光或明场显微镜或切片扫描装置,并分析图像以确定用于鉴定肿瘤细胞的一种或多种生物标志物的存在和缺失。例如,KI67+/CD3-细胞鉴定为增殖中的非淋巴样细胞,且可以鉴定为肿瘤细胞。
根据其他实施方案,肿瘤细胞的鉴定包括鉴定表达或过表达一组一种或多种肿瘤特异性生物标志物的细胞,且使用所述经鉴定的细胞作为肿瘤细胞。例如,该一种或多种肿瘤特异性生物标志物可以是一种特定的细胞角蛋白(“CK+”)或一组两种或更多种细胞角蛋白。通常,特定肿瘤类型的肿瘤细胞显示肿瘤类型特异性细胞角蛋白表达谱,并且该谱可用于鉴定肿瘤类型。细胞角蛋白是在上皮组织的胞质内细胞骨架中发现的含角蛋白的中间丝的蛋白质。例如,碱性细胞角蛋白CK1、CK2、CK3、CK4、CK5、CK6、CK7、CK8和酸性细胞角蛋白CK9、CK10、CK12、CK13、CK14、CK16、CK17、CK18、CK19和CK20是已知的。这些细胞角蛋白的表达通常是器官或组织特异性的。因此,细胞角蛋白表达谱可例如通过应用选择性染色一种或多种细胞角蛋白类型的抗体混合物(例如“AE1/AE3/PCK26”)来确定。解剖病理学家可使用这些谱来检测各种肿瘤的存在和/或细胞起源。
例如,可通过使用选择性染色相应细胞角蛋白的荧光染色剂来确定组织样本中细胞的细胞角蛋白谱(指示一组特定细胞角蛋白是否在细胞中表达的数据)。然后通过图像分析系统将获得的细胞角蛋白谱与各种组织(例如肝、肺、结肠等)的已知细胞角蛋白谱进行比较。如果图像中描绘的组织样本中细胞的细胞角蛋白谱与取得组织样本的组织的典型细胞角蛋白谱不同,则具有该“异常/非典型”细胞角蛋白谱的细胞自动或半自动地鉴定为肿瘤细胞。
根据其他实施方案,肿瘤细胞的鉴定包括进行细胞形态特征(例如大小、形状、结构等)的自动分析以鉴定肿瘤细胞和非肿瘤细胞。例如,几种肿瘤细胞类型的形状与具有相同组织或细胞类型的其“正常分化的”对应物显著不同。使用的形态学图像分析方法可取决于肿瘤细胞的类型和组织环境。
所述至少一个图像可包括多个单色图像,其相应像素强度值对应于并指示特定生物标志物的表达水平,该生物标志物已经用例如荧光或明场染色剂染色并通过荧光或明场显微镜拍摄。生物标志物可包含癌症相关成纤维细胞中选择性表达的FAP蛋白,且可包含肿瘤特异性生物标志物,例如一组特定的细胞角蛋白或细胞增殖标志物。可通过在多光谱图像上应用颜色解卷积算法或通过捕获针对每种生物标志物和相应染色剂的单个单色数字图像来生成多个图像。
根据其他实施方案,该至少一个数字图像包括其像素强度值指示FAP蛋白的存在的图像。FAP蛋白在成纤维细胞中选择性表达或过表达,所述成纤维细胞是癌症相关成纤维细胞。FAP+区的鉴定包括鉴定作为所述数字图像内的局部强度最大值的像素斑点。
FAP+区的鉴定可包括应用预定义和/或启发式确定的强度阈值或通过应用基于机器学习的分割算法以鉴定所述数字图像中的FAP+区用以鉴定像素强度值与组织样本中FAP染色强度相关的图像区域。所述图像区域(也称为像素斑点)用作FAP+区。根据一个实例,要求一组病理学家修改强度阈值,直至所鉴定的强度依赖性FAP+区的大小和形状再现典型癌症相关成纤维细胞的大小和形状。存储相应的阈值,并在对其他肿瘤组织样本图像进行图像分析时用于鉴定FAP+区。例如,强度阈值可与图像的其他参数(例如整体亮度、对比度等)相关联地存储,且如果所述随后分析的图像的其他参数与强度阈值相关的参数值相似的话,可选择性地再用于随后的图像分析步骤中。
根据其他实例,灰度和颜色分技术、边缘检测、投票和基于径向对称的图像分析技术可用于鉴定FAP+区。此外,具有监督式学习方法(例如SVM(支持向量机)、DNN(深度神经网络)、随机森林等)的各种机器学习技术可用于鉴定FAP+区且任选地还鉴定切片上的非肿瘤组织区域和玻璃区域。
根据一些实施方案,该临近性度量的计算包括:
–计算其最近的FAP+区小于距离所述肿瘤细胞的预定距离的肿瘤细胞的数目相对于经鉴定的肿瘤细胞的总数的分数;且
–使用该分数作为临近性度量,其中该分数越高,该分类结果指示肿瘤可通过该药物得到有效治疗的可能性越高。
使用测量距离全体作为临近性度量可能是有利的,因为距离可直接输入到分类器中。此算法在计算上经济且特别适合于通过切片扫描装置提供的多个图像的大量扫描。
根据实施方案,在其最近的FAP+区小于距离所述肿瘤细胞的预定距离的肿瘤细胞的数目相对于经鉴定的肿瘤细胞的总数的分数大于90%的情况下,分类结果指示肿瘤可选择性地通过该药物得到有效治疗。
换句话说,若存在以下情况,将肿瘤分类为通过该药物“可治疗的”
例如,分类器可以是基于规则的分类器,其对短于预定阈值的距离的数目进行计数,然后自动确定是否对于超过90%的肿瘤细胞测量得到短于所述阈值的距离。此外,基于将该距离与预定阈值进行比较来确定在其邻近区域中具有FAP+区的肿瘤细胞的分数在计算上是经济的且可快速执行。
根据其他实施方案,该临近性度量的计算包括:
–生成在至少三个距离仓的每个中观察到的经鉴定的肿瘤细胞的数目的直方图,该直方图涵盖0μm至至少100μm的距离范围,每个该仓对应该直方图的一个柱,每个柱指示至其最近的FAP+区的距离落入所述仓的经鉴定的肿瘤细胞的计数;
–将第一个该柱的上端与最后一个该柱的上端连接成直线或曲线,该第一个柱对应该仓中涵盖最小距离的那个,最后一个柱对应该仓中涵盖该距离范围的最大距离的那个;
–确定该线的斜率;且
–使用该斜率作为该临近性度量。
计算直方图可能是有利的,因为它提供了肿瘤的更详细的肿瘤细胞-FAP+距离分布的图片,该图片可向用户显示。因此,用户(例如病理学家或肿瘤学家)可使用此信息来更好地了解肿瘤的微环境。可使用不同的仓宽度。典型的仓宽度会表示10μm。
根据实施方案,分类结果指示,在斜率指示超过90%的肿瘤细胞在距离它们各自最近的FAP+区的预定距离内的情况中,该肿瘤可选择性地通过该药物得到有效治疗。例如,分类器可包括一些启发式规则,其评估斜率以确定是否至少90%的针对每个经鉴定的肿瘤细胞计算的距离在预定距离内。
根据实施方案,预定距离在40μm至60μm的范围内,特别是在45μm至55μm的范围内。优选地,预定距离为50μm。
已经观察到,此特定距离是用于区分具有“邻近FAP+区”的肿瘤细胞和不具有“邻近FAP+区”的肿瘤细胞的非常好的阈值标准。已经发现此区分为预测药物是否能够诱导肿瘤消退提供了特别高的准确性。
根据实施方案,距离的鉴定包括:对于每个经鉴定的肿瘤细胞,鉴定所述肿瘤细胞至经鉴定的FAP+区中最靠近所述肿瘤细胞的那个内的最近的像素之间的距离。
根据实施方案,该药物是结合癌症相关成纤维细胞的FAP蛋白质和肿瘤细胞上表达的另一蛋白质的双特异性抗体,该抗体与该另一蛋白质的结合促进肿瘤消退。该药物可以是“BiTE-抗体”,即双特异性T细胞接合抗体。
根据一个实施方案,该药物是RG7386(Peter Brünker等人在Mol Cancer Ther,15(5),946-57,2016AACR中),一种有效地触发FAP依赖性、亲合力驱动的DR5高度聚簇和肿瘤细胞凋亡的FAP-DR5抗体。
如本文所用,“高度聚簇”是指具有任意数目的受体分子的受体聚集体的形成(与几种其他受体形成的二聚体或四聚体的形成相反)。因此,聚集的受体的数目可主要取决于当前的局部环境,且不限于固定数目的预定结合位点。
根据实施方案,该另一蛋白质是触发肿瘤细胞凋亡的蛋白质。
根据实施方案,该另一蛋白质是DR5-“死亡受体5”或DR4-“死亡受体4”。
根据实施方案,选择性地在分类结果指示肿瘤可通过药物得到有效治疗的情况下,该图像分析系统输出指示开具或应用药物用于治疗肿瘤的治疗建议的信号。
在另一方面,本发明涉及一种用于肿瘤分类的图像分析系统。该系统配置为:
–接收患者的组织样本的至少一个数字图像;
–分析该至少一个接收的图像以鉴定该至少一个接收图像的一个区域中的肿瘤细胞;该区域可以是整个图像或该图像内的一个视场;
–分析该至少一个接收的图像以鉴定所述区域中的FAP+区,每个FAP+区是一个像素斑点,该像素斑点代表一个或多个表达成纤维细胞活化蛋白-“FAP”的细胞;
–分析该至少一个接收的图像以鉴定经鉴定的肿瘤细胞与它们各自最近的FAP+区之间的距离;
–作为经鉴定的距离的函数计算临近性度量;
–通过分类器处理该临近性度量以产生分类结果,该分类结果指示该患者的肿瘤是否可通过结合FAP蛋白的药物或药物成分得到有效治疗;且
–输出该分类结果。
在另一方面,本发明涉及一种用于训练肿瘤分类器的方法。该方法包括:
–通过图像分析系统,接收分别描绘具有已知通过药物可治疗的肿瘤的第一组患者的组织样本的多个第一数字图像,该药物是或包含结合FAP的物质;
–通过该图像分析系统,接收分别描绘具有已知通过所述药物不可治疗的肿瘤的第二组患者的组织样本的多个第二数字图像;
–对于每个接收的第一数字图像,通过该图像分析系统进行以下:
●分析该第一数字图像以鉴定所述第一图像的一个区域中的第一肿瘤细胞;
●分析所述第一图像以鉴定所述区域中的第一FAP+区,每个第一FAP+区是一个像素斑点,该像素斑点代表一个或多个表达FAP的成纤维细胞;
●分析所述第一图像以鉴定经鉴定的第一肿瘤细胞与其各自最近的FAP+区之间的第一距离;
●作为经鉴定的第一距离的函数计算第一临近性度量;
–对于每个接收的第二数字图像,通过该图像分析系统进行以下:
●分析该第二数字图像以鉴定所述第二图像的一个区域中的第二肿瘤细胞;
●分析所述第二图像以鉴定所述区域中的第二FAP+区,每个第二FAP+区是一个像素斑点,该像素斑点代表一个或多个表达FAP的成纤维细胞;
●分析所述第二图像以鉴定经鉴定的第二肿瘤细胞与其各自最近的FAP+区之间的第二距离;
●作为经鉴定的第二距离的函数计算第二临近性度量;
–通过未经训练的处理器与“可治疗”类成员资格标签相关地处理第一临近性度量且与“不可治疗”类成员资格标签相关地处理第二临近性度量以产生经训练的处理器。该经训练的处理器配置成,在接收作为输入的针对另一患者的切片的临近性度量时,指示该另一患者的肿瘤是否可通过结合FAP的药物或药物组分得到有效治疗。例如,可通过以上描述的训练方法产生本文针对本发明的各种实施方案所述的分类器,该分类器生成指示患者的肿瘤是否可通过结合FAP蛋白的药物或药物组分得到有效治疗的分类结果。
例如,该分类器可以是包含规则R(“如果位于距各自最近的FAP+区的预定距离PD1内的肿瘤细胞的分数超过所有经鉴定的肿瘤细胞的预定分数F1,则输出该药物将有效地治疗该肿瘤的预测;否则,该药物将是无效的”)的基于规则的分类器。从训练数据集中产生具有最小偏差(“误差”)的肿瘤细胞分类的参数PD1和F1的组合通过经训练的分类器在任何进一步的分类步骤中用于确定具有至少一个“邻近”FAP+区的肿瘤细胞的分数。对于由两组患者(通过特定FAP结合药物可治疗和不可治疗的)的多个结肠癌组织样本图像组成的训练数据集,对参数值F1=90%和预定距离PD1为50μm获得了良好分类结果。
上述训练方法可用于产生分类器,该分类器预测药物是否将有效治疗患者的肿瘤,且针对本发明的实施方案本文描述了该分类器。
根据实施方案,如下显示分类结果,即其距各自最近的FAP+区的距离低于预定距离的所有经鉴定的肿瘤细胞以与其距离高于所述预定距离的那些肿瘤细胞不同的颜色表示所有经鉴定的肿瘤细胞。两种不同的颜色可呈现为患者的肿瘤组织样本的数字图像的叠加(例如明视野图像)。因此,用户(例如病理学家)将能够直观地掌握所有经鉴定的肿瘤细胞内可通过针对FAP+蛋白的药物治疗的肿瘤细胞的分数。用户可立即且容易地从这样的叠加图像中推导出用该药物治疗该患者是否将有效治疗此肿瘤。
例如,组织样本可以是结直肠癌的活组织检查样本。然而,根据本发明实施方案的方法和系统也适用于其他癌症类型,例如乳腺癌、胰腺癌、肺癌等。
该至少一个图像可以是明视野图像,其中肿瘤细胞用蓝色着色和/或其中指示FAP蛋白存在的像素以褐色显示,例如基于DAB染色。
组织样本可以是全切片组织样本,且数字图像可以是全切片图像。通常,这种全切片组织样本包含数千或甚至数万细胞。因此,临近性度量可以是数千个相邻FAP+区-肿瘤细胞对的距离的函数。
附图简述
下面仅通过举例的方式,更详细地解释本发明的实施方案,参考附图,其中:
图1是图像分析系统的框图;
图2是用于肿瘤分类的图像分析方法的流程图;
图3a、b描绘了自可治疗和不可治疗的患者组的组织切片图像获得的距离的直方图;
图3c描绘了如何计算直方图的斜率;
图4描绘了包含自另一可治疗和另一不可治疗的患者组的组织切片图像获得的距离的叠加的直方图;
图5描绘了图4中描绘的可治疗患者组的距离减去不可治疗患者组的距离的差异;
图6是包含肿瘤细胞和FAP+区的肿瘤组织切片的明视野图像;
图7描绘了两个图,其指示针对多个不同的可治疗和不可治疗的患者,特定肿瘤细胞位于距其最近的FAP+区的给定距离内的概率密度。
发明详述
图1是根据本发明实施方案的图像分析系统100的框图。该系统包括一个或多个处理器104、主存储器106和非易失性存储介质108。该存储介质包含配置用于执行一个或多个图像处理任务的一个或多个应用程序或模块110、114、112、116。例如,第一模块110可执行连通分量分析和边缘检测例程,以便鉴定代表细胞(特别是肿瘤细胞)的像素斑点。可通过分析自相同组织样本衍生的一个或多个单色荧光或明视野显微术图像来进行鉴定,由此不同单色图像的像素强度分别指示一种或一组特定生物标志物。例如,一组特定的细胞角蛋白可用合适的与荧光或有色染料偶联的抗体染色。通过应用颜色解卷积算法,可从特定组织样本的多光谱荧光图像衍生出多个单色图像118。
例如,Ventana Medical Systems公司的一抗抗泛角蛋白“AE1/AE3/PCK26”可用于染色较差分化的恶性肿瘤。一组抗泛角蛋白抗体“AE1/AE3/PCK26”特异性结合位于简单和复杂上皮细胞的细胞质中的抗原。如Woodcock-Mitchell等人报道的,它是针对在人表皮角蛋白上发现的表位产生的小鼠单克隆抗体混合物。此抗体混合物与酸性亚家族的56.5kD、50kD、50'kD、48kD和40kD细胞角蛋白以及碱性亚家族的65-67kD、64kD、59kD、58kD、56kD和52kD细胞角蛋白反应。
AE1/AE3和PCK26是产生该抗体混合物的细胞的克隆。每个克隆的抗体检测角蛋白的一个特定子集:
PCK26特异性结合II型角蛋白:KRT5、KRT6、KRT8。该抗体与下列物种的角蛋白反应:人、小鼠、绵羊、猪。
AE1特异性结合I型角蛋白:KRT10、KRT14、KRT15、KRT16、KRT19。该抗体与下列物种的角蛋白反应:人和大鼠。
AE3特异性结合II型角蛋白:KRT1、2、3、4、5、6、7、8。该抗体与下列物种的角蛋白反应:人、大鼠和小鼠。
存储介质108可包含该一个或多个数字图像118。例如,该数字图像可在通过颜色解卷积算法生成它们之后或者在它们由相机或其他捕获装置获取之后存储在存储介质108中。此外,系统100耦合或包含显示器102,例如LCD显示器。该系统使用显示器102来显示各种患者的组织样本的数字图像118,显示肿瘤细胞和FAP+基质细胞用不同的染料染色并以不同的颜色显示的明视野图像,以一个或多个直方图的形式显示通过距离测量模块112测量的距离和/或显示通过分类器模块114生成的肿瘤分类结果或治疗建议。
例如,使用已被多种生物标志物特异性染色剂染色的组织样本,例如结肠癌活组织检查样本。BioCare medical的泛细胞角蛋白[AE1/AE3],一种浓缩和预先稀释的抗体混合物(控制号:901-011-013015),可用于鉴定表达一组特定细胞角蛋白且被鉴定为肿瘤细胞的细胞。泛细胞角蛋白[AE1/AE3]是小鼠单克隆抗体混合物,其旨在用于通过免疫组织化学(IHC)在福尔马林固定的石蜡包埋的人体组织中定性鉴定广谱的酸性和碱性细胞角蛋白的实验室用途。通过模块110分析所述染色剂的强度信号和相应的单色图像以鉴定肿瘤细胞。
此外,另一选择性染色癌症相关成纤维细胞中选择性表达的FAP蛋白的染色剂用于染色组织样本。例如,直接地或通过二抗或其他缀合剂与特定染料偶联的FAP抗体在染色方案中用于选择性染色表达FAP蛋白的细胞。该染料可以是荧光或明视野图像染料。例如,该染料可以是二氨基联苯胺(DAB),其导致FAP+细胞在明视野显微镜中显示为褐色区域,如图6中所示。此外,复染色剂(例如H&E染色)可用于染色其他细胞和细胞核,且易于区分图像中的组织区域和非组织区域。或者,可使用选择性结合FAP的荧光染色剂。在包含FAP特异性染色剂的信号的图像是多色图像的情况下,应用颜色解卷积以产生单色图像,该单色图像的像素强度值选择性地代表了由所述FAP特异性染色剂产生的信号。
所述FAP特异性染色剂的强度信号由模块116分析,用于鉴定FAP+区,即指示细胞中FAP蛋白存在的像素区。FAP+区可具有圆形或椭圆形形状,且可表示单个FAP+成纤维细胞。同样地,FAP+区可具有任何其他形状和大小,且可表示多个相邻和/或部分重叠的FAP+成纤维细胞。根据一些示例实施方案,可通过应用像素强度上的强度阈值以鉴定单色数字图像中的局部强度最大值来鉴定FAP+区,该单色数字图像的像素强度值与FAP特异性染色剂的染色强度相关。
在已经鉴定患者的特定组织切片的一个或多个数字图像中的肿瘤细胞和FAP+区之后,由模块112测量每个经鉴定的肿瘤细胞和其各自最近的FAP+区的距离。例如,模块112鉴定每个肿瘤细胞的中心并确定至FAP+区中距所述肿瘤细胞最近的那个内的最近的像素的距离。或者,针对每个经鉴定的肿瘤细胞,模块112鉴定所述肿瘤细胞内的任何像素和FAP+区中最接近所述肿瘤细胞的那个内的最近像素之间的最短距离。
在一些实施方案中,针对全切片图像,计算肿瘤细胞、FAP+区和它们各自的最近距离。或者,用户或程序模块可选择全切片图像内的子区域,且对于所选择的子区域选择性地进行肿瘤细胞鉴定、FAP+区检测和距离测定。该子区域也称为“感兴趣的视野”(FOV)。
由模块112测量的距离由应用程序或模块114处理,该应用程序或模块114作为距离的函数计算临近性度量。例如,模块114计算位于距离下一个FAP+区的预定距离阈值内的肿瘤细胞和经鉴定的肿瘤细胞的总数的分数。另外/或者,如例如图3和4所示的直方图可由模块114计算。该直方图可在显示器102上显示,以向病理学家提供所测量的距离的分布的图示。另外或或者,可确定连接直方图的各个柱的顶部边界的直线或曲线的斜率,以评估图像中肿瘤细胞与其最近的FAP+区之间的距离的分布。已观察到此信息是关于特定肿瘤是否可用结合FAP蛋白的药物治疗的问题的良好预测因子。
另外,分类器114或另一模块可使用距离信息以生成覆盖图像,其中位于距其最近的FAP+区的预定距离内的肿瘤细胞被覆盖或表示为与距其最近的FAP+区比预定距离更远的肿瘤细胞不同的颜色。
根据优选实施方案,“预定距离”,也称为“预定距离阈值”,是待使用的药物的生理上有效距离。因此,该预定距离指示例如在体外研究、动物测试或临床试验中,可观察到药物对肿瘤细胞的因果效应,结合FAP蛋白的药物与肿瘤细胞之间的最大距离。
图2是用于肿瘤分类的图像分析方法的流程图。例如,图2中描绘的方法可通过如图1所示的图像分析系统100来实施。
在第一步骤202中,图像分析系统接收组织样本的一个或多个数字图像118。该一个或多个数字图像可以是多光谱荧光免疫组织化学(IHC)图像,其通过应用颜色解卷积算法由图像分析系统分解成多个单色图像。或者,该图像分析系统可接收组织样本的多个单色数字图像。组织样本的多光谱数字图像和/或多个单色数字图像可通过接口用图像采集系统(例如显微镜或切片扫描装置)提供。或者,图像分析系统100可通过从存储介质(例如,CD-ROM或闪存驱动器)读取图像来接收组织样本的数字图像。
例如,衍生图像的组织样本可以是结肠直肠癌组织样本的活组织检查。该样本已用一种或多种选择性地结合一组细胞角蛋白的染色剂染色,且用另一选择性结合FAP蛋白的染色剂染色。将表示细胞角蛋白信号(CK+信号)的局部强度最大值的像素区域鉴定为肿瘤细胞。将表示FAP信号的局部强度最大值的像素区域鉴定为FAP+区。如本文所用的“FAP信号”是由选择性地染色FAP蛋白的染色剂发出的光信号,由此所述光信号在单色图像中以各自像素强度值的形式表示,该单色图像选择性地捕获用于选择性染色FAP蛋白的染色剂的发射光谱。此定义也类似地适用于其他“生物标志物信号”。
根据一个示例性实施方式,使用Ventana iScan HT切片扫描仪获取IHC染色的玻璃切片的数字图像。使用Roche IRIS平台观察和整理图像。Ventana图像分析软件VDP-SKD和Ventana数字病理学软件开发包用于进行大多数图像分析方法,用于鉴定细胞边界和鉴定分开的组织和玻璃区域、肿瘤细胞和FAP+区。
在第二步骤204中,图像分析系统的模块110执行一个或多个图像分析例程,用于鉴定接收的数字图像或组织样本的图像中的肿瘤细胞和任选的还有其他细胞类型和/或其他形态学结构。可使用本领域已知的用于检测细胞的图像分析例程,例如基于连通分量分析、灰度扫描和颜色分割技术、强度阈值转换等的细胞检测方法。
在进一步的步骤206中,模块116执行一个或多个图像分析例程,用于鉴定接收的数字图像或组织样本的图像中的FAP+区。例如,用于鉴定选择性包含FAP+信号的单色图像中的局部强度最大值的基于阈值的图像分析例程可用于检测FAP+区。作为该阈值的补充或替换,连通分量分析、灰度和颜色分割技术等用于鉴定FAP+区。
在进一步的步骤208中,针对每个经鉴定的肿瘤细胞,图像分析系统的模块112测定肿瘤细胞至最近的FAP+区的距离,例如,通过测量第一和第二像素之间的距离,第一像素是经鉴定的肿瘤细胞内位于最接近所述肿瘤细胞的最近的FAP+区的像素,第二像素是所述FAP+区内位于最接近所述经鉴定的肿瘤细胞的像素。
一些FAP+区在图6中描绘为深灰色(DAP染色)图像区域602,且一个经鉴定的肿瘤细胞在图6中描绘为圆圈604。距离d是由模块112测量的肿瘤细胞604和其最近的FAP+区602之间的距离。
在完成步骤208之后,在步骤210中模块114作为所测定的距离的函数计算临近性度量。例如,临近性度量可以是在预定距离内具有至少一个“邻近FAP+区”的肿瘤细胞和在图像FOV的所述图像中鉴定的肿瘤细胞的总数的分数。此分数描述了可潜在地受到结合FAP+蛋白的药物攻击的肿瘤细胞的分数。
此外/或者,可计算距离直方图的两个或更多个仓的斜率作为该临近性度量。
根据一个实施方案,负斜率(从短距离仓到长距离仓)指示大多数肿瘤细胞潜在地能受到结合FAP蛋白的药物攻击,且正斜率(从短距离仓到长距离仓)指示大多数肿瘤细胞大概不能受到结合FAP蛋白的药物成功攻击。因此,在负斜率的情况下,肿瘤细胞将分类为通过该药物“可治疗的”,且在正斜率的情况下,肿瘤细胞将分类为通过该药物可能是“不可治疗的”。根据对于某些类型的肿瘤或药物可能特别有利的其他实施方案,斜率下降的速率可用作药物有效性的预测因子:如果斜率下降的速率超过预定阈值,则该肿瘤细胞将分类为通过该药物“可治疗的”,且在其下降速率低于预定阈值的负斜率的情况下,该肿瘤细胞将分类为通过该药物可能是“不可治疗的”。
因此,根据一些实施方案,该分类结果指示在斜率是负的情况下,肿瘤可选择性地通过该药物得到有效治疗。在其他实施方案中,该分类结果指示在斜率下降的速率超过预定阈值的情况下,肿瘤可选择性地通过该药物得到有效治疗。
在步骤212中,模块114将经鉴定的肿瘤细胞分类为通过结合FAP蛋白的药物(大概)可治疗的肿瘤细胞,和通过所述药物(大概)不可治疗的肿瘤细胞。例如,如果距离各自最近的FAP+区不超过50μm的肿瘤细胞的分数为90%或更高,和/或如果斜率为负的(例如具有超过预定阈值的负斜率),则肿瘤细胞分类为可治疗的肿瘤细胞。如果距各自最近的FAP+区不超过50μm的肿瘤细胞的分数低于90%,和/或如果斜率为正的或斜率为负的但不超过上述斜率阈值,则将肿瘤细胞分类为不可治疗的肿瘤细胞(通过特定的药物不可治疗)。
鉴于细胞的代谢和信号传导途径中癌症相关变化的复杂性,如本文所用的特定药物对癌症的“可治疗性”的概念也涵盖了药物可能无法关于癌症治愈患者但至少已显示延长无疾病存活时间、减缓癌症进展、改善整体健康状况、通过使用另一种药物来增加治疗成功的机会或至少增加任何一种所述效果的可能性的情况。
因此,如本文所用的特定药物对癌症的“不可治疗性”的概念也涵盖了药物已显示不会延长物疾病存活时间、不会减缓癌症进展、不会改善整体健康状况、不会通过使用另一种药物来增加治疗成功的机会或不会增加任何一种所述期望效果的可能性的情况。
在步骤214中,图像分析系统100输出分类结果。例如,肿瘤是否可通过药物治疗的预测和/或临近性度量和任何直方图或其他绘制图在存储介质108中存储。此外/或者,所述分类结果和/或直方图和绘制图在显示装置102上显示。例如,图3、4和5中描绘的计算分数和直方图以及具有经鉴定的肿瘤细胞和FAP+区的数字图像可在耦合到图像分析系统100的LCD显示器102上显示。
图3a描绘了在每个经鉴定的肿瘤细胞至其各自最近的FAP+区之间测量的距离的直方图302。该距离是从已知其肿瘤通过结合FAP+蛋白的药物可治疗的患者的结肠癌组织切片图像中获得的。
图3b描绘了相同类型的测量的距离的直方图304。该距离是从已知其肿瘤通过结合FAP+蛋白的药物不可治疗的患者的结肠癌组织切片图像中获得的。从图3a和3b可得出,“可治疗的”患者中位于与至少一个FAP+区紧密空间近距的肿瘤细胞的分数显著大于“不可治疗的”患者的分数。
图3c示出了如何从距离的直方图推导出斜率:直方图包括五个距离仓。第一个仓覆盖0μm至25μm的距离,第二个仓覆盖26μm至50μm的距离,第三个仓覆盖51μm至75μm的距离,依此类推。术语“距离”涉及任一经鉴定的肿瘤细胞至其最近的经鉴定的FAP+区的距离。图像分析系统使用关于图像的分辨率和/或缩放因子的信息作为输入,用于根据在一个图像中分开例如肿瘤细胞和FAP+区的边界的像素的数目计算肿瘤细胞-FAP+区距离(以μm为单位)。对于每个仓,在直方图中绘制一个相应的柱,由此每个柱的高度反映了其至其最近的FAP+区的距离落入所述仓内的肿瘤细胞的数目。
可计算直方图的斜率以提供肿瘤细胞的临近性度量,该临近性度量通过分类器用于肿瘤分类。通过绘制连接第一个仓的柱的顶部和最后一个仓的柱的顶部的直线或曲线,且通过确定该线的斜率,将鉴定出负(下降的)斜率。距离直方图中其绝对量超过斜率最小值的负斜率用作指示肿瘤的肿瘤细胞是否通过特定药物可治疗的临近性度量。从图3a-3c可推断,直方图柱的形状和连接线306的斜率指示具有“邻近”FAP+区的肿瘤细胞的分数。
图4是分别具有直方图形式的第一402和第二404概率密度函数的组合图406。
概率密度函数(PDF)是描述变量呈现给定值的相对可能性的函数。该变量落在特定值范围内的概率由此变量在该范围内的密度的积分给出—即,它由密度函数之下但水平轴以上以及该范围的最低值和最大值之间的面积给出。概率密度函数在任何地方都是非负的,且其在整个空间中的积分等于1。
每个概率密度函数和各自的直方图指示对于特定肿瘤细胞,到其各自最近的FAP+区的测量的最小距离在特定距离仓内的概率。由第一直方图402表示的概率是从已知其肿瘤通过结合FAP+蛋白的药物可治疗的另一患者的结肠癌组织切片图像获得的。由第二直方图404表示的概率是从已知其肿瘤通过所述药物不可治疗的又另一患者的结肠癌组织切片图像获得的。
从图4可得出,可治疗和不可治疗的患者的概率函数不同且对应于在决定点408处相交的两个不同的距离概率曲线。在所描绘的示例中,决定点约为50μm。已观察到结合FAP的药物对肿瘤的生理上有效距离通常为50μm。因此,已观察到具有如下的肿瘤的患者很可能可受益于基于结合FAP+蛋白的药物的应用的治疗,该肿瘤绝大多数肿瘤细胞距离所述肿瘤细胞的最近的FAP+区小于60μm,更优选地小于55μm且更优选地小于50μm。
决定点408,即两个概率密度曲线402、404相交的点,可用作适合于将肿瘤分类为关于特定药物可治疗的与不可治疗的生理上有效距离阈值的粗略估计。生理上有效距离可取决于待使用的药物和其活性通过药物改变的信号级联。因此,通过确定已知通过特定药物可治疗的患者和已知通过所述药物不可治疗的患者二者的距离分布,所述药物的交叉点可以从如图4所示的图中推导出,且可用作将肿瘤细胞分类为“可治疗的”与“不可治疗的”的距离阈值:如果超过预定的最小分数(例如90%)的肿瘤细胞位于“决定点距离”(例如50μm)内,则所述肿瘤预测是通过所述药物可治疗的。
图5描绘了另一绘制图506,其是绘制图406的概率函数402、404的导数。绘制图506的y轴表示针对特定肿瘤细胞获得的距离受到指定距离仓覆盖的第一和第二概率之间的差异,其中第一概率衍生自通过特定药物可治疗的患者,且其中第二概率衍生自通过特定药物不可治疗的患者。在此绘制图中,作为差异函数502与“零”基线交叉的点确定决定点500。
图6将几个FAP+区描绘为深灰色(DAP染色,实际上是褐色)图像区域602。将经鉴定的肿瘤细胞中的一个描绘为圆圈604。距离d是由模块112测量的肿瘤细胞604和其最近的FAP+区602之间的距离。以相同的方式,针对组织切片图像中鉴定的每个肿瘤细胞测定距离d。在整个切片水平上自动测量组织样本中的最小的肿瘤细胞-FAP+区距离提供了对患者的肿瘤生物学更全面和准确的洞察。
图7a描绘了,对于第一患者组的多个结肠癌患者中的每一个,在所述患者的组织样本图像中鉴定的多个肿瘤细胞中的每一个至它们各自最近的FAP+区之间的测量的距离。每条曲线对应于已知其肿瘤通过结合FAP+蛋白的药物可治疗的患者。粗体曲线702是图7a的绘制图中描绘的所有其他距离分布曲线的算术平均值。
图7b描绘了,对于第二患者组的多个结肠癌患者中的每一个,在所述患者的组织样本图像中鉴定的多个肿瘤细胞中的每一个至它们各自最近的FAP+区之间的测量的距离。每条曲线对应于已知其肿瘤通过结合FAP+蛋白的药物不可治疗的患者。粗体曲线704是图7b的绘制图中描绘的所有其他距离分布曲线的算术平均值。
用于产生图3、4、5和7中的绘制图的药物是RG7386,一种触发DR5高度聚簇和肿瘤细胞凋亡的FAP-DR5抗体。

Claims (16)

1.一种用于肿瘤分类的图像分析方法,该方法包括:
–通过图像分析系统(100)接收(202)患者的组织样本的至少一个数字图像(118);
–通过该图像分析系统分析(204)该至少一个接收的图像以鉴定该至少一个接收的图像的一个区域中的肿瘤细胞(604);
–通过该图像分析系统分析(206)该至少一个接收的图像以鉴定所述区域中的FAP+区(602),每个FAP+区是一个像素斑点,该像素斑点代表一个或多个表达成纤维细胞活化蛋白–“FAP”的细胞;
–通过该图像分析系统分析(208)该至少一个接收的图像以鉴定经鉴定的肿瘤细胞和它们各自最近的FAP+区之间的距离;
–通过该图像分析系统作为经鉴定的距离的函数计算(210)临近性度量;
–通过分类器处理(212)该临近性度量以产生分类结果,该分类结果指示该患者的肿瘤是否可通过结合FAP蛋白的药物或药物组分被有效治疗;和
–通过该图像分析系统输出(214)该分类结果。
2.权利要求1的图像分析方法,该组织样本是全切片组织样本,且该数字图像是全切片图像。
3.前述权利要求任一项的图像分析方法,该肿瘤细胞的鉴定包括:
–鉴定增殖中的非淋巴样细胞(KI67+CD3-)且使用所述经鉴定的细胞作为该肿瘤细胞;和/或
–鉴定表达或过表达一组一种或多种肿瘤特异性生物标志物的细胞且使用所述经鉴定的细胞作为该肿瘤细胞。
4.权利要求3的图像分析方法,该一种或多种肿瘤特异性生物标志物是一种细胞角蛋白或一组两种或更多种细胞角蛋白。
5.前述权利要求任一项的图像分析方法,该至少一个数字图像包含其像素强度值指示FAP蛋白的存在的图像,FAP蛋白选择性地表达或过表达于癌症相关成纤维细胞中,FAP+区的鉴定包括鉴定作为所述数字图像内的局部强度最大值的像素斑点。
6.前述权利要求任一项的图像分析方法,该临近性度量的计算包括:
–计算其最近的FAP+区小于距离所述肿瘤细胞的预定距离的肿瘤细胞的数目相对于经鉴定的肿瘤细胞的总数的分数;和
–使用该分数作为临近性度量,其中该分数越高,该分类结果指示该肿瘤可通过该药物得到有效治疗的可能性越高。
7.权利要求6的图像分析方法,该分类结果指示在其最近的FAP+区小于距离所述肿瘤细胞的预定距离的肿瘤细胞的数目相对于经鉴定的肿瘤细胞的总数的分数为大于90%的情况下,该肿瘤可选择性地通过该药物得到有效治疗。
8.前述权利要求1-5任一项的图像分析方法,该临近性度量的计算包括:
–生成在至少三个距离仓的每个中观察到的经鉴定的肿瘤细胞的数目的直方图(302、304、406),该直方图涵盖0μm至至少100μm的距离范围,每个该仓对应该直方图的一个柱,每个柱指示与其最近的FAP+区的距离落入所述仓的经鉴定的肿瘤细胞的计数;
–将第一个该柱的上端与最后一个该柱的上端连接成直线或曲线,该第一个柱对应该仓中涵盖最小距离的那个,最后一个柱对应该仓中涵盖该距离范围的最大距离的那个;
–确定该线的斜率;和
–使用该斜率作为该临近性度量。
9.权利要求8的图像分析方法,该分类结果指示在该斜率指示超过90%的该肿瘤细胞在距它们各自最近的FAP+区的预定距离内的情况下,该肿瘤可选择性地通过该药物得到有效治疗。
10.权利要求6-9任一项的图像分析方法,该预定距离在40μm至60μm的范围内,特别是在45μm至55μm的范围内。
11.前述权利要求任一项的方法,该距离的鉴定包括,对于每个经鉴定的肿瘤细胞,鉴定所述肿瘤细胞与经鉴定的FAP+区中最靠近所述肿瘤细胞的那个内的最近的像素之间的距离。
12.前述权利要求任一项的图像分析方法,该药物是结合肿瘤相关成纤维细胞的FAP蛋白和在该肿瘤细胞上表达的另一蛋白的双特异性抗体,该抗体与该另一蛋白的结合促进肿瘤衰退。
13.权利要求12的方法,该另一蛋白是触发该肿瘤细胞凋亡的蛋白,该另一蛋白是例如DR5–“死亡受体5”或DR4–“死亡受体4”。
14.前述权利要求任一项的图像分析方法,该方法进一步包括:
–选择性地在该分类结果指示该肿瘤可通过该药物得到有效治疗的情况下,输出指示开具或应用该药物用于治疗该肿瘤的治疗建议的信号。
15.一种用于肿瘤分类的图像分析系统,该系统配置为:
–接收患者的组织样本的至少一个数字图像(118);
–分析该至少一个接收的图像以鉴定该至少一个接收的图像的一个区域中的肿瘤细胞;
–分析该至少一个接收的图像以鉴定所述区域中的FAP+区,每个FAP+区是一个像素斑点,该像素斑点代表一个或多个表达成纤维细胞活化蛋白–“FAP”的细胞;
–分析该至少一个接收的图像以鉴定经鉴定的肿瘤细胞和它们各自的最近的FAP+区之间的距离;
–作为经鉴定的距离的函数计算临近性度量;
–通过分类器处理该临近性度量以产生分类结果,该分类结果指示该患者的肿瘤是否可通过结合FAP蛋白的药物或药物组分得到有效治疗;和
–输出该分类结果。
16.一种用于训练肿瘤分类器的方法,该方法包括:
–通过图像分析系统(100)接收分别描绘具有已知通过药物可治疗的肿瘤的第一组患者的组织样本的多个第一数字图像,该药物是或包含接合FAP的物质;
–通过该图像分析系统(100)接收分别描绘具有已知通过所述药物不可治疗的肿瘤的第二组患者的组织样本的多个第二数字图像;
–对于每个接收的第一数字图像,通过该图像分析系统进行以下:
·分析该第一数字图像以鉴定所述第一图像的一个区域中的第一肿瘤细胞;
·分析所述第一图像以鉴定所述区域中的第一FAP+区,每个第一FAP+区是一个像素斑点,该像素斑点代表一个或多个表达FAP的成纤维细胞;
·分析所述第一图像以鉴定经鉴定的第一肿瘤细胞和它们各自的最近的FAP+区之间的第一距离;
·作为经鉴定的第一距离的函数计算第一临近性度量;
–对于每个接收的第二数字图像,通过该图像分析系统进行以下:
·分析该第二数字图像以鉴定所述第二图像的一个区域中的第二肿瘤细胞;
·分析所述第二图像以鉴定所述区域中的第二FAP+区,每个第二FAP+区是一个像素斑点,该像素斑点代表一个或多个表达FAP的成纤维细胞;
·分析所述第二图像以鉴定经鉴定的第二肿瘤细胞和它们各自的最近的FAP+区之间的第二距离;
·作为经鉴定的第二距离的函数计算第二临近性度量;
–通过未经训练的处理器与“可治疗”类成员资格标签相关地处理第一临近性度量且与“不可治疗”类成员资格标签相关地处理第二临近性度量以产生经训练的处理器,该经训练的处理器配置成在接收作为输入的针对另一患者的切片的临近性度量时,指示该另一患者的肿瘤可通过结合FAP的药物或药物组分得到有效治疗。
CN201780067886.3A 2016-11-10 2017-11-02 基于距离的肿瘤分类 Active CN109906469B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP16198290 2016-11-10
EP16198290.5 2016-11-10
PCT/EP2017/078111 WO2018086985A1 (en) 2016-11-10 2017-11-02 Distance-based tumor classification

Publications (2)

Publication Number Publication Date
CN109906469A true CN109906469A (zh) 2019-06-18
CN109906469B CN109906469B (zh) 2023-11-21

Family

ID=57288203

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780067886.3A Active CN109906469B (zh) 2016-11-10 2017-11-02 基于距离的肿瘤分类

Country Status (5)

Country Link
US (1) US11017533B2 (zh)
EP (1) EP3539080B1 (zh)
JP (1) JP6997778B2 (zh)
CN (1) CN109906469B (zh)
WO (1) WO2018086985A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN113177955A (zh) * 2021-05-10 2021-07-27 电子科技大学成都学院 一种基于改进图像分割算法的肺癌影像病变区域划分方法
CN114981899A (zh) * 2020-01-28 2022-08-30 佩治人工智能公司 用于处理用于生物标志物定位的电子图像的系统和方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3459046B1 (en) * 2016-05-18 2021-06-16 F. Hoffmann-La Roche AG Tumor proximity measure
JP7076698B2 (ja) * 2017-11-17 2022-05-30 国立研究開発法人国立がん研究センター 画像解析方法、画像解析装置、プログラム、学習済み深層学習アルゴリズムの製造方法および学習済み深層学習アルゴリズム
EP3611694A1 (en) * 2018-08-15 2020-02-19 Koninklijke Philips N.V. System for analysis of microscopic data using graphs
US20220004737A1 (en) * 2018-10-17 2022-01-06 Koninklijke Philips N.V. Mapping image signatures of cancer cells to genetic signatures
CN112912923A (zh) * 2018-10-23 2021-06-04 豪夫迈·罗氏有限公司 基于距离的组织状态确定
JP7369876B2 (ja) * 2020-04-27 2023-10-26 ヴェンタナ メディカル システムズ, インク. 組織領域における複数の細胞型について密度および空間関係を効率的に決定するための方法
CN112233123B (zh) * 2020-09-21 2024-05-14 广州金域医学检验中心有限公司 病理图片中肿瘤间质分类方法、装置、计算机设备及存储介质
CN114999569B (zh) * 2022-08-03 2022-12-20 北京汉博信息技术有限公司 一种针对病灶基质的分型方法、装置及计算机可读介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130338016A1 (en) * 2012-04-17 2013-12-19 Vala Sciences, Inc. Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US20170365053A1 (en) * 2014-11-24 2017-12-21 The Institute Of Cancer Research Royal Cancer Hospital Scoring of tumor infiltration by lymphocytes
US10650929B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a model to predict survival time for a patient

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5356793A (en) * 1990-03-15 1994-10-18 Nitta Gelatin Inc. Method for testing the sensitivity of anticancer drug
US6986993B1 (en) * 1999-08-05 2006-01-17 Cellomics, Inc. System for cell-based screening
US9779213B2 (en) * 2008-07-25 2017-10-03 Fundacao D. Anna Sommer Champalimaud E Dr. Carlos Montez Champalimaud System for evaluating a pathological stage of prostate cancer
CN102576016A (zh) * 2009-09-18 2012-07-11 阿布拉西斯生物科学有限责任公司 Sparc微环境标签在癌症治疗中的应用
US20120232930A1 (en) * 2011-03-12 2012-09-13 Definiens Ag Clinical Decision Support System
EP3825693A1 (en) * 2011-04-29 2021-05-26 Cancer Prevention And Cure, Ltd. Methods of identification and diagnosis of lung diseases using classification systems and kits thereof
WO2013109802A1 (en) * 2012-01-19 2013-07-25 H. Lee Moffitt Cancer Center And Research Institute, Inc. Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device
WO2015069827A2 (en) * 2013-11-06 2015-05-14 H. Lee Moffitt Cancer Center And Research Institute, Inc. Pathology case review, analysis and prediction
AU2016222894A1 (en) * 2015-02-23 2017-08-31 Cellanyx Diagnostics, Llc Cell imaging and analysis to differentiate clinically relevant sub-populations of cells
AU2016364917A1 (en) * 2015-12-02 2018-06-21 Clearlight Diagnostics Llc Methods for preparing and analyzing tumor tissue samples for detection and monitoring of cancers
US20190127805A1 (en) * 2016-03-15 2019-05-02 Almac Diagnostics Limited Gene signatures for cancer detection and treatment
US20200024669A1 (en) * 2017-03-20 2020-01-23 Caris Mpi, Inc. Genomic stability profiling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130338016A1 (en) * 2012-04-17 2013-12-19 Vala Sciences, Inc. Method For Integrated Pathology Diagnosis And Digital Biomarker Pattern Analysis
WO2015189264A1 (en) * 2014-06-10 2015-12-17 Ventana Medical Systems, Inc. Predicting breast cancer recurrence directly from image features computed from digitized immunohistopathology tissue slides
US20170365053A1 (en) * 2014-11-24 2017-12-21 The Institute Of Cancer Research Royal Cancer Hospital Scoring of tumor infiltration by lymphocytes
US10650929B1 (en) * 2017-06-06 2020-05-12 PathAI, Inc. Systems and methods for training a model to predict survival time for a patient

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114981899A (zh) * 2020-01-28 2022-08-30 佩治人工智能公司 用于处理用于生物标志物定位的电子图像的系统和方法
CN112801939A (zh) * 2020-12-31 2021-05-14 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN112801939B (zh) * 2020-12-31 2022-07-22 杭州迪英加科技有限公司 一种用于提高病理图像ki67指标准确性的方法
CN113177955A (zh) * 2021-05-10 2021-07-27 电子科技大学成都学院 一种基于改进图像分割算法的肺癌影像病变区域划分方法

Also Published As

Publication number Publication date
US11017533B2 (en) 2021-05-25
JP6997778B2 (ja) 2022-02-10
JP2020501120A (ja) 2020-01-16
WO2018086985A1 (en) 2018-05-17
US20190287249A1 (en) 2019-09-19
EP3539080B1 (en) 2022-03-23
EP3539080A1 (en) 2019-09-18
CN109906469B (zh) 2023-11-21

Similar Documents

Publication Publication Date Title
CN109906469A (zh) 基于距离的肿瘤分类
US11315240B2 (en) System and method of tumor classification
JP6725646B2 (ja) 解析的に別個の検体染色のパターンの混合を有する細胞サンプルの自動化解析
Raimondo et al. Automated evaluation of Her-2/neu status in breast tissue from fluorescent in situ hybridization images
RU2690224C2 (ru) Обследующее устройство для обработки и анализа изображения
CN111527519B (zh) 用于生成感兴趣的细胞类型的选择性染色剂分割图像的系统和方法
JP2018504674A (ja) 早期癌予知のための計算病理学システム及び方法
Ornberg et al. Analysis of stained objects in histological sections by spectral imaging and differential absorption
Theodosiou et al. Automated analysis of FISH and immunohistochemistry images: a review
Silva et al. PD-L1 immunostaining scoring for non-small cell lung cancer based on immunosurveillance parameters
Nurzynska et al. CAS: Cell annotation software–research on neuronal tissue has never been so transparent
JP2020530611A (ja) 染色された標本画像内で細胞を検出するための自動化された方法およびシステム
Ciurte et al. Automatic detection of circulating tumor cells in darkfield microscopic images of unstained blood using boosting techniques
Rogojanu et al. Quantitative image analysis of epithelial and stromal area in histological sections of colorectal cancer: an emerging diagnostic tool
Bengtsson et al. Computer‐aided diagnostics in digital pathology
CN111492368B (zh) 用于基于膜特征对组织图像中的细胞进行分类的系统和方法
Daniel et al. Somatostatin receptor immunohistochemistry in neuroendocrine tumors: comparison between manual and automated evaluation
Li et al. IPLaminator: an ImageJ plugin for automated binning and quantification of retinal lamination
US11222194B2 (en) Automated system and method for creating and executing a scoring guide to assist in the analysis of tissue specimen
Juppet et al. Deep learning enables individual xenograft cell classification in histological images by analysis of contextual features
Heindl et al. Automated REcognition of Tissue‐associated Erythrocytes (ARETE)—a new tool in tissue cytometry
Markiewicz et al. Computer Systems for Cell Counting in Histopathologic Slides of Tumours of the Central Nervous System: Advantages and Limitations
Rogojanu et al. Research Article Quantitative Image Analysis of Epithelial and Stromal Area in Histological Sections of Colorectal Cancer: An Emerging Diagnostic Tool

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40009209

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
TG01 Patent term adjustment