CN112396616A - 一种基于组织形态分析的骨肉瘤复发风险预测模型 - Google Patents

一种基于组织形态分析的骨肉瘤复发风险预测模型 Download PDF

Info

Publication number
CN112396616A
CN112396616A CN202011464130.2A CN202011464130A CN112396616A CN 112396616 A CN112396616 A CN 112396616A CN 202011464130 A CN202011464130 A CN 202011464130A CN 112396616 A CN112396616 A CN 112396616A
Authority
CN
China
Prior art keywords
osteosarcoma
recurrence
tumor
model
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011464130.2A
Other languages
English (en)
Inventor
鲁浩达
徐军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Information Science and Technology
Original Assignee
Nanjing University of Information Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Information Science and Technology filed Critical Nanjing University of Information Science and Technology
Priority to CN202011464130.2A priority Critical patent/CN112396616A/zh
Publication of CN112396616A publication Critical patent/CN112396616A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • Public Health (AREA)
  • Primary Health Care (AREA)
  • Medical Informatics (AREA)
  • Epidemiology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

本发明公开了一种基于组织形态分析的骨肉瘤复发风险预测模型。属于机器学习和图像处理领域；具体步骤：1、多类组织分割以及肿瘤区域内细胞核分割；2、特征提取和特征选择；3、分类器构建。本发明提出了一种使用肿瘤区域内细胞核特征来建立定量化的计算机辅助骨肉瘤复发风险预测模型；通过实验结果表明，源自肿瘤细胞核的图像特征可以作为独立于传统标准临床诊断特征的新标志物来进行预后分析，从而有助于帮助患者进行个性化治疗，并推动精准肿瘤学的发展。

Description

一种基于组织形态分析的骨肉瘤复发风险预测模型
技术领域
本发明涉及机器学习和图像处理领域，具体涉及一种基于组织形态分析的骨肉瘤复发风险预测模型。
背景技术
骨肉瘤(Osteosarcoma)是一种高度恶性肿瘤，通常通过外科手术、化学疗法和放射疗法的组合进行治疗。大多数患有高级别肿瘤的患者在手术前接受约三个月的化学疗法，即新辅助疗法。然后，外科医生将切除肿瘤以及肿瘤周围的大量健康组织，以使该区域没有所有疾病。骨肉瘤的新辅助化疗治愈率已接近60-70％，但治疗过程可能会很漫长而艰巨，通常持续一年或更长时间。因此，识别高复发风险患者的能力可以帮助这些患者制定更详细的监测计划和更个性化的多药辅助化疗，从而可以增加骨肉瘤高复发风险患者无复发生存的机会。同时，在避免过度化疗的情况下，它可以缓解低复发风险患者的身体，精神和财务压力。
因此，建立骨肉瘤复发风险预测模型可以对采用新辅助化疗治疗的骨肉瘤患者复发风险进行早期预测，以帮助优化病人个性化治疗方案。随着数字病理学和深度学习的发展，定量组织病理学图像分析方法在癌症诊断中的应用已引起许多临床医生和生物医学工程研究人员的极大关注，是预测癌症患者预后的重要工具。
发明内容
针对上述问题，本发明提供了一种基于组织形态分析的骨肉瘤复发风险预测模型，本发明通过辅助临床医生鉴定高或低复发风险的患者，确定骨肉瘤患者是否需要额外的新辅助化疗，以便可以提供更适合的治疗方法。
本发明的主要解决的技术问题有：1)、对骨肉瘤病理全扫描图像的肿瘤区域进行自动分割；2)、肿瘤区域自动分割完成后，继续对肿瘤区域内的细胞核进行分割；3)、提取肿瘤区域内细胞核特征并进行特征筛选，最后结合分类器进行建模。
本发明的技术方案是：一种基于组织形态分析的骨肉瘤复发风险预测模型，具体步骤包括如下：
步骤(1.1)、多类组织分割以及肿瘤区域细胞核分割；
步骤(1.2)、特征提取和特征选择；
步骤(1.3)、分类器构建。
进一步的，在步骤(1.1)中，所述多类组织分割的具体步骤如下：
(1.1.1)、采用DeepTiusse Net对骨肉瘤病理学图像进行多种组织分割；
(1.1.2)、对肿瘤区域的细胞核分割。
进一步的，在步骤(1.1)中，所述的肿瘤区域细胞核分割是采用Unet模型进行核分割。
进一步的，在步骤(1.2)中，所述的特征提取和特征选择的具体情况如下：
首先，图像特征仅从肿瘤区域内的细胞核像素中提取，其中，特征类别包括：纹理、形态及空间结构特征；
然后，采用最小冗余最大相关性特征选择方法，将其与三折交叉验证方案结合使用，并在训练集中进行超过100次迭代，找到区分复发和不复发两个类的6维特征。
进一步的，在步骤(1.3)中，使用找到的七维特征对随机森林分类器进行训练，从而得到进行复发风险预测的分类器模型。
本发明的有益效果是：本发明提出了一种使用肿瘤区域内细胞核特征来建立定量化的计算机辅助骨肉瘤复发风险预测模型；通过实验结果表明，源自肿瘤细胞核的图像特征可以作为独立于标准临床的新标志物来进行预后分析，从而有助于精准肿瘤学的发展。
附图说明
图1是本发明的结构流程图；
图2是本发明中基于DeepTissue Net的骨头瘤全扫描病理切片内多种组织分割流程图；
图3是本发明中基于Unet的小鼠生精管内多类生殖细胞和多类组织区域分割流程图(a-e)；及后续的特征提取和选择流程图(f-h)；
图4是本发明实施例中通过选择的有效特征的可视化图。
具体实施方式
为了更清楚地说明本发明的技术方案，下面结合附图对本发明的技术方案做进一步的详细说明：
具体的，如图1所述，一种基于组织形态分析的骨肉瘤复发风险预测模型，具体步骤包括如下：
步骤(1.1)、多类组织分割以及肿瘤区域细胞核分割；具体的，所述多类组织分割：首先采用DeepTiusse Net对骨肉瘤病理学图像进行多种组织分割；如图2所述，在骨肉瘤的全扫描图像中分割8个不同的组织后，可以找到肿瘤区域(红色)；然后，继续进行于肿瘤区域的细胞核分割；
所述的肿瘤区域细胞核分割：采用Unet(深度卷积神经网络)模型进行核分割；其流程图如图3所示；Unet模型已被许多研究证明可以准确地对医学图像进行语义分割；使用Unet在肿瘤区域进行核分割为下一步的特征提取和特征选择阶段奠定了坚实的基础。
步骤(1.2)、特征提取和特征选择；其具体情况如下：如图3(f)所示，
首先，图像特征仅从肿瘤区域内的细胞核像素中提取，其中，特征类别包括：纹理、形态及空间结构特征；
然后，采用最小冗余最大相关性(Max-Relevance and Min-Redundancy，mRMR)特征选择方法，将其与三折交叉验证方案结合使用，并在训练集中进行超过100次迭代，找到能有效区分复发和不复发两个类的七维特征；如表1所示；将特征的数量限制为6个，以避免模型过度拟合；
表1
Figure BDA0002833562150000031
步骤(1.3)、分类器构建：使用步骤(1.2)中找到的6维特征对随机森林分类器进行训练，从而得到进行复发风险预测的分类器模型，如图3(h)所示。
另外，图2是本发明中基于DeepTissue Net的骨头瘤全扫描病理切片内多种组织分割流程图；它包括训练阶段(a-c)，分割测试阶段(d-f)和评估阶段(e)；在全扫描病理切片上标注了8个组织(a)，并生成了训练图像小块(b)来训练Deeptissue Net(c)；原始的全扫描病理切片被细分为不重叠的小块，然后通过训练好的的Deeptissue网将其分类为8个组织(d-f)；通过与手动注释(e)进行比较，采用混淆矩阵来评估分割模型的性能。
图3是本发明中基于Unet的小鼠生精管内多类生殖细胞和多类组织区域分割流程图；它包括训练阶段(a-c)，分割测试阶段(d-e)以及特征提取和选择阶段(f-g)；从TCGA上下载的数据集为512x512图像块(a)及其注释(b)，并作为Unet的训练集；将原始全扫描图像(d)的肿瘤区域细分为不重叠的512x512补丁图像块，然后将其传递到经过训练的Unet模型中进行细胞核分割(e)；在肿瘤区域中分割所有不重叠的小块后，细胞核的轮廓将被送到特征提取和特征选择阶段。
具体实施例：
1、首先，如图2所示，采用训练好的DeepTisse Net对骨肉瘤全扫描病理图像进行多种组织分割；
2、然后，采用训练好的Unet对骨肉瘤全扫面病理图像中的肿瘤区域进行细胞核分割；如图3所示，利用UNet对WSI活瘤细胞核的分割；它包括培训(a-c)和测试(d-e)；以TCGA中下载的512x512图像patch及其核注释(a-b)作为训练集，将活瘤分成512x512不重叠的斑块，送入训练好的Unet中进行核分割(d-e)；
3、如图3(f-g)所示，针对肿瘤区域内细胞核进行特征提取，并利用mRMR特征选择算法选择出6维最具判别力的特征，送到已经训练好的随机森林分类器中，预测该病人是否具有复发风险；6维特征的可视化如图4所示。
最后，应当理解的是，本发明中所述实施例仅用以说明本发明实施例的原则；其他的变形也可能属于本发明的范围；相应地，本发明的实施例不限于本发明明确介绍和描述的实施例。

Claims (5)

1.一种基于组织形态分析的骨肉瘤复发风险预测模型，其特征在于，具体步骤包括如下：
步骤(1.1)、多类组织分割以及肿瘤区域细胞核分割；
步骤(1.2)、特征提取和特征选择；
步骤(1.3)、分类器构建。
2.根据权利要求1所述的一种基于组织形态分析的骨肉瘤复发风险预测模型，其特征在于，
在步骤(1.1)中，所述多类组织分割的具体步骤如下：
(1.1.1)、采用DeepTiusse Net对骨肉瘤病理学图像进行多种组织分割；
(1.1.2)、对肿瘤区域的细胞核分割。
3.根据权利要求1所述的一种基于组织形态分析的骨肉瘤复发风险预测模型，其特征在于，
在步骤(1.1)中，所述的肿瘤区域细胞核分割是采用Unet模型进行核分割。
4.根据权利要求1所述的一种基于组织形态分析的骨肉瘤复发风险预测模型，其特征在于，
在步骤(1.2)中，所述的特征提取和特征选择的具体情况如下：
首先，图像特征仅从肿瘤区域内的细胞核像素中提取，其中，特征类别包括：纹理、形态及空间结构特征；
然后，采用最小冗余最大相关性特征选择方法，将其与三折交叉验证方案结合使用，并在训练集中进行超过100次迭代，找到区分复发和不复发两个类的6维特征。
5.根据权利要求1所述的一种基于组织形态分析的骨肉瘤复发风险预测模型，其特征在于，在步骤(1.3)中，使用找到的七维特征对随机森林分类器进行训练，从而得到进行复发风险预测的分类器模型。
CN202011464130.2A 2020-12-14 2020-12-14 一种基于组织形态分析的骨肉瘤复发风险预测模型 Pending CN112396616A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011464130.2A CN112396616A (zh) 2020-12-14 2020-12-14 一种基于组织形态分析的骨肉瘤复发风险预测模型

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011464130.2A CN112396616A (zh) 2020-12-14 2020-12-14 一种基于组织形态分析的骨肉瘤复发风险预测模型

Publications (1)

Publication Number Publication Date
CN112396616A true CN112396616A (zh) 2021-02-23

Family

ID=74624794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011464130.2A Pending CN112396616A (zh) 2020-12-14 2020-12-14 一种基于组织形态分析的骨肉瘤复发风险预测模型

Country Status (1)

Country Link
CN (1) CN112396616A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798596A (zh) * 2023-01-18 2023-03-14 安徽省立医院(中国科学技术大学附属第一医院) 一种基于机器学习的肿瘤标志物识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
CN109671072A (zh) * 2018-12-18 2019-04-23 东北大学 基于点式阵列条件随机场的宫颈癌组织病理图像诊断方法
US20190163950A1 (en) * 2017-11-30 2019-05-30 Metal Industries Research & Development Centre Large scale cell image analysis method and system
CN110288582A (zh) * 2019-06-26 2019-09-27 电子科技大学 一种细胞核的准确分割方法
CN111353998A (zh) * 2020-05-13 2020-06-30 温州医科大学附属第一医院 一种基于人工智能的肿瘤诊疗预测模型及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107169974A (zh) * 2017-05-26 2017-09-15 中国科学技术大学 一种基于多监督全卷积神经网络的图像分割方法
US20190163950A1 (en) * 2017-11-30 2019-05-30 Metal Industries Research & Development Centre Large scale cell image analysis method and system
CN109671072A (zh) * 2018-12-18 2019-04-23 东北大学 基于点式阵列条件随机场的宫颈癌组织病理图像诊断方法
CN110288582A (zh) * 2019-06-26 2019-09-27 电子科技大学 一种细胞核的准确分割方法
CN111353998A (zh) * 2020-05-13 2020-06-30 温州医科大学附属第一医院 一种基于人工智能的肿瘤诊疗预测模型及装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JUN XU 等: "Multi-issue Partitioning for Whole Slide Images of Colorectal Cancer Histopathology Images with Deeptissue Net", 《DIGITAL PATHOLOGY》, pages 100 - 108 *
ZHAN WANG 等: "Predicting recurrence in osteosarcoma via a quantitative histological image classifier derived from tumour nuclear morphological features", 《CAAI TRANSACTIONS ON INTELLIGENCE TECHNOLOGY》, pages 1 - 13 *
王荃 等: "基于深度学习和组织形态分析的肺癌基因突变预测", 《生物医学工程学杂志》, vol. 37, no. 1, pages 10 - 18 *
蔡程飞: "基于结直肠病理图像计算的预后研究", 《中国优秀硕士学位论文全文数据库医药卫生科技辑》, no. 2020, pages 072 - 458 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115798596A (zh) * 2023-01-18 2023-03-14 安徽省立医院(中国科学技术大学附属第一医院) 一种基于机器学习的肿瘤标志物识别方法
CN115798596B (zh) * 2023-01-18 2023-10-13 安徽省立医院(中国科学技术大学附属第一医院) 一种基于机器学习的肿瘤标志物识别方法

Similar Documents

Publication Publication Date Title
WO2021132633A1 (ja) Ａｉを用いた病理診断支援方法、及び支援装置
CN108694718A (zh) 直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN105005714A (zh) 一种基于肿瘤表型特征的非小细胞肺癌预后方法
CN115036002B (zh) 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN111640503A (zh) 一种晚期肺癌患者的肿瘤突变负荷的预测系统及方法
CN111353998A (zh) 一种基于人工智能的肿瘤诊疗预测模型及装置
CN111028223B (zh) 一种微卫星不稳定肠癌能谱ct碘水图影像组学特征处理方法
Yao et al. DeepPrognosis: Preoperative prediction of pancreatic cancer survival and surgical margin via comprehensive understanding of dynamic contrast-enhanced CT imaging and tumor-vascular contact parsing
EP3836157B1 (en) Method for obtaining disease-related clinical information
CN112767407A (zh) 一种基于级联门控3DUnet模型的CT图像肾脏肿瘤分割方法
CN107368695A (zh) 基于放射组学的胃肠间质瘤恶性潜能分类模型的构建方法
CN110049715B (zh) 用于可视化患者的内脏的设备及相关联的可视化方法
Lahane et al. Classification of thermographic images for breast cancer detection based on deep learning
CN116597985A (zh) 生存率预测模型训练方法、生存期预测方法及装置、设备
CN112396616A (zh) 一种基于组织形态分析的骨肉瘤复发风险预测模型
Banumathy et al. CAD of BCD from Thermal Mammogram Images Using Machine Learning.
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
CN116612313A (zh) 基于改进EfficientNet-B0模型的肺结节良恶性分类方法
Yoon et al. Deep learning analysis to predict EGFR mutation status in lung adenocarcinoma manifesting as pure ground-glass opacity nodules on CT
Wang et al. Artificial intelligence in breast imaging
CN112419290A (zh) 一种基于ct图像影像组学特征的进展期胃癌边缘状态识别系统
D'Amico et al. Early radiomics experiences in predicting CyberKnife response in acoustic neuroma
Bhalodiya Identification of MR image biomarkers in brain tumor patients using machine learning and radiomics features
CN115295126B (zh) 预测胃癌错配修复基因缺陷的模型
Indumathi et al. Machine Learning based Lung Cancer Detection & Analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination