CN108694718A - 直肠癌术前同期新辅助放化疗疗效评估系统和方法 - Google Patents

直肠癌术前同期新辅助放化疗疗效评估系统和方法 Download PDF

Info

Publication number
CN108694718A
CN108694718A CN201810528225.2A CN201810528225A CN108694718A CN 108694718 A CN108694718 A CN 108694718A CN 201810528225 A CN201810528225 A CN 201810528225A CN 108694718 A CN108694718 A CN 108694718A
Authority
CN
China
Prior art keywords
rectal cancer
image
convolutional neural
neural networks
same period
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810528225.2A
Other languages
English (en)
Inventor
范新娟
汪建平
王磊
万香波
丁轶
王云龙
郑坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sixth Affiliated Hospital of Sun Yat Sen University
Original Assignee
Sixth Affiliated Hospital of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sixth Affiliated Hospital of Sun Yat Sen University filed Critical Sixth Affiliated Hospital of Sun Yat Sen University
Priority to CN201810528225.2A priority Critical patent/CN108694718A/zh
Publication of CN108694718A publication Critical patent/CN108694718A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30028—Colon; Small intestine
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Epidemiology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明涉及直肠癌术前同期新辅助放化疗疗效评估系统和方法。本发明的评估系统包括图像获取单元，用于获取初诊局部晚期直肠癌患者的病理活检切片扫描图像和新辅助放化疗治疗前MRI影像，并将直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；图像标注单元，用于将训练集、校验集和测试集的病理活检切片扫描图像和MRI影像分别进行数据标注；卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及卷积神经网络模型训练单元，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。本发明的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长、客观、立体等诸多优点。

Description

直肠癌术前同期新辅助放化疗疗效评估系统和方法
技术领域
本发明涉及直肠癌术前同期新辅助放化疗疗效评估系统和方法，具体涉及基于大数据分析活检病理及疗前MRI图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法。
背景技术
深度学习是目前人工智能领域用于图像识别和语音分析的最契合、应用最广泛的算法，其灵感来自于人类大脑的工作机制，是通过建立卷积神经网络对外部输入的数据进行自动化特征提取，从而能够使机器理解学习数据，获得信息并输出。目前，基于深度学习的人工智能已应用于各个行业领域，包括语音识别、人脸识别、车标识别、手写汉字识别等。近年来人工智能辅助医疗技术的产品研发也取得重大进展，如由谷歌大脑及Verily公司研发的用于乳腺癌病理诊断的人工智能产品可达到89％的肿瘤定位准确率；浙江大学附属第一医院利用人工智能实现快速分析甲状腺B超中结节区域的位置和良恶性；中山大学中山眼科中心利用深度学习算法建立了CC-Cruiser人工智能平台以协助筛查先天性白内障等。可见，通过对大量医学图像数据的深度学习能有效辅助临床医疗工作者进行疾病诊疗。
直肠癌是我国最常见的消化道恶性肿瘤之一，单纯的手术治疗效果往往不尽如人意。近年来，直肠癌术前同期新辅助放化疗(chemoradiotherapy，CRT)越来越多地应用于直肠癌治疗中，CRT能使肿瘤有不同程度的消退，依肿瘤退缩程度((tumor regressiongrading，TRG)可分为0-3级，0级代表病理肿瘤全消(pathology complete response,pCR)。在CRT结束后6-8周后行全系膜切除术，有助于提高手术切除率、减少局部复发率、延长生存期限等，并可使约16.7～30.0％的直肠癌患者达到pCR，该部分病人如能在术前通过特定技术手段筛选出来，可考虑采取非手术等待观察策略(Wait-and-see policy)，即密切随访替代积极手术。实际上确有前瞻性队列研究结果支持，新辅助治疗达到临床完全缓解的直肠癌患者采取非手术密切随访，其5年生存率等预后指标与行手术切除的对照组无明显差异。因此，准确预测评估新辅助放化疗疗效对于局部晚期直肠癌患者，尤其是不能耐受手术、具有强烈保肛意愿的中低位直肠癌患者的临床决策具有重要指导意义，更进一步地，若能在患者接受新辅助治疗前即可实现对其疗效的准确预测，则能更好地实现直肠癌个体化治疗。
近年来大数据技术与医学影像辅助诊断的有机融合产生了新的影像组学方法，影像组学是指从影像(CT、MR、PET等)中高通量地提取大量影像信息，实现肿瘤分割、特征提取与模型建立，凭借对海量影像数据信息进行更深层次的挖掘、预测和分析来辅助医师做出最准确的诊断。浙江大学医学院孙晓南教授团队利用影像组学数据分析，在筛选出的48名直肠癌患者中，评估出其中11名患者能通过CRT治疗使肿瘤达到pCR级别，而治疗后的病理结果分析亦正符合预期的结果，初步实现了直肠癌新辅助放化疗效果的定量化精准评估。而中国科学院自动化研究所田捷团队和广东省人民医院放射科刘在毅团队合作发表了结合CT影像、CT回报淋巴结阳性情况及血清标记物CEA等特征信息构建并验证结直肠癌淋巴结转移术前预测模型的研究成果，和传统CT影像学评估方法相比，该预测模型将术前淋巴结预测准确率提高了14.8％。
术后标本的病理学结果是评估直肠癌新辅助放化疗疗效的金标准，但它需要通过手术切除才能获得，不适用于治疗前疗效评估。磁共振(MR)具有较高的空间分辨率与软组织分辨率，可以清晰显示肿瘤的侵犯深度。以及有无肠壁外静脉浸润等，是疗前评估放化疗疗效的优选影像检查手段。而在疗后方面，已有超过1500例样本的分析表明，CRT后MRI的T分期同病理的符合度差强人意，其特异性可达91％，但敏感性仅为50％，准确度不够高。目前临床上通过临床实践和专业知识培养医生，由合格的医生人工阅读分析病理组织切片和MRI图像，结合自身长期积累的临床诊断经验作出分析和诊断，其准确率不高，耗时长，工作持续时间有限。这种人工肉眼阅片方法与医生自身经验、工作状态等主观因素密切相关，容易产生漏诊、误诊、争议性。除此之外，培养一名合格的医师时间十分漫长，临床经验的积累更是不可或缺，而且在长时间的工作过程中难免会受主观情绪、工作状态的影响，这诸多因素都可能影响患者的治疗方案制定。
此外，肿瘤的发生发展涉及从微观基因到组织器官宏观形态异常改变的各个层面，涉及分子、细胞及组织层面的共同作用，因而单一方法无法实现对肿瘤恶性生物学行为的准确预测，但目前国际上对于医疗大数据的分析建模大多建立在单一层面，其预测价值有限。
发明内容
本发明的目的在于克服现有技术的不足之处而提供一种客观、高效、立体的直肠癌术前同期新辅助放化疗疗效评估系统和方法。
为实现上述目的，本发明采取的技术方案为：一种直肠癌术前同期新辅助放化疗疗效评估系统，其包括
图像获取单元，用于获取初诊局部晚期直肠癌患者的病理活检切片扫描图像和新辅助放化疗治疗前MRI影像，并将初诊局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注单元，用于将训练集、校验集和测试集的病理活检切片扫描图像和MRI影像分别进行数据标注；
卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
本发明利用计算机对标准化、标签化的海量直肠癌肿物活检病理及治疗前MRI图像的深度学习，对卷积神经网络进行参数调节和拟合训练，从而获得较为鲁棒的网络模型。这种基于大数据和深度学习的神经网络能模拟人工阅片，根据输入的新病理图像和MRI影像得出对应的输出值即CRT疗效结论。再者，通过模型重建，在不影响评估准确度的情况下，极大提高了评估速度，这种人工智能直肠癌CRT疗效评估准确率与专业医生的水平相当，工作持续时间长，且能减少医生会诊的需要进而提高工作效率。
与现有人工评估直肠癌CRT疗效的方法相比较，本发明基于AI大数据和深度学习算法的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长的优点。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括卷积神经网络模型验证单元，用于获得鲁棒的第三卷积神经网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的更优选实施方式，所述卷积神经网络模型验证单元包括卷积神经网络模型测试单元和卷积神经网络模型评价单元，所述卷积神经网络模型测试单元用于检测第二卷积神经网络模型在测试集上的准确率，所述卷积神经网络模型评价单元用于根据在测试集上的准确率评价第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
上述技术方案中，如若第二卷积神经网络模型在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合。此时，可进一步对第二卷积神经网络模型的结构或参数进行调节，以获得更好的卷积神经网络模型。如若第二卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的评估病患CRT疗效的网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括患者筛选单元，用于筛选出符合条件的直肠癌患者。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括图像优化单元，用于在数据标注之前对已输入图像数据进行优化处理。对已输入图像数据进行优化处理的目的是保证信息标注的有效性。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括图像分类单元，用于预测治疗后肿瘤消退等级(TRG评分)以及相应的概率。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的更优选实施方式，所述图像分类单元包括待检区域筛选单元和待检区域检测单元，所述待检区域筛选单元用于预选出活体组织区域，并以组织重心为中心框选出待检测区域；所述待检区域检测单元用于对待检测区域进行分类检测以预测治疗后肿瘤消退等级以及相应的概率。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的更优选实施方式，所述待检区域筛选单元采用自适应阈值法预选出活体组织区域。
本发明还提供了一种直肠癌术前同期新辅助放化疗疗效评估方法，其包括以下步骤：
图像获取，获取初诊局部晚期直肠癌患者的病理活检切片扫描图像和新辅助放化疗治疗前MRI影像，并将初诊局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注，将训练集、校验集和测试集的病理活检切片扫描图像和MRI影像分别进行数据标注；
卷积神经网络构造，构造第一卷积神经网络模型；
卷积神经网络模型训练，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估方法的优选实施方式，所述评估方法还包括以下步骤：验证卷积神经网络模型，用于获得鲁棒的第三卷积神经网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估方法的优选实施方式，所述评估方法还包括以下步骤：对图像进行分类，以预测治疗后肿瘤消退等级以及相应的概率。
与现有技术相比，本发明的有益效果为：本发明优化了人工评估直肠癌CRT疗效评估的方式，利用深度学习算法在图像识别的优势，让计算机进行大数据级别的直肠癌活检病理切片及疗前MRI图像的深度学习，从而训练出能模拟病理医生、影像学医生疗效评估并与之媲美的智能化神经网络模型。经过不断学习和验证，该神经网络模型可以实现对直肠癌病理切片及MRI图像的智能阅片、智能识别和科学结论。
与现有人工评估直肠癌CRT疗效的方法相比较，本发明基于AI大数据和深度学习算法的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长、客观、立体等诸多优点，能协助医生实现疗前准确评估疗效、术前预测pCR。本发明在各大医院包括三甲、基层医院的推广和云端服务化将有助于解决医疗资源分配不均匀、实现远程优质医疗等，为广大患者提供更便捷、更准确的个体化治疗方案。
附图说明
图1为本发明直肠癌术前同期新辅助放化疗疗效评估系统的结构框图；
图2为本发明直肠癌术前同期新辅助放化疗疗效评估方法的流程图；
图3为本发明对图像数据进行优化处理的流程图；
图4为本发明对图像进行分类的流程图。
图1中，1为直肠癌术前同期新辅助放化疗疗效评估系统，101为患者筛选单元，102为图像优化单元，103为卷积神经网络构造单元，104为卷积神经网络模型训练单元，105为卷积神经网络模型测试单元，106为卷积神经网络模型评价单元，107为图像标注单元，108为图像获取单元，109为待检区域筛选单元，110为待检区域检测单元，2为输入终端，3为输出终端。
具体实施方式
为更好地说明本发明的目的、技术方案和优点，下面将结合附图和具体实施例对本发明作进一步说明。
实施例1
如图1所示，本发明实施例的一种直肠癌术前同期新辅助放化疗疗效评估系统1，其包括图像获取单元108，用于获取初诊局部晚期直肠癌患者的病理活检切片扫描图像和新辅助放化疗治疗前MRI影像，并将初诊局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注单元107，用于将训练集、校验集和测试集的病理活检切片扫描图像和MRI影像分别进行数据标注；
卷积神经网络构造单元103，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元104，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
本发明利用计算机对标准化、标签化的海量直肠癌肿物活检病理及治疗前MRI图像的深度学习，对卷积神经网络进行参数调节和拟合训练，从而获得较为鲁棒的网络模型。这种基于大数据和深度学习的神经网络能模拟人工阅片，根据输入的新病理图像和MRI影像得出对应的输出值即CRT疗效结论。再者，通过模型重建，在不影响评估准确度的情况下，极大提高了评估速度，这种人工智能直肠癌CRT疗效评估准确率与专业医生的水平相当，工作持续时间长，且能减少医生会诊的需要进而提高工作效率。
与现有人工评估直肠癌CRT疗效的方法相比较，本发明基于AI大数据和深度学习算法的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长的优点。
进一步地，本发明的评估系统还包括卷积神经网络模型验证单元，用于获得鲁棒的第三卷积神经网络模型。
进一步地，卷积神经网络模型验证单元包括卷积神经网络模型测试单元105和卷积神经网络模型评价单元106，卷积神经网络模型测试单元105用于检测第二卷积神经网络模型在测试集上的准确率，卷积神经网络模型评价单元106用于根据在测试集上的准确率评价第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
上述技术方案中，如若第二卷积神经网络模型在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合。此时，可进一步对第二卷积神经网络模型的结构或参数进行调节，以获得更好的卷积神经网络模型。如若第二卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的评估病患CRT疗效的网络模型。
为了筛选出符合条件的直肠癌患者，本发明的评估系统还包括患者筛选单元101。直肠癌患者的纳入标准、排除标准如下：
纳入标准：(i)经活检确认的原发性直肠癌，并有活检病理图像；(ii)治疗前经由MRI确定的局部晚期(≥T3N+/-M0)；(iii)在接受新辅助治疗前没有进行过其它治疗；(iv)全系膜切除术(TME)是新辅助治疗完成后进行的，肿瘤退缩程度(TRG)分级由术后肿瘤大体病理检查证实。
排除标准：(i)缺失活检病理图像；(ii)没有治疗前MRI影像或序列(T2WI、DWI、DCE-MRI)不全；(iii)未完成新辅助治疗，或在外院完成新辅助治疗；(iv)新辅助治疗后未在本院接受手术，没有术后大体病理结果；(v)合并/既往有其他癌种，或初诊/术前/复发转移。
为了保证信息标注的有效性，本发明的评估系统还包括图像优化单元102，用于在数据标注之前对已输入图像数据进行优化处理。
进一步地，本发明的评估系统还包括图像分类单元，用于预测治疗后肿瘤消退等级以及相应的概率。
进一步地，图像分类单元包括待检区域筛选单元109和待检区域检测单元110，待检区域筛选单元109用于预选出活体组织区域，并以组织重心为中心框选出待检测区域；待检区域检测单元110用于对待检测区域进行分类检测以预测治疗后肿瘤消退等级以及相应的概率。其中，待检区域筛选单元109可优选采用自适应阈值法预选出活体组织区域。
本发明的直肠癌术前同期新辅助放化疗疗效评估系统1连接至输入终端2和输出终端3。输入终端2可以从服务器(未示出)获得与初诊局部晚期直肠癌患者相关联的病例数据(例如：病理活检切片扫描图像、新辅助放化疗治疗前MRI影像和标本的TRG评分等)。可选地，可以将诸如FDD、HDD、CD驱动器、DVD驱动器、MO驱动器和ZIP驱动器等的外部存储装置连接至该设备以从这些驱动器中获得对象病例的数据。然后，该设备将经由输入终端2所输入的对象病例的数据以允许用户(医生)进行解读的形式显示在显示装置上，用户(医生)对显示在该显示装置上的对象病例的数据进行解读，并利用输入终端2输入该解读结果作为解读发现。
输出终端3用于将本发明获得的鲁棒的卷积神经网络模型对患者直肠癌术前同期新辅助放化疗疗效评估结果呈现给用户(医生)，以供临床参考。
实施例2
本发明直肠癌术前同期新辅助放化疗疗效评估方法的一种实施例，本实施例所述直肠癌术前同期新辅助放化疗疗效评估方法的流程如图2所示(图2中，构建系统即指构建指卷积神经网络模型)，该方法具体为：
(1)采集医疗大数据
以中山大学附属第六医院及中山大学肿瘤防治中心为数据来源，纳入1000例经活检病理确诊、接受新辅助放化疗后行手术切除的初诊局部晚期直肠癌患者，收集以上病例的病理活检切片扫描图像和治疗(针对直肠癌的新辅助化疗、放疗)前MRI影像资料，以及患者大体标本的TRG评分。纳入标准、排除标准见下：
纳入标准：(i)经活检确认的原发性直肠癌，并有活检病理图像；(ii)治疗前经由MRI确定的局部晚期(≥T3N+/-M0)；(iii)在接受新辅助治疗前没有进行过其它治疗；(iv)全系膜切除术(TME)是新辅助治疗完成后进行的，肿瘤退缩程度(TRG)分级由术后肿瘤大体病理检查证实。
排除标准：(i)缺失活检病理图像；(ii)没有治疗前MRI影像或序列(T2WI、DWI、DCE-MRI)不全；(iii)未完成新辅助治疗，或在外院完成新辅助治疗；(iv)新辅助治疗后未在本院接受手术，没有术后大体病理结果；(v)合并/既往有其他癌种，或初诊/术前/复发转移；
按照3:1:1的数量比例将1000例病例随机分组为“训练集”、“校验集”和“测试集”。各子集的图像数据进行数字化扫描储存、序号建档，创建直肠癌病理及MRI图像数据库。
(2)分割标注图像
分别利用现有的ASAP图像标注和国际公共平台(网址www.itksnap.org)提供的ITK-SAP软件对步骤(1)所收集的训练集、校验集和测试集的病理切片图像和MRI影像分别进行数据标注。为保证信息标注的有效性，需在标注前对图像数据进行优化处理，优化处理的流程如图3所示，即为：将输入的图像经高斯去噪、直方图均衡化和归一化处理，最后输出优化处理后的图像数据。
图像标注由经验丰富的病理医师、影像科医师进行交叉标注并经上级医师审核。
①病理图像标注工作
a、用不同颜色/粗细/虚实线条勾勒出图像中各种病理结构区域，根据直肠癌的组织病理学分型，病理标本切片形态，早期直肠癌(高级别上皮内瘤变/重度非典型增生)分型、分期、淋巴结转移等情况对图像分类并赋予分值，并将所勾勒的区域进行标签命名。
b、用不同线条分别勾勒出肿瘤性上皮区域及肿瘤间质区域。对不同图像的肿瘤区域及肿瘤间质区域进行分析。
c、对不同图像，分别计数肿瘤内及肿瘤间质内淋巴细胞浸润情况、肿瘤出芽情况。
d、生成xml格式文件，数字化存储，以进行下一步的网络模型训练和校验。
②MRI影像标注工作：
a、选择直肠癌MRI三个序列(T2、增强、弥散)，这三个序列中肿瘤的信号特点。
b、在三个序列上分别勾画tumor ROI，并且在T2上勾画肿瘤层面的lumen和peritumor(tumor外扩5个像素点)。直肠癌患者MRI每个序列上肿瘤层面约10层。
c、Lumen勾画目的和要点：挖掘肿瘤与肠壁的关系，如肿瘤有无突破肠壁，在何处突破，突破范围和形态等。通过tumor和lumen三维重建、程序分析可以计算两者的位置关系。
d、Tumor内部空腔空气、粘液、粪便、造影剂要扣除。
e、生成mha格式分割文件，数字化存储，以进行下一步的网络模型训练和校验。
③通过以上图像标注，可获得51,000张ROI，具体病理及MRI各层面图像数量见下表1所示:
表1
(3)训练卷积神经网络
①设计模型
(a)按照卷积层、最大采样层、非线性函数、全连接层级联的方式来构造卷积神经网络；
(b)采用多层网络来增强网络的拟合能力；
(c)网络最后的全连接层的输出的通道数可设为4，分别代表该患者新辅助治疗后TRG 0级、TRG 1级、TRG 2级和TRG 3级的概率。
②训练网络
(a)把步骤(1)、(2)中收集到的数据来对卷积神经网络的参数进行调节，在校验集上观察分类的准确率；
(b)为了加快训练网络的速度，可以使用具有高速并行计算的GPU来代替CPU进行训练；
(c)网络权重的更新的方法可以使用SGD来求解,如若收敛速度较慢，可使用Adadelta,Adam等优化方法来求解；
(d)如若收集到的训练数据数目太少，网络模型可以采用先在常规的公开的病理及MRI图像数据集预训练，再在收集到的数据上fine-tune的方法来训练模型；
(e)如若分类的准确率在现有网络的上训练，训练的准确率无法上升，可以通过增加网络的深度来增加卷积神经网络模型的拟合能力。
(4)测试集验证
(a)使用步骤(3)中训练好的模型来对测试集测试，观察模型在测试集上的准确率。
(b)如若在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合。此时，可返回步骤(3)中，调节网络结构或参数，获得更好的网络模型。
(c)如若步骤(3)中训练好的卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的评估病患CRT疗效的网络模型。
(5)基于卷积神经网络(CNN)的分类模型
对图像进行分类的流程如图4所示，具体为：
(a)为了确保检测的有效性，我们在预处理阶段采用自适应阈值法，从所有图像中预选出活体组织区域，以组织重心为中心框选出待检测区。
(b)用先前训练好的卷积神经网络对框选出的待检测区域进行分类检测，从而预测治疗后肿瘤消退等级以及相应的概率。
最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，包括
图像获取单元，用于获取初诊局部晚期直肠癌患者的病理活检切片扫描图像和新辅助放化疗治疗前MRI影像，并将初诊局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注单元，用于将训练集、校验集和测试集的病理活检切片扫描图像和MRI影像分别进行数据标注；
卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
2.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括卷积神经网络模型验证单元，用于获得鲁棒的第三卷积神经网络模型。
3.如权利要求2所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，所述卷积神经网络模型验证单元包括卷积神经网络模型测试单元和卷积神经网络模型评价单元，所述卷积神经网络模型测试单元用于检测第二卷积神经网络模型在测试集上的准确率，所述卷积神经网络模型评价单元用于根据在测试集上的准确率评价第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
4.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括患者筛选单元，用于筛选出符合条件的直肠癌患者。
5.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括图像优化单元，用于在数据标注之前对已输入图像数据进行优化处理。
6.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括图像分类单元，用于预测治疗后肿瘤消退等级以及相应的概率。
7.如权利要求6所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，所述图像分类单元包括待检区域筛选单元和待检区域检测单元，所述待检区域筛选单元用于预选出活体组织区域，并以组织重心为中心框选出待检测区域；所述待检区域检测单元用于对待检测区域进行分类检测以预测治疗后肿瘤消退等级以及相应的概率。
8.一种直肠癌术前同期新辅助放化疗疗效评估方法，其特征在于，包括以下步骤：
图像获取，获取初诊局部晚期直肠癌患者的病理活检切片扫描图像和新辅助放化疗治疗前MRI影像，并将初诊局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注，将训练集、校验集和测试集的病理活检切片扫描图像和MRI影像分别进行数据标注；
卷积神经网络构造，构造第一卷积神经网络模型；
卷积神经网络模型训练，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
9.如权利要求8所述的直肠癌术前同期新辅助放化疗疗效评估方法，其特征在于，还包括以下步骤：验证卷积神经网络模型，用于获得鲁棒的第三卷积神经网络模型。
10.如权利要求8所述的直肠癌术前同期新辅助放化疗疗效评估方法，其特征在于，还包括以下步骤：对图像进行分类，以预测治疗后肿瘤消退等级以及相应的概率。
CN201810528225.2A 2018-05-28 2018-05-28 直肠癌术前同期新辅助放化疗疗效评估系统和方法 Pending CN108694718A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810528225.2A CN108694718A (zh) 2018-05-28 2018-05-28 直肠癌术前同期新辅助放化疗疗效评估系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810528225.2A CN108694718A (zh) 2018-05-28 2018-05-28 直肠癌术前同期新辅助放化疗疗效评估系统和方法

Publications (1)

Publication Number Publication Date
CN108694718A true CN108694718A (zh) 2018-10-23

Family

ID=63847996

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810528225.2A Pending CN108694718A (zh) 2018-05-28 2018-05-28 直肠癌术前同期新辅助放化疗疗效评估系统和方法

Country Status (1)

Country Link
CN (1) CN108694718A (zh)

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448858A (zh) * 2018-10-30 2019-03-08 中山大学肿瘤防治中心 结直肠癌医疗数据处理方法及装置、存储介质、电子设备
CN109875522A (zh) * 2019-04-22 2019-06-14 上海健康医学院 一种预测前列腺穿刺与根治术后病理评分一致性的方法
CN109979546A (zh) * 2019-04-04 2019-07-05 成都大学 基于人工智能数字病理的网络模型分析平台及构建方法
TWI681406B (zh) * 2018-12-20 2020-01-01 中國醫藥大學附設醫院 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
CN110717894A (zh) * 2019-09-20 2020-01-21 北京深睿博联科技有限责任公司 癌症靶向治疗疗效评估方法及装置、设备、存储介质
CN111160380A (zh) * 2018-11-07 2020-05-15 华为技术有限公司 生成视频分析模型的方法及视频分析系统
CN111199794A (zh) * 2018-11-19 2020-05-26 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视白内障的手术智能决策系统及其建立方法
CN111354442A (zh) * 2018-12-20 2020-06-30 中国医药大学附设医院 肿瘤影像深度学习辅助子宫颈癌患者预后预测系统、方法
CN111369573A (zh) * 2020-03-05 2020-07-03 上海市肺科医院（上海市职业病防治院） 一种肺腺癌亚型的辅助鉴别系统及方法
CN111640503A (zh) * 2020-05-29 2020-09-08 上海市肺科医院 一种晚期肺癌患者的肿瘤突变负荷的预测系统及方法
CN112562851A (zh) * 2020-12-24 2021-03-26 中山大学附属口腔医院 一种口腔癌颈部淋巴转移诊断算法的构建方法及系统
CN113113130A (zh) * 2021-03-15 2021-07-13 湖南医云智享医疗科技有限公司 一种肿瘤个体化诊疗方案推荐方法
CN113284126A (zh) * 2021-06-10 2021-08-20 安徽省立医院(中国科学技术大学附属第一医院) 人工神经网络图像分析预测脑积水分流手术疗效的方法
CN114305324A (zh) * 2020-09-28 2022-04-12 台北医学大学 肿瘤复发预测装置与方法
CN114360718A (zh) * 2022-03-10 2022-04-15 之江实验室 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法
CN114664413A (zh) * 2022-04-06 2022-06-24 中国医学科学院肿瘤医院 在治疗前对直肠癌治疗抵抗及其分子机制的预测系统
TWI775161B (zh) * 2020-09-28 2022-08-21 臺北醫學大學 腫瘤復發預測裝置與方法
CN116797794A (zh) * 2023-07-10 2023-09-22 北京透彻未来科技有限公司 基于深度学习的肠癌病理分型系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053090A1 (en) * 2015-08-18 2017-02-23 Case Western Reserve University Treatment planning and evaluation for rectal cancer via image analytics
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170053090A1 (en) * 2015-08-18 2017-02-23 Case Western Reserve University Treatment planning and evaluation for rectal cancer via image analytics
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法
CN107680088A (zh) * 2017-09-30 2018-02-09 百度在线网络技术（北京）有限公司 用于分析医学影像的方法和装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KE NIE ET AL: "《Rectal Cancer: Assessment of Neoadjuvant Chemoradiation Outcome based on Radiomics of Multiparametric MRI》", 《AMERICAN ASSOCIATION FOR CANCER RESEARCH》 *
NARMADA M ET AL: "《A Sophisticated Convolutional Neural Network Model for Brain Tumor Classification》", 《IEEE XPLORE》 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109448858A (zh) * 2018-10-30 2019-03-08 中山大学肿瘤防治中心 结直肠癌医疗数据处理方法及装置、存储介质、电子设备
CN111160380A (zh) * 2018-11-07 2020-05-15 华为技术有限公司 生成视频分析模型的方法及视频分析系统
CN111160380B (zh) * 2018-11-07 2024-10-15 华为技术有限公司 生成视频分析模型的方法及视频分析系统
CN111199794B (zh) * 2018-11-19 2024-03-01 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视白内障的手术智能决策系统及其建立方法
CN111199794A (zh) * 2018-11-19 2020-05-26 复旦大学附属眼耳鼻喉科医院 一种适用于高度近视白内障的手术智能决策系统及其建立方法
TWI681406B (zh) * 2018-12-20 2020-01-01 中國醫藥大學附設醫院 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
CN111354442A (zh) * 2018-12-20 2020-06-30 中国医药大学附设医院 肿瘤影像深度学习辅助子宫颈癌患者预后预测系统、方法
US10896502B2 (en) 2018-12-20 2021-01-19 China Medical University Hospital Prediction system, method and computer program product thereof
CN109979546A (zh) * 2019-04-04 2019-07-05 成都大学 基于人工智能数字病理的网络模型分析平台及构建方法
CN109875522A (zh) * 2019-04-22 2019-06-14 上海健康医学院 一种预测前列腺穿刺与根治术后病理评分一致性的方法
CN110717894A (zh) * 2019-09-20 2020-01-21 北京深睿博联科技有限责任公司 癌症靶向治疗疗效评估方法及装置、设备、存储介质
CN110717894B (zh) * 2019-09-20 2022-08-23 北京深睿博联科技有限责任公司 癌症靶向治疗疗效评估方法及装置、设备、存储介质
CN111369573A (zh) * 2020-03-05 2020-07-03 上海市肺科医院（上海市职业病防治院） 一种肺腺癌亚型的辅助鉴别系统及方法
CN111640503A (zh) * 2020-05-29 2020-09-08 上海市肺科医院 一种晚期肺癌患者的肿瘤突变负荷的预测系统及方法
CN111640503B (zh) * 2020-05-29 2023-09-26 上海市肺科医院 一种晚期肺癌患者的肿瘤突变负荷的预测系统及方法
CN114305324A (zh) * 2020-09-28 2022-04-12 台北医学大学 肿瘤复发预测装置与方法
TWI775161B (zh) * 2020-09-28 2022-08-21 臺北醫學大學 腫瘤復發預測裝置與方法
CN112562851A (zh) * 2020-12-24 2021-03-26 中山大学附属口腔医院 一种口腔癌颈部淋巴转移诊断算法的构建方法及系统
CN112562851B (zh) * 2020-12-24 2024-04-23 中山大学附属口腔医院 一种口腔癌颈部淋巴转移诊断算法的构建方法及系统
CN113113130A (zh) * 2021-03-15 2021-07-13 湖南医云智享医疗科技有限公司 一种肿瘤个体化诊疗方案推荐方法
CN113284126A (zh) * 2021-06-10 2021-08-20 安徽省立医院(中国科学技术大学附属第一医院) 人工神经网络图像分析预测脑积水分流手术疗效的方法
CN113284126B (zh) * 2021-06-10 2022-06-24 安徽省立医院(中国科学技术大学附属第一医院) 人工神经网络图像分析预测脑积水分流手术疗效的方法
CN114360718A (zh) * 2022-03-10 2022-04-15 之江实验室 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法
CN114360718B (zh) * 2022-03-10 2022-07-12 之江实验室 一种基于特征拟合的pet/ct自动肺癌诊断分类系统及构建方法
CN114664413B (zh) * 2022-04-06 2022-12-20 中国医学科学院肿瘤医院 在治疗前对直肠癌治疗抵抗及其分子机制的预测系统
WO2023193390A1 (zh) * 2022-04-06 2023-10-12 中国医学科学院肿瘤医院 在治疗前对直肠癌治疗抵抗及其分子机制的预测系统
CN114664413A (zh) * 2022-04-06 2022-06-24 中国医学科学院肿瘤医院 在治疗前对直肠癌治疗抵抗及其分子机制的预测系统
US12057234B2 (en) 2022-04-06 2024-08-06 Cancer Hospital, Chinese Academy Of Medical Sciences System for predicting therapy resistance and its molecular mechanisms in rectal cancer before treatment
CN116797794A (zh) * 2023-07-10 2023-09-22 北京透彻未来科技有限公司 基于深度学习的肠癌病理分型系统

Similar Documents

Publication Publication Date Title
CN108694718A (zh) 直肠癌术前同期新辅助放化疗疗效评估系统和方法
Abbasniya et al. Classification of breast tumors based on histopathology images using deep features and ensemble of gradient boosting methods
Jiang et al. Deep learning with convolutional neural network in the assessment of breast cancer molecular subtypes based on US images: a multicenter retrospective study
Reis et al. Automated classification of breast cancer stroma maturity from histological images
Dundar et al. Computerized classification of intraductal breast lesions using histopathological images
CN107368670A (zh) 基于大数据深度学习的胃癌病理诊断支持系统和方法
Alksas et al. A novel computer-aided diagnostic system for accurate detection and grading of liver tumors
CN108717554A (zh) 一种甲状腺肿瘤病理组织切片图像分类方法及其装置
CN107369151A (zh) 基于大数据深度学习的胃肠间质瘤病理诊断支持系统和方法
CN107368671A (zh) 基于大数据深度学习的良性胃炎病理诊断支持系统和方法
CN108922602A (zh) 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法
Xie et al. Interpretable classification from skin cancer histology slides using deep learning: A retrospective multicenter study
Porcu et al. Radiomics and “radi-… omics” in cancer immunotherapy: a guide for clinicians
CN112263217B (zh) 一种基于改进卷积神经网络的非黑素瘤皮肤癌病理图像病变区域检测方法
Li et al. [Retracted] Automated Diagnosis and Localization of Melanoma from Skin Histopathology Slides Using Deep Learning: A Multicenter Study
Wu et al. Application of digital pathology and machine learning in the liver, kidney and lung diseases
Sobhanan Warrier et al. Automated recognition of cancer tissues through deep learning framework from the photoacoustic specimen
Gao et al. Radiomics analysis based on ultrasound images to distinguish the tumor stage and pathological grade of bladder cancer
CN109003659A (zh) 胃幽门螺旋杆菌感染病理诊断支持系统和方法
US11922623B2 (en) Cellular diagnostic and analysis methods
Wang et al. Artificial intelligence in breast imaging
CN110163195A (zh) 肝癌分群预测模型、其预测系统以及肝癌分群判断方法
CN113539476A (zh) 基于人工智能的胃内窥活检拉曼图像辅助诊断方法和系统
Ravi et al. MDNN: Predictive Modeling of Breast Cancer Subtypes Using Modified Deep Neural Networks
Li et al. Gleason grading of prostate cancer based on improved AlexNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20181023

RJ01 Rejection of invention patent application after publication