CN108922602A - 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法 - Google Patents

基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法 Download PDF

Info

Publication number
CN108922602A
CN108922602A CN201810526989.8A CN201810526989A CN108922602A CN 108922602 A CN108922602 A CN 108922602A CN 201810526989 A CN201810526989 A CN 201810526989A CN 108922602 A CN108922602 A CN 108922602A
Authority
CN
China
Prior art keywords
rectal cancer
convolutional neural
neural networks
same period
curative effect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810526989.8A
Other languages
English (en)
Inventor
万香波
范新娟
王磊
汪建平
丁轶
王云龙
郑坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sixth Affiliated Hospital of Sun Yat Sen University
Original Assignee
Sixth Affiliated Hospital of Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sixth Affiliated Hospital of Sun Yat Sen University filed Critical Sixth Affiliated Hospital of Sun Yat Sen University
Priority to CN201810526989.8A priority Critical patent/CN108922602A/zh
Publication of CN108922602A publication Critical patent/CN108922602A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Abstract

本发明涉及直肠癌术前同期新辅助放化疗疗效评估系统和方法。本发明的评估系统包括图像获取单元，用于获取局部晚期直肠癌患者的新辅助放化疗治疗前MRI影像，并将直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；图像标注单元，用于将训练集、校验集和测试集的MRI影像进行数据标注；卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及卷积神经网络模型训练单元，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。本发明的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长、客观、立体等诸多优点。

Description

基于大数据分析MRI图像的直肠癌术前同期新辅助放化疗疗 效评估系统和方法
技术领域
本发明涉及直肠癌术前同期新辅助放化疗疗效评估系统和方法，具体涉及基于大数据分析MRI图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法。
背景技术
深度学习是目前人工智能领域用于图像识别和语音分析的最契合、应用最广泛的算法，其灵感来自于人类大脑的工作机制，是通过建立卷积神经网络对外部输入的数据进行自动化特征提取，从而能够使机器理解学习数据，获得信息并输出。目前，基于深度学习的人工智能已应用于各个行业领域，包括语音识别、人脸识别、车标识别、手写汉字识别等。近年来人工智能辅助医疗技术的产品研发也取得重大进展，如由谷歌大脑及Verily公司研发的用于乳腺癌病理诊断的人工智能产品可达到89％的肿瘤定位准确率；浙江大学附属第一医院利用人工智能实现快速分析甲状腺B超中结节区域的位置和良恶性；中山大学中山眼科中心利用深度学习算法建立了CC-Cruiser人工智能平台以协助筛查先天性白内障等。可见，通过对大量医学图像数据的深度学习能有效辅助临床医疗工作者进行疾病诊疗。
直肠癌是我国最常见的消化道恶性肿瘤之一，单纯的手术治疗效果往往不尽如人意。近年来，直肠癌术前同期新辅助放化疗(chemoradiotherapy，CRT)越来越多地应用于直肠癌治疗中，CRT能使肿瘤有不同程度的消退，依肿瘤退缩程度((tumor regressiongrading，TRG)可分为0-3级，0级代表病理肿瘤全消(pathology complete response,pCR)。在CRT结束后6-8周后行全系膜切除术，有助于提高手术切除率、减少局部复发率、延长生存期限等，并可使约16.7～30.0％的直肠癌患者达到pCR，该部分病人如能在术前通过特定技术手段筛选出来，可考虑采取非手术等待观察策略(Wait-and-see policy)，即密切随访替代积极手术。实际上确有前瞻性队列研究结果支持，新辅助治疗达到临床完全缓解的直肠癌患者采取非手术密切随访，其5年生存率等预后指标与行手术切除的对照组无明显差异。因此，准确预测评估新辅助放化疗疗效对于局部晚期直肠癌患者，尤其是不能耐受手术、具有强烈保肛意愿的中低位直肠癌患者的临床决策具有重要指导意义，更进一步地，若能在患者接受新辅助治疗前即可实现对其疗效的准确预测，则能更好地实现直肠癌个体化治疗。
近年来大数据技术与医学影像辅助诊断的有机融合产生了新的影像组学方法，影像组学是指从影像(CT、MR、PET等)中高通量地提取大量影像信息，实现肿瘤分割、特征提取与模型建立，凭借对海量影像数据信息进行更深层次的挖掘、预测和分析来辅助医师做出最准确的诊断。浙江大学医学院孙晓南教授研究团队利用影像组学数据分析，在筛选出的48名直肠癌患者中，评估出其中11名患者能通过CRT治疗使肿瘤达到pCR级别，而治疗后的病理结果分析亦正符合预期的结果，初步实现了直肠癌新辅助放化疗效果的定量化精准评估。而中国科学院自动化研究所田捷团队和广东省人民医院放射科刘在毅团队合作发表了结合CT影像、CT回报淋巴结阳性情况及血清标记物CEA等特征信息构建并验证结直肠癌淋巴结转移术前预测模型的研究成果，和传统CT影像学评估方法相比，该预测模型将术前淋巴结预测准确率提高了14.8％。
术后标本的病理学结果是评估直肠癌新辅助放化疗疗效的金标准，但它需要通过手术切除才能获得，不适用于治疗前疗效评估。磁共振(MR)具有较高的空间分辨率与软组织分辨率，可以清晰显示肿瘤的侵犯深度。以及有无肠壁外静脉浸润等，是疗前评估放化疗疗效的优选影像检查手段。目前临床上通过临床实践和专业知识培养医生，由合格的医生人工审阅疗前、疗后MRI图像，结合自身长期积累的临床诊断经验作出分析和诊断，其准确率不高，耗时长，工作持续时间有限。这种人工肉眼阅片方法与医生自身经验、工作状态、主观情绪等主观因素密切相关，容易产生漏诊、误诊、争议性。并且，疗后图像由于CRT后肠壁纤维化、增厚、CRT诱导的炎症浸润等因素导致辨识难度增加，也是难以准确评估疗效的一大原因。除此之外，培养一名合格的医师时间十分漫长，临床经验的积累更是不可或缺，而且在长时间的工作过程中难免会受主观情绪、工作状态的影响，这诸多因素都可能影响患者的治疗方案制定。
现有的利用影像组学评估直肠癌新辅助治疗疗效，关注点基本都在肿瘤区，而忽略了肠壁、肿瘤周围等肿瘤容易侵袭区的信息，但肿瘤的诊治难点正在于其侵袭性，所以用单一的肿瘤区影像评估疗效，准确度及可信度均有限制。
发明内容
本发明的目的在于克服现有技术的不足之处而提供一种客观、高效、立体的直肠癌术前同期新辅助放化疗疗效评估系统和方法。
为实现上述目的，本发明采取的技术方案为：一种直肠癌术前同期新辅助放化疗疗效评估系统，其包括
图像获取单元，用于获取局部晚期直肠癌患者的新辅助放化疗治疗前MRI影像，并将局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注单元，用于将训练集、校验集和测试集的MRI影像进行数据标注；
卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
本发明利用计算机对标准化、标签化的海量直肠癌治疗前MRI图像的深度学习，对卷积神经网络进行参数调节和拟合训练，从而获得较为鲁棒的网络模型。这种基于大数据和深度学习的神经网络能模拟人工阅片，根据输入的新MRI影像得出对应的输出值即CRT疗效结论。再者，通过模型重建，在不影响评估准确度的情况下，极大提高了评估速度，这种人工智能直肠癌CRT疗效评估准确率与专业医生的水平相当，工作持续时间长，是高效的辅助诊疗方法。
与现有人工评估直肠癌CRT疗效的方法相比较，本发明基于AI大数据和深度学习算法的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长的优点。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括卷积神经网络模型验证单元，用于获得鲁棒的第三卷积神经网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的更优选实施方式，所述卷积神经网络模型验证单元包括卷积神经网络模型测试单元和卷积神经网络模型评价单元，所述卷积神经网络模型测试单元用于检测第二卷积神经网络模型在测试集上的准确率，所述卷积神经网络模型评价单元用于根据在测试集上的准确率评价第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
上述技术方案中，如若第二卷积神经网络模型在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合。此时，可进一步对第二卷积神经网络模型的结构或参数进行调节，以获得更好的卷积神经网络模型。如若第二卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的评估病患CRT疗效的网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括患者筛选单元，用于筛选出符合条件的直肠癌患者。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括图像优化单元，用于在数据标注之前对已输入图像数据进行优化处理。对已输入图像数据进行优化处理的目的是保证信息标注的有效性。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的优选实施方式，所述评估系统还包括图像分类单元，用于预测治疗后肿瘤消退等级(TRG评分)以及相应的概率。作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的更优选实施方式，所述图像分类单元包括待检区域筛选单元和待检区域检测单元，所述待检区域筛选单元用于预选出活体组织区域，并以组织重心为中心框选出待检测区域；所述待检区域检测单元用于对待检测区域进行分类检测以预测治疗后肿瘤消退等级以及相应的概率。作为本发明所述直肠癌术前同期新辅助放化疗疗效评估系统的更优选实施方式，所述待检区域筛选单元采用自适应阈值法预选出活体组织区域。
本发明还提供了一种直肠癌术前同期新辅助放化疗疗效评估方法，其包括以下步骤：
图像获取，获取局部晚期直肠癌患者的新辅助放化疗治疗前MRI影像，并将局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注，将训练集、校验集和测试集的MRI影像分别进行数据标注；
卷积神经网络构造，构造第一卷积神经网络模型；
卷积神经网络模型训练，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估方法的优选实施方式，所述评估方法还包括以下步骤：验证卷积神经网络模型，用于获得鲁棒的第三卷积神经网络模型。
作为本发明所述直肠癌术前同期新辅助放化疗疗效评估方法的优选实施方式，所述评估方法还包括以下步骤：对图像进行分类，以预测治疗后肿瘤消退等级以及相应的概率。与现有技术相比，本发明的有益效果为：本发明优化了人工评估直肠癌CRT疗效评估的方式，利用深度学习算法在图像识别的优势，让计算机进行大数据级别的直肠癌疗前MRI图像的深度学习，从而训练出能模拟影像学医生疗效评估并与之媲美的智能化神经网络模型。经过不断学习和验证，该神经网络模型可以实现对直肠癌疗前MRI图像的智能阅片、智能识别和科学结论。
与现有人工评估直肠癌CRT疗效的方法相比较，本发明基于AI大数据和深度学习算法的直肠癌术前同期新辅助放化疗疗效评估系统充分挖掘影像组学数据，对图像中肿瘤区域、肿瘤外围区域及肠壁进行三维分割，进而通过人工智能算法对ROI区域进行机器学习，本发明的评估系统具有准确率高、耗时短且工作持续时间长、客观、立体等诸多优点，能协助医生实现疗前准确评估疗效、术前预测pCR。本发明在各大医院包括三甲、基层医院的推广和云端服务化将有助于解决医疗资源分配不均匀、实现远程优质医疗等，为广大患者提供更便捷、更准确的个体化治疗方案。
附图说明
图1为本发明直肠癌术前同期新辅助放化疗疗效评估系统的结构框图；
图2为本发明直肠癌术前同期新辅助放化疗疗效评估方法的流程图；
图3为本发明对图像数据进行优化处理的流程图；
图4为本发明对图像进行分类的流程图。
图1中，1为直肠癌术前同期新辅助放化疗疗效评估系统，101为患者筛选单元，102为图像优化单元，103为卷积神经网络构造单元，104为卷积神经网络模型训练单元，105为卷积神经网络模型测试单元，106为卷积神经网络模型评价单元，107为图像标注单元，108为图像获取单元，109为待检区域筛选单元，110为待检区域检测单元，2为输入终端，3为输出终端。
具体实施方式
为更好地说明本发明的目的、技术方案和优点，下面将结合附图和具体实施例对本发明作进一步说明。
实施例1
如图1所示，本发明实施例的一种直肠癌术前同期新辅助放化疗疗效评估系统1，其包括图像获取单元108，用于获取局部晚期直肠癌患者的新辅助放化疗治疗前MRI影像，并将局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注单元107，用于将训练集、校验集和测试集的MRI影像进行数据标注；
卷积神经网络构造单元103，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元104，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
本发明利用计算机对标准化、标签化的海量直肠癌治疗前MRI图像的深度学习，对卷积神经网络进行参数调节和拟合训练，从而获得较为鲁棒的网络模型。这种基于大数据和深度学习的神经网络能模拟人工阅片，根据输入的新MRI影像得出对应的输出值即CRT疗效结论。再者，通过模型重建，在不影响评估准确度的情况下，极大提高了评估速度，这种人工智能直肠癌CRT疗效评估准确率与专业医生的水平相当，工作持续时间长，是高效的辅助诊疗方法。
与现有人工评估直肠癌CRT疗效的方法相比较，本发明基于AI大数据和深度学习算法的直肠癌术前同期新辅助放化疗疗效评估系统具有准确率高、耗时短且工作持续时间长的优点。
进一步地，本发明的评估系统还包括卷积神经网络模型验证单元，用于获得鲁棒的第三卷积神经网络模型。
进一步地，卷积神经网络模型验证单元包括卷积神经网络模型测试单元105和卷积神经网络模型评价单元106，卷积神经网络模型测试单元105用于检测第二卷积神经网络模型在测试集上的准确率，卷积神经网络模型评价单元106用于根据在测试集上的准确率评价第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
上述技术方案中，如若第二卷积神经网络模型在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合。此时，可进一步对第二卷积神经网络模型的结构或参数进行调节，以获得更好的卷积神经网络模型。如若第二卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的评估病患CRT疗效的网络模型。
为了筛选出符合条件的直肠癌患者，本发明的评估系统还包括患者筛选单元101。直肠癌患者的纳入标准、排除标准如下：
纳入标准：(i)经活检确认的原发性直肠癌，并有活检病理图像；(ii)治疗前经由MRI确定的局部晚期(≥T3N+/-M0)；(iii)在接受新辅助治疗前没有进行过其它治疗；(iv)全系膜切除术(TME)是新辅助治疗完成后进行的，肿瘤退缩程度(TRG)分级由术后肿瘤大体病理检查证实。
排除标准：(i)缺失活检病理图像；(ii)没有治疗前MRI影像或序列不全(T2WI、DWI、DCE-MRI)(iii)未完成新辅助治疗，或在外院完成新辅助治疗；(iv)新辅助治疗后未在本院接受手术，没有术后大体病理结果；(v)合并/既往有其他癌种，或初诊/术前/复发转移；
按照3:1:1的数量比例将1000例病例随机分组为“训练集”、“校验集”和“测试集”。各子集的图像数据进行数字化扫描储存、序号建档，创建直肠癌MRI图像数据库。
为了保证信息标注的有效性，本发明的评估系统还包括图像优化单元102，用于在数据标注之前对已输入图像数据进行优化处理。
进一步地，本发明的评估系统还包括图像分类单元，用于预测治疗后肿瘤消退等级(TRG评分)以及相应的概率。进一步地，图像分类单元包括待检区域筛选单元109和待检区域检测单元110，待检区域筛选单元109用于预选出活体组织区域，并以组织重心为中心框选出待检测区域；待检区域检测单元110用于对待检测区域进行分类检测以预测治疗后肿瘤消退等级以及相应的概率。其中，待检区域筛选单元109可优选采用自适应阈值法预选出活体组织区域。
本发明的直肠癌术前同期新辅助放化疗疗效评估系统1连接至输入终端2和输出终端3。输入终端2可以从服务器(未示出)获得与局部晚期直肠癌患者相关联的病例数据(例如：新辅助放化疗治疗前MRI影像和标本的TRG评分等)。可选地，可以将诸如FDD、HDD、CD驱动器、DVD驱动器、MO驱动器和ZIP驱动器等的外部存储装置连接至该设备以从这些驱动器中获得对象病例的数据。然后，该设备将经由输入终端2所输入的对象病例的数据以允许用户(医生)进行解读的形式显示在显示装置上，用户(医生)对显示在该显示装置上的对象病例的数据进行解读，并利用输入终端2输入该解读结果作为解读发现。
输出终端3用于将本发明获得的鲁棒的卷积神经网络模型对患者直肠癌术前同期新辅助放化疗疗效评估结果呈现给用户(医生)，以供临床参考。
实施例2
本发明直肠癌术前同期新辅助放化疗疗效评估方法的一种实施例，本实施例所述直肠癌术前同期新辅助放化疗疗效评估方法的流程如图2所示(图2中，构建系统即指构建指卷积神经网络模型)，该方法具体为：
(1)采集医疗大数据
以中山大学附属第六医院及中山大学肿瘤防治中心为数据来源，纳入1000例接受直肠癌新辅助放化疗后行手术切除，并有术后病理结果的局部晚期直肠癌患者，收集以上病例的治疗(针对直肠癌的新辅助化疗、放疗)前MRI影像资料，以及患者大体标本的TRG评分。纳入标准、排除标准见下：
纳入标准：(i)经活检确认的原发性直肠癌，并有活检病理图像；(ii)治疗前经由MRI确定的局部晚期(≥T3N+/-M0)；(iii)在接受新辅助治疗前没有进行过其它治疗；(iv)全系膜切除术(TME)是新辅助治疗完成后进行的，肿瘤退缩程度(TRG)分级由术后肿瘤大体病理检查证实。
排除标准：(i)缺失活检病理图像；(ii)没有治疗前MRI影像或序列不全(T2WI、DWI、DCE-MRI)(iii)未完成新辅助治疗，或在外院完成新辅助治疗；(iv)新辅助治疗后未在本院接受手术，没有术后大体病理结果；(v)合并/既往有其他癌种，或初诊/术前/复发转移；
按照3:1:1的数量比例将1000例病例随机分组为“训练集”、“校验集”和“测试集”。各子集的图像数据进行数字化扫描储存、序号建档，创建直肠癌MRI图像数据库。
(2)分割标注图像
利用国际公共平台(网址www.itksnap.org)提供的ITK-SAP软件对步骤(1)所收集的训练集、校验集和测试集的MRI影像进行数据标注。为保证信息标注的有效性，需在标注前对图像进行优化处理，优化处理的流程如图3所示，即为：将输入的图像经高斯去噪、直方图均衡化和归一化处理，最后输出优化处理后的图像数据。
图像标注由经验丰富的影像科医师进行标注并经上级医师审核。
①MRI影像标注工作：
a、选择直肠癌MRI三个序列(T2、增强、弥散)，这三个序列中肿瘤的信号特点。
b、在三个序列上分别勾画tumor ROI，并且在T2上勾画肿瘤层面的lumen和peritumor(tumor外扩5个像素点)。直肠癌患者MRI每个序列上肿瘤层面约10层。
c、Lumen勾画目的和要点：挖掘肿瘤与肠壁的关系，如肿瘤有无突破肠壁，在何处突破，突破范围和形态等。通过tumor和lumen三维重建、程序分析可以计算两者的位置关系。
d、Tumor内部空腔空气、粘液、粪便、造影剂要扣除。
e、生成mha格式分割文件，数字化存储，以进行下一步的网络模型训练和校验。
②通过以上图像标注，可获得50,000张ROI，具体MRI各层面图像数量见下表1所示:
表1
(3)训练卷积神经网络
①设计模型
(a)按照卷积层、最大采样层、非线性函数、全连接层级联的方式来构造卷积神经网络；
(b)采用多层网络来增强网络的拟合能力；
②网络最后的全连接层的输出的通道数可设为网络最后的全连接层的输出的通道数可设为4，分别代表该患者新辅助治疗后TGR0级、TGR1级、TGR2级和TGR3级的概率
③训练网络
(a)把步骤(1)、(2)中收集到的数据来对卷积神经网络的参数进行调节，在校验集上观察分类的准确率；
(b)为了加快训练网络的速度，可以使用具有高速并行计算的GPU来代替CPU进行训练；
(c)网络权重的更新的方法可以使用SGD来求解,如若收敛速度较慢，可使用Adadelta,Adam等优化方法来求解；
(d)如若收集到的训练数据数目太少，网络模型可以采用先在常规的公开图像数据集预训练，再在收集到的数据上fine-tune的方法来训练模型；
(e)如若分类的准确率在现有网络的上训练，训练的准确率无法上升，可以通过增加网络的深度来增加卷积神经网络模型的拟合能力。
(4)测试集验证
(a)使用步骤(3)中训练好的模型来对测试集测试，观察模型在测试集上的准确率。
(b)如若在测试集的上准确率与训练中的校验集的准确率相差较大，则说明模型过拟合。此时，可返回步骤(3)中，调节网络结构或参数，获得更好的网络模型。
(c)如若步骤(3)中训练好的卷积神经网络模型在测试集上的准确率与训练中的校验集的准确率十分接近，则说明该训练所得的卷积神经网络模型较为鲁棒，可作为合适的评估病患CRT疗效的网络模型。
(5)基于卷积神经网络(CNN)的分类模型
对图像进行分类的流程如图4所示，具体为：
(a)为了确保检测的有效性，我们在预处理阶段采用自适应阈值法，从所有图像中预选出活体组织区域，以组织重心为中心框选出待检测区域。
(b)用先前训练好的卷积神经网络对框选出的待检测区域进行分类检测，从而预测治疗后肿瘤消退等级(TRG评分)以及相应的概率。
最后所应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，包括
图像获取单元，用于获取局部晚期直肠癌患者的新辅助放化疗治疗前MRI影像，并将局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注单元，用于将训练集、校验集和测试集的MRI影像进行数据标注；
卷积神经网络构造单元，用于构造第一卷积神经网络模型；以及
卷积神经网络模型训练单元，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
2.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括卷积神经网络模型验证单元，用于获得鲁棒的第三卷积神经网络模型。
3.如权利要求2所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，所述卷积神经网络模型验证单元包括卷积神经网络模型测试单元和卷积神经网络模型评价单元，所述卷积神经网络模型测试单元用于检测第二卷积神经网络模型在测试集上的准确率，所述卷积神经网络模型评价单元用于根据在测试集上的准确率评价第二卷积神经网络模型是否过拟合，以筛选出鲁棒的第三卷积神经网络模型。
4.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括患者筛选单元，用于筛选出符合条件的直肠癌患者。
5.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括图像优化单元，用于在数据标注之前对已输入图像数据进行优化处理。
6.如权利要求1所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，还包括图像分类单元，用于预测治疗后肿瘤消退等级以及相应的概率。
7.如权利要求6所述的直肠癌术前同期新辅助放化疗疗效评估系统，其特征在于，所述图像分类单元包括待检区域筛选单元和待检区域检测单元，所述待检区域筛选单元用于预选出活体组织区域，并以组织重心为中心框选出待检测区域；所述待检区域检测单元用于对待检测区域进行分类检测以预测治疗后肿瘤消退等级以及相应的概率。
8.一种直肠癌术前同期新辅助放化疗疗效评估方法，其特征在于，包括以下步骤：
图像获取，获取局部晚期直肠癌患者的新辅助放化疗治疗前MRI影像，并将局部晚期直肠癌患者分为训练集、校验集和测试集，作为已输入图像数据；
图像标注，将训练集、校验集和测试集的MRI影像进行数据标注；
卷积神经网络构造，构造第一卷积神经网络模型；
卷积神经网络模型训练，根据已输入图像数据和所进行的数据标注对第一卷积神经网络模型的参数进行调节，在校验集上观察分类的准确率，并训练第一卷积神经网络模型，获得用于评估直肠癌术前同期新辅助放化疗疗效的第二卷积神经网络模型。
9.如权利要求8所述的直肠癌术前同期新辅助放化疗疗效评估方法，其特征在于，还包括以下步骤：验证卷积神经网络模型，用于获得鲁棒的第三卷积神经网络模型。
10.如权利要求8所述的直肠癌术前同期新辅助放化疗疗效评估方法，其特征在于，还包括以下步骤：对图像进行分类，以预测治疗后肿瘤消退等级以及相应的概率。
CN201810526989.8A 2018-05-28 2018-05-28 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法 Pending CN108922602A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810526989.8A CN108922602A (zh) 2018-05-28 2018-05-28 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810526989.8A CN108922602A (zh) 2018-05-28 2018-05-28 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法

Publications (1)

Publication Number Publication Date
CN108922602A true CN108922602A (zh) 2018-11-30

Family

ID=64418228

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810526989.8A Pending CN108922602A (zh) 2018-05-28 2018-05-28 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法

Country Status (1)

Country Link
CN (1) CN108922602A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109875522A (zh) * 2019-04-22 2019-06-14 上海健康医学院 一种预测前列腺穿刺与根治术后病理评分一致性的方法
CN109875683A (zh) * 2019-04-16 2019-06-14 北京大学第三医院（北京大学第三临床医学院） 一种下颌角截骨术中建立截骨面预测模型的方法
CN111554381A (zh) * 2020-04-23 2020-08-18 上海市第一人民医院 一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型
CN113096079A (zh) * 2021-03-30 2021-07-09 四川大学华西第二医院 图像分析系统及其构建方法
CN113262390A (zh) * 2021-06-28 2021-08-17 真实维度科技控股(珠海)有限公司 一种基于放射性粒子植入的肿瘤放疗效果评价方法
CN115170564A (zh) * 2022-09-06 2022-10-11 北京肿瘤医院(北京大学肿瘤医院) 一种结直肠癌放化疗反应自动预测系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275678A1 (en) * 2015-03-18 2016-09-22 University Of South Florida Image-based automated measurement model to predict pelvic organ prolapse
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160275678A1 (en) * 2015-03-18 2016-09-22 University Of South Florida Image-based automated measurement model to predict pelvic organ prolapse
CN106683104A (zh) * 2017-01-06 2017-05-17 西北工业大学 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
CN107368670A (zh) * 2017-06-07 2017-11-21 万香波 基于大数据深度学习的胃癌病理诊断支持系统和方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
KE NIE ET AL: "Rectal Cancer: Assessment of Neoadjuvant Chemoradiation Outcome based on Radiomics of Multiparametric MRI", 《AMERICAN ASSOCIATION FOR CANCER RESEARCH》 *
NARMADA M ET AL: "A Sophisticated Convolutional Neural Network Model for Brain Tumor Classification", 《IEEE XPLORE》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109875683A (zh) * 2019-04-16 2019-06-14 北京大学第三医院（北京大学第三临床医学院） 一种下颌角截骨术中建立截骨面预测模型的方法
CN109875683B (zh) * 2019-04-16 2020-06-12 北京大学第三医院（北京大学第三临床医学院） 一种下颌角截骨术中建立截骨面预测模型的方法
CN109875522A (zh) * 2019-04-22 2019-06-14 上海健康医学院 一种预测前列腺穿刺与根治术后病理评分一致性的方法
CN109875522B (zh) * 2019-04-22 2022-06-24 上海健康医学院 一种预测前列腺穿刺与根治术后病理评分一致性的方法
CN111554381A (zh) * 2020-04-23 2020-08-18 上海市第一人民医院 一种基于深度学习的肾透明细胞癌人工智能病理诊断方法及其诊断模型
CN113096079A (zh) * 2021-03-30 2021-07-09 四川大学华西第二医院 图像分析系统及其构建方法
CN113096079B (zh) * 2021-03-30 2023-12-29 四川大学华西第二医院 图像分析系统及其构建方法
CN113262390A (zh) * 2021-06-28 2021-08-17 真实维度科技控股(珠海)有限公司 一种基于放射性粒子植入的肿瘤放疗效果评价方法
CN113262390B (zh) * 2021-06-28 2022-06-21 真实维度科技控股(珠海)有限公司 一种基于放射性粒子植入的肿瘤放疗效果评价方法
CN115170564A (zh) * 2022-09-06 2022-10-11 北京肿瘤医院(北京大学肿瘤医院) 一种结直肠癌放化疗反应自动预测系统
CN115170564B (zh) * 2022-09-06 2022-12-02 北京肿瘤医院(北京大学肿瘤医院) 一种结直肠癌放化疗反应自动预测系统

Similar Documents

Publication Publication Date Title
CN108694718A (zh) 直肠癌术前同期新辅助放化疗疗效评估系统和方法
Su et al. Lung nodule detection based on faster R-CNN framework
Wang et al. A deep learning‐based autosegmentation of rectal tumors in MR images
CN108922602A (zh) 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法
Boldrini et al. Deep learning: a review for the radiation oncologist
EP3432784B1 (en) Deep-learning-based cancer classification using a hierarchical classification framework
Jiang et al. Deep learning with convolutional neural network in the assessment of breast cancer molecular subtypes based on US images: a multicenter retrospective study
CN105005714A (zh) 一种基于肿瘤表型特征的非小细胞肺癌预后方法
Li et al. Molecular subtypes recognition of breast cancer in dynamic contrast-enhanced breast magnetic resonance imaging phenotypes from radiomics data
CN106651874B (zh) 基于多模态mri数据的脑瘤术后空间域分割方法
Zhang et al. Deep learning on enhanced CT images can predict the muscular invasiveness of bladder cancer
Gheonea et al. Diagnosis system for hepatocellular carcinoma based on fractal dimension of morphometric elements integrated in an artificial neural network
Li et al. Automated diagnosis and localization of melanoma from skin histopathology slides using deep learning: a multicenter study
Wu et al. Deep learning for ovarian tumor classification with ultrasound images
Bakas et al. Segmentation of gliomas in multimodal magnetic resonance imaging volumes based on a hybrid generative-discriminative framework
Wang et al. Malignancy characterization of hepatocellular carcinoma using hybrid texture and deep features
Zhao et al. Clinical applications of deep learning in breast MRI
Velliangiri et al. Investigation of deep learning schemes in medical application
Dai et al. Clinical application of AI-based PET images in oncological patients
Qian et al. Breast cancer diagnosis using evolving deep convolutional neural network based on hybrid extreme learning machine technique and improved chimp optimization algorithm
Qian et al. ProCDet: A new method for prostate cancer detection based on mr images
Lu et al. Ultrasonographic pathological grading of prostate cancer using automatic region-based Gleason grading network
Wang et al. Radiomics and deep learning in nasopharyngeal carcinoma: a review
Bindu et al. Automated brain tumor detection and segmentation using modified UNet and ResNet model
Kim et al. The role of AI in prostate MRI quality and interpretation: Opportunities and challenges

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20181130