CN117219295A - 一种基于ct图像的胃癌新辅助化疗疗效预测系统 - Google Patents
一种基于ct图像的胃癌新辅助化疗疗效预测系统 Download PDFInfo
- Publication number
- CN117219295A CN117219295A CN202311453588.1A CN202311453588A CN117219295A CN 117219295 A CN117219295 A CN 117219295A CN 202311453588 A CN202311453588 A CN 202311453588A CN 117219295 A CN117219295 A CN 117219295A
- Authority
- CN
- China
- Prior art keywords
- image
- clinical
- module
- gastric cancer
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 208000005718 Stomach Neoplasms Diseases 0.000 title claims abstract description 47
- 206010017758 gastric cancer Diseases 0.000 title claims abstract description 47
- 201000011549 stomach cancer Diseases 0.000 title claims abstract description 47
- 238000002512 chemotherapy Methods 0.000 title claims abstract description 34
- 230000000694 effects Effects 0.000 title claims abstract description 26
- 206010028980 Neoplasm Diseases 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 claims abstract description 33
- 238000013136 deep learning model Methods 0.000 claims abstract description 21
- 230000001575 pathological effect Effects 0.000 claims abstract description 16
- 238000013528 artificial neural network Methods 0.000 claims abstract description 9
- 238000007477 logistic regression Methods 0.000 claims abstract description 5
- 238000011227 neoadjuvant chemotherapy Methods 0.000 claims description 25
- 238000004590 computer program Methods 0.000 claims description 14
- 238000004891 communication Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 10
- 238000005070 sampling Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 8
- 230000007170 pathology Effects 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 5
- 102100023123 Mucin-16 Human genes 0.000 claims description 4
- UIIMBOGNXHQVGW-UHFFFAOYSA-M Sodium bicarbonate Chemical compound [Na+].OC([O-])=O UIIMBOGNXHQVGW-UHFFFAOYSA-M 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 208000009956 adenocarcinoma Diseases 0.000 claims description 4
- 210000002751 lymph Anatomy 0.000 claims description 4
- 230000004069 differentiation Effects 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000000973 chemotherapeutic effect Effects 0.000 claims 1
- 210000001015 abdomen Anatomy 0.000 abstract description 3
- 238000005457 optimization Methods 0.000 description 15
- 238000012549 training Methods 0.000 description 12
- 238000012795 verification Methods 0.000 description 8
- 230000002496 gastric effect Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 6
- 238000012986 modification Methods 0.000 description 6
- 230000004048 modification Effects 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 102100027211 Albumin Human genes 0.000 description 4
- 102100023635 Alpha-fetoprotein Human genes 0.000 description 4
- 102100025475 Carcinoembryonic antigen-related cell adhesion molecule 5 Human genes 0.000 description 4
- WHUUTDBJXJRKMK-UHFFFAOYSA-N Glutamic acid Natural products OC(=O)C(N)CCC(O)=O WHUUTDBJXJRKMK-UHFFFAOYSA-N 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010200 validation analysis Methods 0.000 description 4
- 238000011226 adjuvant chemotherapy Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 201000011510 cancer Diseases 0.000 description 3
- 210000001165 lymph node Anatomy 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 230000035945 sensitivity Effects 0.000 description 3
- 238000006467 substitution reaction Methods 0.000 description 3
- 238000001356 surgical procedure Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- GHASVSINZRGABV-UHFFFAOYSA-N Fluorouracil Chemical compound FC1=CNC(=O)NC1=O GHASVSINZRGABV-UHFFFAOYSA-N 0.000 description 2
- 208000025865 Ulcer Diseases 0.000 description 2
- 238000009098 adjuvant therapy Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 229960002949 fluorouracil Drugs 0.000 description 2
- 238000013110 gastrectomy Methods 0.000 description 2
- 230000008595 infiltration Effects 0.000 description 2
- 238000001764 infiltration Methods 0.000 description 2
- 238000005065 mining Methods 0.000 description 2
- 238000009099 neoadjuvant therapy Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000002271 resection Methods 0.000 description 2
- 230000004083 survival effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 231100000397 ulcer Toxicity 0.000 description 2
- 108010088751 Albumins Proteins 0.000 description 1
- 108010022366 Carcinoembryonic Antigen Proteins 0.000 description 1
- 208000003788 Neoplasm Micrometastasis Diseases 0.000 description 1
- 206010061309 Neoplasm progression Diseases 0.000 description 1
- 208000037062 Polyps Diseases 0.000 description 1
- 108010048233 Procalcitonin Proteins 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 108010026331 alpha-Fetoproteins Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000000427 antigen Substances 0.000 description 1
- 102000036639 antigens Human genes 0.000 description 1
- 108091007433 antigens Proteins 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 150000001720 carbohydrates Chemical class 0.000 description 1
- 230000000747 cardiac effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010924 continuous production Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 238000009472 formulation Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 235000013922 glutamic acid Nutrition 0.000 description 1
- 239000004220 glutamic acid Substances 0.000 description 1
- 210000004698 lymphocyte Anatomy 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000000440 neutrophil Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002980 postoperative effect Effects 0.000 description 1
- CWCXERYKLSEGEZ-KDKHKZEGSA-N procalcitonin Chemical compound C([C@@H](C(=O)N1CCC[C@H]1C(=O)N[C@@H](CCC(N)=O)C(=O)N[C@H](C(=O)N[C@@H](C)C(=O)N[C@@H]([C@@H](C)CC)C(=O)NCC(=O)N[C@@H](C(C)C)C(=O)NCC(=O)N[C@@H](C)C(=O)N1[C@@H](CCC1)C(=O)NCC(O)=O)[C@@H](C)O)NC(=O)[C@@H](NC(=O)[C@H](CC=1NC=NC=1)NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@H](CCCCN)NC(=O)[C@H](CC(N)=O)NC(=O)[C@H](CC=1C=CC=CC=1)NC(=O)[C@H](CC(O)=O)NC(=O)[C@H](CCC(N)=O)NC(=O)[C@@H](NC(=O)[C@H](CC=1C=CC(O)=CC=1)NC(=O)[C@@H](NC(=O)CNC(=O)[C@H](CC(C)C)NC(=O)[C@H](CCSC)NC(=O)[C@H]1NC(=O)[C@H]([C@@H](C)O)NC(=O)[C@H](CO)NC(=O)[C@H](CC(C)C)NC(=O)[C@H](CC(N)=O)NC(=O)CNC(=O)[C@@H](N)CSSC1)[C@@H](C)O)[C@@H](C)O)[C@@H](C)O)C1=CC=CC=C1 CWCXERYKLSEGEZ-KDKHKZEGSA-N 0.000 description 1
- 238000004393 prognosis Methods 0.000 description 1
- 238000011272 standard treatment Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000013517 stratification Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 230000001988 toxicity Effects 0.000 description 1
- 231100000419 toxicity Toxicity 0.000 description 1
- 230000005751 tumor progression Effects 0.000 description 1
- 230000002792 vascular Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Image Analysis (AREA)
Abstract
本发明主要关于一种基于CT图像的胃癌新辅助化疗疗效预测系统，包括：获取模块，获取患者CT图像、临床资料及病理数据，并对CT图像进行预处理；影像模块，以残差神经网络为基准模型构建影像深度学习模型；临床模块，基于临床特征结构化向量，利用Spearman和LASSO进行特征选择，应用多因素逻辑回归方法构建临床预测模型；预测模块，经过预处理的CT图像和临床特征结构化向量作为输入数据输入前述模型，可视化显示影响胃癌化疗疗效的肿瘤特征区域，并输出TRG分类概率。通过多模态深度模型算法对腹部增强CT图像进行处理分析，同时结合临床危险因素，精准预测新辅助化疗的疗效，并对化疗敏感的区域进行了可视化及区别对比。
Description
技术领域
本发明主要关于智能医学影像应用技术领域，特别是关于一种基于CT图像的胃癌新辅助化疗疗效预测系统。
背景技术
近年来，新辅助化疗(NCT)被证明能显著改善局部晚期胃癌患者(LAGC)的预后，已成为标准治疗方法。NCT主要通过化疗在手术前降低肿瘤体积、实现肿瘤降解、尽早消除微转移，提高R0切除的可能性，从而提高总生存率和无病生存率。此外，在手术前维持肿瘤血管完整性可增强化疗的疗效。然而，并非所有的LAGC患者都能从NCT中受益，无效的新辅助治疗可能会增加毒性，并允许肿瘤在化疗期间进展。因此，现阶段的研究都在不断探索如何在术前化疗早期阶段就能对患者获益结果进行预测。
目前，研究主要基于临床病理学资料及CT影像开发机器学习模型(影像组学)来非侵入性识别对化疗有反应的患者。预处理成像与原发性肿瘤特征相关，而术后成像可以反映肿瘤治疗的反应和效果。研究发现，肿瘤内部异质性在一定程度上可通过提取的影像组学特征在CT图像中的独特纹理和空间灰度模式得到反映。因此，目前研究多集中于利用CT影像开发机器学习模型(影像组学)来非侵入性识别对化疗有反应的患者，包括：组学特征的提取与选择、多模态机器学习模型的建立与验证等。
目前提出的基于影像组学的胃癌新辅助化疗反应预测模型在验证过程中仍存在很多漏检、误检情况，因为研究的影像特征是人为设定好的，导致无法全面地捕捉对某种疾病敏感度高的特征特性，因此使得实际预测产生偏差。
前述背景技术知识的记载旨在帮助本领域普通技术人员理解与本发明较为接近的现有技术，同时便于对本申请发明构思及技术方案的理解，应当明确的是，在没有明确的证据表明上述内容在本专利申请的申请日前已公开的情况下，上述背景技术不应当用于评价本申请技术方案的新创性。
发明内容
为解决上述背景技术中提及的至少一种技术问题及胃癌领域新辅助治疗的技术难题，提供一种解决目前临床上难以在患者治疗前精确预判具有个体差异的患者是否应该采取接受新辅助治疗的系统，通过多模态深度模型算法对腹部增强CT图像进行处理分析，同时结合临床危险因素，精准预测新辅助化疗的疗效，并对化疗敏感的区域进行了可视化及区别对比。
一种基于CT图像的胃癌新辅助化疗疗效预测系统，包括：
获取模块，其被配置为获取患者CT图像、临床资料及病理数据，并对CT图像进行预处理后作为输入数据；
影像模块，其被配置为以残差神经网络为基准模型构建影像深度学习模型，并在残差模块的前后分别添加了通道注意力模块；
临床模块，其被配置为将临床特征归一化处理得到临床特征结构化向量，利用Spearman和LASSO进行特征选择，利用多因素逻辑回归方法构建临床预测模型；
预测模块，其被配置为将影像深度学习模型与临床预测模型构成多模态预测模型，将经过预处理的CT图像和临床特征结构化向量作为输入数据输入多模态预测模型，使用梯度加权类激活图可视化显示多模态预测模型导出的影响胃癌化疗疗效的肿瘤特征区域，并输出TRG分类概率。
作为对本发明技术方案的优化，获取模块中，所述新辅助化疗是在切除肿瘤病灶前接受含5-氟尿嘧啶的新辅助化疗。
作为对本发明技术方案的优化，获取模块中，所述患者CT图像包括胃癌患者和/或Siewert III型食管胃结合部腺癌患者的CT图像。
作为对本发明技术方案的优化，获取模块中，所述患者CT图像包括横断位上包含肿瘤最大层面及其相邻两个切片。
作为对本发明技术方案的优化，获取模块中，所述临床资料包括：年龄、性别、BMI、肿瘤位置、最大直径、Borrmann分型、cT分期、cN分期、cM分期、分化程度、病理分型、CEA、CA125、AFP、ALB、PCT、Lymph%、Glu、Neut。
作为对本发明技术方案的优化，获取模块中，所述病理数据包括TRG病理反应等级。
作为对本发明技术方案的优化，获取模块中，所述对CT图像进行预处理包括：
(1)基于ITK-SNAP开源软件对CT图像感兴趣区域勾画；
(2)图像分辨率归一化采样；
(3)图像像素级别归一化；
(4)利用图像级SMOTE采样方法对少样本数据进行上采样以生成图像。
作为对本发明技术方案的优化，获取模块中，所述输入数据在进入训练集之前使用翻转和旋转作为数据增强策略。
作为对本发明技术方案的优化，获取模块中，所述翻转和旋转具体是先对CT图像做正向和逆向45°、135°旋转，再对旋转后的CT图像做左右翻转。
作为对本发明技术方案的优化，影像模块中，所述影像深度学习模型中，将Resnet网络的softmax层更改为sigmoid层作为最终层，以产生二元分类器的概率预测。
作为对本发明技术方案的优化，影像模块中，所述影像深度学习模型依次包括：卷积模块、最大池化模块、通道注意力模块、残差模块、通道注意力模块、平均池化模块和全卷积模块。整个深度学习网络模块/模型以Resnet网络作为基准模型，并受SE-Net网络的思想启发，运用其采用两个连续的过程(包括挤压和激励)来捕捉通道的隐式相互依赖性的特性，我们在残差模块的前后分别添加了通道注意力模块，以改善网络生成的特征表示。并且，我们将Resnet网络的softmax层更改为sigmoid层作为最终层，以产生二元分类器的概率预测。
作为对本发明技术方案的优化，影像模块中，所述影像深度学习模型以经过预处理的患者CT图像作为训练集训练。
作为对本发明技术方案的优化，影像模块中，所述训练具体包括：使用小批量大小为32来开发模型，学习率最初设置为0.0005，每50个epoch衰减率为0.1。模型在两个GeForce RTX 2080 Ti GPU上使用PyTorch框架进行了最多2,000个epoch的训练，并将早停函数设置为100个连续的epoch。
作为对本发明技术方案的优化，临床模块中，临床特征结构化向量读取自临床特征。
作为对本发明技术方案的优化，临床模块中，所述影像深度学习模型以CT图像作为输入，以TRG分类概率作为输出。
作为对本发明技术方案的优化，预测模块中，所述临床预测模型以临床特征结构化向量作为输入，以TRG分类概率作为输出。
前述所述基于CT图像的胃癌新辅助化疗疗效预测系统的应用，包括：
获得胃癌患者的CT图像、临床资料及病理数据；
应用所述系统对胃癌患者的新辅助化疗疗效进行预测。
一种计算机可读存储介质，所述计算机可读存储介质内存储有可被处理器执行的计算机程序，所述计算机程序被处理器执行时运行前述所述基于CT图像的胃癌新辅助化疗疗效预测系统中的各个模块。
一种计算机设备，所述计算机设备包括存储器、处理器、通信接口以及通信总线；其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时运行前述所述基于CT图像的胃癌新辅助化疗疗效预测系统中的各个模块。
本发明技术方案旨在首先获取患者CT图像、临床资料及病理数据，从不平衡数据中对少样本数据进行图采样生成图像，然后基于CT图像构建深度学习预测模型，基于CT图像和临床特征建立多模态融合模型，最后利用Grad-CAM可视化深度学习模型在化疗疗效预测中最有价值的信息，其中像素的权重分布通过不同颜色进行可视化；基于此，本发明提出了一个结合深度影像特征和临床风险因素的多模态预测模型以在胃癌患者化疗治疗之前准确预测肿瘤的治疗反应，借助计算机化的肿瘤水平特征来指导个性化的治疗计划。在此技术中，针对性地解决了少样本情况带来的低敏感度，以及提供了进一步可视化探索肿瘤化疗敏感区域的可能。
本申请的有益效果为：
1)对CT图像进行预处理时采用图采样技术，有效缓解数据集中少样本胃癌化疗完全缓解数据对模型性能的不利影响，且其易于从术前增强CT图像稳定可靠地进行采样生成，有效地提高了模型的敏感性。
2)影像深度学习模型能够对影像中粗粒度和细粒度的信息进行挖掘，具有客观性，不受主观特征定义影响，适合于异质性较强的肿瘤分析。
3)对肿瘤中对化疗敏感的区域进行了可视化及区别对比，方便临床医生进行进一步肿瘤特征挖掘研究。
4)依据本发明，在内部训练集、内部独立验证集及多中心外部独立验证集上计算得到的预测结果ROC曲线，影像深度学习模型的预测AUC值为0.91、0.87和0.80，具有较好且稳定的预测效能。
5)本发明可以作为胃癌化疗治疗前对治疗结果的一种可靠的无创预测系统，便于推广，易于应用，有利于临床的术前个体化治疗方案的制定，具有广泛的临床应用前景。
本发明为实现上述目的而采用了上述技术方案，弥补了现有技术的不足，设计合理，操作方便。
附图说明
为让本发明的上述和/或其他目的、特征、优点与实例能更明显易懂，下面将对本发明的具体实施方式中所需要使用的附图进行简单的介绍，显然地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的情况下还可以根据这些附图获得其他的附图。
图1表示基于CT图像的胃癌新辅助化疗疗效预测系统的具体操作流程图；
图2表示对CT图像进行预处理示意图；
图3表示影像深度学习模型架构图；
图4表示临床预测模型架构图；
图5表示内部训练集的预测结果ROC曲线示意图；
图6表示内部独立验证集的预测结果ROC曲线示意图；
图7表示多中心外部独立验证集的预测结果ROC曲线示意图；
图8表示对不同患者的化疗敏感的区域进行的可视化展示示意图。
具体实施方式
本领域技术人员可以借鉴本文内容，适当替换和/或改动工艺参数实现，然而特别需要指出的是，所有类似的替换和/或改动对本领域技术人员来说是显而易见的，它们都被视为包括在本发明。本发明所述产品和制备方法已经通过较佳实例进行了描述，相关人员明显能在不脱离本发明内容、精神和范围内对本文所述的产品和制备方法进行改动或适当变更与组合，来实现和应用本发明技术。
除非另有定义，本文所使用的技术和科学术语，具有本发明所属领域的普通技术人员通常所理解的相同的含义。本发明使用本文中所描述的方法和材料；但本领域中已知的其他合适的方法和材料也可以被使用。本文中所描述的材料、方法和实例仅是说明性的，并不是用来作为限制。所有出版物、专利申请案、专利案、临时申请案、数据库条目及本文中提及的其它参考文献等，其整体被并入本文中作为参考。若有冲突，以本说明书包括定义为准。
除非具体说明，本文所描述的材料、方法和实例仅是示例性的，而非限制性的。尽管与本文所述的那些方法和材料类似或等同的方法和材料可用于本发明的实施或测试，但本文仍描述了合适的方法和材料。
为了便于理解本发明的实施例，首先对本发明实施例中可能涉及的缩略语和关键术语进行解释说明或定义。
R0切除：肿瘤完全切除；
Clinical：临床预测模型；
DL：深度学习模型；
DLCS：多模态预测模型；
SE-Net：Squeeze-and-Excitation Networks，由自动驾驶公司Momenta在2017年公布的一种全新的图像识别结构，它通过对特征通道间的相关性进行建模，把重要的特征进行强化来提升准确率；
Siewert III型：食管胃结合部腺癌，贲门下腺癌，肿瘤中心位于食管胃交界部下2-5cm；
Resnet：Deep residual network，深度残差网络；
Spearman：斯皮尔曼相关性系数；
LASSO： Least Absolute Shrinkage and Selection Operator，最小绝对收缩和选择算子；
TRG：Tumor Rgression Grade，肿瘤消退等级；
Borrmann分型：主要指进展期胃癌的分型方式，主要包括四个类型，Ⅰ型为息肉型，Ⅱ型为局限溃疡型，Ⅲ型是浸润溃疡型，Ⅳ型是弥漫浸润型；
BMI：身体质量指数；
CEA：癌胚抗原；
CA125：一种糖类抗原；
AFP：甲胎蛋白；
ALB：白蛋白；
PCT：降钙素原；
Lymph%：淋巴细胞含量；
Glu：谷氨酸；
Neut：中性粒细胞；
SMOTE：一种综合采样人工合成数据算法，用于解决数据类别不平衡问题；
PyTorch：Pytorch是torch的python版本，是由Facebook开源的神经网络框架，专门针对 GPU加速的深度神经网络编程；
Epoch：时期，当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次>epoch，也即是将所有训练样本训练一次的过程；
Grad-cam：可解释性理解图片分类相关神经网络，是一种基于梯度定位的深层网络可视化方法，以热力图的形式解释深度神经网络模型的分类依据，通过图片的像素做出类别判断。
以下详细描述本发明。
第一部分、数据集纳入标准：
1)经病理学检查确认为胃癌或Siewert III型食管胃结合部癌的患者；
2)被诊断为局部晚期(cT1N+，cT2-4N0/+M0，部分M1患者接受转化治疗)的患者；
3)接受胃切除和淋巴结清扫的患者；
4)接受至少两个周期的术前化疗的患者；
5)切除标本边缘为阴性的患者；
6)拥有完整的CT影像数据和临床数据的患者。
第二部分、数据集排除标准
1)新辅助治疗后无法接受胃切除的患者；
2)CT影像和临床数据不完整的患者；
3)合并其他恶性肿瘤的患者。
第三部分、辅助化疗标准
所有患者在进行胃切除和淋巴结清扫前，根据胃癌治疗指南接受了至少两个周期的含5-氟尿嘧啶的新辅助化疗。完成新辅助化疗后的两周内进行了胃切除和淋巴结清扫手术。
第四部分、病理反应等级标准
标本由两名经验丰富的病理学家评估，他们对患者的临床和影像数据一无所知。采用病理学TRG(治疗反应分级)来评估病理反应。据此将患者划分为良好反应(GR)组，包括TRG 0和TRG 1，以及差劲反应(PR)组，包括TRG 2和TRG 3。
第五部分、患者信息
本研究共纳入1060名患者。其中，从2008年1月至2019年12月，在浙江省肿瘤医院接受新辅助化疗并进行手术切除的664名患者作为训练队列；从2020年1月至2021年12月，在浙江省肿瘤医院接受新辅助化疗并进行手术切除的131名患者作为内部验证队列；此外，从2014年1月至2021年12月，从5个独立中心(浙江省中医院、浙江省立同德医院、福建省肿瘤医院、温州医科大学附属第一医院、宁波二院)纳入了265名患者作为外部验证队列。
实施例1：
提供一种基于CT图像的胃癌新辅助化疗疗效预测系统，包括：
获取模块，其被配置为获取患者CT图像、临床资料及病理数据，并对CT图像进行预处理后作为输入数据；
影像模块，其被配置为以残差神经网络为基准模型构建影像深度学习模型，并在残差模块的前后分别添加了通道注意力模块；
临床模块，其被配置为将临床特征归一化处理得到临床特征结构化向量，利用Spearman和LASSO进行特征选择，利用多因素逻辑回归方法构建临床预测模型；
预测模块，其被配置为将影像深度学习模型与临床预测模型构成多模态预测模型，将经过预处理的CT图像和临床特征结构化向量作为输入数据输入多模态预测模型，使用梯度加权类激活图可视化显示多模态预测模型导出的影响胃癌化疗疗效的肿瘤特征区域，并输出TRG分类概率。
所述系统的具体操作流程如图1所示，包括如下步骤。
S1、获取患者CT图像、临床资料及病理数据，并对CT图像进行预处理后作为输入数据；
患者CT图像包括：胃癌患者和/或Siewert III型食管胃结合部癌患者的CT图像，具体是横断位上包含肿瘤最大层面及其相邻两个切片。
临床资料包括：年龄、性别、BMI、肿瘤位置、最大直径、Borrmann分型、cT分期、cN分期、cM分期、分化程度、病理分型、CEA、CA125、AFP、ALB、PCT、Lymph%、Glu、Neut。
病理数据包括TRG病理反应等级。
如图2所示，对CT图像进行预处理具体包括：
(1)基于ITK-SNAP开源软件对CT图像感兴趣区域勾画；
(2)CT图像被归一化为1.0×1.0mm的分辨率，并使用窗口[-115, 235] HU进行滤波，且图像的像素值被归一化为[0,1]；
(3)将输入图像的大小调整为112×112；使用DeepSMOTE这一图像采样器以过采样的方式将数据集平衡至1:1比例；
(4)利用图像级SMOTE采样方法对少样本数据进行上采样以生成图像。
为保证训练集数据平衡性，输入模型前对影像做正向和逆向45°、135°旋转后再做左右翻转以作为数据增强策略；测试集数据保持不变。
S2、受SE-Net网络的思想启发，以残差神经网络为基准模型构建影像深度学习模型，并在残差模块的前后分别添加了通道注意力模块，模型架构如图3所示，依次包括：卷积模块、最大池化模块、通道注意力模块、残差模块、通道注意力模块、平均池化模块和全卷积模块，并且将Resnet网络的softmax层更改为sigmoid层作为最终层，以产生二元分类器的概率预测。模型以CT图像作为输入，以TRG分类概率作为输出。模型使用交叉熵损失函数。
述影像深度学习模型以经过预处理的患者CT图像作为训练集训练：使用小批量大小为32来开发模型，学习率最初设置为0.0005，每50个epoch衰减率为0.1。模型在两个GeForce RTX 2080 Ti GPU上使用PyTorch框架进行了最多2,000个epoch的训练，并将早停函数设置为100个连续的epoch。
S3、将临床特征归一化处理，利用Spearman和LASSO进行特征选择，利用多因素逻辑回归方法构建临床预测模型，模型架构如图4所示，模型以临床特征结构化向量作为输入，以TRG分类概率作为输出。模型使用交叉熵损失函数。
S4、影像深度学习模型与临床预测模型构成多模态预测模型，步骤S1经过预处理的CT图像和临床特征结构化向量作为输入数据输入多模态预测模型，使用梯度加权类激活图可视化显示多模态预测模型导出的影响胃癌化疗疗效的肿瘤特征区域，并输出TRG分类概率，以TRG分类概率预测胃癌化疗疗效。如图5-图7展示出本发明方案的预测结果，即在内部训练集、内部独立验证集及多中心外部独立验证集上计算得到的预测结果ROC曲线，可知其AUC值为0.91、0.87和0.80，表明本发明方法具有较好且稳定的预测效能。此外，对肿瘤中对化疗敏感的区域进行了可视化及区别对比，图8可视化的展示出不同患者的化疗敏感的区域的对比，可知根据Grad-cam图可以明确的预测不同患者的病理学分级，有利于方便临床医生进行进一步肿瘤特征挖掘研究。
现有技术的胃癌化疗反应预测模型在验证过程中仍存在很多漏检、误检情况，人为依赖性高，敏感度低，实际预测结果会产生偏差，本发明涉及胃癌领域新辅助治疗的技术难题，具体来说是一种解决目前临床上难以在患者治疗前精确预判具有个体差异的患者是否应该采取接受新辅助治疗的方法，通过多模态深度模型算法对腹部增强CT图像进行处理分析，同时结合临床危险因素，建立能够在治疗前预测晚期胃癌患者的新辅助治疗疗效的新手段，通过训练集、验证集验证表明预测AUC值均不低于0.80，表明本发明方法具有优异的预测胃癌新辅助化疗疗效的作用，结合可视化展示不同患者的化疗敏感区域的对比，有助于临床医生进一步预测、判断、挖掘肿瘤特征及相应的新辅助化疗疗效。
实施例2：
在前述实施例的基础上，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有可被处理器执行的计算机程序，所述计算机程序被处理器执行时运行前述所述基于CT图像的胃癌新辅助化疗疗效预测系统的各个模块，且能达到相同的技术效果，为避免重复，这里不再赘述。
实施例3：
在前述实施例的基础上，还提供了一种计算机设备，所述计算机设备包括存储器、处理器、通信接口以及通信总线；其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序，所述处理器执行所述计算机程序时运行前述所述基于CT图像的胃癌新辅助化疗疗效预测系统的各个模块，且能达到相同的技术效果，为避免重复，这里不再赘述。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PR AM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitorymedia)，如调制的数据信号和载波。
上述实施例中的常规技术为本领域技术人员所知晓的现有技术，故在此不再详细赘述。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管对本发明已作出了详细的说明并引证了一些具体实施例，但是对本领域熟练技术人员来说，只要不离开本发明的精神和范围可作各种变化或修正是显然的。
虽然上述具体实施方式已经显示、描述并指出应用于各种实施方案的新颖特征，但应理解，在不脱离本公开内容的精神的前提下，可对所说明的装置或方法的形式和细节进行各种省略、替换和改变。另外，上述各种特征和方法可彼此独立地使用，或可以各种方式组合。所有可能的组合和子组合均旨在落在本公开内容的范围内。上述许多实施方案包括类似的组分，并且因此，这些类似的组分在不同的实施方案中可互换。虽然已经在某些实施方案和实施例的上下文中公开了本发明，但本领域技术人员应理解，本发明可超出具体公开的实施方案延伸至其它的替代实施方案和/或应用以及其明显的修改和等同物。因此，本发明不旨在受本文优选实施方案的具体公开内容限制。
本发明未尽事宜均为公知技术。
Claims (10)
1.一种基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于包括：
获取模块，其被配置为获取患者CT图像、临床资料及病理数据，并对CT图像进行预处理后作为输入数据；
影像模块，其被配置为以残差神经网络为基准模型构建影像深度学习模型，并在残差模块的前后分别添加了通道注意力模块；
临床模块，其被配置为将临床特征归一化处理得到临床特征结构化向量，利用Spearman和LASSO进行特征选择，利用多因素逻辑回归方法构建临床预测模型；
预测模块，其被配置为将影像深度学习模型与临床预测模型构成多模态预测模型，将经过预处理的CT图像和临床特征结构化向量作为输入数据输入多模态预测模型，使用梯度加权类激活图可视化显示多模态预测模型导出的影响胃癌化疗疗效的肿瘤特征区域，并输出TRG分类概率。
2.根据权利要求1所述的基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于：
获取模块中，所述患者CT图像包括胃癌患者和/或Siewert III型食管胃结合部腺癌患者的CT图像。
3.根据权利要求1所述的基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于：
获取模块中，所述临床资料包括：年龄、性别、BMI、肿瘤位置、最大直径、Borrmann分型、cT分期、cN分期、cM分期、分化程度、病理分型、CEA、CA125、AFP、ALB、PCT、Lymph%、Glu、Neut；所述病理数据包括TRG病理反应等级。
4.根据权利要求1所述的基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于：
获取模块中，所述对CT图像进行预处理包括：
(1)基于ITK-SNAP开源软件对CT图像感兴趣区域勾画；
(2)图像分辨率归一化采样；
(3)图像像素级别归一化；
(4)利用图像级SMOTE采样方法对少样本数据进行上采样以生成图像。
5.根据权利要求1所述的基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于：
影像模块所述影像深度学习模型依次包括：卷积模块、最大池化模块、通道注意力模块、残差模块、通道注意力模块、平均池化模块和全卷积模块。
6.根据权利要求1所述的基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于：
临床模块中，临床特征结构化向量读取自临床特征。
7.根据权利要求1所述的基于CT图像的胃癌新辅助化疗疗效预测系统，其特征在于：
预测模块中，所述影像深度学习模型以CT图像作为输入，以TRG分类概率作为输出；所述临床预测模型以临床特征结构化向量作为输入，以TRG分类概率作为输出。
8.权利要求1-7任一项所述基于CT图像的胃癌新辅助化疗疗效预测系统的应用，其特征在于包括：
获得胃癌患者的CT图像、临床资料及病理数据；
应用权利要求1-7任一项所述系统对胃癌患者的新辅助化疗疗效进行预测。
9.一种计算机可读存储介质，所述计算机可读存储介质内存储有可被处理器执行的计算机程序，其特征在于：所述计算机程序被处理器执行时运行权利要求1-7任一项所述基于CT图像的胃癌新辅助化疗疗效预测系统中的各个模块。
10.一种计算机设备，所述计算机设备包括存储器、处理器、通信接口以及通信总线；其中，所述存储器、处理器、通信接口通过所述通信总线进行相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的计算机程序，其特征在于：所述处理器执行所述计算机程序时运行权利要求1-7任一项所述基于CT图像的胃癌新辅助化疗疗效预测系统中的各个模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311453588.1A CN117219295A (zh) | 2023-11-03 | 2023-11-03 | 一种基于ct图像的胃癌新辅助化疗疗效预测系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311453588.1A CN117219295A (zh) | 2023-11-03 | 2023-11-03 | 一种基于ct图像的胃癌新辅助化疗疗效预测系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117219295A true CN117219295A (zh) | 2023-12-12 |
Family
ID=89035630
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311453588.1A Pending CN117219295A (zh) | 2023-11-03 | 2023-11-03 | 一种基于ct图像的胃癌新辅助化疗疗效预测系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117219295A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210133954A1 (en) * | 2019-10-30 | 2021-05-06 | International Business Machines Corporation | Systems and Methods for Detection Likelihood of Malignancy in a Medical Image |
| CN112861942A (zh) * | 2021-01-26 | 2021-05-28 | 南京英沃夫科技有限公司 | 医学影像图像处理方法、装置、电子设备及介质 |
| CN113269230A (zh) * | 2021-04-23 | 2021-08-17 | 复旦大学 | 一种基于时序高维特征提取的多肺炎ct分类方法及装置 |
| CN115067978A (zh) * | 2022-06-09 | 2022-09-20 | 北京积水潭医院 | 一种骨肉瘤疗效评估方法及系统 |
| CN115223228A (zh) * | 2022-08-02 | 2022-10-21 | 合肥工业大学 | 一种基于混合域注意力机制的面部关键点检测方法 |
| CN116703867A (zh) * | 2023-06-09 | 2023-09-05 | 太原理工大学 | 残差网络与通道注意力协同驱动下的基因突变预测方法 |
-
2023
- 2023-11-03 CN CN202311453588.1A patent/CN117219295A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20210133954A1 (en) * | 2019-10-30 | 2021-05-06 | International Business Machines Corporation | Systems and Methods for Detection Likelihood of Malignancy in a Medical Image |
| CN112861942A (zh) * | 2021-01-26 | 2021-05-28 | 南京英沃夫科技有限公司 | 医学影像图像处理方法、装置、电子设备及介质 |
| CN113269230A (zh) * | 2021-04-23 | 2021-08-17 | 复旦大学 | 一种基于时序高维特征提取的多肺炎ct分类方法及装置 |
| CN115067978A (zh) * | 2022-06-09 | 2022-09-20 | 北京积水潭医院 | 一种骨肉瘤疗效评估方法及系统 |
| CN115223228A (zh) * | 2022-08-02 | 2022-10-21 | 合肥工业大学 | 一种基于混合域注意力机制的面部关键点检测方法 |
| CN116703867A (zh) * | 2023-06-09 | 2023-09-05 | 太原理工大学 | 残差网络与通道注意力协同驱动下的基因突变预测方法 |
Non-Patent Citations (1)
| Title |
|---|
| 潘海侠: "《人工智能技术丛书 自然语言处理基础教程》", 北京航空航天大学出版社, pages: 110 - 112 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lipkova et al. | Deep learning-enabled assessment of cardiac allograft rejection from endomyocardial biopsies | |
| Cong et al. | Deep learning model as a new trend in computer-aided diagnosis of tumor pathology for lung cancer | |
| Wu et al. | Artificial intelligence-assisted system for precision diagnosis of PD-L1 expression in non-small cell lung cancer | |
| CN111862079B (zh) | 基于影像组学的高级别浆液性卵巢癌复发风险预测系统 | |
| Kim et al. | Deep learning and pathomics analyses reveal cell nuclei as important features for mutation prediction of BRAF-mutated melanomas | |
| Barrios et al. | Bladder cancer prognosis using deep neural networks and histopathology images | |
| Wang et al. | Automated ovarian cancer identification using end-to-end deep learning and second harmonic generation imaging | |
| Xie et al. | Dual-branch convolutional neural network based on ultrasound imaging in the early prediction of neoadjuvant chemotherapy response in patients with locally advanced breast cancer | |
| Ding et al. | Deep learning‐based classification and spatial prognosis risk score on whole‐slide images of lung adenocarcinoma | |
| Sukegawa et al. | Effectiveness of deep learning classifiers in histopathological diagnosis of oral squamous cell carcinoma by pathologists | |
| Yang et al. | Deep learning model for the detection of prostate cancer and classification of clinically significant disease using multiparametric MRI in comparison to PI-RADs score | |
| JP2023534252A (ja) | 細胞の診断および分析方法 | |
| Song et al. | CT-based deep learning radiomics nomogram for the prediction of pathological grade in bladder cancer: a multicenter study | |
| Xiao et al. | Deep learning for predicting epidermal growth factor receptor mutations of non-small cell lung cancer on PET/CT images | |
| Zhou et al. | Digital histopathological images of biopsy predict response to neoadjuvant chemotherapy for locally advanced gastric cancer | |
| CN117219295A (zh) | 一种基于ct图像的胃癌新辅助化疗疗效预测系统 | |
| Fu et al. | Development and validation of a collagen signature-based nomogram for preoperatively predicting lymph node metastasis and prognosis in colorectal cancer | |
| Zhang et al. | Potential rapid intraoperative cancer diagnosis using dynamic full-field optical coherence tomography and deep learning: A prospective cohort study in breast cancer patients | |
| Liu et al. | Identification of lymph node metastasis in pre‐operation cervical cancer patients by weakly supervised deep learning from histopathological whole‐slide biopsy images | |
| Su et al. | The development and validation of pathological sections based U-Net deep learning segmentation model for the detection of esophageal mucosa and squamous cell neoplasm | |
| Taylor et al. | Artificial Intelligence-Assisted Score Analysis for Predicting the Expression of the Immunotherapy Biomarker PD-L1 in Lung Cancer | |
| Xie et al. | [Retracted] Analysis of the Diagnosis Model of Peripheral Non‐Small‐Cell Lung Cancer under Computed Tomography Images | |
| Casanova et al. | Enhanced prognostic stratification of neoadjuvant treated lung squamous cell carcinoma by computationally-guided tumor regression scoring | |
| Li et al. | Noninvasive Artificial Intelligence System for Early Predicting Residual Cancer Burden during Neoadjuvant Chemotherapy in Breast Cancer | |
| Dammak et al. | Prediction of tumour mutational burden of squamous cell carcinoma using histopathology images of surgical specimens |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |