CN116013543A - 一种基于深度学习的tace疗效预测方法 - Google Patents

一种基于深度学习的tace疗效预测方法 Download PDF

Info

Publication number
CN116013543A
CN116013543A CN202310061478.4A CN202310061478A CN116013543A CN 116013543 A CN116013543 A CN 116013543A CN 202310061478 A CN202310061478 A CN 202310061478A CN 116013543 A CN116013543 A CN 116013543A
Authority
CN
China
Prior art keywords
image
tace
prediction model
features
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310061478.4A
Other languages
English (en)
Inventor
王连生
陈源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xiamen University
Original Assignee
Xiamen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xiamen University filed Critical Xiamen University
Priority to CN202310061478.4A priority Critical patent/CN116013543A/zh
Publication of CN116013543A publication Critical patent/CN116013543A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于深度学习的TACE疗效预测方法，包括以下步骤：S1、获取数据，并对数据进行预处理；S2、构建可实现多模态信息融合的预测模型，预测模型分为图像特征提取阶段与特征融合阶段；S3、将预处理后的数据输入到预测模型中，依次进行图像特征提取与特征融合；S4、对预测模型进行训练，并通过训练后的预测模型进行TACE疗效预测；该方法能够融合图像特征与多种临床信息，相比传统的仅依靠BCLC来决定是否对HCC患者使用TACE疗法，该方法充分融合了两种模态数据的互补信息，能够更加准确预测TACE的治疗效果。

Description

一种基于深度学习的TACE疗效预测方法
技术领域
本发明涉及生物学技术领域，具体涉及一种基于深度学习的TACE疗效预测方法。
背景技术
肝细胞癌(HepatocellularCarcinoma,HCC)是全世界常见的原发性肝脏恶性肿瘤，每年有超过74.8万例新诊断的癌症。肝动脉化疗栓塞(TranscatheterArterialChemoembolization,TACE)是目前治疗中晚期肝癌的主要非手术治疗方法，该方法能够一定程度延长患者生存时间，且有效降低手术后患者肿瘤复发率，达到改善中晚期肝细胞癌疗效的目的。但据调查，有60％的HCC患者没有从该方法中收益，并且该方法同样会导致上腹疼痛、恶心、发烧等副作用，甚至可能导致严重的并发症。因此，在治疗前预测该方法对于HCC患者的治疗效果具有重大意义。
目前，主要通过巴塞罗那临床肝癌分期标准(BarcelonaClinicLiver Cancer,BCLC)作为选择依据，该系统考虑了患者的表现状态、肝脏疾病的严重程度、肿瘤大小、肿瘤数目、血管浸润和转移，将处于B期的HCC患者作为TACE疗法的首选患者，但同样处于B期的患者在肝功能与肿瘤负担方面也存在相当大差异，且该方法涵盖的个体因素差异存在局限。有研究结合CT图像与巴塞罗那临床肝癌分期系统来预测患者对TACE的疗效反应，该方法通过深度学习模型分割肿瘤区域，之后基于影像组学方法，经过特征提取、特征筛选，最后通过随机森林算法建模进行疗效预测。有研究通过MRI图像预测TACE对HCC患者的治疗效果，该方法同样基于影像组学方法，首先勾画病灶区域，之后提取大量图像特征，再通过LASSO回归模型筛选特征，之后利用机器学习模型对筛选的特征与相关临床信息进行建模。以上基于影像组学的方法流程较为复杂，且对TACE疗效预测的准确率提升较为有限。因此，需要一种流程简单便捷，且能够准确预测TACE疗效的方法。
发明内容
本发明的目的在于提供一种基于深度学习的TACE疗效预测方法，该基于深度学习的TACE疗效预测方法利用深度学习网络，并设计二阶段多模态融合模块，充分提取CT图像深层次特征并融合临床信息，这种先进的网络架构能够充分利用多种类型数据，达到比传统方法更优的效果，并且简化传统方法复杂的流程，为TACE的疗效预测提供了新思路，预测结果准确度高。
为实现上述目的，本发明采用以下技术方案：
一种基于深度学习的TACE疗效预测方法，包括以下步骤：
S1、获取数据，并对数据进行预处理；
S2、构建可实现多模态信息融合的预测模型，预测模型分为图像特征提取阶段与特征融合阶段；
S3、将预处理后的数据输入到预测模型中，依次进行图像特征提取与特征融合；
S4、对预测模型进行训练，并通过训练后的预测模型进行TACE疗效预测。
优选地，步骤S1的具体过程为：
S11、获取TCIA数据库的公开数据集HCC-TACE-SEG，该数据集HCC-TACE-SEG包含105例患者的CT图像数据与相关临床信息，并根据疾病进展时间是否小于14周将病例划分为两个类型；
S12、针对CT图像数据，将图像以勾画的肿瘤区域为中心进行裁剪，得到尺寸为C×360×360的图像，其中C表示CT图像的层数，再筛选出肿瘤区域面积最大的一层及其相邻两层图像，从而组成尺寸为3×360×360的三通道图像，最后对数据进行归一化，将像素值映射到0和1之间，得到预处理后的CT图像；
S13、针对临床信息，选取患者年龄、性别、是否吸烟、是否饮酒、BCLC分期、肝炎状况，将同一患者的不同临床信息拼接为向量形式，得到预处理后的临床信息。
优选地，步骤S2中在图像特征提取阶段，以深度学习模型ResNet18作为主体架构，并在深度学习模型ResNet18的基础上设计通道注意力机制模块，实现在图像特征提取过程中融入临床信息特征，以临床信息特征辅助图像特征提取；步骤S2中在特征融合阶段，设计交叉特征融合模块，以实现第二阶段的多模态融合，并将融合的特征作为模型输出，用以预测TACE疗效。
优选地，步骤S3中所述图像特征提取的具体过程为：
S31、将预处理后的CT图像输入深度学习模型ResNet18中，经过卷积层、批标准化层、激活函数层，得到基本图像特征M；
S32、将预处理后的临床信息中的临床信息特征，通过全连接层转化特征维度，并与图像特征进行匹配；
S33、利用预测模型中通道注意力机制模块，融合图像特征与临床信息特征；
S34、将融合特征继续传入深度学习模型ResNet18的残差模块，进一步提取特征，得到深层次图像特征；
步骤S3中所述特征融合的具体过程为：
S35、通过深层次图像特征生成对应的特征向量K与特征向量V；
S36、将原始临床信息转换为对应的特征向量Q；
S37、通过特征向量Q与特征向量K相乘，并将结果利用softmax函数进行转化，得到概率分布矩阵N；
S38、将概率分布矩阵N与特征向量V在通道维度相乘，得到融合特征向量，并将融合特征向量与深层次图像特征求和。
优选地，步骤S4的具体过程为：
S41、将数据集HCC-TACE-SEG以7:1:2划分为训练集、验证集、测试集；
S42、将训练集数据输入预测模型中，预测模型输出2维结果，分别代表属于每一类的概率，将概率表示为y，，利用交叉熵损失函数计算预测模型输出结果与真实标签y的差距，从而优化模型，该损失函数为：
Figure BDA0004061288970000041
其中，i表示第i个维度，K表示向量维度总数，yi表示标签第i个维度值，yi，表示第i个维度预测值；
S43、每轮训练之后，通过验证集数据评估预测模型效果；
S44、取在验证集上预测效果最优的预测模型作为最优预测模型，并将测试集数据输入到最优预测模型进行TACE疗效预测。
采用上述技术方案后，本发明具有如下有益效果：本发明的预测模型通过深度学习方法提取CT图像特征，能够提取比传统影像组学方法更丰富的图像特征，并且不需要精确勾画肿瘤区域，能够减轻临床医生压力，同时使流程更加简单便捷。除此之外，本发明的预测模型能够融合图像特征与多种临床信息(包含BCLC)，相比传统的仅依靠BCLC来决定是否对HCC患者使用TACE疗法，该方法充分融合了两种模态数据的互补信息，能够更加准确预测TACE的治疗效果，预测准确性高。
附图说明
图1为本发明的流程图；
图2为本发明的预测模型的框架图；
图3为本发明的图像数据预处理前后对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
实施例
如图1至图3所示，一种基于深度学习的TACE疗效预测方法，包括以下步骤：
S1、获取数据，并对数据进行预处理；
步骤S1的具体过程为：
S11、获取TCIA(TheCancerImmunomeAtlas)数据库的公开数据集HCC-TACE-SEG，该数据集HCC-TACE-SEG包含105例患者的CT图像数据与相关临床信息，并根据疾病进展时间是否小于14周将病例划分为两个类型；
S12、针对CT图像数据，将图像以粗略勾画的肿瘤区域为中心进行裁剪，得到尺寸为C×360×360的图像，其中C表示CT图像的层数，再筛选出肿瘤区域面积最大的一层及其相邻两层图像，从而组成尺寸为3×360×360的三通道图像，最后对数据进行归一化，将像素值映射到0和1之间，得到预处理后的CT图像；
S13、针对临床信息，选取患者年龄、性别、是否吸烟、是否饮酒、BCLC分期、肝炎状况，将同一患者的不同临床信息拼接为向量形式，得到预处理后的临床信息；
S2、构建可实现多模态信息融合的预测模型，预测模型分为图像特征提取阶段与特征融合阶段；
步骤S2中在图像特征提取阶段，以深度学习模型ResNet18作为主体架构，并在深度学习模型ResNet18的基础上设计通道注意力机制模块，实现在图像特征提取过程中融入临床信息特征，以临床信息特征辅助图像特征提取；步骤S2中在特征融合阶段，设计交叉特征融合模块，以实现第二阶段的多模态融合，并将融合的特征作为模型输出，用以预测TACE疗效；
S3、将预处理后的数据输入到预测模型中，依次进行图像特征提取与特征融合；
步骤S3中所述图像特征提取的具体过程为：
S31、将预处理后的CT图像输入深度学习模型ResNet18中，经过卷积层、批标准化层、激活函数层，得到基本图像特征M；
S32、将预处理后的临床信息中的临床信息特征，通过全连接层转化特征维度，并与图像特征进行匹配；
S33、利用预测模型中通道注意力机制模块，融合图像特征与临床信息特征；
S34、将融合特征继续传入深度学习模型ResNet18的残差模块，进一步提取特征，得到深层次图像特征；
步骤S3中所述特征融合的具体过程为：
S35、通过深层次图像特征生成对应的特征向量K与特征向量V；
S36、将原始临床信息转换为对应的特征向量Q；
S37、通过特征向量Q与特征向量K相乘，并将结果利用softmax函数进行转化，得到概率分布矩阵N；
S38、将概率分布矩阵N与特征向量V在通道维度相乘，得到融合特征向量，并将融合特征向量与深层次图像特征求和；
S4、对预测模型进行训练，并通过训练后的预测模型进行TACE疗效预测；
步骤S4的具体过程为：
S41、将数据集HCC-TACE-SEG以7:1:2划分为训练集、验证集、测试集；
S42、将训练集数据输入预测模型中，预测模型输出2维结果，分别代表属于每一类的概率，将概率表示为y，，利用交叉熵损失函数计算预测模型输出结果与真实标签y的差距，从而优化模型，该损失函数为：
Figure BDA0004061288970000061
其中，i表示第i个维度，K表示向量维度总数，yi表示标签第i个维度值，yi，表示第i个维度预测值；
S43、每轮训练之后，通过验证集数据评估预测模型效果；
S44、取在验证集上预测效果最优的预测模型作为最优预测模型，并将测试集数据输入到最优预测模型进行TACE疗效预测
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (5)

1.一种基于深度学习的TACE疗效预测方法，其特征在于，包括以下步骤：
S1、获取数据，并对数据进行预处理；
S2、构建可实现多模态信息融合的预测模型，预测模型分为图像特征提取阶段与特征融合阶段；
S3、将预处理后的数据输入到预测模型中，依次进行图像特征提取与特征融合；
S4、对预测模型进行训练，并通过训练后的预测模型进行TACE疗效预测。
2.如权利要求1所述的一种基于深度学习的TACE疗效预测方法，其特征在于，步骤S1的具体过程为：
S11、获取TCIA数据库的公开数据集HCC-TACE-SEG，该数据集HCC-TACE-SEG包含105例患者的CT图像数据与相关临床信息，并根据疾病进展时间是否小于14周将病例划分为两个类型；
S12、针对CT图像数据，将图像以勾画的肿瘤区域为中心进行裁剪，得到尺寸为C×360×360的图像，其中C表示CT图像的层数，再筛选出肿瘤区域面积最大的一层及其相邻两层图像，从而组成尺寸为3×360×360的三通道图像，最后对数据进行归一化，将像素值映射到0和1之间，得到预处理后的CT图像；
S13、针对临床信息，选取患者年龄、性别、是否吸烟、是否饮酒、BCLC分期、肝炎状况，将同一患者的不同临床信息拼接为向量形式，得到预处理后的临床信息。
3.如权利要求2所述的一种基于深度学习的TACE疗效预测方法，其特征在于：步骤S2中在图像特征提取阶段，以深度学习模型ResNet18作为主体架构，并在深度学习模型ResNet18的基础上设计通道注意力机制模块，实现在图像特征提取过程中融入临床信息特征，以临床信息特征辅助图像特征提取；步骤S2中在特征融合阶段，设计交叉特征融合模块，以实现第二阶段的多模态融合，并将融合的特征作为模型输出，用以预测TACE疗效。
4.如权利要求3所述的一种基于深度学习的TACE疗效预测方法，其特征在于，步骤S3中所述图像特征提取的具体过程为：
S31、将预处理后的CT图像输入深度学习模型ResNet18中，经过卷积层、批标准化层、激活函数层，得到基本图像特征M；
S32、将预处理后的临床信息中的临床信息特征，通过全连接层转化特征维度，并与图像特征进行匹配；
S33、利用预测模型中通道注意力机制模块，融合图像特征与临床信息特征；
S34、将融合特征继续传入深度学习模型ResNet18的残差模块，进一步提取特征，得到深层次图像特征；
步骤S3中所述特征融合的具体过程为：
S35、通过深层次图像特征生成对应的特征向量K与特征向量V；
S36、将原始临床信息转换为对应的特征向量Q；
S37、通过特征向量Q与特征向量K相乘，并将结果利用softmax函数进行转化，得到概率分布矩阵N；
S38、将概率分布矩阵N与特征向量V在通道维度相乘，得到融合特征向量，并将融合特征向量与深层次图像特征求和。
5.如权利要求4所述的一种基于深度学习的TACE疗效预测方法，其特征在于，步骤S4的具体过程为：
S41、将数据集HCC-TACE-SEG以7:1:2划分为训练集、验证集、测试集；
S42、将训练集数据输入预测模型中，预测模型输出2维结果，分别代表属于每一类的概率，将概率表示为y，，利用交叉熵损失函数计算预测模型输出结果与真实标签y的差距，从而优化模型，该损失函数为：
Figure FDA0004061288950000021
其中，i表示第i个维度，K表示向量维度总数，yi表示标签第i个维度值，yi，表示第i个维度预测值；
S43、每轮训练之后，通过验证集数据评估预测模型效果；
S44、取在验证集上预测效果最优的预测模型作为最优预测模型，并将测试集数据输入到最优预测模型进行TACE疗效预测。
CN202310061478.4A 2023-01-16 2023-01-16 一种基于深度学习的tace疗效预测方法 Pending CN116013543A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310061478.4A CN116013543A (zh) 2023-01-16 2023-01-16 一种基于深度学习的tace疗效预测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310061478.4A CN116013543A (zh) 2023-01-16 2023-01-16 一种基于深度学习的tace疗效预测方法

Publications (1)

Publication Number Publication Date
CN116013543A true CN116013543A (zh) 2023-04-25

Family

ID=86028074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310061478.4A Pending CN116013543A (zh) 2023-01-16 2023-01-16 一种基于深度学习的tace疗效预测方法

Country Status (1)

Country Link
CN (1) CN116013543A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721772A (zh) * 2023-08-10 2023-09-08 北京市肿瘤防治研究所 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN117438103A (zh) * 2023-12-20 2024-01-23 天津市肿瘤医院（天津医科大学肿瘤医院） 基于mri图像的度洛西汀镇痛疗效预测方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116721772A (zh) * 2023-08-10 2023-09-08 北京市肿瘤防治研究所 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN116721772B (zh) * 2023-08-10 2023-10-20 北京市肿瘤防治研究所 肿瘤治疗预后预测方法、装置、电子设备及存储介质
CN117438103A (zh) * 2023-12-20 2024-01-23 天津市肿瘤医院（天津医科大学肿瘤医院） 基于mri图像的度洛西汀镇痛疗效预测方法及系统

Similar Documents

Publication Publication Date Title
WO2021179205A1 (zh) 医学图像分割方法、医学图像分割装置及终端设备
CN116013543A (zh) 一种基于深度学习的tace疗效预测方法
CN108062753A (zh) 基于深度对抗学习的无监督域自适应脑肿瘤语义分割方法
Li et al. NPCNet: jointly segment primary nasopharyngeal carcinoma tumors and metastatic lymph nodes in MR images
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112215844A (zh) 基于ACU-Net的MRI多模态图像分割方法和系统
CN112927246B (zh) 肺部轮廓分割、肿瘤免疫浸润分类系统及方法
Luo et al. Classification of tumor in one single ultrasound image via a novel multi-view learning strategy
Misra et al. Deep learning‐based multimodal fusion network for segmentation and classification of breast cancers using B‐mode and elastography ultrasound images
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
Wang et al. Multiscale feature fusion for skin lesion classification
Dou et al. Tooth instance segmentation based on capturing dependencies and receptive field adjustment in cone beam computed tomography
Yu et al. 3D Medical Image Segmentation based on multi-scale MPU-Net
Kamli et al. Synthetic medical image generator for data augmentation and anonymisation based on generative adversarial network for glioblastoma tumors growth prediction
CN116467675A (zh) 一种融合多模态特征的内脏器官属性编码方法及系统
Tang et al. Medical image fusion quality assessment based on conditional generative adversarial network
Chen et al. Deeply supervised vestibule segmentation network for CT images with global context‐aware pyramid feature extraction
CN115937083A (zh) 一种融合先验信息的前列腺磁共振图像区域分割方法
Wu et al. A feature-enhanced network for stroke lesion segmentation from brain MRI images
Liu et al. A gastric cancer recognition algorithm on gastric pathological sections based on multistage attention‐DenseNet
Yang et al. Lung Nodule Segmentation and Uncertain Region Prediction with an Uncertainty-Aware Attention Mechanism
Lu et al. A Novel U‐Net Based Deep Learning Method for 3D Cardiovascular MRI Segmentation
Fu et al. High-risk Factor Prediction in Lung Cancer Using Thin CT Scans: An Attention-Enhanced Graph Convolutional Network Approach
Guo et al. MRI Image Segmentation of Nasopharyngeal Carcinoma Using Multi-Scale Cascaded Fully Convolutional Network.
Ma et al. ConvLSTM coordinated longitudinal transformer under spatio-temporal features for tumor growth prediction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination