CN114171187A - 一种基于多模态深度学习的胃癌tnm分期预测系统 - Google Patents

一种基于多模态深度学习的胃癌tnm分期预测系统 Download PDF

Info

Publication number
CN114171187A
CN114171187A CN202111481494.6A CN202111481494A CN114171187A CN 114171187 A CN114171187 A CN 114171187A CN 202111481494 A CN202111481494 A CN 202111481494A CN 114171187 A CN114171187 A CN 114171187A
Authority
CN
China
Prior art keywords
image
data
module
training
text
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111481494.6A
Other languages
English (en)
Inventor
吴健
陈潇俊
余日胜
沈可人
应豪超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang University ZJU
Original Assignee
Zhejiang University ZJU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang University ZJU filed Critical Zhejiang University ZJU
Priority to CN202111481494.6A priority Critical patent/CN114171187A/zh
Publication of CN114171187A publication Critical patent/CN114171187A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Quality & Reliability (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多模态深度学习的胃癌TNM分期预测系统，包括数据采集模块、图像预处理模块、文本预处理模块、预测模型训练模块和预测模块，上述模块应用时包括以下步骤：CT图像与文本数据的采集与数据清洗；对CT图像进行预处理，提取标记数据，建立mask图像并与原图相乘后获得有效识别区域；对文本数据利用机器学习中的XGBoost和LightGBM算法进行预训练，获得特征重要性排序，从而获得有效数据样本；对图像与文本数据的深浅层次特征进行深度学习，利用卷积神经网络进行训练，获得正确TNM时期的分类结果。本发明较传统人工识别有着更多的模态参考依据，具有非常高的识别准确度，可以减少专业医生的业务负担，解决我国医疗资源不均衡的现况。

Description

一种基于多模态深度学习的胃癌TNM分期预测系统
技术领域
本发明属于医学人工智能领域，尤其是涉及一种基于多模态深度学习的胃癌TNM分期预测系统。
背景技术
胃癌(GC)在东亚地区发病率较高，在世界范围内仍是第五大最常见恶性肿瘤和第三大癌症死亡原因。准确的肿瘤局部深度浸润(T)、局部淋巴结浸润(N)和远处转移(M)是治疗策略的关键。在临床实践中，计算机断层扫描(CT)已被广泛应用于术前分期。然而，预处理分期的准确性并不令人满意。目前，胃癌的CT图像是由放射科医生手工评估的。胃癌的准确TNM分期是放射科医师面临的一项重要而富有挑战性的工作。在最近的研究中，CT对T分期和N分期的准确率分别为60％-78％和56％-75.9％。CT软组织造影分辨率较差，也限制了其对T分期的评价能力。
近年来，人工智能技术在医学影像中的应用越来越广泛，尤其是随着深度学习的发展。深度学习模型作为一种对物体的高级表示，在医学图像识别领域取得了一定的成就。深度卷积神经网络(Deep Convolutional Neural Network,CNN)是目前应用最广泛的深度学习算法之一。
如公开号为CN108257135A的中国专利文献公开了基于深度学习方法解读医学图像特征的辅助诊断系统，包括：读取病灶的医学影像数据并进行预处理；选取图像，建立卷积神经网络架构，自动学习分割出病灶区域，并对病灶形状进行细化；再建一个卷积神经网络架构的CNN模型自动解读良恶性病灶特征，训练后获得基于深度学习方法解读医学影像特征的辅助诊断系统。
公开号为CN112308822A的中国专利文献公开了一种基于深度卷积神经网络的椎间盘CT图像检测方法，包括：步骤1、椎间盘突出图像预处理，步骤2、基于多骨干网络的特征提取器构建方法，步骤3、区域建议网络中锚框的参数调优，步骤4、基于卷积神经网络的图像检测模型训练。
然而，在现实中，基于单一模式(如文本、图像)的模型可能不足以处理任务。多模态深度学习允许训练一个含有多种模态学习特性的深度网络。对于癌症的评估，有不同的信息模式可以帮助癌症的准确分期。除了CT图像外，一些临床指标可能有助于预测癌症分期。例如癌胚抗原(CEA)和CA199升高与胃癌分期相关。病人的生理指标以及生化检测指标也会反应癌症发展的状况。
发明内容
本发明提供了一种基于多模态深度学习的胃癌TNM分期预测系统，可以大大提高对胃癌CT图像进行TNM分期的准确度和效率，从而可以减少专业医生的业务负担。
一种基于多模态深度学习的胃癌TNM分期预测系统，包括以下模块：
数据采集模块，用于采集胃癌患者脱敏数据，整理出CT图像数据和文本数据，并根据临床事件把TNM时期分别分为T期1-6期，N期1-5期，M期1-2期；
图像预处理模块，用于对CT图像数据进行预处理，提取标记数据，建立mask图像，设定Hu值，匹配mask图像和原始图像，获得有效识别区域；
文本预处理模块，用于对文本数据进行预处理，对缺失值进行填充，进行异常值检测，对离群点进行单独处理；
预测模型训练模块，用于将图像预处理模块获得的有效识别区域图像数据与文本预处理模块预处理后的文本数据作为训练数据，训练卷积神经网络预测模型，训练过程中的损失函数采用交叉熵损失函数；具体为：首先对图像数据进行训练，图像经过两条支路的训练，一条支路通过ResNet34的主干网络进行深层图像特征提取；另一条支路通过一个8层的卷积神经网络进行浅层图像特征提取，其包括3个卷积层、3个池化层和2个全连接层，在提取完浅层图像特征后，该支路在第二个全连接层前加入文本数据，进行融合训练；在经历深层特征训练和浅层特征训练两条支路之后，模型通过一个全连接层进行分类器分类；
预测模块，用于将待预测的胃癌患者脱敏数据输入预测模型训练模块练好的预测模型中，得到TNM分期结果。
本发明中，多模态主要包括计算机断层扫描(CT)图像和文本数据。胃癌的TNM分期分别是肿瘤局部深度浸润期(T期)、局部淋巴结浸润期(N期)和远处转移期(M期)。
本发明在预测胃癌TNM分期的内容中引入多模态深度学习，建立了一个基于图像和文本数据的预测模型，采集的数据涵盖了患者胃部CT影像、基础生理数据、临床评估指标等可能对预后有潜在影响的因素，对数据尽可能的发掘利用，从而得到一个高准确度的基于多模态深度学习的胃癌TNM分期预测方法及系统。
进一步地，所述数据采集模块整理出的文本数据包括身高、体重、年龄、性别、BMI、borrmann分型、lauren分型、强化A期标识、强化P期标识、强化V期标识、CEA、CA199、肿瘤厚度、最大径、密度以及病发部位标识。
进一步地，所述数据采集模块整理出的CT图像数据包含医生的标记数据，医生用两种颜色的封闭曲线分别对胃部区域和癌变区域进行标记。
进一步地，所述图像预处理模块建立mask图像的过程为：先对原始图像中的标记区域进行提取，再对封闭曲线内的面积进行填充，获得mask图像。
进一步地，所述图像预处理模块获得有效识别区域的过程为：选择好观察区间，对原始图像和mask图像进行相乘，获得有效识别区域。
进一步地，所述的图像预处理模块中，Hu值范围设定为-160至240，窗位设定为40，窗宽设定为400。
进一步地，所述文本预处理模块对文本数据进行预处理时，将文字信息进行分类编码，转化为结构化数据；对缺失值进行填充的方法包括平均值填充、中值填充、众数填充、回归填充；对离群点采用剔除或替换进行重构。
进一步地，在文本预处理模块中，对文本数据还要利用机器学习中的XGBoost和LightGBM算法进行预训练，获得特征重要性排序，选择特征获得有效文本数据。
进一步地，在利用特征重要性排序选取有效文本数据后，预测模型训练模块将有效文本数据加入浅层图像特征提取支路的最后一个全连接层，连同图像浅层数据进行一次全卷积训练。
与现有技术相比，本发明具有以下有益效果：
1、本发明建立的预测模型通过浅层图像特征与文本特征融合，再一起同深层特征融合，其预测能力优于现有的预测方法，也增加了更大的医学可解释性。
2、本发明提供的TNM分期预测系统，可以减少医生阅片工作量，辅助医生更快地决策。
3、本发明弥补了深度学习算法在胃癌TNM分期项目上多种模态结合的预测方法中的空白。
附图说明
图1为本发明中基于多模态的卷积神经网络预测模型框架图。
具体实施方式
下面结合附图和实施例对本发明做进一步详细描述，需要指出的是，以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
一种基于多模态深度学习的胃癌TNM分期预测系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存储有数据采集模块、图像预处理模块、文本预处理模块、预测模型训练模块和预测模块。下面对每一个模块的具体应用过程进行详细介绍。
一、数据采集模块
采集医院影像科284例胃癌患者脱敏数据，数据内容除了计算机断层扫描(CT)图像之外，还包括文本数据，具体有：身高、体重、年龄、性别、BMI、borrmann分型、lauren分型、强化A期标识、强化P期标识、强化V期标识、CEA、CA199、肿瘤厚度、最大径、密度、病发部位标识等多个评价指标特征。整理计算机断层扫描(CT)图像和文本数据，再根据临床事件把TNM时期分别分为T期1-6期，N期1-5期，M期1-2期。
TNM三个时期具体为：T期的6个时期分段分别是T1a期、T1b期、T2期、T3期、T4a期和T4b期；N期的5个时期分段分别是N0期、N1期、N2期、N3a期和N3b期；M期的2个时期分段分别是M0期和M1期。
二、图像预处理模块
对计算机断层扫描(CT)图像数据进行预处理。CT图像以dicom、mha、mhd等数据格式存储，在实际生活中，因为数据传输的需要，会对图像进行压缩，故在对图像进行预处理的第一步需要对图像进行解压缩。其次，需要对CT图像中标记的区域进行提取。在本发明中，医院医生用两种颜色的封闭曲线分别对胃部区域和癌变区域进行标记，故需要对原图像中的标记区域进行提取，再对封闭曲线内的面积进行填充，获得mask蒙版图像。在建立mask图像时的填充方法可以采用边缘检测算法。
由于CT图像是一个高精度的灰阶图像，使用Hu值来反映图像像素点的层级。Hu取值范围为-1000至1000。为了降低计算机的计算量和减少图像处理过程中的压缩损失，一般采用设定窗宽窗位的方法，选择更合适的观察区间。窗位指的是Hu的基值，窗宽为Hu值上下浮动的范围。选择好合适的观察区间，需要对原始图像和mask图像进行相乘，获得含有有效区域的识别区域，即有效识别区域。
进一步地，本发明研究的领域是胃部CT影像，胃部通常使用的窗位Hu值参考范围为20至50，不同仪器设备可能会存在一定的差异。此外，本发明还对图像数据进行了尺寸缩减，噪声剔除等操作，确保图像训练时尽可能的减少干扰因素，提升深度学习训练时的有效性。
本实施例中，Hu值范围设定为-160至240，窗位设定为40，窗宽设定为400。
三、文本预处理模块
对数据采集模块中的文本数据进行预处理，对缺失值进行填充，填充方法按照不同特征的数据分布情况进行选择。填充的同时，利用数据分布，进行异常值检测，对离群点进行单独处理。对于连续特征和离散型特征进行分开处理，对离散数据进行独热编码。
进一步地，在文本数据清理时，需要将文字信息进行分类编码，转化为结构化数据。此外，缺失值填充方法包括平均值填充、中值填充、众数填充、回归填充等。离群点的处理可采用剔除或替换进行重构。
四、预测模型训练模块
利用深度学习算法，将图像预处理模块获得的有效识别区域图像数据与文本预处理模块处理后的文本数据作为训练数据，训练卷积神经网络预测模型，整个模型的框架如图1所示，该预测模型一个多层次组合神经网络，其主要框架是基于ResNet34的卷积神经网络，训练过程中的损失函数采用交叉熵损失函数；首先对图像模态数据进行训练，图像经过两条支路的训练，一条支路通过ResNet34的主干网络进行深层图像特征提取；另一条支路通过一个8层的卷积神经网络进行浅层图像特征提取，其包括了3个卷积层，3个池化层和2个全连接层，在提取完浅层图像特征后，该支路在第二个全连接层前加入文本结构化数据，进行融合训练。最后，在经历深层特征训练和浅层特征训练两条支路后，模型还会通过一个全连接层进行分类器分类。这样的融合原因是由于文本数据大体表达都是浅层的数据关系，加入深层的图像特征训练会造成语义表达被深层信息所掩盖。这也是本发明的一个核心网络框架思路。
本发明利用了XGBoost和LightGBM两种机器学习树模型的特性，自动获取文本特征重要性排序；在通过利用特征重要性排序选取有效文本数据之后，将选取后的文本数据加入浅层图像特征提取支路的最后一个全连接层，连同图像浅层数据进行一次全卷积训练。
进一步地，随着数据样本的增加，还可以采用更多深层网络结构，例如ResNet/Inception Net/DenseNet等；更复杂的网络结构可以更好的学习到图像中隐藏的特征，更准确的描述图像细节信息。
在本发明中，评分指标选用准确度ACC来评判模型的效果。
五、预测模块
将待预测的胃癌患者脱敏数据输入预测模型训练模块练好的预测模型中，得到TNM分期结果。
综上，本发明在模型设计上，选择了多种单分类器，包括了但不局限于XGBoost、LightGBM和CNN。其中，XGBoost和LightGBM都属于决策树模型，都是根据梯度下降提升决策树(GBDT)改进而来，是目前在工业数据和数据竞赛运用最多的模型之一。卷积神经网络(CNN)作为近年来研究的热点，其依靠仿制人脑神经元的运行方式，在复杂的非线性问题上展现了很高的实用性。选择这几种单模型的原因在于，这几种单模型可以通过不同思想的分类方式更准确的描述数据分类的关系。利用多种单模型各自的优势，组合模型可以进一步提升分类精度。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，包括以下模块：
数据采集模块，用于采集胃癌患者脱敏数据，整理出CT图像数据和文本数据，并根据临床事件把TNM时期分别分为T期1-6期，N期1-5期，M期1-2期；
图像预处理模块，用于对CT图像数据进行预处理，提取标记数据，建立mask图像，设定Hu值，匹配mask图像和原始图像，获得有效识别区域；
文本预处理模块，用于对文本数据进行预处理，对缺失值进行填充，进行异常值检测，对离群点进行单独处理；
预测模型训练模块，用于将图像预处理模块获得的有效识别区域图像数据与文本预处理模块预处理后的文本数据作为训练数据，训练预测模型，所述的预测模型是一个多层次组合神经网络，其主要框架是基于ResNet34的卷积神经网络，训练过程中的损失函数采用交叉熵损失函数，具体为：首先对图像数据进行训练，图像经过两条支路的训练，一条支路通过ResNet34的主干网络进行深层图像特征提取；另一条支路通过一个8层的卷积神经网络进行浅层图像特征提取，其包括3个卷积层、3个池化层和2个全连接层，在提取完浅层图像特征后，该支路在第二个全连接层前加入文本数据，进行融合训练；在经历深层特征训练和浅层特征训练两条支路之后，模型通过一个全连接层进行分类器分类；
预测模块，用于将待预测的胃癌患者脱敏数据输入预测模型训练模块练好的预测模型中，得到TNM分期结果。
2.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述数据采集模块整理出的文本数据包括身高、体重、年龄、性别、BMI、borrmann分型、lauren分型、强化A期标识、强化P期标识、强化V期标识、CEA、CA199、肿瘤厚度、最大径、密度以及病发部位标识。
3.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述数据采集模块整理出的CT图像数据包含医生的标记数据，医生用两种颜色的封闭曲线分别对胃部区域和癌变区域进行标记。
4.根据权利要求3所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述图像预处理模块建立mask图像的过程为：先对原始图像中的标记区域进行提取，再对封闭曲线内的面积进行填充，获得mask图像。
5.根据权利要求4所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述图像预处理模块获得有效识别区域的过程为：选择好观察区间，对原始图像和mask图像进行相乘，获得有效识别区域。
6.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述的图像预处理模块中，Hu值范围设定为-160至240，窗位设定为40，窗宽设定为400。
7.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述文本预处理模块在对文本数据进行清理时，需要将文字信息进行分类编码，转化为结构化数据。
8.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，所述文本预处理模块中，对缺失值进行填充的方法包括平均值填充、中值填充、众数填充、回归填充；对离群点采用剔除或替换进行重构。
9.根据权利要求1所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，在文本预处理模块中，对文本数据还要利用机器学习中的XGBoost和LightGBM算法进行预训练，获得特征重要性排序，选择特征获得有效文本数据。
10.根据权利要求9所述的基于多模态深度学习的胃癌TNM分期预测系统，其特征在于，在利用特征重要性排序选取有效文本数据后，预测模型训练模块将有效文本数据加入浅层图像特征提取支路的最后一个全连接层，连同图像浅层数据进行一次全卷积训练。
CN202111481494.6A 2021-12-06 2021-12-06 一种基于多模态深度学习的胃癌tnm分期预测系统 Pending CN114171187A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111481494.6A CN114171187A (zh) 2021-12-06 2021-12-06 一种基于多模态深度学习的胃癌tnm分期预测系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111481494.6A CN114171187A (zh) 2021-12-06 2021-12-06 一种基于多模态深度学习的胃癌tnm分期预测系统

Publications (1)

Publication Number Publication Date
CN114171187A true CN114171187A (zh) 2022-03-11

Family

ID=80483507

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111481494.6A Pending CN114171187A (zh) 2021-12-06 2021-12-06 一种基于多模态深度学习的胃癌tnm分期预测系统

Country Status (1)

Country Link
CN (1) CN114171187A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410686A (zh) * 2022-08-22 2022-11-29 哈尔滨医科大学 转化治疗方案的选择方法、装置、电子设备及存储介质
CN116523903A (zh) * 2023-06-25 2023-08-01 天津师范大学 一种多模态骨折损伤检测识别方法和系统
CN117218419A (zh) * 2023-09-12 2023-12-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115410686A (zh) * 2022-08-22 2022-11-29 哈尔滨医科大学 转化治疗方案的选择方法、装置、电子设备及存储介质
CN116523903A (zh) * 2023-06-25 2023-08-01 天津师范大学 一种多模态骨折损伤检测识别方法和系统
CN117218419A (zh) * 2023-09-12 2023-12-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法
CN117218419B (zh) * 2023-09-12 2024-04-12 河北大学 一种胰胆肿瘤分型分级分期的评估系统和评估方法

Similar Documents

Publication Publication Date Title
CN109493308B (zh) 基于条件多判别生成对抗网络的医疗图像合成与分类方法
US11127137B2 (en) Malignancy assessment for tumors
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN114171187A (zh) 一种基于多模态深度学习的胃癌tnm分期预测系统
CN109816661B (zh) 一种基于深度学习的牙齿ct图像分割方法
US11341631B2 (en) System and method for automatically detecting a physiological condition from a medical image of a patient
US10997466B2 (en) Method and system for image segmentation and identification
CN109308495B (zh) 从患者的医学图像自动预测生理状况的装置和系统
CN106682435A (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN110930421A (zh) 一种用于cbct牙齿图像的分割方法
CN112102321A (zh) 一种基于深度卷积神经网络的病灶图像分割方法及系统
Xie et al. Computer‐Aided System for the Detection of Multicategory Pulmonary Tuberculosis in Radiographs
CN101061513A (zh) 超声图像中病变的检测和分类
JP7294695B2 (ja) 学習済モデルによるプログラム、情報記録媒体、分類装置、ならびに、分類方法
CN110910371A (zh) 基于生理指标和影像融合的肝肿瘤自动分类方法及装置
CN114565761A (zh) 一种基于深度学习的肾透明细胞癌病理图像肿瘤区域的分割方法
CN106651875B (zh) 基于多模态mri纵向数据的脑瘤时空协同分割方法
CN112861994A (zh) 基于Unet迁移学习的胃印戒细胞癌图像智能分类系统
Kriti et al. A review of Segmentation Algorithms Applied to B-Mode breast ultrasound images: a characterization Approach
CN114581474A (zh) 一种基于宫颈癌ct影像的临床靶区自动勾画方法
AU2020223750B2 (en) Method and System for Image Annotation
Mahalaxmi et al. Liver Cancer Detection Using Various Image Segmentation Approaches: A Review.
Liu et al. U2F-GAN: weakly supervised super-pixel segmentation in thyroid ultrasound images
CN115471512A (zh) 一种基于自监督对比学习的医学影像分割方法
Zhang et al. Research on brain glioma segmentation algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination