CN114520052A - 一种基于多模态融合的胰腺癌早期诊断方法与系统 - Google Patents

一种基于多模态融合的胰腺癌早期诊断方法与系统 Download PDF

Info

Publication number
CN114520052A
CN114520052A CN202210123985.1A CN202210123985A CN114520052A CN 114520052 A CN114520052 A CN 114520052A CN 202210123985 A CN202210123985 A CN 202210123985A CN 114520052 A CN114520052 A CN 114520052A
Authority
CN
China
Prior art keywords
pancreatic cancer
data
early diagnosis
image
patient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210123985.1A
Other languages
English (en)
Inventor
王楷林
冯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202210123985.1A priority Critical patent/CN114520052A/zh
Publication of CN114520052A publication Critical patent/CN114520052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Epidemiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种基于多模态融合的胰腺癌早期诊断方法，具有这样的特征，包括以下步骤：步骤1，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；步骤2，将影像特征和对应的血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型；步骤3，根据病人的血检和影像结果，采用多模态胰腺癌早期诊断模型进行诊断工作。本发明诊断方法可用于胰腺癌高危人群的早期诊断，早期诊断模型的准确率达到了82.21％，大大提升早期胰腺癌诊断准确率，实现胰腺癌患者的早诊早治，提高生存率。本发明还公开了一种基于多模态融合的胰腺癌早期诊断系统，包括预处理部和诊断部。

Description

一种基于多模态融合的胰腺癌早期诊断方法与系统
技术领域
本发明涉及计算机视觉领域以及医学领域，具体涉及一种基于多模态融合的胰腺癌早期诊断方法与系统。
背景技术
胰腺癌是实体肿瘤中恶性程度和致死率最高的肿瘤之一，被称为“癌中之王”。中国国家癌症中心的最新统计数据也证实，胰腺癌在中国城市的男性恶性肿瘤发病率中排名第八，在大城市(北京和上海)的恶性肿瘤死亡率中排名第六。胰腺癌五年生存率仅为6％。2018年全球内有近45万胰腺癌新发病例，死亡超过43万例，预计2030年，胰腺癌将成为全球癌症死亡的第二大原因。其高死亡率归因于早期症状不明显、缺乏有效的诊断方法、病程进展迅速等。虽然近年来研究者为改善胰腺癌患者的预后做出了很多努力，如研究胰腺癌发生发展的机制、探索各种早期诊断，但其高死亡率并未得到明显改善。不断上升的发病率和持续的低生存率凸显了确定高风险患者筛查方法的必要性。
胰腺癌的早期诊断是降低其高死亡率的最佳途径之一，对胰腺癌发病风险较高的个体进行早期诊断才具有成本效益。
将从血液、尿液、唾液、粪便或胰液中获得的生物标志物作为胰腺癌早期诊断的非侵入性分子标志物，以辅助筛查、早期诊断和治疗胰腺癌，一直是一个值得深入研究的领域。目前糖类抗原19-9(CA19-9)是使用最为广泛的早期检测生物标志物。
胰腺癌早期诊断一直是一个重大挑战。胰腺癌的诊断主要依赖于影像学检查，计算机断层扫描(computed tomography，CT)和磁共振成像(Magnetic Resonance Imaging，MRI)是最常用的影像学技术。可以用于判断胰腺癌的癌变部位以及癌变性质、病变分期等。影像学检查，作为一种无创性的诊断方法，通过显示病变的形态,大小及强化状态，帮助医生做出临床诊断。另外，肿瘤治疗反应标准(response evaluation criteria in solidtumors，RECIST)也根据病变体积变化，来评估胰腺癌的治疗疗效。
影像学在胰腺癌的诊断、术前评估、疗效评估及预后预测等方面发挥了重要作用。随着人工智能和医学影像技术的发展，胰腺癌的早期诊断水平随着研究的深入不断得到提升，有望在将来真正应用于临床实践。
发明内容
本发明是为了解决上述问题而进行的，目的在于提供一种基于多模态融合的胰腺癌早期诊断方法与系统。
本发明提供了一种基于多模态融合的胰腺癌早期诊断方法，具有这样的特征，包括以下步骤：步骤1，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；步骤2，将影像特征和对应的血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型；步骤3，根据病人的血检和影像结果，采用多模态胰腺癌早期诊断模型进行诊断工作。
在本发明提供的基于多模态融合的胰腺癌早期诊断方法中，还可以具有这样的特征：其中，步骤1包括以下步骤：步骤1-1，对血检数据和影像数据进行数据清洗，去掉过于多缺实值的数据；步骤1-2，通过ResNet-50提取每位患者的影像特征；步骤1-3，通过OneHotEncoder提取患者的血检数据特征；步骤1-4，通过PCA对影像特征进行降维处理；步骤1-5，将影像特征与患者对应的血检数据特征进行拼接融合处理。
在本发明提供的基于多模态融合的胰腺癌早期诊断方法中，还可以具有这样的特征：其中，步骤1-1中，数据清洗时，由于病人的血检数据和影像数据存在缺失的问题，故将缺失值大于50％的数据去掉，其他缺失值采用众数填充。
在本发明提供的基于多模态融合的胰腺癌早期诊断方法中，还可以具有这样的特征：其中，步骤1-3中，通过OneHot Encoder提取患者的血检数据特征时，为避免多重共线性，故需要删除每列编码后第一列。
本发明提供了一种基于多模态融合的胰腺癌早期诊断系统，具有这样的特征，包括：预处理部，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；诊断部，将影像特征和对应的血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型，根据病人的血检和影像结果，采用多模态胰腺癌早期诊断模型进行诊断工作。
发明的作用与效果
根据本发明所涉及的基于多模态融合的胰腺癌早期诊断方法，因为诊断步骤为：步骤1，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；步骤2，将影像特征和对应的血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型；步骤3，根据病人的血检和影像结果，采用多模态胰腺癌早期诊断模型进行诊断工作。
因此，本发明提出的一种基于多模态融合的胰腺癌早期诊断方法，可用于胰腺癌高危人群的早期诊断，基于多模态融合的胰腺癌早期诊断模型的准确率达到了82.21％，大大提升早期胰腺癌诊断准确率，实现胰腺癌患者的早诊早治，提高生存率。同时减少了医生的工作量，在医生的诊断过程中起到了参考作用。
附图说明
图1是本发明实施例中胰腺癌早期诊断过程的流程图；
图2是本发明实施例中预处理步骤的流程图；以及
图3是本发明实施例中多模态融合部分的结构示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下实施例结合附图对本发明一种基于多模态融合的胰腺癌早期诊断方法与系统作具体阐述。
在本实施例中，提供了一种基于多模态融合的胰腺癌早期诊断方法。
本实施例所涉及的基于多模态融合的胰腺癌早期诊断方法适用于胰腺癌高危人群的早期诊断，大大提升早期胰腺癌诊断准确率，实现胰腺癌患者的早诊早治，提高生存率。
本实施例实现的平台，操作系统为ubuntu16.04，使用Python 3.7语言实现，神经网络框架使用pytorch 1.3版本，CUDA版本为10.0，计算加速单元使用NVIDIA 1080Ti GPU。
本实施例中，采用的数据集来自12000名病人的血检报告结果和对应的腹部CT影像，包括训练集和测试集。
图1是本发明实施例中胰腺癌早期诊断过程的流程图。
如图1所示，本实施例所涉及的基于多模态融合的胰腺癌早期诊断方法包括如下步骤：
步骤S1，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征。
图2是本发明实施例中预处理步骤的流程图。
如图2所示，步骤S1包括以下步骤：
步骤S1-1，对血检数据和影像数据进行数据清洗，去掉过于多缺实值的数据。
数据清洗时，由于病人的血检数据和影像数据存在缺失的问题，故将缺失值大于50％的数据去掉，其他缺失值采用众数填充。
步骤S1-2，通过ResNet-50提取每位患者的胰腺影像特征。
在众多提取特征的CNN模型中，ResNet-50网络的性能优异，能够很好地提高后续分类模型的学习能力，所以本实施例中采用ResNet-50网络依次提取数据集每位患者的CT影像特征。
步骤S1-3，通过OneHot Encoder提取患者的血检数据特征。
通过OneHot Encoder提取患者的血检数据特征时，为避免多重共线性，故需要删除每列编码后第一列。
步骤S1-4，通过PCA对影像特征进行降维处理。
由于影像特征维度过高，可以利用PCA对该特征进行降维，PCA可以在保证主要特征信息不变的情况下降低特征维度，继而使得后续分类模型的处理速度有所提升，同时能够降低资源的占用。
步骤S1-5，将影像特征与患者对应的血检数据特征进行拼接融合处理。
图3是本发明实施例中多模态融合部分的结构示意图。
如图3所示，步骤S2，将影像特征和对应的血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型。
步骤S3，根据病人的血检和影像结果，采用多模态胰腺癌早期诊断模型进行诊断工作。
在本实施例中，还提供了一种基于多模态融合的胰腺癌早期诊断系统，包括：
预处理部，利用本实施例中步骤S1的方法对病人的血检数据和影像数据进行预处理。
诊断部，利用本实施例中步骤S2～步骤S3的方法进行诊断工作。
实施例的作用与效果
根据本实施例所涉及的基于多模态融合的胰腺癌早期诊断方法，因为诊断步骤为：步骤1，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；步骤2，将影像特征和对应的血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型；步骤3，根据病人的血检和影像结果，采用多模态胰腺癌早期诊断模型进行诊断工作。
因此，上述实施例提出的基于多模态融合的胰腺癌早期诊断方法，可用于胰腺癌高危人群的早期诊断，基于多模态融合的胰腺癌早期诊断模型的准确率达到了82.21％，大大提升早期胰腺癌诊断准确率，实现胰腺癌患者的早诊早治，提高生存率。同时减少了医生的工作量，在医生的诊断过程中起到了参考作用。
此外，本实施例中采用的ResNet-50网络性能优异，能够很好地提高后续分类模型的学习能力。
此外，本实施例中利用PCA对该特征进行降维，PCA可以在保证主要特征信息不变的情况下降低特征维度，继而使得后续分类模型的处理速度有所提升，同时能够降低资源的占用。
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。

Claims (5)

1.一种基于多模态融合的胰腺癌早期诊断方法，其特征在于，包括以下步骤：
步骤1，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；
步骤2，将所述影像特征和对应的所述血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型；
步骤3，根据病人的血检和影像结果，采用所述多模态胰腺癌早期诊断模型进行诊断工作。
2.根据权利要求1所述的一种基于多模态融合的胰腺癌早期诊断方法，其特征在于：
其中，步骤1包括以下步骤：
步骤1-1，对所述血检数据和所述影像数据进行数据清洗，去掉过于多缺实值的数据；
步骤1-2，通过ResNet-50提取每位患者的所述影像特征；
步骤1-3，通过OneHot Encoder提取患者的所述血检数据特征；
步骤1-4，通过PCA对所述影像特征进行降维处理；
步骤1-5，将所述影像特征与患者对应的所述血检数据特征进行拼接融合处理。
3.根据权利要求2所述的一种基于多模态融合的胰腺癌早期诊断方法，其特征在于：
其中，步骤1-1中，所述数据清洗时，由于病人的所述血检数据和所述影像数据存在缺失的问题，故将缺失值大于50％的数据去掉，其他缺失值采用众数填充。
4.根据权利要求2所述的一种基于多模态融合的胰腺癌早期诊断方法，其特征在于：
其中，步骤1-3中，通过所述OneHot Encoder提取患者的所述血检数据特征时，为避免多重共线性，故需要删除每列编码后第一列。
5.一种基于多模态融合的胰腺癌早期诊断系统，其特征在于，包括：
预处理部，对病人的血检数据和影像数据进行预处理，获得血检数据特征和影像特征；
诊断部，将所述影像特征和对应的所述血检数据特征融合，以双模态融合的结果作为数据集训练分类模型，得到多模态胰腺癌早期诊断模型，根据病人的血检和影像结果，采用所述多模态胰腺癌早期诊断模型进行诊断工作。
CN202210123985.1A 2022-02-10 2022-02-10 一种基于多模态融合的胰腺癌早期诊断方法与系统 Pending CN114520052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210123985.1A CN114520052A (zh) 2022-02-10 2022-02-10 一种基于多模态融合的胰腺癌早期诊断方法与系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210123985.1A CN114520052A (zh) 2022-02-10 2022-02-10 一种基于多模态融合的胰腺癌早期诊断方法与系统

Publications (1)

Publication Number Publication Date
CN114520052A true CN114520052A (zh) 2022-05-20

Family

ID=81597250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210123985.1A Pending CN114520052A (zh) 2022-02-10 2022-02-10 一种基于多模态融合的胰腺癌早期诊断方法与系统

Country Status (1)

Country Link
CN (1) CN114520052A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115101197A (zh) * 2022-07-28 2022-09-23 首都医科大学附属北京朝阳医院 胰腺癌影像学联合ca19-9诊断模型构建方法、系统及装置
CN116504394A (zh) * 2023-06-21 2023-07-28 天津医科大学朱宪彝纪念医院(天津医科大学代谢病医院、天津代谢病防治中心) 基于多特征融合的辅助医疗方法、装置及计算机存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115101197A (zh) * 2022-07-28 2022-09-23 首都医科大学附属北京朝阳医院 胰腺癌影像学联合ca19-9诊断模型构建方法、系统及装置
CN116504394A (zh) * 2023-06-21 2023-07-28 天津医科大学朱宪彝纪念医院(天津医科大学代谢病医院、天津代谢病防治中心) 基于多特征融合的辅助医疗方法、装置及计算机存储介质
CN116504394B (zh) * 2023-06-21 2024-01-30 天津医科大学朱宪彝纪念医院(天津医科大学代谢病医院、天津代谢病防治中心) 基于多特征融合的辅助医疗方法、装置及计算机存储介质

Similar Documents

Publication Publication Date Title
CN108961215A (zh) 基于多模态医学影像的帕金森病辅助诊断系统和方法
CN114520052A (zh) 一种基于多模态融合的胰腺癌早期诊断方法与系统
Teng et al. Artificial intelligence can effectively predict early hematoma expansion of intracerebral hemorrhage analyzing noncontrast computed tomography image
CN113393938B (zh) 一种融合影像和临床特征信息的乳腺癌风险预测系统
Yar et al. Lung nodule detection and classification using 2D and 3D convolution neural networks (CNNs)
Yu et al. Segmentation of the cervical lesion region in colposcopic images based on deep learning
Li et al. A novel deep learning framework based mask-guided attention mechanism for distant metastasis prediction of lung cancer
CN115424722A (zh) 利用血清蛋白标志物的肺癌筛查和诊治系统及方法
Danku et al. Cancer diagnosis with the aid of artificial intelligence modeling tools
Liu et al. The application of artificial intelligence to chest medical image analysis
Ji et al. ResDSda_U-Net: A novel U-Net based residual network for segmentation of pulmonary nodules in lung CT images
Renugadevi et al. A Distinctive Explainable Deep Learning Framework to Predict Pulmonary Function at Chest CT Scan
Shaaban et al. An Efficient Breast Cancer Segmentation System based on Deep Learning Techniques
Liu et al. Automatic measurement of endometrial thickness from transvaginal ultrasound images
CN114764855A (zh) 基于深度学习的膀胱镜下肿瘤智能分割方法、装置及设备
CN115132275B (zh) 基于端到端三维卷积神经网络预测egfr基因突变状态方法
Sangeetha et al. A Novel Method to Detect Lung Cancer using Deep Learning
Yan et al. Automated detection of laryngeal carcinoma in laryngoscopic images from a multicenter database using a convolutional neural network
Lin et al. Esophageal cancer detection via non-contrast CT and deep learning
CN117636064B (zh) 一种基于儿童病理切片的神经母细胞瘤智能分类系统
Zhou Prediction and value of ultrasound image in diagnosis of fetal central nervous system malformation under deep learning algorithm
Han et al. U-CCNet: Brain Tumor MRI Image Segmentation Model with Broader Global Context Semantic Information Abstraction
Fang et al. A deep learning and radiomics based Alberta stroke program early CT score method on CTA to evaluate acute ischemic stroke
Lafraxo et al. GastroSegNet: Polyp Segmentation using Colonoscopic Images Based on AttentionU-net Architecture
Begum et al. A Study of Deep Learning Models in Diagnosis and Prediction of Chronic Diseases

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination