CN115424724B - 一种多模态图森林的肺癌淋巴结转移辅助诊断系统 - Google Patents

一种多模态图森林的肺癌淋巴结转移辅助诊断系统 Download PDF

Info

Publication number
CN115424724B
CN115424724B CN202211375015.7A CN202211375015A CN115424724B CN 115424724 B CN115424724 B CN 115424724B CN 202211375015 A CN202211375015 A CN 202211375015A CN 115424724 B CN115424724 B CN 115424724B
Authority
CN
China
Prior art keywords
graph
lymph
node
forest
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211375015.7A
Other languages
English (en)
Other versions
CN115424724A (zh
Inventor
胡丹青
程乐超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202211375015.7A priority Critical patent/CN115424724B/zh
Publication of CN115424724A publication Critical patent/CN115424724A/zh
Application granted granted Critical
Publication of CN115424724B publication Critical patent/CN115424724B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30061—Lung
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种多模态图森林的肺癌淋巴结转移辅助诊断系统，包括：CT深度特征获取模块：获取CT深度特征；多模态数据异构图构建模块：用于根据多模态特征类型定义表示不同特征类型的多模态节点；并根据医学先验知识，定义节点与节点之间的关系构建多模态数据异构图；异构图森林构建模块：构建异构图森林；淋巴转移诊断结果模块：获取所述异构图森林中每个子图的图表征，将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率，对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。本发明可有效考虑不同种类特征之间的相关关系，提取的深度特征在预测淋巴结转移时有更好的泛化能力。

Description

一种多模态图森林的肺癌淋巴结转移辅助诊断系统
技术领域
本发明涉及一种医疗数据处理技术领域，尤其涉及一种多模态图森林的肺癌淋巴结转移辅助诊断系统。
背景技术
肺癌(Lung cancer)是肺部的恶性肿瘤，是指由肺组织细胞异常生长，并可能侵袭邻近组织器官或转移扩散到身体其他部位的疾病。常见症状有咳嗽、咳血、体重减轻、气短和胸痛等。肺癌根据其组织病理分型，可大致分为非小细胞肺癌(NSCLC, Non-small celllung cancer)和小细胞肺癌(SCLC, Small cell lung cancer)。
分期是确定癌症进展程度的定量评估指标，对于治疗方案选择以及预后评估有关键作用。目前临床上针对肺癌最常用的分期方法为TNM分期，该分期从原发肿物侵犯程度(T)、淋巴结转移(N)以及远端转移(M)三个维度对肿瘤进展程度进行评估。尽管目前临床上已经有CT、MRI、PET/CT等多种无创影像学检查，针对淋巴结转移依然无法得到精准的诊断。纵隔镜、支气管超声引导下的针吸活检等有创检查虽有更高的准确率，但通常针对有阳性指证的淋巴结进行，且并不能覆盖所有淋巴结站；因此，目前临床上未能广泛使用该类方式进行活检。
在这一背景下，许多研究采用各种机器学习和数据挖掘方法，利用大量临床、影像、组学数据，构建各种淋巴结转移辅助诊断模型。然而，上述研究在使用患者各类多模态数据时，通常仅简单地将各种类型模态数据的原始特征或处理后特征进行简单的拼接，并未显示地考虑不同类型模态特征之间可能存在的因果关系。因此，亟需一种精准无创的非小细胞肺癌淋巴结转移辅助诊断方法，能更好地将多模态数据进行有效融合，实现更为精准的淋巴结转移辅助诊断，从而缓解这一严峻的临床问题。
发明内容
本发明为了解决上述技术问题，提供一种多模态图森林的肺癌淋巴结转移辅助诊断系统。
本发明采用的技术方案如下：
一种多模态图森林的肺癌淋巴结转移辅助诊断系统，包括：
CT深度特征获取模块：用于对胸部CT影像数据预处理，并将预处理后的胸部CT影像数据以病理T分期为预测目标构建预测模型，获取CT深度特征；
多模态数据异构图构建模块：用于根据多模态特征类型定义表示不同特征类型的多模态节点，所述多模态节点包括CT影像节点，所述CT深度特征用于描述CT影像节点；利用对应的特征向量对多模态节点描述；并根据医学先验知识，定义节点与节点之间的关系构建多模态数据异构图；
异构图森林构建模块：用于将所述多模态数据异构图中选择每一个节点及当前节点涉及的关系删除，将剩余的节点与关系作为子图存储，遍历后得到多个包含部分节点与关系的子图，所有所述子图构成异构图森林；
淋巴转移诊断结果模块：用于利用图卷积神经网络获取所述异构图森林中每个子图的图表征，将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率，对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。
进一步地，所述CT深度特征获取模块具体包括：
影像预处理单元：用于获取胸部CT影像数据，并对所述胸部CT影像数据进行预处理，获取原发肿瘤区域影像数据；
CT深度特征提取单元：用于将所述原发肿瘤区域影像数据作为模型的输入，患者病理T分期作为预测目标，对深度神经网络进行训练，得到病理T分期预测模型，提取病理T分期预测模型网络中倒数第二层的全连接层输出作为CT深度特征。
进一步地，所述CT深度特征提取单元中采用的深度神经网络的架构为依次连接的骨干网络、两层transformer编码层、平均池化层和两层全连接层。
进一步地，所述骨干网络采用ResNet34、ResNet50、ResNet101或VGG。
进一步地，所述淋巴转移诊断结果模块的功能流程具体包括：
步骤S1：利用图卷积神经网络通过聚合子图中每个节点及其单跳临近节点的特征，得到每个节点深度表征；
步骤S2：将每个节点深度表征的最大值拼接作为当前子图的图表征；
步骤S3：将当前子图的图表征通过全连接层的输出得到当前子图对应的患者淋巴转移概率；
步骤S4：遍历步骤S1-步骤S3，直至遍历所述异构图森林中所有子图，得到所有子图对应的患者淋巴转移概率；
步骤S5：将所有子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。
进一步地，所述淋巴转移诊断结果模块中的图卷积神经网络采用GCN或GAT。
进一步地，所述多模态数据异构图构建模块中将患者临床或影像多模态特征类型定义表示不同特征类型的节点包括：患者节点、肿物节点、淋巴结节点、肿瘤标志物节点、疾病史节点和/或CT影像节点。
进一步地，所述多模态数据异构图构建模块中节点与节点之间的关系包括：患者—发生/被发生—肿物、肿物—导致/被导致—淋巴结、CT深度特征—描述/被描述—肿物、肿物—引起/被引起—肿瘤标志物、肿瘤标志物—预示/被预示—淋巴结、患者—患有/被患有—疾病史和/或疾病史—影响/被影响—淋巴结。
进一步地，所述异构图森林构建模块中选择每一个节点及当前节点涉及的关系删除时，节点数量至少为1个，选择的方式为随机选择或依次遍历。
本发明的有益效果是：本发明利用对胸部CT影像数据进行预处理，并利用ResNet等深度学习模型提取与病理T分期相关的深度特征；按照特征类型设定节点类型，并用每种类型的特征对其对应的节点进行描述；根据先验医学知识，将各类型节点按照定义好的关系进行关联，形成多模态异构图；之后，将异构图中的每一个节点依次从图中删除，保留剩余节点和关系，形成子图，左右子图作为异构图森林；最后，在图森林中各个子图上利用图神经网络进行图分类，并将各个子图的预测结果平均作为最终的输出结果。通过上述方法，可有效考虑不同种类特征之间的相关关系，提取的深度特征在预测淋巴结转移时有更好的泛化能力。
附图说明
图1为本发明一种多模态图森林的肺癌淋巴结转移辅助诊断系统的架构图；
图2为本发明淋巴转移诊断结果模块的功能流程示意图。
具体实施方式
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，一种多模态图森林的肺癌淋巴结转移辅助诊断系统，包括：
CT深度特征获取模块：用于对胸部CT影像数据预处理，并将预处理后的胸部CT影像数据以病理T分期为预测目标构建预测模型，获取CT深度特征；
所述CT深度特征获取模块具体包括：
影像预处理单元：用于获取胸部CT影像数据，并对所述胸部CT影像数据进行预处理，获取原发肿瘤区域影像数据；
CT深度特征提取单元：用于将所述原发肿瘤区域影像数据作为模型的输入，患者病理T分期作为预测目标，对深度神经网络进行训练，得到病理T分期预测模型，提取病理T分期预测模型网络中倒数第二层的全连接层输出作为CT深度特征；
所述CT深度特征提取单元中采用的深度神经网络的架构为依次连接的骨干网络、两层transformer编码层、平均池化层和两层全连接层。
所述骨干网络采用ResNet34、ResNet50、ResNet101或VGG。
多模态数据异构图构建模块：用于根据多模态特征类型定义表示不同特征类型的多模态节点，所述多模态节点包括CT影像节点，所述CT深度特征用于描述CT影像节点；利用对应的特征向量对多模态节点描述；并根据医学先验知识，定义节点与节点之间的关系构建多模态数据异构图；
所述多模态数据异构图构建模块中将患者临床或影像多模态特征类型定义表示不同特征类型的节点包括：患者节点、肿物节点、淋巴结节点、肿瘤标志物节点、疾病史节点和/或CT影像节点。
所述多模态数据异构图构建模块中节点与节点之间的关系包括：患者—发生/被发生—肿物、肿物—导致/被导致—淋巴结、CT深度特征—描述/被描述—肿物、肿物—引起/被引起—肿瘤标志物、肿瘤标志物—预示/被预示—淋巴结、患者—患有/被患有—疾病史和/或疾病史—影响/被影响—淋巴结。
异构图森林构建模块：用于将所述多模态数据异构图中选择每一个节点及当前节点涉及的关系删除，将剩余的节点与关系作为子图存储，遍历后得到多个包含部分节点与关系的子图，所有所述子图构成异构图森林；
所述异构图森林构建模块中选择每一个节点及当前节点涉及的关系删除时，节点数量至少为1个，选择的方式为随机选择或依次遍历。
淋巴转移诊断结果模块：用于利用图卷积神经网络获取所述异构图森林中每个子图的图表征，将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率，对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果；
参见图2，所述淋巴转移诊断结果模块的功能流程具体包括：
步骤S1：利用图卷积神经网络通过聚合子图中每个节点及其单跳临近节点的特征，得到每个节点深度表征；
所述淋巴转移诊断结果模块中的图卷积神经网络采用GCN或GAT。
步骤S2：将每个节点深度表征的最大值拼接作为当前子图的图表征；
步骤S3：将当前子图的图表征通过全连接层的输出得到当前子图对应的患者淋巴转移概率；
步骤S4：遍历步骤S1-步骤S3，直至遍历所述异构图森林中所有子图，得到所有子图对应的患者淋巴转移概率；
步骤S5：将所有子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。
实施例：一种多模态图森林的肺癌淋巴结转移辅助诊断系统，包括：
CT深度特征获取模块：用于对胸部CT影像数据预处理，并将预处理后的胸部CT影像数据以病理T分期为预测目标构建预测模型，获取CT深度特征；
所述CT深度特征获取模块具体包括：
影像预处理单元：用于获取胸部CT影像数据，并对所述胸部CT影像数据进行预处理，获取原发肿瘤区域影像数据；
将患者胸部CT影像数据进行预处理，HU最大最小值分别为400和-1000；将胸部CT影像数据按照[0.7mm,0.7mm,5mm]调整为各向一致；以主肿物为中心，按照224×224×s的大小进行分割（s为肿物所存在的层面数）得到原发肿瘤区域影像数据。
CT深度特征提取单元：用于将所述原发肿瘤区域影像数据作为模型的输入，患者病理T分期作为预测目标，对深度神经网络进行训练，得到病理T分期预测模型，提取病理T分期预测模型网络中倒数第二层的全连接层输出作为CT深度特征；
所述CT深度特征提取单元中采用的深度神经网络的架构为依次连接的骨干网络、两层transformer编码层、平均池化层和两层全连接层。
所述骨干网络采用ResNet34、ResNet50、ResNet101或VGG。
训练采用十重交叉验证的方式，将数据集分为十份，每一份作为测试集，其余九份作为训练验证集；在每一重交叉验证时，在训练验证集上随机采样80%的样本作为训练集训练模型，剩余20%作为验证集用于超参数选择以及早停，训练好的模型在测试集上预测，并将网络倒数第二层的全连接层输出作为测试集样本深度特征CT_deepfeature进行提取。
多模态数据异构图构建模块：用于根据多模态特征类型定义表示不同特征类型的多模态节点，所述多模态节点包括CT影像节点，所述CT深度特征用于描述CT影像节点；利用对应的特征向量对多模态节点描述；并根据医学先验知识，定义节点与节点之间的关系构建多模态数据异构图；
所述多模态数据异构图构建模块中将患者临床或影像多模态特征类型定义表示不同特征类型的节点包括：患者节点、肿物节点、淋巴结节点、肿瘤标志物节点、疾病史节点和/或CT影像节点。
分别用对应的特征向量对该节点进行描述，包括：1)患者基本特征demographic_feature，2)肿物特征tumor_feature，3)淋巴结特征lymphnode_feature，4)肿瘤标志物特征biomarker_feature，5)疾病史特征medicalhistory_feature，6)CT深度特征CT_deepfeature。
所述多模态数据异构图构建模块中节点与节点之间的关系包括：患者—发生/被发生—肿物、肿物—导致/被导致—淋巴结、CT深度特征—描述/被描述—肿物、肿物—引起/被引起—肿瘤标志物、肿瘤标志物—预示/被预示—淋巴结、患者—患有/被患有—疾病史和/或疾病史—影响/被影响—淋巴结。
异构图森林构建模块：用于将所述多模态数据异构图中选择每一个节点及当前节点涉及的关系删除，将剩余的节点与关系作为子图存储，遍历后得到多个包含部分节点与关系的子图，所有所述子图构成异构图森林；
所述异构图森林构建模块中选择每一个节点及当前节点涉及的关系删除时，节点数量至少为1个，选择的方式为随机选择或依次遍历。
淋巴转移诊断结果模块：用于利用图卷积神经网络获取所述异构图森林中每个子图的图表征，将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率，对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果；
所述淋巴转移诊断结果模块的功能流程具体包括：
步骤S1：利用图卷积神经网络通过聚合子图中每个节点及其单跳临近节点的特征，得到每个节点深度表征；
所述淋巴转移诊断结果模块中的图卷积神经网络采用GCN或GAT。
步骤S2：将每个节点深度表征的最大值拼接作为当前子图的图表征；
步骤S3：将当前子图的图表征通过全连接层的输出得到当前子图对应的患者淋巴转移概率；
步骤S4：遍历步骤S1-步骤S3，直至遍历所述异构图森林中所有子图，得到所有子图对应的患者淋巴转移概率；
步骤S5：将所有子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。
模型训练采用十重交叉验证的方式，将数据集分为十份，每一份作为测试集，其余九份作为训练验证集；在每一重交叉验证时，在训练验证集上再采用五重交叉验证进行超参数选择以及早停，训练好的模型在测试集上预测。
本实施例提供的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，将患者不同类型模态数据建模成多模态数据异构图，显示建模不同类型模态数据之间可能存在的相关关系，并利用图神经网络有效融合可能相关数据生成相关深得特征，利用该深度特征可更准确的预测淋巴结转移；异构图森林方法在单一异构图基础上，通过遍历丢弃节点的方式，利用剩余节点及关系作为子图，在每个子图上进行图表征提取，最终聚合作为最终的预测结果，可进一步提升模型的预测性能，从而实现更为精准的淋巴结转移辅助诊断。
淋巴结转移辅助诊断任务对于肺癌患者术前淋巴结转移进行预测。基于该辅助诊断任务，构建多模态图森林的肺癌淋巴结转移辅助诊断系统。利用测试样本对构建的模型以及逻辑回归（LR）、范数二约束逻辑回归（LR-L2）、支持向量机（SVM）、随机森林（RF）、梯度提升树（GBDT）、多层感知机（MLP）等基线机器学习模型进行验证，采用十重交叉验证，得到10个AUC值，利用这10个AUC值计算均值（Mean）和标准差（SD），实验结果如表1所示，由此可见实施例提供的多模态图森林的肺癌淋巴结转移辅助诊断系统（MHGF）在AUC上的表现优于基线算法。
表1 淋巴结转移诊断结果对比表
Figure 350247DEST_PATH_IMAGE001
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，包括：
CT深度特征获取模块：用于对胸部CT影像数据预处理，并将预处理后的胸部CT影像数据以病理T分期为预测目标构建预测模型，获取CT深度特征；
多模态数据异构图构建模块：用于根据多模态特征类型定义表示不同特征类型的多模态节点，所述多模态节点包括CT影像节点，所述CT深度特征用于描述CT影像节点；利用对应的特征向量对多模态节点描述；并根据医学先验知识，定义节点与节点之间的关系构建多模态数据异构图；
异构图森林构建模块：用于将所述多模态数据异构图中选择每一个节点及当前节点涉及的关系删除，将剩余的节点与关系作为子图存储，遍历后得到多个包含部分节点与关系的子图，所有所述子图构成异构图森林；
淋巴转移诊断结果模块：用于利用图卷积神经网络获取所述异构图森林中每个子图的图表征，将每个子图的图表征通过全连接层的输出得到对应的患者淋巴转移概率，对每个子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。
2.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述CT深度特征获取模块具体包括：
影像预处理单元：用于获取胸部CT影像数据，并对所述胸部CT影像数据进行预处理，获取原发肿瘤区域影像数据；
CT深度特征提取单元：用于将所述原发肿瘤区域影像数据作为模型的输入，患者病理T分期作为预测目标，对深度神经网络进行训练，得到病理T分期预测模型，提取病理T分期预测模型网络中倒数第二层的全连接层输出作为CT深度特征。
3.如权利要求2所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述CT深度特征提取单元中采用的深度神经网络的架构为依次连接的骨干网络、两层transformer编码层、平均池化层和两层全连接层。
4.如权利要求3所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述骨干网络采用ResNet34、ResNet50、ResNet101或VGG。
5.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述淋巴转移诊断结果模块的功能流程具体包括：
步骤S1：利用图卷积神经网络通过聚合子图中每个节点及其单跳临近节点的特征，得到每个节点深度表征；
步骤S2：将每个节点深度表征的最大值拼接作为当前子图的图表征；
步骤S3：将当前子图的图表征通过全连接层的输出得到当前子图对应的患者淋巴转移概率；
步骤S4：遍历步骤S1-步骤S3，直至遍历所述异构图森林中所有子图，得到所有子图对应的患者淋巴转移概率；
步骤S5：将所有子图对应的患者淋巴转移概率进行平均得到最终的患者淋巴转移预测结果。
6.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述淋巴转移诊断结果模块中的图卷积神经网络采用GCN或GAT。
7.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述多模态数据异构图构建模块中将患者临床或影像多模态特征类型定义表示不同特征类型的节点包括：患者节点、肿物节点、淋巴结节点、肿瘤标志物节点、疾病史节点和/或CT影像节点。
8.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述多模态数据异构图构建模块中节点与节点之间的关系包括：患者—发生/被发生—肿物、肿物—导致/被导致—淋巴结、CT深度特征—描述/被描述—肿物、肿物—引起/被引起—肿瘤标志物、肿瘤标志物—预示/被预示—淋巴结、患者—患有/被患有—疾病史和/或疾病史—影响/被影响—淋巴结。
9.如权利要求1所述的一种多模态图森林的肺癌淋巴结转移辅助诊断系统，其特征在于，所述异构图森林构建模块中选择每一个节点及当前节点涉及的关系删除时，节点数量至少为1个，选择的方式为随机选择或依次遍历。
CN202211375015.7A 2022-11-04 2022-11-04 一种多模态图森林的肺癌淋巴结转移辅助诊断系统 Active CN115424724B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211375015.7A CN115424724B (zh) 2022-11-04 2022-11-04 一种多模态图森林的肺癌淋巴结转移辅助诊断系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211375015.7A CN115424724B (zh) 2022-11-04 2022-11-04 一种多模态图森林的肺癌淋巴结转移辅助诊断系统

Publications (2)

Publication Number Publication Date
CN115424724A CN115424724A (zh) 2022-12-02
CN115424724B true CN115424724B (zh) 2023-01-24

Family

ID=84208201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211375015.7A Active CN115424724B (zh) 2022-11-04 2022-11-04 一种多模态图森林的肺癌淋巴结转移辅助诊断系统

Country Status (1)

Country Link
CN (1) CN115424724B (zh)

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106909778B (zh) * 2017-02-09 2019-08-27 北京市计算中心 一种基于深度学习的多模态医学影像识别方法及装置
CN107679580B (zh) * 2017-10-21 2020-12-01 桂林电子科技大学 一种基于多模态深度潜在关联的异构迁移图像情感极性分析方法
SG10201807529VA (en) * 2018-09-03 2020-04-29 Nec Asia Pacific Pte Ltd Systems and methods for predicting recovery of a patient
CN110543892B (zh) * 2019-08-05 2023-08-25 青岛理工大学 一种基于多层随机森林的零部件识别方法
CN112801162B (zh) * 2021-01-22 2022-06-24 之江实验室 基于图像属性先验的自适应软标签正则化方法
CN112837753B (zh) * 2021-02-07 2022-07-22 中国科学院新疆理化技术研究所 一种基于多模态堆叠自动编码机的microRNA-疾病关联预测方法
CN113241135B (zh) * 2021-04-30 2023-05-05 山东大学 一种基于多模态融合的疾病风险预测方法和系统
WO2022232850A1 (en) * 2021-04-30 2022-11-03 The Regents Of The University Of California Systems and methods for continuous cancer treatment and prognostics
CN113223727B (zh) * 2021-05-08 2022-07-12 浙江大学 非小细胞肺癌集成预后预测模型及其构建方法、装置和应用
CN113345576A (zh) * 2021-06-04 2021-09-03 江南大学 一种基于深度学习多模态ct的直肠癌淋巴结转移诊断方法
CN113592836B (zh) * 2021-08-05 2022-11-18 东南大学 一种深度多模态图卷积的脑图分类方法
CN113990495B (zh) * 2021-12-27 2022-04-29 之江实验室 一种基于图神经网络的疾病诊断预测系统

Also Published As

Publication number Publication date
CN115424724A (zh) 2022-12-02

Similar Documents

Publication Publication Date Title
ES2905660T3 (es) Procedimiento y sistema para el triaje asistido por ordenador
CN113538313B (zh) 一种息肉分割方法、装置、计算机设备及存储介质
US10424411B2 (en) Biopsy-free detection and staging of cancer using a virtual staging score
US20180260954A1 (en) Method and apparatus for providing medical information service on basis of disease model
US8260810B2 (en) Case image registration apparatus, method and recording medium, and case image search apparatus, method, recording medium and system
Hossain et al. Vision transformers, ensemble model, and transfer learning leveraging explainable AI for brain tumor detection and classification
CN112037171B (zh) 基于多模态特征融合的多任务mri脑瘤图像分割方法
CN113164142B (zh) 相似度确定装置、方法及程序
Wankhade et al. A novel hybrid deep learning method for early detection of lung cancer using neural networks
CN115036002A (zh) 一种基于多模态融合模型的治疗效果预测方法及终端设备
CN113239755A (zh) 一种基于空谱融合深度学习的医学高光谱图像分类方法
CN111000571A (zh) 创伤后心理疾病的风险预测方法，相关设备及存储装置
Zheng et al. Integrating semi-supervised and supervised learning methods for label fusion in multi-atlas based image segmentation
CN115620912A (zh) 一种基于深度学习的软组织肿瘤良恶性预测模型构建方法
Savaashe et al. A review on cardiac image segmentation
CN116091466A (zh) 图像分析方法、计算机设备和存储介质
Ruiqing et al. A novel radiomics model integrating luminal and mesenteric features to predict mucosal activity and surgery risk in Crohn's disease patients: a multicenter study
US9436889B2 (en) Image processing device, method, and program
CN110992312B (zh) 医学图像处理方法、装置、存储介质及计算机设备
CN115424724B (zh) 一种多模态图森林的肺癌淋巴结转移辅助诊断系统
CN115631387B (zh) 基于图卷积神经网络的肺癌病理高危因素预测方法和装置
CN111461065A (zh) 管状结构识别方法、装置、计算机设备和可读存储介质
CN111209946A (zh) 三维图像处理方法、图像处理模型训练方法及介质
Ibrahim et al. Liver Multi-class Tumour Segmentation and Detection Based on Hyperion Pre-trained Models.
Fu et al. 3D multi‐resolution deep learning model for diagnosis of multiple pathological types on pulmonary nodules

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant