CN115312198A - 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 - Google Patents

结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 Download PDF

Info

Publication number
CN115312198A
CN115312198A CN202210746529.2A CN202210746529A CN115312198A CN 115312198 A CN115312198 A CN 115312198A CN 202210746529 A CN202210746529 A CN 202210746529A CN 115312198 A CN115312198 A CN 115312198A
Authority
CN
China
Prior art keywords
brain tumor
deep learning
patient
attention mechanism
prognosis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210746529.2A
Other languages
English (en)
Other versions
CN115312198B (zh
Inventor
王梅云
余璇
吴亚平
白岩
陈丽娟
高海燕
魏巍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Henan Provincial Peoples Hospital
Original Assignee
Henan Provincial Peoples Hospital
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Henan Provincial Peoples Hospital filed Critical Henan Provincial Peoples Hospital
Priority to CN202210746529.2A priority Critical patent/CN115312198B/zh
Publication of CN115312198A publication Critical patent/CN115312198A/zh
Application granted granted Critical
Publication of CN115312198B publication Critical patent/CN115312198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明属于脑图像分析技术领域，特别涉及一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统，通过获取脑肿瘤患者的磁共振影像数据，对数据进行格式转换、配准、重采样、去头皮、随机镜像翻转等一系列的预处理操作；在脑肿瘤深度学习预后分析模型中，通过注意力机制自动发现影像中对预后风险概率关键的区域，融合多尺度特征提高网络对不同尺度上肿瘤信息的提取能力，利用构建的模型来提高脑肿瘤患者的预后风险概率预测能力，便于后期通过预后风险概率来将患者的患病情况分为高、中、低风险组，以达到辅助临床医生制定患者治疗计划和评估药物疗效，进而能够提高患者生存时间。

Description

结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分 析建模方法及系统
技术领域
本发明属于脑图像分析技术领域，特别涉及一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统。
背景技术
大脑是人体最敏感的部位之一，大脑中细胞的大量生长或异常生长会导致大脑行为和特征的多种变化。脑肿瘤是指生长在脑部的新生物，可起源于脑、脑膜、神经、血管及脑附件，或由身体的其他组织或脏器转移侵入脑内而形成。脑肿瘤的威胁程度取决于肿瘤类型、行为、大小、位置和生长状态等因素，其中恶性脑肿瘤可能会引起颅内压升高、水肿、脑疝、癫痫和精神症状等并发症，因此针对恶性脑肿瘤的治疗相对困难，且易复发，死亡率居高不下。早期诊断对于避免延长发病期至关重要，通过避免危及生命的并发症和及时提供有效治疗，有助于降低脑肿瘤患者的死亡率。
由于不同脑肿瘤患者的个体差异和个体化精确治疗，不同患者的生存时间表现有很大差异。研究表明，影响脑肿瘤生存时间的因素包括肿瘤周围水肿的形态和程度、肿瘤坏死的程度、肿瘤的整体形态大小以及是否有囊性改变。影响脑肿瘤因素的不确定性增加，使得接受相同治疗方法的患者的生存时间也表现出一定差异。
磁共振成像(Magnetic Resonance Imagings，MRIs)在软组织中具有高灵敏度和良好的图像对比度，是脑诊断和治疗过程中的首选。分析脑肿瘤患者的磁共振成像，从图像中挖掘可靠、客观的特征，对预测患者预后具有极其重要的临床价值。如何构建一个专业可靠的生存预测模型、利用模型输出作为医生或临床人员分析研究的中间数据成为亟待解决的问题。
发明内容
为此，本发明提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统，结合注意力机制和多尺度特征挖掘来构建挖掘磁共振影像可靠、客观的特征的预后分析模型，能够保证预测概率准确性，利用该模型预测的患者预后概率作为中间数据来辅助医生和临床研究人员制定患者治疗计划和评估药物疗效提供参考，可缓解患者症状，能够提高患者生存时间。
按照本发明所提供的设计方案，提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，包含如下内容：
利用信号采集设备获取患者磁共振影像数据，对数据进行预处理操作；
针对预处理操作后的患者磁共振影像数据，构建脑肿瘤深度学习预后分析模型并进行训练优化，以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
作为本发明中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，利用磁共振成像方法采集患者脑肿瘤原始医学图像数据，并通过加权成像算法来获取磁共振影像数据，该磁共振影像数据至少包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。
作为本发明中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步，预处理操作包含：磁共振影像数据的NIFTI格式统一转换处理及配准处理，采样至均匀各向同性分辨率的重采样处理，依据标准头部模板进行的去头皮处理，和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。
作为本发明中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，在对磁共振影像数据进行预处理中，还包含：通过分割图像来标注感兴趣区域。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，利用脑肿瘤公开数据集作为训练样本，以对脑肿瘤深度学习预后分析模型进行训练，其中，该训练样本中包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列、液体衰减反转(FLAIR)序列及每个患者影像数据中标注的感兴趣区域。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含：若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层，与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层，用于对去噪操作后的数据进行上采样处理的上采样层，及用于处理后的特征数据进行全连接操作的全连接层。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，卷积层输出表示为：
Figure BDA0003719592220000021
其中，
Figure BDA0003719592220000022
表示卷积操作，W为卷积核权重向量，b为输出映射的偏移量，f(·)为激活函数。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，进一步地，3D卷积神经网络中与各上采样层或池化层连接的卷积层采用异构尺寸的卷积核；且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射，并将处理后的特征数据与上采样特征关联合并，其中，注意力机制中权重计算公式表示为：
Figure BDA0003719592220000023
权重
Figure BDA0003719592220000031
表示当分辨率为s时体素在整个网络中位置i处的重要性，
Figure BDA0003719592220000032
表示在3D卷积神经网络处理中分辨率为s时位置i处体素对应的分数值。
进一步地，本发明还提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统，包含：数据获取模块和模型构建模块，其中，
数据获取模块，用于获取患者磁共振影像数据，对数据进行预处理操作；
模型构建模块，用于针对预处理操作后的患者磁共振影像数据，利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
本发明的有益效果：
本发明利用信号采集设备来获取脑肿瘤患者的磁共振影像数据，对数据进行格式转换、配准、重采样、去头皮、随机镜像翻转等一系列的预处理操作；在构建的脑肿瘤深度学习预后分析模型中，通过注意力机制自动发现影像中对预后风险概率关键的区域，融合多尺度特征提高网络对不同尺度上肿瘤信息的提取能力，提高脑肿瘤患者的预后风险概率预测能力，便于后期利用预后风险概率来将患者的患病情况分为高、中、低风险组，以最终辅助临床医生制定患者治疗计划和评估药物疗效，进而能够提高患者的生存时间，拓展人工智能的实际应用范围。
附图说明：
图1为实施例中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模流程示意；
图2为实施例中脑肿瘤深度学习预后分析模型示意。
具体实施方式：
为使本发明的目的、技术方案和优点更加清楚、明白，下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例，提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，包含：利用信号采集设备获取患者磁共振影像数据，对数据进行预处理操作；针对预处理操作后的患者磁共振影像数据，构建脑肿瘤深度学习预后分析模型并进行训练优化，以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
参见图1所示，可通过磁共振系统作为信号采集设备来获取脑肿瘤患者的磁共振影像数据，并采用配准、重采样、去头皮、随机轴镜像翻转等操作进行数据预处理操作，结合注意力机制和多尺度特征挖掘通过构建脑肿瘤深度学习预后分析模型来挖掘3D影像数据深层隐藏信息，最终得出脑肿瘤患者的预后风险概率，为临床医生制定患者治疗计划和评估药物疗效提供参考，提高患者生存时间。
本案实施例中，进一步地，利用磁共振成像方法采集患者脑肿瘤原始医学图像数据，并通过加权成像算法来获取磁共振影像数据，该磁共振影像数据至少包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。进一步，预处理操作包含：磁共振影像数据的NIFTI格式统一转换处理及配准处理，采样至均匀各向同性分辨率的重采样处理，依据标准头部模板进行的去头皮处理，和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。利用脑肿瘤公开数据集作为训练样本，以对脑肿瘤深度学习预后分析模型进行训练，其中，该训练样本中包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列、FLAIR序列及每个患者影像数据中标注的感兴趣区域。
收集脑肿瘤患者的磁共振影像数据，可获取的脑肿瘤公开数据集有MICCAIBraTS2017～2021，其中包含T1加权成像序列、T2加权成像序列、增强后的T1加权成像序列、FLAIR序列，每个患者的影像数据都对应标注的感兴趣区域，该数据集统计大部分患者的总生存期。此外，通过常规磁共振成像方法采集得到的脑肿瘤原始医学图像数据需要进行一系列预处理操作，包括使用python等软件将格式统一转换为NIFTI，使用FSL等软件进行配准，重采样至均匀各向同性分辨率(1mm3)，利用SPM或BET等模块根据标准头部磁共振影像数据模板去头皮，对冠状位、矢状位、横断位进行随机轴镜像翻转，以获取预处理后的影像数据。
进一步地，本案实施例中，在对磁共振影像数据进行预处理中，还包含：通过分割图像来标注感兴趣区域。对于每一个脑肿瘤医学影像样本，需要手动分割图像中的感兴趣区域，具体操作为，由两位影像科临床医生使用ITK-SNAP或3D Slicer等软件独立勾画感兴趣区域，并共同确认有效，当两个勾画结果不一致时，需要由两位医生一起重新查看该样本，共同确认有效的感兴趣区域勾画结果。
本案实施例中，进一步地，脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含：若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层，与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层，用于对去噪操作后的数据进行上采样处理的上采样层，及用于处理后的特征数据进行全连接操作的全连接层。3D卷积神经网络中与各上采样层或池化层连接的卷积层可采用异构尺寸的卷积核；且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射，并将处理后的特征数据与上采样特征关联合并。
可通过python软件的tensorflow或pytorch等框架搭建结合注意力机制和多尺度特征挖掘的脑肿瘤深度学习预后分析模型，如图2所示，该模型基于传统的3D卷积神经网络。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，在深度学习中擅长处理图像数据，本案中脑肿瘤深度学习预后分析模型主要针对患者的磁共振影像数据进行研究，其具有三维空间特征，因此，可使用3D卷积神经网络作为模型基础。卷积神经网络借助卷积运算操作的优势，能够对原始数据进行更高层次和更抽象的表达，卷积层的输出特征C可以通过下式得到：
Figure BDA0003719592220000051
其中，
Figure BDA0003719592220000052
表示卷积操作，W为卷积核的权重向量，每个输出映射都有一个偏移量b；f(·)为激活函数，例如ReLU，Sigmoid，tanh等。池化层的作用是对卷积输出进行下采样操作，保留强特征，去除弱特征，同时具有减少参数数量和防止过拟合的效果。
如图2中的(a)所示，该模型由向一系列下采样和上采样步骤组成。在下采样过程中，每一层利用两个具有ReLU激活函数的3D卷积进行特征提取，然后通过最大池化层减小特征映射的大小。随后将高分辨率特征与上采样特征连接，然后进行两个3D卷积操作。其中输入层的影像样本大小为128*128*112，通过具有Sigmoid激活功能的全连接操作，得到输出层为3，分别对应脑肿瘤患者的患病情况，即高、中、低风险组。
本案中的脑肿瘤预后分析模型中的一个关键技术为在跳跃连接部分使用注意力机制模块，该模块处理卷积层和上采样层的特征映射，然后与上采样特征映射相关联。如图2中的(b)所示，注意力机制中不同尺度的权重计算公式可表示为：
Figure BDA0003719592220000053
式(2)中，权重
Figure BDA0003719592220000054
反映了当分辨率为s时，体素在整个网络中位置i处的重要性。将注意力机制应用到3D卷积神经网络模型中，可以更好地实现对显著区域的注意和对无关背景区域的抑制。注意力系数(值0～1)乘以特征图将使无关区域的值变小(即抑制作用)，目标区域的值变大(即注意作用)。
为了充分利用3D卷积层的多尺度特征，本案的模型中将得到的不同比例的特征分别以相同的池大小进行池化，以重新映射多分辨率结构，然后通过独立的全连接层细化这些不同尺度的密集特征，随后多尺度特征被进一步连接并反馈到后面的全连接层进行分类。最终得到脑肿瘤患者的预后风险概率，通过将患者的患病情况分为高、中、低风险组帮助临床医生制定患者治疗计划和评估药物疗效，从而提高患者的生存时间。
进一步地，基于上述的方法，本发明实施例还提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统，包含：数据获取模块和模型构建模块，其中，
数据获取模块，用于获取患者磁共振影像数据，对数据进行预处理操作；
模型构建模块，用于针对预处理操作后的患者磁共振影像数据，利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成，所述程序可以存储于计算机可读存储介质中，如：只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现，相应地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，包含如下内容：
利用信号采集设备获取患者磁共振影像数据，对数据进行预处理操作；
针对预处理操作后的患者磁共振影像数据，构建脑肿瘤深度学习预后分析模型并进行训练优化，以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
2.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，利用磁共振成像方法采集患者脑肿瘤原始医学图像数据，并通过加权成像算法来获取磁共振影像数据，该磁共振影像数据至少包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。
3.根据权利要求1或2所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，预处理操作包含：磁共振影像数据的NIFTI格式统一转换处理及配准处理，采样至均匀各向同性分辨率的重采样处理，依据标准头部模板进行的去头皮处理，和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。
4.根据权利要求3所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，在对磁共振影像数据进行预处理中，还包含：通过分割图像来标注感兴趣区域。
5.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，利用脑肿瘤公开数据集作为训练样本，以对脑肿瘤深度学习预后分析模型进行训练，其中，该训练样本中包含：T1加权成像序列、T2加权成像序列、增强T1加权成像序列、液体衰减反转序列及每个患者影像数据中标注的感兴趣区域。
6.根据权利要求1或5所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含：若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层，与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层，用于对去噪操作后的数据进行上采样处理的上采样层，及用于处理后的特征数据进行全连接操作的全连接层。
7.根据权利要求6所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，卷积层输出表示为：
Figure FDA0003719592210000011
其中，
Figure FDA0003719592210000012
表示卷积操作，W为卷积核权重向量，b为输出映射的偏移量，f(·)为激活函数。
8.根据权利要求6所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法，其特征在于，3D卷积神经网络中与各上采样层或池化层连接的卷积层采用异构尺寸的卷积核；且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射，并将处理后的特征数据与上采样特征关联合并，其中，注意力机制中权重计算公式表示为：
Figure FDA0003719592210000021
权重
Figure FDA0003719592210000022
表示当分辨率为s时体素在整个网络中位置i处的重要性，
Figure FDA0003719592210000023
表示在3D卷积神经网络处理中分辨率为s时位置i处体素对应的分数值。
9.一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统，其特征在于，包含：数据获取模块和模型构建模块，其中，
数据获取模块，用于获取患者磁共振影像数据，对数据进行预处理操作；
模型构建模块，用于针对预处理操作后的患者磁共振影像数据，利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率，其中，脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络，并在主网络中引入注意力机制，以使模型自动聚焦输入数据关键位置，同时融合多尺度特征来获取输入数据的不同尺度信息。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1～8任一项所述的方法步骤。
CN202210746529.2A 2022-06-29 2022-06-29 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 Active CN115312198B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210746529.2A CN115312198B (zh) 2022-06-29 2022-06-29 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210746529.2A CN115312198B (zh) 2022-06-29 2022-06-29 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统

Publications (2)

Publication Number Publication Date
CN115312198A true CN115312198A (zh) 2022-11-08
CN115312198B CN115312198B (zh) 2023-09-19

Family

ID=83855424

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210746529.2A Active CN115312198B (zh) 2022-06-29 2022-06-29 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统

Country Status (1)

Country Link
CN (1) CN115312198B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117524501A (zh) * 2024-01-04 2024-02-06 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法
WO2024103284A1 (zh) * 2022-11-16 2024-05-23 中国科学院深圳先进技术研究院 脑肿瘤患者生存分析方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113571203A (zh) * 2021-07-19 2021-10-29 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
WO2021258081A1 (en) * 2020-06-16 2021-12-23 Verily Life Sciences Llc Systems and methods for directly predicting cancer patient survival based on histopathology images
CN113888555A (zh) * 2021-09-02 2022-01-04 山东师范大学 基于注意机制的多模态脑肿瘤图像分割系统
CN114066908A (zh) * 2021-10-09 2022-02-18 山东师范大学 一种用于脑肿瘤图像分割的方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021258081A1 (en) * 2020-06-16 2021-12-23 Verily Life Sciences Llc Systems and methods for directly predicting cancer patient survival based on histopathology images
CN113571203A (zh) * 2021-07-19 2021-10-29 复旦大学附属华山医院 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统
CN113888555A (zh) * 2021-09-02 2022-01-04 山东师范大学 基于注意机制的多模态脑肿瘤图像分割系统
CN114066908A (zh) * 2021-10-09 2022-02-18 山东师范大学 一种用于脑肿瘤图像分割的方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
郑顾平 等: ""基于注意力机制的多尺度融合航拍影像语义分割"", vol. 39, no. 6, pages 1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024103284A1 (zh) * 2022-11-16 2024-05-23 中国科学院深圳先进技术研究院 脑肿瘤患者生存分析方法及系统
CN117524501A (zh) * 2024-01-04 2024-02-06 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法
CN117524501B (zh) * 2024-01-04 2024-03-19 长春职业技术学院 基于特征挖掘的多模态医学数据分析系统及方法

Also Published As

Publication number Publication date
CN115312198B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
Saikumar et al. A novel implementation heart diagnosis system based on random forest machine learning technique.
Gull et al. Automated detection of brain tumor through magnetic resonance images using convolutional neural network
CN115312198B (zh) 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统
Lo et al. Rapid assessment of acute ischemic stroke by computed tomography using deep convolutional neural networks
CN115131642B (zh) 一种基于多视子空间聚类的多模态医学数据融合系统
Wong et al. GCW-UNet segmentation of cardiac magnetic resonance images for evaluation of left atrial enlargement
Al-Mekhlafi et al. Deep learning and machine learning for early detection of stroke and haemorrhage
WO2023207820A1 (zh) 基于有监督深度子空间学习的胰腺术后糖尿病预测系统
CN110956610A (zh) 基于稀疏表示的下肢深静脉血栓溶栓疗效预测方法及系统
CN113361689A (zh) 超分辨率重建网络模型的训练方法和扫描图像处理方法
CN116784820A (zh) 一种基于种子点连接的脑功能网络构建方法及系统
Hao et al. Magnetic resonance image segmentation based on multi-scale convolutional neural network
CN111798452A (zh) 颈动脉手持超声图像分割方法、系统及装置
CN111145901A (zh) 深静脉血栓溶栓疗效预测方法及系统、存储介质与终端
CN116309346A (zh) 医学图像的检测方法、装置、设备、存储介质及程序产品
Xu et al. A Multi-scale Attention-based Convolutional Network for Identification of Alzheimer's Disease based on Hippocampal Subfields
Alotaibi et al. Detection of ischemic stroke tissue fate from the MRI images using a deep learning approach
Hsu et al. A comprehensive study of age-related macular degeneration detection
Kumari et al. Analysis of Biomedical Image for Alzheimer's Disease Detection
Gayatri et al. A Comparative Review of the Role of Deep Learning in Medical Image Processing
Fathima et al. Deep Learning and Machine Learning Approaches for Brain Tumor Detection and Classification
WO2023171040A1 (ja) 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル
Shen et al. Evaluation and analysis of cardiovascular function in intensive care unit patients by ultrasound image segmentation based on deep learning
US20240108316A1 (en) Processing an Arterial Doppler Ultrasound Waveform
WO2023171039A1 (ja) 情報処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに判別モデル

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant