CN115312198B - 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 - Google Patents
结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 Download PDFInfo
- Publication number
- CN115312198B CN115312198B CN202210746529.2A CN202210746529A CN115312198B CN 115312198 B CN115312198 B CN 115312198B CN 202210746529 A CN202210746529 A CN 202210746529A CN 115312198 B CN115312198 B CN 115312198B
- Authority
- CN
- China
- Prior art keywords
- brain tumor
- deep learning
- prognosis
- data
- convolution
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000003174 Brain Neoplasms Diseases 0.000 title claims abstract description 80
- 238000004393 prognosis Methods 0.000 title claims abstract description 67
- 238000004458 analytical method Methods 0.000 title claims abstract description 53
- 238000013135 deep learning Methods 0.000 title claims abstract description 51
- 230000007246 mechanism Effects 0.000 title claims abstract description 43
- 238000000034 method Methods 0.000 title claims abstract description 43
- 238000005065 mining Methods 0.000 title claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 238000012952 Resampling Methods 0.000 claims abstract description 7
- 210000004761 scalp Anatomy 0.000 claims abstract description 7
- 238000003384 imaging method Methods 0.000 claims description 24
- 238000013527 convolutional neural network Methods 0.000 claims description 14
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 10
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 4
- 239000012530 fluid Substances 0.000 claims description 4
- 210000003128 head Anatomy 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims 2
- 238000004590 computer program Methods 0.000 claims 1
- 210000004556 brain Anatomy 0.000 abstract description 9
- 230000004083 survival effect Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 7
- 206010028980 Neoplasm Diseases 0.000 abstract description 5
- 229940079593 drug Drugs 0.000 abstract description 5
- 239000003814 drug Substances 0.000 abstract description 5
- 238000006243 chemical reaction Methods 0.000 abstract description 2
- 238000010191 image analysis Methods 0.000 abstract description 2
- JXSJBGJIGXNWCI-UHFFFAOYSA-N diethyl 2-[(dimethoxyphosphorothioyl)thio]succinate Chemical group CCOC(=O)CC(SP(=S)(OC)OC)C(=O)OCC JXSJBGJIGXNWCI-UHFFFAOYSA-N 0.000 description 3
- 230000002035 prolonged effect Effects 0.000 description 3
- 206010030113 Oedema Diseases 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- 208000024891 symptom Diseases 0.000 description 2
- 208000002403 Encephalocele Diseases 0.000 description 1
- 206010027476 Metastases Diseases 0.000 description 1
- 206010054094 Tumour necrosis Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000010261 cell growth Effects 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000034994 death Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 206010015037 epilepsy Diseases 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000012010 growth Effects 0.000 description 1
- 238000007917 intracranial administration Methods 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 210000002418 meninge Anatomy 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 210000001519 tissue Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Physics & Mathematics (AREA)
- Public Health (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明属于脑图像分析技术领域,特别涉及一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统,通过获取脑肿瘤患者的磁共振影像数据,对数据进行格式转换、配准、重采样、去头皮、随机镜像翻转等一系列的预处理操作;在脑肿瘤深度学习预后分析模型中,通过注意力机制自动发现影像中对预后风险概率关键的区域,融合多尺度特征提高网络对不同尺度上肿瘤信息的提取能力,利用构建的模型来提高脑肿瘤患者的预后风险概率预测能力,便于后期通过预后风险概率来将患者的患病情况分为高、中、低风险组,以达到辅助临床医生制定患者治疗计划和评估药物疗效,进而能够提高患者生存时间。
Description
技术领域
本发明属于脑图像分析技术领域,特别涉及一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统。
背景技术
大脑是人体最敏感的部位之一,大脑中细胞的大量生长或异常生长会导致大脑行为和特征的多种变化。脑肿瘤是指生长在脑部的新生物,可起源于脑、脑膜、神经、血管及脑附件,或由身体的其他组织或脏器转移侵入脑内而形成。脑肿瘤的威胁程度取决于肿瘤类型、行为、大小、位置和生长状态等因素,其中恶性脑肿瘤可能会引起颅内压升高、水肿、脑疝、癫痫和精神症状等并发症,因此针对恶性脑肿瘤的治疗相对困难,且易复发,死亡率居高不下。早期诊断对于避免延长发病期至关重要,通过避免危及生命的并发症和及时提供有效治疗,有助于降低脑肿瘤患者的死亡率。
由于不同脑肿瘤患者的个体差异和个体化精确治疗,不同患者的生存时间表现有很大差异。研究表明,影响脑肿瘤生存时间的因素包括肿瘤周围水肿的形态和程度、肿瘤坏死的程度、肿瘤的整体形态大小以及是否有囊性改变。影响脑肿瘤因素的不确定性增加,使得接受相同治疗方法的患者的生存时间也表现出一定差异。
磁共振成像(Magnetic Resonance Imagings,MRIs)在软组织中具有高灵敏度和良好的图像对比度,是脑诊断和治疗过程中的首选。分析脑肿瘤患者的磁共振成像,从图像中挖掘可靠、客观的特征,对预测患者预后具有极其重要的临床价值。如何构建一个专业可靠的生存预测模型、利用模型输出作为医生或临床人员分析研究的中间数据成为亟待解决的问题。
发明内容
为此,本发明提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统,结合注意力机制和多尺度特征挖掘来构建挖掘磁共振影像可靠、客观的特征的预后分析模型,能够保证预测概率准确性,利用该模型预测的患者预后概率作为中间数据来辅助医生和临床研究人员制定患者治疗计划和评估药物疗效提供参考,可缓解患者症状,能够提高患者生存时间。
按照本发明所提供的设计方案,提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,包含如下内容:
利用信号采集设备获取患者磁共振影像数据,对数据进行预处理操作;
针对预处理操作后的患者磁共振影像数据,构建脑肿瘤深度学习预后分析模型并进行训练优化,以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率,其中,脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络,并在主网络中引入注意力机制,以使模型自动聚焦输入数据关键位置,同时融合多尺度特征来获取输入数据的不同尺度信息。
作为本发明中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步地,利用磁共振成像方法采集患者脑肿瘤原始医学图像数据,并通过加权成像算法来获取磁共振影像数据,该磁共振影像数据至少包含:T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。
作为本发明中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步,预处理操作包含:磁共振影像数据的NIFTI格式统一转换处理及配准处理,采样至均匀各向同性分辨率的重采样处理,依据标准头部模板进行的去头皮处理,和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。
作为本发明中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步地,在对磁共振影像数据进行预处理中,还包含:通过分割图像来标注感兴趣区域。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步地,利用脑肿瘤公开数据集作为训练样本,以对脑肿瘤深度学习预后分析模型进行训练,其中,该训练样本中包含:T1加权成像序列、T2加权成像序列、增强T1加权成像序列、液体衰减反转(FLAIR)序列及每个患者影像数据中标注的感兴趣区域。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步地,脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含:若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层,与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层,用于对去噪操作后的数据进行上采样处理的上采样层,及用于处理后的特征数据进行全连接操作的全连接层。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步地,卷积层输出表示为:其中,/>表示卷积操作,W为卷积核权重向量,b为输出映射的偏移量,f(·)为激活函数。
作为本发明结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,进一步地,3D卷积神经网络中与各上采样层或池化层连接的卷积层采用异构尺寸的卷积核;且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射,并将处理后的特征数据与上采样特征关联合并,其中,注意力机制中权重计算公式表示为:权重/>表示当分辨率为s时体素在整个网络中位置i处的重要性,/>表示在3D卷积神经网络处理中分辨率为s时位置i处体素对应的分数值。
进一步地,本发明还提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统,包含:数据获取模块和模型构建模块,其中,
数据获取模块,用于获取患者磁共振影像数据,对数据进行预处理操作;
模型构建模块,用于针对预处理操作后的患者磁共振影像数据,利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率,其中,脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络,并在主网络中引入注意力机制,以使模型自动聚焦输入数据关键位置,同时融合多尺度特征来获取输入数据的不同尺度信息。
本发明的有益效果:
本发明利用信号采集设备来获取脑肿瘤患者的磁共振影像数据,对数据进行格式转换、配准、重采样、去头皮、随机镜像翻转等一系列的预处理操作;在构建的脑肿瘤深度学习预后分析模型中,通过注意力机制自动发现影像中对预后风险概率关键的区域,融合多尺度特征提高网络对不同尺度上肿瘤信息的提取能力,提高脑肿瘤患者的预后风险概率预测能力,便于后期利用预后风险概率来将患者的患病情况分为高、中、低风险组,以最终辅助临床医生制定患者治疗计划和评估药物疗效,进而能够提高患者的生存时间,拓展人工智能的实际应用范围。
附图说明:
图1为实施例中结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模流程示意;
图2为实施例中脑肿瘤深度学习预后分析模型示意。
具体实施方式:
为使本发明的目的、技术方案和优点更加清楚、明白,下面结合附图和技术方案对本发明作进一步详细的说明。
本发明实施例,提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,包含:利用信号采集设备获取患者磁共振影像数据,对数据进行预处理操作;针对预处理操作后的患者磁共振影像数据,构建脑肿瘤深度学习预后分析模型并进行训练优化,以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率,其中,脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络,并在主网络中引入注意力机制,以使模型自动聚焦输入数据关键位置,同时融合多尺度特征来获取输入数据的不同尺度信息。
参见图1所示,可通过磁共振系统作为信号采集设备来获取脑肿瘤患者的磁共振影像数据,并采用配准、重采样、去头皮、随机轴镜像翻转等操作进行数据预处理操作,结合注意力机制和多尺度特征挖掘通过构建脑肿瘤深度学习预后分析模型来挖掘3D影像数据深层隐藏信息,最终得出脑肿瘤患者的预后风险概率,为临床医生制定患者治疗计划和评估药物疗效提供参考,提高患者生存时间。
本案实施例中,进一步地,利用磁共振成像方法采集患者脑肿瘤原始医学图像数据,并通过加权成像算法来获取磁共振影像数据,该磁共振影像数据至少包含:T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。进一步,预处理操作包含:磁共振影像数据的NIFTI格式统一转换处理及配准处理,采样至均匀各向同性分辨率的重采样处理,依据标准头部模板进行的去头皮处理,和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理。利用脑肿瘤公开数据集作为训练样本,以对脑肿瘤深度学习预后分析模型进行训练,其中,该训练样本中包含:T1加权成像序列、T2加权成像序列、增强T1加权成像序列、FLAIR序列及每个患者影像数据中标注的感兴趣区域。
收集脑肿瘤患者的磁共振影像数据,可获取的脑肿瘤公开数据集有MICCAIBraTS2017~2021,其中包含T1加权成像序列、T2加权成像序列、增强后的T1加权成像序列、FLAIR序列,每个患者的影像数据都对应标注的感兴趣区域,该数据集统计大部分患者的总生存期。此外,通过常规磁共振成像方法采集得到的脑肿瘤原始医学图像数据需要进行一系列预处理操作,包括使用python等软件将格式统一转换为NIFTI,使用FSL等软件进行配准,重采样至均匀各向同性分辨率(1mm3),利用SPM或BET等模块根据标准头部磁共振影像数据模板去头皮,对冠状位、矢状位、横断位进行随机轴镜像翻转,以获取预处理后的影像数据。
进一步地,本案实施例中,在对磁共振影像数据进行预处理中,还包含:通过分割图像来标注感兴趣区域。对于每一个脑肿瘤医学影像样本,需要手动分割图像中的感兴趣区域,具体操作为,由两位影像科临床医生使用ITK-SNAP或3D Slicer等软件独立勾画感兴趣区域,并共同确认有效,当两个勾画结果不一致时,需要由两位医生一起重新查看该样本,共同确认有效的感兴趣区域勾画结果。
本案实施例中,进一步地,脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含:若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层,与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层,用于对去噪操作后的数据进行上采样处理的上采样层,及用于处理后的特征数据进行全连接操作的全连接层。3D卷积神经网络中与各上采样层或池化层连接的卷积层可采用异构尺寸的卷积核;且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射,并将处理后的特征数据与上采样特征关联合并。
可通过python软件的tensorflow或pytorch等框架搭建结合注意力机制和多尺度特征挖掘的脑肿瘤深度学习预后分析模型,如图2所示,该模型基于传统的3D卷积神经网络。卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络,在深度学习中擅长处理图像数据,本案中脑肿瘤深度学习预后分析模型主要针对患者的磁共振影像数据进行研究,其具有三维空间特征,因此,可使用3D卷积神经网络作为模型基础。卷积神经网络借助卷积运算操作的优势,能够对原始数据进行更高层次和更抽象的表达,卷积层的输出特征C可以通过下式得到:
其中,表示卷积操作,W为卷积核的权重向量,每个输出映射都有一个偏移量b;f(·)为激活函数,例如ReLU,Sigmoid,tanh等。池化层的作用是对卷积输出进行下采样操作,保留强特征,去除弱特征,同时具有减少参数数量和防止过拟合的效果。
如图2中的(a)所示,该模型由向一系列下采样和上采样步骤组成。在下采样过程中,每一层利用两个具有ReLU激活函数的3D卷积进行特征提取,然后通过最大池化层减小特征映射的大小。随后将高分辨率特征与上采样特征连接,然后进行两个3D卷积操作。其中输入层的影像样本大小为128*128*112,通过具有Sigmoid激活功能的全连接操作,得到输出层为3,分别对应脑肿瘤患者的患病情况,即高、中、低风险组。
本案中的脑肿瘤预后分析模型中的一个关键技术为在跳跃连接部分使用注意力机制模块,该模块处理卷积层和上采样层的特征映射,然后与上采样特征映射相关联。如图2中的(b)所示,注意力机制中不同尺度的权重计算公式可表示为:
式(2)中,权重反映了当分辨率为s时,体素在整个网络中位置i处的重要性。将注意力机制应用到3D卷积神经网络模型中,可以更好地实现对显著区域的注意和对无关背景区域的抑制。注意力系数(值0~1)乘以特征图将使无关区域的值变小(即抑制作用),目标区域的值变大(即注意作用)。
为了充分利用3D卷积层的多尺度特征,本案的模型中将得到的不同比例的特征分别以相同的池大小进行池化,以重新映射多分辨率结构,然后通过独立的全连接层细化这些不同尺度的密集特征,随后多尺度特征被进一步连接并反馈到后面的全连接层进行分类。最终得到脑肿瘤患者的预后风险概率,通过将患者的患病情况分为高、中、低风险组帮助临床医生制定患者治疗计划和评估药物疗效,从而提高患者的生存时间。
进一步地,基于上述的方法,本发明实施例还提供一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统,包含:数据获取模块和模型构建模块,其中,
数据获取模块,用于获取患者磁共振影像数据,对数据进行预处理操作;
模型构建模块,用于针对预处理操作后的患者磁共振影像数据,利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率,其中,脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络,并在主网络中引入注意力机制,以使模型自动聚焦输入数据关键位置,同时融合多尺度特征来获取输入数据的不同尺度信息。
除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
结合本文中所公开的实施例描述的各实例的单元及方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已按照功能一般性地描述了各示例的组成及步骤。这些功能是以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域普通技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不认为超出本发明的范围。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如:只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (8)
1.一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,其特征在于,包含如下内容:
利用信号采集设备获取患者磁共振影像数据,对数据进行预处理操作;预处理操作包含:磁共振影像数据的NIFTI格式统一转换处理及配准处理,采样至均匀各向同性分辨率的重采样处理,依据标准头部模板进行的去头皮处理,和对冠状位、矢状位、横断位进行的随机轴镜像翻转处理,和通过分割图像来标注感兴趣区域,其中,分割图像标注感兴趣区域时,对于每一个脑肿瘤医学影像样本,手动分割图像中的感兴趣区域,由两位影像科临床医生使用ITK-SNAP或3D Slicer软件独立勾画感兴趣区域,并共同确认有效,当两个勾画结果不一致时,由两位医生一起重新查看该脑肿瘤医学影像样本,共同确认有效的感兴趣区域勾画结果;
针对预处理操作后的患者磁共振影像数据,构建脑肿瘤深度学习预后分析模型并进行训练优化,以利用已训练优化的脑肿瘤深度学习预后分析模型来获取患者预后概率,其中,脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络,并在主网络中引入注意力机制,以使模型自动聚焦输入数据预后风险概率关键位置,同时融合多尺度特征来获取输入数据的不同尺度信息。
2.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,其特征在于,利用磁共振成像方法采集患者脑肿瘤原始医学图像数据,并通过加权成像算法来获取磁共振影像数据,该磁共振影像数据至少包含:T1加权成像序列、T2加权成像序列、增强T1加权成像序列及液体衰减反转序列。
3.根据权利要求1所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,其特征在于,利用脑肿瘤公开数据集作为训练样本,以对脑肿瘤深度学习预后分析模型进行训练,其中,该训练样本中包含:T1加权成像序列、T2加权成像序列、增强T1加权成像序列、液体衰减反转序列及每个患者影像数据中标注的感兴趣区域。
4.根据权利要求1或3所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,其特征在于,脑肿瘤深度学习预后分析模型中的3D卷积神经网络包含:若干用于对输入数据进行卷积运算操作以提取特征信息的卷积层,与用于对卷积输出进行下采样操作以对特征进行去噪操作的池化层,用于对去噪操作后的数据进行上采样处理的上采样层,及用于处理后的特征数据进行全连接操作的全连接层。
5.根据权利要求4所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,其特征在于,卷积层输出表示为:其中,/>表示卷积操作,W为卷积核权重向量,b为输出映射的偏移量,f(·)为激活函数。
6.根据权利要求4所述的结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法,其特征在于,3D卷积神经网络中与各上采样层或池化层连接的卷积层采用异构尺寸的卷积核;且模型中利用注意力机制处理3D卷积神经网络中卷积层和上采样层的特征映射,并将处理后的特征数据与上采样特征关联合并,其中,注意力机制中权重计算公式表示为:权重/>表示当分辨率为s时体素在整个网络中位置i处的重要性,表示在3D卷积神经网络处理中分辨率为s时位置i处体素对应的分数值。
7.一种结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模系统,其特征在于,基于权利要求1所述的方法实现,包含:数据获取模块和模型构建模块,其中,
数据获取模块,用于获取患者磁共振影像数据,对数据进行预处理操作;
模型构建模块,用于针对预处理操作后的患者磁共振影像数据,利用已训练的脑肿瘤深度学习预后分析模型来获取患者预后概率,其中,脑肿瘤深度学习预后分析模型利用3D卷积神经网络作为特征提取的主网络,并在主网络中引入注意力机制,以使模型自动聚焦输入数据关键位置,同时融合多尺度特征来获取输入数据的不同尺度信息。
8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~6任一项所述的方法步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210746529.2A CN115312198B (zh) | 2022-06-29 | 2022-06-29 | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210746529.2A CN115312198B (zh) | 2022-06-29 | 2022-06-29 | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115312198A CN115312198A (zh) | 2022-11-08 |
CN115312198B true CN115312198B (zh) | 2023-09-19 |
Family
ID=83855424
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210746529.2A Active CN115312198B (zh) | 2022-06-29 | 2022-06-29 | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115312198B (zh) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024103284A1 (zh) * | 2022-11-16 | 2024-05-23 | 中国科学院深圳先进技术研究院 | 脑肿瘤患者生存分析方法及系统 |
CN117524501B (zh) * | 2024-01-04 | 2024-03-19 | 长春职业技术学院 | 基于特征挖掘的多模态医学数据分析系统及方法 |
CN118172342B (zh) * | 2024-03-29 | 2024-09-10 | 中国人民解放军空军军医大学 | 一种腔内肿瘤影像检测方法与系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113571203A (zh) * | 2021-07-19 | 2021-10-29 | 复旦大学附属华山医院 | 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统 |
WO2021258081A1 (en) * | 2020-06-16 | 2021-12-23 | Verily Life Sciences Llc | Systems and methods for directly predicting cancer patient survival based on histopathology images |
CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割系统 |
CN114066908A (zh) * | 2021-10-09 | 2022-02-18 | 山东师范大学 | 一种用于脑肿瘤图像分割的方法及系统 |
-
2022
- 2022-06-29 CN CN202210746529.2A patent/CN115312198B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021258081A1 (en) * | 2020-06-16 | 2021-12-23 | Verily Life Sciences Llc | Systems and methods for directly predicting cancer patient survival based on histopathology images |
CN113571203A (zh) * | 2021-07-19 | 2021-10-29 | 复旦大学附属华山医院 | 多中心基于联邦学习的脑肿瘤预后生存期预测方法及系统 |
CN113888555A (zh) * | 2021-09-02 | 2022-01-04 | 山东师范大学 | 基于注意机制的多模态脑肿瘤图像分割系统 |
CN114066908A (zh) * | 2021-10-09 | 2022-02-18 | 山东师范大学 | 一种用于脑肿瘤图像分割的方法及系统 |
Non-Patent Citations (1)
Title |
---|
郑顾平 等."基于注意力机制的多尺度融合航拍影像语义分割".图学学报.2018,第39卷(第6期),第1节. * |
Also Published As
Publication number | Publication date |
---|---|
CN115312198A (zh) | 2022-11-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115312198B (zh) | 结合注意力机制和多尺度特征挖掘的深度学习脑肿瘤预后分析建模方法及系统 | |
Wee et al. | Cortical graph neural network for AD and MCI diagnosis and transfer learning across populations | |
Saikumar et al. | A novel implementation heart diagnosis system based on random forest machine learning technique. | |
CN113450294A (zh) | 多模态医学图像配准融合方法、装置及电子设备 | |
CN110934606A (zh) | 脑卒中早期平扫ct图像评估系统及评估方法、可读存储介质 | |
CN110853111B (zh) | 医学影像处理系统、模型训练方法及训练装置 | |
CN114926477B (zh) | 一种基于深度学习的脑肿瘤多模态mri影像分割方法 | |
JP2023511300A (ja) | 医用画像における解剖学的構造を自動的に発見するための方法及びシステム | |
Jafari et al. | Automated diagnosis of cardiovascular diseases from cardiac magnetic resonance imaging using deep learning models: A review | |
CN113239755B (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
CN112991363A (zh) | 脑肿瘤图像分割方法、装置、电子设备及存储介质 | |
US20200104996A1 (en) | Apparatus, method, and program for training discriminator discriminating disease region, discriminator discriminating disease region, disease region discrimination apparatus, and disease region discrimination program | |
CN110838114A (zh) | 肺结节检测方法、装置及计算机存储介质 | |
Kumaraswamy et al. | A review on cancer detection strategies with help of biomedical images using machine learning techniques | |
CN116784820A (zh) | 一种基于种子点连接的脑功能网络构建方法及系统 | |
CN113361689A (zh) | 超分辨率重建网络模型的训练方法和扫描图像处理方法 | |
Kanumuri et al. | A survey: Brain tumor detection using MRI image with deep learning techniques | |
CN112884759B (zh) | 一种乳腺癌腋窝淋巴结转移状态的检测方法及相关装置 | |
CN113674251A (zh) | 基于多模态影像的腰椎图像分类识别系统、设备和介质 | |
CN112508868A (zh) | 一种颅内血管综合图像生成方法 | |
CN111798452A (zh) | 颈动脉手持超声图像分割方法、系统及装置 | |
Preity et al. | Automated computationally intelligent methods for ocular vessel segmentation and disease detection: a review | |
CN116309346A (zh) | 医学图像的检测方法、装置、设备、存储介质及程序产品 | |
Butler et al. | The effectiveness of self-supervised pre-training for multi-modal endometriosis classification | |
CN112508881A (zh) | 一种颅内血管图像配准方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |