CN115375665B - 一种基于深度学习策略的早期阿尔兹海默症发展预测方法 - Google Patents
一种基于深度学习策略的早期阿尔兹海默症发展预测方法 Download PDFInfo
- Publication number
- CN115375665B CN115375665B CN202211060580.4A CN202211060580A CN115375665B CN 115375665 B CN115375665 B CN 115375665B CN 202211060580 A CN202211060580 A CN 202211060580A CN 115375665 B CN115375665 B CN 115375665B
- Authority
- CN
- China
- Prior art keywords
- self
- attention
- feature
- attention module
- magnetic resonance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 208000024827 Alzheimer disease Diseases 0.000 title claims abstract description 33
- 238000011161 development Methods 0.000 title claims abstract description 16
- 239000013598 vector Substances 0.000 claims abstract description 134
- 230000004927 fusion Effects 0.000 claims abstract description 53
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 51
- 210000004556 brain Anatomy 0.000 claims abstract description 21
- 238000013135 deep learning Methods 0.000 claims abstract description 18
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 9
- 210000005013 brain tissue Anatomy 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 238000012937 correction Methods 0.000 claims description 5
- 210000003484 anatomy Anatomy 0.000 claims description 4
- 230000005750 disease progression Effects 0.000 claims 3
- 230000007547 defect Effects 0.000 abstract description 4
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000011282 treatment Methods 0.000 abstract description 4
- 230000000750 progressive effect Effects 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract description 2
- 238000011160 research Methods 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 15
- 230000018109 developmental process Effects 0.000 description 13
- 238000011176 pooling Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000012549 training Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 6
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 4
- 208000010877 cognitive disease Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 238000010234 longitudinal analysis Methods 0.000 description 3
- 208000027061 mild cognitive impairment Diseases 0.000 description 3
- 238000002610 neuroimaging Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- HGBLNBBNRORJKI-WCABBAIRSA-N cyclacillin Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)C1(N)CCCCC1 HGBLNBBNRORJKI-WCABBAIRSA-N 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 208000000044 Amnesia Diseases 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000028698 Cognitive impairment Diseases 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 230000003412 degenerative effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 231100000863 loss of memory Toxicity 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 208000037821 progressive disease Diseases 0.000 description 1
- 238000001671 psychotherapy Methods 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
- A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
- A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
- A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Molecular Biology (AREA)
- General Physics & Mathematics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Computation (AREA)
- Surgery (AREA)
- Radiology & Medical Imaging (AREA)
- Software Systems (AREA)
- Pathology (AREA)
- Computing Systems (AREA)
- Neurology (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Multimedia (AREA)
- Databases & Information Systems (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Hospice & Palliative Care (AREA)
- Computational Linguistics (AREA)
- Psychology (AREA)
- Neurosurgery (AREA)
Abstract
本发明涉及人工智能医疗技术领域，具体涉及一种基于深度学习策略的早期阿尔兹海默症发展预测方法；获取多名MCI患者在固定时间间隔对应的三维脑部核磁共振图像，得到各个样本；对各样本中预处理后的核磁共振图像进行切片操作，使用卷积神经网络提取各张切片的特征并将其表示为特征向量；对每个样本中的两个特征向量序列进行位置嵌入；使用特征融合模型对经过位置嵌入后的两个特征向量序列执行横向特征融合和纵向特征融合；将融合后的特征全局平均后输入分类器，得到各样本的预测结果；本发明既避免了手动提取特征主观性较大的缺点，又考虑了早期阿尔兹海默症的进展性，避免了横向研究受个体差异影响和观察时间较短的缺点。
Description
技术领域
本发明涉及人工智能医疗技术领域，具体涉及一种基于深度学习策略的早期阿尔兹海默症发展预测方法。
背景技术
阿尔兹海默症(Alzheimer's Disease,简称AD)是目前最难以治愈的老年疾病之一。AD是一种退化型、不可逆的脑部疾病，随着疾病的发展，越来越多的大脑神经元失去功能，神经元之间失去联系，甚至神经元死亡，大脑的皮质区、海马体萎缩，脑室增大，外在表现为记忆力和其他认知能力的减弱或完全丧失。患者根据认知的不同阶段分成：1.认知正常(Cognitively Normal,简称CN)，即患者没有认知障碍症状；2.轻度认知障碍(Mildcognitive Impairment,MCI)3.AD。
据统计，有44％的MCI的患者在3年内转化为AD；在未来3年内转化为AD的MCI患者称为进展型MCI(progressive MCI,pMCI)，在未来3年内没有转化为AD的MCI患者称为稳定型MCI(stable MCI,sMCI)。MCI患者尽管在语言、记忆、思维能力等方面存在一些问题，但症状没有AD患者那么严重，所以MCI患者经常被误认为是衰老的表现而不被引起重视。然而，如果MCI完全转化为AD，迄今为止还不存在有效的针对药物和治疗手段能够治愈AD。
鉴于AD的不可逆性，患者在MCI时期的预测和防治非常关键，在患者的MCI阶段能够准确的预测MCI的发展趋势，并及时地进行药物治疗和精神治疗，可以有效地减缓病情的恶化，从而提高患者的生活质量。神经影像检查可以直观的反映患者的病理性变化，并且由于其非侵入性的优势，更容易被患者和家属接受。在神经影像检查的方法中，磁共振成像(MRI)是诊断AD的常用方法，它对脑软组织具有较高的分辨率，可以三维显示脑组织，提供有用的人脑解剖信息，因此产生了众多基于MRI图像来预测AD的算法。
使用传统机器学习算法需要手动提取特征，主观性较大并且专业性较强，这限制了这些算法用于预测AD的普及和应用。使用深度学习算法可以避免这些缺点，然而，大多数现有的深度学习算法使用在某一特定时间点采集的MRI图像，并通过对MRI图像的分析来进行患者当前病情的诊断或下一阶段病情的预测。由于MCI为进展性疾病，所以单个时间点采集的MRI图像不能准确反映出患者将来的发展趋势。此外，由于目前传统的深度学习算法难以处理空间上不相关的时间序列特征，限制了深度学习在MCI纵向分析上的应用。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于深度学习策略的早期阿尔兹海默症发展预测方法，所采用的技术方案具体如下：
获取多名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像，并将一名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像作为一个样本；
对各样本中的每张核磁共振图像进行预处理，得到预处理后的核磁共振图像；
对各张预处理后的核磁共振图像进行切片操作，得到各张预处理后的核磁共振图像对应的多张切片，并对所述切片进行尺寸调整，进而得到各张预处理后的核磁共振图像对应的切片序列；
使用卷积神经网络提取各张切片的特征并将其表示为特征向量，得到各个切片序列对应的特征向量序列；
对每个样本中的两个特征向量序列进行位置嵌入，所述位置嵌入包括两个特征向量序列各自内部的横向位置嵌入和两个特征向量序列之间的纵向位置嵌入；
使用特征融合模型对每个样本中经过位置嵌入后的两个特征向量序列执行横向特征融合和纵向特征融合；将融合后的特征全局平均后输入分类器，得到各样本对应的预测结果；其中所述特征融合模型包括多个不同的自注意力模块。
优选的，所述预处理包括以下步骤：
(1)将核磁共振图像的解剖结构进行对齐，得到对齐后的核磁共振图像；
(2)去除对齐后的核磁共振图像中的非脑部组织像素；
(3)对去除非脑部组织像素后的核磁共振图像进行统一的N4偏置场矫正。
优选的，所述尺寸调整的方法为对切片进行下采样。
优选的，在使用卷积神经网络提取各张切片的特征并将其表示为特征向量之前，对切片进行维度扩充。
优选的，所述自注意力模块包括纵向自注意力模块、右滑动窗口自注意力模块、左滑动窗口自注意力模块以及全窗口自注意力模块。
优选的，在特征融合模型中纵向特征融合和横向特征融合交替执行；在纵向特征融合中，自注意力发生在两个特征向量序列之间；在横向特征融合中，除最后一个横向特征融合对应的自注意力模块外，自注意力发生在注意力窗口内，并且注意力窗口在执行完本次操作后，沿着对应特征向量序列中的特征向量滑动，到达新的位置后继续执行注意力操作，直至到达对应特征向量序列的末尾；注意力窗口的大小随着横向特征融合对应的自注意力模块的叠加而增大，注意力窗口的滑动方向随着横向特征融合对应的自注意力模块的交替而发生反转。
优选的，所述横向特征融合对应的自注意力模块包括左滑动窗口自注意力模块、右滑动窗口自注意力模块以及全窗口自注意力模块。
本发明实施例至少具有如下有益效果：
本发明通过获取多名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像，将一名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像作为一个样本；对各样本中预处理后的核磁共振图像进行切片操作，使用卷积神经网络提取各张切片的特征并将其表示为特征向量；对每个样本中的两个特征向量序列进行位置嵌入；使用特征融合模型对经过位置嵌入后的两个特征向量序列执行横向特征融合和纵向特征融合；将融合后的特征全局平均后输入分类器，得到各样本的预测结果。即本发明采用纯深度学习的方式对多名MCI患者在固定时间间隔对应的脑部核磁共振图像进行纵向分析，纯深度学习和纵向分析方法的结合不仅避免了手动提取特征带来的主观性和专业性较强的缺点，使得MCI的发展预测更具有普适性，而且考虑到了MCI的进展性，避免了横向研究受个体差异影响和观察时间较短的缺点，提高了MCI发展预测的准确性，具有较优的范化能力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明的一种基于深度学习策略的早期阿尔兹海默症发展预测方法实施例的步骤流程图；
图2为核磁共振图像在预处理的各个步骤中对应的示意图；
图3为提取一张切片的特征并将其表示为特征向量的具体实施步骤示意图；
图4为步骤5至步骤6的操作示意图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的方案，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
请参阅图1，其示出了本发明一个实施例提供的一种基于深度学习策略的早期阿尔兹海默症发展预测方法的步骤流程图，该方法包括以下步骤：
步骤1，获取多名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像，并将一名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像作为一个样本。
本实施例从ADNI(Alzheimer's disease neuroimaging initiative，阿尔茨海默症的神经影像学)数据库中获取多名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像，并将一名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像作为一个样本，本实施例将固定时间间隔设定为2年，在具体操作过程中，实施者可对固定时间间隔的时间进行调整；具体地，从ADNI数据库中经过条件查询获取823个样本，每个样本包含两张时间间隔为2年的三维脑部核磁共振图像，然后按照时间的先后顺序将每一个样本中的两张三维脑部核磁共振图像分别记为T1MRI和T2MRI；其中，在823个样本中，有449个样本属于进展型MCI，即在未来3年内转化为了AD；有374个样本属于稳定性MCI，即在未来3年内没有转化为AD，实施者可对样本的数量进行调整。
需要说明的是，ADNI数据库是一个庞大的公开数据集，收集了最终被诊断出患有阿尔茨海默症、轻度认知障碍或没有任何障碍的患者的PET扫描数据，并对患者进行持续跟踪，因此能够ADNI数据库中获取准确的样本数据，并得知每一个样本在未来3年内会不会转化为AD。其中，每一个样本对应的两张三维脑部核磁图像均为患者处于MCI阶段对应的三维脑部核磁共振图像。
步骤2，对各样本中的每一张核磁共振图像进行预处理，得到预处理后的核磁共振图像。
每一张核磁共振图像的预处理过程都是相同的，因此本实施仅对一张核磁共振图像的预处理过程进行详细说明，如图2所示，图2为核磁共振图像在预处理的各个步骤中对应的示意图。
预处理包括以下步骤：
(1)将核磁共振图像的解剖结构进行对齐，得到对齐后的核磁共振图像。
具体地，使用FSL(FMRIB Software Library)工具将MCI患者脑部的核磁共振图像的解剖结构进行对齐，得到对齐后的核磁共振图像。
(2)去除对齐后的核磁共振图像中的非脑部组织像素。
具体地，使用FSL去除对齐后的核磁共振图像中的非脑部组织像素。
(3)对去除非脑部组织像素后的核磁共振图像进行统一的N4偏置场矫正。
具体地，使用ANTs(Advanced Normalization Tools)对去除非脑部组织像素后的核磁共振图像进行统一的N4偏置场矫正，消除明暗不均；其中，N4偏置场矫正为公知技术，不再赘述。
需要说明的是，对各样本中的每一张核磁共振图像均进行预处理操作，以便后续统一分析，去除非脑部组织像素的操作减少了运算量，预处理操作避免了因各张核磁共振图像对应的位置不一或明暗不均等因素使得后续分析结果产生不必要的误差，进而导致分析结果不准确的现象。
步骤3，对各张预处理后的核磁共振图像进行切片操作，得到各张预处理后的核磁共振图像对应的多张切片，并对所述切片进行尺寸调整，进而得到各张预处理后的核磁共振图像对应的切片序列。
具体地，利用SPM12(Statistical Parametric Mapping 12)定位每张预处理后的核磁共振图像的AC-PC原点，根据AC-PC原点在Axial轴的位置，分别沿着Axial轴上下两端的方向依次获取切片，本实施例中一张预处理后的核磁共振图像获取80张切片，每一张切片的维度为218×218×1；然后使用双线性插值算法对切片进行下采样操作调整切片的尺寸，下采样后每张切片的维度为112×112×1；得到每张预处理后的核磁共振图像对应的切片序列。其中双线性插值算法为公知技术，不在本发明的保护范围内，不再赘述。
至此，每一张预处理后的核磁共振图像得到一个切片序列，一个样本中包括两个切片序列，将各样本中T1MRI对应的切片序列记为T1切片序列，将T2MRI对应的切片序列记为T2切片序列。
步骤4，使用卷积神经网络提取各张切片的特征并将其表示为特征向量，得到各个切片序列对应的特征向量系列。
本实施例对每一张切片均进行特征提取并将其表示为特征向量，每一张切片对应的具体实施步骤一致，因此只对其中一张切片的具体实施步骤进行详细说明，如图3所示，图3为提取一张切片的特征并将其表示为特征向量的具体实施步骤示意图。
在使用卷积神经网络提取各张切片的特征并将其表示为特征向量之前，对切片进行维度扩充。
具体地，使用输入维度为1，输出维度为3，卷积核大小为3×3的卷积操作对切片进行维度扩充，得到维度扩充后的切片；经过维度扩充后的切片的维度为112×112×3。
然后使用VGG-16卷积神经网络提取维度扩充后的切片对应的特征并将其表示为特征向量，具体步骤如下：
(1)对维度扩充后的切片执行2次输入维度为3，输出维度为64，卷积核大小为3×3的卷积操作+Rule激活，一次池化窗口为2×2的最大池化操作，输出特征图维度为56×56×128；
(2)对维度为56×56×128的特征图执行2次输入维度为64，输出维度为128，卷积核大小为3×3的卷积操作+Rule激活，一次池化窗口为2×2的最大池化操作，输出特征图维度为28×28×256；
(3)对维度为28×28×256的特征图执行3次输入维度为128，输出维度为256，卷积核大小为3×3的卷积操作+Rule激活，一次池化窗口为2×2的最大池化操作，输出特征图维度为14×14×512；
(4)对维度为14×14×512的特征图执行3次输入维度为128，输出维度为512，卷积核大小为3×3的卷积操作+Rule激活，一次池化窗口为2×2的最大池化操作，输出特征图维度为7×7×512；
(5)对维度为7×7×512的特征图执行3次输入维度为512，输出维度为512，卷积核大小为3×3的卷积操作+Rule激活，一次池化窗口为2×2的最大池化操作，输出特征图维度为3×3×512。
最后对维度为3×3×512的特征图使用输入维度为512，输出维度为256，卷积核大小为3×3的卷积操作将该特征图映射为特征向量，映射后的特征向量的维度为256×1。
至此，完成了对各张切片对应的特征提取并将特征表示为特征向量的操作，得到各个切片序列对应的特征向量系列；并将T1切片序列对应的特征向量序列记为T1特征向量序列，将T2切片序列对应的特征向量序列记为T2特征向量序列。
步骤5，对每个样本中的两个特征向量序列进行位置嵌入，所述位置嵌入包括两个特征向量序列各自内部的横向位置嵌入和两个特征向量序列之间的纵向位置嵌入。
将没有经过位置嵌入的特征向量序列分别记为XT1，XT2，即XT1为T1特征向量序列，XT2为T2特征向量序列。
具体地，其中，X(T1,c)(c＝1,...,N)为T1特征向量序列的第c个特征向量，X(T2,c)(c＝1,...,N)为T2特征向量序列的第c个特征向量，N为T1特征向量序列或T2特征向量序列中特征向量的总数量；即T1特征向量序列中特征向量的总数量与T2特征向量序列中特征向量的总数量一致。
对XT1，XT2分别进行横向位置嵌入，得到和/>即：
式中，APEcross为横向绝对位置编码矩阵，大小为N×256，为/>中的第1个特征向量，/>为/>中的第N个特征向量，X(T1,1)为XT1中的第1个特征向量，X(T1,N)为XT1中的第N个特征向量；/>为/>中的第1个特征向量，/>为/>中的第N个特征向量；X(T2,1)为XT2中的第1个特征向量，X(T2,N)为XT2中的第N个特征向量；N为XT1、XT2、/>或/>中特征向量的总数量；即XT1中的特征向量的总数量、XT2中的特征向量的总数量、/>中的特征向量的总数量与/>中的特征向量的总数量一致。
在APEcross中第pos行置第i列元素的计算如下：
其中，k用于映射列索引i，且0≤k＜128。
然后对和/>进行纵向位置嵌入，得到/>和/>即：
其中，APElongitudinal为纵向绝对位置编码矩阵，大小为2×256，为/>中的第1个特征向量，/>为/>中的第N个特征向量，/>为/>中的第1个特征向量，/>为中的第N个特征向量，/>为/>中的第i个特征向量，/>为/>中的第i个特征向量；/>为/>中的第i个特征向量，/>为/>中的第i个特征向量；N为/>或/>中特征向量的总数量。即/>中的特征向量的总数量、/>中的特征向量的总数量、中的特征向量的总数量与/>中的特征向量的总数量一致。
在APElongitudinal中第pos行第i列元素的计算如下：
其中k用于映射列索引i，且0≤k＜128。
需要说明的是，横向位置嵌入以及纵向位置嵌入均为公知技术，不在本发明的保护范围内，在此只做简要概述，具体过程不再赘述。
步骤6，使用特征融合模型对每个样本中经过位置嵌入后的两个特征向量序列执行横向特征融合和纵向特征融合；将融合后的特征全局平均后输入分类器，得到各样本对应的预测结果；其中所述特征融合模型包括多个不同的自注意力模块。
所述自注意力模块包括纵向自注意力模块、右滑动窗口自注意力模块、左滑动窗口自注意力模块以及全窗口自注意力模块。
在特征融合模型中纵向特征融合和横向特征融合交替执行；在纵向特征融合中，自注意力发生在两个特征向量序列之间；在横向特征融合中，除最后一个横向特征融合对应的自注意力模块外，自注意力发生在注意力窗口内，并且注意力窗口在执行完本次操作后，沿着对应特征向量序列中的特征向量滑动，到达新的位置后继续执行注意力操作，直至到达对应特征向量序列的末尾；注意力窗口的大小随着横向特征融合对应的自注意力模块的叠加而增大，注意力窗口的滑动方向随着横向特征融合对应的自注意力模块的交替而发生反转。
上述中横向特征融合对应的自注意力模块包括左滑动窗口自注意力模块、右滑动窗口自注意力模块以及全窗口自注意力模块；即左滑动窗口自注意力模块、右滑动窗口自注意力模块以及全窗口自注意力模块用于对横向特征进行融合，纵向自注意力模块用于对纵向特征进行融合。
本实施例对使用特征融合模型对其中一个样本中经过位置嵌入后的两个特征向量序列执行横向特征融合和纵向特征融合的具体过程进行简要说明。
具体地，根据图4可以得知，本实施例中的特征融合模型由15个自注意力模块构成，即5个纵向自注意力模块，4个右滑动窗口自注意力模块，4个左滑动窗口自注意力模块以及2个全窗口自注意力模块；对于和/>来说，其各自在经过了8个相互交叉的纵向自注意力模块和滑动窗口自注意力模块之后，经过了纵向自注意力模块和全窗口自注意力模块，这10个自注意力模块交替的对/>和/>进行纵向特征融合与横向特征融合。本实施例将/>和/>执行过第l-1个自注意力模块的输出分别记为/>和/>
其中，为/>中的第c个特征向量，/>为/>中的第c个特征向量；N为/>或/>中特征向量的总数量，即/>中特征向量的总数量与/>中特征向量的总数量一致。
将和/>执行过第l个自注意力模块的输出分别记为/>和/>具体地，
其中，为/>中的第c个特征向量，/>为/>中的第c个特征向量；N为/>或/>中特征向量的总数量，即/>中特征向量的总数量与/>中特征向量的总数量一致。
本实施例中，第l个自注意力模块可能为纵向自注意力模块、右滑动窗口自注意力模块、左滑动窗口自注意力模块以及全窗口自注意力模块，一共四种情况，对此四种情况对应的计算方式进行说明。
(1)当第l个自注意力模块为纵向自注意力模块时，则：
其中，为/>中的第i个特征向量；/>为/>中的第i个特征向量；/>为中的第i个特征向量；/>为/>中的第i个特征向量；MSA为多头注意力操作；由此可知，纵向注意力发生在T1、T2切片序列对应位置的2个切片生成的特征向量之间。
(2)当第l个自注意力模块为右滑动窗口自注意力模块时；
的计算过程如下：
其中，依次为第1，2，...，n个注意力窗口计算后得到的特征向量，/>为注意力窗口划分完毕后冗余特征向量/>经过自注意力计算后得到的特征向量，Wt(t＝1,...,n)为在第l个自注意力模块中的第t个注意力窗口，n为在一个滑动窗口自注意力模块内总的注意力窗口数，w为注意力窗口的大小，s为注意力窗口的滑动步长，且s≤w，/>为向上取整函数；MSA为多头注意力操作。
在T1特征向量序列中，自注意力发生在划定好的注意力窗口内，在执行完本注意力窗口内的w个特征向量的自注意力后，将注意力窗口向右平移s个特征向量以重新划分注意力窗口，并在新的注意力窗口内执行自注意力，新的注意力窗口包含w-s个前一个注意力窗口得到的特征向量和s个新的特征向量，依此类推，直到剩余的特征向量小于注意力窗口的滑动步长s时，将余下的特征向量连同前一个注意力窗口的w-s个特征向量组成一个新的注意力窗口进行自注意力操作，这样不会丢失窗口边界特征向量之间的联系，至此，关于的右窗口自注意力模块执行完毕。
的计算过程如下：
其中，依次为第1，2，...，n个注意力窗口计算后得到的特征向量，/>为注意力窗口划分完毕后冗余特征向量/>经过自注意力计算后得到的特征向量，MSA为多头注意力操作。
(3)当第l个自注意力模块为左滑动窗口自注意力模块时；
的计算过程如下：
其中，依次为第1，2，...，n个注意力窗口计算后得到的特征向量，/>为注意力窗口划分完毕后冗余特征向量/>经过自注意力计算后得到的特征向量；MSA为多头注意力操作。
需要说明的是，左滑动窗口注意力模块与右滑动窗口注意力模块不同的是，左滑动窗口注意力模块中注意力窗口的划分是从右往左，在执行完本注意力窗口内的w个特征向量的自注意力后，将注意力窗口向左平移s个特征向量以重新划分注意力窗口。
的计算过程如下：
其中，依次为第1，2，…，n个注意力窗口计算后得到的特征向量，/>为注意力窗口划分完毕后冗余特征向/>经过自注意力计算后得到的特征向量；MSA为多头注意力操作。
(4)当第l个自注意力模块为全窗口自注意力模块时，则：
其中，为对T1向量系列中的所有特征向量/>做自注意力后得到的特征向量，/>为对T2向量系列中的所有特征向量做自注意力后得到的特征向量；MSA为多头注意力操作。
然后将融合后的特征全局平均后输入分类器，得到各样本对应的预测结果。
具体地，将其中一个样本对应的融和后的所有特征向量全局平均后得到一个256×1的特征向量；将全局平均后的特征向量送入由两个全连接层和非线性激活函数组成的分类器，得到该样本对应的预测结果。
在特征融合模型中，，四个滑动窗口注意力模块的滑动窗口大小依次为5、9、17、33，滑动步长依次为4，8，16，32，采用此种窗口大小和滑动步长能够保证在前三个滑动窗口自注意力模块中，当注意力窗口滑动到特征向量序列尾部时不会造成特征向量冗余；本实施例中四个滑动窗口注意力模块中注意力窗口的滑动方向依次为右、左、右、左。
本发明的上述实施例所述的一种基于深度学习策略的早期阿尔兹海默症发展预测方法在训练时随机划分训练集、验证集和测试集，划分比例为7:1.5:1.5；此外，由于一个MCI患者会存在多个样本，为了使模型具有泛化性，每个MCI患者的样本只允许存在于训练集、验证集和测试集之一。采用训练集对一种基于深度学习策略的早期阿尔兹海默症发展预测方法进行训练，训练的最优参数为：学习率优化算法为SGD，训练批次batch_size为2，学习率learn_rate为0.00001，权重衰减weight_decay为0.2，训练轮数为100，损失函数为交叉熵损失。本发明所述一种基于深度学习策略的早期阿尔兹海默症发展预测方法的测试结果最优，pMCI和sMCI预测准确度为77.2％；具有较优的范化能力。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。
Claims (4)
1.一种基于深度学习策略的早期阿尔兹海默症发展预测方法，其特征在于，该方法包括以下步骤：
获取多名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像，并将一名MCI患者在固定时间间隔对应的两张三维脑部核磁共振图像作为一个样本；
对各样本中的每张核磁共振图像进行预处理，得到预处理后的核磁共振图像；
对各张预处理后的核磁共振图像进行切片操作，得到各张预处理后的核磁共振图像对应的多张切片，并对所述切片进行尺寸调整，进而得到各张预处理后的核磁共振图像对应的切片序列；
使用卷积神经网络提取各张切片的特征并将其表示为特征向量，得到各个切片序列对应的特征向量序列；
对每个样本中的两个特征向量序列进行位置嵌入，所述位置嵌入包括两个特征向量序列各自内部的横向位置嵌入和两个特征向量序列之间的纵向位置嵌入；
使用特征融合模型对每个样本中经过位置嵌入后的两个特征向量序列执行横向特征融合和纵向特征融合；将融合后的特征全局平均后输入分类器，得到各样本对应的预测结果；其中所述特征融合模型包括多个不同的自注意力模块；
所述自注意力模块包括纵向自注意力模块、右滑动窗口自注意力模块、左滑动窗口自注意力模块以及全窗口自注意力模块；
在特征融合模型中纵向特征融合和横向特征融合交替执行；在纵向特征融合中，自注意力发生在两个特征向量序列之间；在横向特征融合中，除最后一个横向特征融合对应的自注意力模块外，自注意力发生在注意力窗口内，并且注意力窗口在执行完本次操作后，沿着对应特征向量序列中的特征向量滑动，到达新的位置后继续执行注意力操作，直至到达对应特征向量序列的末尾；注意力窗口的大小随着横向特征融合对应的自注意力模块的叠加而增大，注意力窗口的滑动方向随着横向特征融合对应的自注意力模块的交替而发生反转；
横向特征融合对应的自注意力模块包括左滑动窗口自注意力模块、右滑动窗口自注意力模块以及全窗口自注意力模块；即左滑动窗口自注意力模块、右滑动窗口自注意力模块以及全窗口自注意力模块用于对横向特征进行融合，纵向自注意力模块用于对纵向特征进行融合；
将和/>执行过第l-1个自注意力模块的输出分别记为/>和/>
其中，为/>中的第c个特征向量，/>为/>中的第c个特征向量；N为/>或/>中特征向量的总数量，/>为/>执行过第l-1个自注意力模块的输出，/>为T1特征向量序列XT1进行横向位置嵌入/>再进行纵向位置嵌入，/>为执行过第l-1个自注意力模块的输出，/>为T2特征向量序列XT2进行横向位置嵌入/>再进行纵向位置嵌入；
将和/>执行过第l个自注意力模块的输出分别记为/>和/>
其中，为/>中的第c个特征向量，/>为/>中的第c个特征向量；N为/>或/>中特征向量的总数量，/>为/>执行过第l个自注意力模块的输出，/>为/>执行过第l个自注意力模块的输出。
2.根据权利要求1所述的一种基于深度学习策略的早期阿尔兹海默症发展预测方法，其特征在于，所述预处理包括以下步骤：
(1)将核磁共振图像的解剖结构进行对齐，得到对齐后的核磁共振图像；
(2)去除对齐后的核磁共振图像中的非脑部组织像素；
(3)对去除非脑部组织像素后的核磁共振图像进行统一的N4偏置场矫正。
3.根据权利要求1所述的一种基于深度学习策略的早期阿尔兹海默症发展预测方法，其特征在于，所述尺寸调整的方法为对切片进行下采样。
4.根据权利要求1所述的一种基于深度学习策略的早期阿尔兹海默症发展预测方法，其特征在于，在使用卷积神经网络提取各张切片的特征并将其表示为特征向量之前，对切片进行维度扩充。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211060580.4A CN115375665B (zh) | 2022-08-31 | 2022-08-31 | 一种基于深度学习策略的早期阿尔兹海默症发展预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211060580.4A CN115375665B (zh) | 2022-08-31 | 2022-08-31 | 一种基于深度学习策略的早期阿尔兹海默症发展预测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115375665A CN115375665A (zh) | 2022-11-22 |
| CN115375665B true CN115375665B (zh) | 2024-04-16 |
Family
ID=84069387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211060580.4A Active CN115375665B (zh) | 2022-08-31 | 2022-08-31 | 一种基于深度学习策略的早期阿尔兹海默症发展预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115375665B (zh) |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067395A (zh) * | 2017-04-26 | 2017-08-18 | 中国人民解放军总医院 | 一种基于卷积神经网络的核磁共振图像处理装置与方法 |
| CN108537837A (zh) * | 2018-04-04 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种深度信息确定的方法及相关装置 |
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| CN109558912A (zh) * | 2019-01-21 | 2019-04-02 | 广西师范大学 | 一种基于深度可分离卷积的阿尔兹海默病分类方法 |
| CN110084794A (zh) * | 2019-04-22 | 2019-08-02 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN110097136A (zh) * | 2019-05-09 | 2019-08-06 | 杭州筑象数字科技有限公司 | 基于神经网络的图像分类方法 |
| CN111341386A (zh) * | 2020-02-17 | 2020-06-26 | 大连理工大学 | 引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法 |
| CN111488914A (zh) * | 2020-03-17 | 2020-08-04 | 哈尔滨工业大学 | 一种基于多任务学习的阿尔茨海默症分类及预测系统 |
| CN113658721A (zh) * | 2021-07-19 | 2021-11-16 | 南京邮电大学 | 阿尔兹海默疾病进程预测方法 |
| CN113902945A (zh) * | 2021-09-30 | 2022-01-07 | 烟台毓璜顶医院 | 一种多模态乳腺磁共振图像分类方法及系统 |
| CN113951834A (zh) * | 2021-11-30 | 2022-01-21 | 湖南应超智能计算研究院有限责任公司 | 基于视觉Transformer算法的阿尔兹海默症分类预测方法 |
| CN114048806A (zh) * | 2021-11-09 | 2022-02-15 | 安徽大学 | 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法 |
| CN114202787A (zh) * | 2021-11-26 | 2022-03-18 | 李俊 | 一种基于深度学习和二维注意力机制的多帧微表情情感识别方法 |
| CN114359164A (zh) * | 2021-12-10 | 2022-04-15 | 中国科学院深圳先进技术研究院 | 一种基于深度学习自动预测阿尔茨海默症的方法和系统 |
| CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
| CN114612381A (zh) * | 2022-01-24 | 2022-06-10 | 河北工业大学 | 一种带有尺度增强和注意力融合的医疗图像病灶检测算法 |
| CN114743053A (zh) * | 2022-04-14 | 2022-07-12 | 电子科技大学 | 基于图神经网络和自注意力的磁共振影像辅助处理系统 |
| CN114820524A (zh) * | 2022-04-27 | 2022-07-29 | 西南科技大学 | 一种mri图像中阿尔茨海默症的3d特征识别方法 |
| CN114822842A (zh) * | 2022-03-28 | 2022-07-29 | 中国科学院深圳先进技术研究院 | 磁共振结直肠癌t分期预测方法及系统 |
| CN114862844A (zh) * | 2022-06-13 | 2022-08-05 | 合肥工业大学 | 一种基于特征融合的红外小目标检测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11158048B2 (en) * | 2019-06-28 | 2021-10-26 | Shandong University Of Science And Technology | CT lymph node detection system based on spatial-temporal recurrent attention mechanism |
-
2022
- 2022-08-31 CN CN202211060580.4A patent/CN115375665B/zh active Active
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107067395A (zh) * | 2017-04-26 | 2017-08-18 | 中国人民解放军总医院 | 一种基于卷积神经网络的核磁共振图像处理装置与方法 |
| CN108537837A (zh) * | 2018-04-04 | 2018-09-14 | 腾讯科技（深圳）有限公司 | 一种深度信息确定的方法及相关装置 |
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| CN109558912A (zh) * | 2019-01-21 | 2019-04-02 | 广西师范大学 | 一种基于深度可分离卷积的阿尔兹海默病分类方法 |
| CN110084794A (zh) * | 2019-04-22 | 2019-08-02 | 华南理工大学 | 一种基于注意力卷积神经网络的皮肤癌图片识别方法 |
| CN110097136A (zh) * | 2019-05-09 | 2019-08-06 | 杭州筑象数字科技有限公司 | 基于神经网络的图像分类方法 |
| CN111341386A (zh) * | 2020-02-17 | 2020-06-26 | 大连理工大学 | 引入注意力的多尺度CNN-BiLSTM非编码RNA互作关系预测方法 |
| CN111488914A (zh) * | 2020-03-17 | 2020-08-04 | 哈尔滨工业大学 | 一种基于多任务学习的阿尔茨海默症分类及预测系统 |
| CN113658721A (zh) * | 2021-07-19 | 2021-11-16 | 南京邮电大学 | 阿尔兹海默疾病进程预测方法 |
| CN113902945A (zh) * | 2021-09-30 | 2022-01-07 | 烟台毓璜顶医院 | 一种多模态乳腺磁共振图像分类方法及系统 |
| CN114048806A (zh) * | 2021-11-09 | 2022-02-15 | 安徽大学 | 一种基于细粒度深度学习的阿尔兹海默症辅助诊断模型分类方法 |
| CN114202787A (zh) * | 2021-11-26 | 2022-03-18 | 李俊 | 一种基于深度学习和二维注意力机制的多帧微表情情感识别方法 |
| CN113951834A (zh) * | 2021-11-30 | 2022-01-21 | 湖南应超智能计算研究院有限责任公司 | 基于视觉Transformer算法的阿尔兹海默症分类预测方法 |
| CN114359164A (zh) * | 2021-12-10 | 2022-04-15 | 中国科学院深圳先进技术研究院 | 一种基于深度学习自动预测阿尔茨海默症的方法和系统 |
| CN114372531A (zh) * | 2022-01-11 | 2022-04-19 | 北京航空航天大学 | 一种基于自注意力特征融合的胰腺癌病理图像分类方法 |
| CN114612381A (zh) * | 2022-01-24 | 2022-06-10 | 河北工业大学 | 一种带有尺度增强和注意力融合的医疗图像病灶检测算法 |
| CN114822842A (zh) * | 2022-03-28 | 2022-07-29 | 中国科学院深圳先进技术研究院 | 磁共振结直肠癌t分期预测方法及系统 |
| CN114743053A (zh) * | 2022-04-14 | 2022-07-12 | 电子科技大学 | 基于图神经网络和自注意力的磁共振影像辅助处理系统 |
| CN114820524A (zh) * | 2022-04-27 | 2022-07-29 | 西南科技大学 | 一种mri图像中阿尔茨海默症的3d特征识别方法 |
| CN114862844A (zh) * | 2022-06-13 | 2022-08-05 | 合肥工业大学 | 一种基于特征融合的红外小目标检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| Sayali Ambekar ; Rashmi Phalnikar.Disease Risk Prediction by Using Convolutional Neural Network.《2018 Fourth International Conference on Computing Communication Control and Automation (ICCUBEA)》.2019,全文. * |
| 基于T_2W磁共振影像的ResNet模型构建在膀胱癌分级和分期双目标预测中的应用研究;郑尧;张烨;杜鹏;张文立;刘洋;张曦;田强;;中国医学装备;20200815(第08期);全文 * |
| 林靖皓 ; 秦亮曦 ; 苏永秀 ; 秦川 ; .基于自注意力机制的双向门控循环单元和卷积神经网络的芒果产量预测.计算机应用.2020,(第S1期),全文. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115375665A (zh) | 2022-11-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20220122250A1 (en) | Brain feature prediction using geometric deep learning on graph representations of medical image data | |
| Yang et al. | A deep neural network study of the ABIDE repository on autism spectrum classification | |
| US20230301542A1 (en) | Brain atlas individualization method and system based on magnetic resonance and twin graph neural network | |
| US20230196528A1 (en) | Multimodal medical image fusion method based on darts network | |
| CN112348785B (zh) | 一种癫痫病灶定位方法及系统 | |
| CN110544274A (zh) | 一种基于多光谱的眼底图像配准方法及系统 | |
| CN111461233A (zh) | 一种基于MDCLSTM-LDenseNet网络的核磁共振图像自动分类方法及装置 | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| CN115147404A (zh) | 一种双重特征融合mra图像的颅内动脉瘤分割方法 | |
| CN116309524A (zh) | 基于深度学习的心脏磁共振电影成像伪影抑制方法和系统 | |
| Yin et al. | SMIL-DeiT: Multiple instance learning and self-supervised vision transformer network for early Alzheimer's disease classification | |
| CN114005514A (zh) | 医学影像诊断方法、系统及装置 | |
| JP2004340954A (ja) | 脳画像データ処理システム、方法、プログラムおよび記録媒体 | |
| WO2022047627A1 (zh) | 一种深度学习预估方法及其应用 | |
| CN116051545B (zh) | 一种双模态影像的脑龄预测方法 | |
| CN115375665B (zh) | 一种基于深度学习策略的早期阿尔兹海默症发展预测方法 | |
| CN113362944A (zh) | 一种基于机器学习的功能性消化不良和针刺疗效的预测 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN116309507A (zh) | 注意力机制下对ctp进行特征融合的ais病灶预测方法 | |
| Hsieh et al. | Behavior score-embedded brain encoder network for improved classification of Alzheimer disease using resting state fMRI | |
| CN116523839A (zh) | 帕金森病辅助分析系统 | |
| CN112837807B (zh) | 一种t2dm脑衰老认知障碍早期智能高精度辅诊方法 | |
| CN115810122A (zh) | 基于spect/ct检测甲状腺相关眼病活动性的深度学习方法 | |
| CN114419015A (zh) | 一种基于多模态配准的脑功能融合分析方法 | |
| CN115019970A (zh) | 一种基于fNIRS的阿尔兹海默症诊断方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |