CN116863221A - 一种基于cnn与注意力机制的阿尔兹海默症分类方法 - Google Patents
一种基于cnn与注意力机制的阿尔兹海默症分类方法 Download PDFInfo
- Publication number
- CN116863221A CN116863221A CN202310818922.2A CN202310818922A CN116863221A CN 116863221 A CN116863221 A CN 116863221A CN 202310818922 A CN202310818922 A CN 202310818922A CN 116863221 A CN116863221 A CN 116863221A
- Authority
- CN
- China
- Prior art keywords
- magnetic resonance
- nuclear magnetic
- brain
- classified
- resonance image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007246 mechanism Effects 0.000 title claims abstract description 50
- 208000024827 Alzheimer disease Diseases 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 36
- 210000004556 brain Anatomy 0.000 claims abstract description 99
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 87
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 45
- 239000013598 vector Substances 0.000 claims abstract description 36
- 230000002708 enhancing effect Effects 0.000 claims abstract description 14
- 238000012935 Averaging Methods 0.000 claims abstract description 8
- 238000010586 diagram Methods 0.000 claims abstract description 6
- 239000011159 matrix material Substances 0.000 claims description 42
- 238000012937 correction Methods 0.000 claims description 15
- 230000004927 fusion Effects 0.000 claims description 15
- HGBLNBBNRORJKI-WCABBAIRSA-N cyclacillin Chemical compound N([C@H]1[C@H]2SC([C@@H](N2C1=O)C(O)=O)(C)C)C(=O)C1(N)CCCCC1 HGBLNBBNRORJKI-WCABBAIRSA-N 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 8
- 208000010877 cognitive disease Diseases 0.000 claims description 7
- 238000013507 mapping Methods 0.000 claims description 7
- 208000027061 mild cognitive impairment Diseases 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 5
- 230000000926 neurological effect Effects 0.000 claims description 4
- 241000257303 Hymenoptera Species 0.000 claims description 3
- 210000005013 brain tissue Anatomy 0.000 claims description 3
- 238000002224 dissection Methods 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 210000003625 skull Anatomy 0.000 claims description 3
- 238000005728 strengthening Methods 0.000 claims description 3
- 230000009466 transformation Effects 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 2
- 230000008901 benefit Effects 0.000 abstract description 8
- 230000003993 interaction Effects 0.000 abstract description 5
- 230000003902 lesion Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 abstract description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 13
- 238000007635 classification algorithm Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 206010012289 Dementia Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000010200 validation analysis Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 208000024806 Brain atrophy Diseases 0.000 description 1
- 206010061818 Disease progression Diseases 0.000 description 1
- 208000012902 Nervous system disease Diseases 0.000 description 1
- 208000025966 Neurological disease Diseases 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000030833 cell death Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000005750 disease progression Effects 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000004064 dysfunction Effects 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000002427 irreversible effect Effects 0.000 description 1
- 206010027175 memory impairment Diseases 0.000 description 1
- 230000004660 morphological change Effects 0.000 description 1
- 230000004770 neurodegeneration Effects 0.000 description 1
- 208000015122 neurodegenerative disease Diseases 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000037081 physical activity Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Public Health (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明涉及医学图像处理技术领域，具体涉及一种基于CNN与注意力机制的阿尔兹海默症分类方法。该方法获取待分类的脑部核磁共振图像和对应三个切面的切片图像；获取待分类的脑部核磁共振图像的局部细粒度特征；通过通道注意力机制增加输入特征图的通道特征；添加每个切片的位置信息；通过多头注意力机制捕获切片间的长距离依赖关系；使用一维卷积增强相邻两个切片间特征的局部连续性，将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果。本发明能够结合卷积神经网络与注意力机制的优势，充分利用局部病变特征与全局信息交互，提高分类准确率。
Description
技术领域
本发明涉及医学图像处理技术领域，具体涉及一种基于CNN与注意力机制的阿尔兹海默症分类方法。
背景技术
阿尔茨海默症(Alzheimer’s Disease,AD)是一种不可逆转的神经退行性疾病。同时也是最常见的导致老年人产生记忆障碍与丧失身体活动能力疾病之一。阿尔茨海默症的主要表现是认知功能、思维，记忆和推理以及行为能力的丧失，其程度会干扰一个人的日常生活和活动。神经细胞死亡和功能障碍是这种神经疾病的主要原因。
按照发病阶段情况，可将阿尔茨海默症的发展进程分为：正常对照组(ControlsNormal,CN)、轻度认知功能障碍(Mild Cognitive Impairment,MCI)和阿尔茨海默症对照组。随着老年人口的增长，痴呆症的患病人数也在逐年增加。2018年约有5000万人患有痴呆症，60％至70％的人口患有阿尔兹海默症。根据国际阿尔茨海默病协会(Alzheimer'sDisease International,ADI)发布的一项调查，预计到2050年，痴呆症患者人数将增至1.52亿。目前对阿尔茨海默症患者还不存在十分有效的药物可以完全治愈。日益增长的患病人数与昂贵的医疗成本给阿尔兹海默症的临床与治疗带来了巨大挑战。
目前，核磁共振成像(Magnetic Resonance Imaging，MRI)是与阿尔茨海默症的最重要的技术之一。MRI对脑萎缩引起的形态学改变敏感，能直观地反映患者的病理变化，是目前公认的非侵入性的成像技术。基于MRI图像的阿尔茨海默症早期诊断，通过早期干预策略延缓疾病或改变疾病进程，以及病人后续的及时治疗甚至预防疾病都至关重要。基于深度学习的影像分析可以对MRI图像进行分类。许多传统基于MRI图像的分类算法进行开发出来，但大多数分类算法只关注MRI图像局部区域特征，这样会丢失不同切片之间的相关性信息，导致泛化能力不足，使得基于MRI图像进行分类的算法的泛化能力不足，且在医学领域很难获得具有准确标签和清晰特征的大量数据，这都会使得深度学习方法的性能降低。
发明内容
为了解决传统基于MRI图像的阿尔兹海默症分类算法对全局信息提取不充分，导致分类的准确率较低的技术问题，本发明的目的在于提供一种基于CNN与注意力机制的阿尔兹海默症分类方法，所采用的技术方案具体如下：
获取待分类的脑部核磁共振图像；将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切片图像；
通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征；
通过通道注意力机制增强输入特征图的通道特征；
通过位置编码器添加每个切片的位置信息；
通过多头注意力机制捕获切片间的长距离依赖关系；
使用一维卷积增强相邻两个切片间特征的局部连续性，将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果。
优选的，所述获取待分类的脑部核磁共振图像，包括：
获取原始的脑部核磁共振图像，利用SPM12工具(Statistical ParametricMapping)，对原始的脑部核磁共振图像进行AC-PC基准线矫正；
使用FSL工具(FMRIB Software Library)对AC-PC基准线矫正后的脑部核磁共振图像进行归一化，使所有AC-PC基准线矫正后的脑部核磁共振图像经过拉伸、旋转、平移后被归一化到MNI标准空间(Montreal Neurological Institute)，处理后的脑部核磁共振图像的图像尺寸、分辨率与模板相同；
使用FSL工具对处理后的脑部核磁共振图像进行颅骨剥离，提取脑组织结构；
使用配准ANTs工具(Advanced Normalization Tools)对处理后的脑部核磁共振图像不均匀的部分进行统一的偏置场矫正，将偏置场矫正后的脑部核磁共振图像作为待分类的脑部核磁共振图像。
优选的，所述将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切片图像，包括：
对待分类的脑部核磁共振图像从三个不同角度进行切片操作，每张脑部核磁共振图像得到三个不同切面的脑部结构，分别为轴状切面、矢状切面、冠状切面；
其中，轴状切面为将待分类的脑部核磁共振图像横切后形成上下两部分的切面；矢状切面为沿人体长轴将人体纵切为左右两部分的切面；冠状切面为将待分类的脑部核磁共振图像沿人体长轴切为前后两部分的切面。
优选的，所述通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征，包括：
使用一层卷积作为通道扩充，使用卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征。
优选的，所述通过通道注意力机制增强输入特征图的通道特征，包括：
将通道注意力机制引入卷积神经网络中，强化输入特征图的通道特征，得到通道特征增强后的特征图，并将通道特征增强后的特征图映射到高层次特征中表示。
优选的，所述通过位置编码器添加每个切片的位置信息，包括：
采用可训练的参数进行位置编码以添加每个特征向量的位置信息，标记出待分类的脑部核磁共振图像中每个二维切片对应的每个特征向量的位置。
优选的，所述通过多头注意力机制捕获切片间的长距离依赖关系，包括：
输入特征向量经过线性变换后得到查询矩阵、键值矩阵和值矩阵；
将输入的特征向量对应的查询矩阵和键值矩阵的转置矩阵相乘得到关系权重值；
将关系权重值和键值矩阵的矩阵维度的开平方的比值作为归一化比值；
将经过softmax之后的归一化比值和值矩阵相乘，得到自注意力分数，通过自注意力分数来保持序列中相关切片的权重；
通过多组查询矩阵、键值矩阵和值矩阵提取不同的特征向量，将提取到的特征向量拼接起来，通过全连接层乘上降维矩阵，得到最终的输出。
优选的，所述将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果，包括：
设计三个特征融合模块，进行逐级特征融合，在相邻的两个特征融合模块之间使用一维卷积来进行相邻两个切片之间的信息融合，将融合后的特征向量进行平均池化后，送入分类器中进行最终分类。
优选的，卷积神经网络的训练样本，包括：
正常人、轻度认知障碍患者、阿尔兹海默症患者三种类别人群的脑部核磁共振图像。
本发明实施例至少具有如下有益效果：
本发明通过获取待分类的脑部核磁共振图像的三个切面的脑部结构和对应的切片图像，能够三个不同角度对脑部核磁共振图像进行建模，获得不同切面的脑部结构，确定更好的观察视角，避免了单一视角分析的局限性。同时，本发明能够结合卷积神经网络与注意力机制的优势，充分获取脑部核磁共振图像的局部细粒度特征与全局信息，提高分类准确率。另外，将通道注意力机制引入卷积神经网络中，强化输入特征图的通道特征。且本发明与其他深度学习相比，所提出的模型包括带有一维卷积的融合模块，该融合模块考虑了大脑相邻切片间信息的关联性。本发明能够结合卷积神经网络与注意力机制的优势，充分利用局部病变特征与全局信息交互，提高分类准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于CNN与注意力机制的阿尔兹海默症分类方法的方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
本发明实施例提供了一种基于CNN与注意力机制的阿尔兹海默症分类方法的具体实施方法，该方法适用于阿尔兹海默症MRI的分类场景。为了解决传统基于MRI图像的阿尔兹海默症分类算法对全局信息提取不充分，导致分类的准确率较低的技术问题。本发明能够结合卷积神经网络与注意力机制的优势，充分利用局部病变特征与全局信息交互，提高分类准确率。
下面结合附图具体的说明本发明所提供的一种基于CNN与注意力机制的阿尔兹海默症分类方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于CNN与注意力机制的阿尔兹海默症分类方法的步骤流程图，该方法包括以下步骤：
步骤S100，获取待分类的脑部核磁共振图像；将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切片图像。
首先获取原始的脑部核磁共振图像，利用SPM12工具(Statistical ParametricMapping)，对原始的脑部核磁共振图像进行AC-PC基准线矫正。
使用FSL工具(FMRIB Software Library)对AC-PC基准线矫正后的脑部核磁共振图像进行归一化，使所有AC-PC基准线矫正后的脑部核磁共振图像经过拉伸、旋转、平移后被归一化到MNI标准空间(Montreal Neurological Institute)，图像尺寸、分辨率与模板相同。其中，AC-PC基准线为前联合(anterior commissure,AC)后缘重点至后联合(posterior commissure,PC)前缘中点的连线，又称AC-PC线。
使用FSL工具(FMRIB Software Library)对AC-PC基准线矫正后的脑部核磁共振图像进行归一化，使所有AC-PC基准线矫正后的脑部核磁共振图像经过拉伸、旋转、平移后被归一化到MNI标准空间(Montreal Neurological Institute)，其处理后的脑部核磁共振图像尺寸、分辨率与模板相同。
使用FSL工具对处理后的脑部核磁共振图像进行颅骨剥离，提取脑组织结构。
使用配准ANTs工具(Advanced Normalization Tools)对处理后的脑部核磁共振图像不均匀的部分进行统一的偏置场矫正，将偏置场矫正后的脑部核磁共振图像作为待分类的脑部核磁共振图像。
其中，将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切面图像的步骤，具体的：对待分类的脑部核磁共振图像从三个不同角度进行切片操作，每张脑部核磁共振图像得到三个不同切面的脑部结构，分别为轴状切面、矢状切面、冠状切面，进而得到轴状切片图像、矢状切片图像和冠状切片图像；其中，轴状切面为将待分类的脑部核磁共振图像横切后形成上下两部分的切面；矢状切面为沿人体长轴将人体纵切为左右两部分的切面；冠状切面为将待分类的脑部核磁共振图像沿人体长轴切为前后两部分的切面。
步骤S200，通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征。
在本发明实施例中卷积神经网络的训练样本包括：正常人、轻度认知障碍患者、阿尔兹海默症患者三种类别人群的脑部核磁共振图像；该卷积神经网络使用的数据集为ADNI临床数据集，该数据集创建于2003年，是到目前为止较为成功也是应用最多的针对AD的综合研究数据集。实验共使用2890个实验样本，包括287名正常老人、410名轻度认知障碍患者和263名阿尔兹海默症患者。
通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征，具体的：
(1)使用一层卷积作为通道扩充，卷积层的设置为：输入维度为1，输出维度为3，卷积核大小为3。三个切片经过通道扩充后尺寸由原来的112×112×1变为112×112×3。其中，112×112表示图像的高度和宽度，1与3表示通道大小。
(2)利用卷积神经网络来获取待分类的脑部核磁共振图像的局部细粒度特征，卷积神经网络设置为共5个阶段。前两个阶段分别由两个卷积层、两个ReLU激活函数与一个池化层构成。后三个阶段分别由三个卷积层、三个激活函数与一个池化层构成。经过卷积神经网络的5个阶段后，待分析的脑部核磁共振图形的2D切片被变为大小为3×3×512的输出特征图。
步骤S300，通过通道注意力机制增强输入特征图的通道特征。
将通道注意力机制引入卷积神经网络中，强化输入特征图的通道特征，得到通道特征增强后的特征图，并将通道特征增强后的特征图映射到高层次特征中表示。
(1)将输入特征图经过全局平均池化，特征图从[H,W,C]的矩阵变成[1,1,C]的向量，其中H、W和C是高度、宽度和通道维度。
(2)根据特征图的通道数计算得到自适应的一维卷积核大小；给定通道维度C，卷积核大小k可以由计算公式自适应地确定，卷积核大小的计算公式为：
其中，k为卷积核大小；|t|odd表示t的最近技术；C为通道维度；log2为以2为底数的对数函数；γ的取值为2；b的取值为1。
(3)将卷积核大小用于一维卷积中，得到对于特征图的每个通道的权重。
(4)将归一化权重和原输入特征图逐通道相乘，生成加权后的特征图，该加权后的特征图即为通道特征增强后的特征图，提升模型的泛化能力。最后将通道特征增强后的特征图映射到高层次特征中表示。
步骤S400，通过位置编码器添加每个切片的位置信息。
采用可训练的参数进行位置编码以添加每个特征向量的位置信息。标记出待分类的脑部核磁共振图像中二维切片对应的每个特征向量的位置。
步骤S500，通过多头注意力机制捕获切片间的长距离依赖关系。
(1)输入特征向量经过线性变换后得到查询矩阵Q(Query)、键值矩阵K(Key)和值矩阵V(Value)。
(2)通过输入的向量的查询矩阵Q和键值矩阵K的转置矩阵相乘计算出一个关系权重，也即为将输入的特征向量对应的查询矩阵和键值矩阵的转置相乘得到关系权重值。
(3)同上一步(2)得到的关系权重除以dk的开方，其中这里的dk为键值矩阵的矩阵维度；也即为将关系权重值和键值矩阵的矩阵维度的开平方的比值作为归一化比值。这一步是为了防止内积过大，保持梯度稳定。
(4)将经过softmax之后的分数与对应的V相乘，得到自注意力分数；也即为将经过softmax之后的归一化比值和值矩阵相乘，得到自注意力分数；通过自注意力分数值来保持序列中相关切片的权重，同时降低不相关切片的权重，自注意力机制计算公式如下：
其中，Attention(Q,K,V)为自注意力分数；Q为查询矩阵；K为键值矩阵；V为值矩阵；dk为键值矩阵的矩阵维度；KT为键值矩阵的转置矩阵；softmax函数为归一化指数函数。
(5)通过多组查询矩阵、键值矩阵和值矩阵来提取不同的特征向量，之后再将提取到的特征向量拼接起来，通过一个全连接层乘上降维矩阵得到最终的输出。
多头注意力机制计算公式如下：
headi＝Attention(QWi Q,KWi K,VWi V)
MultiHead(Q,K,V)＝Concat(head1,...,headh)WO
其中，Wi Q，Wi K，Wi V，WO矩阵是随机初始化，再通过模型学习不断优化的可训练参数；h为MSA层中的heads数量。需要说明的是，多头注意力机制的计算公式为本领域技术人员的公知技术，在此不再进行赘述。
步骤S600，使用一维卷积增强相邻两个切片间特征的局部连续性，将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果。
设计三个特征融合模块，进行逐级特征融合，在相邻的两个特征融合模块之间使用一维卷积来进行相邻两个切片之间的信息融合。达到在减少计算量的同时，也能够增强相邻2个切片特征的局部连续性的目的，使用的三个一维卷积的设置分别为：输入维度为128，输出维度为256，卷积核大小为2；输入维度为256，输出维度为512，卷积核大小为2。
在经过3个特征融合后，特征向量数量会变为原来的1/4。然后将融合后的特征向量进行平均池化后，送入分类器中进行最终分类。
在本发明实施所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，将受试者按照一定比例划分成3个数据集：训练集、验证集和测试集。训练集为受试者总数的65％，验证集为受试者总数的20％，测试集为受试者总数的15％。为了避免偏差，训练集、验证集和测试集不同时拥有来自同一受试者的脑部核磁共振图像。其中每一个受试者共有96张MRI切片，每张切片图像的大小我们设置为112×112。为了避免冗余数据的干扰，加快收敛速度，选用随机梯度下降法(Stochastic Gradient Descent,SGD)作为优化器。本发明所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法在AD与CN、MCI与AD、MCI与CN三个分类任务上的准确率分别达到了92.7％，83％，79.07％，具有更高的准确性。
本发明通过获取正常人、轻度认知障碍患者、阿尔兹海默症患者三种类别脑部核磁共振图像作为训练样本；对预处理后的核磁共振图像从三个不同角度进行切片操作，每张核磁共振图像得到三个不同切面的脑部结构，分别为轴状切面、矢状切面、冠状切面；使用卷积神经网络获取输入图像的局部细粒度特征；通过通道注意力机制对输入特征图的通道特征进行增强；使用位置编码器添加每个切片的位置信息；利用多头注意力机制捕获切片间的长距离依赖关系并使用一维卷积增强相邻两个切片间特征的局部连续性；最后将融合后的特征向量全局平均后送入分类器得到分类结果。本发明能够结合卷积神经网络与注意力机制的优势，充分利用局部病变特征与全局信息交互，提高分类准确率。
综上所述，本发明获取待分类的脑部核磁共振图像；将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切片图像；通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征；通过通道注意力机制增强输入特征图的通道特征；通过位置编码器添加每个切片的位置信息；通过多头注意力机制捕获切片间的长距离依赖关系；使用一维卷积增强相邻两个切片间特征的局部连续性，将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果。本发明能够结合卷积神经网络与注意力机制的优势，充分利用局部病变特征与全局信息交互，提高分类准确率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
Claims (9)
1.一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，该方法包括以下步骤：
获取待分类的脑部核磁共振图像；将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切片图像；
通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征；
通过通道注意力机制增强输入特征图的通道特征；
通过位置编码器添加每个切片的位置信息；
通过多头注意力机制捕获切片间的长距离依赖关系；
使用一维卷积增强相邻两个切片间特征的局部连续性，将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果。
2.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述获取待分类的脑部核磁共振图像，包括：
获取原始的脑部核磁共振图像，利用SPM12工具(Statistical Parametric Mapping)，对原始的脑部核磁共振图像进行AC-PC基准线矫正；
使用FSL工具(FMRIB Software Library)对AC-PC基准线矫正后的脑部核磁共振图像进行归一化，使所有AC-PC基准线矫正后的脑部核磁共振图像经过拉伸、旋转、平移后被归一化到MNI标准空间(Montreal Neurological Institute)，处理后的脑部核磁共振图像的图像尺寸、分辨率与模板相同；
使用FSL工具对处理后的脑部核磁共振图像进行颅骨剥离，提取脑组织结构；
使用配准ANTs工具(Advanced Normalization Tools)对处理后的脑部核磁共振图像不均匀的部分进行统一的偏置场矫正，将偏置场矫正后的脑部核磁共振图像作为待分类的脑部核磁共振图像。
3.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述将待分类的脑部核磁共振图像进行切片操作，得到三个切面的脑部结构和对应的切片图像，包括：
对待分类的脑部核磁共振图像从三个不同角度进行切片操作，每张脑部核磁共振图像得到三个不同切面的脑部结构，分别为轴状切面、矢状切面、冠状切面；
其中，轴状切面为将待分类的脑部核磁共振图像横切后形成上下两部分的切面；矢状切面为沿人体长轴将人体纵切为左右两部分的切面；冠状切面为将待分类的脑部核磁共振图像沿人体长轴切为前后两部分的切面。
4.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述通过卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征，包括：
使用一层卷积作为通道扩充，使用卷积神经网络获取待分类的脑部核磁共振图像的局部细粒度特征。
5.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述通过通道注意力机制增强输入特征图的通道特征，包括：
将通道注意力机制引入卷积神经网络中，强化输入特征图的通道特征，得到通道特征增强后的特征图，并将通道特征增强后的特征图映射到高层次特征中表示。
6.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述通过位置编码器添加每个切片的位置信息，包括：
采用可训练的参数进行位置编码以添加每个特征向量的位置信息，标记出待分类的脑部核磁共振图像中每个二维切片对应的每个特征向量的位置。
7.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述通过多头注意力机制捕获切片间的长距离依赖关系，包括：
输入特征向量经过线性变换后得到查询矩阵、键值矩阵和值矩阵；
将输入的特征向量对应的查询矩阵和键值矩阵的转置矩阵相乘得到关系权重值；
将关系权重值和键值矩阵的矩阵维度的开平方的比值作为归一化比值；
将经过softmax之后的归一化比值和值矩阵相乘，得到自注意力分数，通过自注意力分数来保持序列中相关切片的权重；
通过多组查询矩阵、键值矩阵和值矩阵提取不同的特征向量，将提取到的特征向量拼接起来，通过全连接层乘上降维矩阵，得到最终的输出。
8.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，所述将融合后的特征向量全局平均后送入分类器得到待分类的脑部核磁共振图像的分类结果，包括：
设计三个特征融合模块，进行逐级特征融合，在相邻的两个特征融合模块之间使用一维卷积来进行相邻两个切片之间的信息融合，将融合后的特征向量进行平均池化后，送入分类器中进行最终分类。
9.根据权利要求1所述的一种基于CNN与注意力机制的阿尔兹海默症分类方法，其特征在于，卷积神经网络的训练样本，包括：
正常人、轻度认知障碍患者、阿尔兹海默症患者三种类别人群的脑部核磁共振图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818922.2A CN116863221A (zh) | 2023-07-05 | 2023-07-05 | 一种基于cnn与注意力机制的阿尔兹海默症分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310818922.2A CN116863221A (zh) | 2023-07-05 | 2023-07-05 | 一种基于cnn与注意力机制的阿尔兹海默症分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116863221A true CN116863221A (zh) | 2023-10-10 |
Family
ID=88231648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310818922.2A Pending CN116863221A (zh) | 2023-07-05 | 2023-07-05 | 一种基于cnn与注意力机制的阿尔兹海默症分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116863221A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117349714A (zh) * | 2023-12-06 | 2024-01-05 | 中南大学 | 阿尔茨海默症医学图像的分类方法、系统、设备及介质 |
-
2023
- 2023-07-05 CN CN202310818922.2A patent/CN116863221A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117349714A (zh) * | 2023-12-06 | 2024-01-05 | 中南大学 | 阿尔茨海默症医学图像的分类方法、系统、设备及介质 |
| CN117349714B (zh) * | 2023-12-06 | 2024-02-13 | 中南大学 | 阿尔茨海默症医学图像的分类方法、系统、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chan et al. | Texture-map-based branch-collaborative network for oral cancer detection | |
| Ma et al. | Automatic 3D landmarking model using patch‐based deep neural networks for CT image of oral and maxillofacial surgery | |
| Lu et al. | A 3D convolutional neural network for volumetric image semantic segmentation | |
| JP7333132B1 (ja) | マルチビューサブ空間クラスタリングに基づくマルチモード医学データ融合システム | |
| CN113436173B (zh) | 基于边缘感知的腹部多器官分割建模、分割方法及系统 | |
| CN112215291A (zh) | 级联神经网络下医学图像特征提取和分类方法 | |
| CN112837274A (zh) | 一种基于多模态多站点数据融合的分类识别方法 | |
| Guo et al. | MMFGAN: A novel multimodal brain medical image fusion based on the improvement of generative adversarial network | |
| CN109215035B (zh) | 一种基于深度学习的脑部mri海马体三维分割方法 | |
| CN117218453B (zh) | 一种不完备多模态医学影像学习方法 | |
| CN116863221A (zh) | 一种基于cnn与注意力机制的阿尔兹海默症分类方法 | |
| CN109949288A (zh) | 肿瘤类型确定系统、方法及存储介质 | |
| CN115423754A (zh) | 一种图像分类方法、装置、设备及存储介质 | |
| CN113239755A (zh) | 一种基于空谱融合深度学习的医学高光谱图像分类方法 | |
| CN111951219B (zh) | 基于眼眶ct图像的甲状腺眼病筛查方法、系统及设备 | |
| CN114748053A (zh) | 一种基于fMRI高维时间序列的信号分类方法及装置 | |
| CN116612174A (zh) | 软组织的三维重建方法、系统及计算机存储介质 | |
| CN116258732A (zh) | 一种基于pet/ct图像跨模态特征融合的食管癌肿瘤靶区分割方法 | |
| CN116645283A (zh) | 基于自监督感知损失多尺度卷积神经网络的低剂量ct图像去噪方法 | |
| CN114005514B (zh) | 医学影像诊断方法、系统及装置 | |
| Hu et al. | A GLCM embedded CNN strategy for computer-aided diagnosis in intracerebral hemorrhage | |
| CN114711717A (zh) | 基于多模态影像组学的癫痫药物治疗结局预测方法和装置 | |
| CN116309754A (zh) | 一种基于局部-全局信息协作的大脑医学图像配准方法及系统 | |
| CN116485853A (zh) | 一种基于深度学习神经网络的医学图像配准方法和装置 | |
| CN116128942A (zh) | 基于深度学习的三维多模块医学影像的配准方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |