CN109165667B - 基于自注意力机制的脑疾病分类系统 - Google Patents
基于自注意力机制的脑疾病分类系统 Download PDFInfo
- Publication number
- CN109165667B CN109165667B CN201810739141.3A CN201810739141A CN109165667B CN 109165667 B CN109165667 B CN 109165667B CN 201810739141 A CN201810739141 A CN 201810739141A CN 109165667 B CN109165667 B CN 109165667B
- Authority
- CN
- China
- Prior art keywords
- brain disease
- layer
- brain
- self
- attention mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 208000014644 Brain disease Diseases 0.000 title claims abstract description 115
- 230000007246 mechanism Effects 0.000 title claims abstract description 54
- 210000004556 brain Anatomy 0.000 claims abstract description 43
- 238000013145 classification model Methods 0.000 claims abstract description 41
- 210000004884 grey matter Anatomy 0.000 claims abstract description 23
- 238000000034 method Methods 0.000 claims abstract description 23
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 4
- 238000011176 pooling Methods 0.000 claims description 47
- 230000006870 function Effects 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 22
- 230000004913 activation Effects 0.000 claims description 19
- 238000010586 diagram Methods 0.000 claims description 18
- 239000013598 vector Substances 0.000 claims description 11
- 238000012937 correction Methods 0.000 claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 238000010801 machine learning Methods 0.000 claims description 5
- 230000003044 adaptive effect Effects 0.000 claims description 4
- 230000008569 process Effects 0.000 abstract description 12
- 238000007781 pre-processing Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000003745 diagnosis Methods 0.000 abstract description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 13
- 238000010606 normalization Methods 0.000 description 9
- 238000012360 testing method Methods 0.000 description 9
- 230000002159 abnormal effect Effects 0.000 description 5
- 230000008506 pathogenesis Effects 0.000 description 4
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000031940 Disease Attributes Diseases 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000003925 brain function Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 206010039966 Senile dementia Diseases 0.000 description 1
- 210000004227 basal ganglia Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 210000005013 brain tissue Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002490 cerebral effect Effects 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000002888 effect on disease Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 230000000971 hippocampal effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- Pathology (AREA)
- Databases & Information Systems (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像处理技术领域,并提出了一种基于自注意力机制的脑疾病分类系统,旨在解决脑疾病分类诊断中需要对磁共振影像进行预处理、特征提取和特征选择的复杂过程及其所导致的分类准确率不高的技术问题。为此目的,本发明中的基于自注意力机制的脑疾病分类系统包括:对获取脑疾病病人的人脑磁共振影像进行预处理,得到人脑的灰质密度图;利用预先构建的脑疾病分类模型对所述灰质密度图进行脑疾病分类,得到所述脑疾病病人的脑疾病类别;其中,所述预先构建的脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。本发明实施例所示的系统可以快速、准确的分类脑疾病的类别。
Description
技术领域
本发明涉及医学图像处理技术领域,特别是基于深度学习的图像处理处理领域,具体涉及一种基于自注意力机制的脑疾病分类系统。
背景技术
阿尔兹海默病(Alzheimer’s Disease,AD)作为一种老年痴呆的主要类型,严重威胁了老年人的健康。阿尔兹海默病患者的认知能力逐渐受损,生活能力逐渐丧失,给社会和家人带来了极大的负担。因此,对阿尔兹海默病患者的早期检测和诊断非常重要。
非侵入性神经影像技术的迅速发展极大促进了对正常和异常脑结构与脑功能的研究。磁共振成像(Magnetic Resonance Imaging,MRI)作为一种高空间分辨率、非侵入式的医学成像技术,在脑疾病的发病机理和生物学差异的研究中得到了广泛的应用。
随着深度学习在各大领域取得了优秀的成果,越来越多的医学图像的研究也开始引入深度学习的方法。卷积神经网络是一种多层神经网络,擅长处理图像的相关机器学习问题。在脑疾病分类研究中,相较与常用的支持向量机(Support Vector Machine,SVM)等其他分类方法,基于卷积神经网络的分类方法不需要复杂的预处理过程就可以达到很好的分类正确率。但是目前对于脑疾病的分类中,需要进行图像的预处理、特征提取和特征选择的复杂过程,导致脑疾病分类准确率低的问题,并且无法识别出与脑疾病密切相关的异常脑区。
发明内容
为了解决现有技术中的上述技术问题,即为了解决在传统的脑疾病分类中需要进行预处理、特征提取和特征选择的复杂过程及其所导致的分类准确率不高的技术问题,为此目的,本发明提供了一种基于自注意力机制的脑疾病分类系统,以解决上述问题。
本发明提供的基于自注意力机制的脑疾病分类系统包括:数据获取模块,配置为获取脑疾病病人的人脑磁共振影像对应的灰质密度图像;脑疾病分类模型,配置为根据上述灰质密度图像和多个预设的脑疾病类别进行脑疾病分类,得到上述脑疾病病人的脑疾病类别;其中,上述脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。
进一步地,本发明提供的一个优选技术方案中,上述数据获取模块处理装置进一步配置为执行下列操作:
对上述人脑磁共振影像进行数据格式转换;对格式转换后的上述人脑磁共振影像进行灰度不均匀性校正;将校正后的人脑磁共振影像,配准到标准的MNI空间并分割灰质密度图像。
进一步地,本发明提供的一个优选技术方案中,上述脑疾病分类模型包括输入层、隐含层、自注意力机制模块、全连接层和分类器;其中:
上述输入层配置为获取上述数据获取模块所获取的灰质密度图像;上述隐含层配置为获取上述灰质密度图像对应的第一特征图;上述自注意力机制模块配置为上述隐含层所获取的第一特征图进行自注意力机制处理得到第二特征图;上述全连接层配置为对上述第一特征图和第二特征图进行全连接操作,得到特征向量;上述分类器配置为根据上述特征向量和多个上述脑疾病类别,获取每个上述脑疾病类别对应的概率;相应地,上述脑疾病分类模型进一步配置为选取最大概率对应的脑疾病类别作为上述脑疾病病人的脑疾病类别。
进一步地,本发明提供的一个优选技术方案中,上述脑疾病分类模型还包括两个残差池化网络,上述残差池化网络包括多个顺次连接的残差池化单元,上述残差池化单元包括顺次连接的池化层和残差网络模块;上述隐含层、第一个残差池化网络、自注意力机制模块、第二个残差池化网络、全连接层和分类器顺次连接;相应地,上述全连接层进一步配置为对上述第一特征图和第二特征图以及每个池化层输出的特征图和每个残差网络模块输出的特征图进行全连接操作,得到特征向量。
进一步地,本发明提供的一个优选技术方案中,上述自注意力机制模块包括卷积层、激活函数层和乘法器;上述卷积层的输入侧与上述自注意力机制模块的输入端连接,上述卷积层的输出侧与激活函数层的输入侧连接;上述激活函数层的输出侧与上述乘法器的一个输入侧连接;上述乘法器的另一个输入侧与上述自注意力机制模块的输入端连接,上述乘法器的输出侧与上述自注意力机制模块的输出端连接。
进一步地,本发明提供的一个优选技术方案中,基于自注意力机制的脑疾病分类系统还包括模型训练模块,上述模型训练模块配置为根据预设的交叉熵代价函数并利用机器学习算法对上述脑疾病分类模型进行模型训练;上述交叉熵代价函数如下式所示:
zi=∑jwijxj
其中,E表示交叉熵代价函数,zi表示全连接层对应类别i的输出,xj表示全连接层的输入,wij全连接层的权重,si表示经过softmax函数后输入样本属于第i类的概率,η表示学习率,y表示样本脑疾病类别,x表示样本,n表示样本的总数,i代表全连接层输出的第i个节点,对应类别数,j表示全连接层输入的第j个节点。
进一步地,本发明提供的一个优选技术方案中,上述模型训练模块进一步配置为利用自适应时刻估计方法并按照下式所示的方法优化所述学习率η:
其中,mt,nt分别是对梯度的一阶矩估计和二阶矩估计, 是对mt,nt的校正;β1和β2分别是一阶和二阶矩估计的指数衰减率∈为一个非零的极小数,以保证分母非零,θt+1表示更新后网络权重,θt表示更新前的网络权重,t表示当前的训练轮数。
与最接近的现有技术相比,上述技术方案至少具有如下有益效果:
本发明提供的基于自注意力机制的脑疾病分类系统,通过有监督的方式自主进行特征提取和特征选择以及参数调节,提高了脑疾病的分类效果;避免了当前的脑疾病分类中所涉及的预处理、特征提取和特征选择等繁琐过程。同时,自注意力机制的引入使得该系统可以自主学习对预测疾病有重要作用的脑区,使重要的脑区权重增大、不重要的脑区权重减小,从而识别出与脑疾病密切相关的异常脑区;为理解特定脑疾病的结构和功能异常与发病机理提供有价值的参考。
附图说明
图1是本发明实施例中一种基于自注意力机制的脑疾病分类系统的主要结构示意图;
图2是本发明实施例中脑疾病分类模型的基本框架示意图;
图3是本发明实施例中一个优选的技术方案中的脑疾病分类模型框架示意图;
图4是本发明实施例中脑疾病分类模型的残差池化网络的结构示意图;
图5是本发明实施例中残差网络模块的结构示意图;
图6是本发明实施例中脑疾病分类模型的自注意力机制模块的结构原理示意图;
图7是本发明实施例中脑区重要性的矢状面示意图。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是,这些实施方式仅仅用于解释本发明的技术原理,并非旨在限制本发明的保护范围。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
参阅附图1,附图1示例性示出了本发明实施例中一种基于自注意力机制的脑疾病分类系统的主要结构。如图1所示,本实施例中基于自注意力机制的脑疾病分类系统,包括数据获取模块和脑疾病分类模型,其中:
数据获取模块,配置为获取脑疾病病人的人脑磁共振影像对应的灰质密度图像。
脑疾病分类模型,配置为根据上述灰质密度图像和多个预设的脑疾病类别进行脑疾病分类,得到上述脑疾病病人的脑疾病类别;其中,上述脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型。
在本实施例中,基于自注意力机制的脑疾病分类系统,可以是以具有图像处理能力服务器或应用平台为核心组成的系统。上述服务器或应用平台可以与核磁共振设备通信连接,获得病患的磁共振影像;并且与显示装置通信连接,将分类结果通过显示装置显示。上述数据获取模块和脑疾病分类模型设置于上述服务器或应用平台中,上述数据获取模块可以从与其通信连接的核磁共振设备或数据库或其他网络设备中获得脑疾病病人的人脑磁共振影像。其中,人脑磁共振影像是基于磁共振成像原理所获得的一种非侵入式的人脑医学影像。这里,上述人脑磁共振影像可以是待进行脑疾病检测的人脑磁共振影像,或者,用于测试的人脑磁共振影像。
由于人脑磁共振影像成像过程中受到射频场不均匀性、核磁共振设备本身以及人脑组织容积效应的影响,导致图像的灰度均匀性变差,使得图像中同一组织的像素灰度沿空间呈缓慢平滑的变化。因此,需要对上述人脑磁共振影像进行预处理,得到适宜医学处理的人脑的灰质密度图。
进一步地,本实施例提供的一个优选技术方案中,上述数据获取模块进一步配置为执行下列操作:对上述人脑磁共振影像进行数据格式转换;对格式转换后的人脑磁共振影像进行灰度不均匀性校正;将校正后的人脑磁共振影像配准到MNI空间并分割灰质密度图像。
可以使用脑功能成像软件(Statistical Parametric Mapping,SPM)将上述人脑磁共振影像从DICOM影像数据格式转换成标准的NIfTI数据格式,并使用SPM软件对转换为标准格式后的人脑磁共振影像进行灰度不均匀性校正,然后配准到标准的MNI空间,并分割出该人脑磁共振影像的大脑灰质密度图。对上述人脑磁共振影像进行灰度不均匀性校正可以是使用基于EM算法的偏移场校正,还可以是采用模糊均值模型的偏移校正。
在原始空间中图像的维度、原点、voxel size等都是不同的。不同图像之间不具有可比性,计算出的任何特征都不能进行统计分析,或是用于机器学习。使用MNI标准模板,将图像进行配准,标准化到同一个模板上,即在一个标准的MNI空间,使得图像的维度、原点、voxelsize统一。
在本实施例中,上述脑疾病分类模型根据上述数据获取模块所获得的人脑磁共振影像的灰质密度图和预先设置的多个脑疾病类别对上述灰质密度图进行分类处理,得到病患的脑疾病类别。可以是将待检测的人脑磁共振影像的灰质密度图输入到上述脑疾病分类模型中,得到该人脑磁共振影像疾病属性的预测值。1表示该人脑磁共振影像被判断为AD患者,0表示该人脑磁共振影像被判断为健康对照(normal control)。
进一步地,本实施例提供的一个优选技术方案中,参考附图2,附图2示出了脑疾病分类模型的基本框架结构,如图2所示上述脑疾病分类模型包括:输入层、隐含层、自注意力机制模块、全连接层和分类器。其中,上述输入层配置为获取上述数据获取模块所获取的灰质密度图像;上述隐含层配置为获取上述灰质密度图像对应的第一特征图;上述自注意力机制模块配置为上述隐含层所获取的第一特征图进行自注意力机制处理得到第二特征图;上述全连接层配置为对上述第一特征图和第二特征图进行全连接操作,得到特征向量;上述分类器配置为根据上述特征向量和多个上述脑疾病类别,获取每个上述脑疾病类别对应的概率;相应地,上述脑疾病分类模型进一步配置为选取最大概率对应的脑疾病类别作为上述脑疾病病人的脑疾病类别。
进一步地,本实施例提供的一个优选技术方案中,参考附图3,附图3示出了在本实施例的一个优选的技术方案中,脑疾病分类模型的框架结构图,如图3所示,上述脑疾病分类模型还包括两个残差池化网络。参考附图4,附图4示出了残差池化网络的结构图,如图4所示,上述残差池化网络包括多个顺次连接的残差池化单元,上述残差池化单元包括顺次连接的池化层和残差网络模块;如图3所示,上述隐含层、第一个残差池化网络、自注意力机制模块、第二个残差池化网络、全连接层和分类器顺次连接。
相应地,上述全连接层进一步配置为对上述第一特征图和第二特征图以及每个池化层输出的特征图和每个残差网络模块输出的特征图进行全连接操作,得到特征向量。
具体地,参考附图5,附图5示出了残差网络模块的结构图,如图5所示,残差网络模块包两个顺次连接的残差单元。每个上述残差单元包括顺次连接的两个子单元,每个子单元由卷积网络、批规范化(Batch Normalization)和ReLU激活函数组成。每个上述残差单元的输入与该残差单元中的第二个子单元的批规范化输出的值相加,其运算结果经该残差单元的第二个子单元中ReLU激活函数激活后输出。其中,第一个残差单元的输出作为第二个残差单元的输入。
进一步地,本实施例提供的一个优选技术方案中,参考附图6,附图6示出了自注意力机制模块的主要结构示意图,如图6所示,上述自注意力机制模块包括卷积层、激活函数层和乘法器;上述卷积层的输入侧与上述自注意力机制模块的输入端连接,上述卷积层的输出侧与激活函数层的输入侧连接;上述激活函数层的输出侧与上述乘法器的一个输入侧连接;上述乘法器的另一个输入侧与上述自注意力机制模块的输入端连接,上述乘法器的输出侧与上述自注意力机制模块的输出端连接。
进一步地,本实施例提供的一个优选技术方案中,上述基于自注意力机制的脑疾病分类系统还包括模型训练模块,上述模型训练模块配置为根据预设的交叉熵代价函数并利用机器学习算法对上述脑疾病分类模型进行模型训练。上述交叉熵代价函数如下式所示:
zi=∑jwijxj (3)
其中,E表示交叉熵代价函数,zi表示全连接层对应类别i的输出,xj表示全连接层的输入,wij全连接层的权重,si表示经过softmax函数后输入样本属于第i类的概率,η表示学习率,y表示样本脑疾病类别,x表示样本,n表示样本的总数,i代表全连接层输出的第i个节点,对应类别数,j表示全连接层输入的第j个节点,对应全连接层节点的数目,在本实施例的优选方式中,j的取值范围为1,2,…,256。
进一步地,本实施例提供的一个优选技术方案中,上述模型训练模块进一步配置为利用自适应时刻估计方法并按照下式所示的方法优化所述学习率η:
其中,
其中,mt,nt分别是对梯度的一阶矩估计和二阶矩估计, 是对mt,nt的校正;β1和β2分别是一阶和二阶矩估计的指数衰减率,这里,默认其取值为β1=0.9,β2=0.999。∈为一个非零的极小数,以保证分母非零,θt+1表示更新后网络权重,θt表示更新前的网络权重,t表示当前的训练轮数。
作为示例,参考上述附图3-6。根据脑疾病分类模型的结构,说明利用样本数据对上述脑疾病分类模型进行训练的过程。
样本数据为AD患者和正常对照组的磁共振图像数据。对样本数据进行处理,得到标准MNI空间的灰质密度图的图像,其中,图像大小为91×109×91,并将图像存储为神经网络可输入的数据格式。
S0:设置脑疾病分类模型的参数,批处理数量Batch Size=8,即每次将8个训练样本输入脑疾病分类模型。
S1:将样本数据通过输入层输入到预先搭建的脑疾病分类模型进行训练。
S2:隐含层包括三层,分别为实例正则化处理层、卷积层和批规范化(BatchNormalization,BN)和ReLU激活函数处理层。
实例正则化处理层对图像大小为91×109×91的输入样本进行实例正则化处理,上述实例正则化处理为对每一个输入样本去除均值和方差。
卷积层中用32个大小为3×3×3的3维卷积核对图像进行卷积。其中,参数设置stride=1,padding=1,得到32个大小为91×109×91的特征图。
BN和ReLU激活函数处理层对所得到的32个特征图进行批规范化处理和ReLU函数激活处理。
S3:第一个残差池化网络中,包括两个顺次连接的残差池化单元,每个残差池化单元包括顺次连接的池化层和残差网络模块。
第一个池化层将经过批规范化和ReLU激活函数处理后的32个特征图,在池化层进行平均值池化(average pooling)操作,得到32个大小为46×55×46的特征图。其中,池化单元为3×3×3,stride=2。
第一个残差网络模块(ResNet模块),将第一池化层的输出作为ResNet模块的输入,得到32个大小为46×55×46的特征图。其中,每个ResNet模块包含2个单元(blocks),每个blocks包含2个卷积层,卷积核数量为32,大小为3×3×3的3维卷积核,stride=1,以及2次批规范化和ReLU激活。在每一个blocks中先经过一个卷积层、批规范化和ReLU激活,再经过一个卷积层和批规范化,之后将得到的特征图和block的输入相加,最后在经过ReLU函数激活得到block的输出。
第二池化层对上一层得到的32个特征图进行平均值池化,得到32个大小为23×28×23的特征图。其中,池化单元为3×3×3,stride=2。
第二个ResNet模块将第二池化层的输出作为输入,得到64个大小为23×28×23的特征图。在第二个ResNet模块,卷积核数量为64。
S4:自注意力机制模块中,上述自注意力机制模块将上述残差池化网络层所输出的特征图作为输入得到64个大小为23×28×23特征图。上述自注意力机制模块中,先用3×3×3大小的卷积核对所输入的特征图进行卷积,将卷积结果与自注意力机制模块的输入相乘,将乘积结果进行ReLU函数激活,得到64个大小为23×28×23的特征图。
S5:第二个残差池化网络层,包括两个顺次连接的残差池化单元,残差池化单元包括顺次连接的池化层和残差网络模块。
第一个池化层对所输入的特征图进行平均值池化,得到64个大小为12×14×12的特征图。其中,池化单元为3×3×3,stride=2。
第一个ResNet模块根据输入的特征图,得到128个大小为12×14×12的特征图,在该ResNet模块中卷积核数量为128。
第二池化层对输入的特征图进行平均值池化,得到128个大小为6×7×6的特征图。其中,池化单元为3×3×3,stride=2。
第二个ResNet模块卷积核数量为256,根据输入的特征图得到256个大小为6×7×6的特征图。
S6:全连接层将得到的256个6×7×6的特征图分别求平均值后聚合成256维的特征向量。并将上述256维的特征向量输入全连接层,输出对应类别数。
S7:分类器层中,将全连接层的输出,作为softmax分类器的输入,上述softmax分类器输出一个0到1的浮点数,表示输入样本图像是脑疾病患者的概率。
通过反向传播(BP)算法对每一层的权重参数进行调整,使脑疾病分类模型的预测标签和训练标签的交叉熵代价函数E最小。其中,网络权重的增量Δwij如下式所示。当误差满足收敛条件时,迭代结束,得到训练好的脑疾病分类模型。其中,
其中,η为学习学习率,E表示交叉熵代价函数。
进一步地,可以使用自适应时刻估计方法(Adaptive Moment Estimation,Adam)来优化网络学习率参数,利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。该算法优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。其参数更新如公式4所示。
在一些示例中,采用了多家医院收集的AD患者和正常对照组的磁共振图像数据,共6个数据集。其中,正常对照组共231人;阿尔茨海默患者共262人。详细信息见表1:
Dataset1 | Dataset2 | Dataset3 | Dataset4 | Dataset5 | Dataset6 | |
被试数 | 60 | 71 | 83 | 106 | 113 | 60 |
将上述样本数据分为训练集和测试集。使用上述训练集训练上述脑疾病分类模型,利用上述测试集测试上述脑疾病分类模型的参数。将上述测试集的样本数据输入到训练好的网络模型中,得到该测试样本疾病属性的预测值。1表示该样本被判断为AD患者,0表示该样本被判断为健康对照。
我们依次将每个中心的样本作为测试集,其他5个中心的样本作为训练集,依次计算得到每个中心的分类准确率。结果见下表2:
测试集 | Dataset 1 | Dataset2 | Dataset3 | Dataset4 | Dataset5 | Dataset6 |
正确率 | 93.3 | 88.7 | 90.4 | 82.1 | 91.2 | 96.6 |
由表2可知,基于自注意力机制的脑疾病分类系统对AD的平均分类准确率高达90.4%,能够更加准确地定位与AD发病机制密切相关的异常脑区,实现精准医疗的目标。
进一步地,同时,通过训练好的脑疾病分类模型的注意力机制模块,可以通过上采样的方式得到大脑中每个体素点对于疾病分类的权重,即大脑的每个区域对疾病预测的重要性,每个体素权重越大,分类过程中也就越重要。附图7示例性示出脑区重要性的矢状面示意图,如图7所示,与AD密切相关的脑区主要是颞叶,前额叶,海马和旁海马,基底神经节和小脑部分区域。上述区域是在AD患者中发生显著变化的区域,可作为辅助医疗诊断的生物标志。
本发明上述实施例所提供的系统利用脑疾病分类模型对待检测的人脑磁共振影像进行分类,确定出病患的脑疾病类别。其中,脑疾病分类模型中融入自注意力机制,解决了传统的脑疾病分类中需要进行预处理、特征提取和特征选择的复杂过程及其所导致的分类准确率不高的问题,同时,所融入的自注意力机制能够识别出与脑疾病密切相关的异常脑区,为理解特定脑疾病的结构和功能异常与发病机理提供参考信息。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征和数据分辨率作出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (5)
1.一种基于自注意力机制的脑疾病分类系统,其特征在于包括:
数据获取模块,配置为获取脑疾病病人的人脑磁共振影像对应的灰质密度图像;
脑疾病分类模型,配置为根据所述灰质密度图像和多个预设的脑疾病类别进行脑疾病分类,得到所述脑疾病病人的脑疾病类别;其中,所述脑疾病分类模型是基于自注意力机制构建的三维卷积神经网络模型;
其中,所述脑疾病分类模型包括输入层、隐含层、自注意力机制模块、全连接层和分类器;所述脑疾病分类模型还包括两个残差池化网络,所述残差池化网络包括多个顺次连接的残差池化单元,所述残差池化单元包括顺次连接的池化层和残差网络模块;
所述输入层配置为获取所述数据获取模块所获取的灰质密度图像;
所述隐含层配置为获取所述灰质密度图像对应的第一特征图;
所述自注意力机制模块配置为所述隐含层所获取的第一特征图进行自注意力机制处理得到第二特征图;
所述全连接层配置为对所述第一特征图和第二特征图进行全连接操作,得到特征向量;
所述分类器配置为根据所述特征向量和多个所述脑疾病类别,获取每个所述脑疾病类别对应的概率;
相应地,所述脑疾病分类模型进一步配置为选取最大概率对应的脑疾病类别作为所述脑疾病病人的脑疾病类别;
所述隐含层、第一个残差池化网络、自注意力机制模块、第二个残差池化网络、全连接层和分类器顺次连接;
相应地,所述全连接层进一步配置为对所述第一特征图和第二特征图以及每个池化层输出的特征图和每个残差网络模块输出的特征图进行全连接操作,得到特征向量。
2.根据权利要求1所述的基于自注意力机制的脑疾病分类系统,其特征在于,所述数据获取模块进一步配置为执行下列操作:
对所述人脑磁共振影像进行数据格式转换;
将格式转换后的人脑磁共振影像进行灰度不均匀性校正;
将校正后的人脑磁共振影像配准到MNI空间并分割灰质密度图像。
3.根据权利要求1所述的基于自注意力机制的脑疾病分类系统,其特征在于,所述自注意力机制模块包括卷积层、激活函数层和乘法器;
所述卷积层的输入侧与所述自注意力机制模块的输入端连接,所述卷积层的输出侧与激活函数层的输入侧连接;
所述激活函数层的输出侧与所述乘法器的一个输入侧连接;
所述乘法器的另一个输入侧与所述自注意力机制模块的输入端连接,所述乘法器的输出侧与所述自注意力机制模块的输出端连接。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810739141.3A CN109165667B (zh) | 2018-07-06 | 2018-07-06 | 基于自注意力机制的脑疾病分类系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201810739141.3A CN109165667B (zh) | 2018-07-06 | 2018-07-06 | 基于自注意力机制的脑疾病分类系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109165667A CN109165667A (zh) | 2019-01-08 |
CN109165667B true CN109165667B (zh) | 2022-02-22 |
Family
ID=64897473
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201810739141.3A Active CN109165667B (zh) | 2018-07-06 | 2018-07-06 | 基于自注意力机制的脑疾病分类系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109165667B (zh) |
Families Citing this family (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109859106B (zh) * | 2019-01-28 | 2022-07-05 | 桂林电子科技大学 | 一种基于自注意力的高阶融合网络的图像超分辨率重建方法 |
CN109887606B (zh) * | 2019-02-28 | 2022-10-18 | 莫毓昌 | 一种基于注意力的双向递归神经网络的诊断预测方法 |
CN109934804A (zh) * | 2019-02-28 | 2019-06-25 | 北京科技大学 | 基于卷积神经网络的阿尔茨海默病变区域的检测方法 |
CN110033438B (zh) * | 2019-03-14 | 2021-07-27 | 上海市第六人民医院 | 髋关节标记系统及其标记方法 |
CN110246566A (zh) * | 2019-04-24 | 2019-09-17 | 中南大学湘雅二医院 | 基于卷积神经网络的品行障碍确定方法、系统和存储介质 |
CN110136109B (zh) * | 2019-05-08 | 2022-07-22 | 常州大学 | 一种基于膨胀卷积神经网络的mci分类方法 |
CN111951950B (zh) * | 2019-05-16 | 2023-11-24 | 中国科学院自动化研究所 | 基于深度学习的三维数据医疗分类系统 |
CN110211685B (zh) * | 2019-06-10 | 2020-08-28 | 珠海上工医信科技有限公司 | 基于完全关注机制的糖网筛查网络结构模型 |
CN110334749B (zh) * | 2019-06-20 | 2021-08-03 | 浙江工业大学 | 基于注意力机制的对抗攻击防御模型、构建方法及应用 |
CN110459303B (zh) * | 2019-06-27 | 2022-03-08 | 浙江工业大学 | 基于深度迁移的医疗影像异常检测装置 |
CN110491501B (zh) * | 2019-08-14 | 2023-05-02 | 电子科技大学 | 一种青少年孤独症大脑功能网络模型分析方法 |
CN110619045A (zh) * | 2019-08-27 | 2019-12-27 | 四川大学 | 一种基于卷积神经网络和自注意力的文本分类模型 |
CN110969614B (zh) * | 2019-12-11 | 2024-03-29 | 中国科学院自动化研究所 | 基于三维卷积神经网络的脑龄预测方法及系统 |
CN111160413B (zh) * | 2019-12-12 | 2023-11-17 | 天津大学 | 一种基于多尺度特征融合的甲状腺结节分类方法 |
CN111402198B (zh) * | 2020-02-11 | 2022-12-27 | 山东师范大学 | 基于解剖地标和残差网络的阿尔兹海默症分类方法及系统 |
CN111666972A (zh) * | 2020-04-28 | 2020-09-15 | 清华大学 | 基于深度神经网络的肝部病例图像分类方法及系统 |
CN111582225B (zh) * | 2020-05-19 | 2023-06-20 | 长沙理工大学 | 一种遥感图像场景分类方法及装置 |
CN111754520B (zh) * | 2020-06-09 | 2023-09-15 | 江苏师范大学 | 一种基于深度学习的脑血肿分割方法及系统 |
CN111783570A (zh) * | 2020-06-16 | 2020-10-16 | 厦门市美亚柏科信息股份有限公司 | 一种目标重识别的方法、装置、系统及计算机存储介质 |
CN111721535B (zh) * | 2020-06-23 | 2021-11-30 | 中国人民解放军战略支援部队航天工程大学 | 一种基于卷积多头自注意力机制的轴承故障检测方法 |
CN112037179B (zh) * | 2020-08-11 | 2021-05-11 | 深圳大学 | 一种脑疾病诊断模型的生成方法、系统及设备 |
CN112070742B (zh) * | 2020-09-07 | 2023-09-26 | 杭州师范大学 | 基于自适应感受野3d空间注意力的脑影像分类装置 |
CN112382385A (zh) * | 2020-11-12 | 2021-02-19 | 山东中医药大学 | 一种基于3d卷积神经网络的无先兆偏头痛辅助诊断算法 |
CN112420170B (zh) * | 2020-12-10 | 2022-12-09 | 北京理工大学 | 一种提高计算机辅助诊断系统图片分类准确度的方法 |
CN112784909B (zh) * | 2021-01-28 | 2021-09-28 | 哈尔滨工业大学 | 基于自注意力机制和自适应子网络的图像分类识别方法 |
CN114973231A (zh) * | 2021-02-25 | 2022-08-30 | 微软技术许可有限责任公司 | 三维对象检测 |
CN113256616B (zh) * | 2021-06-23 | 2021-10-15 | 北京大学第三医院(北京大学第三临床医学院) | 膝关节mri影像的分类方法和装置 |
CN113496257A (zh) * | 2021-06-24 | 2021-10-12 | 上海联影智能医疗科技有限公司 | 图像分类方法、系统、电子设备和存储介质 |
CN113516186B (zh) * | 2021-07-12 | 2024-01-30 | 聊城大学 | 一种面向脑疾病分类的模块化特征选择方法 |
CN113724236B (zh) * | 2021-09-03 | 2023-06-09 | 深圳技术大学 | 基于注意力机制的oct图像检测方法及相关设备 |
CN113951830B (zh) * | 2021-11-15 | 2023-09-12 | 北京工业大学 | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 |
CN114359637A (zh) * | 2022-01-10 | 2022-04-15 | 华南师范大学 | 一种脑部医学影像分类方法及装置 |
CN115063419B (zh) * | 2022-08-16 | 2022-11-22 | 广东工业大学 | 基于可解释集成3dcnn的神经影像学生物标志物的提取方法 |
CN115375665B (zh) * | 2022-08-31 | 2024-04-16 | 河南大学 | 一种基于深度学习策略的早期阿尔兹海默症发展预测方法 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8452373B2 (en) * | 2009-04-16 | 2013-05-28 | Alice M. Wyrwicz | Diffusion tensor imaging-based alzheimer's diagnosis method |
-
2018
- 2018-07-06 CN CN201810739141.3A patent/CN109165667B/zh active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107506797A (zh) * | 2017-08-25 | 2017-12-22 | 电子科技大学 | 一种基于深度神经网络和多模态影像阿尔兹海默病分类方法 |
Non-Patent Citations (2)
Title |
---|
《A Deep CNN based Multi-class Classification of Alzheimer’s Disease using MRI》;Ammarah Farooq等;《2017 IEEE International Conference on Imaging Systems and Techniques》;20180118;第Ⅰ-Ⅲ节 * |
《Attention U-Net:Learning Where to Look for the Pancreas》;Ozan Oktay 等;《arXiv》;20180520;第1.2节,第2节,第4节,图2 * |
Also Published As
Publication number | Publication date |
---|---|
CN109165667A (zh) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109165667B (zh) | 基于自注意力机制的脑疾病分类系统 | |
CN110348515B (zh) | 图像分类方法、图像分类模型训练方法及装置 | |
Marroquín et al. | An accurate and efficient Bayesian method for automatic segmentation of brain MRI | |
Xue et al. | Integrating multisource block-wise missing data in model selection | |
EP3884862A1 (en) | Method and system for individualized prediction of mental illness on basis of brain function map monkey-human cross-species migration | |
CN109087298B (zh) | 一种阿尔兹海默病mri图像分类方法 | |
Banerjee et al. | Rough sets and stomped normal distribution for simultaneous segmentation and bias field correction in brain MR images | |
Jain et al. | Autism Detection of MRI Brain Images Using Hybrid Deep CNN With DM-Resnet Classifier | |
Hu et al. | Localizing sources of brain disease progression with network diffusion model | |
CN112950631B (zh) | 基于显著图约束和x光头颅定位侧位图像的年龄估计方法 | |
CN113658721B (zh) | 阿尔兹海默疾病进程预测方法 | |
Qu et al. | An experimental study of data heterogeneity in federated learning methods for medical imaging | |
CN109949288A (zh) | 肿瘤类型确定系统、方法及存储介质 | |
EP4003146A1 (en) | Systems and methods for determining a fluid and tissue volume estimations using electrical property tomography | |
CN116385809A (zh) | 一种基于半监督学习的mri脑肿瘤分类方法及系统 | |
Yerukalareddy et al. | Brain tumor classification based on mr images using GAN as a pre-trained model | |
CN111968108A (zh) | 基于智能扫描协议的ct智能成像方法、装置及系统 | |
CN116030063B (zh) | Mri图像的分类诊断系统、方法、电子设备及介质 | |
CN115937581A (zh) | 一种多站点fMRI数据的分类识别方法 | |
Ma et al. | Conditional temporal attention networks for neonatal cortical surface reconstruction | |
CN115601535A (zh) | 联合Wasserstein距离与差异度量的胸片异常识别域自适应方法及系统 | |
Ahmed et al. | Deepmrs: An end-to-end deep neural network for dementia disease detection using mrs data | |
CN112070742B (zh) | 基于自适应感受野3d空间注意力的脑影像分类装置 | |
CN115063349A (zh) | 基于sMRI多维张量形态特征预测脑年龄的方法及装置 | |
Wang et al. | Application of fusion model of 3D-ResNeXt and Bi-LSTM network in Alzheimer’s disease classification |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |