CN113951830B - 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 - Google Patents
一种基于3d注意力卷积与自监督学习的脑疾病分类方法 Download PDFInfo
- Publication number
- CN113951830B CN113951830B CN202111346214.0A CN202111346214A CN113951830B CN 113951830 B CN113951830 B CN 113951830B CN 202111346214 A CN202111346214 A CN 202111346214A CN 113951830 B CN113951830 B CN 113951830B
- Authority
- CN
- China
- Prior art keywords
- convolution
- data
- attention
- representing
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 208000014644 Brain disease Diseases 0.000 title claims abstract description 21
- 210000004556 brain Anatomy 0.000 claims abstract description 55
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 43
- 238000007781 pre-processing Methods 0.000 claims abstract description 11
- 230000000284 resting effect Effects 0.000 claims abstract description 8
- 230000000694 effects Effects 0.000 claims abstract description 6
- 239000010410 layer Substances 0.000 claims description 73
- 230000006870 function Effects 0.000 claims description 36
- 238000012549 training Methods 0.000 claims description 29
- 238000012795 verification Methods 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 20
- 230000000873 masking effect Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012360 testing method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 238000002790 cross-validation Methods 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011229 interlayer Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 abstract description 5
- 238000012512 characterization method Methods 0.000 abstract description 3
- 238000011160 research Methods 0.000 abstract description 3
- 238000013527 convolutional neural network Methods 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 3
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 3
- 208000029560 autism spectrum disease Diseases 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 208000024827 Alzheimer disease Diseases 0.000 description 2
- 206010003805 Autism Diseases 0.000 description 2
- 208000020706 Autistic disease Diseases 0.000 description 2
- 208000015802 attention deficit-hyperactivity disease Diseases 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000013145 classification model Methods 0.000 description 1
- 230000003930 cognitive ability Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 230000008506 pathogenesis Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Theoretical Computer Science (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- General Engineering & Computer Science (AREA)
- Surgery (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Neurology (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Psychiatry (AREA)
- Fuzzy Systems (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Neurosurgery (AREA)
- High Energy & Nuclear Physics (AREA)
- Psychology (AREA)
- Radiology & Medical Imaging (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明公开了一种基于3D注意力卷积与自监督学习的脑疾病分类方法，属于脑科学研究领域。具体包括以下步骤：获取静息态fMRI数据并预处理；构建基于fMRI全脑体素的功能连接数据；数据集划分；基于注意力卷积与自监督学习的脑疾病分类。本发明所述方法利用注意力机制的3DCNN从fMRI数据中提取全脑体素的空间特征,同时利用自监督学习使3DCNN挖掘到更有意义的表征.最后对分类任务和自监督辅助任务进行联合训练来优化参数。本发明所述方法可以更好的探索大脑的空间信息与挖掘数据隐含的特征，从而提升分类效果，且该方法合理可靠。
Description
技术领域
本发明属于脑科学研究领域，具体地说，本发明涉及一种基于3D注意力卷积与自监督学习的脑疾病分类方法。
背景技术
人脑是人体一个高度复杂的系统，包含了大量的神经元细胞。通过多个神经元、神经元集群或者多个脑区之间的相互作用，人脑能够完成各种复杂的任务。人脑的结构和功能非常复杂，远远超出我们当前的认知能力。因此，探索并理解人类大脑的工作机制，揭开大脑之谜，无疑是非常有意义的事情。基于fMRI数据的脑疾病分类是脑科学领域中重要的研究方向，分析fMRI数据有助于理解自闭症谱系障碍(Autism spectrum disorder,ASD)、注意缺陷多动障碍(Attention deficit hyperactivity disorder,ADHD)和阿尔兹海默症(Alzheimer's disease,AD)等脑疾病的发病机理，具有十分重要的现实意义。
目前脑疾病分类方法主要分为两种：基于脑区划分的方法和基于体素分类的方法。基于脑区划分的方法大多通过对大脑进行分区来构建功能连接，这种方法虽然可以降低fMRI数据的维度，但是却忽略了原始fMRI数据中每个体素点的信息和体素之间的空间位置。基于体素分类的方法可以保留所有体素的信息以及它们之间的空间关系，表现出较好的效果。
基于体素的分类方法主要包括全连接神经网络(Fully connected neuralnetwork,FCNN)和三维卷积神经网络(3-Dimensional convolutional neural network,3DCNN)。其中，FCNN方法需要将体素数据转化为一维，从而进行特征学习与分类。但是，一维数据不能体现出体素数据的空间关系，而3DCNN可以处理具有空间性的数据。但是，人脑数据存在样本量小，特征维数高等特点，3DCNN不能考虑到每个体素的重要性，难以从高维数据中挖掘出内在的信息，基于3DCNN来对体素数据分类有待进一步提升。
发明内容
本发明针对上述现有方法存在的问题，提出一种基于3D注意力卷积与自监督学习的脑疾病分类方法(Brain Disease Classification Method Based on 3D AttentionConvolutional Neural Network and Self-Supervised Learning,3D-SACNN)。本发明所述方法构建全脑体素的功能连接数据，利用具有注意力机制的3DCNN来提取fMRI数据的特征，并且利用自监督学习使3DCNN学习到更多的隐含信息。最后对分类任务和自监督辅助任务进行联合训练来优化参数。
为实现上述目的，本发明采用的技术方案为一种基于注意力卷积与自监督学习的脑疾病分类方法。
步骤(1)获取静息态fMRI数据并预处理：
步骤(1.1)静息态fMRI数据获取；
步骤(1.2)数据预处理：包括层间时间校正、头动校正、全局平均强度归一化、干扰信号回归、带通滤波和空间配准步骤；
步骤(1.3)构建全脑体素的功能连接数据：
步骤(1.3.1)初始的三维fMRI数据表示为R，其中/>代表全体实数集合，T代表时间序列长度，D1、D2、D3分别代表fMRI数据的三个维度，体素总数为D；使用CC200脑图谱对fMRI数据按脑区进行划分，从而将大脑分为M个区域；由划分后的数据计算每个脑区的平均时间序列为/>每个体素的时间序列为/>最后，给定时间序列u＝[u1,u1,...,uT]，v＝[v1,v1,...,vT]，u与v之间的皮尔森相关系数(Pearsoncorrelation coefficients,PCC)表示为：
其中,为u的平均值，/>为v的平均值；由此,通过每个体素的时间序列/>与每个脑区中的平均时间序列/>得到每个脑区与每个体素之间的相关系数接下来将相关系数P还原为M个立方体，此处的M与前面的M个区域为相同的数值，每个立方体的维度为D，立方体中的每个元素代表当前体素与脑区之间的相关性，可将其表示为/>
包含N个样本的fMRI数据集表示为{(G(1),y(1)),……,(G(N),y(N))}；其中，y(n)∈{0，1}，0表示对照组受试者，1表示ASD组受试者，G(N)表示第N个样本的fMRI数据；
步骤(2)数据集划分：将ABIDE-I和ABIDE-II数据集按照8：1：1的比例划分为训练集、验证集和测试集；其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果；
步骤(3)基于注意力卷积与自监督学习的脑疾病分类：
步骤(3.1)将ABIDE-I和ABIDE-II数据集或对应的训练集、验证集作为神经网络的输入；
步骤(3.2)构建一个包含3D注意力卷积模块、分类模块与基于3D空间信息的自监督学习模块的神经网络；3D注意力卷积模块包含三个卷积层，卷积核大小为3×3×3，步长为1，计算空间注意力的3D卷积采用一个卷积层，卷积核大小为5×5×5，步长为1；其中，分类模块输入全脑体素功能连接特征，而自监督学习模块输入掩蔽后的全脑体素功能连接特征，分类模块与自监督学习模块都经过3D注意力卷积模块来得到隐层特征，再输入到两个模块中获得最终的结果；在训练过程中，分类任务与自监督辅助任务采用联合训练的方式进行参数优化；
步骤(3.2.1)输入层:为全脑体素功能连接特征，除此之外，需要将全脑体素功能连接特征/>进行随机掩蔽；首先根据掩蔽的比率α∈[0,1]确定每个体素是否被掩蔽；然后，生成一个掩码/> 来随机遮挡内容；最后，依靠掩码来生成掩蔽后的体素功能连接数据/>该过程表示为原始数据X与掩码I之间的运算：
其中,⊙表示元素乘积；
步骤(3.2.2)3D注意力卷积模块：
步骤(3.2.2.1)以步骤(3.2.1)输出的特征图X作为3D注意力卷积模块中三维卷积的输入，设表示第l层的输入数据，M(l)表示第l层的通道数,分别表示第l层fMRI数据的三个维度，可见，H(0)＝X；根据式(3)完成三维卷积的计算，使其提取到三维数据的空间特征；
其中，表示第l层三维卷积的卷积核，t表示单个卷积核的大小,每个卷积核为一个立方体，/>表示K(l)的输入通道，/>表示K(l)的输出通道，B(l)表示相应的偏置，/>表示第l+1层所有通道的输出数据，σ(·)表示非线性激活函数；
步骤(3.2.2.2)根据式(4)完成空间注意力系数的计算，使其关注到空间中含有关键信息的位置；
A(l)＝Conv3d([avgpool(H(l))||maxpool(H(l))]) (4)
其中，||表示拼接，Conv3d表示三维卷积，avgpool(·)表示平均池化，maxpool(·)表示最大池化，表示第l层的空间注意力系数；
步骤(3.2.2.3)根据式(5)完成带有残差结构的3D注意力卷积层；
H(l+1)＝Conv3d(H(l))+Conv3d(H(l))⊙A(l) (5)
其中，表示每层的输入特征，H(l+1)表示输出特征，⊙表示元素乘积；
步骤(3.2.2.4)步骤(3.2.2.4)为了方便表示，把L个步骤(3.2.2.3)中的3D注意力卷积层的3D注意力卷积模块用Ff(·)表示；以X，分别作为所述3D注意力卷积模块的输入，根据式(6)(7)完成带有残差结构的3D注意力卷积操作，提取出三维fMRI数据中的空间特征；
Z＝Ff(X) (6)
其中，Z为输入数据X经过3D注意力卷积模块的输出，为输入数据/>经过3D注意力卷积模块的输出；
步骤(3.2.3)分类模块：
步骤(3.2.3.1)分类模块由全连接层组成，从而进行特征的线性组合，最后一层使用Softmax函数将输出结果转换为概率表示；将分类模块用函数Fc(·)来表示，将步骤(3.2.2.4)输出的Z展平拼接成一维向量作为输入，得到整个分类任务最后的输出为：
Y′＝Fc(Z) (8)
整个分类任务的损失函数定义为：
其中，N代表训练集的样本数，C代表类别标签的个数，i代表第几个训练样本，j代表第几个类别标签，Yi,j和Y′i,j分别代表样本的标签与相应的预测值；
步骤(3.2.4)基于3D空间信息的自监督学习模块：
步骤(3.2.4.1)该模块由反卷积层组成，并且反卷积的卷积核大小与正向卷积相同；反卷积的具体操作为：首先对中间层特征的每个维度进行填充(padding)，填充长度为t-1，其中，t是三维卷积核的大小；然后在新的特征上进行普通的三维卷积，不断地重复上述过程即可实现多层反卷积操作；
步骤(3.2.4.2)把自监督学习模块定义为Fs(·)，那么整个自监督任务的输出为：
令则自监督辅助任务的损失函数定义为：
上式为均方误差,表示原始数据与预测输出之间的差异；
步骤(3.2.5)将脑疾病分类任务与自监督辅助任务同时优化，构建多任务的学习框架，总的损失函数如式(12)所示：
其中，λ是控制损失权重的系数，用于调整自监督辅助任务对分类任务的影响，为了使得与/>为相同数量级，这里λ设置为100；
步骤(3.3)针对步骤(3.1)中的训练集，利用Adam梯度下降算法最小化步骤(3.2.5)中所述损失函数，并根据模型在验证集上的分类准确率确定神经网络的超参数，其中，掩蔽比率α在0.1-0.5的范围内，以0.1为步长取值，3D注意力卷积层层数L在1-5的范围内，以1为步长取值，不同掩蔽比率α与3D注意力卷积层层数L下，每种超参数组合采用十折交叉验证法从而得到验证集的准确率，当验证集上的准确率最高时，α与L的值即为最优的神经网络超参数；
步骤(3.4)首先，将步骤(3.1)中的训练集和测试集输入到由步骤(3.2)确定的模型中；然后，利用10次十折交叉验证法，得到分类准确率。
与现有方法相比，本发明具有以下明显的优势和有益效果：
本发明提出一种基于3D注意力卷积与自监督学习的脑疾病分类方法。本方法具有以下两个优势：1)相较于传统的三维卷积方法，本发明所述方法提出的具有残差结构的3D注意力卷积网络，能够提取到fMRI数据中的空间特征,并且关注到不同体素的重要程度；2)本发明所述方法可以通过自监督学习到数据的隐含信息,从而进一步提升分类模型的性能。
本发明基于三维卷积神经网络，使用注意力机制可以更好地使3DCNN从fMRI数据中提取空间特征,同时利用自监督学习使3DCNN学习到更有意义的表征，在ABIDE-I和ABIDE-II真实fMRI数据集上均取得最好的结果，且所述方法合理可靠。
附图说明
图1：一种基于3D注意力卷积与自监督学习的脑疾病分类方法流程图。
图2：一种基于3D注意力卷积与自监督学习的脑疾病分类方法的结构图。
图3：基于全脑体素的功能连接构建过程示意图。
具体实施方式
下面以真实fMRI数据集为例，说明本发明的具体实施步骤：
步骤(1)获取静息态fMRI数据并预处理：
步骤(1.1)静息态fMRI数据获取：从ABIDE(Autism Brain Imaging DataExchange，http://fcon_1000.projects.nitrc.org/indi/abide/)获取自闭症(Autismspectrum disorder，ASD)数据进行分析；ABIDE-I包含来自17个不同站点的1112名被试的rs-fMRI(Resting-state functional magnetic resonance imaging)数据；根据三位人类专家的视觉检查结果，对这些数据进行质量评估，通过不完整的大脑覆盖范围、高运动峰值、重影和其他扫描仪伪影从最初的1112个被试样本中产生871个被试，其中正常的对照组468人，ASD组403人；ABIDE-II收集了17个不同站点的1114个被试的数据，选取518个被试作为实验数据，其中正常的对照组265人，ASD组253人；
步骤(1.2)数据预处理：对于ABIDE-I数据集，为了能够轻松复现和扩展所述方法，所有预处理数据均从Preprocessed Connectomes Project(PCP，http://preprocessed-connectomes-project.org/abide/)获得；PCP项目公开发布和共享了由四个不同预处理流程对ABIDE-I中各个站点数据进行预处理后的数据；本发明所用数据采用PCP(Preprocessed connectomes project)提供的CPAC(Configurable pipeline for theanalysis of connectomes)预处理流程,包括层间时间校正、头动校正、全局平均强度归一化、干扰信号回归、带通滤波和空间配准等；对于ABIDE-II数据集,预处理由静息态fMRI数据处理助手(DPARSF)软件按照相同的步骤完成；
步骤(1.3)构建基于fMRI全脑体素的功能连接数据：
步骤(1.3.1)初始的三维fMRI数据表示为R，其中/>代表全体实数集合，T代表时间序列长度，D1、D2、D3分别代表fMRI数据的三个维度，体素总数为D；使用CC200脑图谱对fMRI数据按脑区进行划分，从而将大脑分为M个区域；由划分后的数据计算每个脑区的平均时间序列为/>每个体素的时间序列为/>最后，给定时间序列u＝[u1,u1,...,uT]，v＝[v1,v1,...,vT]，u与v之间的皮尔森相关系数(Pearsoncorrelation coefficients,PCC)表示为：
其中,为u的平均值，/>为v的平均值；由此,通过每个体素的时间序列/>与每个脑区中的平均时间序列/>得到每个脑区与每个体素之间的相关系数/>接下来将相关系数P还原为M个立方体，此处的M与前面的M个区域为相同的数值，每个立方体的维度为D，立方体中的每个元素代表当前体素与脑区之间的相关性，可将其表示为在具体实施方案中，D1＝30，D2＝36，D3＝30，D＝30×36×30，M＝200，
包含N个样本的fMRI数据集表示为{(G(1),y(1)),……,(G(N),y(N))}；其中，y(n)∈{0，1}，0表示对照组受试者，1表示ASD组受试者，G(N)表示第N个样本的fMRI数据；
步骤(2)数据集划分：将ABIDE-I和ABIDE-II数据集按照8：1：1的比例划分为训练集、验证集和测试集；其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果；
步骤(3)基于注意力卷积与自监督学习的脑疾病分类：
步骤(3.1)将ABIDE-I与ABIDE-II数据集或对应的训练集、验证集作为神经网络的输入；
步骤(3.2)构建一个包含3D注意力卷积模块、分类模块与基于3D空间信息的自监督学习模块的神经网络；3D注意力卷积模块包含三个卷积层，卷积核大小为3×3×3，步长为1，计算空间注意力的3D卷积采用一个卷积层，卷积核大小为5×5×5，步长为1；其中，分类模块输入全脑体素功能连接特征，而自监督学习模块输入掩蔽后的全脑体素功能连接特征，分类模块与自监督学习模块都经过3D注意力卷积模块来得到隐层特征，再输入到两个模块中获得最终的结果；在训练过程中，分类任务与自监督辅助任务采用联合训练的方式进行参数优化；
步骤(3.2.1)输入层:为全脑体素功能连接特征，除此之外，需要将全脑体素功能连接特征/>进行随机掩蔽；首先根据掩蔽的比率α∈[0,1]确定每个体素是否被掩蔽；然后，生成一个掩码/> 来随机遮挡内容；最后，依靠掩码来生成掩蔽后的体素功能连接数据/>该过程表示为原始数据X与掩码I之间的运算：
其中,⊙表示元素乘积；在具体实施方案中，α在0.1-0.5的范围内，以0.1为步长取值，候选值分别为0.1、0.2、0.3、0.4和0.5；
步骤(3.2.2)3D注意力卷积模块：
步骤(3.2.2.1)以步骤(3.2.1)输出的特征图X作为3D注意力卷积模块中三维卷积的输入，设表示第l层的输入数据，M(l)表示第l层的通道数,分别表示第l层fMRI数据的三个维度，可见，H(0)＝X；根据式(3)完成三维卷积的计算，使其提取到三维数据的空间特征；
其中，表示第l层三维卷积的卷积核，t表示单个卷积核的大小,每个卷积核为一个立方体，/>表示K(l)的输入通道，/>表示K(l)的输出通道，B(l)表示相应的偏置，/>表示第l+1层所有通道的输出数据，σ(·)表示非线性激活函数；在具体实施方案中，t＝5，此处使用ELU作为卷积层的激活函数；
步骤(3.2.2.2)根据式(4)完成空间注意力系数的计算，使其关注到空间中含有关键信息的位置；
A(l)＝Conv3d([avgpool(H(l))||maxpool(H(l))]) (4)
其中，||表示拼接，Conv3d表示三维卷积，avgpool(·)表示平均池化，maxpool(·)表示最大池化，表示第l层的空间注意力系数；在具体实施方案中，为生成有实际意义的注意力系数，此处的三维卷积采用Sigmoid作为激活函数，卷积核大小t＝5；
步骤(3.2.2.3)根据式(5)完成带有残差结构的3D注意力卷积层；
H(l+1)＝Conv3d(H(l))+Conv3d(H(l))⊙A(l) (5)
其中，表示每层的输入特征，H(l+1)表示输出特征，⊙表示元素乘积；
步骤(3.2.2.4)为了方便表示，把L个步骤(3.2.2.3)中的3D注意力卷积层的3D注意力卷积模块用Ff(·)表示；以X，分别作为所述3D注意力卷积模块的输入，根据式(6)(7)完成带有残差结构的3D注意力卷积操作，提取出三维fMRI数据中的空间特征；
Z＝Ff(X) (6)
其中，Z为输入数据X经过3D注意力卷积模块的输出，为输入数据/>经过3D注意力卷积模块的输出；在具体实施方案中，L在1-5的范围内，以1为步长取值，候选值分别为1、2、3、4和5；
步骤(3.2.3)分类模块：
步骤(3.2.3.1)分类模块由全连接层组成，从而进行特征的线性组合，最后一层使用Softmax函数将输出结果转换为概率表示；将分类模块用函数Fc(·)来表示，将步骤(3.2.2.4)输出的Z展平拼接成一维向量作为输入，得到整个分类任务最后的输出为：
Y′＝Fc(Z) (8)
整个分类任务的损失函数定义为：
其中，N代表训练集的样本数，C代表类别标签的个数，i代表第几个训练样本，j代表第几个类别标签，Yi,j和Y′i,j分别代表样本的标签与相应的预测值；在具体实施方案中，C＝2；
步骤(3.2.4)基于3D空间信息的自监督学习模块：
步骤(3.2.4.1)该模块由反卷积层组成，并且反卷积的卷积核大小与正向卷积相同；反卷积的具体操作为：首先对中间层特征的每个维度进行填充(padding)，填充长度为t-1，其中，t是三维卷积核的大小；然后在新的特征上进行普通的三维卷积，不断地重复上述过程即可实现多层反卷积操作；在具体实施方案中，t＝3，步长为1。
步骤(3.2.4.2)把自监督学习模块定义为Fs(·)，那么整个自监督任务的输出为：
令则自监督辅助任务的损失函数定义为：
上式为均方误差,表示原始数据与预测输出之间的差异；
步骤(3.2.5)将脑疾病分类任务与自监督辅助任务同时优化，构建多任务的学习框架，总的损失函数如式(12)所示：
其中，λ是控制损失权重的系数，用于调整自监督辅助任务对分类任务的影响，为了使得与/>为相同数量级，这里λ设置为100；
步骤(3.3)针对步骤(3.1)中的训练集，利用Adam梯度下降算法最小化步骤(3.2.5)中所述损失函数，在训练过程中，批大小为24，学习率为1×10-4；并根据模型在验证集上的分类准确率确定神经网络的超参数，其中，掩蔽比率α在0.1-0.5的范围内，以0.1为步长取值，3D注意力卷积层层数L在1-5的范围内，以1为步长取值，不同掩蔽比率α与3D注意力卷积层层数L下，每种超参数组合采用十折交叉验证法从而得到验证集的准确率，当验证集上的准确率最高时，确定L＝3，α＝0.3为最优的神经网络超参数；
步骤(3.4)首先，将步骤(3.1)中的训练集和测试集输入到由步骤(3.2)确定的模型中；然后，利用10次十折交叉验证法，得到分类准确率。
为了说明本发明所述方法的有益效果，在具体实施过程中，我们分别从传统的机器学习方法和深度学习方法中选取了八种经典算法在ABIDE-I和ABIDE-II数据集上进行了对比实验。其中基于传统机器学习的方法包括LASSO、Ridge和SVM。基于深度学习的方法包括SSAE、BrainNetCNN、CKEW和3DCNN。其中，BrainNetCNN、SAE和CKEW是将脑区的功能连接作为输入。其他方法都是将体素数据作为输入。对于SAE方法，除了输入和输出层之外，还包含三个堆栈自编码器层，隐层节点数量分别为1000、128、96；BrainNetCNN和CKEW包括一个具有128个通道的边到点层，一个具有256个通道的点到图层和两个全连接层；3DCNN包含两层卷积层和一层池化层，卷积核的大小为3。3D-ACNN代表本发明所述的方法。
表1 8种算法在ABIDE-I数据集上的分类性能
| Methods | ACC | SEN | SPE | PPV | NPV | F1 |
| SAE | 0.6652 | 0.6817 | 0.6301 | 0.6817 | 0.6404 | 0.6866 |
| BrainNetCNN | 0.6674 | 0.6902 | 0.6505 | 0.7071 | 0.6545 | 0.6844 |
| CKEW | 0.6788 | 0.7347 | 0.6175 | 0.6913 | 0.6689 | 0.7082 |
| LASSO | 0.6459 | 0.7319 | 0.5430 | 0.6529 | 0.6291 | 0.6874 |
| Ridge | 0.6754 | 0.7367 | 0.6032 | 0.6839 | 0.6653 | 0.7084 |
| SVM | 0.6811 | 0.7427 | 0.6052 | 0.6884 | 0.6733 | 0.7147 |
| 3DCNN | 0.6865 | 0.7627 | 0.5981 | 0.6925 | 0.6929 | 0.7211 |
| 3D-SACNN | 0.7036 | 0.7403 | 0.6621 | 0.7147 | 0.6851 | 0.7521 |
表2 8种算法在ABIDE-II数据集上的分类性能
| Methods | ACC | SEN | SPE | PPV | NPV | F1 |
| SAE | 0.6561 | 0.6732 | 0.6449 | 0.6731 | 0.6331 | 0.6661 |
| BrainNetCNN | 0.6447 | 0.6209 | 0.6561 | 0.6379 | 0.6406 | 0.6278 |
| CKEW | 0.6581 | 0.6092 | 0.7027 | 0.6772 | 0.6899 | 0.6188 |
| LASSO | 0.6416 | 0.6009 | 0.7038 | 0.6582 | 0.6421 | 0.6228 |
| Ridge | 0.6233 | 0.6047 | 0.6529 | 0.6363 | 0.6183 | 0.6135 |
| SVM | 0.6165 | 0.5738 | 0.6593 | 0.6051 | 0.6310 | 0.5818 |
| 3DCNN | 0.6636 | 0.6312 | 0.6887 | 0.6590 | 0.6711 | 0.6457 |
| 3D-SACNN | 0.6719 | 0.6948 | 0.6437 | 0.6624 | 0.6982 | 0.6684 |
本发明基于三维卷积神经网络，使用注意力机制使3DCNN更好地从fMRI数据中提取全脑体素的空间特征,同时利用自监督学习使3DCNN挖掘到更有意义的表征，如表1和表2所示，本发明所述方法更好的挖掘大脑的空间信息与数据隐含的特征，从而提升分类效果，在ABIDE-I据集和ABIDE-II数据集上大多数指标上均取得最好的结果。因此，本发明所述方法合理可靠。
Claims (1)
1.一种基于3D注意力卷积与自监督学习的脑疾病分类方法，其特征在于：
步骤(1)获取静息态fMRI数据并预处理：
步骤(1.1)获取静息态fMRI数据；
步骤(1.2)数据预处理：包括层间时间校正、头动校正、全局平均强度归一化、干扰信号回归、带通滤波和空间配准步骤；
步骤(1.3)构建全脑体素的功能连接数据；
步骤(1.3.1)初始的三维fMRI数据表示为R，其中/>代表全体实数集合，T代表时间序列长度，D1、D2、D3分别代表fMRI数据的三个维度，体素总数为D；使用CC200脑图谱对fMRI数据按脑区进行划分，从而将大脑分为M个区域；由划分后的数据计算每个脑区的平均时间序列为/>每个体素的时间序列为/>最后，给定时间序列u＝[u1,u2,...,ui,...,uT]，v＝[v1,v2,...,vi,...,vT]，u与v之间的皮尔森相关系数(Pearson correlation coefficients,PCC)表示为：
其中,为u的平均值，/>为v的平均值；由此,通过每个体素的时间序列V∈/>与每个脑区中的平均时间序列/>得到每个脑区与每个体素之间的相关系数/>接下来将相关系数P还原为M个立方体，此处的M与前面的M个区域为相同的数值，每个立方体的维度为D，立方体中的每个元素代表当前体素与脑区之间的相关性，可将其表示为
包含N个样本的fMRI数据集表示为{(G(1),y(1)),……,(G(N),y(N))}；其中，y(n)∈{0，1}，0表示对照组受试者，1表示ASD组受试者，G(N)表示第N个样本的fMRI数据，X∈{G(1),G(2),…G(N)}；
步骤(2)数据集划分：将ABIDE-I和ABIDE-II数据集按照8：1：1的比例划分为训练集、验证集和测试集；其中，训练集用于学习神经网络的参数；验证集用于确定网络结构和超参数；测试集用于验证神经网络分类效果；
步骤(3)基于注意力卷积与自监督学习的脑疾病分类：
步骤(3.1)将ABIDE-I和ABIDE-II数据集或对应的训练集、验证集作为神经网络的输入；
步骤(3.2)构建一个包含3D注意力卷积模块、分类模块与基于3D空间信息的自监督学习模块的神经网络；3D注意力卷积模块包含三个卷积层，卷积核大小为3×3×3，步长为1，计算空间注意力的3D卷积采用一个卷积层，卷积核大小为5×5×5，步长为1；其中，分类模块输入全脑体素功能连接特征，而自监督学习模块输入掩蔽后的全脑体素功能连接特征，分类模块与自监督学习模块都经过3D注意力卷积模块来得到隐层特征，再输入到两个模块中获得最终的结果；在训练过程中，分类任务与自监督辅助任务采用联合训练的方式进行参数优化；
步骤(3.2.1)输入层:为全脑体素功能连接特征，除此之外，需要将全脑体素功能连接特征/>进行随机掩蔽；首先根据掩蔽的比率α∈[0,1]确定每个体素是否被掩蔽；然后，生成一个掩码/> 来随机遮挡内容；最后，依靠掩码来生成掩蔽后的体素功能连接数据/>该过程表示为原始数据X与掩码I之间的运算：
其中,⊙表示元素乘积；
步骤(3.2.2)3D注意力卷积模块：
步骤(3.2.2.1)以特征图X作为3D注意力卷积模块中三维卷积的输入，设表示第l层的输入数据，M(l)表示第l层的通道数，/>分别表示第l层fMRI数据的三个维度，可见，H(0)＝X；根据式(3)完成三维卷积的计算，使其提取到三维数据的空间特征；
其中，表示第l层三维卷积的卷积核，t表示单个卷积核的大小，每个卷积核为一个立方体，/>表示K(l)的输入通道，/>表示K(l)的输出通道，B(l)表示相应的偏置，/>表示第l+1层所有通道的输出数据，σ(·)表示非线性激活函数；
步骤(3.2.2.2)根据式(4)完成空间注意力系数的计算，使其关注到空间中含有关键信息的位置；
A(l)＝Conv3d([avgpool(H(l))||maxpool(H(l))]) (4)
其中，||表示拼接，Conv3d表示三维卷积，avgpool(·)表示平均池化，maxpool(·)表示最大池化，表示第l层的空间注意力系数；
步骤(3.2.2.3)根据式(5)完成带有残差结构的3D注意力卷积层；
H(l+1)＝Conv3d(H(l))+Conv3d(H(l))⊙A(l) (5)
其中，表示每层的输入特征，H(l+1)表示输出特征，⊙表示元素乘积；
步骤(3.2.2.4)为了方便表示，把L个步骤(3.2.2.3)中的3D注意力卷积层的3D注意力卷积模块用Ff(·)表示；以X，分别作为所述3D注意力卷积模块的输入，根据式(6)(7)完成带有残差结构的3D注意力卷积操作，提取出三维fMRI数据中的空间特征；
Z＝Ff(X) (6)
其中，Z为输入数据X经过3D注意力卷积模块的输出，为输入数据/>经过3D注意力卷积模块的输出；
步骤(3.2.3)分类模块：
步骤(3.2.3.1)分类模块由全连接层组成，从而进行特征的线性组合，最后一层使用Softmax函数将输出结果转换为概率表示；将分类模块用函数Fc(·)来表示，将步骤(3.2.2.4)输出的Z展平拼接成一维向量作为输入，得到整个分类任务最后的输出为：
Y′＝Fc(Z) (8)
整个分类任务的损失函数定义为：
其中，N1代表训练集的样本数，C代表类别标签的个数，m代表第几个训练样本，n代表第几个类别标签，Ym,n和Y′m,n分别代表样本的标签与相应的预测值；
步骤(3.2.4)基于3D空间信息的自监督学习模块：
步骤(3.2.4.1)该模块由反卷积层组成，并且反卷积的卷积核大小与正向卷积相同；反卷积的具体操作为：首先对中间层特征的每个维度进行填充(padding)，填充长度为t-1，其中，t是三维卷积核的大小；然后在新的特征上进行普通的三维卷积，不断地重复上述过程即可实现多层反卷积操作；
步骤(3.2.4.2)把自监督学习模块定义为Fs(·)，那么整个自监督任务的输出为：
令则自监督辅助任务的损失函数定义为：
上式为均方误差,表示原始数据与预测输出之间的差异；
步骤(3.2.5)将脑疾病分类任务与自监督辅助任务同时优化，构建多任务的学习框架，总的损失函数如式(12)所示：
其中，λ是控制损失权重的系数，用于调整自监督辅助任务对分类任务的影响，为了使得与/>为相同数量级，这里λ设置为100；
步骤(3.3)针对步骤(3.1)中的训练集，利用Adam梯度下降算法最小化步骤(3.2.5)中所述损失函数，并根据模型在验证集上的分类准确率确定神经网络的超参数，其中，掩蔽比率α在0.1-0.5的范围内，以0.1为步长取值，3D注意力卷积层层数L在1-5的范围内，以1为步长取值，不同掩蔽比率α与3D注意力卷积层层数L下，每种超参数组合采用十折交叉验证法从而得到验证集的准确率，当验证集上的准确率最高时，α与L的值即为最优的神经网络超参数；
步骤(3.4)首先，将步骤(3.1)中的训练集和测试集输入到由步骤(3.2)确定的模型中；然后，利用十折交叉验证法，得到分类准确率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111346214.0A CN113951830B (zh) | 2021-11-15 | 2021-11-15 | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111346214.0A CN113951830B (zh) | 2021-11-15 | 2021-11-15 | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113951830A CN113951830A (zh) | 2022-01-21 |
| CN113951830B true CN113951830B (zh) | 2023-09-12 |
Family
ID=79470472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111346214.0A Active CN113951830B (zh) | 2021-11-15 | 2021-11-15 | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113951830B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114748053A (zh) * | 2022-03-07 | 2022-07-15 | 东北大学 | 一种基于fMRI高维时间序列的信号分类方法及装置 |
| CN114795178B (zh) * | 2022-04-28 | 2023-05-05 | 电子科技大学 | 一种基于多注意力神经网络的大脑状态解码方法 |
| CN115063419B (zh) * | 2022-08-16 | 2022-11-22 | 广东工业大学 | 基于可解释集成3dcnn的神经影像学生物标志物的提取方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| CN109376751A (zh) * | 2018-08-21 | 2019-02-22 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
| CN110197729A (zh) * | 2019-05-20 | 2019-09-03 | 华南理工大学 | 基于深度学习的静息态fMRI数据分类方法和装置 |
| CN113313232A (zh) * | 2021-05-19 | 2021-08-27 | 华南理工大学 | 一种基于预训练和图神经网络的功能脑网络分类方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9510756B2 (en) * | 2012-03-05 | 2016-12-06 | Siemens Healthcare Gmbh | Method and system for diagnosis of attention deficit hyperactivity disorder from magnetic resonance images |
-
2021
- 2021-11-15 CN CN202111346214.0A patent/CN113951830B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109165667A (zh) * | 2018-07-06 | 2019-01-08 | 中国科学院自动化研究所 | 基于自注意力机制的脑疾病分类系统 |
| CN109376751A (zh) * | 2018-08-21 | 2019-02-22 | 北京工业大学 | 一种基于卷积神经网络的人脑功能网络分类方法 |
| CN110197729A (zh) * | 2019-05-20 | 2019-09-03 | 华南理工大学 | 基于深度学习的静息态fMRI数据分类方法和装置 |
| CN113313232A (zh) * | 2021-05-19 | 2021-08-27 | 华南理工大学 | 一种基于预训练和图神经网络的功能脑网络分类方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113951830A (zh) | 2022-01-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113951830B (zh) | 一种基于3d注意力卷积与自监督学习的脑疾病分类方法 | |
| CN109376751B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| US20220122250A1 (en) | Brain feature prediction using geometric deep learning on graph representations of medical image data | |
| CN113040715B (zh) | 一种基于卷积神经网络的人脑功能网络分类方法 | |
| CN110188836B (zh) | 一种基于变分自编码器的脑功能网络分类方法 | |
| CN113693563B (zh) | 一种基于超图注意力网络的脑功能网络分类方法 | |
| CN110033032B (zh) | 一种基于显微高光谱成像技术的组织切片分类方法 | |
| CN111738363B (zh) | 基于改进的3d cnn网络的阿尔茨海默病分类方法 | |
| Hu et al. | Brain MRI-based 3D convolutional neural networks for classification of schizophrenia and controls | |
| CN110889496B (zh) | 一种基于对抗生成网络的人脑效应连接识别方法 | |
| CN114795178B (zh) | 一种基于多注意力神经网络的大脑状态解码方法 | |
| CN109410195A (zh) | 一种磁共振成像脑分区方法及系统 | |
| Qiang et al. | deep variational autoencoder for modeling functional brain networks and ADHD identification | |
| Pei et al. | Data augmentation for fMRI-based functional connectivity and its application to cross-site ADHD classification | |
| CN115496953A (zh) | 基于时空图卷积的脑网络分类方法 | |
| CN116580848A (zh) | 一种基于多头注意力机制的分析癌症多组学数据方法 | |
| Zuluaga et al. | Blind microscopy image denoising with a deep residual and multiscale encoder/decoder network | |
| SJ et al. | A Features Fusion Approach for Neonatal and Pediatrics Brain Tumor Image Analysis Using Genetic and Deep Learning Techniques. | |
| Ahmed et al. | Early Detection of Alzheimer's Disease Based on Laplacian Re-Decomposition and XGBoosting. | |
| CN112990359A (zh) | 一种影像数据处理方法、装置、计算机及存储介质 | |
| Li et al. | Alzheimer's level classification by 3D PMNet using PET/MRI multi-modal images | |
| CN112420174A (zh) | 基于3D Grad-CAM的自闭症大脑磁共振图像可视化方法 | |
| CN113963349B (zh) | 一种提取个体空时特征矢量与被试细分类的方法 | |
| CN115661498A (zh) | 一种自优化单细胞聚类方法 | |
| Zhang et al. | Hierarchical model compression via shape-edge representation of feature maps—an enlightenment from the primate visual system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |