CN111127441B - 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 - Google Patents
一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 Download PDFInfo
- Publication number
- CN111127441B CN111127441B CN201911356633.5A CN201911356633A CN111127441B CN 111127441 B CN111127441 B CN 111127441B CN 201911356633 A CN201911356633 A CN 201911356633A CN 111127441 B CN111127441 B CN 111127441B
- Authority
- CN
- China
- Prior art keywords
- brain
- node
- network
- graph
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 82
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 37
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims abstract description 32
- 239000011159 matrix material Substances 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 230000000994 depressogenic effect Effects 0.000 claims abstract description 14
- 230000003925 brain function Effects 0.000 claims abstract description 9
- 238000013145 classification model Methods 0.000 claims abstract description 8
- 230000000284 resting effect Effects 0.000 claims abstract description 7
- 239000013598 vector Substances 0.000 claims description 35
- 238000000513 principal component analysis Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 12
- 238000005295 random walk Methods 0.000 claims description 11
- 230000004886 head movement Effects 0.000 claims description 10
- 238000006073 displacement reaction Methods 0.000 claims description 9
- 238000013507 mapping Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009499 grossing Methods 0.000 claims description 6
- 210000004761 scalp Anatomy 0.000 claims description 6
- 210000003625 skull Anatomy 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 238000012545 processing Methods 0.000 claims description 5
- 208000025174 PANDAS Diseases 0.000 claims description 4
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 claims description 4
- 235000016496 Panda oleosa Nutrition 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 claims description 4
- 238000010606 normalization Methods 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 2
- 240000000220 Panda oleosa Species 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000002598 diffusion tensor imaging Methods 0.000 description 21
- 208000024714 major depressive disease Diseases 0.000 description 6
- 208000011736 mal de Debarquement Diseases 0.000 description 6
- 208000020016 psychiatric disease Diseases 0.000 description 6
- 240000004718 Panda Species 0.000 description 3
- 201000010099 disease Diseases 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002610 neuroimaging Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000003745 diagnosis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 208000024827 Alzheimer disease Diseases 0.000 description 1
- 206010003694 Atrophy Diseases 0.000 description 1
- 206010012374 Depressed mood Diseases 0.000 description 1
- 230000037444 atrophy Effects 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 238000003759 clinical diagnosis Methods 0.000 description 1
- 208000010877 cognitive disease Diseases 0.000 description 1
- 230000003920 cognitive function Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 230000001054 cortical effect Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001652 frontal lobe Anatomy 0.000 description 1
- 210000004326 gyrus cinguli Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 208000027061 mild cognitive impairment Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 210000003478 temporal lobe Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
- G06T2207/10092—Diffusion tensor magnetic resonance imaging [DTI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Psychiatry (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Hospice & Palliative Care (AREA)
- Molecular Biology (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Child & Adolescent Psychology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提出一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统，将深度学习应用于多模态脑影像的抑郁识别，在多模态脑网络和卷积神经网络(CNN)之间通过图节点嵌入架起一座桥梁，使CNN可以用于多模态脑影像的抑郁症识别，提高了抑郁识别准确率。本发明的方法包括以下步骤：1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；2)对获取的fMRI和DTI影像数据进行预处理；3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和脑结构网络，得到脑网络邻接矩阵；4)采用图节点嵌入将邻接矩阵表示为图像，输入到卷积神经网络中进行分类，建立识别抑郁患者和正常被试的分类模型。
Description
技术领域
本发明涉及脑神经科学，医学影像，深度学习技术领域，特别是涉及一种基于图节点嵌入的多模态脑影像抑郁识别系统。
背景技术
抑郁症(MDD)是世界第四大疾病，患者会出现心境低落，思维迟缓以及认知功能损害等临床表现。MDD的诊断通常取决于《精神疾病诊断和统计手册》(DSM)的标准和临床反应。由于各种精神障碍之间存在重叠的表型，以及MDD等疾病内部的异质性，临床诊断通常漏诊误诊率较高。神经影像学提供了对大脑功能和结构的无创测量，可以作为研究区分性生物标志物的有力工具，从而降低漏诊和误诊。与其他精神疾病(如阿尔兹海默症、轻度认知障碍等)的共同点是，抑郁症患者的脑部结构会发生包括萎缩在内的一系列变化。尽管近年来对脑神经影像学的研究有很多，但相比其他精神疾病，对抑郁症的研究还未得到很好地结果，根据脑神经影像对抑郁症的识别准确率却一直较低，
目前利用脑神经影像进行抑郁症识别分类的研究多是使用单一模态，选择结构特征或者几种脑网络属性用于分类。在结构影像中通常是以计算的皮质厚度或皮质下的海马体、额叶、颞叶、扣带回等的体积为特征，在功能影像中通常是以功能连接或脑网络拓扑属性为特征，鲜有方法将结构和功能影像联合起来分析。而现有的分类方法以机器学习尤其是支持向量机(SVM)为主，分类准确率一直较低。此外，由于卷积神经网络(CNN)在图像处理，语音识别，计算机辅助诊断，自然语言处理等许多领域中的出色表现，有些研究者将脑影像数据直接作为CNN的输入，但没有取得较好的结果。
发明内容
本发明提出一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统，将深度学习应用于多模态脑影像的抑郁识别，利用fMRI(功能磁共振成像)和DTI(弥散张量成像)两个模态的脑影像数据分别构建大脑的功能和结构网络，并在多模态脑网络和卷积神经网络(CNN)之间通过图节点嵌入架起一座桥梁，使CNN可以用于多模态脑影像的抑郁症(MDD)识别，提高抑郁识别准确率。
本发明的技术方案是：
1.一种基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，包括以下步骤：
1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；
2)对获取的fMRI和DTI影像数据进行预处理；
3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，并得到脑网络邻接矩阵；
4)采用图节点嵌入将邻接矩阵表示为图像，输入到卷积神经网络中进行分类，建立识别抑郁患者和正常被试的分类模型。
2.所述步骤2)中，包括对原始的rs-fMRI数据进行预处理：在去除前10个时间点以使信号达到平衡后，进行时间层校正，然后剥除头皮、头骨，进行头动校正；为了限制头部运动的影响，计算最大位移(max FD)和平均位移(mean FD)，排除头部过度运动＞2mm移位或＞2°旋转或max FD＞1mm或mean FD＞0.5mm；校正后的数据处理步骤包括空间标准化和高斯平滑。
3.所述步骤2)中，包括对原始的DTI数据进行预处理，首先剥除头皮、颅骨，然后进行头动校正和涡流校正，最后进行空间标准化、高斯平滑和FA计算。
4.所述步骤3)中，构建脑功能网络的步骤包括：对预处理后的fMRI数据按照AAL90模板被分割成90个脑区；提取每个脑区所含体素的平均时间序列，用皮尔森相关计算脑区时序之间的两两相关性，得到功能网络。
5.所述步骤3)中，构建脑结构网络的步骤包括：对预处理后的DTI数据按照AAL90模板被分割成90个脑区；利用PANDA工具箱通过确定性束标记法构建结构网络，得到脑结构网络。
6.所述步骤4)中，基于图节点嵌入将图表示为图像的步骤包括；
41)给定图G(V，E)，图节点嵌入定义为映射f：
将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离；在计算映射函数f时，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi；随机游走可以表征脑网络中节点的临近结构，通过一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示，通过图节点嵌入，将图中的每一个节点表示为一个d维的向量；
42)用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量；
43)分别将两个模态的前四维向量各计算两个直方图，包括：
用所有节点的前两维特征构建矩阵M1，
其中
代表节点vi的第一个特征，
代表节点vi的第二个特征；然后将
和
分为r个bin，利用
和
求出r×r的二维直方图I1，将图转化为图像，图像像素的值定义为落入该bin中的节点数；同样地，利用节点vi的第三个特征
和节点vi的第四个特征
得出r×r的二维直方图I2。
7.所述步骤4)中，将两个模态的前四维向量各计算的两个直方图组合成为卷积神经网络(CNN)的4通道输入进行分类；所述卷积神经网络(CNN)采用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)。
8.一种基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，包括(a)多模态脑影像获取模块，用于获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；(b)脑影像预处理模块，用于对获取的fMRI和DTI影像数据进行预处理；(c)网络构建模块，用于根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，并得到脑网络邻接矩阵；(d)分类识别模块，基于图节点嵌入将邻接矩阵表示为图像，采用卷积神经网络(CNN)进行分类，建立识别抑郁患者和正常被试的分类模型。
9.所述分类识别模块包括图节点嵌入单元，用于将邻接矩阵表示为图像，进行降维后，分别将两个模态的前四维向量各计算两个直方图。
10.所述分类识别模块包括分类识别单元，用于采用卷积神经网络(CNN)对输入的两个模态的四个直方图进行分类，建立识别抑郁患者和正常被试的分类模型。
本发明的技术效果：
本发明提出一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统，将深度学习应用于多模态脑影像的抑郁识别，其特点是利用fMRI(功能磁共振成像)和DTI(弥散张量成像)两个模态的脑影像数据分别构建大脑的功能网络和结构网络，并在多模态脑网络和卷积神经网络(CNN)之间通过图节点嵌入架起一座桥梁，使CNN可以用于多模态脑影像的抑郁症(MDD)识别，显著提高了脑影像对抑郁症患者以及正常对照组分类的准确率，使之未来能将该系统应用于抑郁症甚至其他疾病的进一步研究。
本发明通过图节点嵌入将图节点转化为向量，再利用PCA对该向量进行降维，之后分别将两个模态的前四维向量计算两个直方图组合成为CNN的4通道输入进行分类，相比其它方法对抑郁症的识别结果，有显著的提升，准确率可达到90％，是深度学习在脑影像分类中的成功应用。同时由于精神疾病患者大脑结构和功能都产生了一定的变化，本方法后续也可推广至其它精神疾病的相关研究中。
附图说明
图1是本发明方法的原始fMRI和DTI数据的预处理及网络构建流程图。
图2是本发明方法的分类流程图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细说明。
一种基于图节点嵌入的多模态脑影像抑郁识别方法，包括以下步骤：
1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；
2)对获取的fMRI和DTI影像数据进行预处理；
3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，得到脑网络邻接矩阵；
4)采用图节点嵌入将邻接矩阵表示为图像，输入到卷积神经网络中进行分类，建立识别抑郁患者和正常被试的分类模型。
如图1所示，是本发明方法的原始fMRI和DTI数据的预处理及网络构建流程图。
本发明需要使用的原始数据是MDD患者和正常对照组的静息态fMRI和DTI脑影像，要求各模态图像采集时所有采集参数分别都相同。使用基于SPM12的DPARSF对原始的rs-fMRI数据进行预处理：在去除前10个时间点以使信号达到平衡后，进行时间层校正；剥除头皮和颅骨，进行头动校正；为了限制头部运动的影响，我们计算了最大位移(max FD)和平均位移(mean FD)。头部过度运动(＞2mm移位或＞2°旋转或max FD＞1mm或mean FD＞0.5mm)的参与者会被排除；校正后的功能数据的后续数据预处理步骤包括空间标准化和高斯平滑。使用PANDA对原始的DTI数据进行预处理，首先剥除头皮、颅骨，然后进行头动校正和涡流校正，最后进行空间标准化、高斯平滑和FA计算；预处理后的fMRI和DTI数据按照AAL90模板被分割成90个脑区；对fMRI，提取每个脑区所含体素的平均时间序列，用皮尔森相关计算脑区时序之间的两两相关性得到功能网络；对DTI，利用PANDA工具箱通过确定性束标记法得到结构网络。
如图2所示，是本发明方法的分类流程图。
对得到的功能网络和结构网络(图G)，其节点是AAL模板中的脑区，其边代表了脑区间的功能和结构关联，这样就得到了邻接矩阵A(90×90)。但是由于邻接矩阵不具有空间依赖性，我们无法将图矩阵直接输入到CNN中，为了解决这个问题，我们基于图节点嵌入将图表示为图像。
给定图G(V,E)，图节点嵌入定义为映射f：
因此图节点嵌入将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离。在本方法中，我们计算了映射函数f，这是受nlp中著名方法word2vec的启发。在我们的方法中，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi。随机游走可以表征脑网络中节点的临近结构，因此我们可以使用一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示。通过图节点嵌入，我们将图中的每一个节点表示为一个d维的向量，也可以看做d个特征。
之后用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量。接下来用所有节点的前两维特征构建矩阵M1。
其中
代表节点vi的第一个特征，
代表节点vi的第二个特征。接下来将
和
分为r个bin，利用
和
求出r×r的二维直方图I1，从而最终将图转化为图像，图像像素的值定义为落入该bin中的节点数。同样地，利用节点vi的第三个特征
和节点vi的第四个特征
得出r×r的二维直方图I2。但没有必要使用全部的dPCA维特征，前四维特征足以用于脑网络的分类。
在上述方法中，一个模态的脑网络被表示成了两个图像I1和I2，同样的方法，我们将另一个模态的脑网络表示成两个图像I3和I4，我们将I1～I4当做图像I的四个通道作为CNN的输入。CNN使用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)，各层的参数如下表。
表1.CNN体系结构的详细信息。
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造的保护范围当中。
Claims (8)
1.一种基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，包括以下步骤：
1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；
2)对获取的fMRI和DTI影像数据进行预处理；
3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，得到脑网络邻接矩阵；
4)给定图G(V,E)，图节点嵌入定义为映射：
将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离；在计算映射函数f时，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi；随机游走可以表征脑网络中节点的临近结构，通过一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示，通过图节点嵌入，将图中的每一个节点表示为一个d维的向量；
用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量；
分别将两个模态的前四维向量各计算两个直方图，包括：用所有节点的前两维特征构建矩阵M1；
其中,
代表节点vi的第一个特征，
代表节点vi的第二个特征；然后将
和
分为r个bin，利用
和
求出r×r的二维直方图I1，将图转化为图像，图像像素的值定义为落入该bin中的节点数；同样地，利用节点vi的第三个特征
和节点vi的第四个特征
得出r×r的二维直方图I2；
将两个模态的前四维向量各计算的两个直方图组合成为卷积神经网络(CNN)的4通道输入进行分类；所述卷积神经网络(CNN)采用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)；建立识别抑郁患者和正常被试的分类模型。
2.根据权利要求1所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤2)中，包括对原始的rs-fMRI数据进行预处理：在去除前10个时间点以使信号达到平衡后，进行时间层校正，然后剥除头皮、头骨，进行头动校正；为了限制头部运动的影响，计算最大位移max FD和平均位移mean FD，排除头部过度运动＞2mm移位或＞2°旋转或maxFD＞1mm或mean FD＞0.5mm；校正后的数据处理步骤包括空间标准化和高斯平滑。
3.根据权利要求1所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤2)中，包括对原始的DTI数据进行预处理，首先剥除头皮、颅骨，然后进行头动校正和涡流校正，最后进行空间标准化、高斯平滑和FA计算。
4.根据权利要求2所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤3)中，构建脑功能网络的步骤包括：对预处理后的fMRI数据按照AAL90模板被分割成90个脑区；提取每个脑区所含体素的平均时间序列，用皮尔森相关计算脑区时序之间的两两相关性，得到功能网络。
5.根据权利要求3所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤3)中，构建脑结构网络的步骤包括：对预处理后的DTI数据按照AAL90模板被分割成90个脑区；利用PANDA工具箱通过确定性束标记法构建结构网络，得到脑结构网络。
6.一种基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，包括：
(a)多模态脑影像获取模块，用于获取抑郁症患者和正常对照组的静息态fMRI和DTI影像数据；
(b)图像预处理模块，用于对获取的fMRI和DTI影像数据进行预处理；
(c)网络构建模块，用于根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，得到脑网络邻接矩阵；
(d)分类识别模块，
用于给定图G(V,E)，图节点嵌入定义为映射：
将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离；在计算映射函数f时，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi；随机游走可以表征脑网络中节点的临近结构，通过一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示，通过图节点嵌入，将图中的每一个节点表示为一个d维的向量；
用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量；
分别将两个模态的前四维向量各计算两个直方图，包括：用所有节点的前两维特征构建矩阵M1；
其中,
代表节点vi的第一个特征，
代表节点vi的第二个特征；然后将
和
分为r个bin，利用
和
求出r×r的二维直方图I1，将图转化为图像，图像像素的值定义为落入该bin中的节点数；同样地，利用节点vi的第三个特征
和节点vi的第四个特征
得出r×r的二维直方图I2；
将两个模态的前四维向量各计算的两个直方图组合成为卷积神经网络(CNN)的4通道输入进行分类；所述卷积神经网络(CNN)采用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)；建立识别抑郁患者和正常被试的分类模型。
7.根据权利要求6所述的基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，所述分类识别模块包括图节点嵌入单元，用于将邻接矩阵表示为图像，进行降维后，分别将两个模态的前四维向量各计算两个直方图。
8.根据权利要求7所述的基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，所述分类识别模块包括分类识别单元，用于采用卷积神经网络(CNN)对输入的两个模态的四个直方图进行分类，建立识别抑郁患者和正常被试的分类模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356633.5A CN111127441B (zh) | 2019-12-25 | 2019-12-25 | 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911356633.5A CN111127441B (zh) | 2019-12-25 | 2019-12-25 | 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111127441A CN111127441A (zh) | 2020-05-08 |
| CN111127441B true CN111127441B (zh) | 2022-08-12 |
Family
ID=70502109
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911356633.5A Active CN111127441B (zh) | 2019-12-25 | 2019-12-25 | 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111127441B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111568446B (zh) * | 2020-05-28 | 2023-05-26 | 兰州大学 | 结合人口学注意力机制的便携式脑电抑郁检测系统 |
| CN111753833A (zh) * | 2020-07-23 | 2020-10-09 | 南京脑科医院 | 基于fMRI与DTI构建脑网络建模的帕金森辅助识别方法 |
| CN112515653B (zh) * | 2020-10-09 | 2024-03-26 | 天津大学 | 一种基于核磁共振图像的脑网络构建方法 |
| CN112651976B (zh) * | 2020-10-13 | 2022-07-19 | 首都医科大学附属北京天坛医院 | 基于低分辨率核磁数据的病灶区域脑网络确定方法及系统 |
| CN112308831B (zh) * | 2020-10-28 | 2024-06-07 | 兰州大学 | 一种基于复杂网络时序特征的脑网络分析方法 |
| CN112862751B (zh) * | 2020-12-30 | 2022-05-31 | 电子科技大学 | 一种用于自闭症的自动诊断装置 |
| CN112971781B (zh) * | 2020-12-30 | 2022-10-28 | 杭州电子科技大学 | 一种基于脑功能网络抑郁对比装置 |
| CN112712895B (zh) * | 2021-02-04 | 2024-01-26 | 广州中医药大学第一附属医院 | 针对2型糖尿病并发症的多模态大数据的数据分析方法 |
| CN113781385B (zh) * | 2021-03-19 | 2024-03-08 | 南京航空航天大学 | 用于大脑医学影像自动分类的联合注意力图卷积方法 |
| CN113255728B (zh) * | 2021-04-26 | 2024-03-22 | 浙江工业大学 | 一种基于图嵌入和多模态脑网络的抑郁症分类方法 |
| CN113255734B (zh) * | 2021-04-29 | 2024-03-22 | 浙江工业大学 | 一种基于自监督学习和迁移学习的抑郁症分类方法 |
| CN113313232B (zh) * | 2021-05-19 | 2023-02-14 | 华南理工大学 | 一种基于预训练和图神经网络的功能脑网络分类方法 |
| CN113642596A (zh) * | 2021-06-02 | 2021-11-12 | 南京航空航天大学 | 一种基于社区检测和双路自编码的脑网络分类方法 |
| CN113476058B (zh) * | 2021-07-22 | 2022-11-29 | 北京脑陆科技有限公司 | 对抑郁症患者的干预处理方法、装置、终端及介质 |
| CN113592836B (zh) * | 2021-08-05 | 2022-11-18 | 东南大学 | 一种深度多模态图卷积的脑图分类方法 |
| CN113705680B (zh) * | 2021-08-27 | 2024-08-02 | 兰州大学 | 一种基于多模态磁共振数据的癌症伴随型抑郁识别方法 |
| CN113729686B (zh) * | 2021-09-23 | 2023-12-01 | 南京航空航天大学 | 一种大脑局部功能动态性实时测量系统 |
| CN114119517A (zh) * | 2021-11-15 | 2022-03-01 | 杭州电子科技大学 | 一种联合病理与拓扑信息的神经病理hub节点识别方法 |
| CN114159043B (zh) * | 2021-12-17 | 2024-10-08 | 天津大学 | 基于Qcut算法的脑功能网络异常脑节点数据检测方法 |
| WO2024113140A1 (zh) * | 2022-11-29 | 2024-06-06 | 深圳先进技术研究院 | 多模态脑网络计算方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427929A (zh) * | 2018-03-19 | 2018-08-21 | 兰州大学 | 一种基于静息态脑网络的抑郁识别分析系统 |
| US10265017B1 (en) * | 2018-12-12 | 2019-04-23 | Lucas J. Myslinski | Device, method and system for implementing a physical area network for cancer immunotherapy |
| CN110013250A (zh) * | 2019-04-30 | 2019-07-16 | 中南大学湘雅二医院 | 一种抑郁症自杀行为的多模式特征信息融合预测方法 |
| CN110522448A (zh) * | 2019-07-12 | 2019-12-03 | 东南大学 | 一种基于图卷积神经网络的脑网络分类方法 |
| CN110599442A (zh) * | 2019-07-01 | 2019-12-20 | 兰州大学 | 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统 |
| CN110604572A (zh) * | 2019-10-08 | 2019-12-24 | 江苏海洋大学 | 基于人脑特征图谱的脑活动状态识别方法 |
-
2019
- 2019-12-25 CN CN201911356633.5A patent/CN111127441B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108427929A (zh) * | 2018-03-19 | 2018-08-21 | 兰州大学 | 一种基于静息态脑网络的抑郁识别分析系统 |
| US10265017B1 (en) * | 2018-12-12 | 2019-04-23 | Lucas J. Myslinski | Device, method and system for implementing a physical area network for cancer immunotherapy |
| CN110013250A (zh) * | 2019-04-30 | 2019-07-16 | 中南大学湘雅二医院 | 一种抑郁症自杀行为的多模式特征信息融合预测方法 |
| CN110599442A (zh) * | 2019-07-01 | 2019-12-20 | 兰州大学 | 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统 |
| CN110522448A (zh) * | 2019-07-12 | 2019-12-03 | 东南大学 | 一种基于图卷积神经网络的脑网络分类方法 |
| CN110604572A (zh) * | 2019-10-08 | 2019-12-24 | 江苏海洋大学 | 基于人脑特征图谱的脑活动状态识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| Structural alterations of the brain preceded functional alterations in major depressive disorder patients: Evidence from multimodal connectivity;ZhijunYao等;《Journal of Affective Disorders》;20190615;第253卷;107-117 * |
| 基于多模态脑影像数据的融合分析与应用;耿玉苹;《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》;20180615(第06期);E071-21 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111127441A (zh) | 2020-05-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111127441B (zh) | 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 | |
| CN108446730B (zh) | 一种基于深度学习的ct肺结节检测装置 | |
| CN110070935B (zh) | 基于对抗神经网络的医学图像合成方法、分类方法及装置 | |
| WO2021109727A1 (zh) | 脑功能图谱的绘制方法和系统 | |
| CN104700120B (zh) | 一种基于自适应熵投影聚类算法的fMRI特征提取及分类方法 | |
| CN111488914A (zh) | 一种基于多任务学习的阿尔茨海默症分类及预测系统 | |
| CN108664976B (zh) | 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法 | |
| CN116503680B (zh) | 基于脑图谱的脑影像结构化分析和脑疾病分类系统 | |
| CN110338763A (zh) | 一种智能中医诊测的图像处理方法及装置 | |
| CN112183314A (zh) | 一种表情信息采集装置和表情识别方法及系统 | |
| CN117172294B (zh) | 一种稀疏脑网络的构建方法、系统、设备和存储介质 | |
| CN112515653B (zh) | 一种基于核磁共振图像的脑网络构建方法 | |
| CN111523617B (zh) | 基于白质融合特征图和残差注意力网络的癫痫检测系统 | |
| CN115272295A (zh) | 基于时域-空域联合状态的动态脑功能网络分析方法及系统 | |
| CN111488934A (zh) | 脑影像数据处理方法、存储介质、计算机设备和装置 | |
| Saraswathi et al. | Brain tumor segmentation and classification using self organizing map | |
| CN112419313B (zh) | 一种基于先心病超声的多切面的分类方法 | |
| CN107256408B (zh) | 一种大脑功能网络的关键路径搜索方法 | |
| CN117612735A (zh) | 一种受结构约束的脑白质功能网络构建方法及系统 | |
| CN113762285A (zh) | 一种分析和处理医学影像的系统及方法 | |
| CN115409843B (zh) | 基于尺度均衡耦合卷积架构的脑神经影像特征提取方法 | |
| CN116421200A (zh) | 一种基于并行训练的多任务混合模型的脑电情感分析方法 | |
| CN114983341A (zh) | 基于多模态特征融合的阿尔茨海默病多分类预测系统 | |
| Zhao et al. | Machine learning approaches in comparative studies for Alzheimer’s diagnosis using 2D MRI slices | |
| CN106354990B (zh) | 一种EEG和fMRI一致性的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |