CN111127441B - 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 - Google Patents

一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 Download PDF

Info

Publication number
CN111127441B
CN111127441B CN201911356633.5A CN201911356633A CN111127441B CN 111127441 B CN111127441 B CN 111127441B CN 201911356633 A CN201911356633 A CN 201911356633A CN 111127441 B CN111127441 B CN 111127441B
Authority
CN
China
Prior art keywords
brain
node
network
graph
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911356633.5A
Other languages
English (en)
Other versions
CN111127441A (zh
Inventor
胡斌
姚志军
陈楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lanzhou University
Original Assignee
Lanzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lanzhou University filed Critical Lanzhou University
Priority to CN201911356633.5A priority Critical patent/CN111127441B/zh
Publication of CN111127441A publication Critical patent/CN111127441A/zh
Application granted granted Critical
Publication of CN111127441B publication Critical patent/CN111127441B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G06T2207/10092—Diffusion tensor magnetic resonance imaging [DTI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Molecular Biology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统，将深度学习应用于多模态脑影像的抑郁识别，在多模态脑网络和卷积神经网络(CNN)之间通过图节点嵌入架起一座桥梁，使CNN可以用于多模态脑影像的抑郁症识别，提高了抑郁识别准确率。本发明的方法包括以下步骤：1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；2)对获取的fMRI和DTI影像数据进行预处理；3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和脑结构网络，得到脑网络邻接矩阵；4)采用图节点嵌入将邻接矩阵表示为图像，输入到卷积神经网络中进行分类，建立识别抑郁患者和正常被试的分类模型。

Description

一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统
技术领域
本发明涉及脑神经科学，医学影像，深度学习技术领域，特别是涉及一种基于图节点嵌入的多模态脑影像抑郁识别系统。
背景技术
抑郁症(MDD)是世界第四大疾病，患者会出现心境低落，思维迟缓以及认知功能损害等临床表现。MDD的诊断通常取决于《精神疾病诊断和统计手册》(DSM)的标准和临床反应。由于各种精神障碍之间存在重叠的表型，以及MDD等疾病内部的异质性，临床诊断通常漏诊误诊率较高。神经影像学提供了对大脑功能和结构的无创测量，可以作为研究区分性生物标志物的有力工具，从而降低漏诊和误诊。与其他精神疾病(如阿尔兹海默症、轻度认知障碍等)的共同点是，抑郁症患者的脑部结构会发生包括萎缩在内的一系列变化。尽管近年来对脑神经影像学的研究有很多，但相比其他精神疾病，对抑郁症的研究还未得到很好地结果，根据脑神经影像对抑郁症的识别准确率却一直较低，
目前利用脑神经影像进行抑郁症识别分类的研究多是使用单一模态，选择结构特征或者几种脑网络属性用于分类。在结构影像中通常是以计算的皮质厚度或皮质下的海马体、额叶、颞叶、扣带回等的体积为特征，在功能影像中通常是以功能连接或脑网络拓扑属性为特征，鲜有方法将结构和功能影像联合起来分析。而现有的分类方法以机器学习尤其是支持向量机(SVM)为主，分类准确率一直较低。此外，由于卷积神经网络(CNN)在图像处理，语音识别，计算机辅助诊断，自然语言处理等许多领域中的出色表现，有些研究者将脑影像数据直接作为CNN的输入，但没有取得较好的结果。
发明内容
本发明提出一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统，将深度学习应用于多模态脑影像的抑郁识别，利用fMRI(功能磁共振成像)和DTI(弥散张量成像)两个模态的脑影像数据分别构建大脑的功能和结构网络，并在多模态脑网络和卷积神经网络(CNN)之间通过图节点嵌入架起一座桥梁，使CNN可以用于多模态脑影像的抑郁症(MDD)识别，提高抑郁识别准确率。
本发明的技术方案是：
1.一种基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，包括以下步骤：
1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；
2)对获取的fMRI和DTI影像数据进行预处理；
3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，并得到脑网络邻接矩阵；
4)采用图节点嵌入将邻接矩阵表示为图像，输入到卷积神经网络中进行分类，建立识别抑郁患者和正常被试的分类模型。
2.所述步骤2)中，包括对原始的rs-fMRI数据进行预处理：在去除前10个时间点以使信号达到平衡后，进行时间层校正，然后剥除头皮、头骨，进行头动校正；为了限制头部运动的影响，计算最大位移(max FD)和平均位移(mean FD)，排除头部过度运动＞2mm移位或＞2°旋转或max FD＞1mm或mean FD＞0.5mm；校正后的数据处理步骤包括空间标准化和高斯平滑。
3.所述步骤2)中，包括对原始的DTI数据进行预处理，首先剥除头皮、颅骨，然后进行头动校正和涡流校正，最后进行空间标准化、高斯平滑和FA计算。
4.所述步骤3)中，构建脑功能网络的步骤包括：对预处理后的fMRI数据按照AAL90模板被分割成90个脑区；提取每个脑区所含体素的平均时间序列，用皮尔森相关计算脑区时序之间的两两相关性，得到功能网络。
5.所述步骤3)中，构建脑结构网络的步骤包括：对预处理后的DTI数据按照AAL90模板被分割成90个脑区；利用PANDA工具箱通过确定性束标记法构建结构网络，得到脑结构网络。
6.所述步骤4)中，基于图节点嵌入将图表示为图像的步骤包括；
41)给定图G(V，E)，图节点嵌入定义为映射f：
Figure BDA0002336110460000021
将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离；在计算映射函数f时，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi；随机游走可以表征脑网络中节点的临近结构，通过一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示，通过图节点嵌入，将图中的每一个节点表示为一个d维的向量；
42)用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量；
43)分别将两个模态的前四维向量各计算两个直方图，包括：
用所有节点的前两维特征构建矩阵M1，
Figure BDA0002336110460000031
其中
Figure BDA0002336110460000032
代表节点vi的第一个特征，
Figure BDA0002336110460000033
代表节点vi的第二个特征；然后将
Figure BDA0002336110460000034
和
Figure BDA0002336110460000035
分为r个bin，利用
Figure BDA0002336110460000036
和
Figure BDA0002336110460000037
求出r×r的二维直方图I1，将图转化为图像，图像像素的值定义为落入该bin中的节点数；同样地，利用节点vi的第三个特征
Figure BDA0002336110460000038
和节点vi的第四个特征
Figure BDA0002336110460000039
得出r×r的二维直方图I2。
7.所述步骤4)中，将两个模态的前四维向量各计算的两个直方图组合成为卷积神经网络(CNN)的4通道输入进行分类；所述卷积神经网络(CNN)采用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)。
8.一种基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，包括(a)多模态脑影像获取模块，用于获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；(b)脑影像预处理模块，用于对获取的fMRI和DTI影像数据进行预处理；(c)网络构建模块，用于根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，并得到脑网络邻接矩阵；(d)分类识别模块，基于图节点嵌入将邻接矩阵表示为图像，采用卷积神经网络(CNN)进行分类，建立识别抑郁患者和正常被试的分类模型。
9.所述分类识别模块包括图节点嵌入单元，用于将邻接矩阵表示为图像，进行降维后，分别将两个模态的前四维向量各计算两个直方图。
10.所述分类识别模块包括分类识别单元，用于采用卷积神经网络(CNN)对输入的两个模态的四个直方图进行分类，建立识别抑郁患者和正常被试的分类模型。
本发明的技术效果：
本发明提出一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统，将深度学习应用于多模态脑影像的抑郁识别，其特点是利用fMRI(功能磁共振成像)和DTI(弥散张量成像)两个模态的脑影像数据分别构建大脑的功能网络和结构网络，并在多模态脑网络和卷积神经网络(CNN)之间通过图节点嵌入架起一座桥梁，使CNN可以用于多模态脑影像的抑郁症(MDD)识别，显著提高了脑影像对抑郁症患者以及正常对照组分类的准确率，使之未来能将该系统应用于抑郁症甚至其他疾病的进一步研究。
本发明通过图节点嵌入将图节点转化为向量，再利用PCA对该向量进行降维，之后分别将两个模态的前四维向量计算两个直方图组合成为CNN的4通道输入进行分类，相比其它方法对抑郁症的识别结果，有显著的提升，准确率可达到90％，是深度学习在脑影像分类中的成功应用。同时由于精神疾病患者大脑结构和功能都产生了一定的变化，本方法后续也可推广至其它精神疾病的相关研究中。
附图说明
图1是本发明方法的原始fMRI和DTI数据的预处理及网络构建流程图。
图2是本发明方法的分类流程图。
具体实施方式
以下结合附图对本发明的实施例作进一步详细说明。
一种基于图节点嵌入的多模态脑影像抑郁识别方法，包括以下步骤：
1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；
2)对获取的fMRI和DTI影像数据进行预处理；
3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，得到脑网络邻接矩阵；
4)采用图节点嵌入将邻接矩阵表示为图像，输入到卷积神经网络中进行分类，建立识别抑郁患者和正常被试的分类模型。
如图1所示，是本发明方法的原始fMRI和DTI数据的预处理及网络构建流程图。
本发明需要使用的原始数据是MDD患者和正常对照组的静息态fMRI和DTI脑影像，要求各模态图像采集时所有采集参数分别都相同。使用基于SPM12的DPARSF对原始的rs-fMRI数据进行预处理：在去除前10个时间点以使信号达到平衡后，进行时间层校正；剥除头皮和颅骨，进行头动校正；为了限制头部运动的影响，我们计算了最大位移(max FD)和平均位移(mean FD)。头部过度运动(＞2mm移位或＞2°旋转或max FD＞1mm或mean FD＞0.5mm)的参与者会被排除；校正后的功能数据的后续数据预处理步骤包括空间标准化和高斯平滑。使用PANDA对原始的DTI数据进行预处理，首先剥除头皮、颅骨，然后进行头动校正和涡流校正，最后进行空间标准化、高斯平滑和FA计算；预处理后的fMRI和DTI数据按照AAL90模板被分割成90个脑区；对fMRI，提取每个脑区所含体素的平均时间序列，用皮尔森相关计算脑区时序之间的两两相关性得到功能网络；对DTI，利用PANDA工具箱通过确定性束标记法得到结构网络。
如图2所示，是本发明方法的分类流程图。
对得到的功能网络和结构网络(图G)，其节点是AAL模板中的脑区，其边代表了脑区间的功能和结构关联，这样就得到了邻接矩阵A(90×90)。但是由于邻接矩阵不具有空间依赖性，我们无法将图矩阵直接输入到CNN中，为了解决这个问题，我们基于图节点嵌入将图表示为图像。
给定图G(V,E)，图节点嵌入定义为映射f：
Figure BDA0002336110460000051
因此图节点嵌入将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离。在本方法中，我们计算了映射函数f，这是受nlp中著名方法word2vec的启发。在我们的方法中，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi。随机游走可以表征脑网络中节点的临近结构，因此我们可以使用一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示。通过图节点嵌入，我们将图中的每一个节点表示为一个d维的向量，也可以看做d个特征。
之后用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量。接下来用所有节点的前两维特征构建矩阵M1。
Figure BDA0002336110460000052
其中
Figure BDA0002336110460000053
代表节点vi的第一个特征，
Figure BDA0002336110460000054
代表节点vi的第二个特征。接下来将
Figure BDA0002336110460000055
和
Figure BDA0002336110460000056
分为r个bin，利用
Figure BDA0002336110460000057
和
Figure BDA0002336110460000058
求出r×r的二维直方图I1，从而最终将图转化为图像，图像像素的值定义为落入该bin中的节点数。同样地，利用节点vi的第三个特征
Figure BDA0002336110460000059
和节点vi的第四个特征
Figure BDA00023361104600000510
得出r×r的二维直方图I2。但没有必要使用全部的dPCA维特征，前四维特征足以用于脑网络的分类。
在上述方法中，一个模态的脑网络被表示成了两个图像I1和I2，同样的方法，我们将另一个模态的脑网络表示成两个图像I3和I4，我们将I1～I4当做图像I的四个通道作为CNN的输入。CNN使用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)，各层的参数如下表。
表1.CNN体系结构的详细信息。
Figure BDA0002336110460000061
应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。一切不脱离本发明创造的精神和范围的技术方案及其改进，其均涵盖在本发明创造的保护范围当中。

Claims (8)

1.一种基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，包括以下步骤：
1)获取抑郁患者和正常对照组的静息态fMRI和DTI影像数据；
2)对获取的fMRI和DTI影像数据进行预处理；
3)根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，得到脑网络邻接矩阵；
4)给定图G(V,E)，图节点嵌入定义为映射：
Figure FDA0003669786190000011
将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离；在计算映射函数f时，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi；随机游走可以表征脑网络中节点的临近结构，通过一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示，通过图节点嵌入，将图中的每一个节点表示为一个d维的向量；
用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量；
分别将两个模态的前四维向量各计算两个直方图，包括：用所有节点的前两维特征构建矩阵M1；
Figure FDA0003669786190000012
其中,
Figure FDA0003669786190000013
代表节点vi的第一个特征，
Figure FDA0003669786190000014
代表节点vi的第二个特征；然后将
Figure FDA0003669786190000015
和
Figure FDA0003669786190000016
分为r个bin，利用
Figure FDA0003669786190000017
和
Figure FDA0003669786190000018
求出r×r的二维直方图I1，将图转化为图像，图像像素的值定义为落入该bin中的节点数；同样地，利用节点vi的第三个特征
Figure FDA0003669786190000019
和节点vi的第四个特征
Figure FDA00036697861900000110
得出r×r的二维直方图I2；
将两个模态的前四维向量各计算的两个直方图组合成为卷积神经网络(CNN)的4通道输入进行分类；所述卷积神经网络(CNN)采用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)；建立识别抑郁患者和正常被试的分类模型。
2.根据权利要求1所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤2)中，包括对原始的rs-fMRI数据进行预处理：在去除前10个时间点以使信号达到平衡后，进行时间层校正，然后剥除头皮、头骨，进行头动校正；为了限制头部运动的影响，计算最大位移max FD和平均位移mean FD，排除头部过度运动＞2mm移位或＞2°旋转或maxFD＞1mm或mean FD＞0.5mm；校正后的数据处理步骤包括空间标准化和高斯平滑。
3.根据权利要求1所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤2)中，包括对原始的DTI数据进行预处理，首先剥除头皮、颅骨，然后进行头动校正和涡流校正，最后进行空间标准化、高斯平滑和FA计算。
4.根据权利要求2所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤3)中，构建脑功能网络的步骤包括：对预处理后的fMRI数据按照AAL90模板被分割成90个脑区；提取每个脑区所含体素的平均时间序列，用皮尔森相关计算脑区时序之间的两两相关性，得到功能网络。
5.根据权利要求3所述的基于图节点嵌入的多模态脑影像抑郁识别方法，其特征在于，所述步骤3)中，构建脑结构网络的步骤包括：对预处理后的DTI数据按照AAL90模板被分割成90个脑区；利用PANDA工具箱通过确定性束标记法构建结构网络，得到脑结构网络。
6.一种基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，包括：
(a)多模态脑影像获取模块，用于获取抑郁症患者和正常对照组的静息态fMRI和DTI影像数据；
(b)图像预处理模块，用于对获取的fMRI和DTI影像数据进行预处理；
(c)网络构建模块，用于根据预处理后的fMRI和DTI影像数据分别构建脑功能网络和结构网络，得到脑网络邻接矩阵；
(d)分类识别模块，
用于给定图G(V,E)，图节点嵌入定义为映射：
Figure FDA0003669786190000021
将图中的每一个节点映射到一个低维向量，并且两个节点之间相似度可以表示为图嵌入空间中两个向量之间的欧氏距离；在计算映射函数f时，将随机游走表示为一个随机过程，该过程起源于脑网络中的节点v0，并在节点v0的邻居中随机选择另一个节点作为v1，v2，v3，…，vi；随机游走可以表征脑网络中节点的临近结构，通过一系列的随机游走来说明大脑网络的结构信息，最后学习到的结果是矢量形式的节点表示，通过图节点嵌入，将图中的每一个节点表示为一个d维的向量；
用主成分分析方法(PCA)将节点vi的特征进行降维，将d维向量转化为dPCA维向量；
分别将两个模态的前四维向量各计算两个直方图，包括：用所有节点的前两维特征构建矩阵M1；
Figure FDA0003669786190000022
其中,
Figure FDA0003669786190000023
代表节点vi的第一个特征，
Figure FDA0003669786190000024
代表节点vi的第二个特征；然后将
Figure FDA0003669786190000025
和
Figure FDA0003669786190000026
分为r个bin，利用
Figure FDA0003669786190000027
和
Figure FDA0003669786190000028
求出r×r的二维直方图I1，将图转化为图像，图像像素的值定义为落入该bin中的节点数；同样地，利用节点vi的第三个特征
Figure FDA0003669786190000029
和节点vi的第四个特征
Figure FDA00036697861900000210
得出r×r的二维直方图I2；
将两个模态的前四维向量各计算的两个直方图组合成为卷积神经网络(CNN)的4通道输入进行分类；所述卷积神经网络(CNN)采用基于LeNet的结构，共七层，包括输入层(I1)，卷积层1(C2)，卷积层2(C3)，池化层(P4)，全连接层1(F5)，全连接层2(F6)，输出层(F7)；建立识别抑郁患者和正常被试的分类模型。
7.根据权利要求6所述的基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，所述分类识别模块包括图节点嵌入单元，用于将邻接矩阵表示为图像，进行降维后，分别将两个模态的前四维向量各计算两个直方图。
8.根据权利要求7所述的基于图节点嵌入的多模态脑影像抑郁识别系统，其特征在于，所述分类识别模块包括分类识别单元，用于采用卷积神经网络(CNN)对输入的两个模态的四个直方图进行分类，建立识别抑郁患者和正常被试的分类模型。
CN201911356633.5A 2019-12-25 2019-12-25 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 Active CN111127441B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911356633.5A CN111127441B (zh) 2019-12-25 2019-12-25 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911356633.5A CN111127441B (zh) 2019-12-25 2019-12-25 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统

Publications (2)

Publication Number Publication Date
CN111127441A CN111127441A (zh) 2020-05-08
CN111127441B true CN111127441B (zh) 2022-08-12

Family

ID=70502109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911356633.5A Active CN111127441B (zh) 2019-12-25 2019-12-25 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统

Country Status (1)

Country Link
CN (1) CN111127441B (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111568446B (zh) * 2020-05-28 2023-05-26 兰州大学 结合人口学注意力机制的便携式脑电抑郁检测系统
CN111753833A (zh) * 2020-07-23 2020-10-09 南京脑科医院 基于fMRI与DTI构建脑网络建模的帕金森辅助识别方法
CN112515653B (zh) * 2020-10-09 2024-03-26 天津大学 一种基于核磁共振图像的脑网络构建方法
CN112651976B (zh) * 2020-10-13 2022-07-19 首都医科大学附属北京天坛医院 基于低分辨率核磁数据的病灶区域脑网络确定方法及系统
CN112862751B (zh) * 2020-12-30 2022-05-31 电子科技大学 一种用于自闭症的自动诊断装置
CN112971781B (zh) * 2020-12-30 2022-10-28 杭州电子科技大学 一种基于脑功能网络抑郁对比装置
CN112712895B (zh) * 2021-02-04 2024-01-26 广州中医药大学第一附属医院 针对2型糖尿病并发症的多模态大数据的数据分析方法
CN113781385B (zh) * 2021-03-19 2024-03-08 南京航空航天大学 用于大脑医学影像自动分类的联合注意力图卷积方法
CN113255728B (zh) * 2021-04-26 2024-03-22 浙江工业大学 一种基于图嵌入和多模态脑网络的抑郁症分类方法
CN113255734B (zh) * 2021-04-29 2024-03-22 浙江工业大学 一种基于自监督学习和迁移学习的抑郁症分类方法
CN113313232B (zh) * 2021-05-19 2023-02-14 华南理工大学 一种基于预训练和图神经网络的功能脑网络分类方法
CN113476058B (zh) * 2021-07-22 2022-11-29 北京脑陆科技有限公司 对抑郁症患者的干预处理方法、装置、终端及介质
CN113592836B (zh) * 2021-08-05 2022-11-18 东南大学 一种深度多模态图卷积的脑图分类方法
CN113705680A (zh) * 2021-08-27 2021-11-26 兰州大学 一种基于多模态磁共振数据的癌症伴随型抑郁识别方法
CN113729686B (zh) * 2021-09-23 2023-12-01 南京航空航天大学 一种大脑局部功能动态性实时测量系统
CN114159043A (zh) * 2021-12-17 2022-03-11 天津大学 基于Qcut算法的脑功能网络异常脑节点数据检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427929A (zh) * 2018-03-19 2018-08-21 兰州大学 一种基于静息态脑网络的抑郁识别分析系统
US10265017B1 (en) * 2018-12-12 2019-04-23 Lucas J. Myslinski Device, method and system for implementing a physical area network for cancer immunotherapy
CN110013250A (zh) * 2019-04-30 2019-07-16 中南大学湘雅二医院 一种抑郁症自杀行为的多模式特征信息融合预测方法
CN110522448A (zh) * 2019-07-12 2019-12-03 东南大学 一种基于图卷积神经网络的脑网络分类方法
CN110599442A (zh) * 2019-07-01 2019-12-20 兰州大学 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统
CN110604572A (zh) * 2019-10-08 2019-12-24 江苏海洋大学 基于人脑特征图谱的脑活动状态识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108427929A (zh) * 2018-03-19 2018-08-21 兰州大学 一种基于静息态脑网络的抑郁识别分析系统
US10265017B1 (en) * 2018-12-12 2019-04-23 Lucas J. Myslinski Device, method and system for implementing a physical area network for cancer immunotherapy
CN110013250A (zh) * 2019-04-30 2019-07-16 中南大学湘雅二医院 一种抑郁症自杀行为的多模式特征信息融合预测方法
CN110599442A (zh) * 2019-07-01 2019-12-20 兰州大学 一种融合脑皮质厚度和边缘系统形态特征的抑郁识别系统
CN110522448A (zh) * 2019-07-12 2019-12-03 东南大学 一种基于图卷积神经网络的脑网络分类方法
CN110604572A (zh) * 2019-10-08 2019-12-24 江苏海洋大学 基于人脑特征图谱的脑活动状态识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Structural alterations of the brain preceded functional alterations in major depressive disorder patients: Evidence from multimodal connectivity;ZhijunYao等;《Journal of Affective Disorders》;20190615;第253卷;107-117 *
基于多模态脑影像数据的融合分析与应用;耿玉苹;《中国优秀博硕士学位论文全文数据库(硕士)医药卫生科技辑》;20180615(第06期);E071-21 *

Also Published As

Publication number Publication date
CN111127441A (zh) 2020-05-08

Similar Documents

Publication Publication Date Title
CN111127441B (zh) 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统
CN108446730B (zh) 一种基于深度学习的ct肺结节检测装置
Singh et al. Shallow 3D CNN for detecting acute brain hemorrhage from medical imaging sensors
CN110084318B (zh) 一种结合卷积神经网络和梯度提升树的图像识别方法
CN104700120B (zh) 一种基于自适应熵投影聚类算法的fMRI特征提取及分类方法
CN111488914A (zh) 一种基于多任务学习的阿尔茨海默症分类及预测系统
CN108664976B (zh) 一种基于超像素的模糊谱聚类脑肿瘤图像自动分割方法
WO2021109727A1 (zh) 脑功能图谱的绘制方法和系统
Liu et al. MSDF-Net: Multi-scale deep fusion network for stroke lesion segmentation
CN110338763A (zh) 一种智能中医诊测的图像处理方法及装置
CN112183314B (zh) 一种表情信息采集装置和表情识别方法及系统
CN116503680B (zh) 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN111523617B (zh) 基于白质融合特征图和残差注意力网络的癫痫检测系统
CN117172294B (zh) 一种稀疏脑网络的构建方法、系统、设备和存储介质
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及系统
Chowdhury et al. Lip as biometric and beyond: a survey
CN111488934A (zh) 脑影像数据处理方法、存储介质、计算机设备和装置
Saraswathi et al. Brain tumor segmentation and classification using self organizing map
CN112515653B (zh) 一种基于核磁共振图像的脑网络构建方法
CN107256408B (zh) 一种大脑功能网络的关键路径搜索方法
CN113762285A (zh) 一种分析和处理医学影像的系统及方法
Pei et al. Classifying cognitive normal and early mild cognitive impairment of Alzheimer’s disease by applying restricted Boltzmann machine to fMRI data
CN112419313B (zh) 一种基于先心病超声的多切面的分类方法
CN114983341A (zh) 基于多模态特征融合的阿尔茨海默病多分类预测系统
CN106354990B (zh) 一种EEG和fMRI一致性的检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant