CN113592836B - 一种深度多模态图卷积的脑图分类方法 - Google Patents
一种深度多模态图卷积的脑图分类方法 Download PDFInfo
- Publication number
- CN113592836B CN113592836B CN202110898144.3A CN202110898144A CN113592836B CN 113592836 B CN113592836 B CN 113592836B CN 202110898144 A CN202110898144 A CN 202110898144A CN 113592836 B CN113592836 B CN 113592836B
- Authority
- CN
- China
- Prior art keywords
- brain
- graph
- topological graph
- static
- functional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 149
- 238000000034 method Methods 0.000 title claims abstract description 25
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000009792 diffusion process Methods 0.000 claims abstract description 9
- 230000000284 resting effect Effects 0.000 claims abstract description 4
- 230000003068 static effect Effects 0.000 claims description 45
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000002599 functional magnetic resonance imaging Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 14
- 238000013139 quantization Methods 0.000 claims description 8
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 claims description 6
- 239000008280 blood Substances 0.000 claims description 6
- 210000004369 blood Anatomy 0.000 claims description 6
- 230000001419 dependent effect Effects 0.000 claims description 6
- 239000000835 fiber Substances 0.000 claims description 6
- 238000013507 mapping Methods 0.000 claims description 6
- 229910052760 oxygen Inorganic materials 0.000 claims description 6
- 239000001301 oxygen Substances 0.000 claims description 6
- 238000005192 partition Methods 0.000 claims description 6
- 210000004126 nerve fiber Anatomy 0.000 claims description 4
- 239000006185 dispersion Substances 0.000 claims description 3
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000002889 sympathetic effect Effects 0.000 claims 1
- 238000002598 diffusion tensor imaging Methods 0.000 description 12
- 208000020016 psychiatric disease Diseases 0.000 description 4
- 230000035945 sensitivity Effects 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 208000014644 Brain disease Diseases 0.000 description 1
- 208000028017 Psychotic disease Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000005802 health problem Effects 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000002610 neuroimaging Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供了一种深度多模态图卷积的脑图分类方法，通过将不同模态间脑图进行融合达到脑图的分类目的。首先进行多模态脑拓扑图构建，利用静息态功能磁共振数据与弥散张量磁共振数据依据其生物学意义构建脑拓扑图；然后，进行多模态融合，包含功能‑结构融合和动态‑静态融合两个部分。本发明不仅使用了多种模态特征，并对其进行了融合，能够充分利用特征间的相似性和互补性，这使得进行脑图分类的结果更加准确。
Description
技术领域
本发明涉及一种深度多模态图卷积的脑图分类方法，属于计算机图像识别中模式识别技术领域。
背景技术
精神疾病已经成为当今世界普遍存在的健康问题，它不仅扰乱患者的生活，还对经济发展与社会稳定造成了巨大的影响。因此，精神疾病诊断问题受到社会各界越来越多的关注。目前精神疾病主要根据量表查询、医生问诊和临床观察的方式诊断，容易受到患者临床症状群差异较大、医生专业水平与患者主观因素等影响，给精准诊断带来了挑战。近年来，脑电图(Electroencephalogram，简称EEG)、脑磁图(Magnetoencephalography，简称MEG)、功能磁共振成像(Functional Magnetic Resonance Imaging，简称fMRI)、弥散张量成像(Diffusion Tensor Imaging，简称DTI)等非侵入性神经成像技术的发展使得精神疾病患者的脑结构与功能连接的异常逐渐被发现。例如，通过fMRI发现患者在脑区活跃程度以及不同区域之间的功能连接异常，通过DTI发现患者脑区的水分子弥散特征和脑区之间的结构连接均存在异常。因此，神经影像获得的大脑网络可以作为更有效、更智能、更客观的工具用于精神疾病诊断，进而转化为脑图分类问题。
基于fMRI图像的现有研究大多通过fMRI数据获取动态或静态功能连接，并依据功能连接获取分类特征后，通过支持向量机等分类器完成分类任务；也有部分研究通过将fMRI数据构建成无向图通过图卷积网络进行分类。此外，DTI数据可以采集组织的水分子弥散特征，获取神经纤维连接强度。现有对脑图分类的研究验证了多模态融合的可行性与必要性。然而，多模态特征为脑图分类问题提供了丰富信息的同时，存在特征维度过高的问题。并且每种模态所表征的生物学意义不同，所表征的特征在区分患者与正常人时存在不一致，导致模态间的特征异构。特征异构与高维冗余会影响脑图分类的精准度和稳定性，现有基于多模态的脑疾病诊断方法难以直接应用。
发明内容
为解决上述问题，本发明提出一种深度多模态图卷积的脑图分类方法，采用DTI数据与fMRI数据两种模态数据，实现脑网络分类，能够提高脑网络分类准确率。
为了达到上述目的，本发明提供如下技术方案：
一种深度多模态图卷积的脑图分类方法，包括以下步骤：
步骤1，依据样本fMRI数据和DTI数据分别构建功能脑拓扑图和结构脑拓扑图，fMRI数据为样本静息态功能磁共振成像数据，DTI数据为弥散张量磁共振成像数据；具体包括如下子步骤：
1-1，利用DTI数据构建结构脑拓扑图，首先，依据大脑分区图谱映射到个体空间，进行脑区划分；然后，采用确定性纤维追踪方法进行神经纤维跟踪；之后，计算得到每个体素的张量与局部弥散特征；最后，计算任意两个脑区之间存在的纤维数量和DTI特征，以脑区为节点，以脑区的弥散特征作为节点特征，脑结构连接作为图的边，获得结构脑拓扑图；
1-2，构建静态功能拓扑图，首先，对fMRI图像进行预处理，将个体配准到标准空间；然后，依据脑分区图谱获得各脑区血氧水平依赖信号平均值；之后，依据各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建静态拓扑图；
1-3，构建动态功能脑拓扑图组，首先，依据fMRI图像与大脑图谱分区映射获得各大脑分区血氧水平依赖信号平均值；接着，使用滑动窗思想将时间序列信号划分为多个窗口；之后，依据每个窗口内各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建脑拓扑图，所有窗口的脑拓扑图即为脑拓扑图组；
步骤2，根据步骤1构建的多模态脑拓扑图作为输入，采用个性共性图卷积方式融合功能、结构特征，具体包括如下子步骤：
2-1，采用空域图卷积，利用Xsf，S＝IXsfhsf，0+AsfXsfhsf，1+bsf更新个性静态功能特征，利用Xs，S＝IXshs，0+AsXshs，1+bs更新个性结构特征，其中，个性静态功能脑拓扑图
和个性结构脑拓扑图
与静态功能脑拓扑图和结构脑拓扑图具有相同的邻接矩阵，仅结点特征进行了更新；其中，V为结点，Xsf为静态功能拓扑图结点特征，Asf为静态功能拓扑图邻接矩阵，As为结构脑拓扑图邻接矩阵，Xs为结构脑拓扑图邻接矩阵；
2-2，利用共性图卷积，采用相同的参数对静态功能脑拓扑图和结构脑拓扑图进行特征提取，通过Xsf，C＝IXsfhC，0+AsfXsfhC，1+bC，Xs，C＝IXshC，0+AsXshC，1+bC两式获得共性静态功能脑拓扑图
和共性结构脑拓扑
其中，其中，I为单位矩阵，hsf，0，hsf，1为可学习的个性静态功能滤波参数，bsf为个性静态功能偏置，hs，0，hs，1为可学习的个性结构滤波参数，bs为个性结构偏置，Xsf，S为更新后的个性静态功能特征，Xs，S为更新后的个性结构特征；
2-3，对共性图卷积进行一致性约束，采用L2范数标准化Xsf，C和Xs，C为Xsf，Cnor和Xs，Cnor；然后，利用这两个标准化矩阵通过Simsf＝Xsf，Cnor·Xsf，Cnor T和式Sims＝Xs，Cnor·Xs，Cnor T捕获结点间相似性Simsf和Sims，最后，具有共性意味着两个相似性矩阵应该是相似的，以此产生了
的约束，该约束将作为Loss函数的一部分；
2-4，采用级联的方式结合共性个性特征得到最终输入
和
其中X′sf＝Xsf，S||Xsf，C，X′s＝Xs，S||Xs，C；
步骤3，在动态分支中使用依据静态特征获得注意力值的方式来完成动态-静态融合，采用静态嵌入特征作为依据，通过式attdf＝softmax(fc(X′sf||X′s))计算获得注意力值，空间图注意力卷积式更新为
其中，
为结点特征Xk的第c维，
表示第c维输入特征对应的滤波器切片，b表示偏置；
在多模态特征更新完成后，再经过池化步骤得到具有高概括性的空间图表示，最后使用全连接层完成分类。
作为本发明的进一步技术方案，步骤1中量化的比例为0.2。
作为本发明的进一步技术方案，步骤1-3中滑动窗口的大小为100。
与现有技术相比，本发明具有如下优点和有益效果：
本发明通过将不同模态间特征进行融合达到脑图的分类目的，不仅使用了多种模态特征，并对其进行了融合，能够充分利用特征间的相似性和互补性，这使得进行脑图分类的结果更加准确。
附图说明
图1为本发明的方法流程图。
图2为本发明的实施流程示意图。
图3为本发明在不同任务上的对比实验结果，其中(a)为中大第一数据集脑图分类结果；(b)为新乡数据集脑图分类结果；(c)为多中心数据集脑图分类结果；(d)为中大第二数据集脑图分类结果。
具体实施方式
以下将结合具体实施例对本发明提供的技术方案进行详细说明，应理解下述具体实施方式仅用于说明本发明而不用于限制本发明的范围。
本发明提出的一种深度多模态图卷积的脑图分类方法流程及其架构分别如图1和图2所示，首先，进行多模态脑拓扑图构建，利用fMRI数据与DTI数据依据其物理特征构建脑拓扑图；然后，进行多模态融合，包含功能-结构融合和动态-静态融合两个部分。具体的说，本发明包括如下步骤：
步骤1，依据样本静息态功能磁共振成像(functional magnetic resonanceimaging，fMRI)数据和弥散张量磁共振成像(diffusion tensor imaging，DTI)数据分别构建功能脑拓扑图和结构脑拓扑图，具体包括以下3个步骤：
(1-1)构建结构脑拓扑图，首先，依据大脑分区图谱映射到个体空间，进行脑区划分；然后，采用确定性纤维追踪方法进行神经纤维跟踪；之后，计算得到每个体素的张量与局部弥散特征；最后，计算任意两个脑区之间存在的纤维数量和DTI特征，以脑区为节点，以脑区的弥散特征作为节点特征，脑结构连接作为图的边，获得结构脑拓扑图。每个样本含有结构脑拓扑图
其中，节点V的数量为N，节点特征Xs是维度为N×Cs的矩阵，Cs为结点特征维度，邻接矩阵As是维度为N×N的矩阵。
(1-2)构建静态功能拓扑图，首先，对fMRI图像进行预处理，将个体配准到标准空间；然后，依据脑分区图谱获得各脑区血氧水平依赖信号平均值；之后，依据各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建静态拓扑图。每个样本含有静态功能脑拓扑图
其中，结点
结点特征
T为时间序列信号长度，邻接矩阵
(1-3)构建动态功能脑拓扑图组，首先，依据fMRI图像与大脑图谱分区映射获得各大脑分区血氧水平依赖(Blood Oxygenation Level Dependent，简称BOLD)信号平均值。接着，使用滑动窗思想将时间序列信号划分为多个窗口。之后，依据每个窗口内各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵。最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建脑拓扑图，所有窗口的脑拓扑图即为脑拓扑图组。每个样本包含一组无向图
对任意一个无向图
有结点
结点特征
ws为滑动窗口长度，邻接矩阵
步骤2，根据步骤1构建的多模态脑拓扑图作为输入，采用个性共性图卷积(Specific Common GCN，简称SC-GCN)方式融合功能、结构特征，具体包括：
(2-1)采用空域图卷积，即采用式(1)和式(2)分别更新个性静态功能特征和个性结构特征。
Xsf，S＝IXsfhsf，0+AsfXsfhsf，1+bsf (1)
Xs，S＝IXshs，0+AsXshs，1+bs (2)
其中，I为单位矩阵，hsf，0，hsf，1为可学习的个性静态功能滤波参数，bsf为个性静态功能偏置，hs，0，hs，1为可学习的个性结构滤波参数，bs为个性结构偏置。个性静态功能脑拓扑图
和个性结构脑拓扑图
与静态功能脑拓扑图和结构脑拓扑图具有相同的邻接矩阵，仅结点特征进行了更新，Xsf，S为更新后的个性静态功能特征，Xs，S为更新后的个性结构特征。
(2-2)利用共性图卷积，实现信息在两个模态中的共享。采用相同的参数对静态功能脑拓扑图和结构脑拓扑图进行特征提取：
Xsf，C＝IXsfhC，0+AsfXsfhC，1+bC (3)
Xs，C＝IXshC，0+AsXshC，1+bC (4)
其中，I为单位矩阵，hC，0，hC，1为可学习的共性静态功能滤波参数，bC为共性静态功能偏置。通过两式获得共性静态功能脑拓扑图
和共性结构脑拓扑
Xsf，C为更新后的共性静态功能特征，Xs，C为更新后的共性结构特征。
(2-3)为了进一步增强2-2提取的特征共性，本发明对共性图卷积进行了一致性约束，采用L2范数标准化Xsf，C和Xs，C为Xsf，Cnor和Xs，Cnor。然后，利用这两个标准化矩阵通过式(5)和式(5)捕获结点间相似性Simsf和Sims。
Simsf＝Xsf，Cnor·Xsf，Cnor T (5)
Sims＝Xs，Cnor·Xs，Cnor T (6)
具有共性意味着两个相似性矩阵应该是相似的，以此产生了式(7)的约束，该约束将作为Loss函数的一部分。
(2-4)采用级联的方式结合共性个性特征得到最终输入
和
其中X′sf＝Xsf，S||Xsf，C，X′s＝Xs，S||Xs，C。
步骤3，在动态分支中使用依据静态特征获得注意力值的方式来完成动态-静态融合。在时空图卷积网络中，采用静态嵌入特征作为依据，通过式(8)计算获得注意力值attdf，相比于通过学习获得的注意力值，该值具有更强的可解释性，空间图注意力卷积式为式(9)。
attdf＝softmax(fc(X′sf||X′s)) (8)
其中，
为结点特征Xk的第c维，
表示第c维输入特征对应的滤波器切片，b表示偏置。函数fc(·)为线性变换函数，转换后的特征向量维度为
在多模态特征更新完成后，再经过池化步骤得到具有高概括性的空间图表示，最后使用全连接层完成分类。
本发明中，在脑图分类任务上，采用动态-静态融合和功能-结构融合的多模态融合框架(D-S-SC Fusion)，对比现有分类方法，包含支持向量机，自动编码器和随机森林。DTI数据使用FSL中的brain diffusion toolkit进行预处理，fMRI数据均使用DPARSF 2.3高级版工具包进行预处理。采用三种常见的分类评价指标来评价脑图分类模型的性能：准确率(Accuracy)，特异性(Specificity)，敏感性(Sensitivity)。4
实施例：
下面以东南大学附属中大医院和新乡医学院第二附属医院数据集数据为例，来说明本发明的深度多模态图卷积的脑图分类方法。
实验条件：现选取一台计算机进行实验，该计算机的配置有英特尔处理器(3.4GHz)和10GB随机存取存储器，64位操作系统，编程语言用的是Python 3。
本章采用的实验数据由东南大学附属中大医院和新乡医学院第二附属医院提供，分别将其简称为中大数据集和新乡数据集，其中中大数据集有两份。中大第一数据集共含有110例样本，健康对照为48例，患者为62例；中大第二数据集一共含有62例样本，其中对照为31例，患者为31例。新乡数据集共包含77例样本，健康对照为46例，患者为31例。
实验参数设置为：步骤1中量化比例p＝0.20，步骤1-3中时间窗大小ws＝100。
图3为不同任务上的对比实验结果。(a)中大第一数据集脑图分类结果；(b)新乡数据集脑图分类结果；(c)多中心数据集脑图分类结果；(d)中大第二数据集脑图分类结果。显然，本发明方法在准确率(Accuracy)、特异性(Specificity)、敏感性(Sensitivity)各方面均优于现有方法。
本发明方案所公开的技术手段不仅限于上述实施方式所公开的技术手段，还包括由以上技术特征任意组合所组成的技术方案。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (3)
1.一种深度多模态图卷积的脑图分类方法，其特征在于，包括以下步骤：
步骤1，依据样本fMRI数据和DTI数据分别构建功能脑拓扑图和结构脑拓扑图，fMRI数据为样本静息态功能磁共振成像数据，DTI数据为弥散张量磁共振成像数据；具体包括如下子步骤：
1-1，利用DTI数据构建结构脑拓扑图，首先，依据大脑分区图谱映射到个体空间，进行脑区划分；然后，采用确定性纤维追踪方法进行神经纤维跟踪；之后，计算得到每个体素的张量与局部弥散特征；最后，计算任意两个脑区之间存在的纤维数量和DTI特征，以脑区为节点，以脑区的弥散特征作为节点特征，脑结构连接作为图的边，获得结构脑拓扑图；
1-2，构建静态功能拓扑图，首先，对fMRI图像进行预处理，将个体配准到标准空间；然后，依据脑分区图谱获得各脑区血氧水平依赖信号平均值；之后，依据各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建静态拓扑图；
1-3，构建动态功能脑拓扑图组，首先，依据fMRI图像与大脑图谱分区映射获得各大脑分区血氧水平依赖信号平均值；接着，使用滑动窗思想将时间序列信号划分为多个窗口；之后，依据每个窗口内各个脑区的平均时间序列信号，计算大脑分区时间序列的相关性获得不同脑区之间的功能连接强度，并使用比例量化得到二值矩阵即邻接矩阵；最后，每个窗口根据邻接矩阵出入度与脑区的平均时间信号作为结点特征，以邻接矩阵和结点特征构建脑拓扑图，所有窗口的脑拓扑图即为脑拓扑图组；
步骤2，根据步骤1构建的多模态脑拓扑图作为输入，采用个性共性图卷积方式融合功能、结构特征，具体包括如下子步骤：
2-1，采用空域图卷积，利用Xsf，S＝IXsfhsf，0+AsfXsfhsf，1+bsf更新个性静态功能特征，利用Xs，S＝IXshs，0+AsXshs，1+bs更新个性结构特征，其中，个性静态功能脑拓扑图
和个性结构脑拓扑图
与静态功能脑拓扑图和结构脑拓扑图具有相同的邻接矩阵，仅结点特征进行了更新；其中，V为结点，Xsf为静态功能拓扑图结点特征，Asf为静态功能拓扑图邻接矩阵，As为结构脑拓扑图邻接矩阵，Xs为结构脑拓扑图邻接矩阵；
2-2，利用共性图卷积，采用相同的参数对静态功能脑拓扑图和结构脑拓扑图进行特征提取，通过Xsf，C＝IXsfhC，0+AsfXsfhC，1+bC，Xs，C＝IXshC，0+AsXshC，1+bC两式获得共性静态功能脑拓扑图
和共性结构脑拓扑
其中，I为单位矩阵，hsf，0，hsf，1为可学习的个性静态功能滤波参数，bsf为个性静态功能偏置，hs，0，hs，1为可学习的个性结构滤波参数，bs为个性结构偏置，Xsf，S为更新后的个性静态功能特征，Xs，S为更新后的个性结构特征；
2-3，对共性图卷积进行一致性约束，采用L2范数标准化Xsf，C和Xs，C为Xsf，Cnor和Xs，Cnor；然后，利用这两个标准化矩阵通过Simsf＝Xsf，Cnor·Xsf，Cnor T和式Sims＝Xs，Cnor·Xs，Cnor T捕获结点间相似性Simsf和Sims，最后，具有共性意味着两个相似性矩阵应该是相似的，以此产生了
的约束，该约束将作为Loss函数的一部分；
2-4，采用级联的方式结合共性个性特征得到最终输入
和
其中X′sf＝Xsf，S||Xsf，C，X′s＝Xs，S||Xs，C；
步骤3，在动态分支中使用依据静态特征获得注意力值的方式来完成动态-静态融合，采用静态嵌入特征作为依据，通过式attdf＝softmax(fc(X′sf||X′s))计算获得注意力值，空间图注意力卷积式更新为
其中，
为结点特征Xk的第c维，
表示第c维输入特征对应的滤波器切片，b表示偏置；
在多模态特征更新完成后，再经过池化步骤得到具有高概括性的空间图表示，最后使用全连接层完成分类。
2.根据权利要求1所述的深度多模态图卷积的脑图分类方法，其特征在于，所述步骤1中量化的比例为0.2。
3.根据权利要求1所述的深度多模态图卷积的脑图分类方法，其特征在于，所述步骤1-3中滑动窗口的大小为100。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898144.3A CN113592836B (zh) | 2021-08-05 | 2021-08-05 | 一种深度多模态图卷积的脑图分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110898144.3A CN113592836B (zh) | 2021-08-05 | 2021-08-05 | 一种深度多模态图卷积的脑图分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113592836A CN113592836A (zh) | 2021-11-02 |
| CN113592836B true CN113592836B (zh) | 2022-11-18 |
Family
ID=78255648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110898144.3A Active CN113592836B (zh) | 2021-08-05 | 2021-08-05 | 一种深度多模态图卷积的脑图分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113592836B (zh) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113786186B (zh) * | 2021-11-12 | 2022-03-04 | 北京智精灵科技有限公司 | 基于模块化动态重构的多尺度脑网络分析方法及系统 |
| CN114052734B (zh) * | 2021-11-24 | 2022-11-01 | 西安电子科技大学 | 基于渐进式图卷积神经网络的脑电情感识别方法 |
| CN114373095B (zh) * | 2021-12-09 | 2024-10-18 | 山东师范大学 | 基于影像信息的阿尔茨海默病分类系统及方法 |
| CN114842254B (zh) * | 2022-05-05 | 2023-06-06 | 中南大学湘雅二医院 | 一种以杏仁核为核心的脑功能网络多指标融合的图像分类方法、装置、设备及介质 |
| CN115222688B (zh) * | 2022-07-12 | 2023-01-10 | 广东技术师范大学 | 基于图网络时间序列的医学影像分类方法 |
| CN115082586B (zh) * | 2022-07-12 | 2023-04-04 | 中国科学院自动化研究所 | 群组先验引导的基于深度学习的丘脑个体化图谱绘制方法 |
| CN115081489A (zh) * | 2022-07-13 | 2022-09-20 | 重庆大学 | 基于小波分解矩阵和残差网络的时间序列分类方法 |
| CN115211868B (zh) * | 2022-07-28 | 2024-06-25 | 浙大宁波理工学院 | 融合Topomap图像识别与fMRI结合的高精度EEG识别系统 |
| CN115424724B (zh) * | 2022-11-04 | 2023-01-24 | 之江实验室 | 一种多模态图森林的肺癌淋巴结转移辅助诊断系统 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548206A (zh) * | 2016-10-27 | 2017-03-29 | 太原理工大学 | 基于最小生成树的多模态磁共振影像数据分类方法 |
| CN110522448A (zh) * | 2019-07-12 | 2019-12-03 | 东南大学 | 一种基于图卷积神经网络的脑网络分类方法 |
| CN111127441A (zh) * | 2019-12-25 | 2020-05-08 | 兰州大学 | 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 |
-
2021
- 2021-08-05 CN CN202110898144.3A patent/CN113592836B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106548206A (zh) * | 2016-10-27 | 2017-03-29 | 太原理工大学 | 基于最小生成树的多模态磁共振影像数据分类方法 |
| CN110522448A (zh) * | 2019-07-12 | 2019-12-03 | 东南大学 | 一种基于图卷积神经网络的脑网络分类方法 |
| CN111127441A (zh) * | 2019-12-25 | 2020-05-08 | 兰州大学 | 一种基于图节点嵌入的多模态脑影像抑郁识别方法和系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113592836A (zh) | 2021-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113592836B (zh) | 一种深度多模态图卷积的脑图分类方法 | |
| Alqudah | AOCT-NET: a convolutional network automated classification of multiclass retinal diseases using spectral-domain optical coherence tomography images | |
| Khan et al. | Machine learning and deep learning approaches for brain disease diagnosis: principles and recent advances | |
| Chatterjee et al. | A novel machine learning based feature selection for motor imagery EEG signal classification in Internet of medical things environment | |
| Tagaris et al. | Machine learning for neurodegenerative disorder diagnosis—survey of practices and launch of benchmark dataset | |
| WO2022256063A9 (en) | Predictive prognosis based on multimodal analysis | |
| Zuo et al. | Multimodal representations learning and adversarial hypergraph fusion for early Alzheimer’s disease prediction | |
| CN110598722B (zh) | 多模态神经影像数据自动信息融合系统 | |
| Liu et al. | An enhanced multi-modal brain graph network for classifying neuropsychiatric disorders | |
| Strzelecki et al. | Machine learning for biomedical application | |
| CN105117731A (zh) | 一种大脑功能网络的社团划分方法 | |
| Songdechakraiwut et al. | Topological learning and its application to multimodal brain network integration | |
| David | Machine learning for the prelude diagnosis of dementia. | |
| Li et al. | Fusion of ULS group constrained high-and low-order sparse functional connectivity networks for MCI classification | |
| Bayram et al. | Deep learning methods for autism spectrum disorder diagnosis based on fMRI images | |
| Ji et al. | Constructing dynamic brain functional networks via hyper-graph manifold regularization for mild cognitive impairment classification | |
| Refaee et al. | A computing system that integrates deep learning and the internet of things for effective disease diagnosis in smart health care systems | |
| Zhang et al. | Edge-centric effective connection network based on muti-modal MRI for the diagnosis of Alzheimer’s disease | |
| CN115457334A (zh) | 静息态功能磁共振影像数据分类方法、系统及相关产品 | |
| Ou et al. | Atomic connectomics signatures for characterization and differentiation of mild cognitive impairment | |
| Sabegh et al. | Automatic detection of autism spectrum disorder based on fMRI images using a novel convolutional neural network | |
| Park et al. | Learning dynamic connectivity with residual-attention network for autism classification in 4D fMRI brain images | |
| Mareeswari et al. | A survey: Early detection of Alzheimer’s disease using different techniques | |
| Ali et al. | Comparative evaluation for two and five classes ECG signal classification: applied deep learning | |
| Zhang et al. | Coarse-to-fine feature representation based on deformable partition attention for melanoma identification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |