CN114743053A - 基于图神经网络和自注意力的磁共振影像辅助处理系统 - Google Patents

基于图神经网络和自注意力的磁共振影像辅助处理系统 Download PDF

Info

Publication number
CN114743053A
CN114743053A CN202210390708.7A CN202210390708A CN114743053A CN 114743053 A CN114743053 A CN 114743053A CN 202210390708 A CN202210390708 A CN 202210390708A CN 114743053 A CN114743053 A CN 114743053A
Authority
CN
China
Prior art keywords
attention
self
sals
gnn
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210390708.7A
Other languages
English (en)
Other versions
CN114743053B (zh
Inventor
高婧婧
王正宁
彭大伟
吴岳潼
商勇彬
徐宇航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210390708.7A priority Critical patent/CN114743053B/zh
Publication of CN114743053A publication Critical patent/CN114743053A/zh
Application granted granted Critical
Publication of CN114743053B publication Critical patent/CN114743053B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了一种基于图神经网络和自注意力的磁共振影像辅助处理系统，包括依次连接的MRI数据预处理模块和若干个基于自注意力的长短距离特征融合图神经网络SALS‑GNN，每个SALS‑GNN包括依次连接的自注意力特征提取模块和特征融合模块，每一个自注意力特征提取模块由多个并联的基于多头自注意力的不同距离的特征提取子网络SA组成。本发明通过把大脑的网络图结构纳入考量范围，并以此构建相应的数据和模型；通过优化设计图神经网络模型，基于自注意力机制，综合考虑脑网络结构的长短距离依赖，提取大脑的全局和局部特征，并进行特征融合，显著提高了神经网络的特征提取能力和分类性能。

Description

基于图神经网络和自注意力的磁共振影像辅助处理系统
技术领域
本发明属于图像处理和计算机视觉领域，具体涉及一种基于图神经网络和自注意力的磁共振影像辅助处理系统。
背景技术
精神疾病是一类以认知、意志、情感、行为异常为特点的复杂性疾病，其发病率每年都在增加，在当今社会带来的影响正日益突出。精神疾病的临床分类主要建立在症状学基础上，这是一种医生基于量表评估的主观判断，相对缺乏客观性。基于神经影像学和计算机科学的辅助研究方法，特别是基于磁共振成像(Magnetic Resonance Imaging,MRI)的研究方法具有一定的客观性，但是目前存在的方法仍缺乏可信且高效的影像学生物标志物。因此，基于客观图像的精神疾病辅助研究和提供可靠的生物标志物的方法仍是当前重要的研究趋势。
精神疾病的MRI影像辅助分类系统，经历了从机器学习到深度学习的变化，相应的数据预处理方法也经历了从人工定义特征到个体化结构脑网络的发展历程。通过人工定义并选择的特征进行精神疾病分析，取得了出色的成果，一方面证明了精神疾病患者相对对照组存在大脑皮层结构的变化，且精神疾病患者大脑结构的变化是多维的，难以用单一结构特征对大脑进行完整的描述；另一方面，使用这些特征可以进行患者与对照组的二分类，证明了基于MRI对精神疾病进行辅助分类是可行的。但是人工定义的特征源于经验，也可能受限于经验，在预处理阶段未考虑数据与大脑网络结构的关系，且缺乏对大脑整体而全面的描述，这促使了个体化形态学脑网络的出现。
Wang等人基于结构磁共振成像(sMRI)数据，通过计算脑区间灰质体积的分布相似性，构建了基于个体的形态学脑网络(如图1所示)。通过个体化形态学脑网络构建的脑网络数据，能够在网络结构层面对大脑数据进行分析，并且能够获得大脑的全局共变信息。基于个体化结构脑网络获得的特征，可以通过深度学习模型进行辅助研究。
在文献“Classification of autism spectrum disorder by combining brainconnectivity and deep neural network classifier[J].,Kong Y,Gao J,Xu Y,et al.,Neurocomputing,2019,324:63-68”中，Kong等人将个体化脑网络的相似性特征从大到小排序，选取排名前3000的特征作为该个体的一维特征向量，最后使用深度神经网络模型(deepneural network,DNN)对一维向量进行分类(分类模型图见图2)。该模型在ABIDE I单站点数据集分类中，取得的分类准确率(Accuracy)为0.9039，AUC(ROC曲线下的面积)为0.9738。即使该方法在单站点数据集上取得了SOTA(state-of-the-art)(当时最好)的结果，但是该方法在多站点数据集上性能衰减严重，且该方法仍做了特征筛选，未完全考虑全脑的特征。
为了完整地利用个体化脑网络得到的相似性特征，在文献“Multisite AutismSpectrum Disorder Classification Using Convolutional Neural NetworkClassifier and Individual Morphological Brain Networks[J].,Gao J,Chen M,Li Y,et al.,Frontiers in Neuroscience,2021,14:1473”中，Gao等人采用卷积神经网络实现了多站点数据集的高性能分类，并通过Grad-CAM方法实现了个体级别的模型解释(模型图见图3)。该方法在ABIDE I数据集中，取得了多站点数据分类的最佳性能，分类准确率高达0.718。但是该方法仍存在特征提取的局部性和模型与数据不匹配的问题。
在公开号为CN109165667A的发明专利中，作者将人脑结构磁共振成像数据预处理成灰质密度图，再通过基于自注意力机制构建的三维卷积神经网络模型，对脑疾病病人进行辅助分类，但该方法所使用的三维卷积神经网络存在参数较多，难训练易过拟合的问题。在公开号为CN113313232A的发明专利中，作者通过预处理人脑功能磁共振成像数据，得到功能脑网络，再将功能脑网络通过图神经网络进行信息聚合与特征提取，获得脑网络更新后的特征，该方法的图神经网络仅能聚合相邻节点的信息，缺乏对脑网络长距离依赖的特征提取。
发明内容
为了解决现有技术中存在的问题，本发明提出了一种基于图神经网络和自注意力的磁共振影像辅助处理系统，该系统包括依次连接的MRI数据预处理模块和L个相同的基于自注意力的长短距离特征融合图神经网络SALS-GNN，其中L为大于或等于1的整数；与MRI数据预处理模块直接相连的SALS-GNN称为第1个SALS-GNN，后续依次表示为第2个、第3个、直至第L个SALS-GNN，其中，每个基于自注意力的长短距离特征融合图神经网络SALS-GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块，第l个SALS-GNN的自注意力特征提取模块与第l-1个SALS-GNN的特征融合模块相连，l＝2,3,...,L；每一个自注意力特征提取模块由M个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；L个SALS-GNN的自注意力特征提取模块结构相同、但模型参数不同，并且L个SALS-GNN的特征融合模块结构相同、但模型参数不同；所有H头自注意力模型结构和参数均相同；
所述MRI数据预处理模块，输入核磁共振成像仪采集的MRI影像，采集的MRI影像预处理后，输出大脑图结构数据，具体包括：
S11)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；
S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)，其中G0为有向图，N为节点集合，E为边集合，F0为节点特征集合；
对于SALS-GNN中的自注意力特征提取模块，除第1个SALS-GNN以外的任意一个SALS-GNN中的自注意力特征提取模块，输入为上一个SALS-GNN中特征融合模块的输出图数据，对于第1个SALS-GNN中的自注意力特征提取模块，输入为MRI数据预处理模块得到的原始图数据G0，各SALS-GNN用于获取大脑脑区间的长短距离依赖，对脑区进行不同距离的特征提取，输出不同距离的大脑特征，这L个SALS-GNN的工作过程具体为：
S21)将原始图数据G0＝(N,E,F0)输入第1个SALS-GNN中的自注意力特征提取模块，在第l个SALS-GNN的自注意力特征提取模块中，输入数据为第l-1个SALS-GNN的特征融合模块的输出图数据Gl-1＝(N,E,Fl-1)，每一个图数据的节点集合N和边集合E都不会被更新，由图数据Gl-1中N个节点特征
Figure BDA0003595381920000031
构成的特征矩阵
Figure BDA0003595381920000032
将会被更新，其中，Rf表示长度为f的向量，f为预处理参数，n＝0,1,...,N-1；
S22)图数据Gl-1＝(N,E,Fl-1)输入M个并联的基于多头自注意力的不同距离的特征提取子网络SA，每个特征提取子网络SA都具有相同的信息传递流程，以路径长度m表示第m个特征提取子网络SA提取特征的距离，第m个特征提取子网络SA被命名为SA-m，m＝1,2,...,M；
S23)任意一个子网络SA-m对有向图Gl-1中的每个节点进行距离为m的特征提取，对任意一个节点Nj，j＝0,1,...,N-1进行特征提取时，选择距离d(Ni,Nj)＝m的点集{Ni}的特征，通过第l-1个SALS-GNN的自注意力特征提取模块中的H头自注意力模型进行聚合，其中i≠j，i,j＝0,1,...,N-1；
S24)在H头自注意力模型的任意第h个抽头中，h＝1,2,...,H，每个节点的特征
Figure BDA0003595381920000033
通过公式(1)的三个线性层获得对应的向量
Figure BDA0003595381920000041
其中
Figure BDA0003595381920000042
是三个不同的权重矩阵，
Figure BDA0003595381920000043
是与之对应的三个不同的偏置矩阵；
Figure BDA0003595381920000044
S25)获得所有节点的向量
Figure BDA0003595381920000045
后，将S23)得到的距离d(Ni,Nj)＝m的点集{Ni}，通过公式(2)的自注意力模型，聚合得到节点Nj的特征
Figure BDA0003595381920000046
Figure BDA0003595381920000047
其中，epq表示有向图Gl-1中边NpNq的权重，p,q＝0,1,...,N-1，这里节点Np和Nq是相邻的，所以满足d(Np,Nq)=1；距离d(Ni,Nj)=m的路径NiNj间的权重为构成路径NiNj的所有边的权重的连乘；dK表示
Figure BDA0003595381920000048
的维度；Softmax(·)为归一化指数函数；Π表示连乘符号，上标T表示向量的转置；Ni∈N{d(Ni,Nj)＝m,i≠j}表示节点Ni到Nj距离为m的所有节点的集合，且i≠j；NpNq∈NiNj表示边NpNq是路径NiNj中的一条边；
Figure BDA0003595381920000049
是一个中间变量；eji表示节点Ni到Nj的权值；
S26)将S25)得到的H个抽头特征
Figure BDA00035953819200000410
按式(3)进行融合，得到SA-m输出节点Nj的特征
Figure BDA00035953819200000411
Figure BDA00035953819200000412
其中Concat(·)表示为矩阵拼接；
对于SALS-GNN中的特征融合模块，输入位于同一个SALS-GNN中的自注意力特征提取模块获得的特征，通过融合，更新大脑脑区的特征表达，输出融合后的特征，具体包括：
S31)原始图数据G0的节点集合N的特征矩阵为
Figure BDA0003595381920000051
将M个特征提取子网络SA分别得到的特征Fl,m一起输入一个特征融合模块，通过公式(4)进行特征融合，得到第l个SALS-GNN的输出特征Fl；Fusion(·)表示特征融合模型；
Fl=Fusion(Fl,1,Fl,2,...,Fl,M) (4)
S32)通过L个自注意力特征提取模块和特征融合模块的级联，构建深度为L的基于图神经网络和自注意力的磁共振影像辅助处理系统，基于该系统得到如下结果：
1)获得L×M×H个注意力图αl,m,h，注意力图进行可视化得到热力图，即可视化结果1，热力图反映任意网络层l在距离为m进行特征聚合时，脑区间的侧重倾向；
2)通过在可视化结果1中同一网络层l，不同聚合距离m的热力图，得到特征信息在不同距离间的传递特性，获得不同距离的脑区依赖关系；
3)通过在可视化结果1中相同聚合距离m，不同网络深度l的热力图，得到不同深度网络中的脑区侧重倾向；
4)将S31)的输出特征Fl或结果1)中的L×M×H个注意力图αl,m,h，输入后续通用模块中，能够构建包括分类、聚类在内的系统。
针对现有方法的不足，本发明综合分析其优缺点，通过把大脑的网络图结构纳入考量范围，并以此构建相应的数据和模型；通过优化设计图神经网络模型，基于自注意力机制，综合考虑脑网络结构的长短距离依赖，提取大脑的全局和局部特征，并进行特征融合。通过以上新方法的组合，本发明显著提高了神经网络的特征提取能力和分类性能，实现了精神疾病患者与对照组的高性能分类和生物标志物的识别。
附图说明
图1是现有个体化形态学脑网络构建流程图；
图2是现有基于个体化脑网络和DNN的精神疾病分类模型结构图；
图3是现有基于个体化脑网络、卷积神经网络和Grad-CAM的精神疾病分类-解释模型结构图；
图4是本发明SALS-GNN网络模型图；
图5是本发明基于图神经网络和自注意力的磁共振影像辅助处理系统模块图；
图6是本发明距离m＝2时特征提取的点集示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，所描述的实施例是本发明一部分实施例，而不是全部的实施例，也并非旨在限制要求保护的本发明的范围。本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明属于医学影像处理和计算机视觉领域，是一种基于自注意力机制的精神疾病MRI影像辅助处理系统，涉及个体化结构脑网络、深度学习的图神经网络、自注意力机制、局部和全局特征提取、特征融合等一系列方法。本发明通过构建基于图神经网络和自注意力的长短距离特征融合网络SALS-GNN，提出了一种磁共振影像辅助处理系统，所述基于自注意力的长短距离特征融合图神经网络SALS-GNN(见图4)，包含自注意力特征提取模块和特征融合模块，SALS-GNN可通过级联构建深层神经网络。
本发明提出的基于图神经网络和自注意力的磁共振影像辅助处理系统包括依次连接的MRI数据预处理模块和L(L为大于或等于1的整数)个相同的基于自注意力的长短距离特征融合图神经网络SALS-GNN，与MRI数据预处理模块相连的SALS-GNN称为第1个SALS-GNN，后续依次表示为第2个、第3个、…第L个SALS-GNN，其中，每个基于自注意力的长短距离特征融合图神经网络SALS-GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块，第l个SALS-GNN的自注意力特征提取模块与第l-1个SALS-GNN的特征融合模块相连，l＝2,3,...,L；每一个自注意力特征提取模块，由M个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；L个SALS-GNN的自注意力特征提取模块结构相同、但模型参数不同，并且L个SALS-GNN的特征融合模块结构相同、但模型参数不同；所有H头自注意力模型结构和参数均相同(见图5)。本发明提出的基于图神经网络和自注意力的磁共振影像辅助处理系统通过长短距离依赖提取不同距离的特征，可以更精确地获取大脑脑区间结构和功能的连接。
所述MRI数据预处理模块，输入核磁共振成像仪采集的MRI影像，通过配准、分割等操作进行预处理，输出大脑图结构数据，具体包含以下步骤：
步骤1-1)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑MRI影像进行脑区划分；
步骤1-2)将进行脑区划分后的每个个体的MRI影像(即每一幅大脑MRI影像)通过配准、分割等操作预处理成一个原始图数据G0＝(N,E,F0)(每一幅MRI影像得到一个个体的原始图数据G0)，其中G0为有向图，其中N为节点集合，E为边集合，F0为节点特征集合。下面是对不同类型的MRI影像的处理方式：当处理结构磁共振影像(sMRI)时，可以使用个体化结构脑网络计算脑区间的相似性特征，然后以脑区为节点，设置脑区的灰质体积密度分布为节点特征，将相似性特征设置为边，构建原始图数据GS(即此时的G0表示为GS)；当处理功能磁共振影像(fMRI)时，以脑区为节点，每个脑区的不同fMRI参数作为节点特征，将脑区间的功能连接关系设置为边，构建原始图数据GF(即此时的G0表示为GF)。
对于除第1个SALS-GNN以外的任意一个SALS-GNN中的自注意力特征提取模块，输入为上一个SALS-GNN中特征融合模块的输出图数据，对于第1个SALS-GNN中的自注意力特征提取模块，输入为MRI数据预处理模块得到的原始图数据G0，各SALS-GNN用于获取大脑脑区间的长短距离依赖，对脑区进行不同距离的特征提取，输出不同距离的大脑特征，L个SALS-GNN的工作过程包括如下步骤：
步骤2-1)将原始图数据G0＝(N,E,F0)输入第1个SALS-GNN中的自注意力特征提取模块，在第l个SALS-GNN的自注意力特征提取模块中，输入数据为第l-1个SALS-GNN的特征融合模块的输出图数据Gl-1＝(N,E,Fl-1)，每一个图数据的节点集合N和边集合E都不会被更新，由图数据Gl-1中N个节点特征
Figure BDA0003595381920000071
(Rf表示长度为f的向量，f为预处理参数，n＝0,1,...,N-1)构成的特征矩阵
Figure BDA0003595381920000072
将会被更新；
步骤2-2)图数据Gl-1＝(N,E,Fl-1)输入M个并联的基于多头自注意力(Multi-HeadSelf-attention)的不同距离的特征提取子网络SA，每个特征提取子网络SA都具有相同的信息传递流程(区别只在于点集的选择)，以路径长度m表示第m个特征提取子网络SA提取特征的距离(从节点Ni到Nj之间路径的距离)，第m个特征提取子网络SA被命名为SA-m(m＝1,2,...,M)(见图4)，图6表示距离m＝2时特征提取的点集示意图；
步骤2-3)任意一个子网络SA-m对有向图Gl-1中的每个节点进行距离为m的特征提取。对任意一个节点Nj(j＝0,1,...,N-1)进行特征提取时，模型将选择距离d(Ni,Nj)＝m的点集{Ni}的特征(其中i≠j，i,j＝0,1,...,N-1)，通过第l-1个SALS-GNN的自注意力特征提取模块中的H头自注意力模型进行聚合(见图5)；
步骤2-4)在H头自注意力模型的任意第h个抽头中(h＝1,2,...,H)，每个节点的特征
Figure BDA0003595381920000081
通过公式(1)的三个线性层获得对应的向量
Figure BDA0003595381920000082
其中
Figure BDA0003595381920000083
Figure BDA0003595381920000084
是三个不同的权重矩阵，
Figure BDA0003595381920000085
是与之对应的三个不同的偏置矩阵；
Figure BDA0003595381920000086
步骤2-5)获得所有节点的向量
Figure BDA0003595381920000087
后，将步骤2-3)得到的距离d(Ni,Nj)＝m的点集{Ni}，通过公式(2)的自注意力模型，聚合得到节点Nj的特征
Figure BDA0003595381920000088
Figure BDA0003595381920000089
其中，epq表示有向图Gl-1中边NpNq(p,q＝0,1,...,N-1)的权重，这里节点Np和Nq是相邻的，所以满足d(Np,Nq)＝1；距离d(Ni,Nj)＝m的路径NiNj间的权重为构成路径NiNj的所有边的权重的连乘；dK表示
Figure BDA00035953819200000810
的维度；Softmax(·)为归一化指数函数；∏表示连乘符号，上标T表示向量的转置；Ni∈N{d(Ni,Nj)=m,i≠j}表示节点Ni到Nj距离为m的所有节点的集合，且i≠j；NpNq∈NiNj表示边NpNq是路径NiNj中的一条边；
Figure BDA0003595381920000091
是一个中间变量；eji表示节点Ni到Nj的权值。
步骤2-6)将步骤2-5)得到的H个抽头特征
Figure BDA0003595381920000092
按式(3)进行融合，得到SA-m输出节点Nj的特征
Figure BDA0003595381920000093
Figure BDA0003595381920000094
其中Concat(·)表示为矩阵拼接；
所述特征融合模块，输入位于同一个SALS-GNN中的自注意力特征提取模块获得的特征，通过融合，更新大脑脑区的特征表达，输出融合后的特征，具体包括如下步骤：
步骤3-1)原始图数据G0的节点集合N的特征矩阵为
Figure BDA0003595381920000095
将M个特征提取子网络SA分别得到的特征Fl,m一起输入一个特征融合模块(m＝1,2,...,M)(见图4)，通过公式(4)进行特征融合，得到第l个SALS-GNN的输出特征Fl；此处可以选择不同的特征融合模型Fusion(·)，常见的包括Concat(·)(矩阵拼接)，Add(·)(矩阵对应位置元素相加)等操作；
Fl＝Fusion(Fl,1,Fl,2,...,Fl,M) (4)
步骤3-2)通过L个所述自注意力特征提取模块和特征融合模块的级联，可以构建深度为L的基于图神经网络和自注意力的磁共振影像辅助处理系统(见图5)，基于该系统得到如下结果：
(1)获得L×M×H个注意力图αl,m,h，注意力图进行可视化可以得到热力图，即可视化结果1，热力图反映任意网络层l在距离为m进行特征聚合时，脑区间的侧重倾向，其中l＝1,2,...,L；
(2)通过在可视化结果1中同一网络层l，不同聚合距离m的热力图，得到特征信息在不同距离间的传递特性，获得不同距离的脑区依赖关系；
(3)通过在可视化结果1中相同聚合距离m，不同网络深度l的热力图，得到不同深度网络中的脑区侧重倾向；
(4)将步骤3-1)的输出特征Fl或结果(1)中的L×M×H个注意力图αl,m,h，输入后续通用模块(例如该系统加个全连接模块就构成了分类模型，加个K-means模块就构成了聚类模型)中，可以构建分类、聚类等模型；将步骤3-1)的输出特征Fl输入全连接模块构造分类系统，准确率可提升至0.75；将结果(1)中的L×M×H个注意力图αl,m,h可视化可以得到热力图，进行脑区生物标志物的分析；将步骤3-1)的输出特征Fl作为待聚类信息，输入基于K-means方法的聚类模块构造聚类系统。
本发明保持了模型、数据与大脑结构的一致性，具体地，本发明将MRI影像数据预处理后，构建成图数据，数据在结构上与大脑的结构和功能特性一致，在图神经网络的基础上研究，保持了数据与模型的一致性；并提出了长距离的信息传递，本发明提出的长距离信息传递过程，在特征提取阶段聚合了脑区间的长距离信息，一方面避免了脑区距离过远导致感受野不足的问题；另一方面，在脑区间的短距离关系弱于跨脑区间的长距离关系时，可以通过长距离依赖正确提取特征，避免短距离关系过弱造成信息丢失(体现在不同距离上)；本发明提出了在不同距离内进行特征聚合，同一脑区在不同距离内聚合特征，可以获取更大的感受野，充分获得其他脑区的信息；同时提出在不同路径上进行特征聚合，相同脑区在不同距离、不同路径之间聚合信息，充分考虑了脑网络中边的特性，可以获得更全面的信息；另外，还提出了长短距离的特征融合，不同距离、不同路径提取的特征，通过特征融合，获得了更完整的图结构数据特征。
实施例
本发明实施例中采用数据集REST-meta-MDD进行测试验证，抑郁症静息态磁共振成像多中心数据(REST-meta-MDD)是一个包含1300名抑郁症患者和1128名对照组数据的多站点抑郁症数据集，包含大量的sMRI和fMRI影像数据。
将数据集REST-meta-MDD中的全部MRI影像输入MRI数据预处理模块，将MRI数据预处理成图数据；
在步骤1-1)中，使用AAL标准脑模板将数据集REST-meta-MDD中的sMRI影像划分为116个脑区；
在步骤1-2)中，设置采样点数为256，使用KL散度进行相似度衡量，通过个体化结构脑网络，获得脑区间的相似性度量，将sMRI影像预处理为图数据GS；
将图数据输入自注意力特征提取模块，得到不同距离的大脑特征；
在步骤2-1)中，设计一个深度L＝2的神经网络，通过两层SALS-GNN进行图特征提取；
在步骤2-2)中，设置M＝3，三个子网络SA-1，SA-2，SA-3分别对长度为1，2，3的路径进行距离为1，2，3的特征提取；
在步骤2-3)中，分别选取距离为1，2，3的点集，准备进行信息聚合；
在步骤2-4)中，H表示网络抽头数量，本实施实例中设置H＝4，每个子网络SA-1，SA-2，SA-3的自注意力模型将进行抽头为4的特征提取，得到向量
Figure BDA0003595381920000111
在步骤2-5)中，进行多头自注意力特征提取，聚合得到节点Nj的特征
Figure BDA0003595381920000112
在步骤2-6)中，使用矩阵拼接Concat融合H个抽头的特征，得到节点Nj特征
Figure BDA0003595381920000113
将自注意力特征提取模块获得的特征输入特征融合模块，得到融合后的特征和注意力图；
在步骤3-1)中，特征融合模型选择矩阵拼接操作Concat，将自注意力模型在不同距离获取的特征拼接，输入到下一层中或得到提取的最终特征；
数据集REST-meta-MDD被分为8:1:1的训练集、验证集和测试集，训练两层SALS-GNN构成的分类模型时，batch size设置为32，初始学习率ε1设置为10-3，学习率每隔10个epoch降低10倍，直到模型准确率稳定，训练停止。
采用准确度、敏感度、特异度和F1 score这几个性能指标对本发明的系统分类性能进行评价，并与现有的RF、SVM、Xgboost、AE、2D CNN和3D CNN方法进行对比。其中，准确度反应的是所有正负样本的测量准确率，敏感度反应的是所有正样本的测量准确率，特异度反应的是所有负样本的测量准确率，F1 score反应的正负样本的综合准确率，上述四个性能指标的值越大表明性能越好。得到的分类结果如表1所示。
Figure BDA0003595381920000121
本实施例得到最佳的分类准确度和F1 score，并且具有较均衡的敏感度和特异度，即正负样本的分类性能均衡，其他方法在敏感度或特异度之一上可能会有更突出的表现，但是无法均衡正负样本分类性能，因此本实施例的性能更优。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于图神经网络和自注意力的磁共振影像辅助处理系统，其特征在于，该系统包括依次连接的MRI数据预处理模块和L个相同的基于自注意力的长短距离特征融合图神经网络SALS-GNN，其中L为大于或等于1的整数；与MRI数据预处理模块直接相连的SALS-GNN称为第1个SALS-GNN，后续依次表示为第2个、第3个、直至第L个SALS-GNN，其中，每个基于自注意力的长短距离特征融合图神经网络SALS-GNN包括依次连接的1个自注意力特征提取模块和1个特征融合模块，第l个SALS-GNN的自注意力特征提取模块与第l-1个SALS-GNN的特征融合模块相连，l＝2,3,...,L；每一个自注意力特征提取模块由M个并联的基于多头自注意力的不同距离的特征提取子网络SA组成，每个特征提取子网络SA由H头自注意力模型构成；L个SALS-GNN的自注意力特征提取模块结构相同、但模型参数不同，并且L个SALS-GNN的特征融合模块结构相同、但模型参数不同；所有H头自注意力模型结构和参数均相同；
所述MRI数据预处理模块，输入核磁共振成像仪采集的MRI影像，并将采集的MRI影像预处理后，输出大脑图结构数据，具体包括：
S11)通过核磁共振成像仪采集大脑的MRI影像，使用标准脑模板对采集的每一幅大脑的MRI影像进行脑区划分；
S12)将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)，其中G0为有向图，N为节点集合，E为边集合，F0为节点特征集合；
对于SALS-GNN中的自注意力特征提取模块，除第1个SALS-GNN以外的任意一个SALS-GNN中的自注意力特征提取模块，输入为上一个SALS-GNN中特征融合模块的输出图数据，对于第1个SALS-GNN中的自注意力特征提取模块，输入为MRI数据预处理模块得到的原始图数据G0，各SALS-GNN用于获取大脑脑区间的长短距离依赖，对脑区进行不同距离的特征提取，输出不同距离的大脑特征，这L个SALS-GNN的工作过程具体为：
S21)将原始图数据G0＝(N,E,F0)输入第1个SALS-GNN中的自注意力特征提取模块，在第l个SALS-GNN的自注意力特征提取模块中，输入数据为第l-1个SALS-GNN的特征融合模块的输出图数据Gl-1＝(N,E,Fl-1)，每一个图数据的节点集合N和边集合E都不会被更新，由图数据Gl-1中N个节点特征
Figure FDA0003595381910000011
构成的特征矩阵
Figure FDA0003595381910000012
将会被更新，其中，Rf表示长度为f的向量，f为预处理参数，n＝0,1,...,N-1；
S22)图数据Gl-1＝(N,E,Fl-1)输入M个并联的基于多头自注意力的不同距离的特征提取子网络SA，每个特征提取子网络SA都具有相同的信息传递流程，以路径长度m表示第m个特征提取子网络SA提取特征的距离，第m个特征提取子网络SA被命名为SA-m，m＝1,2,...,M；
S23)任意一个子网络SA-m对有向图Gl-1中的每个节点进行距离为m的特征提取，对任意一个节点Nj，j＝0,1,...,N-1进行特征提取时，选择距离d(Ni,Nj)＝m的点集{Ni}的特征，通过第l-1个SALS-GNN的自注意力特征提取模块中的H头自注意力模型进行聚合，其中i≠j，i,j＝0,1,...,N-1；
S24)在H头自注意力模型的任意第h个抽头中，h＝1,2,...,H，每个节点的特征
Figure FDA0003595381910000021
通过公式(1)的三个线性层获得对应的向量
Figure FDA0003595381910000022
其中
Figure FDA0003595381910000023
是三个不同的权重矩阵，
Figure FDA0003595381910000024
是与之对应的三个不同的偏置矩阵；
Figure FDA0003595381910000025
S25)获得所有节点的向量
Figure FDA0003595381910000026
后，将S23)得到的距离d(Ni,Nj)＝m的点集{Ni}，通过公式(2)的自注意力模型，聚合得到节点Nj的特征
Figure FDA0003595381910000027
Figure FDA0003595381910000028
其中，epq表示有向图Gl-1中边NpNq的权重，p,q＝0,1,...,N-1，这里节点Np和Nq是相邻的，所以满足d(Np,Nq)＝1；距离d(Ni,Nj)＝m的路径NiNj间的权重为构成路径NiNj的所有边的权重的连乘；dK表示
Figure FDA0003595381910000031
的维度；Softmax(·)为归一化指数函数；Π表示连乘符号，上标T表示向量的转置；Ni∈N{d(Ni,Nj)＝m,i≠j}表示节点Ni到Nj距离为m的所有节点的集合，且i≠j；NpNq∈NiNj表示边NpNq是路径NiNj中的一条边；
Figure FDA0003595381910000032
是一个中间变量；eji表示节点Ni到Nj的权值；
S26)将S25)得到的H个抽头特征
Figure FDA0003595381910000033
按式(3)进行融合，得到SA-m输出节点Nj的特征
Figure FDA0003595381910000034
Figure FDA0003595381910000035
其中Concat(·)表示为矩阵拼接；
对于SALS-GNN中的特征融合模块，输入位于同一个SALS-GNN中的自注意力特征提取模块获得的特征，通过融合，更新大脑脑区的特征表达，输出融合后的特征，具体包括：
S31)原始图数据G0的节点集合N的特征矩阵为
Figure FDA0003595381910000036
将M个特征提取子网络SA分别得到的特征Fl,m一起输入一个特征融合模块，通过公式(4)进行特征融合，得到第l个SALS-GNN的输出特征Fl；Fusion(·)表示特征融合模型；
Fl＝Fusion(Fl,1,Fl,2,...,Fl,M) (4)
S32)通过L个自注意力特征提取模块和特征融合模块的级联，构建深度为L的基于图神经网络和自注意力的磁共振影像辅助处理系统，基于该系统得到如下结果：
1)获得L×M×H个注意力图αl,m,h，注意力图进行可视化得到热力图，即可视化结果1，热力图反映任意网络层l在距离为m进行特征聚合时，脑区间的侧重倾向；
2)通过在可视化结果1中同一网络层l，不同聚合距离m的热力图，得到特征信息在不同距离间的传递特性，获得不同距离的脑区依赖关系；
3)通过在可视化结果1中相同聚合距离m，不同网络深度l的热力图，得到不同深度网络中的脑区侧重倾向；
4)将S31)的输出特征Fl或结果1)中的L×M×H个注意力图αl,m,h，输入后续通用模块中，能够构建包括分类、聚类在内的系统。
2.根据权利要求1所述的基于图神经网络和自注意力的磁共振影像辅助处理系统，其特征在于，所述MRI数据预处理模块中的预处理包括配准、分割操作。
3.根据权利要求2所述的基于图神经网络和自注意力的磁共振影像辅助处理系统，其特征在于，所述S12)中对于不同类型的MRI影像，将进行脑区划分后的每一幅大脑的MRI影像通过预处理得到一个原始图数据G0＝(N,E,F0)的操作具体包括：当处理结构磁共振影像sMRI时，使用个体化结构脑网络计算脑区间的相似性特征，然后以脑区为节点，设置脑区的灰质体积密度分布为节点特征，将相似性特征设置为边，构建原始图数据GS，即此时的G0表示为GS；当处理功能磁共振影像fMRI时，以脑区为节点，每个脑区的不同fMRI参数作为节点特征，将脑区间的功能连接关系设置为边，构建原始图数据GF，即此时的G0表示为GF。
4.根据权利要求3所述的基于图神经网络和自注意力的磁共振影像辅助处理系统，其特征在于，所述S31)中表示特征融合模型的Fusion(·)为矩阵拼接Concat(·)或矩阵对应位置元素相加Add(·)操作。
5.根据权利要求4所述的基于图神经网络和自注意力的磁共振影像辅助处理系统，其特征在于，所述S32)的结果4)中将S31)的输出特征Fl或结果1)中的L×M×H个注意力图αl,m,h，输入后续通用模块构建包括分类、聚类在内的系统具体为：将S31)的输出特征Fl输入全连接模块构造分类系统；将结果1)中的L×M×H个注意力图αl,m,h可视化得到热力图，用于进行脑区生物标志物的分析；以及将S31)的输出特征Fl作为待聚类信息，输入基于K-means方法的聚类模块构造聚类系统。
CN202210390708.7A 2022-04-14 2022-04-14 基于图神经网络和自注意力的磁共振影像辅助处理系统 Active CN114743053B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210390708.7A CN114743053B (zh) 2022-04-14 2022-04-14 基于图神经网络和自注意力的磁共振影像辅助处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210390708.7A CN114743053B (zh) 2022-04-14 2022-04-14 基于图神经网络和自注意力的磁共振影像辅助处理系统

Publications (2)

Publication Number Publication Date
CN114743053A true CN114743053A (zh) 2022-07-12
CN114743053B CN114743053B (zh) 2023-04-25

Family

ID=82281760

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210390708.7A Active CN114743053B (zh) 2022-04-14 2022-04-14 基于图神经网络和自注意力的磁共振影像辅助处理系统

Country Status (1)

Country Link
CN (1) CN114743053B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375665A (zh) * 2022-08-31 2022-11-22 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN117349714A (zh) * 2023-12-06 2024-01-05 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110956617A (zh) * 2019-11-18 2020-04-03 湖北工业大学 基于循环注意力模型的大脑核磁共振异常图像可视化方法
CN112380435A (zh) * 2020-11-16 2021-02-19 北京大学 基于异构图神经网络的文献推荐方法及推荐系统
CN112967112A (zh) * 2021-03-24 2021-06-15 武汉大学 一种自注意力机制和图神经网络的电商推荐方法
CN113298047A (zh) * 2021-06-29 2021-08-24 北京邮电大学 基于时空关联图像的3d形态和姿态估计方法和装置
CN113313232A (zh) * 2021-05-19 2021-08-27 华南理工大学 一种基于预训练和图神经网络的功能脑网络分类方法
CN113781385A (zh) * 2021-03-19 2021-12-10 南京航空航天大学 用于大脑医学影像自动分类的联合注意力图卷积方法
US20220092413A1 (en) * 2020-09-23 2022-03-24 Beijing Wodong Tianjun Information Technology Co., Ltd. Method and system for relation learning by multi-hop attention graph neural network

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110119467A (zh) * 2019-05-14 2019-08-13 苏州大学 一种基于会话的项目推荐方法、装置、设备及存储介质
CN110956617A (zh) * 2019-11-18 2020-04-03 湖北工业大学 基于循环注意力模型的大脑核磁共振异常图像可视化方法
US20220092413A1 (en) * 2020-09-23 2022-03-24 Beijing Wodong Tianjun Information Technology Co., Ltd. Method and system for relation learning by multi-hop attention graph neural network
CN112380435A (zh) * 2020-11-16 2021-02-19 北京大学 基于异构图神经网络的文献推荐方法及推荐系统
CN113781385A (zh) * 2021-03-19 2021-12-10 南京航空航天大学 用于大脑医学影像自动分类的联合注意力图卷积方法
CN112967112A (zh) * 2021-03-24 2021-06-15 武汉大学 一种自注意力机制和图神经网络的电商推荐方法
CN113313232A (zh) * 2021-05-19 2021-08-27 华南理工大学 一种基于预训练和图神经网络的功能脑网络分类方法
CN113298047A (zh) * 2021-06-29 2021-08-24 北京邮电大学 基于时空关联图像的3d形态和姿态估计方法和装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ISAAC SEBENIUS 等: "Multimodal Graph Coarsening for Interpretable, MRI-Based Brain Graph Neural Network" *
陈佳丽 等: "利用门控机制融合依存与语义信息的事件检测方法" *
陶攀 等: "基于深度学习的超声心动图切面识别方法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115375665A (zh) * 2022-08-31 2022-11-22 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN115375665B (zh) * 2022-08-31 2024-04-16 河南大学 一种基于深度学习策略的早期阿尔兹海默症发展预测方法
CN117349714A (zh) * 2023-12-06 2024-01-05 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质
CN117349714B (zh) * 2023-12-06 2024-02-13 中南大学 阿尔茨海默症医学图像的分类方法、系统、设备及介质

Also Published As

Publication number Publication date
CN114743053B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
Noreen et al. A deep learning model based on concatenation approach for the diagnosis of brain tumor
CN113616184B (zh) 基于多模态磁共振图像的脑网络建模与个体预测方法
Kumar et al. Breast cancer classification of image using convolutional neural network
CN110236543B (zh) 基于深度学习的阿尔茨海默病多分类诊断系统
CN114743053A (zh) 基于图神经网络和自注意力的磁共振影像辅助处理系统
CN113255895A (zh) 基于图神经网络表示学习的结构图对齐方法和多图联合数据挖掘方法
CN101699515B (zh) 基于多精英免疫量子聚类的医学影像分割系统及分割方法
CN113505239B (zh) 一种结合图注意力和属性聚类的实体对齐方法
Yao et al. Glomerulus classification via an improved GoogLeNet
Chaari et al. Multigraph classification using learnable integration network with application to gender fingerprinting
Morris et al. Autism spectrum disorder diagnosis using sparse graph embedding of morphological brain networks
Wang et al. Recognition and clinical diagnosis of cervical cancer cells based on our improved lightweight deep network for pathological image
Li et al. MF-OMKT: Model fusion based on online mutual knowledge transfer for breast cancer histopathological image classification
CN114757911B (zh) 基于图神经网络和对比学习的磁共振影像辅助处理系统
He et al. BCDnet: Parallel heterogeneous eight-class classification model of breast pathology
Yang et al. Classification of histopathological images of breast cancer using an improved convolutional neural network model
Demir et al. Clustering-based deep brain multigraph integrator network for learning connectional brain templates
CN116312965A (zh) 一种基于多模态大脑网络的认知功能状态预测方法
Lin et al. U-shiftformer: Brain tumor segmentation using a shifted attention mechanism
Chen et al. Attention-based node-edge graph convolutional networks for identification of autism spectrum disorder using multi-modal mri data
Cheng et al. Low rank self-calibrated brain network estimation and autoweighted centralized multi-task learning for early mild cognitive impairment diagnosis
Gharsallaoui et al. Investigating and quantifying the reproducibility of graph neural networks in predictive medicine
CN116306773B (zh) 一种可解释的神经网络高维数据降维分析系统
Arya et al. Segmentation and Detection of Brain Tumor by Using Machine Learning
Koszykowski Machine Learning Based Identification of Intercellular Junctions Present in Localized Regions wthin Pathological Images of Heart Tissue

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant