CN118096776A - 一种基于异质图同构网络的孤独症脑影像识别方法和装置 - Google Patents
一种基于异质图同构网络的孤独症脑影像识别方法和装置 Download PDFInfo
- Publication number
- CN118096776A CN118096776A CN202410531801.4A CN202410531801A CN118096776A CN 118096776 A CN118096776 A CN 118096776A CN 202410531801 A CN202410531801 A CN 202410531801A CN 118096776 A CN118096776 A CN 118096776A
- Authority
- CN
- China
- Prior art keywords
- brain
- heterogeneous
- graph
- hidden layer
- autism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 165
- 238000000034 method Methods 0.000 title claims abstract description 93
- 206010003805 Autism Diseases 0.000 title claims abstract description 65
- 208000020706 Autistic disease Diseases 0.000 title claims abstract description 65
- 238000010586 diagram Methods 0.000 claims abstract description 13
- 230000000284 resting effect Effects 0.000 claims abstract description 10
- 210000003484 anatomy Anatomy 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 230000003925 brain function Effects 0.000 claims description 52
- 238000012549 training Methods 0.000 claims description 36
- 238000004422 calculation algorithm Methods 0.000 claims description 30
- 230000007246 mechanism Effects 0.000 claims description 29
- 230000000694 effects Effects 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 20
- 239000011159 matrix material Substances 0.000 claims description 13
- 238000011176 pooling Methods 0.000 claims description 13
- 230000006870 function Effects 0.000 claims description 12
- 230000004931 aggregating effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 9
- 230000005764 inhibitory process Effects 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 5
- 238000007477 logistic regression Methods 0.000 claims description 4
- 238000012360 testing method Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 abstract description 3
- 238000013528 artificial neural network Methods 0.000 description 20
- 210000005013 brain tissue Anatomy 0.000 description 6
- 230000002776 aggregation Effects 0.000 description 5
- 238000004220 aggregation Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 5
- 238000013145 classification model Methods 0.000 description 5
- 230000002981 neuropathic effect Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 208000020016 psychiatric disease Diseases 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 208000029560 autism spectrum disease Diseases 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 3
- 238000002595 magnetic resonance imaging Methods 0.000 description 3
- 238000002610 neuroimaging Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 208000014644 Brain disease Diseases 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007792 addition Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000007177 brain activity Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 230000005714 functional activity Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 230000002739 subcortical effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 238000009412 basement excavation Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000012633 leachable Substances 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000003550 marker Substances 0.000 description 1
- 238000005065 mining Methods 0.000 description 1
- 238000003012 network analysis Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 230000001575 pathological effect Effects 0.000 description 1
- 230000008925 spontaneous activity Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Landscapes
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种基于异质图同构网络的孤独症脑影像识别方法和装置，该方法包括：对输入的静息态功能磁共振脑影像进行预处理，得到一个以感兴趣脑区为节点，以感兴趣脑区之间的功能连接作为边的异质图；其中，感兴趣脑区包含基于人脑的结构和功能特性预先选定的磁共振脑影像中一组区域，全部的感兴趣脑区根据人脑的解剖结构被进一步划分为预设数量的分组；异质图进入预先训练的异质图同构网络的隐藏层，每个隐藏层对异质图包含的节点和边进行聚合，得到在每个隐藏层的图表示；在线性读出层基于在每个隐藏层的图表示预测在每个隐藏层的得分，综合在各个隐藏层的得分得到孤独症预测结果。本发明能够保障孤独症脑影像识别的可解释性。
Description
技术领域
本发明涉及人工智能技术领域，尤其涉及一种基于异质图同构网络的孤独症脑影像识别方法和装置。
背景技术
孤独症谱系障碍(Autism Spectrum Disorder, ASD)是一种较为严重的发育障碍性疾病。目前对于该病症的医学诊断没有病理标志物，主要依据症状来判定，因此也极具挑战性。磁共振成像(Magnetic Resonance Imaging, MRI)是一种利用磁共振现象从人体中获得电磁信号，并重建出人体组织信息的成像技术，在显示大脑解剖结构和功能状态方面表现出良好的性能。目前越来越多的研究将磁共振脑影像与深度学习算法相结合，达到疾病诊断和挖掘神经病理标记物等目的。
基于功能磁共振脑影像的人脑活动可以被模拟构建成一个功能网络。在模型的构建过程中，将整个大脑划分成不同的脑区，通过功能磁共振脑影像方法获取全脑的血氧依赖水平（BOLD）信号，计算出反映不同脑区之间功能活动一致性强弱的功能连接，共同构成脑功能网络。脑功能网络可以反映大脑局部和全局的功能活动情况，而在精神类疾病上会出现异常改变，通过研究脑功能网络的异常变化，可以发现精神疾病的潜在神经病理标记物。已有大量研究采用图论的方法研究人脑网络。而如今更先进的图神经网络(GraphNeural Network, GNN)技术开始被应用于脑网络分析，基于图神经网络的分类模型被广泛应用于孤独症的识别。图神经网络可以保留脑功能连接组的空间结构信息，是图分析中最先进的深度学习方法。但图神经网络一直存在黑盒问题，很难用神经科学可以解释的方式来解释分类结果。以往使用图神经网络分类脑成像的方法都没有考虑大脑本身的生物特性。同时，模型学习过程中经常面临因脑功能连接组的复杂性而造成的过拟合问题。
为此，如何设计一种可解释的针对孤独症谱系障碍的图神经网络分类脑成像的方法，是一个亟待解决的技术问题。
发明内容
鉴于此，本发明实施例提供了一种基于异质图同构网络的孤独症脑影像识别方法和装置，以消除或改善现有技术中存在的一个或更多个缺陷。
本发明的一个方面提供了一种基于异质图同构网络的孤独症脑影像识别方法，该方法包括以下步骤：
对输入的静息态功能磁共振脑影像进行预处理，得到一个以感兴趣脑区为节点，以感兴趣脑区之间的功能连接作为边的异质图；其中，所述感兴趣脑区包含基于人脑的结构和功能特性预先选定的磁共振脑影像中一组区域，全部的感兴趣脑区根据人脑的解剖结构被进一步划分为预设数量的分组；
所述异质图进入预先训练的异质图同构网络的各个隐藏层，每个隐藏层对异质图包含的节点和边进行聚合，得到在每个隐藏层的图表示；
在异质图同构网络的线性读出层基于在每个隐藏层的图表示预测在每个隐藏层的得分，综合在各个隐藏层的得分得到孤独症预测结果；
其中，所述异质图同构网络通过包含磁共振脑影像和指示是否患孤独症的标签的训练集进行训练得到。
在本发明的一些实施例中，所述方法还包括预先搭建所述脑功能连接组的步骤，具体包括：提取训练集包含的磁共振脑影像中各个感兴趣脑区的平均时间序列，并计算不同感兴趣脑区之间的平均时间序列的斯皮尔曼相关系数得到对称矩阵，将所述对称矩阵作为最初的脑功能连接组；其中，所述磁共振脑影像被按照人脑的结构和功能特性预先划分出不同区域，将被人为预先选定的一组区域作为感兴趣脑区。
在本发明的一些实施例中，所述预先搭建所述脑功能连接组的步骤还包括：使用ComBat方法处理所述对称矩阵得到抑制站点效应后的脑功能连接组。
在本发明的一些实施例中，所述预先搭建所述脑功能连接组的步骤还包括：使用嵌入式特征选择对抑制站点效应后的脑功能连接组进行训练，以逻辑回归算法作为目标函数，评估所述抑制站点效应后的脑功能连接组中不同特征的重要性，通过所述嵌入式特征选择得到剔除不重要特征后的脑功能连接组。
在本发明的一些实施例中，所述异质图同构网络包含预设数量的隐藏层，所述方法还包括预先训练异质图同构网络的步骤，具体包括：为训练集包含的每个磁共振脑影像构建一个以感兴趣脑区为节点的异质图，异质图的全部节点被按照人脑的结构结构划分为预设数量的分组，全部的感兴趣脑区根据人脑的解剖结构被进一步划分为预设数量的分组，为异质图的每个节点生成一个独热编码作为节点特征；在每个隐藏层中，按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征，在每一轮节点特征迭代结束后，利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示；训练异质图同构网络包含的线性读出层学习隐藏层的图表示与训练集包含的指示是否患孤独症的标签之间的关联，用于在测试过程中基于被试人员的磁共振脑影像的图表示线性预测在各个隐藏层的得分。
在本发明的一些实施例中，在所述按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征的步骤中，包含：在初始阶段，预设分组内节点间的边权重和各分组间节点之间的可学习权重，对于每个节点，将当前隐藏层中邻居节点的特征乘以与节点之间的边权重和所述可学习权重，将乘值累加再与节点的特征进行聚合。
在本发明的一些实施例中，所述利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示的步骤包括：在基于注意力机制的全局注意力池化层中，使用Softmax公式基于节点迭代后的特征为每个节点生成一个权重，基于每个隐藏层中全部节点的权重，生成每个隐藏层的图表示。
本发明的另一方面提供了一种基于异质图同构网络的孤独症脑影像识别装置，包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如上实施例中任一项所述方法的步骤。
本发明的另一方面提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上实施例中任一项所述方法的步骤。
本发明的另一方面提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如上实施例中任一项所述方法的步骤。
本发明所提出的基于异质图同构网络的孤独症脑影像识别方法和装置，在图神经网络中采用异质图机制，根据大脑的结构和功能特性（例如，半球和皮层信息等等）为脑功能连接组赋予不同类属性，从而增加模型的学习信息，提高孤独症脑影像识别的准确性，并保障了基于异质图同构网络的孤独症脑影像识别的可解释性。
本发明的附加优点、目的，以及特征将在下面的描述中将部分地加以阐述，且将对于本领域普通技术人员在研究下文后部分地变得明显，或者可以根据本发明的实践而获知。本发明的目的和其它优点可以通过在说明书以及附图中具体指出的结构实现到并获得。
本领域技术人员将会理解的是，能够用本发明实现的目的和优点不限于以上具体所述，并且根据以下详细说明将更清楚地理解本发明能够实现的上述和其他目的。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不构成对本发明的限定。在附图中：
图1为本发明一实施例中孤独症脑影像识别方法流程图。
图2为本发明一实施例中训练异质图同构网络的方法流程图。
图3为本发明一实施例中异质图同构网络模型训练流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施方式和附图，对本发明做进一步详细说明。在此，本发明的示意性实施方式及其说明用于解释本发明，但并不作为对本发明的限定。
在此，还需要说明的是，为了避免因不必要的细节而模糊了本发明，在附图中仅仅示出了与根据本发明的方案密切相关的结构和/或处理步骤，而省略了与本发明关系不大的其他细节。
应该强调，术语“包括/包含”在本文使用时指特征、要素、步骤或组件的存在，但并不排除一个或更多个其它特征、要素、步骤或组件的存在或附加。
在此，还需要说明的是，如果没有特殊说明，术语“连接”在本文不仅可以指直接连接，也可以表示存在中间物的间接连接。
在下文中，将参考附图描述本发明的实施例。在附图中，相同的附图标记代表相同或类似的部件，或者相同或类似的步骤。
传统的基于图神经网络进行脑部或精神类疾病识别方法存在的问题包括：（1）传统的图神经网络存在黑盒问题，很难用神经科学可以解释的方式来解释分类结果，模型的可解释性功能单一，给出的生物学解释不充分；（2）以往的图神经网络分类脑成像的方法没有考虑大脑本身的生物特性，没有考虑结合人脑的结构和功能特性进行分析，因此对孤独症的识别准确率不高；（3）在图神经网络分类模型的学习过程中经常面临因脑功能连接组的复杂性而造成的过拟合问题；（4）现有图神经网络模型多采用同质图进行分析，对于脑网络神经生物学信息的学习不充分。
为了克服传统的基于图神经网络进行脑部或精神类疾病识别方法存在的问题，本申请引入了异质图分析方法，在最开始即按照大脑的结构特性建模脑功能连接组，并充分利用脑功能连接组的连接属性的异质性，引入了两种可解释的注意力机制（层次注意力机制和全局注意力机制）来处理经过特征选择的脑功能连接组，提出了一种可解释的基于层次注意力机制的异质图同构网络(Heterogeneous Graph Isomorphism Network,HetGIN)，将孤独症脑影像识别的分类结果和神经生物学意义结合。
在最初建模脑功能连接组时就遵循大脑的结构特性，并充分利用脑网络连接属性的异质性，引入了两个可解释的注意力机制（层次注意力机制和全局注意力机制）来处理经过特征选择的脑功能连接组，将孤独症影像识别的分类结果和神经生物学意义相结合。
本发明所提出的孤独症脑影像识别方法从静息态功能磁共振脑影像入手，基于已有研究，提出了包含异质图同构网络和层次注意力机制模块和嵌入式特征选择方式的一整套的结合人脑的结构特点的孤独症诊断解决方案。
图1为本发明一实施例中孤独症脑影像识别方法流程图。所述方法包括以下步骤：
步骤S110：对输入的静息态功能磁共振脑影像进行预处理，得到一个以感兴趣脑区为节点，以感兴趣脑区之间的功能连接作为边的异质图；其中，所述感兴趣脑区包含基于人脑的结构和功能特性预先选定的磁共振脑影像中一组区域，全部的感兴趣脑区根据人脑的解剖结构被进一步划分为预设数量的分组。
在具体实施过程中，大脑中的功能连接，指的是利用静息态功能磁共振成像技术记录全脑不同区域的大脑活动信号，然后计算出不同脑区活动信号的时间序列相关性，它反映了不同脑区的自发活动在时间上的一致性，作为不同脑区关联强弱的一类指标。“脑功能连接组”是将全脑不同区域两两之间的功能连接整合得到的一个相关系数矩阵，它反映了全脑不同脑区相互关联的整体模式。对脑功能连接组的研究有助于理解大脑的组织和功能模式，揭示大脑各个区域之间的连接方式，以及不同脑区之间的信息传递和协调机制，有利于在使用深度学习网络进行孤独症影像识别过程中增加可解释性。
步骤S120：所述异质图进入预先训练的异质图同构网络的各个隐藏层，每个隐藏层对异质图包含的节点和边进行聚合，得到在每个隐藏层的图表示。
步骤S130：在异质图同构网络的线性读出层基于在每个隐藏层的图表示预测在每个隐藏层的得分，综合在各个隐藏层的得分得到孤独症预测结果。
其中，所述异质图同构网络通过包含磁共振脑影像和指示是否患孤独症的标签的训练集进行训练得到。在具体实施过程中，所述指示是否患孤独症的标签可以是一个二分类的标签（患孤独症、不患孤独症），也可以是包含多个分类情况的标签（不患孤独症、轻度孤独症、重度孤独症）。
本发明所提出的基于异质图同构网络的孤独症脑影像识别方法和装置，在图神经网络中采用异质图机制，根据大脑的结构和功能特性（例如，半球和皮层信息等等）为脑功能连接组赋予不同类属性，从而增加模型的学习信息，提高孤独症脑影像识别的准确性，并保障了基于异质图同构网络的孤独症脑影像识别的可解释性。
在本发明一些实施例中，步骤S120中提及的异质图同构网络，会对输入的磁共振脑影像进行预处理，将磁共振脑影像按照预先选定的一组感兴趣脑区进行划分，以感兴趣脑区为节点，以感兴趣脑区之间的功能连接作为边，构建针对该磁共振脑影像的异质图。
采用该发明实施例，通过引入异质图机制，根据大脑的半球和皮层信息为脑连接网络的节点和边赋予不同类属性，增加模型的学习信息，可以提高分类的准确性和模型分类的可解释性。
在本发明一些实施例中，步骤S130中提及的线性读出层，使用线性预测的方式进行分类，基于磁共振脑影像在各个隐藏层的图表示得出一个线性的得分，这个得分的物理含义是磁共振脑影像对应的被试人员患孤独症的可能性，例如，可以是数值越大代表患孤独症可能性越大。
采用该发明实施例，使用线性预测的方式对各个隐藏层的图表示得出一个线性的得分，可以定量的得出多个磁共振脑影像对应的被试人员患孤独症的可能性，从而全面的分析被试人员是否患孤独症，最大程度的保障结果的可信度。
图3为本发明一实施例中异质图同构网络模型训练流程图。
在本发明一些实施例中，如图3所示，该方法还包括步骤：预先搭建所述脑功能连接组的步骤。该步骤中具体包括：提取训练集包含的静息态功能磁共振脑影像中各个感兴趣脑区的平均时间序列，并计算不同感兴趣脑区之间的平均时间序列的斯皮尔曼相关系数得到对称矩阵，将所述对称矩阵作为最初的脑功能连接组；其中，所述磁共振脑影像被按照人脑的结构和功能特性预先划分出不同区域，将被人为预先选定的一组区域作为感兴趣脑区。
然而，在基于静息态脑功能磁共振影像的得到最初的脑功能连接矩阵的过程中，由于不同的数据采集地点或扫描设备（统称为“站点”，如图3中的A、B、C、D、E等）会带来“站点效应”，为去除站点效应，可以使用Combat方法进行进一步的训练和特征选择，以得到去除站点效应并经过特征选择后的脑功能连接组。
在具体实施过程中，对人脑区域的划分是基于人脑的结构和功能特性预先选定的，针对人脑区域的划分方式是多样化的，可借鉴相关领域的研究成果进行。
在本发明一些实施例中，在预先搭建所述脑功能连接组的步骤中，还包括：使用ComBat方法处理所述对称矩阵得到抑制站点效应后的脑功能连接组。
在具体实施过程中，Combat方法是一种用于去除站点效应（batch effects）的参数化先验方法（parametric prior method）。它在精确性、准确性和整体性能方面总体占优。
采用该发明实施例，使用Combat方法可以减轻脑功能连接组受到的站点效应的影响。
此外，在本发明一些实施例中，在预先搭建所述脑功能连接组的步骤中，还包括：使用嵌入式特征选择对抑制站点效应后的脑功能连接组进行训练，以逻辑回归算法作为目标函数，评估所述抑制站点效应后的脑功能连接组中不同特征的重要性，通过所述嵌入式特征选择得到剔除不重要特征后的脑功能连接组。
图3中还包含了异质图同构网络对脑功能连接组的处理过程。（1）在每个隐藏层中，按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征，在每一轮节点特征迭代结束后，也就是更新节点特征，利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示；（2）线性多层感知机（包含线性读出层，线性读出层利用了多层感知机算法），其中，在异质图同构网络的线性读出层基于在每个隐藏层的图表示预测在每个隐藏层的得分，综合在各个隐藏层的得分得到孤独症预测结果，在每个隐藏层中，按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征，在每一轮节点特征迭代结束后，利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示。
在具体实施过程中，在图神经网络（Graph Neural Networks，GNN）中，特征主要指的是与图中的节点和边相关联的信息。这些特征可以是数值、向量或其他复杂的数据结构，用于描述图中元素（节点或边）的属性和性质。在一些具体实施例中，提出不重要的特征的技术方式又被称为“稀疏化处理”。
本发明所提出的异质图同构网络包含预设数量的隐藏层，这个隐藏层的数量根据具体情况而定，主要受硬件层面的计算能力的约束。
在本发明一些实施例中，图2为本发明一实施例中训练异质图同构网络的方法流程图，本发明所提出的孤独症影像识别方法还包括：预先训练异质图同构网络的步骤，该步骤包括：
S210：为训练集包含的每个磁共振脑影像构建一个以感兴趣脑区为节点的异质图，异质图的全部节点被按照人脑的解剖结构划分为预设数量的分组，全部的感兴趣脑区根据人脑的解剖结构被进一步划分为预设数量的分组，为异质图的每个节点生成一个独热编码作为节点特征；
在具体实施例中，在构建异质图的过程中，能够以异质图中的节点为异质节点，根据人脑的解剖结构将感兴趣脑区（作为异质节点）进一步划分为预设数量的异质节点组。
S220：在每个隐藏层中，按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征，在每一轮节点特征迭代结束后，利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示；
S230：训练异质图同构网络包含的线性读出层学习隐藏层的图表示与训练集包含的指示是否患孤独症的标签之间的关联，用于在测试过程中基于被试人员的磁共振脑影像的图表示线性预测在各个隐藏层的得分。
采用该发明实施例，训练的异质图同构网络引入了层次注意力模块（使用多层感知机算法），能够增加孤独症识别模型（本质上是一个分类模型）的可解释性。
进一步地，在本发明一些实施例中，步骤S220在按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征的步骤中，包含：在初始阶段，预设分组内节点间的边权重和各分组间节点之间的可学习权重，对于每个节点，将当前隐藏层中邻居节点的特征乘以与节点之间的边权重和所述可学习权重，将乘值累加再与节点的特征进行聚合。在该实施例中，节点特征包含节点间的可学习权重。
采用该发明实施例，在异质图同构网络中引入了单个脑组织内权重和脑组织间权重的衡量，有助于挖掘出更多的神经病理机制，进一步地增加了孤独症识别模型（本质上是一个分类模型）的可解释性。
在本发明一些实施例中，在步骤S220利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示的步骤包括：在基于注意力机制的全局注意力池化层中，使用Softmax公式基于节点迭代后的特征为每个节点生成一个权重，基于每个隐藏层中全部节点的权重，生成每个隐藏层的图表示。
采用该发明实施例，展示了引入单个脑组织区域内权重和脑组织区域间权重的具体方式，有利于充分挖掘孤独症的神经病理机制。
在本发明一具体实施例中，如图3所示，孤独症影像识别装置/系统主要可以分为两个模块：
（1）静息态功能磁共振脑影像数据预处理和脑功能连接组构建模块，提取每个样本每个脑区的时间序列，计算每对时间序列之间的斯皮尔曼相关系数，构造脑功能连接组。去除多站点效应后，在分出的训练数据集上进行特征选择。其中，样本指的是训练数据集中的磁共振脑影像。
（2）HetGIN模块，节点代表脑区，其中不同颜色表示不同类别的脑区。蓝色代表左脑皮层，黄色代表右脑皮层，绿色代表皮层下。节点表示通过HetGIN的隐藏层进行更新，并在全局注意力池化层中聚合为图表示，最后在线性读出层通过线性预测的方式进行分类，得到最终的孤独症影像识别结果。一般来说，孤独症影像识别结果是一个二分类结果，即，被试人员患孤独症或不患孤独症，其中，不患孤独症的被试人员在训练过程中为对照组。
在具体实施过程中，搭建孤独症影像识别装置/系统的步骤包含：
（1）构建脑功能连接组：遵循大脑的结构特性建模脑功能连接组
对每个样本，提取一组感兴趣脑区(Region of Interest，ROI)的平均时间序列，计算每对感兴趣脑区之间平均时间序列的斯皮尔曼相关系数，得到对称矩阵，即最初的脑功能连接组。由于数据来自多站点，不同站点的数据分布具有显著的差异，降低了分类性能，影响了结果的一致性。使用了现有的ComBat方法用于脑功能连接矩阵来减轻站点效应的影响。
（2）嵌入式特征选择：对脑功能连接组进行稀疏化处理
特征选择目标是从原始特征中寻找最优特征子集，剔除不相关或冗余的特征，选择出一些最有效的特征并降低数据集维度，从而提高下游模型分类的准确率，减少运行时间。嵌入法是一种依赖于分类算法同时进行训练和特征提取的方法，通常使用一个目标函数作为评估器自发选择特征，而不用人为设置评估指数或阈值，这里选择了逻辑回归算法作为评估器。具体而言，嵌入式特征选择对去除完站点效应的脑功能连接组进行训练，通过评估器属性获得每个特征的重要性，再从当前的脑功能连接组中剔除最不重要的特征，直到训练完成。
（3）异质图同构网络：如何搭建和训练
从以上步骤（2）中得到稀疏化的脑功能连接组后，以感兴趣脑区作为节点，每对感兴趣脑区之间的功能连接作为边，为每一个样本构建一个异质图。为不同的节点分别生成一个独热编码作为节点特征来保持无序性，并将一张图中的全部节点分成左半球皮层、右半球皮层和皮层下三组。在异质图同构网络的每一隐藏层()层中，第组的节点v特征表示为/>。节点/>含义是：第k隐藏层，第i组的节点v的节点特征。
其中，异质图（Heterogeneous Graphs，HetG）指的是图中节点类型或关系类型多于一种的图结构。这种图结构可以将不同属性的数据合到一起，加入更多的语义信息数据。
独热编码（One-Hot Encoding），又称为一位有效编码，是一种常用的数据预处理技术，主要用于将分类变量转换为机器学习算法可以处理的数值形式。这种编码方法将分类变量转换为二进制向量的过程，其中每个可能的取值都对应于一个二进制向量，在这些向量中，只有一个位置上的元素为1，其余位置上的元素均为0。
对于每个节点v，对节点的特征进行更新迭代，使用到了MLP+SUM的聚合方法，迭代的过程具体包括：①将第k-1层中邻居节点的特征表示乘以与节点v之间的边权值/>和组内或组间的可学习权重/>；②将乘值累加再与节点v的特征表示进行聚合。其中，边权值/>为感兴趣脑区之间的功能连接值，组内权重和组间权重分别表示同组节点内和不同组节点间的可学习参数。
相比于传统的现有技术所采用的平均聚合方法或最大聚合方法，基于MLP + SUM的聚合方法可以增强节点特征迭代公式的单射性。综上所述，HetGIN中节点特征表示的更新方法如下面公式所示：
；
其中，MLP算法，即多层感知机（Multilayer Perceptron）算法，是一种模仿动物神经网络行为特征的前向结构的人工神经网络算法。这种算法通过多个层次的非线性计算，深度学习模型可以自动学习输入数据的内在特征表示，从而实现各种计算任务。MLP模型由多个神经元层组成，包括输入层、隐藏层和输出层，输入数据通过隐藏层的一系列操作，最终输出到输出层形成预测。SUM指的是乘值累加算法。
单射性是函数映射关系的一种性质。一个函数如果被称为单射，那么它应满足：不同的输入元素映射到不同的输出元素。换句话说，对于函数中的每一个输出元素，都有唯一的对应输入元素。也就是说，函数的每个输出值都是唯一的。
更新一次节点特征表示后，在当前隐藏层中聚合全部节点信息生成图表示。在加入注意力机制的全局注意力池化层中，为每一个节点生成一个权重，由softmax公式学习得到。图的第k层表示的生成公式如下：
；
将训练集输入到搭建完成的异质图同构网络，进行多个轮次的迭代训练，直到异质图同构网络的性能达到预设阈值，得到训练完成的异质图同构网络。
（4）异质图同构网络的利用
在测试过程中，将被试人员的静息态功能磁共振脑影像预处理后得到每个被试的脑功能连接组，进一步处理后得到针对该脑功能网络的异质图，将所述异质图输入到异质图同构网络，所述异质图同构网络对异质图进行处理得到图表示，在线性读出层中获得该图的得分，叠加各隐藏层得分进行孤独症预测。
采用该具体的发明实施例，可以实现优于现有技术的孤独症影像识别效果。
与上述方法相应地，本发明还提供了一种基于异质图同构网络的孤独症脑影像识别装置，该装置包括计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如前所述方法的步骤。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时以实现前述边缘计算服务器部署方法的步骤。该计算机可读存储介质可以是有形存储介质，诸如随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、软盘、硬盘、可移动存储盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质。
本发明实施例还提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现如前所述方法的步骤。
本发明所提出的基于异质图同构网络的孤独症脑影像识别方法、装置和存储介质，在图神经网络中采用异质图机制，根据大脑的结构和功能特性（例如，半球和皮层信息等等）为脑功能连接组赋予不同类属性，从而增加模型的学习信息，提高孤独症脑影像识别的准确性，并保障了基于异质图同构网络的孤独症脑影像识别的可解释性。
具体地，本发明所提出的基于异质图同构网络的孤独症脑影像识别方法的优点具体包括：
（1）在图神经网络中采用异质图机制，根据大脑的半球和皮层信息为脑网络的节点和边赋予不同类属性，搭建异质图同构网络，从而增加模型的学习信息，提高分类准确性。
（2）通过加入可解释的层次注意力模块，利用多层感知机算法迭代节点特征，从而增加分类模型的可解释性。线性多层感知机（MLP，Multilayer Perceptron）是对线性回归的拓展和修正，它通过引入多个隐藏层来引入非线性因素，使得模型可以逼近任意复杂的非线性函数，以克服线性回归的局限性。
（3）引入单个脑组织（区域）内权重和脑组织间（区域）权重的衡量，有助于挖掘出更多的神经病理机制。
本领域普通技术人员应该可以明白，结合本文中所公开的实施方式描述的各示例性的组成部分、系统和方法，能够以硬件、软件或者二者的结合来实现。具体究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。当以硬件方式实现时，其可以例如是电子电路、专用集成电路（ASIC）、适当的固件、插件、功能卡等等。当以软件方式实现时，本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中，或者通过载波中携带的数据信号在传输介质或者通信链路上传送。
需要明确的是，本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见，这里省略了对已知方法的详细描述。在上述实施例中，描述和示出了若干具体的步骤作为示例。但是，本发明的方法过程并不限于所描述和示出的具体步骤，本领域的技术人员可以在领会本发明的精神后，作出各种改变、修改和添加，或者改变步骤之间的顺序。
本发明中，针对一个实施方式描述和/或例示的特征，可以在一个或更多个其它实施方式中以相同方式或以类似方式使用，和/或与其他实施方式的特征相结合或代替其他实施方式的特征。
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明实施例可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种基于异质图同构网络的孤独症脑影像识别方法，其特征在于，所述方法包括以下步骤：
对输入的静息态功能磁共振脑影像进行预处理，得到一个以感兴趣脑区为节点，以感兴趣脑区之间的功能连接作为边的异质图；其中，所述感兴趣脑区包含基于人脑的结构和功能特性预先选定的磁共振脑影像中一组区域，全部的感兴趣脑区根据人脑的解剖结构被进一步划分为预设数量的分组；
所述异质图进入预先训练的异质图同构网络的各个隐藏层，每个隐藏层对异质图包含的节点和边进行聚合，得到在每个隐藏层的图表示；
在异质图同构网络的线性读出层基于在每个隐藏层的图表示预测在每个隐藏层的得分，综合在各个隐藏层的得分得到孤独症预测结果；
其中，所述异质图同构网络通过包含磁共振脑影像和指示是否患孤独症的标签的训练集进行训练得到。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括预先搭建所述脑功能连接组的步骤，具体包括：
提取训练集包含的磁共振脑影像中各个感兴趣脑区的平均时间序列，并计算不同感兴趣脑区之间的平均时间序列的斯皮尔曼相关系数得到对称矩阵，将所述对称矩阵作为最初的脑功能连接组；其中，所述磁共振脑影像被按照人脑的结构和功能特性预先划分出不同区域，将被人为预先选定的一组区域作为感兴趣脑区。
3.根据权利要求2所述的方法，其特征在于，所述预先搭建所述脑功能连接组的步骤还包括：
使用ComBat方法处理所述对称矩阵得到抑制站点效应后的脑功能连接组。
4.根据权利要求2所述的方法，其特征在于，所述预先搭建所述脑功能连接组的步骤还包括：
使用嵌入式特征选择对抑制站点效应后的脑功能连接组进行训练，以逻辑回归算法作为目标函数，评估所述抑制站点效应后的脑功能连接组中不同特征的重要性，通过所述嵌入式特征选择得到剔除不重要特征后的脑功能连接组。
5.根据权利要求1所述的方法，其特征在于，所述异质图同构网络包含预设数量的隐藏层，所述方法还包括预先训练异质图同构网络的步骤，具体包括：
为训练集包含的每个磁共振脑影像构建一个以感兴趣脑区为节点的异质图，异质图的全部节点被按照人脑的解剖结构划分为预设数量的分组，为异质图的每个节点生成一个独热编码作为节点特征；
在每个隐藏层中，按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征，在每一轮节点特征迭代结束后，利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示；
训练异质图同构网络包含的线性读出层学习隐藏层的图表示与训练集包含的指示是否患孤独症的标签之间的关联，用于在测试过程中基于被试人员的磁共振脑影像的图表示线性预测在各个隐藏层的得分。
6.根据权利要求5所述的方法，其特征在于，在所述按照多层感知机算法和乘值累加算法进行聚合以迭代节点特征的步骤中，包含：
在初始阶段，预设分组内节点间的边权重和各分组间节点之间的可学习权重，对于每个节点，将当前隐藏层中邻居节点的特征乘以与节点之间的边权重和所述可学习权重，将乘值累加再与节点的特征进行聚合。
7.根据权利要求5所述的方法，其特征在于，所述利用基于注意力机制的全局注意力池化层计算每个隐藏层的图表示的步骤包括：
在基于注意力机制的全局注意力池化层中，使用Softmax公式基于节点迭代后的特征为每个节点生成一个权重，基于每个隐藏层中全部节点的权重，生成每个隐藏层的图表示。
8.一种基于异质图同构网络的孤独症脑影像识别装置，包括处理器和存储器，其特征在于，所述存储器中存储有计算机指令，所述处理器用于执行所述存储器中存储的计算机指令，当所述计算机指令被处理器执行时该装置实现如权利要求1至7中任一项所述方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
10.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410531801.4A CN118096776A (zh) | 2024-04-29 | 2024-04-29 | 一种基于异质图同构网络的孤独症脑影像识别方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410531801.4A CN118096776A (zh) | 2024-04-29 | 2024-04-29 | 一种基于异质图同构网络的孤独症脑影像识别方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118096776A true CN118096776A (zh) | 2024-05-28 |
Family
ID=91159723
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410531801.4A Pending CN118096776A (zh) | 2024-04-29 | 2024-04-29 | 一种基于异质图同构网络的孤独症脑影像识别方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118096776A (zh) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563533A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
| CN115005798A (zh) * | 2022-06-02 | 2022-09-06 | 四川大学 | 一种基于连边功能连接的脑影像特征提取方法 |
| CN115761216A (zh) * | 2022-11-22 | 2023-03-07 | 浙江工业大学 | 一种孤独症脑部核磁共振图像识别方法 |
| KR20240015942A (ko) * | 2022-07-28 | 2024-02-06 | 한양대학교 산학협력단 | 인간 뇌 네트워크 데이터 분석 방법 및 장치 |
| US20240104366A1 (en) * | 2022-09-19 | 2024-03-28 | International Business Machines Corporation | Multiplexed graph neural networks for multimodal fusion |
-
2024
- 2024-04-29 CN CN202410531801.4A patent/CN118096776A/zh active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111563533A (zh) * | 2020-04-08 | 2020-08-21 | 华南理工大学 | 基于图卷积神经网络融合多种人脑图谱的受试者分类方法 |
| CN115005798A (zh) * | 2022-06-02 | 2022-09-06 | 四川大学 | 一种基于连边功能连接的脑影像特征提取方法 |
| KR20240015942A (ko) * | 2022-07-28 | 2024-02-06 | 한양대학교 산학협력단 | 인간 뇌 네트워크 데이터 분석 방법 및 장치 |
| US20240104366A1 (en) * | 2022-09-19 | 2024-03-28 | International Business Machines Corporation | Multiplexed graph neural networks for multimodal fusion |
| CN115761216A (zh) * | 2022-11-22 | 2023-03-07 | 浙江工业大学 | 一种孤独症脑部核磁共振图像识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| YU WANG等: "Integrated Heterogeneous Graph Attention Network for Incomplete Multi-modal Clustering", INTERNATIONAL JOURNAL OF COMPUTER VISION, 24 April 2024 (2024-04-24), pages 1 - 4 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zhou et al. | Deep learning for medical image analysis | |
| Chouhan et al. | Image segmentation using computational intelligence techniques | |
| Chouhan et al. | Soft computing approaches for image segmentation: a survey | |
| Anitha et al. | Brain tumour classification using two‐tier classifier with adaptive segmentation technique | |
| Sharma et al. | Brain tumor segmentation using genetic algorithm and artificial neural network fuzzy inference system (ANFIS) | |
| Hashemi et al. | Mass detection in lung CT images using region growing segmentation and decision making based on fuzzy inference system and artificial neural network | |
| Li et al. | On improving the accuracy with auto-encoder on conjunctivitis | |
| CN111127389A (zh) | 用于医疗保健的可扩展人工智能模型生成系统和方法 | |
| CN111090764B (zh) | 基于多任务学习和图卷积神经网络的影像分类方法及装置 | |
| Kumar et al. | An approach for brain tumor detection using optimal feature selection and optimized deep belief network | |
| Natarajan et al. | Efficient segmentation of brain tumor using FL-SNM with a metaheuristic approach to optimization | |
| CN111382807B (zh) | 图像处理方法、装置、计算机设备和存储介质 | |
| Devi et al. | A survey of machine learning techniques | |
| Raju et al. | Colorectal multi-class image classification using deep learning models | |
| Wang et al. | Prototype transfer generative adversarial network for unsupervised breast cancer histology image classification | |
| Ghosh et al. | Dividing and conquering a blackbox to a mixture of interpretable models: route, interpret, repeat | |
| KR20230070085A (ko) | 뇌 네트워크를 이용한 알츠하이머병에 대한 진단정보 제공방법 | |
| CN116864140A (zh) | 一种心内科术后护理监测数据处理方法及其系统 | |
| Cao et al. | Temporal graph representation learning for autism spectrum disorder brain networks | |
| CN118096776A (zh) | 一种基于异质图同构网络的孤独症脑影像识别方法和装置 | |
| Parthiban et al. | Efficientnet with optimal wavelet neural network for DR detection and grading | |
| CN114359657A (zh) | 脑图谱构建及神经环路检测的方法和相关产品 | |
| Dabass et al. | FuzzyDeepNets based feature extraction for classification of mammograms | |
| JP2024500470A (ja) | 医療画像における病変分析方法 | |
| AlQaralleh et al. | Fusion Based Tongue Color Image Analysis Model for Biomedical Applications. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |