CN115049629A - 基于线图扩展的多模态脑超图注意力网络的分类方法 - Google Patents

基于线图扩展的多模态脑超图注意力网络的分类方法 Download PDF

Info

Publication number
CN115049629A
CN115049629A CN202210743073.4A CN202210743073A CN115049629A CN 115049629 A CN115049629 A CN 115049629A CN 202210743073 A CN202210743073 A CN 202210743073A CN 115049629 A CN115049629 A CN 115049629A
Authority
CN
China
Prior art keywords
hypergraph
node
representing
matrix
brain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210743073.4A
Other languages
English (en)
Inventor
杨艳丽
刘进一
宿亚静
刘涛
张杨
李琦钒
刘宇轩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Technology
Original Assignee
Taiyuan University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Technology filed Critical Taiyuan University of Technology
Priority to CN202210743073.4A priority Critical patent/CN115049629A/zh
Publication of CN115049629A publication Critical patent/CN115049629A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明公开了基于线图扩展的多模态脑超图注意力网络的分类方法，对结构和功能磁共振影像进行预处理后，对每位受试者的磁共振影像进行结构和功能特征的提取；进行特征融合后，利用稀疏线性回归方法生成多模态超图；将多模态超图关联矩阵和多模态特征矩阵输入超图注意力网络，利用线图和超图的转换，超图的节点和超边在神经网络每一层中交替，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习；使用双层注意力机制为超边和节点学习不同的权重，提取得到的特征最后经过一个softmax操作，并使用交叉熵损失函数进行分类。本发明应用于脑疾病诊断，既保留了多模态超图中超边的连通性，又利用了边到边的关系传播信息，有助于超图的整体特征学习。

Description

基于线图扩展的多模态脑超图注意力网络的分类方法
技术领域
本发明属于图像处理技术领域，涉及一种基于线图扩展的多模态脑超图注意力网络的分类方法。
背景技术
人脑是一个高度复杂的系统，探索其内在的结构和功能是一项巨大的挑战。磁共振成像技术与超图注意力网络的结合，已成为脑科学领域的研究热点之一，并广泛应用在各项研究中。该方法在探索受试者全脑结构的相似度上取得许多令人惊喜的成果。然而，由于其自身原理和特点及方法论的限制，导致分类准确率低，严重影响了应用价值。
在传统的静息态功能磁共振分类研究中，将磁共振影像信息作与机器学习算法相结合，可以建立多种疾病的分类器和预测器。虽然机器学习作为重要的分析工具，在脑疾病诊断领域提供了新的视角，但仍存在一些问题。
首先，机器学习未能考虑受试者之间的关系，另外，在传统方法中基于感兴趣区域定义的特征表示不足以表征受试者的全部信息，且特征选择独立于后续的分类器，可能不能与后续的分类器很好的协调，潜在地导致诊断性能下降。
基于此，研究人员提出了深度学习框架，其中图神经网络其对非结构化信息的表征能力使得尤其适用于神经影像研究领域中。近年来，图神经网络已广泛应用于无侵入的脑成像技术中进行脑疾病的诊断和预测，并得到了飞跃的发展。但图卷积神经网络方法的输入是简单图，即受试者之间采用成对的连接。然而现实生活中，受试者之间的非成对关系是简单图无法表述的，传统的简单图图结构在表述相关性方面存在局限性，限制了图卷积神经网络的应用。因此超图神经网络提出，并应用于脑疾病分类诊断中。
然而，现有的超图神经网络通过聚合邻域节点的信息只能获取有效的节点嵌入，而忽略了与边有关的信息，且在嵌入学习过程中，现有研究假设超图的超边是可分解的，将超图的超边显示或隐式的通过星形扩展或连通分量扩展转化为简单图，然后对转换后的简单图进行下游挖掘任务；但是，在一条完整超边内存在的关系可能并不存在于该超边的不完全子集内，这会导致高维数据的信息丢失，不利于整体特征学习。
发明内容
本发明提供一种基于线图扩展的多模态脑超图注意力网络的分类方法，利用稀疏表示学习度量受试者间相似性构建超图，基于线图扩展的多模态脑超图注意力网络模型可以利用线图和使超节点和超边在神经网络每一层中交替，基于双层的注意力机制交替堆叠，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习。
本发明所采用的技术方案是，基于线图扩展的多模态脑超图注意力网络的分类方法，具体按照以下步骤进行：
步骤S1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；
步骤S2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；
步骤S3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；
步骤S4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；
步骤S5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；
步骤S6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；
步骤S7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。
步骤S1中，对受试者的结构和功能磁共振影像数据进行预处理，其中，具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。
步骤S2中，根据选定的标准化脑图谱对影像进行脑区分割，步骤具体包括：选择国际通用的解剖标记模板(Automated Anatomical Labeling，简称AAL)作为标准化脑图谱，对预处理后的影像数据进行脑区分割。模板将全脑分割为90个脑区，其中左右半脑各45个脑区。
步骤S3中，对分割后的结构磁共振影像进行结构特征提取，具体步骤包括颅骨分离、灰白质分离；首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后，使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵。
然后，对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：提取各脑区所包含的所有体素在不同时间点上的BOLD强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵。
最后，对功能和结构特征矩阵进行特征融合，具体步骤为：将得到的结构特征和功能特征进行连接。
步骤S4中，基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图数据集，具体步骤为，将每个被试节点作为质心节点，然后通过将质心节点连接到其它节点来构建超边，以稀疏系数作为相似度度量，其中，稀疏线性回归模型具体表示如下：
Figure BDA0003715893540000031
公式(1)中：sm表示质心节点与其它被试节点相关性的权重向量，xm表示选定的第m个被试节点的多模态特征，Fm＝[x1，...，xm-1，0，xm+1，...，xM]包含除选定被试之外的所有被试的多模态特征，||·||2表示l2范数，λ表示控制模型稀疏的正则化参数，||·||1表示l1范数，根据xm，Fm可以得到sm，sm中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边。
构建多模态超图，从而得到数据集，数据集包括多模态超图关联矩阵，超图节点特征矩阵和节点标签，多模态超图构建的具体步骤为：利用公式(1)中得到的第m个质心节点与其它被试节点相关性的权重向量sm，稀疏超图的权重矩阵S就被定义为S＝[s1，s2，...，sm，...，sM]T，选定一个阈值θ，在本研究中设置为0.001。大于该阈值的表示有连通性，而小于该阈值的表示没有连通性。将相似度高的节点用一条超边连接起来，超图关联矩阵表示如下：
Figure BDA0003715893540000041
公式(2)中，H(vi，ej)表示多模态超图关联矩阵中对应的元素，v∈V表示节点，e∈E表示超边，θ表示阈值，Si，j表示节点vi在超边ej上的权重。
数据集中超图节点特征矩阵表示为被试大脑内各个脑区的结构特征和脑功能网络的特征集合，将其表示为X；根据被试的信息(标签、站点、性别)将数据集划分为训练集和测试集。
步骤S5中，基于多模态超图关联矩阵使用行规范化和列规范化形成线图邻接矩阵，线图的引入是基于现有的超图神经网络大多只通过聚合节点信息实现特征更新，忽略了超图中超边的结构信息，引入线图可以实现超图在神经网络模型中学习时即保留超图的超边结构信息并实现超边信息聚合，其具体步骤为：将超图的超边转化为线图的节点，若两条超边共享节点，则将对应线图中的两个节点连接。超图对应的线图邻接矩阵包含关于线图的节点如何相连的信息，同时，为避免连接两条高阶超边的权重在线图中的权重过高，使用关联矩阵的行规范化和列规范化来形成多模态线图的邻接矩阵，具体公式表示如下：
Figure BDA0003715893540000042
公式(3)中，AL表示多模态线图的邻接矩阵加权形式，DE表示多模态超图的超边度矩阵，HT表示多模态超图关联矩阵的转置，DV表示多模态超图的超节点度矩阵，H表示多模态超图关联矩阵。
步骤S6中，基于分层的多层注意力机制，softmax函数、交叉熵损失函数利用线图扩展法构建多模态超图注意力网络模型，对训练集进行训练优化。具体来说，在大多数情况下，超图神经网络假设超图的所有的超边大小相等，但对于最终的分类任务来说，某些超边的存在可能比其他超边更重要，引入双层注意力机制可以基于节点级和超边级学习节点的邻居和超边的邻居的重要性，进而可以对节点特征和超边特征生成有效的节点和超边嵌入，从而大大提高超图神经网络模型的表达能力。
首先，将训练集输入到超图注意力网络模型中，超图注意力网络模型由两层注意力网络堆叠而成，其中每一层又根据节点层和超边层分为两层，基于分层的多层注意力机制可以分别从节点层和超边层的注意力机制中为不同的节点和超边学习不同的权重，节点层的注意力机制的具体表示如下：
Figure BDA0003715893540000051
公式(4)中，WV表示基于每层更新的超边特征得到的节点的权重，σatt表示一个非线性激活函数，HXl-1表示从l-2层更新得到的超图节点特征矩阵，其中，
Figure BDA0003715893540000052
Figure BDA0003715893540000053
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure BDA0003715893540000054
是注意力向量。
超边层的注意力机制的具体表示如下：
Figure BDA0003715893540000055
公式(5)中，WE表示基于每层更新的节点特征得到的超边的权重，σatt表示一个非线性激活函数，HTXl-1表示从第l-2层更新得到的线图节点特征矩阵，其中，
Figure BDA0003715893540000056
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure BDA0003715893540000057
是注意力向量。
然后，利用线图扩展法构建多模态超图注意力网络模型，具体步骤为：第l-1层的线图的节点特征矩阵来自于该层中已更新的超图节点特征，在第l-1层中通过线图聚合的超边特征再次分配给超图的节点并传递给下一层。
第l-1层的超图节点的特征信息以矩阵乘法的形式映射给第l层的线图的节点特征矩阵线图的节点，并基于超边层的注意力机制，将超边权重分配给线图节点，线图运行超边聚集网络，获得超边信息，得到更新后的特征矩阵，具体表示公式如下：
Figure BDA0003715893540000058
公式(6)中，
Figure BDA0003715893540000059
表示通过聚合超边信息更新得到的第l-1层的特征矩阵，AL表示线图的邻接矩阵加权形式，D(·)表示对角运算，W表示基于每层更新的节点特征得到的超图中超边的权重，HTXl-1表示从l-2层更新得到的节点特征矩阵，其中，
Figure BDA00037158935400000510
Figure BDA00037158935400000511
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure BDA00037158935400000512
是一个可训练参数。
将第l-1层中线图的更新节点特征映射到第l层的超图中，基于节点层的注意力机制学习节点权重，节点特征聚合网络根据权重通过聚合相邻节点的信息获得节点嵌入，更新特征矩阵。具体表示如下：
Figure BDA00037158935400000513
公式(7)中，Xl表示通过聚合节点信息更新得到的第l层特征矩阵，D(·)表示对角运算，WV表示基于每层更新的超边特征得到的超图中节点的权重，H表示超图关联矩阵，
Figure BDA0003715893540000061
表示通过聚合超边信息更新得到的第l-1层的特征矩阵，
Figure BDA0003715893540000062
和Q是一个可训练参数。
最后，获得的超节点特征通过softmax层实现节点分类，最后在训练集上使用交叉熵损失函数计算损失值，并使用随机梯度下降法对交叉熵误差进行优化，从而提升模型的分类能力，其中，softmax函数具体表达式如下：
Figure BDA0003715893540000063
公式(8)中，
Figure BDA0003715893540000064
表示第i个节点标签是k的概率，vi表示第i个节点，e是纳皮尔常数；
交叉熵损失函数具体表示如下：
Figure BDA0003715893540000065
公式(9)中，
Figure BDA0003715893540000066
表示超图节点vi的实际标签是k，
Figure BDA0003715893540000067
表示超图节点vi在softmax函数的输出标签中是k标签的概率；
步骤S7中，所述采用交叉验证方法对构建的多模态超图注意力网络进行检验，步骤具体为：从数据集中随机选择90％的样本作为训练集，剩余10％的作为测试集，由此进行分类测试并得到分类准确率；将重复进行100次交叉验证后得到的分类准确率进行算术平均，然后将算术平均值作为分类器的分类准确率。
本发明的有益效果：使用稀疏表示方法构建多模态超图，然后利用线图和超图的转换关系，使超节点和超边在神经网络每一层中交替，基于双层的注意力机制交替堆叠，实现同时结合超节点和超边的特征来进行节点和边的嵌入学习，这样既保留了超图结构的完整性，又利用了边到边的关系传播信息，呈现更高级别和更复杂的受试者之间的相互关系。
附图说明
图1是本发明实施的基于线图扩展的多模态超图注意力网络分类方法流程图。
图2是本发明实施的基于线图扩展的多模态超图注意力网络模型图。
图3是本发明与图神经网络磁共振影像数据分类方法的对比示意图。
具体实施方式
下面将结合本发明实施例中，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1-2所示，基于线图扩展的多模态脑超图注意力网络的分类方法，具体按照以下步骤进行：
步骤S1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；
步骤S2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；
步骤S3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；
步骤S4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；
步骤S5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；
步骤S6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；
步骤S7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。
其中，步骤S1中，对受试者的结构和功能磁共振影像数据进行预处理，其中，具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。
步骤S2中，根据选定的标准化脑图谱对影像进行脑区分割，步骤具体包括：选择国际通用的解剖标记模板(Automated Anatomical Labeling，简称AAL)作为标准化脑图谱，对预处理后的影像数据进行脑区分割。模板将全脑分割为90个脑区，其中左右半脑各45个脑区。
步骤S3中，对分割后的结构磁共振影像进行结构特征提取，具体步骤包括颅骨分离、灰白质分离；首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后，使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵。
对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：提取各脑区所包含的所有体素在不同时间点上的BOLD强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵。
对功能和结构特征矩阵进行特征融合，具体步骤为：将得到的结构特征和功能特征进行连接。
步骤S4中，基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图数据集，具体步骤为，将每个被试节点作为质心节点，然后通过将质心节点连接到其它节点来构建超边，以稀疏系数作为相似度度量，其中，稀疏线性回归模型具体表示如下：
Figure BDA0003715893540000081
公式(1)中：sm表示其它被试与选定被试相关性的权重向量，xm表示选定的第m个被试的多模态特征，Fm＝[x1，...，xm-1，0，xm+1，...，xM]包含除选定被试之外的所有被试的多模态特征，||·||2表示l1范数，λ表示控制模型稀疏的正则化参数，||·||1表示l2范数，根据xm，Fm可以得到sm，sm中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边。
构建多模态超图，，从而得到数据集，数据集包括多模态超图关联矩阵，超图节点特征矩阵和节点标签，多模态超图构建的具体步骤为：利用公式(1)中得到的被试间的权重向量sm，稀疏表示权重矩阵S就被定义为S＝[s1，s2，...，sm，...，sM]T，选定一个阈值θ，在本研究中设置为0.001。大于该阈值的表示有连通性，而小于该阈值的表示没有连通性。将相似度高的节点用一条超边连接起来，多模态超图关联矩阵就被定义为：
Figure BDA0003715893540000082
公式(2)中，H(vi，ej)表示超图关联矩阵中对应的元素，v∈y表示节点，e∈E表示超边，θ表示阈值，Si，j表示节点vi在超边ej上的权重。
数据集中超图节点特征矩阵表示为被试大脑内各个脑区的结构特征和脑功能网络的特征集合，将其表示为X；根据被试的信息(标签、站点、性别)将数据集划分为训练集和测试集。
步骤S5中，基于多模态超图关联矩阵使用行规范化和列规范化形成多模态线图邻接矩阵。线图的引入是基于现有的超图神经网络大多只通过聚合节点信息实现特征更新，忽略了超图中超边的结构信息，引入线图可以实现超图在神经网络模型中学习时即保留超图的超边结构信息并实现超边信息聚合。具体来说，将超图的超边转化为线图的节点，若两条超边共享节点，则将对应线图中的两个节点连接。这样，超图对应的线图邻接矩阵包含关于线图的节点如何相连的信息。为避免连接两条高阶超边的权重在线图中的权重过高，使用关联矩阵的行规范化和列规范化来形成多模态线图的邻接矩阵，具体公式表示如下：
Figure BDA0003715893540000091
公式(3)中，AL表示多模态线图的邻接矩阵加权形式，DE表示多模态超图的超边度矩阵，HT表示多模态超图关联矩阵的转置，DV表示多模态超图的超节点度矩阵，H表示多模态超图关联矩阵。
步骤S6中，基于分层的多层注意力机制，softmax函数、交叉熵损失函数利用线图扩展法构建多模态超图注意力网络模型，对训练集进行训练优化。具体来说，在大多数情况下，超图神经网络假设超图的所有的超边大小相等，但对于最终的分类任务来说，某些超边的存在可能比其他超边更重要，引入双层注意力机制可以基于节点级和超边级学习节点的邻居和超边的邻居的重要性，进而可以对节点特征和超边特征生成有效的节点和超边嵌入，从而大大提高超图神经网络模型的表达能力。
首先，将训练集输入到超图注意力网络模型中，超图注意力网络模型由两层注意力网络堆叠而成，其中每一层又根据节点层和超边层分为两层，基于分层的多层注意力机制可以分别从节点层和超边层的注意力机制中为不同的节点和超边学习不同的权重，节点层的注意力机制的具体表示如下：
Figure BDA0003715893540000092
公式(4)中，WV表示基于每层更新的超边特征得到的节点的权重，σatt表示一个非线性激活函数，HXl-1表示从第l-2层更新得到的超图节点特征矩阵，其中，
Figure BDA0003715893540000093
Figure BDA0003715893540000101
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的多模态特征，H表示多模态超图关联矩阵，
Figure BDA0003715893540000102
是注意力向量。
超边层的注意力机制的具体表示如下
Figure BDA0003715893540000103
公式(5)中，WE表示基于每层更新的节点特征得到的超边的权重，σatt表示一个非线性激活函数，HTXl-1表示从第l-2层更新得到的线图节点特征矩阵，其中，
Figure BDA0003715893540000104
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure BDA0003715893540000105
是注意力向量。
然后，利用线图扩展法构建多模态超图注意力网络模型，具体步骤为：第l-1层的线图的节点特征矩阵来自于该层中已更新的超图节点特征，在第l-1层中通过线图聚合的超边特征再次分配给超图的节点并传递给下一层。
第l-1层的超图节点的特征信息以矩阵乘法的形式映射给第l层的线图的节点特征矩阵线图的节点，并基于超边层的注意力机制，将超边权重分配给线图节点，线图运行超边聚集网络，获得超边信息，得到更新后的特征矩阵，具体表示公式如下：
Figure BDA0003715893540000106
公式(6)中，
Figure BDA0003715893540000107
表示通过聚合超边信息更新得到的第l-1层的特征矩阵，AL表示线图的邻接矩阵加权形式，D(·)表示对角运算，WE表示基于每层更新的节点特征得到的超图中超边的权重，HTXl-1表示从l-2层更新得到的节点特征矩阵，其中，
Figure BDA0003715893540000108
Figure BDA0003715893540000109
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure BDA00037158935400001010
是一个可训练参数。
将第l-1层中线图的更新节点特征映射到第l层的超图中，基于节点层的注意力机制学习节点权重，节点特征聚合网络根据权重通过聚合相邻节点的信息获得节点嵌入，更新特征矩阵。具体表示如下：
Figure BDA00037158935400001011
公式(7)中，Xl表示通过聚合节点信息更新得到的第l层特征矩阵，D(·)表示对角运算，WV表示基于每层更新的超边特征得到的超图中节点的权重，H表示超图关联矩阵，
Figure BDA00037158935400001012
表示通过聚合超边信息更新得到的第l-1层的特征矩阵，
Figure BDA00037158935400001013
和Q是一个可训练参数。最后，获得的超节点特征通过softmax层实现节点分类，最后在训练集上使用交叉熵损失函数计算损失值，并使用随机梯度下降法对交叉熵误差进行优化，从而提升模型的分类能力，其中，softmax函数具体表达式如下：
Figure BDA0003715893540000111
公式(8)中，
Figure BDA0003715893540000112
表示第i个节点标签是k的概率，vi表示第i个节点，e是纳皮尔常数；
交叉熵损失函数具体表示如下：
Figure BDA0003715893540000113
公式(9)中，
Figure BDA0003715893540000114
表示超图节点vi的实际标签是k，
Figure BDA0003715893540000115
表示超图节点vi在softmax函数的输出标签中是k标签的概率；
步骤S7中，所述采用交叉验证方法对构建的多模态超图注意力网络进行检验，步骤具体为：从数据集中随机选择90％的样本作为训练集，剩余10％的作为测试集，由此进行分类测试并得到分类准确率；将重复进行100次交叉验证后得到的分类准确率进行算术平均，然后将算术平均值作为分类器的分类准确率。
通过稀疏线性回归方法、超边信息聚合网络、超节点特征聚合网络，双层注意力机制，softmax激活函数、交叉熵损失函数、交叉验证方法，实现了超图注意力网络在脑疾病领域的应用，由此大幅提高了分类准确率；
如图3所示，本发明的分类准确率明显高于图神经网络在磁共振影像数据上的分类准确率，从而使得应用价值更高。本发明克服了现有的图神经网络在磁共振影像数据分类方法上的不足之处，将多模态超图注意力网络适用于磁共振影像数据的分类。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，包括以下步骤：
步骤S1：对受试者的结构磁共振影像和功能磁共振影像进行预处理，得到预处理后的结构磁共振影像和功能磁共振影像；
步骤S2：根据选定的标准化脑图谱，对预处理后的结构磁共振影像和功能磁共振影像进行脑区分割，得到分割后的结构磁共振影像和功能磁共振影像；
步骤S3：对分割后的结构磁共振影像进行结构特征提取，得到结构特征矩阵；对分割后的功能磁共振影像进行平均时间序列的提取，构建功能脑网络，进而提取功能特征，得到功能特征矩阵；将功能特征矩阵和结构特征矩阵进行特征融合，得到融合后的多模态特征；
步骤S4：基于融合后的多模态特征，利用稀疏线性回归方法，构建多模态超图，从而得到数据集，并将数据集划分为训练集和测试集，所述数据集包括多模态超图关联矩阵、超图节点特征矩阵和节点标签；
步骤S5：基于多模态超图关联矩阵，使用行规范化和列规范化，形成多模态线图邻接矩阵；
步骤S6：基于多模态线图邻接矩阵、分层的双层注意力机制、softmax函数、交叉熵损失函数，利用线图扩展法，构建多模态超图注意力网络模型，采用训练集进行训练优化；
步骤S7：采用交叉验证方法对构建的多模态超图注意力网络模型进行检验。
2.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，步骤S1中，预处理的具体步骤包括：时间校正、头动校正、配准和空间标准化、低频滤波。
3.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S3中，
对分割后的结构磁共振影像进行结构特征提取，具体步骤包括：
首先使用非参数非均匀强度归一化算法对强度不均匀性进行校正，然后使用分水岭算法对得到的图像进行颅骨分离，分割成皮质下白质和灰质体积结构；将图像灰白质分离后，根据生成的高精度灰质、白质分割面计算各脑区的皮质厚度及灰质体积，从每幅图像中提取的所有脑区特征构成一个特征向量，进而得到所有被试的脑区结构特征矩阵；
对分割后的功能磁共振影像进行平均时间序列的提取，具体步骤包括：
提取各脑区所包含的所有体素在不同时间点上的BOLD强度，再进行算术平均得到脑区的平均时间序列，根据脑区平均时间序列得到每个脑区与其他脑区的线性组合表示，构建出功能脑网络并计算功能脑网络的属性，包括：节点度、超边度、节点效率，进而得到每个被试的功能特征矩阵；
对功能和结构特征矩阵进行特征融合，具体步骤包括：
将得到的结构特征和功能特征进行连接。
4.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S4中，稀疏线性回归方法具体表示如下：
Figure FDA0003715893530000021
公式(1)中，sm表示其它被试与选定被试相关性的权重向量，xm表示选定的第m个被试的多模态特征，Fm＝[x1，...，xm-1，0，xm+1，...，xM]包含除选定被试之外的所有被试的多模态特征，||·||2表示l1范数，λ表示控制模型稀疏的正则化参数，||·||1表示l2范数，根据xm，Fm可以得到sm，sm中非零元素对应的被试即为与选定被试有相关性的被试，由此得到超边；
多模态超图构建的具体步骤为：
根据权重向量sm，稀疏表示权重矩阵S定义为S＝[s1，s2，...，sm，...，sM]T，选定阈值θ，大于阈值的表示有连通性，小于阈值的表示没有连通性；将相似度高的节点用一条超边连接起来，多模态超图关联矩阵定义为：
Figure FDA0003715893530000022
公式(2)中，H(vi，ej)表示多模态超图关联矩阵中对应的元素，v∈V表示节点，e∈E表示超边，θ表示阈值，S＝[s1，s2，...，sm，...，sM]T表示多模态稀疏超图的权重矩阵，Si，j表示节点vi在超边ej上的权重；
超图节点特征矩阵表示被试大脑内各个脑区的结构特征和脑功能网络的特征集合，表示为X；根据被试的标签、站点、性别，将数据集划分为训练集和测试集。
5.根据权利要求4所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S5中，具体步骤包括，将超图的超边转化为线图的节点，若两条超边共享节点，则将对应线图中的两个节点连接；使用关联矩阵的行规范化和列规范化来形成多模态线图的邻接矩阵，具体公式表示如下：
Figure FDA0003715893530000031
公式(3)中，AL表示多模态线图的邻接矩阵加权形式，DE表示多模态超图的超边度矩阵，HT表示多模态超图关联矩阵的转置，DV表示多模态超图的超节点度矩阵，H表示多模态超图关联矩阵。
6.根据权利要求5所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S6中，具体包括：
超图注意力网络模型由两层注意力网络堆叠而成，其中每一层根据节点层和超边层分为两层；
节点层的注意力机制的具体表示如下：
Figure FDA0003715893530000032
公式(4)中，WV表示基于每层更新的超边特征得到的节点的权重，σatt表示一个非线性激活函数，HXl-1表示从第l-2层更新得到的超图节点特征矩阵，其中，
Figure FDA0003715893530000033
Figure FDA0003715893530000034
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的多模态特征，H表示多模态超图关联矩阵，
Figure FDA0003715893530000035
是注意力向量；
超边层的注意力机制的具体表示如下：
Figure FDA0003715893530000036
公式(5)中，WE表示基于每层更新的节点特征得到的超边的权重，σatt表示一个非线性激活函数，HTXl-1表示从第l-2层更新得到的线图节点特征矩阵，其中，
Figure FDA0003715893530000037
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure FDA0003715893530000038
是注意力向量；
利用线图扩展法构建多模态超图注意力网络模型，具体步骤为：
第l-1层的线图的节点特征矩阵来自于该层中已更新的超图节点特征，在第l-1层中通过线图聚合的超边特征再次分配给超图的节点并传递给下一层；
第l-1层的超图节点的特征信息以矩阵乘法的形式映射给第l层的线图的节点特征矩阵线图的节点，并基于超边层的注意力机制，将超边权重分配给线图节点，线图运行超边聚集网络，获得超边信息，得到更新后的特征矩阵，具体表示公式如下：
Figure FDA0003715893530000041
公式(6)中，
Figure FDA0003715893530000042
表示通过聚合超边信息更新得到的第l-1层的特征矩阵，AL表示线图的邻接矩阵加权形式，D(·)表示对角运算，WE表示基于每层更新的节点特征得到的超图中超边的权重，HTXl-1表示从l-2层更新得到的节点特征矩阵，其中，
Figure FDA0003715893530000043
Figure FDA0003715893530000044
表示第l-1层更新得到的M个被试的特征矩阵，xm表示选定的第m个被试的脑区特征，H表示超图关联矩阵，
Figure FDA0003715893530000045
是一个可训练参数；
将第l-1层中线图的更新节点特征映射到第l层的超图中，基于节点层的注意力机制学习节点权重，节点特征聚合网络根据权重通过聚合相邻节点的信息获得节点嵌入，更新特征矩阵，具体表示如下：
Figure FDA0003715893530000046
公式(7)中，Xl表示通过聚合节点信息更新得到的第l层特征矩阵，D(·)表示对角运算，WV表示基于每层更新的超边特征得到的超图中节点的权重，H表示超图关联矩阵，
Figure FDA0003715893530000047
表示通过聚合超边信息更新得到的第l-1层的特征矩阵，
Figure FDA0003715893530000048
和Q是一个可训练参数；
获得的超节点特征通过softmax层实现节点分类，最后在训练集上使用交叉熵损失函数计算损失值，并使用随机梯度下降法对交叉熵误差进行优化，从而提升模型的分类能力，其中，softmax函数具体表达式如下：
Figure FDA0003715893530000049
公式(8)中，
Figure FDA00037158935300000410
表示第i个节点标签是k的概率，vi表示第i个节点，e是纳皮尔常数；
交叉熵损失函数具体表示如下：
Figure FDA00037158935300000411
公式(9)中，
Figure FDA00037158935300000412
表示超图节点vi的实际标签是k，
Figure FDA00037158935300000413
表示超图节点vi在softmax函数的输出标签中是k标签的概率。
7.根据权利要求1所述的基于线图扩展的多模态脑超图注意力网络的分类方法，其特征在于，所述步骤S7中，所述采用交叉验证方法对构建的多模态超图注意力网络进行检验，步骤具体为：从数据集中随机选择90％的样本作为训练集，剩余10％的作为测试集，由此进行分类测试并得到分类准确率；将重复进行100次交叉验证后得到的分类准确率进行算术平均，然后将算术平均值作为分类器的分类准确率。
CN202210743073.4A 2022-06-27 2022-06-27 基于线图扩展的多模态脑超图注意力网络的分类方法 Pending CN115049629A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210743073.4A CN115049629A (zh) 2022-06-27 2022-06-27 基于线图扩展的多模态脑超图注意力网络的分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210743073.4A CN115049629A (zh) 2022-06-27 2022-06-27 基于线图扩展的多模态脑超图注意力网络的分类方法

Publications (1)

Publication Number Publication Date
CN115049629A true CN115049629A (zh) 2022-09-13

Family

ID=83162849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210743073.4A Pending CN115049629A (zh) 2022-06-27 2022-06-27 基于线图扩展的多模态脑超图注意力网络的分类方法

Country Status (1)

Country Link
CN (1) CN115049629A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115337000A (zh) * 2022-10-19 2022-11-15 之江实验室 基于脑结构影像评估疾病引起大脑衰老的机器学习方法
CN115409743A (zh) * 2022-11-03 2022-11-29 长春理工大学 基于深度学习用于脑部磁共振图像处理的模型构建方法
CN116452592A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116845889A (zh) * 2023-09-01 2023-10-03 东海实验室 一种基于层次化超图神经网络的电力负载预测方法
CN117454154A (zh) * 2023-12-22 2024-01-26 江西农业大学 一种面向偏标记数据的鲁棒特征选择方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115337000A (zh) * 2022-10-19 2022-11-15 之江实验室 基于脑结构影像评估疾病引起大脑衰老的机器学习方法
CN115337000B (zh) * 2022-10-19 2022-12-20 之江实验室 基于脑结构影像评估疾病引起大脑衰老的机器学习方法
CN115409743A (zh) * 2022-11-03 2022-11-29 长春理工大学 基于深度学习用于脑部磁共振图像处理的模型构建方法
CN116452592A (zh) * 2023-06-16 2023-07-18 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116452592B (zh) * 2023-06-16 2023-09-05 武汉大学中南医院 脑血管病ai认知功能评测模型的构建方法、装置及系统
CN116845889A (zh) * 2023-09-01 2023-10-03 东海实验室 一种基于层次化超图神经网络的电力负载预测方法
CN116845889B (zh) * 2023-09-01 2023-12-22 东海实验室 一种基于层次化超图神经网络的电力负载预测方法
CN117454154A (zh) * 2023-12-22 2024-01-26 江西农业大学 一种面向偏标记数据的鲁棒特征选择方法

Similar Documents

Publication Publication Date Title
CN115049629A (zh) 基于线图扩展的多模态脑超图注意力网络的分类方法
CN109409416B (zh) 特征向量降维方法和医学图像识别方法、装置及存储介质
Huang et al. Convolutional neural network based on complex networks for brain tumor image classification with a modified activation function
CN104992223B (zh) 基于深度学习的密集人数估计方法
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
CN109584254A (zh) 一种基于深层全卷积神经网络的心脏左心室分割方法
CN112132818B (zh) 基于图卷积神经网络构建的肺结节检测和临床分析方法
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
CN110503630A (zh) 一种基于三维深度学习模型的脑出血分类、定位与预测方法
CN112396587B (zh) 一种基于协同训练和密度图的公交车厢内拥挤度检测方法
CN108664986B (zh) 基于lp范数正则化的多任务学习图像分类方法及系统
CN112418337B (zh) 基于脑功能超网络模型的多特征融合数据分类方法
CN106971197A (zh) 基于差异性与一致性约束的多视数据的子空间聚类方法
CN111915629B (zh) 基于边界检测的超像素分割方法
CN107403434A (zh) 基于两阶段聚类的sar图像语义分割方法
CN113628201A (zh) 基于深度学习的病理切片分析方法、电子设备及可读存储介质
CN112529063B (zh) 一种适用于帕金森语音数据集的深度域适应分类方法
CN108985161B (zh) 一种基于拉普拉斯正则化的低秩稀疏表征图像特征学习方法
CN116503680B (zh) 基于脑图谱的脑影像结构化分析和脑疾病分类系统
CN111325288B (zh) 基于聚类思想的多视角动态脑网络特征维度约减方法
CN114863348A (zh) 基于自监督的视频目标分割方法
CN114119635B (zh) 一种基于空洞卷积的脂肪肝ct图像分割方法
Zhang et al. Learning from multiple annotators for medical image segmentation
CN108846327B (zh) 一种色素痣与黑素瘤的智能判别系统及方法
CN111611919A (zh) 一种基于结构化学习的道路场景布局分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination