CN114391826A - 一种基于边缘驱动图神经网络的人类表征预测方法及装置 - Google Patents

一种基于边缘驱动图神经网络的人类表征预测方法及装置 Download PDF

Info

Publication number
CN114391826A
CN114391826A CN202210078759.6A CN202210078759A CN114391826A CN 114391826 A CN114391826 A CN 114391826A CN 202210078759 A CN202210078759 A CN 202210078759A CN 114391826 A CN114391826 A CN 114391826A
Authority
CN
China
Prior art keywords
neural network
brain
graph neural
edge
human
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210078759.6A
Other languages
English (en)
Inventor
马媛
吴东亚
王洁琼
冯筠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwest University
Original Assignee
Northwest University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwest University filed Critical Northwest University
Priority to CN202210078759.6A priority Critical patent/CN114391826A/zh
Publication of CN114391826A publication Critical patent/CN114391826A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064—Evaluating the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Mathematical Physics (AREA)
  • Psychology (AREA)
  • Neurosurgery (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Abstract

本发明提供一种基于边缘驱动图神经网络的人类表征预测方法及装置，首先获取大脑磁共振图像数据，对其进行预处理得到包含大脑网络拓扑信息的功能连接矩阵；将得到的功能连接矩阵节点值初始化为1，并送入边缘驱动图神经网络；对图神经网络的每个中间层进行图卷积计算，以获得权重共享矩阵；将得到的权重共享张量积通过特征转换参数进行特征转换并送入激活函数得到第k个中间层输出的节点值；将得到的每一个中间层输出的节点值进行拼接，然后通过线性模型对人类表征进行分类或回归预测。本发明保留了脑连接网络的拓扑学特性，还能够精准捕获大脑连接网络信息流传播的方向，对人类表征进行分类或回归预测。

Description

一种基于边缘驱动图神经网络的人类表征预测方法及装置
技术领域
本发明属于生物信息识别技术领域，具体涉及一种基于边缘驱动图神经网络的人类表征预测方法及装置。
背景技术
如何从脑影像数据中发现探究大脑连接网络与人类表征间的关系及其背后的生物学的知识及规律并加以利用,正成为当今生物信息领域理论与实践研究的难点与热点。基于脑影像数据的人类表征及其脑机制的关联研究，已经成为神经工程和人工智能领域的热门课题。随着神经影像学技术的发展，脑网络组图谱学的建立，可以使用生物学影像数据来对各种人类表征的神经机制进行探索。机器学习技术的进步为基于脑影像的人类表征研究提供了可用的技术方法。大脑连接网络反应人类表征背后的认知信息流的变化，各种研究都利用脑连接网络来预测人类表征的个体差异。然而，传统的方法将脑连通性网络看作是一个一维矢量，忽略了脑连接网络的拓扑学特性，不仅会损失原始脑连接网络中的其他信息，而且难以充分地利用大脑拓扑结构信息。而以节点特征转换为参数的节点驱动的图神经网络无法精准捕捉到大脑连接网络信息流传播过程中信息传播。
发明内容
针对现有技术中的缺陷和不足，本发明提供了一种基于边缘驱动图神经网络的人类表征预测方法及装置，该方法能改善利用脑连接网络预测人类表征过程中缺乏大脑拓扑结构信息、无法精准捕捉脑网络传播过程中的信息流问题。
为达到上述目的，本发明采取如下的技术方案：
一种基于边缘驱动图神经网络的人类表征预测方法，该方法包括如下步骤：
步骤一，获取大脑功能磁共振图像数据，对其进行预处理后配准至标准空间；
步骤二，对配准至标准空间的大脑功能磁共振图像数据在时间维度进行处理，得到包含大脑网络拓扑信息的功能连接矩阵；
步骤三，将功能连接矩阵节点值初始化为1，连同人类表征标签一并送入图神经网络，该图神经网络为边缘驱动图神经网络；
步骤四，对图神经网络的每个中间层进行节点值更新计算，包括图卷积计算、张量积计算和特征转换激活；
步骤4.1对图神经网络第K个中间层中的功能连接矩阵An×n(n表示节点个数)和传播系数
Figure BDA0003485204990000021
(m为卷积核数量)进行图卷积计算得到权重共享矩阵
Figure BDA0003485204990000022
步骤4.2将权重共享矩阵
Figure BDA0003485204990000023
与第k-1个中间层的节点值
Figure BDA0003485204990000024
矩阵相乘，得到第K个中间层的权重共享张量积
Figure BDA0003485204990000025
步骤4.3将权重共享张量积通过特征转换参数
Figure BDA0003485204990000026
进行特征转换并送入激活函数得到第k个中间层输出的节点值：
Figure BDA0003485204990000027
式中σ()为激活函数；
步骤五，将步骤四得到的每一个中间层输出的节点值进行拼接得到全连接层，然后通过线性模型对当前得到的节点数据及对应的人类表征标签进行分类或回归预测得到预测结果。
本发明还包括如下技术特征：
可选地，所述步骤一中，预处理包括空间预处理、时间预处理和噪声去除；
所述空间预处理包括空间伪影去除、与结构图像配准以及与标准空间的对齐；
所述空间伪影去除，是去除异常陡峭的峰波(Spike)或缓慢的偏倚(Drift)；与结构图像配准，是将低分辨率的功能图像上的点定位在高分辨率的结构图像上以便进行更细节的数据分析；所述标准空间对齐是通过拉伸、压缩以及卷绕使扫描得到的大脑与标准大脑模板一致，以便进行数据分析，该标准大脑模板为CIFTI灰度坐标空间；
所述时间预处理通过高通时间滤波去除低频伪影；
所述噪声去除是通过自动去噪ICA-FIX算法处理数据以去除噪声成分，噪声成分包括功能磁共振图像扫描时头部运动和扫描仪伪影带来的数据噪声。
可选地，所述步骤二中，时间维度进行处理是指对包含大脑网络拓扑信息的大脑功能磁共振图像数据中每个脑区所有节点的时间序列降维、方差归一化并沿时间轴依次拼接，形成功能连接矩阵。
可选地，所述步骤三中，边缘驱动图神经网络包括输入层、多个中间层、多个中间层节点值更新计算模块、输出层和线性模型。
可选地，所述步骤4.3具体包括：
步骤4.3.1对第k个中间层计算得到的权重共享张量积通过特征转换参数
Figure BDA0003485204990000031
将m维的节点特征转换为n维的新特征
Figure BDA0003485204990000032
步骤4.3.2将特征转换后的新特征送入激活函数，即可得到第k个中间层的输出的节点值：
Figure BDA0003485204990000033
式中σ()为激活函数，也即第k+1层输入的节点值；激活函数视人类表征的不同及对应任务的不同，所述激活函数为relu、LeakyRelu或sigmoid激活函数。
可选地，所述人类表征包括：流体智力、晶体智力、工作记忆、性别和年龄。
本发明还提供一种基于边缘驱动图神经网络的人类表征预测装置，包括：
数据获取及预处理模块，用于获取大脑功能磁共振图像数据，对其进行预处理后配准至标准空间；
功能连接矩阵获取模块，用于对配准至标准空间的大脑功能磁共振图像数据在时间维度进行处理，得到包含大脑网络拓扑信息的功能连接矩阵；
节点值初始化模块，用于将功能连接矩阵节点值初始化为1，连同人类表征标签一并送入图神经网络，该图神经网络为边缘驱动图神经网络；
中间层节点值更新计算模块，用于对图神经网络的每个中间层进行节点值更新计算，包括图卷积计算、张量积计算和特征转换激活；
其中，图卷积计算是对图神经网络第K个中间层中的功能连接矩阵An×n(n表示节点个数)和传播系数
Figure BDA0003485204990000034
(m为卷积核数量)进行图卷积计算得到权重共享矩阵
Figure BDA0003485204990000035
张量积计算是将权重共享矩阵
Figure BDA0003485204990000036
与第k-1个中间层的节点值
Figure BDA0003485204990000037
矩阵相乘，得到第K个中间层的权重共享张量积
Figure BDA0003485204990000038
特征转换激活是将权重共享张量积通过特征转换参数
Figure BDA0003485204990000039
进行特征转换并送入激活函数得到第k个中间层输出的节点值：
Figure BDA00034852049900000310
式中σ()为激活函数；
线性模型预测模块，用于将每一个中间层输出的节点值进行拼接得到全连接层，然后通过线性模型对当前得到的节点数据及对应的人类表征标签进行分类或回归预测得到预测结果。
可选地，所述预测模块能得到人类表征中流体智力、晶体智力或工作记忆的预测值并进行回归预测；能得到人类表征中性别或年龄的测其类别并进行分类预测。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行计算机程序时实现权利要求1至6中任一项所述的基于边缘驱动图神经网络的人类表征预测方法的步骤。
一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，该程序指令可被处理器执行以实现权利要求1至6中任一项所述的基于边缘驱动图神经网络的人类表征预测方法的步骤。
本发明与现有技术相比，有益的技术效果是：
(I)本发明通过融合图论和神经网络所构建的边缘驱动图神经网络，相较于现有的传统将脑连通性网络看作是一维矢量的方法及节点驱动的图神经网络方法，不仅保留了脑连接网络的拓扑学特性，还能够精准捕获大脑连接网络信息流传播的方向。
(II)本发明通过对每个中间层的功能连接矩阵与表示连接参与信息传播程度的传播系数，进行图卷积计算，得到每个连接的权重共享矩阵，提升了参数利用率，有效地将大脑连接拓扑信息融合到图神经网络中。
(III)本发明通过将每一个中间层的输出拼接在一起以丰富表达并使用线性模型预测人类表征，是一种端到端的预测方法，而且具有一定的普适性，可以推广到回归、分类预测模型，而且对多种人类表征均适用，如总体智力、流体智力、晶体智力、性别、年龄等。
附图说明
图1为本发明方法流程图。
图2为基于脑网络的边缘驱动图神经网络结构示意图。
图3为中间层节点值更新示意图。
图4为中间层更新计算过程。
图5为图卷积计算得到权重矩阵过程。
图6为张量积计算过程。
图7为特征转换计算过程。
具体实施方式
本发明提供一种基于边缘驱动图神经网络的人类表征预测方法及装置，如图1至图4所示，首先获取大脑磁共振图像数据，对其进行预处理得到包含大脑网络拓扑信息的功能连接矩阵；将得到的功能连接矩阵节点值初始化为1，并送入边缘驱动图神经网络；对图神经网络的每个中间层进行图卷积计算，以获得权重共享矩阵；将得到的权重共享张量积通过特征转换参数进行特征转换并送入激活函数得到第k个中间层输出的节点值；将得到的每一个中间层输出的节点值进行拼接，然后通过线性模型对人类表征进行分类或回归预测；人类表征包括：流体智力、晶体智力、工作记忆、性别、年龄等，其中，对流体智力、晶体智力、工作记忆基于脑网络的边缘驱动图神经网络方法可做回归，对性别、年龄等可做分类。
实施例一：
本实施例提供一种基于边缘驱动图神经网络的人类表征预测方法，该方法包括如下步骤：
步骤一，获取大脑功能磁共振图像(fMRI)数据，对其进行预处理后配准至标准空间；
大脑功能磁共振图像(fMRI)是一种常见的非侵入式的反映大脑结构以及连接特征的医学影像，通过探测血氧水平依赖信号(blood oxygen level dependent，BOLD)的变化来刻画脑某个局部区域的血液动力变化，从侧面间接反映了各个区域的神经元的活动，既可以反映任务状态下不同脑区的激活水平，又可以反应静息状态下不同脑区神经元之间的耦合强度，也就是功能连接。
预处理是为了尽量减少因为数据采集(Data acquisition)和生理学特性(Physiological)导致的误差。
预处理具体包括空间预处理、时间预处理和噪声去除。
空间预处理包括空间伪影去除、与结构图像配准以及与标准空间的对齐；空间伪影去除，是去除异常陡峭的峰波(Spike)或缓慢的偏倚(Drift)；与结构图像配准，是将低分辨率的功能图像上的点定位在高分辨率的结构图像上以便进行更细节的数据分析；标准空间对齐是通过拉伸、压缩以及卷绕使扫描得到的大脑与标准大脑模板一致，以便进行数据分析，该标准大脑模板为CIFTI灰度坐标空间。
时间预处理通过高通时间滤波去除低频伪影。
噪声去除是通过自动去噪ICA-FIX算法处理数据以去除噪声成分，噪声成分包括功能磁共振图像扫描时头部运动和扫描仪伪影带来的数据噪声。
步骤二，对配准至标准空间的大脑功能磁共振图像数据在时间维度进行处理，得到包含大脑网络拓扑信息的功能连接矩阵；
将经过预处理且配准至标准空间的fMRI与HCP多模式解析1.0版进行映射可以得到360个大脑分区的fMRI，即360个大脑分区中神经元的血氧合度依赖信号(BOLD信号)的变化情况；
时间维度进行处理是指对包含大脑网络拓扑信息的大脑功能磁共振图像数据中每个脑区所有节点的时间序列降维、方差归一化并沿时间轴依次拼接，形成功能连接矩阵。功能连接矩阵反映大脑分区之间功能性连接拓扑结构特征。
大脑网络拓扑是指大脑脑区和脑区之间的连接组成的网络在整体和局部都具有较高连接效率的“小世界”特点，其中拓扑特征是指由点和点之间的连接组成的网络的特点。
本实施例的大脑磁共振图像数据以HCP健康成年人功能磁共振脑影像数据集为例进行验证，包含981人的功能磁共振数据，该数据集中采用包含360个脑区的HCP多模式解析1.0版(HCP-MMP1.0)来定义大脑分区；将HCP数据集中每个受试者的四次rfMRI(静息态大脑功能磁共振图像)时间序列降维、方差归一化、并沿着时间轴依次拼接，即得到每个脑区所有节点的时间序列平均化，并相互关联，形成功能连接矩阵。
步骤三，将步骤二得到的功能连接矩阵节点值初始化为1，连同人类表征标签一并送入图神经网络，该图神经网络为边缘驱动图神经网络。边缘驱动图神经网络结构能精准捕捉到大脑连接网络中的信息流传播，即将图神经网络所有邻居节点上与本节点有边连接的传播信息整合到本节点，
边缘驱动图神经网络包括输入层、多个中间层、多个中间层节点值更新计算模块、输出层和线性模型；如图2所示，其结构从左到右分别是节点值初始化后的个体功能连接矩阵FCN、输入层(input layer)、中间层(first layer,second layer)(图中画了两个中间层，在其它实施例中，中间层可以有n个)、输出层(output layer)、线性模型(linearmodel)以及每个中间层节点值更新计算模块(GC)。
图3为中间层节点值更新示意图，每个节点通过GC模块，结合其所有邻居节点信息更新自己的信息。
步骤四，对图神经网络的每个中间层进行节点值更新计算，包括图卷积计算、张量积计算和特征转换激活。具体的计算过程如图4所示，以第K个中间层为例，功能连接矩阵A(Connectivity network)和传播系数矩阵W(Propogation coefficient)通过权重共享(weight sharing)进行图卷积计算，然后将得到的权重共享矩阵与当前层节点值X(Nodevalue)做矩阵乘法，得到权重共享张量积，然后再通过特征转换系数
Figure BDA0003485204990000061
进行特征转换，最后送入激活函数σ(),即可得到更新后的节点值。
步骤4.1对图神经网络第K个中间层中的功能连接矩阵An×n(n表示节点个数)和传播系数
Figure BDA0003485204990000071
(m为卷积核数量)进行图卷积计算得到权重共享矩阵
Figure BDA0003485204990000072
传播系数
Figure BDA0003485204990000073
表示节点的连接边参与人类表征信息传播程度；如图5所示；
步骤4.2将步骤4.1得到的权重共享矩阵
Figure BDA0003485204990000074
与第k-1个中间层的节点值
Figure BDA0003485204990000075
矩阵相乘，得到第K个中间层的权重共享张量积
Figure BDA0003485204990000076
如图6所示；
步骤4.3将步骤4.2得到的权重共享张量积通过特征转换参数
Figure BDA0003485204990000077
进行特征转换并送入激活函数得到第k个中间层输出的节点值，如图7所示；
步骤4.3具体包括：
步骤4.3.1对第k个中间层计算得到的权重共享张量积通过特征转换参数
Figure BDA0003485204990000078
将m维的节点特征转换为n维的新特征
Figure BDA0003485204990000079
步骤4.3.2将特征转换后的新特征送入激活函数，即可得到第k个中间层的输出的节点值：
Figure BDA00034852049900000710
式中σ()为激活函数，也即第k+1层输入的节点值。
激活函数视人类表征的不同及对应任务的不同，激活函数为relu、LeakyRelu、或sigmoid激活函数，本实施例中选取的激活函数为Sigmoid激活函数。
步骤五，将步骤四得到的每一个中间层输出的节点值进行拼接得到全连接层，然后通过线性模型对当前得到的节点数据及对应的人类表征标签进行分类或回归预测；人类表征包括：流体智力、晶体智力、工作记忆、性别、年龄。其中，对流体智力、晶体智力、工作记忆等连续数据，基于边缘驱动图神经网络的人类表征预测方法可预测其值，进行回归，对性别、年龄等离散性数据基于边缘驱动图神经网络的人类表征预测方法可预测其类别，进行分类；本实施例中，针对性别进行分类预测。
(一)实验结果：
本实施例最终在HCP静息态功能磁共振数据健康成年人数据集上的实验结果如表1所示：
表1基于脑网络的边缘驱动图神经网络性别分类实验结果
Figure BDA0003485204990000081
上述表1中给出了本发明基于脑网络的边缘驱动图神经网络方法在Accuracy、precision、recall、f1这4个评价指标上的性能。其中，Accuracy代表的是模型对所有样本的分类准确率；precision关注模型在预测结果为真中的准确率，表示模型在预测结果为真时的可信度；Recall召回率表示的是在Label中的所有正类中被预测为正类的比例，衡量模型对实际正类的提取能力；F1-score表示精确率和召回率的调和平均。
如表1所示，在不同的卷积核(nb_heads)，不同网络层数(Layers)上其性能都有所不同，其中在卷积核为4096，网络层为1时，其性能最好，在4个评价标准上均取得了最好的性能。
(二)对比实验结果：
本发明方法与图同构网络GIN，图注意网络GAT在人类性别分类实验的对比，预测结果如表2所示：
表2基于边缘驱动图神经网络的人类表征预测结果与其它方法结果比较
Figure BDA0003485204990000082
从上述表2可以看出在四个评价指标Accuracy(r)、precision、recall、f1上，本发明方法ws-GPN均是最佳的；因此，本发明实施例性别分类结果相较于现有技术中的图同构网络GIN及图注意网络GAT，其效果更优。
实施例二：
本实施例提供一种基于边缘驱动图神经网络的人类表征预测装置，包括：
数据获取及预处理模块，用于获取大脑功能磁共振图像数据，对其进行预处理后配准至标准空间；
功能连接矩阵获取模块，用于对配准至标准空间的大脑功能磁共振图像数据在时间维度进行处理，得到包含大脑网络拓扑信息的功能连接矩阵；
节点值初始化模块，用于将功能连接矩阵节点值初始化为1，连同人类表征标签一并送入图神经网络，该图神经网络为边缘驱动图神经网络；
中间层节点值更新计算模块，用于对图神经网络的每个中间层进行节点值更新计算，包括图卷积计算、张量积计算和特征转换激活；
其中，图卷积计算是对图神经网络第K个中间层中的功能连接矩阵An×n(n表示节点个数)和传播系数
Figure BDA0003485204990000091
(m为卷积核数量)进行图卷积计算得到权重共享矩阵
Figure BDA0003485204990000092
张量积计算是将权重共享矩阵
Figure BDA0003485204990000093
与第k-1个中间层的节点值
Figure BDA0003485204990000094
矩阵相乘，得到第K个中间层的权重共享张量积
Figure BDA0003485204990000095
特征转换激活是将权重共享张量积通过特征转换参数
Figure BDA0003485204990000096
进行特征转换并送入激活函数得到第k个中间层输出的节点值：
Figure BDA0003485204990000097
式中σ()为激活函数；
线性模型预测模块，用于将每一个中间层输出的节点值进行拼接得到全连接层，然后通过线性模型对当前得到的节点数据及对应的人类表征标签进行分类或回归预测得到预测结果。
预测模块能得到人类表征中流体智力、晶体智力或工作记忆的预测值并进行回归预测；能得到人类表征中性别或年龄的测其类别并进行分类预测。
在一个实施例中，提供一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述实施例的基于边缘驱动图神经网络的人类表征预测方法的步骤。
在一个实施例中，提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序指令，该程序指令可被处理器执行以实现上述实施例的基于边缘驱动图神经网络的人类表征预测方法的步骤。
上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品等等。
在各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的易失性或非易失的计算机可读取存储介质中。基于这样的理解，本方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random AccessMemory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种基于边缘驱动图神经网络的人类表征预测方法，其特征在于，该方法包括如下步骤：
步骤一，获取大脑功能磁共振图像数据，对其进行预处理后配准至标准空间；
步骤二，对配准至标准空间的大脑功能磁共振图像数据在时间维度进行处理，得到包含大脑网络拓扑信息的功能连接矩阵；
步骤三，将功能连接矩阵节点值初始化为1，连同人类表征标签一并送入图神经网络，该图神经网络为边缘驱动图神经网络；
步骤四，对图神经网络的每个中间层进行节点值更新计算，包括图卷积计算、张量积计算和特征转换激活；
步骤4.1对图神经网络第K个中间层中的功能连接矩阵An×n(n表示节点个数)和传播系数
Figure FDA0003485204980000011
(m为卷积核数量)进行图卷积计算得到权重共享矩阵
Figure FDA0003485204980000012
步骤4.2将权重共享矩阵
Figure FDA0003485204980000013
与第k-1个中间层的节点值
Figure FDA0003485204980000014
矩阵相乘，得到第K个中间层的权重共享张量积
Figure FDA0003485204980000015
步骤4.3将权重共享张量积通过特征转换参数
Figure FDA0003485204980000016
进行特征转换并送入激活函数得到第k个中间层输出的节点值：
Figure FDA0003485204980000017
式中σ()为激活函数；
步骤五，将步骤四得到的每一个中间层输出的节点值进行拼接得到全连接层，然后通过线性模型对当前得到的节点数据及对应的人类表征标签进行分类或回归预测得到预测结果。
2.如权利要求1所述的基于边缘驱动图神经网络的人类表征预测方法，其特征在于，所述步骤一中，预处理包括空间预处理、时间预处理和噪声去除；
所述空间预处理包括空间伪影去除、与结构图像配准以及与标准空间的对齐；
所述空间伪影去除，是去除异常陡峭的峰波(Spike)或缓慢的偏倚(Drift)；与结构图像配准，是将低分辨率的功能图像上的点定位在高分辨率的结构图像上以便进行更细节的数据分析；所述标准空间对齐是通过拉伸、压缩以及卷绕使扫描得到的大脑与标准大脑模板一致，以便进行数据分析，该标准大脑模板为CIFTI灰度坐标空间；
所述时间预处理通过高通时间滤波去除低频伪影；
所述噪声去除是通过自动去噪ICA-FIX算法处理数据以去除噪声成分，噪声成分包括功能磁共振图像扫描时头部运动和扫描仪伪影带来的数据噪声。
3.如权利要求1所述的基于边缘驱动图神经网络的人类表征预测方法，其特征在于，所述步骤二中，时间维度进行处理是指对包含大脑网络拓扑信息的大脑功能磁共振图像数据中每个脑区所有节点的时间序列降维、方差归一化并沿时间轴依次拼接，形成功能连接矩阵。
4.如权利要求1所述的基于边缘驱动图神经网络的人类表征预测方法，其特征在于，所述步骤三中，边缘驱动图神经网络包括输入层、多个中间层、多个中间层节点值更新计算模块、输出层和线性模型。
5.如权利要求1所述的基于边缘驱动图神经网络的人类表征预测方法，其特征在于，所述步骤4.3具体包括：
步骤4.3.1对第k个中间层计算得到的权重共享张量积通过特征转换参数
Figure FDA0003485204980000021
将m维的节点特征转换为n维的新特征
Figure FDA0003485204980000022
步骤4.3.2将特征转换后的新特征送入激活函数，即可得到第k个中间层的输出的节点值：
Figure FDA0003485204980000023
式中σ()为激活函数，也即第k+1层输入的节点值；激活函数视人类表征的不同及对应任务的不同，所述激活函数为relu、LeakyRelu或sigmoid激活函数。
6.如权利要求1所述的基于边缘驱动图神经网络的人类表征预测方法，其特征在于，所述人类表征包括：流体智力、晶体智力、工作记忆、性别和年龄。
7.一种基于边缘驱动图神经网络的人类表征预测装置，其特征在于，包括：
数据获取及预处理模块，用于获取大脑功能磁共振图像数据，对其进行预处理后配准至标准空间；
功能连接矩阵获取模块，用于对配准至标准空间的大脑功能磁共振图像数据在时间维度进行处理，得到包含大脑网络拓扑信息的功能连接矩阵；
节点值初始化模块，用于将功能连接矩阵节点值初始化为1，连同人类表征标签一并送入图神经网络，该图神经网络为边缘驱动图神经网络；
中间层节点值更新计算模块，用于对图神经网络的每个中间层进行节点值更新计算，包括图卷积计算、张量积计算和特征转换激活；
其中，图卷积计算是对图神经网络第K个中间层中的功能连接矩阵An×n(n表示节点个数)和传播系数
Figure FDA0003485204980000031
(m为卷积核数量)进行图卷积计算得到权重共享矩阵
Figure FDA0003485204980000032
张量积计算是将权重共享矩阵
Figure FDA0003485204980000033
与第k-1个中间层的节点值
Figure FDA0003485204980000034
矩阵相乘，得到第K个中间层的权重共享张量积
Figure FDA0003485204980000035
特征转换激活是将权重共享张量积通过特征转换参数
Figure FDA0003485204980000036
进行特征转换并送入激活函数得到第k个中间层输出的节点值：
Figure FDA0003485204980000037
式中σ()为激活函数；
线性模型预测模块，用于将每一个中间层输出的节点值进行拼接得到全连接层，然后通过线性模型对当前得到的节点数据及对应的人类表征标签进行分类或回归预测得到预测结果。
8.如权利要求7所述的基于边缘驱动图神经网络的人类表征预测装置，其特征在于，所述预测模块能得到人类表征中流体智力、晶体智力或工作记忆的预测值并进行回归预测；能得到人类表征中性别或年龄的测其类别并进行分类预测。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行计算机程序时实现权利要求1至6中任一项所述的基于边缘驱动图神经网络的人类表征预测方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质用于存储程序指令，该程序指令可被处理器执行以实现权利要求1至6中任一项所述的基于边缘驱动图神经网络的人类表征预测方法的步骤。
CN202210078759.6A 2022-01-24 2022-01-24 一种基于边缘驱动图神经网络的人类表征预测方法及装置 Pending CN114391826A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210078759.6A CN114391826A (zh) 2022-01-24 2022-01-24 一种基于边缘驱动图神经网络的人类表征预测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210078759.6A CN114391826A (zh) 2022-01-24 2022-01-24 一种基于边缘驱动图神经网络的人类表征预测方法及装置

Publications (1)

Publication Number Publication Date
CN114391826A true CN114391826A (zh) 2022-04-26

Family

ID=81233425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210078759.6A Pending CN114391826A (zh) 2022-01-24 2022-01-24 一种基于边缘驱动图神经网络的人类表征预测方法及装置

Country Status (1)

Country Link
CN (1) CN114391826A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269304A (zh) * 2023-03-09 2023-06-23 南京航空航天大学 一种拼接层预处理方法以及三维电阻抗成像方法
CN116485937A (zh) * 2023-06-21 2023-07-25 吉林大学 基于图神经网络的ct运动伪影消除方法及系统
CN116740221A (zh) * 2023-08-16 2023-09-12 之江实验室 实时脑功能激活图生成方法、装置、计算机设备和介质
CN117122303A (zh) * 2023-10-26 2023-11-28 烟台大学 一种脑网络的预测方法、系统、设备和存储介质

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116269304A (zh) * 2023-03-09 2023-06-23 南京航空航天大学 一种拼接层预处理方法以及三维电阻抗成像方法
CN116269304B (zh) * 2023-03-09 2024-01-12 南京航空航天大学 一种拼接层预处理方法以及三维电阻抗成像方法
CN116485937A (zh) * 2023-06-21 2023-07-25 吉林大学 基于图神经网络的ct运动伪影消除方法及系统
CN116485937B (zh) * 2023-06-21 2023-08-29 吉林大学 基于图神经网络的ct运动伪影消除方法及系统
CN116740221A (zh) * 2023-08-16 2023-09-12 之江实验室 实时脑功能激活图生成方法、装置、计算机设备和介质
CN116740221B (zh) * 2023-08-16 2023-10-20 之江实验室 实时脑功能激活图生成方法、装置、计算机设备和介质
CN117122303A (zh) * 2023-10-26 2023-11-28 烟台大学 一种脑网络的预测方法、系统、设备和存储介质
CN117122303B (zh) * 2023-10-26 2024-01-30 烟台大学 一种脑网络的预测方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
CN114391826A (zh) 一种基于边缘驱动图神经网络的人类表征预测方法及装置
CN113616184B (zh) 基于多模态磁共振图像的脑网络建模与个体预测方法
Kumar et al. Breast cancer classification of image using convolutional neural network
Goutte et al. On clustering fMRI time series
US20230301542A1 (en) Brain atlas individualization method and system based on magnetic resonance and twin graph neural network
CN111863244B (zh) 基于稀疏池化图卷积的功能连接精神疾病分类方法和系统
Thurnhofer-Hemsi et al. Multiobjective optimization of deep neural networks with combinations of Lp-norm cost functions for 3D medical image super-resolution
Gao et al. Fusion of medical images based on salient features extraction by PSO optimized fuzzy logic in NSST domain
Rajesh et al. An evolutionary block based network for medical image denoising using Differential Evolution
CN113693563A (zh) 一种基于超图注意力网络的脑功能网络分类方法
Abdelmaguid et al. Left ventricle segmentation and volume estimation on cardiac mri using deep learning
Monemian et al. Analysis of a novel segmentation algorithm for optical coherence tomography images based on pixels intensity correlations
Yancheng et al. RED-MAM: A residual encoder-decoder network based on multi-attention fusion for ultrasound image denoising
CN115272295A (zh) 基于时域-空域联合状态的动态脑功能网络分析方法及系统
CN113947157A (zh) 一种基于层次聚类和结构方程模型的动态脑效应连接网络生成方法
Betzel et al. Multi-policy models of interregional communication in the human connectome
CN114708637A (zh) 一种基于元学习的人脸动作单元检测方法
Liu et al. An Interpretable CNN for the Segmentation of the Left Ventricle in Cardiac MRI by Real-Time Visualization.
Charmchi et al. Optimizing u-net to segment left ventricle from magnetic resonance imaging
Yadav Bayesian deep learning based convolutional neural network for classification of Parkinson’s disease using functional magnetic resonance images
CN115409843B (zh) 基于尺度均衡耦合卷积架构的脑神经影像特征提取方法
CN110613445A (zh) 一种基于dwnn框架的心电信号的识别方法
Liu et al. Densely connected stacked u-network for filament segmentation in microscopy images
CN115985488A (zh) 基于动态超网络的脑疾病诊断方法、装置及系统
Alharthi et al. Do it the transformer way: A comprehensive review of brain and vision transformers for autism spectrum disorder diagnosis and classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination