CN116912084A - 神经影像数据处理方法、装置、电子设备及存储介质 - Google Patents
神经影像数据处理方法、装置、电子设备及存储介质 Download PDFInfo
- Publication number
- CN116912084A CN116912084A CN202310933112.1A CN202310933112A CN116912084A CN 116912084 A CN116912084 A CN 116912084A CN 202310933112 A CN202310933112 A CN 202310933112A CN 116912084 A CN116912084 A CN 116912084A
- Authority
- CN
- China
- Prior art keywords
- time
- information
- space
- graph
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000002610 neuroimaging Methods 0.000 title claims description 20
- 238000003672 processing method Methods 0.000 title abstract description 15
- 210000004556 brain Anatomy 0.000 claims abstract description 68
- 238000000034 method Methods 0.000 claims abstract description 68
- 230000001537 neural effect Effects 0.000 claims abstract description 56
- 238000010586 diagram Methods 0.000 claims abstract description 51
- 238000012512 characterization method Methods 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 31
- 239000011159 matrix material Substances 0.000 claims description 61
- 230000004927 fusion Effects 0.000 claims description 43
- 238000012545 processing Methods 0.000 claims description 42
- 230000003044 adaptive effect Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 30
- 239000013598 vector Substances 0.000 claims description 23
- 230000009977 dual effect Effects 0.000 claims description 19
- 238000004364 calculation method Methods 0.000 claims description 9
- 210000005036 nerve Anatomy 0.000 abstract description 5
- 239000010410 layer Substances 0.000 description 37
- 230000002123 temporal effect Effects 0.000 description 32
- 230000007177 brain activity Effects 0.000 description 20
- 238000004590 computer program Methods 0.000 description 17
- 230000007246 mechanism Effects 0.000 description 16
- 208000020016 psychiatric disease Diseases 0.000 description 15
- 238000004891 communication Methods 0.000 description 14
- 238000005096 rolling process Methods 0.000 description 10
- 230000006399 behavior Effects 0.000 description 9
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 9
- 238000002595 magnetic resonance imaging Methods 0.000 description 9
- 238000000537 electroencephalography Methods 0.000 description 8
- 230000004913 activation Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 7
- 239000000284 extract Substances 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000010606 normalization Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 210000004369 blood Anatomy 0.000 description 4
- 239000008280 blood Substances 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000003745 diagnosis Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000004497 NIR spectroscopy Methods 0.000 description 3
- 238000005481 NMR spectroscopy Methods 0.000 description 3
- 208000028017 Psychotic disease Diseases 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 3
- 238000004220 aggregation Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002779 inactivation Effects 0.000 description 3
- 229910052760 oxygen Inorganic materials 0.000 description 3
- 239000001301 oxygen Substances 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- INGWEZCOABYORO-UHFFFAOYSA-N 2-(furan-2-yl)-7-methyl-1h-1,8-naphthyridin-4-one Chemical compound N=1C2=NC(C)=CC=C2C(O)=CC=1C1=CC=CO1 INGWEZCOABYORO-UHFFFAOYSA-N 0.000 description 2
- 241000965478 Darksidea epsilon Species 0.000 description 2
- 108010064719 Oxyhemoglobins Proteins 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000017531 blood circulation Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 108010002255 deoxyhemoglobin Proteins 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000004064 dysfunction Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000003012 network analysis Methods 0.000 description 2
- 239000013047 polymeric layer Substances 0.000 description 2
- 238000006116 polymerization reaction Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 208000006096 Attention Deficit Disorder with Hyperactivity Diseases 0.000 description 1
- 208000036864 Attention deficit/hyperactivity disease Diseases 0.000 description 1
- 206010003805 Autism Diseases 0.000 description 1
- 208000020706 Autistic disease Diseases 0.000 description 1
- 108091026922 FnrS RNA Proteins 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000004727 amygdala Anatomy 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013399 early diagnosis Methods 0.000 description 1
- 210000001320 hippocampus Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000003340 mental effect Effects 0.000 description 1
- 230000004630 mental health Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- KJONHKAYOJNZEC-UHFFFAOYSA-N nitrazepam Chemical compound C12=CC([N+](=O)[O-])=CC=C2NC(=O)CN=C1C1=CC=CC=C1 KJONHKAYOJNZEC-UHFFFAOYSA-N 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000006213 oxygenation reaction Methods 0.000 description 1
- 210000002442 prefrontal cortex Anatomy 0.000 description 1
- ZMRUPTIKESYGQW-UHFFFAOYSA-N propranolol hydrochloride Chemical compound [H+].[Cl-].C1=CC=C2C(OCC(O)CNC(C)C)=CC=CC2=C1 ZMRUPTIKESYGQW-UHFFFAOYSA-N 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 210000004761 scalp Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008925 spontaneous activity Effects 0.000 description 1
- 230000002739 subcortical effect Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本公开涉及神经影像数据处理方法、装置、电子设备及存储介质，上述方法包括：获取目标神经影像数据，并将目标神经影像数据转换为时间序列信号和动态图。其中，时间序列信号包括目标神经影像数据的时间依赖关系，动态图包括目标神经影像数据的时间依赖关系以及空间依赖关系。把时间序列信号和动态图输入时空图特征提取模型，获得目标神经影像数据的全尺度图表征信息。全尺度图表征信息包括目标神经影像数据的时空特征信息，能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系。这些特征信息有助于更深入地理解目标神经影像数据的时空特性，并为后续的分类和预测任务提供了重要的基础。
Description
技术领域
本公开涉及生物信息技术领域，尤其涉及神经影像数据处理方法、装置、电子设备及存储介质。
背景技术
人脑作为一个高度复杂的神经生物学系统，在协调人类行为和认知方面起着至关重要的作用。大脑的活动在不同脑区之间存在着相互作用和调控关系，同时还受到时间上的动态变化影响。研究人员通过各种神经成像技术，如磁共振成像(MRI)、脑电图(EEG)、功能性近红外光谱(fNIRS)等，来捕捉人类的大脑活动，并采用时空图神经网络提取医学影像数据中的时空特征信息。
时空图神经网络(STGNN)是GNN的一个新兴分支，用于处理时间序列数据，它在捕获大脑活动随时间的动态变化方面显示出巨大的前景。然而，直接将STGNN应用于脑网络分析有一些固有的局限性需要解决。首先，现有的STGNN独立或交替地对空间和时间依赖性的建模方法，虽然能捕捉到空间依赖和时间依赖，但却无法同时捕捉时间和空间维度之间的内部依赖关系。第二，STGNN通常利用一维卷积神经网络(1DCNN)来捕捉时间维度上的动态依赖。然而，由于卷积运算的核大小有限，这些模型无法捕获超出卷积核感受野的长距离依赖关系，从而导致神经影像全局表征的缺失。第三，由于大脑活动是一个动态过程，大脑区域之间的连接随着时间的推移而变化，现有的STGNN无法捕获不同大脑区域的时间依赖性。以上三个问题均导致现有的STGNN无法获取完整且准确的时空特征信息。
发明内容
根据本公开的第一方面，提供了一种神经影像数据处理方法，包括：
获取目标神经影像数据；
将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；
把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。
根据本公开的第二方面，提供了一种神经影像数据处理装置，包括：
数据获取模块，用于获取目标神经影像数据；
数据处理模块，用于将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；
所述数据处理模块，还用于把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。
根据本公开的第三方面，提供了一种电子设备，包括：
处理器；以及，
存储程序的存储器；
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据本公开示例性实施例所述的方法。
根据本公开的第四方面，提供了一种非瞬时计算机可读存储介质，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行根据本公开示例性实施例所述的方法。
本公开实施例中提供的一个或多个技术方案，先将目标神经影像数据转换为时间序列信号和动态图。时间序列信号包括目标神经影像数据在时间维度上的演变关系，动态图包括目标神经影像数据在时间和空间维度上的演变关系。然后，将时间序列信号和动态图输入到时空图特征提取模型中，以获得目标神经影像数据的全尺度图表征信息。全尺度图表征信息包含了从目标神经影像数据中提取的丰富时空特征信息，能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系。这些特征信息有助于更深入地理解目标神经影像数据的时空特性，并为后续的分类和预测任务提供了重要的基础。
附图说明
在下面结合附图对于示例性实施例的描述中，本公开的更多细节、特征和优点被公开，在附图中：
图1示出了基于STIGR框架的时空图特征提取模型的流程图；
图2A示出了动态自适应邻居图；
图2B示出了基于DAN构造的邻接矩阵；
图2C示出了动态自适应相邻图卷积网络的流程图；
图3示出了全局时空双重注意网络(ST-DAN)流程图；
图4示出了基于对比学习的时空特征融合模块(CL-AM)结构图；
图5示出了本公开提出的神经影像数据处理方法与其它方法的性能比较图；
图6示出了本公开示例性实施例的神经影像数据处理方法的流程图；
图7示出了根据本公开示例性实施例的神经影像数据处理装置的功能模块示意性框图；
图8示出了根据本公开示例性实施例的芯片的示意性框图；
图9示出了能够用于实现本公开的实施例的示例性电子设备的结构框图。
具体实施方式
下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。
本文使用的术语“包括”及其变形是开放性包括，即“包括但不限于”“术语”“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。其他术语的相关定义将在下文描述中给出。需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当依据相关法律法规通过恰当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
在介绍本公开实施例之前首先对本公开实施例中涉及到的相关名词作如下释义：
脑部关键区域(Regions ofInterest,ROIs)：在脑科学和神经影像学领域中，ROI通常通过解剖学边界、功能区域或特定的脑结构来定义。研究人员可以根据先前的研究结果、理论假设或感兴趣的功能网络来选择ROI。在脑影像研究中，常用的ROI包括大脑的特定皮层区域、亚皮质结构(如杏仁核、海马体等)以及脑内特定的子区域。
功能性磁共振成像(Functional MRI,fMRI)：是一种非侵入性的神经影像技术，用于测量和分析大脑活动时的血氧水平变化。通过检测血液中的氧合水平变化来间接测量脑区的神经活动。它利用氧血红蛋白和脱氧血红蛋白对磁场的不同敏感性，当脑区活动增加时，血氧水平也会发生变化。
空间-时间交互式图表示(Spatio-Temporal Interactive GraphRepresentation，STIGR)框架：STIGR框架是一个计算框架，用于在基于图的表示中结合空间和时间信息。它用于建模和分析具有空间和时间依赖关系的复杂数据，例如图像或视频数据。
随着精神类疾病在全球疾病占比中大幅增加，儿童和青少年的患病率也呈现上涨趋势。目前，全球约有10-20％的人口受到心理健康问题的困扰。鉴于精神类疾病的全球流行情况，对患者进行有效的诊断至关重要。精神疾病诊断涉及对人脑的功能和结构进行评估，人脑医学影像数据中包含的时空特征信息在精神疾病诊断中起着关键作用，它描述了大脑在时间和空间上的变化和相互作用。
由于精神疾病的发展通常涉及大脑活动的时序变化，人脑医学影像数据中包含的时空特征信息可以捕捉在不同时间点上大脑活动的变化模式，例如特定脑区的激活强度、频率、时延等。这些特征可以用于诊断和区分精神疾病。
由于大脑的结构和功能在空间上具有局部和全局的特征，人脑医学影像数据中包含的空域特征信息描述了不同脑区之间的相互关系和连接模式，例如脑网络的拓扑结构、功能网络之间的通信强度、连接强度等。这些特征可以揭示精神疾病中脑区之间的异常连接或功能障碍。
而时空动态特征信息则结合了时域和空域特征，描述了大脑活动的时序演变和脑区之间的时空相互作用。这些特征可以揭示精神疾病中不同脑区之间的时序关系、变化的空间模式以及脑网络的时空特性。因此，时空动态特征信息表征了精神疾病在时间和空间上的动态变化。
通过对精神疾病患者和正常对照组的人脑医学影像数据进行时空特征分析，可以发现与精神疾病相关的特征模式。这些特征模式可以用于精神疾病的早期诊断、病情监测和治疗反馈评估。此外，时空特征信息还可以与其他临床信息(如症状、认知评估等)相结合，提高精神疾病的诊断准确性和个体化治疗的效果。
为提取人脑医学影像数据中的时空特征信息，可以采用时空图神经网络(STGNN)处理时间序列数据，以及捕获大脑活动随时间的动态变化。然而，现有的STGNN应用于脑网络分析还存在一些固有的局限性需要解决。首先，现有的STGNN独立或交替地对空间和时间依赖性的建模方法，虽然能捕捉到空间依赖和时间依赖，但却无法同时捕捉时间和空间维度之间的内部依赖关系。第二，STGNN通常利用1DCNN来捕捉时间维度上的动态依赖。然而，由于卷积运算的核大小有限，这些模型无法捕获超出卷积核感受野的长程依赖关系，从而导致神经影像全局表征的缺失。第三，由于大脑活动是一个动态过程，大脑区域之间的连接随着时间的推移而变化，现有的STGNN无法捕获不同大脑区域的时间依赖性。以上三个问题均导致现有的STGNN无法获取完整且准确的时空特征信息。
因此，为了解决上述问题，本公开实施例首先提供了一种神经影像数据处理方法，通过基于STIGR框架的时空图特征提取模型能够将核磁共振影像数据转化为图结构，从而充分利用图的拓扑结构和特性。这种图结构能够捕捉到不同区域之间的连接和相互作用，有助于揭示核磁共振影像中的隐含信息和关联关系。通过注意力机制，可以进一步提取图中的重要节点和边，突出关键时空区域的贡献，提高时空特征的判别能力和表达能力。
图1示出了基于STIGR框架的时空图特征提取模型的流程图，如图1所示，首先，对原始神经影像数据进行去噪处理，获得时间-ROI功能连接矩阵，然后将其分为多个会话以生成不同的脑节点图作为以ROI为轴的动态图网络输入(x)和以时间为轴的时间序列信号xT。然后，将时间序列信号xT输入到ST-DAN模块中，以从时间信号xT中提取时间注意力信息。类似地，使用带有CL-AM模块的DAN-GCN堆栈来捕获局部图表征信息。最后，从两个角度学习的图形表示时间注意力信息和局部图表征信息通过门控融合模块进行融合，生成全尺度图表征信息，全尺度图表征信息用于下游的分类、预测任务。
示例性的，本公开使用时空图特征提取模型对核磁共振影像数据进行特征提取，时空图特征提取模型可以包含三个主要模块：动态自适应相邻图卷积网络(DynamicAdaptative-Neighbor Graph Convolutional Networks，DAN-GCN)、全局时空双重注意网络(Spatio-Temporal Dual-Attention Network，ST-DAN)和基于对比学习的时空特征融合模块(Contrastive Learning-basedAdjacent Matrix，CL-AM)。
其中，DAN-GCN模块旨在动态自适应地学习神经影像数据的邻居图卷积网络表示。它使用邻居信息和动态自适应的注意机制，对节点之间的依赖关系进行建模。这样可以更好地捕捉神经影像数据中的时空动态性质，并提高图卷积网络的表示能力。
ST-DAN模块旨在学习神经影像数据的时空双重注意力网络表示。它通过引入时空注意力机制，同时关注空间和时间维度上的信息，从而捕捉到节点之间的时空依赖关系。这样可以提高对神经影像数据中动态模式和时空关联的建模能力。
CL-AM模块是基于对比学习的邻接矩阵表示方法。为了更好地建模不同会话之间的节点连接，CL-AM被设计为一种基于对比学习的自适应映射方法。它可以自适应地提取DAN-GCN模块中的跨会话时间连接，从而捕捉不同会话之间的节点关系和演化模式。
由于MRI数据包含丰富的时空信息，传统的特征提取方法往往难以捕捉这种时空特征的细节和相关性。时空图特征提取模型能够将MRI影像数据转化为图结构，从而充分利用图的拓扑结构和特性。这种图结构能够捕捉到不同区域之间的连接和相互作用，有助于揭示MRI影像中的隐含信息和关联关系。通过注意力机制，可以进一步提取图中的重要节点和边，突出关键时空区域的贡献，提高特征的判别能力和表达能力。
示例性的，为了捕捉神经影像数据的动态特性，将以ROI为轴的输入建模为具有T个时间戳的基础动态图网络，基础动态图网络可以表示为：其中T代表时间点的数量，表示利用第t个时间点的输入所构造的子图表示。
具体的，第t个时间戳处的动态图由一组顶点(N表示fMRI中的ROIs或EEG中的通道)和一个连接矩阵表示ROI之间的功能连接，即
因此，我们的任务是学习从输入到真实标签Y的映射函数f。该步骤可以通过下述公式(1)表示：
其中，表示损失函数在(X,Y)空间上的期望值，表示A上的附加正则化项。
示例性的，为了捕获动态大脑活动中空间、时间和时空相互依赖性的信息，我们在DAN-GCN中引入了一种动态自适应邻域图构造方法具体的，可以将T个时间戳分为D个扫描会话，每个会话的长度为在相邻时间会话之间建立连接，以创建捕捉短期大脑网络动态的局部时空子图。
图2A示出了动态自适应邻居图，如图2A所示，的规模可以由相邻扫描会话的数量决定，假设将相邻时间节点数量设置为1，将以时间为轴的时间序列信号xT划分为[d-1]、[d]和[d+1]区域，则并转换为动态自适应邻居图。
图2B示出了基于DAN构造的邻接矩阵，如图2B所示，可以对时间点相邻的子图建立起基于动态自适应邻居图(DynamicAdaptative-Neighbor Graph,DAN)的邻接矩阵ADAN，并设置ADAN的尺寸大小为3N×3N。
示例性的，邻接矩阵ADAN可以包括空间连接图矩阵、时序连接图矩阵以及填充矩阵，具体如下：
空间连接图矩阵(ASG)放置在ADAN的对角线上，表示由皮尔逊相关系数(PCC)计算出的每个相邻扫描会话中的动态图。
示例性的，第d个会话的ASG计算可以通过下述公式(2)表示：
其中，i和j分别表示第i和j个节点。在本实施例中，ASG由基于皮尔森系数计算得出前10％空间相关性最显著的功能连接对所组成，用于减少冗余信息。
时序连接图矩阵(ATG)位于空间连接图的附近，由基于对比学习的时空特征融合模块所计算得出的矩阵组成。它提取不同图会话之间的时间连接，从而对相邻时间动态进行全面建模。
填充矩阵(AP)用于填充剩余的空白，矩阵内数值设置为0。
图2C示出了动态自适应相邻图卷积网络的流程图。如图2C所示，我们可将所构建的ADAN输入至邻接图卷积模块(AGCM)以提取相邻子图之间的混合时空关系。通过标准的图卷积运算后，以时间点t为中心，可以纳入相邻若干个时间点作为邻居子图来汇总它们之间的混合图表示。对于第l个输入图表示，表示为图卷积运算可以通过下述公式(3)表示：
其中，表示需要学习的权重矩阵；表示偏差向量；σ：表示线性整流函数(Rectified Linear Unit,ReLU)作为激活函数。
在图卷积操作后，在时间维度上执行最大池化以聚合相邻会话的表示，从而得到大小为N×S的局部图表示矩阵h(l)'。时空图输入H(l)的每个扫描会话为由AGCM并行处理，生成局部图表示(其中d∈[1,D])。在处理第一个和最后一个扫描会话时可以用零填充。
最后，可以采用聚合层来连接该步骤可以通过下述公式(4)表示：
其中<.>表示串联运算符。
示例性的，为了汇总各时间点的局部图表示矩阵，可以在后面接上聚合层(Aggregation)、批量归一化层(Batch Normalization)、ReLU激活函数以及随机失活层(Dropout)，到此可视为一个的动态自适应相邻图卷积层，后面可叠加若干层，扫描会话S的长度随着层数的增加而增加，从而扩大图卷积层在时间维度上的感受野(ReceptiveField),最终输出局部时空图表示张量H(L)。
在实际应用中，保证每个节点都连接到相邻时间会话中的所有其他节点，并对每个样本计算单独的邻接矩阵将带来昂贵的计算成本。为了平衡计算效率和保持与时空邻居相关性的有效性，我们将每个节点仅连接到其前后相邻的会话。这样既能降低计算成本，又能保持有效捕捉相邻时间会话之间节点间的连接。
随着网络结构的加深，图卷积具有消息传递属性可以捕捉相邻时间会话之间的节点连接。因此，通过使用图卷积网络进行消息传递，我们能够有效地捕捉动态大脑活动中的时空依赖性。
因此，DAN-GCN模块能够有效地对大脑活动的时空特征进行建模，并为后续的图卷积操作提供有意义的节点连接。另一方面，通过DAN-GCN模块可以更好地理解动态大脑网络的结构和功能，并获得更准确的图表示。
除了使用DAN-GCN模块检测短期动态变化外，捕捉时空的全局依赖性对于提供更全面的上下文信息和大脑连接模式的静态理解也至关重要，为了明确计算不同稳态状态空间，识别时空同步变化的过程。本公开提出了基于Transformer编码器的ST-DAN模块，利用注意力机制分解时间和空间维度，学习全局时空表示和引导基于对比学习的时空特征融合模块的计算过程。
图3示出了全局时空双重注意网络(ST-DAN)流程图。如图3所示，ST-DAN模块可以包括以下步骤：
首先，将时间序列信号通过位置嵌入(Position Embeddings)层进行处理，得到编码位置信息的特征表示信息然后使用具有若干层时空双重注意结构的网络对E分别提取时间和空间维度的注意力特征。其中，时间注意力特征信息是选择性地融合来自同一ROI的不同时间点的全局信息，而空间注意力特征信息则是选择性地融合在同一时间点的不同ROI之间的全局信息。所采用的注意力模块，可通过学习三个不同的矩阵表示(Q,K,V分别代表查询Query、键Key、值Value)来对E进行特征提取，该步骤可以通过下述公式(5)表示：
Q＝fQ(E),K＝fk(E),V＝fV(E) (5)
其中fQ、fk和fV是查询、键和值对应的投影函数。
示例性的，可以使用点积相似度来比较Q和(K,V)对的差距，以获得的注意力分布。即如果Q和K相似，具有较高的注意力权重，则认为对应的是相关的。为了模型可以基于相同的注意力机制学习到不同的行为，并将这些不同的行为作为知识组合起来，用以捕获时空序列内不同范围的依赖关系(如短距离依赖和长距离依赖关系)，可以采用多头注意力机制(Multi-HeadAttention)独立学习得到不同的线性投影(Linear Projections)来更换Q,K,V的潜在组合，再通过对不同的注意力组合汇聚(因此称为多头)的输出拼接在一起，相当于经过加权调整后的V矩阵作为时间注意力模块的输出该步骤可以通过下述公式(6)和(7)表示：
其中，表示用于多头串联聚合的线性变换矩阵。
同样，空间注意力模块的构造方式与时间注意力模块类似，但空间级Q、K和V矩阵是通过输入嵌入特征(即)的转置，从而输出同一时间戳处所有节点的空间注意力信息(表示为)。
由于时间和空间注意力模块分别独立计算和因此它们无法捕获空间和时间表示之间的相互依赖关系。为了解决这个问题，需要在多头注意力机制中进行时间和空间信息的融合。
示例性的，可以使用逐元素加法⊕融合时间和空间注意力信息，即然后，将输出传递给两个并行的前馈网络。这使得网络能够提取时空相互依赖性，同时还探索特定于模态的内部依赖性。
在本实施例中，还可以按照Transfomer编码器的设计框架，在双重注意力模块和前馈层之后应用残差连接与层归一化进行处理(Add&Norm)。为了实现连续更新融合嵌入，可以堆叠L个时空注意力层来连续更新融合嵌入。最后，ST-DAN模块的输出为时间和空间注意力信息和其中，时间注意力信息用于进一步的特征融合。而空间注意力信息用于CL-AM模块的相邻矩阵ADAN构造DAN图。
基于此，ST-DAN模块所设计的注意力模块，可对时间和空间维度的信息单独进行特征提取，并输出到两个并行的前馈层，从而提取时空相互依赖关系，同时探索特定于模态的内部变化模式。在实际应用中，还可以通过串联多层网络结构，从而逐步提取更高层次的注意力特征嵌入，增强全局时空特征的学习能力。
为了有效地捕获相邻扫描会话中每个中心节点及其相邻节点的动态混合图表示，必须同时对不同会话内和不同会话之间的节点连接进行建模。一般来说，空间连接图矩阵ASG可以通过基于静态一致性的测量(例如PCC)来计算，以对同一会话内连接组节点之间的相似程度进行建模。然而，由于不同扫描会话ATG之间复杂的跨时间连接特性，对它们之间的节点连接进行建模相当具有挑战性。
为解决上述问题，本公开提出基于对比学习的时空特征融合模块(CL-AM)，在不依赖标签信息的情况下，通过对同一个ROI的相邻时间点进行相似性对比学习，从而完成连续性建模分析。该时空特征融合模块将全局时空双重注意网络产生的空间注意信息转换为时间维度上的空间表示。
图4示出了基于对比学习的时空特征融合模块(CL-AM)结构图。如图4所示，时间序列信号XT经过全局时空双重注意网络处理后，输出时间和空间注意力信息和其中时间注意力信息用于后续特征融合，空间注意力信息输入CL-AM模块。
示例性的，可以将空间注意力信息分为D个序列，以使用对比学习来学习成对的时间连接性。为了学习我们首先使用ST-DAN的空间级注意力网络对当前目标时间点d和前一时间点d-1的特征进行编码操作，然后输入到两个不同的全连接层作为线性投影映射到潜在特征空间进行相似性计算。如此，我们可得到对应的d和d-1时间点上的N维嵌入向量C和P，分别表示会话d和会话d-1的区域特征。
具体的，可以将同一节点上的相邻时间点特征归类为“正样本”数据，表示属于同一类，反之则标记为“负样本”数据，表示属于不同类别。然后，可以通过预测P-C的所有组合是否属于同一类，即具有时序连续性，来最大化N个正样本的相似性，同时最小化其余{N2-N}个负样本的相似性。给定第i个和第j个节点，损失函数可以通过下述公式(8)表示：
其中，SC表示相似性相关矩阵；λ是一个正常数，用于权衡“正样本”对(第一项)和“负样本”对(第二项)的重要性。SCij可以通过下述公式(9)表示：
其中，||.||2是L2范数。
在本实施例中，通过优化损失函数时序连接图矩阵可以通过学习到的相似度矩阵SC从而很好地建模，以进行进一步的动态图卷积操作。由于不同任务的成对时间连接数量不同，因此对于DAN-GCN的处理，总体对比损失被定义为其中m表示第m个成对时间连接。
最后，可以使用门控融合模块对时间注意力信息和局部图表征信息H(L)进行融合，输出全尺度图表征信息，该步骤可以通过下述公式(10)表示：
其中θ是一个可学习的参数。
基于上述实施例，在本公开提供的又一实施例中，根据不同的下游任务需求，可以将获得的全尺度图表征信息R传递到不同的输出网络。
示例性的，对于分类任务，输入神经影像图像(X)和目标标签(Y)，模型整体的损失函数可以根据公式(1)设计为下述公式(11)：
基于此，本公开示例性实施例先对原始神经影像数据进行去噪以获得时间序列信号输入，然后将其分为多个扫描会话以生成不同的脑节点图作为动态图输入。然后，将预处理后的时间序列信号输入到ST-DAN模块中，输出时间和空间注意力信息和进而，使用带有CL-AM模块的DAN-GCN模块来获取局部图表征信息H(L)。最后，使用门控融合模块对时间注意力信息和局部图表征信息H(L)进行融合，输出全尺度图表征信息。
本公开示例性实施例中提供的一个或多个技术方案，其中，全局时空双重注意网络可以基于相同的注意力机制学习到不同的行为，然后将这些不同的行为作为知识组合起来，来捕获时空序列内不同范围的依赖关系(如短距离依赖和长距离依赖关系)。
在动态自适应相邻图卷积网络中，为了汇总各时间点的局部图表示矩阵h(l)'，在邻接图卷积模块后面接上聚合层、批归一化、ReLU激活函数以及随机失活层，组成一个的动态自适应相邻图卷积层。通过叠加若干层从而扩大图卷积层在时间维度上的感受野，最终输出局部图表征信息H(L)，从而捕获时空序列内的长距离依赖关系，获得完整的全局表征信息。
时空特征融合模块则将全局时空双重注意网络产生的空间注意信息转换为时间维度上的空间表示。并通过相似性计算方法，最大化N个正样本的相似性，同时最小化其余负样本的相似性，从而实现对向量C和P的分类，进而融合时空特征。
因此，本公开提供的神经影像数据处理方法能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系，从目标神经影像数据中提取出完整且准确的时空特征信息，为后续的分类和预测任务提供了重要的基础。
为了进一步证明本公开提出的神经影像数据处理方法的有效性，在本实施例中，评估了STIGR框架对来自公开数据集的三种不同类型神经影像数据的有效性，三种不同类型神经影像数据包括：1)来自自闭症脑成像数据交换I和II(ABIDEI/II)数据集和ADHD-200的fMRI数据联盟(ADHD-200)数据集，2)来自脑机接口(BCI)竞赛IV 2a(BCICIV_2a)和BCIChallenge2015(BCI2015)的EEG数据，以及3)基于fNIRS的BCI数据集(fNIRS-BCI)。
ABIDE I包含来自17个不同脑成像部位的1035个有效fMRI样本，其中包括505名ASD被试者和530名典型对照(TC)。
ABIDE II数据集也是一个多站点数据集，包含来自19个不同站点的1113名有效被试者，其中包括521名ASD参与者和592名TCs。
ADHD-200：ADHD-200包括来自8个国际成像站点的939个有效fMRI样本，涉及358名ADHD儿童和青少年以及581名TCs。由于ADHD-200的数据共享工作，可以使用CC200分割的预处理数据。
BCICIV_2a：BCICIV_2a是基于从九名被试者收集的脑电图记录的运动想象数据集。该数据集包括使用22通道脑电图记录的四种不同任务，分别是左手、右手、双脚和舌头的运动想象。
BCIC2015：BCIC2015是从26名健康参与者获得的脑电图数据集，这些参与者完成了基于“P300-Speller”范式的错误检测任务。在这个实验中，每个参与者都会收到一组36个字母和数字来组成单词。这些项目以随机顺序在屏幕上闪现，参与者必须一次选择一个单词项目。本实验的目的是在收到反馈后利用对55个脑电图信号通道的分析来识别所选项目不正确的情况。信号以600Hz的速率记录，随后使用带通范围为1至40Hz的5阶巴特沃斯滤波器进行滤波。
fNIRS-BCI：fNIRS-BCI由总共8个人获得的fNIRS记录组成，其中包括3名男性和5名女性，平均年龄为26±2.8岁。参与者被要求进行一项由提示引导的心算任务，该任务包括在提示后12秒的时间内从两位数中依次减去一位数。在这个与任务相关的时间段之后，有28秒的休息时间。在心算实验中，使用52通道fNIRS系统记录前额皮质中氧合血红蛋白(HbO)和脱氧血红蛋白(HbR)的变化。为了消除基线漂移，对fNIRS-BCI数据集中的所有信号应用了通带为0.002–0.018Hz的带通滤波器。
首先把STIGR框架应用在fMRI、EEG和fNIRS数据集上的初步分类任务中，并将其性能与SOTA方法进行比较，图5示出了本公开提出的神经影像数据处理方法与其它方法的性能比较图。如图5所示，对于fMRI数据集，我们在ABIDE I实现了72.73％的准确率(SEN：76.08％，SPE：68.84％和AUC：79.03％)。ABIDE II的准确率为72.53％(SEN：73.00％，SPE：71.56％和AUC：77.59％)，ADHD-200的准确率为76.15％(SEN：79.47％，SPE：72.35％和AUC：81.75％),其余方法的准确率如图5所示。
由于这些数据集是跨站点的，并且是从不同的医疗机构使用不同的扫描设备和协议收集的，导致显着的数据异质性，可能会显着影响分析的准确性。然而，尽管面临更大的样本量和数据异质性带来的挑战，STIGR提取的全尺度图表征信息在不同站点和设备上表现出强大的泛化能力，超越了CNN、堆叠自动编码器(SAE)和图同构网络(GIN)等深度学习技术。
由此可见，本公开提出的神经影像数据处理方法提取的全尺度图表征信息的准确性高且泛化能力强。
在本公开的又一实施例中，对于EEG数据，STIGR框架在BCICIV_2a和BCIC2015数据集上也优于当前的SOTA方法。实验设置了六种不同的二元分类任务：左手与右手(L/R)、左手与脚(L/F)、左手与舌头(L/T)、右手与脚(R/F)、右手与舌头(R/T)、脚与舌头(F/T)。
STIGR在BCICIV_2a中的被试者实现了89.28％的平均准确率，在BCIC2015上的4倍CV被试者中实现了75.53％的准确率。BCICIV_2a数据集的每个被试者和六个二元分类任务的分类结果如表1所示。结果表明，STIGR模型对9个被试者进行6个运动想象分类任务的准确率评估。其中在7名被试者中获得了较高的平均准确率，并且在BCICIV_2a数据集上的总体平均准确率比第二名高出2.13％。由于BCIC2015数据集用于Kaggle上的公开竞赛，将STIGR的性能与获胜算法进行比较。获胜算法在不使用泄露特征的情况下达到了72.94(±3.7)％的准确率。相比之下，STIGR的表现优于它，在4倍CV中的准确率为75.53(±4.2)，提高了2.59％。
表1BCICIV_2a数据集上5种不同方法的性能比较
基于上述实施例，本公开还提供的一种神经影像数据处理方法，图6示出了本公开示例性实施例的神经影像数据处理方法的流程图，如图6所示，该方法可以包括如下步骤：
步骤S610：获取目标神经影像数据。
实施例中，神经影像数据可以包括磁共振成像(MRI)、脑电图(EEG)、功能性近红外光谱(fNIRS)等输出的神经影像数据。这些技术通过不同的神经图像来测量大脑活动。核磁共振成像(MRI)利用静态磁场检测血氧水平相关信号的变化，脑电图(EEG)记录大脑的自发电活动，近红外光谱(fNIRS)通过放置在头皮上的光源和探测器测量血流信号。
由于精神疾病的发展通常涉及大脑活动的时序变化，神经影像数据中包含的时空特征信息可以捕捉在不同时间点上大脑活动的变化模式，例如特定脑区的激活强度、频率、时延等。这些特征可以用于诊断和区分精神疾病。
由于大脑的结构和功能在空间上具有局部和全局的特征，人脑医学影像数据中包含的空域特征信息描述了不同脑区之间的相互关系和连接模式，例如脑网络的拓扑结构、功能网络之间的通信强度、连接强度等。这些特征可以揭示精神疾病中脑区之间的异常连接或功能障碍。
而时空动态特征信息则结合了时域和空域特征，描述了大脑活动的时序演变和脑区之间的时空相互作用。这些特征可以揭示精神疾病中不同脑区之间的时序关系、变化的空间模式以及脑网络的时空特性。因此，时空动态特征信息表征了精神疾病在时间和空间上的动态变化。
步骤S620：将目标神经影像数据转换为时间序列信号和动态图。其中，时间序列信号包括目标神经影像数据的时间依赖关系，动态图包括目标神经影像数据的时间依赖关系以及空间依赖关系。
实施例中，对目标神经影像数据进行去噪处理，获得时间序列信号。然后将时间序列信号分为多个会话，生成不同的脑节点图作为动态图。时间序列信号包括目标神经影像数据在时间维度上的演变关系，动态图包括目标神经影像数据在时间和空间维度上的演变关系。
时间序列信号是目标神经影像数据在时间维度上的演变信息。它可以是在不同时间点上记录的脑影像数据的数值序列。这些时间点可以是连续的或者离散的。时间序列信号可能包含脑区域的激活程度、血流量或其他脑活动指标随时间的变化。
动态图是根据目标神经影像数据的时间-ROI功能连接矩阵生成的一系列脑节点图。每个脑节点图代表了一个特定时间点上不同脑区域之间的连接关系。动态图可以展示神经影像数据在时间和空间维度上的演变情况。
因此，时间序列信号和动态图进行时空特征信息包含目标神经影像数据的所有依赖关系，处理时间序列信号和动态图，可以提取完整且准确的时空特征信息。
步骤S630：把时间序列信号和动态图输入时空图特征提取模型，获得目标神经影像数据的全尺度图表征信息。其中，全尺度图表征信息包括目标神经影像数据的时空特征信息。
实施例中，时空图特征提取模型用于捕捉神经影像数据在时间和空间维度上的内在依赖关系，以及不同大脑区域之间的时间依赖关系，从而得到目标神经影像数据的全尺度图表征信息。时空图特征提取模型对时间序列信号进行处理，捕获其中的时序信息。时空图特征提取模型对动态图进行分析，捕获其中的空间关系和时间关系。最终获得全尺度图表征信息。
实施例中，全尺度图表征信息是时空图特征提取模型输出的结果，它包含了目标神经影像数据的时空特征信息。这些特征信息包括了神经影像数据在时间和空间维度上的变化规律、不同脑区域之间的关联性、时间序列的重要性等。全尺度图表征信息可以看作是神经影像数据在整个时间序列上的综合特征表示，它捕捉了数据的时空特性，并可用于后续的分类、预测和其他分析任务。
本公开实施例提供的神经影像数据处理方法先将目标神经影像数据转换为时间序列信号和动态图。时间序列信号包括目标神经影像数据在时间维度上的演变关系，动态图包括目标神经影像数据在时间和空间维度上的演变关系。然后，将时间序列信号和动态图输入到时空图特征提取模型中，以获得目标神经影像数据的全尺度图表征信息。全尺度图表征信息包含了从目标神经影像数据中提取的丰富时空特征信息，能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系。这些特征信息有助于更深入地理解目标神经影像数据的时空特性，并为后续的分类和预测任务提供了重要的基础。
基于上述实施例，在本公开提供的又一实施例中，上述时空图特征提取模型包括动态自适应相邻图卷积网络、全局时空双重注意网络、基于对比学习的时空特征融合模块以及门控融合模块。
实施例中，时空图特征提取模型可以包含三个主要模块：动态自适应相邻图卷积网络、全局时空双重注意网络和基于对比学习的时空特征融合模块。
其中，DAN-GCN模块旨在动态自适应地学习神经影像数据的邻居图卷积网络表示。它使用邻居信息和动态自适应的注意机制，对节点之间的依赖关系进行建模。这样可以更好地捕捉神经影像数据中的时空动态性质，并提高图卷积网络的表示能力。
ST-DAN模块旨在学习神经影像数据的时空双重注意力网络表示。它通过引入时空注意力机制，同时关注空间和时间维度上的信息，从而捕捉到节点之间的时空依赖关系。这样可以提高对神经影像数据中动态模式和时空关联的建模能力。
CL-AM模块是基于对比学习的邻接矩阵表示方法。为了更好地建模不同会话之间的节点连接，CL-AM被设计为一种基于对比学习的自适应映射方法。它可以自适应地提取DAN-GCN模块中的跨会话时间连接，从而捕捉不同会话之间的节点关系和演化模式。
由于MRI数据包含丰富的时空信息，传统的特征提取方法往往难以捕捉这种时空特征的细节和相关性。时空图特征提取模型能够将MRI影像数据转化为图结构，从而充分利用图的拓扑结构和特性。这种图结构能够捕捉到不同区域之间的连接和相互作用，有助于揭示MRI影像中的隐含信息和关联关系。通过注意力机制，可以进一步提取图中的重要节点和边，突出关键时空区域的贡献，提高特征的判别能力和表达能力。
基于上述实施例，在本公开提供的又一实施例中，步骤S630具体可以包括以下步骤：
步骤S631：将时间序列信号输入全局时空双重注意网络，获得时间注意力信息和空间注意力信息。其中，空间注意力信息包括在同一时间点的不同脑部关键区域之间的全局信息。
实施例中，图3示出了全局时空双重注意网络(ST-DAN)流程图。如图3所示，ST-DAN模块可以包括以下步骤：
首先，将时间序列信号通过位置嵌入(Position Embeddings)层进行处理，得到编码位置信息的特征表示信息然后使用具有若干层时空双重注意结构的网络对E分别提取时间和空间维度的注意力特征。其中，时间注意力特征信息是选择性地融合来自同一ROI的不同时间点的全局信息，而空间注意力特征信息则是选择性地融合在同一时间点的不同ROI之间的全局信息。所采用的注意力模块，可通过学习三个不同的矩阵表示(Q,K,V分别代表查询Query、键Key、值Value)来对E进行特征提取，该步骤可以通过上述公式(5)表示。
示例性的，可以使用点积相似度来比较Q和(K,V)对的差距，以获得的注意力分布。即如果Q和K相似，具有较高的注意力权重，则认为对应的是相关的。为了模型可以基于相同的注意力机制学习到不同的行为，并将这些不同的行为作为知识组合起来，用以捕获时空序列内不同范围的依赖关系(如短距离依赖和长距离依赖关系)，可以采用多头注意力机制(Multi-HeadAttention)独立学习得到不同的线性投影(Linear Projections)来更换Q,K,V的潜在组合，再通过对不同的注意力组合汇聚(因此称为多头)的输出拼接在一起，相当于经过加权调整后的V矩阵作为时间注意力模块的输出该步骤可以通过上述公式(6)和(7)表示。
同样，空间注意力模块的构造方式与时间注意力模块类似，但空间级Q、K和V矩阵是通过输入嵌入特征(即)的转置，从而输出同一时间戳处所有节点的空间注意力信息(表示为)。
步骤S632：融合时间注意力信息和空间注意力信息，获得时间-空间注意力融合信息。
实施例中，为了捕获空间和时间表示之间的相互依赖关系，需要在多头注意力机制中进行时间和空间信息的融合。
示例性的，可以使用逐元素加法⊕融合时间和空间注意力信息，即然后，将输出传递给两个并行的前馈网络。这使得网络能够提取时空相互依赖性，同时还探索特定于模态的内部依赖性。
在本实施例中，还可以按照Transfomer编码器的设计框架，在双重注意力模块和前馈层之后应用残差连接与层归一化进行处理(Add&Norm)。为了实现连续更新融合嵌入，可以堆叠L个时空注意力层来连续更新融合嵌入。最后，ST-DAN模块的输出为时间和空间注意力信息和其中，时间注意力信息用于进一步的特征融合。而空间注意力信息用于CL-AM模块的相邻矩阵ADAN构造DAN图。
基于此，ST-DAN模块所设计的注意力模块，可对时间和空间维度的信息单独进行特征提取，并输出到两个并行的前馈层，从而提取时空相互依赖关系，同时探索特定于模态的内部变化模式。在实际应用中，还可以通过串联多层网络结构，从而逐步提取更高层次的注意力特征嵌入，增强全局时空特征的学习能力。
步骤S633：将空间注意力信息输入时空特征融合模块，并将空间注意力信息划分为时间点d特征信息和时间点d-1特征信息。其中，时间点d表示目标时间点，时间点d-1表示目标时间点的前一时间点。
步骤S634：将时间点d特征信息和时间点d-1特征信息分别转换为第一向量和第二向量。
步骤S635：对第一向量和第二向量进行相似性计算，判断第一向量和第二向量是否属于同一类别。
实施例中，图4示出了基于对比学习的时空特征融合模块(CL-AM)结构图。如图4所示，时间序列信号XT经过全局时空双重注意网络处理后，输出时间和空间注意力信息和其中时间注意力信息用于后续特征融合，空间注意力信息输入CL-AM模块。
示例性的，可以将空间注意力信息分为D个序列，以使用对比学习来学习成对的时间连接性。为了学习我们首先使用ST-DAN的空间级注意力网络对当前目标时间点d和前一时间点d-1的特征进行编码操作，然后输入到两个不同的全连接层作为线性投影映射到潜在特征空间进行相似性计算。如此，我们可得到对应的d和d-1时间点上的N维嵌入向量C和P，分别表示会话d和会话d-1的区域特征。
具体的，可以将同一节点上的相邻时间点特征归类为“正样本”数据，表示属于同一类，反之则标记为“负样本”数据，表示属于不同类别。然后，可以通过预测P-C的所有组合是否属于同一类，即具有时序连续性，来最大化N个正样本的相似性，同时最小化其余{N2-N}个负样本的相似性。
基于上述实施例，在本公开提供的又一实施例中，基于对比学习的时空特征融合模块还包括损失函数
其中，SC表示相似性相关矩阵；λ是一个正常数，用于权衡正样本配对和负样本配对的重要性；SCij可以通过下述公式表示：
其中，||.||2是L2范数。
在本实施例中，通过优化损失函数时序连接图矩阵可以通过学习到的相似度矩阵SC从而很好地建模，以进行进一步的动态图卷积操作。由于不同任务的成对时间连接数量不同，因此对于DAN-GCN的处理，总体对比损失被定义为其中m表示第m个成对时间连接。
基于上述实施例，在本公开提供的又一实施例中，步骤S630还可以包括以下步骤：
步骤S636：基于动态图和动态自适应相邻图卷积网络，获得局部图表征信息。其中，动态自适应相邻图卷积网络包括邻接图卷积模块。具体包括：根据动态图获得基于动态自适应邻居图的邻接矩阵。将邻接矩阵输入邻接图卷积模块，获得局部图表征信息。
实施例中，为了捕捉神经影像数据的动态特性，将以ROI为轴的输入建模为具有T个时间戳的基础动态图网络，基础动态图网络可以表示为：其中T代表时间点的数量，表示利用第t个时间点的输入所构造的子图表示。
具体的，第t个时间戳处的动态图由一组顶点(N表示fMRI中的ROIs或EEG中的通道)和一个连接矩阵表示ROI之间的功能连接，即
因此，我们的任务是学习从输入到真实标签Y的映射函数f。该步骤可以通过上述公式(1)表示。
示例性的，为了捕获动态大脑活动中空间、时间和时空相互依赖性的信息，我们在DAN-GCN中引入了一种动态自适应邻域图构造方法具体的，可以将T个时间戳分为D个扫描会话，每个会话的长度为在相邻时间会话之间建立连接，以创建捕捉短期大脑网络动态的局部时空子图。
图2A示出了动态自适应邻居图，如图2A所示，的规模可以由相邻扫描会话的数量决定，假设将相邻时间节点数量设置为1，将以时间为轴的时间序列信号xT划分为[d-1]、[d]和[d+1]区域，则并转换为动态自适应邻居图。
图2B示出了基于DAN构造的邻接矩阵，如图2B所示，可以对时间点相邻的子图建立起基于动态自适应邻居图(DynamicAdaptative-Neighbor Graph,DAN)的邻接矩阵ADAN，并设置ADAN的尺寸大小为3N×3N。
示例性的，邻接矩阵ADAN可以包括空间连接图矩阵、时序连接图矩阵以及填充矩阵，具体如下：
空间连接图矩阵(ASG)放置在ADAN的对角线上，表示由皮尔逊相关系数(PCC)计算出的每个相邻扫描会话中的动态图。
示例性的，第d个会话的ASG计算可以通过上述公式(2)表示。
时序连接图矩阵(ATG)位于空间连接图的附近，由基于对比学习的时空特征融合模块所计算得出的矩阵组成。它提取不同图会话之间的时间连接，从而对相邻时间动态进行全面建模。
填充矩阵(AP)用于填充剩余的空白，矩阵内数值设置为0。
图2C示出了动态自适应相邻图卷积网络的流程图。如图2C所示，我们可将所构建的ADAN输入至邻接图卷积模块(AGCM)以提取相邻子图之间的混合时空关系。通过标准的图卷积运算后，以时间点t为中心，可以纳入相邻若干个时间点作为邻居子图来汇总它们之间的混合图表示。对于第l个输入图表示，表示为图卷积运算可以通过上述公式(3)表示。
在图卷积操作后，在时间维度上执行最大池化以聚合相邻会话的表示，从而得到大小为N×S的局部图表示矩阵h(l)'。时空图输入H(l)的每个扫描会话为由AGCM并行处理，生成局部图表示(其中d∈[1,D])。在处理第一个和最后一个扫描会话时可以用零填充。
最后，可以采用聚合层来连接该步骤可以通过上述公式(4)表示。
示例性的，为了汇总各时间点的局部图表示矩阵，可以在后面接上聚合层(Aggregation)、批量归一化层(Batch Normalization)、ReLU激活函数以及随机失活层(Dropout)，到此可视为一个的动态自适应相邻图卷积层，后面可叠加若干层，扫描会话S的长度随着层数的增加而增加，从而扩大图卷积层在时间维度上的感受野(ReceptiveField),最终输出局部时空图表示张量H(L)。
在实际应用中，保证每个节点都连接到相邻时间会话中的所有其他节点，并对每个样本计算单独的邻接矩阵将带来昂贵的计算成本。为了平衡计算效率和保持与时空邻居相关性的有效性，我们将每个节点仅连接到其前后相邻的会话。这样既能降低计算成本，又能保持有效捕捉相邻时间会话之间节点间的连接。
随着网络结构的加深，图卷积具有消息传递属性可以捕捉相邻时间会话之间的节点连接。因此，通过使用图卷积网络进行消息传递，我们能够有效地捕捉动态大脑活动中的时空依赖性。
因此，DAN-GCN模块能够有效地对大脑活动的时空特征进行建模，并为后续的图卷积操作提供有意义的节点连接。另一方面，通过DAN-GCN模块可以更好地理解动态大脑网络的结构和功能，并获得更准确的图表示。
基于上述实施例，在本公开提供的又一实施例中，步骤S630还可以包括以下步骤：
步骤S637：采用门控融合模块对时间注意力信息和局部图表征信息进行融合，获得目标神经影像数据的全尺度图表征信息。其中，时间注意力信息包括同一脑部关键区域的不同时间点的全局信息，局部图表征信息包含了目标神经影像数据的时空特征信息。
实施例中，可以使用门控融合模块对时间注意力信息和局部图表征信息H(L)进行融合，输出全尺度图表征信息，其中该步骤可以通过上述公式(10)表示。
基于此，本公开示例性实施例先对原始神经影像数据进行去噪以获得时间序列信号输入，然后将其分为多个扫描会话以生成不同的脑节点图作为动态图输入。然后，将预处理后的时间序列信号输入到ST-DAN模块中，输出时间和空间注意力信息和进而，使用带有CL-AM模块的DAN-GCN模块来获取局部图表征信息H(L)。最后，使用门控融合模块对时间注意力信息和局部图表征信息H(L)进行融合，输出全尺度图表征信息。
本公开示例性实施例中提供的一个或多个技术方案，其中，全局时空双重注意网络可以基于相同的注意力机制学习到不同的行为，然后将这些不同的行为作为知识组合起来，来捕获时空序列内不同范围的依赖关系(如短距离依赖和长距离依赖关系)。
在动态自适应相邻图卷积网络中，为了汇总各时间点的局部图表示矩阵h(l)'，在邻接图卷积模块后面接上聚合层、批归一化、ReLU激活函数以及随机失活层，组成一个的动态自适应相邻图卷积层。通过叠加若干层从而扩大图卷积层在时间维度上的感受野，最终输出局部图表征信息H(L)，从而捕获时空序列内的长距离依赖关系，获得完整的全局表征信息。
时空特征融合模块则将全局时空双重注意网络产生的空间注意信息转换为时间维度上的空间表示。并通过相似性计算方法，最大化N个正样本的相似性，同时最小化其余负样本的相似性，从而实现对向量C和P的分类，进而融合时空特征。
因此，本公开提供的神经影像数据处理方法能够捕捉时间和空间维度之间的内在依赖关系以及不同大脑区域之间的时间依赖关系，从目标神经影像数据中提取出完整且准确的时空特征信息，为后续的分类和预测任务提供了重要的基础。
上述主要从方法的角度对本公开实施例提供的方案进行了介绍。可以理解的是，为了实现上述功能，本公开示例性实施例的方法对应的装置包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本公开能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本公开的范围。
本公开实施例可以根据上述方法示例对服务器进行功能单元的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本公开实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用对应各个功能划分各个功能模块的情况下，本公开示例性实施例提供一种神经影像数据处理装置，该神经影像数据处理装置可以为服务器或应用于服务器的芯片。图7示出了根据本公开示例性实施例的神经影像数据处理装置的功能模块示意性框图。如图7所示，该神经影像数据处理装置700包括：
数据获取模块710，用于获取目标神经影像数据。
数据处理模块720，用于将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系。
所述数据处理模块720，还用于把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。
在本公开提供的又一实施例中，所述时空图特征提取模型包括动态自适应相邻图卷积网络、全局时空双重注意网络、基于对比学习的时空特征融合模块以及门控融合模块。所述数据处理模块720，还用于采用所述门控融合模块对时间注意力信息和局部图表征信息进行融合，获得所述目标神经影像数据的全尺度图表征信息；所述时间注意力信息包括同一脑部关键区域的不同时间点的全局信息，所述局部图表征信息包含了所述目标神经影像数据的时空特征信息。
在本公开提供的又一实施例中，所述数据处理模块720，还用于将所述时间序列信号输入所述全局时空双重注意网络，获得时间注意力信息和空间注意力信息；所述空间注意力信息包括在同一时间点的不同脑部关键区域之间的全局信息。融合所述时间注意力信息和所述空间注意力信息，获得时间-空间注意力融合信息。
在本公开提供的又一实施例中，所述数据处理模块720，还用于将所述空间注意力信息输入所述时空特征融合模块，并将所述空间注意力信息划分为时间点d特征信息和时间点d-1特征信息；所述时间点d表示目标时间点，所述时间点d-1表示目标时间点的前一时间点。将所述时间点d特征信息和时间点d-1特征信息分别转换为第一向量和第二向量。对所述第一向量和所述第二向量进行相似性计算，判断所述第一向量和所述第二向量是否属于同一类别。
在本公开提供的又一实施例中，所述数据处理模块720，还用于所述时空特征融合模块还包括损失函数
其中，SC表示相似性相关矩阵；λ是一个正常数，用于权衡正样本配对和负样本配对的重要性；SCij可以通过下述公式表示：
其中，||.||2是L2范数。
在本公开提供的又一实施例中，所述数据处理模块720，还用于基于所述动态图和所述动态自适应相邻图卷积网络，获得所述局部图表征信息。
在本公开提供的又一实施例中，所述动态自适应相邻图卷积网络包括邻接图卷积模块。所述数据处理模块720，还用于根据所述动态图获得基于动态自适应邻居图的邻接矩阵，将所述邻接矩阵输入所述邻接图卷积模块，获得局部图表征信息。
图8示出了根据本公开示例性实施例的芯片的示意性框图。如图8所示，该芯片800包括一个或两个以上(包括两个)处理器801和通信接口802。通信接口802可以支持服务器执行上述方法中的数据收发步骤，处理器801可以支持服务器执行上述方法中的数据处理步骤。
可选的，如图8所示，该芯片800还包括存储器803，存储器803可以包括只读存储器和随机存取存储器，并向处理器提供操作指令和数据。存储器的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。
在一些实施方式中，如图8所示，处理器801通过调用存储器存储的操作指令(该操作指令可存储在操作系统中)，执行相应的操作。处理器801控制终端设备中任一个的处理操作，处理器还可以称为中央处理单元(central processin unit，CPU)。存储器803可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器803的一部分还可以包括NVRAM。例如应用中存储器、通信接口以及存储器通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图8中将各种总线都标为总线系统804。
上述本公开实施例揭示的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(diital sinal processin，DSP)、ASIC、现成可编程门阵列(field-prorammable ate array，FPA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本公开实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本公开实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本公开示例性实施例还提供一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器。所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序在被所述至少一个处理器执行时用于使所述电子设备执行根据本公开实施例的方法。
本公开示例性实施例还提供一种存储有计算机程序的非瞬时计算机可读存储介质，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
本公开示例性实施例还提供一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被计算机的处理器执行时用于使所述计算机执行根据本公开实施例的方法。
参考图9，现将描述可以作为本公开的服务器或客户端的电子设备900的结构框图，其是可以应用于本公开的各方面的硬件设备的示例。电子设备旨在表示各种形式的数字电子的计算机设备，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图9所示，电子设备900包括计算单元901，其可以根据存储在只读存储器(ROM)902中的计算机程序或者从存储单元908加载到随机访问存储器(RAM)903中的计算机程序，来执行各种适当的动作和处理。在RAM 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、ROM 902以及RAM 903通过总线904彼此相连。输入/输出(I/O)接口905也连接至总线904。
电子设备900中的多个部件连接至I/O接口905，包括：输入单元906、输出单元907、存储单元908以及通信单元909。输入单元906可以是能向电子设备900输入信息的任何类型的设备，输入单元906可以接收输入的数字或字符信息，以及产生与电子设备的用户设置和/或功能控制有关的键信号输入。输出单元907可以是能呈现信息的任何类型的设备，并且可以包括但不限于显示器、扬声器、视频/音频输出终端、振动器和/或打印机。存储单元908可以包括但不限于磁盘、光盘。通信单元909允许电子设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据，并且可以包括但不限于调制解调器、网卡、红外通信设备、无线通信收发机和/或芯片组，例如蓝牙TM设备、WiFi设备、WiMax设备、蜂窝通信设备和/或类似物。
计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(PU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理。上文所描述的各个方法均可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由ROM 902和/或通信单元909而被载入和/或安装到电子设备900上。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
如本公开使用的，术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如，磁盘、光盘、存储器、可编程逻辑装置(PLD))，包括，接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机程序或指令。在计算机上加载和执行所述计算机程序或指令时，全部或部分地执行本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、终端、用户设备或者其它可编程装置。所述计算机程序或指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序或指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是集成一个或多个可用介质的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，例如，软盘、硬盘、磁带；也可以是光介质，例如，数字视频光盘(diital video disc，DVD)；还可以是半导体介质，例如，固态硬盘(solid state drive，SSD)。
尽管结合具体特征及其实施例对本公开进行了描述，显而易见的，在不脱离本公开的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本公开的示例性说明，且视为已覆盖本公开范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本公开进行各种改动和变型而不脱离本公开的精神和范围。这样，倘若本公开的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包括这些改动和变型在内。
Claims (10)
1.一种神经影像数据处理方法，其特征在于，所述方法包括：
获取目标神经影像数据；
将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；
把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。
2.根据权利要求1所述的方法，其特征在于，所述时空图特征提取模型包括动态自适应相邻图卷积网络、全局时空双重注意网络、基于对比学习的时空特征融合模块以及门控融合模块；
采用所述门控融合模块对时间注意力信息和局部图表征信息进行融合，获得所述目标神经影像数据的全尺度图表征信息；所述时间注意力信息包括同一脑部关键区域的不同时间点的全局信息，所述局部图表征信息包含了所述目标神经影像数据的时空特征信息。
3.根据权利要求2所述的方法，其特征在于，包括：
将所述时间序列信号输入所述全局时空双重注意网络，获得时间注意力信息和空间注意力信息；所述空间注意力信息包括在同一时间点的不同脑部关键区域之间的全局信息；
融合所述时间注意力信息和所述空间注意力信息，获得时间-空间注意力融合信息。
4.根据权利要求3所述的方法，其特征在于，包括：
将所述空间注意力信息输入所述时空特征融合模块，并将所述空间注意力信息划分为时间点d特征信息和时间点d-1特征信息；所述时间点d表示目标时间点，所述时间点d-1表示目标时间点的前一时间点；
将所述时间点d特征信息和时间点d-1特征信息分别转换为第一向量和第二向量；
对所述第一向量和所述第二向量进行相似性计算，判断所述第一向量和所述第二向量是否属于同一类别。
5.根据权利要求4所述的方法，其特征在于，所述时空特征融合模块还包括损失函数
其中，SC表示相似性相关矩阵；λ是一个正常数，用于权衡正样本配对和负样本配对的重要性；SCij可以通过下述公式表示：
其中，||.||2是L2范数。
6.根据权利要求2所述的方法，其特征在于，包括：
基于所述动态图和所述动态自适应相邻图卷积网络，获得所述局部图表征信息。
7.根据权利要求6所述的方法，其特征在于，所述动态自适应相邻图卷积网络包括邻接图卷积模块；
所述基于所述动态图和所述动态自适应相邻图卷积网络，获得所述局部图表征信息，包括：
根据所述动态图获得基于动态自适应邻居图的邻接矩阵；
将所述邻接矩阵输入所述邻接图卷积模块，获得局部图表征信息。
8.一种神经影像数据处理装置，其特征在于，包括：
数据获取模块，用于获取目标神经影像数据；
数据处理模块，用于将所述目标神经影像数据转换为时间序列信号和动态图；所述时间序列信号包括所述目标神经影像数据的时间依赖关系，所述动态图包括所述目标神经影像数据的时间依赖关系以及空间依赖关系；
所述数据处理模块，还用于把所述时间序列信号和所述动态图输入时空图特征提取模型，获得所述目标神经影像数据的全尺度图表征信息；所述全尺度图表征信息包括所述目标神经影像数据的时空特征信息。
9.一种电子设备，其特征在于，包括：
处理器；以及，
存储程序的存储器；
其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行根据权利要求1-7中任一项所述的方法。
10.一种非瞬时计算机可读存储介质，其特征在于，所述非瞬时计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机执行根据权利要求1-7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310933112.1A CN116912084A (zh) | 2023-07-27 | 2023-07-27 | 神经影像数据处理方法、装置、电子设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310933112.1A CN116912084A (zh) | 2023-07-27 | 2023-07-27 | 神经影像数据处理方法、装置、电子设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116912084A true CN116912084A (zh) | 2023-10-20 |
Family
ID=88360039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310933112.1A Pending CN116912084A (zh) | 2023-07-27 | 2023-07-27 | 神经影像数据处理方法、装置、电子设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116912084A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975041A (zh) * | 2024-03-29 | 2024-05-03 | 烟台大学 | 基于图卷积神经网络的脑网络特征提取方法、系统和设备 |
-
2023
- 2023-07-27 CN CN202310933112.1A patent/CN116912084A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117975041A (zh) * | 2024-03-29 | 2024-05-03 | 烟台大学 | 基于图卷积神经网络的脑网络特征提取方法、系统和设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chaki et al. | Deep learning for neurodegenerative disorder (2016 to 2022): A systematic review | |
| Naik et al. | Denouements of machine learning and multimodal diagnostic classification of Alzheimer’s disease | |
| CN116912084A (zh) | 神经影像数据处理方法、装置、电子设备及存储介质 | |
| Refaee et al. | A computing system that integrates deep learning and the internet of things for effective disease diagnosis in smart health care systems | |
| Zhang et al. | Multi-paradigm fMRI fusion via sparse tensor decomposition in brain functional connectivity study | |
| Wang et al. | SEEG-Net: An explainable and deep learning-based cross-subject pathological activity detection method for drug-resistant epilepsy | |
| Haddad et al. | The Discriminative Discrete Basis Problem: Definitions, Algorithms, Benchmarking, and Application to Brain's Functional Dynamics | |
| Zhang et al. | Comparing multi-dimensional fnirs features using bayesian optimization-based neural networks for mild cognitive impairment (mci) detection | |
| Mohan et al. | Assessment of daily routine uniformity in a smart home environment using hierarchical clustering | |
| Gong et al. | Smart urban planning: Intelligent cognitive analysis of healthcare data in cloud-based IoT | |
| Hermawan et al. | A multi representation deep learning approach for epileptic seizure detection | |
| Vasant Bidwe et al. | Attention-Focused Eye Gaze Analysis to Predict Autistic Traits Using Transfer Learning | |
| Megjhani et al. | Incorporating high-frequency physiologic data using computational dictionary learning improves prediction of delayed cerebral ischemia compared to existing methods | |
| Jemal et al. | Domain adaptation for EEG-based, cross-subject epileptic seizure prediction | |
| Yu et al. | Sparsity‐guided multiple functional connectivity patterns for classification of schizophrenia via convolutional network | |
| Omar et al. | Enhancing EEG signals classification using LSTM‐CNN architecture | |
| Chukwunweike et al. | Applying AI and machine learning for predictive stress analysis and morbidity assessment in neural systems: A MATLAB-based framework for detecting and addressing neural dysfunction | |
| Liu et al. | A multi-modal extraction integrated model for neuropsychiatric disorders classification | |
| Chakladar et al. | Integrated spatio-temporal deep clustering (ISTDC) for cognitive workload assessment | |
| Liu et al. | Deep learning reveals the common spectrum underlying multiple brain disorders in youth and elders from brain functional networks | |
| Kanwal et al. | Alzheimer's Disease Classification Using Abnormal Hippocampal Functional Connectivity and Machine Learning | |
| Akshatha et al. | Supervised Machine Learning System Based Segmentation and Classification of Strokes Using Deep Learning Techniques | |
| US20240081719A1 (en) | Systems and methods for attention deficit detection framework | |
| Dalal et al. | Efficient electro encephelogram classification system using support vector machine classifier and adaptive learning technique | |
| US20240148313A1 (en) | System and method for assessing capacity for consciousness |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |