CN114795178A - 一种基于多注意力神经网络的大脑状态解码方法 - Google Patents

一种基于多注意力神经网络的大脑状态解码方法 Download PDF

Info

Publication number
CN114795178A
CN114795178A CN202210469938.2A CN202210469938A CN114795178A CN 114795178 A CN114795178 A CN 114795178A CN 202210469938 A CN202210469938 A CN 202210469938A CN 114795178 A CN114795178 A CN 114795178A
Authority
CN
China
Prior art keywords
matrix
attention
brain
neural network
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210469938.2A
Other languages
English (en)
Other versions
CN114795178B (zh
Inventor
李蓉
刘涛
王冲
马玉振
李济邑
陈华富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202210469938.2A priority Critical patent/CN114795178B/zh
Publication of CN114795178A publication Critical patent/CN114795178A/zh
Application granted granted Critical
Publication of CN114795178B publication Critical patent/CN114795178B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Software Systems (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多注意力神经网络的大脑状态解码方法，属于生物医学图像脑解码技术领域。本发明主要有四个功能：1、利用时间注意力神经网络，研究大脑在任务刺激下的时间响应过程；2、利用空间注意力神经网络，研究不同脑区对任务参与情况；3、利用自注意力神经网络，研究大脑在任务刺激下的脑区交互；4、利用前三个神经网络得到的特征对shape和face两个任务进行分类。本发明首次利用深度学习的知识，构建了一种基于多注意力神经网络的大脑状态解码模型，从多维度自动提取任务特征，完成对大脑状态的解码。

Description

一种基于多注意力神经网络的大脑状态解码方法
技术领域
本方法属于生物医学图像脑解码技术领域，具体涉及功能磁共振成像数据的特征提取以及大脑状态识别的模型构建。
背景技术
脑解码旨在通过大脑活动模式推测被试所处的任务状态，是实现脑-机接口的重要基础，同时也为理解大脑认知机制提供了关键见解。近年来，功能磁共振成像(functional magnetic resonance imaging,fMRI)作为一种具有较高空间分辨率的非侵入性脑成像技术被广泛应用于脑解码领域中。目前的脑解码研究多基于多体素模式分析方法，即将感兴趣区不同体素的响应作为独立变量进行解码任务的建模。这一方法充分利用了fMRI高空间分辨率的优势，已被成功应用到视觉感知解码、视觉想象解码、梦境解码以及运动想象解码等具体任务中。
然而，任务态fMRI数据中往往包含大量与任务无关的成分(如大脑自发活动及生理噪声等)。这些成分主要包含三个维度：1.时间维度。fMRI信号对刺激的响应存在延时特性，在响应过程中很多时间点的信号与任务相关程度并不强；2.空间维度。大脑的区域具有功能特异性，多数情况下并不是所有的脑区都参与了任务加工；3.网络维度。大脑的信息加工存在网络特性，复杂脑功能的实现依赖于不同脑区间的信息交互(即网络的边)，而完成单一任务仅涉及部分的边。针对这一问题，现有的解码研究通常基于先验假设或使用人工筛选的方式来提取fMRI数据中的任务成分，这些方法无法全面考虑这三个维度的成分，且在应用中存在较大的局限性。因此，发展一种从多维度自动提取任务特征的解码模型可以进一步提高解码性能并加深我们对脑功能的认识。
发明内容
本发明针对背景技术的不足之处，设计出一种从任务诱发的fMRI数据识别大脑状态的解码方法。
本发明技术方案为一种基于多注意力神经网络的大脑状态解码方法，该方法包括：
步骤1：使用HCP(https://www.humanconnectome.org)数据库中提供的预处理好的情绪任务fMRI数据，对得到的数据进行如下处理：
步骤1.1：对于给定的fMRI信号sv×t，其中，v为体素个数，t为时间点个数，基于脑连接组模板，包含246个脑区，计算每个脑区的平均信号,得到信号
Figure BDA0003622014760000011
步骤1.2：采用如下公式对提取的平均信号进行z-score标准化：
Figure BDA0003622014760000021
其中，i表示脑区序号；
Figure BDA0003622014760000022
标准化后每个脑区的信号；
Figure BDA0003622014760000023
表示i号脑区信号的平均值；δi表示i脑区信号的标准差；
步骤1.3：任务中的每个测试提取前25个时间节点功能核磁共振信号，最终每一个测试得到一个平均信号
Figure BDA0003622014760000024
步骤2：将z246×25作为输入信号F，进行时间响应建模，得到时间注意力矩阵
Figure BDA0003622014760000025
步骤2.1：通过如下公式对输入信号F进行计算：
Figure BDA0003622014760000026
其中，
Figure BDA0003622014760000027
表示时间注意力矩阵；σ表示sigmoid激活函数，
Figure BDA0003622014760000028
MLP表示多层感知机，AvgPool表示平均池化，MaxPool表示最大池化，W1和W0表示MLP学习到模型参数矩阵，
Figure BDA0003622014760000029
和
Figure BDA00036220147600000210
分别表示对F进行平均池化和最大池化；
步骤2.2：将得到的时间注意力矩阵
Figure BDA00036220147600000211
与原始输入信号F进行特征融合，得到重定义的特征矩阵Fc，特征融合公式如下：
Figure BDA00036220147600000212
其中，
Figure BDA00036220147600000213
表示点乘操作；
步骤3：将重定义的特征Fs进行空间激活建模，得到空间注意力矩阵Ms；
步骤3.1：对Fs应用进行如下操作：
Figure BDA00036220147600000214
其中，σ表示sigmoid激活函数；f表示卷积操作；
Figure BDA00036220147600000215
和
Figure BDA00036220147600000216
分别表示对Fs进行平均池化和最大池化；
步骤3.2：将空间注意力矩阵
Figure BDA00036220147600000217
与时间注意力神经网络模块重定义的特征矩阵Fc进行特征融合得到特征矩阵Fs，特征矩阵融合公式如下：
Figure BDA00036220147600000218
步骤4：将步骤3.2得到特征Fs与输入特征F进行特征融合，得到特征F′；特征融合公式如下：
Figure BDA0003622014760000031
其中，
Figure BDA0003622014760000032
表示矩阵中的元素进行相加；
步骤5：将F′进行自注意力建模，如下：
Figure BDA0003622014760000033
Figure BDA0003622014760000034
Figure BDA0003622014760000035
其中，x是输出信号，y是输出信号，i和j表示索引位置，f(xi,xj)用来计算i位置与j位置的关联程度，C(x)表示的是一个正则化因子，g(xj)由一个一维卷积层对F′进行卷积得到，
Figure BDA0003622014760000036
表示特征矩阵中的任意位置编号；
步骤6：利用全连接层进行分类，分成face和shape两类；
步骤7：定义对数似然损失函数NLLLoss，如下：
Figure BDA0003622014760000037
其中N是每一批次的大小，y是真实地标签，z是模型预测地输出，j地范围是1<＝j<＝N；
步骤8：计算损失，使用Adam优化算法进行对应的权重更新。
进一步的，所述步骤5的具体步骤为：
步骤5.1：用三个一维卷积层对F′分别进行卷积，得到特征矩阵θ(x)，Φ(x)，g(x)；三个特征矩计算公式如下：
θ(x)＝Wθx，Φ(x)＝WΦx，g(x)＝Wgx
其中，W表示模型学习到的参数矩阵；
步骤5.2：将步骤5.1得到的特征矩阵Φ(x),θ(x)元素进行点乘，得到f(xi,xj)，点乘公式如下：
Figure BDA0003622014760000038
步骤5.3：将步骤5.2得到的f(xi,xj)乘以正则化因子c(x)，得到特征矩阵自注意力矩阵attention，自注意力矩阵计算公式如下：
Figure BDA0003622014760000039
步骤5.4：将步骤5.3得到的attention矩阵与g(x)进行点乘，如下：
Figure BDA0003622014760000041
步骤5.5：将步骤5.4得到的矩阵y通过一个一维卷积层进行卷积，y由yi组成，最后与特征矩阵F′进行相加计算，使得输出自注意力神经网络与输入时的大小相同，得到矩阵Z，计算Z矩阵公式如下：
Figure BDA0003622014760000042
其中，W是参数矩阵。
本发明利用时间注意力神经网络、空间注意力神经网络和自注意力神经网络进行建模，从时间、空间、网络维度三个角度对任务数据的特征进行自动提取，能够很好解码出在任务条件下大脑状态，帮助我们更好的认识大脑功能，同时情绪和非情绪任务识别准确率为99.51％，AUC为0.99。
附图说明
图1为本发明流程图
图2为模型的ROC曲线图。
图3时间注意力神经网络模块权重分布图。
图4空间注意力神经网络模块显著激活的脑区。
图5两种任务条件的自注意力神经网络模块T值分布图(face>shape)。
图6自注意力神经网络模块任务条件下交互最强的前15条边。
具体实施方式
一种基于多注意力神经网络的大脑状态解码模型，主要包括以下几个步骤：
A.数据处理
步骤A1:在HCP数据库下载预处理好的1200个被试的情绪任务的fMRI数据。
步骤A2：每一个人进行两次实验,每个实验包含6次测试，每个测试按照脑网络组图谱，计算每个脑区的平均信号，会得到246个平均信号。
步骤A4：对246个平均信号进行z-score标准化
步骤A5：face或shape任务中中每次测试提取25个时间节点，每个测试会得到25*246个平均信号
步骤A6：将数据分成10折，每次用其中9份作为训练数据来进行模型评估，其中一份作为测试数据，用来测试模型。
B.时间注意力神经网络的计算
步骤B1：将25*246个平均信号，输入到时间注意力神经网络，批量大小为：32，迭代次数：100，进行时间注意力建模。
步骤B2：将步骤B1中的数据分别进行最大池化和平均池化来进行特征筛选，最大池化和平均池化的大小:246，步长:1，此步骤之后得到两个大小为25*1的数据。
步骤B3：通过一个多层感知机将B2得到的数据进行处理。它分为全连接层、ReLU、全连接层。其中两个全连接层大小为(25，16)，(16，25)。此步骤之后得到两个大小为25*1的数据。
步骤B4：将B3得到的数据进行特征融合，然后利用sigmoid激活函数进行非线性映射。此步骤得到的数据大小为25*1。对此步骤得到的数据进行可视化，我们可以得到在任务状态下大脑的时间响应过程。从图3中我们可以看到在第8个时间点(0.76*8s)时响应值达到最大，这是符合血流动力学响应函数的。
步骤B5：输入到B1的特征与B4得到的特征进行点乘，进行特征融合。此步骤得到的数据大小：25*246。
步骤C：空间注意力神经网络的计算
步骤C1:首先对大小为25*246特征矩阵应用平均池化和最大池化操作，然后进行特征融合。此步骤得到的数据大小为2*246。
步骤C2：通过一个一维卷积对特征进行卷积操作，之后利用ReLU激活函数进行非线性映射。卷积的大小：3，步长：1，填充大小:1。此步骤之后得到的数据大小为1*246。
步骤C3：利用sigmoid激活函数进行非线性映射，此步骤得到的数据大小为1*246。
步骤C4：将B5得到的特征矩阵与C3得到的矩阵进行点成，实现特征融合，此步骤得到的数据大小为25*246。对此步骤得到的数据进行可视化，我们可以得到在任务状态下大脑的空间激活模式。从图4中我们可以看到梭状回呈显著激活状态，这与HCP官网提供的激活图是相类似。
步骤D：将C4得到的特征与B1输入特征，进行相加，实现特征融合。此步骤得到的数据大小为：25*246。
模型
步骤E：自注意力神经网络的计算
步骤E1:通过Φ、θ、g三个一维卷积层分别进行卷积，实现特征提取。卷积核的个数：16，卷积核大小：1。此步骤得到的数据大小为：16*246
步骤E2：对卷积Φ、g得到的数据进行维度换位。此步骤得到的数据大小为：16*246。
步骤E3：将卷积θ得到的数据与步骤E2得到的Φ数据进行点乘，计算区域之间的相似性分数，然后对得到的数据进行标准化。此步骤得到的数据大小为：246*246。将此步骤得到的数据进行可视化，在图5我们可以看到在梭状回区域大脑交互关系较多。将得到的特征映射回大脑区域我们选择交互关系最强的前15条边构造连接图，如图6所示。
步骤E4：将区域之间的相似性分数与卷积g得到的矩阵进行点乘。此步骤得到的数据大下为：16*246。
步骤E5：通过用一个一维卷积层对特征进行卷积操作，进一步的进行特征筛选。卷积核的个数为：25，卷积核的大小为：1。此步骤之后得到的数据大小为：25*246。
步骤E6：将步骤E5得到的数据与步骤D得到的数据相加，进行特征融合。此步骤的得到的数据大小为：25*246。
步骤F：通过全连接对特征图提取高级地特征，得到高级特征。全连接的大小设置为：(246*25，2)。其中246*25表示特征数，2表示分成2类。
步骤G：通过ReLU激活函数进行非线性映射，然后通过批量归一化进行归一化操作，防止过拟合。
步骤H：计算损失，更新权重参数。
步骤M：测试阶段：
步骤M1:测试数据，测试数据地大小为25*246，其中25表示取shape或face任务刺激下25个时间节点地信号，246表示利用246模板提取地246个脑区的平均信号。每次用来测试的数据不会出现在训练数据集中。
步骤M2：将测试数据依次输入时间注意力神经网络、空间注意力神经网络、自注意力神经网络，分别得到的时间特征矩阵、空间特征矩阵、自注意力特征矩阵。
步骤M3：根据时间注意力神经网络、空间注意力神经网络、自注意力神经网络三个神经网络提取的特征进行分类。
步骤M4：将时间特征矩阵进行可视化得到时间注意力权重分布图，来验证时间注意力神经网络的有效性。
步骤M5：将两种任务条件的空间注意力特征矩阵进行双T检验(face>shape)，然后通过FDR(p<0.05)进行矫正，最后将结果进行可视化，得到空间注意力神经网络显著激活的脑区，来验证空间注意力神经网络的有效性。
步骤M6：将两种任务条件的自注意力特征矩阵进行双T检验(face>shape)，然后通过FDR(p<0.05)进行矫正，得到自注意力神经网络T值分布图，再将T值分布图中交互最强的前15条边映射回脑区，得到自注意力神经网络在任务条件下交互最强的前15条边的脑区交互图
步骤M7：对分类结果进行统计，利用分类的结果制作ROC曲线图。

Claims (2)

1.一种基于多注意力神经网络的大脑状态解码方法，该方法包括：
步骤1：使用HCP数据库中提供的预处理好的情绪任务fMRI数据，对得到的数据进行如下处理：
步骤1.1：对于给定的fMRI信号sv×t，其中，v为体素个数，t为时间点个数，基于脑连接组模板，包含246个脑区，计算每个脑区的平均信号,得到信号
Figure FDA0003622014750000011
步骤1.2：采用如下公式对提取的平均信号进行z-score标准化：
Figure FDA0003622014750000012
其中，i表示脑区序号；
Figure FDA0003622014750000013
标准化后每个脑区的信号；
Figure FDA0003622014750000014
表示i号脑区信号的平均值；δi表示i脑区信号的标准差；
步骤1.3：任务中的每个测试提取前25个时间节点功能核磁共振信号，最终每一个测试得到一个平均信号zt 246×25；
步骤2：将z246×25作为输入信号F，进行时间响应建模,得到时间注意力矩阵
Figure FDA00036220147500000116
步骤2.1：通过如下公式对输入信号F进行计算：
Figure FDA0003622014750000015
其中，
Figure FDA0003622014750000016
表示时间注意力矩阵；σ表示sigmoid激活函数，
Figure FDA0003622014750000017
MLP表示多层感知机，AvgPool表示平均池化，MaxPool表示最大池化，W1和W0表示MLP学习到模型参数矩阵，
Figure FDA0003622014750000018
和
Figure FDA0003622014750000019
分别表示对F进行平均池化和最大池化；
步骤2.2：将得到的时间注意力矩阵
Figure FDA00036220147500000110
与原始输入信号F进行特征融合，得到重定义的特征矩阵Fc，特征融合公式如下：
Figure FDA00036220147500000111
其中，
Figure FDA00036220147500000112
表示点乘操作；
步骤3：将重定义的特征Fs进行空间激活建模，得到空间注意力矩阵Ms；
步骤3.1：对Fs应用进行如下操作：
Figure FDA00036220147500000113
其中，σ表示sigmoid激活函数；f表示卷积操作；
Figure FDA00036220147500000114
和
Figure FDA00036220147500000115
分别表示对Fs进行平均池化和最大池化；
步骤3.2：将空间注意力矩阵
Figure FDA0003622014750000021
与时间注意力神经网络模块重定义的特征矩阵Fc进行特征融合得到特征矩阵Fs，特征矩阵融合公式如下：
Figure FDA0003622014750000022
步骤4：将步骤3.2得到特征Fs与输入特征F进行特征融合，得到特征F′；特征融合公式如下：
Figure FDA0003622014750000023
其中，
Figure FDA0003622014750000024
表示矩阵中的元素进行相加；
步骤5：将F′进行自注意力建模，如下：
Figure FDA0003622014750000025
Figure FDA0003622014750000026
Figure FDA0003622014750000027
其中，x是输出信号，y是输出信号，i和j表示索引位置，f(xi,xj)用来计算i位置与j位置的关联程度，C(x)表示的是一个正则化因子，g(xj)由一个一维卷积层对F′进行卷积得到，
Figure FDA0003622014750000028
表示特征矩阵中的任意位置编号；
步骤6：利用全连接层进行分类，分成face和shape两类；
步骤7：定义对数似然损失函数NLLLoss，如下：
Figure FDA0003622014750000029
其中N是每一批次的大小，y是真实地标签，z是模型预测地输出，j地范围是1<＝j<＝N；
步骤8：计算损失，使用Adam优化算法进行对应的权重更新。
2.如权利要求1所述的一种基于多注意力神经网络的大脑状态解码方法，其特征在于，所述步骤5的具体步骤为：
步骤5.1：用三个一维卷积层对F′分别进行卷积，得到特征矩阵θ(x)，Φ(x)，g(x)；三个特征矩计算公式如下：
θ(x)＝Wθx，Φ(x)＝WΦx，g(x)＝Wgx
其中，W表示模型学习到的参数矩阵；
步骤5.2：将步骤5.1得到的特征矩阵Φ(x),θ(x)元素进行点乘，得到f(xi,xj)，点乘公式如下：
Figure FDA0003622014750000031
步骤5.3：将步骤5.2得到的f(xi,xj)乘以正则化因子c(x)，得到特征矩阵自注意力矩阵attention，自注意力矩阵计算公式如下：
Figure FDA0003622014750000032
步骤5.4：将步骤5.3得到的attention矩阵与g(x)进行点乘，如下：
Figure FDA0003622014750000033
步骤5.5：将步骤5.4得到的矩阵y通过一个一维卷积层进行卷积，y由yi组成，最后与特征矩阵F′进行相加计算，使得输出自注意力神经网络与输入时的大小相同，得到矩阵Z，计算Z矩阵公式如下：
Figure FDA0003622014750000034
其中，W是参数矩阵。
CN202210469938.2A 2022-04-28 2022-04-28 一种基于多注意力神经网络的大脑状态解码方法 Active CN114795178B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210469938.2A CN114795178B (zh) 2022-04-28 2022-04-28 一种基于多注意力神经网络的大脑状态解码方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210469938.2A CN114795178B (zh) 2022-04-28 2022-04-28 一种基于多注意力神经网络的大脑状态解码方法

Publications (2)

Publication Number Publication Date
CN114795178A true CN114795178A (zh) 2022-07-29
CN114795178B CN114795178B (zh) 2023-05-05

Family

ID=82509580

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210469938.2A Active CN114795178B (zh) 2022-04-28 2022-04-28 一种基于多注意力神经网络的大脑状态解码方法

Country Status (1)

Country Link
CN (1) CN114795178B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115381467A (zh) * 2022-10-31 2022-11-25 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN115422983A (zh) * 2022-11-04 2022-12-02 智慧眼科技股份有限公司 基于脑电波信号的情绪分类方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120189990A1 (en) * 2010-11-19 2012-07-26 Daphne Bavelier Method and System for Training Number Sense
CN110909862A (zh) * 2019-10-11 2020-03-24 平安科技（深圳）有限公司 基于卷积神经网络的注意力权重计算方法和装置
US20200134804A1 (en) * 2018-10-26 2020-04-30 Nec Laboratories America, Inc. Fully convolutional transformer based generative adversarial networks
US20210015385A1 (en) * 2019-07-16 2021-01-21 Hi Llc Systems and methods for frequency and wide-band tagging of magnetoencephalograpy (meg) signals
CN113143295A (zh) * 2021-04-23 2021-07-23 河北师范大学 基于运动想象脑电信号的设备控制方法及终端
CN113239744A (zh) * 2021-04-25 2021-08-10 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法
CN113951830A (zh) * 2021-11-15 2022-01-21 北京工业大学 一种基于3d注意力卷积与自监督学习的脑疾病分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120189990A1 (en) * 2010-11-19 2012-07-26 Daphne Bavelier Method and System for Training Number Sense
US20200134804A1 (en) * 2018-10-26 2020-04-30 Nec Laboratories America, Inc. Fully convolutional transformer based generative adversarial networks
US20210015385A1 (en) * 2019-07-16 2021-01-21 Hi Llc Systems and methods for frequency and wide-band tagging of magnetoencephalograpy (meg) signals
CN110909862A (zh) * 2019-10-11 2020-03-24 平安科技（深圳）有限公司 基于卷积神经网络的注意力权重计算方法和装置
CN113143295A (zh) * 2021-04-23 2021-07-23 河北师范大学 基于运动想象脑电信号的设备控制方法及终端
CN113239744A (zh) * 2021-04-25 2021-08-10 西安电子科技大学 基于深度学习的脑电-肌电信号融合识别方法
CN113951830A (zh) * 2021-11-15 2022-01-21 北京工业大学 一种基于3d注意力卷积与自监督学习的脑疾病分类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DUMAIS KELLY M: "Sex differences in default mode and dorsal attention network engagement" *
JIE LIU: "Brain fMRI segmentation under emotion stimuli incorporating attention-based deep convolutional neural networks" *
陶威: "基于注意力机制的脑电情绪识别方法研究" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115381467A (zh) * 2022-10-31 2022-11-25 浙江浙大西投脑机智能科技有限公司 一种基于注意力机制的时频信息动态融合解码方法及装置
CN115422983A (zh) * 2022-11-04 2022-12-02 智慧眼科技股份有限公司 基于脑电波信号的情绪分类方法及装置

Also Published As

Publication number Publication date
CN114795178B (zh) 2023-05-05

Similar Documents

Publication Publication Date Title
CN106529447B (zh) 一种小样本人脸识别方法
CN109685819B (zh) 一种基于特征增强的三维医学图像分割方法
US20190087726A1 (en) Hypercomplex deep learning methods, architectures, and apparatus for multimodal small, medium, and large-scale data representation, analysis, and applications
EP3921776B1 (en) Method and system for classification and visualisation of 3d images
CN106096616A (zh) 一种基于深度学习的磁共振影像特征提取及分类方法
CN109711426B (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
WO2018010434A1 (zh) 一种图像分类方法及装置
CN111126256B (zh) 一种基于自适应空谱多尺度网络的高光谱图像分类方法
CN110929736B (zh) 多特征级联rgb-d显著性目标检测方法
CN110533683B (zh) 一种融合传统特征与深度特征的影像组学分析方法
CN110739070A (zh) 一种基于3d卷积神经网络的脑疾病诊断方法
CN111696027B (zh) 一种基于适应性注意力机制的多模态的图像风格迁移方法
US20190164047A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
CN114795178B (zh) 一种基于多注意力神经网络的大脑状态解码方法
CN110826596A (zh) 一种基于多尺度可变形卷积的语义分割方法
CN112507997A (zh) 一种基于多尺度卷积和感受野特征融合的人脸超分辨系统
CN110188794B (zh) 一种深度学习模型的训练方法、装置、设备及存储介质
CN111090764B (zh) 基于多任务学习和图卷积神经网络的影像分类方法及装置
Chao et al. Medical image fusion via discrete stationary wavelet transform and an enhanced radial basis function neural network
CN109410195B (zh) 一种磁共振成像脑分区方法及系统
CN110879982A (zh) 一种人群计数系统及方法
CN113379655B (zh) 一种基于动态自注意力生成对抗网络的图像合成方法
CN112699899A (zh) 一种基于生成对抗网络的高光谱图像特征提取方法
CN112766283B (zh) 一种基于多尺度卷积网络的两相流流型识别方法
CN113951830B (zh) 一种基于3d注意力卷积与自监督学习的脑疾病分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant