CN115374831B - 多模态配准和时空特征注意的动静结合速度想象分类方法 - Google Patents

多模态配准和时空特征注意的动静结合速度想象分类方法 Download PDF

Info

Publication number
CN115374831B
CN115374831B CN202211299396.5A CN202211299396A CN115374831B CN 115374831 B CN115374831 B CN 115374831B CN 202211299396 A CN202211299396 A CN 202211299396A CN 115374831 B CN115374831 B CN 115374831B
Authority
CN
China
Prior art keywords
registration
fnirs
data
matrix
attention
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211299396.5A
Other languages
English (en)
Other versions
CN115374831A (zh
Inventor
孙彪
郝晓倩
沈瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruitong Hangzhou Technology Development Co ltd
Original Assignee
Ruitong Hangzhou Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruitong Hangzhou Technology Development Co ltd filed Critical Ruitong Hangzhou Technology Development Co ltd
Priority to CN202211299396.5A priority Critical patent/CN115374831B/zh
Publication of CN115374831A publication Critical patent/CN115374831A/zh
Application granted granted Critical
Publication of CN115374831B publication Critical patent/CN115374831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了多模态配准和时空特征注意的动静结合速度想象分类方法，步骤如下：进行肢体动作的速度想象，同步采集EEG信号和fNIRS信号；对信号进行预处理；采用模态间相关信息配准算法，设计相关性配准矩阵对两种信号时空矩阵进行配准，获得配准数据；卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征和局部空间特征，经自注意力机制运算分别得到全局时间特征矩阵和全局空间特征矩阵；输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类。本发明所述的多模态配准和时空特征注意的动静结合速度想象分类方法，对探索大脑中连续神经意图解码和推进脑‑机接口应用具有重要意义。

Description

多模态配准和时空特征注意的动静结合速度想象分类方法
技术领域
本发明属于机器或结构部件的静或动平衡的测试领域，尤其是涉及多模态配准和时空特征注意的动静结合速度想象分类方法。
背景技术
运动想象（motor imagery，MI）脑-机接口（brain-computer interfaces，BCIs）系统作为一种非侵入式脑-机接口系统能够通过想象肢体运动将大脑神经活动信息作为输入信号从而控制外部设备，进而降低了大脑对身体的依赖。运动想象脑-机接口技术作为一种新型康复治疗方法，大大提升了脑损伤等患者康复的可能，已经广泛应用于康复治疗等领域，有着广阔的应用前景。然而，当前运动想象脑-机接口系统大多采用单一的肢体动作（例如双手，双脚和舌头等）来进行后续的控制指令分析，缺乏连续性大脑神经活动信息的捕获手段，不能模拟脑-机接口系统的实际使用状态。
速度这一物理量有着天然的连续特性，设置不同频率的速度想象为增强脑-机接口系统的灵活性提供了一种可行的解决方案。为了获取更多的控制指令，已经有专家学者提出启发式速度想象范式，尽管这些方法能够在一定程度上提升指令数量但是仍然处于原理探究阶段，缺乏一种自发性速度想象诱发方法。
运动想象脑-机接口系统可以采用多种类型的输入信号进行外部设备控制。常见的信号类型有功能磁共振成像（functional magnetic resonance imaging，fMRI）、脑磁图（magnetoencephalography，MEG）、功能性近红外光谱（functional near infraredspectroscopy，fNIRS）和脑电图（electroencephalogram，EEG）等。fMRI和MEG由于采集设备庞大且昂贵使得其难以应用于实际的脑-机接口系统。EEG信号有着高时间分辨率以及便携的采集方式被广泛应用于运动想象脑-机接口系统，但是基于EEG的运动想象脑-机接口系统由于EEG信号容易受到噪声信号的影响以及较低的低空间分辨率在一定程度上限制了多指令预测精度。然而，近年来的研究表明fNIRS因其出色的空间分辨率和便携性被证明于EEG信号有着很好的互补作用。因此，结合EEG和fNIRS能够有效提升脑-机接口连续性神经意图的捕获能力，有助于获取更全面的时空特征信息，从而解决速度想象脑-机接口系统的主动诱发以及灵活控制指令获取问题。
开展EEG-fNIRS速度想象融合以及分类研究，克服单模态速度想象范式的局限性重要的意义。当前的多模态速度想象信号大多采用数据端拼接方式将EEG信号和fNIRS信号进行简单的拼接，不能充分利用多模态信号的特征优势。并且，这些方法提取手工特征采用传统的机器学习方法进行类别预测，因此在分类性能以及算法简化性上仍有待提升。
发明内容
有鉴于此，本发明旨在提出多模态配准和时空特征注意的动静结合速度想象分类方法，以解决单模态速度想象范式的局限性的问题，充分利用多模态信号的特征优势。
为达到上述目的，本发明的技术方案是这样实现的：
多模态配准和时空特征注意的动静结合速度想象分类方法，具体步骤如下：
S1、进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号；
S2、对EEG信号和fNIRS信号分别进行预处理；
S3、采用模态间相关信息配准算法，设计相关性配准矩阵对EEG信号和fNIRS信号时空矩阵进行配准，获得配准数据；
S4、卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征
Figure 329647DEST_PATH_IMAGE002
和局部空间特征
Figure 387733DEST_PATH_IMAGE004
，
Figure 901891DEST_PATH_IMAGE006
和
Figure 93838DEST_PATH_IMAGE004
经过自注意力机制运算分别得到全局时间特征矩阵
Figure 750953DEST_PATH_IMAGE007
和全局空间特征矩阵
Figure 307836DEST_PATH_IMAGE009
；
S5、
Figure 371607DEST_PATH_IMAGE011
和
Figure 914715DEST_PATH_IMAGE009
输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类。
进一步的，步骤S1中，进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号，具体方法如下：
EEG信号采集34个通道，所述34个通道数据采集位置包括左右眼HEO，左眼上下眼VEO，左耳M1、右耳M2，采样频率为1000Hz；
fNIRS信号采集20个通道，所述20个通道数据采集位置包括左右脑区的感觉运动区和辅助运动区，采样频率为100Hz；进行15个连续时间段的速度想象数据采集，每个时间段进行60次左手速度想象，所述60次左手速度想象包括0Hz、0.5Hz、1Hz左手握拳速度想象各20次，获得900次速度想象的EEG信号和900次速度想象的fNIRS信号。
进一步的，步骤S2中，对EEG信号和fNIRS信号分别进行预处理，具体方法如下：
S21、EEG信号预处理步骤包括工频陷波、基线校准、剔除伪迹和坏段、滤波分段以及降采样；
S22、fNIRS信号预处理步骤包括采用中值滤波以及带通滤波去除伪迹的干扰，所述伪迹包括呼吸、心跳；利用修正朗伯比尔定律计算由不同频率速度想象引起的血氧浓度变化值；
S23、设置两种信号预处理后的数据尺寸均为N×C×S，其中N代表样本数量，C代表通道数，S代表时间采样点。
进一步的，步骤S3中，采用模态间相关信息配准算法，设计相关性配准矩阵对EEG和fNIRS信号进行配准，获得配准数据，具体方法：
S31、对预处理后的EEG信号和fNIRS信号分别进行归一化处理以消除不同模态特性的影响，计算方式如下：
Figure 849173DEST_PATH_IMAGE012
（1）
其中，X表示预处理后的EEG信号经过归一化处理后的数据；
Y表示预处理后的fNIRS信号经过归一化处理后的数据；
S32、引入相关性矩阵，具体计算公式如下：
Figure 311379DEST_PATH_IMAGE013
（2）
式中，X i ∈X，Y i ∈Y；
S33、采用二范数最小化来对相关性矩阵进行估计，具体公式如下：
Figure 659183DEST_PATH_IMAGE014
（3）
式中，为权重矩阵，训练初始时对应相关性矩阵的行数和列数自动给定；
S34、为实现局部稀疏以及空间平滑，结合核范数建立完整的配准优化模型，具体公式如下：
Figure 865037DEST_PATH_IMAGE015
（4）
式中，
Figure 231165DEST_PATH_IMAGE016
和
Figure 129851DEST_PATH_IMAGE017
分别代表二范数和核范数，
Figure 964952DEST_PATH_IMAGE018
为惩罚项，人为设置；
S35、根据交替方向乘子法对式（4）进行迭代求解，得到迭代后的相关矩阵；
对
Figure 708917DEST_PATH_IMAGE020
的列向量进行归一化，得到每一个fNIRS通道中各EEG通道的相关权重值；
S36、以EEG为基准信号，采用加权配准的方式将fNIRS耦合到EEG信号当中，获得配准数据，具体公式如下：
Figure 696595DEST_PATH_IMAGE021
（5）
式中，
Figure 500603DEST_PATH_IMAGE023
表示配准前EEG信号模态的第i个通道数据，
Figure 823000DEST_PATH_IMAGE025
表示配准后EEG信号模态的第i个通道配准数据，
以最佳分类效果为最终目的以及参考指标，设置多种fNIRS配准通道数量，结合式（5），选择多种fNIRS配准通道数量中达到最优的配准效果的fNIRS配准通道数量。
进一步的，步骤S4中，卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征
Figure 370656DEST_PATH_IMAGE027
和局部空间特征
Figure 711377DEST_PATH_IMAGE029
，具体方法如下：
卷积神经网络卷积层第k个特征如下式所示：
Figure 951865DEST_PATH_IMAGE030
（6）
式中，输入的特征数据用
Figure 230400DEST_PATH_IMAGE031
表示，
Figure 847326DEST_PATH_IMAGE033
为权重矩阵，提取及注意模型训练初始时自动给定；
Figure 544017DEST_PATH_IMAGE035
为偏置矩阵，非线性激活函数用
Figure 955407DEST_PATH_IMAGE036
表示，所有模块的激活函数选择ELU函数；
卷积神经网络输出的特征数据为局部时间特征，记作
Figure 986817DEST_PATH_IMAGE038
，对
Figure 876276DEST_PATH_IMAGE040
进行维度转换得到局部空间特征，记作
Figure 191588DEST_PATH_IMAGE042
。
进一步的，步骤S4中，
Figure 773879DEST_PATH_IMAGE038
和
Figure 27006DEST_PATH_IMAGE044
经过自注意力机制运算分别得到全局时间特征矩阵
Figure 720156DEST_PATH_IMAGE046
和全局空间特征矩阵
Figure 125860DEST_PATH_IMAGE048
，具体方法如下：
局部时间特征
Figure 879053DEST_PATH_IMAGE038
和局部空间特征
Figure 885055DEST_PATH_IMAGE044
分别作为三个串联Transformer模块的输入进行全局特征注意运算，获得全局时间特征矩阵
Figure 178633DEST_PATH_IMAGE046
和全局空间特征矩阵；
所述Transformer模块由堆叠的自注意力机制模块构成。
进一步的，步骤S5中，
Figure 829057DEST_PATH_IMAGE046
和
Figure 861473DEST_PATH_IMAGE048
输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类训练，具体方法如下：
将上述输出的
Figure 230137DEST_PATH_IMAGE046
和
Figure 389723DEST_PATH_IMAGE048
输入到由DW卷积、PW卷积、全连接层FC以及归一化指数函数Softmax构成的分类器中，具体实现方式如下式所示：
Figure 160233DEST_PATH_IMAGE049
（7）
式中，
Figure 865015DEST_PATH_IMAGE050
为时间特征权重因子，
Figure 455396DEST_PATH_IMAGE052
为空间特征的权重因子，
Figure 418673DEST_PATH_IMAGE053
和
Figure 778110DEST_PATH_IMAGE052
为训练变量，通过分类训练获得最优解。
相对于现有技术，本发明所述的多模态配准和时空特征注意的动静结合速度想象分类方法具有以下有益效果：
本发明所述的多模态配准和时空特征注意的动静结合速度想象分类方法，同步采集0Hz、0.5Hz和1Hz速度下的左手握拳想象多模态信号，采用多模态耦合配准算法，结合时空特征提取及注意深度学习网络框架，增强了多模态信号的时空耦合性能，构建双流时空特征提取和注意网络以充分利用双模态时空特征信息，从而提升了模型的准确性鲁棒性，采用时空可训练参数来自适应地重新校准预测结果，进一步提高了整体分类性能，因此，本申请有着较好的可解释性以及鲁棒性，对探索大脑中连续神经意图解码和推进脑-机接口实际应用具有重要意义。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的同步采集位置示意图；
图2为本发明实施例所述的60次左手速度想象示意图；
图3为本发明实施例所述的结合核范数建立完整的配准优化模型示意图；
图4为本发明实施例所述的卷积神经网络结合注意力机制的双流时空特征提取及注意模型建立流程示意图；
图5为本发明实施例所述的多模态配准和时空特征注意的动静结合速度想象分类方法得到的每一类别的分类性能示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
（1）根据设计的自发性速度想象多模态信号同步采集范式进行数据采集；
如图所示，同步采集被试的EEG和fNIRS速度想象信号，其中，采集34个通道（HEO为左右眼电，VEO为左眼上下眼电，M1和M2为左右耳如图1参考电极）的EEG信号数据，采样频率为1000Hz；采集20个通道（左右脑区个10各通道分布在感觉运动区和辅助运动区，包含4个光源和16个探测器）的fNIRS信号数据，采样频率为100Hz。
每个被试采集15个连续时间段的速度想象数据，每个时间段进行60次左手速度想象（0Hz、0.5Hz以及1Hz左手握拳速度想象各20次），最后采集到的数据包括900次速度想象的EEG和fNIRS信号。
（2）将采集到的双模态速度想象信号进行预处理操作：
使用Python工具中的扩展库MNE进行EEG信号预处理，预处理步骤包括工频陷波、基线校准、剔除伪迹和坏段、滤波分段以及降采样。
工频陷波指的是利用陷波滤波滤除电力系统以及电力设备产生的工频噪声，我国工频频率为50Hz。
采用基线校准将速度想象之前0.1s的休息时间的EEG均值作为基线以消除数据漂移带来的不良影响。
根据采集的眼电等伪迹，使用独立成分分析去除与眼电成分，剔除由于身体晃动等产生的坏段样本。
fNIRS信号预处理步骤包括：采用中值滤波以及带通滤波去除包括呼吸心跳等伪迹的干扰，利用修正朗伯比尔定律（modified Lambert-Beer law）计算由不同频率速度想象引起的血氧浓度变化值。
最后为了便于后续处理，两种信号预处理后的数据尺寸均为N×C×S，其中N代表样本数量，C代表通道数，S代表时间采样点。
（3）建立模态间相关信息配准算法，设计相关性配准矩阵对EEG和fNIRS时空矩阵进行配准。
首先对上述预处理后的EEG和fNIRS数据分别进行归一化处理以消除不同模态特性的影响，计算方式如公式（1）所示：
对预处理后的EEG信号和fNIRS信号分别进行归一化处理以消除不同模态特性的影响，计算方式如下：
Figure 840744DEST_PATH_IMAGE054
（1）
其中，X表示预处理后的EEG信号经过归一化处理后的数据；
Y表示预处理后的fNIRS信号经过归一化处理后的数据；
S32、引入相关性矩阵
Figure 495586DEST_PATH_IMAGE055
，具体计算公式如下：
Figure 934657DEST_PATH_IMAGE056
（2）
式中，X i ∈X，Y i ∈Y；
S33、采用二范数最小化来对相关性矩阵
Figure 538814DEST_PATH_IMAGE055
进行估计，具体公式如下：
Figure 975611DEST_PATH_IMAGE057
（3）
式中，
Figure 415951DEST_PATH_IMAGE059
为权重矩阵，训练初始时对应相关性矩阵
Figure 596397DEST_PATH_IMAGE055
的行数和列数自动给定；
S34、如图3所示，为实现局部稀疏以及空间平滑，结合核范数建立完整的配准优化模型，具体公式如下：
Figure 55060DEST_PATH_IMAGE060
（4）
式中，
Figure 397179DEST_PATH_IMAGE061
和
Figure 823350DEST_PATH_IMAGE062
分别代表二范数和核范数，
Figure 541908DEST_PATH_IMAGE064
为惩罚项，人为设置；
S35、根据交替方向乘子法对式（4）进行迭代求解，得到迭代后的相关矩阵
Figure 120657DEST_PATH_IMAGE065
；
对
Figure 899257DEST_PATH_IMAGE065
的列向量进行归一化，得到每一个fNIRS通道中各EEG通道的相关权重值；
S36、以EEG为基准信号，采用加权配准的方式将fNIRS耦合到EEG信号当中，获得配准数据，具体公式如下：
Figure 314189DEST_PATH_IMAGE066
（5）
式中，
Figure 836437DEST_PATH_IMAGE068
表示配准前EEG信号模态的第i个通道数据，
Figure 941796DEST_PATH_IMAGE069
表示配准后EEG信号模态的第i个通道配准数据，
以最佳分类效果为最终目的以及参考指标，设置多种fNIRS配准通道数量，结合式（5），选择多种fNIRS配准通道数量中达到最优的配准效果的fNIRS配准通道数量。
将fNIRS各通道数据依次与迭代后的相关矩阵
Figure 219194DEST_PATH_IMAGE071
中对应的相关权重值相乘得到EEG信号模态的第i个通道的配准表示，以最佳分类效果为最终目的以及参考指标，设置多种合适的fNIRS配准通道数量，结合式（5），选择达到最优的配准效果的fNIRS配准通道数量。
对依据上述算法求得的相关矩阵绘制和弦图，得到EEG信号和fNIRS信号的相互关联情况。
（4）建立如图4所示的卷积神经网络结合注意力机制的双流时空特征提取及注意模型，模型包括由3个卷积模块构成的局部时空特征提取器和由3个Transformer模块构成的全局时空特征注意器，以及由2个卷积模块（DW和PW）+1个全连接层(FC)+Softmax构成的自适应时空特征分类器，
卷积神经网络的输入为上述得到的尺寸为N×C×S配准数据；
卷积神经网络卷积层第k个特征如下式所示：
Figure DEST_PATH_IMAGE072
（6）
式中，输入的特征数据用
Figure 619957DEST_PATH_IMAGE073
表示，
Figure 945896DEST_PATH_IMAGE075
代表权重矩阵，
Figure 436920DEST_PATH_IMAGE077
为偏置矩阵，非线性激活函数用
Figure 354061DEST_PATH_IMAGE079
表示，所有模块的激活函数选择ELU函数。
将上述卷积模块得到的局部时间特征记作
Figure 743585DEST_PATH_IMAGE081
，对
Figure 607636DEST_PATH_IMAGE083
进行维度转换得到局部空间特征记作
Figure 749904DEST_PATH_IMAGE085
用于后续操作。
上述得到的局部时间特征和局部空间特征分别作为三个串联Transformer模块的输入进行全局特征注意操作。Transformer模块由堆叠的自注意力机制模块构成。
Figure 306787DEST_PATH_IMAGE087
和
Figure 416564DEST_PATH_IMAGE089
经过自注意力机制运算分别得到全局时间特征矩阵和全局空间特征矩阵
Figure 84305DEST_PATH_IMAGE091
。
（5）采用构建的双流时空特征提取及注意模型进行类别预测。
将上述输出的
Figure 815501DEST_PATH_IMAGE093
和
Figure DEST_PATH_IMAGE094
输入到由卷积模块（DW和PW）、全连接层（FC）以及Softmax构成的分类器中。
具体实现方式如下式所示：
Figure 153072DEST_PATH_IMAGE095
（7）
式中，
Figure 110664DEST_PATH_IMAGE097
为时间特征权重因子，
Figure DEST_PATH_IMAGE098
为空间特征的权重因子，
Figure 175572DEST_PATH_IMAGE099
和
Figure 565138DEST_PATH_IMAGE101
为训练变量，通过分类训练获得最优解。
图5是使用本发明多模态配准和时空特征注意的动静结合速度想象分类方法得到的每一类别的分类性能，可以直观的看出各频率速度想象具有较高的识别率。
最后需要说明的是：
在图1中，图中字母表示EEG信号通道，按照10/20排布标准进行布道，HEO、VEO表示眼电通道；
在图4中，Softmax为归一化指数函数；
在图5中，AUC是评价指标，代表曲线下面积。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：具体步骤如下：
S1、进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号；
S2、对EEG信号和fNIRS信号分别进行预处理；
S3、采用模态间相关信息配准算法，设计相关性配准矩阵对EEG信号和fNIRS信号时空矩阵进行配准，获得配准数据；
S4、卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征Xt和局部空间特征Xs，Xt和Xs经过自注意力机制运算分别得到全局时间特征矩阵Xt′和全局空间特征矩阵Xs；
S5、Xt′和Xs输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类；
在步骤S4中，卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征Xt和局部空间特征Xs，具体方法如下：
卷积神经网络卷积层第k个特征如下式所示：
Figure FDA0003999600630000011
式中，输入的特征数据用XRE表示，Wk为权重矩阵，提取及注意模型训练初始时自动给定；Bi，j为偏置矩阵，非线性激活函数用f(·)表示，所有模块的激活函数选择ELU函数；
卷积神经网络输出的特征数据为局部时间特征，记作Xt，对Xt进行维度转换得到局部空间特征，记作Xs。
2.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S1中，进行肢体动作的速度想 象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号，具体方法如下：
EEG信号采集34个通道，所述34个通道数据采集位置包括左右眼HEO，左眼上下眼VEO，左耳M1、右耳M2，采样频率为1000Hz；
fNIRS信号采集20个通道，所述20个通道数据采集位置包括左右脑区的感觉运动区和辅助运动区，采样频率为100Hz；进行15个连续时间段的速度想象数据采集，每个时间段进行60次左手速度想象，所述60次左手速度想象包括0Hz、0.5Hz、1Hz左手握拳速度想象各20次，获得900次速度想象的EEG信号和900次速度想象的fNIRS信号。
3.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S2中，对EEG信号和fNIRS信号分别进行预处理，具体方法如下：
S21、EEG信号预处理步骤包括工频陷波、基线校准、剔除伪迹和坏段、滤波分段以及降采样；
S22、fNIRS信号预处理步骤包括采用中值滤波以及带通滤波去除伪迹的干扰，所述伪迹包括呼吸、心跳；利用修正朗伯比尔定律计算由不同频率速度想象引起的血氧浓度变化值；
S23、设置两种信号预处理后的数据尺寸均为N×C×S，其中N代表样本数量，C代表通道数，S代表时间采样点。
4.根据权利要求3所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S3中，采用模态间相关信息配准算法，设计相关性配准矩阵对EEG和fNIRS信号进行配准，获得配准数据，具体方法：
S31、对预处理后的EEG信号和fNIRS信号分别进行归一化处理以消除不同模态特性的影响，计算方式如下：
Figure FDA0003999600630000021
Figure FDA0003999600630000022
其中，X表示预处理后的EEG信号经过归一化处理后的数据；
Y表示预处理后的fNIRS信号经过归一化处理后的数据；
S32、引入相关性矩阵，具体计算公式如下：
Figure FDA0003999600630000031
式中，Xi∈X，Yi∈Y；
S33、采用二范数最小化来对相关性矩阵进行估计，具体公式如下：
Figure FDA0003999600630000032
式中，W为权重矩阵，训练初始时对应相关性矩阵的行数和列数自动给定；
S34、为实现局部稀疏以及空间平滑，结合核范数建立完整的配准优化模型，具体公式如下：
Figure FDA0003999600630000033
式中，||·||2和||·||*分别代表二范数和和范数，λ＞0为惩罚项，人为设置；
S35、根据交替方向乘子法对式(4)进行迭代求解，得到迭代后的相关矩阵Z′；
对Z′的列向量进行归一化，得到每一个fNIRS通道中各EEG通道的相关权重值；
S36、以EEG为基准信号，采用加权配准的方式将fNIRS耦合到EEG信号当中，获得配准数据，具体公式如下：
Figure FDA0003999600630000034
式中，xi表示配准前EEG信号模态的第i个通道数据；
Figure FDA0003999600630000035
表示配准后EEG信号模态的第i个通道配准数据；
y1表示配准前fNIRS信号模态的第1个通道数据；
y2表示配准前fNIRS信号模态的第2个通道数据；
ycfNIRS表示配准前fNIRS信号模态的第cfNIRS个通道数据；
zi1表示相关矩阵Z中位置为第i行第1列的元素；
zi2表示相关矩阵Z中位置为第i行第2列的元素；
ZicfNIRS表不相关矩阵Z中位置为第i行第cfNIRS列的元素；
以最佳分类效果为最终目的以及参考指标，设置多种fNIRS配准通道数量，结合式(5)，选择多种fNIRS配准通道数量中达到最优的配准效果的fNIRS配准通道数量。
5.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S4中，Xt和Xs经过自注意力机制运算分别得到全局时间特征矩阵Xt′和全局空间特征矩阵Xs′，具体方法如下：
局部时间特征Xt和局部空间特征Xs分别作为三个串联Transformer模块的输入进行全局特征注意运算，获得全局时间特征矩阵Xt′和全局空间特征矩阵；
所述Transformer模块由堆叠的自注意力机制模块构成。
6.根据权利要求5所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S5中，Xt′和Xs′输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类训练，具体方法如下：
将上述输出的Xt′和Xs′输入到由DW卷积、PW卷积、全连接层FC以及归一化指数函数Softmax构成的分类器中，具体实现方式如下式所示：
Figure FDA0003999600630000041
式中，Wt为时间特征权重因子，Ws为空间特征的权重因子，Wt和Ws为训练变量，通过分类训练获得最优解。
CN202211299396.5A 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法 Active CN115374831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299396.5A CN115374831B (zh) 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299396.5A CN115374831B (zh) 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法

Publications (2)

Publication Number Publication Date
CN115374831A CN115374831A (zh) 2022-11-22
CN115374831B true CN115374831B (zh) 2023-01-24

Family

ID=84073182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299396.5A Active CN115374831B (zh) 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法

Country Status (1)

Country Link
CN (1) CN115374831B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115813385B (zh) * 2022-12-16 2024-04-12 天津大学 一种多模态视听联合的血氧代偿水平量化评估方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013220326A (ja) * 2012-04-19 2013-10-28 Jichi Medical Univ 経頭蓋脳機能解析方法
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110929581A (zh) * 2019-10-25 2020-03-27 重庆邮电大学 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN113951900A (zh) * 2021-11-02 2022-01-21 燕山大学 一种基于多模态信号的运动想象意图识别方法
CN114533085A (zh) * 2022-02-18 2022-05-27 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114748053A (zh) * 2022-03-07 2022-07-15 东北大学 一种基于fMRI高维时间序列的信号分类方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114305449A (zh) * 2021-12-25 2022-04-12 郑州大学 基于脑电导联互信息量的运动想象分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013220326A (ja) * 2012-04-19 2013-10-28 Jichi Medical Univ 経頭蓋脳機能解析方法
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110929581A (zh) * 2019-10-25 2020-03-27 重庆邮电大学 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN113951900A (zh) * 2021-11-02 2022-01-21 燕山大学 一种基于多模态信号的运动想象意图识别方法
CN114533085A (zh) * 2022-02-18 2022-05-27 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114748053A (zh) * 2022-03-07 2022-07-15 东北大学 一种基于fMRI高维时间序列的信号分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《医学图像配准方法分类》;钱宗才等;《医学信息》;20001130;第13卷(第11期);引言 *
《融合卷积注意力和Transformer架构的行人重识别方法》;王静等;《北京航空航天大学学报》;20220811;第1-12页 *

Also Published As

Publication number Publication date
CN115374831A (zh) 2022-11-22

Similar Documents

Publication Publication Date Title
CN108446020B (zh) 融合可视图与深度学习的运动想象意念控制方法及应用
Liu et al. EEG emotion recognition based on the attention mechanism and pre-trained convolution capsule network
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
KR102221264B1 (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN109793506B (zh) 一种非接触式桡动脉波形提取方法
Hu et al. Robust heart rate estimation with spatial–temporal attention network from facial videos
Ameri et al. Projective dictionary pair learning for EEG signal classification in brain computer interface applications
Wang et al. A 2D CNN-LSTM hybrid algorithm using time series segments of EEG data for motor imagery classification
CN115374831B (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
CN116109818B (zh) 一种基于面部视频的中医脉候判别系统及方法和装置
CN116012916A (zh) 远程光体积描记信号和心率检测模型构建方法及检测方法
Wang et al. Multiband decomposition and spectral discriminative analysis for motor imagery BCI via deep neural network
Lee et al. Lstc-rppg: Long short-term convolutional network for remote photoplethysmography
CN111914925B (zh) 一种基于深度学习的患者行为多模态感知与分析系统
CN117542103A (zh) 一种基于多尺度时空特征图的非接触式心率检测方法
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法
Karmuse et al. A robust rppg approach for continuous heart rate measurement based on face
CN116524380A (zh) 一种基于脑-机信号融合的目标检测方法
CN115813409A (zh) 一种超低延迟的运动图像脑电图解码方法
Geng et al. Motion resistant facial video based heart rate estimation method using head-mounted camera
CN115154828A (zh) 一种基于脑机接口技术的大脑功能重塑方法、系统、设备
Artemyev et al. Neurodata Lab's Approach to the Challenge on Computer Vision for Physiological Measurement
CN117520826B (zh) 一种基于可穿戴设备的多模态情绪识别方法及系统
Zhang et al. Movement recognition via channel-activation-wise sEMG attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant