CN115374831A - 多模态配准和时空特征注意的动静结合速度想象分类方法 - Google Patents

多模态配准和时空特征注意的动静结合速度想象分类方法 Download PDF

Info

Publication number
CN115374831A
CN115374831A CN202211299396.5A CN202211299396A CN115374831A CN 115374831 A CN115374831 A CN 115374831A CN 202211299396 A CN202211299396 A CN 202211299396A CN 115374831 A CN115374831 A CN 115374831A
Authority
CN
China
Prior art keywords
registration
fnirs
data
attention
eeg
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211299396.5A
Other languages
English (en)
Other versions
CN115374831B (zh
Inventor
孙彪
郝晓倩
沈瑜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ruitong Hangzhou Technology Development Co ltd
Original Assignee
Ruitong Hangzhou Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ruitong Hangzhou Technology Development Co ltd filed Critical Ruitong Hangzhou Technology Development Co ltd
Priority to CN202211299396.5A priority Critical patent/CN115374831B/zh
Publication of CN115374831A publication Critical patent/CN115374831A/zh
Application granted granted Critical
Publication of CN115374831B publication Critical patent/CN115374831B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mathematical Physics (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了多模态配准和时空特征注意的动静结合速度想象分类方法，步骤如下：进行肢体动作的速度想象，同步采集EEG信号和fNIRS信号；对信号进行预处理；采用模态间相关信息配准算法，设计相关性配准矩阵对两种信号时空矩阵进行配准，获得配准数据；卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征和局部空间特征，经自注意力机制运算分别得到全局时间特征矩阵和全局空间特征矩阵；输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类。本发明所述的多模态配准和时空特征注意的动静结合速度想象分类方法，对探索大脑中连续神经意图解码和推进脑‑机接口应用具有重要意义。

Description

多模态配准和时空特征注意的动静结合速度想象分类方法
技术领域
本发明属于机器或结构部件的静或动平衡的测试领域，尤其是涉及多模态配准和时空特征注意的动静结合速度想象分类方法。
背景技术
运动想象（motor imagery，MI）脑-机接口（brain-computer interfaces，BCIs）系统作为一种非侵入式脑-机接口系统能够通过想象肢体运动将大脑神经活动信息作为输入信号从而控制外部设备，进而降低了大脑对身体的依赖。运动想象脑-机接口技术作为一种新型康复治疗方法，大大提升了脑损伤等患者康复的可能，已经广泛应用于康复治疗等领域，有着广阔的应用前景。然而，当前运动想象脑-机接口系统大多采用单一的肢体动作（例如双手，双脚和舌头等）来进行后续的控制指令分析，缺乏连续性大脑神经活动信息的捕获手段，不能模拟脑-机接口系统的实际使用状态。
速度这一物理量有着天然的连续特性，设置不同频率的速度想象为增强脑-机接口系统的灵活性提供了一种可行的解决方案。为了获取更多的控制指令，已经有专家学者提出启发式速度想象范式，尽管这些方法能够在一定程度上提升指令数量但是仍然处于原理探究阶段，缺乏一种自发性速度想象诱发方法。
运动想象脑-机接口系统可以采用多种类型的输入信号进行外部设备控制。常见的信号类型有功能磁共振成像（functional magnetic resonance imaging，fMRI）、脑磁图（magnetoencephalography，MEG）、功能性近红外光谱（functional near infraredspectroscopy，fNIRS）和脑电图（electroencephalogram，EEG）等。fMRI和MEG由于采集设备庞大且昂贵使得其难以应用于实际的脑-机接口系统。EEG信号有着高时间分辨率以及便携的采集方式被广泛应用于运动想象脑-机接口系统，但是基于EEG的运动想象脑-机接口系统由于EEG信号容易受到噪声信号的影响以及较低的低空间分辨率在一定程度上限制了多指令预测精度。然而，近年来的研究表明fNIRS因其出色的空间分辨率和便携性被证明于EEG信号有着很好的互补作用。因此，结合EEG和fNIRS能够有效提升脑-机接口连续性神经意图的捕获能力，有助于获取更全面的时空特征信息，从而解决速度想象脑-机接口系统的主动诱发以及灵活控制指令获取问题。
开展EEG-fNIRS速度想象融合以及分类研究，克服单模态速度想象范式的局限性重要的意义。当前的多模态速度想象信号大多采用数据端拼接方式将EEG信号和fNIRS信号进行简单的拼接，不能充分利用多模态信号的特征优势。并且，这些方法提取手工特征采用传统的机器学习方法进行类别预测，因此在分类性能以及算法简化性上仍有待提升。
发明内容
有鉴于此，本发明旨在提出多模态配准和时空特征注意的动静结合速度想象分类方法，以解决单模态速度想象范式的局限性的问题，充分利用多模态信号的特征优势。
为达到上述目的，本发明的技术方案是这样实现的：
多模态配准和时空特征注意的动静结合速度想象分类方法，具体步骤如下：
S1、进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号；
S2、对EEG信号和fNIRS信号分别进行预处理；
S3、采用模态间相关信息配准算法，设计相关性配准矩阵对EEG信号和fNIRS信号时空矩阵进行配准，获得配准数据；
S4、卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征
Figure 329647DEST_PATH_IMAGE002
和局部空间特征
Figure 387733DEST_PATH_IMAGE004
，
Figure 901891DEST_PATH_IMAGE006
和
Figure 93838DEST_PATH_IMAGE004
经过自注意力机制运算分别得到全局时间特征矩阵
Figure 750953DEST_PATH_IMAGE007
和全局空间特征矩阵
Figure 307836DEST_PATH_IMAGE009
；
S5、
Figure 371607DEST_PATH_IMAGE011
和
Figure 914715DEST_PATH_IMAGE009
输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类。
进一步的，步骤S1中，进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号，具体方法如下：
EEG信号采集34个通道，所述34个通道数据采集位置包括左右眼HEO，左眼上下眼VEO，左耳M1、右耳M2，采样频率为1000Hz；
fNIRS信号采集20个通道，所述20个通道数据采集位置包括左右脑区的感觉运动区和辅助运动区，采样频率为100Hz；进行15个连续时间段的速度想象数据采集，每个时间段进行60次左手速度想象，所述60次左手速度想象包括0Hz、0.5Hz、1Hz左手握拳速度想象各20次，获得900次速度想象的EEG信号和900次速度想象的fNIRS信号。
进一步的，步骤S2中，对EEG信号和fNIRS信号分别进行预处理，具体方法如下：
S21、EEG信号预处理步骤包括工频陷波、基线校准、剔除伪迹和坏段、滤波分段以及降采样；
S22、fNIRS信号预处理步骤包括采用中值滤波以及带通滤波去除伪迹的干扰，所述伪迹包括呼吸、心跳；利用修正朗伯比尔定律计算由不同频率速度想象引起的血氧浓度变化值；
S23、设置两种信号预处理后的数据尺寸均为N×C×S，其中N代表样本数量，C代表通道数，S代表时间采样点。
进一步的，步骤S3中，采用模态间相关信息配准算法，设计相关性配准矩阵对EEG和fNIRS信号进行配准，获得配准数据，具体方法：
S31、对预处理后的EEG信号和fNIRS信号分别进行归一化处理以消除不同模态特性的影响，计算方式如下：
Figure 849173DEST_PATH_IMAGE012
（1）
其中，X表示预处理后的EEG信号经过归一化处理后的数据；
Y表示预处理后的fNIRS信号经过归一化处理后的数据；
S32、引入相关性矩阵，具体计算公式如下：
Figure 311379DEST_PATH_IMAGE013
（2）
式中，X i ∈X，Y i ∈Y；
S33、采用二范数最小化来对相关性矩阵进行估计，具体公式如下：
Figure 659183DEST_PATH_IMAGE014
（3）
式中，为权重矩阵，训练初始时对应相关性矩阵的行数和列数自动给定；
S34、为实现局部稀疏以及空间平滑，结合核范数建立完整的配准优化模型，具体公式如下：
Figure 865037DEST_PATH_IMAGE015
（4）
式中，
Figure 231165DEST_PATH_IMAGE016
和
Figure 129851DEST_PATH_IMAGE017
分别代表二范数和核范数，
Figure 964952DEST_PATH_IMAGE018
为惩罚项，人为设置；
S35、根据交替方向乘子法对式（4）进行迭代求解，得到迭代后的相关矩阵；
对
Figure 708917DEST_PATH_IMAGE020
的列向量进行归一化，得到每一个fNIRS通道中各EEG通道的相关权重值；
S36、以EEG为基准信号，采用加权配准的方式将fNIRS耦合到EEG信号当中，获得配准数据，具体公式如下：
Figure 696595DEST_PATH_IMAGE021
（5）
式中，
Figure 500603DEST_PATH_IMAGE023
表示配准前EEG信号模态的第i个通道数据，
Figure 823000DEST_PATH_IMAGE025
表示配准后EEG信号模态的第i个通道配准数据，
以最佳分类效果为最终目的以及参考指标，设置多种fNIRS配准通道数量，结合式（5），选择多种fNIRS配准通道数量中达到最优的配准效果的fNIRS配准通道数量。
进一步的，步骤S4中，卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征
Figure 370656DEST_PATH_IMAGE027
和局部空间特征
Figure 711377DEST_PATH_IMAGE029
，具体方法如下：
卷积神经网络卷积层第k个特征如下式所示：
Figure 951865DEST_PATH_IMAGE030
（6）
式中，输入的特征数据用
Figure 230400DEST_PATH_IMAGE031
表示，
Figure 847326DEST_PATH_IMAGE033
为权重矩阵，提取及注意模型训练初始时自动给定；
Figure 544017DEST_PATH_IMAGE035
为偏置矩阵，非线性激活函数用
Figure 955407DEST_PATH_IMAGE036
表示，所有模块的激活函数选择ELU函数；
卷积神经网络输出的特征数据为局部时间特征，记作
Figure 986817DEST_PATH_IMAGE038
，对
Figure 876276DEST_PATH_IMAGE040
进行维度转换得到局部空间特征，记作
Figure 191588DEST_PATH_IMAGE042
。
进一步的，步骤S4中，
Figure 773879DEST_PATH_IMAGE038
和
Figure 27006DEST_PATH_IMAGE044
经过自注意力机制运算分别得到全局时间特征矩阵
Figure 720156DEST_PATH_IMAGE046
和全局空间特征矩阵
Figure 125860DEST_PATH_IMAGE048
，具体方法如下：
局部时间特征
Figure 879053DEST_PATH_IMAGE038
和局部空间特征
Figure 885055DEST_PATH_IMAGE044
分别作为三个串联Transformer模块的输入进行全局特征注意运算，获得全局时间特征矩阵
Figure 178633DEST_PATH_IMAGE046
和全局空间特征矩阵；
所述Transformer模块由堆叠的自注意力机制模块构成。
进一步的，步骤S5中，
Figure 829057DEST_PATH_IMAGE046
和
Figure 861473DEST_PATH_IMAGE048
输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类训练，具体方法如下：
将上述输出的
Figure 230137DEST_PATH_IMAGE046
和
Figure 389723DEST_PATH_IMAGE048
输入到由DW卷积、PW卷积、全连接层FC以及归一化指数函数Softmax构成的分类器中，具体实现方式如下式所示：
Figure 160233DEST_PATH_IMAGE049
（7）
式中，
Figure 865015DEST_PATH_IMAGE050
为时间特征权重因子，
Figure 455396DEST_PATH_IMAGE052
为空间特征的权重因子，
Figure 418673DEST_PATH_IMAGE053
和
Figure 778110DEST_PATH_IMAGE052
为训练变量，通过分类训练获得最优解。
相对于现有技术，本发明所述的多模态配准和时空特征注意的动静结合速度想象分类方法具有以下有益效果：
本发明所述的多模态配准和时空特征注意的动静结合速度想象分类方法，同步采集0Hz、0.5Hz和1Hz速度下的左手握拳想象多模态信号，采用多模态耦合配准算法，结合时空特征提取及注意深度学习网络框架，增强了多模态信号的时空耦合性能，构建双流时空特征提取和注意网络以充分利用双模态时空特征信息，从而提升了模型的准确性鲁棒性，采用时空可训练参数来自适应地重新校准预测结果，进一步提高了整体分类性能，因此，本申请有着较好的可解释性以及鲁棒性，对探索大脑中连续神经意图解码和推进脑-机接口实际应用具有重要意义。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明实施例所述的同步采集位置示意图；
图2为本发明实施例所述的60次左手速度想象示意图；
图3为本发明实施例所述的结合核范数建立完整的配准优化模型示意图；
图4为本发明实施例所述的卷积神经网络结合注意力机制的双流时空特征提取及注意模型建立流程示意图；
图5为本发明实施例所述的多模态配准和时空特征注意的动静结合速度想象分类方法得到的每一类别的分类性能示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。
在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本发明中的具体含义。
下面将参考附图并结合实施例来详细说明本发明。
（1）根据设计的自发性速度想象多模态信号同步采集范式进行数据采集；
如图所示，同步采集被试的EEG和fNIRS速度想象信号，其中，采集34个通道（HEO为左右眼电，VEO为左眼上下眼电，M1和M2为左右耳如图1参考电极）的EEG信号数据，采样频率为1000Hz；采集20个通道（左右脑区个10各通道分布在感觉运动区和辅助运动区，包含4个光源和16个探测器）的fNIRS信号数据，采样频率为100Hz。
每个被试采集15个连续时间段的速度想象数据，每个时间段进行60次左手速度想象（0Hz、0.5Hz以及1Hz左手握拳速度想象各20次），最后采集到的数据包括900次速度想象的EEG和fNIRS信号。
（2）将采集到的双模态速度想象信号进行预处理操作：
使用Python工具中的扩展库MNE进行EEG信号预处理，预处理步骤包括工频陷波、基线校准、剔除伪迹和坏段、滤波分段以及降采样。
工频陷波指的是利用陷波滤波滤除电力系统以及电力设备产生的工频噪声，我国工频频率为50Hz。
采用基线校准将速度想象之前0.1s的休息时间的EEG均值作为基线以消除数据漂移带来的不良影响。
根据采集的眼电等伪迹，使用独立成分分析去除与眼电成分，剔除由于身体晃动等产生的坏段样本。
fNIRS信号预处理步骤包括：采用中值滤波以及带通滤波去除包括呼吸心跳等伪迹的干扰，利用修正朗伯比尔定律（modified Lambert-Beer law）计算由不同频率速度想象引起的血氧浓度变化值。
最后为了便于后续处理，两种信号预处理后的数据尺寸均为N×C×S，其中N代表样本数量，C代表通道数，S代表时间采样点。
（3）建立模态间相关信息配准算法，设计相关性配准矩阵对EEG和fNIRS时空矩阵进行配准。
首先对上述预处理后的EEG和fNIRS数据分别进行归一化处理以消除不同模态特性的影响，计算方式如公式（1）所示：
对预处理后的EEG信号和fNIRS信号分别进行归一化处理以消除不同模态特性的影响，计算方式如下：
Figure 840744DEST_PATH_IMAGE054
（1）
其中，X表示预处理后的EEG信号经过归一化处理后的数据；
Y表示预处理后的fNIRS信号经过归一化处理后的数据；
S32、引入相关性矩阵
Figure 495586DEST_PATH_IMAGE055
，具体计算公式如下：
Figure 934657DEST_PATH_IMAGE056
（2）
式中，X i ∈X，Y i ∈Y；
S33、采用二范数最小化来对相关性矩阵
Figure 538814DEST_PATH_IMAGE055
进行估计，具体公式如下：
Figure 975611DEST_PATH_IMAGE057
（3）
式中，
Figure 415951DEST_PATH_IMAGE059
为权重矩阵，训练初始时对应相关性矩阵
Figure 596397DEST_PATH_IMAGE055
的行数和列数自动给定；
S34、如图3所示，为实现局部稀疏以及空间平滑，结合核范数建立完整的配准优化模型，具体公式如下：
Figure 55060DEST_PATH_IMAGE060
（4）
式中，
Figure 397179DEST_PATH_IMAGE061
和
Figure 823350DEST_PATH_IMAGE062
分别代表二范数和核范数，
Figure 541908DEST_PATH_IMAGE064
为惩罚项，人为设置；
S35、根据交替方向乘子法对式（4）进行迭代求解，得到迭代后的相关矩阵
Figure 120657DEST_PATH_IMAGE065
；
对
Figure 899257DEST_PATH_IMAGE065
的列向量进行归一化，得到每一个fNIRS通道中各EEG通道的相关权重值；
S36、以EEG为基准信号，采用加权配准的方式将fNIRS耦合到EEG信号当中，获得配准数据，具体公式如下：
Figure 314189DEST_PATH_IMAGE066
（5）
式中，
Figure 836437DEST_PATH_IMAGE068
表示配准前EEG信号模态的第i个通道数据，
Figure 941796DEST_PATH_IMAGE069
表示配准后EEG信号模态的第i个通道配准数据，
以最佳分类效果为最终目的以及参考指标，设置多种fNIRS配准通道数量，结合式（5），选择多种fNIRS配准通道数量中达到最优的配准效果的fNIRS配准通道数量。
将fNIRS各通道数据依次与迭代后的相关矩阵
Figure 219194DEST_PATH_IMAGE071
中对应的相关权重值相乘得到EEG信号模态的第i个通道的配准表示，以最佳分类效果为最终目的以及参考指标，设置多种合适的fNIRS配准通道数量，结合式（5），选择达到最优的配准效果的fNIRS配准通道数量。
对依据上述算法求得的相关矩阵绘制和弦图，得到EEG信号和fNIRS信号的相互关联情况。
（4）建立如图4所示的卷积神经网络结合注意力机制的双流时空特征提取及注意模型，模型包括由3个卷积模块构成的局部时空特征提取器和由3个Transformer模块构成的全局时空特征注意器，以及由2个卷积模块（DW和PW）+1个全连接层(FC)+Softmax构成的自适应时空特征分类器，
卷积神经网络的输入为上述得到的尺寸为N×C×S配准数据；
卷积神经网络卷积层第k个特征如下式所示：
Figure DEST_PATH_IMAGE072
（6）
式中，输入的特征数据用
Figure 619957DEST_PATH_IMAGE073
表示，
Figure 945896DEST_PATH_IMAGE075
代表权重矩阵，
Figure 436920DEST_PATH_IMAGE077
为偏置矩阵，非线性激活函数用
Figure 354061DEST_PATH_IMAGE079
表示，所有模块的激活函数选择ELU函数。
将上述卷积模块得到的局部时间特征记作
Figure 743585DEST_PATH_IMAGE081
，对
Figure 607636DEST_PATH_IMAGE083
进行维度转换得到局部空间特征记作
Figure 749904DEST_PATH_IMAGE085
用于后续操作。
上述得到的局部时间特征和局部空间特征分别作为三个串联Transformer模块的输入进行全局特征注意操作。Transformer模块由堆叠的自注意力机制模块构成。
Figure 306787DEST_PATH_IMAGE087
和
Figure 416564DEST_PATH_IMAGE089
经过自注意力机制运算分别得到全局时间特征矩阵和全局空间特征矩阵
Figure 84305DEST_PATH_IMAGE091
。
（5）采用构建的双流时空特征提取及注意模型进行类别预测。
将上述输出的
Figure 815501DEST_PATH_IMAGE093
和
Figure DEST_PATH_IMAGE094
输入到由卷积模块（DW和PW）、全连接层（FC）以及Softmax构成的分类器中。
具体实现方式如下式所示：
Figure 153072DEST_PATH_IMAGE095
（7）
式中，
Figure 110664DEST_PATH_IMAGE097
为时间特征权重因子，
Figure DEST_PATH_IMAGE098
为空间特征的权重因子，
Figure 175572DEST_PATH_IMAGE099
和
Figure 565138DEST_PATH_IMAGE101
为训练变量，通过分类训练获得最优解。
图5是使用本发明多模态配准和时空特征注意的动静结合速度想象分类方法得到的每一类别的分类性能，可以直观的看出各频率速度想象具有较高的识别率。
最后需要说明的是：
在图1中，图中字母表示EEG信号通道，按照10/20排布标准进行布道，HEO、VEO表示眼电通道；
在图4中，Softmax为归一化指数函数；
在图5中，AUC是评价指标，代表曲线下面积。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：具体步骤如下：
S1、进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号；
S2、对EEG信号和fNIRS信号分别进行预处理；
S3、采用模态间相关信息配准算法，设计相关性配准矩阵对EEG信号和fNIRS信号时空矩阵进行配准，获得配准数据；
S4、卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征
Figure 63854DEST_PATH_IMAGE001
和局部空间特征
Figure 512153DEST_PATH_IMAGE002
，
Figure 823049DEST_PATH_IMAGE001
和
Figure 998684DEST_PATH_IMAGE002
经过自注意力机制运算分别得到全局时间特征矩阵
Figure 344215DEST_PATH_IMAGE003
和全局空间特征矩阵
Figure 697836DEST_PATH_IMAGE004
；
S5、
Figure 496028DEST_PATH_IMAGE005
和
Figure 976819DEST_PATH_IMAGE004
输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类。
2.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S1中，进行肢体动作的速度想象，同步采集产生的脑电图EEG信号和功能性近红外光谱fNIRS信号，具体方法如下：
EEG信号采集34个通道，所述34个通道数据采集位置包括左右眼HEO，左眼上下眼VEO，左耳M1、右耳M2，采样频率为1000Hz；
fNIRS信号采集20个通道，所述20个通道数据采集位置包括左右脑区的感觉运动区和辅助运动区，采样频率为100Hz；进行15个连续时间段的速度想象数据采集，每个时间段进行60次左手速度想象，所述60次左手速度想象包括0Hz、0.5Hz、1Hz左手握拳速度想象各20次，获得900次速度想象的EEG信号和900次速度想象的fNIRS信号。
3.根据权利要求1所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S2中，对EEG信号和fNIRS信号分别进行预处理，具体方法如下：
S21、EEG信号预处理步骤包括工频陷波、基线校准、剔除伪迹和坏段、滤波分段以及降采样；
S22、fNIRS信号预处理步骤包括采用中值滤波以及带通滤波去除伪迹的干扰，所述伪迹包括呼吸、心跳；利用修正朗伯比尔定律计算由不同频率速度想象引起的血氧浓度变化值；
S23、设置两种信号预处理后的数据尺寸均为N×C×S，其中N代表样本数量，C代表通道数，S代表时间采样点。
4.根据权利要求3所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S3中，采用模态间相关信息配准算法，设计相关性配准矩阵对EEG和fNIRS信号进行配准，获得配准数据，具体方法：
S31、对预处理后的EEG信号和fNIRS信号分别进行归一化处理以消除不同模态特性的影响，计算方式如下：
Figure 973593DEST_PATH_IMAGE006
（1）
其中，X表示预处理后的EEG信号经过归一化处理后的数据；
Y表示预处理后的fNIRS信号经过归一化处理后的数据；
S32、引入相关性矩阵，具体计算公式如下：
Figure 498116DEST_PATH_IMAGE007
（2）
式中，X i ∈X，Y i ∈Y；
S33、采用二范数最小化来对相关性矩阵进行估计，具体公式如下：
Figure 767292DEST_PATH_IMAGE008
（3）
式中，为权重矩阵，训练初始时对应相关性矩阵的行数和列数自动给定；
S34、为实现局部稀疏以及空间平滑，结合核范数建立完整的配准优化模型，具体公式如下：
Figure 35462DEST_PATH_IMAGE009
（4）
式中，
Figure 886743DEST_PATH_IMAGE010
和
Figure 598479DEST_PATH_IMAGE011
分别代表二范数和核范数，
Figure 371263DEST_PATH_IMAGE012
为惩罚项，人为设置；
S35、根据交替方向乘子法对式（4）进行迭代求解，得到迭代后的相关矩阵；
对
Figure 708703DEST_PATH_IMAGE014
的列向量进行归一化，得到每一个fNIRS通道中各EEG通道的相关权重值；
S36、以EEG为基准信号，采用加权配准的方式将fNIRS耦合到EEG信号当中，获得配准数据，具体公式如下：
Figure 132600DEST_PATH_IMAGE015
（5）
式中，
Figure 998925DEST_PATH_IMAGE017
表示配准前EEG信号模态的第i个通道数据，
Figure 993426DEST_PATH_IMAGE018
表示配准后EEG信号模态的第i个通道配准数据，
以最佳分类效果为最终目的以及参考指标，设置多种fNIRS配准通道数量，结合式（5），选择多种fNIRS配准通道数量中达到最优的配准效果的fNIRS配准通道数量。
5.根据权利要求4所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S4中，卷积神经网络结合注意力机制的双流时空特征建立提取及注意模型，配准数据输入卷积神经网络获得局部时间特征
Figure 150869DEST_PATH_IMAGE020
和局部空间特征
Figure 180005DEST_PATH_IMAGE022
，具体方法如下：
卷积神经网络卷积层第k个特征如下式所示：
Figure 482810DEST_PATH_IMAGE023
（6）
式中，输入的特征数据用
Figure 964607DEST_PATH_IMAGE024
表示，
Figure 385396DEST_PATH_IMAGE026
为权重矩阵，提取及注意模型训练初始时自动给定；
Figure 269039DEST_PATH_IMAGE027
为偏置矩阵，非线性激活函数用
Figure 539483DEST_PATH_IMAGE028
表示，所有模块的激活函数选择ELU函数；
卷积神经网络输出的特征数据为局部时间特征，记作
Figure 259309DEST_PATH_IMAGE030
，对
Figure 211084DEST_PATH_IMAGE031
进行维度转换得到局部空间特征，记作
Figure 214812DEST_PATH_IMAGE032
。
6.根据权利要求5所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S4中，
Figure 859420DEST_PATH_IMAGE030
和
Figure 565077DEST_PATH_IMAGE032
经过自注意力机制运算分别得到全局时间特征矩阵
Figure DEST_PATH_IMAGE033
和全局空间特征矩阵
Figure 851702DEST_PATH_IMAGE034
，具体方法如下：
局部时间特征
Figure 178778DEST_PATH_IMAGE030
和局部空间特征
Figure 745020DEST_PATH_IMAGE032
分别作为三个串联Transformer模块的输入进行全局特征注意运算，获得全局时间特征矩阵
Figure 485442DEST_PATH_IMAGE033
和全局空间特征矩阵；
所述Transformer模块由堆叠的自注意力机制模块构成。
7.根据权利要求6所述的多模态配准和时空特征注意的动静结合速度想象分类方法，其特征在于：步骤S5中，
Figure 44600DEST_PATH_IMAGE033
和
Figure 6608DEST_PATH_IMAGE034
输入到由卷积模块、全连接层以及归一化指数函数构成的分类器中进行分类训练，具体方法如下：
将上述输出的
Figure 727440DEST_PATH_IMAGE033
和
Figure 158421DEST_PATH_IMAGE034
输入到由DW卷积、PW卷积、全连接层FC以及归一化指数函数Softmax构成的分类器中，具体实现方式如下式所示：
Figure DEST_PATH_IMAGE035
（7）
式中，
Figure 537581DEST_PATH_IMAGE036
为时间特征权重因子，
Figure DEST_PATH_IMAGE037
为空间特征的权重因子，
Figure 901566DEST_PATH_IMAGE036
和
Figure 793299DEST_PATH_IMAGE037
为训练变量，通过分类训练获得最优解。
CN202211299396.5A 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法 Active CN115374831B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211299396.5A CN115374831B (zh) 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211299396.5A CN115374831B (zh) 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法

Publications (2)

Publication Number Publication Date
CN115374831A true CN115374831A (zh) 2022-11-22
CN115374831B CN115374831B (zh) 2023-01-24

Family

ID=84073182

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211299396.5A Active CN115374831B (zh) 2022-10-24 2022-10-24 多模态配准和时空特征注意的动静结合速度想象分类方法

Country Status (1)

Country Link
CN (1) CN115374831B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115813385A (zh) * 2022-12-16 2023-03-21 天津大学 一种多模态视听联合的血氧代偿水平量化评估方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013220326A (ja) * 2012-04-19 2013-10-28 Jichi Medical Univ 経頭蓋脳機能解析方法
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110929581A (zh) * 2019-10-25 2020-03-27 重庆邮电大学 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN113951900A (zh) * 2021-11-02 2022-01-21 燕山大学 一种基于多模态信号的运动想象意图识别方法
CN114305449A (zh) * 2021-12-25 2022-04-12 郑州大学 基于脑电导联互信息量的运动想象分类方法
CN114533085A (zh) * 2022-02-18 2022-05-27 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114748053A (zh) * 2022-03-07 2022-07-15 东北大学 一种基于fMRI高维时间序列的信号分类方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013220326A (ja) * 2012-04-19 2013-10-28 Jichi Medical Univ 経頭蓋脳機能解析方法
CN108446020A (zh) * 2018-02-28 2018-08-24 天津大学 融合可视图与深度学习的运动想象意念控制方法及应用
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110929581A (zh) * 2019-10-25 2020-03-27 重庆邮电大学 一种基于时空特征加权卷积神经网络的脑电信号识别方法
CN113951900A (zh) * 2021-11-02 2022-01-21 燕山大学 一种基于多模态信号的运动想象意图识别方法
CN114305449A (zh) * 2021-12-25 2022-04-12 郑州大学 基于脑电导联互信息量的运动想象分类方法
CN114533085A (zh) * 2022-02-18 2022-05-27 北京工业大学 基于注意力机制的EEG-fNIRS多模态时空融合分类方法
CN114748053A (zh) * 2022-03-07 2022-07-15 东北大学 一种基于fMRI高维时间序列的信号分类方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
王静等: "《融合卷积注意力和Transformer架构的行人重识别方法》", 《北京航空航天大学学报》 *
钱宗才等: "《医学图像配准方法分类》", 《医学信息》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115813385A (zh) * 2022-12-16 2023-03-21 天津大学 一种多模态视听联合的血氧代偿水平量化评估方法
CN115813385B (zh) * 2022-12-16 2024-04-12 天津大学 一种多模态视听联合的血氧代偿水平量化评估方法

Also Published As

Publication number Publication date
CN115374831B (zh) 2023-01-24

Similar Documents

Publication Publication Date Title
CN108446020B (zh) 融合可视图与深度学习的运动想象意念控制方法及应用
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
KR20190128978A (ko) 인간 감정 인식을 위한 딥 생리적 정서 네트워크를 이용한 인간 감정 추정 방법 및 그 시스템
CN113951900B (zh) 一种基于多模态信号的运动想象意图识别方法
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
Ameri et al. Projective dictionary pair learning for EEG signal classification in brain computer interface applications
Wang et al. A 2D CNN-LSTM hybrid algorithm using time series segments of EEG data for motor imagery classification
CN111914925B (zh) 一种基于深度学习的患者行为多模态感知与分析系统
Amin et al. Attention based Inception model for robust EEG motor imagery classification
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
CN116109818B (zh) 一种基于面部视频的中医脉候判别系统及方法和装置
CN115374831B (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
Wang et al. Multiband decomposition and spectral discriminative analysis for motor imagery BCI via deep neural network
CN116012916A (zh) 远程光体积描记信号和心率检测模型构建方法及检测方法
Ghonchi et al. Spatio-temporal deep learning for EEG-fNIRS brain computer interface
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法
CN117542103A (zh) 一种基于多尺度时空特征图的非接触式心率检测方法
Karmuse et al. A robust rPPG approach for continuous heart rate measurement based on face
CN115813409A (zh) 一种超低延迟的运动图像脑电图解码方法
Zhang et al. Movement recognition via channel-activation-wise sEMG attention
CN115154828A (zh) 一种基于脑机接口技术的大脑功能重塑方法、系统、设备
Lin et al. Remote Physiological Measurement With Multiscale Feature Extraction and Global Attention Module
CN117520826B (zh) 一种基于可穿戴设备的多模态情绪识别方法及系统
Artemyev et al. Neurodata Lab's Approach to the Challenge on Computer Vision for Physiological Measurement
Hermawan et al. A multi representation deep learning approach for epileptic seizure detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant