CN113951900B - 一种基于多模态信号的运动想象意图识别方法 - Google Patents

一种基于多模态信号的运动想象意图识别方法 Download PDF

Info

Publication number
CN113951900B
CN113951900B CN202111286589.2A CN202111286589A CN113951900B CN 113951900 B CN113951900 B CN 113951900B CN 202111286589 A CN202111286589 A CN 202111286589A CN 113951900 B CN113951900 B CN 113951900B
Authority
CN
China
Prior art keywords
task
signals
signal
concentration change
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111286589.2A
Other languages
English (en)
Other versions
CN113951900A (zh
Inventor
何群
冯录凤
江国乾
谢平
徐香院
陈晓玲
李增勇
王崑宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yanshan University
Original Assignee
Yanshan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yanshan University filed Critical Yanshan University
Priority to CN202111286589.2A priority Critical patent/CN113951900B/zh
Publication of CN113951900A publication Critical patent/CN113951900A/zh
Application granted granted Critical
Publication of CN113951900B publication Critical patent/CN113951900B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14546—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring analytes not otherwise provided for, e.g. ions, cytochromes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/145—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455—Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Optics & Photonics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于多模态信号的运动想象意图识别方法，利用了脑电信号与近红外信号的时空分辨率互补性，以及多任务的相关性，设计非对称的多任务卷积网络以并行方式提取两种信号的空间‑时间特征，并以级联的方式将两种信号进行特征层融合，然后分别送入辅助度量任务与主分类任务，上述技术手段融合了多任务学习的方法，因此能够提取更具代表性的特征，与传统的卷积网络模型及其变体相比，本发明能够增强分类性能，提高模型泛化能力，为运动想象分类识别提供新的途径。

Description

一种基于多模态信号的运动想象意图识别方法
技术领域
本发明涉及脑机接口运动想象技术领域，尤其是一种基于多模态信号的运动想象意图识别方法。
背景技术
脑机接口(Brain-Computer Interface,BCI)，它是在人或动物脑(或者脑细胞的培养物)与计算机或其他电子设备之间建立的不依赖于常规大脑信息输出通路(外周神经和肌肉组织)的一种全新通讯和控制技术。脑机接口不仅在残疾人康复、老年人护理等医疗领域具有显著的优势，而且在教育、军事、娱乐、智能家居等方面也具有广阔的应用前景。
人进行思维活动时会引起生理电、脑磁场、血氧浓度等多种类型信号的反应，按照脑信号的类型进行分类可以分为基于脑电(electroencephalography,EEG)信号的BCI，基于脑磁图(magnetoencephalography，MEG)的BCI，基于功能性磁共振成像(functionMagnetic Resonance Imaging,fMRI)的BCI，基于近红外成像(Near-infraredSpectroscopy，NIRS)的BCI等。各种类型的信号都有自己的优点和缺点，如EEG信号具有敏感性高，容易受到头动、眼动等干扰，信噪比较低等缺点，因此传统意义上单一信号的脑-机接口分类识别常缺乏准确性和可靠性以及较低的信息传输速率等问题，因此单一信号的脑机接口在现实场景中并不能得到广泛的应用。脑电信号的采集设备具有便携、运行成本低、操作便捷以及适用人群广等优点，所以在BCI中应用最为广泛。fNIRS具有较好的生态效应，能够容忍一定程度的运动干扰，也具有无创便携性、成本低、方便使用等优点，近年来受到越来越多的研究者的关注。EEG信号和fNIRS信号在空间分辨率与时间分辨率上具有互补性，故将两种信号进行特征级的融合以提供更为完整的信息，实现更好的分类效果，提高模型泛化能力。
在MI脑电信号解码的研究中，卷积神经网络(CNN)是深度学习模型中应用最广泛的一种，它能提取出具有较高辨识度和鲁棒性的特征，但是卷积网络一般要求较大的数据来学习特征，运动想象分类识别的数据量很难大量采集，故需要在有限的数据中学习更显著的特征，因此，本发明所述的一种基于脑电和功能性近红外光谱的多任务学习的卷积神经网络的方法，不对称的卷积神经网络分别提取两种信号的空间-时间特征，特征融合可以使两种信号的空间-时间特征相互补充。同时构建辅助度量任务可以进一步优化特征提取与分类任务的分类性能，这些优势共同提高了运动想象的分类准确率以及分类模型的泛化性能。
发明内容
本发明需要解决的技术问题是提供一种基于多模态信号的运动想象意图识别方法，目的在于提取出更加显著的空间-时间特征用于运行想象分类识别，结合了脑电信号与功能性近红外光的优点，以及辅助度量任务，提高了运动想象分类识别准确率与分类模型的泛化能力。
为解决上述技术问题，本发明所采用的技术方案是：一种基于多模态信号的运动想象意图识别方法，包括如下步骤：
步骤S1，根据运动想象左、右指示图片提示被试者进行运行想象，同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据；将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签，并在运动想象任务开始时打上开始的标记点，对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电信号数据与脱氧血红蛋白浓度变化数据；
步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征以及任务间相关信息特征；
步骤S3、将步骤S2获取的空间-时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数，其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离，主分类任务为运动想象二分类问题。
本发明技术方案的进一步改进在于：所述步骤S1对采集的脑电信号数据进行的预处理是将采集到的脑电信号数据进行基线漂移校正，脑电信号数据基线漂移校正采用EEGLAB进行，然后在EEGLAB中进行50Hz工频去除与8-30Hz带通滤波，以及ICA去除眼电与降采样。
本发明技术方案的进一步改进在于：所述步骤S1对功能性近红外信号数据进行的预处理步骤：
1)通过修正的郎伯-比尔定律计算脱氧血红蛋白和氧血红蛋白的浓度变化，获取脱氧血红蛋白和氧血红蛋白的浓度变化数据；
2)用带通滤波滤除杂波，基线校正纠正零点漂移与降采样,带通滤波采用四阶零相位巴特沃思滤波器，带通频率为0.01-0.1Hz。
本发明技术方案的进一步改进在于：所述步骤S2的具体步骤为：
步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0-10s内的时间点的样本数据，获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵；
步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间-时间特征学习，M为自然数，且M＞1；
步骤S23，将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征联合后送入多任务学习的共享层N层进行任务间特征分析进一步提取深度特征。
本发明技术方案的进一步改进在于：所述步骤S22中脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N，其中C为电极通道变量的个数，N为采样点数，采用两个卷积网络并行学习信号空间-时间特征，具体包括如下具体步骤：
步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间-时间特征的提取，并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动；
步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数，脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层；脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层；
步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征压成一维向量后进行特征融合，以进一步用于深度特征的提取。
本发明技术方案的进一步改进在于：所述步骤S23的具体步骤为：
步骤S231，将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征融合后送入多任务学习的共享层，并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动；
步骤S232，设置步骤S231中的共享层全连接层的层数，以及每层神经元的数量；
步骤S233，将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与分类任务。
本发明技术方案的进一步改进在于：所述步骤S232中共享层全连接层的层数为三层，三层全连接层的神经元数量分别为256、128、64。
本发明技术方案的进一步改进在于：所述步骤S3中center_loss的计算公式如下所示：
Figure BDA0003333249920000051
其中Lcenter-loss表示度量学习的损失函数，cyi∈Rd表示深度特征的第yi类中心，xi表示第i类数据的样本。
本发明技术方案的进一步改进在于：所述步骤S3中交叉熵损失函数的计算公式如下所示：
Figure BDA0003333249920000052
其中p(i)表示真实分布，yi表示样本i的类别标签。
本发明技术方案的进一步改进在于：所述步骤S3中最终损失函数公式如下：
LM2CNN＝αLcross-entropy+βLcenter-loss，
Lcenter-loss为辅助度量任务的损失，Lcross-entropy为主分类任务的损失，α为辅助度量任务最优权重因子，β为主分类任务最优权重因子。
由于采用了上述技术方案，本发明取得的技术进步是：
1、本发明提出的一种基于多模态信号的运动想象意图识别方法，利用了脑电信号与近红外信号的时空分辨率互补性，以及多任务的相关性，设计非对称的多任务卷积网络以并行方式提取两种信号的空间-时间特征，并以级联的方式将两种信号进行特征层融合，然后分别送入辅助度量任务与主分类任务，上述技术手段融合了多任务学习的方法，因此能够提取更具代表性的特征，与传统的卷积网络模型及其变体相比，本发明能够增强分类性能，提高模型泛化能力，为运动想象分类识别提供新的途径；
2、本发明能够提取出更加显著的空间-时间特征用于运行想象分类识别，结合了脑电信号与功能性近红外光信号的优点，以及辅助度量任务与主分类任务，提高了运动想象分类识别准确率与分类模型的泛化能。
附图说明
图1是本发明多任务模态融合信号的运动想象意图识别方法流程图
图2是脑电信号预处理流程图；
图3是功能性近红外光谱信号预处理流程图；
图4是本发明方法的多任务卷积网络模型框架图；
图5是本发明方法的分类结果。
具体实施方式
下面结合实施例对本发明做进一步详细说明：
如图1本发明多模态信号的运动想象意图识别方法流程图所示，步骤S1，根据运动想象左、右指示图片提示被试者进行运行想象，同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据；将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签，并在运动想象任务开始时打上开始的标记点，对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电(EEG)信号数据与脱氧血红蛋白(HbR)浓度变化数据；
步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征以及任务间相关信息特征；
步骤S3、将步骤S2获取的空间-时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数，其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离，主分类任务为运动想象二分类问题。
步骤S3中center_loss的计算公式如下所示：
Figure BDA0003333249920000061
其中Lcenter-loss表示度量学习的损失函数，cyi∈Rd表示深度特征的第yi类中心，xi表示第i类数据的样本。
交叉熵损失函数的计算公式如下所示：
Figure BDA0003333249920000071
其中p(i)表示真实分布，yi表示样本i的类别标签。
最终损失函数公式如下：
LM2CNN＝αLcross-entropy+βLcenter-loss，
Lcenter-loss为辅助度量任务的损失，Lcross-entropy为主分类任务的损失，α为辅助度量任务最优权重因子，β为主分类任务最优权重因子。
本发明对采集的脑电信号数据进行的预处理过程如图2所示：先对采集的数据进行分段提取数据，然后进行基线漂移校正。脑电信号数据基线漂移校正采用EEGLAB进行，然后在EEGLAB中进行50Hz工频去除与8-30Hz带通滤波，最后进行ICA去除眼电与降采样。
本发明对采集的功能性近红外信号数据进行的预处理过程如图3所示：
1)通过修正的郎伯-比尔定律计算脱氧血红蛋白(HbR)和氧血红蛋白(Hb0)的浓度变化，获取脱氧血红蛋白(HbR)和氧血红蛋白(Hb0)的浓度数据；
2)通过修正的郎伯-比尔定律计算脱氧血红蛋白(HbR)和氧血红蛋白(Hb0)的浓度数据，然后用带通滤波滤除杂波，然后进行数据分段提取，最后进行基线校正纠正零点漂移与降采样,带通滤波采用四阶阶零相位巴特沃思滤波器，带通频率为0.01-0.1Hz。
本发明的多任务卷积网络模型如图4所示，具体步骤为：
步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0-10s内的时间点的样本数据，获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵；
步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间-时间特征学习，M为自然数，且M＞1；
步骤S22中脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N，其中C为电极通道变量的个数，N为采样点数，采用两个卷积网络并行学习信号空间-时间特征，具体包括如下具体步骤：
步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间-时间特征的提取，并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动；
步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数，脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层；脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层；
步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征压成一维向量后进行特征融合，以进一步用于深度特征的提取。
步骤S23，将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征联合后送入多任务学习的共享层N层进行任务间特征分析进一步提取深度特征。步骤S23的具体步骤为：
步骤S231，将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征特征融合后送入多任务学习的共享层，并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动；
步骤S232，设置步骤S231中的共享层全连接层的层数三层，三层全连接层的神经元数量分别为256、128、64。
步骤S233，将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与分类任务。
图5示出的本发明方法的分类结果与ROC曲线图面积曲线下面积越大说明算法分类器性能越好，本发明的最终平均分类准确率为82.11％，AUC的平均值为0.85.优于单模态下、单任务模态融合下的分类性能。故本发明所述方法能实现左手和右手的有效分类，可以用于运动想象分类识别。
本发明提出的一种基于多模态信号的运动想象意图识别方法，利用了脑电信号与近红外信号的时空分辨率互补性，以及多任务的相关性，设计非对称的多任务卷积网络以并行方式提取两种信号的空间-时间特征，并以级联的方式将两种信号进行特征层融合，然后分别送入辅助度量任务与主分类任务，上述技术手段融合了多任务学习的方法，因此能够提取更具代表性的特征，与传统的卷积网络模型及其变体相比，本发明能够增强分类性能，提高模型泛化能力，为运动想象分类识别提供新的途径。

Claims (5)

1.一种基于多模态信号的运动想象意图识别方法，其特征在于：包括如下步骤：
步骤S1，根据运动想象左、右指示图片提示被试者进行运动想象，同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据；将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签，并在运动想象任务开始时打上开始的标记点，对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电信号数据与脱氧血红蛋白浓度变化数据；
步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征以及任务间相关信息特征；
具体步骤为：
步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0-10s内的时间点的样本数据，获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵；
步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间-时间特征学习，M为自然数，且M＞1；
脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N，其中C为电极通道变量的个数，N为采样点数，采用两个卷积网络并行学习信号空间-时间特征，具体包括如下具体步骤：
步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间-时间特征的提取，并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动；
步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数，脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层；脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层；
步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征压成一维向量后进行特征融合，以进一步用于深度特征的提取；
步骤S23，将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征联合后送入多任务学习的共享层n层进行任务间特征分析进一步提取深度特征；
步骤S3、将步骤S2获取的空间-时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数，其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离，主分类任务为运动想象二分类问题；
center_loss的计算公式如下所示：
Figure FDA0003943333400000021
其中Lcenter-loss表示度量学习的损失函数，cyi∈Rd表示深度特征的第yi类中心，xi表示第i个数据的样本；
交叉熵损失函数的计算公式如下所示：
Figure FDA0003943333400000022
其中pi表示预测概率，yi表示样本i的类别标签；
最终损失函数公式如下：
LM2CNN＝αLcross-entropy+βLcenter-loss，
Lcenter-loss为辅助度量任务的损失，Lcross-entropy为主分类任务的损失，α为辅助度量任务最优权重因子，β为主分类任务最优权重因子。
2.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S1对采集的脑电信号数据进行的预处理是将采集到的脑电信号数据进行基线漂移校正，脑电信号数据基线漂移校正采用EEGLAB进行，然后在EEGLAB中进行50Hz工频去除与8-30Hz带通滤波，以及ICA去除眼电与降采样。
3.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S1对功能性近红外信号数据进行的预处理步骤：
1)通过修正的郎伯-比尔定律计算脱氧血红蛋白和氧血红蛋白的浓度变化，获取脱氧血红蛋白和氧血红蛋白的浓度变化数据；
2)用带通滤波滤除杂波，基线校正纠正零点漂移与降采样,带通滤波采用四阶零相位巴特沃思滤波器，带通频率为0.01-0.1Hz。
4.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S23的具体步骤为：
步骤S231，将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征融合后送入多任务学习的共享层，并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动；
步骤S232，设置步骤S231中的共享层全连接层的层数，以及每层神经元的数量；
步骤S233，将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与主分类任务。
5.根据权利要求4所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S232中共享层全连接层的层数为三层，三层全连接层的神经元数量分别为256、128、64。
CN202111286589.2A 2021-11-02 2021-11-02 一种基于多模态信号的运动想象意图识别方法 Active CN113951900B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111286589.2A CN113951900B (zh) 2021-11-02 2021-11-02 一种基于多模态信号的运动想象意图识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111286589.2A CN113951900B (zh) 2021-11-02 2021-11-02 一种基于多模态信号的运动想象意图识别方法

Publications (2)

Publication Number Publication Date
CN113951900A CN113951900A (zh) 2022-01-21
CN113951900B true CN113951900B (zh) 2023-02-21

Family

ID=79468868

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111286589.2A Active CN113951900B (zh) 2021-11-02 2021-11-02 一种基于多模态信号的运动想象意图识别方法

Country Status (1)

Country Link
CN (1) CN113951900B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114533088A (zh) * 2022-02-09 2022-05-27 华南师范大学 多模态大脑信号分类方法、装置、电子设备及存储介质
CN114993669B (zh) * 2022-04-20 2023-04-18 燕山大学 多传感器信息融合的传动系统故障诊断方法及系统
WO2024011473A1 (zh) * 2022-07-14 2024-01-18 京东方科技集团股份有限公司 对象状态确定方法、深度学习模型的训练方法及电子设备
CN115251948A (zh) * 2022-07-14 2022-11-01 深圳未来脑律科技有限公司 一种双模态运动想象的分类识别方法、系统和存储介质
CN115374831B (zh) * 2022-10-24 2023-01-24 睿瞳(杭州)科技发展有限公司 多模态配准和时空特征注意的动静结合速度想象分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107595281A (zh) * 2017-07-12 2018-01-19 佛山科学技术学院 利用eeg‑nirs融合特征的动作意向分类方法
CN109171713A (zh) * 2018-06-08 2019-01-11 杭州电子科技大学 基于多模态信号的上肢运动想象模式识别方法
CN112364689A (zh) * 2020-10-09 2021-02-12 天津大学 基于cnn与雷达图像的人体动作与身份多任务识别方法
CN112766392A (zh) * 2021-01-26 2021-05-07 杭州师范大学 基于并行不对称空洞卷积的深度学习网络的图像分类方法
US11016567B1 (en) * 2020-08-11 2021-05-25 King Abdulaziz University Letter and number recognition system using EEG-fNIRS for speech impaired people

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107595281A (zh) * 2017-07-12 2018-01-19 佛山科学技术学院 利用eeg‑nirs融合特征的动作意向分类方法
CN109171713A (zh) * 2018-06-08 2019-01-11 杭州电子科技大学 基于多模态信号的上肢运动想象模式识别方法
US11016567B1 (en) * 2020-08-11 2021-05-25 King Abdulaziz University Letter and number recognition system using EEG-fNIRS for speech impaired people
CN112364689A (zh) * 2020-10-09 2021-02-12 天津大学 基于cnn与雷达图像的人体动作与身份多任务识别方法
CN112766392A (zh) * 2021-01-26 2021-05-07 杭州师范大学 基于并行不对称空洞卷积的深度学习网络的图像分类方法

Also Published As

Publication number Publication date
CN113951900A (zh) 2022-01-21

Similar Documents

Publication Publication Date Title
CN113951900B (zh) 一种基于多模态信号的运动想象意图识别方法
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN111616682B (zh) 基于便携式脑电采集设备的癫痫发作预警系统及应用
CN111407243B (zh) 一种基于深度学习的脉搏信号压力识别方法
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
Pan et al. MAtt: A manifold attention network for EEG decoding
Wan et al. EEG fading data classification based on improved manifold learning with adaptive neighborhood selection
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
CN111513991B (zh) 基于人工智能技术的主动式手部全指康复设备
Li et al. A novel decoding method for motor imagery tasks with 4D data representation and 3D convolutional neural networks
CN111543985A (zh) 一种基于新型深度学习模型的脑控混合智能康复方法
CN114983447A (zh) 一种基于ai技术的人体动作识别、分析与储存的可穿戴装置
CN115813409A (zh) 一种超低延迟的运动图像脑电图解码方法
CN115374831A (zh) 多模态配准和时空特征注意的动静结合速度想象分类方法
Rabbani et al. Multimodal Decision Fusion of EEG and fNIRS Signals
CN114587384A (zh) 一种结合低秩表示与流形学习的运动想象脑电信号特征提取方法
Tang et al. Dynamic pruning group equivariant network for motor imagery EEG recognition
Li et al. ECoG recognition of motor imagery based on SVM ensemble
CN108629302A (zh) 一种基于卷积神经网络的用眼行为识别方法
CN116035548B (zh) 心律状态检测方法、装置、智能穿戴设备及存储介质
CN117789249A (zh) 一种基于多通道fNIRS的运动想象分类方法
CN116662782A (zh) 一种基于MSFF-SENet的运动想象脑电图解码方法
Immanuel et al. Decoding Emotions Using Deep Learning Approach to EEG-Based Emotion Recognition
Özel A compass for using deep learning in emotion recognition via brain signals
Liu et al. A CNN and GRU Based Composite Classification Method for Motor Imagery EEG Signals

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant