CN113951900A - 一种基于多模态信号的运动想象意图识别方法 - Google Patents

Abstract

本发明公开了一种基于多模态信号的运动想象意图识别方法，利用了脑电信号与近红外信号的时空分辨率互补性，以及多任务的相关性，设计非对称的多任务卷积网络以并行方式提取两种信号的空间‑时间特征，并以级联的方式将两种信号进行特征层融合，然后分别送入辅助度量任务与主分类任务，上述技术手段融合了多任务学习的方法，因此能够提取更具代表性的特征，与传统的卷积网络模型及其变体相比，本发明能够增强分类性能，提高模型泛化能力，为运动想象分类识别提供新的途径。

Description

一种基于多模态信号的运动想象意图识别方法

技术领域

本发明涉及脑机接口运动想象技术领域，尤其是一种基于多模态信号的运动想象意图识别方法。

背景技术

脑机接口(Brain-Computer Interface,BCI)，它是在人或动物脑(或者脑细胞的培养物)与计算机或其他电子设备之间建立的不依赖于常规大脑信息输出通路(外周神经和肌肉组织)的一种全新通讯和控制技术。脑机接口不仅在残疾人康复、老年人护理等医疗领域具有显著的优势，而且在教育、军事、娱乐、智能家居等方面也具有广阔的应用前景。

人进行思维活动时会引起生理电、脑磁场、血氧浓度等多种类型信号的反应，按照脑信号的类型进行分类可以分为基于脑电(electroencephalography,EEG)信号的BCI，基于脑磁图(magnetoencephalography，MEG)的BCI，基于功能性磁共振成像(functionMagnetic Resonance Imaging,fMRI)的BCI，基于近红外成像(Near-infraredSpectroscopy，NIRS)的BCI等。各种类型的信号都有自己的优点和缺点，如EEG信号具有敏感性高，容易受到头动、眼动等干扰，信噪比较低等缺点，因此传统意义上单一信号的脑-机接口分类识别常缺乏准确性和可靠性以及较低的信息传输速率等问题，因此单一信号的脑机接口在现实场景中并不能得到广泛的应用。脑电信号的采集设备具有便携、运行成本低、操作便捷以及适用人群广等优点，所以在BCI中应用最为广泛。fNIRS具有较好的生态效应，能够容忍一定程度的运动干扰，也具有无创便携性、成本低、方便使用等优点，近年来受到越来越多的研究者的关注。EEG信号和fNIRS信号在空间分辨率与时间分辨率上具有互补性，故将两种信号进行特征级的融合以提供更为完整的信息，实现更好的分类效果，提高模型泛化能力。

在MI脑电信号解码的研究中，卷积神经网络(CNN)是深度学习模型中应用最广泛的一种，它能提取出具有较高辨识度和鲁棒性的特征，但是卷积网络一般要求较大的数据来学习特征，运动想象分类识别的数据量很难大量采集，故需要在有限的数据中学习更显著的特征，因此，本发明所述的一种基于脑电和功能性近红外光谱的多任务学习的卷积神经网络的方法，不对称的卷积神经网络分别提取两种信号的空间-时间特征，特征融合可以使两种信号的空间-时间特征相互补充。同时构建辅助度量任务可以进一步优化特征提取与分类任务的分类性能，这些优势共同提高了运动想象的分类准确率以及分类模型的泛化性能。

发明内容

本发明需要解决的技术问题是提供一种基于多模态信号的运动想象意图识别方法，目的在于提取出更加显著的空间-时间特征用于运行想象分类识别，结合了脑电信号与功能性近红外光的优点，以及辅助度量任务，提高了运动想象分类识别准确率与分类模型的泛化能力。

为解决上述技术问题，本发明所采用的技术方案是：一种基于多模态信号的运动想象意图识别方法，包括如下步骤：

步骤S1，根据运动想象左、右指示图片提示被试者进行运行想象，同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据；将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签，并在运动想象任务开始时打上开始的标记点，对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电信号数据与脱氧血红蛋白浓度变化数据；

步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征以及任务间相关信息特征；

步骤S3、将步骤S2获取的空间-时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数，其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离，主分类任务为运动想象二分类问题。

本发明技术方案的进一步改进在于：所述步骤S1对采集的脑电信号数据进行的预处理是将采集到的脑电信号数据进行基线漂移校正，脑电信号数据基线漂移校正采用EEGLAB进行，然后在EEGLAB中进行50Hz工频去除与8-30Hz带通滤波，以及ICA去除眼电与降采样。

本发明技术方案的进一步改进在于：所述步骤S1对功能性近红外信号数据进行的预处理步骤：

1)通过修正的郎伯-比尔定律计算脱氧血红蛋白和氧血红蛋白的浓度变化，获取脱氧血红蛋白和氧血红蛋白的浓度变化数据；

2)用带通滤波滤除杂波，基线校正纠正零点漂移与降采样,带通滤波采用四阶零相位巴特沃思滤波器，带通频率为0.01-0.1Hz。

本发明技术方案的进一步改进在于：所述步骤S2的具体步骤为：

步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0-10s内的时间点的样本数据，获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵；

步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间-时间特征学习，M为自然数，且M＞1；

步骤S23，将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征联合后送入多任务学习的共享层N层进行任务间特征分析进一步提取深度特征。

本发明技术方案的进一步改进在于：所述步骤S22中脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N，其中C为电极通道变量的个数，N为采样点数，采用两个卷积网络并行学习信号空间-时间特征，具体包括如下具体步骤：

步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间-时间特征的提取，并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动；

步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数，脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层；脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层；

步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征压成一维向量后进行特征融合，以进一步用于深度特征的提取。

本发明技术方案的进一步改进在于：所述步骤S23的具体步骤为：

步骤S231，将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征融合后送入多任务学习的共享层，并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动；

步骤S232，设置步骤S231中的共享层全连接层的层数，以及每层神经元的数量；

步骤S233，将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与分类任务。

本发明技术方案的进一步改进在于：所述步骤S232中共享层全连接层的层数为三层，三层全连接层的神经元数量分别为256、128、64。

本发明技术方案的进一步改进在于：所述步骤S3中center_loss的计算公式如下所示：

其中L_center-loss表示度量学习的损失函数，c_yi∈R^d表示深度特征的第y_i类中心，x_i表示第i类数据的样本。

本发明技术方案的进一步改进在于：所述步骤S3中交叉熵损失函数的计算公式如下所示：

其中p(i)表示真实分布，y_i表示样本i的类别标签。

本发明技术方案的进一步改进在于：所述步骤S3中最终损失函数公式如下：

L_M2CNN＝αL_{cross-entropy}+βL_center-loss，

L_center-loss为辅助度量任务的损失，L_{cross-entropy}为主分类任务的损失，α为辅助度量任务最优权重因子，β为主分类任务最优权重因子。

由于采用了上述技术方案，本发明取得的技术进步是：

1、本发明提出的一种基于多模态信号的运动想象意图识别方法，利用了脑电信号与近红外信号的时空分辨率互补性，以及多任务的相关性，设计非对称的多任务卷积网络以并行方式提取两种信号的空间-时间特征，并以级联的方式将两种信号进行特征层融合，然后分别送入辅助度量任务与主分类任务，上述技术手段融合了多任务学习的方法，因此能够提取更具代表性的特征，与传统的卷积网络模型及其变体相比，本发明能够增强分类性能，提高模型泛化能力，为运动想象分类识别提供新的途径；

2、本发明能够提取出更加显著的空间-时间特征用于运行想象分类识别，结合了脑电信号与功能性近红外光信号的优点，以及辅助度量任务与主分类任务，提高了运动想象分类识别准确率与分类模型的泛化能。

附图说明

图1是本发明多任务模态融合信号的运动想象意图识别方法流程图

图2是脑电信号预处理流程图；

图3是功能性近红外光谱信号预处理流程图；

图4是本发明方法的多任务卷积网络模型框架图；

图5是本发明方法的分类结果。

具体实施方式

下面结合实施例对本发明做进一步详细说明：

如图1本发明多模态信号的运动想象意图识别方法流程图所示，步骤S1，根据运动想象左、右指示图片提示被试者进行运行想象，同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据；将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签，并在运动想象任务开始时打上开始的标记点，对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电(EEG)信号数据与脱氧血红蛋白(HbR)浓度变化数据；

步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征以及任务间相关信息特征；

步骤S3、将步骤S2获取的空间-时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数，其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离，主分类任务为运动想象二分类问题。

步骤S3中center_loss的计算公式如下所示：

其中L_center-loss表示度量学习的损失函数，c_yi∈R^d表示深度特征的第y_i类中心，x_i表示第i类数据的样本。

交叉熵损失函数的计算公式如下所示：

其中p(i)表示真实分布，y_i表示样本i的类别标签。

最终损失函数公式如下：

L_M2CNN＝αL_{cross-entropy}+βL_center-loss，

L_center-loss为辅助度量任务的损失，L_{cross-entropy}为主分类任务的损失，α为辅助度量任务最优权重因子，β为主分类任务最优权重因子。

本发明对采集的脑电信号数据进行的预处理过程如图2所示：先对采集的数据进行分段提取数据，然后进行基线漂移校正。脑电信号数据基线漂移校正采用EEGLAB进行，然后在EEGLAB中进行50Hz工频去除与8-30Hz带通滤波，最后进行ICA去除眼电与降采样。

本发明对采集的功能性近红外信号数据进行的预处理过程如图3所示：

1)通过修正的郎伯-比尔定律计算脱氧血红蛋白(HbR)和氧血红蛋白(Hb0)的浓度变化，获取脱氧血红蛋白(HbR)和氧血红蛋白(Hb0)的浓度数据；

2)通过修正的郎伯-比尔定律计算脱氧血红蛋白(HbR)和氧血红蛋白(Hb0)的浓度数据，然后用带通滤波滤除杂波，然后进行数据分段提取，最后进行基线校正纠正零点漂移与降采样,带通滤波采用四阶阶零相位巴特沃思滤波器，带通频率为0.01-0.1Hz。

本发明的多任务卷积网络模型如图4所示，具体步骤为：

步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0-10s内的时间点的样本数据，获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵；

步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间-时间特征学习，M为自然数，且M＞1；

步骤S22中脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N，其中C为电极通道变量的个数，N为采样点数，采用两个卷积网络并行学习信号空间-时间特征，具体包括如下具体步骤：

步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间-时间特征的提取，并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动；

步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数，脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层；脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层；

步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征压成一维向量后进行特征融合，以进一步用于深度特征的提取。

步骤S23，将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征联合后送入多任务学习的共享层N层进行任务间特征分析进一步提取深度特征。步骤S23的具体步骤为：

步骤S231，将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征特征融合后送入多任务学习的共享层，并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动；

步骤S232，设置步骤S231中的共享层全连接层的层数三层，三层全连接层的神经元数量分别为256、128、64。

步骤S233，将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与分类任务。

图5示出的本发明方法的分类结果与ROC曲线图面积曲线下面积越大说明算法分类器性能越好，本发明的最终平均分类准确率为82.11％，AUC的平均值为0.85.优于单模态下、单任务模态融合下的分类性能。故本发明所述方法能实现左手和右手的有效分类，可以用于运动想象分类识别。

本发明提出的一种基于多模态信号的运动想象意图识别方法，利用了脑电信号与近红外信号的时空分辨率互补性，以及多任务的相关性，设计非对称的多任务卷积网络以并行方式提取两种信号的空间-时间特征，并以级联的方式将两种信号进行特征层融合，然后分别送入辅助度量任务与主分类任务，上述技术手段融合了多任务学习的方法，因此能够提取更具代表性的特征，与传统的卷积网络模型及其变体相比，本发明能够增强分类性能，提高模型泛化能力，为运动想象分类识别提供新的途径。

Claims (10)

1.一种基于多模态信号的运动想象意图识别方法，其特征在于：包括如下步骤：

步骤S1，根据运动想象左、右指示图片提示被试者进行运行想象，同步采集运动想象任务下的脑电信号与功能性近红外光谱信号数据；将采集到的脑电信号与功能性近红外光谱信号打上与左、右指示图片相对应的标签，并在运动想象任务开始时打上开始的标记点，对所采集的脑电信号数据与功能性近红外信号数据分别进行预处理得到脑电信号数据与脱氧血红蛋白浓度变化数据；

步骤S2、将预处理后脑电信号数据与脱氧血红蛋白浓度变化数据送入多任务卷积网络模型学习脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征以及任务间相关信息特征；

步骤S3、将步骤S2获取的空间-时间特征数据分别输入到构建的具有center_loss损失函数的辅助度量任务中与具有交叉熵损失函数的softmax分类器的主分类任务中并得出最终损失函数，其中辅助度量任务为度量类别特征使最大化类间距离最小化类内距离，主分类任务为运动想象二分类问题。

2.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S1对采集的脑电信号数据进行的预处理是将采集到的脑电信号数据进行基线漂移校正，脑电信号数据基线漂移校正采用EEGLAB进行，然后在EEGLAB中进行50Hz工频去除与8-30Hz带通滤波，以及ICA去除眼电与降采样。

3.根据权利要求1所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S1对功能性近红外信号数据进行的预处理步骤：

1)通过修正的郎伯-比尔定律计算脱氧血红蛋白和氧血红蛋白的浓度变化，获取脱氧血红蛋白和氧血红蛋白的浓度变化数据；

2)用带通滤波滤除杂波，基线校正纠正零点漂移与降采样,带通滤波采用四阶零相位巴特沃思滤波器，带通频率为0.01-0.1Hz。

4.根据权利要求3所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S2的具体步骤为：

步骤S21、将预处理后的脑电信号数据和脱氧血红蛋白数据根据任务开始的标记点提取0-10s内的时间点的样本数据，获得任务内的脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵；

步骤S22、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵以并行的方式分别输入到非对称的M个卷积的非对称卷积网络中进行空间-时间特征学习，M为自然数，且M＞1；

步骤S23，将步骤S22学习到的脑电信号与脱氧血红蛋白浓度变化信号的空间-时间特征联合后送入多任务学习的共享层N层进行任务间特征分析进一步提取深度特征。

5.根据权利要求4所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S22中脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵的大小均为C×N，其中C为电极通道变量的个数，N为采样点数，采用两个卷积网络并行学习信号空间-时间特征，具体包括如下具体步骤：

步骤S221、将脑电信号二维时间序列输入矩阵与脱氧血红蛋白浓度变化信号二维时间序列输入矩阵分别并行输入到两个非对称卷积网络模块进行空间-时间特征的提取，并设计卷积网络的滤波器先后沿着通道变量轴与时间轴进行运动；

步骤S222、设置脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块的层数，脑电信号的每个特征提取模块分别包括两个隐含层、一个批归一化层和一个概率最大池化层；脱氧血红蛋白浓度变化信号的每个特征提取模块包括一个隐含层、一个批归一化层和一个概率最大池化层；

步骤S223、将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征压成一维向量后进行特征融合，以进一步用于深度特征的提取。

6.根据权利要求5所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S23的具体步骤为：

步骤S231，将脑电信号和脱氧血红蛋白浓度变化信号的卷积网络模块产生的两种信号的空间-时间特征融合后送入多任务学习的共享层，并设计脑电信号和脱氧血红蛋白信号的卷积网络的滤波器分别沿着通道变量轴与时间轴进行运动；

步骤S232，设置步骤S231中的共享层全连接层的层数，以及每层神经元的数量；

步骤S233，将步骤S232全连接层输出的融合特征在数据发送给辅助度量任务与分类任务。

7.根据权利要求6所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S232中共享层全连接层的层数为三层，三层全连接层的神经元数量分别为256、128、64。

8.根据权利要求7所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S3中center_loss的计算公式如下所示：

其中L_center-loss表示度量学习的损失函数，c_yi∈R^d表示深度特征的第y_i类中心，x_i表示第i类数据的样本。

9.根据权利要求8所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S3中交叉熵损失函数的计算公式如下所示：

其中p(i)表示真实分布，y_i表示样本i的类别标签。

10.根据权利要求9所述的一种基于多模态信号的运动想象意图识别方法，其特征在于：所述步骤S3中最终损失函数公式如下：

L_M2CNN＝αL_{cross-entropy}+βL_center-loss，

L_center-loss为辅助度量任务的损失，L_{cross-entropy}为主分类任务的损失，α为辅助度量任务最优权重因子，β为主分类任务最优权重因子。

Images