CN109171713A - 基于多模态信号的上肢运动想象模式识别方法 - Google Patents

Abstract

本发明涉及一种基于多模态信号的上肢运动想象模式识别方法。本发明首先，对原始近红外光谱信号进行计算，得到脑部氧合血红蛋白含量，并对氧合血红蛋白含量值提取CSP特征；其次，对采集到的脑电信号进行样本熵的提取；然后，将得到的多模态特征进行归一化，并进行串行融合；最后，采用支持向量机模型对融合后的多模态特征进行模式分类。本发明优点在于既保留了脑电信号的高空间分辨率的优势，同时又补充了近红外光谱信号的高时间分辨率的特性，提高了上肢运动想象模式的识别率。

Description

基于多模态信号的上肢运动想象模式识别方法

技术领域

本发明涉及识别上肢运动想象模式的脑机接口技术，特别涉及基于脑电信号及同步近红外光谱信号的多模态上肢运动想象模式识别方法。

背景技术

脑机接口技术在康复医学和人工智能控制方面有很大的作用，该技术可以使一些运动神经损坏的中风、偏瘫患者借助外部设备完成各种行为动作，克服患者的功能性障碍。

常用的脑机接口技术往往基于脑电信号的分析。脑电信号采集灵敏且无创，信号具有较高的时间分辨率，能在一定程度上反映脑部区域在思维活动过程中的变化。依据此种变化可以对人体上肢运动想象的模式进行识别。但是，单一利用脑电信号识别还存在以下问题：脑电信号无法较好反映空间域的信息，不利于提升识别率；脑电信号幅值较为微弱，具有显著的非平稳性和非线性，易被干扰等。

功能性近红外光谱技术是根据大脑活动的时候大脑血氧浓度和血流流速的变化来反映大脑的状态。采集到的近红外光谱信号具有较高的空间分辨率，可以与脑电信号形成互补。对脑电信号和近红外光谱信号进行合理的信息融合，可以使系统更具鲁棒性，从而达到更佳的上肢运动想象模式识别效果。

发明内容

本发明的目的是结合脑电信号和近红外光谱信号各自的优势，提出一种基于脑电信号和近红外光谱信号的上肢运动想象模式识别方法。

本发明的目的可以通过以下技术方案实现：

基于脑电信号和近红外光谱信号的上肢运动想象模式识别方法，该方法包括以下步骤：

步骤1、利用采集到的上肢运动想象时的近红外光谱信号，利用朗伯比尔定律进行脑部氧合血红蛋白含量的计算；

步骤2、对计算得到的氧合血红蛋白含量值利用共空间模式(Common SpatialPattern algorithm,CSP)算法提取特征；

步骤3、对采集到的上肢运动想象时的脑电信号提取样本熵(SampEn)作为特征；

步骤4、将两种不同模态信号的特征归一化后，进行串行融合得到融合之后的特征，得到一个新的数据集合；

步骤5、使用支持向量机(Support Vector Machine,SVM)作为模式识别模型对得到的融合特征进行模式识别。

其中，由于研究物质在近红外光照射下所体现出的光谱吸收特性和散射特性，步骤1中的脑部氧合血红蛋白含量的计算具体依据朗伯比尔定律公式。

步骤2中对利用共空间模式算法提取氧合血红蛋白含量值特征的具体方法是：寻找能够使上肢两种不同运动模式信号经过映射后方差之差达到最大的影射向量，将其作为空间滤波器，得到特征系数矩阵。

步骤3中对脑电信号进行样本熵特征提取，系统的熵值越大表明系统越复杂，自我相似度越低。样本熵避免了与自身模板相比较的过程，同时又保持了近似熵所需数据量小、抗干扰性强等优点。

步骤4中对多模态信号的特征进行融合得到融合后的信号特征的具体方法是：将提取到的脑电信号和近红外光谱信号的特征进行归一化，经过降维后合并到一个新的数据集合。

步骤5中采用支持向量机完成模式识别，SVM是一种有坚实理论基础的新颖的小样本学习方法，将融合后的多模态信号特征作为其输入。

本发明的有益效果：将本发明中基于多模态信号的上肢运动运动模式识别方法的分类效果与单纯使用脑电信号分类、单独使用近红外光谱信号分类的效果进行对比，结果表明，使用该方法使得对大脑活动的分析在空间域和时间域上得到互补，分类正确率均比单一模态信号的分类识别率高。

附图说明

图1为本发明的流程图；

图2为采集多模态信号的单次实验动作流程图；

图3为某受试者近红外光谱信号的CSP特征值分类点图；

图4为脑电信号提取的脑部C3、C4两个通道的样本熵特征的分类点图；

图5为多模态分类效果对比图。

具体实施方式

以下结合附图对本发明作进一步说明。

图1为本发明的流程图。图2是采集多模态信号的单次实验动作的流程图，具体地说，受试者在舒适放松环境内根据计算机上显示的相关提示进行相关动作，动作时间为5s，每完成一个动作后受试者根据提示休息10s使大脑血氧含量回复，如此循环动作。实验开始前5秒，屏幕显示实验注意事项，受试者目光注视屏幕，保持放松；在第5秒，提示文字结束，根据屏幕随机显示左右手运动的视频和文字提示；握拳提示视频结束后，屏幕显示放松文字提示，受试者保持放松；如此循环40次。

根据图1，本发明包括以下步骤：

步骤1.对采集到的近红外光谱信号进行初步的处理，计算出脑部氧合血红蛋白的含量，所依据的公式如下：

即朗伯比尔定律。式中，A为吸光度；I₀为入射光的强度；I_t

为透射光的强度；T为透射比；K为摩尔吸收系数；l为吸收介质的厚度，常用厘米做单位；c为吸光物质的浓度。

步骤2.对已经计算得到的氧合血红蛋白的含量值提取CSP特征。

不同的信号由于能量、频率等方面的差异，它们在某个空间滤波器上的投影会有明显的差别。寻找能够使上肢两种不同运动模式信号经过映射后方差之差达到最大的影射向量是CSP算法的核心。

设原始包含两类动作的信号是j为信号的种类，所以j的取值范围为 {1,2}，i表示信号样本。假定脑电信号信号的通道个数为N,实验采样的样本点个数为T，则脑电信号的维度为N×T。

首先求出两类样本数据的协方差:

其次求出两个平均协方差的R_c：

然后对R_c进行特征分解：

R_c＝BλB^T

上式中λ为总协方差的特征值，B为特征值对应的特征向量，定义白化矩阵P为：

用该白化矩阵分别处理R₁和R₂，经过处理后的协方差矩阵为：

S₁＝Uλ₁U^T,S₂＝Uλ₂U^T

其中λ₁和λ₂为S₁和S₂对应的特征值，且满足式λ₁+λ₂＝I，I是单位矩阵。因此当S₁的特征值取最大值时，该特征值相应的特征向量在S₂中的对应的特征值为最小值，这样就使得两类信号能最大化地投影在不同的区域，实现分类。

分别从两个特征向量中提取前后m个特征向量构成矩阵B，从而得出所求投影矩阵，即空间滤波器W：

W＝B^TP

通过投影矩阵，可以得到不同类别信号在该滤波器上影射后的矩阵：

取对数得到特征系数矩阵：

上式中Y_j表示Y的第j行，var(Y_j)为矩阵的方差。

图3为根据上述算法计算得到的CSP特征绘制的特征值分类点图，可以看出该特征提取方法能够明显的区分出不同的动作类型。

步骤3.“熵”是用来描述系统的混乱程度的。熵值越大表明系统越复杂，自我相似度越低。对采集到的脑电信号进行样本熵的提取，具体步骤如下：

设N个数据组成的一维信号为X(N)：

(1)按顺序将原信号组成m维矢量：

X(i)＝[x(i),x(i+1),...,x(i+m-1)],(i＝1,2,...,N-m)

(2)计算矢量X(i)与矢量X(j)之间的最大距离：

(i,j＝1,2,…,N-m；i≠j)

(3)设定阈值r，对每个i统计d(i,j)中小于r的数目，记为然后求此数与总数N-m-1的比值，记做

(4)求对所有i的平均值：

(5)将维数m增加1，再重复步骤(1)至(4)，得到B^m+1(r)。该一维信号的样本熵为：

现实中N为有限值，序列长度为N的样本熵估计值为：

由公式可以看出m取值越大，算法的数据量越大；r越大，时间序列的细节信息损失越多，但r取值越小，噪声对结果的影响越大。

图4为某受试者脑电信号C3与C4通道的提取的样本熵特征的分类点图。

步骤4.对得到多模态特征进行归一化处理，并进行融合。令脑电信号归一化后的特征矩阵为A，近红外光谱信号归一化后的特征矩阵为B,则串行融合后的新的特征矩阵可以表示为C：

该方法可以很好地体现不同模态信号的特征。

步骤5.采用支持向量机对融合特征进行分类。同时，为了验证本方法的效果，分别对单一的脑电信号特征和近红外光谱信号特征进行分类，得到三种分类正确率。

比较单一模式信号的分类效果和多模态信号的分类效果，最终得出各分类结果如表1所示：

表1分类结果

subject	subject-a	subject-b	subject-c	subject-d
					脑电信号	81.25	65	80	77
近红外光谱信号	93.75	90	95	93.75
					多模态信号	100	95	95	95

图5为表上分类结果数据的柱状图，在柱状图上可以直观地看出，基于单一近红外光谱信号的识别方法的分类效果要明显高于基于单一脑电信号的识别方法的正确率，基于多模态信号的分类正确率要比任一单一模态信号的分类方法的识别率高。脑部在思维过程中近红外光谱信号的变化较明显，是由于大脑在思维过程中需要较多地消耗氧合血红蛋白。近红外光谱信号反映出来的大脑活动情况也更加剧烈，且近红外光谱信号具有一定的时间延迟性，虽然延迟时间较短，但对于识别方法的应用也有一定的影响。因此脑电信号和近红外光谱这两种信号的结合使得对大脑活动的分析在空间域和时间域上得到互补，达到更佳的分类效果。

Claims (1)

1.基于多模态信号的上肢运动想象模式识别方法，其特征在于，该方法包括以下步骤：

步骤1、利用采集到的上肢运动想象时的近红外光谱信号，计算出脑部氧合血红蛋白的含量，所依据的公式如下：

即朗伯比尔定律；式中，A为吸光度；I₀为入射光的强度；I_t

为透射光的强度；T为透射比；K为摩尔吸收系数；l为吸收介质的厚度，常用厘米做单位；c为吸光物质的浓度；

步骤2、对计算得到的氧合血红蛋白含量值利用共空间模式算法提取特征；

具体如下：

设原始包含两类动作的信号是j为信号的种类，所以j的取值范围为{1,2}，i表示信号样本；假定脑电信号信号的通道个数为N,实验采样的样本点个数为T，则脑电信号的维度为N×T；

首先求出两类样本数据的协方差:

其次求出两个平均协方差的R_c：

然后对R_c进行特征分解：

R_c＝BλB^T

上式中λ为总协方差的特征值，B为特征值对应的特征向量，定义白化矩阵P为：

用该白化矩阵分别处理R₁和R₂，经过处理后的协方差矩阵为：

S₁＝Uλ₁U^T,S₂＝Uλ₂U^T

其中λ₁和λ₂为S₁和S₂对应的特征值，且满足式λ₁+λ₂＝I，I是单位矩阵；因此当S₁的特征值取最大值时，该特征值相应的特征向量在S₂中的对应的特征值为最小值，这样就使得两类信号能最大化地投影在不同的区域，实现分类；

分别从两个特征向量中提取前后m个特征向量构成矩阵B，从而得出所求投影矩阵，即空间滤波器W：

W＝B^TP

通过投影矩阵，可以得到不同类别信号在该滤波器上影射后的矩阵：

取对数得到特征系数矩阵：

上式中Y_j表示Y的第j行，var(Y_j)为矩阵的方差；

步骤3、对采集到的上肢运动想象时的脑电信号提取样本熵作为特征；具体步骤如下：

设N个数据组成的一维信号为X(N)：

(1)按顺序将原信号组成m维矢量：

X(i)＝[x(i),x(i+1),...,x(i+m-1)],(i＝1,2,...,N-m)

(2)计算矢量X(i)与矢量X(j)之间的最大距离：

(i,j＝1,2,…,N-m；i≠j)

(3)设定阈值r，对每个i统计d(i,j)中小于r的数目，记为然后求此数与总数N-m-1的比值，记做

(4)求对所有i的平均值：

(5)将维数m增加1，再重复步骤(1)至(4)，得到B^m+1(r)；该一维信号的样本熵为：

现实中N为有限值，序列长度为N的样本熵估计值为：

步骤4、将两种不同模态信号的特征归一化后，进行串行融合得到融合之后的特征，得到一个新的数据集合；

具体为：令脑电信号归一化后的特征矩阵为A，近红外光谱信号归一化后的特征矩阵为B,则串行融合后的新的特征矩阵可以表示为C：

步骤5、使用支持向量机作为模式识别模型对得到的融合特征进行模式识别。