CN113208613B - 基于fhls特征选择的多模态bci时序优化方法 - Google Patents

Abstract

本发明公开了基于FHLS特征选择的多模态BCI时序优化方法。首先划分每个EEG与fNIRS样本获得多个时间段，然后将不同时间段交叉融合，形成联合时间窗。特征分别由FBCSP与统计方法从每个联合时间窗中提取，形成一个新的特征集。然后计算对应的互信息值，使用互信息值高的特征，最后根据FHLS特征选择方法选择最佳特征子集，并采用LDA分类来评估任务分类精度。本发明选出来的时间组合能有效地避免不同个体以及不同模态多时间段间的差异性，且时间段选取合理，减少多模态信号在时间段之间的冗余信息，一定程度上提高了多模态BCI系统的分类性能，为脑电‑近红外信号的特征提取提供了新的思路。

Description

基于FHLS特征选择的多模态BCI时序优化方法

技术领域

本发明属于模式识别领域，具体涉及基于FHLS特征选择的多模态BCI时序优化方法。

背景技术

脑机接口(Brain-computer interface,BCI)提供了人类中枢神经系统与计算机之间的直接通信渠道。这意味着，在不使用肢体，声音或任何需要肌肉活动的动作的情况下，BCI可以分析与预期动作相关的大脑感应信号，从而生成控制外部设备的命令。

BCI系统中，常见的信号采集成像方式包括脑电图(Electroencephalogram,EEG)，皮层区脑电图(Electrocardiogram,ECoG)，功能性近红外光谱(Functional near-infrared spectroscopy,fNIRS)，功能磁共振成像(Functional magnetic resonanceimaging,fMRI)和脑磁图(Magnetoencephalography,MEG)等。其中EEG是一种生物电成像方法，利用头皮电极来测量由大脑皮层神经元的电活动引起的电压波动。EEG的特点是具有较高的时间分辨率、频域特点突出、便捷安全等。由于电极测量大脑表面的电活动，难以确定EEG信号是在表面附近还是在更深的区域产生的。因此导致EEG空间分辨率相对较低并且容易受到来自肌电和眼电的干扰。导致EEG获得的分类精度遭受严重损害，并且导致错误分类的产生。

fNIRS是一种光学成像方法，可评估大脑中的血液动力学活动。fNIRS可测量脱氧血红蛋白(Deoxyhemoglobin,HbR)和氧合血红蛋白(Oxyhemoglobin,HbO)的浓度变化。fNIRS具有相对高的空间分辨率、便携、便宜、抗运动干扰等特点。但是由于血氧浓度反应迟缓，因此导致fNIRS的时间分辨率很低。EEG与fNIRS都用于多种BCI系统中，以检测例如运动想象、心理算术(Mental Arithmetic,MA)和n-back这些源自认知和心理任务的大脑活动变化。由于每种神经影像学方法都有其特定的局限性。在过去的几年中，研究人员一直在努力提高信息传输率并克服单模态系统的局限性，从而形成了多模态系统，称为多模态BCI。

最近的研究表明，将EEG与fNIRS结合作为多模态BCI同步检测不同人体的生理指标信号具有可行性与可靠性，并且多模态BCI在很多认知康复领域应用十分广泛。为了探究多模态BCI系统的时域信息，传统的做法是对实验EEG与fNIRS数据进行同步的划分，而提取多模态BCI时域特征。尽管对EEG与fNIRS同步划分数据可以分析任务不同时间段大脑的生理状态，但是却忽略了EEG与fNIRS采集到的信号具有不同的生理特性，电生理活动是由大脑任务中提示的神经元放电产生的，血液动力学则是大脑活动时神经元放电导致的血红蛋白增加。因此在任务刺激被试时，EEG采集的电信号与fNIRS采集的血氧信号不会在同一时间段激活。

发明内容

针对现有技术的不足，本发明提出了基于FHLS特征选择的多模态BCI时序优化方法，对按时间划分后的EEG信号和fNIRS信号进行交叉融合，然后通过计算互信息值选取分类能力最好的融合时间窗中的特征用于分类，提高分类准确度。

基于FHLS特征选择的多模态BCI时序优化方法，该方法具体包括以下步骤：

步骤1、采集T秒被试者在不同状态下的EEG信号与fNIRS信号；然后对采集到的信号使用滤波器进行预处理。

步骤2、使用滑动时间窗对步骤1预处理后的信号进行时间上的划分，再对EEG信号进行频段划分，将EEG信号按时间划分为I段，按频率划分为J段，E_ij∈R^c×N代表第i个时间段、第j个频段对应的EEG信号，n表示EEG信号采样点，n＝1,2,...,N；c表示脑电信号采集通道数；第i个时间段的EEG信号T_i＝T₀(i-1)～3+T₀(i-1),i∈I,T₀＝1，T₀为滑动时间窗滑动间隔；第j个频段的EEG信号F_j＝F₀(j-1)+4～F₀(j-1)+18,j∈j,F₀＝14，F₀为分频间隔；使用同样的时间间隔将fNIRS信号划分为S段，F_s∈R^c×k代表第s个时间段对应的fNIRS数据，k代表试验采样点，k＝1,2,...,K。

然后对划分后同状态下的每段EEG信号与每段fNIRS信号分别进行交叉截取，构建联合时间窗。

步骤3、对步骤2得到的联合时间窗中的多模态信号进行特征提取；使用分频CSP算法提取EEG信号的空域特征，从多通道的EEG数据里面提取出不同状态的空间分布成分；记X₁和X₂分别为任务与非任务状态下的EEG信号，构造空间滤波器；空间滤波器W：

W＝B^TP (1)

得到特征向量：

f_ij＝log(var(W^TE_ij)) (2)

其中f_ij∈R^1×2m表示第i个时间段j个频带EEG数据提取的CSP特征向量。

对fNIRS信号提取平均值M_s和峰值P_s：

P_s＝max X_k,1≤k≤K (4)

其中X_k为采样点k对应的信号电压值。

步骤4、计算每个联合时间窗中信号特征与对应的标签之间的互信息值之和，然后选取互信息值之和最大的联合时间窗进行特征选择，特征选择的具体方法为：

分别计算每个特征与标签之间Fisher值I_m，根据所有特征的绝对Fisher系数，按照降序的顺序对所有特征进行排序，系数高的特征优先级更高，提取排序后的前h个特征；将剩下的m-h个特征进行LASSO稀疏，稀疏之后的特征集数目为n；最后将互信息选出的前h个特征集与LASSO稀疏之后的n个特征集融合，作为最终输入分类器的特征集。

将选择得到的特征集输入分类器中进行分类。

步骤5、重复步骤1～4多次，将分类器输出的分类结果与标签进行对比，优化步骤3中的空间滤波器W以及步骤4中提取的特征个数h。

步骤6、采集被试者的EEG信号与fNIRS信号，通过优化后的超参数进行特征提取与特征选择，然后通过分类器进行分类，得到被试者的状态。

本发明具有以下有益效果：

1、避免脑电设备与近红外设备在信号分析时间上的差异性，且选出的时间组合合理，在一定程度上提高了BCI系统的分类性能。

2、与其他仅考虑同步划分时间窗的方法相比，本方法更能突出任务中被激活的多模态时间段，并减少多模态信号在时间段之间的冗余信息。

附图说明

图1为本方法的流程图；

图2为不同状态数据采集的时间轴；

图3为特征选择方法的流程图；

图4为受试者6特征选择后最佳特征子集分析图；

图5为不同受试者对应的联合时间窗选择比较图。

具体实施方式

以下结合附图对本发明作进一步的解释说明；

如图1所示，本方法具体包括数据采集与预处理、数据划分与交叉融合、特征提取、特征选择与分类。

步骤1、柏林工业大学Shin等人所建立的公开数据集，包含从29位健康受试者(14位男性和15位女性，平均年龄28.5±3.7)收集的EEG和fNIRS信号。EEG系统的采样率为1000Hz，采集电极位置为AFp1，AFp2，AFF1h，AFF2h，AFF5h，AFF6h，F3，F4，F7，F8，FCC3h，FCC4h，FCC5h，FCC6h，T7，T8，CCz，CCP3h，CCP4h，CCP6h，Pz，P3，P4，P7，P8，PPO1h，PPO2h，POO1，POO2和Fz。fNIRS系统的采样率为12.5Hz，在额叶的运动和视觉区域放置了十四个光源和十六个检测器，形成了36条通道，光电二极管之间的距离为30mm。数据集将EEG原信号下采样至200Hz，fNIRS原信号下采样至10Hz。

本实施例使用该数据集中的心理算数MA数据集，MA数据集包括心算任务和基线任务，每个受试者进行60次试验。图2为一次实验的具体流程，包括2s的视觉介绍，10s的任务时间段和14-16s的休息时间。在心算任务的过程中，要求受试者从“三位数”中减去一位数字(例如123-9)，并从先前的减法结果中重复减去一位数字，直到任务完成。基线任务为休息。

采集到的EEG数据通过六阶巴特沃斯零相位滤波器，将信号进行滤波4～35Hz带通滤波，消除干扰和噪声。HbO和HbR的数据首先下采样到10Hz。fNIRS信号由发射近红外光的多个源和接收反射光的检测器组成。为了到达大脑，光线沿着头皮，组织和头骨穿过。在fNIRS系统中，修正的Beer-Lambert定律用于将光强度测量值转换为HbO和HbR的血液动力学变化。将fNIRS信号通过0.01～0.1Hz的六阶零相位巴特沃斯滤波器。采用实验前5s的HbR和HbO浓度数据的均值进行基线校正。

步骤2、使用滑动时间窗对步骤1预处理后的信号进行时间上的划分，再对EEG信号进行频段划分，假设EEG信号的时间为T，那么每一段的时间T_i＝T₀(i-1)～3+T₀(i-1),i∈I，I为划分段数，T₀为时间窗滑动间隔，T₀＝1。将划分完时间的数据放入三阶巴特沃斯带通滤波器，进行多频带的划分。假设EEG信号的频带为F，那么每一段的频带F_j＝F₀(j-1)+4～F₀(j-1)+18,j∈J，F₀为频带划分间隔，F₀＝14。E_ij∈R^c×N代表划分后第i个时间段，j个频带对应的EEG数据，n＝1,2,...,N代表试验采样点，c代表通道数。由于在fNIRS系统中，HbO和HbR浓度变化是通过修正的Beer-Lambert定律将光强度测量值转换而来，并且HbO和HbR浓度变化在频率上波动不明显，具有较强的时间特性。因此本文只对fNIRS信号进行时间划分，划分方法与EEG信号相同。F_s∈R^c×k代表第s个时间段对应的fNIRS数据，其中s∈S，代表划分的时间段个数，k＝1,2,...,K代表试验采样点，c代表通道数。

将E_1j与F₁、F₂、...F_S融合，E_2j与F₁、F₂、...F_S融合，以此类推，直到将E_Ij与F₁、F₂、...F_S融合，完成EEG信号与fNIRS信号的交叉截取，构建联合时间窗。

步骤3、对步骤2得到的联合时间窗中的多模态信号进行特征提取；对EEG信号提取分频CSP空域特征，对fNIRS信号提取平均值和峰值。

CSP是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的EEG数据里面提取出每一类的空间分布成分。记X₁和X₂分别为任务状态与非任务状态的信号，构造空间滤波器；首先求信号矩阵协方差，并归一化，得到：

其中，trace(·)为矩阵的迹，然后求出混合空间的协方差矩阵R，并进行特征值分解：

其中，

分别为两类任务实验的协方差矩阵，U为矩阵R的特征向量，Λ为对应的特征值矩阵；可以求出白化矩阵P：

接着对R₁与R₂做白化处理以及主成分分解：

则矩阵S₁与矩阵S₂的特征向量相等，即B₁＝B₂，且Λ₁+Λ₂＝D，其中，D为单位矩阵。两类矩阵的特征值之和为1，因此当一类的特征值最大时另一类最小，从而可以实现区分的作用。最优的空间滤波器W：

W＝B^TP (5)

最后得到具有较高区分度的特征向量

f_ij＝log(var(W^TE_ij)) (6)

其中f_ij∈R^1×2m表示第i个时间段第j个频带EEG数据提取的CSP特征向量。

fNIRS的特征提取通常采用信号均值(signal mean)，信号斜率(signal slope)，信号方差(signal variance)，信号峰值(signal peak)，信号峰度(signal kurtosis)和信号偏斜(signal skewness)。本实施例采用数据段上每个通道HbR和HbO浓度的平均值(mean)和峰值(peak)来建立特征向量。

信号平均值M_s：

信号峰值P_s：

P_s＝max X_k,1≤k≤K (8)

其中X_k为采样点k对应的信号电压值。

步骤4、计算每个联合时间窗中信号特征与对应的标签之间的互信息值之和，然后选取互信息值之和最大的联合时间窗进行特征选择；输入分类器中进行分类；

互信息是两个随机变量之间相互依存的指数，它量化了一个随机变量中包含有关另一个随机变量的信息量。互信息有效地表达了随机变量之间的非线性相关性，并且可以应用于特征选择中的特征排序。基于互信息过滤方法的基本目标是保留信息最多的特征，同时删除冗余或相关性较低的特征。特征F与标签Y是两个随机变量，两个随机变量(F,Y)的联合分布为p(f,y)，边缘分布分别为p(f),p(y)，随机变量F,Y的互信息I(F,Y)为：

其中I(F,Y)越大，代表特征F和Y共同拥有的信息量越多。

联合时间窗中的F_is特征是通过EEG时间频带段数据与fNIRS时间段数据进行特征提取组合而成，将F_is定义为联合特征窗，根据步骤2中的划分数量，可以构建I×S个特征窗，组成特征块。通过计算每个特征窗的互信息值，得出二维的互信息矩阵L∈R^I×S。选择互信息最高所对应特征窗，即为选择的最优特征窗。选出最优的联合特征窗用于特征选择以及分类。

Fisher准则是一种将高维参数投影成一维来测量类判别属性的统计量参数，Fisher值代表了两类样本的可分程度，Fisher值越大表示可分性越强，Fisher值越小表示可分性越弱。相关系数定义如下：

其中，mean(·)为均值，var(·)为方差。

最小绝对收缩和选择算子LASSO最早是由Robert Tibshirani于1996年提出，是一种压缩估计方法，通过构造罚函数得到一个更精确的模型，从而压缩某些回归系数，即强制系数的绝对值之和小于一个固定值，同时某些回归系数被设置为零，目标函数如下：

其中F是特征矩阵，y是标签，β是特征的回归系数，

是稀疏之后的回归系数，λ是惩罚项系数，λ越大，

中回归系数趋于0的更多。最后保留

中不为0对应F中的特征，即为稀疏后的特征

基础的LASSO模型和许多L1正则化模型都假定特征是独立的，忽略了特征结构。然而，在大多数实际应用中，特征包含内在的结构信息。因此将Fisher与LASSO合并成为一个模型FHLS，以帮助识别最优的特征集并提高模型性能，并提高计算效率。

如图3所示，基于FHLS的特征选择方法为：分别计算每个特征与标签之间Fisher值I_m，根据所有特征的绝对Fisher系数，按照降序对所有特征进行排序，产生较高系数的特征具有更高的优先级，提取排序后前h个特征；将剩下的m-h个特征进行LASSO稀疏，稀疏之后的特征集数目为n；最后将互信息选出的前h个特征集与LASSO稀疏之后的n个特征集融合，即为最终输入分类器的特征集。

值得注意的是：h、λ是FHLS方法中的两个参数，其中h代表选取前h个通过Fisher排序的特征，λ代表惩罚项系数。当h＝0时，FHLS即为LASSO；λ＝0时FHLS即为Fisher。通过对Fisher提取特征集数目h值的设置，可以选出最佳特征集，即具有最高准确性的子集。图4为受试者6进行FHLS特征选择后最佳特征子集分析图；图5为不同受试者对应的联合时间窗选择比较图。

步骤5、线性判别分析(LDA)在分类中有着广泛的应用。大量的混合BCI研究报道了LDA在分类中的优异性能。除此之外SLDA还具有原理简单，计算量低的特点。使用收缩线性判别分析(Shrinking linear discriminant analysis,SLDA)方法进行二分类。在训练样本数量比特征数量少的情况下，收缩(Shrinking)是改进协方差矩阵估计的一种方式。通过采用基于Ledoit–Wolf引理的收缩参数，该方法可缓解由于使用高维特征向量而导致的分类精度损失。本文采用10×5折交叉验证方法增加分类结果的可靠性。下表为本实施例与其他方法的识别准确率结果：

表1

针对该公共数据集，从表1可知，同样针对心算任务分类，使用方法一得到的Hybird的准确率为88.1％。本文使用的方法对Hybird的准确率为92.52％。实验结果表明本发明提出的多模态交叉融合方法相比于传统同步选择时间段的方法，可以提高4.42％的分类准确率。本方法互信息选择本数据集在时序组合时，受试者更偏向于EEG与fNIRS同时激活的时间段,可以更加准确的找到具有较好分类性能的时间段，减少多模态信号在时间段之间的冗余信息。所提出的算法在基于多模态的脑机接口中具有实际应用前景。

[1]SHIN J,VON LUHMANN A,BLANKERTZ B,et al.Open Access Dataset for EEGplus NIRS Single-Trial Classification[J].Ieee Transactions on Neural Systemsand Rehabilitation Engineering,2017,25(10):1735-45。

Claims (8)

1.基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：该方法包括以下步骤：

步骤1、采集T秒被试者在不同状态下的EEG信号与fNIRS信号；然后对采集到的信号使用滤波器进行预处理；

步骤2、使用滑动时间窗对步骤1预处理后的信号进行时间上的划分，再对EEG信号进行频段划分，然后对划分后同状态下的每段EEG信号与每段fNIRS信号分别进行交叉截取，构建联合时间窗；

步骤3、对步骤2得到的联合时间窗中的多模态信号进行特征提取；对EEG信号提取分频CSP空域特征，对fNIRS信号提取平均值和峰值；

步骤4、计算每个联合时间窗中信号特征与对应的标签之间的互信息值之和，然后选取互信息值之和最大的联合时间窗进行特征选择；输入分类器中进行分类；特征选择的具体方法为：分别计算每个特征与标签之间Fisher值I_m，根据所有特征的绝对Fisher系数，按照降序的顺序对所有特征进行排序，系数高的特征优先级更高，提取排序后的前h个特征；将剩下的m-h个特征进行LASSO稀疏，稀疏之后的特征集数目为n；最后将互信息选出的前h个特征集与LASSO稀疏之后的n个特征集融合，作为最终输入分类器的特征集；

步骤5、重复步骤1～4多次，将分类器输出的分类结果与标签进行对比，优化步骤3、4中的超参数；

步骤6、采集被试者的EEG信号与fNIRS信号，通过优化后的超参数进行特征提取与特征选择，然后通过分类器进行分类，得到被试者的状态。

2.如权利要求1所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：所述不同状态为任务态与非任务态，其中任务态为心算任务，非任务态为休息状态。

3.如权利要求1或2所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：步骤1中分别使用频率为4～35Hz、0.01～0.1Hz带通滤波器实现EEG信号与fNIRS信号的预处理。

4.如权利要求1所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：步骤2中将EEG信号按时间划分为I段，按频率划分为J段，E_ij∈R^c×N代表第i个时间段、第j个频段对应的EEG信号，n表示EEG信号采样点，n＝1,2,...,N；c表示脑电信号采集通道数；第i个时间段的EEG信号T_i＝T₀(i-1)～3+T₀(i-1),i∈I,T₀＝1，T₀为滑动时间窗滑动间隔；第j个频段的EEG信号F_j＝F₀(j-1)+4～F₀(j-1)+18,j∈J,F₀＝14，F₀为分频间隔；使用同样的时间间隔将fNIRS信号划分为S段，F_s∈R^c×k代表第s个时间段对应的fNIRS数据，k代表试验采样点，k＝1,2,...,K。

5.如权利要求1、2或4所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：使用分频CSP算法提取EEG信号的空域特征，从多通道的EEG数据里面提取出不同状态的空间分布成分；记X₁和X₂分别为任务与非任务状态下的EEG信号，构造空间滤波器；空间滤波器W：

W＝B^TP (1)

得到特征向量：

f_ij＝log(var(W^TE_ij)) (2)

其中f_ij∈R^1×2m表示第i个时间段j个频带EEG数据提取的CSP特征向量，E_ij∈R^c×N代表第i个时间段、第j个频段对应的EEG信号。

6.如权利要求1、2或4所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：对fNIRS信号提取平均值M_s和峰值P_s：

P_s＝max X_k,1≤k≤K (4)

其中X_k为采样点k对应的信号电压值。

7.如权利要求1所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：互信息值I(F,Y)的计算方法为：

其中，F、Y为两个变量，分别表示特征与标签，p(f,y)为两个变量的联合分布，p(f)、p(y)分别为其边缘分布；互信息值I(F,Y)越大，代表特征F和Y共同拥有的信息量越多。

8.如权利要求1所述基于FHLS特征选择的多模态BCI时序优化方法，其特征在于：步骤4与步骤5中使用收缩线性判别分析方法进行二分类。

Images