CN109299647A - 一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法 - Google Patents

Abstract

本发明涉及一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，利用脑电放大器采集被试的多任务运动想象脑电信号，传输给上位机后利用welch功率谱及一对一公共空间模式算法提取运动想象脑电的频域及空域特征组合；根据训练集数据所属类别构建多个GMM分类器，将原始脑电信号通过GMM分类器，并将得到的概率密度与设定的可信阈值进行对比，利用人工神经网络对低于可信阈值的样本进行二次分类，得出最终分类结果并通过无线串口传输给车辆，实现车辆的实时运动；本发明通过利用welch功率谱和CSP提取与运动想象相关的频域及空域特征，利用GMM和人工神经网络两级分类器，有效提高了车辆控制的实时性和车辆驾驶的安全性，为脑控车辆的实际应用奠定基础。

Description

一种面向车辆控制的多任务运动想象脑电特征提取及模式识 别方法

技术领域

本发明涉及一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，信号处理及模式识别领域。

背景技术

脑机接口(BCI)可通过人脑中神经元的相互作用直接控制外围设备，这种不依赖肢体和外围神经的控制方式为行动不便的残疾人实现自主活动带来了希望。运动想象脑电信号具有自主诱发产生的优势，因此在脑机接口方面被广泛使用。

运动想象脑电信号的幅值较低，容易受到其他生理电信号的影响，因此其有效成分常常淹没在噪声中。为提高脑电信号的信噪比，提取出最能表征被试想象动作的特征，很多频域及空域特征提取方法被提出。小波包变换具有多分辨率的特点，可有效提取出特定频域上的信号分量。然而，小波包选择的频域宽度通常较为固定，同时其计算复杂度较高，不适用于这种实时性要求严格的面向车辆控制的脑电信号特征提取过程中。相对于分段平均提取法等其他频域特征提取方法，welch方法的计算复杂度较小，同时其功率谱更加光滑。但是，该算法得到的特征通常较少，很难运用到多任务分类问题中。公共空间模式被证明是一种高效的空域滤波方法，其利用不同类别信号的方差差异实现运动想象脑电的空间区分。这种方法忽略了脑电信号的频域特点，得到的特征向量损失了信号的频域特征。

在分类器构造方面，常规的线性分类器(如线性判别分析)的计算速度快但分类精度低，不能满足车辆驾驶安全性的要求。GMM分类器的计算复杂度低，同时可以输出样本属于各个类别的概率，适用于车辆控制等实时性要求较高的场景。但其分类准确率仍然很难满足实际驾驶过程中高安全性的要求。人工神经网络包含了大量的权重和偏置参数，大量的拟合参数在提高了算法的非线性分类能力的同时，也增加了其计算复杂度。如何平衡脑电分类算法的分类精度和计算复杂度成为实现脑控驾驶的一个关键问题。

发明内容

本发明提供一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，用于提取不同维度的脑电信号特征，平衡脑电分类算法的分类精度和计算复杂度，提高车辆控制的实时性和车辆驾驶的安全性。

本发明解决其技术问题所采用的技术方案是：

一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，包括以下步骤：

第一步：佩戴脑电采集帽，被试执行多任务运动想象，在安静环境下保持放松状态，想象左手、右手、脚和舌头的运动，将采集倒的运动想象信号通过蓝牙无线传输至上位机处完成脑电采集，构建运动想象脑电信号分类器的训练集；

第二步：根据运动想象的ERD/ERS特征频率所在范围对训练集的脑电信号进行8Hz-30Hz 的带通滤波，提高原始信号的信噪比；

第三步：根据训练集脑电信号的标签构建一对一CSP空域滤波器，对脑电信号进行CSP 空域特征提取，同时结合welch功率谱对信号的频域特征进行提取，构造脑电信号的训练集特征向量，获得频域、空域特征向量的组合；

第四步：对每一类的运动想象脑电信号提取的频域、空域特征向量的组合构建高斯混合模型分类器，对全部运动想象脑电信号构建人工神经网络分类器，利用训练集数据对两种分类器进行训练；

第五步：实时采集脑电信号，在上位机中对脑电信号进行特征提取，对每一类的运动想象脑电信号提取的频域、空域特征向量的组合构建高斯混合模型分类器，将得到的高斯混合模型分类器输出与设定的可信阈值进行比较，

若得到的分类器输出大于设定的可信阈值，将分类结果通过无线串口传送给下位机；若得到的分类器输出小于或等于设定设定的可信阈值，利用人工神经网络对低于设定的可信阈值的样本进行二次分类，将分类结果通过无线串口传送给下位机；

第六步：将被试的左手、右手、脚、舌头运动对应到车辆的左转、右转、前进、后退，依据上位机的传输结果，通过单片机控制车辆的电机和舵机，实时控制车辆运动；

作为本发明的进一步优选，在第二步中，带通滤波器选择切比雪夫I型滤波器，阻带截止频率分别选为6Hz和32Hz，阻带的衰减定为60db，通带的衰减定为0.5db；

作为本发明的进一步优选，在第三步中，，利用一对一CSP算法对左手、右手、脚和舌头四类运动想象脑电信号构建六组空域滤波器，依据每组滤波器的类别属性求得脑电信号的空域特征向量[f₁,f₂,f₃,f₄]；选择加窗类型为Hamming窗、信号分段长度为100、重叠长度为20，利用welch功率谱，提取C3和C4电极在整个频域范围内信号功率密度的平均值f_c3、f_c4，结合脑电信号的空域特征得到最终的特征向量[f₁,f₂,f₃,f₄,f_c3,f_c4]；

作为本发明的进一步优选，在第四步中，分别对左手、右手、脚和舌头四类运动想象脑电信号构建四个高斯混合模型分类器，对全部运动想象脑电信号构建一个人工神经网络分类器；

作为本发明的进一步优选，在第五步中，设定信号的滑动采样窗的宽度为1s，滑动步长为200ms，即每次采集1s的脑电信号作为车辆的控制信号，每200ms输出一次分类结果，控制车辆运动。

通过以上技术方案，相对于现有技术，本发明具有以下有益效果：

本发明运用welch功率谱提取了运动想象脑电信号的频域特征，利用一对一的公共空间模式算法提取了脑电信号的空域特征，结合信号的频域和空域特征完成了特征向量的构建，最大限度地保留了原始信号的统计学信息；

本发明利用了计算复杂度较低的高斯混合模型分类器(即GMM)作为一级分类器，以其输出的原始样本属于各个类别的概率密度作为评价指标，利用分类性能较好的人工神经网络对概率密度低于可信阈值的样本进行二次分类，并将最终的结果在线传输给单片机，控制车辆的实时运动；这种两级分类的方法综合利用了GMM分类器实时性好和人工神经网络分类精度高的特点，实现了可分性较好的脑电信号的快速辨识、可分性较差的脑电信号的有效辨识，提高了实际驾驶过程中车辆控制的实时性和车辆操作的安全性。

附图说明

下面结合附图和实施例对本发明进一步说明。

图1是本发明的优选实施例的面向车辆控制的多任务运动想象脑电特征提取及模式识别方法的总框图；

图2是本发明的优选实施例的一次运动想象的C3和C4电极脑电信号图，其中，2a为C3 电极脑电信号图，2b为C4电极脑电信号图；

图3是本发明的优选实施例的一次运动想象的C3和C4电极的welch功率谱；

图4本发明的优选实施例的面向在线车辆控制的脑电信号的处理时间分配图；

图5为本发明的优选实施例的脑控车辆的信号传输方式示意图。

具体实施方式

现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。

如图1所示，本发明的一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，包括以下步骤：

第一步：佩戴脑电采集帽，被试执行多任务运动想象，在安静环境下保持放松状态，想象左手、右手、脚和舌头的运动，将采集倒的运动想象信号通过蓝牙无线传输至上位机处完成脑电采集，构建运动想象脑电信号分类器的训练集；

第二步：根据运动想象的ERD/ERS特征频率所在范围对训练集的脑电信号进行8Hz-30Hz 的带通滤波，提高原始信号的信噪比；

第三步：根据训练集脑电信号的标签构建一对一CSP空域滤波器，对脑电信号进行CSP 空域特征提取，同时结合welch功率谱对信号的频域特征进行提取，构造脑电信号的训练集特征向量，获得频域、空域特征向量的组合；

第四步：对每一类的运动想象脑电信号提取的频域、空域特征向量的组合构建高斯混合模型分类器，对全部运动想象脑电信号构建人工神经网络分类器，利用训练集数据对两种分类器进行训练；

第五步：实时采集脑电信号，在上位机中对脑电信号进行特征提取，对每一类的运动想象脑电信号提取的频域、空域特征向量的组合构建高斯混合模型分类器，将得到的高斯混合模型分类器输出与设定的可信阈值进行比较，

若得到的分类器输出大于设定的可信阈值，将分类结果通过无线串口传送给下位机；若得到的分类器输出小于或等于设定设定的可信阈值，利用人工神经网络对低于设定的可信阈值的样本进行二次分类，将分类结果通过无线串口传送给下位机；

第六步：将被试的左手、右手、脚、舌头运动对应到车辆的左转、右转、前进、后退，依据上位机的传输结果，通过单片机输出不同占空比的PWM波，控制车辆的电机和舵机，实时控制车辆运动；

针对上述方法，具体操作：

被试佩戴脑电采集帽，在安静环境下保持放松状态，想象左手、右手、脚、舌头的运动，将采集得到的运动想象信号通过蓝牙无线传输给上位机；对不同的运动想象脑电信号进行类别标记，选取左手、右手、脚、舌头的运动想象脑电信号各1000例构成训练集用于后续分类器的训练；

在第二步中，带通滤波器选择切比雪夫I型滤波器，阻带截止频率分别选为6Hz和32Hz，阻带的衰减定为60db，通带的衰减定为0.5db；

在第三步中，

设经过带通滤波后的脑电信号为X，可计算每一次运动想象脑电信号的协方差矩阵：

计算每一类脑电信号的平均协方差矩阵(i表示对应的类别)，将任意两类的混合平均协方差矩阵进行特征分解：

式中，V_ij为混合平均协方差矩阵的特征矩阵，λ_ij为对应的特征值对角阵。

由此可得到白化变换矩阵：

将和白化：

分别选取B_i和B_j的最大特征值对应的特征向量Y_i,Y_j构成一组滤波器：

按照上述方法对左手、右手、脚和舌头四类运动想象脑电信号构建6组(12个)滤波器，将信号分别通过各组滤波器，求取其方差并归一化可得到一组特征：

将对应类别的特征值相加可以得到空域的一组特征向量：[f₁,f₂,f₃,f₄]；

如图2所示，选择加窗类型为Hamming窗、信号分段长度为100、重叠长度为20，采用welch法对脑电信号的C3和C4电极进行功率谱估计；一次运动想象的C3和C4电极脑电信号，得到的功率谱如附图3所示。求取整个频域范围内信号功率谱密度的平均值f_c3和f_c4，结合脑电信号的空域特征得到最终用于分类的特征向量F＝[f₁,f₂,f₃,f₄,f_c3,f_c4]^T；

作为本发明的进一步优选，在第四步中，分别对左手、右手、脚和舌头四类运动想象脑电信号构建四个高斯混合模型分类器，具体的构建方法如下：

令GMM中的高斯分量个数为N，以N为训练集特征向量的聚类中心个数，利用kmeans方法计算每一个高斯分量的均值向量μ_i、方差矩阵C_i；根据每一个高斯分量所包含的运动想象脑电信号样本数量确定相应高斯分量的权重α_i；每一类的GMM概率密度函数可以表示为：

N_i(F,μ_i,C_i)表示第i个高斯分量的概率密度分布函数，其计算表达式为：

根据训练集脑电特征向量可实现高斯分量的权重α_i、均值向量μ_i和方差矩阵C_i的迭代修正；迭代步骤如下：

计算特征向量属于每一个高斯分量的后验概率：

更新高斯分量权重α_i值、均值向量μ_i和方差矩阵C_i：

式中，M表示这一类运动想象脑电的样本总数。

第t次迭代后终止迭代的条件是，训练集样本的概率密度满足以下不等式：

由此可以得到关于左手、右手、脚、舌头的运动想象脑电的4个GMM分类器。

对全部运动想象脑电信号构建一个人工神经网络分类器，具体方法如下：

创建3层人工神经网络模型，输入层神经元数量为6，隐藏层的神经元数量为30，输出层神经元数量为4。隐藏层的激活函数选择为sigmoid函数，输出层为softmax层，用L2正则化的方式防止神经网络出现过拟合，以交叉熵函数为损失函数，其表达式为：

上述式中，ω和b分别表示神经网络的权重和偏置，y和a分别表示样本的真实值和神经网络的实际输出值，λ为正则化系数，n为训练集样本数量；

选用满足均值为0、方差为1的高斯分布初始化神经网络的权重和偏置；用随机梯度下降的方法反向传递误差，不断修正神经网络的权重和偏置，直到达到设置的迭代步数。保存神经网络的结构参数、权重和偏置值，用于后续的在线脑电信号分类。

作为本发明的进一步优选，在第五步中，实时采集脑电信号，设定信号的滑动采样窗的宽度为1s，滑动步长为200ms，即每次采集1s的脑电信号作为车辆的控制信号，每200ms输出一次分类结果，控制车辆运动，脑电信号的处理时间分配如图4所示；对采集得到的脑电信号进行在线特征提取，计算所得特征向量属于4个GMM的概率密度，选取最大的概率密度值与预设的可信阈值进行比较，将高于可信阈值的概率密度对应的类别标签通过无线模块直接输出给单片机，低于可信阈值的分类样本会由分类性能更好的人工神经网络进行二次分类，其中可信阈值可根据分类的准确性和实时性的实际要求进行具体设置。

上位机与单片机之间采用串口通讯，其波特率设置为115200，图5所示为本发明的总体信号传输方式。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本申请所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

本申请中所述的“和/或”的含义指的是各自单独存在或两者同时存在的情况均包括在内。

本申请中所述的“连接”的含义可以是部件之间的直接连接也可以是部件间通过其它部件的间接连接。

以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (5)

1.一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，其特征在于：包括以下步骤：

第一步：佩戴脑电采集帽，被试执行多任务运动想象，在安静环境下保持放松状态，想象左手、右手、脚和舌头的运动，将采集倒的运动想象信号通过蓝牙无线传输至上位机处完成脑电采集，构建运动想象脑电信号分类器的训练集；

第二步：根据运动想象的ERD/ERS特征频率所在范围对训练集的脑电信号进行8Hz-30Hz的带通滤波，提高原始信号的信噪比；

第三步：根据训练集脑电信号的标签构建一对一CSP空域滤波器，对脑电信号进行CSP空域特征提取，同时结合welch功率谱对信号的频域特征进行提取，构造脑电信号的训练集特征向量，获得频域、空域特征向量的组合；

第四步：对每一类的运动想象脑电信号提取的频域、空域特征向量的组合构建高斯混合模型分类器，对全部运动想象脑电信号构建人工神经网络分类器，利用训练集数据对两种分类器进行训练；

第五步：实时采集脑电信号，在上位机中对脑电信号进行特征提取，对每一类的运动想象脑电信号提取的频域、空域特征向量的组合构建高斯混合模型分类器，将得到的高斯混合模型分类器输出与设定的可信阈值进行比较，

若得到的分类器输出大于设定的可信阈值，将分类结果通过无线串口传送给下位机；若得到的分类器输出小于或等于设定设定的可信阈值，利用人工神经网络对低于设定的可信阈值的样本进行二次分类，将分类结果通过无线串口传送给下位机；

第六步：将被试的左手、右手、脚、舌头运动对应到车辆的左转、右转、前进、后退，依据上位机的传输结果，通过单片机控制车辆的电机和舵机，实时控制车辆运动。

2.根据权利要求1所述的面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，其特征在于：在第二步中，带通滤波器选择切比雪夫I型滤波器，阻带截止频率分别选为6Hz和32Hz，阻带的衰减定为60db，通带的衰减定为0.5db。

3.根据权利要求1所述的面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，其特征在于：在第三步中，，利用一对一CSP算法对左手、右手、脚和舌头四类运动想象脑电信号构建六组空域滤波器，依据每组滤波器的类别属性求得脑电信号的空域特征向量[f₁,f₂,f₃,f₄]；选择加窗类型为Hamming窗、信号分段长度为100、重叠长度为20，利用welch功率谱，提取C3和C4电极在整个频域范围内信号功率密度的平均值f_c3、f_c4，结合脑电信号的空域特征得到最终的特征向量[f₁,f₂,f₃,f₄,f_c3,f_c4]。

4.根据权利要求1所述的面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，其特征在于：在第四步中，分别对左手、右手、脚和舌头四类运动想象脑电信号构建四个高斯混合模型分类器，对全部运动想象脑电信号构建一个人工神经网络分类器。

5.根据权利要求1所述的面向车辆控制的多任务运动想象脑电特征提取及模式识别方法，其特征在于：在第五步中，设定信号的滑动采样窗的宽度为1s，滑动步长为200ms，即每次采集1s的脑电信号作为车辆的控制信号，每200ms输出一次分类结果，控制车辆运动。