CN110363157B - 基于时间编码的外骨骼混合脑机接口控制方法 - Google Patents

Abstract

本发明公开基于时间编码的外骨骼混合脑机接口控制方法。本发明主要使用稳态诱发电位脑机接口实现外骨骼运动模式之间切换，使用运动想象脑机接口实现外骨骼运动状态之间切换，两者与时间窗编码相融合，并由编码时间窗所处的不同状态选取相应脑机接口算法进行单次决策。综合连续的单次决策结果，输出综合决策的结果，并映射为外骨骼控制指令进行下发。其可辅助使用者根据主动运动意图在7种运动模式与运动状态之间切换：直立，行走，坐，上楼梯，下楼梯，左腿前进，右腿前进。本发明将7分类转变为2分类与空闲状态的检测，可有效的降低系统的假阳性率并提高识别率。

Description

基于时间编码的外骨骼混合脑机接口控制方法

技术领域

本发明属于脑机接口领域，涉及了一种基于时间编码的外骨骼混合脑机接口控制方法。

背景技术

近年来，下肢外骨骼机器人作为一种辅助运动及康复治疗的设备已经被广泛应用。然而，基于被动式运动的下肢外骨骼机器人并不能遵循人的主动运动意图。脑机接口(BCI)是一种不依赖于正常的由外周围神经和肌肉组成的输出通路的通讯系统，其可将使用者的意图有效解码为控制指令进行输出。将BCI技术引入下肢外骨骼机器人控制系统，可帮助有运动障碍的使用者更有效地进行康复训练，同时可帮助活动能力弱的老年人进行辅助运动。

但是，目前的脑机接口绝大部分基于单一的EEG信号，包括：稳态视觉诱发电位、P300事件相关电位、慢皮层电位及运动想象。随着BCI技术的发展，使用单一的BCI去输出多类指令已比较困难。混合脑机接口是指在一种单模态BCI的基础上，加入新的控制方式进行混合控制的BCI。其可有效的降低系统的假阳性率，并增加系统可识别的任务数量。

发明内容

本发明的目的是针对现存方案存在的不足和改善需要，提出一种基于运动想象(MI)和稳态视觉诱发电位(SSVEP)的混合脑机接口，并应用到下肢外骨骼的控制中，可将使用者的主动运动意图与外骨骼的运行状态相融合。本发明使用时间编码的方式，对不同单位时间窗内的EEG信号进行组合与分类识别，将原本7分类的问题，转变为2分类与空闲状态检测的问题，可辅助使用者在7种运动模式与运动状态之间进行切换：直立，行走，坐，上楼梯，下楼梯，左腿前进，右腿前进。稳态诱发视觉电位脑机接口使用CCA算法与阈值法对两种刺激频率与空闲状态进行识别，以实现五种模式的转换：直立、自动行走、坐、上楼梯、下楼梯。运动想象脑接口使用OVO-CSP算法提取与运动想象相关的特征，并使用kNN算法解决三分类问题：左手运动想象、右手运动想象、空闲状态，以实现手动模式的行走，其中包含两种状态的切换：左腿前进、右腿前进。

本发明所采用的技术方案：

1.EEG信号采集

使用者可选择性的注视稳态诱发电位视觉刺激器与运动想象视频以产生不同的生理特征信号，系统通过脑电采集设备以对EEG原始信号进行采集。脑电采集设备的电极分布为国际10-20导联标准，共C3，C4，A1，A2，O1，O2，Fp1，Fp2，F7，F3，Fz，F4，F8，T3，T4，T5，P3，P4，T6，Cz，Pz 21个电极，采样率为300Hz。

2.EEG数据预处理

本发明设置4-40Hz带通滤波，滤波类型为巴特沃斯滤波，电极阻抗＜1.0MOhm。对各段原始脑电信号均进行数据预处理，目的是减少伪迹的干扰，提高信噪比，从而提高特征提取的有效性。

3.稳态诱发视觉电位的外骨骼运动模式控制

本发明识别使用者EEG信号中单个时间窗的稳发诱发视觉电位并进行时间窗编码，以对使用者的直立、下楼梯、上楼梯、自动行走、坐5种运动模式的运动意图进行决策并控制。具体是：

3.1通过CCA(Canonical Correlation Analysis，典型相关分析)算法识别不同刺激频率的稳发诱发视觉电位：

从不同通道采集到的步骤2处理后EEG信号集合X∈R^C×P，其中C为通道的数量，P为采样点数。

设定参考信号集合Y∈R^2H×T，其可被描述为式(1)：

其中，f_m表示稳态诱发电位视觉刺激器的频率，m表示刺激频率的种类，m＝1，2，...，N，B表示谐波数量，F表示采样率。

将上述EEG信号集合X与参考信号集合Y采用CCA方法分别找寻一对向量W_x∈R^C和W_y∈R^2H，以使得X∈R^C×P与Y∈R^2H×T在其上的投影x＝X^TW_x和y＝Y^TW_y这两者之间的相关性系数p最大，其中T表示转置。

最大相关性系数如下式(2)：

其中E[.]表示数学期望；

通过上述最大相关系数p_m，根据公式(3)得到决策结果

3.2单次时间窗所检测出的最大相关系数p_m与预先设定阈值λ进行比较，若p_m＜λ，则表示当前为空闲状态，否则输出决策结果。

3.3对单次时间窗的EEG信号重复步骤3.1-3.2获得单次决策结果，综合连续时间窗口的n次决策结果(n≥2)，若满足一种运动模式的时间窗编码，则输出对应的具体运动模式，映射为该运动模式外骨骼控制指令。

在综合决策中，若系统识别到空闲状态，并不会对最终的决策结果产生任何影响。这样的综合决策不但提高了系统的识别率与假阳性，也将复杂的多分类决策分类转变为有效的时间窗编码决策分类。

4.运动想象的外骨骼运动状态控制

本发明分别提取使用者的三种运动想象EEG特征：左手运动想象、右手运动想象、空闲状态，并进行分类决策，同时上述运动意图分别映射为外骨骼的左腿运动、右腿运动、以及保持当前状态；具体是：

4.1使用左右手运动视频对使用者进行刺激，让使用者根据视频中的运动进行意念中的运动想象。分别采集使用者在左手运动想象、右手运动想象、空闲状态的三部分的EEG信号数据，作为训练集数据；获取步骤二预处理后的左手运动想象X₁∈R^C×T、右手运动想象X₂∈R^C×T，构建二分类CSP(Common Spatial Pattern，共空间模式)空域滤波器与投影矩阵和新的特征向量。

分别计算两者自身的协方差矩阵：

分别计算得到的多个协方差矩阵r₁和r₂的平均值，记为

和

构造混合协方差矩阵r，并对r做主分量分解，得到：

定义白化矩阵P为：

P＝Λ^-1/2Q^T 式(6)

用白化矩阵P对矩阵

和

进行白化变换，得到S₁以及S₂：

然后用相同的方式对S₁和S₂做特征值分解：

其中，Q₁＝Q₂＝V，且特征值矩阵Λ₁和Λ₂的和为单位矩阵，即

Λ₁+Λ₂＝I 式(9)

则，当矩阵S₁与S₂其中某一个矩阵在某一方向上的特征值达到最大时，对应的另一个矩阵在这一方向上的特征值将会最小。因此，取V中的前行m和后m行组成最佳空域滤波器SF，并得到投影矩阵I：

I＝SF^TP 式(10)

将左手运动想象EEG信号X₁∈R^C×T，右手运动想象EEG信号X₂∈R^C×T分别通过投影矩阵进行投影分别得到两个类别的新信号：

Z₁＝IX₁ 式(11)

Z₂＝IX₂

对两种类别新信号各维度上的方差进行取对数处理，作为两种新的特征向量：

其中g₁为训练集中左手运动想象的新特征，g₂为训练集中右手运动想象的新特征，var表示方差函数；

4.2为了在两类运动想象分类中引入空闲状态检测，使用一对一的方法将二类CSP算法，拓展到三类。本发明假设将左手运动想象、右手运动想象、空闲状态分别设为A类、B类、C类。对于这三类思维任务，分别从中步骤4.1所采集的三种类别数据中选出二类重复步骤4.1，最终构建三种CSP投影矩阵I_i，(i＝1，2，3)与6种新的特征向量，即：A类和B类的投影矩阵I₁、B类和C类的投影矩阵I₂、C类与A类的投影矩阵I₃，以及A类和B类的新特征g_1A与g_1B、B类和C类的新特征g_2B与g_2C、C类与A类的投影矩阵g_3C与g_3A。

4.3在决策中，对采集到使用者单次时间窗的EEG信号X_v∈R^C×T，利用三种投影矩阵I_i，(i＝1，2，3)代入到公式(11)、(12)，得到对应投影矩阵下的g_v1，g_v2，g_v3三种特征向量。将g_v1与g_1A和g_1B、g_v2与g_2B和g_2C、g_v3与g_3C和g_3A，分别三次投入kNN分类器中进行判别，第一次可以识别出放入的数据为A类还是B类，第二次投放可以识别出放入的数据为B类还是C类，第三次投放的可以识别出放入的数据为C类还是A类，分析分类器的分类结果，投票决定EEG信号的类别，投票的方式为：取识别结果为2的类别作为结果，若识别结果三种类别各一票，则本次识别作废。

kNN分类器为最邻近法的拓展，最邻近法的规则是：给定一个N类模式，其中每一类由M_i(i＝1，2，...，N)个样本组成，未知类别样本为X，那么第i类的判别函数为：

则最邻近法的决策规则为：

f＝min_ig_i(X)，i＝1，2，...，N 式(14)

kNN在其规则上进行拓展：其取k个最临近的f，判断其中包含最多的类别，即为决策的类别。

4.4根据时间窗对每一个输入运动想象算法的EEG信号重复步骤4.3，达到n次单次分类(n≥3)就进行一次综合决策，即如果n次分类中有

次或

次以上为同一种运动状态，那么就进行综合的决策输出，作为一次运动想象事时间窗的综合决策结果，映射为该运动状态外骨骼控制指令。这种决策方式在提高了分类的准确率的同时，达到了运动想象脑机接口下运动状态的平滑切换。

5.基于时间编码混合脑机接口的外骨骼融合控制

本发明使用异步混合BCI的方式对使用者与外骨骼之间进行交互，共包含SSVEP与MI两个算法处理模块，通过时间编码方式在不同的运动模式与运动状态之间进行切换。

当判别出一个具体的运动模式或运动状态时，都设有下一时间窗的空白时间：即不识别下一时间窗口EEG信号，保持当前状态，防止误判。

当使用者处于稳态诱发视觉电位的外骨骼运动模式中的自动行走运动模式时，若下一个时间窗口单次决策结果判断为用于启动切换运动想象的外骨骼运动状态的指定决策结果时，则切换为运动状态；然后经过下一时间窗的静止行为时间，然后转入步骤4；

当使用者处于运动想象的外骨骼运动状态中的空闲运动状态时，若连续n个时间窗口单次决策结果均为空闲运动状态，则切换为稳态诱发视觉电位的外骨骼运动模式中的自动行走运动模式。

6、将步骤(3)-(4)输出的外骨骼控制指令下发至外骨骼。

本发明的有益效果是：

本发明提出基于运动想象(MI)和稳态视觉诱发电位(SSVEP)的混合脑机接口，并应用到下肢外骨骼的控制中，可将使用者的主动运动意图与外骨骼的运行状态相融合，为残疾人士与行动不便的老年人提供一种主动控制方式。本发明使用时间编码的方式，对不同单位时间窗内的EEG信号进行组合与分类识别，将原本7分类的问题，转变为2分类与空闲状态检测的问题，可辅助使用者在7种运动模式与运动状态之间进行切换：直立，行走，坐，上楼梯，下楼梯，左腿前进，右腿前进，可有效的降低系统的假阳性率并提高识别率。

附图说明

图1为基于时间编码的外骨骼混合脑机接口控制方法的工作流程图；

图2为时间窗编码的有限状态机转换图；

图3为时间窗编码的输出指令图。

具体实施方式

以下结合附图对本发明作进一步说明。

基于时间编码的外骨骼混合脑机接口控制方法的工作流程如图1所示，具体如下：

1.EEG信号采集

使用者可选择性的注视稳态诱发电位视觉刺激器与运动想象视频以产生不同的生理特征信号，系统通过脑电采集设备以对EEG原始信号进行采集。脑电采集设备的电极分布为国际10-20导联标准，共C3,C4,A1,A2,O1,O2,Fp1,Fp2,F7,F3,Fz,F4,F8,T3,T4,T5,P3,P4,T6,Cz,Pz 21个电极，采样率为300Hz。

2.EEG数据预处理

本发明设置4-40Hz带通滤波，滤波类型为巴特沃斯滤波，电极阻抗<1.0MOhm。对各段原始脑电信号均进行数据预处理，目的是减少伪迹的干扰，提高信噪比，从而提高特征提取的有效性。

3.稳态诱发视觉电位的外骨骼运动模式控制

本发明共置两个稳态诱发视觉电位的视觉刺激器，分别放置在左右两侧。本发明识别使用者EEG信号中单个时间窗的稳发诱发视觉电位并进行时间窗编码，以对使用者的直立、下楼梯、上楼梯、自动行走、坐5种运动模式的运动意图进行决策并控制。具体是：

3.1通过CCA(Canonical Correlation Analysis，典型相关分析)算法识别不同刺激频率的稳发诱发视觉电位：

从不同通道采集到的步骤2处理后EEG信号集合X∈R^C×P，其中C为通道的数量，设定为21，P为采样点数，设定为600，为单个时间窗的长度。

设定参考信号集合Y∈R^2H×T，其可被描述为式(1)：

其中，f_m表示稳态诱发电位视觉刺激器的频率，共有7.75Hz与9.75Hz两种频率，m表示刺激频率的种类，m＝1，2，B表示谐波数量，H＝4，F表示采样率，F＝300。

将上述EEG信号集合X与参考信号集合Y采用CCA方法分别找寻一对向量W_x∈R^C和W_y∈R^2H，以使得X∈R^C×P与Y∈R2^H×T在其上的投影x＝X^TW_x和y＝Y^TW_y这两者之间的相关性系数p最大，其中T表示转置。

最大相关性系数如下式(2)：

其中E[.]表示数学期望；

通过上述最大相关系数p_m，根据公式(3)得到决策结果

3.2单次时间窗所检测出的最大相关系数p_m与预先设定阈值λ进行比较，若p_m＜λ，则表示当前为空闲状态，否则输出决策结果，λ＝0.4。

3.3对单次时间窗的EEG信号重复步骤3.1-3.2获得单次决策结果，综合连续时间窗口的多次决策结果，若满足一种运动模式的时间窗编码，则输出对应的具体运动模式。

在综合决策中，若系统识别到空闲状态，并不会对最终的决策结果产生任何影响。这样的综合决策不但提高了系统的识别率与假阳性，也将复杂的多分类决策分类转变为有效的时间窗编码决策分类。

4.运动想象的外骨骼运动状态控制

本发明分别提取使用者的三种运动想象EEG特征：左手运动想象、右手运动想象、空闲状态，并进行分类决策，以提供三种运动状态：单次左腿行走状态、单次右腿行走状态、空闲运动状态。

4.1使用左右手运动视频对使用者进行刺激，让使用者根据视频中的运动进行意念中的运动想象。分别采集使用者在左手运动想象、右手运动想象、空闲状态的三部分的EEG信号数据，作为训练集数据；获取步骤二预处理后的左手运动想象X₁∈R^C×T、右手运动想象X₂∈R^C×T，构建二分类CSP(Common Spatial Pattern，共空间模式)空域滤波器与投影矩阵。

分别计算两者自身的协方差矩阵：

分别计算得到的多个协方差矩阵r₁和r₂的平均值，记为

和

构造混合协方差矩阵r，并对r做主分量分解，得到：

定义白化矩阵P为：

P＝A^-1/2Q^T 式(6)

用白化矩阵P对矩阵

和

进行白化变换，得到S₁以及S₂：

然后用相同的方式对S₁和S₂做特征值分解：

其中，Q₁＝Q₂＝V，且特征值矩阵Λ₁和Λ₂的和为单位矩阵，即

Λ₁+Λ₂＝I 式(9)

则，当矩阵S₁与S₂其中某一个矩阵在某一方向上的特征值达到最大时，对应的另一个矩阵在这一方向上的特征值将会最小。因此，取V中的前行m和后m行组成最佳空域滤波器SF，并得到投影矩阵I：

I＝SF^TP 式(10)

将左手运动想象EEG信号X₁∈R^C×T，右手运动想象EEG信号X₂∈R^C×T分别通过投影矩阵进行投影分别得到两个类别的新信号：

Z₁＝IX₁ 式(11)

Z₂＝IX₂

对两种类别新信号各维度上的方差进行取对数处理，作为两种新的特征向量：

其中g₁为训练集中左手运动想象的新特征，g₂为训练集中右手运动想象的新特征，var表示方差函数；

4.2为了在两类运动想象分类中引入空闲状态检测，使用一对一的方法将二类CSP算法，拓展到三类。本发明假设将左手运动想象、右手运动想象、空闲状态分别设为A类、B类、C类。对于这三类思维任务，分别从中步骤4.1所采集的三种类别数据中选出二类重复步骤4.1，最终构建三种CSP投影矩阵I_i，(i＝1，2，3)与6种新的特征向量，即：A类和B类的投影矩阵I₁、B类和C类的投影矩阵I₂、C类与A类的投影矩阵I₃，以及A类和B类的新特征g_1A与g_1B、B类和C类的新特征g_2B与g_2C、C类与A类的投影矩阵g_3C与g_3A。

4.3在决策中，对采集到使用者单次时间窗的EEG信号X_v∈R^C×T，利用三种投影矩阵I_i，(i＝1，2，3)代入到公式(11)、(12)，得到对应投影矩阵下的g_v1，g_v2，g_v3三种特征向量。将g_v1与g_1A和g_1B、g_v2与g_2B和g_2C、g_v3与g_3C和g_3A，分别三次投入kNN分类器中进行判别，第一次可以识别出放入的数据为A类还是B类，第二次投放可以识别出放入的数据为B类还是C类，第三次投放的可以识别出放入的数据为C类还是A类，分析分类器的分类结果，投票决定EEG信号的类别，投票的方式为：取识别结果为2的类别作为结果，若识别结果三种类别各一票，则本次识别作废。

kNN分类器为最邻近法的拓展，最邻近法的规则是：给定一个N类模式，其中每一类由M_i(i＝1，2，...，N)个样本组成，未知类别样本为X，那么第i类的判别函数为：

则最邻近法的决策规则为：

f＝min_ig_i(X)，i＝1，2，...，N 式(14)

kNN在其规则上进行拓展：其取k个最临近的f，判断其中包含最多的类别，即为决策的类别，在本发明中，k＝3，N＝3。

4.4根据时间窗对每一个输入运动想象算法的EEG信号重复步骤4.3，，达到3次单次分类就进行一次综合决策，即如果3次分类中有2次或2次以上为同一种运动状态，那么就进行综合的决策输出，作为一次运动想象事时间窗的综合决策结果。这种决策方式在提高了分类的准确率的同时，达到了运动想象脑机接口下运动状态的平滑切换。

5.基于时间编码混合脑机接口的外骨骼融合控制

本发明使用异步混合BCI的方式对使用者与外骨骼之间进行交互，共包含SSVEP与MI两个算法处理模块，通过时间编码方式在不同的运动模式与运动状态之间进行切换。

一个时间编码的时间窗为2s的EEG信号，在每次成功识别后系统进行提示与切换并进入2s时间窗的空闲时间，即不识别任何EEG信号，防止误判。

SSVEP算法模块可结合时间编码识别直立、下楼梯、上楼梯、自动行走、坐五种运动模式，并根据一定的时间编码进行切换，MI算法模块可结合时间编码识别单次左腿行走、单次右腿行走、空闲状态的运动状态。

SSVEP算法模块，如图2时间窗编码的有限状态机转换图所示，共包含两个频率的视觉刺激器，左边的视觉刺激器用L表示，右边的视觉刺激器同R表示。当使用者注视不同的视觉刺激器时，SSVEP算法模块分别识别时间窗编码中的SSVEP刺激频率所对应的

做出判断并进行运动模式切换，当使用者处于空闲状态时，保持当前运动状态。需要特别注意的是，异步混合BCI的切换场景：当使用者处于自动行走运动状态时，SSVEP算法的下一时间窗检测到L刺激频率所对应的

时，切换到MI算法模块。

MI算法模块共进行三种运动状态的识别：单次左腿行走意图，单次右腿行走意图，空闲状态意图。当使用者分别进行左手运动想象、右手运动想象，空闲状态时，MI算法识别出使用者的运动意图，并将运动意图分别映射为外骨骼的左腿运动、右腿运动、以及保持当前状态。即提供一种运动状态切换，以使用者的主动意图映射为外骨骼带动人体进行对应的下肢单次移动。当使用者处于空闲状态超过5个时间窗即10秒时，运动状态将切换到SSVEP运动模式下的自动行走模式。

时间窗编码的输出指令图如图3所示。图中分别表示6种从ssvep运动模式的直立模式出发到输出指令再回到ssvep运动模式的直立模式的时间窗编码。直立-下楼梯-直立：L-L-R。直立-上楼梯-直立：L-R-R。直立-坐-直立：R-R-R。自动行走：R-L-R。直立-手动模式下左腿前进-直立：R-L-L-左手运动想象-运动想象空闲状态-R。直立-手动模式下右腿前进-直立：R-L-L-右运动想象-运动想象空闲状态-R。

Claims (4)

1.基于时间编码的外骨骼混合脑机接口控制方法，其特征在于该方法包括以下步骤：

步骤(1)、EEG信号采集

使用者通过注视稳态诱发电位视觉刺激器与运动想象视频以产生不同的生理特征信号，系统通过脑电采集设备以对EEG原始信号进行采集；

步骤(2)、对步骤(1)获取得到的原始EEG信号数据进行滤波预处理；

步骤(3)、稳态诱发视觉电位的外骨骼运动模式控制

识别步骤(2)预处理后EEG信号中单个时间窗的稳态诱发视觉电位并进行时间窗编码，以对使用者的5种运动模式的运动意图进行决策并控制，其中运动模式包括直立、下楼梯、上楼梯、自动行走、坐；具体是：

3.1通过CCA算法识别不同刺激频率的稳态诱发视觉电位：

从不同通道采集到的步骤2处理后EEG信号集合X∈R^C×P，其中C为通道的数量，P为采样点数；

设定参考信号集合Y∈R^2H×T，其可被描述为式(1)：

其中f_m表示稳态诱发电位视觉刺激器的频率，m表示刺激频率的种类，m＝1，2，...，N，H表示谐波数量，F表示采样率；

将上述EEG信号集合X与参考信号集合Y采用CCA方法分别找寻一对向量W_x∈R^C和W_y∈R^2H，以使得X∈R^C×P与Y∈R^2H×T在其上的投影x＝X^TW_x和y＝Y^TW_y这两者之间的相关性系数p最大，其中T表示转置；

进而求取最大相关系数p_m如下式(2)：

其中E[.]表示数学期望；

通过上述最大相关系数p_m，根据公式(3)得到决策结果

3.2将步骤3.1单次时间窗所检测出的最大相关系数p_m与预先设定阈值λ进行比较，若p_m＜λ，则表示当前为空闲状态，否则输出决策结果；

3.3根据时间窗对EEG信号重复步骤3.1-3.2获得若干单次决策结果，综合连续时间窗口的n次决策结果(n≥2)，若满足一种运动模式的时间窗编码，则映射为该运动模式外骨骼控制指令；

步骤(4)、运动想象的外骨骼运动状态控制

首先分别提取使用者的三种运动想象EEG特征：左手运动想象、右手运动想象、空闲状态，然后进行分类决策，同时上述运动意图分别映射为外骨骼的左腿运动、右腿运动、以及保持当前状态；具体是：

4.1使用左右手运动视频对使用者进行刺激，让使用者根据视频中的运动进行意念中的运动想象；分别采集使用者在左手运动想象、右手运动想象、空闲状态的三部分的EEG信号数据，作为训练集数据；获取步骤二预处理后的左手运动想象X₁∈R^C×T、右手运动想象X₂∈R^C×T，构建二分类CSP空域滤波器与投影矩阵；

根据公式(4)计算两者自身的协方差矩阵：

分别计算得到的多个协方差矩阵r₁和r₂的平均值，记为

和

构造混合协方差矩阵r，并对r做主分量分解，得到：

定义白化矩阵P为：

P＝Λ^-1/2Q^T 式(6)

用白化矩阵P对矩阵

和

进行白化变换，得到S₁以及S₂：

然后用相同的方式对S₁和S₂做特征值分解：

其中，Q₁＝Q₂＝V，且特征值矩阵Λ₁和Λ₂的和为单位矩阵，即

Λ₁+Λ₂＝I 式(9)

则当矩阵S₁与S₂其中某一个矩阵在某一方向上的特征值达到最大时，对应的另一个矩阵在这一方向上的特征值将会最小；因此，取V中的前m行和后m行组成最佳空域滤波器SF，并得到投影矩阵I：

I＝SF^TP 式(10)

将左手运动想象EEG信号X₁∈R^C×T，右手运动想象EEG信号X₂∈R^C×T分别通过投影矩阵进行投影分别得到两个类别的新信号：

Z₁＝IX₁ 式(11)

Z₂＝IX₂

对两种类别新信号各维度上的方差进行取对数处理，作为两种新的特征向量：

其中g₁为训练集中左手运动想象的新特征，g₂为训练集中右手运动想象的新特征，var表示方差函数；

4.2为了在两类运动想象分类中引入空闲状态检测，使用一对一的方法将二类CSP算法拓展到三类；假设将左手运动想象、右手运动想象、空闲状态分别设为A类、B类、C类；对于三类思维任务，分别从三种类别数据中选出二类重复步骤4.1，最终构建三种CSP投影矩阵I_i(i＝1，2，3)与6种新的特征向量，即：A类和B类的投影矩阵I₁、B类和C类的投影矩阵I₂、C类与A类的投影矩阵I₃，以及A类和B类的新特征g_1A与g_1B、B类和C类的新特征g_2B与g_2C、C类与A类的投影矩阵g_3C与g_3A；

4.3在决策中，对采集到使用者单次时间窗的EEG信号X_v∈R^C×T，利用三种投影矩阵I_i(i＝1，2，3)代入到公式(11)、(12)，得到对应投影矩阵下的g_v1，g_v2，g_v3三种特征向量；将g_v1与g_1A和g_1B、g_v2与g_2B和g_2C、g_v3与g_3C和g_3A，分别三次投入分类器中进行判别，进而得到分类结果；

4.4根据时间窗对每一个输入运动想象模式下的EEG信号重复步骤4.3，连续时间窗的n次单次分类(n≥3)中有

次或

次以上为同一种运动状态，则映射为该运动状态外骨骼控制指令；

步骤(5)、基于时间编码混合脑机接口的外骨骼融合控制

使用异步混合BCI的方式对使用者与外骨骼之间进行交互，通过时间编码方式在不同的运动模式与运动状态之间进行切换，即在MI与SSVEP两种BCI之间进行切换；

当使用者处于稳态诱发视觉电位的外骨骼运动模式中的自动行走运动模式时，若下一个时间窗口单次决策结果判断为用于启动切换运动想象的外骨骼运动状态的指定决策结果时，则切换为运动状态；再经过下一时间窗的静止行为，然后转入步骤4；

当使用者处于运动想象的外骨骼运动状态中的空闲运动状态时，若连续n个时间窗口单次决策结果均为空闲运动状态，则切换为稳态诱发视觉电位的外骨骼运动模式中的自动行走运动模式；n为人为设定的值；

步骤(6)、将步骤(3)-(4)输出的外骨骼控制指令下发至外骨骼。

2.如权利要求1所述的基于时间编码的外骨骼混合脑机接口控制方法，其特征在于步骤(1)脑电采集设备的电极分布为国际10-20导联标准，共C3，C4，A1，A2，O1，O2，Fp1，Fp2，F7，F3，Fz，F4，F8，T3，T4，T5，P3，P4，T6，Cz，Pz 21个电极，采样率为300Hz。

3.如权利要求1所述的基于时间编码的外骨骼混合脑机接口控制方法，其特征在于步骤(2)4-40Hz带通滤波，滤波类型为巴特沃斯滤波，电极阻抗<1.0MOhm。

4.如权利要求1所述的基于时间编码的外骨骼混合脑机接口控制方法，其特征在于步骤(3)、(4)判别出一个具体的运动模式或运动状态时均设有下一时间窗的空白时间。

Images