CN111265212A

CN111265212A - 一种运动想象脑电信号分类方法及闭环训练测试交互系统

Info

Publication number: CN111265212A
Application number: CN201911334668.9A
Authority: CN
Inventors: 温暖
Original assignee: Beijing Institute of Radio Measurement
Current assignee: Beijing Institute of Radio Measurement
Priority date: 2019-12-23
Filing date: 2019-12-23
Publication date: 2020-06-12

Abstract

本发明公开一种基于集成机器学习方式的运动想象脑电信号分类方法及闭环训练测试交互系统，用于解决由于脑电信号非平稳特性强且信噪比低所造成的从EEG信号中提取类别特征的问题。具体地，本发明针对脑电信号这种多维度的时间离散序列，在传统的共空间模式滤波与黎曼流形滤波基础上，设计了一种集成学习方法来有效地处理运动想象信号，该集成学习方法能够有效兼顾以上两种滤波器的优点，最大化地将信号特征分离提取出来，运用集成学习方法对左右手运动想象的脑电EEG数据集进行模型训练和验证测试，最后的结果显示，其在分类识别精度上优于单一的分类方法。

Description

一种运动想象脑电信号分类方法及闭环训练测试交互系统

技术领域

本发明涉及人脑信号的模式识别技术领域。更具体地，涉及一种基于集成机器学习方式的运动想象脑电信号分类方法及闭环训练测试交互系统。

背景技术

脑机接口作为一种新型的人机交互系统，其涉及到多个学科多个领域。国内外关于脑机接口系统的研究也历经多年，但是到目前为止只有一小部分脑机接口系统具有实用性，其中一大部分还处于理论和实验室阶段，但是脑机接口系统在未来的众多领域中发挥着重要的作用。如：在医学领域中，脑机接口可以解决残疾人士日常生活等问题。在航天领域，由于宇航员在外太空处于特殊环境，不便移动和作业，借助脑机接口系统可以控制机器人辅助完成任务，确保宇航员自身安全等，设计出一套基于脑机接口的系统，不仅能解决残疾人士的生活自理问题，还能给人类日常生活带来便利，提高人们的生活品质，对推动未来科技发展具有至关重要的重要。

从控制科学的角度看,大脑是人体所有运动、语言机能的控制中心,以外部神经为媒介向身体发出指令。神经科学的研究发现即使外部神经和肢体因损伤而失去作用，但大脑的功能还是正常的，大脑发出的指令信息可以通过脑电信号传递出来。研究还发现人们在进行某些思维活动时或者在外界某种刺激的诱发下，脑电信号会呈现出某种相对应的、有规律的变化模式。由此，抽象的、虚拟的大脑活动所表达的人的意愿就有可能通过实在的、物理的脑电信号而表征出来,脑电信号就成为人脑与外部联系的桥梁。神经科学的上述研究成果为脑控的研究提供了科学依据和工作原理。

原始脑电信号在数据特征上呈现出非平稳特性且信噪比低,造成相同受试本体在不同时段下的脑电信号规律性较弱，不同受试者个体差异带来的脑电信号不规则特性更强，如何提高并且保证脑电信号分类正确率一直是脑机接口系统研究中的难点。要想从本质上掌握人脑在运动想象思维活动下的脑电信号模式以及动态变化特征，不能只局限于本专业的信号处理知识，还需要结合神经学相关方面知识原理。

因此，需要提供一种运动想象脑电信号分类方法及闭环训练测试交互系统。

发明内容

本发明的一个目的在于提供一种基于集成机器学习方式的运动想象脑电信号分类方法。

为达到上述目的，本发明采用下述技术方案：

一种基于集成机器学习方式的运动想象脑电信号分类方法，分类方法采用集成学习方法进行脑电信号分类，其中，集成学习方法采用Bagging算法进行学习，Bagging算法采用可重复取样技术获得训练集，然后在训练集上训练生成两个以上的学习器，再将学习器采用融合拼接思想以生成优化的学习器，并且Bagging算法至少融合了共空间模式滤波器特征向量和黎曼流形高维空间数据特征提取特征向量。

可选地，集成学习方法采用至少两种学习模型和学习算法模型，以最大化地将信号特征分离提取出来。

可选地，集成学习方法应用在脑电信号分类中的方法包括以下步骤：

步骤S1：获取受试对象原始脑电信号；

步骤S2：对获取的受试者的原始脑电信号进行预处理，通过滤波和去噪，以得到预处理后的受试对象原始脑电信号；

步骤S3：使用两个以上的分类器模型对经过预处理后的原始脑电信号进行分类；

步骤S4：将分类结果通过显示屏显示，供用户分析或者使用。

进一步可选地，步骤S1包括：

受试对象原始脑电信号获取时，每次实验分为5个小节完成，每一个小节中包含50个单次实验流程试验，其中受试对象的两个动作想象各25次，并且以顺序随机的方式出现；

其中，每小节包括：令受试对象在前5秒钟时处于思维放松状态，不进行任何运动想象；在第5秒开始时，屏幕提示受试对象实验马上开始信息，受试对象集中注意力的持续时间为5秒钟；从第10秒开始，出现两个提示动作，受试对象根据提示内容，分别想象动作，受试对象的想象思维活动一直持续到第16秒，直到提示动作消失为止

进一步可选地，步骤S3包括：

通过至少共空间模式滤波器进行空域滤波特征提取算法或黎曼流形高维空间模型进行黎曼流形高维空间数据特征提取，采用集成学习方法中的 Bagging算法，将受试对象的原始脑电信号训练集训练生成两个以上的学习器，再对两个以上的学习器采用融合拼接思想进一步训练生成优化的分析学习器。

可选地，学习模型训练方法通过两个动作运动想象方式进行，包括：

系统默认受试对象处于“工作状态”，在状态下，受试者需要在系统预先设定好的时间段内完成各种思维任务；

系统通过分析预先设定的时间段内所采集到的脑电信号，将受试对象的想象信号打上标签；

针对打好两个动作想象的标签数据，系统离线对数据进行预处理、特征提取与特征选择，采用滤波器组提取特定频率段的能量特征，将该特征作为机器学习算法分类的依据，进行分类研究；

最终得到针对被试对象的两个动作运动想象脑电数据模型，为后续的在线分析两个动作想象提供判断依据。

本发明的另一个目的在于提供一种闭环训练测试交互系统，系统包括：

视觉刺激终端，用于刺激受试对象的视觉；

受试对象，用于试验运动想象脑电信号分类的个体；

智能头盔，用于传递受试对象的运动想象脑电信号的介质；

数据采集终端，用于采集受视对象的原始脑电信号；及

数据处理终端，用于对采集到的受视对象的原始脑电信号进行预处理，并进行信号的特征提取、模式分类，并将分类的结果通过指令翻译转化为控制命令；

其中，视觉刺激终端通过视觉刺激终端设置的显示屏向受试对象传递信息指令，受试对象佩戴智能头盔传递原始脑电信号，智能头盔输出端与数据采集终端输入端连接，数据采集终端输出端与数据处理终端输入端连接，视觉刺激终端还与数据处理终端双向连接。

本发明的有益效果如下：

本发明将提取的脑电信号运用集成方式提取信息，兼顾了共空间模式和黎曼流形特征提取的优点，最大程度上将有效特征区分出来。

附图说明

下面结合附图对本发明的具体实施方式作进一步详细的说明。

图1示出本发明闭环训练测试交互系统；

图2示出本发明左右手运动想象训练示意；

图3示出本发明左右手运动想象信号电极分布。

具体实施方式

为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。

本发明的说明书和权利要求书及上述附图中的属于“第一”、“第二”等是用于区别不同的对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法或设备固有的气体步骤或单元。

一种基于集成机器学习方式的运动想象脑电信号分类方法，该分类方法采用集成学习方法进行脑电信号分类。该集成学习方法采用至少两种学习模型和学习算法模型，以最大化地将信号特征分离提取出来。该集成学习方法通过Bagging算法将共空间模式滤波器特征向量Z_CSP和黎曼流形高维空间数据特征提取特征向量Z_Riemann融合为特征向量Z，公式表示Z＝α₁Z_CSP+α₂Z_Riemann。式中，α₁∈[0,1]，α₂∈[0,1]且α₁+α₂∈[0,1]，其具体数值根据算法学习而来。

其中共空间模式滤波器特征向量Z_CSP算法为：

假设X₁和X₂分别为两分类运动想象任务下的多通道诱发响应时空信号矩阵，维度为N×T，其中N为通道数，T为每个通道所采集的样本点，已知N＝T。在二分类脑电运动想象任务情况下，一般采用复合源的数学模型来描述脑电 EEG信号，即在忽略噪声情况下，X₁和X₂可以分别写成：

式中：S₁和S₂分别代表两种想象任务下的信号，S_M代表两种类型任务下所共同拥有的源信号，S₁和S₂两个源信号是相互线性独立的。假设S₁是由m₁个源构成，S₂是由m₂个源构成。则C₁和C₂便是由S₁和S₂相关的m₁和m₂个共同空间模式组成的，由于每个空间模式都是一个N×1维的向量，现在用这个向量表示单个源信号所引起的信号在N个导联上的分布权重。C_M表示的是与S_M相应的共有的空间模式。CSP算法的目标就是要设计空间滤波器W以得到空间因子F₁和F₂。

X₁和X₂归一化后的协方差矩阵R₁和R₂分别为：

式中，X^T表示X矩阵的转置，trace(X)表示矩阵对角线上元素的和，然后求混合空间协方差矩阵R

式中，

分别为二分类任务下的平均协方差矩阵。

对混合空间协方差矩阵R按式进行特征值分解：

R＝UλU^T (4)

式中，U为矩阵λ的特征向量矩阵，λ是对应的特征值构成的对角矩阵。

将式中的特征值进行降序排列，并令白化矩阵P为：

对

进行如下变换：

对S₁和S₂做主成分分解，得到：

可以得到：

B₁＝B₂＝B (8)

与此同时，两个特征值对角矩阵λ₁和λ₂之和为单位矩阵，即：

λ₁+λ₂＝I (9)

由于两类矩阵的特征值相加总是为1，则S₁的最大特征值所对应的特征向量使S₂有最小的特征值，反之亦然。

投影矩阵W是所有样本所对应的滤波器：

W＝B^TP (10)

将运动想象矩阵X通过所构造的空间滤波器W即可得特征向量Z_CSP：

Z_CSP＝W·X (11)

黎曼流形高维空间数据特征提取特征向量Z_Riemann算法为：

将随机变量推广到高维结构形式的结果是协方差矩阵。而由一组向量构造出其协方差阵的方法是：各个向量元素之间的协方差对应于协方差阵的相应元素。设X为以n个随机变量构成的列向量，X＝[X₁,X₂KX_n]^T，μ_i＝E(X_i)为第i个元素的期望值，则第i与第j项的协方差为：

则协方差矩阵为：

样本协方差矩阵是协方差阵Σ的无偏估计，前提是观测样本的数目远多余变量个数，其计算公式为：

由式(14)可知，样本协方差矩阵是正定对称矩阵，而一系列样本协方差矩阵所构成的流形，即为正定对称流形，其所构成的空间为光滑的黎曼流形，而非欧氏空间；且其黎曼流形是可微的，在每一点的正切空间是一个有限维的欧氏空间。相较于欧氏空间，黎曼流形的结构比较适合处理对称正定矩阵，而且样本协方差矩阵恰恰也是对称正定矩阵，所以在黎曼流形上处理样本的协方差矩阵可以有效实现降维。最终在黎曼流形中，本文认为流形上的一个点就表示为一个对称正定矩阵。

M(n)为实方阵，在M(n)的空间中，所有n×n的对称阵所构成的空间记为 S(n)＝{S∈M(n),S^T＝S}，P(n)＝{P∈S(n),u^TPu＞0}为所有n×n的对称正定矩阵的集合，其中对称正定矩阵可对角化，且特征值全为正实数。

P(n)中2个对称正定矩阵P₁和P₂之间的黎曼距离为：

式中，||||表示为Frobenius范数，λ_i为P₁ ^-1P₂正的实特征值。

根据黎曼流形中的距离特征提取算法可知，特征向量Z_Riemann为：

Bagging算法采用可重复取样技术获得训练集，然后在训练集上训练生成两个以上的学习器，再将学习器采用融合拼接思想以生成更强的学习器。

将集成学习应用在脑电信号分类中，主要有以下几个显著优点：

1)提升泛化能力与预测精度：学习模型能够对新的测试样本给出尽可能精确的估计一直是机器学习的目标，而单一的学习算法实现这一目标是一件困难的事情。集成学习的出现，允许使用多个模型来解决同一个问题，大大降低了单个模型的任务。在集成学习中，使用多个学习模型集成能够显著提高学习系统的泛化能力。

1)提高预测稳定性：单一的学习算法预测结果时好时坏，在不同的条件和数据集下不具有稳定性，不能一直保持高精度的预测性能。通过模型的集成，可以综合不同算法之间的波动，使集成后的学习模型能够在大多数的数据集上获得普遍较好的预测性能。

1)降低过拟合：当我们使用学习算法对训练数据进行学习的时候，集成学习往往选择对训练数据预测性能最好的模型作为最后的结果，但这个被选出的模型很有可能能够很好的刻画训练数据的特征，却不能很好的解释测试数据或者其他的数据。也即是说这个学习模型过于细致的刻画了训练数据，在预测数据上的泛化性能却不是很好，这种现象就称为过拟合。根据集成学习的思想，集成多个学习模型来解决同一个问题，能够有效地消除单个学习模型的过拟合现象，从而有效地提高学习算法的预测精度。

如图1～3所示，以左右手运动想象的脑电EEG数据集为具体实施例，该集成学习方法应用在脑电信号分类中的方法包括以下步骤：

步骤S1：获取受试对象原始脑电信号，包括以下步骤：

(1)受试对象在前5秒钟时处于思维放松状态，不进行任何运动想象；

(2)在第5秒开始时，屏幕提示受试对象实验马上开始信息，需要集中注意力，集中注意力的持续时间为5秒钟；

(3)从第10秒开始，出现左右箭头提示，受试对象根据提示内容，分别想象左右手抓握动作，受试对象的想象思维活动一直持续到第16秒，直到屏幕上箭头消失为止；其中：受试对象原始脑电信号获取时，每次实验分为5 个小节完成，每一个小节中包含50个单次实验流程试验，其中左右手动作想象各25次，并且以顺序随机的方式出现，通过这种方式进而获取受试对象原始脑电信号；

步骤S2：对获取的受试者的原始脑电信号进行预处理，通过滤波和去噪，以得到信息较为纯净的受试对象原始脑电信号；

步骤S3：分类：使用两个以上的分类器模型对经过预处理后的原始脑电信号进行分类，通过至少共空间模式滤波器进行空域滤波特征提取算法或黎曼流形高维空间模型进行黎曼流形高维空间数据特征提取，采用集成学习方法中的Bagging算法，将受试对象的原始脑电信号训练集训练生成两个以上的学习器，再对两个以上的学习器采用融合拼接思想进一步训练生成更强的分析学习器，以提高原始脑电信号分类的精度；

步骤S4：显示：将分类结果通过显示屏显示，供用户分析或者使用。

学习模型训练方法包括以下步骤：

(1)系统默认受试对象处于“工作状态”，在状态下，受试者需要在系统预先设定好的时间段内完成各种思维任务；

(2)系统通过分析预先设定的时间段内所采集到的脑电信号，将受试对象的想象信号打上标签；

(3)针对打好左右手想象的标签数据，系统离线对数据进行预处理、特征提取与特征选择，采用滤波器组提取特定频率段的能量特征，将该特征作为机器学习算法分类的依据，进行分类研究；

(4)最终得到针对被试对象的左右手运动想象脑电数据模型，为后续的在线分析左右手想象提供判断依据。

一种闭环训练测试交互系统，用于实施上述左右手运动想象脑电信号分类方法和模型训练，该系统包括：

视觉刺激终端，用于刺激受试对象的视觉；

受试对象，用于试验运动想象脑电信号分类的个体；

智能头盔，用于传递受试对象的运动想象脑电信号的介质；

数据采集终端，用于采集受视对象的原始脑电信号；

根据先验知识，人在完成运动想象任务时，引起脑电信号能量变化的现象主要发生在大脑皮层的躯体感觉区和躯体运动区，大脑皮层的手部运动相关区域是主要的工作区域，本实验以C1、C2和Cz电极采集得到的脑电信号在执行左右手不同运动想象任务时能量差别明显的频段作为所有电极位置脑电信号的特征频段。

尽管本公开内容描述了具有特定顺序的步骤的方法和过程，但是适当时可以省略或改变方法和过程中的一个或更多个步骤。适当时一个或更多个步骤可以以除它们被描述的顺序之外的顺序进行。

虽然至少部分地在方法方面描述了本公开内容，但是本领域普通技术人员将理解，本公开内容还涉及用于执行所描述的方法的方面和特征中的至少一些方面和特征的各种部件，通过硬件部件、软件或两者的任何组合成为上述部件。因此，本公开内容的技术方案可以被实施为软件产品的形式。合适的软件产品可以存储在预先记录的存储装置或者其他类似的非易失性或非暂态计算机可读介质中，包括例如DVD、CD-ROM、USB闪存盘、可移动硬盘或其他存储介质。软件产品包括确切地存储在其上的指令，其使得处理装置 (例如，个人计算机、服务器或网络装置)能够执行本文公开的方法的示例。

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。

Claims

1.一种基于集成机器学习方式的运动想象脑电信号分类方法，其特征在于，所述分类方法采用集成学习方法进行脑电信号分类，其中，所述集成学习方法采用Bagging算法进行学习，所述Bagging算法采用可重复取样技术获得训练集，然后在所述训练集上训练生成两个以上的学习器，再将所述学习器采用融合拼接思想以生成优化的学习器，并且所述Bagging算法至少融合了共空间模式滤波器特征向量和黎曼流形高维空间数据特征提取特征向量。

2.根据权利要求1所述的一种基于集成机器学习方式的运动想象脑电信号分类方法，其特征在于，所述集成学习方法采用至少两种学习模型和学习算法模型，以最大化地将信号特征分离提取出来。

3.根据权利要求1所述的一种基于集成机器学习方式的运动想象脑电信号分类方法，其特征在于，所述集成学习方法应用在脑电信号分类中的方法包括以下步骤：

步骤S1：获取受试对象原始脑电信号；

4.根据权利要求3所述的一种基于集成机器学习方式的运动想象脑电信号分类方法，其特征在于，所述步骤S1包括：

所述受试对象原始脑电信号获取时，每次实验分为5个小节完成，每一个小节中包含50个单次实验流程试验，其中所述受试对象的两个所述动作想象各25次，并且以顺序随机的方式出现；

其中，每小节包括：令所述受试对象在前5秒钟时处于思维放松状态，不进行任何运动想象；在第5秒开始时，屏幕提示受试对象实验马上开始信息，所述受试对象集中注意力的持续时间为5秒钟；从第10秒开始，出现两个提示动作，所述受试对象根据提示内容，分别想象所述动作，所述受试对象的想象思维活动一直持续到第16秒，直到所述提示动作消失为止。

5.根据权利要求3所述的一种基于集成机器学习方式的运动想象脑电信号分类方法，其特征在于，所述步骤S3包括：

通过至少共空间模式滤波器进行空域滤波特征提取算法或黎曼流形高维空间模型进行黎曼流形高维空间数据特征提取，采用集成学习方法中的Bagging算法，将受试对象的原始脑电信号训练集训练生成两个以上的学习器，再对所述两个以上的学习器采用融合拼接思想进一步训练生成优化的分析学习器。

6.根据权利要求要求5所述的分类方法，其特征在于，所述学习模型训练方法通过所述两个动作运动想象方式进行，包括：

所述系统默认所述受试对象处于“工作状态”，在所述状态下，所述受试者需要在所述系统预先设定好的时间段内完成各种思维任务；

所述系统通过分析所述预先设定的时间段内所采集到的脑电信号，将所述受试对象的想象信号打上标签；

针对打好所述两个动作想象的标签数据，所述系统离线对所述数据进行预处理、特征提取与特征选择，采用滤波器组提取特定频率段的能量特征，将该特征作为机器学习算法分类的依据，进行分类研究；

最终得到针对所述被试对象的所述两个动作运动想象脑电数据模型，为后续的在线分析所述两个动作想象提供判断依据。

7.一种闭环训练测试交互系统，用于实施上述权利要求中任一项所述的一种基于集成机器学习方式的运动想象脑电信号分类方法，其特征在于，所述系统包括：

视觉刺激终端，用于刺激受试对象的视觉；

受试对象，用于试验运动想象脑电信号分类的个体；

智能头盔，用于传递受试对象的运动想象脑电信号的介质；

数据采集终端，用于采集受视对象的原始脑电信号；及

其中，所述视觉刺激终端通过所述视觉刺激终端设置的显示屏向所述受试对象传递信息指令，所述受试对象佩戴所述智能头盔传递原始脑电信号，所述智能头盔输出端与所述数据采集终端输入端连接，所述数据采集终端输出端与所述数据处理终端输入端连接，所述视觉刺激终端还与所述数据处理终端双向连接。