CN111857352B - 一种基于想象式脑机接口的手势识别方法 - Google Patents

Abstract

本发明公开一种基于想象式脑机接口的手势识别方法，包括搭建基于想象式脑机接口的脑电信号采集平台，通过脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集；基于LSTM‑DENSE构建手势识别模型，并使用脑电信号样本集对手势识别模型进行训练；通过训练好的手势识别模型对基于想象式脑机接口采集的脑电数据进行手势识别，并根据手势识别结果控制机械手掌执行相应手势。本发明有效解决了传统手势识别模型训练过程中存在的不收敛问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，提高了想象式脑机接口的实用性和泛化性能，扩宽了想象式脑机接口的应用面，更方便残障人士的使用。

Description

一种基于想象式脑机接口的手势识别方法

技术领域

本发明涉及脑电信号采集与识别技术领域，特别是涉及一种基于想象式脑机接口的手势识别方法。

背景技术

脑机接口技术的实质性目的是搭建一个大脑的中枢神经与外部的交互桥梁，通过该交互桥梁避开人体神经传输的直接通路，这对一些有生理障碍的受试者有重大的意义，例如因为疾病或残疾丧失神经和肌肉控制功能的肌萎缩性侧索硬化患者，这也是专家们进行脑机接口研究的动力。脑机接口最大的价值体现在能够为生理障碍的人搭建大脑与外界通信的桥梁，从特定的角度上讲这是实现他们生理行为行动的有效途径之一。由于感知输入大脑的神经和大脑指令输出通道受损或者完全堵塞，外界环境的刺激与辅助(外界的刺激包括声音、光和触觉等)对这些有生理障碍的人是无效的，因此，越来越多的专家被吸引来进行脑机接口相关的研究与探索。

主动式的脑机接口，即不需要外界环境的刺激与辅助脑机接口，是目前脑机接口研究领域的热点。想象式脑机接口为主动式的脑机接口，受试者通过在大脑中模拟实际的肢体运动而在大脑中形成肢体的运动想象，如想象左手或者右手的运动、想象物体在一个三维坐标内移动的方向和距离等，在想象的过程中大脑的神经细胞会产生不同的微电流节律变化，进而根据产生的脑电信号实现假肢的控制或者病人与外界环境的通信，在医学的康复治疗领域，对于运动行为受损的恢复具有重大意义。想象式脑机接口的研究，是建立在ERD/ERS生理学发展的基础上，其研究本质就是将受试者在想象时产生的脑电信号内的信息真实有效地翻译出来。

分类识别算法的研究直接决定着脑机接口的实用性和有效性，是脑机接口发展的一个瓶颈。现有技术通常采用深度学习中的LSTM网络进行大脑思维的解码，然而基于LSTM网络的分类识别模型在训练过程中存在不易收敛的问题，从而无法有效地对脑电信号进行手势识别。因此，目前亟需一种基于想象式脑机接口的手势识别方法，能够有效、准确地对脑电信号进行手势识别。

发明内容

本发明的目的是提供一种基于想象式脑机接口的手势识别方法，以解决现有技术中存在的技术问题，能够有效解决传统手势识别模型训练过程中存在的不收敛问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，识别准确率高，实用性强。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于想象式脑机接口的手势识别方法，包括如下步骤：

搭建基于想象式脑机接口的脑电信号采集平台，通过所述脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集；

基于LSTM-DENSE构建手势识别模型，并使用脑电信号样本集对所述手势识别模型进行训练；

通过训练好的所述手势识别模型对基于想象式脑机接口采集的脑电数据进行手势识别，并根据所述手势识别结果控制机械手掌执行相应手势。

优选地，所述脑电信号采集平台包括脑电图与诱发电位仪、计算机；所述脑电图与诱发电位仪包括电极帽、生理放大盒、脑电主控盒，所述计算机包括电脑主机、显示器。

优选地，脑电信号采集的具体方法包括：

受试者在静止状态下，在大脑中对手势动作进行想象，同时使用所述脑电图与诱发电位仪进行脑电信号的采集。

优选地，所述脑电信号的预处理方法包括：

使用伪迹校正的方法，从采集的脑电信号中去除眼电图EOG伪迹影响的部分；

通过滤波器对脑电信号进行50Hz的低通滤波，并对脑电信号中50Hz的工频干扰进行过滤；

删除无效数据，并对有效数据进行截取、排列后进行归一化处理，将脑电信号数据映射到区间[-1,1]上，完成脑电信号的预处理。

优选地，基于LSTM-DENSE构建手势识别模型包括：LSTM网络、DENSE网络、激活函数；所述DENSE网络包括输入层、隐藏层和输出层，所述DENSE网络的输入层的所有神经元均与所述LSTM网络输出的特征节点相连，所述激活函数与所述DENSE网络的输出层相连。

优选地，所述手势识别模型包括一个LSTM网络、两个DENSE网络，LSTM网络、第一个DENSE网络、第二个DENSE网络的参数Unit大小分别为128、64、32，所构成的手势识别模型表示为LSTM128-DENSE 64-DENSE 32-DENSE。

本发明公开了以下技术效果：

(1)本发明基于想象式脑机接口搭建脑电信号采集平台，进行脑电信号的采集，数据采集过程中不依赖于外界环境的刺激辅助，完全依靠受试者大脑中的想象，仅仅凭借思维运动就能实现对手势的识别，数据采集过程简单，数据可靠性高。

(2)本发明基于LSTM网络、两个DENSE网络搭建手势识别模型，通过DENSE网络能够加强网络的特征传播，使得网络挖掘到数据中更深层次的特征，促进手势识别模型在训练过程中的收敛，不同受试者能够适用同一个手势识别模型，有效解决了传统手势识别模型训练过程中存在的不收敛问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，能够适用于不同性别及年龄段的人群，提高了想象式脑机接口的实用性和泛化性能，扩宽了想象式脑机接口的应用面，更方便残障人士的使用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于想象式脑机接口的手势识别方法流程示意图；

图2为本发明实施例中所搭建的脑电信号采集平台；

图3为本发明实施例中电极放置位置示意图；

图4为本发明实施例中单次脑电信号采集过程中的时间安排示意图；

图5为本发明实施例中DENSE网络结构示意图；

图6为本发明实施例中LSTM-DENSE网络算法流程图；

图7为本发明实施例中基于LSTM-DENSE网络构建的手势识别模型与传统基于LSTM网络构建的手势识别模型识别准确率对比图；

图8为本发明实施例中基于想象式脑机接口的手势识别方法对不同年龄段识别准确率对比图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种基于想象式脑机接口的手势识别方法，包括如下步骤：

S1、搭建基于想象式脑机接口的脑电信号采集平台，通过所搭建的脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集。

本实施例中脑电信号采集平台的搭建如图2所示，所述脑电信号采集平台包括脑电图与诱发电位仪、计算机；所述脑电图与诱发电位仪采用上海诺诚电气股份有限公司自行研发的NCERP脑电图与诱发电位仪，所述脑电图与诱发电位仪包括电极帽、生理放大盒、脑电主控盒，所述计算机包括电脑主机、显示器。所述电极帽、生理放大盒共同完成脑电信号的采集、放大，并将放大后的脑电信号通过光纤传送到所述脑电主控盒，所述脑电主控盒通过USB接口将脑电信号数据传送到所述电脑主机。所述电极帽采用24通道银电极，电极的安放位置使用了国际统一标准的10/20系统法，电极放置位置如图3所示；

所述脑电信号的采集方法为：

首先，受试者在静止状态下，在大脑中对手势动作进行想象，同时使用NCERP脑电图与诱发电位仪对EEG(Electroencephalogrphy，脑电图)信号进行同步采集，NCERP脑电图与诱发电位仪采用非侵入式脑电信号采集方式，工作参数如表1所示，设备采样频率高，最高可达8KHz/CH，分辨率达32bit，采集得到的数据精确度更高，更多路的数据能够得到更多的脑电数据的特征；然后，将采集到的脑电信号传输给计算机，完成脑电信号的采集。

表1

本实施例中受试者共20名，15个男生、5个女生，年龄在18-40岁之间，且平均年龄为25岁，所有受试者身体健康，符合参加脑机接口数据采集的要求，且均未参加过想象式脑机接口的相关实验，脑电信号采集前，对受试者进行想象式脑机接口理论知识的培训，并告知受试者脑电信号采集的完整过程；对受试者进行脑电信号采集前，将头皮表面清洁干净，不佩戴任何首饰，防止对脑电信号采集的影响；所有受试者在饭后一个小时之后进行脑电信号采集，采集前未进行过剧烈运动。脑电信号采集过程中的环境温度为20℃，湿度为45％，光线明暗适中，良好的通风，以保证受试者在实验进行过程中不会出现焦躁、出汗等任何的不适感，理论上达到人体感知最舒适的环境。

本实施例脑电信号的采集过程中，受试者进行五种手势的想象，分别想象五个手指弯曲的动作且其它手指自然伸直，每个手势想象八次。在实验过程中受试者完全的静止不动，且周围环境安静无任何噪声干扰。

单次脑电信号采集过程中的时间安排如图4所示，脑电信号的采集具体分为四个步骤进行：

在进行采集的前五秒，受试者是处于完全放松静止的状态；

在听到提示音之后，在大脑中进行手势的想象运动，持续想象10秒；

10秒后，再次听到结束的提示音，受试者停止对手势的想象，完成单次脑电信号采集；

受试者休息半分钟，直到下次数据采集，以此循环，完成脑电信号的采集。

所述脑电信号的预处理方法为：

使用伪迹校正的方法，从采集的EEG信号中去除EOG(Electro-oculography，眼电图)伪迹影响的部分；

通过滤波器对EEG信号进行50Hz的低通滤波，并对EEG信号中50Hz的工频干扰进行过滤；

删除无效数据；

对有效数据进行截取、排列后进行归一化处理，将脑电信号数据映射到区间[-1,1]上，完成脑电信号的预处理，将预处理后的脑电信号作为样本集；

从样本集中随机抽取80％的数据作为训练集，剩余20％的数据作为测试集。

S2、基于LSTM-DENSE构建手势识别模型，并使用脑电信号样本集对手势识别模型进行训练。

由于想象式脑机接口中待处理的脑电信号需要处理更深层的特征，使用LSTM网络对手势进行分类识别时，识别模型的训练过程中存在识别准确率抖动大、毛刺多、不易收敛的问题，本发明在深度学习算法中的LSTM网络的基础上嫁接了全连接DENSE网络，LSTM网络的输出层为DENSE网络的输入层，基于LSTM-DENSE网络构建手势识别模型。

DENSE网络包括输入层、隐藏层和输出层，每个相邻层之间的所有神经元之间相互连接，如图5所示。DENSE网络能够加强网络的特征传播，使得网络挖掘到数据中更深层次的特征，促进手势识别模型在训练过程中的收敛。

基于LSTM-DENSE网络所构建的手势识别模型的具体工作原理如图6所示，为：

将脑电信号输入到LSTM网络，经过LSTM网络处理后得到脑电信号特征；DENSE网络中输入层的所有神经元均与LSTM网络输出的特征节点相连，LSTM网络输出的特征节点具有权重，用于根据LSTM网络输出的脑电信号特征所对应特征节点的权重对脑电数据进行手势识别；

DENSE网络输出层连接有激活函数，本实施例中激活函数采用Softmax函数；由于DENSE各网络层的输出为非线性组合，极大地限制了手势识别模型的工作效果，通过激活函数降低DENSE网络的非线性输出影响，有效提高手势识别模型的可靠性，解决了线性模型无法求解的问题。激活函数Softmax的工作原理为：

激活函数Softmax将DENSE网络的输出结果映射到向量σ(s)₁，σ(s)₂，σ(s)₃，σ(s)₄，...，其中，∑σ(s)_j为1；通过映射出的向量中的每个类别所属概率，得到手势识别结果。

本实施例中，手势识别模型由LSTM网络与两个DENSE网络进行嫁接，其中，LSTM网络、第一个DENSE网络、第二个DENSE网络的参数Unit大小分别为128、64、32，即手势识别模型为LSTM(128)-DENSE(64)-DENSE(32)-DENSE的参数组合，Unit表示神经元的数量。

S3、通过训练好的手势识别模型对基于想象式脑机接口采集的脑电数据进行手势识别，并根据手势识别结果控制机械手掌执行相应手势。

为进一步验证本发明基于想象式脑机接口的手势识别方法的有效性，将本发明基于LSTM-DENSE网络构建的手势识别模型与传统基于LSTM网络构建的手势识别模型进行对比，如图7所示。根据图7可知，手势识别模型的训练过程中，在0到100次迭代过程中，两种模型的识别准确率快速上升到85％，100次迭代后识别准确率增长缓慢，300次迭代后基于LSTM-DENSE网络构建的手势识别模型的识别准确率依然缓慢增长，达到91.56％，而基于LSTM网络构建的手势识别模型基本不增长，为90％；然而，基于LSTM网络构建的手势识别模型识别准确率折线图抖动大、毛刺多，训练过程极为不稳定；本发明基于LSTM-DENSE网络构建的手势识别模型识别准确率折线图圆滑平缓，明显优于传统基于LSTM网络构建的手势识别模型。

另外，将本发明基于LSTM-DENSE网络构建的手势识别模型与脑机接口中传统的手势识别模型进行比较，如表2所示；通过表2可知，在相同的参数设置下，本发明基于LSTM-DENSE网络构建的手势识别模型更适合于想象式脑机接口中脑电信号的分类识别，解决了传统手势识别模型训练过程中存在的不收敛问题，提高了想象式脑机接口的实用性和泛化性能，同时，所有受试者使用同一个手势识别模型，且识别准确率达到了91.56％，解决了脑机接口中存在的“BCI盲”和“一人一模型”的问题，使想象式脑机接口的应用更广泛。

表2

为验证本发明基于想象式脑机接口的手势识别方法对各年龄段的适用性，本实施例随机选取了15～20岁、20～25岁、25～30岁、30～35岁和35～40岁五个年龄段的受试者的想象式脑机接口的数据进行分类识别，测试结果如图8所示，各个年龄段的手势识别准确率均达到了90.5％以上，其中25～30岁的年龄段识别准确率最高达到了92.58％。其余四个年龄段距离25～30岁这个年龄段越远，识别准确率越低。实验结果表明年龄会导致想象式脑机接口的识别准确率产生变化，但是影响并不是很大，这与不同年龄段受试者的注意力控制能力有关。

为验证本发明基于想象式脑机接口的手势识别方法对不同性别的适用性，本实施例从女性受试者和男性受试者的数据中分别随机抽取100个样本进行分类识别，实验结果分别如表3、表4所示：

表3

表4

根据表3可知，女性受试者的手势0、1、2、3、4的识别准确率分别为93％、93％、92％、91％、93％，总体的识别准确率为96.8％；根据表4可知，男性受试者的手势0、1、2、3、4的识别准确率分别为90％、89％、88％、89％、90％，总体的识别准确率为89.2％。可见，女性受试者比男性受试者的识别准确率稍高，五种手势的识别准确率基本相同。

综上，本发明基于想象式脑机接口的手势识别方法识别准确率高，解决了传统手势识别模型训练过程中存在的不收敛问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，能够适用于不同性别及年龄段的人群，提高了想象式脑机接口的实用性和泛化性能，扩宽了想象式脑机接口的应用面，更方便残障人士的使用。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims (4)

1.一种基于想象式脑机接口的手势识别方法，其特征在于，包括如下步骤：

搭建基于想象式脑机接口的脑电信号采集平台，通过所述脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集；

基于LSTM-DENSE构建手势识别模型，并使用脑电信号样本集对所述手势识别模型进行训练；

通过训练好的所述手势识别模型对基于想象式脑机接口采集的脑电数据进行手势识别，并根据所述手势识别结果控制机械手掌执行相应手势；

基于LSTM-DENSE构建手势识别模型包括：LSTM网络、DENSE网络、激活函数；所述DENSE网络包括输入层、隐藏层和输出层，所述DENSE网络的输入层的所有神经元均与所述LSTM网络输出的特征节点相连，所述激活函数与所述DENSE网络的输出层相连；

所述手势识别模型包括一个LSTM网络、两个DENSE网络，LSTM网络、第一个DENSE网络、第二个DENSE网络的参数Unit大小分别为128、64、32，所构成的手势识别模型表示为LSTM128-DENSE 64-DENSE 32。

2.根据权利要求1所述的基于想象式脑机接口的手势识别方法，其特征在于，所述脑电信号采集平台包括脑电图与诱发电位仪、计算机；所述脑电图与诱发电位仪包括电极帽、生理放大盒、脑电主控盒，所述计算机包括电脑主机、显示器。

3.根据权利要求2所述的基于想象式脑机接口的手势识别方法，其特征在于，脑电信号采集的具体方法包括：

受试者在静止状态下，在大脑中对手势动作进行想象，同时使用所述脑电图与诱发电位仪进行脑电信号的采集。

4.根据权利要求1所述的基于想象式脑机接口的手势识别方法，其特征在于，所述脑电信号的预处理方法包括：

使用伪迹校正的方法，从采集的脑电信号中去除眼电图EOG伪迹影响的部分；

通过滤波器对脑电信号进行50Hz的低通滤波，并对脑电信号中50Hz的工频干扰进行过滤；

删除无效数据，并对有效数据进行截取、排列后进行归一化处理，将脑电信号数据映射到区间[-1,1]上，完成脑电信号的预处理。

Images