CN111897428B

CN111897428B - 一种基于运动式脑机接口的手势识别方法

Info

Publication number: CN111897428B
Application number: CN202010752097.7A
Authority: CN
Inventors: 郭一娜; 张晓飞; 王涛; 赵珍; 陈建国
Original assignee: Taiyuan University of Science and Technology
Current assignee: Taiyuan University of Science and Technology
Priority date: 2020-07-30
Filing date: 2020-07-30
Publication date: 2022-03-01
Anticipated expiration: 2040-07-30
Also published as: CN111897428A

Abstract

本发明公开一种基于运动式脑机接口的手势识别方法，包括搭建基于运动式脑机接口的脑电信号采集平台，通过所述脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集；基于惩罚式长短期记忆网络RLSTM构建手势识别模型，并使用脑电信号样本集对手势识别模型进行训练；所述RLSTM包括对状态C的控制，且所述RLSTM的损失函数包括惩罚项；通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别，并根据手势识别结果控制机械手掌执行相应手势。本发明能够有效解决传统手势识别模型训练过程中存在的过拟合问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，识别准确率高，实用性强。

Description

一种基于运动式脑机接口的手势识别方法

技术领域

本发明涉及脑电信号采集与识别技术领域，特别是涉及一种基于运动式脑机接口的手势识别方法。

背景技术

借助脑机接口的手势识别方式，与借助可穿戴加速度传感器设备的方式、借助图像视频的视觉方式和借助生物信号的方式不同，其成本更低、有更广阔的应用场景和适用于更多的受试者。脑机接口技术的实质性目的是搭建一个大脑的中枢神经与外部的交互桥梁，通过该交互桥梁避开人体神经传输的直接通路，这对一些有生理障碍的受试者有重大的意义，因此，越来越多的专家们被吸引来进行脑机接口相关的研究与探索。

主动式的脑机接口，即不需要外界环境的刺激与辅助脑机接口，是目前脑机接口研究领域的热点。运动式脑机接口为主动式的脑机接口，受试者在运动状态下进行手势动作，在受试者进行手势动作的过程中，大脑的神经细胞会产生不同的微电流节律变化，进而根据产生的脑电信号实现受试者与外界环境的通信，在医学的康复治疗领域，对于运动行为受损的恢复具有重大意义，例如，肌无力病人采用动作和脑电信号结合的方式，控制人体外骨骼进行复健；同时，能够通过动作意图和脑电信号的结合，提高体感游戏的用户操作感受。

然而，目前基于脑机接口的手势识别面临的难点主要有：

1)现有脑机接口的脑电采集无法达到完全自发的目的，因此，迫切需要设计一个在做手势时能够诱发大脑产生有很大差异化的脑电信号产生的范式，从而达到针对性脑电信号获取的目的；

2)目前脑机接口的分类识别模块多采用机器学习的分类识别算法，深度学习中最广为人知的一种算法是RNN(Recurrent neural network,循环神经网络)，在自然语言处理、分类识别和预测等多领域中应用并取得了巨大的成功，RNN主要用于时间序列数据的处理分析，然而，当处理的数据为很长的序列时会出现梯度消失和梯度爆炸，出现过拟合的情况。LSTM(Long short-term memory，长短期记忆网络)是在RNN基础上进行改进，是RNN神经网络模型的进化版本，已成为最流行的深度学习网络，在语音识别、图片描述、自然语言处理等许多领域中成功应用，但仍然存在着过拟合的问题。

3)目前脑机接口的分类识别模块存在“一人一模型”的问题，即每个受试者都需要训练一个单独的模型，其泛化能力较差；且脑机接口存在“BCI盲”问题，即人类中大约有20％至30％的受试者的脑机接口分类识别准确率低于70％，低识别准确率导致脑机接口对该20％到30％的人群不具有适用性和实用性。

因此，目前亟需一种基于运动式脑机接口的手势识别方法，能够有效、准确地对脑电信号进行手势识别。

发明内容

本发明的目的是提供一种基于运动式脑机接口的手势识别方法，以解决现有技术中存在的技术问题，能够有效解决传统手势识别模型训练过程中存在的过拟合问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，识别准确率高，实用性强。

为实现上述目的，本发明提供了如下方案：本发明提供一种基于运动式脑机接口的手势识别方法，包括如下步骤：

搭建基于运动式脑机接口的脑电信号采集平台，通过所述脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集；

基于惩罚式长短期记忆网络RLSTM构建手势识别模型，并使用所述脑电信号样本集对所述手势识别模型进行训练；所述RLSTM包括对状态C的控制，且所述RLSTM的损失函数包括惩罚项；

通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别，并根据手势识别结果控制机械手掌执行相应手势。

优选地，所述脑电信号采集平台包括动态脑电图仪、计算机；所述动态脑电图仪包括电极帽、脑电放大器；所述电极帽用于采集脑电信号，采用非侵入式的脑电信号采集方式。

优选地，所述脑电信号采集的具体方法包括：

受试者在运动状态下进行手势动作，同时使用所述动态脑电图仪对脑电信号进行同步采集。

优选地，所述RLSTM包括依次连接的遗忘门、输入门、输出门，通过所述遗忘门、输入门、输出门共同对所述状态C进行控制。

优选地，所述RLSTM对所述状态C进行控制的具体方法包括：

所述输入门用于输入上一时刻t-1的状态C_t-1、上一时刻t-1的输出S_t-1，并控制所述RLSTM网络当前时刻t的输入数据x_t中输入到当前时刻状态C_t的量；

所述输出门用于输出当前时刻t的状态C_t、当前时刻t的输出S_t，并控制所述RLSTM网络当前时刻t的状态C_t中有多少内容被输出；

所述遗忘门用于控制上一时刻t-1的状态C_t-1中有多少内容保持输入到当前时刻t的状态C_t中。

优选地，所述RLSTM的输出门包括损失函数，所述损失函数设有惩罚项，通过所述惩罚项对所述输出门的权重进行惩罚。

本发明公开了以下技术效果：

(1)本发明基于运动式脑机接口搭建脑电信号采集平台，进行脑电信号的采集，数据采集过程中不依赖于外界环境的刺激辅助，受试者的手部做不同类型的手势动作，脑机接口就能够完成对受试者大脑中的手势运动指令的解码，数据采集过程简单，数据可靠性高。

(2)本发明基于惩罚式长短期记忆网络RLSTM搭建手势识别模型，RLSTM引入状态C，通过状态C处理长时间序列，能够有效减少过拟合；同时，RLSTM增加了惩罚项，通过惩罚项对权重进行惩罚，减小了权重矩阵，从而使得神经网络更为简化，能够弹性地适用于不同数据量训练的要求而不产生过拟合的问题；本发明不同受试者能够适用同一个手势识别模型，有效解决了传统手势识别模型脑机接口中存在的“BCI盲”和“一人一模型”的问题，能够适用于不同性别及年龄段的人群，提高了运动式脑机接口的实用性和泛化性能，扩宽了运动式脑机接口的应用面。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明基于运动式脑机接口的手势识别方法流程示意图；

图2为本发明实施例中所搭建的脑电信号采集平台；

图3为本发明实施例中电极放置位置示意图；

图4为本发明实施例中单次脑电信号采集过程中的时间安排示意图；

图5为本发明实施例中RLSTM网络工作原理示意图；

图6为本发明实施例中基于运动式脑机接口的手势识别方法对不同年龄段识别准确率对比图；

图7为本发明实施例中脑机接口对机械手掌的控制结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1所示，本实施例提供一种基于运动式脑机接口的手势识别方法，包括如下步骤：

S1、搭建基于运动式脑机接口的脑电信号采集平台，通过所搭建的脑电信号采集平台进行脑电信号的采集和预处理，得到脑电信号样本集。

本实施例中脑电信号采集平台的搭建如图2所示，所示脑电信号采集平台包括动态脑电图仪、计算机；本实施例中，所述动态脑电图仪采用Nation8128W动态脑电图仪，用于长时动态脑电图数据检测，不受场地、有线连接等的限制，数据采集过程受试者能够自由的活动，并能携带到家中进行长时数据采集。

所述动态脑电图仪包括电极帽、脑电放大器；所述电极帽用于采集脑电信号，采用非侵入式的脑电信号采集方式，在使用过程中仅需将电极紧贴在头皮上；所述电极帽采用20通道银电极，其中16个电极用于采集脑电信号，4个电极作为参考电极，因此，共有16个采集通道，电极的安放位置使用了国际统一标准的10/20系统法，电极放置位置如图3所示；

所述脑电放大器使用5号干电池供电，并采用无线蓝牙方式与所述计算机相连，实现脑电信号的传输，能够有效地排除有线数据传输方式产生的电磁干扰。

所述脑电信号的采集方法为：

受试者在运动状态下进行手势动作，同时使用Nation8128W动态脑电图仪对脑电信号进行同步采集，并将采集到的脑电信号通过蓝牙传输给计算机。工作参数如表1所示：

表1

本实施例中受试者共25名，20个男生、5个女生，其中6个在读硕士研究生，15个在读本科生，2名博士，2名老师，年龄在19-40岁之间，且平均年龄为26岁，所有受试者身体健康，老师、博士、在读硕士研究生熟知脑机接口的基本理论知识，15名在读本科生未曾了解过脑机接口，所有受试者均为第一次参加基于运动模式脑机接口的试验；脑电信号采集前，对15名在读本科生进行运动式脑机接口理论知识的培训，并告知所有受试者脑电信号采集的完整过程；对受试者进行脑电信号采集前，将头皮表面清洁干净，不佩戴任何首饰，防止对脑电信号采集的影响；所有受试者在饭后一个小时之后进行脑电信号采集，采集前未进行过剧烈运动。脑电信号采集在上午进行，保持采集环境的安静，环境温度为20℃，湿度为45％，光线明暗适中，良好的通风，以保证受试者在实验进行过程中不会出现焦躁、出汗等任何的不适感，理论上达到人体感知最舒适的环境。同时，检测位置远离电动设备、高频电辐射源等，防止数据采集过程中受到不必要的干扰。

本实施例脑电信号的采集过程中，受试者做五个手势：0号手势(大拇指弯曲，其余四根手指自然放松)、1号手势(食指弯曲，其余四根手指自然放松)、2号手势(中指弯曲，其余四根手指自然放松)、3号手势(无名指弯曲，其余四根手指自然放松)、4号手势(小拇指弯曲，其余四根手指自然放松)。每个手势做八次。在实验过程中周围环境安静无任何噪声干扰。

单次脑电信号采集过程中的时间安排如图4所示，脑电信号的采集具体分为四个步骤进行：

在进行采集的前五秒，受试者是处于完全放松静止的状态；

在听到提示音之后，受试者做出手势动作，持续10秒后，再次听到结束的提示音，受试者停止做手势动作，完成单次脑电信号采集；

受试者休息半分钟，直到下次数据采集，以此循环，完成脑电信号的采集。

所述脑电信号的预处理方法为：

使用伪迹校正的方法，从采集的脑电信号中去除EOG(Electro-oculography，眼电图)伪迹影响的部分；

通过滤波器滤除脑电信号中50Hz的工频干扰；

删除无效数据；

对有效数据进行截取、排列后进行归一化处理，将脑电信号数据映射到区间[-1,1]上，完成脑电信号的预处理，将预处理后的脑电信号作为样本集；

从样本集中随机抽取80％的数据作为训练集，剩余20％的数据作为测试集。

S2、基于RLSTM(Regularization long short-term memory，惩罚式长短期记忆网络)构建手势识别模型，并使用脑电信号样本集对手势识别模型进行训练。

传统的LSTM算法较RNN算法在一定程度上解决了过拟合问题，但是仍然存在着过拟合的问题，应用在脑机接口中，每受试者都需要训练适用于自己的分类识别模型，且传统的LSTM算法并不能很好的解决“BCI盲”问题。本发明提出一种新的RLSTM用于构建手势识别模型。

本发明所述RLSTM引入状态C，所述状态C表示RLSTM的单元状态，类似于传送带，信息直接在所述状态C的整个链上运行，仅存在少量的线性交互，通过所述状态C处理长时间序列，能够有效减少过拟合，所述RLSTM网络的工作原理如图5所示，具体为：

所述RLSTM包括遗忘门、输入门、输出门；在所述遗忘门、输入门、输出门的共同作用下实现了对所述状态C的控制。

所述输入门用于输入上一时刻t-1的状态C_t-1、上一时刻t-1的输出S_t-1，并控制所述RLSTM网络当前时刻t的输入数据x_t中输入到当前时刻状态C_t的量，直接决定了当前时刻有多少新的信息输入到所述RLSTM网络的隐藏层中。

所述遗忘门用于控制上一时刻t-1的状态C_t-1中有多少内容保持输入到当前时刻t的状态C_t中；如若需要丢弃无用信息时，所述遗忘门负责将所无用信息丢弃并且决定丢弃信息的多少；如若是有用信息，则所述遗忘门负责将所述有用信息保留下来并且决定保留多少信息。

所述RLSTM还包括候选门，所述候选门与所述输入门共同完成当前时刻t数据的输入，通过所述候选门计算当前时刻t的输入和上一时刻t-1的输入信息存储总量；所述RLSTM在工作工程中，信息的更新由所述遗忘门、输入门、候选门共同决定。

所述RLSTM的输出门包括损失函数，所述损失函数设有一个惩罚项l₂，通过所述惩罚项l₂对所述输出门的权重进行惩罚，使权重值变小，减小了权重矩阵，即隐式地减少了自由参数的数量，从而使得神经网络的模型更为简化，能够弹性地适用于不同数据量训练的要求而不产生过拟合的问题，具体如式(1)所示：

式中，Loss为添加了惩罚项后的损失函数，-∑y′_ilog(y_i)为交叉熵，y′_i为所述RLSTM的预测值，y_i为数据实际对应的标签值，λ为惩罚项l₂的系数，m为训练集数据的个数，i∈[1,m]；||W||₂为l₂范式。在所述手势识别模型的训练过程中，惩罚项l₂使得所述输出门的权重收缩，所述RLSTM复杂程度降低，抑制所述手势识别模型在训练过程中对数据集的过度拟合。

综合考虑到手势识别模型的识别准确率和训练所述手势识别模型所花费的时间，本实施例中参数Unit的取值为128，其中Unit值是RLSTM算法中最重要的参数之一，表示RLSTM层中神经元的数量。Unit值的大小直接对手势识别模型的工作效果产生很大的影响，不仅决定着训练学习得到模型的识别准确率，更是直接决定了模型学习训练所花费的时间。

S3、通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别，并根据手势识别结果控制机械手掌执行相应手势。

为进一步验证本发明基于运动式脑机接口的手势识别方法的有效性，将本发明基于RLSTM网络构建的手势识别模型与脑机接口中基于传统的深度学习网络构建的手势识别模型进行比较，如表2所示；通过表2可知，在相同的参数设置下，本发明基于RLSTM网络构建的手势识别模型的识别准确率达95.89％，基于传统深度学习网络构建的手势识别模型运行良好，但准确率远低于本发明基于RLSTM网络构建的手势识别模型。

表2

为验证本发明基于运动式脑机接口的手势识别方法对各年龄段的适用性，本实施例随机选取了15～20岁、20～25岁、25～30岁、30～35岁和35～40岁五个年龄段的受试者的运动式脑机接口的数据进行分类识别，测试结果如图6所示，各个年龄段的手势识别准确率均达到了94％以上，其中25～30岁的年龄段识别准确率最高达到了96.32％。其余四个年龄段距离25～30岁这个年龄段越远，识别准确率越低。实验结果表明年龄会导致运动式脑机接口的识别准确率产生细微变化，但是影响并不是很大，这与不同年龄段受试者的注意力控制能力有关。

为验证本发明基于运动式脑机接口的手势识别方法对不同性别的适用性，本实施例从女性受试者和男性受试者的数据中分别随机抽取100个样本进行分类识别，实验结果分别如表3、表4所示：

表3

表4

根据表3可知，女性受试者的手势0、1、2、3、4的识别准确率分别为98％、99％、98％、94％、94％，总体的识别准确率为96.8％；根据表4可知，男性受试者的手势0、1、2、3、4的识别准确率分别为94％、95％、94％、89％、90％，总体的识别准确率为92.4％。可见，女性受试者比男性受试者的识别准确率稍高，不论是男性受试者还是女性受试者，手势3与手势4识别时同样容易出现识别混乱的现象，这是因为小拇指与无名指共用尺神经，大脑的指令最后通过尺神经完成无名指和小拇指的控制。

本实施例中所有实验均实现了脑机接口对机械手掌的控制，如图7所示，受试者在做无名指蜷缩，其它手指伸直的手势，并完成对机械手的控制，机械手做出了同样的动作，达到了受试者做预定的手势动作，机械手做相同手势动作的目的。

综上，本发明基于运动式脑机接口的手势识别方法识别准确率高，更适合于长时间序列数据的脑机接口分类识别，在一定程度上解决了传统手势识别模型训练过程中存在的过拟合问题，以及脑机接口中存在的“BCI盲”和“一人一模型”的问题，能够适用于不同性别及年龄段的人群，提高了运动式脑机接口的实用性和泛化性能，扩宽了运动式脑机接口的应用面。

以上所述的实施例仅是对本发明的优选方式进行描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。

Claims

1.一种基于运动式脑机接口的手势识别方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于运动式脑机接口的手势识别方法，其特征在于，所述脑电信号采集平台包括动态脑电图仪、计算机；所述动态脑电图仪包括电极帽、脑电放大器；所述电极帽用于采集脑电信号，采用非侵入式的脑电信号采集方式。

3.根据权利要求2所述的基于运动式脑机接口的手势识别方法，其特征在于，所述脑电信号采集的具体方法包括：

4.根据权利要求1所述的基于运动式脑机接口的手势识别方法，其特征在于，所述RLSTM包括依次连接的遗忘门、输入门、输出门，通过所述遗忘门、输入门、输出门共同对所述状态C进行控制。

5.根据权利要求4所述的基于运动式脑机接口的手势识别方法，其特征在于，所述RLSTM对所述状态C进行控制的具体方法包括：

6.根据权利要求4所述的基于运动式脑机接口的手势识别方法，其特征在于，所述RLSTM的输出门包括损失函数，所述损失函数设有惩罚项，通过所述惩罚项对所述输出门的权重进行惩罚。