CN111897428B - 一种基于运动式脑机接口的手势识别方法 - Google Patents

一种基于运动式脑机接口的手势识别方法 Download PDF

Info

Publication number
CN111897428B
CN111897428B CN202010752097.7A CN202010752097A CN111897428B CN 111897428 B CN111897428 B CN 111897428B CN 202010752097 A CN202010752097 A CN 202010752097A CN 111897428 B CN111897428 B CN 111897428B
Authority
CN
China
Prior art keywords
gesture recognition
brain
computer interface
rlstm
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010752097.7A
Other languages
English (en)
Other versions
CN111897428A (zh
Inventor
郭一娜
张晓飞
王涛
赵珍
陈建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Taiyuan University of Science and Technology
Original Assignee
Taiyuan University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Taiyuan University of Science and Technology filed Critical Taiyuan University of Science and Technology
Priority to CN202010752097.7A priority Critical patent/CN111897428B/zh
Publication of CN111897428A publication Critical patent/CN111897428A/zh
Application granted granted Critical
Publication of CN111897428B publication Critical patent/CN111897428B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/049Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/011Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明公开一种基于运动式脑机接口的手势识别方法,包括搭建基于运动式脑机接口的脑电信号采集平台,通过所述脑电信号采集平台进行脑电信号的采集和预处理,得到脑电信号样本集;基于惩罚式长短期记忆网络RLSTM构建手势识别模型,并使用脑电信号样本集对手势识别模型进行训练;所述RLSTM包括对状态C的控制,且所述RLSTM的损失函数包括惩罚项;通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别,并根据手势识别结果控制机械手掌执行相应手势。本发明能够有效解决传统手势识别模型训练过程中存在的过拟合问题,以及脑机接口中存在的“BCI盲”和“一人一模型”的问题,识别准确率高,实用性强。

Description

一种基于运动式脑机接口的手势识别方法
技术领域
本发明涉及脑电信号采集与识别技术领域,特别是涉及一种基于运动式脑机接口的手势识别方法。
背景技术
借助脑机接口的手势识别方式,与借助可穿戴加速度传感器设备的方式、借助图像视频的视觉方式和借助生物信号的方式不同,其成本更低、有更广阔的应用场景和适用于更多的受试者。脑机接口技术的实质性目的是搭建一个大脑的中枢神经与外部的交互桥梁,通过该交互桥梁避开人体神经传输的直接通路,这对一些有生理障碍的受试者有重大的意义,因此,越来越多的专家们被吸引来进行脑机接口相关的研究与探索。
主动式的脑机接口,即不需要外界环境的刺激与辅助脑机接口,是目前脑机接口研究领域的热点。运动式脑机接口为主动式的脑机接口,受试者在运动状态下进行手势动作,在受试者进行手势动作的过程中,大脑的神经细胞会产生不同的微电流节律变化,进而根据产生的脑电信号实现受试者与外界环境的通信,在医学的康复治疗领域,对于运动行为受损的恢复具有重大意义,例如,肌无力病人采用动作和脑电信号结合的方式,控制人体外骨骼进行复健;同时,能够通过动作意图和脑电信号的结合,提高体感游戏的用户操作感受。
然而,目前基于脑机接口的手势识别面临的难点主要有:
1)现有脑机接口的脑电采集无法达到完全自发的目的,因此,迫切需要设计一个在做手势时能够诱发大脑产生有很大差异化的脑电信号产生的范式,从而达到针对性脑电信号获取的目的;
2)目前脑机接口的分类识别模块多采用机器学习的分类识别算法,深度学习中最广为人知的一种算法是RNN(Recurrent neural network,循环神经网络),在自然语言处理、分类识别和预测等多领域中应用并取得了巨大的成功,RNN主要用于时间序列数据的处理分析,然而,当处理的数据为很长的序列时会出现梯度消失和梯度爆炸,出现过拟合的情况。LSTM(Long short-term memory,长短期记忆网络)是在RNN基础上进行改进,是RNN神经网络模型的进化版本,已成为最流行的深度学习网络,在语音识别、图片描述、自然语言处理等许多领域中成功应用,但仍然存在着过拟合的问题。
3)目前脑机接口的分类识别模块存在“一人一模型”的问题,即每个受试者都需要训练一个单独的模型,其泛化能力较差;且脑机接口存在“BCI盲”问题,即人类中大约有20%至30%的受试者的脑机接口分类识别准确率低于70%,低识别准确率导致脑机接口对该20%到30%的人群不具有适用性和实用性。
因此,目前亟需一种基于运动式脑机接口的手势识别方法,能够有效、准确地对脑电信号进行手势识别。
发明内容
本发明的目的是提供一种基于运动式脑机接口的手势识别方法,以解决现有技术中存在的技术问题,能够有效解决传统手势识别模型训练过程中存在的过拟合问题,以及脑机接口中存在的“BCI盲”和“一人一模型”的问题,识别准确率高,实用性强。
为实现上述目的,本发明提供了如下方案:本发明提供一种基于运动式脑机接口的手势识别方法,包括如下步骤:
搭建基于运动式脑机接口的脑电信号采集平台,通过所述脑电信号采集平台进行脑电信号的采集和预处理,得到脑电信号样本集;
基于惩罚式长短期记忆网络RLSTM构建手势识别模型,并使用所述脑电信号样本集对所述手势识别模型进行训练;所述RLSTM包括对状态C的控制,且所述RLSTM的损失函数包括惩罚项;
通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别,并根据手势识别结果控制机械手掌执行相应手势。
优选地,所述脑电信号采集平台包括动态脑电图仪、计算机;所述动态脑电图仪包括电极帽、脑电放大器;所述电极帽用于采集脑电信号,采用非侵入式的脑电信号采集方式。
优选地,所述脑电信号采集的具体方法包括:
受试者在运动状态下进行手势动作,同时使用所述动态脑电图仪对脑电信号进行同步采集。
优选地,所述RLSTM包括依次连接的遗忘门、输入门、输出门,通过所述遗忘门、输入门、输出门共同对所述状态C进行控制。
优选地,所述RLSTM对所述状态C进行控制的具体方法包括:
所述输入门用于输入上一时刻t-1的状态Ct-1、上一时刻t-1的输出St-1,并控制所述RLSTM网络当前时刻t的输入数据xt中输入到当前时刻状态Ct的量;
所述输出门用于输出当前时刻t的状态Ct、当前时刻t的输出St,并控制所述RLSTM网络当前时刻t的状态Ct中有多少内容被输出;
所述遗忘门用于控制上一时刻t-1的状态Ct-1中有多少内容保持输入到当前时刻t的状态Ct中。
优选地,所述RLSTM的输出门包括损失函数,所述损失函数设有惩罚项,通过所述惩罚项对所述输出门的权重进行惩罚。
本发明公开了以下技术效果:
(1)本发明基于运动式脑机接口搭建脑电信号采集平台,进行脑电信号的采集,数据采集过程中不依赖于外界环境的刺激辅助,受试者的手部做不同类型的手势动作,脑机接口就能够完成对受试者大脑中的手势运动指令的解码,数据采集过程简单,数据可靠性高。
(2)本发明基于惩罚式长短期记忆网络RLSTM搭建手势识别模型,RLSTM引入状态C,通过状态C处理长时间序列,能够有效减少过拟合;同时,RLSTM增加了惩罚项,通过惩罚项对权重进行惩罚,减小了权重矩阵,从而使得神经网络更为简化,能够弹性地适用于不同数据量训练的要求而不产生过拟合的问题;本发明不同受试者能够适用同一个手势识别模型,有效解决了传统手势识别模型脑机接口中存在的“BCI盲”和“一人一模型”的问题,能够适用于不同性别及年龄段的人群,提高了运动式脑机接口的实用性和泛化性能,扩宽了运动式脑机接口的应用面。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于运动式脑机接口的手势识别方法流程示意图;
图2为本发明实施例中所搭建的脑电信号采集平台;
图3为本发明实施例中电极放置位置示意图;
图4为本发明实施例中单次脑电信号采集过程中的时间安排示意图;
图5为本发明实施例中RLSTM网络工作原理示意图;
图6为本发明实施例中基于运动式脑机接口的手势识别方法对不同年龄段识别准确率对比图;
图7为本发明实施例中脑机接口对机械手掌的控制结果。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
参照图1所示,本实施例提供一种基于运动式脑机接口的手势识别方法,包括如下步骤:
S1、搭建基于运动式脑机接口的脑电信号采集平台,通过所搭建的脑电信号采集平台进行脑电信号的采集和预处理,得到脑电信号样本集。
本实施例中脑电信号采集平台的搭建如图2所示,所示脑电信号采集平台包括动态脑电图仪、计算机;本实施例中,所述动态脑电图仪采用Nation8128W动态脑电图仪,用于长时动态脑电图数据检测,不受场地、有线连接等的限制,数据采集过程受试者能够自由的活动,并能携带到家中进行长时数据采集。
所述动态脑电图仪包括电极帽、脑电放大器;所述电极帽用于采集脑电信号,采用非侵入式的脑电信号采集方式,在使用过程中仅需将电极紧贴在头皮上;所述电极帽采用20通道银电极,其中16个电极用于采集脑电信号,4个电极作为参考电极,因此,共有16个采集通道,电极的安放位置使用了国际统一标准的10/20系统法,电极放置位置如图3所示;
所述脑电放大器使用5号干电池供电,并采用无线蓝牙方式与所述计算机相连,实现脑电信号的传输,能够有效地排除有线数据传输方式产生的电磁干扰。
所述脑电信号的采集方法为:
受试者在运动状态下进行手势动作,同时使用Nation8128W动态脑电图仪对脑电信号进行同步采集,并将采集到的脑电信号通过蓝牙传输给计算机。工作参数如表1所示:
表1
Figure BDA0002610369020000071
本实施例中受试者共25名,20个男生、5个女生,其中6个在读硕士研究生,15个在读本科生,2名博士,2名老师,年龄在19-40岁之间,且平均年龄为26岁,所有受试者身体健康,老师、博士、在读硕士研究生熟知脑机接口的基本理论知识,15名在读本科生未曾了解过脑机接口,所有受试者均为第一次参加基于运动模式脑机接口的试验;脑电信号采集前,对15名在读本科生进行运动式脑机接口理论知识的培训,并告知所有受试者脑电信号采集的完整过程;对受试者进行脑电信号采集前,将头皮表面清洁干净,不佩戴任何首饰,防止对脑电信号采集的影响;所有受试者在饭后一个小时之后进行脑电信号采集,采集前未进行过剧烈运动。脑电信号采集在上午进行,保持采集环境的安静,环境温度为20℃,湿度为45%,光线明暗适中,良好的通风,以保证受试者在实验进行过程中不会出现焦躁、出汗等任何的不适感,理论上达到人体感知最舒适的环境。同时,检测位置远离电动设备、高频电辐射源等,防止数据采集过程中受到不必要的干扰。
本实施例脑电信号的采集过程中,受试者做五个手势:0号手势(大拇指弯曲,其余四根手指自然放松)、1号手势(食指弯曲,其余四根手指自然放松)、2号手势(中指弯曲,其余四根手指自然放松)、3号手势(无名指弯曲,其余四根手指自然放松)、4号手势(小拇指弯曲,其余四根手指自然放松)。每个手势做八次。在实验过程中周围环境安静无任何噪声干扰。
单次脑电信号采集过程中的时间安排如图4所示,脑电信号的采集具体分为四个步骤进行:
在进行采集的前五秒,受试者是处于完全放松静止的状态;
在听到提示音之后,受试者做出手势动作,持续10秒后,再次听到结束的提示音,受试者停止做手势动作,完成单次脑电信号采集;
受试者休息半分钟,直到下次数据采集,以此循环,完成脑电信号的采集。
所述脑电信号的预处理方法为:
使用伪迹校正的方法,从采集的脑电信号中去除EOG(Electro-oculography,眼电图)伪迹影响的部分;
通过滤波器滤除脑电信号中50Hz的工频干扰;
删除无效数据;
对有效数据进行截取、排列后进行归一化处理,将脑电信号数据映射到区间[-1,1]上,完成脑电信号的预处理,将预处理后的脑电信号作为样本集;
从样本集中随机抽取80%的数据作为训练集,剩余20%的数据作为测试集。
S2、基于RLSTM(Regularization long short-term memory,惩罚式长短期记忆网络)构建手势识别模型,并使用脑电信号样本集对手势识别模型进行训练。
传统的LSTM算法较RNN算法在一定程度上解决了过拟合问题,但是仍然存在着过拟合的问题,应用在脑机接口中,每受试者都需要训练适用于自己的分类识别模型,且传统的LSTM算法并不能很好的解决“BCI盲”问题。本发明提出一种新的RLSTM用于构建手势识别模型。
本发明所述RLSTM引入状态C,所述状态C表示RLSTM的单元状态,类似于传送带,信息直接在所述状态C的整个链上运行,仅存在少量的线性交互,通过所述状态C处理长时间序列,能够有效减少过拟合,所述RLSTM网络的工作原理如图5所示,具体为:
所述RLSTM包括遗忘门、输入门、输出门;在所述遗忘门、输入门、输出门的共同作用下实现了对所述状态C的控制。
所述输入门用于输入上一时刻t-1的状态Ct-1、上一时刻t-1的输出St-1,并控制所述RLSTM网络当前时刻t的输入数据xt中输入到当前时刻状态Ct的量,直接决定了当前时刻有多少新的信息输入到所述RLSTM网络的隐藏层中。
所述输出门用于输出当前时刻t的状态Ct、当前时刻t的输出St,并控制所述RLSTM网络当前时刻t的状态Ct中有多少内容被输出;
所述遗忘门用于控制上一时刻t-1的状态Ct-1中有多少内容保持输入到当前时刻t的状态Ct中;如若需要丢弃无用信息时,所述遗忘门负责将所无用信息丢弃并且决定丢弃信息的多少;如若是有用信息,则所述遗忘门负责将所述有用信息保留下来并且决定保留多少信息。
所述RLSTM还包括候选门,所述候选门与所述输入门共同完成当前时刻t数据的输入,通过所述候选门计算当前时刻t的输入和上一时刻t-1的输入信息存储总量;所述RLSTM在工作工程中,信息的更新由所述遗忘门、输入门、候选门共同决定。
所述RLSTM的输出门包括损失函数,所述损失函数设有一个惩罚项l2,通过所述惩罚项l2对所述输出门的权重进行惩罚,使权重值变小,减小了权重矩阵,即隐式地减少了自由参数的数量,从而使得神经网络的模型更为简化,能够弹性地适用于不同数据量训练的要求而不产生过拟合的问题,具体如式(1)所示:
Figure BDA0002610369020000111
式中,Loss为添加了惩罚项后的损失函数,-∑y′ilog(yi)为交叉熵,y′i为所述RLSTM的预测值,yi为数据实际对应的标签值,λ为惩罚项l2的系数,m为训练集数据的个数,i∈[1,m];||W||2为l2范式。在所述手势识别模型的训练过程中,惩罚项l2使得所述输出门的权重收缩,所述RLSTM复杂程度降低,抑制所述手势识别模型在训练过程中对数据集的过度拟合。
综合考虑到手势识别模型的识别准确率和训练所述手势识别模型所花费的时间,本实施例中参数Unit的取值为128,其中Unit值是RLSTM算法中最重要的参数之一,表示RLSTM层中神经元的数量。Unit值的大小直接对手势识别模型的工作效果产生很大的影响,不仅决定着训练学习得到模型的识别准确率,更是直接决定了模型学习训练所花费的时间。
S3、通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别,并根据手势识别结果控制机械手掌执行相应手势。
为进一步验证本发明基于运动式脑机接口的手势识别方法的有效性,将本发明基于RLSTM网络构建的手势识别模型与脑机接口中基于传统的深度学习网络构建的手势识别模型进行比较,如表2所示;通过表2可知,在相同的参数设置下,本发明基于RLSTM网络构建的手势识别模型的识别准确率达95.89%,基于传统深度学习网络构建的手势识别模型运行良好,但准确率远低于本发明基于RLSTM网络构建的手势识别模型。
表2
Figure BDA0002610369020000121
为验证本发明基于运动式脑机接口的手势识别方法对各年龄段的适用性,本实施例随机选取了15~20岁、20~25岁、25~30岁、30~35岁和35~40岁五个年龄段的受试者的运动式脑机接口的数据进行分类识别,测试结果如图6所示,各个年龄段的手势识别准确率均达到了94%以上,其中25~30岁的年龄段识别准确率最高达到了96.32%。其余四个年龄段距离25~30岁这个年龄段越远,识别准确率越低。实验结果表明年龄会导致运动式脑机接口的识别准确率产生细微变化,但是影响并不是很大,这与不同年龄段受试者的注意力控制能力有关。
为验证本发明基于运动式脑机接口的手势识别方法对不同性别的适用性,本实施例从女性受试者和男性受试者的数据中分别随机抽取100个样本进行分类识别,实验结果分别如表3、表4所示:
表3
Figure BDA0002610369020000131
表4
Figure BDA0002610369020000132
根据表3可知,女性受试者的手势0、1、2、3、4的识别准确率分别为98%、99%、98%、94%、94%,总体的识别准确率为96.8%;根据表4可知,男性受试者的手势0、1、2、3、4的识别准确率分别为94%、95%、94%、89%、90%,总体的识别准确率为92.4%。可见,女性受试者比男性受试者的识别准确率稍高,不论是男性受试者还是女性受试者,手势3与手势4识别时同样容易出现识别混乱的现象,这是因为小拇指与无名指共用尺神经,大脑的指令最后通过尺神经完成无名指和小拇指的控制。
本实施例中所有实验均实现了脑机接口对机械手掌的控制,如图7所示,受试者在做无名指蜷缩,其它手指伸直的手势,并完成对机械手的控制,机械手做出了同样的动作,达到了受试者做预定的手势动作,机械手做相同手势动作的目的。
综上,本发明基于运动式脑机接口的手势识别方法识别准确率高,更适合于长时间序列数据的脑机接口分类识别,在一定程度上解决了传统手势识别模型训练过程中存在的过拟合问题,以及脑机接口中存在的“BCI盲”和“一人一模型”的问题,能够适用于不同性别及年龄段的人群,提高了运动式脑机接口的实用性和泛化性能,扩宽了运动式脑机接口的应用面。
以上所述的实施例仅是对本发明的优选方式进行描述,并非对本发明的范围进行限定,在不脱离本发明设计精神的前提下,本领域普通技术人员对本发明的技术方案做出的各种变形和改进,均应落入本发明权利要求书确定的保护范围内。

Claims (6)

1.一种基于运动式脑机接口的手势识别方法,其特征在于,包括如下步骤:
搭建基于运动式脑机接口的脑电信号采集平台,通过所述脑电信号采集平台进行脑电信号的采集和预处理,得到脑电信号样本集;
基于惩罚式长短期记忆网络RLSTM构建手势识别模型,并使用所述脑电信号样本集对所述手势识别模型进行训练;所述RLSTM包括对状态C的控制,且所述RLSTM的损失函数包括惩罚项;
通过训练好的手势识别模型对基于运动式脑机接口采集的脑电数据进行手势识别,并根据手势识别结果控制机械手掌执行相应手势。
2.根据权利要求1所述的基于运动式脑机接口的手势识别方法,其特征在于,所述脑电信号采集平台包括动态脑电图仪、计算机;所述动态脑电图仪包括电极帽、脑电放大器;所述电极帽用于采集脑电信号,采用非侵入式的脑电信号采集方式。
3.根据权利要求2所述的基于运动式脑机接口的手势识别方法,其特征在于,所述脑电信号采集的具体方法包括:
受试者在运动状态下进行手势动作,同时使用所述动态脑电图仪对脑电信号进行同步采集。
4.根据权利要求1所述的基于运动式脑机接口的手势识别方法,其特征在于,所述RLSTM包括依次连接的遗忘门、输入门、输出门,通过所述遗忘门、输入门、输出门共同对所述状态C进行控制。
5.根据权利要求4所述的基于运动式脑机接口的手势识别方法,其特征在于,所述RLSTM对所述状态C进行控制的具体方法包括:
所述输入门用于输入上一时刻t-1的状态Ct-1、上一时刻t-1的输出St-1,并控制所述RLSTM网络当前时刻t的输入数据xt中输入到当前时刻状态Ct的量;
所述输出门用于输出当前时刻t的状态Ct、当前时刻t的输出St,并控制所述RLSTM网络当前时刻t的状态Ct中有多少内容被输出;
所述遗忘门用于控制上一时刻t-1的状态Ct-1中有多少内容保持输入到当前时刻t的状态Ct中。
6.根据权利要求4所述的基于运动式脑机接口的手势识别方法,其特征在于,所述RLSTM的输出门包括损失函数,所述损失函数设有惩罚项,通过所述惩罚项对所述输出门的权重进行惩罚。
CN202010752097.7A 2020-07-30 2020-07-30 一种基于运动式脑机接口的手势识别方法 Active CN111897428B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010752097.7A CN111897428B (zh) 2020-07-30 2020-07-30 一种基于运动式脑机接口的手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010752097.7A CN111897428B (zh) 2020-07-30 2020-07-30 一种基于运动式脑机接口的手势识别方法

Publications (2)

Publication Number Publication Date
CN111897428A CN111897428A (zh) 2020-11-06
CN111897428B true CN111897428B (zh) 2022-03-01

Family

ID=73183742

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010752097.7A Active CN111897428B (zh) 2020-07-30 2020-07-30 一种基于运动式脑机接口的手势识别方法

Country Status (1)

Country Link
CN (1) CN111897428B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109614885A (zh) * 2018-11-21 2019-04-12 齐鲁工业大学 一种基于lstm的脑电信号快速分类识别方法
CN110658915A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于双流网络的肌电信号手势识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109472194A (zh) * 2018-09-26 2019-03-15 重庆邮电大学 一种基于cblstm算法模型的运动想象脑电信号特征识别方法
CN109614885A (zh) * 2018-11-21 2019-04-12 齐鲁工业大学 一种基于lstm的脑电信号快速分类识别方法
CN110658915A (zh) * 2019-07-24 2020-01-07 浙江工业大学 一种基于双流网络的肌电信号手势识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
基于LSTM 模型的食品安全网络舆情预警研究;马永军等;《计算机工程与科学》;20190930;第41卷(第9期);第1604-1611页 *
深度学习框架下LSTM网络在短期电力负荷预测中的应用;陈亮等;《电力信息与通信技术》;20170531;第15卷(第5期);第8-11页 *
结合深度学习的脑机接口研究及系统实现;崔婷婷;《中国优秀硕士学位论文全文数据库 医药卫生科技辑》;20200229;E080-10 *

Also Published As

Publication number Publication date
CN111897428A (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
CN110765920B (zh) 基于卷积神经网络的运动想象分类方法
US11755121B2 (en) Gesture information processing method and apparatus, electronic device, and storage medium
Katsis et al. An integrated system based on physiological signals for the assessment of affective states in patients with anxiety disorders
US8280503B2 (en) EMG measured during controlled hand movement for biometric analysis, medical diagnosis and related analysis
Sun et al. Golden subject is everyone: A subject transfer neural network for motor imagery-based brain computer interfaces
Seal et al. An EEG database and its initial benchmark emotion classification performance
Pun et al. Brain-computer interaction research at the Computer Vision and Multimedia Laboratory, University of Geneva
Baghdadi et al. Dasps: a database for anxious states based on a psychological stimulation
Hinkle et al. Physiological measurement for emotion recognition in virtual reality
Kawala-Janik et al. Method for EEG signals pattern recognition in embedded systems
Li et al. Multi-modal emotion recognition based on deep learning of EEG and audio signals
Ahamad System architecture for brain-computer interface based on machine learning and internet of things
CN111857352B (zh) 一种基于想象式脑机接口的手势识别方法
Li et al. Preliminary study of online real-time control system for lower extremity exoskeletons based on EEG and sEMG fusion
US20230120071A1 (en) Sleep-aiding audio signal updating method and apparatus
CN111897428B (zh) 一种基于运动式脑机接口的手势识别方法
CN115500845A (zh) 一种面向肢体瘫痪患者的云上脑波分析方法及系统
Xing et al. The development of EEG-based brain computer interfaces: potential and challenges
CN114936574A (zh) 一种基于bci的高灵活度机械手系统及其实现方法
Wang et al. Neural decoding of Chinese sign language with machine learning for brain–computer interfaces
CN114145745A (zh) 基于图的多任务自监督情绪识别方法
Kaur et al. Developing brain-computer interface using fuzzy logic
Wang et al. Multi-user motion recognition using sEMG via discriminative canonical correlation analysis and adaptive dimensionality reduction
Jaison et al. EEG-Based brain-machine interface for categorizing cognitive sentimental emotions
Gangwar et al. Statistical Learning for Brain–Computer Interface

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant