CN110018744A - 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法 - Google Patents

一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法 Download PDF

Info

Publication number
CN110018744A
CN110018744A CN201910306671.3A CN201910306671A CN110018744A CN 110018744 A CN110018744 A CN 110018744A CN 201910306671 A CN201910306671 A CN 201910306671A CN 110018744 A CN110018744 A CN 110018744A
Authority
CN
China
Prior art keywords
character
interface
gesture
unit
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910306671.3A
Other languages
English (en)
Other versions
CN110018744B (zh
Inventor
李远清
晏林
丁凌崧
黄麒云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201910306671.3A priority Critical patent/CN110018744B/zh
Publication of CN110018744A publication Critical patent/CN110018744A/zh
Application granted granted Critical
Publication of CN110018744B publication Critical patent/CN110018744B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

本发明公开了一种基于视觉刺激界面的表面肌电人机接口系统，包括视觉刺激单元、表面肌电信号采集单元、中央处理单元和环境控制单元，本发明中的视觉刺激单元基于脑‑机接口单字符刺激模式，由若干个字符组成，每个字符对应环境控制单元所执行的控制指令，字符按照随机的顺序依次闪烁，同一时间只有一个字符闪烁，当所有字符闪烁一遍成为一轮，每轮中每个字符只能闪烁一次，用户跟随字符的闪烁同步进行手部运动来选中该字符，当用户选中该字符时，视觉刺激单元将会给予用户视觉反馈，提示用户已选中该字符；本发明使用脑‑机接口的单字符刺激模式，系统控制指令数为视觉刺激单元的字符数，从而减少采集肌电的通道数，降低硬件设备成本；操作简单，实用性以及实时性强。

Description

一种基于视觉刺激界面的表面肌电人机接口系统及其控制 方法
技术领域
本发明属于人机接口技术领域，具体涉及一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法。
背景技术
随着我国经济和生活水平的提高以及社会的发展，残疾人和老年人这两个特殊群体受到了社会越来越多的关注，两个群体有着相似的特点：身体机能弱、生活自主能力差以及大部分时间需要他人的看护；且这两类特殊人群的人口基数大并有上升的趋势，因此，解决残疾人以及老年人的日常生活不便的问题，提高他们的生活质量具有非常重要的意义。随着科技的发展和进步，市面上已经研发了许多针对残疾人和老年人的家电设备、康护设备等环境控制终端设备，但大部分的设备是依靠字符、摇杆或者语音实现控制，对于肢体完全丧失运动能力的残疾人以及运动能力严重退化的老年人来说，并不能完全自主实现控制，因此，研制一种新型的人机交互模式成为本领域技术人员急需解决的技术问题之一。
目前，基于生物电信号的人机接口成为了康复领域、控制领域以及生物医学领域中的一个研究热点，即通过采集人体自己产生的生物电信号来实现对外部设备的控制，以弥补或替代传统人机交互方式的控制方法。常用于人机接口的生物电信号主要有：脑电图、脑皮层电图、眼电图以及肌电信号。
其中，脑皮层电图是侵入式生物电信号，需要将针电极插入人体的大脑皮层，从而获取脑皮层电信号，该方式虽然采集信号的信噪比高，但对人体伤害大，且使用的针电极为了避免锈化需要多次更换。
脑电图是一种非侵入式生物电信号，主要使用运动想象、P300以及SSVEP等脑电模式，其中运动想象的响应时间最短，但是能够提供的控制指令数量有限(通常只有2个或3个)，P300和SSVEP可以提供丰富的控制命令，但响应时间比较长，准确率不高，且容易造成疲劳，不适合长时间控制，而且，运动想象的效果个体差异很大，因此需要相对大量的训练数据，比较耗时。
眼电图来自于眼部动作产生的生物电信号，是一种非侵入式生物电信号，主要有两大类：第一类为检测眼球动作时产生的生物电信号，需要用户移动眼球进行系统输入，控制较为复杂且识别速度较慢；第二类为基于视觉刺激的眼电图人机接口，需要用户在视觉刺激后进行眨眼从而产生眼电信号，但多次眨眼会容易引起眼部疲劳。
肌电信号来自人体肌肉运动产生的生物电信号，是一种通过采集人体皮肤表面的电信号，其无创性、易采集、信号处理简单等优点，受到了本领域技术人员的重视。但目前的基于表面肌电的人机接口存在以下缺点：(1)人机接口输出指令的数量与采集表面肌电的通道数成正比，即当需输出更多的控制指令时，需增多采集设备的通道数，设备成本高；(2)不能快速准确地识别有意识的肌肉动作和无意识的肌肉动作；(3)当电极脱落或存在外部干扰时，可能造成采集信号的跳变，传统的阈值分类只使用单阈值进行分类，系统可能将跳变信号误判成肌肉运动态的输入信号。
发明内容
为解决以上技术问题，本发明提供一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法，使用脑-机接口的单字符刺激模式，系统控制指令数为视觉刺激单元的字符数，从而减少采集肌电的通道数，降低硬件设备成本；操作简单，实用性以及实时性强。
本发明所提供的技术方案如下：
一种基于视觉刺激界面的表面肌电人机接口系统，包括视觉刺激单元、表面肌电信号采集单元、中央处理单元和环境控制单元；所述视觉刺激单元用于产生视觉刺激提示；所述表面肌电信号采集单元用于采集单通道表面肌电信号并进行放大、滤波以及模数转换后，再将采集到的单通道表面肌电信号的数字量传输至中央处理单元；所述中央处理单元通过滑动时间窗的RMS算法得到表面肌电信号的RMS波形并从中提取特征参数，并根据模式识别分类算法以判断用户做出的手势，中央处理单元再根据手势识别结果，通过Wi-Fi输出控制指令至环境控制单元；所述环境控制单元由多个终端设备构成，终端设备将接收的控制指令进行判断，若为自身的控制指令则执行相对应的动作；其中，所述视觉刺激单元基于脑-机接口单字符刺激模式，由若干个字符组成，每个字符对应环境控制单元所执行的控制指令，字符按照随机的顺序依次闪烁，同一时间只有一个字符闪烁，当所有字符闪烁一遍成为一轮，每轮中每个字符只能闪烁一次，用户跟随字符的闪烁同步进行手部运动来选中该字符，当用户选中该字符时，视觉刺激单元将会给予用户视觉反馈，提示用户已选中该字符。
优选地，视觉刺激单元设有图形用户界面，图形用户界面中的字符按照一定频率闪烁，用于提示用户输入手势；图形用户界面包括训练界面和测试界面，所述训练界面由单个字符组成，用于采集用户训练样本，该字符的闪烁频率为0.5～1Hz；所述测试界面包括设备界面和控制界面，所述设备界面中的字符对应环境控制单元中的终端设备，设备界面的字符数等于环境控制单元的终端设备数，控制界面中的每个字符对应于终端设备的某个特定功能，控制界面的字符数等于终端设备的功能数。
优选地，所述表面肌电采集单元为单通道的表面肌电采集传感器，表面肌电采集传感器包括差分放大电路、带通滤波电路、模数转换电路和数据输出电路；其中，差分放大电路由两个差分电极和一个参考电极组成，两个差分电极贴在目标肌肉的皮肤表面，参考电极贴在肘部等骨骼部位或目标肌肉的非相邻肌肉部位；差分放大增益为1000～1100倍，带通滤波电路通带为0.5～40Hz，模数转换电路的采样频率为200～250KHz。
优选地，所述从RMS波形中提取到的特征参数包括RMS波形的峰值、RMS波形的峰值时间以及肌肉运动的持续时间。
优选地，所述环境控制单元和中央处理单元以Wi-Fi无线通信方式构成星型组网拓扑结构，中央处理单元为星型组网拓扑结构的中心点，终端设备为星型组网拓扑结构的分支点，所述中央处理单元通过Wi-Fi通信将控制指令输出至环境控制单元，环境控制单元中的每个终端设备接收到所述中央处理单元的控制指令后，通过解析控制指令判断是否为自身控制指令，若是，则终端设备执行相对应的动作。
本发明还公开了一种基于视觉刺激界面的表面肌电人机交口的控制方法，包括以下步骤：
(1)离线环境运行，在训练界面上，测出用户每个特定手势的表面肌电信号特征，采用模式识别分类算法获得手势识别的分类模型；
(2)在线环境运行，在测试界面上，所述视觉刺激单元中的字符按随机的顺序闪烁，用户在目标字符闪烁后进行手势输入，所有字符闪烁一遍即为一轮；
(3)中央处理单元将对每轮中每个字符闪烁后一段时间的表面肌电信号进行同样的特征提取，并通过步骤(1)得到的分类模型对输入手势进行识别；
(4)当步骤(3)得到的手势识别为静息态手势时，系统将返回执行步骤(3)对用户的手势输入进行重新识别；
(5)当步骤(3)得到的手势识别为运动态手势时，中央处理单元根据步骤(3)识别得到的手势类型和选中字符类型得到本轮闪烁的识别结果；
(6)当识别结果满足决策条件时，中央处理单元将该识别结果对应的控制指令输送至环境控制单元执行相应的操作，当识别结果不满足决策条件时，系统将返回执行步骤(3)对用户的手势输入进行重新识别。
优选地，步骤(1)中的分类模型获得方法为：用户对每个运动态手势进行多次训练，系统通过特征提取方法得到训练样本的特征参数，并给每个运动态手势定义不同的标签；再将训练样本特征参数和其对应标签作为训练集，通过模式识别的SVM算法便可获得手势识别的分类模型；其中，运动态手势的特征提取方法为：每次字符闪烁后，提取一段表面肌电数据，其中包含闪烁时刻开始后0～600ms的表面肌电数据；对每个通道的表面肌电数据段进行降采样，并经过0.5～40Hz的带通滤波器滤波，再做滑动时间窗的RMS算法得到表面肌电信号的RMS波形；最后对所述RMS波形提取多个波形特征参数，包括RMS波形的峰值、RMS波形峰值时间以及肌肉运动的持续时间。
优选地，步骤(3)中，当系统在线运行时，所述视觉刺激单元的字符将开始随机闪烁，中央处理单元将通过分类算法判断每轮中每个字符闪烁后的一段时间内是否存在运动态手势输入；若某个字符后的手势识别结果为运动态手势，则判断该字符本轮闪烁中被选中，并结束本轮闪烁，进入下一轮；若某个字符后的手势识别结果为静息态手势，则判断字符没有被选中。
优选地，步骤(6)中的决策条件为：当某个字符在最近的连续三轮闪烁中，至少两次被选中作为识别结果，则判断为用户正在跟随该字符的闪烁同步手部运动，进而输出对应的控制指令；如果不存在满足条件的字符，系统进入新一轮闪烁，不输出任何控制指令。
更优选地，所述视觉刺激单元中的字符按照随机的顺序依次闪烁，前后两个字符闪烁间隔200～250ms，一轮闪烁结束后200～250ms开启新一轮闪烁。
与现有技术相比，本发明具有以下技术优势：
(1)本发明为了减少阈值分类算法的错误判断，对传统的阈值分类进行了改进，在正式使用前，离线训练获得手势识别的分类模型；即用户正式使用前对特定的运动态手势进行多次训练，系统通过特征提取方法得到运动态训练样本的特征参数组成的特征向量，再求出运动态手势的训练样本的各特征参数均值组成分类基准向量；本发明定义系统在线输入的手势为待测样本，待测样本以特征提取方法获得特征参数组成的特征向量，并计算出待测样本每一维特征向量与分类基准向量的相对误差，判断待测样本特征向量与运动态均值特征向量的偏离程度，若每一项特征参数的相对误差满足所设定的分类阈值，则判断该手势为运动态手势，否则为静息态手势；
(2)本发明引入图形用户界面提示用户在特定时刻进行肌肉运动，采用了一种基于滑动时间窗的RMS算法的特征提取方法将复杂的肌电信号变为开关波形信号，并提出一种基于相对误差的改进阈值分类算法，可快速地检测到表面肌电信号并将其准确定位到某一个具体的字符上，实现了仅使用一种手部动作便能安全、快速、准确且充分地提供环境控制指令；
(3)本发明提出了“多轮决策机制”，即当视觉刺激界面的某个字符在最近的连续三轮闪烁中至少两次被选中作为识别结果，系统才判断为用户正在跟随该字符的闪烁同步进行肌肉动作，进而输出对应的控制指令；如果不存在满足条件的字符，系统进入新一轮闪烁，不输出任何控制指令，该机制强调用户多次肌肉运动和字符多次闪烁的同步性，而随机的无意识的肌肉动作几乎不可能和某个字符的闪烁同步，从而消除了无意识肌肉动作的影响；根据实验结果，本发明在12个字符的界面中生成一个“多轮决策机制”控制指令的时间为6.02s，控制指令输出总体准确率达到92.2％，误操作率为0.03次/分钟；
(4)现有的肌电人机接口输出指令数通常和通道数成正比，本发明在使用脑-机接口的单字符刺激模式后，系统控制指令数为视觉刺激单元的字符数，系统还可以通过增加视觉刺激单元的字符数达到增加控制指令数的目的，有效减少采集肌电的通道数，降低硬件设备成本，操作简单，实用性好；
(5)本发明采用“同步决策机制”，只有当检测到的肌肉动作与某个字符的闪烁同步时才输出控制指令，提高了准确率，消除了单次无意识肌肉动作带来的影响，误报率为0.03次/分钟；
(6)本发明可通过增加设备界面的字符数和相应的控制界面便可扩展终端设备数，且终端设备间通过Wi-Fi通信便可形成智能家居环境，通过星型组网可以实现设备的管理，Wi-Fi通信覆盖范围广、通信速度快，具有良好的扩展性和实时性。
附图说明
图1是本发明的各个单元之间的连接结构示意图
图2是本发明中的RMS波形特征示意图
图3是本发明的控制流程示意图
其中：1.视觉刺激单元2.表面肌电信号采集单元3.中央处理单元4.环境控制单元4。
具体实施方式
先结合具体实施例和附图对本发明做进一步的说明。
如图1所示，本发明公开了一种基于视觉刺激界面的表面肌电人机接口系统，包括视觉刺激单元1、表面肌电信号采集单元2、中央处理单元3和环境控制单元4。
所述视觉刺激单元1用于产生视觉刺激提示，基于脑-机接口单字符刺激模式，由若干个字符组成，每个字符对应环境控制单元4所执行的控制指令，字符按照随机的顺序依次闪烁，同一时间只有一个字符闪烁，当所有字符闪烁一遍成为一轮，每轮中每个字符只能闪烁一次，用户跟随字符的闪烁同步进行手部运动来选中该字符，当用户选中该字符时，视觉刺激单元1将会给予用户视觉反馈，提示用户已选中该字符。视觉刺激单元1设有图形用户界面，图形用户界面中的字符按照一定频率闪烁，用于提示用户输入手势；图形用户界面包括训练界面和测试界面，所述训练界面由单个字符组成，用于采集用户训练样本，该字符的闪烁频率为1Hz；所述测试界面包括设备界面和控制界面，设备界面中的字符对应环境控制单元4中的终端设备，设备界面的字符数等于环境控制单元4的终端设备数，控制界面中的每个字符对应于终端设备的某个特定功能，控制界面的字符数等于终端设备的功能数。
所述表面肌电信号采集单元2用于采集单通道表面肌电信号并进行放大、滤波以及模数转换后，再将采集到的单通道表面肌电信号的数字量传输至中央处理单元3；所述表面肌电采集单元为单通道的表面肌电采集传感器，表面肌电采集传感器包括差分放大电路、带通滤波电路、模数转换电路和数据输出电路；其中，差分放大电路由两个差分电极和一个参考电极组成，两个差分电极贴在目标肌肉的皮肤表面，参考电极贴在肘部等骨骼部位或目标肌肉的非相邻肌肉部位；差分放大增益为1000～1100倍，带通滤波电路通带为0.5～40Hz，模数转换电路的采样频率为200～250KHz。
所述中央处理单元3通过滑动时间窗的RMS算法得到表面肌电信号的RMS波形并从中提取特征参数，并根据模式识别分类算法以判断用户做出的手势，中央处理单元3再根据手势识别结果，通过Wi-Fi输出控制指令至环境控制单元4；其中，从RMS波形中提取到的特征参数包括RMS波形的峰值、RMS波形的峰值时间以及肌肉运动的持续时间(如图2所示)。
所述环境控制单元4由多个终端设备构成，终端设备将接收的控制指令进行判断，若为自身的控制指令则执行相对应的动作；所述环境控制单元4和中央处理单元3以2.4GWi-Fi无线通信方式构成星型组网拓扑结构，中央处理单元3为星型组网拓扑结构的中心点，终端设备为星型组网拓扑结构的分支点，所述中央处理单元3通过Wi-Fi通信将控制指令输出至环境控制单元4，环境控制单元4中的每个终端设备接收到所述中央处理单元3的控制指令后，通过解析控制指令判断是否为自身控制指令，若是，则终端设备执行相对应的动作。
如图3所示，本发明还公开了一种基于视觉刺激界面的表面肌电人机交口的控制方法，包括以下步骤：
(1)离线环境运行，在训练界面上，测出用户每个特定手势的表面肌电信号特征，采用模式识别分类算法获得手势识别的分类模型；分类模型获得方法为：用户对每个运动态手势进行多次训练，系统通过特征提取方法得到训练样本的特征参数，并给每个运动态手势定义不同的标签；再将训练样本特征参数和其对应标签作为训练集，通过模式识别的SVM算法便可获得手势识别的分类模型；具体操作方法为：系统每次使用前，用户需通过训练界面，在每次字符闪烁后进行运动态手势输入，一共进行N次(通常N取10)，中央处理单元3对每次字符闪烁后的运动态表面肌电信号数据通过特征提取方法进行特征提取，得到RMS波形特征向量xi＝{xi 1,xi 2,xi 3},i＝1,...,N，其中xi为第i次闪烁后运动态手势所提取的特征向量，xi 1、xi 2和xi 3分别对应第i次闪烁后运动态手势的RMS波形峰值、RMS波形峰值时间和肌肉的运动持续时间等特征参数；计算N个运动态训练样本每一维的特征参数均值：
其中，m1、m2、m3对应N个运动态手势训练样本的RMS波形峰值、RMS波形峰值时间和肌肉的运动持续时间特征参数的均值，并定义m＝{m1,m2,m3}为分类基准向量。根据所述分类基准向量，计算出运动态手势的分类阈值向量K＝{K1,K2,K3}：
i＝1,2,3,
k＝1,...,N
而运动态手势的特征提取方法为：提取每个字符闪烁时刻开始后0～600ms的表面肌电数据；对表面肌电数据段进行降采样，进行0.5～40Hz的带通滤波器滤波，接着以滑动时间窗大小为N个采样点，滑动距离为1，对滤波后波形进行滑动时间窗的RMS算法，每个时间窗内可以根据下述均方根公式计算得到该时间窗的均方根值：
最后将每个时间窗得到的均方根值按时间顺序连接起来，从而得到表面肌电信号的RMS波形；对所述RMS波形提取多个波形特征参数，包括RMS波形的峰值Vp、RMS波形峰值时间tp，以及肌肉运动的持续时间dp；本发明中RMS波形的峰值Vp定义为RMS波形的最大值；本发明中峰值时间tp定义为RMS波形峰值出现时刻与字符闪烁时刻的时延；本发明中肌肉持续时间dp定义为RMS波形中大于所述RMS波形峰值10％的部分所占的时间间隔。
(2)在线环境运行，在测试界面上，所述视觉刺激单元1中的字符按随机的顺序闪烁，用户在目标字符闪烁后进行手势输入，所有字符闪烁一遍即为一轮，前后两个字符闪烁间隔200ms，一轮闪烁结束后200ms开启新一轮闪烁；
(3)中央处理单元3将对每轮中每个字符闪烁后一段时间的表面肌电信号进行同样的特征提取，并通过步骤(1)得到的分类模型对输入手势进行识别；中央处理单元3将通过分类算法判断每轮中每个字符闪烁后的一段时间内是否存在运动态手势输入；若某个字符后的手势识别结果为运动态手势，则判断该字符本轮闪烁中被选中，并结束本轮闪烁，进入下一轮；若某个字符后的手势识别结果为静息态手势，则判断字符没有被选中，其中，检测闪烁字符后是否有运动态手势输入的操作方法为：每个字符闪烁后的600ms数据定义为待测样本，中央处理单元3将对所述待测样本进行所述特征提取，得到待测样本的RMS波形特征参数构成的特征向量x＝{x1,x2,x3}，通过下式求出每一维特征向量的相对误差e＝{e1,e2,e3}：
系统对手势识别的分类决策为：若e中每一维小于分类阈值向量K中对应维的分类阈值，则判断该手势为运动态手势，即：
(4)当步骤(3)得到的手势识别为静息态手势时，系统将返回执行步骤(3)对用户的手势输入进行重新识别；
(5)当步骤(3)得到的手势识别为运动态手势时，中央处理单元3根据步骤(3)识别得到的手势类型和选中字符类型得到本轮闪烁的识别结果；
(6)当识别结果满足决策条件时，中央处理单元3将该识别结果对应的控制指令输送至环境控制单元4执行相应的操作，当识别结果不满足决策条件时，系统将返回执行步骤(3)对用户的手势输入进行重新识别，其中，决策条件为：当某个字符在最近的连续三轮闪烁中，至少两次被选中作为识别结果，则判断为用户正在跟随该字符的闪烁同步手部运动，进而输出对应的控制指令；如果不存在满足条件的字符，系统进入新一轮闪烁，不输出任何控制指令。

Claims (10)

1.一种基于视觉刺激界面的表面肌电人机接口系统，其特征在于：包括视觉刺激单元、表面肌电信号采集单元、中央处理单元和环境控制单元；所述视觉刺激单元用于产生视觉刺激提示；所述表面肌电信号采集单元用于采集单通道表面肌电信号并进行放大、滤波以及模数转换后，再将采集到的单通道表面肌电信号的数字量传输至中央处理单元；所述中央处理单元通过滑动时间窗的RMS算法得到表面肌电信号的RMS波形并从中提取特征参数，并根据模式识别分类算法以判断用户做出的手势，中央处理单元再根据手势识别结果，通过Wi-Fi输出控制指令至环境控制单元；所述环境控制单元由多个终端设备构成，终端设备将接收的控制指令进行判断，若为自身的控制指令则执行相对应的动作；其中，所述视觉刺激单元基于脑-机接口单字符刺激模式，由若干个字符组成，每个字符对应环境控制单元所执行的控制指令，字符按随机的顺序闪烁，同一时间只有一个字符闪烁，当所有字符闪烁一遍成为一轮，每轮中每个字符只能闪烁一次，用户跟随字符的闪烁同步进行手部运动来选中该字符，当用户选中该字符时，视觉刺激单元将会给予用户视觉反馈，提示用户已选中该字符。
2.根据权利要求1所述的一种基于视觉刺激界面的表面肌电人机接口系统，其特征在于：视觉刺激单元设有图形用户界面，图形用户界面中的字符按照一定频率闪烁，用于提示用户输入手势；图形用户界面包括训练界面和测试界面，所述训练界面由单个字符组成，用于采集用户训练样本，该字符的闪烁频率为0.5～1Hz；所述测试界面包括设备界面和控制界面，所述设备界面中的字符对应环境控制单元中的终端设备，设备界面的字符数等于环境控制单元的终端设备数，控制界面中的每个字符对应于终端设备的某个特定功能，控制界面的字符数等于终端设备的功能数。
3.根据权利要求1所述的一种基于视觉刺激界面的表面肌电人机接口系统，其特征在于：所述表面肌电采集单元为单通道的表面肌电采集传感器，表面肌电采集传感器包括差分放大电路、带通滤波电路、模数转换电路和数据输出电路；其中，差分放大电路由两个差分电极和一个参考电极组成，两个差分电极贴在目标肌肉的皮肤表面，参考电极贴在肘部等骨骼部位或目标肌肉的非相邻肌肉部位；差分放大增益为1000～1100倍，带通滤波电路通带为0.5～40Hz，模数转换电路的采样频率为200～250KHz。
4.根据权利要求1所述的一种基于视觉刺激界面的表面肌电人机接口系统，其特征在于：所述从RMS波形中提取到的特征参数包括RMS波形的峰值、RMS波形的峰值时间以及肌肉运动的持续时间。
5.根据权利要求1所述的一种基于视觉刺激界面的表面肌电人机接口系统，其特征在于：所述环境控制单元和中央处理单元以Wi-Fi无线通信方式构成星型组网拓扑结构，中央处理单元为星型组网拓扑结构的中心点，终端设备为星型组网拓扑结构的分支点，所述中央处理单元通过Wi-Fi通信将控制指令输出至环境控制单元，环境控制单元中的每个终端设备接收到所述中央处理单元的控制指令后，通过解析控制指令判断是否为自身控制指令，若是，则终端设备执行相对应的动作。
6.一种基于视觉刺激界面的表面肌电人机交口的控制方法，其特征在于包括以下步骤：
(1)离线环境运行，在训练界面上，测出用户每个特定手势的表面肌电信号特征，采用模式识别分类算法获得手势识别的分类模型；
(2)在线环境运行，在测试界面上，所述视觉刺激单元中的字符按随机的顺序闪烁，用户在目标字符闪烁后进行手势输入，所有字符闪烁一遍即为一轮；
(3)中央处理单元将对每轮中每个字符闪烁后一段时间的表面肌电信号进行同样的特征提取，并通过步骤(1)得到的分类模型对输入手势进行识别；
(4)当步骤(3)得到的手势识别为静息态手势时，系统将返回执行步骤(3)对用户的手势输入进行重新识别；
(5)当步骤(3)得到的手势识别为运动态手势时，中央处理单元根据步骤(3)识别得到的手势类型和选中字符类型得到本轮闪烁的识别结果；
(6)当识别结果满足决策条件时，中央处理单元将该识别结果对应的控制指令输送至环境控制单元执行相应的操作，当识别结果不满足决策条件时，系统将返回执行步骤(3)对用户的手势输入进行重新识别。
7.根据权利要求6所述的一种基于视觉刺激界面的表面肌电人机交口的控制方法，其特征在于：步骤(1)中的分类模型获得方法为：用户对每个运动态手势进行多次训练，系统通过特征提取方法得到训练样本的特征参数，并给每个运动态手势定义不同的标签；再将训练样本特征参数和其对应标签作为训练集，通过模式识别的SVM算法便可获得手势识别的分类模型；其中，运动态手势的特征提取方法为：每次字符闪烁后，提取一段表面肌电数据，其中包含闪烁时刻开始后0～600ms的表面肌电数据；对每个通道的表面肌电数据段进行降采样，并经过0.5～40Hz的带通滤波器滤波，再做滑动时间窗的RMS算法得到表面肌电信号的RMS波形；最后对所述RMS波形提取多个波形特征参数，包括RMS波形的峰值、RMS波形峰值时间以及肌肉运动的持续时间。
8.根据权利要求6所述的一种基于视觉刺激界面的表面肌电人机交口的控制方法，其特征在于：步骤(3)中，当系统在线运行时，所述视觉刺激单元的字符将开始随机闪烁，中央处理单元将通过分类算法判断每轮中每个字符闪烁后的一段时间内是否存在运动态手势输入；若某个字符后的手势识别结果为运动态手势，则判断该字符本轮闪烁中被选中，并结束本轮闪烁，进入下一轮；若某个字符后的手势识别结果为静息态手势，则判断字符没有被选中。
9.根据权利要求6所述的一种基于视觉刺激界面的表面肌电人机交口的控制方法，其特征在于：步骤(6)中的决策条件为：当某个字符在最近的连续三轮闪烁中，至少两次被选中作为识别结果，则判断为用户正在跟随该字符的闪烁同步手部运动，进而输出对应的控制指令；如果不存在满足条件的字符，系统进入新一轮闪烁，不输出任何控制指令。
10.根据权利要求8所述的一种基于视觉刺激界面的表面肌电人机交口的控制方法，其特征在于：所述视觉刺激单元中的字符按照随机的顺序依次闪烁，前后两个字符闪烁间隔200～250ms，一轮闪烁结束后200～250ms开启新一轮闪烁。
CN201910306671.3A 2019-04-17 2019-04-17 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法 Active CN110018744B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910306671.3A CN110018744B (zh) 2019-04-17 2019-04-17 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910306671.3A CN110018744B (zh) 2019-04-17 2019-04-17 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法

Publications (2)

Publication Number Publication Date
CN110018744A true CN110018744A (zh) 2019-07-16
CN110018744B CN110018744B (zh) 2023-10-20

Family

ID=67191552

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910306671.3A Active CN110018744B (zh) 2019-04-17 2019-04-17 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法

Country Status (1)

Country Link
CN (1) CN110018744B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932508A (zh) * 2021-01-29 2021-06-11 电子科技大学 一种基于手臂肌电网络的手指活动识别系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508545A (zh) * 2011-10-24 2012-06-20 天津大学 一种视觉P300-Speller脑-机接口方法
CN105528072A (zh) * 2015-12-02 2016-04-27 天津大学 一种动态停止策略下的脑-机接口拼写系统
CN108829252A (zh) * 2018-06-14 2018-11-16 吉林大学 基于肌电信号的手势输入计算机字符装置及方法
CN108829245A (zh) * 2018-05-30 2018-11-16 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102508545A (zh) * 2011-10-24 2012-06-20 天津大学 一种视觉P300-Speller脑-机接口方法
CN105528072A (zh) * 2015-12-02 2016-04-27 天津大学 一种动态停止策略下的脑-机接口拼写系统
CN108829245A (zh) * 2018-05-30 2018-11-16 中国人民解放军军事科学院国防科技创新研究院 一种基于多模态脑机交互技术的虚拟沙盘交互控制系统
CN108829252A (zh) * 2018-06-14 2018-11-16 吉林大学 基于肌电信号的手势输入计算机字符装置及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112932508A (zh) * 2021-01-29 2021-06-11 电子科技大学 一种基于手臂肌电网络的手指活动识别系统
CN112932508B (zh) * 2021-01-29 2022-10-14 电子科技大学 一种基于手臂肌电网络的手指活动识别系统

Also Published As

Publication number Publication date
CN110018744B (zh) 2023-10-20

Similar Documents

Publication Publication Date Title
CN107007407B (zh) 基于眼电的轮椅控制系统
CN103793058B (zh) 一种主动式脑机交互系统运动想象任务分类方法及装置
Serby et al. An improved P300-based brain-computer interface
CN101711709B (zh) 利用眼电和脑电信息的电动假手控制方法
CN103699226B (zh) 一种基于多信息融合的三模态串行脑-机接口方法
CN101464728B (zh) 视觉运动相关神经信号为载体的人机交互方法
CN104758130B (zh) 一种基于脑机接口的智能护理装置及方法
CN101976115B (zh) 一种基于运动想象与p300脑电电位的功能键选择方法
CN105549743A (zh) 一种基于脑-机接口的机器人系统及实现方法
CN102200833B (zh) 一种Speller BCI系统及其控制方法
CN102184018B (zh) 一种脑机接口系统及其控制方法
CN103349595A (zh) 基于多模式分层控制的脑机接口智能轮椅
CN106708273B (zh) 一种基于eog的开关装置及开关键实现方法
CN111584031B (zh) 基于便携式脑电采集设备的脑控智能肢体康复系统及应用
CN110495893A (zh) 一种运动意图连续脑肌电多层次动态融合识别系统及方法
CN107981997A (zh) 一种基于人脑运动意图的智能轮椅控制方法及系统
CN113274032A (zh) 一种基于ssvep+mi脑机接口的脑卒中康复训练系统及方法
CN104571504A (zh) 一种基于想象动作的在线脑-机接口方法
CN105904459A (zh) 基于眼电信号识别的机器人控制系统及该系统的设计方法
CN107822629A (zh) 四肢表面肌电轴的检测方法
CN106774851A (zh) 基于脑机接口的触感手指运动康复系统及方法
WO2018103495A1 (zh) 一种基于eog的异步字符输入方法及装置
Turgunov et al. Using different features of signal in EMG signal classification
CN113713333B (zh) 一种下肢康复全训练过程的动态虚拟诱导方法及系统
CN110018744A (zh) 一种基于视觉刺激界面的表面肌电人机接口系统及其控制方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant