CN107340863A - 一种基于emg的交互方法 - Google Patents

一种基于emg的交互方法 Download PDF

Info

Publication number
CN107340863A
CN107340863A CN201710517400.3A CN201710517400A CN107340863A CN 107340863 A CN107340863 A CN 107340863A CN 201710517400 A CN201710517400 A CN 201710517400A CN 107340863 A CN107340863 A CN 107340863A
Authority
CN
China
Prior art keywords
eigenvectors
characteristic vector
emg
selection key
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710517400.3A
Other languages
English (en)
Other versions
CN107340863B (zh
Inventor
李远清
肖景
瞿军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710517400.3A priority Critical patent/CN107340863B/zh
Publication of CN107340863A publication Critical patent/CN107340863A/zh
Priority claimed from US16/461,576 external-priority patent/US10838496B2/en
Application granted granted Critical
Publication of CN107340863B publication Critical patent/CN107340863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00523Feature extraction
    • G06K9/0053Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00496Recognising patterns in signals and combinations thereof
    • G06K9/00536Classification; Matching

Abstract

一种基于EMG的交互方法,使用者将n个手指分别与EMG采集装置的n个信号采集端相连,打开虚拟系统,进入脑机交互界面;在脑机交互界面生成有m行n列选择键,每个选择键分别设置有唯一的数字标记,所述n列选择键分别与n个信号采集端一一对应。本发明将选择键分为多行选闪烁,通过操作行内虚拟键判断手指EGM信号,来确定目标选择键,与现行PC机的键盘输入方式吻合,可大大提高功能键的选择效率。

Description

一种基于EMG的交互方法
技术领域
[0001] 本发明虚拟现实领域,具体涉及一种基于EMG的交互方法。
背景技术
[0002] 虚拟现实(简称VR),又称灵境技术,是以沉浸性、交互性和构想性为基本特征的计 算机高级人机界面。他综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计 算机网络技术、并行处理技术和多传感器技术,模拟人的视觉、听觉、触觉等感觉器官功能, 使人能够沉浸在计算机生成的虚拟境界中,并能够通过语言、手势等自然的方式与之进行 实时交互,创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到 在客观物理世界中所经历的“身临其境”的逼真性,而且能够突破空间、时间以及其他客观 限制,感受到真实世界中无法亲身经历的体验。
[0003] AR又叫增强现实(Augmented Reality,简称AR)。它是一种将真实世界信息和虚拟 世界信息“无缝”集成的新技术,是把原本在现实世界的一定时间空间范围内很难体验到的 实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术,模拟仿真后再叠加,将虚 拟的信息应用到真实世界,被人类感官所感知,从而达到超越现实的感官体验。简单的来说 VR是全虚拟世界,AR是半真实半虚拟的世界。
[0004] MR又叫混合现实(Mix reality,简称MR),既包括增强现实和增强虚拟,指的是合 并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存, 并实时互动。
[0005] 全息投影技术也称虚拟成像技术,是利用干涉和衍射原理记录并再现物体真实的 三维图像的技术。全息投影技术不仅可以产生立体的空中幻像,还可以使幻像与表演者产 生互动,一起完成表演,产生令人震撼的演出效果。关于全息投影最形象的理解就是《钢铁 侠》中的“贾维斯”。
[0006] 裸眼3D最简单的理解就是裸眼看3D电影达到的效果就如同我们现在使用3D眼镜 看3D电影产生的效果。
[0007] 沉浸式的体验使得现有的计算机交互工具如键盘、鼠标、触控板等很难使用在其 中,如何开发更适合VR的交互方式成为行业热点,仍处于探索和研究阶段。目前主流的交互 方式主要有以下几种:
[0008] 感觉式沉浸
[0009]感觉式沉浸,主要靠采集肢体动作来进行交互。其缺点是设备笨重(通常使用多摄 像头技术完成肢体动作采集),结构复杂,且需要记忆较多的手势命令,使用场景极其受限。 [0010] 交互式沉浸
[0011]主要靠动作跟踪和按键控制完成交互。一般性产品有手柄、摇杆、体感枪、方向盘 等。手柄等设施虽然可实现高效的控制,但其存在按键较少,功能单一等问题,尤其要手持, 影响沉浸感,需要选择更合适的解决方案。
[0012] 肌电(electromyogram,EMG),是由肌肉在静止、收缩、兴奋等动作产生的生物电信 号。
[0013]申请号为201610973410.3的中国发明专利申请,于2016年11月7日申请了一种“虚 拟现实交互方法及装置”,该方案通过眼睛、眼球、视线状态等追踪技术,获取VR用户的主动 眼睛动作,执行相应的功能。该专利对主动眨眼的操作要求比较复杂,并且全程眨眼操作, 并不能完成复杂的输入(如50按键的字符输入等),有一定的局限性。
[0014]因此,提供一种根据EMG信号准确输入字符的方法及装置具有重要的意义。
发明内容
[0015] 本发明针对现有技术的不足,提出一种基于EMG的交互方法,具体技术方案如下: [0016] 一种基于EMG的交互方法,其特征在于:
[0017]采用以下步骤,
[0018]步骤1:使用者将n个手指分别与EMG采集装置的n个信号采集端相连,打开虚拟系 统,进入脑机交互界面;
[0019] 步骤2:在脑机交互界面生成有mRn列选择键,每个选择键分别设置有唯一的数字 标记,所述n列选择键分别与n个信号采集端一一对应;
[0020]步骤3:m行选择键,行与行之间轮流闪烁,每次闪烁为整行选择键同时闪烁;
[0021]步骤4:判断在该整行选择键闪烁时,是否有EMG信号产生,若否,则回到步骤3进行 下一行的整行选择键闪烁;若是,则设该行为工作行,进入步骤5;
[0022]步骤5:在工作行中的n列选择键按照顺序进行闪烁,每个选择键闪烁时,打标系统 发送对应与该选择键对应的数字标记插入到EMG采集装置的采样时间轴上;
[0023]步骤6:使用者在需要选择的选择键闪烁时,与该选择键对应的手指做出相应的动 作;
[0024]步骤7: EMG采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征 向量,n个按键均闪烁完成后,生成有〇个特征向量,该n个特征向量形成一组特征向量集Di;
[0025] 步骤8:将特征向量集Di中的特征向量通过预处理后,将特征向量通过分类器进行 判断;
[0026] 步骤9:判断特征向量集Di中是否存在目标特征向量,如果存在目标特征向量,则 进入下一步骤,否则进入步骤12;
[0027] ,步骤10:按照步骤5和步骤9循环至少一轮,得到特征向量集叫+1,判断特征向量集 Di和特征向量集Di+1中的特征向量是否相同,如果均相同,按照特征向量集Di和特征向量集 Di+i的所述目标特征向量确定选择键,进入下一步骤,否则,回到步骤5;
[0028]步骤11:判断该选择键是否为结束输出,如果是,则进入步骤15,否则,进入下一步 骤;
[0029]步骤12:判断输入是否完成,如果输入完成,进入步骤14,否则,进入到下一步骤; [0030]步骤I3:进入到下一个工作行,按照步骤4至步骤12处理;
[0031]步骤14:则按照输入的选择项执行;
[0032]步骤15:结束选择。
[0033]进一步地:所述步骤8包括以下步骤:
[0034]步骤81:对该组特征向量集Di内的特征向量数据依次进行包括去除基线漂移、去 隊bUHz丄频十犹以及帯通滤波在内的预处理;
[0035]步骤82:对预处理后特征向量集Di内的每个特征向量数据求一阶差分,具体方法 为: _6] di = Xi+1-Xi其中,i表示第i个采样点,碌示差分后的信号,x表示采样值;
[0037]_步骤83:特征向量集Di= [dl,d2, • • •,dN],该特征向量集〇1内的特征向量分别对应 工作行中的n个选择键的闪烁,将特征向量集叫进行分类得到n个分类结果s= [S1,S2,..., Si,• • •,SN],其中对分类结果S只保留其最大的前q个分值并将其余置零;
[0038]步骤84:将特征向量集Di内的特征向量进行波形检测,得到n个波形检测结果1 =
[wi,W2, . . . ,Wi, . . . ,Wn];
[0039] 步骤85:将分类结果S和波形检测结果W相乘,得到Ri = [ri,r2,...,ri,... ,rN];
[0040] 步骤9具体为:遍历Ri,若不存在n>0,则判断特征向量集Di中不存在目标特征向 量,进入步骤12,若存在n>0,则判断特征向量集Di中存在目标特征向量,进入下一步骤。
[0041 ]进一步地:所述步骤9包括以下步骤:
[0042]步骤101:按照步骤5至步骤9循环至少一轮,得到特征向量集Di+1和对应的心+1; [0043]步骤102:比较心和h+i中对应位置的元素是否相同,如果相同,则判断特征向量集 Di和特征向量集Di+1具有相同特征向量,按照特征向量集队和特征向量集Di+1的所述目标特 征向量确定选择键,进入下一步骤,否则,回到步骤5。
[0044]进一步地:所述步骤84,包括以下步骤:
[0045]步骤841:将特征向量集Di内的特征向量依次进行波形检测;
[0046]步骤842:判断波谷在波峰出现以后30-140毫秒的位置出现,如果是,则进入下一 步骤,否则,进入步骤846;
[0047]步骤843:判断波峰/波谷是否对应整段信号的最大/最小值点,如果是,则进入下 一步骤,否则,进入步骤846;
[0048]步骤844:判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值P,如果 是,则进入下一步骤,否则,进入步骤846;
[0049]步骤S45 :特征向量的波形检查通过,对应的Wl二1;
[OOM]步骤84e:特征向量的波形检查没通过,对应的Wi二〇;
[0051]步骤847:得到Wi= [wi,W2, • • •,Wi, • • •,wn]。
[0052]发明的有益效果为:第一,本发明识别方法这一块采用波形匹配和分类器两种方 法结合使用,在保证EMG信号被正常检测的同时,排除了系统对输入信号的误判,提高了检 测率,识别度。第二,本发明将选择键分为多行选闪烁,通过操作行内虚拟键判断手指EGM信 号,来确定目标选择键,与现行PC机的键盘输入方式吻合,可大大提高功能键的选择效率。
附图说明
[0053]图1为本发明的流程图;
[0054]图2为虚拟键盘的结构图;
[0055]图3为其中一个标记数字后的检测波形图。
具体实施方式
[0056]下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特仕阮 更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。
[0057] 本发明具体实施例如图1至图3所示,以一种虚拟键盘操作为例,
[0058] 一种基于EMG的交互方法,其特征在于:
[0059] 采用以下步骤,
[0060] 步骤1:使用者将10个手指分别与EMG采集装置的10个信号采集端相连,打开虚拟 系统,进入脑机交互界面; _
[0061] 步骤2:在脑机交互界面生成有4行选择键和2行按钮,其中2行按钮分别为退出行 按钮和确定行按钮,其它4行选择键中的每行分别设置有10个选择键,每个选择键分别设置 有唯一的数字标记,4行选择键中的10列选择键分别与10个信号采集端一一对应;
[0062]自左至右的十列按键分别由左手尾指EMG、左手无名指EMG、左手中指EMG、左手食 指EMG、左手拇指EMG、右手拇指EMG、右手食指EMG、右手中指EMG、右手无名指EMG、右手尾指 EMG进行操控;
[0063]当选择4行选择键中的其中一行,然后从中选择其中一列选择键,可以确定唯一的 数字标记。退出行按钮和确定行按钮也设置有唯一标记,该退出按钮,可由10个信号采集端 任何一个进行EMG信号输入,这里采用左手食指EMG进行信号输入,该确定行按钮也可由10 个信号采集端的任何一个进行EMG信号输入,这里采用右手食指EMG进行信号输入;
[0064] 步骤3:4行选择键和2行按钮,行与行之间轮流闪烁,4行选择键闪烁时,每次闪烁 为整行选择键同时闪烁;
[0065] 步骤4:判断在该整行闪烁时,是否有EMG信号产生,若否,则回到步骤3进行下一行 的整行闪烁;若是,则设该行为工作行,进入步骤5;
[0066] 步骤5:若该工作行为4行选择键之一,则在工作行中的10列选择键按照顺序进行 闪烁,每个选择键闪烁时,打标系统发送对应与该选择键对应的数字标记插入到EMG采集装 置的采样时间轴上;
[0067]步骤6:使用者在需要选择的选择键闪烁时,与该选择键对应的手指做出相应的动 作;
[0068]步骤7:EMG采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征 向量,1〇个按键均闪烁完成后,生成有10个特征向量,该10个特征向量形成一组特征向量集 Di;
[0069]步骤8:对该组特征向量集Di内的特征向量数据依次进行包括去除基线漂移、去除 50Hz工频干扰以及带通滤波在内的预处理;
[0070]步骤9:对预处理后特征向量集Di内的每个特征向量数据求一阶差分,具体方法 为:
[0071] di = xi+i-xi其中,i表不第i个米样点,d表示差分后的信号,X表示采样值;
[0072]步骤10:差分之后的特征向量集为Di= [dicb,• • •,d1()],该特征向量集Di内的特征 向量分别对应工作行中的n个选择键的闪烁,将特征向量集Di进行分类得到n个分类结果S =[si,s2, • . .,Si,• • •,S1Q],其中对分类结果S只保留其最大的前3个分值并将其余置零; [0073]步骤11:将特征向量集Di内的特征向量依次进行波形检测;
[0074]步骤12:判断波谷在波峰出现以后30-140毫秒的位置出现,如果是,则进入下一步 骤,否则,进入步骤16;
[0075]步骤13:判断波峰/波谷是否对应整段信号的最大/最小值点,如果是,则进入下一 步骤,否则,进入步骤16;
[0076]步骤14:判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值p,如果 是,则进入下一步骤,否则,进入步骤16;
[0077] 步骤15:特征向量的波形检查通过,对应的wi = 1;
[0078] 步骤16:特征向量的波形检查没通过,对应的% = 〇。
[0079]步骤17:通过步骤15和步骤16得到波形检测结果W= [Wl+W2+Wi••••••+],将分类结 果S和波形检测结果W相乘,得到Ri二[n,r2,...,ri,...,ri0];
[0080]步骤18:遍历Ri,若不存在n>0,则判断特征向量集Di中不存在目标特征向量,进 入步骤22,若存在ri > 〇,则判断特征向量集Di中存在目标特征向量,进入下一步骤;
[0081] 步骤19:按照步骤5和步骤17循环至少一轮,得到特征向量集Di+dD对应的Ri+1;
[0082]步骤20:比较Ri和Ri+冲对应位置的元素是否相同,如果相同,则判断特征向量集Di 和特征向量集Di+1具有相同特征向量,按照特征向量集Di和特征向量集01+1的所述目标特征 向量确定选择键后,退出到整行选择中,进入下一步骤,否则,回到步骤5。
[0083]步骤21:在退出行按钮处于闪烁状态时,判断退出行按钮是否被按下,如果是,则 进入步骤25,否则,进入下一步骤;
[0084]步骤22:在确定行按钮处于闪烁状态时,判断确定行按钮是否被按下,若有,
[0085]则进入步骤24,否则,进入到下一步骤;
[0086]步骤23:进入到下一个工作行,按照步骤4至步骤22重复;
[0087]步骤24:则按照输入的选择项执行;
[0088]步骤25:结束选择。

Claims (4)

1. 一种基于EMG的交互方法,其特征在于: 采用以下步骤, 步骤M吏用者将n个手指分别与EMG采集装置的n个信号采集端相连,打开虚拟系统,进 入脑机交互界面; 步骤2:在脑机交互界面生成有mRn列选择键,每个选择键分别设置有唯一的数字标 记,所述n列选择键分别与n个信号采集端一一对应; 步骤3:m行选择键,行与行之间轮流闪烁,每次闪烁为整行选择键同时闪烁; 步骤4:判断在该整行选择键闪烁时,是否有EMG信号产生,若否,则回到步骤3进行下一 行的整行选择键闪烁;若是,则设该行为工作行,进入步骤5; 步骤5:在工作行中的n列选择键按照顺序进行闪烁,每个选择键闪烁时,打标系统发送 对应与该选择键对应的数字标记插入到EMG采集装置的采样时间轴上; 步骤6:使用者在需要选择的选择键闪烁时,与该选择键对应的手指做出相应的动作; 步骤7:EMG采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征向 量,n个按键均闪烁完成后,生成有n个特征向量,该n个特征向量形成一组特征向量集Di; 步骤8:将特征向量集Di中的特征向量通过预处理后,将特征向量通过分类器进行判断; 步骤9:判断特征向量集Di中是否存在目标特征向量,如果存在目标特征向量,则进入下 一步骤,否则进入步骤12; 步骤10:按照步骤5和步骤9循环至少一轮,得到特征向量集Dl+1,判断特征向量集Di和特 征向量集Di+i中的特征向量是否相同,如果均相同,按照特征向量集Di和特征向量集])1+1的 所述目标特征向量确定选择键,进入下一步骤,否则,回到步骤5; 步骤11:判断该选择键是否为结束输出,如果是,则进入步骤15,否则,进入下一步骤; 步骤12:判断输入是否完成,如果输入完成,进入步骤14,否则,进入到下一步骤; 步骤13:进入到下一个工作行,按照步骤4至步骤处理; 步骤14:则按照输入的选择项执行; 步骤15:结束选择。
2.根据权利要求1所述一种基于EMG的交互方法,其特征在于:所述步骤8包括以下步 骤: 步骤81:对该组特征向量集Di内的特征向量数据依次进行包括去除基线漂移、去除50Hz 工频干扰以及带通滤波在内的预处理; 步骤82:对预处理后特征向量集队内的每个特征向量数据求一阶差分,具体方法为: di = Xi+1_Xi其中,i表示第i个采样点,d表示差分后的信号,x表示采样值; _步骤83:特征向量集Di= [di,d2, • • •,dN],该特征向量集Di内的特征向量分别对应工作 行中的n个选择键的闪烁,将特征向量集仏进行分类得到n个分类结果s= [S1,S2, •…, Si,...,sn],其中对分类结果S只保留其最大的前q个分值并将其余置零; 步骤84:将特征向量集Di内的特征向量进行波形检测,得到n个波形检测结果仏=[W1, W2,…,Wi,…,WN]; 步骤85:将分类结果S和波形检测结果W相乘,得到Ri = [ri,r2,...,ri,...,rN]; 步骤9具体为:遍历Ri,若不存在^>0,则判断特征向量集叫中不存在目标特征向量,进 入步骤12,若存在n>0,则判断特征向量集Di中存在目标特征向量,进入下一步骤。
3.根据权利要求1所述一祌基于EMG的交互方法,其特征在于:所述步骤9包括以下步 骤: 步骤101:按照步骤5至步骤9循环至少一轮,得到特征向量集Di+1和对应的心+1; 步骤102:比较RdPRi+1中对应位置的元素是否相同,如果相同,则判断特征向量集^和 特征向量集Di+1具有相同特征向量,按照特征向量集Di和特征向量集Di+1的所述目标特征向 量确定选择键,进入下一步骤,否则,回到步骤5。
4.根据权利要求2所述一种基于EMG的交互方法,其特征在于:所述步骤84,包括以下步 骤: 步骤841:将特征向量集Di内的特征向量依次进行波形检测; 步骤842:判断波谷在波峰出现以后30-140毫秒的位置出现,如果是,则进入下一步骤, 否则,进入步骤846; 步骤843:判断波峰/波谷是否对应整段信号的最大/最小值点,如果是,则进入下一步 骤,否则,进入步骤846; 步骤844:判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值P,如果是,则 进入下一步骤,否则,进入步骤846; 步骤845:特征向量的波形检查通过,对应的^ = 1; 步骤846:特征向量的波形检查没通过,对应的^ = 〇; 步骤847:得到Wi = [Wl,W2, • • •,Wi, • • •,WN]。
CN201710517400.3A 2017-06-29 2017-06-29 一种基于emg的交互方法 Active CN107340863B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710517400.3A CN107340863B (zh) 2017-06-29 2017-06-29 一种基于emg的交互方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710517400.3A CN107340863B (zh) 2017-06-29 2017-06-29 一种基于emg的交互方法
US16/461,576 US10838496B2 (en) 2017-06-29 2018-06-22 Human-machine interaction method based on visual stimulation
PCT/CN2018/092392 WO2019001360A1 (zh) 2017-06-29 2018-06-22 一种基于视觉刺激的人机交互方法

Publications (2)

Publication Number Publication Date
CN107340863A true CN107340863A (zh) 2017-11-10
CN107340863B CN107340863B (zh) 2019-12-03

Family

ID=60218183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710517400.3A Active CN107340863B (zh) 2017-06-29 2017-06-29 一种基于emg的交互方法

Country Status (1)

Country Link
CN (1) CN107340863B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958620A (zh) * 2018-05-04 2018-12-07 天津大学 一种基于前臂表面肌电的虚拟键盘设计方法
WO2019001360A1 (zh) * 2017-06-29 2019-01-03 华南理工大学 一种基于视觉刺激的人机交互方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515199A (zh) * 2009-03-24 2009-08-26 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
WO2013135299A1 (en) * 2012-03-15 2013-09-19 Cherradi El Fadili Ibrahim Farid Extending the free fingers typing technology and introducing the finger taps language technology
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
CN104398325A (zh) * 2014-11-05 2015-03-11 西安交通大学 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
CN106227354A (zh) * 2016-08-31 2016-12-14 博睿康科技(常州)股份有限公司 一种脑机交互穿戴系统
CN206162388U (zh) * 2016-08-31 2017-05-10 博睿康科技(常州)股份有限公司 一种脑机交互穿戴系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515199A (zh) * 2009-03-24 2009-08-26 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
WO2013135299A1 (en) * 2012-03-15 2013-09-19 Cherradi El Fadili Ibrahim Farid Extending the free fingers typing technology and introducing the finger taps language technology
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
CN104398325A (zh) * 2014-11-05 2015-03-11 西安交通大学 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
CN106227354A (zh) * 2016-08-31 2016-12-14 博睿康科技(常州)股份有限公司 一种脑机交互穿戴系统
CN206162388U (zh) * 2016-08-31 2017-05-10 博睿康科技(常州)股份有限公司 一种脑机交互穿戴系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019001360A1 (zh) * 2017-06-29 2019-01-03 华南理工大学 一种基于视觉刺激的人机交互方法
US10838496B2 (en) 2017-06-29 2020-11-17 South China University Of Technology Human-machine interaction method based on visual stimulation
CN108958620A (zh) * 2018-05-04 2018-12-07 天津大学 一种基于前臂表面肌电的虚拟键盘设计方法

Also Published As

Publication number Publication date
CN107340863B (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
CN107272905B (zh) 一种基于eog和emg的交互方法
Zhou et al. Virtual reality: A state-of-the-art survey
CN105608432B (zh) 一种基于瞬时肌电图像的手势识别方法
CN107340863B (zh) 一种基于emg的交互方法
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
Boehm et al. Dynamic gesture recognition using neural networks: a fundament for advanced interaction construction
US10838496B2 (en) Human-machine interaction method based on visual stimulation
CN106355072A (zh) 三维模型验证码的实现方法及其装置
CN107656613A (zh) 一种基于眼动追踪的人机交互系统及其工作方法
CN106293099A (zh) 手势识别方法及系统
CN107066979A (zh) 一种基于深度信息和多维度卷积神经网络的人体动作识别方法
Zhao et al. Comparing head gesture, hand gesture and gamepad interfaces for answering Yes/No questions in virtual environments
Yeh et al. An integrated system: virtual reality, haptics and modern sensing technique (VHS) for post-stroke rehabilitation
CN108509910A (zh) 基于fmcw雷达信号的深度学习手势识别方法
CN106990835B (zh) 一种运动训练评估方法及装置
Kavakli Gesture recognition in virtual reality
CN109993131B (zh) 一种基于多模态信号融合的设计意图判别系统及方法
CN104484034B (zh) 一种基于手势识别的手势运动基元过渡帧定位方法
CN107766773A (zh) 基于手势的多维度控制方法和控制装置
Lin Spatio-temporal hand gesture recognition using neural networks
CN110516153A (zh) 视频的智能推送方法和装置、存储介质及电子装置
CN110222730A (zh) 基于惯性传感器的用户身份识别方法及识别模型构建方法
Kreimeier et al. Feelvr: Haptic exploration of virtual objects
CN110083238A (zh) 基于增强现实技术的人机互动方法与系统
CN109190686A (zh) 一种基于关节依赖的人体骨架提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant