CN107340863B - 一种基于emg的交互方法 - Google Patents

一种基于emg的交互方法 Download PDF

Info

Publication number
CN107340863B
CN107340863B CN201710517400.3A CN201710517400A CN107340863B CN 107340863 B CN107340863 B CN 107340863B CN 201710517400 A CN201710517400 A CN 201710517400A CN 107340863 B CN107340863 B CN 107340863B
Authority
CN
China
Prior art keywords
selection key
eigenvectors
feature vector
emg
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710517400.3A
Other languages
English (en)
Other versions
CN107340863A (zh
Inventor
李远清
肖景
瞿军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN201710517400.3A priority Critical patent/CN107340863B/zh
Publication of CN107340863A publication Critical patent/CN107340863A/zh
Priority to US16/461,576 priority patent/US10838496B2/en
Priority to PCT/CN2018/092392 priority patent/WO2019001360A1/zh
Application granted granted Critical
Publication of CN107340863B publication Critical patent/CN107340863B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Neurosurgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Machine Translation (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

一种基于EMG的交互方法，使用者将n个手指分别与EMG采集装置的n个信号采集端相连，打开虚拟系统，进入脑机交互界面；在脑机交互界面生成有m行n列选择键，每个选择键分别设置有唯一的数字标记，所述n列选择键分别与n个信号采集端一一对应。本发明将选择键分为多行选闪烁，通过操作行内虚拟键判断手指EGM信号，来确定目标选择键，与现行PC机的键盘输入方式吻合，可大大提高功能键的选择效率。

Description

一种基于EMG的交互方法
技术领域
本发明虚拟现实领域，具体涉及一种基于EMG的交互方法。
背景技术
虚拟现实(简称VR)，又称灵境技术，是以沉浸性、交互性和构想性为基本特征的计算机高级人机界面。他综合利用了计算机图形学、仿真技术、多媒体技术、人工智能技术、计算机网络技术、并行处理技术和多传感器技术，模拟人的视觉、听觉、触觉等感觉器官功能，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。使用者不仅能够通过虚拟现实系统感受到在客观物理世界中所经历的“身临其境”的逼真性，而且能够突破空间、时间以及其他客观限制，感受到真实世界中无法亲身经历的体验。
AR又叫增强现实(Augmented Reality，简称AR)。它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息,声音,味道,触觉等),通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。简单的来说VR是全虚拟世界，AR是半真实半虚拟的世界。
MR又叫混合现实(Mix reality，简称MR)，既包括增强现实和增强虚拟，指的是合并现实和虚拟世界而产生的新的可视化环境。在新的可视化环境里物理和数字对象共存，并实时互动。
全息投影技术也称虚拟成像技术，是利用干涉和衍射原理记录并再现物体真实的三维图像的技术。全息投影技术不仅可以产生立体的空中幻像，还可以使幻像与表演者产生互动，一起完成表演，产生令人震撼的演出效果。关于全息投影最形象的理解就是《钢铁侠》中的“贾维斯”。
裸眼3D最简单的理解就是裸眼看3D电影达到的效果就如同我们现在使用3D眼镜看3D电影产生的效果。
沉浸式的体验使得现有的计算机交互工具如键盘、鼠标、触控板等很难使用在其中，如何开发更适合VR的交互方式成为行业热点，仍处于探索和研究阶段。目前主流的交互方式主要有以下几种：
感觉式沉浸
感觉式沉浸，主要靠采集肢体动作来进行交互。其缺点是设备笨重(通常使用多摄像头技术完成肢体动作采集)，结构复杂，且需要记忆较多的手势命令，使用场景极其受限。
交互式沉浸
主要靠动作跟踪和按键控制完成交互。一般性产品有手柄、摇杆、体感枪、方向盘等。手柄等设施虽然可实现高效的控制，但其存在按键较少，功能单一等问题，尤其要手持，影响沉浸感，需要选择更合适的解决方案。
肌电(electromyogram，EMG)，是由肌肉在静止、收缩、兴奋等动作产生的生物电信号。
申请号为201610973410.3的中国发明专利申请，于2016年11月7日申请了一种“虚拟现实交互方法及装置”，该方案通过眼睛、眼球、视线状态等追踪技术，获取VR用户的主动眼睛动作，执行相应的功能。该专利对主动眨眼的操作要求比较复杂，并且全程眨眼操作，并不能完成复杂的输入(如50按键的字符输入等)，有一定的局限性。
因此，提供一种根据EMG信号准确输入字符的方法及装置具有重要的意义。
发明内容
本发明针对现有技术的不足，提出一种基于EMG的交互方法，具体技术方案如下：
一种基于EMG的交互方法，其特征在于：
采用以下步骤，
步骤1：使用者将n个手指分别与EMG采集装置的n个信号采集端相连，打开虚拟系统，进入脑机交互界面；
步骤2：在脑机交互界面生成有m行n列选择键，每个选择键分别设置有唯一的数字标记，所述n列选择键分别与n个信号采集端一一对应；
步骤3：m行选择键，行与行之间轮流闪烁，每次闪烁为整行选择键同时闪烁；
步骤4：判断在该整行选择键闪烁时，是否有EMG信号产生，若否，则回到步骤3进行下一行的整行选择键闪烁；若是，则设该行为工作行，进入步骤5；
步骤5：在工作行中的n列选择键按照顺序进行闪烁，每个选择键闪烁时，打标系统发送对应与该选择键的数字标记插入到EMG采集装置的采样时间轴上；
步骤6：使用者在需要选择的选择键闪烁时，与该选择键对应的手指做出相应的动作；
步骤7：EMG采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征向量，n个按键均闪烁完成后，生成有n个特征向量，该n个特征向量形成一组特征向量集Di；
步骤8：将特征向量集Di中的特征向量通过预处理后，将特征向量通过分类器进行判断；
步骤9：判断特征向量集Di中是否存在目标特征向量，如果存在目标特征向量，则进入下一步骤，否则进入步骤12；
步骤10：按照步骤5和步骤9循环至少一轮，得到特征向量集Di+1，判断特征向量集Di和特征向量集Di+1中的特征向量是否相同，如果均相同，按照特征向量集Di和特征向量集Di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤5；
步骤11：判断该选择键是否为结束输出，如果是，则进入步骤15，否则，进入下一步骤；
步骤12：判断输入是否完成，如果输入完成，进入步骤14，否则，进入到下一步骤；
步骤13：进入到下一个工作行，按照步骤4至步骤12处理；
步骤14：则按照输入的选择项执行；
步骤15：结束选择。
进一步地：所述步骤8包括以下步骤：
步骤81：对该组特征向量集Di内的特征向量数据依次进行包括去除基线漂移、去除50Hz工频干扰以及带通滤波在内的预处理；
步骤82：对预处理后特征向量集Di内的每个特征向量数据求一阶差分，具体方法为：
di＝xi+1-xi其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；
步骤83：特征向量集Di＝[d1,d2,...,dN]，该特征向量集Di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集Di进行分类得到n个分类结果S＝[s1,s2,...，si,...,sN]，其中对分类结果S只保留其最大的前q个分值并将其余置零；
步骤84：将特征向量集Di内的特征向量进行波形检测，得到n个波形检测结果Wi＝[w1,w2,...,wi,...,wN]；
步骤85：将分类结果S和波形检测结果W相乘，得到Ri＝[r1,r2,...，ri,...,rN]；
步骤9具体为：遍历Ri，若不存在ri>0，则判断特征向量集Di中不存在目标特征向量，进入步骤12，若存在ri>0，则判断特征向量集Di中存在目标特征向量，进入下一步骤。
进一步地：所述步骤10包括以下步骤：
步骤101：按照步骤5至步骤9循环至少一轮，得到特征向量集Di+1和对应的Ri+1；
步骤102：比较Ri和Ri+1中对应位置的元素是否相同，如果相同，则判断特征向量集Di和特征向量集Di+1具有相同特征向量，按照特征向量集Di和特征向量集Di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤5。
进一步地：所述步骤84，包括以下步骤：
步骤841：将特征向量集Di内的特征向量依次进行波形检测；
步骤842：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤846；
步骤843：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤846；
步骤844：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值P，如果是，则进入下一步骤，否则，进入步骤846；
步骤845：特征向量的波形检查通过，对应的wi＝1；
步骤846：特征向量的波形检查没通过，对应的wi＝0；
步骤847：得到Wi＝[w1,w2,...,wi,...,wN]。
发明的有益效果为：第一，本发明识别方法这一块采用波形匹配和分类器两种方法结合使用，在保证EMG信号被正常检测的同时，排除了系统对输入信号的误判，提高了检测率，识别度。第二，本发明将选择键分为多行选闪烁，通过操作行内虚拟键判断手指EGM信号，来确定目标选择键，与现行PC机的键盘输入方式吻合，可大大提高功能键的选择效率。
附图说明
图1为本发明的流程图；
图2为虚拟键盘的结构图；
图3为其中一个标记数字后的检测波形图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
本发明具体实施例如图1至图3所示，以一种虚拟键盘操作为例，
一种基于EMG的交互方法，其特征在于：
采用以下步骤，
步骤1：使用者将10个手指分别与EMG采集装置的10个信号采集端相连，打开虚拟系统，进入脑机交互界面；
步骤2：在脑机交互界面生成有4行选择键和2行按钮，其中2行按钮分别为退出行按钮和确定行按钮，其它4行选择键中的每行分别设置有10个选择键，每个选择键分别设置有唯一的数字标记，4行选择键中的10列选择键分别与10个信号采集端一一对应；
自左至右的十列按键分别由左手尾指EMG、左手无名指EMG、左手中指EMG、左手食指EMG、左手拇指EMG、右手拇指EMG、右手食指EMG、右手中指EMG、右手无名指EMG、右手尾指EMG进行操控；
当选择4行选择键中的其中一行，然后从中选择其中一列选择键，可以确定唯一的数字标记。退出行按钮和确定行按钮也设置有唯一标记，该退出按钮,可由10个信号采集端任何一个进行EMG信号输入，这里采用左手食指EMG进行信号输入，该确定行按钮也可由10个信号采集端的任何一个进行EMG信号输入，这里采用右手食指EMG进行信号输入；
步骤3：4行选择键和2行按钮，行与行之间轮流闪烁，4行选择键闪烁时，每次闪烁为整行选择键同时闪烁；
步骤4：判断在该整行闪烁时，是否有EMG信号产生，若否，则回到步骤3进行下一行的整行闪烁；若是，则设该行为工作行，进入步骤5；
步骤5：若该工作行为4行选择键之一，则在工作行中的10列选择键按照顺序进行闪烁，每个选择键闪烁时，打标系统发送对应与该选择键对应的数字标记插入到EMG采集装置的采样时间轴上；
步骤6：使用者在需要选择的选择键闪烁时，与该选择键对应的手指做出相应的动作；
步骤7：EMG采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征向量，10个按键均闪烁完成后，生成有10个特征向量，该10个特征向量形成一组特征向量集Di；
步骤8：对该组特征向量集Di内的特征向量数据依次进行包括去除基线漂移、去除50Hz工频干扰以及带通滤波在内的预处理；
步骤9：对预处理后特征向量集Di内的每个特征向量数据求一阶差分，具体方法为：
di＝xi+1-xi其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；
步骤10：差分之后的特征向量集为Di＝[d1,d2,...,d10]，该特征向量集Di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集Di进行分类得到n个分类结果S＝[s1,s2,...，si,...,s10]，其中对分类结果S只保留其最大的前3个分值并将其余置零；
步骤11：将特征向量集Di内的特征向量依次进行波形检测；
步骤12：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤16；
步骤13：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤16；
步骤14：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值P，如果是，则进入下一步骤，否则，进入步骤16；
步骤15：特征向量的波形检查通过，对应的wi＝1；
步骤16：特征向量的波形检查没通过，对应的wi＝0。
步骤17：通过步骤15和步骤16得到波形检测结果W＝[w1+w2+wi……+w10]，将分类结果S和波形检测结果W相乘，得到Ri＝[r1,r2,...，ri,...,r10]；
步骤18：遍历Ri，若不存在ri＞0，则判断特征向量集Di中不存在目标特征向量，进入步骤22，若存在ri＞0，则判断特征向量集Di中存在目标特征向量，进入下一步骤；
步骤19：按照步骤5和步骤17循环至少一轮，得到特征向量集Di+1和对应的Ri+1；
步骤20：比较Ri和Ri+1中对应位置的元素是否相同，如果相同，则判断特征向量集Di和特征向量集Di+1具有相同特征向量，按照特征向量集Di和特征向量集Di+1的所述目标特征向量确定选择键后，退出到整行选择中，进入下一步骤，否则，回到步骤5。
步骤21：在退出行按钮处于闪烁状态时，判断退出行按钮是否被按下，如果是，则进入步骤25，否则，进入下一步骤；
步骤22：在确定行按钮处于闪烁状态时，判断确定行按钮是否被按下，若有，则进入步骤24，否则，进入到下一步骤；
步骤23：进入到下一个工作行，按照步骤4至步骤22重复；
步骤24：则按照输入的选择项执行；
步骤25：结束选择。

Claims (3)

1.一种基于EMG的交互方法，其特征在于：
采用以下步骤，
步骤1：使用者将n个手指分别与EMG采集装置的n个信号采集端相连，打开虚拟系统，进入脑机交互界面；
步骤2：在脑机交互界面生成有m行n列选择键，每个选择键分别设置有唯一的数字标记，所述n列选择键分别与n个信号采集端一一对应；
步骤3：m行选择键，行与行之间轮流闪烁，每次闪烁为整行选择键同时闪烁；
步骤4：判断在该整行选择键闪烁时，是否有EMG信号产生，若否，则回到步骤3进行下一行的整行选择键闪烁；若是，则设该行为工作行，进入步骤5；
步骤5：在工作行中的n列选择键按照顺序进行闪烁，每个选择键闪烁时，打标系统发送对应与该选择键的数字标记插入到EMG采集装置的采样时间轴上；
步骤6：使用者在需要选择的选择键闪烁时，与该选择键对应的手指做出相应的动作；
步骤7：EMG采集装置从与所述数字标记对应的信号采集端采取一段信号作为特征向量，n个按键均闪烁完成后，生成有n个特征向量，该n个特征向量形成一组特征向量集Di；
步骤8：将特征向量集Di中的特征向量通过预处理后，将特征向量通过分类器进行判断；
步骤9：判断特征向量集Di中是否存在目标特征向量，如果存在目标特征向量，则进入下一步骤，否则进入步骤12；
步骤10：按照步骤5和步骤9循环至少一轮，得到特征向量集Di+1，判断特征向量集Di和特征向量集Di+1中的特征向量是否相同，如果均相同，按照特征向量集Di和特征向量集Di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤5；
步骤11：判断该选择键是否为结束输出，如果是，则进入步骤15，否则，进入下一步骤；
步骤12：判断输入是否完成，如果输入完成，进入步骤14，否则，进入到下一步骤；
步骤13：进入到下一个工作行，按照步骤4至步骤12处理；
步骤14：则按照输入的选择项执行；
步骤15：结束选择；
所述步骤8包括以下步骤：
步骤81：对该组特征向量集Di内的特征向量数据依次进行包括去除基线漂移、去除50Hz工频干扰以及带通滤波在内的预处理；
步骤82：对预处理后特征向量集Di内的每个特征向量数据求一阶差分，具体方法为：
di＝xi+1-xi其中，i表示第i个采样点，d表示差分后的信号，x表示采样值；
步骤83：特征向量集Di＝[d1,d2,...,dN]，该特征向量集Di内的特征向量分别对应工作行中的n个选择键的闪烁，将特征向量集Di进行分类得到n个分类结果S＝[s1,s2,...，si,...,sN]，其中对分类结果S只保留其最大的前q个分值并将其余置零；
步骤84：将特征向量集Di内的特征向量进行波形检测，得到n个波形检测结果Wi＝[w1,w2,...,wi,...,wN]；
步骤85：将分类结果S和波形检测结果W相乘，得到Ri＝[r1,r2,...，ri,...,rN]；
步骤9具体为：遍历Ri，若不存在ri>0，则判断特征向量集Di中不存在目标特征向量，进入步骤12，若存在ri>0，则判断特征向量集Di中存在目标特征向量，进入下一步骤。
2.根据权利要求1所述一种基于EMG的交互方法，其特征在于：所述步骤10包括以下步骤：
步骤101：按照步骤5至步骤9循环至少一轮，得到特征向量集Di+1和对应的Ri+1；
步骤102：比较Ri和Ri+1中对应位置的元素是否相同，如果相同，则判断特征向量集Di和特征向量集Di+1具有相同特征向量，按照特征向量集Di和特征向量集Di+1的所述目标特征向量确定选择键，进入下一步骤，否则，回到步骤5。
3.根据权利要求2所述一种基于EMG的交互方法，其特征在于：所述步骤84，包括以下步骤：
步骤841：将特征向量集Di内的特征向量依次进行波形检测；
步骤842：判断波谷在波峰出现以后30-140毫秒的位置出现，如果是，则进入下一步骤，否则，进入步骤846；
步骤843：判断波峰/波谷是否对应整段信号的最大/最小值点，如果是，则进入下一步骤，否则，进入步骤846；
步骤844：判断波峰到波谷这段信号的能量总和是否大于预先设定的阈值P，如果是，则进入下一步骤，否则，进入步骤846；
步骤845：特征向量的波形检查通过，对应的wi＝1；
步骤846：特征向量的波形检查没通过，对应的wi＝0；
步骤847：得到Wi＝[w1,w2,...,wi,...,wN]。
CN201710517400.3A 2017-06-29 2017-06-29 一种基于emg的交互方法 Active CN107340863B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710517400.3A CN107340863B (zh) 2017-06-29 2017-06-29 一种基于emg的交互方法
US16/461,576 US10838496B2 (en) 2017-06-29 2018-06-22 Human-machine interaction method based on visual stimulation
PCT/CN2018/092392 WO2019001360A1 (zh) 2017-06-29 2018-06-22 一种基于视觉刺激的人机交互方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710517400.3A CN107340863B (zh) 2017-06-29 2017-06-29 一种基于emg的交互方法

Publications (2)

Publication Number Publication Date
CN107340863A CN107340863A (zh) 2017-11-10
CN107340863B true CN107340863B (zh) 2019-12-03

Family

ID=60218183

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710517400.3A Active CN107340863B (zh) 2017-06-29 2017-06-29 一种基于emg的交互方法

Country Status (1)

Country Link
CN (1) CN107340863B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019001360A1 (zh) * 2017-06-29 2019-01-03 华南理工大学 一种基于视觉刺激的人机交互方法
CN108958620A (zh) * 2018-05-04 2018-12-07 天津大学 一种基于前臂表面肌电的虚拟键盘设计方法
CN109933270B (zh) * 2019-04-15 2024-06-14 华南理工大学 一种基于手指开关的人机交互系统及其交互方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515199A (zh) * 2009-03-24 2009-08-26 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
WO2013135299A1 (en) * 2012-03-15 2013-09-19 Cherradi El Fadili Ibrahim Farid Extending the free fingers typing technology and introducing the finger taps language technology
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
CN104398325A (zh) * 2014-11-05 2015-03-11 西安交通大学 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
CN106227354A (zh) * 2016-08-31 2016-12-14 博睿康科技（常州）股份有限公司 一种脑机交互穿戴系统
CN206162388U (zh) * 2016-08-31 2017-05-10 博睿康科技（常州）股份有限公司 一种脑机交互穿戴系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101515199A (zh) * 2009-03-24 2009-08-26 北京理工大学 一种基于视线跟踪和p300脑电电位的字符输入装置
CN101968715A (zh) * 2010-10-15 2011-02-09 华南理工大学 一种基于脑机接口鼠标控制的因特网浏览方法
WO2013135299A1 (en) * 2012-03-15 2013-09-19 Cherradi El Fadili Ibrahim Farid Extending the free fingers typing technology and introducing the finger taps language technology
CN103336581A (zh) * 2013-07-30 2013-10-02 黄通兵 基于人体眼动特征设计的人机交互方法及系统
CN104398325A (zh) * 2014-11-05 2015-03-11 西安交通大学 基于场景稳态视觉诱发的脑-肌电控制假肢的装置及方法
CN106227354A (zh) * 2016-08-31 2016-12-14 博睿康科技（常州）股份有限公司 一种脑机交互穿戴系统
CN206162388U (zh) * 2016-08-31 2017-05-10 博睿康科技（常州）股份有限公司 一种脑机交互穿戴系统

Also Published As

Publication number Publication date
CN107340863A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
US10838496B2 (en) Human-machine interaction method based on visual stimulation
Zhou et al. Virtual reality: A state-of-the-art survey
Haban et al. Global events and global breakpoints in distributed systems
Oprea et al. A visually realistic grasping system for object manipulation and interaction in virtual reality environments
CN107656613A (zh) 一种基于眼动追踪的人机交互系统及其工作方法
CN107340863B (zh) 一种基于emg的交互方法
CN106355072A (zh) 三维模型验证码的实现方法及其装置
Ahmad et al. Hand pose estimation and tracking in real and virtual interaction: A review
KR20120052610A (ko) 신경망 학습을 통한 동작 인식 방법 및 장치
CN108229559A (zh) 服饰检测方法、装置、电子设备、程序和介质
CN107272905B (zh) 一种基于eog和emg的交互方法
Cai et al. GAN-based image-to-friction generation for tactile simulation of fabric material
Dzikri et al. Hand gesture recognition for game 3D object using the leap motion controller with backpropagation method
Haggag et al. Body parts segmentation with attached props using rgb-d imaging
CN104239119B (zh) 一种基于kinect实现电力培训仿真的方法及系统
CN104484034B (zh) 一种基于手势识别的手势运动基元过渡帧定位方法
Hadfield et al. Generalised pose estimation using depth
Mousas et al. Efficient hand-over motion reconstruction
Lin Spatio-temporal hand gesture recognition using neural networks
Averbukh et al. The tasks of designing and developing virtual test stands
CN104090663B (zh) 一种基于视觉关注模型的手势交互方法
CN107122042A (zh) 一种静动态手势结合的汉字书写方法及系统
Kavakli Gesture recognition in virtual reality
Lange et al. Trajectory Mapper: Interactive Widgets and Artist-Designed Encodings for Visualizing Multivariate Trajectory Data.
Covre et al. Generation of action recognition training data through rotoscoping and augmentation of synthetic animations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant