CN113126771A - 一种具有反馈信息功能的肌电手势识别系统 - Google Patents
一种具有反馈信息功能的肌电手势识别系统 Download PDFInfo
- Publication number
- CN113126771A CN113126771A CN202110492982.0A CN202110492982A CN113126771A CN 113126771 A CN113126771 A CN 113126771A CN 202110492982 A CN202110492982 A CN 202110492982A CN 113126771 A CN113126771 A CN 113126771A
- Authority
- CN
- China
- Prior art keywords
- electromyographic
- gesture
- signal
- recognition system
- gesture recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003183 myoelectrical effect Effects 0.000 title claims description 25
- 230000009471 action Effects 0.000 claims abstract description 16
- 230000000638 stimulation Effects 0.000 claims abstract description 16
- 238000012545 processing Methods 0.000 claims description 15
- 230000006870 function Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 238000010801 machine learning Methods 0.000 claims description 3
- 230000008054 signal transmission Effects 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 abstract description 10
- 230000003993 interaction Effects 0.000 abstract description 7
- 238000007654 immersion Methods 0.000 abstract description 5
- 230000009286 beneficial effect Effects 0.000 abstract description 2
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 238000005457 optimization Methods 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 4
- 210000003414 extremity Anatomy 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 210000000245 forearm Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种具有反馈信息功能的肌电手势识别系统，包括手势识别系统，所述手势识别系统包括肌电信号采集装置，所述肌电信号采集装置包括温度、电刺激和震动等触觉反馈，所述肌电信号采集装置通过表面肌电信号识别用户的手势动作然后通过具有温度、电刺激和震动等触觉的肌电设备反馈给用户。本发明的有益效果是：本发明可以进行操作的指令数很丰富，手势的种类数很多，相较于传统的设备，本发明可以进行更多的操作，并且传统技术中的繁琐操作，在本方案中可以用不同的手势进行直接代替，因而操作更加地方便，并且可以将虚拟现实中的周边环境在手势的人机交互中反馈给用户，增强了用户的沉浸感和真实感。
Description
技术领域
本发明涉及一种肌电手势识别系统，具体为一种具有反馈信息功能的肌电手势识别系统，属于信息反馈技术领域。
背景技术
虚拟现实技术可模拟出与真实世界相同的虚拟世界，利用各种交互传感设备，通过视觉、听觉和力觉等直观而又实时的感知，使人沉浸在虚拟环境中，产生身临其境的临场感。用户可根据自身的感觉，通过输入设备对虚拟世界中的物体进行操作，参与其中的事件。
长期以来，由于计算机技术，传感技术等的限制，人们的研究重点都集中在视觉和听觉等较易突破的方面，而较少关注温度，电反馈，震动等触觉或其他的感官形态。研究表明，与传统的视觉和听觉再现人机交互相比，直接接触型的物理反馈能更好的提高虚拟现实系统的真实感，并在一定程度上提高事件的执行效率和成功率。
现有的基于肌电手势的物理反馈技术主要由声音反馈(扬声器)和光学(显示屏或者视觉反馈)提供，对于人机交互和游戏交互提供的真实感有限。
通过检索发现，现有的结合物理反馈的肌电手势技术的缺点：
1、反馈的物理方式很单一，都是视觉和听觉反馈，然而其实加入触觉，电刺激，温度和震动的反馈在一些VR/AR游戏中以及人机交互过程中可以提供更加直观化的反馈感受。
2、现有的肌电物理反馈技术应用场景单一，检索到的国内的相关专利的应用场景都是在无人驾驶和无人飞机操控的领域，而其实相关技术在VR/AR游戏及残疾人智能假肢等领域也很多的应用前景。
发明内容
本发明的目的就在于为了解决上述问题而提供一种具有反馈信息功能的肌电手势识别系统。
本发明通过以下技术方案来实现上述目的，一种具有反馈信息功能的肌电手势识别系统，包括手势识别系统，所述手势识别系统包括肌电信号采集装置；
所述肌电信号采集装置包括温度、电刺激和震动触觉反馈，所述肌电信号采集装置通过表面肌电信号识别用户的手势动作然后通过具有温度、电刺激和震动触觉的肌电设备反馈给用户。
优选的，根据用户做标准手势，由肌电信号采集装置获得多通道的肌电信号s1；
对s1进行工频干扰陷波，并进行滤波得到多通道的预处理信号s2。
优选的，所述信号s2各导联信号的滑动窗处理，包括：
计算各窗口信号的绝对平均值m(n)和AR模型的前n系数；
将这些特征参数设置为手势识别的模板。
优选的，所述手势特征包括神经网络如CNN等提取的特征，操作包括：
用户每做一个手势，由肌电信号采集装置获得更多通道的表面肌电信号；
对表面肌电信号进行工频干扰陷波处理和滤波，得到多通道的实时样本信号s3；
将多通道的信号s3各导联信号进行叠加后的增值作为操作力度信息S，且每种手型手势对应的阈值不同；
若操作力度信息S大于预设的阈值，则认为用户开始进行操作，并将其作为指令信息的一部分；
若持续T时间操作力度S小于阈值，则认为操作结束。
优选的，所述s3各导联信号进行滑动窗处理，包括：
在操作时间段内，得到实时样本信号各窗口的绝对平均值M_t(n)和AR模型的前n个系数的肌电特征；
获取的特征与模板的特征进行对比，分析出手势的种类。
优选的，所述肌电特征与模板特征进行对比，其匹配的方式包括常见的机器学习方法。
优选的，根据手型手势信息映射生成有效的肌电操作指令，操作包括：
对已生成操作指令的状态进行实时更新；
在相应的场景或者环境中会有相应的手形手势来模拟用户的具体操作动作；
场景或者环境中的一些反馈会基于手势动作通过信号传输发送给肌电设备；
肌电设备依据场景或其他环境作出相应的反馈。
优选的，所述反馈包括电刺激、温度变化和震动触觉反馈等连续正负的反馈。
优选的，所述用户根据反馈作出决策，包括：
调整虚拟场景或者环境中手的位置或者手势动作；
实时对场景或环境做出相应的操作；
迅速完成场景或环境中的任务和反应。
本发明的有益效果是：其一、本发明可以进行操作的指令数很丰富，手势的种类数很多，相较于传统的设备，本发明可以进行更多的操作，并且传统技术中的繁琐操作，在本方案中可以用不同的手势进行直接代替，因而操作更加地方便。
其二、本发明将温度变化和电刺激，以及震动多种物理感受反馈给用户，用户在游戏或者虚拟场景中可以拥有更加真实的体验，提高沉浸感，如果是假肢的情况，用户则能更加清晰地感知周围的环境，从而避免危险的同时又能给够做出更快的反应。
附图说明
图1为本发明训练阶段工作流程示意图；
图2为本发明识别和反馈阶段工作流程示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-2所示，一种具有反馈信息功能的肌电手势识别系统，包括手势识别系统，手势识别系统包括肌电信号采集装置，肌电信号采集装置设置于人体前臂肌肉群处，以实现用户手势动作等信息的实时采集，极大避免了采集时出现的误差；
肌电信号采集装置包括温度、电刺激和震动等触觉反馈，肌电信号采集装置通过表面肌电信号识别用户的手势动作然后通过具有温度、电刺激和震动等触觉的肌电设备反馈给用户。
作为本发明的一种技术优化方案，如附图1，根据用户做标准手势，由肌电信号采集装置获得多通道的肌电信号s1，s1为基础采集信号；
对s1进行工频干扰陷波，并进行滤波得到多通道的预处理信号s2，s2信号的精准度更高。
作为本发明的一种技术优化方案，信号s2各导联信号的滑动窗处理，包括：
计算各窗口信号的绝对平均值m(n)和AR模型的前n个系数，或者其他肌电特征；
将这些特征参数设置为手势识别的模板。
作为本发明的一种技术优化方案，手势特征包括神经网络如CNN等提取的特征，操作包括：
用户每做一个手势，由肌电信号采集装置获得更多通道的表面肌电信号；
对表面肌电信号进行工频干扰陷波处理和滤波，得到多通道的实时样本信号s3；
将多通道的信号s3各导联信号进行叠加后的增值作为操作力度信息S，且每种手型手势对应的阈值不同；
若操作力度信息S大于预设的阈值，则认为用户开始进行操作，并将其作为指令信息的一部分；
若持续T时间操作力度S小于阈值，则认为操作结束，通过操作力度信息S与阈值大小的对比，以实现肌电采集装置的自动运行和关闭。
作为本发明的一种技术优化方案，s3各导联信号进行滑动窗处理，包括：
在操作时间段内，得到实时样本信号各窗口的绝对平均值M_t(n)和AR模型的前n个系数或者其他肌电特征，如CNN等提取的肌电特征；
获取的特征与模板的特征进行对比，分析出手势的种类。
作为本发明的一种技术优化方案，肌电特征与模板特征进行对比，其匹配的方式包括常见的机器学习方法如聚类，SVM(Support Vector Machine)等，也包括RNN(Recurrent Neural Network)等神经网络，通过多种匹配对比方式，提高了手势分析时的精准性。
作为本发明的一种技术优化方案，根据手型手势信息映射生成有效的肌电操作指令，操作包括：
对已生成操作指令的状态进行实时更新，对已生成的操作指令实时更新，以满足在不同环境和场景下的手型手势所映射生成的肌电操作指令；
在相应的场景或者环境中会有相应的手形手势来模拟用户的具体操作动作；
场景或者环境中的一些反馈会基于手势动作通过信号传输发送给肌电设备；
肌电设备依据场景或其他环境作出相应的反馈，通过对不同场景或环境做出不同反馈，增加了肌电设备的实用性，满足了在更多环境和场景下的使用。
作为本发明的一种技术优化方案，反馈包括电刺激、温度变化和震动等触觉反馈等连续正负的反馈，在用于VR/AR体验中，可以将虚拟现实中的周边环境在手势的人机交互中反馈给用户，增强用户的沉浸感和真实感。
并且利用肌电设备的实时信号采集和反馈，增加了肌电指令本身的信息丰富度，而且能更好的提高虚拟现实系统的真实感和沉浸感，实现增强现实的目的，满足一些场景需求
作为本发明的一种技术优化方案，用户根据反馈作出决策，包括：
调整虚拟场景或环境中手的位置或者手势动作；
实时对场景或环境做出相应的操作；
迅速完成场景或环境中的任务和反应。
通过实时对场景或环境下信息的采集和反馈，能给让使用者能够更加清晰地感受身边的环境，进而做出相应的操作，以避免危险情况的发生。
本发明在使用时，参考附图1，附图1为本发明训练阶段工作流程示意图，包括以下步骤：
第一步：让用户将每种指令对应的手势训练20遍，通过肌电信号采集装置采集人体前臂主要肌肉群的表面肌电信号，采集的信号由8个通道组成。对采集信号做50HZ的工频干扰陷波处理，并使用FIR滤波器进行高通滤波，记为预处理信号S1。
第二步：将信号S1各导联的信号按照时间T1的滑动窗重叠时间T2进行滑动，计算各窗口信号的绝对值的平均值M(n)和AR模型前n个系数，将这些值作为用户这种动作的特征值，也可以用神经网络如CNN提取到的特征作为用户特征值。
参考附图2，附图2为本发明识别和反馈阶段工作流程示意图，包括以下步骤：
识别阶段：
第一步：用户每做出一个手势，对应虚拟现实场景的一种操作，这个操作可以改变虚拟现实中的周边环境。
第二步：对信号S2叠加平均得到单通道信号S3。对S3进行滑动窗处理，计算各窗口内信号的绝对值的平均值L(n)，当L(n)≥Lstart时，我们把该窗口的起始时间作为手势的开始时间，记为tstart，当L(n)在时间T1内持续低于Lstart，把该窗口的起始时间作为手势的结束时间，记为tend，将手势起止时间内的L(n)作为力度信息。
在手势的起止时间内，将多通道的信号S2进行滑动窗处理，得到各窗口内信号的绝对平均值和AR模型前n个系数，或者其他肌电特征，将特征与模板手势进行比对，分析得到手势种类。
反馈阶段：
第一步：根据得到的手势种类，虚拟现实场景中环境会反馈一些信息，这些信息会通过肌电设备以相应的电刺激，温度或者震动等触觉反馈方式来传达场景中的一些信息，增加用户的体验感，比如手摸到一个冰墙，手环做出温度急速下降的反馈等。
第二步：用户接收到相应的反馈刺激信息，会做出下一步判断和决策，执行下一步的手势操作，再次通过肌电设备传输到虚拟场景中去，进而完成完整的闭环人机交互方式。
测试阶段
第一步：用户进行手势运动。通过肌电信号采集装置采集残肢主要肌肉群的表面肌电信号，采集的信号由8个通道组成，对采集的信号分别进行预处理得到用户的肌电信号S2。
第二步：对信号S2叠加平均得到单通道信号S3。对S3进行滑动窗处理，计算各窗口内信号的绝对值的平均值L(n)，当L(n)≥Lstart时，我们把该窗口的起始时间作为手势的开始时间，记为tstart，当L(n)在200ms内持续低于Lstart，把该窗口的起始时间作为手势的结束时间，记为tend。
在手势的起止时间内，将多通道的信号S2进行滑动窗处理，得到各窗口内信号的绝对平均值和AR模型前n个系数，将这些参数或者其他如神经网络CNN提取到的特征与模板手势进行比对，分析得到手势的种类。
第三步：手势操作时，用户与周边环境发生交互，其中对环境的触感，对物体表面的温度感受和对物体表面的其他物理信息通过手环反馈给用户，之后用户即可做出下一步的操作指令。
对于本领域技术人员而言，
其一、本发明可以进行操作的指令数很丰富，手势的种类数很多，相较于传统的设备，本发明可以进行更多的操作，并且传统技术中的繁琐操作，在本方案中可以用不同的手势进行直接代替，因而操作更加地方便。
其二、本发明将触觉，温度变化，电刺激和震动等多种物理感受反馈给用户，用户在游戏或者虚拟场景中可以拥有更加真实的体验，提高沉浸感，如果是假肢的情况，用户则能更加清晰地感知周围的环境，从而避免危险的同时又能给够做出更快的反应。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
Claims (9)
1.一种具有反馈信息功能的肌电手势识别系统，包括手势识别系统，其特征在于：所述手势识别系统包括肌电信号采集装置；
所述肌电信号采集装置包括温度、电刺激和震动触觉反馈，所述肌电信号采集装置通过表面肌电信号识别用户的手势动作然后通过具有温度、电刺激和震动触觉的肌电设备反馈给用户。
2.根据权利要求1所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于，包括以下步骤：
根据用户做标准手势，由肌电信号采集装置获得多通道的肌电信号s1；
对s1进行工频干扰陷波，并进行滤波得到多通道的预处理信号s2。
3.根据权利要求2所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于，包括以下步骤：
所述信号s2各导联信号的滑动窗处理；
计算各窗口信号的绝对平均值m(n)和AR模型的前n个系数；
将特征参数设置为手势识别的模板。
4.根据权利要求1所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于：所述手势特征包括神经网络等提取的特征，包括以下步骤：
用户每做一个手势，由肌电信号采集装置获得更多通道的表面肌电信号；
对表面肌电信号进行工频干扰陷波处理和滤波，得到多通道的实时样本信号s3；
将多通道的信号s3各导联信号进行叠加后的增值作为操作力度信息S，且每种手型手势对应的阈值不同；
若操作力度信息S大于预设的阈值，则认为用户开始进行操作，并将其作为指令信息的一部分；
若持续T时间操作力度S小于阈值，则认为操作结束。
5.根据权利要求4所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于，包括以下步骤：
所述s3各导联信号进行滑动窗处理；
在操作时间段内，得到实时样本信号各窗口的绝对平均值M_t(n)和AR模型的前n个系数的肌电特征；
获取的特征与模板的特征进行对比，分析出手势的种类。
6.根据权利要求5所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于：所述肌电特征与模板特征进行对比，其匹配的方式包括常见的机器学习方法。
7.根据权利要求1所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于：根据手型手势信息映射生成有效的肌电操作指令，操作包括：
对已生成操作指令的状态进行实时更新；
在相应的场景或者环境中会有相应的手形手势来模拟用户的具体操作动作；
场景或者环境中的一些反馈会基于手势动作通过信号传输发送给肌电设备；
肌电设备依据场景或其他环境作出相应的反馈。
8.根据权利要求7所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于：所述反馈包括电刺激、温度变化和震动触觉反馈等连续正负的反馈。
9.根据权利要求8所述的一种具有反馈信息功能的肌电手势识别系统，其特征在于：所述用户根据反馈作出决策，包括：
调整虚拟场景或环境中手的位置或者手势动作；
实时对场景或环境做出相应的操作；
迅速完成场景或环境中的任务和反应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110492982.0A CN113126771A (zh) | 2021-05-07 | 2021-05-07 | 一种具有反馈信息功能的肌电手势识别系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110492982.0A CN113126771A (zh) | 2021-05-07 | 2021-05-07 | 一种具有反馈信息功能的肌电手势识别系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113126771A true CN113126771A (zh) | 2021-07-16 |
Family
ID=76781489
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110492982.0A Pending CN113126771A (zh) | 2021-05-07 | 2021-05-07 | 一种具有反馈信息功能的肌电手势识别系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113126771A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930285A (zh) * | 2009-11-23 | 2010-12-29 | 上海交通大学 | 基于表面肌电信号的手写识别方法 |
| CN104919394A (zh) * | 2012-11-20 | 2015-09-16 | 三星电子株式会社 | 涉及设备的运动的可穿戴电子设备的用户手势输入 |
| CN105573536A (zh) * | 2014-10-16 | 2016-05-11 | 华为技术有限公司 | 触控交互的处理方法、装置和系统 |
| CN106227339A (zh) * | 2016-08-16 | 2016-12-14 | 西安中科比奇创新科技有限责任公司 | 可穿戴设备、虚拟现实人机交互系统及方法 |
| CN107589831A (zh) * | 2017-07-19 | 2018-01-16 | 华南理工大学 | 一种基于肌电刺激的虚拟力反馈交互系统及方法 |
| CN107943282A (zh) * | 2017-11-06 | 2018-04-20 | 上海念通智能科技有限公司 | 一种基于增强现实和可穿戴设备的人机交互系统及方法 |
-
2021
- 2021-05-07 CN CN202110492982.0A patent/CN113126771A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101930285A (zh) * | 2009-11-23 | 2010-12-29 | 上海交通大学 | 基于表面肌电信号的手写识别方法 |
| CN104919394A (zh) * | 2012-11-20 | 2015-09-16 | 三星电子株式会社 | 涉及设备的运动的可穿戴电子设备的用户手势输入 |
| CN105573536A (zh) * | 2014-10-16 | 2016-05-11 | 华为技术有限公司 | 触控交互的处理方法、装置和系统 |
| CN106227339A (zh) * | 2016-08-16 | 2016-12-14 | 西安中科比奇创新科技有限责任公司 | 可穿戴设备、虚拟现实人机交互系统及方法 |
| CN107589831A (zh) * | 2017-07-19 | 2018-01-16 | 华南理工大学 | 一种基于肌电刺激的虚拟力反馈交互系统及方法 |
| CN107943282A (zh) * | 2017-11-06 | 2018-04-20 | 上海念通智能科技有限公司 | 一种基于增强现实和可穿戴设备的人机交互系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104134060B (zh) | 基于肌电信号和运动传感器的手语翻译和显示发声系统 | |
| CN108983636B (zh) | 人机智能共生平台系统 | |
| CN104410883B (zh) | 一种移动可穿戴非接触式交互系统与方法 | |
| CN105608432B (zh) | 一种基于瞬时肌电图像的手势识别方法 | |
| US20190369727A1 (en) | Human-machine interaction method based on visual stimulation | |
| CN108983973B (zh) | 一种基于手势识别的仿人灵巧肌电假手控制方法 | |
| CN110442232A (zh) | 联合眼动和脑机接口的可穿戴式增强现实机器人控制系统 | |
| CN108127669A (zh) | 一种基于动作融合的机器人示教系统及实施方法 | |
| CN105511600B (zh) | 一种基于混合现实的多媒体人机交互平台 | |
| CN107037883A (zh) | 一种基于运动想象的混合脑机接口系统及方法 | |
| CN102789313A (zh) | 一种用户交互系统和方法 | |
| CN101711709A (zh) | 利用眼电和脑电信息的电动假手控制方法 | |
| Lotte et al. | Exploring large virtual environments by thoughts using a brain–computer interface based on motor imagery and high-level commands | |
| CN103605466A (zh) | 一种基于面部识别操控终端的方法 | |
| CN110442233A (zh) | 一种基于手势交互的增强现实键鼠系统 | |
| CN107943282A (zh) | 一种基于增强现实和可穿戴设备的人机交互系统及方法 | |
| CN110443113A (zh) | 一种虚拟现实书写方法、系统和存储介质 | |
| CN108762512A (zh) | 人机交互装置、方法及系统 | |
| Fu et al. | Gesture recognition based on BP neural network and data glove | |
| CN113377193A (zh) | 一种基于可靠手势识别的自动售货机交互方法及系统 | |
| CN113419622A (zh) | 基于手势操作的潜艇作战指控系统交互方法及设备 | |
| CN113126771A (zh) | 一种具有反馈信息功能的肌电手势识别系统 | |
| CN109901711B (zh) | 由弱肌电伪迹微表情脑电信号驱动的异步实时脑控方法 | |
| Fu et al. | Research on application of cognitive-driven human-computer interaction | |
| CN114131635A (zh) | 融合视触觉主动感知的多自由度辅助抓握外肢体机器人系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210716 |
|
| RJ01 | Rejection of invention patent application after publication |