CN107315479B - 基于激光投影的肌电实时操作装置 - Google Patents
基于激光投影的肌电实时操作装置 Download PDFInfo
- Publication number
- CN107315479B CN107315479B CN201710549624.2A CN201710549624A CN107315479B CN 107315479 B CN107315479 B CN 107315479B CN 201710549624 A CN201710549624 A CN 201710549624A CN 107315479 B CN107315479 B CN 107315479B
- Authority
- CN
- China
- Prior art keywords
- subunit
- joint posture
- cursor
- joint
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Neurosurgery (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Health & Medical Sciences (AREA)
- Dermatology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Position Input By Displaying (AREA)
Abstract
基于激光投影的肌电实时操作装置，属于肌电人机交互领域，解决了现有肌电实时操作设备不具备建立人体肌电信号与关节姿态信息之间的匹配关系的功能的问题。所述装置：关节姿态信息转换单元将操作者腕关节的姿态信息转换为激光光标在屏幕上的位置信息。关节姿态分析子单元根据图像采集子单元发来的屏幕图像，得到该图像中的激光光标对应的关节姿态信息，当该信息正确时，将其发送至肌电信号与关节姿态匹配子单元。肌电信号采集单元在操作者腕关节的活动过程中，采集其前臂的表面肌电信号，在对该信号进行模数转换后，将其发送至肌电信号与关节姿态匹配子单元。肌电信号与关节姿态匹配子单元保存其接收到肌电信号与关节姿态信息的匹配关系。
Description
技术领域
本发明涉及一种肌电实时操作装置，属于肌电人机交互领域。
背景技术
肌电实时操作是一种采用人体前臂的表面肌电信号作为信息源，并基于信息解码策略将人的控制意图转化为控制信息，进而对相应的设备进行控制的操作。目前，这种肌电实时操作技术已经应用到了智能手环领域中，例如Myo手环，该手环能够通过识别肌电信号来区分佩戴者的多种手势，进而对与该手环匹配的智能设备进行控制。
由于体现控制意图的肌电信号因人而异，因此，当更换操作者时，需要重新对肌电实时操作设备进行标定。另一方面，在重新对肌电实时操作设备进行安装的过程中，该设备的肌电信号采集电极的位置可能会发生变化，其采集到的肌电信号也会随之变化，为了消除此影响，也需要重新对肌电实时操作设备进行标定。
肌电实时操作设备的标定相当于是建立操作者的肌电信号与控制信息之间的匹配关系。然而，现有的控制信息只能通过操作者依次实施预定的多个动作的形式来表现。因此，这种形式的控制信息的灵活度较差。如果想要通过肌电实时操作的方式对智能设备进行连续的控制，并且使控制信息随运动信息的变化速度而变化，就需要依靠肌电实时操作设备对操作者的关节姿态进行检测，建立肌电信号与关节姿态之间的匹配关系。然而，现有的肌电实时操作设备不具备建立人体肌电信号与关节姿态信息之间的匹配关系的功能。
发明内容
本发明为解决现有的肌电实时操作设备不具备建立人体肌电信号与关节姿态信息之间的匹配关系的功能的问题，提出了一种基于激光投影的肌电实时操作装置。
本发明所述的基于激光投影的肌电实时操作装置包括关节姿态信息转换单元1、肌电信号采集单元2、人机交互单元、投影单元3和屏幕4；
人机交互单元包括图像采集子单元5、关节姿态分析子单元6、光标显示子单元7、肌电信号与关节姿态匹配子单元8和关节姿态判断子单元9；
关节姿态信息转换单元1用于将操作者腕关节的姿态信息转换为激光光标在屏幕4上的位置信息，所述激光光标为交叉线；
图像采集子单元5用于采集屏幕图像，并将该屏幕图像发送至关节姿态分析子单元6；
关节姿态分析子单元6用于根据其接收到的屏幕图像，得到屏幕图像中的激光光标所对应的关节姿态信息，并且该关节姿态信息对应的光标信息发送至光标显示子单元7；
光标显示子单元7用于通过投影单元3将其接收到的光标信息所对应的光标投影到屏幕4上，当屏幕4上的两个光标重合时，关节姿态分析子单元6将该关节姿态信息发送至肌电信号与关节姿态匹配子单元8；
肌电信号采集单元2用于在操作者腕关节的活动过程中，采集操作者前臂的表面肌电信号，在对该肌电信号进行模数转换后，将其发送至肌电信号与关节姿态匹配子单元8或关节姿态判断子单元9；
肌电信号与关节姿态匹配子单元8用于对其接收到的多个肌电信号和多个关节姿态信息进行一一匹配，并存储匹配关系；
关节姿态判断子单元9用于接收待判断的肌电信号，根据存储的匹配的关系，确定待判断的肌电信号所对应的关节姿态信息，并将该关节姿态信息所对应的光标信息发送至光标显示子单元7。
作为优选的是，所述装置还包括光标信息生成单元10，该单元与光标显示子单元7相连。
作为优选的是，关节姿态信息转换单元包括固定框架11、活动框架12和激光器，固定框架11用于固定操作者的前臂，操作者的手掌和激光器均固定在活动框架12上，活动框架12能够与操作者的腕关节同步移动，激光器的出射端口朝向屏幕4的显示面。
作为优选的是，固定框架11和活动框架12均为立方体型框架，活动框架12的体积小于固定框架11的体积，活动框架12与固定框架11同形心设置，在活动框架12的顶点和与该顶点距离最小的固定框架11的顶点之间设置有弹性连接器13。
本发明所述的基于激光投影的肌电实时操作装置，关节姿态信息转换单元将操作者腕关节的姿态信息转换为激光光标在屏幕上的位置信息。关节姿态分析子单元根据图像采集子单元发来的屏幕图像，得到屏幕图像中的激光光标所对应的关节姿态信息，当该关节姿态信息正确时，关节姿态分析子单元将该关节姿态信息发送至肌电信号与关节姿态匹配子单元。肌电信号采集单元在操作者腕关节的活动过程中，采集操作者前臂的表面肌电信号，在对该肌电信号进行模数转换后，将其发送至肌电信号与关节姿态匹配子单元。肌电信号与关节姿态匹配子单元保存其接收到肌电信号与关节姿态信息的匹配关系。因此，本发明所述的基于激光投影的肌电实时操作装置具备建立人体肌电信号与关节姿态信息之间的匹配关系的功能。
附图说明
在下文中将基于实施例并参考附图来对本发明所述的基于激光投影的肌电实时操作装置进行更详细的描述，其中：
图1为实施例所述的基于激光投影的肌电实时操作装置的结构框图；
图2为实施例提及的关节姿态信息转换单元的结构示意图；
图3为实施例提及的因活动框架角度偏转而引起激光光标位置发生变化的示意图，其中，14为激光器。
在附图中，相同的部件使用相同的附图标记。附图并未按照实际的比例。
具体实施方式
下面将结合附图对本发明所述的基于激光投影的肌电实时操作装置作进一步说明。
实施例：下面结合图1至图3详细地说明本实施例。
本实施例所述的基于激光投影的肌电实时操作装置包括关节姿态信息转换单元1、肌电信号采集单元2、人机交互单元、投影单元3和屏幕4；
人机交互单元包括图像采集子单元5、关节姿态分析子单元6、光标显示子单元7、肌电信号与关节姿态匹配子单元8和关节姿态判断子单元9；
关节姿态信息转换单元1用于将操作者腕关节的姿态信息转换为激光光标在屏幕4上的位置信息，所述激光光标为交叉线；
图像采集子单元5用于采集屏幕图像，并将该屏幕图像发送至关节姿态分析子单元6；
关节姿态分析子单元6用于根据其接收到的屏幕图像，得到屏幕图像中的激光光标所对应的关节姿态信息，并且该关节姿态信息对应的光标信息发送至光标显示子单元7；
光标显示子单元7用于通过投影单元3将其接收到的光标信息所对应的光标投影到屏幕4上，当屏幕4上的两个光标重合时，关节姿态分析子单元6将该关节姿态信息发送至肌电信号与关节姿态匹配子单元8；
肌电信号采集单元2用于在操作者腕关节的活动过程中，采集操作者前臂的表面肌电信号，在对该肌电信号进行模数转换后，将其发送至肌电信号与关节姿态匹配子单元8或关节姿态判断子单元9；
肌电信号与关节姿态匹配子单元8用于对其接收到的多个肌电信号和多个关节姿态信息进行一一匹配，并存储匹配关系；
关节姿态判断子单元9用于接收待判断的肌电信号，根据存储的匹配的关系，确定待判断的肌电信号所对应的关节姿态信息，并将该关节姿态信息所对应的光标信息发送至光标显示子单元7。
所述装置还包括光标信息生成单元10，该单元与光标显示子单元7相连。
关节姿态信息转换单元包括固定框架11、活动框架12和激光器，固定框架11用于固定操作者的前臂，操作者的手掌和激光器均固定在活动框架12上，活动框架12能够与操作者的腕关节同步移动，激光器的出射端口朝向屏幕4的显示面。
固定框架11和活动框架12均为立方体型框架，活动框架12的体积小于固定框架11的体积，活动框架12与固定框架11同形心设置，在活动框架12的顶点和与该顶点距离最小的固定框架11的顶点之间设置有弹性连接器13。
本实施例所述的基于激光投影的肌电实时操作装置，当关节姿态分析子单元6分析出关节姿态信息时，将该关节姿态信息所对应的光标信息发送至光标显示子单元7，光标显示子单元7通过投影单元3将其接收到的光标信息所对应的光标投影到屏幕4上，当屏幕4上的两个光标重合时，关节姿态分析子单元6将该关节姿态信息发送至肌电信号与关节姿态匹配子单元8。因此，本实施例所述的基于激光投影的肌电实时操作装置具备自检功能，能够有效地保证所得关节姿态信息的准确性。
本实施例所述的基于激光投影的肌电实时操作装置分为训练模式和操作模式：
当其处于训练模式时，光标信息生成单元10生成光标信息，并通过光标显示子单元7与投影单元3的配合作用，将该光标信息所对应的光标投影到屏幕4上。此时，训练者通过控制活动框架11使激光器在屏幕4上的激光光标与目标光标重合。在训练者控制活动框架11的过程中，肌电信号采集单元采集训练者前臂的表面肌电信号，在对该信号进行模数转换后，将其发送至肌电信号与关节姿态匹配子单元8。图像采集子单元5采集屏幕图像，并将该图像发送至关节姿态分析子单元6。关节姿态分析子单元6根据其接收到的屏幕图像，得到屏幕图像中的激光光标所对应的关节姿态信息，在确认该关节姿态信息正确后，将其发送至肌电信号与关节姿态匹配子单元8。肌电信号与关节姿态匹配子单元记录该肌电信号与该关节姿态信息的匹配关系。
当其处于操作模式时，操作者通过腕关节控制活动框架12，肌电信号采集单元2采集操作者前臂的表面产生肌电信号，在对该信号进行模数转换后，将其发送至关节姿态判断子单元9。关节姿态判断子单元9与肌电信号与关节姿态匹配子单元8相连，能够关节姿态匹配子单元8内的肌电信号与关节姿态信息之间的匹配关系，判断与其接收到肌电信号相对应的关节姿态信息，并通过光标显示子单元7与投影单元3的配合作用，将该关节姿态信息对应的光标投影到屏幕4上。
本实施例所述的基于激光投影的肌电实时操作装置能够通过对关节姿态信息进行检测，并建立关节姿态信息与同时采集到的肌电信号之间的匹配关系，从而实现基于肌电信号的灵活实时操作。
本实施例所述的基于激光投影的肌电实时操作装置的关节姿态信息获取方式，能够直接将自由度之间的耦合去除，并以激光在屏幕上投影的位姿表示当前的多自由度运动状态，给予操作者直观的反馈，提高控制的灵巧程度。
本实施例所述的基于激光投影的肌电实时操作装置能够在不给予操作者固定约束的情况下获取关节姿态信息，操作者的控制运动贴近日常生活的状况。
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。
Claims (2)
1.基于激光投影的肌电实时操作装置，其特征在于，所述装置包括关节姿态信息转换单元(1)、肌电信号采集单元(2)、人机交互单元、投影单元(3)和屏幕(4)；
人机交互单元包括图像采集子单元(5)、关节姿态分析子单元(6)、光标显示子单元(7)、肌电信号与关节姿态匹配子单元(8)和关节姿态判断子单元(9)；
关节姿态信息转换单元(1)用于将操作者腕关节的姿态信息转换为激光光标在屏幕(4)上的位置信息，所述激光光标为交叉线；
图像采集子单元(5)用于采集屏幕图像，并将该屏幕图像发送至关节姿态分析子单元(6)；
关节姿态分析子单元(6)用于根据其接收到的屏幕图像，得到屏幕图像中的激光光标所对应的关节姿态信息，并且该关节姿态信息对应的光标信息发送至光标显示子单元(7)；
光标显示子单元(7)用于通过投影单元(3)将其接收到的光标信息所对应的光标投影到屏幕(4)上，当屏幕(4)上的两个光标重合时，关节姿态分析子单元(6)将该关节姿态信息发送至肌电信号与关节姿态匹配子单元(8)；
肌电信号采集单元(2)用于在操作者腕关节的活动过程中，采集操作者前臂的表面肌电信号，在对该肌电信号进行模数转换后，将其发送至肌电信号与关节姿态匹配子单元(8)或关节姿态判断子单元(9)；
肌电信号与关节姿态匹配子单元(8)用于对其接收到的多个肌电信号和多个关节姿态信息进行一一匹配，并存储匹配关系；
关节姿态判断子单元(9)用于接收待判断的肌电信号，根据存储的匹配的关系，确定待判断的肌电信号所对应的关节姿态信息，并将该关节姿态信息所对应的光标信息发送至光标显示子单元(7)；
所述装置还包括光标信息生成单元(10)，该单元与光标显示子单元(7)相连；关节姿态信息转换单元包括固定框架(11)、活动框架(12)和激光器，固定框架(11)用于固定操作者的前臂，操作者的手掌和激光器均固定在活动框架(12)上，活动框架(12)能够与操作者的腕关节同步移动，激光器的出射端口朝向屏幕(4)的显示面；
当所述装置处于训练模式时，光标信息生成单元(10)生成光标信息，并通过光标显示子单元(7)与投影单元(3)的配合作用，将该光标信息所对应的光标投影到屏幕(4)上，训练者通过控制活动框架(12)使激光器在屏幕(4)上的激光光标与目标光标重合。
2.如权利要求1所述的基于激光投影的肌电实时操作装置，其特征在于，固定框架(11)和活动框架(12)均为立方体型框架，活动框架(12)的体积小于固定框架(11)的体积，活动框架(12)与固定框架(11)同形心设置，在活动框架(12)的顶点和与该顶点距离最小的固定框架(11)的顶点之间设置有弹性连接器(13)。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549624.2A CN107315479B (zh) | 2017-07-06 | 2017-07-06 | 基于激光投影的肌电实时操作装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710549624.2A CN107315479B (zh) | 2017-07-06 | 2017-07-06 | 基于激光投影的肌电实时操作装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107315479A CN107315479A (zh) | 2017-11-03 |
| CN107315479B true CN107315479B (zh) | 2020-04-24 |
Family
ID=60177872
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710549624.2A Active CN107315479B (zh) | 2017-07-06 | 2017-07-06 | 基于激光投影的肌电实时操作装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107315479B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109491504A (zh) * | 2018-11-08 | 2019-03-19 | 郑州大学 | 一种基于手势肌电信号的投影交互系统 |
| CN111259699A (zh) * | 2018-12-02 | 2020-06-09 | 程昔恩 | 一种人体动作识别和预测方法及装置 |
| CN109731316B (zh) * | 2019-03-21 | 2021-05-28 | 张皓翔 | 一种投篮训练系统 |
| CN110221688B (zh) * | 2019-05-06 | 2022-04-26 | 创新先进技术有限公司 | 可穿戴设备、鼠标的控制方法及装置 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2009063463A2 (en) * | 2007-11-14 | 2009-05-22 | Medasense Biometrics Ltd | Pain monitoring using multidimensional analysis of physiological signals |
| CN103750836A (zh) * | 2014-01-14 | 2014-04-30 | 优尔美有限公司 | 一种可穿戴式肌电设备 |
| CN105807640A (zh) * | 2014-12-30 | 2016-07-27 | 深圳Tcl新技术有限公司 | 终端控制方法和系统 |
| CN105012057B (zh) * | 2015-07-30 | 2017-04-26 | 沈阳工业大学 | 基于双臂肌电、姿态信息采集的智能假肢及运动分类方法 |
| CN105446484B (zh) * | 2015-11-19 | 2018-06-19 | 浙江大学 | 一种基于隐马尔科夫模型的肌电信号手势识别方法 |
-
2017
- 2017-07-06 CN CN201710549624.2A patent/CN107315479B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN107315479A (zh) | 2017-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107315479B (zh) | 基于激光投影的肌电实时操作装置 | |
| US10649549B2 (en) | Device, method, and system to recognize motion using gripped object | |
| US11567573B2 (en) | Neuromuscular text entry, writing and drawing in augmented reality systems | |
| CN112996430A (zh) | 神经肌肉信号的相机引导的解释 | |
| US10092220B2 (en) | System and method for motion capture | |
| EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
| CN212112406U (zh) | 一种基于用户eog信号和头部姿态的驱动装置 | |
| US10976863B1 (en) | Calibration of inertial measurement units in alignment with a skeleton model to control a computer system based on determination of orientation of an inertial measurement unit from an image of a portion of a user | |
| US20210132681A1 (en) | Natural human-computer interaction system based on multi-sensing data fusion | |
| CN101311882A (zh) | 视线跟踪人机交互方法及装置 | |
| WO2013149586A1 (zh) | 一种腕上手势操控系统和方法 | |
| WO2011065034A1 (ja) | ロボットの動作を制御する方法およびロボットシステム | |
| US20140002421A1 (en) | User interface device for projection computer and interface method using the same | |
| US20220155866A1 (en) | Ring device having an antenna, a touch pad, and/or a charging pad to control a computing device based on user motions | |
| US11054923B2 (en) | Automatic switching between different modes of tracking user motions to control computer applications | |
| CN204537060U (zh) | 一种基于肌电流和多传感器协同作用的人机交互设备 | |
| US11422625B2 (en) | Proxy controller suit with optional dual range kinematics | |
| CN109710082A (zh) | 一种数据手套 | |
| CN108459710B (zh) | 一种眼动信号控制的交互装置 | |
| Devi et al. | Low cost tangible glove for translating sign gestures to speech and text in Hindi language | |
| JP2000187553A (ja) | 入力装置および入力装置用ヘッドマウントディスプレイ | |
| CN107562205B (zh) | 一种智能终端的投影键盘及该投影键盘的操作方法 | |
| Meier et al. | Synchronized multimodal recording of a table setting dataset | |
| CN106843486B (zh) | 虚拟现实手势控制方法 | |
| KR101918265B1 (ko) | 손동작 인식기반 디스플레이 콘텐츠 제어용 웨어러블 디바이스 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |