CN104536558A - 一种智能指环和控制智能设备的方法 - Google Patents
一种智能指环和控制智能设备的方法 Download PDFInfo
- Publication number
- CN104536558A CN104536558A CN201410592022.1A CN201410592022A CN104536558A CN 104536558 A CN104536558 A CN 104536558A CN 201410592022 A CN201410592022 A CN 201410592022A CN 104536558 A CN104536558 A CN 104536558A
- Authority
- CN
- China
- Prior art keywords
- mtd
- signals
- motion
- electromyographic
- scene
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 230000033001 locomotion Effects 0.000 claims abstract description 128
- 230000009471 action Effects 0.000 claims abstract description 25
- 230000003993 interaction Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims description 22
- 230000002452 interceptive effect Effects 0.000 claims description 21
- 230000003183 myoelectrical effect Effects 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 230000001960 triggered effect Effects 0.000 claims description 5
- 238000007781 pre-processing Methods 0.000 claims description 2
- 230000001133 acceleration Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 12
- 210000003205 muscle Anatomy 0.000 description 11
- 238000001914 filtration Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000006073 displacement reaction Methods 0.000 description 6
- 238000010079 rubber tapping Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000005484 gravity Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000002567 electromyography Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000011895 specific detection Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005358 geomagnetic field Effects 0.000 description 1
- ONUFESLQCSAYKA-UHFFFAOYSA-N iprodione Chemical compound O=C1N(C(=O)NC(C)C)CC(=O)N1C1=CC(Cl)=CC(Cl)=C1 ONUFESLQCSAYKA-UHFFFAOYSA-N 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
- Prostheses (AREA)
Abstract
本发明提出一种智能指环及根据用户动作控制智能设备的方法,其中,所述智能指环包括:肌电传感器模组,用于采集用户的肌电信号,并将采集的肌电信号发送至主控模组;运动传感器模组,用于采集用户的运动信号,并将采集的运动信号发送至主控模组;主控模组,用于根据所述肌电信号和运动信号确定当前交互场景,并确定所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息发送至与所述智能指环连接的智能设备。本发明能够提高智能指环的操作便捷性。
Description
技术领域
本发明涉及可穿戴式智能设备技术领域,尤其涉及一种智能指环和控制智能设备的方法。
背景技术
随着移动技术的发展,以前只能用来作为装饰品的指环,现在随着穿戴式智能设备的普及,也开始逐渐在穿戴式设备的舞台上崭露头角;现有的智能指环在操作自然性和便捷性上存在许多问题。
例如,现有的智能指环大多数使用了实体按键以及运动传感器来进行手指的追踪;使用按键式的指环,在用户操作之前和操作之后,都需要用其他手指取触碰指环上面的实体按键,有的智能指环更带有多个按钮,使得用户在输入时觉得不够自然,过于繁琐和麻烦;
使用声控的指环,在进行输入时,必须由用户发出声音,会让用户在许多场合感到尴尬和不便;
使用光学感应或视频识别的指环,在进行输入时,对于光线环境有很大的依赖,会造成在许多环境中无法使用。
可见,现有智能指环的操作自然性和便捷性都有待提高。
发明内容
本发明提供了一种智能指环,其操作更为便捷和自然。
本发明还通过了一种根据用户动作控制智能设备的方法,能够使用智能指环便捷地控制智能设备。
本发明的技术方案是这样实现的:
一种智能指环,包括:
肌电传感器模组,用于采集用户的肌电信号,并将采集的肌电信号发送至主控模组;
运动传感器模组,用于采集用户的运动信号,并将采集的运动信号发送至主控模组;
主控模组,用于根据所述肌电信号和运动信号确定当前交互场景,并确定所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息发送至与所述智能指环连接的智能设备。
一种根据用户动作控制智能设备的方法,包括:
采集用户的肌电信号和运动信号,根据所述肌电信号和运动信号确定当前交互场景;
根据所述当前的交互场景及相应的算法对所述运动信号进行动作分类处理;
查找预先保存的各种应用场景下不同运动信号与识别结果或控制信息的对应关系,获取所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息输出至所述智能设备。
可见,本发明提出的智能指环及根据用户动作控制智能设备的方法,通过手指产生的肌电信号结合运动传感器信号来操作智能指环与其他智能设备进行交互,提高了智能指环使用的便捷性。
附图说明
图1为本发明提出的智能指环结构示意图;
图2为实施例一中智能指环的硬件结构示意图;
图3为实施例二中用户通过手指朝向激活单个应用场景时采用的手势示意图;
图4为实施例二中sEMG电极采集到的信号图;
图5为实施例二中滑窗分段和阈值设置示意图;
图6为实施例三中智能指环的空中书写交互场景示意图;
图7为实施例四中智能指环的虚拟键盘交互场景示意图;
图8为检测智能指环轨迹的算法示意图。
具体实施方式
本发明提出一种智能指环,该智能指环设置了带肌电传感器(集成表面肌电电极)和运动传感器的指环,用户可以通过各种条件下手指产生的肌电信号结合运动传感器信号,操作智能指环与其他智能设备进行交互,提供了一种自然和便捷的操作方式。本发明提出的智能指环结构如图1所示,包括:
肌电传感器模组110,用于采集用户的肌电信号,并将采集的肌电信号发送至主控模组130;
运动传感器模组120,用于采集用户的运动信号,并将采集的运动信号发送至主控模组130;
主控模组130,用于根据所述肌电信号和运动信号确定当前交互场景,并确定所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息发送至与所述智能指环连接的智能设备。
上述智能指环中,肌电传感器模组110可以包括一个以上肌电传感器,其所述肌电传感器集成表面电极可以为接触式肌电电极;运动传感器模组130可以包括多轴运动传感器。
上述主控模组130可以包括:
信号采集模块131,用于对接收的肌电信号和运动信号进行预处理,并将预处理后的肌电信号和运动信号发送至信号处理模块132;
信号处理模块132,用于将处理后的肌电信号和运动信号转换成标准的信号值,并将转换后的信号发送至动作处理模块133;
动作处理模块133,用于接收经所述信号处理模块132处理后的信号,确定当前的交互场景;根据所述当前的交互场景及相应的算法对所述信号进行动作分类处理,并结合手势集模块134和存储模块135存储的内容产生识别结果或 控制信息,将所述识别结果或控制信息发送至输出模块136;其中,所述控制信息可以为控制其他交互界面中的某个焦点的移动方向;
手势集模块134,用于保存各种应用场景下不同运动信号对应的识别结果或控制信息;本模块中的手势集可以在智能指环生产时被设定,也可以通过升级固件的方式来升级;
存储模块135,用于保存不同应用场景对应的运动信号;存储模块中的内容可以由用户自行存储;
输出模块136,根据与所述智能指环连接的智能设备的类型,将所述识别结果或控制信息转换成所述智能设备可以接受的形式,并将转换后的识别结果或控制信息发送至传输模块137;
传输模块137,用于将经输出模块136转换后的识别结果或控制信息发送至与所述智能指环连接的智能设备,可以通过蓝牙、WIFI或ANT+等硬件发送。
上述主控模块130还可以包括硬件控制模块138,用于控制电源指示灯和开关等硬件附加模块的工作。
使用上述智能指环,能够提供一系列的手势动作操作方法,只要用户做一个特定手势的动作,就能轻松的进入指环的某种应用场景,并轻松便捷地操作智能指环与其他智能设备进行交互。
以下对智能指环的信号及动作相关的处理原理和算法做进一步说明。
智能指环的信号及动作处理原理为:
智能指环内侧表面集成一个或多个表面肌电图(sEMG,Surface Electromyography)电极,指环内部内置一个或多个sEMG传感器和一个九轴运动传感器。使用sEMG传感器获取sEMG信号,另外使用九轴运动传感器获取运动加速度、角速度、地磁信息等运动信号。
sEMG信号(表面肌电信号)是从肌肉表面引导和记录到的肌肉活动时神经肌肉系统生物电变化的一维时间序列信号,可用金属片制作的接触式电极测量得到,经过采样、放大、滤波后生成数字信号,即sEMG传感器输出的信号。
九轴运动传感器包括三轴加速计、三轴陀螺仪和三轴地磁仪,经过滤波处 理后可组合计算出运动距离,运动方向,运动姿态等信息。加速计输出三组模拟信号,分别为相对于传感芯片正面水平放置情况的X(左右)、Y(前后)、Z(上下)的实时加速度信息。其中加速度信息分为线性加速度和重力加速度,线性加速度由传感芯片(即指环)向某个方向运动而产生,重力加速度由传感芯片(即指环)与地平面的倾斜产生。通过线性加速度的积分运算可以计算出传感芯片(即指环)的运动距离和方向,通过重力加速度可以计算出传感芯片(即指环)的姿态(即倾斜方向角度)。陀螺仪输出三组模拟信号,分别为相对于传感芯片正面水平放置情况的X(左右)、Y(前后)、Z(上下)的实时角速度信息。根据陀螺仪输出的3个轴的角速度,可以运算得出传感芯片(即指环)的旋转方向和角度。地磁仪输出三组模拟信号,分别记录了地磁场沿着传感芯片(即指环)三维坐标的三个分量信号。由于加速计有误差累计的问题,而且不可避免,仅根据加速计输出的信号进行运动判断和姿态判断会有较大的误差,所以该指环设计使用陀螺仪和地磁仪的信号对加速计进行误差补偿,根据相应的算法得出更为准确的运动轨迹及姿态信息。
智能指环的信号及动作处理算法为:
使用sEMG信号进行活动段捕捉,该活动段为用户在进行有意识的手势动作,使用九轴运动信号进行用户具体手势动作类型的判断。
指环上的sEMG传感器可以捕捉用户对应手指肌肉是否紧张,即是否在进行肌肉活动,在肌肉不活动时,sEMG信号为一个随机的噪音信号;在肌肉活动时,sEMG信号会含有更多的信息量,所以通过对sEMG信号进行时域、频域或时-频域的分析,判断肌肉的活动情况。具体分析方法包括但不限于计算信号能量(x(t)为以t为时间序列的信号),计算信号幅值|x(t)|,计算信号样本熵、近似熵等统计量。可通过一定时间长度相同的肌肉活动作为指环输入的开关,在使用指环输入过程中,也可通过判断肌肉活动来判定一个动作的起止位置。
指环上的九轴运动传感器可以捕捉佩戴指环的手指的姿态、运动轨迹等信 息。要正确的还原活动段中指环的姿态和运动轨迹,必须精确给定运动的初始状态,即初始姿态,另外运动过程中的计算必须消除由于地球自转、指环运动引起牵连、重力加速度等有害加速度。加速计三个轴的值包含了重力加速度和线性加速度,重力加速度是由地球的重力因素引起的,当指环静止时,三轴的值的平方和的开方应该与重力加速度g(约为9.8)相等,通过 (ε为一个设定的误差阈值)可判定一个动作的起始状态。当指环在空间直线平移运动时,重力引起的三个轴加速度分量在整个运动过程中是不变的,而指环非直线运动(包含旋转)时,重力分量会发生改变,根据传感器融合的方法,使用卡尔曼滤波得到初始状态和运动方向、加速度等估计值。卡尔曼滤波,它根据实际的九轴传感器的测量值和建立的系统模型的估计值,进行误差补偿,估算实际的姿态和运动轨迹。
通过肌电信号和运动信号操作智能指环与其他智能设备进行交互的流程如下:
用户以特定的姿态绷紧手指一段时间后,运动指环确定当前的交互手势的场景;
用户做出相应的手势;
信号采集模块131接收肌电信号及运动信号,并进行信号的预处理;
信号处理模块132收到预处理后的信号,将进一步处理,将其转换成标准的信号值;
动作处理模块133根据各传感器的信号值,结合手势集模块134和存储模块135,确定用户的手势动作;
输出模块136根据和智能指环连接的智能设备的不同,将手势动作结果转换成该智能设备可以接受的数据格式;
传输模块137将产生的结果数据传输给与智能指环连接的智能设备。
以下结合附图,举具体的实施例详细介绍。
实施例一:
本实施例介绍本发明提出的智能指环的硬件结构,如图2为硬件结构示意图。指环的硬件结构包括:指环的壳体、工作指示灯(13)、开关(14)、EMG电极(15)。其中EMG电极(15)为肌电传感器模组110的一部分,而运动传感器模组120所使用的多轴运动传感器硬件完全嵌入壳体当中。在壳体中还应当包含具有处理运算能力的主控芯片以及相关的集成电板、信号线等硬件。
实施例二:
本实施例介绍一种用户以特定的姿势激活某一个应用场景的实施方式。当用户需要使用智能指环与所连接的智能设备进行交互时,需要首先激活一个应用场景,该应用场景决定了使用指环能够实现的功能。
如图3为本实施例中用户通过手指朝向激活单个应用场景时采用的手势示意图。
首先用户设定上、下、左、右四个方向对应的应用场景并存入存储模块,之后用户将手指指向上、下、左、右四个方向中的一个方向并绷紧手指一段时间,此时指环可以检测到用户的手指的朝向以及手指肌肉的状态,经过短时间的绷紧手指肌肉的动作,所连接的智能设备的交互界面上应该根据手指的朝向并出现对应应用场景的用户操作界面。
以下对本实施例中的检测绷紧手指肌肉的方法以及检测手指朝向(上、下、左、右)的方法做进一步具体说明:
绷紧手指时,sEMG电极采集到的信号图参考图4,其中,呈明显波动的段为手指用力的时间段,呈平稳状态(直线状态)的为手指放松的时间段。
检测绷紧手指的具体检测方法可使用计算sEMG信号的样本熵值,用滑窗对sEMG的采样信号进行分段处理,计算每一个分段内的样本熵值,当熵值大于设定的阈值ε时认为手指用力,当熵值低于设定的阈值ε时认为手指未用力,滑窗分段和阈值设置可参考图5。
样本熵计算方法为:对于一个给定的维度m,计算阈值r,以及固定长度的样本数N,样本熵的计算公式为其中,
A=维度为m时的d[xm(i),xm(j)]<r的概率;
B=维度为m+1时的d[xm(i),xm(j)]<r的概率;
指环(手指)朝向的具体检测方法为:使用九轴运动传感器对指环进行姿态判定,以使用卡尔曼滤波法为例。采用卡尔曼滤波法进行初始对准,就是将平台误差角从随机误差和随机干扰中估计出来,同时,尽可能估计出陀螺漂移和加速计偏置(不长的时间范围内,陀螺漂移和加速计偏置可看为常量)。
首先,建立指环位置的ψ角误差(计算地理坐标系法,选择北东地坐标系)方程,如下:
其中,Ω为地球自转角速度,L为地理纬度,δVN为北向速度误差,δVE为东向速度误差,ψN,ψE,ψD分别表示北向、东向、方位失准角,分别为x轴和y轴加速计零偏,εN,εE,εD为陀螺仪三个轴的常量漂移。
然后,建立卡尔曼滤波方程,分别为以速度误差和姿态误差为状态变量的系统方程、以速度误差和航向误差为状态变量的量测方程,以及卡尔曼滤波方程。
(1)系统方程
其中,
X为系统状态向量
W为系统噪声向量 WδVN…WψD为零均值高斯白噪声,分别为加速度计误差和陀螺漂移的噪声成分;
A为系统转移矩阵;
(2)量测方程
取两个水平速度误差δVN和δVE为观测量
即Z=HX+η
其中,
Z=[Z1 Z2]=[δVN δVE]为观测量;
H为观测矩阵;
η=[ηN ηE]为观测方程的随机噪声状态矢量,为零均值高斯白噪声;
(3)离散卡尔曼滤波方程
或
根据上述三个方程式,可以估计出指环姿态的三个参数ψN,ψE,ψD(北向、东向、方位失准角)。
用户接下来可以放松手指,并开始进行相应的操作。
实施例三:
本实施例介绍用户进行的是利用智能指环的运动轨迹进行空中书写或者空中鼠标的交互操作。如图6为本实施例中智能指环的空中书写交互场景示意图。
用户可按照如下方式进行空中书写输入:1、绷紧佩戴指环的手指进入书写状态。2、根据用户设置可以每输入一个字母(一串单词)后放松,或者放松该手 指后开始连笔输入单词通过输入完成后再次绷紧及放松食指表示输入完成。3、在对应的用户界面上显示用户输入的轨迹或者输入的识别结果。
用户可按照如下方式进行空中鼠标输入:1、绷紧佩戴指环的手指进入激活控制鼠标轨迹状态。2、在绷紧手指的状态下移动手指代表移动鼠标。3、手心向下弯曲手指代表单击左键。4、手心向上弯曲手指代表单击右键。
用户所进行的空中书写或者空中鼠标的输入会即时的通过传输模块无线传输给相应的智能设备。接下来智能设备应负责对用户所输入的单词进行识别,或者对用户所做出的鼠标操作予以执行。
实施例四:
本实施例介绍用户进行的利用指环敲击检测结合运动轨迹的方法进行虚拟键盘的输入操作。如图7为本实施例中智能指环的虚拟键盘交互场景示意图。
用户可按照如下方式进行虚拟键盘输入:1、自然下垂绷紧佩戴指环的手指一段时间,表示进入初次位置校准状态,此时会校准手指位置,若直接敲击一个输入面(输入面要求较平滑,且敲击手指能感受到反馈的力的面即可),输入字符为5。2、按照当前虚拟键盘的布局,将手指移动到不同的方位,敲击输入面进行输入不同的字符输入。3、自然下垂绷紧佩戴指环的手指一段时间,表示退出输入状态。通过虚拟键盘输入的方式,用户可以在智能设备上进行拨号,或者使用九宫格输入法结合智能设备的显示设备的反馈进行中英文的输入。
在运用指环进行敲击检测的方法的基础上,还可以触发另一个场景,进行使用敲击触发预定义宏的操作。用户可以按照如下方式进行使用敲击触发预定义宏的输入:1、用户在智能设备上设置指环敲击次数所对应的宏操作。2、进入对应场景,自然下垂绷紧佩戴指环的手指一段时间,表示进入敲击输入状态。3、用户使用手指敲击一个输入面(输入面要求较平滑,且敲击手指能感受到反馈的力的面即可),敲击一定的次数。4、用户停止敲击动作一小段时间后,这时用户所敲击的次数会传送给相应的智能设备。5、用户可以继续有间隔性的进行接下来的一组的敲击动作,以便继续宏输入或者再次自然下垂绷紧佩戴指环的手指一段时间,表示退出宏的输入状态,智能设备此时应开始执行用户通过敲击 想要执行的宏。运用此方法,可以实现一系列的复杂的宏操作。例如用户输入:敲击3次-间隔-敲击2次,可以由智能设备执行自定义的第32个宏的操作,这种方法为用户在不使用额外的智能设备作为输入设备就可以实现一系列的复杂的宏操作提供了可行性。
以下对上述实施例中的检测智能指环轨迹的方式做进一步具体说明:
检测智能指环轨迹的具体算法流程说明参考图8。检测指环的轨迹可以基于加速度与位移的转换公式,实现加速度到位移的转换,具体实现为,对于每一个当前点相对于上一个点在运动过程中的三个方向加速度的值,计算这一个时间间隔内的运动速度,再乘以时间,可计算得到当前点距离起始点在三个方向上的位移,以此得到当前点的位置。记录每一个当前点的位置,即可获取指环的运动轨迹。
以指环开始移动时刻为初始时刻,假设初始时刻时,指环在加速度计的X、Y轴的移动速度和位移都是0,Δt为采样间隔,a0,a1,a2,…an-1,an为每个采样时刻的加速度。根据加速度计算当前时刻的速度公式:vn=vn-1+anΔt,根据速度计算当前时刻的位移公式为:在X、Y、Z轴分别计算,可以计算出每一个时刻相对上一时刻在三个轴上的位移,根据初始点的位置,这样可以标记出每一个采样时刻指环的具体位置,最终可获取运动轨迹。
相应地,本发明还提出一种根据用户动作控制智能设备的方法,该方法使用上述智能指环,该方法包括:
采集用户的肌电信号和运动信号,根据所述肌电信号和运动信号确定当前交互场景;
根据所述当前的交互场景及相应的算法对所述运动信号进行动作分类处理;
查找预先保存的各种应用场景下不同运动信号与识别结果或控制信息的对应关系,获取所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息输出至所述智能设备。
上述方法中,采集用户肌电信号的方式可以为:采用一个以上肌电传感器采集,所述肌电传感器集成表面电极为接触式肌电电极;
采集用户运动信号的方式可以为:采用多轴运动传感器采集。
将识别结果或控制信息输出至智能设备的方式可以为:根据所述智能设备的类型,将所述识别结果或控制信息转换成所述智能设备可以接受的形式,并将转换后的识别结果或控制信息发送至所述智能设备。
上述方法可以进一步包括:预先设定运动信号与交互场景的对应关系;
根据肌电信号和运动信号确定当前交互场景的方式为:根据运动信号查找所述运动信号与交互场景的对应关系,确定所述当前交互场景。
还可以包括:
采集用户对应于书写场景的肌电信号和运动信号,进入书写场景;
根据预先设置的书写开始及书写结束对应的肌电信号和运动信号识别书写轨迹,在对应的用户界面上显示所述书写轨迹。
还可以包括:
采集用户对应于控制鼠标场景的肌电信号和运动信号,进入控制鼠标场景;
根据预先设置的对应于鼠标控制指令的肌电信号和运动信号识别鼠标控制指令,在对应的用户界面上执行所述鼠标控制指令。
还可以包括:
采集用户对应于虚拟键盘输入场景的肌电信号和运动信号,进入虚拟键盘输入场景;
采集用户的肌电信号和运动信号,根据用户手指的移动轨迹及敲击动作识别输入的内容,在对应的用户界面上输入并显示所述内容;
采集用户对应于退出虚拟键盘输入场景的肌电信号和运动信号,退出虚拟键盘输入场景;
还可以包括:
采集用户对应于触发预定义宏场景的肌电信号和运动信号,进入触发预定义宏场景;
根据预先设置的敲击开始及敲击结束对应的肌电信号和运动信号识别敲击次数;
采集用户对应于退出触发预定义宏场景的肌电信号和运动信号,退出触发义宏的场景,执行所述敲击次数对应的预定义宏。
上述方法中,采用智能指环进行空中书写或空中鼠标的交互操作方式、采用智能指环进行虚拟键盘的输入方式、以及采用智能指环进行敲击触发预定义宏的具体方式在上述实施例三和实施例四中有具体介绍。
综上所述,本发明提出的智能指环及采用该智能指环控制智能设备的方法,在智能指环壳体中内置一个或多个肌电传感器(集成表面肌电电极)和运动传感器,通过手指产生的肌电信号结合运动传感器信号来操作指环与其他设备进行交互,解决了目前智能指环存在的操作不自然和不便捷等问题。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明保护的范围之内。
Claims (12)
1.一种智能指环,其特征在于,所述智能指环包括:
肌电传感器模组,用于采集用户的肌电信号,并将采集的肌电信号发送至主控模组;
运动传感器模组,用于采集用户的运动信号,并将采集的运动信号发送至主控模组;
主控模组,用于根据所述肌电信号和运动信号确定当前交互场景,并确定所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息发送至与所述智能指环连接的智能设备。
2.根据权利要求1所述的智能指环,其特征在于,所述肌电传感器模组包括一个以上肌电传感器,所述肌电传感器集成表面电极为接触式肌电电极;
所述运动传感器模组包括多轴运动传感器。
3.根据权利要求1或2所述的智能指环,其特征在于,所述主控模组包括:
信号采集模块,用于对接收的肌电信号和运动信号进行预处理,并将预处理后的肌电信号和运动信号发送至信号处理模块;
信号处理模块,用于将处理后的肌电信号和运动信号转换成标准的信号值,并将转换后的信号发送至动作处理模块;
动作处理模块,用于接收经所述信号处理模块处理后的信号,确定当前的交互场景;根据所述当前的交互场景及相应的算法对所述信号进行动作分类处理,并结合手势集模块和存储模块存储的内容产生识别结果或控制信息,将所述识别结果或控制信息发送至输出模块;
手势集模块,用于保存各种应用场景下不同运动信号对应的识别结果或控制信息;
存储模块,用于保存不同应用场景对应的运动信号;
输出模块,根据与所述智能指环连接的智能设备的类型,将所述识别结果或控制信息转换成所述智能设备可以接受的形式,并将转换后的识别结果或控制信息发送至传输模块;
传输模块,用于将经输出模块转换后的识别结果或控制信息发送至与所述智能指环连接的智能设备。
4.根据权利要求3所述的智能指环,其特征在于,所述主控模组还包括:
硬件控制模块,用于控制所述智能指环的硬件单元,所述硬件单元包括电源指示灯或开关。
5.一种根据用户动作控制智能设备的方法,其特征在于,所述方法包括:
采集用户的肌电信号和运动信号,根据所述肌电信号和运动信号确定当前交互场景;
根据所述当前的交互场景及相应的算法对所述运动信号进行动作分类处理;
查找预先保存的各种应用场景下不同运动信号与识别结果或控制信息的对应关系,获取所述运动信号在当前交互场景下对应的识别结果或控制信息,将所述识别结果或控制信息输出至所述智能设备。
6.根据权利要求5所述的方法,其特征在于,
所述采集用户肌电信号的方式为:采用一个以上肌电传感器采集,所述肌电传感器集成表面电极为接触式肌电电极;
所述采集用户运动信号的方式为:采用多轴运动传感器采集。
7.根据权利要求5或6所述的方法,其特征在于,所述将识别结果或控制信息输出至智能设备的方式为:
根据所述智能设备的类型,将所述识别结果或控制信息转换成所述智能设备可以接受的形式,并将转换后的识别结果或控制信息发送至所述智能设备。
8.根据权利要求5或6所述的方法,其特征在于,所述方法进一步包括:预先设定运动信号与交互场景的对应关系;
所述根据肌电信号和运动信号确定当前交互场景的方式为:根据运动信号查找所述运动信号与交互场景的对应关系,确定所述当前交互场景。
9.根据权利要求5或6所述的方法,其特征在于,所述方法进一步包括:
采集用户对应于书写场景的肌电信号和运动信号,进入书写场景;
根据预先设置的书写开始及书写结束对应的肌电信号和运动信号识别书写轨迹,在对应的用户界面上显示所述书写轨迹。
10.根据权利要求5或6所述的方法,其特征在于,所述方法进一步包括:
采集用户对应于控制鼠标场景的肌电信号和运动信号,进入控制鼠标场景;
根据预先设置的对应于鼠标控制指令的肌电信号和运动信号识别鼠标控制指令,在对应的用户界面上执行所述鼠标控制指令。
11.根据权利要求5或6所述的方法,其特征在于,所述方法进一步包括:
采集用户对应于虚拟键盘输入场景的肌电信号和运动信号,进入虚拟键盘输入场景;
采集用户的肌电信号和运动信号,根据用户手指的移动轨迹及敲击动作识别输入的内容,在对应的用户界面上输入并显示所述内容;
采集用户对应于退出虚拟键盘输入场景的肌电信号和运动信号,退出虚拟键盘输入场景;
12.根据权利要求11所述的方法,其特征在于,所述方法进一步包括:
采集用户对应于触发预定义宏场景的肌电信号和运动信号,进入触发预定义宏场景;
根据预先设置的敲击开始及敲击结束对应的肌电信号和运动信号识别敲击次数;
采集用户对应于退出触发预定义宏场景的肌电信号和运动信号,退出触发义宏的场景,执行所述敲击次数对应的预定义宏。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410592022.1A CN104536558B (zh) | 2014-10-29 | 2014-10-29 | 一种智能指环和控制智能设备的方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410592022.1A CN104536558B (zh) | 2014-10-29 | 2014-10-29 | 一种智能指环和控制智能设备的方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104536558A true CN104536558A (zh) | 2015-04-22 |
CN104536558B CN104536558B (zh) | 2019-01-25 |
Family
ID=52852098
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410592022.1A Active CN104536558B (zh) | 2014-10-29 | 2014-10-29 | 一种智能指环和控制智能设备的方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104536558B (zh) |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765460A (zh) * | 2015-04-23 | 2015-07-08 | 王晓军 | 一种智能指环及用其通过手势控制智能终端的方法 |
CN105138133A (zh) * | 2015-09-14 | 2015-12-09 | 李玮琛 | 生物信号手势识别设备及方法 |
CN105511603A (zh) * | 2015-11-25 | 2016-04-20 | 小米科技有限责任公司 | 设备控制方法和装置 |
CN105561567A (zh) * | 2015-12-29 | 2016-05-11 | 中国科学技术大学 | 一种计步及运动状态评估装置 |
CN105912119A (zh) * | 2016-04-13 | 2016-08-31 | 乐视控股(北京)有限公司 | 用于字符输入的方法和可穿戴装置 |
CN106201282A (zh) * | 2015-05-04 | 2016-12-07 | 联想(北京)有限公司 | 一种数据输入方法及穿戴式电子设备 |
CN106303045A (zh) * | 2016-08-18 | 2017-01-04 | 青岛海信移动通信技术股份有限公司 | 移动终端手持状态的检测方法及移动终端 |
CN106484082A (zh) * | 2015-08-28 | 2017-03-08 | 华为技术有限公司 | 一种基于生物电的控制方法、装置及控制器 |
CN106648095A (zh) * | 2016-12-22 | 2017-05-10 | 惠州Tcl移动通信有限公司 | 一种基于可穿戴设备控制vr头盔的方法及系统 |
CN106873762A (zh) * | 2016-12-23 | 2017-06-20 | 南京理工大学 | 一种基于惯性传感器的人机交互输入技术 |
WO2018014432A1 (zh) * | 2016-07-20 | 2018-01-25 | 中兴通讯股份有限公司 | 语音应用触发控制方法、装置及终端 |
WO2018058462A1 (zh) * | 2016-09-29 | 2018-04-05 | 深圳市柔宇科技有限公司 | 控制方法、控制装置及智能穿戴设备 |
CN108958620A (zh) * | 2018-05-04 | 2018-12-07 | 天津大学 | 一种基于前臂表面肌电的虚拟键盘设计方法 |
CN110710193A (zh) * | 2017-06-12 | 2020-01-17 | 富士胶片株式会社 | 抖动检测装置、摄像装置、透镜装置、摄像装置主体、抖动检测方法及抖动检测程序 |
CN111103982A (zh) * | 2019-12-26 | 2020-05-05 | 上海纸上绝知智能科技有限公司 | 基于体感交互的数据处理方法以及装置、系统 |
CN114995628A (zh) * | 2021-10-13 | 2022-09-02 | 荣耀终端有限公司 | 隔空手势识别方法及其相关设备 |
CN115294658A (zh) * | 2022-08-24 | 2022-11-04 | 哈尔滨工业大学 | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 |
CN115314362A (zh) * | 2022-08-08 | 2022-11-08 | 中国南方电网有限责任公司 | 一种基于遥测网络的远端调度终端故障检测方法及系统 |
CN118379865A (zh) * | 2024-06-24 | 2024-07-23 | 深圳市矽昊智能科技有限公司 | 指向遥控方法、装置、设备及存储介质 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060121958A1 (en) * | 2004-12-06 | 2006-06-08 | Electronics And Telecommunications Research Institute | Wearable mobile phone using EMG and controlling method thereof |
CN101777250A (zh) * | 2010-01-25 | 2010-07-14 | 中国科学技术大学 | 家用电器的通用遥控装置及方法 |
CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
CN203149575U (zh) * | 2011-12-29 | 2013-08-21 | 无锡微感科技有限公司 | 一种基于微型传感器的交互式上肢康复设备 |
CN103654774A (zh) * | 2014-01-02 | 2014-03-26 | 北京思睿博创科技有限公司 | 穿戴式移动手环 |
CN103777752A (zh) * | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
US20140240103A1 (en) * | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control |
-
2014
- 2014-10-29 CN CN201410592022.1A patent/CN104536558B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20060121958A1 (en) * | 2004-12-06 | 2006-06-08 | Electronics And Telecommunications Research Institute | Wearable mobile phone using EMG and controlling method thereof |
CN102349037A (zh) * | 2009-03-13 | 2012-02-08 | 微软公司 | 用于人机接口的基于肌电图的可佩戴控制器 |
CN101777250A (zh) * | 2010-01-25 | 2010-07-14 | 中国科学技术大学 | 家用电器的通用遥控装置及方法 |
CN203149575U (zh) * | 2011-12-29 | 2013-08-21 | 无锡微感科技有限公司 | 一种基于微型传感器的交互式上肢康复设备 |
US20140240103A1 (en) * | 2013-02-22 | 2014-08-28 | Thalmic Labs Inc. | Methods and devices for combining muscle activity sensor signals and inertial sensor signals for gesture-based control |
CN103777752A (zh) * | 2013-11-02 | 2014-05-07 | 上海威璞电子科技有限公司 | 基于手臂肌肉电流检测和运动传感器的手势识别设备 |
CN103654774A (zh) * | 2014-01-02 | 2014-03-26 | 北京思睿博创科技有限公司 | 穿戴式移动手环 |
Cited By (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104765460A (zh) * | 2015-04-23 | 2015-07-08 | 王晓军 | 一种智能指环及用其通过手势控制智能终端的方法 |
CN104765460B (zh) * | 2015-04-23 | 2017-12-12 | 王晓军 | 一种智能指环及用其通过手势控制智能终端的方法 |
CN106201282A (zh) * | 2015-05-04 | 2016-12-07 | 联想(北京)有限公司 | 一种数据输入方法及穿戴式电子设备 |
CN106484082A (zh) * | 2015-08-28 | 2017-03-08 | 华为技术有限公司 | 一种基于生物电的控制方法、装置及控制器 |
US10901507B2 (en) | 2015-08-28 | 2021-01-26 | Huawei Technologies Co., Ltd. | Bioelectricity-based control method and apparatus, and bioelectricity-based controller |
CN105138133A (zh) * | 2015-09-14 | 2015-12-09 | 李玮琛 | 生物信号手势识别设备及方法 |
CN105511603A (zh) * | 2015-11-25 | 2016-04-20 | 小米科技有限责任公司 | 设备控制方法和装置 |
CN105561567B (zh) * | 2015-12-29 | 2018-11-13 | 中国科学技术大学 | 一种计步及运动状态评估装置 |
CN105561567A (zh) * | 2015-12-29 | 2016-05-11 | 中国科学技术大学 | 一种计步及运动状态评估装置 |
CN105912119A (zh) * | 2016-04-13 | 2016-08-31 | 乐视控股(北京)有限公司 | 用于字符输入的方法和可穿戴装置 |
WO2018014432A1 (zh) * | 2016-07-20 | 2018-01-25 | 中兴通讯股份有限公司 | 语音应用触发控制方法、装置及终端 |
CN107643908A (zh) * | 2016-07-20 | 2018-01-30 | 中兴通讯股份有限公司 | 语音应用触发控制方法、装置及终端 |
CN106303045A (zh) * | 2016-08-18 | 2017-01-04 | 青岛海信移动通信技术股份有限公司 | 移动终端手持状态的检测方法及移动终端 |
CN106303045B (zh) * | 2016-08-18 | 2019-09-20 | 青岛海信移动通信技术股份有限公司 | 移动终端手持状态的检测方法及移动终端 |
WO2018058462A1 (zh) * | 2016-09-29 | 2018-04-05 | 深圳市柔宇科技有限公司 | 控制方法、控制装置及智能穿戴设备 |
CN106648095A (zh) * | 2016-12-22 | 2017-05-10 | 惠州Tcl移动通信有限公司 | 一种基于可穿戴设备控制vr头盔的方法及系统 |
CN106873762A (zh) * | 2016-12-23 | 2017-06-20 | 南京理工大学 | 一种基于惯性传感器的人机交互输入技术 |
US11297238B2 (en) | 2017-06-12 | 2022-04-05 | Fujifilm Corporation | Blur detection device, imaging device, lens device, imaging device main body, blur detection method, and blur detection program |
CN110710193A (zh) * | 2017-06-12 | 2020-01-17 | 富士胶片株式会社 | 抖动检测装置、摄像装置、透镜装置、摄像装置主体、抖动检测方法及抖动检测程序 |
CN110710193B (zh) * | 2017-06-12 | 2021-02-09 | 富士胶片株式会社 | 抖动检测装置和方法、摄像装置、透镜装置及摄像装置主体 |
CN108958620A (zh) * | 2018-05-04 | 2018-12-07 | 天津大学 | 一种基于前臂表面肌电的虚拟键盘设计方法 |
CN111103982A (zh) * | 2019-12-26 | 2020-05-05 | 上海纸上绝知智能科技有限公司 | 基于体感交互的数据处理方法以及装置、系统 |
CN114995628A (zh) * | 2021-10-13 | 2022-09-02 | 荣耀终端有限公司 | 隔空手势识别方法及其相关设备 |
WO2023061037A1 (zh) * | 2021-10-13 | 2023-04-20 | 荣耀终端有限公司 | 隔空手势识别方法及其相关设备 |
CN114995628B (zh) * | 2021-10-13 | 2023-08-11 | 荣耀终端有限公司 | 隔空手势识别方法及其相关设备 |
CN115314362A (zh) * | 2022-08-08 | 2022-11-08 | 中国南方电网有限责任公司 | 一种基于遥测网络的远端调度终端故障检测方法及系统 |
CN115294658A (zh) * | 2022-08-24 | 2022-11-04 | 哈尔滨工业大学 | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 |
CN115294658B (zh) * | 2022-08-24 | 2024-06-07 | 哈尔滨工业大学 | 一种面向多应用场景的个性化手势识别系统及其手势识别方法 |
CN118379865A (zh) * | 2024-06-24 | 2024-07-23 | 深圳市矽昊智能科技有限公司 | 指向遥控方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN104536558B (zh) | 2019-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104536558B (zh) | 一种智能指环和控制智能设备的方法 | |
CN106933390B (zh) | 惯性技术和超声波相结合的触控笔位姿检测方法及系统 | |
US10446059B2 (en) | Hand motion interpretation and communication apparatus | |
KR100630806B1 (ko) | 동작 인식 장치를 이용한 명령 입력 방법 | |
Hsu et al. | An inertial pen with dynamic time warping recognizer for handwriting and gesture recognition | |
KR100827236B1 (ko) | 포인팅 디바이스, 포인터 이동 방법 및 상기 포인터를디스플레이하는 디스플레이 장치 | |
EP2941678B1 (en) | Computing interface system | |
TWI569176B (zh) | 手寫軌跡識別方法與系統 | |
CN105159539B (zh) | 可穿戴设备的触控响应方法、装置及可穿戴设备 | |
US20080192005A1 (en) | Automated Gesture Recognition | |
KR101551424B1 (ko) | 수화 인식 장치 | |
US20080036737A1 (en) | Arm Skeleton for Capturing Arm Position and Movement | |
US20100103104A1 (en) | Apparatus for user interface based on wearable computing environment and method thereof | |
KR101157073B1 (ko) | 근전도 센서와 자이로 센서를 이용한 지화 인식 방법 및 장치 | |
US10685219B2 (en) | Sign language recognition system and method | |
JP2004227563A (ja) | 慣性センサの積分 | |
US7796819B2 (en) | Apparatus and method for character recognition using acceleration sensor | |
CN104254816A (zh) | 数据输入装置 | |
Lei et al. | Design of data-glove and Chinese sign language recognition system based on ARM9 | |
CN105068657B (zh) | 手势的识别方法及装置 | |
Pan et al. | Handwriting trajectory reconstruction using low-cost imu | |
US8614671B2 (en) | Input apparatus, control apparatus, control system, and control method | |
Hsu et al. | Golf swing motion detection using an inertial-sensor-based portable instrument | |
KR101930942B1 (ko) | 수화 인식 시스템 및 방법 | |
JP3505057B2 (ja) | ペン型入力装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |