CN108037821A - 一种用于手势识别的可穿戴掌带 - Google Patents
一种用于手势识别的可穿戴掌带 Download PDFInfo
- Publication number
- CN108037821A CN108037821A CN201711035984.7A CN201711035984A CN108037821A CN 108037821 A CN108037821 A CN 108037821A CN 201711035984 A CN201711035984 A CN 201711035984A CN 108037821 A CN108037821 A CN 108037821A
- Authority
- CN
- China
- Prior art keywords
- palm
- band
- hand
- wearable
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明涉及一种用于手势识别的可穿戴掌带,包括:处于穿戴时的手心一侧的内掌壳;处于穿戴时的手背一侧的外掌带;固定在内掌壳上的调节定位带;固定在外掌带上并从外掌带向外延伸的调节带;一个或多个压力传感器、肌肉电信号传感器、多轴运动传感器,以及通讯模块和微处理器。通过可穿戴掌带的肌肉电信号传感器实时采集肌肉电信号以检测手指与手掌的运动,通过压力传感器实时采集运动时产生的压力信息,通过多轴运动传感器信号实时采集手掌的运动姿态信号,并采用模式识别的方法,实现手部动作的识别,还可以通过将识别结果传输给上位机的方式实现人机交互。
Description
技术领域
本发明涉及人机交互的智能设备领域,尤其涉及一种用于手势识别的可穿戴掌带。
背景技术
随着智能设备技术的发展,更加优质的人机交互成为一个研究的热点。手势的识别是实现人机交互的一种手段。为更好地实现人机交互和手势识别,对设备有着多方面的要求,除了识别的动作种类的丰富和精准以及动作的精细程度,对可穿戴设备的便捷性和舒适性也有一定的要求。
目前关于手势识别的主要技术方案有基于肌肉电信号和惯性单元信号的臂带和腕带,缺点是佩戴不便,如为采集肌肉电信号,在佩戴时需接触裸露的皮肤,从而使得臂带和腕带在人的衣着为长袖时显得不便。而且无论是在手臂或手腕处的肌肉电信号或惯性单元信号,都难以简单实现对全部单根手指弯曲状况的检测。并且佩戴至手臂或手腕部所采集的运动信号不如手部丰富。还可以基于数据手套来检测手部动作,但其缺点在于较为不易佩戴,尤其是需要将整个手全部覆盖,不利于佩戴手套进行日常动作。基于图像的手势识别方式则受到周围环境的限制较大,容易受到干扰,且不易作为可穿戴设备随身携带,便捷性和移动性受限。
此外,中国专利申请号为2013106610923的发明专利“一种智能感应手套及智能感应方法”和中国专利申请号为2016102964424的发明专利“一种智能感应手套的感应方法”的两类专利,主要通过力传感器紧贴于手背肌腱处来采集信号和定位传感器,但没有采集手指运动时在指根处的压力,从而也就无法采集到其他的可反映运动的信息。
发明内容
有鉴于现有技术的上述缺陷,本发明提供了一种利用多种类型的传感器的可穿戴掌带来进行手势识别的装置和方法,旨在解决的技术问题是提供一种可以兼顾到手部丰富的动作与部分精细的动作的简单准确识别并佩戴舒适方便的识别装置。
为实现上述目的,本发明提供的识别装置,通过可穿戴掌带的肌肉电信号传感器实时采集肌肉电信号以检测手指与手掌的运动,通过压力传感器实时采集运动时产生的压力信息,通过多轴运动传感器信号实时采集手掌的运动姿态信号,并采用模式识别的方法,实现手部动作的识别,还可以通过将识别结果传输给上位机的方式实现人机交互。
一方面,本发明提供一种用于手势识别的可穿戴掌带,包括:内掌壳,所述内掌壳处于穿戴时的手心一侧;外掌带,所述外掌带处于穿戴时的手背一侧,所述外掌带与所述内掌壳共同形成供手掌穿入的开口;调节定位带,所述调节定位带固定在所述内掌壳上;调节带,所述调节带固定在所述外掌带上并从所述外掌带向外延伸,所述调节带被配置为能够与所述调节定位带连接、固定或分离;一个或多个压力传感器,所述压力传感器设置在所述可穿戴掌带的内侧靠近指根处,被配置为采集压力信号;一个或多个肌肉电信号传感器,所述肌肉电信号传感器设置在所述可穿戴掌带的内侧,被配置为采集肌肉电信号;一个或多个多轴运动传感器,所述多轴运动传感器设置在所述可穿戴掌带上,被配置为采集运动状态信号;通讯模块,所述通讯模块设置在所述可穿戴上,被配置为与其他设备通讯;微处理器,所述微处理器设置在所述可穿戴上,被配置为与所述压力传感器、所述肌肉电信号传感器、所述多轴运动传感器、所述通讯模块相连接,用于处理传感器采集的信号。
在本发明的一个实施例中,所述内掌壳由硬质材料制成,所述外掌带和所述调节带由弹性材料制成;以及所述调节定位带上标有标记,以便于定位。
在本发明的另一个实施例中,所述内掌壳和所述外掌带在手指端连接处具有一个或多个弹性带条,以间隔不同的手指。
在本发明的另一个实施例中,所述肌肉电信号传感器设置在穿戴时的所述可穿戴掌带内侧的手背拇指侧、手背位置正中和手背小指侧;所述多轴运动传感器设置在穿戴时的所述可穿戴掌带外侧的手背拇指侧和手背位置正中,其中,多个所述多轴运动传感器被配置为相互对比以得到手部拇指相对手背的运动状况;以及所述压力传感器设置在穿戴时的所述可穿戴掌带内侧各个指根处靠近手心和手背处各一个。
在本发明的另一个实施例中,所述肌肉电信号传感器包括肌肉电信号电极、滤波电路和放大电路;以及所述多轴运动传感器包括加速度传感器、陀螺仪、磁力计及其组合。
另一方面,本发明还提供一种人机交互系统,包括:穿戴设备端,包括上述的可穿戴掌带;以及上位机端,包括通讯模块、上位机和交互设备,所述上位机端的通讯模块、上位机和交互设备之间通信连接;其中,所述穿戴设备端和所述上位机端通过所述上位机端的通讯模块和所述可穿戴掌带的通讯模块通信连接;其特征在于:所述上位机被配置为基于所接收到的由所述可穿戴掌带采集的信息控制所述交互设备执行相应的操作。
另一方面,本发明还提供一种手势识别的方法,包括以下步骤:
S1、佩戴可穿戴式掌带,通过调节带和调节定位带调节穿戴位置使得内掌壳位于手心合适处以及各个传感器良好接触佩戴者;
S2、选择上位机为训练模式,根据提示做出对应动作,得到手部动作的幅值信息和分类器信息,存储于上位机中;
S3、选择上位机为识别模式,经过简单校准后,做出相应动作,根据之前所存储的信息来进行动作的识别。
在本发明的一个实施例中,其中步骤S2还包括:
S2.1、通过指根处的压力传感器采集数据,基于所采集的压力值获得对应的手指的弯曲程度,实现对第一种精细动作的标定,并对所采集的压力值进行分窗处理提取特征值获得第一训练分类器;
S2.2、通过手背处的肌肉电信号传感器采集数据,结合所述压力传感器采集的数据进行幅值分析获得大拇指与其他手指的间距,实现对第二种精细动作的标定,同时对所采集的肌肉电信号进行分窗处理提取特征值获得第二训练分类器;
S2.3、通过多轴运动传感器采集数据并进行手部运动姿态的解算,同时对所采集的多轴运动信号进行分窗处理提取特征值获得第三训练分类器;
S2.4、将所述第一训练分类器、所述第二训练分类器和所述第三训练分类器进行融合获得手势训练分类器集,存储在上位机中,以共同用于识别其余各类手势。
在本发明的另一个实施例中,其中步骤S3还包括:
S3.1、通过指根处的压力传感器采集数据,基于所采集的压力值获得对应的手指弯曲程度,实现第一种精细动作的识别,并对所采集的压力值进行分窗处理提取特征值获得第一识别分类器;
S3.2、通过手背处的肌肉电信号传感器采集数据,结合所述压力传感器采集的数据进行幅值分析获得大拇指与其他手指的间距,实现对第二种精细动作的识别,同时对所采集的肌肉电信号进行分窗处理提取特征值获得第二识别分类器;
S3.3、通过多轴运动传感器采集数据并进行手部运动姿态的解算,同时对所采集的多轴运动信号进行分窗处理提取特征值获得第三识别分类器;
S3.4、将所述第一识别分类器、所述第二识别分类器和所述第三识别分类器进行融合获得手势识别分类器集,结合存储在上位机中的手势训练分类器集共同用于识别手势。
在本发明的另一个实施例中,还包括利用识别的动作进行人机交互。
本发明采用丰富的传感器并综合的分析和利用数据,相比于其他的臂带或腕带类的现有技术,能够识别的手势的更为丰富,并且对于手指弯曲以及大拇指与其余手指相对运动之类的精细动作也可以较好地识别,以及本发明直接利用指根处的运动来反映手指弯曲的程度,使得对不同手指的识别较为独立,从而使得识别结果不易混淆,更为精确可靠。
同时,本发明将可穿戴掌带的覆盖区域限制在一个相对较小的范围内,并且对手指无覆盖,相比于数据手套类的现有技术,使得佩戴者在佩戴时更为舒适,并且有效减少了在佩戴时对日常生活的不利影响。
附图说明
图1A为本发明中可穿戴掌带的一个实施例的手心朝向示意图;
图1B为本发明中可穿戴掌带的一个实施例的手背朝向示意图;
图2为本发明中可穿戴掌带的一个实施例的系统结构示意图;
图3为本发明中手势识别方法的一个实施例的训练流程示意图;
图4为本发明中手势识别方法的一个实施例的识别流程示意图。
具体实施方式
为了彻底理解本发明,将在下列的描述中提出详细的步骤以及详细的结构,以便阐释本发明提出的技术方案。下面将结合附图,对本发明的技术方案进行更为清楚、完整的描述。显然,所描述的实施例是本发明一部分的实施例,而不是全部的实施例。本发明的较佳实施例详细描述如下,然而除了这些详细描述外,本发明还可以具有其他实施方式。基于本发明的实施例,本领域的技术人员在没有付出创造性劳动的前提下所获得的所有其他的实施例,都属于本发明的保护范围。
在下文的描述中,给出了大量具体的细节以便提供对本发明更为彻底的理解。然而,对于本领域技术人员而言显而易见的是,本发明可以无需一个或多个这些细节而得以实施。应当理解的是,本发明能够以不同形式实施,而不应当解释为局限于这里提出的实施例。相反地,提供这些实施例将使本发明的公开清楚和全面。
如图1A-1B所示,为本发明中可穿戴掌带的一个实施例的手心朝向和手背朝向示意图。可穿戴掌带201包括手心朝向的内掌壳101、手背朝向的外掌带108、弹性调节带102和与调节带102相对应的调节定位带103,以及其他各种电子元件。手掌穿过由内掌壳101和外掌带108环绕而形成的开口来完成穿戴,使得内掌壳101处于手心一侧,外掌带108处于手背一侧。其中,优选内掌壳101由硬质材料制成,以便于承载电子元件;外掌带108由弹性材料制成,可适用于不同大小的手掌或手形,并保持与手部的贴合。在外掌带108上还具有若干带条107,用于间隔不同的手指,便于对手指进行引导或定位,通过佩戴者手指穿过对应孔位来使传感器所检测位置更加准确,且无需覆盖手指,优选带条107由弹性材料制成。调节带102和调节定位带103互相搭配,可根据需要连接固定或分离,如卡扣、粘条等,调节带102优选由弹性材料制成,可适用于不同大小的手掌或手形,并进一步保持与手部的贴合,从而使得可穿戴掌带的各种传感器能够与佩戴者的手部实现良好接触。优选的,调节定位带103上具有刻度或标记,以便于更精确地定位调节带102与调节定位带103的连接位置,从而可以根据实际情况进行更精确地调节,方便不同佩戴者调节使用,对于不同佩戴者可调整至较舒适状况且保证前后佩戴位置一致,同时也便于将可穿戴掌带的各种传感器更准确地放置于最合适的位置。
可穿戴掌带上还安装有各种电子元件,以实现对手部动作的识别,包括:微处理器、通讯模块、各种传感器以及相应的电路结构等。
在图1A-1B的基础上进一步结合图2所示,提供了可穿戴掌带的一个实施例的系统结构示意图。其中,通讯模块207,用于与上位机或其他设备通讯;微处理器203,用于控制其他电子元件,并处理来自其他电子元件的信息,如基于各个传感器采集到的信息识别手部的动作,并通过通讯模块207传输至上位机端202;通讯模块207和微处理器203优选地安装在内掌壳101的区域104处;一个或多个肌肉电信号传感器204,用于采集和初步处理反映肌肉动作或状态的肌肉电信号,优选地安装在可穿戴掌带内侧的区域105处,更加优选地,在手背位置正中以及分别靠近小指和大拇指处各有一个,综合检测手指运动状况;一个或多个压力传感器206,用于采集来自手指或指根的压力信息,优选地安装在可穿戴掌带内侧的106区域内,更加优选地,在各个手指的指根处分别朝向手心与手背的方向各有一个;一个或多个多轴运动传感器205,包括加速度传感器、陀螺仪、磁力计等多轴运动传感器及其组合,用于采集加速度、陀螺仪的角速度、磁力计的数据等,优选地安装在外掌带108的109区域内,更加优选地,在外掌带外侧的手背正中位置和靠近大拇指处各有一个。其中,多个多轴运动传感器可以被配置为相互对比以得到手部拇指相对手背的运动状况。进一步地,肌肉电信号传感器204还可以包括肌肉电信号电极208、滤波电路209和放大电路210,压力传感器206还可以包括力敏电阻211和转换电路212。
在一个具体实施例中,当佩戴者进行手势动作时,肌肉电信号传感器204通过肌肉电信号电极208实时采集手部表面的肌肉电信号,如在手背处的肌肉电信号电极208可以实时采集手背处的肌肉电信号;肌肉电信号传感器204可以进一步通过滤波电路和/或放电大路对所采集到的肌肉电信号进行处理,并传输至微处理器203进行后续的操作。压力传感206通过力敏电阻211实时采集来自手部的压力信号,如在指根处的力敏电阻211可以实时采集指根处的压力;压力传感器204可以进一步通过转换电路对所采集到的压力信号进行处理,并传输至微处理器203进行后续的操作。多轴运动传感器205可以实时采集随着手势动作而产生的加速度、角速度、磁场变化等信号,并传输至微处理器203进行后续的操作,如手背处的多轴运动传感器205可以实时采集随着手背翻转而产生的加速度、角速度、磁场变化等信号。微处理器203接收到来自各个传感器采集到的信号,将这些信号处理为适合通信的数据或信息,并通过通讯模块207与上位机端202进行通讯。
上位机端202包括:通讯模块213,用于与可穿戴掌带或其他设备的通讯;上位机214,用于控制其他电子元件,并处理来自其他电子元件的信息,如基于可穿戴掌带采集的信息或识别的手势生成相应的操作指令,并传输至交互设备215以控制交互设备215执行相应的操作;交互设备215,用于根据上位机发送的指令执行各种操作,如向使用者执行视觉、听觉或触觉反馈。
在一个具体实施例中,上位机端202中的通讯模块213与可穿戴掌带中的通讯模块207通讯,接收来自可穿戴掌带采集到的信息或识别到的手势,并将数据传输至上位机214,进而通过上位机214对接收到的信息或手势进行识别或处理,从而可以根据识别或处理的结果控制交互设备215执行相应的操作。其中,上位机214可以为电脑、平板电脑、手机、服务器等。
在一个具体实施例中,通过多个肌肉电信号传感器实时采集手背三处的肌肉电信号以检测手指与手掌的运动,通过多个压力传感器实时采集各个指根处手心和手背两侧的压力信息,通过多个多轴运动传感器实时采集手掌以及拇指相对于手背的运动信号,采用模式识别的方法,实现手部动作的识别,并通过将结果传输至上位机的方式实现人机交互。
通过上述的系统,能够将佩戴者手部的动作识别为相应的指令以控制交互设备,从而实现人机交互。优选地,在初次使用时先进行训练以获得相应的分类集,训练所获得分类集与佩戴者本身的特征(如手掌的形状和大小、手部力量强弱、动作的幅度和频率以及某些特定的习惯动作等)相关,有利于后续更有针对性从而更为准确地识别佩戴者的手势;后续使用时可以跳过训练步骤,直接开始识别。
更为具体地,进一步结合图3描述本发明的训练流程的一个实施例。首先,上位机进行模式选择,当确定选择训练时,进入训练模式。优选的,初次使用时,主动向佩戴者提示选择训练模式。进入训练模式后,佩戴者根据提示执行一个或多个相应的手势动作,压力传感器304、肌肉电信号传感器305和多轴运动传感器306实时采集相应的信号,并传输至上位机。具体地说,压力传感器304实时采集传感器位置处探测到的压力信号,通过压力值获得对应的手指弯曲的程度,实现对第一种精细动作的标定,并对压力值分窗提取特征值,从而获得第一训练分类器308;肌肉电信号传感器305实时采集传感器位置处探测到的表面肌肉电信号,分窗提取特征值,从而获得第二训练分类器312;多轴运动传感器306实时采集探测到的信号,进行手部的运动姿态的解算,并分窗提取特征值,从而获得第三训练分类器314;将第一训练分类器、第二训练分类器、第三训练分类器进行分析、融合处理后得到总的手势训练分类器集,该训练分类器集可以用来进行复杂手势的识别,如利用模式识别的方法。同时,压力传感器304和肌肉电信号传感器305均可以提取幅值信息309,并综合分析利用幅值信息来获得大拇指与其余手指的间距,实现对第二种精细动作的标定,尤其是大拇指与食指之间的间距变化为常用的人机交互手势。通过训练模式获得的手势分类器集、手指弯曲程度以及大拇指与其余手指距离的标定等信息,可以被存储在上位机或其他设备中,用于针对后续的或特定的佩戴者进行手势识别。优选的,可以针对不同的佩戴者或不同的应用场景存储多个相对应的训练模式结果,在后续进行手势识别时,可以选择或调用相对应的训练模式结果进行更有针对性的识别。
下面进一步结合图4描述本发明的识别流程的一个实施例。首先,上位机进行模式选择,当确定选择识别模式时,进入识别模式。优选的,非初次使用时,默认进入识别模式。进入识别模式后,佩戴者可以做出各种手势动作,压力传感器404、肌肉电信号传感器405和多轴运动传感器406实时采集相应的信号,并传输至上位机。优选地,在识别之前可以先进行简单的校准。具体地说,压力传感器404实时采集传感器位置处探测到的压力信号,通过压力值获得对应的手指弯曲的程度,实现对第一种精细动作的识别,并对压力值分窗提取特征值,从而获得第一识别分类器408;肌肉电信号传感器405实时采集传感器位置处探测到的表面肌肉电信号,分窗提取特征值,从而获得第二识别分类器412;多轴运动传感器406实时采集探测到的信号,进行手部的运动姿态的解算,并分窗提取特征值,从而获得第三识别分类器414;将第一识别分类器、第二识别分类器、第三识别分类器进行分析、融合处理后得到总的手势识别分类器集,该识别分类器集结合训练分类器集可以用来识别当前的手势。同时,压力传感器404和肌肉电信号传感器405均可以提取幅值信息409,并综合利用幅值信息来获得大拇指与其余手指的间距,实现对第二种精细动作的识别。接着,结合之前通过训练模式获得的手势训练分类器集、手指弯曲程度以及大拇指与其余手指距离的标定等信息,可以判断当前的手部动作,并识别出手指弯曲程度、大拇指与其余手指的距离、手部姿态以及其他复杂的手部动作,共同用于识别各类手势。进一步地,还可以利用识别的动作控制交互设备来进行人机交互。
本发明已经通过上述实施例进行了说明,但应当理解的是,上述实施例只是用于举例和说明的目的,而非意在将本发明限制于所描述的实施例范围内。此外本领域技术人员可以理解的是,本发明并不局限于上述实施例,根据本发明的教导还可以做出更多种的变型和修改,这些变型和修改均落在本发明所要求保护的范围以内。本发明的保护范围由附属的权利要求书及其等效范围所界定。
Claims (10)
1.一种用于手势识别的可穿戴掌带,包括:
内掌壳,所述内掌壳处于穿戴时的手心一侧;
外掌带,所述外掌带处于穿戴时的手背一侧,所述外掌带与所述内掌壳共同形成供手掌穿入的开口;
调节定位带,所述调节定位带固定在所述内掌壳上;
调节带,所述调节带固定在所述外掌带上并从所述外掌带向外延伸,所述调节带被配置为能够与所述调节定位带连接、固定或分离;
一个或多个压力传感器,所述压力传感器设置在所述可穿戴掌带的内侧靠近指根处,被配置为采集压力信号;
一个或多个肌肉电信号传感器,所述肌肉电信号传感器设置在所述可穿戴掌带的内侧,被配置为采集肌肉电信号;
一个或多个多轴运动传感器,所述多轴运动传感器设置在所述可穿戴掌带上,被配置为采集运动状态信号;
通讯模块,所述通讯模块设置在所述可穿戴上,被配置为与其他设备通讯;
微处理器,所述微处理器设置在所述可穿戴上,被配置为与所述压力传感器、所述肌肉电信号传感器、所述多轴运动传感器、所述通讯模块相连接,用于处理传感器采集的信号。
2.根据权利要求1所述的可穿戴掌带,其特征在于:所述内掌壳由硬质材料制成,所述外掌带和所述调节带由弹性材料制成;以及所述调节定位带上标有标记,以便于定位。
3.根据权利要求1所述的可穿戴掌带,其特征在于:所述内掌壳和所述外掌带在手指端连接处具有一个或多个弹性带条,以间隔不同的手指。
4.根据权利要求1所述的可穿戴掌带,其特征在于:
所述肌肉电信号传感器设置在穿戴时的所述可穿戴掌带内侧的手背拇指侧、手背位置正中和手背小指侧;
所述多轴运动传感器设置在穿戴时的所述可穿戴掌带外侧的手背拇指侧和手背位置正中,其中,多个所述多轴运动传感器被配置为相互对比以得到手部拇指相对手背的运动状况;以及
所述压力传感器设置在穿戴时的所述可穿戴掌带内侧各个指根处靠近手心和手背处各一个。
5.根据权利要求1所述的可穿戴掌带,其特征在于:
所述肌肉电信号传感器包括肌肉电信号电极、滤波电路和放大电路;以及
所述多轴运动传感器包括加速度传感器、陀螺仪、磁力计及其组合。
6.一种人机交互系统,包括:
穿戴设备端,包括:根据权利要求1-5中任一项所述的可穿戴掌带;以及
上位机端,包括:通讯模块、上位机和交互设备,所述上位机端的通讯模块、上位机和交互设备之间通信连接;
其中,所述穿戴设备端和所述上位机端通过所述上位机端的通讯模块和所述可穿戴掌带的通讯模块通信连接;
其特征在于:
所述上位机被配置为基于所接收到的由所述可穿戴掌带采集的信息控制所述交互设备执行相应的操作。
7.一种手势识别的方法,包括以下步骤:
S1、佩戴可穿戴式掌带,通过调节带和调节定位带调节穿戴位置使得内掌壳位于手心合适处以及各个传感器良好接触佩戴者;
S2、选择上位机为训练模式,根据提示做出对应动作,得到手部动作的幅值信息和分类器信息,存储于上位机中;
S3、选择上位机为识别模式,经过简单校准后,做出相应动作,根据之前所存储的信息来进行动作的识别。
8.根据权利要求7所述的方法,其中步骤S2还包括:
S2.1、通过指根处的压力传感器采集数据,基于所采集的压力值获得对应的手指的弯曲程度,实现对第一种精细动作的标定,并对所采集的压力值进行分窗处理提取特征值获得第一训练分类器;
S2.2、通过手背处的肌肉电信号传感器采集数据,结合所述压力传感器采集的数据进行幅值分析获得大拇指与其他手指的间距,实现对第二种精细动作的标定,同时对所采集的肌肉电信号进行分窗处理提取特征值获得第二训练分类器;
S2.3、通过多轴运动传感器采集数据并进行手部运动姿态的解算,同时对所采集的多轴运动信号进行分窗处理提取特征值获得第三训练分类器;
S2.4、将所述第一训练分类器、所述第二训练分类器和所述第三训练分类器进行融合获得手势训练分类器集,存储在上位机中,以共同用于识别其余各类手势。
9.根据权利要求7所述的方法,其中步骤S3还包括:
S3.1、通过指根处的压力传感器采集数据,基于所采集的压力值获得对应的手指弯曲程度,实现第一种精细动作的识别,并对所采集的压力值进行分窗处理提取特征值获得第一识别分类器;
S3.2、通过手背处的肌肉电信号传感器采集数据,结合所述压力传感器采集的数据进行幅值分析获得大拇指与其他手指的间距,实现对第二种精细动作的识别,同时对所采集的肌肉电信号进行分窗处理提取特征值获得第二识别分类器;
S3.3、通过多轴运动传感器采集数据并进行手部运动姿态的解算,同时对所采集的多轴运动信号进行分窗处理提取特征值获得第三识别分类器;
S3.4、将所述第一识别分类器、所述第二识别分类器和所述第三识别分类器进行融合获得手势识别分类器集,结合存储在上位机中的手势训练分类器集共同用于识别手势。
10.根据权利要求7-9中任一项所述的方法,还包括利用识别的动作进行人机交互。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711035984.7A CN108037821B (zh) | 2017-10-30 | 2017-10-30 | 一种用于手势识别的可穿戴掌带 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201711035984.7A CN108037821B (zh) | 2017-10-30 | 2017-10-30 | 一种用于手势识别的可穿戴掌带 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108037821A true CN108037821A (zh) | 2018-05-15 |
CN108037821B CN108037821B (zh) | 2021-06-18 |
Family
ID=62092649
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201711035984.7A Active CN108037821B (zh) | 2017-10-30 | 2017-10-30 | 一种用于手势识别的可穿戴掌带 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108037821B (zh) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558826A (zh) * | 2018-11-23 | 2019-04-02 | 武汉灏存科技有限公司 | 基于模糊聚类的手势识别方法、系统、设备及存储介质 |
CN109739357A (zh) * | 2019-01-02 | 2019-05-10 | 京东方科技集团股份有限公司 | 机械手的控制方法及装置 |
CN110039507A (zh) * | 2019-04-09 | 2019-07-23 | 华南理工大学 | 一种基于外骨骼数据手套和肌电手环的遥操作系统与方法 |
CN111803351A (zh) * | 2020-05-11 | 2020-10-23 | 吉林省嘉士韦医疗科技有限公司 | 一种患肢局部感觉触发式脑中风后手功能康复治疗仪 |
FR3096484A1 (fr) * | 2019-05-22 | 2020-11-27 | Victor DE BONO | Dispositif de reconnaissance des mouvements des doigts d’un porteur |
CN112181259A (zh) * | 2019-07-04 | 2021-01-05 | 中移(苏州)软件技术有限公司 | 一种控制方法、装置、终端及计算机存储介质 |
CN112197896A (zh) * | 2020-10-28 | 2021-01-08 | 西北农林科技大学 | 一种可穿戴式16路压力数据采集手套 |
CN112604253A (zh) * | 2020-11-10 | 2021-04-06 | 上海健康医学院 | 一种攀岩训练用手指力量测量装置 |
CN112860069A (zh) * | 2021-02-19 | 2021-05-28 | 浙江大学 | 一种手指压力与姿态双模态检测方法及装置 |
CN112971772A (zh) * | 2021-03-12 | 2021-06-18 | 哈尔滨工业大学 | 基于手掌部多模态信息的人手多运动模式识别系统 |
CN113557069A (zh) * | 2019-02-28 | 2021-10-26 | 脸谱科技有限责任公司 | 用于手势分类和施加的力估计的无监督机器学习的方法和装置 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105404397A (zh) * | 2015-12-21 | 2016-03-16 | 广东工业大学 | 一种手套控制器及其实现控制的方法 |
CN106020442A (zh) * | 2016-05-05 | 2016-10-12 | 云神科技投资股份有限公司 | 一种智能感应手套的感应方法 |
CN106125939A (zh) * | 2016-07-05 | 2016-11-16 | 青海金联讯电子科技有限公司 | 一种基于智能手套的人机交互方法 |
EP3098691A1 (en) * | 2015-05-29 | 2016-11-30 | Manus Machinae B.V. | Flex sensor and instrumented glove |
CN106200988A (zh) * | 2016-08-30 | 2016-12-07 | 上海交通大学 | 一种可穿戴式手语识别装置及手语翻译方法 |
US20160378193A1 (en) * | 2015-06-25 | 2016-12-29 | Intel Corporation | Wearable Device with Gesture Recognition Mechanism |
CN106445168A (zh) * | 2016-11-01 | 2017-02-22 | 中南大学 | 一种智能手套及其使用方法 |
CN106662914A (zh) * | 2014-12-08 | 2017-05-10 | 罗希特·塞思 | 可穿戴无线hmi装置 |
-
2017
- 2017-10-30 CN CN201711035984.7A patent/CN108037821B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106662914A (zh) * | 2014-12-08 | 2017-05-10 | 罗希特·塞思 | 可穿戴无线hmi装置 |
EP3098691A1 (en) * | 2015-05-29 | 2016-11-30 | Manus Machinae B.V. | Flex sensor and instrumented glove |
US20160378193A1 (en) * | 2015-06-25 | 2016-12-29 | Intel Corporation | Wearable Device with Gesture Recognition Mechanism |
CN105404397A (zh) * | 2015-12-21 | 2016-03-16 | 广东工业大学 | 一种手套控制器及其实现控制的方法 |
CN106020442A (zh) * | 2016-05-05 | 2016-10-12 | 云神科技投资股份有限公司 | 一种智能感应手套的感应方法 |
CN106125939A (zh) * | 2016-07-05 | 2016-11-16 | 青海金联讯电子科技有限公司 | 一种基于智能手套的人机交互方法 |
CN106200988A (zh) * | 2016-08-30 | 2016-12-07 | 上海交通大学 | 一种可穿戴式手语识别装置及手语翻译方法 |
CN106445168A (zh) * | 2016-11-01 | 2017-02-22 | 中南大学 | 一种智能手套及其使用方法 |
Non-Patent Citations (2)
Title |
---|
YANG ZHENG等: "《Development and evaluation of a sensor glove for hand function assessment and preliminary attempts at assessing hand coordination》", 《MEASUREMENT》 * |
刁梁: "《面向虚拟现实应用的数据手套研制》", 《万方学位论文》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109558826A (zh) * | 2018-11-23 | 2019-04-02 | 武汉灏存科技有限公司 | 基于模糊聚类的手势识别方法、系统、设备及存储介质 |
CN109739357A (zh) * | 2019-01-02 | 2019-05-10 | 京东方科技集团股份有限公司 | 机械手的控制方法及装置 |
US11592901B2 (en) * | 2019-01-02 | 2023-02-28 | Boe Technology Group Co., Ltd. | Control device and control method for robot arm |
CN113557069A (zh) * | 2019-02-28 | 2021-10-26 | 脸谱科技有限责任公司 | 用于手势分类和施加的力估计的无监督机器学习的方法和装置 |
CN110039507A (zh) * | 2019-04-09 | 2019-07-23 | 华南理工大学 | 一种基于外骨骼数据手套和肌电手环的遥操作系统与方法 |
FR3096484A1 (fr) * | 2019-05-22 | 2020-11-27 | Victor DE BONO | Dispositif de reconnaissance des mouvements des doigts d’un porteur |
CN112181259A (zh) * | 2019-07-04 | 2021-01-05 | 中移(苏州)软件技术有限公司 | 一种控制方法、装置、终端及计算机存储介质 |
CN112181259B (zh) * | 2019-07-04 | 2023-04-07 | 中移(苏州)软件技术有限公司 | 一种控制方法、装置、终端及计算机存储介质 |
CN111803351A (zh) * | 2020-05-11 | 2020-10-23 | 吉林省嘉士韦医疗科技有限公司 | 一种患肢局部感觉触发式脑中风后手功能康复治疗仪 |
CN112197896A (zh) * | 2020-10-28 | 2021-01-08 | 西北农林科技大学 | 一种可穿戴式16路压力数据采集手套 |
CN112604253B (zh) * | 2020-11-10 | 2022-07-26 | 上海健康医学院 | 一种攀岩训练用手指力量测量装置 |
CN112604253A (zh) * | 2020-11-10 | 2021-04-06 | 上海健康医学院 | 一种攀岩训练用手指力量测量装置 |
CN112860069A (zh) * | 2021-02-19 | 2021-05-28 | 浙江大学 | 一种手指压力与姿态双模态检测方法及装置 |
CN112971772A (zh) * | 2021-03-12 | 2021-06-18 | 哈尔滨工业大学 | 基于手掌部多模态信息的人手多运动模式识别系统 |
CN112971772B (zh) * | 2021-03-12 | 2024-08-16 | 哈尔滨工业大学 | 基于手掌部多模态信息的人手多运动模式识别系统 |
Also Published As
Publication number | Publication date |
---|---|
CN108037821B (zh) | 2021-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108037821A (zh) | 一种用于手势识别的可穿戴掌带 | |
US9681840B2 (en) | Wearable mobile device and method of measuring biological signal with the same | |
KR102330889B1 (ko) | 제스처-기반 제어를 위해 근활성도 센서 신호와 관성 센서 신호를 결합하는 방법 및 기기 | |
US6984208B2 (en) | Method and apparatus for sensing body gesture, posture and movement | |
CN103677265B (zh) | 一种智能感应手套及智能感应方法 | |
CN103654774A (zh) | 穿戴式移动手环 | |
KR102177136B1 (ko) | 착용형 근력 측정 장치 및 시스템 | |
US20210275103A1 (en) | Biological information processing apparatus and information processing method | |
WO2015184778A1 (en) | Human body-based interaction method and interaction apparatus | |
CN106933340A (zh) | 手势动作识别方法、控制方法和装置以及腕式设备 | |
CN107943285A (zh) | 一种基于生物肌电的人机交互腕环、系统及方法 | |
CN107295303A (zh) | 一种体育训练监控系统 | |
WO2019008497A1 (en) | SYSTEM AND METHOD FOR INCREASING DETECTION OF FLUORESCENCE | |
CN205540566U (zh) | 光源跟踪设备和系统 | |
CN206193786U (zh) | 运动数据检测装置 | |
CN106155300A (zh) | 一种基于肌电流和多传感器协同作用的人机交互设备及其使用方法 | |
CN109765823A (zh) | 基于手臂肌电信号的地面履带式无人车控制方法 | |
CN107530545A (zh) | 用于电刺激系统的用户接口 | |
CN110787439A (zh) | 一种基于电子数据采集的武术训练评估装置 | |
CN107450672B (zh) | 一种高识别率的腕式智能装置 | |
CN106020442A (zh) | 一种智能感应手套的感应方法 | |
CN212067683U (zh) | 投篮手势分析手环 | |
CN106155328A (zh) | 一种可穿戴式单指操控无线鼠标装置及其控制方法 | |
CN215687857U (zh) | 一种传感器手套及手功能康复设备 | |
CN210776584U (zh) | 一种基于人造肌肉的力学反馈体感手套及动作捕捉系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |