CN111061368B - 一种手势检测方法及可穿戴设备 - Google Patents
一种手势检测方法及可穿戴设备 Download PDFInfo
- Publication number
- CN111061368B CN111061368B CN201911247266.5A CN201911247266A CN111061368B CN 111061368 B CN111061368 B CN 111061368B CN 201911247266 A CN201911247266 A CN 201911247266A CN 111061368 B CN111061368 B CN 111061368B
- Authority
- CN
- China
- Prior art keywords
- air pressure
- gesture
- arm
- angle
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种手势检测方法及可穿戴设备,该可穿戴设备,包括:第一腕式结构,包括第一腕带、设置在第一腕带上的第一惯性导航传感器、设置在第一腕带内壁至少一个气囊、与至少一个气囊一一对应连接的至少一个气压传感器;第二腕式结构,包括第二腕带、设置在第二腕带上的第二惯性导航传感器、设置在第二腕带上的主控模块;其中,至少一个气压传感器用于检测对应气囊的气压信息,获得与至少一个气囊一一对应的至少一个气压信息,第一惯性导航传感器用于检测获得小臂姿态角度,第二惯性导航传感器用于检测获得大臂姿态角度,主控模块用于基于至少一个气压信息、小臂姿态角度、大臂姿态角度确定目标手臂对应的目标意图手势。
Description
技术领域
本发明涉及人机交互技术领域,尤其涉及一种手势检测方法及可穿戴设备。
背景技术
在日常生活中,人们会通过手去完成各种日常生活所需的抓取动。但是,由于意外或者疾病的发生,许多人不得已失去了自己的手部,这对于手部肢体缺失的患者是一个巨大的灾难。因此人们需要用其他的设备来替代手,假肢的设计变得尤为重要。评价一个假肢手的控制好坏,其中一个最重要的指标就是它的人机交互能力以及其控制的有效性。而人机交互能力以及其控制的有效性均需要对其手势进行精确识别。
在现有的研究中,肌电信号能够实时的反映出人体的运动控制意图,可用于手势识别。肌电信号是由紧贴皮肤的肌电电极,检测肌肉活动过程中所产生的微弱的电信号。这些,但是肌电信号必须由微弱的电信号经过放大滤波最终才能应用于实际的假肢手控制或者人机交互中。其过程很容易受环境中的电磁噪声所干扰,造成信号紊乱。并且肌电电极在穿戴过程中需要紧贴皮肤,并且要保证皮肤与肌电电极的接触面的阻抗小,需要用酒精擦拭,这就会导致用户在穿戴过程中的不便性。而且随着时间的变化,肌电信号会受人体疲劳、出汗的影响,进而导致手势识别不够准确。
发明内容
本发明实施例提供了一种手势检测方法及可穿戴设备,用于实时检测使用者的肌肉活动状态与手臂姿态,并能够准确实时识别使用者的意图手势。
第一方面,本发明提供了一种手势检测方法,应用于可穿戴设备,所述可穿戴设备包括第一腕式结构和第二腕式结构,所述第一腕式结构包括第一腕带、设置在所述第一腕带上的第一惯性导航传感器、设置在所述第一腕带内壁至少一个气囊、与所述至少一个气囊一一对应连接的至少一个气压传感器,所述第二腕式结构包括第二腕带、设置在所述第二腕带上的第二惯性导航传感器、设置在所述第二腕带上的主控模块,所述主控模块与所述至少一个气压传感器、所述第一惯性导航传感器以及所述第二惯性导航传感器连接,在所述第一腕式结构通过所述第一腕带佩戴在目标手臂的小臂且所述第二腕式结构通过所述第二腕带佩戴在所述目标手臂的大臂情况下,所述方法包括:
通过所述至少一个气压传感器检测获得与所述至少一个气囊对应的至少一个气压信息,将所述至少一个气压信息发送至所述主控模块;
通过所述第一惯性导航传感器检测获得小臂姿态角度,将所述小臂姿态角度发送至所述主控模块;
通过所述第二惯性导航传感器检测获得大臂姿态角度,将所述大臂姿态角度发送至所述主控模块;
通过所述主控模块确定所述目标手臂对应的目标意图手势。
可选的,所述主控模块包括手势识别模块,所述通过所述主控模块确定所述目标手臂对应的目标意图手势,包括:
通过所述手势识别模块确定与所述至少一个气压信息对应的气压特征;
通过所述手势识别模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征;
通过所述手势识别模块,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
可选的,所述通过所述手势识别模块确定与所述至少一个气压信息对应的气压特征,包括:
通过所述手势识别模块对所述至少一个气压信息进行归一化处理,获得气压特征,其中,所述至少一个气压信息中每个气压信息为对应的气囊相较于该气囊的初始气压的气压变化值。
可选的,所述通过所述手势识别模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,包括:
通过所述手势识别模块将所述小臂姿态角度与所述大臂姿态角度输入手臂关节模型,获得所述手臂关节模型输出的四个自由度的旋转角度特征,其中,所述旋转角度特征包括小臂旋转角度、曲肘角度、大臂正向抬起角度和侧向抬起角度,所述手臂关节模型为基于不同的小臂姿态角度、不同的小臂姿态角度预先训练得到的模型。
可选的,所述主控模块包括发送模块,所述通过所述主控模块确定所述目标手臂对应的目标意图手势包括:
通过所述发送模块将所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度发送至目标设备,以使得所述目标设备基于所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度识别出与所述目标手臂对应的目标意图手势,其中,所述目标设备用于确定与所述至少一个气压信息对应的气压特征,确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
第二方面,本发明实施例提供一种可穿戴设备,包括:
第一腕式结构,包括第一腕带、设置在所述第一腕带上的第一惯性导航传感器、设置在所述第一腕带内壁至少一个气囊、与所述至少一个气囊一一对应连接的至少一个气压传感器;
第二腕式结构,包括第二腕带、设置在所述第二腕带上的第二惯性导航传感器、设置在所述第二腕带上的主控模块,所述主控模块与所述至少一个气压传感器、所述第一惯性导航传感器以及所述第二惯性导航传感器连接;
其中,在所述第一腕式结构通过所述第一腕带佩戴在目标手臂的小臂且所述第二腕式结构通过所述第二腕带佩戴在所述目标手臂的大臂情况下,所述至少一个气压传感器用于检测对应气囊的气压信息,获得与至少一个气囊一一对应的至少一个气压信息,将所述至少一个气压信息发送至所述主控模块,所述第一惯性导航传感器用于检测获得小臂姿态角度,将所述小臂姿态角度发送至所述主控模块,所述第二惯性导航传感器用于检测获得大臂姿态角度,将所述大臂姿态角度发送至所述主控模块,所述主控模块用于基于所述至少一个气压信息、所述小臂姿态角度、所述大臂姿态角度确定所述目标手臂对应的目标意图手势。
可选的,所述主控模块包括发送模块,所述发送模块用于将所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度发送至目标设备,以使得所述目标设备基于所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度识别出与所述目标手臂对应的目标意图手势,其中,所述目标设备用于确定与所述至少一个气压信息对应的气压特征,确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
可选的,所述主控模块包括手势识别模块,所述手势识别模块具体用于:
确定与所述至少一个气压信息对应的气压特征;
确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征;
将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
可选的,所述手势识别模块具体用于:
通过所述手势识别模块对所述至少一个气压信息进行归一化处理,获得气压特征,其中,所述至少一个气压信息中每个气压信息为对应的气囊相较于该气囊的初始气压的气压变化值。
可选的,所述手势识别模块具体用于:
通过所述手势识别模块将所述小臂姿态角度与所述大臂姿态角度输入手臂关节模型,获得所述手臂关节模型输出的四个自由度的旋转角度特征,其中,所述旋转角度特征包括小臂旋转角度、曲肘角度、大臂正向抬起角度和侧向抬起角度,所述手臂关节模型为基于不同的小臂姿态角度、不同的小臂姿态角度预先训练得到的模型。
本申请实施例中的上述一个或多个技术方案,至少具有如下一种或多种技术效果:
在本发明实施例的技术方案中,提供一种可穿戴设备,包括第一腕式结构和第二腕式结构,第一腕式结构包括第一腕带、设置在第一腕带上的第一惯性导航传感器、设置在第一腕带内壁至少一个气囊、与至少一个气囊一一对应连接的至少一个气压传感器,第二腕式结构包括第二腕带、设置在第二腕带上的第二惯性导航传感器、设置在第二腕带上的主控模块,主控模块与至少一个气压传感器、第一惯性导航传感器以及第二惯性导航传感器连接,在第一腕式结构通过第一腕带佩戴在目标手臂的小臂且第二腕式结构通过第二腕带佩戴在目标手臂的大臂情况下,通过气压传感器可检测获得每个气囊的气压信息,通过第一惯性导航传感器检测获得小臂姿态角度,通过第二惯性导航传感器检测获得大臂姿态角度,然后,主控模块可以根据每个气囊的气压信息、小臂姿态角度以及大臂姿态角度,准确确定目标手臂对应的目标意图手势。这样,通过气囊的气压特征,可以准确反映出小臂肌肉活动状态,不受肌肉疲劳等因素所影响。进而,结合小臂姿态角度以及大臂姿态角度识别出的意图手势更为准确。并且,该可穿戴设备小巧易穿戴,且在使用过程中可以不接触皮肤,防止过敏,能更好地适配交互场景,提升用户的交互体验。
附图说明
图1为本申请第一实施例提供的可穿戴设备的穿戴示意图;
图2为本申请第一实施例提供的第一腕式结构示意图;
图3为本申请第一实施例提供的第一腕式结构展开示意图;
图4为本申请第一实施例提供的第一腕式结构中气囊相关结构示意图;
图5为本申请第一实施例提供的检测小臂肌肉活动的工作原理示意图。
具体实施方式
本发明实施例提供了一种手势检测方法及可穿戴设备,用于实时检测使用者的肌肉活动状态与手臂姿态,并能够准确实时识别使用者的意图手势。本实施例中手势检测方法应用于可穿戴设备,所述可穿戴设备包括第一腕式结构和第二腕式结构,所述第一腕式结构包括第一腕带、设置在所述第一腕带上的第一惯性导航传感器、设置在所述第一腕带内壁至少一个气囊、与所述至少一个气囊一一对应连接的至少一个气压传感器,所述第二腕式结构包括第二腕带、设置在所述第二腕带上的第二惯性导航传感器、设置在所述第二腕带上的主控模块,所述主控模块与所述至少一个气压传感器、所述第一惯性导航传感器以及所述第二惯性导航传感器连接,在所述第一腕式结构通过所述第一腕带佩戴在目标手臂的小臂且所述第二腕式结构通过所述第二腕带佩戴在所述目标手臂的大臂情况下,所述方法包括:通过所述至少一个气压传感器检测获得与所述至少一个气囊对应的至少一个气压信息,将所述至少一个气压信息发送至所述主控模块;通过所述第一惯性导航传感器检测获得小臂姿态角度,将所述小臂姿态角度发送至所述主控模块;通过所述第二惯性导航传感器检测获得大臂姿态角度,将所述大臂姿态角度发送至所述主控模块;通过所述主控模块确定与所述至少一个气压信息对应的气压特征;通过所述主控模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征;基于所述气压特征和所述旋转角度特征,确定所述目标手臂对应的目标意图手势。
下面通过附图以及具体实施例对本发明技术方案做详细的说明,应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明,而不是对本申请技术方案的限定,在不冲突的情况下,本申请实施例以及实施例中的技术特征可以相互组合。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
由于在现有技术中,单一传感器所获取的人体意图有限,造成应用限制。多传感器融合检测可以融合多种传感器信息,使得人体意图可以通过不同传感器之间得到互补,最终能够提取出准确的人体意图。由此,本实施例中的可穿戴设备,采用多传感器融合的方式,来更加准确的识别用户的手势。
请参考图1~图4,本发明第一实施例一种可穿戴设备,包括:
第一腕式结构10,包括第一腕带11、设置在第一腕带11上的第一惯性导航传感器12、设置在第一腕带11内壁至少一个气囊13、与至少一个气囊一一对应连接的至少一个气压传感器14。
第二腕式结构20,包括第二腕带21、设置在第二腕带21上的第二惯性导航传感器22、设置在第二腕带21上的主控模块23,主控模块23与至少一个气压传感器14、第一惯性导航传感器12以及第二惯性导航传感器22连接。
其中,在第一腕式结构10通过第一腕带11佩戴在目标手臂的小臂且第二腕式结构20通过第二腕带21佩戴在目标手臂的大臂情况下,至少一个气压传感器14用于检测对应气囊13的气压信息,获得与至少一个气囊一一对应的至少一个气压信息,将至少一个气压信息发送至主控模块23,第一惯性导航传感器12用于检测获得小臂姿态角度,将小臂姿态角度发送至主控模块 23,第二惯性导航传感器22用于检测获得大臂姿态角度,将大臂姿态角度发送至主控模块23,主控模块23用于确定与至少一个气压信息对应的气压特征,以及确定与小臂姿态角度、大臂姿态角度对应的四个自由度的旋转角度特征,基于气压特征和旋转角度特征,确定目标手臂对应的目标意图手势。
具体的,在本实施例中,图1示出了本实施例中的可穿戴设备的穿戴示意图,第一腕式结构10佩戴在目标手臂的小臂且第二腕式结构20佩戴在目标手臂的大臂。请参考图2,图2示出了本实施例中第一腕式结构10的一种实现方式,6通道气囊的第一腕式机构,第一腕带11内壁设置有6个气囊13。放置在第一腕带11上的还有一个惯性导航传感器12,该传感器能够实时检测手臂姿态。第一腕式结构10上所有的数据都由数据总线15传递给主控模块23。请参考图3,第一腕式结构10中6个气囊由第一腕带11束缚在一起,外部不可形变,并且可由卡扣16调节气囊臂环在穿戴在手臂的松紧程度。
请参考图4,每个气囊13是由PVC塑料压制而成的气囊袋,每个气囊袋尾部都具有一个单向薄膜阀17,用以给气囊充气。每个气囊都有一个导气管 18联通的气压传感器14。气压传感器的检测范围为高于大气压0-20KPa,对应输出电压为0.5-4.5V,输出电压与气囊内部气压成正比。
请参考图5,图5示出了本发明手势检测的气囊臂环装置及方法中的6通道气囊用以检测小臂肌肉活动的工作原理。在佩戴气囊环的时候,小臂自然放松,并将气囊的6个气囊分别置于尺侧腕曲肌,尺侧腕伸肌,指总伸肌,尺侧腕伸肌,尺侧腕曲肌,指浅屈肌六块肌肉上。如图所示,当手臂肌肉用力时伴随着手臂肌肉的膨胀,气囊的外部由不可形变的第一腕带11包住,当肌肉膨胀时,气囊13收到挤压,内部体积变小,内部的压强变大。通过导气管连通气压传感器,检测当前可以检测到气压的变化,通过正比例的线性变化关系,便可测量对应肌肉的肌力。
在具体实施过程中,第一腕带内壁设置的气囊数量可设置为可根据实际需要进行设定,比如:2、4等数值,在此,本实施例不做限制。
具体的,在本实施例中,第二腕式结构中的主控模块23可以采用 STM32F104嵌入式微处理器,用以实时接收气压传感器的检测的数据,实时接收第一惯性导航传感器12以及第二惯性导航传感器22的数据,即至少一个气压信息、小臂姿态角度、大臂姿态角度。主控模块23还包括发送模块,发送模块可以是无线发送模块。主控模块23可以以200Hz的频率将数据打包通过SPI接口传送给nRF24L01无线发送模块,nRF24L01无线发送模块通过2.4Ghz无线射频网络将数据发送给目标设备的无线接收模块。
本实施例所提供的主控模块23工作流程描述如下:
(1)、主控模块23通过电源开关供电以后,系统变开始运行,首先进行系统初始化,初始化包括引脚定义,时钟初始化,中断初始化等
(2)、系统初始化后,启动AD转换的DMA模式,在该模式下,处理器会在后台循环测量气压传感器的电压值,每次检测6通道气囊的气压信息结束以后,将气压信息存放在寄存器中,便于读取。
(3)、系统初始化后,启动串口中断,第一惯性导航传感器、第二惯性导航传感器通过串口以200Hz的频率给主控制器发送各自的姿态角度,在中断收到姿态信息以后,主控制器关闭中断,并把数据保存在姿态寄存器中,第一惯性导航传感器、第二惯性导航传感器均采用GY953惯性导航传感器,在具体实施过程中,第一惯性导航传感器、第二惯性导航传感器的选型均可根据实际需要进行设置,在此,本实施例不做限制。
(4)、系统初始化以后,另一个线程打开定时器,设置5ms的定时时间,当定时时间到了以后,将姿态信息(包括小臂姿态角度、大臂姿态角度),和气压信息(包括6个气囊各自对应的电压)封装成帧,通过发送模块发送给目标设备,同时将采集的信息显示在显示屏中。
本实施例中目标设备接受数据并识别手势流程如下:
(1)、系统开始后,通过无线接收模块接收主控模块23传输的数据帧。
(2)、将数据帧拆分成两部分,一部分为六通道的气压值,另外一部分为两个惯性导航传感器所测的姿态角度。
(3)、将六通道气压值减去初始值,便可得到气压变化值。将气压变化值归一化,便可得到气压特征。
(4)、通过对手臂关节进行建模,得到手臂关节模型,将两个惯性导航传感器的姿态角度滤波后,通过手臂关节模型将其转换为大臂和小臂的四个自由度的旋转角度,分别为小臂旋转角度,曲肘角度,大臂正向抬起角度和侧向抬起角度。
(5)、将手臂姿态信息和小臂六通道气囊气压信息送入训练好的手势识别模型中去,便可将姿态特征和气压特征转换为对应手势。手势识别模型为多次采集的不同的气压特征、不同的旋转角度特征预先训练得到的模型。
(6)、还可将识别所得手势通过显示界面实时显示。
进一步,在本实施例中,手势识别部分工作可由主控模块中的手势识别模块完成,具体的,手势识别模块确定与至少一个气压信息对应的气压特征,具体的,对至少一个气压信息进行归一化处理,获得气压特征,其中,至少一个气压信息中每个气压信息为对应的气囊相较于该气囊的初始气压的气压变化值。同时,手势识别模块确定与小臂姿态角度、大臂姿态角度对应的四个自由度的旋转角度特征,将气压特征和旋转角度特征输入手势识别模型后识别出与目标手臂对应的目标意图手势,手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。最后,通过手势识别模块将小臂姿态角度与大臂姿态角度输入手臂关节模型,获得手臂关节模型输出的四个自由度的旋转角度特征,其中,旋转角度特征包括小臂旋转角度、曲肘角度、大臂正向抬起角度和侧向抬起角度,手臂关节模型为基于不同的小臂姿态角度、不同的小臂姿态角度预先训练得到的模型。
本实施例提供的可穿戴设备,能够实时测量小臂的肌肉活动,以及手臂姿态,该装置小巧易穿戴,且在使用过程中可以不接触皮肤,防止过敏能更好地适配交互场景,提升用户的交互体验。并且,通过气囊检测肌肉活动是一种新式肌肉活动检测方式,不受肌肉疲劳等因素所影响,进而,结合小臂姿态角度以及大臂姿态角度识别出的意图手势更为准确。
本发明的第二实施例提供了一种手势检测方法,应用于前述第一实施例中的可穿戴设备,所述可穿戴设备包括第一腕式结构和第二腕式结构,所述第一腕式结构包括第一腕带、设置在所述第一腕带上的第一惯性导航传感器、设置在所述第一腕带内壁至少一个气囊、与所述至少一个气囊一一对应连接的至少一个气压传感器,所述第二腕式结构包括第二腕带、设置在所述第二腕带上的第二惯性导航传感器、设置在所述第二腕带上的主控模块,所述主控模块与所述至少一个气压传感器、所述第一惯性导航传感器以及所述第二惯性导航传感器连接,在所述第一腕式结构通过所述第一腕带佩戴在目标手臂的小臂且所述第二腕式结构通过所述第二腕带佩戴在所述目标手臂的大臂情况下,所述方法包括:
通过所述至少一个气压传感器检测获得与所述至少一个气囊对应的至少一个气压信息,将所述至少一个气压信息发送至所述主控模块;
通过所述第一惯性导航传感器检测获得小臂姿态角度,将所述小臂姿态角度发送至所述主控模块;
通过所述第二惯性导航传感器检测获得大臂姿态角度,将所述大臂姿态角度发送至所述主控模块;
通过所述主控模块确定所述目标手臂对应的目标意图手势。
进一步,在本实施例中,所述主控模块包括手势识别模块,所述通过所述主控模块确定所述目标手臂对应的目标意图手势,包括:
通过所述手势识别模块确定与所述至少一个气压信息对应的气压特征;
通过所述手势识别模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征;
通过所述手势识别模块,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
进一步,在本实施例中,所述通过所述手势识别模块确定与所述至少一个气压信息对应的气压特征,包括:
通过所述手势识别模块对所述至少一个气压信息进行归一化处理,获得气压特征,其中,所述至少一个气压信息中每个气压信息为对应的气囊相较于该气囊的初始气压的气压变化值。
进一步,在本实施例中,所述通过所述手势识别模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,包括:
通过所述手势识别模块将所述小臂姿态角度与所述大臂姿态角度输入手臂关节模型,获得所述手臂关节模型输出的四个自由度的旋转角度特征,其中,所述旋转角度特征包括小臂旋转角度、曲肘角度、大臂正向抬起角度和侧向抬起角度,所述手臂关节模型为基于不同的小臂姿态角度、不同的小臂姿态角度预先训练得到的模型。
进一步,在本实施例中,所述主控模块包括发送模块,所述通过所述主控模块确定所述目标手臂对应的目标意图手势包括:
通过所述发送模块将所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度发送至目标设备,以使得所述目标设备基于所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度识别出与所述目标手臂对应的目标意图手势,其中,所述目标设备用于确定与所述至少一个气压信息对应的气压特征,确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
本实施例中的手势检测方法的具体实现流程已在第一实施例中详细阐述,可参见第一实施例中对应的内容,在此,本实施例不做赘述。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。
Claims (6)
1.一种手势检测方法,其特征在于,应用于可穿戴设备,所述可穿戴设备包括第一腕式结构和第二腕式结构,所述第一腕式结构包括第一腕带、设置在所述第一腕带上的第一惯性导航传感器、设置在所述第一腕带内壁至少一个气囊、与所述至少一个气囊一一对应连接的至少一个气压传感器,所述第二腕式结构包括第二腕带、设置在所述第二腕带上的第二惯性导航传感器、设置在所述第二腕带上的主控模块,所述主控模块与所述至少一个气压传感器、所述第一惯性导航传感器以及所述第二惯性导航传感器连接,在所述第一腕式结构通过所述第一腕带佩戴在目标手臂的小臂且所述第二腕式结构通过所述第二腕带佩戴在所述目标手臂的大臂情况下,所述方法包括:
通过所述至少一个气压传感器检测获得与所述至少一个气囊对应的至少一个气压信息,将所述至少一个气压信息发送至所述主控模块;
通过所述第一惯性导航传感器检测获得小臂姿态角度,将所述小臂姿态角度发送至所述主控模块;
通过所述第二惯性导航传感器检测获得大臂姿态角度,将所述大臂姿态角度发送至所述主控模块;
通过所述主控模块确定所述目标手臂对应的目标意图手势;
所述主控模块包括手势识别模块,所述通过所述主控模块确定所述目标手臂对应的目标意图手势,包括:
通过所述手势识别模块确定与所述至少一个气压信息对应的气压特征;
通过所述手势识别模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征;
通过所述手势识别模块,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型;
所述通过所述手势识别模块确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,包括:
通过所述手势识别模块将所述小臂姿态角度与所述大臂姿态角度输入手臂关节模型,获得所述手臂关节模型输出的四个自由度的旋转角度特征,其中,所述旋转角度特征包括小臂旋转角度、曲肘角度、大臂正向抬起角度和侧向抬起角度,所述手臂关节模型为基于不同的小臂姿态角度、不同的小臂姿态角度预先训练得到的模型。
2.如权利要求1所述的方法,其特征在于,所述通过所述手势识别模块确定与所述至少一个气压信息对应的气压特征,包括:
通过所述手势识别模块对所述至少一个气压信息进行归一化处理,获得气压特征,其中,所述至少一个气压信息中每个气压信息为对应的气囊相较于该气囊的初始气压的气压变化值。
3.如权利要求1所述的方法,其特征在于,所述主控模块包括发送模块,所述通过所述主控模块确定所述目标手臂对应的目标意图手势包括:
通过所述发送模块将所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度发送至目标设备,以使得所述目标设备基于所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度识别出与所述目标手臂对应的目标意图手势,其中,所述目标设备用于确定与所述至少一个气压信息对应的气压特征,确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
4.一种可穿戴设备,其特征在于,包括:
第一腕式结构,包括第一腕带、设置在所述第一腕带上的第一惯性导航传感器、设置在所述第一腕带内壁至少一个气囊、与所述至少一个气囊一一对应连接的至少一个气压传感器;
第二腕式结构,包括第二腕带、设置在所述第二腕带上的第二惯性导航传感器、设置在所述第二腕带上的主控模块,所述主控模块与所述至少一个气压传感器、所述第一惯性导航传感器以及所述第二惯性导航传感器连接;
其中,在所述第一腕式结构通过所述第一腕带佩戴在目标手臂的小臂且所述第二腕式结构通过所述第二腕带佩戴在所述目标手臂的大臂情况下,所述至少一个气压传感器用于检测对应气囊的气压信息,获得与至少一个气囊一一对应的至少一个气压信息,将所述至少一个气压信息发送至所述主控模块,所述第一惯性导航传感器用于检测获得小臂姿态角度,将所述小臂姿态角度发送至所述主控模块,所述第二惯性导航传感器用于检测获得大臂姿态角度,将所述大臂姿态角度发送至所述主控模块,所述主控模块用于基于所述至少一个气压信息、所述小臂姿态角度、所述大臂姿态角度确定所述目标手臂对应的目标意图手势;
所述主控模块包括手势识别模块,所述手势识别模块具体用于:
确定与所述至少一个气压信息对应的气压特征;
确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征;
将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型;
所述手势识别模块具体用于:
通过所述手势识别模块将所述小臂姿态角度与所述大臂姿态角度输入手臂关节模型,获得所述手臂关节模型输出的四个自由度的旋转角度特征,其中,所述旋转角度特征包括小臂旋转角度、曲肘角度、大臂正向抬起角度和侧向抬起角度,所述手臂关节模型为基于不同的小臂姿态角度、不同的小臂姿态角度预先训练得到的模型。
5.如权利要求4所述的可穿戴设备,其特征在于,所述主控模块包括发送模块,所述发送模块用于将所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度发送至目标设备,以使得所述目标设备基于所述至少一个气压信息、所述小臂姿态角度与所述大臂姿态角度识别出与所述目标手臂对应的目标意图手势,其中,所述目标设备用于确定与所述至少一个气压信息对应的气压特征,确定与所述小臂姿态角度、所述大臂姿态角度对应的四个自由度的旋转角度特征,将所述气压特征和所述旋转角度特征输入手势识别模型后识别出与所述目标手臂对应的目标意图手势,所述手势识别模型为基于不同的气压特征、不同的旋转角度特征预先训练得到的模型。
6.如权利要求4所述的可穿戴设备,其特征在于,所述手势识别模块具体用于:
通过所述手势识别模块对所述至少一个气压信息进行归一化处理,获得气压特征,其中,所述至少一个气压信息中每个气压信息为对应的气囊相较于该气囊的初始气压的气压变化值。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911247266.5A CN111061368B (zh) | 2019-12-09 | 2019-12-09 | 一种手势检测方法及可穿戴设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201911247266.5A CN111061368B (zh) | 2019-12-09 | 2019-12-09 | 一种手势检测方法及可穿戴设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN111061368A CN111061368A (zh) | 2020-04-24 |
CN111061368B true CN111061368B (zh) | 2023-06-27 |
Family
ID=70299934
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201911247266.5A Active CN111061368B (zh) | 2019-12-09 | 2019-12-09 | 一种手势检测方法及可穿戴设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111061368B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111930226A (zh) * | 2020-07-01 | 2020-11-13 | 青岛小鸟看看科技有限公司 | 手势追踪方法及装置 |
WO2023220775A1 (en) * | 2022-05-16 | 2023-11-23 | University Of Wollongong | PRESSURE-BASED FORCE MYOGRAPHY (pFMG) SYSTEM FOR DETERMINING BODY MOVEMENT |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015033327A1 (en) * | 2013-09-09 | 2015-03-12 | Belfiori Alfredo | Wearable controller for wrist |
CN105190578A (zh) * | 2013-02-22 | 2015-12-23 | 赛尔米克实验室公司 | 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备 |
TW201606573A (zh) * | 2014-04-18 | 2016-02-16 | 英特爾股份有限公司 | 改良穿戴式計算裝置手勢為主互動的技術 |
KR101696593B1 (ko) * | 2015-07-09 | 2017-01-16 | 현대자동차주식회사 | 입력장치, 이를 포함하는 차량 및 그 제어방법 |
CN108042142A (zh) * | 2017-12-14 | 2018-05-18 | 华中科技大学 | 一种穿戴式的人体姿态检测及肢体肌力测量系统 |
CN108509024A (zh) * | 2018-01-25 | 2018-09-07 | 北京奇艺世纪科技有限公司 | 一种基于虚拟现实设备的数据处理方法和装置 |
CN109771905A (zh) * | 2019-01-25 | 2019-05-21 | 北京航空航天大学 | 基于触力驱动的虚拟现实交互训练康复手套 |
WO2019108880A1 (en) * | 2017-11-30 | 2019-06-06 | Ctrl-Labs Corporation | Methods and apparatus for simultaneous detection of discrete and continuous gestures |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140198034A1 (en) * | 2013-01-14 | 2014-07-17 | Thalmic Labs Inc. | Muscle interface device and method for interacting with content displayed on wearable head mounted displays |
US10782790B2 (en) * | 2015-12-22 | 2020-09-22 | Intel Corporation | System and method to collect gesture input through wrist tendon and muscle sensing |
CN105824414A (zh) * | 2016-03-14 | 2016-08-03 | 北京诺亦腾科技有限公司 | 一种用于虚拟现实系统的动作捕捉手套及虚拟现实系统 |
US10449672B2 (en) * | 2016-03-14 | 2019-10-22 | California Institute Of Technology | Wearable electromyography sensor array using conductive cloth electrodes for human-robot interactions |
CN110072678A (zh) * | 2016-09-14 | 2019-07-30 | 奥尔堡大学 | 用于运动辅助的人类意图检测系统 |
CN109521784B (zh) * | 2018-12-13 | 2021-05-11 | 华南农业大学 | 一种触觉感知式可穿戴上肢外骨骼无人机控制系统及方法 |
-
2019
- 2019-12-09 CN CN201911247266.5A patent/CN111061368B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105190578A (zh) * | 2013-02-22 | 2015-12-23 | 赛尔米克实验室公司 | 用于基于手势控制的组合肌肉活动传感器信号和惯性传感器信号的方法和设备 |
WO2015033327A1 (en) * | 2013-09-09 | 2015-03-12 | Belfiori Alfredo | Wearable controller for wrist |
TW201606573A (zh) * | 2014-04-18 | 2016-02-16 | 英特爾股份有限公司 | 改良穿戴式計算裝置手勢為主互動的技術 |
KR101696593B1 (ko) * | 2015-07-09 | 2017-01-16 | 현대자동차주식회사 | 입력장치, 이를 포함하는 차량 및 그 제어방법 |
WO2019108880A1 (en) * | 2017-11-30 | 2019-06-06 | Ctrl-Labs Corporation | Methods and apparatus for simultaneous detection of discrete and continuous gestures |
CN108042142A (zh) * | 2017-12-14 | 2018-05-18 | 华中科技大学 | 一种穿戴式的人体姿态检测及肢体肌力测量系统 |
CN108509024A (zh) * | 2018-01-25 | 2018-09-07 | 北京奇艺世纪科技有限公司 | 一种基于虚拟现实设备的数据处理方法和装置 |
CN109771905A (zh) * | 2019-01-25 | 2019-05-21 | 北京航空航天大学 | 基于触力驱动的虚拟现实交互训练康复手套 |
Non-Patent Citations (2)
Title |
---|
《Hand/arm gesture segmentation by motion using IMU and EMG sensing》;Joao Lopes;《Procedia Manufacturing》;全文 * |
《手功能康复机器人的鲁棒控制研究》;邢科新;《计算技术与自动化》;全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN111061368A (zh) | 2020-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3843617B1 (en) | Camera-guided interpretation of neuromuscular signals | |
EP2875778B1 (en) | Wearable mobile device and method of measuring biological signal with the same | |
JP2021072136A (ja) | ジェスチャに基づいて制御するための筋活動センサ信号と慣性センサ信号とを結合する方法および装置 | |
CN111158494B (zh) | 姿势矫正装置及姿势矫正方法 | |
CN107943285B (zh) | 一种基于生物肌电的人机交互腕环、系统及方法 | |
CN111061368B (zh) | 一种手势检测方法及可穿戴设备 | |
US20130317648A1 (en) | Biosleeve human-machine interface | |
CN105575219A (zh) | 智能手套 | |
CN203417440U (zh) | 一种可穿戴式气动下肢康复机器人复合感知系统 | |
CN103654774A (zh) | 穿戴式移动手环 | |
WO2004114107A1 (en) | Human-assistive wearable audio-visual inter-communication apparatus. | |
CN110618754B (zh) | 基于表面肌电信号的手势识别方法和手势识别臂带 | |
CN110537921A (zh) | 一种便携式步态多传感数据采集系统 | |
CN105014676A (zh) | 一种机器人运动控制方法 | |
WO2019008497A1 (en) | SYSTEM AND METHOD FOR INCREASING DETECTION OF FLUORESCENCE | |
CN109498375B (zh) | 一种人体运动意图识别控制装置及控制方法 | |
CN110908515A (zh) | 基于腕部肌肉压力的手势识别方法和装置 | |
CN208877873U (zh) | 一种拳击手套 | |
CN108042142A (zh) | 一种穿戴式的人体姿态检测及肢体肌力测量系统 | |
CN115364327A (zh) | 基于运动想象的手功能训练和评估康复手套系统 | |
CN203552178U (zh) | 腕带式手部运动识别装置 | |
CN106020442A (zh) | 一种智能感应手套的感应方法 | |
CN211044187U (zh) | 一种智能手套 | |
CN114997227A (zh) | 一种基于肌肉应力的手势识别系统 | |
CN110624217A (zh) | 一种基于多传感器融合的复健手套及其实现方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |