CN205721628U - 一种快速三维动态手势识别系统及手势数据采集设备 - Google Patents
一种快速三维动态手势识别系统及手势数据采集设备 Download PDFInfo
- Publication number
- CN205721628U CN205721628U CN201620310639.4U CN201620310639U CN205721628U CN 205721628 U CN205721628 U CN 205721628U CN 201620310639 U CN201620310639 U CN 201620310639U CN 205721628 U CN205721628 U CN 205721628U
- Authority
- CN
- China
- Prior art keywords
- gesture
- axle
- hardware platform
- receiving terminal
- angular speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- User Interface Of Digital Computer (AREA)
Abstract
本实用新型提出了一种快速三维动态手势识别系统,包括手势识别的硬件平台和接收端;其中,外观小巧的手势识别的硬件平台作为手势数据的采集设备,其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场,获得手势的原始数据;所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性,并利用这五个特征量对手势能量进行分类识别。本实用新型体积小,携带使用方便,具有很好的应用前景。
Description
技术领域
本实用新型属于人机交互技术领域,尤其涉及一种动态手势识别系统及手势数据采集设备。
背景技术
人工智能的发展促使着与其相关的应用层出不穷,其中作为人工智能的重要内容——人机交互技术,也受到越来越多的关注。人机交互研究的是人类如何与机器进行沟通,从而控制机器,自如地实现人们所希望的功能。过去传统的人机交互方式有按键、键盘、触摸屏和语音技术等。但上述方式都在效率、准确性、自然性上存在诸多局限,这也使得人们开始寻找效率更高、交互更加自然的方式。
现有的人机交互技术存在以下缺点:
(1)机械键盘交互是最成熟,但同时也是最低效的交互方式,因其成本、损耗、低效等各种原因,正在被移动设备慢慢淘汰;
(2)触摸屏操作作为近几年新兴的人机交互方式,以其操作简洁、符合用户习惯、学习成本低、可多点触控等优点,成为新一代移动设备有效的交互方式。但是,触控技术不可避免的需要用户在触模板上进行操作,限制了触控技术的应用场景和范围。
(3)语音识别目前也是一种非常成熟的交互方式,识别率较高,尤其是随着iPhone中Siri的出现,基于自然语音的识别技术使得语音交互方式迈上了一个新的台阶。然而,语音交互方式会受到地区语言差异以及个人语音差异的影响,同时,自然语音识别需要时刻联网、能耗高的缺点,大大限制了语音技术在可穿戴设备中的应用。
随着各方面技术的进步,人们希望得到更好的人机交互体验,对交互的实时性、识别率等硬性指标的要求也越来越苛刻,甚至开始希望通过一些自身的微小信息,例如手指信息、声波信息、眼珠信息、脑电波信息、肌肉信息等来实现与机器的沟通。这促使许多专家学者不断地寻找挖掘更便捷、更快速、更准确、更自然的人机交互方式,并开始关注利用人类自身的身体语言来实现机器控制,而其中手势作为变化方式最多、最能够表达人们意愿的方式之一,成为了关注的重点。在脑电波控制世界的时代来临之前,手势是最有可能改变传统人机交互方式的研究切入点。因为手势是身体姿态最多变、最具有表达性的一项,它可以最大可能地表达人们的想法和意愿。不通过任何媒介,直接利用一个简单的手势动作就可以操控生活,是目前人们所追求的理想人机交互方式。这种全新的操作方式,使得人类在这个物物相连的互联智能时代,真正实现用自己的手来掌控自己的生活。手势也会将人机交互方式从传统的平面二维识别技术扩展到了空间三维识别技术,实现更多技术发展的可能性。本实用新型所要做的三维动态手势识别技术,搭配一个集成了三轴加速度计、三轴陀螺仪、磁力计、处理芯片和低功耗蓝牙的微型硬件平台,来与PC端或其他终端实现友好的人机交互方式。
手势识别技术的发展过程中产生过几种主流的解决方案,例如:基于数据手套的方案:起步最早,也是最直接处理问题的一种方案。该方案具有数据量小、速度高、受环境影响较小和能够直接获取手势数据等诸多优点。但是要求用户穿戴复杂的手套,大大降低了用户体验,并且对附着其上的传感器披覆较高硬度的保护层在技术上有一定难度,而相对脆弱的设备在携带上也存在不方便。基于机器视觉的处理方案:当前最热门的手势识别技术解决方案,也就是摄像头图像处理,比如说微软的Kinect。最大的优点是用户无需佩戴任何设备,人机交互性好。但是这种技术对于空间、环境有比较大的限制性,因此除了一些大型的体感游戏使用,在生活中的推广度并不高。基于SEMG的方案:处在多学科交叉的领域,除了和数据手套方案一样需要用户佩戴电极外,和机器视觉的方案类似,该方案也容易受外部环境和用户等因素的干扰。外部环境的干扰包括电磁环境的干扰和环境湿度变化造成的测量电极接触电阻的变化。同时,用户的身体和精神状态在不同的情况下具有不同的基准值,导致系统难以标定。
实用新型内容
为了解决现有技术中问题,本实用新型设计了一个外观小巧的硬件平台,用加速度计采集用户手势的3轴加速度,陀螺仪来采集用户手势的3轴角速度,磁力计来采集用户手势的3轴磁感应强度,然后将数据传输给接收端,在接收端采用特征分析算法,在确保一定的精确度和实时性的基础上,分别对移动、旋转、打钩、画叉、晃动、敲击等自身具有一定区分度的三维动态手势进行识别,从而实现相应的应用。
本实用新型通过如下技术方案实现:
一种快速三维动态手势识别系统,所述系统包括手势识别的硬件平台和接收端;其中,所述手势识别的硬件平台作为手势数据的采集设备,其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场,获得手势的原始数据;所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性,并利用这五个特征量对手势能量进行分类识别。
进一步地,所述硬件平台通过锂电池进行供电,当电量过低时使用MiniUsb接口给锂电池进行充电。
进一步地,所述无线通信方式为蓝牙、RF或WIFI。
进一步地,所述硬件平台还包括摄像头,用于接受手势输入。
进一步地,所述接收端为PC机,所述PC机包括无线通信模块。
进一步地,所述接收端为智能终端,所述智能终端包括无线通信模块。
进一步地,所述硬件平台不附加任何按键。
进一步地,所述硬件平台为手持设备或者为可穿戴式设备。
本实用新型还提供了一种快速三维动态手势数据采集设备,所述采集设备采集手势数据,其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场,获得手势的原始数据;所述采集设备通过无线通信的方式将采集到的原始数据传送给接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性,并利用这五个特征量对手势能量进行分类识别;所述接收端为智能终端或PC机。
附图说明
图1是本实用新型的手势识别系统的硬件平台及PC接收端硬件框图;
图2是本实用新型的手势识别方法的具体实现方案流程图;
图3是机体坐标系b系和用户坐标系n系示意图;
图4是手势长度计算流程图;
图5是手势预分类结构图;
图6是移动类手势细划分流程图;
图7是旋转类手势细划分流程图。
具体实施方式
下面结合附图说明及具体实施方式对本实用新型进一步说明。
本实用新型的手势识别硬件平台及PC接收端硬件框图如附图1所示。手势识别硬件平台外观精致小巧,不附加任何按键,可以手拿,也可以作为手环或者指环穿戴在手上,作为智能可穿戴式设备来进行手势控制。其上集成了9轴传感器模块(3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场)、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关等。通过锂电池给平台进行供电,当电量过低时使用MiniUsb接口给电池进行充电。
手势识别的硬件平台作为手势数据的采集设备,通过蓝牙通信的方式将采集到的9轴传感器数据以及解算后的3轴姿态数据传送给PC接收端进行数据处理及手势识别。蓝牙通信技术可以用别的无线通信技术来代替,例如RF,wifi等。
因为对实时性需求较高,本实用新型采用的细分特征值法,其要求每个动作之间的特征量或特征量集合相互独立,因此在选择手势动作时,需要对手势进行大量的样本观察和分析,通过样本采集和波形观察,最终确定了可以采用特征识别法的以下的6大类动作,共10个动作,如表1所示:
表1 手势集定义
上述的手势动作之间具有一定的区分度,它们各自的传感器信息所构成的特征量之间具有比较高的可识别性,因此可以根据不同手势的特征值建立不同的分类器。首先根据计算出来的特征值对六大类手势进行预分类,识别出其所在的类别,再设计算法针对旋转类和移动类动作进行细划分,识别出运动的方向,从而实现利用细分特征值分析法快速高效地实现手势的分类和识别。
基于运动传感器的手势识别方法的具体实现方案如附图2所示,采用细分特征值法,首先需要切割出手势的有效时间段,即从所有读取到的原始数据中截取从手势的起点到终点的段落,然后再对切割下来的数据段进行坐标系的转换,从机体坐标系转换到用户坐标系。进行了切割和坐标系转换之后的手势数据段才能用来提取特征进行手势识别。
[差分法进行手势切割]
在某一个时刻k下,当前加速度和角速度相对于上一时刻k-1下的差值的绝对值之和即为当前的加速度和角速度的差分值:
其中,表示k时刻下的三轴加速度值,表示k时刻下的三轴角速度值。
k时刻与k-1时刻的加速度变化值Δacc和角速度变化量Δagr就是当前时刻下的加速度和角速度差分值,这个差分值可以看出手势前后的波动情况,只要设定一个阈值,那么就可以认为超过了这个阈值的时间点是手势的起点,在识别出起点后,若差分值出现了小于阈值了的时刻点,就是手势的终点。
但是这种计算方法下用户无意识下手势瞬间的抖动会造成判断结果出现偏差,因此我们将单点的差分法进行算法优化,变成滑动窗口的差分法。我们在一个窗口(长度为N)内对加速度和角速度的两两时刻前后数值变化量求和,并适当提高阈值,提高对手势起点和终点的判别精确度,隔离抖动误差的效果更好。在这种情况下再去进行判断,可以有效地提高准确性,减少判断失误。由于本实用新型中采用的运动传感器采样率为f=50Hz,而据大量样本统计可知一个手势大概是1s左右,也就是50个采样点左右,因此根据经验设窗口长度为N=7-10均可。经过平滑窗口处理后的加速度和角速度差分值分别为:
因为同时采用的加速度和角速度一个窗口长度内的差分值来作为判断依据,而加速度和角速度不一定能够同时在一个时刻上到达阈值,因此还需要再增加一个判断条件,即加速度和角速度分别检测出来的起点或终点时刻差值如果超过5个采样时间点,则认为该起点或终点无效。综上所述,当且仅当同时满足下面的判断条件:
ΔaccN(M)>δth1,M=A1,A1+1,...,A1+N (5)
ΔagrN(M)>δth2,M=A2,A2+1,...,A2+N (6)
并且|A1-A2|<5,则A=min(A1,A2)为手势起点。
若满足下面判断条件:
ΔaccN(M)<δth1,M=B1,B1+1,...,B1+N (7)
ΔagrN(M)<δth2,M=B2,B2+1,...,B2+N (8)
并且|B1-B2|<5,则B=max(B1,B2)为手势终点。
[手势数据坐标系转换]
由上文可以得知,传感器坐标系是机体坐标系b系,它随着传感器运动而改变,“东北天”:用户坐标系(即地理坐标系)n系则固定保持不变。机体坐标系b系和用户坐标系n系分别如附图3所示。
用户在做手势动作的途中会随时改变传感器机体坐标系,而后续利用特征分析法制定的一套判断标准是不变的,此时如果仍使用机体坐标系下测量出的原始数据来进行判断显然是错误的。因此首先应该把手势切割后的所有有效测量数据通过旋转矩阵转换到用户坐标系下,才能对这些数据使用同一套判断标准。如上文介绍,归一化后的四元数可以描述刚体的定点运动,因此借助四元数即可轻松实现向量的坐标系转换,b坐标系到n坐标系的转换矩阵如下:
已知上式,就可以将数据进行坐标系转换,公式如下:
由转换矩阵的可逆性,可求出机体坐标系到用户坐标系的转换矩阵,从而将运动传感器采集到的手势数据进行机体到用户坐标系的转换。
[细分特征值法实现手势识别]
本实用新型定义的手势集中各个手势都有其自己相较于其它手势而言的比较明显的特征,因此采用特征分析法能够快速、准确地对其进行识别。而特征分析法的关键在于选取具有代表意义的特征量来设计预分类器,先识别手势所属的大类,再具体细划分手势具体的动作。不同的数据采集方式所构成的特征量是不同的,因为使用的是运动传感器,采集到的数据是加速度、角速度和磁感应强度,以及由姿态解算求出的姿态角,因此构成特征量的数据即为上述这些运动数据。
手势动作之间具有一定的区分度,它们各自的传感器数据信息所构成的特征量之间具有比较高的可辨识性,因此可以根据不同手势的特征值建立不同的分类器,利用特征分析法即可快速实现手势的分类和识别。
选取合适有效的特征量是特征分析法区分手势的关键,好的特征量能直接降低手势识别算法的复杂度,并能提高识别准确率,由此为基础来设计一个合理有效的分类器。经过大量样本采集和观测,本研究定义了五个特征量,分别是手势长度、手势能量、波峰数(包括加速度波峰数、角速度波峰数和姿态角波峰数)、角速度能量最大轴、角速度单边性,并利用这五个特征量来构造一个手势大类的预分类器,以此来首先识别当前的用户手势属于哪一大类:
(1)手势长度:手势起点到终点的采样数;
LEN=B-A (11)
其中,A、B为数据段的起点和终点。本实用新型采样频率是f=50Hz,大量试验证明,手势长度必须大于20个采样点才有效,若小于20个采样点则不认为是一个手势,手势长度计算流程如附图4所示。
(2)手势能量:手势起点到终点之间加速度和角速度绝对值之和;
其中,A、B为数据段的起点和终点;gxi,gyi,gzi为手势数据在x、y、z轴上的角速度;axi,ayi,azi为手势数据在x、y、z轴上的加速度。
(3)波峰数:每个手势动作的加速度或角速度或者姿态角的波峰数以及波峰波谷的先后出现次序都会有所差异,波峰数可以反映出手势的来回运动次数。
计算时易将轻微抖动也算进去,因此本实用新型给变化量设定了一个阈值,加速度阈值设为±0.7gm/s2,角速度阈值设为±12dps,姿态角阈值设为±30°,并且规定超过阈值的采样点数大于5才有效。先分别计算单轴上的波峰数(单轴上波峰数与波谷数的较大值),总的波峰数等于三轴波峰数之和。
(4)角速度能量最大值:每个轴上的角速度能量计算分别公式为:
因此角速度能量最大轴即max(Ewx、Ewy、Ewz)所在的坐标轴,判断轴即为判断旋转轴,旋转轴的准确判断对于识别旋转类手势十分关键;
(5)角速度单边性反映在某轴上的角速度呈现出单符号性,3个角速度中只要其中一个满足单边性,就认为其整体角速度满足了单边性。
确定了以上这5个特征值之后,就可以根据各类手势的特征值规律,来设计手势动作的预分类器,结构图如附图5所示。手势预分类结构图用于识别当前用户的手势属于哪一大类,而对于其中的移动类和旋转类,还需要再进一步结合具体的特征量来进行细划分。从附图5可以看出,敲击类和移动类通常速度都比较慢,动作维持时间短,因此手势能量小。而对于能量较大的剩余手势中,若角速度能量最大轴出现在y轴,则明显是旋转类。但对于晃动、画叉和打钩的分类,总体而言,前两类的长度、能量和加速度波峰数大于打钩,但由于手势存在随意性,人们在做这些手势时容易产生类似的单个特征量,因此不能只用某个特征量来进行区分。本实用新型设计了一个线性判别函数,将三个特征量换算为一种细分特征值f,在单个特征量区分的基础上再用判别函数来进行区分,从而使分类准确度达到最高。根据特征量样本得到的线性判别分类函数为:
f=a*LEN+b*E+c*P+d (14)
式中LEN为手势长度,E为手势能量,P为加速度波峰数,a,b,c,d为常系数。
通过上文所述的预分类器,已经可以较精确地识别出当前用户手势属于哪一大类,但是对于旋转类和移动类,还需要进一步地进行手势细化分,识别出其机体的运动方向。
1.移动类细划分出上、下、左、右:
在观察移动类手势的特征量时发现,如果手势是向左右两个方向移动的,那么水平面上的加速度发生的变化比较大,而其中对于向左的手势动作,x轴加速度先出现波谷再出现波峰,向右移动的x轴加速度则刚好相反,先出现波峰再出现波谷;如果手势是上下移动的,则垂直方向上的加速度发生的变化比较大,其中向上运动时z轴加速度先出现波峰再出现波谷,向下运动时z轴加速度先出现波谷再出现波峰。
因此可以首先通过判断x轴和z轴加速度平均幅值谁更大来判断出上下还是左右移动,再根据具体的波峰波谷出现的顺序来识别是具体的上、下、左、右。加速度在一个手势有效长度A-B时间段内的平均幅值计算公式如下:
其中,A、B分别是手势动作数据段的起点和终点;axi、azi分别是手势在x轴、z轴下的加速度;AMx、AMz分别是手势在x轴、z轴中的加速度平均幅值。
通过判断手势在x轴、z轴中的加速度平均幅值AMx、AMz哪个更大,可以得到手势当前是集中在水平面运动还是垂直面运动,然后再根据x轴和z轴上各自加速度的波峰波谷出现的顺序来判断具体的运动方向,流程图如附图6所示。
2.旋转类手势细划分为顺时针和逆时针两个方向:
因为旋转类手势是发生在水平面上的,因此只要观察y轴角速度波峰波谷出现的先后顺序就能识别出用户当前是在顺时针旋转还是逆时针旋转,如果y轴角速度先波谷后波峰,则是逆时针旋转,反过来先波峰后波谷则是顺时针旋转,流程图如附图7所示。
通过在以上理论分析,我们可以更进一步地实现内容丰富、形式多样化的功能应用。
一、可自定义的复杂手势识别
类似于编码原理,用户可以根据自己的喜好把一系列的较复杂的手势设定为快捷键快速打开某些应用。由于复杂手势识别需要大量复杂的实时计算和储存,单纯在手势识别硬件平台上无法完成,因此需要将消除误差后的传感器数据以及姿态解算后的数据通过蓝牙传输到智能终端,在智能终端中进行复杂手势的识别。复杂手势识别技术可以由以下几种方式之一来实现。
1.基于隐性马尔科夫模型(HMM)的手势识别
隐性马尔科夫模型(Hidden Markov Model-HMM)是一个由马尔科夫过程和一个一般随机过程组成的双重随机过程,HMM在语音识别中的应用已相当成熟,由于手势序列和语音序列很相似,因此HMM也逐渐被用于手势识别中,并且获得了比较高的识别精度。HMM分别用三种算法解决三个问题:
评估问题——前后向算法:求给定模型下观测序列的概率;
解码问题——Viterbi算法:求给定模型下对应于观测序列的状态序列;
训练问题——Baum-Welch算法:产生该状态序列的最优模型;
首先训练好一个手势库储存在智能终端,包含了数字012…9和英文小写字母abc…,以及一些特殊的图形(画叉,打钩,问号…),每一种手势对应一种HMM模型λ。用户可以为每一种手势自定义一个快捷功能(例如打钩表示立刻播放最喜爱的歌曲)。在开启快捷键模式下,用户输入相应手势后,硬件平台便利用蓝牙传输模块将传感器数据传输到智能终端,智能终端对数据进行评估和解码,识别出用户的手势,从而进行相应的操作。
复杂手势识别中的HMM算法可以用别的手势识别算法来取代,例如模板匹配法、神经网络、支持向量机(SVM)等。
2.结合语音的手势识别
先用手势画出笔画,然后通过语音确定要写的字或句段。智能终端中可保存用户的自造词包,以后对应用户的口音可直接打出确定的字、句或实现相应的功能。
二、体感游戏
目前大部分的智能终端都包含有体感游戏,因此可以结合硬件平台上的传感器,把9轴模块滤波处理后的数据通过蓝牙发送给智能终端,即可把手势识别硬件平台当做迷你游戏手柄来使用。此外,目前市面上流行的基于机器视觉的体感游戏(如kinect)灵敏度仍不够,体验效果不佳,但是通过在智能终端上集成摄像头,再结合硬件平台,大体定位出硬件平台的位置,再进一步通过硬件平台上的陀螺仪等数据进行精细定位,在很大程度上提高了识别精度和灵敏度。
三、AR现实增强
结合智能终端上的摄像头以及手势识别硬件平台,在智能终端上实现AR现实增强的效果。实现过程:
首先硬件平台的形状和颜色都是为了摄像头更好定位而设计。圆形的色圈,简单的轮廓外形,都有利于摄像头对硬件平台更快,更准确的定位,为AR技术的实现做好虚拟物品定位准备,其次就是只能终端预先存好虚拟物品素材,最后就在摄像画面显示的同时,在标定位置显示出相应的文字或者虚拟物品。
现实效果包括:
1.摄像对硬件平台的定位跟踪,终端上的摄像画面随着硬件平台的移动而改变。
2.摄像头可以对持有硬件平台的人定位,并通过衣服图库的选取实现用户换衣试衣体验,让终端变成试衣镜。
3.通过对硬件平台的定位,还可以实现硬件平台的变身,例如变成一捧花,一个茶壶,一把剑等等,达到神奇的AR效果。
四、控制PPT等应用的播放
PC端广泛存在需要方向性控制的操作,如PPT的播放、图片的切换、网页的上下滑动等,传统的鼠标控制在距离上限制较大,操控性低,影响人与PC端的友好交互。
目前流行的控制PPT的播放方式(其他应用类似)有两种:通过键盘或者PPT翻页笔。当通过键盘控制PPT播放时,操纵者必须站在电脑旁边,这样就不利于与讲台下的观众进行交流与互动,用户体验性差;虽然使用PPT翻页笔可以实现远程操控PPT,但是其同样是以按键的形式,必须随时拿在手上,用户体验同样不是太好。
通过分析,我们发现PPT的操控命令大致存在四种:开始播放,上翻页,下翻页以及结束播放。于是我们定义了四种手势,分别与这四种命令相对应,
最终通过手势就达到了控制PPT播放的目的,且由于手势识别硬件平台精致小巧,可直接穿戴在手上,不影响正常的手势交流,进一步提高了用户体验。
五、手语识别系统
由于先天或者后天的不幸导致我们身边可能有残疾的朋友,往往需要学习手语才能和他们进行交流。手语的研究有助于改善和提高聋哑人的生活学习和工作条件,为他们提供更好的服务。
通过穿戴手势识别硬件平台,采集手语样本,然后通过自定义复杂手势识别对每种手语进行建模,最后进行手语识别。通过借助于智能终端强大的计算能力以及对识别算法的改进,可以达到很高的识别精度,极大的改善聋哑人的生活质量,使得其可以用手语和正常人进行交流。
以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明,不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的普通技术人员来说,在不脱离本实用新型构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本实用新型的保护范围。
Claims (9)
1.一种快速三维动态手势识别系统,其特征在于,所述系统包括手势识别的硬件平台和接收端;其中,所述手势识别的硬件平台作为手势数据的采集设备,其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场,获得手势的原始数据;所述硬件平台通过无线通信的方式将采集到的原始数据传送给所述接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性,并利用这五个特征量对手势能量进行分类识别。
2.根据权利要求1所述的系统,其特征在于:所述硬件平台通过锂电池进行供电,当电量过低时使用MiniUsb接口给锂电池进行充电。
3.根据权利要求1所述的系统,其特征在于:所述无线通信方式为蓝牙、RF或WIFI。
4.根据权利要求1所述的系统,其特征在于:所述硬件平台还包括摄像头,用于接受手势输入。
5.根据权利要求1所述的系统,其特征在于:所述接收端为PC机,所述PC机包括无线通信模块。
6.根据权利要求1所述的系统,其特征在于:所述接收端为智能终端,所述智能终端包括无线通信模块。
7.根据权利要求1所述的系统,其特征在于:所述硬件平台不附加任何按键。
8.根据权利要求1所述的系统,其特征在于:所述硬件平台为手持设备或者为可穿戴式设备。
9.一种快速三维动态手势数据采集设备,其特征在于,所述采集设备采集手势数据,其包括3轴加速度计、3轴陀螺仪和3轴磁力计、MCU微处理器、蓝牙模块、锂电池充电电路、锂电池以及电源开关;所述3轴加速度计测量加速度、3轴陀螺仪测量角速度和3轴磁力计测量磁场,获得手势的原始数据;所述采集设备通过无线通信的方式将采集到的原始数据传送给接收端;所述接收端根据原始数据计算手势长度、手势能量、波峰数、角速度能量最大轴、角速度单边性,并利用这五个特征量对手势能量进行分类识别;所述接收端为智能终端或PC机。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201620310639.4U CN205721628U (zh) | 2016-04-13 | 2016-04-13 | 一种快速三维动态手势识别系统及手势数据采集设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201620310639.4U CN205721628U (zh) | 2016-04-13 | 2016-04-13 | 一种快速三维动态手势识别系统及手势数据采集设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN205721628U true CN205721628U (zh) | 2016-11-23 |
Family
ID=57307557
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201620310639.4U Active CN205721628U (zh) | 2016-04-13 | 2016-04-13 | 一种快速三维动态手势识别系统及手势数据采集设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN205721628U (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106919260A (zh) * | 2017-03-07 | 2017-07-04 | 百度在线网络技术(北京)有限公司 | 网页操作方法和装置 |
CN109731302A (zh) * | 2019-01-22 | 2019-05-10 | 深圳职业技术学院 | 运动姿态识别方法、装置及电子设备 |
CN109883531A (zh) * | 2019-03-05 | 2019-06-14 | 广州亚美信息科技有限公司 | 基于加速度传感器的车辆震动类型识别方法和系统 |
CN110174901A (zh) * | 2019-05-17 | 2019-08-27 | 李泽波 | 一种飞行器控制模型 |
CN110354475A (zh) * | 2019-07-16 | 2019-10-22 | 哈尔滨理工大学 | 一种网球挥拍动作定型训练方法和装置 |
CN110521219A (zh) * | 2017-03-03 | 2019-11-29 | 共生国际大学 | 使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法 |
CN110879662A (zh) * | 2019-11-27 | 2020-03-13 | 云南电网有限责任公司电力科学研究院 | 一种基于ahrs算法的动作识别装置及方法 |
CN113721764A (zh) * | 2021-08-26 | 2021-11-30 | 东北大学秦皇岛分校 | 一种基于imu的人机交互系统及控制和评价方法 |
-
2016
- 2016-04-13 CN CN201620310639.4U patent/CN205721628U/zh active Active
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110521219A (zh) * | 2017-03-03 | 2019-11-29 | 共生国际大学 | 使交互式可穿戴设备能够作为听障个体的教育补充的系统和方法 |
CN106919260A (zh) * | 2017-03-07 | 2017-07-04 | 百度在线网络技术(北京)有限公司 | 网页操作方法和装置 |
CN106919260B (zh) * | 2017-03-07 | 2020-03-13 | 百度在线网络技术(北京)有限公司 | 网页操作方法和装置 |
CN109731302A (zh) * | 2019-01-22 | 2019-05-10 | 深圳职业技术学院 | 运动姿态识别方法、装置及电子设备 |
CN109883531A (zh) * | 2019-03-05 | 2019-06-14 | 广州亚美信息科技有限公司 | 基于加速度传感器的车辆震动类型识别方法和系统 |
CN110174901A (zh) * | 2019-05-17 | 2019-08-27 | 李泽波 | 一种飞行器控制模型 |
CN110174901B (zh) * | 2019-05-17 | 2024-02-02 | 李泽波 | 一种飞行器控制方法 |
CN110354475A (zh) * | 2019-07-16 | 2019-10-22 | 哈尔滨理工大学 | 一种网球挥拍动作定型训练方法和装置 |
CN110879662A (zh) * | 2019-11-27 | 2020-03-13 | 云南电网有限责任公司电力科学研究院 | 一种基于ahrs算法的动作识别装置及方法 |
CN113721764A (zh) * | 2021-08-26 | 2021-11-30 | 东北大学秦皇岛分校 | 一种基于imu的人机交互系统及控制和评价方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105929940B (zh) | 基于细分特征值法的快速三维动态手势识别方法及系统 | |
CN205721628U (zh) | 一种快速三维动态手势识别系统及手势数据采集设备 | |
AU2020273327B2 (en) | Systems and methods of swimming analysis | |
Wang et al. | Hear sign language: A real-time end-to-end sign language recognition system | |
Li et al. | Automatic recognition of sign language subwords based on portable accelerometer and EMG sensors | |
JP6064280B2 (ja) | ジェスチャを認識するためのシステムおよび方法 | |
CN110113116B (zh) | 基于wifi信道信息的人体行为识别方法 | |
CN104731307B (zh) | 一种体感动作识别方法及人机交互装置 | |
CN107678550A (zh) | 一种基于数据手套的手语手势识别系统 | |
CN106648068A (zh) | 一种双手三维动态手势识别方法 | |
Wu et al. | A Visual-Based Gesture Prediction Framework Applied in Social Robots. | |
Du et al. | Gesture recognition method based on deep learning | |
CN113849068B (zh) | 一种手势多模态信息融合的理解与交互方法及其系统 | |
Linqin et al. | Dynamic hand gesture recognition using RGB-D data for natural human-computer interaction | |
Luo et al. | Wearable air-writing recognition system employing dynamic time warping | |
Xu et al. | A long term memory recognition framework on multi-complexity motion gestures | |
Li et al. | Hand gesture recognition and real-time game control based on a wearable band with 6-axis sensors | |
Maebatake et al. | Sign language recognition based on position and movement using multi-stream HMM | |
CN109758154A (zh) | 一种运动状态确定方法、装置、设备及存储介质 | |
Prasad et al. | A wireless dynamic gesture user interface for HCI using hand data glove | |
Sumpeno et al. | Immersive hand gesture for virtual museum using leap motion sensor based on k-nearest neighbor | |
CN206411610U (zh) | 一种基于ios终端的双手手势识别系统 | |
CN110413106B (zh) | 一种基于语音和手势的增强现实输入方法及系统 | |
Fu et al. | Ping pong motion recognition based on smart watch | |
Wang et al. | Gesture Recognition Based on Flexible Data Glove Using Deep Learning Algorithms |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |