CN117055738A - 手势识别方法、可穿戴设备及存储介质 - Google Patents
手势识别方法、可穿戴设备及存储介质 Download PDFInfo
- Publication number
- CN117055738A CN117055738A CN202311311825.0A CN202311311825A CN117055738A CN 117055738 A CN117055738 A CN 117055738A CN 202311311825 A CN202311311825 A CN 202311311825A CN 117055738 A CN117055738 A CN 117055738A
- Authority
- CN
- China
- Prior art keywords
- frame
- wave
- candidate motion
- gesture
- waves
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000033001 locomotion Effects 0.000 claims abstract description 228
- 230000000875 corresponding effect Effects 0.000 claims description 27
- 230000003068 static effect Effects 0.000 claims description 26
- 238000004891 communication Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 description 23
- 238000005070 sampling Methods 0.000 description 6
- 230000009471 action Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 238000013480 data collection Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000001960 triggered effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000001276 controlling effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000000977 initiatory effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 239000011435 rock Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本申请涉及手势识别方法、可穿戴设备及存储介质，属于手势识别技术领域，本申请实施例的手势识别方法包括：获取可穿戴设备的传感器数据；从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。本申请提供的手势识别方法，可以通过组合多个单向手势，实现手势的种类的扩充。
Description
技术领域
本申请涉及手势识别技术领域，尤其涉及一种手势识别方法、可穿戴设备及存储介质。
背景技术
目前智能可穿戴设备的人机交互方式是基于手的交互，比如通过感知手的运动类型触发相应的事件，随着智能可穿戴设备的发展，目前智能可穿戴设备所提供的有限的单一手势控制已经难以满足用户需求。
发明内容
第一方面，本申请涉及一种手势识别方法，包括：
获取可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
在一些实施例中，还包括：
基于所述有效运动波束中相邻两个所述候选运动波的两个所述单向手势确定一个组合手势；
基于一个或多个所述组合手势确定所述完整手势以及对应的手势键码。
在一些实施例中，还包括：
将所述手势键码发送至与所述可穿戴设备已建立通信连接的电子设备，使得所述电子设备基于所述手势键码执行相应的动作；
或者，所述可穿戴设备基于所述手势键码执行相应的动作。
在一些实施例中，所述传感器数据包括多个帧，从所述传感器数据中提取候选运动波，包括：
将所述多个帧划分成多个波，其中，每个所述波具有两个波谷帧、一个波峰帧以及多个中间帧；
基于每一所述波的波峰帧及所述波的周期确定候选运动波。
在一些实施例中，还包括：
在所述波中，对每一帧都进行判断：
当前帧的模长大于之前帧的最大模长，更新所述当前帧为所述波的临时波峰帧；
当当前帧的模长小于之前帧的最小模长，更新所述当前帧为所述波的临时波谷帧。
在一些实施例中，所述波是通过以下方式划分的：
获取所述波的第一个波谷帧，其中，第一个所述波谷帧是由上一个所述波确定的；
确定所述波的临时波谷帧，其中，所述临时波谷帧的模长小于之前帧的模长，且小于之后帧的模长；
从第一个所述波谷帧、所述临时波谷帧之间的帧中确定临时波峰帧；
基于所述临时波谷帧的模长不大于静态帧模长，且所述临时波峰帧和所述临时波谷帧差值不小于所述临时波峰帧和第一个所述波谷帧差值的一半，确定所述临时波谷帧为第二个波谷帧、所述临时波峰帧为波峰帧。
在一些实施例中，基于每一所述波的波峰帧及所述波的周期确定候选运动波，包括：
当所述波峰帧的模长大于或等于静态帧模长，且所述波的周期大于或等于预设周期，确定所述波为候选运动波。
在一些实施例中，所述基于多个相邻的所述候选运动波组合生成有效运动波束，包括：
将多个相邻的所述候选运动波组合生成候选运动波束，其中，最后一个所述候选运动波结束后的时间窗口内所述传感器数据的模长不大于静态帧模长；
从多个相邻的所述候选运动波的多个波峰帧中确定最大模长，所述最大模长不小于预设阈值，所述候选运动波束为有效运动波束。
在一些实施例中，所述静态帧模长是基于所述可穿戴设备在相对静止状态下确定的。
在一些实施例中，当所述有效运动波束中相邻的两个所述候选运动波的波峰帧对应的向量夹角小于预设夹角阈值，将相邻的两个所述候选运动波组合一个候选运动波。
第二方面，本申请还涉及一种可穿戴设备，包括：
传感器，被配置为提供所述可穿戴设备的传感器数据；
处理器，通信地耦接到所述传感器并被配置为：
获取所述可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
第三方面，本申请还涉及一种电子设备，包括处理器，所述处理器用于执行如上述任一种所述的手势识别方法。
第四方面，本申请还涉及一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的手势识别方法。
第五方面，本申请还涉及一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的手势识别方法。
附图说明
为了更清楚地说明本申请或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请一个实施例提供的佩戴者的食指的第二关节与第三关节之间佩戴智能指环的示意图；
图2为本申请一个实施例提供的佩戴者的食指与中指均佩戴智能指环的示意图；
图3为本申请一个实施例提供的手势识别方法的流程示意图；
图4为本申请一个实施例提供的佩戴智能指环的手指做水平划动手势来控制计算机屏幕中的鼠标指针水平移动的示意图；
图5为本申请一个实施例提供的所采集到的可穿戴设备的传感器数据的示意图；
图6为本申请一个实施例提供的一个运动帧序列中的临时波谷帧的示意图；
图7为本申请一个实施例提供的三组候选运动波束的示意图。
具体实施方式
下面将结合本申请中的附图，对本申请中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”所区别的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
传统的触摸键盘可以很轻易地实现不同的控制功能，例如手机触摸键盘、电脑的实体键盘，不同的字母可以对应不同的触发事件。而对于智能可穿戴设备通过感知手的运动类型触发相应的事件，要实现不同的控制功能，就需要有不同的手势运动，而目前智能可穿戴设备的佩戴者所提供的具有区分度的手势是很有限的。
为此，本申请提供了一种手势识别方法，其中，手势识别方法可以由用户所佩戴的智能可穿戴设备执行，比如佩戴在佩戴者手指上的智能指环，智能指环可以佩戴在佩戴者的任意一个手掌的任意一个手指上，比如被佩戴在左手的食指、中指或者无名指上，智能指环佩戴的关节位置也是可以自由选择的，例如图1所示，智能指环佩戴在佩戴者的食指的第二关节与第三关节之间，当佩戴者用食指做出特定的手势，如划圈、弯曲、指向特定方向等，智能指环会识别出这些手势。
此外，本实施例中佩戴者可佩戴的智能指环可以为一个，也可以为多个，当智能指环为多个时，多个智能指环可以佩戴在同一个手掌上的不同手指上，还可以佩戴在同一个手指上的不同关节之间，也可以佩戴在不同手掌的不同手指上等， 例如图2中所示，一个智能指环被佩戴在佩戴者的中指，另一个智能指环被佩戴在佩戴者的食指，当佩戴者用食指与中指做出特定的手势，如食指与中指相互靠近（比如通过此手势控制音量减小）、食指与中指相互远离（比如通过此手势控制音量增大）等，智能指环会识别出这些手势。通常佩戴在一个手掌上的多个指环识别的手势是相同的，因此还可以通过佩戴在同一个手掌上的不同智能指环进行手势验证，例如一个智能指环识别的是手势1，另一个智能指环识别的是手势2，此种情况下可以通知佩戴者其佩戴的智能指环出现了问题。
本申请通过获取可穿戴设备的传感器数据；从传感器数据中提取出表征为单向手势的候选运动波，且相邻两个候选运动波表征的单向手势不同，如此基于多个相邻的候选运动波组合生成可以表征为可穿戴设备的佩戴者的完整手势的有效运动波束，如此通过多个表征为单向手势的候选运动波的组合，扩充了手势的种类，进而使得可穿戴设备可以执行更多的手势操作。
图3为本申请一个实施例提供的手势识别方法的流程示意图之一。如图3所示，提供了一种手势识别方法，手势识别方法包括以下步骤：步骤110、步骤120、步骤130。该方法流程步骤仅仅作为本申请一个可能的实现方式。
步骤110、获取可穿戴设备的传感器数据；
在使用可穿戴设备时，佩戴者需要将可穿戴设备正确戴在身体的特定位置上，以确保可穿戴设备能够准确地获取数据，例如，在使用智能指环时，佩戴者需将智能指环戴在手指上，佩戴者在将智能指环正确佩戴在手指上，并根据调整扣合带子使其紧密贴合皮肤，确保智能指环不会松动或滑落。智能指环可以通过光学传感器检测智能指环贴合手指的贴合面处的遮光度或者通过触摸传感器、心率传感器等检测智能指环是否正确佩戴在手指上。
在一些示例中，智能指环可以在检测到被正确佩戴在佩戴者手指上后，通过配置的其他类型传感器采集佩戴该智能指环的手指对应的数据，还可以在佩戴者发出数据采集指令后，比如佩戴者连续点击两次智能指环上的开关键，智能指环的数据采集指令被触发后，通过配置的其他类型传感器采集佩戴该智能指环的手指对应的数据。
通常情况下，佩戴该智能指环的手指运行时，手指的加速度和角速度会发生变化，在一些示例中，可以通过智能指环内置的加速度计感知手指的加速度变化。通过分析加速度数据，可以识别手指的运动方向、速度和加速度变化模式，从而实现手势识别，比如当手指在水平方向上快速移动并且加速度较大时，可以识别为水平划动手势、当手指在垂直方向上快速移动并且加速度较大时，可以识别为垂直划动手势、当手指快速摇晃智能指环，并伴有较大的加速度变化时，可以识别为摇晃手势。
例如图4中，当智能指环检测到手指在水平方向上快速移动并且加速度较大时，判定为水平划动手势，智能指环将通过与计算机连接的通信渠道将手势数据传输给计算机，接下来，计算机将根据手指的水平划动手势，控制鼠标指针在屏幕中沿着水平方向移动相应的距离，用户可以通过智能指环的手势操作，实现在屏幕上控制鼠标指针水平移动的效果。
在一些示例中，还可以根据陀螺仪检测手指的角速度和角度变化。通过分析陀螺仪数据，可以了解手指的旋转方向、速度和姿态变化，从而识别手势，比如当手指围绕智能指环轴心旋转，并伴有角速度变化时，可以识别为旋转手势。
此外，本实施例中可以仅获取加速度数据进行手势识别，也可以仅通过角速度数据进行手势识别，还可以通过获取加速度数据以及角速度数据进行手势识别，对此不作限制。
除此之外或另选地，在一些示例中，还可以获取其他可实现手势识别的传感器数据。
步骤120、从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
一个单向手势的运动波通常由多个连续采样点的传感器数据组成，且多个连续采样点的传感器数据通常是从一个较小的传感器数据（比如加速度数据接近为0）为运动波的起始点，中间的传感器数据逐渐变大后再变小（比如加速度数据从小变大，再从大到小），最后以一个较小的传感器数据（比如加速度数据接近为0）为运动波的终止点。
在一个示例中，当佩戴该智能指环的手指做左挥动运动时，在左挥动运动之前，手指通常处于静止状态或者作微小的准备动作，因此左挥动运动手势的起始点对应一个较小的传感器数据，比如加速度数据接近为0。在左挥动运动的过程中，加速度数据和角速度数据逐渐增大，达到峰值。最后加速度数据和角速度数据逐渐减小并趋近于0。当佩戴该智能指环的手指做上挥动运动时，其加速度数据和角速度数据与左挥动运动类似，但峰值点的位置和数值可能会有所不同。当佩戴该智能指环的手指做右挥动运动时，其加速度数据和角速度数据与左挥动运动类似，但方向相反。当佩戴该智能指环的手指做下挥动运动时，其加速度数据和角速度数据与上挥动运动类似，但方向相反。因此本实施例中可以根据各个单向手势的运动特点，从传感器数据中提取出各个单向手势的候选运动波。
由于可穿戴设备本身的环境震动或其他因素产生的运动波的幅度要明显小于用户手部的运动产生的运动波，因此本实施例中可以根据预先定义好的单向手势的运动波的传感器数据特征，从传感器数据中提取出多个候选运动波。
另外，本实施例中还可以通过设定阈值或根据单向手势的特征之间的差异性和相似性对传感器数据进行划分，以确保划分后的相邻的候选运动波的单向手势不重复。
步骤130、基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
由于每一个候选运动波表征一种单向手势，因此本实施例可以根据实际手势运动特点，将多个相邻的候选运动波对应的单向手势组合成多种不同的组合手势。
在一个示例中，用户的一个完整手势可以包含多个不同的运动动作，例如起始动作、中间过程的变化和结束动作。每个动作可能具有特定的形状、速度和力度等特征，因此一段完整手势的有效运动波束中还可以包括至少两种单向手势的候选运动波。比如有四个相邻的候选运动波，分别表示左挥、上挥、右挥和下挥手势，则可以将组合成“左上右下”，得到一个旋转手势，还可以将其组合成“左上”、“右下”、“左上右”等完整手势。
在又一个示例中，用户的一个完整手势的执行通常会产生一条路径轨迹，描述了手部或身体在空间中的移动轨迹，或完整手势往往涉及到三维空间中的运动，或完整手势的执行可能会有不同的速度和力度变化。某些手势可能会快速而有力地完成，而其他手势可能较为缓慢和柔和等，因此可以基于以上特征设定相应的组合规则将多个相邻的候选运动波组合生成有效运动波束，本实施例对此不作限制。
在本申请实施例中，获取可穿戴设备的传感器数据后，先从传感器数据中提取表征为单向手势的候选运动波，在此以只在一个方向上进行运动的单向手势为最小的手势单位，通过组合多个单向手势，实现手势的种类的扩充。
需要说明的是，本申请每一个实施方式可以自由组合、调换顺序或者单独执行，并不需要依靠或依赖固定的执行顺序。
在一些实施例中，还包括：
基于所述有效运动波束中相邻两个所述候选运动波的两个所述单向手势确定一个组合手势；
基于一个或多个所述组合手势确定所述完整手势以及对应的手势键码。
在一个示例中，可以通过比较相邻候选运动波的单向手势，来确定它们是否组成一个有效的组合手势。比如，如果相邻的候选运动波分别表征向下和向左的单向手势，则可以确定一个向左下的组合手势，还比如，一个完整的手势通常是一个或者多个往复的运动，比如用户通过上下挥动（先向上挥动、再向下挥动）单击耳机暂停歌曲播放，双击（向上挥动、向下挥动、向上挥动及向下挥动）耳机切换歌曲，也即可以将两个相邻的候选运动波的单向手势组合成一个往复的组合手势。
本实施例中，根据所确定的组合手势以及预设的完整手势的运动波的特点或者其他预设的条件，进一步确定完整手势，比如识别出向左下的组合手势后，还可以观察后续的候选运动波以确认手势的完成状态，如判断是否有向上的运动波来表示一个完整的圆形手势。
在确定出完整手势后，可以为该完整手势分配一个特定的手势键码，手势键码是将手势映射到相应功能或动作的标识符。本实施例中可以根据具体的应用场景和需求来定义手势键码，比如参考表1，表1为一个应用场景中创建的手势键码表：
表1：手势键码表
在本申请实施例中，通过组合不同的候选运动波的单向手势，可以生成更多样化的组合手势。这使得手势识别系统能够捕捉到更多种类的手势，并提供更丰富的交互方式，还可以降低手势之间的冲突概率，基于相邻候选运动波的组合关系，可以确保组合手势在空间和时间上具有一定的连贯性和相关性，减少手势之间的混淆和误识别，另外通过多个组合手势的叠加，还可以减少了非目标手势的干扰，提高了手势识别的精度和可靠性。
在一些实施例中，还包括：
将所述手势键码发送至与所述可穿戴设备已建立通信连接的电子设备，使得所述电子设备基于所述手势键码执行相应的动作；
或者，所述可穿戴设备基于所述手势键码执行相应的动作。
本实施中，针对感知到的手势，可以通过与可穿戴设备已建立连接的电子设备执行相应的动作，还可以通过可穿戴设备执行相应的动作，对此不作限制。
在一些实施例中，电子设备可以是各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其它处理设备，例如，手机、平板、台式笔记本以及可以运行应用程序的智能设备，包括智能汽车的中央控制台等。具体可以指用户设备(user equipment，UE)、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是卫星电话、蜂窝电话、智能手机、无线数据卡、无线调制解调器、机器类型通信设备、可以是无绳电话、会话启动协议(session initiation protocol，SIP)电话、无线本地环路(wireless local loop，WLL)站、个人数字处理(personal digital assistant，PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备或可穿戴设备，虚拟现实(virtual reality，VR)终端设备、增强现实(augmented reality，AR)终端设备、工业控制(industrial control)中的无线终端、无人驾驶(self-driving)中的无线终端、远程医疗(remote medical)中的无线终端、智能电网(smart grid)中的无线终端、运输安全(transportation safety)中的无线终端、智慧城市(smart city)中的无线终端、智慧家庭(smart home)中的无线终端、5G网络或者未来通信网络中的终端设备等。也可以是其他可穿戴设备，比如AR眼镜、VR眼镜、MR眼镜等。
比如，识别出的完整手势转换成相应的手势键码后，可以通过蓝牙等方将手势键码传输给相应的电子设备，电子设备将接收到的手势键码传递到相应的应用，该应用接收到手势键码后，触发相应的操作。例如：上下挥动两次的手势键码触发短视频或者电子书的切换，晃动一次触发弹窗等，还比如图4所示，当智能指环检测到手指做水平划动手势时，智能指环将通过与计算机连接的通信渠道将手势数据传输给计算机，接下来，计算机将根据手指的水平划动手势，控制鼠标指针在屏幕中沿着水平方向移动相应的距离，用户可以通过智能指环的手势操作，实现在屏幕上控制鼠标指针水平移动的效果。
在本申请实施例中，通过手势键码的方式可以使用户操作更加方便快捷。只需通过简单的手势即可触发特定的动作，无需繁琐的按钮操作。
在一些实施例中，所述传感器数据包括多个帧，从所述传感器数据中提取候选运动波，包括：
将所述多个帧划分成多个波，其中，每个所述波具有两个波谷帧、一个波峰帧以及多个中间帧；
基于每一所述波的波峰帧及所述波的周期确定候选运动波。
可以理解的是，传感器数据通常是以连续的采样点构成连续数据帧。每个数据帧包含了传感器在特定采样点测量到的加速度、角速度等信息，也即每个帧指代每个采样点所采集到的传感器数据。本实施例中IMU传感器以一定的采样率进行数据采集，每个采样点上，IMU传感器会测量并记录当前时刻的加速度、角速度等信息。
本实施例中，将多个连续的数据帧划分成多个波，每个波由两个波谷帧、一个波峰帧和多个中间帧组成，波谷帧是波的下降边界点，波峰帧是波的上升边界点，中间帧是波谷帧和波峰帧之间的数据帧，比如参考图5所示，其包括a1a2、a2a3、a3a4三个候选运动帧序列，其中a1-a4分别是候选运动帧序列的波谷帧，b1、b2和b3分别是候选运动帧序列的波峰帧。
通过分析每个波的帧数据，找到波的波峰帧（即波的最高点），根据每个波的波峰帧以及波谷帧的位置，确定波的周期，比如根据一个波的两个波谷帧之间的帧数确定波的周期。
本实施例中的波为去掉干扰后可以真实反映运动本身的波形。每一段波可以表示一段特定的手势或者姿态。由于波可能为用户手部的运动产生的，也可能为可穿戴设备本身的环境震动或其他因素产生的，由于环境震动的幅度要明显小于运动的幅度。因此本实施例中可以通过比较波峰帧的特征值与设定的阈值来判断候选运动波。
另外由于手势的执行不是瞬时的，而是需要一段时间完成，因此一段完整的单向手势的候选运动波的周期还需要大于特定周期。
在本申请实施例中，通过以上方式从传感器数据中提取出多个候选运动波，使得后续可以对这些候选运动波进行分析、识别或应用，以实现更精确的运动分析。
在一些实施例中，在所述波中，对每一帧都进行判断：
当当前帧的模长大于之前帧的最大模长，更新所述当前帧为所述波的临时波峰帧；
当当前帧的模长小于之前帧的最小模长，更新所述当前帧为所述波的临时波谷帧。
本实施例中，通过遍历传感器数据中的每一帧，对于每一帧，比较其模长与之前帧的最大模长和最小模长，如果当前帧的模长大于之前帧的最大模长，则更新当前帧为临时波峰帧，如果当前帧的模长小于之前帧的最小模长，则更新当前帧为临时波谷帧。如图6所示，逐帧往后遍历时，如果检测到数据帧的模长逐渐变小又逐渐变大时，那么可将逐渐变小又逐渐变大的转折处的数据帧作为临时波谷帧（比如图6中的圆圈C2中模长最小的数据帧）。
在一些实施例中，所述波是通过以下方式划分的：
获取所述波的第一个波谷帧，其中，第一个所述波谷帧是由上一个所述波确定的；
确定所述波的临时波谷帧，其中，所述临时波谷帧的模长小于之前帧的模长，且小于之后帧的模长；
从第一个所述波谷帧、所述临时波谷帧之间的帧中确定临时波峰帧；
基于所述临时波谷帧的模长不大于静态帧模长，且所述临时波峰帧和所述临时波谷帧差值不小于所述临时波峰帧和第一个所述波谷帧差值的一半，确定所述临时波谷帧为第二个波谷帧、所述临时波峰帧为波峰帧。
如图5中所示的连续采样的数据帧中，每个候选运动帧序列的第一个波谷帧为上一个候选运动帧序列的第二个波谷帧或者第二个波谷帧的下一帧，也即在提取出一个候选运动帧序列的第二个波谷帧后，该候选运动帧序列的第二个波谷帧可以作为下一个候选运动帧序列开始的第一个波谷帧（例如a2作为a2a3候选运动帧序列的第一个波谷帧），或者，该候选运动帧序列的第二个波谷帧后的下一帧可以作为下一个候选运动帧序列开始的第一个波谷帧（例如a2的下一帧作为a2a3候选运动帧序列的第一个波谷帧），这不成为本申请的限定。在确定当前波的第一波谷帧后，可以比较该波中的当前帧的模长与该波中的之前帧的模长以及该波中的之后帧的模长先确定出临时波谷帧，从第一个波谷帧、临时波谷帧之间的帧中确定出临时波峰帧，接下来根据预先设置好的波的结束点的判断规则判断临时波谷帧是否为当前波的终止帧。
本实施例中，预先设置好的波的结束点的判断规则为临时波谷帧的模长不大于静态帧模长，且临时波峰帧的模长和临时波谷帧的模长的差值不小于临时波峰帧的模长和第一个波谷帧的模长的差值的一半。若临时波谷帧满足此条件，则该临时波谷帧即为当前波中的第二个波谷帧，临时波峰帧即为波峰帧若临时波谷帧不满足此条件，则继续向前寻找临时波谷帧，并且重复上述判断过程。
其中，静态帧模长为预先设置好的相对静止状态下的数据帧的模长，本实施例中将静态帧模长作为一种基准去判断临时波谷帧是否为真正的波谷。
本实施例中，基于临时波谷帧的模长与静态帧模长之间的大小，以及波峰波谷之间的差值来将多个帧划分成多个波，确保了波峰波谷识别的准确性。
在一些实施例中，基于每一所述波的波峰帧及所述波的周期确定候选运动波，包括：
当所述波峰帧的模长大于或等于静态帧模长，且所述波的周期大于或等于预设周期，确定所述波为候选运动波。
同上述实施例，静态帧模长为预先设置好的相对静止状态下的数据帧的模长，本实施例中将静态帧模长作为一种基准去判断候选运动波。例如，假设静态帧模长为M，我们测量到一个波的波峰帧的模长为N。如果N大于或等于M，我们可以将该波视为候选运动波。
本实施中还基于波的周期进行识别，比如，假设一个手势的周期为T，我们测量到一个波的周期为P。如果P大于或等于T，我们可以将该波视为候选运动波。
在一些实施例中，所述基于多个相邻的所述候选运动波组合生成有效运动波束，包括：
将多个相邻的所述候选运动波组合生成候选运动波束，其中，最后一个所述候选运动波结束后的时间窗口内所述传感器数据的模长不大于静态帧模长；
从多个相邻的所述候选运动波的多个波峰帧中确定最大模长，所述最大模长不小于预设阈值，所述候选运动波束为有效运动波束。
同上述实施例，静态帧模长为预先设置好的相对静止状态下的数据帧的模长，本实施例中将静态帧模长作为一种基准去判断候选运动波是否结束，来将多个相邻的候选运动波组合生成候选运动波束。
本实施例中，在一个候选运动波结束后的时间窗口内，如果未检测到大于静态帧模长的数据，那么就判定该候选运动波结束，若候选运动波未结束，则将该候选运动波与后续的候选运动波组合生成候选运动波束，其中，时间窗口可以根据实际情况灵活调整，比如设置为前一个波的周期的三分之二。
另外，由于肢体抖动也可能引起运动波，因此本实施例中还进一步对候选运动波束的有效性进行判断。
本实施例中遍历候选运动波束中的多个相邻的候选运动波的多个波峰帧，确定出多个波峰帧中的最大模长，若最大模长小于预设阈值，则判定该候选运动波束为无效运动波束，否则，判定为有效运动波束。
在一个示例中，可以设定预设阈值为二倍的静态帧模长，比如参考图7，图7中包括了三组候选运动波束，其中，经过分析发现中间的候选运动波束的最大模长小于预设阈值，则该组候选运动波束中的波可能为肢体抖动引起的，即是无效运动波束。
在本申请实施例中，一方面通过将符合以上条件的多个相邻的候选运动波组合生成候选运动波束，使得可以获取更全面的运动信息，另一方面通过候选运动波束中最大模长来进行有效运动波束的识别，还减少了不相关或较弱的运动信号对后续手势组合的影响。
在一些实施例中，所述静态帧模长是基于所述可穿戴设备在相对静止状态下确定的。
本实施例中的相对静止状态可基于实际应用场景灵活调整，比如若用户手部的运动是相对较快的运动，那么相对静止状态可以指代完全静止状态，若用户手部的运动是相对较慢的运动，那么相对静止状态可以指代不涉及传感器的旋转和平移运动，但允许周围环境的震动的状态，可以理解地，此处的环境震动的幅度要明显小于运动的幅度。
在一个示例中，采集一批相对静止状态下的传感器数据（比如陀螺仪数据），之后求出数据模长的均值和方差，剔除二倍标准差之外的数据点，然后将剩下的数据点的模长最大值作为静态帧模长。
在一些实施例中，当所述有效运动波束中相邻的两个所述候选运动波的波峰帧对应的向量夹角小于预设夹角阈值，将相邻的两个所述候选运动波组合一个候选运动波。
其中，向量夹角指代三轴向量夹角，在此不再赘述。
可以理解地，当两个波峰帧对应的向量夹角较小时，比如小于90°时，表示这两个候选运动波在运动特征上具有一定的相似性，因此通过将它们合并为一个候选运动波，可以获得更完整、连贯的运动片段。
此外通过将向量夹角小于预设夹角阈值的相邻的候选运动波组合为一个候选运动波，还可以减少数据的维度和复杂度，简化后续处理。
另一方面，本申请还提供一种可穿戴设备，包括：
传感器，被配置为提供所述可穿戴设备的传感器数据；
处理器，通信地耦接到所述传感器并被配置为执行手势识别的步骤：
获取所述可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
另一方面，本申请还提供一种电子设备，包括：处理器（processor）、通信接口（Communication Interface）、存储器（memory）和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信。处理器可以调用存储器中的计算机程序，以执行手势识别的步骤：
获取可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
另一方面，本申请还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法实施例所提供的手势识别方法，该方法包括：
获取可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
又一方面，本申请还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法实施例所提供的方法，该方法包括：
获取可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (12)
1.一种手势识别方法，其特征在于，包括：
获取可穿戴设备的传感器数据；
从所述传感器数据中提取候选运动波，其中，每一所述候选运动波表征一种单向手势，且相邻两个所述候选运动波表征的单向手势不同；
基于多个相邻的所述候选运动波组合生成有效运动波束，其中，所述有效运动波束表征所述可穿戴设备的佩戴者的完整手势。
2.根据权利要求1所述的手势识别方法，其特征在于，还包括：
基于所述有效运动波束中相邻两个所述候选运动波的两个所述单向手势确定一个组合手势；
基于一个或多个所述组合手势确定所述完整手势以及对应的手势键码。
3.根据权利要求2所述的手势识别方法，其特征在于，所述手势识别方法还包括：
将所述手势键码发送至与所述可穿戴设备已建立通信连接的电子设备，使得所述电子设备基于所述手势键码执行相应的动作；
或者，所述可穿戴设备基于所述手势键码执行相应的动作。
4.根据权利要求1所述的手势识别方法，其特征在于，所述传感器数据包括多个帧，从所述传感器数据中提取候选运动波，包括：
将所述多个帧划分成多个波，其中，每个所述波具有两个波谷帧、一个波峰帧以及多个中间帧；
基于每一所述波的波峰帧及所述波的周期确定候选运动波。
5.根据权利要求4所述的手势识别方法，其特征在于，还包括：
在所述波中，对每一帧都进行判断：
当当前帧的模长大于之前帧的最大模长，更新所述当前帧为所述波的临时波峰帧；
当当前帧的模长小于之前帧的最小模长，更新所述当前帧为所述波的临时波谷帧。
6.根据权利要求4所述的手势识别方法，其特征在于，所述波是通过以下方式划分的：
获取所述波的第一个波谷帧，其中，第一个所述波谷帧是由上一个所述波确定的；
确定所述波的临时波谷帧，其中，所述临时波谷帧的模长小于之前帧的模长，且小于之后帧的模长；
从第一个所述波谷帧、所述临时波谷帧之间的帧中确定临时波峰帧；
基于所述临时波谷帧的模长不大于静态帧模长，且所述临时波峰帧和所述临时波谷帧差值不小于所述临时波峰帧和第一个所述波谷帧差值的一半，确定所述临时波谷帧为第二个波谷帧、所述临时波峰帧为波峰帧。
7.根据权利要求4所述的手势识别方法，其特征在于，基于每一所述波的波峰帧及所述波的周期确定候选运动波，包括：
当所述波峰帧的模长大于或等于静态帧模长，且所述波的周期大于或等于预设周期，确定所述波为候选运动波。
8.根据权利要求1所述的手势识别方法，其特征在于，所述基于多个相邻的所述候选运动波组合生成有效运动波束，包括：
将多个相邻的所述候选运动波组合生成候选运动波束，其中，最后一个所述候选运动波结束后的时间窗口内所述传感器数据的模长不大于静态帧模长；
从多个相邻的所述候选运动波的多个波峰帧中确定最大模长，所述最大模长不小于预设阈值，所述候选运动波束为有效运动波束。
9.根据权利要求6-8任一项所述的手势识别方法，其特征在于，所述静态帧模长是基于所述可穿戴设备在相对静止状态下确定的。
10.根据权利要求1所述的手势识别方法，其特征在于，还包括：
当所述有效运动波束中相邻的两个所述候选运动波的波峰帧对应的向量夹角小于预设夹角阈值，将相邻的两个所述候选运动波组合一个候选运动波。
11.一种可穿戴设备，其特征在于，包括：
传感器，被配置为提供所述可穿戴设备的传感器数据；
处理器，通信地耦接到所述传感器并被配置为执行如权利要求1至10任一项所述的手势识别方法。
12.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的手势识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311311825.0A CN117055738B (zh) | 2023-10-11 | 2023-10-11 | 手势识别方法、可穿戴设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311311825.0A CN117055738B (zh) | 2023-10-11 | 2023-10-11 | 手势识别方法、可穿戴设备及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN117055738A true CN117055738A (zh) | 2023-11-14 |
| CN117055738B CN117055738B (zh) | 2024-01-19 |
Family
ID=88655769
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311311825.0A Active CN117055738B (zh) | 2023-10-11 | 2023-10-11 | 手势识别方法、可穿戴设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117055738B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150169074A1 (en) * | 2013-12-12 | 2015-06-18 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| US20160048161A1 (en) * | 2014-08-16 | 2016-02-18 | Google Inc. | Identifying gestures using motion data |
| CN106468945A (zh) * | 2015-08-20 | 2017-03-01 | 上海汽车集团股份有限公司 | 可穿戴设备及其控制方法 |
| CN108139798A (zh) * | 2016-09-26 | 2018-06-08 | 华为技术有限公司 | 交互方法及可穿戴设备 |
| CN109933191A (zh) * | 2019-02-13 | 2019-06-25 | 苏鹏程 | 手势识别和控制方法及其系统 |
| US20200026360A1 (en) * | 2018-07-19 | 2020-01-23 | Infineon Technologies Ag | Gesture Detection System and Method Using Radar Sensors |
| CN112114666A (zh) * | 2020-08-25 | 2020-12-22 | 武汉海微科技有限公司 | 基于触摸板的动态手势识别算法 |
| WO2022228212A1 (zh) * | 2021-04-27 | 2022-11-03 | 华为技术有限公司 | 手势交互方法、系统和装置 |
| WO2022268183A1 (zh) * | 2021-06-23 | 2022-12-29 | 华南理工大学 | 一种基于视频的随机手势认证方法及系统 |
| US20230185381A1 (en) * | 2021-12-09 | 2023-06-15 | Samsung Electronics Co., Ltd. | Method of recognizing gesture by using wearable device and the wearable device |
-
2023
- 2023-10-11 CN CN202311311825.0A patent/CN117055738B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150169074A1 (en) * | 2013-12-12 | 2015-06-18 | Thalmic Labs Inc. | Systems, articles, and methods for gesture identification in wearable electromyography devices |
| US20160048161A1 (en) * | 2014-08-16 | 2016-02-18 | Google Inc. | Identifying gestures using motion data |
| CN106468945A (zh) * | 2015-08-20 | 2017-03-01 | 上海汽车集团股份有限公司 | 可穿戴设备及其控制方法 |
| CN108139798A (zh) * | 2016-09-26 | 2018-06-08 | 华为技术有限公司 | 交互方法及可穿戴设备 |
| US20200026360A1 (en) * | 2018-07-19 | 2020-01-23 | Infineon Technologies Ag | Gesture Detection System and Method Using Radar Sensors |
| CN109933191A (zh) * | 2019-02-13 | 2019-06-25 | 苏鹏程 | 手势识别和控制方法及其系统 |
| CN112114666A (zh) * | 2020-08-25 | 2020-12-22 | 武汉海微科技有限公司 | 基于触摸板的动态手势识别算法 |
| WO2022228212A1 (zh) * | 2021-04-27 | 2022-11-03 | 华为技术有限公司 | 手势交互方法、系统和装置 |
| WO2022268183A1 (zh) * | 2021-06-23 | 2022-12-29 | 华南理工大学 | 一种基于视频的随机手势认证方法及系统 |
| US20230185381A1 (en) * | 2021-12-09 | 2023-06-15 | Samsung Electronics Co., Ltd. | Method of recognizing gesture by using wearable device and the wearable device |
Also Published As
| Publication number | Publication date |
|---|---|
| CN117055738B (zh) | 2024-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8648828B2 (en) | System and method for inputing user commands to a processor | |
| US7259756B2 (en) | Method and apparatus for selecting information in multi-dimensional space | |
| CN105446461A (zh) | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 | |
| US9619024B2 (en) | Virtual input device and virtual input method | |
| US20150084859A1 (en) | System and Method for Recognition and Response to Gesture Based Input | |
| CN108196668B (zh) | 一种便携式手势识别系统及方法 | |
| EP3007030A1 (en) | Portable device and control method via gestures | |
| KR101228336B1 (ko) | 모바일 단말기의 사용자 행동패턴을 이용하여 개인화 서비스를 제공하는 방법 및 이를 위한 모바일 단말기 | |
| US20160098091A1 (en) | Method, device, system and non-transitory computer-readable recording medium for providing user interface | |
| CN110866468A (zh) | 一种基于无源rfid的手势识别系统及方法 | |
| EP3289435B1 (en) | User interface control using impact gestures | |
| CN108073267B (zh) | 基于运动轨迹的三维控制方法及装置 | |
| Gouthaman et al. | Gesture detection system using smart watch based motion sensors | |
| Villani et al. | Smartwatch-enhanced interaction with an advanced troubleshooting system for industrial machines | |
| JP6225612B2 (ja) | プログラム、情報処理装置、および方法 | |
| Muhammad et al. | Hand gesture user interface for smart devices based on mems sensors | |
| CN117055738B (zh) | 手势识别方法、可穿戴设备及存储介质 | |
| Iyer et al. | Generalized hand gesture recognition for wearable devices in IoT: Application and implementation challenges | |
| CN109960404B (zh) | 一种数据处理方法及装置 | |
| Roshandel et al. | Multi-sensor based gestures recognition with a smart finger ring | |
| CN109643190A (zh) | 便携式电子设备的扩展交互 | |
| Zhang et al. | From electromyogram to password: exploring the privacy impact of wearables in augmented reality | |
| CN113498502A (zh) | 使用外部传感器的手势检测 | |
| Kim et al. | Visual multi-touch air interface for barehanded users by skeleton models of hand regions | |
| Agarwal et al. | Gestglove: A wearable device with gesture based touchless interaction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |