CN114546106A - 一种隔空手势的识别方法、装置、电子设备和存储介质 - Google Patents
一种隔空手势的识别方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114546106A CN114546106A CN202111616232.6A CN202111616232A CN114546106A CN 114546106 A CN114546106 A CN 114546106A CN 202111616232 A CN202111616232 A CN 202111616232A CN 114546106 A CN114546106 A CN 114546106A
- Authority
- CN
- China
- Prior art keywords
- gesture
- period
- preset
- air
- separating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 94
- 238000001514 detection method Methods 0.000 claims abstract description 158
- 230000004044 response Effects 0.000 claims abstract description 15
- 230000003068 static effect Effects 0.000 claims description 40
- 230000033001 locomotion Effects 0.000 claims description 30
- 230000000737 periodic effect Effects 0.000 claims description 25
- 230000002441 reversible effect Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 3
- 230000002829 reductive effect Effects 0.000 abstract description 7
- 230000008569 process Effects 0.000 description 26
- 238000005096 rolling process Methods 0.000 description 23
- 210000003813 thumb Anatomy 0.000 description 14
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000007704 transition Effects 0.000 description 8
- 230000036544 posture Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 210000003811 finger Anatomy 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000002955 isolation Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种隔空手势的识别方法、装置、电子设备和存储介质,其中所述方法包括:基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势;响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的隔空手势。在隔空手势识别系统进行隔空手势识别时,依据预设条件对隔空手势进行判定,确定隔空手势是否有效。通过条件判定隔空手势的有效性,既可以避免隔空手势识别系统出现误检、丢帧等问题,又可以避免因隔空手势无效而造成手势识别出错,触发错误指令等问题出现,提高隔空手势识别的有效性和准确性,降低手势识别的出错率。
Description
技术领域
本申请涉及人机交互技术领域,尤其涉及一种隔空手势的识别方法、装置、电子设备和存储介质。
背景技术
随着人机交互及人工智能技术的发展,隔空手势识别技术也得到了飞速的发展。隔空手势识别系统中常用的手势分为三种:静态型手势、变化型手势、移动型手势。隔空手势识别系统能够实时检测操作手的位置及手型等信息,但由于个体差异,对于同一手型,每个人做出来的手型也各有不同,再加上环境及设备等因素的干扰,隔空手势识别系统很难避免误检、丢帧等问题出现。
发明内容
有鉴于此,本申请的目的在于提出一种隔空手势的识别方法、装置、电子设备和存储介质。
基于上述目的,本申请提供了一种隔空手势的识别方法,包括:
基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势;
响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的隔空手势;
其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
进一步地,所述第一预设条件还包括:
起始帧或所述第一周期之前的连续第一预设数量帧中至少一帧的所述当前手势为所述目标手势;
和/或
所有帧中,不存在连续的大于等于预设帧数的所述当前手势不是所述目标手势;
和/或
结束帧的所述当前手势为所述目标手势或者结束帧之前的连续第二预设数量帧的所述当前手势均为所述目标手势。
进一步地,所述隔空手势包括静态型手势、变化型手势或移动型手势。
进一步地,基于预设的第二周期,对所述隔空手势按照时间顺序进行持续周期性检测并记录每一所述第二周期内的每一帧的当前手势;其中,所述第二周期的时长大于所述第一周期;
响应于确定一所述第二周期内每个所述第一周期的隔空手势均符合所述第一预设条件,判定所述隔空手势为有效静态型手势。
进一步地,基于预设的第三周期,对所述隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第三周期的结束时段内每一帧的当前手势;其中,所述预设的第三周期依据时间顺序包括:前序时段和结束时段;
响应于确定一所述第三周期的所述结束时段符合预设结束条件,基于预设的检测周期,在该第三周期的所述前序时段内按照时间倒序进行持续周期性检测,并记录每一所述检测周期内每一帧的当前手势;
响应于记录的一所述检测周期符合预设开始条件,且该检测周期与所述结束时段之间的时长符合预设时长,则确定所述隔空手势为有效变化型手势;
其中,所述预设结束条件为:所述结束时段内的每个所述第一周期的隔空手势均符合所述第一预设条件;所述结束时段内的所述目标手势为预设的结束手势;
所述预设开始条件为:所述检测周期内的每个所述第一周期的隔空手势均符合所述第一预设条件;所述检测周期内的所述目标手势为预设的开始手势。
进一步地,在所述判定所述隔空手势为有效的隔空手势之后,继续检测,至所述隔空手势达到预设终止条件;
其中,所述预设终止条件包括:所述隔空手势的移动量达到预设移动值和/或一所述第一周期的隔空手势不符合所述第一预设条件。
进一步地,所述移动量包括移动距离和/或转动角度。
进一步地,所述第一周期的时长为0.1s至0.8s。
基于同一发明构思,本申请还提供了一种隔空手势的识别装置,包括:
检测记录模块,被配置为基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势;
判定模块,被配置为响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的目标手势;其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
进一步地,在所述判定模块中,所述第一预设条件还包括:
起始帧或所述第一周期之前的连续第一预设数量帧中至少一帧的所述当前手势为所述目标手势;
和/或
所有帧中,不存在连续的大于等于预设帧数的所述当前手势不是所述目标手势;
和/或
结束帧的所述当前手势为所述目标手势或者结束帧之前的连续第二预设数量帧的所述当前手势均为所述目标手势。
进一步地,所述识别装置还包括:
静态型手势检测模块,被配置为基于预设的第二周期,对所述隔空手势按照时间顺序进行持续周期性检测并记录每一所述第二周期内的每一帧的当前手势;其中,所述第二周期的时长大于所述第一周期;
静态型手势判定模块,被配置为响应于确定一所述第二周期内每个所述第一周期的隔空手势均符合所述第一预设条件,判定所述隔空手势为有效静态型手势。
进一步地,所述识别装置还包括:
第一变化型手势检测模块,被配置为基于预设的第三周期,对所述隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第三周期的结束时段内每一帧的当前手势;其中,所述预设的第三周期依据时间顺序包括:前序时段和所述结束时段;
第二变化型手势检测模块,被配置为响应于确定一所述第三周期的所述结束时段符合预设结束条件,基于预设的检测周期,在该第三周期的所述前序时段内按照时间倒序进行持续周期性检测,并记录每一所述检测周期内每一帧的当前手势;
变化型手势判定模块,被配置为响应于记录的一所述检测周期符合预设开始条件,且该检测周期与所述结束时段之间的时长符合预设时长,则确定所述隔空手势为有效变化型手势。
进一步地,所述识别装置还包括:
移动型手势判定模块,被配置为在所述判定所述隔空手势为有效的隔空手势之后,继续检测,至所述隔空手势达到预设终止条件;其中,所述预设终止条件包括:所述隔空手势的移动量达到预设移动值和/或一所述第一周期的隔空手势不符合所述第一预设条件。
进一步地,在所述移动型手势判定模块中,所述移动量包括移动距离和/或转动角度。
基于同一发明构思,本申请还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上任意一项所述的方法。
基于同一发明构思,本申请还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使计算机执行如上任一所述方法。
从上面所述可以看出,本申请提供的隔空手势的识别方法、装置、电子设备和存储介质,在隔空手势识别系统进行隔空手势识别时,依据预设条件对隔空手势进行判定,确定隔空手势是否有效,并且还可依据隔空手势的类型来判定其是否为对应的有效手势类型。通过条件判定隔空手势的有效性,既可以避免隔空手势识别系统出现误检、丢帧等问题,又可以避免因隔空手势无效而造成手势识别出错,触发错误指令等问题出现,提高隔空手势识别的有效性和准确性,降低手势识别的出错率。
附图说明
为了更清楚地说明本申请或相关技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例的隔空手势的识别方法的流程示意图;
图2为本申请实施例的有效的静态型手势的识别方法的流程示意图;
图3为本申请实施例的有效的变化型手势的识别方法的流程示意图;
图4为本申请实施例的隔空手势的识别装置的结构示意图;
图5为本申请实施例的电子设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本申请进一步详细说明。
需要说明的是,除非另外定义,本申请实施例使用的技术术语或者科学术语应当为本申请所属领域内具有一般技能的人士所理解的通常意义。本申请实施例中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性,而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同,而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接,而是可以包括电性的连接,不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系,当被描述对象的绝对位置改变后,则该相对位置关系也可能相应地改变。
在本文中,需要理解的是,附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
为了方便理解,下面对本公开实施例中涉及的名词进行解释:
手势:指手指、手掌或者手掌连同手臂产生的各种动作或者姿势,根据手势的时变性可以将手势分为静态型手势、变化型手势和移动型手势。
手势识别:以计算机视觉为基础的自然手势识别技术,通过数学算法来识别人类的手势。手势识别可以来自人的身体各部位的运动,但一般是指手的运动。用户可以使用简单的手势来控制或与设备交互,让设备理解人类的行为。
静态型手势:指静止不动的手做出特殊形状或姿势,即通过手的形状或姿势来表明操作者的意图,保持手的形状不变,静止一段时间。例如保持拳头状态并静止1秒;保持巴掌状态并静止2秒等。
变化型手势:指手势是随时间变化的,在一定时间内,由一个手势变化为另外一个手势而形成的动态手势,例如巴掌变为拳头;巴掌变为大拇哥等。
移动型手势:保持手的形状不变,通过移动手臂和/或转动手腕而形成的动态手势,例如保持剪刀手的手型进行移动;保持大拇哥的手型进行转动等。
误检:隔空手势识别系统对用户的手势识别出现了错误的识别结果。
丢帧:隔空手势识别系统没有检测出用户的手势,或者在检测过程中丢失部分帧导致检测结果不准确。
帧:影像动画中最小单位的单幅影像画面,每一帧都是静止的图象。
下面参考本公开的若干代表性实施方式,详细阐释本申请的原理和精神。
发明概述
随着人机交互及人工智能技术的发展,隔空手势识别技术也得到了飞速的发展。隔空手势识别的目的是通过数学算法来识别人类手势。手势可以源自任何身体运动或状态,但通常源自手。用户可以使用简单的手势来控制或与设备交互,而无需接触他们。手势识别可以被视为计算机理解人体语言的方式,从而在机器和人之间搭建比原始文本用户界面或甚至图形用户界面更丰富的桥梁。
手势识别使人们能够与机器进行通信,并且无需任何机械设备即可自然交互。因此,手势识别可以应用在多种场景中。例如,在智能家居领域,远距离操控智能家电、家用机器人、可穿戴等硬件设备,基于手势识别技术,通过输入固定的手势作为智能硬件控制指令,使得人机交互方式更加智能;在智能车载领域,通过车载手势,控制左滑、右滑、音量的加减、菜单等操作,可以在一些比较嘈杂的环境下,有效补充语音识别短板,使得车内交互更加方便自然;在VR与AR领域,在虚拟环境中,赋予用户贴近现实生活的手势识别导航和控制能力,从现实场景切换到虚拟场景,建立最直接的人机交互方式;其他诸如可穿戴设备、儿童教具等硬件设备等,均可以通过用户的手势控制对应的功能,使得人机交互方式更加智能化、自然化。
然而,如背景技术部分所述,现有的手势识别系统能够实时检测操作手的位置及手型等信息,但在实际应用中,手势通常受到个体差异及环境因素的影响,例如对于同一手型,每个人做出来的手型各有不同,再加上环境及设备等因素的干扰,隔空手势识别系统很难避免误检、丢帧等问题出现,手势识别的出错率较高。
基于上述问题,本申请提供了一种隔空手势的识别方法、装置、电子设备和存储介质。首先,基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势。然后,对所述隔空手势是否有效进行判定。当所述第一周期的所述隔空手势符合第一预设条件时,判定所述隔空手势为有效的隔空手势。其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。此外,依据所述隔空手势的类型(静态型手势、变化型手势或移动型手势),针对每种不同的隔空手势类型继续判断所述隔空手势是否为有效的手势类型。
在隔空手势识别系统进行隔空手势识别时,依据预设条件对隔空手势进行判定,确定隔空手势是否有效,并且还可依据隔空手势的类型来判定其是否为对应的有效手势类型。通过条件判定隔空手势的有效性,既可以避免隔空手势识别系统出现误检、丢帧等问题,又可以避免因隔空手势无效而造成手势识别出错,触发错误指令等问题出现,提高隔空手势识别的有效性和准确性,降低手势识别的出错率。
在对本发明的整体内容进行概述之后,下面结合附图,具体介绍本公开的各种非限制性实施方式。
参考图1,本申请提供了一种隔空手势的识别方法,包括:
步骤S101、基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性获取,并记录每一所述第一周期内的每一帧的当前手势。
具体的,所述隔空手势可以为静态型隔空手势、变化型隔空手势或移动型隔空手势。在接收到隔空手势检测指令之前,隔空手势识别系统已经对各种有效手势进行了划分,并且对各类有效手势的判定设置了相关的预设条件。例如,针对隔空手势设置了判定有效隔空手势对应的预设条件,针对静态型隔空手势设置了判定有效的静态型隔空手势的预设条件等。在接收到隔空手势检测指令后,隔空手势识别系统获取操作手的隔空手势,依据隔空手势对应的预设条件对所述隔空手势按照如下步骤进行检测并判定。
当接收到隔空手势检测指令之后,以预设的第一周期为滚动单元,按照时间顺序对所述隔空手势进行持续周期性滚动检测并记录,检测过程随着时间顺序持续进行。
所述预设的第一周期为在初始阶段已经预设好的一个时间周期,通常根据经验值来设定,所述第一周期的时长设定为0.1s至0.8s之间。隔空手势识别系统在进行手势识别时,需要操作手的手势保持不变并维持一定的时间,系统才能确认识别到的手势信息。所述预设的第一周期即操作手的手势需要维持的最短时间,因此,对于获取到的隔空手势,必须连续维持同一个手势的时间要大于等于所述第一周期,系统才能确认该手势有效,否则系统无法确认获取到的手势信息。
记录的所述第一周期内每一帧的当前手势包括当前手势的手型信息、位置信息、姿态信息的一种或多种。实际记录时,当前手势的手型信息是必须记录的,其他诸如位置信息、姿态信息等依据实际需要决定是否记录,在此不做限定。
其中,所述手型信息为检测到的当前帧的手型类型,诸如当前帧的手型记录为“拳头”、“巴掌”或者“大拇哥”等,手型信息也可用代号来记录,例如,将“拳头”记为“1”,将“巴掌”记为“2”等;所述位置信息为当前帧的手的坐标位置,诸如手的三维坐标的数据信息;所述姿态信息为当前帧的手的姿态角的数据信息。
其中,以预设的第一周期为滚动单元,按照时间顺序对所述隔空手势进行持续周期性检测包括两种方式:方式一,以预设的第一周期为滚动单元,并以帧为基础单元进行周期性持续迭代;方式二,以第一周期为滚动单元,并以第一周期为基础单元进行持续周期性检测。
对于方式一的举例说明如下:
以获取到的操作手的隔空手势为“拳头”为例。假定预设的第一周期为0.5s,当系统获取到隔空手势“拳头”开始,以0.5s为周期对所述隔空手势进行持续检测。对于每个0.5s,系统均会识别到5帧的当前手势,并记录每一帧当前手势的手型信息。
以开始检测的时间为0s为例,基于预设的第一周期0.5s进行持续检测,系统在第一个所述第一周期内会检测0s至0.5s的手型为1至5帧,并依次记录第一个第一周期内的每一帧的当前手势的手型信息为:“拳头”、“拳头”、“巴掌”、“拳头”、“巴掌”;系统在第二个所述第一周期内会检测并记录2至6帧的手型,并依次记录第二个第一周期内的每一帧的当前手势的手型信息为:“拳头”、“巴掌”、“拳头”、“巴掌”、“拳头”;系统在第三个所述第一周期内会检测并记录3至7帧的手型,并依次记录第三个第一周期内的每一帧的当前手势的手型信息为:“巴掌”、“拳头”、“巴掌”、“拳头”、“拳头”……以帧为基础的单元进行递推迭代,依次记录每个所述第一周期内的每一帧的当前手势。
对于方式二的举例说明如下:
以获取到的操作手的隔空手势为“拳头”为例。假定预设的第一周期为0.5s,当系统获取到隔空手势“拳头”开始,以0.5s为周期对所述隔空手势进行持续检测。对于每个0.5s,系统均会识别到5帧的当前手势,并记录每一帧当前手势的手型信息。
以开始检测的时间为0s为例,基于预设的第一周期0.5s进行持续检测,系统在第一个所述第一周期内会检测0s至0.5s的当前手势,并依次记录第一个第一周期内的每一帧的当前手势的手型信息为:“拳头”、“拳头”、“巴掌”、“拳头”、“巴掌”;系统在第二个所述第一周期内会检测并0.5s至1s的当前手势,并依次记录第二个第一周期内的每一帧的当前手势的手型信息为:“拳头”、“巴掌”、“拳头”、“巴掌”、“拳头”;系统在第三个所述第一周期内会检测并记录1s至1.5s的手型,并依次记录第三个第一周期内的每一帧的当前手势的手型信息为:“巴掌”、“拳头”、“巴掌”、“拳头”、“拳头”……以第一周期为基础时间单元进行持续检测,依次记录每个所述第一周期内的每一帧的当前手势。
步骤S102、响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的隔空手势;其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
具体的,在持续检测记录的过程中,依次记录每个所述第一周期的每一帧的当前手势,当检测到某一个第一周期内的隔空手势符合第一预设条件时,那么判定所述隔空手势为有效的隔空手势,可执行与隔空手势对应的相关操作。
所述预设的目标手势为系统预先设置好的,为与获取的隔空手势对应的正确的手势,例如,当操作手准备做的隔空手势为“拳头”时,隔空手势识别系统调取与操作手所做的隔空手势对应的预设的目标手势即为“拳头”。
实际应用中,手势通常受到个体差异及环境因素的影响,例如对于同一手势,每个人做出来的手型各有不同,再加上环境及设备等因素的干扰,因此系统会出现误检、漏检、丢帧或者识别不准确的情况。对于同一个隔空手势“拳头”,系统识别到的可能是“拳头”、“巴掌”或者“大拇哥”等。因此,本申请中,通过第一预设条件的筛选,结合概率学知识,来对隔空手势是否有效进行判定,进而降低系统出现误检、漏检、丢帧等的风险,提高系统识别的准确率。
其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
此条件从概率学的角度确定所述第一周期内的当前手势是目标手势的占比是否符合预设阈值。如果第一周期内有5帧当前手势,但是5帧中仅有1帧的当前手势为目标手势,那么从概率学角度可以确定这个第一周期的隔空手势不是与其对应的目标手势。其中,所述预设阈值依据经验值来确定,符合预设阈值指的是大于等于所述预设阈值。
例如,获取的隔空手势为“拳头”,与“拳头”对应的预设的目标手势也为“拳头”,对于每个第一周期,系统可以检测到5帧的当前手势,假定预设阈值设置为0.6,那么如果检测到某一个第一周期内的当前手势为“拳头”、“拳头”、“巴掌”、“大拇哥”、“大拇哥”,这个第一周期内当前手势是目标手势的占比为0.4,小于预设阈值0.6,那么证明这个第一周期不符合第一预设条件,则继续进行检测。如果检测到某一个第一周期内的当前手势为“拳头”、“拳头”、“巴掌”、“拳头”、“拳头”,这个第一周期内当前手势是目标手势的占比为0.8,大于预设阈值0.6,那么证明这个第一周期符合第一预设条件。
当某个第一周期符合所第一预设条件时,那么判定获取的隔空手势为有效的隔空手势。
在本实施例中,仍然以获取到的操作手的隔空手势为“拳头”为例。假定预设的第一周期为0.5s,当系统获取到隔空手势“拳头”开始,以0.5s为周期对所述隔空手势进行持续检测。对于每个0.5s,系统均会识别到5帧的当前手势,并记录每一帧当前手势的手型信息,假定预设阈值设置为0.6。
以开始检测的时间为0s为例,基于预设的第一周期0.5s进行持续检测,系统在第一个所述第一周期内会检测0s至0.5s的手势,即为1至5帧的手势,并依次记录第一个周期内的每一帧的当前手势的手型信息为:“大拇哥”、“巴掌”、“巴掌”、“大拇哥”、“巴掌”。第一个所述第一周期内的当前手势中,没有任何一个当前手势为目标手势,因此第一个所述第一周期的手势不符合所述第一预设条件,因此继续对隔空手势进行检测。
系统在第二个所述第一周期内会检测并记录2至6帧的手型,并依次记录第二个第一周期内的每一帧的当前手势的手型信息为:“巴掌”、“巴掌”、“大拇哥”、“巴掌”、“拳头”。第二个所述第一周期内的当前手势中,有1个当前手势为目标手势,但是当前手势为目标手势的占比为0.2,小于预设阈值0.6,不符合第一预设条件,所以还需继续对隔空手势进行检测。
持续记录并检测,直至系统在第N个所述第一周期内检测,并依次记录第N个第一周期内的每一帧的当前手势的手型信息为:“拳头”、“拳头”、“拳头”、“巴掌”、“拳头”。第N个所述第一周期内的当前手势中,有4个当前手势为目标手势,当前手势为目标手势的占比为0.8,大于预设阈值0.6,符合第一预设条件。因此,第N个所述第一周期的手势符合第一预设条件,则判定获取的隔空手势为有效的隔空手势。判定隔空手势为有效的隔空手势之后,可以停止检测,执行与有效的隔空手势对应的相关操作,也可以继续检测其他项目。
对于相关的隔空手势识别的方法及系统来说,对于预设的第一周期内的隔空手势的判定通常以第一周期内的最后一帧的当前手势的类型为判定的结果。仅判定最后一帧可能会使得系统忽略中间过程中的丢帧或者其他情况,导致系统的丢帧现象得不到重视或者处理,同时由于最后一帧可能会出现识别错误的情况,导致这类的手势识别方法出现误检的几率很高。例如,记录的某个第一周期内的当前手势为“巴掌”、“拳头”、“拳头”、“拳头”、“巴掌”,那么相关的隔空手势识别系统会依据最后一帧判定第一周期内的隔空手势为“巴掌”,但是根据这5帧的手势情况,显然第一周期的隔空手势为“拳头”,因此相关的隔空手势识别方法就会出现误检的情况。但是依据本申请所述的手势识别方法,则判定第一周期内的隔空手势为“拳头”,手势识别准确。
使用本申请所述的隔空手势的识别方法,在隔空手势识别系统进行隔空手势识别时,可依据第一预设条件对隔空手势进行判定,确定隔空手势是否有效,既可以避免隔空手势识别系统出现误检、丢帧等问题,又可以避免因隔空手势无效而造成手势识别出错,触发错误指令等问题出现,提高识别的隔空手势的有效性和准确性,降低手势识别的出错率。
在一些实施例中,所述第一预设条件还包括:起始帧或所述第一周期之前的连续第一预设数量帧中至少一帧的手势为所述目标手势;和/或,所有帧中,不存在连续的大于等于预设帧数的当前手势不是所述目标手势;和/或,结束帧的手势为所述目标手势或者结束帧之前的连续第二预设数量帧的手势均为所述目标手势。
具体的,所述第一预设条件除了包括上述实施例所述的所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值(以下简称“条件1”),还包括:起始帧或所述第一周期之前的连续第一预设数量帧中至少一帧的所述当前手势为所述目标手势(以下简称“条件2”);和/或,所有帧中不存在连续的大于等于预设值的帧数的所述当前手势不是所述目标手势(以下简称“条件3”);和/或,结束帧的所述当前手势为所述目标手势或者结束帧之前的连续第二预设数量帧的所述当前手势均为所述目标手势(以下简称“条件4”)。其中,所述第一预设数量帧和第二预设数量帧依据实际需要进行设定,所述第一预设数量帧和第二预设数量帧可以相同也可以不同。本实施例中,所述第一预设数量帧和第二预设数量帧均为两帧。
所述第一周期内的隔空手势可以同时满足所述条件1、条件2、条件3和条件4,也可以满足部分条件,当所述第一周期的隔空手势同时满足上述4个条件时,检测的准确率相对较高,检测的结果更为准确。但是实际检测时,所述第一周期内的隔空手势具体需要满足哪几个条件,依据实际需要决定,在此不做限定。
其中,所述条件2的设置,使得本识别方法可以更好更快的识别获取的所述隔空手势是否进入了有效手势的阶段。如果所述第一周期内的起始帧的当前手势不是目标手势,并且所述第一周期之前的连续两帧的当前手势都不是目标手势,证明获取的隔空手势在本第一周期内还没有成为正确的目标手势,还没有进入有效目标手势的阶段。
例如,获取的手势为“拳头”,对应的目标手势也为“拳头”。持续检测过程中,某个第一周期的起始帧的当前手势为“巴掌”,并且所述第一周期之前的连续两帧的当前手势分别为“巴掌”和“大拇哥”,那么证明这个第一周期不符合预设的条件2,还需继续进行检测。继续检测过程中,某个第一周期的起始帧的当前手势为“拳头”,那么证明这个第一周期符合预设的条件2;或者某个第一周期之前的连续两帧当前手势分别为“巴掌”和“拳头”,那么这两帧中有一帧为“拳头”,则这个第一周期符合预设的条件2。
其中,所述条件3的设置,使得本识别方法可以充分考虑到中间帧的情况,避免获取的隔空手势在中间过程中发生变化,最终影响手势的有效性。充分考虑中间帧的情况,还可以极大的避免丢帧对检测结果带来的影响,提高检测的准确率。当所有帧中存在连续的大于等于预设值的帧数的所述当前手势不是所述目标手势,证明获取的手势已经发生了变化,那么还需要对隔空手势进行继续检测。所述预设值依据经验值来设定。
例如,获取的手势为“拳头”,对应的目标手势也为“拳头”,所述预设值设为2。持续检测过程中,某个第一周期的5帧的当前手势依次为:“拳头”、“巴掌”、“巴掌”、“巴掌”、“拳头”,由于这个第一周期内的5帧中有连续3帧的当前手势为“巴掌”,并不是对应的目标手势“拳头”,则这个第一周期不符合条件3,需要持续进行检测;继续检测过程中,某个第一周期的5帧的当前手势依次为:“拳头”、“巴掌”、“拳头”、“巴掌”、“拳头”,由于这个第一周期内的5帧中没有连续帧的当前手势不是“拳头”,那么这个第一周期符合条件3。
其中,所述条件4的设置,可以降低结束帧检测错误对整个检测结果带来的影响。如上文所述,结束帧可能会检测错误,但是本方法不仅考虑结束帧的检测结果,还同时考虑了结束帧之前的连续两帧的检测结果,相当于综合考虑了最后3帧的检测结果后才得到最终的检测结果,提高了检测的准确性和可靠性。
例如,获取的手势为“拳头”,对应的目标手势也为“拳头”。持续检测过程中,某个第一周期内的5帧的当前手势依次为:“拳头”、“拳头”、“巴掌”、“巴掌”、“巴掌”,由于这个第一周期的结束帧为“巴掌”,不是目标手势“拳头”,并且结束帧之前的两帧的手势均为“巴掌”,不是目标手势“拳头”,那么这个第一周期不符合条件4,需要继续进行检测;继续检测过程中,某个第一周期内的5帧的当前手势依次为:“拳头”、“巴掌”、“拳头”、“拳头”、“巴掌”,由于这个第一周期的结束帧为“巴掌”,不是目标手势“拳头”,但是结束帧之前的两帧的手势均为“拳头”,符合目标手势“拳头”,那么这个第一周期符合条件4。
在实际应用时,使用隔空手势对某一设备进行隔空操作时,该设备已经预先设定了对应的隔空手势类型,因此操作手通过做出对应的有效的隔空手势才能对该设备进行相关操作。如果操作手所做的手势类型与预设的隔空手势类型不一致,或者操作手所做的隔空手势不是有效的,那么设备不会执行相关操作。例如,电视已经预设了“开机”的隔空手势为“有效的静态型手势”,那么操作手必须做出有效的静态型手势才能使电视执行开机的操作;或者车载音箱已经预设了“音量增加十度”的隔空手势为“有效的移动型手势平移10cm”,那么操作手必须做出有效的移动型手势并平移10cm才能使车载音箱执行音量增加十度的操作。因此,如何判断操作手所做的静态型手势是否是有效的静态型手势,或者移动型手势是否是有效的移动型手势,是实际使用时非常重要的一个步骤。以下将详细描述判断有效的静态型手势、有效的变化型手势和有效的移动型手势的过程。
在一些实施例中,当所述隔空手势为静态型手势时,需要继续判定所述静态型手势是否有效。有效的静态型手势为保持手的形状不变,静止一段时间。具体静止的时间长短依据经验值设定,但是要大于所述预设的第一周期。
在本实施例中,有效的静态型手势为保持有效的隔空手势形状不变,静止至少一个预设的第二周期,其中,所述第二周期的时长大于所述第一周期。
因此,参考图2,当所述隔空手势为静态型手势时,需要继续判定所述静态型手势是否有效,需执行如下操作:
步骤S201、基于预设的第二周期,对所述隔空手势按照时间顺序进行持续周期性检测并记录每一所述第二周期内的每一帧的当前手势;其中,所述第二周期的时长大于所述第一周期。
具体的,以预设的第二周期为滚动单元,按照时间顺序对所述隔空手势进行持续滚动检测并记录,检测过程随着时间顺序持续进行。具体滚动检测和记录的过程与前文所述的以预设的第一周期为滚动单元进行持续检测类似,在此不做赘述。
同样,与第一周期类似,以预设的第二周期为滚动单元,按照时间顺序对所述隔空手势进行持续周期性检测包括两种方式:第一种方式,以预设的第二周期为滚动单元,并以帧为基础单元进行周期性持续迭代;第二种方式,以第二周期为滚动单元,并以第二周期为基础单元进行持续周期性检测。实际检测过程中,根据实际需要决定具体采用哪种方式进行持续检测,在此不做限定。
所述预设的第二周期为在初始阶段已经预设好的与有效的静态型手势对应的一个时间周期,通常根据经验值来设定。
步骤S202、响应于确定一所述第二周期内每个所述第一周期的隔空手势均符合所述第一预设条件,判定所述隔空手势为有效静态型手势;
具体的,在以第二周期为滚动单元持续检测的过程中,判定第二周期内的每个第一周期内的隔空手势是否符合所述第一预设条件,如果某个第二周期内的每个第一周期内的隔空手势均符合所述第一预设条件,那么判定所述隔空手势为有效静态型手势,可执行与所述有效的静态手势相关的后续操作。
在本实施例中,以获取到的操作手的隔空手势为静态型的“拳头”为例,与静态型的“拳头”对应的有效的静态型手势为:保持有效的“拳头”不变并静置至少一个所述第二周期,假定所述预设的第二周期为1s,预设的第一周期为0.5s。
当系统获取到隔空手势“拳头”开始,以1s为周期对所述隔空手势进行持续检测。对于每个1s,系统均会识别到10帧的当前手势,并记录每一帧当前手势的手型信息。对于每个0.5s,系统均会识别5帧的当前手势,并记录每一帧当前手势的手型信息。
以开始检测的时间为0s为例,基于预设的第二周期1s进行持续检测,系统在第一个所述第二周期内会检测0s至1s的手型,即记录1至10帧的当前手势,并依次记录第一个第二周期内的每一帧的当前手势的手型信息为:“拳头”、“巴掌”、“拳头”、“大拇哥”、“拳头”、“巴掌”、“拳头”、“拳头”、“巴掌”、“拳头”。
在第一个第二周期内,第一个第一周期的检测时间为0s至0.5s,即记录1至5帧的当前手势,依次为“拳头”、“巴掌”、“拳头”、“大拇哥”、“拳头”;所述第二周期内的第二个第一周期记录的是2至6帧的当前手势,依次为“巴掌”、“拳头”、“大拇哥”、“拳头”、“巴掌”;所述第二周期内的第三个第一周期记录的是3至7帧的当前手势,依次为“拳头”、“大拇哥”、“拳头”、“巴掌”、“拳头”;所述第二周期内的第四个第一周期记录的是4至8帧的当前手势,依次为“大拇哥”、“拳头”、“巴掌”、“拳头”;所述第二周期内的第五个第一周期记录的是5至9帧的当前手势,依次为“拳头”、“巴掌”、“拳头”、“拳头”、“巴掌”;所述第二周期内的第六个第一周期记录的是6至10帧的当前手势,依次为“巴掌”、“拳头”、“拳头”、“巴掌”、“拳头”。
依据前文所述的方法,依次判断上述六个第一周期的隔空手势是否符合所述第一预设条件。
如果所述第一个第二周期内的上述六个第一周期的隔空手势均同时符合所述第一预设条件,那么判定所述隔空手势为有效的静态手势;如果所述第一个第二周期内的上述六个第一周期的隔空手势有一个不符合所述第一预设条件,那么还需继续对所述隔空手势进行检测。继续检测时,系统在第二个所述第二周期内会检测2至11帧的手势,然后继续在第二个第二周期内检测每个第一周期的是否均符合所述第一预设条件,如果不满足,则继续进行检测;如果满足,则停止检测,或执行相关操作。
本实施例采用的是以第二周期为滚动单元,以帧为基础单元进行周期性持续迭代的过程,对第二周期内的每个第一周期进行检测均是以帧为基础单元进行周期性持续迭代。需要说明的是,在其他的一些实施例中,还可以第二周期为基础时间单元进行持续检测,对第二周期内的每个第一周期进行检测均是以第一周期为基础时间单元进行持续周期性检测。
本申请所述的识别方法,不仅可以依据预设条件对隔空手势进行判定,确定隔空手势是否有效,并且还可依据隔空手势的类型来判定其是否为对应的有效手势类型。通过条件判定隔空手势的有效性,既可以避免隔空手势识别系统出现误检、丢帧等问题,又可以避免因隔空手势无效而造成手势识别出错,触发错误指令等问题出现,提高隔空手势识别的有效性和准确性,降低手势识别的出错率。
在一些实施例中,当所述隔空手势为变化型手势时,需要继续判定所述变化型手势是否有效。有效的变化型手势为在预设时间内,由开始手势变化为结束手势而形成的变化手势。具体的预设时间长短依据经验值设定,但是要大于所述预设的第一周期。
在本实施例中,有效的变化型手势为在预设的第三周期内,由有效的“巴掌”(预设开始手势)变化为有效的“拳头”(预设结束手势)而形成的移动手势。所述第三周期为预设的与变化型手势对应的一个时间周期,所述第三周期依据时间顺序包括:前序时段和结束时段;其中,所述前序时段包括开始时段和中间时段。预设第三周期时,也已经预设了所述开始时段、中间时段和结束时段的时长。
参考图3,当所述隔空手势为变化型手势时,需要继续判定所述变化型手势是否有效,需执行如下操作:
步骤S301、基于预设的第三周期,对所述隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第三周期的结束时段内每一帧的当前手势。
步骤S302、响应于确定一所述第三周期的所述结束时段符合预设结束条件,基于预设的检测周期,在该第三周期的所述前序时段内按照时间倒序进行持续周期性检测,并记录每一所述检测周期内每一帧的当前手势。
步骤S303、响应于记录的一所述检测周期符合预设开始条件,且该检测周期与所述结束时段之间的时长符合预设时长,则确定所述隔空手势为有效变化型手势。
其中,所述预设结束条件为:所述结束时段内的每个所述第一周期的隔空手势均符合所述第一预设条件;所述结束时段内的所述目标手势为预设的结束手势。
其中,所述预设开始条件为:所述检测周期内的每个所述第一周期的隔空手势均符合所述第一预设条件;所述检测周期内的所述目标手势为预设的开始手势。
具体的,以预设的第三周期为滚动单元,按照时间顺序对所述隔空手势进行持续滚动检测并记录,检测过程随着时间顺序持续进行。与第一周期类似,以预设的第三周期为滚动单元,按照时间顺序对所述隔空手势进行持续周期性检测包括两种方式:第一种方式,以预设的第三周期为滚动单元,并以帧为基础单元进行周期性持续迭代;第二种方式,以第三周期为滚动单元,并以第三周期为基础单元进行持续周期性检测。实际检测过程中,根据实际需要决定具体采用哪种方式进行持续检测,在此不做限定。
其中,在以第三周期为滚动单元持续检测的过程中,判定第三周期的结束时段内的每个第一周期内的隔空手势是否符合所述第一预设条件,如果某个第三周期的结束时段内的每个第一周期内的隔空手势均符合所述第一预设条件,那么执行下一步骤S302;如果某个第三周期的结束时段内的至少一个第一周期内的隔空手势不符合所述第一预设条件,那么需要重复进行步骤S301,直至检测到结束时段符合预设结束条件的第三周期,则进入步骤S302。
当某一所述第三周期的所述结束时段符合预设结束条件时,则确定该结束时段为所述变化型手势的有效结束时段。当有效结束时段确定之后,需要确定所述变化型手势的有效开始时段。所述有效开始时段的时长与所述预设的第三周期的开始时段的时长相同,但是有效开始时段的位置不确定,因此需要按照步骤S302和S303判断有效开始时段的位置。
具体的,待有效结束时段检测完成之后,在所述前序时段内,按照时间倒序,以所述检测周期为滚动单元,持续检测并记录多个检测周期内的手势。并继续检测每个检测周期内的每个第一周期的手势是否符合第一预设条件,如果某个检测周期内的每个第一周期的手势均符合第一预设条件,那么停止按照时间倒序的检测,确定该检测周期为变化型手势的有效开始时段;如果某个检测周期内有一个第一周期的隔空手势不符合所述第一预设条件,那么需要重复进行这一步骤,直至检测到符合预设开始条件的检测周期,确定这个检测周期即为该第三周期的有效开始时段,此时有效开始时段的位置确定。继续判断所述有效开始时段与所述有效结束时段之间的时长是否符合预设时长。
其中,所述检测周期的时长与所述预设的第三周期的开始时段的时长相同,基于检测周期在所述前序时段内按照时间倒序进行持续周期性检测,可以最终确定符合预设开始条件的检测周期,即为有效开始时段。
当按照顺序依次确定有效结束时段和有效开始时段后,计算所述有效开始时段与所述有效结束时段之间的过渡时段的时长(以下简称过渡时长)。过渡时长符合预设时长即为过渡时长小于等于预设时长,所述预设时长即为预设的中间时段的时长。
当所述过渡时长小于等于所述预设时长时,则判定所述所述隔空手势为有效变化型手势;当所述过渡时长大于所述预设时长时,则判定过渡时长无效,从步骤S301开始重新检测。
在本实施例中,以获取到的隔空手势为“巴掌”变化为“拳头”的移动型手势为例,对应的有效的移动型手势为在预设的第三周期内,由有效的“巴掌”变化为有效的“拳头”。假定预设的第三周期为4s,开始时段(即检测周期)为1s,中间时段为2s,结束时段为1s,预设的第一周期为0.5s。
当系统获取到隔空手势“巴掌”开始,以4s为周期对所述隔空手势进行持续检测。对于每个4s,系统均会识别到40帧的当前手势,并记录每一帧当前手势的手型信息,对于每个0.5s,系统均会识别到5帧的当前手势。
以开始检测的时间为0s为例,基于预设的第三周期4s进行持续检测,系统在第一个所述第四周期内会检测0s至4s的手型,共记录1至40帧的当前手势。
在第一个所述第三周期内,检测所述第三周期的结束时段内的每个第一周期的隔空手势,即,在检测到的0s至4s内,判定这个4s内的结束时段即3s至4s内的每个0.5s(即每个第一周期)的隔空手势,并判定每个0.5s内的隔空手势是否符合第一预设条件。持续检测,直至检测到结束时段符合条件的第三周期,则进入下一步骤。
假定检测到第一个第三周期(即0s至4s)的结束时段符合预设结束条件,则以第一个第三周期的结束时段(3s至4s,记录的是31至40帧的当前手势)开始,在前序时段内,以检测周期(1s)为滚动单元,按照时间倒序进行检测。
第一个检测周期为3s至2s(记录的是30至21帧的当前手势),然后在第一个检测周期内,按照时间倒序检测第一个检测周期3s-2s内的每个第一周期(0.5s,5帧)是否符合第一预设条件,如果符合则确定这个检测周期有效,进入下一步骤。如果不符合,则继续检测直至检测到符合条件的检测周期,则进入下一步骤。
其中,按照时间倒序检测第一个检测周期3s-2s(记录的是30至21帧的当前手势)内的每个第一周期(0.5s,5帧)的过程如下:
第一个第一周期内检测并记录的是30至26帧的当前手势;第二个第一周期内检测并记录的是29至25帧的当前手势;第三个第一周期内检测并记录的是28至24帧的当前手势;第四个第一周期内检测并记录的是27至23帧的当前手势;第五个第一周期内检测并记录的是26至22帧的当前手势;第六个第一周期内检测并记录的是25至21帧的当前手势。
只有所述第一个检测周期内的上述六个第一周期的当前手势均符合所述第一预设条件时,所述第一个检测周期才符合预设开始条件,才能进行下一步骤。
假定第N个检测周期2s-1s符合预设开始条件,则计算中间时段。检测周期为1s-2s,结束时段为3s-4s,那么中间时段为2s-3s,即中间时段为1s,小于预设中间时段2s,则中间时段符合预设中间条件,判定所述隔空手势为有效的移动型手势。
本实施例采用的是以第三周期为滚动单元,以帧为基础单元进行周期性持续迭代的过程,对第三周期内的每个第一周期进行检测均是以帧为基础单元进行周期性持续迭代。需要说明的是,在其他的一些实施例中,还可以第三周期为基础时间单元进行持续检测,对第三周期内的每个第一周期进行检测均是以第一周期为基础时间单元进行持续周期性检测。
相关的移动型手势的识别方法中,通常都是先检测开始时段,判定开始时段有效后,再继续检测预设中间时段,判定预设中间时段有效后,再继续检测结束时段。但是实际操作时,在开始时段内操作手的手势更为标准,更容易检测,但是在结束时段内,操作手可能会由于时间或者人为因素导致手势不标准,较难检测,因此,在移动型手势的检测过程中,常常出现在开始时段内检测到了目标开始手势,继续检测很长时间后依然无法检测到结束时段的目标结束手势,导致持续检测的时间过长,检测的效率低下。但是使用本申请所述的识别方法,先对较难检测的结束时段的手势进行检测,检测到符合条件的目标结束手势之后,再对较为容易检测的目标开始时段的手势进行检测,避免浪费太多的检测时间,提高检测效率及检测的准确率。并且,本识别方法对中间时段的手势不做要求,简化了检测的过程,节约了时间成本。
在一些实施例中,当所述隔空手势为移动型手势时,在所述判定所述隔空手势为有效的隔空手势之后,继续检测,至所述隔空手势达到预设终止条件;其中,所述预设终止条件包括:所述隔空手势的移动量达到预设移动值和/或一所述第一周期的隔空手势不符合所述第一预设条件。
具体的,有效的移动型手势为保持手的形状不变进行诸如旋转、平移等动作,持续一段时间。
所述移动量包括移动距离和/或转动角度。所述预设移动值包括预设的移动距离和/或预设的转动角度。当隔空手势的移动距离达到了预设的移动距离、和/或转动角度达到了预设的转动角度,则可以停止继续检测。例如,预设移动型手势的移动距离为10cm时可以使车载设备的音量增加十度,那么当操作手的移动型手势的移动距离达到预设的10cm时,达到预设终止条件,可以执行后续相关操作。
当所述隔空手势为移动型手势时,在检测过程中,需要记录的当前手势包括所述手型信息、位置信息和姿态信息。在持续检测的过程中,当所述隔空手势的移动量达到预设移动值和/或某个第一周期的隔空手势不再符合第一预设条件时,判定所述移动型手势停止。然后,依据记录的每一帧的位置信息和姿态信息来计算移动型手势的移动路径信息或者旋转角度信息等。依据计算得到的移动路径信息或者旋转角度信息等执行后续相关操作,例如,依据计算得到的路径移动信息为平移10cm,相应的调节隔空手势控制的车载设备的音量增加十度。
本申请提供的隔空手势的识别方法,在隔空手势识别系统进行隔空手势识别时,依据预设条件对隔空手势进行判定,确定隔空手势是否有效,并且还可依据隔空手势的类型来判定其是否为对应的有效手势类型。通过条件判定隔空手势的有效性,既可以避免隔空手势识别系统出现误检、丢帧等问题,又可以避免因隔空手势无效而造成手势识别出错,触发错误指令等问题出现,提高隔空手势识别的有效性和准确性,降低手势识别的出错率。
在一些实施例中,本申请所述的隔空手势的识别方法,包括:
(1)判定操作者的隔空手势有效的方法
本申请针对隔空手势系统中误检、丢帧现象,结合概率学知识、根据实验分析结果,提出了一种判定隔空手势识别系统中操作者的隔空手势是否有效的策略:必须连续Δt0秒(即上述预设的第一周期,例如0.8秒)为同一个手势,才能确认操作者做的此手势是有效的,具体步骤如下(以拳头手型为例):
a.滚动更新记录Δt0秒内隔空手势识别系统识别到的每一帧中的手势,每帧手势记为P1、P2、P3、……、Pn-1、Pn。所述“P1、P2、P3、……、Pn-1、Pn”为记录的每一帧当前手势的手型信息,例如“P1、P2、P3、……、Pn-1、Pn”可以为“拳头、拳头、巴掌……巴掌、拳头”,也可以为“1、1、1、……1、0”,其中,1或者0为各类手势对应的代号。
b.判断Δt0秒内的手势是否符合下述四个条件:
条件一:第1帧或此段时间之前的连续两帧中至少有一帧为拳头。
条件二:在此n帧中,拳头的帧数与总帧数的比值大于一定的阈值。本实施例中,所述阈值设定为1/2。
条件三:在此n帧中,不存在连续的m帧不是拳头。其中,m值根据系统运行速度进行调整确认。本实施例中,假定Δt0秒内有8帧,m设为2。
条件四:第Pn帧为拳头或第Pn-1、Pn-2两帧都为拳头。
c.若满足以上4个条件,则认为此Δt0秒内操作者的手型为稳定的拳头手型,进而判定操作者所作的隔空手势为有效的手势。
(2)有效静态型手势的判定方法
以保持拳头状态并静止Δt1(即为上述预设的第二周期)为例:
a.滚动更新记录Δt1秒(注:Δt1>Δt0)内隔空手势识别系统识别到的每一帧中的手势,每帧手势记为PA1、PA2、PA3、……、PAk-1、PAk;
b.使用步骤(1)中的方法,在Δt1时间内迭代更新Δt0,并判断每一个Δt0内操作者的手势是否为拳头;
c.若步骤b中每一个Δt0内操作者的手势都判定为拳头,则判定操作者完成了一个有效的静态拳头手势;若有一个或多个Δt0内操作者的手势不是拳头,则判定操作者所做的不是有效的静态型手势。
(3)有效变化型手势的判定方法
有效的变化型手势分为3个阶段:开始时段、中间时段、结束时段。一个有效的完整的变化型手势需满足四个条件:(1)整个有效手势的总时间不大于Δt2秒(即上述预设的第三周期);(2)开始时段不少于Δt2_1秒(即上述预设的开始时段);(3)中间时段不大于Δt2_2秒(即上述预设的中间时段);(4)结束时段不少于Δt2_3秒(即上述预设的结束时段)。
有效移动型手势的具体判定步骤如下(以巴掌变拳头手势为例):
a.滚动更新记录Δt2秒(注:Δt2>Δt0)内隔空手势识别系统识别到的每一帧中的手势,每帧手势记为PA1、PA2、PA3、……、PAj-1、PAj。
b.取Δt2秒内的最后Δt2_3秒为结束时段。使用步骤(1)中的方法,在Δt2_3时间内迭代更新Δt0,并判断每一个Δt0内操作者的手势是否为拳头。若每一个Δt0内操作者的手势都判定为拳头,则判定结束时段有效,否则无效。若结束时段有效则进入步骤c,若无效则返回步骤a。
c.若结束时段有效,则取Δt2秒内最后Δt2_3秒之外的帧反向滚动更新Δt2_1,在Δt2_1时间内迭代更新Δt0,并判断每一个Δt0内操作者的手势是否为巴掌。若遇到一个Δt2_1时间内每个Δt0内操作者的手势都判定为巴掌,则停止反向滚动更新Δt2_1,判定此Δt2_1为有效的开始时段,则进入步骤d。若没有找到有效的开始时段,则返回步骤a。
d.步骤b、c两步确定的Δt2_3、Δt2_1之间的一段时间定为中间时段,记为Δt2_2_1。若Δt2_2_1>Δt2_2或Δt2_1+Δt2_2_1+Δt2_3>Δt2,则判定中间时段无效,返回步骤a。若Δt2_2_1<Δt2_2且Δt2_1+Δt2_2_1+Δt2_3<Δt2,则判定中间时段有效,即整个巴掌变拳头手势为有效的变化型手势。
(4)有效移动型手势的判定方法
本申请中,移动型手势的计算方法、步骤如下(以移动剪刀手手势为例):
a.滚动更新记录Δt0秒内隔空手势识别系统识别到的每一帧中的手势、手的位置坐标信息。
b.使用步骤(1)中相同的方法,判断Δt0内操作者的手势是否为剪刀手。
c.若首次发现Δt0内操作者的手型判定为剪刀手,则判定进入移动剪刀手手势,根据每一帧手的位置坐标信息来计算手的移动距离。若迭代更新时发现Δt0内操作者的手型不再是剪刀手,则判定移动剪刀手手势结束,停止对移动距离的计算。
需要说明的是,本申请实施例的方法可以由单个设备执行,例如一台计算机或服务器等。本实施例的方法也可以应用于分布式场景下,由多台设备相互配合来完成。在这种分布式场景的情况下,这多台设备中的一台设备可以只执行本申请实施例的方法中的某一个或多个步骤,这多台设备相互之间会进行交互以完成所述的方法。
需要说明的是,上述对本申请的一些实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下,在权利要求书中记载的动作或步骤可以按照不同于上述实施例中的顺序来执行并且仍然可以实现期望的结果。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
基于同一发明构思,与上述任意实施例方法相对应的,本申请还提供了一种隔空手势的识别装置。
参考图4,所述隔空手势的识别装置,包括:
检测记录模块401,被配置为基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势;
判定模块402,被配置为响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的目标手势;其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现。
上述实施例的装置用于实现前述任一实施例中相应的隔空手势的识别方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本申请还提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现上任意一实施例所述的隔空手势的识别方法。
图5示出了本实施例所提供的一种更为具体的电子设备硬件结构示意图,该设备可以包括:处理器1010、存储器1020、输入/输出接口1030、通信接口1040和总线1050。其中处理器1010、存储器1020、输入/输出接口1030和通信接口1040通过总线1050实现彼此之间在设备内部的通信连接。
处理器1010可以采用通用的CPU(Central Processing Unit,中央处理器)、微处理器、应用专用集成电路(Application Specific Integrated Circuit,ASIC)、或者一个或多个集成电路等方式实现,用于执行相关程序,以实现本说明书实施例所提供的技术方案。
存储器1020可以采用ROM(Read Only Memory,只读存储器)、RAM(Random AccessMemory,随机存取存储器)、静态存储设备,动态存储设备等形式实现。存储器1020可以存储操作系统和其他应用程序,在通过软件或者固件来实现本说明书实施例所提供的技术方案时,相关的程序代码保存在存储器1020中,并由处理器1010来调用执行。
输入/输出接口1030用于连接输入/输出模块,以实现信息输入及输出。输入输出/模块可以作为组件配置在设备中(图中未示出),也可以外接于设备以提供相应功能。其中输入设备可以包括键盘、鼠标、触摸屏、麦克风、各类传感器等,输出设备可以包括显示器、扬声器、振动器、指示灯等。
通信接口1040用于连接通信模块(图中未示出),以实现本设备与其他设备的通信交互。其中通信模块可以通过有线方式(例如USB、网线等)实现通信,也可以通过无线方式(例如移动网络、WIFI、蓝牙等)实现通信。
总线1050包括一通路,在设备的各个组件(例如处理器1010、存储器1020、输入/输出接口1030和通信接口1040)之间传输信息。
需要说明的是,尽管上述设备仅示出了处理器1010、存储器1020、输入/输出接口1030、通信接口1040以及总线1050,但是在具体实施过程中,该设备还可以包括实现正常运行所必需的其他组件。此外,本领域的技术人员可以理解的是,上述设备中也可以仅包含实现本说明书实施例方案所必需的组件,而不必包含图中所示的全部组件。
上述实施例的电子设备用于实现前述任一实施例中相应的隔空手势的识别方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
基于同一发明构思,与上述任意实施例方法相对应的,本申请还提供了一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,所述计算机指令用于使所述计算机执行如上任一实施例所述的隔空手势的识别方法。
本实施例的计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
上述实施例的存储介质存储的计算机指令用于使所述计算机执行如上任一实施例所述的隔空手势的识别方法,并且具有相应的方法实施例的有益效果,在此不再赘述。
所属领域的普通技术人员应当理解:以上任何实施例的讨论仅为示例性的,并非旨在暗示本申请的范围(包括权利要求)被限于这些例子;在本申请的思路下,以上实施例或者不同实施例中的技术特征之间也可以进行组合,步骤可以以任意顺序实现,并存在如上所述的本申请实施例的不同方面的许多其它变化,为了简明它们没有在细节中提供。
另外,为简化说明和讨论,并且为了不会使本申请实施例难以理解,在所提供的附图中可以示出或可以不示出与集成电路(IC)芯片和其它部件的公知的电源/接地连接。此外,可以以框图的形式示出装置,以便避免使本申请实施例难以理解,并且这也考虑了以下事实,即关于这些框图装置的实施方式的细节是高度取决于将要实施本申请实施例的平台的(即,这些细节应当完全处于本领域技术人员的理解范围内)。在阐述了具体细节(例如,电路)以描述本申请的示例性实施例的情况下,对本领域技术人员来说显而易见的是,可以在没有这些具体细节的情况下或者这些具体细节有变化的情况下实施本申请实施例。因此,这些描述应被认为是说明性的而不是限制性的。
尽管已经结合了本申请的具体实施例对本申请进行了描述,但是根据前面的描述,这些实施例的很多替换、修改和变型对本领域普通技术人员来说将是显而易见的。例如,其它存储器架构(例如,动态RAM(DRAM))可以使用所讨论的实施例。
本申请实施例旨在涵盖落入所附权利要求的宽泛范围之内的所有这样的替换、修改和变型。因此,凡在本申请实施例的精神和原则之内,所做的任何省略、修改、等同替换、改进等,均应包含在本申请的保护范围之内。
Claims (10)
1.一种隔空手势的识别方法,其特征在于,包括:
基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势;
响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的隔空手势;
其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
2.根据权利要求1所述的识别方法,其特征在于,所述第一预设条件还包括:
起始帧或所述第一周期之前的连续第一预设数量帧中至少一帧的所述当前手势为所述目标手势;
和/或
所有帧中,不存在连续的大于等于预设帧数的所述当前手势不是所述目标手势;
和/或
结束帧的所述当前手势为所述目标手势或者结束帧之前的连续第二预设数量帧的所述当前手势均为所述目标手势。
3.根据权利要求1或2所述的识别方法,其特征在于,所述隔空手势包括静态型手势、变化型手势或移动型手势。
4.根据权利要求3所述的识别方法,其特征在于,
基于预设的第二周期,对所述隔空手势按照时间顺序进行持续周期性检测并记录每一所述第二周期内的每一帧的当前手势;其中,所述第二周期的时长大于所述第一周期;
响应于确定一所述第二周期内每个所述第一周期的隔空手势均符合所述第一预设条件,判定所述隔空手势为有效静态型手势。
5.根据权利要求3所述的识别方法,其特征在于,
基于预设的第三周期,对所述隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第三周期的结束时段内每一帧的当前手势;其中,所述预设的第三周期依据时间顺序包括:前序时段和所述结束时段;
响应于确定一所述第三周期的所述结束时段符合预设结束条件,基于预设的检测周期,在该第三周期的所述前序时段内按照时间倒序进行持续周期性检测,并记录每一所述检测周期内每一帧的当前手势;
响应于记录的一所述检测周期符合预设开始条件,且该检测周期与所述结束时段之间的时长符合预设时长,则确定所述隔空手势为有效变化型手势;
其中,所述预设结束条件为:所述结束时段内的每个所述第一周期的隔空手势均符合所述第一预设条件;所述结束时段内的所述目标手势为预设的结束手势;
所述预设开始条件为:所述检测周期内的每个所述第一周期的隔空手势均符合所述第一预设条件;所述检测周期内的所述目标手势为预设的开始手势。
6.根据权利要求3所述的识别方法,其特征在于,
在所述判定所述隔空手势为有效的隔空手势之后,继续检测,至所述隔空手势达到预设终止条件;
其中,所述预设终止条件包括:所述隔空手势的移动量达到预设移动值和/或一所述第一周期的隔空手势不符合所述第一预设条件。
7.根据权利要求6所述的识别方法,其特征在于,所述移动量包括移动距离和/或转动角度。
8.一种隔空手势的识别装置,其特征在于,包括:
检测记录模块,被配置为基于预设的第一周期,对隔空手势按照时间顺序进行持续周期性检测,并记录每一所述第一周期内的每一帧的当前手势;
判定模块,被配置为响应于确定一所述第一周期的所述隔空手势符合第一预设条件,判定所述隔空手势为有效的目标手势;其中,所述第一预设条件包括:所有帧中所述当前手势为所述目标手势的帧数的占比符合预设阈值。
9.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任意一项所述的方法。
10.一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质存储计算机指令,其特征在于,所述计算机指令用于使计算机执行权利要求1至7任一所述方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111616232.6A CN114546106A (zh) | 2021-12-27 | 2021-12-27 | 一种隔空手势的识别方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111616232.6A CN114546106A (zh) | 2021-12-27 | 2021-12-27 | 一种隔空手势的识别方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114546106A true CN114546106A (zh) | 2022-05-27 |
Family
ID=81669181
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111616232.6A Pending CN114546106A (zh) | 2021-12-27 | 2021-12-27 | 一种隔空手势的识别方法、装置、电子设备和存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114546106A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598022A (zh) * | 2014-12-17 | 2015-05-06 | 广东欧珀移动通信有限公司 | 一种解锁方法及终端 |
CN108960163A (zh) * | 2018-07-10 | 2018-12-07 | 亮风台(上海)信息科技有限公司 | 手势识别方法、装置、设备和存储介质 |
CN110163055A (zh) * | 2018-08-10 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 手势识别方法、装置和计算机设备 |
CN110458095A (zh) * | 2019-08-09 | 2019-11-15 | 厦门瑞为信息技术有限公司 | 一种有效手势的识别方法、控制方法、装置和电子设备 |
CN110637282A (zh) * | 2017-12-28 | 2019-12-31 | 华为技术有限公司 | 一种触控方法及终端 |
CN111597969A (zh) * | 2020-05-14 | 2020-08-28 | 新疆爱华盈通信息技术有限公司 | 基于手势识别的电梯控制方法及系统 |
CN112232217A (zh) * | 2020-10-16 | 2021-01-15 | 怀化新大地电脑有限公司 | 手势识别系统 |
US20210303069A1 (en) * | 2020-03-31 | 2021-09-30 | Apple Inc. | Skin-to-skin contact detection |
-
2021
- 2021-12-27 CN CN202111616232.6A patent/CN114546106A/zh active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104598022A (zh) * | 2014-12-17 | 2015-05-06 | 广东欧珀移动通信有限公司 | 一种解锁方法及终端 |
CN110637282A (zh) * | 2017-12-28 | 2019-12-31 | 华为技术有限公司 | 一种触控方法及终端 |
US20200341611A1 (en) * | 2017-12-28 | 2020-10-29 | Huawei Technologies Co., Ltd. | Touch method and terminal |
CN108960163A (zh) * | 2018-07-10 | 2018-12-07 | 亮风台(上海)信息科技有限公司 | 手势识别方法、装置、设备和存储介质 |
CN110163055A (zh) * | 2018-08-10 | 2019-08-23 | 腾讯科技(深圳)有限公司 | 手势识别方法、装置和计算机设备 |
CN110458095A (zh) * | 2019-08-09 | 2019-11-15 | 厦门瑞为信息技术有限公司 | 一种有效手势的识别方法、控制方法、装置和电子设备 |
US20210303069A1 (en) * | 2020-03-31 | 2021-09-30 | Apple Inc. | Skin-to-skin contact detection |
CN111597969A (zh) * | 2020-05-14 | 2020-08-28 | 新疆爱华盈通信息技术有限公司 | 基于手势识别的电梯控制方法及系统 |
CN112232217A (zh) * | 2020-10-16 | 2021-01-15 | 怀化新大地电脑有限公司 | 手势识别系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI569171B (zh) | 手勢辨識 | |
US8786547B2 (en) | Effects of gravity on gestures | |
CN109716361B (zh) | 执行触摸运动预测的深度机器学习 | |
US20130211843A1 (en) | Engagement-dependent gesture recognition | |
US9753545B2 (en) | Input device, input method, and storage medium | |
US9746929B2 (en) | Gesture recognition using gesture elements | |
US20140362002A1 (en) | Display control device, display control method, and computer program product | |
CN110102044B (zh) | 基于智能手环的游戏控制方法、智能手环及存储介质 | |
CN108537175B (zh) | 基于姿态传感的肢体语言语义识别方法、装置及存储介质 | |
CN111459303A (zh) | 一种鼠标控制终端屏幕的方法、装置、鼠标及存储介质 | |
WO2021238866A1 (zh) | 一种应用程序的显示方法、终端和计算机可读存储介质 | |
CN111168688A (zh) | 一种机器人动作的回放方法及装置 | |
CN114360047A (zh) | 举手手势识别方法、装置、电子设备及存储介质 | |
US9927917B2 (en) | Model-based touch event location adjustment | |
CN110069126B (zh) | 虚拟对象的控制方法和装置 | |
CN106547339B (zh) | 计算机设备的控制方法和装置 | |
CN114546106A (zh) | 一种隔空手势的识别方法、装置、电子设备和存储介质 | |
CN114510142B (zh) | 基于二维图像的手势识别方法及其系统和电子设备 | |
CN109189285A (zh) | 操作界面控制方法及装置、存储介质、电子设备 | |
CN110908568A (zh) | 一种虚拟对象的控制方法和装置 | |
CN115291786A (zh) | 一种基于机器学习的误触判断方法、装置和存储介质 | |
US20120293432A1 (en) | Method for touch device to transmit coordinates, method for touch device to transmit displacement vector and computer-readable medium | |
CN104951211A (zh) | 一种信息处理方法和电子设备 | |
CN113706606A (zh) | 确定隔空手势位置坐标的方法及装置 | |
KR101611709B1 (ko) | 핸드 마우스 인식 영역 표시, 그리고 핸드 마우스 및 모니터 유저 인터페이스 간의 매핑을 위한 멀티-모달 시스템 및 그 제어 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |