CN108596079B - 手势识别方法、装置及电子设备 - Google Patents

手势识别方法、装置及电子设备 Download PDF

Info

Publication number
CN108596079B
CN108596079B CN201810361796.1A CN201810361796A CN108596079B CN 108596079 B CN108596079 B CN 108596079B CN 201810361796 A CN201810361796 A CN 201810361796A CN 108596079 B CN108596079 B CN 108596079B
Authority
CN
China
Prior art keywords
gesture
image
recognized
template image
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810361796.1A
Other languages
English (en)
Other versions
CN108596079A (zh
Inventor
崔会会
姜滨
迟小羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Techology Co Ltd
Original Assignee
Goertek Optical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Optical Technology Co Ltd filed Critical Goertek Optical Technology Co Ltd
Priority to CN201810361796.1A priority Critical patent/CN108596079B/zh
Publication of CN108596079A publication Critical patent/CN108596079A/zh
Application granted granted Critical
Publication of CN108596079B publication Critical patent/CN108596079B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种手势识别方法、装置及电子设备,该方法包括:获取待识别手势图像。确定获取到的待识别手势图像与第一手势模板图像组中包含的各手势模板图像之间的相似度。其中,识别设备中预先设置有多组手势模板图像组,多组手势模板图像组中的任一组都可以是第一手势模板图像组,并且第一手势模板图像组中包含的有多张第一手势的手势模板图像,但每张手势模板图像的样式不同。识别设备根据确定出的相似度确定待识别手势图像对应的手势。本发明提供的方法,在对一张待识别手势图像进行识别的过程中需要使用多张手势相同但手势样式不同的手势模板图像对待识别手势图像进行识别。通过多张手势模板图像的使用可以大大提高手势识别的准确度。

Description

手势识别方法、装置及电子设备
技术领域
本发明涉及计算机技术领域,尤其涉及一种手势识别方法、装置及电子设备。
背景技术
近年来,手势识别成为计算机科学中的一个研究热点。通过手势识别,用户可以在不直接接触设备的情况下,通过产生的手势来控制电子设备。在实际应用中,手势识别已经被广泛应用于虚拟现实场景中。例如,虚拟现实场景中存在一个虚拟茶杯,通过对用户产生的拿起茶杯的手势进行识别,虚拟现实场景中的茶杯会呈现出被拿起的状态。
手势识别的过程通常分为4个阶段:图像预处理、手势分割、手势特征提取以及手势匹配,其中,手势匹配是手势识别中的关键阶段。现有技术中,通常是使用一组手势模板对待识别手势进行识别,手势识别过程中误判的几率较大,识别准确度不高。
发明内容
有鉴于此,本发明实施例提供一种手势识别方法、装置及电子设备,用以提高手势识别的准确度。
本发明实施例提供一种手势识别方法,包括:
获取待识别手势图像;
确定所述待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,其中,所述第一手势模板图像组中各手势模板图像对应于第一手势的不同样式,所述第一手势模板图像组为预设的多个手势模板图像组中的任一个;
根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
可选地,所述根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则确定所述待识别手势图像对应的手势为所述第一手势。
可选地,所述方法还包括:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在任一相似度小于第二相似度阈值,则确定所述待识别手势图像对应的手势不是所述第一手势;
确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度,其中,所述第一相似度阈值大于所述第二相似度阈值;
根据所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
可选地,所述根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在小于所述第一相似度阈值且大于或等于第二相似度阈值的相似度,则从所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中选择出第一最小相似度,其中,所述第一相似度阈值大于所述第二相似度阈值;
确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度;
结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
可选地,所述结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度中存在小于所述第一相似度阈值且大于或等于所述第二相似度阈值的相似度,则从所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度中选择出第二最小相似度;
若所述第二手势模板图像组为所述多个手势模板图像组中的最后一个手势模板图像组,则根据所述第一最小相似度和所述第二最小相似度的大小,确定所述待识别手势图像对应的手势。
可选地,所述结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则确定所述待识别手势图像对应的手势为所述第二手势。
本发明实施例提供一种手势识别装置,包括:
获取模块,用于获取待识别手势图像;
相似度确定模块,用于确定所述待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,其中,所述第一手势模板图像组中各手势模板图像对应于第一手势的不同样式,所述第一手势模板图像组为预设的多个手势模板图像组中的任一个;
手势确定模块,用于根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
可选地,所述手势确定模块用于:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在任一相似度小于第二相似度阈值,则确定所述待识别手势图像对应的手势不是所述第一手势;
所述相似度确定模块,用于确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度,其中,所述第一相似度阈值大于所述第二相似度阈值;
所述手势确定模块,还用于根据所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
可选地,所述手势确定模块包括:
选择单元,用于若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在小于所述第一相似度阈值且大于或等于第二相似度阈值的相似度,则从所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中选择出第一最小相似度,其中,所述第一相似度阈值大于所述第二相似度阈值;
所述相似度确定模块用于,确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度;
确定单元,用于结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
本发明实施例提供一种电子设备,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以上述手势识别方法中的任意一种方法。
本发明实施例提供的手势识别方法、装置及电子设备,识别设备获取待识别手势图像。接着,确定获取到的待识别手势图像与第一手势模板图像组中包含的各手势模板图像之间的相似度。其中,识别设备中预先设置有多组手势模板图像组,多组手势模板图像组中的任一组都可以是第一手势模板图像组,并且第一手势模板图像组中包含的有多张第一手势的手势模板图像,但每张手势模板图像的样式不同。最终,识别设备根据确定出的相似度确定待识别手势图像对应的手势。本发明提供的手势识别方法,在对一张待识别手势图像进行识别的过程中需要使用一手势模板图像组中包含的多张手势模板图像,也即是需要使用多张手势相同但手势样式不同的手势模板图像对待识别手势图像进行识别。通过多张手势模板图像的使用可以大大提高手势识别的准确度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的手势识别方法实施例一的流程图;
图2为本发明实施例提供的手势识别方法实施例二的流程图;
图3为本发明实施例提供的手势识别方法实施例三的流程图;
图4为本发明实施例提供的手势识别装置实施例一的结构示意图;
图5为本发明实施例提供的手势识别装置实施例二的结构示意图;
图6为本发明实施例提供的电子设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者系统中还存在另外的相同要素。
图1为本发明实施例提供的手势识别方法实施例一的流程图,本实施例提供的该手势识别方法的执行主体可以为识别设备,如图1所示,该方法包括如下步骤:
S101,获取待识别手势图像。
用户摆出待识别手势后,拍摄设备可以对用户摆出的待识别手势进行拍摄。然后,识别设备可以获取到拍摄设备发送的待识别手势图像。其中,可选地,拍摄设备可以集成于识别设备内部,也可以是一个独立于识别设备的电子设备。
S102,确定待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度。
在获取待识别手势图像后,进一步地,识别设备确定获取到的待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度。其中,可选地,待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度可以用待识别手势图像与第一手势模板图像组中各手势模板图像间的最小累积距离或者豪斯多夫(hausdorff)距离来表示,距离越小,表示待识别手势图像与手势模板图像间的相似度越高。可选地,上述提及的最小累积距离通常可以使用动态时间规整(Dynamic Time Warping,简称DTW)算法计算得到。
另外,对于手势模板图像组,识别设备中已经预设有多个手势模板图像组,上述提及的第一手势模板图像组可以是预设的多个手势模板图像组中的任一个。并且第一手势模板图像组中的各手势模板图像均对应于第一手势,但第一手势模板图像组中的各手势模板图像分别对应于第一手势的不同样式。其中,手势的样式可以理解为手势的角度,手势在手势模板图像中的位置或者大小等等。每个手势模板图像组中包含至少两张手势模板图像。同时,对于不同的手势模板图像组,其包含的手势模板图像的数目可以相同或者不同。
举例来说,手势可以为“剪刀”、“石头”、“布”等等。以由“石头”手势组成的一个手势模板图像组为例,此手势模板图像组中可以包括多张手势为“石头”的手势模板图像,且多张手势模板图像的手势样式各不相同,可以包括手背面向用户的石头手势、手心面向用户的石头手势、成年人摆出的石头手势、小孩摆出的石头手势等等。
S103,根据待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
由于第一手势模板图像组中包含多张手势模板图像,因此,识别设备也可以相应地确定出多个相似度。识别设备可以根据确定出的多个相似度进行待识别手势图像的识别,以确定待识别手势图像对应的手势。
一种可选地方式,识别设备可以借助预先设置的第一相似度阈值确定待识别手势图像对应的手势。
具体来说,当待识别手势图像与一手势模板图像的相似度大于或等于第一相似度阈值时,则表明此待识别手势图像对应的手势与此手势模板图像对应的手势相同。基于这种结论,一种根据第一相似度阈值以及步骤S102确定出的相似度确定待识别手势图像对应的手势的方式:在待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中,若大于或等于第一相似度阈值的相似度多于小于第一相似度度阈值的相似度,则表明待识别手势图像与第一手势模板图像组中的多数手势模板图像具有较高的相似性,此时,识别设备则可以确定待识别手势图像对应的手势是第一手势模板图像组中各手势模板图像对应的第一手势。
若大于或等于第一相似度阈值的相似度少于小于第一相似度度阈值的相似度,则表明待识别手势图像与第一手势模板图像组中的多数手势模板图像具有较低的相似性,此时,识别设备则可以确定待识别手势图像对应的手势不是第一手势模板图像组中各手势模板图像对应的第一手势。此种情况下,识别设备会继续确定待识别手势图像与下一个手势模板图像组中各手势模板图像间的相似度,再按照上述方式继续确定待识别手势图像对应的手势。
需要说明的是,本发明中提及的手势不仅可以包括用户手部产生的手势,还可以包用户的姿态或者步态等等。
本实施例中,识别设备获取待识别手势图像。接着,确定获取到的待识别手势图像与第一手势模板图像组中包含的各手势模板图像之间的相似度。其中,识别设备中预先设置有多组手势模板图像组,多组手势模板图像组中的任一组都可以是第一手势模板图像组,并且第一手势模板图像组中包含的有多张第一手势的手势模板图像,但每张手势模板图像的样式不同。最终,识别设备根据确定出的相似度确定待识别手势图像对应的手势。本发明提供的手势识别方法,在对一张待识别手势图像进行识别的过程中需要使用一手势模板图像组中包含的多张手势模板图像,也即是需要使用多张手势相同但手势样式不同的手势模板图像对待识别手势图像进行识别。通过多张手势模板图像的使用可以大大提高手势识别的准确度。
图2为本发明实施例提供的手势识别方法实施例二的流程图,如图2所示,该方法包括如下步骤:
S201,获取待识别手势图像。
S202,确定待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度。
上述步骤S201-S202执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
S203,根据待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
可选地,一种根据第一相似度阈值以及确定出的相似度确定待识别手势图像对应的手势的方式可以为:
识别设备对经过步骤S202确定出的待识别手势图像与第一手势模板图像组中各手势模板图像间相似度进行判断。若待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则表明待识别手势图像与第一手势模板图像组中的全部手势模板图像都具有较高的相似度,此时,识别设备可以确定待识别手势图像对应的手势为第一手势模板图像组中各手势模板图像对应的第一手势。否则,识别设备可以确定待识别手势图像对应的手势不是第一手势。接着,识别设备会继续确定待识别手势图像与下一个手势模板图像组中各手势模板图像间的相似度,再按照上述方式继续确定待识别手势图像对应的手势。
上述确认待识别手势图像对应的手势的方法与实施例一中提供的方法具有相同的思路,本实施例提供的上述方法中使用的条件更为严格。
另外,识别设备中除了设置有第一相似度阈值之外,还设置有第二相似度阈值,其中,第一相似度阈值大于第二相似度阈值。除了实施例一以及上述提供的确定待识别手势图像对应手势的方法之外,识别设备还可以借助识别设备中设置的第二相似度阈值来确定待识别手势图像对应的手势。
因此,可选地,在执行完步骤S202之后,识别设备还可以直接执行以下步骤以确定待识别手势图像对应的手势:
S204,若待识别手势图像与第一手势模板图像组中各手势模板图像间相似度中的存在任一相似度小于第二相似度阈值,则确定待识别手势图像对应的手势不是第一手势。
当待识别手势图像与一手势模板图像的相似度小于第二相似度阈值时,则表明此待识别手势图像对应的手势与手势模板图像对应的手势不同。基于这种结论,识别设备对经过步骤S202确定出的待识别手势图像与第一手势模板图像组中各手势模板图像间相似度进行判断。一种可选地方式,若多个相似度中存在任一相似度小于第二相似度阈值,则表示待识别手势图像与第一手势模板图像组中的一模板图像的相似度较低,此时,识别设备可以确定待识别手势图像对应的手势不是第一手势模板图像组对应的第一手势。另一种可选地且更为严格的方式,若多个相似度均小于第二相似度阈值,则识别设备可以确定待识别手势图像对应的手势不是第一手势模板图像组对应的第一手势。
S205,确定待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度。
S206,根据待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
然后,识别设备可以继续确定待识别图像与第二手势模板图像组中各手势模板图像间的相似度。其中,第二手势模板图像组可以是识别设备中预设的多个手势模板图像组中非第一手势模板图像组之外的任一手势模板图像组。
最后,识别设备会根据待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
上述步骤S205-S206的具体实施过程与实施例一中步骤S102-S103的实施过程基本相同,可以参见实施例一中的相关描述,在此不再赘述。
在此需要说明的是,图2仅是一种示意方式,但步骤S203和步骤S204-S206是两种确定待识别手势图像的方法,二者是并列关系,并没有严格的时序关系,在执行步骤S202后可以直接执行步骤S203或者步骤S204-S206,从而确定出待识别手势图像对应的手势。
本实施例中,识别设备在确定获取到的待识别手势图像与第一手势模板图像组中包含的各手势模板图像之间的相似度之后,一种方式,可以将确定出的相似度值与第一相似度阈值进行比较。若确定出的全部相似度均大于或等于第一相似度阈值,则确定待识别手势图像对应的手势为第一手势。另一种方式,可以将确定出的相似度值与第二相似度阈值进行比较。若确定出的相似度中存在任一相似度小于第二相似度阈值,则确定待识别手势图像对应的手势不是第一手势,进而继续确定待识别手势图像对应的手势是否是下一组手势模板图像组中各手势模板图像对应的手势。上述两种方式在对一张待识别手势图像进行识别的过程中均会使用多张手势相同但手势样式不同的手势模板图像对待识别手势图像进行识别。通过多张手势模板图像的使用可以提高手势识别的准确度。
上述实施例一、二提供的手势识别方法是利用一个预设的相似度阈值确定待识别手势图像对应的手势。为了进一步提高手势识别的准确性,识别设备还可以同时借助第一相似度阈值以及第二相似度阈值来确定待识别手势图像对应的手势,其中,第一相似度阈值大于第二相似度阈值。
因此,图3为本发明实施例提供的手势识别方法实施例三的流程图,如图3所示,该方法包括如下步骤:
S301,获取待识别手势图像。
S302,确定待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度。
上述步骤S301-S302执行过程与前述实施例的相应步骤相似,可以参见如图1所示实施例中的相关描述,在此再不赘述。
S303,若待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,则从待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中选择出第一最小相似度。
在步骤S302之后,识别设备可以得到待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,也即是得到了多个相似度。然后,识别设备会将此多个相似度分别与第一相似度阈值和第二相似度阈值进行比较。具体来说可以出现以下多种情况:
若得到的多个相似度均大于或等于第一相似度阈值,则与前述实施例二相类似的,识别设备可以直接确定待识别手势图像对应的手势为第一手势。
若多个相似度中存在小于第二相似度阈值的相似度,则确定待识别手势图像对应的手势不是第一手势。
若多个相似度中存在小于第一相似度阈值且大于第二相似度阈值的相似度,则表明待识别手势图像与第一手势模板图像组中手势模板图像的相似度处于中间地带,二者的相似度既不太高也不太低。此时,识别设备并不会直接确定此待识别手势图像对应于哪个手势,而是将此待识别手势图像确定为对应于第一手势模板图像组的待定状态,此待定状态表明待识别手势图像对应的手势有可能是第一手势,也有可能不是第一手势。同时识别设备还会从经过步骤S302得到的多个相似度中选择出一个最小相似度即第一最小相似度。
S304,确定待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度。
S305,结合待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
在将待识别手势图像确定为对应于第一手势模板图像组的待定状态后,识别设备还会继续确定待识别手势图像与第二手势模板图像组中的各手势模板图像之间的相似度。此相似度的确定过程与确定待识别手势图像与第一手势模板图像组中的各手势模板图像之间的相似度相同。具体过程可以参见实施例一中相关步骤的描述,在此不再赘述。识别设备可以结合待识别手势图像与第一手势模板图像组中各手势模板图像的相似度以及待识别手势图像与第二手势模板图像组中各手势模板图像的相似度确定待识别手势图像对应的手势。
具体来说,经过步骤S304确定出的多个相似度值中仍然会存在前述的多种情况。
若得到的多个相似度均大于或等于第一相似度阈值,则与前述实施例二相类似的,识别设备可以直接确定待识别手势图像对应的手势为第二手势。
若多个相似度中存在小于第二相似度阈值的相似度,则确定待识别手势图像对应的手势不是第二手势。
若经过步骤S304确定出的多个相似度值中仍然存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,此时仍将待识别手势图像确定为对应于第二手势模板图像组的待定状态。与步骤S303中相同的,识别设备同样会在待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度中选择出一个最小相似度即第二最小相似度。然后,识别设备可以继续确定待识别手势图像与下一组手势模板图像组中各手势模板图像间的相似度,以继续进行待识别手势图像对应于哪个手势。
当第二手势模板图像组是最后一个手势模板图像组时,此时识别设备可以根据选择出的第一最小相似度以及第二最小相似度确定待识别手势图像。具体来说,识别设备比较第一最小相似度以及第二最小相似度,得到二者中的最大相似度以及此最大相似度对应的目标手势模板图像组,并将待识别手势图像对应的手势确定为此目标手势模板图像组对应的手势。
当第二手势模板图像组不是最后一个手势模板图像组,则识别设备可以继续使用下一组手势模板图像组中的各手势模板图像确定待识别手势图像对应的手势,具体过程可以参见上述各实施例中的相关描述。
需要说明的是,本发明各实施例中提及的第一相似度阈值与第二相似度阈值可以根据手势识别准确度要求不同设置不同的相似度阈值。其中,准确率要求越高,预设的两相似度阈值之间的差值也越小,但计算复杂度也会相应提高。在实际应用中,应该尽量保证识别准确度以及计算复杂度之间的平衡。
本实施例中,当待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,则将此待识别手势图像确定为对应于第一手势模板图像组的待定状态,同时记录下第一最小相似度。再根据确定待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度。当待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度中同样存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,并且第二手势模板图像组是最后一个手势模板图像组,则将此待识别手势图像确定为对应于第二手势模板图像组的待定状态,同时记录下第二最小相似度。然后,识别设备确定第一最小相似度和第二最小相似度中的最大相似度以及此最大相似度对应的目标手势模板图像组,并将待识别手势图像对应的手势确定为此目标手势模板图像组对应的手势。识别设备通过同时使用第一相似度阈值以及第二相似度阈值,在一些情况下并不会直接确定出待识别手势图像对应的手势,而是为待识别手势图像提供一种新的状态即待定状态。当待识别手势图像对应于多个手势模板图像组都是待定状态时,则可以根据记录下的多个最小相似度值确定待识别手势图像对应的手势,大大提高了手势识别的准确度。
图4为本发明实施例提供的手势识别装置实施例一的结构示意图,如图3所示,该手势识别装置包括:获取模块11、相似度确定模块12以及手势确定模块13。
获取模块11,用于获取待识别手势图像。
相似度确定模块12,用于确定待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,其中,第一手势模板图像组中各手势模板图像对应于第一手势的不同样式,第一手势模板图像组为预设的多个手势模板图像组中的任一个。
手势确定模块13,用于根据待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
可选地,该手势识别装置中的手势确定模块13用于:
若待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则确定待识别手势图像对应的手势为第一手势。
可选地,该手势识别装置中手势确定模块13还用于:
若待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中存在任一相似度小于第二相似度阈值,则确定待识别手势图像对应的手势不是第一手势。
相似度确定模块12,还用于确定待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度,其中,第一相似度阈值大于第二相似度阈值。
手势确定模块13,还用于根据待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
图4所示装置可以执行图1或图2所示实施例的方法,本实施例未详细描述的部分,可参考对图1或图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1或图2所示实施例中的描述,在此不再赘述。
图5为本发明实施例提供的手势识别装置实施例二的结构示意图,如图5所示,在图4所示实施例基础上,该手势识别装置中的手势确定模块13具体包括:选择单元131和确定单元132。
选择单元131,用于若待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,则从待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度中选择出第一最小相似度,其中,第一相似度阈值大于第二相似度阈值。
相似度确定模块12,用于确定待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度。
确定单元132,用于结合待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
可选地,该手势识别装置中的选择单元131还用于:
若待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度中存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,则从待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度中选择出第二最小相似度。
该手势识别装置中的确定单元132还用于:
若第二手势模板图像组为多个手势模板图像组中的最后一个手势模板图像组,则根据第一最小相似度和第二最小相似度的大小,确定待识别手势图像对应的手势。
可选地,该手势识别装置中的确定单元132还用于:
若待识别手势图像与第二手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则确定待识别手势图像对应的手势为第二手势。
图5所示装置可以执行图3所示实施例的方法,本实施例未详细描述的部分,可参考对图3所示实施例的相关说明。该技术方案的执行过程和技术效果参见图3所示实施例中的描述,在此不再赘述。
以上描述了手势识别装置的内部功能和结构,在一个可能的设计中,手势识别装置的结构可实现为一电子设备,例如虚拟现实设备。图6为本发明实施例提供的电子设备实施例一的结构示意图,如图6所示,该电子设备包括:存储器21,以及与存储器连接的处理器22,存储器21用于存储电子设备执行上述任一实施例中提供的手势识别方法的程序,处理器22被配置为用于执行存储器21中存储的程序。
程序包括一条或多条计算机指令,其中,一条或多条计算机指令被处理器22执行时能够实现如下步骤:
获取待识别手势图像;
确定待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,其中,第一手势模板图像组中各手势模板图像对应于第一手势的不同样式,第一手势模板图像组为预设的多个手势模板图像组中的任一个;
根据待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,确定待识别手势图像对应的手势。
可选地,处理器22还用于执行前述各方法步骤中的全部或部分步骤。
其中,电子设备的结构中还可以包括通信接口23,用于电子设备与其他设备或通信网络通信。
以上所描述的装置实施例仅仅是示意性的,其中作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件和软件结合的方式来实现。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来,该计算机产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行各个实施例或者实施例的某些部分的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种手势识别方法,其特征在于,包括:
获取待识别手势图像,其中,所述待识别手势图像为对用户摆出的待识别手势拍摄得到;
确定所述待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,其中,所述第一手势模板图像组中各手势模板图像对应于第一手势的不同样式,所述第一手势模板图像组为预设的多个手势模板图像组中的任一个;
根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势;
若判断出所述待识别手势图像对应的手势为所述第一手势模板图像组对应手势的待定状态时,则依次判断所述待识别手势图像对应的手势是否为所述多个手势模板图像组中其他手势模板图像组对应的手势;
若确定所述待识别手势图像对应的手势均为所述多个手势模板图像组中任一手势模板图像对应手势的待定状态,则确定所述待识别手势图像与每个手势模板图像组中各手势模板图像间的相似度中数值最小的最小相似度;
从多个最小相似度中选择数值最大的最小相似度,将所述数值最大的最小相似度对应的手势模板图像组的手势识别为所述待识别手势图像的手势。
2.根据权利要求1所述的方法,其特征在于,所述根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则确定所述待识别手势图像对应的手势为所述第一手势。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在任一相似度小于第二相似度阈值,则确定所述待识别手势图像对应的手势不是所述第一手势;
确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度,其中,第一相似度阈值大于所述第二相似度阈值;
根据所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
4.根据权利要求1所述的方法,其特征在于,所述根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,则从所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中选择出第一最小相似度,其中,所述第一相似度阈值大于所述第二相似度阈值;
确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度;
结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
5.根据权利要求4所述的方法,其特征在于,所述结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度中存在小于所述第一相似度阈值且大于或等于所述第二相似度阈值的相似度,则从所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度中选择出第二最小相似度;
若所述第二手势模板图像组为所述多个手势模板图像组中的最后一个手势模板图像组,则根据所述第一最小相似度和所述第二最小相似度的大小,确定所述待识别手势图像对应的手势。
6.根据权利要求4所述的方法,其特征在于,所述结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势,包括:
若所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度均大于或等于第一相似度阈值,则确定所述待识别手势图像对应的手势为所述第二手势。
7.一种手势识别装置,其特征在于,包括:
获取模块,用于获取待识别手势图像,其中,所述待识别手势图像为对用户摆出的待识别手势拍摄得到;
相似度确定模块,用于确定所述待识别手势图像与第一手势模板图像组中各手势模板图像间的相似度,其中,所述第一手势模板图像组中各手势模板图像对应于第一手势的不同样式,所述第一手势模板图像组为预设的多个手势模板图像组中的任一个;
手势确定模块,用于根据所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势;
手势确定模块,还用于若判断出所述待识别手势图像对应的手势为所述第一手势模板图像组对应手势的待定状态时,则依次判断所述待识别手势图像对应的手势是否为所述多个手势模板图像组中其他手势模板图像组对应的手势;
若确定所述待识别手势图像对应的手势均为所述多个手势模板图像组中任一手势模板图像对应手势的待定状态,则确定所述待识别手势图像与每个手势模板图像组中各手势模板图像间的相似度中数值最小的最小相似度;
从多个最小相似度中选择数值最大的最小相似度,将所述数值最大的最小相似度对应的手势模板图像组的手势识别为所述待识别手势图像的手势。
8.根据权利要求7所述的装置,其特征在于,所述手势确定模块用于:
若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在任一相似度小于第二相似度阈值,则确定所述待识别手势图像对应的手势不是所述第一手势;
所述相似度确定模块,用于确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度,其中,第一相似度阈值大于所述第二相似度阈值;
所述手势确定模块,还用于根据所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
9.根据权利要求7所述的装置,其特征在于,所述手势确定模块包括:
选择单元,用于若所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中存在小于第一相似度阈值且大于或等于第二相似度阈值的相似度,则从所述待识别手势图像与所述第一手势模板图像组中各手势模板图像间的相似度中选择出第一最小相似度,其中,所述第一相似度阈值大于所述第二相似度阈值;
所述相似度确定模块用于,确定所述待识别手势图像与对应于第二手势的第二手势模板图像组中各手势模板图像间的相似度;
确定单元,用于结合所述待识别手势图像与所述第二手势模板图像组中各手势模板图像间的相似度,确定所述待识别手势图像对应的手势。
10.一种电子设备,其特征在于,包括:存储器,以及与所述存储器连接的处理器;
所述存储器,用于存储一条或多条计算机指令,其中,所述一条或多条计算机指令供所述处理器调用执行;
所述处理器,用于执行所述一条或多条计算机指令以实现权利要求1至6中任一项所述的方法。
CN201810361796.1A 2018-04-20 2018-04-20 手势识别方法、装置及电子设备 Active CN108596079B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810361796.1A CN108596079B (zh) 2018-04-20 2018-04-20 手势识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810361796.1A CN108596079B (zh) 2018-04-20 2018-04-20 手势识别方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN108596079A CN108596079A (zh) 2018-09-28
CN108596079B true CN108596079B (zh) 2021-06-15

Family

ID=63613713

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810361796.1A Active CN108596079B (zh) 2018-04-20 2018-04-20 手势识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN108596079B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111722717B (zh) * 2020-06-18 2024-03-15 歌尔科技有限公司 手势识别方法、装置及计算机可读存储介质
CN111881862B (zh) * 2020-07-31 2024-06-25 Oppo广东移动通信有限公司 手势识别方法及相关装置
CN112492211A (zh) * 2020-12-01 2021-03-12 咪咕文化科技有限公司 一种拍摄方法、电子设备及存储介质
TWI800249B (zh) * 2022-02-08 2023-04-21 開酷科技股份有限公司 自定義手勢的方法
US20230359280A1 (en) * 2022-05-09 2023-11-09 KaiKuTek Inc. Method of customizing hand gesture

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104350509A (zh) * 2012-06-08 2015-02-11 高通股份有限公司 快速姿势检测器
CN106548133A (zh) * 2016-10-17 2017-03-29 歌尔科技有限公司 一种模板匹配方法和装置以及手势识别方法和装置
CN107133361A (zh) * 2017-05-31 2017-09-05 北京小米移动软件有限公司 手势识别方法、装置和终端设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10289900B2 (en) * 2016-09-16 2019-05-14 Interactive Intelligence Group, Inc. System and method for body language analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104350509A (zh) * 2012-06-08 2015-02-11 高通股份有限公司 快速姿势检测器
CN106548133A (zh) * 2016-10-17 2017-03-29 歌尔科技有限公司 一种模板匹配方法和装置以及手势识别方法和装置
CN107133361A (zh) * 2017-05-31 2017-09-05 北京小米移动软件有限公司 手势识别方法、装置和终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于视觉的手势识别和人体姿态跟踪算法研究;赵健;《中国优秀硕士学位论文全文数据库 信息科技辑》;20140630;第I138-1050页 *

Also Published As

Publication number Publication date
CN108596079A (zh) 2018-09-28

Similar Documents

Publication Publication Date Title
CN108596079B (zh) 手势识别方法、装置及电子设备
US9262614B2 (en) Image processing device, image processing method, and storage medium storing image processing program
JP5554984B2 (ja) パターン認識方法およびパターン認識装置
US9208375B2 (en) Face recognition mechanism
EP3514724B1 (en) Depth map-based heuristic finger detection method
US9864902B2 (en) Apparatus and method of collating categories of images
KR102415504B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 갱신 방법 및 장치
JP2018508875A (ja) 生体顔検出用の方法及び装置
JP5361524B2 (ja) パターン認識システム及びパターン認識方法
JP7107598B2 (ja) 認証用顔画像候補判定装置、認証用顔画像候補判定方法、プログラム、および記録媒体
US11126827B2 (en) Method and system for image identification
US8792686B2 (en) Biometric authentication device, method of controlling biometric authentication device and non-transitory, computer readable storage medium
EP4030749B1 (en) Image photographing method and apparatus
US20100157088A1 (en) Authentication apparatus and authentication method
KR102427853B1 (ko) 사용자 인증을 위한 등록 데이터베이스의 적응적 갱신 방법 및 장치
JP6128910B2 (ja) 学習装置、学習方法及びプログラム
KR20220093187A (ko) 포지셔닝 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체
US20120314904A1 (en) Image collation system, image collation method and computer program
KR20220042335A (ko) 자동 수어 인식 방법 및 시스템
CN111699509B (zh) 物体检测装置、物体检测方法以及记录介质
CN109711287B (zh) 人脸采集方法及相关产品
CN105229700B (zh) 用于从多个连续拍摄图像提取峰图像的设备和方法
CN107357424B (zh) 一种手势操作的识别方法、设备及计算机可读存储介质
JP2022003526A (ja) 情報処理装置、検出システム、情報処理方法、及びプログラム
JP2015187770A (ja) 画像認識装置、画像認識方法及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Cui Huihui

Inventor after: Jiang Bin

Inventor after: Chi Xiaoyu

Inventor before: Cui Huihui

TA01 Transfer of patent application right

Effective date of registration: 20201116

Address after: 261061 north of Yuqing East Street, east of Dongming Road, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronic office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 266104 Laoshan Qingdao District North House Street investment service center room, Room 308, Shandong

Applicant before: GOERTEK TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
CB02 Change of applicant information
CB02 Change of applicant information

Address after: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant after: GoerTek Optical Technology Co.,Ltd.

Address before: 261061 east of Dongming Road, north of Yuqing East Street, Weifang High tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Applicant before: GoerTek Optical Technology Co.,Ltd.

GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221117

Address after: 266104 No. 500, Songling Road, Laoshan District, Qingdao, Shandong

Patentee after: GOERTEK TECHNOLOGY Co.,Ltd.

Address before: 261061 east of Dongming Road, north of Yuqing East Street, high tech Zone, Weifang City, Shandong Province (Room 502, Geer electronics office building)

Patentee before: GoerTek Optical Technology Co.,Ltd.