CN110908581B - 手势识别的方法及装置、计算机存储介质、电子设备 - Google Patents

手势识别的方法及装置、计算机存储介质、电子设备 Download PDF

Info

Publication number
CN110908581B
CN110908581B CN201911143214.3A CN201911143214A CN110908581B CN 110908581 B CN110908581 B CN 110908581B CN 201911143214 A CN201911143214 A CN 201911143214A CN 110908581 B CN110908581 B CN 110908581B
Authority
CN
China
Prior art keywords
gesture
similarity
standard
recognition
template library
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911143214.3A
Other languages
English (en)
Other versions
CN110908581A (zh
Inventor
李备
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Netease Hangzhou Network Co Ltd
Original Assignee
Netease Hangzhou Network Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Netease Hangzhou Network Co Ltd filed Critical Netease Hangzhou Network Co Ltd
Priority to CN201911143214.3A priority Critical patent/CN110908581B/zh
Publication of CN110908581A publication Critical patent/CN110908581A/zh
Application granted granted Critical
Publication of CN110908581B publication Critical patent/CN110908581B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开涉及计算机技术领域,提供了一种手势识别的方法、手势识别的装置、存储介质及电子设备,其中,手势识别的方法包括:根据用户在触控屏幕上作用的轨迹点,获得采样序列;根据采样序列确定第一手势,对第一手势进行几何变换处理,得到第一变换手势;对采样序列中的轨迹点进行逆序处理,以确定第二手势,对第二手势进行几何变换处理,得到第二变换手势;获取第一变换手势与预设模板库中的标准手势的第一相似度,并获取第二变换手势与预设模板库中的标准手势的第二相似度;根据第一相似度与第二相似度确定目标相似度,并将目标相似度对应的标准手势确定为第一手势识别的结果。本公开中的手势识别的方法能够识别复杂手势,提高识别精度。

Description

手势识别的方法及装置、计算机存储介质、电子设备
技术领域
本公开涉及计算机技术领域,特别涉及一种手势识别的方法、手势识别的装置、计算机存储介质及电子设备。
背景技术
随着互联网及计算机技术的迅速发展,手势的识别技术也在迅速发展。手势识别是一种自然、便捷的人机交互方式,通过对手势的识别和功能绑定可以达到用户想快速、跨级访问相关应用界面的目的,是一种快捷,方便的交互方式。
目前,相关技术中一般只能识别一些类似点击、捏合、长按、拖动等的简单手势,然而简单的手势容易和系统的内置手势或者是控件的属性有冲突,例如点击手势可以响应点击,而通过相关按钮也可以响应点击。其次,相关识别技术的识别精度较低,且无法识别一些旋转手势,以及无法区分手势轨迹的正和逆。
鉴于此,本领域亟需开发一种新的手势识别的方法及装置。
需要说明的是,上述背景技术部分公开的信息仅用于加强对本公开的背景的理解。
发明内容
本公开的目的在于提供一种手势识别的方法、手势识别的装置、计算机存储介质及电子设备,进而至少在一定程度上避免了现有技术中无法区分手势轨迹的正逆,且识别精度较低的缺陷。
本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。
根据本公开的第一方面,提供一种手势识别的方法,应用于具有触控屏幕的电子终端,其特征在于,包括:根据用户在所述触控屏幕上作用的轨迹点,获得采样序列;根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势;对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行几何变换处理,得到第二变换手势;获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度;根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的标准手势确定为所述第一手势的识别结果。
在本公开的示例性实施例中,所述几何变换处理包括以下至少一种:缩放处理、平移处理和旋转处理。
在本公开的示例性实施例中,所述对所述第一手势进行几何变换处理,得到第一变换手势,包括:对所述第一手势进行缩放处理;获取缩放处理后的第一手势的每个轨迹点与所述标准手势中的目标手势对应轨迹点的距离,并获取轨迹点之间对应距离的统计结果;若所述统计结果满足预设阈值条件,则根据所述轨迹点之间的距离对所述缩放处理后的第一手势进行平移处理;对平移处理后的第一手势进行旋转处理,得到第一变换手势。
在本公开的示例性实施例中,所述对所述第二手势进行几何变换处理,得到第二变换手势,包括:对所述第二手势进行缩放处理;获取缩放处理后的第二手势的每个轨迹点与所述标准手势中的目标手势对应轨迹点的距离,并获取轨迹点之间对应的距离的统计结果;若所述统计结果满足预设阈值条件,则根据所述轨迹点之间的距离对所述缩放处理后的第二手势进行平移处理;对平移处理后的第二手势进行旋转处理,得到第二变换手势。
在本公开的示例性实施例中,所述方法还包括:触发所述目标相似度对应的标准手势对应的预设指令。
在本公开的示例性实施例中,所述根据用户在所述触控屏幕上作用的轨迹点,获得采样序列,包括:根据用户在所述触控屏幕上作用的轨迹点确定待识别手势;判断所述待识别手势是否为有效手势;若所述待识别手势为有效手势,则根据预设识别精度对所述待识别手势进行采样,得到所述采样序列。
在本公开的示例性实施例中,所述判断所述待识别手势是否为有效手势,包括:根据所述待识别手势所包含的轨迹点的数量判断所述待识别手势是否为有效手势。
在本公开的示例性实施例中,所述根据所述待识别手势所包含的轨迹点的数量判断所述手势是否为所述有效手势,包括:若所述待识别手势的轨迹点数量大于或等于第一预设阈值,且小于或等于第二预设阈值,则确定所述待识别手势为所述有效手势;其中,所述第二预设阈值大于所述第一预设阈值。
在本公开的示例性实施例中,所述方法还包括:对所述预设模板库中的手势进行采样,根据采样结果生成标准手势;将所述标准手势存入所述预设模板库。
在本公开的示例性实施例中,所述方法还包括:响应于手势设置指令,接收用户的输入手势;判断所述输入手势是否属于所述预设模板库中的手势;若所述输入手势不属于所述预设模板库中的手势,则判断所述输入手势是否为有效手势;若所述输入手势为有效手势,则将所述输入手势作为所述标准手势存储至预设模板库中。
根据本公开的第二方面,提供一种手势识别的装置,应用于具有触控屏幕的电子终端,包括:获取模块,用于根据用户在所述触控屏幕上作用的轨迹点,获得采样序列;第一确定模块,用于根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势;第二确定模块,用于对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行所述几何变换处理,得到第二变换手势;比对模块,用于获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度;识别模块,用于根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的标准手势确定为所述第一手势的识别结果。
根据本公开的第三方面,提供一种计算机存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的手势识别的方法。
根据本公开的第四方面,提供一种电子设备,包括:处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的手势识别的方法。
由上述技术方案可知,本公开示例性实施例中的手势识别的方法、手势识别的装置、计算机存储介质及电子设备至少具备以下优点和积极效果:
在本公开的一些实施例所提供的技术方案中,一方面,根据用户在触控屏幕上作用的轨迹点,获得采样序列,并根据采样序列确定第一手势,对第一手势进行几何变换处理,得到第一变换手势,能够获取到第一手势对应的多个角度,多个位置的变换手势。对采样序列中的轨迹点进行逆序处理,以确定第二手势,对第二手势进行几何变换处理,得到第二变换手势,能够获取到第一手势对应的逆手势及第一手势和第二手势在多个角度,多个位置的变换手势,从而能够解决现有技术中无法区分手势正逆,及对旋转手势识别精度较低的技术问题。另一方面,获取第一变换手势与预设模板库中的标准手势的第一相似度,并获取第二变换手势与预设模板库中的标准手势的第二相似度,根据第一相似度与第二相似度确定目标相似度,并将目标相似度对应的标准手势确定为第一手势的识别结果,能够通过多次比对,提高识别结果的准确性。
本公开应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出本公开一示例性实施例中旋转手势的示意图;
图2示出本公开一示例性实施例中正手势与逆手势的示意图;
图3示出本公开一示例性实施例中手势识别的方法的流程示意图;
图4示出本公开另一示例性实施例中手势识别的方法的流程示意图;
图5示出本公开再一示例性实施例中手势识别的方法的流程示意图;
图6示出本公开又一示例性实施例中手势识别的方法的流程示意图;
图7示出本公开一示例性实施例中手势识别的方法的算法流程图;
图8示出本公开一示例性实施例中手势识别的方法的整体模块示意图;
图9示出本公开示例性实施例中手势识别的装置的结构示意图;
图10示出本公开示例性实施例中计算机存储介质的结构示意图;
图11示出本公开示例性实施例中电子设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等;用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等;用语“第一”和“第二”等仅作为标记使用,不是对其对象的数量限制。
此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。
目前,相关技术中一般只能识别一些类似点击,捏合,长按,拖动等的简单手势,然而简单的手势,用户记忆周期短,容易忘记,而且容易和系统的内置手势或者是控件的属性有冲突,例如点击手势可以响应点击,而通过按钮也可以响应点击。其次,相关识别技术的识别精度较低。示例性的,可以参考图1,图1示出本公开一示例性实施例中旋转手势的示意图,对于类似图1中这样绘制结果相同但角度不同的旋转图形,相关技术无法区分。进一步的,示例性的,可以参考图2,图2示出本公开一示例性实施例中正手势与逆手势的示意图,对于类似图2中这样的顺时针画正方形以及逆时针画正方形的手势,相关技术也无法区分出手势轨迹的正和逆。因此,本领域亟需开发一种新的手势识别的方法及装置。
在本公开的实施例中,首先提供了一种手势识别的方法,至少在一定程度上克服现有技术中提供的手势识别的方法无法区分手势轨迹的正逆,且识别精度较低的缺陷。
图3示出本公开一示例性实施例中手势识别的方法的流程示意图,该手势识别的方法的执行主体可以是对手势进行识别的服务器。
参考图3,根据本公开的一个实施例的手势识别的方法包括以下步骤:
步骤S310,根据用户在所述触控屏幕上作用的轨迹点,获得采样序列;
步骤S320,根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势;
步骤S330,对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行所述几何变换处理,得到第二变换手势;
步骤S340,获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度;
步骤S350,根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的所述标准手势确定为所述第一手势的识别结果。
在图3所示实施例所提供的技术方案中,一方面,根据用户在触控屏幕上作用的轨迹点,获得采样序列,并根据采样序列确定第一手势,对第一手势进行几何变换处理,得到第一变换手势,能够获取到第一手势对应的多个角度,多个位置的变换手势。对采样序列中的轨迹点进行逆序处理,以确定第二手势,对第二手势进行几何变换处理,得到第二变换手势,能够获取到第一手势对应的逆手势及第一手势和第二手势在多个角度,多个位置的变换手势,从而能够解决现有技术中无法区分手势正逆,及对旋转手势识别精度较低的技术问题。另一方面,获取第一变换手势与预设模板库中的标准手势的第一相似度,并获取第二变换手势与预设模板库中的标准手势的第二相似度,根据第一相似度与第二相似度确定目标相似度,并将目标相似度对应的标准手势确定为第一手势的识别结果,能够通过多次比对,提高识别结果的准确性。
以下对图3中的各个步骤的具体实现过程进行详细阐述:
在本公开的示例性实施例中,可以先向预设模板库中存储手势,其中,预设模板库是包含预先存储的手势,并且还可以实时存入新手势的数据库。预设模板库中预先存储的手势可以是系统自带的手势(例如:点击、长按、拖动等简单手势),也可以是对系统自带的手势进行一定组合处理后的手势(例如:对系统自带的长按手势与拖动手势进行组合之后得到的手势),还可以是用户自定义的手势,以及,对用户自定义的手势进行一定组合处理后的手势。具体的预先存储的手势类型可以根据实际情况自行设定,属于本公开的保护范围。
在本公开的示例性实施例中,可以参考图4,图4示意性示出本公开另一示例性实施例中手势识别的方法的流程示意图,具体示出向预设模板库中存储手势的方法流程图。以下结合图4对具体的实施方式进行解释。
在步骤S401中,响应于手势设置指令,接收用户的输入手势。
在本公开的示例性实施例中,当用户触发手势设置指令时,例如:点击手势设置图标或者按钮时,则可以接收用户的输入手势。
在本公开的示例性实施例中,输入手势可以是用户自定义的,想要进行存储的手势,例如:用户用手指在触控屏幕上进行触控操作(点击、拖动、长按等的一个或多个操作)所形成的手势。其中,触控屏幕可以是移动终端(手机、Ipad、电脑、车载显示器等)的显示屏幕。
在步骤S402中,判断输入手势是否属于预设模板库中的手势。
在本公开的示例性实施例中,在接收到输入手势之后,可以判断输入手势是否属于预设模板库中的手势。预设模板库中的手势即已经预先保存过的手势。示例性的,可以将输入手势与预设模板库中已经存在的手势进行相似度比对,若相似度比对结果大于预设阈值,则可以判断出输入手势属于预设模板库中的手势。否则,可以判断出输入手势不属于预设模板库中的手势。
在步骤S403中,若输入手势不属于预设模板库中的手势,则判断输入手势是否为有效手势。
在本公开的示例性实施例中,若判断出输入手势不属于预设模板库中的手势,则可以进一步的,判断输入手势是否为有效手势,具体的,可以根据输入手势对应的轨迹点的数量判断输入手势是否为有效手势。示例性的,当上述输入手势对应的轨迹点的数量大于或等于第一预设阈值,且小于或等于第二预设阈值(大于上述第一预设阈值),则确定上述输入手势为有效手势。同理,当上述输入手势对应的轨迹点数量小于第一预设阈值(例如:2)时,例如,用户由于手抖而在屏幕上画了一点等情况,则可以确定上述输入手势为无效手势。或,当上述输入手势对应的轨迹点数量大于第二预设阈值(例如:2000)时,例如,类似用户在屏幕上画了100圈的圆圈这些无意义操作,则可以确定上述输入手势为无效手势,需要说明的是,上述第一预设阈值与上述第二预设阈值的相关数值可以根据实际情况自行设定,本公开对此不作特殊限定。
在步骤S404中,若输入手势为有效手势,则将输入手势存储至预设模板库中。
在本公开的示例性实施例中,若判断出上述输入手势为有效手势,则可以将上述输入手势存储至预设模板库中。示例性的,预设模板库中存储的手势可以是:手势B1和手势B2。
在本公开的示例性实施例中,示例性的,可以参考图5,图5示意性示出本公开再一示例性实施例中手势识别的方法的流程示意图,具体示出判断是否将输入手势作为标准手势进行存储的算法流程图,以下结合图5对具体的算法流程进行解释。
在步骤S501中,开始;
在步骤S502中,设置手势;
在步骤S5021中,若从预设模板库中选择手势;则跳转至步骤S506;
在步骤S5022中,绘制手势;
在步骤S5023中,判断是否属于预设模板库中的手势,若是预设模板库中的手势,则跳转至步骤S506;
在步骤S5024中,若不属于预设模板库中的手势,则判断是否为有效手势,若不是有效手势,则跳转至步骤S506;
在步骤S503中,若是有效手势,则缓存手势;
在步骤S504中,将缓存的手势存入内存;
在步骤S505中,将内存中的手势存入磁盘和网络;
在步骤S506中,结束。
在本公开的示例性实施例中,在向预设模板库中存储了手势之后,还可以设定手势对应的预设指令,示例性的,可以设定手势B1对应的指令为“返回应用首页”,设定手势B2对应的指令为“进入购物车”。
在本公开的示例性实施例中,在向预设模板库中存储了手势,并为上述存储的手势设定对应的预设指令之后,可以进行后续的手势识别步骤。
继续参考图3,在步骤S310中,根据用户在所述触控屏幕上作用的轨迹点,获得采样序列。
在本公开的示例性实施例中,可以根据用户在触控屏幕上作用的轨迹点,获得采样序列。示例性的,可以参考图6,图6示出本公开一示例性实施例中手势识别的方法的流程示意图,具体示出根据用户在所述触控屏幕上作用的轨迹点获取采样序列的流程示意图,以下结合图6对步骤S310进行解释。
在步骤S601中,根据用户在触控屏幕上作用的轨迹点确定待识别手势。
在本公开的示例性实施例中,具体的,当进行手势识别时,可以获取用户在触控屏幕上作用的轨迹点,根据轨迹点确定出待识别手势,待识别手势即需要进行识别的手势。示例性的,当用户在触控屏幕上作用,依次产生的轨迹点X1、X2、X3……Xn-1、Xn时,则可以将上述轨迹点按照其产生的先后顺序X1、X2、X3……Xn-1、Xn连接起来,以确定出待识别手势。
在步骤S602中,判断待识别手势是否为有效手势。
在本公开的示例性实施例中,在获取到上述待识别手势之后,可以判断上述待识别手势是否为上述有效手势,具体的,可以参照上述步骤S403的相关解释,若上述轨迹点X1、X2、X3……Xn-1、Xn的总数量小于第一预设阈值,或上述轨迹点X1、X2、X3……Xn-1、Xn的总数量大于第二预设阈值,则可以确定出上述待识别手势不是有效手势,则可以舍弃上述待识别手势,结束识别流程。从而能够避免当待识别手势为过于简单或过于复杂的无效手势时的程序进程浪费,节省系统内存,提高识别效率。
在步骤S603中,若待识别手势为有效手势,则根据预设识别精度对待识别手势进行采样,得到采样序列。
在本公开的示例性实施例中,当上述轨迹点X1、X2、X3……Xn-1、Xn的总数量大于或等于上述第一预设阈值,且小于或等于第二预设阈值,则可以确定出上述待识别手势为有效手势。进一步的,可以根据预设的识别精度对上述待识别手势进行采样,得到采样序列。
在本公开的示例性实施例中,采样即取样,从大量样本中选出少量样本的筛选过程,不同的识别精度对应不同的采样点数。示例性的,当用户预设的识别精度为80%时,其对应的采样点数可以是128点。在确定出预设采样精度对应的采样点数128之后,可以先计算出上述输入轨迹点对应的路径长度(即X1、X2、X3……Xn-1、Xn连接起来所形成的路径长度),然后将其平分成128份距离,起始点作为第一个点,每加一份距离就采一次样,从用户输入的点中选出最接近128份距离的点,作为第二个点,以此类推,直至获取到上述128个采样点对应的采样序列。
在本公开的示例性实施例中,在确定出上述预设识别精度对应的采样点数为128点之后,可以对上述预设模板库中的手势进行采样,并根据采样结果生成标准手势。参照上述步骤的相关解释,可以将上述预设模板库中的手势处理为包含128个采样点的标准手势,则参照步骤S404的相关解释,对预设模板库中的手势B1进行采样后可以得到标准手势G1,对预设模板库中的手势B2进行采样后可以得到标准手势G2。
接着参考图3,在步骤S320中,根据采样序列确定第一手势,对第一手势进行几何变换处理,得到第一变换手势。
在本公开的示例性实施例中,可以根据上述采样序列确定第一手势,并对第一手势进行几何变换处理,得到第一变换手势。
在本公开的示例性实施例中,上述几何变换处理包括:缩放处理、平移处理和旋转处理。通过对第一手势进行上述几何变换处理,能够获取到第一手势对应的多个大小、多个角度以及多个位置的变换手势,从而能够解决现有技术中识别精度较低的技术问题,提高识别精度。
在本公开的示例性实施例中,具体的几何变换处理过程可以是:
第一,对上述第一手势(128个点)进行缩放处理,缩放处理即缩小和放大处理,示例性的,可以将上述第一手势缩小0.5倍得到缩放手势S1,放大4倍得到缩放手势S2。各缩放手势由各自的缩放轨迹点组成。通过对上述第一手势进行缩放处理,能够获取到第一手势对应的多个大小的手势,从而能够识别大小不一的手势。
第二,在获取到上述缩放手势对应的缩放轨迹点之后,可以计算缩放轨迹点与上述(预设模板库中的手势对应的)目标手势对应轨迹点之间的距离,即可以分别获取上述缩放手势(S1、S2)的128个点与上述标准手势(G1、G2)对应的128个点与之间的距离。
进而,可以获取上述距离对应的统计结果。示例性的,以上述缩放手势S1为例,其对应128个点之间计算距离的统计结果可以是:缩放手势S1上存在120个采样点与标准手势G1的对应采样点之间的距离相等(距离为10cm),存在8个采样点与标准手势G1对应采样点之间的距离不相等,则统计结果为
Figure BDA0002281501470000111
示例性的,缩放手势S1与上述标准手势G2的距离统计结果可以是:60个相等(距离为20cm),68个不相等,则统计结果为
Figure BDA0002281501470000112
缩放手势S2与上述标准手势G1的距离统计结果可以是:20个相等(距离为30cm),100个不相等,则统计结果为
Figure BDA0002281501470000113
缩放手势S2与上述标准手势G2的距离统计结果可以是:10个相等(距离为40cm),118个不相等,则统计结果为
Figure BDA0002281501470000114
进一步的,在获取到上述统计结果之后,若上述统计结果满足预设精度,示例性的,上述预设阈值条件可以是大于或等于上述预设识别精度,则参照上述步骤的相关解释,可知预设识别精度为80%,则可知,统计结果93.75%大于上述预设识别精度80%,对应缩放手势S1,则可以根据上述相等的距离对上述缩放手势S1进行平移处理。具体的,可以将上述缩放手势S1沿水平或者竖直方向平移10cm,得到平移手势,示例性的,可以将上述缩放手势S1向左水平平移10cm,得到平移手势P1,以及,将上述缩放手势S1向上竖直平移10cm,得到平移手势P2。通过对上述缩放手势进行平移处理,能够获取到缩放手势S1在多个位置的手势,从而能够识别位于不同位置的手势。
若获取到的统计结果均不满足上述预设阈值条件,则可以舍弃上述缩放手势,结束识别过程,从而,可以舍弃缩放手势S2,后续的识别步骤中只对缩放手势S1进行识别。
第三,在获取到上述平移手势(P1、P2)之后,可以对上述平移手势进行旋转处理,以确定上述第一变换手势。具体的,可以将上述平移手势依次旋转10度,20度,30度……,得到对应的多个第一变换手势。示例性的,可以将上述平移手势P1旋转10度,得到第一变换手势C11,将上述平移手势P1旋转20度,得到第一变换手势C12。将上述平移手势P2旋转10度,得到第一变换手势C13,将上述平移手势P2旋转20度,得到第一变换手势C14。需要说明的是,具体的旋转角度可以根据实际需要达到的识别精度自行设定,本公开对此不作特殊限定。通过对上述平移手势进行旋转处理,能够获取到平移手势对应的多个不同角度的手势。
继续参考图3,在步骤S330中,对采样序列中的轨迹点进行逆序处理,以确定第二手势,对第二手势进行几何变换处理,得到第二变换手势。
在本公开的示例性实施例中,可以对上述采样序列进行逆序处理,以确定第二手势,第二手势即上述第一手势对应的相反绘制方向的手势。具体的,可以参照上述步骤S601的相关解释,对上述轨迹点X1、X2、X3……Xn-1、Xn产生的先后顺序进行逆序处理,即以Xn、Xn-1……X3、X2、X1的顺序将上述轨迹点连接起来,以确定出第二手势。
在本公开的示例性实施例中,在得到第二手势之后,可以对上述第二手势进行几何变换处理,得到第二变换手势,具体的,可以参考步骤S320的相关解释,对第二手势进行缩放处理,并获取缩放处理后的第二手势的每个轨迹点与标准手势对应轨迹点的距离,并获取轨迹点之间对应的距离的统计结果;若统计结果满足预设阈值条件(可以是与上述步骤S120中的预设阈值条件相同,也可以与上述步骤S120中的预设阈值条件不同),则根据轨迹点之间的距离对缩放处理后的第二手势进行平移处理;进一步的,对平移处理后的第二手势进行旋转处理,得到第二变换手势。示例性的,对上述第二手势进行几何变换处理之后,最终得到的第二变换手势可以是:第二变换手势C21、第二变换手势C22、第二变换手势C23以及第二变换手势C24。
在本公开的示例性实施例中,需要说明的是,对第二手势进行几何变换处理的具体步骤顺序可以与对第一手势进行几何变换处理的具体步骤顺序相同(例如:步骤S320中相关解释的缩放处理、平移处理和旋转处理),对第二手势进行几何变换处理的具体步骤顺序也可以与对第一手势进行几何变换处理的具体顺序不相同(例如:旋转处理、缩放处理和平移处理),具体的,可以根据实际情况自行设定,属于本公开的保护范围。
在本公开的示例性实施例中,通过对上述第二手势进行上述几何变换处理,能够获取到第二手势对应的多个大小、多个角度以及多个位置的变换手势,从而能够解决现有技术中识别精度较低的技术问题,提高识别精度。
在本公开的示例性实施例中,通过对上述采样序列进行逆序处理,能够获取到同一手势图形对应的相逆轨迹的第二手势,从而,在后续识别过程能够将第一手势、第二手势分别与预设模板库中的标准手势进行相似度比对,从而能够识别出手势轨迹的正逆方向,解决现有技术中无法区分手势正逆,且识别精度较低的技术问题。
在步骤S340中,获取第一变换手势与预设模板库中的标准手势的第一相似度,并获取第二变换手势与预设模板库中的标准手势的第二相似度。
在本公开的示例性实施例中,在获取到上述多个第一变换手势之后,可以获取上述多个第一变换手势与预设模板库中的标准手势的第一相似度。具体的,可以获取上述多个第一变换手势与标准手势的第一相似度。
在本公开的示例性实施例中,在获取到上述第一变换手势之后,可以获取上述第一变换手势与上述标准手势的相似度,具体的,可以获取上述各个第一变换手势与上述各标准手势对应采样点之间的欧式距离。具体的,二维平面上的欧式距离计算公式为:
Figure BDA0002281501470000141
三维平面上的欧式距离计算公式为
Figure BDA0002281501470000142
进而,可以将上述欧式距离的计算值作为上述第一相似度。示例性的,具体的第一相似度值可以参考如下表1。
表1
第一变换手势C11 标准手势G1 d<sub>1</sub>=8
第一变换手势C11 标准手势G2 d<sub>2</sub>=6
第一变换手势C12 标准手势G1 d<sub>3</sub>=3
第一变换手势C12 标准手势G2 d<sub>4</sub>=2
第一变换手势C13 标准手势G1 d<sub>5</sub>=2
第一变换手势C13 标准手势G2 d<sub>6</sub>=3
第一变换手势C14 标准手势G1 d<sub>7</sub>=1
第一变换手势C14 标准手势G2 d<sub>8</sub>=2
在本公开的示例性实施例中,参考上述表1可知,上述第一变换手势C11与标准手势G1的欧式距离计算结果d1=8,与标准手势G2的欧式距离计算结果d2=6。上述第一变换手势C12与标准手势G1的欧式距离计算结果d3=3,与标准手势G2的欧式距离计算结果d4=2。上述第一变换手势C13与标准手势G1的欧式距离计算结果d5=2,与标准手势G2的欧式距离计算结果d6=3。上述第一变换手势C14与标准手势G1的欧式距离计算结果d7=1,与标准手势G2的欧式距离计算结果d8=2。
在本公开的示例性实施例中,在获取到上述多个第二变换手势之后,可以参考上述步骤的相关解释,获取上述多个第二变换手势与上述标准手势对应采样点之间的欧式距离,以作为上述第二相似度。示例性的,具体的第二相似度值可以参考如下表2。
表2
第二变换手势C21 标准手势G1 d<sub>9</sub>=10
第二变换手势C21 标准手势G2 d<sub>10</sub>=7
第二变换手势C22 标准手势G1 d<sub>11</sub>=5
第二变换手势C22 标准手势G2 d<sub>12</sub>=3
第二变换手势C23 标准手势G1 d<sub>13</sub>=3
第二变换手势C23 标准手势G2 d<sub>14</sub>=2
第二变换手势C24 标准手势G1 d<sub>15</sub>=1
第二变换手势C24 标准手势G2 d<sub>16</sub>=3
在本公开的示例性实施例中,参考上述表2可知,上述第二变换手势C21与标准手势G1的相似度d9=10,与标准手势G2的相似度d10=7。上述第二变换手势C22与标准手势G1相似度d11=5,与标准手势G2的相似度d12=3。上述第二变换手势C23与标准手势G1相似度d13=3,与标准手势G2的相似度d14=2。上述第二变换手势C24与标准手势G1相似度d15=1,与标准手势G2的相似度d16=3。
在步骤S350中,根据第一相似度与第二相似度确定目标相似度,并将目标相似度对应的标准手势确定为第一手势的识别结果。
在本公开的示例性实施例中,在确定出上述第一相似度与上述第二相似度之后,可以根据上述第一相似度与上述第二相似度确定出目标相似度,示例性的,可以从第一相似度与上述第二相似度中,确定出数值最大的相似度为上述目标相似度。比对可知,可以获取欧式距离计算结果d9=10为目标相似度。
在本公开的示例性实施例中,在确定出上述目标相似度之后,可以将上述目标相似度对应的标准手势作为上述第一手势的识别结果。进而,参照上述步骤的相关解释,可知,上述目标相似度d9对应第二变换手势C21,且对应标准手势G1(即对应预设模板库中的手势B1)。
在本公开的示例性实施例中,在确定出上述第一手势的识别结果之后,可以触发上述预设模板库中的手势对应的预设指令。示例性的,当确定出第一手势的识别结果为手势B1,且手势B1对应预设指令为“返回应用首页”时,则可以执行上述预设指令,返回应用首页。从而,能够实现快速访问某页面的功能,实现用户跨级访问的目的,提高系统的响应速度。
在本公开的示例性实施例中,图7示意性示出本公开一示例性实施例中手势识别的算法的识别流程图,以下结合图7对具体的识别流程进行解释。
在步骤S701中,开始;
在步骤S702中,初始化SDK(SoftwareDevelopmentKit,简称:SDK,软件开发工具包),SDK是包含特定软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合,初始化SDK即把相关变量赋为默认值,把控件设为默认状态,把没准备的准备好,以便后续相关程序的运行;
在步骤S703中,启动监听;
在步骤S704中,预处理策略;
在步骤S7041中,判断有效手势;
在步骤S7042中,采样;
在步骤S705中,处理策略;
在步骤S7051中,缩放;
在步骤S7052中,平移;
在步骤S7053中,旋转误差角度;
在步骤S706中,匹配策略;
在步骤S7061中,计算最小欧式距离;
在步骤S707中,返回匹配结果;
在步骤S708中,触发指令;
在步骤S709中,结束。
在本公开的示例性实施例中,图8示意性示出本公开一示例性实施例中手势识别的方法的整体模块示意图,以下结合图8对具体的实施方式进行解释。
参考图8,本公开中的手势识别的算法的整体模块图可以包括:设置模块810,数据库模块820,监听模块830,算法模块840,云端数据模块850。其中:
设置模块810,用于执行以下步骤S811-步骤S813:
在步骤S811中,选择功能,可以从数据库模块820的预设模板库中选择手势;
在步骤S812中,绘制手势;
在步骤S813中,保存手势,并根据保存的手势修改数据库模块820中的配置表。
数据库模块820,包含配置表821以及预设模板库822,其中,配置表821可以为设置模块810以及监听模块830提供配置表,并实时将数据库模块中存储的配置表(即用于存储相关配置数据)以及预设模板库(用于存储手势数据)上传至云端数据模块850。
监听模块830,用于获取手势数据,并将手势数据反馈给识别模块840,主要执行以下步骤S831-步骤S833:
在步骤S831中,初始化SDK,开始监听;
在步骤S832中,获取手势数据,识别手势;
在步骤S833中,响应手势对应的操作。
算法模块840,用于执行以下步骤S841-步骤S843:
在步骤S841中,预处理;
在步骤S842中,几何变换处理;
在步骤S843中,识别手势,并将识别结果返回给监听模块830。
云端数据模块850,用于获取数据库模块820上传的相关手势以及配置表数据。
需要说明的是,上述相关模块的命名以及各模块所执行的步骤均可以根据实际情况自行设定,属于本公开的保护范围。
本公开还提供了一种手势识别的装置,图9示出本公开示例性实施例中手势识别的装置的结构示意图;如图9所示,手势识别的装置900可以包括获取模块901、第一确定模块902、第二确定模块903、比对模块904和识别模块905。其中:
获取模块901,用于根据用户在所述触控屏幕上作用的轨迹点,获得采样序列。
在本公开的示例性实施例中,获取模块用于响应于手势设置指令,接收用户的输入手势;判断输入手势是否属于预设模板库中的手势;若输入手势不属于预设模板库中的手势,则判断输入手势是否为有效手势;若输入手势为有效手势,则将输入手势作为标准手势存储至预设模板库中。
在本公开的示例性实施例中,获取模块用于对预设模板库中的手势进行采样,根据采样结果生成标准手势;将标准手势存入预设模板库。
在本公开的示例性实施例中,获取模块用于根据用户在触控屏幕上作用的轨迹点确定待识别手势;判断待识别手势是否为有效手势;若待识别手势为有效手势,则根据预设识别精度对待识别手势进行采样,得到采样序列。
在本公开的示例性实施例中,获取模块用于根据待识别手势所包含的轨迹点的数量判断待识别手势是否为有效手势。
在本公开的示例性实施例中,获取模块用于若待识别手势的轨迹点数量大于或等于第一预设阈值,且小于或等于第二预设阈值,则确定待识别手势为有效手势;其中,第二预设阈值大于第一预设阈值。
第一确定模块902,用于根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势。
在本公开的示例性实施例中,几何变换处理包括以下至少一种:缩放处理、平移处理和旋转处理,第一确定模块用于对第一手势进行缩放处理;获取缩放处理后的第一手势的每个轨迹点与标准手势中对应轨迹点的距离,并获取轨迹点之间对应距离的统计结果;若统计结果满足预设阈值条件,则根据轨迹点之间的距离对缩放处理后的第一手势进行平移处理;对平移处理后的第一手势进行旋转处理,得到第一变换手势。
第二确定模块903,用于对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行所述几何变换处理,得到第二变换手势。
在本公开的示例性实施例中,第二确定模块用于对第二手势进行缩放处理;获取缩放处理后的第二手势的每个轨迹点与标准手势中的目标手势对应轨迹点的距离,并获取轨迹点之间对应的距离的统计结果;若统计结果满足上述预设阈值条件,则根据轨迹点之间的距离对缩放处理后的第二手势进行平移处理;对平移处理后的第二手势进行旋转处理,得到第二变换手势。
比对模块904,用于获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度。
在本公开的示例性实施例中,比对模块用于获取第一变换手势与预设模板库中的标准手势的第一相似度,并获取第二变换手势与预设模板库中的标准手势的第二相似度。
识别模块905,用于根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的所述标准手势确定为所述第一手势的识别结果。
在本公开的示例性实施例中,识别模块用于根据第一相似度与第二相似度确定目标相似度,并将目标相似度对应的标准手势确定为第一手势的识别结果。
在本公开的示例性实施例中,识别模块还用于触发目标相似度对应的标准手势对应的预设指令。
上述手势识别的装置中各模块的具体细节已经在对应的手势识别的方法中进行了详细的描述,因此此处不再赘述。
应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
此外,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、移动终端、或者网络设备等)执行根据本公开实施方式的方法。
在本公开示例性实施方式中,还提供了一种能够实现上述方法的计算机存储介质。其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在终端设备上运行时,所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。
参考图10所示,描述了根据本公开的实施方式的用于实现上述方法的程序产品1000,其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码,并可以在终端设备,例如个人电脑上运行。然而,本公开的程序产品不限于此,在本文件中,可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了可读程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质,该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于无线、有线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(LAN)或广域网(WAN),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
此外,在本公开的示例性实施例中,还提供了一种能够实现上述方法的电子设备。
所属技术领域的技术人员能够理解,本公开的各个方面可以实现为系统、方法或程序产品。因此,本公开的各个方面可以具体实现为以下形式,即:完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等),或硬件和软件方面结合的实施方式,这里可以统称为“电路”、“模块”或“系统”。
下面参照图11来描述根据本公开的这种实施方式的电子设备1100。图11显示的电子设备1100仅仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
如图11所示,电子设备1100以通用计算设备的形式表现。电子设备1100的组件可以包括但不限于:上述至少一个处理单元1110、上述至少一个存储单元1120、连接不同系统组件(包括存储单元1120和处理单元1110)的总线1130。
其中,所述存储单元存储有程序代码,所述程序代码可以被所述处理单元1110执行,使得所述处理单元1110执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。例如,所述处理单元1110可以执行如图3中所示的:步骤S310,根据用户在所述触控屏幕上作用的轨迹点,获得采样序列;步骤S320,根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势;步骤S330,对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行所述几何变换处理,得到第二变换手势;步骤S340,获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度;步骤S350,根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的所述标准手势确定为所述第一手势的识别结果。
存储单元1120可以包括易失性存储单元形式的可读介质,例如随机存取存储单元(RAM)11201和/或高速缓存存储单元11202,还可以进一步包括只读存储单元(ROM)11203。
存储单元1120还可以包括具有一组(至少一个)程序模块11205的程序/实用工具11204,这样的程序模块11205包括但不限于:操作系统、一个或者多个应用程序、其它程序模块以及程序数据,这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线1130可以为表示几类总线结构中的一种或多种,包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备1100也可以与一个或多个外部设备1200(例如键盘、指向设备、蓝牙设备等)通信,还可与一个或者多个使得用户能与该电子设备1100交互的设备通信,和/或与使得该电子设备1100能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口1150进行。并且,电子设备1100还可以通过网络适配器1160与一个或者多个网络(例如局域网(LAN),广域网(WAN)和/或公共网络,例如因特网)通信。如图所示,网络适配器1160通过总线1130与电子设备1100的其它模块通信。应当明白,尽管图中未示出,可以结合电子设备1100使用其它硬件和/或软件模块,包括但不限于:微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM,U盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。

Claims (13)

1.一种手势识别的方法,应用于具有触控屏幕的电子终端,其特征在于,包括:
根据用户在所述触控屏幕上作用的轨迹点,获得采样序列;
根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势;
对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行几何变换处理,得到第二变换手势;
获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度;
根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的标准手势确定为所述第一手势的识别结果。
2.根据权利要求1所述的方法,其特征在于,所述几何变换处理包括:缩放处理、平移处理和旋转处理。
3.根据权利要求1所述的方法,其特征在于,所述对所述第一手势进行几何变换处理,得到第一变换手势,包括:
对所述第一手势进行缩放处理;
获取缩放处理后的第一手势的每个轨迹点与所述标准手势对应轨迹点的距离,并获取轨迹点之间对应距离的统计结果;
若所述统计结果满足预设阈值条件,则根据所述轨迹点之间的距离对所述缩放处理后的第一手势进行平移处理;
对平移处理后的第一手势进行旋转处理,得到第一变换手势。
4.根据权利要求1所述的方法,其特征在于,所述对所述第二手势进行几何变换处理,得到第二变换手势,包括:
对所述第二手势进行缩放处理;
获取缩放处理后的第二手势的每个轨迹点与所述标准手势对应轨迹点的距离,并获取轨迹点之间对应的距离的统计结果;
若所述统计结果满足预设阈值条件,则根据所述轨迹点之间的距离对所述缩放处理后的第二手势进行平移处理;
对平移处理后的第二手势进行旋转处理,得到第二变换手势。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
触发所述目标相似度对应的标准手势对应的预设指令。
6.根据权利要求1所述的方法,其特征在于,所述根据用户在所述触控屏幕上作用的轨迹点,获得采样序列,包括:
根据用户在所述触控屏幕上作用的轨迹点确定待识别手势;
判断所述待识别手势是否为有效手势;
若所述待识别手势为有效手势,则根据预设识别精度对所述待识别手势进行采样,得到所述采样序列。
7.根据权利要求6所述的方法,其特征在于,所述判断所述待识别手势是否为有效手势,包括:
根据所述待识别手势所包含的轨迹点的数量判断所述待识别手势是否为有效手势。
8.根据权利要求7所述的方法,其特征在于,所述根据所述待识别手势所包含的轨迹点的数量判断所述手势是否为所述有效手势,包括:
若所述待识别手势的轨迹点数量大于或等于第一预设阈值,且小于或等于第二预设阈值,则确定所述待识别手势为所述有效手势;
其中,所述第二预设阈值大于所述第一预设阈值。
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
对所述预设模板库中的手势进行采样,根据采样结果生成标准手势;
将所述标准手势存入所述预设模板库。
10.根据权利要求9所述的方法,其特征在于,所述方法还包括:
响应于手势设置指令,接收用户的输入手势;
判断所述输入手势是否属于所述预设模板库中的手势;
若所述输入手势不属于所述预设模板库中的手势,则判断所述输入手势是否为有效手势;
若所述输入手势为有效手势,则将所述输入手势存储至预设模板库中。
11.一种手势识别的装置,应用于具有触控屏幕的电子终端,其特征在于,包括:
获取模块,用于根据用户在所述触控屏幕上作用的轨迹点,获得采样序列;
第一确定模块,用于根据所述采样序列确定第一手势,对所述第一手势进行几何变换处理,得到第一变换手势;
第二确定模块,用于对所述采样序列中的轨迹点进行逆序处理,以确定第二手势,对所述第二手势进行所述几何变换处理,得到第二变换手势;
比对模块,用于获取所述第一变换手势与预设模板库中的标准手势的第一相似度,并获取所述第二变换手势与所述预设模板库中的标准手势的第二相似度;
识别模块,用于根据所述第一相似度与所述第二相似度确定目标相似度,并将所述目标相似度对应的标准手势确定为所述第一手势的识别结果。
12.一种计算机存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1~10中任意一项所述的手势识别的方法。
13.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的可执行指令;
其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1~10中任意一项所述的手势识别的方法。
CN201911143214.3A 2019-11-20 2019-11-20 手势识别的方法及装置、计算机存储介质、电子设备 Active CN110908581B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911143214.3A CN110908581B (zh) 2019-11-20 2019-11-20 手势识别的方法及装置、计算机存储介质、电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911143214.3A CN110908581B (zh) 2019-11-20 2019-11-20 手势识别的方法及装置、计算机存储介质、电子设备

Publications (2)

Publication Number Publication Date
CN110908581A CN110908581A (zh) 2020-03-24
CN110908581B true CN110908581B (zh) 2021-04-23

Family

ID=69818281

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911143214.3A Active CN110908581B (zh) 2019-11-20 2019-11-20 手势识别的方法及装置、计算机存储介质、电子设备

Country Status (1)

Country Link
CN (1) CN110908581B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981728A (zh) * 2011-09-09 2013-03-20 微软公司 语义缩放
CN103995661A (zh) * 2013-02-20 2014-08-20 腾讯科技(深圳)有限公司 利用手势触发应用程序或应用程序功能的方法及终端
CN104732193A (zh) * 2013-12-19 2015-06-24 光宝科技股份有限公司 手势辨识系统及其手势辨识方法
CN104898981A (zh) * 2015-06-29 2015-09-09 安一恒通(北京)科技有限公司 用于识别手势的方法、装置及终端
CN104951075A (zh) * 2015-06-23 2015-09-30 上海卓易科技股份有限公司 一种移动终端自定义手势的方法及移动终端
CN105740823A (zh) * 2016-02-01 2016-07-06 北京高科中天技术股份有限公司 基于深度卷积神经网络的动态手势轨迹识别方法
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
CN108537147A (zh) * 2018-03-22 2018-09-14 东华大学 一种基于深度学习的手势识别方法
CN110334561A (zh) * 2018-03-31 2019-10-15 广州卓腾科技有限公司 一种控制对象旋转的手势控制方法
CN110362264A (zh) * 2019-06-28 2019-10-22 武汉海微科技有限公司 一种基于触摸板的动态手势识别方法、装置和系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080168402A1 (en) * 2007-01-07 2008-07-10 Christopher Blumenberg Application Programming Interfaces for Gesture Operations
CN102193739B (zh) * 2011-06-09 2012-08-29 福州瑞芯微电子有限公司 一种基于多点触控技术的视频预览选播方法
WO2013169853A1 (en) * 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US20140223382A1 (en) * 2013-02-01 2014-08-07 Barnesandnoble.Com Llc Z-shaped gesture for touch sensitive ui undo, delete, and clear functions
US20150046856A1 (en) * 2013-08-06 2015-02-12 SmartSheet.com, Inc. Interactive Charts For Collaborative Project Management
CN106682643A (zh) * 2017-01-09 2017-05-17 济南大学 一种手势的多语义识别方法
CN108965575B (zh) * 2018-05-02 2020-07-28 普联技术有限公司 一种手势动作识别方法、装置和终端设备
CN110286837A (zh) * 2019-06-20 2019-09-27 浙江开奇科技有限公司 用于数字导览的显示控制方法及移动终端

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102981728A (zh) * 2011-09-09 2013-03-20 微软公司 语义缩放
CN103995661A (zh) * 2013-02-20 2014-08-20 腾讯科技(深圳)有限公司 利用手势触发应用程序或应用程序功能的方法及终端
CN104732193A (zh) * 2013-12-19 2015-06-24 光宝科技股份有限公司 手势辨识系统及其手势辨识方法
CN104951075A (zh) * 2015-06-23 2015-09-30 上海卓易科技股份有限公司 一种移动终端自定义手势的方法及移动终端
CN104898981A (zh) * 2015-06-29 2015-09-09 安一恒通(北京)科技有限公司 用于识别手势的方法、装置及终端
CN105740823A (zh) * 2016-02-01 2016-07-06 北京高科中天技术股份有限公司 基于深度卷积神经网络的动态手势轨迹识别方法
CN107885316A (zh) * 2016-09-29 2018-04-06 阿里巴巴集团控股有限公司 一种基于手势的交互方法及装置
CN108537147A (zh) * 2018-03-22 2018-09-14 东华大学 一种基于深度学习的手势识别方法
CN110334561A (zh) * 2018-03-31 2019-10-15 广州卓腾科技有限公司 一种控制对象旋转的手势控制方法
CN110362264A (zh) * 2019-06-28 2019-10-22 武汉海微科技有限公司 一种基于触摸板的动态手势识别方法、装置和系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A Graph Retrieval Architecture and System for Online Sign Language Dictionary- with an application to Taiwanese Sign Language;Chang-Ling Hsu 等;《Europment Com》;20131231;第458-464页 *
基于双重优化的连续手势识别方法;高畅 等;《图学学报》;20150228;第36卷(第1期);第102-110页 *
基于手势几何分布特征的手势识别;韩笑 等;《计算机科学》;20190630;第46卷(第6A期);第246-249,262页 *

Also Published As

Publication number Publication date
CN110908581A (zh) 2020-03-24

Similar Documents

Publication Publication Date Title
CN109240576B (zh) 游戏中的图像处理方法及装置、电子设备、存储介质
CN106951484B (zh) 图片检索方法及装置、计算机设备及计算机可读介质
CN106484266B (zh) 一种文本处理方法及装置
JP6517352B2 (ja) 翻訳情報の提供方法及びシステム
CN112016638B (zh) 一种钢筋簇的识别方法、装置、设备及存储介质
CN109710066B (zh) 基于手势识别的交互方法、装置、存储介质和电子设备
CN105739897A (zh) 一种触控操作处理的方法、装置以及终端
CN113792651B (zh) 一种融合手势识别和指尖定位的手势交互方法、设备及介质
CN108320740B (zh) 一种语音识别方法、装置、电子设备及存储介质
CN110471610A (zh) 终端控制方法、装置、终端及存储介质
CN117011581A (zh) 图像识别方法、介质、装置和计算设备
CN109635706B (zh) 基于神经网络的手势识别方法、设备、存储介质及装置
CN112578967B (zh) 图表信息读取方法及移动终端
CN110850982A (zh) 基于ar的人机交互学习方法、系统、设备及存储介质
CN110908581B (zh) 手势识别的方法及装置、计算机存储介质、电子设备
CN112948594A (zh) Rpa知识图谱建立方法、装置、服务器和存储介质
CN107272998A (zh) 投影终端的控制方法和装置
CN116229535A (zh) 人脸检测模型的训练方法、人脸检测方法及装置
CN113672154B (zh) 页面交互方法、介质、装置和计算设备
JP5735126B2 (ja) システムおよび筆跡検索方法
CN115880719A (zh) 手势深度信息生成方法、装置、设备和计算机可读介质
CN110162251B (zh) 图像缩放方法及装置、存储介质、电子设备
CN110516024B (zh) 地图搜索结果展现方法、装置、设备和存储介质
CN108563335B (zh) 虚拟现实交互方法、装置、存储介质及电子设备
CN114495173A (zh) 一种姿态识别方法、装置、电子设备及计算机可读介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant