CN107797666A - 手势识别方法、装置及电子设备 - Google Patents

手势识别方法、装置及电子设备 Download PDF

Info

Publication number
CN107797666A
CN107797666A CN201711165975.XA CN201711165975A CN107797666A CN 107797666 A CN107797666 A CN 107797666A CN 201711165975 A CN201711165975 A CN 201711165975A CN 107797666 A CN107797666 A CN 107797666A
Authority
CN
China
Prior art keywords
gesture
data
sensing data
decision
probability distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201711165975.XA
Other languages
English (en)
Inventor
周舒然
李家祥
龚亚光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chumen Wenwen Information Technology Co Ltd
Original Assignee
Chumen Wenwen Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chumen Wenwen Information Technology Co Ltd filed Critical Chumen Wenwen Information Technology Co Ltd
Priority to CN201711165975.XA priority Critical patent/CN107797666A/zh
Publication of CN107797666A publication Critical patent/CN107797666A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明提供了一种手势识别方法,其中,该方法包括以下步骤:实时获取传感器数据;提取所述传感器数据的特征数据;计算当前特征数据对应各个预定义手势的概率分布;根据所述概率分布通过决策算法确认手势。根据本发明的方案,智能穿戴设备如智能手表仅需搭载三轴加速度传感器,通过大数据和机器学习训练手势识别模型,将智能穿戴设备处理的传感器采集的加速度数据与所述手势识别模型进行匹配,即可实现手势识别,无需多个传感器组合使用,如加速度传感器和陀螺仪,即可实现手势的准确识别,鲁棒性强,识别率高,更加容易扩展。

Description

手势识别方法、装置及电子设备
技术领域
本发明涉及智能穿戴设备领域,尤其涉及一种手势识别方法、装置及电子设备。
背景技术
人机交互是研究人和计算机及其两者之间相互影响的技术,研究人与计算机通过人机界面进行某种形式的信息交流、以完成特定任务的过程。随着计算机硬件的快速发展,机器的计算能力越来越强大,可用资源也越来越丰富,人的体态与心理感受都已经成了设计需要考虑的重要问题。人机交互正在逐渐摆脱以计算机为中心的交互模式,而向以人为中心的交互模式发展;利于用户自然、自由地交互方式,已成为人机交互的发展趋势。
手势是一种人们经常使用的交流方式,在人机交互方面,相较于传统的键盘和鼠标,手势的动作与其设计更加自由,使用上也更加灵活、直观,在用户体验上更加符合人类的交流习惯。因此,手势识别技术已经成为人机交互领域中兴起方艾的前沿研究方向之一。
在人机交互中,基于手势的交互模式具有以下优势:手势识别直接以人手的自然动作作为输入,与语音识别等交互手段相比较,省却了中间媒介,降低了背景环境对识别效果的影响。丰富了手持设备的应用场景,可以与虚拟现实技术相结合。
现在的手势识别技术根据其不同的输入设备可以分为两种:基于视觉图像的识别技术和基于运动传感器的识别技术。其中,基于视觉图像的手势识别主要通过摄像头等设备采集人手动作的图像信息,该技术起步早,理论研究比较成熟,其识别的成功率和算法的复杂度都比较理想;但是,其缺点是对设备要求高、资金投入大、对环境的依赖性较高,需要充足均匀的背景光源,从而使得基于图像的手势识别不能应用于复杂环境中,实际应用效果不佳。
基于运动传感器的手势识别主要通过加速度传感器、三轴陀螺仪、磁场传感器或方向传感器等多种传感器采集人手的空中姿态及其运动数据,再根据所述运动数据建立相应的识别规则以达到手势识别的目的。该方法需要预先设定规则,如果手势识别不准确,则需要反复调整这些规则。
发明内容
本发明的目的是提供一种解决上述技术问题的手势识别方法、装置及电子设备。
根据本发明的一个方面,提供一种手势识别方法,其中,该方法包括以下步骤:
实时获取传感器数据;
提取所述传感器数据的特征数据;
计算当前特征数据对应各个预定义手势的概率分布;
根据所述概率分布通过决策算法确认手势。
根据本发明的另一个方面,还提供了一种手势识别装置,其中,该装置包括:
第一获取模块,用于实时获取传感器数据;
提取模块,用于提取所述传感器数据的特征数据;
计算模块,用于计算当前特征数据对应各个预定义手势的概率分布;
决策模块,用于根据所述概率分布通过决策算法确认手势。
根据本发明的再一个方面,还提供了一种电子设备,包括处理器和存储有程序代码的存储介质,所述程序代码当被处理器执行时,实现上述的手势识别方法。
与现有技术相比,本发明具有以下优点:现有的手势识别主要通过加速度传感器、三轴陀螺仪、磁场传感器或方向传感器等多种传感器采集人手的空中姿态及其运动数据,再通过建立模型、匹配模板、构建神经网络等算法完成对手势的分类识别。这种手势识别方法由于基于各种设计好的基本规则,鲁棒性不强,在设计加入一个新手势时,需要观察手势特点再设计一整套规则来约束,十分不便,可扩展性较差。本发明提出的手势识别方法,智能穿戴设备如智能手表仅需搭载三轴加速度传感器,通过大数据和机器学习训练手势识别数据,处理智能穿戴设备的传感器采集的加速度数据,计算当前数据对应各个预定义手势的概率分布,根据所述概率分布通过决策算法确认手势,即可实现手势识别,无需多个传感器组合使用,鲁棒性强,识别率高,更加容易扩展。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明一实施例的手势识别方法的流程示意图;
图2为图1中根据根据匹配结果计算当前特征数据对应各个预定义手势的概率分布的细化流程示意图;
图3为图1中根据所述概率分布通过决策算法确认手势的细化流程示意图;
图4为本发明另一实施例的手势识别方法的流程示意图;
图5为本发明又一实施例的手势识别方法的流程示意图;
图6为本发明一实施例的手势识别装置的结构示意图;
图7为图6中计算模块的细化结构示意图;
图8为图6中决策模块的细化结构示意图;
图9为本发明另一实施例的手势识别装置的结构示意图;
图10为本发明又一实施例的手势识别装置的结构示意图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是,一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。此外,各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止,但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
后面所讨论的方法(其中一些通过流程图示出)可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或者其任意组合来实施。当用软件、固件、中间件或微代码来实施时,用以实施必要任务的程序代码或代码段可以被存储在机器或计算机可读介质(比如存储介质)中。(一个或多个)处理器可以实施必要的任务。
这里所公开的具体结构和功能细节仅仅是代表性的,并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现,并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是,虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元,但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说,在不背离示例性实施例的范围的情况下,第一单元可以被称为第二单元,并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是,当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。与此相对,当一个单元被称为“直接连接”或“直接耦合”到另一单元时,则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”,“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是,在一些替换实现方式中,所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说,取决于所涉及的功能/动作,相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1为本发明一个实施例的手势识别方法的流程示意图。
一种手势识别方法,该方法包括以下步骤:
步骤S101,实时获取传感器数据;
在本实施例中,智能穿戴设备集成的三轴加速度转感器自动采集手势加速度数据,本实施例中所述智能穿戴设备以手表为例,所述智能手表通过加速度传感器接口实时获取手势加速度数据,并判断当前时刻的手势加速度数据能量是否超过启动阈值,如果是,则判定手势运动已经启动,开始记录手势加速度数据;否则,结束该流程。
在启动采集手势加速度数据后,判断所采集的手势加速度数据能量在设定时间内是否小于停止阈值,同时判断相邻的手势加速度数据之间的欧式距离是否也小于波动阈值;如果两者都是,则判定手势运动结束,停止数据采集;否则,继续采集手势加速度数据,且当获取的加速度数据组的长度大于预设长度门限时,则判定该组数据有效;否则,判定该组数据无效,直接丢弃之。
步骤S102,提取所述传感器数据的特征数据;
在本实施例中,处理器在接收到所述传感器数据后,将所述传感器数据处理,绘制波形数据,提取所述波形数据波峰和波谷等(包括在频域的特征)特征点的数据,根据所述特征数据与手势识别模型进行匹配。
可选地,本实施例中根据所述特征数据与手势识别模型进行匹配,所述步骤S102后还包括步骤S103,通过模型匹配所述特征数据;
所述模型通过事先训练得到,由线下录制处理完成,具体步骤为采集多个实验人员对所有预定义手势在各种情形下的手势数据,进行归一化处理,将归一化处理后的数据进行特征提取,通过机器学习的方法训练识别模型。
归一化:本发明采用归一化消除手势力度差异对识别结果的影响:根据公式:对每个加速度数据进行归一化处理,得到归一化的加速度数据集合,以消除手势力度差异对识别结果的影响。
所述模型可针对用户进行动态调整,将确认的手势信息及传感器数据上传至服务器,对应存储所述手势信息和传感器数据,根据所述传感器数据调整所述手势的模型。
可以理解的是,不同的用户使用所述智能手表进行手势识别时,产生的手势数据存在差异,传感器对不同的用户做出同一手势产生的数据也可能差异较大,针对同一用户,所述用户在使用智能手表进行同一手势产生的多次手势数据差异相对较小,故可以通过采集用户使用手势识别时产生的手势数据生成该用户专用的手势识别模型。
需要说明的是,在本发明的一实施例中,本发明对于搜集到的所述用户数据按照预设的筛选规则进行筛选,将经过筛选的数据根据上处处理方法进行处理,并将处理过的所述数据用于优化手势识别模型,进而使本发明的手势识别模型识别手势更加精确。
可以理解的是,用户可以自行定义一些手势,对于所述用户自定义手势,进行同样的收集筛选处理,以便本发明根据所述处理后的数据优化更新手势识别模型。
步骤S104,计算当前特征数据对应各个预定义手势的概率分布;
在本实施例中,实时计算所述处理好的特征数据对应各个预设手势的概率。可选地,本步骤中对当前特征数据应各个预设手势概率的获取根据步骤S103的匹配结果。
参照图2,所述步骤S104包括:
步骤S104a,获取当前特征数据对应各个预定义手势的概率大小;
步骤S104b,基于所述概率大小对各个预定义手势进行排序。
在本实施例中,所述处理好的特征数据实时与手势模型进行匹配,得到所述特征数据对应各个预设手势的概率,例如时间点1产生的特征数据对应手势01的概率为90%,对应手势02的概率为80%,对应手势03的概率为50%,本实施例中的手势数目不仅仅局限于上述的三种手势。随着用户的手势进行,即时间点的推进,当前特征数据对应各个手势的概率会产生变化,例如时间点2产生的特征数据对应手势01的概率为40%,对应手势02的概率为60%,对应手势03的概率为90%,需要注意的是,本实施例中特征数据的提取是实时的,特征数据与模型的匹配也是实时的,所述特征数据对应各个预定义手势的概率也是实时产生的,所述预定义手势概率的变化是连续的。
步骤S105,根据所述概率分布通过决策算法确认手势。
参照图3,所述步骤S105包括:
步骤S105a,获取所述手势的决策状态;
步骤S105b,判断所述手势是否处于待决策状态;
步骤S105c,在所述手势处于待决策状态时,通过决策算法进行加权处理;
步骤S105d,根据处理结果确认手势。
在本实施例中,用户佩戴智能手表一直在产生传感器数据,用户在完成一手势后,所述智能手表的加速度传感器依然在不停采集产生数据,所以在检测到手势达到决策状态时,主处理器根据手势识别模型匹配结果的概率分布情况和决策算法来确定手势。可以理解的是,手势的决策状态也是实时产生的,即实时检测所述手势的状态,在本实施例中,将所述手势分为手势未达到待决策状态和手势达到待决策状态两种状态,所述手势未达到待决策状态即所述手势没有结束趋势,所述手势达到决策状态即所述手势已结束。
现有的手势识别主要通过加速度传感器、三轴陀螺仪、磁场传感器或方向传感器等多种传感器采集人手的空中姿态及其运动数据,再通过建立模型、匹配模板、构建神经网络等算法完成对手势的分类识别。这种手势识别方法由于基于各种设计好的基本规则,鲁棒性不强,在设计加入一个新手势时,需要观察手势特点再设计一整套规则来约束,十分不便,可扩展性较差。本发明提出的手势识别方法,智能穿戴设备如智能手表仅需搭载三轴加速度传感器,通过大数据和机器学习训练手势识别模型,将智能穿戴设备处理的传感器采集的加速度数据与所述手势识别模型进行匹配,根据匹配结果计算当前数据对应各个预定义手势的概率分布,根据所述概率分布通过决策算法确认手势,即可实现手势识别,无需多个传感器组合使用,鲁棒性强,识别率高,更加容易扩展。
图4为本发明手势识别方法另一实施例的流程示意图,在本实施例中,所述手势识别方法包括步骤:
步骤S201,获取设备的当前状态;
步骤S202,判断所述设备当前状态是否可以进行手势识别;
在本实施例中,智能穿戴设备有两个使用状态,以智能手表为例,所述智能手表屏幕熄灭时,主处理器功能受到限制,只有协处理器在处理传感器数据,无法进行手势服务;所述智能手表处在亮屏状态时,主处理器功能全部开启,此时才可以使用手势服务,进行手势识别。用户可通过特定的动作或按键切换所述智能手表的两种状态。
在所述设备可以进行手势识别时,执行步骤S203,实时获取传感器数据;
在本实施例中,设置所述智能手表在检测到用户进行抬手看表的动作时切换为亮屏状态,例如,用户佩戴所述智能手表行走在路上,两侧手臂自然下垂,此时所述智能手表处于熄屏状态,主处理器的功能没有全部开启,只有协处理器处理所述智能手表的传感器产生的数据,不能进行手势服务,即所述智能手表的加速度传感器随着用户行走时手臂的摆动会不断产生数据,但是由于此时所述智能手表处于熄屏状态,故不对所述加速度传感器产生的数据进行手势识别处理。用户在行走过程中,做出了抬手看表的动作,此时所述智能手表亮屏,主处理器的全部功能开启,此时可以进行手势识别服务。
步骤S204,提取所述传感器数据的特征数据;
步骤S205,通过模型匹配所述特征数据;
步骤S206,根据匹配结果计算当前特征数据对应各个预定义手势的概率分布;
步骤S207,根据所述概率分布通过决策算法确认手势。
本实施例提出的手势识别方法,用户使用所述智能穿戴设备,在需要进行手势识别服务时,用户可通过特定的操作唤醒主处理器,进而识别用户做出的手势,若未唤醒主处理器,则不对三轴加速度传感器采集的数据进行处理,节省了所述智能穿戴设备的能源。
图5为本发明手势识别方法又一实施例的流程示意图,在本实施例中,所述方法包括步骤:
步骤S301,实时获取传感器数据;
步骤S302,提取所述传感器数据的特征数据;
步骤S303,通过模型匹配所述特征数据;
步骤S304,根据匹配结果计算当前特征数据对应各个预定义手势的概率分布;
步骤S305,根据所述概率分布通过决策算法确认手势;
步骤S306,获取所述手势对应的操作;
步骤S307,执行所述操作。
在本实施例中,用户佩戴所述智能手表可以通过手势进行一些操作,例如用户可以通过上下翻转佩戴所述智能手表的手腕查看通知消息或者接听电话,本实施例中所述手势可以对应一种通用操作或多种不同应用操作,例如所述智能手表有电话打入时,通过翻转手腕可以接听电话,在所述智能手表处于接听电话状态时,用户通过再次翻转手腕可以挂断电话;或者通过上抬手腕可以进行智能手表的通用确定操作,下压手腕进行通用退出操作,例如用户在通过晃动手腕选择智能手表的不同应用,在选定一应用后,例如录音笔,用户进行上抬手腕动作,所述智能手表识别出用户的上抬手腕动作后,进入录音笔,用户再次进行上抬手腕,开始进行录音,一段时间后,用户录音结束,通过下压手腕退出录音笔。
本实施例提出的手势识别方法,在识别出用户相应的手势动作后,可根据预设的信息,执行所述手势动作对应操作,为用户使用所述智能穿戴设备提供了方便,可扩展性更强,提高了用户体验。
图6为本发明一实施例的手势识别装置的结构示意图。
一种手势识别装置,该装置包括:
第一获取模块11,用于实时获取传感器数据;
在本实施例中,智能穿戴设备集成的三轴加速度转感器自动采集手势加速度数据,本实施例中所述智能穿戴设备以手表为例,所述智能手表通过加速度传感器接口实时获取手势加速度数据,并判断当前时刻的手势加速度数据能量是否超过启动阈值,如果是,则判定手势运动已经启动,开始记录手势加速度数据;否则,结束该流程。
在启动采集手势加速度数据后,判断所采集的手势加速度数据能量在设定时间内是否小于停止阈值,同时判断相邻的手势加速度数据之间的欧式距离是否也小于波动阈值;如果两者都是,则判定手势运动结束,停止数据采集;否则,继续采集手势加速度数据,且当获取的加速度数据组的长度大于预设长度门限时,则判定该组数据有效;否则,判定该组数据无效,直接丢弃之。
提取模块12,用于提取所述传感器数据的特征数据;
在本实施例中,处理器在接收到所述传感器数据后,将所述传感器数据处理,绘制波形数据,提取所述波形数据波峰和波谷等(包括在频域的特征)特征点的数据,根据所述特征数据与手势识别模型进行匹配。
可选地,本实施例中根据所述特征数据与手势识别模型进行匹配,所述装置还包括匹配模块13,用于通过模型匹配所述特征数据;
所述模型通过事先训练得到,由线下录制处理完成,具体步骤为采集多个实验人员对所有预定义手势在各种情形下的手势数据,进行归一化处理,将归一化处理后的数据进行特征提取,通过机器学习的方法训练识别模型。归一化:本发明采用归一化消除手势力度差异对识别结果的影响:根据公式:对每个加速度数据进行归一化处理,得到归一化的加速度数据集合,以消除手势力度差异对识别结果的影响。
所述模型可针对用户进行动态调整,将确认的手势信息及传感器数据上传至服务器,对应存储所述手势信息和传感器数据,根据所述传感器数据调整所述手势的模型。
可以理解的是,不同的用户使用所述智能手表进行手势识别时,产生的手势数据存在差异,传感器对不同的用户做出同一手势产生的数据也可能差异较大,针对同一用户,所述用户在使用智能手表进行同一手势产生的多次手势数据差异相对较小,故可以通过采集用户使用手势识别时产生的手势数据生成该用户专用的手势识别模型。
需要说明的是,在本发明的一实施例中,本发明对于搜集到的所述用户数据按照预设的筛选规则进行筛选,将经过筛选的数据根据上处处理方法进行处理,并将处理过的所述数据用于优化手势识别模型,进而使本发明的手势识别模型识别手势更加精确。
可以理解的是,用户可以自行定义一些手势,对于所述用户自定义手势,进行同样的收集筛选处理,以便本发明根据所述处理后的数据优化更新手势识别模型。
计算模块14,用于根据匹配结果计算当前特征数据对应各个预定义手势的概率分布;
在本实施例中,实时计算所述处理好的特征数据对应各个预设手势的概率。可选地,对当前特征数据应各个预设手势概率的获取根据匹配模块13的匹配结果。
参照图7,所述计算模块14包括:
计算单元14a,用于计算当前特征数据对应各个预定义手势的概率大小;
排序单元14b,用于基于所述概率大小对各个预定义手势进行排序。
在本实施例中,所述处理好的特征数据实时与手势模型进行匹配,得到所述特征数据对应各个预设手势的概率,例如时间点1产生的特征数据对应手势01的概率为90%,对应手势02的概率为80%,对应手势03的概率为50%,本实施例中的手势数目不仅仅局限于上述的三种手势。随着用户的手势进行,即时间点的推进,当前特征数据对应各个手势的概率会产生变化,例如时间点2产生的特征数据对应手势01的概率为40%,对应手势02的概率为60%,对应手势03的概率为90%,需要注意的是,本实施例中特征数据的提取是实时的,特征数据与模型的匹配也是实时的,所述特征数据对应各个预定义手势的概率也是实时产生的,所述预定义手势概率的变化是连续的。
决策模块15,用于根据所述概率分布通过决策算法确认手势。
参照图8,所述决策模块15包括:
获取单元15a,用于获取所述手势的决策状态;
判断单元15b,用于判断所述手势是否处于待决策状态;
加权单元15c,用于在所述手势处于待决策状态时,通过决策算法进行加权处理;
确认单元15d,用于根据处理结果确认手势。
在本实施例中,用户佩戴智能手表一直在产生传感器数据,用户在完成一手势后,所述智能手表的加速度传感器依然在不停采集产生数据,所以在检测到手势达到决策状态时,主处理器根据手势识别模型匹配结果的概率分布情况和决策算法来确定手势。可以理解的是,手势的决策状态也是实时产生的,即实时检测所述手势的状态,在本实施例中,将所述手势分为手势未达到待决策状态和手势达到待决策状态两种状态,所述手势未达到待决策状态即所述手势没有结束趋势,所述手势达到决策状态即所述手势已结束。
现有的手势识别主要通过加速度传感器、三轴陀螺仪、磁场传感器或方向传感器等多种传感器采集人手的空中姿态及其运动数据,再通过建立模型、匹配模板、构建神经网络等算法完成对手势的分类识别。这种手势识别方法由于基于各种设计好的基本规则,鲁棒性不强,在设计加入一个新手势时,需要观察手势特点再设计一整套规则来约束,十分不便,可扩展性较差。本发明提出的手势识别装置,智能穿戴设备如智能手表仅需搭载三轴加速度传感器,通过大数据和机器学习训练手势识别模型,将智能穿戴设备处理的传感器采集的加速度数据与所述手势识别模型进行匹配,根据匹配结果计算当前数据对应各个预定义手势的概率分布,根据所述概率分布通过决策算法确认手势,即可实现手势识别,无需多个传感器组合使用,鲁棒性强,识别率高,更加容易扩展。
图9为本发明手势识别装置另一实施例的结构示意图,在本实施例中,所述手势识别装置包括:
第一获取模块21,用于实时获取传感器数据;
提取模块22,用于提取所述传感器数据的特征数据;
在本实施例中,智能穿戴设备有两个使用状态,以智能手表为例,所述智能手表屏幕熄灭时,主处理器功能受到限制,只有协处理器在处理传感器数据,无法进行手势服务;所述智能手表处在亮屏状态时,主处理器功能全部开启,此时才可以使用手势服务,进行手势识别。用户可通过特定的动作或按键切换所述智能手表的两种状态。
匹配模块23,用于通过模型匹配所述特征数据;
计算模块24,用于根据匹配结果计算当前特征数据对应各个预定义手势的概率分布;
决策模块25,用于根据所述概率分布通过决策算法确认手势。
在本实施例中,设置所述智能手表在检测到用户进行抬手看表的动作时切换为亮屏状态,例如,用户佩戴所述智能手表行走在路上,两侧手臂自然下垂,此时所述智能手表处于熄屏状态,主处理器的功能没有全部开启,只有协处理器处理所述智能手表的传感器产生的数据,不能进行手势服务,即所述智能手表的加速度传感器随着用户行走时手臂的摆动会不断产生数据,但是由于此时所述智能手表处于熄屏状态,故不对所述加速度传感器产生的数据进行手势识别处理。用户在行走过程中,做出了抬手看表的动作,此时所述智能手表亮屏,主处理器的全部功能开启,此时可以进行手势识别服务。
第二获取模块26,用于获取设备的当前状态;
判断模块27,用于判断所述设备当前状态是否可以进行手势识别;
所述第一获取模块21还用于在所述设备可以进行手势识别时,实时获取传感器数据。
本实施例提出的手势识别装置,用户使用所述智能穿戴设备,在需要进行手势识别服务时,用户可通过特定的操作唤醒主处理器,进而识别用户做出的手势,若未唤醒主处理器,则不对三轴加速度传感器采集的数据进行处理,节省了所述智能穿戴设备的能源。
图10为本发明手势识别装置又一实施例的结构示意图,在本实施例中,所述装置包括:
第一获取模块31,用于实时获取传感器数据;
提取模块32,用于提取所述传感器数据的特征数据;
匹配模块33,用于通过模型匹配所述特征数据;
计算模块34,用于根据匹配结果计算当前特征数据对应各个预定义手势的概率分布;
决策模块35,用于根据所述概率分布通过决策算法确认手势;
第三获取模块36,用于获取所述手势对应的操作;
执行模块37,用于执行所述操作。
在本实施例中,用户佩戴所述智能手表可以通过手势进行一些操作,例如用户可以通过上下翻转佩戴所述智能手表的手腕查看通知消息或者接听电话,本实施例中所述手势可以对应一种通用操作或多种不同应用操作,例如所述智能手表有电话打入时,通过翻转手腕可以接听电话,在所述智能手表处于接听电话状态时,用户通过再次翻转手腕可以挂断电话;或者通过上抬手腕可以进行智能手表的通用确定操作,下压手腕进行通用退出操作,例如用户在通过晃动手腕选择智能手表的不同应用,在选定一应用后,例如录音笔,用户进行上抬手腕动作,所述智能手表识别出用户的上抬手腕动作后,进入录音笔,用户再次进行上抬手腕,开始进行录音,一段时间后,用户录音结束,通过下压手腕退出录音笔。
本实施例提出的手势识别装置,在识别出用户相应的手势动作后,可根据预设的信息,执行所述手势动作对应操作,为用户使用所述智能穿戴设备提供了方便,可扩展性更强,提高了用户体验。
需要注意的是,本发明可在软件和/或软件与硬件的组合体中被实施,例如,本发明的各个装置可采用专用集成电路(ASIC)或任何其他类似硬件设备来实现。在一个实施例中,本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地,本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中,例如,RAM存储器,磁或光驱动器或软磁盘及类似设备。另外,本发明的一些步骤或功能可采用硬件来实现,例如,作为与处理器配合从而执行各个步骤或功能的电路。
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一,第二等词语用来表示名称,而并不表示任何特定的顺序。

Claims (10)

1.一种手势识别方法,其特征在于,该方法包括以下步骤:
实时获取传感器数据;
提取所述传感器数据的特征数据;
计算当前特征数据对应各个预定义手势的概率分布;
根据所述概率分布通过决策算法确认手势。
2.如权利要求1所述的手势识别方法,其特征在于,所述计算当前特征数据对应各个预定义手势的概率分布的步骤之前包括:
通过模型匹配所述特征数据;
相应地,根据匹配结果计算当前特征数据对应各个预定义手势的概率分布的步骤,具体包括:
获取当前特征数据对应各个预定义手势的概率大小;
基于所述概率大小对各个预定义手势进行排序。
3.如权利要求1所述的手势识别方法,其特征在于,根据所述概率分布通过决策算法确认手势的步骤包括:
获取所述手势的决策状态;
判断所述手势是否处于待决策状态;
在所述手势处于待决策状态时,通过决策算法进行加权处理;
根据处理结果确认手势。
4.如权利要求1所述的手势识别方法,其特征在于,所述模型由线下录制处理得到,通过采集各个预定义手势在各个情形下的数据,将所述数据进行特征提取和归一化处理,通过机器学习训练得到所述模型。
5.如权利要求1-3任一所述的手势识别方法,其特征在于,所述实时获取传感器数据的步骤之前还包括:
获取设备的当前状态;
判断所述设备当前状态是否可以进行手势识别;
在所述设备可以进行手势识别时,执行所述实时获取传感器数据的步骤。
6.如权利要求4所述的手势识别方法,其特征在于,所述模型可针对用户进行动态调整,将确认的手势信息及传感器数据上传至服务器,对应存储所述手势信息和传感器数据,根据所述传感器数据调整所述手势的模型。
7.如权利要求1-3任一所述的手势识别方法,其特征在于,根据所述概率分布通过决策算法确认手势的步骤之后还包括:
获取所述手势对应的操作;
执行所述操作。
8.一种手势识别装置,其特征在于,该装置包括:
第一获取模块,用于实时获取传感器数据;
提取模块,用于提取所述传感器数据的特征数据;
计算模块,用于计算当前特征数据对应各个预定义手势的概率分布;
决策模块,用于根据所述概率分布通过决策算法确认手势。
9.一种可读存储介质,存储有程序代码,所述程序代码当被处理器执行时,实现如权利要求1-7之一所述的方法。
10.一种电子设备,包括处理器和存储有程序代码的存储介质,所述程序代码当被处理器执行时,实现如权利要求1-7之一所述的方法。
CN201711165975.XA 2017-11-21 2017-11-21 手势识别方法、装置及电子设备 Pending CN107797666A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201711165975.XA CN107797666A (zh) 2017-11-21 2017-11-21 手势识别方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201711165975.XA CN107797666A (zh) 2017-11-21 2017-11-21 手势识别方法、装置及电子设备

Publications (1)

Publication Number Publication Date
CN107797666A true CN107797666A (zh) 2018-03-13

Family

ID=61535513

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201711165975.XA Pending CN107797666A (zh) 2017-11-21 2017-11-21 手势识别方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN107797666A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108501954A (zh) * 2018-04-03 2018-09-07 北京瑞特森传感科技有限公司 一种手势识别方法、装置、汽车和存储介质
CN110347260A (zh) * 2019-07-11 2019-10-18 歌尔科技有限公司 一种增强现实装置及其控制方法、计算机可读存储介质
CN110399032A (zh) * 2019-07-09 2019-11-01 北京卡路里信息技术有限公司 穿戴设备的控制方法和装置
CN112040064A (zh) * 2020-09-22 2020-12-04 深圳市锐尔觅移动通信有限公司 控制方法、电子装置及计算机可读存储介质
CN112069483A (zh) * 2020-09-14 2020-12-11 中国科学技术大学 一种智能可穿戴设备的用户识别认证方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303730A (zh) * 2008-07-04 2008-11-12 西安电子科技大学 基于分类器集成的人脸识别系统及其方法
CN101694693A (zh) * 2009-10-16 2010-04-14 中国科学院合肥物质科学研究院 基于加速度传感器人体运动识别系统及方法
CN102693007A (zh) * 2011-03-04 2012-09-26 微软公司 姿势检测和识别
CN103105924A (zh) * 2011-11-15 2013-05-15 中国科学院深圳先进技术研究院 人机交互方法和装置
CN103517118A (zh) * 2012-12-28 2014-01-15 Tcl集团股份有限公司 一种遥控器的动作识别方法及系统
CN105787434A (zh) * 2016-02-01 2016-07-20 上海交通大学 基于惯性传感器的人体运动模式识别方法
CN106598231A (zh) * 2016-11-22 2017-04-26 深圳市元征科技股份有限公司 手势识别方法及装置
CN106960017A (zh) * 2017-03-03 2017-07-18 掌阅科技股份有限公司 电子书分类及其训练方法、装置和设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101303730A (zh) * 2008-07-04 2008-11-12 西安电子科技大学 基于分类器集成的人脸识别系统及其方法
CN101694693A (zh) * 2009-10-16 2010-04-14 中国科学院合肥物质科学研究院 基于加速度传感器人体运动识别系统及方法
CN102693007A (zh) * 2011-03-04 2012-09-26 微软公司 姿势检测和识别
CN103105924A (zh) * 2011-11-15 2013-05-15 中国科学院深圳先进技术研究院 人机交互方法和装置
CN103517118A (zh) * 2012-12-28 2014-01-15 Tcl集团股份有限公司 一种遥控器的动作识别方法及系统
CN105787434A (zh) * 2016-02-01 2016-07-20 上海交通大学 基于惯性传感器的人体运动模式识别方法
CN106598231A (zh) * 2016-11-22 2017-04-26 深圳市元征科技股份有限公司 手势识别方法及装置
CN106960017A (zh) * 2017-03-03 2017-07-18 掌阅科技股份有限公司 电子书分类及其训练方法、装置和设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108501954A (zh) * 2018-04-03 2018-09-07 北京瑞特森传感科技有限公司 一种手势识别方法、装置、汽车和存储介质
CN110399032A (zh) * 2019-07-09 2019-11-01 北京卡路里信息技术有限公司 穿戴设备的控制方法和装置
CN110347260A (zh) * 2019-07-11 2019-10-18 歌尔科技有限公司 一种增强现实装置及其控制方法、计算机可读存储介质
CN110347260B (zh) * 2019-07-11 2023-04-14 歌尔科技有限公司 一种增强现实装置及其控制方法、计算机可读存储介质
CN112069483A (zh) * 2020-09-14 2020-12-11 中国科学技术大学 一种智能可穿戴设备的用户识别认证方法
CN112040064A (zh) * 2020-09-22 2020-12-04 深圳市锐尔觅移动通信有限公司 控制方法、电子装置及计算机可读存储介质
CN112040064B (zh) * 2020-09-22 2022-01-04 深圳市锐尔觅移动通信有限公司 控制方法、电子装置及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN107797666A (zh) 手势识别方法、装置及电子设备
US10126826B2 (en) System and method for interaction with digital devices
US20200042094A1 (en) User interface control of responsive devices
CN110489043A (zh) 一种悬浮窗口的管理方法及相关装置
CN110598576B (zh) 一种手语交互方法、装置及计算机介质
CN107765835A (zh) 点亮屏幕的方法、装置及终端
CN110443167B (zh) 传统文化手势的智能识别方法、智能交互方法及相关装置
CN107578023A (zh) 人机交互手势识别方法、装置及系统
US20120280897A1 (en) Attribute State Classification
CN106233240A (zh) 交互式显示器上的文本输入
CN104991640B (zh) 交互界面上的实物编程系统和方法
CN113808446B (zh) 一种健身课程交互方法及相关装置
CN104238741A (zh) 包括径向布局软键区的用户接口
CN106393113A (zh) 机器人和机器人的交互控制方法
CN110866468A (zh) 一种基于无源rfid的手势识别系统及方法
CN110442233A (zh) 一种基于手势交互的增强现实键鼠系统
CN112817443A (zh) 基于手势的显示界面控制方法、装置、设备及存储介质
CN104615984B (zh) 基于用户任务的手势识别方法
CN109669710A (zh) 便签处理方法及终端
CN110413106B (zh) 一种基于语音和手势的增强现实输入方法及系统
CN103376884B (zh) 人机交互方法及其装置
CN107992193A (zh) 手势确认方法、装置及电子设备
CN107491141A (zh) 包含两个表体的智能手表
CN103218124B (zh) 基于深度摄像头的菜单控制方法及系统
CN206805464U (zh) Vr环境与现实环境实现真实交互的触感手套

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20180313