CN106371569A - 动作识别方法及动作识别装置 - Google Patents

动作识别方法及动作识别装置 Download PDF

Info

Publication number
CN106371569A
CN106371569A CN201510691536.7A CN201510691536A CN106371569A CN 106371569 A CN106371569 A CN 106371569A CN 201510691536 A CN201510691536 A CN 201510691536A CN 106371569 A CN106371569 A CN 106371569A
Authority
CN
China
Prior art keywords
sensor
action
type sensor
body region
whole body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510691536.7A
Other languages
English (en)
Inventor
魏娜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhigu Ruituo Technology Services Co Ltd
Original Assignee
Beijing Zhigu Ruituo Technology Services Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zhigu Ruituo Technology Services Co Ltd filed Critical Beijing Zhigu Ruituo Technology Services Co Ltd
Priority to CN201510691536.7A priority Critical patent/CN106371569A/zh
Priority to US15/277,454 priority patent/US10162421B2/en
Publication of CN106371569A publication Critical patent/CN106371569A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请各实施例公开了一种动作识别方法及动作识别装置。所述方法包括:使用至少一第一类型传感器检测用户至少一身体部位的运动;响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。本申请实施例的方法及装置能够基于运动幅度选择性激活不同类型传感器,通过多种类型的传感器的协作实现较好的动作识别精度和效果。

Description

动作识别方法及动作识别装置
技术领域
本申请涉及智能终端技术领域,尤其涉及动作识别方法及动作识别装置。
背景技术
技术的进步促进了更小且更强大的计算设备的出现。举例来说,当前存在多种便携式个人计算设备,这样的设备较小、重量较轻且易于由用户携带,例如,电话、个人数字助理(PDA)、平板电脑、以及各种可穿戴式设备(例如,智能手表、智能手环、智能眼镜,等等)。这类设备除了拥有无线通信功能外,还具有例如多媒体播放、网络浏览、拍照摄像以及医疗检查等功能,由此,为了实现用户与此类设备的交互,许多此类设备包含并入其中的多种其它类型的装置,例如,相机、陀螺仪、接近传感器(Proximity Sensor)、雷达、全球定位系统(Global Positioning System,GPS)传感器,等等。
发明内容
有鉴于此,本申请实施例的一个目的在于提供一种结合多种类型的传感器的动作识别方案。
为实现上述目的,根据本申请实施例的第一方面,提供了一种动作识别方法,所述方法包括:
使用至少一第一类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作令。
结合第一方面,在第一种可能的实现方式中,所述方法还包括:
响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。
结合第一方面或第一方面的第一种可能的实现方式,在第二种可能的实现方式中,所述识别所述用户至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
结合第一方面或第一方面的上述任一种可能的实现方式,在第十种可能的实现方式中,所述识别所述至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第一方面或第一方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述识别所述至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数;
至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第一方面或第一方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述至少一第二类型传感器包括雷达,所述配置参数包括以下中的至少一项:雷达的发射功率、发射方向、发射频率、波束赋形参数。
结合第一方面或第一方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述方法还包括:
将识别的所述动作与至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第一方面或第一方面的上述任一种可能的实现方式,在第七种可能的实现方式中,识别所述至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式;
至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作;
所述方法还包括:
至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第一方面或第一方面的上述任一种可能的实现方式,在第八种可能的实现方式中,所述方法还包括:
响应于所述运动幅度超过所述预设阈值,禁用所述至少一第二类型传感器。
结合第一方面或第一方面的上述任一种可能的实现方式,在第九种可能的实现方式中,所述第二类型传感器对于不超过所述预设阈值的运动幅度具有比所述第一类型传感器对所述不超过所述预设阈值的运动幅度更高的检测精度;
所述第一类型传感器对于超过所述预设阈值的运动幅度具有比所述第二类型传感器对所述超过所述预设阈值的运动幅度更高的检测精度。
结合第一方面或第一方面的上述任一种可能的实现方式,在第十种可能的实现方式中,所述第二类型传感器的功耗高于所述第一类型传感器。
根据本申请实施例的第二方面,提供了一种动作识别方法,所述方法包括:
使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
结合第二方面,在第一种可能的实现方式中,所述方法还包括:
响应于所述用户至少一身体部位的运动幅度不超过所述预设阈值,激活所述至少一第二类型传感器。
结合第二方面或第二方面的第一种可能的实现方式,在第二种可能的实现方式中,所述方法还包括:
响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。
结合第二方面或第二方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述识别所述用户至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
结合第二方面或第二方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述识别所述用户至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第二方面或第二方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述识别所述至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数;
至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第二方面或第二方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述至少一第二类型传感器包括雷达,所述配置参数包括以下中的至少一项:雷达的发射功率、发射方向、发射频率、波束赋形参数。
结合第二方面或第二方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述方法还包括:
将识别的所述动作与至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第二方面或第二方面的上述任一种可能的实现方式,在第八种可能的实现方式中,所述识别所述至少一身体部位的运动包括:
至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式;
至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作;
所述方法还包括:
至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第二方面或第二方面的上述任一种可能的实现方式,在第九种可能的实现方式中,所述第一类型传感器对超过所述预设阈值的运动幅度具有比所述第二类型传感器对所述超过所述预设阈值的运动幅度更高的检测精度;
所述第二类型传感器对于不超过所述预设阈值的运动幅度具有比所述第一类型传感器对所述不超过所述预设阈值的运动幅度更高的检测精度。
结合第二方面或第二方面的上述任一种可能的实现方式,在第十种可能的实现方式中,所述第二类型传感器的功耗高于所述第一类型传感器。
根据本申请的第三方面,提供了一种动作识别装置,所述装置包括:
一第一检测模块,用于使用至少一第一类型传感器检测用户至少一身体部位的运动;
一第一控制模块,用于响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
一第二控制模块,用于至少基于所述至少一第二类型传感器的检测结果生成控制命令。
结合第三方面,在第一种可能的实现方式中,所述第一控制模块还用于响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。
结合第三方面或第三方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第一识别模块包括用于至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
结合第三方面或第三方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述第一识别模块包括:
一第一确定单元,用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器;
一第一识别单元,用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第三方面或第三方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述第一识别模块包括:
一第一确定单元,用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数;
一第一识别单元,用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第三方面或第三方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述在还包括:
一第二控制模块,用于将识别的所述动作与至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第三方面或第三方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述第一识别模块包括:
一第一确定单元,用于至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式;
一第一识别单元,用于至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作;
所述装置还包括:
一第二控制模块,用于至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第三方面或第三方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述第一控制模块还用于响应于所述运动幅度超过所述预设阈值,禁用所述至少一第二类型传感器。
根据本申请的第四方面,提供了一种动作识别装置,所述装置包括:
一第二检测模块,用于使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
一第三控制模块,用于响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
一第四控制模块,用于至少基于所述至少一第一类型传感器的检测结果生成控制命令。
结合第四方面,在第一种可能的实现方式中,所述第三控制模块还用于响应于所述用户至少一身体部位的运动幅度不超过所述预设阈值,激活所述至少一第二类型传感器。
结合第四方面或第四方面的第一种可能的实现方式,在第二种可能的实现方式中,所述第三控制模块还用于响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。
结合第四方面或第四方面的上述任一种可能的实现方式,在第三种可能的实现方式中,所述第二识别模块用于至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
结合第四方面或第四方面的上述任一种可能的实现方式,在第四种可能的实现方式中,所述第二识别模块包括:
一第二确定单元,用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器;
一第二识别单元,用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第四方面或第四方面的上述任一种可能的实现方式,在第五种可能的实现方式中,所述第二识别模块包括:
一第二确定单元,用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数;
一第二识别单元,用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
结合第四方面或第四方面的上述任一种可能的实现方式,在第六种可能的实现方式中,所述装置还包括:
一第四控制模块,用于将识别的所述动作与至少一预设动作做匹配,并基于匹配结果生成控制命令。
结合第四方面或第四方面的上述任一种可能的实现方式,在第七种可能的实现方式中,所述第二识别模块包括:
一第二确定单元,用于至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式;
一第二识别单元,用于至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作;
所述装置还包括:
一第四控制模块,用于至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。根据本申请的第五方面,提供了一种计算设备,所述设备包括:前述第三方面提供的任一种动作识别装置和/或前述第四方面提供的任一种动作识别装置,还包括所述至少一第一类型传感器和/或所述至少一第二类型传感器。
根据本申请的第六方面,提供了一种动作识别装置,所述装置包括:
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
使用至少一第一类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果生成控制命令。
根据本申请的第七方面,提供了一种动作识别装置,所述装置包括:
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
至少基于所述至少一第一类型传感器的检测结果生成控制命令。
本申请实施例的方法及装置能够基于运动幅度选择性激活不同类型传感器的使用,通过多种类型的传感器的协作实现较好的动作识别精度和效果。
附图说明
图1为本申请第一种实施例的动作识别方法的一种示例的流程图;
图2为本申请第二种实施例的动作识别方法的一种示例的流程图;
图3(a)至图3(c)为本申请第一种实施例的动作识别装置的多种示例的结构框图;
图4(a)至图4(c)为本申请第二种实施例的动作识别装置的多种示例的结构框图;
图5为本申请实施例的计算设备的一种示例的结构框图;
图6为本申请第一种实施例的动作识别装置的另一种示例的结构框图;
图7为本申请第二种实施例的动作识别装置的另一种示例的结构框图。
具体实施方式
下面结合附图和实施例,对本发明的具体实施方式作进一步详细说明。以下实施例用于说明本发明,但不用来限制本发明的范围。
本领域技术人员可以理解,本申请中的“第一”、“第二”等术语仅用于区别不同设备、模块或参数等,既不代表任何特定技术含义,也不表示它们之间的必然逻辑顺序。
图1为本申请第一种实施例的动作识别方法的一种示例的流程图。本实施例的方法适用于正在使用或即将使用一个或多个第一类型传感器进行用户至少一身体部位的动作识别的场景,第一类型传感器可为能够用于检测用户至少一身体部位的运动的任意类型的传感器,且可属于实施本实施例的方法的装置。如图1所示,该方法包括:
S120.使用至少一第一类型传感器检测用户至少一身体部位的运动。
在一种可能的实现方式中,一个或多个第一类型传感器可设置在待控制设备的任一个或多个不影响该设备正常使用的位置。所述至少一身体部位可指用户身体上的任何合适的部位,例如,手、腿、眼睛、或任何其他部位。
S140.响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器。
本申请各实施例的技术方案根据用户至少一身体部位的运动幅度来选择性激活可用的多种类型传感器,在本实施例的方法中,运动幅度可指在一预设的检测时间内所述用户至少一身体部位相对于一参考的位移。该预设的检测时间可为运动的开始和结束之间的任一合适的时间段,且可以例如实施本实施例的方法的装置或基于本实施例的方法所识别的动作来实施控制的设备本身为所述参考,例如,预设的检测时间内用户的手部相对于待控制设备的显示屏的位移。
此外,基于本实施例的方法期望实现的多种类型传感器协作所能达到的效果来选择将要激活的与第一类型传感器协作的传感器的类型,也即所述至少一第二类型传感器,并确定用于激活第二类型传感器的相应的所述预设阈值。
对于不同类型的传感器,其能够检测的运动幅度的能力和精度不同,例如,用户使用其整个手部通过在一个2D平面的挥动或滑动动作来,使用像红外接近传感器(IR Proximity Sensor)、图像传感器(Image sensor)、超声传感器、雷达等这样类型的传感器都可以检测这样的动作,但精度各有不同。例如,与超声传感器相比,图像传感器的检测精度可能更高;而与图像传感器相比,雷达的检测精度更高。而对于像手指的捏、搓等这样的较为细微的动作,像红外接近传感器、图像传感器(由于光线等原因)甚至可能不能够检测到或者检测精度较低,而雷达却可以追踪用户手部的最细微的动作。因此,在一种可能的实现方式中,本实施例的方法可为了达到较高的动作识别精度而激活第二类型传感器。在这样的实现方式中,优选地,所述第二类型传感器对于不超过所述预设阈值的运动幅度具有比所述第一类型传感器对所述不超过所述预设阈值的运动幅度更高的检测精度。所述第一类型传感器对于超过所述预设阈值的运动幅度具有比所述第二类型传感器对所述超过所述预设阈值的运动幅度更高的检测精度。
此外,不同类型的传感器可能具有不同的成本、功耗等,例如,具有较高精度的传感器相应的成本以及可能的功耗更大。因此,在另一种可能的实现方式中,本实施例的方法为了达到动作识别的精度以及设备功耗之间的平衡的目的选择性激活第二类型传感器,尤其对于各传感器属于例如可穿戴设备,对于这样的设备,其续航能力是影响用户体验的重要因素,其所包含的各种传感器的功耗即成为重要的考虑因素。在这样的情况下,第二类型传感器为具有比第一类型传感器更高的功耗的传感器,因此,除了上述精度考虑外,本实施例的方法基于对不同运动幅度的动作的检测精度选择性激活第二类型传感器,从而尽可能实现动作识别的精度和功耗之间的平衡。
S160.至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
需要说明的是,所述预设阈值可基于多种类型传感器协作所要达到的最优效果确定。例如,所述预设阈值可设置使得:基于该预设阈值激活第二类型传感器时,第一类型传感器和第二类型传感器的使用既能够满足控制需要的动作识别精度,也能实现最低的功耗,也即,实现动作识别精度和功耗之间的平衡。且可考虑实施本实施例的方法的装置的当前电力水平,动态变化该预设阈值。再例如,所述预设阈值可设置为仅需使得:基于传感器不同的检测能力,能够实现对所有细微程度的动作识别即可。例如,将其设置为接近传感器所能检测的最小的运动幅度,一旦达到该最小的运动幅度,即可激活雷达的使用。
综上,本实施例的方法能够基于运动幅度选择性激活不同类型传感器的使用,具有较好的识别效率和效果。
在一种可能的实现方式中,本实施例的方法激活第二类型传感器之后可不再使用第一类型传感器,从而进一步节省功耗。在这样的实现方式中,本实施例的方法还包括:
S150.响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。在这样的实现方式中,仅基于至少一第二类型传感器的检测结果即可识别用户至少一身体部位的动作。
在另一种可能的实现方式中,本实施例的方法可结合第一类型传感器和第二类型传感器的检测结果进行动作识别。在这样的实现方式中,步骤S160可进一步包括:
S162.至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
具体地,在一种可能的实现方式中,可能使用的第二类型传感器可能不止一个,例如,实施手势控制时,用户的手可能位于相对于待控制设备的不同位置,可在待控制设备的不同位置处设置多个第二类型传感器,激活相应位置处的一个或多个第二类型传感器即可实施对用户的手部运动的检测,而无需全部激活。在这样的情况下,第一类型传感器的检测结果可用于第二类型传感器的激活,而不直接用于动作识别。步骤S162可进一步包括:
S1622.至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器。例如,一组(一个或多个)第一类型传感器可对应于一组(一个或多个)第二类型传感器的设置,若一组第一类型传感器检测到用户至少一身体部位的运动,则在激活第二类型传感器时,激活该组第一类型传感器对应的一组第二类型传感器。
S1624.至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
可选地,步骤S162还可进一步包括:
S1622’.至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数。
第一类型传感器的检测结果可用于确定和/或调整所激活的至少一第二类型传感器的配置参数,以使实现第二类型传感器最好的检测性能。基于所使用的传感器类型,所述配置参数可包括但不限于:发射功率、发射功率、发射频率。例如,在所述第二类型传感器包括雷达时,可基于第一类型传感器检测到的用户至少一身体部位的位置,调整雷达的发射方向、发射频率等等。
S1624’.至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
此外,本实施例的方法可应用对各种适用于基于用户的姿势来实施控制的计算设备的控制场景中,本申请各实施例的技术方案中所使用的各类型的传感器即属于待控制的计算设备本身,这样的设备包括但不限于:手机、平板电脑、车载设备、可穿戴设备(例如,智能手表、智能手环,等等)、或可基于用户的姿势控制的任何其他计算设备。随着例如手势控制等基于动作识别的控制技术的发展,且随着计算设备体积的减小,出现了越来越细微的控制动作。在这样的情况下,本实施例的方法还包括:
S180.将识别的所述动作与至少一预设动作做匹配,并基于匹配结果生成控制命令。
所述至少一预设动作可为能够获取的已设置好的与不同的控制命令匹配的动作,例如,存储在实施本实施例的方法的装置本地,或待控制设备的本地。
在又一种可能的实现方式中,所述至少一预设动作可分类成多种不同的运动模式,例如,将手势划分成滑动、挥动、搓、捏、旋转、抓握等多种运动模式,可基于第一类型传感器的检测结果进行第一轮匹配,确定匹配的运动模式;再基于激活的第二类型传感器的检测结果在已确定的运动模式中进行第二轮匹配,以提高匹配速度。在这样的情况下,步骤S160可进一步包括:
S162’.至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式。
S164’.至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作。
在这样的实现方式中,步骤S180可包括:
S182.至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
激活至少一第二类型传感器之后,本实施例的方法可随时基于运动幅度的变化禁用所激活的部分或全部第二类型传感器,以满足检测精度和功耗的需求。在这样的情况下,本实施例的方法还可包括:
S190.响应于所述运动幅度超过所述预设阈值,禁用所述至少一第二类型传感器。
综上,本实施例的方法提供了一种基于运动幅度实现多种类型传感器的动作识别,进而实施控制的方案。
将理解,如本文所使用的,“雷达”是使用电磁波尤其是无线电波来检测物体的存在、它们的速度和运动方向以及它们到雷达的距离的检测装置。从物体上反弹回来(即,反射)的发射波可被雷达检测,可以根据发射波和反射波之间的时间差来确定物体的距离,通过检测多普勒频移能够检测物体是朝向还是远离雷达运动,且可通过波束赋形来确定物体的方向。
还需要说明的是,在本申请各实施例的技术方案中,可基于传感器的检测结果,采用本领域中任意合适的技术来实现识别用户至少一身体部位的动作,在此不做为对本申请各实施例技术方案的限制。
图2为本申请第二种实施例的动作识别的方法的一种示例的流程图。本实施例的方法适用于正在使用或即将使用一个或多个第一类型传感器以及一个或多个第二类型传感器识别用户至少一身体部位的动作的场景。如图2所示,所述方法包括:
S220.使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动。
在一种可能的实现方式中,所述一个或多个第一类型传感器以及所述一个或多个第二类型传感器可设置在待控制设备的任一个或多个不影响该设备正常使用的位置。所述至少一身体部位可指用户身体上的任何合适的部位,例如,手、腿、眼睛、或任何其他部位。
S240.响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器。
在本实施例的方法中,运动幅度指在一预设的检测时间内所述用户至少一身体部位相对于一参考的位移。该预设的检测时间可为运动的开始和结束之间的任一合适的时间段,且可以例如实施本实施例的方法的装置或基于本实施例的方法所识别的动作来实施控制的待控制设备本身为所述参考,例如,预设的检测时间内用户的手部相对于待控制设备的显示屏的位移。
如结合图1所描述的,本实施例的方法中可基于第一类型和第二类型传感器协作所要达到的最优识别效果设置所述预设阈值。对于不同类型的传感器,其能够检测的运动幅度的能力和精度不同,不同类型的传感器可能具有不同的成本、功耗等,例如,具有较高精度的传感器相应的成本以及可能的功耗更大。因此,在一种可能的实现方式中,本实施例的方法中的第二种类型传感器和第一类型传感器的协作是为了达到动作识别的精度以及设备功耗之间的平衡的目的,尤其对于各传感器属于待控制设备的情况下,例如对于可穿戴设备,其续航能力是影响用户体验的重要因素,其所包含的各种传感器的功耗即成为重要的考虑因素。在这样的情况下,本实施例的方法在仅使用较低精度(功耗)的传感器即可精确的检测用户至少一部位的动作时,也即,运动幅度不超过所述预设阈值时,禁用至少一第二类型传感器,从而尽可能实现动作识别的精度和功耗之间的平衡。
S260.至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
需要说明的是,所述预设阈值可设置使得:基于该预设阈值禁用所述至少一第二类型传感器时,第一类型传感器的使用既能够满足控制需要的动作识别精度,也能实现最低的功耗,也即,实现动作识别精度和功耗之间的平衡。且还可考虑实施本实施例的方法的装置的当前电力水平,动态变化该预设阈值。再有例如,所述预设阈值可设置可仅需使得:基于传感器不同的检测能力,能够实现对所有细微程度的动作识别即可。例如,将其设置为接近传感器所能检测的最的运动幅度,一旦达到该最小的运动幅度,即可禁用雷达的使用。
综上,本实施例的方法能够根据所要实现的不同的识别目的,基于运动幅度选择性禁用功耗较高的不同类型传感器的使用,能够实现检测精度和功耗之间的平衡。
禁用第二类型传感器之后,使用第一类型传感器的检测结果即可实现动作识别。也即,在步骤S260至少基于所述至少一第一类型传感器的检测结果,即可识别所述用户的动作。
如结合图1所描述的,在至少一第一类型传感器的检测结果不足以支持用户至少一身体部位的动作识别时,本实施例的方法仍需适时激活之前禁用的至少一第二类型传感器。在一种可能的实现方式中,本实施例的方法还包括:
S280.响应于所述用户至少一身体部位的运动幅度不超过所述预设阈值,激活所述至少一第二类型传感器。
在这样的情况下,步骤S260可进一步包括:
S262.至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
具体地,在一种可能的实现方式中,可能使用的第二类型传感器可能不止一个,例如,实施手势控制时,用户的手可能位于相对于待控制设备的不同位置,可在待控制设备的不同位置处设置多个第二类型传感器,激活相应位置处的一个或多个第二类型传感器即可实施对用户的手部运动的检测,而无需全部激活。在这样的情况下,第一类型传感器的检测结果可用于第二类型传感器的激活,而不直接用于动作识别。步骤S262可进一步包括:
S2622.至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器。例如,一组(一个或多个)第一类型传感器可对应于一组(一个或多个)第二类型传感器的设置,若一组第一类型传感器检测到用户至少一身体部位的运动,则在激活第二类型传感器时,激活该组第一类型传感器对应的一组第二类型传感器。
S2624.至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
可选地,步骤S262可进一步包括:
S2622’.至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数。
第一类型传感器的检测结果可用于确定和/或调整所激活的至少一第二类型传感器的配置参数,以使实现第二类型传感器最好的检测性能。基于所使用的传感器类型,所述配置参数可包括但不限于:发射功率、发射功率、发射频率。例如,在所述第二类型传感器包括雷达时,可基于第一类型传感器检测到的用户至少一身体部位的位置,调整雷达的发射方向、发射频率等等。
S2624’.至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
此外,本实施例的方法可应用对各种适用于基于用户的姿势来实施控制的计算设备的控制场景中,本申请各实施例的技术方案中所使用的各类型的传感器即属于待控制的计算设备本身,这样的设备包括但不限于:手机、平板电脑、车载设备、可穿戴设备(例如,智能手表、智能手环,等等)、或可基于用户的姿势控制的任何其他计算设备。随着例如手势控制等基于动作识别的控制技术的发展,且随着计算设备体积的减小,出现了越来越细微的控制动作。在这样的情况下,本实施例的方法还包括:
S290.至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
所述至少一预设动作可为能够获取的已设置好的与不同的控制命令匹配的动作,例如,存储在实施本实施例的方法的装置本地,或待控制设备的本地。
在至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作的实现方式中,可选地,所述至少一预设动作可分类成多种不同的运动模式,例如,将手势划分成滑动、挥动、搓、捏、旋转、抓握等多种运动模式,可基于第一类型传感器的检测结果进行第一轮匹配,确定匹配的运动模式;再基于激活的第二类型传感器的检测结果在已确定的运动模式中进行第二轮匹配,以提高匹配速度。在这样的情况下,步骤S262可进一步包括:
S262”.至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式;
S264”.至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作。
在这样的情况下,步骤S290可进一步包括:
S292.至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
此外,为了进一步节省功耗,重新激活所述至少一第二类型传感器之后,可禁用所述至少一第一类型传感器,即所述方法还包括:
S282.响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。
综上,本实施例的方法提供了一种基于运动幅度实现多种类型传感器的动作识别,进而实施控制的方案。
本领域技术人员可以理解,在本申请具体实施方式的上述方法中,各步骤的序号大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本申请具体实施方式的实施过程构成任何限定。
此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图1中所示实施方式中的方法的各步骤的操作。
此外,本申请实施例还提供了一种计算机可读介质,包括在被执行时进行以下操作的计算机可读指令:执行上述图2中所示实施方式中的方法的各步骤的操作。
图3(a)是本申请第一种实施例的动作识别装置的一种示例的结构框图。其中,该第一类型传感器可属于本实施例的装置或属于待控制的计算设备,且第一类型传感器可为能够用于检测用户至少一身体部位的任意类型的传感器。如图3(a)所示,本实施例的动作识别装置300包括:
第一检测模块320,用于使用至少一第一类型传感器检测用户至少一身体部位的运动。
在一种可能的实现方式中,一个或多个第一类型传感器可设置在待控制设备的任一个或多个不影响该设备正常使用的位置。所述至少一身体部位可指用户身体上的任何合适的部位,例如,手、腿、眼睛、或任何其他部位。
第一控制模块340,用于响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器。
本申请各实施例的技术方案根据用户至少一身体部位的运动幅度来选择性激活可用的多种类型传感器,在本实施例的装置中,运动幅度可指在一预设的检测时间内所述用户至少一身体部位相对于一参考的位移。该预设的检测时间可为运动的开始和结束之间的任一合适的时间段,且可以例如本实施例的装置或基于本实施例的装置所识别的动作来实施控制的设备本身为所述参考,例如,预设的检测时间内用户的手部相对于待控制设备的显示屏的位移。
此外,基于本实施例的装置期望实现的多种类型传感器协作所能达到的效果来选择将要激活的与第一类型传感器协作的传感器的类型,也即所述至少一第二类型传感器,并确定用于激活第二类型传感器的相应的所述预设阈值。
对于不同类型的传感器,其能够检测的运动幅度的能力和精度不同,例如,用户使用其整个手部通过在一个2D平面的挥动或滑动动作,使用像红外接近传感器(IR Proximity Sensor)、图像传感器(Imagesensor)、超声传感器、雷达等这样类型的传感器都可以检测这样的动作,但精度各有不同。例如,与超声传感器相比,图像传感器的检测精度可能更高;而与图像传感器相比,雷达的检测精度更高。而对于像手指的捏、搓等这样的较为细微的动作,像红外接近传感器、图像传感器(由于光线等原因)甚至可能不能够检测到或者检测精度较低,而雷达却可以追踪用户手部的最细微的动作。因此,在一种可能的实现方式中,本实施例的装置可为了达到较高的动作识别精度而激活第二类型传感器。在这样的实现方式中,优选地,所述第二类型传感器对于不超过所述预设阈值的运动幅度具有比所述第一类型传感器对所述不超过所述预设阈值的运动幅度更高的检测精度。所述第一类型传感器对于超过所述预设阈值的运动幅度具有比所述第二类型传感器对所述超过所述预设阈值的运动幅度更高的检测精度。
此外,不同类型的传感器可能具有不同的成本、功耗等,例如,具有较高精度的传感器相应的成本以及可能的功耗更大。因此,在另一种可能的实现方式中,本实施例的方法为了达到动作识别的精度以及设备功耗之间的平衡的目的选择性激活第二类型传感器,尤其对于各传感器属于例如可穿戴设备,对于这样的设备,其续航能力是影响用户体验的重要因素,其所包含的各种传感器的功耗即成为重要的考虑因素。在这样的情况下,第二类型传感器为具有比第一类型传感器更高的功耗的传感器,因此,除了上述精度考虑外,本实施例的方法基于对不同运动幅度的动作的检测精度选择性激活第二类型传感器,从而尽可能实现动作识别的精度和功耗之间的平衡。
第一识别模块360,用于至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
需要说明的是,所述预设阈值可基于多种类型传感器协作所要达到的最优效果确定。例如,所述预设阈值可设置使得:基于该预设阈值激活第二类型传感器时,第一类型传感器和第二类型传感器的使用既能够满足控制需要的动作识别精度,也能实现最低的功耗,也即,实现动作识别精度和功耗之间的平衡。且可考虑实施本实施例的方法的装置的当前电力水平,动态变化该预设阈值。再例如,所述预设阈值可设置为仅需使得:基于传感器不同的检测能力,能够实现对所有细微程度的动作识别即可。例如,将其设置为接近传感器所能检测的最小的运动幅度,一旦达到该最小的运动幅度,即可激活雷达的使用。
综上,本实施例的装置能够基于运动幅度选择性激活不同类型传感器的使用,具有较好的识别效率和效果。
在一种可能的实现方式中,本实施例的装置激活第二类型传感器之后可不再使用第一类型传感器,从而进一步节省功耗。在这样的实现方式中,第一控制模块340还用于响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。在这样的实现方式中,仅基于至少一第二类型传感器的检测结果即可识别用户至少一身体部位的动作。
在另一种可能的实现方式中,本实施例的装置可结合第一类型传感器和第二类型传感器的检测结果进行动作识别。在这样的实现方式中,第一识别模块360可用于至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
具体地,如图3(b)所示,第一识别模块360可进一步包括:第一确定单元362以及第一识别单元364。
在一种可能的实现方式中,可能使用的第二类型传感器可能不止一个,例如,实施手势控制时,用户的手可能位于相对于待控制设备的不同位置,可在待控制设备的不同位置处设置多个第二类型传感器,激活相应位置处的一个或多个第二类型传感器即可实施对用户的手部运动的检测,而无需全部激活。在这样的情况下,第一类型传感器的检测结果可用于第二类型传感器的激活,而不直接用于动作识别。第一确定单元362用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器。例如,一组(一个或多个)第一类型传感器可对应于一组(一个或多个)第二类型传感器的设置,若一组第一类型传感器检测到用户至少一身体部位的运动,则在激活第二类型传感器时,激活该组第一类型传感器对应的一组第二类型传感器。
第一识别单元364可用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
在另一种可能的实现方式中,第一确定单元362还可用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数。
第一类型传感器的检测结果可用于确定和/或调整所激活的至少一第二类型传感器的配置参数,以使实现第二类型传感器最好的检测性能。基于所使用的传感器类型,所述配置参数可包括但不限于:发射功率、发射功率、发射频率。例如,在所述第二类型传感器包括雷达时,可基于第一类型传感器检测到的用户至少一身体部位的位置,调整雷达的发射方向、发射频率等等。
第一识别单元364还可用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
此外,本实施例的装置可应用对各种适用于基于用户的姿势来实施控制的计算设备的控制场景中,本申请各实施例的技术方案中所使用的各类型的传感器即属于待控制的计算设备本身,这样的设备包括但不限于:手机、平板电脑、车载设备、可穿戴设备(例如,智能手表、智能手环,等等)、或可基于用户的姿势控制的任何其他计算设备。随着例如手势控制等基于动作识别的控制技术的发展,且随着计算设备体积的减小,出现了越来越细微的控制动作。在这样的情况下,如图3(c)所示,本实施例的装置300还可包括:
第二控制模块380,用于将识别的所述动作与至少一预设动作做匹配,并基于匹配结果生成控制命令。
所述至少一预设动作可为能够获取的已设置好的与不同的控制命令匹配的动作,例如,存储在本实施例的装置本地,或待控制设备的本地。
在又一种可能的实现方式中,所述至少一预设动作可分类成多种不同的运动模式,例如,将手势划分成滑动、挥动、搓、捏、旋转、抓握等多种运动模式,可基于第一类型传感器的检测结果进行第一轮匹配,确定匹配的运动模式;再基于激活的第二类型传感器的检测结果在已确定的运动模式中进行第二轮匹配,以提高匹配速度。在这样的情况下,第一确定单元362可用于至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式。
第一识别单元364可用于至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作。
在这样的实现方式中,第二控制模块380可用于至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
激活至少一第二类型传感器之后,本实施例的装置可随时基于运动幅度的变化禁用所激活的部分或全部第二类型传感器,以满足检测精度和功耗的需求。在这样的情况下,第一控制模块340还可用于响应于所述运动幅度超过所述预设阈值,禁用所述至少一第二类型传感器。
综上,本实施例的装置提供了一种基于运动幅度实现多种类型传感器的动作识别,进而实施控制的方案。
还需要说明的是,在本申请各实施例的技术方案中,可基于传感器的检测结果,采用本领域中任意合适的技术来实现识别用户至少一身体部位的动作,在此不做为对本申请各实施例技术方案的限制。
图4(a)为本申请第二种实施例的动作识别装置的一种示例的结构框图。其中,该第一类型传感器和第二类型传感器可属于本实施例的装置或属于待控制的计算设备。如图4(a)所示,该装置400包括:
第二检测模块420,用于使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动。
在一种可能的实现方式中,所述一个或多个第一类型传感器以及所述一个或多个第二类型传感器可设置在待控制设备的任一个或多个不影响该设备正常使用的位置。所述至少一身体部位可指用户身体上的任何合适的部位,例如,手、腿、眼睛、或任何其他部位。
第三控制模块440,用于响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器。
在本实施例的装置中,运动幅度指在一预设的检测时间内所述用户至少一身体部位相对于一参考的位移。该预设的检测时间可为运动的开始和结束之间的任一合适的时间段,且可以例如本实施例的装置或基于本实施例的方法所识别的动作来实施控制的待控制设备本身为所述参考,例如,预设的检测时间内用户的手部相对于待控制设备的显示屏的位移。
如结合图1所描述的,本实施例的装置中可基于第一类型和第二类型传感器协作所要达到的最优识别效果设置所述预设阈值。对于不同类型的传感器,其能够检测的运动幅度的能力和精度不同,不同类型的传感器可能具有不同的成本、功耗等,例如,具有较高精度的传感器相应的成本以及可能的功耗更大。因此,在一种可能的实现方式中,第二种类型传感器和第一类型传感器的协作是为了达到动作识别的精度以及设备功耗之间的平衡的目的,尤其对于各传感器属于待控制设备的情况下,例如对于可穿戴设备,其续航能力是影响用户体验的重要因素,其所包含的各种传感器的功耗即成为重要的考虑因素。在这样的情况下,本实施例的装置在仅使用较低精度(功耗)的传感器即可精确的检测用户至少一部位的动作时,也即,运动幅度不超过所述预设阈值时,禁用至少一第二类型传感器,从而尽可能实现动作识别的精度和功耗之间的平衡。
第二识别模块460,用于至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
需要说明的是,所述预设阈值可设置使得:基于该预设阈值禁用所述至少一第二类型传感器时,第一类型传感器的使用既能够满足控制需要的动作识别精度,也能实现最低的功耗,也即,实现动作识别精度和功耗之间的平衡。且还可考虑实施本实施例的方法的装置的当前电力水平,动态变化该预设阈值。再有例如,所述预设阈值可设置可仅需使得:基于传感器不同的检测能力,能够实现对所有细微程度的动作识别即可。例如,将其设置为接近传感器所能检测的最的运动幅度,一旦达到该最小的运动幅度,即可禁用雷达的使用。
综上,本实施例的装置能够根据所要实现的不同的识别目的,基于运动幅度选择性禁用功耗较高的不同类型传感器的使用,能够实现检测精度和功耗之间的平衡。
禁用第二类型传感器之后,使用第一类型传感器的检测结果即可实现动作识别。也即,第二识别模块460可用于至少基于所述至少一第一类型传感器的检测结果,即可识别所述用户的动作。
如结合图1所描述的,在至少一第一类型传感器的检测结果不足以支持用户至少一身体部位的动作识别时,本实施例的装置仍需适时激活之前禁用的至少一第二类型传感器。在一种可能的实现方式中,第三控制模块440还可用于响应于所述用户至少一身体部位的运动幅度不超过所述预设阈值,激活所述至少一第二类型传感器。
在这样的情况下,第二识别模块360可用于至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
具体地,如图4(b)所示,第二识别模块460可进一步包括第二确定子单元4622以及第二识别单元464。且在一种可能的实现方式中,可能使用的第二类型传感器可能不止一个,例如,实施手势控制时,用户的手可能位于相对于待控制设备的不同位置,可在待控制设备的不同位置处设置多个第二类型传感器,激活相应位置处的一个或多个第二类型传感器即可实施对用户的手部运动的检测,而无需全部激活。在这样的情况下,第一类型传感器的检测结果可用于第二类型传感器的激活,而不直接用于动作识别。第二确定单元462可用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器。例如,一组(一个或多个)第一类型传感器可对应于一组(一个或多个)第二类型传感器的设置,若一组第一类型传感器检测到用户至少一身体部位的运动,则在激活第二类型传感器时,激活该组第一类型传感器对应的一组第二类型传感器。
第二识别单元464可用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
可选地,第二确定单元462还可用于至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数。
第一类型传感器的检测结果可用于确定和/或调整所激活的至少一第二类型传感器的配置参数,以使实现第二类型传感器最好的检测性能。基于所使用的传感器类型,所述配置参数可包括但不限于:发射功率、发射功率、发射频率。例如,在所述第二类型传感器包括雷达时,可基于第一类型传感器检测到的用户至少一身体部位的位置,调整雷达的发射方向、发射频率等等。
第二识别单元464还可用于至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作,也即,仅基于第二类型传感器的检测结果进行动作识别。
此外,本实施例的方法可应用对各种适用于基于用户的姿势来实施控制的计算设备的控制场景中,本申请各实施例的技术方案中所使用的各类型的传感器即属于待控制的计算设备本身,这样的设备包括但不限于:手机、平板电脑、车载设备、可穿戴设备(例如,智能手表、智能手环,等等)、或可基于用户的姿势控制的任何其他计算设备。随着例如手势控制等基于动作识别的控制技术的发展,且随着计算设备体积的减小,出现了越来越细微的控制动作。在这样的情况下,如图4(c)所示,本实施例的装置400还可包括:
第四控制模块480,用于至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
所述至少一预设动作可为能够获取的已设置好的与不同的控制命令匹配的动作,例如,存储在本实施例的装置本地,或待控制设备的本地。
在第二识别模块460至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作的实现方式中,可选地,所述至少一预设动作可分类成多种不同的运动模式,例如,将手势划分成滑动、挥动、搓、捏、旋转、抓握等多种运动模式,可基于第一类型传感器的检测结果进行第一轮匹配,确定匹配的运动模式;再基于激活的第二类型传感器的检测结果在已确定的运动模式中进行第二轮匹配,以提高匹配速度。在这样的情况下,第二确定单元462可用于至少基于所述至少一第一类型传感器的检测结果,确定所述至少一身体部位的运动模式;
第二识别单元464可用于至少基于所述至少一第二类型传感器的检测结果,识别所述用户的动作。
在这样的情况下,第四控制模块480可用于至少基于确定的所述运动模式,将识别的所述动作与所述至少一预设动作做匹配,并基于匹配结果生成控制命令。
此外,为了进一步节省功耗,重新激活所述至少一第二类型传感器之后,可禁用所述至少一第一类型传感器,即第三控制模块440还可用于响应于激活至少一第二类型传感器,禁用所述至少一第一类型传感器。
综上,本实施例的装置提供了一种基于运动幅度实现多种类型传感器的动作识别,进而实施控制的方案。
如图5所示,为本申请提供的计算设备的一种示例的结构框图。该装置500可包括图3(a)至图3(c)所示的动作识别装置300和/或图4(a)至图4(c)所示的动作识别装置400,此外,该装置500还包括至少一第一类型传感器520-1,520-2,…502-n,以及所述至少一第二类型传感器540-1,540-2,…504-m,其中,n和m均为大于等于1的自然数,且n和m可相同也可不同。
图6为本申请第一种实施例提供的动作识别装置的又一种示例的结构示意图,本申请具体实施例并不对动作识别装置的具体实现做限定。如图6所示,该动作识别装置600可以包括:
处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630、以及通信总线640。其中:
处理器610、通信接口620、以及存储器630通过通信总线640完成相互间的通信。
通信接口620,用于与比如客户端等的网元通信。
处理器610,用于执行程序632,具体可以执行上述图1的方法实施例中的相关步骤。
具体地,程序632可以包括程序代码,所述程序代码包括计算机操作指令。
处理器610可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器630,用于存放程序632。存储器630可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序632具体可以用于使得所述动作识别装置600执行以下步骤:
使用至少一第一类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
程序632中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述装置实施例中的对应描述,在此不再赘述。
图7为本申请第二种实施例提供的动作识别装置的又一种示例的结构示意图,本申请具体实施例并不对动作识别装置的具体实现做限定。如图7所示,该动作识别装置700可以包括:
处理器(processor)710、通信接口(Communications Interface)720、存储器(memory)730、以及通信总线740。其中:
处理器710、通信接口720、以及存储器730通过通信总线740完成相互间的通信。
通信接口720,用于与比如客户端等的网元通信。
处理器710,用于执行程序732,具体可以执行上述图2的方法实施例中的相关步骤。
具体地,程序732可以包括程序代码,所述程序代码包括计算机操作指令。
处理器710可能是一个中央处理器CPU,或者是特定集成电路ASIC(Application Specific Integrated Circuit),或者是被配置成实施本申请实施例的一个或多个集成电路。
存储器730,用于存放程序732。存储器730可能包含高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。程序732具体可以用于使得所述动作识别装置700执行以下步骤:
使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
程序732中各步骤的具体实现可以参见上述实施例中的相应步骤和单元中对应的描述,在此不赘述。所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述方法实施例中的对应过程描述,在此不再赘述。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的设备和模块的具体工作过程,可以参考前述装置实施例中的对应描述,在此不再赘述。
尽管此处所述的主题是在结合操作系统和应用程序在计算机系统上的执行而执行的一般上下文中提供的,但本领域技术人员可以认识到,还可结合其他类型的程序模块来执行其他实现。一般而言,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、组件、数据结构和其他类型的结构。本领域技术人员可以理解,此处所述的本主题可以使用其他计算机系统配置来实践,包括手持式设备、多处理器系统、基于微处理器或可编程消费电子产品、小型计算机、大型计算机等,也可使用在其中任务由通过通信网络连接的远程处理设备执行的分布式计算环境中。在分布式计算环境中,程序模块可位于本地和远程存储器存储设备的两者中。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对原有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的计算机可读取存储介质包括以存储如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方式或技术来实现的物理易失性和非易失性、可移动和不可因东介质。计算机可读取存储介质具体包括,但不限于,U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、可擦除可编程只读存储器(EPROM)、电可擦可编程只读存储器(EEPROM)、闪存或其他固态存储器技术、CD-ROM、数字多功能盘(DVD)、HD-DVD、蓝光(Blue-Ray)或其他光存储设备、磁带、磁盘存储或其他磁性存储设备、或能用于存储所需信息且可以由计算机访问的任何其他介质。
以上实施方式仅用于说明本发明,而并非对本发明的限制,有关技术领域的普通技术人员,在不脱离本发明的精神和范围的情况下,还可以做出各种变化和变型,因此所有等同的技术方案也属于本发明的范畴,本发明的专利保护范围应由权利要求限定。

Claims (10)

1.一种动作识别方法,其特征在于,所述方法包括:
使用至少一第一类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
2.根据权利要求1所述的方法,其特征在于,所述识别所述用户至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器以及所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
3.根据权利要求2所述的方法,其特征在于,所述识别所述至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
4.根据权利要求2所述的方法,其特征在于,所述识别所述至少一身体部位的动作包括:
至少基于所述至少一第一类型传感器的检测结果,确定激活的所述至少一第二类型传感器的配置参数;
至少基于所述至少一第二类型传感器的检测结果,识别所述至少一身体部位的动作。
5.一种动作识别方法,其特征在于,所述方法包括:
使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
6.一种动作识别装置,其特征在于,所述装置包括:
一第一检测模块,用于使用至少一第一类型传感器检测用户至少一身体部位的运动;
一第一控制模块,用于响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
一第一识别模块,用于至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
7.一种动作识别装置,其特征在于,所述装置包括:
一第二检测模块,用于使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
一第三控制模块,用于响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
一第二识别模块,用于至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
8.一种计算设备,其特征在于,所述设备包括权利要求6所述的动作识别装置和/或权利要求7所述的动作识别装置,所述设备还包括所述至少一第一类型传感器和/或所述至少一第二类型传感器。
9.一种动作识别装置,其特征在于,所述装置包括:
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
使用至少一第一类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度不超过一预设阈值,激活至少一第二类型传感器;
至少基于所述至少一第二类型传感器的检测结果,识别所述用户至少一身体部位的动作。
10.一种动作识别装置,其特征在于,所述装置包括:
存储器,用于存放指令;
处理器,用于执行所述存储器存储的指令,所述指令使得所述处理器执行以下步骤:
使用至少一第一类型传感器以及至少一第二类型传感器检测用户至少一身体部位的运动;
响应于所述至少一身体部位的运动幅度超过一预设阈值,禁用所述至少一第二类型传感器;
至少基于所述至少一第一类型传感器的检测结果,识别所述用户至少一身体部位的动作。
CN201510691536.7A 2015-10-22 2015-10-22 动作识别方法及动作识别装置 Pending CN106371569A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201510691536.7A CN106371569A (zh) 2015-10-22 2015-10-22 动作识别方法及动作识别装置
US15/277,454 US10162421B2 (en) 2015-10-22 2016-09-27 Action recognition method and action recognition apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510691536.7A CN106371569A (zh) 2015-10-22 2015-10-22 动作识别方法及动作识别装置

Publications (1)

Publication Number Publication Date
CN106371569A true CN106371569A (zh) 2017-02-01

Family

ID=57880444

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510691536.7A Pending CN106371569A (zh) 2015-10-22 2015-10-22 动作识别方法及动作识别装置

Country Status (2)

Country Link
US (1) US10162421B2 (zh)
CN (1) CN106371569A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111008671A (zh) * 2019-12-23 2020-04-14 Oppo广东移动通信有限公司 姿势识别方法和装置、电子设备、计算机可读存储介质
CN112185565A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的患者康复评定方法
CN112655188A (zh) * 2019-07-26 2021-04-13 谷歌有限责任公司 由用户设备进行的鲁棒的基于雷达的姿势识别
CN113853566A (zh) * 2019-07-26 2021-12-28 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
CN113989926A (zh) * 2021-10-26 2022-01-28 合肥工业大学 一种基于人体康复的动作识别系统
US11841933B2 (en) 2019-06-26 2023-12-12 Google Llc Radar-based authentication status feedback
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
US12008169B2 (en) 2022-05-25 2024-06-11 Google Llc Radar gesture input methods for mobile devices

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106339076B (zh) * 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置
US10551243B2 (en) * 2016-11-28 2020-02-04 Acoem France Power efficient machine diagnostic monitoring using multiple vibration sensor wireless configuration
CN114174860A (zh) * 2019-07-26 2022-03-11 惠普发展公司,有限责任合伙企业 基于雷达的噪声过滤
JP7316383B2 (ja) 2019-07-26 2023-07-27 グーグル エルエルシー Imuおよびレーダーを介した認証管理
US11385722B2 (en) * 2019-07-26 2022-07-12 Google Llc Robust radar-based gesture-recognition by user equipment
EP3811187B1 (en) 2019-08-30 2021-10-06 Google LLC Input methods for mobile devices
KR102661485B1 (ko) 2019-08-30 2024-04-29 구글 엘엘씨 일시정지된 레이더 제스처에 대한 시각적 표시자
US11467672B2 (en) * 2019-08-30 2022-10-11 Google Llc Context-sensitive control of radar-based gesture-recognition
US11941521B2 (en) 2020-09-11 2024-03-26 Acoem France Vibrating machine automated diagnosis with supervised learning

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270824A (zh) * 2014-09-11 2015-01-07 北京智谷技术服务有限公司 体域网数据传输方法、体感设备及体域网系统
CN104919397A (zh) * 2013-01-14 2015-09-16 高通股份有限公司 针对表面上的姿势识别的emg的使用
US20150261315A1 (en) * 2014-03-11 2015-09-17 Google Technology Holdings LLC Display viewing detection

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4729137B1 (ja) * 2011-03-03 2011-07-20 株式会社データ・テック 移動体に搭載される運行管理装置、携帯情報端末、運行管理サーバ、コンピュータプログラム
US9599632B2 (en) * 2012-06-22 2017-03-21 Fitbit, Inc. Fitness monitoring device with altimeter
WO2016044685A1 (en) * 2014-09-19 2016-03-24 Mocacare Corp. Cardiovascular monitoring device
US9880267B2 (en) * 2015-09-04 2018-01-30 Microvision, Inc. Hybrid data acquisition in scanned beam display
CN106339076B (zh) * 2015-10-22 2019-11-15 北京智谷睿拓技术服务有限公司 基于动作识别的控制方法及控制装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104919397A (zh) * 2013-01-14 2015-09-16 高通股份有限公司 针对表面上的姿势识别的emg的使用
US20150261315A1 (en) * 2014-03-11 2015-09-17 Google Technology Holdings LLC Display viewing detection
CN104270824A (zh) * 2014-09-11 2015-01-07 北京智谷技术服务有限公司 体域网数据传输方法、体感设备及体域网系统

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11841933B2 (en) 2019-06-26 2023-12-12 Google Llc Radar-based authentication status feedback
CN112655188A (zh) * 2019-07-26 2021-04-13 谷歌有限责任公司 由用户设备进行的鲁棒的基于雷达的姿势识别
CN113853566A (zh) * 2019-07-26 2021-12-28 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
US11868537B2 (en) 2019-07-26 2024-01-09 Google Llc Robust radar-based gesture-recognition by user equipment
CN113853566B (zh) * 2019-07-26 2024-05-28 谷歌有限责任公司 基于雷达的姿势识别的情境敏感控制
CN111008671A (zh) * 2019-12-23 2020-04-14 Oppo广东移动通信有限公司 姿势识别方法和装置、电子设备、计算机可读存储介质
CN111008671B (zh) * 2019-12-23 2023-08-18 Oppo广东移动通信有限公司 姿势识别方法和装置、电子设备、计算机可读存储介质
CN112185565A (zh) * 2020-10-21 2021-01-05 安徽动感智能科技有限公司 一种基于动作识别的患者康复评定方法
CN113989926A (zh) * 2021-10-26 2022-01-28 合肥工业大学 一种基于人体康复的动作识别系统
US12008169B2 (en) 2022-05-25 2024-06-11 Google Llc Radar gesture input methods for mobile devices

Also Published As

Publication number Publication date
US20170115739A1 (en) 2017-04-27
US10162421B2 (en) 2018-12-25

Similar Documents

Publication Publication Date Title
CN106371569A (zh) 动作识别方法及动作识别装置
CN106339076A (zh) 基于动作识别的控制方法及控制装置
US11256335B2 (en) Fine-motion virtual-reality or augmented-reality control using radar
US8279091B1 (en) RFID system for gesture recognition, information coding, and processing
US8681127B2 (en) Touch discrimination
CN106062777A (zh) 基于雷达的姿势识别
CN106548201A (zh) 卷积神经网络的训练方法、图像识别方法及装置
CN110503686A (zh) 基于深度学习的物体位姿估计方法及电子设备
CN103760970A (zh) 一种穿戴式输入系统及输入方法
CN109840508A (zh) 一个基于深度网络架构自动搜索的机器人视觉控制方法,设备及存储介质
Lee et al. Visual-inertial hand motion tracking with robustness against occlusion, interference, and contact
Nasif et al. Wireless head gesture controlled wheel chair for disable persons
CN109101901A (zh) 人体动作识别及其神经网络生成方法、装置和电子设备
US20150016676A1 (en) System and method for detecting object using depth information
CN104461015A (zh) 拍摄控制方法、拍摄控制装置、拍摄设备及可穿戴设备
CN109725699A (zh) 识别码的识别方法、装置和设备
CN112927172A (zh) 图像处理网络的训练方法和装置、电子设备和存储介质
CN110427849A (zh) 人脸姿态确定方法、装置、存储介质和电子设备
CN107272892A (zh) 一种虚拟触控系统、方法及装置
US11029753B2 (en) Human computer interaction system and human computer interaction method
WO2014106862A2 (en) A method and system enabling control of different digital devices using gesture or motion control
Barber et al. Visual and tactile interfaces for bi-directional human robot communication
Park et al. An implementation of an FPGA-based embedded gesture recognizer using a data glove
Zhang et al. Rofin: 3d hand pose reconstructing via 2d rolling fingertips
Rodriguez et al. Robust vision-based hand tracking using single camera for ubiquitous 3D gesture interaction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20170201

RJ01 Rejection of invention patent application after publication