CN115599211A - 手势识别方法、可穿戴设备及存储介质 - Google Patents

手势识别方法、可穿戴设备及存储介质 Download PDF

Info

Publication number
CN115599211A
CN115599211A CN202211289844.3A CN202211289844A CN115599211A CN 115599211 A CN115599211 A CN 115599211A CN 202211289844 A CN202211289844 A CN 202211289844A CN 115599211 A CN115599211 A CN 115599211A
Authority
CN
China
Prior art keywords
gesture
recognition
wearable device
preset
acceleration data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211289844.3A
Other languages
English (en)
Inventor
白倩楠
戴晓伟
郝得宁
刘英斐
汪孔桥
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui Huami Health Technology Co Ltd
Original Assignee
Anhui Huami Health Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui Huami Health Technology Co Ltd filed Critical Anhui Huami Health Technology Co Ltd
Priority to CN202211289844.3A priority Critical patent/CN115599211A/zh
Publication of CN115599211A publication Critical patent/CN115599211A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20Movements or behaviour, e.g. gesture recognition
    • G06V40/28Recognition of hand or arm movements, e.g. recognition of deaf sign language

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开实施例提供了一种手势识别方法、可穿戴设备及计算机可读存储介质。所述方法包括:获取所述可穿戴设备的加速度传感器采集的加速度数据;确定所述可穿戴设备的当前手势识别模式;其中,所述当前手势识别模式包括第一识别模式或第二识别模式,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度;响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果。不同的识别模式满足不同场景下对于手势识别灵敏度的不同需求。

Description

手势识别方法、可穿戴设备及存储介质
技术领域
本公开涉及运动识别技术领域,尤其涉及一种手势识别方法、可穿戴设备及计算机可读存储介质。
背景技术
随着可穿戴设备行业的发展,用户对可穿戴设备的使用率也越来越高。其中,可穿戴设备安装有运动传感器,可穿戴设备可通过运动传感器检测的运动数据对人的行为进行识别,进而推断用户的行为意图以达到智能化人机交互的效果。而相关技术中的可穿戴设备存在错误推断用户的行为意图导致无效交互的问题。
发明内容
为克服相关技术中存在的问题,本公开提供了一种手势识别方法、可穿戴设备及计算机可读存储介质。
根据本公开实施例的第一方面,提供一种可穿戴设备的手势识别方法,包括:
获取所述可穿戴设备的加速度传感器采集的加速度数据;
确定所述可穿戴设备的当前手势识别模式;其中,所述当前手势识别模式包括第一识别模式或第二识别模式,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度;
响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果。
可选地,所述响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果,包括:
利用目标缓存区缓存的加速度数据确定加速度范围;
响应于所述加速度范围指示的活动幅度大于所述当前手势识别模式的活动幅度阈值,利用所述目标缓存区中缓存的加速度数据进行手势识别;其中,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值。
可选地,所述确定所述可穿戴设备的当前手势识别模式,包括:
根据佩戴所述可穿戴设备的用户所属的用户群组和所述可穿戴设备的当前状态信息中的至少一种,确定所述可穿戴设备的当前手势识别模式。
可选地,所述根据佩戴所述可穿戴设备的用户所属的用户群组和所述可穿戴设备的当前状态信息中的至少一种,确定所述可穿戴设备的当前手势识别模式,包括:
通过对所述用户群组包括的至少一个用户的活动信息进行处理,确定所述用户群组的参考活动信息,所述参考活动信息包括下列中的至少一种:参考活动幅度、活动节律信息;根据所述用户群组的参考活动信息,确定所述可穿戴设备的当前手势识别模式。
可选地,所述根据佩戴所述可穿戴设备的用户所属的用户群组和所述可穿戴设备的当前状态信息中的至少一种,确定所述可穿戴设备的当前手势识别模式,包括:根据佩戴所述可穿戴设备的用户设定的期望续航时间以及所述可穿戴设备的功耗信息,确定所述可穿戴设备的当前手势识别模式。
可选地,所述利用所述加速度数据进行手势识别,得到手势识别结果,包括:
利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,所述多个预设手势包括抬起手势、落下手势和转动手势;
根据所述多个初始识别结果,确定当前响应手势。
可选地,所述根据所述多个初始识别结果,确定当前响应手势,包括:
响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势中的至少一个、以及所述落下手势,确定所述当前响应手势为检测到的所述抬起手势或所述转动手势。
可选地,所述根据所述多个初始识别结果,确定当前响应手势,包括:
响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势,根据所述可穿戴设备的当前屏幕状态,确定所述当前响应手势。
可选地,所述利用所述加速度数据分别进行多个预设手势的识别,包括:
从所述加速度数据中提取多个特征;
通过对所述多个特征进行组合,得到所述多个预设手势分别对应的特征集合,所述特征集合包括所述多个特征中的至少一个特征;
利用所述多个预设手势中每个预设手势对应的特征集合,进行所述每个预设手势的识别,得到所述每个预设手势的初始识别结果。
可选地,在所述利用所述加速度数据进行手势识别,得到手势识别结果之前,还包括:
利用所述多个预设手势中至少一个预设手势对应的有效性条件对所述加速度数据进行有效性判断,得到所述至少一个预设手势中每个预设手势的有效性判断结果;
所述利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,包括:
根据所述有效性判断的结果,利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果。
可选地,所述至少一个预设手势对应的有效性条件中包括与第一预设手势对应的第一有效性条件和与第二预设手势对应的第二有效性条件。
可选地,所述根据所述有效性判断的结果,利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,包括:
响应于所述加速度数据满足所述第一有效性条件且所述加速度数据不满足所述第二有效性条件,则利用所述加速度数据进行所述第一预设手势的识别,得到所述第一预设手势的初始识别结果。
可选地,所述根据所述有效性判断的结果,利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,包括:
响应于所述加速度数据满足所述第一有效性条件且所述加速度数据满足所述第二有效性条件,则利用所述加速度数据分别进行所述第一预设手势和所述第二预设手势的识别,得到第一预设手势的初始识别结果和第二预设手势的初始识别结果。
根据本公开实施例的第二方面,提供一种可穿戴设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
用于采集加速度数据的加速度传感器;
其中,所述处理器执行所述可执行指令时,用于实现如第一方面任意一项所述的方法。
根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机指令,所述计算机指令被处理器执行时实现第一方面任意一项所述方法的步骤。
本公开的实施例提供的技术方案可以包括以下有益效果:
本公开实施例中,针对所述可穿戴设备设置有两种具有不同识别灵敏度的手势识别模式:第一识别模式和第二识别模式,在确定采集的加速度数据满足可穿戴设备的当前手势识别模式的识别触发条件的情况下,利用可穿戴设备的加速度传感器采集的加速度数据进行手势识别,得到手势识别结果。其中,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度,使得可穿戴设备满足不同场景下对于手势识别灵敏度的不同需求,在节约功耗的同时避免错误推断用户的行为意图而影响用户体验的情况。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
图1是本公开根据一示例性实施例示出的一种可穿戴设备的通讯系统的结构示意图。
图2是本公开根据一示例性实施例示出的一种手势识别方法的流程示意图。
图3是本公开根据一示例性实施例示出的选择界面的示意图。
图4是本公开根据一示例性实施例示出的一种设定界面的示意图。
图5是本公开根据一示例性实施例示出的利用加速度数据进行3种手势识别的流程示意图。
图6是本公开根据一示例性实施例示出的一种三维坐标系的示意图。
图7是本公开根据一示例性实施例示出的一种可穿戴设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
在本公开使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本公开可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本公开范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
相关技术中的可穿戴设备通过运动传感器检测的运动数据对用户的手势等交互行为进行识别,进而根据识别结果控制可穿戴设备的组件做出相应的响应,比如控制显示组件亮屏或者熄屏等等。然而,其进行手势识别的模型对于所有用户以及所有场景统一设置,设备功耗较高,且存在错误推断用户的行为意图而影响用户体验的问题。
针对于相关技术中的问题,本公开实施例提供了一种可穿戴设备的手势识别方法,针对所述可穿戴设备设置有两种手势识别模式:第一识别模式和第二识别模式,两种手势识别模式的识别灵敏度不同,触发手势识别流程的条件也不相同。在一个例子中,如果可穿戴设备的当前手势识别模式为第一识别模式,则使用第一识别模式的触发条件确定是否进入手势识别流程。在确定所述加速度数据满足第一识别模式的触发条件的情况下,利用可穿戴设备的加速度传感器采集的加速度数据进行手势识别,得到手势识别结果。反之,如果确定加速度数据不满足第一识别模式的触发条件,则不进行手势识别。在另一个例子中,如果可穿戴设备的当前手势识别模式为第二识别模式,则使用第二识别模式的触发条件确定是否进入手势识别流程。在确定所述加速度数据满足第二识别模式的触发条件的情况下,利用可穿戴设备的加速度传感器采集的加速度数据进行手势识别,得到手势识别结果。反之,如果确定加速度数据不满足第二识别模式的触发条件,则不进行手势识别。其中,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度,使得工作在第一识别模式下的可穿戴设备可以仅对较大幅度的手势动作进行识别,工作在第二识别模式下的可穿戴设备可以对较小幅度和较大幅度的手势动作均进行识别,相较于第一识别模式,能够响应于用户的较小幅度的手势动作。
本公开实施例中可穿戴设备通过设置不同的识别模式,可以满足不同的用户和/或使用场景对于手势识别的需求,避免错误推断用户的行为意图而影响用户体验的情况,在利于降低设备功耗的同时提高手势识别的准确度。
在一示例性的实施例中,请参阅图1,图1示出了有关于可穿戴设备的通讯系统的结构示意图。所述系统包括可穿戴设备102、服务器104和中间设备106。
可穿戴设备102是一种计算设备,被配置为在操作期间由人类用户佩戴。可穿戴设备102可以实现为手表、手环、手镯、支架、腕带、臂带、腿带、戒指、头带、项链、耳机、腿环或者马甲等,或者以另一可穿戴设备的形式实现。可穿戴设备102包括一个或多个传感器108,用于检测指示可穿戴设备102的用户的生理参数。传感器108可包括光容积图(PPG)传感器、心电图(ECG)传感器、电极、脉压传感器、血管特性传感器、温度传感器、加速度传感器,另一传感器或其组合中的一个或多个。生理参数表示与可穿戴设备102的用户的身体的一个或多个重要系统(例如,心血管系统、呼吸系统、自主神经系统、体温系统或另一系统)相关的可测量的生理参数。例如,生理参数可以是可穿戴设备102的用户的心率、心率变异性、血氧水平、血压、体温、运动参数或另一生理参数中的一个或多个。传感器108可以连续地或以其他方式频繁地周期性地采集可穿戴设备102的用户的生理信号数据。
可穿戴设备102还包括有处理器110和存储器111。所述存储器111存储应用程序或者其他可执行指令;所述处理器110用于运行应用程序或者其他可执行指令,以处理基于传感器108采集的生理参数而产生的生理信号数据。
服务器104上运行服务器程序112以处理生理信号数据的计算设备。服务器104可以包括硬件服务器(例如,服务器)、软件服务器(例如,web服务器和/或虚拟服务器)和/或虚拟服务器。
服务器程序112是用于检测可穿戴设备102的用户的健康状况、运动状况、睡眠状况或其组合中的一个或多个的软件,以使用生理信号数据检测可穿戴设备102的用户的健康状况、运动状况、睡眠状况或其组合中的一个或多个。例如,服务器程序112可以使用生理信号数据来确定用户生理状态的变化,然后基于所确定的变化来检测可穿戴设备102的用户的健康状况、运动状况、睡眠状况或其组合中的一个或多个。
服务器程序112可以访问服务器104上的数据库114,以执行服务器程序112的至少一些功能。数据库114是用于存储、管理或以其他方式提供用于交付服务器程序112的功能的数据的数据库或其他数据存储。例如,数据库114可以存储服务器104接收的生理信号数据,通过生理信号数据而产生或以其他方式确定的信息。例如,数据库114可以是关系数据库管理系统、对象数据库、XML数据库、配置管理数据库、管理信息库、一个或多个平面文件、其他合适的非瞬态存储机制或其组合。
中间设备106是用于促进可穿戴设备102和服务器104之间的通信的设备。中间设备106可以是计算设备,例如移动设备(例如,智能手机、平板电脑、笔记本电脑或其他移动设备)或其他计算机(例如,台式计算机或其他非移动计算机)。或者,中间设备106可以是或包括网络硬件,例如路由器、交换机、负载平衡器、另一网络设备或其组合。作为另一备选方案,中间设备106可以是另一个网络连接设备。例如,中间设备106可以是可穿戴设备102的联网电源充电器。
例如,根据中间设备106的特定实现,中间设备106可以运行应用程序118。应用程序118将中间设备106配置为向可穿戴设备102发送数据或从可穿戴设备102接收数据,和/或,向服务器104发送数据或从服务器104接收数据。另外,应用程序118可以响应于中间设备106的用户的操作,从中间设备106接收命令。例如,在中间设备106是具有触摸屏显示器的计算设备的情况下,中间设备106的用户可以通过触摸与应用程序中的用户界面元素相对应的显示器的一部分来接收命令。
在一些实现中,客户端设备被赋予访问服务器程序112的权限。例如,客户端设备可以是移动设备,例如智能手机、平板电脑、笔记本电脑等。在另一示例中,客户端设备可以是台式计算机或另一非移动计算机。客户端设备可以运行客户端应用程序以与服务器程序112通信。例如,客户端应用程序可以是能够访问服务器程序112的部分或全部功能和/或数据的移动应用。例如,客户端设备可以通过网络116与服务器104通信。在一些这样的实现中,客户端设备可以是中间设备106。
在一些实现中,中间设备106使用短距离通信协议从可穿戴设备102接收数据。例如,短距离通信协议可以是
Figure BDA0003900914760000071
低能、红外、Z波、ZigBee、其他协议或其组合。中间设备106通过网络116将从可穿戴设备102接收的数据发送到服务器104。例如,网络116可以是局域网、广域网、机器对机器网络、虚拟专用网络或另一公共或专用网络。网络116可以使用远程通信协议。例如,远程通信协议可以是以太网、TCP、IP、电力线通信、Wi-Fi、GPRS、GSM、CDMA、其他协议或其组合。
在一些实现中,可以省略中间设备106。例如,可穿戴设备102可以被配置为通过网络116直接与服务器104通信。例如,可穿戴设备102和服务器104之间通过网络116的直接通信可以包括使用远程、低功率系统或另一通信机制。在一些实现中,中间设备106和服务器104都可以省略。例如,可穿戴设备102可以被配置为执行如上所述的关于服务器104的功能。在这样的实现中,可穿戴设备102可以独立于其他计算设备来处理和存储数据。
在一示例性的应用场景中,比如在睡眠场景中,用户与可穿戴设备交互的需求较低,用户可以将可穿戴设备的识别模式设置为第一识别模式,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度,从而可穿戴设备不会关注用户在睡眠过程中产生的小幅度的手势动作,以防止无意识产生的小幅度手势动作导致可穿戴设备错误推断用户的行为意图的情况。
又比如在工作场景中,用户与可穿戴设备交互的需求较高,用户可以将可穿戴设备的识别模式设置为第二识别模式,第二识别模式的识别灵敏度高于所述第一识别模式的识别灵敏度,以实现可穿戴设备对不同幅度的手势动作均进行识别,提高识别准确性。
本公开实施例提供的一种可穿戴设备的手势识别方法可以由可穿戴设备执行,也可以由中间设备或服务器来执行。作为一个例子,可穿戴设备可以将加速度传感器采集到的加速度数据发送给中间设备或者服务器,以便由中间设备或者服务器执行手势识别方法,最后将手势识别结果返回给可穿戴设备,以便可穿戴设备根据手势识别结果执行相应操作。
作为另一个例子,可穿戴设备的手势识别方法可以在上述系统的两个以上设备上执行,各个设备执行其中一部分。比如可穿戴设备可以将加速度传感器采集到的加速度数据和确定的所述可穿戴设备的当前手势识别模式发送给中间设备或者服务器,以便由中间设备或者服务器响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果,进而中间设备或者服务器将手势识别结果返给可穿戴设备。再比如,中间设备或者服务器可以确定可穿戴设备的当前手势识别模式并反馈给可穿戴设备,以便可穿戴设备进行手势识别过程。
为了便于理解,下面以可穿戴设备执行可穿戴设备的手势识别方法为例进行描述。
请参阅图2,图2为本公开实施例提供的一种可穿戴设备的手势识别方法的流程示意图。所述方法应用于可穿戴设备,所述可穿戴设备包括加速度传感器;所述方法包括:
在S101中,获取所述可穿戴设备的加速度传感器采集的加速度数据。
示例性的,加速度传感器不间断地采集加速度数据,以便记录用户的运动情况以及用于推断用户的行为意图。
在S102中,确定所述可穿戴设备的当前手势识别模式;其中,所述当前手势识别模式包括第一识别模式或第二识别模式,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度。
在S103中,响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果。
本公开实施例中,可穿戴设备通过设置不同的识别模式,可以适用于不同的使用场景,满足不同场景下对于手势识别灵敏度的不同需求,避免错误推断用户的行为意图导致无效交互的情况。
其中,S101和S102可以以任意先后顺序执行,或者也可以并行执行,例如,可以在获取到加速度数据后,根据获取到的加速度数据,确定当前手势识别模式。再例如,可以在确定当前手势识别模式后,保存相关信息,并同时获取加速度数据和当前手势识别模式的信息,本公开实施例对此不做限定。
在一些实施例中,所述识别触发条件包括所述加速度数据指示的当前活动幅度大于活动幅度阈值。其中,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值;即工作在第一识别模式下的可穿戴设备可以对大幅度的手势动作进行识别,工作在第二识别模式下的可穿戴设备可以对小幅度和大幅度的手势动作等不同幅度的手势动作均进行识别。
接下来对所述可穿戴设备的当前手势识别模式的确定过程进行示例性说明:
在一些实施例中,随着可穿戴设备的普及,服务器会根据可穿戴设备所属用户的特点对其进行用户群组划分,从而实现为不同的用户群组提供针对性的服务,提升用户的使用体验。示例性的,属于同一用户群组的用户之间的活动幅度和/或活动节律差别不大。在一个例子中,比如户外工作者的日常活动幅度较大,而伏案工作者的日常活动幅度一般来说比较小,可以将户外工作者和伏案工作者划分为不同的用户群组。在另一个例子中,可以根据活动节律来划分用户群组,所述活动节律包括但不限于作息信息和/或运动信息等;比如作息信息包括作息时间,可以将作息时间在预设范围内(比如22:00~8:00)内的用户划分为同一用户群组;又比如运动时间包括运动频率,可以将一周运动3次以上的用户划分为同一用户群组,而将一周运动少于3次的用户划分为另一用户群组;当然,运动信息还可以包括运行时长、运动类型等,但不限于此。
所述可穿戴设备可以根据佩戴所述可穿戴设备的用户所属的用户群组确定所述可穿戴设备的当前手势识别模式。本公开实施例中,根据用户所属的用户群组来确定可穿戴设备的当前手势识别模式,使得可穿戴设备的当前手势识别模式适应于用户的日常活动情况,从而有利于后续提高手势识别的准确性,减少或避免错误推断用户的行为意图导致无效交互的情况。
示例性的,可穿戴设备可以对所述用户群组包括的至少一个用户的活动信息进行处理,确定所述用户群组的参考活动信息,所述参考活动信息包括下列中的至少一种:参考活动幅度、活动节律信息等;然后根据所述用户群组的参考活动信息,确定所述可穿戴设备的当前手势识别模式。其中,不同用户群组的参考活动信息不同,则所述可穿戴设备的当前手势识别模式也有所不同。
任意一个用户的活动信息基于该用户的加速度数据确定,所述活动信息包括活动幅度和/或活动节律信息。以某个用户的活动幅度举例,可以获取该用户在不同时间段的加速度数据,然后统计在各个时间段内的加速度数据中的最大加速度值和最小加速度值之间的差值,进而将统计得到的多个差值的统计值(比如均值、中位数、最大值或者最小值)作为所述用户的活动幅度。以用户群组的参考活动幅度举例,某个用户群组的参考活动幅度可以是该用户群组包括的至少一个用户的活动幅度的统计值(比如均值、中位数、最大值或者最小值)。
示例性的,可以根据实际应用场景预先设置一阈值,该阈值用于区分参考活动信息不同的用户群组。若所述用户群组的参考活动信息大于预设活动阈值,则可以确定所述可穿戴设备的当前手势识别模式为所述第一识别模式;若所述用户群组的参考活动信息小于或等于所述预设活动阈值,则可以确定所述可穿戴设备的当前手势识别模式为所述第二识别模式。这样,对于日常活动幅度较大的人群选用第一识别模式,对于日常活动幅度较小的人群选用第二识别模式,从而可以减少错误推断用户的行为意图导致无效交互的情况,提高后续提高手势识别的准确性。
在一种可能的实现方式中,进行手势识别的识别触发条件包括所述加速度数据指示的当前活动幅度大于活动幅度阈值,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值。示例性的,在确定了所述可穿戴设备的当前手势识别模式之后,在满足所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值的情况下,所述可穿戴设备的当前手势识别模式的活动幅度阈值可以根据佩戴所述可穿戴设备的用户所属的用户群组的参考活动信息进行灵活调整,从而进一步适应于用户的日常活动情况。比如可穿戴设备的当前手势识别模式可以是佩戴所述可穿戴设备的用户所属的用户群组的参考活动幅度加/减预设值之后的结果,即可穿戴设备的当前手势识别模式的活动幅度阈值与佩戴所述可穿戴设备的用户所属的用户群组的参考活动幅度成正相关关系。
在另一些实施例中,可以根据佩戴可穿戴设备的用户所在用户群组的活动节律信息,或者根据佩戴可穿戴设备的用户的活动节律信息,确定用户在不同时间段的活动规律,并基于该用户在不同时间段的活动规律以及当前时间所处的时间段,确定当前手势识别模式。例如,用户在早上跑步,用户在中午进行午睡,则在中午时段将可穿戴设备的当前手势识别模式设置为第二识别模式,而在早上时段将可穿戴设备的当前手势识别模式设置为第一识别模式。
在一些实施例中,考虑到不同用户对于可穿戴设备的使用习惯和使用场景不同,使得不同用户对于可穿戴设备的期望续航时间也有所不同。所述可穿戴设备可以根据所述可穿戴设备的当前状态信息确定所述可穿戴设备的当前手势识别模式,从而满足用户的续航需求。
示例性的,可以根据佩戴所述可穿戴设备的用户设定的期望续航时间以及所述可穿戴设备的功耗信息中的至少一项,确定所述可穿戴设备的当前手势识别模式。其中,在一些例子中,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度,反映了工作在第一识别模式下的可穿戴设备的功耗低于工作在第二识别模式下的可穿戴设备的功耗;则在佩戴所述可穿戴设备的用户设定的期望续航时间较多(比如大于预设天数)的情况下,可以确定所述可穿戴设备的当前手势识别模式为第一识别模式;在佩戴所述可穿戴设备的用户设定的期望续航时间较少(比如小于或等于预设天数)的情况下,可以确定所述可穿戴设备的当前手势识别模式为第二识别模式。在另一些例子中,可以基于可穿戴设备的功耗信息,来确定可穿戴设备的当前手势识别模式。例如,功耗信息指示在当前时间段内设备功耗较高,则可以选择第一识别模式,而如果功耗信息指示当前时间段内设备功耗在合理范围,则可以选择第二识别模式。再例如,可以结合设备功耗和用户设定的期望续航时间来选择当前手势识别模式,例如,如功耗信息指示设备功耗情况不能满足用户设定的期望续航时间,则选择第一识别模式,而如功耗信息指示的设备功耗情况能够满足用户设定的期望续航时间,则选择第二识别模式。本实施例中根据用户的期望续航时间和设备功耗信息中的至少一项选用不同的识别模式,从而满足用户的续航需求。
在一种可能的实现方式中,进行手势识别的识别触发条件包括所述加速度数据指示的当前活动幅度大于活动幅度阈值,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值。示例性的,在确定了所述可穿戴设备的当前手势识别模式之后,在满足所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值的情况下,所述可穿戴设备的当前手势识别模式的活动幅度阈值可以根据佩戴所述可穿戴设备的用户设定的期望续航时间进行灵活调整,从而适应于用户的续航需求。比如设置所述期望续航时间与所述可穿戴设备的当前手势识别模式的活动幅度阈值成正相关关系;即是说,如果所述期望续航时间越长,则所述活动幅度阈值越大,即只有在用户进行较大幅度的手势动作的情况下才进行手势识别,其他情况不进行手势识别,从而减低了功耗;反之,所述期望续航时间越短,则所述活动幅度阈值越小,即可以对多种不同幅度的手势动作均进行识别,提高识别灵敏性。
在另一些实施例中,还可以结合可穿戴设备的历史手势检测信息来确定可穿戴设备的当前手势识别模式。其中,该历史手势检测信息可以包括下列中的至少一种:预设时间段内进行的手势识别次数、连续识别到相同手势的次数、用户手动操作的手势识别上下文信息。例如,如在预设时间段进行的手势识别次数超过一定阈值,则指示当前识别灵敏度过高而造成了一些不必要的手势误识别,可以将当前手势识别模式设置为第一识别模式。再例如,如在预设时间段内连续识别到相同手势的次数超过一定阈值,则指示用户进行的一些其它手势被进行了误识别,可以将当前手势识别模式设置为第一识别模式。再例如,如果用户手动操作控制可穿戴设备,而该操作控制同样也可以通过手势来实现控制,则可以结合手势识别的上下文信息,例如是否在用户手动操作前进行了手势识别,是否基于识别到的手势进行了相应控制等信息,来确定当前手势识别模式。
在一些实施例中,用户可以根据实际需要确定可穿戴设备当前运动的识别模式。示例性的,所述可穿戴设备的交互界面可以显示如图3所示的选择界面,用户可以根据自身需求选择期望的识别模式,可穿戴设备可基于用户选择操作从所述第一识别模式和所述第二识别模式中选定所述可穿戴设备的当前手势识别模式。在一个例子中,比如可穿戴设备中设置有若用户做出转动手势,则唤醒语音助手的功能,而在某些场景中用户进行转动手势可能并不想与可穿戴设备进行交互,比如用户可以在走路场景或者洗漱场景中选择可穿戴设备的当前手势识别模式为第一识别模式,以降低可穿戴设备的识别灵敏度。
在一些实施例中,所述可穿戴设备设置有不同时间与识别模式的对应关系。示例性的,所述不同时间与识别模式的对应关系包括以下至少一种:预设睡眠时间(比如23:00~7:00)对应的识别模式为所述第一识别模式、预设运动时间(比如20:00~20:30)对应的识别模式为所述第一识别模式、预设洗漱时间(比如7:10~7:30、22:30~22:50)对应的识别模式为所述第一识别模式、或者预设工作时间(比如9:00~12:00、13:00~18:00)对应的识别模式为所述第二识别模式等等;实现针对于不同场景的交互需求采用不同的识别模式,避免错误推断用户的行为意图导致无效交互的情况。则在实际使用过程中,可穿戴设备可以根据当前时间、以及不同时间与识别模式的对应关系确定所述可穿戴设备的当前手势识别模式。
在一种可能的实施方式中,所述不同时间与识别模式的对应关系可以基于对识别模式的历史选择数据进行分析得到。比如在识别模式的历史选择数据中,用户在睡眠时间将识别模式设置为第一识别模式的次数超过预设次数(比如超过5次或者6次),则可以确定预设睡眠时间对应的识别模式为所述第一识别模式;又比如在识别模式的历史选择数据中,用户在工作时间将识别模式设置为第二识别模式的次数超过预设次数(比如超过5次或者6次),则可以确定预设工作时间对应的识别模式为所述第二识别模式;从而满足用户在不同时间段内与可穿戴设备的不同交互需求,并且减少了用户重复设置的操作,有利于提高设置效率。
在另一种可能的实施方式中,与可穿戴设备通信连接的移动终端(中间设备)的交互界面上可以显示如图4所示的设定界面,用户可以根据自身需求设定在不同时间段内所期望的识别模式,可穿戴设备可基于用户设定操作确定所述不同时间与识别模式的对应关系,后续可穿戴设备可以基于该对应关系自动设定运行的识别模式,满足用户在不同时间段内与可穿戴设备的不同交互需求,并且减少了用户重复设置的操作,有利于提高设置效率。
在一些实施例中,所述可穿戴设备包括有目标缓存区,所述目标缓存区用于缓存所述加速度传感器采集的加速度数据。上述提到,所述识别触发条件包括所述加速度数据指示的当前活动幅度大于活动幅度阈值。在一种可能的实现方式中,可穿戴设备可以利用目标缓存区缓存的加速度数据确定加速度范围;然后响应于所述加速度范围指示的活动幅度大于所述当前手势识别模式的活动幅度阈值,利用所述目标缓存区中缓存的加速度数据进行手势识别。其中,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值。示例性的,所述加速度范围可以根据目标缓存区缓存的加速度数据中的最大加速度和最小加速度确定。示例性的,所述加速度范围指示的活动幅度可以是所述最大加速度和所述最小加速度之差,也可以是通过其他运算方式确定的结果。本实施例实现通过缓存区缓存的加速度数据中的加速度范围来衡量用户的活动幅度大小,有利于提高是否进行手势识别的判断结果的准确性。
可以理解的是,本实施例对于判断是否进行手势识别的时机不做任何限制,可依据实际应用场景进行具体设置。示例性的,所述可穿戴设备可以响应于所述目标缓存区已满,从所述目标缓存区中确定加速度范围,以便进一步判断是否进行手势识别。示例性的,所述可穿戴设备可以周期性(比如每隔预设时长)地确定所述缓存区中的加速度范围,以便进一步判断是否进行手势识别;其中,所述预设时长可依据实际应用场景进行具体设置。
在一些实施例中,可穿戴设备根据所述加速度数据指示的活动幅度和所述当前手势识别模式的活动幅度阈值之间的差异决定是否进行手势识别。若所述加速度数据指示的活动幅度小于或等于所述当前手势识别模式的活动幅度阈值,则无需进行手势识别过程,上述提到加速度数据缓存在目标缓存区中,则目标缓存区中的缓存的加速度数据为无效数据,可穿戴设备可以将目标缓存区中的所述加速度数据删除,以便目标缓存区有足够的容量缓存加速度传感器接下来采集的加速度数据。
若所述加速度数据指示的活动幅度大于所述当前手势识别模式的活动幅度阈值,则可穿戴设备根据所述加速度数据进行手势识别,并在识别完成之后将目标缓存区中的所述加速度数据删除,以便目标缓存区有足够的容量缓存加速度传感器接下来采集的加速度数据。
在一些实施例中,在根据所述加速度数据进行手势识别之前,可穿戴设备可以先对所述加速度数据进行中值滤波或者均值滤波。示例性,以中值滤波举例,所述加速度数据包括若干加速度值;对于每个加速度值,获取采样时间相邻的至少一个加速度值,根据这至少两个加速度值中的中值修改当前加速度值,在遍历一遍之后,可以有效去除毛刺数据。
在一些实施例中,可以针对多个预设手势中的部分或全部预设手势设置数据有效性条件,并在根据所述加速度数据进行手势识别之前,可穿戴设备可以利用设置的有效性条件对所述加速度数据进行有效性判断,然后可以根据所述有效性判断的结果,确定是否进入对应的预设手势的手势识别流程。
示例性的,可以为多个预设手势中的至少一个预设手势设置有效性条件,所述可穿戴设备可以响应于所述加速度数据满足任意一个预设手势的有效性条件,利用所述加速度数据进行该预设手势的手势识别过程。例如,所述多个预设手势包括抬起手势、落下手势和转动手势,并且为抬起手势和落下手势设置有效性条件,如果所述可穿戴设备确定所述加速度数据满足抬起手势的有效性条件,则可以利用所述加速度数据进行抬起手势的识别,得到抬起手势的识别结果。否则,则不进行抬起手势的识别,从而提高手势识别效率。这样,如果可穿戴设备确定加速度数据同时满足抬起手势和落下手势对应的有效性条件,则可以利用该加速度数据分别进行抬起手势和落下手势的识别,而如果可穿戴设备确定加速度数据仅满足抬起手势(或落下手势)对应的有效性条件,而不满足落下手势(或抬起手势)对应的有效性条件,则可以仅进行抬起手势(或落下手势)的识别,而不进行落下手势(或抬起手势)的识别。在一些例子中,如果所述加速度数据不满足至少一个预设手势中所有预设手势的有效性条件,则可以不进入任何预设手势的识别,而将目标缓存区中的所述加速度数据删除或替换,以便目标缓存区有足够的容量缓存加速度传感器接下来采集的加速度数据。本公开实施例在满足有效性条件的情况下才进行手势识别,有利于降低误判概率,提高手势识别的准确性。
在一些实施例中,请参阅图5,所述可穿戴设备可以根据所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,所述多个预设手势包括抬起手势、落下手势和转动手势;进而根据所述多个初始识别结果,确定当前响应手势。本公开实施例实现对多个预设手势进行识别,得到多个预设手势的初始识别结果,并对多个初始识别结果进行整合,有利于手势识别的准确性。
其中,由上文的描述可知,在一些实现方式中,可穿戴设备可以进行多个预设手势中每个预设手势的识别,得到每个预设手势的初始识别结果。在另一些实现方式中,可穿戴设备可以仅进行多个预设手势中部分预设手势的识别,得到该部分预设手势的初始识别结果。例如,在前述实施例中对至少一个预设手势进行有效性条件的判断的情况下,针对未进行有效性条件的判断的预设手势(如有)以及确定加速度数据满足有效性条件的预设手势进行手势识别,而针对确定加速度数据不满足有效性条件的预设手势则不再进行识别。因此,这里所指的多个预设手势的初始识别结果可以指多个预设手势中每个预设手势的识别结果,也可以指多个预设手势中部分预设手势的识别结果。
在一些实施例中,在进行预设手势的识别时,可以对加速度数据进行特征提取,得到特征信息,并利用各个预设手势分别对应的手势识别模型对特征信息进行处理,得到多个预设手势的识别结果。其中,多个预设手势中的不同预设手势可以对应于相同或不同的手势识别模型。
在一种可能的实施方式中,考虑到不同手势的特点不同,可穿戴设备可以从所述加速度数据中提取多个特征;通过对所述多个特征进行组合,得到所述多个预设手势分别对应的特征集合,所述特征集合包括所述多个特征中的至少一个特征;利用所述多个预设手势中每个预设手势对应的特征集合,进行所述每个预设手势的识别,得到所述每个预设手势的识别结果。从加速度数据中提取的多个特征可以复用作多个预设手势的识别,从而提高数据处理效率。作为一个例子,可以设置一个神经网络模型,神经网络模型包含主干部分和分支部分,主干部分用于进行特征提取,得到多个特征,并将多个特征的不同组合分别输入到分支部分包含的各个分支网络,每个分支网络可以用于进行一个或两个以上预设手势的识别,从而利用同一个神经网络模型实现多个预设手势的识别。
示例性的,所述可穿戴设备将所述加速度数据划分为至少一个数据块、以及将所述数据块划分为至少一个数据帧,每个所述数据帧包括多个加速度,且相邻数据帧可以有一部分重叠,包含至少一个相同的加速度,有利于保证相邻数据帧的连续性,避免突变的加速度的影响;然后对于各个所述数据帧,根据该数据帧中的多个加速度获取该数据帧的多个加速度特征;进而对于各个数据块,可穿戴设备对该数据块包括的所有数据帧的加速度特征进行处理,获得该数据块的多个特征,通过对所有数据块的多个特征进行组合,得到所述多个预设手势分别对应的特征集合。在一个例子中,比如将加速数据划分成N个数据块,每个数据块划分成M个数据帧(M个数据帧按照采样时间顺序排列),每个数据帧包括L个加速度(L个加速度按照采样时间顺序排列),相邻数据帧的首尾加速度相同;N、M、L为大于0的整数。对于任一数据帧,可穿戴设备可以统计该数据帧的多个加速度的均值、以及计算加速度传感器的不同轴向与水平方向或者垂直方向的夹角,得到该数据帧的多个加速度特征。
以图6所示的腕戴式设备的坐标系为例,加速度传感器的第一轴向(X轴)和第二轴向(Y轴)所在的XY平面与可穿戴设备的主体屏幕所在平面平行,第三轴向(Z轴)垂直于XY平面。所述数据帧的多个加速度特征可以包括以下至少一项:
(1)L个加速度的平均值、
(2)前n个加速度的平均值、
(3)后(L-n)个加速度的平均值、
(4)第二轴向与水平方向的夹角、
(5)第二轴向与水平方向的夹角的变化、
(6)第一轴向与水平方向的夹角、
(7)第一轴向与水平方向的夹角的变化、
(8)第三轴向与垂直方向的夹角、或者
(9)第二轴向与水平方向的夹角,其中,n小于L。
以抬起手势为例,抬起手势的特征集合可以包括以下至少一个特征:
(1)数据块中前b个数据帧的第二轴向与水平方向的夹角的变化的平均值、
(2)数据块中前b个数据帧的第一轴向与水平方向的夹角的变化的平均值、
(3)数据块中最后一个数据帧的第二轴向与水平方向的夹角、
(4)数据块中最后一个数据帧的第一轴向与水平方向的夹角、
(5)数据块中前c个数据帧的第三轴向与垂直方向的夹角的平均方差、
(6)数据块中前c个数据帧的第二轴向与垂直方向的夹角的平均方差、
(7)数据块中后(M-c)个数据帧的第三轴向与垂直方向的夹角的平均方差、
(8)数据块中后(M-c)个数据帧的第二轴向与垂直方向的夹角的平均方差、
(9)数据块中首尾两个数据帧的第二轴向与水平方向的夹角之差、
(10)数据块中首尾两个数据帧的第一轴向与水平方向的夹角之差、
(11)数据块中最后一个数据帧的第二轴向与水平方向的夹角的变化值、和
(12)数据块中最后一个数据帧的第一轴向与水平方向的夹角的变化值,其中,b、c小于M。
以转动手势为例,转动手势的特征集合可以包括以下至少一个特征:
(1)数据块中前b个数据帧的第二轴向与水平方向的夹角的变化值的平均值、
(2)数据块中前b个数据帧的第一轴向与水平方向的夹角的变化值的平均值、
(3)数据块中最后一个数据帧的第二轴向与水平方向的夹角、
(4)数据块中前c个数据帧的第三轴向与垂直方向的夹角的平均方差、
(5)数据块中前c个数据帧的第二轴向与垂直方向的夹角的平均方差、或者
(6)数据块中最后一个数据帧的第二轴向与水平方向的夹角的变化值。
在一种可能的实现方式中,考虑到同一手势可能存在多种产生可能性,比如抬起手势存在多个方向不同角度的抬起方式,则对应的加速度特征也存在多样性;因此,为了提高手势识别的准确性,可以预先训练有不同手势对应的识别模型,进而在实际应用过程中,所述可穿戴设备可以将多个预设手势分别对应的特征集合分别输入所述预设手势对应的识别模型中进行识别处理,获取手势识别结果。本实施例中有利于提高模型检测的准确性。
其中,不同手势对应的识别模型不同。示例性的,所述识别模型可以有监督学习方式训练得到。比如在训练阶段,电子设备(可以是可穿戴设备或者其他设备)获取若干训练样本(比如抬起手势的正负样本及其对应的标签),然后将所述正负样本输入预设模型中以获得预测手势,进而根据预设手势与所述标签之间的差异调整所述预设模型的参数,从而得到抬起手势对应的识别模型。其他手势对应的识别模型的训练过程类似,此处不在赘述。
可以理解的是,本实施例对于所述预设模型的结构不做任何限制,可依据实际应用场景进行具体设置。在一个例子中,比如抬起手势对应的识别模型为随机森林树模型,随机森林树的棵数和节点数可依据实际应用场景进行具体设置,比如由于可穿戴设备体积较小,资源有限,可以设置随机森林树的棵数小于5(比如3、4等)以及节点数小于10(比如7、8等)。在另一个例子中,比如转动手势对应的识别模型为决策树模型。当然,识别模型还可以是其他诸如分类器、支持向量机模型或者神经网络模型等。
在一示例性的实施例中,考虑到不同手势的识别准确性要求不同。对于抬起手势和转动手势以手表或手环举例,用户比较关心的是抬起手势发生后,可穿戴设备有没有亮屏,或者在转动手势发生后,可穿戴设备有没有唤醒某个功能,所以识别准确性要求较高;而在落下手势发生后,用户对于可穿戴设备是否熄屏的关注度没有那么高,对于手表或者手环来说通常仅需考虑手心朝上的落下手势以及手背向上的落下手势即可,即落下手势的识别准确性要求低于其他两种手势的识别准确性要求,则如果针对于所有手势均设置有效性条件进行判断,难免造成运算资源的浪费。因此,可以设置至少一个有效性条件,所述至少一个有效性条件中包括与第一预设手势对应的第一有效性条件和与第二预设手势对应的第二有效性条件,所述第一预设手势和所述第二预设手势的其中之一为抬起手势,另一个为转动手势,对于落下手势可以考虑不设置有效性条件,从而有利于节省运算资源,降低功耗。
示例性的,在用户穿戴所述可穿戴设备(以手表为例)的情况下,以图5的坐标系为例,则有第一轴向与手臂平行,第二轴向垂直于手臂,第三轴向垂直于第一轴向和第二轴向构成的平面。
以图5的坐标系为例,抬起手势对应的有效性条件包括以下至少一项:第一轴向的加速度平均值小于第一预设阈值、第二轴向的加速度平均值小于第二预设阈值、第一轴向的加速度绝对值逐渐变小、第二轴向的加速度绝对值逐渐变大、第一轴向与水平方向的夹角逐渐变小、第一轴向与水平方向的夹角小于第一预设角度(比如20°、25°或者30°等)、第二轴向与水平方向的夹角逐渐变小、或者第二轴向与水平方向的夹角小于第二预设角度(比如20°、25°或者30°等)。
以图5的坐标系为例,转动手势对应的有效性条件包括以下至少一项:第一轴向的加速度绝对值先变大再变小、第二轴向的加速度绝对值先变大再变小、第一轴向的加速度绝对值和第二轴向的加速度绝对值呈正相关关系、第一轴向与水平方向的夹角小于第四预设阈值。
作为一个例子,可穿戴设备响应于所述加速度数据满足所述第一有效性条件且所述加速度数据不满足所述第二有效性条件,可穿戴设备利用所述加速度数据进行所述第一预设手势的识别,得到所述第一预设手势的初始识别结果。
作为另一个例子,可穿戴设备响应于所述加速度数据满足所述第一有效性条件且所述加速度数据满足所述第二有效性条件,则利用所述加速度数据分别进行所述第一预设手势和所述第二预设手势的识别,得到第一预设手势的初始识别结果和第二预设手势的初始识别结果。本实施例实现抬起手势和转动手势在满足有效性条件的情况下才进行进一步的手势识别过程,有利于降低误判概率,提高手势识别的准确性。
示例性的,考虑到抬起手势和转动手势识别复杂度较高;可以针对于抬起手势和转动手势预先训练对应的识别模型,以用于手势识别。对于识别模型具体可参见上述描述,此处不再赘述。
而对于落下手势,由于落下手势的识别准确性要求低于其他两种手势的识别准确性要求,则可以直接进行手势识别即可。比如所述可穿戴设备可以确定落下手势对应的特征集合中的特征是否满足落下手势的识别条件,比如以图6的坐标系为例,落下手势的识别条件包括:第一轴向与水平方向的夹角逐渐变大、第一轴向与水平方向的夹角大于第三预设角度(比如35°、40°等)、第二轴向与水平方向的夹角逐渐变大、或者第二轴向与水平方向的夹角大于第四预设角度(比如20°、30°或者40°等);若满足落下手势的识别条件,则可穿戴设备输出落下手势的初始识别结果。本实施例中,对于识别准确性要求不高的落下手势,仅通过预设的识别条件对该手势的加速度特征进行直接识别,有利于减少操作步骤和运算量,从而有利于降低功耗,提高续航时长。
在本公开实施例中,在得到多个预设手势的初始识别结果之后,可以根据所述多个初始识别结果,确定当前需要响应的手势,其中,一个预设手势的初始识别结果可以指示是否识别到该预设手势,如果识别到该预设手势,则初始识别结果还可以可选地进一步包括手势的一个或多个参数,以实现更精细的设备交互和控制。作为一个例子,如果初始识别结果指示仅检测到其中一个预设手势,则检测到的该预设手势为当前响应手势,可穿戴设备可以针对该预设手势进行相应的响应,例如切换模式、变换用户界面、熄屏、亮屏、切换应用程序等等。作为另一个例子,如果初始识别结果指示检测到两个以上预设手势,则可以从两个以上预设手势中选择当前要响应的手势。例如,可以基于不同的预设手势所对应的功能、应用或操作以及当前设备状态中的至少一种来进行选择,当前设备状态可以包括屏幕状态、运行的应用程序类型、当前的用户界面、当前的运行模式、设备功耗等一种或任意多种。作为另一个例子,如果初始识别结果指示未检测到任何预设手势,则可以不做任何响应。
作为一个例子,所述多个预设手势包括抬起手势、落下手势和转动手势,抬起手势用于指示亮屏,落下手势用于指示熄屏,转动手势用于控制设备特定功能,例如转动手势用于唤醒或关闭语音助手。每个手势的初始识别结果包括指示检测到该手势或者指示未检测到该手势,则可以通过以下一种或多种方式进行当前响应手势的选择。
在一种实现方式中,响应于所述多个初始识别结果指示仅检测到抬起手势,确定所述当前响应手势为检测到的所述抬起手势。
在一种实现方式中,响应于所述多个初始识别结果指示仅检测到落下手势,确定所述当前响应手势为检测到的所述落下手势。
其中,作为另一个例子,为了进一步提高识别准确性,也可以在所述多个初始识别结果指示检测到落下手势的情况下,如果历史响应手势存在抬起手势,则可以确定所述当前响应手势为检测到的所述落下手势。
在一种实现方式中,响应于所述多个初始识别结果指示仅检测到转动手势,确定所述当前响应手势为检测到的所述转动手势。
在一种实现方式中,响应于所述多个初始识别结果指示检测到所述抬起手势以及所述落下手势,确定所述当前响应手势为检测到的所述抬起手势。
在一种实现方式中,响应于所述多个初始识别结果指示检测到所述转动手势以及所述落下手势,确定所述当前响应手势为检测到的所述转动手势。
在一种实现方式中,响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势,根据所述可穿戴设备的当前屏幕状态,确定所述当前响应手势。例如,如果所述可穿戴设备的当前屏幕状态为亮屏状态,则所述当前响应手势为所述转动手势。再例如,如果所述可穿戴设备的当前屏幕状态为熄屏状态,则所述当前响应手势为所述抬起手势。
在一种实现方式中,响应于所述多个初始识别结果指示检测到所述抬起手势、所述落下手势以及所述转动手势,根据所述可穿戴设备的当前屏幕状态,确定所述当前响应手势为所述抬起手势或所述转动手势。
以上实施方式中的各种技术特征可以任意进行组合,只要特征之间的组合不存在冲突或矛盾,但是限于篇幅,未进行一一描述,因此上述实施方式中的各种技术特征的任意进行组合也属于本说明书公开的范围。
相应的,本公开还提供一种可穿戴设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
用于采集加速度数据的加速度传感器;
其中,所述处理器执行所述可执行指令时,用于:
获取所述可穿戴设备的加速度传感器采集的加速度数据;
确定所述可穿戴设备的当前手势识别模式;其中,所述当前手势识别模式包括第一识别模式和第二识别模式,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度;
响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果。
在一些实施例中,所述处理器还用于:利用目标缓存区缓存的加速度数据确定加速度范围;响应于所述加速度范围指示的活动幅度大于所述当前手势识别模式的活动幅度阈值,利用所述目标缓存区中缓存的加速度数据进行手势识别;其中,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值。
在一些实施例中,所述处理器还用于:根据佩戴所述可穿戴设备的用户所属的用户群组和所述可穿戴设备的当前状态信息中的至少一种,确定所述可穿戴设备的当前手势识别模式。
在一些实施例中,所述处理器还用于:通过对所述用户群组包括的至少一个用户的活动信息进行处理,确定所述用户群组的参考活动信息,所述参考活动信息包括下列中的至少一种:参考活动幅度、活动节律信息;根据所述用户群组的参考活动信息,确定所述可穿戴设备的当前手势识别模式;和/或根据佩戴所述可穿戴设备的用户设定的期望续航时间以及所述可穿戴设备的功耗信息,确定所述可穿戴设备的当前手势识别模式。
在一些实施例中,所述处理器还用于:利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,所述多个预设手势包括抬起手势、落下手势和转动手势;根据所述多个初始识别结果,确定当前响应手势。
在一些实施例中,所述处理器还用于:响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势中的至少一个、以及所述落下手势,确定所述当前响应手势为检测到的所述抬起手势或所述转动手势;或者,响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势,根据所述可穿戴设备的当前屏幕状态,确定所述当前响应手势。
在一些实施例中,所述处理器还用于:从所述加速度数据中提取多个特征;通过对所述多个特征进行组合,得到所述多个预设手势分别对应的特征集合,所述特征集合包括所述多个特征中的至少一个特征;利用所述多个预设手势中每个预设手势对应的特征集合,进行所述每个预设手势的识别,得到所述每个预设手势的初始识别结果。
在一些实施例中,所述处理器还用于:利用多个预设手势中至少一个预设手势对应的有效性条件对所述加速度数据进行有效性判断,得到有效性判断的结果;根据所述有效性判断的结果,利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果。
在一些实施例中,所述至少一个预设手势对应的有效性条件中包括与第一预设手势对应的第一有效性条件和与第二预设手势对应的第二有效性条件;所述处理器还用于:响应于所述加速度数据满足所述第一有效性条件且所述加速度数据不满足所述第二有效性条件,则利用所述加速度数据进行所述第一预设手势的识别,得到所述第一预设手势的初始识别结果;和/或响应于所述加速度数据满足所述第一有效性条件且所述加速度数据满足所述第二有效性条件,则利用所述加速度数据分别进行所述第一预设手势和所述第二预设手势的识别,得到第一预设手势的初始识别结果和第二预设手势的初始识别结果。
相应的,本公开实施例还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时用于实现上述方法。
本公开可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于:相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。
如图7所示,图7是本公开根据一示例性实施例示出的一种电子设备的结构图。该设备300可以是智能电话/手机、平板计算机、个人数字助理(PDA)、膝上计算机、台式计算机、媒体内容播放器、视频游戏站/系统、虚拟现实系统、增强现实系统、可穿戴式设备(例如,手表、眼镜、手套、头饰(例如,帽子、头盔、虚拟现实头戴耳机、增强现实头戴耳机、头装式装置(HMD)、头带)、挂件、臂章、腿环、鞋子、马甲)、遥控器、或者任何其他类型的设备。
参照图7,设备300可以包括以下一个或多个组件:处理组件302,存储器304,电源组件306,多媒体组件308,音频组件310,输入/输出(I/O)的接口312,传感器组件314,以及通信组件316。
处理组件302通常控制设备300的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件302可以包括一个或多个处理器320来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件302可以包括一个或多个模块,便于处理组件302和其他组件之间的交互。例如,处理组件302可以包括多媒体模块,以方便多媒体组件308和处理组件302之间的交互。
存储器304被配置为存储各种类型的数据以支持在设备300的操作。这些数据的示例包括用于在设备300上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器304可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。
电源组件306为设备300的各种组件提供电力。电源组件306可以包括电源管理系统,一个或多个电源,及其他与为设备300生成、管理和分配电力相关联的组件。
多媒体组件308包括在所述设备300和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件308包括一个前置摄像头和/或后置摄像头。当设备300处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件310被配置为输出和/或输入音频信号。例如,音频组件310包括一个麦克风(MIC),当设备300处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器304或经由通信组件316发送。在一些实施例中,音频组件310还包括一个扬声器,用于输出音频信号。
I/O接口312为处理组件302和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件314包括一个或多个传感器,用于为设备300提供各个方面的状态评估。例如,传感器组件314可以检测到设备300的打开/关闭状态,组件的相对定位,例如所述组件为设备300的显示器和小键盘,传感器组件314还可以检测设备300或设备300中一个组件的位置改变,用户与设备300接触的存在或不存在,设备300方位或加速/减速和设备300的温度变化。传感器组件314可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件314还可以包括光传感器,如CMOS或CCD图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件314还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
通信组件316被配置为便于设备300和其他设备之间有线或无线方式的通信。设备300可以接入基于通信标准的无线网络,如WiFi,2G、3G或4G,或它们的组合。在一个示例性实施例中,通信组件316经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件316还包括近场通信(NFC)模块,以促进短程通信。例如,在NFC模块可基于射频识别(RFID)技术,红外数据协会(IrDA)技术,超宽带(UWB)技术,蓝牙(BT)技术和其他技术来实现。
在示例性实施例中,设备300可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器304,上述指令可由设备300的处理器320执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
以上所述仅为本公开的较佳实施例而已,并不用以限制本公开,凡在本公开的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本公开保护的范围之内。

Claims (11)

1.一种可穿戴设备的手势识别方法,其特征在于,包括:
获取所述可穿戴设备的加速度传感器采集的加速度数据;
确定所述可穿戴设备的当前手势识别模式;其中,所述当前手势识别模式包括第一识别模式或第二识别模式,所述第一识别模式的识别灵敏度低于所述第二识别模式的识别灵敏度;
响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果。
2.根据权利要求1所述的方法,其特征在于,所述响应于确定所述加速度数据满足所述当前手势识别模式的识别触发条件,利用所述加速度数据进行手势识别,得到手势识别结果,包括:
利用目标缓存区缓存的加速度数据确定加速度范围;
响应于所述加速度范围指示的活动幅度大于所述当前手势识别模式的活动幅度阈值,利用所述目标缓存区中缓存的加速度数据进行手势识别;其中,所述第一识别模式的活动幅度阈值大于所述第二识别模式的活动幅度阈值。
3.根据权利要求1或2所述的方法,其特征在于,所述确定所述可穿戴设备的当前手势识别模式,包括:
根据佩戴所述可穿戴设备的用户所属的用户群组和所述可穿戴设备的当前状态信息中的至少一种,确定所述可穿戴设备的当前手势识别模式。
4.根据权利要求3所述的方法,其特征在于,所述根据佩戴所述可穿戴设备的用户所属的用户群组和所述可穿戴设备的当前状态信息中的至少一种,确定所述可穿戴设备的当前手势识别模式,包括:
通过对所述用户群组包括的至少一个用户的活动信息进行处理,确定所述用户群组的参考活动信息,所述参考活动信息包括下列中的至少一种:参考活动幅度、活动节律信息;根据所述用户群组的参考活动信息,确定所述可穿戴设备的当前手势识别模式;
和/或
根据佩戴所述可穿戴设备的用户设定的期望续航时间以及所述可穿戴设备的功耗信息,确定所述可穿戴设备的当前手势识别模式。
5.根据权利要求1至4任意一项所述的方法,其特征在于,所述利用所述加速度数据进行手势识别,得到手势识别结果,包括:
利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,所述多个预设手势包括抬起手势、落下手势和转动手势;
根据所述多个初始识别结果,确定当前响应手势。
6.根据权利要求5所述的方法,其特征在于,所述根据所述多个初始识别结果,确定当前响应手势,包括:
响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势中的至少一个以及所述落下手势,确定所述当前响应手势为检测到的所述抬起手势或所述转动手势;或者,
响应于所述多个初始识别结果指示检测到所述抬起手势和所述转动手势,根据所述可穿戴设备的当前屏幕状态,确定所述当前响应手势。
7.根据权利要求5或6所述的方法,其特征在于,所述利用所述加速度数据分别进行多个预设手势的识别,包括:
从所述加速度数据中提取多个特征;
通过对所述多个特征进行组合,得到所述多个预设手势分别对应的特征集合,所述特征集合包括所述多个特征中的至少一个特征;
利用所述多个预设手势中每个预设手势对应的特征集合,进行所述每个预设手势的识别,得到所述每个预设手势的初始识别结果。
8.根据权利要求5至7中任一项所述的方法,其特征在于,在所述利用所述加速度数据进行手势识别,得到手势识别结果之前,还包括:
利用所述多个预设手势中至少一个预设手势对应的有效性条件对所述加速度数据进行有效性判断,得到所述至少一个预设手势中每个预设手势的有效性判断结果;
所述利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,包括:
根据所述有效性判断的结果,利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果。
9.根据权利要求8所述的方法,其特征在于,所述至少一个预设手势对应的有效性条件包括与第一预设手势对应的第一有效性条件和与第二预设手势对应的第二有效性条件;
所述根据所述有效性判断的结果,利用所述加速度数据分别进行多个预设手势的识别,得到多个初始识别结果,包括:
响应于所述加速度数据满足所述第一有效性条件且所述加速度数据不满足所述第二有效性条件,则利用所述加速度数据进行所述第一预设手势的识别,得到所述第一预设手势的初始识别结果;和/或
响应于所述加速度数据满足所述第一有效性条件且所述加速度数据满足所述第二有效性条件,则利用所述加速度数据分别进行所述第一预设手势和所述第二预设手势的识别,得到第一预设手势的初始识别结果和第二预设手势的初始识别结果。
10.一种可穿戴设备,其特征在于,包括:
处理器;
用于存储处理器可执行指令的存储器;
用于采集加速度数据的加速度传感器;
其中,所述处理器执行所述可执行指令时,用于实现如权利要求1至9任意一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1至9任一项所述方法。
CN202211289844.3A 2022-10-20 2022-10-20 手势识别方法、可穿戴设备及存储介质 Pending CN115599211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211289844.3A CN115599211A (zh) 2022-10-20 2022-10-20 手势识别方法、可穿戴设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211289844.3A CN115599211A (zh) 2022-10-20 2022-10-20 手势识别方法、可穿戴设备及存储介质

Publications (1)

Publication Number Publication Date
CN115599211A true CN115599211A (zh) 2023-01-13

Family

ID=84849426

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211289844.3A Pending CN115599211A (zh) 2022-10-20 2022-10-20 手势识别方法、可穿戴设备及存储介质

Country Status (1)

Country Link
CN (1) CN115599211A (zh)

Similar Documents

Publication Publication Date Title
CN108052079B (zh) 设备控制方法、装置、设备控制装置及存储介质
CN110874129B (zh) 显示系统
CN105718043B (zh) 用于控制电子装置的方法和设备
EP3151207B1 (en) Alarming method and alarming device
CN108628645B (zh) 应用程序预加载方法、装置、存储介质及终端
CN109120790B (zh) 通话控制方法、装置、存储介质及穿戴式设备
CN112118380B (zh) 相机操控方法、装置、设备及存储介质
CN108604246A (zh) 一种调节用户情绪的方法及装置
CN109259724B (zh) 一种用眼监控方法、装置、存储介质及穿戴式设备
CN105872228A (zh) 一种闹钟提醒处理的方法、装置以及终端
EP2922212B1 (en) Method, apparatus and system for controlling emission
CN110554768A (zh) 一种智能穿戴设备控制方法、设备和计算机可读存储介质
CN109116991A (zh) 穿戴式设备的控制方法、装置、存储介质及穿戴式设备
EP3275164A1 (en) Learning mode for context identification
CN110199503A (zh) 消息生成方法及用于支持该方法的可穿戴的电子设备
US20160299483A1 (en) Method for controlling terminal device, and wearable electronic device
CN113272913A (zh) 在用户之间收集、分析和共享生物节律数据的系统和方法
US20180246568A1 (en) Blink detection, tracking, and stimulation
KR102163996B1 (ko) 사용자 기기의 비접촉식 인식 기능 성능 향상 방법 및 장치
CN112114653A (zh) 终端设备的操控方法、装置、设备及存储介质
CN109117819B (zh) 目标物识别方法、装置、存储介质及穿戴式设备
CN110638437A (zh) 基于心率监测的控制方法、终端、可穿戴设备及存储介质
CN115599211A (zh) 手势识别方法、可穿戴设备及存储介质
CN109144263A (zh) 社交辅助方法、装置、存储介质及穿戴式设备
CN111614841B (zh) 闹钟控制方法、装置、存储介质及移动终端

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination