CN115344111A - 手势交互方法、系统和装置 - Google Patents

手势交互方法、系统和装置 Download PDF

Info

Publication number
CN115344111A
CN115344111A CN202110462439.6A CN202110462439A CN115344111A CN 115344111 A CN115344111 A CN 115344111A CN 202110462439 A CN202110462439 A CN 202110462439A CN 115344111 A CN115344111 A CN 115344111A
Authority
CN
China
Prior art keywords
gesture
data
user
pulse wave
smart watch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110462439.6A
Other languages
English (en)
Inventor
麦睿楷
胡宏伟
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202110462439.6A priority Critical patent/CN115344111A/zh
Priority to EP22794683.7A priority patent/EP4310636A1/en
Priority to PCT/CN2022/087720 priority patent/WO2022228212A1/zh
Publication of CN115344111A publication Critical patent/CN115344111A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Abstract

本申请提供了一种手势交互方法，实施该方法，智能手表等智能可穿戴电子设备可获取用户完成特定手势时的多类数据。通过上述多类数据来识别用户完成的手势，可以提升手势识别的准确性和鲁棒性，降低误识别发生的几率。特别的，当用户所处的环境发生显著变化时，智能手表等电子设备可以准确的识别用户的手势。因此，在使用手势识别控制电子设备操作的过程中，用户可以获得更好的使用体验。

Description

手势交互方法、系统和装置
技术领域
本申请涉及智能穿戴领域，尤其涉及手势交互方法、系统和装置。
背景技术
目前，智能穿戴设备上的手势识别技术的环境适应能力弱。在进行识别所处的环境发生明显变化时，上述手势识别技术的识别能力弱，识别效果差。进而，基于手势识别的用户交互体验较差。
发明内容
本申请提供了一种手势交互方法，实施该方法，智能手表等智能可穿戴电子设备可结合用户完成手势的多类数据来识别该手势，从而提升手势识别的准确定，进一步的，为用户提供更好的手势交互体验。
第一方面，本申请实施例提供了一种手势交互方法，该方法应用于电子设备，该方法包括：通过惯性运动单元采集第一姿态数据；在所述采集第一姿态数据的同时，通过脉搏波传感器采集脉搏波数据；通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势；响应于所述确定用户做出第一手势，执行第一操作。
实施第一方面提供的方法，电子设备可通过用户的姿态数据和脉搏波数据来识别用户的做出的手势，进而控制电子设备的操作。特别的，结合姿态数据和脉搏波数据的手势识别算法可以提升识别的准确性，提升手势识别的鲁棒性。这样可以降低电子设备发生误识别的概率，同时，还可以提升用户使用手势控制电子设备操作的使用体验。
结合第一方面的一些实施例，在一些实施例中，在通过惯性运动单元采集第一姿态数据之前，所述方法还包括：采集第二姿态数据；根据所述第二姿态数据确定用户做出了前置动作；响应于确定用户做出了所述前置动作，开启所述脉搏波传感器。
实施上述实施例提供的方法，电子设备可以在没有进行手势识别的过程中，关闭脉搏波传感器，仅开启惯性运动单元，从而降低电子设备的功耗，提升电子设备的续航时间。
结合第一方面的一些实施例，在一些实施例中，所述方法还包括：响应于确定用户做出了所述前置动作，点亮屏幕。
这样，用户可以通过电子设备的屏幕是否点亮，来判断该电子设备进入手势识别状态。
结合第一方面的一些实施例，在一些实施例中，在通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势之前，所述方法还包括：获取用户的位置数据；根据所述位置数据，确认用户处于第一位置；如果在所述第一位置识别到用户做出所述第一手势，则执行所述第一操作。
实施上述实施例提供的方法，电子设备可以将一个手势与多个操作关联，然后，根据电子设备所处的位置，判断在当前位置下，应该执行上述多个操中的哪一个操作。这样，用户使用尽可能少的手势来控制较多的业务，从而进一步的提升用户的使用体验。
结合第一方面的一些实施例，在一些实施例中，通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势，具体包括：利用第一窗口，从所述第一姿态数据和所述脉搏波数据中获取第一姿态数据块和第一脉搏波数据块，所述窗口具有第一长度；对所述第一姿态数据块和所述第一脉搏波数据块进行过滤，得到第二姿态数据块和第二脉搏波数据块；计算所述第二姿态数据块和所述第二脉搏波数据块的第一特征；利用所述特征确定用户做出第一手势。
实施上述实施例提供的方法，电子设备可以提取姿态数据和脉搏波数据包含的特征。通过对比这些特征和已学习手势的特征的区别，电子设备可以识别用户做出的手势。
结合第一方面的一些实施例，在一些实施例中，所述方法还包括：获取位置数据；若确定所述位置数据为第一位置，并且识别用户做出的手势不是所述第一手势，显示第一界面，所述第一界面用于提示用户重复之前的手势。
实施上述实施例提供的方法，电子设备可以通过位置数据确认一个用户在该位置下最有可能完成的手势。当识别用户做出的手势时，若识别到的结果与上述手势不一致，电子设备可再识别一次，从而提升特定场景下手势识别结果的准确性。
结合第一方面的一些实施例，在一些实施例中，执行第一操作，具体包括：显示包含支付二维码的用户界面。
实施上述实施例提供的方法，在电子设备识别到与支付业务关联的手势后，电子设备可显示包含支付二维码的用户界面。进而，用户通过上述支付二维码完成支付操作。这样可以节省用户打开支付二维码的触控操作，提升用户的使用体验。
结合第一方面的一些实施例，在一些实施例中，所述方法还包括：响应于确定用户做出了所述前置动作，打开麦克风；通过所述麦克风采集声音信号；所述通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势还包括：通过所述第一姿态数据、所述脉搏波数据和所述声音信号，判断用户是否做出第一手势。
实施上述实施例提供的方法，电子设备可结合姿态数据、脉搏波数据以及手势的声音信号来识别用户做出的手势，进一步的提升手势识别的准确性，提升用户的使用体验。
结合第一方面的一些实施例，在一些实施例中，通过所述第一姿态数据、所述脉搏波数据和所述声音信号，判断用户是否做出第一手势，具体包括：通过所述第一姿态数据、所述脉搏波数据的第一特征和所述声音信号的频率特征，判断用户是否做出第一手势。
实施上述实施例提供的方法，电子设备可以通过姿态数据和脉搏波数据的特征，以及声音信号的频率特征来识别用户做出的手势。
结合第一方面的一些实施例，在一些实施例中，所述第一特征包括：波谷特征、振动特征、峰值因子、波形因子、均方根频率、表征频谱的分散与集中程度的两个或两个以上的特征。
实施上述实施例提供的方法，电子设备可以通过计算姿态数据和脉搏波数据在上述特征方面的表现，判断上述姿态数据和脉搏波数据是否与已学习的某一手势的姿态数据和脉搏波数据相符，进而是被用户做出的手势。
结合第一方面的一些实施例，在一些实施例中，所述姿态数据包括：X轴加速度数据、Y轴加速度数据、Z轴加速度数据、三轴加速度幅度数据一个或多个；所述脉搏波数据包括：红外光数据、绿光数据的一个或多个。
实施上述实施例提供的方法，电子设备可以通过上述数据来识别用户的手势。
第二方面，本申请实施例提供了一种电子设备，该电子设备包括一个或多个处理器和一个或多个存储器；其中，一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第三方面，本申请实施例提供了一种芯片系统，该芯片系统应用于电子设备，该芯片系统包括一个或多个处理器，该处理器用于调用计算机指令以使得该电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当上述指令在电子设备上运行时，使得上述电子设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地，上述第二方面提供的电子设备、第三方面提供的芯片系统、第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
图1是本申请实施例提供的系统图；
图2A是本申请实施例提供的一种手势交互方法的流程图；
图2B-图2C是本申请实施例提供的一组用户手势示意图；
图3A是本申请实施例提供的电子设备学习用户手势的学习流程图；
图3B是本申请实施例提供的一组训练数据；
图4是本申请实施例提供的时序图；
图5是本申请实施例提供的另一种手势交互方法的流程图；
图6A、图6B是本申请实施例提供的另外两种手势交互方法的流程图；
图7是本申请实施例提供的另一种手势交互方法的流程图；
图8是本申请实施例提供的电子设备的硬件结构图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。
智能手表、手环等电子设备的人机交互主要通过表盘的触控屏实现。例如，用户可以通过手指点击表盘上显示的控件控制此类电子设备。与手机、平板电脑等电子设备相比，由于屏幕大小的限制，智能手表、手环等电子设备难以支持更直观的用户界面设计，进而导致用户操作繁琐。同时，由于表盘的屏幕较小，用户界面的各个元素也相应地较小。用户在使用触控屏的过程中更容易产生误触。这进一步降低了用户的使用体验。
手势识别技术可以解决上述提及的操作繁琐和误触的问题。这里的手势识别技术是指佩戴于用户手部的可穿戴设备，例如手表、手环等，通过获取手部姿态数据或生理数据等，来识别用户做出的手势的技术。
但是，现有的手势识别技术的场景泛化能力差。当场景发生较大变化时，手势识别的识别结果不稳定、准确率低。例如，基于神经传导传感器的手势识别技术，该技术在神经传导传感器与皮肤紧密接触的场景下，有较好的手势识别效果。但是，当用户佩戴手表较松弛使得传感器与皮肤接触不紧密时，则手势识别的效果不理想，又或者在炎热出汗的情况下，该技术的识别效果也不理想。
这里，场景是指用户做出手势的环境，例如户外步行环境、或光照强的操场等等。
其他手势识别技术，例如基于低频惯性运动单元(inertial measurement unit,IMU)感知的手势识别技术、基于光电容积脉搏波描记(photoplethysmography,PPG)感知的手势识别技术、基于超声波雷达或者毫米波雷达感知的手势识别技术，也存在同样的问题，即在某一些场景下，识别效果十分不理想。例如，在用户处于非静止状态的场景下，例如户外步行，基于IMU感知的手势识别技术的识别效果较差。在强太阳光照射下，基于PPG感知的手势识别技术的识别效果较差。
为了增强手势识别技术的场景泛化能力，使手势识别技术在不同的细分场景下均具备较好的识别效果，即提升手势识别技术的鲁棒性。本申请实施例提供了一种手势交互方法、系统和装置。该方法可应用于智能手表、手环等智能穿戴电子设备。
以智能手表为例，在实施该方法的过程中，智能手表可同时从多个传感器获取指示手势类型的数据(手势特征数据)。例如IMU采集的包含手势姿态特征的数据、脉搏波传感器采集的包含手势脉搏波特征的数据等。通过学习上述多个传感器发送的不同手势的手势特征数据，智能手表可以得到一个融合模型，即手势分类器。通过手势分类器，智能手表可识别手势特征数据，进而可识别用户完成的手势。然后，根据手势与业务的关联关系，智能手表可根据识别到的手势调起与该手势关联的应用程序的业务，进一步的，智能手表可执行该业务。
例如，假设搓手指手势关联显示支付二维码这一业务，当识别到用户做出搓手指手势时，智能手表可根据上述匹配关系调起显示支付二维码这一业务。于是，用户可使用支付二维码完成支付操作。这样，用户可以通过完成一次搓手指手势即控制智能手表显示支付二维码，避免了多次触摸屏幕的繁琐操作，提升了用户的使用体验。
下面，本申请实施例将结合图1介绍手势交互方法的系统。
如图1所示，以搓手指手势为例，实施手势交互方法的场景包括用户(手部)11和智能手表12。其中，智能手表12可包括表盘121、表带122。
表盘121内安装有多个传感器。上述传感器可用于获取用户完成搓手指手势过程中的各类信号或数据。上述传感器包括惯性运动单元(IMU)1211和脉搏波传感器1212。其中，惯性运动单元1211可用于获取完成特定手势时用户手部的姿态数据。这里，姿态数据是指描述手势位置，特定形态以及对应的生物振动波的数据。脉搏波传感器1212可用于获取用户完成特定手势时的脉搏波数据。
惯性运动单元1211(IMU)包括加速度传感器1213和陀螺仪传感器1214。加速度传感器1213可测量完成特定手势时X轴、Y轴和Z轴的加速度数据。陀螺仪传感器1214可测量完成特定手势时X轴、Y轴和Z轴的角速度数据。通过上述两个传感器，IMU可以识别用户手势的位置、形态。
脉搏波传感器1212包括发光二极管(light emitting diode,LED)1215和光检测器1216(例如光电二极管，photodiode,PD)。发光二极管1215可以在用户完成特定手势的过程中发射光线(发射光)。光检测器1216可以采集经过手部血管反射的发射光(反射光)。血管容积和血液的流速的变化可引起反射光的变化。因此，脉搏波传感器1212可通过检测反射光的变化来描述血管容积和血液的流速的变化，进而描述用户完成特定手势时的脉搏波变化。
例如，上述发射光可以是绿光、红外光等。本申请实施例对此不做限制。在一些实施例中，上述发射光还可以包括多个光源，例如同时装置有两个发光二极管(绿光和红外光)。
在用户完成搓手指手势的过程中，用户的手可呈现图1所示的形态。结合图1，上述搓手指手势是指：拇指与食指(或其他手指)接触并来回搓动2-3次的手势。
在完成上述动作的过程中，用户的手部会产生形变、振动，手部血管容积和血液的流速会因为上述振动和形变发生变化，进而导致经过手部的反射光发生变化。此时，惯性运动单元1211可采集上述振动、形变的信号，并生成搓手指手势的姿态数据。同时，脉搏波传感器1212可采集手部的反射光，并生成搓手指手势的脉搏波数据。由于搓手指手势的来回的搓动这一行为，搓手指手势的姿态数据和脉搏波数据可呈现周期性的变化。因此，智能手表可通过上述周期性的变化，来确定用户的做出的手势是否为搓手指动作。
不同手势对应的姿态数据和脉搏波数据不同。基于上述结论，智能手表可以通过分析不同姿态数据和脉搏波数据的特征，判断上述姿态数据和脉搏波数据指示的是哪一类型的手势。
具体的，在完成搓手指手势的过程中，惯性运动单元1211采集到的搓手指手势的姿态数据和脉搏波传感器1212采集到的搓手指手势的脉搏波数据可包含有搓手指这一动作的特征。例如，上述姿态数据和脉搏波数据的时域波谷特征、振动特征、峰值因子、波形因子等等，上述特征用于描述姿态数据和脉搏波数据的时域波形。
在将上述姿态数据和脉搏波数据输入手势分类器后，手势分类器可以通过从中提取出搓手指的特征。进而，手势分类器可以判断上述姿态数据和脉搏波数据指示的手势为搓手指手势。于是，智能手表可以判断用户执行了搓手指手势，响应于该手势，智能手表可调起与搓手指手势关联的业务，例如显示支付二维码。
下面本申请实施例将结合图2A具体说明实施手势交互方法的具体流程。
S201:初始状态(IMU工作、脉搏波传感器休眠)。
如图2A所示，在用户做出特定手势之前，智能手表可处于初始状态。此时，智能手表的惯性运动单元(IMU)可处于工作状态，脉搏波传感器可处于休眠状态。这里，工作状态是指IMU可实时检测用户的手部动作、获取姿态数据的状态。与工作状态相反，处于休眠状态时，脉搏波传感器不会产生发射光，同时也不会检测反射光，因而，脉搏波传感器也不可获取用户的脉搏波数据。处于休眠状态的脉搏波传感器可被唤醒，从而进入工作状态。
S202：智能手表采集用户的姿态数据，识别到用户完成前置动作。
在完成某一特定手势之前，用户会先完成一个前置动作。例如，在完成搓手指手势之前，用户会首先将自然垂下的手腕抬起(抬腕)，这一抬腕动作可视为一个前置动作。不限于抬腕，前置动作还可是其他类型的手部运动，这里不一一例举。智能手表可识别上述前置动作。
具体的，在完成前置动作的过程中，用户的手臂及手腕可出现明显的运动。手臂及手腕的位置和形态相应地发生明显改变。此时，IMU采集的用户手部的姿态数据也会相应地出现显著变化。因此，用户在做出前置动作的这一过程中，IMU采集的用户手部的姿态数据可包含该前置动作的位置和形态的特征。因此，智能手表可通过IMU检测用户是否完成上述前置动作。
参考图2B，在抬腕的过程中，用户的大臂和小臂可由自然下垂的位置和形态(图2B)转换到大臂和小臂构成近似直角的位置和形态(图2C)。示例性的，IMU的加速度计X轴可由图2B所示的垂直向下变化为图2C所示的水平向右。此时，IMU采集的用户手部的姿态数据可包括上述变化。当检测到上述变化时，智能手表即可确认用户完成前置。上述通过X轴加速度计识别用户是否做出前置动作的方法可称为水平检测。
不限于水平检测所示的方法，智能手表还可通过IMU检测用户手腕的高度变化值来判断用户是否做出前置动作。上述高度变化值为预设的。例如，上述高度变化值可以为50cm,当智能手表检测到手腕的高度提升50cm或50cm以上后，智能手表可判断用户做出了前置动作。
当用户没有完成前置动作时，IMU也就无法采集到包含前置动作特征的姿态数据，因此，智能手表也就不能检测到前置动作。IMU采集的姿态数据是持续进行的，因此，智能手表可不断的识别用户是否做出前置动作。
S203：智能手表控制脉搏波传感器进入工作状态。
在识别到上述前置动作后，智能手表可打开脉搏波传感器。此时，IMU和脉搏波传感器均进入工作状态。然后，智能手表可同时获取用户的姿态数据和脉搏波数据。
具体的，在识别到用户做出前置动作后，智能手表可向脉搏波传感器发送控制信号。响应于该控制信号，脉搏波传感器从休眠状态进入工作状态。在工作状态中，脉搏波传感器的发光二极管(LED)可发射绿光，同时，光检测器可获取经过血管反射的绿光，并将反射绿光的光信号转变为电信号记录下来，从而获得用户的脉搏波数据。
在识别到前置动作前，智能手表可只开启IMU。在IMU识别到用户完成前置动作后，脉搏波传感器才进入工作状态。这样，智能手表可以在进行手势识别时才启用脉搏波传感器。而在其他时间，智能手表不需要开启全部传感器，从而降低整体功耗，延长使用时间。
在识别到用户完成前置动作后，智能手表还可点亮屏幕，即进入亮屏状态。在亮屏状态时，IMU和脉搏波传感器均处于工作状态。同时，用户也可通过亮屏状态知道智能手表已经进入识别手势的状态了。
S204：智能手表采集用户完成手势时的姿态数据和脉搏波数据，并通过上述数据识别到用户的特定手势。
根据前面的介绍，在识别前置动作后，智能手表的IMU和脉搏波传感器均处于工作状态。这也就是说，在识别到前置动作后，智能手表可同时获取用户完成前置动作后的姿态数据和脉搏波数据。
在完成前置动作后，用户可做出特定手势。例如，在完成抬腕后，用户可随即做出搓手指手势。此外，用户也可通过智能手表点亮屏幕的操作知道智能手表已经开启手势识别功能，进而，用户可以完成特定手势，从而指示智能手表完成相应业务。
此时，IMU和脉搏波传感器采集的姿态数据和脉搏波数据可包括特定手势的特征，基于上述特征，智能手表可识别用户做出的手势。例如，上述姿态数据和脉搏波数据可包括搓手指手势的特征(由于拇指与食指或中指按压并来回搓动产生的数据周期性变化)。进而，基于上述特征，智能手表可识别用户做出的搓手指手势。
这里，特定手势不仅是指一般的具有典型性的手势，例如握拳、响指以及图1所示的搓手指等手势。同时，特定手势还指示该手势是手势分类器已学习的手势，即智能手表可通过手势分类器识别的手势。
具体的，智能手表可包括一个手势分类器。手势分类器是智能手表学习不同手势的手势特征数据得到一个分类器模型。该模型记录了已学习的各类手势的特征。该模型可通过提取输入该模型的数据的特征，判断上述数据是否为前述已学习的某一手势。
智能手表通过手势识别算法学习手势特征数据得到手势分类器的过程将在后续实施例中进行详细介绍，这里先不展开。
智能手表会在一个预设时长内识别用户的手势。智能手表可识别该预设时长内产生的姿态数据和脉搏波数据。例如，智能手表可确定在脉搏波传感器进入工作状态后的7秒为识别用户特定手势的时间。
在这7秒内，IMU和脉搏波传感器均处于工作状态，因此，智能手表可获取到持续产生的姿态数据和脉搏波数据。在IMU和脉搏波传感器采集姿态数据和脉搏波数据的过程中，IMU和脉搏波传感器可一边采集数据，一边将已采集的数据发送到手势分类器。被输入到手势分类器的姿态数据和脉搏波数据可称为输入数据。
具体的，IMU和脉搏波传感器可按固定长度的数据包大小向手势分类器发送已采集的数据。例如IMU可在采集到10个数据点后，将这10个数据点同时发送给手势分类器。同样的，脉搏波传感器也是如此。
手势分类器可在收到IMU发送的100个数据点后，即接收到10次上述传感器发送的数据后，可将这个100个数据点确定为一组姿态输入数据。上述这一过程，可称为：利用长度为100的窗口，对采集的姿态数据和脉搏波数据进行划分。同样的，手势分类器还可收到脉搏波传感器发送的姿态数据，以100个点为一组进行划分。同一时间段内的一组姿态输入数据和一组脉搏波输入数据可用于手势分类器识别用户在该同一时间段内是否做出特定手势。
可以理解的，上述10个数据点和100个数据均为示例性说明，不应构成对本申请实施例的限定。
在获取到输入数据之后，手势分类器可对上述数据进行滤波处理，并计算上述数据的特征。通过对比上述特征和手势分类器已经学习的手势的特征，手势分类器可以识别上述输入数据指示的手势。
例如，在用户完成搓手指手势的过程中，手势分类器可接收到一组输入数据(同一时间段内的100个姿态数据点和100个脉搏波数据点)。手势分类器可计算上述输入数据的特征，例如上述输入数据中姿态数据的波峰、波谷等。然后，手势分类器可确定上述数据的特征与已学习的搓手指手势的特征相符。此时，智能手表确认识别到用户做出搓手指手势。
在上述预设时长内，手势分类器识别往往不能通过第一输入数据就识别到用户的否是做出特定手势。这是由于机器划分数据块的时间单位往往为毫秒。用户在几个(或者前几十个数据块)对应地时间内，用户可能还没做出手势，或者才刚刚做出手势，还没完成手势。
同时，在手势分类器识别上述第一输入数据的过程中，IMU和脉搏波传感器还在采集用户的姿态数据和脉搏波数据。因此，IMU和脉搏波传感器仍然在不断地向手势分类器发送姿态数据和脉搏波数据。
因此，在未能通过上述第一输入数据识别到用户的特定手势时，手势分类器可从IMU和脉搏波传感器发送的姿态数据和脉搏波数据中重新确定一组输入数据。这里，重新确定一组输入数据可通过后续实施例介绍的滑窗(图4)完成，这里先不展开。
然后，手势分类器可重新识别用户是否做出特定手势。这也就是说，当手势分类器通过一组输入数据无法识别用户的特定手势时，手势分类器可从IMU和脉搏波传感器重新获取输入数据。
当然，上述重新的输入数据是有时间限制的。这个限制即前述介绍的预设时长。在该预设时长结束前，若智能手表识别到了用户的特定手势，此时，智能手表可执行与该手势关联的业务，并不再进行识别。当该预设时长结束后，若智能手表仍未识别到用户的动作，智能手表也不会再继续进行识别了，即超时结束。
此外，在上述多次获取输入数据的过程中，智能手表还可同时检测用户是否执行了触屏操作。当检测到用户执行了触屏操作时，智能手表可结束手势识别进程。
S205：智能手表根据识别到的特定手势执行与该手势对应的业务。
当手势分类器识别到特定手势之后，智能手表可获取该特定手势对应的业务。然后，智能手表可执行上述业务。
例如，搓手指手势可关联支付业务。当手势分类器识别到搓手指手势时，即智能手表检测到用户完成搓手指手势时，响应于该手势，智能手表可打开包含支付功能的应用程序，进而显示支付二维码。上述包含支付功能的应用程序例如是
Figure BDA0003042787160000081
在图2A所示手势交互方法，智能手表可以同时获取用户完成特定手势的姿态数据和脉搏波数据，并且，智能手表可以结合上述两种数据对用户做出的手势进行识别。当输入手势分类器的数据类型增加时，智能手表可发现的指示手势的特征也就相应的增多。这有利于智能手表识别用户的手势。因此，结合上述两种数据识别用户手势的方法可以提升手势识别的鲁棒性。
这样，智能手表可以通过姿态数据和脉搏波数据发现手势的更多特征，进而在运动场景、强太阳光场景等场景下，智能手表也能从更多的特征上去识别用户的手势，从而更好更准确的识别用户的手势。这也就解决了场景变化导致手势识别不准确的问题。
下面，本申请实施例将结合图3A所示的手势识别算法流程图，详细介绍手势识别算法学习各个手势，得到手势分类器的过程。
如图3A所示，手势识别算法可首先从IMU和脉搏波传感器获取指示手势的姿态数据和脉搏波数据(S301)。上述姿态数据和脉搏波数据即为手势识别算法学习用户手势的训练样本。其中，姿态数据包括X轴加速度数据、Y轴加速度数据、Z轴加速度数据，以及加速度计的三轴幅度数据。上述X轴、Y轴、Z轴构成空间坐标系。本申请对X轴、Y轴、Z轴具体指示的方向不作限定。脉搏波数据包括PPG红外光信号和PPG绿光信号。
图3B示例性示出了上述训练样本中指示搓手指手势的一组数据。其中，图表311为搓手指手势的一组X轴加速度数据样本。图表312为搓手指手势的一组Y轴加速度数据样本。图表313为搓手指手势的一组Z轴加速度数据样本。图表314为搓手指手势的一组三轴幅度数据样本。图表315为搓手指手势的一组PPG红外光信号样本。图表316为搓手指手势的一组PPG绿光信号样本。
可以理解的，后续实施例对姿态数据和脉搏波数据的处理、计算，实际上是对姿态数据和脉搏波数据所包括的各种数据的处理和计算。
首先，手势识别算法可接收到大量的手势数据(姿态数据和脉搏波数据)。一个姿态数据的数据点和一个脉搏波数据的数据点可指示某一时刻用户手势的姿态和手部的脉搏波。大量的姿态数据和脉搏波数据组成了时域上用户手部的手势变化和脉搏波变化。
因此，在学习手势的姿态数据和脉搏波数据之前，手势识别算法可通过设定滑动窗口的方式，对较长一段时间段内的手势数据进行分割。
例如，上述滑动窗口的长度可以为200个数据点，步长可以为10个数据点，即一个滑动窗口的可包括200个数据点，该窗口可已每一步10个数据点的长度在时域轴上移动，从而更新窗口内的数据。可以理解的，这里，经过滑窗分割的数据的长度与前述图2A介绍的识别手势的数据块长度一致。
在经过滑动窗口处理后，连续的姿态数据和脉搏波数据就被分为固定长度的数据块了。该固定长度即为窗口的长度。然后，手势识别算法可以提取上述数据块的特征。
当然，在提取特征之前，手势识别算法需要对上述数据块进行过滤处理。这里的过滤是指滤除原始数据中包含的噪声。例如，运动噪声和心率噪声等。这里，运动噪声是指用户在运动过程中完成手势所产生的噪音。脉搏波数据中包括心率噪声是因为心脏运动会引起的血管收缩舒张。血管收缩舒张对手势引起的血管容积的变换会产生影响。因此，脉搏波传感器采集的脉搏波数据中含有心率噪声等非手势噪声。过滤处理可降低上述噪声产生的干扰。因此，手势识别算法需要在提取特征之前对上述输入数据进行过滤处理(S302)。
在本申请实施例中，手势识别算法可采用无限脉冲响应(Infinite ImpulseResponse,IIR)切比雪夫(Chebyshev)滤波器对IMU采集的姿态数据进行滤波处理；采用一阶巴特沃斯(Butterworth)数字滤波对脉搏波传感器采集的脉搏波数据进行滤波处理。不限于上述提及的滤波算法，手势识别算法还可采用其他的滤波算法对输入数据进行过滤。
S303：手势识别算法进行特征提取、组合、筛选，得到处理后的输入数据。
在完成上述介绍的滤波操作后，手势识别算法可开始提取输入数据的特征。
在本申请实施例中，手势识别算法可通过人工的方式为上述输入数据设计K类特征。上述特征包括输入数据的时域特征和频域特征。上述特征例如是波谷特征、振动特征等。再经过特征的构造提取和特征组合，上述K类特征可进一步扩充，从而得到更多的特征。
然后，结合算法的实时性和效率的要求，手势识别算法可从上述更多的特征中筛选优选特征(例如峰值因子、波形因子、均方根频率、表征频谱的分散与集中程度等)。这里，优选特征是指对手势识别算法识别手势贡献较大的特征，即通过优选特征，智能手表可在不牺牲识别准确率的前提下，有效降低手势识别算法的计算开销。
经过特征提取、组合、筛选得到的优选特征对应的数据可称为处理后的输入数据。
S304：手势识别算法使用分类学习算法训练处理后的输入数据得到手势分类器。
在确定优选特征之后，手势识别算法可通过分类学习算法训练上述处理后的输入数据，从而得到手势判断模型，即手势分类器。上述分类学习算法包括但不限于支持向量机(Support Vector Machine,SVM)、极限梯度提升决策树(Extreme Gradient Boosting,XGBoost)、随机森林(Random Forest,RF)。
然后，智能手表便可通过手势分类器识别指示特定手势的输入数据，从而判断用户完成了特定手势。
在手势分类器识别特定手势的过程中，手势分类器可参考S301-S302所示的方法，对获取的原始输入数据进行处理。上述处理就包括滑窗分割、滤波处理。在经过上述处理后，手势分类器可获得经过降噪的固定长度的输入数据(姿态数据和脉搏波数据)。然后，参考S303所示的方法，手势分类器可按照设定的K类特征，检验上述输入数据的是否符合各个特征的要求。当上述输入数据的K类特征的取值在某一手势的K类特征的具体阈值区间时，手势分类器识别上述输入数据指示的手势为上述某一手势。例如，当上述输入数据的K类特征的取值在搓手指手势的K类特征的具体阈值区间时，手势分类器识别上述输入数据指示的手势为上述搓手指手势。
在识别到特定手势之后，智能手表可根据上述特定手势调起与该手势关联的应用程序，并执行与该手势关联的应用程序业务。
通过图3A所示的方法，智能手表可以通过手势识别算法学习各种手势的特征，包括完成该手势时IMU采集到的数据的特征、脉搏波传感器采集到的数据的特征。这样，当用户完成特定手势时，智能手表可以识别用户的手势，响应于该手势，智能手表可执行与该手势关联的业务。
下面将结合图4进一步介绍IMU和脉搏波传感器在用户完成搓手指手势的过程中获取输入数据的时序图。
如图4所示，该时序图的横坐标可表示时间。靠近横坐标轴的数据可表示IMU采集到的姿态数据。姿态数据上的数据可表示脉搏波传感器采集的脉搏波数据。特别的，图4中的姿态数据和脉搏波数据仅为示例。参考前述图3B的介绍，姿态数据包括X轴、Y轴Z轴加速度数据等；脉搏波数据包括红外光、绿光等。
其中，T0可为任意一时间点。T1为前置动作开始的时刻。T2为前置动作完成的时刻，即智能手表开始识别用户特定手势的时刻。T3为搓手指手势开始的时刻。由于前置动作结束的时刻并不一定是搓手指手势开始的时刻，因此T2和T3不一定为同一时刻。T4为搓手指手势结束的时刻。
T0-T1示出了初始状态时的姿态数据。T1-T2示出了用户完成前置动作时的姿态数据。T3-T4示出了用户完成搓手指手势的姿态数据和脉搏波数据。
在T0-T1时，参考S201的介绍，IMU是处于工作状态的，而出于功耗的考虑，脉搏波传感器可能是处于休眠状态的。因此，这一段时间内，脉搏波传感器没有采集用户的脉搏波数据。在T1时刻时，用户开始做出前置动作，并在T2时刻时完成前置动作。通过T1-T2中的姿态数据，智能手表可检测到用户做出前置动作。此时，智能手表可控制脉搏波传感器进入工作状态。于是，在T2时刻时，智能手表可获取到脉搏波传感器采集的到用户的脉搏波数据。
从T0时刻开始，通过滑动窗口划分数据的方式，智能手表可将IMU采集的姿态数据流分割成离散的数据帧集合，参考窗口401。具体的，智能手表可设置一个长度为S的窗口，该窗口可按照步长D在时间轴上滑动，从而获取到若干组长度为S的姿态数据和脉搏波数据。例如图3A中S301介绍的长度为100、步长为10的窗口。通过上述窗口，智能手表可获取到若干组长度为100的姿态数据和脉搏波数据。
当窗口滑动到T2时刻时，窗口内的姿态数据如窗口402所示。
在T2时刻之后，智能手表不仅可接受到IMU采集的姿态数据，还可接受到脉搏波传感器采集的脉搏波数据。此时，智能手表也可采用同样大小的窗口对用户的脉搏波数据进行截取，例如窗口403。
结合S301的介绍，一个窗口因为起始位置的关系可能不包括完整的手势的姿态数据或脉搏波数据。为了提升识别的准确率与鲁棒性，可以将连续T个滑窗的识别结果通过多数投票的方式进行综合，输出最终的识别结果。
例如，T3-T4示出了用户完成搓手指手势时的姿态数据和脉搏波数据。因此，当滑窗处于T3-T4时间段内时，该滑窗所包括的数据可用于识别用户的手势。即手势识别算法可计算上述窗口中的数据的特征，从而识别用户完成了搓手指手势。
当识别T3-T4中的输入数据无法识别到特定手势时，手势分类器可继续获取后续传感器采集的数据，并判断该数据是否为特定手势对应的姿态数据和脉搏波数据。这是由于，在未识别到用户的特定手势时，且在预设时间结束前，IMU和脉搏波传感器可持续的采集用户的姿态数据和脉搏波数据。如图4所示，在T4时刻之后，智能手表还可收到用户的姿态数据和脉搏波数据。
因此，当未能识别到用户完成的手势时，智能手表还可利用新接受到的姿态数据和脉搏波数据，即窗口402和窗口403后的姿态数据和脉搏波数据，重新识别用户是否完成特定手势。
当识别到用户的特定手势后，智能手表执行与该特定手势关联的业务。
在考虑能耗的问题下，前述图2A介绍的手势交互方法没有一开始就将脉搏波传感器设定为工作状态，而是在IMU检测到前置动作后，再将脉搏波传感器调起，使之进入工作状态。
因此，在不考虑能耗的问题下，上述手势交互方法也可以直接在初始状态时，将脉搏波传感器和IMU均设定为工作状态。然后，手势分类器可直接通过获取特定手势的姿态数据和脉搏波数据识别该手势。上述直接获取特定手势的姿态数据和脉搏波数据的方法具体可参考图5，这里不再赘述。
实施本申请实施例提供的方法，智能手表可同时获取用户完成特定手势的多种数据，例如上述介绍的姿态数据和脉搏波数据。通过综合不同类型的数据来确定用户的手势，智能手表可提升自身识别用户手势的鲁棒性。
这是因为，当指示手势类型的数据丰富时，一种类型的数据包含的较大的噪声干扰对整体的影响会变小，即其他类型的数据可以降低上述干扰。例如，在室外步行的场景下，用户的手臂会发生摆动。如果这个时候用户做出某一手势，例如搓手指手势，那么此时IMU采集的姿态数据就会包含较大的噪声干扰，上述噪声就来自于手臂的摆动。所以，此时，仅通过姿态数据来识别用户手势，得到的识别结果会具有较大的误差，即识别不准确。但是，手臂摆动的干扰并不会影响脉搏波传感器的工作(脉搏波传感器仅受光线和皮肤肤色的影响)。因此，此时的脉搏波传感器采集的脉搏波数据是可以比较好的用于识别用户的手势的。
同样的，在强太阳光场景下时，脉搏波数据包含的噪声较大。此时，手势的姿态数据可以降低脉搏波数据的噪声对手势识别的影响。
总的来说，在结合姿态数据和脉搏波数据进行识别的过程中，当姿态数据含有较大噪声干扰时，脉搏波数据可辅助识别，提高手势识别的准确性。同样的，当脉搏波数据含有较大噪声干扰时，姿态数据可辅助识别，提高手势识别的准确性。所以说，结合姿态数据和脉搏波数据的手势识别方法的鲁棒性更优，适应不同场景的能力也更强。
当一个手势对应多个业务时，智能手表还能结合位置数据判断应该执行上述多个业务中的哪一个业务。图6A示出了上述方法的流程图。
S601:智能手表获取用户的位置数据。
首先，在开始识别用户的手势之前，智能手表可获取用户的位置数据。上述位置数据可以通过本设备连接的无线保真(Wireless Fidelity，Wi-Fi)网络、全球定位系统(Global Positioning System，GPS)或者蜂窝网络获得。不限于上述方法，智能手表还可通过其他方法确定用户所处的位置。本申请实施例对此不作限制。
在获取用户的位置数据后，智能手表可判断用户是否处于发生支付行为的地方。例如，智能手表获取的位置数据可指示用户正处在某一商场。
S602:智能手表识别到用户做出了一个与多个业务关联的手势。
在确定用户的位置之后，智能手表可检测用户是否完成特定手势。上述识别用户是否完成特定手势的过程可参考前述实施例的介绍，这里不再赘述。
在本申请实施例中，一个手势可关联多个业务。例如，与搓手指手势关联的业务可包括：显示支付二维码、显示日程提醒界面等。
S603:智能手表根据位置数据判断需要调起的业务。
当智能手表识别一个与多个业务关联的手势时，智能手表可根据上述位置数据确定应该执行上述多个业务中的哪一个业务。
例如，当智能手表识别到搓手指手势时，响应于该手势，智能手表可执行的业务包括：显示支付二维码、显示日程提醒界面。此时，参考上述位置数据(用户正处于商场)，智能手表可确定执行“显示支付二维码”的业务。
S604:智能手表显示支付二维码。
不限于上述介绍的支付场景，根据位置数据确定应该执行多个业务中的哪一个业务的方法还可应用其他场景。例如，在智能家居场景下，智能手表可远程控制家中的多个电子设备的工作状态。此时，在识别到一个打开多个电子设备开关的手势时，智能手表可根据用户位置(即该手表位置)与上述多个电子设备的距离，确定应该打开哪一个电子设备的开关。
实施图6A所示的方法，用户可以通过一个手势控制多个业务。这样，随着不同业务的数量的增加，用户不必去考虑增加什么样的手势，来与不断增加的业务进行匹配。对智能手表而言，智能手表可在识别用户手势的基础上，进一步确定用户的意图，进而为用户提供更好的用户体验。
相比于将用户做出的手势，识别为另一个手势，然后执行上述另一个手势对应的业务，用户更希望智能手表可以通过2次或3次识别得到一个更准确的识别结果。这是因为，当发生误识别时，响应于该识别结果(即手势)，智能手表会执行与该手势关联的业务。一旦执行非用户意图业务，那么，用户将不得不关闭由于误识别打开的应用程序，重新打开自己实际想要使用的应用程序。这极大地影响了用户的使用体验。
因此，本申请实施例还提供了一种手势识别方法。在该方法中，利用上述实施例介绍的位置数据，智能手表可验证识别到的手势是否正确。该方法的具体流程可参考图6B。
如图6B所示，首先，在识别用户的特定手势之前，智能手表可通过用户的位置数据确定用户会做出手势A(S611)。
具体的，在初始状态的情况下，智能手表可通过本设备连接的Wi-Fi网络、GPS或者蜂窝网络获取用户所处的位置数据。通过上述位置数据，智能手表可确定用户会完成某一特定手势(手势A)。上述位置数据与手势的关联关系是提前存储到智能手表中的。
参考图2A和图5的介绍，这里，处于初始状态的智能手表的脉搏波传感器可以为休眠状态，也可以为工作状态。
同样的，以支付场景为例，智能手表可根据用户的位置数据，确定用户处于商场等营业性场所。在商场中，用户是极有可能使用智能手表进行支付业务的。这也就是说，用户是极有可能做出与支付业务关联的手势的。因此，基于上述位置数据，当智能手表记录有某一特定手势与支付业务关联后，智能手表可确定用户会完成上述与支付业务关联的手势。
例如，搓手指手势可对应“显示支付二维码”的业务。此时，当确定用户处于商场等营业性场所之后，智能手表可确定用户会完成搓手指手势。
S612：智能手表识别到用户做出手势B。
在完成S612所示的步骤后，智能手表可检测用户是否完成特定手势。智能手表可识别用户做出了手势A。上述识别用户是否完成特定手势的过程可参考前述实施例的介绍，这里不再赘述。
S613：智能手表确定上述手势B与手势A为同一手势，并执行与手势A关联的业务。
在识别到用户做出手势B后，智能手表可首先确定手势B与上述手势A是否为同一手势。当手势B与手势A为同一手势时，响应于该手势，智能手表可执行与手势A关联的业务。
例如，手势A为与“显示支付二维码”的业务关联的搓手指手势。当手势B为搓手指手势时，智能手表可确认用户做出了搓手指手势。此时，智能手表可执行“显示支付二维码”的业务。
S614：当确定上述手势B与手势A为不同的手势，智能手表可获取新的输入数据，并重新识别用户的手势。
当手势B与手势A为不同的手势时，智能手表可先不执行手势B对应的业务，而是重新获取用户姿态数据和脉搏波数据，并重新识别用户的手势。
这里，智能手表可重新获取输入数据是由于：在没有执行用户想要进行的业务时，用户会多次完成该业务对应的手势。参考图4示出的姿态数据和脉搏波数据，在T4时刻之后，如果智能手表没有响应前一过程用户的手势，则用户会重复该手势两三次。所以，在T4时刻之后，手势分类器还可继续接受传感器发送的用户的姿态数据和脉搏波数据。
可选的，当识别到手势B与手势A为不同的手势时，智能手表还可在屏幕上显示提醒用户重新完成手势的消息。根据该提示消息，用户也会重新完成一次该手势。这样，智能手表也可获取的新的姿态数据和脉搏波数据。
基于重新获取的姿态数据和脉搏波数据，智能手表可重新识别用户的手势。此时，若再次识别的结果仍然为手势B，则智能手表可执行与手势B对应的业务。当然，智能手表还可再重新识别一次。本申请对重新识别的次数不做限制。
若再次识别的结果仍然为手势A，则智能手表可执行与手势A对应的业务。
例如，在前述介绍的支付场景中，若智能手表识别到的用户做出的手势为握拳手势(手势B)时，即不是与支付业务关联的搓手指手势(手势A)，智能手表可先不执行握拳手势对应的业务。假设，握拳手势对应“播放下一首”的业务，此时，智能手表可先不执行播放下一首的业务，而是重新识别用户的手势。因此，智能手表可重新获取用户的姿态数据和脉搏波数据。基于上述数据，智能手表可继续识别用户的手势。
当再次识别的结果仍然为握拳手势时，响应于该手势，智能手表可执行与握拳手势关联的业务，即“播放下一首”的业务。当再次识别的结果为搓手指手势时，响应于该手势，智能手表可执行支付业务(显示支付二维码)。
实施图6B所示的方法，智能手表可以提前根据用户的位置推定极有可能发生的手势。如果该手势容易被误识别为其他手势，此时，智能手表可提前关闭上述其他手势。这样，即便该手势被误识别为上述其他手势，智能手表也不会立刻执行上述其他手势对应的业务，从而也就能尽量避免发生响应错误的情况。于是，智能手表也就可以重新识别该手势。
实施图6B所示的手势交互方法减少误识别带来的响应错误。这也就为多次识别提供了基础。进而，在用户连续多次完成同一手势的情况下，智能手表更有可能正确识别到用户的手势，从而做出正确的响应，提升用户使用体验。
在另一些实施方式中，在识别特定手势的过程中，智能手表还可采集手势的声音信号。通过综合前述介绍的姿态数据、脉搏波数据和声音信号，智能手表可更加准确的识别用户的手势。下面将结合图7说明结合声音信号的手势交互方法的流程图。
如图7所示，首先，处于初始状态(S701)的智能手表可识别到用户的前置动作(S702)。这里的初始状态是指IMU工作、脉搏波传感器休眠(或者处于低功耗运行模式)，麦克风休眠(或者处于低功耗运行模式)的状态。响应于用户完成前置动作的操作，智能手表可控制脉搏波传感和麦克风进入工作状态(S703)。其中，智能手表识别前置动作、控制脉搏波传感器进入工作状态的具体过程可参考前述实施例的介绍，这里不再赘述。
与脉搏波传感器相同的，当识别到用户完成前置动作后，智能手表可向麦克风发送控制信号。响应于该控制信号，麦克风可进入工作状态。处于工作状态的麦克风可采集环境中的声音信号。
可选的，在S702和S703所示的步骤之间，智能手表还可获取用户的位置数据，判断用户所处的环境。上述过程可参考图6A或图6B所示的方法，这里不再赘述。
在脉搏波传感器和麦克风进入工作状态后，智能手表可获取用户完成特定手势的输入数据(S704)。这里，输入数据包括上述特定手势的姿态数据、脉搏波数据和声音信号。其中，姿态数据可从IMU获取；脉搏波数据可从脉搏波传感器获取；声音信号可从麦克风获取。
姿态数据和脉搏波数据在前述实施例中已经详细介绍过了，这里不再赘述。在本申请实施例中，声音信号包括完成手势时手指等其他关节发出的声响。例如，在完成响指的手势的过程中，响指手势本身包括声音。智能手表可通过学习上述声音识别用户完成的特定手势是否是响指手势。
在本申请实施例中，麦克风的采样频率可以为16KHz。滑窗的长度可以为320点、步长为160点。这样，手势识别算法就可以收到若干个滑窗大小的声音信号。
通过上述输入数据(姿态数据、脉搏波数据、声音信号)，智能手表可识别用户做出的手势(S705)。具体的，在获取上述数据和信号后，智能手表可将上述输入数据中的姿态数据和脉搏波数据发送的手势分类器；将上述输入数据中的声音信号输入到声音识别模块。结合上述手势分类器和声音识别模块的识别结果，智能手表可识别用户做出的手势为哪一手势。
其中，在声音识别模块识别声音信号的过程中，首先，声音识别模块可利用预设长度和预设步长的滑窗，将麦克风采集的声音信号划分为若干个上述预设长度的数据块。这里的滑窗的预设长度和预设步长可与手势分类器中使用的滑窗的长度和步长不同。
然后，声音识别模块可使用一维卷积神经网络可提取上述声音信号数据块的频率特征，例如梅尔频率倒谱系数。通过频率特征，声音识别模块可得到一个识别结果。然后，结合上述手势分类器的识别结果，智能手表可确认用户完成了某一手势。
例如，在识别打响指手势时，智能手表可通过打响指时的姿态数据、脉搏波数据以及打响指产生的声音信号，识别用户完成了打响指动作。
(S706)在通过姿态数据、脉搏波数据和声音信号识别到用户的手势后，智能手表可执行与该手势关联的业务。例如，在打响指手势与接听电话业务关联的情况下，当识别到打响指手势时，智能手表可接听来电。
实施图7所示的手势交互方法，在智能手表识别用户手势的过程中，智能手表除了通过姿态数据、脉搏波数据来识别用户的手势，还可通过声音信号来识别用户的特定手势。这样，智能手表识别用户的手势会更加准确。
在另一个结合声音信号的手势交互方法中，智能手表可不区分输入数据中的声音信号。也就是说，输入数据中的姿态数据、脉搏波数据和声音信号可通过一个分类器识别。
参考图3A，在手势识别算法在学习用户的手势时，手势识别算法学习样本除了手势的姿态数据、脉搏波数据之外，还可包括声音信号。这样，在识别包含声音信号的手势时，手势识别算法可基于上述3类数据，来判断用户的手势。这里不再赘述。
在本申请实施例中，在识别到前置动作后，IMU采集的姿态数据可称为第一姿态数据；识别前置动作所用到的姿态数据可称为第二姿态数据。
所述第一手势例如是搓手指手势；第一操作例如是与搓手指手势关联的支付操作(即显示包含支付二维码的用户界面)；第一位置例如是与经常发生支付行为的位置，包括商场、便利店等等。图2A中介绍的长度为100、步长为10的窗口可称为第一窗口，其中，第一长度为100个数据点。
以实施手势交互方法的装置为智能手表为例，下面将结合图8所示的硬件图，具体介绍智能手表的硬件结构。不限于智能手表，上述装置还可以是智能手环等。
如图8所示，智能手表可以包括处理器811，存储器812，无线通信模块813A，移动通信模块813B、电源开关814，显示屏815，音频模块816，惯性运动单元817，脉搏波传感器818。
其中，处理器811可以包括一个或多个处理单元，例如：处理器811可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
在本申请实施例中，应用处理器(AP)可支持智能手表运行各类应用程序，例如包含支付业务的
Figure BDA0003042787160000161
应用程序、
Figure BDA0003042787160000162
应用程序，以及其他应用程序。图形处理器(GPU)与显示屏815一起完成图像、用户界面的显示功能，例如显示支付二维码等等。
其中，控制器可以是智能手表的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。在本申请实施例中，智能手表识别用户手势、协调各个传感器工作、控制各个软硬件模块的逻辑跳转、以及控制应用程序的工作状态等过程需要控制器提供支持。
处理器811中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器811中的存储器为高速缓冲存储器。该存储器可以保存处理器811刚用过或循环使用的指令或数据。如果处理器811需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器811的等待时间，因而提高了系统的效率。
存储器812与处理器811耦合，用于存储各种软件程序和/或多组指令。存储器812可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器811通过运行存储在存储器812的指令，从而执行智能手表的各种功能应用以及数据处理。存储器812可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储智能手表使用过程中所创建的数据(比如音频数据，待显示的图像数据等)等。此外，存储器812可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
在本申请实施例中，实现智能手表学习并识别用户特定手势、根据手势调起特定业务等功能的软件程序和/或多组指令可存储在存储器812中。上述软件程序和/或多组指令还包括智能手表上安装各类应用程序(APP)，例如
Figure BDA0003042787160000163
等。存储器812存储的内容还包括上述应用程序对应的用户数据。
无线通信模块813A可以提供应用在智能手表上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块813A可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块813A经由天线1接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器811。无线通信模块813A还可以从处理器811接收待发送的信号，对其进行调频，放大，经天线1转为电磁波辐射出去。
在一些实施例中，智能手表的天线2和移动通信模块813B耦合，天线1和无线通信模块813A耦合，使得智能手表可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(codedivision multiple access，CDMA)，宽带码分多址(wideband code division multipleaccess，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidounavigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellitesystem，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
在本申请实施例提供的获取位置数据的手势交互方法中，智能手表可通过无线通信模块813A、移动通信模块813B以及其他无线通信技术获取自身的位置数据。上述其他无线通信技术例如是上述介绍的GNSS等。当使用WLAN网络时，智能手表可通过无线通信模块813A获取该手表当前所处的位置。在使用移动蜂窝数据通信是，智能手表可通过移动通信模块813B获取该手表当前所处的位置。智能手表还可以通过BDS、GPS等其他定位系统获取该手表当前所处的位置。
电源开关814，可用于控制电源向智能手表的供电。在一些实施例中，电源开关814可用于控制外部电源对智能手表的供电。
显示屏815，可用于显示图像，视频等。显示屏815包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dotlight emitting diodes，QLED)等。
在本申请实施例中，显示屏815为智能手表提供显示支付类应用程序的用户界面以及支付二维码的功能。此外，显示屏815与触摸传感器815A一起可组成触摸屏，也称“触控屏”。在触控交互的控制方式中，响应于用户的触摸操作，例如点击、滑动等操作，触控屏可相应地切换用户界面、显示或关闭应用进程的用户界面等。
音频模块816，可用于将数字音频信号转换成模拟音频信号输出，也可用于将模拟音频输入转换为数字音频信号。音频模块816还可以用于对音频信号编码和解码。在一些实施例中，音频模块816可以设置与处理器811中，或将音频模块816的部分功能模块设置与处理器811中。音频模块816可以通过总线接口(例如UART接口，等等)向无线通信模块813传递音频信号，实现通过蓝牙音箱播放音频信号的功能。
智能手表还可以包括有麦克风816A，也成“话筒”，“传声器”，用于将声音信号转换为电信号。当发生语音控制指令时，用户可以通过人嘴发声，将声音信号输入到麦克风816A。在本申请实施例中，麦克风816A可以在用户完成特定手势时获取该手势的声音信号。进而，手势识别算法可以通过学习手势的声音信号，识别该手势。
惯性运动单元817(IMU)可用于测量物体三轴姿态角(或角速率)以及加速度。惯性运动单元817可包括加速度传感器817A和陀螺仪传感器817B。
加速度传感器817A包括质量块、阻尼器、弹性元件、敏感元件和适调电路等部分。加速度传感器817A在加速过程中，通过对质量块所受惯性力的测量，利用牛顿第二定律获得加速度值。加速度传感器817A可检测电子设备在各个方向上(一般为三轴)加速度的大小。当电子设备静止时可检测出重力的大小及方向。
陀螺仪传感器817B可以确定物体围绕三个轴(即，x，y和z轴)的角速度，因此，陀螺仪传感器817B通常可以用于确定物体的运动姿态。在一些实施例中，陀螺仪传感器817B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器817B检测电子设备的抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备的抖动，实现防抖。陀螺仪传感器817B还可以用于导航，体感游戏场景。
在本申请实施例中，加速度传感器817A和/或陀螺仪传感器817B可用于检测用户的手部是否处于水平状态(水平检测)。水平检测可用于智能手表判断用户是否将会做出特定手势。在用户完成特定手势的过程中，加速度传感器817A和/或陀螺仪传感器817B还可采集用户该手势的姿态数据，从而协助智能手表从姿态数据方面识别用户的手势。
脉搏波传感器818包括发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是单色发光二极管、红外发光二极管等。其中单色发光二极管例如是黄色发光二极管、绿色发光二极管等等。脉搏波传感器818通过光电容积脉搏波描记(PPG)获取用户的脉搏波信号。PPG是指光检测器通过检测经过人体表皮、肌肉、血管等组织反射后的反射光的能量获取人体脉搏波信号的方法。
在本身实施例中，脉搏波传感器818可支持智能手表获取用户做出特定手势时的脉搏波信号，进而协助智能手表从用户脉搏波信号方面识别用户的手势。
本发明主要提供了一种手势交互方法。该方法可应用于智能手表、手环等不方便进行触控操作的电子设备上。实施该方法，智能手表等电子设备可在用户完成特定手势的过程中，更准确的识别用户的手势。特别的，当用户所处的环境发生显著变化时，智能手表等电子设备可以准确的识别用户的手势。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface，UI)”，是应用程序或操作系统与用户之间进行交互和信息交换的介质接口，它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language，XML)等特定计算机语言编写的源代码，界面源代码在终端设备上经过解析，渲染，最终呈现为用户可以识别的内容，比如图片、文字、按钮等控件。控件(control)也称为部件(widget)，是用户界面的基本元素，典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的，比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性，节点经过解析和渲染之后呈现为用户可视的内容。此外，很多应用程序，比如混合应用(hybrid application)的界面中通常还包含有网页。网页，也称为页面，可以理解为内嵌在应用程序界面中的一个特殊的控件，网页是通过特定计算机语言编写的源代码，例如超文本标记语言(hyper text markup language，GTML)，层叠样式表(cascading style sheets，CSS)，java脚本(JavaScript，JS)等，网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的，比如GTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface，GUI)，是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素，其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个或多个所列出项目的任何或所有可能组合。上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (15)

1.一种手势交互方法，该方法应用于电子设备，其特征在于，所述方法包括：
通过惯性运动单元采集第一姿态数据；
在所述采集第一姿态数据的同时，通过脉搏波传感器采集脉搏波数据；
通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势；
响应于所述确定用户做出第一手势，执行第一操作。
2.根据权利要求1所述的方法，其特征在于，在通过惯性运动单元采集第一姿态数据之前，所述方法还包括：
采集第二姿态数据；
根据所述第二姿态数据确定用户做出了前置动作；
响应于确定用户做出了所述前置动作，开启所述脉搏波传感器。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
响应于确定用户做出了所述前置动作，点亮屏幕。
4.根据权利要求1-3中任一项所述的方法，所述第一手势对应多个操作，其特征在于，在通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势之前，所述方法还包括：
获取用户的位置数据；
根据所述位置数据，确认用户处于第一位置；
如果在所述第一位置识别到用户做出所述第一手势，则执行所述第一操作。
5.根据权利要求1-4中任一项所述的方法，其特征在于，通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势，具体包括：
利用第一窗口，从所述第一姿态数据和所述脉搏波数据中获取第一姿态数据块和第一脉搏波数据块，所述窗口具有第一长度；
对所述第一姿态数据块和所述第一脉搏波数据块进行过滤，得到第二姿态数据块和第二脉搏波数据块；
计算所述第二姿态数据块和所述第二脉搏波数据块的第一特征；
利用所述特征确定用户做出第一手势。
6.根据权利要求1-3中任一项所述的方法，其特征在于，所述方法还包括：
获取位置数据；
若确定所述位置数据为第一位置，并且识别用户做出的手势不是所述第一手势，
显示第一界面，所述第一界面用于提示用户重复之前的手势。
7.根据权利要求1-6中任一项所述的方法，其特征在于，
执行第一操作，具体包括：显示包含支付二维码的用户界面。
8.根据权利要求2所述的方法，其特征在于，所述方法还包括：
响应于确定用户做出了所述前置动作，打开麦克风；
通过所述麦克风采集声音信号；
所述通过所述第一姿态数据和所述脉搏波数据，确定用户做出第一手势还包括：
通过所述第一姿态数据、所述脉搏波数据和所述声音信号，判断用户是否做出第一手势。
9.根据权利要求8所述的方法，其特征在于，通过所述第一姿态数据、所述脉搏波数据和所述声音信号，判断用户是否做出第一手势，具体包括：
通过所述第一姿态数据、所述脉搏波数据的第一特征和所述声音信号的频率特征，判断用户是否做出第一手势。
10.根据权利要求5或9所述的方法，其特征在于，所述第一特征包括：波谷特征、振动特征、峰值因子、波形因子、均方根频率、表征频谱的分散与集中程度的两个或两个以上的特征。
11.根据权利要求1-10中任一项所述的方法，其特征在于，
所述姿态数据包括：X轴加速度数据、Y轴加速度数据、Z轴加速度数据、三轴加速度幅度数据一个或多个；
所述脉搏波数据包括：红外光数据、绿光数据的一个或多个。
12.一种电子设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述一个或多个处理器执行所述计算机指令时，使得执行如权利要求1-11任一项所述的方法。
13.一种芯片系统，所述芯片系统应用于电子设备，所述芯片系统包括一个或多个处理器，所述处理器用于调用计算机指令以使得执行如权利要求1-11中任一项所述的方法。
14.一种包含指令的计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如权利要求1-11任一项所述的方法。
15.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在电子设备上运行时，使得执行如权利要求1-11任一项所述的方法。
CN202110462439.6A 2021-04-27 2021-04-27 手势交互方法、系统和装置 Pending CN115344111A (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202110462439.6A CN115344111A (zh) 2021-04-27 2021-04-27 手势交互方法、系统和装置
EP22794683.7A EP4310636A1 (en) 2021-04-27 2022-04-19 Gesture interaction method, system, and apparatus
PCT/CN2022/087720 WO2022228212A1 (zh) 2021-04-27 2022-04-19 手势交互方法、系统和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110462439.6A CN115344111A (zh) 2021-04-27 2021-04-27 手势交互方法、系统和装置

Publications (1)

Publication Number Publication Date
CN115344111A true CN115344111A (zh) 2022-11-15

Family

ID=83846649

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110462439.6A Pending CN115344111A (zh) 2021-04-27 2021-04-27 手势交互方法、系统和装置

Country Status (3)

Country Link
EP (1) EP4310636A1 (zh)
CN (1) CN115344111A (zh)
WO (1) WO2022228212A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117055738B (zh) * 2023-10-11 2024-01-19 湖北星纪魅族集团有限公司 手势识别方法、可穿戴设备及存储介质

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160091308A1 (en) * 2014-09-30 2016-03-31 Invensense, Inc. Microelectromechanical systems (mems) acoustic sensor-based gesture recognition
US10488936B2 (en) * 2014-09-30 2019-11-26 Apple Inc. Motion and gesture input from a wearable device
CN104699241B (zh) * 2015-02-10 2018-04-06 北京智谷睿拓技术服务有限公司 确定动作和/或动作部位的方法和设备
CN211155811U (zh) * 2019-09-25 2020-08-04 上海倍颗网络科技有限公司 一种包含姿态识别的监测手环设备
KR20210052874A (ko) * 2019-11-01 2021-05-11 삼성전자주식회사 복수의 센서 신호를 이용하여 사용자의 제스처를 인식하는 전자 장치

Also Published As

Publication number Publication date
EP4310636A1 (en) 2024-01-24
WO2022228212A1 (zh) 2022-11-03

Similar Documents

Publication Publication Date Title
US10353476B2 (en) Efficient gesture processing
CN110199350B (zh) 用于感测语音结束的方法和实现该方法的电子设备
KR102453603B1 (ko) 전자 장치 및 그 제어 방법
KR102558437B1 (ko) 질의 응답 처리 방법 및 이를 지원하는 전자 장치
CN108806669B (zh) 用于提供语音识别服务的电子装置及其方法
TWI411935B (zh) 利用影像擷取裝置辨識使用者姿勢以產生控制訊號之系統以及方法
CN110192248A (zh) 语音输入处理方法和用于支持该方法的电子设备
US11138422B2 (en) Posture detection method, apparatus and device, and storage medium
US20100280983A1 (en) Apparatus and method for predicting user&#39;s intention based on multimodal information
EP2815292A1 (en) Engagement-dependent gesture recognition
US20220291753A1 (en) Spatial Gesture Recognition using Inputs from Different Devices to Control a Computing Device
US20200073481A1 (en) Information processing apparatus, information processing method, and program
WO2022228212A1 (zh) 手势交互方法、系统和装置
CN107292221B (zh) 一种轨迹处理方法和装置、一种用于轨迹处理的装置
US20190179421A1 (en) Reminder or gesture control device wearable by a user
WO2023006033A1 (zh) 语音交互方法、电子设备及介质
EP4290339A1 (en) Method for controlling wearable device, and wearable device
WO2022095983A1 (zh) 一种防止手势误识别的方法及电子设备
WO2022179279A1 (zh) 交互方法、电子设备与交互系统
CN114822543A (zh) 唇语识别方法、样本标注方法、模型训练方法及装置、设备、存储介质
US20170199578A1 (en) Gesture control method for interacting with a mobile or wearable device
CN113742460A (zh) 生成虚拟角色的方法及装置
CN109478131A (zh) 音频输入输出方法和终端设备
US20230048413A1 (en) Wearable electronic device and method for providing information of brushing teeth in wearable electronic device
WO2024037384A1 (zh) 一种电子设备的显示方法以及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination