CN114191799A - 挥杆动作检测方法及可穿戴设备 - Google Patents

挥杆动作检测方法及可穿戴设备 Download PDF

Info

Publication number
CN114191799A
CN114191799A CN202010910396.9A CN202010910396A CN114191799A CN 114191799 A CN114191799 A CN 114191799A CN 202010910396 A CN202010910396 A CN 202010910396A CN 114191799 A CN114191799 A CN 114191799A
Authority
CN
China
Prior art keywords
wearable device
user
threshold
time
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010910396.9A
Other languages
English (en)
Inventor
徐腾
陈霄汉
姜永航
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010910396.9A priority Critical patent/CN114191799A/zh
Priority to EP21863637.1A priority patent/EP4197605A4/en
Priority to US18/043,629 priority patent/US20230372800A1/en
Priority to PCT/CN2021/116068 priority patent/WO2022048573A1/zh
Publication of CN114191799A publication Critical patent/CN114191799A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3608Attachments on the body, e.g. for measuring, aligning, restraining
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • A63B69/36Training appliances or apparatus for special sports for golf
    • A63B69/3658Means associated with the ball for indicating or measuring, e.g. speed, direction
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0658Position or arrangement of display
    • A63B2071/0661Position or arrangement of display arranged on the user
    • A63B2071/0663Position or arrangement of display arranged on the user worn on the wrist, e.g. wrist bands

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Biophysics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种挥杆动作检测方法及可穿戴设备。该方法应用于可穿戴设备,可穿戴设备包括一个或多个运动传感器和声音采集器。该方法实现了可穿戴设备通过声音采集器采集第一声音信号,来确定用户是否击球。确定击球动作之后,结合可穿戴设备通过一个或多个运动传感器采集的第一运动数据,得到用户的运动参数,实现对用户击球动作的监测,从而有效辅用户提高击球的节奏感和稳定性。

Description

挥杆动作检测方法及可穿戴设备
技术领域
本申请涉及终端技术领域,尤其涉及基于挥杆动作检测方法及可穿戴设备。
背景技术
杆类运动种类繁多,实际场景复杂。在进行杆类运动过程中,主要关注握杆、击球准备姿势与击球力度等关键技术。对于初学者而言,杆类运动最主要的就是击球动作,击球的速度直接影响击球距离。
目前,市场上的杆类运动检测装置大多数为基于雷达波与视频分析的方法对挥杆动作进行检测与分类。这种装置安装复杂,并且对安装的空间大小和工作的环境要求高,在阴天或者光线暗的地方,这种装置测量误差较大。
发明内容
本申请提供了挥杆动作检测方法及可穿戴设备。可穿戴设备通过声音采集器采集声音信号,来确定用户是否击球。并结合可穿戴设备通过运动传感器采集的运动数据,得到用户的挥杆动作参数,实现对用户击球动作的监测,从而有效辅用户提高击球的节奏感。
第一方面,本申请提供了一种挥杆动作检测方法,该方法应用于可穿戴设备,可穿戴设备包括一个或多个运动传感器和声音采集器;可穿戴设备通过一个或多个运动传感器采集第一运动数据;第一运动数据包括加速度数据和角速度数据;可穿戴设备通过声音采集器采集第一声音信号;当可穿戴设备确定出第一声音信号满足第一条件时,可穿戴设备确定用户动作为击球动作;当可穿戴设备确定出第一运动数据满足第二条件时,可穿戴设备确定击球动作的类型为第一击球动作类型;可穿戴设备显示第一击球动作类型。
该方法实现了对用户击球动作的监测,有利于提高用户击球节奏感的稳定性。
结合第一方面,在第一方面的一种可能的实现方式中,在可穿戴设备通过一个或多个运动传感器采集第一运动数据之前,可穿戴设备显示第一用户界面,第一用户界面显示有第一控件;可穿戴设备检测到作用于第一控件的第一输入;响应于第一输入,可穿戴设备通过一个或多个运动传感器采集第一运动数据。
可穿戴设备接收并响应于用户的输入之后,可穿戴设备还会检测一个或多个运动传感器和声音采集器是否开启。如果未开启,可穿戴设备会开启一个或多个运动传感器和声音采集器。这样,一个或多个运动传感器和声音采集器不是处于一直开启的状态,可以减少可穿戴设备的功耗。
结合第一方面,在第一方面的一种可能的实现方式中,在可穿戴设备通过一个或多个运动传感器采集第一运动数据之前,可穿戴设备还可以接收电子设备响应于第二输入发送的第一指令;响应于第一指令,可穿戴设备通过一个或多个运动传感器采集第一运动数据。
这样,可穿戴设备与电子设备建立了通信连接,那么电子设备可以控制可穿戴设备采集第一运动数据和第一声音信号。
结合第一方面,在第一方面的一种可能的实现方式中,可穿戴设备根据第一运动数据,确定出第一击球动作类型对应的运动参数,其中,运动参数包括以下一项或多项:上杆时间、下杆时间、挥杆节奏、击球速度;挥杆节奏为上杆时间与下杆时间的比值;
可穿戴设备显示第二用户界面,第二用户界面包括有第一击球动作类型对应的运动参数。
这样,可穿戴设备可以将用户的运动参数显示给用户观看,以便用户知道自己的运动情况。从而你根据运动参数调整自己的运动姿态,使运动参数达到标准值。
结合第一方面,在第一方面的一种可能的实现方式中,可穿戴设备根据第一运动数据,确定出第一击球动作类型对应的运动参数,其中,运动参数包括以下一项或多项:上杆时间、下杆时间、挥杆节奏、击球速度、击球次数,挥杆节奏为上杆时间与下杆时间的比值;
可穿戴设备发送第一击球动作类型对应的运动参数发送给电子设备,第一击球动作类型对应的运动参数可用于显示在电子设备显示的第三用户界面上。
因为可穿戴设备的显示屏面积有限,因此可穿戴设备显示的用户的运动参数有限。可穿戴设备可以将用户的运动参数发送至电子设备。电子设备可以显示用户全部的运动参数。用户可以更全面的理解自己的运动状况,从而你根据运动参数调整自己的运动姿态,使运动参数达到标准值。
结合第一方面,在第一方面的一种可能的实现方式中,用户动作包括以下任意一种:击球动作、空挥动作、击地动作。
结合第一方面,在第一方面的一种可能的实现方式中,当可穿戴设备确定出所第一声音信号满足第一条件时,可穿戴设备确定用户动作为击球动作,具体包括:可穿戴设备计算出第一声音信号的第一特征参数;第一特征参数包括以下一项或多项:能量、频率和峰值;可穿戴设备基于第一特征参数,通过第一高斯混合模型确定出第一相似度;其中,第一相似度用于指示第一特征参数与第一高斯混合模型中的第二特征参数的相似度;第二特征参数包括以下一项或多项:能量、频率和峰值;当第一相似度高于第一阈值时,可穿戴设备确定用户动作为击球动作;第一条件包括第一相似度高于第一阈值。
结合第一方面,在第一方面的一种可能的实现方式中,当可穿戴设备确定出第一声音信号满足第一条件且第一运动数据满足第三条件时,可穿戴设备确定用户动作为击球动作,具体包括:可穿戴设备计算出第一声音信号的第一特征参数;第一特征参数包括以下一项或多项:能量、频率和峰值;可穿戴设备基于第一特征参数,通过第一高斯混合模型确定出第一相似度;其中,第一相似度用于指示第一特征参数与第一高斯混合模型中的第二特征参数的相似度;第二特征参数包括以下一项或多项:能量、频率和峰值;可穿戴设备根据第一运动数据确定出加速度波形特征;当第一相似度高于第一阈值,可穿戴设备判断出加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与最大波峰值相邻的最小波谷值的差值小于第一差值阈值,并且最大波峰值减少到第一加速度阈值的时间大于第一时间阈值时,则可穿戴设备确定出用户动作是击球;第一条件包括第一相似度高于第一阈值;第三条件包括加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与最大波峰值相邻的最小波谷值的差值小于第一差值阈值,最大波峰值减少到第一加速度阈值的时间大于第一时间阈值。
在下杆终点,用户操作高尔夫球杆的杆头准备击球时,但是由于失误并未使杆头击打在球上。但是此时杆头的速度很快,若用户手腕抖动或者用户佩戴的可穿戴设备松动,那么可穿戴设备根据加速度波形特征中的波峰数、波峰值也可能分析出用户在做击球动作。基于上述影响,可穿戴设备能将用户的空挥动作误认为是击球动作。
为了消除误差,可穿戴设备采集声音信号,将第一时刻的声音信号的特征参数与高斯混合模型进行相似度匹配计算,确定是由击球产生的声音信号,从而消除了误判的情况。
因为当用户操作杆头击打到球之后,杆头与球撞击而产生很大的声音。可穿戴设备在用户做击球动作时采集到的声音信号与用户在做空挥动作时采集到的声音信号有较大的区别。其中,在可穿戴设备采集到的声音信号的频谱图中,由击球产生的声音信号的峰值和能量远大于由空挥时产生的声音信号的峰值和能量。通过这一区别,可穿戴设以分辨出用户是在做击球动作还是在做空挥动作。
因此,可穿戴设备结合第一条件和第二条件判断用户的动作为击球动作,结果会更准确。
结合第一方面,在第一方面的一种可能的实现方式中,可穿戴设备根据第一运动数据确定用户动作为击球动作;可穿戴设备根据第一运动数据确定用户动作为击球动作,具体包括:可穿戴设备根据第一运动数据确定出加速度波形特征;当可穿戴设备判断出加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与最大波峰值相邻的最小波谷值的差值小于第一差值阈值,并且最大波峰值减少到第一加速度阈值的时间大于第一时间阈值时,则可穿戴设备确定出用户动作是击球;
第一条件包括加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与最大波峰值相邻的最小波谷值的差值小于第一差值阈值,最大波峰值减少到第一加速度阈值的时间大于第一时间阈值。
结合第一方面,在第一方面的一种可能的实现方式中,可穿戴设备根据第一运动数据确定用户动作为空挥动作;可穿戴设备根据第一运动数据确定用户动作为空挥动作,具体包括:可穿戴设备根据第一运动数据确定出加速度波形特征;当可穿戴设备判断出加速度波形特征中波峰数或波谷数小于第一数量阈值,最大波峰值小于第一波峰阈值,最大波峰值与最大波峰值相邻的最小波谷值的差值大于第一差值阈值,并且最大波峰值减少到第一加速度阈值的时间大于第一时间阈值时,则可穿戴设备确定出用户动作是空挥。
结合第一方面,在第一方面的一种可能的实现方式中,可穿戴设备根据第一运动数据确定用户动作为击地动作;可穿戴设备根据第一运动数据确定用户动作为击地动作,具体包括:可穿戴设备根据第一运动数据确定出加速度波形特征;当可穿戴设备判断出加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与最大波峰值相邻的最小波谷值的差值小于第一差值阈值,并且最大波峰值减少到第一加速度阈值的时间小于第一时间阈值时,则可穿戴设备确定出用户动作是击地。
结合第一方面,在第一方面的一种可能的实现方式中,第一击球动作类型为半挥杆击球;在可穿戴设备确定击球动作的类型为第一击球动作类型之前,还包括:可穿戴设备根据第一运动数据,确定出可穿戴设备的在第一时间内的第一转动角度和/或第一移动距离;其中,第二条件为在第一时间内,第一转动角度小于或等于第一预设角度和/或第一移动距离小于或等于第一预设距离。
结合第一方面,在第一方面的一种可能的实现方式中,第一击球动作类型为全挥杆击球;在可穿戴设备确定击球动作的类型为第一击球动作类型之前,还包括:可穿戴设备根据第一运动数据,确定出可穿戴设备的在第一时间内的第一转动角度和/或第一移动距离;其中,第二条件为在第一时间内第一转动角度大于第一预设角度和/或第一移动距离大于第一预设距离。
结合第一方面,在第一方面的一种可能的实现方式中,可穿戴设备统计出第二时间段内的击球次数;可穿戴设备统计出第二时间段内的空挥次数和击地次数;
可穿戴设备根据第二时间段内的击球次数和第二时间段内的空挥次数和击地次数确定出击球率;可穿戴设备显示第四用户界面,第四用户界面包括有击球率。
这样,可穿戴设备将击球率显示给用户观看,可以让用户了解到自己的水平。以便用户掌握自己的运动情况,从而更好的调整自己的训练计划。
第二方面,本申请提供了一种可穿戴设备,包括个或多个处理器、一个或多个存储器、一个或多个运动传感器、声音采集器、显示屏;一个或多个存储器、一个或多个运动传感器、声音采集器、显示屏与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,一个或多个处理器调用计算机指令以使得可穿戴设备执行上述第一方面中的任意一种实现方式所提供的挥杆动作检测方法。
第三方面,本申请实施例提供了一种计算机存储介质,计算机可读存储介质存储有计算机程序,当该计算机程序被处理器执行时,处理器执行上述第一方面中的任意一种实现方式所提供的挥杆动作检测方法。
第四方面,本申请实施例提供了一种计算机程序产品,计算机可读存储介质存储有计算机程序,当该计算机程序被处理器执行时,处理器执行上述第一方面中的任意一种实现方式所提供的挥杆动作检测方法。
该方法实现了可穿戴设备通过声音采集器采集声音信号,来确定用户是否击球。并结合可穿戴设备通过运动传感器采集的运动数据,得到用户的挥杆动作参数,实现对用户击球动作的监测,从而有效辅用户提高击球的节奏感。
附图说明
图1为本申请实施例提供的可穿戴设备100的结构示意图;
图2-图7为本申请实施例提供的一组高尔夫动作示意图;
图8-图9为本申请实施例提供的一组UI图;
图10为本申请实施例提供的一种可穿戴设备100的UI图;
图11-图13为本申请实施例提供的一种电子设备200向可穿戴设备100发送开启高尔夫模式的指令的UI图;
图14-图19为本申请实施例提供的另一组UI图;
图20-图22为本申请实施例提供的另一组UI图;
图23为本申请实施例提供的一种高尔夫动作检测方法的流程图;
图24A为本申请实施例提供的一种击球时的加速度波形特征和角速度波形特征的示意图;
图24B为本申请实施例提供的一种空挥时的加速度波形特征和角速度波形特征的示意图;
图24C为本申请实施例提供的一种击地时的加速度波形特征和角速度波形特征的示意图;
图25-图26为本申请实施例提供的一组可穿戴设备100显示运动数据的UI图;
图27-图29为本申请实施例提供的一组电子设备200显示运动数据的UI图;
图30为本申请实施例提供的一种电子设备200的硬件结构图;
图31为本申请实施例提供的一种可穿戴设备100的结构示意图。
具体实施方式
下面将结合附图对本申请实施例中的技术方案进行清除、详尽地描述。其中,在本申请实施例的描述中,除非另有说明,“/”表示或的意思,例如,A/B可以表示A或B;文本中的“或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况,另外,在本申请实施例的描述中,“多个”是指两个或多于两个。
以下,术语“第一”、“第二”仅用于描述目的,而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征,在本申请实施例的描述中,除非另有说明,“多个”的含义是两个或两个以上。
本申请的说明书和权利要求书及附图中的术语“用户界面(user interface,UI)”,是应用程序或操作系统与用户之间进行交互和信息交换的介质接口,它实现信息的内部形式与用户可以接受形式之间的转换。应用程序的用户界面是通过java、可扩展标记语言(extensible markup language,XML)等特定计算机语言编写的源代码,界面源代码在终端设备上经过解析,渲染,最终呈现为用户可以识别的内容,比如图片、文字、按钮等控件。控件(control)也称为部件(widget),是用户界面的基本元素,典型的控件有工具栏(toolbar)、菜单栏(menu bar)、文本框(text box)、按钮(button)、滚动条(scrollbar)、图片和文本。界面中的控件的属性和内容是通过标签或者节点来定义的,比如XML通过<Textview>、<ImgView>、<VideoView>等节点来规定界面所包含的控件。一个节点对应界面中一个控件或属性,节点经过解析和渲染之后呈现为用户可视的内容。此外,很多应用程序,比如混合应用(hybrid application)的界面中通常还包含有网页。网页,也称为页面,可以理解为内嵌在应用程序界面中的一个特殊的控件,网页是通过特定计算机语言编写的源代码,例如超文本标记语言(hyper text markup language,HTML),层叠样式表(cascading style sheets,CSS),java脚本(JavaScript,JS)等,网页源代码可以由浏览器或与浏览器功能类似的网页显示组件加载和显示为用户可识别的内容。网页所包含的具体内容也是通过网页源代码中的标签或者节点来定义的,比如HTML通过<p>、<img>、<video>、<canvas>来定义网页的元素和属性。
用户界面常用的表现形式是图形用户界面(graphic user interface,GUI),是指采用图形方式显示的与计算机操作相关的用户界面。它可以是在电子设备的显示屏中显示的一个图标、窗口、控件等界面元素,其中控件可以包括图标、按钮、菜单、选项卡、文本框、对话框、状态栏、导航栏、Widget等可视的界面元素。
本申请实施例提供了一种挥杆动作检测方法,可穿戴设备可以通过一个或多个运动传感器(例如加速度传感器、陀螺仪传感器、声音信号采集器等等)检测到的数据,识别用户进行杆类运动的各种动作(例如,击球动作、空挥动作等等),并监测用户完成杆类运动动作的规范程度。这样,可以帮助用户纠正杆类运动的动作。其中,杆类运动可以是曲棍球、羽毛球、台球、棒球、高尔夫球、网球等等运动。
本申请实施例中,具体以高尔夫运动作为示例进行说明,但不应构成限定。
具体的,可穿戴设备(例如蓝牙手环或蓝牙手表等)在通过运动传感器(加速度传感器和陀螺仪传感器)采集用户的手腕部的加速度数据和角速度数据之后,还可以利用声音信号采集器采集声音信号。其中,可穿戴设备可以根据加速度数据和角速度数据分别得到加速度波形特征和角速度波形特征。可穿戴设备根据加速度波形特征和角速度波形特征中的波峰/波谷数、波峰值、波峰波谷差值,可以分析出用户动作是空挥、击地和击球中的任意一种。用户进行杆类运动时,声音采集器采集到的声音信号可以包括击球产生的声音信号和由空挥产生的声音信号。可穿戴设备可以利用训练好的高斯混合模型对声音采集器采集到的声音信号进行识别,以区别其中由击球产生的声音信号和由空挥产生的声音信号。当可穿戴设备分析出用户是在做击球动作时,可穿戴设备可以进一步通过加速度数据和角速度数据分析出用户的挥杆动作参数,例如挥杆节奏等数据。这样,可穿戴设备可以根据声音信号分析出用户是在击球还是空挥,并根据加速度数据和角速度数据计算出用户的挥杆动作参数。该方法实现了对用户击球动作的监测,有利于提高用户击球节奏感的稳定性。
下面对本申请实施例终端可穿戴设备进行介绍。请参阅图1,图1示出了可穿戴设备100的结构示意图。可穿戴设备100可包括设备主体11和穿戴部件10。其中:
设备主体11中配置有加速度传感器、陀螺仪传感器和声音采集器。设备主体11利用上述加速度传感器、陀螺仪传感器和声音采集器可以分别采集加速度数据、角速度数据和声音信号。设备主体11可包含显示屏12和触摸控件13。显示屏12可用于显示时间、设备主体11的电量、蓝牙标识、接收的消息以及用户运动数据等内容。触摸控件13可用于接收用户点击操作点亮显示屏、开启以及结束运动模式等。
设备主体11还可以记录用户的移动的步数、消耗的热量,并且具备来电提醒以及消息通知等基本功能。
设备主体11可以与电子设备200(例如手机或者平板电脑等)建立无线通信连接。
在一种可能的实现方式中,设备主体11可以通过蓝牙与电子设备200建立无线通信连接。设备主体11可将用户的运动数据发送给建立连接的电子设备200。并且,当电子设备200收到来电或者消息通知时,设备主体11可接收到上述手机的指令,以提醒用户有来电或者消息通知。
穿戴部件10用于安装设备主体11,例如穿戴部件10可以是手环带或表带等装置。穿戴部件10是可以使设备主体11附着在用户手腕部的装置。可穿戴设备100附着在用户手腕部,便于加速度传感器和陀螺仪传感器采集用户手腕部的加速度数据和角速度数据,以监测用户腕部的运动。同时也便于声音采集器采集用户在做击球动作时杆头与球产生的声音信号,以监测用户是否击球。
为了便于理解本申请,下面以高尔夫球应用场景对本身申请实施例提供的一种挥杆动作检测方法进行说明。
首先,对高尔夫球应用场景涉及的术语进行解释。
高尔夫模式:高尔夫模式指可穿戴设备100的一种功能,可用于记录用户在打高尔夫球的运动数据,监测用户打高尔夫球的动作。当高尔夫模式开启时,可穿戴设备100中的加速度传感器、陀螺仪传感器和声音采集器均处于工作状态,可分别用于采集用户在打高尔夫球时的手腕部的加速度数据、角速度数据和声音信号。
可穿戴设备100可以处理上述加速度数据、角速度数据和声音信号,得到上杆时间、下杆时间、挥杆节奏等运动数据,从而确定用户在打高尔夫时是空挥动作还是击球动作。
上杆起点:如图2所示,图2为用户正在使高尔夫球杆的杆头瞄准球的示意图。上杆起点为用户使高尔夫球杆的杆头瞄准球,并使高尔夫球杆垂直于水平地面保持静止的点。其中,在上杆起点,手腕部的垂直方向的移动距离为最小值。这样,当用户找到上杆起点后,可以为后续击球做准备,可以提高用户击球的准确率。
上杆阶段:如图3所示,图3为上杆阶段示意图。用户双手紧握高尔夫球杆,从上杆起点开始,旋转肩膀使高尔夫球杆向右上方(或左上方)转动,直至用户的手腕部上升到离水平地面最高点。将用户操作高尔夫球杆从上杆起点到用户的手腕部上升到离水平地面最高点的这一阶段的动作称为上杆。其中,在上杆阶段,手腕部的垂直方向的移动距离从最小值到最大值的过程,称为上杆阶段。
上杆终点:用户结束上杆动作之后,用户的手腕部停留的位置为上杆终点。上杆终点,用户的手腕部上升到离水平地面的距离是上杆阶段中离水平地面最高的位置。其中,在上杆终点,手腕部的垂直方向的移动距离为最大值。
下杆阶段:如图4所示,图4为下杆阶段示意图。用户双手紧握高尔夫球杆,从上杆终点开始,旋转肩膀使高尔夫球杆开始向左下方(或右下方)转动,直至高尔夫球杆的杆头上升到离水平地面最低点。将用户操作高尔夫球杆从上杆终点到杆头离水平地面最低点的这一阶段的动作称为下杆。其中,在下杆阶段,手腕部的垂直方向的移动距离从最大值到最小值的过程,称为下杆阶段。
下杆终点:用户结束下杆动作之后,高尔夫球杆的杆头停留的位置为下杆终点。下杆终点,高尔夫球杆的杆头距离水平地面的距离是下杆阶段中离水平地面最低点的位置。并且下杆终点接近击球点。其中,在下杆终点,手腕部的垂直方向的移动距离为最小值。
收杆阶段:如图5所示,图5为收杆阶段示意图。用户操作高尔夫球杆的杆头击球或空挥之后,因为惯性的原因,高尔夫球杆还会向前运动一段之间直至停止。其中,在收杆阶段,腕部的垂直方向的位移的绝对值再一次从零到最大值的过程,称为收杆阶段。
半挥杆:如图6所示,图6为高尔夫动作中的半挥杆中的上杆阶段示意图。半挥杆包括上杆阶段、下杆阶段和收杆阶段。在上杆阶段的过程中,可以根据手腕部的转动角度和/或手腕部的垂直方向移动距离来判断是半挥杆。
方式一:可穿戴设备100可以根据手腕部的转动角度来判断是半挥杆。具体的,在上杆时间内,若手腕部的转动角度Q小于或等于第一预设角度(例如90度),则可穿戴设备100判断是半挥杆。
方式二:可穿戴设备100根据手腕部的垂直方向移动距离来判断是半挥杆。具体的,在上杆时间内,若手腕部的垂直方向移动距离S小于或等于第一预设距离,则可穿戴设备100判断是半挥杆。一般来说,用户做半挥杆动作时,用户的手臂与地面平行,则可以根据多个用户的肩膀与地面的垂直距离的平均值作为第一预设距离。第一预设距离还可以是其他的设定方式,本身请在此不做限定。
方式三:可穿戴设备100根据手腕部的转动角度和手腕部的垂直方向移动距离来判断是半挥杆。具体的,若在上杆时间内,手腕部的转动角度Q小于或等于第一预设角度(例如90度),并且手腕部的垂直方向移动距离S小于或等于第一预设距离,则可穿戴设备100判断是半挥杆。
全挥杆:如图7所示,图7为高尔夫动作中的全挥杆示意图。全挥杆包括上杆阶段、下杆阶段和收杆阶段。在上杆阶段的过程中,可以根据手腕部的转动角度和/或手腕部的垂直方向移动距离来判断是全挥杆。
方式一:可穿戴设备100根据手腕部的转动角度来判断是全挥杆。
具体的,在上杆时间内,若手腕部的转动角度Q大于第二预设角度(例如180度),则可穿戴设备100判断是全挥杆。
方式二:可穿戴设备100根据手腕部的垂直方向移动距离来判断是全挥杆。
具体的,在上杆时间内,若手腕部的垂直方向移动距离S大于第二预设距离,则可穿戴设备100判断是全挥杆。
方式三:可穿戴设备100根据手腕部的转动角度和手腕部的垂直方向移动距离来判断是全挥杆。
具体的,若在上杆时间内,手腕部的转动角度Q大于第二预设角度(例如180度),并且手腕部的垂直方向位移S大于第二预设距离,则可穿戴设备100判断是全挥杆。
其中,第一预设角度小于第二预设角度;第一预设距离小于第二预设距离。
上杆时间:用户控制高尔夫球杆从上杆起点到上杆终点的时间为上杆时间。
下杆时间:用户控制高尔夫球杆从上杆终点到下杆终点的时间为下杆时间。
挥杆节奏:上杆时间与下杆时间的比值为挥杆节奏。
挥杆速度:本申请以下实施例中,挥杆速度指的是高尔夫球杆杆头的实际转动速度。如图8所示,图8为高尔夫球杆杆头的转动速度示意图。可穿戴设备100采集的用户手腕部的加速度数据和角速度数据,可穿戴设备100根据采集的加速度数据和角速度数据可以计算出用户手腕部的转动速度V0,再根据公式计算出高尔夫球杆杆头的实际转动速度V。
杆头的相对速度是V1=w*r;杆头的实际转动速度V=V1+V0。其中,w为手腕部的实时转动角速度,r为高尔夫球杆的杆头转动半径,即佩戴可穿戴设备100的手腕到高尔夫球杆杆头的距离;w是角速度矢量,V、V0、V1都是速度矢量。
计算高尔夫球杆杆头的实际转动速度V需要估计出高尔夫球杆的杆头转动半径r。
一般用户双手握住高尔夫球杆的姿势为左手在上、右手在下。因此,可穿戴设备100需要识别出左手佩戴还是右手佩戴,再根据左右手佩戴的补偿系数和预设的高尔夫球杆的杆长估计出高尔夫球杆的杆头转动半径r。其中,左右手佩戴的补偿系数是左手手腕或右手手腕到高尔夫球杆的杆把的距离。左右手佩戴的补偿系数在可穿戴设备100中是预置好的。这样,在计算高尔夫球杆的杆头转动半径r时加上左右手佩戴的补偿系数,可以较少计算高尔夫球杆杆头的实际转动速度的误差。
对于左手佩戴:
如图9所示,图9为可穿戴设备100戴在用户的左手手腕的示意图。
可穿戴设备100可以自动识别出是佩戴在用户的左手还是右手。当识别出是佩戴在用户的左手手腕,可穿戴设备100根据预设的左手手腕到高尔夫球杆的杆把的距离D(例如0.1米)和高尔夫球杆的杆长L(例如0.9米)估计出高尔夫球杆的杆头转动半径r,其中,r=D+L。
当可穿戴设备100识别出是佩戴在用户的右手手腕时,可穿戴设备100可以根据预设的右手手腕到高尔夫球杆的杆把的距离D(例如0.1米)和高尔夫球杆的杆长L(例如0.9米)确定出高尔夫球杆的杆头转动半径r,其中,r=D+L。
当可穿戴设备100开启了高尔夫模式,那么可穿戴设备100可判断采集的运动数据来源于高尔夫运动而不是跑步等其他运动。其中,可穿戴设备100可以接收用户的输入,开启高尔夫模式,或者根据传感器采集到的数据,确定开启上述高尔夫模式。
方式一:可穿戴设备100接收并响应于用户的输入,开启高尔夫模式。
在一些实施例中,可穿戴设备100可通过监测作用于触摸控件13上的用户操作来开启高尔夫模式。
示例性的,如图10所示,当可穿戴设备100监测到作用于触摸控件13的长按操作时,可穿戴设备100可以开启或者结束高尔夫模式。当可穿戴设备100未开启高尔夫模式,且监测到作用于触摸控件13的长按操作时,可穿戴设备100可以在震动后倒计时一定时间(例如三秒)开启高尔夫模式。当高尔夫模式开启后,可穿戴设备100可以在显示屏12上显示高尔夫的图标以及文字“高尔夫模式”。这样,可以提示用户可穿戴设备100已开启高尔夫模式。
当可穿戴设备100已开启高尔夫模式,且监测到作用于触摸控件13的长按操作时,穿戴设备100可以在震动后倒计时一定时间(例如三秒)结束高尔夫模式。
在一种可能的实现方式中,可穿戴设备100在开启高尔夫模式一段时间(例如1分钟或者2分钟等)后,可自动熄灭显示屏12。当监测到作用于触摸控件13的短按操作,可穿戴设备100可以点亮显示屏12。显示屏屏111在被点亮后可以显示如图10所示的高尔夫的图标以及文字“高尔夫模式”。进一步,若测测到作用于触摸控件13的长按操作,可穿戴设备100可以在震动后倒计时一定时间(例如3秒)结束高尔夫模式。
在一种可能的实现方式中,可穿戴设备100在开启高尔夫模式一段时间后自动关闭显示屏12,可以有效节省可穿戴设备100的功耗。
在另一些实施例中,可穿戴设备100与电子设备200建立通信连接之后,可穿戴设备100还可以通过接收电子设备200发送的开启高尔夫模式请求开启高尔夫模式。
可穿戴设备100可以与电子设备200(例如手机、平板电脑等)建立通信连接关系。当监测到用于开启或者结束高尔夫模式的用户操作,该电子设备200可以向可穿戴设备100发送开启高尔夫模式的指令。当可穿戴设备100接收到用于开启高尔夫模式的指令,穿戴设备100可以开启高尔夫模式。
如图11中所示,电子设备200显示主屏幕用户界面700。用户界面700可包括:状态栏710,具有常用应用程序图标的托盘720,以及其他应用程序图标。其中,状态栏710可包括时间指示符7001、电池状态指示符7002、无线高保真(wireless fidelity,Wi-Fi)信号的一个或多个信号强度指示符7003、移动通信信号(又可称为蜂窝信号)的一个或多个信号强度指示符7004。具有常用应用程序图标的托盘720可展示:相机图标7011、电话图标7012、联系人图标7013、短信图标7014。其他应用程序图标可例如:时钟的图标7005、日历的图标7006、图库的图标7007、备忘录的图标7008、华为视频的图标7009、运动健康的图标7010。应用程序运动健康的图标7010,以及其他的应用程序(如图库)的图标。任一个应用的图标可用于响应用户的操作(例如单击操作),使得电子设备200启动图标对应的应用。其中,运动健康的图标7010可用于启动应用程序运动健康。应用程序运动健康可用于电子设备200与可穿戴设备100建立通信连接关系。电子设备200可以通过应用程序运动健康向用户展示用户的运动数据。
电子设备200接收并响应于作用于运动健康的图标7010的用户操作(例如单击操作),电子设备200可以显示如图12所示的运动健康的应用界面800。
如图12所示,该应用界面800可以包含状态栏710、界面查看选项810。其中,界面查看选项810可以包含运动选项8101、设备选项8102、发现选项8103和我的选项8104。任一个选项可用于响应用户的操作(例如单击操作),使得电子设备200在应用界面800上显示选项对应的内容。例如,与设备选项8102对应的内容可包含在电子设备中已添加的设备信息以及用于添加新设备的控件。当电子设备200监测到作用于设备选项8102上的用户操作(例如单击操作),电子设备200可以显示已添加设备选项820和设备添加选项830。
其中,设备添加选项830可用于触发电子设备200添加新的设备。该新的设备为与上述电子设备200首次建立通信连接关系的设备。当电子设备200监测到作用于设备添加选项830的用户操作(例如单击操作),电子设备200可以显示添加设备设置界面,使得电子设备200与该新的设备建立通信连接关系。上述添加设备设置界面可供用户搜索新的设备和建立通信连接的方式等,例如蓝牙连接。本申请实施例对电子设备200与新的设备建立通信连接关系的过程不作限定。
已添加设备选项820中可包含多个可穿戴设备的标识。上述多个可穿戴设备均与电子设备200建立过通信连接关系。例如,电子设备200与可穿戴设备100以及可穿戴设备A建立过通信连接关系。当监测到作用于已添加设备选项820中任一设备选项的用户操作(例如单击操作),电子设备可以显示与该设备对应的相关信息。
当电子设备200监测到作用于已添加设备选项212中可穿戴设备100标识的用户操作(例如单击操作),电子设备200可以显示如图13所示的应用界面900。
如图13所示,应用界面900可以包含状态栏710、设备状态拦910、运动数据920以及运动模式选项930。其中,设备状态拦910可用于显示可穿戴设备100与电子设备200的连接状态以及可穿戴设备100的电量。示例性的,当监测到电子设备200通过蓝牙连接方式与可穿戴设备100建立了通信连接关系,设备状态拦910可提示连接方式为蓝牙连接以及连接状态为“已连接”。进一步的,电子设备200可以获取可穿戴设备100的电量信息。设备状态拦910可提示可穿戴设备100当前的电量(例如77%)。设备状态拦910提示的内容还可以包含更多,本申请实施例对此不作限定。运动数据920可包含可穿戴设备100记录的用户移动的步数、消耗的热量和移动的距离。运动数据920中的数据为可穿戴设备100在工作状态下记录的用户一天内的数据(例如,包含用户日常走路、打高尔夫球以及跑步等活动时总的移动的步数、消耗的热量和移动的距离)。
运动模式选项930可用于开启或者结束高尔夫模式、跑步模式以及游泳模式。运动模式选项930可包含高尔夫模式标识9301以及用于开启高尔夫模式的控件9304、跑步模式标识9302以及用于跑步模式的控件9305、游泳模式标识9303以及用于开启游泳模式的控件9306。响应于作用在开启高尔夫模式的控件9304的用户操作(例如单击),电子设备200可以向可穿戴设备100发送开启高尔夫模式的指令。可穿戴设备100当接收到电子设备200发送的开启高尔夫模式的指令,可穿戴设备100可以在震动后一定时间(例如倒计时3秒)开启高尔夫模式。当开启高尔夫模式,可穿戴设备100可以在显示屏12上显示高尔夫的图标以及文字“高尔夫模式”。这样,可以提示用户可穿戴设备100已开启高尔夫模式。
当接收到电子设备200发送的结束高尔夫模式的指令,可穿戴设备100可以在震动后一定时间(例如倒计时3秒)结束高尔夫模式。
另外,当开启高尔夫模式时,可穿戴设备100可以自动开启免打扰模式。示例性的,开启免打扰模式时,当电子设备200收到来电或者消息通知,可穿戴设备100可以屏蔽电子设备发送的来电或者消息通知的提醒指令。即可穿戴设备100不会通过振动或者响铃等方式提醒用户有来电或者消息通知。这样,当可穿戴设备100已开启高尔夫模式,且有来电或者消息通知时,可穿戴设备100不会对用户打高尔夫产生干扰。
方式二、可穿戴设备100根据传感器的采集到的数据,确定开启高尔夫模式。
可穿戴设备100也可以自适应开启高尔夫模式。
当可穿戴设备100未开启高尔夫模式,且监测到用户处于打高尔夫球的状态时,可穿戴设备100可以自动开启高尔夫模式。其中,可穿戴设备100判断用户处于打高尔夫球的状态的方式可以为,加速度传感器和陀螺仪传感器采集到的加速度数据和角速度数据,可穿戴设备100根据加速度数据和角速度数据得到加速度波形特征图和角速度波形特征图,可穿戴设备100可根据加速度波形特征图和角速度波形特征图计算出用户是否有击球点。若可穿戴设备100计算出该用户有击球点,则判断此时用户在做疑似高尔夫运动。可穿戴设备100将加速度波形特征图和角速度波形特征图输入分类模型。分类模型是提前训练好的,分类模型可以根据输入的运动数据分析出用户的运动类型(例如跑步、游泳、打高尔夫球等)。分类模型根据加速度波形特征图和角速度波形特征图分析出用户在做高尔夫运动,则可穿戴设备100可以确定用户处于打高尔夫球的状态。
这里,可穿戴设备100得到加速度波形特征图和角速度波形特征图之后,判断出用户在做疑似高尔夫运动,再将加速度波形特征图和角速度波形特征图输入分类模型。分类模型进一步确定出用户在做高尔夫运动。而不是直接将加速度传感器和陀螺仪传感器采集到的加速度数据和角速度数据输入分类模型。这样,可以较少分类模型的计算量,节省消耗,提高分类模型判断的准确性。
在其他的一些实施例中,可穿戴设备100也可以直接将加速度传感器和陀螺仪传感器采集到的加速度数据和角速度数据输入分类模型,分类模型直接输出用户在做高尔夫运动或用户不是在做高尔夫运动。
可穿戴设备100还可以根据其它方式来确定用户处于打高尔夫球的状态,本申请实施例对此不作限定。
在一些实施例中,当可穿戴设备100开启了其它的运动模式,例如跑步模式,但监测到用户处于打高尔夫球的状态时,可穿戴设备100可以自动将其它的运动模式切换为高尔夫球模式。
在一些实施例中,当可穿戴设备100开启了高尔夫模式,且监测到用户未处于打高尔夫球的状态时,可穿戴设备100可以自动结束高尔夫模式。其中,可穿戴设备100判断用户未处于打高尔夫球的状态的方式可以为:可穿戴设备100根据采集的声音信号、加速度数据和角速度按数据,计算出击球点的次数为零,则可穿戴设备100可以确定用户未处于打高尔夫球的状态。可穿戴设备100还可以根据其它方式来确定未处于打高尔夫球的状态,本申请实施例对此不作限定。
这样,当用户在打高尔夫球而忘记开启高尔夫模式,或者开启的运动模式选择错误时,可穿戴设备100可以自适应开启高尔夫模式,监测用户在这一次打高尔夫球时的整体动作以及运动数据,来辅助用户提高打高尔夫球的能力。并且,当用户在开启高尔夫模式后忘记结束高尔夫模式时,可穿戴设备100可以自适应结束高尔夫模式,从而减少可穿戴设备100的功耗。
除了上述通过监测作用于触摸控件13上的用户操作和通过接收电子设备200发送的指令来开启高尔夫模式,以及自适应开启高尔夫模式,可穿戴设备100还可以通过其它方式开启高尔夫模式,例如通过体感手势开启高尔夫模式等。本申请在此不做限定。
在一些实施例中,可穿戴设备100在开启高尔夫球模式前可以检测运动传感器(如加速度传感器和陀螺仪传感器)和声音采集器是否处于工作状态。
图14示出了另一种可穿戴设备100开启高尔夫模式的示意图。当监测到用于开启高尔夫球的用户操作(例如作用在触摸控件13的长按操作),可穿戴设备100可以在显示屏12上显示如图14所示的用户界面,该用户界面中可包含有提示框113、确认控件14和取消控件115。其中:
提示框113包括有提示内容,该提示内容用于提示开启高尔夫模式时,可穿戴设备100中的运动传感器(如加速度传感器和陀螺仪传感器)和声音采集器将处于工作状态,以确定用户是否需要开启高尔夫球模式。提示内容可包括“此功能需要开启惯性传感器和麦克风。是否同意开启?”。
确认控件14可用于开启高尔夫模式。响应于作用在高尔夫上的用户操作(例如单击操作),可穿戴设备100可以检测运动传感器(如加速度传感器和陀螺仪传感器)和声音采集器是否处于工作状态。如果运动传感器(如加速度传感器和陀螺仪传感器)和声音采集器未处于工作状态,则可穿戴设备100可以自动使运动传感器(如加速度传感器和陀螺仪传感器)和声音采集器处于工作状态。这样,可穿戴设备100就可以开启高尔夫模式,并在开启高尔夫模式后振动一段时间(例如三秒)提醒用户高尔夫模式已开启。
取消控件115可用于不开启高尔夫模式。响应于作用在高尔夫上的用户操作(例如单击操作),可穿戴设备100不开启高尔夫模式。
可穿戴设备100开启高尔夫模式后,可穿戴设备100还可以提示用户选择个人运动数据录入的时间。这样,可穿戴设备100可以在预定时间内录入用户的运动数据。
可穿戴设备100可以根据以下两种方式中的任意一种方式来录入用户的运动数据。
方式一:可穿戴设备100接收用户操作录入用户的运动数据。
方式二、电子设备1200提示用户录入运动数据。
首先,对可穿戴设备100接收用户操作录入用户的运动数据进行介绍。
当可穿戴设备100首次开启高尔夫模式,可穿戴设备100可以提示用户进行个人运动数据的录入。
在一些实施例中,可穿戴设备100开启高尔夫模式之后,可穿戴设备100可以在显示屏12上显示如图15中的所示的用户界面。用户界面可包含提示框116、确定控件117和取消控件118。其中:
提示框116包括有提示内容,该提示内容用于提示开启高尔夫模式后,可穿戴设备100提示用户进行运动数据录入。提示内容可包括“首次使用高尔夫球模式,请先进行击球运动数据录入。现在录入吗?”。
确定控件117可用于接收用户操作(例如单击),响应于作用在确定选项311的用户操作(例如单击),可穿戴设备100可以在显示屏12上显示如图16所示的用户界面。
取消控件118可用于取消个人运动数据录入。响应于作用在取消控件118的用户操作(例如单击),可穿戴设备100可以在显示屏12上显示如图10所示的高尔夫的图标以及文字“高尔夫模式”。
若用户当前想要进行个人运动数据录入,用户可以单击确认控件117。若用户当前不想进行个人运动数据录入,用户可以单击取消控件118。
如图16所示,当监测到作用于确认控件117的用户操作(例如单击),可穿戴设备100在显示屏12上显示如图17中所示的用户界面。用户界面可用于用户选择进行个人运动数据录入时间的长度。用户界面可包括提示框119。其中:
提示框119可包含5分钟选项120、10分钟选项121和30分钟选项122。提示框119还可以包含更多或者更少的选项,本申请在此不做限定。
响应于作用在提示框119中任一个选项的用户操作(例如单击),可穿戴设备100可以在显示屏12上显示如图18所示的用户界面。用户界面包括提示框123,提示框123用于提示用户数据录入将在手环震动后开始。提示框123包括提示内容“数据录入将在手环震动后开始”。
当监测到作用在提示框123中任一个选项的用户操作,可穿戴设备100显示用户界面并产生震动。当震动结束后,可穿戴设备100开始进行个人运动数据录入。
当可穿戴设备100监测到从开始进行个人运动数据录入经过了提示框123中被选择的选项对应的时间长度时,可穿戴设备100可以震动并在显示屏12上显示如图19所示的用户界面。用户界面可用于提示用户个人运动数据录入结束。
图19所示的用户界面包括提示框124,提示框124用于提示用户个人运动数据录入结束。提示框124包括提示内容“个人运动数据录入结束”。
其中,用户在进行个人运动数据录入时,即用户在做高尔夫动作时,用户不方便直接看到显示屏12上的内容。可穿戴设备100可以通过震动来提示用户个人运动数据录入结束。这样,用户可以在可穿戴设备100震动后停止做做高尔夫动作。
本申请实施例对可穿戴设备100开始进行个人运动数据录入和结束个人运动数据录入的方式不作限定。除了通过震动的方式表示开始进行个人运动数据录入和结束个人运动数据录入,还可以通过其它的方式。
下面对电子设备200在可穿戴设备100首次开启高尔夫模式后提示用户录入个人运动数据进行说明。
在一些实施例中,当电子设备200监测用户在运动健康的应用程序中开启了高尔夫模式,且未监测到用户的个人运动数据时,电子设备可以提示用户进行个人运动数据的录入。
电子设备200可以在用户界面900上显示如图20所示的提示框2001。提示框2001包括有提示内容,该提示内容用于提示开启高尔夫模式后,电子设备200提示用户进行运动数据录入。提示内容可包括“首次使用高尔夫模式,请先进行击球运动数据录入。现在录入吗?”。提示框2001还包括有控件2002,控件2002可用于接收用户操作(例如单击),响应于作用在控件2002的用户操作(例如单击),电子设备200可以在用户界面900显示如图21所示的提示框2101。提示框2001还包括有控件2003,控件2003可用于取消个人运动数据录入。若用户当前想要进行个人运动数据录入,用户可以单击控件2002。若用户当前不想进行个人运动数据录入,用户可以单击控件2003。
当监测到作用于控件2002的用户操作,电子设备200在用户界面900上显示如图21所示的提示框2101。
如图21所示,提示框2101可包含5分钟选项2102、10分钟选项2103和30分钟选项2104。提示框2101还可以包含更多或者更少的选项,本申请在此不做限定。
响应于作用在提示框2101中任一个选项的用户操作(例如单击),电子设备200可以在用户界面900显示如图22所示的提示框2201。
如图22所示,该提示框2201用于提示用户数据录入将在手环震动后开始。提示框2201包括提示内容“数据录入将在手环震动后开始”。
当监测到作用在提示框123中任一个选项的用户操作,可穿戴设备100显示用户界面并产生震动。当震动结束后,可穿戴设备100开始进行个人运动数据录入。
下面对可穿戴设备100计算用户的挥杆动作参数进行说明。
当开启高尔夫模式后,可穿戴设备100中的加速度传感器、陀螺仪传感器和声音采集器均处于工作状态。其中,加速度传感器可用于采集手腕部的加速度数据;陀螺仪传感器可用不采集手腕部的角速度数据;声音采集器可用于采集声音信号。
可穿戴设备100对加速度数据和角速度数据进行处理,得到加速度波形特征和角速度波形特征。
可穿戴设备100可以根据加速度波形特征和角速度波形,可穿戴设备100可以得到上杆起点对应的时刻、上杆终点对应的时刻和下杆终点对应的时刻。
可穿戴设备100根据上杆起点对应的时刻和上杆终点对应的时刻,可以计算出上杆时间;根据上杆终点对应的时刻和下杆终点对应的时刻,可穿戴设备100可以计算出下杆时间。
由上杆时间与下杆时间的比值,可以计算出用户的挥杆节奏。
其中:
在上杆时间内,可穿戴设备100可以根据垂直方向加速度变化的积分,可以计算出用户手腕部在上杆阶段的垂直方向的移动距离S。
在上杆时间内,可穿戴设备100根据上杆时间内角速度变化的积分,可以计算出用户手腕部在上杆阶段的转动角度Q。
可穿戴设备100根据每一时刻的手腕部加速度值可以计算出挥杆速度。
具体的,计算挥杆速度的详细介绍,请参考术语解释中对挥杆速度的介绍,本申请再次不再赘述。
可穿戴设备100可以根据训练好的高斯混合模型来判断声音信号是由击球产生的声音信号还是空挥产生的声音信号,进而统计出用户击球的次数。
下面介绍高斯混合模型的原理和高斯模型的训练过程。
高斯混合模型:高斯混合模型为概率统计模型,可通过高斯概率密度函数的线性加权组合刻画声音信号的特征参数的统计分布。高斯混合模型中每个高斯分布的平均值矢量可代表一种由击球或者没有击球产生的声音信号的类别,每个高斯分布的协方差矩阵可代表这个声波信号的类别的变异性。由击球和没有击球产生的声音信号在特征参数(如能量、频率和峰值等)值的大小上有差异,所以根据这些不同的特征参数值可以建立不同类别的声音信号的分布。这些不同的分布可用于区分由击球和没有击球产生的声音信号。
在本申请实施例中,可穿戴设备100使用的训练好的高斯混合模型中每个单独的高斯分布均表示一种由击球产生的声音信号的分布。根据特征参数值的大小的差异可以将声音信号区分为由击球产生的声音信号和由没有击球产生的声音信号。进一步的,由击球产生的声音信号根据特征参数值的大小上的差异还可以区分为多个类别。高斯混合模型中包含的多个高斯分布即为由击球产生的不同类别的声音信号的分布。可穿戴设备100可以将采集的声音信号的特征参数与训练好的高斯混合模型进行相似度匹配计算,来判断该声音信号是否为由击球产生的声音信号。
在一种可能的实现方式中,可穿戴设备100可以对由击球产生的声音信号进行音频信号处理,实现对声音信号的分帧和多维特征参数提取。上述多维特征参数的维度可以为M,其中可以包括声音信号的能量、频率和峰值等特征参数。M为正整数。上述音频信号处理的过程可以参考现有技术中音频信号处理的方法,本申请实施例对此不作赘述。本申请实施例对上述多维特征参数中包含的参数不作具体限定。
高斯混合模型中可包含N个单独的高斯分布,其中一个高斯分布可以表示由击球产生的一种声音信号的分布。该高斯混合模型可以用N个M维的高斯概率密度函数线性加权表示,表达式可以如公式(1)所示:
Figure BDA0002663041740000151
其中,X=(x1,…,xj…,xM)可以表示声音信号的M维特征参数,ωi可以表示第i个高斯概率密度函数的权重.且
Figure BDA0002663041740000152
Gi(X)(i=1…N)可以表示第i个高斯分布的高斯概率密度函数。Gi(X)的表达式可以如公式(2)所示:
Figure BDA0002663041740000153
其中,Ui、Ci分别为第i个高斯概率密度函数的均值矢量和协方差矩阵。当得到由击球产生的声音信号的M维特征参数,可穿戴设备100可以利用这些M维特征参数对高斯混合模型进行训练,以得到高斯混合模型参数λ={ωi,μi,Ci}的最优解。
在一种可能的实现方式中,可穿戴设备100可以利用期望最大化算法的迭代计算来估计上述参数λ的最优解。
用于训练高斯混合模型的声音信号的分布具体属于高斯混合模型中哪一个高斯分布是未知的,期望最大化算法先假定参数λ的初始值,即先假定用于训练的声音信号的分布具体属于高斯混合模型中哪一个高斯分布这一信息是已知的。然后进行期望步骤,该期望步骤表示根据参数λ的值计算用于训练的声音信号是由高斯混合模型中哪一个高斯分布生成的,即对用于训练的数据进行分类。再根据分类结果进行最大化步骤,该最大化步骤表示对参数λ进行最大似然估计,即更新参数λ的值。重复上述期望步骤和最大化步骤。当参数λ的值收敛时,可穿戴设备100可以停止训练过程,并将最后一次更新参数λ得到的值作为参数λ的最优解,这样就可以得到训练好的高斯混合模型。
上述参数λ的值收敛可以表示连续两次进行最大化步骤更新的参数λ之间的差值小于设定阈值,即可以认为参数λ的值稳定不变。
下面介绍可穿戴设备100根据高斯混合模型判断用户是在击球还是空挥。
当得到训练好的高斯混合模型,可穿戴设备100可以利用训练好的高斯混合模型来区分麦克风采集的声音信号中由击球产生的声音信号和由没有击球产生的声音信号。示例性的,可穿戴设备100对麦克风采集的声音信号进行音频信号处理,得到某一帧声音信号的M维特征参数X=(x1,…,xj…,xM)。根据特征参数,可穿戴设备100可以对这一帧声音信号与训练好的高斯混合模型进行相似度匹配计算。其中,可穿戴设备100可以计算在已知这一帧声音信号的M维特征参数的条件下,这一帧声音信号是由高斯混合模型中第i个高斯分布生成的后验概率。具体计算公式可以如式(3)所示:
Figure BDA0002663041740000161
则这一帧声音信号由高斯混合模型中N个高斯分布生成后验概率之和为
Figure BDA0002663041740000162
上述概率之和Q可以表示这一帧声音信号与高斯混合模型的相似度。可穿戴设备100可以设置一个匹配阈值。当上述后验概率之和Q大于该匹配阈值,可穿戴设备100可以判别这一帧声音信号为由击球产生的声音信号。否则,可穿戴设备100可以判别这一帧声音信号为由没有击球产生的声音信号。本申请实施例对该匹配阈值的大小不作具体限定。本申请实施例对上述相似度匹配的计算方法不作限定,还可以为其它相似度匹配的方法。
进一步的,可穿戴设备100可以根据击球产生的声音信号计算用户在一次打高尔夫球的过程中击球总次数。即由击球产生的声音信号的帧数总和。
其中,在对用户打高尔夫球时采集的声音信号进行分帧处理时,可穿戴设备100可以根据一般用户击球的频率来决定一帧声音信号的长度,例如一帧声音信号的长度可以为300毫秒。当判断出某一帧声音信号为由击球产生的声音信号时,可穿戴设备100可以确定用户进行了一次击球,即由击球产生的声音信号的帧的数量为用户在一次打高尔夫球的过程中总的击球次数。
高斯混合模型为多个高斯概率密度函数的线性加权组合,而利用若干个高斯概率密度函数的线性加权组合可以逼近任意分布,因此高斯混合模型可以用于描述由击球产生的声音信号的分布。这样,可穿戴设备100可以利用高斯混合模型来判断用户是否击球。结合根据加速度数据和角速度数据分析得到的用户手腕部的动作,可穿戴设备100可以监测用户在打高尔夫球时的整体的动作(如全挥杆击球、半挥杆击球、空挥、击地等),从而更好的辅助用户提高打高尔夫球的能力。
本申请实施例对处理声音信号来判断用户是否击球的方法不进行限定,除了可以用上述高斯混合模型的算法,还可以用隐马尔可夫模型的算法或者神经网络算法等其它声音信号识别的算法。
如图23所示,图23示出了一种检测用户在打高尔夫球时的动作的检测方法流程图。
如图23所示,该方法可以包括:
S1001、可穿戴设备100采集加速度数据、角速度数据和声音信号。
可穿戴设备100佩戴在用户的手腕部。当开启高尔夫模式之后,可穿戴设备100中的加速度传感器采集手腕部的加速度数据,陀螺仪传感器采集手腕部的角速度数据,声音采集器采集高尔夫球运动过程中的声音信号。
S1002、可穿戴设备100根据加速度数据得到加速度波形特征,根据角速度数据得到角速度波形特征图;对声音信号进行处理,得到声音信号的特征参数。
可穿戴设备100对声音信号进行处理包括对声音信号进行分帧和特征参数提取。其中,可穿戴设备100可以根据一般用户击球的频率来决定一帧声音信号的长度。例如,一般用户击球一次需要300毫秒。则可穿戴设备100可以预设置300毫秒对声音信号进行分割。这样,若判断出一帧声音信号是由击球产生的声音信号,则可穿戴设备100可以确定用户击球一次。
可穿戴设备100可以对每一帧声音信号进行特征参数提取。其中,特征参数可以包括这一帧声音信号的能量、频率和峰值等M维特征参数。M为大于等于1的正整数。
S1003、可穿戴设备100根据加速度波形特征和角速度波形特征分析出用户动作是空挥、击地和击球中的任意一种。
如图24A所示,图24A示例性的示出了击球时的加速度波形特征和角速度波形特征的示意图。
可穿戴设备100从加速度波形特征图和角速度波形特征图中可以得到波峰/波谷数、波峰值、波峰/波谷差值等特征,由于高尔夫球杆的杆头与球之间发生了碰撞,因此多个波峰值之间会来回震荡。当加速度波形特征图和角速度波形特征图中出现了波峰和波谷、并且波峰或波谷的数量大于第一数量阈值(例如数量为2)、最大波峰值大于第一波峰阈值、最大波峰值与邻近的最小波谷值的差值小于第一差值阈值、加速度值和角速度值逐渐减小,则可以确定出发生了击球动作。可穿戴设备100可以根据最大波峰值对应的时刻(第一时刻)确定出下杆终点。此时下杆终点为击球点,并确定出击球点发生的时间为第一时刻。
可穿戴设备100可以采取以下方式中的任意一种方式来判断用户动作是击球。
方式一,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量大于第一数量阈值(例如数量为2),最大波峰值大于第一波峰阈值,最大波峰值与邻近的最小波谷值的差值小于第一差值阈值,并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击球动作。
方式二,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量大于第一数量阈值(例如数量为2),最大波峰值大于第一波峰阈值,并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击球动作。
方式三,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量大于第一数量阈值(例如数量为2),最大波峰值大于第一波峰阈值,并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击球动作。
方式四、当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量大于第一数量阈值(例如数量为2),并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击球动作。
可穿戴设备100还可以根据其他的方式确定出是击球动作,本身请在此不做限定。
如图24B所示,图24B示例性的示出了空挥时的加速度波形特征和角速度波形特征的示意图。
可穿戴设备100从加速度波形特征图和角速度波形特征图中可以得到波峰/波谷数、波峰值、波峰/波谷差值等特征。当加速度波形特征图和角速度波形特征图中出现了波峰、并且波峰的数量小于第一数量阈值(例如数量为2),最大波峰值小于第一波峰阈值、最大波峰值与邻近的最小波谷值的差值大于第一差值阈值、并且加速度值和角速度值逐渐减小,则可以确定出发生了空挥动作。可穿戴设备100可以根据最大波峰值对应的时刻(第一时刻)确定出下杆终点,确定出下杆终点发生的时间为第一时刻。
可穿戴设备100可以采取以下方式中的任意一种方式来判断用户动作是空挥。
方式一,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量小于第一数量阈值(例如数量为2),最大波峰值小于第一波峰阈值,最大波峰值与邻近的最小波谷值的差值大于第一差值阈值,并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是空挥。
方式二,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量小于第一数量阈值(例如数量为2),最大波峰值与邻近的最小波谷值的差值大于第一差值阈值,并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是空挥。
方式三,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量小于第一数量阈值(例如数量为2),最大波峰值小于第一波峰阈值,并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是空挥。
方式四,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰或波谷的数量小于第一数量阈值(例如数量为2),并且加速度值减小到第一加速度阈值的时间大于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是空挥。
可穿戴设备100还可以根据其他的方式确定出是空挥动作,本身请在此不做限定。
如图24C所示,图24C示例性的示出了击地时的加速度波形特征和角速度波形特征的示意图。
这里,击地是指用户操作高尔夫球杆,因为判断失误导致高尔夫球杆打在了草地上而没有与球发生碰撞。
可穿戴设备100从加速度波形特征图和角速度波形特征图中可以得到波峰/波谷数、波峰值、波峰/波谷差值等特征。当加速度波形特征图和角速度波形特征图中出现了波峰和波谷、并且波峰或波谷的数量大于第一数量阈值(例如数量为2)、最大波峰值大于第一波峰阈值、最大波峰值与邻近的最小波谷值的差值小于第一差值阈值、但是加速度值和角速度值急剧较小为极小值,则可以确定出发生了击地动作。可穿戴设备100可以根据最大波峰值对应的时刻(第一时刻)确定出下杆终点。
可穿戴设备100可以采取以下方式中的任意一种方式来判断用户动作是击地。
方式一,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰数量大于第一数量阈值(例如数量为2),最大波峰值大于第一波峰阈值,最大波峰值与邻近的最小波谷值的差值小于第一差值阈值,并且加速度值减小到第一加速度阈值的时间小于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击地动作。
方式二,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰数量大于第一数量阈值(例如数量为2),最大波峰值与邻近的最小波谷值的差值小于第一差值阈值,并且加速度值减小到第一加速度阈值的时间小于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击地动作。
方式三,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰数量大于第一数量阈值(例如数量为2),最大波峰值大于第一波峰阈值,并且加速度值减小到第一加速度阈值的时间小于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击地动作。
方式四,当可穿戴设备100从加速度波形特征图和角速度波形特征图中得到波峰数量大于第一数量阈值(例如数量为2),并且加速度值减小到第一加速度阈值的时间小于第一时间阈值和/或角速度值减小到第一角速度阈值的时间大于第二时间阈值,则可穿戴设备100确定出是击地动作。
可穿戴设备100还可以根据其他的方式确定出是击地动作,本身请在此不做限定。
S1004、可穿戴设备100将声音信号的特征参数与高斯混合模型进行相似度匹配计算,进一步确定是由击球产生的声音信号。
在步骤S1003中,可穿戴设备100已经根据加速度波形特征和角速度波形特征分析出用户动作是空挥、击地和击球中的任意一种。但是在下杆终点,用户操作高尔夫球杆的杆头准备击球时,但是由于失误并未使杆头击打在球上。但是此时杆头的速度很快,若用户手腕抖动或者用户佩戴的可穿戴设备100松动,那么可穿戴设备100根据加速度波形特征和角速度波形特征中的波峰数、波峰值也可能分析出用户在做击球动作。基于上述影响,可穿戴设备100可能将用户的空挥动作误认为是击球动作。
为了消除误差,可穿戴设备100采集声音信号,将第一时刻的声音信号的特征参数与高斯混合模型进行相似度匹配计算,确定是由击球产生的声音信号,从而消除了误判的情况。
因为当用户操作杆头击打到球之后,杆头与球撞击而产生很大的声音。可穿戴设备100在用户做击球动作时采集到的声音信号与用户在做空挥动作时采集到的声音信号有较大的区别。其中,在可穿戴设备100采集到的第一时刻的声音信号的频谱图中,由击球产生的声音信号的峰值和能量远大于由空挥时产生的声音信号的峰值和能量。通过这一区别,可穿戴设备100可以分辨出用户是在做击球动作还是在做空挥动作。
具体的,高斯混合模型中可以包括N个单独的高斯分布。其中每一个高斯分布都可以表示由击球产生的一种声音信号的类别。可穿戴设备100可以根据公式(3)计算在已知一帧声音信号的M维特征参数的条件下,这一帧声音信号是由高斯混合模型中第i个高斯分布生成的后验概率。这样,可穿戴设备100可以得到这一帧声音信号由高斯混合模型中N个高斯分布生成的后验概率之和Q。其中
Figure BDA0002663041740000201
可以表示这一帧声音信号与击球高斯混合模型的相似度。
可穿戴设备100可以设置一个匹配阈值。当上述后验概率之和Q大于该匹配阈值,可穿戴设备100可以确定这一帧声音信号为由击球产生的声音信号。本申请实施例对该匹配阈值的大小不作具体限定。
在一些实施例中,可穿戴设备100也可以直接根据声音信号特征参数与高斯混合模型进行相似度匹配计算,确定是由击球产生的声音信号。
S1005、可穿戴设备100确定出击球动作之后,根据加速度波形特征和角速度波形特征计算出挥杆动作参数。可穿戴设备100根据由击球产生的声音信号计算击球次数。
挥杆动作参数可以是例如上杆时间、下杆时间、挥杆速度、挥杆节奏等。挥杆动作参数还可以包括其他更多的参数,本身请在此不做限定。
根据加速度波形特征和角速度波形,可穿戴设备100可以得到上杆起点对应的时刻、上杆终点对应的时刻和下杆终点对应的时刻。
根据上杆起点对应的时刻和上杆终点对应的时刻,可穿戴设备100可以计算出上杆时间;根据上杆终点对应的时刻和下杆终点对应的时刻,可穿戴设备100可以计算出下杆时间。
由上杆时间与下杆时间的比值,可以计算出用户的挥杆节奏。
可穿戴设备100根据每一时刻的手腕部加速度值可以计算出挥杆速度。
具体的,计算挥杆速度的详细介绍,请参考术语解释中对挥杆速度的介绍,本申请再次不再赘述。
可穿戴设备100可以根据加速度波形特征和角速度波形特征得到用户的击地总次数。
可穿戴设备100若判断出声音信号是由击球产生,则可穿戴设备100可以将用户在一次打高尔夫球的过程中用户的击球次数增加一次。
若可穿戴设备100判断出声音信号是由空挥产生的声音信号,则可穿戴设备100也可以将计算用户的空挥次数,将用户在一次打高尔夫球的过程中用户的空挥次数增加一次。
以此类推,可穿戴设备100可以计算出用户在一次打高尔夫球的运动中的总击球数和总空挥次数和总击地次数。
在一些实施例中,可穿戴设备100可以将用户的空挥动作和用户的击地动作视为无效动作,将用户的击球动作视为有效动作。根据用户在一次打高尔夫球的运动中的总空挥次数和总击地次数,可穿戴设备100可以计算出用户在一次打高尔夫球的运动中的无效动作次数。根据用户在一次打高尔夫球的运动中的总击球次数,可穿戴设备100可以计算出用户在一次打高尔夫球的运动中的有效动作次数。
S1006、可穿戴设备100将用户打高尔夫球的动作划分为有效击球动作和无效击球动作。
可穿戴设备100结合同一时刻用户手腕部的动作以及采集的声音信号判断出的是否击球动作的分析结果,可穿戴设备100可以将用户打高尔夫球的动作划分为有效击球动作和无效击球动作。
其中,有效击球动作可以包括全挥杆击球和半挥杆击球。
半挥杆击球:半挥杆击球包括两个方面,一个是半挥杆、一个是击球。对于半挥杆的具体解释,请参考术语解释,本身请在此不再赘述。
可穿戴设备100可以采用以下三种方式中的任意一种方式来判断半挥杆击球动作。
方式一:在上杆时间内,可穿戴设备100判断出手腕部的转动角度Q小于或等于第一预设角度;并且可穿戴设备100得到下杆终点时刻的一帧声音信号的特征参数,可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度大于第一阈值,则确定是由击球产生的声音信号。则可穿戴设备100判断用户动作是是半挥杆击球动作。
方式二:在上杆时间内,可穿戴设备100判断出手腕部的垂直方向移动距离S小于或等于第一预设距离;并且可穿戴设备100得到下杆终点时刻的一帧声音信号的特征参数,可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度大于第一阈值,则确定是由击球产生的声音信号。则可穿戴设备100判断用户动作是是半挥杆击球动作。
方式三:在上杆时间内,可穿戴设备100判断出手腕部的转动角度Q小于或等于第一预设角度,并且手腕部的垂直方向移动距离S小于或等于第一预设距离;并且可穿戴设备100得到下杆终点时刻的一帧声音信号的特征参数,可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度大于第一阈值,则确定是由击球产生的声音信号。则可穿戴设备100判断用户动作是是半挥杆击球动作。
可穿戴设备100判断用户在做半挥杆击球动作方法,还可以采取其他的方式,本申请在此不做限定。
全挥杆击球:全挥杆击球包括两个方面,一个是全挥杆、一个是击球。对于全挥杆的具体解释,请参考术语解释,本身请在此不再赘述。
可穿戴设备100可以采用以下三种方式中的任意一种方式来判断全挥杆击球动作。
方式一:在上杆时间内,可穿戴设备100判断出手腕部的转动角度Q大于第一预设角度;并且可穿戴设备100得到下杆终点时刻的一帧声音信号的特征参数,可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度大于第一阈值,则确定是由击球产生的声音信号。则可穿戴设备100判断用户动作是是全挥杆击球动作。
方式二:在上杆时间内,可穿戴设备100判断出手腕部的垂直方向移动距离S大于第一预设距离;并且可穿戴设备100得到下杆终点时刻的一帧声音信号的特征参数,可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度大于第一阈值,则确定是由击球产生的声音信号。则可穿戴设备100判断用户动作是是全挥杆击球动作。
方式三:在上杆时间内,可穿戴设备100判断出手腕部的转动角度Q大于第一预设角度,并且手腕部的垂直方向移动距离S大于第一预设距离;并且可穿戴设备100得到下杆终点时刻的一帧声音信号的特征参数,可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度大于第一阈值,则确定是由击球产生的声音信号。则可穿戴设备100判断用户动作是是全挥杆击球动作。
可穿戴设备100判断用户在做全挥杆击球动作的方法,还可以采取其他的方式,本申请在此不做限定。
不限于半挥杆击球和全挥杆击球,有效击球动作还可以包括其他更多的类别,本申请在此不做限定。
无效动作可以包括击地和空挥。
击地:可穿戴设备100从加速度波形特征图和角速度波形特征图中可以得到波峰数、波峰值等特征。当加速度波形特征图和角速度波形特征图中出现了波峰,并且波峰的数量不止一个,但是加速度值和角速度值急剧较小为极小值,则可以确定出发生了击地动作。
具体的,可以参考S1003中的描述,本申请在此不在赘述。
空挥:可穿戴设备100采集声音信号,并对下杆终点的一帧声音信号进行处理,得到这一帧声音信号的特征参数。可穿戴设备100将这一帧声音信号的特征参数与高斯混合模型进行相似度匹配计算,得到第一相似度,高斯混合模型预设有第一阈值。若第一相似度小于第一阈值,则确定是由空挥产生的声音信号。
可穿戴设备100分析出用户在做击球动作,并根据加速度数据和角速度数据计算出用户的挥杆动作参数。该方法实现了对用户击球动作的监测,有利于提高用户击球节奏感的稳定性。
具体的,可穿戴设备100可以在数据录入时间(例如五分钟)内对用户的击球动作进行监测。并根据运动数据对用户的挥杆动作参数进行统计。结合用户每一次的挥杆动作参数对用户的挥杆动作提出建议,有利于提高用户挥杆动作的稳定性。
例如,可穿戴设备100在数据录入时间(例如五分钟)内检测到用户一共进行了十二次高尔夫挥杆运动,其中有效击球动作(全挥杆击球和半挥杆击球)为8次,无效击球动作(空挥和击地)为4次。可穿戴设备100计算出用户的击球稳定性为百分之六十七。用户的击球稳定性偏低,可穿戴设备100可建议用户提高击球稳定性。
可穿戴设备100也可以对用户每一次的高尔夫挥杆运动进行分割,得到用户的上杆时间、下杆时间和挥杆节奏等挥杆动作参数。
例如,可穿戴设备100在数据录入时间(例如五分钟内检测到用户一共进行了十二次高尔夫挥杆运动,其中有效击球动作(全挥杆击球和半挥杆击球)为8次。全挥杆击球4次,半挥杆击球4次。其中,可穿戴设备100可以统计出每次半挥杆击球的挥杆动作参数(上杆时间、下杆时间、挥杆节奏等)。可穿戴设备100预设有运动参数的标准值。可穿戴设备100可以统计出4次半挥杆击球运动中,每次半挥杆击球运动中上杆时间与上杆时间标准值的差值、每次半挥杆击球运动中下杆时间与上杆时间标准值的差值、每次半挥杆击球运动中挥杆节奏与挥杆节奏标准值的差值。并以此来判断用户半挥杆击球的稳定性。可穿戴设备100也可以统计出每次全挥杆击球的挥杆动作参数(上杆时间、下杆时间、挥杆节奏等)。可穿戴设备100预设有运动参数的标准值。可穿戴设备100可以统计出4次全挥杆击球运动中,每次全挥杆击球运动中上杆时间与上杆时间标准值的差值、每次全挥杆击球运动中下杆时间与上杆时间标准值的差值、每次全挥杆击球运动中挥杆节奏与挥杆节奏标准值的差值。并以此来判断用户全挥杆击球的稳定性。
这样,可穿戴设备100统计出用户每一次有效击球动作中的挥杆动作参数,来判断用户的挥杆的稳定性。并且可穿戴设备100可以检测用户的挥杆动作的规范性,可以帮助用户纠正高尔夫运动的动作,有利于提高用户击球节奏感的稳定性。
可穿戴设备100可以显示用户的挥杆动作参数,用户的挥杆动作参数也可以在电子设备200中显示。
下面对可穿戴设备100显示高尔夫运动的挥杆动作参数进行介绍。
在一些实施例中,当得到用户打高尔夫球的运动数据,可穿戴设备100可以在显示屏12上显示最近一次开启高尔夫模式得到的运动数据。
下面以可穿戴设备100显示半挥杆击球动作中的挥杆动作参数进行说明。
可穿戴设备100中可包含多个应用,例如图25所示的应用“高尔夫运动数据”。响应于作用在“高尔夫运动数据”图标125上的用户操作(例如单击),可穿戴设备100可以显示如图26所示的应用界面。
图26所示的应用界面中显示的挥杆动作参数是可穿戴设备100根据在个人运动数据例如时长(例如五分钟)内获取到的用户的运动数据计算得到的。应用界面中可包含平均上杆时间为600ms,平均下杆时间为400ms,有效击球次数为10次。
可穿戴设备100的应用界面显示的内容还可以包含更多或者更少的运动数据,本申请实施例对此不作限定。
由于可穿戴设备100的显示屏12的面积有限,可穿戴设备100显示的挥杆动作参数也是有限的。因此,更多的挥杆动作参数以及建议可以在与可穿戴设备100建立连接的电子设备200中进行显示。
下面对电子设备200显示高尔夫运动的挥杆动作参数进行介绍。
下面以电子设备200显示半挥杆击球动作中的挥杆动作参数进行说明。
电子设备200可以显示如图27所示的应用界面1000。应用界面1000可包含状态栏710、设备状态栏910和运动模式对应的运动数据栏1010。
运动模式对应的运动数据栏1010可包括高尔夫运动数据选项1001、跑步运动数据选型和游泳运动数据选项。
响应于作用在高尔夫运动数据选项1001的用户操作(例如单击),电子设备200可以显示如图28所示的应用界面1100。应用界面1100可包含状态栏710、上杆时间参数栏1110、下杆时间参数栏1120、挥杆节奏参数栏1130。其中:
上杆时间参数栏1110可包括平均上杆时间,平均上杆时间为600ms;最长上杆时间,最长上杆时间为650ms;上杆时间图表1111。
上杆时间图表1111中记载的是用户每一次半挥杆击球动作中,上杆阶段对应的上杆时间。从上杆时间图表1111中可以很清楚的知道用户在每一次上杆阶段的时间。
下杆时间参数栏1120包括平均下杆时间,平均下杆时间为200ms;最长下杆时间,最长下杆时间为230ms;下杆时间图表1121。
下杆时间图表1121中记载的是用户每一次半挥杆击球动作中,下上杆阶段对应的下杆时间。从下杆时间图表1121中可以很清楚的知道用户在每一次下杆阶段的时间。
挥杆节奏参数栏1130包括挥杆节奏图表1131。
挥杆节奏图表1131中记载的是用户每一次半挥杆击球动作中,用户上杆时间与下杆时间的比值。
一个优秀的高尔夫运动员的挥杆节奏在3:1左右。从下杆时间图表1121中可以很清楚的知道用户的挥杆节奏。
电子设备200还可以显示根据用户的挥杆动作参数给出的建议。这样,用户可以知道自己的不足,在下一次训练的时候,着力锻炼不足的地方。
如图29所示,图29示例性示出了电子设备200显示运动建议的用户界面1200的UI图。
用户界面1200可以包括综合评分的分数栏1210、运动建议栏1220和训练推荐栏1230。
其中,综合评分的分数栏1210包括用户再一次高尔夫动动过程中的综合评分。例如分数可以为70。
运动建议栏1220包括用户再一次高尔夫动动过程中的一些建议。例如“挥杆节奏过慢,建议减少上杆时间”、“击球速度过慢,建议加快击球速度”等。运动建议栏1220还可以包括更多或更少的内容,本申请在此不做限定。
训练推荐栏1230包括针对用户的挥杆动作参数的推荐的训练课程。例如“如何提高击球速度?”的训练课程和“如何提高击球的准确率?”的训练课程等。训练推荐栏1230还可以包括更多或更少的内容,本申请在此不做限定。
需要说明的是,上述实施例仅用于解释本申请,不应构成限定。
接下来,介绍本申请实施例的提及的电子设备200的硬件架构。
图30示出了电子设备200的结构示意图。
下面以电子设备200为例对实施例进行具体说明。电子设备200的设备类型可以包括手机、电视、平板电脑、音箱、手表、桌面型计算机、膝上计算机、手持计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本,以及个人数字助理(personal digital assistant,PDA)、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备等。本申请实施例对电子设备200的设备类型不做特殊限制。
应该理解的是,图30所示电子设备200仅是一个范例,并且电子设备200可以具有比图30中所示的更多的或者更少的部件,可以组合两个或多个的部件,或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
电子设备200可以包括:处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户标识模块(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本发明实施例示意的结构并不构成对电子设备200的具体限定。在本申请另一些实施例中,电子设备200可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备200的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户标识模块(subscriber identity module,SIM)接口,或通用串行总线(universal serial bus,USB)接口等。
充电管理模块140用于从充电器接收充电输入。其中,充电器可以是无线充电器,也可以是有线充电器。在一些有线充电的实施例中,充电管理模块140可以通过USB接口130接收有线充电器的充电输入。在一些无线充电的实施例中,充电管理模块140可以通过电子设备200的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时,还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142,充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入,为处理器110,内部存储器121,外部存储器,显示屏194,摄像头193,和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量,电池循环次数,电池健康状态(漏电,阻抗)等参数。在其他一些实施例中,电源管理模块141也可以设置于处理器110中。在另一些实施例中,电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备200的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备200中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。
移动通信模块150可以提供应用在电子设备200上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。
无线通信模块160可以提供应用在电子设备200上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
电子设备200通过GPU,显示屏194,以及应用处理器等实现显示功能。显示屏194用于显示图像,视频等。显示屏194包括显示面板。
电子设备200可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将电信号传递给ISP处理,转化为肉眼可见的图像。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备200的存储能力。
内部存储器121可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备200的各种功能应用以及数据处理。
电子设备200可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备200可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备200接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备200可以设置至少一个麦克风170C。在另一些实施例中,电子设备200可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备200还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
本实施例中电子设备200通过麦克风170C采集声音信号,并将声音信号传送至电子设备200中的应用程序中。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备200根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备200根据压力传感器180A检测所述触摸操作强度。电子设备200也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备200的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备200围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备200抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备200的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中,电子设备200通过气压传感器180C测得的气压值计算海拔高度,辅助定位和导航。
磁传感器180D包括霍尔传感器。电子设备200可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中,当电子设备200是翻盖机时,电子设备200可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态,设置翻盖自动解锁等特性。
加速度传感器180E可检测电子设备200在各个方向上(一般为三轴)加速度的大小。当电子设备200静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备200可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备200可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备200通过发光二极管向外发射红外光。电子设备200使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备200附近有物体。当检测到不充分的反射光时,电子设备200可以确定电子设备200附近没有物体。电子设备200可以利用接近光传感器180G检测用户手持电子设备200贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备200可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备200是否在口袋里,以防误触。
指纹传感器180H用于采集指纹。电子设备200可以利用采集的指纹特性实现指纹解锁,访问应用锁,指纹拍照,指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中,电子设备200利用温度传感器180J检测的温度,执行温度处理策略。例如,当温度传感器180J上报的温度超过阈值,电子设备200执行降低位于温度传感器180J附近的处理器的性能,以便降低功耗实施热保护。在另一些实施例中,当温度低于另一阈值时,电子设备200对电池142加热,以避免低温导致电子设备200异常关机。在其他一些实施例中,当温度低于又一阈值时,电子设备200对电池142的输出电压执行升压,以避免低温导致的异常关机。
触摸传感器180K,也可称触控面板或触敏表面。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备200的表面,与显示屏194所处的位置不同。
骨传导传感器180M可以获取振动信号。在一些实施例中,骨传导传感器180M可以获取人体声部振动骨块的振动信号。骨传导传感器180M也可以接触人体脉搏,接收血压跳动信号。在一些实施例中,骨传导传感器180M也可以设置于耳机中,结合成骨传导耳机。音频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号,解析出语音信号,实现语音功能。应用处理器可以基于所述骨传导传感器180M获取的血压跳动信号解析心率信息,实现心率检测功能。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备200可以接收按键输入,产生与电子设备200的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备200的接触和分离。电子设备200可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备200通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备200采用eSIM,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备200中,不能和电子设备200分离。
图31示出了可穿戴设备100的结构示意图。如图31所示,可穿戴设备100可包含通过总线连接的运动传感器310、声音采集器320、处理器330、存储器340以及显示屏350。
其中:运动传感器310可用于采集用户在第一时间段内的第一运动数据。该第一运动数据可以为用户打高尔夫时在手腕部的运动数据,可包括以下一项或多项:垂直方向的移动距离、转动角度、手腕部的速度等。
运动传感器310可包含加速度传感器311和陀螺仪传感器312。当可穿戴设备100开启高尔夫模式后,加速度传感器311和陀螺仪传感器312均处于工作状态。加速度传感器311可以采集用户手腕部的加速度数据,陀螺仪传感器312可以采集用户手腕部的角速度数据。运动传感器310可以将上述加速度数据和角速度数据发送给处理器330。不限于加速度传感器311和陀螺仪传感器312,运动传感器310还可以包含更多的运动传感器,本申请在此不做限定。
声音采集器320可用于采集第一时间段内的第一声音信号。声音采集器320可以为麦克风或者其它用于采集声音信号的装置,本申请实施例对此不作限定。当可穿戴设备100开启高尔夫模式后,声音采集器320处于工作状态。可穿戴设备100可以将该第一声音信号发送给处理器330。
处理器330可以对加速度数据、角速度数据进行处理,得到加速度波形特征和角速度波形特征,从而计算用户的手腕部的垂直方向的移动距离、转动角度、手腕部的速度等。处理器330还可以根据第一声音信号确定用户在第一时间段内的动作(空挥和击球)。具体的,处理器330可以对第一声音信号进行音频信号处理,得到第一声音信号的特征参数,从而利用处理器330中高斯混合模型判断上述第一声音信号是否包括由击球产生的声音信号。
存储器340中可用于存储高斯混合模型以及运动数据等。上述高斯混合模型可以为训练好的高斯混合模型。
显示屏350可用于显示包含有用于开启高尔夫模式的控件的用户界面以及包含有高尔夫运动数据的用户界面等用户界面。
需要进行说明的是,可穿戴设备100还包含与处理器330耦合的触控面板。显示屏350可以显示包含有用于开启高尔夫模式的控件的用户界面。当触控面板检测到作用于上述用于开启高尔夫模式的控件的用户操作(例如单击),处理器330可以判断运动传感器310和声音采集器320是否开启。如果没有开启,处理器330可以开启运动传感器310和声音采集器320。
上述实施例中所用,根据上下文,术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地,根据上下文,短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (17)

1.一种挥杆动作检测方法,其特征在于,应用于可穿戴设备,所述可穿戴设备包括一个或多个运动传感器和声音采集器;所述方法包括:
所述可穿戴设备通过所述一个或多个运动传感器采集第一运动数据;所述第一运动数据包括加速度数据和角速度数据;
所述可穿戴设备通过所述声音采集器采集第一声音信号;
当所述可穿戴设备确定出所述第一声音信号满足第一条件时,所述可穿戴设备确定用户动作为击球动作;
当所述可穿戴设备确定出所述第一运动数据满足第二条件时,所述可穿戴设备确定所述击球动作的类型为第一击球动作类型;
所述可穿戴设备显示所述第一击球动作类型。
2.根据权利要求1所述的方法,其特征在于,在所述可穿戴设备通过所述一个或多个运动传感器采集第一运动数据之前,所述方法还包括:
所述可穿戴设备显示第一用户界面,所述第一用户界面显示有第一控件;
所述可穿戴设备检测到作用于所述第一控件的第一输入;
所述可穿戴设备通过所述一个或多个运动传感器采集第一运动数据,具体包括:
响应于所述第一输入,所述可穿戴设备通过所述一个或多个运动传感器采集所述第一运动数据。
3.根据权利要求1所述的方法,其特征在于,在所述可穿戴设备通过所述一个或多个运动传感器采集第一运动数据之前,所述方法还包括:
所述可穿戴设备接收电子设备响应于第二输入发送的第一指令;
所述可穿戴设备通过所述一个或多个运动传感器采集第一运动数据,具体包括:
响应于所述第一指令,所述可穿戴设备通过所述一个或多个运动传感器采集所述第一运动数据。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述可穿戴设备根据所述第一运动数据,确定出所述第一击球动作类型对应的运动参数,其中,所述运动参数包括以下一项或多项:上杆时间、下杆时间、挥杆节奏、击球速度;所述挥杆节奏为所述上杆时间与所述下杆时间的比值;
所述可穿戴设备显示第二用户界面,所述第二用户界面包括有所述第一击球动作类型对应的所述运动参数。
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述可穿戴设备根据所述第一运动数据,确定出所述第一击球动作类型对应的运动参数,其中,所述运动参数包括以下一项或多项:上杆时间、下杆时间、挥杆节奏、击球速度、击球次数,所述挥杆节奏为所述上杆时间与所述下杆时间的比值;
所述可穿戴设备发送所述第一击球动作类型对应的运动参数发送给所述电子设备,所述第一击球动作类型对应的运动参数可用于显示在所述电子设备显示的第三用户界面上。
6.根据权利要求1所述的方法,其特征在于,所述用户动作包括以下任意一种:击球动作、空挥动作、击地动作。
7.根据权利要求1所述的方法,其特征在于,当所述可穿戴设备确定出所述第一声音信号满足第一条件时,所述可穿戴设备确定用户动作为击球动作,具体包括:
所述可穿戴设备计算出所述第一声音信号的第一特征参数;所述第一特征参数包括以下一项或多项:能量、频率和峰值;
所述可穿戴设备基于所述第一特征参数,通过第一高斯混合模型确定出第一相似度;其中,所述第一相似度用于指示所述第一特征参数与所述第一高斯混合模型中的第二特征参数的相似度;所述第二特征参数包括以下一项或多项:能量、频率和峰值;
当所述第一相似度高于第一阈值时,所述可穿戴设备确定用户动作为击球动作;
所述第一条件包括所述第一相似度高于所述第一阈值。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
当所述可穿戴设备确定出所述第一声音信号满足第一条件且所述第一运动数据满足第三条件时,所述可穿戴设备确定用户动作为击球动作。
9.根据权利要求8所述的方法,其特征在于,当所述可穿戴设备确定出所述第一声音信号满足第一条件且所述第一运动数据满足第三条件时,所述可穿戴设备确定用户动作为击球动作,具体包括:
所述可穿戴设备计算出所述第一声音信号的第一特征参数;所述第一特征参数包括以下一项或多项:能量、频率和峰值;
所述可穿戴设备基于所述第一特征参数,通过第一高斯混合模型确定出第一相似度;其中,所述第一相似度用于指示所述第一特征参数与所述第一高斯混合模型中的第二特征参数的相似度;所述第二特征参数包括以下一项或多项:能量、频率和峰值;
所述可穿戴设备根据所述第一运动数据确定出加速度波形特征;
当所述第一相似度高于第一阈值,所述可穿戴设备判断出所述加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与所述最大波峰值相邻的最小波谷值的差值小于第一差值阈值,并且所述最大波峰值减少到第一加速度阈值的时间大于第一时间阈值时,则可穿戴设备确定出用户动作是击球;
所述第一条件包括所述第一相似度高于所述第一阈值;
所述第三条件包括所述加速度波形特征中所述波峰数或所述波谷数大于所述第一数量阈值,所述最大波峰值大于所述第一波峰阈值,所述最大波峰值与所述最大波峰值相邻的所述最小波谷值的差值小于所述第一差值阈值,所述最大波峰值减少到所述第一加速度阈值的时间大于所述第一时间阈值。
10.根据权利要求6所述的方法,其特征在于,所述可穿戴设备根据所述第一运动数据确定用户动作为击球动作;
所述可穿戴设备根据所述第一运动数据确定用户动作为击球动作,具体包括:
所述可穿戴设备根据所述第一运动数据确定出加速度波形特征;
当所述可穿戴设备判断出所述加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与所述最大波峰值相邻的最小波谷值的差值小于第一差值阈值,并且所述最大波峰值减少到第一加速度阈值的时间大于第一时间阈值时,则可穿戴设备确定出用户动作是击球;
所述第一条件包括所述加速度波形特征中所述波峰数或所述波谷数大于所述第一数量阈值,所述最大波峰值大于所述第一波峰阈值,所述最大波峰值与所述最大波峰值相邻的所述最小波谷值的差值小于所述第一差值阈值,所述最大波峰值减少到所述第一加速度阈值的时间大于所述第一时间阈值。
11.根据权利要求6所述的方法,其特征在于,所述可穿戴设备根据所述第一运动数据确定用户动作为空挥动作;
所述可穿戴设备根据所述第一运动数据确定用户动作为空挥动作,具体包括:
所述可穿戴设备根据所述第一运动数据确定出加速度波形特征;
当所述可穿戴设备判断出所述加速度波形特征中波峰数或波谷数小于第一数量阈值,最大波峰值小于第一波峰阈值,最大波峰值与所述最大波峰值相邻的最小波谷值的差值大于第一差值阈值,并且所述最大波峰值减少到第一加速度阈值的时间大于第一时间阈值时,则可穿戴设备确定出用户动作是空挥。
12.根据权利要求6所述的方法,其特征在于,所述可穿戴设备根据所述第一运动数据确定用户动作为击地动作;
所述可穿戴设备根据所述第一运动数据确定用户动作为击地动作,具体包括:
所述可穿戴设备根据所述第一运动数据确定出加速度波形特征;
当所述可穿戴设备判断出所述加速度波形特征中波峰数或波谷数大于第一数量阈值,最大波峰值大于第一波峰阈值,最大波峰值与所述最大波峰值相邻的最小波谷值的差值小于第一差值阈值,并且所述最大波峰值减少到第一加速度阈值的时间小于第一时间阈值时,则可穿戴设备确定出用户动作是击地。
13.根据权利要求1所述的方法,其特征在于,所述第一击球动作类型为半挥杆击球;在所述可穿戴设备确定所述击球动作的类型为第一击球动作类型之前,所述方法还包括:
所述可穿戴设备根据所述第一运动数据,确定出所述可穿戴设备的在第一时间内的第一转动角度和/或第一移动距离;其中,所述第二条件为在所述第一时间内,所述第一转动角度小于或等于第一预设角度和/或第一移动距离小于或等于第一预设距离。
14.根据权利要求1所述的方法,其特征在于,所述第一击球动作类型为全挥杆击球;在所述可穿戴设备确定所述击球动作的类型为第一击球动作类型之前,所述方法还包括:
所述可穿戴设备根据所述第一运动数据,确定出所述可穿戴设备的在第一时间内的第一转动角度和/或第一移动距离;其中,所述第二条件为在所述第一时间内所述第一转动角度大于第一预设角度和/或所述第一移动距离大于第一预设距离。
15.根据权利要求1-14任一项所述的方法,其特征在于,所述方法还包括:
所述可穿戴设备统计出第二时间段内的击球次数;
所述可穿戴设备统计出第二时间段内的空挥次数和击地次数;
所述可穿戴设备根据所述第二时间段内的击球次数和所述第二时间段内的空挥次数和击地次数确定出击球率;
所述可穿戴设备显示第四用户界面,所述第四用户界面包括有所述击球率。
16.一种可穿戴设备,其特征在于,包括一个或多个处理器、一个或多个存储器、一个或多个运动传感器、声音采集器、显示屏;所述一个或多个存储器、所述一个或多个运动传感器、所述声音采集器、所述显示屏与所述一个或多个处理器耦合,所述一个或多个存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,所述一个或多个处理器调用所述计算机指令以使得所述可穿戴设备执行如权利要求1至14任一项所述的方法。
17.计算机存储介质,包括指令,其特征在于,当所述指令在计算机上运行时,使得所述计算机执行如权利要求1至14任一项所述的方法。
CN202010910396.9A 2020-09-02 2020-09-02 挥杆动作检测方法及可穿戴设备 Pending CN114191799A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010910396.9A CN114191799A (zh) 2020-09-02 2020-09-02 挥杆动作检测方法及可穿戴设备
EP21863637.1A EP4197605A4 (en) 2020-09-02 2021-09-01 SWING MOTION DETECTION METHOD AND WEARABLE DEVICE
US18/043,629 US20230372800A1 (en) 2020-09-02 2021-09-01 Swing Action Detection Method and Wearable Device
PCT/CN2021/116068 WO2022048573A1 (zh) 2020-09-02 2021-09-01 挥杆动作检测方法及可穿戴设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010910396.9A CN114191799A (zh) 2020-09-02 2020-09-02 挥杆动作检测方法及可穿戴设备

Publications (1)

Publication Number Publication Date
CN114191799A true CN114191799A (zh) 2022-03-18

Family

ID=80491615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010910396.9A Pending CN114191799A (zh) 2020-09-02 2020-09-02 挥杆动作检测方法及可穿戴设备

Country Status (4)

Country Link
US (1) US20230372800A1 (zh)
EP (1) EP4197605A4 (zh)
CN (1) CN114191799A (zh)
WO (1) WO2022048573A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114681891A (zh) * 2022-04-13 2022-07-01 厦门理工学院 一种自动计分装置
CN114818836A (zh) * 2022-06-29 2022-07-29 电科疆泰(深圳)科技发展有限公司 一种射击计数方法、装置、电子设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114692691A (zh) * 2022-03-31 2022-07-01 维沃移动通信有限公司 运动状态识别方法、装置、电子设备及存储介质
CN116055622B (zh) * 2022-06-24 2023-10-20 荣耀终端有限公司 一种功能触发方法、存储介质和终端
WO2024020606A1 (en) * 2022-07-21 2024-01-25 Opperman Johannes Dawid A displacement monitoring system for golf swing training

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130130843A1 (en) * 2008-12-05 2013-05-23 Nike, Inc. Athletic Performance Monitoring Systems and Methods in a Team Sports Environment
CN103203096A (zh) * 2012-01-11 2013-07-17 幻音科技(深圳)有限公司 高尔夫挥杆信息分析方法、相关装置及分析系统
CN106843490A (zh) * 2017-02-04 2017-06-13 广东小天才科技有限公司 一种基于可穿戴设备的击球检测方法及可穿戴设备
KR20180006706A (ko) * 2016-07-11 2018-01-19 이호재 골프 스트로크 자동 인식을 위한 웨어러블 디바이스 및 그 자동 인식 방법
CN108392805A (zh) * 2018-03-30 2018-08-14 深圳市元征科技股份有限公司 一种高尔夫球挥杆动作分析方法及智能终端

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130124836A (ko) * 2012-05-07 2013-11-15 주식회사 온비트 손목, 머리 및 허리 등 신체의 움직임을 분석하여 골프 스윙 자세를 교정할 수 있는 골프 자세 교정 시스템 및 교정방법
CN203763810U (zh) * 2013-08-13 2014-08-13 北京诺亦腾科技有限公司 一种挥杆/拍辅助训练装置
US10097961B2 (en) * 2015-06-08 2018-10-09 Microsoft Technology Licensing, Llc Golf shot detection
KR101707319B1 (ko) * 2015-06-26 2017-02-15 박원일 의복용 벨트 타입의 웨어러블 디바이스를 이용한 사용자 운동 모니터링 시스템 및 방법
JP2017124080A (ja) * 2016-01-15 2017-07-20 セイコーエプソン株式会社 表示方法、運動解析装置、運動解析システム、運動解析プログラム、および記録媒体
JP6787368B2 (ja) * 2018-06-22 2020-11-18 カシオ計算機株式会社 データ処理システム、サーバ装置、端末装置、データ処理方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130130843A1 (en) * 2008-12-05 2013-05-23 Nike, Inc. Athletic Performance Monitoring Systems and Methods in a Team Sports Environment
CN103203096A (zh) * 2012-01-11 2013-07-17 幻音科技(深圳)有限公司 高尔夫挥杆信息分析方法、相关装置及分析系统
KR20180006706A (ko) * 2016-07-11 2018-01-19 이호재 골프 스트로크 자동 인식을 위한 웨어러블 디바이스 및 그 자동 인식 방법
CN106843490A (zh) * 2017-02-04 2017-06-13 广东小天才科技有限公司 一种基于可穿戴设备的击球检测方法及可穿戴设备
CN108392805A (zh) * 2018-03-30 2018-08-14 深圳市元征科技股份有限公司 一种高尔夫球挥杆动作分析方法及智能终端

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114681891A (zh) * 2022-04-13 2022-07-01 厦门理工学院 一种自动计分装置
CN114818836A (zh) * 2022-06-29 2022-07-29 电科疆泰(深圳)科技发展有限公司 一种射击计数方法、装置、电子设备及存储介质
CN114818836B (zh) * 2022-06-29 2022-09-20 电科疆泰(深圳)科技发展有限公司 一种射击计数方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
EP4197605A4 (en) 2024-01-31
WO2022048573A1 (zh) 2022-03-10
EP4197605A1 (en) 2023-06-21
US20230372800A1 (en) 2023-11-23

Similar Documents

Publication Publication Date Title
CN114191799A (zh) 挥杆动作检测方法及可穿戴设备
JP6445539B2 (ja) 動的サンプリング
CN110445978A (zh) 一种拍摄方法及设备
EP3030952B1 (en) Wrist-worn athletic device with gesture recognition and power management
CN109660719A (zh) 一种信息提示方法及移动终端
CN112447273A (zh) 辅助健身的方法和电子装置
CN110070863A (zh) 一种语音控制方法及装置
CN108711430A (zh) 语音识别方法、智能设备及存储介质
CN109819167A (zh) 一种图像处理方法、装置和移动终端
CN108307106A (zh) 一种图像处理方法、装置及移动终端
CN113655935A (zh) 一种用户确定方法、电子设备和计算机可读存储介质
WO2023016004A1 (zh) 跳绳状态的检测方法及电子设备
CN107277364A (zh) 一种拍摄方法、移动终端及计算机可读存储介质
CN115188064A (zh) 一种运动指导信息的确定方法、电子设备和运动指导系统
CN114762588A (zh) 睡眠监测方法及相关装置
CN108391011A (zh) 一种人脸识别方法和移动终端
CN114356109A (zh) 文字输入方法、电子设备及计算机可读存储介质
CN210078765U (zh) 基于可穿戴传感器的动作捕捉识别与评估装置
WO2022111704A1 (zh) 心率检测方法及电子设备
WO2022100597A1 (zh) 动作自适应评价方法、电子设备和存储介质
WO2022214004A1 (zh) 一种目标用户确定方法、电子设备和计算机可读存储介质
CN109151203A (zh) 一种信息提示方法及移动终端
CN115691754A (zh) 一种运动指导方法及相关装置
CN108833794A (zh) 一种拍摄方法及移动终端
CN113676660B (zh) 一种拍摄方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination