CN114259720A - 动作识别方法及装置、终端设备、运动监测系统 - Google Patents

动作识别方法及装置、终端设备、运动监测系统 Download PDF

Info

Publication number
CN114259720A
CN114259720A CN202010970737.1A CN202010970737A CN114259720A CN 114259720 A CN114259720 A CN 114259720A CN 202010970737 A CN202010970737 A CN 202010970737A CN 114259720 A CN114259720 A CN 114259720A
Authority
CN
China
Prior art keywords
motion
data
sporter
action
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010970737.1A
Other languages
English (en)
Other versions
CN114259720B (zh
Inventor
徐腾
陈霄汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honor Device Co Ltd
Original Assignee
Honor Device Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honor Device Co Ltd filed Critical Honor Device Co Ltd
Priority to CN202010970737.1A priority Critical patent/CN114259720B/zh
Priority to PCT/CN2021/118320 priority patent/WO2022057795A1/zh
Priority to EP21868618.6A priority patent/EP4119204A4/en
Priority to US17/921,194 priority patent/US20230206697A1/en
Publication of CN114259720A publication Critical patent/CN114259720A/zh
Application granted granted Critical
Publication of CN114259720B publication Critical patent/CN114259720B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/112—Gait analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123—Discriminating type of movement, e.g. walking or running
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1124—Determining motor skills
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6829—Foot or ankle
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6895—Sport equipment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0204—Acoustic sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02—Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Physiology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Cardiology (AREA)
  • Business, Economics & Management (AREA)
  • Geometry (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请适用于电子技术领域，提供了一种动作识别方法及装置、终端设备、运动监测系统，基于各个数据采集装置采集到的运动数据进行特征提取和动作识别，利用多个运动数据识别出用户的步态特征、挥拍姿态特征以及图像动作特征，并基于步态特征、挥拍姿态特征以及图像动作特征确定出运动者的击球动作类型，能够准确地对运动过程中运动者的击球动作进行识别，有利于对运动者的综合运动能力进行全面地分析，更便于针对运动者制定个性化的训练计划。

Description

动作识别方法及装置、终端设备、运动监测系统
技术领域
本申请涉及电子技术领域，尤其涉及一种动作识别方法及装置、终端设备、运动监测系统。
背景技术
在羽毛球、乒乓球、网球等球类运动的训练过程中，统计运动者在击球时的击球类型、击球力道、击球速度、击球次数等运动参数，能够反应运动者的综合体质，基于这些运动参数能够对运动者的综合运动能力进行评估并制定个性化的训练计划。因此需要准确地确定出运动者在击球时的击球动作类型。
目前，市场已出现多种智能穿戴设备，如能量手环、计步鞋等。然而目前市场上的智能穿戴设备只能获取运动者在球类运动过程中心率、移动步数、移动距离等基本参数，而无法有效地识别出运动者在击球时的击球动作，无法准确地统计出运动者在击球时的运动参数。因此，现有的动作识别方法无法满足全面分析运动者在球类运动中的综合运动能力的需求。
发明内容
有鉴于此，本申请提供一种动作识别方法、终端设备及存储介质，能够有效地识别出运动者在球类运动中的击球动作，便于全面地分析运动者的综合运动能力。
为了实现上述目的，第一方面，本申请实施例提供一种动作识别方法，该方法可以包括：获取运动数据；所述运动数据包括第一运动数据、第二运动数据、第三运动数据；根据所述第一运动数据获取运动者在运动过程中的步态特征；根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征；根据所述第三运动数据获取运动者在运动过程中的图像动作特征；根据所述步态特征、所述挥拍姿态特征和所述图像动作特征识别出运动者在运动过程中的击球动作。
其中，所述第一运动数据由位于运动者第一预设部位的第一数据采集装置进行采集；所述第二运动数据由设置于球拍预设位置的第二数据采集装置进行采集；所述第三运动数据由设置于预设拍摄位置的第三数据采集装置进行采集。
上述第一运动数据为可以体现运动者的下肢动作的运动数据，上述运动者的第一预设部位可以是运动者的小腿或大腿位置，也可以是运动者的脚踝处，当然还可以是能够采集到运动者的下肢动作的运动数据的其他预设部位。
上述第二运动数据为可以体现运动者的上肢击球动作的运动数据。上述球拍的预设位置可以是球拍的拍柄，也可以是球拍的拍杆，还可以是球拍的拍头，在此不加以限制。
上述第三运动数据为可以体现运动者的图像动作特征的运动数据。例如可以是运动者的运动图像。上述预设拍摄位置是指能够拍摄到运动者的运动图像的位置，上述预设拍摄位置可以根据实际需要进行确定，在此不加以赘述。
上述运动者在运动过程中的步态特征包括但不限于下肢动作的分类和下肢动作的动作参数。上述运动者在运动过程中的挥拍姿态特征包括但不限于手部动作的类别、手部动作的动作参数以及是否有效击球。上述图像动作特征包括但不限于图像中运动员的勾腿特征(勾腿和未勾腿)。
本申请实施例提供的动作识别方法，能够基于各个数据采集装置采集到的运动数据进行特征提取和动作识别，利用多个运动数据识别出用户的步态特征、挥拍姿态特征以及图像动作特征，并基于步态特征、挥拍姿态特征以及图像动作特征确定出运动者的击球动作类型，能够准确地对运动过程中运动者的击球动作进行识别，有利于对运动者的综合运动能力进行全面地分析，更便于针对运动者制定个性化的训练计划。
在第一方面的一种可能的实施方式中，所述第一运动数据包括足部加速度数据和足部角速度数据，所述根据所述第一运动数据获取运动者在运动过程中的步态特征，包括：根据所述足部加速度数据和所述足部角速度数据绘制足部加速度波形和足部角速度波形，并提取足部加速度波形特征，如波峰值，波谷值，波峰值位置、波谷值位置等；根据所述足部加速度波形特征确定每一步的离地点和触地点；根据每一步的离地点和触地点对所述足部加速度波形和所述足部角速度波形进行单步分割；根据分割后的足部加速度波形和分割后的足部角速度波形确定运动者每一步对应的下肢动作的分类和下肢动作的动作参数。
根据分割后的足部加速度波形特征和分割后的足部角速度波形特征确定运动者的下肢动作参数具体可以是：根据离地点和触地点的时刻，计算运动者的腾空时间，根据离地点和触地点的间隔时间内的加速度的变化的积分值，计算运动者的移动距离、移动速度和纵跳高度等。
上述实施方式中，根据足部加速度数据和足部角速度数据确定每一步对应的下肢动作的分类以及下肢动作的动作参数，能够为分析运动者的综合运动能力提供运动者在运动过程中的下肢的活动情况，有助于更加全面的分析运动者的综合运动能力。
在第一方面的一种可能的实施方式中，所述第二运动数据包括手部加速度数据、手部角速度数据以及声波数据，所述根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征，包括：根据所述手部加速度数据和所述手部角速度数据确定运动者在运动过程中的手部动作的分类和手部动作的动作参数；根据所述声波数据对运动者在运动过程中的每一个手部动作进行有效击球和空挥的识别；根据运动者在运动过程中的手部动作的分类和手部动作的动作参数以及每一个手部动作进行有效击球和空挥的识别确定所述运动者在运动过程中的挥拍姿态特征。
上述实施方式中，基于声波确定是否有效击球，并结合基于手部加速度数据和所述手部角速度数据确定的手部动作的分类，能够更加准确的统计出运动者的有效击球数，有助于对运动者制定相应的训练计划。
在第一方面的一种可能的实施方式中，所述第三运动数据包括运动者的运动图像，所述根据所述第三运动数据获取运动者在运动过程中的图像动作特征，包括：将运动者的运动图像输入到完成训练的卷积神经网络模型中进行处理，得到所述运动者的运动图像对应的图像动作特征。
上述实现方式中，通过卷积神经网络模型确定运动者的图像动作特征，能够有效提高动作分类的效率。
在第一方面的一种可能的实施方式中，所述动作识别方法还包括：当识别出击球动作为有效勾腿杀球时，获取勾腿角度、腾空时间以及待修正的跳跃高度；基于所述腾空时间和所述勾腿角度对所述待修正的跳跃高度进行修正。通过对运动者的跳跃高度进行修正，能够更准确地统计运动者的运动参数。
在第一方面的一种可能的实施方式中，所述运动数据还包括第四运动数据，相应地，所述动作识别方法还包括：根据所述第四运动数据确定运动者在运动过程中的生理参数。
上述实现方式中，在基于第一运动数据、第二运动数据以及第三运动数据确定出运动者在运动过程中的击球动作以及各个击球动作对应的动作参数后，还能基于第四运动数据确定的心率进一步分析运动者的运动强度和体能，能够更加全面地对运动者的综合运动能力进行评估。
第二方面，本申请实施例提供一种动作识别装置，包括：
第一获取单元，用于获取运动数据；所述运动数据包括第一运动数据、第二运动数据、第三运动数据，其中，所述第一运动数据由位于运动者第一预设部位的第一数据采集装置进行采集；所述第二运动数据由设置于球拍预设位置的第二数据采集装置进行采集；所述第三运动数据由设置于预设拍摄位置的第三数据采集装置进行采集
第二获取单元，用于根据所述第一运动数据获取运动者在运动过程中的步态特征；根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征；根据所述第三运动数据获取运动者在运动过程中的图像动作特征；
识别单元，用于根据所述步态特征、所述挥拍姿态特征和所述图像动作特征识别出运动者在运动过程中的击球动作。
在第二方面的一种可能的实施方式中，动作识别装置还包括第三获取单元，上述第三获取单元用于根据运动数据获取击球动作的动作参数。
在第二方面的一种可能的实施方式中，第一获取单元还用于获取第四运动数据。相应地，所述动作识别装置还包括生理参数确定单元，所述生理参数确定单元用于根据所述第四运动数据确定运动者在运动过程中的生理参数
在第二方面的一种可能的实施方式中，上述动作识别装置还包括修正单元，上述修正单元用于当击球动作为有效勾腿杀球时，根据腾空时间和勾腿角度对运动者的跳跃高度进行修正。
第三方面，本申请实施例提供了一种运动监测系统，所述运动监测系统包括第一数据采集装置、第二数据采集装置、第三采集装置以及如第二方面所述的动作识别装置；
所述第一数据采集装置、所述第二数据采集装置、所述第三数据采集装置分别与所述动作识别装置通信连接；
所述第一数据采集装置用于采集第一运动数据；
所述第二数据采集装置用于采集第二运动数据；
所述第三数据采集装置用于采集第三运动数据；
所述动作识别装置用于根据所述第一运动数据、所述第二运动数据以及所述第三运动数据识别运动者在运动过程中的击球动作。
在第三方面的一种可能的实施方式中，所述运动监测系统还包括第四数据采集装置；所述第四数据采集装置与所述动作识别装置通信连接；
所述第四数据采集装置用于采集第四运动数据；
所述动作识别装置还用于根据所述第四运动数据确定运动者在运动过程中的生理参数。
第四方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的动作识别方法。
第五方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面所述的动作识别方法。
第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项所述的动作识别方法。
第七方面，提供一种芯片，该芯片包括处理器，当该处理器执行指令时，处理器用于执行上述第二方面中任一种设计所涉及的动作识别方法。该指令可以来自芯片内部的存储器，也可以来自芯片外部的存储器。可选的，该芯片还包括输入输出电路。
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
图1为本申请实施例提供的一种动作识别方法所适用的运动监测系统的架构示意图；
图2为图1对应的运动监测系统的使用场景示意图；
图3为图1对应的运动监测系统的工作过程的示意框图；
图4为下肢动作分别为走和跳时对应的足部加速度波形和足部角速度波形的对比图；
图5为本申请实施例提供的另一种运动监测系统的架构示意图；
图6为图5对应的运动监测系统的使用场景示意图；
图7为图5对应的运动监测系统的工作过程的示意框图；
图8为本申请实施例提供的一种动作方法的实现流程示意图；
图9为本申请实施例提供的一种动作识别装置的结构示意图；
图10为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
羽毛球、乒乓球、网球等球类运动是深受人们喜爱的运动。本申请实施例提供的动作识别方法和运动监测系统主要用于对羽毛球、乒乓球、网球等球类运动的击球动作进行识别，下面以羽毛球运动为例，对本申请实施例提供的动作识别方法和运动监测系统进行说明，详述如下：
羽毛球作为一项竞技运动，其动作多样化，主要通过高远球、杀球、挑球、搓球等手部动作来完成动作。为了对羽毛球运动者的综合运动能力进行评估并制定个性化的训练计划，需要对羽毛球运动者在羽毛球运动过程中的击球类型、击球力道、击球速度、击球次数等运动参数进行统计。而目前的智能穿戴设备只能获取运动者在球类运动过程中心率、移动步数、移动距离等基本参数，基于这些基本参数无法分析出运动者在运动过程中的综合运动能力。
目前市场上也出现了一些羽毛球动作检测装置，例如设置在羽毛球拍底部的羽毛球动作检测配件，羽毛球动作检测配件能够进行羽毛球击球动作和识别等。然而由于羽毛球动作检测配件设置在球拍上，因此只能进行上肢击球动作的检测，不能实现对用户的下肢动作的检测，也无法对用户的生命体征参数进行检测。因此，目前的羽毛球的击球动作识别方法存在无法结合用户下肢动作和生命体征参数对运动者的综合运动能力进行全面科学的分析和指导的问题。
为了解决上述目前的羽毛球的击球动作识别方法存在无法结合用户下肢动作和生命体征参数对运动者的综合运动能力进行全面科学的分析和指导的问题，本申请实施例提供了一种动作识别方法和运动监测系统。
请参阅图1，图1示出了本申请实施例提供的动作识别方法所适用的运动监测系统的架构示意图。如图1所示，运动监测系统100可以包括第一数据采集装置1001、第二数据采集装置1002、第三数据采集装置1003和动作识别装置1004。上述第一数据采集装置1001、第二数据采集装置1002、第三数据采集装置1003分别与动作识别装置1004通信连接。动作识别装置1004能够基于各个数据采集装置采集到的运动数据进行特征提取和动作识别，通过利用多个运动数据识别出用户的步态特征、挥拍姿态特征以及图像动作特征，并基于步态特征、挥拍姿态特征以及图像动作特征确定出运动者的击球动作类型，能够准确地对运动过程中运动者的击球动作进行识别，有利于对运动者的综合运动能力进行全面地分析，更便于针对运动者制定个性化的训练计划。
上述动作识别装置1004可以通过近距离通信连接方式分别与第一数据采集装置1001、第二数据采集装置1002、第三数据采集装置1003建立无线通信连接，或者，动作识别装置1004可以通过有线通信方式分别与第一数据采集装置1001、第二数据采集装置1002、第三数据采集装置1003建立有线通信连接。本申请实施例不对动作识别装置1004与第一数据采集装置1001之间、动作识别装置1004与第二数据采集装置1002之间、动作识别装置1004与第三数据采集装置1003之间的具体通信方式做任何限定。
其中，近距离通信连接方式可以是蓝牙连接、近场通信(Near FieldCommunication，NFC)连接、无线保真(Wireless-Fidelity，WiFi)连接或紫蜂(ZigBee)连接等，为了提高运动者使用的便利性，本实施例中可优选采用蓝牙连接；近距离通信标识为终端设备近距离通信连接相关的唯一性标识，若采用蓝牙连接，则近距离通信标识对应可以为蓝牙媒体访问控制(Media Access Control，MAC)地址或蓝牙设备的其他唯一性标识。
在本申请实施例中，上述第一数据采集装置1001用于采集第一运动数据。具体的，上述第一数据采集装置1001可以设置于运动者的第一预设部位上。上述第一运动数据为可以体现运动者的下肢动作的运动数据。第一数据采集装置1001还用于将实时采集到的第一运动数据发送给与其通信连接的动作识别装置1004。
在本申请实施例中，上述运动者的第一预设部位可以是运动者的小腿或大腿位置，也可以是运动者的脚踝处，当然还可以是能够采集到运动者的下肢动作的运动数据的其他预设部位。为了便于理解，下面以上述第一预设部位为运动者的脚踝为例进行说明。需要说明的是，上述第一数据采集装置1001可以只在运动者的一个脚上，也可以在两个脚上都设置第一数据采集装置，在此不加以限制。
在本申请实施例中，上述第一运动数据可以包括运动者在运动过程中的足部加速度数据和足部角速度数据。具体的，上述第一数据采集装置1001可以是具备有加速度计和陀螺仪的电子设备。上述电子设备可以采集到运动者在运动过程中足部加速度数据和足部角速度数据。
请参阅图2，在具体应用中，上述第一数据采集装置1001可以是包括六轴惯性传感器的可穿戴设备。运动者在进行羽毛球训练时，可以将上述包括六轴惯性传感器的可穿戴设备穿戴在脚踝处。在运动者的训练过程中，上述六轴惯性传感器就能够实时采集上述运动者在运动过程中的足部加速度数据和足部角速度数据。
当然，上述第一数据采集装置1001也可以是智能鞋。智能鞋中内置有六轴惯性传感器，运动者穿上该智能鞋后，就能够通过智能鞋中的六轴惯性传感器来实时采集上述运动者在运动过程中的足部加速度数据和足部角速度数据。
在具体应用中，上述第二数据采集装置1002用于采集第二运动数据。具体的，上述第二数据采集装置可以设置于球拍的预设位置。上述第二运动数据为可以体现运动者的上肢击球动作的运动数据。上述第二数据采集装置1002还用于将实时采集到的第二运动数据发送给与其通信连接的动作识别装置1004。
在本申请实施例中，上述球拍的预设位置可以是球拍的拍柄，也可以是球拍的拍杆，还可以是球拍的拍头，在此不加以限制。在本申请实施例中，以上述球拍的预设位置为球拍的拍柄为例进行说明。
请参阅图2，上述第二数据采集装置1002可以内嵌在球拍的拍柄中，具体的，可以是将第二数据采集装置1002内嵌在球拍的拍柄的后盖上。通过内嵌在球拍的拍柄中的第二数据采集装置1002采集能够体现上肢击球动作的第二运动数据。
在本申请实施例中，上述第二运动数据可以包括运动者在运动过程中的手部加速度数据、手部角速度数据和声波数据。具体的，上述第二数据采集装置1002可以包括加速度传感器、陀螺仪和麦克风。上述加速度传感器用于实时采集运动者在运动过程中的手部加速度数据，上述陀螺仪用于实时采集运动者在运动过程中的手部角速度数据，上述麦克风用于实时采集运动者在运动过程中的声波数据。具体的，上述第二数据采集装置1002也可以包括六轴惯性传感器和麦克风。上述六轴惯性传感器用于实时采集运动者在运动过程中的手部加速度数据和手部角速度数据，上述麦克风用于实时采集运动者在运动过程中的声波数据。
在本申请实施例中，上述第三数据采集装置1003用于采集第三运动数据。上述第三数据采集装置1003可以设置于预设拍摄位置。上述第三运动数据为可以体现运动者的图像动作特征的运动数据。上述第三数据采集装置1003还用于将其实时采集到的第三运动数据发送给与其通信连接的动作识别装置1004。
在本申请实施例中，上述第三运动数据可以是运动者的运动图像。上述预设拍摄位置是指能够拍摄到运动者的运动图像的位置，上述预设拍摄位置可以根据实际需要进行确定，在此不加以赘述。
请参阅图2，在本申请实施例中，为了全方位的捕捉运动者的运动图像，上述预设拍摄位置可以是球场的四个角落。即通过设置在球场的四个角落的第三数据采集装置采集运动者在运动过程中的运动图像。
在本申请实施例中，上述第三数据采集装置1003可以是能够采集到运动者的运动图像的终端设备，例如具备摄像功能的手机、摄像头等。以上述第三数据采集装置1003为手机为例，上述第三运动数据就是手机拍摄到的图像数据或视频数据。
在本申请实施例中，动作识别装置1004可以是具备数据处理能力的终端设备，动作识别装置能够对第一数据采集装置1001采集到的第一运动数据进行处理，进而得到运动者在运动过程中的步态特征；也能够对第二数据采集装置1002采集到的第二运动数据进行处理，进而得到运动者在运动过程中的挥拍姿态特征；还能够对第三数据采集装置1003采集到的第三运动数据进行处理，进而得到运动者在运动过程中的图像动作特征。上述动作识别装置1004还能够基于上述步态特征、上述挥拍姿态特征以及上述图像动作特征识别出运动者在运动过程中的击球动作。
在本申请实施例中，上述动作识别装置1004可以是独立的终端设备，例如可以是可穿戴设备，也可以是手机、平板电脑、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)等移动终端，还可以是具备数据处理能力的服务器设备，本申请实施例不对动作识别装置1004的具体类型作任何限制。此外，上述动作识别装置1004还可以是不具备硬件结构的虚拟计算机和云服务器等具备数据处理能力的虚拟终端。
在本申请实施例中，上述动作识别装置1004还可以与第一数据采集装置1001设置在同一个电子设备中，即该电子设备可以包括第一数据采集装置1001和动作识别装置1004。可以理解的是，上述动作识别装置1004也可以与第二数据采集装置1002设置在同一个电子设备中，即该电子设备可以包括第二数据采集装置1002和动作识别装置1004。同样地，上述动作识别装置1004也可以与第三数据采集装置1003设置在同一个电子设备中，即该电子设备可以包括第三数据采集装置1003和动作识别装置1004。
请参阅图3，在本申请实施例中，第一数据采集装置10001将其实时采集到的第一运动数据发送给动作识别装置1004。动作识别装置1004在获取到第一运动数据后，可以对第一运动数据进行单步分割，进而确定出运动者在运动过程中的步态特征。上述运动者在运动过程中的步态特征包括但不限于下肢动作的分类和下肢动作的动作参数。
在具体应用中，上述第一运动数据包括足部加速度数据和足部角速度数据，上述对第一运动数据处理的过程具体为：根据第一运动数据绘制足部加速度波形和足部角速度波形，然后根据足部加速度波形和足部角速度波形确定每一步的离地点和触地点，根据每一步的离地点和触地点对足部加速度波形和足部角速度波形进行单步分割，并根据分割后的足部加速度波形和足部角速度波形确定出运动者在运动过程中的单步步态特征。
足部加速度波形中两个相邻波峰可以表示一个动作周期(即一步)，两个相邻波峰的第一个波峰所对应的时间点就是离地点，第二个波峰所对应的时间点就是触地点，离地点与触地点之前的时间段就是一个动作周期。根据足部加速度波形就能够确定出每一步的离地点和触地点，进而确定出每一个动作周期，在基于动作周期将足部加速度的波形图和足部角速度的波形图进行单步分割。
每个动作周期对应的下肢动作可以是走、跑以及跳跃等。不同的下肢动作所对应的足部加速度波形和足部角速度波形是不同的，因此，根据足部加速度波形和足部角速度波形就能够确定出每个动作周期所对应的下肢动作。示例性的，请参阅图4，当下肢动作为走时，足部加速度波形和足部角速度波形如图4中的(a)所示；当下肢动作为跳跃时，足部加速度波形和足部角速度波形如图4中的(b)所示。需要说明的是，图4中的横坐标轴表示的是第一运动数据的采集时间，单位是微秒(μs)；纵坐标轴表示的加速度的值以及角速度的值，当纵坐标轴表示加速度的值时，单位是米每平方秒(m/s2)，当纵坐标表示角速度的值时，单位是弧度每秒(rad/s)。
当确定了每个动作周期对应的下肢动作后，还能够基于每个动作周期内的加速度、角速度、离地点以及触地点确定出每个动作周期对应的下肢动作的动作参数，例如腾空时间、跳跃高度、移动距离、移动速度等。
请继续参考图3，在本申请实施例中，上述第二数据采集装置1002能够将其实时采集到的第二运动数据发送给与其通信连接的动作识别装置1004。动作识别装置1004在获取到第二运动数据后，可以对第二运动数据进行处理，进而确定出运动者在运动过程中的挥拍姿态特征。上述运动者在运动过程中的挥拍姿态特征包括但不限于手部动作的类别、手部动作的动作参数以及是否有效击球。
在具体应用中，上述第二运动数据可以包括手部加速度数据、手部角速度数据以及声波数据，上述对第二数据进行处理的过程具体为：根据手部加速度数据和手部角速度数据绘制手部加速度波形和手部角速度波形，然后基于手部加速度波形和手部角速度波形确定出每一次挥拍时的手部动作的分类和动作参数。基于声波数据提取出声波数据的特征值，然后基于声波数据的特征值进行有效击球和空挥的识别。最后根据基于手部加速度波形和手部角速度波形确定出每一次挥拍时的手部动作的分类和动作参数和基于声波数据的特征值进行击球和空挥的分类确定出运动者每次挥拍时的挥拍姿态特征。
上述挥拍时的手部动作的分类包括但不限于高远球、杀球、搓球等，上述挥拍的动作参数包括击球速度、击球力度、击球轨迹等。
基于手部加速度波形和手部角速度波形确定出每一次挥拍时的手部动作的分类和挥拍时的动作参数可以是基于现有的分类算法模型来实现，即将手部加速度波形和手部角速度波形输入到现有的分类算法模型中进行处理，就能够得到每一次挥拍时的手部动作的分类和挥拍时的动作参数，在此不再加以赘述。
上述声波数据的特征值包括但不限于能量、峰值以及频率。由于声波数据的时域波形只体现声压随时间变化的关系,而不能体现声波数据的特征值。因此，需要将声波数据的时域波形转换为能够体现特征值的频域波形，然后在提取对相应的特征值。目前有许多声波特征值的提取方法，如基于梅尔频率倒谱系数(mel-frequency cepstralcoefficients，MFCCs)提取特征值的方法、基于线性预测倒谱系数(linear predictioncepstrum coefficient，LPCC)提取特征值的方法等。基于声波数据的特征值进行有效击球和空挥的识别过程具体为：将提取到的能量、峰值以及频率通过预设高斯混合模型进行相似度匹配计算，当计算得到的相似度大于预设阈值时，确定当前手部动作为有效击球，否则确定当前手部动作是空挥(即无效击球)。
上述预设高斯混合模型是基于每个运动者的历史运动数据确定出的高斯混合模型，每个运动者都有其对应的预设高斯混合模型，可以通过运动者ID将运动者与预设高斯混合模型进行关联。动作识别装置1004能够根据当前正在进行训练的运动者的运动者ID确定出对应的预设高斯混合模型。而预设高斯混合模型就是确定了高斯混合模型参数的最优解的高斯混合模型，上述高斯混合模型参数可表示为λ。λ的最优解的求解过程即为高斯混合模型的训练过程。
在具体应用中，为了确定高斯混合模型参数λ的最优解，可以用N个M维的高斯密度函数线性加权函数来表示上述高斯混合模型，其中，N和M均是大于1的正整数。
其中，上述高斯混合模型的函数可以表示为：
Figure BDA0002683724950000091
其中，X是声波数据的M维特征参数，X＝(X1,X2,...,XM)，ωi是指第i个高斯密度函数的权重，且
Figure BDA0002683724950000092
Gi(X)为特征参数X的高斯概率密度函数。
Figure BDA0002683724950000093
其中，Ci是指第i个高斯密度函数的协方差矩阵，μi是指第i个高斯密度函数的均值向量。
具体的，λ＝(ωi,μi,Ci)可以基于期望最大化算法的迭代计算对λ的最优解进行估计。
在确定出运动者挥拍时是有效击球还是空挥后，结合每一次挥拍时的手部动作的分类，就能够确定出挥拍姿态特征。示例性的，假设基于手部加速度数据、手部角速度数据确定出运动者在运动过程中的手部动作的分类为：第一个手部动作是高远球、第二个手部动作是杀球、第三个手部动作是搓球；基于声波数据确定出第一手部动作是空挥、第二个手部动作是有效击球、第三个手部动作是有效击球；则可以确定运动者在运动过程中的挥拍姿势特征为：第一个手部动作为无效高远球以及击球时的击球速度、击球力度、击球轨迹等；第二个手部动作为有效杀球以及击球时的击球速度、击球力度、击球轨迹等；第三个手部动作为有效搓球以及击球时的击球速度、击球力度、击球轨迹等。
请继续参考图3，在本申请实施例中，上述第三数据采集装置1003能够将其实时采集到的第三运动数据发送给与其通信连接的动作识别装置1004。动作识别装置1004在获取到第三运动数据后，能够基于第三运动数据和卷积神经网络模型分析出运动者在运动过程中的图像动作特征。
在本申请实施例中，上述第三运动数据为运动者的运动图像。上述动作识别装置1004在对第三运动数据进行处理时，可以先进行目标检测，在运动图像中框选出包含运动者的目标图像区域，然后基于该目标图像区域中的图像来识别图像中运动员的勾腿特征。这样能够有效地减少动作识别装置1004利用卷积神经网络模型对运动图像进行处理时的运算量，减少计算资源的占用，提高处理效率。
上述图像动作特征包括但不限于图像中运动员的勾腿特征(勾腿和未勾腿)。
上述卷积神经网络模型是指已经训练好的能够用于对第三运动数据进行处理以确定出图像动作特征的卷积神经网络模型。用于图像处理的卷积神经网络模型可以采用现有的卷积神经网络模型，对卷积神经网络模型进行训练的过程可以使用大量的已知分类的运动图像对卷积神经网络模型进行训练，使得训练好的卷积神经网络模型能够在输入第三运动数据时，输入第三运动数据对应的图像动作特征。关于构建和训练卷积神经网络模型的过程可以参见现有的构建和训练的方法，本申请实施例在此不再加以赘述。
训练好的卷积神经网络模型可以存储在动作识别装置1004的数据存储区，动作识别装置1004在接收到第三数据采集装置1003采集的第三运动数据后，会自动调用该卷积神经网络模型对第三运动数据进行处理，以得到第三运动数据对应的图像动作特征。
可以理解的是，上述图像动作特征还可以包括击球动作分类，即上述卷积神经网络模型还能够基于输入的运动图像确定出运动者的击球动作的分类。然后结合第一运动数据确定的步态特征和第二运动数据确定的挥拍姿态特征综合性地确定出运动者的击球动作以及击球动作参数。
请继续参考图3，在本申请实施例中，上述动作识别装置1004在得到步态特征、挥拍姿势特征以及图像动作特征后，能够融合这几个特征(即步态特征、挥拍姿势特征以及图像动作特征)最终确定出运动过程中运动者的击球动作。同时也能够确定出运动过程中运动者在击球时的击球速度、击球力度、腾空时间、跳跃高度、移动距离、移动速度等动作参数。
在本申请实施例中，上述运动者的击球动作可以包括有效高远球、有效勾腿跳杀、有效未勾腿跳杀、有效原地杀球、有效搓球等、无效高远球、无效跳杀、无效原地杀球、无效搓球等。
融合步态特征、挥拍姿势特征以及图像动作特征最终确定出运动过程中运动者的击球动作可以是通过将步态特征、挥拍姿势特征和图像动作特征先进行结合，以此来确定在击球时运动者的击球动作；然后在运动者在跳跃时存在勾腿的情况时确定勾腿角度，再基于腾空时间和勾腿角度对运动者的跳跃高度进行修正，最终识别出运动者在运动过程中存在的击球动作以及各个击球动作对应的动作参数。
示例的，假设根据第一数据采集装置1001采集到的第一运动数据确定出的运动者在运动过程中的下肢动作分别为走、跳跃、跳跃；根据第二数据采集装置1002采集到的第二运动数据确定的手部动作的类别分别为有效搓球、无效杀球、有效杀球；根据第三数据采集装置1003采集到的第三运动数据确定的勾腿特征分别为未勾腿、未勾腿、勾腿；通过将上述特征进行融合可以确定出运动者在运动过程中的击球动作分别为有效搓球、无效跳杀、有效勾腿跳杀。
在本申请实施例中，只有当检测到跳跃动作时，获取跳跃动作对应的动作图像，然后基于该动作图像识别出运动者是否勾腿，若存在勾腿的情况，则结合勾腿角度和腾空时间对跳跃高度进行修正；若运动者在跳跃动作下未勾腿，则无需进行修正。需要说明的是，对于跳跃高度的修正，可以基于已有的修正模型来实现，在此不再加以赘述。
综上可知，这样就能够全面准确地分析出运动者在运动过程中的击球动作，并确定出各个击球动作对应的动作参数，有利于对运动者的综合运动能力进行全面地分析，更便于针对运动者制定个性化的训练计划。
请参阅图5，图5是本申请实施例提供的另一种运动监测系统的结构框图。如图5所示，区别于本申请上一实施例，该运动监测系统还包括第四数据采集装置1005。上述第四数据采集装置1005也与所述动作识别装置1004通信连接。
上述动作识别装置1004可以通过近距离通信连接方式与第四数据采集装置1005建立无线通信连接，或者，动作识别装置1004可以通过有线通信方式与第四数据采集装置1005建立有线通信连接。本申请实施例不对动作识别装置1004与第四数据采集装置1005之间的具体通信方式做任何限定。
其中，近距离通信连接方式可以是蓝牙连接、近场通信(Near FieldCommunication，NFC)连接、无线保真(Wireless-Fidelity，WiFi)连接或紫蜂(ZigBee)连接等，为了提高运动者使用的便利性，本实施例中可优选采用蓝牙连接；近距离通信标识为终端设备近距离通信连接相关的唯一性标识，若采用蓝牙连接，则近距离通信标识对应可以为蓝牙媒体访问控制(Media Access Control，MAC)地址或蓝牙设备的其他唯一性标识。
上述第四数据采集装置1005用于采集第四运动数据。上述第四数据采集装置可以设置于运动者的第二预设部位。上述第四运动数据为能够体现运动者在运动过程中生理参数的运动数据。所述生理参数包括但不限于心率、脉搏、体温等。在本申请实施例中，上述第四运动数据包括但不限运动者在运动过程中的心率数据。
在本申请实施例中，上述运动者的第二预设部位是指能够采集到第四运动数据的部位，例如运动者的手腕。当然，上述运动者的第二预设部位还可以是其他能够采集到第四运动数据的部位，例如指尖、脖子等部位，在此不加以限制。
请参阅图6，在具体应用中，上述第四数据采集装置1005可以是包括能够采集心率数据的可穿戴设备，例如智能手表、智能手环等。运动者在进行羽毛球训练时，可以将上述可穿戴设备穿戴在手腕处。运动者在训练过程中，上述可穿戴设备就能够实时采集上述运动者在运动过程中的心率数据。
在实际应用中，上述可穿戴设备可以包括用于采集心率数据的光电容积描记(photoplethysmograph，PPG)传感器，通过上述PPG传感器来采集运动者手腕处的心率数据。
请一并参阅图7，在本申请实施例中，上述动作识别装置1004还能够对第四数据采集装置1005采集到的第四运动数据进行处理，进而确定出运动者在运动过程中的心率。
上述第四运动数据可以是基于光电容积描记(photoplethysmograph，PPG)传感器采集到的PPG数据。具体地，动作识别装置1004能够对第四运动数据进行滤波处理进而确定出运动者在运动过程中的心率。
需要说明的是，当上述第四运动数据为脉搏数据时，动作识别装置能够对脉搏数据进行脉冲波形峰值间隔特征提取处理，进而确定出运动者在运动过程中的心率值。
在本申请实施例中，上述动作识别装置在基于第一运动数据、第二运动数据以及第三运动数据确定出运动者在运动过程中的击球动作以及各个击球动作对应的动作参数后，还能基于第四运动数据确定的心率进一步分析运动者的运动强度和体能。能够更加全面地对运动者的综合运动能力进行评估。
为了更便于理解，下面对动作识别的过程进行详细说明。
图8为本申请实施例提供的动作识别方法的流程示意图.上述动作识别方法的执行主体可以是上述实施例中的动作识别装置，如图8所示，该方法可以包括如下步骤：
S11、获取运动数据。
在此，为了识别出运动者在运动过程中的击球动作，就需要先获取该运动者运动时的运动数据。在本申请实施例中，上述运动数据包括第一运动数据、第二运动数据、第三运动数据。
其中，第一运动数据为能够体现运动者在运动过程中的下肢动作的运动数据。上述第二运动数据为能够体现运动者在运动过程中的上肢击球动作的运动数据。上述第三运动数据为能够体现运动者的图像动作特征的运动数据。
在本申请实施例中，上述第一运动数据可以包括：运动者在运动过程中的足部加速度数据和足部角速度数据。上述第二运动数据可以包括：运动者在运动过程中的手部加速度数据、手部角速度数据和声波数据。上述第三运动数据可以包括：运动者的运动图像。
其中，第一运动数据由位于运动者第一预设部位的第一数据采集装置进行采集，第二运动数据由设置于球拍预设位置的第二数据采集装置进行采集，第三运动数据由设置于预设拍摄位置的第三数据采集装置进行采集。
上述运动者的第一预设部位可以是运动者的小腿或大腿位置，也可以是运动者的脚踝处，当然还可以是能够采集到运动者的下肢动作的运动数据的其他预设部位。
上述球拍的预设位置可以是球拍的拍柄，也可以是球拍的拍杆，还可以是球拍的拍头，在此不加以限制。
上述预设拍摄位置是指能够拍摄到运动者的运动图像的位置，上述预设拍摄位置可以根据实际需要进行确定，在此不加以赘述。
在本申请实施例中，各个数据采集装置可以将实时采集到的运动数据存储在其本地存储器中。基于此，动作识别装置要获取运动数据时，各个数据采集装置就能够将其存储在本地存储器中的运动数据发送给与之通信连接的动作识别装置。
S12、根据运动数据获取姿态特征。
在本申请实施例中，上述根据运动数据获取姿态特征包括：根据第一运动数据获取运动者在运动过程中的步态特征；根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征；根据所述第三运动数据获取运动者在运动过程中的图像动作特征。
在本申请实施例中，上述第一运动数据包括足部加速度数据和足部角速度数据，根据第一运动数据获取运动者在运动过程中的步态特征的过程具体为：根据第一运动数据绘制足部加速度波形和足部角速度波形，然后根据足部加速度波形和足部角速度波形确定每一步的离地点和触地点，根据每一步的离地点和触地点对足部加速度波形和足部角速度波形进行单步分割，并根据分割后的足部加速度波形和足部角速度波形确定出运动者在运动过程中的步态特征。
上述运动者在运动过程中的步态特征包括但不限于下肢动作的分类和下肢动作的动作参数。下肢动作的分类可以是走、跑以及跳跃等。下肢动作的动作参数可以是腾空时间、跳跃高度、移动距离、移动速度等。
在本申请实施例中，上述第二运动数据可以包括手部加速度数据、手部角速度数据以及声波数据，上述根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征的过程具体为：根据手部加速度数据和手部角速度数据绘制手部加速度波形和手部角速度波形，然后基于手部加速度波形和手部角速度波形确定出每一次挥拍时的手部动作的分类和动作参数；基于声波数据提取出声波数据的特征值，然后基于声波数据的特征值进行有效击球和空挥的识别；最后根据基于手部加速度波形和手部角速度波形确定出每一次挥拍时的手部动作的分类和动作参数和基于声波数据的特征值进行有效击球和空挥的分类确定出运动者每次挥拍时的挥拍姿态特征。
上述运动者在运动过程中的挥拍姿态特征包括但不限于手部动作的类别、手部动作的动作参数以及是否有效击球。
上述挥拍时的手部动作的分类包括但不限于高远球、杀球、搓球等，上述挥拍的动作参数包括击球速度、击球力度、击球轨迹等。
在本申请实施例中，上述第三运动数据可以包括运动者的运动图像。根据所述第三运动数据获取运动者在运动过程中的图像动作特征的过程具体为：对运动图像先进行目标检测，从运动图像中框选出包含运动者的目标图像区域，然后将目标图像区域输入到训练完成的卷积神经网络模型中进行处理，确定出运动者在运动过程中的图像动作特征。
上述图像动作特征包括但不限于图像中运动员的勾腿特征(勾腿和未勾腿)。
可理解的是，上述第三运动数据还可以是包括球场热图等能够用于绘制球场上的运动轨迹分布(运动者的运动轨迹以及球的运动轨迹等)的图像，上述球场热图可以用来辅助分析运动的步态特征以及得失分位置等。
S13、根据姿态特征识别击球动作。
在本申请实施例中，在得到步态特征、挥拍姿势特征以及图像动作特征后，融合步态特征、挥拍姿势特征以及图像动作特征最终识别出运动过程中运动者的击球动作。
融合步态特征、挥拍姿势特征以及图像动作特征最终确定出运动过程中运动者的击球动作可以是通过将步态特征、挥拍姿势特征和图像动作特征先进行结合，以此来确定在击球时运动者的击球动作；然后在运动者在跳跃时存在勾腿的情况时确定勾腿角度，再基于腾空时间和勾腿角度对运动者的跳跃高度进行修正，最终识别出运动者在运动过程中存在的击球动作以及各个击球动作对应的动作参数。
示例的，确定出的运动者在运动过程中的步态特征分别为走、跳跃、跳跃；运动者在运动过程中的挥拍姿势特征为有效搓球、无效杀球、有效杀球；图像动作特征分别为未勾腿、未勾腿、勾腿；通过将上述特征进行融合可以确定出运动者在运动过程中的击球动作分别为有效搓球、无效跳杀、有效勾腿跳杀。
在本申请另一实施例中，还可以根据运动数据获取击球动作的动作参数。
在本申请实施例中，上述击球动作的动作参数可以包括击球速度、击球力度、腾空时间、跳跃高度、移动距离、移动速度等。上述动作参数的获取过程可以参见前述实施例，在此不加以赘述。通过确定出运动员在击球时的动作参数，能够更便于对运动者的综合运动能力进行更具体的分析。
在本申请另一实施例中，当击球动作为有效勾腿杀球时，根据腾空时间和勾腿角度对运动者的跳跃高度进行修正。然后基于修正后的跳跃高度来分析运动者的综合运动能力。关于对跳跃高度的修正过程可以参见前述实施例，在此不加以赘述。通过对运动者的跳跃高度进行修正，能够更准确地统计运动者的运动参数。
在本申请另一实施例中，上述运动数据还可以包括第四运动数据。根据所述第四运动数据能够确定运动者在运动过程中的生理参数。
在具体应用中，上述第四运动数据由设置于运动者的第二预设部位的第四数据采集装置进行采集。上述第四运动数据为能够体现运动者在运动过程中生理参数的运动数据。所述生理参数包括但不限于心率、脉搏、体温等。
在本申请实施例中，上述第四运动数据包括但不限运动者在运动过程中的心率数据。
在本申请实施例中，上述运动者的第二预设部位是指能够采集到第四运动数据的部位，例如运动者的手腕。当然，上述运动者的第二预设部位还可以是其他能够采集到第四运动数据的部位，例如指尖、脖子等部位，在此不加以限制。
具体的，通过对心率数据进行滤波处理，进而确定出运动者在运动过程中的心率。上述对心率数据进行滤波处理确定心率的过程可以参见现有的对心率数据的处理方法，在此不再加以赘述。
本实施例提供的动作识别方法，能够基于各个数据采集装置采集到的运动数据进行特征提取和动作识别，通过利用多个运动数据识别出用户的步态特征、挥拍姿态特征以及图像动作特征，并基于步态特征、挥拍姿态特征以及图像动作特征确定出运动者的击球动作类型，能够准确地对运动过程中运动者的击球动作进行识别，有利于对运动者的综合运动能力进行全面地分析，更便于针对运动者制定个性化的训练计划。
对应于上述实施例所述的动作识别方法，图9示出了本申请实施例提供的一种动作识别装置的结构框图，该动作识别装置包括的各单元用于执行上述实施例中的各步骤，具体请参阅上述实施例中的相关描述，为了便于说明，仅示出了与本申请实施例相关的部分。请参阅图9，该动作识别装置90包括第一获取单元91、第二获取单元92以及识别单元93。其中：
第一获取单元91用于获取运动数据。
上述运动数据包括第一运动数据、第二运动数据、第三运动数据。
第二获取单元92用于根据运动数据获取姿态特征。
第二获取单元92具体用于根据第一运动数据获取运动者在运动过程中的步态特征；根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征；根据所述第三运动数据获取运动者在运动过程中的图像动作特征。
识别单元93用于根据姿态特征识别击球动作。
识别单元93具体用于根据步态特征、挥拍姿势特征以及图像动作特征识别出运动者在运动过程中的击球动作。
在本申请一实施例中，上述动作识别装置还包括第三获取单元，上述第三获取单元用于根据运动数据获取击球动作的动作参数。
在本申请实施例中，上述第一获取单元还用于获取第四运动数据。相应地，所述动作识别装置还包括生理参数确定单元，所述生理参数确定单元用于根据所述第四运动数据确定运动者在运动过程中的生理参数。
在本申请一实施例中，上述动作识别装置还包括修正单元，上述修正单元用于当击球动作为有效勾腿杀球时，根据腾空时间和勾腿角度对运动者的跳跃高度进行修正。
以上可以看出，本申请实施例提供的一种动作识别装置，同样能够基于各个数据采集装置采集到的运动数据进行特征提取和动作识别，通过利用多个运动数据识别出用户的步态特征、挥拍姿态特征以及图像动作特征，并基于步态特征、挥拍姿态特征以及图像动作特征确定出运动者的击球动作类型，能够准确地对运动过程中运动者的击球动作进行识别，有利于对运动者的综合运动能力进行全面地分析，更便于针对运动者制定个性化的训练计划。
请参阅图10，图10是本申请另一实施例提供的终端设备的结构示意图。如图10所示，该实施例的终端设备10包括：至少一个处理器101(图10中仅示出一个)、存储器102以及存储在所述存储器102中并可在所述至少一个处理器101上运行的计算机程序103，所述处理器101执行所述计算机程序103时实现上述任意各个动作识别方法实施例中的步骤。
所述终端设备10可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括，但不仅限于，处理器101、存储器102。本领域技术人员可以理解，图10仅仅是终端设备10的举例，并不构成对终端设备10的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括输入输出设备、网络接入设备等。
所称处理器101可以是中央处理单元(Central Processing Unit，CPU)，该处理器101还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
所述存储器102在一些实施例中可以是所述终端设备10的内部存储单元，例如终端设备10的硬盘或内存。所述存储器102在另一些实施例中也可以是所述终端设备10的外部存储设备，例如所述终端设备10上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述存储器102还可以既包括所述终端设备100的内部存储单元也包括外部存储设备。所述存储器102用于存储操作系统、应用程序、引导装载程序(Boot Loader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器102还可以用于暂时地存储已经输出或者将要输出的数据。在本申请实施例中，上述存储器102还可以存储基于本申请实施例提供的动作识别方法确定的动作识别算法库。
需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述动作识别方法中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在移动终端上运行时，使得移动终端执行时可实现上述动作识别方法中的步骤。
另外，本申请的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的交互方法。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的实施例中，应该理解到，所揭露的装置/网络设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/网络设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分别到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种动作识别方法，其特征在于，包括：
获取运动数据；所述运动数据包括第一运动数据、第二运动数据、第三运动数据，其中，所述第一运动数据由位于运动者第一预设部位的第一数据采集装置进行采集；所述第二运动数据由设置于球拍预设位置的第二数据采集装置进行采集；所述第三运动数据由设置于预设拍摄位置的第三数据采集装置进行采集；
根据所述第一运动数据获取运动者在运动过程中的步态特征；
根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征；
根据所述第三运动数据获取运动者在运动过程中的图像动作特征；
根据所述步态特征、所述挥拍姿态特征和所述图像动作特征识别出运动者在运动过程中的击球动作。
2.如权利要求1所述的动作识别方法，其特征在于，所述第一运动数据包括足部加速度数据和足部角速度数据，所述根据所述第一运动数据获取运动者在运动过程中的步态特征，包括：
根据所述足部加速度数据和所述足部角速度数据绘制足部加速度波形和足部角速度波形，并提取足部加速度波形特征；
根据所述足部加速度波形特征确定每一步的离地点和触地点；
根据每一步的离地点和触地点对所述足部加速度波形和所述足部角速度波形进行单步分割；
根据分割后的足部加速度波形和分割后的足部角速度波形确定运动者每一步对应的下肢动作的分类和下肢动作的动作参数。
3.如权利要求1所述的动作识别方法，其特征在于，所述第二运动数据包括手部加速度数据、手部角速度数据以及声波数据，所述根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征，包括：
根据所述手部加速度数据和所述手部角速度数据确定运动者在运动过程中的手部动作的分类和手部动作的动作参数；
根据所述声波数据对运动者在运动过程中的每一个手部动作进行有效击球和空挥的识别；
根据运动者在运动过程中的手部动作的分类和手部动作的动作参数以及每一个手部动作进行有效击球和空挥的识别确定所述运动者在运动过程中的挥拍姿态特征。
4.如权利要求1所述的动作识别方法，其特征在于，所述第三运动数据包括运动者的运动图像，所述根据所述第三运动数据获取运动者在运动过程中的图像动作特征，包括：
将运动者的运动图像输入到完成训练的卷积神经网络模型中进行处理，得到所述运动者的运动图像对应的图像动作特征。
5.如权利要求4所述的动作识别方法，其特征在于，在将运动者的运动图像输入到完成训练的卷积神经网络模型中进行处理，得到所述运动者的运动图像对应的图像动作特征之前，还包括：
从所述运动者的运动图像中框选出目标图像区域，所述目标图像区域为只包含运动者的图像区域。
6.如权利要求1至5任一项所述的动作识别方法，其特征在于，所述动作识别方法还包括：
当识别出击球动作为有效勾腿杀球时，获取勾腿角度、腾空时间以及待修正的跳跃高度；
基于所述腾空时间和所述勾腿角度对所述待修正的跳跃高度进行修正。
7.如权利要求1至6任一项所述的动作识别方法，其特征在于，所述运动数据还包括第四运动数据，相应地，所述动作识别方法还包括：
根据所述第四运动数据确定运动者在运动过程中的生理参数。
8.一种动作识别装置，其特征在于，包括：
第一获取单元，用于获取运动数据；所述运动数据包括第一运动数据、第二运动数据、第三运动数据，其中，所述第一运动数据由位于运动者第一预设部位的第一数据采集装置进行采集；所述第二运动数据由设置于球拍预设位置的第二数据采集装置进行采集；所述第三运动数据由设置于预设拍摄位置的第三数据采集装置进行采集
第二获取单元，用于根据所述第一运动数据获取运动者在运动过程中的步态特征；根据所述第二运动数据获取运动者在运动过程中的挥拍姿态特征；根据所述第三运动数据获取运动者在运动过程中的图像动作特征；
识别单元，用于根据所述步态特征、所述挥拍姿态特征和所述图像动作特征识别出运动者在运动过程中的击球动作。
9.一种运动监测系统，其特征在于，所述运动监测系统包括第一数据采集装置、第二数据采集装置、第三采集装置以及如权利要求8所述的动作识别装置；
所述第一数据采集装置、所述第二数据采集装置、所述第三数据采集装置分别与所述动作识别装置通信连接；
所述第一数据采集装置用于采集第一运动数据；
所述第二数据采集装置用于采集第二运动数据；
所述第三数据采集装置用于采集第三运动数据；
所述动作识别装置用于根据所述第一运动数据、所述第二运动数据以及所述第三运动数据识别运动者在运动过程中的击球动作。
10.根据权利要求9所述的运动监测系统，其特征在于，所述运动监测系统还包括第四数据采集装置；所述第四数据采集装置与所述动作识别装置通信连接；
所述第四数据采集装置用于采集第四运动数据；
所述动作识别装置还用于根据所述第四运动数据确定运动者在运动过程中的生理参数。
11.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的动作识别方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的动作识别方法。
13.一种芯片，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器用于存储计算机程序指令，当所述处理器执行所述计算机程序指令时，使得芯片执行如权利要求1至7中任意一项所述的动作识别方法。
CN202010970737.1A 2020-09-15 2020-09-15 动作识别方法及装置、终端设备、运动监测系统 Active CN114259720B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010970737.1A CN114259720B (zh) 2020-09-15 2020-09-15 动作识别方法及装置、终端设备、运动监测系统
PCT/CN2021/118320 WO2022057795A1 (zh) 2020-09-15 2021-09-14 动作识别方法及装置、终端设备、运动监测系统
EP21868618.6A EP4119204A4 (en) 2020-09-15 2021-09-14 MOTION RECOGNITION METHOD AND APPARATUS, TERMINAL DEVICE AND SPORTS ACTIVITY MONITORING SYSTEM
US17/921,194 US20230206697A1 (en) 2020-09-15 2021-09-14 Action recognition method and apparatus, terminal device, and motion monitoring system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010970737.1A CN114259720B (zh) 2020-09-15 2020-09-15 动作识别方法及装置、终端设备、运动监测系统

Publications (2)

Publication Number Publication Date
CN114259720A true CN114259720A (zh) 2022-04-01
CN114259720B CN114259720B (zh) 2022-10-18

Family

ID=80776451

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010970737.1A Active CN114259720B (zh) 2020-09-15 2020-09-15 动作识别方法及装置、终端设备、运动监测系统

Country Status (4)

Country Link
US (1) US20230206697A1 (zh)
EP (1) EP4119204A4 (zh)
CN (1) CN114259720B (zh)
WO (1) WO2022057795A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862130B (zh) * 2022-11-16 2023-10-20 之江实验室 基于人体姿态及其躯干运动场的行为识别方法
CN117333947B (zh) * 2023-10-18 2024-05-10 首都体育学院 一种羽毛球动作分析方法与系统

Citations (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10124242A1 (de) * 2001-05-18 2002-11-28 Juergen Loeschinger Vorrichtung und Verfahren zur Haltungskontrolle einer Person
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育系统及其实现方法
CN102799263A (zh) * 2012-06-19 2012-11-28 深圳大学 一种姿态识别方法及姿态识别控制系统
CN102814033A (zh) * 2011-06-09 2012-12-12 精工爱普生株式会社 挥击分析装置、挥击分析方法以及记录媒介
CN203017737U (zh) * 2012-11-06 2013-06-26 安徽寰智信息科技股份有限公司 一种基于动作识别技术的网球训练辅助系统
CN104056441A (zh) * 2013-03-22 2014-09-24 索尼公司 信息处理系统、信息处理方法及存储装置
US20150016685A1 (en) * 2012-03-15 2015-01-15 Sony Corporation Information processing device, information processing system, and program
US20150029341A1 (en) * 2013-07-09 2015-01-29 Aditi Sinha Sport training equipment
US20150314164A1 (en) * 2014-05-05 2015-11-05 Sony Corporation Combining signal information from shoes and sports racket
CN105210084A (zh) * 2013-03-15 2015-12-30 耐克创新有限合伙公司 来自运动表现的图像数据的反馈信号
WO2016025460A1 (en) * 2014-08-11 2016-02-18 Icuemotion, Llc Codification and cueing system for human interactions in tennis and other sport and vocational activities
US20160158598A1 (en) * 2014-12-09 2016-06-09 Dunlop Sports Co., Ltd. Sporting Apparatus With Monitoring Device
CN105912142A (zh) * 2016-02-05 2016-08-31 深圳市爱康伟达智能医疗科技有限公司 一种基于加速传感器的记步与行为识别方法
CN106310609A (zh) * 2016-09-29 2017-01-11 广东小天才科技有限公司 一种羽毛球运动的分析方法及装置
CN106778477A (zh) * 2016-11-21 2017-05-31 深圳市酷浪云计算有限公司 网球拍动作识别方法及装置
CN106730771A (zh) * 2017-01-05 2017-05-31 大连理工大学 一种基于单元动作划分的篮球动作数据处理方法
US20170182360A1 (en) * 2015-12-27 2017-06-29 Lumo BodyTech, Inc System and method for using performance signatures
CN107273857A (zh) * 2017-06-19 2017-10-20 深圳市酷浪云计算有限公司 运动动作的识别方法及装置、电子设备
CN107281709A (zh) * 2017-06-27 2017-10-24 深圳市酷浪云计算有限公司 一种运动视频片段的提取方法及装置、电子设备
CN107281717A (zh) * 2016-04-05 2017-10-24 深圳市酷浪云计算有限公司 羽毛球拍及其挥拍分析系统
CN108369646A (zh) * 2015-07-16 2018-08-03 博拉斯特运动有限公司 多传感器事件检测和标记系统
US20190009133A1 (en) * 2017-07-06 2019-01-10 Icuemotion Llc Systems and methods for data-driven movement skill training
CN109260647A (zh) * 2018-09-10 2019-01-25 郑州大学 基于多模态信号的人体跳跃指标综合评测及训练系统
CN109453501A (zh) * 2018-10-25 2019-03-12 惠州市德赛工业研究院有限公司 球类训练数据处理方法、设备
CN208927548U (zh) * 2018-09-26 2019-06-04 南京优乒体育科技有限公司 一种具有计数功能的乒乓练习板
CN110327595A (zh) * 2019-05-09 2019-10-15 深圳市蝙蝠云科技有限公司 基于可穿戴传感器的动作捕捉识别与评估装置及方法
CN110558991A (zh) * 2019-07-30 2019-12-13 福建省万物智联科技有限公司 一种步态分析方法
US20190388728A1 (en) * 2018-06-21 2019-12-26 City University Of Hong Kong Systems and methods using a wearable sensor for sports action recognition and assessment
CN111318009A (zh) * 2020-01-19 2020-06-23 张衡 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法
KR20200077775A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 전자 장치 및 그의 정보 제공 방법
CN111369629A (zh) * 2019-12-27 2020-07-03 浙江万里学院 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法
CN111437583A (zh) * 2020-04-10 2020-07-24 哈尔滨工业大学 一种基于Kinect的羽毛球基本动作辅助训练系统
CN111514561A (zh) * 2020-04-16 2020-08-11 杨飞 一种球类项目挥拍训练系统和方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150352404A1 (en) * 2014-06-06 2015-12-10 Head Technology Gmbh Swing analysis system
US10248985B2 (en) * 2015-01-16 2019-04-02 Brooks Sports, Inc. Systems and methods for analyzing lower body movement to recommend footwear
US20190054347A1 (en) * 2015-08-18 2019-02-21 Michael Saigh Wearable sports guidance communication system and developers tool kit
US9999823B2 (en) * 2016-01-15 2018-06-19 Inxpar Inc. System for analyzing golf swing process and method thereof
CN106581974B (zh) * 2017-02-13 2019-11-08 张琛 基于球拍运动轨迹的击球姿势训练装置及方法
CN107982899B (zh) * 2017-12-13 2019-07-30 郑州大学体育学院 一种羽毛球比赛数据记录管理系统
CN207898912U (zh) * 2018-02-13 2018-09-25 李宁（中国）体育用品有限公司 羽毛球训练系统
CN108671505B (zh) * 2018-03-20 2019-11-19 杭州电子科技大学 一种羽毛球运动辅助系统及其控制方法

Patent Citations (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10124242A1 (de) * 2001-05-18 2002-11-28 Juergen Loeschinger Vorrichtung und Verfahren zur Haltungskontrolle einer Person
CN101158883A (zh) * 2007-10-09 2008-04-09 深圳先进技术研究院 一种基于计算机视觉的虚拟体育系统及其实现方法
CN102814033A (zh) * 2011-06-09 2012-12-12 精工爱普生株式会社 挥击分析装置、挥击分析方法以及记录媒介
US20150016685A1 (en) * 2012-03-15 2015-01-15 Sony Corporation Information processing device, information processing system, and program
CN102799263A (zh) * 2012-06-19 2012-11-28 深圳大学 一种姿态识别方法及姿态识别控制系统
CN203017737U (zh) * 2012-11-06 2013-06-26 安徽寰智信息科技股份有限公司 一种基于动作识别技术的网球训练辅助系统
CN105210084A (zh) * 2013-03-15 2015-12-30 耐克创新有限合伙公司 来自运动表现的图像数据的反馈信号
CN104056441A (zh) * 2013-03-22 2014-09-24 索尼公司 信息处理系统、信息处理方法及存储装置
US20150029341A1 (en) * 2013-07-09 2015-01-29 Aditi Sinha Sport training equipment
US20150314164A1 (en) * 2014-05-05 2015-11-05 Sony Corporation Combining signal information from shoes and sports racket
WO2016025460A1 (en) * 2014-08-11 2016-02-18 Icuemotion, Llc Codification and cueing system for human interactions in tennis and other sport and vocational activities
US20160158598A1 (en) * 2014-12-09 2016-06-09 Dunlop Sports Co., Ltd. Sporting Apparatus With Monitoring Device
CN108369646A (zh) * 2015-07-16 2018-08-03 博拉斯特运动有限公司 多传感器事件检测和标记系统
US20170182360A1 (en) * 2015-12-27 2017-06-29 Lumo BodyTech, Inc System and method for using performance signatures
CN105912142A (zh) * 2016-02-05 2016-08-31 深圳市爱康伟达智能医疗科技有限公司 一种基于加速传感器的记步与行为识别方法
CN107281717A (zh) * 2016-04-05 2017-10-24 深圳市酷浪云计算有限公司 羽毛球拍及其挥拍分析系统
CN106310609A (zh) * 2016-09-29 2017-01-11 广东小天才科技有限公司 一种羽毛球运动的分析方法及装置
CN106778477A (zh) * 2016-11-21 2017-05-31 深圳市酷浪云计算有限公司 网球拍动作识别方法及装置
CN106730771A (zh) * 2017-01-05 2017-05-31 大连理工大学 一种基于单元动作划分的篮球动作数据处理方法
CN107273857A (zh) * 2017-06-19 2017-10-20 深圳市酷浪云计算有限公司 运动动作的识别方法及装置、电子设备
CN107281709A (zh) * 2017-06-27 2017-10-24 深圳市酷浪云计算有限公司 一种运动视频片段的提取方法及装置、电子设备
US20190009133A1 (en) * 2017-07-06 2019-01-10 Icuemotion Llc Systems and methods for data-driven movement skill training
US20190388728A1 (en) * 2018-06-21 2019-12-26 City University Of Hong Kong Systems and methods using a wearable sensor for sports action recognition and assessment
CN109260647A (zh) * 2018-09-10 2019-01-25 郑州大学 基于多模态信号的人体跳跃指标综合评测及训练系统
CN208927548U (zh) * 2018-09-26 2019-06-04 南京优乒体育科技有限公司 一种具有计数功能的乒乓练习板
CN109453501A (zh) * 2018-10-25 2019-03-12 惠州市德赛工业研究院有限公司 球类训练数据处理方法、设备
KR20200077775A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 전자 장치 및 그의 정보 제공 방법
CN110327595A (zh) * 2019-05-09 2019-10-15 深圳市蝙蝠云科技有限公司 基于可穿戴传感器的动作捕捉识别与评估装置及方法
CN110558991A (zh) * 2019-07-30 2019-12-13 福建省万物智联科技有限公司 一种步态分析方法
CN111369629A (zh) * 2019-12-27 2020-07-03 浙江万里学院 一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法
CN111318009A (zh) * 2020-01-19 2020-06-23 张衡 基于可穿戴惯性感知的体感健康娱乐系统及其工作方法
CN111437583A (zh) * 2020-04-10 2020-07-24 哈尔滨工业大学 一种基于Kinect的羽毛球基本动作辅助训练系统
CN111514561A (zh) * 2020-04-16 2020-08-11 杨飞 一种球类项目挥拍训练系统和方法

Also Published As

Publication number Publication date
CN114259720B (zh) 2022-10-18
WO2022057795A1 (zh) 2022-03-24
EP4119204A4 (en) 2023-11-01
US20230206697A1 (en) 2023-06-29
EP4119204A1 (en) 2023-01-18

Similar Documents

Publication Publication Date Title
Rana et al. Wearable sensors for real-time kinematics analysis in sports: A review
US11862334B2 (en) Flight time
Cust et al. Machine and deep learning for sport-specific movement recognition: A systematic review of model development and performance
EP2973215B1 (en) Feedback signals from image data of athletic performance
KR101839257B1 (ko) 운동 움직임 속성으로부터의 페이스 및 에너지 지출의 계산
US20160073961A1 (en) Method and system for characterizing sporting activitiy
CN104117194B (zh) 控制方法及检测装置
CN114259720B (zh) 动作识别方法及装置、终端设备、运动监测系统
CN109753868B (zh) 运动动作的评估方法及装置、智能手环
Fan et al. Sensor fusion basketball shooting posture recognition system based on CNN
WO2015025221A2 (en) System and method for capturing and using move data
Yang et al. TennisMaster: An IMU-based online serve performance evaluation system
WO2019106672A1 (en) Method of real time monitoring of a person during an event and event dynamics system thereof
CN113713358A (zh) 基于多传感器融合的游泳监测方法、设备、存储介质和程序产品
CN106730723A (zh) 一种基于智能穿戴设备的兵乓球训练方法和系统
Haladjian et al. Sensor-based detection and classification of soccer goalkeeper training exercises
Taghavi et al. Tennis stroke detection using inertial data of a smartwatch
CN210078765U (zh) 基于可穿戴传感器的动作捕捉识别与评估装置
Kondo et al. FootbSense: Soccer moves identification using a single IMU
Malawski et al. Automatic analysis of techniques and body motion patterns in sport
Kos et al. Smart wearables for tennis game performance analysis
WO2017143814A1 (zh) 球类运动数据统计方法、装置、系统、智能篮球及腕带
US20220343649A1 (en) Machine learning for basketball rule violations and other actions
CN117323648A (zh) 综合评判方法、装置及电子设备
Krishnaram et al. Skeletal point analysis to determine the accuracy of forehand smash shots played by badminton players.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40069175

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant