CN116963807A - 运动数据展示方法和系统 - Google Patents
运动数据展示方法和系统 Download PDFInfo
- Publication number
- CN116963807A CN116963807A CN202180064627.1A CN202180064627A CN116963807A CN 116963807 A CN116963807 A CN 116963807A CN 202180064627 A CN202180064627 A CN 202180064627A CN 116963807 A CN116963807 A CN 116963807A
- Authority
- CN
- China
- Prior art keywords
- user
- motion
- data
- virtual
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000033001 locomotion Effects 0.000 title claims abstract description 782
- 238000000034 method Methods 0.000 title claims abstract description 141
- 230000009471 action Effects 0.000 claims description 305
- 238000012545 processing Methods 0.000 claims description 224
- 230000003183 myoelectrical effect Effects 0.000 claims description 207
- 210000003205 muscle Anatomy 0.000 claims description 112
- 230000000386 athletic effect Effects 0.000 claims description 97
- 238000005259 measurement Methods 0.000 claims description 75
- 238000010422 painting Methods 0.000 claims description 29
- 230000001360 synchronised effect Effects 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 description 272
- 230000008569 process Effects 0.000 description 90
- 238000012544 monitoring process Methods 0.000 description 71
- 239000013598 vector Substances 0.000 description 42
- 238000010801 machine learning Methods 0.000 description 40
- 210000000245 forearm Anatomy 0.000 description 32
- 230000008859 change Effects 0.000 description 31
- 238000006243 chemical reaction Methods 0.000 description 31
- 230000011218 segmentation Effects 0.000 description 25
- 238000005452 bending Methods 0.000 description 22
- 238000001914 filtration Methods 0.000 description 22
- 230000001133 acceleration Effects 0.000 description 21
- 238000004891 communication Methods 0.000 description 20
- 239000011159 matrix material Substances 0.000 description 19
- 230000009466 transformation Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000006073 displacement reaction Methods 0.000 description 15
- 238000012937 correction Methods 0.000 description 12
- 238000002567 electromyography Methods 0.000 description 12
- 210000002976 pectoralis muscle Anatomy 0.000 description 11
- 238000007781 pre-processing Methods 0.000 description 11
- 210000000617 arm Anatomy 0.000 description 10
- 238000012549 training Methods 0.000 description 10
- 210000003414 extremity Anatomy 0.000 description 9
- 230000006870 function Effects 0.000 description 9
- 239000000463 material Substances 0.000 description 7
- 230000036387 respiratory rate Effects 0.000 description 7
- 238000004458 analytical method Methods 0.000 description 6
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 6
- 239000008280 blood Substances 0.000 description 6
- 210000004369 blood Anatomy 0.000 description 6
- 239000003086 colorant Substances 0.000 description 6
- 230000003993 interaction Effects 0.000 description 6
- 229910052760 oxygen Inorganic materials 0.000 description 6
- 239000001301 oxygen Substances 0.000 description 6
- 230000029058 respiratory gaseous exchange Effects 0.000 description 6
- 230000003190 augmentative effect Effects 0.000 description 5
- 230000036961 partial effect Effects 0.000 description 5
- 210000000707 wrist Anatomy 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000852 deltoid muscle Anatomy 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000004927 fusion Effects 0.000 description 4
- 238000009434 installation Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 230000008447 perception Effects 0.000 description 4
- 238000003672 processing method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 241000489861 Maximus Species 0.000 description 3
- 210000000988 bone and bone Anatomy 0.000 description 3
- 230000000747 cardiac effect Effects 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 3
- 230000035772 mutation Effects 0.000 description 3
- 230000000638 stimulation Effects 0.000 description 3
- 239000000758 substrate Substances 0.000 description 3
- 230000001131 transforming effect Effects 0.000 description 3
- MCSXGCZMEPXKIW-UHFFFAOYSA-N 3-hydroxy-4-[(4-methyl-2-nitrophenyl)diazenyl]-N-(3-nitrophenyl)naphthalene-2-carboxamide Chemical compound Cc1ccc(N=Nc2c(O)c(cc3ccccc23)C(=O)Nc2cccc(c2)[N+]([O-])=O)c(c1)[N+]([O-])=O MCSXGCZMEPXKIW-UHFFFAOYSA-N 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000004907 flux Effects 0.000 description 2
- 238000007499 fusion processing Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 210000002758 humerus Anatomy 0.000 description 2
- 210000000629 knee joint Anatomy 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 238000012856 packing Methods 0.000 description 2
- 210000003314 quadriceps muscle Anatomy 0.000 description 2
- 230000000241 respiratory effect Effects 0.000 description 2
- 230000036391 respiratory frequency Effects 0.000 description 2
- 230000009182 swimming Effects 0.000 description 2
- 210000000689 upper leg Anatomy 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000000712 assembly Effects 0.000 description 1
- 238000000429 assembly Methods 0.000 description 1
- 238000010009 beating Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 244000309466 calf Species 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000004069 differentiation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001125 extrusion Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001121 heart beat frequency Effects 0.000 description 1
- 210000003127 knee Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 230000003387 muscular Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000002496 oximetry Methods 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 230000004936 stimulating effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/451—Execution arrangements for user interfaces
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7475—User input or interface means, e.g. keyboard, pointing device, joystick
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
- A61B5/02438—Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1116—Determining posture transitions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1123—Discriminating type of movement, e.g. walking or running
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/25—Bioelectric electrodes therefor
- A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
- A61B5/296—Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4519—Muscles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4866—Evaluating metabolism
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6802—Sensor mounted on worn items
- A61B5/6804—Garments; Clothes
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
- A61B5/6813—Specially adapted to be attached to a specific body part
- A61B5/6823—Trunk, e.g., chest, back, abdomen, hip
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/7435—Displaying user selection data, e.g. icons in a graphical user interface
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
- A61B5/744—Displaying an avatar, e.g. an animated cartoon character
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
- A61B2505/09—Rehabilitation or training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0266—Operational features for monitoring or limiting apparatus function
- A61B2560/0276—Determining malfunction
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/45—For evaluating or diagnosing the musculoskeletal system or teeth
- A61B5/4538—Evaluating a particular part of the muscoloskeletal system or a particular medical condition
- A61B5/4561—Evaluating static posture, e.g. undesirable back curvature
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7221—Determining signal validity, reliability or quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Biodiversity & Conservation Biology (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Cardiology (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- Psychiatry (AREA)
- Physical Education & Sports Medicine (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Signal Processing (AREA)
- Obesity (AREA)
- Rheumatology (AREA)
- Epidemiology (AREA)
Abstract
本申请提供的运动数据展示方法和系统,能够获取用户运动时的动作数据以及与用户的动作数据相对应的参考动作数据,并能够将用户的动作数据以及参考动作数据与虚拟人物相结合,通过虚拟人物的动画直观地展示出用户的动作数据与参考动作数据的对比,用户可以通过观察虚拟人物的动画出直观地发现用户的动作数据与参考动作数据之间的差别,从而对运动时的动作进行矫正,以科学地进行运动。
Description
本申请涉及可穿戴设备技术领域,尤其涉及一种运动数据展示方法和系统。
随着人们对科学运动和身体健康的关注,运动监控设备正在极大的发展。目前运动监控设备主要是对用户运动过程中的部分生理参数信息(例如,心率、体温、步频、血氧等)进行监控,并将生理数据展示给用户,并根据生理数据给出建议。而在实际场景中,系统给出的生理数据和建议有时会与用户的体感相差较大,当用户无法认同系统结果,也无法直观地理解生理数据所代表的真实情况时,可能导致用户对设备的可信度下降。
因此,需要提供一种能够直观地展示用户的生理数据的运动数据展示方法和系统。
发明内容
本申请提供一种能够直观地展示用户的生理数据的运动数据展示方法和系统。
第一方面,本申请提一种运动数据展示方法,包括:获取用户运动时的动作数据,所述动作数据对应所述用户身上的多个测量位置的运动信号;获取参考动作数据,所述参考动作数据与所述动作数据相对应;以及生成并在用户界面上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比,其中,所述虚拟人物为与所述用户相匹配的模型。
在一些实施例中,所述虚拟人物包括虚拟用户人物以及虚拟参考人物,所述虚拟用户人物与所述动作数据关联;所述虚拟参考人物与所述参考动作数据关联。
在一些实施例中,所述动作数据包括多个肌电数据,所述多个肌电数据对应所述用户身上的多个第一测量位置在所述用户运动时的实际肌电信号,所述多个测量位置包括所述多个第一测量位置;所述参考动作数据包括与所述多个肌电数据相对应的多个参考肌电数据,所述多个参考肌电数据对应所述多个第一测量位置在所述用户运动时的参考肌电信号;以及所述生成并在用户界面上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比,包括:生成并在所述用户界面上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比。
在一些实施例中,所述生成并在所述用户界面上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比,包括:基于所述多个肌电数据,确定所述 虚拟用户人物身上的多个用户显示区域的显示状态,生成所述虚拟用户人物的肌电动画,所述多个用户显示区域与所述多个第一测量位置对应;基于所述多个参考肌电数据,确定所述虚拟参考人物的多个参考显示区域的显示状态,生成所述虚拟参考人物的参考肌电动画,所述多个参考显示区域与所述多个第一测量位置对应;以及在所述用户界面上显示所述虚拟人物的肌电动画,所述虚拟人物的肌电动画包括所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画。
在一些实施例中,所述确定所述虚拟用户人物的多个用户显示区域的显示状态,包括:对所述虚拟用户人物身上的所述多个用户显示区域中的每个用户显示区域,基于与其对应的第一测量位置的肌电数据确定其对应的所述第一测量位置的肌肉对所述用户运动时的动作的用户力量贡献比;以及基于所述每个用户显示区域对应的所述用户力量贡献比,确定所述每个用户显示区域的显示状态。
在一些实施例中,所述确定所述虚拟参考人物的多个参考显示区域的显示状态,包括:对所述虚拟参考人物身上的所述多个参考显示区域中的每个参考显示区域,基于与其对应的第一测量位置的参考肌电数据确定其对应的所述第一测量位置的肌肉对所述用户运动时的动作的参考力量贡献比;以及基于所述每个参考显示区域对应的所述参考力量贡献比,确定所述每个参考显示区域的显示状态。
在一些实施例中,所述在所述用户界面上显示所述虚拟人物的肌电动画,包括:在所述用户界面上分别显示所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画,包括:基于所述动作数据,确定所述用户运动时所作动作的用户动作周期;基于所述参考动作数据,确定所述用户运动时所作动作的参考动作周期;对所述虚拟用户人物的肌电动画进行时长调整,使经过所述时长调整后的所述用户动作周期与所述参考动作周期一致;以及将所述参考动作周期的起始时间与经过所述时长调整后的所述用户动作周期的起始时间对齐,将经过所述时长调整后的所述虚拟用户人物的肌电动画与所述虚拟参考人物的参考肌电动画进行时间对齐处理,并分别进行同步显示。
在一些实施例中,所述虚拟用户人物与所述虚拟参考人物在所述用户界面上显示为同一个虚拟人物,所述生成并在所述用户界面上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比,包括:基于所述多个肌电数据以及所述多个参考肌电数据,确定所述多个第一测量位置对应的多个肌电差值;基于所述多个肌电差值,确定所述虚拟人物的多个显示区域的显示状态,生成所述虚拟人物的肌电动画,所述多个显示区域与所述多个第一测量位置对应;以及在所述用户界面上显示所述虚拟人物的肌电动画。
在一些实施例中,所述基于所述多个肌电数据以及所述多个参考肌电数据,确定所述多个第一测量位置对应的多个肌电差值,包括:对所述多个第一测量位置中的每个第一测量位置:基于其对应的肌电数据,确定其对应的肌肉在所述用户运动时动作的用户力量贡献比;基于其对应的参考肌电数据,确定其对应的肌肉在所述用户运动时动作的 参考力量贡献比;以及基于其对应的所述用户力量贡献比和所述参考力量贡献比,确定其对应的所述肌电差值。
在一些实施例中,所述动作数据还包括多个姿态数据,所述多个姿态数据对应所述用户身上的多个第二测量位置在所述用户运动时的实际姿态,所述多个测量位置包括所述多个第二测量位置;所述参考动作数据包括与所述多个姿态数据相对应的多个参考姿态数据,所述多个参考姿态数据对应所述多个第二测量位置在所述用户运动时的所对应的参考姿态;以及所述生成并在用户界面上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比,包括:生成并在所述用户界面上显示所述虚拟人物的姿态动画来展示所述动作数据与所述参考动作数据的对比。
在一些实施例中,所述生成并在所述用户界面上显示所述虚拟人物的姿态动画来展示所述动作数据与所述参考动作数据的对比,包括:基于所述多个姿态数据,生成所述虚拟用户人物的姿态动画;基于所述多个参考姿态数据,生成所述虚拟参考人物的参考姿态动画;以及在所述用户界面上显示所述虚拟人物的姿态动画,所述虚拟人物的姿态动画包括所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。
在一些实施例中,所述在所述用户界面上显示所述虚拟人物的姿态动画,包括:基于所述动作数据,确定所述用户运动时所作动作的用户动作周期;基于所述参考动作数据,确定所述用户运动时所作动作的参考动作周期;以及将所述参考动作周期的起始时间与所述用户动作周期的起始时间对齐,将所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画进行时间对齐处理;以及将经过所述时间对齐处理后的所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画对齐,在所述用户界面上分别同步显示或叠加同步显示。
第二方面,本申请还提供一种运动数据展示系统,包括至少一个存储介质以及至少一个处理器,所述至少一个存储介质存储有至少一个指令集用于运动数据展示;所述至少一个处理器同所述至少一个存储介质通信连接,其中,当运动数据展示系统运行时,所述至少一个处理器读取所述至少一个指令集并实施本说明书第一方面所述的运动数据展示方法。
由以上技术方案可知,本申请提供的运动数据展示方法和系统,能够获取用户运动时的动作数据(即生理数据)以及与用户的动作数据相对应的参考动作数据,并能够将用户的动作数据以及参考动作数据与虚拟人物相结合,通过虚拟人物的动画直观地展示出用户的动作数据与参考动作数据的对比,用户可以通过观察虚拟人物的动画出直观地发现用户的动作数据与参考动作数据之间的差别,从而对运动时的动作进行矫正,以科学地进行运动。
本申请将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详 细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本申请一些实施例所示的运动监控系统的应用场景示意图;
图2是根据本申请一些实施例所示的可穿戴设备的示例性硬件和/或软件的示意图;
图3是根据本申请一些实施例所示的计算设备的示例性硬件和/或软件的示意图;
图4是根据本申请一些实施例所示的可穿戴设备的示例性结构图;
图5是根据本申请一些实施例所示的运动监控方法的示例性流程图;
图6是根据本申请一些实施例所示的对用户运动动作进行监控的示例性流程图;
图7是根据本申请一些实施例所示的动作信号分段的示例性流程图;
图8是根据本申请一些实施例所示的动作信号分段的示例性归一化结果图;
图9是根据本申请一些实施例所示的肌电信号预处理的示例性流程图;
图10是根据本申请一些实施例所示的去毛刺信号的示例性流程图;
图11是根据本申请一些实施例所示的确定姿态信号对应的特征信息的示例性流程图;
图12是根据本申请一些实施例所示的确定用户的不同运动部位之间的相对运动的示例性流程图;
图13是根据本申请一些实施例所示的确定原始坐标系与特定坐标系的转换关系的示例性流程图;
图14是根据本申请一些实施例所示的确定原始坐标系与目标坐标系之间的转换关系的示例性流程图;
图15A是根据本申请一些实施例所示的人体小臂位置处原始坐标系中的欧拉角数据的示例性向量坐标图;
图15B是根据本申请一些实施例所示的人体小臂位置另一处原始坐标系中的欧拉角数据的示例性向量坐标图;
图16A是根据本申请一些实施例所示的人体小臂位置处的目标坐标系中的欧拉角数据的示例性向量坐标图;
图16B是根据本申请一些实施例所示的人体小臂位置另一处的目标坐标系中的欧拉角数据的示例性向量坐标图;
图17是根据本申请一些实施例所示的多传感器的目标坐标系中的欧拉角数据的示例性向量坐标图;
图18A是根据本申请一些实施例所示的原始角速度的示例性结果图;
图18B是根据本申请一些实施例所示的滤波处理后的角速度的示例性结果图;
图19是根据本申请一些实施例所示的运动监控和反馈方法的示例性流程图;
图20是根据本申请一些实施例所示的模型训练的应用的示例性流程图;
图21是根据本申请一些实施例所示的运动数据展示的方法的示例性流程图;
图22是根据本申请一些实施例所示的生成肌电动画的示例性流程图;
图23是根据本申请一些实施例所示的分别显示肌电动画的示例性流程图;
图24A是根据本申请一些实施例所示的肱二头肌的肌电数据随时间的变化曲线;
图24B是根据本申请一些实施例所示的肱二头肌的参考肌电数据随时间的变化曲线;
图24C是根据本申请一些实施例所示的经过线性时长调整后的肱二头肌的肌电数据随时间的变化曲线;
图24D是根据本申请一些实施例所示的经过非线性时长调整后的肱二头肌的肌电数据随时间的变化曲线;
图25A是根据本申请一些实施例所示的动作开始之前用户界面的示意图;
图25B是根据本申请一些实施例所示的动作过程中用户界面的示意图;
图25C是根据本申请一些实施例所示的动作结束后至下个动作开始前的用户界面的示意图;
图26是根据本申请另一些实施例所示的生成肌电动画的示例性流程图;
图27是根据本申请另一些实施例所示的用户界面的示意图;
图28是根据本申请一些实施例所示的生成姿态动画的示例性流程图;以及
图29是根据本申请一些实施例所示的显示姿态动画的示例性流程图。
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请中提供一种运动监控系统,该运动监控系统可以获取用户运动时的动作信号,其中,动作信号至少包括肌电信号、姿态信号、心电信号、呼吸频率信号等。该系统可以至少基于肌电信号对应的特征信息或姿态信号对应的特征信息对用户运动的动作进行监控。例如,通过肌电信号对应的频率信息、幅值信息和姿态信号对应的角速度、角速度方向和角速度的角速度值、角度、位移信息、应力等确定用户的动作类型、动作数量、动作质量动作时间、或者用户实施动作时的生理参数信息等。在一些实施例中,运动监控系统还可以根据对用户健身动作的分析结果,生成对用户健身动作的反馈,以对用户的健身进行指导。例如,用户的健身动作不标准时,运动监控系统可以对用户发出提示信息(例如,语音提示、振动提示、电流刺激等)。该运动监控系统可以应用于可穿戴设备(例如,服装、护腕、头盔)、医学检测设备(例如,肌电测试仪)、健身设备等,该运动监控系统通过获取用户运动时的动作信号可以对用户的动作进行精准地监控和反馈,而不需要专业人员的参与,可以在提高用户的健身效率的同时降低用户健身的成本。
图1是根据本申请一些实施例所示的运动监控系统的应用场景示意图。如图1所示,运动监控系统100可以包括处理设备110、网络120、可穿戴设备130和移动终端设备140。运动监控系统100可以获取用于表征用户运动动作的动作信号(例如,肌电信号、姿态信号、心电信号、呼吸频率信号等)并根据用户的动作信号对用户运动时的动作进行监控和反馈。
例如,运动监控系统100可以对用户健身时的动作进行监控和反馈。当用户穿戴可穿戴设备130进行健身运动时,可穿戴设备130可以获取用户的动作信号。处理设备110或移动终端设备140可以接收并对用户的动作信号进行分析,以判断用户的健身动作是否规范,从而对用户的动作进行监控。具体地,对用户的动作进行监控可以包括确定动作的动作类型、动作数量、动作质量、动作时间、或者用户实施动作时的生理参数信息等。进一步地,运动监控系统100可以根据对用户健身动作的分析结果,生成对用户健身动作的反馈,以对用户的健身进行指导。
再例如,运动监控系统100可以对用户跑步时的动作进行监控和反馈。例如,当用户穿戴可穿戴设备130进行跑步运动时,运动监控系统100可以监控用户跑步动作是否规范,跑步时间是否符合健康标准等。当用户跑步时间过长或者跑步动作不正确时,健身设备可以向用户反馈其运动状态,以提示用户需要调整跑步动作或者跑步时间。
在一些实施例中,处理设备110可以用于处理与用户运动相关的信息和/或数据。例如,处理设备110可以接收用户的动作信号(例如,肌电信号、姿态信号、心电信号、呼吸频率信号等),并进一步提取动作信号对应的特征信息(例如,动作信号中的肌电信号对应的特征信息、姿态信号对应的特征信息)。在一些实施例中,处理设备110可以对可穿戴设备130采集的肌电信号或姿态信号进行特定的信号处理,例如信号分段、信号预处理(例如,信号校正处理、滤波处理等)等。在一些实施例中,处理设备110 也可以基于用户的动作信号判断用户动作是否正确。例如,处理设备110可以基于肌电信号对应的特征信息(例如,幅值信息、频率信息等)判断用户动作是否正确。又例如,处理设备110可以基于姿态信号对应的特征信息(例如,角速度、角速度方向、角速度的加速度、角度、位移信息、应力等)判断用户动作是否正确。再例如,处理设备110可以基于肌电信号对应的特征信息和姿态信号对应的特征信息判断用户动作是否正确。在一些实施例中,处理设备110还可以判断用户运动时的生理参数信息是否符合健康标准。在一些实施例中,处理设备110还可以发出相应指令,用以反馈用户的运动情况。例如,用户进行跑步运动时,运动监控系统100监控到用户跑步时间过长,此时处理设备110可以向移动终端设备140发出指令以提示用户调整跑步时间。需要注意的是,姿态信号对应的特征信息并不限于上述的角速度、角速度方向、角速度的加速度、角度、位移信息、应力等,还可以为其它特征信息,凡是能够用于体现用户身体发生相对运动的参数信息都可以为姿态信号对应的特征信息。例如,当姿态传感器为应变式传感器时,通过测量应变式传感器中随着拉伸长度而变化的电阻的大小,可以获取用户关节处的弯曲角度和弯曲方向。
在一些实施例中,处理设备110可以是本地的或者远程的。例如,处理设备110可以通过网络120访问存储于可穿戴设备130和/或移动终端设备140中的信息和/或资料。在一些实施例中,处理设备110可以直接与可穿戴设备130和/或移动终端设备140连接以访问存储于其中的信息和/或资料。例如,处理设备110可以位于可穿戴设备130中,并通过网络120实现与移动终端设备140的信息交互。再例如,处理设备110可以位于移动终端设备140中,并通过网络实现与可穿戴设备130的信息交互。在一些实施例中,处理设备110可以在云平台上执行。
在一些实施例中,处理设备110可以处理与运动监控有关的数据和/或信息以执行一个或多个本申请中描述的功能。在一些实施例中,处理设备110可以获取可穿戴设备130采集的用户运动时的动作信号。在一些实施例中,处理设备110可以向可穿戴设备130或移动终端设备140发送控制指令。控制指令可以控制可穿戴设备130及其各传感器的开关状态,还可以控制移动终端设备140发出提示信息。在一些实施例中,处理设备110可以包含一个或多个子处理设备(例如,单芯处理设备或多核多芯处理设备)。
网络120可以促进运动监控系统100中数据和/或信息的交换。在一些实施例中,运动监控系统100中的一个或多个组件可以通过网络120发送数据和/或信息给运动监控系统100中的其他组件。例如,可穿戴设备130采集的动作信号可以通过网络120传输至处理设备110。又例如,处理设备110中关于动作信号的确认结果可以通过网络120传输至移动终端设备140。在一些实施例中,网络120可以是任意类型的有线或无线网络。
可穿戴设备130是指具有穿戴功能的服装或设备。在一些实施例中,可穿戴设备130可以包括但不限于上衣装置130-1、裤子装置130-2、护腕装置130-3和鞋子130-4等。在一些实施例中,可穿戴设备130可以包括多个传感器。传感器可以获取用户运动时的 各种动作信号(例如,肌电信号、姿态信号、温度信息、心跳频率、心电信号等)。在一些实施例中,传感器可以包括但不限于肌电传感器、姿态传感器、温度传感器、湿度传感器、心电传感器、血氧饱和度传感器、霍尔传感器、皮电传感器、旋转传感器等中的一种或多种。例如,上衣装置130-1中人体肌肉位置(例如,肱二头肌、肱三头肌、背阔肌、斜方肌等)处可以设置肌电传感器,肌电传感器可以贴合用户皮肤并采集用户运动时的肌电信号。又例如,上衣装置130-1中人体左侧胸肌附近可以设置心电传感器,心电传感器可以采集用户的心电信号。再例如,裤子装置130-2中人体肌肉位置(例如,臀大肌、股外侧肌、股内侧肌、腓肠肌等)处可以设置姿态传感器,姿态传感器可以采集用户的姿态信号。在一些实施例中,可穿戴设备130还可以对用户的动作进行反馈。例如,用户运动时身体某一部位的动作不符合标准时,该部位对应的肌电传感器可以产生刺激信号(例如,电流刺激或者击打信号)以提醒用户。
需要注意的是,可穿戴设备130并不限于图1中所示的上衣装置130-1、裤子装置130-2、护腕装置130-3和鞋子装置130-4,还可以包括应用在其他需要进行运动监控的设备,例如、头盔装置、护膝装置等,在此不做限定,任何可以使用本申请所包含的运动监控方法的设备都在本申请的保护范围内。
在一些实施例中,移动终端设备140可以获取运动监控系统100中的信息或数据。在一些实施例中,移动终端设备140可以接收处理设备110处理后的运动数据,并基于处理后的运动数据反馈运动记录等。示例性的反馈方式可以包括但不限于语音提示、图像提示、视频展示、文字提示等。在一些实施例中,用户可以通过移动终端设备140获取自身运动过程中的动作记录。例如,移动终端设备140可以与可穿戴设备130通过网络120连接(例如,有线连接、无线连接),用户可以通过移动终端设备140获取用户运动过程中的动作记录,该动作记录可通过移动终端设备140传输至处理设备110。在一些实施例中,移动终端设备140可以包括移动装置140-1、平板电脑140-2、笔记本电脑140-3等中的一种或其任意组合。在一些实施例中,移动装置140-1可以包括手机、智能家居装置、智能行动装置、虚拟实境装置、增强实境装置等,或其任意组合。在一些实施例中,智能家居装置可以包括智能电器的控制装置、智能监测装置、智能电视、智能摄像机等,或其任意组合。在一些实施例中,智能行动装置可以包括智能电话、个人数字助理(PDA)、游戏装置、导航装置、POS装置等,或其任意组合。在一些实施例中,虚拟实境装置和/或增强实境装置可以包括虚拟实境头盔、虚拟实境眼镜、虚拟实境眼罩、增强实境头盔、增强实境眼镜、增强实境眼罩等,或其任意组合。
在一些实施例中,运动监控系统100还可以包括运动数据展示系统160。运动数据展示系统160可以用于处理与用户运动相关的信息和/或数据,并将所述信息和/或数据与虚拟人物相结合,直观地展示在移动终端设备140的用户界面上,以方便用户进行查看。例如,运动数据展示系统160可以接收用户的动作数据,比如,肌电信号、姿态信号、心电信号、呼吸频率信号等动作信号,又比如,处理设备110对所述动作信号进行 特征处理得到的特征信息(例如,动作信号中的肌电信号对应的特征信息、姿态信号对应的特征信息),再比如,处理设备110对所述动作信号进行特定的信号处理后的信号,例如信号分段、信号预处理(例如,信号校正处理、滤波处理等)等;运动数据展示系统160可以将所述动作数据与参考动作数据进行对比,并将对比结果与虚拟人物相结合生成虚拟人物的动画并发送给移动终端设备140进行展示。关于所述参考动作数据将在后面的描述中详细介绍。比如,当用户在进行二头弯举的动作时,运动数据展示系统160可以接收用户在进行二头弯举时的动作数据,比如,肱二头肌的肌电信号、斜方肌的肌电信号、小臂的运动姿态、大臂的运动姿态,等等;运动数据展示系统160可以将用户的动作数据与运动监控系统100中存储的二头弯举动作的参考动作数据进行对比,并将对比结果呈现在虚拟人物上形成虚拟人物的动画进行展示;用户可以通过虚拟人物动画清楚直观地发现用户的动作数据与参考动作数据之间的差异,比如肌肉发力位置和发力大小的差异、运动姿态的差异,等等,从而对运动时的动作进行调整。
在一些实施例中,运动数据展示系统160可以集成在处理设备110上。在一些实施例中,运动数据展示系统160也可以集成在移动终端设备140上。在一些实施例中,运动数据展示系统160也可以独立于处理设备110和移动终端设备140单独存在。运动数据展示系统160可以与处理设备110、可穿戴设备130和移动终端设备140通信连接,以进行信息和/或数据的传输和交换。在一些实施例中,运动数据展示系统160可以通过网络120访问存储于处理设备110、可穿戴设备130和/或移动终端设备140中的信息和/或资料。在一些实施例中,可穿戴设备130可以直接与处理设备110和/或移动终端设备140连接以访问存储于其中的信息和/或资料。例如,运动数据展示系统160可以位于处理设备110中,并通过网络120实现与可穿戴设备130和移动终端设备140的信息交互。再例如,运动数据展示系统160可以位于移动终端设备140中,并通过网络实现与处理设备110和可穿戴设备130的信息交互。在一些实施例中,运动数据展示系统160可以在云平台上执行,并通过网络实现与处理设备110、可穿戴设备130和移动终端设备140的信息交互。
为了方便展示,下面的描述中我们将以运动数据展示系统160位于移动终端设备140中为例进行描述。
在一些实施例中,运动数据展示系统160可以处理与运动数据展示有关的数据和/或信息以执行一个或多个本申请中描述的功能。在一些实施例中,运动数据展示系统160可以获取用户运动时的动作数据,比如,可穿戴设备130采集的用户运动时的动作信号,再比如,可穿戴设备130采集的用户运动时的动作信号经处理设备110处理后的数据。在一些实施例中,运动数据展示系统160可以向移动终端设备140发送控制指令,以控制移动终端设备140用户界面的显示。
在一些实施例中,运动监控系统100还可以包括数据库。数据库可以存储资料(例如,初始设置的阈值条件等)和/或指令(例如,反馈指令)。在一些实施例中,数据库 可以存储从可穿戴设备130和/或移动终端设备140获取的资料。在一些实施例中,数据库可以存储供处理设备110执行或使用的信息和/或指令,以执行本申请中描述的示例性方法。在一些实施例中,数据库可以与网络120连接以与运动监控系统100的一个或多个组件(例如,处理设备110、可穿戴设备130、移动终端设备140等)通讯。运动监控系统100的一个或多个组件可以通过网络120访问存储于数据库中的资料或指令。在一些实施例中,数据库可以直接与运动监控系统100中的一个或多个组件连接或通讯。在一些实施例中,数据库可以是处理设备110的一部分。
图2是根据本申请一些实施例所示的可穿戴设备130的示例性硬件和/或软件的示意图。如图2所示,可穿戴设备130可以包括获取模块210、处理模块220(也被称为处理器)、控制模块230(也被称为主控、MCU、控制器)、通讯模块240、供电模块250以及输入/输出模块260。
获取模块210可以用于获取用户运动时的动作信号。在一些实施例中,获取模块210可以包括传感器单元,传感器单元可以用于获取用户运动时的一种或多种动作信号。在一些实施例中,传感器单元可以包括但不限于肌电传感器、姿态传感器、心电传感器、呼吸传感器、温度传感器、湿度传感器、惯性传感器、血氧饱和度传感器、霍尔传感器、皮电传感器、旋转传感器等中的一种或多种。在一些实施例中,动作信号可以包括肌电信号、姿态信号、心电信号、呼吸频率、温度信号、湿度信号等中的一种或多种。传感器单元可以根据所要获取的动作信号类型放置在可穿戴设备130的不同位置。例如,在一些实施例中,肌电传感器(也被称为电极元件)可以设置于人体肌肉位置,肌电传感器可以被配置为采集用户运动时的肌电信号。肌电信号及其对应的特征信息(例如,频率信息、幅值信息等)可以反映用户运动时肌肉的状态。姿态传感器可以设置于人体的不同位置(例如,可穿戴设备130中与躯干、四肢、关节对应的位置),姿态传感器可以被配置为采集用户运动时的姿态信号。姿态信号及其对应的特征信息(例如,角速度方向、角速度值、角速度加速度值、角度、位移信息、应力等)可以反映用户运动的姿势。心电传感器可以设置于人体胸口周侧的位置,心电传感器可以被配置为采集用户运动时的心电数据。呼吸传感器可以设置于人体胸口周侧的位置,呼吸传感器可以被配置为采集用户运动时的呼吸数据(例如,呼吸频率、呼吸幅度等)。温度传感器可以被配置为采集用户运动时的温度数据(例如,体表温度)。湿度传感器可以被配置为采集用户运动时的外部环境的湿度数据。
处理模块220可以处理来自获取模块210、控制模块230、通讯模块240、供电模块250和/或输入/输出模块260的数据。例如,处理模块220可以处理来自获取模块210的用户运动过程中的动作信号。在一些实施例中,处理模块220可以将获取模块210获取的动作信号(例如,肌电信号、姿态信号)进行预处理。例如,处理模块220对用户运动时的肌电信号或姿态信号进行分段处理。又例如,处理模块220可以对用户运动时的肌电信号进行预处理(例如,滤波处理、信号校正处理),以提高肌电信号质量。再 例如,处理模块220可以基于用户运动时的姿态信号确定与姿态信号对应的特征信息。在一些实施例中,处理模块220可以处理来自输入/输出模块260的指令或操作。在一些实施例中,处理后的数据可以存储到存储器或硬盘中。在一些实施例中,处理模块220可以将其处理后的数据通过通讯模块240或网络120传送到运动监控系统100中的一个或者多个组件中。例如,处理模块220可以将用户运动的监控结果发送给控制模块230,控制模块230可以根据动作确定结果执行后续的操作或指令。
控制模块230可以与可穿戴设备130中其他模块相连接。在一些实施例中,控制模块230可以控制可穿戴设备130中其它模块的运行状态。例如,控制模块230可以控制供电模块250的供电状态(例如,正常模式、省电模式)、供电时间等。又例如,控制模块230可以根据用户的动作确定结果控制输入/输出模块260,进而可以控制移动终端设备140向用户发送其运动的反馈结果。当用户运动时的动作出现问题(例如,动作不符合标准)时,控制模块230可以控制输入/输出模块260,进而可以控制移动终端设备140向用户进行反馈,使得用户可以实时了解自身运动状态并对动作进行调整。在一些实施例中,控制模块230还可以控制获取模块210中的一个或多个传感器或者其它模块对人体进行反馈。例如,当用户运动过程中某块肌肉发力强度过大,控制模块230可以控制该肌肉位置处的电极模块对用户进行电刺激以提示用户及时调整动作。
在一些实施例中,通讯模块240可以用于信息或数据的交换。在一些实施例中,通讯模块240可以用于可穿戴设备130内部组件之间的通信。例如,获取模块210可以发送用户动作信号(例如,肌电信号、姿态信号等)到通讯模块240,通讯模块240可以将所述动作信号发送给处理模块220。在一些实施例中,通讯模块240还可以用于可穿戴设备130和运动监控系统100中的其他组件之间的通信。例如,通讯模块240可以将可穿戴设备130的状态信息(例如,开关状态)发送到处理设备110,处理设备110可以基于所述状态信息对可穿戴设备130进行监控。通讯模块240可以采用有线、无线以及有线/无线混合技术。
在一些实施例中,供电模块250可以为运动监控系统100中的其他组件提供电力。
输入/输出模块260可以获取、传输和发送信号。输入/输出模块260可以与运动监控系统100中的其他组件进行连接或通信。运动监控系统100中的其他组件可以通过输入/输出模块260实现连接或通信。
需要注意的是,以上对于运动监控系统100及其模块的描述,仅为描述方便,并不能把本申请的一个或多个实施例限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接,或者对其中的一个或多个模块进行省略。例如,获取模块210和处理模块220可以为一个模块,该模块可以具有获取和处理用户动作信号的功能。又例如,处理模块220还可以不设置于可穿戴设备130中,而集 成在处理设备110中。诸如此类的变形,均在本申请的一个或多个实施例的保护范围之内。
图3是根据本申请一些实施例所示的计算设备300的示例性硬件和/或软件的示意图。在一些实施例中,处理设备110和/或移动终端设备140可以在计算设备300上实现。在一些实施例中,运动数据展示系统160可以在计算设备300上实现。如图3所示,计算设备300可以包括内部通信总线310、处理器320、只读存储器330、随机存储器340、通信端口350、输入/输出接口360、硬盘370以及用户界面380。
内部通信总线310可以实现计算设备300中各组件间的数据通信。例如,处理器320可以通过内部通信总线310将数据发送到存储器或输入/输出端口360等其它硬件中。
处理器320可以执行计算指令(程序代码)并执行本申请描述的运动监控系统100的功能。所述计算指令可以包括程序、对象、组件、数据结构、过程、模块和功能(所述功能指本申请中描述的特定功能)。例如,处理器320可以处理从运动监控系统100的可穿戴设备130或/和移动终端设备140中获取的用户运动时的动作信号(例如,肌电信号、姿态信号),并根据用户运动时的动作信号对用户的运动的动作进行监控。仅为了说明,图3中的计算设备300只描述了一个处理器,但需要注意的是,本申请中的计算设备300还可以包括多个处理器。
计算设备300的存储器(例如,只读存储器(ROM)330、随机存储器(RAM)340、硬盘370等)可以存储从运动监控系统100的任何其他组件中获取的数据/信息。在一些实施例中,计算设备300的存储器可以位于可穿戴设备130中,也可以位于处理设备110中。
输入/输出接口360可以用于输入或输出信号、数据或信息。在一些实施例中,输入/输出接口360可以使用户与运动监控系统100进行交互。
硬盘370可以用于存储处理设备110所产生的或从处理设备110所接收到的信息及数据。例如,硬盘370可以储存用户的用户确认信息。在一些实施例中,硬盘370可以设置于处理设备110中或可穿戴设备130中。用户界面380可以实现计算设备300和用户之间的交互和信息交换。在一些实施例中,用户界面380可以用于将运动监控系统100生成的运动记录呈现给用户。在一些实施例中,用户界面380可以包括一个物理显示器,如带扬声器的显示器、LCD显示器、LED显示器、OLED显示器、电子墨水显示器(E-Ink)等。
图4是根据本申请一些实施例所示的可穿戴设备的示例性结构图。为了进一步对可穿戴设备进行描述,将上衣服装作为示例性说明。如图4所示,可穿戴设备400可以包括上衣服装410。上衣服装410可以包括上衣服装基底4110、至少一个上衣处理模块4120、至少一个上衣反馈模块4130、至少一个上衣获取模块4140等。上衣服装基底4110可以是指穿戴于人体上身的衣物。在一些实施例中,上衣服装基底4110可以包括短袖T恤、长袖T恤、衬衫、外套等。至少一个上衣处理模块4120、至少一个上衣获取模块4140 可以位于上衣服装基底4110上与人体不同部位贴合的区域。至少一个上衣反馈模块4130可以位于上衣服装基底4110的任意位置,至少一个上衣反馈模块4130可以被配置为反馈用户上身运动状态信息。示例性的反馈方式可以包括但不限于语音提示、文字提示、压力提示、电流刺激等。在一些实施例中,至少一个上衣获取模块4140可以包括但不限于姿态传感器、心电传感器、肌电传感器、温度传感器、湿度传感器、惯性传感器、酸碱传感器、声波换能器等中的一种或多种。上衣获取模块4140中的传感器可以根据待测量的信号不同而放置在用户身体的不同位置。例如,姿态传感器用于获取用户运动过程中的姿态信号时,姿态传感器可以放置于上衣服装基底4110中与人体躯干、双臂、关节对应的位置。又例如,肌电传感器用于获取用户运动过程中的肌电信号时,肌电传感器可以位于用户待测量的肌肉附近。在一些实施例中,姿态传感器可以包括但不限于加速度三轴传感器、角速度三轴传感器、磁力传感器等,或其任意组合。例如,一个姿态传感器可以包含加速度三轴传感器、角速度三轴传感器。在一些实施例中,姿态传感器还可以包括应变式传感器。应变式传感器可以是指可以基于待测物受力变形产生的应变的传感器。在一些实施例中,应变式传感器可以包括但不限于应变式测力传感器、应变式压力传感器、应变式扭矩传感器、应变式位移传感器、应变式加速度传感器等中的一种或多种。例如,应变式传感器可以设置在用户的关节位置,通过测量应变式传感器中随着拉伸长度而变化的电阻的大小,可以获取用户关节处的弯曲角度和弯曲方向。需要注意的是,上衣服装410除了上述的上衣服装基底4110、上衣处理模块4120、上衣反馈模块4130、上衣获取模块4140之外,还可以包括其它模块,例如,供电模块、通讯模块、输入/输出模块等。上衣处理模块4120与图2中的处理模块220相类似、上衣获取模块4140与图2中的获取模块210相类似,关于上衣服装410中的各个模块的具体描述可以参考本申请图2中的相关描述,在此不做赘述。
图5是根据本申请一些实施例所示的运动监控方法的示例性流程图。如图5所示,流程500可以包括:
在步骤510中,获取用户运动时的动作信号。
在一些实施例中,该步骤510可以由获取模块210执行。动作信号是指用户运动时的人体参数信息。在一些实施例中,人体参数信息可以包括但不限于肌电信号、姿态信号、心电信号、温度信号、湿度信号、血氧浓度、呼吸频率等中的一种或多种。在一些实施例中,获取模块210中的肌电传感器可以采集用户在运动过程中的肌电信号。例如,当用户进行坐姿夹胸时,可穿戴设备中与人体胸肌、背阔肌等位置对应的肌电传感器可以采集用户相应肌肉位置的肌电信号。又例如,当用户进行深蹲动作时,可穿戴设备中与人体臀大肌、股四头肌等位置对应的肌电传感器可以采集用户相应肌肉位置的肌电信号。再例如,用户进行跑步运动时,可穿戴设备中与人体腓肠肌等位置对应的肌电传感器可以采集人体腓肠肌等位置的肌电信号。在一些实施例中,获取模块210中的姿态传感器可以采集用户运动时的姿态信号。例如,当用户进行杠铃卧推运动时,可穿戴设备 中与人体肱三头肌等位置对应的姿态传感器可以采集用户肱三头肌等位置的姿态信号。又例如,当用户进行哑铃飞鸟动作时,设置在人体三角肌等位置处的姿态传感器可以采集用户三角肌等位置的姿态信号。在一些实施例中,获取模块210中的姿态传感器的数量可以为多个,多个姿态传感器可以获取用户运动时多个部位的姿态信号,多个部位姿态信号可以反映人体不同部位之间的相对运动情况。例如,手臂处的姿态信号和躯干处的姿态信号可以反映手臂相对于躯干的运动情况。在一些实施例中,姿态信号与姿态传感器的类型相关联。例如,当姿态传感器为角速度三轴传感器时,获取的姿态信号为角速度信息。又例如,当姿态传感器为角速度三轴传感器和加速度三轴传感器,获取的姿态信号为角速度信息和加速度信息。再例如,姿态传感器为应变式传感器时,应变式传感器可以设置在用户的关节位置,通过测量应变式传感器中随着拉伸长度而变化的电阻的大小,获取的姿态信号可以为位移信息、应力等,通过这些姿态信号可以表征用户关节处的弯曲角度和弯曲方向。需要注意的是,能够用于体现用户身体发生相对运动的参数信息都可以为姿态信号对应的特征信息,根据特征信息的类型可以采用不同类型的姿态传感器进行获取。
在一些实施例中,所述动作信号可以包括用户身体特定部位的肌电信号以及该特定部位的姿态信号。肌电信号和姿态信号可以从不同角度反映出用户身体特定部位的运动状态。简单来说,用户身体特定部位的姿态信号可以反映该特定部位的动作类型、动作幅度、动作频率等。肌电信号可以反映出该特定部位在运动时的肌肉状态。在一些实施例中,通过相同身体部位的肌电信号和/或姿态信号,可以更好地评估该部位的动作是否规范。
在步骤520中,至少基于肌电信号对应的特征信息或姿态信号对应的特征信息对用户运动的动作进行监控。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,肌电信号对应的特征信息可以包括但不限于频率信息、幅值信息等中的一种或多种。姿态信号对应的特征信息是指用于表征用户身体发生相对运动的参数信息。在一些实施例中,姿态信号对应的特征信息可以包括但不限于角速度方向、角速度值、角速度的加速度值等中的一种或多种。在一些实施例中,姿态信号对应的特征信息还可以包括角度、位移信息(例如应变式传感器中的拉伸长度)、应力等。例如,姿态传感器为应变式传感器时,应变式传感器可以设置在用户的关节位置,通过测量应变式传感器中随着拉伸长度而变化的电阻的大小,获取的姿态信号可以为位移信息、应力等,通过这些姿态信号可以表征用户关节处的弯曲角度和弯曲方向。在一些实施例中,处理模块220和/或处理设备110可以提取肌电信号对应的特征信息(例如,频率信息、幅值信息)或姿态信号对应的特征信息(例如,角速度方向、角速度值、角速度的加速度值、角度、位移信息、应力等),并基于肌电信号对应的特征信息或姿态信号对应的特征信息对用户运动的动作进行监控。这里对用户运动的动作进行监控包括对用户动作相关的信息进 行监控。在一些实施例中,动作相关的信息可以包括用户动作类型、动作数量、动作质量(例如,用户动作是否符合标准)、动作时间等中的一个或多个。动作类型是指用户运动时采取的健身动作。在一些实施例中,动作类型可以包括但不限于坐姿夹胸、深蹲运动、硬拉运动、平板支撑、跑步、游泳等中的一种或多种。动作数量是指用户运动过程中执行动作的次数。例如,用户在运动过程中进行了10次坐姿夹胸,这里的10次为动作次数。动作质量是指用户执行的健身动作相对于标准健身动作的标准度。例如,当用户进行深蹲动作时,处理设备110可以基于特定肌肉位置(臀大肌、股四头肌等)的动作信号(肌电信号和姿态信号)对应的特征信息判断用户动作的动作类型,并基于标准深蹲动作的动作信号判断用户深蹲动作的动作质量。动作时间是指用户一个或多个动作类型对应的时间或运动过程的总时间。关于基于肌电信号对应的特征信息和/或姿态信号对应的特征信息对用户运动的动作进行监控的详细内容可以参考本申请图6及其相关描述。
图6是根据本申请一些实施例所示的对用户运动动作进行监控的示例性流程图。如图6所示,流程600可以包括:
在步骤610中,基于与肌电信号对应的特征信息或姿态信号对应的特征信息对动作信号进行分段。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。用户运动时的动作信号(例如,肌电信号、姿态信号)的采集过程是连续的,并且用户运动时的动作可以是多组动作的组合或不同动作类型的动作组合。为了对用户运动中的各个动作进行分析,处理模块220可以基于用户运动时的肌电信号对应的特征信息或姿态信号对应的特征信息对用户动作信号进行分段。这里所说的对动作信号进行分段是指将动作信号划分为相同或不同时长的信号段,或者从所述动作信号中提取一个或多个具有特定时长的信号段。在一些实施例中,每段动作信号可以对应用户一个或多个完整的动作。例如,用户进行深蹲运动时,用户从站立姿势到蹲下,再起身恢复站立姿势可以视为用户完成一次深蹲动作,获取模块210在这个过程中采集到的动作信号可以视为一段(或一个周期)动作信号,在此之后,获取模块210采集到的用户完成下一次深蹲动作产生的动作信号则视为另一段动作信号。在一些实施例中,每段动作信号还可以对应用户的部分动作,这里的部分动作可以理解为一个完整动作中的部分动作。例如,用户进行深蹲运动时,用户从站立姿势到蹲下可以视为一段动作,再起身恢复站立姿势可以视为另一段动作。用户在运动时每个动作步骤的变化会使得相应部位的肌电信号和姿态信号发生变化。例如,用户在进行深蹲动作时,用户站立时的身体相应部位(例如,手臂、腿部、臀部、腹部)对应的肌肉处的肌电信号和姿态信号的波动较小,当用户由站立姿势进行下蹲时,用户身体相应部位对应的肌肉处的肌电信号和姿态信号会产生较大的波动,比如,肌电信号中不同频率的信号对应的幅值信息变大,又比如,姿态信号对应的角速度值、角速度方向、角速度的加速度值、角度、位移信息、应力等也会发生改变。当用户由下蹲状 态起身到站立状态时,肌电信号对应的幅值信息和姿态信号对应的角速度值、角速度方向、角速度的加速度值、角度、位移信息、应力又会发生改变。基于这种情况,处理模块220可以基于肌电信号对应的特征信息或姿态信号对应的特征信息对用户的动作信号进行分段。关于基于与肌电信号对应的特征信息或姿态信号对应的特征信息对动作信号进行分段的详细内容可以参考本申请说明书图7和图8及其相关描述。
在步骤620中,基于至少一段动作信号对用户运动的动作进行监控。
该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,基于至少一段动作信号对用户运动的动作进行监控可以包括基于至少一段的动作信号和至少一段预设动作信号进行匹配,确定用户运动时的动作类型。至少一段预设动作信号是指在数据库中预先设置的不同动作对应的标准动作信号。在一些实施例中,通过判断至少一段动作信号和至少一段预设动作信号的匹配度可以确定用户运动时的动作类型。进一步地,判断动作信号与预设动作信号的匹配度是否在第一匹配阈值范围(例如,大于80%)内,如果是,则根据预设动作信号对应的动作类型确定用户运动时的动作类型。在一些实施例中,基于至少一段的动作信号对用户运动的动作进行监控还可以包括基于至少一段肌电信号对应的特征信息和至少一段的预设动作信号中肌电信号对应的特征信息进行匹配,确定用户运动时的动作类型。例如,分别计算一段肌电信号中一个或多个特征信息(例如,频率信息、幅值信息)与一段预设动作信号中的一个或多个特征信息的匹配度,判断一个或多个特征信息的加权匹配度或平均匹配度是否在第一匹配阈值范围内,如果是,则根据预设动作信号对应的动作类型确定用户运动时的动作类型。在一些实施例中,基于至少一段的动作信号对用户运动的动作进行监控还可以包括基于至少一段姿态信号对应的特征信息和至少一段的预设动作信号中姿态信号对应的特征信息进行匹配,确定用户运动时的动作类型。例如,分别计算一段姿态信号中一个或多个特征信息(例如,角速度值、角速度方向和角速度的加速度值、角度、位移信息、应力等)与一段预设动作信号中的一个或多个特征信息的匹配度,判断一个或多个特征信息的加权匹配度或平均匹配度是否在第一匹配阈值范围内,如果是,则根据预设动作信号对应的动作类型确定用户运动时的动作类型。在一些实施例中,基于至少一段的动作信号对用户运动的动作进行监控还可以包括基于至少一段动作信号中的肌电信号对应的特征信息、姿态信号对应的特征信息和至少一段的预设动作信号中肌电信号对应的特征信息、姿态信号对应的特征信息进行匹配,确定用户运动时的动作类型。
在一些实施例中,基于至少一段动作信号对用户运动的动作进行监控可以包括基于至少一段动作信号和至少一段预设动作信号进行匹配,确定用户运动时的动作质量。进一步地,如果动作信号与预设动作信号的匹配度在第二匹配阈值范围(例如,大于90%)内,则用户运动时的动作质量符合标准。在一些实施例中,基于至少一段的动作信号确定用户运动的动作可以包括基于至少一段的动作信号中的一个或多个特征信息和至少一段的预设动作信号中的一个或多个特征信息进行匹配,确定用户运动时的动作质量。 需要注意的是,一段动作信号可以是一个完整动作的动作信号,或者是一个完整动作中部分动作的动作信号。在一些实施例中,对于复杂的一个完整动作,在完整动作的不同阶段会有不同的发力方式,也就是说,在动作的不同阶段会有不同的动作信号,通过对一个完整动作不同阶段的动作信号进行监控可以提高对用户动作监控的实时性。
图7是根据本申请一些实施例所示的动作信号分段的示例性流程图。如图7所示,流程700可以包括:
在步骤710中,基于所述肌电信号或所述姿态信号的时域窗口,根据预设条件从所述时域窗口内确定至少一个目标特征点。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。肌电信号的时域窗口包含一段时间范围内的肌电信号,姿态信号的时域窗口包含同样一段时间范围内的姿态信号。目标特征点是指动作信号中具有目标特征的信号,其可以表征用户动作所处的阶段。例如,用户进行坐姿夹胸时,开始时,用户双臂在水平方向呈左右伸展状态,之后双臂开始内旋,然后双臂合拢,最后双臂在水平方向再次恢复到伸展状态,这个过程为一个完整的坐姿夹胸动作。当用户进行坐姿夹胸动作时,各个阶段的肌电信号或姿态信号对应的特征信息是不同的,通过对肌电信号对应的特征信息(例如,幅值信息、频率信息)或姿态信号对应的特征信息(例如,角速度值、角速度方向、角速度的加速度值、角度、位移信息、应力等)进行分析可以确定与用户动作所处的阶段相对应的目标特征点。在一些实施例中,根据预设条件从时域窗口内可以确定一个或多个目标特征点。在一些实施例中,预设条件可以包括姿态信号对应的角速度方向发生变化、姿态信号对应的角速度大于或等于角速度阈值、姿态信号对应的角度达到角度阈值、姿态信号对应的角速度值的变化值为极值、肌电信号对应的幅值信息大于或等于肌电阈值中的一种或多种。在一些实施例中,一个动作不同阶段的目标特征点可以对应不同的预设条件。例如,坐姿夹胸动作中,用户双臂在水平方向呈左右伸展状态然后双臂开始内旋时为目标特征点的预设条件与双臂合拢时为目标特征点的预设条件不同。在一些实施例中,不同动作的目标特征点可以对应不同的预设条件。例如,坐姿夹胸动作和二头弯举动作的动作不同,关于这两个动作中各自的预设目标点对应的预设条件也不同。关于预设条件的示例内容可以参考本申请中关于动作开始点、动作中间点和动作结束点的描述。
在其他实施例中,还可以同时基于所述肌电信号和所述姿态信号的时域窗口,根据预设条件从所述时域窗口内确定至少一个目标特征点。这里可以通过结合肌电信号对应的特征信息(例如,幅值信息)和姿态信号对应的特征信息(例如,角速度值、角速度方向、角速度的加速度值、角度等)确定目标特征点。
在步骤720中,基于所述至少一个目标特征点对所述动作信号进行分段。
在一些实施例中,该步骤720可以由处理模块220和/或处理设备110执行。在一些实施例中,肌电信号或姿态信号中的目标特征点可以为一个或多个,通过一个或多个目标特征点可以将动作信号分为多段。需要注意的是,目标特征点对应的动作阶段可以包 括一种或多种,当目标特征点对应的动作阶段为多种时,可以将多种目标特征点作为基准对动作信号进行分段。例如,目标特征点对应的动作阶段可以包括动作开始点和动作结束点,动作开始点在动作结束点之前,这里可以将动作开始点到下个动作开始点之间的动作信号视为一段动作信号。
在一些实施例中,目标特征点可以包括动作开始点、动作中间点或动作结束点中的一种或多种。
在一些实施例中,可以重复确定动作信号中的至少一组动作开始点、动作中间点和动作结束点,并基于至少一组动作开始点、动作中间点和动作结束点作为目标特征点对动作信号进行分段。
需要说明的是,上述根据动作开始点、动作中间点和动作结束点作为一组目标特征点对动作信号进行分段并监控仅作为示例性说明,在一些实施例中,还可以基于动作开始点、动作中间点、动作结束点中的任意一种或多种作为目标特征点对用户的动作信号进行分段并监控。例如,还可以以动作开始点作为目标特征点对动作信号进行分段并监控。又例如,还可以以动作开始点和动作结束点作为一组目标特征点对动作信号进行分段并监控,可以起到目标特征点作用的其他时间点或时间范围均在本申请的保护范围内。
图8是根据本申请一些实施例所示的动作信号分段的示意图。图8中横坐标可以表示用户运动的时间,纵坐标可以表示用户坐姿夹胸训练时对应的肌肉部位(例如胸大肌)肌电信号的幅值信息。图8中还包括了用户运动过程中手腕位置姿态信号对应的角速度变化曲线和欧拉角变化曲线,其中,角速度变化曲线用以表征用户运动时的速度变化情况,欧拉角曲线用以表征用户运动时的身体部位所处的位置情况。如图8所示,根据预设条件确定A1点为动作开始点。具体地,用户动作开始点A1之后时间点的角速度方向相对于动作开始点A1之前时间点的角速度方向改变。进一步地,动作开始点A1的角速度值近似为0,且动作开始点A1处角速度的加速度值大于0。
参照图8,根据预设条件确定B1点为动作中间点。具体地,用户动作中间点B1之后时间点的角速度方向相对于动作中间点B1之前时间点的角速度方向改变,动作中间点B1的角速度值近似为0,其中,动作中间点B1的角速度方向与动作开始点A1的角速度方向相反。另外,肌电信号(图8中以“肌电信号”示出)中与动作中间点B1对应的幅值大于肌电阈值。
继续参照图8,根据预设条件确定C1点为动作结束点。具体地,动作结束点C1的角速度值的变化值为动作开始点A1至动作结束点C1的极值。在一些实施例中,流程700可以完成图8所示的动作分段,如图8所示的动作开始点A1至动作结束点C1的动作信号可以视为用户运动的一段信号。
在获取用户的动作信号时,用户的其他生理参数信息(例如,心率信号)、运动过程中获取模块210与人体发生相对移动或挤压等外界条件会影响动作信号的质量,比如导致肌电信号中存在突变,从而影响对用户动作的监控。为方便描述,突变的肌电信号 可以用奇异点来描述,示例性的奇异点可以包括毛刺信号、不连续信号等。在一些实施例中,至少基于肌电信号对应的特征信息或姿态信号对应的特征信息对所述用户运动的动作进行监控还可以包括:在频域或时域上对肌电信号进行预处理,基于预处理后的肌电信号获取肌电信号对应的特征信息,并根据肌电信号对应的特征信息或姿态信号对应的特征信息并对用户运动的动作进行监控。在一些实施例中,在频域或时域上对肌电信号进行预处理可以包括在频域上对所述肌电信号进行滤波以在频域上选取或保留所述肌电信号中特定频率范围的成分。
在一些实施例中,在频域或时域上对肌电信号进行预处理还可以包括在时域上对肌电信号进行信号校正处理。信号校正处理是指对肌电信号中的奇异点(例如,毛刺信号、不连续信号等)进行校正。在一些实施例中,在时域上对肌电信号进行信号校正处理可以包括确定肌电信号中的奇异点,即确定肌电信号中的突变信号。奇异点可以是肌电信号某一时刻内,其幅值发生突变,造成信号的非连续。又例如,肌电信号形态上比较光滑,肌电信号的幅值没有发生突变,但肌电信号的一阶微分有突变产生,且一阶微分是不连续的。在一些实施例中,确定肌电信号中的肌电信号中奇异点的方法可以包括但不限于傅里叶变换、小波变换、分形维数等中的一种或多种。在一些实施例中,在时域上对肌电信号进行信号校正处理可以包括去除肌电信号中的奇异点,例如,删除奇异点及其附近一段时间范围内的信号。可替代地,在时域上对肌电信号进行信号校正处理可以包括根据特定时间范围内的肌电信号的特征信息对肌电信号的奇异点进行修正,例如根据奇异点周围的信号对奇异点的幅值进行调整。在一些实施例中,肌电信号的特征信息可以包括幅值信息、幅值信息的统计信息中的一种或多种。幅值信息的统计信息(也被称为幅值熵)是指肌电信号在时域上幅值信息的分布情况。在一些实施例中,通过信号处理算法(例如,傅里叶变换、小波变换、分形维数)确定了肌电信号中的奇异点的位置(例如,对应的时间点)之后,可以根据奇异点的位置之前或之后的特定时间范围内的肌电信号对奇异点进行修正。例如,奇异点为突变波谷时,可以根据突变波谷之前或之后的特定时间范围(例如,5ms-60ms)内的肌电信号的特征信息(例如,幅值信息、幅值信息的统计信息)对突变波谷处的肌电信号进行补充。
以奇异点为毛刺信号进行示例性说明,图9是根据本申请一些实施例所示的肌电信号预处理的示例性流程图。如图9所示,流程900可以包括:
在步骤910中,基于所述肌电信号的时域窗口,从所述肌电信号的时域窗口内选取不同的时间窗口,其中,所述不同的时间窗口分别覆盖不同的时间范围。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,不同窗口可以包括至少一个特定窗口。特定窗口是指在时域窗口中选取的具有特定时间长度的窗口。例如,肌电信号的时域窗口的时间长度为3s时,特定窗口的时间长度可以为100ms。在一些实施例中,特定窗口可以包括多个不同的时间窗口。仅作为示例性说明,特定窗口可以包括第一时间窗口和第二时间窗口,第一时间窗口可以是指 特定窗口内对应部分时间长度的一个窗口,例如,特定窗口的时间长度为100ms时,第一时间窗口的时间长度可以为80ms。第二时间窗口可以是指特定窗口内对应部分时间长度的另一个窗口,例如,特定窗口为100ms时,第二时间窗口可以为20ms。在一些实施例中,第一时间窗口和第二时间窗口可以是同一个特定窗口内连续的时间窗口。在一些实施例中,第一时间窗口和第二时间窗口也可以是同一个特定窗口内不连续的或者重叠的两个时间窗口。在一些实施例中,处理模块220可以基于肌电信号的时域窗口,从肌电信号的时域窗口的时间始点按照特定时间长度依次滑动并更新特定窗口,并可以将更新后的特定窗口继续划分为第一时间窗口和第二时间窗口。这里所说的特定时间长度可以小于1s、2s、3s等。例如,处理模块220可以选取特定时间长度为100ms的特定窗口,并将该特定窗口划分为80ms的第一时间窗口和20ms的第二时间窗口。进一步地,该特定窗口可以沿时间方向滑动而更新。这里滑动的距离可以为第二时间窗口的时间长度(例如,20ms),也可以是其他合适的时间长度,例如,30ms,40ms等。
在步骤920中,基于所述不同的是时间窗口中所述肌电信号对应的特征信息确定所述毛刺信号。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,肌电信号对应的特征信息可以至少包括幅值信息、幅值信息的统计信息中的一种。在一些实施例中,处理模块220可以获取不同的时间窗口(例如,第一时间窗口、第二时间窗口)中肌电信号对应的幅值信息或幅值信息的统计信息确定毛刺信号的位置。关于基于不同的时间窗口中肌电信号对应的特征信息确定毛刺信号的位置的具体说明,可以参考图10及其相关描述。
图10是根据本申请一些实施例所示的去毛刺信号的示例性流程图。如图10所示,流程1000可以包括:
在步骤1010中,确定第一时间窗口内肌电信号对应的第一幅值信息和第二时间窗口内肌电信号对应的第二幅值信息。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,处理模块220可以选定第一时间窗口和第二时间窗口的时间长度,并提取第一时间窗口时间长度内肌电信号对应的第一幅值信息和第二时间窗口时间长度内肌电信号对应的第二幅值信息。在一些实施例中,第一幅值信息可以包括第一时间窗口内肌电信号的平均幅值,第二幅值信息可以包括第二时间窗口内肌电信号的平均幅值。例如,处理模块220可以选取第一时间窗口时间长度为80ms并提取第一时间窗口内肌电信号对应的第一幅值信息,处理模块220可以选取第二时间窗口时间长度为20ms并提取第二时间窗口内肌电信号对应的第二幅值信息。
在一些实施例中,第一时间窗口时间长度和第二时间窗口时间长度的选取与最短的毛刺信号长度以及系统的计算量有关。在一些实施例中,可以根据毛刺信号的特点选取第一时间窗口时间长度和第二时间窗口时间长度。心电毛刺信号的时间长度是 40ms-100ms、心电信号中两个毛刺信号的时间间隔可以为1s左右、毛刺信号峰值点两边基本是对称的、毛刺信号两边的幅值分布比较平均等。在一些实施例中,当毛刺信号为心电信号时,可以选取小于毛刺信号的时间长度,例如,毛刺信号长度的一半,作为第二时间窗口的时间长度,第一时间窗口的时间长度可以大于第二时间窗口的长度,例如,为第二时间窗口时间长度的4倍。在一些实施例中,第一时间窗口的时间长度只要在毛刺信号间隔(约1s)减去第二时间窗口长度的范围内。还需要说明的是,上述选取的第一时间窗口的时间长度和第二时间窗口的时间长度不限于上述的描述,只要满足第二时间窗口的时间长度与第一时间窗口的时间长度之和小于相邻的两个毛刺信号时间间隔,或第二时间窗口的时间长度小于单个毛刺信号长度,或第二时间窗口内肌电信号幅值和第一时间窗口内肌电信号幅值具有较好的区分度即可。
在步骤1020中,判断第二幅值信息与第一幅值信息的比值是否大于阂值。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,处理模块220可以判断第二时间窗口内肌电信号对应的第二幅值信息与第一时间窗口内肌电信号对应的第一幅值信息的比值是否大于阂值。这里的阈值可以存储在可穿戴设备130的存储器或硬盘中,也可以存储于处理设备110中,或者根据实际情况进行调整。在一些实施例中,若处理模块220判断第二幅值信息与第一幅值信息的比值大于阈值,则步骤1020可以进行到步骤1030。在另一些实施例中,若处理模块220判断第二幅值信息与第一幅值信息的比值不大于阈值,则步骤1020可以进行到步骤1040。
在步骤1030中,对第二时间窗口内的肌电信号进行信号校正处理。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,处理模块220可以根据步骤1020中的第二幅值信息与第一幅值信息的比值与阈值的大小关系的判断结果,执行对第二时间窗口内的肌电信号进行信号校正处理。例如,在一些实施例中,第二幅值信息与第一幅值信息的比值大于阈值,则第二幅值信息对应的第二时间窗口内的肌电信号为毛刺信号。在一些实施例中,处理第二时间窗口内的肌电信号可以包括基于第二时间窗口之前或之后的特定时间范围内的肌电信号对第二时间窗口内的肌电信号进行信号校正处理。
在步骤1040中,保留第二时间窗口内的肌电信号。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,处理模块220可以根据步骤1020中的第二幅值信息与第一幅值信息的比值与阈值的大小关系的判断结果,执行保留第二时间窗口内的肌电信号。例如,在一些实施例中,第二幅值信息与第一幅值信息的比值不大于阈值,则第二幅值信息对应的第二时间窗口内的肌电信号为正常肌电信号,该正常肌电信号可以被保留,即保留第二时间窗口内的肌电信号。
需要说明的是,用户肌肉发力过程中电荷逐渐累积,肌电信号的幅值是逐渐升高的,因此在不存在毛刺信号的情况下,相邻的两个时间窗口(例如,第一时间窗口和第二时 间窗口)内的肌电信号幅值不会突变。在一些实施例中,基于流程1000来判断并去除肌电信号中的毛刺信号可以实现对毛刺信号的实时处理,从而可以使得可穿戴设备130或者移动终端设备140向用户实时反馈其运动状态,帮助用户更加科学的进行运动。
在一些实施例中,第一时间窗口对应的时间长度可以大于第二时间窗口对应的时间长度。在一些实施例中,特定窗口对应的特定时间长度可以小于1s。在一些实施例中,第一时间窗口对应的时间长度与第二时间窗口对应的时间长度的比值可以大于2。在一些实施例中,第一时间窗口对应的时间长度、第二时间窗口对应的时间长度、特定窗口对应的特定时间长度的选取,一方面可以保证最短的毛刺信号长度(例如,40ms)可以被去除且具有高信噪比,另一方面可以使得系统的计算量相对较小,减少系统的重复计算,降低时间复杂度,从而可以提高系统的计算效率和计算精准性。
在一些实施例中,姿态信号可以由可穿戴设备130上的姿态传感器进行获取。可穿戴设备130上的姿态传感器可以分布在人体四肢部位(例如,手臂、腿部等)、人体的躯干部位(例如,胸部、腹部、背部、腰部等)和人体的头部等。姿态传感器可以实现人体的四肢部位、躯干部位等其它部位的姿态信号采集。在一些实施例中,姿态传感器还可以为具有姿态融合算法的姿态测量单元(AHRS)的传感器。姿态融合算法可以将具有三轴加速度传感器、三轴角速度传感器、三轴地磁传感器的九轴惯性测量单元(IMU)的数据融合为欧拉角或四元数,以获取姿态传感器所在用户身体部位的姿态信号。在一些实施例中,处理模块220和/或处理设备110可以基于姿态信号确定姿态对应的特征信息。在一些实施例中,姿态信号对应的特征信息可以包括但不限于角速度值、角速度方向、角速度的加速度值等。在一些实施例中,姿态传感器可以为应变传感器,应变传感器可以获取用户关节处的弯曲方向和弯曲角度,从而获取用户运动时的姿态信号。例如,应变传感器可以设置于用户的膝关节处,当用户运动时,用户的身体部位作用于应变传感器,基于应变传感器的电阻或长度变化情况可以计算出用户膝关节处的弯曲方向和弯曲角度,从而获取用户腿部的姿态信号。在一些实施例中,姿态传感器还可以包括光纤传感器,姿态信号可以由光纤传感器的光线弯曲后的方向变化来表征。在一些实施例中,姿态传感器还可以为磁通量传感器,姿态信号可以由磁通量的变换情况进行表征。需要注意的是,姿态传感器的类型不限于上述的传感器,还可以为其它传感器,能够获取用户姿态信号的传感器均在本申请的姿态传感器的范围内。
图11是根据本申请一些实施例所示的确定姿态信号对应的特征信息的示例性流程图。如图11所示,流程1100可以包括:
在步骤1110中,获取目标坐标系以及该目标坐标系与至少一个原始坐标系之间的转换关系。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,原始坐标系是指设置在人体上的姿态传感器对应的坐标系。当用户使用可穿戴设备130时,可穿戴设备130上的各姿态传感器分布于人体的不同部位,使得各姿态传感 器在人体上的安装角度不同,而不同部位的姿态传感器分别以各自本体的坐标系作为原始坐标系,因此不同部位的姿态传感器具有不同的原始坐标系。在一些实施例中,各个姿态传感器获取的姿态信号可以是在其对应的原始坐标系下的表达。通过将不同原始坐标系下的姿态信号转化到同一坐标系(例如,目标坐标系)中,便于确定人体不同部位之间的相对运动。在一些实施例中,目标坐标系是指基于人体建立的人体坐标系。例如,目标坐标系中可以将人体躯干的长度方向(即垂直于人体横切面的方向)作为Z轴,人体躯干的前后方向(即垂直于人体冠状面的方向)作为X轴,人体躯干的左右方向(即垂直于人体矢状面的方向)作为Y轴。在一些实施例中,目标坐标系与原始坐标系之间存在转换关系,通过该转换关系可以将原始坐标系中的坐标信息转换为目标坐标系中的坐标信息。在一些实施例中,该转换关系可以表示为一个或多个旋转矩阵。关于确定目标坐标系与原始坐标系之间的转换关系的详细内容可以参考参考本申请说明书图13及其相关描述。
在步骤1120中,基于转换关系,将至少一个原始坐标系中的坐标信息转换为目标坐标系中的坐标信息。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。原始坐标系中的坐标信息是指原始坐标系中三维坐标信息。目标坐标系中的坐标信息是指目标坐标系中三维坐标信息。仅作为示例性说明,原始坐标系中的坐标信息v
1,根据转换关系可以将原始坐标系中的坐标信息转换为目标坐标系中的坐标信息v
2。具体地,坐标信息v
1和坐标信息v
2之间可以用旋转矩阵进行转换,这里的旋转矩阵可以理解为原始坐标系与目标坐标系之间的转换关系。具体地,原始坐标系中的坐标信息v
1可以通过第一旋转矩阵转换为坐标信息v
1-1,坐标信息v
1-1通过第二旋转矩阵可以变为坐标信息v
1-2,坐标信息v
1-2通过第三旋转矩阵可以变为坐标信息v
1-3,坐标信息v
1-3即为目标坐标系中的坐标信息v
2。需要注意的是,旋转矩阵不限于上述的第一旋转矩阵、第二旋转矩阵和第三旋转矩阵,还可以包括更少或更多的旋转矩阵。在一些替代性实施例中,旋转矩阵还可以为一个旋转矩阵或多个旋转矩阵的组合。
在步骤1130中,基于目标坐标系中的坐标信息,确定姿态信号对应的特征信息。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,基于目标坐标系中的坐标信息确定用户姿态信号对应的特征信息可以包括基于用户运动过程中的目标坐标系中的多个坐标信息确定用户姿态信号对应的特征信息。例如,用户进行坐姿夹胸运动时,用户手臂向前平举时可以对应目标坐标系中的第一坐标信息,用户手臂打开到与躯干在同一平面内时可以对应目标坐标系中的第二坐标信息,基于第一坐标信息和第二坐标信息可以计算用户姿态信号对应的特征信息。例如,角速度、角速度方向、角速度的加速度值等。
在一些实施例中,还可以通过位于用户身体不同位置的姿态传感器对应的特征信息判断用户身体不同运动部位之间的相对运动。例如,通过用户手臂处的姿态传感器对应 的特征信息和用户躯干部位的姿态传感器对应的特征信息,可以判断用户运动过程中手臂与躯干之间的相对运动。图12是根据本申请一些实施例所示的确定用户的不同运动部位之间的相对运动的示例性流程图。如图12所示,流程1200可以包括:
在步骤1210中,基于不同的原始坐标系与目标坐标系的转换关系,确定至少两个传感器分别对应的特征信息。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,不同的传感器由于在人体处的安装位置不同,传感器对应的原始坐标系与目标坐标系之间具有不同的转换关系。在一些实施例中,处理设备110可以将用户不同部位(例如,小臂、大臂、躯干等)的传感器对应的原始坐标系中的坐标信息分别转换为目标坐标系中的坐标信息,从而可以分别确定至少两个传感器对应的特征信息。关于原始坐系中的坐标信息转化为目标坐标系中的坐标信息的相关描述可以在本申请的其他地方找到,例如,图11,在此不做赘述。
在步骤1220中,基于至少两个传感器分别对应的特征信息,确定用户的不同运动部位之间的相对运动。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,运动部位可以是指人体上可以独立运动的肢体,例如,小臂、大臂、小腿、大腿等。仅作为示例性说明,用户进行手臂举哑铃运动时,设置在小臂部位的传感器对应的目标坐标系中的坐标信息和设置在大臂部位的传感器对应的目标坐标系中的坐标信息相结合,可以确定用户小臂和大臂之间的相对运动,从而可以确定用户的手臂举哑铃动作。
在一些实施例中,用户的同一运动部位还可以设置多个相同或不同类型的传感器,多个相同或不同类型的传感器对应的原始坐标系中的坐标信息可以分别转换为目标坐标系中的坐标信息。例如,用户的小臂部位的不同位置处可以设置多个相同或不同类型传感器,多个相同或不同类型的传感器对应的目标坐标系中的多个坐标信息可以同时表征用户小臂部位的运动动作。例如,可以对多个相同类型传感器对应的目标坐标系中的坐标信息求平均值,从而提高用户运动过程中运动部位的坐标信息的准确性。又例如,可以对多个不同类型传感器对应的坐标系中的坐标信息通过融合算法(例如,卡尔曼滤波等)获取目标坐标系中的坐标信息。
图13是根据本申请一些实施例所示的确定原始坐标系与特定坐标系的转换关系的示例性流程图。在一些实施例中,所述确定原始坐标系与特定坐标系的转换关系的过程也可以叫做标定过程。如图13所示,流程1300可以包括:
在步骤1310中,构建特定坐标系。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,至少一个原始坐标系与目标坐标系之间的转换关系可以通过标定过程获得。特定坐标系是指在标定过程中,用于确定原始坐标系与目标坐标系之间转换关系的参考坐标 系。在一些实施例中,构建的特定坐标系可以以人体站立时躯干的长度方向为Z轴,以人体前后方向为X轴,以人体躯干的左右方向为Y轴。在一些实施例中,特定坐标系与标定过程中用户的朝向有关。例如,在标定过程中,用户身体正面朝向某个固定方向(例如,北方),则人体前方(北方)方向即为X轴,在标定过程中,X轴的方向是固定的。
在步骤1320中,获取用户处于第一姿势时至少一个原始坐标系中的第一坐标信息。
在一些实施例中,该步骤可以由获取模块210执行。第一姿势可以是用户保持近似站立的姿势。获取模块210(例如,传感器)可以基于用户的第一姿势获取原始坐标系中的第一坐标信息。
在步骤1330中,获取用户处于第二姿势时至少一个原始坐标系中的第二坐标信息。
在一些实施例中,该步骤可以由获取模块210执行。第二姿势可以是传感器所在的用户身体部位(例如,手臂)向前倾斜的姿势。在一些实施例中,获取模块210(例如,传感器)可以基于用户的第二姿势(例如,向前倾斜姿势)获取原始坐标系中的第二坐标信息。
在步骤1340中,根据第一坐标信息、第二坐标信息和特定坐标系确定至少一个原始坐标系与特定坐标系的转换关系。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,可以通过第一姿势对应的第一坐标信息确定第一旋转矩阵。在第一姿势时,由于特定坐标系在ZYX旋转顺序下的X和Y方向欧拉角为0,而原始坐标系的X和Y方向欧拉角不一定为0,那么第一旋转矩阵就是将原始坐标系绕着X轴逆向旋转,然后绕着Y轴逆向旋转得到的旋转矩阵。在一些实施例中,可以通过第二姿势(例如,传感器所在的身体部位前倾)的第二坐标信息确定第二旋转矩阵。具体地,第二姿势时,已知特定坐标系在ZYZ旋转顺序下,Y和Z3方向欧拉角为0,原始坐标系在Y和Z3方向的欧拉角不一定为0,那么第二旋转矩阵就是将原始坐标系绕着Y方向逆向旋转,然后绕着Z3方向逆向旋转得到的旋转矩阵。通过上述第一旋转矩阵和第二旋转矩阵可以确定原始坐标系和特定坐标系之间的转换关系。在一些实施例中,当原始坐标系(传感器)为多个时,可以采用上述的方法确定每一个原始坐标系与特定坐标系之间的转换关系。
图14是根据本申请一些实施例所示的确定原始坐标系与目标坐标系之间的转换关系的示例性流程图。如图14所示,流程1400可以包括:
在步骤1410中,获取特定坐标系与目标坐标系的转换关系。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。特定坐标系与目标坐标系都是以人体躯干的长度方向为Z轴,因此通过特定坐标系的X轴与目标坐标系的X轴的转换关系以及特定坐标系的Y轴与目标坐标系的Y轴之间的转换关系,可以获取特定坐标系与目标坐标系之间的转换关系。关于获取特定坐标关系与目标坐标系之间的转换关系的原理可以参考图13及其相关内容。
在一些实施例中,特定坐标系可以以人体躯干的长度方向为Z轴,人体前后方向为标定的X轴。由于用户在运动(例如,转体运动)的过程中用户身体的前后方向会发生变化而不能保持在标定的坐标系中,因此需要确定一个可以随着人体转动的坐标系,即目标坐标系。在一些实施例中,目标坐标系可以随着用户的朝向变化而变化,目标坐标系的X轴始终是人体躯干的正前方。
在步骤1420中,根据至少一个原始坐标系与特定坐标系的转换关系,以及特定坐标系与目标坐标系的转换关系,确定至少一个原始坐标系与目标坐标系之间的转换关系。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,处理设备110可以根据流程1300中确定的至少一个原始坐标系与特定坐标系之间的转换关系,以及步骤1410中确定的特定坐标系与目标坐标系之间的转换关系,确定至少一个原始坐标系与目标坐标系之间的转换关系,从而可以将原始坐标系中的坐标信息转化为目标坐标系中的坐标信息。
在一些实施例中,可穿戴设备130上设置的姿态传感器的位置可能发生变化和/或姿态传感器在人体上的安装角度不同,则用户进行相同的运动,姿态传感器返回的姿态数据可以有较大的差别。
图15A是根据本申请一些实施例所示的人体小臂位置处原始坐标系中的欧拉角数据的示例性向量坐标图。框线部分可以表示用户做同一动作时小臂位置处对应的原始坐标系中的欧拉角数据(坐标信息)。如图15A所示,框线部分内Z轴方向(图15A中以“Z”示出)的欧拉角向量结果近似在-180°-(-80°)的范围内,Y轴方向(图15A中以“Y”示出)的欧拉角向量结果近似在0°上下波动,X轴方向(图15A中以“X”示出)的欧拉角向量结果近似在-80°上下波动。这里的波动范围可以是20°。
图15B是根据本申请一些实施例所示的人体小臂位置另一处原始坐标系中的欧拉角数据的示例性向量坐标图。框线部分可以表示用户做同一动作(与图15A所示的动作相同的动作)时小臂位置另一处对应的原始坐标系中的欧拉角数据。如图15B所示,框线部分内Z轴方向(图15B中以“Z′”示出)的欧拉角向量结果近似在-180°-180°的范围内,Y轴方向(图15B中以“Y′”示出)的欧拉角向量结果近似在0°上下波动,X轴方向(图15B中以“X′”示出)的欧拉角向量结果近似在-150°上下波动。这里的波动范围可以是20°。
图15A和图15B所示的欧拉角数据是基于人体小臂不同位置处(也可以理解为姿态传感器在人体小臂位置处的安装角度不同),用户做同一动作时分别得到的原始坐标系中的欧拉角数据(坐标信息)。对比图15A和图15B可以看出,姿态传感器在人体上安装角度的不同,用户做相同的动作时,姿态传感器返回的原始坐标系中的欧拉角数据的差别可以较大。例如,图15A中Z轴方向的欧拉角向量结果近似在-180°-(-80°)的范围内,图15B中Z轴方向的欧拉角向量结果近似在-180°-180°的范围内,二者差别较大。
在一些实施例中,可以将不同安装角度的传感器对应的原始坐标系中的欧拉角数据转换为目标坐标系中的欧拉角数据,从而便于对不同位置传感器的姿态信号进行分析。仅作为示例性说明,可以将左臂所在的直线抽象为一个从手肘指向手腕的单位向量,该单位向量是在目标坐标系内的坐标值。这里的目标坐标系定义为指向人体后方的轴为X轴,指向人体右侧的轴为Y轴,指向人体的上方的轴为Z轴,符合右手坐标系。例如,目标坐标系中的坐标值[-1,0,0]表示手臂向前平举;目标坐标系的坐标值[0,-1,0]表示手臂向左侧平举。图16A是根据本申请一些实施例所示的人体小臂位置处目标坐标系中的欧拉角数据的示例性向量坐标图。图16A是基于图15A中小臂在原始坐标的欧拉角数据转换为目标坐标系中的向量坐标后获取的曲线图,其中,框线部分可以表示用户做一动作时小臂位置处的目标坐标系中的欧拉角数据。如图16A所示,框线部分内小臂向量[x,y,z]在第一位置和第二位置之间往复运动,其中第一位置是[0.2,-0.9,-0.38],第二位置是[0.1,-0.95,-0.3]。需要注意的是,小臂的每一次往复运动,第一位置和第二位置会有小幅度的偏差。
图16B是根据本申请一些实施例所示的人体小臂位置另一处的目标坐标系中的欧拉角数据的示例性向量坐标图。图16B是基于图15B中小臂在原始坐标的欧拉角数据转换为目标坐标系中的向量坐标后获取的曲线图,其中,框线部分可以表示用户做同一动作(与图16A所示的动作相同的动作)时小臂位置另一处的目标坐标系中的欧拉角数据。如图16B所示,小臂向量[x,y,z]同样在第一位置和第二位置之间往复运动,其中第一位置是[0.2,-0.9,-0.38],第二位置是[0.1,-0.95,-0.3]。
结合图15A至图16B,从图15A和15B中可以看出,由于两个姿态传感器的安装位置不同,原始坐标系下的欧拉角在取值范围和波动形式上有着很大的区别,将两个姿态传感器对应的原始坐标系的坐标信息分别转换为目标坐标系对应的向量坐标(例如,图16A和16B中的向量坐标)后,可以得到两个近似相同的向量坐标,也就是说这种方法可以使得姿态信号对应的特征信息不受到传感器安装位置的影响。具体地,在图16A和图16B中可以看出两个姿态传感器在小臂上的安装位置不同,经过上述坐标转换后,得到了相同的向量坐标,即能够表征在坐姿夹胸过程中,手臂在状态一(手臂向右平举)和状态二(手臂向前平举)两个状态之间往复切换的过程。
图17是根据本申请一些实施例所示的肢体向量在目标坐标系中的向量坐标图。如图17所示,从上至下可以分别表示人体左手小臂(17-1)、右手小臂(17-2)、左手大臂(17-3),右手大臂(17-4),躯干(17-5)位置处姿态传感器在目标坐标系中的向量坐标。图17中示出了人体运动时各个位置(例如,17-1、17-2、17-3、17-4、17-5)在目标坐标系中的向量坐标。图17中前4200个点是对肢体进行标定所需要的标定动作,比如站立,躯干前行,手臂前伸,手臂侧平举等。使用前4200个点对应的标定动作进行标定,可以将姿态传感器采集到的原始数据转换为目标坐标系下的欧拉角。为了便于对数据进行分析,可以进一步转换为手臂向量在目标坐标系下的坐标向量。这里的目标坐 标系是指向躯干前方是X轴,指向躯干左侧是Y轴,指向躯干上方是Z轴。图17中的往复性动作从左到右的动作1、动作2、动作3、动作4、动作5、动作6分别是坐姿夹胸、高位下拉、坐姿推胸、坐姿推肩、杠铃二头弯举、坐姿夹胸。从图17中可以看出,不同的动作有不同的动作模式,可以使用肢体向量很清晰的识别出来。同时,相同的动作也有很好的可重复性,比如动作1和动作6均表示坐姿夹胸动作,这两段动作的曲线有着较好的重复性。
在一些实施例中,原始坐标系的模块直接输出的姿态数据(例如,欧拉角、角速度等)可以通过流程1300和1400转换为目标坐标系中的姿态数据,从而可以得到高一致性的姿态数据(例如,欧拉角、角速度、肢体向量坐标等)。
图18A是根据本申请一些实施例所示的原始角速度的示例性向量坐标图。原始角速度可以理解为将不同安装角度的传感器对应的原始坐标系中的欧拉角数据转换为目标坐标系中的欧拉角数据。在一些实施例中,用户运动过程中的抖动等因素会影响姿态数据中角速度的结果。如图18A所示,原始角速度在抖动等的影响下,其向量坐标曲线呈现出较为明显的不平滑曲线。例如,原始角速度的向量坐标曲线中存在突变信号,使得原始角速度的向量坐标曲线不平滑。在一些实施例中,针对抖动等对角速度结果的影响,需要对抖动的角速度进行修正得到平滑的向量坐标曲线。在一些实施例中,可以采用1Hz-3Hz低通滤波方法对原始角速度进行滤波处理。图18B是根据本申请一些实施例所示的滤波处理后的角速度的示例性结果图。如图18B所示,对原始角速度进行1Hz-3Hz的低通滤波处理后,可以消除抖动等对角速度的影响(例如,突变信号),使得角速度对应的向量坐标图可以呈现出较为平滑的曲线。在一些实施例中,对角速度进行1Hz-3Hz的低通滤波处理可以有效地规避抖动等对姿态数据(例如,欧拉角、角速度等)的影响,更加便于后续对信号分段的过程。在一些实施例中,滤波处理还可以滤除动作信号中的工频信号及其谐波信号、毛刺信号等。需要说明的是,1Hz-3Hz的低通滤波处理会引入系统时延,使得姿态信号获取的动作点与真实肌电信号的动作点有时间上的错位,因此在低通滤波处理后的向量坐标曲线的基础上减去低通滤波处理过程中产生的系统时延,保证姿态信号和肌电信号在时间上的同步。在一些实施例中,系统时延与滤波器的中心频率相关联,当姿态信号和肌电信号采用不同的滤波器进行处理时,系统时延根据滤波器的中心频率做适应性调整。在一些实施例中,由于欧拉角的角度范围为[-180°,+180°],当实际欧拉角不在这个角度范围内时,获取的欧拉角可能会有-180°到+180°或+180°到-180°的跳变。例如,当角度为-181°时,欧拉角的角度会跳变为179°。在实际应用过程中跳变会影响角度差值的计算,需要先对跳变进行修正。
在一些实施例中,还可以利用动作识别模型对用户的动作信号或者动作信号对应的特征信息进行分析,从而识别出用户动作。在一些实施例中,动作识别模型包括经过训练的用来识别用户动作的机器学习模型。在一些实施例中,动作识别模型可以包括一个或多个机器学习模型。在一些实施例中,动作识别模型可以包括但不限于对用户动作信 号进行分类的机器学习模型、识别用户动作质量的机器学习模型、识别用户动作次数的机器学习模型、识别用户执行动作的疲劳程度的机器学习模型中的一个或多个。
图19是根据本申请一些实施例所示的运动监控和反馈方法的示例性流程图。如图19所示,流程1900可以包括:
在步骤1910中,获取用户运动时的动作信号。
在一些实施例中,该步骤可以由获取模块210执行。在一些实施例中,动作信号至少包括肌电信号对应的特征信息和姿态信号对应的特征信息。动作信号是指用户运动时的人体参数信息。在一些实施例中,人体参数信息可以包括但不限于肌电信号、姿态信号、心率信号、温度信号、湿度信号、血氧浓度等中的一种或多种。在一些实施例中,动作信号可以至少包括肌电信号和姿态信号。在一些实施例中,获取模块210中的肌电传感器可以采集用户运动时的肌电信号,获取模块210中的姿态传感器可以采集用户运动时的姿态信号。
在步骤1920中,通过动作识别模型,基于所述动作信号对用户的运动动作进行监控,并基于动作识别模型的输出结果进行动作反馈。
在一些实施例中,该步骤可以由处理模块220和/或处理设备110执行。在一些实施例中,动作识别模型的输出结果可以包括但不限于动作类型、动作质量、动作数量、疲劳指数等中的一种或多种。例如,动作识别模型可以根据动作信号识别用户的动作类型为坐姿夹胸。又例如,动作识别模型中的一个机器学习模型可以根据动作信号先识别用户的动作类型为坐姿夹胸,动作识别模型中的另一个机器学习模型可以根据动作信号来输出用户动作的动作质量为标准动作或错误动作。在一些实施例中,动作反馈可以包括发出提示信息。在一些实施例中,提示信息可以包括但不限于语音提示、文字提示、图像提示、视频提示等。例如,动作识别模型的输出结果为错误动作,处理设备110可以控制可穿戴设备130或移动终端设备140向用户发出语音提示(例如,“动作不规范”等信息),用以提醒用户及时调整健身动作。又例如,动作识别模型的输出结果为标准动作,可穿戴设备130或移动终端设备140可以不发出提示信息,或者发生“动作标准”类似的提示信息。在一些实施例中,动作反馈也可以包括可穿戴设备130刺激用户运动的相应部位。例如,可穿戴设备130的元件通过振动反馈、电刺激反馈、压力反馈等方式刺激用户动作的对应部位。例如,动作识别模型的输出结果为错误动作,处理设备110可以控制可穿戴设备130的元件刺激用户运动的相应部位。在一些实施例中,动作反馈还可以包括输出用户运动时的运动记录。这里的运动记录可以是指用户动作类型、运动时长、动作数量、动作质量、疲劳指数、运动时的生理参数信息等中的一个或多个。
图20是根据本申请一些实施例所示的模型训练的应用的示例性流程图。如图20所示,流程2000可以包括:
在步骤2010中,获取样本信息。
在一些实施例中,该步骤可以由获取模块210执行。在一些实施例中,样本信息可 以包括专业人员(例如,健身教练)和/或非专业人员运动时的动作信号。例如,样本信息可以包括专业人员和/或非专业人员在进行同种类型的动作(例如,坐姿夹胸)时产生的肌电信号和/或姿态信号。在一些实施例中,样本信息中的肌电信号和/或姿态信号可以经过流程700的分段处理、流程900的毛刺处理和流程1300的转换处理等,形成至少一段肌电信号和/或姿态信号。该至少一段肌电信号和/或姿态信号可以作为机器学习模型的输入来对机器学习模型进行训练。在一些实施例中,至少用一段肌电信号对应的特征信息和/或姿态信号对应的特征信息也可以作为机器学习模型的输入来对机器学习模型进行训练。例如,可以将肌电信号的频率信息和幅值信息作为机器学习模型的输入。又例如,可以将姿态信号的角速度、角速度方向/角速度的加速度值作为机器学习模型的输入。再例如,可以将动作信号的动作开始点、动作中间点和动作结束点作为机器学习模型的输入。在一些实施例中,样本信息可以是从处理设备110的存储设备中得到的。在一些实施例中,样本信息可以是从获取模块210中得到的。
在步骤2020中,训练动作识别模型。
该步骤可以由处理设备110执行。在一些实施例中,动作识别模型可以包括一个或多个机器学习模型。例如,动作识别模型可以包括但不限于对用户动作信号进行分类的机器学习模型、识别用户动作质量的机器学习模型、识别用户动作次数的机器学习模型、识别用户执行动作的疲劳程度的机器学习模型中的一个或多个。
在一些实施例中,训练识别用户动作类型的机器学习模型时,可以将来自不同动作类型的样本信息(每段肌电信号或/姿态信号)进行打标签处理。例如,样本信息来自用户执行坐姿夹胸时产生的肌电信号和/或姿态信号可以标记为“1”,这里的“1”用于表征“坐姿夹胸”;样本信息来自用户执行二头弯举时产生的肌电信号和/或姿态信号可以标记为“2”,这里的“2”用于表征“二头弯举”。不同动作类型对应的肌电信号的特征信息(例如,频率信息、幅值信息)、姿态信号的特征信息(例如,角速度、角速度方向、角速度的角速度值)不同,将打标签的样本信息(例如,样本信息中肌电信号和/或姿态信号对应的特征信息)作为机器学习模型的输入来对机器学习模型进行训练,可以得到用于识别用户动作类型的动作识别模型,在该机器学模型中输入动作信号可以输出对应的动作类型。
在一些实施例中,动作识别模型还可以包括用于判断用户动作质量的机器学习模型。这里的样本信息可以包括标准动作信号(也被称为正样本)和非标准动作信号(也被称为负样本)。标准动作信号可以包括专业人员执行标准动作时产生的动作信号。在一些实施例中,可以将样本信息(每段肌电信号或/姿态信号)中的正样本和负样本进行打标签处理。例如,正样本标记为“1”,负样本标记为“0”。这里的“1”用于表征用户的动作为标准动作,这里的“0”用于表征用户的动作为错误动作。完成训练的机器学习模型可以根据输入的样本信息(例如,正样本,负样本)输出不同的标签。需要注意的是,动作识别模型可以包括一个或多个用于分析识别用户动作质量的机器学习模型,不 同的机器学习模型可以分别分析识别来自不同动作类型的样本信息。
在一些实施例中,动作识别模型还可以包括识别用户健身动作的动作数量的模型。例如,将样本信息中的动作信号(例如,肌电信号和/或姿态信号)经过流程700的分段处理,得到至少一组动作开始点、动作中间点、动作结束点,对每组的动作开始点、动作中间点和动作结束点分别进行标记,比如,动作开始点标记为1,动作中间点标记为2、动作结束点标记为3,将标记作为机器学习模型的输入,在机器学习模型中输入一组连续的“1”、“2”、“3”可以输出1次动作。例如,在机器学习模型中输入3组连续的“1”、“2”、“3”可以输出3次动作。
在一些实施例中,动作识别模型还可以包括用于识别用户疲劳指数的机器学习模型。这里的样本信息还可以包括心电信号、呼吸频率、温度信号、湿度信号等其他生理参数信号。例如,心电信号的不同频率范围可以作为机器学习模型的输入数据,心电信号的频率在60次/min-100次/min标记为“1”(正常),小于60次/min或大于100次/min标记为“2”(不正常)。在一些实施例中,还可以根据用户的心电信号频率进行进一步分段并标记不同的指数作为输入数据,完成训练的机器学习模型可以根据心电信号的频率输出对应的疲劳指数。在一些实施例中,还可以结合呼吸频率、温度信号等生理参数信号训练该机器学习模型。
在步骤2030中,提取动作识别模型。
在一些实施例中,该步骤可以由处理设备110执行。在一些实施例中,处理设备110和/或处理模块220可以提取动作识别模型。在一些实施例中,动作识别模型可以存储至处理设备110、处理模块220或移动终端设备140中。
在步骤2040中,获取用户动作信号。
在一些实施例中,该步骤可以由获取模块210执行。例如,在一些实施例中,获取模块210中的肌电传感器可以获取用户的肌电信号,获取模块210中的姿态传感器可以采集用户的姿态信号。在一些实施例中,用户动作信号还可以包括用户运动时的心电信号、呼吸信号、温度信号、湿度信号等其他生理参数信号。在一些实施例中,获取用户动作信号之后可以对动作信号(例如,肌电信号和/或姿态信号)进行流程700的分段处理、流程900的毛刺处理和流程1300的转换处理等,形成至少一段肌电信号和/或姿态信号。
在步骤2050中,通过动作识别模型,基于用户动作信号判断用户动作。
该步骤可以由处理设备110和/或处理模块220执行。在一些实施例中,处理设备110和/或处理模块220可以基于动作识别模型判断用户动作。例如,对用户动作信号进行分类的机器学习模型可以以用户的动作信号作为输入数据进而输出相应的动作类型。又例如,识别用户动作质量的机器学习模型可以以用户的动作信号作为输入数据进而输出动作的质量(例如,标准动作、错误动作)。再例如,识别用户执行动作的疲劳指数的机器学习模型可以以用户的动作信号(比如,心电信号频率)作为输入数据进而输出 用户的疲劳指数。在一些实施例中,用户动作信号和机器学习模型的判断结果(输出)也可以作为训练动作识别模型的样本信息,对动作识别模型进行训练,以优化动作识别模型的相关参数。
在步骤2060中,基于判断结果对用户动作进行反馈。
在一些实施例中,该步骤可以由可穿戴设备130和/或移动终端设备140执行。进一步地,处理设备110和/或处理模块220基于用户动作的判断结果向可穿戴设备130和/或移动终端140发出反馈指令,可穿戴设备130和/或移动终端设备140基于反馈指令对用户进行反馈。在一些实施例中,反馈可以包括发出提示信息(例如,文字信息、图片信息、视频信息、语音信息、指示灯信息等)和/或执行相应动作(电流刺激、振动、压力变化、热量变化等方式)刺激用户身体。例如,用户进行仰卧起坐动作时,通过对其动作信号进行监控,判断出其在运动过程中斜方肌用力过大(也就是说用户在运动过程中头部和颈部的动作不标准),在这种情况下可穿戴设备130中的输入/输出模块260(例如,震动提示器)和移动终端设备140(例如,智能手表、智能手机等)执行相应的反馈动作(例如,在用户身体部位施加振动,发出语音提示等)以提示用户及时调整发力部位。在一些实施例中,在用户运动过程中,通过对用户运动过程中的动作信号进行监控,判断出用户在运动过程的动作类型、动作质量、动作次数,移动终端设备140可以输出相应的运动记录,以便用户了解自己在运动过程中的运动情况。
在一些实施例中,对用户进行反馈时,反馈可以与用户感知相匹配。例如,用户动作不标准时对用户动作相应的区域进振动刺激,用户基于振动刺激可以知晓动作不标准,而振动刺激在用户可接受的范围内。进一步地,可以基于用户动作信号与用户感知建立匹配模型,在用户感知和真实反馈之间寻找最佳平衡点。
在一些实施例中,还可以根据用户动作信号训练动作识别模型。在一些实施例中,根据用户动作信号训练动作识别模型可以包括对用户动作信号进行评估确定用户动作信号的置信度。置信度的大小可以表示用户动作信号的质量。例如,置信度越高,用户动作信号的质量越好。在一些实施例中,对用户动作信号进行评估可以是在采集动作信号、预处理、分段和/或识别等阶段进行。
在一些实施例中,根据用户动作信号训练动作识别模型还可以包括判断置信度是否大于置信度阈值(例如,80),若置信度大于或等于置信度阈值,则基于该置信度对应的用户动作信号作为样本数据训练动作识别模型;若置信度小于置信度阈值,则该置信度对应的用户动作信号不作为样本数据训练动作识别模型。在一些实施例中,置信度可以包括但不限于采集动作信号、信号预处理、信号分段或信号识别等任意一个阶段的置信度。例如,以获取模块210采集到的动作信号的置信度作为判断标准。在一些实施例中,置信度可以还可以是采集动作信号、信号预处理、信号分段或信号识别等任意几个阶段的联合置信度。联合置信度可以基于每个阶段的置信度并采用平均或加权等方式进行计算。在一些实施例中,根据用户动作信号训练动作识别模型可以是实时、定期(例 如,一天、一周、一个月等)或满足一定数据量进行训练。
在一些实施例中,用户动作不标准时,处理设备110和/或处理模块220基于用户动作的判断结果向可穿戴设备130和/或移动终端140发出反馈指令,可穿戴设备130和/或移动终端设备140基于反馈指令对用户进行反馈,但用户本身自我感觉良好,导致用户对运动监控系统100的可信度下降。比如,用户在进行二头弯举时,动作的规范姿势是肩膀放松,而用户主观认知上认为自己已经放松了,但是实际上肩部会不自主发力,导致斜方肌肌肉用力过大。在这种情况下可穿戴设备130中的输入/输出模块260(例如,震动提示器)和移动终端设备140(例如,智能手表、智能手机等)执行相应的反馈动作(例如,在用户身体部位施加振动,发出语音提示等)以提示用户及时调整发力部位。此时用户的主观感知会和可穿戴设备130和/或移动终端设备140分析结果相悖,会认为可穿戴设备130和/或移动终端设备140的反馈结果不准确。因此,本申请还提供一种运动数据展示的方法,可以将用户进行运动时的动作数据与参考动作数据进行对比,并将对比结果通过虚拟人物的动画在移动终端设备140上的用户界面380进行展示,告诉用户各种动作数据的含义和系统分析数据给出建议的依据,使得用户可以通过观察和对比用户界面380上的虚拟人物的动画直观地观察出用户的动作与参考动作之间的差别,使得分析结果和用户感知差距变小,让用户意识到自己的动作确实不规范,从而认可运动监控系统100的反馈,快速意识到自身动作存在的问题,及时对运动动作进行调整以进行科学的运动。
图21是根据本申请一些实施例所示的运动数据展示的方法2100的示例性流程图。如前所述,运动数据展示系统160可以执行本申请提供的运动数据展示的方法2100。具体地,运动数据展示系统160可以在处理设备110上执行运动数据展示的方法2100,也可以在移动终端设备140上执行运动数据展示的方法2100。为了方便展示,我们将以运动数据展示系统160在移动终端设备140上执行运动数据展示的方法2100为例进行描述。具体地,移动终端设备140中的处理器320可以读取存储在其本地存储介质中的指令集,然后根据所述指令集的规定,执行本申请提供的运动数据展示的方法2100。所述运动数据展示的方法2100可以包括:
S2120:获取用户运动时的动作数据。
所述动作数据是指用户在完成目标姿态的动作类型的运动时的人体参数信息。在一些实施例中,人体参数信息可以包括但不限于肌电信号、姿态信号、心率信号、温度信号、湿度信号、血氧浓度等中的一种或多种。所述动作数据可以对应所述用户身上的多个测量位置的运动信号。所述动作数据可以是可穿戴设备130中的获取模块210中的传感器单元获取的用户运动时的多个测量位置的一种或多种动作信号。如前所述,传感器单元可以包括但不限于肌电传感器、姿态传感器、心电传感器、呼吸传感器、温度传感器、湿度传感器、惯性传感器、血氧饱和度传感器、霍尔传感器、皮电传感器、旋转传 感器等中的一种或多种。在一些实施例中,动作信号可以包括肌电信号、姿态信号、心电信号、呼吸频率、温度信号、湿度信号等中的一种或多种。
在一些实施例中,在步骤S2120之前,用户可以通过移动终端设备140发送运动数据展示请求。具体地,用户可以通过移动终端设备140中的用户界面380进行操作以请求进行运动数据展示;移动终端设备140可以接收用户的操作指令,以生成运动数据展示请求,并将所述运动数据展示请求发送给运动数据展示系统160;运动数据展示系统160在接收到所述运动数据展示请求,开始执行运动数据展示的方法2100。比如,用户界面380上可以设置有触发运动数据展示请求的按钮,比如“开始录制”、“开始展示”、“开始对比”,等等。用户可以触发所述按钮。所述动作数据可以是运动数据展示系统160在接收到所述运动数据展示请求之后的时间窗口内的获取模块210的传感器单元采集的动作信号,也可以是运动数据展示系统160在接收到所述运动数据展示请求之前的时间窗口内的获取模块210的传感器单元采集的动作信号。
所述动作数据可以是获取模块210中的传感器单元直接获取的动作信号,也可以是获取模块210中的传感器单元直接获取的动作信号经过常规滤波、整流、小波变换等信号处理过程、流程700的分段处理、流程900的毛刺处理、流程1300的转换处理和流程1900的运动监控等形成的动作信号,或者是以上任意一个或多个处理流程的排列组合得到的信号。
在一些实施例中,所述动作数据可以包括多个肌电数据。在一些实施例中,所述肌电数据可以是获取模块210中的多个肌电传感器直接采集的用户运动时的肌电信号。此时,运动数据展示系统160可以从获取模块210中获取所述多个肌电数据。在一些实施例中,所述肌电数据可以是获取模块210中的多个肌电传感器采集的用户运动时的肌电信号经过常规滤波、整流、小波变换等信号处理过程、流程700的分段处理、流程900的毛刺处理和流程1900的运动监控,或者是以上任意一个或多个处理流程的排列组合形成的肌电信号。如前所述,常规滤波、整流、小波变换等信号处理过程、流程700的分段处理和流程900的毛刺处理流程1900的运动监控可以由处理模块220和/或处理设备110执行。因此,此时,运动数据展示系统160可以从处理模块220和/或处理设备110获取所述多个肌电数据。肌电信号及其对应的特征信息(例如,频率信息、幅值信息等)可以反映用户运动时肌肉的状态。所述肌电传感器可以根据所要获取的肌电信号放置在可穿戴设备130的不同位置以测量人体不同的肌肉位置对应的肌电信号。为了方便展示,我们将所述多个肌电数据对应的多个肌电传感器在用户身上的测量位置定义为第一测量位置。所述多个肌电数据对应所述用户身上的多个第一测量位置的肌肉在所述用户运动时的实际肌电信号。为了方便展示,下面的描述中我们将以所述多个肌电数据是获取模块210中的多个肌电传感器采集的用户运动时的肌电信号经过常规滤波、整流、小波变换等信号处理过程、流程700的分段处理、流程900的毛刺处理和流程1900的运动监控形成的肌电信号为例进行描述。
在一些实施例中,所述动作数据可以包括多个姿态数据。在一些实施例中,所述姿态数据可以是获取模块210中的多个姿态传感器直接采集的用户运动时的姿态信号。此时,运动数据展示系统160可以从获取模块210中获取所述多个姿态数据。在一些实施例中,所述姿态数据可以是获取模块210中的多个姿态传感器采集的用户运动时的姿态信号经过常规滤波处理、流程700的分段处理、流程900的毛刺处理、流程1300的转换处理和流程1900的运动监控,或者是以上任意一个或多个处理流程的排列组合等形成姿态信号。如前所述,常规滤波处理、流程700的分段处理、流程900的毛刺处理、流程1300的转换处理和流程1900的运动监控可以由处理模块220和/或处理设备110执行。因此,此时,运动数据展示系统160可以从处理模块220和/或处理设备110获取所述多个姿态数据。姿态信号及其对应的特征信息(例如,角速度方向、角速度值、角速度加速度值、角度、位移信息、应力等)可以反映用户运动的姿势。所述姿态传感器可以根据所要获取的姿态信号放置在可穿戴设备130的不同位置(例如,可穿戴设备130中与躯干、四肢、关节对应的位置),以测量人体不同的位置对应的姿态信号。为了方便展示,我们将所述多个姿态数据对应的多个姿态传感器在用户身上的测量位置定义为第二测量位置。所述多个姿态数据对应所述用户身上的多个第二测量位置在所述用户运动时的实际姿态。为了方便展示,下面的描述中我们将以所述多个姿态数据是获取模块210中的多个姿态传感器采集的用户运动时的姿态信号经过常规滤波处理、流程700的分段处理、流程900的毛刺处理、流程1300的转换处理和流程1900的运动监控形成的姿态信号为例进行描述。
在一些实施例中,所述动作数据可以同时包括所述多个肌电数据以及所述多个姿态数据。
如前所述,在流程700中处理模块220和/或处理设备110可以对所述动作信号进行所述分段处理。处理模块220和/或处理设备110可以基于所述动作信号中的至少一个目标特征点对所述动作信号进行分段。在一些实施例中,目标特征点可以包括动作开始点、动作中间点或动作结束点中的一种或多种。动作开始点到下个动作开始点之间的动作信号可以视为一段动作信号,即一个完整的动作周期。在一些实施例中,所述动作数据可以包括至少一个完整的动作周期。在一些实施例中,所述动作数据可以包括所述至少一个目标特征点。
如前所述,在流程600和流程1900中,处理模块220和/或处理设备110可以基于至少一段动作信号对用户运动的动作进行监控。具体地,处理模块220和/或处理设备110可以基于动作识别模型将至少一段的动作信号和至少一段预设动作信号进行匹配,通过判断至少一段动作信号和至少一段预设动作信号的匹配度可以确定用户运动时的动作类型。动作类型是指用户运动时采取的健身动作。在一些实施例中,动作类型可以包括但不限于坐姿夹胸、深蹲运动、硬拉运动、平板支撑、跑步、游泳等中的一种或多种。在一些实施例中,所述动作数据中还可以包括用户运动时的动作类型数据。所述动 作类型数据可以是所述动作类型对应的标识。不同的动作类型对应不同的标识。比如,“1”可以用于表征“坐姿夹胸”,“2”可以用于表征“二头弯举”,等等。
所述运动数据展示的方法2100还可以包括:
S2140:获取参考动作数据。
如前所述,所述数据库和/或处理设备110中可以预先设置有不同动作对应的标准动作信号。所述不同动作对应的标准动作信号可以是专业人员(例如,健身教练)运动时的动作信号。所述不同动作对应的标准动作信号可以是一个专业人员运动时的动作信号,也可以是多个专业人员运动时的动作信号经融合处理后的综合信号。所述融合处理包括但不限于平均融合、主成分分析等融合方法。所述不同动作对应的标准动作信号可以是专业人员(例如,健身教练)运动时产生的肌电信号和/或姿态信号。所述不同动作对应的标准动作信号可以是直接从可穿戴设备130中的获取模块210中的传感器单元获取的专业人员(例如,健身教练)运动时产生的肌电信号和/或姿态信号。在一些实施例中,所述不同动作对应的标准动作信号中的肌电信号和/或姿态信号可以是直接从可穿戴设备130中的获取模块210中的传感器单元获取的专业人员(例如,健身教练)运动时产生的肌电信号和/或姿态信号经过流程700的分段处理、流程900的毛刺处理和流程1300的转换处理等,形成的至少一段完整动作周期的肌电信号和/或姿态信号。在一些实施例中,所述参考动作数据中可以包括所述参考动作数据的至少一个目标特征点。
在一些实施例中,所述不同动作对应的标准动作信号可以存储在处理设备110中。在一些实施例中,所述不同动作对应的标准动作信号也可以存储在可穿戴设备130的处理模块220中。在一些实施例中,所述不同动作对应的标准动作信号也可以存储在移动终端设备140中。在一些实施例中,所述不同动作对应的标准动作信号也可以存储在所述数据库中。
所述参考动作数据与所述动作数据相对应。也就是说,所述参考动作数据可以是与用户运动时的动作类型相匹配的标准动作信号的相关数据。在一些实施例中,运动数据展示系统160可以直接从存储有不同动作对应的标准信号的设备中获取与所述动作数据相对应的参考动作数据。在一些实施例中,运动数据展示系统160可以基于所述动作数据中的用户运动时的动作类型数据,从存储有不同动作对应的标准信号的设备中找出与所述动作数据相对应的参考动作数据并获取。
在一些实施例中,所述动作数据可以包括所述多个肌电数据。相对应的,所述参考动作数据可以包括与所述多个肌电数据相对应的多个参考肌电数据。所述多个参考肌电数据对应所述多个第一测量位置在所述用户进行所述动作类型的运动时的参考肌电信号,即所述动作类型对应的标准动作所产生的标准肌电信号。
在一些实施例中,所述动作数据可以包括所述多个姿态数据。相对应的,所述参考动作数据可以包括与所述多个姿态数据相对应的多个参考姿态数据。所述多个参考姿态 数据对应所述多个第二测量位置在所述用户进行所述动作类型的运动时的参考姿态信号,即所述动作类型对应的标准动作所产生的标准姿态信号。
所述运动数据展示的方法2100还可以包括:
S2160:生成并在用户界面380上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比。
其中,所述虚拟人物为与所述用户相匹配的模型。所述虚拟人物可以是预设的三维或二维动画模型。在一些实施例中,所述虚拟人物可以包括虚拟用户人物和虚拟参考人物。所述虚拟用户人物可以与所述动作数据关联,即所述动作数据可以与所述虚拟用户人物相结合以通过所述虚拟用户人物展示所述动作数据。所述虚拟参考人物可以与所述参考动作数据关联,即所述参考动作数据可以与所述虚拟参考人物相结合以通过所述虚拟参考人物展示所述参考动作数据。在一些实施例中,所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物。在一些实施例中,所述虚拟用户人物与所述虚拟参考人物可以表现为同一个虚拟人物。所述虚拟用户人物和所述虚拟参考人物可以使用相同的动画模型,也可以使用不同的动画模型。为了方便展示,下面的描述中我们将以所述虚拟用户人物与所述虚拟参考人物为相同的动画模型为例进行展示。
运动数据展示系统160可以将所述动作数据与所述参考动作数据与虚拟人物相结合,通过虚拟人物展现所述动作数据与所述参考动作数据之间的对比,以更直观的方式向用户反馈运动数据的评价结果。
如前所述,在一些实施例中,所述动作数据可以包括所述多个肌电数据。相对应的,所述参考动作数据可以包括所述多个参考肌电数据。此时,步骤S2160可以包括生成并在用户界面380上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比。所述虚拟人物的动画可以包括所述虚拟人物的肌电动画。
在一些实施例中,所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物。在一些实施例中,所述虚拟用户人物与所述虚拟参考人物可以表现为同一个虚拟人物。当所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物时,所述虚拟人物的肌电动画可以包括所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画。图22是根据本申请一些实施例所示的生成肌电动画的示例性流程图。如图22所示,流程2200可以包括:
S2220:基于所述多个肌电数据,确定所述虚拟用户人物身上的多个用户显示区域的显示状态,生成所述虚拟用户人物的肌电动画。
所述多个用户显示区域与所述多个第一测量位置对应。所述用户显示区域可以是所述虚拟用户人物身上与所述肌电数据所测量的肌肉群相对应的区域。比如,测量胸大肌的肌电传感器可以位于用户的胸大肌所在的位置,其对应的虚拟用户人物身上的用户显示区域也是与胸大肌位置相对应的显示区域。比如,测量肱二头肌的肌电传感器可以位于用户的肱二头肌所在的位置,其对应的虚拟用户人物身上的用户显示区域也是与肱二 头肌位置相对应的显示区域。每个用户显示区域可以对应所述多个第一测量位置中的一个,也可以对应多个。用户显示区域可以对应虚拟用户人物身上的一个大的肌肉集群,也可以对应虚拟用户人物身上的一个小的肌肉集群。在一些实施例中,一个肌肉集群可以设置一个肌电传感器。在一些实施例中,一个肌肉集群可以设置多个肌电传感器。不同的肌肉集群可以依据自身情况设置不同数量的肌电传感器。比如,肩部可以设置多个肌电传感器分别测量三角肌前束、三角肌后束、三角肌中束的肌电信号。
具体地,步骤S2220可以包括:对所述虚拟用户人物身上的所述多个用户显示区域中的每个用户显示区域,基于与其对应的第一测量位置的肌电数据确定其对应的所述第一测量位置的肌肉对所述用户运动时的动作的用户力量贡献比;基于所述每个用户显示区域对应的所述用户力量贡献比,确定所述每个用户显示区域的显示状态。所述力量贡献比可以是用户在进行运动时,当前肌电数据所测量的肌肉在当前时刻对用户完成所述运动所做的贡献。所述力量贡献比可以是当前肌电数据在所述多个肌电数据中所占的比例。即当前肌电数据对应的肌肉的发力在所有肌肉的发力中所占的比例。所述力量贡献比可以是当前肌电数据所测量的肌肉在当前时刻发力的幅值水平,和该肌肉最大发力的幅值水平的比值。所述力量贡献比还可以是当前肌电数据所测量的肌肉在当前时刻发力的幅值水平,和该肌肉在当前时刻在多个普通用户中的统计值(平均值,中位数等)的比值。所述力量贡献比还可以是当前肌电数据所测量的肌肉的肌电强度占所有肌肉的肌电强度总和的比值。所述力量贡献比还可以是当前肌电数据所测量的肌肉的肌电强度和肌肉体积的乘积,占所有肌肉的肌电强度和肌肉体积的乘积的总和的比值。所述力量贡献比是基于数据处理后的肌电数据得到。所述数据处理的方法可以是滤波整流取包络后的肌电数据中的肌电幅值水平。所述数据处理的方法还可以是对所述肌电数据进行小波变换,傅里叶变换等变换后提取的特征幅值。所述数据处理的方法还可以是对所述肌电数据做任意的处理。所述用户显示区域的显示状态与其对应第一测量位置的肌肉的用户力量贡献比之间按照预设关系进行显示。比如,所述用户显示区域的显示状态可以表现为显示颜色的不同,也可以表示为填充密度的不同,等等。为了方便展示,我们将以所述用户显示区域的显示状态表现为显示颜色的不同为例进行描述。比如,使用肌肉能量图直观的展示用户在运动过程中的肌肉能量变化,通过改变用户显示区域的显示颜色来显示当前肌肉发力的大小。比如,肌肉的用户力量贡献比越小,其对应的用户显示区域的颜色越浅,肌肉的用户力量贡献比越大,其对应的用户显示区域的颜色越深。比如,根据用户力量贡献比由小到大,所述用户显示区域的显示颜色可以由绿、黄、红、深红、紫、黑进行改变。所述颜色变化仅作为示例,本领域普通技术人员应当明白,所述用户显示区域的显示状态的变化不限于本申请所述的颜色变化。所述用户显示区域可以由多种不同的颜色组成,根据其对应的用户力量贡献比的不同,改变显示颜色。所述用户显示区域的每种不同的颜色可以对应一个用户力量贡献比的范围。所述用户显示区域的显示颜色可以根据所述用户力量贡献比所处的范围区间进行确定。
如前所述,所述动作数据可以包括至少一个完整动作周期的动作数据。用户在进行所述运动时,在一个完整的动作周期中,不同的时刻肌肉发力位置以及力量贡献比都可能是不同的。因此,同一个用户显示区域的显示状态可能因为肌电数据的变化而发生变化。根据所述多个肌电数据的变化,确定每个用户显示区域的显示状态的变化,从而生成所述虚拟用户人物的肌电动画。所述虚拟用户人物的肌电动画可以由多个图像帧构成。在一些实施例中,每个肌电传感器采集的一次肌电数据都可以形成一个图像帧。在一些实施例中,每个肌电传感器采集的相邻肌电数据之间可以通过插值算法生成更多的图像帧。在一些实施例中,每个肌电传感器采集的多次肌电数据可以形成一个图像帧。在一些实施例中,运动数据展示系统160可以根据所述每个肌电数据随时间的变化曲线从中选取多个时间点的肌电数据,根据所述肌电数据确定每个用户显示区域的显示状态,生成多个图像帧,从而生成所述虚拟用户人物的肌电动画。
在一些实施例中,所述虚拟人物的肌电动画可以包括多个动画,比如,当用户进行的所述运动所调动的肌肉群较多,既包括正面的肌肉群,又包括背面的肌肉群时,所述虚拟人物的肌电动画可以既包括正面的肌电动画,又包括背面的肌电动画。
如图22所示,流程2200还可以包括:
S2240:基于所述多个参考肌电数据,确定所述虚拟参考人物的多个参考显示区域的显示状态,生成所述虚拟参考人物的参考肌电动画。
所述多个参考显示区域与所述多个第一测量位置对应。所述多个参考肌电数据与所述多个肌电数据相对应。即所述多个参考肌电数据与所述多个肌电数据一一对应,其测量的第一测量位置也一一对应。因此,所述多个参考肌电数据与所述多个第一测量位置的对应关系与所述多个肌电数据与所述多个第一测量位置的对应关系一致,在此不再赘述。
具体地,步骤S2240可以包括:所述虚拟参考人物身上的所述多个参考显示区域中的每个参考显示区域,基于与其对应的第一测量位置的参考肌电数据确定其对应的所述第一测量位置的肌肉对所述用户运动时的动作的参考力量贡献比;以及基于所述每个参考显示区域对应的所述参考力量贡献比,确定所述每个参考显示区域的显示状态。步骤S2240与步骤S2220基本一致,在此不再赘述。
所述参考显示区域的显示状态与其对应第一测量位置的肌肉的参考力量贡献比之间按照预设关系进行显示。所述参考显示区域的显示状态与其对应第一测量位置的肌肉的参考力量贡献比之间的关系与所述用户显示区域的显示状态与其对应第一测量位置的肌肉的用户力量贡献比之间的关系一致,在此不再赘述。
如图22所示,流程2200还可以包括:
S2260:在用户界面380上显示所述虚拟人物的肌电动画。
当所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物时,在用户界面380上显示所述虚拟人物的肌电动画可以是分别在所述用户界面380显示所述虚 拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画。比如,在用户界面380上半部分显示所述虚拟用户人物的肌电动画,在用户界面380的下半部分显示所述虚拟参考人物的参考肌电动画。或者,在用户界面380左半部分显示所述虚拟用户人物的肌电动画,在用户界面380的右半部分显示所述虚拟参考人物的参考肌电动画,等等。
在一些实施例中,在用户界面380上显示所述虚拟人物的肌电动画可以是分别直接在所述用户界面380显示所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画。在一些实施例中,由于用户在执行所述运动时的动作周期与标准动作的动作周期存在差异,为了更方便更直观地对比相同的姿态下的肌电数据与参考肌电数据之间的差异,运动数据展示系统160可以对用户在执行动作类型的运动时的肌电数据对应的用户动作周期或参考肌电数据对应的标准动作的参考动作周期进行时长调整,使用户动作周期与参考动作周期一致后再分别进行同步显示。
图23是根据本申请一些实施例所示的分别显示肌电动画的示例性流程图。如图23所示,流程2300可以包括:
S2320:基于所述动作数据,确定所述用户运动时所作动作的用户动作周期T1。
如前所述,在流程700中处理模块220和/或处理设备110可以对所述动作信号进行所述分段处理。处理模块220和/或处理设备110可以基于所述动作信号中的至少一个目标特征点对所述动作信号进行分段。在一些实施例中,目标特征点可以包括动作开始点、动作中间点或动作结束点中的一种或多种。动作开始点到下个动作开始点之间的动作信号可以视为一段动作信号,即一个完整的动作周期。在一些实施例中,所述动作数据可以包括至少一个完整的动作周期。在一些实施例中,所述动作数据可以包括所述至少一个目标特征点。运动数据展示系统160可以基于所述动作数据直接确定所述动作数据的用户动作周期T1,也可以根据所述动作数据中的至少一个目标特征点,比如,动作开始点、动作中间点以及动作结束点中的一种或多种确定所述用户动作周期T1。
S2340:基于所述参考动作数据,确定所述用户运动时所作动作的参考动作周期T2。
如前所述,所述参考动作数据中至少包括一个完整的动作周期。在一些实施例中,所述参考动作数据中可以包括至少一个目标特征点。运动数据展示系统160可以基于所述参考动作数据直接确定所述参考动作数据的参考动作周期T2,也可以根据所述参考动作数据中的至少一个目标特征点,比如,动作开始点、动作中间点以及动作结束点中的一种或多种确定所述用参考动作周期T2。
S2360:对所述虚拟用户人物的肌电动画进行时长调整,使经过所述时长调整后的所述用户动作周期T1与所述参考动作周期T2一致。
在一些实施例中,运动数据展示系统160可以将所述参考动作周期T2作为基准,对所述用户动作周期T1进行时长调整,以使所述时长调整后的所述用户动作周期T11与所述参考动作周期T2一致。在一些实施例中,运动数据展示系统160可以将所述用户动作周期T1作为基准,对所述参考动作周期T2进行时长调整,以使所述时长调整后 的所述参考动作周期T22与所述用户动作周期T1一致。为了方便展示,下面我们将以运动数据展示系统160可以将所述参考动作周期作T2为基准,对所述用户动作周期T1进行时长调整,以使所述时长调整后的所述用户动作周期T11与所述参考动作周期T2一致为例进行描述。对所述用户动作周期T1进行时长调整的方式可以是线性伸缩,也可以是非线性伸缩,也可以使用轨迹匹配算法(如DTW算法)进行自动伸缩。
以用户进行运动时的动作类型为二头弯举为例进行说明。图24A示出了根据本申请一些实施例所示的肱二头肌的肌电数据随时间的变化曲线。横轴为时间t,纵轴为幅值A1。如图24A所示,t=0时刻为动作开始点,t=T1时刻为用户的动作数据的动作结束点。图24B示出了根据本申请一些实施例所示的肱二头肌的参考肌电数据随时间的变化曲线。横轴为时间t,纵轴为幅值A2。如图24B所示,t=0时刻为动作开始点,t=T2时刻为参考动作数据的动作结束点。图24C示出了根据本申请一些实施例所示的经过线性时长调整后的肱二头肌的肌电数据随时间的变化曲线。横轴为时间t,纵轴为幅值A11。如图24C所示,所述线性时长调整可以是对所述用户动作周期T1进行均匀比例的时长调整,使得t时刻的幅值A11(t)=A1(tT1/T2)。图24D示出了根据本申请一些实施例所示的经过非线性时长调整后的肱二头肌的肌电数据随时间的变化曲线。横轴为时间t,纵轴为幅值A11。如图24D所示,所述非线性时长调整可以是根据参考动作数据与动作数据的变化特点,对所述用户动作周期T1进行伸缩。比如,使得动作数据中的幅值最大值对应的时间与所述参考动作数据中的幅值最大值对应的时间一致,使得动作数据中的幅值最小值对应的时间与所述参考动作数据中的幅值最大小值对应的时间一致,等等。
如图23所示,流程2300还可以包括:
S2380:将所述参考动作周期T2的起始时间与经过所述时长调整后的所述用户动作周期T11的起始时间对齐,将经过所述时长调整后的所述虚拟用户人物的肌电动画与所述虚拟参考人物的参考肌电动画进行时间对齐处理,并分别进行同步显示。
在步骤S2380中,运动数据展示系统160可以根据所述时长调整规则对所述虚拟用户人物的肌电动画进行调整,使所述虚拟用户人物的肌电动画与经过所述时长调整后的所述参考动作数据的一致。在显示肌电动画时,运动数据展示系统160可将经过所述时长调整后的所述虚拟用户人物的肌电动画的起始时间与所述虚拟参考人物的参考肌电动画的起始时间对齐,以使所述经过所述时长调整后的所述虚拟用户人物的肌电动画与所述虚拟参考人物的参考肌电动画从相同的动作点开始同步播放,从而更直观地对虚拟用户人物的肌电动画和虚拟参考人物的参考肌电动画进行对比,更直观地显示出动作数据与所述参考动作数据之间的差异,帮助用户科学地进行运动。
为了方便展示,我们将以左臂进行二头弯举动作为例进行描述。在二头弯举的动作中,主要参与运动的肌肉包括肱二头肌,三角肌,斜方肌以及胸肌。图25A至图25C示出了根据本申请一些实施例所示的用户界面380的示意图。图25A至图25C可以是分别在所述用户界面380显示所述虚拟用户人物的肌电动画010以及所述虚拟参考人物 的参考肌电动画020。图25A至图25C中,在用户界面380左半部分显示所述虚拟用户人物的肌电动画010,在用户界面380的右半部分显示所述虚拟参考人物的参考肌电动画020。图25A所示的用户界面380对应的是动作开始之前的时刻的肌电动画。如图25A所示,在动作开始之前,无论是用户的动作数据还是标准动作的参考动作数据,都处于放松状态,所以所有的肌肉都没有发力。此时,所述虚拟用户人物的肌电动画010中的肱二头肌对应的用户显示区域011,三角肌对应的用户显示区域012,斜方肌对应的用户显示区域013以及胸肌对应的用户显示区域014均没有颜色显示。所述虚拟参考人物的参考肌电动画020中的肱二头肌对应的用户显示区域021,三角肌对应的用户显示区域022,斜方肌对应的用户显示区域023以及胸肌对应的用户显示区域024也没有颜色显示。
图25B所示的用户界面380对应的是二头弯举动作过程中的某一时刻的肌电动画。在二头弯举动作过程中,理论上应该主要发力点为肱二头肌,在一些情况下胸肌可能有轻微的发力,比如当用户没有抬头挺胸的情况下。在标准的二头弯举动作中,斜方肌应不参与发力或很少地参与发力。如图25B所示,所述虚拟用户人物的肌电动画010中在斜方肌对应的用户显示区域013的显示颜色相较于所述虚拟参考人物的参考肌电动画020中在斜方肌对应的参考显示区域023的颜色更深,说明用户在进行二头弯举时,斜方肌有比较大的发力现象,超过了标准的二头弯举动作中的斜方肌的用力程度。
图25C所示的用户界面380对应的是二头弯举动作结束后至下一个动作周期开始前的某一时刻的肌电动画。在一组连续的二头弯举动作中,一个完整的动作周期结束之后至下一个完整的动作周期开始之前不能完全放松。即杠铃到达最底部的时候,肱二头肌也不能完全放松,而是应该保持一定的发力,从而达到最佳锻炼效果。如图25C所示,所述虚拟用户人物的肌电动画010中在肱二头肌对应的用户显示区域011的没有显示颜色,可见用户处于完全放松状态。而所述虚拟参考人物的参考肌电动画020中在肱二头肌对应的参考显示区域021的颜色更深。
综上所述,用户可以通过观察所述虚拟用户人物的肌电动画010以及所述虚拟参考人物的参考肌电动画020,清晰地、直观地看到虚拟用户人物的肌电动画010中的肌肉能量图和虚拟参考人物的参考肌电动画020中的标准肌肉能量图的不同,发现当前运动动作存在的问题,及时进行调整。
如前所述,在一些实施例中,所述虚拟用户人物与所述虚拟参考人物在所述用户界面380上可以显示为同一个虚拟人物。当所述虚拟用户人物与所述虚拟参考人物表现为同一个虚拟人物时,所述虚拟人物的动画可以包括基于所述动作数据与所述参考动作数据之间的差异生成的肌电动画。图26是根据本申请另一些实施例所示的生成肌电动画的示例性流程图。如图26所示,流程2600可以包括:
S2620:基于所述多个肌电数据以及所述多个参考肌电数据,确定所述多个第一测量位置对应的多个肌电差值。
如前所述,所述多个肌电数据与所述多个参考肌电数据是相对应的。具体地,所述多个肌电数据与所述多个参考参考肌电数据是一一对应的。每个肌电数据与其对应的参考肌电数据分别测量的是相同位置的肌肉在所述用户运动时的实际肌电信号和标准肌电信号。当所述虚拟用户人物与所述虚拟参考人物表现为同一个虚拟人物时,为了显示出所述肌电数据与所述参考肌电数据之间的对比,所述虚拟人物的动画可以是基于所述肌电数据与所述参考肌电数据之间的差异所形成的动画。
具体地,对于所述多个第一测量位置中的每个第一测量位置都对应有肌电数据和参考肌电数据。运动数据展示系统160可以基于当前第一测量位置对应的肌电数据,确定其对应的肌肉对所述用户运动时的动作的用户力量贡献比;基于其对应的参考肌电数据,确定其对应的肌肉对所述用户运动时的动作的参考力量贡献比;以及基于其对应的所述用户力量贡献比和所述参考力量贡献比,确定其对应的所述肌电差值。
所述力量贡献比可以是用户在进行运动时,当前肌电数据所测量第一测量位置的肌肉在当前时刻对用户完成所述运动所做的贡献。所述力量贡献比可以是当前肌电数据在所述多个肌电数据中所占的比例。即当前肌电数据对应的肌肉的发力在所有肌肉的发力中所占的比例。所述力量贡献比可以是当前肌电数据所测量的肌肉在当前时刻发力的幅值水平,和该肌肉最大发力的幅值水平的比值。所述力量贡献比还可以是当前肌电数据所测量的肌肉在当前时刻发力的幅值水平,和该肌肉在当前时刻在多个普通用户中的统计值(平均值,中位数等)的比值。所述力量贡献比还可以是当前肌电数据所测量的肌肉的肌电强度占所有肌肉的肌电强度总和的比值。所述力量贡献比还可以是当前肌电数据所测量的肌肉的肌电强度和肌肉体积的乘积,占所有肌肉的肌电强度和肌肉体积的乘积的总和的比值。所述力量贡献比是基于数据处理后的肌电数据得到。所述数据处理的方法可以是滤波整流取包络后的肌电数据中的肌电幅值水平。所述数据处理的方法还可以是对所述肌电数据进行小波变换,傅里叶变换等变换后提取的特征幅值。所述数据处理的方法还可以是对所述肌电数据做任意的处理。所述用户力量贡献比可以是用户实际运动过程中,当前第一测量位置对应的肌肉对用户完成所述运动所做的贡献。所述参考力量贡献比可以是专业人员(如教练)在运动过程中,当前第一测量位置对应的肌肉对完成所述运动所做的贡献。通过对所述用户力量贡献比和所述参考力量贡献比之间取差值可以获取用户运动的肌电数据与专业人员运动的参考肌电数据之间的差异。
如前所述,在一些实施例中,用户在执行所述运动时的动作周期与标准动作的动作周期可能存在差异。为了更方便更直观地对比相同的姿态下的肌电数据与参考肌电数据之间的差异,运动数据展示系统160可以对用户在执行动作类型的运动时的肌电数据对应的用户动作周期或参考肌电数据对应的标准动作的参考动作周期进行时长调整,使用户动作周期与参考动作周期一致后再确定所述多个第一测量位置对应的多个肌电差值。
具体地,运动数据展示系统160可以基于所述动作数据确定所述用户动作周期T1,如步骤S2320所示。运动数据展示系统160可以基于所述参考动作数据确定所述参考动 作周期T2,如步骤S2340所示。在一些实施例中,运动数据展示系统160可以将所述参考动作周期T2作为基准,对所述用户动作周期T1进行时长调整,以使所述时长调整后的所述用户动作周期T11与所述参考动作周期T2一致。在一些实施例中,运动数据展示系统160可以将所述用户动作周期T1作为基准,对所述参考动作周期T2进行时长调整,以使所述时长调整后的所述参考动作周期T22与所述用户动作周期T1一致。为了方便展示,下面我们将以运动数据展示系统160可以将所述参考动作周期作T2为基准,对所述用户动作周期T1进行时长调整,以使所述时长调整后的所述用户动作周期T11与所述参考动作周期T2一致为例进行描述,如步骤S2360所示。运动数据展示系统160可以从经过所述时长调整处理后的肌电数据和参考肌电数据中选取若干个相同时刻的数据,并执行步骤S2620,获取所述肌电差值。
如图26所示,流程2600还可以包括:
S2640:基于所述多个肌电差值,确定所述虚拟人物的多个显示区域的显示状态,生成所述虚拟人物的肌电动画。
所述多个显示区域与所述多个第一测量位置之间的对应关系与前述的多个用户显示区域与多个第一测量位置之间的对应关系一致,在此不再赘述。
所述显示区域的显示状态与其对应第一测量位置的肌电差值之间按照预设关系进行显示。比如,所述显示区域的显示状态可以表现为显示颜色的不同,也可以表示为填充密度的不同,等等。为了方便展示,我们将以所述显示区域的显示状态表现为显示颜色的不同为例进行描述。比如,通过改变显示区域的显示颜色来显示当前肌肉对应的用户与专业人员之间的发力的差异。比如,用户与专业人员之间的差异越小,其对应的显示区域的颜色越浅,用户与专业人员之间的差异越大,其对应的用户显示区域的颜色越深。再比如,当用户的力量贡献比超过专业人士的力量贡献比时,显示区域的显示颜色为冷色调,当用户的力量贡献比低于专业人士的力量贡献比时,显示区域的显示颜色为暖色调,等等。比如,当用户的力量贡献比超过专业人士的力量贡献比时,根据肌电差值由小到大,所述显示区域的显示颜色可以由浅绿向深绿进行改变,或者由浅蓝向深蓝进行改变。当用户的力量贡献比低于专业人士的力量贡献比时,根据肌电差值由小到大,所述显示区域的显示颜色可以由黄色、橙色向红色、深红进行改变。所述显示区域的每种不同的颜色可以对应一个肌电差值的范围。所述显示区域的显示颜色可以根据所述肌电差值所处的范围区间进行确定。
如前所述,所述动作数据可以包括至少一个完整动作周期的动作数据。用户在进行所述运动时,在一个完整的动作周期中,不同的时刻肌肉发力位置以及力量贡献比都可能是不同的。因此,同一个显示区域的显示状态可能因为肌电差值的变化而发生变化。根据所述多个肌电差值变化,确定每个显示区域的显示状态的变化,从而生成所述虚拟人物的肌电动画。
在一些实施例中,所述虚拟人物的肌电动画可以包括多个动画,比如,当用户进行的所述运动所调动的肌肉群较多,既包括正面的肌肉群,又包括背面的肌肉群时,所述虚拟人物的肌电动画可以既包括正面的肌电动画,又包括背面的肌电动画。
如图26所示,流程2600还可以包括:
S2660:在用户界面380上显示所述虚拟人物的肌电动画。
运动数据展示系统160可以将所述虚拟人物的肌电动画显示在用户界面380上。用户可以通过观看所述虚拟人物的肌电动画清楚直观地发现用户同专业人士之间的差异,从而对运动动作进行纠正。
为了方便展示,我们将以左臂二头弯举动作为例进行描述。在二头弯举的动作中,主要参与运动的肌肉包括肱二头肌,三角肌,斜方肌以及胸肌。图27示出了根据本申请另一些实施例所示的用户界面380的示意图。图27可以是在所述用户界面380显示所述虚拟人物的肌电动画030,其中虚拟用户人物与虚拟参考人物表现为同一个虚拟人物。图27所示的用户界面380对应的是二头弯举动作过程中的某一时刻的肌电动画。在二头弯举动作过程中,理论上应该主要发力点为肱二头肌,在一些情况下胸肌可能有轻微的发力,比如当用户没有抬头挺胸的情况下。在标准的二头弯举动作中,斜方肌应不参与发力或很少地参与发力。如图27所示,所述虚拟人物的肌电动画030中在斜方肌对应的显示区域033的显示颜色为红色,说明用户在进行二头弯举时,斜方肌有比较大的发力现象,超过了标准的二头弯举动作中的斜方肌的用力程度。
如前所述,在一些实施例中,所述动作数据可以包括所述多个姿态数据。相对应的,所述参考动作数据可以包括所述多个参考姿态数据。此时,步骤S2160可以包括生成并在用户界面380上显示所述虚拟人物的姿态动画来展示所述动作数据与所述参考动作数据的对比。所述虚拟人物的动画可以包括所述虚拟人物的姿态动画。在一些实施例中,运动的速度以及运动的角度也会影响锻炼的效果。比如,在二头弯举的过程中,当最低点位置不够低时,其锻炼的效果也不是最好的。再比如,在二头弯举的过程中,需要控制小臂下放的速度,当小臂下方速度过快时,其锻炼的效果也不是最好的。因此,对比姿态数据和参考姿态数据对提高锻炼效果是十分必要。
在一些实施例中,所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物。在一些实施例中,所述虚拟用户人物与所述虚拟参考人物可以表现为同一个虚拟人物。当所述动作数据包括所述多个姿态数据时,为了清楚直观地显示出姿态数据与参考姿态数据之间的区别,所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物。此时,所述虚拟用户人物与所述虚拟参考人物可以是通过三维动画制作软件预先制作好的三维动画模型。运动数据展示系统160可以根据姿态数据控制三维动画的参数从而生成姿态动画。所述三维动画的参数包括但不限于骨骼位移、骨骼旋转、骨骼缩放等等。所述虚拟用户人物的姿态可以与所述姿态数据相匹配。所述虚拟参考人物的姿态可以与所述参考姿态数据相匹配。
当所述虚拟用户人物与所述虚拟参考人物可以表现为两个独立的虚拟人物时,所述虚拟人物的姿态动画可以包括所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。图28是根据本申请一些实施例所示的生成姿态动画的示例性流程图。如图28所示,流程2800可以包括:
S2820:基于所述多个姿态数据,生成所述虚拟用户人物的姿态动画。
如前所述,所述虚拟用户人物与所述用户的多个姿态数据相匹配。运动数据展示系统160可以根据所述多个姿态数据控制所述虚拟用户人物,使所述虚拟用户人物的姿态与所述用户在运动时的姿态数据一致。
S2840:基于所述多个参考姿态数据,生成所述虚拟参考人物的参考姿态动画。
如前所述,所述虚拟参考人物与所述用户的多个参考数据相匹配。运动数据展示系统160可以根据所述多个参考姿态数据控制所述虚拟参考人物,使所述虚拟参考人物的姿态与所述专业人士在运动时的姿态数据一致。
S2860:在所述用户界面380上显示所述虚拟人物的姿态动画。
在一些实施例中,在用户界面380上显示所述虚拟人物的姿态动画可以是在所述用户界面380分别同步显示所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。在一些实施例中,在用户界面380上显示所述虚拟人物的姿态动画可以是分别直接在所述用户界面380叠加同步显示所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。
图29是根据本申请一些实施例所示的显示姿态动画的示例性流程图。如图29所示,流程2900可以包括:
S2920:基于所述动作数据,确定所述用户运动时所作动作的用户动作周期T1。
步骤S2920与步骤S2320基本一致,在此不再赘述。
S2940:基于所述参考动作数据,确定所述用户运动时所作动作的参考动作周期T2。
步骤S2940与步骤S2340基本一致,在此不再赘述。
S2960:将所述参考动作周期T2的起始时间与所述用户动作周期T1的起始时间对齐,将所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画进行时间对齐处理。
具体地,运动数据展示系统160可以获取所述用户动作周期T1中的动作开始点,以及所述参考动作周期T2中的动作开始点,并将二者对齐,从而将所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画进行时间对齐处理,以形成进行对比,方便用户清楚直观地观察再一个完整的运动周期中,用户的姿态与专业人士的姿态的差异以及用户运动的速度与专业人士运动的速度的差异。
如图29所示,流程2900还可以包括:
S2980:将经过所述时间对齐处理后的所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画对齐,在用户界面380上分别同步显示或叠加同步显示。
所述分别同步显示可以是在用户界面380上分别在不同的部位显示所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。比如,在用户界面380上半部分显示所述虚拟用户人物的姿态动画,在用户界面380的下半部分显示所述虚拟参考人物的参考姿态动画。或者,在用户界面380左半部分显示所述虚拟用户人物的姿态动画,在用户界面380的右半部分显示所述虚拟参考人物的参考姿态动画,等等。
所述叠加同步显示可以是在用户界面380上将所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画叠加在一起进行同步显示。由于所述虚拟用户人物与所述虚拟参考人物所使用的三维模型是相同的。因此,在用户运动过程中,所述虚拟用户人物中与所述虚拟参考人物中姿态相同的部位可以是重合的,或者是基本重合的,而姿态不同的部位则是不重合的。因此,将所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画叠加在一起进行同步显示可以更直观清楚地显示出用户姿态与专业人士的姿态的差异,以帮助用户调整。
如前所述,所述动作数据可以既包括所述多个肌电数据,又包括所述多个姿态数据。此时,所述虚拟人物的动画可以包括所述虚拟人物的肌电动画和所述虚拟人物的姿态动画。步骤S2160可以包括生成并在用户界面380上显示所述虚拟人物的肌电动画以及虚拟人物的姿态动画来展示所述动作数据与所述参考动作数据的对比。此时,所述虚拟人物的肌电动画可以包括所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画。所述虚拟人物的姿态动画可以包括所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。
在一些实施例中,在用户界面380上显示所述虚拟人物的动画可以是在用户界面380上分别显示所述虚拟用户人物的肌电动画、所述虚拟参考人物的参考肌电动画、所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。用户可以在用户界面380上同时观看所述虚拟用户人物的肌电动画、所述虚拟参考人物的参考肌电动画、所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。用户也可以在用户界面380上选择性观看所述虚拟用户人物的肌电动画和所述虚拟参考人物的参考肌电动画,或者所述虚拟用户人物的姿态动画和所述虚拟参考人物的参考姿态动画。具体地,用户可以在用户界面380上进行选择要观看的动画类型。
在一些实施例中,运动数据展示系统160也可以是将所述虚拟用户人物的肌电动画与所述虚拟用户人物的姿态动画相结合生成所述虚拟用户人物的动画,所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画相结合生成所述虚拟参考人物的参考动画。所述虚拟用户人物的动画既可以显示所述用户在运动时的肌电动画,有可以显示所述用户在运动时的姿态动画。所述虚拟参考人物的动画既可以显示所述专业人士在运动时的参考肌电动画,有可以显示所述专业人士在运动时的参考姿态动画。在用户界面380上显示所述虚拟人物的动画可以是分别显示所述虚拟用户人物的动画以及所述虚拟参考人物的参考动画。在用户界面380上显示所述虚拟人物的动画也可以是将所述 虚拟用户人物的动画以及所述虚拟参考人物的参考动画叠加进行显示。当将所述虚拟用户人物的动画以及所述虚拟参考人物的参考动画叠加进行显示时,所述肌电动画的显示可以是基于流程2600显示所述动作数据与所述参考数据之间的差异值。用户可以通过观察所述虚拟用户人物的动画以及所述虚拟参考人物的参考动画,清楚直观地发现肌电数据与姿态数据之间的关系以及自身运动存在的问题,并及时进行调整。
需要说明的是,在用户界面380上显示所述虚拟人物的动画时,可以是实时显示,也可以是非实时显示的。所述实时显示可以是所述虚拟人物的动画与所述用户的运动同步进行,用户可以边运动边观看所述虚拟人物的动画,从而及时进行调整。所述非实时显示可以是运动数据展示系统160将所述虚拟人物的动画实时发送给移动终端设备140。移动终端设备140可以存储所述虚拟人物的动画。当用户通过移动终端设备140请求观看所述虚拟人物的动画时,移动终端设备140可以将存储在移动终端设备140中的所述虚拟人物的动画显示在用户界面380上供用户观看。
综上所述,本申请提供的运动数据展示方法2100和系统160,可以将用户运动时的动作数据以及标准动作的参考动作数据与虚拟人物相结合,从而通过虚拟人物展示出动作数据与参考动作数据之间的对比,帮助用户清楚直观地发现自身运动存在的问题,从而帮助用户科学地运动。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请至少一个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本申请中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
Claims (13)
- 一种运动数据展示方法,其特征在于,包括:获取用户运动时的动作数据,所述动作数据对应所述用户身上的多个测量位置的运动信号;获取参考动作数据,所述参考动作数据与所述动作数据相对应;以及生成并在用户界面上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比,其中,所述虚拟人物为与所述用户相匹配的模型。
- 如权利要求1所述的运动数据展示方法,其特征在于,所述虚拟人物包括:虚拟用户人物,与所述动作数据关联;以及虚拟参考人物,与所述参考动作数据关联。
- 如权利要求2所述的运动数据展示方法,其特征在于,所述动作数据包括多个肌电数据,所述多个肌电数据对应所述用户身上的多个第一测量位置在所述用户运动时的实际肌电信号,所述多个测量位置包括所述多个第一测量位置;所述参考动作数据包括与所述多个肌电数据相对应的多个参考肌电数据,所述多个参考肌电数据对应所述多个第一测量位置在所述用户运动时的参考肌电信号;以及所述生成并在用户界面上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比,包括:生成并在所述用户界面上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比。
- 如权利要求3所述的运动数据展示方法,其特征在于,所述生成并在所述用户界面上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比,包括:基于所述多个肌电数据,确定所述虚拟用户人物身上的多个用户显示区域的显示状态,生成所述虚拟用户人物的肌电动画,所述多个用户显示区域与所述多个第一测量位置对应;基于所述多个参考肌电数据,确定所述虚拟参考人物的多个参考显示区域的显示状态,生成所述虚拟参考人物的参考肌电动画,所述多个参考显示区域与所述多个第一测量位置对应;以及在所述用户界面上显示所述虚拟人物的肌电动画,所述虚拟人物的肌电动画包括所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画。
- 如权利要求4所述的运动数据展示方法,其特征在于,所述确定所述虚拟用户人物的多个用户显示区域的显示状态,包括:对所述虚拟用户人物身上的所述多个用户显示区域中的每个用户显示区域,基于与其对应的第一测量位置的肌电数据确定其对应的所述第一测量位置的肌肉对所述用户运动时的动作的用户力量贡献比;以及基于所述每个用户显示区域对应的所述用户力量贡献比,确定所述每个用户显示区域的显示状态。
- 如权利要求4所述的运动数据展示方法,其特征在于,所述确定所述虚拟参考人物的多个参考显示区域的显示状态,包括:对所述虚拟参考人物身上的所述多个参考显示区域中的每个参考显示区域,基于与其对应的第一测量位置的参考肌电数据确定其对应的所述第一测量位置的肌肉对所述用户运动时的动作的参考力量贡献比;以及基于所述每个参考显示区域对应的所述参考力量贡献比,确定所述每个参考显示区域的显示状态。
- 如权利要求4所述的运动数据展示方法,其特征在于,所述在所述用户界面上显示所述虚拟人物的肌电动画,包括:在所述用户界面上分别显示所述虚拟用户人物的肌电动画以及所述虚拟参考人物的参考肌电动画,包括:基于所述动作数据,确定所述用户运动时所作动作的用户动作周期;基于所述参考动作数据,确定所述用户运动时所作动作的参考动作周期;对所述虚拟用户人物的肌电动画进行时长调整,使经过所述时长调整后的所述用户动作周期与所述参考动作周期一致;以及将所述参考动作周期的起始时间与经过所述时长调整后的所述用户动作周期的起始时间对齐,将经过所述时长调整后的所述虚拟用户人物的肌电动画与所述虚拟参考人物的参考肌电动画进行时间对齐处理,并分别进行同步显示。
- 如权利要求3所述的运动数据展示方法,其特征在于,所述虚拟用户人物与所述虚拟参考人物在所述用户界面上显示为同一个虚拟人物,所述生成并在所述用户界面上显示所述虚拟人物的肌电动画来展示所述动作数据与所述参考动作数据的对比,包括:基于所述多个肌电数据以及所述多个参考肌电数据,确定所述多个第一测量位置对应的多个肌电差值;基于所述多个肌电差值,确定所述虚拟人物的多个显示区域的显示状态,生成所述虚拟人物的肌电动画,所述多个显示区域与所述多个第一测量位置对应;以及在所述用户界面上显示所述虚拟人物的肌电动画。
- 如权利要求8所述的运动数据展示方法,其特征在于,所述基于所述多个肌电数据以及所述多个参考肌电数据,确定所述多个第一测量位置对应的多个肌电差值,包括:对所述多个第一测量位置中的每个第一测量位置:基于其对应的肌电数据,确定其对应的肌肉在所述用户运动时动作的用户力量贡献比;基于其对应的参考肌电数据,确定其对应的肌肉在所述用户运动时动作的参考力量贡献比;以及基于其对应的所述用户力量贡献比和所述参考力量贡献比,确定其对应的所述肌电差值。
- 如权利要求2所述的运动数据展示方法,其特征在于,所述动作数据还包括:多个姿态数据,所述多个姿态数据对应所述用户身上的多个第二测量位置在所述用户运动时的实际姿态,所述多个测量位置包括所述多个第二测量位置;所述参考动作数据包括与所述多个姿态数据相对应的多个参考姿态数据,所述多个参考姿态数据对应所述多个第二测量位置在所述用户运动时的所对应的参考姿态;以及所述生成并在用户界面上显示虚拟人物来展示所述动作数据与所述参考动作数据的对比,包括:生成并在所述用户界面上显示所述虚拟人物的姿态动画来展示所述动作数据与所述参考动作数据的对比。
- 如权利要求10所述的运动数据展示方法,其特征在于,所述生成并在所述用户界面上显示所述虚拟人物的姿态动画来展示所述动作数据与所述参考动作数据的对比,包括:基于所述多个姿态数据,生成所述虚拟用户人物的姿态动画;基于所述多个参考姿态数据,生成所述虚拟参考人物的参考姿态动画;以及在所述用户界面上显示所述虚拟人物的姿态动画,所述虚拟人物的姿态动画包括所述虚拟用户人物的姿态动画以及所述虚拟参考人物的参考姿态动画。
- 如权利要求11所述的运动数据展示方法,其特征在于,所述在所述用户界面上显示所述虚拟人物的姿态动画,包括:基于所述动作数据,确定所述用户运动时所作动作的用户动作周期;基于所述参考动作数据,确定所述用户运动时所作动作的参考动作周期;以及将所述参考动作周期的起始时间与所述用户动作周期的起始时间对齐,将所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画进行时间对齐处理;以及将经过所述时间对齐处理后的所述虚拟用户人物的姿态动画与所述虚拟参考人物的参考姿态动画对齐,在所述用户界面上分别同步显示或叠加同步显示。
- 一种运动数据展示系统,其特征在于,包括:至少一个存储介质,所述至少一个存储介质存储有至少一个指令集用于运动数据展示;以及至少一个处理器,同所述至少一个存储介质通信连接,其中当运动数据展示系统运行时,所述至少一个处理器读取所述至少一个指令集并实施权利要求1-12中任一项所述的运动数据展示方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2021/081931 WO2022193330A1 (zh) | 2021-03-19 | 2021-03-19 | 一种运动监控方法及其系统 |
CNPCT/CN2021/081931 | 2021-03-19 | ||
PCT/CN2021/093302 WO2022193425A1 (zh) | 2021-03-19 | 2021-05-12 | 运动数据展示方法和系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116963807A true CN116963807A (zh) | 2023-10-27 |
Family
ID=83322076
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202180064627.1A Pending CN116963807A (zh) | 2021-03-19 | 2021-05-12 | 运动数据展示方法和系统 |
CN202280006986.6A Pending CN117157622A (zh) | 2021-03-19 | 2022-03-18 | 一种运动监控方法和设备 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202280006986.6A Pending CN117157622A (zh) | 2021-03-19 | 2022-03-18 | 一种运动监控方法和设备 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230210402A1 (zh) |
EP (1) | EP4202667A1 (zh) |
JP (1) | JP2023553625A (zh) |
KR (1) | KR20230091961A (zh) |
CN (2) | CN116963807A (zh) |
WO (1) | WO2022194281A1 (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117110952B (zh) * | 2023-08-18 | 2024-02-02 | 南京中旭电子科技有限公司 | 用于霍尔传感器的信号处理方法以及信号处理装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20090319459A1 (en) * | 2008-02-20 | 2009-12-24 | Massachusetts Institute Of Technology | Physically-animated Visual Display |
CN105797350A (zh) * | 2016-03-18 | 2016-07-27 | 深圳大学 | 健身姿势识别、评估、预警和强度估算的智能方法及系统 |
CN108211308B (zh) * | 2017-05-25 | 2019-08-16 | 深圳市前海未来无限投资管理有限公司 | 一种运动效果展示方法及装置 |
CN108211309A (zh) * | 2017-05-25 | 2018-06-29 | 深圳市未来健身衣科技有限公司 | 健身运动的指导方法及装置 |
CN110109532A (zh) * | 2018-06-11 | 2019-08-09 | 成都思悟革科技有限公司 | 一种基于人体姿态获得系统的人体动作比对系统 |
CN113230640A (zh) * | 2021-06-17 | 2021-08-10 | 郑州大学 | 一种自行车运动员运动分析系统及其方法 |
CN114081479A (zh) * | 2021-12-08 | 2022-02-25 | 清华大学 | 一种身体状态检测方法、装置、电子设备及智能服装 |
CN114298089A (zh) * | 2021-12-10 | 2022-04-08 | 深圳大学 | 一种多模态力量训练辅助方法和系统 |
-
2021
- 2021-05-12 CN CN202180064627.1A patent/CN116963807A/zh active Pending
-
2022
- 2022-03-18 JP JP2023535549A patent/JP2023553625A/ja active Pending
- 2022-03-18 WO PCT/CN2022/081718 patent/WO2022194281A1/zh active Application Filing
- 2022-03-18 KR KR1020237016947A patent/KR20230091961A/ko active Search and Examination
- 2022-03-18 CN CN202280006986.6A patent/CN117157622A/zh active Pending
- 2022-03-18 EP EP22770633.0A patent/EP4202667A1/en active Pending
-
2023
- 2023-03-13 US US18/182,373 patent/US20230210402A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117157622A (zh) | 2023-12-01 |
JP2023553625A (ja) | 2023-12-25 |
WO2022194281A1 (zh) | 2022-09-22 |
KR20230091961A (ko) | 2023-06-23 |
EP4202667A1 (en) | 2023-06-28 |
US20230210402A1 (en) | 2023-07-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2017386412B2 (en) | Systems and methods for real-time data quantification, acquisition, analysis, and feedback | |
US11069144B2 (en) | Systems and methods for augmented reality body movement guidance and measurement | |
KR100772497B1 (ko) | 골프 클리닉 시스템 및 그것의 운용방법 | |
US11679300B2 (en) | Systems and methods for real-time data quantification, acquisition, analysis, and feedback | |
CN103706106B (zh) | 一种基于Kinect的自适应连续动作训练方法 | |
EP2203896B1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
WO2022193425A1 (zh) | 运动数据展示方法和系统 | |
KR102320960B1 (ko) | 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템 | |
Gauthier et al. | Human movement quantification using Kinect for in-home physical exercise monitoring | |
Wang et al. | Motion analysis of deadlift for trainers with different levels based on body sensor network | |
CN116963807A (zh) | 运动数据展示方法和系统 | |
CN114832349B (zh) | 元宇宙游泳教学辅助系统及其使用方法 | |
US20230337989A1 (en) | Motion data display method and system | |
CN108852585A (zh) | 一种异常姿态矫正评估训练系统 | |
CN115105819A (zh) | 一种运动监控方法及其系统 | |
CN116304544A (zh) | 运动数据标定方法和系统 | |
CN113017615A (zh) | 基于惯性动作捕捉设备的虚拟交互运动辅助系统及方法 | |
TWI837620B (zh) | 運動監控方法及系統 | |
CN116785659A (zh) | 一种运动监控方法和设备 | |
TW202239378A (zh) | 運動監控方法及系統 | |
CN115910310A (zh) | 一种心肺复苏按压姿势标准阈值的确定方法及处理器 | |
CN117651847A (zh) | 运动数据标定方法和系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |