CN115105056A - 识别用户动作的方法和系统 - Google Patents

识别用户动作的方法和系统 Download PDF

Info

Publication number
CN115105056A
CN115105056A CN202210103219.9A CN202210103219A CN115105056A CN 115105056 A CN115105056 A CN 115105056A CN 202210103219 A CN202210103219 A CN 202210103219A CN 115105056 A CN115105056 A CN 115105056A
Authority
CN
China
Prior art keywords
data
action
user
motion
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210103219.9A
Other languages
English (en)
Inventor
黎美琪
苏雷
周鑫
廖风云
齐心
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Voxtech Co Ltd
Original Assignee
Shenzhen Voxtech Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Voxtech Co Ltd filed Critical Shenzhen Voxtech Co Ltd
Publication of CN115105056A publication Critical patent/CN115105056A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118Determining activity level
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022Monitoring a patient using a global network, e.g. telephone networks, internet
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055Simultaneously evaluating both cardiovascular condition and temperature
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02438Detecting, measuring or recording pulse rate or heart rate with portable devices, e.g. worn by the patient
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/08Detecting, measuring or recording devices for evaluating the respiratory organs
    • A61B5/0816Measuring devices for examining respiratory frequency
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116Determining posture transitions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121Determining geometric values, e.g. centre of rotation or angular range of movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1123Discriminating type of movement, e.g. walking or running
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/14542Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • A61B5/14551Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters for measuring blood gases
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25Bioelectric electrodes therefor
    • A61B5/279Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/296Bioelectric electrodes therefor specially adapted for particular uses for electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/389Electromyography [EMG]
    • A61B5/397Analysis of electromyograms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6804Garments; Clothes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A61B5/7207Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal of noise induced by motion artifacts
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7246Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/725Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7278Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09Rehabilitation or training
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/145Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue
    • A61B5/1455Measuring characteristics of blood in vivo, e.g. gas concentration, pH value; Measuring characteristics of body fluids or tissues, e.g. interstitial fluid, cerebral tissue using optical sensors, e.g. spectral photometrical oximeters
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/18Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • General Physics & Mathematics (AREA)
  • Cardiology (AREA)
  • Pulmonology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Optics & Photonics (AREA)
  • Neurosurgery (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Biology (AREA)

Abstract

本申请提供一种识别用户动作的方法和系统。该方法和系统,能够获取从用户身上多个测量位置采集的用户动作数据,所述用户动作数据对应于未知的用户动作;基于至少一套目标参考动作数据,在获取所述用户动作数据的同时识别所述用户动作中包括目标动作,所述至少一套目标参考动作数据对应于所述目标动作;以及向所述用户发送与所述目标动作相关的信息。

Description

识别用户动作的方法和系统
技术领域
本申请涉及可穿戴设备技术领域,尤其涉及一种识别用户动作的方法和系统。
背景技术
随着人们对科学运动和身体健康的关注,健身运动监控设备正在极大的发展。目前运动监控设备对用户运动时的动作进行监控的主要方式是,在已知用户动作类型的情况下,基于参考动作数据,对用户的运动时的动作数据进行分析,从而监控用户运动时的动作是否规范。因此,在实际应用场景中,需要用户在运动前,将健身动作类型提前告知给所述运动监控设备,所述运动监控设备才能选取所述动作类型的参考动作数据,从而对用户动作做出准确监控。对于用户来说,在每做一个健身动作之前,都要将动作类型告知给运动监控设备,这导致用户体验不好。其次,目前的运动监控设备对用户动作的监控都是非实时的,导致用户在做完运动动作之后,才能够收到与运动动作有关的信息,这也导致用户体验不好。
因此,需要提供一种能够不需要用户提前输入动作类型,即可对用户运动动作进行实时识别的方法和系统。
发明内容
本申请披露了一种识别用户动作的方法。根据本申请的一个方面,所述方法包括:获取从用户身上多个测量位置采集的用户动作数据,所述用户动作数据对应于未知的用户动作;基于至少一套目标参考动作数据,在获取所述用户动作数据的同时识别所述用户动作中包括目标动作,所述至少一套目标参考动作数据对应于所述目标动作;以及向所述用户发送与所述目标动作相关的信息。
在一些实施例中,其中所述识别所述用户动作中包括目标动作包括:获取多套候选参考动作数据,其中,每套所述参考动作数据对应于至少一个参考动作;将所述多套参考动作数据分别基于所述用户动作数据做二级筛选,所述二级筛选包括基于差异度的筛选和基于概率的筛选组合;以及基于所述二级筛选的结果确定所述用户动作包括所述目标动作。
在一些实施例中,其中所述识别所述用户动作中包括所述目标动作包括:获取多套参考动作数据,其中,每套所述参考动作数据对应于至少一个参考动作;从所述多套参考动作数据中依次选取一套作为候选参考动作数据;将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比,确定至少一个差异度;以及对所述至少一个差异度加权求和,获得综合差异度。
在一些实施例中,每套所述参考动作数据包括M组子参考动作数据,每组所述子参考动作数据包括至少一段所述子动作标识数据,M为大于1的整数;所述M个所述至少一段子动作标识数据组成整体的动作标识数据,每段所述子动作标识数据对应于所述参考动作在所述多个测量位置处的至少一个测量位置上的至少一部分动作。
在一些实施例中,所述将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比,确定至少一个差异度包括:在每组子用户动作数据上选取预设长度的滑窗,所述滑窗内包括所述用户动作数据在预设的时间区间采集的数据片段;以及对于当前时刻的所述滑窗,确定所述数据片段与相应的所述子动作标识数据的差异度。
在一些实施例中,所述识别所述用户动作中包括所述目标动作还包括:确定所述综合差异度值大于第一预设值;以及以预设的步长滑动所述滑窗至下一个数据片段,然后重复所述对比。
在一些实施例中,所述滑窗中的用户动作数据片段对应的数据采集时间长度与用户动作速度负相关。
在一些实施例中,其中所述预设步长满足下列条件中的至少一个:所述预设步长与前一个时刻的所述综合差异度值的大小正相关;以及所述预设步长与所述综合差异度值的变化趋势正相关。
在一些实施例中,所述数据片段包括多个用户动作数据点;以及所述将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比确定至少一个差异度包括:从所述子动作标识数据中选取目标对比数据区间,其中所述目标对比数据区间包括多个标识数据点,以及将所述数据片段按照多个尺度调整,获得多个调整过的数据片段,将所述多个调整过的数据片段分别确定同所述子标识数据的差异度,以及确定所述数据片段同所述子标识数据对应的最小差异度。
在一些实施例中,所述将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比确定至少一个差异度包括:计算确定距离矩阵[Dij],其中Dij表示所述目标对比数据区间中第i个数据点同所述数据片段中第j个数据点之间的距离;确定所述距离矩阵的最短距离路径,其中,所述最短距离路径需满足:所述最短距离路径的起点为[Dij]的第一行,所述最短距离路径上的相邻两点在所述距离矩阵中相邻,所述最短距离路径上后一点在前一点的右方、下方或右下方,所述最短距离路径的终点在[Dij]的最后一行,以及所述最短距离路径的规整代价最小,其中所述规整代价由所述距离矩阵上对应所述最短距离路径上的点的所述距离确定;以及所述差异度同所述规整代价相关。
在一些实施例中,若所述数据片段的第一个数据点被确定为用户动作开始的数据点,则所述最短距离路径的起点为所述数据片段第一点同所述目标对比数据区域第一点的距离D11
在一些实施例中,若所述数据片段的最后一个数据点被确定为用户动作结束的数据点,则所述最短距离路径的终点为所述数据片段最后点同所述目标对比数据区域最后一点的距离Dmn
在一些实施例中,所述识别所述用户动作中包括所述目标动作还包括:从所述多套参考动作数据中选择N个第二级候选参考动作数据,所述第二级候选参考动作数据的所述综合差异度值小于第一预设值,N为大于1的整数;分别计算出所述用户动作数据与所述N个第二级候选参考动作数据之间的N个距离;基于所述N个距离分别计算出N个概率值;以及选取所述概率值大于第二预设值的第二级候选参考动作数据为目标参考动作数据;以及确定所述目标参考动作对应的参考动作为目标动作。
本申请的另一个方面披露了一种识别用户动作的系统。所述识别用户动作的系统包括:至少一个存储介质,所述至少一个存储介质存储有至少一个指令集用于获取用户运动时的用户动作数据;以及至少一个处理器,同所述至少一个存储介质通信连接,其中当所述系统运行时,所述至少一个处理器读取所述至少一个指令集并执行上述方法以及实施例中披露的识别目标动作的方法。
附图说明
本申请将以示例性实施例的方式进一步说明,这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的,在这些实施例中,相同的编号表示相同的结构,其中:
图1是根据本申请一些实施例所示的运动监控系统的应用场景示意图;
图2是根据本申请一些实施例所示的可穿戴设备的示例性硬件和/或软件的示意图;
图3是根据本申请一些实施例所示的计算设备的示例性硬件和/或软件的示意图;
图4是根据本申请一些实施例所示的可穿戴设备的示例性结构图;
图5是根据本申请一些实施例所示的运动监控方法的示例性流程图;
图6是根据本申请一些实施例所示的用户运动时的坐标系图;
图7A示例性的展示了根据本申请一些实施例中的参考数据中的动作标识数据和滑窗在所述用户动作数据采集到的用户动作数据片段在时间轴上的曲线;
图7B是根据本申请一些实施例所示的距离矩阵以及从所述距离矩阵的左上角到右下角的最短距离路径;
图7C示例性的展示了根据本申请一些实施例所示的当用户动作数据包含多个子用户动作数据时,通过滑窗确定综合差异度的示意图。
具体实施方式
为了更清楚地说明本申请实施例的技术方案,下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地,下面描述中的附图仅仅是本申请的一些示例或实施例,对于本领域的普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图将本申请应用于其它类似情景。除非从语言环境中显而易见或另做说明,图中相同标号代表相同结构或操作。
应当理解,本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而,如果其他词语可实现相同的目的,则可通过其他表达来替换所述词语。
如本申请和权利要求书中所示,除非上下文明确提示例外情形,“一”、“一个”、“一种”和/或“该”等词并非特指单数,也可包括复数。一般说来,术语“包括”与“包含”仅提示包括已明确标识的步骤和元素,而这些步骤和元素不构成一个排它性的罗列,方法或者设备也可能包含其它的步骤或元素。
本申请中使用了流程图用来说明根据本申请的实施例的系统所执行的操作。应当理解的是,前面或后面操作不一定按照顺序来精确地执行。相反,可以按照倒序或同时处理各个步骤。同时,也可以将其他操作添加到这些过程中,或从这些过程移除某一步或数步操作。
本申请中提供一种确定目标动作的系统,该确定目标动作的系统中的存储介质所存储的指令集可以被执行以获取用户运动时的用户动作数据,该确定目标动作的系统可以应用于可穿戴设备(例如,服装、护腕、头盔)、医学检测设备(例如,肌电测试仪)、健身设备等,在用户穿戴该设备后,该设备上的传感器贴合在用户身上多个测量位置,因此用户的动作数据可被该设备上的传感器采集。传感器采集到用户动作数据之后,该确定目标动作的系统中的处理器可与存储介质通信连接,对存储介质中所存储的指令进行访问或读取等等,当确定目标动作的系统运行时,该处理器可访问存储介质中所储存的动作内容已知的参考运动数据,基于这些已知动作内容的的参考运动数据,该系统可对该动作内容未知的用户动作数据执行目标动作识别,并在确定该目标动作后,向该用户发送与该目标动作相关的内容。
在本申请的一些实施例中,所述系统可在预定时间内对所述用户动作数据执行目标动作识别,其中,所述预定时间可以为立即或者很短的时间,比如,0.1秒或0.5秒。这样所述系统可以实现对所述用户动作数据的实时识别,所述用户可以在做完一个动作后即时接收到有关所做动作的相关内容。
在本申请的一些实施例中,所述用户动作数据也可以不借助可穿戴设备(例如,服装、护腕、头盔)、医学检测设备(例如,肌电测试仪)、健身设备等设备上的传感器采集,而是通过其它方式获得。比如,通过人工智能的算法对视频中的用户影像进行分析,来获得所述用户身上若干测量位置的动作数据。总之,只要是能够实时获得的用户动作数据,都可以使用本申请的方法和系统来确定目标动作。
其中,存储介质可能包含一个内含有计算机程序编码的传播数据信号,例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式,包括电磁形式、光形式等,或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质,该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播,包括无线电、电缆、光纤电缆、RF、或类似介质,或任何上述介质的组合。具体地,存储介质可以为随机存取存储器RAM、只读存储器ROM等等,示例性的ROM可以包括掩模ROM(MROM)、可编程ROM(PROM)、可擦除可编程ROM(PEROM)、电可擦除可编程ROM(EEPROM)、光盘ROM(CD-ROM)和数字通用盘ROM等。示例性的RAM可以包括动态RAM(DRAM)、双倍速率同步动态RAM(DDR SDRAM)、静态RAM(SRAM)、晶闸管RAM(T-RAM)和零电容(Z-RAM)等。
作为范例,处理器可以是多核处理器、单核处理器、分布式处理器、中央处理器(CPU)、专用集成电路(ASIC)、专用指令处理器(ASIP)、图形处理器(GPU)、物理处理器(PPU)、数字信号处理器(DSP)、现场可编程门阵列(FPGA)、可编辑逻辑电路(PLD)、控制器、微控制器单元、精简指令集电脑(RISC)、微处理器等或以上任意组合。
图1是根据本申请一些实施例所示的确定目标动作的应用场景示意图。如图1所示,确定目标动作的系统100(或系统100)可以包括处理设备110、网络120、可穿戴设备130和移动终端设备140。系统100可以获取用于表征用户运动动作的用户动作数据(例如,肌电信号、姿态信号、应力数据、以及心电信号、呼吸频率信号等生理监测数据等),并根据用户动作数据对用户运动时的动作属于哪一种目标动作进行识别。
例如,系统100可以对用户健身时的动作进行识别。当用户穿戴可穿戴设备130进行健身运动时,可穿戴设备130可以获取用户的动作数据。处理设备110或移动终端设备140可以接收并对用户的动作数据进行分析,以识别用户的健身动作,如用户的健身动作到底是卧推、二头弯举还是深蹲等,从而向用户发送与目标动作相关的内容,其中,被识别出来的动作(比如卧推、二头弯举、深蹲等)的用户动作即为目标动作。具体地,所述与目标动作相关的内容可以包括语音或者视频提示的目标动作的名称、动作的动作类型、动作数量、动作时间、或者用户实施动作时的生理参数信息等。进一步地,系统100可以根据对用户健身动作数据的分析结果,生成对用户健身动作的反馈,比如所述用户的健身动作是否标准等,以对用户的健身进行指导。
再例如,系统100可以对用户跑步时的动作进行识别。例如,当用户穿戴可穿戴设备130进行跑步运动时,系统100可以获取用户的跑步动作数据,基于参考动作数据,识别用户正在进行的运动是跑步。当用户跑步时间过长或者跑步动作不正确时,健身设备可以向用户反馈其运动状态,以提示用户需要调整跑步动作或者跑步时间。
在一些实施例中,处理设备110可以用于处理与用户运动相关的信息和/或数据。例如,处理设备110可以接收用户的动作信号(例如,肌电信号、姿态信号、心电信号、呼吸频率信号等),并进一步提取动作信号对应的特征信息(例如,动作信号中的肌电信号对应的特征信息、姿态信号对应的特征信息)。在一些实施例中,处理设备110可以对可穿戴设备130采集的肌电信号或姿态信号进行特定的信号处理,例如信号分段、信号预处理(例如,信号校正处理、滤波处理等)等。在一些实施例中,处理设备110也可以基于用户的动作信号判断用户动作是否正确。例如,处理设备110可以基于肌电信号对应的特征信息(例如,幅值信息、频率信息等)判断用户动作是否正确。又例如,处理设备110可以基于姿态信号对应的特征信息(例如,角速度、角速度方向、角速度的加速度、角度、位移信息、应力等)判断用户动作是否正确。再例如,处理设备110可以基于肌电信号对应的特征信息和姿态信号对应的特征信息判断用户动作是否正确。在一些实施例中,处理设备110还可以判断用户运动时的生理参数信息是否符合健康标准。在一些实施例中,处理设备110还可以发出相应指令,用以反馈用户的运动情况。例如,用户进行跑步运动时,系统100监控到用户跑步时间过长,此时处理设备110可以向移动终端设备140发出指令以提示用户调整跑步时间。需要注意的是,姿态信号对应的特征信息并不限于上述的角速度、角速度方向、角速度的加速度、角度、位移信息、应力等,还可以为其它特征信息,凡是能够用于体现用户身体发生相对运动的参数信息都可以为姿态信号对应的特征信息。例如,当姿态传感器为应变式传感器时,通过测量应变式传感器中随着拉伸长度而变化的电阻的大小,可以获取用户关节处的弯曲角度和弯曲方向。
在一些实施例中,处理设备110可以是本地的或者远程的。例如,处理设备110可以通过网络120访问存储于可穿戴设备130和/或移动终端设备140中的信息和/或资料。在一些实施例中,处理设备110可以直接与可穿戴设备130和/或移动终端设备140连接以访问存储于其中的信息和/或资料。例如,处理设备110可以位于可穿戴设备130中,并通过网络120实现与移动终端设备140的信息交互。再例如,处理设备110可以位于移动终端设备140中,并通过网络实现与可穿戴设备130的信息交互。在一些实施例中,处理设备110可以在云平台上执行。
在一些实施例中,处理设备110可以处理与运动监控有关的数据和/或信息以执行一个或多个本申请中描述的功能。在一些实施例中,处理设备110可以获取可穿戴设备130采集的用户运动时的动作信号。在一些实施例中,处理设备110可以向可穿戴设备130或移动终端设备140发送控制指令。控制指令可以控制可穿戴设备130及其各传感器的开关状态,还可以控制移动终端设备140发出提示信息。在一些实施例中,处理设备110可以包含一个或多个子处理设备(例如,单芯处理设备或多核多芯处理设备)。
网络120可以促进运动监控系统100中数据和/或信息的交换。在一些实施例中,运动监控系统100中的一个或多个组件可以通过网络120发送数据和/或信息给运动监控系统100中的其他组件。例如,可穿戴设备130采集的动作信号可以通过网络120传输至处理设备110。又例如,处理设备110中关于动作信号的确认结果可以通过网络120传输至移动终端设备140。在一些实施例中,网络120可以是任意类型的有线或无线网络。
可穿戴设备130是指具有穿戴功能的服装或设备。在一些实施例中,可穿戴设备130可以包括但不限于上衣装置130-1、裤子装置130-2、护腕装置130-3和鞋子130-4等。在一些实施例中,可穿戴设备130可以包括M个传感器,M为大于1的整数。传感器可以获取用户运动时的各种动作信号(例如,肌电信号、姿态信号、温度信息、心跳频率、心电信号等)。在一些实施例中,传感器可以包括但不限于肌电传感器、姿态传感器、温度传感器、湿度传感器、心电传感器、血氧饱和度传感器、霍尔传感器、皮电传感器、旋转传感器等中的一种或多种。例如,上衣装置130-1中人体肌肉位置(例如,肱二头肌、肱三头肌、背阔肌、斜方肌等)处可以设置肌电传感器,肌电传感器可以贴合用户皮肤并采集用户运动时的肌电信号。又例如,上衣装置130-1中人体左侧胸肌附近可以设置心电传感器,心电传感器可以采集用户的心电信号。再例如,裤子装置130-2中人体肌肉位置(例如,臀大肌、股外侧肌、股内侧肌、腓肠肌等)处可以设置姿态传感器,姿态传感器可以采集用户的姿态信号。在一些实施例中,可穿戴设备130还可以对用户的动作进行反馈。例如,用户运动时身体某一部位的动作不符合标准时,该部位对应的肌电传感器可以产生刺激信号(例如,电流刺激或者击打信号)以提醒用户。
需要注意的是,可穿戴设备130并不限于图1中所示的上衣装置130-1、裤子装置130-2、护腕装置130-3和鞋子装置130-4,还可以包括应用在其他需要进行运动监控的设备,例如、头盔装置、护膝装置等,在此不做限定,任何可以使用本申请所包含的运动监控方法的设备都在本申请的保护范围内。
在一些实施例中,移动终端设备140可以获取系统100中的信息或数据。在一些实施例中,移动终端设备140可以接收处理设备110处理后的运动数据,并基于处理后的运动数据反馈运动记录等。示例性的反馈方式可以包括但不限于语音提示、图像提示、视频展示、文字提示等。在一些实施例中,用户可以通过移动终端设备140获取自身运动过程中的动作记录。例如,移动终端设备140可以与可穿戴设备130通过网络120连接(例如,有线连接、无线连接),用户可以通过移动终端设备140获取用户运动过程中的动作记录,该动作记录可通过移动终端设备140传输至处理设备110。在一些实施例中,移动终端设备140可以包括移动装置140-1、平板电脑140-2、笔记本电脑140-3等中的一种或其任意组合。在一些实施例中,移动装置140-1可以包括手机、智能家居装置、智能行动装置、虚拟实境装置、增强实境装置等,或其任意组合。在一些实施例中,智能家居装置可以包括智能电器的控制装置、智能监测装置、智能电视、智能摄像机等,或其任意组合。在一些实施例中,智能行动装置可以包括智能电话、个人数字助理(PDA)、游戏装置、导航装置、POS装置等,或其任意组合。在一些实施例中,虚拟实境装置和/或增强实境装置可以包括虚拟实境头盔、虚拟实境眼镜、虚拟实境眼罩、增强实境头盔、增强实境眼镜、增强实境眼罩等,或其任意组合。
在一些实施例中,运动监控系统100还可以包括运动数据展示系统160。运动数据展示系统160可以用于处理与用户运动相关的信息和/或数据,并将所述信息和/或数据展示出来。比如展示用户正在进行何种运动等;或者将所述信息和/或数据与虚拟人物相结合,直观地展示在移动终端设备140的用户界面上,以方便用户进行查看。例如,运动数据展示系统160可以接收用户的动作数据,比如,肌电信号、姿态信号、心电信号、呼吸频率信号等动作信号,又比如,处理设备110对所述动作信号进行特征处理得到的特征信息(例如,动作信号中的肌电信号对应的特征信息、姿态信号对应的特征信息),再比如,处理设备110对所述动作信号进行特定的信号处理后的信号,例如信号分段、信号预处理(例如,信号校正处理、滤波处理等)等;运动数据展示系统160可以将所述动作数据与参考动作数据进行对比,并将对比结果与虚拟人物相结合生成虚拟人物的动画并发送给移动终端设备140进行展示。关于所述参考动作数据将在后面的描述中详细介绍。比如,当用户在进行二头弯举的动作时,运动数据展示系统160可以接收用户在进行二头弯举时的动作数据,比如,肱二头肌的肌电信号、斜方肌的肌电信号、小臂的运动姿态、大臂的运动姿态,等等;运动数据展示系统160可以将用户的动作数据与运动监控系统100中存储的多个参考动作数据进行对比,确定所述用户正在进行二头弯举这个动作。进而,运动数据展示系统160可以将展示一个正在进行二头弯举的虚拟人物,用户可以通过虚拟人物动画清楚直观地发现用户的动作数据,或者所述动作数据与参考动作数据之间的差异,比如肌肉发力位置和发力大小的差异、运动姿态的差异,等等,从而对运动时的动作进行调整。
在一些实施例中,运动数据展示系统160可以集成在处理设备110上。在一些实施例中,运动数据展示系统160也可以集成在移动终端设备140上。在一些实施例中,运动数据展示系统160也可以独立于处理设备110和移动终端设备140单独存在。运动数据展示系统160可以与处理设备110、可穿戴设备130和移动终端设备140通信连接,以进行信息和/或数据的传输和交换。在一些实施例中,运动数据展示系统160可以通过网络120访问存储于处理设备110、可穿戴设备130和/或移动终端设备140中的信息和/或资料。在一些实施例中,可穿戴设备130可以直接与处理设备110和/或移动终端设备140连接以访问存储于其中的信息和/或资料。例如,运动数据展示系统160可以位于处理设备110中,并通过网络120实现与可穿戴设备130和移动终端设备140的信息交互。再例如,运动数据展示系统160可以位于移动终端设备140中,并通过网络实现与处理设备110和可穿戴设备130的信息交互。在一些实施例中,运动数据展示系统160可以在云平台上执行,并通过网络实现与处理设备110、可穿戴设备130和移动终端设备140的信息交互。
为了方便展示,下面的描述中我们将以运动数据展示系统160位于移动终端设备140中为例进行描述。
在一些实施例中,运动数据展示系统160可以处理与运动数据展示有关的数据和/或信息以执行一个或多个本申请中描述的功能。在一些实施例中,运动数据展示系统160可以获取用户运动时的动作数据,比如,可穿戴设备130采集的用户运动时的动作信号,再比如,可穿戴设备130采集的用户运动时的动作信号经处理设备110处理后的数据。在一些实施例中,运动数据展示系统160可以向移动终端设备140发送控制指令,以控制移动终端设备140用户界面的显示。
在一些实施例中,系统100还可以包括数据库。数据库可以存储资料(例如,初始设置的阈值条件等)和/或指令(例如,反馈指令)。在一些实施例中,数据库可以存储从可穿戴设备130和/或移动终端设备140获取的资料。在一些实施例中,数据库可以存储供处理设备110执行或使用的信息和/或指令,以执行本申请中描述的示例性方法。在一些实施例中,数据库可以与网络120连接以与系统100的一个或多个组件(例如,处理设备110、可穿戴设备130、移动终端设备140等)通讯。系统100的一个或多个组件可以通过网络120访问存储于数据库中的资料或指令。在一些实施例中,数据库可以直接与系统100中的一个或多个组件连接或通讯。在一些实施例中,数据库可以是处理设备110的一部分。
图2是根据本申请一些实施例所示的可穿戴设备130的示例性硬件和/或软件的示意图。如图2所示,可穿戴设备130可以包括获取模块210、处理模块220(也被称为处理器)、控制模块230(也被称为主控、MCU、控制器)、通讯模块240、供电模块250以及输入/输出模块260。
获取模块210可以用于获取用户运动时的动作信号。在一些实施例中,获取模块210可以包括传感器单元,传感器单元可以用于获取用户运动时的一种或多种动作信号。在一些实施例中,传感器单元可以包括但不限于肌电传感器、姿态传感器、心电传感器、呼吸传感器、温度传感器、湿度传感器、惯性传感器、血氧饱和度传感器、霍尔传感器、皮电传感器、旋转传感器等中的一种或多种。在一些实施例中,动作信号可以包括肌电信号、姿态信号、心电信号、呼吸频率、温度信号、湿度信号等中的一种或多种。传感器单元可以根据所要获取的动作信号类型放置在可穿戴设备130的不同位置。例如,在一些实施例中,肌电传感器(也被称为电极元件)可以设置于人体肌肉位置,肌电传感器可以被配置为采集用户运动时的肌电信号。肌电信号及其对应的特征信息(例如,频率信息、幅值信息等)可以反映用户运动时肌肉的状态。姿态传感器可以设置于人体的不同位置(例如,可穿戴设备130中与躯干、四肢、关节对应的位置),姿态传感器可以被配置为采集用户运动时的姿态信号。姿态信号及其对应的特征信息(例如,角速度方向、角速度值、角速度加速度值、角度、位移信息、应力等)可以反映用户运动的姿势。心电传感器可以设置于人体胸口周侧的位置,心电传感器可以被配置为采集用户运动时的心电数据。呼吸传感器可以设置于人体胸口周侧的位置,呼吸传感器可以被配置为采集用户运动时的呼吸数据(例如,呼吸频率、呼吸幅度等)。温度传感器可以被配置为采集用户运动时的温度数据(例如,体表温度)。湿度传感器可以被配置为采集用户运动时的外部环境的湿度数据。
处理模块220可以处理来自获取模块210、控制模块230、通讯模块240、供电模块250和/或输入/输出模块260的数据。例如,处理模块220可以处理来自获取模块210的用户运动过程中的动作信号。在一些实施例中,处理模块220可以将获取模块210获取的动作信号(例如,肌电信号、姿态信号)进行预处理。例如,处理模块220对用户运动时的肌电信号或姿态信号进行分段处理。又例如,处理模块220可以对用户运动时的肌电信号进行预处理(例如,滤波处理、信号校正处理),以提高肌电信号质量。再例如,处理模块220可以基于用户运动时的姿态信号确定与姿态信号对应的特征信息。在一些实施例中,处理模块220可以处理来自输入/输出模块260的指令或操作。在一些实施例中,处理后的数据可以存储到存储器或硬盘中。在一些实施例中,处理模块220可以将其处理后的数据通过通讯模块240或网络120传送到运动监控系统100中的一个或者多个组件中。例如,处理模块220可以将用户运动的监控结果发送给控制模块230,控制模块230可以根据动作确定结果执行后续的操作或指令。
控制模块230可以与可穿戴设备130中其他模块相连接。在一些实施例中,控制模块230可以控制可穿戴设备130中其它模块的运行状态。例如,控制模块230可以控制供电模块250的供电状态(例如,正常模式、省电模式)、供电时间等。又例如,控制模块230可以根据用户的动作确定结果控制输入/输出模块260,进而可以控制移动终端设备140向用户发送其运动的反馈结果。当用户运动时的动作出现问题(例如,动作不符合标准)时,控制模块230可以控制输入/输出模块260,进而可以控制移动终端设备140向用户进行反馈,使得用户可以实时了解自身运动状态并对动作进行调整。在一些实施例中,控制模块230还可以控制获取模块210中的一个或多个传感器或者其它模块对人体进行反馈。例如,当用户运动过程中某块肌肉发力强度过大,控制模块230可以控制该肌肉位置处的电极模块对用户进行电刺激以提示用户及时调整动作。
在一些实施例中,通讯模块240可以用于信息或数据的交换。在一些实施例中,通讯模块240可以用于可穿戴设备130内部组件之间的通信。例如,获取模块210可以发送用户动作信号(例如,肌电信号、姿态信号等)到通讯模块240,通讯模块240可以将所述动作信号发送给处理模块220。在一些实施例中,通讯模块240还可以用于可穿戴设备130和系统100中的其他组件之间的通信。例如,通讯模块240可以将可穿戴设备130的状态信息(例如,开关状态)发送到处理设备110,处理设备110可以基于所述状态信息对可穿戴设备130进行监控。通讯模块240可以采用有线、无线以及有线/无线混合技术。
在一些实施例中,供电模块250可以为系统100中的其他组件提供电力。
输入/输出模块260可以获取、传输和发送信号。输入/输出模块260可以与系统100中的其他组件进行连接或通信。运动监控系统100中的其他组件可以通过输入/输出模块260实现连接或通信。
需要注意的是,以上对于系统100及其模块的描述,仅为描述方便,并不能把本申请的一个或多个实施例限制在所举实施例范围之内。可以理解,对于本领域的技术人员来说,在了解该系统的原理后,可能在不背离这一原理的情况下,对各个模块进行任意组合,或者构成子系统与其他模块连接,或者对其中的一个或多个模块进行省略。例如,获取模块210和处理模块220可以为一个模块,该模块可以具有获取和处理用户动作信号的功能。又例如,处理模块220还可以不设置于可穿戴设备130中,而集成在处理设备110中。诸如此类的变形,均在本申请的一个或多个实施例的保护范围之内。
图3是根据本申请一些实施例所示的计算设备300的示例性硬件和/或软件的示意图。在一些实施例中,处理设备110和/或移动终端设备140可以在计算设备300上实现。在一些实施例中,运动数据展示系统160可以在计算设备300上实现。如图3所示,计算设备300可以包括内部通信总线310、处理器320、只读存储器330、随机存储器340、通信端口350、输入/输出接口360、硬盘370以及用户界面380。
内部通信总线310可以实现计算设备300中各组件间的数据通信。例如,处理器320可以通过内部通信总线310将数据发送到存储器或输入/输出端口360等其它硬件中。
处理器320可以执行计算指令(程序代码)并执行本申请描述的运动监控系统100的功能。所述计算指令可以包括程序、对象、组件、数据结构、过程、模块和功能(所述功能指本申请中描述的特定功能)。例如,处理器320可以处理从运动监控系统100的可穿戴设备130或/和移动终端设备140中获取的用户运动时的动作信号(例如,肌电信号、姿态信号),并根据用户运动时的动作信号对用户的运动的动作进行监控。仅为了说明,图3中的计算设备300只描述了一个处理器,但需要注意的是,本申请中的计算设备300还可以包括多个处理器。
计算设备300的存储器(例如,只读存储器(ROM)330、随机存储器(RAM)340、硬盘370等)可以存储从运动监控系统100的任何其他组件中获取的数据/信息。在一些实施例中,计算设备300的存储器可以位于可穿戴设备130中,也可以位于处理设备110中。
输入/输出接口360可以用于输入或输出信号、数据或信息。在一些实施例中,输入/输出接口360可以使用户与运动监控系统100进行交互。
硬盘370可以用于存储处理设备110所产生的或从处理设备110所接收到的信息及数据。例如,硬盘370可以储存用户的用户确认信息。在一些实施例中,硬盘370可以设置于处理设备110中或可穿戴设备130中。用户界面380可以实现计算设备300和用户之间的交互和信息交换。在一些实施例中,用户界面380可以用于将运动监控系统100生成的运动记录呈现给用户。在一些实施例中,用户界面380可以包括一个物理显示器,如带扬声器的显示器、LCD显示器、LED显示器、OLED显示器、电子墨水显示器(E-Ink)等。
比如,系统100中的可穿戴设备130可以采用任何结构。比如,可穿戴设备130可以采用图4所示的所述可穿戴设备400的结构。为了对可穿戴设备130进行描述,图4中的可穿戴设备400以上衣服装作为示例。如图4所示,可穿戴设备400可以包括上衣服装410。上衣服装410可以包括上衣服装基底4110、一个或者多个上衣处理模块4120、一个或者多个上衣反馈模块4130、一个或者多个上衣获取模块4140等。上衣服装基底4110可以是指穿戴于人体上身的衣物。在一些实施例中,上衣服装基底4110可以包括短袖T恤、长袖T恤、衬衫、外套等。一个或者多个上衣处理模块4120、一个或者多个上衣获取模块4140可以位于上衣服装基底4110上与人体不同部位贴合的区域。一个或者多个上衣反馈模块4130可以位于上衣服装基底4110的任意位置,一个或者多个上衣反馈模块4130可以被配置为反馈用户上身运动状态信息。示例性的反馈方式可以包括但不限于语音提示、文字提示、压力提示、电流刺激等。在一些实施例中,一个或者多个上衣获取模块4140可以包括但不限于姿态传感器、心电传感器、肌电传感器、温度传感器、湿度传感器、惯性传感器、酸碱传感器、声波换能器等中的一种或多种。上衣获取模块4140中的传感器可以根据待测量的信号不同而放置在用户身体的不同位置。例如,姿态传感器用于获取用户运动过程中的姿态信号时,姿态传感器可以放置于上衣服装基底4110中与人体躯干、双臂、关节对应的位置。又例如,肌电传感器用于获取用户运动过程中的肌电信号时,肌电传感器可以位于用户待测量的肌肉附近。在一些实施例中,姿态传感器可以包括但不限于加速度三轴传感器、角速度三轴传感器、磁力传感器等,或其任意组合。例如,一个姿态传感器可以包含加速度三轴传感器、角速度三轴传感器。在一些实施例中,姿态传感器还可以包括应变式传感器。应变式传感器可以是指可以基于待测物受力变形产生的应变的传感器。在一些实施例中,应变式传感器可以包括但不限于应变式测力传感器、应变式压力传感器、应变式扭矩传感器、应变式位移传感器、应变式加速度传感器等中的一种或多种。例如,应变式传感器可以设置在用户的关节位置,通过测量应变式传感器中随着拉伸长度而变化的电阻的大小,可以获取用户关节处的弯曲角度和弯曲方向。需要注意的是,上衣服装410除了上述的上衣服装基底4110、上衣处理模块4120、上衣反馈模块4130、上衣获取模块4140之外,还可以包括其它模块,例如,供电模块、通讯模块、输入/输出模块等。上衣处理模块4120与图2中的处理模块220相类似、上衣获取模块4140与图2中的获取模块210相类似,关于上衣服装410中的各个模块的具体描述可以参考本申请图2中的相关描述,在此不做赘述。
图5是根据本申请一些实施例所示的确定目标动作的示例性流程500。在一些实施例中,流程500可以通过系统100来实现。比如,处理设备110和/或移动设备140中的存储器可以存储一组或者多组的动作分析、识别指令集。所述指令集包括多条指令。处理设备110和/或移动设备140的处理器在运行时可以读取并执行所述指令集中的多条指令,并在所述多条指令的指导下执行所述流程500。所述流程500可以是实时完成的,各个步骤也可以是分别在不同时间段完成的。流程500可以包括:
步骤510,获取用户运动时的用户动作数据,所述用户动作数据对应于未知的用户动作。
首先处理设备110和/或移动设备140可以从所述用户身上的多个测量位置测量上述动作数据,比如获得用户运动时的原始数据。具体地,处理设备110和/或移动设备140可以直接地或者通过网络120同可穿戴设备130通信连接。可穿戴设备130上具有多个传感器,在用户穿着所述可穿戴设备130的时候,所述多个传感器附着在用户身上的多个位置上。因此,通过相应的获取模块,处理设备110和/或移动设备140可以获取这些附着在所述用户身上的所述多个测量位置的传感器的测量结果,从而得到所述用户的动作数据。
用户动作数据是指用户运动时由人体参数信息生成的动作数据。在一些实施例中,人体参数信息可以包括但不限于肌电信号、姿态信号、心电信号、温度信号、湿度信号、血氧浓度、呼吸频率等中的一种或多种。
由于用户动作是多个肌肉和关节的协调结果,相应地,所述用户动作数据也包括用户身上M个位置的多个传感器采集到的数据,M为大于1的整数。在一些实施例中,每个单个传感器所采集的数据都可以被看作一组子动作数据。比如在一些实施例中,可穿戴设备130中的多个传感器可以获取用户运动时多个部位的信号;所述多个部位姿态信号的综合可以反映人体不同部位之间的相对运动情况。比如,可穿戴设备130上的肌电传感器可以采集用户在运动过程中的肌电信号;可穿戴设备130中的姿态传感器可以采集用户运动时的姿态信号;而可穿戴设备130中的角度角速度传感器可以采集用户运动时各个关节的角度和角速度。上述传感器中的每个传感器的信号被记录下来便是一组子动作数据。所有子动作数据综合起来便是动作数据。
比如,当一个人做出臂弯举动作时,对应的动作数据可以包括可穿戴设备130测量得到的上臂角度数据和角速度数据、上臂和前臂之间的角度数据和角速度数据、肱二头肌的肌电数据、三角肌的肌电数据、斜方肌的肌电数据、以及背部肌肉群的数据等等。再比如,当用户进行坐姿夹胸时,可穿戴设备中与人体胸肌、背阔肌等位置对应的肌电传感器可以采集用户相应肌肉位置的肌电信号。又例如,当用户进行深蹲动作时,可穿戴设备130中与人体臀大肌、股四头肌等位置对应的肌电传感器可以采集用户相应肌肉位置的肌电信号;处于大腿、小腿和膝盖附近的角度和角速度传感器可以采集大腿小腿之间的夹角和角速度。每个单个传感器所采集的数据都可以被看作一组子动作数据。因此,臂弯举的用户动作数据也可以包括多个子用户动作数据,分别对应于用户做臂弯举动作时在其身体的所述多个位置采集到的数据。
当用户穿上可穿戴设备130时,可穿戴设备130可能在任何时候开始对用户的运动开始进行测量,而用户也可能在任何时候开始运动或者开始休息。因此处理设备110和/或移动设备140即不知道可穿戴设备130所采集的是一段用户的随意动作数据还是前述的健身动作,也不知道所述健身动作在所采集的数据中是从何时开始的。因此,可穿戴设备130所采集的是内容未知的动作数据。也就是说,系统100对用户正在做的是何种运动(即,用户动作是否包括了已知的若干目标动作,以及所述目标动作开始时间),以及用户从何时刻开始运动,都处于未知状态。因此,所述动作数据也没有表示动作内容的标识。仅仅是为了方便叙述,本申请将以动作数据是否包含了动作标识为例描述所述动作数据的内容是否已知。
步骤520,基于内容已知的一套或者多套候选参考动作数据,对所述用户动作数据执行动作识别,识别所述用户动作中是否包含了所述一套或者多套候选参考动作数据对应的参考动作,即目标动作。
所述目标动作是指用户做出的实际动作中的一些特定动作,如二头弯举、卧推、深蹲、踢腿、俯卧撑、硬拉、卷腹等;而所述参考动作是指由参考人物(比如教练等)对所述特定动作所做出的标注了动作内容的标准动作。在一些实施例中,所述目标动作识别可以在所述用户动作数据获取后预设时间内执行。其中,所述预定时间可以为立即或者很短的时间,比如,一小时内或0.1、0.5秒。所述目标动作识别还可以同所述用户动作数据的获取实时进行。比如,在用户做出动作的同时,处理设备110和/或移动设备140的处理器可以一边获取所述用户动作数据,一边同时将所述用户动作数据拉伸或者压缩成不同的尺度,然后同所述参考动作数据进行对比,进而同时对所述用户动作数据执行所述动作识别。上述比对的方法将在本申请其他部分介绍。
所述参考动作数据可以是通过多个传感器测量得到多个参考动作数据。在采集所述参考运动数据的时候,类似于对所述用户运动数据的采集,所述多个传感器也是附着在参考人物身上的所述M个测量位置,比如所述参考人物穿着所述可穿戴设备130。然后所述参考人物做出所述特定的动作,数据采集设备(比如,可以是处理设备110和/或移动设备140,也可以是其他设备)通过可穿戴设备130上相应的获取模块接收相应的动作数据。因此,所述候选参考动作数据为从参考人物身上的所述M个测量位置测量的内容已知的参考动作的动作数据,比如标注了动作内容的参考动作数据。比如,上臂弯举的参考动作数据可以是从参考人物身上相同的多个位置采集到的数据。所述参考人物可以是用来做模特收集所述参考动作数据的人,比如健身教练。对于每个传感器所采集到的数据。臂弯举的参考数据可以包括M个子参考动作数据,分别对应于参考人物做臂弯举动作时在身体的所述M个位置采集到的数据。在一些实施例中,所述参考人物身上的M个测量位置可以同采集用户动作数据时用户身上的M个测量位置一一对应。相应地,所述用户动作数据的M个子用户动作数据便可以同所述M个子参考动作数据一一对应。
当然,所述参考动作数据也可以是由其他方式生成的。比如,通过计算机建模获得虚拟人物的动作数据、通过人工智能方式对视频中的人物进行人为拟合等等方法得到所述参考动作数据(比如对奥林匹亚先生的动作示范视频进行人为拟合)。只要某动作数据能够标准的表征某特定动作,并且其动作内容已知,都可以作为本申请中的所述参考动作数据。如前所述,仅仅是为了方便叙述,本申请将以标注了内容的动作数据为例描述内容已知的动作数据。
在步骤520中,处理设备110和/或移动设备140可以访问参考动作数据库。所述参考动作数据库包括多个参考动作数据。所述多个参考动作数据对应于多个参考动作。比如,可以每个参考动作数据对应一个参考动作,也可以每个参考动作数据对应多个参考动作或者每个参考动作对应于多个参考动作数据。
在对所述用户动作数据执行目标动作识别时,处理设备110和/或移动设备140可以将用户动作数据依次同参考动作数据库中的多条参考动作数据依次通过二级筛选方法来判别。所述二级筛选法可以通过两种不同的筛选方式对所述多条参考动作数据进行筛选,最终确定用户的动作包括哪个参考动作。比如,所述二级筛选可以包括基于差异度的筛选和基于概率的筛选组合。
具体地,在第一级筛选中,处理设备110和/或移动设备140可以选取一条候选参考动作数据作为第一级候选参考动作数据,然后将之同所述用户动作数据进行动作的差异度判别,确定所述用户动作数据同所述第一级候选参考动作数据在数据值上差别是否足够小。如果用户动作数据同某一个第一级候选参考动作数据差异度小于预设值,则该第一级候选参考动作数据晋级成第二级候选参考动作数据。每个第二级候选参考动作数据对应一个或者多个晋级参考动作,即第二级参考动作。
第二级筛选为概率筛选。在第二级筛选中,处理设备110和/或移动设备140可以确定所述用户动作中包含所述晋级参考动作(第二级参考动作)的概率,进而确定所述用户动作是否包含所述第二级参考动作。然后基于所述二级筛选的结果,确定所述用户动作包括所述目标参考动作数据对应的目标动作。具体步骤如下:
步骤521,从参考动作数据库中的多条参考数据中依次选取一条作为第一级候选参考动作数据。
步骤522,将所述第一级候选参考动作数据同所述用户动作数据做差异度对比。
步骤523,判断所述差异度值是否小于第一预设值。若大于或者等于所述第一预设值,则表示所述用户动作同所述第一级候选参考动作数据整体差别较大,则回到步骤521,从参考动作数据库中的多条参考数据中选取下一条作为第一级候选参考动作数据重新同所述用户动作数做数据值层面的对比;若小于所述第一预设值,则表示所述用户动作同所述第一级候选参考动作数据整体差别较小,则进行步骤524,确定所述第一级候选参考动作数据为第二级候选参考动作数据,接着进行下一级目标动作数据判断。
步骤525,计算所述用户动作数据与多个所述第二级候选参考动作数据的多个距离。
步骤526,根据所述多个距离,计算所述用户动作数据包括所述第二级候选参考动作数据对应的目标动作的多个概率。
步骤527,判断所述多个概率中的最大值是否小于第二预设值。若不大于所述第二预设值,则进行步骤529,确定所述用户动作不包括所述第二级候选参考动作数据对应的参考动作;若大于所述第二预设值,进行步骤528,确定所述用户动作包括同概率值最大的第二级候选参考动作数据对应的参考动作,该参考动作即为所述目标动作。
选取所述第一级候选参考动作数据的依据可以是随机依次选取,也可以是按照一定规则来选取,本申请对此不作限定。比如所述参考动作数据库中可以预先为所有参考动作数据做个编号,然后处理设备110和/或移动设备140可以依照此编号逐条的选择参考动作数据作为第一级候选参考动作数据。
将所述第一级候选参考动作数据同所述用户动作数据做对比时,可以通过滑窗对比的方法进行。比如,处理设备110和/或移动设备140可以将一个滑窗沿时间轴滑过所述用户动作数据并且选取在所述滑窗内的用户动作数据片段。因为所述用户动作数据中的M个子用户动作数据是并行采集得到的,因此所述滑窗也可以同时作用在每个子用户动作数据上,并行的划过每个子用户动作数据。所述滑窗可以对应于预设的时间区间(比如0.1秒、0.5秒、1秒等),因此对应于M个子用户动作数据,所述滑窗内便包括所述用户动作数据在该预设的时间区间采集的M个数据片段。设备110和/或移动设备140将所述M个用户动作数据片段分别与该第一级候选参考动作数据对应的M个子参考动作数据的部分或者全部数据进行差异度对比获得一个或者多个或者多个子对比结果,然后再对所述一个或者多个或者多个子对比结果加权求和,获得综合的差异度。所述综合差异度表达的是所述用户动作数据同所述参考动作数据之间的差异。所述综合差异度数值越小,则所述差异越小,代表所述用户动作数据片段越接近所述参考动作数据,则所述用户动作数据片段对应的用户动作就越接近参考动作,则处理设备110和/或移动设备140便可以确定所述用户动作数据中包括该参考动作。比如用户在运动中做了二头弯举,所述用户动作数据中就有对应的用户动作数据片段。当处理设备110和/或移动设备140将对应于二头弯举的用户动作数据片段同对应于二头弯举的参考动作数据做对比时,所述综合差异度值就会非常小。另一方面,所述综合差异度值越小也可能代表所述用户动作数据片段在所述用户动作数据中的位置越接近目标动作在所述用户动作数据中的位置,也就是说,所述用户动作数据片段对应的用户动作在时间上越接近所述用户做出所述目标动作的时刻。
具体地,处理设备110和/或移动设备140可以以一个预设了数据宽度的滑窗以预设的步长沿时间轴滑过所述用户动作数据,每次选取在所述滑窗内的用户动作数据片段。比如说,处理设备110和/或移动设备140可以在所述用户动作数据上依次以预设步长选取预设数据长度的一段连续数据。考虑到所述用户在做目标动作时的速度可能跟所述参考人物所做的标准动作的速度不同,所述滑窗长度可以与用户动作速度负相关来抵消所述不同。也就是说,当用户动作速度越快时,所取的滑窗长度越短,当用户动作速度越慢时,所取的滑窗长度就越长。
所述预设步长可以是恒定值。由于综合差异度值也代表当前用户动作数据片段对应的用户动作离目标动作时间上的距离,所述预设步长也可以基于综合差异度值进行调整的。比如,为了增加识别目标动作的效率,所述预设步长可以与前一个时刻的所述综合差异度值的大小正相关。这里的正相关可以是同所述前一时刻的综合差异度值成比例关系;也可以是基于所述前一时刻的综合差异度值按照某种阶跃的方式来选择当前时刻的步长;也可以是当前时刻的步长比上一个时刻的步长大一个常数等等,这里对正相关的具体方式不做限定。所述预设步长也可以与综合差异度值的变化趋势正相关。比如,如果当前时刻的综合差异度值同上一个时刻的综合差异度值之差大于0,那么也就是综合差异度值的变化趋势在增大,这就代表当前用户动作数据片段对应的用户动作离目标动作时间上越来越远,那么此时处理设备110和/或移动设备140就可以增加步长;而如果当前时刻的综合差异度值同上一个时刻的综合差异度值之差小于0,这就代表当前用户动作数据片段对应的用户动作离目标动作时间上越来越近,那么此时处理设备110和/或移动设备140就可以减小步长;如果当前时刻的综合差异度值同上一个时刻的综合差异度值之差等于0,则保持步长不变。
由于所述滑窗的宽度是预设的,其从所述用户动作数据中截取的数据片段的长度也是预设的。因此所述用户动作数据片段可以对应整个第一级候选参考动作数据;当然,所述用户动作数据片段也可以对应于所述第一级候选参考动作数据的一部分。在一些实施例中,所述参考动作数据中包括一段或多段动作标识数据。所述动作标识数据可以是所述参考动作的至少部分特征动作对应的动作数据,可以是角速度数据,也可以是速度数据等等,其实质就是用于表征所述特征动作。所述特征动作对所述参考动作来说是独特的。通过这部分特征动作就可以判断出参考动作,或者通过动作标识数据就可以判断整个数据是参考动作数据,以至于当所述用户动作数据中出现了同所述动作标识数据相似的数据片段时便可以识别所述用户动作包括对应的目标动作。同时,所述动作标识数据可以仅仅存在于所述参考动作数据的部分子参考动作数据上,所述动作标识数据也可以存在于每个子参考动作数据上。存在于所述子参考动作数据上的动作标识数据被称为子动作标识数据。
对于当前时刻的所述滑窗,处理设备110和/或移动设备140将所述M个用户动作数据片段分别与对应的M个子动作标识数据进行对比,从而获得相应的M个差异度;然后再对所述M个差异度加权求和,获得综合的差异度。如果所述综合差异度小于第一预设值,则确定所述第一级候选参考动作数据通过了第一级筛选,入选为第二级候选参考动作数据;如果所述综合差异度值大于所述第一预设值,则以所述预设的步长滑动所述滑窗至下一个用户动作数据片段,然后重复所述对比,直至综合差异度值小于所述第一预设值或者所述滑窗滑动至所述用户动作数据结束端。
具体地,在将某第一级候选参考动作数据的某子动作标识数据同与其对应的子用户动作数据与进行对比时,可以按照如下方法进行:
对于所述第一级候选参考动作数据中的某个子动作标识数据,其数据是二维的。比如,臂弯举的第一级候选参考动作数据中包括了前臂相对于上臂之间的弯曲角度在不同时间点的子动作标识数据。该子动作标识数据包括了多个角度值和对应的多个时间点,因此是二维数据。对于这样的单一参数的子动作标识数据,当一个所述第一级候选参考动作数据中包括一段子动作标识数据时,其获得所述综合差异度的具体过程如下。图7A示例性的展示了根据本申请一些实施例中的参考数据中的一段子动作标识数据和对应的滑窗在所述用户动作数据采集到的子用户动作数据片段在时间轴上的曲线。所述参考数据中的子动作标识数据包括了多个数据{aj}={a1,a2,a3,…,an},其中n为大于1的整数,每个所述数据对应一个时间戳,随着j的增加每个数据aj的时间戳对应的时间点依次增加。也就是说向量{aj}中的数据点是按照时间顺序排列的。所述子用户动作数据片段包含了多个数据{bi}={b1,b2,a3,…,bm},其中m为大于1的整数,每个所述数据对应一个时间戳,随着i的增加每个数据bi的时间戳对应的时间点依次增加。也就是说向量{bi}中的数据点是按照时间顺序排列的。一般来说,滑窗所对应的时长要小于子动作标识数据对应的时长,并且滑窗所对应的数据量小于自动做标识数据对应的数据量,即m<n。
假设参考动作数据与用户动作数据的采样频率相同且动作速度一致的话,那么对应于相同时间,参考动作数据的数据点的数量与用户动作数据的数据点的数量应该是相同的。则子用户动作数据片段{bi}应该对应于子动作标识数据{aj}中相同长度的数据。也即是说,{bi}中每一个数据点应该对应于{aj}中的一个数据点。如果要将{bi}同{aj}做差异度对比的话,{bi}只要沿着时间轴t划过,每次滑动一个数据点的距离,并且每滑动一次便完成一次同{aj}中对应的数据点之间的差异度判别。但如果考虑到参考动作数据与用户动作数据的采样频率和/或动作速度不一致,那么用户动作的数据点同参考动作的数据点之间就没有一一对应的关系了。此时就需要根据各种时间尺度将{bi}的动作-时间关系调整到同参考动作数据一致。比如,如果考虑到参考动作数据与用户动作数据的采样频率相同但是动作速度不一致的情况下,用户做一个动作所用的时间同对应的参考动作所用时间便不一样。比如,硬件采样频率都是每秒采集100个数据点,参考动作中某关节的速度在1s内从0°变化到了90°,而用户动作的速度在1s内可能只从0°变化到了45°,则同样是100个数据点,参考动作数据的对应了90°的角度变化而用户的动作数据对应了45°的角度变化。这就需要根据各种时间尺度将{bi}的时间跨度进行调整,也就是按照不同的尺度对{bi}进行拉长或者压缩,然后针对每个尺度完成一次同{aj}中对应的数据点之间的差异度判别,直至完成所有尺度下对应的所有差异度的判别。具体的方法如下:
首先处理设备110和/或移动设备140将子用户动作数据片段{bi}同子动作标识数据{aj}放在同一个时间轴上,计算所述子用户动作数据中任一点bi与所述子动作标识数据中任一点aj之间的距离Dji,确定如图7B所示的m×n的距离矩阵Dm×n。所述距离矩阵中的每一个元素代表从子用户动作数据片段中的第i(i≤m)个点到第一级候选参考动作数据中的子动作标识数据的第j(i≤n)个点的距离。以用户动作为诸如二头弯举等健身动为例,所述子用户的动作数据{bi}为上臂同前臂之间的夹角,所述参考数据中相应的的子动作标识数据{aj}也为上臂同前臂之间的夹角,则距离Dji可以表示为用户上臂同前臂之间的夹角与所述子动作标识数据表示的夹角之间的差Dji=|aj-bi|。图7A中示出了a5同b6之间的距离D56以及a5同b3之间的距离D53。当然,所述距离还可以是其他形式定义的距离。比如,可以计算所述子用户动作数据中任一点bi与所述子动作标识数据中任一点aj之间的欧氏距离、曼哈顿距离、P范数距离、余弦距离、切比雪夫距离、马氏距离、编辑距离、Jaccard距离或者相关距离等等距离。这样,距离矩阵Dm×n便囊括了所有尺度下的子用户动作数据片段{bi}同子动作标识数据{aj}中所有点对点之间的距离。
然后,处理设备110和/或移动设备140确定所述距离矩阵Dm×n中的最短距离路径Pmin,即最小的规整代价。其中,所述距离路径可以用下述向量表达,P={pk}={p1,p2,……,pl},是由距离矩阵Dm×n的部分元素组成的序列,l表示所述距离路径P中的元素个数;P包括多个数字,每个数字都是Dm×n中的一个元素(即,距离);任意相邻两个数字都是所述距离矩阵Dm×n中的两个相邻元素,且所述序列中的后一个数字在距离矩阵Dm×n中的位置在前一个数字对应的距离矩阵Dm×n中的位置的右方、下方或右下方。由于滑窗中的子用户动作数据片段对应的时间短于子动作标识数据对应的时间,因此所述最短距离路径P的两端应该是对应于{bi}中的第一点b1和最后一个数据点bm,即所述序列中第一个数字是p1=D1x,最后一个数字是pl=Dmy,其中x<n,y<n,x和y分别是{aj}中相对应的数据点所处的位置。所述最短距离路径Pmin是所有满足以上条件的路径中,各个元素之和最小者,即
Figure BDA0003492908340000221
Figure BDA0003492908340000222
考虑到所述时间窗口可以设定不同的时间长短以及不同的数据采样频率,因此窗口中的用户动作数据点片段中的数据点的数量可能会不同。这可能造成最短距离路径P的值可能会根据传感器数据采集频率和时间窗口的长短而不同。考虑到这些因素,所述差异度(degreeofdifference)f可以定义为
Figure BDA0003492908340000223
其中
Figure BDA0003492908340000224
为最短距离路径Pmin元素的加权平均值,W={w1,w2,…wl}为一个由m个元素组成的1行l列的权重向量,
Figure BDA0003492908340000231
为标量。比如所述差异度可以定义为平均距离,即W中的所有元素均为1/l。
通过上述计算,处理设备110和/或移动设备140便完成了将所述多个调整过尺度的数据片段分别确定同所述子动作标识数据的差异度,以及确定所述数据片段同所述子动作标识数据对应的最小差异度的操作。
在一些实施例中,为了减小计算量以及确定子用户动作数据的调整尺度,在决定滑窗内的子用户动作数据片段的差异度之前,处理设备110和/或移动设备140还可以从所述子动作标识数据中确定目标对比数据区间,并且仅仅将所述目标对比数据区间同所述子用户动作数据片段做对比获得差异度。其中所述目标对比数据区间包括多个子动作标识数据点。所述目标对比数据区间可以依据滑窗选取的所述用户动作数据与子动作标识数据的如下关系确定:
1)滑窗选取的所述用户动作数据片段的首尾正好对应于所述子动作标识数据的首尾,也就是说所述用户动作数据片段刚好是所述子动作标识数据的完整分布。这种情况下,处理设备110和/或移动设备140首先判断滑窗选取的所述用户动作数据片段的第一个和最后一个数据点分别对应于相应的子动作标识数据的第一个和最后一个数据点。则所述目标对比数据区间覆盖整个子动作标识数据。所述距离路径P的约束条件将变成:所述序列中的每个数字都是Dm×n中的一个元素;任意相邻两个数字都是所述距离矩阵Dm×n中的两个相邻元素,且所述序列中的后一个数字在距离矩阵Dm×n中的位置在前一个数字对应的距离矩阵Dm×n中的位置的右方、下方或右下方。所述最短距离路径P的两端应该是对应于p1=D11,pl=Dmn。也就是说,所述距离矩阵的最短距离路径P为从所述距离矩阵的左上角到右下角的最短距离路径。
2)滑窗选取的所述子用户动作数据中的开始点对应于所述子动作标识数据的开始点,且滑窗选取的所述子用户动作数据的结束点对应于所述子动作标识数据中间的某个数据,也就是说,所述子用户动作数据经过伸缩以后对应着所述子动作标识数据中的一个片段,且这个片段位于所述子动作标识数据的开始位置。这种情况下,处理设备110和/或移动设备140首先判断滑窗选取的所述用户动作数据片段的第一个数据点对应于相应的子动作标识数据的第一个数据点。则所述目标对比数据区间覆盖整个子动作标识数据。所述距离路径P的约束条件将变成:所述序列中的每个数字都是Dm×n中的一个元素;任意相邻两个数字都是所述距离矩阵Dm×n中的两个相邻元素,且所述序列中的后一个数字在距离矩阵Dm×n中的位置在前一个数字对应的距离矩阵Dm×n中的位置的右方、下方或右下方。所述最短距离路径P的两端应该是对应于p1=D11,pl=Dmy。也就是说,所述距离矩阵的最短距离路径P为从所述距离矩阵的左上角到右下方向最后一行的中间某一点。
3)滑窗选取的所述子用户动作数据中的开始点对应于所述子动作标识数据中间的某个数据,且滑窗选取的所述子用户动作数据的结束点对应于所述子动作标识数据的结束点,也就是说,所述子用户动作数据经过伸缩以后,是所述子动作标识数据结束位置的一个片段。这种情况下,处理设备110和/或移动设备140首先判断滑窗选取的所述用户动作数据片段的最后一个数据点对应于相应的子动作标识数据的最后一个数据点。则所述目标对比数据区间覆盖整个子动作标识数据。所述距离路径P的约束条件将变成:所述序列中的每个数字都是Dm×n中的一个元素;任意相邻两个数字都是所述距离矩阵Dm×n中的两个相邻元素,且所述序列中的后一个数字在距离矩阵Dm×n中的位置在前一个数字对应的距离矩阵Dm×n中的位置的右方、下方或右下方。所述最短距离路径P的两端应该是对应于p1=D1x,pl=Dmn。也就是说,所述距离矩阵的最短距离路径P为从所述距离矩阵第一行的中间某一点到右下角的最短距离路径。
4)滑窗选取的所述子用户动作数据中的开始点和结束数据点分别对应于所述子动作标识数据中的两个中间数据点而不是其第一个和最后一个数据点。也就是说,滑窗选取的所述子用户动作数据中的开始点不是所述子动作标识数据的开始;滑窗选取的所述子用户动作数据中的结束点也不是所述子动作标识数据的结束。所述子用户动作数据经过伸缩以后,是所述子动作标识数据中的一个片段,且这个片段位于所述子动作标识数据中间的某位置。其中,一段数据的“中间数据”可以是指除了所述数据的开始点、结束点之外的任一位置的数据。这种情况下,处理设备110和/或移动设备140首先判断滑窗选取的所述用子户动作数据片段的第一个和最后一个数据点不是相应的子动作标识数据的第一个和最后一个数据点。则所述目标对比数据区间覆盖除了第一个数据点和最后一个数据点之外的整个子动作标识数据。所述距离路径P的约束条件将变成:所述序列中的每个数字都是Dm×n中的一个元素;任意相邻两个数字都是所述距离矩阵Dm×n中的两个相邻元素,且所述序列中的后一个数字在距离矩阵Dm×n中的位置在前一个数字对应的距离矩阵Dm×n中的位置的右方、下方或右下方。所述最短距离路径P的两端应该是对应于pl=D1x,pl=Dmy。其中x∈(1,y],y∈[1,n)。也就是说,所述距离矩阵的最短距离路径P为从所述距离矩阵第一行的中间某一点开始向右下方延申,结束于最后一行的某一点。
在一些实施例中,所述子动作标识数据可以是一个参考动作的一段起始动作或者结束动作。这时候,在判断所述子用户动作数据中的某一点是否为动作的开始点或结束点时,可以通过该点及其前后的角速度的变化来确定。比如,当某一用户动作数据点显示其对应用户动作的角速度为0,且其后的点的角速度不为0时,可以证明用户从该点开始做某一个健身动作,因此可以判定该点为用户动作的开始点;再比如,当某一用户动作点的角速度为0,且其前的点的角速度不为0时,可以证明用户在该点停止做动作,因此可以判定该点为动作的结束点。
应理解,对所述用户动作数据执行目标动作识别包括下述两种情况中的一种:1)将所述子动作标识数据同所述子用户动作数据逐段对比获得综合差异度值,当所述综合差异度值小于第一预设值时,处理设备110和/或移动设备140可以确定所述第一级候选参考动作数据为第二级候选参考动作数据;2)将所述动作标识数据同所述用户动作数据逐段对比获得综合差异度值,当所述综合差异度值大于所述第一预设值时,处理设备110和/或移动设备140可以以所述预设的步长滑动所述滑窗至下一个数据片段,然后重复所述对比。其中,所述第一预设值是判断用户动作数据与第一级候选参考动作数据所对应的动作的距离是否足够小的判断标准,因此,当综合差异度值小于第一预设值时,证明用户动作数据与第一级候选参考动作数据的距离比较小(也就是相似度很高),可以认为用户动作数据有可能包括同所述第一级候选参考动作数据对应的目标动作数据,此时确定所述第一级候选参考动作数据为第二级候选参考动作数据;当综合差异度值大于第一预设值时,证明用户动作数据与第一级候选参考动作数据的相似度很低,可以确定用户动作数据不包括同所述参考动作对应的目标动作数据。
以上是确定一个子用户动作数据同相应的子动作标识数据之间差异度的方法。图7C示出了当用户动作数据包含多个子用户动作数据时,确定综合差异度的示意图。
如果某一个动作的动作数据包括对M个参数进行测量的数据,M为大于1的整数,则该动作的动作数据包括M组并行测量的子数据。因此,所述用户动作数据便包括了M组子用户动作数据;而第一级候选参考动作数据也包括M组子第一级候选参考动作数据。其中所述第一级候选参考动作数据的每组子数据对应于一个参数测量得到的整体动作数据中的局部动作数据,并且包含独立的至少一段子动作标识数据。所有子动作标识数据共同组成了所述参考动作的动作标识数据。
当某组子用户动作数据对应的子第一级候选参考动作数据包括一段子动作标识数据时,可以按照下述方法得到所述子用户动作数据与所述子第一级候选参考动作数据的子对比结果:处理设备110和/或移动设备140可以对所述M组子用户动作数据分别使用滑窗选取一段用户动作数据并且与所述M组子参考运动数据中对应的M段子动作标识数据依次对比确定差异度,获得子对比结果。然后,将所述M个子对比结果进行加权求和获得综合差异度,再根据所述综合差异度和预先设置的第一预设值,确定所述用户动作数据中是否包括所述目标动作。对于所述M组子用户动作数据中的每一组,处理设备110和/或移动设备140都按照上文所述方法得到所述子用户动作数据与所述子动作标识数据的差异度。
具体地,对于所述M组子用户动作数据中的每组,处理设备110和/或移动设备140可以通过滑窗采集一个子用户动作数据片段。其中对应于每个子用户动作数据的滑窗在滑动时可以是联动的,也可以是独立操作的。每个滑窗可以拥有相同的宽度,即,每个滑窗对应的所述第一个子用户动作数据片段可以统一包含d个数据(d为大于1的整数),同上文所述,所述d个数据中的每一个数据都对应一个时间戳。当然,不同滑窗的宽度也可以不同,则每个滑窗内的子用户动作数据片段包括的数据量也不同。然后,处理设备110和/或移动设备140可以按照上文所述的方法,确定所述子用户动作数据片段各个数据点与所述子动作标识数据中的各个数据点之间的整体距离。然后,处理设备110和/或移动设备140可以通过上文所方法,求得所述整体距离的最小的规整代价,进而确定所述子用户动作数据片段与所述子动作标识数据之间的差异度。由于所述子用户动作数据有M组,所以按照上述方法,处理设备110和/或移动设备140总共可以求得M个差异度。最后,处理设备110和/或移动设备140可以对所述M个子对比结果进行加权求和,得到综合差异度。
在本申请的一些实施例中,在得到所述综合差异度值之后,处理设备110和/或移动设备140可以直接确定该用户动作数据是否包括所述第一级候选参考动作数据。比如,处理设备110和/或移动设备140可以为所述动作标识数据设置一个第一预设值,当所述综合差异度值大于所述第一预设值时,处理设备110和/或移动设备140可以以所述预设的步长滑动所述M个滑窗至下一个数据片段,然后重复所述对比;若所述综合差异度值小于所述第一预设值,则处理设备110和/或移动设备140认为该组子用户动作数据有可能包括所述第一级候选参考动作数据,从而结束上述循环。
当某组子用户动作数据对应的子第一级候选参考动作数据包括多段(如p段,p为大于1的整数)子动作标识数据时,可以按照下述方法得到所述子用户动作数据与所述子第一级候选参考动作数据的对比结果:对于所述M组子用户动作数据中的每组,处理设备110和/或移动设备140可以通过滑窗在所述子用户动作数据采集一个子用户动作数据片段。其中对应于每个子用户动作数据的滑窗在滑动时可以是联动的,也可以是独立操作的。每个滑窗可以拥有相同的宽度,即,每个滑窗对应的所述第一个子用户动作数据片段可以统一包含d个数据(d为大于1的整数),同上文所述,所述d个数据中的每一个数据都对应一个时间戳。当然,不同滑窗的宽度也可以不同,则每个滑窗内的子用户动作数据片段包括的数据量也不同。然后,处理设备110和/或移动设备140可以按照上文所述的方法,分别计算所述子用户动作数据片段与所述p段子动作标识数据之间的p个整体距离。然后,处理设备110和/或移动设备140可以通过上文所方法,求得所述p个整体距离的最小的规整代价,作为所述子用户动作数据片段与所述子动作标识数据之间的子对比结果。由于所述子用户动作数据有M组,所以按照上述方法,处理设备110和/或移动设备140总共可以求得M个子对比结果。最后,处理设备110和/或移动设备140可以对所述M个子对比结果进行加权求和,得到综合差异度值。
在本申请的一些实施例中,在得到所述综合差异度值之后,处理设备110和/或移动设备140可以直接确定该组子用户动作数据是否包括所述第一级候选参考动作数据。比如,处理设备110和/或移动设备140可以为所述动作标识数据设置一个第一预设值,当所述综合差异度值大于所述第一预设值时,处理设备110和/或移动设备140可以以所述预设的步长滑动所述M个滑窗至下一个数据片段,然后重复所述对比;若所述综合差异度值中的最小值小于所述第一预设值,则处理设备110和/或移动设备140确定该第一级候选参考动作数据为所述第二级候选参考动作数据,从而结束上述循环。
在一些实施例中,在确定了所述第二级候选参考动作数据之后,处理设备110和/或移动设备140还可以通过计算概率的方法进一步确认所述用户动作是否包括了所述第二级候选参考动作数据对应的参考动作。
在本申请的一些实施例中,还可以设置第二预设值,所述第二预设值可以是关于概率的预设值。假设通过上述过程,处理设备110和/或移动设备140最终确定有N个第一级候选参考动作数据为第二级候选参考动作数据(N为大于1的整数)。具体地,可以通过对比,分别计算出所述用户动作数据与所述N个第二级候选参考动作数据之间的N个距离(综合对比结果),再通过所述N个距离分别计算出N个概率值。将所述N个概率值中的最大值与所述第二预设值进行比较,进而判断所述用户动作数据是否包括了该最大概率值对应的第二级候选参考动作数据。所述用户动作数据包括第i个所述第二级候选参考动作数据对应的目标动作的概率可以表达为:
Figure BDA0003492908340000281
其中Dj为所述用户动作数据同第j个所述第二级候选参考动作数据之间的距离(比如前述的综合规整代价或者综合差异度)。所述用户动作数据与所述第二级候选参考动作数据的距离值越小,则所述用户动作数据包括所述第二级候选参考动作数据对应的目标动作的概率就越大。例如,将所述用户动作数据分别与3个第二级候选参考动作数据(即,假设N=3,则所述第二级候选参考动作数据的编号分别为1、2和3)做对比,得到所述用户动作数据与第二级候选参考动作数据1的距离是D1,与第二级候选参考动作数据2的距离是D2,与第二级候选参考动作数据3的距离是D3。所述用户动作数据与所述第二级候选参考动作数据的距离值越小,则所述用户动作数据包括所述第二级候选参考动作数据对应的目标动作的概率就越大。比如,可以确定所述用户动作数据包括所述第二级候选参考动作数据1对应的目标动作的概率是
Figure BDA0003492908340000282
所述用户动作数据包括所述参考动作数据2对应的目标动作的概率是
Figure BDA0003492908340000283
以及所述用户动作数据包括所述参考动作数据3对应的目标动作的概率是
Figure BDA0003492908340000284
此时,再将计算出的所述3个概率值中的最大值与第二预设值进行比较,当所述最大概率值大于第二预设值时,则确定所述用户动作数据包括与第二级候选参考动作数据n对应的目标动作,其中,所述第二级候选参考动作数据n为所述最大概率值对应的第二级候选参考动作数据;当所述最大概率值小于第二级预设值时,则确定所述用户动作数据不包括参考动作数据库对应的目标动作。
步骤530,确定所述目标动作后,向所述用户发送与所述目标动作相关的内容。
具体地,在识别出用户动作之后,可以对用户运动的动作进行监控,并向用户发送监控到的信息。这里对用户运动的动作进行监控包括对用户动作相关的信息进行监控。在一些实施例中,动作相关的信息可以包括用户动作类型、动作数量、动作质量(例如,用户动作是否符合标准)、动作时间等中的一个或多个。动作类型是指用户运动时采取的健身动作。在一些实施例中,动作类型可以包括但不限于坐姿夹胸、深蹲运动、硬拉运动、平板支撑、跑步、游泳等中的一种或多种。动作数量是指用户运动过程中执行动作的次数。例如,用户在运动过程中进行了10次坐姿夹胸,这里的10次为动作次数。动作质量是指用户执行的健身动作相对于标准健身动作的标准度。例如,当用户进行深蹲动作时,处理设备110可以基于特定肌肉位置(臀大肌、股四头肌等)的动作信号(肌电信号和姿态信号)对应的特征信息判断用户动作的动作类型,并基于标准深蹲动作的动作信号判断用户深蹲动作的动作质量。动作时间是指用户一个或多个动作类型对应的时间或运动过程的总时间。
综上所述,本申请提供的确定目标动作的方法和系统100,能够获取用户运动时的动作数据,然后通过将所述动作数据与标注了动作内容的参考运动数据做对比,进而识别用户的运动是否包括同参考动作相同的目标动作。该方法和系统可以在不知道用户具体做什么动作(不知道用户是否做了标注类型的动作以及什么时候做了所述标注类型的动作)的情况下,对用户动作数据执行目标动作识别,并在确定目标动作之后,向所述用户发送与所述目标动作相关的内容。通过上述技术方案,本方法和系统比传统的方法和系统具有更高的智能,改善了用户体验。
上文已对基本概念做了描述,显然,对于本领域技术人员来说,上述详细披露仅仅作为示例,而并不构成对本申请的限定。虽然此处并没有明确说明,本领域技术人员可能会对本申请进行各种修改、改进和修正。该类修改、改进和修正在本申请中被建议,所以该类修改、改进、修正仍属于本申请示范实施例的精神和范围。
同时,本申请使用了特定词语来描述本申请的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本申请一个或者多个实施例相关的某一特征、结构或特点。因此,应强调并注意的是,本申请中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外,本申请的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

Claims (14)

1.一种识别用户动作的方法,其特征在于,包括:
获取从用户身上多个测量位置采集的用户动作数据,所述用户动作数据对应于未知的用户动作;
基于至少一套目标参考动作数据,在获取所述用户动作数据的同时识别所述用户动作中包括目标动作,所述至少一套目标参考动作数据对应于所述目标动作;以及
向所述用户发送与所述目标动作相关的信息。
2.如权利要求1所述的识别用户动作的方法,其特征在于,其中所述识别所述用户动作中包括目标动作包括:
获取多套候选参考动作数据,其中,每套所述参考动作数据对应于至少一个参考动作;
将所述多套参考动作数据分别基于所述用户动作数据做二级筛选,所述二级筛选包括基于差异度的筛选和基于概率的筛选组合;以及
基于所述二级筛选的结果确定所述用户动作包括所述目标动作。
3.如权利要求1所述识别用户动作的方法,其特征在于,其中所述识别所述用户动作中包括所述目标动作包括:
获取多套参考动作数据,其中,每套所述参考动作数据对应于至少一个参考动作;
从所述多套参考动作数据中依次选取一套作为候选参考动作数据;
将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比,确定至少一个差异度;以及
对所述至少一个差异度加权求和,获得综合差异度。
4.如权利要求3所述的识别用户动作的方法,其特征在于,其中,
每套所述参考动作数据包括M组子参考动作数据,每组所述子参考动作数据包括至少一段所述子动作标识数据,M为大于1的整数;
所述M个所述至少一段子动作标识数据组成整体的动作标识数据,每段所述子动作标识数据对应于所述参考动作在所述多个测量位置处的至少一个测量位置上的至少一部分动作。
5.如权利要求3所述的识别用户动作的方法,其特征在于,其中,所述将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比,确定至少一个差异度包括:
在每组子用户动作数据上选取预设长度的滑窗,所述滑窗内包括所述用户动作数据在预设的时间区间采集的数据片段;以及
对于当前时刻的所述滑窗,确定所述数据片段与相应的所述子动作标识数据的差异度。
6.如权利要求5所述的识别用户动作的方法,其特征在于,所述识别所述用户动作中包括所述目标动作还包括:
确定所述综合差异度值大于第一预设值;以及
以预设的步长滑动所述滑窗至下一个数据片段,然后重复所述对比。
7.如权利要求6所述的识别用户动作的方法,其特征在于,所述滑窗中的用户动作数据片段对应的数据采集时间长度与用户动作速度负相关。
8.如权利要求7所述的识别用户动作的方法,其特征在于,其中所述预设步长满足下列条件中的至少一个:
所述预设步长与前一个时刻的所述综合差异度值的大小正相关;以及
所述预设步长与所述综合差异度值的变化趋势正相关。
9.如权利要求5所述的识别用户动作的方法,其特征在于,其中,所述数据片段包括多个用户动作数据点;以及
所述将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比确定至少一个差异度包括:
从所述子动作标识数据中选取目标对比数据区间,其中所述目标对比数据区间包括多个标识数据点,以及
将所述数据片段按照多个尺度调整,获得多个调整过的数据片段,
将所述多个调整过的数据片段分别确定同所述子标识数据的差异度,以及
确定所述数据片段同所述子标识数据对应的最小差异度。
10.如权利要求5所述的识别用户动作的方法,其特征在于,其中,所述将所述候选参考动作数据中的至少一段子动作标识数据同对应的子用户动作数据逐段对比确定至少一个差异度包括:
计算确定距离矩阵[Dij],其中Dij表示所述目标对比数据区间中第i个数据点同所述数据片段中第j个数据点之间的距离;
确定所述距离矩阵的最短距离路径,其中,所述最短距离路径需满足:
所述最短距离路径的起点为[Dij]的第一行,
所述最短距离路径上的相邻两点在所述距离矩阵中相邻,
所述最短距离路径上后一点在前一点的右方、下方或右下方,
所述最短距离路径的终点在[Dij]的最后一行,以及
所述最短距离路径的规整代价最小,其中所述规整代价由所述距离矩阵上对应所述最短距离路径上的点的所述距离确定;以及
所述差异度同所述规整代价相关。
11.如权利要求10所述的识别用户动作的方法,其特征在于,若所述数据片段的第一个数据点被确定为用户动作开始的数据点,则所述最短距离路径的起点为所述数据片段第一点同所述目标对比数据区域第一点的距离D11
12.如权利要求10所述的识别用户动作的方法,其特征在于,若所述数据片段的最后一个数据点被确定为用户动作结束的数据点,则所述最短距离路径的终点为所述数据片段最后点同所述目标对比数据区域最后一点的距离Dmn
13.如权利要求3所述的识别用户动作的方法,其特征在于,其中,所述识别所述用户动作中包括所述目标动作还包括:
从所述多套参考动作数据中选择N个第二级候选参考动作数据,所述第二级候选参考动作数据的所述综合差异度值小于第一预设值,N为大于1的整数;
分别计算出所述用户动作数据与所述N个第二级候选参考动作数据之间的N个距离;
基于所述N个距离分别计算出N个概率值;以及
选取所述概率值大于第二预设值的第二级候选参考动作数据为目标参考动作数据;以及
确定所述目标参考动作对应的参考动作为目标动作。
14.一种识别用户动作的系统,其特征在于,包括:
至少一个存储介质,所述至少一个存储介质存储有至少一个指令集用于获取用户运动时的用户动作数据;以及
至少一个处理器,同所述至少一个存储介质通信连接,
其中当所述系统运行时,所述至少一个处理器读取所述至少一个指令集并执行权利要求1-13中任一项所述的识别目标动作的方法。
CN202210103219.9A 2021-03-19 2022-01-27 识别用户动作的方法和系统 Pending CN115105056A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/CN2021/081931 WO2022193330A1 (zh) 2021-03-19 2021-03-19 一种运动监控方法及其系统
IBPCT/CN2021/081931 2021-03-19

Publications (1)

Publication Number Publication Date
CN115105056A true CN115105056A (zh) 2022-09-27

Family

ID=83321834

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202180070833.3A Pending CN116981401A (zh) 2021-03-19 2021-03-19 一种运动监控方法及其系统
CN202110516387.6A Pending CN115115751A (zh) 2021-03-19 2021-05-12 运动数据展示方法和系统
CN202210103219.9A Pending CN115105056A (zh) 2021-03-19 2022-01-27 识别用户动作的方法和系统
CN202210103211.2A Pending CN115105100A (zh) 2021-03-19 2022-01-27 运动数据处理方法和运动监控系统
CN202280005956.3A Pending CN116261749A (zh) 2021-03-19 2022-01-27 识别用户动作的方法和系统

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN202180070833.3A Pending CN116981401A (zh) 2021-03-19 2021-03-19 一种运动监控方法及其系统
CN202110516387.6A Pending CN115115751A (zh) 2021-03-19 2021-05-12 运动数据展示方法和系统

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN202210103211.2A Pending CN115105100A (zh) 2021-03-19 2022-01-27 运动数据处理方法和运动监控系统
CN202280005956.3A Pending CN116261749A (zh) 2021-03-19 2022-01-27 识别用户动作的方法和系统

Country Status (6)

Country Link
US (3) US20220365600A1 (zh)
EP (3) EP4201323A4 (zh)
JP (3) JP2023549242A (zh)
KR (3) KR20230086750A (zh)
CN (5) CN116981401A (zh)
WO (4) WO2022193330A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115714889A (zh) * 2022-11-22 2023-02-24 杭州卡路里体育有限公司 数据处理方法及装置

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115624724A (zh) * 2022-11-01 2023-01-20 上海工程技术大学 一种基于虚拟现实的上肢康复训练系统
CN115826748A (zh) * 2022-11-26 2023-03-21 广东御腾网络科技发展有限公司 一种基于智能手环的动作识别方法及装置
CN116153510B (zh) * 2023-02-17 2024-04-16 河南翔宇医疗设备股份有限公司 矫正镜控制方法、装置、设备、存储介质及智能矫正镜
DE102023107589A1 (de) * 2023-03-27 2024-10-02 panthr healthtech GmbH Verfahren zur digitalen Steuerung von Bewegungsabläufen
CN116739631B (zh) * 2023-05-19 2024-06-21 南京财经大学 一种基于人工智能的交互式体育运动运营管理系统
CN117958804B (zh) * 2024-01-10 2024-07-09 广东工业大学 基于imu信号的睡姿识别方法、系统、介质及计算机
CN118098474A (zh) * 2024-04-19 2024-05-28 自贡市第一人民医院 一种内科护理临床监护设备数据优化处理方法
CN118195707B (zh) * 2024-05-17 2024-08-27 深圳方舟互动科技有限公司 用户行为分析方法、系统、装置及计算机可读存储介质

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4867364B2 (ja) * 2006-01-27 2012-02-01 横浜ゴム株式会社 生体電気情報計測装置
TWI393579B (zh) * 2009-11-13 2013-04-21 Inst Information Industry The state of the muscle movement state analysis system, methods and computer program products
KR20140062892A (ko) * 2012-11-15 2014-05-26 삼성전자주식회사 운동 서비스를 제공하기 위한 웨어러블 디바이스와 디스플레이 장치 및 이를 포함하는 운동 서비스 제공 시스템과 그 방법
US20140207017A1 (en) * 2013-01-23 2014-07-24 Altec, Inc. Signal quality monitor for electromyographic sensors
EP3190957B1 (en) * 2014-10-17 2021-06-23 G-Tech Medical, Inc. Methods for processing electromyographic signals of the gastrointestinal tract
KR20160084703A (ko) 2015-01-06 2016-07-14 삼성전자주식회사 운동 가이드 제공 방법
JP2016150119A (ja) * 2015-02-17 2016-08-22 日本電信電話株式会社 運動状態判定方法、装置、及びプログラム
CN104706359A (zh) * 2015-04-01 2015-06-17 深圳柔微传感科技有限公司 一种实现运动实时监测的方法和智能服装
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
CN105635669B (zh) * 2015-12-25 2019-03-01 北京迪生数字娱乐科技股份有限公司 基于三维运动捕捉数据与实拍视频的动作对比系统及方法
JP6527830B2 (ja) * 2016-02-15 2019-06-05 日本電信電話株式会社 生体信号処理装置、方法、およびプログラム
CN105997064B (zh) * 2016-05-17 2018-10-23 成都奥特为科技有限公司 一种用于人体下肢表面肌电信号的辨识方法
CN106073793B (zh) 2016-06-13 2019-03-15 中南大学 基于微惯性传感器的姿态跟踪与识别方法
WO2018022602A1 (en) * 2016-07-25 2018-02-01 Ctrl-Labs Corporation Methods and apparatus for predicting musculo-skeletal position information using wearable autonomous sensors
CN107361773B (zh) * 2016-11-18 2019-10-22 深圳市臻络科技有限公司 用于检测、缓解帕金森异常步态的装置
JP6831219B2 (ja) * 2016-11-25 2021-02-17 エヌ・ティ・ティ・コミュニケーションズ株式会社 バイタル信号取得装置、バイタル信号取得方法及びコンピュータプログラム
CN108143409B (zh) * 2016-12-06 2021-01-22 中国移动通信有限公司研究院 睡眠阶段分期方法及装置
CN207071088U (zh) * 2017-01-25 2018-03-06 杭州三目科技有限公司 一种基于服装的人体运动监测、分析和反馈装置
CN108211310B (zh) * 2017-05-25 2019-08-16 深圳市前海未来无限投资管理有限公司 运动效果的展示方法及装置
CN108211309A (zh) * 2017-05-25 2018-06-29 深圳市未来健身衣科技有限公司 健身运动的指导方法及装置
CN108566520B (zh) * 2017-05-25 2020-10-20 深圳市前海未来无限投资管理有限公司 视频数据和运动效果动画的同步方法及装置
CN108211308B (zh) * 2017-05-25 2019-08-16 深圳市前海未来无限投资管理有限公司 一种运动效果展示方法及装置
CN108209910A (zh) 2017-05-25 2018-06-29 深圳市未来健身衣科技有限公司 健身运动数据的反馈方法及装置
CN108983954B (zh) * 2017-05-31 2022-11-18 腾讯科技(深圳)有限公司 基于虚拟现实的数据处理方法、装置以及系统
JP6857573B2 (ja) * 2017-08-08 2021-04-14 日本電信電話株式会社 筋電計測装置、方法及びプログラム
CN107349594B (zh) 2017-08-31 2019-03-19 华中师范大学 一种虚拟舞蹈系统的动作评价方法
US20200310541A1 (en) * 2019-03-29 2020-10-01 Facebook Technologies, Llc Systems and methods for control schemes based on neuromuscular data
US11246531B2 (en) * 2018-05-10 2022-02-15 MAD Apparel, Inc. Fatigue measurement in a sensor equipped garment
US11590402B2 (en) * 2018-05-31 2023-02-28 The Quick Board, Llc Automated physical training system
CN109068081A (zh) * 2018-08-10 2018-12-21 北京微播视界科技有限公司 视频生成方法、装置、电子设备及存储介质
CN109191588B (zh) * 2018-08-27 2020-04-07 百度在线网络技术(北京)有限公司 运动教学方法、装置、存储介质及电子设备
CN110327048B (zh) * 2019-03-11 2022-07-15 浙江工业大学 一种基于可穿戴式惯性传感器的人体上肢姿态重建系统
US11232308B2 (en) * 2019-03-22 2022-01-25 Salesforce.Com, Inc. Two-stage online detection of action start in untrimmed videos
CN110478883B (zh) * 2019-08-21 2021-04-13 南京信息工程大学 一种健身动作教学及矫正系统及方法
CN110569775A (zh) * 2019-08-30 2019-12-13 武汉纺织大学 一种识别人体姿势的方法、系统、存储介质及电子设备
CN114432683A (zh) 2019-08-30 2022-05-06 华为技术有限公司 一种智能语音播放方法及设备
CN110609621B (zh) * 2019-09-17 2023-04-28 南京茂森电子技术有限公司 姿态标定方法及基于微传感器的人体运动捕获系统
CN111028317B (zh) * 2019-11-14 2021-01-01 腾讯科技(深圳)有限公司 虚拟对象的动画生成方法、装置、设备及存储介质
CN111317446B (zh) * 2020-02-27 2020-09-08 中国人民解放军空军特色医学中心 基于人体肌肉表面电信号的睡眠结构自动分析方法
CN111986775A (zh) 2020-08-03 2020-11-24 深圳追一科技有限公司 数字人的健身教练指导方法、装置、电子设备及存储介质
CN112214109B (zh) * 2020-09-30 2023-06-23 深圳市润谊泰益科技有限责任公司 基于肌电和姿态数据的复合控制方法、装置及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115714889A (zh) * 2022-11-22 2023-02-24 杭州卡路里体育有限公司 数据处理方法及装置

Also Published As

Publication number Publication date
WO2022193425A1 (zh) 2022-09-22
JP7508698B2 (ja) 2024-07-01
CN115105100A (zh) 2022-09-27
US20230154607A1 (en) 2023-05-18
JP2023549242A (ja) 2023-11-22
EP4167129A4 (en) 2024-01-24
EP4201323A1 (en) 2023-06-28
CN116261749A (zh) 2023-06-13
WO2022193851A1 (zh) 2022-09-22
KR20230044297A (ko) 2023-04-03
CN115115751A (zh) 2022-09-27
JP2023540286A (ja) 2023-09-22
KR20220142495A (ko) 2022-10-21
KR20230086750A (ko) 2023-06-15
CN116981401A (zh) 2023-10-31
US20230233103A1 (en) 2023-07-27
WO2022193330A1 (zh) 2022-09-22
EP4085834B1 (en) 2024-10-02
EP4201323A4 (en) 2024-01-24
EP4085834A4 (en) 2023-08-16
JP2023521655A (ja) 2023-05-25
EP4167129A1 (en) 2023-04-19
US20220365600A1 (en) 2022-11-17
EP4085834A1 (en) 2022-11-09
WO2022193850A1 (zh) 2022-09-22
JP7455995B2 (ja) 2024-03-26

Similar Documents

Publication Publication Date Title
CN115105056A (zh) 识别用户动作的方法和系统
Mortazavi et al. Determining the single best axis for exercise repetition recognition and counting on smartwatches
CN112464918A (zh) 健身动作纠正方法、装置、计算机设备和存储介质
CN113663312B (zh) 一种基于微惯性的无器械健身动作质量评估方法
Gupta et al. Yogahelp: Leveraging motion sensors for learning correct execution of yoga with feedback
Samhitha et al. Vyayam: Artificial Intelligence based Bicep Curl Workout Tacking System
Cheng et al. Periodic physical activity information segmentation, counting and recognition from video
CN115105819B (zh) 一种运动监控方法及其系统
CN114973048A (zh) 康复动作的纠正方法、装置、电子设备及可读介质
CN117109567A (zh) 用于动感单车运动的骑行姿态监测方法、系统以及穿戴式骑行姿态监测设备
Prudêncio et al. Physical activity recognition from smartphone embedded sensors
RU2813471C1 (ru) Способы и системы идентификации действия пользователя
Rungsawasdisap et al. Squat movement recognition using hidden Markov models
CN117157622A (zh) 一种运动监控方法和设备
CN116304544A (zh) 运动数据标定方法和系统
Ivanov et al. Recognition and Control of the Athlete's Movements Using a Wearable Electronics System
TWI837620B (zh) 運動監控方法及系統
US20230337989A1 (en) Motion data display method and system
WO2024040547A1 (zh) 一种运动监控系统、设备和方法
Cui et al. Lightron: A Wearable Sensor System that Provides Light Feedback to Improve Punching Accuracy for Boxing Novices
KR102672530B1 (ko) 개인별 운동자세 및 척추 움직임을 분석하여 개인화된 운동 콘텐츠를 제공하는 시스템 및 방법
CN117653996A (zh) 一种运动监控系统、设备和方法
WO2023127870A1 (ja) 介護支援装置、介護支援プログラム、介護支援方法
CN118829396A (zh) 一种运动监控系统、设备和方法
JP2024007103A (ja) 解析装置、および解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40079371

Country of ref document: HK