CN206363261U - 基于影像的动作分析系统 - Google Patents

基于影像的动作分析系统 Download PDF

Info

Publication number
CN206363261U
CN206363261U CN201621141429.3U CN201621141429U CN206363261U CN 206363261 U CN206363261 U CN 206363261U CN 201621141429 U CN201621141429 U CN 201621141429U CN 206363261 U CN206363261 U CN 206363261U
Authority
CN
China
Prior art keywords
image
joint
main body
pair
motion analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn - After Issue
Application number
CN201621141429.3U
Other languages
English (en)
Inventor
吕东武
卢炫纶
林晟楷
江昊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dyaco International Inc
Original Assignee
Dyaco International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dyaco International Inc filed Critical Dyaco International Inc
Application granted granted Critical
Publication of CN206363261U publication Critical patent/CN206363261U/zh
Withdrawn - After Issue legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/0048—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with cantilevered support elements pivoting about an axis
    • A63B22/0056—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with cantilevered support elements pivoting about an axis the pivoting movement being in a vertical plane, e.g. steppers with a horizontal axis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0605—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing a circular movement, e.g. ergometers
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/06—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement
    • A63B22/0664—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with support elements performing a rotating cycling movement, i.e. a closed path movement performing an elliptic movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/807—Photo cameras
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/02—Testing, calibrating or measuring of equipment
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/20—Miscellaneous features of sport apparatus, devices or equipment with means for remote communication, e.g. internet or the like
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2225/00—Miscellaneous features of sport apparatus, devices or equipment
    • A63B2225/50—Wireless data transmission, e.g. by radio transmitters or telemetry
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Primary Health Care (AREA)
  • Veterinary Medicine (AREA)
  • Epidemiology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Processing (AREA)

Abstract

本实用新型是有关动作分析，公开一种基于影像的动作分析系统，该系统包含：存储器及处理硬件，根据第一身体肢段长度与第二身体肢段长度的关系以决定第一对关节与第二对关节是否相应至主体的同一对关节；如果第一对关节与第二对关节相应至主体的同一对关节，则根据第二位置以决定主体的姿势信息；及提供主体的姿势信息的相关指示。

Description

基于影像的动作分析系统
技术领域
本实用新型是有关动作分析(motion analysis)，特别是关于一种基于影像以决定及分析主体(subject)的动作的系统。
背景技术
动作分析是生物力学(biomechanics)的一个重要学科，其相关于各种应用，例如平衡评估、力感测的测量、运动科学训练、物理治疗分析与健身设备操作等。动作分析一般是基于影像来执行，当主体(例如人类)进行特定动作时，系统会对主体撷取系列影像。根据该系列影像，系统决定主体在特定时间的各个身体肢段(segment)的位置。根据该些位置信息，系统即可决定主体在该时间的动作或/且姿势(posture)。
目前技术提供许多方法以执行基于影像的动作分析。其中一种动作分析的方法是追踪主体的标志器(marker)所发射信号。例如，主体穿戴配备有标志器的衣服。标志器可为被动式反射器(例如VICONTM系统)，或者为可见光、红外光的主动式发射器(例如PhaseSpaceTM系统)。当主体移动时，系统使用多个相机从不同角度撷取该些标志器的系列影像。根据该系列影像以及相机与主体的相对位置，系统追踪该系列影像当中标志器所反射影像的动作，用以决定主体的动作。
另一种动作分析的方法是投射标志图样(pattern)在主体上，再根据反射图样的影像以追踪主体的动作。例如，微软(Microsoft)的KinectTM系统投射红外光图样于主体，再得到主体反射的红外光图样的系列影像。根据反射的红外光图样的系列影像，系统产生主体的深度影像。系统将部分深度影像映像(map)至主体的一或多个身体部位，再追踪该系列影像当中相应的部分深度影像的动作。根据所追踪的部分深度影像(及相应的身体部位)的动作，系统即可决定主体的动作。
上述两种动作分析的方法都具有缺点。对于VICONTM系统而言，主体必须穿戴配备有光发射器的衣服，且需要使用多个相机以追踪标志器在三度空间的动作。这些硬件要求限制了VICONTM系统的应用场合。例如，VICONTM系统一般不适用于家庭或有限空间的场合。
另一方面，KinectTM系统对于硬件的要求较少(例如仅需红外光发射器及深度相机)，且适用于有限空间的场合(例如家庭)。然而，KinectTM系统的动作分析的准确度极为有限，因此不适用于高准确度的动作分析的应用。
实用新型内容
本实用新型要解决的技术问题是提供一种基于影像的动作分析系统与方法，适用于有限空间的场合高准确度的动作分析。
本实用新型解决其技术问题可以采用以下技术方案来实现。
一种使用主体的影像以决定主体的姿势相关信息的系统，该系统包含：存储器，储存一组指令；及处理硬件，执行该组指令，其包含：接收主体在第一姿势的第一影像；根据该第一影像以决定第一对关节的第一位置；根据该第一位置以决定该第一对关节相关的第一身体肢段的第一身体肢段长度；接收该主体在第二姿势的第二影像；根据该第二影像以决定第二对关节的第二位置；根据该第二位置以决定该第二对关节相关的第二身体肢段的第二身体肢段长度；根据该第一身体肢段长度与该第二身体肢段长度的关系以决定该第一对关节与该第二对关节是否相应至该主体的同一对关节；如果该第一对关节与该第二对关节相应至该主体的同一对关节，则根据该第二位置以决定该主体的姿势信息；及提供该主体的姿势信息的相关指示。
本实用新型解决其技术问题还可以采用以下技术措施来实现。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中决定该第一对关节与该第二对关节是否相应至该主体的同一对关节的步骤包含：该处理硬件执行该组指令，根据优化算法以降低该第一身体肢段长度与该第二身体肢段长度之间的差异。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该优化算法包含至少以下之一：序列二次规划法及牛顿法。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中决定该第一对关节与该第二对关节是否相应至该主体的同一对关节的步骤包含该处理硬件执行该组指令，其包含：根据该第二影像以决定第三对关节，其包含该第二对关节的关节；决定该第三对关节相关的第三身体肢段；及决定该第二身体肢段与该第三身体肢段之间的角度；其中，如果该角度小于临界值，则该第一对关节与该第二对关节相应至该主体的同一对关节。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该主体的姿势信息包含该主体的质量中心的估计位置。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中决定该主体的姿势信息的步骤包含该处理硬件执行该组指令，其包含：根据该第二影像与该主体的多个身体肢段的肢段密度以决定该主体的估计质量中心。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该主体的姿势信息包含至少以下之一：目前姿势、目前平衡状态及预测平衡状态。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中决定该主体的姿势信息的步骤包含：该处理硬件执行该组指令，根据该第二位置以决定该第二身体肢段的位置与方向的至少其中之一。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该差异包含加权差异。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该第二影像包含在第二影像组，其包含该主体在不同时间的二或多张个别影像。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该第一位置与该第二位置的至少其中之一是根据以下来决定：用以识别该主体的身体肢段与关节的至少其中之一的标志器的位置信息。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该主体的姿势信息包含至少以下之一：该主体的动作方向及该主体的动作速度。
上述的使用主体的影像以决定主体的姿势相关信息的系统，其中该主体的姿势信息用以决定训练效率。
上述的使用主体的影像以决定主体的姿势相关信息的系统，当该主体运动时，其中该指示表示至少以下之一是否位于适当范围内：动作、姿势、重心、该主体的身体肢段的目前或相对角度、负载、速度、静态平衡、动态平衡及期间。
藉由本实用新型的实施，至少可以达到下列进步功效：
在决定了第二影像的关节，动作分析系统将第一影像所决定的主体的一对关节与第二影像所决定的一对关节予以关连起来。将不同影像的关节予以关连，系统即可追踪关节影像所显示的关节动作。根据不同影像的关节之间的映像关系，动作分析系统可追踪身体肢段的动作(或位置改变或/且方向)。
以上的一般描述与底下的细节描述仅作为例示与说明之用，并非用以限缩本实用新型实施例。
附图说明
附图构成本说明书的一部分，其与文字说明共同阐述本实用新型实施例。附图包含：
图1是本实用新型实施例基于影像的动作分析的系统示意图。
图2A至图2D是本实用新型实施例图1的系统在进行动作分析时所产生的数据的示意图。
图3是本实用新型实施例基于影像的动作分析系统的方框图。
图4是本实用新型实施例基于影像的动作分析系统的应用的示意图。
图5A与图5B是本实用新型实施例的方法的流程图。
【主要组件符号说明】
100：系统 101：主体
102：影像捕获设备 104：动作分析系统
106：显示器 108：输入设备
202：影像 204：肩关节
206：肘关节 207：腕关节
208：髋关节 210：膝关节
212：踝关节 214：上臂肢段
215：下臂肢段 220：表格
230：表格 242：影像
243：上臂肢段 244：肩关节
245：下臂肢段 246：肘关节
247：腕关节 248：内角
260：表格 270：表格
300：系统 310：处理硬件
320：存储硬件 330：接口硬件
350：应用程序 352：校准模块
354：关节位置追踪模块 356：输出决定模块
400：跑步机 401：主体
402：输出单元 500：方法
S502：接收主体在第一姿势的第一影像
S504：根据第一影像以决定第一对关节相关的第一数据组
S506：根据第一数据组以决定第一对关节的第一位置及第一对关节相关的第一身体肢段的第一身体肢段长度
S508：接收主体在第二姿势的第二影像
S510：根据第二影像以决定第二对关节相关的第二数据组
S512：根据第二数据组以决定第二对关节的第二位置及第二对关节相关的第二身体肢段的第二身体肢段长度
S514：决定第二身体肢段长度是否符合一或多个第一预设准则
S516：根据第二位置以决定主体的姿势或平衡状态
S518：更新第二位置的决定
S520：决定更新后的第二身体肢段长度是否符合一或多个第二预设准则
S522：更新第二身体肢段长度的决定
S524：根据身体肢段的位置与方向以决定主体的一或多个身体肢段相关的质量中心位置
S526：根据质量中心位置以决定输出装置的输出
具体实施方式
以下揭示本实用新型实施例，其例示于附图。所有附图当中的相同或类似组件则使用相同的组件符号来表示。
以下的说明及附图构成本说明书的一部份，用以阐述本实用新型实施例的目的、特征及特色，操作方法及结构的相关组件的功能，组件的结合及生产的经济效用。附图仅作为例示之用，并非用以限定本实用新型。说明书及权利要求书当中的单数形式也涵盖了复数情形，除非另有说明。
本实用新型实施例提供一种使用主体的影像以决定主体的姿势相关信息的系统，该系统包含：存储器，储存一组指令；及处理硬件，执行该组指令，其包含：接收主体在第一姿势的第一影像；根据第一影像以决定第一对关节的第一位置；根据第一位置以决定第一对关节相关的第一身体肢段的第一身体肢段长度；接收主体于第二姿势的第二影像；根据第二影像以决定第二对关节的第二位置；根据第二位置以决定第二对关节相关的第二身体肢段的第二身体肢段长度；根据第一身体肢段长度与第二身体肢段长度的关系以决定第一对关节与第二对关节是否相应至主体的同一对关节；如果第一对关节与第二对关节相应至主体的同一对关节，则根据第二位置以决定主体的姿势信息；及提供主体的姿势信息的相关指示。
根据本实用新型实施例，系统可根据主体在第一姿势的第一影像，以识别至少一个身体肢段相关的至少二个关节的第一位置及至少一个身体肢段的身体肢段长度。系统还可根据主体的第二影像，以识别基于该身体肢段长度的至少二个关节的第二位置。系统接着根据该至少二个关节的第二位置以决定主体的第二姿势。在决定身体肢段相关的关节的新位置时，系统至少考虑默认身体肢段长度，因而得以改善主体改变姿势时的关节位置追踪的准确度，且能改善决定主体新姿势的准确度。
图1例示本实用新型实施例基于影像的动作分析的系统100。如图1所示，系统100包含影像捕获设备102与动作分析系统104。系统100还可包含显示器106与输入设备108。系统100可用以撷取主体101的一或多个影像，再执行基于主体101的影像的动作分析。
在一些实施例中，影像捕获设备102包含一或多个相机，用以撷取主体101的一或多个影像。相机可包含红-绿-蓝(RGB)相机、红外光(IR)相机、深度(time-of-flight,TOF)相机等，用以撷取来自主体101的反射信号(例如可见光、红外光或其他信号)以产生主体101的影像。如果影像捕获设备102包含红外光相机或深度相机，则影像捕获设备102还包含信号发射装置(例如红外光发射器、射频发射器等)，用以投射信号至主体101以产生反射信号。红外光相机与深度相机可提供主体101的三度位置信息。此外，主体101可穿戴配备有一或多个信号发射器的衣服，且相机可撷取来至信号发射器的发射信号，形成影像的一部份。
根据影像捕获设备102所撷取的影像数据，动作分析系统104可决定主体101在特定时间的动作或至少决定其姿势。在决定姿势时，动作分析系统104根据影像数据以决定主体101的一或多个身体肢段的位置(例如中间点)及身体肢段的方向。系统根据身体肢段的方向以决定主体101的姿势。
在一些实施例中，动作分析系统104根据影像数据，首先识别一或多个关节及其位置，据以决定身体肢段的位置。图2A至图2D例示系统100在进行动作分析时所产生的数据。图2A显示影像202当中主体101的轮廓。影像捕获设备102撷取主体101在第一姿势(例如站姿)的影像202。根据影像202(或含有影像202的一组影像)，动作分析系统104可识别主体101的一些关节，包含肩关节204、肘关节206、腕关节207、髋关节208、膝关节210与踝关节212。一对关节可相关于身体肢段。例如，肩关节204与肘关节206相关于上臂肢段214，且肩关节204与肘关节206相关于下臂肢段215。
动作分析系统104可使用各种方式，根据影像202以识别关节。例如，动作分析系统104可将影像202的一部份与包含有已知关节影像的数据库作比较，以决定影像202的该部份是否对应至关节。已知关节影像可包含反射自关节的信号(例如红外光、可见光等)的特定图样所代表的资料。已知关节影像还可包含覆盖关节的衣服的信号发射器所发射信号的特定图样所代表的资料。如果影像捕获设备102同时撷取红-绿-蓝(RGB)影像与红外光(或深度(TOF))影像，则动作分析系统104可对准红-绿-蓝(RGB)影像与红外光影像，并从红-绿-蓝(RGB)影像侦测得到特定特征以达成关节的识别。
当决定了红外光影像的一部分包含有关节影像，动作分析系统104接着决定关节的三维位置。例如，动作分析系统104根据关节影像相对于红外光影像边界的位置，决定关节在二维平面(例如由互相垂直的x轴与y轴所定义)的坐标。再者，如果红外光影像包含深度影像，动作分析系统104也可根据深度影像所提供的深度信息，决定三维(例如z轴垂直于x轴与y轴)坐标。
当决定了影像202的关节，且决定了关节的三维位置，动作分析系统104可决定被识别的一对关节所定义的一或多个身体肢段。身体肢段的识别可根据一对关节之间的距离，并将该距离与临界值作比较。临界值的设定可根据平均肢段长度(例如平均手臂长度、腿肢段长度等)，且根据关节的位置。如果距离超过临界值，动作分析系统104即决定该对关节不相关于同一身体肢段，而是分别相关于不同的身体肢段。如图所示，动作分析系统104决定肩关节204与髋关节208的距离超过平均手臂肢段长度，因此决定肩关节204与髋关节208不相关于同一身体肢段，而是分别相关于不同的身体肢段。
当识别了关节及相关身体肢段，动作分析系统104还可决定身体肢段的位置与方向。身体肢段的位置可由相关的一对关节的中间点来表示。再者，身体肢段的方向可由该对关节的相对位置所决定的方向向量来表示。例如，假设一对关节的三维坐标为(x1,y1,z1)与(x2,y2,z2)，相关于该对关节的身体肢段的中间点的三维坐标可由下式决定：
再者，身体肢段的方向可用以下的方向向量来表示：
其中为单位向量，每一个单位向量相关于空间的预设方向。例如，单位向量互相垂直，且每一个单位向量对应至三维空间的一个维度。例如，对应至x轴，对应至y轴，且对应至z轴。
图2C的表格220例示关节位置，每一个位置相关于关节识别符。例如，对于所示的第一影像，关节A、B、C的三维坐标分别为(0.6,0.6,0.6),(0.8,0.8,0.8),(1.0,0.9,0.9)。此外，图2C的表格230例示身体肢段长度、位置(中间点)及相关于关节A、B、C的身体肢段的方向。例如，相关于关节A、B的身体肢段A-B的身体肢段长度为0.34，中间点坐标为(0.7,0.7,0.7)，且方向向量为该些数据可储存于动作分析系统104所耦接的数据库(未显示于图1)。
在一些实施例中，表格220与230的数据可由一组第一影像来产生。例如，动作分析系统104接收主体101于第一姿势的一组第一影像，据以决定关节A、B、C的位置，身体肢段长度、位置，及身体肢段A-B、B-C的方向。动作分析系统104还可决定第一影像的关节位置、身体肢段长度及方向的平均值。
除了撷取主体101在第一姿势的影像202，影像捕获设备102还可撷取主体101在第二姿势的第二影像(或一组第二影像)。第二影像的撷取可早于或晚于第一影像。图2B显示影像242当中主体101在第二姿势(例如跑姿)的轮廓。动作分析系统104根据影像242(或包含影像242的一组影像)以决定主体101的第二姿势。藉由识别影像242当中的关节及相关身体肢段的位置，且决定身体肢段的相对方向，即可决定第二姿势。动作分析系统104根据前述技术(例如比较部分影像242与关节相关影像的数据库)以识别第二影像的关节，并根据影像数据以决定关节的三维位置。根据上述关节的三维位置，可计算得到相关于该些关节的身体肢段长度及其中间点位置与方向。
图2D的表格260例示关节位置，每一个位置相关于关节识别符。例如，对于所示的第二影像，关节D、E、F的三维坐标分别为(0.7,0.7,0.7),(0.9,0.5,0.5),(1.1,0.6,0.6)。此外，图2D的表格270例示身体肢段长度、位置(中间点)及相关于关节D、E、F的身体肢段的方向。例如，相关于关节D、E的身体肢段D-E的身体肢段长度为0.34，中间点坐标为(0.8,0.6,0.6)，且方向向量为该些数据可储存于动作分析系统104所耦接的数据库(未显示于图1)。
在决定了第二影像的关节，动作分析系统104将第一影像所决定的主体101的一对关节与第二影像所决定的一对关节予以关连起来。将不同影像的关节予以关连，系统即可追踪关节影像所显示的关节动作。
将不同影像(例如影像202与242)所识别的关节予以关连的方法之一系决定影像242的一对关节的距离，再将该距离与影像202所决定的身体肢段长度作比较。由于多张影像所识别的相应关节对系代表同一关节对，且相关于相同的身体肢段，因此代表身体肢段长度的关节对的距离必须相同(或实质相同)于身体肢段长度。在一实施例中，如果两者相差5％至30％即视为实质相同。然而，此范围可根据各种考虑(例如所需准确度、影像质量、数据妥善度、设计选择度等)而改变。
举例而言，动作分析系统104可决定影像242的肩关节244是否相应于影像202的肩关节204，以及影像242的肘关节246是否相应于影像202的肘关节206。动作分析系统104可选择关节244与关节204(或关节246与关节206)，根据该些关节是否位于身体的同一侧以决定该些关节是否代表相同关节。动作分析系统104可决定上臂肢段243的长度(例如根据肩关节244与肘关节246之间的距离)，并将该距离与影像202的上臂肢段214的长度作比较，以决定差异。动作分析系统104根据差异(例如差值的平方、差值的绝对值等)以决定一个值。如果该值小于临界差值，动作分析系统104即可决定影像242的肩关节244相应于影像202的肩关节204，且影像242的肘关节246相应于影像202的肘关节206。
在一些实施例中，当决定二对关节是否相应于主体101的同一对关节时，动作分析系统104还可考虑其他的关节(及相关的身体肢段长度)。例如，动作分析系统104可决定一组相应关节对，并将第二影像(例如影像242)所决定的身体肢段长度与第一影像(例如影像202)所决定的身体肢段长度的差值予以最小化，如下所示：
其中，SLi代表第二影像所决定的身体肢段长度，SLi *代表第一影像所决定的身体肢段长度，且函数f(SLi)产生SLi和SLi *差值的平方。动作分析系统104使用优化算法，例如序列二次规划法(sequential quadratic programming,SQP)、牛顿法(Newton method)或其他算法，以决定第一影像的关节与第二影像的关节之间的映像，用以最小化f(SLi)，且将不同影像所决定的相应身体肢段的差异予以最小化。在一例子中，系统决定一组相应关节对，并将以下的加总函数的输出值予以最小化：
在一些实施例中，加总函数的每一项(SLi-SLi *)2也可予以加权(weight)。
在一些实施例中，在决定影像之间关节的映像时，动作分析系统104也可考虑其他因素。例如，对于关节的某一特定映像，动作分析系统104可决定关节相关的身体肢段形成的特定角度。如果该角度超过已知关节结构所决定的临界角度，动作分析系统104即决定该映像为无效。如图所示，假设根据特定的关节映像，动作分析系统104决定影像242的上臂肢段243与下臂肢段245形成内角248。如果内角248超过肘关节所允许的最大角度180度，动作分析系统104即决定影像242的上臂肢段243并非真正的上臂肢段，或/且下臂肢段245并非真正的下臂肢段。因此，动作分析系统104可将影像242的上臂肢段243与下臂肢段245的特定映射予以舍弃。动作分析系统104在后续分析时，可选择不同的映射。
根据不同影像的关节之间的映像关系，动作分析系统104可追踪身体肢段的动作(或位置改变或/且方向)。例如，参阅图2C及图2D，动作分析系统104可决定图2D的身体肢段D-E相关于图2C的身体肢段A-B，且图2D的身体肢段E-F相关于图2C的身体肢段B-C。因此，动作分析系统104可决定表格270的中间点与方向信息反映出主体101的左上臂肢段与下臂肢段。
根据本实用新型实施例，在决定身体肢段相关关节的新位置时，由于系统至少考虑预先决定的身体肢段长度，当主体101改变姿势时，所追踪的关节位置的准确度以及决定主体101的新姿势的准确度因而得以改善。如前所述，主体101的动作追踪可适用于许多的应用当中。该些应用可包含平衡评估、力感测的测量、运动科学训练、物理治疗分析与健身设备操作等。较准确的动作追踪可改善该些应用的效率，也可增进使用者的体验。
图3例示图1的动作分析系统104的系统300。系统300可包含处理硬件310、存储硬件320及接口硬件330。
处理硬件310可包含一或多个已知处理装置，例如微处理器、微控制器等，其可程序化以执行一组指令。存储硬件320可包含一或多个储存装置，用以储存处理硬件310所使用的指令，以执行本实用新型实施例的相关功能。例如，存储硬件320可储存软件指令(例如应用程序350)，其可由处理硬件310来执行以进行操作。本实用新型实施例不限定于执行专门工作的个别程序或计算机。
接口硬件330可包含输出入装置。例如，输出入装置可包含输出装置，例如显示器、扬声器等，而输入设备可包含相机、键盘等。接口硬件330还可包含网络接口，其可包含各种协议(例如无线局域网络(Wi-Fi)、蓝牙移动电话连接等)的无线连接接口、有线连接(例如以太网络(Ethernet)等)。接口硬件330的网络接口根据动作分析的结果，使得系统300可控制其他装置(例如包含相应网络接口的健身设备)的操作。
系统300可执行应用程序350的软件程序，其包含一或多个软件模块，用以提供本说明书所述的各种功能。如图3所示，应用程序350包含校准模块352、关节位置追踪模块354及输出决定模块356。
校准模块352接收主体101在第一姿势的第一影像(例如图2A的影像202或一组第一影像)，并藉由比较部分第一影像与已知关节影像，以识别第一影像的一组关节。第一影像可由红外光相机、深度(TOF)相机等获得，且可包含深度信息。当识别了第一影像的关节，校准模块352根据深度信息与第一影像的关节位置，以决定关节的三维坐标。校准模块352还可根据关节位置以决定一组身体肢段，每一个身体肢段相关于一对关节。校准模块352还可决定一组身体肢段的位置(例如身体肢段的中间点)，及身体肢段长度。如前所述，第一影像所决定的关节位置与身体肢段长度可作为参考，用以改善关节位置的追踪改变的准确度，藉此应用程序350可决定身体姿势。
关节位置追踪模块354接收第二影像(例如影像242或一组第二影像)并追踪第二影像的关节动作。关节位置追踪模块354可识别第二影像的关节(例如藉由比较部分第二影像与已知关节影像，或一组第二影像)，并决定第二影像的关节的三维坐标。关节位置追踪模块354可决定第二影像所识别的关节与(校准模块352所识别的)第一影像的关节之间的映像关系，以追踪关节的动作。
如前所述，在决定映像关系时，决定第一影像的第一对关节相关的第一身体肢段长度，并比较第一身体肢段长度与第二影像的第二对关节相关的第二身体肢段长度，以产生差异。如果差异(或根据差异所产生的值)小于差异临界值，则第一对关节与第二对关节系代表同一对关节。在一些实施例中，在决定映像时，可根据优化算法，例如序列二次规划法(SQP)、牛顿法或其他算法，用以将不同关节对相关的身体肢段长度的差异予以最小化。根据关节的映像，关节位置追踪模块354还可追踪关节相关的身体肢段的位置与方向，据以决定主体101的身体姿势。
输出决定模块356根据关节位置追踪模块354所决定的身体肢段位置与方向，以产生额外信息。可根据特定应用以产生额外信息。例如，输出决定模块356可针对至少一部分身体肢段以决定质量中心位置。身体肢段的质量中心位置可根据身体肢段的质量平均分布与身体肢段的位置来决定。在一实施例中，如果手臂肢段的质量密度为平均分布，则输出决定模块356即决定手臂肢段的中间点为手臂肢段的质量中心。藉此，系统即可决定质量中心的位置。
质量中心位置信息可用于各种的应用。在一实施例中，当具特定姿势的用户位于影像捕获设备(例如图1的影像捕获设备102)前，质量中心位置信息可用以执行平衡评估。系统可根据影像捕获设备所撷取的影像，以追踪该用户的一或多个身体肢段相关的质量中心位置的改变(及其范围)，以评估该使用者在一段期间维持特定姿势的能力。根据评估结果，系统即可执行平衡评估。评估还可包含其他因素，例如使用者的年龄、使用者站立的表面状态(例如为坚固表面或软质表面)、使用者的身体状态(例如使用者是否目视地面)。
在另一实施例中，用户位在像捕获设备前维持一组静态姿势(例如双脚站立、单脚站立、前后脚站立)，质量中心位置信息可用以执行平衡错误评分系统(balance errorscoring system,BESS)以进行震荡评估(concussion assessment)。系统将影像捕获设备所撷取影像的质量中心位置与一组参考位置作比较，以决定是否有任何偏离及其偏离范围。偏离可表示头部受伤对于静态姿势保持能力的影响，且系统可根据比较结果以提供平衡错误评分系统(BESS)评估。评估还可包含其他因素，例如使用者的年龄、使用者站立的表面状态(例如为坚固表面或软质表面)、使用者的身体状态(例如使用者是否目视地面)。
在另一实施例中，用户在影像捕获设备前作动作，质量中心位置信息可用以执行跌倒风险(fall-risk)评估。例如，根据影像捕获设备所撷取的影像，追踪质量中心位置的改变(例如追踪关节与相关身体肢段的位置改变)，系统可决定身体肢段(例如脚、踝、足等)随时间的系列相对动作。系统比较该系列与特定跌倒风险相关的参考数据。根据比较结果，系统可决定用户进行该动作时的跌倒风险。评估还可包含其他因素，例如使用者的年龄、使用者站立的表面状态(例如为坚固表面或软质表面)、使用者的身体状态(例如使用者是否目视地面)。
在一实施例中，系统300所提供的身体姿势结果可与健身设备(例如跑步机)的操作相结合。图4显示本实用新型实施例当中系统300的应用。图4显示跑步机400，其可结合图1的影像捕获设备102与图3的系统300(其作为图1的动作分析系统104)。例如，当主体401于跑步机400上跑步时，影像捕获设备102撷取主体401的复数影像。根据影像数据，校准模块352决定一组关节与身体肢段的位置(其显示为点与棒)，且当主体401于跑步机400上跑步时，关节位置追踪模块354追踪该组关节与身体肢段的位置。输出决定模块356根据关节位置追踪模块354所决定主体401的姿势状态，以决定事件(例如主体401跌落跑步机400)的机率。
除了姿势状态，输出决定模块356更根据身体肢段的位置与方向，以决定主体401的质量中心位置。例如，输出决定模块356可针对至少部分的身体肢段以决定质量中心位置。根据身体肢段的平均质量分布与身体肢段位置，可决定身体肢段的质量中心位置。在一实施例中，如果手臂肢段的质量密度为平均分布，则输出决定模块356即决定手臂肢段的中间点为手臂肢段的质量中心。
在决定了主体401的至少部分身体肢段的质量中心位置，如果主体401的质量中心位置相对于跑步机400位置与事件有关，则输出决定模块356即可决定事件的机率。在一实施例中，当主体401在跑步机400上跑步时，主体401可能(因为无法跟上跑步机400)失去平衡而跌落跑步机400。主体401即将失去平衡的侦测可根据主体401的姿势、主体401相对于跑步机400的总质量中心(或/且使用者部分身体肢段的质量中心位置)，其显示主体401可能(例如向前、向后或向侧边)倾斜而跌落跑步机400。
如果输出决定模块356根据前述信息而决定主体401跌落跑步机400的机率超出临界值，输出决定模块356即产生指示信号以警告主体401。指示信号可包含闪光或/且警示音，其由跑步机400的输出单元402所输出。此外，输出决定模块356还传送信号至跑步机400的各组件(例如一或多个马达，其控制跑步机400的速度或/且倾斜角度)，控制跑步机400以降低速度或/且降低倾斜角度，以降低使用者跌落跑步机400的机率。
虽然图4提供输出决定模块356结合跑步机400以增进安全的应用例，然而输出决定模块356也可根据关节位置追踪模块354所决定姿势信息与其他设备相结合，例如可调整重量的重量训练设备、椭圆机(elliptical)、健身脚踏车、脚踏车、斜躺(recumbent)脚踏车、物理治疗装置、踏步机(stepper)等。在这些例子中，根据(使用者操作这些设备时的)姿势信息与该些设备的操作状态，输出决定模块356可决定导致伤害(例如跌落脚踏车、可调重量造成肌肉断裂等)事件的机率，控制设备使其避免受伤。例如，输出决定模块356结合举重机器时，当决定使用者的姿势状态会导致伤害时，输出决定模块356可调整用户所举的重量，或增加辅助力。
在一些实施例中，输出决定模块356还可提供主体401的姿势相关的指示信息。该指示可包含通知(notification)、警告等。例如，如前所述，使用者操作可调整重量的重量训练设备时，当输出决定模块356决定用户姿势符合特定准则(例如过度伸展肌肉而增加肌肉受伤的机率)时，输出决定模块356即产生警告(例如闪光或警示信息的语音输出等)以警告主体。在一些例子中，输出决定模块356还可产生指示，表示主体的姿势需要进一步评估，该指示可传送至评估者(例如训练师、物理治疗师等)，让评估者对主体进行评估。
在一些实施例中，可产生指示以表示主体处于预定姿势，因此不需作调整或评估。例如，可提供通知给主体，表示目前姿势为适当的。在一些实施例中，当主体的姿势为适当时，则不提供任何通知给主体。例如，仅当姿势为不适当时才会发出闪光，然而当姿势为适当时则不发出闪光。
在一些实施例中，输出决定模块356还可产生其他特定应用信息。例如，输出决定模块356追踪用户姿势的改变，以决定运动中主体的动作、姿势、重心、身体肢段的目前或相对角度等是否位于适当范围内。输出决定模块356还可决定训练效率。例如，输出决定模块356在一段期间追踪使用者姿势的改变。根据姿势的改变以及使用者的重量(或/且使用者所携带的额外重量)，输出决定模块356估计用户在该期间所燃烧热量，作为训练效率的指示。此外，当身体肢段(例如手臂肢段)举重时，输出决定模块356根据身体肢段的动作方向与速度(例如于默认期间追踪关节动作的距离与方向)，以预测身体肢段的位置与方向。根据该些信息，输出决定模块356还可决定用户在举重时是否以特定方式运动特定群的肌肉，该决定可用以表示训练效率。
图5A与图5B例示本实用新型实施例的方法500的流程图。方法500可由系统(例如图3的系统300)来执行，其自相机(例如红外光相机、深度(TOF)相机等)接收影像数据。
首先，在步骤S502，系统接收主体于至少第一个姿势的第一影像(或一组第一影像)。第一影像可包含红外光影像、深度(TOF)影像等，也可包含信息使得系统可决定影像中所识别的特征的三维坐标。例如，第一影像可为红外光深度影像。
系统进入步骤S504，根据第一影像(或该组第一影像)以决定第一对关节相关的第一数据组。第一数据组可包含第一对关节相关的部分第一影像所代表的数据。藉由比较部分第一影像与已知关节影像，因而识别出部分第一影像。
在决定了第一数据组(步骤S504)后，系统进入步骤S506，根据第一数据组以决定第一对关节的第一位置，及第一对关节相关的第一身体肢段的第一身体肢段长度。在一些实施例中，第一影像可为红外光深度影像，且第一位置表示为三维坐标。在步骤S506，系统根据第一位置以决定第一对关节的距离，再根据该距离以决定第一对关节相关的第一身体肢段的第一身体肢段长度。系统还根据第一对关节的第一位置以决定第一身体肢段的位置与方向。在一些实施例中，以图3的校准模块352来执行方法500的步骤S502与S506。
系统进入步骤S508，接收主体于第二姿势的第二影像(或一组第二影像)。系统接着进入步骤S510，根据第二影像(或该组第二影像)以决定第二对关节相关的第二数据组。第二数据组可包含第二对关节相关的部分第二影像所表示的数据。藉由比较部分第二影像与已知关节影像，因而识别出部分第二影像。
在决定了第二数据组后，系统进入步骤S512，根据第二数据组以决定第二对关节的第二位置，且根据第二位置以决定第二对关节相关的第二身体肢段的第二身体肢段长度，此步骤类似于步骤S506，其决定第一对关节的第一位置及第一身体肢段的第一身体肢段长度。
在决定了第二身体肢段长度(步骤S512)后，系统根据第二身体肢段长度以决定第一影像的第一对关节与第二影像的第二对关节是否为主体的同一对关节。为此，系统在步骤S514决定第二身体肢段长度是否符合一或多个第一预设准则。第一预设准则可包含第一身体肢段与第二身体肢段的差异所相关的值(例如差值的平方、差值的绝对值等)小于临界差值。
如果系统决定第二身体肢段长度未符合步骤S514的该些第一默认准则，系统进入步骤S518，更新第二位置的决定。该更新可包含从第二影像识别出另一对不同关节，决定其位置作为更新后的第二位置。该更新也可包含加入偏移量(offset)以调整步骤S512所决定的第二位置。
在更新了第二位置的决定(步骤S518)后，系统在步骤S520决定更新后的第二位置是否符合一或多个第二预设准则。该决定可包含将第一影像所识别的第一组关节对(其包含第一关节对)映像至第二影像所识别的第二组关节对(其包含第二关节对)。接着，系统决定第一组关节对相关的身体肢段长度与第二组关节对相关的身体肢段长度的差异是否已最小化，用以决定更新后的第二位置是否符合一或多个第二预设准则。
在一些实施例中，步骤S520所作决定可根据优化算法，例如序列二次规划法(SQP)、牛顿法等，其可为迭代的(iterative)。例如，如果系统决定更新后的第二位置并未将第一影像与第二影像所决定的身体肢段长度的差异予以最小化(因此并未符合一或多个第二预设准则)(步骤S520)，则系统回到步骤S518以更新第二位置的决定(例如选择不同关节对、加入偏移量等)。在一些实施例中，步骤S520的决定可包含其他考虑，例如关节结构的最大允许角度。如果根据第二影像的一组关节的第二位置所决定的二身体肢段形成的内角超过关节结构的最大允许角度，系统则舍弃该组第二位置，并回到步骤S518以更新第二位置的决定。
另一方面，如果系统决定更新后的第二位置符合一或多个第二预设准则(步骤S520)，则系统进入步骤S522并根据更新后的第二位置以更新第二身体肢段长度。接着，系统回到步骤S514以决定更新后的第二身体肢段是否符合第一预设准则。在一些实施例中，以图3的关节位置追踪模块354来执行方法500的步骤S508至S514。
另一方面，如果系统决定第二身体肢段长度符合一或多个第一预设准则(步骤S514)，则系统进入步骤S516，根据第二位置以决定第二身体肢段的位置与方向。接着，系统进入图5B的步骤S524，根据身体肢段的位置与方向以决定主体的一或多个身体肢段相关的质量中心位置。系统接着进入步骤S526，根据质量中心位置以决定输出装置的输出。例如，系统可执行以下至少一项：平衡评估、(例如基于平衡错误评分系统(BESS)的)震荡评估、跌倒风险评估等。系统还可根据质量中心位置以决定事件(例如使用者跌落跑步机)的机率已超出临界值，因而根据该决定以产生警告信号或控制信号至跑步机。
软件开发者可根据本说明书所述方法以产生计算机程序。可使用各种程序撰写技术以产生程序或程序模块。例如，程序片段或程序模块可使用Java、C、C++、汇编语言或其他程序语言来设计。一或多个软件片段或模块可整合为计算机系统、计算机可读取媒体或通信软件，以执行前述的特定功能。
以上所述仅为本实用新型的实施例，本实用新型的范围可包含任何或全部实施例，且可根据本说明书置换等效组件、作等效修改、省略、结合(例如跨多个实施例)、改编或变更。权利要求书当中的组件应根据所用文字作广泛解释，而非限定于说明书或审查过程所述的例子，该些例子并非唯一的。再者，方法步骤可作修改，例如步骤顺序重排或插入、删除步骤。因此，说明书及例子仅作为例示之用，本实用新型的范围应以权利要求书及其等效为准。

Claims (14)

1.一种基于影像的动作分析系统，其特征在于，该系统包含：
存储器，储存一组指令；及
处理硬件，执行该组指令，其包含：
接收主体在第一姿势的第一影像；
根据该第一影像以决定第一对关节的第一位置；
根据该第一位置以决定该第一对关节相关的第一身体肢段的第一身体肢段长度；
接收该主体在第二姿势的第二影像；
根据该第二影像以决定第二对关节的第二位置；
根据该第二位置以决定该第二对关节相关的第二身体肢段的第二身体肢段长度；
根据该第一身体肢段长度与该第二身体肢段长度的关系以决定该第一对关节与该第二对关节是否相应至该主体的同一对关节；
如果该第一对关节与该第二对关节相应至该主体的同一对关节，则根据该第二位置以决定该主体的姿势信息；及
提供该主体的姿势信息的相关指示。
2.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中决定该第一对关节与该第二对关节是否相应至该主体的同一对关节的步骤包含：
该处理硬件执行该组指令，根据优化算法以降低该第一身体肢段长度与该第二身体肢段长度之间的差异。
3.根据权利要求2所述的基于影像的动作分析系统，其特征在于，其中该优化算法包含至少以下之一：序列二次规划法及牛顿法。
4.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中决定该第一对关节与该第二对关节是否相应至该主体的同一对关节的步骤包含该处理硬件执行该组指令，其包含：
根据该第二影像以决定第三对关节，其包含该第二对关节的关节；
决定该第三对关节相关的第三身体肢段；及
决定该第二身体肢段与该第三身体肢段之间的角度；
其中，如果该角度小于临界值，则该第一对关节与该第二对关节相应至该主体的同一对关节。
5.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中该主体的姿势信息包含该主体的质量中心的估计位置。
6.根据权利要求5所述的基于影像的动作分析系统，其特征在于，其 中决定该主体的姿势信息的步骤包含该处理硬件执行该组指令，其包含：
根据该第二影像与该主体的多个身体肢段的肢段密度以决定该主体的估计质量中心。
7.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中该主体的姿势信息包含至少以下之一：目前姿势、目前平衡状态及预测平衡状态。
8.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中决定该主体的姿势信息的步骤包含：
该处理硬件执行该组指令，根据该第二位置以决定该第二身体肢段的位置与方向的至少其中之一。
9.根据权利要求2所述的基于影像的动作分析系统，其特征在于，其中该差异包含加权差异。
10.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中该第二影像包含在第二影像组，其包含该主体在不同时间的二或多张个别影像。
11.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中该第一位置与该第二位置的至少其中之一是根据以下来决定：
用以识别该主体的身体肢段与关节的至少其中之一的标志器的位置信息。
12.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中该主体的姿势信息包含至少以下之一：该主体的动作方向及该主体的动作速度。
13.根据权利要求1所述的基于影像的动作分析系统，其特征在于，其中该主体的姿势信息用以决定训练效率。
14.根据权利要求1所述的基于影像的动作分析系统，其特征在于，当该主体运动时，其中该指示表示至少以下之一是否位于适当范围内：动作、姿势、重心、该主体的身体肢段的目前或相对角度、负载、速度、静态平衡、动态平衡及期间。
CN201621141429.3U 2016-07-18 2016-10-20 基于影像的动作分析系统 Withdrawn - After Issue CN206363261U (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201662363804P 2016-07-18 2016-07-18
US62/363,804 2016-07-18
US15/214,375 US9870622B1 (en) 2016-07-18 2016-07-19 Systems and methods for analyzing a motion based on images
US15/214,375 2016-07-19

Publications (1)

Publication Number Publication Date
CN206363261U true CN206363261U (zh) 2017-07-28

Family

ID=57629879

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201621141429.3U Withdrawn - After Issue CN206363261U (zh) 2016-07-18 2016-10-20 基于影像的动作分析系统
CN201610914591.2A Active CN107632698B (zh) 2016-07-18 2016-10-20 基于影像的动作分析系统与方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201610914591.2A Active CN107632698B (zh) 2016-07-18 2016-10-20 基于影像的动作分析系统与方法

Country Status (4)

Country Link
US (1) US9870622B1 (zh)
CN (2) CN206363261U (zh)
DE (1) DE202016106187U1 (zh)
TW (1) TWI603294B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632698A (zh) * 2016-07-18 2018-01-26 岱宇国际股份有限公司 基于影像的动作分析系统与方法
CN111265840A (zh) * 2018-12-05 2020-06-12 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018087933A1 (ja) * 2016-11-14 2018-05-17 富士通株式会社 情報処理装置、情報処理方法、およびプログラム
JP6922410B2 (ja) * 2017-05-19 2021-08-18 富士通株式会社 姿勢判定プログラム、姿勢判定装置及び姿勢判定方法
JP6871379B2 (ja) * 2017-07-07 2021-05-12 りか 高木 治療及び／又は運動の指導プロセス管理システム、治療及び／又は運動の指導プロセス管理のためのプログラム、コンピュータ装置、並びに方法
CN108497568A (zh) * 2018-03-18 2018-09-07 江苏特力威信息系统有限公司 一种运动服及基于二维码识别的肢体测量方法及装置
CN108542021A (zh) * 2018-03-18 2018-09-18 江苏特力威信息系统有限公司 一种运动服及基于色条识别的肢体测量方法及装置
CN108537284A (zh) * 2018-04-13 2018-09-14 东莞松山湖国际机器人研究院有限公司 基于计算机视觉深度学习算法的姿态评估打分方法和系统
US10661119B2 (en) * 2018-04-30 2020-05-26 James P. Bradley Autonomous safety system for a treadmill
EP3753489B1 (en) 2018-05-28 2022-01-05 Kaia Health Software GmbH Monitoring the performance of physical exercises
CN110833418A (zh) * 2018-08-15 2020-02-25 上海脉沃医疗科技有限公司 一种步态采集与分析装置
JP7137150B2 (ja) * 2019-03-14 2022-09-14 オムロン株式会社 動作分析装置、動作分析方法及び動作分析プログラム
CN110782482A (zh) * 2019-10-21 2020-02-11 深圳市网心科技有限公司 运动评估方法、装置、计算机设备及存储介质
CN110825123A (zh) * 2019-10-21 2020-02-21 哈尔滨理工大学 一种基于运动算法的自动跟随载物车的控制系统及方法
WO2022000045A1 (en) * 2020-07-02 2022-01-06 VirtuReal Pty Ltd A virtual reality system
US11682237B1 (en) * 2020-09-04 2023-06-20 Amazon Technologies, Inc. System for learning and tracking performance of activities
TWI757178B (zh) * 2021-05-17 2022-03-01 力山工業股份有限公司 具防捲入功能的跑步機
TWI764730B (zh) * 2021-05-25 2022-05-11 力山工業股份有限公司 具安全監控功能的跑步機及跑步機的安全監控方法
TWI769915B (zh) 2021-08-26 2022-07-01 財團法人工業技術研究院 投射系統及應用其之投射校準方法
US12067744B2 (en) * 2022-02-18 2024-08-20 Dell Products, L.P. Systems and methods for context-based detection of postures of a user of an IHS (information handling system)
CN114334084B (zh) * 2022-03-01 2022-06-24 深圳市海清视讯科技有限公司 健身数据的处理方法、装置、设备和存储介质
CN114849162B (zh) * 2022-04-13 2023-03-24 江苏医药职业学院 一种老年人健身康复用踏步机的监护系统及踏步机
TWI843251B (zh) * 2022-10-25 2024-05-21 財團法人工業技術研究院 目標追蹤系統及應用其之目標追蹤方法

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4424869B2 (ja) * 2001-03-16 2010-03-03 浜松ホトニクス株式会社 歩幅測定装置
US8023726B2 (en) * 2006-11-10 2011-09-20 University Of Maryland Method and system for markerless motion capture using multiple cameras
TWM352092U (en) * 2007-10-09 2009-03-01 Taipei Nat University Of The Arts Optical recognition device for stretching gesture based on biomechanics
US8396595B2 (en) * 2007-11-01 2013-03-12 Honda Motor Co., Ltd. Real-time self collision and obstacle avoidance using weighting matrix
US8633890B2 (en) * 2010-02-16 2014-01-21 Microsoft Corporation Gesture detection based on joint skipping
US8213680B2 (en) * 2010-03-19 2012-07-03 Microsoft Corporation Proxy training data for human body tracking
WO2011155958A1 (en) * 2010-06-11 2011-12-15 Harmonix Music Systems, Inc. Dance game and tutorial
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
US9001132B1 (en) * 2010-12-22 2015-04-07 Lucasfilm Entertainment Company Ltd. Constraint scenarios for retargeting actor motion
JP5715833B2 (ja) * 2011-01-24 2015-05-13 パナソニック株式会社 姿勢状態推定装置および姿勢状態推定方法
CN102179048A (zh) * 2011-02-28 2011-09-14 武汉市高德电气有限公司 基于动作分解和行为分析实现实景游戏的方法
JP5771413B2 (ja) * 2011-03-02 2015-08-26 パナソニック株式会社 姿勢推定装置、姿勢推定システム、および姿勢推定方法
TWI534739B (zh) * 2011-10-04 2016-05-21 財團法人工業技術研究院 被遮蔽骨架之重建方法
JP5877053B2 (ja) * 2011-12-14 2016-03-02 パナソニック株式会社 姿勢推定装置および姿勢推定方法
CN103623540A (zh) * 2012-08-23 2014-03-12 青岛联合创新技术服务平台有限公司 体感控速跑步机及其控制方法
US20150130841A1 (en) * 2012-12-19 2015-05-14 Medical Companion Llc Methods and computing devices to measure musculoskeletal movement deficiencies
TWI535419B (zh) * 2013-10-24 2016-06-01 Global Action Inc A measuring system and method for analyzing the trajectory of knee movement of riding a bicycle
US9589207B2 (en) * 2013-11-21 2017-03-07 Mo' Motion Ventures Jump shot and athletic activity analysis system
TWM519534U (zh) * 2015-05-20 2016-04-01 Dong-Can Lai 影像辨識系統於跑步機自動調速裝置
US9870622B1 (en) * 2016-07-18 2018-01-16 Dyaco International, Inc. Systems and methods for analyzing a motion based on images

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107632698A (zh) * 2016-07-18 2018-01-26 岱宇国际股份有限公司 基于影像的动作分析系统与方法
CN107632698B (zh) * 2016-07-18 2020-04-28 岱宇国际股份有限公司 基于影像的动作分析系统与方法
CN111265840A (zh) * 2018-12-05 2020-06-12 富士通株式会社 显示方法、信息处理设备和计算机可读记录介质

Also Published As

Publication number Publication date
TWI603294B (zh) 2017-10-21
US9870622B1 (en) 2018-01-16
CN107632698B (zh) 2020-04-28
US20180018779A1 (en) 2018-01-18
TW201804435A (zh) 2018-02-01
DE202016106187U1 (de) 2016-12-13
CN107632698A (zh) 2018-01-26

Similar Documents

Publication Publication Date Title
CN206363261U (zh) 基于影像的动作分析系统
CN105688396B (zh) 运动信息显示系统和运动信息显示方法
US11006856B2 (en) Method and program product for multi-joint tracking combining embedded sensors and an external sensor
KR20210011984A (ko) 이미지 처리 방법 및 장치, 이미지 디바이스, 및 저장 매체
US8175326B2 (en) Automated scoring system for athletics
JP5657216B2 (ja) モーションキャプチャー装置及びモーションキャプチャー方法
WO2017217050A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
US20150257682A1 (en) Method and system for delivering biomechanical feedback to human and object motion
King et al. Does maximising ball speed in cricket fast bowling necessitate higher ground reaction forces?
US20120327194A1 (en) Motion capture from body mounted cameras
TWI638280B (zh) 自動配置感測器的方法、電子設備及記錄媒體
CN103678859A (zh) 动作比对方法与动作比对系统
JP6649323B2 (ja) 歩行解析システム及び方法
TW202024864A (zh) 動作追蹤系統及方法
WO2020180688A1 (en) Multiple physical conditions embodied in body part images to generate an orthotic
KR20230166319A (ko) 대상자의 3차원 전신 자세를 식별하기 위한 장치, 방법 및 프로그램 기록 매체
CN113063411A (zh) 外骨骼评价系统及其使用方法
CN108031110A (zh) 一种基于ar技术的游戏系统
JP7484293B2 (ja) アニメーション生成装置、アニメーション生成方法及びプログラム
JP6525180B1 (ja) 対象数特定装置
WO2020180521A1 (en) Biometric evaluation of body part images to generate an orthotic
WO2018207388A1 (ja) モーションキャプチャに関するプログラム、装置および方法
JP6741892B1 (ja) 測定システム、方法、プログラム
JP2021155893A (ja) 運動用の衣服の設計を支援する装置、方法及びプログラム
Cao et al. A portable system for tof camera based human body detection and pose estimation

Legal Events

Date Code Title Description
GR01 Patent grant
GR01 Patent grant
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned
AV01 Patent right actively abandoned

Granted publication date: 20170728

Effective date of abandoning: 20200428

AV01 Patent right actively abandoned

Granted publication date: 20170728

Effective date of abandoning: 20200428