CN113728394A - 身体活动执行和训练的评分度量 - Google Patents

身体活动执行和训练的评分度量 Download PDF

Info

Publication number
CN113728394A
CN113728394A CN202080030021.1A CN202080030021A CN113728394A CN 113728394 A CN113728394 A CN 113728394A CN 202080030021 A CN202080030021 A CN 202080030021A CN 113728394 A CN113728394 A CN 113728394A
Authority
CN
China
Prior art keywords
path
activity
sequence
tracking
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080030021.1A
Other languages
English (en)
Inventor
B·尤哈斯
S·苏尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Smith and Nephew Inc
Original Assignee
Smith and Nephew Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Smith and Nephew Inc filed Critical Smith and Nephew Inc
Publication of CN113728394A publication Critical patent/CN113728394A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1118—Determining activity level
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A61B5/1114—Tracking parts of the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107—Static hand or arm
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/09—Rehabilitation or training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Physiology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Social Psychology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)

Abstract

本公开的某些方面提供了一种用于评估身体活动的执行的方法，包括：当训练受试者展示身体活动序列时记录运动捕获数据；基于所述运动捕获数据识别一个或多个主要身体元件；基于状态变量集和所述一个或多个主要身体元件导出一个或多个路径特性度量，其中所述状态变量集限定在任何给定时间身体的状态；并基于所述一个或多个路径特性度量定义所述身体活动序列的理想活动路径。

Description

身体活动执行和训练的评分度量
相关申请的交叉引用
本申请要求2019年5月21日提交的第62/851,009号美国临时专利申请的权益，以及2020年5月21日提交的第16/880,693号美国专利申请的优先权，每个专利申请的全部内容以引用的方式并入本文中。
背景技术
本公开的方面涉及用于基于运动数据定量和监测身体活动的系统和方法，并且具体地涉及给定由运动捕获系统提供的受试者运动捕获数据定量评估身体活动的执行。
在身体康复环境中，患者通常被开具物理疗法，其可以包括特定的身体活动，例如针对特定四肢和关节的特定运动的锻炼。通常，向患者提供关于何时以及如何进行身体活动的书面指导(例如，每十二小时特定锻炼重复的一定次数)。以往，患者也需要去理疗诊所，或者让临床医生到家里去，以监测他们的物理疗法，并获得反馈和指导，以最大限度地提高对其物理疗法的依从性。此类现场监测通常例如通过确保正确且一致地执行而改善物理疗法的功效。然而，这种常规做法是耗时的、昂贵的且在物流上具有挑战性的。此外，对于行动能力或经济能力有限的人，可能无法获得临床或家庭物理疗法指导。虽然患者可以在没有专业支持的情况下自行进行规定的物理疗法，但无法保证患者会遵循指示并使用适当的形式——这对于规定的物理疗法的功效至关重要。实际上，不支持的物理疗法经常导致较差的患者结果、更高的再次爱伤可能等。
值得注意的是，在物理治疗环境中所面临的相同问题存在于其它环境中，例如用于表现改进而非损伤恢复的身体素质训练、在训练各种运动的运动员中，以及在身体运动的一致性和质量可改善期望结果的任何其它环境中。
因此，需要用于基于运动捕获数据定量评估身体活动的执行的系统和方法。
发明内容
某些方面提供了一种用于评估身体活动的执行的方法，其包括：当训练受试者展示身体活动序列时记录运动捕获数据；基于所述运动捕获数据识别一个或多个主要身体元件；基于状态变量集和所述一个或多个主要身体元件导出一个或多个路径特性度量，其中所述状态变量集限定在任何给定时间身体的状态；以及基于所述一个或多个路径特性度量定义所述身体活动序列的理想活动路径。
其它方面提供被配置成执行前述方法以及本文所述的方法的处理系统；包括指令的非暂时性计算机可读介质，所述指令在由处理系统的一个或多个处理器执行时，使所述处理系统执行前述方法以及本文所述的方法；计算机程序产品，其包含在计算机可读存储介质上，所述计算机程序产品包括用于执行前述方法以及本文还描述的方法的代码；和处理系统，所述处理系统包括用于执行前述方法以及本文还描述的方法的装置。
以下描述和相关附图详细阐述了一个或多个实施例的某些说明性特征。
附图说明
附图描绘了一个或多个实施例的某些方面，因此不应被视为限制本公开的范围。
图1描绘了图示本文所述的各个方面的示例关系图。
图2描绘了用于开发和实施路径跟踪模型的示例过程。
图3描绘了来自运动捕获源的骨架化输出的实例，其中，识别出主要身体元件。
图4描绘了使用主要身体元件单位矢量来导出路径特性度量以测量受试者的身体活动路径的实例。
图5描绘了活动路径归一化的实例。
图6描绘了利用平均将若干归一化活动路径样本组合为一个平均归一化路径的示例方法。
图7描绘了实施平均路径完成时间以将平均归一化路径转换为根据时间表示的理想活动路径的示例方法。
图8描绘了用于基于主要身体元件的当前取向沿着理想活动路径找到最佳匹配状态的示例方法。
图9描绘了实时活动路径跟踪应用程序的示例图形用户界面。
图10A和10B描绘了增强的矢量定义的活动路径的实例。
图11描绘了评估身体活动的执行的示例方法。
图12描绘了被配置成生成并使用活动路径跟踪模型的示例处理系统。
为了便于理解，在可能的情况下，相同的附图标记用于标示附图共有的相同元件。可以设想，一个实施例的元件和特征可以有利地并入到其它实施例中，而不再有进一步的叙述。
具体实施方式
本公开的各方面提供了用于基于运动捕获数据定量评估身体活动的执行的设备、方法、处理系统和计算机可读介质。
身体活动跟踪概述
图1描绘了示出如本文中所描述的身体活动跟踪和评估系统的各个方面的示例图。
通常，身体活动(或活动序列)是包括受试者的身体的状态(例如，102或126)的时间序列的身体活动。身体活动可以采用许多不同的形式。例如，身体活动可包括为了发展、改进或显示身体能力或技能而执行或实践的锻炼或其它规定运动。
与身体活动相关联的状态(或活动状态)102通常可以包括受试者身体的特定位置、姿势或举止，无论是特征性的还是出于特殊目的假设的。定义身体活动的状态序列中的一个或多个状态可被视为关键状态，关键状态可用于定义身体活动的数学表示。
例如，坐下的身体活动可以具有立位的第一关键状态和坐下的第二关键状态。站立与坐下之间的状态可以不被视为“关键的”，因为它们对于定义坐姿的整体身体活动可能并不重要。然而，如下文进一步详细描述的，状态之间的路径(例如，106)，包括关键状态之间的路径，可以由路径跟踪模型用于定量评估由其关键状态定义的身体活动的执行。
关键状态可由诸如培训师、临床医生、医生等的专家确定，或基于与身体活动相关联的运动数据的时间序列的分析在数值上确定。例如，特定体段或关节的运动路径中的拐点可以指示特定身体活动的关键状态。
在某些情况下，身体活动可以进一步由时间规范限定，例如在指定时间内从一个状态运动到另一个状态，或在指定时间内保持一个状态，仅举几个实例。
身体活动状态序列中的每个状态可以参考受试者身体的单独区段或部分来定义，例如受试者的头部、颈部、躯干、手臂、手、手指、腿、脚、骨骼和其它。身体活动序列内的状态还可以由关节限定，所述关节通常是两个邻接的体段之间的连接点，其允许一个区段相对于另一连接区段的某种铰接。在某些情况下，与受试者相关联的个别区段和关节可以组合以形成数学身体表示，例如骨架表示，或其它更具有特征的表示，例如虚拟形象。
可以使用一个或多个状态变量116(例如，在状态变量集104中)以编程方式描述和跟踪状态(例如，102)，所述一个或多个状态变量可包括数字和/或非数字变量。例如，状态变量集可以描述四肢和关节相对于身体或独立参考系，例如坐标系的位置和取向。在某些情况下，状态变量集(例如116)可以完全限定受试者的身体的状态。
除了定义状态之外，还可以定义状态之间的路径(例如，运动路径或状态过渡路径)。通常，状态之间的路径(例如，106)可以表示为状态变量集的有序序列，其中每个状态变量集可以从用于跟踪任何两个离散状态之间的过渡且包括任何两个离散状态的完整状态变量集(例如，104)导出。例如，路径可以包括通常按执行其的时间或序列排序的一系列状态(例如，姿态)。因为每个状态可以由状态变量集(例如，图1中的104)描述，所以路径可以描述为这些状态变量集的序列(或系列)。在一些实施例中，可以使用时间值来排序序列，或者可以另外指定顺序。状态之间的路径也可以表示为数学函数。
通常，状态之间的活动路径可以是多维的，例如离散状态之间的n维路径。维度可以取决于例如与活动相关联的身体主要元件的数目和表达它们的参考系。在此类情况下，状态之间的路径的每个维度可被视为路径分量。在某些情况下，状态之间的路径可以投射到较低维度，例如投射到二维平面的三维路径。
例如，基于单个关节(一种类型的身体元件)的活动路径可以包括当主要身体元件移动通过活动路径时该主要身体元件的三个空间维度值的有序序列(例如，在时间上)，并且因此是三维的。作为另一实例，基于单个肢体(另一类型的身体元件)的活动路径可包括六个空间维度值的有序序列，其中三个空间维度值与肢体的第一端(例如，在第一关节处)相关联，其它三个空间维度值与肢体的第二端(例如，在第二关节处)相关联。作为又一实例，身体元件可以由第一关节位置处的三个空间维度和许多取向参考(例如，以欧拉角度)表示。作为另一实例，基于多个主要身体元件的活动路径可包括当多个身体元件移动通过活动路径时针对多个主要身体元件中的每个主要身体元件的空间维度值的有序系列。值得注意的是，活动路径可以基于任何数目个身体元件，并且因此基于任何数目个空间、取向和其它非空间维度，例如时间维度等。
身体活动状态序列可以通过运动捕获、运动监测、运动跟踪等过程进行捕获和数字化，所述过程通常是指使用各种电子传感器生成关于受试者的运动学运动和静态姿态的数据的过程。通常，运动跟踪系统可包括被配置成监测受试者的身体活动(例如，运动、锻炼等)的硬件和软件部件。在一些实施例中，运动捕获装置可包括具有图像处理的光学相机系统、具有各种标记(有源、无源、半有源、调制)和检测器(光学、射频)类型的基于标记的跟踪系统、具有目标识别算法的深度相机系统、惯性测量单元、机械外骨架运动捕获系统或磁通量测量系统，仅举这几个例子。运动跟踪系统的一个实例是由
Figure BDA0003311946640000051
提供的
Figure BDA0003311946640000052
传感器及其相关联的姿势检测软件。
可以比较身体活动状态序列中的状态以生成状态分化变量。例如，可以基于体段和关节来定义多个候选状态间分化变量，以便识别或改进识别身体活动的状态(包括关键状态)之间的差异。在一些实施例中，可以测试多个候选状态间分化变量以确定状态间分化变量的子集，所述子集最有效地识别所捕获的运动数据中的特定状态，例如关键状态。所选的子集状态间分化变量可以被称为状态特性度量(例如，118)，其通常由身体活动定义模型(例如，120)使用以识别和跟踪运动数据中的身体活动的关键状态。
理想的身体活动序列可以例如通过捕获以指定方式执行身体活动的专业人员的运动数据，并且随后基于所捕获的运动数据定义身体活动的关键状态来定义。如上文所述，关键状态可以由例如专业人员手动地定义或通过分析在理想身体活动序列的执行期间所捕获运动数据中的变量的变化来自动地定义。此外，在一些实施方式中，关键状态可以数值定义，而不使用例如通过使用骨架数据模型采集的运动捕获数据的样本。
一旦已定义身体活动(例如，借助于定量的状态特性度量)，就可以生成身体活动定义模型(例如，120)以确定(例如，辨认或识别)所捕获运动数据中的身体活动的状态，例如关键状态。此外，身体活动定义模型可以将确定的状态与理想身体活动状态序列的状态进行比较，以对受试者的身体活动执行“评分”和/或向受试者提供关于身体活动执行质量的实时反馈。这实际上使得无需现场专业人员即可实时监测和反馈给受试者。
在一些实施例中，身体活动定义模型(或身体活动模型)(例如，120)包括一个或多个分类器(例如，120A)，该一个或多个分类器被配置成确定所捕获的运动数据中表示特定状态的概率(例如，122)。此外，对于身体活动模型的每个分类器，分类器置信度可以被确定为定量评估，该定量评估对应于分类器在确定所捕获运动数据的正确状态、分类或类别方面的表现。经由身体活动定义模型确定特定状态还可以使得确定在所捕获的运动数据中表示包括一些或全部所确定状态的定义的身体活动。
分类器(例如，120A)和状态特性度量(例如，120B)的组合使得单个身体活动定义模型能够生成关于所捕获运动数据中的多个定义状态和身体活动的预测。
除了利用活动定义模型(例如120)确定状态之外，身体活动的执行还可通过基于体段的路径和身体活动中的状态之间的关节来定量评估。
在一些情况下，体段的运动路径可以基于所选的主要身体元件(例如，114)，该主要身体元件通常是可用于定义、跟踪和评估活动形式和/或执行的受试者身体的元件。图3在下文更详细地描述，其描绘了在身体活动序列中的两个状态之间过渡的主要身体元件的实例。
主要身体元件可以表示状态之间的路径。例如，从第一状态到第二状态的过渡可以涉及受试者腿相对于其躯干的显著运动，而不是其头部和颈部相对于其躯干的显著运动。因此，在这种情境中，腿可以被认为是主要身体元件。在一些实施例中，主要身体元件可以与一个或多个状态变量(例如，116)相关联。
在某些情况下，主要身体元件可以由专业人员直接识别。有益的是，在路径跟踪模型制定期间，专业人员可以改进与主要身体元件相关联的路径特性度量的列表，以便更加强调跟踪更感兴趣的身体元件。
在其它实施例中，主要身体元件可以以算法方式确定。例如，可以从对身体活动序列中的状态(例如，关键状态)之间的状态变量(例如，104)的分析，以数值确定主要身体元件。例如，数字方法可以基于当受试者移动通过活动序列时由每个身体元件执行的机械工作。分析所执行的定量工作可以告知针对身体活动序列或其一部分的主要身体元件的识别。
路径特性度量(例如，124)通常是与用于定义活动序列的重要分量的一个或多个主要身体元件相关联或源自一个或多个主要身体元件的状态变量。
路径特性度量可用于定义活动路径(例如，108)。例如，活动路径或轨迹(例如，108)通常可以由每个中间状态(过渡区)的一个或多个路径特性度量(例如，路径特性度量集)表示，所述中间状态介于活动路径的开始关键状态和结束关键状态之间且包括活动路径的开始关键状态和结束关键状态。
理想活动路径(例如110B)通常是与身体活动序列的全部或部分过程相关联的所需活动路径(例如，如由专业人员定义的)。
路径相似性测量(例如110C)通常是量化实际活动路径(或轨迹)与理想活动路径(例如110B)之间的相似性的数字值。
路径跟踪模型(例如，110)通常可包括一个或多个路径相似性测量(例如，110C)，该一个或多个路径相似性测量用于评估与理想活动路径(例如，110B)相比的身体活动序列中的完全运动。路径跟踪模型可以生成路径跟踪得分(例如，112)，其通常是评估当与理想化活动路径相比时受试者执行活动路径的值。
使用路径跟踪模型评估身体活动的执行
图2描绘了用于开发和实施路径跟踪模型的示例过程，例如上文关于图1描述的110。
可以开发路径跟踪模型，以用于评估受试者对身体活动序列或其一部分的执行。开发通常可以从在训练受试者(例如，专业人员)展示特定的理想活动序列时，例如在202和204处，捕获运动数据(例如，使用运动捕获系统)开始。分析所捕获的运动数据，包括活动序列的关键状态之间的活动路径内各种身体元件的移动，使得能够识别可用于监测活动形式、进展和完成的主要身体元件。
记录活动序列(例如，在204处)可以例如由系统来执行，所述系统包括访问运动捕获装置并运行对来自装置的数据进行处理的软件算法的计算机。此类系统可以通过观察训练员(例如，专业人员，可能类似理疗医师的临床医生)实施活动来为活动提供运动捕获数据。
运动捕获装置可包括具有图像处理的光学相机系统、具有各种标记(有源、无源、半有源、调制)和检测器(光学、射频)类型的基于标记的跟踪系统、具有目标识别算法的深度相机系统、惯性测量单元、机械外骨架运动捕获系统或磁通量测量系统，仅举这几个例子。
从记录的运动捕获数据中，可以通过在身体活动序列期间提取训练受试者的主要关节位置的坐标来量化训练受试者的状态和活动进展。然后，可以基于由运动捕获系统捕获的数据来确定训练受试者的身体元件和肢体以产生骨架重建。通常，每个身体元件可以由区分关节之间的长度和给出其在给定坐标系中的取向的单位矢量限定。单位矢量具有为一的长度，并且可用于表示给定坐标空间中的空间方向/取向。
有益的是，实施用于定量活动路径的基于单位矢量的方法可能比使用欧几里德距离测量来跟踪受试者移动更稳健。例如，计算身体元件单位矢量是可为具有不同生物特征的受试者提供更好的跟踪能力的归一化过程。
也可以使用对邻接的身体元件矢量的矢量运算来计算关节角。
确定活动路径
活动路径通常是在执行身体活动序列时，身体元件(例如，腿、臂、躯干等)遵循的运动路径。例如，在俯卧撑期间，受试者的躯干可以移动通过最初向下并再次向上的路径。在某些情况下，可以参考身体活动序列的关键状态来定义活动路径，例如从第一关键状态开始并在第二关键状态结束。
可以基于对表征活动路径的一个或多个路径特性度量(例如，208A)的识别来定量地定义活动路径。在一些实施例中，路径特性度量可以包括时间方面，例如完成活动路径所花费的时间量。
在一些实施例中，路径特性度量可以直接源自活动定义模型(例如，206)中使用的状态特性度量(例如，图1中的118)。例如，在一个实施例中，活动定义模型206内的分类器可以用来跟踪路径特性度量208A。因此，在一些实施例中，路径特性度量可以与分类器相关联的状态特性度量相关联和/或由与分类器相关联的状态特性度量定义。
作为另一个实例，路径特性度量208A可以由临床医生、医生、物理治疗师等基于对身体活动序列的观察和专业评估直接识别。
在一些实施例中，路径特性度量208A可以基于一个或多个主要身体元件。如上文所示，主要身体元件通常是受试者身体的组成部分，其经历显著运动和/或表示受试者在执行身体活动序列或其一部分时完成的大部分机械工作。
然后，路径特性度量(例如，208A)可以用来定量地定义理想活动路径210以及跟踪来自理想活动路径的变化。用于身体活动序列的理想活动路径210可并入一个或多个路径特性度量208A中。
确定理想活动路径
可以确定理想活动路径(例如，210)并将其与受试者的实际活动路径进行比较，以评估受试者完成身体活动序列或其一些部分的执行。在一些实施例中，理想活动路径210包括关于受试者应如何执行身体活动序列或其一部分的空间和/或时间信息。
理想活动路径生成可以通过首先采集理想身体活动序列运动数据开始，例如在204处。所捕获的运动数据可用于定义理想活动路径210，其可包括对整个身体活动序列或其一些部分中一个或多个主要身体元件的运动的定量。如上文所述，身体活动序列可以由在捕获运动数据时展示理想身体活动的专家执行。
在一些实施例中，理想活动路径可以基于从例如由专业人员理想执行活动序列重复所捕获的运动数据的若干样本数据集的集合。图5和图6在下文更多地描述，展示了基于多个活动路径样本数据集确定理想活动路径的一个示例过程。
在某些情况下，从多个受试者和/或多个跟踪方法或装置捕获运动数据可能是有利的。取决于所使用的运动捕获平台，可以发现不同尺寸和体形的训练受试者的关节位置和身体元件取向的差异。这提供了具有更宽范围的可接受取向的活动路径，并将为不同受试者带来更稳健的跟踪性能。应当注意，存在这样的情况，即：要求可以是为特定用户或装置定制活动，在这种情况下，理想化路径制定可以限于那些特定的配置。
可以基于理想活动路径210和路径特性度量216A来确定量化路径之间的相似性的路径相似性测量212。
有益的是，理想路径确定可以是能够使用来自不同受试者的数据的自动化和可训练的过程。该特征可以产生更稳健和可调节的跟踪能力。
路径跟踪模型的配置
通过将受试者的活动路径216与理想活动路径210进行比较，来改进对受试者的身体活动序列执行的跟踪和评估。在一些实施例中，包含一个或多个路径相似性测量(例如218A)的路径跟踪模型(例如218)可以在整个活动期间跟踪受试者的运动，并且可以提供跟踪得分(例如218B)以用于总体评估。跟踪得分218B通常提供客观度量以评估受试者活动路径(例如，在214处在运动数据中捕获)与理想活动路径(例如，210)之间的相似性。
有益的是，来自路径跟踪模型(例如218)的跟踪得分输出向用户提供关于其在活动路径的完整过程中的执行的附加信息。此评分信息可用作辅助受试者训练的附加反馈，并且可以促进纠正措施，目的是更好地展示例如处方临床医生所需的适当技术。
在一些实施例中，受试者的活动路径216包括路径特性度量(例如，216A)，其在整个身体活动序列或其部分过程中限定受试者的运动的显著分量。路径跟踪模型218监测这些路径特性度量，以便评估受试者对身体活动序列的执行。例如，路径跟踪模型218可以将受试者的路径特性度量(从214处捕获的运动数据导出)与理想活动路径210进行比较，以确定路径相似性测量218A。
在一些实施例中，基于在执行身体活动序列期间发生的关键状态来对理想活动路径210分段。在此类情况下，不同路径特性度量216A可用于分段理想活动路径的每个区段。
在一些实施例中，路径相似性测量可包括例如均方根偏差、明科夫斯基距离、弗雷歇距离、豪斯道夫距离、马氏距离、余弦距离、径向基核函数及其它。更一般地，路径相似性测量可以是能够在数值上比较活动路径之间的差异的任何测量。有利地，可以使用和配置许多类型的路径相似性测量来适应特定的终端任务要求，而不对本文所述的方法有任何结构改变。例如，如果身体活动序列的定时是重要特征，则可以实施具有时间分量的测量以提供额外反馈。
在一些实施例中，跟踪得分218B可以基于多个路径相似性测量218A。将一个或多个路径相似性测量218A组合成复合跟踪得分218B的过程可以被配置成例如更加强调某些主要身体元件或某些运动特性(时间相对于空间)，以列举几个实例。
路径跟踪模型218还可以被配置成在身体活动序列的各个阶段或在身体活动序列期间以不同频率提供跟踪得分反馈。在一些实施方式中，可以在捕获受试者的运动期间(例如，在214处)实时输出连续跟踪得分。在其它实施例中，可以在每个身体活动序列或其部分结束时计算跟踪得分。例如，跟踪得分可以在身体活动序列中的每个关键状态提供。
使用路径跟踪模型监测受试者活动
在一些实施例中，路径跟踪模型(例如218)的路径相似性度量(例如218A)可以被配置成分析沿着理想活动路径(例如210)的每个点。因为受试者的预期运动可能不是先验已知的，所以路径跟踪模型218可以基于受试者执行的路径确定最佳匹配的理想活动路径。图8在下文更详细地描述，其描述了沿着理想活动路径确定最佳匹配状态的一种方法。
当受试者212在身体活动序列的关键状态之间过渡时，将其路径特性度量216A与理想活动路径210进行比较，直到实现活动序列中的下一关键状态。在关键状态之间的这种过渡期间，可以将当前路径特性度量值与沿着理想活动路径的点进行比较，以便确定最佳匹配取向/位置。为此，在理想路径状态下可以考虑沿着理想活动路径的每个点，理想路径状态由表示一个或多个身体元件的理想位置和/或取向的状态变量集表示。因此，可以将捕获的运动数据与沿着理想活动路径(例如，210)的每个点进行比较，使得可以基于受试者212的当前状态来确定适当的理想活动路径状态。
例如，当主要身体元件单位矢量被实施为度量(如下文关于图3和图4更详细地描述)时，与理想活动路径相比，受试者212的当前状态与最佳匹配理想活动路径状态之间的取向差可以表示为主要身体元件的角度偏差。
可以根据以下等式使用例如围绕由两个矢量之间的叉积限定的轴线测量的矢量点积运算来计算身体元件的实际和理想单位矢量之间的角度偏差：
Figure BDA0003311946640000111
其中θ是角度偏差，
Figure BDA0003311946640000112
是实际单位矢量取向，并月
Figure BDA0003311946640000113
是理想的单位矢量取向。因此，等式1提供了在所捕获的运动数据中理想身体元件取向与身体元件的实际取向之间的绝对角度偏差。
这些取向差可以在受试者212在关键状态之间运动时记录和存储，并且可以用于计算空间跟踪得分以进行反馈。在一个实施例中，跟踪得分τ可以根据以下等式计算：
Figure BDA0003311946640000121
其中θi是样本i的角度偏差，n是沿着路径的样本的总数目。等式2求取在活动路径期间记录的所有角度偏差样本的平均值，因此是可用于在活动路径完成时产生跟踪得分(例如，218B)的平均方程。
还可以将每个关键状态过渡的持续时间与理想活动路径210的持续时间进行比较，以产生活动路径的时间跟踪得分。可以将时间跟踪得分实施为路径相似性测量，以更好地跟踪活动定时特性。再次，路径相似性测量的组合可以被配置成更加强调活动的某些特性。
在一些实施例中，可以根据运动捕获源和支持计算机硬件，以很少延迟或不延迟的方式实时向受试者(例如212)提供跟踪得分(例如218B)。这种实时跟踪得分反馈可以用作其它感兴趣度量的基础，例如基于受试者在活动序列期间与理想活动路径210的偏离而对受试者212造成损伤的风险。
例如，当受试者212进一步偏离理想活动路径210时，跟踪得分218B将反映这种增加。如果跟踪得分218B偏离超过阈值，则可以向受试者212提供警示警告，这可以有益地降低受试者212的损伤风险。
路径跟踪模型还可以被配置成产生跟踪得分集，其中该跟踪得分集中的每个跟踪得分与特定身体元件(例如，臂、腿等)相关联。额外跟踪得分还可以用于例如通过隔离有问题的身体区域并瞄准活动执行改进的特定区域来向受试者212提供额外反馈。
注意，虽然前述实例基于身体活动序列的关键状态将主要身体元件单位矢量用作路径特性度量和分段式理想活动路径，但这仅仅是一个示例实施例，并且其它实施例可以不同方式实施。
示例主要身体元件
图3描绘了来自运动捕获源的受试者的下半身部分的骨架化输出的实例，其中识别了主要身体元件。特别地，图3描绘了在活动序列中的两个关键状态之间处于不同取向的主要身体元件302和306。如上文所述，可由临床医生基于患者在活动序列期间所执行的工作或通过数字方法识别主要身体元件302和306。
图3还描绘了主要身体元件单位矢量304和308的实例，其在一些实施例中可用作路径特性度量(例如，图2中的216A)。值得注意的是，本文所述的方法对活动路径的任何定量表示有效。换句话说，活动路径不必仅表示为单位矢量轨迹集。此外，应注意，可以使用对从不直接提供关节位置的跟踪系统捕获的运动数据的数学运算导出受试者的关节位置。
基于主要身体元件单位矢量的活动路径
图4描绘了使用主要身体元件单位矢量来导出路径特性度量(例如，图2中的208A、216A)以测量受试者的身体活动路径的实例。
具体地，该实例通过绘制主要身体元件单位矢量的三个分量方向(X、Y和Z)中的每一个的幅值差，描绘了在活动序列中两个关键状态402和404之间的单位矢量取向的差异。绘图406描绘了当受试者从关键状态402过渡到关键状态404时，以时间的函数表示的主要身体元件的单位矢量轨迹的路径特性度量的值。
活动路径归一化
图5描绘了活动路径归一化的实例。具体地讲，图5描绘了路径完成归一化方法，其中通过使用身体活动序列的起点和终点相对于时间归一化多个记录的活动路径样本502和504，所述起点和终点在一些情况下可以是关键状态。一旦时间归一化，活动路径就可以通过传递函数，例如508和510表示为完成百分比而不是时间百分比，例如绘图506中描绘。
例如，如绘图506中那样，传递函数T1(508)和T2(510)将绘图502和504的时间域Dt输出分别变换成归一化域Dρ输出。
在一些实施例中，图5中所描绘的归一化方法可用于理想活动路径确定，如上文关于图2描述的。
此归一化过程允许以相等的尺度比较不同速率的活动。在此归一化域中，可组合归一化路径的集合以计算样本运动捕获数据集的平均路径，例如关于图6中描述的。此外，接着可使用在训练数据中观察到的平均路径完成时间将平均路径轨迹变换回到时间域，如图7中所示。一旦变换回时间域中，平均路径就表示该活动的理想化路径。
当归一化活动路径时，可以使用平均方法组合归一化活动路径的所有类似路径特性度量，并使用路径完成的平均观察时间转换回时间的函数，如图6中描绘的。该过程产生随归一化时间而变的平均路径，以及在归一化时间上路径的标准偏差，如图7中所描绘的。还可以确定围绕平均完成时间的标准偏差。
也可以通过使用每个身体活动关键状态来分段和归一化活动路径样本以标记理想化路径开始和结束点而以逐步方式完成活动路径归一化。如上文所述，身体活动可以定义为受试者必须在身体活动过程中实现的关键状态序列。创建由活动中的每个关键状态界定的理想活动路径的单独区段可提供更精确的归一化过程，还可以促进更集中关于活动路径的某些区段的细节的跟踪得分。在此情况下，在完整活动序列的过程中，理想化路径将具有用于活动关键状态之间的每个过渡区的分段制定。活动路径的每个区段可包括开始关键状态和结束关键状态两者，当组合成一个完整活动路径时可能产生一些状态重叠。
也可以使用活动定义模型(例如，图1中的120)完成活动路径样本的归一化。了解路径完成百分比信息可用于在计算理想化活动路径(例如，图2的210)之前提高样本活动路径的同步。可以使用活动定义模型基于将沿着路径的每个过渡状态与定义活动路径起点和终点的两个关键状态进行比较产生的分类器概率来产生路径完成百分比的测量。此路径完成百分比被定义为时间(或归一化时间)的函数，允许创建传递函数T以基于路径完成百分比将时间域状态变量数据转换成归一化域。此实施方式可有助于减轻由于以不同速率执行样本活动序列引起的问题。
在一些实施例中，可以使用用于活动路径跟踪的主要身体元件取向来实施归一化方法，这可以增加针对受试者生物特征和所得骨架化数据的差异的稳健性。具体地，可以通过跟踪关键状态之间的主要元件单位矢量取向差来量化和归一化活动路径(如图4中)。对于这些主要身体元件，通过在受试者从一个关键状态过渡到另一关键状态时分析单位矢量取向变化来执行跟踪。
身体元件单位矢量的计算是归一化过程，有利地减少受试者身体类型(身高、重量等)差异的影响。出于跟踪大量受试者的兴趣，加上相同的评估，单位矢量的使用可以是用作路径特性度量的更稳健的选择。
在一些实施例中，路径相似性测量的组合还可以考虑在理想活动路径的制定期间观察到的理想活动路径标准偏差。
有益的是，从理想地执行身体活动序列捕获的运动数据生成的活动路径样本(例如502和504)的集合可以提供与理想情况的偏差的可接受限值有关的信息。在一些实施例中，可以计算平均路径(理想化路径)和围绕该平均值的标准偏差，并且可以在路径相似性测量中考虑。
平均归一化路径测定
图6描绘了利用平均将若干归一化活动路径样本602组合成一个平均归一化路径604的示例方法。在所描绘的实例中，根据以下公式沿着完整路径对归一化活动路径样本的每个共同分量(例如，状态变量)求平均(图6中的606)：
Figure BDA0003311946640000151
其中n是归一化路径样本的数目，Pi是第i个归一化路径样本，并且PI是归一化平均路径。值得注意的是，此方法可用于产生理想活动路径，例如平均归一化理想路径。
将平均归一化路径转换为理想路径
图7描绘了使用平均路径完成时间(如702中所描绘)将绘图704中的理想化归一活动路径转换成表示为时间的函数的理想化活动路径706的示例方法。在此实例中，可以使用平均路径完成时间创传递函数Tt(708)，以将如绘图702和704中所描绘的归一化域Dρ输出转换为如绘图706中所描绘的时间域Dt输出。
理想活动路径状态选择
如上文所描述，路径跟踪模型可以包含一个或多个路径相似性测量(例如，图2中的218A)，该一个或多个路径相似性测量各自产生观察活动路径(例如，执行身体活动序列的受试者)与理想活动路径之间的相似性的测量。路径相似性测量的输出可以组合以产生一个或多个跟踪得分，从而提供活动执行的整体评估。路径相似性测量的组合可以几种可接受的方法进行，并且可以以更加强调运动的特定特性来进行。
然而，当跟踪受试者的身体活动序列的执行时，路径跟踪模型可能需要确定适当的理想活动路径状态，以与受试者观察到的活动路径进行比较。
图8描绘了用于基于主要身体元件的当前取向沿着理想活动路径找到最佳匹配状态的示例方法。在此实例中，将与当前取向的偏离与沿着理想活动路径的每个点进行比较，并且将发生最小取向差的指标确定为沿着理想活动路径的最佳匹配状态。
特别地，在活动路径的进展期间，可以通过如绘图804所描绘的路径跟踪模型将受试者的观察状态的分量与理想活动路径进行比较。值得注意的是，图8描绘了独立于锻炼时序或速度的空间比较的实例。相反，鉴于主要身体元件的当前取向(在维度X、Y和Z上)，示例方法沿着理想化路径识别最佳匹配取向802。如绘图806中所示，计算(或比较)当前取向与沿着理想化路径的每个点的偏差(或差)。沿着显示最小取向差的理想活动路径的指标被确定为最佳匹配点。沿着理想化路径的该点表现出与受试者的当前状态最接近的相似性。
在受试者的活动路径的整个进展过程中，确定每个运动捕获数据样本的最小取向差。计算出的最小偏差(例如，点802)可以提供为路径进展期间运动捕获数据的每个样本的跟踪得分。
此外，一旦受试者完成活动路径的完整运动，并且他们处于期望的最终关键状态，就可以分析取向差的集合，以基于通过整个活动路径记录的样本的完整集合提供合计跟踪得分。因此，可以在每个活动路径或指定路径段完成时生成跟踪得分。
这种最小偏差方法是使用路径相似性测量的许多可接受的路径跟踪方法中的一个。选择其它可接受的路径相似性测量将促进略微变化的过程。例如，使用弗雷歇距离度量，将在完成活动序列之后将受试者的观察活动路径与理想化路径进行比较。考虑到样本沿着两个路径的位置和顺序，弗雷歇距离将提供路径之间的相似性的测量。
有益的是，沿着理想活动路径识别最佳匹配取向的方法，例如关于图8描绘的，可以提供时间不变的比较，其允许更全面地分析活动运动差异(空间与时间)。
示例活动路径跟踪用户界面
图9描绘了实时活动路径跟踪应用程序的示例图形用户界面900。在此实例中，受试者正在执行左腿髋关节外展的站立活动，并且在身体活动序列的两个关键状态之间过渡。
路径偏差跟踪得分902显示在图片的下边缘处，例如可以由路径跟踪模型(例如，图2的218)计算。在这种情况下，跟踪得分(路径偏差)表示被跟踪的一个或多个身体元件的当前取向与沿着理想化路径最接近的匹配状态的取向之间的最小角度。值得注意的是，在该实例中每个跟踪得分基于不同的运动捕获源，例如两个不同的运动捕获相机系统。因此，多个运动捕获系统可以同时使用。
有益的是，由路径跟踪模型提供的跟踪得分(例如，902)可以用于提供风险预测，并且允许谨慎反馈以防止在活动期间的潜在损伤。如果受试者与理想路径偏差很大，则来自路径跟踪模型的实时反馈可降低潜在损伤的风险。
使用矢量代数的替代方法
图10提供了使用矢量代数绘制和比较活动路径的替代方法的实例。
最初，活动路径的每个元素(例如，图2的208或216)可视为若干值的矢量，其中的每一个与状态变量集(例如，路径特性度量的矢量)相关或从状态变量集导出。活动路径的每个矢量元素可以用一个或多个基于时间的变量来增强，所述一个或多个基于时间的变量描绘了活动的时序方面。例如，时间增强可以是自活动开始以来经过的实时时间(以合适的单位)，或者可以是相对于整个活动(或关键状态之间的活动)的时间经过的时间百分比。增强活动路径现在可以由这些增强矢量的序列表示，其按时间或以其它方式排列。
在数学上，这些增强矢量的序列限定具有适当数目的维度的空间中的路径，该路径具有与增强矢量相同的数目的维度，如在图10A和图10B中从不同视角显示的。为了计算在该空间中路径之间的距离，例如理想活动路径1002和随后特定受试者1004的活动路径，可以基于各种方法，例如基于明科夫斯基距离的度量、豪斯道夫距离、弗雷歇距离等，在该空间上定义距离函数(这是路径相似性测量的一种形式)。注意，在应用距离函数之前，矢量中的单个变量也可以相对于其余变量缩放。
例如，取决于时间方面比活动的空间方面更关键还是不太关键，时间导出变量可以缩放得更高或更低。还可以通过适当地定义距离函数而不是缩放增强矢量的元素来实现相同效应。
评估身体活动的执行的示例方法
图11描绘了评估身体活动的执行的示例方法1100。
方法1100开始于步骤1102，其中在训练受试者展示身体活动序列时记录运动捕获数据，如上文关于图2描述的。
方法1100接着前进到步骤1104，其中基于运动捕获数据识别一个或多个主要身体元件，例如上文关于图3描述的。
方法1100接着前进到步骤1106，其中基于状态变量集和一个或多个主要身体元件导出一个或多个路径特性度量，其中状态变量集限定在任何给定时间的身体的状态，例如上文关于图2描述的。
方法1100接着前进到步骤1108，其中基于一个或多个路径特性度量，定义身体活动序列的理想活动路径，例如上文关于图2和图7描述的。
方法1100接着前进到步骤1110，其中使用路径跟踪模型在整个身体活动序列的执行中跟踪受试者的运动，其中路径跟踪模型包括一个或多个路径相似性测量，如上文关于图2描述的。
然后，方法1100前进到步骤1112，其中基于一个或多个路径相似性测量生成一个或多个跟踪得分，如上文关于图2和图9描述的。
在一些实施例中，方法1100还包括基于跟踪得分确定身体活动序列的执行与身体活动序列的理想路径的执行的相似性。
在一些实施例中，方法1100还包括基于跟踪得分向受试者推荐校正动作。
在方法1100的一些实施例中，主要身体元件对应于训练者的肢体。
在方法1100的一些实施例中，识别主要身体元件包括：定量运动捕获数据中由多个身体元件执行的工作；以及选择执行高于工作阈值的工作的多个身体元件的子集作为主要身体元件。
在方法1100的一些实施例中，还基于在运动捕获数据中捕获的多个记录的身体活动序列样本来定义理想活动路径，如上文关于图5-7描述的。
在方法1100的一些实施例中，相对于身体活动序列的路径完成表示，归一化所有记录的身体活动序列样本，如上文关于图5描述的。
在方法1100的一些实施例中，一个或多个路径特性度量包括主要身体元件单位矢量，如上文关于图3和图4描述的。
在方法1100的一些实施例中，一个或多个路径相似性测量中的至少一个包括曲线之间的相似性的测量，其考虑沿着曲线的点的位置和排序，例如，如弗雷歇距离。
值得注意的是，方法1100仅仅是一个实例，并且如本文所述许多其它方法是可行的。
示例处理系统
图12描绘了被配置成生成并使用活动路径跟踪模型的示例处理系统1200。
例如，处理系统1200可以被配置成执行关于图2描述的流程和关于图11描述的方法1100的一个或多个方面。
处理系统1200包括连接到数据总线1250的CPU 1202。CPU 1202被配置成处理例如存储在存储器1210中的计算机可执行指令，并且使处理系统1200执行如本文中所描述的方法。包括CPU 1202以代表单个CPU、多个CPU、具有多个处理核心的单个CPU，以及能够执行计算机可执行指令的其他处理架构形式。
处理系统1200还包括输入/输出装置1204，该输入/输出装置可包括如本文中所描述的运动捕获或跟踪装置，以及输入/输出接口1206，该输入/输出接口允许处理系统1200与输入/输出装置，例如键盘、显示器、鼠标装置、笔输入、运动捕获或跟踪装置、运动跟踪传感器，以及允许与处理系统1200交互的其它装置相接。
处理系统1200还包括网络接口1208，该网络接口为处理系统1200提供对例如网络1214等的外部网络的访问。
处理系统1200还包括存储器1210，该存储器在此实例中包括多个部件。
例如，存储器1210包括运动捕获部件1212、身体元件识别部件1214、路径特性度量部件1216、理想活动路径部件1218、受试者跟踪部件1220、评分部件1222和推荐部件1224，所述部件中的每一个可以被配置成执行本文所述方法的各个方面，包括关于图11描述的方法1100。
存储器1210还包括状态变量1232、状态特性度量1234、活动定义模型1236、活动路径1238、路径特性度量1240、路径相似性测量1242和路径跟踪模型1244，其中的每一个可以被配置成支持本文中所描述的方法的各个方面，包括关于图11描述的方法1100。
注意，图12描绘了存储在存储器1210中的各种示例方面，但其它方面可能与本文描述的系统和方法一致。此外，尽管为简单起见在图12中展示为单个存储器1210，存储于存储器1210中的各种部件可存储在不同存储器中，但所有部件可经由内部数据连接(例如总线1250)和外部数据连接(例如网络接口1208)由CPU 1202访问。
值得注意的是，虽然在图12中描绘的实例中示出为单个处理系统，但其它实施例可包括共同充当处理系统的分布式过程。例如，存储器1210中的各个方面可以跨处理系统的网络实施或存储，或在基于云的处理系统中，或以所述处理系统的组合实施或存储。
例如，患者可以具有客户端处理系统，该客户端处理系统包括捕获实时数据并将其馈送回服务器处理系统的运动跟踪I/O装置。类似地，患者的客户端处理系统可以在本地存储路径跟踪模型1244，该路径跟踪模型是远程生成的，并且通过网络连接，例如因特网下载到本地客户端处理系统。
此外，处理系统1200可以被配置成充当训练系统或跟踪系统。处理系统的其它实施例可仅仅是训练系统，或者仅仅是跟踪系统。例如，患者可以仅接收跟踪系统。
一般来说，处理系统1200仅仅是一个可能的实施例，并且处理系统1200的各个方面可以分布在多个装置上，可以被省略或根据需要添加，以用于本文所述的任何特定功能或方法。
替代实施方式和其他能力
尽管本文描述了几个示例实施方式，但各种方式可实施本文所述的方法。
路径跟踪模型(例如，图2中的218)也可用于检测在身体活动序列期间希望避免的错误运动。为此，可以使用来自所记录的非理想活动运动捕获数据样本的数据来计算表示错误/非理想活动序列的活动路径。然后，可以制定路径跟踪模型，以识别受试者运动与这种非理想活动路径的等同性。所得跟踪得分可用于检测受试者何时以这种非理想方式执行活动。这些错误/非理想动作可包括可能导致损伤或接合不正确的身体区域的动作。
可以在路径跟踪模型的帮助下执行患者筛选。具有有限运动范围或与常见病相关的某些关节的不灵活问题的患者可以可辨别的方式执行活动。用于筛选的特定理想化路径可基于来自共同状况的受试者的运动捕获数据样本来制定，以检测此特定状况。当实时跟踪时，可以计算受试者与这种筛选理想化路径的相似性，以评估受试者具有感兴趣状况的可能性。
还可以使用沿着理想化路径将受试者当前状态与最佳匹配状态匹配的过程来计算活动序列进展。沿着理想化路径的最佳匹配状态的指标可用于估计相关联活动路径的完成百分比。这可以用于向受试者提供其进行规定活动的进度的实时反馈。
本文所述的方法还可以被配置成在执行一组指定活动序列的整个过程中跟踪顺应性和可能的活动形式降级。跟踪得分值可用于确定在集合中每次重复期间患者是否真正展示活动所需的正确运动。可以监测在一组活动序列重复过程中的跟踪得分值变化，并且最终用于对指定活动做出改变。
路径跟踪模型和理想活动路径的制定通常可能需要量化的姿态信息。此数据可来自除如先前所描述的运动捕获源之外的不同源或方法。举例来说，替代运动捕获装置可包括具有图像处理的光学相机系统、具有各种标记(有源、无源、半无源、调制)和检测器(光学、射频)类型的基于标记的跟踪系统、具有对象识别算法的深度相机系统、惯性测量单元、机械外骨骼运动捕获系统或磁通量测量系统。其它潜在来源包括但不限于从惯性测量单元(IMU)提取的数据和比较连续图像以确定差异的图像处理方法。深度相机和/或点云映射也可用于提取关于不同状态的信息。
路径跟踪模型也可以由在各种其它坐标空间而非本文所论述的坐标空间中表示的数据来制定。例如，可以从图像处理技术提取二维(2D)数据，或者3D运动捕获装置可以将跟踪数据投射到2D平面上。
如上所述，路径跟踪模型可以是时不变的，但仍然完全能够跟踪和比较活动序列时序。可以从记录的运动捕获数据中提取理想定时，以确定关键状态之间的期望过渡速率。可使用活动定义模型内的分类器来识别关键状态之间的这些过渡周期。在关键状态和过渡区之间建立离散边界的情况下，时间信息可以被记录并分组到相关联的关键状态/过渡区中。可将关键状态过渡期间的受试者定时与路径跟踪模型制定期间记录的理想化活动运动的定时进行比较。
各种统计和比较方法可应用于路径相似性评估，并且实施为用作路径相似性度量。这些包括但不限于均方根偏差、基于明科夫斯基距离的函数、弗雷歇距离、豪斯道夫距离、信号互相关、互协方差、动态时间错位等。
对于理想化路径制定，可以将活动序列分割成活动(如上所述)中的每个关键状态之间的区段，以为活动序列创建分段式理想化路径。在可针对完整活动序列计算连续理想化路径的情况下，替代实施方式也是可能的。
在本文中已经描述用于身体活动跟踪的路径跟踪模型用于康复应用，并且可以应用于许多其它任务。这包括对体育活动训练和运动科学研究的生物力学分析，例如训练正确的形式或关键运动的检测。此方法还在临床科学中具有潜在应用，例如姿势、平衡、步态和运动控制的分析。相同的方法可用于虚拟现实、游戏应用、机器人、制造应用和人体工程学研究中的手势/姿势识别和检测。路径比较模型也可以应用于心理研究中，用于分析行为和身体反应。
示例条款
条款1：一种用于评估身体活动的执行的方法，包括：当训练受试者展示身体活动序列时记录运动捕获数据；基于所述运动捕获数据识别一个或多个主要身体元件；基于状态变量集和所述一个或多个主要身体元件导出一个或多个路径特性度量，其中所述状态变量集限定在任何给定时间身体的状态；以及基于所述一个或多个路径特性度量定义所述身体活动序列的理想活动路径。
条款2：根据条款1所述的方法，还包括：使用路径跟踪模型在身体活动序列的整个执行中跟踪受试者的运动，其中所述路径跟踪模型包括一个或多个路径相似性测量；以及基于所述一个或多个路径相似性测量生成一个或多个跟踪得分。
条款3：根据条款2所述的方法，还包括：基于所述跟踪得分确定所述身体活动序列的执行与所述身体活动序列的理想活动路径的执行的相似性。
条款4：根据条款3所述的方法，还包括：基于所述跟踪得分向所述受试者推荐校正动作。
条款5：根据条款1-4中任一项所述的方法，其中所述一个或多个主要身体元件对应于所述训练受试者的肢体。
条款6：根据条款1-5中任一项所述的方法，其中识别所述一个或多个主要身体元件包括：量化所述运动捕获数据中由多个身体元件执行的工作；以及选择执行高于工作阈值的工作的所述多个身体元件的子集作为所述一个或多个主要身体元件。
条款7：根据条款1-6中任一项所述的方法，其中还基于在所述运动捕获数据中捕获的多个记录的身体活动序列样本来定义所述理想活动路径。
条款8：根据条款7所述的方法，其中相对于所述身体活动序列的路径完成的表示，归一化所有记录的身体活动序列样本。
条款9：根据条款1-8中任一项所述的方法，其中所述一个或多个路径特性度量包括主要身体元件单位矢量。
条款10：根据条款2所述的方法，其中所述一个或多个路径相似性测量中的至少一个包括曲线之间的相似性的测量，所述测量考虑沿着所述曲线的点的位置和次序。
条款11：一种处理系统，包括：存储器，所述存储器包括计算机可执行指令；以及一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并且使所述处理系统执行根据条款1-10中任一项所述的方法。
条款12：一种包括计算机可执行指令的非暂时性计算机可读介质，所述计算机可执行指令在由处理系统的一个或多个处理器执行时使所述处理系统执行根据条款1-10中任一项所述的方法。
条款13：一种包含在计算机可读存储介质上的计算机程序产品，所述计算机程序产品包括用于执行根据条款1-10中任一项所述方法的代码。
其他考虑因素
提供前述描述以使所属领域的任何技术人员能够实践本文所述的各种实施例。本文讨论的实例并不限制权利要求书中阐述的范围、适用性或实施例。本领域的技术人员将显然明白对这些实施例的各种修改，并且本文中定义的一般原理可以应用于其它实施例。例如，在不脱离本公开的范围的情况下，可以对所讨论的元件的功能和布置进行改变。各种实例可酌情省略、替换或添加各种过程或部件。例如，所描述的方法可以以不同于所描述的顺序执行，并且可以添加、省略或组合各种步骤。另外，关于一些实例描述的特征可在一些其它实例中组合。例如，可以使用本文阐述的任何数目的方面实施设备或实践方法。另外，本公开的范围旨在涵盖除了或不同于本文阐述的本公开的各个方面，使用其它结构、功能或结构和功能实践的此类设备或方法。应理解，本文公开的本公开的任何方面可以由权利要求书的一个或多个元件体现。
如本文中所使用，词语“示例性”表示“用作示例、实例或说明”。本文中描述为“示例性”的任何方面不一定被解释为优先或优于其它方面。
如本文所使用，提及物品清单“中的至少一个”的短语是指这些物品的任何组合，包括单个成员。例如，“a、b或c中的至少一个”旨在涵盖a、b、c、a-b、a-c、b-c和a-b-c，以及与多个相同元件的任何组合(例如，a-a、a-a-a、a-a-b、a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c和c-c-c或者a、b和c的任何其它排序。
如本文所使用，术语“确定”涵盖广泛多种动作。例如，“确定”可以包括计算、运算、处理、推导、调查、查找(例如，在表、数据库或另一数据结构中查找)、确定等。此外，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)等。此外，“确定”可包括解析、选择、选定、建立等。
本文公开的方法包括用于实现所述方法的一个或多个步骤或动作。在不脱离权利要求书的范围的情况下，方法步骤和/或动作可以彼此交换。换句话说，除非指定步骤或动作的具体顺序，否则可在不脱离权利要求书的范围的情况下修改具体步骤和/或动作的顺序和/或使用。此外，上述方法的各种操作可以由能够执行对应功能的任何合适的装置来执行。所述装置可包括各种硬件和/或软件部件和/或模块，包括但不限于电路、专用集成电路(ASIC)或处理器。通常，当存在图中所示的操作时，那些操作可具有带类似编号的相应对应装置加功能部件。
以下权利要求并非旨在限于本文所示的实施方案，而是赋予与权利要求的语言一致的完整范围。在权利要求中，除非特别说明，否则对单数元件的提及并不旨在表示“一个且仅一个”，而是“一个或多个”。除非另有说明，否则术语“一些”是指一个或多个。任何权利要求要素都不应根据35 U.S.C.§112(f)的规定进行解释，除非该要素是使用短语“用于…的装置(means for)”明确叙述的，或者，在方法权利要求的情况下，该要素是使用短语“用于…的步骤(step for)”叙述的。所属领域的普通技术人员已知或稍后已知的贯穿本公开所描述的各个方面的元件的所有结构和功能等同物以引用方式明确并入本文中，且旨在由权利要求书涵盖。此外，本文中公开的任何内容都不旨在专用于公开，而不管此类公开是否在权利要求书中明确陈述。

Claims (20)

1.一种用于评估身体活动的执行的方法，包括：
当训练受试者展示身体活动序列时记录运动捕获数据；
基于所述运动捕获数据识别一个或多个主要身体元件；
基于状态变量集和所述一个或多个主要身体元件导出一个或多个路径特性度量，其中所述状态变量集限定在任何给定时间身体的状态；以及
基于所述一个或多个路径特性度量定义所述身体活动序列的理想活动路径。
2.根据权利要求1所述的方法，还包括：
使用路径跟踪模型在所述身体活动序列的整个执行中跟踪受试者的运动，其中所述路径跟踪模型包括一个或多个路径相似性测量；以及
基于所述一个或多个路径相似性测量生成一个或多个跟踪得分。
3.根据权利要求2所述的方法，还包括：基于所述跟踪得分确定所述身体活动序列的执行与所述身体活动序列的理想活动路径的执行的相似性。
4.根据权利要求3所述的方法，还包括：基于所述跟踪得分向所述受试者推荐校正动作。
5.根据权利要求1所述的方法，其中所述一个或多个主要身体元件对应于所述训练受试者的肢体。
6.根据权利要求1所述的方法，其中识别所述一个或多个主要身体元件包括：
量化所述运动捕获数据中由多个身体元件执行的工作；以及
选择执行高于工作阈值的工作的所述多个身体元件的子集作为所述一个或多个主要身体元件。
7.根据权利要求1所述的方法，其中还基于在所述运动捕获数据中捕获的多个记录的身体活动序列样本来定义所述理想活动路径。
8.根据权利要求7所述的方法，其中相对于所述身体活动序列的路径完成的表示，归一化所有记录的身体活动序列样本。
9.根据权利要求1所述的方法，其中所述一个或多个路径特性度量包括主要身体元件单位矢量。
10.根据权利要求2所述的方法，其中所述一个或多个路径相似性测量中的至少一个包括曲线之间的相似性的测量，所述测量考虑沿着所述曲线的点的位置和次序。
11.一种被配置成评估身体活动的执行的处理系统，包括：
存储器，所述存储器包括计算机可执行指令；
一个或多个处理器，所述一个或多个处理器被配置成执行所述计算机可执行指令并且使所述处理系统：
当训练受试者展示身体活动序列时记录运动捕获数据；
基于所述运动捕获数据识别一个或多个主要身体元件；
基于状态变量集和所述一个或多个主要身体元件导出一个或多个路径特性度量，其中所述状态变量集限定在任何给定时间身体的状态；以及
基于所述一个或多个路径特性度量定义所述身体活动序列的理想活动路径。
12.根据权利要求11所述的处理系统，其中所述一个或多个处理器还被配置成：
使用路径跟踪模型在所述身体活动序列的整个执行中跟踪受试者的运动，其中所述路径跟踪模型包括一个或多个路径相似性测量；以及
基于所述一个或多个路径相似性测量生成一个或多个跟踪得分。
13.根据权利要求12所述的处理系统，其中所述一个或多个处理器还被配置成：基于所述跟踪得分确定所述身体活动序列的执行与所述身体活动序列的理想活动路径的执行的相似性。
14.根据权利要求13所述的处理系统，其中所述一个或多个处理器还被配置成：基于所述跟踪得分向所述受试者推荐校正动作。
15.根据权利要求11所述的处理系统，其中所述一个或多个主要身体元件对应于所述训练受试者的肢体。
16.根据权利要求11所述的处理系统，其中为了识别所述一个或多个主要身体元件，所述一个或多个处理器还被配置成：
量化所述运动捕获数据中由多个身体元件执行的工作；以及
选择执行高于工作阈值的工作的所述多个身体元件的子集作为所述一个或多个主要身体元件。
17.根据权利要求11所述的处理系统，其中还基于所述运动捕获数据中捕获的多个记录的身体活动序列样本来定义所述理想活动路径。
18.根据权利要求17所述的处理系统，其中相对于所述身体活动序列的路径完成的表示，归一化所有记录的身体活动序列样本。
19.根据权利要求11所述的处理系统，其中所述一个或多个路径特性度量包括主要身体元件单位矢量。
20.根据权利要求12所述的处理系统，其中所述一个或多个路径相似性测量中的至少一个包括曲线之间的相似性的测量，所述测量考虑沿着所述曲线的点的位置和次序。
CN202080030021.1A 2019-05-21 2020-05-21 身体活动执行和训练的评分度量 Pending CN113728394A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201962851009P 2019-05-21 2019-05-21
US62/851,009 2019-05-21
PCT/US2020/034096 WO2020237102A1 (en) 2019-05-21 2020-05-21 Scoring metric for physical activity performance and training

Publications (1)

Publication Number Publication Date
CN113728394A true CN113728394A (zh) 2021-11-30

Family

ID=73456794

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080030021.1A Pending CN113728394A (zh) 2019-05-21 2020-05-21 身体活动执行和训练的评分度量

Country Status (5)

Country Link
US (2) US11403882B2 (zh)
EP (1) EP3966834A4 (zh)
CN (1) CN113728394A (zh)
AU (1) AU2020280078A1 (zh)
WO (1) WO2020237102A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080785A (zh) * 2022-07-27 2022-09-20 深圳市西昊智能家具有限公司 坐姿的监测及分析方法、系统及相关设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019177870A1 (en) * 2018-03-15 2019-09-19 Magic Leap, Inc. Animating virtual avatar facial movements
CA3089403A1 (en) * 2019-08-08 2021-02-08 Curv Labs Inc. System and method for performing biomechanical assessments
TWI766259B (zh) * 2020-03-27 2022-06-01 莊龍飛 運動課程評分方法與系統、電腦程式產品
US20210319619A1 (en) * 2020-04-08 2021-10-14 The Boeing Company Method for Ergonomic Scoring From Webcam
US11853034B2 (en) * 2020-05-08 2023-12-26 Skip Innovations, Inc. Exosuit activity transition control
US11794073B2 (en) 2021-02-03 2023-10-24 Altis Movement Technologies, Inc. System and method for generating movement based instruction

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100349338B1 (ko) 1999-03-29 2002-08-21 홍정화 인체의 3차원 운동을 촬영하여 정형외과적 질환을 진단하는 진단시스템
JP2007520282A (ja) 2004-01-26 2007-07-26 モデルゴルフ エルエルシー 身体的なスキルのパフォーマンスおよびこの身体的なスキルを実行するために使用する用具の測定および評価のシステムおよび方法
CN101028415A (zh) 2006-12-28 2007-09-05 龚文君 一种治疗痰热痹阻型风湿性心脏病的内服中药
US10420982B2 (en) * 2010-12-13 2019-09-24 Nike, Inc. Fitness training system with energy expenditure calculation that uses a form factor
US9011293B2 (en) * 2011-01-26 2015-04-21 Flow-Motion Research And Development Ltd. Method and system for monitoring and feed-backing on execution of physical exercise routines
US9154739B1 (en) 2011-11-30 2015-10-06 Google Inc. Physical training assistant system
JP6359343B2 (ja) * 2013-07-01 2018-07-18 キヤノンメディカルシステムズ株式会社 動作情報処理装置及び方法
US10664690B2 (en) * 2013-11-21 2020-05-26 Mo' Motion Ventures Jump shot and athletic activity analysis system
JP6384549B2 (ja) * 2014-10-10 2018-09-05 富士通株式会社 スキル判定プログラム、スキル判定方法およびスキル判定装置
KR20160076488A (ko) 2014-12-22 2016-06-30 디게이트 주식회사 근골격계 질환의 발생가능성의 판단 장치 및 방법
US10186041B2 (en) * 2015-04-09 2019-01-22 Electronics And Telecommunications Research Institute Apparatus and method for analyzing golf motion
US10019806B2 (en) * 2015-04-15 2018-07-10 Sportsmedia Technology Corporation Determining x,y,z,t biomechanics of moving actor with multiple cameras
US20170103672A1 (en) * 2015-10-09 2017-04-13 The Regents Of The University Of California System and method for gesture capture and real-time cloud based avatar training
US20170169297A1 (en) 2015-12-09 2017-06-15 Xerox Corporation Computer-vision-based group identification
US9781494B1 (en) 2015-12-28 2017-10-03 Wells Fargo Bank, N.A. Systems and methods for activity monitoring
EP3435864A4 (en) * 2016-03-31 2019-09-18 Zoll Medical Corporation SYSTEMS AND METHODS FOR MONITORING THE MOVEMENT OF A PATIENT
JP6705972B2 (ja) 2016-05-20 2020-06-03 サイトセンシング株式会社 姿勢推定装置、姿勢推定方法、制御プログラム、および記録媒体
US11318350B2 (en) 2016-12-29 2022-05-03 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback
US10352962B2 (en) 2016-12-29 2019-07-16 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis and feedback
US9773330B1 (en) 2016-12-29 2017-09-26 BioMech Sensor LLC Systems and methods for real-time data quantification, acquisition, analysis, and feedback
KR20200045473A (ko) 2017-08-25 2020-05-04 막스-플랑크-게젤샤프트 츄어 푀르더룽 데어 비쎈샤프텐 에.파우. 신체 운동 동안 음향 피드백을 제어하기 위한 방법 및 장치
WO2019082376A1 (ja) * 2017-10-27 2019-05-02 株式会社アシックス 動作状態評価システム、動作状態評価装置、動作状態評価サーバ、動作状態評価方法、および動作状態評価プログラム
US11281896B2 (en) * 2018-11-15 2022-03-22 Smith & Nephew, Inc. Physical activity quantification and monitoring
AU2020209768A1 (en) * 2019-01-15 2021-09-09 Shane Yang Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning
CN110284150A (zh) 2019-07-26 2019-09-27 华东理工大学 一种促进微生物电化学转化二氧化碳产甲烷的方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115080785A (zh) * 2022-07-27 2022-09-20 深圳市西昊智能家具有限公司 坐姿的监测及分析方法、系统及相关设备

Also Published As

Publication number Publication date
AU2020280078A1 (en) 2021-11-18
US20200372245A1 (en) 2020-11-26
EP3966834A1 (en) 2022-03-16
US20220319236A1 (en) 2022-10-06
US11759126B2 (en) 2023-09-19
WO2020237102A1 (en) 2020-11-26
EP3966834A4 (en) 2023-02-08
US11403882B2 (en) 2022-08-02

Similar Documents

Publication Publication Date Title
US11763603B2 (en) Physical activity quantification and monitoring
US11759126B2 (en) Scoring metric for physical activity performance and tracking
Liao et al. A review of computational approaches for evaluation of rehabilitation exercises
US11986286B2 (en) Gait-based assessment of neurodegeneration
US20210346761A1 (en) Automated gait evaluation for retraining of running form using machine learning and digital video data
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
Chaudhari et al. Yog-guru: Real-time yoga pose correction system using deep learning methods
US20210315486A1 (en) System and Method for Automatic Evaluation of Gait Using Single or Multi-Camera Recordings
US9510789B2 (en) Motion analysis method
US9826923B2 (en) Motion analysis method
US11331006B2 (en) System and method for human motion detection and tracking
Mortazavi et al. Continues online exercise monitoring and assessment system with visual guidance feedback for stroke rehabilitation
Romeo et al. Video based mobility monitoring of elderly people using deep learning models
CN116543455A (zh) 建立帕金森症步态受损评估模型、使用方法、设备及介质
Wang et al. A webcam-based machine learning approach for three-dimensional range of motion evaluation
Cotton et al. Optimizing Trajectories and Inverse Kinematics for Biomechanical Analysis of Markerless Motion Capture Data
Alvarado-Rodríguez et al. Biomark: A Toolbox for Visualization and Kinematic Gait Analysis
Zhao et al. Testing the feasibility of quantizing the progress of stroke patients’ rehabilitation with a computer vision method
Lau et al. Cost-benefit analysis reference framework for human motion capture and analysis systems
Cicirelli et al. Skeleton based human mobility assessment by using deep neural networks
Kao et al. Validation of automated mobility assessment using a single 3d sensor
Klein et al. Assessing the Reliability of AI-based Angle Detection for Shoulder and Elbow Rehabilitation
Yee et al. Vision-based motion capture for the gait analysis of neurodegenerative diseases: A review
Ang et al. Markerless Human Motion Analysis for Telerehabilitation: A Case Study on Squat
Pavlikov et al. On the Application of Human Pose Estimation in a Driver Condition Monitoring Task

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination