CN107851457A - 被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法 - Google Patents

被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法 Download PDF

Info

Publication number
CN107851457A
CN107851457A CN201680040396.XA CN201680040396A CN107851457A CN 107851457 A CN107851457 A CN 107851457A CN 201680040396 A CN201680040396 A CN 201680040396A CN 107851457 A CN107851457 A CN 107851457A
Authority
CN
China
Prior art keywords
performance
data
sample
symptom
technical ability
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201680040396.XA
Other languages
English (en)
Inventor
达伦·弗里格
乔恩·达尔泽尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RLT Intellectual Property Co.,Ltd.
Original Assignee
Gn Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2015901665A external-priority patent/AU2015901665A0/en
Priority claimed from PCT/AU2016/000020 external-priority patent/WO2016123648A1/en
Application filed by Gn Ltd By Share Ltd filed Critical Gn Ltd By Share Ltd
Publication of CN107851457A publication Critical patent/CN107851457A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00Teaching music
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0068Comparison to target or threshold, previous performance or not real time comparison to other individuals
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071Distinction between different activities, movements, or kind of sports performed
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0075Means for generating exercise programs or schemes, e.g. computerized virtual trainer, e.g. using expert databases
    • A63B2024/0081Coaching or training aspects related to a group of users

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Theoretical Computer Science (AREA)
  • Educational Administration (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Multimedia (AREA)
  • Dentistry (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

本文描述了利用计算机实现的技术来实现对身体表演的技能的分析的系统和方法,例如实现对对象(例如一个人、一群人或者一些情况下多群人)的训练。总的来说,本文描述了被实施来实现对身体表演的技能(例如高尔夫挥杆、划船摇浆、体操动作等)的自动传感器驱动的分析并由此确定表演的属性的技术。这些属性包括表演的具体的基于运动的方面,在一些实施例中他们被用于实现错误识别和训练的传递。各方面涉及由人类专家观测和分析身体技能的技术,涉及用于定义传感器数据处理技术(其被配置为使得计算机技术能够对人类专家执行相应的观测)的技术。

Description

被配置为实现包括应用于交互技能训练内容的传送的对身体 表演的技能的分析的框架和方法
技术领域
本发明涉及被配置为实现对身体表演的技能的分析的框架和方法。在一些实施例中,这在传送交互技能培训内容的环境中找到应用。本发明的实施例被具体提出以使得能够使用表演传感器单元(例如通过具有运动传感器功能的服装)以详细的方式分析身体表演的技能。虽然将在本文中具体参考这种应用来描述一些实施例,但应该理解,本发明不限于这样的使用领域并且可以在更广的范围内应用。
背景技术
在整个说明书中对背景技术的任何讨论绝不应被视为承认这样的技术是众所周知的或者形成本领域公知常识的一部分。
因此开发了各种技术以实现监测人类活动的传感器和训练系统之间的集成。例如,这些技术已经应用在基于运动的训练的上下文中,以向用户提供基于监测的属性(例如,心率、跑步速度和行进距离)的报告。可用的更复杂的对传感器的监测允许增加报告的丰富性并且允许专用于具体的活动。
发明内容
本发明的目的是克服或改善现有技术的至少一个缺点、或提供有用的替代方案。
一个实施例提供了一种用于定义可观测数据条件(ODC)的方法,所述ODC被配置为通过从表演传感器单元(PSU)导出的数据来实现自动监测身体技能的身体表演,该方法包括:捕获表示技能的多个样本表演的数据,其中多个样本表演由一个或多个样本表演者表演;分析表示样本表演的数据从而得到针对该技能的一个或多个症状,其中每个症状对应于可识别的表演影响因素;并且针对每个症状,确定相关联的ODC集合,其中相关联的ODC集合当在从PSU导出的关于该技能的表演的数据中被观测到时表示在表演中存在该症状。
一个实施例提供了一种被配置为通过一组运动传感器监测最终用户对技能的身体表演的设备,所述一组运动传感器包括附接到最终用户身体上的多个运动传感器,该设备包括:处理单元,被配置为接收来自一组运动传感器的输入数据;以及存储器模块,被配置为处理输入数据,从而识别一个或多个ODC集合,其中一个或多个ODC集合是通过包括以下步骤的方法定义的:捕获表示样本用户对技能的多个样本表演的数据;分析样本表演从而在视觉上识别至少一个症状;以及针对每个识别的症状集合确定相关联的ODC集合,其中ODC集合当在从监测给定表演的一组运动传感器中导出的数据中被观测到时指示存在相关联的症状;从而该设备被配置为能够监测相关联的症状在最终用户对技能的身体表演中的存在。
一个实施例提供了一种用于通过一组运动传感器来实现监测最终用户对技能的身体表演的方法,所述一组运动传感器包括附接到最终用户身体上的多个运动传感器,该方法包括:捕获表示样本用户对技能的多个样本表演的数据;分析样本表演,从而在视觉上识别至少一个表演影响因素集合;以及针对每个识别的表演影响因素集合,确定相关联的可观测数据条件集合,该可观测数据条件集合当在从监测给定表演的一组运动传感器中导出的数据中被观测到时指示相关联的表演影响因素集合的存在;其中,该可观测数据条件集合或每个可观测数据条件集合被配置为经由处理从最终用户的一组运动传感器中导出的数据的软件应用程序来实现,从而使得能够在最终用户对技能的身体表演中监测相关联的表演影响因素集合的存在。
一个实施例提供了一种被配置为通过一组运动传感器监测最终用户对技能的身体表演的设备,所述一组运动传感器包括附接到最终用户身体上的多个运动传感器,该设备包括:处理单元,被配置为接收来自一组运动传感器的输入数据;以及存储器模块,被配置为处理输入数据,从而识别一个或多个可观测数据条件集合,其中该一个或多个可观测数据条件集合是通过包括以下步骤的方法来定义的:捕获表示样本用户对技能的多个样本表演的数据;分析样本表演,从而在视觉上识别至少一个表演影响因素集合;以及针对每个识别的表演影响因素集合,确定相关联的可观测数据条件集合,该可观测数据条件集合当在从监测给定表演的一组运动传感器中导出的数据中被观测到时指示该相关联的表演影响因素集合的存在;从而该设备被配置为能够在最终用户对技能的身体表演中监测相关联的表演影响因素集合的存在。
一个实施例提供了用于执行如本文所述的方法的计算机程序产品。
一个实施例提供用于携带计算机可执行代码的非暂态载体介质,当计算机可执行代码在处理器上被执行时,使得处理器执行如本文所述的方法。
一个实施例提供了一种被配置用于执行如本文所述的方法的系统。
在整个本说明书中对“一个实施例”、“一些实施例”或“实施例”的引用表示结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此,整个本说明书的各个地方中短语“在一个实施例中”、“在一些实施例中”或“在实施例中”的出现不一定全部指代同一实施例,但是可以指代同一实施例。此外,在一个或多个实施例中,可以以任何合适的方式组合特定的特征、结构或特性,如根据本公开对本领域普通技术人员将显而易见的。
如本文所使用的,除非另有规定,否则使用序数形容词“第一”、“第二”、“第三”等来描述同类对象仅表示被指代的相似对象的不同实例,并且不旨在隐含如此描述的对象必须在时间上、空间上、排名上、或以任何其它方式按照给定的顺序。
在下面的权利要求和本文的描述中,术语包括、包含或其包括中的任何一个是开放式术语,其表示至少包括随后的元素/特征,但不排除其它元素/特征。因此,术语包括当在权利要求中使用时,不应被解释为对其后列出的装置或元素或步骤的限制。例如,包括A和B的设备的表达的范围不应限于仅由元素A和B组成的设备。术语包含或其包含或如本文所使用的包含中的任何一个也是开放式术语,其也表示至少包括该术语之后的元素/特征,但不排除其它元素/特征。因此,包含是包括的同义词,并且包含表示包括。
如本文所使用的,术语“示例性的”用于提供示例的意义,而不是指示质量。也就是说,“示例性实施例”是作为示例提供的实施例,而不一定是示例性质量的实施例。
附图说明
现在将仅通过示例的方式描述本发明的实施例,现在将参考附图仅通过示例的方式描述本发明的实施例,其中:
图1A示意性地示出了根据一个实施例的被配置为实现对内容的生成和传送的框架。
图1B示意性地示出了根据另一实施例的被配置为实现对内容的生成和传送的框架。
图2A示出了根据一个实施例的技能分析方法。
图2B示出了根据一个实施例的技能分析方法。
图2C示出了根据一个实施例的技能分析方法。
图2D示出了根据一个实施例的技能分析方法。
图2E示出了根据一个实施例的技能分析方法。
图3示出了根据一个实施例的用户界面的用户界面显示视图。
图4A示出了示例数据收集表。
图4B示出了示例数据收集表。
图5示出了根据一个实施例的SIM分析方法。
图6示出了根据一个实施例的SIM分析方法。
图7示出了根据一个实施例的ODC验证方法。
图8A示出了根据一个实施例的处理流程。
图8B示出了根据一个实施例的处理流程。
图8C示出了根据一个实施例的处理流程。
图8D示出了根据一个实施例的样本分析阶段。
图8E示出了根据一个实施例的数据分析阶段。
图8F示出了根据一个实施例的实现阶段。
图8G示出了根据一个实施例的标准化方法。
图8H示出了根据一个实施例的分析方法。
图8I示出了根据一个实施例的分析方法。
图9A示出了根据一个实施例的用于操作用户设备的方法。
图9B示出了根据一个实施例的内容生成方法。
具体实施方式
本文描述了利用计算机实现的技术来实现对身体表演的技能的分析的系统和方法,例如实现对对象(例如一个人、一群人或者一些情况下多群人)的训练。总的来说,本文描述了被实施来实现对身体表演的技能(例如高尔夫挥杆、划船摇浆、体操动作等)的自动传感器驱动的分析并由此确定表演的属性的技术。这些属性包括表演的具体的基于运动的方面,在一些实施例中他们被用于实现错误识别和训练的传递。各方面涉及由人类专家观测和分析身体技能的技术,涉及用于定义传感器数据处理技术(其被配置为使得计算机技术能够对人类专家执行相应的观测)的技术。
主要通过参考端到端框架来描述实施例,由此利用技能分析技术来实现传送交互技能训练内容。然而,应该理解的是,这是非限制性的示例,所公开的技能分析技术可以用于替代目的。例如,目的可以包括促进基于人的指导、自动识别技能表演以传送其他形式的基于软件的内容和功能,等等。
在技能训练的上下文中,本文描述的框架使用表演传感器单元(PSU)来收集表示身体表演属性的数据,并向用户提供反馈和/或指令,从而帮助该用户改善他的/她的表演。例如,这可以包括提供辅导建议、指导用户执行特定练习以开发特定的所需的潜在子技能等。通过经由PSU基本实时监测表演,训练程序能够基于对用户的表演属性是否基于所提供的反馈/指令得以改善的观测来进行调整。例如,对表演属性在连续表演尝试迭代之间的变化的观测表示所提供的反馈/指令已经成功还是未成功。这能够生成和传送广泛的自动自适应技能训练程序的。
技能表演的性质在实施例之间是不同的,然而以下两个一般类别用于本文考虑的示例的目的:
·基于人类运动的技能表演。这些是其中人类运动属性表示技能的典型特性的表演。例如,基于运动的表演基本上包括涉及表演者的身体的运动的任何身体技能。一类重要的基于运动的表演是体育活动中使用的技能的表演。
·基于音频的技能表演。这些是其中可听见-可感知的属性表示技能的典型特性的表演。例如,基于音频的技能表演包括音乐和/或语言表演。一类重要的基于音频的表演是与演奏乐器相关联的技能的表演。
虽然以下提供的示例主要集中在基于运动的技能表演的相对在技术上更具挑战性的情况,但是应该理解的是,在基于运动的技能方面所应用的原理很容易应用于其它情况。例如,在从PSU接收的数据中使用可观测数据条件(ODC)的概念在运动、音频和其它形式的表演之间同样适用。
一些示例涉及计算机实现的框架,其实现在表演监测的上下文中对最终用户(enduser)所经历的内容的定义、分发和实现。这包括被配置为向用户提供交互技能训练的内容,由此通过处理从被配置为监测用户的技能表演的一个或多个PSU得到的表演传感器数据(PSD)来分析用户的技能表演。
以下通过参考整体端到端框架来描述各种实施例。整体框架被描述为向其构成部分提供上下文,其构成部分中的一些能够应用在不同的上下文中。尽管在所附权利要求书中仅直接要求保护整体描述的端到端框架的各方面的子集,但是应当理解,发明主题存在于各种构成部分(即使不是如此具体标识)。
术语
为了下述实施例的目的,使用以下术语:
·表演传感器单元(PSU)。表演传感器单元是被配置为响应于对身体表演的监测而生成数据的硬件设备。这里主要考虑被配置用于处理运动数据和音频数据的传感器单元的示例,但应当理解,这些绝不是限制性的示例。
·表演传感器数据(PSD)。由PSU传送的数据被称为表演传感器数据。该数据可以包括来自PSU的完整原始数据或该数据的子集(例如基于压缩、减少的监测、采样速率等)。
·音频传感器单元(ASU)。音频传感器单元是一种PSU,其是被配置为响应于对声音的监测而生成和发送数据的硬件设备。在一些实施例中,ASU被配置为监测声音和/或振动效果,并将它们转换成数字信号(例如MIDI信号)。一个示例是ASU是拾取设备,其包括被配置为捕获弦乐器中的机械振动并将它们融合成电信号的换能器。
·音频传感器数据(ASD)。这是由一个或多个ASU传送的数据。
·运动传感器单元(MSU)。运动传感器单元是一种PSU,其是被配置为响应于运动而生成和发送数据的硬件设备。在大多数情况下,该数据是相对于本地参考系(frame ofreference)定义的。给定的MSU可以包括一个或多个加速度计;从一个或多个磁力计得到的数据;以及从一个或多个陀螺仪得到的数据。优选实施例使用一个或多个3轴加速度计、一个3轴磁力计和一个3轴陀螺仪。运动传感器单元可以是“被穿着的”或“可穿戴的”,这表示其被配置为被安装到人体固定位置(例如经由服装)。
·运动传感器数据(MSD)。由MSU传送的数据被称为运动传感器数据(MSD)。该数据可以包括来自MSU的完整原始数据或该数据的子集(例如基于压缩、减少的监测、采样速率等)。
·具有MSU功能的服装。具有MSU功能的服装是被配置为携带多个MSU的服装(例如衬衫或裤子)。在一些实施例中,MSU可被安装在形成在服装中的限定安装区中(优选地以可移除的方式,使得各个MSU能够被移除和替换)并被耦合到通信线路。
·POD设备。POD设备是接收PSD(例如,来自MSU的MSD)的处理设备。在一些实施例中,它由具有MSU功能的服装携带,并且在其它实施例中,它是单独的设备(例如,在一个实施例中,POD设备是耦合到智能手机的处理设备,并且在一些实施例中POD设备功能由智能手机或移动设备提供)。MSD在某些情况下经由有线连接被接收,并且在某些情况下经由无线连接被接收,并且在某些情况下经由无线和有线连接的组合被接收。如本文所述,POD设备负责处理MSD,从而识别MSD中的数据条件(例如,以使得能够识别一个或多个症状的存在)。在一些实施例中,POD设备的作用全部或部分地由诸如智能手机之类的多用途最终用户硬件设备执行。在一些实施例中,PSD处理的至少一部分由基于云的服务执行。
·运动捕获数据(MCD)。运动捕获数据(MCD)是使用任何可用的运动捕获技术得到的数据。在这方面,“运动捕获”涉及捕获设备用于例如使用被安装到已知位置的对象的视觉标记物来捕获表示运动的数据的技术。一个示例是由Vicon提供的运动捕获技术(但不推测发明人/申请人和Vicon之间的关系)。如下面进一步讨论的,MCD优选地用于提供视觉观测和MSD观测之间的联系。
·技能。在基于运动的活动的上下文中,技能是例如在辅导的上下文中要被观测(视觉上和/或经由MSD)的单个运动(或一组相关联的运动)。技能可以是例如划船运动、特定类别的足球踢出、特定类别的高尔夫挥杆、特定的杂技演习等等。还提及了“子技能”。这主要是为了区分被训练的技能与形成该技能的一部分或者是该技能的构造块的较少的技能。例如,在玩杂耍形式的技能的上下文中,子技能是涉及投掷球并将其捕捉在同一只手中的技能。
·症状。症状是能够被观测(例如,在初始技能分析的上下文中在视觉上被观测,并且在最终用户环境的上下文中经由对MSD进行处理而被观测)的技能的属性。在实践中,症状是技能的可观测的运动属性,其与意义相关联。例如,对症状的识别可以触发关于传送自动辅导处理的动作。症状可以在视觉上(在传统辅导的上下文中相关)或经由PSD(在本文讨论的传送自动自适应技能训练的上下文中相关)被观测。症状还被称为“表演影响因素”。
·原因。至少在某些情况下,症状与一个原因相关联(例如,给定的症状可以与一个或多个原因相关联)。在某些情况下,原因还能够在MSD中被观测到,然而这不一定是必需的。从辅导的角度来,一种方法是首先识别症状,然后确定/预测该症状的原因(例如,可以经由对MSD的分析进行确定,并且可以通过除分析MSD之外的方式进行预测)。然后,可以通过辅导反馈来解决所确定/所预测的原因,随后进行后续的表演评估,从而确定辅导反馈是否成功地解决了症状。
·可观测数据条件(ODC)。术语可观测数据条件用于描述能够在PSD(例如MSD(通常基于对ODC或一组预期ODC的存在的监测))中被观测到从而触发下游功能的条件。例如,可以针对给定的症状(或原因)定义ODC;如果在MSD中针对给定表演识别了该ODC,则确定该表演中存在相关症状(或原因)。这然后触发了训练程序中的事件。
·训练程序。术语“训练程序”用于描述经由执行软件指令被传送的交互过程,其向最终用户提供关于如何执行的指令,以及关于如何修改、改善或以其它方式调整其表演的反馈。在下面描述的至少一些实施例中,训练程序是“自适应训练程序”,其是基于规则/逻辑执行的训练程序,该规则/逻辑使得对处理的排序、对选择的反馈和/或训练的其它属性能够基于对相关最终用户的分析(例如,对其表演的分析和/或对诸如心理和/或身体属性之类的个人属性的分析)进行适应。
如下面更详细地描述的,从最终用户产品的角度来看,一些实施例采用下述技术:通过该技术,POD设备被配置为针对给定的表演分析用户的PSD(例如MSD),从而确定存在一个或多个症状,这些症状是属于基于用户的属性(例如,用户的能力水平、以及用户已知的从对先前迭代的分析显示出的症状)而定义的集合的症状。一旦经由MSD识别出症状,则执行处理从而确定/预测原因。然后,选择反馈从而寻求解决该原因。在一些实施例中,定义了复杂的选择处理,从而例如基于下述各项来为用户选择特定反馈:(i)用户历史,例如将未尝试或先前成功的反馈优先于先前未成功的反馈;(ii)用户学习风格;(iii)用户属性,例如在给定时间点的心理和/或身体状态,和/或(iv)辅导风格,其在某些情况下基于特定现实世界辅导的风格。
示例端到端框架
图1A提供了由本文所述的一系列实施例利用的端到端框架的高级概述。在图1A的上下文中,利用示例技能分析环境101,从而分析一个或多个技能,并且提供能够生成与这些技能相关的最终用户内容的数据。例如,这在一些实施例中包括分析技能,从而确定能够由PSU识别的ODC(优选与特定症状、原因等相关联的ODC)。这些ODC能够在由示例内容生成平台102(例如训练程序)实现的内容生成逻辑内使用。在这方面,生成内容优选地包括定义协议,由此响应于对特定ODC的识别而采取规定的动作。
优选地利用多个技能分析环境和内容生成平台,从而向示例内容管理和传送平台103提供内容。在一些实施例中,该平台由多个联网的服务器设备定义。实质上,平台103的目的是将由内容生成平台生成的可用内容提供给最终用户。在图1A的上下文中,其包括实现内容到示例最终用户设备104的下载。一些实施例中,下载包括内容的初始下载,以及随后对额外所需内容的进一步下载。进一步下载的性质在某些情况下受到用户交互的影响(例如,基于技能训练程序的组件和/或用户选择之间的自适应进展)。
示例设备104以具有MSU功能的服装结合用户界面设备(例如,智能手机、耳机、HUD眼镜、视网膜投影设备等)的形式示出,具有MSU功能的服装携带多个MSU和POD设备。
在图1A的示例中,用户从平台103下载内容,并且使得该内容经由设备104被执行。例如,这可以包括为特定身体活动(例如,高尔夫球或网球)提供自适应技能训练程序的内容。在该示例中,设备104被配置为与作为外部(例如,基于web的)平台的示例内容交互平台105进行交互,该平台提供与传送下载的内容相关的附加功能。例如,可以通过服务器端处理来控制自适应训练程序和/或其用户界面的各个方面。在一些情况下,省略了平台105,使得设备104能够以离线模式传送先前下载的内容。
作为一般说明,提供以下具体的内容示例:
·吉他训练程序。用户下载吉他训练程序,吉他训练程序被配置为提供关于给定音乐片段的训练。使用拾音器形式的PSU,从而实现对表示用户演奏吉他的PSD的分析。训练程序是基于对该PSD的分析而驱动的,从而为用户提供辅导。例如,辅导可以包括针对手指定位的提示、用于练习某些手指位置之间的行进的补救练习、和/或用户可能感兴趣和/或对用户有帮助的其它内容(例如,替代音乐片段)的建议。图14中示出了示例(示出了代替拾音器的声音插孔、以及处理音频数据的POD设备和传送用户界面数据的平板设备)。
·高尔夫训练程序。用户下载高尔夫训练程序,高尔夫训练程序被配置为利用具有MSU功能的服装进行操作。这包括将传感器配置数据和状态引擎数据下载到由具有MSU功能的服装所提供的POD设备。用户被指示执行定义了某种形式的摆动(例如,具有一定的强度、击球等)的表演,并且由具有MSU功能的服装携带的多个MSU提供表示表演的MSD。MSD被处理从而识别症状和/或原因,并且训练反馈被提供。这基于被设计为帮助用户改善他的/她的形式的训练程序逻辑,针对一个或多个进一步的表演迭代被重复。指令和/或反馈通过视网膜显示投影仪提供,视网膜显示投影仪将用户界面数据直接传送到用户的视野中。
应当理解,这些仅是示例。
图1B提供了在一些实施例的上下文中存在的另外的示例端到端技术框架的更详细的概述。该示例与基于运动的技能训练特别相关,并且通过参考技能分析阶段100、课程构建阶段110和最终用户传送阶段120来说明。应当理解,这并不旨在是限制性示例,而是被提供来说明用于定义和传送内容的特定端到端方法。
在技能分析阶段100的上下文中,图1B示出了在一些实施例中对在该阶段使用的硬件的选择,这些实施例是其中MCD用于协助分析技能并且随后协助和/或验证对针对MSD的ODC进行确定的实施例。所示出的硬件是可穿戴传感器服装106,其携带多个运动传感器单元和多个运动捕获(motion capture,mocap)标记(这些标记物可选地位于衣服上的相似位置)以及一组捕获设备106a-106c。可以具有更少或更多数目的捕获设备,包括被配置用于运动捕获应用的捕获设备和/或被配置用于视频捕获应用的摄像设备。在一些实施例中,给定捕获设备被配置同时用于这两个应用。还示出了一组示例处理。框107表示包括捕获多个样本表演的视频数据、运动捕获数据(MCD)和运动传感器数据(MSD)的处理。该数据由框108表示的处理使用,框108包括基于专家分析(例如包括:对给定技能的分析,从而确定构成该技能并影响表演的运动的各方面,优选地在多个能力水平方面;以及对针对给定技能的症状和原因的确定,包括对针对给定技能的症状和原因的特定于能力水平的确定)将技能分解为症状和原因。框109表示包括定义ODC以实现对来自运动传感器数据的症状/原因的检测的过程。然后,这些ODC可用于后续阶段(例如,它们在给定的课程中使用、被应用于状态引擎数据等)。
尽管在此通过参考利用了MCD的方法描述了阶段100,但这不旨在是限制性示例。在另外的实施例中实现各种其它方法,例如:从一开始就利用MSD的方法(例如,不需要使用MCD来协助和/或验证对针对MSD的ODC的确定)、利用对技能的机器学习的方法等等。
参考专家知识数据的存储库111来说明阶段110。例如,维护一个或多个数据库,这些数据库包含根据阶段101和/或其它研究和分析技术的各方面所定义的信息。信息的示例包括:(i)表示症状/原因的共识数据;(ii)表示症状/原因的特定于专家的数据;(iii)表示与症状/原因有关的反馈的共识数据;(iv)表示与症状/原因有关的反馈的特定于专家的数据;以及(v)辅导风格数据(其可以包括客观辅导风格数据和个性化辅导风格数据)。这只是一种选择。
在图1B的示例中,专家知识数据被用于传送涉及在阶段100处分析的技能方面的训练程序。框112表示包括配置自适应训练框架的处理。在这方面,在图1B的示例中,经由共同的自适应训练框架来传送与相应技能和其各方面有关的多个技能训练程序。这优选地是技术框架,其被配置为使能生成利用潜在非特定于技能的逻辑的特定于技能的自适应训练内容。例如,这类逻辑涉及以下方法:预测学习风格;基于可用时间量身定制内容传送;基于先前的交互(包括先前学习的技能的更新教学)自动生成课程计划;在功能上推荐要下载的额外内容;以及其它功能。框113表示包括定义针对技能的课程的处理。这可以包括定义针对响应于对特定症状/原因的识别而传送反馈的规则的框架。该框架优选地是自适应框架,其基于针对单独用户所获取的知识(例如,关于用户的学习风格的知识、关于过去已经成功/未成功的反馈的知识等)来提供智能反馈。框114表示包括使得课程可供最终用户下载(例如,使其经由在线商店可获得)的处理。如下面进一步详述的,给定的技能可以具有基本的课程产品、和/或一个或多个优质课程产品(优选地具有不同的价格)。作为示例,在一些实施例中,基本产品是基于共识专家知识的,并且优质产品是基于特定于专家的专家知识的。
在阶段130的情况下,示出了示例最终用户设备。这包括具有MSU功能的服装布置121,其包括携带多个MSU的衬衫和裤子、以及被提供在衬衫上的POD设备。MSU和POD设备被配置为可从服装中移除,例如以实现清洁等。耳机122通过蓝牙(或其它方式)连接到POD设备,并被配置为向用户可听地传递反馈和指令。手持设备123(例如iOS或安卓智能手机)被配置为提供其他用户界面内容,例如教学视频/动画等。可以使用其它用户界面设备,例如被配置为提供增强现实信息的设备(例如,可经由可穿戴眼镜观看的显示器等)。
所示的最终用户设备的用户下载用于执行的内容(例如,来自平台103),从而参与训练程序和/或体验利用对MSD的处理的其它形式的内容。例如,这可以包括浏览在线商店或与软件应用交互,从而识别所需的内容,并随后下载该内容。在所示的实施例中,内容被下载到POD设备,该内容包括状态引擎数据和课程数据。前者包括使得POD设备能够处理MSD从而识别症状(和/或执行其它形式的运动分析)的数据。后者包括实现对训练程序的配设所需的数据,包括由用户界面传送的内容(例如,指令、反馈等)以及用于传送该内容的指令(例如,针对自适应学习过程的传送的规则)。在一些实施例中,始终从远程服务器获得引擎数据和/或课程数据。
功能框125表示POD设备借以执行监测功能的处理,由此针对如状态引擎数据中定义的ODC来监测用户表演。例如,经由设备123和/或耳机122指示用户“执行活动X”,并且POD设备然后处理来自用户的MSU的MSD,从而识别与活动X相关联的ODC(例如,以实现对症状和/或原因的识别)。基于对ODC和课程数据的识别(并且在某些情况下,基于额外输入),反馈经由设备123和/或耳机122被提供给用户(框126)。例如,在反复执行“活动X”的同时,向用户提供具有关于如何修改其技术的指导的可听见的反馈。这导致循环处理(例如,在本文被称为“尝试循环”的循环处理),由此提供反馈并且监测效果(例如,通过观测在随后的表演迭代上从MSD得到的ODC方面的变化)。课程数据在一些实施例中被配置为基于以下各项的组合来适应训练程序的阶段和/或反馈:(i)在活动改善方面用于实现期望的结果的反馈的成功/失败;以及(ii)用户的属性,例如心理和/或身体表演属性。
技能分析-总体概述
如本文所考虑的技能分析涉及对所表演的技能的属性的识别。如上所述,这些属性是使用术语“症状”来提及的。存在两种识别症状的主要技术:
·通过识别直接表示症状的存在的ODC来直接确定症状的存在的数据处理技术。
·通过将测量数据与基线数据进行比较并识别变化来间接识别症状的存在的数据处理技术。这种变化的存在间接表示症状的存在。
下面的示例主要集中于前一种技术。这具有多种优点,特别是从自动分析是基于识别特定的基于数据的人工产物而不是执行数据比较技术的意义上说。数据比较技术仍然可以用在支持的上下文中(例如量化与识别的症状有关的属性)。此外,应该理解,可以修改下面进一步公开的各种技术,从而利用比较技术而不是直接技术。
技能分析阶段-概述
如上所述,实施技能分析阶段从而分析将在最终用户传送阶段中观测到的技能(或者在其他下游应用的上下文中)。如本文所描述的,技能分析阶段包括以下分析:(i)确定技能的属性,例如表示正在被表演的技能的属性(其在最终用户功能包括技能识别的情况下特别相关)以及表示执行技能的方式的属性,例如症状和原因(其在最终用户功能包括技能表演分析的情况下(例如在技能训练的传送的上下文中)特别相关);以及(ii)定义实现对技能属性(例如,正在被表演的技能、以及该技能的表演的属性,例如症状和/或原因)的自动识别的ODC,使得最终用户硬件(PSU,例如MSU)能够被配置用于自动技能表演分析。
技能分析阶段的性质根据给定技能的性质(例如,在基于运动的技能和基于音频的技能的类别之间)而显著变化。为了示例的目的,现在在基于运动的技能的上下文中关于技能分析阶段来描述示例性实施例。也就是说,通过参考分析身体活动,从而确定用于配置POD设备的ODC来描述实施例,其中,所述POD设备监测来自安装于身体的MSU的数据。该示例被选择为表示相对具有挑战性和复杂性的上下文中的技能分析阶段,其中已经开发了各种新颖和创造性的技术方法来辅助针对基于运动的技能生成有效的ODC的任务。应当理解,并不是本文所描述的方法的所有方面都存在于所有实施例中、或者用于所有活动的上下文中。该技术适用于广泛的身体活动,具有不同程度的复杂性(例如,在表演、辅导和监测方面)。然而,本文描述的方法适用于广泛的活动,例如在个人和团队运动的上下文中表演的技能。
以下详细描述的方法和技术通过参考涉及下述特定身体活动(即特定技能)的具体示例进行描述:划船。已经选择划船作为示例,主要是为了方便的文本解释的目的,并且将很容易理解,参考该特定活动描述的技术如何容易地应用于其它活动(例如,表演英式足球的特定形式的踢球、摇摆高尔夫球杆、在滑雪板上进行杂技演习等)。
一般而言,有很多方法来确定给定身体活动的ODC。这些方法包括但不限于以下内容:
·利用二级技术,从而简化对MSD的理解。例如,下面提供的示例讨论了利用MCD和MSD的组合的方法。MCD主要由于运动捕获技术的已建立的性质(例如使用强大的高速摄像机)而被使用;另一方面,运动传感器技术目前在不断提高效能。使用成熟的MCD分析技术有助于理解和/或验证MSD和关于MSD进行的观测。
·直接利用MSD,无需MCD协助。例如,MSD在捕获数据方面以与MCD相似的方式被利用,从而生成与从MCD(例如,基于具有骨骼关节的身体化身(avatar))常规生成的三维身体模型类似的三维身体模型。将理解的是,这假设关于MCD的阈值准确度和可靠度。然而,在一些实施例中,能够实现这一点,因此致使不需要MCD协助。
·机器学习方法,例如其中MSD和/或MCD被收集用于多个样本表演、以及客观定义的表演结果数据(例如,在划船的情况下:功率输出;以及在高尔夫球的情况下:球方向和轨迹)。机器学习方法被实现,从而使能自动定义ODC和对技能表演的影响之间的关系。这种方法在以足够的样本规模被实现时,实现对ODC的计算机识别以驱动对技能表演结果的预测。例如,基于使用MSD(或在一些实施例中,MCD)的样本表演集合的高尔夫挥杆运动的机器学习,使用对客观定义的结果的分析来自动识别影响挥杆表演的ODC,从而实现对关于使用最终用户硬件(例如具有MSU功能的服装)的最终用户挥杆的结果的可靠的自动预测。
·远程收集来自最终用户的分析数据。例如,最终用户设备被配备有“记录”功能,其实现对表示由最终用户分别执行的特定技能的MSD(可选地连同关于由用户本身识别的症状等的信息)的记录。所记录的数据被发送到中央处理位置,以针对多个用户对于给定技能(或具有特定症状的特定技能)的MSD进行比较,从而识别技能(和/或症状)的ODC。例如,这通过识别数据中的共同点来实现。
还可以使用其它方法,包括利用非MSD数据验证和/或以其它方式辅助MSD数据的其它方法,并且还包括实现用于定义和分析样本用户组的不同技术的其它方法。
以下通过参考具体的示例实施例更详细地考虑上述第一示例,这些具体的示例实施例涉及使得主观专家辅导知识能够有助于开发能够在技能训练程序的上下文中使用的症状和/或原因的ODC。
技能分析阶段-样本分析示例
在一些示例实施例中,针对要训练的每个技能,需要使用一个或多个样本技能表演者来执行对该技能中涉及的运动的初始分析,从而实现对最优表演与次优表演之间的差异的确定(从而使得能够朝向最优表演方向进行辅导)。一般来说,这从视觉分析开始,随后将其(经由一个或多个中间处理)转换为对运动传感器数据的分析(称为针对可观测数据条件或ODC的监测)。
本文描述的示例技术包括通过多个样本对象获得表示身体技能表演(针对给定技能)的数据。针对每个身体技能表演,数据优选地包括:
(i)由一个或多个捕获设备从一个或多个捕获角度捕获的视频数据。例如,在划船的上下文中,这可以包括侧捕获角度和后捕获角度。
(ii)使用任何可用的运动捕获技术的运动捕获数据(MCD)。在这方面,“运动捕获”涉及捕获设备用于例如使用在已知位置被安装到对象的视觉标记物来捕获表示运动的数据的技术。一个示例是由Vicon提供的运动捕获技术(但不推测发明人/申请人和Vicon之间的关系)。
(iii)使用一个或多个安装于身体的运动传感器的运动传感器数据(MSD)。
在每种情况下,优选的方法是存储下述两者:(i)原始数据;以及(ii)已经经过一定程度的处理的数据。针对运动传感器数据尤其如此;随着更新/更好的处理算法变得可用,原始数据可以随时间被重新处理,从而增强最终用户功能。
总的来说,一般的概念是使用MCD作为视频数据(这对现实世界辅导是最有用的)和MSD(这是最终的最终用户功能所需要的,最终的最终用户功能涉及经由对从具有MSU功能的服装得到的数据的分析进行辅导)之间的垫脚石。在这方面,MCD呈现有用的垫脚石,因为(i)它是发达且可靠的技术;以及(ii)它非常适合监测身体部位的精确相对运动。
整体技术包括以下阶段:(i)收集表示所选对象的样本表演的数据;(ii)一个或多个教练使用视频数据来视觉分析样本表演;(iii)将一个或多个教练进行的视觉观测转换到MCD空间中;以及(iv)基于MCD观测分析MSD,从而识别MSD空间中的ODC,其在实际意义上表示一个或多个教练的观测。以下将更详细地讨论这些阶段中的每一个。这在图2A中经由框201至204示出。
替代方法在图2B(其省略了对视频数据的收集,并且替代地经由使用MCD生成的数字模型来执行视觉分析)、图2C(其中仅使用MSD,并且使用基于MSD的计算机生成的模型来实现视觉分析)、图2D(其中没有视觉分析,只有对MCD进行数据分析以识别样本之间的相似性和差异)、图2E(其经由MSD(MSD被收集用于样本表演,基于结果数据执行数据分析,如此客观地测量样本表演的一个或多个结果参数,并且基于机器学习来定义ODC,从而基于ODC实现对结果的预测)利用机器学习)中示出。
在使用“一个或多个”教练方面,在某些情况下,多个教练被使用,从而定义关于给定技能的分析和辅导的共识位置,并且在某些情况下,多个教练替代地/另外地用于定义特定于教练的内容。后者允许最终用户基于更广泛的辅导共识在辅导之间进行选择,或者基于特定教练的特定观点进行辅导。在实际层面上,在商业实现的上下文中,后者可以被提供作为优质内容产品(可选地具有更高的价格)的基础。术语“教练”可用于描述被认定为教练的人员、或针对目前的目的以辅导能力操作的人员(如运动员或其它专家)。
技能分析阶段-对象选择示例
对象选择包括选择代表给定技能的一组对象。在一些示例实施例中,执行样本选择以实现以下参数中的一个或多个之间的标准化:
(i)能力水平。优选地选择多个对象,使得在一定范围的能力水平上具有足够的表示。这可以包括:最初确定一组已知的能力水平,并针对每个水平确保足够的对象数目;分析第一样本组,基于分析识别该组内的能力水平表示,以及可选地扩展用于表示不足的能力水平的样本组或其它方法。在本文描述的实施例中,用户能力水平在多层次上是自动辅导处理的核心。例如,如下面进一步讨论的,使用对用户能力水平的初始评估来确定如何配置POD设备,例如,根据其监测的ODC来配置POD设备。作为上下文,新手所犯的错误将不同于专家所犯的错误。此外,有利的是提供针对用户的实际能力水平的辅导,例如通过首先提供训练,从而实现新手水平的最佳(或接近最佳)的表演,并且随后提供训练,从而实现更高级水平的最佳(或接近最佳)的表演。
(ii)身体尺寸和/或身形。在一些实施例中,或针对一些技能,身体尺寸和/或身形可能对技能的运动属性(例如通过参考症状的可观测特性)具有直接影响。可选的方法是扩展样本,使得其代表多个身体尺寸/身形中的每一个(理想地在每个能力水平处)。如下面进一步讨论的,在一些实施例中,经由数据驱动的样本扩展方法替代地实现身体尺寸/身形标准化,如下面进一步讨论的。简而言之,这允许通过对收集的数据应用一组预定义的转换从而在各种不同的身体尺寸和/或身形间转换该数据,来为每个样本用户表演定义多个MCD/MSD数据集。
(iii)风格。用户可以具有独特的风格,这不会对表演造成重大影响。样本优选地包括足够的表示以实现风格间的标准化,使得症状的可观测特性是独立于风格的。这实现以基于表演的方式进行辅导,而不依赖于个人风格的各方面。然而,在一些实施例中,以特定于风格的方式定义症状的至少一个选择。例如,这使得辅导能够采用特定的风格(例如,以实现针对特定运动员的风格的辅导)。
为了简单起见,以下描述集中于针对多个能力水平的标准化。在一个示例实施例中,存在“m”个能力水平(AL1到ALm)和每个能力水平的“n”个对象(SUB1到SUBn)。也就是说,总体上有m*n个对象。应当理解,每个单独的能力水平的对象的数目不必相等(例如,在一些实施例中,在给定能力水平处观测到额外的对象,从而获得更可靠的数据)。
如上所述,在一些实施例中,样本例如基于下述识别而随时间扩展:附加数据点是优选的。
技能分析阶段-表演制度定义示例
在一些示例实施例中,每个测试对象(AL1到ALm中的每一个处的SUB1到SUBn)执行定义的表演制度。在一些实施例中,表演制度在多个能力水平间是恒定的;在其它实施例中,针对每个能力水平定义特定的表演制度。作为上下文,在某些情况下,表演制度包括在不同强度水平下的表演,并且某些强度水平可能不适当地低于阈值能力水平。
一些实施例提供了一种处理,其包括针对给定技能定义分析表演制度。该制度定义了为了样本数据收集的目的而要由每个对象表演的多个身体技能表演。优选地,分析表演制度由用于执行定义数目的组的指令定义,每组具有所定义的组参数。组参数优选地包括:
(i)针对每组的重复的数目。例如,一组可以包括n次重复(其中n≥1),其中对象重复地尝试具有定义的参数的技能。
(ii)重复指令。例如,重复之间有多少休息时间。
(iii)强度参数。例如,可以以恒定强度(每个重复REP1到REPn以相同的强度Ic)、递增强度(以强度I1执行重复REP1,然后以强度I2执行重复REP2,其中I1>I2,依此类推)、或递减强度(以强度I1执行重复REP1,然后以强度I2执行重复REP2,其中I1<I2,依此类推)或更复杂的强度分布来执行组。定义强度的方式取决于活动。例如,可以使用诸如速度、功率、频率之类的强度参数。在某些情况下,这类度量实现客观测量和反馈。替代地,可以使用最大强度的百分比(例如“最大值的50%”),这是主观的但通常是有效的。
作为示例,用于分析在尔格(erg)机器上的划船运动形式(室内划船设备的形式)的技能的给定分析表演制度可以按如下所示来定义:
·执行6组(SET1至SET6),每组之间休息5分钟。
·针对每组,执行8次连续重复(REP1到REP8)。
·强度参数为:SET1处于强度=100W;SET2处于强度=250W;SET3处于强度=400W;SET4处于强度=550W;SET5处于强度=700W;SET6处于强度=850W。
下面还继续参考划船的示例。然而,应当理解,这仅仅是为了说明的目的而提供的代表性技能,并且基本原理适用于广泛的技能。
技能分析阶段-示例数据收集协议
收集和存储关于每个用户对表演制度的完成的数据。如前所述,针对本示例。在本文考虑的主要示例中,数据包括:
(i)由一个或多个捕获设备从一个或多个捕获角度捕获的视频数据。例如,可以使用前面、后面、侧面、相对侧、顶部和其它摄像头角度中的一个或多个。
(ii)使用任何可用的运动捕获技术的运动捕获数据(MCD)。
(iii)使用一个或多个安装于身体的运动传感器的运动传感器数据(MSD)。
优选地控制执行数据收集的条件,从而实现样本之间的高度一致性和可比性。例如,这可以包括诸如确保一致的摄像头放置、使用标记物等以辅助对象定位、对对象上的MSU的精确定位之类的技术。
收集的数据被组织并存储在一个或多个数据库中。还优选地收集和存储元数据,从而提供附加的上下文。此外,在某些情况下处理数据以识别关键事件。特别地,事件可以被自动地和/或手动地标记在针对基于运动的事件的数据中。例如,给定技能的重复可以包括多个运动事件,例如开始、完成和一个或多个中间事件。事件可以包括类似步骤、接触球的时刻、划船运动中的关键点等等。这些事件可以在每个数据集中或在能够跨视频数据、MCD和MSD同步的时间线上被定义。
技能分析阶段-示例数据同步
每种形式的数据优选地被配置为被同步。例如:
·视频数据和MCD优选地被配置为被同步,从而实现比较审查。这可以包括并行视频审查(这针对从不同的观看角度捕获的视频/MCD的比较分析尤其有用)以及重叠审查,例如使用部分透明(这对于针对共同角度捕获的视频/MCD尤其有用)。
·MSD优选地被配置为被同步,使得来自多个MSU的数据相对于公共时间参考被转换/被存储。这在一些实施例中是通过每个MSU向POD设备提供表示相对于其本地时钟的时间参考和/或相对于可观测的全局时钟的时间参考的数据来实现的。针对由分布式节点提供的数据的时间同步的各种有用的同步技术从其它信息技术环境(包括例如媒体数据同步)中是已知的。
同步优选地包括基于时间的同步(借此数据被配置为被标准化为公共时间参考),但不限于基于时间的同步。在一些实施例中,除基于时间的同步之外或作为基于时间的同步的替代还使用基于事件的同步(或作为辅助基于时间的同步的方法)。
基于事件的同步涉及数据(例如MCD或MSD)借以包括表示事件的数据的处理。事件通常相对于数据的本地时间轴被定义。例如,MCD可以包括起始点在0:00:00处的视频文件,并且在相对于该起始点的时间定义事件。事件可以被自动定义(例如通过参考能够由软件处理识别的事件,例如预定义的可观测信号)和/或被手动定义(例如,在对该数据的手动视觉审查期间标记视频数据以识别发生特定事件的时间)。
在MCD的上下文中,优选地标记数据以基于一个或多个表演事件实现同步。例如,在划船的上下文中,标记划船运动中的各种可识别的运动点,从而基于运动点的共同性来实现对视频数据的同步。这在比较来自不同样本用户的视频数据时是特别有用的:其有助于识别这些用户之间的不同移动速率。在某些情况下,基于运动点的同步是基于多个点的,其中视频速率被调整(例如,速度增加或速度降低),使得针对两个不同的样本(例如,不同的用户、不同的重复、不同的组等)的视频数据中的两个公共运动点能够被并排(或重叠)观看,以显示这些运动点之间的相同前进速率。例如,如果一个桨手具有1秒的划桨时间,并且另一桨手具有1.2秒的划桨时间,则应用基于运动点的同步,使得后者被缩小到一秒,从而实现两个桨手的运动之间的更直接的比较。
技能分析阶段-示例数据扩展方法
在一些实施例中,针对每个对象经由数据扩展处理来转换MSD和/或MCD,从而定义具有不同身体属性的多个另外的“虚拟对象”。例如,定义转换,从而使得每个MCD和/或MSD数据点能够基于多个不同的身体尺寸被转换。这使得能够从具有特定身体尺寸的对象捕获表演,以被扩展到反映不同身体尺寸的多个样本表演。术语“身体尺寸”涉及诸如高度、躯干长度、大腿长度、小腿长度、臀部宽度、肩宽之类的属性。应当理解,这些属性实际上将分别改变用于MCD和MSD数据收集的标记物和MSU的移动路径和相对位置。
数据扩展在身体尺寸标准化的上下文中也是有用的,这在于从所有样本表演者收集的数据能够被扩展到包括具有“标准”身体尺寸的虚拟表演者进行的一个或多个虚拟表演的一组虚拟表演。在一些实施例中,定义了单个“标准”身体尺寸。使用标准身体尺寸、并将来自样本表演的MSD和MCD转换到该标准身体尺寸,这允许对MCD和MSD的直接比较,而不管多个样本表演者的身体尺寸差异如何。
技能分析阶段-示例视觉分析方法
如上所述以及在图2A的框202中示出的,示例技能分析方法的一个方面包括经由视频数据对样本表演进行视觉分析。在其它实施例中,作为视频数据的替代或除视频数据之外,使用从MCD和/或MSD得到的计算机生成的模型来执行视频分析。因此,尽管下面的示例集中于基于视频数据的审查,但是应当理解,这样的示例是非限制性的,并且视频数据在其它示例中由基于MCD和/或MSD生成的模型代替。
视觉分析被执行用于各种目的,包括:对技能和该技能的组成部分的初步了解;对症状的初始识别;以及基于定义的分析模式对各个样本表演的分析。
图3示出了根据一个实施例的示例用户界面301。应当理解,特别适配的软件并未用于所有实施例中;图3的示例主要被提供来说明在视觉分析处理中特别有用的关键功能。
用户界面301包括多个视频显示对象302a-302d,每个视频显示对象被配置为播放所存储的视频数据。在一些实施例中,视频显示对象的数目例如基于下述项是可变的:(i)针对给定样本表演的视频捕获摄像头角度的数目,其中针对每个角度提供视频显示对象;以及(ii)用户控制。在用户控制方面,用户能够按表演水平(在这种情况下,多个视频显示对象被共同配置用于与该表演相关联的多个视频角度)或以单个视频为基础(例如从一个或多个样本表演中选择特定的角度)来选择要显示的视频数据。每个视频显示对象被配置为显示单个视频、或同时显示多个视频(例如,两个视频彼此重叠,并且具有透明度,从而实现对重叠和差异的观测)。播放上下文显示304提供在视频显示对象中正在显示的内容的细节。
对象302a至302d中显示的视频数据被同步,例如时间同步。公共滚动条303被提供用于实现多个同步视频(如所指出的,其可以包括每个视频显示对象中的多个重叠的视频对象)的同步导航。在一些实施例中,提供切换以在时间同步和基于运动事件的同步之间移动。
导航界面305使得用户能够导航可用的视频数据。该数据优选地被配置为通过参考多个属性来排序,从而实现对期望的表演和/或视频的识别。例如,一种方法是首先按技能排序,然后按能力水平排序,然后按用户排序。在优选实施例中,用户能够将表演视频数据集和/或单个视频拖放到视频显示对象中。
图3另外示出了观测记录界面306。这用于使得用户能够记录能够与被观看的表演数据集相关联的观测信息(例如,完成检查表、制作笔记等)。在观看多个表演数据集的情况下,优选地具有主集合和一个或多个重叠的比较集合,并且观测与主集合相关联。
技能分析阶段-经由视觉分析的示例症状识别
在示例实施例中,多个专家(例如教练)参与审查样本表演,从而识别症状。在一些情况下,这通过诸如用户界面301之类的界面来辅助,该界面提供观测记录界面306。
总而言之,每个专家基于预定义的审查处理来审查每个样本表演(经由对视频数据的审查、或经由对从MCD和/或MSD构建的模型的审查)。例如,可以将审查处理预定义为在某些条件下(例如,常规速度、慢动作和/或以重叠的“正确形式”示例)需要一定数量的观看。专家针对所识别的症状进行观测。
图4A示出了在一个实施例中使用的示例检查表。这样的检查表可以以硬拷贝形式或经由计算机界面(例如,图3的界面306)来完成。检查表识别数据属性,包括:正在被分析的技能(在该示例中为“标准划船动作”)、审查者(即,执行审查的专家/教练)、对象(为样本表演中示出的人员,其由名称或ID来标识)、对象的能力水平、以及正在被审查的组。还可以显示任何这些数据属性的附加细节以及数据的其它方面。
然后,检查表包括标识专家被指示观测的症状的标题列。在图4A中,这些被示出为S1至S6,然而实际上,优选地通过参考描述性名称/术语(例如,在本划船示例的上下文中,“抢臂(snatched arms)”或“急速滑动(rushing slide)”)来记录症状。标题行表示各个重复REP1到REP8。审查者针对每个重复记录每个症状的存在。一组症状可能因能力水平而不同。
从诸如图4A所示的检查表(和其它收集装置)得到的数据被收集,并被处理从而确定样本表演的每组的每个重复中症状的存在。这可以包括确定针对每个重复的共识观点,例如要求达阈值数目的专家识别给定重复中的症状。在某些情况下,共识观点数据结合个别专家观测数据被存储。
视频数据、MSD和MCD然后与表示症状存在的数据相关联。例如,针对给定样本表演的给定组的给定重复定义MSD的单个数据集与一个或多个所标识的症状相关联。
在一些实施例中,诸如图4A的检查表之类的检查表基于一组预定义的ODC被预先填充基于对MSD的分析的所预测的症状。然后,审查者能够通过基于视觉分析而确认/拒绝基于MSD的自动预测,来验证那些预测的准确性。在一些实施例中,这类验证作为背景操作被执行,而无需预先填充检查表。
技能分析阶段-示例症状到原因的映射
在一些实施例中,执行分析,从而基于视觉分析实现症状到原因的映射。作为上下文,给定症状可能由多个潜在原因中的任何一个或多个引起。在某些情况下,第一症状是第二症状的原因。从训练的角度来看,针对给定的症状,确定根本原因是有用的。然后,可以提供训练来解决该原因,从而协助纠正症状(在“症状”表示错误形式的实施例中)。
作为示例,再次参考标准划船运动,可以定义以下症状:
·最小的翻转(rock over)。
·屁股推动(bum shove)。
·抢臂。
·急速恢复滑动。
·过顶(over the mountain)。
·膝盖在手超过膝盖前弯曲。
·恢复太短。
·C形背。
然后,针对每个症状,定义了多个可能的原因。例如,在“抢臂”的上下文中,原因可以定义为:
·提前使手臂工作。
·提前使后背工作。
·急速恢复滑动。
对症状-原因相关性的分析协助预测/确定多个原因中的哪一个对所识别的症状负责。在原因也是症状(例如上述“急速恢复滑动”)的情况下,识别出该症状的原因(依此类推,经由潜在迭代处理),直到预测的根本原因被识别。该根本原因然后可以被解决。
在一些实施例中,专家执行额外的视觉分析,从而将症状与原因相关联。这可以以多个水平中的任何一个或多个水平被执行。例如:
·以一般的基于技能的水平将症状与潜在原因相关联。
·通常针对每个能力水平将症状与潜在原因相关联。
·针对每个单独的运动员将症状与潜在原因相关联。
·针对由每个单独的运动员执行的每组将症状与潜在原因相关联(其提供例如关于能力、强度和症状/原因关系之间的关系方面的指导)。
·针对由每个单独的运动员执行的每组的每个重复将症状与潜在原因相关联。这在资源更密集的情况下,实现针对特定的原因对MSD的详细分析。
关于症状识别,在一些实施例中使用检查表。图4B中提供了示例检查表。在该检查表中,审查者记录所识别的症状(在该示例中为S1、S2、S4和S5)和针对给定组的原因之间的相关性。在计算机实现的检查表的情况下,标题列可以被过滤以仅揭示被识别为存在于该组中的症状。在一些实施例中,专家能够向检查表添加额外的原因列。
表示症状-原因相关性的数据在多个审查者之间进行聚合,从而定义重叠矩阵,其标识关于由多个专家所识别的症状和原因之间的关系的共识观点。这可以基于能力水平、基于运动员、基于组、或基于重复。在任何情况下,聚合实现对允许在针对给定能力水平的运动员识别出症状的情况下预测原因或可能的原因的数据的确定。在针对单独的原因定义ODC的情况下,允许对MSD进行处理,从而识别一个或多个所标识的可能原因中的任何一个的存在。
在一些实施例中,在专家之间的一致性不足以成为共识观点的一部分的症状-原因相关性被存储用于优质内容生成的目的。例如,在训练程序的上下文中,可以存在多个级别的优质内容:
·基础级别,其针对症状-原因相关性使用共识观点;
·更高级别,其另外使用与特定专家相关联的另外一组症状-原因相关性(基于由该专家一致识别的但未在共识观点中反映的观测)。
重叠矩阵还可用于基于上下文(如能力水平)来定义负责特定症状的特定原因的相对概率。例如,在第一能力水平处,症状A可能是原因B的结果的可能性是90%,但是在第二能力水平处,针对该症状,原因B的可能性仅为10%,原因C的可能性为70%。
在一些实施例中,执行分析,从而将每个重复与原因(以与上述症状相似的方式)相关联,从而协助针对MSD中的原因对ODC进行识别。然而,在其它实施例中,以概率预测为基础来识别原因,而不需要分析MSD。
技能分析阶段:能力水平症状的示例识别
在一些实施例中,重要类别的症状是能够将对象分类为定义的能力水平的症状。分类到给定能力水平可以基于对特定症状的观测或对一个或多个症状集合的观测。
如下面进一步描述的,一些实施例使用训练程序逻辑,其首先例如基于观测能力水平代表性症状来做出关于能力水平的确定,然后基于该确定来执行下游动作。例如,针对ODC的监测在某些情况下与能力水平相关。例如,与第二能力水平相比,给定症状的ODC在第一能力水平下被不同地定义。在实践中,这可能是新手产生航线误差以显示症状,但是专家经由更精细的运动变化显示症状的结果。
技能分析阶段-ODC的示例确定(例如,针对状态引擎数据)
在专家/教练进行视觉分析之后,技能分析阶段进入数据分析子阶段,从而分析从样本表演的视觉分析中获得的专家知识,以定义能够基于MSD自动检测症状的ODC。例如,这样的ODC被用于稍后下载到最终用户硬件(例如POD设备)的状态引擎数据中,使得训练程序能够基于表示对最终用户的身体表演中的特定症状的检测的输入来进行操作。
应当理解,在各种实施例中使用一系列不同的方法来定义给定症状的ODC。在一些实施例中,一般方法包括:
(i)执行对MSD的分析,从而(例如,基于包括加速度和方向的MSD)识别数据属性的组合,其基于视觉分析结果被预测为指示症状的存在;
(ii)针对表示样本表演的数据(例如,使用实际记录的MSD)测试那些数据属性,以验证那些数据属性存在于显示相关症状的所有样本表演中(可选地以特定于能力水平为基础);以及
(iii)针对表示样本表演的数据(例如,使用实际记录的MSD)测试那些数据属性,以验证那些数据属性不存在于未显示相关症状的样本表演中(再次,可选地以特定于能力水平为基础)。
示例包括但不限于以下内容:
·使用MCD作为视觉分析和MSD之间的垫脚石的方法;
·直接从视觉分析移动到分析MSD的方法;
·基于从各个传感器获得的数据来定义ODC的方法;以及
·使用从MSD构建的虚拟身体模型,基于整体身体运动来定义ODC的方法。
下面详细描述一些示例。
在一些实施例中,ODC还例如通过定义在MSU和/或POD设备上处理器/功率密度较低的ODC而被调整,从而有效地使用最终用户硬件。例如,这可能与采样速率、数据分辨率等有关。
技能分析阶段-视觉观测到MCD空间的示例转换
如上所述,在一些实施例中,MCD空间被用作视觉观测和MSD数据分析之间的垫脚石。这有助于避免与基于MSD的准确定义虚拟身体模型相关的挑战(例如,注意与将MSD转换到公共几何参考系相关联的挑战)。
总而言之,对于给定的症状,该处理包括分析与已经被标记为显示该症状的表演相关联的MCD。在一些实施例中,该分析在特定于能力水平基础上被执行(注意,症状从运动中可观测到的程度可以在能力水平之间变化)。例如,分析包括将显示相关症状的样本的MCD(例如从MCD得到的计算机生成的模型)与不显示症状的样本的MDC进行比较。
图5示出了根据一个实施例的方法。应当理解,这仅是一个示例,并且可选地使用各种其它方法来实现类似的目的。框501表示包括确定用于分析的症状的处理。例如,在划船的上下文中,症状可以是“抢臂”。框502表示包括识别用于分析的样本数据的处理。例如,样本数据可以包括:
·针对与症状相关联的所有重复的MCD。
·针对与特定强度参数处的症状相关联的所有重复的MCD。也就是说,该分析考虑了症状如何存在于特定强度参数处(与其它强度参数不同)。
·针对与特定能力水平处的症状相关联的所有重复的MCD。也就是说,该分析考虑了症状如何呈现在特定能力水平处(与其它能力水平不同)。
·针对与特定强度参数和特定能力水平处的症状相关联的所有重复的MCD(即组合前两种方法)。
也可以使用其它方法。在某些情况下,将上述方法中的多个结合使用以更好地了解诸如强度和能力之类的因素的影响(其可证明与给定症状相关或无关)。
这里使用的MCD优选地例如基于上面讨论的样本扩展技术来经MCD标准化为标准身体尺寸。同样,从这些处理得到的ODC能够使用样本扩展的转换原理被去标准化(de-normalised),从而适用于身体尺寸的可变(以及潜在的无限可变)范围。
功能框503表示包括识别潜在的症状指示符运动(SIM)的处理。例如,这包括识别针对每个样本重复被预测为表示相关症状的MCD中可观测的运动的属性。在一些实施例中,指示符运动由安装MSU的身体部分的运动路径的属性来定义。运动路径的属性可以包括角度、角度变化、加速/减速、加速/减速变化等。这在本文被称为“点路径数据”,其是表示在身体上定义的点的运动属性的数据。在这方面,潜在的SIM由一组或多组“点路径数据”定义(也就是说,在某些情况下,存在一组点路径数据,其中SIM基于仅一个身体部分的运动,以及在某些情况下,存在多组点路径数据,其中SIM基于诸如前臂和上臂之类的多个身体部分的运动)。
作为上下文,可以定义一组点路径数据以包括给定点的以下数据:
·X轴加速度:最小值:A,最大值B。
·Y轴加速度:最小值:C,最大值D。
·Z轴加速度:最小值:E,最大值F。
还可以使用除加速度之外的数据。此外,可以有多个加速度测量,并且这些可以在时间上参考其它事件和/或测量。例如,一组点路径数据可以通过参考观测另一组点路径数据之后的所定义的时间段来约束。作为上下文,这可以用于定义考虑到大腿上的点与前臂上的点的相对运动的SIM。
功能框504表示测试处理,借以针对比较数据测试潜在的SIM。在一些实施例中,测试验证如下:
(i)在针对样本数据中的每个重复的MCD中观测到一组或多组点路径数据。这验证了潜在的SIM在识别其被设计为进行操作的样本中的症状的存在方面是有效的。
(ii)在针对不与相关症状相关联的重复的MCD中未观测到一组或多组点路径数据。这验证了潜在的SIM将不会在症状不存在的情况下被触发。
判定505表示基于505处的测试确定潜在的SIM是否被验证。
在潜在的SIM不能被成功验证的情况下,其会被改善(参见框506)并被重新测试。在一些实施例中,经由交互式算法自动改善和重新测试。例如,这操作来将先前定义的潜在SIM下的点路径数据定义缩小到能够通过参考针对不存在相关症状的表演重复的MCD而被验证为唯一的点。在某些情况下,给定的SIM不能在阈值数目的迭代之后被验证,并且需要新的起始点潜在SIM。
框507表示在成功测试后对SIM的验证。
在一些实施例中,在样本数据是与相关症状相关联的所有重复的总MCD数据的子集的情况下,生成数据以指示SIM是否也被验证用于该总MCD数据的任何其它子集(例如,SIM是基于第一能力水平的分析得到的,但在第二能力水平处也是有效的)。
应当理解,确定潜在的SIM的处理可以主要是人工处理(例如,基于对视频和/或MCD得到的模型数据的视觉分析)。然而,在一些实施例中,该处理由各种级别的自动化来协助。例如,在一些实施例中,算法被配置为基于显示症状的MCD中的MCD与不存在症状的MCD中的MCD相比的共性来识别潜在的SIM。在一些实施例中,这样的算法被配置为定义潜在的SIM(每个由MCD空间或MSD空间中的相应一组或多组点路径数据来定义)的集合,这些潜在的SIM综合地定义显示症状的样本表演的样本集相对于所有其它样本表演(这些样本表演针对身体尺寸被标准化)的唯一性。在一个实施例中,算法被配置为输出表示包含对所选择的症状或症状集合通用的所有MCD的数据集的数据,并且能够对该数据集(例如基于特定传感器、运动内的特定时间窗口、数据分辨率约束等)进行过滤,从而能够通过用户引导将数据集缩小到具有在最终用户硬件的上下文中实现实际应用的特性的潜在SIM(例如,基于被提供给最终用户的具有MSU功能的服装的MCD)。
在一些实施例中,测试处理另外用于实现对视觉分析不成功的重复中的症状的识别。例如,在测试失败数目较少的情况下,对这些测试失败进行视觉分析,以确认症状确实不存在还是巧妙地存在。
技能分析阶段-从MCD空间到MSD空间的示例转换(ODC)
经由诸如图5的方法被验证的SIM然后被转换到MSD空间中。如上所述,每个SIM包括表示一组或多组点路径数据的数据,每组点路径数据定义针对人体上所定义的点的运动属性。
人体上定义了点路径数据的点优选地对应于在下述项的上下文中安装了MSU的点:(i)样本表演期间由对象穿戴的MSU布置;和(ii)最终用户使用的具有MSU功能的服装。在一些实施例中,最终用户的具有MSU功能的服装(或其变体)被用于样本表演的目的。
在针对除安装MSU的点之外的点定义了点路径数据的情况下,优选地执行数据转换,从而将点路径数据调整到这样的点。或者,这种转换可以被集成到后续阶段。
总而言之,分析样本数据(图5的框502的样本数据)中的一个或多个样本表演重复的MSD,从而识别与点路径数据相对应的数据属性。例如,点路径数据可以指示运动和/或加速方向相对于参考系(优选地是重力参考系)的一个或多个定义的范围。
在一些实施例中,从(a)在MCD空间中得到的SIM到(b)MSD空间中定义的数据的转换包括:
(i)针对每组点路径数据,识别存在于与SIM相关的每个样本表演中的表示点路径数据的MSD属性。在某些情况下,点路径数据和MSD属性之间的关系是不完美的,这例如由于MSD的性质所致。在这种情况下,所识别的MSD属性可以比由点路径数据定义的运动更宽。
(ii)通过与图5的框504-506的迭代测试类似的处理来验证所识别的MSD数据属性,从而验证所识别的MSD属性在针对显示症状的样本表演的MSD中一致地被发现,并且在所有不存在症状的样本表演中不存在。
该转换到MSD空间的处理产生数据条件,当该数据条件在从收集阶段(例如,图2A的框201)期间使用的一个或多个MSU得到的数据中被观测到时,指示存在症状。也就是说,转换处理产生症状的ODC。
以该方式定义的ODC由一个或多个传感器的各个传感器数据条件定义。例如,基于每个传感器处的速度和/或加速度测量结合规则(例如,时序规则:传感器X观测A,并且在定义的时间接近度内,传感器X观测B)来观测ODC。
然后,ODC能够被集成到状态引擎数据中,状态引擎数据被配置为可用于下载到最终用户设备,从而能够配置该最终用户设备以监测相关症状。
应当理解,由上述转换处理定义的ODC对于在数据收集阶段中使用的MSU是唯一的。因此,在最终用户将使用的收集阶段期间,使用相同的MSU和MSU定位(例如经由相同的具有MSU功能的服装)是方便的。然而,在一些实施例中,存在多个版本的最终用户的具有MSU功能的服装,例如具有不同的MSU和/或不同的MSU定位。在这种情况下,针对每个服装版本,可选地分别执行到MSD空间的转换。这可以通过经由虚拟MSU配置(对应于特定最终用户设备)的虚拟应用对所收集的测试数据应用已知的数据转换和/或进行建模来实现。例如,关于后者,可选地使用从MCD得到的虚拟模型作为支持一个或多个虚拟MSU的框架,并且确定对应于SIM数据的计算机预测的MSU读数。应当理解,这提供了基于硬件进展随时间重新定义ODC的能力,这是因为考虑到经由分析阶段收集的数据在这种情况下能够随时间被重新使用。
图6中示出了示例处理,作为用于定义基于MSC分析生成的ODC或SIM的处理。在601处识别经验证的SIM。在602处识别点路径数据的集合中的第一集合,并且经由由框603至608表示的处理来分析该集合,由框603至608表示的处理循环用于点路径数据的每个集合。该循环处理包括识别与点路径数据相对应的潜在MSD属性。例如,在一些实施例中,这包括针对与全部收集的相关MSD或其子集的点路径数据相同的时间点处理收集的MSD(注意,MCD和MSD以被配置用于时间同步的方式被存储)。然后在604处执行测试,以在605处确定所识别的MSD属性是否存在于从样本表演收集的所有相关存在症状的MSD(并且在一些实施例中,以确保其不存在于不存在症状的MSD中)。必要时,在606处执行改善,否则在607处MSD属性被验证。
一旦针对SIM中的所有点路径数据的集合完成了框603至608的循环处理,则在609处组合经验证的MSD属性,从而定义该症状的潜在ODC。然后经由框610至613的处理对这些潜在ODC进行测试、改善和验证,从而确保潜在ODC:(i)在确实存在相关症状的所有相关样本表演MSD中被识别,以及(ii)在不存在相关症状的所有相关样本表演MSD中不被识别(术语“相关”表示在某些情况下分析受能力水平等限制)
应当理解,在另外的实施例中使用各种替代方法,从而定义给定症状的ODC。然而,在基本所有的情况下,方法包括执行分析,从而定义可观测数据条件,可观测数据条件能够在存在症状的样本表演的MSD中被识别(被收集或被虚拟地定义),但是不能在不存在症状的样本表演中被识别。
技能分析阶段-经由MCD空间将视觉观测替代转换到MCD空间
在另外的实施例中,MCD用于生成虚拟身体模型,并且该模型与经时间同步的MSD相关联。以这种方式,能够在技能表演运动中的特定点处使用针对所选择的一个或多个MSU的MSD执行分析。
在该阶段使用的MSD可以是针对特定表演的MSD,或者是在类似表演的子集之间聚合的MSD(例如,在定义的能力水平下,经标准化的身体尺寸的表演)。聚合可以包括下述项中的一项或两项:(i)仅利用在所有表演的子集中相似/相同的MSD;以及(ii)定义数据值范围,使得经聚合的MSD包括针对表演的子集的全部MSD(或统计上相关的比例)。例如,关于后者,针对第一表演的MSD可能具有:特定传感器在特定时间点的x轴加速度值A,并且针对第二表演的MSD可能具有:该特定传感器在该特定时间点的x轴加速度值B。这些能够被聚合到经聚合的MSD中,其中该特定传感器在该特定时间点的x轴加速度的值被定义为在A和B之间。
因此,能够执行分析以确定类似下述项:
(i)针对特定表演,在运动中的特定点处,特定传感器的MSD的一个或多个方面的值(例如,加速度计值)。
(ii)将(i)处的值与运动中的同一点处的其它表演(例如,在相同能力水平下显示相同症状的其它表演)进行比较的比较数据。
(iii)针对一组表演(例如,在相同能力水平下显示相同症状的其它表演),在运动中的特定点处,针对特定传感器的MSD的一个或多个方面的值范围(例如,加速度计值)。
(iv)针对具有特定症状的特定表演,在运动中的特定点处,与针对不显示该特定症状的一个或多个另外的表演的相应MSD相比,特定传感器的MSD的一个或多个方面的比较数据(例如,加速度计值)。
这类分析用于确定给定症状的预测ODC。
一旦预测ODC被定义,这些ODC能够使用诸如图7所示的方法被测试。在701处确定特定症状的预测ODC,然后这些预测ODC在702处针对样本表演的MSD被测试。与前面的示例一样,这用于验证预测ODC存在于显示该症状的相关表演的MSD中,并且ODC在不显示该症状的相关表演的MSD中不存在。例如,“相关”表演是在共同能力水平下的样本表演,并且在一些实施例中被标准化为标准身体尺寸。基于测试,ODC在704处被改善、或者在705处被验证。
分析阶段:经由身体建模定义ODC的替代方法
上述方法基于在一个或多个单独传感器中寻找特定数据属性的ODC。替代方法是基于身体的运动来定义ODC,并且基于从MSU收集的MSD来定义虚拟身体模型。例如,MSD被收集和处理,从而将数据转换到公共参考系,使得能够基于从MSU得到的移动数据来定义和维护3维身体模型(或部分身体模型)。从MSD得到部分和/或全部身体模型的示例性技术包括将来自两个或更多个MSU的MSD转换到公共参考系。这种转换可以可选地通过以下技术中的一个或多个来实现:
·MSU位置的精确定位和/或测量,以及在时间线上的预定义点处标识已知身体位置(例如开始姿势)。
·利用运动捕获点(例如移动捕获标记物)和MSU之间的已知位置关系。
·使用已知的身体约束,例如关节类型,以将来自关节一侧的第一传感器的MSD与关节另一侧的MSD相关联。
·使用多个MSU通用的参考数据,以使得整体数据转换到公共参考系(例如使用重力加速度方向和磁北方向)。
其中,前两者通常以技能分析的上下文为优势,其中MSU能够被安装在受控环境中,并且诸如MCD之类的辅助数据可用于协助MSD解释。后两者在存在较少控制的情况下(例如,在MSD是从最终用户类型的具有MSU功能的服装的穿戴者收集到的情况下,潜在地在不受控制(或相对较少受控制的)的环境中)具有更大的相关性。关于这种方法的附加信息在下文进一步提供。
客观定义身体技能的替代示例方法
下面参考图8A至图8I描述用于客观定义身体技能的另一组替代方法。在一些实施例中,这些方法的各方面与上面进一步描述的那些相组合。
这些方法在一般意义上包括三个阶段(这些阶段并不总是可以清晰地分离或经由严格的线性进程被遵循)。第一阶段是样本分析阶段801,在此分析给定的技能,从而理解与最优和次优表演相关的运动/位置属性。然后,数据分析阶段802包括将在阶段801获得的理解应用于可观测的传感器数据;该阶段包括确定用于给定最终用户实现的一组最终用户传感器如何能够用于经由传感器数据识别来自阶段801的特定运动/位置属性。这允许在阶段801获得的理解例如在训练的上下文中被应用于最终用户。这发生在803阶段;内容作者针对经由传感器数据监测最终用户的表演的软件定义规则等。例如,当观测到来自阶段802的特定传感器数据时,规则可以基于来自阶段801的知识来定义被提供给用户的反馈。
如上所述,这三个阶段并非在所有情况下都能清晰地被区分;存在一些混合和/或重叠的情况。此外,它们不需要作为简单的线性过程被执行;在某些情况下,阶段之间存在循环。
通过参考经由参考运动属性所分析的表演来描述以下示例。例如,运动数据是从安装到人类用户(例如,被提供在服装上)的多个传感器、以及在一些情况下被安装到人类用户所使用的设备(例如,滑板、网球拍等)的另外一个或多个传感器得到的。传感器可以采取各种形式。本文考虑的示例(其不应被视为一定是限制性的)将使用多个传感器单元,每个传感器单元包括:(i)陀螺仪;(ii)加速度计;以及(iii)磁力仪。这些传感器单元各自优选为三轴传感器。这种布置允许例如基于传感器的相对运动来收集提供表示人类运动的精确数据的数据(例如,经由本文所公开的POD设备)。可穿戴服装技术的示例被提供在本说明书的其它地方。
在各图中,相同的处理由相同编号的功能框指定。
图8B示出了根据一个实施例的方法,其包括图8A的三个阶段。该方法开始于准备步骤810,其包括确定将作为分析的对象的技能。例如,技能可以是踢足球、特定的网球摆动、滑板操纵、跳远方法等的特定形式。应当理解的是,在体育、娱乐和其它活动中存在基本无限数目的技能,这些技能可以通过本文考虑的方法来被识别和分析。
样本分析阶段801包括对给定技能的多个表演的分析,从而拓展对影响该技能的表演的运动方面的理解,在该情形下,这经由811处的视觉驱动分析进行。视觉驱动分析包括在视觉上比较多个表演,从而拓展关于最优表演如何不同于次优表演的知识。视觉驱动分析的示例形式包括:
步骤811的第一示例包括没有技术协助的视觉驱动分析。观测者(或一组观测者)观看技能被执行多次,并基于他们的视觉观测进行确定。
步骤811的第二示例包括利用视频的视觉驱动分析。捕获多个表演的视频数据,从而实现对表演的后续可重复的视觉比较。优选的方法是从一个或多个定义的位置捕获表演,并利用数字视频操纵技术从相同的角度重叠两个或更多个表演视频。例如,可以从定义的后角位置(在运动员后面)拍摄特定足球踢出的形式的技能,其中球被定位在针对每个表演的定义的位置以及定义的靶区(target)。基于定义的共同原始视频帧(基于运动中的时间点来选择,该时间点在比较视频中要在时间上对准),从两个或更多个表演捕获的视频被具有透明度地重叠。假设这是在受控环境中拍摄的,只有播放器和球在两个视频捕获之间的位置不同(可以使用背景对准来考虑相机位置的轻微误差)。这允许观测者基于重叠表演运动的差异更多地识别表演之间的相似性和差异。优选使用多个角度(例如,侧视图和俯视图)。
步骤811的第三示例包括利用运动捕获数据的视觉驱动分析。例如使用传统的运动捕获技术、安装的传感器、深度敏感的视频设备(例如由Microsoft Kinect所使用的那些深度传感器摄像机)和/或其它技术来针对多个表演收集运动捕获数据。这允许基于运动捕获在计算机系统中重建表演。后续的视觉分析可以类似于先前视频示例中使用的视觉分析,然而,运动捕获方法可以允许更精确的观测以及对视点的附加控制。例如,经由运动捕获技术构建的三维模型可以允许自由视点控制,使得能够从多个角度比较多个重叠的表演,从而识别运动和/或位置中的差异。
还可以使用针对阶段811处的视觉驱动分析的其它方法。
在视觉驱动分析中产生的观测在一些实施例中是描述性的。例如,观测可以按描述性形式来定义,例如“在接近第一秒期间臀部向内倾斜”、“脚接触地前肘部弯曲”、“初始姿态期间左肩下降”等。描述性形式可以包括关于所描述的人为现象的结果的信息(或与之相关联),例如“在接近第一秒期间臀部向内倾斜”-导致“球向靶区的左侧摆动”。
为了本说明书的目的,阶段801(和步骤811)的输出被称为“表演影响因素”。
在图8B中,阶段802包括功能框812,其表示包括将视觉驱动的观测应用于技术上可观测的数据的处理。这可以再次使用比较分析,但是在这种情况下,这基于数字化信息,例如使用运动捕获或传感器(其可以是与最终用户所穿戴的传感器相同或相似的传感器)收集的信息。功能框812包括针对给定的表演影响因素PAFn,在从可归因于PAFn的一个或多个表演得到的数据中进行识别。这可以包括对未展示PAFn的一个或多个表演的数据与展示PAFn的一个或多个表演的数据进行比较分析。作为示例,分析了显示“在接近第一秒期间臀部向内倾斜”的捕获数据,以识别可归因于“在接近第一秒期间臀部向内倾斜”的数据的各方面。这可以通过与不显示“在接近第一秒期间臀部向内倾斜”的样本的数据进行比较来识别。
如本文所述,数据分析使得确定每个表演影响因素的可观测数据条件。也就是说,PAFn与ODCn相关联。因此,当处理给定表演的传感器数据时,软件应用能够自主地确定ODCn是否存在,因此提供指示对PAFn的识别的输出。也就是说,软件被配置为基于对从传感器得到的数据的处理来自主地确定是否存在例如“在接近第一秒期间臀部向内倾斜”。
在一些实施例中,给定的PAF与多个ODC相关联。这可以包括:与特定传感器技术/布置(例如,某些最终用户穿戴16个传感器套件,而其它最终用户穿戴24个传感器套件)相关联的ODC;与不同用户身体属性相关联的ODC(例如,与四肢很短的用户相比,四肢很长的用户需要不同的ODC),等等。在一些实施例中,另一方面,如下面进一步讨论的,针对身体属性对ODC进行标准化。
在图8B中,实现阶段803包括表示实现到(一个或多个)训练程序中的功能框813。这包括定义基于可观测数据条件触发的最终用户设备软件功能。也就是说,每组可观测数据条件被配置为经由处理从最终用户的运动传感器集合得到的数据的软件应用来实现,从而能够监测最终用户的技能的身体表演中的表演影响因素的相关联集合的存在。在一些实施例中,使用基于规则的方法,例如“如果观测到ODCn,则执行动作X”。应当理解,能够定义不同复杂程度的规则(例如,使用诸如或(OR)、与(AND)、否则(ELSE)等的其它运算符,或者通过利用更强大的规则构建技术)。规则的确切性质由内容作者决定。作为一般原则,在一些实施例中,目标是定义旨在鼓励最终用户在后续的表演中修改其行为从而可能更接近于最优表演的动作。
继续上述示例,一组可观测数据条件指示用户在观测到的表演中表现出“在接近第一秒期间臀部向内倾斜”。因此,在阶段803期间,这种可观测数据条件可选地与反馈指令(或多个潜在反馈指令)相关联,这些反馈指令被定义为协助用户用其它运动属性(例如,最优表演可能需要“运动的第一秒期间臀部水平、左脚接触地面之后臀部向上倾斜”)来替换“在接近第一秒期间臀部向内倾斜”。反馈不一定与臀部倾斜有关;辅导知识可以揭示,例如,调整手的位置或起始姿态可以有效地纠正不正确的臀部位置(在这种情况下,也可以针对那些表演影响因素定义可观测数据条件,从而实现与臀部位置相关的辅助分析)。
图8C示出了根据一个实施例的方法,示出了阶段801至803中的一组替代功能框,其中一些功能框已经参考图8B进行了描述。
功能框821表示样本表演收集阶段,借以针对给定的技能收集多个表演样本。功能框822表示例如经由如上所述的视觉驱动技术或其它技术的样本数据分析。这导致了对技能的表演影响因素的定义(参见功能框823),表演影响因素针对技能Si可以被表示为SiPAF1至SiPAFn
功能框824表示包括下述操作的处理:分析表演数据(例如,从运动捕获、穿戴的传感器、深度摄像头和其它技术中的一个或多个得到的数据),从而识别作为表演影响因素的证据的数据特征。例如,将已知展现表演影响因素的一个或多个从表演得到的数据集与已知未展现表演影响因素的一个或多个从表演得到的数据集进行比较。在使用多个穿戴的传感器的一些实施例中,关键数据属性包括:(i)传感器的相对角位移;(ii)传感器的相对角位移的变化率;以及(iii)传感器的相对角位移的时序和传感器的相对角位移的时序和变化率。
功能框825表示包括下述操作的处理:基于824处的分析,针对每个表演影响因素定义可观测数据条件。可观测数据条件以允许它们在从最终用户的表演得到的传感器数据中被自动识别(例如,作为陷阱(trap)状态)的方式来定义。可观测数据条件针对技能Si可以被表示为SiODC1至SiODCn。SiPAF1至SiPAFn。如上所述,在一些实施例中,给定的PAF与多个ODC相关联。这可以包括:与特定传感器技术/布置(例如,某些最终用户穿戴16个传感器套件,而其它最终用户穿戴24个传感器套件)相关联的ODC;与不同用户身体属性相关联的ODC(例如,与四肢很短的用户相比,四肢很长的用户需要不同的ODC),等等。在一些实施例中,另一方面,如下面进一步讨论的,针对身体属性对ODC进行标准化。
替代示例:样本分析方法
图8D示出了根据一个实施例的针对阶段801处的样本分析的示例性方法。
功能框831表示包括使得对象(在该示例中是专家用户)多次执行给定技能的处理。例如,在一些实施例中,优选大约100个表演的样本规模。然而,在实施例中使用一系列样本规模,并且技能的性质在一些情况下影响所需的样本规模。
功能框832表示包括审查多个表演的处理。这在所描述的实施例中利用视觉驱动的分析,例如通过视频审查(例如使用如上所述的重叠的视频数据)或运动捕获审查(例如从运动捕获技术得到的虚拟三维身体构造,运动捕获技术在某些情况下包括使用运动传感器)来完成。
基于832处的审查,表演被分类。这包括识别最优表演(框833)和识别次优表演(方框834)。分类优选地基于客观因素。例如,一些技能具有一个或多个可量化的目标,例如功率、速度、准确性等。可以针对这些可量化的目标中的任何一个或多个定义客观标准。作为示例,可以通过靶区来量化准确性;如果靶区被击中,则表演是“最优的”;如果靶区未被命中,则表演是“次优的”。作为另一示例,压力传感器可以确定由表演产生的影响是否具有足够的量级以使其为“最优的”。
功能框835表示包括对次化表演进行分类的处理。例如,客观标准被定义,从而将每个次优表演与类别相关联。在一个实施例中,在技能的目标(或一个目标)是准确性的情况下,定义了多个“未命中区域”。例如,存在中心靶区区域和四个“未命中”象限(左上、右上、左下、右下)。然后,基于被击中的“未命中”象限对次优表演进行分类。可以针对额外的粒度(例如与未命中的程度有关等等)定义附加标准。
然后将来自每个类别的次优表演的样本与最优表演进行比较,从而识别表演错误中的共性等。这在所示出的实施例中经由循环处理来实现:在836处选择下一类别,在837处将该类别的次优表演与最优表演进行比较,并且在838处确定表演影响因素。该方法然后基于判定839,在存在要被评估的剩余类别的次优表演的情况下进行循环。
在838确定的表演影响因素是视觉上识别出的表演影响因素,这些表演影响因素被观测为导致当前类别的次优表演。实质上,这些表演影响因素允许基于对运动的观测而不是对结果的观测来预测给定表演的结果。例如,“未命中-左下象限”类别可能导致表演影响因素“在接近第一秒期间臀部向内倾斜”。该表演影响因素与该类别的次优表演(即在样本中一致观测到的)唯一地相关联,并且在最优表演或其它类别的次优表演中未观测到。因此,获得的知识是在观测到“在接近第一秒期间臀部向内倾斜”的情况下,预计存在未命中而是到达靶区的左下方。
应当理解,在阶段802和阶段803之后,这导致软件应用能够纯粹基于穿戴的传感器数据自动预测给定表演可能导致了未命中而是到达靶区的左下方(即,基于在具有与“在接近第一秒期间臀部向内倾斜”相关联的可观测数据条件的传感器数据中进行识别)。在实际层面上,最终用户可能会被提供来自虚拟教练的音频反馈,例如“未命中,而是到了左下方,不是吗?下一次请你尝试聚焦在XXX上怎么样?”这是重要的结果;它使得传统上通过视觉辅导观测到的客观因素被转换为自动传感器驱动的环境。
在一些实施例中,通过提供样本表演的人参与视觉分析处理来增强样本分析。例如,这可以是著名的明星运动员。运动员可以提供他/她关于重要表演影响因素的见解,这最终产生“专家知识”,“专家知识”允许用户基于特定专家对该技能的解释来参与训练以学习特定技能。在这方面,个人技能可以具有多个不同的专家知识变化。作为具体的示例,足球撮踢(chip kick)可以具有基于玩家X对撮踢的最优形式的解释的第一专家知识变化,以及具有基于玩家Y对撮踢的最优形式的解释的第二专家知识变化。这允许用户不仅接收针对期望技能的训练,而且还可以接收针对该期望技能的基于所选择的专家的知识的训练(在某些实施例中可以提供类似于由该所选择的专家训练的用户体验)。
作为上下文,关于专家知识,基于对期望的专家知识变化的选择,用户选择下载到POD设备的数据。也就是说,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化。
在一些实施例中,针对第一可选择的专家知识变化,可下载的数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;并且针对第二可选择的专家知识变化,可下载的数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。例如,第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。在其它情况下,第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
在一些实施例中,针对第一可选择的专家知识变化,可下载的数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;并且针对第二可选择的专家知识变化,可下载的数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。例如,第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。替代地(或此外),第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
替代示例:数据分析方法
图8E示出了根据一个实施例的针对阶段802处的数据分析的示例性方法。通过参考例如经由图8D的方法所定义的对次优表演类别的分析来描述该方法。然而,应当理解,也可以针对最优表演(由此定义与最优表演相关联的可观测数据条件)执行相应的方法。
功能框841表示包括开始对下一次优表演类别进行数据分析的处理。使用表演影响因素作为指导,在842处在多个次优表演的次优表演数据与最优表演数据之间进行比较。在843处识别数据模式(例如,相似性和差异)。在一些实施例中,目标是识别对于所有次优表演共同的(但在任何其它次优类别的最优表演中未被观测到的)数据特性,并且确定那些数据特性如何与表演影响因素相关。功能框844表示包括针对每个表演影响因素定义一组或多组可观测数据条件的处理。处理基于判定845循环用于额外的次优表演类别。
替代示例:实现方法
图8F示出了根据一个实施例的针对阶段803处的实现的示例性方法。
功能框851表示包括选择与经由阶段801和802的表演影响因素相关联的一组可观测数据条件的处理。在852处设置条件满足规则,这些规则基于输入的传感器数据定义选择所选择的一组可观测数据条件何时被满足。例如,这可以包括设置阈值等。然后,功能框853包括定义一个或多个旨在与可观测数据条件相关联的功能(例如,反馈、指向替代活动等)。然后,该规则和相关联的功能在854处被输出,以用于在856处用于训练程序编写过程。如果要使用更多可观测数据条件,则该方法在判定855号处进行循环。
给定的反馈指令优选地经由咨询教练和/或其它专家来定义。应当理解,反馈指令不需要直接涉及相关的表演影响因素。例如,在继续示例中,反馈指令可以引导用户专注于可以间接地纠正臀部向内倾斜(例如,经由手定位、眼睛定位、起始姿态等)的特定任务。在一些情况下,多个反馈指令可以与给定的一组可观测数据条件相关联,注意,特定的反馈指令可能与某些用户有共鸣,而与其它用户无共鸣。
替代示例:风格和身体属性标准化
在一些实施例中,在阶段801和阶段802处观测到多个样本用户表演,从而协助识别(并且在某些情况下标准化)风格和身体属性的影响。
作为上下文,不同的用户将固有地稍微不同地执行给定的技能。在某些情况下,差异是个人风格的结果。然而,不考虑可归因于风格的元素,相似之处通常存在显著重叠。一些实施例在视觉和/或数据级别上比较多个对象的表演,从而通过定义不同风格的表演对象共同的可观测数据条件来标准化风格。这导致风格中立。一些实施例替代地或另外地包括在视觉和/或数据级别上比较多个对象的表演,从而识别特定地归因于给定对象的风格的可观测数据条件,从而使得定制的训练程序能够训练用户遵循该特定风格(例如,个人技能可以具有多个不同的专家知识变化,其能够由最终用户单独购买)。
身体属性(如身高、肢长等)在某些情况下也会对可观测数据条件产生影响。一些实施例实现一种方法,借以基于传感器数据确定特定最终用户的身体尺寸,并相应地确定可观测数据条件(例如,通过缩放和/或选择特定于尺寸或尺寸范围的数据条件)。其它实施例实现一种方法,借以可观测数据条件针对尺寸被标准化,从而否定最终用户身体属性影响。
在一些实施例中,增强了方法以在视觉和/或数据级别上比较多个对象的表演,从而通过下述项中的一者或两者来标准化身体属性:(i)定义表演对象(不考虑身体属性)共同的可观测数据条件;和/或(ii)基于已知的最终用户属性来定义用于缩放可观测数据条件的一个或多个属性的规则;和/或(iii)定义分别针对具有特定已知身体属性的最终用户定制的多组可观测数据条件。
图8G示出了身体属性和风格标准化的示例性方法。对于阶段801和阶段802都执行该方法的元素。功能框861表示针对第一专家执行分析,从而提供比较点。然后,如框862所示,还针对具有类似技能水平的多个另外的专家进行分析。功能框863表示包括识别归因于身体属性的人为现象的处理,并且框864表示基于身体属性的标准化。功能框865表示包括识别归因于风格的人为现象的处理,并且框864表示基于风格的标准化。在一些实施例中,在没有识别可归因的人为现象的初始步骤的情况下执行标准化的任一种或两种形式。
替代示例:应用于多个能力水平
在一些实施例中,阶段801和802(以及可选地803)被执行用于不同的能力水平。基本原理是专家可能对业余或初学者犯不同的错误。例如,专家在大多数情况下可能会始终保持最接近最优表演,并且所寻求的训练/反馈在精确的移动方面是相当精细的。另一方面,初学者用户可能会犯更多粗糙的错误,并且在精细观测之前需要关于那些粗糙错误的反馈,并且与专家相关的反馈将是非常有帮助或完全相关的。
图8H示出了根据一个实施例的方法。功能框861表示针对能力水平AL1的分析。这在一些实施例中包括对来自多个对象的多个样本的分析,从而实现身体和/或风格标准化。在862处输出针对能力水平AL1的可观测数据条件。针对能力水平AL2重复这些处理,如框863和864所示。然后针对任意数目的能力水平(取决于所需的与能力有关的粒度的水平)重复该处理,直到能力水平ALn为止(参见框865和866)。
图8I示出了图8G和图8H所示的各方面之间的组合,使得针对每个能力水平,采取初始样本,然后针对身体尺寸和/或风格标准化进行扩展,从而提供针对每个能力水平的可观测数据条件。
课程构造阶段:概述
如上所述,在技能分析阶段100之后,图1B的示例端到端框架进入课程构造阶段110。课程构造的具体方面不属于本公开的范围;对课程构造方法的高度了解足以让熟练的收件人了解这一阶段在整个端到端框架中的作用。
一般来说,最终用户功能与技能训练有关,课程构造包括定义逻辑处理,借以使用ODC作为输入来影响训练内容的传送。例如,训练程序逻辑被配置为执行功能,包括但不限于:
·基于对一个或多个定义的ODC的识别,进行与用户能力水平相关的预测确定。
·基于对一个或多个定义的ODC的识别,向用户提供反馈。例如,这可以包括与ODC表示的症状和/或原因相关的辅导反馈。
·基于对一个或多个定义的ODC的识别,移动到训练程序的不同部分/阶段。例如,这可以包括:(i)确定给定的技能(或子技能)已经被充分掌握,并进展到新的技能(或子技能);或(ii)确定用户具有特定困难,并且为用户提供关于旨在提供补救性训练来解决特定困难的不同技能(或子技能)的训练。
这些仅是指示性选择。实质上,基本概念是使用ODC(即能够在MSD中(或更一般地,在PSD中)被识别的数据属性),从而驱动训练程序中的功能。在实践层面上,这能够提供广泛的训练,从类似协助用户改善黄金摇摆动作,到类似协助用户在吉他上演奏音乐时控制音符的进行。
应当理解,进一步的实施例可应用于除技能训练之外的上下文中,例如在依赖于已经表演特定技能的识别、以及那些技能的属性(例如,已经表演特定的滑雪板技巧,以及与该技巧相关联的空中时间测量)的活动(例如,竞争性活动)的上下文中。在这样的实施例中,ODC用于包括技能识别和技能属性测量的目的。
在一些实施例中,在优选实施例中由用户界面提供的反馈包括关于如何修改运动以便改善表演的建议、或更具体地(在运动传感器的上下文中)更为紧密地建议以便复制被预定义为表示最优表演的运动属性。在这方面,用户下载训练包以学习特定技能,例如运动技能(在一些实施例中训练包包括针对多个技能的内容)。例如,训练包可以涉及广泛的技能,包括类似足球(例如,特定风格的踢球)、板球(例如,特定的投球技术)、滑雪/滑雪板(例如,特定的空中技巧)等等。
一般来说,由本文公开的技术的实施例执行的公共操作处理是(i)用户界面提供指令,以执行定义所训练的技能或与所训练的技能相关联的动作;(ii)POD设备监测来自传感器的输入数据,确定与用户的动作表演相关联的症状模型值;(iii)分析用户的表演;并且(iv)执行用户界面动作(例如,提供再次尝试集中于运动的特定方面的反馈和/或指令)。图9A中的方法900的框903至906中示出了示例。
基于表演的反馈规则是在主观上预定义的,以将技能训练内容配置为响应于观测到的用户表演以适当的方式运行。这些规则基于症状来定义,并且优选地基于观测到的症状模型数据值与预定义的基线症状模型数据值(例如用于最优表演和/或预期不正确的表演的值)之间的偏差。在某些实施例中,基于指定的基线症状模型数据值(或多个值)和观测值之间针对特定症状(或多个症状)的指定范围(或多个范围)的偏差来定义规则。
在某些情况下,由专门针对个人专家的内容作者定义(或定制/加权)了一组规则。也就是说,专家知识是经由定义的规则来实现的。
图9B示出了用于定义基于表演的反馈规则的示例性方法910。规则创建开始于911处。功能框912表示包括选择症状的处理。例如,这是从针对规则涉及的技能所定义的症状的集合中选择的。功能框913表示包括定义症状模型值特性的处理。例如,这包括定义值范围、或者距预定义的值的偏差范围(例如,与针对最优或不正确的表演的基线值的偏差)。
判定914表示在单个规则中结合另外的症状的能力(在具有该能力的情况下,方法循环到912)。例如,症状能够使用“与”、“或”和其它这样的逻辑运算符进行结合。
功能框915表示定义规则效果参数的处理。也就是说,框911-914与规则的“如果(IF)”分量相关,并且框915与规则的“则(THEN)”分量相关。可以使用一系列“THEN”分量类型,包括下述各项中的一个或多个:
·通过用户界面提供特定反馈消息的规则。
·通过用户界面提供若干特定反馈消息之一的规则(通过辅助确定哪一个特定反馈消息可选地基于其它因素,例如用户历史数据)。
·通过用户界面提供特定指令的规则。
·通过用户界面提供若干特定指令之一的规则(通过辅助确定哪一个特定指令可选地基于其它因素,例如用户历史数据)。
·在技能或活动的定义的进展路径中进入不同阶段的规则。
·在定义的进展路径中进入若干不同阶段之一的规则(通过辅助确定哪一个阶段可选地基于其它因素,例如用户历史数据)。
·建议将特定内容下载到POD设备的规则(例如,针对不同技能或活动进行训练的内容)。
应当理解,这些仅是示例,并且实施例可选地实现允许灵活且潜在复杂的规则定义能力的复杂布置。
在一些实施例中,规则被集成到动态进展路径中,动态进展路径基于用户的属性来适应。下面进一步讨论一些示例。作为上下文,观测和反馈并非通过一对一的关系相连接;给定的表演观测(即观测到的症状模型值的集合)可以根据用户属性与多个可能的效果相关联。一个重要的示例是“挫败缓解”,其阻止用户陷入重复错误并接收相同反馈的循环。相反,在以指示的方式执行失败尝试阈值数目之后,实现替代方法(例如,不同的反馈、开始用户更有可能成功的不同任务,等等)。
在一些实施例中,由用户界面提供的反馈被配置为基于以下用户属性中的一者或两者来适应。在某些情况下,这些用户属性包括下述各项中的一个或多个:
·先前的用户表演。如果用户已经多次尝试技能失败,则用户界面通过向用户提供不同的反馈、尝试的不同技能(或子技能)等来适应。这优选地被构造为通过防止用户在实现特定结果时重复失败的情况来减少用户挫败。
·用户学习风格。例如,在某些情况下,基于用户的所识别的优选学习风格,向用户提供不同的反馈/指导风格。在某些情况下,优选的学习风格在算法上被确定,并且在某些情况下由用户通过偏好选择界面来设置。
·用户能力水平。在一些实施例中,反馈路径考虑用户的能力水平(在此上下文中是用户设置偏好)。以这种方式,被提供给第一能力水平的用户的反馈可以不同于被提供给另一能力水平的用户的反馈。例如,与精英级运动员相比,这可以用于向业余运动员提供训练中的不同级别的细化。
一些实施例提供用于实现利用这种自适应反馈原理的内容生成的技术框架。
示例可下载内容数据结构
在技能分析和课程构造之后,内容可供下载到最终用户设备。这优选地可以经由一个或多个在线内容市场获得,其使得具有web功能的设备的用户能够浏览可用的内容,并且使得将内容下载到其相应的设备。
在优选实施例中,可下载内容包括以下三种数据类型:
(i)表示传感器配置指令的数据,也称为“传感器配置数据”。这是被配置为执行下述操作的数据:使得将一个或多个PSU的集合配置为提供具有指定属性的传感器数据。例如,传感器配置数据包括使得给定PSU执行下述操作的指令:采用活跃/非活跃状态(和/或响应于定义的提示在这些状态之间进行);基于定义的协议(例如,采样速率和/或分辨率)传送来自其组成传感器组件中的一个或多个的传感器数据。给定的训练程序可以包括多组传感器配置数据,这些数据应用于相应的练习(或响应于提示特定形式的ODC监测的节目内事件)。在一些实施例中,多组传感器配置数据被定义为分别优化用于在最终用户硬件的不同布置中识别特定ODC。例如,最终用户硬件的一些布置可以具有附加的PSU和/或更高级的PSU。在优选实施例中,定义传感器配置数据,从而优化由PSU传送的数据,以在监测ODC时提高数据处理的效率。也就是说,在内容的特定元素监测n个特定ODC的情况下,传感器配置数据被定义为移除传感器数据中对于那些ODC的识别是多余的各方面。
(ii)状态引擎数据,其将诸如POD设备之类的表演分析设备配置为处理从连接的传感器的集合中的一个或多个传感器接收到的输入数据,从而分析由连接的传感器的集合中的该一个或多个传感器感测到的身体表演。重要的是,这包括监测与正在被传送的内容相关的一个或多个ODC的集合。例如,内容由逻辑驱动,该逻辑基于对由PSU传送的数据中的特定ODC的观测。
(iii)用户界面数据,其将表演分析设备配置为响应于对身体表演的分析而向用户提供反馈和指令(例如,传送包括训练程序数据的课程)。在一些实施例中,用户界面数据至少部分地从web服务器定期下载。
将可下载内容传送到最终用户设备的方式在实施例之间变化,例如基于最终用户硬件设备的性质、基于云的数据组织框架等而变化。下面描述了各种实施例。
关于传感器配置数据,内容数据包括计算机可读代码,其使得POD设备(或另一设备)能够将PSU的集合配置为以针对该特定技能(或一组技能)优化的定义的方式提供数据。这在减少在POD设备上执行的处理的量的上下文中是相关的;传感器提供的数据量基于识别正在被训练的特定一个或多个技能的症状实际所需要的数据量来减少。例如,这可以包括:
·选择性地(在某些情况下动态地)激活/禁用一个或多个传感器。
·设置单个传感器的采样速率。
·针对单个传感器设置数据传输速率和/或数据批处理序列。
·将传感器配置为仅提供其收集的数据的子集。
POD设备基于将要训练的技能来向传感器提供配置指令,并且随后基于所应用的配置(参见例如图9A中的功能框901和902)从一个或多个传感器接收数据,以便允许对PSU驱动的训练程序的传送。
在某些情况下,传感器配置数据包括在不同时间加载到POD设备上的各个部分。例如,POD设备可以包括在所有传感器配置中通用的这类代码(例如在其固件中)的第一集合,其由代码的一个或多个附加集合(其可以同时下载或可以在不同时间下载)补充,其以分级方式增加了实现传感器配置的特异性。例如,一种方法是具有基本级指令、特定于MSU的特定集合的指令、以及针对正在被训练的特定技能特定于那些MSU的配置的指令。
传感器优选地基于针对其传送训练内容的技能的特定监测要求来配置。这在某些情况下特定于正在被训练的特定的基于运动的技能,或甚至特定于正在被训练的基于运动的技能的特定属性。
在一些实施例中,状态引擎数据针对如何基于正在被训练的给定技能来处理从连接的传感器获得的数据(即,PSD)对POD设备进行配置。在一些实施例中,每个技能与一组ODC(其可选地各自表示症状)相关联,并且状态引擎数据将POD设备配置为处理传感器数据,从而基于对特定ODC的观测来对用户的表演进行客观判定。在一些实施例中,这包括识别特定ODC的存在,然后确定相关联的症状存在。在一些情况下,这随后触发辅助分析以识别表示与该症状相关联的原因的集合中的一个原因的ODC。在其它实施例中,分析包括基于下述(i)和(ii)之间的变化的确定:(i)基于用户的表演从传感器数据确定的症状模型数据;以及(ii)预定义的基线症状模型数据值。例如,这用于针对每个症状实现对用户的表演与预定义的特性的比较。
一些实施例中的用户界面数据包括呈现的数据,从而提供经由用户界面呈现的图形内容。在一些实施例中,这样的数据被维护在POD设备上(例如,视频数据从POD设备被流传输到用户界面设备,如智能手机或其它显示器)。在其它实施例中,定义用于经由用户界面呈现图形内容的数据被存储在其它地方,包括(i)在智能手机上;或(ii)在云托管的位置处。
用户界面数据还包括被配置为导致执行自适应训练程序的数据。这包括响应于输入的逻辑/规则,输入包括PSD(例如从MSD得到的ODC)和其它因素(例如,用户属性,如能力水平、学习风格和心理/身体状态)。在一些实施例中,对这类数据的下载实现离线模式的操作,由此为了用户参与训练程序,不需要活跃的因特网连接。
对专家知识变化的传送
在一些实施例中,技能训练内容被构造(至少关于一些技能),以使得用户能够选择下述两者:(i)所需技能;以及(ii)与该技能相关的所期望的“专家知识”的集合。
在高水平上,“专家知识”允许用户基于特定专家对该技能的解释来参与训练以学习特定技能。在这方面,个人技能可以具有多个不同的专家知识变化。作为具体的示例,足球撮踢可以具有基于玩家X对撮踢的最优形式的解释的第一专家知识变化,以及具有基于玩家Y对撮踢的最优形式的解释的第二专家知识变化。这允许用户不仅接收针对期望技能的训练,而且还可以接收针对该期望技能的基于所选择的专家的知识的训练(在某些实施例中可以提供类似于由该所选择的专家训练的用户体验)。
从技术角度来看,专家知识是通过下述各项中的任何一个或多个来传送的:
(i)定义特定于专家的ODC。也就是说,识别特定触发器数据(如症状和/或原因)的方式对于给定的专家是特定的。例如,给定的专家可能关于如何观测和/或定义特定症状具有不同于共识观点的观点。此外,症状和/或原因可以以特定于专家为基础来定义(即特定的专家识别出不是普通共识的一部分的症状)。
(ii)定义特定于专家的症状到原因的映射。例如,可以存在可以对给定观测症状负责的原因的集合的共识观点,以及一个或多个额外的特定于专家的原因。这允许实现专家知识,例如,其中特定专家在寻求可能成为症状的根本原因的共识智慧之外寻找某些东西。
(iii)定义特定于专家的训练数据,如反馈和训练程序逻辑。例如,由特定专家给出的解决特定症状/原因的建议可以是特定于专家的,和/或特定于专家的补救训练可以被定义。
以这种方式,专家知识能够通过技术实现,从而提供特定于专家的自适应训练程序。
例如,可以实现专家知识,以基于下述各项中的任何一个或多个来实现特定于专家的定制:
·专家风格。例如,定义ODC、映射和/或反馈,以协助用户学习以与给定专家相关联的风格来执行活动。这是相关的,例如,在动作运动的上下文中,由不同运动员以非常不同的视觉风格进行特定的操作,并且用户将一种特定的风格看作是优选的。
·专家辅导知识。例如,定义ODC、映射和/或反馈,从而为用户提供对特定于专家的辅导知识的访问。例如,它是基于特定的专家观点是有意义的和/或重要的。
·专家辅导风格。例如,定义ODC、映射和/或反馈,以提供复制特定于特定专家的辅导风格的训练程序。
包括特定于给定专家的数据(例如,ODC、映射和/或反馈数据)的训练数据的集合被称为“专家知识变化”。在某些情况下,特定技能具有多组可供下载的专家知识变化。
在另外的实施例中,专家知识经由针对最优表演的特定于专家的基线症状模型数据值来实现(并且优选地还可以经由还包括预期的不正确表演的值的基线症状模型数据值)。这实现在测量的症状与特定于专家的基线症状模型值之间进行比较,从而客观地评估用户实际表演与例如特定专家视为最优表演的表演之间的偏差。作为具体的示例,足球撮踢可以具有基于玩家X对撮踢的最优形式的解释的第一专家知识变化,以及具有基于玩家Y对撮踢的最优形式的解释的第二专家知识变化。这允许用户不仅接收针对期望技能的训练,而且还可以接收针对该期望技能的来自所选择的专家的训练。
一类实施例提供了一种用于使得用户能够配置本地表演监测硬件设备的操作的计算机实现的方法。该方法包括:(i)提供被配置为使得客户端设备的用户能够选择一组可下载内容的界面,其中该组可下载内容涉及一个或多个技能;以及(ii)使得用户能够将表示所选择的一组可下载内容的至少一部分的数据下载到与用户相关联的本地表演监测硬件。例如,服务器设备提供界面(例如,由客户端终端经由web浏览器应用或专用软件访问的界面),并且客户端终端的用户访问该界面。在某些情况下,这是允许浏览可用内容和/或访问经由超链接(包括第三方网页上的超链接)可获得的内容描述页面的界面。在这方面,在某些情况下,界面是向客户端提供对内容市场的访问的界面。
在某些情况下,下载是基于用户指令来发生的。例如,用户在某些情况下执行内容被选择(和购买/获取)的初始处理,以及内容(或其一部分)借以被实际下载到用户硬件的后续处理。例如,在某些情况下,用户具有维护在云托管布置中的购买内容的库,并且根据需要选择要下载到本地存储装置的特定内容。作为实际情况,用户可以购买针对足球和高尔夫二者的训练程序,并且在给定的一天希望专门利用高尔夫内容(并因此下载执行高尔夫内容所需的代码的相关部分)。
下载包括对下述各项的下载:(i)传感器配置数据,其中传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以定义的方式进行操作从而提供表示特定技能的尝试表演的数据;(ii)状态引擎数据,其中状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由一个或多个表演传感器单元的集合所提供的数据来识别特定技能的尝试表演的属性;以及(iii)用户界面数据,其中用户界面数据包括被配置为执行下述操作的数据:基于所识别的特定技能的尝试表演的属性来实现用户界面的操作。
应当理解,并不是所有定义特定训练程序的数据都需要在任何一个时间被下载。例如,在用户硬件被配置为维持因特网连接的情况下,可以根据需要下载内容的附加部分。然而,在某些情况下,用户硬件被配置为以离线模式进行操作,因此实现对内容的执行所需的所有数据都被下载到本地硬件。这在教学视频形式的用户界面数据的上下文中是特别相关的。在某些情况下,所下载的用户界面数据表示根据需要(例如,经由流式传输)从其访问教学视频的web位置,而在其它情况下,所下载的用户界面数据包括视频数据。在一些实施例中,更丰富的内容(例如,流式视频)仅可用于在线使用;在用户在离线模式下操作本地硬件的情况下,内容的某些富媒体方面不可用于查看。
该方法还包括使得用户能够选择由所选择的一个或多个技能的专家知识变化定义的可下载内容,其中存在可用于一个或多个技能的集合的多个专家知识变化。例如,在实际层面上,在线市场可以提供不与任何特定专家相关联的“标准”级别的内容,以及与特定专家相关联的一个或多个“优质”级别的内容(例如,作为品牌内容)。
每个专家知识变化在功能上不同于针对同一技能的其它内容产品;例如,分析给定尝试表演的方式基于专家知识的特点而变化。
在一些情况下,第一专家知识变化与第一组状态引擎数据相关联,并且第二专家知识变化与第二组不同的状态引擎数据相关联。第二组不同的状态引擎数据被配置为实现对未使用第一组状态引擎数据识别的表演的一个或多个特定于专家的属性的识别。特定于专家的属性可以与下述各项中的一者或两者有关:
·与专家相关联的表演的风格。例如,表演的风格由使用从一个或多个运动传感器单元得到的数据可观测的身体运动的定义属性来表示。通过滑板运动领域中的实例,这使得内容能够提供“学习如何表演McTwist”、“学习如何以Pro Skater A的风格表演McTwist”和“学习如何以Pro Skater B的风格表演McTwist”。
·与专家相关联的辅导知识。例如,基于被配置为客观地定义辅导特性的处理来定义一个或多个特定于专家的属性(例如,如上面另外的示例中所述,其中专家知识与共识观点分离)。通过滑板运动领域中的实例,这使得内容能够提供“学习如何表演McTwist”、“从Pro Skater A学习如何表演McTwist”和“从Pro Skater B学习如何表演McTwist”。
还有一些专家知识变化考虑辅导风格的情况,例如针对相同的症状给出相同的建议,但建议以不同的方式被传送的情况。
在一些情况下,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:(i)针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及(ii)针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。此外,这可选地用于能够实现风格变化、辅导知识变化和/或辅导风格变化中的任何一个或多个。
在一些情况下,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:(i)针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及(ii)针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。此外,这可选地用于能够实现风格变化、辅导知识变化和/或辅导风格变化中的任何一个或多个。在一些示例中,第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
另一实施例提供了一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,方法包括:(i)生成第一组可观测数据条件,其中第一组包括被配置为实现对从一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;以及(ii)生成第二组可观测数据条件,其中第二组包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性。在该实施例中,第二组可观测数据条件包括在第一组可观测数据条件中不存在的一个或多个特定于专家的可观测数据条件;一个或多个特定于专家的可观测数据条件被合并到针对所定义的技能的技能训练内容相对于仅使用第一组可观测数据条件生成的技能训练内容的专家知识变化中。技能训练内容的专家知识变化考虑了下述各项中的一个或多个:(i)与特定人类专家相关联的相对于基线技能表演风格的风格差异;(ii)与特定人类专家相关联的相对于基线辅导知识的辅导知识差异;以及(iii)与特定人类专家相关联的相对于基线辅导风格的辅导风格差异。
一个实施例提供了一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,方法包括:(i)生成第一组技能训练内容,其中第一组技能训练内容被配置为基于对从一个或多个表演传感器单元得到的输入数据的处理来实现对针对所定义的技能的技能训练程序的传送,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;以及(ii)生成第二组技能训练内容,其中第二组技能训练内容包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性。在该实施例中,第二组技能训练内容被配置为响应于给定的一组输入数据提供与第一组技能训练内容响应于相同的一组输入数据相比不同的训练程序效果,使得第二组技能训练内容提供了技能训练内容的专家知识变化。此外,技能训练内容的专家知识变化考虑了下述各项中的一个或多个:(i)与特定人类专家相关联的相对于基线技能表演风格的风格差异;(ii)与特定人类专家相关联的相对于基线辅导知识的辅导知识差异;以及(iii)与特定人类专家相关联的相对于基线辅导风格的辅导风格差异。
包含MSU的示例最终用户硬件布置
一些实施例利用PCT/AU2016/000020中所公开的各种硬件配置(例如具有MSU功能的服装)来使得能够监测最终用户对给定技能的尝试表演,其包括在该尝试表演期间收集的传感器数据中识别预定义的可观测数据条件(例如,通过上述方法定义的可观测数据条件)。PCT/AU2016/000020通过交叉引用被整体合并于此。
MSU和具有MSU功能的服装的配置:概述
在某些情况下,最终用户设备中的ODC的识别需要:(i)关于给定用户上的MSU的实际位置的知识;以及(ii)关于MSU的相对定位的知识。有意义地组合来自多个MSU的数据存在挑战,因为每个MSU通常提供关于它们自己的参考系的运动数据。
上述各种实施例使用从传感器单元的集合导出的数据,从而能够分析身体表演。这些传感器单元例如通过被配置为携带多个传感器单元的可穿戴服装被安装到用户的身体。本部分以及随后的部分描述了在一些实施例中用于配置传感器单元的示例性方法,从而能够基于从传感器导出的数据来分析诸如人体运动之类的运动。
作为背景,用于收集表示身体表演的数据的已知和流行的方法是使用光学运动捕获技术。例如,这种技术在光学上定位在用户身体上的各个位置处可观测的标记,并且使用视频捕获技术来导出表示标记的位置和运动的数据。分析通常使用虚拟构造的身体模型(例如,完整的骨骼、面部表情等),并且将标记的位置和运动转换到虚拟构造的身体模型。在一些现有技术示例中,计算机系统能够经由在计算机系统中定义的虚拟身体模型基本上实时地重建物理用户的精确运动。例如,这种技术由运动捕获技术组织Vicon提供。
运动捕获技术在其实用性方面受到限制,因为它们通常需要以下两者:(i)用户具有位于其身体上各个位置处的标记;以及(ii)使用一个或多个摄像头设备捕获用户表演。虽然一些技术(例如,使用深度感测摄像头的技术)能够减少对视觉标记的需求的依赖,但运动捕获技术本质上受限于针对在能够由一个或多个摄像头设备捕获的位置发生的表演的需求。
本文描述的实施例使用运动传感器单元,从而克服与运动捕获技术相关联的限制。运动传感器单元(也称为惯性测量单元或IMU),例如包括一个或多个加速度计、一个或多个陀螺仪和一个或多个磁力计的运动传感器单元能够固有地提供表示其自身运动的数据。这种传感器单元测量和报告参数,包括速度、方向和重力。
与运动捕获技术相比,使用运动传感器单元提出了一系列挑战。例如,针对至少以下原因,使用多个运动传感器时会出现技术挑战:
·每个传感器单元基于其自身的本地参考系提供数据。在这方面,每个传感器固有地提供数据,就像它本质上定义其自身宇宙的中心一样。这与运动捕获不同,在运动捕获中,捕获设备固有地能够相对于公共参考系来分析每个标记。
·每个传感器单元都不能准确地知道其所位于的枝干。虽然传感器服装可以定义大致的位置,但是个体用户将具有不同的身体属性,这将影响精确定位。这与运动捕获技术不同,在运动捕获中,标记通常以高精度定位。
·所有传感器完全独立地运行,就好像它们被放置在电子“碗汤(bowl of soup)”中,没有骨骼/四肢连接它们。也就是说,传感器各自的数据输出与任何种类的虚拟身体上的相对定位无关,这不同于运动捕获中使用的标记。
下面描述的技术和方法使得能够处理传感器单元数据,从而提供通用的全体范围的参考系。例如,这可以通过下述各项中的一者或两者来实现:(i)定义被配置为将传感器单元SU1至SUn的运动数据转换到公共参考系的转换;以及(ii)确定传感器单元SU1至SUn之间的骨骼关系。应当理解,在许多情况下,这些是不可分割的联系在一起的:转换到共同的参照系能够确定骨骼关系。
在一些实施例中,对传感器数据的处理导致定义表示虚拟骨骼身体模型的数据。这实际上使得从运动传感器套装布置收集的数据能够提供与经由常规运动捕获可用的分析类似形式的分析(其还提供表示虚拟骨骼身体模型的数据)。
可以使用PCT/AU2016/000020中所描述的处理技术。总而言之,这些技术至少在以下上下文中发现应用:
·组装适用于与经由定义的运动捕获技术提供的模型进行比较的骨骼模型。例如,可以在分析阶段期间收集运动捕获数据和传感器导出的数据,从而验证从运动传感器数据的处理导出的骨骼模型数据是否与从运动捕获技术导出的相应骨骼模型匹配。这适用于在客观上定义技能(如上所述)的处理的上下文中,或者更普遍地适用于测试和验证数据传感器数据处理方法的上下文中。
·穿戴的具有传感器功能的服装的自动“非姿态特定”配置。也就是说,为了传感器配置的目的,不要求用户采用一个或多个预定义的配置姿态,下面描述的处理技术允许通过处理由基本上任何运动产生的传感器数据,来将每个相应传感器的数据转换到公共参考系(例如通过组装骨骼模型)。也就是说,下面的方法需要相当通用的“运动”,用于比较一个传感器相对于另一传感器的运动的目的。该运动的确切性质的重要性是有限的。
·实现对技能的身体表演的准确监测(例如在技能训练和反馈的上下文中)。例如,这可以包括监测传感器数据中的可观测数据条件(如上所述,其表示表演影响因素)。
下面描述了许多方法。这些方法能够单独地或组合地应用(例如重叠和/或混合布置)。
另外的细节在PCT/AU2016/000020中被提供。
结论和解释
除非另有明确说明,否则从以下讨论中可以明显看出,应该理解,在整个说明书中,利用诸如“处理”、“计算”、“核算”、“确定”、“分析”等的术语涉及计算机或计算系统或类似的电子计算设备将表示为物理(例如电子)量的数据操纵和/或转换为类似地表示为物理量的其它数据的动作和/或处理。
以类似的方式,术语“处理器”可以指处理电子数据(例如,来自寄存器和/或存储器)以将该电子数据转换到其它电子数据(例如可以被存储在寄存器和/或存储器中)的任何设备或设备的一部分。“计算机”或“计算机器”或“计算平台”可以包括一个或多个处理器。
在一个实施例中,这里描述的方法可以由接受计算机可读(也称为机器可读)代码的一个或多个处理器执行,该处理器包含指令集,当一个或多个处理器执行时,该指令集执行至少一个本文描述的方法。包括能够执行指定要采取的动作的指令集(顺序或以其它方式)的任何处理器。因此,一个示例是包括一个或多个处理器的典型处理系统。每个处理器可以包括CPU、图形处理单元和可编程DSP单元中的一个或多个。处理系统还可以包括具有主RAM和/或静态RAM和/或ROM的存储器子系统。可以包括总线子系统以在组件之间进行通信。处理系统还可以是具有由网络耦合的处理器的分布式处理系统。如果处理系统需要显示器,则可以包括这样的显示器,例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入,则处理系统还包括输入设备,例如,诸如键盘之类的字母数字输入单元。诸如鼠标之类的定点控制设备等中的一个或多个。如本文所使用的术语存储器单元,如果从上下文中清楚并且除非另有明确说明,还包括诸如盘驱动器单元之类的存储系统。一些配置中的处理系统可以包括声音输出设备和网络接口设备。存储器子系统因此包括计算机可读载体介质,其携带包括指令集的计算机可读代码(例如,软件),以在由一个或多个处理器执行时执行本文所描述的方法中的一个或多个。注意,当该方法包括数个元素,例如数个步骤时,除非具体说明,否则不暗示这些元件的排序。该软件可以驻留在硬盘中,或者也可以在由计算机系统执行期间完全或至少部分地驻留在RAM内和/或处理器内。因此,存储器和处理器也构成携带计算机可读代码的计算机可读载体介质。
此外,计算机可读载体介质可以形成计算机程序产品或被包括在计算机程序产品中。
在替代实施例中,一个或多个处理器作为独立设备操作,或者可以在网络部署中连接(例如,联网到其它处理器),一个或多个处理器可以以服务器或用户机器的身份在服务器用户网络环境中进行操作,或作为对等或分布式网络环境中的对等机器进行操作。一个或多个处理器可以形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或网桥、或任何能够执行指定要由该机器采取的动作的指令集(顺序或以其它方式)的机器。
注意,虽然图仅示出携带计算机可读代码的单个处理器和单个存储器,但是本领域技术人员将理解,包括上述组件中许多组件,但未明确示出或描述,以便不模糊发明方面。例如,虽然仅示出了单个机器,但术语“机器”也应被视为包括单独或共同执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器的任何集合。
因此,本文描述的每种方法的一个实施例是携带一组指令的计算机可读载体介质的形式,例如用于在一个或多个处理器(例如作为web服务器布置的一部分一个或多个处理器)上执行的计算机程序。因此,如本领域技术人员将理解的,本发明的实施例可以体现为方法、诸如专用装置之类的装置、诸如数据处理系统之类的装置或计算机可读载体介质,例如,计算机程序产品。计算机可读载体介质携带计算机可读代码,其包括指令集,当在一个或多个处理器上执行时,指令集使得一个或多个处理器实现方法。因此,本发明的各方面可以采取方法、完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。此外,本发明可以采取携带介质中实施的计算机可读程序代码的载体介质(例如,计算机可读存储介质上的计算机程序产品)的形式。
还可以经由网络接口设备通过网络发送或接收该软件。尽管在示例性实施例中将载体介质示出为单个介质,但术语“载体介质”应当被认为包括存储一组或多组指令的单个介质或多个介质(例如,集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“载体介质”还应被视为包括能够存储、编码或携带指令集以供一个或多个处理器执行并使一个或多个处理器执行本发明的任何一个或多个方法的介质。载体介质可以采取许多形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘、磁盘和磁光盘。易失性介质包括动态存储器,如主存储器。传输介质包括同轴电缆、铜线和光纤,包括构成总线子系统的电线。传输介质还可以采取声波或光波的形式,例如在无线电波和红外数据通信期间生成的波。因此,术语“载体介质”应被视为包括但不限于固态存储器,体现在光学和磁性介质中的计算机产品;具有承载由一个或多个处理器中的至少一个处理器可检测的传播信号并且表示指令集的介质,当指令集被运行时,执行方法;以及网络中承载由一个或多个处理器中的至少一个处理器可检测的可传播信号并且表示指令集的传输介质。
应当理解,所讨论的方法的步骤在一个实施例中由执行存储在存储装置中的指令(计算机可读代码)的处理(即,计算机)系统的适当的处理器(或多个处理器)执行。还将理解,本发明不限于任何特定的实现或编程技术,并且本发明可以使用用于实现本文所描述的功能的任何适当的技术来实现。本发明不限于任何特定的编程语言或操作系统。
应当理解,在上面对本发明的示例性实施例的描述中,为了简化本公开并有助于理解各种发明方面中的一个或多个方面,本发明的各种特征有时在单个实施例、图或其描述中被分组在一起。然而,这种公开的方法不应被解释为反映所要求保护的发明需要比每个权利要求中明确叙述的特征更多的特征的意图。相反,如以下权利要求所反映的那样,发明的各方面在于少于单个前述公开实施例的所有特征。因此,具体实施方式中的权利要求在此明确地并入具体实施方式中,其中每个权利要求独立地作为本发明的单独实施例。
此外,虽然本文所描述的一些实施例包括一些特征但不包括其它实施例中的其它特征,但是不同实施例的特征的组合意图在本发明的范围内,并且形成不同的实施例,如本领域技术人员将理解的。例如,在所附权利要求中,任何要求保护的实施例可以以任何组合使用。
此外,一些实施例在这里被描述为可以由计算机系统的处理器或通过执行该功能的其它手段来实现的方法或方法的元素的组合。因此,具有用于执行方法或方法的元素的必要指令的处理器形成用于执行方法或方法元素的装置。此外,本文中描述的装置实施例的元件是用于执行由针对实现本发明的目的的元件执行的功能的装置的示例。
在本文提供的描述中,阐述了许多具体细节。然而,应当理解,可以在没有这些具体细节的情况下实践本发明的实施例。在其它情况下,还没有详细地示出众所周知的方法、结构和技术,以便不模糊对描述的理解。
类似地,应注意,术语耦合在权利要求中使用时不应被解释为仅限于直接连接。可使用术语“耦合”和“连接”以及其派生词。应理解,这些术语不旨在作为彼此的同义词。因此,耦合到设备B的设备A的表达式的范围不应被限制在其中设备A的输出直接连接到设备B的输入的设备或系统。这意味着在A的输出和B的输入之间存在路径,其可以是包括其它设备或装置的路径。“耦合”可以意味着两个或更多个元件直接物理或电接触,或者两个或更多个元件彼此不直接接触但仍然彼此协作或相互作用。
因此,虽然已经描述了被认为是本发明的优选实施例的内容,但是本领域技术人员将认识到,在不脱离本发明的精神的情况下,可以对其进行其它和进一步的修改,并且旨在要求所有这些改变和修改落入本发明的范围内。例如,上面给出的任何公式仅仅表示可以使用的过程。可以从框图中添加或删除功能,并且可以在功能框之间互换操作。可以将步骤添加或删除到在本发明的范围内描述的方法。

Claims (104)

1.一种用于定义可观测数据条件(ODC)的方法,其中,所述ODC被配置为使得能够通过从表演传感器单元(PSU)导出的数据来自动监测身体技能的身体表演,所述方法包括:
捕获表示所述技能的多个样本表演的数据,其中所述多个样本表演由一个或多个样本表演者表演;
分析表示所述样本表演的所述数据从而得到针对所述技能的一个或多个症状,其中每个症状对应于可识别的表演影响因素;并且
针对每个症状,确定相关联的ODC集合,其中所述相关联的ODC集合当在从所述PSU导出的关于所述技能的表演的数据中被观测到时表示在所述表演中存在所述症状。
2.根据权利要求1所述的方法,其中,所述ODC集合分别被配置为嵌入到可下载到最终用户硬件并由所述最终用户硬件实施的状态引擎数据中,所述最终用户硬件被配置为从最终用户PSU集合中接收PSD,从而使得能够通过所述最终用户硬件来监测所述ODC集合。
3.根据权利要求2所述的方法,其中,与关于给定技能的可识别的多个症状相关联的ODC被下载到所述最终用户硬件并由所述最终用户硬件实施,从而使得能够自动监测所述技能的身体表演,所述自动监测包括自动识别所述多个症状中的一个或多个症状的存在。
4.根据权利要求1所述的方法,其中,所述PSU是由具有运动传感器单元(MSU)功能的服装携带的MSU,并且其中,所述症状中的一个或多个症状表示给定人体点在技能的一定阶段期间的三维运动。
5.根据权利要求1所述的方法,其中,所述PSU是由具有MSU功能的服装携带的MSU,其中所述症状中的一个或多个症状表示多个给定人体点在技能的一个或多个阶段期间的三维运动。
6.根据权利要求1所述的方法,其中,所述PSU是由具有MSU功能的服装携带的MSU,并且其中捕获表示所述技能的多个样本表演的数据包括捕获视频数据以及以下数据中的一者或两者:(i)运动捕获数据(MCD);和运动传感器数据(MSD)。
7.根据权利要求6所述的方法,其中,捕获表示所述技能的多个样本表演的数据包括捕获视频数据、MCD、和MSD。
8.根据权利要求6所述的方法,其中,所述视频数据包括从多个视角捕获的视频数据。
9.根据权利要求6所述的方法,其中,分析表示所述样本表演的所述数据从而得到针对所述技能的一个或多个症状包括:对所述视频数据的人类视觉分析,从而识别症状。
10.根据权利要求9所述的方法,其中,分析表示所述样本表演的所述数据从而得到针对所述技能的一个或多个症状包括:分析MCD和MSD中的任一者或两者,从而通过对所述视频数据的视觉分析来识别表示所识别的症状的数字化数据。
11.根据权利要求1所述的方法,其中,针对给定症状确定ODC集合包括:(i)确定预测的ODC集合;(ii)在针对包含所述给定症状的所有样本表演的样本表演数据中验证所述ODC集合的存在;(iii)在不包含所述给定症状的所有样本表演中验证所述ODC集合的存在;以及(iv)在(ii)或(iii)中的验证不成功的情况下,修改所述预测的ODC集合。
12.根据权利要求1所述的方法,其中,捕获表示样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:(i)捕获表示所述表演的一个或多个视频数据集合;以及(ii)捕获表示所述表演的一个或多个传感器数据集合。
13.根据权利要求12所述的方法,其中:分析所述样本表演从而在视觉上识别至少一个症状包括:基于表演各自的视频数据集合来比较表演;并且其中,针对每个识别的症状确定相关联的ODC集合包括分析所捕获的传感器数据集合。
14.根据权利要求1所述的方法,其中,捕获表示所述样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:(i)捕获表示所述表演的一个或多个视频数据集合;以及(ii)分析所述样本表演从而在视觉上识别至少一个症状包括基于表演各自的视频数据集合来比较表演。
15.根据权利要求14所述的方法,其中,基于表演各自的视频数据集合来比较表演包括:定义其中表示第一样本表演的视频数据集合与表示第二样本表演的相应的视频数据集合重叠的重叠视频数据,从而使得能够在视觉上识别所述第一样本表演和所述第二样本表演之间的表演运动上的差异。
16.根据权利要求1所述的方法,其中,捕获表示样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:捕获表示所述表演的MCD和/或MSD,并且其中,分析所述样本表演从而在视觉上识别一个或多个症状包括:对来自第一样本表演的MCD和/或MSD的视觉表示与来自第二样本表演的传感器数据的视觉表示进行比较。
17.根据权利要求16所述的方法,其中,所述MCD和/或MSD的视觉表示包括三维虚拟人体动画。
18.根据权利要求17所述的方法,其中,对来自所述第一样本表演的MCD和/或MSD的视觉表示与来自所述第二样本表演的MCD和/或MSD的视觉表示进行比较包括:将来自所述第一个样本表演的MCD和/或MSD的视觉表示针对来自所述第二个样本表演的MCD和/或MSD的视觉表示进行叠加。
19.根据权利要求1所述的方法,其中,分析所述样本表演从而在视觉上识别至少一个症状包括:(i)识别一个或多个最优表演;以及(ii)识别多个次优表演。
20.根据权利要求19所述的方法,其中,(i)识别一个或多个最优表演以及(ii)识别多个次优表演包括:定义客观标准,该客观标准当被满足时表示最优表演。
21.根据权利要求20所述的方法,包括:基于所述次优表演的特征将所述多个次优表演分类到一组次优表演类别中。
22.根据权利要求21所述的方法,其中,分析所述样本表演从而在视觉上识别至少一个症状包括:识别属于给定次优表演类别的给定的一组次优表演共同的属性,所述属性是与最优表演共同的属性不同的属性。
23.根据权利要求1所述的方法,包括:(i)捕获表示第一样本用户SU1对所述技能的多个样本表演的数据;以及(ii)捕获来自多个另外的样本用户SU2到SUn中的每一者的多个样本表演。
24.根据权利要求23所述的方法,包括:比较用户SU1至SUn的表演,从而识别身体尺寸特征对以下两者中的一者或二者的影响:(i)症状;和(ii)ODC。
25.根据权利要求23所述的方法,其中,所识别的身体尺寸特征的影响被用于说明所述最终用户的身体尺寸特征。
26.根据权利要求23所述的方法,包括:比较用户SU1至SUn的表演,从而识别个人风格对以下两者中的一者或二者的影响:(i)症状;和(ii)ODC。
27.根据权利要求23所述的方法,其中,从所述ODC中排除所识别的个人风格的影响。
28.根据权利要求23所述的方法,其中,针对给定样本用户所识别的个人风格的影响在与所述样本用户相关联的聚焦于风格的ODC集合中被定义。
29.根据权利要求23所述的方法,其中,所述样本用户SU1至SUn中的每个样本用户关于所述技能具有共同的能力水平。
30.根据权利要求23所述的方法,包括:通过将一组预定义的转换应用于针对SU1至SUn的子集中的所有样本用户收集的数据来定义表示多个虚拟样本表演的数据,从而在一定范围的不同身体尺寸和/或身形之间转换数据。
31.根据权利要求1所述的方法,其中,给定的ODC集合与转换协议相关联,从而为具有已知身体尺寸和/或身形的用户转换所述ODC。
32.根据权利要求1所述的方法,包括:(i)捕获表示具有第一能力水平的第一样本用户SU1AL1对所述技能的多个样本表演的数据;(ii)捕获来自具有第一能力水平的多个另外的样本用户SU2AL1至SUnAL1中的每一者的多个样本表演;并且捕获来自具有多个另外的表演水平的多个另外的样本用户(SU1AL2…SUnAL2)至(SU1ALm…SU1ALm)中的每一者的多个样本表演。
33.根据权利要求32所述的方法,包括:定义针对能力水平AL1至ALm中的每个能力水平的相应的症状和相关联的ODC。
34.根据权利要求1所述的方法,包括:允许内容作者在训练程序中定义功能,其中,所述功能响应于在从所述最终用户的技能表演中导出的传感器数据中识别到所述ODC集合中的一个或多个ODC而被触发。
35.根据权利要求34所述的方法,其中,所述功能包括向所述最终用户提供反馈。
36.根据权利要求34所述的方法,其中,所述反馈是从多个反馈项目中选择的。
37.根据权利要求36所述的方法,其中,所选择的反馈项目被定义为鼓励后续表演中的如下用户行为:不展示触发所述反馈项目的先前观测到的数据条件、并且展示与最优表演相关联或更紧密地反映最优表演的ODC的用户行为。
38.一种被配置为通过一组运动传感器监测最终用户对技能的身体表演的设备,所述一组运动传感器包括附接到最终用户身体上的多个运动传感器,所述设备包括:
处理单元,被配置为接收来自所述一组运动传感器的输入数据;以及
存储器模块,被配置为处理所述输入数据,从而识别一个或多个ODC集合,其中所述一个或多个ODC集合是通过包括以下步骤的方法定义的:
捕获表示样本用户对所述技能的多个样本表演的数据;
分析所述样本表演从而在视觉上识别至少一个症状;以及
针对每个识别的症状集合确定相关联的ODC集合,其中所述ODC集合当在从监测给定表演的一组运动传感器中导出的数据中被观测到时指示存在相关联的症状;
从而所述设备被配置为使得能够监测所述相关联的症状在所述最终用户对所述技能的身体表演中的存在。
39.根据权利要求38所述的设备,其中,所述一组运动传感器额外地包括附接到所述最终用户所使用的设备的一个或多个运动传感器。
40.根据权利要求38所述的设备,其中,所述运动传感器包括至少一个运动传感器单元,其中所述运动传感器单元包括:陀螺仪传感器;和加速度计;和磁力计。
41.根据权利要求38所述的设备,其中,附接到最终用户身体上的所述多个运动传感器包括多个传感器单元,其中每个传感器单元包括:陀螺仪传感器;和加速度计;和磁力计。
42.根据权利要求37所述的设备,其中,所述多个传感器单元由所述最终用户所穿戴的一个或多个可穿戴的服装携带。
43.根据权利要求38所述的设备,其中,所述可穿戴的服装中的一个包括耦合到所述多个运动传感器中的每个运动传感器的处理单元,所述处理单元被配置为处理从所述多个运动传感器接收的数据,并且基于配置识别一个或多个定义的ODC集合的存在。
44.根据权利要求38所述的设备,其中,捕获表示样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:(i)捕获表示所述表演的一个或多个视频数据集合;以及(ii)捕获表示所述表演的一个或多个传感器数据集合。
45.根据权利要求44所述的设备,其中:分析所述样本表演从而在视觉上识别至少一个症状包括:基于表演各自的视频数据集合来比较表演;并且其中,针对每个识别的症状集合确定相关联的ODC集合包括分析所捕获的传感器数据集合。
46.根据权利要求38所述的设备,其中,捕获表示样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:(i)捕获表示所述表演的一个或多个视频数据集合。
47.根据权利要求46所述的设备,其中,分析所述样本表演从而在视觉上识别至少一个症状包括:基于表演各自的视频数据集合来比较表演。
48.根据权利要求47所述的设备,其中,基于表演各自的视频数据集合来比较表演包括:定义其中表示第一样本表演的视频数据集合与表示第二样本表演的相应的视频数据集合重叠的重叠视频数据,从而使得能够在视觉上识别所述第一样本表演和所述第二样本表演之间的表演运动上的差异。
49.根据权利要求38所述的设备,其中,捕获表示样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:捕获表示所述表演的传感器数据。
50.根据权利要求49所述的设备,其中,分析所述样本表演从而在视觉上识别至少一个症状包括:对来自第一样本表演的传感器数据的视觉表示和来自第二样本表演的传感器数据的视觉表示进行比较。
51.根据权利要求50所述的设备,其中,所述传感器数据的视觉表示包括三维虚拟人体动画。
52.根据权利要求50所述的设备,其中,对来自第一样本表演的传感器数据的视觉表示和来自第二样本表演的传感器数据的视觉表示进行比较包括:将来自所述第一样本表演的传感器数据的所述视觉表示针对来自所述第二样本表演的传感器数据的所述视觉表示进行叠加。
53.根据权利要求38所述的设备,其中,分析所述样本表演从而在视觉上识别至少一个症状包括:(i)识别一个或多个最优表演;和(ii)识别多个次优表演。
54.根据权利要求53所述的设备,其中,(i)识别一个或多个最优表演以及(ii)识别多个次优表演包括:定义客观标准,该客观标准当被满足时表示最优表演。
55.根据权利要求53所述的设备,其中,所述方法包括基于所述次优表演的特征将所述多个次优表演分类到一组次优表演类别中。
56.根据权利要求55所述的设备,其中,分析所述样本表演从而在视觉上识别至少一个症状包括:识别属于给定次优表演类别的给定的一组次优表演共同的属性,所述属性是与最优表演共同的属性不同的属性。
57.根据权利要求38所述的设备,其中,所述方法包括:(i)捕获表示第一样本用户SU1对所述技能的多个样本表演的数据;以及(ii)捕获来自多个另外的样本用户SU2到SUn中的每一者的多个样本表演。
58.根据权利要求57所述的设备,其特征在于,所述方法包括比较用户SU1至SUn的表演,从而识别身体尺寸特征对以下两者中的一者或二者的影响:(i)症状;和(ii)ODC。
59.根据权利要求57所述的设备,其中,所识别的身体尺寸特征的影响被用于说明所述最终用户的身体尺寸特征。
60.根据权利要求57所述的设备,其中,所述方法包括比较用户SU1至SUn的表演,从而识别个人风格对以下两者中的一者或二者的影响:(i)症状;和(ii)ODC。
61.根据权利要求57所述的设备,其中,从所述ODC中排除所识别的个人风格的影响。
62.根据权利要求57所述的设备,其中,针对给定样本用户所识别的个人风格的影响在与所述样本用户相关联的聚焦于风格的ODC集合中被定义。
63.根据权利要求57所述的设备,其中,所述样本用户SU1至SUn中的每个样本用户关于所述技能具有共同的能力水平。
64.根据权利要求38所述的设备,其中,所述方法包括:(i)捕获表示具有第一能力水平的第一样本用户SU1AL1对所述技能的多个样本表演的数据;(ii)捕获来自具有第一能力水平的多个另外的样本用户SU2AL1至SUnAL1中的每一者的多个样本表演;并且捕获来自具有多个另外的表演水平的多个另外的样本用户(SU1AL2…SUnAL2)至(SU1ALm…SU1ALm)中的每一者的多个样本表演。
65.根据权利要求64所述的设备,其中,所述方法包括定义针对能力水平AL1至ALm中的每个能力水平的相应的症状和相关联的ODC。
66.根据权利要求65所述的设备,其中,所述方法包括允许内容作者在训练程序中定义功能,其中,所述功能响应于在从所述最终用户的技能表演中导出的传感器数据中识别到所述ODC集合中的给定的一个或多个ODC而被触发。
67.根据权利要求66所述的设备,其中,所述方法包括:所述功能包括向所述最终用户提供反馈。
68.根据权利要求67所述的设备,其中,所述方法包括:从多个反馈项目中选择所述反馈。
69.根据权利要求38所述的设备,其中,所述方法包括:给定反馈项目被定义为鼓励后续表演中的如下用户行为:不展示触发所述反馈项目的先前观测到的数据条件、并且展示与最优表演相关联或更紧密地反映最优表演的ODC。
70.根据权利要求38所述的设备,其中,处理从所述最终用户的一组运动传感器中导出的数据的软件应用程序包括状态引擎。
71.一种用于通过一组运动传感器来实现监测最终用户对技能的身体表演的方法,所述一组运动传感器包括附接到所述最终用户身体上的多个运动传感器,所述方法包括:
捕获表示样本用户对所述技能的多个样本表演的数据;
分析所述样本表演,从而在视觉上识别至少一个表演影响因素集合;以及
针对每个识别的表演影响因素集合,确定相关联的可观测数据条件集合,所述可观测数据条件集合当在从监测给定表演的一组运动传感器中导出的数据中被观测到时指示相关联的表演影响因素集合的存在;
其中,所述可观测数据条件集合或每个可观测数据条件集合被配置为经由处理从所述最终用户的一组运动传感器中导出的数据的软件应用程序来实现,从而使得能够在所述最终用户对技能的身体表演中监测所述相关联的表演影响因素集合的存在。
72.根据权利要求71所述的方法,其中,所述一组运动传感器额外地包括附接到所述最终用户所使用的设备的一个或多个运动传感器。
73.根据权利要求71所述的方法,其中,所述运动传感器包括至少一个运动传感器单元,其中所述运动传感器单元包括:陀螺仪传感器;和加速度计;和磁力计。
74.根据权利要求71所述的方法,其中,附接到所述最终用户身体上的所述多个运动传感器包括多个传感器单元,其中每个传感器单元包括:陀螺仪传感器;和加速度计;和磁力计。
75.根据权利要求74所述的方法,其中,所述多个传感器单元由所述最终用户所穿戴的一个或多个可穿戴的服装携带。
76.根据权利要求75所述的方法,其中,所述可穿戴的服装中的一个包括耦合到所述多个运动传感器中的每个运动传感器的处理单元,所述处理单元被配置为处理从所述多个运动传感器接收的数据,并且基于配置识别一个或多个定义的可观测数据条件集合的存在。
77.根据权利要求71所述的方法,其中,捕获表示样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:(i)捕获表示所述表演的一个或多个视频数据集合;以及(ii)捕获表示所述表演的一个或多个传感器数据集合。
78.根据权利要求77所述的方法,其中:分析所述样本表演从而在视觉上识别至少一个表演影响因素集合包括:基于表演各自的视频数据集合来比较表演;并且其中,针对每个识别的表演影响因素集合确定相关联的可观测数据条件集合包括分析所捕获的传感器数据集合。
79.根据权利要求71所述的方法,其中,捕获表示样本用户对所述技能的多个样本表演中的每个表演样本的数据包括:(i)捕获表示所述表演的一个或多个视频数据集合。
80.根据权利要求79所述的方法,其中,分析所述样本表演从而在视觉上识别至少一组表演影响因素包括:基于表演各自的视频数据集合来比较表演。
81.根据权利要求80的方法,其中,基于表演各自的视频数据集合来比较表演包括:定义其中表示第一样本表演的视频数据集合与表示第二样本表演的相应的视频数据集合重叠的重叠视频数据,从而使得能够在视觉上识别所述第一样本表演和所述第二样本表演之间的表演运动上的差异。
82.根据权利要求71所述的方法,其中,捕获表示所述样本用户对所述技能的多个样本表演中的每个样本表演的数据包括:捕获表示所述表演的传感器数据。
83.根据权利要求82所述的方法,其中,分析所述样本表演从而在视觉上识别至少一个表演影响因素集合包括:对来自第一样本表演的传感器数据的视觉表示和来自第二样本表演的传感器数据的视觉表示进行比较。
84.根据权利要求83所述的方法,其中,传感器数据的视觉表示包括三维虚拟人体动画。
85.根据权利要求83所述的方法,其中,对来自第一样本表演的传感器数据的视觉表示和来自第二样本表演的传感器数据的视觉表示进行比较包括:将来自所述第一样本表演的传感器数据的所述视觉表示针对来自所述第二样本表演的传感器数据的所述视觉表示进行叠加。
86.根据权利要求71所述的方法,其中,分析所述样本表演从而在视觉上识别至少一个表演影响因素集合包括:(i)识别一个或多个最优表演;和(ii)识别多个次优表演。
87.根据权利要求86的方法,其中,(i)识别一个或多个最优表演和(ii)识别多个次优表演包括:定义客观标准,该客观标准当被满足时表示最优表演。
88.根据权利要求86所述的方法,包括:基于所述次优表演的特征将所述多个次优表演分类到一组次优表演类别中。
89.根据权利要求88所述的方法,其中,分析所述样本表演从而在视觉上识别至少一个表演影响因素集合包括:识别属于给定次优表演类别的给定的一组次优表演共同的属性,所述属性是与最优表演共同的属性不同的属性。
90.根据权利要求71所述的方法,包括:(i)捕获表示第一样本用户SU1对所述技能的多个样本表演的数据;以及(ii)捕获来自多个另外的样本用户SU2到SUn中的每一者的多个样本表演。
91.根据权利要求90所述的方法,包括:比较用户SU1至SUn的表演,从而识别身体尺寸特征对以下两者中的一者或二者的影响:(i)表演影响因素;和(ii)可观测数据条件。
92.根据权利要求90所述的方法,其中,所识别的身体尺寸特征的影响被用于说明所述最终用户的身体尺寸特征。
93.根据权利要求90所述的方法,包括:所述方法包括比较用户SU1至SUn的表演,从而识别个人风格对以下两者中的一者或二者的影响:(i)表演影响因素;和(ii)可观测数据条件。
94.根据权利要求90所述的方法,其中,从可观测数据条件中排除所识别的个人风格的影响。
95.根据权利要求90所述的方法,其中,针对给定样本用户所识别的个人风格的影响在与所述样本用户相关联的聚焦于风格的可观测数据条件集合中被定义。
96.根据权利要求90所述的方法,其中,所述样本用户SU1至SUn中的每个样本用户关于所述技能具有共同的能力水平。
97.根据权利要求71所述的方法,包括:(i)捕获表示具有第一能力水平的第一样本用户SU1AL1对所述技能的多个样本表演的数据;(ii)捕获来自具有第一能力水平的多个另外的样本用户SU2AL1至SUnAL1中的每一者的多个样本表演;并且捕获来自具有多个另外的表演水平的多个另外的样本用户(SU1AL2…SUnAL2)至(SU1ALm…SU1ALm)中的每一者的多个样本表演。
98.根据权利要求97所述的方法,包括:定义针对能力水平AL1至ALm中的每个能力水平的相应的表演影响因素和相关联的可观测数据条件。
99.根据权利要求71所述的方法,包括:允许内容作者在训练程序中定义功能,其中,所述功能响应于在从所述最终用户的技能表演中导出的传感器数据中识别到所述可观测数据条件集合中一个或多个可观测数据条件集合而被触发。
100.根据权利要求99所述的方法,其中,所述功能包括向所述最终用户提供反馈。
101.根据权利要求100所述的方法,其中,所述反馈是从多个反馈项目中选择的。
102.根据权利要求101所述的方法,其中,给定反馈项目被定义为鼓励后续表演中的如下用户行为:不展示触发所述反馈项目的先前观测到的数据条件、并且展示与最优表演相关联或更紧密地反映最优表演的可观测数据条件。
103.根据权利要求101所述的方法,其中,处理从所述最终用户的一组运动传感器中导出的数据的软件应用程序包括状态引擎。
104.一种被配置为通过一组运动传感器监测最终用户对技能的身体表演的设备,所述一组运动传感器包括附接到所述最终用户身体上的多个运动传感器,所述设备包括:
处理单元,被配置为接收来自所述一组运动传感器的输入数据;
以及存储器模块,被配置为处理所述输入数据,从而识别一个或多个可观测数据条件集合,其中所述一个或多个可观测数据条件集合是通过包括以下步骤的方法来定义的:
捕获表示样本用户对所述技能的多个样本表演的数据;
分析所述样本表演,从而在视觉上识别至少一个表演影响因素集合;以及
针对每个识别的表演影响因素集合,确定相关联的可观测数据条件集合,所述可观测数据条件集合当在从监测给定表演的一组运动传感器中导出的数据中被观测到时指示所述相关联的表演影响因素集合的存在;
从而所述设备被配置为能够在所述最终用户对技能的身体表演中监测所述相关联的表演影响因素集合的存在。
CN201680040396.XA 2015-05-08 2016-05-09 被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法 Withdrawn CN107851457A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AU2015901665 2015-05-08
AU2015901665A AU2015901665A0 (en) 2015-05-08 Frameworks and methodologies configured to enable delivery of interactive skills training content
PCT/AU2016/000020 WO2016123648A1 (en) 2015-02-02 2016-02-02 Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
AUPCT/AU2016/000020 2016-02-02
PCT/AU2016/050348 WO2016179653A1 (en) 2015-05-08 2016-05-09 Frameworks and methodologies configured to enable analysis of physically performed skills, including application to delivery of interactive skills training content

Publications (1)

Publication Number Publication Date
CN107851457A true CN107851457A (zh) 2018-03-27

Family

ID=57247595

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680040396.XA Withdrawn CN107851457A (zh) 2015-05-08 2016-05-09 被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法

Country Status (6)

Country Link
US (1) US20180169470A1 (zh)
EP (1) EP3295325A4 (zh)
JP (1) JP6999543B2 (zh)
KR (1) KR20180015150A (zh)
CN (1) CN107851457A (zh)
WO (1) WO2016179653A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI679557B (zh) * 2018-05-14 2019-12-11 國立臺灣師範大學 適應性運動姿態感測系統與方法
JP7103078B2 (ja) * 2018-08-31 2022-07-20 オムロン株式会社 作業支援装置、作業支援方法及び作業支援プログラム
CN113792719B (zh) * 2021-11-18 2022-01-18 成都怡康科技有限公司 一种对立定跳远的技术性进行分析的方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120029666A1 (en) * 2009-03-27 2012-02-02 Infomotion Sports Technologies, Inc. Monitoring of physical training events
CN104522949A (zh) * 2015-01-15 2015-04-22 中国科学院苏州生物医学工程技术研究所 一种用于定量评估帕金森患者运动功能的智能手环

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060025229A1 (en) * 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
CA2554428A1 (en) * 2004-01-26 2005-08-11 Modelgolf, Llc Systems and methods of measuring and evaluating performance of a physical skill and equipment used to perform the physical skill
WO2006081395A2 (en) 2005-01-26 2006-08-03 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
US7602301B1 (en) * 2006-01-09 2009-10-13 Applied Technology Holdings, Inc. Apparatus, systems, and methods for gathering and processing biometric and biomechanical data
US8172722B2 (en) * 2008-12-05 2012-05-08 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US9076041B2 (en) * 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US10216893B2 (en) * 2010-09-30 2019-02-26 Fitbit, Inc. Multimode sensor devices
JP5641222B2 (ja) 2010-12-06 2014-12-17 セイコーエプソン株式会社 演算処理装置、運動解析装置、表示方法及びプログラム
KR101767794B1 (ko) 2011-02-17 2017-08-11 나이키 이노베이트 씨.브이. 위치 맵핑
ITMI20120494A1 (it) * 2012-03-27 2013-09-28 B10Nix S R L Apparato e metodo per l'acquisizione ed analisi di una attivita' muscolare
US9498128B2 (en) * 2012-11-14 2016-11-22 MAD Apparel, Inc. Wearable architecture and methods for performance monitoring, analysis, and feedback

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120029666A1 (en) * 2009-03-27 2012-02-02 Infomotion Sports Technologies, Inc. Monitoring of physical training events
CN104522949A (zh) * 2015-01-15 2015-04-22 中国科学院苏州生物医学工程技术研究所 一种用于定量评估帕金森患者运动功能的智能手环

Also Published As

Publication number Publication date
EP3295325A1 (en) 2018-03-21
EP3295325A4 (en) 2018-10-24
JP2018518334A (ja) 2018-07-12
WO2016179653A1 (en) 2016-11-17
KR20180015150A (ko) 2018-02-12
US20180169470A1 (en) 2018-06-21
JP6999543B2 (ja) 2022-01-18

Similar Documents

Publication Publication Date Title
US10803762B2 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
CN107533806A (zh) 被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法
Velloso et al. Qualitative activity recognition of weight lifting exercises
CN104815428B (zh) 监测体育锻炼事件
US20160328604A1 (en) Systems and methods of monitoring activities at a gaming venue
US10918924B2 (en) Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
CN107847789A (zh) 被配置为经由基于传感器的对身体表演的技能的监测来实现包括特定于位置的游戏化在内的游戏化的框架、设备和方法
CN107851113A (zh) 被配置为基于从表演传感器单元导出的用户表演属性来实现对媒体数据的自动分类和/或搜索的框架、设备和方法
CN107851457A (zh) 被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法
Takano et al. A multimedia tennis instruction system: Tracking and classifying swing motions
Li et al. An image classification algorithm for football players’ activities using deep neural network
Ni et al. Sports dance action recognition system oriented to human motion monitoring and sensing
US20130225294A1 (en) Detecting illegal moves in a game using inertial sensors
Bascones Cloud point labelling in optical motion capture systems
Malawski et al. Automatic analysis of techniques and body motion patterns in sport
Sarwar et al. Skeleton Based Keyframe Detection Framework for Sports Action Analysis: Badminton Smash Case
Ferreira Classification of table tennis strokes using a wearable device and deep learning
Ciliberto Movement recognition from wearable sensors data: power-aware evolutionary training for template matching and data annotation recovery methods
Xiao RETRACTED: Data monitoring of athlete physical training based on FPGA processing system and machine vision
Li Visualization of movements in sports training based on multimedia information processing technology
Wang et al. Cross-modal self-attention mechanism for controlling robot volleyball motion
Tharatipyakul et al. Deep Learning-based Pose Estimation in Providing Feedback for Physical Movement: a Review
Jiménez Bascones Cloud point labelling in optical motion capture systems

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210826

Address after: Farnam, UK

Applicant after: RLT Intellectual Property Co.,Ltd.

Address before: Sydney, Australia

Applicant before: GUIDED KNOWLEDGE IP Pty Ltd.

TA01 Transfer of patent application right
WW01 Invention patent application withdrawn after publication

Application publication date: 20180327

WW01 Invention patent application withdrawn after publication