CN109074752A - 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法 - Google Patents

被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法 Download PDF

Info

Publication number
CN109074752A
CN109074752A CN201680081654.9A CN201680081654A CN109074752A CN 109074752 A CN109074752 A CN 109074752A CN 201680081654 A CN201680081654 A CN 201680081654A CN 109074752 A CN109074752 A CN 109074752A
Authority
CN
China
Prior art keywords
performance
data
rate
progress
event recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680081654.9A
Other languages
English (en)
Inventor
达伦·弗里格
斯图尔特·梅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gn Ltd By Share Ltd
Original Assignee
Gn Ltd By Share Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2015905108A external-priority patent/AU2015905108A0/en
Priority claimed from PCT/AU2016/000026 external-priority patent/WO2016123654A1/en
Application filed by Gn Ltd By Share Ltd filed Critical Gn Ltd By Share Ltd
Publication of CN109074752A publication Critical patent/CN109074752A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/001—Boards or like means for providing an indication of chords
    • G09B15/002—Electrically operated systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/18—Book-keeping or economics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A63B2071/063—Spoken or verbal instructions

Abstract

本文描述的是被配置为基于对用户表演数据的监测来实现技能训练数据的实时自适应传送的框架和方法。本发明的实施例特别用于实现对表演指令用户界面的实时控制(例如，在速率方面)、和/或对媒体数据的传送的控制(例如，在速率和/或平移/缩放位置方面)。

Description

被配置为基于通过表演监测硬件监测用户表演来实现技能训 练数据的实时自适应传送的框架和方法
技术领域
本发明涉及被配置为基于对用户表演数据(例如，从表演监测硬件(诸如运动传感器、振动/声音传感器等)导出的用户表演数据)的监测来实现技能训练数据的实时自适应传送的框架和方法。已经特别开发了本发明的实施例，以实现对表演指令用户界面的实时控制，例如，以基于对身体表演的分析来实现实时训练。虽然本文将特别参考该应用来描述一些实施例，但是应当理解，本发明不限于这样的使用领域，并且适用于更广泛的环境。
背景技术
在整个说明书中对背景技术的任何讨论绝不应被视为承认这样的技术是众所周知的或者形成本领域公知常识的一部分。
因此已经开发了各种技术从而利用用于监测用户表演和提供反馈的机制来实现对技能训练内容的传送。特定的示例存在于乐器训练领域；软件应用传送滚动指令显示，其向用户提供用于以特定速率演奏特定音符的指令。速率可通过难度设置进行调整。反馈机制被配置为基于以指示的方式演奏指示的音符的准确性来向用户提供反馈。
发明内容
本发明的目的是克服或改善现有技术的至少一个缺点、或提供有用的替代方案。
一个实施例提供了一种被配置为向用户提供训练的系统，该系统包括：
输入，其被配置为从一个或多个表演传感器单元(PSU)接收表演传感器数据，其中，一个或多个表演传感器单元被配置为接收表示人类用户的技能的身体表演的表演传感器数据(PSD)。
处理设备，其被配置为处理PSD，从而识别PSD的属性，并且将那些属性与预定义的基线表演数据进行比较，其中，预定义的基线表演数据包括：
表示一组表演事件的数据，其中该组表演事件是相对于表演时间线而定义的；
对于每个表演事件，表示能够由PSD满足的属性的数据；以及
针对表演事件的一个或多个组合的事件间相对定时数据；
用户界面控制组件，其被配置为控制图形用户界面的渲染，其中图形用户界面提供以受控表演速率传送的一个或多个资源；
速率控制模块，其中速率控制模块被配置为基于对PSD与预定义的基线表演数据的比较来控制受控表演速率。
一个实施例提供了一种用于自适应传送技能训练数据的计算机实现的方法，该方法包括：
接收从一个或多个表演传感器单元导出的表演数据；
执行一致动作(reconciliation action)，其中：
给定的一个用户界面组件包括以某一速率进展的渲染进展对象，其中渲染进展对象沿着包括多个表演事件识别对象的路径进展；以及
一致动作包括确定表演数据是否(i)在时间上与表演事件识别对象一致；和/或(ii)与表演事件识别对象准确地一致；
调整速率，使得在没有下述表演数据的情况下，防止渲染进展对象沿着路径进展超过给定的一个表演事件识别对象：该表演数据(i)在时间上与表演事件识别对象一致；和/或(ii)与表演事件识别对象准确地一致。
一个实施例提供了一种用于自适应传送技能训练数据的计算机实现的方法，该方法包括：
接收从一个或多个表演传感器单元导出的表演数据；
处理从一个或多个表演传感器单元导出的表演数据；以及
基于对表演数据中预定义的可观测数据条件的识别，执行媒体调整动作，其中：
给定的一个用户界面组件包括具有回放速率和视口(viewport)定义的媒体对象；以及
执行媒体调整动作包括确定调整回放速率和/或视口定义。
一个实施例提供了一种用于自适应传送技能训练数据的计算机实现的方法，该方法包括：
接收从一组运动传感器单元导出的表演数据；
使图形对象显示在显示屏上，其中图形对象包括基于运动的技能的身体表演的阶段的表示，包括在身体表演的每个阶段处的一个或多个MSU的目标位置；
基于对从该组运动传感器单元导出的表演数据的分析，在身体表演的阶段的显示之间进展；
经由图形对象显示基于对从该组运动传感器单元导出的表演数据的分析而确定的给定的一个运动传感器单元的观测位置之间的关系。
一个实施例提供了用于执行如本文所述的方法的计算机程序产品。
一个实施例提供用于携带计算机可执行代码的非暂态载体介质，当计算机可执行代码在处理器上被执行时，使得处理器执行如本文所述的方法。
一个实施例提供了一种被配置用于执行如本文所述的方法的系统。
在整个本说明书中对“一个实施例”、“一些实施例”或“实施例”的引用表示结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，整个本说明书的各个地方中短语“在一个实施例中”、“在一些实施例中”或“在实施例中”的出现不一定全部指代同一实施例，但是可以指代同一实施例。此外，在一个或多个实施例中，可以以任何合适的方式组合特定的特征、结构或特性，如根据本公开对本领域普通技术人员将易于理解的。
如本文所使用的，除非另有规定，否则使用用于描述同类对象的序数形容词“第一”、“第二”、“第三”等仅表示被指代的相似对象的不同实例，并且不旨在隐含如此描述的对象必须在时间上、空间上、排名上、或以任何其它方式按照给定的顺序。
在所附权利要求和本文的描述中，术语包括、包含或其包括中的任何一个是开放式术语，其表示至少包括随后的元素/特征，但不排除其它元素/特征。因此，术语包括当在权利要求中使用时，不应被解释为对其后列出的装置或元素或步骤的限制。例如，包括A和B的设备的表达的范围不应限于仅由元素A和B组成的设备。术语包含或其包含或如本文所使用的包含中的任何一个也是开放式术语，其也表示至少包括该术语之后的元素/特征，但不排除其它元素/特征。因此，包含是包括的同义词，并且包含表示包括。
如本文所使用的，术语“示例性的”用于提供示例的意义，而不是指示质量。也就是说，“示例性实施例”是作为示例提供的实施例，而不一定是示例性质量的实施例。
附图说明
现在将参考附图仅通过示例的方式描述本发明的实施例，其中：
图1A示意性地示出了根据一个实施例的用于传送交互式技能训练内容的框架。
图1B示意性地示出了根据一个实施例的用于传送交互式技能训练内容的框架。
图2示出了根据一个实施例的视口定义的示例。
图3在功能上描绘了根据一个实施例的平台。
图4在功能上描绘了根据一个实施例的平台。
图5A示出了技能表演事件识别对象的时间线。
图5B示出了针对吉他训练程序的技能表演事件识别对象的时间线。
图5C示出了针对基于运动的技能训练程序的技能表演事件识别对象的时间线。
图6A至图6E示出了根据实施例的示例用户界面显示。
具体实施方式
本文描述的是被配置为基于对用户表演数据的监测来实现技能训练数据的实时自适应传送的框架和方法。本发明的实施例特别用于实现对表演指令用户界面的实时控制(例如，在速率方面)、和/或对媒体数据的传送的控制(例如，在速率和/或平移/缩放位置方面)。虽然本文将特别参考该应用来描述一些实施例，但是应当理解，本发明不限于这样的使用领域，并且适用于更广泛的环境。
总体概述
本文描述的技术和方法总体地涉及技术环境，其中使用各种形式的传感器来收集数据，从而能够监测和分析由用户身体表演的技能。例如，这包括：
(i)使用可穿戴运动传感器单元来监测基于运动的技能(例如体育运动)的身体表演。例如，在一些实施例中，一个或多个运动传感器单元(例如，包括诸如加速度计、陀螺仪之类的组件的单元)物理地附接到人类用户和/或由人类用户携带的设备。
(ii)使用音频传感器(包括通过振动感测、数字化和其他方式监测音频的传感器)来监测基于声音的技能(例如音乐和/或语言技能)的表演。常见示例包括“拾取(pickup)”设备，其包括被配置为感测弦乐器的弦中的机械振动的换能器。
(iii)各种其他形式的传感器，其配置为能够监测一系列其他技能类型。这可以包括基于软件的传感器，其被配置为识别和分析计算机系统中可用的表演数据。
以下描述的各种实施例涉及解决与对表演数据的实时监测、以及以促进训练和学习的方式向用户传送反馈相关联的技术问题。举例来说，对传感器数据的监测和处理使得能够传送自动化的自适应辅导课程。
术语
为了下述实施例的目的，使用以下术语：
·表演传感器单元(PSU)。表演传感器单元是被配置为响应于对身体表演的监测而生成数据的硬件设备。这里主要考虑被配置用于处理运动数据和音频数据的传感器单元的示例，但应当理解，这些绝不是限制性的示例。
·表演传感器数据(PSD)。由PSU传送的数据被称为表演传感器数据。该数据可以包括来自PSU的完整原始数据或该数据的子集(例如基于压缩、减少的监测、采样速率等)。
·音频传感器单元(ASU)。音频传感器单元是一种PSU，其是被配置为响应于对声音的监测而生成和发送数据的硬件设备。在一些实施例中，ASU被配置为监测声音和/或振动效果，并将它们转换成数字信号(例如MIDI信号)。一个示例是ASU是拾取设备，其包括被配置为捕获弦乐器中的机械振动并将它们融合成电信号的换能器。
·音频传感器数据(ASD)。这是由一个或多个ASU传送的数据。
·运动传感器单元(MSU)。运动传感器单元是一种PSU，其是被配置为响应于运动而生成和发送数据的硬件设备。在大多数情况下，该数据是相对于本地参考系(frame ofreference)定义的。给定的MSU可以包括一个或多个加速度计；从一个或多个磁力计得到的数据；以及从一个或多个陀螺仪得到的数据。优选实施例使用一个或多个3轴加速度计、一个3轴磁力计和一个3轴陀螺仪。运动传感器单元可以是“被穿着的”或“可穿戴的”，这表示其被配置为被安装到人体固定位置(例如经由服装)。
·运动传感器数据(MSD)。由MSU传送的数据被称为运动传感器数据(MSD)。该数据可以包括来自MSU的完整原始数据或该数据的子集(例如基于压缩、减少的监测、采样速率等)。
·具有MSU功能的服装。具有MSU功能的服装是被配置为携带多个MSU的服装(例如衬衫或裤子)。在一些实施例中，MSU可被安装在形成在服装中的限定安装区中(优选地以可移除的方式，使得各个MSU能够被移除和替换)并被耦合到通信线路。
·训练程序。术语“训练程序”用于描述经由执行软件指令被传送的交互过程，其向最终用户提供关于如何执行的指令，以及关于如何修改、改善或以其它方式调整其表演的反馈。在下面描述的至少一些实施例中，训练程序是“自适应训练程序”，其是基于规则/逻辑执行的训练程序，该规则/逻辑使得对处理的排序、对选择的反馈和/或训练的其它属性能够基于对相关最终用户的分析(例如，对其表演的分析和/或对诸如心理和/或身体属性之类的个人属性的分析)进行适应。
应当理解，每当使用术语PSU和/或PSD时，它们能够分别包括MSU/ASU和MSD/ASD中的任一者或两者。下面在运动和音频空间中进一步提供具体示例。
相关申请的交叉引用
本申请通过交叉引用并入以下PCT专利申请的全部内容：PCT/AU2016/000020、PCT/AU2016/000026、PCT/AU2016/050348、以及PCT/AU2016/050349。应当理解，那些申请提供了与可选地应用于支持本文描述的技术的硬件、软件和方法的技术有关的实质上下文。例如，本文描述的实施例可选地使用那些PCT申请中描述的具有MSU功能的服装。
虽然那些申请通过交叉引用并入，但是本文的公开内容不应该通过参考那些申请的公开内容而必然地在范围上进行限制。也就是说，本文描述的技术具有超出交叉引用的PCT申请中所教导的应用，例如使用PSU的替代形式、替代的客户端侧硬件布置、替代的网络数据管理/共享框架等的应用。
基于表演监测来控制用户界面传送属性
本文描述的实施例包括被配置为基于对用户表演数据的监测来实现技能训练数据的实时自适应传送的框架和方法。例如，这些实现了对表演指令用户界面的实时控制(例如，在速率方面)，和/或对媒体数据的传送的控制(例如，在速率和/或平移/缩放位置方面)。
一些实施例提供了一种用于技能训练数据的自适应传送的计算机实现的方法。该方法包括：(i)接收从一个或多个表演传感器单元导出的表演数据；(ii)处理从一个或多个表演传感器单元导出的表演数据；(iii)基于处理从一个或多个表演传感器单元导出的数据，确定改变一个或多个用户界面组件的传送属性；(iv)提供信号，从而实现所确定的一个或多个用户界面组件的传送属性的变化。
在下面描述的示例中，特别关注乐器教学(特别是吉他)的示例。在乐器教学的示例中，所接收的表演数据包括从一个或多个ASU导出的表演数据，该一个或多个ASU被配置为监测诸如乐器之类的设备的用户操作。例如，在吉他的上下文中，一个或多个ASU可以包括被配置为响应于吉他生成的音频数据来生成数字数据的传感器。这可以包括音频传感器，其在一些实施例中是包括麦克风组件的音频传感器，并且在一些实施例中是被配置为监测吉他的弦的振动活动的音频传感器。在这方面，术语ASD或“音频传感器”指的是被配置为提供直接或间接表示由表演生成的可听声音的数字信息的任何传感器设备。在一些实施例中，数字信息可以采用MIDI数据的形式。
尽管通过特别参考乐器教学来描述示例，但是应当理解，结合那些实施例描述的技术的各个方面能够应用于利用其他形式的表演传感器单元用于替代形式的技能训练的其他环境中。例如，在一些实施例中，所接收的表演数据包括从一个或多个运动传感器单元(诸如由具有运动传感器功能的服装提供的运动传感器单元，处理从一个或多个运动传感器单元导出的表演数据包括识别各个运动传感器的同时运动的特征)导出的表演数据)。提供与高尔夫挥杆教学相关的示例。
在一些实施例中，处理从一个或多个PSU导出的表演数据(PSD)包括处理从一个或多个MSU导出的表演数据(MSD)。这可选地包括监测运动属性，从而基于一个或多个PSU的运动和/或相对运动来确定表演的身体运动属性。如下所述，这允许在定义的时刻确定PSU定位(和/或运动)，并且将该定位(和/或运动)与预定义的目标定位(和/或运动)进行比较。在一些实施例中，使用交叉引用的PCT申请中描述的技术，从而例如使用症状、原因和可观测数据条件(ODC)提供对技能训练的上下文中PSD的含义和相关性的更深理解。
总的来说，PSD被用作控制用户界面的各方面的输入，用户界面是被配置为针对通过PSD分析的技能而提供训练数据的用户界面。也就是说，通过实现一个或多个用户界面组件的传送属性的变化，用户表演的所观测的属性用于提供对用户界面的属性的实时控制。传送属性包括以下一项或多项：
·渐进式用户界面组件的活动的速率。例如，给定用户界面组件可以与进展速率相关联，例如：渲染目标移动(或看起来相对于另一对象移动)的速率、渲染对象在状态方面改变的速率。
·动画或媒体文件的传送的速率。例如，视频或音频文件的回放速率是动态变化的。
·媒体对象的视口。例如，这可以包括数字平移和/或缩放操作的应用，从而在渲染视频文件期间显示减少的对帧区域的选择。
·媒体对象的视角(viewing angle)。这可以包括文件内角度调整(其中给定媒体对象或媒体对象集合能够支持这样的调整)，并且在其他情况下包括切换到具有从不同视角捕获的公共同步时间线的另一媒体文件。一个示例包括利用从多个角度收集的媒体，处理该媒体从而通过单个静止帧或跨多个帧实现角度之间的平滑视点调整。例如，可以使用子弹时间技术等。
还可以使用其他传送属性。
具体实施方式示例包括：
·提供“自适应速度(tempo)”模式。这与以某一速率(rate)表演和/或指导技能的训练程序的上下文相关，其中，该速率通常通过参考对用户能力水平的预评估来定义。作为上下文，通常在音乐训练程序的上下文中，基于对用户的能力水平的预评估来选择速度，并且用户被提供以该速度演奏音乐曲目的指令。例如，新手用户可能将速度设置为正常值的25％，并且随着用户的能力进展，速度朝100％增加。另一方面，自适应速度模式基于对用户表演的连续监测、响应于用户实际演奏音乐曲目的速率而动态地改变进展速率(并因此改变速度)。
·提供渐进式训练结构，基于：(i)自适应速度模式，其中用户控制用户界面组件的进展的速率，并且分析焦点放在各个表演元素的准确性上；(ii)以及自适应速率模式，其中用户再次控制用户界面组件的进展的速率，并且分析焦点放在各个表演元素的准确性和元素间速度(定时的准确性)上；(iii)固定速度模式，其中预先定义表演的速率。
·有效利用媒体内容。这与显示用于辅助训练的媒体内容(例如视频数据)的训练程序的上下文相关。基于对PSD的分析，媒体内容的显示例如在平移/缩放位置和/或速率方面是变化的。这允许通过单个或有限的媒体文件集合来提供更丰富的用户体验，从而避免收集和/或维护大量的媒体文件集合的需要。
以下进一步更详细地讨论这些示例和其他示例。
自适应速度模式
图4示出了被配置为向用户提供训练的系统。该系统包括输入461，其被配置为从一个或多个表演传感器单元450(PSU)接收表演传感器数据，其中，一个或多个表演传感器单元被配置为接收表示人类用户的技能的身体表演的表演传感器数据(PSD)。例如，在一些实施例中，所接收的PSD包括从一个或多个传感器导出的表演数据，该一个或多个传感器被配置为监测一件乐器的用户操作。在其他实施例中，所接收的PSD包括从一个或多个运动传感器单元(例如，一个或多个运动传感器单元由具有运动传感器功能的服装提供)导出的表演数据。
处理设备460包括PSD分析模块464，其被配置为处理PSD，从而识别PSD的属性，并将这些属性与预定义的基线表演数据进行比较。基线表演数据包括表示相对于表演时间线(例如，作为技能表演流)定义的一组表演事件的数据。对于每个表演事件，存在表示能够由PSD满足的属性的定义数据。例如，在ASD的情况下，这可以包括音高、演奏风格、持续时间等中的任何一个或多个。对于MSD，这可以包括相对位置、速度、加速度等中的任何一个或多个。基线表演数据还包括用于表演事件的一个或多个组合的事件间相对定时数据。这提供了与速率无关的速度(例如，第一和第二表演事件之间的基线时间间隔被定义为第二和第三表演事件之间的时间基线间隔的两倍)。基线数据还可以包括目标表演速率。
设备460包括用户界面控制组件，其被配置为控制图形用户界面的渲染(在该示例中渲染在显示器470上)。图形用户界面提供以受控表演速率传送的一个或多个资源。例如，这些资源包括以表演速率进展的进展对象(下面详细描述)，并且可选地包括也以受控表演速率渲染的媒体(诸如视频和音频)。速率控制模块465被配置为基于对PSD与预定义基线表演数据的比较来控制受控表演速率。
如所指出的，在一些实施例中，以受控速率传送的一个或多个资源包括以受控表演速率进展的渲染进展对象。渲染进展对象被控制为沿着包括多个表演事件识别对象的路径进展，其中表演事件识别对象对应于表演事件。
在图5A中以图形方式示出第一示例，进展对象500包括时间线510和多个表演事件识别对象502a至502j。优选地，标识符对象指示沿时间线的当前进展位置(这可以相对于静止时间线和对象移动，或者时间线和对象可以相对于标识符对象移动)。在图5B中以图形方式示出第二示例对象510，这以指示由乐器可播放的音符的方式示出了对象502a至502j，其中沿时间线501的对象间间隔表示速度。在图5C中以图形方式示出第三示例对象520，这示出了作为身体位置的对象502a至502j，用户在表演基于运动的技能时通过身体位置来进展。
在一种操作模式中，操作速率控制模块，使得在没有下述表演数据的情况下，防止渲染进展对象沿着路径进展超过给定的一个表演事件识别对象：该表演数据(i)在时间上与表演事件识别对象一致；和/或(ii)与表演事件识别对象准确地一致。例如，在图5B的上下文中，这包括敲击正确的音符。在图5C上下文中，这包括击中每个相关的身体位置(可选地由除了仅仅位置之外的运动属性定义，例如通过参考加速度属性)。这提供了自适应速度模式，由此基于所接收的PSD演示具有由所接收的PSD满足的属性的表演事件的速率来控制渲染进展对象的速率。换句话说，速率基于用户在表演表演事件中的成功而实时动态调整。优选地，基于对用于接收与即将到来的表演事件识别对象一致的表演数据的预期时间的预测，针对连续表演事件识别对象之间的进展的速率调整受控表演速率。
该系统优选地包括反馈控制模块，其中反馈控制模块被配置为响应于预定义的条件而执行预定义的反馈动作，该预定义的条件包括对以下的表演数据的识别：(i)在时间上与对应于表演事件识别对象的表演事件一致；以及(ii)未与对应于表演事件识别对象的表演事件准确地一致。以下进一步提供示例。
优选地，该系统还包括评级模块，其中评级模块被配置为基于所接收的PSD与预定义的基线表演数据的比较来对表演的特征进行打分。如下面进一步详细讨论的，评级模块被配置为以多种模式操作，包括：
·第一模式，其中基于对PSD的分析来控制受控表演速率，并且其中评级基于PSD满足表示每个连续表演事件的属性的数据的准确性；
·第二模式，其中基于对PSD的分析来控制受控表演速率，并且其中评级基于PSD满足表示每个连续表演事件的属性的数据的准确性、以及对针对表演事件的一个或多组合观测到的事件间相对定时数据与针对基线表演数据的表演事件的一个或多个组合的事件间相对定时数据的比较；以及
·第三模式，其中受控表演速率被设置为与PSD的实时监测无关的恒定值，并且其中评级基于PSD满足表示每个连续表演事件的属性的数据的准确性。
以下进一步更详细地讨论各种示例。
示例：自适应速度模式(音频表演实施例)
如所指出的，一些示例为技能训练用户界面提供“自适应速度”模式。最初参考图1A描述示例。
图1A示出了用于传送自适应技能训练程序的示例性框架。用户界面设备100(以表示触摸屏移动设备的方式示出，例如仅为了示例起见的智能手机或平板电脑，并且可以替代地使用各种其他设备，包括通过耳机和/或视网膜显示器/投影提供显示的设备)经由显示屏101提供用户界面的渲染。用户界面的渲染通过经由设备100的微处理器执行软件指令来控制，软件指令可以包括在设备100处和/或在与设备100通信的一个或多个设备(例如，经由因特网与设备100通信的联网设备，和/或被配置为执行处理功能的另一本地设备)处执行的软件指令。在该示例中，用户界面设备100被配置为提供用于音乐教学(特别是吉他教学)的自适应技能训练程序。吉他140由用户操作，其中一个或多个PSU 141被配置为监测表演。例如，PSE 140可以包括PSU，其被配置为监测吉他140的弦的振动能量，并提供PSD用于分析。PSD优选地是MIDI格式，但是也可以使用其他数据格式。
在所示出的实施例中，PSU 141将PSD发送到外部传感器数据处理设备120，称为POD设备。设备120被配置为执行表示状态引擎数据的计算机可执行代码，该数据是配置设备120以处理PSD从而识别特定于正在传送的吉他教学形式的ODC的数据。替代状态引擎数据还可以由设备120执行，其中替代PSD和ODC是相关的(例如，其中POD设备用于处理与乐器的替代形式有关的PSD、在基于运动的活动的上下文中从MSU导出的PSD等等)。如图1A所示，外部设备120是可选的，并且在一些实施例中，设备120的功能是通过在由设备100(和/或在远程联网设备处)提供的硬件上执行的软件来提供的。
传感器141、设备120(在使用的情况下)和设备100之间的通信可以是有线和/或无线的，这取决于特定的实现环境(以及足够可靠的无线通信协议的可用性)。
作为上下文，基础技术方法包括分析PSD，从而确定表演速率。该表演速率是用户基于其实际表演的速率固有地定义的表演速率(与基于对用户属性(例如能力级别)的分析而预定义并对用户强制的表演速率相反)。在这方面，表演包括多个“表演事件”，即沿演奏时间线定义的事件。基于对PSD的分析，设置表演速率，使得显示表示表演事件的数据的用户界面在用户表演的同时到达表演事件。例如，在一些实施例中，用户界面包括表演时间线对象，该表演时间线对象沿着包括表演事件识别对象的表演时间线图形地进展。表演时间线对象进展的速率响应于用户的实际表演实时发生的速率，使得身体表演和表演时间线在表演事件之间是时间同步的。
在图1A的示例中，用户界面以指令对象103的形式提供以某一速率进展的渲染对象。指令对象103被配置为沿着包括多个表演事件识别对象111的路径进展。在该示例中，表演事件识别对象是在音乐教学带(ribbon)110上显示的图标，该带从右向左移动。图1A以虚线示出了带110的先前显示的部分114和带114的即将到来的部分113。当前位置由显示进展对象112可视地表示。即，显示进展对象112与给定的一个表演事件识别对象111在该事件在用户的真实世界表演中发生的时间点处重叠。
特别相关的是，显示进展对象112与给定的一个表演事件识别对象111在该事件在用户的真实世界表演中发生的时间点处重叠。在各种现有技术布置中，提供了具有类似外观的用户界面，但是被配置为使得显示进展对象与给定的一个表演事件识别对象在指示用户在真实世界表演中表演该事件的时间点处重叠。用户是否实际表演事件(例如，在此上下文中拔吉他弦)在现有技术场景中是无关紧要的；带继续以定义的速率进展(尽管速率可以基于用户准确性增大或减小)。然而，在图1A的示例中，PSD被实时处理以执行动态进展速率调整，使得显示进展对象112与给定的一个表演事件识别对象111在对应事件在用户的真实世界表演中实际发生的时间点处重叠。
在优选实施例中，调整表演速率，使得在没有与表演事件识别对象一致的表演数据的情况下，防止渲染对象沿着路径进展超过给定的一个表演事件识别对象。也就是说，在图1A的上下文中，防止带110使给定的一个事件对象111进展超过进展对象112，除非对PSD的分析识别了能够与该进展对象一致的真实世界事件。一致可以包括以下中的一者或两者：(i)与表演事件识别对象的时间一致(例如，在相关时间点演奏音符)；(ii)与表演事件识别对象的基于准确性的一致(例如，演奏正确的音符)。应当理解，无论是使用这些中的一者还是两者，都提供了实质上不同的教学体验。在使用两者的情况下，在继续之前，用户实际上被提供了更多机会来击中正确的音符。例如，当给定的事件对象111到达进展对象112时，用户可能演奏错误的音符，在这种情况下，带保持在适当的位置直到正确的音符被演奏(或者，在某些情况下，直到另一个基于规则的事件被触发)。
前面的公开内容涉及在响应于对PSD的分析而限制进展超过表演事件识别对象的上下文中的速率控制。在一些实施例中，还关于表演事件对象之间的进展速率应用速率控制。例如，算法被配置为控制表演事件识别对象EOn(对应于表演事件PEn)和后续表演事件识别对象EOn+1(对应于表演事件PEn+1)之间的进展速率。优选地，基于对用于接收与即将到来的表演事件识别对象一致的表演数据的预期时间的预测来调整表演速率。在各种实施例中使用一系列输入来支持这种预测，并且示例包括：
·PEn-i、PEn之间的间隔的平均观测表演速率。例如，在一些实施例中，基于前面的i个音符被演奏的速率来计算平均值。平均可以是加权平均，例如，加权有利于更近期的事件间间隔。
·表示特定用户从PEn进展到PEn+1的能力的数据(例如，从对历史PSD的观测中导出)。例如，这可以基于先前用户从表演事件PEn移动到PEn+1或在类似表演事件之间移动所花费的平均观测时间。
·表示特定用户在从PEn进展到PEn+1所需的技能中的能力的数据(例如，从对历史PSD的观测中导出)。
·表示特定用户当前心理和/或身体状况的数据。例如，在一些实施例中，这是从被配置为响应于预定义的刺激而获得用户输入的用户界面组件(例如，在教程之前询问诸如“你今天感觉如何”之类的问题的界面)导出的。在进一步的实施例中，这替代地或另外地包括基于对历史PSD的分析的预测(例如，用户是否随着时间的推移犯了更多错误，并且因此可能变得疲倦和/或沮丧)。
通过速率修改和预测，能够经由对象103传送“自适应速度”模式，其中基于对用户的真实世界表演的观测，实时动态地控制带110的移动的速率。通过上述方法，用户可以在用户期望的任何可变的速度下自由地演奏在带110上表示的曲调，其中图形用户界面被动地调整以适应用户的速度。
在一些实施例中，通过确定进展速率来实现一个或多个另外的用户界面对象(即，除了指令对象103之外)。例如，如图1A的示例中所示，这些可以包括媒体显示对象，其被配置为显示诸如视频(在一些实施例中包括具有叠加的视频)、音频和/或动画之类的渲染媒体。优选地，以确定的动态变化的进展速率播放媒体。在图1A的实施例中，媒体显示对象被配置为显示视频文件的渲染，并且视频文件与指令对象103时间同步。即，例如，每个表演事件识别对象111对应于特定的视频帧，例如当进展对象112与相关对象111重叠时显示特定帧。例如，在一个实施例中，视频显示人演奏吉他，并且音符与带110的进展同步被敲击。
优选地，视频具有相关联的音频，例如伴随音乐与用户正在演奏的时间一致。将理解的是，预测速率调整有助于使得用户能够以自适应速度模式与伴奏音乐一起演奏。在一些实施例中，通过速率调整进一步促进了这一点，该速率调整导致渐进速率减慢(或与特定帧相关联的声音的永存)以考虑表演事件被延迟超出预测的情况。
视频可以包括表示预测的用户手指位置的叠加(从对PSD的处理中导出)，从而示出用户手指定位和正确的手指定位之间的比较。
在一些实施例中，用户界面被配置为响应于关于对PSD进行处理以识别对应于表演事件识别对象的表演事件方面的失败的一致事件的监测和处理来执行预定义的动作。例如，在表演数据(i)与表演事件识别对象在时间上不一致；并且(ii)与表演事件识别对象并非准确地一致的情况下，可以触发定义的动作。定义的动作可以包括以下任何一个或多个：
·另一个用户界面组件的传送属性的变化。例如，这可以包括应用于媒体显示对象105的操作(下面进一步讨论)，诸如视口变化和/或叠加的应用。
·例如通过反馈对象104和/或通过音频输出设备提供反馈。
·调整进展对象112的位置。这可以包括将进展对象回归到定义的点(即，有效地将带111倒回到定义的点)，例如以向用户提供重新尝试表演的给定部分的机会。在某些情况下，这包括使进展对象进入预定义的循环，从而能够在一组连续的表演事件之间重复练习特定的运动。
·启动定义的子教程。例如，这可以包括通过对象103传送的子教程，该子教程被设计为辅助用户开发克服通过分析PSD观测到的所识别的困难(或缺乏能力)所需的特定技能。
应当理解，响应于对PSD的分析来控制对预定义动作的选择的特定规则是关于个体课程设计的问题，并且超出了本公开的范围。
尽管上述示例关注于使用带110用于音乐教学的目的，但是将理解的是，该技术可以容易地应用于一系列其他技能训练情况，其中技能能够参考表演事件流被分解。在音乐中，这是通过参考音符流来实现的。类似的原则适用于广泛的基于音频的技能。在基于运动的技能中，可以通过参考运动的各个方面来分解复杂的运动(这对于那些方面的训练相对定时特别有用)。
示例：自适应速度模式(音频表演实施例)
图1B示出了替代框架，其在一些实施例中用于实现关于基于运动的技能的“自适应速度”模式的传送。同样，用户界面设备100(以表示触摸屏移动设备的方式示出，例如仅为了示例起见的智能手机或平板电脑，并且可以替代地使用各种其他设备，包括通过耳机和/或视网膜显示器/投影提供显示的设备)经由显示屏101提供用户界面的渲染。在该示例中，用户界面设备100被配置为提供用于基于运动的技能(例如，体育运动技能(诸如杂耍(juggling)、踢足球、划船等))的训练的自适应技能训练程序。用户穿戴具有MSU功能的服装130，其包括被配置为将MSD传送到POD设备120的多个MSU。POD设备120被配置为识别MSD中的ODC，从而提供影响经由设备100传送的训练程序的传送的输入。如图所示，用户还佩戴耳机170，其能够传送可听反馈。该可听反馈被示出为从设备100发出，但是在一些实施例中，它由POD设备120直接提供。将理解的是，耳机是有用的，因为在练习基于运动的技能时使用移动设备通常是不方便的。出于类似的原因，在一些实施例中，设备100采用可穿戴单元的形式，例如增强现实耳机、具有屏幕显示器的眼镜/护目镜、视网膜显示器/投影仪等。
图1B中的屏幕101上显示的用户界面包括媒体显示对象160和指令/反馈对象161。例如，在一个实施例中，对象161提供表示构成技能的运动方面事件的渐进时间线，并且对象160提供示出正确形式的动画或视频(可选地，具有表示从MSD导出的实际用户运动的叠加)。基于对从在具有MSU功能的服装130上提供的MSU导出的MSD的分析，以与上述对象103和105类似的方式控制对象160和161的速率。
示例用户界面显示
图6A和图6B示出了使用本文描述的技术的吉他训练程序的示例用户界面显示。
图6A示出了进展对象，其被配置为通过滚动与图5A中所示的带状对象类似的带状对象来提供关于在吉他上弹奏音符的指令。滚动以受控速率发生，例如基于对从耦合到用户吉他的ASU接收到的ASD的处理。进度条显示用户关于表演事件识别对象的当前位置。还提供了媒体对象，这提供了描绘对应于表演事件识别对象的音符的敲击的视频的渲染。以与进展对象绑定的速率演奏视频，从而辅助用户可视化如何敲击指示的音符。在图6B中，视频被显示为关于视频演奏者的手指被更正确地裁剪，其中叠加了指导图标以用于附加指导。例如，图6B的显示可以被提供作为错误识别和训练子过程的一部分。
图6C示出了进展对象，其被配置为提供关于挥动高尔夫球杆的指令。在这种情况下，示出了多个MSU位置区域(诸如区域600)，从而指示表演者关于在高尔夫挥杆运动期间由具有MSU功能的服装所携带的MSU的正确位置。在一些实施例中，还提供了实际MSU位置的实时显示，从而辅助用户可视化和实现运动/位置校正。以这种方式，以类似于敲击音乐作品中的音符的方式通过进展对象呈现通过身体活动(诸如高尔夫挥杆)的进展；这些音符由身体部位位置代替，并且用户在那些身体部位位置之间进展以表演身体活动。
图6C中所示的位置之间的转换可以逐步或递增地被动画以用于平滑转换。图6C还示出了屏幕下部的视频动画带。
在图6D的示例中，显示了观测到的尝试属性，包括观测到的速度和目标速度之间的比较(在该示例中为“2.1.1”与“5.1.1”)以及基于观测到的尝试的所计算的杆头速度(与目标相比)。这允许用户通过以下方式练习运动：首先从一个位置缓慢移动到另一个位置以实现准确的定位和位置转换；其次练习位置之间转换的速度，然后练习速率(同时保持位置和速度的准确性)。
图6E的视图示出了事后分析显示，其有助于识别运动的特定部分处的运动中的错误(例如，使用交叉引用的PCT申请中公开的基于原因/症状/ODC的分析)。这显示了相对于指示的MSU位置的实际观测的MSU位置，并且提供反馈从而辅助改善表演。图6F的视图从替代的角度示出了运动图形，从而辅助对另外的MSU位置的可视化。
以这种方式，如图6C至6E所示，一些实施例提供用于技能训练数据的自适应传送的计算机实现的方法，包括：接收从一组运动传感器单元(MSU)导出的表演数据；使图形对象显示在显示屏上，其中图形对象包括基于运动的技能的身体表演的阶段的表示，包括一个或多个MSU在身体表演的每个阶段的目标位置；基于对从该组运动传感器单元导出的表演数据的分析，在身体表演的阶段的显示之间进展；并且经由图形对象显示基于对从该组运动传感器单元导出的表演数据的分析而确定的给定的一个运动传感器单元的观测位置之间的关系。
示例：媒体内容的有效利用
如所指出的，一些示例提供了在自适应技能训练程序中有效利用媒体内容。这与显示用于辅助训练的媒体内容(例如视频数据)的训练程序的上下文相关。基于对PSD的分析，媒体内容的显示例如在平移/缩放位置和/或速率方面是变化的。这允许通过单个或有限的媒体文件集合来提供更丰富的用户体验，从而避免收集和/或维护大量的媒体文件集合的需要。
一个实施例提供了一种计算机实现的方法，包括接收从一个或多个表演传感器单元导出的表演数据；处理从一个或多个表演传感器单元导出的表演数据；并且基于对表演数据中的预定义的可观测数据条件的识别，执行媒体调整动作。在优选实施例中，给定的一个用户界面组件包括具有回放速率和视口定义的媒体对象，并且执行媒体调整动作包括确定调整回放速率和/或视口定义。
以上进一步详细讨论了能够调整回放速率的方式。总的来说，对PSD的处理使得能够确定与用户的身体表演相关联的速率，并且该速率被应用于媒体回放。在一些实施例中，这包括在视频数据上提供叠加，从而示出用户的实际表演(例如，通过从MSD构建的虚拟身体模型)与基准表演(例如，在视频数据中捕获的基准表演)之间的关系。
通过将数字平移/缩放变换应用于视频数据来实现对视口定义的调整，从而显示小于视频数据的全帧渲染的像素选择(视口)。作为示例，图2示出了示例性全帧视频渲染200和一组视口定义。这些是通过参考用于吉他训练程序的视频文件中的专家演奏吉他的视频来说明的。最初捕获高清晰度(例如4K)高帧率视频，这至少包含训练程序所需的最大视野。然后，在创作训练程序时，定义规则，该规则使得响应于定义的条件被满足而调整视口定义。这些定义的条件可以包括PSD方面满足的条件或者参考PSD的条件。
在图2的示例中，视口定义包括：(i)视口定义201，其提供显示表演者的身体的部分缩放；(ii)视口定义202，其被缩放以显示表演者在吉他上的右手；(iii)视口定义203，其被缩放以显示表演者在吉他上的左手。这些用于例如向用户(即学生)提供视频专家如何演奏特定音乐片段的详细视图。
在一些实施例中，在视频数据中追踪吉他，从而能够在吉他上的适当位置(例如，相对于弦)将叠加应用于视频数据，该叠加用于例如识别正确的手指位置和/或用户手指位置(如基于对PSD的分析所预测的，例如从根据生成的声音/振动确定最后的手指位置导出的预测)。
视口定义与PSD相关观测的关联使得能够动态修改所显示的视频数据，从而有助于针对技能训练提供适合于自适应训练过程的给定时间点的视觉辅助，而不需要针对给定技能(例如，在演奏特定音乐片段的上下文中的技能，或特定的基于运动的技能形式的技能)的单独的视频文件的库。单个视频文件能够通过调整视口定义以关注特定的重要区域来提供多种形式的视觉辅助内容。例如，基于对ODC的处理，识别要提供反馈和/或教学的特定身体部位(或类似物)，并且调整视口定义以关注该特定身体部位(或类似物)。
在一些实施例中，使用能够进行角度改变的视频捕获技术。这通过不仅实现视口调整而且还实现视角调整来增强上述实施例。例如，“子弹时间”技术通过从多个角度捕获给定场景来实现视频数据中的角度调整。
示例性用户界面控制平台
图3示出了示例用户界面控制平台300。这通过参考多个功能定义的组件来说明，这些组件实际上可以由一个或多个软件应用和/或数据管理组件提供。平台可以基于在单个设备处或跨多个设备(例如，组合的POD设备和智能手机，和/或服务器设备)执行的软件指令来执行。
平台被配置为接收来自一个或多个PSU的传感器数据，或者在一些实施例中，接收从传感器数据导出的数据(例如，基于预处理的程度)。该数据由表演分析模块301分析。这些例如处理传感器数据由此识别ODC，并因此确定观测到的身体表演的属性，例如症状和原因。该分析提供能够驱动反馈传送模块302和课程控制模块303的输入，反馈传送模块302和课程控制模块303提供指导自适应训练过程的逻辑(例如，通过响应于在PSD中识别的属性以自适应方式向用户提供指令和反馈)。
媒体数据库311包含被配置为在用户界面(例如，触摸屏设备、视网膜投影显示器、HUD眼镜等)中渲染的视频文件。媒体显示规则响应于模块302和/或303，从而(i)选择要显示的媒体；以及(ii)确定显示的属性，例如帧速率、视口定义和/或视角。媒体控制模块313被配置为响应于来自显示规则312的应用的输入，提供指令，从而控制在用户界面中渲染的媒体显示对象的操作(例如，通过控制帧速率、视口等)。
指令数据231包括被配置为能够渲染用户界面指令(例如图1A中所示的滚动带状对象)的数据。指令传送规则被配置为确定指令数据将被传送的方式，例如通过响应于对PSD的分析而确定动态可变的进展速率。指令传送控制模块被配置为例如通过动态控制在用户界面中渲染的对象的进展速率来实现那些确定。
控制叠加
如所指出的，在一些实现方式中，将叠加应用于视频数据。实施例包括被配置为使用预定义的3D叠加模型实现将这种叠加应用于视频数据的方法。
以第一方向定义叠加模型数据。例如，此方向相对于下述项被定义：
·在音乐教学的情况下，给定乐器的预定义的方向和配置。例如，对于吉他教学，定义标准化的吉他(或其一部分，例如音品和弦)。这种模型定义了与物理乐器位置点相对应的虚拟点。
·在身体运动教学的情况下，标准化的3D身体模型，例如基于MCD、MSD等定义的模型。这种模型定义了与物理身体位置点相对应的虚拟点。
在任一种情况下，模型被定义为提供视觉信息，该视觉信息能够作为对视频数据的叠加被应用，从而传达附加信息。例如，该视觉信息可以示出以下项中的任何一项或多项：从对PSD的处理导出的用户定位；特别重要的区域；等等。
根据一个实施例的方法包括在视频数据中识别与模型中定义的虚拟点对应的物理位置点(诸如物理乐器位置点或物理身体位置点)。然后将变换应用于3D叠加模型，使得其能够在正确位置处叠加在视频数据上。在一些实施例中，这需要捕获和处理与视频数据相关联的MCD和/或MSD(或深度特定的数据)，其可以是二维的。
结论和解释
除非另有明确说明，否则从以下讨论中可以明显看出，应该理解，在整个说明书中，利用诸如“处理”、“计算”、“核算”、“确定”、“分析”等的术语涉及计算机或计算系统或类似的电子计算设备将表示为物理(例如电子)量的数据操纵和/或转换为类似地表示为物理量的其它数据的动作和/或处理。
以类似的方式，术语“处理器”可以指处理电子数据(例如，来自寄存器和/或存储器)以将该电子数据转换到其它电子数据(例如可以被存储在寄存器和/或存储器中)的任何设备或设备的一部分。“计算机”或“计算机器”或“计算平台”可以包括一个或多个处理器。
在一个实施例中，这里描述的方法可以由接受计算机可读(也称为机器可读)代码的一个或多个处理器执行，该处理器包含指令集，当一个或多个处理器执行时，该指令集执行至少一个本文描述的方法。包括能够执行指定要采取的动作的指令集(顺序或以其它方式)的任何处理器。因此，一个示例是包括一个或多个处理器的典型处理系统。每个处理器可以包括CPU、图形处理单元和可编程DSP单元中的一个或多个。处理系统还可以包括具有主RAM和/或静态RAM和/或ROM的存储器子系统。可以包括总线子系统以在组件之间进行通信。处理系统还可以是具有由网络耦合的处理器的分布式处理系统。如果处理系统需要显示器，则可以包括这样的显示器，例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入，则处理系统还包括输入设备，例如，诸如键盘之类的字母数字输入单元。诸如鼠标之类的定点控制设备等中的一个或多个。如本文所使用的术语存储器单元，如果从上下文中清楚并且除非另有明确说明，还包括诸如盘驱动器单元之类的存储系统。一些配置中的处理系统可以包括声音输出设备和网络接口设备。存储器子系统因此包括计算机可读载体介质，其携带包括指令集的计算机可读代码(例如，软件)，以在由一个或多个处理器执行时执行本文所描述的方法中的一个或多个。注意，当该方法包括数个元素，例如数个步骤时，除非具体说明，否则不暗示这些元件的排序。该软件可以驻留在硬盘中，或者也可以在由计算机系统执行期间完全或至少部分地驻留在RAM内和/或处理器内。因此，存储器和处理器也构成携带计算机可读代码的计算机可读载体介质。
此外，计算机可读载体介质可以形成计算机程序产品或被包括在计算机程序产品中。
在替代实施例中，一个或多个处理器作为独立设备操作，或者可以在网络部署中连接(例如，联网到其它处理器)，一个或多个处理器可以以服务器或用户机器的身份在服务器用户网络环境中进行操作，或作为对等或分布式网络环境中的对等机器进行操作。一个或多个处理器可以形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或网桥、或任何能够执行指定要由该机器采取的动作的指令集(顺序或以其它方式)的机器。
注意，虽然图仅示出携带计算机可读代码的单个处理器和单个存储器，但是本领域技术人员将理解，包括上述组件中许多组件，但未明确示出或描述，以便不模糊发明方面。例如，虽然仅示出了单个机器，但术语“机器”也应被视为包括单独或共同执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器的任何集合。
因此，本文描述的每种方法的一个实施例是携带一组指令的计算机可读载体介质的形式，例如用于在一个或多个处理器(例如作为web服务器布置的一部分一个或多个处理器)上执行的计算机程序。因此，如本领域技术人员将理解的，本发明的实施例可以体现为方法、诸如专用装置之类的装置、诸如数据处理系统之类的装置或计算机可读载体介质，例如，计算机程序产品。计算机可读载体介质携带计算机可读代码，其包括指令集，当在一个或多个处理器上执行时，指令集使得一个或多个处理器实现方法。因此，本发明的各方面可以采取方法、完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。此外，本发明可以采取携带介质中实施的计算机可读程序代码的载体介质(例如，计算机可读存储介质上的计算机程序产品)的形式。
还可以经由网络接口设备通过网络发送或接收该软件。尽管在示例性实施例中将载体介质示出为单个介质，但术语“载体介质”应当被认为包括存储一组或多组指令的单个介质或多个介质(例如，集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“载体介质”还应被视为包括能够存储、编码或携带指令集以供一个或多个处理器执行并使一个或多个处理器执行本发明的任何一个或多个方法的介质。载体介质可以采取许多形式，包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘、磁盘和磁光盘。易失性介质包括动态存储器，如主存储器。传输介质包括同轴电缆、铜线和光纤，包括构成总线子系统的电线。传输介质还可以采取声波或光波的形式，例如在无线电波和红外数据通信期间生成的波。因此，术语“载体介质”应被视为包括但不限于固态存储器，体现在光学和磁性介质中的计算机产品；具有承载由一个或多个处理器中的至少一个处理器可检测的传播信号并且表示指令集的介质，当指令集被运行时，执行方法；以及网络中承载由一个或多个处理器中的至少一个处理器可检测的可传播信号并且表示指令集的传输介质。
应当理解，所讨论的方法的步骤在一个实施例中由执行存储在存储装置中的指令(计算机可读代码)的处理(即，计算机)系统的适当的处理器(或多个处理器)执行。还将理解，本发明不限于任何特定的实现或编程技术，并且本发明可以使用用于实现本文所描述的功能的任何适当的技术来实现。本发明不限于任何特定的编程语言或操作系统。
应当理解，在上面对本发明的示例性实施例的描述中，为了简化本公开并有助于理解各种发明方面中的一个或多个方面，本发明的各种特征有时在单个实施例、图或其描述中被分组在一起。然而，这种公开的方法不应被解释为反映所要求保护的发明需要比每个权利要求中明确叙述的特征更多的特征的意图。相反，如以下权利要求所反映的那样，发明的各方面在于少于单个前述公开实施例的所有特征。因此，具体实施方式中的权利要求在此明确地并入具体实施方式中，其中每个权利要求独立地作为本发明的单独实施例。
此外，虽然本文所描述的一些实施例包括一些特征但不包括其它实施例中的其它特征，但是不同实施例的特征的组合意图在本发明的范围内，并且形成不同的实施例，如本领域技术人员将理解的。例如，在所附权利要求中，任何要求保护的实施例可以以任何组合使用。
此外，一些实施例在这里被描述为可以由计算机系统的处理器或通过执行该功能的其它手段来实现的方法或方法的元素的组合。因此，具有用于执行方法或方法的元素的必要指令的处理器形成用于执行方法或方法元素的装置。此外，本文中描述的装置实施例的元件是用于执行由针对实现本发明的目的的元件执行的功能的装置的示例。
在本文提供的描述中，阐述了许多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实践本发明的实施例。在其它情况下，还没有详细地示出众所周知的方法、结构和技术，以便不模糊对描述的理解。
类似地，应注意，术语耦合在权利要求中使用时不应被解释为仅限于直接连接。可使用术语“耦合”和“连接”以及其派生词。应理解，这些术语不旨在作为彼此的同义词。因此，耦合到设备B的设备A的表达式的范围不应被限制在其中设备A的输出直接连接到设备B的输入的设备或系统。这意味着在A的输出和B的输入之间存在路径，其可以是包括其它设备或装置的路径。“耦合”可以意味着两个或更多个元件直接物理或电接触，或者两个或更多个元件彼此不直接接触但仍然彼此协作或相互作用。
因此，虽然已经描述了被认为是本发明的优选实施例的内容，但是本领域技术人员将认识到，在不脱离本发明的精神的情况下，可以对其进行其它和进一步的修改，并且旨在要求所有这些改变和修改落入本发明的范围内。例如，上面给出的任何公式仅仅表示可以使用的过程。可以从框图中添加或删除功能，并且可以在功能框之间互换操作。可以将步骤添加或删除到在本发明的范围内描述的方法。

Claims (57)

1.一种被配置为向用户提供训练的系统，所述系统包括：
输入，被配置为从一个或多个表演传感器单元(PSU)接收表演传感器数据，其中，所述一个或多个表演传感器单元被配置为接收表示人类用户进行的技能的身体表演的表演传感器数据(PSD)；
处理设备，被配置为处理所述PSD，从而识别所述PSD的属性，并且将那些属性与预定义的基线表演数据进行比较，其中，所述预定义的基线表演数据包括：
表示一组表演事件的数据，其中该组表演事件是相对于表演时间线而定义的；
对于每个表演事件，表示能够由所述PSD满足的属性的数据；以及
针对表演事件的一个或多个组合的事件间相对定时数据；
用户界面控制组件，被配置为控制图形用户界面的渲染，其中所述图形用户界面提供以受控表演速率传送的一个或多个资源；
速率控制模块，其中所述速率控制模块被配置为基于对所述PSD与所述预定义的基线表演数据的比较来控制所述受控表演速率。
2.根据权利要求1所述的系统，其中，所接收的PSD包括从一个或多个传感器导出的表演数据，该一个或多个传感器被配置为监测一件乐器的用户操作。
3.根据权利要求1所述的系统，其中，所接收的PSD包括从一个或多个运动传感器单元导出的表演数据。
4.根据权利要求3所述的系统，其中，所述一个或多个运动传感器单元由具有运动传感器功能的服装提供。
5.根据权利要求1所述的系统，其中，以所述受控速率传送的一个或多个资源包括以所述受控表演速率进展的渲染进展对象，其中所述渲染进展对象被控制为沿着包括多个表演事件识别对象的路径进展，其中所述表演事件识别对象对应于所述表演事件。
6.根据权利要求5所述的系统，其中，所述速率控制模块被操作，使得在没有下述表演数据的情况下，防止所述渲染进展对象沿着所述路径进展超过所述表演事件识别对象中给定的一个表演事件识别对象：该表演数据(i)在时间上与该表演事件识别对象一致；和/或(ii)与该表演事件识别对象准确地一致，从而提供自适应速度模式，由此基于所接收的PSD对具有所接收的PSD满足的属性的表演事件进行演示所采用的速率来控制所述渲染进展对象的速率。
7.根据权利要求6所述的系统，其中，基于对用于接收与即将到来的表演事件识别对象一致的表演数据的预期时间的预测，针对连续表演事件识别对象之间的进展速率来调整所述受控表演速率。
8.根据权利要求1所述的系统，包括反馈控制模块，其中所述反馈控制模块被配置为响应于预定义的条件而执行定义的反馈动作，所述预定义的条件包括对下述表演数据的识别：该表演数据(i)在时间上与对应于表演事件识别对象的表演事件一致；(ii)未与对应于表演事件识别对象的表演事件准确地一致。
9.根据前述权利要求中任一项所述的系统，包括评级模块，其中，所述评级模块被配置为基于对所接收的PSD与所述预定义的基线表演数据的比较来对表演的特征进行打分。
10.根据权利要求9所述的系统，其中，所述评级模块被配置为以多种模式操作，所述多种模式包括：
第一模式，其中基于对所述PSD的分析来控制所述受控表演速率，并且其中评级基于所述PSD满足表示每个连续表演事件的属性的数据的准确性；
第二模式，其中基于对所述PSD的分析来控制所述受控表演速率，并且其中评级基于所述PSD满足表示每个连续表演事件的属性的数据的准确性、以及对针对表演事件的一个或多组合观测到的事件间相对定时数据与针对所述基线表演数据的表演事件的一个或多个组合的事件间相对定时数据的比较；以及
第三模式，其中所述受控表演速率被设置为与所述PSD的实时监测无关的恒定值，并且其中评级基于所述PSD满足表示每个连续表演事件的属性的数据的准确性。
11.一种用于自适应传送技能训练数据的计算机实现的方法，所述方法包括：
(i)接收从一个或多个表演传感器单元导出的表演数据；
(ii)处理从所述一个或多个表演传感器单元导出的所述表演数据；
(iii)基于处理从所述一个或多个表演传感器单元导出的数据，确定改变一个或多个用户界面组件的传送属性；
(iv)提供信号，从而实现所确定的所述一个或多个用户界面组件的传送属性的变化。
12.根据权利要求11所述的方法，其中，所接收的表演数据包括从一个或多个音频传感器单元导出的表演数据。
13.根据权利要求11所述的方法，其中，所接收的表演数据包括从一个或多个传感器导出的表演数据，该一个或多个传感器被配置为监测一件设备的用户操作。
14.根据权利要求11所述的方法，其中，所述一件设备包括乐器。
15.根据权利要求11所述的方法，其中，所接收的表演数据包括从一个或多个运动传感器单元导出的表演数据。
16.根据权利要求15所述的方法，其中，所述一个或多个运动传感器单元由具有运动传感器功能的服装提供。
17.根据权利要求15所述的方法，其中，所接收的表演数据包括从多个运动传感器单元导出的表演数据，并且其中处理从所述一个或多个运动传感器单元导出的所述表演数据包括识别各个运动传感器的同时运动的特征。
18.根据权利要求11所述的方法，其中，处理从所述一个或多个表演传感器单元导出的所述表演数据包括识别一个或多个预定义的可观测数据条件的存在。
19.根据权利要求18所述的方法，包括识别所述可观测数据条件中给定的一个可观测数据条件的存在，其中所述可观测数据条件中所述给定的一个可观测数据条件与症状相关联。
20.根据权利要求19所述的方法，其中，所述处理还包括确定与所述症状相关联的原因。
21.根据权利要求20所述的方法，其中，确定与所述症状相关联的原因还包括分析从所述一个或多个表演传感器单元导出的数据，从而识别一个或多个另外的可观测数据条件的存在。
22.根据权利要求11所述的方法，其中，处理从所述一个或多个表演传感器单元导出的所述表演数据包括确定表演速率。
23.根据权利要求22所述的方法，其中，所述用户界面组件中的一个或多个用户界面组件包括速率属性，并且其中，确定改变一个或多个用户界面组件的传送属性包括基于所确定的表演速率设置所述速率属性。
24.根据权利要求22所述的方法，其中，所述表演速率是预测表演速率，其中预测表演响应于预测的验证而连续变化。
25.根据权利要求22所述的方法，其中：
所述用户界面组件中给定的一个用户界面组件包括以一种速率进展的渲染对象，其中所述渲染对象沿着包括多个表演事件识别对象的路径进展；以及
调整所述表演速率，使得在没有与所述表演事件识别对象中给定的一个表演事件识别对象一致的表演数据的情况下，防止所述渲染对象沿着所述路径进展超过该表演事件识别对象。
26.根据权利要求25所述的方法，其中，基于对用于接收与即将到来的表演事件识别对象一致的表演数据的预期时间的预测来调整所述表演速率。
27.根据权利要求25所述的方法，其中：
所述用户界面组件中给定的一个用户界面组件包括以一种速率进展的渲染进展对象，其中所述渲染进展对象沿着包括多个表演事件识别对象的路径进展；以及
调整所述表演速率，使得在没有下述表演数据的情况下，防止所述渲染进展对象沿着所述路径进展超过所述表演事件识别对象中给定的一个表演事件识别对象：该表演数据(i)在时间上与该表演事件识别对象一致；(ii)与该表演事件识别对象准确地一致。
28.根据权利要求27所述的方法，其中，基于对用于接收与即将到来的表演事件识别对象一致的表演数据的预期时间的预测来调整所述表演速率。
29.根据权利要求27所述的方法，其中，响应于预定义的条件，执行定义的动作，所述预定义的条件包括对下述表演数据的识别：该表演数据(i)在时间上与该表演事件识别对象一致；并且(ii)与该表演事件识别对象并非准确地一致。
30.根据权利要求29所述的方法，其中，所述定义的动作包括：提供信号，从而实现另一用户界面组件的传送属性的变化。
31.根据权利要求30所述的方法，其中，所述变化包括媒体对象的视口变化。
32.根据权利要求29所述的方法，其中，所述定义的动作包括：提供反馈。
33.根据权利要求29所述的方法，其中，所述定义的动作包括：调整进展对象的位置。
34.根据权利要求33所述的方法，其中，调整所述进展对象的位置包括将所述进展对象回归到定义的点。
35.根据权利要求29所述的方法，其中，所述定义的动作包括：使所述进展对象进入预定义的循环。
36.根据权利要求19所述的方法，其中，所述定义的动作包括：发起定义的子教程。
37.根据权利要求11所述的方法，其中：
所述用户界面组件中给定的一个用户界面组件包括以一种速率进展的渲染进展对象，其中所述渲染进展对象沿着包括多个表演事件识别对象的路径进展；以及
确定改变所述用户界面组件中的一个或多个用户界面组件的传送属性包括调整所述速率，使得在没有下述表演数据的情况下，防止所述渲染进展对象沿着所述路径进展超过表演事件识别对象中给定的一个表演事件识别对象：该表演数据(i)在时间上与该表演事件识别对象一致；和/或(ii)与该表演事件识别对象准确地一致。
38.根据权利要求37所述的方法，其中，基于对用于接收与即将到来的表演事件识别对象一致的表演数据的预期时间的预测来调整所述表演速率。
39.根据权利要求37所述的方法，其中，响应于预定义的条件，执行定义的动作，所述预定义的条件包括对下述表演数据的识别：该表演数据(i)在时间上与该表演事件识别对象一致；并且(ii)与该表演事件识别对象并非准确地一致。
40.根据权利要求39所述的方法，其中，所述定义的动作包括：提供信号，从而实现另一用户界面组件的传送属性的变化。
41.根据权利要求40所述的方法，其中，所述变化包括媒体对象的视口变化。
42.根据权利要求39所述的方法，其中，所述定义的动作包括：提供反馈。
43.根据权利要求39所述的方法，其中，所述定义的动作包括：调整进展对象的位置。
44.根据权利要求43所述的方法，其中，调整所述进展对象的位置包括将所述进展对象回归到定义的点。
45.根据权利要求39所述的方法，其中，所述定义的动作包括：使所述进展对象进入预定义的循环。
46.根据权利要求39所述的方法，其中，所述定义的动作包括：发起定义的子教程。
47.根据权利要求11的方法，其中：
所述用户界面组件中给定的一个用户界面组件包括具有回放速率和视口定义的媒体对象；以及
确定改变一个或多个用户界面组件的传送属性包括确定调整所述回放速率和/或视口定义。
48.根据权利要求47所述的方法，其中，响应于从对表演数据的处理导出的表演速率而调整所述回放速率。
49.根据权利要求47所述的方法，其中，响应于针对从对表演数据的处理导出的准确性的确定而调整所述视口定义。
50.根据权利要求47所述的方法，其中，响应于对所述表演数据中的一个或多个可观测数据条件的识别而调整所述视口定义。
51.根据权利要求50所述的方法，其中，定义了一组规则，所述规则将可观测数据条件与视口定义调整相关联。
52.根据权利要求47所述的方法，其中，视口定义调整包括数字平移和/或缩放操作。
53.根据权利要求47所述的方法，其中，视口定义调整包括角度调整。
54.一种用于自适应传送技能训练数据的计算机实现方法，所述方法包括：
接收从一组运动传感器单元(MSU)导出的表演数据；
使图形对象显示在显示屏上，其中所述图形对象包括基于运动的技能的身体表演的阶段的表示，包括一个或多个MSU在所述身体表演的每个阶段的目标位置；
基于对从所述一组运动传感器单元导出的所述表演数据的分析，在所述身体表演的所述阶段的显示之间进展；
经由所述图形对象显示基于对从所述一组运动传感器单元导出的所述表演数据的分析而确定的运动传感器单元中给定的一个运动传感器单元的观测位置之间的关系。
55.根据权利要求54所述的方法，包括以自适应速度操作模式进行操作。
56.一种用于自适应传送技能训练数据的计算机实现的方法，所述方法包括：
接收从一个或多个表演传感器单元导出的表演数据；
执行一致动作，其中：
用户界面组件中给定的一个用户界面组件包括以一种速率进展的渲染进展对象，其中所述渲染进展对象沿着包括多个表演事件识别对象的路径进展；以及
所述一致动作包括确定所述表演数据是否(i)在时间上与表演事件识别对象一致；和/或(ii)与表演事件识别对象准确地一致；
调整所述速率，使得在没有下述表演数据的情况下，防止所述渲染进展对象沿着所述路径进展超过所述表演事件识别对象中给定的一个表演事件识别对象：该表演数据(i)在时间上与该表演事件识别对象一致；和/或(ii)与该表演事件识别对象准确地一致。
57.一种用于自适应传送技能训练数据的计算机实现的方法，所述方法包括：
接收从一个或多个表演传感器单元导出的表演数据；
处理从所述一个或多个表演传感器单元导出的表演数据；以及
基于对所述表演数据中预定义的可观测数据条件的识别，执行媒体调整动作，其中：
用户界面组件中给定的一个用户界面组件包括具有回放速率和视口定义的媒体对象；以及
执行所述媒体调整动作包括确定调整所述回放速率和/或视口定义。
CN201680081654.9A 2015-12-10 2016-12-12 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法 Pending CN109074752A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
AU2015905108A AU2015905108A0 (en) 2015-12-10 Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance data
AU2015905108 2015-12-10
AUPCT/AU2016/000026 2016-02-02
PCT/AU2016/000026 WO2016123654A1 (en) 2015-02-02 2016-02-02 Frameworks, devices and methodologies configured to provide of interactive skills training content, including delivery of adaptive training programs based on analysis of performance sensor data
AUPCT/AU2016/000020 2016-02-02
PCT/AU2016/000020 WO2016123648A1 (en) 2015-02-02 2016-02-02 Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
PCT/AU2016/051220 WO2017096436A1 (en) 2015-12-10 2016-12-12 Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance via performance monitoring hardware

Publications (1)

Publication Number Publication Date
CN109074752A true CN109074752A (zh) 2018-12-21

Family

ID=59012470

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680081654.9A Pending CN109074752A (zh) 2015-12-10 2016-12-12 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法

Country Status (6)

Country Link
US (1) US11074826B2 (zh)
EP (1) EP3387634B1 (zh)
JP (1) JP2019505832A (zh)
KR (1) KR20190038748A (zh)
CN (1) CN109074752A (zh)
WO (1) WO2017096436A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706553A (zh) * 2019-11-13 2020-01-17 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7066116B2 (ja) * 2017-11-27 2022-05-13 地方独立行政法人東京都立産業技術研究センター 人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080254946A1 (en) * 2005-02-14 2008-10-16 Koninklijke Philips Electronics, N.V. Electronic Device and Method for Reproducing a Human Perceptual Signal
US20110003638A1 (en) * 2009-07-02 2011-01-06 The Way Of H, Inc. Music instruction system
US20110259176A1 (en) * 2010-04-23 2011-10-27 Apple Inc. Musical instruction and assessment systems
US20120183940A1 (en) * 2010-11-05 2012-07-19 Nike, Inc. Method and system for automated personal training
US20140263224A1 (en) * 2013-03-15 2014-09-18 Illinois Tool Works Inc. Welding training systems and devices

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293802B1 (en) 1998-01-29 2001-09-25 Astar, Inc. Hybrid lesson format
US6389368B1 (en) 1999-10-01 2002-05-14 Randal R. Hampton Basketball goal sensor for detecting shots attempted and made
JP4151189B2 (ja) * 2000-03-06 2008-09-17 ヤマハ株式会社 音楽ゲーム装置及び方法並びに記憶媒体
AU2002255568B8 (en) 2001-02-20 2014-01-09 Adidas Ag Modular personal network systems and methods
US20040219498A1 (en) 2002-04-09 2004-11-04 Davidson Lance Samuel Training apparatus and methods
ES2562933T3 (es) * 2002-10-09 2016-03-09 Bodymedia, Inc. Aparato para detectar, recibir, obtener y presentar información fisiológica y contextual humana
US20060025229A1 (en) 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
KR20070032628A (ko) 2004-01-26 2007-03-22 모델골프 엘엘시 육체적 기술의 동작 및 이 육체적 기술의 수행에 사용하는장비의 측정 및 평가를 위한 시스템 및 방법
WO2006081395A2 (en) 2005-01-26 2006-08-03 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
WO2007033194A2 (en) 2005-09-13 2007-03-22 Aware Technologies, Inc. Method and system for proactive telemonitor with real-time activity and physiology classification and diary feature
US7978081B2 (en) 2006-01-09 2011-07-12 Applied Technology Holdings, Inc. Apparatus, systems, and methods for communicating biometric and biomechanical information
US8714986B2 (en) 2006-08-31 2014-05-06 Achieve3000, Inc. System and method for providing differentiated content based on skill level
JP2008073285A (ja) 2006-09-22 2008-04-03 Seiko Epson Corp 靴、その靴を履いた人の歩行・走行動作評価支援装置
CN101652808A (zh) 2007-04-27 2010-02-17 诺基亚公司 基于表演情景来修改卡拉ok系统中的视听输出
JP2009169103A (ja) * 2008-01-16 2009-07-30 Yamaha Corp 練習支援装置
US8630192B2 (en) 2009-01-28 2014-01-14 Headwater Partners I Llc Verifiable and accurate service usage monitoring for intermediate networking devices
US9060714B2 (en) 2008-12-04 2015-06-23 The Regents Of The University Of California System for detection of body motion
CN101441776B (zh) 2008-12-04 2010-12-29 浙江大学 示范表演驱动的基于加速传感器的三维人体动作编排方法
US8172722B2 (en) 2008-12-05 2012-05-08 Nike, Inc. Athletic performance monitoring systems and methods in a team sports environment
US8988240B2 (en) 2009-01-15 2015-03-24 AvidaSports, LLC Performance metrics
EP2389152A4 (en) 2009-01-20 2016-05-11 Univ Northeastern MULTI-USER SMARTGLOVE FOR REHABILITATION BASED ON VIRTUAL ENVIRONMENTS
GB0901020D0 (en) 2009-01-21 2009-03-04 Birmingham City University A motion capture apparatus
CN102481478B (zh) 2009-03-27 2015-06-03 英福摩迅运动科技公司 监测体育锻炼事件
US8289185B2 (en) 2009-05-05 2012-10-16 Advanced Technologies Group, LLC Sports telemetry system for collecting performance metrics and data
CA2939445C (en) 2009-09-04 2019-05-07 Nike Innovate C.V. Monitoring and tracking athletic activity
US20110270135A1 (en) 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
IT1397737B1 (it) * 2010-01-18 2013-01-24 Giovanni Saggio Apparecchiatura e metodo di rilevamento, addestramento e allenamento di attivita' motorie
GB2482729A (en) * 2010-08-13 2012-02-15 Monnowtone Ltd An augmented reality musical instrument simulation system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US10216893B2 (en) 2010-09-30 2019-02-26 Fitbit, Inc. Multimode sensor devices
WO2012051605A2 (en) * 2010-10-15 2012-04-19 Jammit Inc. Dynamic point referencing of an audiovisual performance for an accurate and precise selection and controlled cycling of portions of the performance
US9457256B2 (en) 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
US9223936B2 (en) 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
JP5641222B2 (ja) 2010-12-06 2014-12-17 セイコーエプソン株式会社 演算処理装置、運動解析装置、表示方法及びプログラム
JP5419171B2 (ja) * 2011-02-15 2014-02-19 株式会社河合楽器製作所 電子楽器
KR101853239B1 (ko) 2011-02-17 2018-04-27 나이키 이노베이트 씨.브이. 위치 맵핑
US8696450B2 (en) 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
FI20115791A0 (fi) * 2011-08-10 2011-08-10 Polar Electro Oy Harjoittelun ohjauslaite
US9886871B1 (en) * 2011-12-27 2018-02-06 PEAR Sports LLC Fitness and wellness system with dynamically adjusting guidance
US9474970B2 (en) 2012-01-26 2016-10-25 David H. Kil System and method for processing motion-related sensor data with social mind-body games for health application
ITMI20120494A1 (it) 2012-03-27 2013-09-28 B10Nix S R L Apparato e metodo per l'acquisizione ed analisi di una attivita' muscolare
US9737261B2 (en) 2012-04-13 2017-08-22 Adidas Ag Wearable athletic activity monitoring systems
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
CN102819863B (zh) 2012-07-31 2015-01-21 中国科学院计算技术研究所 一种三维人体运动的实时在线获取方法及其系统
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US10143405B2 (en) 2012-11-14 2018-12-04 MAD Apparel, Inc. Wearable performance monitoring, analysis, and feedback systems and methods
US9278255B2 (en) 2012-12-09 2016-03-08 Arris Enterprises, Inc. System and method for activity recognition
US9043004B2 (en) 2012-12-13 2015-05-26 Nike, Inc. Apparel having sensor system
US9226706B2 (en) 2012-12-19 2016-01-05 Alert Core, Inc. System, apparatus, and method for promoting usage of core muscles and other applications
WO2014121374A1 (en) 2013-02-06 2014-08-14 Blur Sports Inc. Performance monitoring systems and methods for edging sports
CN103135765A (zh) 2013-02-20 2013-06-05 兰州交通大学 一种基于微机械传感器的人体动作信息捕捉系统
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US20140320481A1 (en) 2013-04-30 2014-10-30 Hewlett-Packard Development Company, L.P. Display control
US20150019135A1 (en) 2013-06-03 2015-01-15 Mc10, Inc. Motion sensor and analysis
US8901405B1 (en) * 2013-08-22 2014-12-02 McCarthy Music Corp. Electronic piano training device
US10687193B2 (en) 2013-09-19 2020-06-16 Unaliwear, Inc. Assist device and system
US20160256082A1 (en) * 2013-10-21 2016-09-08 Apple Inc. Sensors and applications
CN105793849B (zh) 2013-10-31 2022-08-19 德克斯康公司 用于连续监测装置的自适应界面
CH709324A2 (fr) 2014-01-06 2015-08-28 Cédric Mangaud Dispositif de création de vidéos augmentées.
CN103990285B (zh) 2014-05-12 2017-02-22 宁波市智能制造产业研究院 表演机器人
US20160180248A1 (en) 2014-08-21 2016-06-23 Peder Regan Context based learning
US9772684B2 (en) 2014-09-17 2017-09-26 Samsung Electronics Co., Ltd. Electronic system with wearable interface mechanism and method of operation thereof
WO2016056449A1 (ja) 2014-10-10 2016-04-14 富士通株式会社 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ
US10918924B2 (en) 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US11030918B2 (en) * 2015-09-10 2021-06-08 Kinetic Telemetry, LLC Identification and analysis of movement using sensor devices
US10970661B2 (en) 2016-01-11 2021-04-06 RaceFit International Company Limited System and method for monitoring motion and orientation patterns associated to physical activities of users
US10220255B2 (en) 2017-04-12 2019-03-05 Russell Copelan Wearable measuring apparatus for sports training

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080254946A1 (en) * 2005-02-14 2008-10-16 Koninklijke Philips Electronics, N.V. Electronic Device and Method for Reproducing a Human Perceptual Signal
US20110003638A1 (en) * 2009-07-02 2011-01-06 The Way Of H, Inc. Music instruction system
US20140100010A1 (en) * 2009-07-02 2014-04-10 The Way Of H, Inc. Music instruction system
US20110259176A1 (en) * 2010-04-23 2011-10-27 Apple Inc. Musical instruction and assessment systems
US20120183940A1 (en) * 2010-11-05 2012-07-19 Nike, Inc. Method and system for automated personal training
US20140263224A1 (en) * 2013-03-15 2014-09-18 Illinois Tool Works Inc. Welding training systems and devices

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110706553A (zh) * 2019-11-13 2020-01-17 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置

Also Published As

Publication number Publication date
US11074826B2 (en) 2021-07-27
JP2019505832A (ja) 2019-02-28
US20190228672A1 (en) 2019-07-25
EP3387634A4 (en) 2019-05-01
EP3387634A1 (en) 2018-10-17
KR20190038748A (ko) 2019-04-09
EP3387634B1 (en) 2021-02-24
WO2017096436A1 (en) 2017-06-15

Similar Documents

Publication Publication Date Title
LaViola Jr et al. 3D user interfaces: theory and practice
Serafin et al. Virtual reality musical instruments: State of the art, design principles, and future directions
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
CN109799903A (zh) 基于虚拟现实的打击乐方法、终端设备及系统
KR20160093131A (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
CN114746159B (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
CN114746158B (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
US20220398937A1 (en) Information processing device, information processing method, and program
CN110531849A (zh) 一种基于5g通信的增强现实的智能教学系统
KR20210070270A (ko) 정보 처리 장치
US11682157B2 (en) Motion-based online interactive platform
CN109074752A (zh) 被配置为基于通过表演监测硬件监测用户表演来实现技能训练数据的实时自适应传送的框架和方法
Maes et al. The “Conducting Master”: an interactive, real-time gesture monitoring system based on spatiotemporal motion templates
CN106984044A (zh) 用于启动预设流程的方法及设备
JPWO2006011342A1 (ja) 楽音生成方法
CN107851457A (zh) 被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法
Iijima et al. Designing Gestures for Digital Musical Instruments: Gesture Elicitation Study with Deaf and Hard of Hearing People
Erkut et al. A Structured Design and Evaluation Model with Application to Rhythmic Interaction Displays.
Fujii et al. MoveMe: 3D haptic support for a musical instrument
WO2018211767A1 (ja) 触質情報処理装置および触質情報処理方法
WO2010084490A1 (en) Method and system for movement training
Deja et al. Towards Modeling Guitar Chord Fretboard Finger Positioning Using Electromyography
US11771977B2 (en) Computationally customizing instructional content
US20220172640A1 (en) Method, device, system and apparatus for creating and/or selecting exercises for learning playing a music instrument
US20240135617A1 (en) Online interactive platform with motion detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181221

WD01 Invention patent application deemed withdrawn after publication