CN107533806A - 被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法 - Google Patents
被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法 Download PDFInfo
- Publication number
- CN107533806A CN107533806A CN201680020626.6A CN201680020626A CN107533806A CN 107533806 A CN107533806 A CN 107533806A CN 201680020626 A CN201680020626 A CN 201680020626A CN 107533806 A CN107533806 A CN 107533806A
- Authority
- CN
- China
- Prior art keywords
- data
- group
- performance
- expertise
- technical ability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/0053—Computers, e.g. programming
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B69/00—Training appliances or apparatus for special sports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B15/00—Teaching music
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B5/00—Electrically-operated educational appliances
- G09B5/02—Electrically-operated educational appliances with visual presentation of the material to be studied, e.g. using film strip
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Educational Technology (AREA)
- Educational Administration (AREA)
- Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Entrepreneurship & Innovation (AREA)
- Physical Education & Sports Medicine (AREA)
- General Health & Medical Sciences (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Primary Health Care (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
- Electrically Operated Instructional Devices (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明涉及对由来自一个或多个表演传感器单元的输入所驱动的内容的传送,所述一个或多个表演传感器单元例如是被配置为监视基于运动的表演和/或基于音频的表演的表演传感器单元。本发明的实施例包括与这样的内容的生成、分发和执行相关联的软件和硬件以及相关联的方法。特别注意能够实现传送技能训练内容的技术,所述技能训练内容提供针对各种技能的训练内容方面的专家知识变化。
Description
技术领域
本发明涉及对由来自一个或多个表演传感器单元(例如,被配置为监测基于运动的表演和/或基于音频的表演的表演传感器单元)的输入所驱动的内容的传送。本发明的实施例包括与这类内容的生成、分发和执行相关联的软件和硬件以及相关联的方法。
背景技术
在整个说明书中对背景技术的任何讨论绝不应被视为承认这样的技术是众所周知的或者形成本领域公知常识的一部分。
因此开发了各种技术以实现监测人类活动的传感器和训练系统之间的集成。例如,这些技术已经应用在基于运动的训练的上下文中,以向用户提供基于监测的属性(例如,心率、跑步速度和行进距离)的报告。通常,已知的技术有效地提供关于高水平的人类活动结果的报告(例如,在跑步、行进距离的上下文中),而不是实现对执行活动的方式的分析(例如,再次在跑步(人跑步的形式)的上下文中)。因此,虽然这些技术作为训练工具很有用,但它们只提供了用于评估人类表演的表面的过程工具。
发明内容
至少在一些实施例中,本发明的目的是克服或改善现有技术的至少一个缺点、或提供有用的替代方案。
提供了以下概述实施例的集合以基于以下具体实施方式中公开的技术方面的选择来预示潜在的专利权利要求。这些概述实施例的集合并不旨在以任何方式限制可能要求的权利要求的范围。
一个实施例提供了一种用于使得用户能够配置本地表演监测硬件设备的操作的计算机实现的方法,该方法包括:
提供被配置为使得客户端设备的用户能够选择一组可下载内容的界面,其中该组可下载内容涉及一个或多个技能;以及
使得用户能够将表示所选择的一组可下载内容的至少一部分的数据下载到与用户相关联的本地表演监测硬件,其中下载包括对下述各项的下载:
(i)传感器配置数据,其中传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以定义的方式进行操作从而提供表示特定技能的尝试表演的数据;
(ii)状态引擎数据,其中状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由一个或多个表演传感器单元的集合所提供的数据来识别特定技能的尝试表演的属性;以及
(iii)用户界面数据,其中用户界面数据包括被配置为执行下述操作的数据:基于所识别的特定技能的尝试表演的属性来实现用户界面的操作;
方法还包括使得用户能够选择由针对所选择的一个或多个技能的专家知识变化所定义的可下载内容,其中存在可用于一个或多个技能的集合的多个专家知识变化。
一个实施例提供了一种计算机实现的方法,其中第一专家知识变化与第一组状态引擎数据相关联,并且第二专家知识变化与第二组不同的状态引擎数据相关联,其中第二组不同的状态引擎数据被配置为实现对未使用第一组状态引擎数据识别的表演的一个或多个特定于专家的属性的识别。
一个实施例提供了一种计算机实现的方法,其中特定于专家的属性涉及与专家相关联的表演的风格。
一个实施例提供了一种计算机实现的方法,其中,表演的风格由使用从一个或多个运动传感器单元得到的数据可观测的身体运动的定义属性来表示。
一个实施例提供了一种计算机实现的方法,其中特定于专家的属性涉及与专家相关联的辅导知识。
一个实施例提供了一种计算机实现的方法,其中基于被配置为客观地定义辅导特性的过程来定义一个或多个特定于专家的属性。
一个实施例提供了一种计算机实现的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。
一个实施例提供了一种计算机实现的方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
一个实施例提供了一种计算机实现的方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种计算机实现的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。
一个实施例提供了一种计算机实现的方法,其中第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种计算机实现的方法,其中第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
一个实施例提供了一种计算机实现的方法,其中表演传感器单元包括多个运动传感器单元。
一个实施例提供了一种计算机实现的方法,其中客户端设备包括被配置为处理从多个运动传感器单元得到的运动传感器数据的POD设备,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助运动传感器数据到POD设备的传送。
一个实施例提供了一种计算机实现的方法,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,方法包括:
生成第一组可观测数据条件,其中第一组包括被配置为实现对从一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;以及
生成第二组可观测数据条件,其中第二组包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;
其中第二组可观测数据条件包括在第一组可观测数据条件中不存在的一个或多个特定于专家的可观测数据条件,其中一个或多个特定于专家的可观测数据条件被合并到针对所定义的技能的技能训练内容相对于仅使用第一组可观测数据条件生成的技能训练内容的专家知识变化中。
一个实施例提供了一种计算机实现的方法,其中技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基线技能表演风格的风格差异。
一个实施例提供了一种计算机实现的方法,其中技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基线辅导知识的辅导知识差异。
一个实施例提供了一种计算机实现的方法,其中技能训练内容的专家知识变化包括:传感器配置数据,其中传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以定义的方式进行操作从而提供表示特定技能的尝试表演的数据;状态引擎数据,其中状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由一个或多个表演传感器单元的集合所提供的数据来识别特定技能的尝试表演的属性;以及用户界面数据,其中用户界面数据包括被配置为执行下述操作的数据:基于所识别的特定技能的尝试表演的属性来实现用户界面的操作。
一个实施例提供了一种计算机实现的方法,其中表演传感器单元包括多个运动传感器单元。
一个实施例提供了一种计算机实现的方法,其中技能训练内容的专家知识变化至少部分地在包括被配置为处理从多个运动传感器单元得到的运动传感器数据的POD设备的用户硬件上执行,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助运动传感器数据到POD设备的传送。
一个实施例提供了一种计算机实现的方法,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种计算机实现的方法,其中,针对所定义的技能,云托管市场被配置为使得下述各项可用于一个或多个用户进行采购:(i)技能训练内容的标准版本;以及(ii)技能训练内容的专家知识变化。
一个实施例提供了一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,方法包括:
生成第一组技能训练内容,其中第一组技能训练内容被配置为基于对从一个或多个表演传感器单元得到的输入数据的处理来实现对针对所定义的技能的技能训练程序的传送,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;以及
生成第二组技能训练内容,其中第二组技能训练内容包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;
其中第二组技能训练内容被配置为响应于给定的一组输入数据提供与第一组技能训练内容响应于相同的一组输入数据相比不同的训练程序效果,使得第二组技能训练内容提供了技能训练内容的专家知识变化。
一个实施例提供一种计算机实现的方法,其中技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基线技能表演风格的风格差异。
一个实施例提供了一种计算机实现的方法,其中技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基线辅导知识的辅导知识差异。
一个实施例提供一种计算机实现的方法,其中技能训练内容的专家知识变化包括:传感器配置数据,其中传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以定义的方式进行操作从而提供表示特定技能的尝试表演的数据;状态引擎数据,其中状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由一个或多个表演传感器单元的集合所提供的数据来识别特定技能的尝试表演的属性;以及用户界面数据,其中用户界面数据包括被配置为执行下述操作的数据:基于所识别的特定技能的尝试表演的属性来实现用户界面的操作。
一个实施例提供了一种计算机实现的方法,其中表演传感器单元包括多个运动传感器单元。
一个实施例提供了一种计算机实现的方法,其中技能训练内容的专家知识变化至少部分地在包括被配置为处理从多个运动传感器单元得到的运动传感器数据的POD设备的用户硬件上执行,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助运动传感器数据到POD设备的传送。
一个实施例提供了一种计算机实现的方法,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种计算机实现的方法,其中,针对所定义的技能,云托管市场被配置为使得下述各项可用于一个或多个用户进行采购:(i)技能训练内容的标准版本;以及(ii)技能训练内容的专家知识变化。
一个实施例提供了一种计算机实现的方法,其中第一组训练内容数据与第一组可观测数据条件相关联,并且其中第二组训练内容数据与第二组可观测数据条件相关联,使得第二组训练内容数据被配置为识别未被第一组训练内容数据识别的表演的一个或多个属性。
一个实施例提供了一种计算机实现的方法,其中第一组训练内容数据与用于将症状映射到原因的第一协议相关联,并且其中第二组训练内容数据与用于将症状映射到原因的第二协议相关联,使得第二组训练内容数据提供症状和原因之间的至少一个特定于专家的关系。
一个实施例提供了一种计算机实现的方法,其中第一组训练内容数据与第一组媒体内容相关联,并且其中第二组训练内容数据与第二组媒体内容相关联,使得第二组训练内容数据被配置为提供对特定专家个性化的媒体内容。
一个实施例提供了一种计算机实现的方法,用于使得用户能够将本地表演监测硬件设备配置为提供与多个专家中选定的一个相关联的训练数据,方法包括:
提供被配置为使得客户端设备的用户能够选择要训练的一个或多个技能的集合的界面;
使得用户能够选择针对所选择的要训练的一个或多个技能的专家知识变化,其中存在可用于要训练的一个或多个技能的集合的多个专家知识变化;
在用户对要训练的一个或多个技能的集合、以及针对所选择的要训练的一个或多个技能的专家知识变化进行选择之后,实现下载过程,该下载过程向与用户相关联的客户端设备提供可下载数据,该可下载数据将客户端设备配置为:
(i)处理从一组表演监测传感器得到的数据,从而分析用户给定的一个技能的身体表演;以及
(ii)基于分析,经由用户界面设备训练特定于所选择的专家知识变化的数据。
一个实施例提供了一种计算机实现的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。
一个实施例提供了一种计算机实现的方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
一个实施例提供了一种计算机实现的方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种计算机实现的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。
一个实施例提供了一种计算机实现的方法,其中第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种计算机实现的方法,其中第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
一个实施例提供了一种计算机实现的方法,其中表演分析传感器包括运动传感器。
一个实施例提供了一种计算机实现的方法,其中客户端设备包括被配置为由可穿戴服装携带的POD设备,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助从由可穿戴服装携带的多个传感器单元得到的数据到POD设备的传送。
一个实施例提供了一种计算机实现的方法,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种系统,其被配置为使得用户能够将本地表演监测硬件设备配置为提供与多个专家中选定的一个相关联的训练数据,系统包括:
服务器,被配置为使得客户端用户界面设备能够与被配置为使得客户端设备的用户能够选择要训练的一个或多个技能的集合的界面进行交互,其中界面被额外配置为使得用户能够选择针对所选择的要训练的一个或多个技能的专家知识变化,其中存在可用于要训练的一个或多个技能的集合的多个专家知识变化;
下载管理器组件,被配置为在用户对要训练的一个或多个技能的集合、以及针对所选择的要训练的一个或多个技能的专家知识变化进行选择之后,实现下载过程,该下载过程向与用户相关联的客户端设备提供可下载数据,该可下载数据将客户端设备配置为:
(i)处理从一组表演监测传感器得到的数据,从而分析用户给定的一个技能的身体表演;以及
(ii)基于分析,经由用户界面设备训练特定于所选择的专家知识变化的数据。
一个实施例提供了一种计算机实现的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。
一个实施例提供了一种计算机实现的方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
一个实施例提供了一种计算机实现的方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种计算机实现的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。
一个实施例提供了一种计算机实现的方法,其中第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种计算机实现的方法,其中第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
一个实施例提供了一种计算机实现的方法,其中表演分析传感器包括运动传感器。
一个实施例提供了一种计算机实现的方法,其中客户端设备包括被配置为由可穿戴服装携带的POD设备,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助从由可穿戴服装携带的多个传感器单元得到的数据到POD设备的传送。
一个实施例提供了一种计算机实现的方法,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种使得用户能够将本地表演监测硬件设备配置为提供与多个专家中选定的一个相关联的训练数据的方法,方法包括:
提供被配置为使得客户端设备的用户能够选择要训练的一个或多个技能的集合的界面;
使得用户能够选择针对所选择的要训练的一个或多个技能的专家知识变化,其中存在可用于要训练的一个或多个技能的集合的多个专家知识变化;
在用户对要训练的一个或多个技能的集合、以及针对所选择的要训练的一个或多个技能的专家知识变化进行选择之后,实现下载过程,该下载过程向与用户相关联的客户端设备提供可下载数据,该可下载数据将客户端设备配置为:
(i)处理从一组表演监测传感器得到的数据,从而分析用户给定的一个技能的身体表演;以及
(ii)基于分析,经由用户界面设备训练特定于所选择的专家知识变化的数据。
一个实施例提供了一种方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。
一个实施例提供了一种方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
一个实施例提供了一种方法,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。
一个实施例提供了一种方法,其中第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种方法,其中第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
一个实施例提供了一种方法,其中表演分析传感器包括运动传感器。
一个实施例提供了一种方法,其中客户端设备包括被配置为由可穿戴服装携带的POD设备,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助从由可穿戴服装携带的多个传感器单元得到的数据到POD设备的传送。
一个实施例提供了一种方法,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种系统,其被配置为使得用户能够将本地表演监测硬件设备配置为提供与多个专家中选定的一个相关联的训练数据,系统包括:
服务器,被配置为使得客户端用户界面设备能够与被配置为使得客户端设备的用户能够选择要训练的一个或多个技能的集合的界面进行交互,其中界面被额外配置为使得用户能够选择针对所选择的要训练的一个或多个技能的专家知识变化,其中存在可用于要训练的一个或多个技能的集合的多个专家知识变化;
下载管理器组件,被配置为在用户对要训练的一个或多个技能的集合、以及针对所选择的要训练的一个或多个技能的专家知识变化进行选择之后,实现下载过程,该下载过程向与用户相关联的客户端设备提供可下载数据,该可下载数据将客户端设备配置为:
(i)处理从一组表演监测传感器得到的数据,从而分析用户给定的一个技能的身体表演;以及
(ii)基于分析,经由用户界面设备训练特定于所选择的专家知识变化的数据。
一个实施例提供了一种系统,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演分析传感器的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。
一个实施例提供了一种系统,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
一个实施例提供了一种系统,其中第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种系统,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及
针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。
一个实施例提供了一种系统,其中第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
一个实施例提供了一种系统,其中第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
一个实施例提供了一种系统,其中表演分析传感器包括运动传感器。
一个实施例提供了一种系统,其中客户端设备包括被配置为由可穿戴服装携带的POD设备,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助从由可穿戴服装携带的多个传感器单元得到的数据到POD设备的传送。
一个实施例提供了一种系统,其中多个传感器单元中的每一个包括:加速度计、磁力计和陀螺仪。
一个实施例提供了一种可穿戴服装,包括:多个传感器串,其中每个传感器串包括一个或多个传感器单元,其中每个传感器单元包括:(i)微处理器;(ii)存储器模块;以及(iii)下述各项的集合:一个或多个运动传感器组件;传感器串连接端口,其中传感器串连接端口被配置为将多个传感器串耦合到中央处理设备;以及中央处理设备,传感器处理单元包括:(i)电源;(ii)微处理器;以及(iii)存储器模块;其中存储器模块被配置为存储可由微处理器执行的软件指令,软件指令使得处理设备能够识别传感器数据中的一组或多组预定义的可观测数据条件,包括由中央处理设备从多个连接的传感器单元接收到的传感器数据。
一个实施例提供了一种可穿戴服装,包括:多个传感器串,其中每个传感器串包括一个或多个安装位置,每个安装位置被配置为实现对相应的传感器单元的连接和安装,其中每个传感器单元包括:(i)微处理器;(ii)存储器模块;以及(iii)下述各项的集合:一个或多个运动传感器组件;传感器串连接端口,其中传感器串连接端口被配置为将多个传感器串耦合到中央处理设备;以及安装位置,其被配置为实现对中央处理设备的连接和安装,传感器处理单元包括(i)电源;(ii)微处理器;和(iii)存储器模块;其中存储器模块被配置为存储可由微处理器执行的软件指令,软件指令使得处理设备能够识别传感器数据中的一组或多组预定义的可观测数据条件,包括由中央处理设备从多个传感器单元接收到的传感器数据。
一个实施例提供了用于执行如本文所述的方法的计算机程序产品。
一个实施例提供用于携带计算机可执行代码的非暂态载体介质,当计算机可执行代码在处理器上被执行时,使得处理器执行如本文所述的方法。
一个实施例提供了一种被配置用于执行如本文所述的方法的系统。
在整个本说明书中对“一个实施例”、“一些实施例”或“实施例”的引用表示结合实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此,整个本说明书的各个地方中短语“在一个实施例中”、“在一些实施例中”或“在实施例中”的出现不一定全部指代同一实施例,但是可以指代同一实施例。此外,在一个或多个实施例中,可以以任何合适的方式组合特定的特征、结构或特性,如根据本公开对本领域普通技术人员将显而易见的。
如本文所使用的,除非另有规定,否则使用序数形容词“第一”、“第二”、“第三”等来描述同类对象仅表示被指代的相似对象的不同实例,并且不旨在隐含如此描述的对象必须在时间上、空间上、排名上、或以任何其它方式按照给定的顺序。
在下面的权利要求和本文的描述中,术语包括、包含或其包括中的任何一个是开放式术语,其表示至少包括随后的元素/特征,但不排除其它元素/特征。因此,术语包括当在权利要求中使用时,不应被解释为对其后列出的装置或元素或步骤的限制。例如,包括A和B的设备的表达的范围不应限于仅由元素A和B组成的设备。术语包含或其包含或如本文所使用的包含中的任何一个也是开放式术语,其也表示至少包括该术语之后的元素/特征,但不排除其它元素/特征。因此,包含是包括的同义词,并且包含表示包括。
如本文所使用的,术语“示例性的”用于提供示例的意义,而不是指示质量。也就是说,“示例性实施例”是作为示例提供的实施例,而不一定是示例性质量的实施例。
附图说明
现在将参考附图仅通过示例的方式描述本发明的实施例,其中:
图1A示意性地示出了根据一个实施例的被配置为实现对内容的生成和传送的框架。
图1B示意性地示出了根据另一实施例的被配置为实现对内容的生成和传送的框架。
图2A示出了根据一个实施例的技能分析方法。
图2B示出了根据一个实施例的技能分析方法。
图2C示出了根据一个实施例的技能分析方法。
图2D示出了根据一个实施例的技能分析方法。
图2E示出了根据一个实施例的技能分析方法。
图3示出了根据一个实施例的用户界面的用户界面显示视图。
图4A示出了示例数据收集表。
图4B示出了示例数据收集表。
图5示出了根据一个实施例的SIM分析方法。
图6示出了根据一个实施例的SIM分析方法。
图7示出了根据一个实施例的ODC验证方法。
图8A示出了根据一个实施例的处理流程。
图8B示出了根据一个实施例的处理流程。
图8C示出了根据一个实施例的处理流程。
图8D示出了根据一个实施例的样本分析阶段。
图8E示出了根据一个实施例的数据分析阶段。
图8F示出了根据一个实施例的实现阶段。
图8G示出了根据一个实施例的标准化方法。
图8H示出了根据一个实施例的分析方法。
图8I示出了根据一个实施例的分析方法。
图9A示出了包括服务器端和客户端组件的示例框架。
图9B示出了包括服务器端和客户端组件的另一示例框架。
图9C示出了包括服务器端和客户端组件的另一示例框架。
图9D示出了包括服务器端和客户端组件的另一示例框架。
图10A示出了示例框架的操作。
图10B示出另一示例框架的操作。
图10C示出另一示例框架的操作。
图11A示出了根据一个实施例的用于操作用户设备的方法。
图11B示出了根据一个实施例的内容生成方法。
图12A示出了根据一个实施例的表演分析设备。
图12B示出了根据一个实施例的表演分析设备。
图12C示出了根据一个实施例的表演分析设备。
图12D示出了根据一个实施例的表演分析设备。
图12E示出了根据一个实施例的具有MSU功能的服装布置。
图12F示出了根据一个实施例的具有示例连接设备的具有MSU功能的服装布置。
图12G示出了根据一个实施例的具有示例连接设备的具有MSU功能的服装布置。
图12H示出了根据一个实施例的MSU。
图12I示出了根据一个实施例的MSU和壳体。
图13A示意性地示出铰链接头的各方面。
图13B示意性地示出了肘关节的各方面。
图13C示意性地示出了接头的各方面。
图13D示意性地示出了人的手臂的关节运动。
图14示出了根据一个实施例的吉他讲授布置。
图15示出了示例具有MSU功能的服装的一部分。
图16示出了根据一个实施例的示例性教学循环。
图17示出了具有处理流程的另一示例框架。
具体实施方式
本文描述的实施例涉及技术框架,由此使用表演传感器单元(PSU)来监测用户技能表演,并且处理从这些PSU得到的数据,从而确定用户技能表演的属性。例如,表演的属性用于驱动计算机程序,例如被配置为提供技能训练的计算机程序。在其它实施例中,针对替代目的(例如,提供多用户竞争活动等)确定表演的属性。
在技能训练的上下文中,本文描述的框架使用PSU来收集表示表演属性的数据,并向用户提供反馈和/或指令,从而帮助该用户改善他的/她的表演。例如,这可以包括提供辅导建议、指导用户执行特定练习以开发特定的所需的潜在子技能等。通过经由PSU基本实时监测表演,训练程序能够基于对用户的表演属性是否基于所提供的反馈/指令得以改善的观测来进行调整。例如,对表演属性在连续表演尝试迭代之间的变化的观测表示所提供的反馈/指令已经成功还是未成功。这能够生成和传送广泛的自动自适应技能训练程序的。
技能表演的性质在实施例之间是不同的,然而以下两个一般类别用于本文考虑的示例的目的:
·基于人类运动的技能表演。这些是其中人类运动属性表示技能的典型特性的表演。例如,基于运动的表演基本上包括涉及表演者的身体的运动的任何身体技能。一类重要的基于运动的表演是体育活动中使用的技能的表演。
·基于音频的技能表演。这些是其中可听见-可感知的属性表示技能的典型特性的表演。例如,基于音频的技能表演包括音乐和/或语言表演。一类重要的基于音频的表演是与演奏乐器相关联的技能的表演。
虽然以下提供的示例主要集中在基于运动的技能表演的相对在技术上更具挑战性的情况,但是应该理解的是,在基于运动的技能方面所应用的原理很容易应用于其它情况。例如,在从PSU接收的数据中使用可观测数据条件(ODC)的概念在运动、音频和其它形式的表演之间同样适用。
一些实施例涉及计算机实现的框架,其实现在表演监测的上下文中对最终用户(end user)所经历的内容的定义、分发和实现。这包括被配置为向用户提供交互技能训练的内容,由此通过处理从被配置为监测用户的技能表演的一个或多个PSU得到的表演传感器数据(PSD)来分析用户的技能表演。
以下通过参考整体端到端框架来描述各种实施例。整体框架被描述为向其构成部分提供上下文,其构成部分中的一些能够应用在不同的上下文中。尽管在所附权利要求书中仅直接要求保护整体描述的端到端框架的各方面的子集,但是应当理解,发明主题存在于各种构成部分(即使不是如此具体标识)。例如,发明主题体现于本文描述的技术和方法的各个方面,包括但不限于:(i)对技能进行分析,从而理解其典型特性;(ii)对协议进行定义,从而使用一个或多个PSU实现对技能的自动分析;(iii)利用自动分析对内容进行定义和传送,从而提供交互最终用途内容,如技能训练;(iv)技能训练程序的自适应实现;(v)辅助内容到最终用户的传送的硬件和软件;(vi)辅助最终用户体验内容的硬件和软件;和(vii)被开发以辅助对用于人类活动监测目的的多个运动传感器单元的配置和实现的技术和方法。
术语
为了下述实施例的目的,使用以下术语:
·表演传感器单元(PSU)。表演传感器单元是被配置为响应于对身体表演的监测而生成数据的硬件设备。这里主要考虑被配置用于处理运动数据和音频数据的传感器单元的示例,但应当理解,这些绝不是限制性的示例。
·表演传感器数据(PSD)。由PSU传送的数据被称为表演传感器数据。该数据可以包括来自PSU的完整原始数据或该数据的子集(例如基于压缩、减少的监测、采样速率等)。
·音频传感器单元(ASU)。音频传感器单元是一种PSU,其是被配置为响应于对声音的监测而生成和发送数据的硬件设备。在一些实施例中,ASU被配置为监测声音和/或振动效果,并将它们转换成数字信号(例如MIDI信号)。一个示例是ASU是拾取设备,其包括被配置为捕获弦乐器中的机械振动并将它们融合成电信号的换能器。
·音频传感器数据(ASD)。这是由一个或多个ASU传送的数据。
·运动传感器单元(MSU)。运动传感器单元是一种PSU,其是被配置为响应于运动而生成和发送数据的硬件设备。在大多数情况下,该数据是相对于本地参考系(frame ofreference)定义的。给定的MSU可以包括一个或多个加速度计;从一个或多个磁力计得到的数据;以及从一个或多个陀螺仪得到的数据。优选实施例使用一个或多个3轴加速度计、一个3轴磁力计和一个3轴陀螺仪。运动传感器单元可以是“被穿着的”或“可穿戴的”,这表示其被配置为被安装到人体固定位置(例如经由服装)。
·运动传感器数据(MSD)。由MSU传送的数据被称为运动传感器数据(MSD)。该数据可以包括来自MSU的完整原始数据或该数据的子集(例如基于压缩、减少的监测、采样速率等)。
·具有MSU功能的服装。具有MSU功能的服装是被配置为携带多个MSU的服装(例如衬衫或裤子)。在一些实施例中,MSU可被安装在形成在服装中的限定安装区中(优选地以可移除的方式,使得各个MSU能够被移除和替换)并被耦合到通信线路。
·POD设备。POD设备是接收PSD(例如,来自MSU的MSD)的处理设备。在一些实施例中,它由具有MSU功能的服装携带,并且在其它实施例中,它是单独的设备(例如,在一个实施例中,POD设备是耦合到智能手机的处理设备,并且在一些实施例中POD设备功能由智能手机或移动设备提供)。MSD在某些情况下经由有线连接被接收,并且在某些情况下经由无线连接被接收,并且在某些情况下经由无线和有线连接的组合被接收。如本文所述,POD设备负责处理MSD,从而识别MSD中的数据条件(例如,以使得能够识别一个或多个症状的存在)。在一些实施例中,POD设备的作用全部或部分地由诸如智能手机之类的多用途最终用户硬件设备执行。在一些实施例中,PSD处理的至少一部分由基于云的服务执行。
·运动捕获数据(MCD)。运动捕获数据(MCD)是使用任何可用的运动捕获技术得到的数据。在这方面,“运动捕获”涉及捕获设备用于例如使用被安装到已知位置的对象的视觉标记物来捕获表示运动的数据的技术。一个示例是由Vicon提供的运动捕获技术(但不推测发明人/申请人和Vicon之间的关系)。如下面进一步讨论的,MCD优选地用于提供视觉观测和MSD观测之间的联系。
·技能。在基于运动的活动的上下文中,技能是例如在辅导的上下文中要被观测(视觉上和/或经由MSD)的单个运动(或一组相关联的运动)。技能可以是例如划船运动、特定类别的足球踢出、特定类别的高尔夫挥杆、特定的杂技演习等等。还提及了“子技能”。这主要是为了区分被训练的技能与形成该技能的一部分或者是该技能的构造块的较少的技能。例如,在玩杂耍形式的技能的上下文中,子技能是涉及投掷球并将其捕捉在同一只手中的技能。
·症状。症状是能够被观测(例如,在初始技能分析的上下文中在视觉上被观测,并且在最终用户环境的上下文中经由对MSD进行处理而被观测)的技能的属性。在实践中,症状是技能的可观测的运动属性,其与意义相关联。例如,对症状的识别可以触发关于传送自动辅导处理的动作。症状可以在视觉上(在传统辅导的上下文中相关)或经由PSD(在本文讨论的传送自动自适应技能训练的上下文中相关)被观测。
·原因。至少在某些情况下,症状与一个原因相关联(例如,给定的症状可以与一个或多个原因相关联)。在某些情况下,原因还能够在MSD中被观测到,然而这不一定是必需的。从辅导的角度来,一种方法是首先识别症状,然后确定/预测该症状的原因(例如,可以经由对MSD的分析进行确定,并且可以通过除分析MSD之外的方式进行预测)。然后,可以通过辅导反馈来解决所确定/所预测的原因,随后进行后续的表演评估,从而确定辅导反馈是否成功地解决了症状。
·可观测数据条件(ODC)。术语可观测数据条件用于描述能够在PSD(例如MSD(通常基于对ODC或一组预期ODC的存在的监测))中被观测到从而触发下游功能的条件。例如,可以针对给定的症状(或原因)定义ODC;如果在MSD中针对给定表演识别了该ODC,则确定该表演中存在相关症状(或原因)。这然后触发了训练程序中的事件。
·训练程序。术语“训练程序”用于描述经由执行软件指令被传送的交互过程,其向最终用户提供关于如何执行的指令,以及关于如何修改、改善或以其它方式调整其表演的反馈。在下面描述的至少一些实施例中,训练程序是“自适应训练程序”,其是基于规则/逻辑执行的训练程序,该规则/逻辑使得对处理的排序、对选择的反馈和/或训练的其它属性能够基于对相关最终用户的分析(例如,对其表演的分析和/或对诸如心理和/或身体属性之类的个人属性的分析)进行适应。
如下面更详细地描述的,从最终用户产品的角度来看,一些实施例采用下述技术:通过该技术,POD设备被配置为针对给定的表演分析用户的PSD(例如MSD),从而确定存在一个或多个症状,这些症状是属于基于用户的属性(例如,用户的能力水平、以及用户已知的从对先前迭代的分析显示出的症状)而定义的集合的症状。一旦经由MSD识别出症状,则执行处理从而确定/预测原因。然后,选择反馈从而寻求解决该原因。在一些实施例中,定义了复杂的选择处理,从而例如基于下述各项来为用户选择特定反馈:(i)用户历史,例如将未尝试或先前成功的反馈优先于先前未成功的反馈;(ii)用户学习风格;(iii)用户属性,例如在给定时间点的心理和/或身体状态,和/或(iv)辅导风格,其在某些情况下基于特定现实世界辅导的风格。
示例端到端框架
图1A提供了由本文所述的一系列实施例利用的端到端框架的高级概述。在图1A的上下文中,利用示例技能分析环境101,从而分析一个或多个技能,并且提供能够生成与这些技能相关的最终用户内容的数据。例如,这在一些实施例中包括分析技能,从而确定能够由PSU识别的ODC(优选与特定症状、原因等相关联的ODC)。这些ODC能够在由示例内容生成平台102(例如训练程序)实现的内容生成逻辑内使用。在这方面,生成内容优选地包括定义协议,由此响应于对特定ODC的识别而采取规定的动作。
优选地利用多个技能分析环境和内容生成平台,从而向示例内容管理和传送平台103提供内容。在一些实施例中,该平台由多个联网的服务器设备定义。实质上,平台103的目的是将由内容生成平台生成的可用内容提供给最终用户。在图1A的上下文中,其包括实现内容到示例最终用户设备104的下载。一些实施例中,下载包括内容的初始下载,以及随后对额外所需内容的进一步下载。进一步下载的性质在某些情况下受到用户交互的影响(例如,基于技能训练程序的组件和/或用户选择之间的自适应进展)。
示例设备104以具有MSU功能的服装结合用户界面设备(例如,智能手机、耳机、HUD眼镜、视网膜投影设备等)的形式示出,具有MSU功能的服装携带多个MSU和POD设备。
在图1A的示例中,用户从平台103下载内容,并且使得该内容经由设备104被执行。例如,这可以包括为特定身体活动(例如,高尔夫球或网球)提供自适应技能训练程序的内容。在该示例中,设备104被配置为与作为外部(例如,基于web的)平台的示例内容交互平台105进行交互,该平台提供与传送下载的内容相关的附加功能。例如,可以通过服务器端处理来控制自适应训练程序和/或其用户界面的各个方面。在一些情况下,省略了平台105,使得设备104能够以离线模式传送先前下载的内容。
作为一般说明,提供以下具体的内容示例:
·吉他训练程序。用户下载吉他训练程序,吉他训练程序被配置为提供关于给定音乐片段的训练。使用拾音器形式的PSU,从而实现对表示用户演奏吉他的PSD的分析。训练程序是基于对该PSD的分析而驱动的,从而为用户提供辅导。例如,辅导可以包括针对手指定位的提示、用于练习某些手指位置之间的行进的补救练习、和/或用户可能感兴趣和/或对用户有帮助的其它内容(例如,替代音乐片段)的建议。图14中示出了示例(示出了代替拾音器的声音插孔、以及处理音频数据的POD设备和传送用户界面数据的平板设备)。
·高尔夫训练程序。用户下载高尔夫训练程序,高尔夫训练程序被配置为利用具有MSU功能的服装进行操作。这包括将传感器配置数据和状态引擎数据下载到由具有MSU功能的服装所提供的POD设备。用户被指示执行定义了某种形式的摆动(例如,具有一定的强度、击球等)的表演,并且由具有MSU功能的服装携带的多个MSU提供表示表演的MSD。MSD被处理从而识别症状和/或原因,并且训练反馈被提供。这基于被设计为帮助用户改善他的/她的形式的训练程序逻辑,针对一个或多个进一步的表演迭代被重复。指令和/或反馈通过视网膜显示投影仪提供,视网膜显示投影仪将用户界面数据直接传送到用户的视野中。
应当理解,这些仅是示例。
图1B提供了在一些实施例的上下文中存在的另外的示例端到端技术框架的更详细的概述。该示例与基于运动的技能训练特别相关,并且通过参考技能分析阶段100、课程构建阶段110和最终用户传送阶段120来说明。应当理解,这并不旨在是限制性示例,而是被提供来说明用于定义和传送内容的特定端到端方法。
在技能分析阶段100的上下文中,图1示出了在一些实施例中对在该阶段使用的硬件的选择,这些实施例是其中MCD用于协助分析技能并且随后协助和/或验证对针对MSD的ODC进行确定的实施例。所示出的硬件是可穿戴传感器服装106,其携带多个运动传感器单元和多个运动捕获(motion capture,mocap)标记(这些标记物可选地位于衣服上的相似位置)以及一组捕获设备106a-106c。可以具有更少或更多数目的捕获设备,包括被配置用于运动捕获应用的捕获设备和/或被配置用于视频捕获应用的摄像设备。在一些实施例中,给定捕获设备被配置同时用于这两个应用。还示出了一组示例处理。框107表示包括捕获多个样本表演的视频数据、运动捕获数据(MCD)和运动传感器数据(MSD)的处理。该数据由框108表示的处理使用,框108包括基于专家分析(例如包括:对给定技能的分析,从而确定构成该技能并影响表演的运动的各方面,优选地在多个能力水平方面;以及对针对给定技能的症状和原因的确定,包括对针对给定技能的症状和原因的特定于能力水平的确定)将技能分解为症状和原因。框109表示包括定义ODC以实现对来自运动传感器数据的症状/原因的检测的过程。然后,这些ODC可用于后续阶段(例如,它们在给定的课程中使用、被应用于状态引擎数据等)。
尽管在此通过参考利用了MCD的方法描述了阶段100,但这不旨在是限制性示例。在另外的实施例中实现各种其它方法,例如:从一开始就利用MSD的方法(例如,不需要使用MCD来协助和/或验证对针对MSD的ODC的确定)、利用对技能的机器学习的方法等等。
参考专家知识数据的存储库111来说明阶段110。例如,维护一个或多个数据库,这些数据库包含根据阶段101和/或其它研究和分析技术的各方面所定义的信息。信息的示例包括:(i)表示症状/原因的共识数据;(ii)表示症状/原因的特定于专家的数据;(iii)表示与症状/原因有关的反馈的共识数据;(iv)表示与症状/原因有关的反馈的特定于专家的数据;以及(v)辅导风格数据(其可以包括客观辅导风格数据和个性化辅导风格数据)。这只是一种选择。
在图1B的示例中,专家知识数据被用于传送涉及在阶段100处分析的技能方面的训练程序。框112表示包括配置自适应训练框架的处理。在这方面,在图1B的示例中,经由共同的自适应训练框架来传送与相应技能和其各方面有关的多个技能训练程序。这优选地是技术框架,其被配置为使能生成利用潜在非特定于技能的逻辑的特定于技能的自适应训练内容。例如,这类逻辑涉及以下方法:预测学习风格;基于可用时间量身定制内容传送;基于先前的交互(包括先前学习的技能的更新教学)自动生成课程计划;在功能上推荐要下载的额外内容;以及其它功能。框113表示包括定义针对技能的课程的处理。这可以包括定义针对响应于对特定症状/原因的识别而传送反馈的规则的框架。该框架优选地是自适应框架,其基于针对单独用户所获取的知识(例如,关于用户的学习风格的知识、关于过去已经成功/未成功的反馈的知识等)来提供智能反馈。框114表示包括使得课程可供最终用户下载(例如,使其经由在线商店可获得)的处理。如下面进一步详述的,给定的技能可以具有基本的课程产品、和/或一个或多个优质课程产品(优选地具有不同的价格)。作为示例,在一些实施例中,基本产品是基于共识专家知识的,并且优质产品是基于特定于专家的专家知识的。
在阶段130的情况下,示出了示例最终用户设备。这包括具有MSU功能的服装布置121,其包括携带多个MSU的衬衫和裤子、以及被提供在衬衫上的POD设备。MSU和POD设备被配置为可从服装中移除,例如以实现清洁等。耳机122通过蓝牙(或其它方式)连接到POD设备,并被配置为向用户可听地传递反馈和指令。手持设备123(例如iOS或安卓智能手机)被配置为提供其他用户界面内容,例如教学视频/动画等。可以使用其它用户界面设备,例如被配置为提供增强现实信息的设备(例如,可经由可穿戴眼镜观看的显示器等)。
所示的最终用户设备的用户下载用于执行的内容(例如,来自平台103),从而参与训练程序和/或体验利用对MSD的处理的其它形式的内容。例如,这可以包括浏览在线商店或与软件应用交互,从而识别所需的内容,并随后下载该内容。在所示的实施例中,内容被下载到POD设备,该内容包括状态引擎数据和课程数据。前者包括使得POD设备能够处理MSD从而识别症状(和/或执行其它形式的运动分析)的数据。后者包括实现对训练程序的配设所需的数据,包括由用户界面传送的内容(例如,指令、反馈等)以及用于传送该内容的指令(例如,针对自适应学习过程的传送的规则)。在一些实施例中,始终从远程服务器获得引擎数据和/或课程数据。
功能框125表示POD设备借以执行监测功能的处理,由此针对如状态引擎数据中定义的ODC来监测用户表演。例如,经由设备123和/或耳机122指示用户“执行活动X”,并且POD设备然后处理来自用户的MSU的MSD,从而识别与活动X相关联的ODC(例如,以实现对症状和/或原因的识别)。基于对ODC和课程数据的识别(并且在某些情况下,基于额外输入),反馈经由设备123和/或耳机122被提供给用户(框126)。例如,在反复执行“活动X”的同时,向用户提供具有关于如何修改其技术的指导的可听见的反馈。这导致循环处理(例如,在本文被称为“尝试循环”的循环处理),由此提供反馈并且监测效果(例如,通过观测在随后的表演迭代上从MSD得到的ODC方面的变化)。课程数据在一些实施例中被配置为基于以下各项的组合来适应训练程序的阶段和/或反馈:(i)在活动改善方面用于实现期望的结果的反馈的成功/失败;以及(ii)用户的属性,例如心理和/或身体表演属性。
技能分析阶段-概述
如上所述,在一些实施例中,实施技能分析阶段从而分析将在最终用户传送阶段中观测到的技能。更具体地,技能分析阶段优选地包括以下分析:(i)确定技能的属性,例如表示正在被表演的技能的属性(其在最终用户功能包括技能识别的情况下特别相关)以及表示执行技能的方式的属性,例如症状和原因(其在最终用户功能包括技能表演分析的情况下(例如在技能训练的传送的上下文中)特别相关);以及(ii)定义实现对技能属性(例如,正在被表演的技能、以及该技能的表演的属性,例如症状和/或原因)的自动识别的ODC,使得最终用户硬件(PSU,例如MSU)能够被配置用于自动技能表演分析。
技能分析阶段的性质根据给定技能的性质(例如,在基于运动的技能和基于音频的技能的类别之间)而显著变化。为了示例的目的,现在在基于运动的技能的上下文中关于技能分析阶段来描述示例性实施例。也就是说,通过参考分析身体活动,从而确定用于配置POD设备的ODC来描述实施例,其中,所述POD设备监测来自安装于身体的MSU的数据。该示例被选择为表示相对具有挑战性和复杂性的上下文中的技能分析阶段,其中已经开发了各种新颖和创造性的技术方法来辅助针对基于运动的技能生成有效的ODC的任务。应当理解,并不是本文所描述的方法的所有方面都存在于所有实施例中、或者用于所有活动的上下文中。该技术适用于广泛的身体活动,具有不同程度的复杂性(例如,在表演、辅导和监测方面)。然而,本文描述的方法适用于广泛的活动,例如在个人和团队运动的上下文中表演的技能。
以下详细描述的方法和技术通过参考涉及下述特定身体活动(即特定技能)的具体示例进行描述:划船。已经选择划船作为示例,主要是为了方便的文本解释的目的,并且将很容易理解,参考该特定活动描述的技术如何容易地应用于其它活动(例如,表演英式足球的特定形式的踢球、摇摆高尔夫球杆、在滑雪板上进行杂技演习等)。
一般而言,有很多方法来确定给定身体活动的ODC。这些方法包括但不限于以下内容:
·利用二级技术,从而简化对MSD的理解。例如,下面提供的示例讨论了利用MCD和MSD的组合的方法。MCD主要由于运动捕获技术的已建立的性质(例如使用强大的高速摄像机)而被使用;另一方面,运动传感器技术目前在不断提高效能。使用成熟的MCD分析技术有助于理解和/或验证MSD和关于MSD进行的观测。
·直接利用MSD,无需MCD协助。例如,MSD在捕获数据方面以与MCD相似的方式被利用,从而生成与从MCD(例如,基于具有骨骼关节的身体化身(avatar))常规生成的三维身体模型类似的三维身体模型。将理解的是,这假设关于MCD的阈值准确度和可靠度。然而,在一些实施例中,能够实现这一点,因此致使不需要MCD协助。
·机器学习方法,例如其中MSD和/或MCD被收集用于多个样本表演、以及客观定义的表演结果数据(例如,在划船的情况下:功率输出;以及在高尔夫球的情况下:球方向和轨迹)。机器学习方法被实现,从而使能自动定义ODC和对技能表演的影响之间的关系。这种方法在以足够的样本规模被实现时,实现对ODC的计算机识别以驱动对技能表演结果的预测。例如,基于使用MSD(或在一些实施例中,MCD)的样本表演集合的高尔夫挥杆运动的机器学习,使用对客观定义的结果的分析来自动识别影响挥杆表演的ODC,从而实现对关于使用最终用户硬件(例如具有MSU功能的服装)的最终用户挥杆的结果的可靠的自动预测。
·远程收集来自最终用户的分析数据。例如,最终用户设备被配备有“记录”功能,其实现对表示由最终用户分别执行的特定技能的MSD(可选地连同关于由用户本身识别的症状等的信息)的记录。所记录的数据被发送到中央处理位置,以针对多个用户对于给定技能(或具有特定症状的特定技能)的MSD进行比较,从而识别技能(和/或症状)的ODC。例如,这通过识别数据中的共同点来实现。
还可以使用其它方法,包括利用非MSD数据验证和/或以其它方式辅助MSD数据的其它方法,并且还包括实现用于定义和分析样本用户组的不同技术的其它方法。
以下通过参考具体的示例实施例更详细地考虑上述第一示例,这些具体的示例实施例涉及使得主观专家辅导知识能够有助于开发能够在技能训练程序的上下文中使用的症状和/或原因的ODC。
技能分析阶段-样本分析示例
在一些示例实施例中,针对要训练的每个技能,需要使用一个或多个样本技能表演者来执行对该技能中涉及的运动的初始分析,从而实现对最优表演与次优表演之间的差异的确定(从而使得能够朝向最优表演方向进行辅导)。一般来说,这从视觉分析开始,随后将其(经由一个或多个中间处理)转换为对运动传感器数据的分析(称为针对可观测数据条件或ODC的监测)。
本文描述的示例技术包括通过多个样本对象获得表示身体技能表演(针对给定技能)的数据。针对每个身体技能表演,数据优选地包括:
(i)由一个或多个捕获设备从一个或多个捕获角度捕获的视频数据。例如,在划船的上下文中,这可以包括侧捕获角度和后捕获角度。
(ii)使用任何可用的运动捕获技术的运动捕获数据(MCD)。在这方面,“运动捕获”涉及捕获设备用于例如使用在已知位置被安装到对象的视觉标记物来捕获表示运动的数据的技术。一个示例是由Vicon提供的运动捕获技术(但不推测发明人/申请人和Vicon之间的关系)。
(iii)使用一个或多个安装于身体的运动传感器的运动传感器数据(MSD)。
在每种情况下,优选的方法是存储下述两者:(i)原始数据;以及(ii)已经经过一定程度的处理的数据。针对运动传感器数据尤其如此;随着更新/更好的处理算法变得可用,原始数据可以随时间被重新处理,从而增强最终用户功能。
总的来说,一般的概念是使用MCD作为视频数据(这对现实世界辅导是最有用的)和MSD(这是最终的最终用户功能所需要的,最终的最终用户功能涉及经由对从具有MSU功能的服装得到的数据的分析进行辅导)之间的垫脚石。在这方面,MCD呈现有用的垫脚石,因为(i)它是发达且可靠的技术;以及(ii)它非常适合监测身体部位的精确相对运动。
整体技术包括以下阶段:(i)收集表示所选对象的样本表演的数据;(ii)一个或多个教练使用视频数据来视觉分析样本表演;(iii)将一个或多个教练进行的视觉观测转换到MCD空间中;以及(iv)基于MCD观测分析MSD,从而识别MSD空间中的ODC,其在实际意义上表示一个或多个教练的观测。以下将更详细地讨论这些阶段中的每一个。这在图2A中经由框201至204示出。
替代方法在图2B(其省略了对视频数据的收集,并且替代地经由使用MCD生成的数字模型来执行视觉分析)、图2C(其中仅使用MSD,并且使用基于MSD的计算机生成的模型来实现视觉分析)、图2D(其中没有视觉分析,只有对MCD进行数据分析以识别样本之间的相似性和差异)、图2E(其经由MSD(MSD被收集用于样本表演,基于结果数据执行数据分析,如此客观地测量样本表演的一个或多个结果参数,并且基于机器学习来定义ODC,从而基于ODC实现对结果的预测)利用机器学习)中示出。
在使用“一个或多个”教练方面,在某些情况下,多个教练被使用,从而定义关于给定技能的分析和辅导的共识位置,并且在某些情况下,多个教练替代地/另外地用于定义特定于教练的内容。后者允许最终用户基于更广泛的辅导共识在辅导之间进行选择,或者基于特定教练的特定观点进行辅导。在实际层面上,在商业实现的上下文中,后者可以被提供作为优质内容产品(可选地具有更高的价格)的基础。术语“教练”可用于描述被认定为教练的人员、或针对目前的目的以辅导能力操作的人员(如运动员或其它专家)。
技能分析阶段-对象选择示例
对象选择包括选择代表给定技能的一组对象。在一些示例实施例中,执行样本选择以实现以下参数中的一个或多个之间的标准化:
(i)能力水平。优选地选择多个对象,使得在一定范围的能力水平上具有足够的表示。这可以包括:最初确定一组已知的能力水平,并针对每个水平确保足够的对象数目;分析第一样本组,基于分析识别该组内的能力水平表示,以及可选地扩展用于表示不足的能力水平的样本组或其它方法。在本文描述的实施例中,用户能力水平在多层次上是自动辅导处理的核心。例如,如下面进一步讨论的,使用对用户能力水平的初始评估来确定如何配置POD设备,例如,根据其监测的ODC来配置POD设备。作为上下文,新手所犯的错误将不同于专家所犯的错误。此外,有利的是提供针对用户的实际能力水平的辅导,例如通过首先提供训练,从而实现新手水平的最佳(或接近最佳)的表演,并且随后提供训练,从而实现更高级水平的最佳(或接近最佳)的表演。
(ii)身体尺寸和/或形状。在一些实施例中,或针对一些技能,身体尺寸和/或形状可能对技能的运动属性(例如通过参考症状的可观测特性)具有直接影响。可选的方法是扩展样本,使得其代表多个身体尺寸/形状中的每一个(理想地在每个能力水平处)。如下面进一步讨论的,在一些实施例中,经由数据驱动的样本扩展方法替代地实现身体尺寸/形状标准化,如下面进一步讨论的。简而言之,这允许通过对收集的数据应用一组预定义的转换从而在各种不同的身体尺寸和/或形状间转换该数据,来为每个样本用户表演定义多个MCD/MSD数据集。
(iii)风格。用户可以具有独特的风格,这不会对表演造成重大影响。样本优选地包括足够的表示以实现风格间的标准化,使得症状的可观测特性是独立于风格的。这实现以基于表演的方式进行辅导,而不依赖于个人风格的各方面。然而,在一些实施例中,以特定于风格的方式定义症状的至少一个选择。例如,这使得辅导能够采用特定的风格(例如,以实现针对特定运动员的风格的辅导)。
为了简单起见,以下描述集中于针对多个能力水平的标准化。在一个示例实施例中,存在“m”个能力水平(AL1到ALm)和每个能力水平的“n”个对象(SUB1到SUBn)。也就是说,总体上有m*n个对象。应当理解,每个单独的能力水平的对象的数目不必相等(例如,在一些实施例中,在给定能力水平处观测到额外的对象,从而获得更可靠的数据)。
如上所述,在一些实施例中,样本例如基于下述识别而随时间扩展:附加数据点是优选的。
技能分析阶段-表演制度定义示例
在一些示例实施例中,每个测试对象(AL1到ALm中的每一个处的SUB1到SUBn)执行定义的表演制度。在一些实施例中,表演制度在多个能力水平间是恒定的;在其它实施例中,针对每个能力水平定义特定的表演制度。作为上下文,在某些情况下,表演制度包括在不同强度水平下的表演,并且某些强度水平可能不适当地低于阈值能力水平。
一些实施例提供了一种处理,其包括针对给定技能定义分析表演制度。该制度定义了为了样本数据收集的目的而要由每个对象表演的多个身体技能表演。优选地,分析表演制度由用于执行定义数目的组的指令定义,每组具有所定义的组参数。组参数优选地包括:
(i)针对每组的重复的数目。例如,一组可以包括n次重复(其中n≥1),其中对象重复地尝试具有定义的参数的技能。
(ii)重复指令。例如,重复之间有多少休息时间。
(iii)强度参数。例如,可以以恒定强度(每个重复REP1到REPn以相同的强度Ic)、递增强度(以强度I1执行重复REP1,然后以强度I2执行重复REP2,其中I1>I2,依此类推)、或递减强度(以强度I1执行重复REP1,然后以强度I2执行重复REP2,其中I1<I2,依此类推)或更复杂的强度分布来执行组。定义强度的方式取决于活动。例如,可以使用诸如速度、功率、频率之类的强度参数。在某些情况下,这类度量实现客观测量和反馈。替代地,可以使用最大强度的百分比(例如“最大值的50%”),这是主观的但通常是有效的。
作为示例,用于分析在尔格(erg)机器上的划船运动形式(室内划船设备的形式)的技能的给定分析表演制度可以按如下所示来定义:
·执行6组(SET1至SET6),每组之间休息5分钟。
·针对每组,执行8次连续重复(REP1到REP8)。
·强度参数为:SET1处于强度=100W;SET2处于强度=250W;SET3处于强度=400W;SET4处于强度=550W;SET5处于强度=700W;SET6处于强度=850W。
下面还继续参考划船的示例。然而,应当理解,这仅仅是为了说明的目的而提供的代表性技能,并且基本原理适用于广泛的技能。
技能分析阶段-示例数据收集协议
收集和存储关于每个用户对表演制度的完成的数据。如前所述,针对本示例。在本文考虑的主要示例中,数据包括:
(i)由一个或多个捕获设备从一个或多个捕获角度捕获的视频数据。例如,可以使用前面、后面、侧面、相对侧、顶部和其它摄像头角度中的一个或多个。
(ii)使用任何可用的运动捕获技术的运动捕获数据(MCD)。
(iii)使用一个或多个安装于身体的运动传感器的运动传感器数据(MSD)。
优选地控制执行数据收集的条件,从而实现样本之间的高度一致性和可比性。例如,这可以包括诸如确保一致的摄像头放置、使用标记物等以辅助对象定位、对对象上的MSU的精确定位之类的技术。
收集的数据被组织并存储在一个或多个数据库中。还优选地收集和存储元数据,从而提供附加的上下文。此外,在某些情况下处理数据以识别关键事件。特别地,事件可以被自动地和/或手动地标记在针对基于运动的事件的数据中。例如,给定技能的重复可以包括多个运动事件,例如开始、完成和一个或多个中间事件。事件可以包括类似步骤、接触球的时刻、划船运动中的关键点等等。这些事件可以在每个数据集中或在能够跨视频数据、MCD和MSD同步的时间线上被定义。
技能分析阶段-示例数据同步
每种形式的数据优选地被配置为被同步。例如:
·视频数据和MCD优选地被配置为被同步,从而实现比较审查。这可以包括并行视频审查(这针对从不同的观看角度捕获的视频/MCD的比较分析尤其有用)以及重叠审查,例如使用部分透明(这对于针对共同角度捕获的视频/MCD尤其有用)。
·MSD优选地被配置为被同步,使得来自多个MSU的数据相对于公共时间参考被转换/被存储。这在一些实施例中是通过每个MSU向POD设备提供表示相对于其本地时钟的时间参考和/或相对于可观测的全局时钟的时间参考的数据来实现的。针对由分布式节点提供的数据的时间同步的各种有用的同步技术从其它信息技术环境(包括例如媒体数据同步)中是已知的。
同步优选地包括基于时间的同步(借此数据被配置为被标准化为公共时间参考),但不限于基于时间的同步。在一些实施例中,除基于时间的同步之外或作为基于时间的同步的替代还使用基于事件的同步(或作为辅助基于时间的同步的方法)。
基于事件的同步涉及数据(例如MCD或MSD)借以包括表示事件的数据的处理。事件通常相对于数据的本地时间轴被定义。例如,MCD可以包括起始点在0:00:00处的视频文件,并且在相对于该起始点的时间定义事件。事件可以被自动定义(例如通过参考能够由软件处理识别的事件,例如预定义的可观测信号)和/或被手动定义(例如,在对该数据的手动视觉审查期间标记视频数据以识别发生特定事件的时间)。
在MCD的上下文中,优选地标记数据以基于一个或多个表演事件实现同步。例如,在划船的上下文中,标记划船运动中的各种可识别的运动点,从而基于运动点的共同性来实现对视频数据的同步。这在比较来自不同样本用户的视频数据时是特别有用的:其有助于识别这些用户之间的不同移动速率。在某些情况下,基于运动点的同步是基于多个点的,其中视频速率被调整(例如,速度增加或速度降低),使得针对两个不同的样本(例如,不同的用户、不同的重复、不同的组等)的视频数据中的两个公共运动点能够被并排(或重叠)观看,以显示这些运动点之间的相同前进速率。例如,如果一个桨手具有1秒的划桨时间,并且另一桨手具有1.2秒的划桨时间,则应用基于运动点的同步,使得后者被缩小到一秒,从而实现两个桨手的运动之间的更直接的比较。
技能分析阶段-示例数据扩展方法
在一些实施例中,针对每个对象经由数据扩展处理来转换MSD和/或MCD,从而定义具有不同身体属性的多个另外的“虚拟对象”。例如,定义转换,从而使得每个MCD和/或MSD数据点能够基于多个不同的身体尺寸被转换。这使得能够从具有特定身体尺寸的对象捕获表演,以被扩展到反映不同身体尺寸的多个样本表演。术语“身体尺寸”涉及诸如高度、躯干长度、大腿长度、小腿长度、臀部宽度、肩宽之类的属性。应当理解,这些属性实际上将分别改变用于MCD和MSD数据收集的标记物和MSU的移动路径和相对位置。
数据扩展在身体尺寸标准化的上下文中也是有用的,这在于从所有样本表演者收集的数据能够被扩展到包括具有“标准”身体尺寸的虚拟表演者进行的一个或多个虚拟表演的一组虚拟表演。在一些实施例中,定义了单个“标准”身体尺寸。使用标准身体尺寸、并将来自样本表演的MSD和MCD转换到该标准身体尺寸,这允许对MCD和MSD的直接比较,而不管多个样本表演者的身体尺寸差异如何。
技能分析阶段-示例视觉分析方法
如上所述以及在图2A的框202中示出的,示例技能分析方法的一个方面包括经由视频数据对样本表演进行视觉分析。在其它实施例中,作为视频数据的替代或除视频数据之外,使用从MCD和/或MSD得到的计算机生成的模型来执行视频分析。因此,尽管下面的示例集中于基于视频数据的审查,但是应当理解,这样的示例是非限制性的,并且视频数据在其它示例中由基于MCD和/或MSD生成的模型代替。
视觉分析被执行用于各种目的,包括:对技能和该技能的组成部分的初步了解;对症状的初始识别;以及基于定义的分析模式对各个样本表演的分析。
图3示出了根据一个实施例的示例用户界面301。应当理解,特别适配的软件并未用于所有实施例中;图3的示例主要被提供来说明在视觉分析处理中特别有用的关键功能。
用户界面301包括多个视频显示对象302a-302d,每个视频显示对象被配置为播放所存储的视频数据。在一些实施例中,视频显示对象的数目例如基于下述项是可变的:(i)针对给定样本表演的视频捕获摄像头角度的数目,其中针对每个角度提供视频显示对象;以及(ii)用户控制。在用户控制方面,用户能够按表演水平(在这种情况下,多个视频显示对象被共同配置用于与该表演相关联的多个视频角度)或以单个视频为基础(例如从一个或多个样本表演中选择特定的角度)来选择要显示的视频数据。每个视频显示对象被配置为显示单个视频、或同时显示多个视频(例如,两个视频彼此重叠,并且具有透明度,从而实现对重叠和差异的观测)。播放上下文显示304提供在视频显示对象中正在显示的内容的细节。
对象302a至302d中显示的视频数据被同步,例如时间同步。公共滚动条303被提供用于实现多个同步视频(如所指出的,其可以包括每个视频显示对象中的多个重叠的视频对象)的同步导航。在一些实施例中,提供切换以在时间同步和基于运动事件的同步之间移动。
导航界面305使得用户能够导航可用的视频数据。该数据优选地被配置为通过参考多个属性来排序,从而实现对期望的表演和/或视频的识别。例如,一种方法是首先按技能排序,然后按能力水平排序,然后按用户排序。在优选实施例中,用户能够将表演视频数据集和/或单个视频拖放到视频显示对象中。
图3另外示出了观测记录界面306。这用于使得用户能够记录能够与被观看的表演数据集相关联的观测信息(例如,完成检查表、制作笔记等)。在观看多个表演数据集的情况下,优选地具有主集合和一个或多个重叠的比较集合,并且观测与主集合相关联。
技能分析阶段-经由视觉分析的示例症状识别
在示例实施例中,多个专家(例如教练)参与审查样本表演,从而识别症状。在一些情况下,这通过诸如用户界面301之类的界面来辅助,该界面提供观测记录界面306。
总而言之,每个专家基于预定义的审查处理来审查每个样本表演(经由对视频数据的审查、或经由对从MCD和/或MSD构建的模型的审查)。例如,可以将审查处理预定义为在某些条件下(例如,常规速度、慢动作和/或以重叠的“正确形式”示例)需要一定数量的观看。专家针对所识别的症状进行观测。
图4A示出了在一个实施例中使用的示例检查表。这样的检查表可以以硬拷贝形式或经由计算机界面(例如,图3的界面306)来完成。检查表识别数据属性,包括:正在被分析的技能(在该示例中为“标准划船动作”)、审查者(即,执行审查的专家/教练)、对象(为样本表演中示出的人员,其由名称或ID来标识)、对象的能力水平、以及正在被审查的组。还可以显示任何这些数据属性的附加细节以及数据的其它方面。
然后,检查表包括标识专家被指示观测的症状的标题列。在图4A中,这些被示出为S1至S6,然而实际上,优选地通过参考描述性名称/术语(例如,在本划船示例的上下文中,“抢臂(snatched arms)”或“急速滑动(rushing slide)”)来记录症状。标题行表示各个重复REP1到REP8。审查者针对每个重复记录每个症状的存在。一组症状可能因能力水平而不同。
从诸如图4A所示的检查表(和其它收集装置)得到的数据被收集,并被处理从而确定样本表演的每组的每个重复中症状的存在。这可以包括确定针对每个重复的共识观点,例如要求达阈值数目的专家识别给定重复中的症状。在某些情况下,共识观点数据结合个别专家观测数据被存储。
视频数据、MSD和MCD然后与表示症状存在的数据相关联。例如,针对给定样本表演的给定组的给定重复定义MSD的单个数据集与一个或多个所标识的症状相关联。
在一些实施例中,诸如图4A的检查表之类的检查表基于一组预定义的ODC被预先填充基于对MSD的分析的所预测的症状。然后,审查者能够通过基于视觉分析而确认/拒绝基于MSD的自动预测,来验证那些预测的准确性。在一些实施例中,这类验证作为背景操作被执行,而无需预先填充检查表。
技能分析阶段-示例症状到原因的映射
在一些实施例中,执行分析,从而基于视觉分析实现症状到原因的映射。作为上下文,给定症状可能由多个潜在原因中的任何一个或多个引起。在某些情况下,第一症状是第二症状的原因。从训练的角度来看,针对给定的症状,确定根本原因是有用的。然后,可以提供训练来解决该原因,从而协助纠正症状(在“症状”表示错误形式的实施例中)。
作为示例,再次参考标准划船运动,可以定义以下症状:
·最小的翻转(rock over)。
·屁股推动(bum shove)。
·抢臂。
·急速恢复滑动。
·过顶(over the mountain)。
·膝盖在手超过膝盖前弯曲。
·恢复太短。
·C形背。
然后,针对每个症状,定义了多个可能的原因。例如,在“抢臂”的上下文中,原因可以定义为:
·提前使手臂工作。
·提前使后背工作。
·急速恢复滑动。
对症状-原因相关性的分析协助预测/确定多个原因中的哪一个对所识别的症状负责。在原因也是症状(例如上述“急速恢复滑动”)的情况下,识别出该症状的原因(依此类推,经由潜在迭代处理),直到预测的根本原因被识别。该根本原因然后可以被解决。
在一些实施例中,专家执行额外的视觉分析,从而将症状与原因相关联。这可以以多个水平中的任何一个或多个水平被执行。例如:
·以一般的基于技能的水平将症状与潜在原因相关联。
·通常针对每个能力水平将症状与潜在原因相关联。
·针对每个单独的运动员将症状与潜在原因相关联。
·针对由每个单独的运动员执行的每组将症状与潜在原因相关联(其提供例如关于能力、强度和症状/原因关系之间的关系方面的指导)。
·针对由每个单独的运动员执行的每组的每个重复将症状与潜在原因相关联。这在资源更密集的情况下,实现针对特定的原因对MSD的详细分析。
关于症状识别,在一些实施例中使用检查表。图4B中提供了示例检查表。在该检查表中,审查者记录所识别的症状(在该示例中为S1、S2、S4和S5)和针对给定组的原因之间的相关性。在计算机实现的检查表的情况下,标题列可以被过滤以仅揭示被识别为存在于该组中的症状。在一些实施例中,专家能够向检查表添加额外的原因列。
表示症状-原因相关性的数据在多个审查者之间进行聚合,从而定义重叠矩阵,其标识关于由多个专家所识别的症状和原因之间的关系的共识观点。这可以基于能力水平、基于运动员、基于组、或基于重复。在任何情况下,聚合实现对允许在针对给定能力水平的运动员识别出症状的情况下预测原因或可能的原因的数据的确定。在针对单独的原因定义ODC的情况下,允许对MSD进行处理,从而识别一个或多个所标识的可能原因中的任何一个的存在。
在一些实施例中,在专家之间的一致性不足以成为共识观点的一部分的症状-原因相关性被存储用于优质内容生成的目的。例如,在训练程序的上下文中,可以存在多个级别的优质内容:
·基础级别,其针对症状-原因相关性使用共识观点;
·更高级别,其另外使用与特定专家相关联的另外一组症状-原因相关性(基于由该专家一致识别的但未在共识观点中反映的观测)。
重叠矩阵还可用于基于上下文(如能力水平)来定义负责特定症状的特定原因的相对概率。例如,在第一能力水平处,症状A可能是原因B的结果的可能性是90%,但是在第二能力水平处,针对该症状,原因B的可能性仅为10%,原因C的可能性为70%。
在一些实施例中,执行分析,从而将每个重复与原因(以与上述症状相似的方式)相关联,从而协助针对MSD中的原因对ODC进行识别。然而,在其它实施例中,以概率预测为基础来识别原因,而不需要分析MSD。
技能分析阶段:能力水平症状的示例识别
在一些实施例中,重要类别的症状是能够将对象分类为定义的能力水平的症状。分类到给定能力水平可以基于对特定症状的观测或对一个或多个症状集合的观测。
如下面进一步描述的,一些实施例使用训练程序逻辑,其首先例如基于观测能力水平代表性症状来做出关于能力水平的确定,然后基于该确定来执行下游动作。例如,针对ODC的监测在某些情况下与能力水平相关。例如,与第二能力水平相比,给定症状的ODC在第一能力水平下被不同地定义。在实践中,这可能是新手产生航线误差以显示症状,但是专家经由更精细的运动变化显示症状的结果。
技能分析阶段-ODC的示例确定(例如,针对状态引擎数据)
在专家/教练进行视觉分析之后,技能分析阶段进入数据分析子阶段,从而分析从样本表演的视觉分析中获得的专家知识,以定义能够基于MSD自动检测症状的ODC。例如,这样的ODC被用于稍后下载到最终用户硬件(例如POD设备)的状态引擎数据中,使得训练程序能够基于表示对最终用户的身体表演中的特定症状的检测的输入来进行操作。
应当理解,在各种实施例中使用一系列不同的方法来定义给定症状的ODC。在一些实施例中,一般方法包括:
(i)执行对MSD的分析,从而(例如,基于包括加速度和方向的MSD)识别数据属性的组合,其基于视觉分析结果被预测为指示症状的存在;
(ii)针对表示样本表演的数据(例如,使用实际记录的MSD)测试那些数据属性,以验证那些数据属性存在于显示相关症状的所有样本表演中(可选地以特定于能力水平为基础);以及
(iii)针对表示样本表演的数据(例如,使用实际记录的MSD)测试那些数据属性,以验证那些数据属性不存在于未显示相关症状的样本表演中(再次,可选地以特定于能力水平为基础)。
示例包括但不限于以下内容:
·使用MCD作为视觉分析和MSD之间的垫脚石的方法;
·直接从视觉分析移动到分析MSD的方法;
·基于从各个传感器获得的数据来定义ODC的方法;以及
·使用从MSD构建的虚拟身体模型,基于整体身体运动来定义ODC的方法。
下面详细描述一些示例。
在一些实施例中,ODC还例如通过定义在MSU和/或POD设备上处理器/功率密度较低的ODC而被调整,从而有效地使用最终用户硬件。例如,这可能与采样速率、数据分辨率等有关。
技能分析阶段-视觉观测到MCD空间的示例转换
如上所述,在一些实施例中,MCD空间被用作视觉观测和MSD数据分析之间的垫脚石。这有助于避免与基于MSD的准确定义虚拟身体模型相关的挑战(例如,注意与将MSD转换到公共几何参考系相关联的挑战)。
总而言之,对于给定的症状,该处理包括分析与已经被标记为显示该症状的表演相关联的MCD。在一些实施例中,该分析在特定于能力水平基础上被执行(注意,症状从运动中可观测到的程度可以在能力水平之间变化)。例如,分析包括将显示相关症状的样本的MCD(例如从MCD得到的计算机生成的模型)与不显示症状的样本的MDC进行比较。
图5示出了根据一个实施例的方法。应当理解,这仅是一个示例,并且可选地使用各种其它方法来实现类似的目的。框501表示包括确定用于分析的症状的处理。例如,在划船的上下文中,症状可以是“抢臂”。框502表示包括识别用于分析的样本数据的处理。例如,样本数据可以包括:
·针对与症状相关联的所有重复的MCD。
·针对与特定强度参数处的症状相关联的所有重复的MCD。也就是说,该分析考虑了症状如何存在于特定强度参数处(与其它强度参数不同)。
·针对与特定能力水平处的症状相关联的所有重复的MCD。也就是说,该分析考虑了症状如何呈现在特定能力水平处(与其它能力水平不同)。
·针对与特定强度参数和特定能力水平处的症状相关联的所有重复的MCD(即组合前两种方法)。
也可以使用其它方法。在某些情况下,将上述方法中的多个结合使用以更好地了解诸如强度和能力之类的因素的影响(其可证明与给定症状相关或无关)。
这里使用的MCD优选地例如基于上面讨论的样本扩展技术来经MCD标准化为标准身体尺寸。同样,从这些处理得到的ODC能够使用样本扩展的转换原理被去标准化(de-normalised),从而适用于身体尺寸的可变(以及潜在的无限可变)范围。
功能框503表示包括识别潜在的症状指示符运动(SIM)的处理。例如,这包括识别针对每个样本重复被预测为表示相关症状的MCD中可观测的运动的属性。在一些实施例中,指示符运动由安装MSU的身体部分的运动路径的属性来定义。运动路径的属性可以包括角度、角度变化、加速/减速、加速/减速变化等。这在本文被称为“点路径数据”,其是表示在身体上定义的点的运动属性的数据。在这方面,潜在的SIM由一组或多组“点路径数据”定义(也就是说,在某些情况下,存在一组点路径数据,其中SIM基于仅一个身体部分的运动,以及在某些情况下,存在多组点路径数据,其中SIM基于诸如前臂和上臂之类的多个身体部分的运动)。
作为上下文,可以定义一组点路径数据以包括给定点的以下数据:
·X轴加速度:最小值:A,最大值B。
·Y轴加速度:最小值:C,最大值D。
·Z轴加速度:最小值:E,最大值F。
还可以使用除加速度之外的数据。此外,可以有多个加速度测量,并且这些可以在时间上参考其它事件和/或测量。例如,一组点路径数据可以通过参考观测另一组点路径数据之后的所定义的时间段来约束。作为上下文,这可以用于定义考虑到大腿上的点与前臂上的点的相对运动的SIM。
功能框504表示测试处理,借以针对比较数据测试潜在的SIM。在一些实施例中,测试验证如下:
(i)在针对样本数据中的每个重复的MCD中观测到一组或多组点路径数据。这验证了潜在的SIM在识别其被设计为进行操作的样本中的症状的存在方面是有效的。
(ii)在针对不与相关症状相关联的重复的MCD中未观测到一组或多组点路径数据。这验证了潜在的SIM将不会在症状不存在的情况下被触发。
判定505表示基于505处的测试确定潜在的SIM是否被验证。
在潜在的SIM不能被成功验证的情况下,其会被改善(参见框506)并被重新测试。在一些实施例中,经由交互式算法自动改善和重新测试。例如,这操作来将先前定义的潜在SIM下的点路径数据定义缩小到能够通过参考针对不存在相关症状的表演重复的MCD而被验证为唯一的点。在某些情况下,给定的SIM不能在阈值数目的迭代之后被验证,并且需要新的起始点潜在SIM。
框507表示在成功测试后对SIM的验证。
在一些实施例中,在样本数据是与相关症状相关联的所有重复的总MCD数据的子集的情况下,生成数据以指示SIM是否也被验证用于该总MCD数据的任何其它子集(例如,SIM是基于第一能力水平的分析得到的,但在第二能力水平处也是有效的)。
应当理解,确定潜在的SIM的处理可以主要是人工处理(例如,基于对视频和/或MCD得到的模型数据的视觉分析)。然而,在一些实施例中,该处理由各种级别的自动化来协助。例如,在一些实施例中,算法被配置为基于显示症状的MCD中的MCD与不存在症状的MCD中的MCD相比的共性来识别潜在的SIM。在一些实施例中,这样的算法被配置为定义潜在的SIM(每个由MCD空间或MSD空间中的相应一组或多组点路径数据来定义)的集合,这些潜在的SIM综合地定义显示症状的样本表演的样本集相对于所有其它样本表演(这些样本表演针对身体尺寸被标准化)的唯一性。在一个实施例中,算法被配置为输出表示包含对所选择的症状或症状集合通用的所有MCD的数据集的数据,并且能够对该数据集(例如基于特定传感器、运动内的特定时间窗口、数据分辨率约束等)进行过滤,从而能够通过用户引导将数据集缩小到具有在最终用户硬件的上下文中实现实际应用的特性的潜在SIM(例如,基于被提供给最终用户的具有MSU功能的服装的MCD)。
在一些实施例中,测试处理另外用于实现对视觉分析不成功的重复中的症状的识别。例如,在测试失败数目较少的情况下,对这些测试失败进行视觉分析,以确认症状确实不存在还是巧妙地存在。
技能分析阶段-从MCD空间到MSD空间的示例转换(ODC)
经由诸如图5的方法被验证的SIM然后被转换到MSD空间中。如上所述,每个SIM包括表示一组或多组点路径数据的数据,每组点路径数据定义针对人体上所定义的点的运动属性。
人体上定义了点路径数据的点优选地对应于在下述项的上下文中安装了MSU的点:(i)样本表演期间由对象穿戴的MSU布置;和(ii)最终用户使用的具有MSU功能的服装。在一些实施例中,最终用户的具有MSU功能的服装(或其变体)被用于样本表演的目的。
在针对除安装MSU的点之外的点定义了点路径数据的情况下,优选地执行数据转换,从而将点路径数据调整到这样的点。或者,这种转换可以被集成到后续阶段。
总而言之,分析样本数据(图5的框502的样本数据)中的一个或多个样本表演重复的MSD,从而识别与点路径数据相对应的数据属性。例如,点路径数据可以指示运动和/或加速方向相对于参考系(优选地是重力参考系)的一个或多个定义的范围。
在一些实施例中,从(a)在MCD空间中得到的SIM到(b)MSD空间中定义的数据的转换包括:
(i)针对每组点路径数据,识别存在于与SIM相关的每个样本表演中的表示点路径数据的MSD属性。在某些情况下,点路径数据和MSD属性之间的关系是不完美的,这例如由于MSD的性质所致。在这种情况下,所识别的MSD属性可以比由点路径数据定义的运动更宽。
(ii)通过与图5的框504-506的迭代测试类似的处理来验证所识别的MSD数据属性,从而验证所识别的MSD属性在针对显示症状的样本表演的MSD中一致地被发现,并且在所有不存在症状的样本表演中不存在。
该转换到MSD空间的处理产生数据条件,当该数据条件在从收集阶段(例如,图2A的框201)期间使用的一个或多个MSU得到的数据中被观测到时,指示存在症状。也就是说,转换处理产生症状的ODC。
以该方式定义的ODC由一个或多个传感器的各个传感器数据条件定义。例如,基于每个传感器处的速度和/或加速度测量结合规则(例如,时序规则:传感器X观测A,并且在定义的时间接近度内,传感器X观测B)来观测ODC。
然后,ODC能够被集成到状态引擎数据中,状态引擎数据被配置为可用于下载到最终用户设备,从而能够配置该最终用户设备以监测相关症状。
应当理解,由上述转换处理定义的ODC对于在数据收集阶段中使用的MSU是唯一的。因此,在最终用户将使用的收集阶段期间,使用相同的MSU和MSU定位(例如经由相同的具有MSU功能的服装)是方便的。然而,在一些实施例中,存在多个版本的最终用户的具有MSU功能的服装,例如具有不同的MSU和/或不同的MSU定位。在这种情况下,针对每个服装版本,可选地分别执行到MSD空间的转换。这可以通过经由虚拟MSU配置(对应于特定最终用户设备)的虚拟应用对所收集的测试数据应用已知的数据转换和/或进行建模来实现。例如,关于后者,可选地使用从MCD得到的虚拟模型作为支持一个或多个虚拟MSU的框架,并且确定对应于SIM数据的计算机预测的MSU读数。应当理解,这提供了基于硬件进展随时间重新定义ODC的能力,这是因为考虑到经由分析阶段收集的数据在这种情况下能够随时间被重新使用。
图6中示出了示例处理,作为用于定义基于MSC分析生成的ODC或SIM的处理。在601处识别经验证的SIM。在602处识别点路径数据的集合中的第一集合,并且经由由框603至608表示的处理来分析该集合,由框603至608表示的处理循环用于点路径数据的每个集合。该循环处理包括识别与点路径数据相对应的潜在MSD属性。例如,在一些实施例中,这包括针对与全部收集的相关MSD或其子集的点路径数据相同的时间点处理收集的MSD(注意,MCD和MSD以被配置用于时间同步的方式被存储)。然后在604处执行测试,以在605处确定所识别的MSD属性是否存在于从样本表演收集的所有相关存在症状的MSD(并且在一些实施例中,以确保其不存在于不存在症状的MSD中)。必要时,在606处执行改善,否则在607处MSD属性被验证。
一旦针对SIM中的所有点路径数据的集合完成了框603至608的循环处理,则在609处组合经验证的MSD属性,从而定义该症状的潜在ODC。然后经由框610至613的处理对这些潜在ODC进行测试、改善和验证,从而确保潜在ODC:(i)在确实存在相关症状的所有相关样本表演MSD中被识别,以及(ii)在不存在相关症状的所有相关样本表演MSD中不被识别(术语“相关”表示在某些情况下分析受能力水平等限制)
应当理解,在另外的实施例中使用各种替代方法,从而定义给定症状的ODC。然而,在基本所有的情况下,方法包括执行分析,从而定义可观测数据条件,可观测数据条件能够在存在症状的样本表演的MSD中被识别(被收集或被虚拟地定义),但是不能在不存在症状的样本表演中被识别。
技能分析阶段-经由MCD空间将视觉观测替代转换到MCD空间
在另外的实施例中,MCD用于生成虚拟身体模型,并且该模型与经时间同步的MSD相关联。以这种方式,能够在技能表演运动中的特定点处使用针对所选择的一个或多个MSU的MSD执行分析。
在该阶段使用的MSD可以是针对特定表演的MSD,或者是在类似表演的子集之间聚合的MSD(例如,在定义的能力水平下,经标准化的身体尺寸的表演)。聚合可以包括下述项中的一项或两项:(i)仅利用在所有表演的子集中相似/相同的MSD;以及(ii)定义数据值范围,使得经聚合的MSD包括针对表演的子集的全部MSD(或统计上相关的比例)。例如,关于后者,针对第一表演的MSD可能具有:特定传感器在特定时间点的x轴加速度值A,并且针对第二表演的MSD可能具有:该特定传感器在该特定时间点的x轴加速度值B。这些能够被聚合到经聚合的MSD中,其中该特定传感器在该特定时间点的x轴加速度的值被定义为在A和B之间。
因此,能够执行分析以确定类似下述项:
(i)针对特定表演,在运动中的特定点处,特定传感器的MSD的一个或多个方面的值(例如,加速度计值)。
(ii)将(i)处的值与运动中的同一点处的其它表演(例如,在相同能力水平下显示相同症状的其它表演)进行比较的比较数据。
(iii)针对一组表演(例如,在相同能力水平下显示相同症状的其它表演),在运动中的特定点处,针对特定传感器的MSD的一个或多个方面的值范围(例如,加速度计值)。
(iv)针对具有特定症状的特定表演,在运动中的特定点处,与针对不显示该特定症状的一个或多个另外的表演的相应MSD相比,特定传感器的MSD的一个或多个方面的比较数据(例如,加速度计值)。
这类分析用于确定给定症状的预测ODC。
一旦预测ODC被定义,这些ODC能够使用诸如图7所示的方法被测试。在701处确定特定症状的预测ODC,然后这些预测ODC在702处针对样本表演的MSD被测试。与前面的示例一样,这用于验证预测ODC存在于显示该症状的相关表演的MSD中,并且ODC在不显示该症状的相关表演的MSD中不存在。例如,“相关”表演是在共同能力水平下的样本表演,并且在一些实施例中被标准化为标准身体尺寸。基于测试,ODC在704处被改善、或者在705处被验证。
分析阶段:经由身体建模定义ODC的替代方法
上述方法基于在一个或多个单独传感器中寻找特定数据属性的ODC。替代方法是基于身体的运动来定义ODC,并且基于从MSU收集的MSD来定义虚拟身体模型。例如,MSD被收集和处理,从而将数据转换到公共参考系,使得能够基于从MSU得到的移动数据来定义和维护3维身体模型(或部分身体模型)。从MSD得到部分和/或全部身体模型的示例性技术包括将来自两个或更多个MSU的MSD转换到公共参考系。这种转换可以可选地通过以下技术中的一个或多个来实现:
·MSU位置的精确定位和/或测量,以及在时间线上的预定义点处标识已知身体位置(例如开始姿势)。
·利用运动捕获点(例如移动捕获标记物)和MSU之间的已知位置关系。
·使用已知的身体约束,例如关节类型,以将来自关节一侧的第一传感器的MSD与关节另一侧的MSD相关联。
·使用多个MSU通用的参考数据,以使得整体数据转换到公共参考系(例如使用重力加速度方向和磁北方向)。
其中,前两者通常以技能分析的上下文为优势,其中MSU能够被安装在受控环境中,并且诸如MCD之类的辅助数据可用于协助MSD解释。后两者在存在较少控制的情况下(例如,在MSD是从最终用户类型的具有MSU功能的服装的穿戴者收集到的情况下,潜在地在不受控制(或相对较少受控制的)的环境中)具有更大的相关性。关于这种方法的附加信息在下文进一步提供。
客观定义身体技能的替代示例方法
下面参考图8A至图8I描述用于客观定义身体技能的另一组替代方法。在一些实施例中,这些方法的各方面与上面进一步描述的那些相组合。
这些方法在一般意义上包括三个阶段(这些阶段并不总是可以清晰地分离或经由严格的线性进程被遵循)。第一阶段是样本分析阶段801,在此分析给定的技能,从而理解与最优和次优表演相关的运动/位置属性。然后,数据分析阶段802包括将在阶段801获得的理解应用于可观测的传感器数据;该阶段包括确定用于给定最终用户实现的一组最终用户传感器如何能够用于经由传感器数据识别来自阶段801的特定运动/位置属性。这允许在阶段801获得的理解例如在训练的上下文中被应用于最终用户。这发生在803阶段;内容作者针对经由传感器数据监测最终用户的表演的软件定义规则等。例如,当观测到来自阶段802的特定传感器数据时,规则可以基于来自阶段801的知识来定义被提供给用户的反馈。
如上所述,这三个阶段并非在所有情况下都能清晰地被区分;存在一些混合和/或重叠的情况。此外,它们不需要作为简单的线性过程被执行;在某些情况下,阶段之间存在循环。
通过参考经由参考运动属性所分析的表演来描述以下示例。例如,运动数据是从安装到人类用户(例如,被提供在服装上)的多个传感器、以及在一些情况下被安装到人类用户所使用的设备(例如,滑板、网球拍等)的另外一个或多个传感器得到的。传感器可以采取各种形式。本文考虑的示例(其不应被视为一定是限制性的)将使用多个传感器单元,每个传感器单元包括:(i)陀螺仪;(ii)加速度计;以及(iii)磁力仪。这些传感器单元各自优选为三轴传感器。这种布置允许例如基于传感器的相对运动来收集提供表示人类运动的精确数据的数据(例如,经由本文所公开的POD设备)。可穿戴服装技术的示例被提供在本说明书的其它地方。
在各图中,相同的处理由相同编号的功能框指定。
图8B示出了根据一个实施例的方法,其包括图8A的三个阶段。该方法开始于准备步骤810,其包括确定将作为分析的对象的技能。例如,技能可以是踢足球、特定的网球摆动、滑板操纵、跳远方法等的特定形式。应当理解的是,在体育、娱乐和其它活动中存在基本无限数目的技能,这些技能可以通过本文考虑的方法来被识别和分析。
样本分析阶段801包括对给定技能的多个表演的分析,从而拓展对影响该技能的表演的运动方面的理解,在该情形下,这经由811处的视觉驱动分析进行。视觉驱动分析包括在视觉上比较多个表演,从而拓展关于最优表演如何不同于次优表演的知识。视觉驱动分析的示例形式包括:
步骤811的第一示例包括没有技术协助的视觉驱动分析。观测者(或一组观测者)观看技能被执行多次,并基于他们的视觉观测进行确定。
步骤811的第二示例包括利用视频的视觉驱动分析。捕获多个表演的视频数据,从而实现对表演的后续可重复的视觉比较。优选的方法是从一个或多个定义的位置捕获表演,并利用数字视频操纵技术从相同的角度重叠两个或更多个表演视频。例如,可以从定义的后角位置(在运动员后面)拍摄特定足球踢出的形式的技能,其中球被定位在针对每个表演的定义的位置以及定义的靶区(target)。基于定义的共同原始视频帧(基于运动中的时间点来选择,该时间点在比较视频中要在时间上对准),从两个或更多个表演捕获的视频被具有透明度地重叠。假设这是在受控环境中拍摄的,只有播放器和球在两个视频捕获之间的位置不同(可以使用背景对准来考虑相机位置的轻微误差)。这允许观测者基于重叠表演运动的差异更多地识别表演之间的相似性和差异。优选使用多个角度(例如,侧视图和俯视图)。
步骤811的第三示例包括利用运动捕获数据的视觉驱动分析。例如使用传统的运动捕获技术、安装的传感器、深度敏感的视频设备(例如由Microsoft Kinect所使用的那些深度传感器摄像机)和/或其它技术来针对多个表演收集运动捕获数据。这允许基于运动捕获在计算机系统中重建表演。后续的视觉分析可以类似于先前视频示例中使用的视觉分析,然而,运动捕获方法可以允许更精确的观测以及对视点的附加控制。例如,经由运动捕获技术构建的三维模型可以允许自由视点控制,使得能够从多个角度比较多个重叠的表演,从而识别运动和/或位置中的差异。
还可以使用针对阶段811处的视觉驱动分析的其它方法。
在视觉驱动分析中产生的观测在一些实施例中是描述性的。例如,观测可以按描述性形式来定义,例如“在接近第一秒期间臀部向内倾斜”、“脚接触地前肘部弯曲”、“初始姿态期间左肩下降”等。描述性形式可以包括关于所描述的人工制品的结果的信息(或与之相关联),例如“在接近第一秒期间臀部向内倾斜”-导致“球向靶区的左侧摆动”。
为了本说明书的目的,阶段801(和步骤811)的输出被称为“表演影响因素”。
在图8B中,阶段802包括功能框812,其表示包括将视觉驱动的观测应用于技术上可观测的数据的处理。这可以再次使用比较分析,但是在这种情况下,这基于数字化信息,例如使用运动捕获或传感器(其可以是与最终用户所穿戴的传感器相同或相似的传感器)收集的信息。功能框812包括针对给定的表演影响因素PAFn,在从可归因于PAFn的一个或多个表演得到的数据中进行识别。这可以包括对未展示PAFn的一个或多个表演的数据与展示PAFn的一个或多个表演的数据进行比较分析。作为示例,分析了显示“在接近第一秒期间臀部向内倾斜”的捕获数据,以识别可归因于“在接近第一秒期间臀部向内倾斜”的数据的各方面。这可以通过与不显示“在接近第一秒期间臀部向内倾斜”的样本的数据进行比较来识别。
如本文所述,数据分析使得确定每个表演影响因素的可观测数据条件。也就是说,PAFn与ODCn相关联。因此,当处理给定表演的传感器数据时,软件应用能够自主地确定ODCn是否存在,因此提供指示对PAFn的识别的输出。也就是说,软件被配置为基于对从传感器得到的数据的处理来自主地确定是否存在例如“在接近第一秒期间臀部向内倾斜”。
在一些实施例中,给定的PAF与多个ODC相关联。这可以包括:与特定传感器技术/布置(例如,某些最终用户穿戴16个传感器套件,而其它最终用户穿戴24个传感器套件)相关联的ODC;与不同用户身体属性相关联的ODC(例如,与四肢很短的用户相比,四肢很长的用户需要不同的ODC),等等。在一些实施例中,另一方面,如下面进一步讨论的,针对身体属性对ODC进行标准化。
在图8B中,实现阶段803包括表示实现到(一个或多个)训练程序中的功能框813。这包括定义基于可观测数据条件触发的最终用户设备软件功能。也就是说,每组可观测数据条件被配置为经由处理从最终用户的运动传感器集合得到的数据的软件应用来实现,从而能够监测最终用户的技能的身体表演中的表演影响因素的相关联集合的存在。在一些实施例中,使用基于规则的方法,例如“如果观测到ODCn,则执行动作X”。应当理解,能够定义不同复杂程度的规则(例如,使用诸如或(OR)、与(AND)、否则(ELSE)等的其它运算符,或者通过利用更强大的规则构建技术)。规则的确切性质由内容作者决定。作为一般原则,在一些实施例中,目标是定义旨在鼓励最终用户在后续的表演中修改其行为从而可能更接近于最优表演的动作。
继续上述示例,一组可观测数据条件指示用户在观测到的表演中表现出“在接近第一秒期间臀部向内倾斜”。因此,在阶段803期间,这种可观测数据条件可选地与反馈指令(或多个潜在反馈指令)相关联,这些反馈指令被定义为协助用户用其它运动属性(例如,最优表演可能需要“运动的第一秒期间臀部水平、左脚接触地面之后臀部向上倾斜”)来替换“在接近第一秒期间臀部向内倾斜”。反馈不一定与臀部倾斜有关;辅导知识可以揭示,例如,调整手的位置或起始姿态可以有效地纠正不正确的臀部位置(在这种情况下,也可以针对那些表演影响因素定义可观测数据条件,从而实现与臀部位置相关的辅助分析)。
图8C示出了根据一个实施例的方法,示出了阶段801至803中的一组替代功能框,其中一些功能框已经参考图8B进行了描述。
功能框821表示样本表演收集阶段,借以针对给定的技能收集多个表演样本。功能框822表示例如经由如上所述的视觉驱动技术或其它技术的样本数据分析。这导致了对技能的表演影响因素的定义(参见功能框823),表演影响因素针对技能Si可以被表示为SiPAF1至SiPAFn。
功能框824表示包括下述操作的处理:分析表演数据(例如,从运动捕获、穿戴的传感器、深度摄像头和其它技术中的一个或多个得到的数据),从而识别作为表演影响因素的证据的数据特征。例如,将已知展现表演影响因素的一个或多个从表演得到的数据集与已知未展现表演影响因素的一个或多个从表演得到的数据集进行比较。在使用多个穿戴的传感器的一些实施例中,关键数据属性包括:(i)传感器的相对角位移;(ii)传感器的相对角位移的变化率;以及(iii)传感器的相对角位移的时序和传感器的相对角位移的时序和变化率。
功能框825表示包括下述操作的处理:基于824处的分析,针对每个表演影响因素定义可观测数据条件。可观测数据条件以允许它们在从最终用户的表演得到的传感器数据中被自动识别(例如,作为陷阱(trap)状态)的方式来定义。可观测数据条件针对技能Si可以被表示为SiODC1至SiODCn。SiPAF1至SiPAFn。如上所述,在一些实施例中,给定的PAF与多个ODC相关联。这可以包括:与特定传感器技术/布置(例如,某些最终用户穿戴16个传感器套件,而其它最终用户穿戴24个传感器套件)相关联的ODC;与不同用户身体属性相关联的ODC(例如,与四肢很短的用户相比,四肢很长的用户需要不同的ODC),等等。在一些实施例中,另一方面,如下面进一步讨论的,针对身体属性对ODC进行标准化。
替代示例:样本分析方法
图8D示出了根据一个实施例的针对阶段801处的样本分析的示例性方法。
功能框831表示包括使得对象(在该示例中是专家用户)多次执行给定技能的处理。例如,在一些实施例中,优选大约100个表演的样本规模。然而,在实施例中使用一系列样本规模,并且技能的性质在一些情况下影响所需的样本规模。
功能框832表示包括审查多个表演的处理。这在所描述的实施例中利用视觉驱动的分析,例如通过视频审查(例如使用如上所述的重叠的视频数据)或运动捕获审查(例如从运动捕获技术得到的虚拟三维身体构造,运动捕获技术在某些情况下包括使用运动传感器)来完成。
基于832处的审查,表演被分类。这包括识别最优表演(框833)和识别次优表演(方框834)。分类优选地基于客观因素。例如,一些技能具有一个或多个可量化的目标,例如功率、速度、准确性等。可以针对这些可量化的目标中的任何一个或多个定义客观标准。作为示例,可以通过靶区来量化准确性;如果靶区被击中,则表演是“最优的”;如果靶区未被命中,则表演是“次优的”。作为另一示例,压力传感器可以确定由表演产生的影响是否具有足够的量级以使其为“最优的”。
功能框835表示包括对次化表演进行分类的处理。例如,客观标准被定义,从而将每个次优表演与类别相关联。在一个实施例中,在技能的目标(或一个目标)是准确性的情况下,定义了多个“未命中区域”。例如,存在中心靶区区域和四个“未命中”象限(左上、右上、左下、右下)。然后,基于被击中的“未命中”象限对次优表演进行分类。可以针对额外的粒度(例如与未命中的程度有关等等)定义附加标准。
然后将来自每个类别的次优表演的样本与最优表演进行比较,从而识别表演错误中的共性等。这在所示出的实施例中经由循环处理来实现:在836处选择下一类别,在837处将该类别的次优表演与最优表演进行比较,并且在838处确定表演影响因素。该方法然后基于判定839,在存在要被评估的剩余类别的次优表演的情况下进行循环。
在838确定的表演影响因素是视觉上识别出的表演影响因素,这些表演影响因素被观测为导致当前类别的次优表演。实质上,这些表演影响因素允许基于对运动的观测而不是对结果的观测来预测给定表演的结果。例如,“未命中-左下象限”类别可能导致表演影响因素“在接近第一秒期间臀部向内倾斜”。该表演影响因素与该类别的次优表演(即在样本中一致观测到的)唯一地相关联,并且在最优表演或其它类别的次优表演中未观测到。因此,获得的知识是在观测到“在接近第一秒期间臀部向内倾斜”的情况下,预计存在未命中而是到达靶区的左下方。
应当理解,在阶段802和阶段803之后,这导致软件应用能够纯粹基于穿戴的传感器数据自动预测给定表演可能导致了未命中而是到达靶区的左下方(即,基于在具有与“在接近第一秒期间臀部向内倾斜”相关联的可观测数据条件的传感器数据中进行识别)。在实际层面上,最终用户可能会被提供来自虚拟教练的音频反馈,例如“未命中,而是到了左下方,不是吗?下一次请你尝试聚焦在XXX上怎么样?”这是重要的结果;它使得传统上通过视觉辅导观测到的客观因素被转换为自动传感器驱动的环境。
在一些实施例中,通过提供样本表演的人参与视觉分析处理来增强样本分析。例如,这可以是著名的明星运动员。运动员可以提供他/她关于重要表演影响因素的见解,这最终产生“专家知识”,“专家知识”允许用户基于特定专家对该技能的解释来参与训练以学习特定技能。在这方面,个人技能可以具有多个不同的专家知识变化。作为具体的示例,足球撮踢(chip kick)可以具有基于玩家X对撮踢的最优形式的解释的第一专家知识变化,以及具有基于玩家Y对撮踢的最优形式的解释的第二专家知识变化。这允许用户不仅接收针对期望技能的训练,而且还可以接收针对该期望技能的基于所选择的专家的知识的训练(在某些实施例中可以提供类似于由该所选择的专家训练的用户体验)。
作为上下文,关于专家知识,基于对期望的专家知识变化的选择,用户选择下载到POD设备的数据。也就是说,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化。
在一些实施例中,针对第一可选择的专家知识变化,可下载的数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;并且针对第二可选择的专家知识变化,可下载的数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。例如,第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。在其它情况下,第一组可观测数据条件和第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
在一些实施例中,针对第一可选择的专家知识变化,可下载的数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;并且针对第二可选择的专家知识变化,可下载的数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。例如,第一组反馈数据和第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。替代地(或此外),第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
替代示例:数据分析方法
图8E示出了根据一个实施例的针对阶段802处的数据分析的示例性方法。通过参考例如经由图8D的方法所定义的对次优表演类别的分析来描述该方法。然而,应当理解,也可以针对最优表演(由此定义与最优表演相关联的可观测数据条件)执行相应的方法。
功能框841表示包括开始对下一次优表演类别进行数据分析的处理。使用表演影响因素作为指导,在842处在多个次优表演的次优表演数据与最优表演数据之间进行比较。在843处识别数据模式(例如,相似性和差异)。在一些实施例中,目标是识别对于所有次优表演共同的(但在任何其它次优类别的最优表演中未被观测到的)数据特性,并且确定那些数据特性如何与表演影响因素相关。功能框844表示包括针对每个表演影响因素定义一组或多组可观测数据条件的处理。处理基于判定845循环用于额外的次优表演类别。
替代示例:实现方法
图8F示出了根据一个实施例的针对阶段803处的实现的示例性方法。
功能框851表示包括选择与经由阶段801和802的表演影响因素相关联的一组可观测数据条件的处理。在852处设置条件满足规则,这些规则基于输入的传感器数据定义选择所选择的一组可观测数据条件何时被满足。例如,这可以包括设置阈值等。然后,功能框853包括定义一个或多个旨在与可观测数据条件相关联的功能(例如,反馈、指向替代活动等)。然后,该规则和相关联的功能在854处被输出,以用于在856处用于训练程序编写过程。如果要使用更多可观测数据条件,则该方法在判定855号处进行循环。
给定的反馈指令优选地经由咨询教练和/或其它专家来定义。应当理解,反馈指令不需要直接涉及相关的表演影响因素。例如,在继续示例中,反馈指令可以引导用户专注于可以间接地纠正臀部向内倾斜(例如,经由手定位、眼睛定位、起始姿态等)的特定任务。在一些情况下,多个反馈指令可以与给定的一组可观测数据条件相关联,注意,特定的反馈指令可能与某些用户有共鸣,而与其它用户无共鸣。
替代示例:风格和身体属性标准化
在一些实施例中,在阶段801和阶段802处观测到多个样本用户表演,从而协助识别(并且在某些情况下标准化)风格和身体属性的影响。
作为上下文,不同的用户将固有地稍微不同地执行给定的技能。在某些情况下,差异是个人风格的结果。然而,不考虑可归因于风格的元素,相似之处通常存在显著重叠。一些实施例在视觉和/或数据级别上比较多个对象的表演,从而通过定义不同风格的表演对象共同的可观测数据条件来标准化风格。这导致风格中立。一些实施例替代地或另外地包括在视觉和/或数据级别上比较多个对象的表演,从而识别特定地归因于给定对象的风格的可观测数据条件,从而使得定制的训练程序能够训练用户遵循该特定风格(例如,个人技能可以具有多个不同的专家知识变化,其能够由最终用户单独购买)。
身体属性(如身高、肢长等)在某些情况下也会对可观测数据条件产生影响。一些实施例实现一种方法,借以基于传感器数据确定特定最终用户的身体尺寸,并相应地确定可观测数据条件(例如,通过缩放和/或选择特定于尺寸或尺寸范围的数据条件)。其它实施例实现一种方法,借以可观测数据条件针对尺寸被标准化,从而否定最终用户身体属性影响。
在一些实施例中,增强了方法以在视觉和/或数据级别上比较多个对象的表演,从而通过下述项中的一者或两者来标准化身体属性:(i)定义表演对象(不考虑身体属性)共同的可观测数据条件;和/或(ii)基于已知的最终用户属性来定义用于缩放可观测数据条件的一个或多个属性的规则;和/或(iii)定义分别针对具有特定已知身体属性的最终用户定制的多组可观测数据条件。
图8G示出了身体属性和风格标准化的示例性方法。对于阶段801和阶段802都执行该方法的元素。功能框861表示针对第一专家执行分析,从而提供比较点。然后,如框862所示,还针对具有类似技能水平的多个另外的专家进行分析。功能框863表示包括识别归因于身体属性的人为现象的处理,并且框864表示基于身体属性的标准化。功能框865表示包括识别归因于风格的人为现象的处理,并且框864表示基于风格的标准化。在一些实施例中,在没有识别可归因的人为现象的初始步骤的情况下执行标准化的任一种或两种形式。
替代示例:应用于多个能力水平
在一些实施例中,阶段801和802(以及可选地803)被执行用于不同的能力水平。基本原理是专家可能对业余或初学者犯不同的错误。例如,专家在大多数情况下可能会始终保持最接近最优表演,并且所寻求的训练/反馈在精确的移动方面是相当精细的。另一方面,初学者用户可能会犯更多粗糙的错误,并且在精细观测之前需要关于那些粗糙错误的反馈,并且与专家相关的反馈将是非常有帮助或完全相关的。
图8H示出了根据一个实施例的方法。功能框861表示针对能力水平AL1的分析。这在一些实施例中包括对来自多个对象的多个样本的分析,从而实现身体和/或风格标准化。在862处输出针对能力水平AL1的可观测数据条件。针对能力水平AL2重复这些处理,如框863和864所示。然后针对任意数目的能力水平(取决于所需的与能力有关的粒度的水平)重复该处理,直到能力水平ALn为止(参见框865和866)。
图8I示出了图8G和图8H所示的各方面之间的组合,使得针对每个能力水平,采取初始样本,然后针对身体尺寸和/或风格标准化进行扩展,从而提供针对每个能力水平的可观测数据条件。
课程构造阶段:概述
如上所述,在技能分析阶段100之后,图1B的示例端到端框架进入课程构造阶段110。课程构造的具体方面不属于本公开的范围;对课程构造方法的高度了解足以让熟练的收件人了解这一阶段在整个端到端框架中的作用。
一般来说,最终用户功能与技能训练有关,课程构造包括定义逻辑处理,借以使用ODC作为输入来影响训练内容的传送。例如,训练程序逻辑被配置为执行功能,包括但不限于:
·基于对一个或多个定义的ODC的识别,进行与用户能力水平相关的预测确定。
·基于对一个或多个定义的ODC的识别,向用户提供反馈。例如,这可以包括与ODC表示的症状和/或原因相关的辅导反馈。
·基于对一个或多个定义的ODC的识别,移动到训练程序的不同部分/阶段。例如,这可以包括:(i)确定给定的技能(或子技能)已经被充分掌握,并进展到新的技能(或子技能);或(ii)确定用户具有特定困难,并且为用户提供关于旨在提供补救性训练来解决特定困难的不同技能(或子技能)的训练。
这些仅是指示性选择。实质上,基本概念是使用ODC(即能够在MSD中(或更一般地,在PSD中)被识别的数据属性),从而驱动训练程序中的功能。在实践层面上,这能够提供广泛的训练,从类似协助用户改善黄金摇摆动作,到类似协助用户在吉他上演奏音乐时控制音符的进行。
应当理解,进一步的实施例可应用于除技能训练之外的上下文中,例如在依赖于已经表演特定技能的识别、以及那些技能的属性(例如,已经表演特定的滑雪板技巧,以及与该技巧相关联的空中时间测量)的活动(例如,竞争性活动)的上下文中。在这样的实施例中,ODC用于包括技能识别和技能属性测量的目的。
在一些实施例中,在优选实施例中由用户界面提供的反馈包括关于如何修改运动以便改善表演的建议、或更具体地(在运动传感器的上下文中)更为紧密地建议以便复制被预定义为表示最优表演的运动属性。在这方面,用户下载训练包以学习特定技能,例如运动技能(在一些实施例中训练包包括针对多个技能的内容)。例如,训练包可以涉及广泛的技能,包括类似足球(例如,特定风格的踢球)、板球(例如,特定的投球技术)、滑雪/滑雪板(例如,特定的空中技巧)等等。
一般来说,由本文公开的技术的实施例执行的公共操作处理是(i)用户界面提供指令,以执行定义所训练的技能或与所训练的技能相关联的动作;(ii)POD设备监测来自传感器的输入数据,确定与用户的动作表演相关联的症状模型值;(iii)分析用户的表演;并且(iv)执行用户界面动作(例如,提供再次尝试集中于运动的特定方面的反馈和/或指令)。图11A中的方法1100的框1103至1106中示出了示例。
基于表演的反馈规则是在主观上预定义的,以将技能训练内容配置为响应于观测到的用户表演以适当的方式运行。这些规则基于症状来定义,并且优选地基于观测到的症状模型数据值与预定义的基线症状模型数据值(例如用于最优表演和/或预期不正确的表演的值)之间的偏差。在某些实施例中,基于指定的基线症状模型数据值(或多个值)和观测值之间针对特定症状(或多个症状)的指定范围(或多个范围)的偏差来定义规则。
在某些情况下,由专门针对个人专家的内容作者定义(或定制/加权)了一组规则。也就是说,专家知识是经由定义的规则来实现的。
图11B示出了用于定义基于表演的反馈规则的示例性方法1110。规则创建开始于1111处。功能框1112表示包括选择症状的处理。例如,这是从针对规则涉及的技能所定义的症状的集合中选择的。功能框1113表示包括定义症状模型值特性的处理。例如,这包括定义值范围、或者距预定义的值的偏差范围(例如,与针对最优或不正确的表演的基线值的偏差)。
判定1114表示在单个规则中结合另外的症状的能力(在具有该能力的情况下,方法循环到1112)。例如,症状能够使用“与”、“或”和其它这样的逻辑运算符进行结合。
功能框1115表示定义规则效果参数的处理。也就是说,框1111-1114与规则的“如果(IF)”分量相关,并且框1115与规则的“则(THEN)”分量相关。可以使用一系列“THEN”分量类型,包括下述各项中的一个或多个:
·通过用户界面提供特定反馈消息的规则。
·通过用户界面提供若干特定反馈消息之一的规则(通过辅助确定哪一个特定反馈消息可选地基于其它因素,例如用户历史数据)。
·通过用户界面提供特定指令的规则。
·通过用户界面提供若干特定指令之一的规则(通过辅助确定哪一个特定指令可选地基于其它因素,例如用户历史数据)。
·在技能或活动的定义的进展路径中进入不同阶段的规则。
·在定义的进展路径中进入若干不同阶段之一的规则(通过辅助确定哪一个阶段可选地基于其它因素,例如用户历史数据)。
·建议将特定内容下载到POD设备的规则(例如,针对不同技能或活动进行训练的内容)。
应当理解,这些仅是示例,并且实施例可选地实现允许灵活且潜在复杂的规则定义能力的复杂布置。
在一些实施例中,规则被集成到动态进展路径中,动态进展路径基于用户的属性来适应。下面进一步讨论一些示例。作为上下文,观测和反馈并非通过一对一的关系相连接;给定的表演观测(即观测到的症状模型值的集合)可以根据用户属性与多个可能的效果相关联。一个重要的示例是“挫败缓解”,其阻止用户陷入重复错误并接收相同反馈的循环。相反,在以指示的方式执行失败尝试阈值数目之后,实现替代方法(例如,不同的反馈、开始用户更有可能成功的不同任务,等等)。
在一些实施例中,由用户界面提供的反馈被配置为基于以下用户属性中的一者或两者来适应。在某些情况下,这些用户属性包括下述各项中的一个或多个:
·先前的用户表演。如果用户已经多次尝试技能失败,则用户界面通过向用户提供不同的反馈、尝试的不同技能(或子技能)等来适应。这优选地被构造为通过防止用户在实现特定结果时重复失败的情况来减少用户挫败。
·用户学习风格。例如,在某些情况下,基于用户的所识别的优选学习风格,向用户提供不同的反馈/指导风格。在某些情况下,优选的学习风格在算法上被确定,并且在某些情况下由用户通过偏好选择界面来设置。
·用户能力水平。在一些实施例中,反馈路径考虑用户的能力水平(在此上下文中是用户设置偏好)。以这种方式,被提供给第一能力水平的用户的反馈可以不同于被提供给另一能力水平的用户的反馈。例如,与精英级运动员相比,这可以用于向业余运动员提供训练中的不同级别的细化。
一些实施例提供用于实现利用这种自适应反馈原理的内容生成的技术框架。
图16提供了根据一个实施例的课程操作/实现的示例。指示用户尝试技能,并显示其如何被执行。用户的尝试表演由PSU捕获,并使用ODC进行诊断。然后,引擎被配置为进行反馈确定,其可以包括识别可以被教导以使主要技能更容易学习的子技能。然后传送反馈,并且处理进行循环。根据各种实施例,在课程中使用这种“尝试”、“显示”、“观测”、“诊断”、“优先”和“响应”循环。
示例可下载内容数据结构
在技能分析和课程构造之后,内容可供下载到最终用户设备。这优选地可以经由一个或多个在线内容市场获得,其使得具有web功能的设备的用户能够浏览可用的内容,并且使得将内容下载到其相应的设备。
在优选实施例中,可下载内容包括以下三种数据类型:
(i)表示传感器配置指令的数据,也称为“传感器配置数据”。这是被配置为执行下述操作的数据:使得将一个或多个PSU的集合配置为提供具有指定属性的传感器数据。例如,传感器配置数据包括使得给定PSU执行下述操作的指令:采用活跃/非活跃状态(和/或响应于定义的提示在这些状态之间进行);基于定义的协议(例如,采样速率和/或分辨率)传送来自其组成传感器组件中的一个或多个的传感器数据。给定的训练程序可以包括多组传感器配置数据,这些数据应用于相应的练习(或响应于提示特定形式的ODC监测的节目内事件)。在一些实施例中,多组传感器配置数据被定义为分别优化用于在最终用户硬件的不同布置中识别特定ODC。例如,最终用户硬件的一些布置可以具有附加的PSU和/或更高级的PSU。在优选实施例中,定义传感器配置数据,从而优化由PSU传送的数据,以在监测ODC时提高数据处理的效率。也就是说,在内容的特定元素监测n个特定ODC的情况下,传感器配置数据被定义为移除传感器数据中对于那些ODC的识别是多余的各方面。
(ii)状态引擎数据,其将诸如POD设备之类的表演分析设备配置为处理从连接的传感器的集合中的一个或多个传感器接收到的输入数据,从而分析由连接的传感器的集合中的该一个或多个传感器感测到的身体表演。重要的是,这包括监测与正在被传送的内容相关的一个或多个ODC的集合。例如,内容由逻辑驱动,该逻辑基于对由PSU传送的数据中的特定ODC的观测。
(iii)用户界面数据,其将表演分析设备配置为响应于对身体表演的分析而向用户提供反馈和指令(例如,传送包括训练程序数据的课程)。在一些实施例中,用户界面数据至少部分地从web服务器定期下载。
将可下载内容传送到最终用户设备的方式在实施例之间变化,例如基于最终用户硬件设备的性质、基于云的数据组织框架等而变化。下面描述了各种实施例。
关于传感器配置数据,内容数据包括计算机可读代码,其使得POD设备(或另一设备)能够将PSU的集合配置为以针对该特定技能(或一组技能)优化的定义的方式提供数据。这在减少在POD设备上执行的处理的量的上下文中是相关的;传感器提供的数据量基于识别正在被训练的特定一个或多个技能的症状实际所需要的数据量来减少。例如,这可以包括:
·选择性地(在某些情况下动态地)激活/禁用一个或多个传感器。
·设置单个传感器的采样速率。
·针对单个传感器设置数据传输速率和/或数据批处理序列。
·将传感器配置为仅提供其收集的数据的子集。
POD设备基于将要训练的技能来向传感器提供配置指令,并且随后基于所应用的配置(参见例如图11A中的功能框1101和1102)从一个或多个传感器接收数据,以便允许对PSU驱动的训练程序的传送。
在某些情况下,传感器配置数据包括在不同时间加载到POD设备上的各个部分。例如,POD设备可以包括在所有传感器配置中通用的这类代码(例如在其固件中)的第一集合,其由代码的一个或多个附加集合(其可以同时下载或可以在不同时间下载)补充,其以分级方式增加了实现传感器配置的特异性。例如,一种方法是具有基本级指令、特定于MSU的特定集合的指令、以及针对正在被训练的特定技能特定于那些MSU的配置的指令。
传感器优选地基于针对其传送训练内容的技能的特定监测要求来配置。这在某些情况下特定于正在被训练的特定的基于运动的技能,或甚至特定于正在被训练的基于运动的技能的特定属性。
在一些实施例中,状态引擎数据针对如何基于正在被训练的给定技能来处理从连接的传感器获得的数据(即,PSD)对POD设备进行配置。在一些实施例中,每个技能与一组ODC(其可选地各自表示症状)相关联,并且状态引擎数据将POD设备配置为处理传感器数据,从而基于对特定ODC的观测来对用户的表演进行客观判定。在一些实施例中,这包括识别特定ODC的存在,然后确定相关联的症状存在。在一些情况下,这随后触发辅助分析以识别表示与该症状相关联的原因的集合中的一个原因的ODC。在其它实施例中,分析包括基于下述(i)和(ii)之间的变化的确定:(i)基于用户的表演从传感器数据确定的症状模型数据;以及(ii)预定义的基线症状模型数据值。例如,这用于针对每个症状实现对用户的表演与预定义的特性的比较。
一些实施例中的用户界面数据包括呈现的数据,从而提供经由用户界面呈现的图形内容。在一些实施例中,这样的数据被维护在POD设备上(例如,视频数据从POD设备被流传输到用户界面设备,如智能手机或其它显示器)。在其它实施例中,定义用于经由用户界面呈现图形内容的数据被存储在其它地方,包括(i)在智能手机上;或(ii)在云托管的位置处。
用户界面数据还包括被配置为导致执行自适应训练程序的数据。这包括响应于输入的逻辑/规则,输入包括PSD(例如从MSD得到的ODC)和其它因素(例如,用户属性,如能力水平、学习风格和心理/身体状态)。在一些实施例中,对这类数据的下载实现离线模式的操作,由此为了用户参与训练程序,不需要活跃的因特网连接。
对专家知识变化的传送
在一些实施例中,技能训练内容被构造(至少关于一些技能),以使得用户能够选择下述两者:(i)所需技能;以及(ii)与该技能相关的所期望的“专家知识”的集合。
在高水平上,“专家知识”允许用户基于特定专家对该技能的解释来参与训练以学习特定技能。在这方面,个人技能可以具有多个不同的专家知识变化。作为具体的示例,足球撮踢可以具有基于玩家X对撮踢的最优形式的解释的第一专家知识变化,以及具有基于玩家Y对撮踢的最优形式的解释的第二专家知识变化。这允许用户不仅接收针对期望技能的训练,而且还可以接收针对该期望技能的基于所选择的专家的知识的训练(在某些实施例中可以提供类似于由该所选择的专家训练的用户体验)。
从技术角度来看,专家知识是通过下述各项中的任何一个或多个来传送的:
(i)定义特定于专家的ODC。也就是说,识别特定触发器数据(如症状和/或原因)的方式对于给定的专家是特定的。例如,给定的专家可能关于如何观测和/或定义特定症状具有不同于共识观点的观点。此外,症状和/或原因可以以特定于专家为基础来定义(即特定的专家识别出不是普通共识的一部分的症状)。
(ii)定义特定于专家的症状到原因的映射。例如,可以存在可以对给定观测症状负责的原因的集合的共识观点,以及一个或多个额外的特定于专家的原因。这允许实现专家知识,例如,其中特定专家在寻求可能成为症状的根本原因的共识智慧之外寻找某些东西。
(iii)定义特定于专家的训练数据,如反馈和训练程序逻辑。例如,由特定专家给出的解决特定症状/原因的建议可以是特定于专家的,和/或特定于专家的补救训练可以被定义。
以这种方式,专家知识能够通过技术实现,从而提供特定于专家的自适应训练程序。
例如,可以实现专家知识,以基于下述各项中的任何一个或多个来实现特定于专家的定制:
·专家风格。例如,定义ODC、映射和/或反馈,以协助用户学习以与给定专家相关联的风格来执行活动。这是相关的,例如,在动作运动的上下文中,由不同运动员以非常不同的视觉风格进行特定的操作,并且用户将一种特定的风格看作是优选的。
·专家辅导知识。例如,定义ODC、映射和/或反馈,从而为用户提供对特定于专家的辅导知识的访问。例如,它是基于特定的专家观点是有意义的和/或重要的。
·专家辅导风格。例如,定义ODC、映射和/或反馈,以提供复制特定于特定专家的辅导风格的训练程序。
包括特定于给定专家的数据(例如,ODC、映射和/或反馈数据)的训练数据的集合被称为“专家知识变化”。在某些情况下,特定技能具有多组可供下载的专家知识变化。
在另外的实施例中,专家知识经由针对最优表演的特定于专家的基线症状模型数据值来实现(并且优选地还可以经由还包括预期的不正确表演的值的基线症状模型数据值)。这实现在测量的症状与特定于专家的基线症状模型值之间进行比较,从而客观地评估用户实际表演与例如特定专家视为最优表演的表演之间的偏差。作为具体的示例,足球撮踢可以具有基于玩家X对撮踢的最优形式的解释的第一专家知识变化,以及具有基于玩家Y对撮踢的最优形式的解释的第二专家知识变化。这允许用户不仅接收针对期望技能的训练,而且还可以接收针对该期望技能的来自所选择的专家的训练。
一类实施例提供了一种用于使得用户能够配置本地表演监测硬件设备的操作的计算机实现的方法。该方法包括:(i)提供被配置为使得客户端设备的用户能够选择一组可下载内容的界面,其中该组可下载内容涉及一个或多个技能;以及(ii)使得用户能够将表示所选择的一组可下载内容的至少一部分的数据下载到与用户相关联的本地表演监测硬件。例如,服务器设备提供界面(例如,由客户端终端经由web浏览器应用或专用软件访问的界面),并且客户端终端的用户访问该界面。在某些情况下,这是允许浏览可用内容和/或访问经由超链接(包括第三方网页上的超链接)可获得的内容描述页面的界面。在这方面,在某些情况下,界面是向客户端提供对内容市场的访问的界面。
在某些情况下,下载是基于用户指令来发生的。例如,用户在某些情况下执行内容被选择(和购买/获取)的初始处理,以及内容(或其一部分)借以被实际下载到用户硬件的后续处理。例如,在某些情况下,用户具有维护在云托管布置中的购买内容的库,并且根据需要选择要下载到本地存储装置的特定内容。作为实际情况,用户可以购买针对足球和高尔夫二者的训练程序,并且在给定的一天希望专门利用高尔夫内容(并因此下载执行高尔夫内容所需的代码的相关部分)。
下载包括对下述各项的下载:(i)传感器配置数据,其中传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以定义的方式进行操作从而提供表示特定技能的尝试表演的数据;(ii)状态引擎数据,其中状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由一个或多个表演传感器单元的集合所提供的数据来识别特定技能的尝试表演的属性;以及(iii)用户界面数据,其中用户界面数据包括被配置为执行下述操作的数据:基于所识别的特定技能的尝试表演的属性来实现用户界面的操作。
应当理解,并不是所有定义特定训练程序的数据都需要在任何一个时间被下载。例如,在用户硬件被配置为维持因特网连接的情况下,可以根据需要下载内容的附加部分。然而,在某些情况下,用户硬件被配置为以离线模式进行操作,因此实现对内容的执行所需的所有数据都被下载到本地硬件。这在教学视频形式的用户界面数据的上下文中是特别相关的。在某些情况下,所下载的用户界面数据表示根据需要(例如,经由流式传输)从其访问教学视频的web位置,而在其它情况下,所下载的用户界面数据包括视频数据。在一些实施例中,更丰富的内容(例如,流式视频)仅可用于在线使用;在用户在离线模式下操作本地硬件的情况下,内容的某些富媒体方面不可用于查看。
该方法还包括使得用户能够选择由所选择的一个或多个技能的专家知识变化定义的可下载内容,其中存在可用于一个或多个技能的集合的多个专家知识变化。例如,在实际层面上,在线市场可以提供不与任何特定专家相关联的“标准”级别的内容,以及与特定专家相关联的一个或多个“优质”级别的内容(例如,作为品牌内容)。
每个专家知识变化在功能上不同于针对同一技能的其它内容产品;例如,分析给定尝试表演的方式基于专家知识的特点而变化。
在一些情况下,第一专家知识变化与第一组状态引擎数据相关联,并且第二专家知识变化与第二组不同的状态引擎数据相关联。第二组不同的状态引擎数据被配置为实现对未使用第一组状态引擎数据识别的表演的一个或多个特定于专家的属性的识别。特定于专家的属性可以与下述各项中的一者或两者有关:
·与专家相关联的表演的风格。例如,表演的风格由使用从一个或多个运动传感器单元得到的数据可观测的身体运动的定义属性来表示。通过滑板运动领域中的实例,这使得内容能够提供“学习如何表演McTwist”、“学习如何以Pro Skater A的风格表演McTwist”和“学习如何以Pro Skater B的风格表演McTwist”。
·与专家相关联的辅导知识。例如,基于被配置为客观地定义辅导特性的处理来定义一个或多个特定于专家的属性(例如,如上面另外的示例中所述,其中专家知识与共识观点分离)。通过滑板运动领域中的实例,这使得内容能够提供“学习如何表演McTwist”、“从Pro Skater A学习如何表演McTwist”和“从Pro Skater B学习如何表演McTwist”。
还有一些专家知识变化考虑辅导风格的情况,例如针对相同的症状给出相同的建议,但建议以不同的方式被传送的情况。
在一些情况下,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:(i)针对第一可选择的专家知识变化,可下载数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及(ii)针对第二可选择的专家知识变化,可下载数据将客户端设备配置为在从表演传感器单元的集合得到的数据中识别与给定技能相关联的第二组不同的可观测数据条件。此外,这可选地用于能够实现风格变化、辅导知识变化和/或辅导风格变化中的任何一个或多个。
在一些情况下,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:(i)针对第一可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第一组反馈数据;以及(ii)针对第二可选择的专家知识变化,可下载数据将客户端设备配置为:响应于观测到与给定技能相关联的定义的可观测数据条件,向用户提供第二组不同的反馈数据。此外,这可选地用于能够实现风格变化、辅导知识变化和/或辅导风格变化中的任何一个或多个。在一些示例中,第一组反馈数据和第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
另一实施例提供了一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,方法包括:(i)生成第一组可观测数据条件,其中第一组包括被配置为实现对从一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;以及(ii)生成第二组可观测数据条件,其中第二组包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性。在该实施例中,第二组可观测数据条件包括在第一组可观测数据条件中不存在的一个或多个特定于专家的可观测数据条件;一个或多个特定于专家的可观测数据条件被合并到针对所定义的技能的技能训练内容相对于仅使用第一组可观测数据条件生成的技能训练内容的专家知识变化中。技能训练内容的专家知识变化考虑了下述各项中的一个或多个:(i)与特定人类专家相关联的相对于基线技能表演风格的风格差异;(ii)与特定人类专家相关联的相对于基线辅导知识的辅导知识差异;以及(iii)与特定人类专家相关联的相对于基线辅导风格的辅导风格差异。
一个实施例提供了一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,方法包括:(i)生成第一组技能训练内容,其中第一组技能训练内容被配置为基于对从一个或多个表演传感器单元得到的输入数据的处理来实现对针对所定义的技能的技能训练程序的传送,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性;以及(ii)生成第二组技能训练内容,其中第二组技能训练内容包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,输入数据表示由用户进行的所定义的技能的身体表演,从而识别表演的一个或多个属性。在该实施例中,第二组技能训练内容被配置为响应于给定的一组输入数据提供与第一组技能训练内容响应于相同的一组输入数据相比不同的训练程序效果,使得第二组技能训练内容提供了技能训练内容的专家知识变化。此外,技能训练内容的专家知识变化考虑了下述各项中的一个或多个:(i)与特定人类专家相关联的相对于基线技能表演风格的风格差异;(ii)与特定人类专家相关联的相对于基线辅导知识的辅导知识差异;以及(iii)与特定人类专家相关联的相对于基线辅导风格的辅导风格差异。
示例训练处理流程
图16在示例性实施例中示出了本文所公开的技术如何复制和缩放一对一专家辅导。
正确的老师可以通过引导和加速学习过程,形成令人难以置信的差异。然而,成功的教学需要直接的双向通信,并且老师和教练在可以有意义地向多少学生教授他们的技能方面是时间有限的。因此,最好的教练通常只与专业人士而不是一般公众合作。
通过利用专家教练和老师的知识和经验,该技术复制了伟大教练的能力:
·观测和分析。当用户尝试技能或活动时,数据由运动或声音传感器捕获。POD设备识别学生的能力水平,以将他们置于课程的正确级别,并提供适当的分析。
·诊断并确定优先次序。由POD设备执行的每组引擎数据都利用专家的知识来编程,以便最佳地执行特定技能或活动。引擎将技能内用户的技术与该技能的最优技术(具有高准确度)进行比较,并使用误差检测算法确定和分析差异。引擎还优选地区分称为根本原因的错误和不同类型的上层“浅”错误。这允许引擎分析所捕获的数据,将其与最优技术进行比较,并确定错误的根本原因。
·响应。该技术然后针对错误的根本原因提供实时的个性化指令和补救办法,以将用户向前移动,如真正的老师或教练将向他或她的学生提供的一样。在适当的情况下,指令包括实时音频和视觉指令。目前正在开发包括触觉(振动)和光(服装的照明节点)的附加指令界面。
·显示。指令还通过游戏化和视频教程和演练来传送,游戏化和视频教程和演练将技能分解为其组成部分,并将重点放在阻碍用户进行到掌握技能的下一级别的关键领域。在任何具有WiFi或蓝牙功能的屏幕、平板电脑或智能手机上都可以显示教程。
与传统辅导不同,本文所公开的技术提供了一种在学生准备学习的任何时间都可用的并且表示高效的、可负担的和有效的对专家个性化辅导的访问的系统。
协助内容选择
在一些实施例中,技术为用户提供个人课程。用户能够构建技能、活动、训练工具和相关内容的单独定制的、交互式的“播放列表”。
随着系统收集用户数据,基于用户的偏好和能力,针对技能、活动和挑战做出自动化建议。这允许协助构造课程,以协助用户实现期望的结果。
在一些实施例中,协助内容选择扩展到第三方产品/服务的广告,例如设备的建议、职业锦标赛、比赛处的住宿以及其它补充活动,例如训练计划和高尔夫电影。以这种方式,该技术提供了来自目标第三方广告和布置的一系列收益机会。
示例内容传送方法
如上所述,在一些实施例中,内容经由在线市场(例如,由云托管平台提供的在线市场)对用户可用。用户访问该市场(例如,经由在个人计算机或移动设备上执行的web浏览器应用),并获得期望的训练内容。基于获得的内容,用户配置POD设备以执行功能,包括关于提供针对期望的活动和/或技能的训练的功能(例如,通过使服务器将代码经由POD设备的因特网连接直接下载到POD设备,POD设备的因特网连接可以是本地WiFi网络)。基于该配置,能够在POD设备(或者在另外的实施例中耦合到POD设备的辅助设备)上执行一组训练程序规则,以提供交互式训练过程。交互式训练过程向用户提供响应于表示用户表演的输入的反馈/指令。该输入源自PSU,并且由POD设备处理。在一些实施例中,交互式训练过程基于一组复杂规则进行操作,这些规则考虑:(i)相对于预定义的表演属性观测到的用户表演属性;(ii)用户属性数据,包括历史表演数据;(iii)技能训练进展路径(可以是动态变量);以及(iv)其它因素。
本公开主要侧重于接收从一组运动传感器(例如,包括耦合到服装的可穿戴运动传感器;运动传感器被配置为使得能够分析用户身体位置在三维中的变化)得到的用户表演数据的POD设备的示例。例如,这特别适用于关于身体活动(如体育活动)和涉及人类运动的其它活动的训练。然而,该技术同样适用于从其它形式的传感器得到的数据。示例包括监测音频、视频、位置、湿度、温度、压力等的传感器。应当理解,来自这类传感器的数据可能对于广泛的活动类型的技能训练是有用的。例如,音频传感器对于训练诸如语言技能、歌唱和乐器的演奏之类的活动特别有用。
在一般层面上,本文公开的技术在一些实施例中被配置为能够捕获专家的智慧,并且从中复制教练和学生之间的一对一对话。在这方面,特征在某些情况下包括:
·双向交换。数字技术是多功能和高度可扩展的,并且可以应用于几乎任何技能或活动。使用传感器和相关技术,每个交互都有更好的教学能力,在实时辅导体验中适应个人用户的风格和生理。
·实时指令。传感器诊断运动和技术方面的错误,并实现对个性化的、触觉和/或视听反馈和/或指令的自动的(并且基本上即时的)传送。
·高级表演。不仅仅是跟踪,用户经常被辅导。由此产生的可衡量的表演提升有助于用户更快地且更确定地到达里程碑并达到目标。
基于本文的描述将理解通过各种实施例实现这些特征的方式。
技能训练内容经由用户界面(例如以图形和/或听觉形式)呈现。如上所述,存在实现这一点的各种技术布置。优选的方法是训练内容要直接下载到POD设备150,并且经由包括视频和/或音频输出的单独设备呈现,其允许用户体验呈现的内容。单独的设备可以包括诸如智能手机(其在一些实施例中执行配置为呈现由POD设备150提供的内容的应用)、耳机、具有集成显示器的一组眼镜、视网膜显示器设备和其它这样的用户界面设备之类的移动设备中的一个或多个。
在使用移动设备(例如,智能手机)的一些实施例中,POD设备提供被配置为向移动设备传送内容的本地web服务器。移动设备执行web浏览器应用(或在某些情况下是专用应用),其导航到作为本地web服务器从POD设备获得代码的web地址。
在优选实施例中,技能训练内容是从在线市场获得的。该市场优选地使得用户能够选择和购买各种不同的技能训练包,并且管理这些技能训练包到用户的POD设备(或多个POD设备)的下载。术语“技能训练包”描述了一组可获得的技能训练内容。这可以涉及单一技能、与常见活动相关的各种技能或各种其它布置。本公开不应通过参考用于构造技能训练数据如何被组织、如何可用于采购、如何货币化等的任何具体实现选项而受到限制。
示例内容传送框架
以下部分描述用于内容(例如,通过PSD(例如MSD)的处理驱动的自适应技能训练内容)到最终用户设备的传送的各种示例性技术框架。
总之,可以使用以下方法中的任何一个或多个或其组合:
·经由第一具有web功能的设备浏览和选择可下载内容,随后将内容下载到第二具有启用web功能的设备。例如,经由智能手机浏览内容,然后将内容直接从web源下载到POD设备。
·经由第一具有web功能的设备浏览和选择可下载的内容,随后将内容下载到该第一具有启用web功能的设备。然后可以将部分或全部内容从第一具有web功能的设备辅助下载到诸如POD设备之类的第二设备(例如,传感器配置数据和状态引擎数据首先被下载到移动设备,然后被传送到POD设备)。
·利用与用户界面设备分离的POD设备。例如,移动设备用于提供用户界面,并且POD设备是安装在具有MSU功能的服装中的处理单元。
·利用与用户界面设备集成的POD设备。例如,在一些实施例中,智能手机扮演POD设备的角色。
·利用物理耦合到现有最终用户移动设备的POD设备。例如,POD设备被定义为处理单元,其例如经由支架式座架耦合到智能手机。
图9A示出了根据一个实施例的示例性计算机实现的框架。图9B到图9D示出了各种替代实施例,其中相同的特征已经被指定相应的参考标号。
每个所示的框架包括多个计算设备(也称为“机器”或“终端”),每个计算设备被配置为通过经由一个或多个微处理器(也简称为“处理器”)执行计算机可执行代码(其可以被存储在计算机可读载体介质上)来提供功能(例如,执行“计算机实现的方法”)。应当理解,各种计算设备包括一系列其它硬件组件,这些组件没有具体示出。
图9A的示例示出了中央管理和内容管理平台900。该平台能够由单个计算设备(例如,服务器设备)来定义,或者更优选地由多个联网的计算设备来定义。在功能上描述了服务器的组件,而没有具体参考被配置为单独地或共同地提供相关功能的各种组成计算设备。应当理解,这样的事情是设计选择的问题,广泛的网络和服务器架构在本领域中是公知的。此外,在一些实施例中,存在并行操作的平台900的多个实例。
平台900被配置为提供由多个用户(例如,上面提及的对象)经由那些用户操作的计算设备访问的功能。图9A示出了相对于示例性用户操作的一组用户侧设备920。实际上,多个用户中的每一个操作相似设备920的相应集合(未示出)。
设备920包括移动设备930。例如,在本实施例中,移动设备930采用智能手机的形式。然而,在其它实施例中,使用不同的移动设备,例如平板电脑、PDA、便携式游戏设备等的。在一些实施例中,移动设备930由按目的配置的硬件定义,专门旨在提供与所描述的整体框架相关的功能。概括地说,移动设备930的主要功能是经由用户接口传送从平台900获得的内容。该内容能够“根据需要”(以在线模式)被下载、提前下载(从而实现在离线模式下的操作)、或两者皆有。
移动设备930能够耦合到一个或多个外部用户交互硬件,例如外部耳机、麦克风、提供图形显示器的可穿戴设备(例如,被配置为提供增强现实显示器的眼镜、视网膜投影显示器),等等。
在图9A的示例中,移动设备930被配置为经由从应用下载服务器971下载的移动应用(例如,iOS或安卓应用)与平台900进行交互。(在该实施例中,服务器971是第三方操作的服务器,尽管其它实施例使用第一方服务器)。这样的移动应用被存储在存储器设备934上并经由处理器933被执行。移动应用将移动设备930配置为经由可用的因特网连接与应用交互服务器972进行通信,应用交互服务器972进而提供到经由平台900可用的数据的网关。
在图9B的示例中,移动设备930被配置为经由web浏览器应用与平台900进行交互,web浏览器应用在导航到预定义的web地址时配置移动设备930以经由可用的因特网连接与移动设备web服务器974进行通信。web服务器974进而提供到经由平台900可用的数据的网关。基于存储在移动设备930的存储器934中的代码执行web浏览器应用,并且经由浏览器可渲染的用户界面代码提供特定于平台900的用户界面,浏览器可渲染的用户界面代码经由服务器974被下载到设备930。
设备920还包括个人计算机(PC)940。这可以是基本上被正确且适当地配置为使得POD设备950形式的另外的硬件设备能够与平台900通信的任何计算设备。例如,在一个实施例中,POD设备经由有线连接(例如USB连接)或无线连接(例如WiFi或蓝牙连接)连接到PC940。在功能上,这允许将数据从平台900下载到POD设备950。能够实现替代布置和连接,从而实现POD设备950之间的通信,例如:
·POD设备950经由移动服务930以及web服务器973访问平台900(参见图9C)。这涉及访问与POD设备950的操作相关的设备930的特定功能,或者在一些实施例中仅访问通过移动设备930提供的因特网连接。
·POD设备950经由web服务器973访问平台900(参见图9D)。
在某些这种情况下,例如在POD设备950不固有地提供用户界面的情况下,给定的用户操作移动设备930(或另一合适配置的计算设备)来访问用户界面(例如,经由移动应用或web页面),从而指示平台900将特定数据传送到与该用户相关联的POD设备950。在这样的实施例中,数据经由可用的因特网连接被直接下载到POD设备950。
在一些实施例中,首先将在移动设备930上呈现的技能训练内容下载到POD设备950。这被实现为使得移动设备930能够以离线模式(没有因特网连接)提供技能训练数据,其中必要的内容由POD设备950提供。这在没有移动设备930的示例中特别相关,并且经由仅与POD设备950(例如,耳机、具有内置显示器的眼镜组、视网膜投影设备等)通信的用户界面传送设备990提供用户界面。
图17示意性地示出了与该框架相关的示例处理流程的另一框架。
示例性POD设备和传感器布置
POD设备950被配置为执行对从一个或多个PSU 960收集的数据的处理。这些PSU经由有线和/或无线连接连接到POD 950。例如,在一个实施例中,POD设备经由直接有线耦合连接到第一组PSU,并且经由到桥接组件的RF链路连接到第二组PSU,桥接组件进而经由直接有线耦合连接到第二组PSU。
在各种实施例中使用一系列PSU,这取决于正在被收集的数据的性质。进一步地,正在被收集的数据的性质取决于用户正在进行的技能或活动。例如,以下用户情况与本文中考虑的许多示例和实施例相关:
·可穿戴的MSU。MSU被集成到被配置为由对象佩戴的服装用品(具有MSU功能的服装)中。这种服装制品的示例包括压缩型服装(例如衬衫或裤子),每个包括已知位置处的多个间隔开的MSU。在一些情况下,服装包括预先形成的安装位置,用于可释放地接收相应的MSU以使得MSU能够在可用的安装位置之间移动。在一个实施例中,压缩衬衫支撑多个运动MSU并且具有用于互补地可释放地接收POD设备的安装件,使得安装件经由扩展通过并且由衬衫包围的有线连接将POD设备耦合到MSU。该衬衫能够与一组互补的压缩裤耦合,该组互补的压缩裤包括有线连接到公共RF通信模块的另外多个运动MSU。该RF通信模块将MSD传送到衬衫上提供的或由POD设备提供的另一RF模块,从而使得POD设备可以从衬衫和裤子上的所有MSU接收数据。
·ASU。在不同实施例中,使用不同的音频传感器。可用传感器的示例包括基于麦克风的传感器、插入音频输入端口(例如,经由2.5mm或3.5mm插孔连接器)从而接收音频信号的传感器、生成MIDI信号的拾音器等。
应当理解,POD设备950能够经由软件被配置为处理来自提供由POD设备接收的输出信号(例如数字输出信号)的基本上任何形式的PSU的数据。
一些实施例提供POD设备的多个不同的硬件配置,每个都被制造成与特定的PSU进行交互。例如,示例性POD设备可以包括:
·被配置为由服装携带的POD设备,其物理耦合到由该服装携带的多个MSU(并且在某些情况下,直接或间接地与一个或多个另外的MSU无线耦合)。
·包含麦克风的POD设备。
·包含音频输入端口(如3.5mm耳机插孔)的POD设备。
还将理解,各种形式的PSU允许针对各种技能的训练。例如,耦合到一个或多个ASU的POD设备在某些情况下用于提供各种音乐技能(例如歌唱、乐器的演奏等)的训练。
针对用户界面的传送的示例布置
用户界面提供反馈和/或指令的方式基于硬件配置而变化。在一些实施例中,用户接口仅是音频(例如使用耳机),在这种情况下,指令和反馈是基于音频的。在一些实施例中,用户界面包括视觉信息,其需要显示屏幕(例如,由智能手机设备、适当的眼镜和/或视网膜显示设备提供的显示屏幕等)。
图9A中的用户侧设备的布置能够被配置为如图10A所示的功能。更具体地说,市场平台在技术上被配置为将POD/引擎数据传送到POD设备,进而允许将POD设备配置为传送关于特定技能(或一组技能)的训练内容。POD设备被配置为基于先前从市场下载的POD/引擎数据来处理从传感器接收到的数据。基于该处理,POD设备向移动设备提供指令以经由其用户界面来显示平台内容(例如,从而提供反馈,指示用户执行特定任务等)。移动设备在相关的情况下从平台下载平台内容。
在其它实施例中使用另外的反馈设备(例如,音频装置、具有数字显示器的眼镜等),并且在图10A中,这被示出为直接耦合到POD设备。
图10B示出了移动设备以离线模式操作的替代布置。在该示例中,用户界面数据被下载到POD设备,并且经由POD设备提供给移动设备。另一替代布置在图10C中示出,其中没有移动设备,并且POD设备经由反馈设备(例如,耳机、具有屏幕的眼镜、视网膜投影设备或其它反馈设备)直接提供反馈/指令。
包含MSU的示例最终用户硬件布置
下面描述的是在实施例中实现的各种硬件配置,以便能够监测最终用户对给定技能的尝试表演,其包括在该尝试表演期间收集的传感器数据中识别预定义的可观测数据条件(例如,通过上述方法定义的可观测数据条件)。
应当理解:(i)这些仅是示例,并且本文公开的技术可以经由替代硬件布置来实现;(ii)提供的图示为示意图,并且不按比例绘制;以及(iii)图示提供了示出关键组件的功能表示,而不表示PCB设计、传感器单元定位、连接布线等方面。
各种实施例提供了可穿戴服装。例如,这些服装可以包括下述各项中的一个或多个:紧身衣、衬衫(短袖或长袖)、裤子(短裤或长裤)、手套、鞋类、帽子等。在一些情况下,可穿戴服装由被配置为彼此通信(例如,经由有线耦合或无线通信)的多个可分离的服装项(例如衬衫和裤子)定义。服装优选地由弹性材料制成,例如作为压缩服装。这有助于保持传感器组件相对于穿戴者身体的固定。优选地将这些服装制造为能够移除电气组件(例如传感器单元和POD设备),例如以进行维护等。
服装包括多个传感器串(strand),每个传感器串包括一个或多个传感器单元。传感器串各自从传感器串连接端口1208开始,其中传感器串连接端口被配置为将多个传感器串耦合到中央处理设备,该中央处理设备以与上面进一步公开的内容一致的方式被称为POD设备。传感器串可以包括单个传感器单元或多个传感器单元。
当传感器串包括多个传感器单元时,它们优选地串联连接。也就是说,其中串包括n个传感器单元SU1…SUn,寻址到到传感器单元SUi的通信由SU1…SUi-1中的每一个接收并重新发送。可以使用各种寻址协议,然而这些协议被配置为使得基于传感器单元安装位置来寻址通信。这允许安装传感器单元,而无需确保给定的特定传感器单元被安装在特定的安装位置(在传感器单元被移除用于服装清洗的情况下特别有用),并且还允许对传感器单元进行置换(例如,在故障的情况下)。
在一些情况下,寻址协议部分地基于与各个传感器单元相关联的标识符,在这种情况下,POD设备在识别出传感器单元时执行自动配置步骤,从而识别安装该传感器单元的安装位置,并将传感器的标识符与该安装位置相关联。在一些实施例中,通过不需要知道传感器标识符的技术来实现寻址,诸如在消息中包括重传计数(例如,消息包括由POD设备设置的重传整数,其在每次传输时递减,并且该消息在递减计数达到零的情况下由传感器单元接收和处理)。后一种方法在允许传感器单元被交换/替换而不需要随后重新配置POD设备处的寻址参数方面具有一些优点。
在优选实施例中,每个传感器单元包括安装在密封容器内的电路板组件。密封容器包括两个连接端口;一个用于沿着传感器串进行上行通信,一个用于沿着传感器链进行下行通信。在一些实施例中,传感器单元能够识别安装的方向,使得哪个端口是基于安装方向确定的上行端口和下行端口。在其它实施例中,存在预定义的安装方向,使得传感器单元不能被反向安装。连接端口优选地被配置用于卡扣(snap-locking)安装到传感器串上的互补连接端口,使得物理上可观测的耦合相应地提供电子/通信耦合。
传感器串包括连接线,包括一条或多条用于通信的线,以及一条或多条用于供电(向由POD设备提供的传感器单元供电)的线。连接线被密封,使得服装浸入水中(例如在清洁期间)不会损坏线。优选地,将POD设备和传感器单元连接到连接线的连接器模块提供不透水密封。此外,在优选实施例中,当POD设备和传感器单元被安装在服装上时,所有电气组件都被提供在防水或抗水配置中(例如,POD设备和传感器单元连接端口到传感器串连接端口的卡扣接合提供防水或抗水密封)。
在包括近端传感器单元和一个或多个下游传感器单元的给定传感器串上,近端传感器单元被配置为(i)在下行方向上中继由中央处理单元提供并寻址到一个或多个下游传感器单元的传感器指令;以及(ii)在上行方向将由下游传感器单元中的给定一个提供的传感器数据中继到中央处理单元。这可以包括激活/禁用指令。传感器指令还包括传感器配置数据,其中传感器配置数据配置传感器单元以定义的方式提供传感器数据。在某些情况下,传感器配置数据通过参考采样速率、监测由传感器组件可观测的减少的信息、以及专门针对正由POD设备观测的技能所定义的其它配置属性进行定义。
每个传感器单元包括(i)微处理器;(ii)存储器模块;以及(iii)一个或多个运动传感器组件的集合。下面进一步提供示例性传感器硬件的更详细的公开。然而,这些基本组件使得传感器组件能够接收来自POD设备的通信,并以预定义的方式(例如,通过参考分辨率、采样速率等定义)提供来自传感器组件的观测数据。在一些实施例中,每个传感器单元包括本地电源,然而优选地,沿着传感器串从POD设备(或另一中央电源)供电,而不需要对传感器单元电池等进行单独充电。
针对示例性传感器单元,一个或多个传感器组件的集合包括下述项中的一个或多个:(i)陀螺仪;(ii)磁力计;以及(iii)加速度计。在下面描述的优选实施例中,具有这些组件中的每一个,并且每个都被配置为提供三轴灵敏度。在另外的实施例中,存在一个或多个组件类型的多个组件,例如两个加速度计。这实现不同的配置,例如使得一个被配置为以给定的分辨率观测粗糙运动,而另一个被配置以更高的分辨率观测特定的精细运动。
中央处理设备(POD设备)包括:(i)电源;(ii)微处理器;以及(iii)存储器模块。存储器模块被配置为存储可由微处理器执行的软件指令,其使得处理设备能够执行各种功能,包括将传感器单元配置为以预定义的方式发送传感器数据,以及识别传感器数据中的一组或多组预定义的可观测数据条件,传感器数据包括由中央处理设备从多个连接的传感器单元接收的传感器数据。在优选实施例中,POD设备还包括传感器组件(例如,与传感器单元相同的传感器组件),从而能够在POD设备的位置进行运动观测。在一些实施例中,POD设备在被提供于使用中接近用户背部的上部中心的位置(例如在肩胛骨之间)处提供的口袋中被安装到服装。
图12A示出了根据一个实施例的可穿戴服装的许多硬件组件。应当理解,这些硬件组件被示出而不参考由服装它本身的配置产生的几何/空间配置。
图12A的POD设备1200包括耦合到存储器模块1202的处理器1201,该存储器模块被配置为存储软件指令,从而提供本文所述的功能。这些包括:
·表示训练程序(或多个训练程序)的数据,包括通过训练程序进行的逻辑,以及在由其它组件(如耳机、显示设备等)呈现的POD设备的外部传送的用户界面数据。
·针对训练程序(或每个训练程序),有多个要训练的技能。每个技能由包括传感器配置指令、用于识别传感器数据中的可观测数据条件的规则、以及与特定可观测数据条件被识别时的反馈(和/或其它动作)相关的规则的数据定义。例如,这些由诸如图5A的阶段501-503之类的处理定义。
应当理解,还提供了软件指令的各种其它方面。
可再充电的电源1203向POD设备1200以及一个或多个连接的设备(包括传感器单元,以及一个或多个控制单元(在提供的情况下))提供电力。本地传感器组件1205(例如,三轴磁力计、三轴加速度计和三轴陀螺仪)使得POD设备能够用作传感器单元。还提供输入/输出1206,并且这些可以包括类似:电源/复位按钮;被配置为显示操作特性的灯;以及在一些实施例中为显示屏幕。然而,在这里描述的实施例中,POD设备和用户之间的主要通信模式是通过外部的(和自供电的)用户界面设备。
POD设备1200包括一个或多个无线通信模块1204,从而实现与一个或多个远程设备的通信/交互。例如,通信模块可以包括下述各项中的任何一个或多个:
·WiFi。例如,在一些实施例中,WiFi用于传送用户界面内容(包括图像、文本、音频和视频数据)以用于在UI显示设备1231处呈现。这可以包括智能手机、平板电脑、具有平视显示器(例如,增强现实耳机或眼镜)的设备以及其它这样的设备。UI显示设备可用于选择和/或导航可用于经由POD设备传送的训练内容。
·蓝牙。例如,在一些实施例中,蓝牙用于将可渲染的音频数据传送到蓝牙耳机等,从而向用户提供可听见的指令/反馈。
·被配置为允许与诸如心率监测器之类的监测设备进行交互的ANT+(或其它这样的通信模块)。
·RF通信模块。在一些实施例中,提供了一个或多个这样的模块,从而实现与无线传感器单元(例如,被配置为附接到设备(例如,滑板、黄金球棒等)的传感器单元)的通信。在一些情况下,这包括由连接到与POD设备无线通信的公共集线器的多个有线传感器单元定义的无线传感器串。
可以存在用于各种其它外部设备1233的各种其它无线通信模块。
POD设备包括电路板和可选地额外的硬件组件,其被提供在密封或可密封的容器中(防水或抗水)。该容器能够被安装到服装(或具体配置的口袋中的示例)中,并且该安装包括连接一个或多个耦合件。优选地,单个耦合件将POD设备连接到所有可用的传感器串。再次,这可以是卡扣耦合(防水或抗水),其基本上同时提供物理和电子耦合。
图12A示出了耦合到传感器连接端口1208的多个传感器串(串1...串n)。每个传感器串包括多个传感器单元(传感器单元1...传感器单元n),然而应当理解,在一些实施例中,给定的串只包括单个传感器单元。
图12B示出了传感器串的替代布置。作为上下文,一些实施例提供配置有一个或多个“部分”传感器串的服装。每个部分传感器串包括(i)没有或更多传感器单元;以及(ii)连接器模块,其被配置为耦合到由辅助服装提供的互补连接器模块。短语“没有或更多”表示在一些情况下,部分传感器串由传感器串线定义,传感器串线将POD设备连接到连接器模块,而没有任何中间传感器单元,而在其它情况下,部分传感器串由其上提供有一个或多个传感器单元的传感器串线定义,该串终止于连接器模块。
将连接器模块耦合到由辅助服装提供的互补连接器模块在功能上将一个或多个部分传感器串连接到相应的一个或多个辅助服装部分传感器串,从而实现(i)提供在一个或多个辅助服装部分传感器串上的一个或多个传感器单元;以及(ii)中央处理设备之间的通信。
在图12B的示例中,服装包括衬衫和裤子。有四个衬衫传感器串,以及两个裤子传感器串。连接器布置1209将部分裤子串耦合在一起,从而实现提供在裤子上的传感器单元与POD设备之间的通信(以及由POD设备为那些传感器单元供电)。在另外的实施例中,这种布置用于使得能够连接到提供在鞋类、手工品、头饰等上的传感器单元。例如,在一些实施例中,连接器端口被提供有近端臂、颈部和脚部孔,从而能够伸长通过由另外的服装物品或设备携带的一个或多个其它传感器单元所提供的传感器串。
在一些实施例中,由辅助服装(例如,手工品或鞋类)携带的传感器包括测量除运动之外的属性的专家传感器组件。例如,可以使用压力传感器组件(例如,从而测量黄金球棒上的握力、测量施加到地面或另一物体上的力等)。POD设备被配置为针对给定的训练程序了解要提供的传感器布置。例如,向用户提供关于应当连接的传感器单元的指令,并且POD设备执行检查以确保传感器响应,并且提供期望的传感器数据。
图12B还示出了设备可安装的传感器单元1240。该单元包括基本上与传感器单元1220相同的处理器1241、存储器1242和传感器组件1245。然而,它还包括无线通信模块1246,从而实现与POD设备1200的无线通信(例如RF通信),并且包括本地电源1243。还提供输入/输出(例如,灯、电源/复位按钮等)。
图12C在图12B上通过提供控制单元1230来扩展。该控制单元物理地耦合到衬衫串之一的远端,例如作为手腕安装的控制单元。在一些实施例中,控制单元与传感器单元集成。控制单元1230包括诸如一个或多个按钮之类的输入设备1231和诸如一个或多个灯和/或显示屏(优选地是低功率屏幕)之类的输出设备1232。提供控制单元1230以协助用户提供基本命令以经由POD设备来控制训练内容的提供。例如,命令可以包括“先前”和“下一个”,例如重复先前的可听指令,或者跳到训练课程中的下一阶段。在一些实施例中,提供可听内容以协助用户操作输入设备,例如通过可听见地提供可选择的菜单项。
在图12D的实施例中,控制单元1230还包括被配置为接收由设备可安装的传感器单元1240提供的无线信号的无线通信模块(例如RF)。以这种方式,无线传感器单元数据能够在POD设备直接地(经由模块1204)和间接地(经由模块1233、经由控制单元1230并且沿着传感器串,在这种情况下为衬衫传感器串4)被接收。这为无线通信提供冗余;应当理解,在信号通过人体(其主要是水)的可靠接收无线通信中可能存在挑战。具有两个间隔开的位置(如图12D所示或经由替代布置),来自单元1240的所有传感器数据将被接收并使其可用于分析的机会显著增加。POD设备实现数据完整性协议,从而确定如何组合/选择由两个路径中的每一个提供的数据。在一些实施例中,例如在对外部传感器单元具有更大依赖性的情况下,可以存在位于服装上的各个位置处的多个冗余无线通信单元。
在一些实施例中,单元1230被提供在其自己的串上而不是传感器串上,否则传感器串可以包括用于附接具有传感器功能的手部组件的终端连接器。
图12E提供了根据一个实施例的两件式服装的示意图(未按比例)。这标记有与前面的图相对应的参考标号。所示出的服装是由衬衫组件上的三个传感器串、以及在裤子组件上提供传感器单元的两个传感器串定义的两件式衣服(连接器1209将服装组件之间的传感器串耦合在一起)。
所示出的传感器单元的定位决不是限制性的,而是提供关于具有该传感器单元数目的服装的潜在传感器单元位置的粗略指导。图12E所示的一般原理是提供远离接头的传感器。从相应的传感器单元的陀螺仪、加速度计和磁力计收集的数据使得能够进行处理,从而确定跨多轴的相对传感器位置、角度、运动等等(注意,提供三个3轴传感器实际上为每个传感器提供九个灵敏度)。因此能够确定与身体运动有关的丰富数据。此外,通过POD设备提供的配置数据,每个传感器的灵敏度/操作能够针对特定技能进行选择性调整,例如为每个单独的传感器组件设置水平,仅报告特定的运动伪影,等等。这从一系列的角度来看是有用的,包括降低传感器单元处的功耗、减少POD设备处的处理开销、以及提高对特定关键运动伪影的敏感度(例如,通过应用运动模型,该运动模型仅监测具有特定定义的特性的运动,例如对划船动作中的运动进行高分辨率监测,而不监测人走向划船机的运动)。
图12F在图12E上通过示出远程设备的一部分来扩展,在该情况下,远程设备是携带无线传感器单元1240的滑板。如上所述,优选地,传感器单元1240经由多个通信路径与POD设备1200进行无线通信,从而管理与无线通信相关联的限制。例如,在所示出的示例中,由传感器单元1240发送的信号被配置为被由POD设备1200提供的无线通信模块和由手腕控制单元1230提供的无线通信模块(其经由与其连接的传感器串发送接收到的传感器数据)接收。
图12G在图12F上通过示出移动设备1281、以及无线耳机1282来扩展。
POD设备1200与移动设备1281(例如,智能手机或平板电脑,其可以操作包括iOS、安卓、Windows等在内的一系列操作系统中的任何一个)通信,从而为移动设备提供被配置为能够在用户界面显示器中呈现内容的数据,该内容协助通过技能训练程序指导用户。例如,内容可以包括视频数据、文本数据、图像等。在一些实施例中,POD设备1200作为用于传送这样的内容的本地web服务器进行操作(即,移动设备连接到由POD设备通告的无线网络)。
耳机1282(其不需要是具有所示出的设计配置的耳机)使得用户能够从POD设备接收可听见的反馈和/或指令,而不需要携带或涉及移动设备1281。这例如在携带或涉及移动设备将是不可行的或者通常不方便地涉及移动设备的技能的上下文中是相关的,例如在划船、慢跑、游泳、滑雪等时。在一些实施例中,可以使用有线耳机,例如通过由有线连接到POD设备的服装提供的3.5mm耳机插孔来使用。
图12H示出了根据一个实施例的传感器串。这包括多个传感器单元1220。每个传感器单元包括耦合到存储器1222的处理器1221。提供上行和下行数据连接1223和1224(在一些实施例中,这些可以在功能上基于安装方向来区分)。可以提供输入/输出1225,例如灯和/或电源/复位按钮。所示出的实施例包括触觉反馈单元1226,其可以用于协助向用户提供反馈(例如,在右臂传感器单元上激活与用户的右臂进行某些操作的指令相对应的触觉反馈)。所示出的传感器组件1227是3轴磁力计1227a、3轴加速度计1227b和3轴陀螺仪1227c。
图12I示出了根据一个实施例的示出了外壳1296的示例性传感器单元1220。该外壳由塑料材料形成,并且以水密的方式包围电路板1297,该电路板提供图12H所示的组件。连接器1298实现到由服装提供的传感器串的连接。
图17提供了具有MSU功能的服装的替代视图,该具有MSU功能的服装示出了提供传感器串和MSU安装位置的拉伸/压缩织物。
MSU和具有MSU功能的服装的配置:概述
在某些情况下,最终用户设备中的ODC的识别需要:(i)关于给定用户上的MSU的实际位置的知识;以及(ii)关于MSU的相对定位的知识。有意义地组合来自多个MSU的数据存在挑战,因为每个MSU通常提供关于它们自己的参考系的运动数据。
上述各种实施例使用从传感器单元的集合导出的数据,从而能够分析身体表演。这些传感器单元例如通过被配置为携带多个传感器单元的可穿戴服装被安装到用户的身体。本部分以及随后的部分描述了在一些实施例中用于配置传感器单元的示例性方法,从而能够基于从传感器导出的数据来分析诸如人体运动之类的运动。
作为背景,用于收集表示物理表演的数据的已知和流行的方法是使用光学运动捕获技术。例如,这种技术在光学上定位在用户身体上的各个位置处可观测的标记,并且使用视频捕获技术来导出表示标记的位置和运动的数据。分析通常使用虚拟构造的身体模型(例如,完整的骨骼、面部表情等),并且将标记的位置和运动转换到虚拟构造的身体模型。在一些现有技术示例中,计算机系统能够经由在计算机系统中定义的虚拟身体模型基本上实时地重建物理用户的精确运动。例如,这种技术由运动捕获技术组织Vicon提供。
运动捕获技术在其实用性方面受到限制,因为它们通常需要以下两者:(i)用户具有位于其身体上各个位置处的标记;以及(ii)使用一个或多个摄像头设备捕获用户表演。虽然一些技术(例如,使用深度感测摄像头的技术)能够减少对视觉标记的需求的依赖,但运动捕获技术本质上受限于针对在能够由一个或多个摄像头设备捕获的位置发生的表演的需求。
本文描述的实施例使用运动传感器单元,从而克服与运动捕获技术相关联的限制。运动传感器单元(也称为惯性测量单元或IMU),例如包括一个或多个加速度计、一个或多个陀螺仪和一个或多个磁力计的运动传感器单元能够固有地提供表示其自身运动的数据。这种传感器单元测量和报告参数,包括速度、方向和重力。
与运动捕获技术相比,使用运动传感器单元提出了一系列挑战。例如,针对至少以下原因,使用多个运动传感器时会出现技术挑战:
·每个传感器单元基于其自身的本地参考系提供数据。在这方面,每个传感器固有地提供数据,就像它本质上定义其自身宇宙的中心一样。这与运动捕获不同,在运动捕获中,捕获设备固有地能够相对于公共参考系来分析每个标记。
·每个传感器单元都不能准确地知道其所位于的枝干。虽然传感器服装可以定义大致的位置,但是个体用户将具有不同的身体属性,这将影响精确定位。这与运动捕获技术不同,在运动捕获中,标记通常以高精度定位。
·所有传感器完全独立地运行,就好像它们被放置在电子“碗汤(bowl of soup)”中,没有骨骼/四肢连接它们。也就是说,传感器各自的数据输出与任何种类的虚拟身体上的相对定位无关,这不同于运动捕获中使用的标记。
下面描述的技术和方法使得能够处理传感器单元数据,从而提供通用的全体范围的参考系。例如,这可以通过下述各项中的一者或两者来实现:(i)定义被配置为将传感器单元SU1至SUn的运动数据转换到公共参考系的转换;以及(ii)确定传感器单元SU1至SUn之间的骨骼关系。应当理解,在许多情况下,这些是不可分割的联系在一起的:转换到共同的参照系能够确定骨骼关系。
在一些实施例中,对传感器数据的处理导致定义表示虚拟骨骼身体模型的数据。这实际上使得从运动传感器套装布置收集的数据能够提供与经由常规运动捕获可用的分析类似形式的分析(其还提供表示虚拟骨骼身体模型的数据)。
下面描述的处理技术至少在以下上下文中发现应用:
·组装适用于与经由定义的运动捕获技术提供的模型进行比较的骨骼模型。例如,可以在分析阶段期间收集运动捕获数据和传感器导出的数据,从而验证从运动传感器数据的处理导出的骨骼模型数据是否与从运动捕获技术导出的相应骨骼模型匹配。这适用于在客观上定义技能(如上所述)的处理的上下文中,或者更普遍地适用于测试和验证数据传感器数据处理方法的上下文中。
·穿戴的具有传感器功能的服装的自动“非姿态特定”配置。也就是说,为了传感器配置的目的,不要求用户采用一个或多个预定义的配置姿态,下面描述的处理技术允许通过处理由基本上任何运动产生的传感器数据,来将每个相应传感器的数据转换到公共参考系(例如通过组装骨骼模型)。也就是说,下面的方法需要相当通用的“运动”,用于比较一个传感器相对于另一传感器的运动的目的。该运动的确切性质的重要性是有限的。
·实现对技能的物理表演的准确监测(例如在技能训练和反馈的上下文中)。例如,这可以包括监测传感器数据中的可观测数据条件(如上所述,其表示表演影响因素)。
下面描述了许多方法。这些方法能够单独地或组合地应用(例如重叠和/或混合布置)。
下面考虑的实例考虑两个传感器单元,包括惯性测量单元(IMU),其提供以其自己的参考系表示的加速度和角速度样本。使这些IMU分别是S1和S2,并且和分别是它们的局部系(frame)(即,IMU由“S”指定,并且传感器单元(其可以包括一个或多个IMU以及可选地其它传感器硬件)由“SU”指定)。
按照惯例,用系表示的向量v将使用左上标符号来表示:
iV.
在每个时刻,两个传感器系和通过转换矩阵连接。将向量2v转换到另一用表示的向量(表示为1v)的这类矩阵将被写为:
传感器单元的配置:接头约束
一些说明性方法利用联合表演知识。也就是说,第一传感器单元SU1和第二传感器单元SU2被安装到已知接头的相对侧上的连接构件;使用关于接头类型的知识,下面描述的方法使得能够进行处理,从而将各个传感器的数据转换到公共参考系。也就是说,方法包括基于所定义的接头约束集合来确定SU1和SU2的运动数据之间的关系。例如,这包括基于由SU1和SU2定义的各个参考系来识别SU1和SU2之间的接头的位置和运动。
实际的示例是人体:连接构件是人体的人体部分。例如,传感器单元被安装到上臂位置和前臂位置,其在中间具有肘部(铰链关节(hinge joint))。利用针对肘关节铰链定义的关节约束,分析来自那些传感器的运动数据能够将运动数据从每个参考系转换到公共参考系。这是针对安装到多个已知身体关节(是已知关节类型的已知关节,例如铰链关节、球形关节或通用关节)的相对侧的身体位置的多对传感器单元执行的,从而定义被配置为将来自们每个传感器单元的运动数据转换到人体的公共参考系的转换。这可选地导致基于将定义的转换应用于从多个传感器单元接收的运动数据来维持人体的骨骼运动模型。
转到细节,让g1和g2是各个IMU传感器报告的角速度。我们认为这些传感器附接到通过铰链约束(即一个角度自由度)连接在一起的两个链接。由于传感器以预定速率(例如,50Hz)提供样本,因此需要向每个角速度矢量添加时间作为参数。这有助于区分样本。此外,这些样本在不同的局部系(即测量它们的传感器的系)中表示。因此,在某一时刻t,我们知道下述量:1g1(t)和2g2(t).。
应该理解的是:如果是世界空间中铰链接头的单位轴,则以下约束在任何时刻t都成立;
作为证明,利用铰链约束并建立角速度向量之间的连接是可能的。通常,如果铰链接头根本没有旋转,则两个陀螺仪应该报告具有相同大小并且可以经由恒定旋转矩阵彼此转换的角速度。如果铰链接头确实旋转,我们具有以下等效的角传输速度:
其中是由关于铰链轴的旋转招致的角速度,是当接头角度为θ时,在时间t关联两个传感器系的转换的旋转部分。我们将等式(2)的两边都乘以并获得:
其等价于
或者更好地写成:
由于轴在两个系中都可以表示,并且我们只对它的方向感兴趣,因此我们也可以写为:
将等式(3)和(4)与旋转矩阵相对于交叉乘积特性Ru×Rv=R(u×v)组合,我们得到:
其等价于以下规范约束:
应当理解,关于铰链接头角速度,在任何时刻,关于铰链接头的角速度通过以下等式给出:
作为证明,作出了以下说明。一方面,第二陀螺仪的角速度可以在如等式2所描述的第一传感器的系中表示,而且可以通过直接使用转换矩阵的旋转部分来表示,即:
计算等式(8)和(2)中的两边与的点积产生:
现在,回想等式(4)和点积属性Ru·Rv=u·v,我们可以写:
其进一步简化为:
即由此证明等式(7)中的要求。
给定一定的约束函数,f:这取决于在时间t报告的传感器样本,我们可以正式地将与该约束相关联的误差表示为e:代数上,这等价于写为:
e(t,x)k=f(v(tk,x))2, (10)
其中是时间样本的N维向量,并且v(tk)是我们作为约束函数f的参数提供的m维样本向量,并且x是我们将需要找到的主要n维向量参数,以便最小化误差。我们还可以将该向量值误差函数表示为输入的标量值函数:
这需要最小化。
使用铰链接头的示例,针对由等式(1)表示的铰链接头约束,相应的约束函数为:
其中为了简单起见,v(tk)=[1g1(tk),g(tk)]和被写为连接行向量。
理想情况下,等式(12)中约束函数的值应始终为零,因此误差的向量和标量函数表达式应达到最小等于零。由于联合向量必须具有单位范数,所以我们必须写出额外的约束:
这进一步使最小化(10)或(11)的任务变得复杂,因为这些附加约束不包括在目标中。一种方法是以球面坐标工作,即:
其中i∈1,2.。作者提出的解决方案涉及向量误差表达式(10),其中是未知的,并且陀螺仪角速度提供了系数。由于所得到的系统都是超定的(通常为N>6)和非线性的,所以作者提出使用高斯-牛顿法迭代地求解e(t,x)=0。为了简单起见,我们将丢弃时间样本矢量t,使用k下标来表示某个向量分量。需要计算e(x)w.r.t.x的雅可比行列式。如果使用球面坐标,则x=(φ1,θ1,φ2,θ2)。坐标的该变化可以使雅可比行列式的计算更加繁琐,但是直接避免了非线性等式约束非线性最小化问题(即我们只需要最小化非线性目标函数)。
如果人们希望使用等式约束(14)来解决问题,则基于拉格朗日乘数的公式变得可能:
作为严肃的观测,如果我们考虑铰链接头设置的以下可能性:
第一链路不移动,即1g1=0
第二链路正在通过接头的动作旋转。作为示例,假设角速度与局部z轴对准,即
迭代算法需要以针对和针对的猜测开始。设置问题将不会收敛。在这种情况下,g是唯一的作用于目标函数的速度。目标函数的等值面是一组圆柱体,其轴与角速度对准(即在该特定情况下为z轴)。另一方面,联合向量的等式约束描述单位球体。如果使用拉格朗日乘数,角速度是该单位球体的南北极轴,并以赤道上任何地方的联合向量猜测开始,则迭代过程不能修改联合向量猜测。这是由于多种原因发生的:圆柱体和球体的梯度对准,但目标函数没有最小化。通常,目标函数的梯度将改变猜测,将其按相反的梯度方向拉。然后,经修改的猜测被投射回到等式约束流形(单位球体)上。如果没有从单位球体的赤道开始,则算法收敛,将解决方案建立为N-S轴(即与角速度矢量共线)。
在铰链接头简化方面,为了进一步简化在铰链接头约束的情况下对连接轴的搜索,我们可以假设IMU传感器系以这样的方式附接到肢体:使得它们的局部轴与其支撑肢体的骨骼完美对准,如图7B所示。该假设允许我们在任何局部系中写下面的几何观测:
等式(17)进一步将铰链轴的搜索空间从单位球体限制到每个系的局部xOz平面中的单个单位圆。这意味着,代替描述每个局部系中的联合单位向量所需的两个球面角度,现在我们只需要一个角度,因此我们可以写:
其中θi是图7B中所示的角度。在该上下文中,角速度和连接轴之间的交叉乘积变为的范数变为:
雅可比行列式计算以找到最小化等式(10)中的向量误差的近似解,我们必须计算针对两个角度参数θ1和θ2的N维向量值误差函数e(θ1,θ2)的雅可比行列式。因此雅可比矩阵的分量是:
通过将局部y轴与肢体骨骼对准,我们将搜索空间从4维减小到2维,即(θ1,θ2)角。可以使用高斯-牛顿迭代找到针对一般情况的解,这一策略显然仍然适用于我们的减少的问题。在没有同步的、无噪声的传感器数据的情况下,我们通过使用简化的臂表示和等式(2)使用人工生成的数据。因此,我们编写了一个Matlab脚本,通过提供雅可比方程(20),可以使用Levenberg-Marquardt非线性最小二乘法算法解决问题。更具体地说,我们针对第一传感器设置了恒定的角速度,并且使用和假设旋转发生在局部z轴上,因此旋转矩阵对于计算来说是微不足道的。表达式是:
传感器单元的配置:对公共世界方向的识别
解决找到两个链路之间的角度以及其相对方向矩阵这两个问题的替代方法是在传感器单元中组合IMU(加速度计)和磁力计(例如,如上面进一步提供的各种示例中所描述的)。
概括地说,一些实施例提供了方法,包括:从第一传感器单元SU1接收数据,其中来自SU1的数据基于由SU1定义的参考系;从第二运动传感器单元SU2接收数据,其中来自SU2的数据基于由SU2定义的参考系;其中SU1和SU2被安装到已知接头的相对侧上的连接构件;处理从来自传感器单元SU1和传感器SU2的数据接收到的数据,从而确定来自传感器单元SU1和传感器SU2的相应传感器数据中的两个或更多个公共世界方向;并且基于对两个公共世界方向的确定,确定传感器单元SU1和传感器SU2之间的骨架关系。例如,这包括基于对两个公共世界方向的确定,定义表示虚拟骨骼身体模型的数据。
在一些实施例中,至少两个世界方向由(i)磁场方向和(ii)重力加速度方向定义。在这方面,每个传感器单元包括(i)提供表示磁场方向的数据的磁力计;和(ii)提供表示重力加速度方向的数据的加速度计。
关于细节,示例性方法是识别大致不存在移动的时间段,并测量以下量:
·重力加速度:在系中,加速度计指示的值iag是重力加速度向量的近似
·磁北:同时,测量im磁场方向向量
在这一点之后,由传感器单元融合输出提供的中间四元数方向值可以用于连续计算针对iag和im这两者的局部表达式。
在一些实施例中,应用三元组方法来恢复相对方向矩阵。在下文中,我们假设两个肢体通过球形接头连接。为简洁起见,我们将第一和第二肢体传感器的系分别表示为和当前目标是导出对准两个系的旋转矩阵。自然地,保持以下识别:
为了恢复旋转矩阵我们使用存在于以下简单步骤中的三元组方法:
1.标准化:
2.构建正交基数:
我们以矩阵形式布置等式(22):
这产生解决方案:
这允许定义用于传感器单元的骨骼模型的转换和/或构造。也就是说,如上所述,该方法使得能够直接恢复两个传感器的参考系之间的相对转换。这假设传感器明显地刚性地附接到肢体(即它们与肢体一起旋转,具有可忽略的滚动/俯仰/偏转偏移,并且具有最小的摆动、起伏和喘振转换)。
在一些实施例中,每个传感器单元(或传感器单元的子集中的每一个)包括多个加速度计。例如,传感器单元包括(i)调谐到第一灵敏度范围的第一磁力计,从而提供低于阈值运动影响饱和点的数据;以及(ii)调谐到第二灵敏度范围的第二加速度计,从而提供包括高于阈值运动影响饱和点的数据的数据,使得至少一个传感器单元提供表示磁场方向的连续数据,尽管运动高于阈值运动影响饱和点。这允许一个加速度计提供适用于传感器配置的数据,另一加速度计适用于为了技能监测的目的而在特定的运动加速范围内提供更详细/准确的数据。例如,可以基于相关可观测数据条件属性在特定于技能的基础上设置范围。
传感器单元的配置:逆运动学姿态估计
一些实施例利用逆运动学校正模型。概括而言,一般的原理是跟踪末端执行器(如手或脚),就好像从基座(如肩部或臀部)的角度看到的那样。使用加速度和反向,处理技术能够在基座看到特定位置的末端执行器的情况下推断基座和末端执行器之间的肢体如何连接在一起(即它们的相对角度)。
作为实际的示例,对于一个人来说,抓住物品,同时只看着他们的手这是可能的。这在潜意识层面涉及逆运动学过程。该人不知道在到达物品时他们的肘部如何准确地弯曲,但大脑看到你的手和物品,并告诉手臂肌肉弯曲肘部,使得手靠近物品。在目前的技术背景下,考虑到手上和肩上的两个传感器,同样的过程是可能的。然而,随着复杂性级别的增加,有多种方式将手放在物品上,使得整个手臂可以是多个可能的配置。中间传感器(例如前臂和上臂各自的传感器)使处理能够区分实际姿势和其它可能性。
一个实施例提供了一种方法,包括接收多个传感器单元SU1至SU2的运动数据,其中每个传感器单元的运动数据基于相应的本地参考系,并且其中每个传感器被安装到穿戴者身体的相应身体链路,其中传感器单元SU1至SU2包括:
(i)基座传感器单元;以及
(ii)末端执行器传感器单元。
该方法然后包括确定末端执行器传感器相对于基座传感器的运动;并且基于运动学模型,推断基座传感器单元和末端执行器传感器单元之间的一个或多个接头的位置和运动数据。例如,这包括基于推断基座传感器单元和末端执行器传感器单元中间的一个或多个接头的位置和运动数据,定义表示虚拟骨骼身体模型的数据。多个传感器单元优选地包括一个或多个中间传感器单元,其中一个或多个中间传感器单元被布置在基座传感器单元和末端执行器传感器单元之间的身体链路上。这些用于识别运动学估计过程的多个可能解决方案中的“正确的”一个。在一个示例中,基部传感器位于肩部附近,末端执行器传感器位于手附近,并且一个或多个中间传感器单元被安装在上臂和/或前臂上。另一示例是臀部、腿部和脚部。
转到细节,可以假设初始姿态,其中相邻链接系之间的相对转换已知达到一定的误差。这是可能的,因为每个传感器的定位w.r.t.它的链接是已知的(经由服装的设计打印)。然后通过查看如图7D所示的臂的关节潜在地使用Denavit-Hartenberg惯例制定逆运动学问题是可能的。
针对每个臂,我们可以假设要执行所有计算的基准参考系是肩的基准参考系末端执行器是手。在初始化阶段,需要知道针对系的手系的姿态w.r.t.。这取决于手臂链路的解剖比例,总结如下:
·假定成年人的身高H
·手臂链路(肩部和肘关节之间)的长度约为0.16H。
·前臂链路(肘关节和腕关节之间)的长度约为0.14H。
·手的长度(手腕与中指尖之间)的长度约为0.11H。
·肘关节处的角度α≈140°可以假设在休息位置。
为了估计初始化时期之后的手的姿态,我们可以依赖从IMU得到的数据。基本上,角速度提供了一种整合并最终恢复随时间的方向估计的方法,但是这是针对IMU系的初始姿态。然而,加速度理论上允许测量转换偏移。为了更好地了解两个连续时间实例ti和ti+1之间的未知以及期望内容,我们列出构成我们寻求的方法的输入和输出的成分:
·输入:ti,ti+1>0读取IMU样本时的时间实例,手和肩部针对其在实例ti+1处的初始姿态的旋转矩阵。G上标强调了下述假设:初始姿态是我们必须使用的全局参考,以便在不同的系之间进行转换。另外,HaH和SaS是由其相应的IMU在时间ti+1处读取的加速度,也以其局部系表示。另外,sr(ti)是用表示的手部系的向量偏移。最后,针对每个关节(总共有7个),我们假设角度偏移θk(ti)在实例处是已知的。
·输出:关节角度偏移,
解释sr(ti)在实例ti+1处恢复转换偏移是有用的。在ti+1处测量的角速度显示了相对转换,其描述肩部系在该短时间段上如何旋转,即矩阵因此,说明肩到手向量在时间ti+1处如何看起来在肩部系中,假设仅发生旋转。在许多情况下,手相对于肩的传输加速度将修改肩到手向量的长度:
使用欧拉积分,我们可以更新传输线速度,然后恢复校正的偏移向量。更具体地,
方向矩阵更容易获得:
从等式(27)和(28)我们可以看出,逆运动学公式的所有先决条件都已到位。一种可能的方法是使用循环坐标下降(CCD),并且通过从传感器读取数据并且对于首先修改哪个关节有更多的有根据的猜测。为了了解这是什么意思,想象肘部角度在绑架运动期间减少(抓住苹果并将其带到你的嘴里)。CCD通常调整从根部到末端执行器的角度。在这种情况下,由于肘关节,手臂和前臂的陀螺仪应显示更强烈的运动。因此,这是首先要优化的最有希望的轴。在某种意义上,传感器提供了将CCD迭代应用于单个接头的固有顺序。
一旦θk(ti+1)角度被恢复,IMU传感器的方向估计被校正。
应当理解,这些被提供为用于配置MSU的说明性技术,并且这些不旨在以任何方式进行限制。此外,应当理解,在一些实施例中,ODC以不需要将MSD从多个MSU转换到公共参考系的方式来定义,而是依赖于特定于MSU数据的自参考方面(例如,基于给定MSU根据其自身的参考系加速的路径,其可选地与第二MSU在其自身的参考系中加速的路径组合)。
结论和解释
应当理解,上述技术提供了在所描述的方面的范围内的进步,包括但不限于:(i)分析技术,从而理解其定义特性;(ii)定义协议,从而使得能够使用一个或多个PSU自动分析技能;(iii)定义和传送利用自动化分析的内容,从而提供交互式的最终用途内容,如技能训练;(iv)技能训练程序的自适应实现;(v)辅助向最终用户传送内容的硬件和软件;(vi)辅助终端用户体验内容的硬件和软件;以及(vii)开发的技术和方法,以辅助用于人类活动监测目的的多个运动传感器单元的配置和实现。
除非另有明确说明,否则从以下讨论中可以明显看出,应该理解,在整个说明书中,利用诸如“处理”、“计算”、“核算”、“确定”、“分析”等的术语涉及计算机或计算系统或类似的电子计算设备将表示为物理(例如电子)量的数据操纵和/或转换为类似地表示为物理量的其它数据的动作和/或处理。
以类似的方式,术语“处理器”可以指处理电子数据(例如,来自寄存器和/或存储器)以将该电子数据转换到其它电子数据(例如可以被存储在寄存器和/或存储器中)的任何设备或设备的一部分。“计算机”或“计算机器”或“计算平台”可以包括一个或多个处理器。
在一个实施例中,这里描述的方法可以由接受计算机可读(也称为机器可读)代码的一个或多个处理器执行,该处理器包含指令集,当一个或多个处理器执行时,该指令集执行至少一个本文描述的方法。包括能够执行指定要采取的动作的指令集(顺序或以其它方式)的任何处理器。因此,一个示例是包括一个或多个处理器的典型处理系统。每个处理器可以包括CPU、图形处理单元和可编程DSP单元中的一个或多个。处理系统还可以包括具有主RAM和/或静态RAM和/或ROM的存储器子系统。可以包括总线子系统以在组件之间进行通信。处理系统还可以是具有由网络耦合的处理器的分布式处理系统。如果处理系统需要显示器,则可以包括这样的显示器,例如液晶显示器(LCD)或阴极射线管(CRT)显示器。如果需要手动数据输入,则处理系统还包括输入设备,例如,诸如键盘之类的字母数字输入单元。诸如鼠标之类的定点控制设备等中的一个或多个。如本文所使用的术语存储器单元,如果从上下文中清楚并且除非另有明确说明,还包括诸如盘驱动器单元之类的存储系统。一些配置中的处理系统可以包括声音输出设备和网络接口设备。存储器子系统因此包括计算机可读载体介质,其携带包括指令集的计算机可读代码(例如,软件),以在由一个或多个处理器执行时执行本文所描述的方法中的一个或多个。注意,当该方法包括数个元素,例如数个步骤时,除非具体说明,否则不暗示这些元件的排序。该软件可以驻留在硬盘中,或者也可以在由计算机系统执行期间完全或至少部分地驻留在RAM内和/或处理器内。因此,存储器和处理器也构成携带计算机可读代码的计算机可读载体介质。
此外,计算机可读载体介质可以形成计算机程序产品或被包括在计算机程序产品中。
在替代实施例中,一个或多个处理器作为独立设备操作,或者可以在网络部署中连接(例如,联网到其它处理器),一个或多个处理器可以以服务器或用户机器的身份在服务器用户网络环境中进行操作,或作为对等或分布式网络环境中的对等机器进行操作。一个或多个处理器可以形成个人计算机(PC)、平板PC、机顶盒(STB)、个人数字助理(PDA)、蜂窝电话、网络设备、网络路由器、交换机或网桥、或任何能够执行指定要由该机器采取的动作的指令集(顺序或以其它方式)的机器。
注意,虽然图仅示出携带计算机可读代码的单个处理器和单个存储器,但是本领域技术人员将理解,包括上述组件中许多组件,但未明确示出或描述,以便不模糊发明方面。例如,虽然仅示出了单个机器,但术语“机器”也应被视为包括单独或共同执行一组(或多组)指令以执行本文所讨论的任何一种或多种方法的机器的任何集合。
因此,本文描述的每种方法的一个实施例是携带一组指令的计算机可读载体介质的形式,例如用于在一个或多个处理器(例如作为web服务器布置的一部分一个或多个处理器)上执行的计算机程序。因此,如本领域技术人员将理解的,本发明的实施例可以体现为方法、诸如专用装置之类的装置、诸如数据处理系统之类的装置或计算机可读载体介质,例如,计算机程序产品。计算机可读载体介质携带计算机可读代码,其包括指令集,当在一个或多个处理器上执行时,指令集使得一个或多个处理器实现方法。因此,本发明的各方面可以采取方法、完全硬件实施例、完全软件实施例或组合软件和硬件方面的实施例的形式。此外,本发明可以采取携带介质中实施的计算机可读程序代码的载体介质(例如,计算机可读存储介质上的计算机程序产品)的形式。
还可以经由网络接口设备通过网络发送或接收该软件。尽管在示例性实施例中将载体介质示出为单个介质,但术语“载体介质”应当被认为包括存储一组或多组指令的单个介质或多个介质(例如,集中式或分布式数据库和/或相关联的高速缓存和服务器)。术语“载体介质”还应被视为包括能够存储、编码或携带指令集以供一个或多个处理器执行并使一个或多个处理器执行本发明的任何一个或多个方法的介质。载体介质可以采取许多形式,包括但不限于非易失性介质、易失性介质和传输介质。非易失性介质包括例如光盘、磁盘和磁光盘。易失性介质包括动态存储器,如主存储器。传输介质包括同轴电缆、铜线和光纤,包括构成总线子系统的电线。传输介质还可以采取声波或光波的形式,例如在无线电波和红外数据通信期间生成的波。因此,术语“载体介质”应被视为包括但不限于固态存储器,体现在光学和磁性介质中的计算机产品;具有承载由一个或多个处理器中的至少一个处理器可检测的传播信号并且表示指令集的介质,当指令集被运行时,执行方法;以及网络中承载由一个或多个处理器中的至少一个处理器可检测的可传播信号并且表示指令集的传输介质。
应当理解,所讨论的方法的步骤在一个实施例中由执行存储在存储装置中的指令(计算机可读代码)的处理(即,计算机)系统的适当的处理器(或多个处理器)执行。还将理解,本发明不限于任何特定的实现或编程技术,并且本发明可以使用用于实现本文所描述的功能的任何适当的技术来实现。本发明不限于任何特定的编程语言或操作系统。
应当理解,在上面对本发明的示例性实施例的描述中,为了简化本公开并有助于理解各种发明方面中的一个或多个方面,本发明的各种特征有时在单个实施例、图或其描述中被分组在一起。然而,这种公开的方法不应被解释为反映所要求保护的发明需要比每个权利要求中明确叙述的特征更多的特征的意图。相反,如以下权利要求所反映的那样,发明的各方面在于少于单个前述公开实施例的所有特征。因此,具体实施方式中的权利要求在此明确地并入具体实施方式中,其中每个权利要求独立地作为本发明的单独实施例。
此外,虽然本文所描述的一些实施例包括一些特征但不包括其它实施例中的其它特征,但是不同实施例的特征的组合意图在本发明的范围内,并且形成不同的实施例,如本领域技术人员将理解的。例如,在所附权利要求中,任何要求保护的实施例可以以任何组合使用。
此外,一些实施例在这里被描述为可以由计算机系统的处理器或通过执行该功能的其它手段来实现的方法或方法的元素的组合。因此,具有用于执行方法或方法的元素的必要指令的处理器形成用于执行方法或方法元素的装置。此外,本文中描述的装置实施例的元件是用于执行由针对实现本发明的目的的元件执行的功能的装置的示例。
在本文提供的描述中,阐述了许多具体细节。然而,应当理解,可以在没有这些具体细节的情况下实践本发明的实施例。在其它情况下,还没有详细地示出众所周知的方法、结构和技术,以便不模糊对描述的理解。
类似地,应注意,术语耦合在权利要求中使用时不应被解释为仅限于直接连接。可使用术语“耦合”和“连接”以及其派生词。应理解,这些术语不旨在作为彼此的同义词。因此,耦合到设备B的设备A的表达式的范围不应被限制在其中设备A的输出直接连接到设备B的输入的设备或系统。这意味着在A的输出和B的输入之间存在路径,其可以是包括其它设备或装置的路径。“耦合”可以意味着两个或更多个元件直接物理或电接触,或者两个或更多个元件彼此不直接接触但仍然彼此协作或相互作用。
因此,虽然已经描述了被认为是本发明的优选实施例的内容,但是本领域技术人员将认识到,在不脱离本发明的精神的情况下,可以对其进行其它和进一步的修改,并且旨在要求所有这些改变和修改落入本发明的范围内。例如,上面给出的任何公式仅仅表示可以使用的过程。可以从框图中添加或删除功能,并且可以在功能框之间互换操作。可以将步骤添加或删除到在本发明的范围内描述的方法。
Claims (54)
1.一种用于使得用户能够配置本地表演监测硬件设备的操作的计算机实现的方法,该方法包括:
提供被配置为使得客户端设备的用户能够选择一组可下载内容的界面,其中该组可下载内容涉及一个或多个技能;以及
使得所述用户能够将表示所选择的该组可下载内容的至少一部分的数据下载到与所述用户相关联的本地表演监测硬件,其中所述下载包括对下述各项的下载:
(i)传感器配置数据,其中所述传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以所定义的方式进行操作从而提供表示特定技能的尝试表演的数据;
(ii)状态引擎数据,其中所述状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由所述一个或多个表演传感器单元的集合所提供的数据来识别所述特定技能的所述尝试表演的属性;以及
(iii)用户界面数据,其中所述用户界面数据包括被配置为执行下述操作的数据:基于所识别的所述特定技能的所述尝试表演的属性来实现用户界面的操作;
所述方法还包括使得所述用户能够选择由针对所选择的一个或多个技能的专家知识变化所定义的可下载内容,其中存在可用于所述一个或多个技能的集合的多个专家知识变化。
2.根据权利要求1所述的方法,其中,第一专家知识变化与第一组状态引擎数据相关联,并且第二专家知识变化与第二组不同的状态引擎数据相关联,其中所述第二组不同的状态引擎数据被配置为实现对未被使用所述第一组状态引擎数据识别的表演的一个或多个特定于专家的属性的识别。
3.根据权利要求2所述的方法,其中,所述特定于专家的属性涉及与专家相关联的表演的风格。
4.根据权利要求2所述的方法,其中,表演的风格由使用从一个或多个运动传感器单元得到的数据可观测的身体运动的所定义的属性来表示。
5.根据权利要求1所述的方法,其中,特定于专家的属性涉及与专家相关联的辅导知识。
6.根据权利要求5所述的方法,其中,所述一个或多个特定于专家的属性是基于被配置为客观地定义辅导特性的处理来定义的。
7.根据权利要求1所述的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对所述第一可选择的专家知识变化,所述可下载数据将所述客户端设备配置为在从所述表演传感器单元的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对所述第二可选择的专家知识变化,所述可下载数据将所述客户端设备配置为在从所述表演传感器单元的集合得到的数据中识别与所述给定技能相关联的第二组不同的可观测数据条件。
8.根据权利要求7所述的方法,其中所述第一组可观测数据条件和所述第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
9.根据权利要求7所述的方法,其中所述第一组可观测数据条件和所述第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
10.根据权利要求1所述的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对所述第一可选择的专家知识变化,所述可下载数据将所述客户端设备配置为:响应于观测到与给定技能相关联的所定义的可观测数据条件,向所述用户提供第一组反馈数据;以及
针对所述第二可选择的专家知识变化,所述可下载数据将所述客户端设备配置为:响应于观测到与给定技能相关联的所定义的可观测数据条件,向所述用户提供第二组不同的反馈数据。
11.根据权利要求10所述的方法,其中,所述第一组反馈数据和所述第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
12.根据权利要求10所述的方法,其中,所述第一组反馈数据和所述第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
13.根据任意前述权利要求所述的方法,其中,所述表演传感器单元包括多个运动传感器单元。
14.根据权利要求13所述的方法,其中,所述客户端设备包括被配置为处理从所述多个运动传感器单元得到的运动传感器数据的POD设备,其中,可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助所述运动传感器数据到所述POD设备的传送。
15.根据权利要求14所述的方法,其中所述多个传感器单元中的每一个传感器单元包括:加速度计、磁力计和陀螺仪。
16.一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,所述方法包括:
生成第一组可观测数据条件,其中所述第一组可观测数据条件包括被配置为实现对从一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,该输入数据表示由用户进行的所定义的技能的身体表演,从而识别该表演的一个或多个属性;以及
生成第二组可观测数据条件,其中所述第二组可观测数据条件包括被配置为实现对从相同的所述一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,该输入数据表示由用户进行的所定义的技能的身体表演,从而识别该表演的一个或多个属性;
其中,所述第二组可观测数据条件包括在所述第一组可观测数据条件中不存在的一个或多个特定于专家的可观测数据条件,其中,所述一个或多个特定于专家的可观测数据条件被合并到针对所定义的技能的技能训练内容相对于仅使用所述第一组可观测数据条件生成的技能训练内容的专家知识变化中。
17.根据权利要求16所述的方法,其中,所述技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基准技能表演风格的风格差异。
18.根据权利要求16所述的方法,其中,所述技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基准辅导知识的辅导知识差异。
19.根据权利要求16所述的方法,其中,所述技能训练内容的专家知识变化包括:传感器配置数据,其中,所述传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以所定义的方式进行操作从而提供表示特定技能的尝试表演的数据;状态引擎数据,其中,所述状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由所述一个或多个表演传感器单元的集合所提供的数据来识别所述特定技能的所述尝试表演的属性;以及用户界面数据,其中,所述用户界面数据包括被配置为执行下述操作的数据:基于所识别的所述特定技能的所述尝试表演的属性来实现用户界面的操作。
20.根据权利要求16所述的方法,其中,所述表演传感器单元包括多个运动传感器单元。
21.根据权利要求20所述的方法,其中,所述技能训练内容的专家知识变化至少部分地在包括被配置为处理从所述多个运动传感器单元得到的运动传感器数据的POD设备的用户硬件上执行,其中可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助所述运动传感器数据到所述POD设备的传送。
22.根据权利要求21所述的方法,其中,所述多个传感器单元中的每一个传感器单元包括:加速度计、磁力计和陀螺仪。
23.根据权利要求16所述的方法,其中,针对所定义的技能,云托管市场被配置为使得下述各项可用于由一个或多个用户进行采购:(i)技能训练内容的标准版本;以及(ii)技能训练内容的专家知识变化。
24.一种用于生成数据的计算机实现的方法,该数据被配置为实现对针对所定义的技能的技能训练内容的传送,所述方法包括:
生成第一组技能训练内容,其中,所述第一组技能训练内容被配置为基于对从一个或多个表演传感器单元得到的输入数据的处理来实现对针对所定义的技能的技能训练程序的传送,该输入数据表示由用户进行的所定义的技能的身体表演,从而识别该表演的一个或多个属性;以及
生成第二组技能训练内容,其中所述第二组技能训练内容包括被配置为实现对从相同的一个或多个表演传感器单元得到的输入数据的处理的可观测数据条件,该输入数据表示由用户进行的所定义的技能的身体表演,从而识别该表演的一个或多个属性;
其中,所述第二组技能训练内容被配置为响应于给定的一组输入数据来提供与所述第一组技能训练内容响应于相同的一组输入数据相比不同的训练程序效果,使得所述第二组技能训练内容提供技能训练内容的专家知识变化。
25.根据权利要求24所述的方法,其中,所述技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基准技能表演风格的风格差异。
26.根据权利要求24所述的方法,其中,所述技能训练内容的专家知识变化考虑了与特定人类专家相关联的相对于基准辅导知识的辅导知识差异。
27.根据权利要求24所述的方法,其中,所述技能训练内容的专家知识变化包括:传感器配置数据,其中,所述传感器配置数据包括执行下述操作的数据:将一个或多个表演传感器单元的集合配置为以所定义的方式进行操作从而提供表示特定技能的尝试表演的数据;状态引擎数据,其中,所述状态引擎数据包括被配置为执行下述操作的数据:使得处理设备能够基于由所述一个或多个表演传感器单元的集合所提供的数据来识别所述特定技能的所述尝试表演的属性;以及用户界面数据,其中,所述用户界面数据包括被配置为执行下述操作的数据:基于所识别的所述特定技能的所述尝试表演的属性来实现用户界面的操作。
28.根据权利要求24所述的方法,其中,所述表演传感器单元包括多个运动传感器单元。
29.根据权利要求28所述的方法,其中,所述技能训练内容的专家知识变化至少部分地在包括被配置为处理从所述多个运动传感器单元得到的运动传感器数据的POD设备的用户硬件上被执行,其中,可穿戴服装提供多个传感器串,该多个传感器串被配置为辅助所述运动传感器数据到所述POD设备的传送。
30.根据权利要求29所述的方法,其中,所述多个传感器单元中的每一个传感器单元包括:加速度计、磁力计和陀螺仪。
31.根据权利要求24所述的方法,其中,针对所定义的技能,云托管市场被配置为使得下述各项可用于由一个或多个用户进行采购:(i)技能训练内容的标准版本;以及(ii)技能训练内容的专家知识变化。
32.根据权利要求24所述的方法,其中,所述第一组训练内容数据与第一组可观测数据条件相关联,并且其中,所述第二组训练内容数据与第二组可观测数据条件相关联,使得所述第二组训练内容数据被配置为识别所述表演的未被所述第一组训练内容数据识别的一个或多个属性。
33.根据权利要求24所述的方法,其中,所述第一组训练内容数据与用于将症状映射到原因的第一协议相关联,并且其中,所述第二组训练内容数据与用于将症状映射到原因的第二协议相关联,使得所述第二组训练内容数据提供症状和原因之间的至少一个特定于专家的关系。
34.根据权利要求24所述的方法,其中,所述第一组训练内容数据与第一组媒体内容相关联,并且其中,所述第二组训练内容数据与第二组媒体内容相关联,使得所述第二组训练内容数据被配置为提供对特定专家个性化的媒体内容。
35.一种计算机实现的方法,用于使得用户能够将本地表演监测硬件设备配置为提供与多个专家中选定的一个专家相关联的训练数据,所述方法包括:
提供被配置为使得客户端设备的用户能够选择要训练的一个或多个技能的集合的界面;
使得所述用户能够选择针对所选择的要训练的一个或多个技能的专家知识变化,其中,存在可用于要训练的一个或多个技能的集合的多个专家知识变化;
在所述用户对要训练的一个或多个技能的集合、以及针对所选择的要训练的一个或多个技能的专家知识变化进行选择之后,实现下载处理,该下载处理向与所述用户相关联的客户端设备提供可下载数据,该可下载数据将所述客户端设备配置为:
(i)处理从一组表演监测传感器得到的数据,从而分析由用户进行的给定的一个技能的身体表演;以及
(ii)基于该分析,经由用户界面设备训练特定于所选择的专家知识变化的数据。
36.根据权利要求35所述的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对所述第一可选择的专家知识变化,所述可下载数据将所述客户端设备配置为在从所述表演分析传感器的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对所述第二可选择的专家知识变化,所述可下载数据将所述客户端设备配置为在从所述表演分析传感器的集合得到的数据中识别与所述给定技能相关联的第二组不同的可观测数据条件。
37.根据权利要求36所述的方法,其中,所述第一组可观测数据条件和所述第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
38.根据权利要求36所述的方法,其中,所述第一组可观测数据条件和所述第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
39.根据权利要求35所述的方法,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对所述第一可选择的专家知识变化,所述可下载数据将所述客户端设备配置为:响应于观测到与给定技能相关联的所定义的可观测数据条件,向所述用户提供第一组反馈数据;以及
针对所述第二可选择的专家知识变化,所述可下载数据将所述客户端设备配置为:响应于观测到与给定技能相关联的所定义的可观测数据条件,向所述用户提供第二组不同的反馈数据。
40.根据权利要求39所述的方法,其中所述第一组反馈数据和所述第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
41.根据权利要求39所述的方法,其中,所述第一组反馈数据和所述第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
42.根据权利要求35所述的方法,其中,所述表演分析传感器包括运动传感器。
43.根据权利要求35所述的方法,其中,所述客户端设备包括被配置为由可穿戴服装携带的POD设备,其中,所述可穿戴服装提供多个传感器串,该多个传感器串被配置为实现从由所述可穿戴服装携带的多个传感器单元得到的数据到POD设备的传送。
44.根据权利要求43所述的方法,其中,所述多个传感器单元中的每一个传感器单元包括:加速度计、磁力计和陀螺仪。
45.一种系统,其被配置为使得用户能够将本地表演监测硬件设备配置为提供与多个专家中选定的一个专家相关联的训练数据,所述系统包括:
服务器,被配置为使得客户端用户界面设备能够与被配置为使得客户端设备的用户能够选择要训练的一个或多个技能的集合的界面进行交互,其中,该界面被额外配置为使得所述用户能够选择针对所选择的要训练的一个或多个技能的专家知识变化,其中存在可用于要训练的一个或多个技能的集合的多个专家知识变化;
下载管理器组件,被配置为在所述用户对要训练的一个或多个技能的集合、以及针对所选择的要训练的一个或多个技能的专家知识变化进行选择之后,实现下载处理,该下载处理向与所述用户相关联的客户端设备提供可下载数据,该可下载数据将所述客户端设备配置为:
(i)处理从一组表演监测传感器得到的数据,从而分析所述用户进行的给定的一个技能的身体表演;以及
(ii)基于该分析,经由用户界面设备训练特定于所选择的专家知识变化的数据。
46.根据权利要求45所述的系统,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对所述第一可选择的专家知识变化,所述可下载数据将所述客户端设备配置为在从所述表演分析传感器的集合得到的数据中识别与给定技能相关联的第一组可观测数据条件;以及
针对所述第二可选择的专家知识变化,所述可下载数据将所述客户端设备配置为在从所述表演分析传感器的集合得到的数据中识别与所述给定技能相关联的第二组不同的可观测数据条件。
47.根据权利要求46所述的系统,其中,所述第一组可观测数据条件和所述第二组可观测数据条件之间的差异考虑了与相应的专家知识变化相关联的人类专家的风格差异。
48.根据权利要求46所述的系统,其中,所述第一组可观测数据条件和所述第二组可观测数据条件之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
49.根据权利要求45所述的系统,其中,针对所选择的一个或多个技能的集合,存在第一可选择的专家知识变化和第二可选择的专家知识变化,其中:
针对所述第一可选择的专家知识变化,所述可下载数据将所述客户端设备配置为:响应于观测到与给定技能相关联的所定义的可观测数据条件,向所述用户提供第一组反馈数据;以及
针对所述第二可选择的专家知识变化,所述可下载数据将所述客户端设备配置为:响应于观测到与给定技能相关联的所定义的可观测数据条件,向所述用户提供第二组不同的反馈数据。
50.根据权利要求49所述的系统,其中,所述第一组反馈数据和所述第二组反馈数据之间的差异考虑了从与相应的专家知识变化相关联的人类专家得到的辅导建议。
51.根据权利要求49所述的系统,其中,所述第一组反馈数据和所述第二组反馈数据之间的差异包括表示与相应的专家知识变化相关联的人类专家的声音的不同的音频数据。
52.根据权利要求45所述的系统,其中,所述表演分析传感器包括运动传感器。
53.根据权利要求45所述的系统,其中,所述客户端设备包括被配置为由可穿戴服装携带的POD设备,其中所述可穿戴服装提供多个传感器串,该多个传感器串被配置为实现从由所述可穿戴服装携带的多个传感器单元得到的数据到所述POD设备的传送。
54.根据权利要求53所述的系统,其中,所述多个传感器单元中的每一个传感器单元包括:加速度计、磁力计和陀螺仪。
Applications Claiming Priority (23)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
AU2015900314 | 2015-02-02 | ||
AU2015900313 | 2015-02-02 | ||
AU2015900314A AU2015900314A0 (en) | 2015-02-02 | Frameworks and methodologies configured to enable delivery of interactive skills training content | |
AU2015900313A AU2015900313A0 (en) | 2015-02-02 | Frameworks and methodologies configured to enable delivery of interactive skills training content | |
AU2015901666A AU2015901666A0 (en) | 2015-05-08 | Wearable garments, and wearable garment components, configured to enable delivery of interactive skills training content | |
AU2015901666 | 2015-05-08 | ||
AU2015901665 | 2015-05-08 | ||
AU2015901670A AU2015901670A0 (en) | 2015-05-08 | Frameworks, methodologies and devices configured to enable monitoring of user performances at client devices by way of downloadable skills training content | |
AU2015901669A AU2015901669A0 (en) | 2015-05-08 | Frameworks and methodologies configured to enable automated categorisation and/or searching of video data based on user performance attributes | |
AU2015901665A AU2015901665A0 (en) | 2015-05-08 | Frameworks and methodologies configured to enable delivery of interactive skills training content | |
AU2015901669 | 2015-05-08 | ||
AU2015901670 | 2015-05-08 | ||
AU2015901945 | 2015-05-27 | ||
AU2015901945A AU2015901945A0 (en) | 2015-05-27 | Frameworks and methodologies configured to enable skill gamization, including location-specific skill gamization | |
AU2015902004 | 2015-05-29 | ||
AU2015902004A AU2015902004A0 (en) | 2015-05-29 | Delivery of interactive skills training content with on multiple selectable expert knowledge variations | |
AU2015903037 | 2015-07-30 | ||
AU2015903037A AU2015903037A0 (en) | 2015-07-30 | Frameworks and methodologies configured to enable analysis of physical user performance based on sensor data derived from body-mounted sensors | |
AU2015903050 | 2015-07-31 | ||
AU2015903050A AU2015903050A0 (en) | 2015-07-31 | Start-pose independent auto-configuration for a set of user-worn motion-sensors | |
AU2015905108A AU2015905108A0 (en) | 2015-12-10 | Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance data | |
AU2015905108 | 2015-12-10 | ||
PCT/AU2016/000020 WO2016123648A1 (en) | 2015-02-02 | 2016-02-02 | Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations |
Publications (2)
Publication Number | Publication Date |
---|---|
CN107533806A true CN107533806A (zh) | 2018-01-02 |
CN107533806B CN107533806B (zh) | 2020-11-06 |
Family
ID=56563218
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680021231.8A Pending CN107636752A (zh) | 2015-02-02 | 2016-02-02 | 被配置为基于对表演传感器数据的分析来提供交互式技能训练内容、包括传送自适应训练程序的框架、设备和方法 |
CN201680020626.6A Active CN107533806B (zh) | 2015-02-02 | 2016-02-02 | 被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201680021231.8A Pending CN107636752A (zh) | 2015-02-02 | 2016-02-02 | 被配置为基于对表演传感器数据的分析来提供交互式技能训练内容、包括传送自适应训练程序的框架、设备和方法 |
Country Status (5)
Country | Link |
---|---|
EP (2) | EP3254268A4 (zh) |
JP (2) | JP2018512980A (zh) |
KR (2) | KR20170129716A (zh) |
CN (2) | CN107636752A (zh) |
WO (2) | WO2016123654A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711320A (zh) * | 2018-08-06 | 2018-10-26 | 北京导氮教育科技有限责任公司 | 一种基于网络的沉浸式在线教育系统和方法 |
CN112183324A (zh) * | 2020-09-27 | 2021-01-05 | 厦门大学 | 一种屏下指纹图像的生成方法和生成装置 |
CN114296398A (zh) * | 2021-11-16 | 2022-04-08 | 中南大学 | 一种用于激光切割的高速高精度插补方法 |
Families Citing this family (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180211177A1 (en) * | 2017-01-25 | 2018-07-26 | Pearson Education, Inc. | System and method of bayes net content graph content recommendation |
KR102018795B1 (ko) * | 2017-02-08 | 2019-09-05 | 구글 엘엘씨 | 인간공학적 평가 의복 |
WO2020071149A1 (ja) * | 2018-10-05 | 2020-04-09 | ソニー株式会社 | 情報処理装置 |
US11062591B1 (en) * | 2019-02-05 | 2021-07-13 | Architecture Technology Corporation | Systems and methods for generating device-agnostic data and a training dashboard from wearable and non-wearable devices |
CN109901922B (zh) * | 2019-03-05 | 2021-06-18 | 北京工业大学 | 一种面向多层服务的容器云资源调度优化方法 |
CN109976188B (zh) * | 2019-03-12 | 2022-01-07 | 广东省智能制造研究所 | 一种基于时间自动机的板球控制方法及系统 |
EP3751361A1 (en) * | 2019-06-13 | 2020-12-16 | ABB Schweiz AG | System for action indication determination |
CN114631337A (zh) * | 2019-11-05 | 2022-06-14 | 高通股份有限公司 | 传感器性能指示 |
JP6811349B1 (ja) * | 2020-03-31 | 2021-01-13 | 株式会社三菱ケミカルホールディングス | 情報処理装置、方法、プログラム |
JP2020127743A (ja) * | 2020-04-08 | 2020-08-27 | グーグル エルエルシー | コンピューティングシステム、方法、およびプログラム |
KR102625171B1 (ko) * | 2021-11-17 | 2024-01-23 | 주식회사 제네시스랩 | 인터랙티브 콘텐츠를 제공하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 |
IT202200017544A1 (it) * | 2022-08-24 | 2024-02-24 | Domenico Sicari | Sistema informatizzato per la riabilitazione posturale |
JP2024139528A (ja) * | 2023-03-27 | 2024-10-09 | ヤマハ株式会社 | 教習装置、教習方法および教習プログラム |
Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101441776A (zh) * | 2008-12-04 | 2009-05-27 | 浙江大学 | 示范表演驱动的基于加速传感器的三维人体动作编排方法 |
CN101652808A (zh) * | 2007-04-27 | 2010-02-17 | 诺基亚公司 | 基于表演情景来修改卡拉ok系统中的视听输出 |
US20100283630A1 (en) * | 2009-05-05 | 2010-11-11 | Advanced Technologies Group, LLC | Sports telemetry system for collecting performance metrics and data |
US20120029666A1 (en) * | 2009-03-27 | 2012-02-02 | Infomotion Sports Technologies, Inc. | Monitoring of physical training events |
CN102819863A (zh) * | 2012-07-31 | 2012-12-12 | 中国科学院计算技术研究所 | 一种三维人体运动的实时在线获取方法及其系统 |
US20130040763A1 (en) * | 2003-04-09 | 2013-02-14 | Lance Davidson | Training Apparatus and Method |
CN103135765A (zh) * | 2013-02-20 | 2013-06-05 | 兰州交通大学 | 一种基于微机械传感器的人体动作信息捕捉系统 |
US20130203475A1 (en) * | 2012-01-26 | 2013-08-08 | David H. Kil | System and method for processing motion-related sensor data with social mind-body games for health application |
US20130274587A1 (en) * | 2012-04-13 | 2013-10-17 | Adidas Ag | Wearable Athletic Activity Monitoring Systems |
US20140142459A1 (en) * | 2012-11-14 | 2014-05-22 | MAD Apparel, Inc. | Wearable performance monitoring, analysis, and feedback systems and methods |
WO2014121374A1 (en) * | 2013-02-06 | 2014-08-14 | Blur Sports Inc. | Performance monitoring systems and methods for edging sports |
CN103990285A (zh) * | 2014-05-12 | 2014-08-20 | 祁国祥 | 表演机器人 |
US20140278139A1 (en) * | 2010-09-30 | 2014-09-18 | Fitbit, Inc. | Multimode sensor devices |
US20140376876A1 (en) * | 2010-08-26 | 2014-12-25 | Blast Motion, Inc. | Motion event recognition and video synchronization system and method |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6389368B1 (en) * | 1999-10-01 | 2002-05-14 | Randal R. Hampton | Basketball goal sensor for detecting shots attempted and made |
WO2007033194A2 (en) * | 2005-09-13 | 2007-03-22 | Aware Technologies, Inc. | Method and system for proactive telemonitor with real-time activity and physiology classification and diary feature |
US8188868B2 (en) * | 2006-04-20 | 2012-05-29 | Nike, Inc. | Systems for activating and/or authenticating electronic devices for operation with apparel |
WO2008027053A1 (en) * | 2006-08-31 | 2008-03-06 | Achieve3000, Inc. | System and method for providing differentiated content based on skill level |
JP2008073285A (ja) * | 2006-09-22 | 2008-04-03 | Seiko Epson Corp | 靴、その靴を履いた人の歩行・走行動作評価支援装置 |
US9060714B2 (en) * | 2008-12-04 | 2015-06-23 | The Regents Of The University Of California | System for detection of body motion |
WO2012112903A2 (en) * | 2011-02-17 | 2012-08-23 | Nike International Ltd. | Location mapping |
US9043004B2 (en) * | 2012-12-13 | 2015-05-26 | Nike, Inc. | Apparel having sensor system |
EP3003148A1 (en) * | 2013-05-31 | 2016-04-13 | NIKE Innovate C.V. | Dynamic sampling |
-
2016
- 2016-02-02 EP EP16745983.3A patent/EP3254268A4/en not_active Ceased
- 2016-02-02 KR KR1020177024494A patent/KR20170129716A/ko unknown
- 2016-02-02 CN CN201680021231.8A patent/CN107636752A/zh active Pending
- 2016-02-02 KR KR1020177024493A patent/KR20170128260A/ko unknown
- 2016-02-02 WO PCT/AU2016/000026 patent/WO2016123654A1/en active Application Filing
- 2016-02-02 WO PCT/AU2016/000020 patent/WO2016123648A1/en active Application Filing
- 2016-02-02 EP EP16745989.0A patent/EP3254270A4/en not_active Ceased
- 2016-02-02 CN CN201680020626.6A patent/CN107533806B/zh active Active
- 2016-02-02 JP JP2017558595A patent/JP2018512980A/ja active Pending
- 2016-02-02 JP JP2017558596A patent/JP2018511450A/ja active Pending
Patent Citations (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130040763A1 (en) * | 2003-04-09 | 2013-02-14 | Lance Davidson | Training Apparatus and Method |
CN101652808A (zh) * | 2007-04-27 | 2010-02-17 | 诺基亚公司 | 基于表演情景来修改卡拉ok系统中的视听输出 |
CN101441776A (zh) * | 2008-12-04 | 2009-05-27 | 浙江大学 | 示范表演驱动的基于加速传感器的三维人体动作编排方法 |
US20120029666A1 (en) * | 2009-03-27 | 2012-02-02 | Infomotion Sports Technologies, Inc. | Monitoring of physical training events |
US20100283630A1 (en) * | 2009-05-05 | 2010-11-11 | Advanced Technologies Group, LLC | Sports telemetry system for collecting performance metrics and data |
US20140376876A1 (en) * | 2010-08-26 | 2014-12-25 | Blast Motion, Inc. | Motion event recognition and video synchronization system and method |
US20140278139A1 (en) * | 2010-09-30 | 2014-09-18 | Fitbit, Inc. | Multimode sensor devices |
US20130203475A1 (en) * | 2012-01-26 | 2013-08-08 | David H. Kil | System and method for processing motion-related sensor data with social mind-body games for health application |
US20130274587A1 (en) * | 2012-04-13 | 2013-10-17 | Adidas Ag | Wearable Athletic Activity Monitoring Systems |
CN102819863A (zh) * | 2012-07-31 | 2012-12-12 | 中国科学院计算技术研究所 | 一种三维人体运动的实时在线获取方法及其系统 |
US20140142459A1 (en) * | 2012-11-14 | 2014-05-22 | MAD Apparel, Inc. | Wearable performance monitoring, analysis, and feedback systems and methods |
WO2014121374A1 (en) * | 2013-02-06 | 2014-08-14 | Blur Sports Inc. | Performance monitoring systems and methods for edging sports |
CN103135765A (zh) * | 2013-02-20 | 2013-06-05 | 兰州交通大学 | 一种基于微机械传感器的人体动作信息捕捉系统 |
CN103990285A (zh) * | 2014-05-12 | 2014-08-20 | 祁国祥 | 表演机器人 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108711320A (zh) * | 2018-08-06 | 2018-10-26 | 北京导氮教育科技有限责任公司 | 一种基于网络的沉浸式在线教育系统和方法 |
CN112183324A (zh) * | 2020-09-27 | 2021-01-05 | 厦门大学 | 一种屏下指纹图像的生成方法和生成装置 |
CN112183324B (zh) * | 2020-09-27 | 2023-12-26 | 厦门大学 | 一种屏下指纹图像的生成方法和生成装置 |
CN114296398A (zh) * | 2021-11-16 | 2022-04-08 | 中南大学 | 一种用于激光切割的高速高精度插补方法 |
CN114296398B (zh) * | 2021-11-16 | 2024-04-05 | 中南大学 | 一种用于激光切割的高速高精度插补方法 |
Also Published As
Publication number | Publication date |
---|---|
KR20170128260A (ko) | 2017-11-22 |
JP2018511450A (ja) | 2018-04-26 |
KR20170129716A (ko) | 2017-11-27 |
EP3254270A1 (en) | 2017-12-13 |
EP3254268A1 (en) | 2017-12-13 |
CN107636752A (zh) | 2018-01-26 |
EP3254268A4 (en) | 2018-07-18 |
EP3254270A4 (en) | 2018-07-18 |
WO2016123648A1 (en) | 2016-08-11 |
JP2018512980A (ja) | 2018-05-24 |
WO2016123654A1 (en) | 2016-08-11 |
CN107533806B (zh) | 2020-11-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN107533806A (zh) | 被配置为实现对包括具有多个可选择的专家知识变化的内容在内的交互技能训练内容的传送的框架、设备和方法 | |
US10806982B2 (en) | Frameworks, devices and methodologies configured to provide of interactive skills training content, including delivery of adaptive training programs based on analysis of performance sensor data | |
AU2017331639B2 (en) | A system and method to analyze and improve sports performance using monitoring devices | |
CN107847789A (zh) | 被配置为经由基于传感器的对身体表演的技能的监测来实现包括特定于位置的游戏化在内的游戏化的框架、设备和方法 | |
Espinosa et al. | THE INERTIAL SENSOR: A BASE PLATFORM FOR WIDER ADOPTION IN SPORTS SCIENCE APPLICATIONS. | |
US10803762B2 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
CN106462725A (zh) | 监测游戏场所的活动的系统和方法 | |
CN107851113A (zh) | 被配置为基于从表演传感器单元导出的用户表演属性来实现对媒体数据的自动分类和/或搜索的框架、设备和方法 | |
CN106310660A (zh) | 一种基于力学可视化的虚拟足球运动控制系统 | |
CN110502107A (zh) | 可穿戴实时动作指导系统和方法 | |
Nie et al. | [Retracted] The Construction of Basketball Training System Based on Motion Capture Technology | |
TWI664550B (zh) | 高爾夫球運動員揮桿姿勢檢測系統 | |
CN107851457A (zh) | 被配置为实现包括应用于交互技能训练内容的传送的对身体表演的技能的分析的框架和方法 | |
Jia | Artificial Intelligence Of Things For Ubiquitous Sports Analytics | |
Jiménez Bascones | Cloud point labelling in optical motion capture systems | |
Ciliberto | Movement recognition from wearable sensors data: power-aware evolutionary training for template matching and data annotation recovery methods | |
WO2023039185A1 (en) | Method and system for human motion analysis and instruction | |
WO2016179654A1 (en) | Wearable garments, and wearable garment components, configured to enable delivery of interactive skills training content |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
TR01 | Transfer of patent right | ||
TR01 | Transfer of patent right |
Effective date of registration: 20210803 Address after: Farnam, UK Patentee after: RLT Intellectual Property Co.,Ltd. Address before: Sydney, Australia Patentee before: GUIDED KNOWLEDGE IP Pty Ltd. |