JP2019505832A - パフォーマンスモニタリングハードウェアによるユーザパフォーマンスのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法 - Google Patents

パフォーマンスモニタリングハードウェアによるユーザパフォーマンスのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法 Download PDF

Info

Publication number
JP2019505832A
JP2019505832A JP2018530155A JP2018530155A JP2019505832A JP 2019505832 A JP2019505832 A JP 2019505832A JP 2018530155 A JP2018530155 A JP 2018530155A JP 2018530155 A JP2018530155 A JP 2018530155A JP 2019505832 A JP2019505832 A JP 2019505832A
Authority
JP
Japan
Prior art keywords
performance
data
speed
event identification
psd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018530155A
Other languages
English (en)
Inventor
リッグ，ダレン
メイ，スチュアート
Original Assignee
ガイディド ナレッジ アイピー ピーティーワイ リミテッド
ガイディド ナレッジ アイピー ピーティーワイ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AU2015905108A external-priority patent/AU2015905108A0/en
Priority claimed from PCT/AU2016/000026 external-priority patent/WO2016123654A1/en
Application filed by ガイディド ナレッジ アイピー ピーティーワイ リミテッド, ガイディド ナレッジ アイピー ピーティーワイ リミテッド filed Critical ガイディド ナレッジ アイピー ピーティーワイ リミテッド
Publication of JP2019505832A publication Critical patent/JP2019505832A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B9/00—Simulators for teaching or training purposes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/001—Boards or like means for providing an indication of chords
    • G09B15/002—Electrically operated systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/18—Book-keeping or economics
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
    • A63B2024/0012—Comparing movements or motion sequences with a registered reference
    • A63B2024/0015—Comparing movements or motion sequences with computerised simulations of movements or motion sequences, e.g. for generating an ideal template as reference to be achieved by the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A63B2071/0625—Emitting sound, noise or music
    • A63B2071/063—Spoken or verbal instructions

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Multimedia (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • User Interface Of Digital Computer (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

ユーザパフォーマンスデータのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法が本明細書に記載される。本発明の実施形態は、特に、（例えば、速度に関して）パフォーマンス指示ユーザインタフェースに対するリアルタイムコントロール、及び／又は（例えば、速度及び／又はパン／ズーム位置に関して）メディアデータの配信に対する制御を可能にすることである。

Description

本発明は、ユーザパフォーマンスデータ、例えば、（モーションセンサ、振動／音センサなどのような）パフォーマンスモニタリングハードウェアから配信されるユーザパフォーマンスデータに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法に関する。本発明の実施形態は、パフォーマンス指示ユーザインタフェースに対するリアルタイムコントロールを可能にするように、例えば、身体的なパフォーマンスの分析に基づいてリアルタイムトレーニングを可能にするように、特に開発されている。いくつかの実施形態は、本明細書において、特に、その適用を参照して記載されているが、本発明はそのような使用の分野に限定されるものではなく、より広いコンテキストで適用可能であることが理解されるであろう。
本明細書を通じての背景技術のあらゆる議論は、そのような技術が広く知られているか或いは当該分野における普通の一般知識の一部を形成することの認容と決して考えられてならない。
ユーザパフォーマンスをモニタリングし、フィードバックを提供するメカニズムを持つ様々な技術が、それによって、スキルトレーニングコンテンツの配信を可能にするように、開発されている。特定の例は楽器トレーニングの分野に見られる；ソフトウェアアプリケーションが、スクロール指示表示を配信し、これは、ユーザに、特定の速度で特定の音符を演奏するための指示を提供する。速度は、難易度設定により調整可能である。フィードバックメカニズムが、指示された方法で指示された音符を演奏する精度に基づいてフィードバックをユーザに提供するように構成される。
先行技術の不利点の少なくとも１つを克服又は改善し或いは有用な代替を提供することが、本発明の目的である。
一実施形態は、ユーザにトレーニングを提供するように構成されるシステムを提供し、システムは：
１つ又は複数のパフォーマンスセンサユニット（ＰＳＵ）からパフォーマンスセンサデータを受信するように構成される入力部であって、１つ又は複数のパフォーマンスセンサユニットは、人間のユーザによるスキルの身体的パフォーマンス（physical performance）を表すパフォーマンスセンサデータ（ＰＳＤ）を受信するように構成される、入力部と；
ＰＳＤを処理し、それによってＰＳＤの属性（attributes）を識別し、これらの属性を予め定められたベースラインパフォーマンスデータ（baseline performance data）と比較するように構成される処理装置であって、予め定められたベースラインパフォーマンスデータは：
パフォーマンスイベントのセットを表すデータであって、パフォーマンスイベントのセットはパフォーマンスタイムラインに関連して定義される、データ；
各パフォーマンスイベントに関して、ＰＳＤによって満たされることができる属性を表すデータ；及び
パフォーマンスイベントの１つ又は複数の組み合わせに関するイベント間相対タイミングデータ（inter-event relative timing data）；
を含む、処理装置と；
グラフィカルユーザインタフェースのレンダリングを制御するように構成されるユーザインタフェース制御コンポーネントであって、グラフィカルユーザインタフェースは、制御されたパフォーマンス速度（performance rate）で配信される１つ又は複数のリソースを提供する、ユーザインタフェース制御コンポーネントと；
速度制御モジュール（rate control module）であって、速度制御モジュールは、ＰＳＤと予め定められたベースラインパフォーマンスデータとの比較に基づいて制御されたパフォーマンス速度を制御するように構成される、速度制御モジュールと；を含む。
一実施形態は、スキルトレーニングデータの適応配信のためのコンピュータ実施方法を提供し、この方法は：
１つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを受信するステップと；
調和アクション（reconciliation action）を実行するステップであって：
ユーザインタフェースコンポーネントのうちの所与の１つは、ある速度で進行するレンダリングされた進行オブジェクト（progression object）を含み、レンダリングされた進行オブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行し；
調和アクションは、パフォーマンスデータが（ｉ）パフォーマンスイベント識別オブジェクトと時間的に調和しているかどうか；及び／又は（ｉｉ）パフォーマンスイベント識別オブジェクトと正確に調和しているかどうか；を判定するステップを含む、
ステップと；
レンダリングされた進行オブジェクトが、（ｉ）パフォーマンスイベント識別オブジェクトと時間的に調和している；及び／又は（ｉｉ）パフォーマンスイベント識別オブジェクトと正確に調和している、パフォーマンスデータがない場合に、パフォーマンスイベント識別オブジェクトのうちの所与の１つを超えた経路に沿って進行することを防止するように、速度を調整するステップと；
を含む。
一実施形態は、スキルトレーニングデータの適応配信のためのコンピュータ実施方法を提供し、この方法は：
１つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを受信するステップと；
１つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを処理するステップと；
パフォーマンスデータ内の予め定義された観察（観測）可能なデータ条件の識別に基づいて、メディア調整アクションを実行するステップと；
を含み、
ユーザインタフェースコンポーネントのうちの所与の１つは、再生速度とビューポート定義とを有するメディアオブジェクトを含み；
メディア調整アクションを実行するステップは、再生速度及び／又はビューポート定義を調整する決定を行うステップを含む。
一実施形態は、スキルトレーニングデータの適応配信のためのコンピュータ実施方法を提供し、この方法は：
モーションセンサユニットのセットから得られるパフォーマンスデータを受信するステップと；
グラフィカルオブジェクトを表示画面上に表示させるステップであって、グラフィカルオブジェクトは、身体的パフォーマンスの各段階における１つ又は複数のＭＳＵの目標位置を含む、動作ベースのスキルの身体的パフォーマンスの段階の表現を含む、ステップと；
モーションセンサユニットのセットから得られるパフォーマンスデータの分析に基づいて身体的パフォーマンスの段階の表示の間で進行するステップと；
グラフィカルオブジェクトを介して、モーションセンサユニットのセットから得られるパフォーマンスデータの分析に基づいて決定されるモーションセンサユニットの所与の１つの観察（観測）される位置の間の関係を表示するステップと；
を含む。
一実施形態は、本明細書に記載される方法を実行するためのコンピュータプログラム製品（コンピュータプログラム）を提供する。
一実施形態は、プロセッサ上で実行されるときに、プロセッサに本明細書に記載される方法を実行させる、コンピュータ実行可能コードを担持する(carrying)非一時的キャリア媒体(carrier medium)を提供する。
一実施形態は、本明細書に記載される方法を実行するように構成されるシステムを提供する。
本明細書を通じる「１つの実施形態（一実施形態）」、「幾つかの実施形態」又は「実施形態」への言及は、その実施形態に関連して記載する特定の構成、構造又は特性が本発明の少なくとも１つの実施形態に含まれることを意味する。よって、この明細書を通じる様々な箇所における「一実施形態（において）」、「幾つかの実施形態（において）」又は「実施形態（において）」という成句の出現は、必ずしもすべてが同じ実施形態を指さないが、同じ実施態様を指すことがある。更に、特定の個性、構造又は特性は、１つ又は複数の実施形態において、この開示から当業者に明らかであるように、任意の適切な方法で組み合わせられてよい。
本明細書で使用されるとき、他に特定されない限り、共通の物体（オブジェクト）を記載するための序数を表す形容詞「第１」、「第２」、「第３」等の使用は、同等の物体の異なる場合が言及されていることを単に示しており、そのように記載される物体が、時間的又は空間的に、所与の順序で、順位付けで、或いは任意の他の方法で与えられなければならないことを暗示することは意図されていない。
以下の請求項及び本明細書の記載において、有する(comprising)、有する(comprised of)、又は有する(which comprises)という用語のうちのいずれか１つは、少なくとも以下の要素／構成を含むが、他のものを排除しないことを意味する、開放用語（オープン用語）（open term）である。よって、請求項において使用される場合、含むという用語は、その後に記載される手段又は要素又はステップに限定されるものと解釈されてならない。例えば、ＡとＢとを含むデバイス（装置）という表現の範囲は、要素Ａ及びＢのみからなるデバイスに限定されてならない。本明細書で使用される「含む」(including)、「含む」(which includes)、又は「含む」(that includes)のような用語のいずれか１つも、その用語に続く少なくともその要素／構成を含むが、他の要素／構成を除外しないことを同様に意味する、開放用語（オープン用語）である。よって、含む(including)は、含む(comprising)と同義語であり、含む(comprising)を意味する。
本明細書で使用される場合、「例示的」という用語は、品質を示すこととは対照的に、実施例を提供する意味で使用される。すなわち、「例示的な実施形態」は、必ず例示的な品質の実施形態であるのとは対照的に、一例として提供される実施形態である。
次に、添付の図面を参照して、単なる例として、本発明の実施形態を記載する。
一実施形態によるインタラクティブスキルトレーニングコンテンツの配信のためのフレームワークを概略的に示す。
一実施形態によるインタラクティブスキルトレーニングコンテンツの配信のためのフレームワークを概略的に示す。
一実施形態によるビューポート定義の例を示す。
一実施形態によるプラットフォームを機能的に示す。
一実施形態によるプラットフォームを機能的に示す。
スキルパフォーマンスイベント識別オブジェクトのタイムラインを示す。
ギタートレーニングプログラムのためのスキルパフォーマンスイベント識別オブジェクトのタイムラインを示す。
モーションベースのスキルトレーニングプログラムのためのスキルパフォーマンスイベント識別オブジェクトのタイムラインを示す。
実施形態による例示のユーザインタフェースディスプレイを示す。
実施形態による例示のユーザインタフェースディスプレイを示す。
実施形態による例示のユーザインタフェースディスプレイを示す。
実施形態による例示のユーザインタフェースディスプレイを示す。
実施形態による例示のユーザインタフェースディスプレイを示す。
本明細書では、ユーザパフォーマンスデータのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法論について説明する。本発明の実施形態は、特に、（例えば、速度の点における）パフォーマンス指示ユーザインタフェース上のリアルタイム制御、及び／又は（例えば、速度及び／又はパン／ズーム位置の点における）メディアデータの配信の制御を可能にするようになっている。いくつかの実施形態は、本明細書で、その用途を特に参照しながら説明されるが、本発明はこのような使用分野に限定されず、より広いコンテキストで適用可能であることが理解されるであろう。
概要
本明細書に記載の技術及び方法論は、一般的には、様々な形態のセンサを使用してデータを収集し、それによりユーザによって身体的に実行されるスキルのモニタリング及び分析を可能にする、技術環境に関する。例えば、これは以下を含む：
（ｉ）モーションベースのスキル（スポーツなど）の身体的パフォーマンスをモニタリングするためのウェアラブルモーションセンサユニットの使用。例えば、いくつかの実施形態では、１つ又は複数のモーションセンサユニット（例えば、加速度計、ジャイロスコープなどのようなコンポーネントを含むユニット）が、人間のユーザ及び／又は人間のユーザによって携行される機器に物理的に取り付けられる。
（ｉｉ）サウンドベースのスキル（例えば、音楽的及び／又は言語的スキル）のパフォーマンスをモニタリングするためのオーディオセンサ（振動検知、デジタル化、及びその他の手段による音声をモニタリングするセンサを含む）の使用。一般的な例は、弦楽器の弦の機械的振動を検知するように構成されたトランスデューサを含む「ピックアップ」デバイスを含む。
（ｉｉｉ）他のスキルタイプの範囲のモニタリングを可能にするように構成された様々な他の形態のセンサ。これは、コンピュータシステムで利用可能なパフォーマンスデータを識別し且つ分析するように構成されたソフトウェアベースのセンサを含み得る。
以下に説明される様々な実施形態は、パフォーマンスデータのリアルタイムモニタリングに関連する技術的問題に対処し、トレーニング及び学習を容易にする方法でユーザにフィードバックを配信することに関する。例として、センサデータのモニタリング及び処理は、自動化された適応コーチングカリキュラムの配信を可能にする。
用語
以下に記載する実施態様の目的のために、以下の用語が使用される。
● パフォーマンスセンサユニット（ＰＳＵ）。パフォーマンスセンサユニットは、身体的パフォーマンスの監視に応答してデータを生成するように構成されるハードウェアデバイスである。モーションデータ及びオーディオデータを処理するように構成されるセンサユニットの実施例が本明細書で主に考慮されるが、それらは決して限定的な実施例でないことが理解されるであろう。
● パフォーマンスセンサデータ（ＰＳＤ）。ＰＵＳによって配信されるデータをパフォーマンスセンサデータと呼ぶ。このデータは、ＰＳＵからの完全な生データ、又は（例えば、圧縮、低減されたモニタリング、サンプリング速度（サンプリングレート）等に基づく）そのデータのサブセットを含んでよい。
● オーディオセンサユニット（ＡＳＵ）。オーディオセンサユニットは、音のモニタリングに応答してデータを生成し且つ送信するように構成されたハードウェアデバイスである、ＰＳＵのカテゴリである。幾つかの実施態様において、ＡＳＵは、音及び／又は振動の影響をモニタリングし、それらをデジタル信号（例えば、ＭＩＤＩ信号）に変換するように構成される。１つの例は、弦楽器の機械的振動をキャプチャ（捕捉）して電気信号に変換するように構成されるトランスデューサ（変換器）を含むピックアップデバイスである。
● オーディオセンサデータ（ＡＳＤ）。これは１つ又は複数のＡＳＵによって配信されるデータである。
● モーションセンサユニット（ＭＳＵ）。モーションセンサユニットは、モーションに応答してデータを生成し且つ送信するように構成されたハードウェアデバイスである、ＰＳＵのカテゴリである。このデータは、殆どの場合、局所的な基準フレームに対して定義される。所与のＭＳＵは、１つ又は複数の加速度計、１つ又は複数の磁力計から得られるデータ、及び１つ又は複数のジャイロスコープから得られたデータを含むことがある。好ましい実施態様は、１つ又は複数の３軸加速度計、１つの３軸磁力計、及び１つの３軸ジャイロスコープを利用する。モーションセンサユニットは、「着用」されてよく或いは「着用可能」であってよく、それは、モーションセンサユニットが、（例えば、衣類を介して）固定位置にある人間の身体に取り付けられるように構成されることを意味する。
● モーションセンサデータ（ＭＳＤ）。ＭＳＵによって配信されるデータをモーションセンサデータ（ＭＳＤ）と呼ぶ。このデータは、ＭＳＵからの完全な生データ、又は（例えば、圧縮、低減されたモニタリング、サンプリング速度等に基づく）そのデータのサブセットを含んでよい。
● ＭＳＵ対応衣服。ＭＳＵ対応衣服は、複数のＭＳＵを運ぶように構成された（シャツ又はパンツのような）衣類である。幾つかの実施態様において、ＭＳＵは、衣類に形成された所定の山間ゾーンにおいて（好ましくは、個々のＭＳＵが取り外され且つ交換されるのが可能であるよう、取り外し可能な方法において）取り付けられ、通信線に連結される。
● トレーニングプログラム。「トレーニングプログラム」という用語は、ソフトウェア命令の実行を介して提供されるインタラクティブプロセスを記述するために使用され、それは、エンドユーザにどのように実行するかの指示を提供し、それらのパフォーマンスをどのように修正し、改善し、或いは他の方法で調整するかに関するフィードバックを提供する。以下に記載する少なくとも幾つかの実施態様において、トレーニングプログラムは、関連するエンドユーザの分析（例えば、それらのパフォーマンスの分析及び／又は精神的及び／又は身体的な属性のような個人的な属性の分析）に基づいて適応するよう、プロセスの順序付け、フィードバックの選択、及び／又はトレーニングの他の属性を可能にする規則（ルール）／論理（ロジック）に基づいて実行するトレーニングプログラムである、「適応トレーニングプログラム」である。
用語ＰＳＵ及び／又はＰＳＤが使用されるときはいつでも、それらがそれぞれＭＳＵ／ＡＳＵ及びＭＳＤ／ＡＤＳのいずれか又は両方を含むことができることが理解されるべきである。特定の例が、運動空間と音声空間の両方において以下にさらに提供される。
関連出願の相互参照
本出願は、以下のＰＣＴ特許出願：ＰＣＴ／ＡＵ２０１６／００００２０；ＰＣＴ／ＡＵ２０１６／００００２６；ＰＣＴ／ＡＵ２０１６／０５０３４８；及びＰＣＴ／ＡＵ２０１６／０５０３４９；の全体を相互参照により組み込む。これらの出願は、本明細書に記載される技術をサポートするハードウェア、ソフトウェア、及び方法論に関してオプションで適用される技術に関する実質的な状況を提供することが理解されるであろう。例えば、本明細書に記載される実施形態は、それらのＰＣＴ出願に記載されているＭＳＵ対応衣服をオプションで使用する。
これらの出願は、相互参照により組み込まれているが、本明細書の開示は、これらの出願の開示を参照することにより、必ずしも範囲が限定されるべきではない。すなわち、本明細書に記載の技術は、相互参照されるＰＣＴ出願、例えば、代替形態のＰＳＵ、代替のクライアント側ハードウェア構成、代替ネットワークデータ管理／共有フレームワークなどを使用する出願を超えた応用を有する。
パフォーマンスモニタリングに基づくユーザインタフェース配信属性の制御
本明細書で説明される実施形態は、ユーザパフォーマンスデータのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法論を含む。例えば、これらは、（例えば、速度の点で）パフォーマンス指示ユーザインタフェースに対するリアルタイム制御、及び／又は（例えば、速度及び／又はパン／ズーム位置の点で）メディアデータの配信に対する制御を可能にする。
いくつかの実施形態は、スキルトレーニングデータの適応配信のためのコンピュータ実装方法を提供する。この方法は：（ｉ）１つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを受信するステップと；（ｉｉ）１つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを処理するステップと；（ｉｉｉ）１つ又は複数のパフォーマンスセンサユニットから得られるデータを処理するステップに基づいて、１つ又は複数のユーザインタフェースコンポーネントの配信属性を変更する決定を行うステップと；（ｉｖ）それにより１つ又は複数のユーザインタフェースコンポーネントの配信属性の決定された変更を生じさせる信号を提供するステップと；を含む。
以下に説明する例では、楽器（具体的にはギター）の教授の例に特に注意が向けられる。楽器の教授の例では、受信されるパフォーマンスデータは、楽器のような１つの器具のユーザ操作をモニタリングするように構成される１つ又は複数のＡＳＵから得られるパフォーマンスデータを含む。例えば、ギターの文脈では、１つ又は複数のＡＳＵは、ギターによって生成されるオーディオデータに応答してデジタルデータを生成するように構成されるセンサを含み得る。これは、ある実施形態では、マイクロホンコンポーネントを含むオーディオセンサであり、ある実施形態では、ギターの弦の振動活動をモニタリングするように構成されるオーディオセンサである、オーディオセンサを含み得る。これに関して、ＡＳＤ又は「オーディオセンサ」という用語は、パフォーマンスによって生成される可聴音を直接的又は間接的に表すデジタル情報を提供するように構成される任意のセンサデバイスを指す。デジタル情報は、いくつかの実施形態では、ＭＩＤＩデータの形式を取り得る。
例は、楽器の教授を特に参照して説明されているが、これらの実施形態に関連して説明した技術の様々な態様は、スキルトレーニングの代替形式のための他の形態のパフォーマンスセンサユニットを使用する他の環境に適用されることができることが理解されるべきである。例えば、いくつかの実施形態における受信されるパフォーマンスデータは、１つ又は複数のモーションセンサユニット（例えば、モーションセンサ対応衣服によって提供されるモーションセンサユニットであり、１つ又は複数のモーションセンサユニットから得られるパフォーマンスデータの処理は、個々のモーションセンサの同時動作の特性を識別することを含む、ような）から得られるパフォーマンスデータを含む。例はゴルフのスイング教授に関連して提供される。
いくつかの実施形態では、１つ又は複数のＰＳＵから得られるパフォーマンスデータ（ＰＳＤ）を処理するステップは、１つ又は複数のＭＳＵから得られるパフォーマンスデータ（ＭＳＤ）を処理するステップ含む。これは、オプションで、それによって１つ又は複数のＰＳＵのモーション及び／又は相対的なモーションに基づいてパフォーマンスの身体的なモーション属性を決定するように、モーション属性をモニタリングするステップを含む。以下で説明するように、これは、所定の瞬間におけるＰＳＵの位置（及び／又はモーション）の決定、並びにその位置（及び／又はモーション）と所定の目標位置（及び／又はモーション）との比較を可能にする。いくつかの実施形態では、相互参照されるＰＣＴ出願に記載された技術が使用され、それによって、例えば、徴候（症状）（symptoms）、原因、及び観察（観測）可能なデータ条件（ＯＤＣ）を使用する、スキルトレーニングのコンテキストにおけるＰＳＤの意味及び関連性をより深く理解することを提供する。
概要では、ＰＳＤは、ＰＳＤを介して分析されるスキルのトレーニングデータを提供するように構成されるユーザインタフェースである、ユーザインタフェースの態様を制御するための入力として利用される。すなわち、ユーザパフォーマンスの観察される属性は、１つ又は複数のユーザインタフェースコンポーネントの配信属性の変化をもたらすことによって、ユーザインタフェースの属性に対するリアルタイム制御を提供するために使用される。配信属性は、次のうちの１つ又は複数を含む：
● 進行ユーザインタフェースコンポーネントのアクティビティの速度（レート）。例えば、所与のユーザインタフェースコンポーネントは、進行速度、例えば、レンダリングされた目標が動く（又は、さらなるオブジェクト（目標）に対して動くように見える）速度、レンダリングされた目標が状態を変化させる速度、に関連付けられ得る。
● アニメーション又はメディアファイルの配信の速度（レート）。例えば、ビデオ又はオーディオファイルの再生速度は動的に変えられる。
● メディアオブジェクトのビューポート。例えば、これは、それによってビデオファイルのレンダリング中のフレーム領域の減少した選択を示すために、デジタルパン及び／又はズーム動作（digital pan and/or zoom operation）の適用を含み得る。
● メディアオブジェクトの視角（viewing angle）。これは、ファイル内の角度調整（所与のメディアオブジェクト（又はメディアオブジェクトコレクション）がそのような調整をサポートすることができる場合）を含むことができ、他の場合には、異なる視角からキャプチャされた共通の同期タイムラインを有するさらなるメディアファイルに切り替えることを含む。１つの例は、複数の角度から収集されたメディアの利用を含み、これは、それによって単一の静止フレームを通じた又は複数のフレームにわたるかのいずれかの、角度間の滑らかな視点調整を可能にするように、処理される。例えば、バレットタイム技術（bullet time technology）などが使用され得る。
他の配信属性も使用され得る。
具体的な実施例は以下を含む：
● 「適応テンポ」モードの提供。これは、スキルがある速度で実行される及び／又は指示されるトレーニングプログラムのコンテキスト（状況）において関連し、これは典型的には、ユーザ能力レベルの事前評価を参照することによって定義される。背景として、従来、音楽トレーニングプログラムの状況では、ユーザの能力レベルの事前評価に基づいてテンポが選択され、ユーザは、そのテンポで音楽トラックを演奏するための指示を提供される。例えば、初心者のユーザは、通常の２５％にテンポを設定し、テンポはユーザの能力が進むにつれて１００％に向かって増加する。一方、適応テンポモードは、ユーザのパフォーマンスの連続的なモニタリングに基づいてユーザが実際に音楽トラックを演奏する速度に応じて、進行速度（したがって、テンポ）を動的に変化させる。
● （ｉ）ユーザがユーザインタフェースコンポーネントの進行の速度を制御し、分析焦点（analytical focus）が個々のパフォーマンス要素の精度に置かれる、適応テンポモード；（ｉｉ）ユーザがユーザインタフェースコンポーネントの進行速度を再び制御し、分析焦点が個々のパフォーマンス要素及び要素間テンポ（タイミングの正確さ）に置かれる、適応速度モード；並びに（ｉｉｉ）パフォーマンスの速度が予め規定されている固定テンポモード；に基づく、進行トレーニング構造の提供。
● メディアコンテンツの効率的な利用。これは、トレーニングを支援するためにメディアコンテンツ、例えばビデオデータを表示するトレーニングプログラムのコンテキストにおいて関連する。ＰＳＤの分析に基づいて、メディアコンテンツの表示は、例えば、パン／ズーム位置及び／又はレートに関して変化する。これは、より豊かなユーザエクスペリエンスが、メディアファイルの単一又は限定されたコレクションを介して、提供されることを可能にし、広範なメディアファイルのコレクションを収集及び／又は維持する必要を回避する。
これらの実施例及び他の実施例は、以下でさらに詳細に論じられる。
適応テンポモード
図４は、ユーザにトレーニングを提供するように構成されるシステムを示す。システムは、１つ又は複数のパフォーマンスセンサユニット４５０（ＰＳＵ）からパフォーマンスセンサデータを受信するように構成される入力部４６１を含み、１つ又は複数のパフォーマンスセンサユニットは、人間のユーザによるスキルの身体的パフォーマンスを表すパフォーマンスセンサデータ（ＰＳＤ）を受信するように構成される。例えば、いくつかの実施形態では、受信されたＰＳＤは、１つの楽器（a piece of musical instrument）のユーザ操作を監視（モニタ）するように構成された１つ又は複数のセンサから得られたパフォーマンスデータを含む。他の実施形態では、受信されたＰＳＤは、１つ又は複数のモーションセンサユニット（例えば、１つ又は複数のモーションセンサユニットはモーションセンサ対応衣服によって提供される）から得られるパフォーマンスデータを含む。
処理装置４６０は、ＰＳＤを処理し、それによってＰＳＤの属性を識別し、これらの属性を所定のベースライン（baseline）パフォーマンスデータと比較するように構成されるＰＳＤ分析モジュール４６４を含む。ベースラインパフォーマンスデータは、（例えば、スキルパフォーマンスストリームとして）パフォーマンスタイムラインに関連して定義される、一連のパフォーマンスイベントを表すデータを含む。各パフォーマンスイベントに対して、ＰＳＤによって満たされることができる属性を表す定義されたデータがある。例えば、ＡＳＤの場合、これは、ピッチ、演奏スタイル、デュレーション（duration）などのうちのいずれか１つ又は複数を含み得る。ＭＳＤに関して、これは、相対位置、速度、加速度などのうちのいずれか１つ又は複数を含み得る。ベースラインパフォーマンスデータは、パフォーマンスイベントの１つ又は複数の組み合わせについてのイベント間相対タイミングデータも含む。これは、速度に依存しない（rate-independent）テンポを提供する（例えば、第１のパフォーマンスイベントと第２のパフォーマンスイベントとの間のベースライン時間間隔は、第２と第３のパフォーマンスイベントとの間の時間ベースライン間隔の２倍になるように定義される）。ベースラインデータは、目標パフォーマンス速度も含み得る。
装置４６０は、グラフィカルユーザインタフェース（この例では、ディスプレイ４７０上にレンダリングされる）のレンダリングを制御するように構成されるユーザインタフェース制御コンポーネントを含む。グラフィカルユーザインタフェースは、制御されたパフォーマンス速度で配信される１つ又は複数のリソースを提供する。例えば、これらのリソースは、パフォーマンス速度で進行する進行オブジェクト（progression object）（詳細は後述）と、制御されたパフォーマンス速度でレンダリングされるオプションのメディア（ビデオやオーディオなど）を含む。速度制御モジュール４６５は、ＰＳＤと所定のベースラインパフォーマンスデータとの比較に基づいて、制御されたパフォーマンス速度を制御するように構成される。
上述したように、いくつかの実施形態では、制御された速度で配信される１つ又は複数のリソースは、制御されたパフォーマンス速度で進行するレンダリングされた進行オブジェクトを含む。レンダリングされた進行オブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行するように制御され、パフォーマンスイベント識別オブジェクトは、パフォーマンスイベントに対応する。
第１の例が、図５Ａにグラフィカルな方法で示され、進行オブジェクト５００は、タイムライン５１０と、複数のパフォーマンスイベント識別オブジェクト５０２ａから５０２ｊとを含む。好ましくは、識別子オブジェクトが、タイムラインに沿った進行の現在の位置を示す（これは、静止したタイムライン及びオブジェクトに対して移動し得る、又はタイムライン及びオブジェクトは、識別子オブジェクトに対して動き得る）。第２の例示のオブジェクト５１０が、図５Ｂにグラフィカルな方法で示され、これは、テンポを表すタイムライン５０１に沿ったオブジェクト間の間隔で、楽器によって演奏可能な音符を示す方法でオブジェクト５０２ａから５０２ｊを示す。第３の例示のオブジェクト５２０が、図５Ｃにグラフィカルな方法で示され、これは、モーションベースのスキルを実行している間にユーザが進行する身体位置としてのオブジェクト５０２ａから５０２ｊを示す。
動作の１つのモードでは、速度制御モジュールは、レンダリングされた進行オブジェクトが、（ｉ）パフォーマンスイベント識別オブジェクトと時間的に調和される；及び／又は（ｉｉ）パフォーマンスイベント識別オブジェクトと正確に調和される；パフォーマンスデータが存在しない場合に、パフォーマンスイベント識別オブジェクトの所与の１つを超えて経路に沿って進行することが防止されるように、動作される。例えば、図５Ｂのコンテキストでは、これは正しい音符を打つことを含む。図５Ｃのコンテキストでは、これは、関連する身体位置の各々を打つことを含む（オプションで、例えば、加速度属性を参照することによって、位置のみ以外のモーション属性によって定義される）。これは、適応テンポモードを提供し、それによって、レンダリングされた進行オブジェクトの速度は、受信されたＰＳＤが受信されたＰＳＤによって満足される属性を有するパフォーマンスイベントを示す速度に基づいて制御される。言い換えると、速度は、パフォーマンスイベントを実行するユーザの成功に基づいて、リアルタイムで動的に調整される。好ましくは、制御されたパフォーマンス速度は、次のパフォーマンスイベント識別オブジェクトと調和可能なパフォーマンスデータの受信のための予想時間の予測に基づいて、連続するパフォーマンスイベント識別オブジェクト間の進行の速度に対して調整される。
システムは、好ましくは、フィードバック制御モジュールを含み、フィードバック制御モジュールは、予め定義された条件に応答して規定されたフィードバック動作を実行するように構成され、予め定義された条件は、（ｉ）パフォーマンスイベント識別オブジェクトに対応するパフォーマンスイベントと時間的に調和し；且つ（ｉｉ）パフォーマンスイベント識別オブジェクトに対応するパフォーマンスイベントと正確には調和しない；パフォーマンスデータの識別を含む。例が以下にさらに提供される。
好ましくは、システムはまた、評価（rating）モジュールを含み、評価モジュールは、予め定義されたベースラインパフォーマンスデータとの受信したＰＳＤの比較に基づいて、パフォーマンスの特性をスコア付けするように構成される。以下により詳細に説明するように、評価モジュールは、複数のモードで動作するように構成されており、以下を含む：
● 第１のモードであって、制御されたパフォーマンス速度は、ＰＳＤの分析に基づいて制御され、評価は、ＰＳＤが各連続するパフォーマンスイベントについての属性を表すデータを満足する精度に基づく、第１のモード；
● 第２のモードであって、制御されたパフォーマンス速度は、ＰＳＤの分析に基づいて制御され、評価は、ＰＳＤが各連続するパフォーマンスイベントについての属性を表すデータを満足する精度、及びベースラインパフォーマンスデータのパフォーマンスイベントの１つ又は複数の組み合わせについてのイベント間相対タイミングデータとパフォーマンスイベントの１つ又は複数の組み合わせについての観察（観測）されたイベント間相対タイミングデータとの比較に基づく、第２のモード；並びに
● 第３のモードであって、制御されたパフォーマンス速度は、ＰＳＤのリアルタイムモニタリングとは独立した一定の値に設定され、評価は、ＰＳＤが各連続するパフォーマンスイベントの属性を表すデータを満足する精度に基づく、第３のモード。
様々な例が、以下でさらに詳細に論じられる。
例：適応テンポモード（オーディオパフォーマンスの実施形態）
上述したように、いくつかの例は、スキルトレーニングユーザインタフェースのための「適応テンポ」モードを提供する。例は、最初に図１Ａを参照して説明される。
図１Ａは、適応スキルトレーニングプログラムの配信のための例示的なフレームワークを示す。ユーザインタフェースデバイス１００（例示のみの目的のためのスマートフォン又はタブレットのようなタッチスクリーンモバイルデバイスを表す方法で示され、ヘッドセット及び／又は網膜ディスプレイ／投影によるディスプレイを提供するデバイスを含む、広範囲の他のデバイスが代替的に使用されてもよい）は、ディスプレイスクリーン１０１を介してユーザインタフェースのレンダリングを提供する。ユーザインタフェースのレンダリングは、デバイス１００のマイクロプロセッサを介したソフトウェア命令の実行によって制御され、これは、デバイス１００で及び／又はデバイス１００と通信する１つ又は複数のデバイス（例えば、インターネットを介してデバイス１００と通信するネットワーク化されたデバイス、及び／又は処理機能を実行するように構成される別のローカルデバイス）で実行されるソフトウェア命令を含み得る。この例では、ユーザインタフェースデバイス１００は、音楽教授、具体的にはギター教授のための適応スキルトレーニングプログラムを提供するように構成される。ギター１４０は、ユーザによって操作され、パフォーマンスを監視するように構成された１つ又は複数のＰＳＵ１４１を備える。例えば、ＰＳＥ１４０は、ギター１４０の弦の振動エネルギを監視し、分析のためのＰＳＤを提供するように構成される、ＰＳＵを含み得る。ＰＳＤは、ＭＩＤＩフォーマットであることが好ましいが、他のデータフォーマットが使用されることもできる。
図示の実施形態では、ＰＳＵ１４１はＰＳＤを、ＰＯＤデバイスと呼ばれる、外部センサデータ処理デバイス１２０に送信する。デバイス１２０は、ＰＳＤを処理して、配信されるギター教授の形態に特有のＯＤＣを識別するようにデバイス１２０を構成するデータである、状態エンジンデータを表すコンピュータ実行可能コードを実行するように構成される。代替の状態エンジンデータは、代替のＰＳＤ及びＯＤＣが関連するデバイス１２０によって実行されてもよい（例えば、ＰＯＤデバイスは、楽器の代替形態に関連するＰＳＤを処理するために使用される場合、モーションベースのアクティビティなどのコンテキストにおいてＭＳＵから得られるＰＳＤ）。図１Ａに示すように、外部デバイス１２０はオプションであり、いくつかの実施形態では、デバイス１２０の機能は、デバイス１００によって提供されるハードウェア（及び／又はリモートネットワークデバイス）上で実行されるソフトウェアによって提供される。
センサ１４１、デバイス１２０（使用される場合）及びデバイス１００との間の通信は、特定の実装環境（及び適切な信頼性のある無線通信プロトコルの可用性）に依存して、有線及び／又は無線であり得る。
コンテキストとして、基礎をなす技術的方法論は、ＰＳＤを分析し、それによってパフォーマンス速度を決定することを含む。これは、ユーザが実際に実行している速度に基づいて、ユーザによって固有に（inherently）定義されるパフォーマンス速度である（能力レベルのようなユーザ属性の分析に基づいて予め定義され、ユーザに強制されるパフォーマンス速度とは対照的に）。これに関して、パフォーマンスは、複数の「パフォーマンスイベント」を含み、パフォーマンスタイムラインに沿って定義されたイベントである。ＰＳＤの分析に基づいて、パフォーマンスイベントを表すデータを表示するユーザインタフェースが、ユーザパフォーマンスと同時にパフォーマンスイベントに達するように、パフォーマンス速度が設定される。例えば、いくつかの実施形態におけるユーザインタフェースは、パフォーマンスイベント識別オブジェクトを含むパフォーマンスタイムラインに沿ってグラフィカルに進行するパフォーマンスタイムラインオブジェクトを含む。パフォーマンスタイムラインオブジェクトが進行する速度は、身体的パフォーマンスとパフォーマンスタイムラインがパフォーマンスイベントにわたって時間同期されるように、ユーザの実際のパフォーマンスがリアルタイムで発生する速度に対応する。
図１Ａの例では、ユーザインタフェースは、指示オブジェクト（instruction object）１０３の形式で、ある速度で進行するレンダリングされたオブジェクトを提供する。指示オブジェクト１０３は、複数のパフォーマンスイベント識別オブジェクト１１１を含む経路に沿って進むように構成される。この例では、パフォーマンスイベント識別オブジェクトは、音楽教授リボン１１０上に表示されるアイコンであり、このリボンは右から左に移動する。図１Ａは、追加的に、破線で、リボン１１０の以前に表示された部分１１４と、リボン１１４の次の部分１１３とを示している。現在の位置は、表示進行オブジェクト１１２によって視覚的に表される。すなわち、表示進行オブジェクト１１２は、イベントがユーザの現実世界のパフォーマンスで発生した時点でのパフォーマンスイベント識別オブジェクト１１１の所与の１つに重なる。
表示進行オブジェクト１１２が、イベントがユーザの現実世界のパフォーマンスにおいて発生する時点でのパフォーマンスイベント識別オブジェクト１１１の所与の１つに重なることが特に適切（relevant）である。様々な従来技術の構成では、同様の外観のユーザインタフェースが提供されるが、表示進行オブジェクトは、ユーザが現実世界のパフォーマンスにおいて発生するそのイベントを実行するように指示された時点でのパフォーマンスイベント識別オブジェクトの所与の１つに重なるように構成される。ユーザが実際にイベントを行っている（例えば、この文脈ではギターストリングを鳴らしている）かどうかは、従来技術のシナリオでは無関係である。リボンは定められた速度で進行し続ける（しかし、速度はユーザの正確度に基づいて増加又は減少し得る）。しかし、図１Ａの例では、ＰＳＤは、表示進行オブジェクト１１２が、対応するイベントがユーザの現実世界のパフォーマンスにおいて実際に発生した時点でパフォーマンスイベント識別オブジェクト１１１の所与の１つに重なるように、動的進行速度調整を行うためにリアルタイムで処理される。
好ましい実施形態では、パフォーマンス速度は、パフォーマンスイベント識別オブジェクトと調和したパフォーマンスデータがない場合に、レンダリングされたオブジェクトが、パフォーマンスイベント識別オブジェクトの所与の１つを超えて経路に沿って進むことを防止するように、調整される。すなわち、図１Ａのコンテキストでは、リボン１１０は、ＰＳＤの分析が進行オブジェクトと調和することができる現実世界イベントを識別しない限り、進行オブジェクト１１２を超えてイベントオブジェクト１１１の所与の１つを進めることが妨げられる。調和は、（ｉ）パフォーマンスイベント識別オブジェクトとの時間的な調和（例えば、音符が関連する時点で演奏される）；（ｉｉ）パフォーマンスイベント識別オブジェクトとの精度に基づく調和（例えば、正しい音符が演奏される）；の一方又は両方を含み得る。これらの一方又は両方が使用されるかどうかは、実質的に異なる教授経験を提供することが理解されるべきである。両方を使用される場合、ユーザは、実際には、進む前に正しい音符を叩く拡大した機会を提供される。例えば、所与のイベントオブジェクト１１１が進行オブジェクト１１２に到達するとき、ユーザは間違った音符を演奏することがあり、この場合、正しい音符が演奏されるまで（又は、場合によっては、別のルールベースのイベントがトリガされるまで）リボンは定位置（in place）に留まる。
前述の開示は、ＰＳＤの分析に応答してパフォーマンスイベント識別オブジェクトを超える進行を制限するという状況における速度制御に関する。いくつかの実施形態では、速度制御はまた、パフォーマンスイベントオブジェクト間の進行速度に関連して適用される。例えば、アルゴリズムが、パフォーマンスイベント識別オブジェクトＥＯｎ（パフォーマンスイベントＰＥｎに対応する）と次のパフォーマンスイベント識別オブジェクトＥＯｎ＋１（パフォーマンスイベントＰＥｎ＋１に対応する）との間の進行速度を制御するように構成される。好ましくは、パフォーマンス速度は、今後のパフォーマンスイベント識別オブジェクトと照合可能なパフォーマンスデータの受信のための予想時間の予測に基づいて調整される。様々な実施形態において、そのような予測をサポートするために入力の範囲が使用され、例は：
● ＰＥｎ−ｉ、ＰＥｎ間の間隔についての平均観測パフォーマンス速度。例えば、いくつかの実施形態では、平均は、前のｉ音符が演奏された速度に基づいて計算される。平均化は、加重平均であり得る、例えば、より最近のイベント間インターバルのために重み付けされ得る。
● ＰＥｎからＰＥｎ＋１に進む特定のユーザの能力を表すデータ（例えば、過去のＰＳＤの観測（観察）から得られる）。例えば、これは、ユーザがパフォーマンスイベントＰＥｎからＰＥｎ＋１に動く又は類似のパフォーマンスイベント間で動くために以前にかかった平均観測時間に基づき得る。
● ＰＥｎからＰＥｎ＋１への進行に必要なスキルの特定のユーザの適格性（competency）を表すデータ（例えば、過去のＰＳＤの観察から得られる）。
● 特定のユーザの現在の精神状態及び／又は身体（physical）状態を表すデータ。例えば、これは、いくつかの実施形態では、予め定義された刺激（例えば、「今日の調子はいかがですか」のようなチュートリアルの前に質問をしたインターフェースのような）に応答してユーザ入力を得るように構成されるユーザインタフェースコンポーネントから得られる。さらなる実施形態では、これに代えて又はこれに加えて、履歴ＰＳＤの分析に基づく予測を含む（例えば、ユーザが時間の経過とともに多くの間違いを犯しているかどうか、したがって飽きている及び／又は苛立っている可能性がある）。
速度修正及び予測により、リボン１１０の移動の速度が、ユーザの現実世界のパフォーマンスの観測に基づいてリアルタイムで動的に制御された状態で、オブジェクト１０３を介して「適応テンポ」モードが配信されることができる。上述のアプローチによって、ユーザは、ユーザのテンポに適応させるために反応的に適応するグラフィカルユーザインタフェースを用いて、ユーザが望む任意の可変テンポでリボン１１０に表される曲を自由に演奏することができる。
いくつかの実施形態では、１つ又は複数のさらなるユーザインタフェースオブジェクト（すなわち、指示オブジェクト１０３以外のもの）が、進行速度の決定によって影響を受ける。例えば、図１Ａの例に示すように、これらは、ビデオ（いくつかの実施形態ではオーバーレイを伴うビデオを含む）、オーディオ及び／又はアニメーションのようなレンダリングされたメディアを表示するように構成されたメディア表示オブジェクトを含み得る。好ましくは、メディアは、決定された動的に変化する進行速度で再生される。図１Ａの実施形態では、メディア表示オブジェクトは、ビデオファイルのレンダリングを表示するように構成され、ビデオファイルは指示オブジェクト１０３と時間同期される。すなわち、例えば、各パフォーマンスイベント識別オブジェクト１１１は、進行オブジェクト１１２が関連するオブジェクト１１１と重なるときに特定のフレームが表示されるように、ビデオの特定のフレームに対応する。例えば、一実施形態では、ビデオはギターを演奏している人物を示し、音符はリボン１１０の進行と同期して打たれる。
好ましくは、ビデオは、関連するオーディオ、例えばユーザによって演奏されている時間と一致する付随する音楽を有する。予測速度調整は、ユーザが適応テンポモードで付随する音楽と一緒に演奏することを可能にするのに役立つことが理解されるであろう。いくつかの実施形態では、これは、パフォーマンスイベントが予測されたものを超えて遅延される状況を説明するために、進行速度の減速（又は特定のフレームに関連付けられたサウンドの永続化）を引き起こすレート調整によってさらに促進される。
ビデオは、それによって、ユーザの指の位置と正しい指の位置との間の比較を示すために、（ＰＳＤの処理から得られた）予測されたユーザの指の位置を表すオーバーレイを含み得る。
いくつかの実施形態では、ユーザインタフェースは、パフォーマンスイベント識別オブジェクトに対応するパフォーマンスイベントを識別するために、ＰＳＤの処理に関して失敗した調和イベントの監視及び処理に応答して予め定められたアクションを実行するように構成される。例えば、（ｉ）パフォーマンスイベント識別オブジェクトと時間的に調和していない；且つ（ｉｉ）パフォーマンスイベント識別オブジェクトと正確には調和していない、パフォーマンスデータの場合、定義されたアクションがトリガされ得る。定義されたアクションは、以下のいずれか１つ又は複数を含み得る：
● さらなるユーザインタフェースコンポーネントの配信属性の変動（Variation）。例えば、これは、ビューポートの変動及び／又はオーバーレイの適用のような、メディア表示オブジェクト１０５（以下にさらに説明する）に適用される操作を含み得る。
● 例えばフィードバックオブジェクト１０４を介して及び／又はオーディオ出力装置を介して、フィードバックを提供する。
● 進行オブジェクト１１２の位置を調整する。これは、例えばパフォーマンスの所与の部分を再び試みる機会をユーザに提供するために、進行オブジェクトを定義されたポイントに後戻りさせること（すなわち、リボン１１１を定義されたポイントに効果的に巻き戻すこと）を含み得る。場合によっては、これは、進行オブジェクトを予め定義されたループに入らせる、それにより、一連の連続するパフォーマンスイベントの間の特定の動きの繰り返し練習を可能にすることを含む。
● 定義されたサブチュートリアル（sub-tutorial）を開始する。例えば、これは、ＰＳＤの分析を介して観測される識別された困難（又は適格性の欠如）を克服するために必要とされる特定のスキルをユーザが発展させるのを支援するように設計されるオブジェクト１０３を介して配信されるサブチュートリアルを含み得る。
ＰＳＤの分析に応じた予め定められたアクションの選択を支配する特定のルールは、個々のカリキュラムデザインの問題であり、本開示の範囲を超えていることが理解されるべきである。
上記の例は、音楽教授の目的のためのリボン１１０の使用に焦点を当てているが、この技術は、スキルが、パフォーマンスイベントの流れ（ストリーム）を参照することによって分解されることができる様々な他のトレーニング状況にも適用可能であることが理解されるであろう。音楽では、それは音符の流れを参照することによって達成される。同様の原理は、幅広いオーディオベースのスキルに適用可能である。モーションベースのスキルでは、複雑な運動が、運動の態様を参照することによって分解されることができる（これらの態様の相対タイミングをトレーニングする際に特に役立ち得る）。
例：適応テンポモード（オーディオパフォーマンスの実施形態）
図１Ｂは、いくつかの実施形態において、モーションベースのスキルに関して「適応テンポ」モードの配信を可能にするために使用される代替のフレームワークを示す。ここでも、ユーザインタフェースデバイス１００（例示のためだけにスマートフォン又はタブレットのようなタッチスクリーンモバイルデバイスを表す方法で示され、広範囲の他のデバイスが交代に使用されてもよく、ヘッドセット及び／又は網膜ディスプレイ／投影を介した表示を提供するデバイスを含む）は、ディスプレイスクリーン１０１を介してユーザインタフェースのレンダリングを提供する。この例では、ユーザインタフェースデバイス１００は、モーションベースのスキル、例えばスポーツスキル（ジャグリング、サッカーボールを蹴る、ローイングなどのような）のトレーニングのための適応スキルトレーニングプログラムを提供するように構成される。ユーザは、ＭＳＤをＰＯＤデバイス１２０に配信するように構成された複数のＭＳＵを含むＭＳＵ対応衣服１３０を着用する。ＰＯＤデバイス１２０は、ＭＳＤ内のＯＤＣを識別し、これにより、デバイス１００を介して配信されたトレーニングプログラムの配信に影響を及ぼす入力を提供するように構成される。図示のように、ユーザはまた、可聴フィードバックの配信を可能にするヘッドセット１７０を着用する。この可聴フィードバックは、デバイス１００から発するとして示されているが、いくつかの実施形態ではＰＯＤデバイス１２０によって直接提供される。モーションベースのスキルを練習するときにモバイルデバイスを使用することはしばしば不便であるので、ヘッドセットが有用であることが理解されるであろう。同様の理由で、いくつかの実施形態では、デバイス１００は、ウェアラブルユニット、例えば、拡張リアリティヘッドセット、スクリーンディスプレイを備えた眼鏡／ゴーグル、網膜ディスプレイ／プロジェクタなどの形態をとる。
図１Ｂのスクリーン１０１に表示されるユーザインタフェースは、メディア表示オブジェクト１６０と、指示／フィードバックオブジェクト１６１とを含む。例えば、一実施形態では、オブジェクト１６１は、スキルを構成するモーション態様イベントを表す進行タイムラインを提供し、オブジェクト１６０は、正しいフォームを示すアニメーション又はビデオを提供する（オプションで、ＭＳＤから得られる実際のユーザモーションを表すオーバーレイを伴う）。オブジェクト１６０及び１６１は、ＭＳＵ対応衣服１３０上に設けられたＭＳＵから得られるＭＳＤの分析に基づいて、上述のオブジェクト１０３及び１０５と同様の方法で速度が制御される。
例示のユーザインタフェースディスプレイ
図６Ａ及び図６Ｂは、本明細書で説明される技術を使用するギタートレーニングプログラムのための例示的なユーザインタフェースディスプレイを示す。
図６Ａは、図５Ａに示すものと同様に、スクロールリボンオブジェクトを介してギターでの音符の演奏に関して指示を提供するように構成された進行オブジェクトを示す。スクロールは、例えば、ユーザのギターに結合されたＡＳＵから受信されたＡＳＤの処理に基づいて、制御された速度で行われる。進行バーは、パフォーマンスイベント識別オブジェクトに関するユーザの現在の位置を示す。メディアオブジェクトも提供され、これは、パフォーマンスイベント識別オブジェクトに対応する音符の打撃を示すビデオのレンダリングを提供する。ビデオは、進行オブジェクトに結びつけられ速度で再生され、それにより、指示された音符をどのようにして打つかをユーザが視覚化する（visualising）のを支援する。図６Ｂでは、ビデオは、録画されたプライヤーの指の周りをより正確にトリミングされて示され、追加の指導のために指示アイコンがスーパーインポーズされている。例えば、図６Ｂの表示は、エラー識別及びトレーニングサブプロセスの一部として提供されることができる。
図６Ｃは、ゴルフクラブをスイングすることに関する指示を提供するように構成された進行オブジェクトを示す。この場合、複数のＭＳＵ位置ゾーン（ゾーン６００など）が示され、これにより、ゴルフスイング動作中にＭＳＵ対応衣服によって担持されるＭＳＵの正しい位置についてプレーヤに指示する。いくつかの実施形態では、実際のＭＳＵ位置のリアルタイム表示も提供され、これにより、ユーザがモーション／位置補正を視覚化して実行するのを支援する。このようにして、（ゴルフスイングのような）身体活動を通って進行することは、楽曲の音符を打つことと同様に、進行オブジェクトを介して提示される。音符は身体部分の位置に置き換えられ、ユーザは身体活動を行うためにこれらの間を進行する。
図６Ｃに示される位置の間の移行は、滑らかな移行のために、段階的又は徐々にアニメーション化されることができる。図６Ｃはまた、スクリーンの下部にビデオアニメーションリボンを示す。
図６Ｄの例では、試行の観察された属性が表示され、観察と目標添付との間（この例では「２．１．１」対「５．１．１」）並びに（目標と比べた）観察された試行に基づく計算されたクラブヘッドスピードの比較を含む。これは、ユーザが：第１に、正確な位置取り及び位置移行を達成するために位置から位置へとゆっくりと動き；第２に、位置間の遷移のテンポを練習し、次に速度を練習すること；によって動きを練習することを可能にする。
図６Ｅは、動きの特定の部分での動きのエラーを特定するのに役立つ事後分析表示を示す（例えば、相互参照されるＰＣＴ出願に開示された原因／徴候／ＯＤＣに基づく分析を使用する）。これは、指示されたＭＳＵの位置に対する実際の観測されたＭＳＵの位置を示し、フィードバックを提供してそれによりパフォーマンスを向上させるのを支援する。図６Ｆの図は、代わりの角度からのモーショングラフィックを示し、それによりさらなるＭＳＵ位置の視覚化を支援する。
この方法では、図６Ｃ−６Ｅに示されるように、いくつかの実施形態は：一組のモーションセンサユニット（ＭＳＵ）から得られるパフォーマンスデータを受信するステップと；グラフィックオブジェクトをディスプレイスクリーン上に表示させるステップであって、グラフィックオブジェクトは、身体的パフォーマンスの各段階における１つ又は複数のＭＳＵの目標位置を含む、モーションベースのスキルの身体的パフォーマンスの段階の表現を含む、ステップと；一組のモーションセンサユニットから得られるパフォーマンスデータの分析に基づいて身体的パフォーマンスの段階の表示の間で進行するステップと；一組のモーションセンサユニットから得られたパフォーマンスデータの分析に基づいて決定されるモーションセンサユニットの所与の１つの観測位置との間の関係をグラフィックオブジェクトを介して表示するステップと；を含む、スキルトレーニングデータの適応配信のためのコンピュータ実装方法を提供する。
例：メディアコンテンツの効率的な利用
上述したように、いくつかの例は、適応スキルトレーニングプログラムにおけるメディアコンテンツの効率的な利用を提供する。これは、例えばビデオデータのような、トレーニングを支援するためにメディアコンテンツを表示するトレーニングプログラムのコンテキストにおいて関連している。ＰＳＤの分析に基づいて、メディアコンテンツの表示は、例えば、パン／ズーム位置及び／又は速度に関して、変化する。これは、メディアファイルの単一又は限定されたコレクションを介して、より豊かなユーザエクスペリエンスを提供することを可能にし、広範なメディアファイルのコレクションを収集及び／又は維持する必要を回避する。
一実施形態は、１つ又は複数のパフォーマンスセンサユニットから導出されたパフォーマンスデータを受信するステップと；１つ又は複数のパフォーマンスセンサユニットから導出されたパフォーマンスデータを処理するステップと；パフォーマンスデータ内の予め定められた観察可能なデータ条件の識別に基づいて、メディア調整アクションを実行するステップと；を含むコンピュータ実装方法を提供する。好ましい実施形態では、ユーザインタフェースコンポーネントの所与の１つは、再生速度及びビューポート定義を有するメディアオブジェクトを含み、メディア調整アクションを実行するステップは、再生速度及び／又はビューポート定義を調整する決定を行うステップを含む。
再生速度が調整されることができる方法は、上でさらに詳細に扱われる。概要として、ＰＳＤの処理は、ユーザの身体的パフォーマンスに関連する速度の決定を可能にし、その速度はメディア再生に適用される。いくつかの実施形態では、これは、ビデオデータにオーバーレイを提供することを含み、これにより、ユーザの実際のパフォーマンス（例えば、ＭＳＤから構築されるバーチャルボディモデルによる）とベンチマークパフォーマンス（例えば、ビデオデータにキャプチャされたベンチマークパフォーマンス）との間の関係を示す。
ビューポート定義に対する調整は、デジタルパン／ズーム変換をビデオデータに適用することによって達成され、これによってビデオデータのフルフレームレンダリングよりも少ないピクセル（ビューポート）の選択を表示する。一例として、図２は、例示的なフルフレームビデオレンダリング２００、及びビューポート定義のセットを示す。これらはギタートレーニングプログラムのために用いるビデオファイルでギターを弾くエキスパートのビデオを参照することによって示されている。高精細（例えば４Ｋ）の高フレームレートのビデオが最初にキャプチャされ、これは、トレーニングプログラムにとって望ましい少なくとも最大の視野を含む。次に、トレーニングプログラムをオーサリングするとき、定義された条件が満たされることに応じてビューポート定義の調整をもたらすルールが定義されます。これらの定義された条件は、ＰＳＤで満たされる条件、又はＰＳＤを参照する条件を含み得る。
図２の例では、ビューポート定義は：（ｉ）プレーヤの身体を示す部分ズームを提供するビューポート定義２０１と；（ｉｉ）ギター上のプレーヤの右手を示すようにズームされたビューポート定義２０２と；（ｉｉｉ）ギター上のプレーヤの左手を示すようにズームされたビューポート定義２０３と；を含む。これらは、例えば、音楽の特定の部分が録画されたエキスパートによってどのように演奏されるかの詳細なビューをユーザ（すなわち、学生）に提供するために使用される。
いくつかの実施形態では、ギターは、ビデオデータ内で追跡され、それによりギター上の適切な位置における（例えば、ストリングに対する）ビデオデータへのオーバーレイの適用を可能にし、これは、例えば、（生成された音／振動からの最後の指の位置の決定から導出される予測のような、ＰＳＤの分析に基づいて予測されるような）正しい指の位置及び／又はユーザの指の位置を識別するために使用される。
ビューポート定義とＰＳＤ関連の観測との関連付けは、表示されたビデオデータの動的修正を可能にし、これにより、所与のスキル（例えば、特定の曲を演奏するというコンテキストでのスキル、又は特定のモーションベースのスキルの形式でのスキル）のための別々のビデオファイルのライブラリを必要とすることなしに、適応トレーニングプロセスのための所与の時点に適切なスキルトレーニングの視覚教材を提供するのを支援する。単一のビデオファイルが、特定の重要な領域に焦点を当てるようにビューポート定義を調整することにより、複数の形式の視覚教材コンテンツを提供することができる。例えば、ＯＤＣの処理に基づいて、どのフィードバック及び／又は教授が提供されるべきかという転移関して特定の身体の部分（又は同様のもの）が識別され、ビューポート定義がその特定の身体の部分（又は同様のもの）に焦点を合わせるように調整される。
いくつかの実施形態では、角度変更を可能にするビデオキャプチャ技術が使用される。これは、ビューポート調整だけでなくビュー角調整も可能にすることによって、上記の実施形態を強化する。例えば、「バレットタイム」技術は、複数の角度から所与のシーンをキャプチャすることによってビデオデータの角度調整を可能にする。
例示的なユーザインタフェース制御プラットフォーム
図３は、例示的なユーザインタフェース制御プラットフォーム３００を示す。これは、実際には１つ又は複数のソフトウェアアプリケーション及び／又はデータ管理コンポーネントによって提供され得る、複数の機能的に定義されたコンポーネントを参照して示される。プラットフォームは、単一のデバイスで、又は複数のデバイス（例えば、ＰＯＤデバイスとスマートフォンとの組み合わせ、及び／又はサーバデバイス）で実行されるソフトウェア命令に基づいて実行し得る。
プラットフォームは、１つ又は複数のＰＳＵからセンサデータを、又はいくつかの実施形態では（例えば、前処理の程度に基づいて）センサデータから得られたデータを受信するように構成される。そのデータは、パフォーマンス分析モジュール３０１によって分析される。これらは、例えば、プロセッサセンサデータは、それによって、ＯＤＣを識別し、したがって、徴候及び原因のような観察された身体的パフォーマンスの属性を決定する。この分析は、（例えば、ＰＳＤで識別される属性に応じて適応的な方法で指示及びフィードバックをユーザに提供することによって）適応トレーニングプロセスを導くロジックを提供する、フィードバック配信モジュール３０２及びカリキュラム制御モジュール３０３の駆動を可能にする入力を提供する。
メディアデータ３１１のリポジトリは、ユーザインタフェース（例えば、タッチスクリーンデバイス、網膜投影ディスプレイ、ＨＵＤアイウェアなど）にレンダリングされるように構成されるビデオファイルを含む。メディア表示ルールは、モジュール３０２及び／又は３０３に応答して、それによって、（ｉ）表示するメディアを選択し；（ｉｉ）フレームレート、ビューポート定義、及び／又はビュー角度のような表示のための属性を決定する。メディア制御モジュール３１３は、表示ルール３１２の適用からの入力に応答して、（例えば、フレームレート、ビューポートなどを制御することによって）ユーザインタフェースでレンダリングされたメディア表示オブジェクトの動作を制御する命令を提供するように構成される。
指示データ２３１は、ユーザインタフェース指示、例えば図１Ａに示すようなスクロールリボンオブジェクトのレンダリングを可能にするように構成されたデータを含む。指示配信ルールは、例えばＰＳＤの解析に応答して動的に可変の進行速度を決定することによって、指示データが配信されることになる方法を決定するように構成される。指示配信制御モジュールは、例えば、ユーザインタフェースでレンダリングされるオブジェクトの進行速度を動的に制御することによって、それらの決定を実装するように構成される。
オーバーレイの制御
上述したように、いくつかの実装では、オーバーレイがビデオデータに適用される。実施形態は、予め定められた３Ｄオーバーレイモデルを使用して、ビデオデータへのそのようなオーバーレイの適用を可能にするように構成される方法を含む。
オーバーレイモデルデータは、第１の向きで定義される。たとえば、この向きは：
● 音楽教授の場合、所与の楽器の予め定められた向き及び構成。例えば、ギターの教授では、標準化されたギター（又はその一部、例えば、フレット及び弦）が定義される。このようなモデルは、物理的な楽器位置ポイントに対応する定義された仮想ポイントを有する。
● 身体運動教授の場合、標準化された３Ｄ身体モデル、例えば、ＭＣＤ、ＭＳＤなどに基づいて定義されたモデル。このようなモデルは、物理的な身体の位置ポイントに対応する定義された仮想ポイントを有する。
いずれの場合でも、モデルは、ビデオデータへのオーバーレイとして適用され、それによって追加の情報を伝達することができる視覚情報を提供するように定義される。例えば、この視覚情報は：ＰＳＤの処理から導出されたユーザの位置取り；重要な特定の領域；等々；のいずれか１つ又は複数を示し得る。
一実施形態による方法は、ビデオデータにおいて、モデルにおいて定義された仮想ポイントに対応する物理的な位置ポイント（物理的な楽器の位置ポイント又は物理的な身体の位置ポイントなど）を識別することを含む。変換は、正しい位置でビデオデータに重ね合わせられることができるように、３Ｄオーバーレイモデルに適用される。いくつかの実施形態では、これは、ビデオデータに関連するＭＣＤ及び／又はＭＳＤ（又は深度特有のデータ）のキャプチャ及び処理を必要とし、そうでなければ２次元である。
結論および解釈
特に断りのない限り、以下の説明から明らかなように、明細書全体を通じて、「処理する」、「計算する（computing）」、「計算する（calculating）」、「決定する」、「分析する」などの用語を用いる議論は、電子量のような物理量として表されるデータを、同様に物理量として表される他のデータに操作及び／又は変換する、コンピュータまたはコンピュータシステム、或いは同様の電子コンピューティングデバイスの動作及び／又はプロセスを指すことが理解される。
同様に、「プロセッサ」という用語は、電子データを、例えばレジスタ及び／又はメモリから、その電子データを、例えばレジスタ及び／又はメモリに格納され得る、他の電子データに変換するよう処理する任意のデバイス又はデバイスの部分を指し得る。「コンピュータ」又は「コンピューティングマシン」または「コンピューティングプラットフォーム」は、１つ又は複数のプロセッサを含み得る。
本明細書に記載の方法論は、１つの実施形態では、プロセッサの１つ又は複数によって実行されるとき、本明細書に記載の方法の少なくとも１つを実行する命令のセットを含むコンピュータ可読（機械可読とも呼ばれる）コードを受け入れる１つ又は複数のプロセッサによって実行可能である。取られるべき動作を指定する指示のセット（シーケンス又はその他）を実行することができる任意のプロセッサが含まれる。したがって、１つの例は、１つ又は複数のプロセッサを含む典型的な処理システムである。各プロセッサは、ＣＰＵ、グラフィックス処理ユニット、及びプログラマブルＤＳＰユニットのうちの１つ又は複数を含み得る。処理システムはさらに、メインＲＡＭ及び／又はスタティックＲＡＭ、並びに／又はＲＯＭを含むメモリサブシステムを含み得る。バスサブシステムは、構成要素間の通信のために含まれ得る。処理システムはさらに、ネットワークによって結合されたプロセッサを持つ分散処理システムであってもよい。処理システムがディスプレイを必要とする場合、そのようなディスプレイ、例えば、液晶ディスプレイ（ＬＣＤ）または陰極線管（ＣＲＴ）ディスプレイが含まれてよい。手動データ入力が必要な場合、処理システムはまた、キーボードのような英数字入力ユニット、マウスのようなポインティング制御デバイスなどのうちの１つ又は複数の入力デバイスを含む。本明細書で使用されるメモリユニットの用語は、文脈から明らかであり、特に明記しない限り、ディスクドライブユニットのようなストレージシステムも含む。いくつかの構成における処理システムは、サウンド出力デバイスと、ネットワークインターフェースデバイスとを含み得る。したがって、メモリサブシステムは、１つ又は複数のプロセッサによって実行されるとき、本明細書に記載された方法の１つ又は複数を実行させる命令のセットを含むコンピュータ可読コード（例えば、ソフトウェア）を担持するコンピュータ可読キャリア媒体を含む。方法がいくつかの要素、例えばいくつかのステップを含む場合、具体的に述べられていない限り、そのような要素の順序付けが暗示されていないことに留意されたい。ソフトウェアは、コンピュータシステムによる実行中に、ハードディスクに存在してよく、又はＲＡＭ内及び／又はプロセッサ内に完全に又は少なくとも部分的に存在してよい。したがって、メモリ及びプロセッサはまた、コンピュータ可読コードを担持するコンピュータ可読キャリア媒体を構成する。
さらに、コンピュータ可読キャリア媒体は、コンピュータプログラム製品を形成し得る、又はコンピュータプログラム製品に含まれ得る。
代替実施形態では、１つ又は複数のプロセッサは、スタンドアロンデバイスとして動作する、又はネットワーク化された配置に接続されてよく、例えば、他のプロセッサ（複数可）にネットワーク接続されてよく、１つ又は複数のプロセッサは、サーバまたはサーバ−ユーザネットワーク環境のユーザマシンの能力で、あるいはピアツーピアまたは分散ネットワーク環境におけるピアマシンとして、動作してよい。１つ又は複数のプロセッサは、パーソナルコンピュータ（ＰＣ）、タブレットＰＣ、セットトップボックス（ＳＴＢ）、携帯情報端末（ＰＤＡ）、携帯電話、ウェブアプライアンス、ネットワークルータ、スイッチ若しくはブリッジ、又はそのマシンによって取られるべき動作を指定する一連の命令（シーケンス又はその他）を実行できる任意のマシンを形成し得る。
図面は、単一のプロセッサ及びコンピュータ可読コードを担持する単一のメモリのみを示しているが、当業者であれば、上述のコンポーネントの多くが含まれているが、本発明の態様を不明瞭にしないために、明示的に示されていない又は記載されていないことを理解するであろう。例えば、単一のマシンのみが図示されているが、「マシン」という用語は、本明細書で論じられた方法論の１つ又は複数を実行するための命令のセット（又は複数のセット）を個々に又は共同して実行するマシンの任意の集合を含むものとする。
したがって、本明細書に記載された方法のそれぞれの１つの実施形態は、命令のセット、例えば、Ｗｅｂサーバの構成の一部である１つ又は複数のプロセッサ、例えば、１つ又は複数のプロセッサ上で実行するためのコンピュータプログラム、を担持するコンピュータ可読キャリア媒体の形態である。従って、当業者によって理解されるように、本発明の実施形態は、方法、専用装置のような装置、データ処理システムのような装置、又はコンピュータプログラム製品のようなコンピュータ可読キャリア媒体として具体化され得る。コンピュータ可読キャリア媒体は、１つ又は複数のプロセッサ上で実行されるとプロセッサ又はプロセッサ（複数）に方法を実施させる命令のセットを含むコンピュータ可読コードを担持する。したがって、本発明の態様は、方法、完全にハードウェアの実施形態、完全にソフトウェアの実施形態、又はソフトウェアとハードウェアの態様を組み合わせた実施形態の形態を取り得る。さらに、本発明は、媒体に具現化されたコンピュータ可読プログラムコードを担持するキャリア媒体（例えば、コンピュータ可読記憶媒体上のコンピュータプログラム製品）の形態を取り得る。
ソフトウェアはさらに、ネットワークインターフェースデバイスを介してネットワーク上で送信又は受信し得る。キャリア媒体は、単一の媒体である例示的な実施形態で示されているが、用語「キャリア媒体」は、１つ又は複数の命令のセットを格納する単一の媒体又は複数の媒体（例えば、集中型または分散型データベース、並びに／又は関連するキャッシュ及びサーバ）を含むように解釈されるべきである。用語「キャリア媒体」はまた、１つ又は複数のプロセッサによる実行のための命令のセットを格納、エンコードし又は担持することができ、且つ１つ又は複数のプロセッサに本発明の方法論のうちのいずれか1つ又は複数を実行させる、任意の媒体を含むように解釈されるものとする。キャリア媒体は、不揮発性媒体、揮発性媒体、及び伝送媒体を含む多くの形態をとり得るが、これに限定されるものではない。不揮発性媒体は、例えば、光学ディスク、磁気ディスク、及び光磁気ディスクを含む。揮発性媒体は、メインメモリのようなダイナミックメモリを含む。伝送媒体は、バスサブシステムを有するワイヤを含む、同軸ケーブル、銅線及び光ファイバを含む。伝送媒体はまた、電波及び赤外線データ通信中に生成されるような音響波または光波の形態を取り得る。例えば、用語「搬送媒体」はしたがって、それに限定されないが、固体メモリ、光学媒体及び磁気媒体に組み込まれたコンピュータ製品、１つ又は複数のプロセッサの少なくとも１つのプロセッサによって検出可能でありかつ実行されると方法を実施する命令のセットを表す伝搬信号を生む媒体、並びに１つ又は複数のプロセッサのうちの少なくとも１つのプロセッサによって検出可能であり且つ命令のセットを表す伝搬信号を生むネットワーク内の伝送媒体を含むように解釈されるものとする。
論じられる方法のステップは、１つの実施形態では、記憶装置に記憶された命令（コンピュータ可読コード）を実行する処理（すなわちコンピュータ）システムの適切なプロセッサ（又はプロセッサ（複数））によって実行されることが理解されるであろう。また、本発明は、特定の実施またはプログラミング技術に限定されず、本発明は、本明細書で説明される機能を実施するための任意の適切な技術を使用して実施され得ることも理解されるであろう。本発明は、特定のプログラミング言語又はオペレーティングシステムに限定されない。
本発明の例示的な実施形態の上記の説明において、本発明の様々な特徴は、開示を合理化しかつ様々な本発明の特徴の１つ又は複数の理解を助ける目的で、時には、単一の実施形態、図面、又は説明にまとめられることが理解されるべきである。しかしながら、この開示の方法は、請求項に記載された発明が各請求項に明示的に記載されているより多くの特徴を必要とするという意図を反映するものと解釈されるべきではない。むしろ、以下の請求項が反映するように、本発明の態様は、単一の前述の開示された実施形態の全ての特徴よりも少ないものにある。したがって、詳細な説明の後に続く請求項は、本発明の別の実施形態として自立している各請求項とともに、この詳細な説明に明確に組み込まれる。
さらに、本明細書で説明されるいくつかの実施形態は、他の実施形態に含まれるいくつかの特徴を含むが、他の特徴を含まず、異なる実施形態の特徴の組み合わせは、本発明の範囲内であり、当業者によって理解されるように、異なる実施形態を形成すること意図される。例えば、以下の請求項において、請求項に記載された実施形態のいずれかは、任意の組み合わせで使用されることができる。
さらに、実施形態のいくつかは、本明細書では、コンピュータシステムのプロセッサによって又はその機能を実行する他の手段によって実施され得る方法又は方法の要素の組み合わせとして説明される。したがって、このような方法又は方法の要素を実行するために必要な命令を有するプロセッサは、方法または方法の要素を実行するための手段を形成する。さらに、装置の実施形態の本明細書で説明される要素は、本発明を実施する目的で要素によって実行される機能を実行するための手段の例である。
本明細書で提供される説明では、多数の特定の詳細が記載される。しかしながら、本発明の実施形態は、これらの特定の詳細なしで実施され得ることが理解される。他の例では、周知の方法、構造及び技術は、この説明の理解を不明瞭にしないために詳細に示されていない。
同様に、用語「結合された」は、請求項において使用されるとき、直接的な接続のみに限定されると解釈されるべきではないことに留意されたい。用語「結合された」及び「接続された」は、それらの派生語とともに使用されることができる。これらの用語は、互いに同義語として意図されていないことが理解されるべきである。したがって、デバイスＢに結合されたデバイスＡの表現の範囲は、デバイスＡの出力がデバイスＢの入力に直接接続されるデバイス又はシステムに限定されるべきではない。これは、他のデバイス又は手段を含む経路であり得るＡの出力とＢの入力との間の経路が存在することを意味する。「結合された」は、２つ以上の要素が直接物理的又は電気的に接触しているか、あるいは２つ以上の要素が互いに直接接触していないが、依然として互いに協働又は相互作用していることを意味し得る。
したがって、本発明の好ましい実施形態であると考えられるものが記載されているが、当業者であれば、本発明の精神から逸脱することなく他の又はさらなる改変を行うことができ、そのような全ての変更及び修正は、本発明の範囲内に含まれることが意図されることを認識するであろう。例えば、上に与えられた任意の式は、使用され得る手順の単なる代表例である。機能がブロック図に追加又は削除されてよく、動作は機能ブロック間で交換されてよい。ステップは、本発明の範囲内で説明された方法に追加又は削除されてもよい。

Claims (57)

  1. ユーザにトレーニングを提供するように構成されるシステムであって、前記システムは：
    １つ又は複数のパフォーマンスセンサユニット（ＰＳＵ）からパフォーマンスセンサデータを受信するように構成される入力部であって、前記１つ又は複数のパフォーマンスセンサユニットは、人間のユーザによるスキルの身体的パフォーマンスを表すパフォーマンスセンサデータ（ＰＳＤ）を受信するように構成される、入力部と；
    前記ＰＳＤを処理し、それによって前記ＰＳＤの属性を識別し、前記属性を予め定義されたベースラインパフォーマンスデータと比較するように構成される処理装置であって、前記予め定義されたベースラインパフォーマンスデータは：
    パフォーマンスイベントのセットを表すデータであって、前記パフォーマンスイベントのセットはパフォーマンスタイムラインに関連して定義される、データ；
    各前記パフォーマンスイベントに関して、前記ＰＳＤによって満たされることができる前記属性を表すデータ；及び
    前記パフォーマンスイベントの１つ又は複数の組み合わせに関するイベント間相対タイミングデータ；
    を含む、処理装置と；
    グラフィカルユーザインタフェースのレンダリングを制御するように構成されるユーザインタフェース制御コンポーネントであって、前記グラフィカルユーザインタフェースは、制御されたパフォーマンス速度で配信される１つ又は複数のリソースを提供する、ユーザインタフェース制御コンポーネントと；
    速度制御モジュールであって、前記速度制御モジュールは、前記ＰＳＤと前記予め定義されたベースラインパフォーマンスデータとの比較に基づいて前記制御されたパフォーマンス速度を制御するように構成される、速度制御モジュールと；
    を含む、
    システム。
  2. 受信される前記ＰＳＤは、１つの楽器のユーザ操作をモニタリングするように構成される１つ又は複数のセンサから得られるパフォーマンスデータを含む、
    請求項１に記載のシステム。
  3. 受信される前記ＰＳＤは、１つ又は複数のモーションセンサユニットから得られるパフォーマンスデータを含む、
    請求項１に記載のシステム。
  4. 前記１つ又は複数のモーションセンサユニットは、モーションセンサ対応衣服によって提供される、
    請求項３に記載のシステム。
  5. 制御された前記速度で配信される前記１つ又は複数のリソースは、制御された前記パフォーマンス速度で進むレンダリングされる進行オブジェクトを含み、前記レンダリングされる進行オブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行するように制御され、前記パフォーマンスイベント識別オブジェクトは、前記パフォーマンスイベントに対応する、
    請求項１に記載のシステム。
  6. 前記速度制御モジュールは、前記レンダリングされる進行オブジェクトが、（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和される；及び／又は（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確に調和される；パフォーマンスデータが存在しない場合に、前記パフォーマンスイベント識別オブジェクトの所与の１つを超えて前記経路に沿って進行することが防止され、それによって、前記レンダリングされた進行オブジェクトの前記速度が、受信された前記ＰＳＤが受信された前記ＰＳＤによって満足される前記属性を有する前記パフォーマンスイベントを示す速度に基づいて制御される適応テンポモードを提供するように、動作される、
    請求項５に記載のシステム。
  7. 前記制御されたパフォーマンス速度は、次の前記パフォーマンスイベント識別オブジェクトと調和可能なパフォーマンスデータの受信のための予想時間の予測に基づいて、連続する前記パフォーマンスイベント識別オブジェクト間の進行の速度に対して調整される、
    請求項６に記載のシステム。
  8. フィードバック制御モジュールを含み、前記フィードバック制御モジュールは、予め定義された条件に応答して規定されたフィードバック動作を実行するように構成され、前記予め定義された条件は、（ｉ）前記パフォーマンスイベント識別オブジェクトに対応する前記パフォーマンスイベントと時間的に調和し；且つ（ｉｉ）前記パフォーマンスイベント識別オブジェクトに対応する前記パフォーマンスイベントと正確には調和しない；パフォーマンスデータの識別を含む、
    請求項１に記載のシステム。
  9. 評価モジュールを含み、前記評価モジュールは、前記予め定義されたベースラインパフォーマンスデータとの受信される前記ＰＳＤの比較に基づいて、パフォーマンスの特性をスコア付けするように構成される、
    請求項１乃至８のいずれか１項に記載のシステム。
  10. 前記評価モジュールは：
    第１のモードであって、前記制御されたパフォーマンス速度は、前記ＰＳＤの分析に基づいて制御され、前記評価は、前記ＰＳＤが各連続する前記パフォーマンスイベントについての前記属性を表すデータを満足する精度に基づく、第１のモード；
    第２のモードであって、前記制御されたパフォーマンス速度は、前記ＰＳＤの分析に基づいて制御され、前記評価は、前記ＰＳＤが各連続する前記パフォーマンスイベントについての前記属性を表すデータを満足する精度、及び前記ベースラインパフォーマンスデータの前記パフォーマンスイベントの１つ又は複数の組み合わせについてのイベント間相対タイミングデータと前記パフォーマンスイベントの１つ又は複数の組み合わせについての観察された前記イベント間相対タイミングデータとの比較に基づく、第２のモード；並びに
    第３のモードであって、前記制御されたパフォーマンス速度は、前記ＰＳＤのリアルタイムモニタリングとは独立した一定の値に設定され、前記評価は、前記ＰＳＤが各連続する前記パフォーマンスイベントの前記属性を表すデータを満足する精度に基づく、第３のモード；
    を含む、複数のモードで動作するように構成される、
    請求項９に記載のシステム。
  11. スキルトレーニングデータの適応配信のためのコンピュータ実施方法であって、前記方法は：
    （ｉ） １つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを受信するステップと；
    （ｉｉ） 前記１つ又は複数のパフォーマンスセンサユニットから得られる前記パフォーマンスデータを処理するステップと；
    （ｉｉｉ） 前記１つ又は複数のパフォーマンスセンサユニットから得られる前記データを処理する前記ステップに基づいて、１つ又は複数のユーザインタフェースコンポーネントの配信属性を変更する決定を行うステップと；
    （ｉｖ） 前記１つ又は複数のユーザインタフェースコンポーネントの前記配信属性の決定された前記変更を生じさせる信号を提供するステップと；
    を含む、
    方法。
  12. 受信される前記パフォーマンスデータは、１つ又は複数のオーディオセンサユニットから得られるパフォーマンスデータを含む、
    請求項１１に記載の方法。
  13. 受信される前記パフォーマンスデータは、１つの器具のユーザ操作をモニタリングするように構成される１つ又は複数のセンサから得られるパフォーマンスデータを含む、
    請求項１１に記載の方法。
  14. 前記１つの器具は、楽器を含む、
    請求項１１に記載の方法。
  15. 受信される前記パフォーマンスデータは、１つ又は複数のモーションセンサユニットから得られるパフォーマンスデータを含む、
    請求項１１に記載の方法。
  16. 前記１つ又は複数のモーションセンサユニットは、モーションセンサ対応衣服によって提供される、
    請求項１５に記載の方法。
  17. 受信される前記パフォーマンスデータは、複数のモーションセンサユニットから得られるパフォーマンスデータを含み、前記１つ又は複数のモーションセンサユニットから得られる前記パフォーマンスデータを処理する前記ステップは、個々の前記モーションセンサユニットの同時の動作の特性を識別することを含む、
    請求項１５に記載の方法。
  18. 前記１つ又は複数のモーションセンサユニットから得られる前記パフォーマンスデータを処理する前記ステップは、１つ又は複数の予め定義された観察可能なデータ条件の存在を識別することを含む、
    請求項１１に記載の方法。
  19. 前記観察可能なデータ条件のうちの所与の１つの前記存在を識別することを含み、前記観察可能なデータ条件のうちの前記所与の１つは、徴候に関連付けられる、
    請求項１８に記載の方法。
  20. 前記処理するステップはさらに、前記徴候に関連付けられる原因を決定することを含む、
    請求項１９に記載の方法。
  21. 前記徴候に関連付けられる原因を決定することはさらに、１つ又は複数のさらなる観察可能なデータ条件の存在を識別するように、前記１つ又は複数のパフォーマンスセンサユニットから得られる前記データの分析を含む、
    請求項２０に記載の方法。
  22. 前記１つ又は複数のパフォーマンスセンサユニットから得られる前記パフォーマンスデータを処理する前記ステップは、パフォーマンス速度を決定することを含む、
    請求項１１に記載の方法。
  23. 前記ユーザインタフェースコンポーネントのうちの１つ又は複数は、速度属性を含み、前記１つ又は複数のユーザインタフェースコンポーネントの配信属性を変更する決定を行う前記ステップは、決定された前記パフォーマンス速度に基づいて前記速度属性を設定することを含む、
    請求項２２に記載の方法。
  24. 前記パフォーマンス速度は、予想パフォーマンス速度であり、前記予想パフォーマンス速度は、予想の検証に応じて連続的に変更される、
    請求項２２に記載の方法。
  25. 前記ユーザインタフェースコンポーネントのうちの所与の１つは、ある速度で進行するレンダリングされるオブジェクトを含み、前記レンダリングされるオブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行し、
    前記パフォーマンス速度は、前記パフォーマンスイベント識別オブジェクトと調和する前記パフォーマンスデータがない場合に、前記レンダリングされるオブジェクトが前記パフォーマンスイベント識別オブジェクトの所与の１つを越えて前記経路に沿って進行することを防ぐ、
    請求項２２に記載の方法。
  26. 前記パフォーマンス速度は、次の前記パフォーマンスイベント識別オブジェクトと調和可能な前記パフォーマンスデータの受信のための予想時間の予測に基づいて調整される、
    請求項２５に記載の方法。
  27. 前記ユーザインタフェースコンポーネントのうちの所与の１つは、ある速度で進行するレンダリングされるオブジェクトを含み、前記レンダリングされる進行オブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行し、
    前記パフォーマンス速度は、（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和し；且つ（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確に調和する、前記パフォーマンスデータがない場合に、前記レンダリングされるオブジェクトが前記パフォーマンスイベント識別オブジェクトの所与の１つを越えて前記経路に沿って進行することを妨げられるように、調整される、
    請求項２５に記載の方法。
  28. 前記パフォーマンス速度は、次の前記パフォーマンスイベント識別オブジェクトと調和可能な前記パフォーマンスデータの受信のための予想時間の予測に基づいて調整される、
    請求項２７に記載の方法。
  29. 予め定義された条件に応答して、規定された動作が実行され、前記予め定義された条件は、（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和し；且つ（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確には調和しない、前記パフォーマンスデータの識別を含む、
    請求項２７に記載の方法。
  30. 前記規定された動作は：さらなるユーザインタフェースコンポーネントの配信属性を変動させる信号を提供することを含む、
    請求項２９に記載の方法。
  31. 前記変動は、メディアオブジェクトに関するビューポート変動を含む、
    請求項３０に記載の方法。
  32. 前記規定された動作は：フィードバックを提供することを含む、
    請求項２９に記載の方法。
  33. 前記規定された動作は：前記進行オブジェクトの位置を調整することを含む、
    請求項２９に記載の方法。
  34. 前記進行オブジェクトの前記位置を調整することは、前記進行オブジェクトを定義されたポイントに後戻りさせることを含む、
    請求項３３に記載の方法。
  35. 前記規定された動作は：前記進行オブジェクトを予め定義されたループに入らせることを含む、
    請求項２９に記載の方法。
  36. 前記規定された動作は：定義されたサブチュートリアルを開始することを含む、
    請求項１９に記載の方法。
  37. 前記ユーザインタフェースコンポーネントのうちの所与の１つは、ある速度で進行するレンダリングされるオブジェクトを含み、前記レンダリングされる進行オブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行し、
    前記ユーザインタフェースコンポーネントのうちの１つ又は複数の配信属性を変更する決定を行うステップは、（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和する；及び／又は（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確に調和する、前記パフォーマンスデータがない場合に、前記レンダリングされるオブジェクトが前記パフォーマンスイベント識別オブジェクトの所与の１つを越えて前記経路に沿って進行することを妨げられるように、前記速度を調整することを含む、
    請求項１１に記載の方法。
  38. 前記パフォーマンス速度は、次の前記パフォーマンスイベント識別オブジェクトと調和可能な前記パフォーマンスデータの受信のための予想時間の予測に基づいて調整される、
    請求項３７に記載の方法。
  39. 予め定義された条件に応答して、規定された動作が実行され、前記予め定義された条件は、（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和し；且つ（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確には調和しない、前記パフォーマンスデータの識別を含む、
    請求項３７に記載の方法。
  40. 前記規定された動作は：さらなるユーザインタフェースコンポーネントの配信属性を変動させる信号を提供することを含む、
    請求項３９に記載の方法。
  41. 前記変動は、メディアオブジェクトに関するビューポート変動を含む、
    請求項４０に記載の方法。
  42. 前記規定された動作は：フィードバックを提供することを含む、
    請求項３９に記載の方法。
  43. 前記規定された動作は：前記進行オブジェクトの位置を調整することを含む、
    請求項３９に記載の方法。
  44. 前記進行オブジェクトの前記位置を調整することは、前記進行オブジェクトを定義されたポイントに後戻りさせることを含む、
    請求項４３に記載の方法。
  45. 前記規定された動作は：前記進行オブジェクトを予め定義されたループに入らせることを含む、
    請求項３９に記載の方法。
  46. 前記規定された動作は：定義されたサブチュートリアルを開始することを含む、
    請求項３９に記載の方法。
  47. 前記ユーザインタフェースコンポーネントのうちの所与の１つは、再生速度及びビューポート定義を有するメディアオブジェクトを含み、
    前記１つ又は複数のユーザインタフェースコンポーネントの前記配信属性を変更する決定を行う前記ステップは、前記再生速度及び／又は前記ビューポート定義を調整する決定を行うことを含む、
    請求項１１に記載の方法。
  48. 前記再生速度は、前記パフォーマンスデータの処理から得られるパフォーマンス速度に応じて調整される、
    請求項４７に記載の方法。
  49. 前記ビューポート定義は、前記パフォーマンスデータの処理から得られる精度の決定に応じて調整される、
    請求項４７に記載の方法。
  50. 前記ビューポート定義は、前記パフォーマンスデータにおける１つ又は複数の観察可能なデータ条件の識別に応じて調整される、
    請求項４７に記載の方法。
  51. 一組のルールが定義され、前記ルールは、前記観察可能なデータ条件及びビューポート定義調整を関連付ける、
    請求項５０に記載の方法。
  52. 前記ビューポート定義の調整は、デジタルパン及び／又はズーム動作を含む、
    請求項４７に記載の方法。
  53. 前記ビューポート定義の調整は、角度調整を含む、
    請求項４７に記載の方法。
  54. スキルトレーニングデータの適応配信のためのコンピュータ実施方法であって、前記方法は：
    モーションセンサユニット（ＭＳＵｓ）のセットから得られるパフォーマンスデータを受信するステップと；
    グラフィカルオブジェクトを表示画面上に表示させるステップであって、前記グラフィカルオブジェクトは、身体的パフォーマンスの各段階における１つ又は複数の前記ＭＳＵｓの目標位置を含む、動作ベースのスキルの前記身体的パフォーマンスの前記段階の表現を含む、ステップと；
    前記モーションセンサユニットのセットから得られる前記パフォーマンスデータの分析に基づいて前記身体的パフォーマンスの前記段階の表示の間で進行するステップと；
    前記グラフィカルオブジェクトを介して、前記モーションセンサユニットのセットから得られる前記パフォーマンスデータの分析に基づいて決定される前記モーションセンサユニットの所与の１つの観察される位置の間の関係を表示するステップと；
    を含む、
    方法。
  55. 操作の適応テンポモードで動作するステップを含む、
    請求項５４に記載の方法。
  56. スキルトレーニングデータの適応配信のためのコンピュータ実施方法であって、前記方法は：
    １つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを受信するステップと；
    調和アクションを実行するステップであって：
    ユーザインタフェースコンポーネントのうちの所与の１つが、ある速度で進行するレンダリングされた進行オブジェクトを含み、前記レンダリングされた進行オブジェクトは、複数のパフォーマンスイベント識別オブジェクトを含む経路に沿って進行し；
    前記調和アクションは、前記パフォーマンスデータが（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和しているかどうか；及び／又は（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確に調和しているかどうか；を判定することを含む、
    ステップと；
    前記レンダリングされた進行オブジェクトが、（ｉ）前記パフォーマンスイベント識別オブジェクトと時間的に調和している；及び／又は（ｉｉ）前記パフォーマンスイベント識別オブジェクトと正確に調和している；前記パフォーマンスデータがない場合に、前記パフォーマンスイベント識別オブジェクトのうちの所与の１つを超えた前記経路に沿って進行することを防止するように、前記速度を調整するステップと；
    を含む、
    方法。
  57. スキルトレーニングデータの適応配信のためのコンピュータ実施方法であって、前記方法は：
    １つ又は複数のパフォーマンスセンサユニットから得られるパフォーマンスデータを受信するステップと；
    前記１つ又は複数のパフォーマンスセンサユニットから得られる前記パフォーマンスデータを処理するステップと；
    前記パフォーマンスデータ内の予め定義された観察可能なデータ条件の識別に基づいて、メディア調整アクションを実行するステップであって、
    ユーザインタフェースコンポーネントのうちの所与の１つは、再生速度とビューポート定義とを有するメディアオブジェクトを含み；
    前記メディア調整アクションを実行するステップは、前記再生速度及び／又は前記ビューポート定義を調整する決定を行うことを含む、
    ステップと；
    を含む、
    方法。
JP2018530155A 2015-12-10 2016-12-12 パフォーマンスモニタリングハードウェアによるユーザパフォーマンスのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法 Pending JP2019505832A (ja)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
AU2015905108A AU2015905108A0 (en) 2015-12-10 Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance data
AU2015905108 2015-12-10
AUPCT/AU2016/000020 2016-02-02
AUPCT/AU2016/000026 2016-02-02
PCT/AU2016/000026 WO2016123654A1 (en) 2015-02-02 2016-02-02 Frameworks, devices and methodologies configured to provide of interactive skills training content, including delivery of adaptive training programs based on analysis of performance sensor data
PCT/AU2016/000020 WO2016123648A1 (en) 2015-02-02 2016-02-02 Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
PCT/AU2016/051220 WO2017096436A1 (en) 2015-12-10 2016-12-12 Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance via performance monitoring hardware

Publications (1)

Publication Number Publication Date
JP2019505832A true JP2019505832A (ja) 2019-02-28

Family

ID=59012470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018530155A Pending JP2019505832A (ja) 2015-12-10 2016-12-12 パフォーマンスモニタリングハードウェアによるユーザパフォーマンスのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法

Country Status (6)

Country Link
US (1) US11074826B2 (ja)
EP (1) EP3387634B1 (ja)
JP (1) JP2019505832A (ja)
KR (1) KR20190038748A (ja)
CN (1) CN109074752A (ja)
WO (1) WO2017096436A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7066116B2 (ja) * 2017-11-27 2022-05-13 地方独立行政法人東京都立産業技術研究センター 人体形状モデル可視化システム、人体形状モデル可視化方法およびプログラム
CN110706553B (zh) * 2019-11-13 2022-02-01 北京音悦荚科技有限责任公司 一种基于ar增强现实的乐器辅助学习系统及方法和装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001246155A (ja) * 2000-03-06 2001-09-11 Yamaha Corp 音楽ゲーム装置及び方法並びに記憶媒体
JP2009169103A (ja) * 2008-01-16 2009-07-30 Yamaha Corp 練習支援装置
JP2011150351A (ja) * 2011-02-15 2011-08-04 Kawai Musical Instr Mfg Co Ltd 電子楽器
JP2014502178A (ja) * 2010-11-05 2014-01-30 ナイキ インターナショナル リミテッド 自動化個人トレーニングのための方法およびシステム
US20150044652A1 (en) * 2010-10-15 2015-02-12 Jammit, Inc. Analyzing or emulating a dance performance through dynamic point referencing

Family Cites Families (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6293802B1 (en) 1998-01-29 2001-09-25 Astar, Inc. Hybrid lesson format
US6389368B1 (en) 1999-10-01 2002-05-14 Randal R. Hampton Basketball goal sensor for detecting shots attempted and made
AU2002255568B8 (en) 2001-02-20 2014-01-09 Adidas Ag Modular personal network systems and methods
US20040219498A1 (en) 2002-04-09 2004-11-04 Davidson Lance Samuel Training apparatus and methods
JP4975249B2 (ja) * 2002-10-09 2012-07-11 ボディーメディア インコーポレイテッド 生理学的情報及び／又はコンテキストパラメータを用いて個人の状態パラメータを測定する装置
US20060025229A1 (en) 2003-12-19 2006-02-02 Satayan Mahajan Motion tracking and analysis apparatus and method and system implementations thereof
KR20070032628A (ko) 2004-01-26 2007-03-22 모델골프 엘엘시 육체적 기술의 동작 및 이 육체적 기술의 수행에 사용하는장비의 측정 및 평가를 위한 시스템 및 방법
WO2006081395A2 (en) 2005-01-26 2006-08-03 Bentley Kinetics, Inc. Method and system for athletic motion analysis and instruction
EP1850921B1 (en) * 2005-02-14 2018-08-08 Koninklijke Philips N.V. Electronic device and method for reproducing a human perceptual signal
WO2007033194A2 (en) 2005-09-13 2007-03-22 Aware Technologies, Inc. Method and system for proactive telemonitor with real-time activity and physiology classification and diary feature
US7602301B1 (en) 2006-01-09 2009-10-13 Applied Technology Holdings, Inc. Apparatus, systems, and methods for gathering and processing biometric and biomechanical data
US8714986B2 (en) 2006-08-31 2014-05-06 Achieve3000, Inc. System and method for providing differentiated content based on skill level
JP2008073285A (ja) 2006-09-22 2008-04-03 Seiko Epson Corp 靴、その靴を履いた人の歩行・走行動作評価支援装置
WO2008132265A1 (en) 2007-04-27 2008-11-06 Nokia Corporation Modifying audiovisual output in a karaoke system based on performance context
US8839387B2 (en) 2009-01-28 2014-09-16 Headwater Partners I Llc Roaming services network and overlay networks
CN101441776B (zh) 2008-12-04 2010-12-29 浙江大学 示范表演驱动的基于加速传感器的三维人体动作编排方法
US9060714B2 (en) 2008-12-04 2015-06-23 The Regents Of The University Of California System for detection of body motion
US20100184564A1 (en) 2008-12-05 2010-07-22 Nike, Inc. Athletic Performance Monitoring Systems and Methods in a Team Sports Environment
US8988240B2 (en) 2009-01-15 2015-03-24 AvidaSports, LLC Performance metrics
EP2389152A4 (en) 2009-01-20 2016-05-11 Univ Northeastern MULTI-USER SMARTGLOVE FOR REHABILITATION BASED ON VIRTUAL ENVIRONMENTS
GB0901020D0 (en) 2009-01-21 2009-03-04 Birmingham City University A motion capture apparatus
CA2757238C (en) 2009-03-27 2019-06-25 Infomotion Sports Technologies, Inc. Monitoring of physical training events
US8289185B2 (en) 2009-05-05 2012-10-16 Advanced Technologies Group, LLC Sports telemetry system for collecting performance metrics and data
US8629342B2 (en) * 2009-07-02 2014-01-14 The Way Of H, Inc. Music instruction system
WO2011028383A1 (en) 2009-09-04 2011-03-10 Nike International Ltd. Monitoring and tracking athletic activity
US20110270135A1 (en) 2009-11-30 2011-11-03 Christopher John Dooley Augmented reality for testing and training of human performance
IT1397737B1 (it) * 2010-01-18 2013-01-24 Giovanni Saggio Apparecchiatura e metodo di rilevamento, addestramento e allenamento di attivita' motorie
US8338684B2 (en) * 2010-04-23 2012-12-25 Apple Inc. Musical instruction and assessment systems
GB2482729A (en) * 2010-08-13 2012-02-15 Monnowtone Ltd An augmented reality musical instrument simulation system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US10216893B2 (en) 2010-09-30 2019-02-26 Fitbit, Inc. Multimode sensor devices
US9223936B2 (en) 2010-11-24 2015-12-29 Nike, Inc. Fatigue indices and uses thereof
US9457256B2 (en) 2010-11-05 2016-10-04 Nike, Inc. Method and system for automated personal training that includes training programs
JP5641222B2 (ja) 2010-12-06 2014-12-17 セイコーエプソン株式会社 演算処理装置、運動解析装置、表示方法及びプログラム
CN103748589B (zh) 2011-02-17 2017-12-12 耐克创新有限合伙公司 跟踪用户锻炼期间的表现指标
US8696450B2 (en) 2011-07-27 2014-04-15 The Board Of Trustees Of The Leland Stanford Junior University Methods for analyzing and providing feedback for improved power generation in a golf swing
FI20115791A0 (fi) * 2011-08-10 2011-08-10 Polar Electro Oy Harjoittelun ohjauslaite
US9886871B1 (en) * 2011-12-27 2018-02-06 PEAR Sports LLC Fitness and wellness system with dynamically adjusting guidance
US9474970B2 (en) 2012-01-26 2016-10-25 David H. Kil System and method for processing motion-related sensor data with social mind-body games for health application
ITMI20120494A1 (it) 2012-03-27 2013-09-28 B10Nix S R L Apparato e metodo per l'acquisizione ed analisi di una attivita' muscolare
US9737261B2 (en) 2012-04-13 2017-08-22 Adidas Ag Wearable athletic activity monitoring systems
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
CN102819863B (zh) 2012-07-31 2015-01-21 中国科学院计算技术研究所 一种三维人体运动的实时在线获取方法及其系统
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US9498128B2 (en) 2012-11-14 2016-11-22 MAD Apparel, Inc. Wearable architecture and methods for performance monitoring, analysis, and feedback
US9278255B2 (en) 2012-12-09 2016-03-08 Arris Enterprises, Inc. System and method for activity recognition
US9043004B2 (en) 2012-12-13 2015-05-26 Nike, Inc. Apparel having sensor system
US9226706B2 (en) 2012-12-19 2016-01-05 Alert Core, Inc. System, apparatus, and method for promoting usage of core muscles and other applications
CA2900102A1 (en) 2013-02-06 2014-08-14 Blur Sports Inc. Performance monitoring systems and methods for edging sports
CN103135765A (zh) 2013-02-20 2013-06-05 兰州交通大学 一种基于微机械传感器的人体动作信息捕捉系统
US9728103B2 (en) 2013-03-15 2017-08-08 Illinois Tool Works Inc. Data storage and analysis for a welding training system
US9713852B2 (en) * 2013-03-15 2017-07-25 Illinois Tool Works Inc. Welding training systems and devices
US20140320481A1 (en) 2013-04-30 2014-10-30 Hewlett-Packard Development Company, L.P. Display control
WO2014197443A1 (en) 2013-06-03 2014-12-11 Kacyvenski Isaiah Motion sensor and analysis
US8901405B1 (en) * 2013-08-22 2014-12-02 McCarthy Music Corp. Electronic piano training device
US10687193B2 (en) 2013-09-19 2020-06-16 Unaliwear, Inc. Assist device and system
EP3060119B1 (en) * 2013-10-21 2021-06-23 Apple Inc. Method for sensing a physical activity of a user
CA2920297A1 (en) 2013-10-31 2015-05-07 Dexcom, Inc. Adaptive interface for continuous monitoring devices
CH709324A2 (fr) 2014-01-06 2015-08-28 Cédric Mangaud Dispositif de création de vidéos augmentées.
CN103990285B (zh) 2014-05-12 2017-02-22 宁波市智能制造产业研究院 表演机器人
US20160180248A1 (en) 2014-08-21 2016-06-23 Peder Regan Context based learning
US9772684B2 (en) 2014-09-17 2017-09-26 Samsung Electronics Co., Ltd. Electronic system with wearable interface mechanism and method of operation thereof
WO2016056449A1 (ja) 2014-10-10 2016-04-14 富士通株式会社 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ
US10918924B2 (en) 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
US10854104B2 (en) 2015-08-28 2020-12-01 Icuemotion Llc System for movement skill analysis and skill augmentation and cueing
US11030918B2 (en) * 2015-09-10 2021-06-08 Kinetic Telemetry, LLC Identification and analysis of movement using sensor devices
US10970661B2 (en) 2016-01-11 2021-04-06 RaceFit International Company Limited System and method for monitoring motion and orientation patterns associated to physical activities of users
WO2018191559A1 (en) 2017-04-12 2018-10-18 Copelan Russell Wearable measuring apparatus and method for sports training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001246155A (ja) * 2000-03-06 2001-09-11 Yamaha Corp 音楽ゲーム装置及び方法並びに記憶媒体
JP2009169103A (ja) * 2008-01-16 2009-07-30 Yamaha Corp 練習支援装置
US20150044652A1 (en) * 2010-10-15 2015-02-12 Jammit, Inc. Analyzing or emulating a dance performance through dynamic point referencing
JP2014502178A (ja) * 2010-11-05 2014-01-30 ナイキ インターナショナル リミテッド 自動化個人トレーニングのための方法およびシステム
JP2011150351A (ja) * 2011-02-15 2011-08-04 Kawai Musical Instr Mfg Co Ltd 電子楽器

Also Published As

Publication number Publication date
WO2017096436A1 (en) 2017-06-15
CN109074752A (zh) 2018-12-21
EP3387634A4 (en) 2019-05-01
KR20190038748A (ko) 2019-04-09
US20190228672A1 (en) 2019-07-25
EP3387634B1 (en) 2021-02-24
EP3387634A1 (en) 2018-10-17
US11074826B2 (en) 2021-07-27

Similar Documents

Publication Publication Date Title
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
US8562403B2 (en) Prompting a player of a dance game
CN114746158B (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
WO2016111069A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20160093131A (ko) 동작 기반 인터랙티브 서비스 방법 및 시스템
KR101936692B1 (ko) 댄스 키모션 자동생성을 이용한 댄스 트레이닝 장치 및 방법
US10139901B2 (en) Virtual reality distraction monitor
JP7559360B2 (ja) ユーザの動きによるビデオ再生のリアルタイム同期の方法及びシステム、プログラム
CN114746159A (zh) 人工智能(ai)控制的相机视角生成器和ai广播员
US20220277506A1 (en) Motion-based online interactive platform
US20190064919A1 (en) Mitigating digital reality leakage through session modification
JP2018522361A (ja) パフォーマンスセンサユニットから得られるユーザパフォーマンス属性に基づいてメディアデータの自動化された分類及び／又は検索を可能にするように構成されたフレームワーク、デバイス及び方法論
JP2019505832A (ja) パフォーマンスモニタリングハードウェアによるユーザパフォーマンスのモニタリングに基づいてスキルトレーニングデータのリアルタイム適応配信を可能にするように構成されるフレームワーク及び方法
WO2020079996A1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20230162458A1 (en) Information processing apparatus, information processing method, and program
JP6999543B2 (ja) インタラクティブスキルトレーニングコンテンツの配信への応用を含む、身体的に実行されるスキルの分析を可能にするように構成されるフレームワークおよび方法
EP4434597A2 (en) Player-tracking video game editor
US20230381643A1 (en) Method and system for processing gender voice compensation
US20230386452A1 (en) Methods for examining game context for determining a user's voice commands
US20240139635A1 (en) Methods and systems for assistive chat interactivity
US20240135617A1 (en) Online interactive platform with motion detection
US20240299855A1 (en) Systems and methods for facilitating private communication between users
CN117122907A (zh) 用于提供游戏重新沉浸的方法和系统

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190108

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210803