JP2023181210A5 - - Google Patents

Claims (25)

1. 拡張現実オブジェクトと相互作用するための方法であって、前記方法は、
   ハードウェアコンピュータプロセッサの制御下で、
   ウェアラブルディスプレイシステムの装着者による相互作用のための拡張現実オブジェクトを生成することであって、前記拡張現実オブジェクトは、前記拡張現実オブジェクトと関連付けられる特性の修正のためのインターフェースを含み、前記ウェアラブルディスプレイシステムのディスプレイ上に表示され、前記拡張現実オブジェクトは、複数のステムトラックのうちの少なくとも１つを備えるオーディオファイルと関連付けられる、ことと、
   複数の可聴領域を参照して３次元（３Ｄ）環境において前記装着者の姿勢を判定することであって、前記可聴領域のそれぞれは、前記装着者が、前記ウェアラブルディスプレイシステムのスピーカを通して前記オーディオファイルの前記複数のステムトラックのうちの１つ以上を知覚することができる、前記３Ｄ環境の一部を備える、ことと、
   前記装着者の前記判定された姿勢に対応する可聴領域を選択することと、
   前記装着者が前記インターフェースと相互作用する間に前記装着者のジェスチャを検出することと、
   前記検出されたジェスチャを、前記選択された可聴領域内に提示された前記拡張現実オブジェクトの特性への修正と関連付けることと、
   前記拡張現実オブジェクトの前記特性への前記修正にしたがって前記拡張現実オブジェクトを修正することと、
   前記修正された拡張現実オブジェクトおよび前記選択された可聴領域と関連付けられる前記複数のステムトラックのうちの少なくとも１つを備える視聴覚データを提示することであって、前記ウェアラブルディスプレイシステムの少なくとも前記スピーカを介して前記複数のステムトラックのうちの前記少なくとも１つを再生することを含む、ことと
   を実行することを含む、方法。
2. 前記装着者が前記インターフェースと相互作用する間に前記装着者の前記ジェスチャを検出することは、
   前記ウェアラブルディスプレイシステムの外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第１の画像を捕捉することと、
   前記ウェアラブルディスプレイシステムの前記外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第２の画像を捕捉することと、
   前記第１の画像および前記第２の画像を比較して、前記装着者のジェスチャを検出することと
   を含む、請求項１に記載の方法。
3. 前記拡張現実オブジェクトの前記インターフェースは、前記拡張現実オブジェクトのスキュアモーフィック表現に対応する、請求項１に記載の方法。
4. 前記拡張現実オブジェクトは、楽器または楽器を演奏している人物に対応する、請求項１に記載の方法。
5. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けることは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられるステムトラックの属性を修正することを含む、請求項４に記載の方法。
6. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けることは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられる新しいステムトラックを生成することを含む、請求項４に記載の方法。
7. 前記拡張現実オブジェクトは、複数の表面を備える３次元仮想オブジェクトであり、各表面は、前記複数のステムトラックのうちのあるステムトラックと関連付けられる、請求項１に記載の方法。
8. 前記装着者の前記ジェスチャに応答して、前記複数のステムトラックを使用して、音コラージュ効果を生成することをさらに含む、請求項７に記載の方法。
9. 前記楽器と関連付けられる前記ステムトラックは、前記ウェアラブルディスプレイシステムに結合されたオーディオシステムによって再生されている複数のステムトラックのうちの１つである、請求項５に記載の方法。
10. 前記複数のステムトラックのうちの少なくとも１つは、ユーザ生成ステムトラックによって置換されるオリジナルステムトラックである、請求項１に記載の方法。
11. 付加的拡張現実オブジェクトは、前記付加的拡張現実オブジェクトによって表される、対応するステムトラックの変更のために、前記装着者の頭部ジェスチャを用いて選択される、請求項１に記載の方法。
12. 前記複数のステムトラックのうちの少なくとも１つは、前記ステムトラックの指向性と関連付けられる情報を備える、請求項１に記載の方法。
13. 前記複数のステムトラックのうちの少なくとも１つは、前記装着者に対する空間場所と関連付けられる、請求項１に記載の方法。
14. 少なくとも部分的に前記装着者の前記ジェスチャに基づいて、前記複数のステムトラックのうちの前記少なくとも１つと関連付けられる前記空間場所をロックすることをさらに含む、請求項１３に記載の方法。
15. 前記オーディオファイルは、前記複数のステムトラック、所与の時間における前記複数のステムトラックと関連付けられる位置データ、または前記複数のステムトラックの可視化に関する情報のうちの少なくとも１つを示すメタデータを備える、オーディオフォーマットでエンコードされる、請求項１に記載の方法。
16. ウェアラブルデバイスであって、
    複数のステムトラックを備えるオーディオファイルを記憶するように構成された非一過性メモリであって、各ステムトラックは、前記オーディオファイルの異なるオーディオコンテンツを表す、非一過性メモリと、
    前記ウェアラブルデバイスのユーザの姿勢と関連付けられる情報を測定するように構成されたセンサと、
    画像を前記ウェアラブルデバイスの前記ユーザの眼に提示するように構成されたディスプレイと、
    音を前記ウェアラブルデバイスの前記ユーザに提示するように構成されたスピーカと、
    前記非一過性メモリ、前記センサ、前記スピーカ、および前記ディスプレイと通信するプロセッサと
    を備え、
    前記プロセッサは、
    前記ウェアラブルデバイスの前記ユーザによる相互作用のための拡張現実オブジェクトを生成することであって、前記拡張現実オブジェクトは、前記拡張現実オブジェクトと関連付けられる特性の修正のためのインターフェースを含み、前記ディスプレイを通して提示され、前記拡張現実オブジェクトは、前記複数のステムトラックのうちの少なくとも１つを備える前記オーディオファイルと関連付けられる、ことと、
    複数の可聴領域を参照して３次元（３Ｄ）環境において装着者の姿勢を判定することであって、前記可聴領域のそれぞれは、前記装着者が、ウェアラブルディスプレイシステムのスピーカを通して前記オーディオファイルの前記複数のステムトラックのうちの１つ以上を知覚することができる、前記３Ｄ環境の一部を備える、ことと、
    前記装着者の前記判定された姿勢に対応する可聴領域を選択することと、
    前記ユーザが前記インターフェースと相互作用する間に前記ユーザのジェスチャを検出することと、
    前記検出されたジェスチャを、前記選択された可聴領域内に提示された前記拡張現実オブジェクトの特性への修正と関連付けることと、
    前記拡張現実オブジェクトの前記特性への前記修正にしたがって前記拡張現実オブジェクトを修正することと、
    前記修正された拡張現実オブジェクトおよび前記選択された可聴領域と関連付けられる前記複数のステムトラックのうちの少なくとも１つを備える視聴覚データを提示することであって、前記ウェアラブルディスプレイシステムの少なくとも前記スピーカを介して前記複数のステムトラックのうちの前記少なくとも１つを再生することを含む、ことと
    を行うための実行可能命令を用いてプログラムされている、ウェアラブルデバイス。
17. 前記装着者が前記インターフェースと相互作用する間に前記装着者の前記ジェスチャを検出するために、前記ウェアラブルデバイスは、
    前記ウェアラブルディスプレイシステムの外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第１の画像を捕捉することと、
    前記ウェアラブルディスプレイシステムの前記外向きに面した画像捕捉デバイスを用いて、前記装着者の手の第２の画像を捕捉することと、
    前記第１の画像および前記第２の画像を比較して、前記装着者のジェスチャを検出することと
    を行うように構成されている、請求項１６に記載のウェアラブルデバイス。
18. 前記拡張現実オブジェクトは、楽器または楽器を演奏している人物に対応する、請求項１６に記載のウェアラブルデバイス。
19. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けるために、前記プロセッサは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられるステムトラックの属性を修正するように構成されている、請求項１８に記載のウェアラブルデバイス。
20. 前記検出されたジェスチャを前記楽器または前記楽器を演奏している前記人物への前記修正と関連付けるために、前記プロセッサは、前記楽器と相互作用する前記装着者の手または指の移動を検出し、前記楽器と関連付けられる新しいステムトラックを生成するように構成されている、請求項１８に記載のウェアラブルデバイス。
21. 前記楽器と関連付けられる前記ステムトラックは、前記ウェアラブルディスプレイシステムに結合されたオーディオシステムによって再生されている複数のステムトラックのうちの１つである、請求項１９に記載の方法。
22. 前記複数のステムトラックのうちの少なくとも１つは、ユーザ生成ステムトラックによって置換されるオリジナルステムトラックである、請求項１６に記載のウェアラブルデバイス。
23. 付加的拡張現実オブジェクトは、前記付加的拡張現実オブジェクトによって表される、対応するステムトラックの変更のために、前記装着者の頭部ジェスチャを用いて選択される、請求項１６に記載のウェアラブルデバイス。
24. 前記プロセッサは、少なくとも部分的に前記装着者の前記ジェスチャに基づいて、前記複数のステムトラックのうちの前記少なくとも１つと関連付けられる空間場所をロックするように構成されている、請求項１６に記載のウェアラブルデバイス。
25. 前記オーディオファイルは、前記複数のステムトラック、所与の時間における前記複数のステムトラックと関連付けられる位置データ、または前記複数のステムトラックの可視化に関する情報のうちの少なくとも１つを示すメタデータを備える、オーディオフォーマットでエンコードされる、請求項１６に記載のウェアラブルデバイス。