JP2021073763A - 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム - Google Patents

Abstract

【課題】好適な空間化オーディオを用いた仮想現実、拡張現実、および複合現実システムを提供すること。【解決手段】空間化オーディオシステムは、聴取者の頭部姿勢を検出するためのセンサを含む。本システムはまた、第１および第２の段階においてオーディオデータをレンダリングするためのプロセッサを含む。第１の段階は、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。第２の段階は、聴取者の検出された頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。【選択図】図９

Description

本開示は、空間化オーディオシステムを用いた、仮想現実、拡張現実、および／または複合現実システムと、それを使用して、空間化オーディオを含む、仮想現実、拡張現実、および／または複合現実体験を生成するための方法とに関する。

現代のコンピューティングおよびディスプレイ技術は、いわゆる「複合現実」（「ＭＲ」）、「仮想現実」（「ＶＲ」）、および／または「拡張現実」（「ＡＲ」）体験のための複合現実システムの開発を促進している。これは、コンピュータ生成画像をユーザに頭部搭載型ディスプレイを通して提示することによって行われることができる。本画像は、感覚体験を作成し、これは、ユーザをシミュレートされた環境に没入させる。ＶＲシナリオは、典型的には、実際の実世界の視覚的入力に対する透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う。

ＡＲシステムは、概して、実世界環境をシミュレートされた要素で補完する。例えば、ＡＲシステムは、ユーザに、周囲実世界環境のビューを頭部搭載型ディスプレイを介して提供してもよい。しかしながら、コンピュータ生成画像もまた、ディスプレイ上に提示され、実世界環境を向上させることができる。本コンピュータ生成画像は、実世界環境にコンテキスト的に関連する、要素を含むことができる。そのような要素は、シミュレートされたテキスト、画像、オブジェクト等を含むことができる。ＭＲシステムはまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムを上回る相互作用の程度を特徴とする。シミュレートされた要素は、多くの場合、リアルタイムで相互作用することができる。ＶＲ／ＡＲ／ＭＲシナリオは、空間化オーディオを提示され、ユーザ体験を改良することができる。

種々の光学システムは、ＶＲ／ＡＲ／ＭＲシナリオを表示するために、画像を種々の深度に生成する。いくつかのそのような光学システムは、米国特許出願第１４／７３８，８７７号（弁理士整理番号第ＭＬ．２００１９．００）および２０１４年１１月２７日に出願された米国特許出願第１４／５５５，５８５号（弁理士整理番号第ＭＬ．２００１１．００）（その内容は、参照することによって、本明細書に前述で組み込まれている）に説明される。

現在の空間化オーディオシステムは、３−Ｄシネマ、３−Ｄビデオゲーム、仮想現実、拡張現実、および／または複合現実システムにおけるもの等の３−Ｄ光学システムと協働し、光学的および音響的にの両方において、仮想オブジェクトをレンダリングすることができる。オブジェクトは、それらが３次元空間内の個別の位置に位置する物理的オブジェクトではないという点において、「仮想」である。代わりに、仮想オブジェクトは、それぞれ、聴衆の眼および／または耳に指向される光ビームおよび／または音波によって刺激されるときのみ、視認者および／または聴取者の脳（例えば、視覚および／または聴覚中枢）内に存在する。残念ながら、現在の空間化オーディオシステムの聴取者位置および配向要件は、定位置からずれた聴取者に対して現実的様式において仮想オブジェクトのオーディオ部分を作成するその能力を限定する。

ホームシアターおよびビデオゲームのためのもの等の現在の空間化オーディオシステムは、「５．１」および「７．１」フォーマットを利用する。５．１空間化オーディオシステムは、左および右正面チャネルと、左および右背面チャネルと、中心チャネルと、サブウーファとを含む。７．１空間化オーディオシステムは、５．１オーディオシステムのチャネルと、意図される聴取者と整合される、左および右チャネルとを含む。前述のチャネルはそれぞれ、別個のスピーカに対応する。シネマオーディオシステムおよびシネマグレードホームシアターシステムは、ＤＯＬＢＹ ＡＴＭＯＳを含み、これは、意図される聴取者の上方から送達されるように構成され、それによって、聴取者を音場内に没入させ、聴取者を音で囲繞する、チャネルを追加する。

空間化オーディオシステムにおける改良にもかかわらず、現在の空間化オーディオシステムは、複数の聴取者の個別の場所および配向は言うまでもなく、聴取者の場所および配向を考慮可能ではない。したがって、現在の空間化オーディオシステムは、全ての聴取者が、音場の中心に隣接して位置付けられ、システムの中心チャネルに向いて配向され、最適性能のための聴取者位置および配向要件を有するという仮定で音場を生成する。故に、古典的１対多システムでは、空間化オーディオは、聴取者が偶然にも予期される配向の反対に向く場合、音が後方からであるように現れるように聴取者に送達され得る。そのような不整合音は、感覚および認知不一致につながり、空間化オーディオ体験およびそれとともに提示される任意のＶＲ／ＡＲ／ＭＲ体験を劣化させ得る。深刻な場合、感覚および認知不一致は、ユーザが、空間化オーディオ体験またはそれとともに提示されるＶＲ／ＡＲ／ＭＲ体験を回避することにつながり得る、頭痛、吐き気、不快感等の生理学的副作用を生じさせる可能性がある。

類似技術空間では、テーマパークの乗り物（すなわち、ＤＩＳＮＥＹのＳＴＡＲ ＴＯＵＲＳ）に見出されるもの等の複合メディアシステムは、光および動き等の現実のような特殊効果を３−Ｄフィルムおよび空間化オーディオに追加することができる。３−Ｄ複合メディアシステムのユーザは、典型的には、３−Ｄ画像のシステム生成を促進する、眼鏡を装着するように要求される。そのような眼鏡は、従来の立体写真式立体視３−Ｄシステムにおけるように、異なる偏光または色フィルタを伴う、左および右レンズを含有し得る。３−Ｄ複合メディアシステムは、立体視眼鏡を装着しているユーザにその左および右眼において若干異なる画像が見えるであろうように、異なる偏光または色を伴う重複画像を投影する。これらの画像における差異は、３−Ｄ光学画像を生成するために利用される。しかしながら、そのようなシステムは、法外に高価である。さらに、そのような複合メディアシステムは、現在の空間化オーディオシステムの固有のユーザ位置および配向要件に対処しない。

これらの問題に対処するために、いくつかのＶＲ／ＡＲ／ＭＲシステムは、空間化オーディオシステムに動作可能に結合される頭部搭載型スピーカを含み、空間化オーディオは、スピーカとユーザ／聴取者の耳との間の「既知の」位置および配向関係を使用してレンダリングされることができる。そのようなＶＲ／ＡＲ／ＭＲシステムの種々の実施例は、米国仮特許出願第６２／３６９，５６１号（その内容は、参照することによって、本明細書に前述で組み込まれている）に説明される。これらのＶＲ／ＡＲ／ＭＲシステムは、上記に説明される聴取者位置問題に対処するが、システムは、依然として、高速ユーザ頭部移動に伴って認知的不協和をもたらし得る、処理時間、遅れ、および待ち時間に関連する限界を有する。

例えば、いくつかのＶＲ／ＡＲ／ＭＲシステムは、頭部搭載型スピーカを通して、空間化オーディオをユーザ／聴取者に送達する。故に、仮想音源（例えば、鳥）が、事実上、第１の姿勢におけるユーザ／聴取者の右に位置する（ＶＲ／ＡＲ／ＭＲシステムによって検出され得る）場合、ＶＲ／ＡＲ／ＭＲシステムは、ユーザ／聴取者の右から生じるように現れる仮想音源に対応する、生成された音（例えば、さえずり）を送達してもよい。ＶＲ／ＡＲ／ＭＲシステムは、主に、ユーザ／聴取者の右耳に隣接して搭載される１つ以上のスピーカを通して、音を送達してもよい。ユーザ／聴取者が、その頭部を旋回させ、仮想音源に向く場合、ＶＲ／ＡＲ／ＭＲシステムは、本第２の姿勢を検出し、ユーザ／聴取者の正面から生じるように現れる仮想音源に対応する、生成された音を送達してもよい。

しかしながら、ユーザ／聴取者が、その頭部を急速に旋回させ、仮想音源に向く場合、ＶＲ／ＡＲ／ＭＲシステムは、ユーザ／聴取者の姿勢に基づいて仮想音を生成するシステムおよび方法の種々の限界に関連する、遅れまたは待ち時間を体験するであろう。例示的な仮想音生成方法は、とりわけ、（１）姿勢変化を検出するステップと、（２）検出された姿勢変化をプロセッサに通信するステップと、（３）変化された姿勢に基づいて、新しいオーディオデータを生成するステップと、（４）新しいオーディオデータをスピーカに通信するステップと、（５）新しいオーディオデータに基づいて、仮想音を生成するステップとを含む。姿勢変化を検出するステップと、仮想音を生成するステップとの間のこれらのステップは、ユーザ／聴取者がその姿勢を急速に変化させるとき、関連付けられた空間化オーディオとのＶＲ／ＡＲ／ＭＲ体験における認知的不協和につながり得る、遅れまたは待ち時間をもたらし得る。

ＶＲ／ＡＲ／ＭＲ体験と関連付けられた空間化オーディオは、仮想音（例えば、さえずり）が仮想オブジェクト（例えば、鳥）の画像と異なる場所から発出するように現れ得るため、認知的不協和を例証する。しかしながら、全ての空間化オーディオシステムが、ユーザ／聴取者に対して仮想場所および配向を伴う仮想音源を含むため、全ての空間化オーディオシステム（ＶＲ／ＡＲ／ＭＲシステムの有無にかかわらず）が、高速姿勢変化に伴って、認知的不協和をもたらし得る。例えば、仮想鳥が、聴取者の右に位置する場合、さえずりは、ユーザの頭部の配向またはその配向が変化する速度にかかわらず、空間内の同一点から発出するように現れるべきである。

一実施形態では、空間化オーディオシステムは、聴取者の頭部姿勢を検出するためのセンサを含む。本システムはまた、第１および第２の段階においてオーディオデータをレンダリングするためのプロセッサを含む。第１の段階は、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。第２の段階は、聴取者の検出された頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。

別の実施形態では、空間化オーディオシステムは、第１の時間における第１の頭部姿勢および第２の時間における聴取者の第２の頭部姿勢を検出するためのセンサであって、第２の時間は、第１の時間の後である、センサを含む。本システムはまた、第１および第２の段階においてオーディオデータをレンダリングするためのプロセッサを含む。第１の段階は、聴取者の検出された第１の頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。第２の段階は、聴取者の検出された第２の頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。

さらに別の実施形態では、空間化オーディオをレンダリングする方法は、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。本方法はまた、聴取者の頭部姿勢を検出するステップを含む。本方法はさらに、聴取者の検出された頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。

さらに別の実施形態では、空間化オーディオをレンダリングする方法は、聴取者の第１の頭部姿勢を検出するステップを含む。本方法はまた、聴取者の検出された第１の頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。本方法はさらに、聴取者の第２の頭部姿勢を検出するステップを含む。さらに、本方法は、聴取者の検出された第２の頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。

さらに別の実施形態では、コンピュータプログラム製品が、非一過性コンピュータ可読媒体内に具現化され、コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、空間化オーディオをレンダリングするための方法を実行させる、その上に記憶される命令のシーケンスを有する。本方法は、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。本方法はまた、聴取者の頭部姿勢を検出するステップを含む。本方法はさらに、聴取者の検出された頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。

さらに別の実施形態では、コンピュータプログラム製品が、非一過性コンピュータ可読媒体内に具現化され、コンピュータ可読媒体は、プロセッサによって実行されると、プロセッサに、空間化オーディオをレンダリングするための方法を実行させる、その上に記憶される命令のシーケンスを有する。本方法は、聴取者の第１の頭部姿勢を検出するステップを含む。本方法はまた、聴取者の検出された第１の頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングするステップを含む。本方法はさらに、聴取者の第２の頭部姿勢を検出するステップを含む。さらに、本方法は、聴取者の検出された第２の頭部姿勢に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。第２の複数のソースは、第１の複数のソースより少ないソースから成る。

１つ以上の実施形態では、センサは、慣性測定ユニットである。第１および／または第２の複数のソースは、仮想音源であってもよい。センサは、第１の段階の後かつ第２の段階の前に、聴取者の頭部姿勢を検出してもよい。センサは、第２の段階の直前に、聴取者の頭部姿勢を検出してもよい。

１つ以上の実施形態では、第３の複数のソースは、第２の複数のソースより少ないソースまたは第２の複数のソースと等しい個数のソースから成る。第１のオーディオデータは、完全オーディオストリームデータセットであってもよい。第２の複数のソースは、８つまたはより少ないソースから成ってもよい。

１つ以上の実施形態では、第１、第２、および／または第３の複数のソースはそれぞれ、異なる位置／配向に対応する。第１の複数のソースは、第１の複数の位置に対応してもよい。第２の複数のソースは、第２の複数の位置に対応してもよく、第２の複数の位置はそれぞれ、第１の複数の位置のそれぞれより聴取者に近くてもよい。第２の複数の位置は、単一平面内に位置しなくてもよい。

１つ以上の実施形態では、本システムはまた、第３の複数のソースに対応する複数のスピーカを含み、第３のオーディオデータに基づいて、音を生産する。第３の複数のソースはそれぞれ、異なる位置に対応してもよく、複数のスピーカはそれぞれ、個別の異なる位置における第３の複数のソースの個別のソースに対応してもよい。

１つ以上の実施形態では、第２の段階は、聴取者の検出された頭部姿勢および第２の複数のソースの個別の位置／配向に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含んでもよい。第２の段階は、聴取者の平行移動より回転に敏感であってもよい。第２の段階は、回転専用オーディオ変換であってもよい。第２の複数のソースはそれぞれ、聴取者の頭部から約６インチ〜約１２インチに位置してもよい。

１つ以上の実施形態では、センサは、第１の段階の前に、聴取者の第１の頭部姿勢を検出する。センサは、第１の段階の後かつ第２の段階の前に、聴取者の第２の頭部姿勢を検出してもよい。センサは、第２の段階の直前に、聴取者の第２の頭部姿勢を検出してもよい。

１つ以上の実施形態では、第２の段階は、聴取者の検出された第２の頭部姿勢および第２の複数のソースの個別の位置／配向に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。

１つ以上の実施形態では、本方法はまた、第１のオーディオデータをレンダリングした後かつ第２のオーディオデータをレンダリングする前に、聴取者の頭部姿勢を検出するステップを含む。本方法はまた、第２のオーディオデータをレンダリングする直前に、聴取者の頭部姿勢を検出するステップを含んでもよい。本方法はまた、第３のオーディオデータに基づいて、第３の複数のソースに対応する複数のスピーカを通して音を生産するステップを含んでもよい。本方法はまた、聴取者の検出された頭部姿勢および第２の複数のソースの個別の位置／配向に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含んでもよい。

１つ以上の実施形態では、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップは、聴取者の平行移動より回転に敏感である。第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップは、回転専用オーディオ変換であってもよい。

１つ以上の実施形態では、本方法はまた、第１のオーディオデータをレンダリングする前に、聴取者の第１の頭部姿勢を検出するステップを含む。本方法はまた、第１のオーディオデータをレンダリングした後かつ第２のオーディオデータをレンダリングする前に、聴取者の第２の頭部姿勢を検出するステップを含んでもよい。本方法はまた、第２のオーディオデータをレンダリングする直前に、聴取者の第２の頭部姿勢を検出するステップを含んでもよい。

１つ以上の実施形態では、本方法はまた、聴取者の検出された第２の頭部姿勢および第２の複数のソースの個別の位置／配向に基づいて、第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするステップを含む。
本発明は、例えば、以下を提供する。
（項目１）
空間化オーディオシステムであって
聴取者の頭部姿勢を検出するためのセンサと、
第１および第２の段階においてオーディオデータをレンダリングするためのプロセッサと
を備え、
前記第１の段階は、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることを含み、
前記第２の段階は、前記聴取者の検出された頭部姿勢に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングすることを含み、
前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成る、
システム。
（項目２）
前記センサは、慣性測定ユニットである、項目１に記載のシステム。
（項目３）
前記第１の複数のソースは、仮想音源である、項目１に記載のシステム。
（項目４）
前記第２の複数のソースは、仮想音源である、項目１に記載のシステム。
（項目５）
前記センサは、前記第１の段階の後かつ前記第２の段階の前に、前記聴取者の頭部姿勢を検出する、項目１に記載のシステム。
（項目６）
前記センサは、前記第２の段階の直前に、前記聴取者の頭部姿勢を検出する、項目５に記載のシステム。
（項目７）
前記第３の複数のソースは、前記第２の複数のソースより少ないソースから成る、項目１に記載のシステム。
（項目８）
前記第３の複数のソースは、前記第２の複数のソースと等しい個数のソースから成る、項目１に記載のシステム。
（項目９）
前記第１のオーディオデータは、完全オーディオストリームデータセットである、項目１に記載のシステム。
（項目１０）
前記第２の複数のソースは、８つまたはより少ないソースから成る、項目１に記載のシステム。
（項目１１）
前記第１の複数のソースのそれぞれは、異なる位置／配向に対応する、項目１に記載のシステム。
（項目１２）
前記第２の複数のソースのそれぞれは、異なる位置／配向に対応する、項目１に記載のシステム。
（項目１３）
前記第３の複数のソースのそれぞれは、異なる位置／配向に対応する、項目１に記載のシステム。
（項目１４）
前記第１の複数のソースは、第１の複数の位置に対応する、項目１に記載のシステム。
（項目１５）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置のそれぞれは、前記第１の複数の位置のそれぞれより前記聴取者に近い、
項目１４に記載のシステム。
（項目１６）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置は、単一平面内に位置しない、
項目１記載のシステム。
（項目１７）
前記第３の複数のソースに対応する複数のスピーカをさらに備え、前記複数のスピーカは、前記第３のオーディオデータに基づいて、音を生産する、項目１に記載のシステム。
（項目１８）
前記第３の複数のソースのそれぞれは、異なる位置に対応し、
前記複数のスピーカのそれぞれは、個別の異なる位置における前記第３の複数のソースの個別のソースに対応する、
項目１７に記載のシステム。
（項目１９）
前記第２の段階は、前記聴取者の検出された頭部姿勢および前記第２の複数のソースの個別の位置／配向に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることを含む、項目１に記載のシステム。
（項目２０）
前記第２の段階は、前記聴取者の平行移動より回転に敏感である、項目１に記載のシステム。
（項目２１）
前記第２の段階は、回転専用オーディオ変換である、項目１に記載のシステム。
（項目２２）
空間化オーディオシステムであって、
第１の時間における第１の頭部姿勢および第２の時間における聴取者の第２の頭部姿勢を検出するためのセンサであって、前記第２の時間は、前記第１の時間の後である、センサと、
第１および第２の段階においてオーディオデータをレンダリングするためのプロセッサと
を備え、
前記第１の段階は、前記聴取者の検出された第１の頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることを含み、
前記第２の段階は、前記聴取者の検出された第２の頭部姿勢に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングすることを含み、
前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成る、
システム。
（項目２３）
前記センサは、慣性測定ユニットである、項目２２に記載のシステム。
（項目２４）
前記第１の複数のソースは、仮想音源である、項目２２に記載のシステム。
（項目２５）
前記第２の複数のソースは、仮想音源である、項目２２に記載のシステム。
（項目２６）
前記センサは、前記第１の段階の前に、前記聴取者の第１の頭部姿勢を検出する、項目２２に記載のシステム。
（項目２７）
前記センサは、前記第１の段階の後かつ前記第２の段階の前に、前記聴取者の第２の頭部姿勢を検出する、項目２２に記載のシステム。
（項目２８）
前記センサは、前記第２の段階の直前に、前記聴取者の第２の頭部姿勢を検出する、項目２２に記載のシステム。
（項目２９）
前記第３の複数のソースは、前記第２の複数のソースより少ないソースから成る、項目２２に記載のシステム。
（項目３０）
前記第３の複数のソースは、前記第２の複数のソースと等しい個数のソースから成る、項目２２に記載のシステム。
（項目３１）
前記第１のオーディオデータは、完全オーディオストリームデータセットである、項目２２に記載のシステム。
（項目３２）
前記第２の複数のソースは、８つまたはより少ないソースから成る、項目２２に記載のシステム。
（項目３３）
前記第１の複数のソースのそれぞれは、異なる位置／配向に対応する、項目２２に記載のシステム。
（項目３４）
前記第２の複数のソースのそれぞれは、異なる位置／配向に対応する、項目２２に記載のシステム。
（項目３５）
前記第３の複数のソースのそれぞれは、異なる位置／配向に対応する、項目２２に記載のシステム。
（項目３６）
前記第１の複数のソースは、第１の複数の位置に対応する、項目２２に記載のシステム。
（項目３７）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置のそれぞれは、前記第１の複数の位置のそれぞれより前記聴取者に近い、
項目３６に記載のシステム。
（項目３８）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置は、単一平面内に位置しない、
項目２２に記載のシステム。
（項目３９）
前記第３の複数のソースに対応する複数のスピーカをさらに備え、前記複数のスピーカは、前記第３のオーディオデータに基づいて、音を生産する、項目２２に記載のシステム。
（項目４０）
前記第３の複数のソースのそれぞれは、異なる位置に対応し、
前記複数のスピーカのそれぞれは、個別の異なる位置における前記第３の複数のソースの個別のソースに対応する、
項目３９に記載のシステム。
（項目４１）
前記第２の段階は、前記聴取者の検出された第２の頭部姿勢および前記第２の複数のソースの個別の位置／配向に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることを含む、項目２２に記載のシステム。
（項目４２）
前記第２の段階は、前記聴取者の平行移動より回転に敏感である、項目２２に記載のシステム。
（項目４３）
前記第２の段階は、回転専用オーディオ変換である、項目２２に記載のシステム。
（項目４４）
空間化オーディオをレンダリングする方法であって、
第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることと、
聴取者の頭部姿勢を検出することと、
前記聴取者の検出された頭部姿勢に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングすることと
を含み、
前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成る、方法。
（項目４５）
前記第１の複数のソースは、仮想音源である、項目４４に記載の方法。
（項目４６）
前記第２の複数のソースは、仮想音源である、項目４４に記載の方法。
（項目４７）
前記第１のオーディオデータをレンダリングした後かつ前記第２のオーディオデータをレンダリングする前に、前記聴取者の頭部姿勢を検出することをさらに含む、項目４４に記載の方法。
（項目４８）
前記第２のオーディオデータをレンダリングする直前に、前記聴取者の頭部姿勢を検出することをさらに含む、項目４４に記載の方法。
（項目４９）
前記第３の複数のソースは、前記第２の複数のソースより少ないソースから成る、項目４４に記載の方法。
（項目５０）
前記第３の複数のソースは、前記第２の複数のソースと等しい個数のソースから成る、項目４４に記載の方法。
（項目５１）
前記第１のオーディオデータは、完全オーディオストリームデータセットである、項目４４に記載の方法。
（項目５２）
前記第２の複数のソースは、８つまたはより少ないソースから成る、項目４４に記載の方法。
（項目５３）
前記第１の複数のソースのそれぞれは、異なる位置／配向に対応する、項目４４に記載の方法。
（項目５４）
前記第２の複数のソースのそれぞれは、異なる位置／配向に対応する、項目４４に記載の方法。
（項目５５）
前記第３の複数のソースのそれぞれは、異なる位置／配向に対応する、項目４４に記載の方法。
（項目５６）
前記第１の複数のソースは、第１の複数の位置に対応する、項目４４に記載の方法。
（項目５７）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置のそれぞれは、前記第１の複数の位置のそれぞれより前記聴取者に近い、
項目５６に記載の方法。
（項目５８）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置は、単一平面内に位置しない、
項目４４に記載の方法。
（項目５９）
前記第３のオーディオデータに基づいて、前記第３の複数のソースに対応する複数のスピーカを通して音を生産することをさらに含む、項目４４に記載の方法。
（項目６０）
前記第３の複数のソースのそれぞれは、異なる位置に対応し、
前記複数のスピーカのそれぞれは、個別の異なる位置における前記第３の複数のソースの個別のソースに対応する、
項目５９に記載の方法。
（項目６１）
前記聴取者の検出された頭部姿勢および前記第２の複数のソースの個別の位置／配向に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることをさらに含む、項目４４に記載の方法。
（項目６２）
前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることは、前記聴取者の平行移動より回転に敏感である、項目４４に記載の方法。
（項目６３）
前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることは、回転専用オーディオ変換である、項目４４に記載の方法。
（項目６４）
空間化オーディオをレンダリングする方法であって、
聴取者の第１の頭部姿勢を検出することと、
前記聴取者の検出された第１の頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることと、
前記聴取者の第２の頭部姿勢を検出することと、
前記聴取者の検出された第２の頭部姿勢に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングすることと
を含み、前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成る、方法。
（項目６５）
前記第１の複数のソースは、仮想音源である、項目６４に記載の方法。
（項目６６）
前記第２の複数のソースは、仮想音源である、項目６４に記載の方法。
（項目６７）
前記第１のオーディオデータをレンダリングする前に、前記聴取者の第１の頭部姿勢を検出することをさらに含む、項目６４に記載の方法。
（項目６８）
前記第１のオーディオデータをレンダリングした後かつ前記第２のオーディオデータをレンダリングする前に、前記聴取者の第２の頭部姿勢を検出することをさらに含む、項目６４に記載の方法。
（項目６９）
前記第２のオーディオデータをレンダリングする直前に、前記聴取者の第２の頭部姿勢を検出することをさらに含む、項目６４に記載の方法。
（項目７０）
前記第３の複数のソースは、前記第２の複数のソースより少ないソースから成る、項目６４に記載の方法。
（項目７１）
前記第３の複数のソースは、前記第２の複数のソースと等しい個数のソースから成る、項目６４に記載の方法。
（項目７２）
前記第１のオーディオデータは、完全オーディオストリームデータセットである、項目６４に記載の方法。
（項目７３）
前記第２の複数のソースは、８つまたはより少ないソースから成る、項目６４に記載の方法。
（項目７４）
前記第１の複数のソースのそれぞれは、異なる位置／配向に対応する、項目６４に記載の方法。
（項目７５）
前記第２の複数のソースのそれぞれは、異なる位置／配向に対応する、項目６４に記載の方法。
（項目７６）
前記第３の複数のソースのそれぞれは、異なる位置／配向に対応する、項目６４に記載の方法。
（項目７７）
前記第１の複数のソースは、第１の複数の位置に対応する、項目６４に記載の方法。
（項目７８）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置のそれぞれは、前記第１の複数の位置のそれぞれより前記聴取者に近い、
項目７７に記載の方法。
（項目７９）
前記第２の複数のソースは、第２の複数の位置に対応し、
前記第２の複数の位置は、単一平面内に位置しない、
項目６４に記載の方法。
（項目８０）
前記第３のオーディオデータに基づいて、前記第３の複数のソースに対応する複数のスピーカを通して音を生産することをさらに含む、項目６４に記載の方法。
（項目８１）
前記第３の複数のソースのそれぞれは、異なる位置に対応し、
前記複数のスピーカのそれぞれは、個別の異なる位置における前記第３の複数のソースの個別のソースに対応する、
項目８０に記載の方法。
（項目８２）
前記聴取者の検出された第２の頭部姿勢および前記第２の複数のソースの個別の位置／配向に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることをさらに含む、項目６４に記載の方法。
（項目８３）
前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることは、前記聴取者の平行移動より回転に敏感である、項目６４に記載の方法。
（項目８４）
前記第２の複数のソースに対応する第２のオーディオデータを前記第３の複数のソースに対応する第３のオーディオデータにレンダリングすることは、回転専用オーディオ変換である、項目６４に記載の方法。
（項目８５）
非一過性コンピュータ可読媒体内に具現化されるコンピュータプログラム製品であって、前記コンピュータ可読媒体は、その上に記憶される命令のシーケンスを有し、前記命令のシーケンスは、プロセッサによって実行されると、前記プロセッサに、空間化オーディオをレンダリングするための方法を実行させ、前記方法は、
第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることと、
聴取者の頭部姿勢を検出することと、
前記聴取者の検出された頭部姿勢に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングすることと
を含み、前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成る、
コンピュータプログラム製品。
（項目８６）
非一過性コンピュータ可読媒体内に具現化されるコンピュータプログラム製品であって、前記コンピュータ可読媒体は、その上に記憶される命令のシーケンスを有し、前記命令のシーケンスは、プロセッサによって実行されると、前記プロセッサに、空間化オーディオをレンダリングするための方法を実行させ、前記方法は、
聴取者の第１の頭部姿勢を検出することと、
前記聴取者の検出された第１の頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることと、
前記聴取者の第２の頭部姿勢を検出することと、
前記聴取者の検出された第２の頭部姿勢に基づいて、前記第２の複数のソースに対応する第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングすることと
を含み、前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成る、
コンピュータプログラム製品。
（項目８７）
前記第２の複数のソースのそれぞれは、前記聴取者の頭部から約６インチ〜約１２インチに位置する、項目１に記載のシステム。
（項目８８）
前記第２の複数のソースのそれぞれは、前記聴取者の頭部から約６インチ〜約１２インチに位置する、項目２２に記載のシステム。
（項目８９）
前記第２の複数のソースのそれぞれは、前記聴取者の頭部から約６インチ〜約１２インチに位置する、項目４４に記載の方法。
（項目９０）
前記第２の複数のソースのそれぞれは、前記聴取者の頭部から約６インチ〜約１２インチに位置する、項目６４に記載の方法。

図面は、本発明の種々の実施形態の設計および可用性を図示する。図は、正確な縮尺で描かれておらず、類似構造または機能の要素は、図全体を通して同様の参照番号によって表されることに留意されたい。本発明の種々の実施形態の前述および他の利点および目的を得る方法をより深く理解するために、簡単に前述された本発明のより詳細な説明が、付随の図面に図示されるその具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、その範囲の限定として見なされないことを理解した上で、本発明は、付随の図面の使用を通して付加的具体性および詳細とともに記載および説明されるであろう。

図１は、一実施形態による、ウェアラブルＡＲ／ＭＲユーザデバイスを通した拡張現実／複合現実のユーザのビューを描写する。

図２は、ユーザ／聴取者の頭部上に装着される、一実施形態による、空間化オーディオシステムの上面概略図である。

図３は、図２に描写されるようにユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの背面概略図である。

図４は、図２に描写されるようにユーザ／聴取者の頭部上に装着される、空間化オーディオシステムのより詳細な上面概略図である。

図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。 図５−８は、種々の実施形態による、ユーザ／聴取者の頭部上に装着される、空間化オーディオシステムの部分的斜視および部分的概略図である。

図９は、一実施形態による、姿勢に敏感な空間化オーディオシステムの詳細な概略図である。

図１０は、実際の物理的オーディオソースによって生成された空間化音場の概略図である。

図１１は、一実施形態による、種々の仮想音源および仮想オブジェクトを含む、空間化オーディオ体験の背面概略図である。

図１２は、図１１に描写される空間化オーディオ体験の側面概略図である。

図１３および１４は、一実施形態による、姿勢に敏感な空間化オーディオ体験を受けているユーザ／聴取者の上面図である。図１３では、ユーザ／聴取者は、正面に向く一方、図１４では、ユーザ／聴取者は、左に向く。 図１３および１４は、一実施形態による、姿勢に敏感な空間化オーディオ体験を受けているユーザ／聴取者の上面図である。図１３では、ユーザ／聴取者は、正面に向く一方、図１４では、ユーザ／聴取者は、左に向く。

図１５および１７は、２つの実施形態による、空間化オーディオシステムを利用した遅れフレーム時間ワーピングの姿勢に敏感なオーディオ処理の方法を描写する、フローチャートである。

図１６は、一実施形態による、遅れフレーム時間ワーピングオーディオ処理を図式的に描写する。 図１５および１７は、２つの実施形態による、空間化オーディオシステムを利用した遅れフレーム時間ワーピングの姿勢に敏感なオーディオ処理の方法を描写する、フローチャートである。

本発明の種々の実施形態は、単一実施形態または複数の実施形態における空間化オーディオシステムのためのシステム、方法、および製造品を対象とする。本発明の他の目的、特徴、および利点は、詳細な説明、図、および請求項に説明される。

ここで、種々の実施形態が、当業者が本発明を実践することを可能にするように、本発明の例証的実施例として提供される、図面を参照して詳細に説明されるであろう。留意すべきこととして、以下の図および実施例は、本発明の範囲を限定することを意味するものではない。本発明のある要素が、公知のコンポーネント（または方法またはプロセス）を使用して部分的または完全に実装され得る場合、本発明の理解のために必要なそのような公知のコンポーネント（または方法またはプロセス）のそれらの一部のみが、説明され、そのような公知のコンポーネント（または方法またはプロセス）の他の部分の詳細な説明は、本発明を曖昧にしないように、省略されるであろう。さらに、種々の実施形態は、例証として本明細書に参照されるコンポーネントの現在および将来的公知の均等物を包含する。

空間化オーディオシステムは、ＡＲ／ＭＲシステムから独立して実装されてもよいが、以下の多くの実施形態は、例証目的のためだけに、ＡＲ／ＭＲシステムに関連して説明される。さらに、本明細書で説明される空間化オーディオシステムはまた、ＶＲシステムと同一の様式で使用されてもよい。

（問題およびソリューションの概要）
２−Ｄ／３−Ｄシネマシステム、２−Ｄ／３−Ｄビデオゲーム、およびＶＲ／ＡＲ／ＭＲシステムの一部との併用またはそれを形成するためのもの等の空間化オーディオシステムは、実世界の物理的な３−Ｄ空間内の仮想場所とともに、仮想オブジェクトに対応する空間化オーディオをレンダリング、提示、および放出する。本願で使用されるように、オーディオまたは音の「放出」、「生産」、または「提示」は、限定ではないが、ヒトの聴覚系によって音（亜音速低周波数音波を含む）として知覚され得る、音波の形成を生じさせることを含む。これらの仮想場所は、典型的には、座標系（例えば、原点における空間化オーディオシステムと空間化オーディオシステムに対する既知の配向とを伴う、座標系）を使用して、空間化オーディオシステムに「把握」される（すなわち、その中に記録される）。仮想オブジェクトと関連付けられた仮想オーディオソースは、コンテンツ、位置、および配向を有する。仮想オーディオソースの別の特性は、聴取者からの距離の２乗として減少する、音量である。しかしながら、現在の空間化オーディオシステム（例えば、５．１空間化オーディオシステム、７．１空間化オーディオシステム、シネマオーディオシステム、およびさらにいくつかの頭部装着型オーディオシステム）は全て、空間化オーディオシステムが現実的空間化オーディオを生成し得る、聴取者の数および特性を限定する、聴取者位置および配向制限を有する。

本明細書に説明されるいくつかの実施形態による、頭部装着型空間化オーディオシステムは、種々の仮想オブジェクトと関連付けられたオーディオが、個別の仮想オブジェクトに対応する仮想位置から生じるように現れるように、ユーザ／聴取者の姿勢（例えば、位置および配向）を追跡し、空間化オーディオをより正確にレンダリングする。本明細書に説明されるいくつかの実施形態による、システムは、種々の仮想オブジェクトと関連付けられた指向性オーディオが、個別の仮想オブジェクトのために適切な仮想方向に（例えば、仮想キャラクタの頭部の背後からではなく、仮想キャラクタの口から）伝搬するように現れるように、ユーザ／聴取者の頭部姿勢を追跡し、空間化オーディオをより正確にレンダリングする。さらに、本明細書に説明されるいくつかの実施形態による、システムは、種々の仮想オブジェクトと関連付けられたオーディオが、物理的および仮想オブジェクトを適切に反映して現れるように、空間化オーディオのそれらのレンダリングにおいて他の実際の物理的および仮想オブジェクトを含む。

しかしながら、姿勢追跡ベースのオーディオレンダリングを含む、頭部装着型空間化オーディオシステムでさえ、姿勢変化の検出と、それと関連付けられた仮想音の提示との間のシステム遅れおよび待ち時間を被りやすい。本システム遅れおよび待ち時間は、仮想音源の仮想位置と仮想音源に対応する仮想音の実際位置との間の認知的不協和につながり得る。システム遅れおよび待ち時間は、特に、高速姿勢変化（例えば、高速頭部移動）に伴って問題となり、これは、認知的不協和の大きさ／程度を増加させ得る。

本明細書に説明される空間化オーディオシステムは、２段階のオーディオデータレンダリングプロセスを実施する。第１の段階では、システムは、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングする。第１の段階は、頭部姿勢推定を考慮し得る。第２の複数のソースは、第１の複数のソースと比較して、より少ないソースを有し、それによって、オーディオデータを簡略化する。第２の段階では、システムは、第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータ（例えば、システムスピーカ）にレンダリングする。第２の段階は、ユーザ／聴取者の直近の利用可能な頭部姿勢推定を考慮し、第３のオーディオデータをより正確にレンダリングする。第１の段階における前処理は、第３のオーディオデータをレンダリングするために要求されるプロセッササイクルおよび時間を低減させている。したがって、オーディオ処理を２つの段階に分割し、より直近の頭部姿勢を第２の後のかつより単純である段階において考慮することは、頭部姿勢の推定とそれに基づく仮想音の提示との間のシステム遅れおよび待ち時間を低減させる。

（空間化オーディオシステム）
ＡＲ／ＭＲシナリオは、多くの場合、実世界オブジェクトに関連して、仮想オブジェクトに対応する画像および音の提示を含む。例えば、図１を参照すると、拡張現実場面１００が、描写され、ＡＲ／ＭＲ技術のユーザには、人物、木、背景の建物、および実世界の物理的コンクリートプラットフォーム１０４を特徴とする、実世界の物理的公園状設定１０２が見える。これらのアイテムに加えて、ＡＲ／ＭＲ技術のユーザはまた、実世界の物理的プラットフォーム１０４上に立っている仮想ロボット像１０６およびマルハナバチの擬人化されたように見える、飛んでいる仮想漫画のようなアバタキャラクタ１０８とが「見える」と知覚するが、これらの仮想オブジェクト１０６、１０８は、実世界には存在しない。

真実味がある、または通用する、ＡＲ／ＭＲ場面１００を提示するために、仮想オブジェクト（例えば、ロボット像１０６およびマルハナバチ１０８）は、それぞれ、それと関連付けられた同期される空間化オーディオを有してもよい。例えば、ロボット像１０６と関連付けられた機械的音が、それらがロボット像１０６に対応する仮想場所から発出するように現れるように生成されてもよい。同様に、マルハナバチ１０８と関連付けられたブンブン飛ぶ音が、それらがマルハナバチ１０８に対応する仮想場所から発出するように現れるように生成されてもよい。

空間化オーディオは、位置に加え、配向を有してもよい。例えば、マルハナバチ１０８と関連付けられた「漫画状」音声が、マルハナバチ１０８の口１１０から発出するように現れてもよい。マルハナバチ１０８は、図１に描写されるシナリオでは、視認者／聴取者に向いているが、マルハナバチ１０８は、視認者／聴取者が仮想マルハナバチ１０８の背後に移動した場合等の別のシナリオでは、視認者／聴取者から背くような向きでもよい。その場合、マルハナバチ１０８の音声は、そのシナリオにおける他のオブジェクト（例えば、ロボット像１０６）から反射された音としてレンダリングされるであろう。

いくつかの実施形態では、仮想音は、実際の物理的オブジェクトから発出するように現れるように生成されてもよい。例えば、仮想鳥音が、ＡＲ／ＭＲ場面１００内の実際の木から生じるように現れるように生成されてもよい。同様に、仮想発話が、ＡＲ／ＭＲ場面１００内の実際の人々から生じるように現れるように生成されてもよい。ＡＲ／ＭＲ会議では、仮想発話が、実際の人物の口から発出するように現れるように生成されてもよい。仮想発話は、実際の人物の音声のような音または完全に異なる音声であってもよい。一実施形態では、仮想発話は、聴取者の周囲の複数の音源から同時に発出するように現れてもよい。別の実施形態では、仮想発話は、聴取者の身体内から発出するように現れてもよい。

同様に、ＶＲシナリオもまた、心理音響効果を最小限にしながら、より正確かつあまり邪魔にならない、空間化オーディオ生成および送達から利点を享受し得る。ＡＲ／ＭＲシナリオのように、ＶＲシナリオもまた、空間化オーディオの１つ以上の移動する視認者／聴取者ユニットレンダリングを考慮しなければならない。位置、配向、および音量の観点からの空間化オーディオの正確なレンダリングは、ＶＲシナリオの没入感を改良することができる、または少なくともＶＲシナリオから注意散漫させない。

図２は、聴取者の頭部２００の上方からの上方視において、聴取者の頭部２００上に装着される、空間化オーディオシステム２０２を図式的に描写する。図２に示されるように、空間化オーディオシステム２０２は、フレーム２０４と、フレーム２０４に取り付けられる、４つのスピーカ２０６−１、２０６−２、２０６−３、２０６−４とを含む。スピーカ２０６−１は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−１が、聴取者の頭部２００の正面Ｆおよび左Ｌに来るようにフレーム２０４に取り付けられる。スピーカ２０６−２は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−２が聴取者の頭部２００の正面Ｆおよび右Ｒに来るようにフレーム２０４に取り付けられる。スピーカ２０６−３は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−３が聴取者の頭部２００の背後Ｂおよび左Ｌに来るようにフレーム２０４に取り付けられる。スピーカ２０６−４は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカ２０６−４が聴取者の頭部２００の背後Ｂおよび右Ｒに来るようにフレーム２０４に取り付けられる。スピーカ２０６−１、２０６−２、２０６−３、２０６−４は全て、聴取者の頭部２００に向かって向けられる。図２に描写されるスピーカ設置は、空間化オーディオの生成を促進する。

本願で使用されるように、「スピーカ」は、限定ではないが、典型的ヒトの聴覚範囲外の音を含む、音を生成する、任意のデバイスを含む。音は、基本的に、空気の分子の移動であるため、多くの異なるタイプのスピーカが、音を生成するために使用されることができる。図２に描写されるスピーカ２０６−１、２０６−２、２０６−３、２０６−４のうちの１つ以上のものは、表面を振動させ、音を生成する、従来のダイナミックスピーカまたは振動変換器であることができる。振動変換器を含む、実施形態では、変換器は、限定ではないが、フレーム２０４および聴取者の頭蓋骨を含む、任意の表面を振動させ、音を生成し得る。スピーカ２０６−１、２０６−２、２０６−３、２０６−４は、スピーカ２０６−１、２０６−２、２０６−３、２０６−４が交換および／またはアップグレードされ得るように、フレーム２０４に除去可能に取り付けられてもよい（例えば、磁気的に）。

図３は、聴取者の頭部２００の背後の後方視からの図２に描写される空間化オーディオシステム２０２を図式的に描写する。図３に示されるように、空間化オーディオシステム２０２のフレーム２０４は、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、フレーム２０４の正面が聴取者の頭部２００の上方Ａに来て、フレーム２０４の背面が聴取者の頭部２００の下方Ｕに来るように構成されてもよい。空間化オーディオシステム２０２の４つのスピーカ２０６−１、２０６−２、２０６−３、２０６−４は、フレーム２０４に取り付けられるため、空間化オーディオシステム２０２が聴取者の頭部２００上に装着されると、スピーカもまた、聴取者の頭部２００の上方Ａに（２０６−１、２０６−２）、そして下方Ｕに（２０６−３、２０６−４）配置される。図３に描写されるスピーカ設置は、空間化オーディオ、特に、聴取者の頭部２００の上方Ａおよび下方Ｕの平面に位置する仮想オーディオソースを含む、空間化オーディオの生成を促進する。

スピーカ２０６−１、２０６−２、２０６−３、２０６−４は、聴取者の頭部２００に向かって向けられると述べられたが、図４に示されるように、聴取者の耳２０８−Ｌ、２０８−Ｒに向かって向けられるようにスピーカ２０６−１、２０６−２、２０６−３、２０６−４を説明することがより正確である。図４は、図２に描写されるものに類似する、上面図である。スピーカ２０６−１、２０６−３は、聴取者の左耳２０８−Ｌに向かって向けられる。スピーカ２０６−２、２０６−４は、聴取者の右耳２０８−Ｒに向かって向けられる。スピーカ２０６−１、２０６−２、２０６−３、２０６−４を聴取者の耳２０８−Ｌ、２０８−Ｒに向かって向けることは、空間化オーディオを聴取者のためにレンダリングするために必要とされる音量を最小限にする。これは、ひいては、空間化オーディオシステム２０２から漏出する（すなわち、意図されない聴取者に向かって指向される）音の量を低減させる。各スピーカ２０６−１、２０６−２、２０６−３、２０６−４は、音波の主に円錐形ブルームを生成し、空間化オーディオを聴取者の耳２０８−Ｌ、２０８−Ｒのうちの１つに向かって集束させ得る。フレーム２０４はまた、空間化オーディオを聴取者の耳２０８−Ｌ、２０８−Ｒに向かって集束させるように構成されてもよい。例えば、フレーム２０４は、音響導波管を含み、または形成し、空間化オーディオを指向してもよい。

図２−４におけるシステム２０２は、４つのスピーカ２０６−１、２０６−２、２０６−３、２０６−４を含むが、他の空間化オーディオシステムは、より少ないまたはより多いスピーカを含んでもよい。一実施形態では、空間化オーディオシステムは、Ｚ軸に沿って（ユーザ／聴取者に対して）少なくとも２つの平面において相互から変位される、６つのスピーカ（および対応する音チャネル）を含み、ユーザ／聴取者の頭部に対して傾斜する音源をより正確かつ精密に結像する。

ここで図５−８を参照すると、いくつかの例示的空間化オーディオシステムコンポーネントオプションが、図示される。図５に示されるように、複数のスピーカ２０６に結合されるフレーム２０４を含む、頭部搭載型空間化オーディオシステム２０２が、聴取者によって、聴取者の頭部２００上に装着される。以下は、例示的空間化オーディオシステム２０２の可能性として考えられるコンポーネントを説明する。説明されるコンポーネントの全てが、空間化オーディオシステム２０２を実装するために必要なわけではない。

図５−８では図示されないが、別の対のスピーカ２０６は、聴取者の頭部２０６の他側上の聴取者の頭部２００に隣接して位置付けられ、空間化音を提供する。したがって、本空間化オーディオシステム２０２は、図２−４に描写されるシステムのように、合計４つのスピーカ２０６を含む。図５、７、および８に描写される空間化オーディオシステム２０２内のスピーカ２０６は、個別のフレーム２０４に取り付けられるが、空間化オーディオシステム２０２のスピーカ２０６の一部または全部は、図６に描写される実施形態に示されるように、ヘルメットまたは帽子２１２に取り付けられる、またはその中に内蔵されてもよい。

空間化オーディオシステム２０２の空間化オーディオシステムスピーカ２０６は、有線導線および／または無線コネクティビティ２１４等によって、ローカル処理およびデータモジュール２１６に動作可能に結合され、これは、フレーム２０４に固定して取り付けられる、図６に描写される実施形態に示されるように、ヘルメットまたは帽子２１２に固定して取り付けられる／その中に内蔵される、図７の実施形態に示されるように、リュック式構成において聴取者の胴体２１８に除去可能に取り付けられる、または図８の実施形態に示されるように、ベルト結合式構成において聴取者の腰部２２０に除去可能に取り付けられる等、種々の構成において搭載されてもよい。

ローカル処理およびデータモジュール２１６は、１つ以上の電力効率的プロセッサまたはコントローラと、フラッシュメモリ等のデジタルメモリとを備えてもよく、両方とも、データの処理、キャッシュ、および記憶を補助するために利用されてもよい。データは、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含み得る、「ＩＭＵ」）、コンパス、マイクロホン、ＧＰＳユニット、および／または無線デバイス等、フレーム２０４に動作可能に結合され得るセンサから捕捉されてもよい。代替として、または加えて、データは、遠隔処理モジュール２２２および／または遠隔データリポジトリ２２４を使用して入手および／または処理され、可能性として、そのような処理または読出後、スピーカ２０６による音の生成を促進／指向してもよい。ローカル処理およびデータモジュール２１６は、これらの遠隔モジュール２２２、２２４が、相互に動作可能に結合され、ローカル処理およびデータモジュール２１６へのリソースとして利用可能であるように、有線または無線通信リンク２２６、２２８等を介して、遠隔処理モジュール２２２および遠隔データリポジトリ２２４に動作可能に結合されてもよい。

一実施形態では、遠隔処理モジュール２２２は、オーディオデータおよび／または情報を分析および処理するように構成される、１つ以上の比較的に強力なプロセッサまたはコントローラを備えてもよい。一実施形態では、遠隔データリポジトリ２２４は、比較的に大規模デジタルデータ記憶設備を備えてもよく、これは、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。しかしながら、システム遅れおよび待ち時間を最小限にするために、仮想音レンダリング（特に、検出された姿勢情報に基づく）は、ローカル処理およびデータモジュール２１６に限定されてもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール２１６において実施され、任意の遠隔モジュールからの完全に自律的使用を可能にする。

１つ以上の実施形態では、空間化オーディオシステムは、典型的には、特定の聴取者の頭部のために適合され、スピーカは、聴取者の耳に整合される。これらの構成ステップは、聴取者が、頭痛、吐き気、不快感等の任意の生理学的副作用を生じさせずに、最適空間化オーディオ体験を提供されることを確実にするために使用されてもよい。したがって、１つ以上の実施形態では、聴取者装着型空間化オーディオシステムは、個々の聴取者毎に構成され（物理的およびデジタル的の両方において）、プログラムのセットが、聴取者のために具体的に較正されてもよい。例えば、いくつかの実施形態では、聴取者装着型空間化オーディオシステムは、頭部装着型空間化オーディオシステムのスピーカと聴取者の耳との間の個別の距離と、聴取者の頭部の３−Ｄマッピングとを検出する、または提供されてもよい。これらの測定は全て、所与の聴取者に適合するようにカスタマイズされた頭部装着型空間化オーディオシステムを提供するために使用されてもよい。他の実施形態では、そのような測定は、空間化オーディオ機能を実施するために必要ではない場合がある。例えば、緩く適合された空間化オーディオシステムは、種々の聴取者によって快適に使用され得るが、可能性として、仮想オーディオソースのあまり正確ではない空間化を伴う。

空間化オーディオシステムを実装するために必要とされないが、ディスプレイ２３０が、図５−８に示されるように、フレーム２０４に結合されてもよい（例えば、空間オーディオ体験に加え、光学ＡＲ／ＭＲ体験のために）。例示的ＡＲ／ＭＲディスプレイは、米国特許出願第１４／７３８，８７７号（弁理士整理番号第ＭＬ．２００１９．００号）および第１４／５５５，５８５号（弁理士整理番号第ＭＬ．２００１１．００号）（その内容は、参照することによって前述で本明細書に組み込まれている）に説明される。ディスプレイ２３０を含む、実施形態では、ローカル処理およびデータモジュール２１６と、遠隔処理モジュール２２２と、遠隔データリポジトリ２２４とは、空間オーディオデータに加え、３−Ｄビデオデータを処理してもよい。

図９は、一実施形態による、有線導線および／または無線コネクティビティ８１４を介してローカル処理およびデータモジュール８１６に動作可能に結合される複数のスピーカ８０６−１、８０６−２を含む、姿勢に敏感な空間化オーディオシステム８０２を描写する。姿勢に敏感な空間化オーディオシステム８０２はまた、有線導線および／または無線コネクティビティ８１４を介してローカル処理およびデータモジュール８１６に動作可能に結合される、頭部姿勢センサ８３２を含む。頭部姿勢センサ８３２は、聴取者／ユーザの頭部姿勢データを収集するように構成される。頭部姿勢センサ８３２は、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む、ＩＭＵ）、コンパス、マイクロホン、ＧＰＳユニット、または無線デバイスのうちの１つ以上のものを含んでもよい。図９に描写される姿勢に敏感な空間化オーディオシステム８０２は、２つのみのスピーカ８０６−１、８０６−２を含むが、他の実施形態による、空間化オーディオシステムは、より多くのスピーカを含んでもよい。

姿勢に敏感な空間化オーディオシステム８０２はさらに、頭部姿勢プロセッサ８３４を含み、少なくとも、頭部姿勢センサ８３２によって収集される頭部姿勢データに基づいて、姿勢に敏感な空間化オーディオシステム８０２を装着する聴取者／ユーザの頭部姿勢（例えば、位置および配向）を決定する。本願で使用されるように、「頭部姿勢プロセッサ」は、限定ではないが、コンピュータが頭部姿勢を決定し得る前に、汎用コンピュータに追加されなければならない、コンピュータの１つ以上の別個かつ独立したソフトウェアおよび／またはハードウェアコンポーネント、およびそこに追加されるそのようなコンポーネントを有するコンピュータを含む。

姿勢に敏感な空間化オーディオシステム８０２はさらに、空間化オーディオプロセッサ８３６を含み、少なくとも、頭部姿勢プロセッサ８３４によって決定された頭部姿勢に基づいて、姿勢に敏感な空間化オーディオシステム８０２を装着する聴取者／ユーザに送達されるべき空間化オーディオのための空間化オーディオデータを生成する。生成された空間化オーディオデータは、空間化音場内の仮想オーディオソース毎に、コンテンツ、位置、配向、および音量データを含んでもよい。本願で使用されるように、「オーディオプロセッサ」は、限定ではないが、コンピュータが空間化オーディオデータを生成し得る前に、汎用コンピュータに追加されなければならない、コンピュータの１つ以上の別個かつ独立したソフトウェアおよび／またはハードウェアコンポーネント、およびそこに追加されるそのようなコンポーネントを有するコンピュータを含む。空間化オーディオプロセッサ８３６はまた、空間化オーディオデータに基づいて、複数のスピーカ８０６−１、８０６−２のためのオーディオ信号を生成し、空間化オーディオを聴取者／ユーザに送達してもよい。図９に図式的に描写される姿勢に敏感な空間化オーディオシステム８０２は、図５−８に描写される空間化オーディオシステム２０２に類似する様式において、コンポーネントに分割されてもよい。

図１０は、実際の物理的オーディオソース３０２によって生成されるような空間化音場３００を描写する。実際の物理的音源３０２は、場所および配向を有する。実際の物理的音源３０２は、多くの部分を有する、音波を生成する。聴取者の頭部２００に対する実際の物理的音源３０２の場所および配向に起因して、音波の第１の部分３０６は、聴取者の左耳２０８−Ｌに指向される。音波の第２の部分３０６’は、聴取者の頭部２００から離れ、空間化音場３００内のオブジェクト３０４に向かって指向される。音波の第２の部分３０６’は、オブジェクト３０４から反射し、反射された第３の部分３０６’’を生成し、これは、聴取者の右耳２０８−Ｒに指向される。音波の第１の部分３０６および第２および第３の部分３０６’、３０６’’によって進行される異なる距離のため、これらの部分は、若干異なる時間において、聴取者の左および右耳２０８−Ｌ、２０８−Ｒに到着するであろう。さらに、オブジェクト３０４は、聴取者の右耳２０８−Ｒに到達する前に、音波の反射された第３の部分３０６’’の音を変調させ得る。

オブジェクト３０４が存在しないときでも、実際の物理的音源３０２からの音波が、聴取者の両耳２０８−Ｌ、２０８−Ｒに聞こえるであろう。音源３０２が、聴取者の左に配置される場合（図１０におけるように）、そこから発せられる音波は、音が、左耳２０８−Ｌにおいてより早く、右耳２０８−Ｒにおいてより遅く（例えば、８００マイクロ秒）現れ得るように、聴取者によって聞こえ得る。実際、ヒトの脳の聴覚中枢は、本遅延を分析し、空間化音源を位置特定する。音はまた、右耳２０８−Ｒと比較して、左耳２０８−Ｌにおいてより高音であるように現れてもよい。

図１０に描写される空間化音場３００は、１つのみの実際の物理的音源３０２と、１つのオブジェクト３０４とを含む、非常に単純なものである。本単純空間化音場３００を再現する空間化オーディオシステム２０２さえ、音波の種々の反射および変調を考慮しなければならない。その中の音波と相互作用する、１つを上回る音源および／または１つを上回るオブジェクトを伴う空間化音場は、指数関数的により複雑になる。空間化オーディオシステム２０２は、これらのますます複雑な空間化音場を再現するために、ますます強力でなければならない。図９に描写される空間化オーディオプロセッサ２３６は、ローカル処理およびデータモジュール２１６の一部であるが、より強力な空間化オーディオプロセッサ２３６は、他の実施形態では、ローカル処理およびデータモジュール２１６における空間および電力を節約するために、遠隔処理モジュール２２２の一部であってもよい。

（空間化オーディオ体験）
図１１は、一実施形態による、ユーザ／聴取者の頭部２００の背後の正面に向いた斜方視からの空間化オーディオ体験４００を描写する。空間化オーディオ体験４００を実装するために、空間化オーディオシステムは、ユーザ／聴取者および複数のスピーカの相対的位置および配向を提供される。例えば、ユーザ／聴取者は、既知の「適合」を伴って、頭部搭載型空間化オーディオシステム（図示せず）を装着し得る。

空間化オーディオ体験４００は、第１および第２の仮想オーディオソース４０２−１、４０２−２を含む。これらの仮想オーディオソース４０２−１、４０２−２は、ユーザに提示される、視覚的情報に対応し得る。例えば、第１の仮想オーディオソース４０２−１は、ＡＲ／ＭＲ体験内の仮想キャラクタに対応してもよく、第２の仮想オーディオソース４０２−２は、ＡＲ／ＭＲ体験内の仮想ホーンに対応してもよい。仮想キャラクタおよび仮想ホーンは、空間化オーディオ／ＡＲ／ＭＲシステムのフレームに結合されるディスプレイ（図１１には図示せず、図５−８参照）上でユーザに表示されてもよい。他の実施形態では、仮想オーディオソース４０２−１、４０２−２は、任意の視覚的情報に対応しなくてもよい。

図１１はまた、第１の仮想オーディオソース４０２−１（すなわち、仮想キャラクタ）に対応する音波の部分４０６を描写し、これは、聴取者の左耳２０８−Ｌに指向される。図１１はさらに、第２の仮想オーディオソース４０２−２（すなわち、仮想ホーン）に対応する音波の第１の部分４０６’を描写し、これは、仮想オブジェクト４０４に指向される。第１の部分４０６’は、仮想オブジェクト４０４から反射し、第２の部分４０６’’を形成し、これは、聴取者の右耳２０８−Ｒに指向される。

図１２は、側方視から、図１１に描写される空間化オーディオ体験４００実施形態を描写する。図１２は、第１の仮想オーディオソース４０２−１（すなわち、仮想キャラクタ）が、事実上、聴取者の左耳２０８−Ｌの若干下方に位置することを示す。図１２はまた、第２の仮想オーディオソース４０２−２（すなわち、仮想ホーン）が、事実上、聴取者の右耳２０８−Ｒの若干上方に位置し、仮想オブジェクト４０４が、ある仮想高さを聴取者の右耳２０８−Ｒと第２の仮想オーディオソース４０２−２との間に有することを示す。

いくつかの実施形態では、第１および第２の仮想オーディオソース４０２−１（すなわち、仮想キャラクタ）および４０２−２（すなわち、仮想ホーン）は、ＡＲ／ＭＲディスプレイ２０４を使用して表示される。ＡＲ／ＭＲディスプレイは、第２の仮想オーディオソース４０２−２の仮想場所が視認者の位置または姿勢から独立して仮想世界内に設定されるように、第２の仮想オーディオソース４０２−２（および任意の他の仮想オブジェクト）を「世界中心」ビュー内に表示するように構成されることができる。故に、視認者が、その頭部を第２の仮想オーディオソース４０２−２から離れるように旋回させる場合、もはや仮想オブジェクトが見えないであろう。

第１および第２の仮想オーディオソース４０２−１、４０２−２は、実際の物理的場所を有していないが、その仮想場所は、第１および第２の仮想オーディオソース４０２−１、４０２−２に対応する個別の空間化オーディオをレンダリングする際に重要である。図１１および１２に描写される空間化オーディオ体験４００は、２つのみの仮想オーディオソース４０２−１、４０２−２を含むが、他の空間化オーディオ体験は、より多いまたはより少ない仮想オーディオソースを含んでもよい。例えば、典型的映画場面は、背景音楽、背景雑音、物理的アクションと関連付けられた音、および対話等の多くの仮想オーディオソースを含んでもよい。これらの多くの仮想オーディオソースを正確に再現することは、空間化オーディオ体験の聴取者の享受を増加させる。

空間化オーディオ体験４００は、体験４００を生成および送達するために使用される、本明細書におけるＡＲ／ＭＲおよび空間化オーディオシステムの実施形態を参照して説明された。他のビデオおよびオーディオシステムが、異なるレベルの正確度および精度ではあるが、空間化オーディオ体験４００を送達するように構成され得る。

空間化オーディオ体験が、概して、上記に説明されたが、いくつかの空間化オーディオ体験は、ユーザ／聴取者の姿勢を考慮する。例えば、オーディオレンダリングは、以下に説明されるように、ユーザ／聴取者の検出された姿勢に基づいて修正されてもよい。
（姿勢に敏感な空間化オーディオシステム）

図１３は、上方視から、姿勢に敏感な空間化オーディオ体験７００をユーザに提示するように構成される、姿勢に敏感な空間化オーディオシステム８０２を描写する。例えば、姿勢に敏感な空間化オーディオ体験７００は、第１および第２の仮想オーディオソース７０２−１、７０２−２を含む。第１の仮想オーディオソース７０２−１は、ＡＲ／ＭＲ体験内の仮想キャラクタに対応してもよく、第２の仮想オーディオソース７０２−２は、ＡＲ／ＭＲ体験内の仮想ホーンに対応してもよい。空間化オーディオ体験７００は、「世界中心」体験であって、仮想オーディオソース７０２−１、７０２−２は、ユーザの姿勢から独立して、世界内に個別の仮想場所を有する。

ユーザは、フレーム８０４と、フレーム８０４に取り付けられる、４つのスピーカ８０６−１、８０６−２、８０６−３、８０６−４とを含む、空間化オーディオシステム８０２を装着している。スピーカ８０６−１は、空間化オーディオシステム８０２が聴取者の頭部２００上に装着されると、スピーカ８０６−１が、聴取者の頭部２００の正面Ｆおよび左Ｌに来るように、フレーム８０４に取り付けられる。スピーカ８０６−２は、空間化オーディオシステム８０２が聴取者の頭部２００上に装着されると、スピーカ８０６−２が聴取者の頭部２００の正面Ｆおよび右Ｒに来るように、フレーム８０４に取り付けられる。スピーカ８０６−３は、空間化オーディオシステム８０２が聴取者の頭部２００上に装着されると、スピーカ８０６−３が聴取者の頭部２００の背後Ｂおよび左Ｌに来るように、フレーム８０４に取り付けられる。スピーカ８０６−４は、空間化オーディオシステム８０２が聴取者の頭部２００上に装着されると、スピーカ８０６−４が聴取者の頭部２００の背後Ｂおよび右Ｒに来るように、フレーム８０４に取り付けられる。スピーカ８０６−１、８０６−２、８０６−３、８０６−４は全て、聴取者の頭部２００に向かって向けられている。

ユーザの頭部２００が図１３に示される姿勢にある状態では、第１および第２の仮想オーディオソース７０２−１、７０２−２からの仮想音は、それぞれ、ユーザの頭部２００の正面Ｆおよび右Ｒから発出するように現れるはずである。故に、第１の仮想オーディオソース７０２−１に対応する仮想音は、ユーザの頭部２００の正面Ｆに位置するスピーカ８０６−１、８０６−２から放出され得る。同様に、第２の仮想オーディオソース７０２−２に対応する仮想音は、ユーザの頭部２００の右Ｒに位置するスピーカ８０６−２、８０６−４から放出され得る。仮想音がスピーカから放出されるようなオーディオデータのレンダリングは、第１および第２の仮想オーディオソース７０２−１、７０２−２の仮想位置と一致する空間化オーディオ体験をもたらす。

図１４は、図１３に描写される同一の姿勢に敏感な空間化オーディオ体験７００をユーザに提示する姿勢に敏感な空間化オーディオシステム８０２を、図１３におけるものと同様に上方視から描写する。しかしながら、図１４では、ユーザ／聴取者の頭部２００は、その上に装着される空間化オーディオシステム８０２とともに、左に９０°旋回されている。本構成では、空間化オーディオシステム８０２の基準のフレームは、左に９０°旋回されている。したがって、ユーザ／聴取者の頭部２００の右側Ｒは、第１の仮想オーディオソース７０２−１に向く一方、ユーザ／聴取者の背後２００の背面Ｂは、第２の仮想オーディオソース７０２−２に向く。

ユーザの頭部２００が図１４に示される姿勢にある状態では、第１および第２の仮想オーディオソース７０２−１、７０２−２からの仮想音は、それぞれ、ユーザの頭部２００の右Ｒおよび背後Ｂから発出するように現れるはずである。故に、第１の仮想オーディオソース７０２−１に対応する仮想音は、ユーザの頭部２００の右Ｒに位置するスピーカ８０６−２、８０６−４から放出され得る。同様に、第２の仮想オーディオソース７０２−２に対応する仮想音は、ユーザの頭部２００の背後Ｂに位置するスピーカ８０６−３、８０６−４から放出され得る。ユーザ／聴取者の姿勢を考慮しながら、仮想音が適切なスピーカから放出されるように、オーディオデータをレンダリングすることは、第１および第２の仮想オーディオソース７０２−１、７０２−２の仮想位置と一致する空間化オーディオ体験をもたらす。そのような姿勢に敏感な空間化オーディオ体験は、世界中心様式で配置される仮想オブジェクトを伴う、真実味のあるまたは意にかなう仮想世界を助長する。

図９に描写される姿勢に敏感な空間化オーディオシステム８０２に関して前述のように、空間化オーディオシステム８０２は、ユーザ／聴取者の頭部姿勢へのアクセスを有し、その頭部姿勢を利用して、オーディオデータをレンダリングし、オーディオデータに対応するオーディオを提示する。提示されるオーディオは、仮想オブジェクトおよびユーザ／聴取者の頭部２００の位置と一致する。例えば、第２の仮想オーディオソース７０２−２（仮想ホーン）に対応するもの等、姿勢に敏感な空間化オーディオ体験７００内の音は、ユーザ／聴取者が、聴取者の頭部２００の右かつ若干上方に位置するようにオーディオソースを知覚するように提示されるべきである（図１１および１２参照）。このように、空間化オーディオシステム８０２は、ユーザ／聴取者毎に、空間化オーディオをより正確かつ精密に生産することができる。

図１３および１４に描写される空間化オーディオシステム８０２は、４つのスピーカ８０６−１、８０６−２、８０６−３、８０６−４を含むが、他の空間化オーディオシステムは、より少ないまたはより多いスピーカ８０６を含んでもよい。スピーカ８０６の数、タイプ、位置、および配向は、ユーザ／聴取者への空間化オーディオの提示を最適化するために協調されてもよい。例えば、より大きいスピーカ（例えば、サブウーファ）が、低周波数音を提示するために使用されてもよい一方、より小さいスピーカが、高周波数および中間周波数音を提示するために使用されてもよい。

種々の実施形態による、空間化オーディオシステムの種々の側面を説明したので、空間化オーディオシステム（例えば、２０２、８０２）を使用して空間化オーディオを提示する（例えば、空間化オーディオ体験において）ための方法が、ここで説明されるであろう。説明される方法は、姿勢に敏感であって、より正確かつ精密な空間化オーディオ体験を生成する。加えて、説明される方法は、遅れフレーム時間ワーピングオーディオ処理を含み、システム遅れ／待ち時間関連アーチファクトの量を低減させる。

（感覚待ち時間およびオーディオ処理）
上記に説明されるように、感覚待ち時間は、ユーザ／聴取者の頭部姿勢に関する空間化オーディオシステムの情報が、姿勢センサが（例えば、頭部姿勢変化をもたらす頭部および／または身体の）運動を捕捉する時間と、オーディオデータが運動に基づいてレンダリングされ、対応する音がユーザ／聴取者に提示される時間との間で変化すると、仮想音源が世界中心様式において仮想世界に「繋げられる」空間化オーディオシステムにおいて、問題（例えば、アーチファクト）を生じさせる。例示的感覚待ち時間アーチファクトは、仮想オブジェクトの仮想場所と異なる仮想場所から発出するように現れる、仮想オブジェクトに対応する仮想音である。ユーザ／聴取者の頭部の回転および傾斜は、回転方向と比較して平行移動方向を迅速に変化させる頭部の限定された能力のため、ユーザ／聴取者の頭部の平行移動より感覚待ち時間問題が大きい。方向変化の速度は、姿勢または運動捕捉と仮想音提示との間の典型的時間が約ミリ秒（「ｍｓ」）であるため、感覚待ち時間問題をもたらす変化のタイプを決定する。

ヒトの脳は、音（例えば、ビート）を区別し、回転平面（例えば、図３では、正面、右、背面、左）におけるソースを位置特定することに優れている。したがって、オーディオ「フレーム」は、現実的空間化オーディオ体験をユーザ／聴取者に提示するために、約４〜１０ｍｓ毎に生成／更新されなければならない。比較として、現実的視覚的体験（例えば、動画）を提示するために表示される視覚的「フレーム」は、約８〜１７ｍｓ毎に生成／更新されることができる。

ビデオ処理が、典型的には、形状を１つ以上の平坦投影平面の中にマージするが、オーディオ処理が、明確に異なる位置および配向を伴う複数の音源（例えば、「スピーカ」）を音検出器（例えば、「マイクロホン」）のためにいくつかのチャネルの中にマージするため、オーディオ処理は、ビデオ処理と異なる。オーディオ処理は、音源のマージとして説明されるが、オーディオデータは、「マージ」されたそれらの音源に対応する。

（遅れフレーム時間ワーピングオーディオ処理）
図１５は、一実施形態による、感覚待ち時間アーチファクトを最小限にする、姿勢に敏感なオーディオ処理の方法５００を描写する。姿勢に敏感なオーディオ処理方法５００は、遅れフレーム時間ワーピング技法を利用して、姿勢変化の検出と、検出された姿勢変化に基づく音の生成との間の遅れ／待ち時間を最小限にする。方法５００は、例えば、上記に説明される空間化オーディオシステム８０２を利用して実装されてもよい。要するに、方法５００は、オーディオ処理を２つの段階、すなわち、オーディオデータを中間フォーマットに部分的に処理する、第１の段階と、姿勢データを利用して処理を急速に完了する、算出上あまり集約的ではなく／負担とならない第２の段階とに分割する。

ステップ５０２では、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、第１の複数（例えば、Ｎ個）のオーディオソースのための（すなわち、それに対応する）第１のオーディオデータを受信する。ソースオーディオデータは、空間化オーディオシステム８０２のスピーカ８０６を介してユーザ／聴取者に送達されることが意図される、音に対応する。ソースオーディオデータは、有線または無線接続を介して、音の生成／送達と実質的に同時に、データベースから受信されてもよい。代替として、ソースオーディオデータは、音の生成／送達に先立って受信され、空間化オーディオシステム８０２上に記憶されてもよい。

図１６は、一実施形態による、遅れフレーム時間ワーピングオーディオ処理方法６００を図式的に描写する。第１のオーディオデータに対応する第１の複数のオーディオソース６０２はそれぞれ、星として描写される。図１６に示されるように、第１の複数のオーディオソース６０２は、６つのオーディオソース６０２を含む。当然ながら、オーディオソース６０２の数は、本実施形態では恣意的であって、限定することを意図するものではない。第１の複数のオーディオソース６０２はそれぞれ、仮想音源に対応してもよい。

ステップ５０４では、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、第１のオーディオデータを第２の複数（例えば、Ｍ個）のオーディオソースのための（すなわち、それに対応する）第２のオーディオデータにレンダリング／処理／変換する。ステップ５０４は、上記に説明される２段階のオーディオ処理の第１の段階に対応する。第１の段階は、プロセスの「マージフェーズ」としても知られる。第２の複数（例えば、Ｍ個）におけるオーディオソースの数は、第１の複数（例えば、Ｎ個）におけるオーディオソースの数未満またはそれと等しくてもよい。第２の複数におけるオーディオソースの数の低減は、第２の段階（以下に説明される）におけるオーディオ処理を簡略化する。第２の複数（例えば、Ｍ個）におけるオーディオソースの数は、理論的に、第１の複数（例えば、Ｎ個）におけるオーディオソースの数を上回ってもよいが、本モデルは、算出上あまり集約的ではない第２の段階をもたらし得ない。ステップ５０４における２段階のオーディオ処理の第１の段階はまた、空間化オーディオシステム８０２を現在装着しているユーザ／聴取者の姿勢（例えば、頭部姿勢）推定を考慮してもよい（図１７参照）。

図１６では、第１のオーディオデータに対応する第２の複数のオーディオソース６０４はそれぞれ、円形として描写される。第２の複数のオーディオソース６０４はそれぞれ、２段階のオーディオ処理における中間ノードとして機能する、仮想マイクロホン／スピーカである。これらのオーディオソース６０４は、ステップ５０４における第１の段階のオーディオ処理が、第１の複数のオーディオソース６０２のそれぞれによって生成された仮想音を第２の複数のオーディオソース６０４のそれぞれの場所に「記録」することによって、第２の複数のオーディオソース６０４のそれぞれをレンダリングするという点において、仮想マイクロホンである。したがって、第２の複数のオーディオソース６０４はそれぞれ、第１の複数のオーディオソース６０２のそれぞれからのオーディオデータを含んでもよい。これは、第１の複数のオーディオソース６０２のそれぞれを第２の複数のオーディオソース６０４のそれぞれに接続する破線によって、図１６に描写される。これらのオーディオソース６０４は、第２の段階のオーディオ処理（以下に説明される）において、第２の複数のオーディオソース６０４がオーディオ処理のための音源として機能するという点において、仮想スピーカである。

これらのオーディオソース／中間ノード６０４は、ユーザ／聴取者の頭部の周囲の３−Ｄ空間内に浮遊するが、必ずしも、それに結び付けられない。特に、第１のオーディオレンダリング段階の開始時、オーディオソース／中間ノード６０４は、ユーザの頭部姿勢のその時点での最良推定に基づいて、空間内に位置付けられてもよく、それらは、そのオーディオブロックの持続時間にわたってそこに留まり得る。第２のオーディオレンダリング段階では、それらの場所からの音は、ユーザの新しい最良推定姿勢に基づいてレンダリングされてもよい。いくつかの実施形態では、第２の複数のうちのオーディオソース／中間ノード６０４は、１つを上回る平面内に（すなわち、１つを上回る垂直高さ）配置され、３−Ｄ空間内に配置される仮想音源に対応するオーディオデータをより正確にレンダリングする。いくつかの実施形態では、第２の複数のうちのオーディオソース／中間ノード６０４の数は、８つ未満であって、第２の段階（以下に説明される）の算出複雑性を低減させる。いくつかの実施形態では、第２の複数のうちのオーディオソース／中間ノード６０４は、聴取者の頭部から約６インチ（１５．２４ｃｍ）〜約１２インチ（３０．４８ｃｍ）に配置される。いくつかの実施形態では、中間ノード６０４は、ローカル座標系内に固定され、原点は、ユーザの頭部位置に係止されるが、共通世界座標系に係止される配向は、ユーザの環境の慣性基準フレームに対応する。

ステップ５０６では、空間化オーディオシステム８０２（例えば、その頭部姿勢プロセッサ２３４）は、空間化オーディオシステム８０２を現在装着しているユーザ／聴取者の最新の姿勢推定（例えば、頭部姿勢）を決定する。最新の姿勢推定を決定することの一部として、空間化オーディオシステム８０２は、直近の利用可能な姿勢データ（例えば、頭部姿勢センサ２３２を通した頭部姿勢データ）を収集してもよい。頭部姿勢センサ２３２は、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む）、コンパス、マイクロホン、ＧＰＳユニット、および無線デバイスのうちの１つ以上のものを含んでもよい。頭部姿勢センサ２３２は、画像、加速およびジャイロスコープ情報、コンパス情報、音、ＧＰＳ情報、および無線伝送のうちの１つ以上のものの形態で頭部姿勢データを収集してもよい。本データは全て、ユーザ／聴取者の頭部姿勢を決定するために使用されてもよい。頭部姿勢プロセッサ２３４によって実施される計算は、収集される姿勢データ（例えば、頭部姿勢センサ２３２を通して）のタイプに応じて変動する。

ステップ５０８では、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、第２のオーディオデータを第３の複数（例えば、Ｋ個）のオーディオソースのための（すなわち、それに対応する）第３のオーディオデータにレンダリング／処理／変換する。ステップ５０８は、上記に説明される２段階のオーディオ処理の第２の段階に対応する。第３の複数（例えば、Ｋ個）におけるオーディオソースの数は、第２の複数（例えば、Ｍ個）におけるオーディオソースの数未満またはそれと等しくてもよい。第３の複数（例えば、Ｋ個）におけるオーディオソースの数は、理論的に、第２の複数（例えば、Ｍ個）におけるオーディオソースの数を上回ってもよいが、本モデルは、あまり一般的ではないであろう。

図１６では、第３のオーディオデータに対応する第３の複数のオーディオソース６０６はそれぞれ、三角形として描写される。第３の複数のオーディオソース６０６は、４つのオーディオソース６０６を含む。当然ながら、オーディオソース６０２の数は、本実施形態では、恣意的であって、限定することを意図するものではない。第３の複数のオーディオソース６０６はそれぞれ、物理的スピーカ８０６に対応してもよい。第２の段階の間、ステップ５０８では、オーディオプロセッサ２３６は、第２の複数のオーディオソース／中間ノード６０４のそれぞれの正確な仮想空間場所へのアクセスを有する。本情報は、第２の段階のオーディオ処理の算出複雑性およびシステム待ち時間を低減させる。

オーディオデータをレンダリングする目的のために、第３の複数のオーディオソース６０６はそれぞれ、上記に説明されるように、仮想マイクロホンとして機能する。これらのオーディオソース６０６は、ステップ５０８における第２の段階のオーディオ処理が、第２の複数のオーディオソース６０４のそれぞれによって生成された仮想音を第３の複数のオーディオソース６０６のそれぞれの場所に「記録」することによって、第３の複数のオーディオソース６０６のそれぞれをレンダリングするという点において、仮想マイクロホンとして機能する。したがって、第３の複数のオーディオソース６０６はそれぞれ、第２の複数のオーディオソース６０４のそれぞれからのオーディオデータを含んでもよい。これは、第２の複数のオーディオソース６０４のそれぞれを第３の複数のオーディオソース６０６のそれぞれに接続する点線によって、図１６に描写される。上記に説明されるように、これらのオーディオソース６０６は、仮想音をユーザ／聴取者に提示するための実世界物理的スピーカ８０６に対応する。

ステップ５０８における第２の段階のオーディオ処理の間、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、少なくとも部分的に、ステップ５０６において決定された最新の姿勢推定に基づいて、第２のオーディオデータを第３のオーディオデータにレンダリング／処理／変換する。例えば、ユーザ／聴取者の頭部が、図１４および１６に示されるように、左に旋回される場合、空間化オーディオシステム８０２は、第３の複数のオーディオソース６０６が右に若干回転されるように、第３のオーディオデータをレンダリングするであろう。したがって、ユーザ／聴取者の左の仮想オブジェクトに対応する仮想音は、ユーザ／聴取者の頭部の正面から生じるように現れる。空間化オーディオデータはまた、ヨーに加え、ユーザ／聴取者の頭部のピッチおよびロールを考慮するようにレンダリングされることができる。さらに、空間化オーディオデータは、ユーザ／聴取者の頭部からの仮想音源の仮想距離を考慮するようにレンダリングされることができる。

オーディオ処理のうちのいくつかは、ステップ５０４における第１の段階のオーディオ処理においてすでに生じているため、ステップ５０８における第２の段階のオーディオ処理は、第１の段階のオーディオ処理ほど算出上集約的ではない。算出複雑性は、特に、オーディオソースの第１の複数のオーディオソース６０２（オリジナルの受信されたオーディオデータ）と第２の複数のオーディオソース６０４（中間ノード）との間のオーディオソースの数の低減に伴って低減される。低減された算出複雑性は、感覚待ち時間およびシステム遅れを低減させる。

いくつかの実施形態では、最小限の姿勢変化が存在するとき、ステップ５０８における第２の段階のオーディオ処理は、第２の複数のオーディオソース６０４を最小限にのみ変化させる。他の実施形態では、最小限の姿勢変化が存在するとき、ステップ５０８における第２の段階のオーディオ処理は、第２の複数のオーディオソース６０４の数のみを変化させてもよい。

ステップ５１０では、空間化オーディオシステム８０２（例えば、スピーカ８０６−１、８０６−２、８０６−３、８０６−４）は、第３のオーディオデータに基づいて、空間化音を提示する。図２−８、１３、および１４に示されるもの等のスピーカ８０６の構成は、３つの軸（例えば、Ｘ、Ｙ、およびＺ軸）に沿って可変である、音（例えば、空間化オーディオ）の提示を促進する。

図１７は、別の実施形態による、感覚待ち時間アーチファクトを最小限にする、姿勢に敏感なオーディオ処理の方法５００’を描写する。図１７に描写される方法５００’におけるステップ５０２および５１０は、図１５に描写される方法５００における対応するステップと同じである。ステップ５０４’、５０６’、および５０８’は、図１５に描写される方法５００における対応するステップに類似する。図１５に描写される方法５００におけるように、ステップ５０２では、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、第１の複数（例えば、Ｎ個）のオーディオソースのための（すなわち、それに対応する）第１のオーディオデータを受信する。

図１７に描写される方法５００’は、ステップ５０２と５０４’との間のステップ５０３を含む。ステップ５０３では、空間化オーディオシステム８０２（例えば、その頭部姿勢プロセッサ２３４）は、空間化オーディオシステム８０２を現在装着しているユーザ／聴取者の第１の姿勢推定（例えば、頭部姿勢）を決定する。第１の姿勢推定を決定することの一部として、空間化オーディオシステム８０２は、ステップ５０３においてシステム８０２に利用可能な姿勢データ（例えば、頭部姿勢センサ２３２を通した頭部姿勢データ）を収集してもよい。頭部姿勢センサ２３２は、画像捕捉デバイス（可視および赤外線光カメラ等）、慣性測定ユニット（加速度計およびジャイロスコープを含む）、コンパス、マイクロホン、ＧＰＳユニット、および無線デバイスのうちの１つ以上のものを含んでもよい。頭部姿勢センサ２３２は、画像、加速およびジャイロスコープ情報、コンパス情報、音、ＧＰＳ情報、および無線伝送のうちの１つ以上のものの形態で頭部姿勢データを収集してもよい。本データは全て、ユーザ／聴取者の第１の頭部姿勢を決定するために使用されてもよい。頭部姿勢プロセッサ２３４によって実施される計算は、収集される姿勢データ（例えば、頭部姿勢センサ２３２を通して）のタイプに応じて変動する。

ステップ５０４’では、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、図１５に描写される方法５００におけるステップ５０４と同様に、第１のオーディオデータを第２の複数（例えば、Ｍ個）のオーディオソースのための（すなわち、それに対応する）第２のオーディオデータにレンダリング／処理／変換する。差異は、図１７に描写される方法５００’では、ステップ５０４’における２段階のオーディオ処理の第１の段階が、ステップ５０３からの空間化オーディオシステム８０２を現在装着しているユーザ／聴取者の第１の姿勢（例えば、頭部姿勢）推定を明示的に考慮することである。ステップ５０３において利用可能な姿勢推定の考慮は、第１の段階のオーディオ処理／レンダリングの正確度を改良する。

ステップ５０６’では、空間化オーディオシステム８０２（例えば、その頭部姿勢プロセッサ２３４）は、空間化オーディオシステム８０２を現在装着しているユーザ／聴取者の第２の姿勢推定（例えば、頭部姿勢）を決定する。第２の姿勢推定は、ステップ５０６’では、最新の姿勢推定である。最新の姿勢推定を決定することの一部として、空間化オーディオシステム８０２は、直近の利用可能な姿勢データ（例えば、頭部姿勢センサ２３２を通した頭部姿勢データ）を収集してもよい。ステップ５０６’は、図１５に描写される方法５００におけるステップ５０６に非常に類似する。

ステップ５０８’では、空間化オーディオシステム８０２（例えば、そのオーディオプロセッサ２３６）は、第２のオーディオデータを第３の複数（例えば、Ｋ個）のオーディオソースのための（すなわち、それに対応する）第３のオーディオデータにレンダリング／処理／変換する。ステップ５０８’における第２の段階のオーディオ処理は、ステップ５０６’において決定された空間化オーディオシステム８０２を現在装着しているユーザ／聴取者の第２の姿勢（例えば、頭部姿勢）推定を考慮する。ステップ５０６’において利用可能な第２の姿勢推定の考慮は、第２の段階のオーディオ処理／レンダリングの正確度を改良する。図１７に描写される方法５００’における第２の姿勢推定は、図１５に描写される方法５００における最新の頭部姿勢推定に類似する。

ステップ５１０では、空間化オーディオシステム８０２（例えば、スピーカ８０６−１、８０６−２、８０６−３、８０６−４）は、第３のオーディオデータに基づいて、空間化音を提示する。ステップ５１０は、図１５に描写される方法５００における対応するステップと同じである。

図１５−１７に描写され、上記に説明される、２段階のオーディオ処理は、いくつかのわずかなアーチファクトを導入し得る。例示的なわずかなアーチファクトは、第１の複数からのオーディオソース６０２と第２の複数からのオーディオソース６０４との間の若干の不整合に起因する、オーディオソースの見掛け場所の若干の不整合である。概念上、第２の複数からの中間ノード６０４を通した音の通過は、若干の不整合をもたらし得る。さらに、事実上、中間ノード６０４の「ウェブ」の内側に位置する、音源からの仮想音は、中間ノードまで進行し、次いで、ユーザ／聴取者に戻る距離と比較してより短いオリジナル距離に起因して、若干遅延された到着時間を有し得る。しかしながら、これらのわずかなアーチファクトは、上記に説明される感覚待ち時間からの主要なアーチファクトよりはるかに小さい影響を空間化オーディオ体験に及ぼす。

前述の遅れフレーム時間ワーピングの姿勢に敏感なオーディオ処理は、ユーザ／聴取者の姿勢変化にもかかわらず、仮想空間化オーディオのより知覚的に正確なレンダリングをもたらす。仮想空間化オーディオのレンダリングは、距離および干渉に起因する種々の表面、フェーズ、および角度変動からのオーディオ反射をモデル化する要件に起因して、算出上高価であり得る。オーディオソースをより少ない中間ノード／ソースの中にマージするための第１の段階と、最新の入手された姿勢情報を考慮するための中間ノード／ソースからのオーディオデータの第２の段階最終レンダリングを伴う、２段階のオーディオ処理は、より正確なレンダリングをもたらす。本プロセスは、姿勢情報の入手後のシステム待ち時間を低減させる。

上記に説明される、遅れフレーム時間ワーピングの姿勢に敏感なオーディオ処理方法５００、６００は、具体的場所を伴う具体的数のオーディオソースを含むが、これらの数および場所は、例示的であって、限定することを意図するものではない。さらに、処理段階の数もまた、例示的であって、限定することを意図するものではない。

本発明の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本発明のより広義に適用可能な側面を例証するために提供される。種々の変更が、説明される本発明に行われてもよく、本発明の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本発明の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および例証される個々の変形例はそれぞれ、本発明の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離される、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられた請求項の範囲内であることが意図される。

本発明は、本主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する作用を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。言い換えると、「提供する」作用は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙された順序で行われてもよい。

本発明の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本発明の他の詳細に関して、これらは、前述の参照特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことは、一般または論理的に採用されるような付加的作用の観点から、本開示の方法ベースの側面に関しても当てはまり得る。

加えて、本発明は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されたが、本発明は、発明の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本発明に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）は、本発明の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本発明内に包含されるものと理解されたい。

また、説明される発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形アイテムの言及は、存在する複数の同一アイテムが存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。言い換えると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題のアイテムのうちの「少なくとも１つ」を可能にする。さらに、請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。

そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「〜を備える」は、所与の数の要素が請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。

本開示の範疇は、提供される実施例および／または本主題の明細書に限定されるべきではなく、むしろ、本開示と関連付けられた請求項の言語の範囲によってのみ限定されるべきである。

前述の明細書では、本開示は、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本開示のより広義の精神および範囲から逸脱することなく、そこに行われてもよいことが明白であろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本開示の範囲または動作に影響を及ぼすことなく、変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (20)

1. 空間化オーディオシステムであって、
   聴取者の頭部姿勢を検出するためのセンサと、
   前記聴取者の前記検出された頭部姿勢に基づいて、第１の複数のソースに対応する第１のオーディオデータを第２の複数のソースに対応する第２のオーディオデータにレンダリングすることであって、前記第１の複数のソースのそれぞれは、第１の複数の位置のうちの個別の位置を有し、前記第２の複数のソースのそれぞれは、第２の複数の位置のうちの個別の位置を有する、ことと、
   前記第２のオーディオデータに基づいて、前記聴取者に対して前記第１のオーディオデータに対応する空間化音場を再現することと
   を実行するためのプロセッサと
   を備え、
   前記第２の複数のソースは、前記第１の複数のソースより少ないソースから成り、
   前記第１のオーディオデータを前記第２のオーディオデータにレンダリングすることは、前記第２の複数のソースのそれぞれが、前記第２の複数の位置のうちの個別の１つの位置において前記第１の複数のソースによって生成された仮想音を記録することを含む、システム。
2. 前記第１の複数のソースは、仮想音源である、請求項１に記載のシステム。
3. 前記第２の複数のソースは、仮想音源である、請求項１に記載のシステム。
4. 前記第１のオーディオデータを前記第２のオーディオデータにレンダリングすることは、前記第１のオーディオデータを前記第２のオーディオデータにワーピングすることを含む、請求項１に記載のシステム。
5. 前記センサは、前記プロセッサが前記第１のオーディオデータを前記第２のオーディオデータにレンダリングする直前に、前記聴取者の前記頭部姿勢を検出する、請求項１に記載のシステム。
6. 前記第１のオーディオデータは、完全オーディオストリームデータセットである、請求項１に記載のシステム。
7. 前記第２の複数のソースは、８つまたは８つより少ないソースから成る、請求項１に記載のシステム。
8. 前記第２の複数の位置のそれぞれは、異なる位置である、請求項１に記載のシステム。
9. 前記第２の複数の位置のそれぞれは、前記第１の複数の位置のそれぞれより前記聴取者に近い、請求項１に記載のシステム。
10. 前記第２の複数の位置は、単一平面内に位置しない、請求項１に記載のシステム。
11. 前記第２の複数のソースに対応する複数のスピーカをさらに備え、前記複数のスピーカは、前記第２のオーディオデータに基づいて音を生産する、請求項１に記載のシステム。
12. 前記複数のスピーカのそれぞれは、前記第２の複数の位置のうちの個別の１つの位置における前記第２の複数のソースのうちの個別のソースに対応する、請求項１１に記載のシステム。
13. 前記第１のオーディオデータを前記第２のオーディオデータにレンダリングすることは、さらに、前記第１の複数のソースの個別の位置に基づく、請求項１に記載のシステム。
14. 前記第１のオーディオデータを前記第２のオーディオデータにレンダリングすることは、前記聴取者の平行移動より回転に敏感である、請求項１に記載のシステム。
15. 前記第１のオーディオデータを前記第２のオーディオデータにレンダリングすることは、回転専用オーディオ変換である、請求項１に記載のシステム。
16. 前記センサは、前記聴取者の第２の頭部姿勢を検出し、
    前記プロセッサは、前記聴取者の前記検出された第２の頭部姿勢に基づいて、前記第２のオーディオデータを第３の複数のソースに対応する第３のオーディオデータにレンダリングするように構成されており、前記第３の複数のソースのそれぞれは、第３の複数の位置のうちの１つを有し、
    前記第２のオーディオデータを前記第３のオーディオデータにレンダリングすることは、前記第３の複数のソースのそれぞれが、前記第３の複数の位置のうちの個別の１つの位置において前記第２の複数のソースによって生成された仮想音を記録することを含む、請求項１に記載のシステム。
17. 前記第２のオーディオデータを前記第３のオーディオデータにレンダリングすることは、前記第２のオーディオデータを前記第３のオーディオデータにワーピングすることを含む、請求項１６に記載のシステム。
18. 前記センサは、前記プロセッサが前記第２のオーディオデータを前記第３のオーディオデータにレンダリングする直前に、前記聴取者の前記検出された第２の頭部姿勢を検出する、請求項１６に記載のシステム。
19. 前記第３の複数のソースは、前記第２の複数のソースより少ないソースから成る、請求項１６に記載のシステム。
20. 前記第３の複数のソースに対応する複数のスピーカをさらに備え、前記複数のスピーカは、前記第３のオーディオデータに基づいて音を生産する、請求項１６に記載のシステム。

Images