JP2022504283A - 近接場オーディオレンダリング - Google Patents

近接場オーディオレンダリング Download PDF

Info

Publication number
JP2022504283A
JP2022504283A JP2021518639A JP2021518639A JP2022504283A JP 2022504283 A JP2022504283 A JP 2022504283A JP 2021518639 A JP2021518639 A JP 2021518639A JP 2021518639 A JP2021518639 A JP 2021518639A JP 2022504283 A JP2022504283 A JP 2022504283A
Authority
JP
Japan
Prior art keywords
user
head
audio signal
distance
source location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021518639A
Other languages
English (en)
Other versions
JP7194271B2 (ja
JPWO2020073023A5 (ja
Inventor
レミ サミュエル オードフレイ，
ジャン－マルク ジョット，
サミュエル チャールズ ディッカー，
マーク ブランドン ハーテンスタイナー，
ジャスティン ダン マシュー，
アナスタシア アンドレエヴナ タジク，
ニコラス ジョン ラマルティナ，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022504283A publication Critical patent/JP2022504283A/ja
Priority to JP2022160027A priority Critical patent/JP7455173B2/ja
Publication of JPWO2020073023A5 publication Critical patent/JPWO2020073023A5/ja
Priority to JP2022196982A priority patent/JP7416901B2/ja
Application granted granted Critical
Publication of JP7194271B2 publication Critical patent/JP7194271B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Details Of Audible-Bandwidth Transducers (AREA)

Abstract

Figure 2022504283000001
例示的方法によると、オーディオ信号に対応する源場所が、識別される。オーディオ信号に対応する音響軸が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、音響軸と個別の耳との間の角度が、決定され、仮想スピーカ位置が、決定され、これは、源場所と、そして個別の耳の位置と同一線上にあり、仮想スピーカ位置は、ユーザの頭部と同心の球体の表面上に位置し、球体は、第１の半径を有する。仮想スピーカ位置および個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）が、決定され、源放射フィルタが、決定された角度に基づいて決定され、オーディオ信号は、個別の耳に関する出力オーディオ信号を発生させるために処理され、出力オーディオ信号は、ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、ユーザの個別の耳に提示される。

Description

（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年１０月５日に出願された米国仮出願第６２／７４１，６７７号および２０１９年３月１日に出願された米国仮出願第６２／８１２，７３４号の優先権を主張する。
本開示は、概して、オーディオ信号処理のためのシステムおよび方法に関し、特に、複合現実環境内でオーディオ信号を提示するためのシステムおよび方法に関する。
拡張現実および複合現実システムは、ユーザへの両耳オーディオ信号の提示に対する特有の要求を課す。一方では、現実的様式での、例えば、ユーザの予期と一貫する様式でのオーディオ信号の提示が、没入感および信憑性がある拡張または複合現実環境を作成するために重要である。他方では、そのようなオーディオ信号を処理する算出費用は、特に、限定された処理能力およびバッテリ容量を特徴とし得るモバイルシステムに関して、法外であり得る。
１つの特定の課題は、近接場オーディオ効果のシミュレーションである。近接場効果は、音源がユーザの頭部に非常に近接する印象を再現するために重要である。近接場効果は、頭部関連伝達関数（ＨＲＴＦ）のデータベースを使用して算出されることができる。しかしながら、典型的なＨＲＴＦデータベースは、ユーザの頭部から遠方場の単一の距離（例えば、ユーザの頭部から１メートルを上回る）において測定されるＨＲＴＦを含み、近接場効果のために好適な距離におけるＨＲＴＦが欠如し得る。また、ＨＲＴＦデータベースが、ユーザの頭部からの異なる距離（例えば、ユーザの頭部から１メートルを下回る）に関する測定またはシミュレートされたＨＲＴＦを含んでいる場合であっても、リアルタイムオーディオレンダリング用途のために多数のＨＲＴＦを直接使用することは、算出的に高価であり得る。故に、算出的に効率的な様式で遠方場ＨＲＴＦを使用して近接場オーディオ効果をモデル化するためのシステムおよび方法が、所望される。
本開示の実施例は、オーディオ信号をウェアラブル頭部デバイスのユーザに提示するためのシステムおよび方法を説明する。例示的方法によると、オーディオ信号に対応する源場所が、識別される。オーディオ信号に対応する音響軸が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、音響軸と個別の耳との間の角度が、決定される。ユーザの個別の左耳および右耳のそれぞれに関して、仮想スピーカアレイの仮想スピーカ位置が、決定され、仮想スピーカ位置は、源場所と、そして個別の耳の位置と同一線上にある。仮想スピーカアレイは、複数の仮想スピーカ位置を備え、複数の仮想スピーカ位置の各仮想スピーカ位置は、ユーザの頭部と同心の球体の表面上に位置し、球体は、第１の半径を有する。ユーザの個別の左耳および右耳のそれぞれに関して、仮想スピーカ位置および個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）が、決定され、源放射フィルタが、決定された角度に基づいて決定され、オーディオ信号は、個別の耳に関する出力オーディオ信号を発生させるために処理され、出力オーディオ信号は、ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、ユーザの個別の耳に提示される。オーディオ信号を処理するステップは、ＨＲＴＦおよび源放射フィルタをオーディオ信号に適用するステップを含む。
図１は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムを図示する。
図２は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムと併せて使用され得る、例示的ハンドヘルドコントローラを図示する。
図３は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムと併せて使用され得る、例示的補助ユニットを図示する。
図４は、本開示のいくつかの実施形態による、例示的ウェアラブルシステムに関する例示的機能ブロック図を図示する。
図５は、本開示のいくつかの実施形態による、両耳レンダリングシステムを図示する。
図６Ａ－６Ｃは、本開示のいくつかの実施形態による、仮想音源からのオーディオ効果をモデル化する例示的幾何学形状を図示する。 図６Ａ－６Ｃは、本開示のいくつかの実施形態による、仮想音源からのオーディオ効果をモデル化する例示的幾何学形状を図示する。 図６Ａ－６Ｃは、本開示のいくつかの実施形態による、仮想音源からのオーディオ効果をモデル化する例示的幾何学形状を図示する。
図７は、本開示のいくつかの実施形態による、点音源によって放出される音が進行する距離を算出する実施例を図示する。
図８Ａ－８Ｃは、本開示のいくつかの実施形態による、聴者の耳に対する音源の実施例を図示する。 図８Ａ－８Ｃは、本開示のいくつかの実施形態による、聴者の耳に対する音源の実施例を図示する。 図８Ａ－８Ｃは、本開示のいくつかの実施形態による、聴者の耳に対する音源の実施例を図示する。
図９Ａ－９Ｂは、本開示のいくつかの実施形態による、例示的頭部関連伝達関数（ＨＲＴＦ）の大きさ応答を図示する。 図９Ａ－９Ｂは、本開示のいくつかの実施形態による、例示的頭部関連伝達関数（ＨＲＴＦ）の大きさ応答を図示する。
図１０は、本開示のいくつかの実施形態による、音源の音響軸に対するユーザの源放射角を図示する。
図１１は、本開示のいくつかの実施形態による、ユーザの頭部の内側にパンニングされる音源の実施例を図示する。
図１２は、本開示のいくつかの実施形態による、遠方場において音源をレンダリングするために実装され得る、例示的信号フローを図示する。
図１３は、本開示のいくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、例示的信号フローを図示する。
図１４は、本開示のいくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、例示的信号フローを図示する。
図１５Ａ－１５Ｄは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。 図１５Ａ－１５Ｄは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。 図１５Ａ－１５Ｄは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。 図１５Ａ－１５Ｄは、本開示のいくつかの実施形態による、ユーザに対応する頭部座標系およびデバイスに対応するデバイス座標系の実施例を図示する。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面が、参照される。他の実施例も、使用され得、構造変更が、開示される実施例の範囲から逸脱することなく、行われ得ることを理解されたい。
例示的ウェアラブルシステム
図１は、ユーザの頭部上に装着されるように構成される、例示的ウェアラブル頭部デバイス１００を図示する。ウェアラブル頭部デバイス１００は、頭部デバイス（例えば、ウェアラブル頭部デバイス１００）、ハンドヘルドコントローラ（例えば、下記に説明されるハンドヘルドコントローラ２００）、および／または補助ユニット（例えば、下記に説明される補助ユニット３００）等の１つ以上のコンポーネントを含む、より広範なウェアラブルシステムの一部であってもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、仮想現実、拡張現実、または複合現実システムまたはアプリケーションのために使用されることができる。ウェアラブル頭部デバイス１００は、ディスプレイ１１０Ａおよび１１０Ｂ（左および右透過性ディスプレイと、直交瞳拡大（ＯＰＥ）格子セット１１２Ａ／１１２Ｂおよび射出瞳拡大（ＥＰＥ）格子セット１１４Ａ／１１４Ｂ等、ディスプレイからユーザの眼に光を結合するための関連付けられるコンポーネントとを含み得る）等の１つ以上のディスプレイと、スピーカ１２０Ａおよび１２０Ｂ（それぞれ、つるアーム１２２Ａおよび１２２Ｂ上に搭載され、ユーザの左耳および右耳に隣接して位置付けられ得る）等の左および右音響構造と、赤外線センサ、加速度計、ＧＰＳユニット、慣性測定ユニット（ＩＭＵ、例えば、ＩＭＵ１２６）、音響センサ（例えば、マイクロホン１５０）等の１つ以上のセンサと、直交コイル電磁受信機（例えば、左つるアーム１２２Ａに搭載されるように示される受信機１２７）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ１３０Ａおよび１３０Ｂ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）（例えば、眼カメラ１２８Ａおよび１２８Ｂ）とを含むことができる。しかしながら、ウェアラブル頭部デバイス１００は、本開示の範囲から逸脱することなく、任意の好適なディスプレイ技術およびセンサまたは他のコンポーネントの任意の好適な数、タイプ、または組み合わせを組み込むことができる。いくつかの実施例では、ウェアラブル頭部デバイス１００は、ユーザの音声によって発生されるオーディオ信号を検出するように構成される、１つ以上のマイクロホン１５０を組み込んでもよく、そのようなマイクロホンは、ユーザの口に隣接して位置付けられてもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、他のウェアラブルシステムを含む、他のデバイスおよびシステムと通信するために、ネットワーキング特徴（例えば、Ｗｉ－Ｆｉ能力）を組み込んでもよい。ウェアラブル頭部デバイス１００はさらに、バッテリ、プロセッサ、メモリ、記憶ユニット、または種々の入力デバイス（例えば、ボタン、タッチパッド）等のコンポーネントを含んでもよい、または１つ以上のそのようなコンポーネントを備えるハンドヘルドコントローラ（例えば、ハンドヘルドコントローラ２００）または補助ユニット（例えば、補助ユニット３００）に結合されてもよい。いくつかの実施例では、センサは、ユーザの環境に対する頭部搭載型ユニットの座標のセットを出力するように構成されてもよく、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）プロシージャおよび／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、下記にさらに説明されるように、ハンドヘルドコントローラ２００および／または補助ユニット３００に結合されてもよい。
図２は、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラコンポーネント２００を図示する。いくつかの実施例では、ハンドヘルドコントローラ２００は、ウェアラブル頭部デバイス１００および／または下記に説明される補助ユニット３００と有線または無線通信してもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、ユーザによって保持されるべき取っ手部分２２０と、上面２１０に沿って配置される１つ以上のボタン２４０とを含む。いくつかの実施例では、ハンドヘルドコントローラ２００は、光学追跡標的としての使用のために構成されてもよく、例えば、ウェアラブル頭部デバイス１００のセンサ（例えば、カメラまたは他の光学センサ）は、ハンドヘルドコントローラ２００の位置および／または配向を検出するように構成されることができ、これは、転じて、ハンドヘルドコントローラ２００を保持するユーザの手の位置および／または配向を示し得る。いくつかの実施例では、ハンドヘルドコントローラ２００は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、または上記に説明されるもの等の１つ以上の入力デバイスを含んでもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、１つ以上のセンサ（例えば、ウェアラブル頭部デバイス１００に関して上記に説明されるセンサまたは追跡コンポーネントのうちのいずれか）を含む。いくつかの実施例では、センサは、ウェアラブル頭部デバイス１００に対する、またはウェアラブルシステムの別のコンポーネントに対するハンドヘルドコントローラ２００の位置または配向を検出することができる。いくつかの実施例では、センサは、ハンドヘルドコントローラ２００の取っ手部分２２０内に位置付けられてもよい、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ２００は、例えば、ボタン２４０の押下状態、またはハンドヘルドコントローラ２００の位置、配向、および／または運動（例えば、ＩＭＵを介して）に対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブル頭部デバイス１００のプロセッサへの、補助ユニット３００への、またはウェアラブルシステムの別のコンポーネントへの入力として使用されてもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、音（例えば、ユーザの発話、環境音）を検出し、ある場合には、検出された音に対応する信号をプロセッサ（例えば、ウェアラブル頭部デバイス１００のプロセッサ）に提供するために、１つ以上のマイクロホンを含むことができる。
図３は、例示的ウェアラブルシステムの例示的補助ユニット３００を図示する。いくつかの実施例では、補助ユニット３００は、ウェアラブル頭部デバイス１００および／またはハンドヘルドコントローラ２００と有線または無線通信してもよい。補助ユニット３００は、ウェアラブル頭部デバイス１００および／またはハンドヘルドコントローラ２００（ディスプレイ、センサ、音響構造、プロセッサ、マイクロホン、および／またはウェアラブル頭部デバイス１００またはハンドヘルドコントローラ２００の他のコンポーネントを含む）等のウェアラブルシステムの１つ以上のコンポーネントを動作させるためのエネルギーを提供するために、バッテリを含むことができる。いくつかの実施例では、補助ユニット３００は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、１つ以上の入力デバイス、および／または上記に説明されるもの等の１つ以上のセンサを含んでもよい。いくつかの実施例では、補助ユニット３００は、補助ユニットをユーザ（例えば、ユーザによって装着されるベルト）に取り付けるためのクリップ３１０を含む。ウェアラブルシステムの１つ以上のコンポーネントを格納するために補助ユニット３００を使用する利点は、そのように行うことが、大きいまたは重いコンポーネントが、（例えば、ウェアラブル頭部デバイス１００内に格納される場合）ユーザの頭部に搭載される、または（例えば、ハンドヘルドコントローラ２００内に格納される場合）ユーザの手によって担持されるのではなく、大きく重い物体を支持するために比較的に良好に適しているユーザの腰部、胸部、または背部の上に担持されることを可能にし得ることである。これは、バッテリ等の比較的に重いまたは嵩張るコンポーネントに関して特に有利であり得る。
図４は、上記に説明される、例示的ウェアラブル頭部デバイス１００と、ハンドヘルドコントローラ２００と、補助ユニット３００とを含み得る等、例示的ウェアラブルシステム４００に対応し得る、例示的機能ブロック図を示す。いくつかの実施例では、ウェアラブルシステム４００は、仮想現実、拡張現実、または複合現実用途のために使用され得る。図４に示されるように、ウェアラブルシステム４００は、ここでは「トーテム」と称される（および上記に説明されるハンドヘルドコントローラ２００に対応し得る）例示的ハンドヘルドコントローラ４００Ｂを含むことができ、ハンドヘルドコントローラ４００Ｂは、トーテム／ヘッドギヤ６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含むことができる。ウェアラブルシステム４００はまた、（上記に説明されるウェアラブル頭部デバイス１００に対応し得る）例示的ヘッドギヤデバイス４００Ａを含むことができ、ヘッドギヤデバイス４００Ａは、トーテム／ヘッドギヤ６ＤＯＦヘッドギヤサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦヘッドギヤサブシステム４０４Ｂは、協働し、ヘッドギヤデバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ヘッドギヤデバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、ベクトル、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ヘッドギヤデバイス４００Ａ内に含まれる１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ２００のボタン２４０またはハンドヘルドコントローラ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ヘッドギヤデバイス４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ヘッドギヤデバイス４００Ａおよびハンドヘルドコントローラ４００Ｂは、それぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれの中で受信される３つの区別可能な信号の相対的大きさを測定することによって、ヘッドギヤデバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６ＤＯＦが、決定されてもよい。いくつかの実施例では、６ＤＯＦトーテムサブシステム４０４Ａは、ハンドヘルドコントローラ４００Ｂの高速移動に関する改良された正確度および／またはよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
拡張現実または複合現実用途を伴ういくつかの実施例では、座標をローカル座標空間（例えば、ヘッドギヤデバイス４００Ａに対して固定される座標空間）から慣性座標空間に、または環境座標空間に変換することが、望ましくあり得る。例えば、そのような変換は、ヘッドギヤデバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向において（例えば、ヘッドギヤデバイス４００Ａのディスプレイにおける同一の位置において）ではなく、仮想オブジェクトを実環境に対する予期される位置および配向において提示する（例えば、ヘッドギヤデバイス４００Ａの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）ために必要であり得る。これは、仮想オブジェクトが、実環境内に存在する（かつ、例えば、ヘッドギヤデバイス４００Ａが、偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を維持することができる。いくつかの実施例では、座標空間の間の補償変換が、慣性または環境座標系に対するヘッドギヤデバイス４００Ａの変換を決定するために、（例えば、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリプロシージャを使用して）深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合されることができ、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と実座標空間との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ヘッドギヤデバイス４００ＡのＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、ユーザの頭部姿勢および位置の高速調節に関する改良された正確度および／またはよりタイムリーな情報を提供することができる。
いくつかの実施例では、深度カメラ４４４は、ヘッドギヤデバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
いくつかの実施例では、１つ以上のプロセッサ４１６は、ヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、マイクロホン４５０、および／または手のジェスチャトラッカ４１１からデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、それから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、立体視画像データを画像毎に変調された光の源４２４、４２６に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１９から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ４００Ｂを介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって発生された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が、実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
図４に示されるもの等のいくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３００に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電する、および／または電力をヘッドギヤデバイス４００Ａおよび／またはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ヘッドギヤデバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
図４は、例示的ウェアラブルシステム４００の種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられるものとして図４に提示される要素は、代わりに、ヘッドギヤデバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものである。
オーディオレンダリング
下記に説明されるシステムおよび方法は、上記に説明されるもの等の拡張現実または複合現実システムにおいて実装されることができる。例えば、拡張現実システムの１つ以上のプロセッサ（例えば、ＣＰＵ、ＤＳＰ）が、オーディオ信号を処理するために、または下記に説明されるコンピュータ実装方法のステップを実装するために使用されることができ、拡張現実システムのセンサ（例えば、カメラ、音響センサ、ＩＭＵ、ＬＩＤＡＲ、ＧＰＳ）が、本システムのユーザまたはユーザの環境内の要素の位置および／または配向を決定するために使用されることができ、拡張現実システムのスピーカが、オーディオ信号をユーザに提示するために使用されることができる。いくつかの実施形態では、外部オーディオ再生デバイス（例えば、ヘッドホン、イヤホン）が、本システムのスピーカの代わりに、オーディオ信号をユーザの耳に送達するために使用され得る。
上記に説明されるもの等の拡張現実または複合現実システムでは、１つ以上のプロセッサ（例えば、ＤＳＰオーディオ空間化装置４２２）は、１つ以上のスピーカ（例えば、上記に説明される左および右スピーカ４１２／４１４）を介したウェアラブル頭部デバイスのユーザへの提示のために、１つ以上のオーディオ信号を処理することができる。オーディオ信号の処理は、知覚されるオーディオ信号の真正性、例えば、複合現実環境内のユーザに提示されるオーディオ信号が、オーディオ信号が実環境内で聞こえるであろう方法のユーザの予期に合致する程度と、オーディオ信号を処理する際に伴う算出オーバーヘッドとの間のトレードオフを要求する。
近接場オーディオ効果をモデル化することは、ユーザのオーディオ体験の真正性を向上させることができるが、算出的に法外であり得る。いくつかの実施形態では、統合された解決策は、算出的に効率的なレンダリングアプローチを耳毎の１つ以上の近接場効果と組み合わせてもよい。耳毎の１つ以上の近接場効果は、例えば、耳毎の音入射のシミュレーションにおける視差角、物体位置および人体計測データに基づく両耳間時間差（ＩＴＤ）、距離に起因する近接場レベル変化、および／またはユーザの頭部への近接に起因する大きさ応答変化および／または視差角に起因する源放射変動を含み得る。いくつかの実施形態では、統合された解決策は、算出費用を過剰に増加させないように、算出的に効率的であり得る。
遠方場では、音源が、ユーザにより近接して、またはユーザからより遠くに移動するにつれて、ユーザの耳における変化は、耳毎に同一であり得、音源に関する信号の減衰であり得る。近接場では、音源が、ユーザにより近接して、またはユーザからより遠くに移動するにつれて、ユーザの耳における変化は、耳毎に異なり得、音源に関する信号の単なる減衰以上のものであり得る。いくつかの実施形態では、近接場および遠方場境界は、条件が変化する場所であり得る。
いくつかの実施形態では、仮想スピーカアレイ（ＶＳＡ）は、ユーザの頭部の中心に心合される球体上の位置の離散セットであってもよい。球体上の位置毎に、ＨＲＴＦの対（例えば、左右対）が、提供される。いくつかの実施形態では、近接場は、ＶＳＡの内側の領域であってもよく、遠方場は、ＶＳＡの外側の領域であってもよい。ＶＳＡにおいて、近接場アプローチまたは遠方場アプローチのいずれかが、使用されてもよい。
ユーザの頭部の中心からＶＳＡまでの距離は、ＨＲＴＦが取得された距離であってもよい。例えば、ＨＲＴＦフィルタは、測定される、またはシミュレーションから合成されてもよい。ＶＳＡからユーザの頭部の中心までの測定／シミュレートされた距離は、「測定距離」（ＭＤ）と称され得る。仮想音源からユーザの頭部の中心までの距離は、「源距離」（ＳＤ）と称され得る。
図５は、いくつかの実施形態による、両耳レンダリングシステム５００を図示する。図５の例示的システムでは、モノ入力オーディオ信号５０１（仮想音源を表し得る）が、エンコーダ５０３の両耳間時間遅延（ＩＴＤ）モジュール５０２によって、左信号５０４および右信号５０６に分割される。いくつかの実施例では、左信号５０４および右信号５０６は、ＩＴＤモジュール５０２によって決定されるＩＴＤ（例えば、ミリ秒単位）だけ異なり得る。実施例では、左信号５０４は、左耳ＶＳＡモジュール５１０に入力され、右信号５０６は、右耳ＶＳＡモジュール５２０に入力される。
実施例では、左耳ＶＳＡモジュール５１０は、ＨＲＴＦフィルタバンク５４０内の左耳ＨＲＴＦフィルタ５５０のセット（Ｌ１， … ＬＮ）にそれぞれフィードする、Ｎ個のチャネルのセットにわたって左信号５０４をパンニングすることができる。左耳ＨＲＴＦフィルタ５５０は、実質的に遅延がないものであってもよい。左耳ＶＳＡモジュールのパンニング利得５１２（ｇＬ１， … ｇＬＮ）は、左入射角（ａｎｇＬ）の関数であってもよい。左入射角は、ユーザの頭部の中心から正面方向に対する音の入射方向を示し得る。図では、ユーザの頭部に対して上から下への視点から示されるが、左入射角は、３次元における角度を含むことができ、すなわち、左入射角は、方位角および／または高度角を含むことができる。
同様に、実施例では、右耳ＶＳＡモジュール５２０は、ＨＲＴＦフィルタバンク５４０内の右耳ＨＲＴＦフィルタ５６０のセット（Ｒ１， … ＲＭ）にそれぞれフィードする、Ｍ個のチャネルのセットにわたって右信号５０６をパンニングすることができる。右耳ＨＲＴＦフィルタ５５０は、実質的に遅延がないものであってもよい。（１つのみのＨＲＴＦフィルタバンクが、図に示されるが、分散システムを横断して記憶されるものを含む、複数のＨＲＴＦフィルタバンクが、想定される。）右耳ＶＳＡモジュールのパンニング利得５２２（ｇＲ１， … ｇＲＭ）は、右入射角（ａｎｇＲ）の関数であってもよい。右入射角は、ユーザの頭部の中心から正面方向に対する音の入射方向を示し得る。上記のように、右入射角は、３次元における角度を含むことができ、すなわち、右入射角は、方位角および／または高度角を含むことができる。
示されるもの等のいくつかの実施形態では、左耳ＶＳＡモジュール５１０は、Ｎ個のチャネルにわたって左信号５０４をパンニングしてもよく、右耳ＶＳＡモジュールは、Ｍ個のチャネルにわたって右信号をパンニングしてもよい。いくつかの実施形態では、ＮおよびＭは、等しくてもよい。いくつかの実施形態では、ＮおよびＭは、異なってもよい。これらの実施形態では、上記に説明されるように、左耳ＶＳＡモジュールは、左耳ＨＲＴＦフィルタのセット（Ｌ１， … ＬＮ）にフィードしてもよく、右耳ＶＳＡモジュールは、右耳ＨＲＴＦフィルタのセット（Ｒ１， … ＲＭ）にフィードしてもよい。さらに、これらの実施形態では、上記に説明されるように、左耳ＶＳＡモジュールのパンニング利得（ｇＬ１， … ｇＬＮ）は、左耳入射角（ａｎｇＬ）の関数であってもよく、右耳ＶＳＡモジュールのパンニング利得（ｇＲ１， … ｇＲＭ）は、右耳入射角（ａｎｇＲ）の関数であってもよい。
例示的システムは、単一のエンコーダ５０３および対応する入力信号５０１を図示する。入力信号は、仮想音源に対応し得る。いくつかの実施形態では、本システムは、付加的エンコーダおよび対応する入力信号を含んでもよい。これらの実施形態では、入力信号は、仮想音源に対応し得る。すなわち、各入力信号は、仮想音源に対応し得る。
いくつかの実施形態では、いくつかの仮想音源を同時にレンダリングするとき、本システムは、仮想音源毎にエンコーダを含んでもよい。これらの実施形態では、混合モジュール（例えば、図５の５３０）が、エンコーダのそれぞれから出力を受信し、受信された信号を混合し、混合された信号をＨＲＴＦフィルタバンクの左および右ＨＲＴＦフィルタに出力する。
図６Ａは、いくつかの実施形態による、仮想音源からのオーディオ効果をモデル化するための幾何学形状を図示する。仮想音源６１０からユーザの頭部の中心６２０までの距離６３０（例えば、「源距離」（ＳＤ））は、ＶＳＡ６５０からユーザの頭部の中心までの距離６４０（例えば、「測定距離」（ＭＤ））に等しい。図６Ａに図示されるように、左入射角６５２（ａｎｇＬ）および右入射角６５４（ａｎｇＲ）は、等しい。いくつかの実施形態では、ユーザの頭部の中心６２０から仮想音源６１０までの角度が、パンニング利得（例えば、ｇＬ１， …， ｇＬＮ， ｇＲ１， …， ｇＲＮ）を算出するために直接使用されてもよい。示される実施例では、仮想音源位置６１０は、左耳パンニングおよび右耳パンニングを算出するための位置（６１２／６１４）として使用される。
図６Ｂは、いくつかの実施形態による、仮想音源からの近接場オーディオ効果をモデル化するための幾何学形状を図示する。示されるように、仮想音源６１０から基準点（例えば、「源距離」（ＳＤ））までの距離６３０は、ＶＳＡ６５０からユーザの頭部の中心６２０までの距離６４０（例えば、「測定距離」（ＭＤ））を下回る。いくつかの実施形態では、基準点は、ユーザの頭部の中心（６２０）であってもよい。いくつかの実施形態では、基準点は、ユーザの２つの耳の間の中間点であってもよい。図６Ｂに図示されるように、左入射角６５２（ａｎｇＬ）は、右入射角６５４（ａｎｇＲ）を上回る。各耳に対する角度（例えば、左入射角６５２（ａｎｇＬ）および右入射角６５４（ａｎｇＲ））は、ＭＤ６４０におけるものと異なる。
いくつかの実施形態では、左耳信号パンニングを算出するために使用される左入射角６５２（ａｎｇＬ）は、ユーザの左耳から仮想音源６１０の場所を通して通る線およびＶＳＡ６５０を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ（方位角および高度角）が、ユーザの頭部の中心６２０から交点までの球座標角度として３Ｄ環境に関して算出されてもよい。
同様に、いくつかの実施形態では、左耳信号パンニングを算出するために使用される右入射角６５４（ａｎｇＬ）は、ユーザの右耳から仮想音源６１０の場所を通して通る線およびＶＳＡ６５０を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ（方位角および高度角）が、ユーザの頭部の中心６２０から交点までの球座標角度として３Ｄ環境に関して算出されてもよい。
いくつかの実施形態では、線と球体との間の交差部は、例えば、線を表す方程式および球体を表す方程式を組み合わせることによって算出されてもよい。
図６Ｃは、いくつかの実施形態による、仮想音源からの遠方場オーディオ効果をモデル化するための幾何学形状を図示する。仮想音源６１０からユーザの頭部の中心６２０までの距離６３０（例えば、「源距離」（ＳＤ））は、ＶＳＡ６５０からユーザの頭部の中心６２０までの距離６４０（例えば、「測定距離」（ＭＤ））を上回る。図６Ｃに図示されるように、左入射角６１２（ａｎｇＬ）は、右入射角６１４（ａｎｇＲ）を下回る。各耳に対する角度（例えば、左入射角（ａｎｇＬ）および右入射角（ａｎｇＲ））は、ＭＤにおけるものと異なる。
いくつかの実施形態では、左耳信号パンニングを算出するために使用される左入射角６１２（ａｎｇＬ）は、ユーザの左耳から仮想音源６１０の場所を通して通る線およびＶＳＡ６５０を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ（方位角および高度角）が、ユーザの頭部の中心６２０から交点までの球座標角度として３Ｄ環境に関して算出されてもよい。
同様に、いくつかの実施形態では、左耳信号パンニングを算出するために使用される右入射角６１４（ａｎｇＲ）は、ユーザの右耳から仮想音源６１０の場所を通して通る線およびＶＳＡ６５０を含有する球体の交差部を算出することによって導出されてもよい。パンニング角度組み合わせ（方位角および高度角）が、ユーザの頭部の中心６２０から交点までの球座標角度として３Ｄ環境に関して算出されてもよい。
いくつかの実施形態では、線と球体との間の交差部は、例えば、線を表す方程式および球体を表す方程式を組み合わせることによって算出されてもよい。
いくつかの実施形態では、レンダリングスキームは、左入射角６１２および右入射角６１４を区別しない場合があり、代わりに、左入射角６１２および右入射角６１４が等しいと仮定する。しかしながら、左入射角６１２および右入射角６１４が等しいと仮定することは、図６Ｂに関して説明されるような近接場効果および／または図６Ｃに関して説明されるような遠方場効果を再現するときに適用可能または許容可能ではない場合がある。
図７は、いくつかの実施形態による、（点）音源７１０によってユーザの耳７１２に放出される音が進行する距離を算出するための幾何学的モデルを図示する。図７に図示される幾何学的モデルでは、ユーザの頭部は、球形であると仮定される。同一のモデルが、各耳（例えば、左耳および右耳）に適用される。各耳への遅延が、（点）音源７１０によってユーザの耳７１２に放出される音が進行する距離（例えば、図７の距離Ａ＋Ｂ）をユーザの環境（例えば、空気）内の音速で除算することによって算出され得る。両耳間時間差（ＩＴＤ）は、ユーザの２つの耳の間の遅延の差異であり得る。いくつかの実施形態では、ＩＴＤは、ユーザの頭部および音源７１０の場所に対する対側の耳にのみ適用されてもよい。いくつかの実施形態では、図７に図示される幾何学的モデルは、任意のＳＤ（例えば、近接場または遠方場）のために使用されてもよく、ユーザの頭部上の耳の位置および／またはユーザの頭部の頭部サイズを考慮しない場合がある。
いくつかの実施形態では、図７に図示される幾何学的モデルは、音源７１０から各耳までの距離に起因する減衰を算出するために使用されてもよい。いくつかの実施形態では、減衰は、距離の比を使用して算出されてもよい。近接場源に関するレベルの差異は、所望の源位置に関する源から耳までの距離と、（例えば、図６Ａ－６Ｃに図示されるような）パンニングのために算出されるＭＤおよび角度に対応する源に関する源から耳までの距離との比を評価することによって算出されてもよい。いくつかの実施形態では、耳からの最小距離が、例えば、算出的に高価であり得る、および／または数値のオーバーフローをもたらし得る、非常に小さい数での除算を回避するために使用されてもよい。これらの実施形態では、より小さい距離は、クランピングされてもよい。
いくつかの実施形態では、距離は、クランピングされてもよい。クランピングは、例えば、ある閾値を下回る距離値を別の値に限定するステップを含んでもよい。いくつかの実施形態では、クランピングは、算出のために、実際の距離値の代わりに、限定された距離値（クランピングされた距離値と称される）を使用するステップを含んでもよい。ハードクランピングは、ある閾値を下回る距離値をその閾値に限定するステップを含んでもよい。例えば、ある閾値が、５ミリメートルである場合、その閾値未満の距離値は、その閾値に設定され、その閾値は、その閾値未満である実際の距離値の代わりに、算出のために使用されてもよい。ソフトクランピングは、距離値が、ある閾値に接近する、またはそれを下回るにつれて、それらが、その閾値に漸近的に接近するように、距離値を限定するステップを含んでもよい。いくつかの実施形態では、クランピングの代わりに、またはそれに加えて、距離値は、距離値が、所定の量を決して下回らないように、所定の量だけ増加されてもよい。
いくつかの実施形態では、聴者の耳からの第１の最小距離が、利得を算出するために使用されてもよく、聴者の耳からの第２の最小距離が、例えば、ＨＲＴＦフィルタ、両耳間時間差、および同等物を算出するために使用される角度等の他の音源位置パラメータを算出するために使用されてもよい。いくつかの実施形態では、第１の最小距離および第２の最小距離は、異なり得る。
いくつかの実施形態では、利得を算出するために使用される最小距離は、音源の１つ以上の性質の関数であってもよい。いくつかの実施形態では、利得を算出するために使用される最小距離は、音源のレベル（例えば、いくつかのフレームにわたる信号のＲＭＳ値）、音源のサイズ、または音源の放射性質、および同等物の関数であってもよい。
図８Ａ－８Ｃは、いくつかの実施形態による、聴者の右耳に対する音源の実施例を図示する。図８Ａは、音源８１０が、第１の最小距離８２２および第２の最小距離８２４を上回る、聴者の右耳８２０からの距離８１２にある場合を図示する。本実施形態では、シミュレートされた音源と聴者の右耳８２０との間の距離８１２は、利得および他の音源位置パラメータを算出するために使用され、クランピングされない。
図８Ｂは、シミュレートされた音源８１０が、第１の最小距離８２２を下回り、第２の最小距離８２４を上回る、聴者の右耳８２０からの距離８１２にある場合を示す。本実施形態では、距離８１２は、利得算出のためにクランピングされるが、例えば、方位角および高度角または両耳間時間差等の他のパラメータを算出するためにはクランピングされない。言い換えると、第１の最小距離８２２は、利得を算出するために使用され、シミュレートされた音源８１０と聴者の右耳８２０との間の距離８１２は、他の音源位置パラメータを算出するために使用される。
図８Ｃは、シミュレートされた音源８１０が、第１の最小距離８２２および第２の最小距離８２４の両方よりも耳に近接する場合を示す。本実施形態では、距離８１２は、利得算出のために、そして他の音源位置パラメータを算出するためにクランピングされる。言い換えると、第１の最小距離８２２は、利得を算出するために使用され、第２の最小距離８２４は、他の音源位置パラメータを算出するために使用される。
いくつかの実施形態では、距離から算出される利得が、利得を算出するために使用される最小距離を限定する代わりに、直接限定されてもよい。言い換えると、利得は、第１のステップとして、距離に基づいて算出されてもよく、第２のステップにおいて、利得は、所定の閾値を超えないようにクランピングされてもよい。
いくつかの実施形態では、音源が、聴者の頭部により近接するにつれて、音源の大きさ応答が、変化し得る。例えば、音源が、聴者の頭部により近接するにつれて、同側の耳における低周波数は、増幅され得る、および／または対側の耳における高周波数は、減衰され得る。大きさ応答の変化は、両耳間レベル差（ＩＬＤ）の変化につながり得る。
図９Ａおよび９Ｂは、いくつかの実施形態による、それぞれ、水平面内の（点）音源に関する耳におけるＨＲＴＦ大きさ応答９００Ａおよび９００Ｂを図示する。ＨＲＴＦ大きさ応答は、方位角の関数として、球形頭部モデルを使用して算出されてもよい。図９Ａは、遠方場（例えば、ユーザの頭部の中心から１メートル）における（点）音源に関する大きさ応答９００Ａを図示する。図９Ｂは、近接場（例えば、ユーザの頭部の中心から０．２５メートル）における（点）音源に関する大きさ応答９００Ｂを図示する。図９Ａおよび９Ｂに図示されるように、ＩＬＤの変化は、低周波数において最も顕著であり得る。遠方場では、低周波数成分に関する大きさ応答は、一定（例えば、源方位角の角度から独立する）であり得る。近接場では、低周波数成分の大きさ応答は、ユーザの頭部／耳の同一側上の音源に関して増幅され得、これは、低周波数においてより高いＩＬＤにつながり得る。近接場では、高周波数成分の大きさ応答は、ユーザの頭部の対向する側上の音源に関して減衰され得る。
いくつかの実施形態では、大きさ応答の変化は、例えば、両耳レンダリングにおいて使用されるＨＲＴＦフィルタを考慮することによって考慮されてもよい。ＶＳＡの場合では、ＨＲＴＦフィルタは、（例えば、図６Ｂおよび図６Ｃに図示されるような）右耳パンニングを算出するために使用される位置および左耳パンニングを算出するために使用される位置に対応するＨＲＴＦとして近似されてもよい。いくつかの実施形態では、ＨＲＴＦフィルタは、直接ＭＤ ＨＲＴＦを使用して算出されてもよい。いくつかの実施形態では、ＨＲＴＦフィルタは、パンニングされた球形頭部モデルＨＲＴＦを使用して算出されてもよい。いくつかの実施形態では、補償フィルタが、視差ＨＲＴＦ角度から独立して算出されてもよい。
いくつかの実施形態では、視差ＨＲＴＦ角度が、算出され、次いで、より正確な補償フィルタを算出するために使用されてもよい。例えば、図６Ｂを参照すると、左耳パンニングを算出するために使用される位置が、左耳に関する合成フィルタを算出するために仮想音源位置と比較されてもよく、右耳パンニングを算出するために使用される位置が、右耳に関する合成フィルタを算出するために仮想音源位置と比較されてもよい。
いくつかの実施形態では、いったん距離に起因する減衰が、考慮されると、大きさの差異が、付加的信号処理を用いて捕捉されてもよい。いくつかの実施形態では、付加的信号処理は、各耳信号に適用されるべき利得、低シェルビングフィルタ、および高シェルビングフィルタから成ってもよい。
いくつかの実施形態では、広帯域利得が、例えば、以下の方程式１に従って、最大１２０度の角度に関して算出され得る。
Figure 2022504283000002
式中、
Figure 2022504283000003
 は、例えば、ユーザの耳の位置に対する、ＭＤにおける対応するＨＲＴＦの角度であり得る。いくつかの実施形態では、１２０度以外の角度も、使用されてもよい。これらの実施形態では、方程式１は、使用される角度毎に修正されてもよい。
いくつかの実施形態では、広帯域利得が、例えば、以下の方程式２に従って、１２０度を上回る角度に関して算出され得る。
Figure 2022504283000004
いくつかの実施形態では、１２０度以外の角度も、使用されてもよい。これらの実施形態では、方程式２は、使用される角度毎に修正されてもよい。
いくつかの実施形態では、低シェルビングフィルタ利得が、例えば、以下の方程式３に従って算出され得る。
Figure 2022504283000005
いくつかの実施形態では、他の角度も、使用されてもよい。これらの実施形態では、方程式３は、使用される角度毎に修正されてもよい。
いくつかの実施形態では、高シェルビングフィルタ利得が、例えば、以下の方程式４に従って、１１０度よりも大きい角度に関して算出され得る。
Figure 2022504283000006
式中、
Figure 2022504283000007
 は、ユーザの耳の位置に対する源の角度であり得る。いくつかの実施形態では、１１０度以外の角度も、使用されてもよい。これらの実施形態では、方程式４は、使用される角度毎に修正されてもよい。
前述の効果（例えば、利得、低シェルビングフィルタ、および高シェルビングフィルタ）は、距離の関数として減衰され得る。いくつかの実施形態では、距離減衰係数が、例えば、以下の方程式５に従って算出され得る。
Figure 2022504283000008
式中、ＨＲは、頭部半径であり、ＭＤは、測定距離であり、
Figure 2022504283000009
 は、少なくとも頭部半径と同程度に大きくなるようにクランピングされた源距離である。
図１０は、いくつかの実施形態による、音源１０１０の音響軸１０１５に対するユーザの軸外れ角度（または源放射角）を図示する。いくつかの実施形態では、源放射角は、例えば、源放射性質に基づいて、直接経路の大きさ応答を評価するために使用されてもよい。いくつかの実施形態では、軸外れ角度は、源が、ユーザの頭部により近接して移動するにつれて、耳毎に異なり得る。図では、源放射角１０２０は、左耳に対応し、源放射角１０３０は、頭部の中心に対応し、源放射角１０４０は、右耳に対応する。耳毎に異なる軸外れ角度は、耳毎に別個の直接経路処理につながり得る。
図１１は、いくつかの実施形態による、ユーザの頭部の内側にパンニングされる音源１１１０を図示する。頭部内効果を作成するために、音源１１１０は、両耳レンダリングとステレオレンダリングとの間のクロスフェードとして処理されてもよい。いくつかの実施形態では、両耳レンダリングは、ユーザの頭部上またはその外側に位置する源１１１２に関して作成されてもよい。いくつかの実施形態では、音源１１１２の場所は、ユーザの頭部の中心１１２０からシミュレートされた音位置１１１０を通して通る線とユーザの頭部の表面１１３０との交差部として定義されてもよい。いくつかの実施形態では、ステレオレンダリングは、振幅および／または時間ベースのパンニング技法を使用して作成されてもよい。いくつかの実施形態では、時間ベースのパンニング技法は、例えば、ＩＴＤを対側の耳に適用することによって、各耳においてステレオ信号および両耳信号を時間的に整合させるために使用されてもよい。いくつかの実施形態では、ＩＴＤおよびＩＬＤは、音源が、ユーザの頭部の中心１１２０に接近するにつれて（すなわち、源距離１１５０が、ゼロに接近するにつれて）、ゼロに縮小されてもよい。いくつかの実施形態では、両耳とステレオとの間のクロスフェードは、例えば、ＳＤに基づいて算出されてもよく、ユーザの頭部のおおよその半径１１４０によって正規化されてもよい。
いくつかの実施形態では、フィルタ（例えば、ＥＱフィルタ）が、ユーザの頭部の中心に位置する音源に関して適用されてもよい。ＥＱフィルタは、音源がユーザの頭部を通して移動する際の急激な音色変化を低減させるために使用されてもよい。いくつかの実施形態では、ＥＱフィルタは、シミュレートされた音源が、ユーザの頭部の中心からユーザの頭部の表面に移動する際、ユーザの頭部の表面における大きさ応答に合致し、したがって、音源がユーザの頭部の内外に移動するときの急激な大きさ応答変化のリスクをさらに低減させるために、スケーリングされてもよい。いくつかの実施形態では、等化信号と未処理信号との間のクロスフェードが、ユーザの頭部の中心とユーザの頭部の表面との間の音源の位置に基づいて、使用されてもよい。
いくつかの実施形態では、ＥＱフィルタは、ユーザの頭部の表面上の源をレンダリングするために使用されるフィルタの平均として自動的に算出されてもよい。ＥＱフィルタは、調整可能／構成可能パラメータのセットとしてユーザに公開されてもよい。いくつかの実施形態では、調整可能／構成可能パラメータは、制御周波数および関連付けられる利得を含んでもよい。
図１２は、いくつかの実施形態による、遠方場において音源をレンダリングするために実装され得る、信号フロー１２００を図示する。図１２に図示されるように、遠方場距離減衰１２２０が、上記に説明されるもの等の入力信号１２１０に適用されることができる。共通ＥＱフィルタ１２３０（例えば、源放射フィルタ）が、音源放射をモデル化するために、結果に適用されてもよく、フィルタ１２３０の出力は、分割され、別個の左および右チャネルに送信され、遅延（１２４０Ａ／１２４０Ｂ）およびＶＳＡ（１２５０Ａ／１２５０Ｂ）機能が、図５に関して上記に説明されるもの等の各チャネルに適用され、左耳および右耳信号１２９０Ａ／１２９０Ｂをもたらすことができる。
図１３は、いくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、信号フロー１３００を図示する。図１３に図示されるように、遠方場距離減衰１３２０が、上記に説明されるもの等の入力信号１３１０に適用されることができる。出力は、左／右チャネルに分割されることができ、別個のＥＱフィルタが、上記に説明されるもの等の音源放射および近接場ＩＬＤ効果をモデル化するために、各耳（例えば、左耳に関する左耳近接場および源放射フィルタ１３３０Ａおよび右耳に関する右耳近接場および源放射フィルタ１３３０Ｂ）に適用されてもよい。フィルタは、左耳および右耳信号が、分離された後、耳毎に１つとして実装されることができる。この場合では、両耳に適用される任意の他のＥＱが、付加的処理を回避するために、それらのフィルタ（例えば、左耳近接場および源放射フィルタおよび右耳近接場および源放射フィルタ）に折畳され得ることに留意されたい。遅延（１３４０Ａ／１３４０Ｂ）およびＶＳＡ（１３５０Ａ／１３５０Ｂ）機能は、次いで、図５に関して上記に説明されるもの等の各チャネルに適用され、左耳および右耳信号１３９０Ａ／１３９０Ｂをもたらすことができる。
いくつかの実施形態では、算出リソースを最適化するために、システムは、例えば、レンダリングされるべき音源が、遠方場にあるか、または近接場にあるかどうかに基づいて、信号フロー１２００および１３００の間で自動的に切り替えてもよい。いくつかの実施形態では、フィルタ状態が、処理アーチファクトを回避するために、遷移の間にフィルタ（例えば、源放射フィルタ、左耳近接場および源放射フィルタ、および右耳近接場および源放射フィルタ）の間でコピーされる必要があり得る。
いくつかの実施形態では、上記に説明されるＥＱフィルタは、その設定が、０ｄＢ利得を伴う平坦な大きさ応答に知覚的に同等であるとき、バイパスされてもよい。応答が、平坦であるが、ゼロと異なる利得を伴う場合、広帯域利得が、所望の結果を効率的に達成するために使用されてもよい。
図１４は、いくつかの実施形態による、近接場において音源をレンダリングするために実装され得る、信号フロー１４００を図示する。図１４に図示されるように、遠方場距離減衰１４２０が、上記に説明されるもの等の入力信号１４１０に適用されることができる。左耳近接場および源放射フィルタ１４３０が、出力に適用されることができる。１４３０の出力は、左／右チャネルに分割されることができ、第２のフィルタ１４４０（例えば、右－左耳近接場および源放射差フィルタ）が、次いで、右耳信号を処理するために使用されることができる。第２のフィルタは、右および左耳近接場および源放射効果の間の差異をモデル化する。いくつかの実施形態では、差分フィルタが、左耳信号に適用されてもよい。いくつかの実施形態では、差分フィルタが、音源の位置に依存し得る、対側の耳に適用されてもよい。遅延（１４５０Ａ／１４５０Ｂ）およびＶＳＡ（１４６０Ａ／１４６０Ｂ）機能は、図５に関して上記に説明されるもの等の各チャネルに適用され、左耳および右耳信号１４９０Ａ／１４９０Ｂをもたらすことができる。
頭部座標系が、オーディオオブジェクトから聴者の耳への音響伝搬を算出するために使用されてもよい。デバイス座標系が、聴者の頭部の位置および配向を追跡するために、追跡デバイス（上記に説明されるもの等の拡張現実システムにおけるウェアラブル頭部デバイスの１つ以上のセンサ等）によって使用されてもよい。いくつかの実施形態では、頭部座標系およびデバイス座標系は、異なり得る。聴者の頭部の中心が、頭部座標系の原点として使用されてもよく、聴者に対するオーディオオブジェクトの位置の基準とするために使用され、頭部座標系の前方方向は、聴者の頭部の中心から聴者の正面の視野を通るものとして定義されてもよい。いくつかの実施形態では、空間内の恣意的点が、デバイス座標系の原点として使用されてもよい。いくつかの実施形態では、デバイス座標系の原点は、追跡デバイスの視覚投影システムの光学レンズの間に位置する点であってもよい。いくつかの実施形態では、デバイス座標系の前方方向は、追跡デバイス自体を基準とし、聴者の頭部上の追跡デバイスの位置に依存し得る。いくつかの実施形態では、追跡デバイスは、頭部座標系の水平面に対して非ゼロピッチを有し（すなわち、上または下に傾斜され）、頭部座標系の前方方向とデバイス座標系の前方方向との間の不整合につながり得る。
いくつかの実施形態では、頭部座標系とデバイス座標系との間の差異は、聴者の頭部に対するオーディオオブジェクトの位置に変換を適用することによって補償されてもよい。いくつかの実施形態では、頭部座標系およびデバイス座標系の原点の差異は、聴者の頭部に対するオーディオオブジェクトの位置を、３次元（例えば、ｘ、ｙ、およびｚ）における頭部座標系の原点とデバイス座標系基準点の原点との間の距離に等しい量だけ平行移動させることによって補償されてもよい。いくつかの実施形態では、頭部座標系軸とデバイス座標系軸との間の角度の差異は、聴者の頭部に対するオーディオオブジェクトの位置に回転を適用することによって補償されてもよい。例えば、追跡デバイスが、Ｎ度だけ下向きに傾斜される場合、オーディオオブジェクトの位置は、聴者に関するオーディオ出力をレンダリングすることに先立って、Ｎ度だけ下向きに回転され得る。いくつかの実施形態では、オーディオオブジェクト回転補償は、オーディオオブジェクト平行移動補償の前に適用されてもよい。いくつかの実施形態では、補償（例えば、回転、平行移動、スケーリング、および同等物）は、全ての補償（例えば、回転、平行移動、スケーリング、および同等物）を含む単一の変換においてともに行われてもよい。
図１５Ａ－１５Ｄは、実施形態による、ユーザに対応する頭部座標系１５００および上記に説明されるような頭部搭載型拡張現実デバイス等のデバイス１５１２に対応するデバイス座標系１５１０の実施例を図示する。図１５Ａは、頭部座標系１５００とデバイス座標系１５１０との間の正面平行移動オフセット１５２０が存在する実施例の上面図を図示する。図１５Ｂは、頭部座標系１５００とデバイス座標系１５１０との間の正面平行移動オフセット１５２０および垂直軸の周囲の回転１５３０が存在する実施例の上面図を図示する。図１５Ｃは、頭部座標系１５００とデバイス座標系１５１０との間の正面平行移動オフセット１５２０および垂直平行移動オフセット１５２２の両方が存在する実施例の側面図を図示する。図１５Ｄは、頭部座標系１５００とデバイス座標系１５１０との間の正面平行移動オフセット１５２０および垂直平行移動オフセット１５２２の両方および左／右水平軸の周囲の回転１５３０が存在する実施例の側面図を示す。
図１５Ａ－１５Ｄに描写されるものにおいて等のいくつかの実施形態では、本システムは、頭部座標系１５００とデバイス座標系１５１０との間のオフセットを算出し、それに応じて補償してもよい。本システムは、センサデータ、例えば、１つ以上の光学センサからの眼追跡データ、１つ以上の慣性測定ユニットからの長期重力データ、１つ以上の屈曲／頭部サイズセンサからの屈曲データ、および同等物を使用してもよい。そのようなデータは、上記に説明されるもの等の拡張現実システムの１つ以上のセンサによって提供されることができる。
本開示の種々の例示的実施形態が、本明細書に説明される。これらの実施例は、非限定的意味で参照される。それらは、本開示のより広く適用可能な側面を例証するために提供される。種々の変更が、説明される本開示に行われてもよく、本開示の真の精神および範囲から逸脱することなく、均等物が代用されてもよい。加えて、多くの修正が、特定の状況、材料、組成物、プロセス、プロセス作用、またはステップを本開示の目的、精神、または範囲に適合させるために行われてもよい。さらに、当業者によって理解されるであろうように、本明細書で説明および図示される個々の変形例はそれぞれ、本開示の範囲または精神から逸脱することなく、他のいくつかの実施形態のうちのいずれかの特徴から容易に分離され得るか、またはそれらと組み合わせられ得る、離散コンポーネントおよび特徴を有する。全てのそのような修正は、本開示と関連付けられる請求項の範囲内であることが意図される。
本開示は、主題のデバイスを使用して実施され得る方法を含む。本方法は、そのような好適なデバイスを提供する行為を含んでもよい。そのような提供は、エンドユーザによって実施されてもよい。換言すると、「提供する」行為は、単に、エンドユーザが、本主題の方法において必要なデバイスを取得する、それにアクセスする、それに接近する、それを位置付ける、それを設定する、それをアクティブ化する、それに電源を入れる、または別様にそれを提供するように作用することを要求する。本明細書に列挙される方法は、論理的に可能な列挙されたイベントの任意の順序およびイベントの列挙される順序で行なわれてもよい。
本開示の例示的側面が、材料選択および製造に関する詳細とともに、上記に記載されている。本開示の他の詳細に関して、これらは、上記で参照された特許および刊行物に関連して理解され、概して、当業者によって公知である、または理解され得る。同じことが、一般的または論理的に採用されるような付加的行為の観点から、本開示の方法ベースの側面に関しても当てはまり得る。
加えて、本開示は、随意に、種々の特徴を組み込む、いくつかの実施例を参照して説明されているが、本開示は、開示の各変形例に関して検討されるように説明または図示されるものに限定されるものではない。種々の変更が、説明される本開示に行われてもよく、均等物（本明細書に列挙されるか、またはある程度の簡潔目的のために含まれないかどうかにかかわらず）が、本開示の真の精神および範囲から逸脱することなく代用されてもよい。加えて、値の範囲が提供される場合、その範囲の上限と下限との間の全ての介在値および任意の他の述べられた値または述べられた範囲内の介在値が、本開示内に包含されるものと理解されたい。
また、説明される本発明の変形例の任意の随意の特徴は、独立して、または本明細書に説明される特徴のうちの任意の１つ以上のものと組み合わせて、記載および請求され得ることが検討される。単数形項目の言及は、存在する複数の同一項目が存在する可能性を含む。より具体的には、本明細書および本明細書に関連付けられた請求項で使用されるように、単数形「ａ」、「ａｎ」、「ｓａｉｄ」、および「ｔｈｅ」は、別様に具体的に述べられない限り、複数の言及を含む。換言すると、冠詞の使用は、上記の説明および本開示と関連付けられる請求項における本主題の項目のうちの「少なくとも１つ」を可能にする。さらに、そのような請求項は、任意の随意の要素を除外するように起草され得ることに留意されたい。したがって、本文言は、請求項の要素の列挙と関連する「単に」、「のみ」、および同等物等の排他的専門用語の使用、または「消極的」限定の使用のための先行詞としての役割を果たすことが意図される。
そのような排他的専門用語を使用しなければ、本開示と関連付けられる請求項における用語「～を備える」は、所与の数の要素がそのような請求項で列挙されるかどうかにかかわらず、任意の付加的要素の包含を可能にするものとする、または特徴の追加は、そのような請求項に記載される要素の性質を変換すると見なされ得る。本明細書で具体的に定義される場合を除いて、本明細書で使用される全ての技術および科学用語は、請求項の正当性を維持しながら、可能な限り広い一般的に理解されている意味を与えられるべきである。
本開示の範疇は、提供される実施例および／または本明細書に限定されるものではなく、むしろ、本開示と関連付けられる請求項の用語の範囲のみによって限定されるものとする。

Claims (45)

  1. ウェアラブル頭部デバイスのユーザにオーディオ信号を提示する方法であって、前記方法は、
    前記オーディオ信号に対応する源場所を識別することと、
    前記オーディオ信号に対応する音響軸を決定することと、
    前記ユーザの個別の左耳および右耳のそれぞれに関して、
    前記音響軸と個別の耳との間の角度を決定することと、
    仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
    前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
    前記決定された角度に基づいて、源放射フィルタを決定することと、
    前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
    前記ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
    を含む、方法。
  2. 前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、請求項１に記載の方法。
  3. 前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、請求項１に記載の方法。
  4. 前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、請求項１に記載の方法。
  5. 前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、請求項１に記載の方法。
  6. 前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、請求項１に記載の方法。
  7. 前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項１に記載の方法。
  8. 前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、請求項１に記載の方法。
  9. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、請求項１に記載の方法。
  10. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、請求項１に記載の方法。
  11. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、請求項１に記載の方法。
  12. 前記角度は、方位角および高度角のうちの１つ以上のものを含む、請求項１に記載の方法。
  13. 前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、請求項１に記載の方法。
  14. 前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、請求項１に記載の方法。
  15. 前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、請求項１に記載の方法。
  16. システムであって、
    ウェアラブル頭部デバイスと、
    １つ以上のスピーカと、
    １つ以上のプロセッサであって、前記１つ以上のプロセッサは、
    オーディオ信号に対応する源場所を識別することと、
    前記オーディオ信号に対応する音響軸を決定することと、
    前記ウェアラブル頭部デバイスのユーザの個別の左耳および右耳のそれぞれに関して、
    前記音響軸と個別の耳との間の角度を決定することと、
    仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
    前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
    前記決定された角度に基づいて、源放射フィルタを決定することと、
    前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
    前記１つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
    を含む方法を実施するように構成される、１つ以上のプロセッサと、
    を備える、システム。
  17. 前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、請求項１６に記載のシステム。
  18. 前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、請求項１６に記載のシステム。
  19. 前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、請求項１６に記載のシステム。
  20. 前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、請求項１６に記載のシステム。
  21. 前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、請求項１６に記載のシステム。
  22. 前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項１６に記載のシステム。
  23. 前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、請求項１６に記載のシステム。
  24. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、請求項１６に記載のシステム。
  25. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、請求項１６に記載のシステム。
  26. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、請求項１６に記載のシステム。
  27. 前記角度は、方位角および高度角のうちの１つ以上のものを含む、請求項１６に記載のシステム。
  28. 前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、請求項１６に記載のシステム。
  29. 前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、請求項１５に記載のシステム。
  30. 前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、請求項１６に記載のシステム。
  31. 非一過性コンピュータ可読媒体であって、前記非一過性コンピュータ可読媒体は、命令を記憶しており、前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、オーディオ信号をウェアラブル頭部デバイスのユーザに提示する方法を実施させ、前記方法は、
    前記オーディオ信号に対応する源場所を識別することと、
    前記オーディオ信号に対応する音響軸を決定することと、
    前記ユーザの個別の左耳および右耳のそれぞれに関して、
    前記音響軸と個別の耳との間の角度を決定することと、
    仮想スピーカアレイの、前記源場所および前記個別の耳の位置と同一線上の仮想スピーカ位置を決定することであって、前記仮想スピーカアレイは、複数の仮想スピーカ位置を備え、前記複数の仮想スピーカ位置の各仮想スピーカ位置は、前記ユーザの頭部と同心の球体の表面上に位置し、前記球体は、第１の半径を有する、ことと、
    前記仮想スピーカ位置および前記個別の耳に対応する頭部関連伝達関数（ＨＲＴＦ）を決定することと、
    前記決定された角度に基づいて、源放射フィルタを決定することと、
    前記オーディオ信号を処理し、前記個別の耳に関する出力オーディオ信号を発生させることであって、前記オーディオ信号を処理することは、前記ＨＲＴＦおよび前記源放射フィルタを前記オーディオ信号に適用することを含む、ことと、
    前記ウェアラブル頭部デバイスと関連付けられる１つ以上のスピーカを介して、前記ユーザの個別の耳に前記出力オーディオ信号を提示することと
    を含む、非一過性コンピュータ可読媒体。
  32. 前記源場所は、前記第１の半径を下回る距離だけ前記ユーザの頭部の中心から分離される、請求項３１に記載の非一過性コンピュータ可読媒体。
  33. 前記源場所は、前記第１の半径を上回る距離だけ前記ユーザの頭部の中心から分離される、請求項３１に記載の非一過性コンピュータ可読媒体。
  34. 前記源場所は、前記第１の半径に等しい距離だけ前記ユーザの頭部の中心から分離される、請求項３１に記載の非一過性コンピュータ可読媒体。
  35. 前記オーディオ信号を処理することはさらに、前記源場所と前記ユーザとの間の距離に基づいて、前記オーディオ信号を減衰させることを含む、請求項３１に記載の非一過性コンピュータ可読媒体。
  36. 前記オーディオ信号を処理することはさらに、両耳間時間差を前記オーディオ信号に適用することを含む、請求項３１に記載の非一過性コンピュータ可読媒体。
  37. 前記仮想スピーカ位置に対応する前記ＨＲＴＦを決定することは、複数のＨＲＴＦから前記ＨＲＴＦを選択することを含み、前記複数のＨＲＴＦの各ＨＲＴＦは、聴者と、前記第１の半径に実質的に等しい距離だけ前記聴者から分離されるオーディオ源との間の関係を記述する、請求項３１に記載の非一過性コンピュータ可読媒体。
  38. 前記オーディオ信号を処理することはさらに、前記ユーザと前記源場所との間の距離に基づいて、前記オーディオ信号を減衰させることを含む、請求項３１に記載の非一過性コンピュータ可読媒体。
  39. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を下回る、請求項３１に記載の非一過性コンピュータ可読媒体。
  40. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径を上回る、請求項３１に記載の非一過性コンピュータ可読媒体。
  41. 前記源場所から前記ユーザの頭部の中心までの距離は、前記ユーザの頭部の半径に実質的に等しい、請求項３１に記載の非一過性コンピュータ可読媒体。
  42. 前記角度は、方位角および高度角のうちの１つ以上のものを含む、請求項３１に記載の非一過性コンピュータ可読媒体。
  43. 前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備える、請求項３１に記載の非一過性コンピュータ可読媒体。
  44. 前記ウェアラブル頭部デバイスは、前記１つ以上のスピーカを備えていない、請求項３１に記載の非一過性コンピュータ可読媒体。
  45. 前記１つ以上のスピーカは、前記ユーザによって装着されるヘッドホンと関連付けられる、請求項３１に記載の非一過性コンピュータ可読媒体。
JP2021518639A 2018-10-05 2019-10-04 近接場オーディオレンダリング Active JP7194271B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022160027A JP7455173B2 (ja) 2018-10-05 2022-10-04 近接場オーディオレンダリング
JP2022196982A JP7416901B2 (ja) 2018-10-05 2022-12-09 近接場オーディオレンダリング

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862741677P 2018-10-05 2018-10-05
US62/741,677 2018-10-05
US201962812734P 2019-03-01 2019-03-01
US62/812,734 2019-03-01
PCT/US2019/054893 WO2020073023A1 (en) 2018-10-05 2019-10-04 Near-field audio rendering

Related Child Applications (2)

Application Number Title Priority Date Filing Date
JP2022160027A Division JP7455173B2 (ja) 2018-10-05 2022-10-04 近接場オーディオレンダリング
JP2022196982A Division JP7416901B2 (ja) 2018-10-05 2022-12-09 近接場オーディオレンダリング

Publications (3)

Publication Number Publication Date
JP2022504283A true JP2022504283A (ja) 2022-01-13
JPWO2020073023A5 JPWO2020073023A5 (ja) 2022-10-13
JP7194271B2 JP7194271B2 (ja) 2022-12-21

Family

ID=70051410

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2021518639A Active JP7194271B2 (ja) 2018-10-05 2019-10-04 近接場オーディオレンダリング
JP2022160027A Active JP7455173B2 (ja) 2018-10-05 2022-10-04 近接場オーディオレンダリング
JP2022196982A Active JP7416901B2 (ja) 2018-10-05 2022-12-09 近接場オーディオレンダリング

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022160027A Active JP7455173B2 (ja) 2018-10-05 2022-10-04 近接場オーディオレンダリング
JP2022196982A Active JP7416901B2 (ja) 2018-10-05 2022-12-09 近接場オーディオレンダリング

Country Status (5)

Country Link
US (4) US11122383B2 (ja)
EP (1) EP3861767A4 (ja)
JP (3) JP7194271B2 (ja)
CN (2) CN116320907A (ja)
WO (1) WO2020073023A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL307545A (en) 2018-02-15 2023-12-01 Magic Leap Inc Dual listening positions for mixed reality
JP7306384B2 (ja) * 2018-05-22 2023-07-11 ソニーグループ株式会社 情報処理装置、情報処理方法、プログラム
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染
US20230019535A1 (en) * 2019-12-19 2023-01-19 Telefonaktiebolaget Lm Ericsson (Publ) Audio rendering of audio sources
CN113035164A (zh) * 2021-02-24 2021-06-25 腾讯音乐娱乐科技（深圳）有限公司 歌声生成方法和装置、电子设备及存储介质
WO2023043963A1 (en) * 2021-09-15 2023-03-23 University Of Louisville Research Foundation, Inc. Systems and methods for efficient and accurate virtual accoustic rendering
CN113810817B (zh) * 2021-09-23 2023-11-24 科大讯飞股份有限公司 无线耳机的音量控制方法、装置以及无线耳机
WO2023183053A1 (en) * 2022-03-25 2023-09-28 Magic Leap, Inc. Optimized virtual speaker array

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228155A (ja) * 2007-03-15 2008-09-25 Oki Electric Ind Co Ltd 音像定位処理装置、方法及びプログラム
US20160227338A1 (en) * 2015-01-30 2016-08-04 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
JP2017221554A (ja) * 2016-06-17 2017-12-21 株式会社カプコン ゲームプログラムおよびゲームシステム

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US5596644A (en) * 1994-10-27 1997-01-21 Aureal Semiconductor Inc. Method and apparatus for efficient presentation of high-quality three-dimensional audio
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6546105B1 (en) * 1998-10-30 2003-04-08 Matsushita Electric Industrial Co., Ltd. Sound image localization device and sound image localization method
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
JP2001057699A (ja) * 1999-06-11 2001-02-27 Pioneer Electronic Corp オーディオ装置
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
US6819762B2 (en) 2001-03-16 2004-11-16 Aura Communications, Inc. In-the-ear headset
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
JP3823847B2 (ja) 2002-02-27 2006-09-20 ヤマハ株式会社 音制御装置、音制御方法、プログラムおよび記録媒体
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
CA2967756C (en) 2004-04-01 2018-08-28 Google Inc. Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
WO2008106680A2 (en) * 2007-03-01 2008-09-04 Jerry Mahabub Audio spatialization and environment simulation
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8831255B2 (en) 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
WO2014089542A1 (en) 2012-12-06 2014-06-12 Eyefluence, Inc. Eye tracking wearable devices and methods for use
CA2896985A1 (en) 2013-01-03 2014-07-10 Meta Company Extramissive spatial imaging digital eye glass for virtual or augmediated vision
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
US9443354B2 (en) 2013-04-29 2016-09-13 Microsoft Technology Licensing, Llc Mixed reality interactions
US9648436B2 (en) 2014-04-08 2017-05-09 Doppler Labs, Inc. Augmented reality sound system
EP3132617B1 (en) * 2014-08-13 2018-10-17 Huawei Technologies Co. Ltd. An audio signal processing apparatus
CN106537941B (zh) 2014-11-11 2019-08-16 谷歌有限责任公司 虚拟声音系统和方法
WO2016077514A1 (en) * 2014-11-14 2016-05-19 Dolby Laboratories Licensing Corporation Ear centered head related transfer function system and method
US9881422B2 (en) 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
GB2536020A (en) 2015-03-04 2016-09-07 Sony Computer Entertainment Europe Ltd System and method of virtual reality feedback
US10896544B2 (en) 2016-10-07 2021-01-19 Htc Corporation System and method for providing simulated environment
US9992602B1 (en) * 2017-01-12 2018-06-05 Google Llc Decoupled binaural rendering
US20180206038A1 (en) * 2017-01-13 2018-07-19 Bose Corporation Real-time processing of audio data captured using a microphone array
US9955281B1 (en) * 2017-12-02 2018-04-24 Philip Scott Lyren Headphones with a digital signal processor (DSP) and error correction
IL307545A (en) 2018-02-15 2023-12-01 Magic Leap Inc Dual listening positions for mixed reality
US20190313201A1 (en) * 2018-04-04 2019-10-10 Bose Corporation Systems and methods for sound externalization over headphones
CN116320907A (zh) 2018-10-05 2023-06-23 奇跃公司 近场音频渲染

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008228155A (ja) * 2007-03-15 2008-09-25 Oki Electric Ind Co Ltd 音像定位処理装置、方法及びプログラム
US20160227338A1 (en) * 2015-01-30 2016-08-04 Gaudi Audio Lab, Inc. Apparatus and a method for processing audio signal to perform binaural rendering
JP2017221554A (ja) * 2016-06-17 2017-12-21 株式会社カプコン ゲームプログラムおよびゲームシステム

Also Published As

Publication number Publication date
US20230094733A1 (en) 2023-03-30
US20220038840A1 (en) 2022-02-03
JP7455173B2 (ja) 2024-03-25
JP2022180616A (ja) 2022-12-06
JP7194271B2 (ja) 2022-12-21
US11778411B2 (en) 2023-10-03
US11122383B2 (en) 2021-09-14
CN116320907A (zh) 2023-06-23
US20230396947A1 (en) 2023-12-07
EP3861767A4 (en) 2021-12-15
CN113170272A (zh) 2021-07-23
EP3861767A1 (en) 2021-08-11
US11546716B2 (en) 2023-01-03
CN113170272B (zh) 2023-04-04
JP2023022312A (ja) 2023-02-14
US20200112815A1 (en) 2020-04-09
JP7416901B2 (ja) 2024-01-17
WO2020073023A1 (en) 2020-04-09

Similar Documents

Publication Publication Date Title
JP7455173B2 (ja) 近接場オーディオレンダリング
US11770671B2 (en) Spatial audio for interactive audio environments
US20200186951A1 (en) Methods and systems for audio signal filtering
JP7405928B2 (ja) オーディオ空間化のための強調
WO2023183053A1 (en) Optimized virtual speaker array

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221004

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221004

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20221004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221209

R150 Certificate of patent or registration of utility model

Ref document number: 7194271

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150