JP2021528000A - 双方向オーディオ環境のための空間オーディオ - Google Patents

双方向オーディオ環境のための空間オーディオ Download PDF

Info

Publication number
JP2021528000A
JP2021528000A JP2020570493A JP2020570493A JP2021528000A JP 2021528000 A JP2021528000 A JP 2021528000A JP 2020570493 A JP2020570493 A JP 2020570493A JP 2020570493 A JP2020570493 A JP 2020570493A JP 2021528000 A JP2021528000 A JP 2021528000A
Authority
JP
Japan
Prior art keywords
audio signal
individual
bus
virtual environment
intermediate audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020570493A
Other languages
English (en)
Inventor
レミ サミュエル オードフレイ，
ジャン−マルク ジョット，
サミュエル チャールズ ディッカー，
ブライアン ロイド シュミット，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2021528000A publication Critical patent/JP2021528000A/ja
Priority to JP2023143435A priority Critical patent/JP2023158059A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/08—Arrangements for producing a reverberation or echo sound
    • G10K15/10—Arrangements for producing a reverberation or echo sound using time-delay networks comprising electromechanical or electro-acoustic devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/04—Circuits for transducers, loudspeakers or microphones for correcting frequency response
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/01—Multi-channel, i.e. more than two input channels, sound reproduction with two speakers wherein the multi-channel information is substantially preserved
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/11—Application of ambisonics in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Stereophonic System (AREA)
  • Stereophonic Arrangements (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

仮想環境内の第１の場所に位置する聴者に出力オーディオ信号を提示するシステムおよび方法が、開示される。ある方法の実施形態によると、入力オーディオ信号が、受信される。仮想環境内の複数の音源の音源毎に、入力オーディオ信号に対応する個別の第１の中間オーディオ信号が、仮想環境内の個別の音源の場所に基づいて決定され、個別の第１の中間オーディオ信号は、第１のバスと関連付けられる。仮想環境内の複数の音源の音源毎に、個別の第２の中間オーディオ信号が、決定される。個別の第２の中間オーディオ信号は、仮想環境の表面内の入力オーディオ信号の反射に対応する。個別の第２の中間オーディオ信号は、個別の音源の場所に基づいて、さらに仮想環境の音響性質に基づいて決定される。個別の第２の中間オーディオ信号は、第２のバスと関連付けられる。出力オーディオ信号は、第１のバスおよび第２のバスを介して聴者に提示される。

Description

（関連出願の相互参照）
本願は、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年６月１８日に出願された、米国仮出願第６２／６８６，６５５号の優先権を主張する。本願は、加えて、その内容が、参照することによってその全体として本明細書に組み込まれる、２０１８年６月１８日に出願された、米国仮出願第６２／６８６，６６５号の優先権を主張する。
本開示は、概して、空間オーディオレンダリングに関し、具体的には、仮想音響環境内の仮想音源のための空間オーディオレンダリングに関する。
仮想環境は、コンピューティング環境において普遍的であって、ビデオゲーム（仮想環境が、ゲーム世界を表し得る）、マップ（仮想環境が、ナビゲートされるべき地形を表し得る）、シミュレーション（仮想環境が、実環境をシミュレートし得る）、デジタルストーリーテリング（仮想キャラクタが、仮想環境内で相互に相互作用し得る）、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ（例えば、２Ｄディスプレイ画面）およびオーディオシステム（例えば、固定スピーカ）は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
仮想現実（「ＶＲ」）、拡張現実（「ＡＲ」）、複合現実（「ＭＲ」）、および関連技術（集合的に、「ＸＲ」）は、ＸＲシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。そのようなシステムは、仮想視覚およびオーディオキューを現実の視界および音と組み合わせることによって、一意に強調された没入感および臨場感を提供することができる。故に、音が、ユーザの実環境内で自然に、かつユーザの予期する音と一貫して発生しているように現れるように、ＸＲシステムのユーザにデジタル音を提示することが、望ましくあり得る。概して言えば、ユーザは、仮想音が、それらが聞こえる実環境の音響性質を帯びるであろうと予期する。例えば、大きいコンサートホール内のＸＲシステムのユーザは、ＸＲシステムの仮想音が、大きい洞窟に似た音性品質を有することを予期し、逆に、小さいアパートメント内のユーザは、音が、より減衰され、近接し、即時であることを予期するであろう。
デジタルまたは人工リバーブレータが、室内の拡散音響反響の知覚される効果をシミュレートするために、オーディオおよび音楽信号処理において使用され得る。ＸＲ環境では、デジタルリバーブレータを使用し、ＸＲ環境内の部屋の音響性質を現実的にシミュレートすることが、望ましい。そのような音響性質の説得力のあるシミュレーションは、信憑性および没入感をＸＲ環境に与えることができる。
仮想環境内の第１の場所に位置する聴者に出力オーディオ信号を提示するシステムおよび方法が、開示される。ある方法の実施形態によると、入力オーディオ信号が、受信される。仮想環境内の複数の音源の音源毎に、入力オーディオ信号に対応する個別の第１の中間オーディオ信号が、仮想環境内の個別の音源の場所に基づいて決定され、個別の第１の中間オーディオ信号は、第１のバスと関連付けられる。仮想環境内の複数の音源の音源毎に、個別の第２の中間オーディオ信号が、決定される。個別の第２の中間オーディオ信号は、仮想環境の表面内の入力オーディオ信号の反射に対応する。個別の第２の中間オーディオ信号は、個別の音源の場所に基づいて、さらに仮想環境の音響性質に基づいて決定される。個別の第２の中間オーディオ信号は、第２のバスと関連付けられる。出力オーディオ信号は、第１のバスおよび第２のバスを介して聴者に提示される。
図１は、いくつかの実施形態による、例示的ウェアラブルシステムを図示する。
図２は、いくつかの実施形態による、例示的ウェアラブルシステムと併用され得る例示的ハンドヘルドコントローラを図示する。
図３は、いくつかの実施形態による、例示的ウェアラブルシステムと併用され得る例示的補助ユニットを図示する。
図４は、いくつかの実施形態による、例示的ウェアラブルシステムに関する例示的機能ブロック図を図示する。
図５は、いくつかの実施形態による、例示的幾何学的部屋表現を図示する。
図６は、いくつかの実施形態による、室内の源から聴者まで測定される部屋応答の例示的モデルを図示する。
図７は、いくつかの実施形態による、直接音、反射、および反響のユーザの知覚に影響を及ぼす例示的因子を図示する。
図８は、いくつかの実施形態による、仮想部屋内で複数の仮想音源をレンダリングするための例示的オーディオ混合アーキテクチャを図示する。
図９は、いくつかの実施形態による、仮想部屋内で複数の仮想音源をレンダリングするための例示的オーディオ混合アーキテクチャを図示する。
図１０は、いくつかの実施形態による、例示的な源毎の処理モジュールを図示する。
図１１は、いくつかの実施形態による、例示的な源毎の反射パンモジュールを図示する。
図１２は、いくつかの実施形態による、例示的部屋処理アルゴリズムを図示する。
図１３は、いくつかの実施形態による、例示的反射モジュールを図示する。
図１４は、いくつかの実施形態による、反射の見掛け到着方向の例示的空間分布を図示する。
図１５は、いくつかの実施形態による、距離の関数としての直接利得、反射利得、および反響利得の実施例を図示する。
図１６は、いくつかの実施形態による、距離と空間焦点との間の例示的関係を図示する。
図１７は、いくつかの実施形態による、時間と信号振幅との間の例示的関係を図示する。
図１８は、いくつかの実施形態による、空間オーディオを処理するための例示的システムを図示する。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面が、参照される。他の実施例も、使用され得、構造変更が、開示される実施例の範囲から逸脱することなく、行われ得ることを理解されたい。
例示的ウェアラブルシステム
図１は、ユーザの頭部上に装着されるように構成される、例示的ウェアラブル頭部デバイス１００を図示する。ウェアラブル頭部デバイス１００は、頭部デバイス（例えば、ウェアラブル頭部デバイス１００）、ハンドヘルドコントローラ（例えば、下記に説明されるハンドヘルドコントローラ２００）、および／または補助ユニット（例えば、下記に説明される補助ユニット３００）等の１つ以上のコンポーネントを備える、より広範なウェアラブルシステムの一部であってもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、仮想現実、拡張現実、または複合現実システムまたは用途のために使用されることができる。ウェアラブル頭部デバイス１００は、ディスプレイ１１０Ａおよび１１０Ｂ（左および右透過性ディスプレイと、直交瞳拡大（ＯＰＥ）格子セット１１２Ａ／１１２Ｂおよび射出瞳拡大（ＥＰＥ）格子セット１１４Ａ／１１４Ｂ等、ディスプレイからユーザの眼に光を結合するための関連付けられるコンポーネントとを備え得る）等の１つ以上のディスプレイと、スピーカ１２０Ａおよび１２０Ｂ（それぞれ、つるアーム１２２Ａおよび１２２Ｂ上に搭載され、ユーザの左および右耳に隣接して位置付けられ得る）等の左および右音響構造と、赤外線センサ、加速度計、ＧＰＳユニット、慣性測定ユニット（ＩＭＵ）（例えば、ＩＭＵ１２６）、音響センサ（例えば、マイクロホン１５０）等の１つ以上のセンサと、直交コイル電磁受信機（例えば、左つるアーム１２２Ａに搭載されるように示される受信機１２７）と、ユーザから離れるように配向される、左および右カメラ（例えば、深度（飛行時間）カメラ１３０Ａおよび１３０Ｂ）と、ユーザに向かって配向される、左および右眼カメラ（例えば、ユーザの眼移動を検出するため）（例えば、眼カメラ１２８および１２８Ｂ）とを備えることができる。しかしながら、ウェアラブル頭部デバイス１００は、本発明の範囲から逸脱することなく、任意の好適なディスプレイ技術およびセンサまたは他のコンポーネントの任意の好適な数、タイプ、または組み合わせを組み込むことができる。いくつかの実施例では、ウェアラブル頭部デバイス１００は、ユーザの音声によって発生されるオーディオ信号を検出するように構成される、１つ以上のマイクロホン１５０を組み込んでもよく、そのようなマイクロホンは、ユーザの口に隣接してウェアラブル頭部デバイス内に位置付けられてもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、他のウェアラブルシステムを含む、他のデバイスおよびシステムと通信するために、ネットワーキング特徴（例えば、Ｗｉ−Ｆｉ能力）を組み込んでもよい。ウェアラブル頭部デバイス１００はさらに、バッテリ、プロセッサ、メモリ、記憶ユニット、または種々の入力デバイス（例えば、ボタン、タッチパッド）等のコンポーネントを含んでもよい、または１つ以上のそのようなコンポーネントを備えるハンドヘルドコントローラ（例えば、ハンドヘルドコントローラ２００）または補助ユニット（例えば、補助ユニット３００）に結合されてもよい。いくつかの実施例では、センサは、ユーザの環境に対する頭部搭載型ユニットの座標のセットを出力するように構成されてもよく、入力をプロセッサに提供し、同時位置特定およびマッピング（ＳＬＡＭ）プロシージャおよび／またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、ウェアラブル頭部デバイス１００は、下記にさらに説明されるように、ハンドヘルドコントローラ２００および／または補助ユニット３００に結合されてもよい。
図２は、例示的ウェアラブルシステムの例示的モバイルハンドヘルドコントローラコンポーネント２００を図示する。いくつかの実施例では、ハンドヘルドコントローラ２００は、ウェアラブルヘッドデバイス１００および／または下記に説明される補助ユニット３００と有線または無線通信してもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、ユーザによって保持されるべきハンドル部分２２０と、上面２１０に沿って配置される１つ以上のボタン２４０とを含む。いくつかの実施例では、ハンドヘルドコントローラ２００は、光学追跡標的として使用するために構成されてもよく、例えば、ウェアラブル頭部デバイス１００のセンサ（例えば、カメラまたは他の光学センサ）は、ハンドヘルドコントローラ２００の位置および／または配向を検出するように構成されることができ、これは、転じて、ハンドヘルドコントローラ２００を保持するユーザの手の位置および／または配向を示し得る。いくつかの実施例では、ハンドヘルドコントローラ２００は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、または上記に説明されるもの等の１つ以上の入力デバイスを含んでもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、１つ以上のセンサ（例えば、ウェアラブル頭部デバイス１００に関して上記に説明されるセンサまたは追跡コンポーネントのうちのいずれか）を含む。いくつかの実施例では、センサは、ウェアラブル頭部デバイス１００に対する、またはウェアラブルシステムの別のコンポーネントに対するハンドヘルドコントローラ２００の位置または配向を検出することができる。いくつかの実施例では、センサは、ハンドヘルドコントローラ２００のハンドル部分２２０内に位置付けられてもよい、および／またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ２００は、例えば、ボタン２４０の押下状態、またはハンドヘルドコントローラ２００の位置、配向、および／または運動（例えば、ＩＭＵを介して）に対応する、１つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、ウェアラブル頭部デバイス１００のプロセッサへの、補助ユニット３００への、またはウェアラブルシステムの別のコンポーネントへの入力として使用されてもよい。いくつかの実施例では、ハンドヘルドコントローラ２００は、音（例えば、ユーザの発話、環境音）を検出し、ある場合には、検出された音に対応する信号をプロセッサ（例えば、ウェアラブル頭部デバイス１００のプロセッサ）に提供するために、１つ以上のマイクロホンを含むことができる。
図３は、例示的ウェアラブルシステムの例示的補助ユニット３００を図示する。いくつかの実施例では、補助ユニット３００は、ウェアラブル頭部デバイス１００および／またはハンドヘルドコントローラ２００と有線または無線通信してもよい。補助ユニット３００は、ウェアラブル頭部デバイス１００および／またはハンドヘルドコントローラ２００（ディスプレイ、センサ、音響構造、プロセッサ、マイクロホン、および／またはウェアラブル頭部デバイス１００またはハンドヘルドコントローラ２００の他のコンポーネントを含む）等のウェアラブルシステムの１つ以上のコンポーネントを動作させるためのエネルギーを提供するために、バッテリを含むことができる。いくつかの実施例では、補助ユニット３００は、プロセッサ、メモリ、記憶ユニット、ディスプレイ、１つ以上の入力デバイス、および／または上記に説明されるもの等の１つ以上のセンサを含んでもよい。いくつかの実施例では、補助ユニット３００は、補助ユニットをユーザに取り付けるためのクリップ３１０（例えば、ユーザによって装着されるベルト）を含む。ウェアラブルシステムの１つ以上のコンポーネントを格納するために補助ユニット３００を使用する利点は、そのように行うことが、大きいまたは重いコンポーネントが、（例えば、ウェアラブル頭部デバイス１００内に格納される場合）ユーザの頭部に搭載される、または（例えば、ハンドヘルドコントローラ２００内に格納される場合）ユーザの手によって担持されるのではなく、大きく重い物体を支持するために比較的に良好に適しているユーザの腰部、胸部、または背部の上に担持されることを可能にし得ることである。これは、バッテリ等の比較的に重いまたは嵩張るコンポーネントに関して特に有利であり得る。
図４は、上記に説明される、例示的ウェアラブル頭部デバイス１００と、ハンドヘルドコントローラ２００と、補助ユニット３００とを含み得る等、例示的ウェアラブルシステム４００に対応し得る、例示的機能ブロック図を示す。いくつかの実施例では、ウェアラブルシステム４００は、仮想現実、拡張現実、または複合現実用途のために使用され得る。図４に示されるように、ウェアラブルシステム４００は、ここでは「トーテム」と称される（および上記に説明されるハンドヘルドコントローラ２００に対応し得る）例示的ハンドヘルドコントローラ４００Ｂを含むことができ、ハンドヘルドコントローラ４００Ｂは、トーテム／ヘッドギヤ６自由度（６ＤＯＦ）トーテムサブシステム４０４Ａを含むことができる。ウェアラブルシステム４００はまた、（上記に説明されるウェアラブルヘッドギヤデバイス１００に対応し得る）例示的ウェアラブル頭部デバイス４００Ａを含むことができ、ウェアラブル頭部デバイス４００Ａは、トーテム／ヘッドギヤ６ＤＯＦヘッドギヤサブシステム４０４Ｂを含む。実施例では、６ＤＯＦトーテムサブシステム４０４Ａおよび６ＤＯＦヘッドギヤサブシステム４０４Ｂは、協働し、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６つの座標（例えば、３つの平行移動方向におけるオフセットおよび３つの軸に沿った回転）を決定する。６自由度は、ウェアラブル頭部デバイス４００Ａの座標系に対して表されてもよい。３つの平行移動オフセットは、そのような座標系内におけるＸ、Ｙ、およびＺオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、ベクトル、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａ内に含まれる１つ以上の深度カメラ４４４（および／または１つ以上の非深度カメラ）および／または１つ以上の光学標的（例えば、上記に説明されるようなハンドヘルドコントローラ２００のボタン２４０またはハンドヘルドコントローラ内に含まれる専用光学標的）は、６ＤＯＦ追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ４００Ｂは、上記に説明されるようなカメラを含むことができ、ヘッドギヤ４００Ａは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス４００Ａおよびハンドヘルドコントローラ４００Ｂは、それぞれ、３つの直交して配向されるソレノイドのセットを含み、これは、３つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれの中で受信される３つの区別可能な信号の相対的大きさを測定することによって、ウェアラブル頭部デバイス４００Ａに対するハンドヘルドコントローラ４００Ｂの６ＤＯＦが、決定されてもよい。いくつかの実施例では、６ＤＯＦトーテムサブシステム４０４Ａは、改良された正確度および／またはハンドヘルドコントローラ４００Ｂの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット（ＩＭＵ）を含むことができる。
拡張現実または複合現実用途を伴ういくつかの実施例では、座標をローカル座標空間（例えば、ウェアラブル頭部デバイス４００Ａに対して固定される座標空間）から慣性座標空間に、または環境座標空間に変換することが、望ましくあり得る。例えば、そのような変換は、ウェアラブル頭部デバイス４００Ａのディスプレイが、ディスプレイ上の固定位置および配向において（例えば、ウェアラブル頭部デバイス４００Ａのディスプレイにおける同一の位置において）ではなく、仮想オブジェクトを実環境に対する予期される位置および配向において提示する（例えば、ウェアラブル頭部デバイス４００Ａの位置および配向にかかわらず、前方に向いた実椅子に着座している仮想人物）ために必要であり得る。これは、仮想オブジェクトが、実環境内に存在する（かつ、例えば、ウェアラブル頭部デバイス４００Ａが、偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない）という錯覚を維持することができる。いくつかの実施例では、座標空間の間の補償変換が、慣性または環境座標系に対するウェアラブル頭部デバイス４００Ａの変換を決定するために、（例えば、同時位置特定およびマッピング（ＳＬＡＭ）および／またはビジュアルオドメトリプロシージャを使用して）深度カメラ４４４からの画像を処理することによって決定されることができる。図４に示される実施例では、深度カメラ４４４は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６に結合されることができ、画像をブロック４０６に提供することができる。ＳＬＡＭ／ビジュアルオドメトリブロック４０６実装は、本画像を処理し、次いで、頭部座標空間と実座標空間との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、ウェアラブル頭部デバイス４００ＡのＩＭＵ４０９から取得される。ＩＭＵ４０９からの情報は、ＳＬＡＭ／ビジュアルオドメトリブロック４０６からの情報と統合され、改良された正確度および／またはユーザの頭部姿勢および位置の高速調節に関するよりタイムリーな情報を提供することができる。
いくつかの実施例では、深度カメラ４４４は、ウェアラブル頭部デバイス４００Ａのプロセッサ内に実装され得る、手のジェスチャトラッカ４１１に、３Ｄ画像を供給することができる。手のジェスチャトラッカ４１１は、例えば、深度カメラ４４４から受信された３Ｄ画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
いくつかの実施例では、１つ以上のプロセッサ４１６は、ヘッドギヤサブシステム４０４Ｂ、ＩＭＵ４０９、ＳＬＡＭ／ビジュアルオドメトリブロック４０６、深度カメラ４４４、マイクロホン（図示せず）、および／または手のジェスチャトラッカ４１１からのデータを受信するように構成されてもよい。プロセッサ４１６はまた、制御信号を６ＤＯＦトーテムシステム４０４Ａに送信し、それから受信することができる。プロセッサ４１６は、ハンドヘルドコントローラ４００Ｂがテザリングされない実施例等では、無線で、６ＤＯＦトーテムシステム４０４Ａに結合されてもよい。プロセッサ４１６はさらに、視聴覚コンテンツメモリ４１８、グラフィカル処理ユニット（ＧＰＵ）４２０、および／またはデジタル信号プロセッサ（ＤＳＰ）オーディオ空間化装置４２２等の付加的コンポーネントと通信してもよい。ＤＳＰオーディオ空間化装置４２２は、頭部関連伝達関数（ＨＲＴＦ）メモリ４２５に結合されてもよい。ＧＰＵ４２０は、画像毎に変調された光の左源４２４に結合される、左チャネル出力と、画像毎に変調された光の右源４２６に結合される、右チャネル出力とを含むことができる。ＧＰＵ４２０は、立体視画像データを画像毎に変調された光４２４、４２６の源に出力することができる。ＤＳＰオーディオ空間化装置４２２は、オーディオを左スピーカ４１２および／または右スピーカ４１４に出力することができる。ＤＳＰオーディオ空間化装置４２２は、プロセッサ４１６から、ユーザから仮想音源（例えば、ハンドヘルドコントローラ４００Ｂを介して、ユーザによって移動され得る）への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、ＤＳＰオーディオ空間化装置４２２は、対応するＨＲＴＦを決定することができる（例えば、ＨＲＴＦにアクセスすることによって、または複数のＨＲＴＦを補間することによって）。ＤＳＰオーディオ空間化装置４２２は、次いで、決定されたＨＲＴＦを仮想オブジェクトによって発生された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が、実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
図４に示されるもの等のいくつかの実施例では、プロセッサ４１６、ＧＰＵ４２０、ＤＳＰオーディオ空間化装置４２２、ＨＲＴＦメモリ４２５、およびオーディオ／視覚的コンテンツメモリ４１８のうちの１つ以上のものは、補助ユニット４００Ｃ（上記に説明される補助ユニット３００に対応し得る）内に含まれてもよい。補助ユニット４００Ｃは、バッテリ４２７を含み、そのコンポーネントを給電する、および／または電力をウェアラブル頭部デバイス４００Ａおよび／またはハンドヘルドコントローラ４００Ｂに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス４００Ａのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
図４は、例示的ウェアラブルシステム４００の種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット４００Ｃと関連付けられているような図４に提示される要素は、代わりに、ウェアラブル頭部デバイス４００Ａまたはハンドヘルドコントローラ４００Ｂと関連付けられ得る。さらに、いくつかのウェアラブルシステムは、ハンドヘルドコントローラ４００Ｂまたは補助ユニット４００Ｃを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるものである。
複合現実環境
全ての人々のように、複合現実システムのユーザは、実環境、すなわち、ユーザによって知覚可能である、「実世界」の３次元部分およびその内容全ての中に存在している。例えば、ユーザは、その通常の人間感覚、すなわち、視覚、聴覚、触覚、味覚、嗅覚を使用して実環境を知覚し、実環境内でその自身の身体を移動させることによって実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができ、例えば、座標は、緯度、経度、および海面に対する高度、基準点からの３つの直交する次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する量を説明することができる。
コンピューティングデバイスは、例えば、本デバイスと関連付けられるメモリ内で、仮想環境の表現を維持することができる。本明細書に使用されるように、仮想環境は、３次元空間のコンピュータ表現である。仮想環境は、任意のオブジェクト、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられる他の特性の表現を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路（例えば、プロセッサ）は、仮想環境の状態を維持および更新することができ、すなわち、プロセッサは、第１の時間に、仮想環境と関連付けられるデータおよび／またはユーザによって提供される入力に基づいて、第２の時間における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、ある時間に第１の座標に位置し、あるプログラムされた物理的パラメータ（例えば、質量、摩擦係数）を有し、ユーザから受信された入力が、力が、ある方向ベクトルにおいてオブジェクトに印加されるべきであると示す場合、プロセッサは、運動学の法則を適用し、基本的力学を使用してその時間におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境についての既知の任意の好適な情報および／または任意の好適な入力を使用し、ある時間における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア（例えば、スクリプト）、仮想環境内の信号（例えば、オーディオ信号）の挙動を定義するためのソフトウェア、仮想環境と関連付けられるパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を発生させるためのソフトウェア、入力および出力を取り扱うためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ（例えば、経時的に仮想オブジェクトを移動させるためのアニメーションデータ）を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境の任意または全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る仮想オブジェクト（無生物オブジェクト、人物、動物、光等の表現を含み得る）を含んでもよい。プロセッサは、仮想環境のビュー（例えば、原点座標、視軸、および錐台を伴う「カメラ」に対応する）を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能な場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能な場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、１つ以上のオーディオ信号としてユーザに提示され得るオーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトが、オブジェクトの場所座標から生じる音を発生させてもよい（例えば、仮想キャラクタが、発話する、または効果音を引き起こしてもよい）、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある音楽的キューまたは周囲音と関連付けられてもよい。プロセッサが、「聴者」座標に対応するオーディオ信号、例えば、仮想環境内の音の複合物に対応し、聴者座標における聴者に聞こえるであろうオーディオ信号をシミュレートするために混合および処理されるオーディオ信号を決定し、１つ以上のスピーカを介してユーザにオーディオ信号を提示することができる。
仮想環境は、コンピュータ構造としてのみ存在するため、ユーザは、その通常の感覚を使用して仮想環境を直接知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚出力デバイス等によって、ユーザに提示されるような仮想環境を間接的にのみ知覚することができる。同様に、ユーザは、仮想環境に直接触れる、それを操作する、または別様にそれと相互作用することができないが、入力デバイスまたはセンサを介して、仮想環境を更新するためにデバイスまたはセンサデータを使用し得るプロセッサに入力データを提供することができる。例えば、カメラセンサは、ユーザが仮想環境内のオブジェクトを移動させようとしていることを示す光学データを提供することができ、プロセッサは、そのデータを使用し、オブジェクトに仮想環境内でそれに応じて応答させることができる。
反射および反響
仮想環境の空間（例えば、部屋）内の聴者のオーディオ体験の側面は、直接音のその聴者の知覚、部屋の表面に対するその直接音の反射の聴者の知覚、および室内の直接音の反響（「ｒｅｖｅｒｂ（反響）」）の聴者の知覚を含む。図５は、いくつかの実施形態による、幾何学的部屋表現５００を図示する。幾何学的部屋表現５００は、直接音（５０２）、反射（５０４）、および反響（５０６）に関する例示的伝搬経路を示す。これらの経路は、オーディオ信号が室内で源から聴者までとり得る経路を表す。図５に示される部屋は、１つ以上の音響性質と関連付けられる任意の好適なタイプの環境であってもよい。例えば、部屋５００は、コンサートホールであってもよく、ピアノ奏者を伴うステージおよび聴衆を伴う聴衆席区分を含んでもよい。示されるように、直接音は、源（例えば、ピアノ奏者）において生じ、聴者（例えば、聴衆）に向かって直接進行する音である。反射は、源において生じ、表面（例えば、部屋の壁）から反射し、聴者に進行する音である。反響は、ある時間に相互に近接して到着する多くの反射を含む、消滅信号を含む音である。
図６は、いくつかの実施形態による、室内の源から聴者まで測定される部屋応答の例示的モデル６００を図示する。部屋応答のモデルは、直接音源からある距離における聴者の観点からの直接音（６１０）、直接音の反射（６２０）、および直接音の反響（６３０）の振幅を示す。図６に図示されるように、直接音は、概して、反射（直接音と反射との間の時間における差異を示す、図の反射遅延（６２２）を伴う）の前に聴者に到着し、これは、順に、反響（直接音と反響との間の時間における差異を示す、図の反響遅延（６３２）を伴う）の前に到着する。反射および反響は、聴者にとって知覚的に異なり得る。反射は、例えば、個々の反射の時間、減衰、スペクトル形状、および到着方向をより良好に制御するために、反響とは別個にモデル化されることができる。反射は、反射モデルを使用してモデル化されてもよく、反響は、反射モデルと異なり得る、反響モデルを使用してモデル化されてもよい。
同一の音源に関する反響性質（例えば、反響消滅）は、同一の音源に関する２つの異なる音響環境（例えば、部屋）の間で異なり得、聴者の仮想環境内の現在の部屋の性質に従って音源を現実的に再現することが、望ましい。すなわち、仮想音源が、複合現実システムにおいて提示されるとき、聴者の実環境の反射および反響性質は、正確に再現されるべきである。Ｌ． Ｓａｖｉｏｊａ、Ｊ． Ｈｕｏｐａｎｉｅｍｉ、Ｔ． Ｌｏｋｋｉ、およびＲ． Ｖａａｎａｎｅｎ「Ｃｒｅａｔｉｎｇ Ｉｎｔｅｒａｃｔｉｖｅ Ｖｉｒｔｕａｌ Ａｃｏｕｓｔｉｃ Ｅｎｖｉｒｏｎｍｅｎｔｓ」Ｊ． Ａｕｄｉｏ Ｅｎｇ． Ｓｏｃ． ４７（９）： ６７５−７０５ （１９９９）は、ビデオゲーム、シミュレーション、またはＡＲ／ＶＲのためのリアルタイム仮想３Ｄオーディオ再現システムにおいて直接経路、個々の反射、および音響反響を再現するための方法を説明している。Ｓａｖｉｏｊａ ｅｔ ａｌ．によって開示される方法では、各個々の反射の到着方向、遅延、振幅、およびスペクトル等化は、部屋（例えば、実部屋、仮想部屋、またはそれらのある組み合わせ）の幾何学的および物理的モデルから導出され、これは、複雑なレンダリングシステムを要求し得る。これらの方法は、コンピュータ的に複雑であり、おそらく、コンピューティングリソースが限られ得るモバイルアプリケーションに関して法外に複雑であり得る。
いくつかの部屋音響シミュレーションアルゴリズムでは、反響は、全ての音源をモノ信号にダウンミックスし、モノ信号を反響シミュレーションモジュールに送信することによって実装され得る。ダウンミックスおよび送信のために使用される利得は、例えば、源距離等の動的パラメータおよび、例えば、反響利得等の手動パラメータに依存し得る。
音源指向性または放射パターンは、音源が異なる方向に放出しているエネルギーの量の測度を指し得る。音源指向性は、部屋インパルス応答の全ての部分（例えば、直接、反射、および反響）に対して影響を及ぼす。異なる音源は、異なる指向性を呈し得、例えば、人間の発話は、トランペット演奏と異なる指向性パターンを有し得る。部屋シミュレーションモデルは、音響信号の正確なシミュレーションを生成するとき、音源指向性を考慮し得る。例えば、音源指向性を組み込むモデルは、音源の正面方向（または主要音響軸）に対する音源から聴者への線の方向の関数を含み得る。指向性パターンは、音源の主要音響軸を中心として軸対称である。いくつかの実施形態では、パラメトリック利得モデルが、周波数依存性フィルタを使用して定義されてもよい。いくつかの実施形態では、所与の音源からのオーディオが反響バスの中に送信されるべき量を決定するために、音源の拡散電力のアベレージが、（例えば、音源の音響中心を中心とする球体にわたって積分することによって）算出されてもよい。
双方向オーディオエンジンおよび音設計ツールは、モデル化されるべき音響システムについて仮定を行い得る。例えば、いくつかの双方向オーディオエンジンは、周波数から独立した関数として音源指向性をモデル化し得、これは、２つの潜在的欠点を有し得る。第１に、これは、音源から聴者への直接音伝搬に対する周波数依存性減衰を無視し得る。第２に、これは、反射および反響送信に対する周波数依存性減衰を無視し得る。これらの効果は、心理音響学の観点から重要であり得、それらを再現しないことは、不自然かつ聴者が実音響環境内で体験することに慣れているものと異なるように知覚される部屋シミュレーションにつながり得る。
ある場合には、部屋シミュレーションシステムまたは双方向オーディオエンジンは、音源、聴者、および反射および反響等の音響環境パラメータを完全に分離しない場合がある。代わりに、部屋シミュレーションシステムは、具体的仮想環境のために全体として調整され得、異なる再生シナリオに適合しない場合がある。例えば、シミュレートされる環境内の反響は、ユーザ／聴者が、レンダリングされるコンテンツを聴取しているときに物理的に存在する環境に合致しない場合がある。
拡張または複合現実用途では、コンピュータ発生オーディオオブジェクトは、ユーザ／聴者によって自然に聞かれる物理的環境と配合されるように、音響的に透過性の再生システムを介してレンダリングされ得る。これは、ローカル環境音響に合致するための両耳人工反響処理を要求し得、したがって、合成オーディオオブジェクトは、自然に発生する、またはラウドスピーカにわたって再現される音から判別可能ではない。例えば、環境の幾何学形状を推定することに基づく部屋インパルス応答の測定または計算を伴うアプローチは、実践的障害および複雑性によって、消費者環境において限定され得る。加えて、物理的モデルは、これが、心理音響学の音響原理を考慮しない、またはサウンドデザイナが聴取体験を微調整するために好適なオーディオ場面パラメータ化を提供し得ないため、必ずしも最も人を引き付ける聴取体験を提供し得ない。
標的音響環境のいくつかの具体的物理的性質に合致することは、聴者の環境またはアプリケーション設計者の意図に知覚的に密接に合致するシミュレーションを提供し得ない。実践的オーディオ環境記述インターフェースを用いて特性評価され得る標的音響環境の知覚的に関連するモデルが、所望され得る。
例えば、源、聴者、および部屋性質の寄与を分離するレンダリングモデルが、所望され得る。寄与を分離するレンダリングモデルは、ローカル環境およびエンドユーザの性質に従って、ランタイム時にコンポーネントを適合させる、またはスワップすることを可能にし得る。例えば、聴者は、コンテンツが元々作成された仮想環境と異なる音響特徴を有する物理的部屋内に存在し得る。聴取環境に合致するようにシミュレーションの早期反射および／または反響を修正することは、より説得力のある聴取体験につながり得る。聴取環境に合致することは、所望の効果が、聴者が、シミュレートされるその周囲の音および実周辺環境内に存在する音を判別できないことであり得る、複合現実用途において特に重要であり得る。
実周辺環境の幾何学形状および／または周辺表面の音響性質の詳細な知識を要求することなく説得力のある効果を作成することが、所望され得る。実周辺環境性質の詳細な知識は、利用可能ではない場合がある、またはそれらは、特に、ポータブルデバイス上での推定が複雑であり得る。代わりに、知覚および心理音響学原理に基づくモデルが、音響環境を特性評価するためのはるかに実践的なツールであり得る。
図７は、いくつかの実施形態による、源、聴者、および部屋の性質を区別する、両耳部屋インパルスモデルにおける各区分を特徴付けるいくつかの客観的音響および幾何学的パラメータを含む、表７００を図示する。自由音場および拡散音場伝達関数を含む、いくつかの源性質は、コンテンツがレンダリングされるであろう方法および場所から独立し得る一方、位置および配向を含む、他の性質は、再生時に動的に更新される必要があり得る。同様に、自由音場および拡散音場頭部関連伝達関数または拡散音場両耳間コヒーレンス（ＩＡＣＣ）を含む、いくつかの聴者性質は、コンテンツがレンダリングされるであろう場所から独立し得る一方、位置および配向を含む、他の性質は、再生時に動的に更新され得る。いくつかの部屋性質、特に、後期反響に寄与する性質は、完全に環境に依存し得る。反響消滅率および部屋立方体積の表現は、空間オーディオレンダリングシステムを聴者の再生環境に適合させるためのものであり得る。
源および聴者の耳は、それぞれ、聴者の頭部関連伝達関数（ＨＲＴＦ）を含む、方向依存性自由音場伝達関数のセットによって特性評価される、放出および受信トランスデューサとしてモデル化されてもよい。
図８は、いくつかの実施形態による、ＸＲ環境内等の仮想部屋内で複数の仮想音源をレンダリングするための例示的オーディオ混合システム８００を図示する。例えば、オーディオ混合アーキテクチャは、複数の仮想音源８１０（すなわち、オブジェクト１−Ｎ）の部屋音響シミュレーションのためのレンダリングエンジンを含んでもよい。システム８００は、反射および反響をレンダリングするモジュール８５０（例えば、共有反響および反射モジュール）にフィードする部屋送信バス８３０を備える。本一般的プロセスの側面は、例えば、ＩＡ−ＳＩＧ ３Ｄ Ａｕｄｉｏ Ｒｅｎｄｅｒｉｎｇ Ｇｕｉｄｅｌｉｎｅｓ （Ｌｅｖｅｌ ２）， ｗｗｗ．ｉａｓｉｇ．ｎｅｔ （１９９９）に説明されている。部屋送信バスは、全ての源、例えば、それぞれ、対応するモジュール８２０によって処理される、音源８１０からの寄与を組み合わせ、部屋モジュールの入力信号を導出する。部屋送信バスは、モノ部屋送信バスを備えてもよい。主要混合バス８４０のフォーマットは、例えば、ヘッドホン再生のための両耳レンダラ、アンビソニックデコーダ、および／またはマルチチャネルラウドスピーカシステムを含み得る、最終出力レンダリング方法に合致する２チャネルまたはマルチチャネルフォーマットであってもよい。主要混合バスは、全ての源からの寄与を部屋モジュール出力と組み合わせ、出力レンダリング信号８６０を導出する。
例示的システム８００を参照すると、Ｎ個のオブジェクトの各オブジェクトは、仮想音源信号を表してもよく、パンニングアルゴリズムによって等、環境内の見掛け場所を割り当てられてもよい。例えば、各オブジェクトは、仮想聴者の位置を中心とする球体上の角度位置を割り当てられることができる。パンニングアルゴリズムは、主要混合の各チャネルへの各オブジェクトの寄与を計算してもよい。本一般的プロセスは、例えば、Ｊ．−Ｍ． Ｊｏｔ、Ｖ． Ｌａｒｃｈｅｒ、およびＪ．−Ｍ． Ｐｅｒｎａｕｘ「Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ ３−Ｄ ａｕｄｉｏ ｅｎｃｏｄｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｔｅｃｈｎｉｑｕｅｓ」 Ｐｒｏｃ． ＡＥＳ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐａｔｉａｌ Ｓｏｕｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ （１９９９）に説明されている。各オブジェクトは、パン、利得モジュール８２０に入力されてもよく、これは、パンニングアルゴリズムを実装し、オブジェクト毎に利得レベルを調節すること等の付加的信号処理を実施することができる。
いくつかの実施形態では、システム８００は（例えば、モジュール８２０を介して）、各仮想音源に、それからレンダリングエンジンがオブジェクト毎に源毎の直接利得および源毎の部屋利得を導出し得る、仮想聴者の位置に対する見掛け距離を割り当ててもよい。直接および部屋利得は、それぞれ、仮想音源によって主要混合バス８４０および部屋送信バス８３０に寄与されるオーディオ信号電力に影響を及ぼし得る。最小距離パラメータが、各仮想音源に割り当てられてもよく、直接利得および部屋利得は、距離が、本最小距離を越えて増加するにつれて、異なる速度でロールオフし得る。
いくつかの実施例では、図８のシステム８００は、従来的２チャネルフロントステレオラウドスピーカ再生システムを標的とするオーディオ記録および双方向オーディオ用途の生成のために使用されてもよい。しかしながら、シミュレートされた反響および反射の空間的拡散分布を可能にする両耳または没入型３Ｄオーディオシステムにおいて適用されると、システム８００は、仮想音源、特に、聴者から遠いものをレンダリングするときに十分に説得力のある音像定位キューを提供しない場合がある。これは、反射の空間分布の源毎の制御をサポートしながら、仮想音源８１０の間で共有されるクラスタ化された反射レンダリングモジュールの包含によって対処されることができる。そのようなモジュールが、源毎の早期反射処理アルゴリズム、および仮想音源および聴者位置による早期反射パラメータの動的制御を組み込むことが、望ましい。
いくつかの実施形態では、仮想音源毎の個々の早期反射のコンピュータ的に複雑なレンダリングまたは音響リフレクタ幾何学形状および物理的性質の詳細な記述を伴わずに、位置依存性部屋音響キューを正確に再現し得る空間オーディオ処理モデル／システムおよび方法を有することが、所望され得る。
反射処理モデルは、関連付けられる物理的および幾何学的記述を伴わずに、実または仮想部屋／環境内の聴者および仮想音源の位置を動的に考慮し得る。源毎のクラスタ化された反射パンニングおよび早期反射処理パラメータの制御のための知覚モデルが、効率的に実装されてもよい。
図９は、いくつかの実施形態による、仮想部屋内で複数の仮想音源をレンダリングするためのオーディオ混合システム９００を図示する。例えば、システム９００は、複数の仮想音源９１０（例えば、オブジェクト１−Ｎ）の部屋音響シミュレーションのためのレンダリングエンジンを含んでもよい。上記に説明されるシステム８００と比較して、システム９００は、仮想音源毎に反響および反射送信チャネルの別個の制御を含むことができる。各オブジェクトは、個別の源毎の処理モジュール９２０に入力されてもよく、部屋送信バス９３０は、部屋処理モジュール９５０にフィードしてもよい。
図１０は、いくつかの実施形態による、源毎の処理モジュール１０２０を図示する。モジュール１０２０は、図９および例示的システム９００に示されるモジュール９２０のうちの１つ以上のものに対応することができる。源毎の処理モジュール１０２０は、全体的システム（例えば、システム９００）の個々の源（例えば、源９１０のうちの１つに対応し得る、１０１０）に特有の処理を実施することができる。源毎の処理モジュールは、直接処理経路（例えば、１０３０Ａ）および／または部屋処理経路（例えば、１０３０Ｂ）を含んでもよい。
いくつかの実施形態では、個々の直接および部屋フィルタが、別個に音源毎に適用されてもよい。別個にフィルタを適用することは、各源が聴者に向かって、かつ周辺環境の中に音を放射している方法に対するより精緻化された、かつ正確な制御を可能にし得る。広帯域利得と対照的に、フィルタの使用は、周波数の関数としての所望の音放射パターンに合致することを可能にし得る。これは、放射性質が、音源タイプを横断して変動し得、周波数依存性であり得るため、有益である。音源の主要音響軸と聴者の位置との間の角度は、聴者によって知覚される音圧レベルに影響を及ぼし得る。さらに、源放射特性は、源の拡散電力のアベレージに影響を及ぼし得る。
いくつかの実施形態では、周波数依存性フィルタが、「ＩＮＤＥＸ ＳＣＨＥＭＩＮＧ ＦＯＲ ＦＩＬＴＥＲ ＰＡＲＡＭＥＴＥＲＳ」と題された、米国特許出願第６２／６７８２５９号（その内容は、参照することによってその全体として組み込まれる）に開示される二重シェルビングアプローチを使用して実装されてもよい。いくつかの実施形態では、周波数依存性フィルタは、周波数領域において、および／または有限インパルス応答フィルタを使用して適用されてもよい。
実施例に示されるように、直接処理経路は、直接送信フィルタ１０４０を含んでもよく、直接パンモジュール１０４４が続く。直接送信フィルタ１０４０は、音源指向性、距離、および／または配向のうちの１つ以上のもの等の１つ以上の音響効果をモデル化してもよい。直接パンモジュール１０４４は、環境内の見掛け位置（例えば、ＸＲ環境等の仮想環境内の３Ｄ場所）に対応するようにオーディオ信号を空間化することができる。直接パンモジュール１０４４は、振幅および／または強度ベースであってもよく、ラウドスピーカアレイの幾何学形状に依存してもよい。いくつかの実施形態では、直接処理経路は、直接送信フィルタおよび直接パンモジュールとともに、直接送信利得１０４２を含んでもよい。直接パンモジュール１０４４は、例示的システム９００に関して上記に説明される主要混合バス９４０に対応し得る、主要混合バス１０９０に出力することができる。
いくつかの実施形態では、部屋処理経路は、部屋遅延１０５０と、部屋送信フィルタ１０５２とを備え、反射経路（例えば、１０６０Ａ）および反響経路（例えば、１０６０Ｂ）が続く。部屋送信フィルタは、反射および反響経路に進む信号に対する音源指向性の効果をモデル化するために使用されてもよい。反射経路は、反射送信利得１０７０を備えてもよく、反射パンモジュール１０７２を介して信号を反射送信バス１０７４に送信してもよい。反射パンモジュール１０７２は、これが、オーディオ信号を空間化し得るが、直接信号の代わりに反射に対して動作し得る点において、直接パンモジュール１０４４に類似し得る。反響経路１０６０Ｂは、反響利得１０８０を備えてもよく、信号を反響送信バス１０８４に送信してもよい。反射送信バス１０７４および反響送信バス１０８４は、例示的システム９００に関して上記に説明される部屋送信バス９３０に対応し得る、部屋送信バス１０９２にグループ化されてもよい。
図１１は、いくつかの実施形態による、上記に説明される反射パンモジュール１０７２に対応し得る、源毎の反射パンモジュール１１００の実施例を図示する。図に示されるように、入力信号が、例えば、Ｊ．−Ｍ． Ｊｏｔ、Ｖ． Ｌａｒｃｈｅｒ、およびＪ．−Ｍ． Ｐｅｒｎａｕｘ「Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ ３−Ｄ ａｕｄｉｏ ｅｎｃｏｄｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｔｅｃｈｎｉｑｕｅｓ」 Ｐｒｏｃ． ＡＥＳ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐａｔｉａｌ Ｓｏｕｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ （１９９９）に説明されるように、３チャネルアンビソニックＢフォーマット信号にエンコードされてもよい。エンコード係数１１１０は、方程式１−３に従って計算されることができる。
Figure 2021528000
方程式１−３では、ｋは、
Figure 2021528000
 として計算され得、式中、Ｆは、［０， ２／３］の間の値を伴う空間焦点パラメータであり、Ａｚは、［０， ３６０］の間の度における角度である。エンコーダは、入力信号を３チャネルアンビソニックＢフォーマット信号にエンコードしてもよい。
Ａｚは、頭部相対水平面（例えば、聴者の頭部の「上」ベクトルに垂直であり、聴者の耳を含有する平面）への反射の主な到着方向の投影によって定義される方位角であり得る。空間焦点パラメータＦは、聴者に到着する反射信号エネルギーの空間的集中を示し得る。Ｆが、ゼロであるとき、反射エネルギー到着の空間分布は、聴者の周囲で均一であり得る。Ｆが、増加するにつれて、空間分布は、方位角Ａｚによって決定される主方向の周囲にますます集中し得る。Ｆの最大理論値は、１．０であり、全てのエネルギーが、方位角Ａｚによって決定される主方向から到着していることを示し得る。
本発明のある実施形態では、空間焦点パラメータＦは、例えば、Ｊ．−Ｍ． Ｊｏｔ、Ｖ． Ｌａｒｃｈｅｒ、およびＪ．−Ｍ． Ｐｅｒｎａｕｘ「Ａ ｃｏｍｐａｒａｔｉｖｅ ｓｔｕｄｙ ｏｆ ３−Ｄ ａｕｄｉｏ ｅｎｃｏｄｉｎｇ ａｎｄ ｒｅｎｄｅｒｉｎｇ ｔｅｃｈｎｉｑｕｅｓ」 Ｐｒｏｃ． ＡＥＳ １６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｐａｔｉａｌ Ｓｏｕｎｄ Ｒｅｐｒｏｄｕｃｔｉｏｎ （１９９９）に説明される、ガーゾンエネルギーベクトルの大きさとして定義されてもよい。
反射パンモジュール１１００の出力は、図１０および例示的処理モジュール１０２０に関して上記に説明される反射送信バス１０７４に対応し得る、反射送信バス１１７４に提供されることができる。
図１２は、いくつかの実施形態による、例示的部屋処理モジュール１２００を図示する。部屋処理モジュール１２００は、図９および例示的システム９００に関して上記に説明される部屋処理モジュール９５０に対応することができる。図９に示されるように、部屋処理モジュール１２００は、反射処理経路１２１０Ａおよび／または反響処理経路１２１０Ｂを備えてもよい。
反射処理経路１２１０Ａは、反射送信バス１２０２（上記に説明される反射送信バス１０７４に対応し得る）から信号を受信し、主要混合バス１２９０（上記に説明される主要混合バス９４０に対応し得る）の中に信号を出力してもよい。反射処理経路１２１０Ａは、反射グローバル利得１２２０、反射グローバル遅延１２２２、および／または反射をシミュレート／レンダリングし得る反射モジュール１２２４を備えてもよい。
反響処理経路１２１０Ｂは、反響送信バス１２０４（上記に説明される反響送信バス１０８４に対応し得る）から信号を受信し、主要混合バス１２９０の中に信号を出力してもよい。反響処理経路１２１０Ｂは、反響グローバル利得１２３０、反響グローバル遅延１２３２、および／または反響モジュール１２３４を含んでもよい。
図１３は、いくつかの実施形態による、例示的反射モジュール１３００を図示する。反射モジュールの入力１３１０は、上記に説明されるもの等の反射パンモジュール１１００によって出力され、反射送信バス１１７４を介して反射モジュール１３００に提示されることができる。反射送信バスは、全ての仮想音源（例えば、図９に関して上記に説明される音源９１０（オブジェクト１−Ｎ））からの寄与を組み合わせる３チャネルアンビソニックＢフォーマット信号を搬送してもよい。示される実施例では、（Ｗ、Ｘ、Ｙ）と表される３つのチャネルは、アンビソニックデコーダ１３２０にフィードされる。実施例によると、アンビソニックデコーダは、６つの出力信号を生成し、これは、それぞれ、６つのモノ入力／出力基本反射モジュール１３３０（Ｒ１−Ｒ６）にフィードし、６つの反射出力信号１３４０（ｓ１−ｓ６）のセットを生成する。（実施例は、６つの信号および反射モジュールを示すが、任意の好適な数が、使用されてもよい。）反射出力信号１３４０は、上記に説明される主要混合バス９４０に対応し得る、主要混合バス１３５０に提示される。
図１４は、いくつかの実施形態による、聴者１４０２によって検出されるような、反射の見掛け到着方向の空間分布１４００を図示する。例えば、示される反射は、例えば、図１１に関して上記に説明される反射パンパラメータＡｚおよびＦの特定の値を割り当てられる音源に関して、上記に説明される反射モジュール１３００によって生成されるものであり得る。
図１４に図示されるように、反射パンモジュール１１００と組み合わせられる反射モジュール１３００の効果は、一連の反射を生成することであり、そのそれぞれは、異なる時間に（例えば、モデル６００に図示されるように）、仮想ラウドスピーカ方向１４１０のそれぞれ（例えば、上記に説明される反射出力信号ｓ１−ｓ６に対応し得る、１４１１−１４１６）から到着し得る。アンビソニックデコーダ１３２０と組み合わせられる１１００の反射パンモジュールの効果は、聴者のために、反射が、空間焦点パラメータＦの設定によって決定される空間分布（例えば、その主方向の周囲に多かれ少なかれ集中している）を伴う主方向角Ａｚから発出している感覚を生成するために、反射出力信号１３４０の相対的大きさを調節することである。
いくつかの実施形態では、反射主方向角Ａｚは、源毎に、直接経路の見掛け到着方向と一致し、これは、直接パンモジュール１０２０によって源毎に制御されることができる。シミュレートされる反射は、聴者によって知覚される仮想音源の方向的位置の知覚を強調し得る。
いくつかの実施形態では、主要混合バス９４０および直接パンモジュール１０２０は、音方向の３次元再現を可能にし得る。これらの実施形態では、反射主方向角Ａｚは、反射主角Ａｚが測定される平面上への見掛け方向の投影と一致し得る。
図１５は、いくつかの実施形態による、距離（例えば、聴者まで）の関数としての例示的直接利得、反射利得、および反響利得のモデル１５００を図示する。モデル１５００は、源距離に対する、例えば、図１０に示される直接、反射、および反響送信利得の変動の実施例を図示する。図に示されるように、直接音、その反射、およびその反響が、距離に対して有意に異なるフォールオフ曲線を有し得る場合がある。ある場合には、上記に説明されるもの等の源毎の処理は、反響に関してよりも反射に関してより高速の距離ベースのロールオフを実現することを可能にし得る。心理音響学的には、これは、特に、遠い源に関するロバストな指向性知覚および距離知覚を可能にし得る。
図１６は、いくつかの実施形態による、直接および反射成分に関する空間焦点対源距離の例示的モデル１６００を図示する。本実施例では、直接パンモジュール１０２０は、その距離にかかわらず、音源の方向における直接経路成分の最大空間的集中を生成するように構成される。一方、反射空間焦点パラメータＦは、限界距離（例えば、反射最小距離１６１０）よりも長い全ての距離に関して、現実的様式で、指向性知覚を増強するために、２／３の例示的値に設定されてもよい。例示的モデル１６００によって図示されるように、反射空間焦点パラメータ値は、源が、聴者に接近するにつれて、ゼロに向かって減少する。
図１７は、時間の関数としてのオーディオ信号の振幅の例示的モデル１７００を示す。上記に説明されるように、反射処理経路（例えば、１２１０Ａ）は、反射送信バスから信号を受信し、信号を主要混合バス上に出力してもよい。反射処理経路は、上記に説明されるもの等、反射グローバル利得（例えば、１２２０）、モデル１７００に示されるようなパラメータＤｅｒを制御するための反射グローバル遅延（例えば、１２２２）、および／または反射モジュール（例えば、１２２４）を含んでもよい。
上記に説明されるように、反響処理経路（例えば、１２１０Ｂ）は、反響送信バスから信号を受信し、信号を主要混合バスの中に出力してもよい。反響処理経路１２１０Ｂは、モデル１７００に示されるようなパラメータＬｇｏを制御するための反響グローバル利得（例えば、１２３０）、モデル１７００に示されるようなパラメータＤｒｅｖを制御するための反響グローバル遅延（例えば、１２３２）、および／または反響モジュール（例えば、１２３４）を含んでもよい。反響処理経路内の処理ブロックは、任意の好適な順序において実装されてもよい。反響モジュールの実施例が、「ＲＥＶＥＲＢＥＲＡＴＩＯＮ ＧＡＩＮ ＮＯＲＭＡＬＩＺＡＴＩＯＮ」と題された、米国特許出願第６２／６８５２３５号および「ＬＯＷ−ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＣＨＡＮＮＥＬ ＣＯＨＥＲＥＮＣＥ ＣＯＮＴＲＯＬ」と題された、米国特許出願第６２／６８４０８６号（そのそれぞれの内容は、参照することによってその全体として本明細書に組み込まれる）に説明されている。
図１７のモデル１７００は、いくつかの実施形態による、反響遅延およびレベルを動的に調節するために、距離および反響遅延を含む源毎のパラメータが考慮され得る方法を図示する。図では、Ｄｔｏｆは、所与のオブジェクトに関する飛行時間に起因する遅延を表し、すなわち、Ｄｔｏｆ＝ＯｂｊＤｉｓｔ／ｃであり、式中、ＯｂｊＤｉｓｔは、聴者の頭部の中心からのオブジェクト距離であり、ｃは、空気中の音速である。Ｄｒｍは、オブジェクトあたりの部屋遅延を表す。Ｄｏｂｊは、合計のオブジェクトあたりの遅延を表し、すなわち、Ｄｏｂｊ＝Ｄｔｏｆ＋Ｄｒｍである。Ｄｅｒは、グローバル早期反射遅延を表す。Ｄｒｅｖは、グローバル反響遅延を表す。Ｄｔｏｔａｌは、所与のオブジェクトに関する合計遅延を表し、すなわち、Ｄｔｏｔａｌ＝Ｄｏｂｊ＋Ｄｇｌｏｂａｌである。
Ｌｒｅｆは、Ｄｔｏｔａｌ＝０に関する反響のレベルを表す。Ｌｇｏは、グローバル遅延に起因するグローバルレベルオフセットを表し、これは、方程式１０に従って算出され得、Ｔ６０が、反響アルゴリズムの反響時間である。Ｌｏｏは、グローバル遅延に起因するオブジェクトあたりのレベルオフセットを表し、これは、方程式１１に従って算出され得る。Ｌｔｏは、所与のオブジェクトに関する合計レベルオフセットを表し、（ｄＢ値を仮定して）方程式１２に従って算出され得る。
Figure 2021528000
Figure 2021528000
いくつかの実施形態では、反響レベルは、オブジェクト位置、反響時間、および他のユーザ制御可能パラメータから独立して較正される。故に、Ｌｒｅｖは、音放出の初期時間における消滅反響の外挿レベルであり得る。Ｌｒｅｖは、「ＲＥＶＥＲＢＥＲＡＴＩＯＮ ＧＡＩＮ ＮＯＲＭＡＬＩＺＡＴＩＯＮ」と題された、米国特許出願第６２／６８５２３５号（その内容は、参照することによってその全体として本明細書に組み込まれる）に定義される反響初期電力（ＲＩＰ）と同一の量であり得る。Ｌｒｅｖは、方程式１３に従って算出され得る。
Figure 2021528000
いくつかの実施形態では、Ｔ６０は、周波数の関数であってもよい。したがって、Ｌｇｏ、Ｌｏｏ、およびその結果、Ｌｔｏは、周波数依存性である。
図１８は、音響環境に基づいて空間オーディオ性質を決定するための例示的システム１８００を図示する。例示的システム１８００は、上記に説明されるもの等の反射および／または反響に関する空間オーディオ性質を決定するために使用されることができる。実施例として、そのような性質は、部屋の体積、周波数の関数としての反響時間、部屋に対する聴者の位置、室内のオブジェクト（例えば、音減衰オブジェクト）の存在、表面材料、または他の好適な性質を含んでもよい。いくつかの実施例では、これらの空間オーディオ性質は、ローカル環境内に自由に位置付けられるマイクロホンおよびラウドスピーカを用いて単一のインパルス応答を捕捉することによってローカルで読み出されてもよい、またはモバイルデバイスマイクロホンによって捕捉される音を連続的に監視および分析することによって適合的に導出されてもよい。音響環境がＸＲシステム（例えば、上記に説明されるウェアラブル頭部ユニット１００、ハンドヘルドコントローラ２００、および補助ユニット３００のうちの１つ以上のものを含む、拡張現実システム）のセンサを介して感知され得る場合等のいくつかの実施例では、ユーザの場所が、ユーザに（例えば、ディスプレイを介して）提示される環境に対応するオーディオ反射および反響を提示するために使用されることができる。
例示的システム１８００では、音響環境感知モジュール１８１０が、上記に説明されるもの等の音響環境の空間オーディオ性質を識別する。いくつかの実施例では、音響環境感知モジュール１８１０は、音響環境に対応するデータを捕捉することができる（段階１８１２）。例えば、段階１８１２において捕捉されるデータは、１つ以上のマイクロホンからのオーディオデータ、ＲＧＢカメラまたは深度カメラ等のカメラからのカメラデータ、ＬＩＤＡＲデータ、ソナーデータ、レーダデータ、ＧＰＳデータ、または音響環境についての情報を伝え得る他の好適なデータを含み得る。いくつかのインスタンスでは、段階１８１２において捕捉されるデータは、音響環境に対するユーザの位置または配向等のユーザに関連するデータを含むことができる。段階１８１２において捕捉されるデータは、上記に説明されるウェアラブル頭部ユニット１００等のウェアラブルデバイスの１つ以上のセンサを介して捕捉されることができる。
いくつかの実施形態では、頭部搭載型ディスプレイデバイスが存在するローカル環境が、１つ以上のマイクロホンを含んでもよい。いくつかの実施形態では、１つ以上のマイクロホンが、採用されてもよく、モバイルデバイスに搭載される、または環境に位置付けられる、または両方であってもよい。そのような配列の利益は、部屋の反響についての方向情報を収集すること、または１つ以上のマイクロホン内のいずれか１つのマイクロホンの不良な信号品質を軽減することを含み得る。信号品質は、例えば、閉塞、過負荷、風切り音、トランスデューサ損傷、および同等物に起因して、所与のマイクロホン上で不良であり得る。
モジュール１８１０の段階１８１４において、特徴が、段階１８１２において捕捉されたデータから抽出されることができる。例えば、部屋の寸法が、カメラデータ、ＬＩＤＡＲデータ、ソナーデータ等のセンサデータから決定されることができる。段階１８１４において抽出された特徴は、部屋の１つ以上の音響性質、例えば、周波数依存性反響時間を決定するために使用されることができ、これらの性質は、段階１８１６において記憶され、現在の音響環境と関連付けられることができる。
いくつかの実施例では、モジュール１８１０は、音響環境に関する音響性質を記憶し、読み出すために、データベース１８４０と通信することができる。いくつかの実施形態では、データベースは、デバイスのメモリ上にローカルで記憶されてもよい。いくつかの実施形態では、データベースは、クラウドベースサービスとしてオンラインで記憶されてもよい。データベースは、聴者の場所に基づいて、後の時点での容易なアクセスのために、地理的場所を部屋性質に割り当ててもよい。いくつかの実施形態では、データベースは、聴者の場所を識別する、および／または聴者の環境性質の近い近似値であるデータベース内の反響性質を決定するために、付加的情報を含有してもよい。例えば、部屋性質は、部屋タイプによって分類されてもよく、したがって、パラメータのセットが、絶対地理的場所が、把握され得ない場合であっても、聴者が既知のタイプの部屋（例えば、寝室または居間）内に存在することが識別されるとすぐに、使用されることができる。
データベースの中への反響性質の記憶は、「ＰＥＲＳＩＳＴＥＮＴ ＷＯＲＬＤ ＭＯＤＥＬ ＳＵＰＰＯＲＴＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＡＮＤ ＩＮＣＬＵＤＩＮＧ ＡＵＤＩＯ ＣＯＭＰＯＮＥＮＴ」と題された、米国特許出願第６２／５７３４４８号（その内容は、参照することによってその全体として本明細書に組み込まれる）に関連し得る。
いくつかの実施例では、システム１８００は、部屋に関する音響性質を読み出し、それらの性質をオーディオ反射（例えば、ヘッドホンを介して、またはスピーカを介してウェアラブル頭部ユニット１００のユーザに提示されるオーディオ反射）に適用するための反射適合モジュール１８２０を含むことができる。段階１８２２において、ユーザの現在の音響環境が、決定されることができる。例えば、ＧＰＳデータが、ＧＰＳ座標内のユーザの場所を示すことができ、これは、ひいては、ユーザの現在の音響環境（例えば、それらのＧＰＳ座標に位置する部屋）を示すことができる。別の実施例として、光学認識ソフトウェアと組み合わせたカメラデータが、ユーザの現在の環境を識別するために使用されることができる。反射適合モジュール１８２０は、次いで、決定された環境と関連付けられる音響性質を読み出すために、データベース１８４０と通信することができ、それらの音響性質は、段階１８２４において使用され、それに応じてオーディオレンダリングを更新することができる。すなわち、反射に関連する音響性質（例えば、上記に説明されるもの等の指向性パターンまたはフォールオフ曲線）は、提示される反射オーディオ信号が、それらの音響性質を組み込むように、ユーザに提示される反射オーディオ信号に適用されることができる。
同様に、いくつかの実施例では、システム１８００は、部屋に関する音響性質を読み出し、それらの性質をオーディオ反響（例えば、ヘッドホンを介して、またはスピーカを介してウェアラブル頭部ユニット１００のユーザに提示されるオーディオ反射）に適用するための反射適合モジュール１８３０を含むことができる。反響に関する着目音響性質は、上記に説明されるもの等の（例えば、図７に関する表７００における）反射に関して着目されるものと異なり得る。段階１８３２において、上記のように、ユーザの現在の音響環境が、決定されることができる。例えば、ＧＰＳデータが、ＧＰＳ座標内のユーザの場所を示すことができ、これは、ひいては、ユーザの現在の音響環境（例えば、それらのＧＰＳ座標に位置する部屋）を示すことができる。別の実施例として、光学認識ソフトウェアと組み合わせたカメラデータが、ユーザの現在の環境を識別するために使用されることができる。反響適合モジュール１８３０は、次いで、決定された環境と関連付けられる音響性質を読み出すために、データベース１８４０と通信することができ、それらの音響性質は、段階１８２４において使用され、それに応じてオーディオレンダリングを更新することができる。すなわち、反響に関連する音響性質（例えば、上記に説明されるもの等の反響消滅時間）は、提示される反響オーディオ信号が、それらの音響性質を組み込むように、ユーザに提示される反響オーディオ信号に適用されることができる。
上記に説明されるシステムおよび方法に関して、本システムおよび方法の要素は、適宜、１つ以上のコンピュータプロセッサ（例えば、ＣＰＵまたはＤＳＰ）によって実装されることができる。本開示は、これらの要素を実装するために使用される、コンピュータプロセッサを含むコンピュータハードウェアの任意の特定の構成に限定されない。ある場合には、複数のコンピュータシステムが、上記に説明されるシステムおよび方法を実装するために採用されることができる。例えば、第１のコンピュータプロセッサ（例えば、マイクロホンに結合されるウェアラブルデバイスのプロセッサ）が、入力マイクロホン信号を受信し、それらの信号の初期処理（例えば、上記に説明されるもの等の信号調整および／またはセグメント化）を実施するために利用されることができる。第２の（おそらく、よりコンピュータ的に強力な）プロセッサが、次いで、それらの信号の発話セグメントと関連付けられる確率値の決定等のよりコンピュータ的に集約的な処理を実施するために利用されることができる。クラウドサーバ等の別のコンピュータデバイスが、発話認識エンジンをホストすることができ、それに入力信号が、最終的に提供される。他の好適な構成も、明白になり、本開示の範囲内である。
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、１つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付される請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるものである。

Claims (29)

  1. 仮想環境内の第１の場所に位置する聴者に出力オーディオ信号を提示する方法であって、前記方法は、
    入力オーディオ信号を受信することと、
    前記仮想環境内の複数の音源の音源毎に、
    前記仮想環境内の個別の音源の場所に基づいて、前記入力オーディオ信号に対応する個別の第１の中間オーディオ信号を決定することと、
    前記個別の第１の中間オーディオ信号を第１のバスと関連付けることと、
    前記個別の音源の場所に基づいて、さらに前記仮想環境の音響性質に基づいて、個別の第２の中間オーディオ信号を決定することであって、前記個別の第２の中間オーディオ信号は、前記仮想環境の表面内の前記入力オーディオ信号の反射に対応する、ことと、
    前記個別の第２の中間オーディオ信号を第２のバスと関連付けることと、
    前記第１のバスおよび前記第２のバスを介して、前記出力オーディオ信号を前記聴者に提示することと
    を含む、方法。
  2. 前記仮想環境の音響性質は、前記聴者と関連付けられる１つ以上のセンサを介して決定される、請求項１に記載の方法。
  3. 前記１つ以上のセンサは、１つ以上のマイクロホンを備える、請求項２に記載の方法。
  4. 前記１つ以上のセンサは、前記聴者によって装着されるように構成されるウェアラブル頭部ユニットと関連付けられ、
    前記出力信号は、前記ウェアラブル頭部ユニットと関連付けられる１つ以上のスピーカを介して前記聴者に提示される、
    請求項２に記載の方法。
  5. 前記ウェアラブル頭部ユニットは、前記出力信号の提示と並行して、前記仮想環境のビューを前記聴者に表示するように構成されるディスプレイを備える、請求項４に記載の方法。
  6. データベースから前記音響性質を読み出すことをさらに含み、前記音響性質は、前記ウェアラブル頭部ユニットの１つ以上のセンサを介して決定される音響性質を含む、請求項４に記載の方法。
  7. 前記音響性質を読み出すことは、
    前記１つ以上のセンサの出力に基づいて、前記聴者の場所を決定することと、
    前記聴者の場所に基づいて、前記音響性質を識別することと
    を含む、請求項６に記載の方法。
  8. ウェアラブルデバイスであって、
    仮想環境のビューを表示するように構成されるディスプレイと、
    １つ以上のセンサと、
    １つ以上のスピーカと、
    １つ以上のプロセッサであって、
    入力オーディオ信号を受信することと、
    前記仮想環境内の複数の音源の音源毎に、
    前記仮想環境内の個別の音源の場所に基づいて、前記入力オーディオ信号に対応する個別の第１の中間オーディオ信号を決定することと、
    前記個別の第１の中間オーディオ信号を第１のバスと関連付けることと、
    前記個別の音源の場所に基づいて、さらに前記仮想環境の音響性質に基づいて、個別の第２の中間オーディオ信号を決定することであって、前記個別の第２の中間オーディオ信号は、前記仮想環境内の表面内の前記入力オーディオ信号の反射に対応する、ことと、
    前記個別の第２の中間オーディオ信号を第２のバスと関連付けることと、
    前記スピーカを介して、かつ前記第１のバスおよび前記第２のバスを介して、前記出力オーディオ信号を聴者に提示することと
    を含む方法を実施するように構成される、１つ以上のプロセッサと
    を備える、ウェアラブルデバイス。
  9. 前記仮想環境の音響性質は、前記１つ以上のセンサを介して決定される、請求項８に記載のウェアラブルデバイス。
  10. 前記１つ以上のセンサは、１つ以上のマイクロホンを備える、請求項８に記載のウェアラブルデバイス。
  11. 前記ディスプレイを介して、前記出力信号の提示と並行して、前記仮想環境のビューを表示することをさらに含む、請求項８に記載の方法。
  12. データベースから前記音響性質を読み出すことをさらに含み、前記音響性質は、１つ以上のセンサを介して決定される音響性質を含む、請求項８に記載の方法。
  13. 前記音響性質を読み出すことは、
    前記１つ以上のセンサの出力に基づいて、前記聴者の場所を決定することと、
    前記聴者の場所に基づいて、前記音響性質を識別することと
    を含む、請求項１２に記載の方法。
  14. 前記仮想環境内の前記複数の音源の音源毎に、
    前記個別の音源の場所に基づいて、さらに前記仮想環境の第２の音響性質に基づいて、個別の第３の中間オーディオ信号を決定することであって、前記個別の第３の中間オーディオ信号は、前記仮想環境における前記入力オーディオ信号の反響に対応する、ことと、
    前記個別の第３の中間オーディオ信号を第２のバスと関連付けることと
    をさらに含み、
    前記第２のバスは、反射バスと、反響バスとを備え、
    前記個別の第２の中間オーディオ信号を前記第２のバスと関連付けることは、前記個別の第２の中間オーディオ信号を前記反射バスと関連付けることを含み、
    前記個別の第３の中間オーディオ信号を前記第２のバスと関連付けることは、前記個別の第３の中間オーディオ信号を前記反響バスと関連付けることを含む、
    請求項１に記載の方法。
  15. 前記方法はさらに、
    前記仮想環境内の前記複数の音源の音源毎に、
    前記個別の音源の場所に基づいて、さらに前記仮想環境の第２の音響性質に基づいて、個別の第３の中間オーディオ信号を決定することであって、前記個別の第３の中間オーディオ信号は、前記仮想環境における前記入力オーディオ信号の反響に対応する、ことと、
    前記個別の第３の中間オーディオ信号を前記第２のバスと関連付けることと
    を含み、
    前記第２のバスは、反射バスと、反響バスとを備え、
    前記個別の第２の中間オーディオ信号を前記第２のバスと関連付けることは、前記個別の第２の中間オーディオ信号を前記反射バスと関連付けることを含み、
    前記個別の第３の中間オーディオ信号を前記第２のバスと関連付けることは、前記個別の第３の中間オーディオ信号を前記反響バスと関連付けることを含む、
    請求項８に記載のウェアラブルデバイス。
  16. 前記個別の第１の中間オーディオ信号を決定することは、第１の個別のフィルタを前記入力オーディオ信号に適用することを含み、前記第１の個別のフィルタは、音源指向性モデル、距離モデル、および配向モデルのうちの１つ以上のものを備える、請求項１に記載の方法。
  17. 前記個別の第１の中間オーディオ信号を決定することはさらに、個別の利得および個別のパンニングプロセスのうちの１つ以上のものを前記入力オーディオ信号に適用することを含む、請求項１６に記載の方法。
  18. 前記個別のパンニングプロセスは、ラウドスピーカアレイの幾何学形状に基づいて、前記入力オーディオ信号をパンすることを含む、請求項１７に記載の方法。
  19. 前記個別の第２の中間オーディオ信号を決定することは、第２の個別のフィルタを前記入力オーディオ信号に適用することを含み、前記第２の個別のフィルタは、音源指向性モデルを備える、請求項１に記載の方法。
  20. 前記個別の第２の中間オーディオ信号を決定することはさらに、個別の遅延、個別の利得、および個別のパンニングプロセスのうちの１つ以上のものを前記入力オーディオ信号に適用することを含む、請求項１９に記載の方法。
  21. 前記個別のパンニングプロセスは、３つのチャネルを含むアンビソニック信号に前記入力オーディオ信号をエンコードすることを含む、請求項２０に記載の方法。
  22. 前記個別のパンニングプロセスは、方位角および空間焦点パラメータのうちの１つ以上のものに基づいて、前記入力オーディオ信号の反射をパンすることを含む、請求項２０に記載の方法。
  23. 前記個別の第１の中間オーディオ信号を決定することは、第１の個別のフィルタを前記入力オーディオ信号に適用することを含み、前記第１の個別のフィルタは、音源指向性モデル、距離モデル、および配向モデルのうちの１つ以上のものを備える、請求項８に記載のウェアラブルデバイス。
  24. 前記個別の第１の中間オーディオ信号を決定することはさらに、個別の利得および個別のパンニングプロセスのうちの１つ以上のものを前記入力オーディオ信号に適用することを含む、請求項２３に記載のウェアラブルデバイス。
  25. 前記個別のパンニングプロセスは、ラウドスピーカアレイの幾何学形状に基づいて、前記入力オーディオ信号をパンすることを含む、請求項２４に記載のウェアラブルデバイス。
  26. 前記個別の第２の中間オーディオ信号を決定することは、第２の個別のフィルタを前記入力オーディオ信号に適用することを含み、前記第２の個別のフィルタは、音源指向性モデルを備える、請求項８に記載のウェアラブルデバイス。
  27. 前記個別の第２の中間オーディオ信号を決定することはさらに、個別の遅延、個別の利得、および個別のパニングプロセスのうちの１つ以上のものを前記入力オーディオ信号に適用することを含む、請求項２６に記載のウェアラブルデバイス。
  28. 前記個別のパニングプロセスは、３つのチャネルを含むアンビソニック信号に前記入力オーディオ信号をエンコードすることを含む、請求項２７に記載のウェアラブルデバイス。
  29. 前記個別のパニングプロセスは、方位角および空間焦点パラメータのうちの１つ以上のものに基づいて、前記入力オーディオ信号の反射をパンすることを含む、請求項２７に記載のウェアラブルデバイス。
JP2020570493A 2018-06-18 2019-06-18 双方向オーディオ環境のための空間オーディオ Pending JP2021528000A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2023143435A JP2023158059A (ja) 2018-06-18 2023-09-05 双方向オーディオ環境のための空間オーディオ

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862686665P 2018-06-18 2018-06-18
US201862686655P 2018-06-18 2018-06-18
US62/686,665 2018-06-18
US62/686,655 2018-06-18
PCT/US2019/037818 WO2019246164A1 (en) 2018-06-18 2019-06-18 Spatial audio for interactive audio environments

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2023143435A Division JP2023158059A (ja) 2018-06-18 2023-09-05 双方向オーディオ環境のための空間オーディオ

Publications (1)

Publication Number Publication Date
JP2021528000A true JP2021528000A (ja) 2021-10-14

Family

ID=68840595

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2020570493A Pending JP2021528000A (ja) 2018-06-18 2019-06-18 双方向オーディオ環境のための空間オーディオ
JP2020570498A Pending JP2021528001A (ja) 2018-06-18 2019-06-18 双方向オーディオ環境のための空間オーディオ
JP2023136239A Pending JP2023153358A (ja) 2018-06-18 2023-08-24 双方向オーディオ環境のための空間オーディオ
JP2023143435A Pending JP2023158059A (ja) 2018-06-18 2023-09-05 双方向オーディオ環境のための空間オーディオ

Family Applications After (3)

Application Number Title Priority Date Filing Date
JP2020570498A Pending JP2021528001A (ja) 2018-06-18 2019-06-18 双方向オーディオ環境のための空間オーディオ
JP2023136239A Pending JP2023153358A (ja) 2018-06-18 2023-08-24 双方向オーディオ環境のための空間オーディオ
JP2023143435A Pending JP2023158059A (ja) 2018-06-18 2023-09-05 双方向オーディオ環境のための空間オーディオ

Country Status (5)

Country Link
US (8) US10735884B2 (ja)
EP (2) EP3808107A4 (ja)
JP (4) JP2021528000A (ja)
CN (4) CN116156411A (ja)
WO (2) WO2019246159A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
KR20240132105A (ko) 2013-02-07 2024-09-02 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
DK180048B1 (en) 2017-05-11 2020-02-04 Apple Inc. MAINTAINING THE DATA PROTECTION OF PERSONAL INFORMATION
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK201770411A1 (en) 2017-05-15 2018-12-20 Apple Inc. MULTI-MODAL INTERFACES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
CA3078420A1 (en) 2017-10-17 2019-04-25 Magic Leap, Inc. Mixed reality spatial audio
IL276510B2 (en) 2018-02-15 2024-02-01 Magic Leap Inc Virtual reverberation in mixed reality
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US10735884B2 (en) 2018-06-18 2020-08-04 Magic Leap, Inc. Spatial audio for interactive audio environments
US11816886B1 (en) * 2018-06-28 2023-11-14 Meta Platforms Technologies, Llc Apparatus, system, and method for machine perception
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US11019449B2 (en) 2018-10-06 2021-05-25 Qualcomm Incorporated Six degrees of freedom and three degrees of freedom backward compatibility
CN109660911A (zh) * 2018-11-27 2019-04-19 Oppo广东移动通信有限公司 录音音效处理方法、装置、移动终端及存储介质
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US10897672B2 (en) * 2019-03-18 2021-01-19 Facebook, Inc. Speaker beam-steering based on microphone array and depth camera assembly input
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11227599B2 (en) 2019-06-01 2022-01-18 Apple Inc. Methods and user interfaces for voice-based control of electronic devices
US10721521B1 (en) * 2019-06-24 2020-07-21 Facebook Technologies, Llc Determination of spatialized virtual acoustic scenes from legacy audiovisual media
US10880668B1 (en) * 2019-09-13 2020-12-29 Facebook Technologies, Llc Scaling of virtual audio content using reverberent energy
US11202162B2 (en) 2019-10-18 2021-12-14 Msg Entertainment Group, Llc Synthesizing audio of a venue
US12058510B2 (en) * 2019-10-18 2024-08-06 Sphere Entertainment Group, Llc Mapping audio to visual images on a display device having a curved screen
EP4049466A4 (en) 2019-10-25 2022-12-28 Magic Leap, Inc. REVERBER FOOTPRINT ESTIMATION
CN111372167B (zh) * 2020-02-24 2021-10-26 Oppo广东移动通信有限公司 音效优化方法及装置、电子设备、存储介质
US11290834B2 (en) * 2020-03-04 2022-03-29 Apple Inc. Determining head pose based on room reverberation
GB2593170A (en) * 2020-03-16 2021-09-22 Nokia Technologies Oy Rendering reverberation
US11061543B1 (en) 2020-05-11 2021-07-13 Apple Inc. Providing relevant data items based on context
US11490204B2 (en) 2020-07-20 2022-11-01 Apple Inc. Multi-device audio adjustment coordination
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
WO2022031418A1 (en) * 2020-07-31 2022-02-10 Sterling Labs Llc. Sound rendering for a shared point of view
US11750745B2 (en) 2020-11-18 2023-09-05 Kelly Properties, Llc Processing and distribution of audio signals in a multi-party conferencing environment
US11470162B2 (en) 2021-01-30 2022-10-11 Zoom Video Communications, Inc. Intelligent configuration of personal endpoint devices
JP2022144500A (ja) * 2021-03-19 2022-10-03 ヤマハ株式会社 音信号処理方法および音信号処理装置
US11595775B2 (en) * 2021-04-06 2023-02-28 Meta Platforms Technologies, Llc Discrete binaural spatialization of sound sources on two audio channels
JP7032837B1 (ja) * 2021-06-18 2022-03-09 シンメトリー・ディメンションズ・インク 音波伝播シミュレーションシステム
US11878246B1 (en) * 2021-09-27 2024-01-23 Electronic Arts Inc. Live reverb metrics system
TWI836711B (zh) * 2021-11-09 2024-03-21 弗勞恩霍夫爾協會 使用早期反射型樣之用於聽覺化之概念
GB2613558A (en) * 2021-12-03 2023-06-14 Nokia Technologies Oy Adjustment of reverberator based on source directivity
CN115118880A (zh) * 2022-06-24 2022-09-27 中广建融合(北京)科技有限公司 一种基于沉浸式视频终端搭建的xr虚拟拍摄系统
CN115334366A (zh) * 2022-08-16 2022-11-11 中国传媒大学 一种交互沉浸式声场漫游的建模方法
GB202215617D0 (en) * 2022-10-21 2022-12-07 Nokia Technologies Oy Generating parametric spatial audio representations

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099482B1 (en) * 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
WO2018026828A1 (en) * 2016-08-01 2018-02-08 Magic Leap, Inc. Mixed reality system with spatialized audio
WO2018053047A1 (en) * 2016-09-14 2018-03-22 Magic Leap, Inc. Virtual reality, augmented reality, and mixed reality systems with spatialized audio

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4852988A (en) 1988-09-12 1989-08-01 Applied Science Laboratories Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system
US5436975A (en) * 1994-02-02 1995-07-25 Qsound Ltd. Apparatus for cross fading out of the head sound locations
FR2738099B1 (fr) * 1995-08-25 1997-10-24 France Telecom Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6188769B1 (en) * 1998-11-13 2001-02-13 Creative Technology Ltd. Environmental reverberation processor
US6433760B1 (en) 1999-01-14 2002-08-13 University Of Central Florida Head mounted display with eyetracking capability
US6491391B1 (en) 1999-07-02 2002-12-10 E-Vision Llc System, apparatus, and method for reducing birefringence
CA2316473A1 (en) 1999-07-28 2001-01-28 Steve Mann Covert headworn information display or data display or viewfinder
CA2362895A1 (en) 2001-06-26 2002-12-26 Steve Mann Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license
DE10132872B4 (de) 2001-07-06 2018-10-11 Volkswagen Ag Kopfmontiertes optisches Durchsichtssystem
US20030030597A1 (en) 2001-08-13 2003-02-13 Geist Richard Edwin Virtual display apparatus for mobile activities
CA2388766A1 (en) 2002-06-17 2003-12-17 Steve Mann Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames
US8019121B2 (en) * 2002-07-27 2011-09-13 Sony Computer Entertainment Inc. Method and system for processing intensity from input devices for interfacing with a computer program
US6943754B2 (en) 2002-09-27 2005-09-13 The Boeing Company Gaze tracking system, eye-tracking assembly and an associated method of calibration
US7347551B2 (en) 2003-02-13 2008-03-25 Fergason Patent Properties, Llc Optical system for monitoring eye movement
US7500747B2 (en) 2003-10-09 2009-03-10 Ipventure, Inc. Eyeglasses with electrical components
CN102068237A (zh) 2004-04-01 2011-05-25 威廉·C·托奇 监控眼睛运动的系统及方法、控制计算装置的系统及方法
US7634092B2 (en) * 2004-10-14 2009-12-15 Dolby Laboratories Licensing Corporation Head related transfer functions for panned stereo audio content
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US20080298610A1 (en) * 2007-05-30 2008-12-04 Nokia Corporation Parameter Space Re-Panning for Spatial Audio
US20110213664A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
US8531355B2 (en) 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
US8767968B2 (en) * 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9292973B2 (en) 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9462387B2 (en) * 2011-01-05 2016-10-04 Koninklijke Philips N.V. Audio system and method of operation therefor
TWI573131B (zh) * 2011-03-16 2017-03-01 Ｄｔｓ股份有限公司 用以編碼或解碼音訊聲軌之方法、音訊編碼處理器及音訊解碼處理器
US9118991B2 (en) * 2011-06-09 2015-08-25 Sony Corporation Reducing head-related transfer function data volume
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
US8611015B2 (en) 2011-11-22 2013-12-17 Google Inc. User interface
US8235529B1 (en) 2011-11-30 2012-08-07 Google Inc. Unlocking a screen using eye tracking information
US10013053B2 (en) 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
US8638498B2 (en) 2012-01-04 2014-01-28 David D. Bohn Eyebox adjustment for interpupillary distance
US9274338B2 (en) 2012-03-21 2016-03-01 Microsoft Technology Licensing, Llc Increasing field of view of reflective waveguide
US8989535B2 (en) 2012-06-04 2015-03-24 Microsoft Technology Licensing, Llc Multiple waveguide imaging structure
GB201211512D0 (en) * 2012-06-28 2012-08-08 Provost Fellows Foundation Scholars And The Other Members Of Board Of The Method and apparatus for generating an audio output comprising spartial information
CN104903818B (zh) 2012-12-06 2018-12-14 谷歌有限责任公司 眼睛跟踪佩戴式设备和使用方法
EP2951811A4 (en) 2013-01-03 2016-08-17 Meta Co DIGITAL EYES FOR EXTRAMISSIVE SPATIAL IMAGING, PROCESSES AND SYSTEMS FOR VIRTUAL OR ENLARGED VISIBILITY, MANIPULATION, PRODUCTION OR INTERACTION WITH OBJECTS, MATERIALS, OR OTHER UNITS
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
IN2015MN02784A (ja) 2013-04-05 2015-10-23 Dolby Int Ab
EP3441966A1 (en) * 2014-07-23 2019-02-13 PCMS Holdings, Inc. System and method for determining audio context in augmented-reality applications
EP3018918A1 (en) * 2014-11-07 2016-05-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal
US9787846B2 (en) 2015-01-21 2017-10-10 Microsoft Technology Licensing, Llc Spatial audio signal processing for objects with associated audio content
US9854376B2 (en) * 2015-07-06 2017-12-26 Bose Corporation Simulating acoustic output at a location corresponding to source position data
US9749766B2 (en) * 2015-12-27 2017-08-29 Philip Scott Lyren Switching binaural sound
US10038967B2 (en) * 2016-02-02 2018-07-31 Dts, Inc. Augmented reality headphone environment rendering
US9906885B2 (en) * 2016-07-15 2018-02-27 Qualcomm Incorporated Methods and systems for inserting virtual sounds into an environment
US9998847B2 (en) 2016-11-17 2018-06-12 Glen A. Norris Localizing binaural sound to objects
US11032662B2 (en) * 2018-05-30 2021-06-08 Qualcomm Incorporated Adjusting audio characteristics for augmented reality
US10735884B2 (en) 2018-06-18 2020-08-04 Magic Leap, Inc. Spatial audio for interactive audio environments

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7099482B1 (en) * 2001-03-09 2006-08-29 Creative Technology Ltd Method and apparatus for the simulation of complex audio environments
WO2018026828A1 (en) * 2016-08-01 2018-02-08 Magic Leap, Inc. Mixed reality system with spatialized audio
WO2018053047A1 (en) * 2016-09-14 2018-03-22 Magic Leap, Inc. Virtual reality, augmented reality, and mixed reality systems with spatialized audio

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JOT, JEAN-MARC: "Interactive 3D Audio Rendering in Flexible Playback Configurations", PROCEEDINGS OF THE 2012 ASIA PACIFIC SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND, JPN6023024704, 3 December 2012 (2012-12-03), pages 1 - 9, XP032310059, ISSN: 0005189337 *

Also Published As

Publication number Publication date
US11570570B2 (en) 2023-01-31
EP3808108A4 (en) 2022-04-13
EP3808107A1 (en) 2021-04-21
CN112567768A (zh) 2021-03-26
JP2023153358A (ja) 2023-10-17
US20230388736A1 (en) 2023-11-30
US11770671B2 (en) 2023-09-26
CN116156411A (zh) 2023-05-23
CN112567767A (zh) 2021-03-26
CN112567768B (zh) 2022-11-15
US20210243546A1 (en) 2021-08-05
US11792598B2 (en) 2023-10-17
US20230413007A1 (en) 2023-12-21
US10863300B2 (en) 2020-12-08
US10735884B2 (en) 2020-08-04
WO2019246159A1 (en) 2019-12-26
JP2023158059A (ja) 2023-10-26
JP2021528001A (ja) 2021-10-14
US20190387352A1 (en) 2019-12-19
EP3808107A4 (en) 2022-03-16
US10952010B2 (en) 2021-03-16
CN112567767B (zh) 2023-01-03
EP3808108A1 (en) 2021-04-21
US20200322749A1 (en) 2020-10-08
WO2019246164A1 (en) 2019-12-26
US20190387350A1 (en) 2019-12-19
CN116156410A (zh) 2023-05-23
US20230121353A1 (en) 2023-04-20
US20210152970A1 (en) 2021-05-20

Similar Documents

Publication Publication Date Title
US11770671B2 (en) Spatial audio for interactive audio environments
US12008982B2 (en) Reverberation gain normalization
JP7507300B2 (ja) 低周波数チャネル間コヒーレンス制御

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220525

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230905

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240315