JP2022163173A - 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法 - Google Patents

仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法 Download PDF

Info

Publication number
JP2022163173A
JP2022163173A JP2022128787A JP2022128787A JP2022163173A JP 2022163173 A JP2022163173 A JP 2022163173A JP 2022128787 A JP2022128787 A JP 2022128787A JP 2022128787 A JP2022128787 A JP 2022128787A JP 2022163173 A JP2022163173 A JP 2022163173A
Authority
JP
Japan
Prior art keywords
virtual
location
processor
audio
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022128787A
Other languages
English (en)
Inventor
エー． サンガー ジョージ
A Sanger George
ロイド シュミット ブライアン
Lloyd Schmidt Brian
アンドレエヴナ タジク アナスタシア
Andreyevna Tajik Anastasia
マイケル オガーラ テリー
Micheal O'gara Terry
マシュー シャムウェイ デイビッド
Matthew Shumway David
スティーブン ハワース アラン
Steven Howarth Alan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2022163173A publication Critical patent/JP2022163173A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic
    • H04R2430/21—Direction finding using differential microphone array [DMA]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2460/00—Details of hearing devices, i.e. of ear- or headphones covered by H04R1/10 or H04R5/033 but not provided for in any of their subgroups, or of hearing aids covered by H04R25/00 but not provided for in any of its subgroups
    • H04R2460/07—Use of position data from wide-area or local-area positioning systems in hearing devices, e.g. program or information selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/027—Spatial or constructional arrangements of microphones, e.g. in dummy heads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)
  • Stereophonic System (AREA)

Abstract

【課題】仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システムのための好適な分散型オーディオ捕捉技法を提供する。【解決手段】システム３００は、複数の分散型監視デバイス３１０を環境内に含む。分散型監視デバイス３１０はそれぞれ、マイクロホン３１２と、場所追跡ユニット３１４と、を有する。システム３００は、オーディオ信号を捕捉する一方、また、オーディオ信号の捕捉の間、監視デバイスの場所を示す場所追跡信号を経時的に捕捉する。システム３００はさらに、オーディオ信号および場所追跡信号に基づいて、環境内の音波場の少なくとも一部の表現を生成する。システム３００はまた、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定する。【選択図】図３

Description

（全ての優先権出願に対する参照による援用）
本願と共に出願された出願データシートにおいて外国または国内の優先権主張が特定されているすべての出願は、３７ ＣＦＲ １．５７のもとで参照により本明細書に組み込まれる。すなわち、本願は、２０１６年１２月５日に出願され、“ＤＩＳＴＲＩＢＵＴＥＤ ＡＵＤＩＯ ＣＡＰＴＵＲＩＮＧ ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＶＩＲＴＵＡＬ ＲＥＡＬＩＴＹ （ＶＲ）， ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ （ＡＲ）， ＡＮＤ ＭＩＸＥＤ ＲＥＡＬＩＴＹ （ＭＲ） ＳＹＳＴＥＭＳ”と題された米国仮特許出願第６２／４３０，２６８号に対する優先権の利益を主張するものであり、該米国仮特許出願の内容は、参照により本明細書中に援用される。
本開示は、仮想現実、拡張現実、および複合現実システム等の用途において使用され得る、分散型オーディオ捕捉技法に関する。
現代のコンピューティングおよびディスプレイ技術は、仮想現実、拡張現実、および複合現実システムの開発を促進している。仮想現実または「ＶＲ」システムは、ユーザが体験するための模擬環境を作成する。これは、頭部搭載型ディスプレイを通してコンピュータ生成画像をユーザに提示することによって、行われることができる。本画像は、模擬環境にユーザを没頭させる感覚的体験を生成する。仮想現実シナリオは、典型的には、コンピュータ生成画像の提示だけではなく、実世界画像を含むことも伴う。
拡張現実システムは、概して、実世界環境を模擬要素で補完する。例えば、拡張現実または「ＡＲ」システムは、頭部搭載型ディスプレイを介して、周辺の実世界環境の光景をユーザに提供し得る。しかしながら、コンピュータ生成画像はまた、実世界環境を強化するようにディスプレイ上に提示されることもできる。本コンピュータ生成画像は、実世界環境に状況的に関連する要素を含むことができる。そのような要素は、模擬テキスト、画像、オブジェクト等を含むことができる。複合現実または「ＭＲ」システムもまた、シミュレートされたオブジェクトを実世界環境の中に導入するが、これらのオブジェクトは、典型的には、ＡＲシステムを上回る相互作用度を特徴とする。
図１は、ユーザに、人々、木々、背景における建物、およびコンクリートプラットフォーム２０を特徴とする、実世界公園状設定６が見える、例示的ＡＲ／ＭＲ場面１を描写する。これらのアイテムに加えて、コンピュータ生成画像もユーザに提示される。コンピュータ生成画像は、例えば、実世界プラットフォーム２０上に立っているロボット像１０、およびマルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ２を含み得るが、これらの要素２、１０は、実際には実世界環境に存在しない。
仮想画像要素の自然かつもっともらしい提示を促進する、ＶＲ／ＡＲ／ＭＲ技術を生産することは、困難であり得る。しかし、オーディオはＶＲ／ＡＲ／ＭＲ体験をより没入型にすることに役立ち得る。したがって、これらのタイプのシステムのための改良されたオーディオ技法の必要がある。
いくつかの実施形態では、システムは、複数の分散型監視デバイスであって、各監視デバイスは、少なくとも１つのマイクロホンと、場所追跡ユニットとを備え、監視デバイスは、複数のオーディオ信号を音源から捕捉し、複数のオーディオ信号の捕捉の間、それぞれ、監視デバイスの場所を示す、複数の場所追跡信号を経時的に捕捉するように構成される、複数の分散型監視デバイスと、複数のオーディオ信号および複数の場所追跡信号を受信するように構成される、プロセッサであって、プロセッサはさらに、オーディオ信号および場所追跡信号に基づいて、音源によって作成された音波場の少なくとも一部の表現を生成するように構成される、プロセッサとを備える。
いくつかの実施形態では、デバイスは、複数の分散型監視デバイスから、音源から捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、音源によって作成された音波場の少なくとも一部の表現を生成するステップとを含む、方法を行うように構成される、プロセッサと、オーディオ信号および場所追跡信号を記憶するためのメモリとを備える。
いくつかの実施形態では、方法は、複数の分散型監視デバイスから、音源から捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、音源によって作成された音波場の少なくとも一部の表現を生成するステップとを含む。
いくつかの実施形態では、システムは、複数の分散型監視デバイスであって、各監視デバイスは、少なくとも１つのマイクロホンと、場所追跡ユニットとを備え、監視デバイスは、環境内の複数のオーディオ信号を捕捉し、複数のオーディオ信号の捕捉の間、それぞれ、監視デバイスの場所を示す、複数の場所追跡信号を経時的に捕捉するように構成される、複数の分散型監視デバイスと、複数のオーディオ信号および複数の場所追跡信号を受信するように構成される、プロセッサであって、さらに、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定するように構成される、プロセッサとを備える。
いくつかの実施形態では、デバイスは、複数の分散型監視デバイスから、環境内で捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定するステップとを含む、方法を行うように構成される、プロセッサと、オーディオ信号および場所追跡信号を記憶するためのメモリとを備える。
いくつかの実施形態では、方法は、複数の分散型監視デバイスから、環境内で捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定するステップとを含む。
いくつかの実施形態では、システムは、空間の中心部分の複数のビデオを複数の異なる視点から捕捉するように、空間の周縁を中心として位置する、複数の分散型ビデオカメラと、複数のビデオの捕捉の間、複数のオーディオ信号を捕捉するように、空間の周縁を中心として位置する、複数の分散型マイクロホンと、複数のビデオ、複数のオーディオ信号、および空間内の各マイクロホンの位置についての場所情報を受信するように構成される、プロセッサであって、さらに、オーディオ信号および場所情報に基づいて、空間に関する音波場の少なくとも一部の表現を生成するように構成される、プロセッサとを備える。
いくつかの実施形態では、デバイスは、複数の分散型ビデオカメラから、複数の視点から捕捉された場面の複数のビデオを受信するステップと、複数の分散型マイクロホンから、複数のビデオの捕捉の間に捕捉された複数のオーディオ信号を受信するステップと、複数のマイクロホンの位置についての場所情報を受信するステップと、オーディオ信号および場所情報に基づいて、音波場の少なくとも一部の表現を生成するステップとを含む、方法を行うように構成される、プロセッサと、オーディオ信号および場所追跡信号を記憶するためのメモリとを備える。
いくつかの実施形態では、方法は、複数の分散型ビデオカメラから、複数の視点から捕捉された場面の複数のビデオを受信するステップと、複数の分散型マイクロホンから、複数のビデオの捕捉の間に捕捉された複数のオーディオ信号を受信するステップと、複数のマイクロホンの位置についての場所情報を受信するステップと、オーディオ信号および場所情報に基づいて、音波場の少なくとも一部の表現を生成するステップとを含む。
本明細書は、例えば、以下の項目も提供する。
（項目１）
システムであって、
複数の分散型監視デバイスであって、各監視デバイスは、少なくとも１つのマイクロホンと、場所追跡ユニットとを備え、前記監視デバイスは、複数のオーディオ信号を音源から捕捉し、前記複数のオーディオ信号の捕捉の間、それぞれ、前記監視デバイスの場所を示す、複数の場所追跡信号を経時的に捕捉するように構成される、複数の分散型監視デバイスと、
前記複数のオーディオ信号および前記複数の場所追跡信号を受信するように構成されるプロセッサであって、前記プロセッサは、さらに、前記オーディオ信号および前記場所追跡信号に基づいて、前記音源によって作成された音波場の少なくとも一部の表現を生成するように構成される、プロセッサと
を備える、システム。
（項目２）
前記複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、項目１に記載のシステム。
（項目３）
前記複数の分散型監視デバイスは、モバイル式である、項目２に記載のシステム。
（項目４）
前記場所追跡ユニットは、全地球測位システム（ＧＰＳ）を備える、項目１に記載のシステム。
（項目５）
前記音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、項目１に記載のシステム。
（項目６）
前記プロセッサはさらに、前記音源の場所を決定するように構成される、項目１に記載のシステム。
（項目７）
前記プロセッサはさらに、前記音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、項目１に記載のシステム。
（項目８）
前記音波場の表現を使用して、前記プロセッサはさらに、前記音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、前記仮想オーディオ信号は、前記選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、項目１に記載のシステム。
（項目９）
前記場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、項目８に記載のシステム。
（項目１０）
デバイスであって、
方法を行うように構成されるプロセッサであって、前記方法は、
複数の分散型監視デバイスから、音源から捕捉された複数のオーディオ信号を受信することと、
前記複数の監視デバイスから、複数の場所追跡信号を受信することであって、前記複数の場所追跡信号は、それぞれ、前記複数のオーディオ信号の捕捉の間、前記監視デバイスの場所を経時的に示す、ことと、
前記オーディオ信号および前記場所追跡信号に基づいて、前記音源によって作成された音波場の少なくとも一部の表現を生成することと
を含む、プロセッサと、
前記オーディオ信号および前記場所追跡信号を記憶するためのメモリと
を備える、デバイス。
（項目１１）
前記複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、項目１０に記載のデバイス。
（項目１２）
前記複数の分散型監視デバイスは、モバイル式である、項目１１に記載のデバイス。
（項目１３）
前記音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、項目１０に記載のデバイス。
（項目１４）
前記プロセッサはさらに、前記音源の場所を決定するように構成される、項目１０に記載のデバイス。
（項目１５）
前記プロセッサはさらに、前記音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、項目１０に記載のデバイス。
（項目１６）
前記音波場の表現を使用して、前記プロセッサはさらに、前記音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、前記仮想オーディオ信号は、前記選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、項目１０に記載のデバイス。
（項目１７）
前記場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、項目１６に記載のデバイス。
（項目１８）
方法であって、
複数の分散型監視デバイスから、音源から捕捉された複数のオーディオ信号を受信することと、
前記複数の監視デバイスから、複数の場所追跡信号を受信することであって、前記複数の場所追跡信号は、それぞれ、前記複数のオーディオ信号の捕捉の間、前記監視デバイスの場所を経時的に示す、ことと、
前記オーディオ信号および前記場所追跡信号に基づいて、前記音源によって作成された音波場の少なくとも一部の表現を生成することと
を含む、方法。
（項目１９）
前記複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、項目１８に記載の方法。
（項目２０）
前記複数の分散型監視デバイスは、モバイル式である、項目１９に記載の方法。
（項目２１）
前記音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、項目１８に記載の方法。
（項目２２）
前記音源の場所を決定することをさらに含む、項目１８に記載の方法。
（項目２３）
前記音波場を仮想、拡張、または複合現実環境にマッピングすることをさらに含む、項目１８に記載の方法。
（項目２４）
前記音波場の表現を使用して、前記音波場内の選択された場所における仮想オーディオ信号を決定することであって、前記仮想オーディオ信号は、前記選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、ことをさらに含む、項目１８に記載の方法。
（項目２５）
前記場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、項目２４に記載の方法。
図１は、例示的ＡＲ／ＭＲシステムを使用した拡張／複合現実場面のユーザのビューを図示する。
図２は、例示的ＶＲ／ＡＲ／ＭＲシステムを示す。
図３は、複数の分散型デバイスを使用して、音波場の表現を作成するためのシステムを図示する。
図４は、音波場を作成するための図３に示されるシステムの動作方法の例示的実施形態を図示する、フローチャートである。
図５は、複数のユーザデバイスを使用して、あるイベントのための音波場の表現を作成するためのウェブベースのシステムを図示する。
図６は、あるイベントの音波場を作成するための図５に示されるウェブベースのシステムの動作の例示的実施形態を図示する、フローチャートである。
図７は、環境の音響性質を決定するために使用され得る、システムの例示的実施形態を図示する。
図８は、図７に示されるシステムを使用して、環境の１つ以上の音響性質を決定するための方法の例示的実施形態を図示する、フローチャートである。
図９は、立体ビデオ捕捉を実施するための例示的システムを図示する。
図１０は、立体ビデオ捕捉の間、オーディオを捕捉するための例示的システムを図示する。
図１１は、図１０に示されるシステムを使用して、立体ビデオのためのオーディオを捕捉するための例示的方法を示す、フローチャートである。
図２は、例示的仮想／拡張／複合現実システム８０を示す。仮想／拡張／複合現実システム８０は、ディスプレイ６２と、そのディスプレイ６２の機能をサポートする種々の機械および電子モジュールおよびシステムとを含む。ディスプレイ６２は、ユーザ６０によって装着可能であって、ディスプレイ６２をユーザ６０の眼の正面に位置付けるように構成される、フレーム６４に結合されてもよい。いくつかの実施形態では、スピーカ６６が、フレーム６４に結合され、ユーザの外耳道に隣接して位置付けられる（いくつかの実施形態では、示されない別のスピーカが、ユーザの他方の外耳道に隣接して位置付けられ、ステレオ／成形可能音制御を提供する）。ディスプレイ６２は、有線または無線コネクティビティ６８等によって、ローカルデータ処理モジュール７０に動作可能に結合され、フレーム６４に取り付けられる、ユーザによって装着されるヘルメットまたは帽子に取り付けられる、ヘッドホンに内蔵される、または別様にユーザ６０に除去可能に取り付けられる（例えば、リュック式構成において、ベルト結合式構成において等）等、種々の構成において搭載され得る。
ローカル処理およびデータモジュール７０は、両方ともデータの処理および記憶を支援するために利用され得る、プロセッサと、不揮発性メモリ（例えば、フラッシュメモリ）等のデジタルメモリとを含んでもよい。これは、画像監視デバイス（例えば、カメラ）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープ等、システム８０の一部として提供される、ローカルセンサから捕捉されるデータを含む。ローカルセンサは、フレーム６４に動作可能に結合されてもよい、または別様にユーザ６０に取り付けられてもよい。代替として、または加えて、センサデータは、可能性として、処理または読出後のディスプレイ６２および／またはスピーカ６６への通過のために、遠隔処理モジュール７２および／または遠隔データリポジトリ７４を使用して取得および／または処理されてもよい。いくつかの実施形態では、ローカル処理およびデータモジュール７０は、本明細書に議論されるように、図３に示されるオーディオ／場所監視デバイス３１０内のもの等の遠隔センサから捕捉されたデータを処理および／または記憶する。ローカル処理およびデータモジュール７０は、これらの遠隔モジュール（７２、７４）が相互に動作可能に結合され、ローカル処理およびデータモジュール７０へのリソースとして利用可能であるように、有線または無線通信リンクを介して等、通信リンク（７６、７８）によって、遠隔処理モジュール７２および遠隔データリポジトリ７４に動作可能に結合されてもよい。いくつかの実施形態では、遠隔データリポジトリ７４は、インターネットまたは「クラウド」リソース構成における他のネットワーキング構成を通して利用可能であってもよい。
（ＶＲ、ＡＲ、およびＭＲシステムにおける音波場捕捉および使用）
本節は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、および複合現実（ＭＲ）システム等の用途において使用され得る、複数の分散型デバイスからのオーディオ記録を使用して、音波場の少なくとも一部の表現を作成することに関する。
音は、空気等の媒体中の圧力変動から生じる。これらの圧力変動は、音源における振動によって生成される。音源からの振動は、次いで、縦方向波として、媒体を通して伝搬する。これらの波は、媒体中の圧縮（増加圧力）と膨張（低減圧力）の交互領域から成る。
種々の量が、空間内の点における音を特性評価するために使用されることができる。これらは、例えば、圧力値、振動振幅、周波数、または他の量を含むことができる。音波場は、概して、空間内の種々の点および／または種々の時点における１つ以上のそのような音定義量の集合から成る。例えば、音波場は、種々の時点における空間グリッド上の各点に存在する音の測定または他の特性評価から成ることができる。典型的には、音波場の空間グリッドは、規則的に離間される点から成り、音の測定は、時間の規則的インターバルにおいて行われる。しかし、音波場の空間および／または時間的分解能は、用途に応じて変動し得る。点源のセットによる表現等の音波場のあるモデルは、浮動点座標によって規定された任意の場所において評価され、所定のグリッドに結び付けられることができない。
音波場は、音源に比較的に近い近距離領域と、近距離領域を越えた遠距離領域とを含むことができる。音波場は、障害なく源から自由に伝搬する音波と、領域内のオブジェクトまたは領域の境界から反射する波とから成ることができる。
図３は、複数の分散型デバイス３１０を使用して、音波場３４０の表現を作成するためのシステム３００を図示する。いくつかの実施形態では、システム３００は、本明細書でさらに議論されるように、ＶＲ／ＡＲ／ＭＲシステム８０のためのオーディオを提供するために使用されることができる。図３に示されるように、音源３０２は、音を環境３０４の中に投影する。音源３０２は、例えば、演奏者、楽器、オーディオスピーカ、または任意の他の音源を表すことができる。環境３０４は、例えば、コンサートホール、競技場、会議室等を含む、任意の屋内または屋外空間であることができる。単一音源３０２のみが、図示されるが、環境３０４は、複数の音源を含むことができる。また、複数の音源は、任意の様式において、環境３０４全体を通して分散されることができる。
システム３００は、複数の分散型オーディオおよび／または場所監視デバイス３１０を含む。これらのデバイスはそれぞれ、物理的に明確に異なることができ、独立して動作することができる。監視デバイス３１０は、モバイル式（例えば、人物によって携行される）であることができ、環境３０４全体を通して分散型様式で離間されることができる。監視デバイス３１０間に、任意の固定の相対的空間関係は必要はない。実際、監視デバイス３１０が、独立してモバイル式であるため、種々のデバイス３１０間の空間関係は、経時的に変動し得る。５つの監視デバイス３００が、図示されるが、任意の数の監視デバイスが、使用されることができる。さらに、図３は、２次元図面であって、したがって、監視デバイス３００を２次元で分散されるように示すが、それらはまた、環境３０４の全３次元全体を通して分散されることができる。
各監視デバイス３１０は、少なくとも１つのマイクロホン３１２を含む。マイクロホン３１２は、例えば、等方性または指向性であることができる。使用可能なマイクロホンピックアップパターンは、例えば、カーディオイド、ハイパーカーディオイド、およびスーパーカーディオイドを含むことができる。マイクロホン３１２は、監視デバイス３１０によって使用され、１つ以上の音源３０２からの音を電気信号に変換することによって、オーディオ信号を捕捉することができる。いくつかの実施形態では、監視デバイス３１０はそれぞれ、単一マイクロホンを含み、モノラルオーディオを記録する。しかし、他の実施形態では、監視デバイス３１０は、複数のマイクロホンを含むことができ、例えば、ステレオオーディオを捕捉することができる。複数のマイクロホン３１２は、各監視デバイス３１０における音波の到着角を決定するために使用されることができる。
図示されないが、監視デバイス３１０はまたそれぞれ、マイクロホン３１２によってピックアップされたオーディオ信号をローカルで記録するために、プロセッサと、記憶デバイスとを含むことができる。代替として、および／または加えて、各監視デバイス３１０は、送信機（例えば、無線送信機）を含み、捕捉された音がデジタル的にエンコードされ、リアルタイムで１つ以上の遠隔システムまたはデバイス（例えば、プロセッサ３３０）に伝送されることを可能にすることができる。遠隔システムまたはデバイスにおける受信に応じて、捕捉された音は、音が捕捉された空間の音響性質の記憶されたモデルを更新するために使用されることができる、または本明細書でさらに議論されるように、ＶＲ／ＡＲ／ＭＲ体験において捕捉された音の現実的模写を作成するために使用されることができる。
各監視デバイス３１０はまた、場所追跡ユニット３１４を含む。場所追跡ユニット３１４は、環境３０４内の監視デバイス３１０の場所を追跡するために使用されることができる。各場所追跡ユニット３１４は、その対応する監視デバイス３１０の場所を絶対的意味または相対的意味（例えば、システム３００の１つ以上の他のコンポーネントに対して）で表すことができる。いくつかの実施形態では、各場所追跡ユニット３１４は、場所追跡信号を作成し、これは、時間の関数として、監視デバイス３１０の場所を示すことができる。例えば、場所追跡信号は、監視デバイス３１０が時間の規則的インターバルで位置した場所を示す、一連の空間座標を含み得る。
いくつかの実施形態では、場所追跡ユニット３１４は、直接、場所を測定する。そのような場所追跡ユニット３１４の一実施例は、全地球測位システム（ＧＰＳ）である。他の実施形態では、場所追跡ユニット３１４は、場所を間接的に測定する。例えば、これらのタイプのユニットは、他の測定または信号に基づいて、場所を推測してもよい。本タイプの場所追跡ユニット３１４の実施例は、カメラからの画像を分析し、場所キューを提供する、特徴を抽出するものである。監視デバイス３１０はまた、オーディオエミッタ（例えば、スピーカ）または無線エミッタを含むことができる。オーディオまたは無線信号は、監視デバイス間で交換されることができ、マルチラテレーションおよび／または三角測量が、監視デバイス３１０の相対的場所を決定するために使用されることができる。
場所追跡ユニット３１４はまた、単に、監視デバイス３１０の場所だけではなく、また、例えば、ジャイロスコープ、加速度計、および／または他のセンサを使用して、その空間配向も測定および追跡してもよい。いくつかの実施形態では、場所追跡ユニット３１４は、監視デバイス３１０の場所および／または配向を決定するために、複数のタイプのセンサからのデータを組み合わせることができる。
監視デバイス３１０は、例えば、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ等であることができる（図５に示されるように）。そのようなデバイスは、それらが、普遍的であって、多くの場合、マイクロホン、ＧＰＳユニット、カメラ、ジャイロスコープ、加速度計、および他のセンサが内蔵されているため、有利である。監視デバイス３１０はまた、ＶＲ／ＡＲ／ＭＲシステム８０等のウェアラブルデバイスであってもよい。
図３に示されるシステム３００はまた、プロセッサ３３０を含む。プロセッサ３３０は、複数の分散型監視デバイス３１０と通信可能に結合されることができる。これは、監視デバイス３１０からプロセッサ３３０への矢印によって図示され、これは、個別の監視デバイス３１０とプロセッサ３３０との間の通信リンクを表す。通信リンクは、任意の通信規格またはインターフェースに従って、有線または無線であることができる。個別の監視デバイス３１０とプロセッサ３３０との間の通信リンクは、オーディオおよび場所追跡信号をプロセッサ３３０にダウンロードするために使用されることができる。いくつかの実施形態では、プロセッサ３３０は、図１に示されるＶＲ／ＡＲ／ＭＲシステム８０の一部であることができる。例えば、プロセッサ３３０は、ローカル処理モジュール７０または遠隔処理モジュール７２であり得る。
プロセッサ３３０は、インターフェースを含み、これは、個別の捕捉されたオーディオ信号および場所追跡信号を監視デバイス３１０から受信するために使用されることができる。オーディオ信号および場所追跡信号は、それらが捕捉されると、プロセッサ３３０にリアルタイムでアップロードされることができる、またはそれらは、監視デバイス３１０によってローカルで記憶され、いくつかの時間インターバルにわたって、またはいくつかのイベントにわたって等、捕捉の完了後にアップロードされることができる。プロセッサ３３０は、汎用または特殊コンピュータであることができ、複数の分散型オーディオ監視デバイス３１０からのオーディオ信号および場所追跡信号を処理および記憶するための揮発性および／または不揮発性メモリ／記憶装置を含むことができる。システム３００の動作が、ここで、図４に関して議論されるであろう。
図４は、図３に示されるシステム３００の動作の方法４００の例示的実施形態を図示する、フローチャートである。並行して行われる、ブロック４１０ａおよび４１０ｂでは、監視デバイス３１０が、環境３０４全体を通して複数の分散場所において、オーディオ信号を音源３０２から捕捉する一方、また、その個別の場所を追跡する。各オーディオ信号は、典型的には、異なる時点で行われる複数の音測定から成る、デジタル信号であってもよいが、アナログオーディオ信号もまた、使用されることができる。各場所追跡信号もまた、典型的には、デジタル信号であってもよく、これは、異なる時点で行われる複数の場所測定を含む。監視デバイス３１０からの結果として生じるオーディオ信号および場所追跡信号は両方とも、オーディオ記録の各インターバルが環境３０４内の具体的場所と関連付けられ得るように、適切にタイムスタンプされることができる。いくつかの実施形態では、音サンプルおよび場所サンプルは、時間的に規則的インターバルで同期して行われるが、これは、要求されない。
ブロック４２０では、プロセッサ３３０は、オーディオ信号および追跡信号を分散型監視デバイス３１０から受信する。信号は、コマンドに応じて、または具体的時間またはインターバルで自動的に、監視デバイス３１０からアップロードされることができる。オーディオおよび場所追跡信号内のタイムスタンプデータに基づいて、プロセッサ３３０は、複数の監視デバイス３１０から受信された種々のオーディオおよび場所追跡信号を同期させることができる。
ブロック４３０では、プロセッサ３３０は、オーディオ信号および追跡信号を分析し、環境３０４内の音波場の少なくとも一部の表現を生成する。いくつかの実施形態では、環境３０４は、空間点のグリッドに分割され、音波場は、空間点あたり１つ以上の値（例えば、音測定）を含み、これは、特定の時点における、または特定の時間周期にわたる、その空間点での音を特性評価する。したがって、グリッド上の空間点毎のデータは、値の時系列を含むことができ、これは、その空間点での音を経時的に特性評価する（音波場の空間および時間分解能は、用途、監視デバイス３１０の数、場所追跡信号の時間分解能等に応じて変動し得る）。
一般に、分散型監視デバイス３１０のみが、環境内３０４の点のグリッド上の場所のサブセットにおいて、音波場の実際の測定を実施する。加えて、監視デバイス３１０は、モバイル式であるため、各瞬間における実際の音測定で表される空間点の具体的サブセットは、変動し得る。したがって、プロセッサ３３０は、種々の技法を使用して、欠測情報に近似するように、残りの空間点および時間に関する音波場を推定することができる。例えば、音波場は、セット内の各点源が監視デバイスのうちの特定の１つに対する場所に対応し、監視デバイスのうちの特定の１つによって捕捉されたオーディオを出力する、音の点源のセットをシミュレートすることによって、近似的に再現されることができる。加えて、マルチラテレーション、三角測量、または他の位置特定方法が、監視デバイス３１０において受信されたオーディオセグメントに基づいて、音源の座標を決定するために使用されることができ、次いで、仮想コンテンツ内に含まれる音波場の表現は、決定された座標（すなわち、複数の点源モデル）から発出するオーディオセグメントを含むことができる。音波場は、多数の空間点を備えてもよいが、プロセッサ３３０は、必ずしも、音波場全体を計算する必要はなく、むしろ、用途に基づいて、必要に応じて、その一部のみを計算することができることを理解されたい。例えば、プロセッサ３３０は、具体的空間着目点に関する音波場のみを計算してもよい。本プロセスは、空間着目点が変化するにつれて、反復的に実施されることができる。
プロセッサ３３０はまた、音位置特定を実施し、環境内３０４の１つ以上の音源３０２の場所および／またはそれに向かう方向を決定することができる。音位置特定は、以下（およびその組み合わせ）、すなわち、環境内３０４の異なる場所におけるある識別された音の個別の到着時間の比較、環境内３０４の異なる場所におけるある識別された音の個別の大きさの比較、環境内３０４の異なる場所におけるある識別された音のある周波数成分の大きさおよび／または位相の比較を含む、いくつかの技法に従って行われることができる。いくつかの実施形態では、プロセッサ３３０は、到着時間差（ＴＤＯＡ）を決定するために、異なる監視デバイス３１０において受信されたオーディオ信号間の相互相関を算出し、次いで、マルチラテレーションを使用して、オーディオ源の場所を決定することができる。三角測量もまた、使用されてもよい。プロセッサ３３０はまた、オーディオを隔離された音源から抽出することができる。特定のオーディオ源からの監視デバイス毎のＴＤＯＡに対応する時間オフセットは、特定の源を増幅させるためにオーディオトラックを総和する前に、特定の源からのオーディオコンテンツを同期させるために、監視デバイスのセットによって捕捉された各対応するオーディオトラックから減算されることができる。抽出されたオーディオは、本明細書に議論されるように、ＶＲ／ＡＲ／ＭＲ環境において使用されることができる。
プロセッサ３３０はまた、全体として音波場に変換を実施することができる。例えば、記憶された源仰角、方位角、および距離（θ、φ、ｒ）依存頭部関連伝達関数（ＨＲＴＦ）を適用することによって、プロセッサ３３０は、左および右スピーカチャネルを通した出力のために、仮想座標系内の音源に対する任意の位置および配向に関して、捕捉されたオーディオを修正することができる。加えて、プロセッサ３３０は、回転変換を音波場に適用することができる。加えて、プロセッサ３３０は、オーディオを環境内の特定の音源３０２から抽出することができるため、その源は、３次元オーディオ処理を使用することによって、モデル化された環境内の任意の場所に設置および／または移動されることができる。
いったんプロセッサ３３０が、音波場３４０の表現を計算すると、これは、音波場内の任意の所望の場所においてマイクロホンによって検出されたであろう、オーディオ信号を推定するために使用されることができる。例えば、図３は、仮想マイクロホン３２０を図示する。仮想マイクロホン３２０は、仮想マイクロホン３２０の場所における音波場の実際の測定値を捕捉する、ハードウェアデバイスではない。代わりに、仮想マイクロホン３２０は、環境内３０４の任意の場所に設置され得る、シミュレートされた構造体である。環境内３０４の音波場３４０の表現を使用して、プロセッサ３３０は、シミュレートされたオーディオ信号を決定することができ、これは、仮想マイクロホン３２０の位置に位置する物理的マイクロホンによって検出されたであろう、オーディオ信号の推定値である。これは、例えば、音データが利用可能な仮想マイクロホンの場所の最近傍の音波場内のグリッド点を決定し、次いで、その音データと仮想マイクロホンを関連付けることによって行われることができる。他の実施形態では、仮想マイクロホン３２０からのシミュレートされたオーディオ信号は、例えば、仮想マイクロホンの近傍の複数のグリッド点からのオーディオ信号間を補間することによって決定されることができる。仮想マイクロホン３２０は、随時、環境３０４を中心として、任意の場所に移動されることができる（例えば、ソフトウェア制御インターフェースを使用して）。故に、その現在の場所に基づいて、音データと仮想マイクロホン３２０を関連付けるプロセスは、仮想マイクロホンが移動するにつれて、経時的に反復的に繰り返されることができる。
方法４００は、ブロック４４０－４６０に進むことができる。これらのブロックでは、音波場３４０の表現は、図３に示されるように、ＶＲ／ＡＲ／ＭＲシステム８０に提供されることができる。すでに議論されたように、ＶＲ／ＡＲ／ＭＲシステム８０は、仮想環境内のシミュレートされた体験または実際の環境内の拡張／複合現実体験を提供するために使用されることができる。仮想現実体験の場合、実世界環境３０４から収集された音波場３４０が、シミュレートされた仮想環境に転送またはマッピングされることができる。拡張および／または複合現実体験の場合、音波場３４０は、１つの実世界環境３０４から別の実世界環境に転送またはマッピングされることができる。
ユーザによって体験される環境が実際の環境であるかまたは仮想環境であるかにかかわらず、図４のブロック４４０では、ＶＲ／ＡＲ／ＭＲシステム８０は、ユーザが環境内で動き回るにつれて、仮想または実際の環境内のユーザの場所および／または配向を決定することができる。仮想または実際の環境内のユーザの場所および／または配向に基づいて、ＶＲ／ＡＲ／ＭＲシステム８０（またはプロセッサ３３０）は、ユーザの場所と音波場３４０の表現内の点を関連付けることができる。
図４のブロック４５０では、ＶＲ／ＡＲ／ＭＲ現実システム８０（またはプロセッサ３３０）は、音波場内のユーザの場所および／または配向に対応する、シミュレートされたオーディオ信号を生成することができる。例えば、本明細書に議論されるように、１つ以上の仮想マイクロホン３２０は、ユーザの場所に位置付けられることができ、システム８０（またはプロセッサ３３０）は、その場所で実際のマイクロホンによって検出されたであろう、オーディオ信号をシミュレートするために、音波場３４０の表現を使用することができる。
ブロック４６０では、仮想マイクロホン３２０からのシミュレートされたオーディオ信号は、例えば、ユーザによって装着されるヘッドホンを介して、ＶＲ／ＡＲ／ＭＲシステム８０のユーザに提供される。当然ながら、ＶＲ／ＡＲ／ＭＲ現実システム８０のユーザは、環境内を動き回ることができる。したがって、ブロック４４０－４６０は、音波場内のユーザの位置および／または配向が変化するにつれて、反復的に繰り返されることができる。このように、システム３００は、ユーザが実際に環境内３０４の任意の点に存在するかのように、およびそれを通して動き回り得るかのように、現実的オーディオ体験をＶＲ／ＡＲ／ＭＲシステム８０のユーザに提供するために使用されることができる。
図５は、複数のユーザデバイス５１０を使用して、あるイベントのための音波場の表現を作成するためのウェブベースのシステム５００を図示する。システム５００は、コンサート等のイベントにおいてオーディオを捕捉するために、複数のユーザデバイス５１０を含む。ユーザデバイス５１０は、例えば、イベントの出席者に属する、スマートフォン、タブレットコンピュータ、ラップトップコンピュータ等である。図３に関して議論されるオーディオ／場所監視デバイス３１０と同様に、図５におけるユーザデバイス５１０はそれぞれ、少なくとも１つのマイクロホンと、ＧＰＳ等の場所追跡ユニットとを含む。本システムはまた、ウェブベースのコンピュータサーバ５３０を含み、これは、インターネットを介して、ユーザデバイス５１０に通信可能に結合される。システム４００の動作は、図６に関して議論される。
図６は、イベントの音波場を作成するための図５に示されるウェブベースのシステムの動作の例示的実施形態を図示する、フローチャートである。ブロック６１０では、コンピュータサーバ５３０は、ユーザによるダウンロードのためのモバイルデバイスアプリケーションを提供する。モバイルデバイスアプリケーションは、スマートフォンまたは他のユーザデバイス上にインストールされると、ユーザが、イベントに登録し、イベントの間、オーディオ信号および場所追跡信号を捕捉することを可能にするものである。図６は、コンピュータサーバ５３０がダウンロードのためのモバイルデバイスアプリケーションをもたらすことを示すが、アプリケーションはまた、第三者アプリケーション記憶等の他のサーバ上でのダウンロードのためにも提供され得る。
ブロック６２０では、ユーザは、アプリケーションをそのデバイス５１０にダウンロードし、それをインストールする。アプリケーションは、イベントのリストを提供することができ、これは、イベントの音波場を作成することに役立てるために使用されることができる。ユーザは、出席するであろうイベントを選択および登録する。
ブロック６３０では、イベントの間、アプリケーションは、ユーザが、その座席から、および／または会場を通して動き回るにつれて、オーディオを捕捉することを可能にする。アプリケーションはまた、例えば、デバイスの内蔵ＧＰＳを使用して、場所追跡信号を作成する。オーディオおよび場所追跡信号の捕捉を含む、デバイス４１０の動作は、オーディオ／場所監視デバイス３１０の動作に関して本明細書に説明される通りであり得る。
ブロック６４０では、ユーザのデバイスは、インターネットを介して、その捕捉されたオーディオ信号および場所追跡信号をコンピュータサーバ５３０にアップロードする。コンピュータサーバ５３０は、次いで、イベントのための音波場の表現を生成するために、オーディオ信号および場所追跡信号を処理する。本処理は、プロセッサ３３０の動作に関して本明細書に説明されるように行われることができる。
最後に、ブロック６６０では、コンピュータサーバ５３０は、シミュレートされたオーディオ信号（例えば、選択的に位置付けられる仮想マイクロホンから）をダウンロードのためにユーザにもたらす。仮想マイクロホンからのオーディオ信号は、本明細書で議論される技法を使用して、イベントのための音波場から作成されることができる。ユーザは、例えば、ウェブベースのインターフェースを介して、仮想マイクロホンの位置を選択することができる。このように、イベントの出席者は、モバイルアプリケーションを使用して、会場内の異なる場所から、異なる視点を用いて、イベントからのオーディオを体験することができる。アプリケーションは、したがって、コンサートまたは他のイベントにおける出席者の体験を向上させる。
コンピュータサーバ５３０は、まさに議論されたように、イベントのための音波場を計算してもよいが、他の実施形態は、ユーザがイベント会場における種々の場所からのオーディオを体験することを可能にするために、異なる技法を使用してもよい。例えば、イベントに登録されたユーザの密度に応じて、仮想マイクロホンからのオーディオ信号は、単に、仮想マイクロホンの場所の最近傍の登録されたユーザによって捕捉されたオーディオ信号に対応してもよい。イベントの間、仮想マイクロホンの位置が変化するにつれて、または最近傍の登録されたユーザが、登録されたユーザの移動に起因して変動するにつれて、仮想マイクロホンからのオーディオは、１人の登録されたユーザによって捕捉されたオーディオ信号から別の登録されたユーザによって捕捉されたオーディオ信号にクロスフェードすることによって合成されることができる。
（ＶＲ、ＡＲ、およびＭＲシステムを使用した環境音響情報の決定）
すでに議論されたように、ＶＲ、ＡＲ、およびＭＲシステムは、ディスプレイ６２を使用して、仮想または実世界環境内にシミュレートされたテキスト、画像、およびオブジェクトを含む、仮想画像をユーザ６０に提示する。仮想画像が現実的であるために、多くの場合、音効果および他のオーディオを伴う。本オーディオは、環境の音響性質が既知である場合、より現実的にされることができる。例えば、環境内に存在する音響反射体のタイプおよび場所が、既知である場合、適切なオーディオ処理が、オーディオ音をよりもっともらしく現実的にするように、実施され、残響または他の効果を追加することができる。
しかし、ＡＲおよびＭＲシステムの場合、特に、シミュレートされた体験が生じる実世界環境の音響性質を決定することは、困難であり得る。壁、床、天井、およびオブジェクト等の音響反射体および吸収体のタイプ、場所、サイズ等を含む、環境の音響性質の知識がない場合、適切なオーディオ処理を適用し、現実的オーディオ環境を提供することは、困難であり得る。例えば、環境の音響性質の知識がない場合、その音効果をその環境内で本物であるようにさせるように、空間化をシミュレートされたオブジェクトに現実的に追加することは、困難であり得る。したがって、そのような音響特性がＶＲ／ＡＲ／ＭＲシステムにおいて使用される音響モデルおよびオーディオ処理において採用され得るように、環境の音響性質を決定するための改良された技法の必要がある。
図７は、環境７０４の音響性質を決定するために使用され得る、システム７００の例示的実施形態を図示する。図７に示されるように、４人のユーザ６０ａ、６０ｂ、６０ｃ、および６０ｄが、環境７０４内に存在する。環境７０４は、例えば、ＡＲまたはＭＲ体験をホストするために使用されている、実世界環境であることができる。各ユーザ６０は、関連付けられたデバイス８０ａ、８０ｂ、８０ｃ、および８０ｄを有する。いくつかの実施形態では、これらのデバイスは、個別のユーザ６０が装着している、ＶＲ／ＡＲ／ＭＲシステム８０である。これらのシステム８０はそれぞれ、マイクロホン７１２と、場所追跡ユニット７１４とを含むことができる。ＶＲ／ＡＲ／ＭＲシステム８０はまた、カメラ、ジャイロスコープ、加速度計、およびオーディオスピーカを含む、他のセンサを含むことができる。
システム７００はまた、プロセッサ７３０を含み、これは、ＶＲ／ＡＲ／ＭＲシステム８０に通信可能に結合される。いくつかの実施形態では、プロセッサ７３０は、ＶＲ／ＡＲ／ＭＲシステム８０と別個のデバイスである一方、その他では、プロセッサ７３０は、これらのシステムのうちの１つのコンポーネントである。
各ＶＲ／ＡＲ／ＭＲシステム８０のマイクロホン７１２は、環境７０４内の音源のオーディオを捕捉するために使用されることができる。捕捉された音は、環境７０４の音響性質によって有意に影響されていない既知の源音と、源音が環境の音響性質によって影響された後の源音の環境改変バージョンの両方を含むことができる。これらの中には、ユーザ６０によって発話された単語および発せられた他の音、ＶＲ／ＡＲ／ＭＲシステム８０のいずれかによって放出される音、および環境７０４内に存在し得る他の音源からの音がある。
一方、場所追跡ユニット７１４は、これらのオーディオ記録が行われている間、環境７０４内の各ユーザ６０の場所を決定するために使用されることができる。加えて、ジャイロスコープおよび加速度計等のセンサが、発話中のユーザ６０の配向および／または音を放出または捕捉するときのＶＲ／ＡＲ／ＭＲシステム８０の配向を決定するために使用されることができる。オーディオ信号および場所追跡信号は、分析のために、プロセッサ７３０に送信されることができる。システム７００の動作が、ここで、図８に関して説明されるであろう。
図８は、図７に示されるシステム７００を使用して、環境７０４の１つ以上の音響性質を決定するための方法８００の例示的実施形態を図示する、フローチャートである。方法８００は、並行して行われる、ブロック８１０ａおよび８１０ｂから開始する。これらのブロックでは、ＶＲ／ＡＲ／ＭＲシステム８０は、環境７０４全体を通して複数の分散場所においてオーディオ信号を捕捉する一方、また、その個別の場所および／または配向を追跡する。再び、各オーディオ信号は、典型的には、異なる時点で行われる複数の音測定から成るデジタル信号であってもよいが、アナログオーディオ信号もまた、使用されることができる。各場所追跡信号もまた、典型的には、デジタル信号であってもよく、これは、異なる時点で行われる複数の場所および／または配向測定を含む。ＶＲ／ＡＲ／ＭＲシステム８０からの結果として生じるオーディオ信号および場所追跡信号は両方とも、オーディオ記録の各インターバルが環境７０４内の具体的場所と関連付けられ得るように、適切にタイムスタンプされることができる。いくつかの実施形態では、音サンプルおよび場所サンプルは、時間的に規則的インターバルにおいて同期して行われるが、これは、要求されない。
ブロック８３０に関して後述される処理に関して、１）先験的に既知であるか、または源音が環境７０４の音響によって有意に影響されることに先立って捕捉されるかのいずれかである、既知の源音と、２）環境７０４の音響によって有意に影響された後に捕捉された環境改変音との少なくとも２つのタイプの音のオーディオコピーを有することが有利であり得る。
いくつかの実施形態では、ＶＲ／ＡＲ／ＭＲシステム８０のうちの１つ以上のものは、音響インパルスまたは１つ以上の音響トーン（例えば、ヒト聴覚のほぼ正常範囲である、約２０Ｈｚ～約２０ｋＨｚの範囲内のトーンの周波数掃引）等の既知の源音をオーディオスピーカから放出するために使用されることができる。システム８０ａが、既知の源音を放出するために使用される場合、残りのシステム８０ｂ、８０ｃ、および８０ｄのマイクロホンは、対応する環境改変音を入手するために使用されることができる。音響インパルスおよび周波数掃引は、ヒトの耳に可聴の周波数の全範囲を含む、広範囲の周波数にわたって、環境７０４の音響周波数応答を特性評価するために使用されることができるため、有利であり得る。しかし、ヒト聴覚の正常範囲外の音もまた、使用されることができる。例えば、超音波周波数が、ＶＲ／ＡＲ／ＭＲシステム８０によって放出され、環境７０４の１つ以上の音響および／または空間性質を特性評価するために使用されることができる。
ＶＲ／ＡＲ／ＭＲシステム８０自体によって放出される既知の源音を使用する代替として、ユーザ６０のうちの１人以上の人によって発話された単語または発せられた他の音の捕捉されたオーディオもまた、既知の源音として使用されることができる。これは、ユーザ自身のマイクロホンを使用して、その発声を捕捉することによって行われることができる。例えば、ユーザ６０ａに対応するＶＲ／ＡＲ／ＭＲシステム８０ａのマイクロホン７１２ａは、ユーザが発話するオーディオを捕捉するために使用されることができる。ユーザ６０ａからの音は、環境７０４内の音響反射体および／または吸収体によって有意に影響される前に、その独自のマイクロホン７１２ａによって捕捉されるため、ユーザ自身のマイクロホンによるこれらの記録は、既知の源音記録として見なされ、使用されることができる。同じことは、その個別のマイクロホン７１２ｂ、７１２ｃ、および７１２ｄを使用して、他のユーザ６０ｂ、６０ｃ、および６０ｄに関しても行われることができる。当然ながら、いくつかの処理が、これらのオーディオ信号上で実施され、ユーザの実際の発声とそのマイクロホンによってピックアップされたオーディオ信号との間の差異を補償することができる（そのような差異は、ユーザの口から放出される音波の経路内に直接位置しないユーザのマイクロホン７１２ａ等の影響によって生じ得る）。一方、１人のユーザからの発声は、他のユーザのマイクロホンによって捕捉され、発声の環境改変バージョンを取得することができる。例えば、ユーザ６０ａの発声は、残りのユーザ６０ｂ、６０ｃ、および６０ｄの個別のＶＲ／ＡＲ／ＭＲシステム８０ｂ、８０ｃ、および８０ｄによって捕捉されることができ、これらの記録は、環境改変音として使用されることができる。
このように、ユーザ６０からの発声は、本明細書でさらに議論されるように、環境７０４の音響周波数応答および他の特性を決定するために使用されることができる。ユーザからの任意の所与の発声は、ヒト聴覚の全範囲を横断して環境７０４の周波数応答を完全に特性評価するために十分な多様な周波数成分を含まなくてもよいが、システム７００は、新しい周波数成分を伴う発声がユーザ６０によって行われるにつれて、環境の周波数応答を経時的に反復的に構築することができる。
音を使用して、環境７０４の周波数応答等の音響特性を決定することに加え、それらはまた、環境７０４の空間特性についての情報を決定するために使用されることができる。そのような空間情報は、例えば、環境内の特徴の場所、サイズ、および／または反射／吸収性性質を含んでもよい。これは、ＶＲ／ＡＲ／ＭＲシステム８０内の場所追跡ユニット７１４がまた、発声するときのユーザ６０の配向または音を放出または捕捉するときのシステム８０の配向を測定し得るため、遂行されることができる。すでに述べられたように、これは、ウェアラブルＶＲ／ＡＲ／ＭＲシステム８０の中に構築される、ジャイロスコープ、加速度計、または他のセンサを使用して遂行されることができる。ユーザ６０およびＶＲ／ＡＲ／ＭＲシステム８０の配向が、測定され得るため、任意の特定の既知の源音または環境改変音の伝搬方向が、決定されることができる。本情報は、ソナー技法を使用して処理され、環境内の音響反射体および吸収体のサイズ、形状、場所、および／または他の特性を含む、環境７０４についての特性を決定することができる。
ブロック８２０では、プロセッサ７３０は、オーディオ信号および追跡信号をＶＲ／ＡＲ／ＭＲシステム８０から受信する。信号は、コマンドに応じて、または具体的時間またはインターバルにおいて自動的に、アップロードされることができる。オーディオおよび場所追跡信号内のタイムスタンプデータに基づいて、プロセッサ７３０は、ＶＲ／ＡＲ／ＭＲシステム８０から受信された種々のオーディオおよび場所追跡信号を同期させることができる。
ブロック８３０では、プロセッサ７３０は、オーディオ信号および追跡信号を分析し、環境７０４の１つ以上の音響性質を決定する。これは、例えば、オーディオ信号からの１つ以上の既知の源音を識別することによって行われることができる。既知の源音は、環境７０４内の種々の場所から、そして種々の方向において、種々の時間に放出されたものであり得る。時間は、オーディオ信号内のタイムスタンプデータから決定されることができる一方、場所および方向は、場所追跡信号から決定されることができる。
プロセッサ７３０はまた、１つ以上の環境改変される音を識別し、各既知の源音と関連付けてもよい。プロセッサ７３０は、次いで、各既知の源音とその対応する環境改変される音とを比較することができる。周波数成分、位相、到着時間等における差異を分析することによって、プロセッサ７３０は、既知の源音に及ぼす環境の影響に基づいて、環境７３０の１つ以上の音響性質を決定することができる。プロセッサ７３０はまた、ソナー処理技法を使用して、環境７０４内のオブジェクトまたは表面の場所、サイズ、形状、および特性についての空間情報を決定することができる。
ブロック８４０では、プロセッサ７３０は、環境７０４の決定された音響性質をＶＲ／ＡＲ／ＭＲシステム８０に返送することができる。これらの音響性質は、環境の音響反射／吸収性性質、空間内のオブジェクトのサイズ、場所、および形状等を含むことができる。複数の監視デバイスが存在するため、それらのデバイスのあるものは、各音源により近く、したがって、オリジナル源のより純粋な記録を取得可能である可能性が高いであろう。異なる場所における他の監視デバイスは、追加される可変程度の残響を伴って、音を捕捉するであろう。そのような信号を比較することによって、環境の残響性質の特性（例えば、周波数依存残響減衰時間）が、より現実的仮想音源を生成する際の将来的使用のために、査定および記憶されることができる。周波数依存残響時間は、監視デバイスの複数の位置に関して記憶されることができ、補間が、他の位置に関する値を取得するために使用されることができる。
次いで、ブロック８５０では、ＶＲ／ＡＲ／ＭＲシステム８０は、環境７０４の音響性質を使用して、ＶＲ／ＡＲ／ＭＲ体験の間、ユーザ６０に再生されるオーディオ信号を向上させることができる。音響性質は、ユーザ６０に表示される仮想オブジェクトに付随する音効果を向上させるために使用されることができる。例えば、ＶＲ／ＡＲ／ＭＲシステム８０のユーザの位置に対応する周波数依存残響は、ＶＲ／ＡＲ／ＭＲシステム８０を通して、仮想音源出力に適用されることができる。
（立体ビデオのためのオーディオ捕捉）
本明細書に説明されるタイプの分散型オーディオ／場所監視デバイスはまた、立体ビデオのためのオーディオを捕捉するために使用されることができる。図９は、立体ビデオ捕捉を実施するための例示的システム９００を図示する。システム９００は、環境９０４内に位置し、これは、典型的には、グリーンスクリーン部屋である。グリーンスクリーン部屋は、その色成分に基づいて、画像またはビデオを合成するための従来の撮影後ビデオ処理技法である、クロマキー合成において使用されるタイプの緑色画面によって囲繞される中心空間９７０を伴う、部屋である。
システム９００は、複数のビデオカメラ９８０設定をグリーンスクリーン部屋９０４の周囲の異なる視点に含む。ビデオカメラ９８０はそれぞれ、撮影されることになる場面が実演される、グリーンスクリーン部屋９０４の中心部分９７０に向けられている。場面が実演されるにつれて、ビデオカメラ９８０は、それを場面の周囲３６０°範囲に及ぶ離散視点数から撮影する。これらのカメラ９８０からのビデオは、後に、プロセッサ９３０によって数学的に組み合わせられ、カメラ９８０によって実際に撮影されたものの間の視点を含む、環境９０４内の任意の所望の視点に位置するビデオカメラによって捕捉されたであろう、ビデオ画像をシミュレートすることができる。
本タイプの立体ビデオは、これらのシステムのユーザが任意の視点から撮影された場面を体験することを可能にし得るため、ＶＲ／ＡＲ／ＭＲシステムにおいて効果的に使用されることができる。ユーザは、場面の周囲の仮想空間内を移動し、その対象がユーザの前に実際に存在するかのように、それを体験することができる。したがって、立体ビデオは、非常に没入型のＶＲ／ＡＲ／ＭＲ体験を提供する可能性をもたらす。
しかし、立体ビデオに関する１つの難点は、本タイプの撮影プロセスの間、高品質オーディオを効果的に捕捉することが困難であり得ることである。これは、場面が多くの異なる視点から撮影されることを前提として、これらのマイクロホンをカメラ１０８０から効果的に隠すことが不可能であり得るため、ブームマイクロホンまたは俳優によって装着される小型マイクロホンを採用し得る、典型的オーディオ捕捉技法が、実行可能ではない場合があるためである。したがって、立体ビデオの撮影の間、オーディオを捕捉するための改良された技法の必要がある。
図１０は、立体ビデオ捕捉の間、オーディオを捕捉するための例示的システム１０００を図示する。図９におけるように、システム１０００は、環境１００４内に位置し、これは、典型的には、グリーンスクリーン部屋である得る。システム１０００はまた、いくつかのビデオカメラ１０８０を含み、これは、グリーンスクリーン部屋１００４の周囲の異なる視点に位置し、場面が実演されることになる部屋の中心部分１０７０に向けられている。
システム１０００はまた、いくつかの分散型マイクロホン１０１２を含み、これも同様に、部屋１００４の周囲に分散される。マイクロホン１０１２は、ビデオカメラ１０８０間に位置することができ（図示されるように）、それらは、ビデオカメラと共同設置されることができる、またはそれらは、任意の他の所望の構成を有することができる。図１０は、マイクロホン１０１２が部屋１００４の中心部分１０７０の完全３６０°網羅率を提供するように設定されることを示す。例えば、マイクロホン１０１２は、部屋１００４の周縁の周囲に、少なくとも４５°毎に、または少なくとも３０°毎に、または少なくとも１０°毎に、または少なくとも５°毎に、設置されてもよい。図１０の２次元図面に図示されないが、マイクロホン１０１２はまた、３次元網羅率を提供するように設定されることができる。例えば、マイクロホン１０１２は、場面が実演される空間を包囲する、想像上の半球を中心としていくつかの離散場所に設置され得る。システム１０００の動作が、ここで、図１１に関して説明されるであろう。
図１１は、図１０に示されるシステム１０００を使用して、立体ビデオのためのオーディオを捕捉するための例示的方法１１００を示す、フローチャートである。ブロック１１１０ａでは、場面が、グリーンスクリーン部屋１００４において実演され、立体ビデオが、カメラ１０８０によって、複数の異なる視点から捕捉される。同時に、マイクロホン１０１２も同様に、種々の視点から場面のオーディオを捕捉する。これらのマイクロホン１０１２のそれぞれから記録されるオーディオ信号は、ブロック１１２０に示されるように、ビデオカメラ１０８０のそれぞれからのビデオ信号とともに、プロセッサ１０３０に提供されることができる。
個別のマイクロホン１０１２からのオーディオ信号はそれぞれ、場所情報でタグづけられることができ、これは、グリーンスクリーン部屋１００４内のマイクロホン１０１２の位置を示す。ブロック１１１０ｂでは、本位置情報は、手動で、または本明細書に説明される種類の場所追跡ユニットを使用して自動的に、決定されることができる。例えば、各マイクロホン１０１２は、部屋１００４内のマイクロホン１０１２の位置に関するデータをプロセッサ１０３０に提供し得る、場所追跡ユニットとともに、監視デバイスに提供されることができる。
ブロック１１３０では、プロセッサは、立体ビデオを生成するために要求される処理を実施する。故に、プロセッサは、任意の規定された視点に位置するカメラによって撮影されたであろうような場面を推定する、シミュレートされたビデオを生成することができる。ブロック１１４０では、プロセッサは、本明細書のいずれかに説明されるように、マイクロホン１０１２からのオーディオ信号を分析し、環境１１０４内の音波場の表現を生成する。音波場を使用して、プロセッサは、環境１１０４内の任意の所望の点に位置するマイクロホンによって捕捉されたであろうような任意のオーディオ信号を推定することができる。本能力は、すでに撮影された後、立体ビデオのためのマイクロホン設置を効果的かつ仮想的に規定する柔軟性を可能にする。
いくつかの実施形態では、音波場は、ＶＲ／ＡＲ／ＭＲ環境にマッピングされることができ、ＶＲ／ＡＲ／ＭＲシステム８０のためのオーディオを提供するために使用されることができる。まさに立体ビデオのための視点が、仮想環境内のユーザの現在の視点に基づいて改変され得るように、オーディオも改変され得る。いくつかの実施形態では、オーディオ聴取点は、ユーザが仮想空間内を動き回るにつれて、ビデオ視点と併せて移動されることができる。このように、ユーザは、場面の非常に現実的な再現を体験することができる。
（例示的実施形態）
システムであって、複数の分散型監視デバイスであって、各監視デバイスは、少なくとも１つのマイクロホンと、場所追跡ユニットとを備え、監視デバイスは、複数のオーディオ信号を音源から捕捉し、複数のオーディオ信号の捕捉の間、それぞれ、監視デバイスの場所を示す、複数の場所追跡信号を経時的に捕捉するように構成される、複数の分散型監視デバイスと、複数のオーディオ信号および複数の場所追跡信号を受信するように構成される、プロセッサであって、プロセッサはさらに、オーディオ信号および場所追跡信号に基づいて、音源によって作成された音波場の少なくとも一部の表現を生成するように構成される、プロセッサとを備える、システム。
複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、前述の実施形態に記載のシステム。
複数の分散型監視デバイスは、モバイル式である、前述の実施形態のいずれかに記載のシステム。
場所追跡ユニットは、全地球測位システム（ＧＰＳ）を備える、前述の実施形態のいずれかに記載のシステム。
音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、音源の場所を決定するように構成される、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、前述の実施形態のいずれかに記載のシステム。
音波場の表現を使用して、プロセッサはさらに、音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、仮想オーディオ信号は、選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、前述の実施形態のいずれかに記載のシステム。
場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、前述の実施形態のいずれかに記載のシステム。
デバイスであって、複数の分散型監視デバイスから、音源から捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、音源によって作成された音波場の少なくとも一部の表現を生成するステップとを含む、方法を行うように構成される、プロセッサと、オーディオ信号および場所追跡信号を記憶するためのメモリとを備える、デバイス。
複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、前述の実施形態に記載のデバイス。
複数の分散型監視デバイスは、モバイル式である、前述の実施形態のいずれかに記載のデバイス。
音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、前述の実施形態のいずれかに記載のデバイス。
プロセッサはさらに、音源の場所を決定するように構成される、前述の実施形態のいずれかに記載のデバイス。
プロセッサはさらに、音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、前述の実施形態のいずれかに記載のデバイス。
音波場の表現を使用して、プロセッサはさらに、音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、仮想オーディオ信号は、選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、前述の実施形態のいずれかに記載のデバイス。
場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、前述の実施形態のいずれかに記載のデバイス。
方法であって、複数の分散型監視デバイスから、音源から捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、音源によって作成された音波場の少なくとも一部の表現を生成するステップとを含む、方法。
複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、前述の実施形態に記載の方法。
複数の分散型監視デバイスは、モバイル式である、前述の実施形態のいずれかに記載の方法。
音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、前述の実施形態のいずれかに記載の方法。
音源の場所を決定するステップをさらに含む、前述の実施形態のいずれかに記載の方法。
音波場を仮想、拡張、または複合現実環境にマッピングするステップをさらに含む、前述の実施形態のいずれかに記載の方法。
音波場の表現を使用して、音波場内の選択された場所における仮想オーディオ信号を決定するステップであって、仮想オーディオ信号は、選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、ステップをさらに含む、前述の実施形態のいずれかに記載の方法。
場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、前述の実施形態のいずれかに記載の方法。
システムであって、システムは、複数の分散型監視デバイスであって、各監視デバイスは、少なくとも１つのマイクロホンと、場所追跡ユニットとを備え、監視デバイスは、環境内の複数のオーディオ信号を捕捉し、複数のオーディオ信号の捕捉の間、それぞれ、監視デバイスの場所を示す、複数の場所追跡信号を経時的に捕捉するように構成される、複数の分散型監視デバイスと、複数のオーディオ信号および複数の場所追跡信号を受信するように構成される、プロセッサであって、プロセッサはさらに、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定するように構成される、プロセッサとを備える、システム。
１つ以上の音響性質は、環境内の音響反射率または吸収率または環境の音響周波数応答を備える、前述の実施形態に記載のシステム。
複数の分散型監視デバイス間には、未知の相対的空間関係が存在する、前述の実施形態のいずれかに記載のシステム。
複数の分散型監視デバイスは、モバイル式である、前述の実施形態のいずれかに記載のシステム。
場所追跡ユニットは、全地球測位システム（ＧＰＳ）を備える、前述の実施形態のいずれかに記載のシステム。
場所追跡信号はまた、監視デバイスの個別の配向についての情報を備える、前述の実施形態のいずれかに記載のシステム。
複数の分散型監視デバイスは、仮想現実、拡張現実、または複合現実システムを備える、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、複数のオーディオ信号内の既知の源音を識別するように構成される、前述の実施形態のいずれかに記載のシステム。
既知の源音は、仮想現実、拡張現実、または複合現実システムのうちの１つによって再生される音を備える、前述の実施形態のいずれかに記載のシステム。
既知の源音は、音響インパルスまたは音響トーンの掃引を備える、前述の実施形態のいずれかに記載のシステム。
既知の源音は、ユーザによって装着される仮想現実、拡張現実、または複合現実システムによって捕捉されたユーザの発声を備える、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、１つ以上の環境改変音を識別し、既知の源音と関連付けるように構成される、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、環境の１つ以上の音響性質を、複数の仮想現実、拡張現実、または複合現実システムに送信するように構成される、前述の実施形態のいずれかに記載のシステム。
複数の仮想現実、拡張現実、または複合現実システムは、１つ以上の音響性質を使用して、仮想現実、拡張現実、または複合現実体験の間、ユーザに再生されるオーディオを向上させるように構成される、前述の実施形態のいずれかに記載のシステム。
デバイスであって、複数の分散型監視デバイスから、環境内で捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定するステップとを含む、方法を行うように構成される、プロセッサと、オーディオ信号および場所追跡信号を記憶するためのメモリとを備える、デバイス。
１つ以上の音響性質は、環境内の音響反射率または吸収率または環境の音響周波数応答を備える、前述の実施形態に記載のデバイス。
場所追跡信号はまた、監視デバイスの個別の配向についての情報を備える、前述の実施形態のいずれかに記載のデバイス。
複数の分散型監視デバイスは、仮想現実、拡張現実、または複合現実システムを備える、前述の実施形態のいずれかに記載のデバイス。
プロセッサはさらに、複数のオーディオ信号内の既知の源音を識別するように構成される、前述の実施形態のいずれかに記載のデバイス。
既知の源音は、仮想現実、拡張現実、または複合現実システムのうちの１つによって再生される音を備える、前述の実施形態のいずれかに記載のデバイス。
既知の源音は、音響インパルスまたは音響トーンの掃引を備える、前述の実施形態のいずれかに記載のデバイス。
既知の源音は、ユーザによって装着される仮想現実、拡張現実、または複合現実システムによって捕捉されたユーザの発声を備える、前述の実施形態のいずれかに記載のデバイス。
プロセッサはさらに、１つ以上の環境改変音を識別し、既知の源音と関連付けるように構成される、前述の実施形態のいずれかに記載のデバイス。
プロセッサはさらに、環境の１つ以上の音響性質を、複数の仮想現実、拡張現実、または複合現実システムに送信するように構成される、前述の実施形態のいずれかに記載のデバイス。
方法であって、複数の分散型監視デバイスから、環境内で捕捉された複数のオーディオ信号を受信するステップと、複数の監視デバイスから、複数の場所追跡信号を受信するステップであって、複数の場所追跡信号は、それぞれ、複数のオーディオ信号の捕捉の間、監視デバイスの場所を経時的に示す、ステップと、オーディオ信号および場所追跡信号に基づいて、環境の１つ以上の音響性質を決定するステップとを含む、方法。
１つ以上の音響性質は、環境内の音響反射率または吸収率または環境の音響周波数応答を備える、前述の実施形態に記載の方法。
場所追跡信号はまた、監視デバイスの個別の配向についての情報を備える、前述の実施形態のいずれかに記載の方法。
複数の分散型監視デバイスは、仮想現実、拡張現実、または複合現実システムを備える、前述の実施形態のいずれかに記載の方法。
複数のオーディオ信号内の既知の源音を識別するステップをさらに含む、前述の実施形態のいずれかに記載の方法。
既知の源音は、仮想現実、拡張現実、または複合現実システムのうちの１つによって再生される音を備える、前述の実施形態のいずれかに記載の方法。
既知の源音は、音響インパルスまたは音響トーンの掃引を備える、前述の実施形態のいずれかに記載の方法。
既知の源音は、ユーザによって装着される仮想現実、拡張現実、または複合現実システムによって捕捉されたユーザの発声を備える、前述の実施形態のいずれかに記載の方法。
１つ以上の環境改変音を識別し、既知の源音と関連付けるステップをさらに含む、前述の実施形態のいずれかに記載の方法。
環境の１つ以上の音響性質を、複数の仮想現実、拡張現実、または複合現実システムに送信するステップをさらに含む、前述の実施形態のいずれかに記載の方法。
システムであって、空間の中心部分の複数のビデオを複数の異なる視点から捕捉するように、空間の周縁を中心として位置する、複数の分散型ビデオカメラと、複数のビデオの捕捉の間、複数のオーディオ信号を捕捉するように、空間の周縁を中心として位置する、複数の分散型マイクロホンと、複数のビデオ、複数のオーディオ信号、および空間内の各マイクロホンの位置についての場所情報を受信するように構成される、プロセッサであって、プロセッサはさらに、オーディオ信号および場所情報に基づいて、空間に関する音波場の少なくとも一部の表現を生成するように構成される、プロセッサとを備える、システム。
複数のマイクロホンは、空間の３６０°を提供するように離間される、前述の実施形態に記載のシステム。
音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、前述の実施形態のいずれかに記載のシステム。
音波場の表現を使用して、プロセッサはさらに、音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、仮想オーディオ信号は、選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、前述の実施形態のいずれかに記載のシステム。
場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、前述の実施形態のいずれかに記載のシステム。
デバイスであって、複数の分散型ビデオカメラから、複数の視点から捕捉された場面の複数のビデオを受信するステップと、複数の分散型マイクロホンから、複数のビデオの捕捉の間に捕捉された複数のオーディオ信号を受信するステップと、複数のマイクロホンの位置についての場所情報を受信するステップと、オーディオ信号および場所情報に基づいて、音波場の少なくとも一部の表現を生成するステップとを含む、方法を行うように構成される、プロセッサと、オーディオ信号および場所追跡信号を記憶するためのメモリとを備える、デバイス。
複数のマイクロホンは、空間の３６０°を提供するように離間される、前述の実施形態に記載のシステム。
音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、前述の実施形態のいずれかに記載のシステム。
プロセッサはさらに、音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、前述の実施形態のいずれかに記載のシステム。
音波場の表現を使用して、プロセッサはさらに、音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、仮想オーディオ信号は、選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、前述の実施形態のいずれかに記載のシステム。
場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、前述の実施形態のいずれかに記載のシステム。
方法であって、複数の分散型ビデオカメラから、複数の視点から捕捉された場面の複数のビデオを受信するステップと、複数の分散型マイクロホンから、複数のビデオの捕捉の間に捕捉された複数のオーディオ信号を受信するステップと、複数のマイクロホンの位置についての場所情報を受信するステップと、オーディオ信号および場所情報に基づいて、音波場の少なくとも一部の表現を生成するステップとを含む、方法。
複数のマイクロホンは、空間の３６０°を提供するように離間される、前述の実施形態に記載の方法。
音波場の表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、前述の実施形態のいずれかに記載の方法。
音波場を仮想、拡張、または複合現実環境にマッピングするステップをさらに含む、前述の実施形態のいずれかに記載の方法。
音波場の表現を使用して、音波場内の選択された場所における仮想オーディオ信号を決定するステップであって、仮想オーディオ信号は、選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定するステップをさらに含む、前述の実施形態のいずれかに記載の方法。
場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、前述の実施形態のいずれかに記載の方法。
（結論）
本開示を要約する目的のために、本発明のある側面、利点、および特徴が、本明細書に説明されている。必ずしも全てのそのような利点が、本発明の任意の特定の実施形態に従って達成され得るわけではないことを理解されたい。したがって、本発明は、本明細書で教示または提案され得るような他の利点を必ずしも達成することなく、本明細書で教示されるような１つの利点または利点群を達成または最適化する様式で、具現化または実施されてもよい。
実施形態は、付随の図面に関連して説明されている。しかしながら、図が一定の縮尺で描かれていないことを理解されたい。距離、角度等は、例証的にすぎず、必ずしも図示されるデバイスの実際の寸法およびレイアウトと正確な関係を持つわけではない。加えて、前述の実施形態は、当業者が本明細書に説明されるデバイス、システム、方法等を作製して使用することを可能にする詳細のレベルで説明されている。多種多様な変形例が、可能である。構成要素、要素、および／またはステップは、改変、追加、除去、または再編成されてもよい。
本明細書に説明されるデバイスおよび方法は、有利なこととして、例えば、コンピュータソフトウェア、ハードウェア、ファームウェア、またはソフトウェア、ハードウェア、およびファームウェアの任意の組み合わせを使用して、少なくとも部分的に実装されることができる。ソフトウェアモジュールは、本明細書に説明される機能を果たすために、コンピュータのメモリの中に記憶されたコンピュータ実行可能コードを備えることができる。いくつかの実施形態では、コンピュータ実行可能コードは、１つ以上の汎用コンピュータによって実行される。しかしながら、当業者は、本開示に照らして、汎用コンピュータ上で実行されるソフトウェアを使用して実装され得る、任意のモジュールもまた、ハードウェア、ソフトウェア、またはファームウェアの異なる組み合わせを使用して実装され得ることを理解するであろう。例えば、そのようなモジュールは、集積回路の組み合わせを使用して、完全にハードウェアで実装されることができる。代替として、または加えて、そのようなモジュールは、汎用コンピュータによってではなく、本明細書に説明される特定の機能を果たすように設計される特殊化コンピュータを使用して、完全または部分的に実装されることができる。加えて、少なくとも部分的にコンピュータソフトウェアによって実施される、または実施され得る方法が説明される場合、そのような方法は、コンピュータまたは他の処理デバイスによって読み取られたときに方法を実施させる、非一過性のコンピュータ可読媒体（例えば、ＣＤまたはＤＶＤ等の光ディスク、ハードディスクドライブ、フラッシュメモリ、ディスケット、または同等物）上に提供され得ることを理解されたい。
ある実施形態が、明示的に説明されているが、他の実施形態も、本開示に基づいて当業者に明白となるであろう。

Claims (24)

  1. システムであって、
    空間の中心部分の複数のビデオを複数の異なる視点から捕捉するように前記空間の周縁を中心として位置する複数の分散型ビデオカメラと、
    前記複数のビデオの前記捕捉の間に複数のオーディオ信号を捕捉するように前記空間の周縁を中心として位置する複数の分散型マイクロホンと、
    前記複数のビデオ、前記複数のオーディオ信号、および前記空間内の各マイクロホンの位置についての場所情報を受信するように構成されるプロセッサであって、前記プロセッサはさらに、前記オーディオ信号および前記場所情報に基づいて、前記空間に関する音波場の少なくとも一部の表現を生成するように構成される、プロセッサと
    を備える、システム。
  2. 前記プロセッサはさらに、前記複数のビデオおよび前記音波場を組み合わせて、前記空間の立体オーディオビジュアル表現を生成するように構成される、請求項１に記載のシステム。
  3. 前記複数のマイクロホンは、前記空間の３６０°網羅率を提供するように離間される、請求項１に記載のシステム。
  4. 前記音波場の前記表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、請求項１に記載のシステム。
  5. 前記プロセッサはさらに、前記音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、請求項１に記載のシステム。
  6. 前記音波場の前記表現を使用して、前記プロセッサはさらに、前記音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、前記仮想オーディオ信号は、前記選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、請求項１に記載のシステム。
  7. 前記場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、請求項６に記載のシステム。
  8. 前記プロセッサはさらに、前記複数のビデオを使用して、前記選択された場所の仮想視点における仮想ビデオ信号を決定するように構成され、前記仮想ビデオ信号は、前記仮想視点においてビデオカメラによって捕捉されたであろうビデオ信号を推定する、請求項６に記載のシステム。
  9. デバイスであって、
    方法を行うように構成されるプロセッサであって、前記方法は、
    複数の分散型ビデオカメラから、複数の視点から捕捉された場面の複数のビデオを受信することと、
    複数の分散型マイクロホンから、前記複数のビデオの前記捕捉の間に捕捉された複数のオーディオ信号を受信することと、
    前記複数のマイクロホンの位置についての場所情報を受信することと、
    前記オーディオ信号および前記場所情報に基づいて、音波場の少なくとも一部の表現を生成することと
    を含む、プロセッサと、
    前記オーディオ信号および場所追跡信号を記憶するためのメモリと
    を備える、デバイス。
  10. 前記プロセッサはさらに、前記複数のビデオおよび前記音波場を組み合わせて、前記場面の立体オーディオビジュアル表現を生成するように構成される、請求項９に記載のデバイス。
  11. 前記複数のマイクロホンは、前記空間の３６０°網羅率を提供するように離間される、請求項９に記載のデバイス。
  12. 前記音波場の前記表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、請求項９に記載のデバイス。
  13. 前記プロセッサはさらに、前記音波場を仮想、拡張、または複合現実環境にマッピングするように構成される、請求項９に記載のデバイス。
  14. 前記音波場の前記表現を使用して、前記プロセッサはさらに、前記音波場内の選択された場所における仮想オーディオ信号を決定するように構成され、前記仮想オーディオ信号は、前記選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、請求項９に記載のデバイス。
  15. 前記場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、請求項１４に記載のデバイス。
  16. 前記プロセッサはさらに、前記複数のビデオを使用して、前記選択された場所の仮想視点における仮想ビデオ信号を決定するように構成され、前記仮想ビデオ信号は、前記仮想視点においてビデオカメラによって捕捉されたであろうビデオ信号を推定する、請求項１４に記載のデバイス。
  17. 方法であって、
    複数の分散型ビデオカメラから、複数の視点から捕捉された場面の複数のビデオを受信することと、
    複数の分散型マイクロホンから、前記複数のビデオの前記捕捉の間に捕捉された複数のオーディオ信号を受信することと、
    前記複数のマイクロホンの位置についての場所情報を受信することと、
    前記オーディオ信号および前記場所情報に基づいて、音波場の少なくとも一部の表現を生成することと
    を含む、方法。
  18. 前記複数のビデオおよび前記音波場を組み合わせて、前記場面の立体オーディオビジュアル表現を生成することをさらに含む、請求項１７に記載の方法。
  19. 前記複数のマイクロホンは、前記空間の３６０°網羅率を提供するように離間される、請求項１７に記載の方法。
  20. 前記音波場の前記表現は、複数回にわたるグリッド上の複数の空間点のそれぞれにおける音値を備える、請求項１７に記載の方法。
  21. 前記音波場を仮想、拡張、または複合現実環境にマッピングすることをさらに含む、請求項１７に記載の方法。
  22. 前記音波場の前記表現を使用して、前記音波場内の選択された場所における仮想オーディオ信号を決定することをさらに含み、前記仮想オーディオ信号は、前記選択された場所においてマイクロホンによって検出されたであろうオーディオ信号を推定する、請求項１７に記載の方法。
  23. 前記場所は、仮想または拡張現実環境内の仮想、拡張、または複合現実システムのユーザの場所に基づいて選択される、請求項２２に記載の方法。
  24. 前記複数のビデオを使用して、前記選択された場所の仮想視点における仮想ビデオ信号を決定することをさらに含み、前記仮想ビデオ信号は、前記仮想視点においてビデオカメラによって捕捉されたであろうビデオ信号を推定する、請求項２２に記載の方法。
JP2022128787A 2016-12-05 2022-08-12 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法 Pending JP2022163173A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662430268P 2016-12-05 2016-12-05
US62/430,268 2016-12-05
JP2019528706A JP7125397B2 (ja) 2016-12-05 2017-12-04 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019528706A Division JP7125397B2 (ja) 2016-12-05 2017-12-04 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法

Publications (1)

Publication Number Publication Date
JP2022163173A true JP2022163173A (ja) 2022-10-25

Family

ID=62244248

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019528706A Active JP7125397B2 (ja) 2016-12-05 2017-12-04 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法
JP2022128787A Pending JP2022163173A (ja) 2016-12-05 2022-08-12 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2019528706A Active JP7125397B2 (ja) 2016-12-05 2017-12-04 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法

Country Status (9)

Country Link
US (2) US10531220B2 (ja)
EP (1) EP3549030A4 (ja)
JP (2) JP7125397B2 (ja)
KR (1) KR102502647B1 (ja)
CN (3) CN118400680A (ja)
AU (2) AU2017372721A1 (ja)
CA (1) CA3045512A1 (ja)
IL (2) IL282046B1 (ja)
WO (1) WO2018106605A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
CN106774930A (zh) * 2016-12-30 2017-05-31 中兴通讯股份有限公司 一种数据处理方法、装置及采集设备
JP7449856B2 (ja) 2017-10-17 2024-03-14 マジック リープ， インコーポレイテッド 複合現実空間オーディオ
IL305799B2 (en) 2018-02-15 2024-10-01 Magic Leap Inc Virtual reverberation in mixed reality
US10585641B2 (en) * 2018-04-30 2020-03-10 Qualcomm Incorporated Tagging a sound in a virtual environment
CN112205005B (zh) * 2018-05-23 2022-06-24 皇家Kpn公司 使声学渲染适应基于图像的对象
CN109274575B (zh) * 2018-08-08 2020-07-24 阿里巴巴集团控股有限公司 消息发送方法及装置和电子设备
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
KR20210106546A (ko) 2018-12-24 2021-08-30 디티에스, 인코포레이티드 딥 러닝 이미지 분석을 사용한 룸 음향 시뮬레이션
US11221820B2 (en) * 2019-03-20 2022-01-11 Creative Technology Ltd System and method for processing audio between multiple audio spaces
GB2582952B (en) * 2019-04-10 2022-06-15 Sony Interactive Entertainment Inc Audio contribution identification system and method
US11399253B2 (en) 2019-06-06 2022-07-26 Insoundz Ltd. System and methods for vocal interaction preservation upon teleportation
US11082756B2 (en) 2019-06-25 2021-08-03 International Business Machines Corporation Crowdsource recording and sharing of media files
US11304017B2 (en) * 2019-10-25 2022-04-12 Magic Leap, Inc. Reverberation fingerprint estimation
KR102334091B1 (ko) * 2020-03-20 2021-12-02 주식회사 코클리어닷에이아이 오디오 인식을 수행하는 증강현실 디바이스 및 그의 제어방법
US11317973B2 (en) * 2020-06-09 2022-05-03 Globus Medical, Inc. Camera tracking bar for computer assisted navigation during surgery
EP4387277A4 (en) * 2021-09-03 2024-08-14 Sony Group Corp INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
CN114286278B (zh) * 2021-12-27 2024-03-15 北京百度网讯科技有限公司 音频数据处理方法、装置、电子设备及存储介质
WO2024101683A1 (ko) * 2022-11-09 2024-05-16 삼성전자주식회사 오디오 신호를 레코딩하기 위한 웨어러블 장치 및 그 방법
CN115556115B (zh) * 2022-11-11 2024-07-23 创客天下(北京)科技发展有限公司 基于mr技术的协作机器人控制系统
CN116709162B (zh) * 2023-08-09 2023-11-21 腾讯科技（深圳）有限公司 音频处理方法及相关设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150221334A1 (en) * 2013-11-05 2015-08-06 LiveStage°, Inc. Audio capture for multi point image capture systems
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法
JP2016092772A (ja) * 2014-11-11 2016-05-23 ソニー株式会社 信号処理装置及びその信号処理方法、並びにプログラム
JP2018019294A (ja) * 2016-07-28 2018-02-01 キヤノン株式会社 情報処理システム及びその制御方法、コンピュータプログラム

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6222525B1 (en) 1992-03-05 2001-04-24 Brad A. Armstrong Image controllers with sheet connected sensors
US5670988A (en) 1995-09-05 1997-09-23 Interlink Electronics, Inc. Trigger operated electronic device
US20030007648A1 (en) * 2001-04-27 2003-01-09 Christopher Currell Virtual audio system and techniques
AUPR647501A0 (en) 2001-07-19 2001-08-09 Vast Audio Pty Ltd Recording a three dimensional auditory scene and reproducing it for the individual listener
NO319467B1 (no) * 2003-12-29 2005-08-15 Tandberg Telecom As System og fremgangsmate for forbedret subjektiv stereolyd
USD514570S1 (en) 2004-06-24 2006-02-07 Microsoft Corporation Region of a fingerprint scanning device with an illuminated ring
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US8696113B2 (en) 2005-10-07 2014-04-15 Percept Technologies Inc. Enhanced optical and perceptual digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US8094838B2 (en) * 2007-01-15 2012-01-10 Eastman Kodak Company Voice command of audio emitting device
US20090262137A1 (en) * 2008-01-10 2009-10-22 Walker Jay S Systems and methods for presenting prediction in a broadcast
JP5018520B2 (ja) 2008-02-01 2012-09-05 富士通株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9185361B2 (en) * 2008-07-29 2015-11-10 Gerald Curry Camera-based tracking and position determination for sporting events using event information and intelligence data extracted in real-time from position information
US8243970B2 (en) 2008-08-11 2012-08-14 Telefonaktiebolaget L M Ericsson (Publ) Virtual reality sound for advanced multi-media applications
US9253560B2 (en) * 2008-09-16 2016-02-02 Personics Holdings, Llc Sound library and method
PL2465114T3 (pl) 2009-08-14 2020-09-07 Dts Llc System do adaptacyjnej transmisji potokowej obiektów audio
US8767968B2 (en) 2010-10-13 2014-07-01 Microsoft Corporation System and method for high-precision 3-dimensional audio for augmented reality
US9304319B2 (en) 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
ES2643163T3 (es) * 2010-12-03 2017-11-21 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Aparato y procedimiento para codificación de audio espacial basada en geometría
US10156722B2 (en) 2010-12-24 2018-12-18 Magic Leap, Inc. Methods and systems for displaying stereoscopy with a freeform optical system with addressable focus for virtual and augmented reality
CA2822978C (en) 2010-12-24 2019-02-19 Hong Hua An ergonomic head mounted display device and optical system
JP6316186B2 (ja) 2011-05-06 2018-04-25 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 広範囲同時遠隔ディジタル提示世界
US9084068B2 (en) * 2011-05-30 2015-07-14 Sony Corporation Sensor-based placement of sound in video recording
NL2006997C2 (en) * 2011-06-24 2013-01-02 Bright Minds Holding B V Method and device for processing sound data.
GB2493029B (en) * 2011-07-22 2013-10-23 Mikko Pekka Vainiala Method and apparatus for impulse response measurement and simulation
US10795448B2 (en) 2011-09-29 2020-10-06 Magic Leap, Inc. Tactile glove for human-computer interaction
RU2017115669A (ru) 2011-10-28 2019-01-28 Мэджик Лип, Инк. Система и способ для дополненной и виртуальной реальности
KR102116697B1 (ko) 2011-11-23 2020-05-29 매직 립, 인코포레이티드 3차원 가상 및 증강 현실 디스플레이 시스템
US9131305B2 (en) 2012-01-17 2015-09-08 LI Creative Technologies, Inc. Configurable three-dimensional sound system
US20150131824A1 (en) 2012-04-02 2015-05-14 Sonicemotion Ag Method for high quality efficient 3d sound reproduction
KR102028732B1 (ko) 2012-04-05 2019-10-04 매직 립, 인코포레이티드 능동 포비에이션 능력을 갖는 와이드-fov(field of view) 이미지 디바이스들
US9310559B2 (en) 2012-06-11 2016-04-12 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
JP5773960B2 (ja) * 2012-08-30 2015-09-02 日本電信電話株式会社 音響再生装置とその方法とプログラム
AU2013315607A1 (en) 2012-09-11 2015-04-02 Magic Leap, Inc Ergonomic head mounted display device and optical system
US20140100839A1 (en) 2012-09-13 2014-04-10 David Joseph Arendash Method for controlling properties of simulated environments
US9301069B2 (en) * 2012-12-27 2016-03-29 Avaya Inc. Immersive 3D sound space for searching audio
IL293789B2 (en) 2013-01-15 2023-08-01 Magic Leap Inc A system for scanning electromagnetic imaging radiation
CN104919820B (zh) * 2013-01-17 2017-04-26 皇家飞利浦有限公司 双耳音频处理
CN105188516B (zh) 2013-03-11 2017-12-22 奇跃公司 用于增强和虚拟现实的系统与方法
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
US9483228B2 (en) * 2013-08-26 2016-11-01 Dolby Laboratories Licensing Corporation Live engine
IL302408B2 (en) 2013-10-16 2024-09-01 Magic Leap Inc An augmented or virtual reality head device with intrapupillary distance adjustment
GB2520305A (en) * 2013-11-15 2015-05-20 Nokia Corp Handling overlapping audio recordings
US9857591B2 (en) 2014-05-30 2018-01-02 Magic Leap, Inc. Methods and system for creating focal planes in virtual and augmented reality
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
NZ722903A (en) 2014-01-31 2020-05-29 Magic Leap Inc Multi-focal display system and method
CN106461955B (zh) 2014-01-31 2019-08-13 奇跃公司 显示增强现实的方法
US10203762B2 (en) 2014-03-11 2019-02-12 Magic Leap, Inc. Methods and systems for creating virtual and augmented reality
WO2016018488A2 (en) 2014-05-09 2016-02-04 Eyefluence, Inc. Systems and methods for discerning eye signals and continuous biometric identification
USD759657S1 (en) 2014-05-19 2016-06-21 Microsoft Corporation Connector with illumination region
CN113253476B (zh) 2014-05-30 2022-12-27 奇跃公司 采用虚拟或增强现实装置生成虚拟内容显示的方法和系统
USD752529S1 (en) 2014-06-09 2016-03-29 Comcast Cable Communications, Llc Electronic housing with illuminated region
CN104407700A (zh) * 2014-11-27 2015-03-11 曦煌科技(北京)有限公司 一种移动头戴式虚拟现实和增强现实的设备
USD758367S1 (en) 2015-05-14 2016-06-07 Magic Leap, Inc. Virtual reality headset
USD805734S1 (en) 2016-03-04 2017-12-26 Nike, Inc. Shirt
USD794288S1 (en) 2016-03-11 2017-08-15 Nike, Inc. Shoe with illuminable sole light sequence
FR3049084B1 (fr) * 2016-03-15 2022-11-11 Fraunhofer Ges Forschung Dispositif de codage pour le traitement d'un signal d'entree et dispositif de decodage pour le traitement d'un signal code
US10042604B2 (en) * 2016-07-01 2018-08-07 Metrik LLC Multi-dimensional reference element for mixed reality environments
US10531220B2 (en) 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150221334A1 (en) * 2013-11-05 2015-08-06 LiveStage°, Inc. Audio capture for multi point image capture systems
WO2015162947A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 情報再生装置及び情報再生方法、並びに情報記録装置及び情報記録方法
JP2016092772A (ja) * 2014-11-11 2016-05-23 ソニー株式会社 信号処理装置及びその信号処理方法、並びにプログラム
JP2018019294A (ja) * 2016-07-28 2018-02-01 キヤノン株式会社 情報処理システム及びその制御方法、コンピュータプログラム

Also Published As

Publication number Publication date
EP3549030A4 (en) 2020-06-17
JP7125397B2 (ja) 2022-08-24
WO2018106605A1 (en) 2018-06-14
US10531220B2 (en) 2020-01-07
IL282046A (en) 2021-05-31
CN110249640A (zh) 2019-09-17
US11528576B2 (en) 2022-12-13
CN110249640B (zh) 2021-08-10
EP3549030A1 (en) 2019-10-09
IL266889A (en) 2019-07-31
CN118400680A (zh) 2024-07-26
US20180160251A1 (en) 2018-06-07
CA3045512A1 (en) 2018-06-14
KR20230027330A (ko) 2023-02-27
JP2020501428A (ja) 2020-01-16
US20200112813A1 (en) 2020-04-09
KR20190091474A (ko) 2019-08-06
AU2017372721A1 (en) 2019-06-13
CN113556665B (zh) 2024-06-04
KR102502647B1 (ko) 2023-02-21
IL266889B (en) 2021-04-29
IL282046B1 (en) 2024-07-01
CN113556665A (zh) 2021-10-26
AU2022235566A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
JP7125397B2 (ja) 仮想現実（ｖｒ）、拡張現実（ａｒ）、および複合現実（ｍｒ）システムのための分散型オーディオ捕捉技法
US11617050B2 (en) Systems and methods for sound source virtualization
KR102609668B1 (ko) 가상, 증강, 및 혼합 현실
US20190313201A1 (en) Systems and methods for sound externalization over headphones
GB2543276A (en) Distributed audio capture and mixing
CN112005556B (zh) 确定声源的位置的方法、声源定位系统以及存储介质
US10979806B1 (en) Audio system having audio and ranging components
JP2017199017A (ja) 模擬地震被害の仮想現実体験システム、模擬地震被害の仮想現実体験方法
JP6218197B1 (ja) 模擬地震被害の実現象データ生成システム、模擬地震被害の実現象データ生成方法
WO2023033109A1 (ja) 情報処理システム、情報処理方法および情報処理プログラム
KR102725056B1 (ko) 가상 현실(vr), 증강 현실(ar), 및 혼합 현실(mr) 시스템들을 위한 분산형 오디오 캡처링 기술들
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
NZ795232A (en) Distributed audio capturing techniques for virtual reality (1vr), augmented reality (ar), and mixed reality (mr) systems
EP3713256A1 (en) Sound processing system of ambisonic format and sound processing method of ambisonic format
WO2019174442A1 (zh) 拾音设备、声音输出方法、装置、存储介质及电子装置
WO2023085186A1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
WO2024084920A1 (ja) 音響処理方法、音響処理装置、及び、プログラム
JP2024149165A (ja) 画像処理装置、制御方法、およびプログラム
CN118250628A (zh) 音频信号的处理方法、系统、设备以及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220812

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230809

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230816

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20231115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20240115

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240214

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240416