JP2023090737A - 複合現実仮想反響音 - Google Patents
複合現実仮想反響音 Download PDFInfo
- Publication number
- JP2023090737A JP2023090737A JP2023063331A JP2023063331A JP2023090737A JP 2023090737 A JP2023090737 A JP 2023090737A JP 2023063331 A JP2023063331 A JP 2023063331A JP 2023063331 A JP2023063331 A JP 2023063331A JP 2023090737 A JP2023090737 A JP 2023090737A
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- user
- real
- virtual
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000005236 sound signal Effects 0.000 abstract description 307
- 238000012546 transfer Methods 0.000 abstract description 91
- 238000000034 method Methods 0.000 abstract description 60
- 230000006870 function Effects 0.000 description 96
- 238000012045 magnetic resonance elastography Methods 0.000 description 77
- 210000003128 head Anatomy 0.000 description 32
- 239000013598 vector Substances 0.000 description 31
- 239000000463 material Substances 0.000 description 23
- 230000000694 effects Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 230000000007 visual effect Effects 0.000 description 17
- 238000001914 filtration Methods 0.000 description 15
- 230000001419 dependent effect Effects 0.000 description 14
- 230000010363 phase shift Effects 0.000 description 11
- 230000009466 transformation Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000002085 persistent effect Effects 0.000 description 9
- 239000011159 matrix material Substances 0.000 description 8
- 230000033001 locomotion Effects 0.000 description 7
- 230000008447 perception Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013519 translation Methods 0.000 description 7
- 230000001934 delay Effects 0.000 description 6
- 241000282472 Canis lupus familiaris Species 0.000 description 5
- 239000011449 brick Substances 0.000 description 5
- 210000005069 ears Anatomy 0.000 description 5
- 210000001747 pupil Anatomy 0.000 description 5
- 230000006399 behavior Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000007654 immersion Methods 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000001228 spectrum Methods 0.000 description 4
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000002156 mixing Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 201000003152 motion sickness Diseases 0.000 description 3
- 230000001151 other effect Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000013515 script Methods 0.000 description 2
- 230000035807 sensation Effects 0.000 description 2
- 235000019615 sensations Nutrition 0.000 description 2
- 230000003595 spectral effect Effects 0.000 description 2
- 238000003786 synthesis reaction Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000219357 Cactaceae Species 0.000 description 1
- 241000333074 Eucalyptus occidentalis Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 241000153282 Theope Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000000872 buffer Substances 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 208000004209 confusion Diseases 0.000 description 1
- 238000013016 damping Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000002050 diffraction method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 206010013395 disorientation Diseases 0.000 description 1
- 210000003027 ear inner Anatomy 0.000 description 1
- 238000002592 echocardiography Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 206010025482 malaise Diseases 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003278 mimic effect Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 150000003014 phosphoric acid esters Chemical class 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 229920001296 polysiloxane Polymers 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000035943 smell Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 235000019640 taste Nutrition 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/568—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
- H04N21/42203—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] sound input device, e.g. microphone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/305—Electronic adaptation of stereophonic audio signals to reverberation of the listening space
- H04S7/306—For headphones
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Abstract
【課題】オーディオ信号を複合現実環境のユーザに提示する方法の提供。【解決手段】オーディオ信号を複合現実環境のユーザに提示する方法が、開示され、本方法は、複合現実環境内の第1のオーディオ信号を検出するステップであって、第1のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザと関連付けられた聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第1のオーディオ信号に適用し、第2のオーディオ信号を発生させるステップと、ユーザに、第2のオーディオ信号を提示するステップとを含む。【選択図】図5B
Description
(関連出願の相互参照)
本願は、参照することによって全体として本明細書に組み込まれる、2018年2月15日に出願された、米国仮特許出願第62/631,418号の利益を主張する。
本願は、参照することによって全体として本明細書に組み込まれる、2018年2月15日に出願された、米国仮特許出願第62/631,418号の利益を主張する。
本開示は、概して、オーディオ信号を提示するためのシステムおよび方法に関し、特に、反射オーディオ信号を複合現実環境のユーザに提示するためのシステムおよび方法に関する。
仮想環境は、コンピューティング環境において遍在しており、ビデオゲーム(仮想環境が、ゲーム世界を表し得る)、マップ(仮想環境が、ナビゲートされるべき地形を表し得る)、シミュレーション(仮想環境が、実環境をシミュレートし得る)、デジタルストーリーテリング(仮想キャラクタが、仮想環境内で相互に相互作用し得る)、および多くの他の用途において使用を見出している。現代のコンピュータユーザは、概して、快適に仮想環境を知覚し、それと相互作用する。しかしながら、仮想環境を伴うユーザの体験は、仮想環境を提示するための技術によって限定され得る。例えば、従来のディスプレイ(例えば、2Dディスプレイ画面)およびオーディオシステム(例えば、固定スピーカ)は、人を引き付け、現実的で、かつ没入型の体験を作成するように、仮想環境を実現することが不可能であり得る。
仮想現実(「VR」)、拡張現実(「AR」)、複合現実(「MR」)、および関連技術(集合的に、「XR」)は、XRシステムのユーザにコンピュータシステム内のデータによって表される仮想環境に対応する感覚情報を提示する能力を共有する。本開示は、VR、AR、およびMRシステム間の特異性を考慮する(但し、いくつかのシステムは、一側面(例えば、視覚的側面)では、VRとしてカテゴリ化され、同時に、別の側面(例えば、オーディオ側面)では、ARまたはMRとしてカテゴリ化され得る)。本明細書で使用されるように、VRシステムは、少なくとも1つの側面においてユーザの実環境を置換する、仮想環境を提示する。例えば、VRシステムは、ユーザに、仮想環境のビューを提示し得る一方、同時に、光遮断頭部搭載型ディスプレイ等を用いて、実環境のそのビューを不明瞭にする。同様に、VRシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを遮断する(減衰させる)。
VRシステムは、ユーザの実環境を仮想環境と置換することから生じる、種々の短所を被り得る。1つの短所は、仮想環境内のユーザの視野が、(仮想環境ではなく)実環境内におけるその平衡および配向を検出する、その内耳の状態にもはや対応しなくなるときに生じ得る、乗り物酔いを感じることである。同様に、ユーザは、自身の身体および四肢(そのビューは、ユーザが実環境内において「地に足が着いている」と感じるために依拠するものである)が直接可視ではない場合、VR環境内において失見当識を被り得る。別の短所は、特に、ユーザを仮想環境内に没入させようとする、リアルタイム用途において、完全3D仮想環境を提示しなければならない、VRシステムに課される算出負担(例えば、記憶、処理力)である。同様に、そのような環境は、ユーザが、仮想環境内のわずかな不完全性にさえ敏感である傾向にあって、そのいずれも、仮想環境内のユーザの没入感を破壊し得るため、没入していると見なされるために、非常に高水準の現実性に到達する必要があり得る。さらに、VRシステムの別の短所は、システムのそのような用途が、実世界内で体験する、種々の光景および音等の実環境内の広範囲の感覚データを利用することができないことである。関連短所は、実環境内の物理的空間を共有するユーザが、仮想環境内で直接見る、または相互に相互作用することが不可能であり得るため、VRシステムが、複数のユーザが相互作用し得る、共有環境を作成することに苦戦し得ることである。
本明細書で使用されるように、ARシステムは、少なくとも1つの側面において実環境に重複またはオーバーレイする、仮想環境を提示する。例えば、ARシステムは、表示される画像を提示する一方、光が、ディスプレイを通してユーザの眼の中に通過することを可能にする、透過性頭部搭載型ディスプレイ等を用いて、ユーザに、実環境のユーザのビュー上にオーバーレイされる仮想環境のビューを提示し得る。同様に、ARシステムは、ユーザに、仮想環境に対応するオーディオを提示し得る一方、同時に、実環境からのオーディオを混合させる。同様に、本明細書で使用されるように、MRシステムは、ARシステムと同様に、少なくとも1つの側面において実環境に重複またはオーバーレイする、仮想環境を提示し、加えて、MRシステム内の仮想環境が、少なくとも1つの側面において実環境と相互作用し得ることを可能にし得る。例えば、仮想環境内の仮想キャラクタが、実環境内の照明スイッチを切り替え、実環境内の対応する電球をオンまたはオフにさせてもよい。別の実施例として、仮想キャラクタが、実環境内のオーディオ信号に反応してもよい(顔の表情等を用いて)。実環境の提示を維持することによって、ARおよびMRシステムは、VRシステムの前述の短所のうちのいくつかを回避し得る。例えば、ユーザにおける乗り物酔いは、実環境からの視覚的キュー(ユーザ自身の身体を含む)が、可視のままであり得、そのようなシステムが、没入型であるために、ユーザに、完全に実現された3D環境を提示する必要がないため、低減される。さらに、ARおよびMRシステムは、実世界感覚入力(例えば、景色、オブジェクト、および他のユーザのビューおよび音)を利用して、その入力を拡張させる、新しい用途を作成することができる。
XRシステムは、ユーザに、仮想環境と相互作用するための種々の方法を提供し得る。例えば、XRシステムは、ユーザの位置および配向、顔の表情、発話、および他の特性を検出し、本情報を入力として仮想環境に提示するために、種々のセンサ(例えば、カメラ、マイクロホン等)を含んでもよい。いくつかのXRシステムは、仮想「マレット」等のセンサ装備入力デバイスを組み込んでもよく、入力デバイスの位置、配向、または他の特性を検出するように構成されてもよい。
XRシステムは、仮想視覚およびオーディオキューと実光景および音を組み合わせることによって、特有の高度な没入感および現実性をもたらすことができる。例えば、自身の感覚体験の側面、特に、微細な側面を模倣するように、オーディオキューをXRシステムのユーザに提示することが望ましくあり得る。本発明は、ユーザに、複合現実環境内の仮想オブジェクトに対する実音波(例えば、ユーザ自身の音声)の反射をシミュレートする、反射オーディオ信号を提示することを対象とする。仮想オブジェクトに対するユーザの位置および配向および仮想オブジェクトの属性(その材料性質等)を考慮することによって、反射オーディオ信号は、仮想オブジェクトがユーザの環境内の実オブジェクトであった場合にユーザによって聞こえるであろう、反射をシミュレートすることができる。仮想オブジェクトを使用して、音波が実世界内で挙動する方法に忠実である、オーディオキューを提示することによって、ユーザは、複合現実環境内のそのような仮想オブジェクトの高度な認知を体験し得る。
使用の一実施例では、近傍の仮想オブジェクト(例えば、ユーザの顔から20センチメートルに保持された仮想書籍)からのユーザ自身の音声の初期に到着した反射が、合成される。このように、複合現実環境内の仮想コンテンツの現実性は、向上されることができる。仮想状態では、書籍は、ユーザの音声をユーザの耳に戻るように物理的に反射させることができない。しかし、書籍が実際のものである場合に発生させられるであろう反射オーディオ波が、算出され、例えば、複合現実ウェアラブル頭部デバイスに結合される、1つ以上のスピーカを介して、出力されることができる。
本開示の実施例は、オーディオ信号を複合現実環境のユーザに提示するためのシステムおよび方法を説明する。一実施例では、本方法は、複合現実環境内の第1のオーディオ信号を検出するステップであって、第1のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザと関連付けられた聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第1のオーディオ信号に適用し、第2のオーディオ信号を発生させるステップと、ユーザに、第2のオーディオ信号を提示するステップとを含む。
本発明は、例えば、以下を提供する。
(項目1)
オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、
前記複合現実環境内の第1のオーディオ信号を検出することであって、前記第1のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別することと、
前記ユーザと関連付けられた聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第1のオーディオ信号に適用し、第2のオーディオ信号を発生させることと、
ユーザに、前記第2のオーディオ信号を提示することと
を含む、方法。
(項目2)
前記複合現実環境内の前記ユーザの位置を識別することをさらに含み、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目1に記載の方法。
(項目3)
前記第1のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目1に記載の方法。
(項目4)
前記複合現実環境内の前記ユーザの配向を識別することをさらに含み、前記伝達関数は、前記ユーザの配向を使用して決定される、項目1に記載の方法。
(項目5)
前記第1のオーディオ信号は、ユーザ生成信号である、項目1に記載の方法。
(項目6)
前記第1のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することをさらに含み、前記伝達関数は、前記角度を使用して決定される、項目1に記載の方法。
(項目7)
前記第1のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目1に記載の方法。
(項目8)
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目1に記載の方法。
(項目9)
前記伝達関数は、時間、周波数、利得、および位相のうちの1つ以上のものの関数を含む、項目1に記載の方法。
(項目10)
前記伝達関数は、頭部関連伝達関数を含む、項目1に記載の方法。
(項目11)
前記複合現実環境内の前記第2のオーディオ信号の原点および方向を決定することをさらに含み、前記伝達関数は、前記第2のオーディオ信号の原点および方向を使用して決定される、項目1に記載の方法。
(項目12)
前記第1のオーディオ信号は、ユーザによって装着されるウェアラブル頭部デバイスと関連付けられたマイクロホンを使用して検出される、項目1に記載の方法。
(項目13)
ユーザに、ディスプレイを介して、前記仮想オブジェクトを提示することをさらに含む、項目1に記載の方法。
(項目14)
システムであって、
ウェアラブル頭部デバイスであって、
複合現実環境をユーザに表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視となる透過性接眼レンズを備える、ディスプレイと、
マイクロホンと、
スピーカと、
前記複合現実環境内の前記ウェアラブル頭部デバイスの位置および配向のうちの1つ以上のものを検出するように構成されるセンサと
を含む、ウェアラブル頭部デバイスと、
1つ以上のプロセッサであって、
前記マイクロホンを介して、前記複合現実環境内の第1のオーディオ信号を検出することであって、前記第1のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別することと、
ユーザに、前記ディスプレイを介して、前記仮想オブジェクトを提示することと、
前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの位置を識別することと、
前記ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第1のオーディオ信号に適用し、第2のオーディオ信号を発生させることと、
ユーザに、前記スピーカを介して、前記第2のオーディオ信号を提示することと
を実施するように構成される、1つ以上のプロセッサと
を備える、システム。
(項目15)
前記マイクロホンを介して、前記第1のオーディオ信号を検出することは、前記マイクロホンを介して、前記ユーザによって生成された音声信号を検出することを含む、項目14に記載のシステム。
(項目16)
前記1つ以上のプロセッサはさらに、前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの配向を識別することを実施するように構成され、前記伝達関数は、前記ウェアラブル頭部デバイスの配向を使用して決定される、項目14に記載のシステム。
(項目17)
前記1つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの位置を識別することを実施するように構成され、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目14に記載のシステム。
(項目18)
前記第1のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目14に記載のシステム。
(項目19)
前記1つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの配向を識別することを実施するように構成され、前記伝達関数はさらに、前記ユーザの配向を使用して決定される、項目14に記載のシステム。
(項目20)
前記第1のオーディオ信号は、ユーザ生成信号である、項目14に記載のシステム。
(項目21)
前記1つ以上のプロセッサはさらに、前記第1のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することを実施するように構成され、前記伝達関数は、前記角度を使用して決定される、項目14に記載のシステム。
(項目22)
前記第1のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目14に記載のシステム。
(項目23)
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目14に記載のシステム。
(項目24)
前記伝達関数は、時間、周波数、利得、および位相のうちの1つ以上のものの関数を含む、項目14に記載のシステム。
(項目25)
前記伝達関数は、頭部関連伝達関数を含む、項目14に記載のシステム。
(項目26)
前記1つ以上のプロセッサはさらに、前記複合現実環境内の前記第2のオーディオ信号の原点および方向を決定することを実施するように構成され、前記伝達関数は、前記第2のオーディオ信号の原点および方向を使用して決定される、項目14に記載のシステム。
本発明は、例えば、以下を提供する。
(項目1)
オーディオ信号を複合現実環境のユーザに提示する方法であって、前記方法は、
前記複合現実環境内の第1のオーディオ信号を検出することであって、前記第1のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別することと、
前記ユーザと関連付けられた聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第1のオーディオ信号に適用し、第2のオーディオ信号を発生させることと、
ユーザに、前記第2のオーディオ信号を提示することと
を含む、方法。
(項目2)
前記複合現実環境内の前記ユーザの位置を識別することをさらに含み、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目1に記載の方法。
(項目3)
前記第1のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目1に記載の方法。
(項目4)
前記複合現実環境内の前記ユーザの配向を識別することをさらに含み、前記伝達関数は、前記ユーザの配向を使用して決定される、項目1に記載の方法。
(項目5)
前記第1のオーディオ信号は、ユーザ生成信号である、項目1に記載の方法。
(項目6)
前記第1のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することをさらに含み、前記伝達関数は、前記角度を使用して決定される、項目1に記載の方法。
(項目7)
前記第1のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目1に記載の方法。
(項目8)
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目1に記載の方法。
(項目9)
前記伝達関数は、時間、周波数、利得、および位相のうちの1つ以上のものの関数を含む、項目1に記載の方法。
(項目10)
前記伝達関数は、頭部関連伝達関数を含む、項目1に記載の方法。
(項目11)
前記複合現実環境内の前記第2のオーディオ信号の原点および方向を決定することをさらに含み、前記伝達関数は、前記第2のオーディオ信号の原点および方向を使用して決定される、項目1に記載の方法。
(項目12)
前記第1のオーディオ信号は、ユーザによって装着されるウェアラブル頭部デバイスと関連付けられたマイクロホンを使用して検出される、項目1に記載の方法。
(項目13)
ユーザに、ディスプレイを介して、前記仮想オブジェクトを提示することをさらに含む、項目1に記載の方法。
(項目14)
システムであって、
ウェアラブル頭部デバイスであって、
複合現実環境をユーザに表示するためのディスプレイであって、前記ディスプレイは、それを通して実環境が可視となる透過性接眼レンズを備える、ディスプレイと、
マイクロホンと、
スピーカと、
前記複合現実環境内の前記ウェアラブル頭部デバイスの位置および配向のうちの1つ以上のものを検出するように構成されるセンサと
を含む、ウェアラブル頭部デバイスと、
1つ以上のプロセッサであって、
前記マイクロホンを介して、前記複合現実環境内の第1のオーディオ信号を検出することであって、前記第1のオーディオ信号は、実オーディオ信号である、ことと、
前記複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別することと、
ユーザに、前記ディスプレイを介して、前記仮想オブジェクトを提示することと、
前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの位置を識別することと、
前記ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別することと、
前記仮想オブジェクトおよび前記聴取者座標を使用して、伝達関数を決定することと、
前記伝達関数を前記第1のオーディオ信号に適用し、第2のオーディオ信号を発生させることと、
ユーザに、前記スピーカを介して、前記第2のオーディオ信号を提示することと
を実施するように構成される、1つ以上のプロセッサと
を備える、システム。
(項目15)
前記マイクロホンを介して、前記第1のオーディオ信号を検出することは、前記マイクロホンを介して、前記ユーザによって生成された音声信号を検出することを含む、項目14に記載のシステム。
(項目16)
前記1つ以上のプロセッサはさらに、前記センサを介して、前記複合現実環境内の前記ウェアラブル頭部デバイスの配向を識別することを実施するように構成され、前記伝達関数は、前記ウェアラブル頭部デバイスの配向を使用して決定される、項目14に記載のシステム。
(項目17)
前記1つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの位置を識別することを実施するように構成され、前記ユーザと関連付けられた前記聴取者座標は、前記位置に基づいて識別される、項目14に記載のシステム。
(項目18)
前記第1のオーディオ信号を検出することは、前記ユーザによって生成された音声信号を検出することを含む、項目14に記載のシステム。
(項目19)
前記1つ以上のプロセッサはさらに、前記複合現実環境内の前記ユーザの配向を識別することを実施するように構成され、前記伝達関数はさらに、前記ユーザの配向を使用して決定される、項目14に記載のシステム。
(項目20)
前記第1のオーディオ信号は、ユーザ生成信号である、項目14に記載のシステム。
(項目21)
前記1つ以上のプロセッサはさらに、前記第1のオーディオ信号が前記仮想オブジェクトと交差する角度を決定することを実施するように構成され、前記伝達関数は、前記角度を使用して決定される、項目14に記載のシステム。
(項目22)
前記第1のオーディオ信号は、前記複合現実環境内の方向と関連付けられ、前記伝達関数は、前記方向を使用して決定される、項目14に記載のシステム。
(項目23)
前記仮想オブジェクトは、材料と関連付けられ、
前記伝達関数は、前記材料を使用して決定される、
項目14に記載のシステム。
(項目24)
前記伝達関数は、時間、周波数、利得、および位相のうちの1つ以上のものの関数を含む、項目14に記載のシステム。
(項目25)
前記伝達関数は、頭部関連伝達関数を含む、項目14に記載のシステム。
(項目26)
前記1つ以上のプロセッサはさらに、前記複合現実環境内の前記第2のオーディオ信号の原点および方向を決定することを実施するように構成され、前記伝達関数は、前記第2のオーディオ信号の原点および方向を使用して決定される、項目14に記載のシステム。
実施例の以下の説明では、本明細書の一部を形成し、例証として、実践され得る具体的実施例が示される、付随の図面を参照する。他の実施例も、使用されることができ、構造変更が、開示される実施例の範囲から逸脱することなく、行われることができることを理解されたい。
複合現実環境
全ての人々と同様に、複合現実システムのユーザは、実環境内に存在する、すなわち、「実世界」の3次元部分と、そのコンテンツの全てとが、ユーザによって知覚可能である。例えば、ユーザは、通常の人間の感覚、すなわち、光景、音、感触、味、臭いを使用して、実環境を知覚し、実環境内で自身の身体を移動させることによって、実環境と相互作用する。実環境内の場所は、座標空間内の座標として説明されることができる。例えば、座標は、緯度、経度、および海抜に対する高度、基準点からの3つの直交次元における距離、または他の好適な値を含むことができる。同様に、ベクトルは、座標空間内の方向および大きさを有する、量を説明することができる。
コンピューティングデバイスは、例えば、デバイスと関連付けられたメモリ内に、仮想環境の表現を維持することができる。本明細書で使用されるように、仮想環境は、3次元空間の算出表現である。仮想環境は、任意のオブジェクトの表現、アクション、信号、パラメータ、座標、ベクトル、またはその空間と関連付けられた他の特性を含むことができる。いくつかの実施例では、コンピューティングデバイスの回路(例えば、プロセッサ)は、仮想環境の状態を維持および更新することができる。すなわち、プロセッサは、第1の時間t0において、仮想環境と関連付けられたデータおよび/またはユーザによって提供される入力に基づいて、第2の時間t1における仮想環境の状態を決定することができる。例えば、仮想環境内のオブジェクトが、時間t0において、第1の座標に位置し、あるプログラムされた物理的パラメータ(例えば、質量、摩擦係数)を有し、ユーザから受信された入力が、力がある方向ベクトルにおいてオブジェクトに印加されるべきであることを示す場合、プロセッサは、運動学の法則を適用し、基本力学を使用して、時間t1におけるオブジェクトの場所を決定することができる。プロセッサは、仮想環境について既知の任意の好適な情報および/または任意の好適な入力を使用して、時間t1における仮想環境の状態を決定することができる。仮想環境の状態を維持および更新する際、プロセッサは、仮想環境内の仮想オブジェクトの作成および削除に関連するソフトウェア、仮想環境内の仮想オブジェクトまたはキャラクタの挙動を定義するためのソフトウェア(例えば、スクリプト)、仮想環境内の信号(例えば、オーディオ信号)の挙動を定義するためのソフトウェア、仮想環境と関連付けられたパラメータを作成および更新するためのソフトウェア、仮想環境内のオーディオ信号を生成するためのソフトウェア、入力および出力をハンドリングするためのソフトウェア、ネットワーク動作を実装するためのソフトウェア、アセットデータ(例えば、仮想オブジェクトを経時的に移動させるためのアニメーションデータ)を適用するためのソフトウェア、または多くの他の可能性を含む、任意の好適なソフトウェアを実行することができる。
ディスプレイまたはスピーカ等の出力デバイスは、仮想環境のいずれかまたは全ての側面をユーザに提示することができる。例えば、仮想環境は、ユーザに提示され得る、仮想オブジェクト(無生物オブジェクト、人々、動物、光等の表現を含み得る)を含んでもよい。プロセッサは、仮想環境のビュー(例えば、原点座標、視軸、および錐台を伴う、「カメラ」に対応する)を決定し、ディスプレイに、そのビューに対応する仮想環境の視認可能場面をレンダリングすることができる。任意の好適なレンダリング技術が、本目的のために使用されてもよい。いくつかの実施例では、視認可能場面は、仮想環境内のいくつかの仮想オブジェクトのみを含み、ある他の仮想オブジェクトを除外してもよい。同様に、仮想環境は、ユーザに1つ以上のオーディオ信号として提示され得る、オーディオ側面を含んでもよい。例えば、仮想環境内の仮想オブジェクトは、オブジェクトの場所座標から生じる音を生成してもよい(例えば、仮想キャラクタが、発話する、または音効果を生じさせ得る)、または仮想環境は、特定の場所と関連付けられる場合とそうではない場合がある、音楽キューまたは周囲音と関連付けられてもよい。プロセッサは、「聴取者」座標に対応するオーディオ信号、例えば、仮想環境内の音の合成に対応し、聴取者座標において聴取者によって聞こえるであろうオーディオ信号をシミュレートするように混合および処理される、オーディオ信号を決定し、ユーザに、1つ以上のスピーカを介して、オーディオ信号を提示することができる。
仮想環境は、算出構造としてのみ存在するため、ユーザは、直接、通常の感覚を使用して、仮想環境を知覚することができない。代わりに、ユーザは、例えば、ディスプレイ、スピーカ、触覚的出力デバイス等によって、ユーザに提示されるように、間接的にのみ、仮想環境を知覚することができる。同様に、ユーザは、直接、仮想環境に触れる、それを操作する、または別様に、それと相互作用することができないが、入力データを、入力デバイスまたはセンサを介して、デバイスまたはセンサデータを使用して、仮想環境を更新し得る、プロセッサに提供することができる。例えば、カメラセンサは、ユーザが仮想環境のオブジェクトを移動させようとしていることを示す、光学データを提供することができ、プロセッサは、そのデータを使用して、仮想環境内において、適宜、オブジェクトを応答させることができる。
複合現実システムは、ユーザに、例えば、透過性ディスプレイおよび/または1つ以上のスピーカ(例えば、ウェアラブル頭部デバイスの中に組み込まれ得る)を使用して、実環境および仮想環境の側面を組み合わせる、複合現実環境(「MRE」)を提示することができる。いくつかの実施形態では、1つ以上のスピーカは、ウェアラブル頭部デバイスの外部にあってもよい。本明細書で使用されるように、MREは、実環境および対応する仮想環境の同時表現である。いくつかの実施例では、対応する実および仮想環境は、単一座標空間を共有する。いくつかの実施例では、実座標空間および対応する仮想座標空間は、変換行列(または他の好適な表現)によって相互に関連する。故に、単一座標(いくつかの実施例では、変換行列とともに)は、実環境内の第1の場所と、また、仮想環境内の第2の対応する場所とを定義し得、その逆も同様である。
MREでは、(例えば、MREと関連付けられた仮想環境内の)仮想オブジェクトは、(例えば、MREと関連付けられた実環境内の)実オブジェクトに対応し得る。例えば、MREの実環境が、実街灯柱(実オブジェクト)をある場所座標に含む場合、MREの仮想環境は、仮想街灯柱(仮想オブジェクト)を対応する場所座標に含んでもよい。本明細書で使用されるように、実オブジェクトは、その対応する仮想オブジェクトと組み合わせて、ともに「複合現実オブジェクト」を構成する。仮想オブジェクトが対応する実オブジェクトに完璧に合致または整合することは、必要ではない。いくつかの実施例では、仮想オブジェクトは、対応する実オブジェクトの簡略化されたバージョンであることができる。例えば、実環境が、実街灯柱を含む場合、対応する仮想オブジェクトは、実街灯柱と概ね同一高さおよび半径の円筒形を含んでもよい(街灯柱が略円筒形形状であり得ることを反映する)。仮想オブジェクトをこのように簡略化することは、算出効率を可能にすることができ、そのような仮想オブジェクト上で実施されるための計算を簡略化することができる。さらに、MREのいくつかの実施例では、実環境内の全ての実オブジェクトが、対応する仮想オブジェクトと関連付けられなくてもよい。同様に、MREのいくつかの実施例では、仮想環境内の全ての仮想オブジェクトが、対応する実オブジェクトと関連付けられなくてもよい。すなわち、いくつかの仮想オブジェクトが、任意の実世界対応物を伴わずに、MREの仮想環境内にのみ存在し得る。
いくつかの実施例では、仮想オブジェクトは、特性(時として著しく異なり、対応する実オブジェクトのものと異なる)を有してもよい。例えば、MRE内の実環境は、緑色の2本の枝が延びたサボテン、すなわち、とげだらけの無生物オブジェクトを含み得るが、MRE内の対応する仮想オブジェクトは、人間の顔特徴および無愛想な態度を伴う、緑色の2本の腕の仮想キャラクタの特性を有してもよい。本実施例では、仮想オブジェクトは、ある特性(色、腕の数)において、その対応する実オブジェクトに類似するが、他の特性(顔特徴、性格)において、実オブジェクトと異なる。このように、仮想オブジェクトは、創造的、抽象的、誇張された、または架空の様式において、実オブジェクトを表す、または挙動(例えば、人間の性格)をそうでなければ無生物である実オブジェクトに付与する潜在性を有する。いくつかの実施例では、仮想オブジェクトは、実世界対応物を伴わない、純粋に架空の創造物(例えば、おそらく、実環境内の虚空に対応する場所における、仮想環境内の仮想モンスター)であってもよい。
ユーザに、実環境を不明瞭にしながら、仮想環境を提示する、VRシステムと比較して、MREを提示する、複合現実システムは、仮想環境が提示される間、実環境が知覚可能なままであるであるという利点をもたらす。故に、複合現実システムのユーザは、実環境と関連付けられた視覚的およびオーディオキューを使用して、対応する仮想環境を体験し、それと相互作用することが可能である。実施例として、VRシステムのユーザは、上記に述べられたように、ユーザは、直接、仮想環境を知覚する、またはそれと相互作用することができないため、仮想環境内に表示される仮想オブジェクトを知覚する、またはそれと相互作用することに苦戦し得るが、MRシステムのユーザは、その自身の実環境内の対応する実オブジェクトが見え、聞こえ、触れることによって、仮想オブジェクトと相互作用することが直感的および自然であると見出し得る。本レベルの相互作用は、ユーザの仮想環境との没入感、つながり、および関与の感覚を向上させ得る。同様に、実環境および仮想環境を同時に提示することによって、複合現実システムは、VRシステムと関連付けられた負の心理学的感覚(例えば、認知的不協和)および負の物理的感覚(例えば、乗り物酔い)を低減させることができる。複合現実システムはさらに、実世界の我々の体験を拡張または改変し得る用途に関する多くの可能性をもたらす。
図1Aは、ユーザ110が複合現実システム112を使用する、例示的実環境100を図示する。複合現実システム112は、ディスプレイ(例えば、透過性ディスプレイ)および1つ以上のスピーカと、例えば、下記に説明されるような1つ以上のセンサ(例えば、カメラ)とを備えてもよい。示される実環境100は、その中にユーザ110が立っている、長方形の部屋104Aと、実オブジェクト122A(ランプ)、124A(テーブル)、126A(ソファ)、および128A(絵画)とを備える。部屋104Aはさらに、場所座標106を備え、これは、実環境100の原点と見なされ得る。図1Aに示されるように、その原点を点106(世界座標)に伴う、環境/世界座標系108(x-軸108X、y-軸108Y、およびz-軸108Zを備える)は、実環境100のための座標空間を定義し得る。いくつかの実施形態では、環境/世界座標系108の原点106は、複合現実システム112の電源がオンにされた場所に対応してもよい。いくつかの実施形態では、環境/世界座標系108の原点106は、動作の間、リセットされてもよい。いくつかの実施例では、ユーザ110は、実環境100内の実オブジェクトと見なされ得る。同様に、ユーザ110の身体部分(例えば、手、足)は、実環境100内の実オブジェクトと見なされ得る。いくつかの実施例では、その原点を点115(例えば、ユーザ/聴取者/頭部座標)に伴う、ユーザ/聴取者/頭部座標系114(x-軸114X、y-軸114Y、およびz-軸114Zを備える)は、その上に複合現実システム112が位置する、ユーザ/聴取者/頭部のための座標空間を定義し得る。ユーザ/聴取者/頭部座標系114の原点115は、複合現実システム112の1つ以上のコンポーネントに対して定義されてもよい。例えば、ユーザ/聴取者/頭部座標系114の原点115は、複合現実システム112の初期較正等の間、複合現実システム112のディスプレイに対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現が、ユーザ/聴取者/頭部座標系114空間と環境/世界座標系108空間との間の変換を特性評価することができる。いくつかの実施形態では、左耳座標116および右耳座標117が、ユーザ/聴取者/頭部座標系114の原点115に対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現が、左耳座標116および右耳座標117とユーザ/聴取者/頭部座標系114空間との間の変換を特性評価することができる。ユーザ/聴取者/頭部座標系114は、ユーザの頭部または頭部搭載型デバイスに対する、例えば、環境/世界座標系108に対する場所の表現を簡略化することができる。同時位置特定およびマッピング(SLAM)、ビジュアルオドメトリ、または他の技法を使用して、ユーザ座標系114と環境座標系108との間の変換が、リアルタイムで決定および更新されることができる。
図1Bは、実環境100に対応する、例示的仮想環境130を図示する。示される仮想環境130は、実長方形部屋104Aに対応する仮想長方形部屋104Bと、実オブジェクト122Aに対応する仮想オブジェクト122Bと、実オブジェクト124Aに対応する仮想オブジェクト124Bと、実オブジェクト126Aに対応する仮想オブジェクト126Bとを備える。仮想オブジェクト122B、124B、126Bと関連付けられたメタデータは、対応する実オブジェクト122A、124A、126Aから導出される情報を含むことができる。仮想環境130は、加えて、仮想モンスター132を備え、これは、実環境100内のいかなる実オブジェクトにも対応しない。実環境100内の実オブジェクト128Aは、仮想環境130内のいかなる仮想オブジェクトにも対応しない。その原点を点134(持続的座標)に伴う、持続的座標系(persistent coordinate system)133(x-軸133X、y-軸133Y、およびz-軸133Zを備える)は、仮想コンテンツのための座標空間を定義し得る。持続的座標系133の原点134は、実オブジェクト126A等の1つ以上の実オブジェクトと相対的に/それに対して定義されてもよい。行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現は、持続的座標系133空間と環境/世界座標系108空間との間の変換を特性評価することができる。いくつかの実施形態では、仮想オブジェクト122B、124B、126B、および132はそれぞれ、持続的座標系133の原点134に対するその自身の持続的座標点を有してもよい。いくつかの実施形態では、複数の持続的座標系が存在してもよく、仮想オブジェクト122B、124B、126B、および132はそれぞれ、1つ以上の持続的座標系に対するそれら自身の持続的座標点を有してもよい。
図1Aおよび1Bに関して、環境/世界座標系108は、実環境100および仮想環境130の両方のための共有座標空間を定義する。示される実施例では、座標空間は、その原点を点106に有する。さらに、座標空間は、同一の3つの直交軸(108X、108Y、108Z)によって定義される。故に、実環境100内の第1の場所および仮想環境130内の第2の対応する場所は、同一座標空間に関して説明されることができる。これは、同一座標が両方の場所を識別するために使用され得るため、実および仮想環境内の対応する場所を識別および表示するステップを簡略化する。しかしながら、いくつかの実施例では、対応する実および仮想環境は、共有座標空間を使用する必要がない。例えば、いくつかの実施例では(図示せず)、行列(平行移動行列および四元数行列または他の回転行列を含み得る)または他の好適な表現は、実環境座標空間と仮想環境座標空間との間の変換を特性評価することができる。
図1Cは、同時に、実環境100および仮想環境130の側面をユーザ110に複合現実システム112を介して提示する、例示的MRE150を図示する。示される実施例では、MRE150は、同時に、ユーザ110に、実環境100からの実オブジェクト122A、124A、126A、および128A(例えば、複合現実システム112のディスプレイの透過性部分を介して)と、仮想環境130からの仮想オブジェクト122B、124B、126B、および132(例えば、複合現実システム112のディスプレイのアクティブディスプレイ部分を介して)とを提示する。上記のように、原点106は、MRE150に対応する座標空間のための原点として作用し、座標系108は、座標空間のためのx-軸、y-軸、およびz-軸を定義する。
示される実施例では、複合現実オブジェクトは、座標空間108内の対応する場所を占有する、対応する対の実オブジェクトおよび仮想オブジェクト(すなわち、122A/122B、124A/124B、126A/126B)を備える。いくつかの実施例では、実オブジェクトおよび仮想オブジェクトは両方とも、同時に、ユーザ110に可視であってもよい。これは、例えば、仮想オブジェクトが対応する実オブジェクトのビューを拡張させるように設計される情報を提示する、インスタンスにおいて望ましくあり得る(仮想オブジェクトが古代の損傷された彫像の欠けた部分を提示する、博物館用途等)。いくつかの実施例では、仮想オブジェクト(122B、124B、および/または126B)は、対応する実オブジェクト(122A、124A、および/または126A)をオクルードするように、表示されてもよい(例えば、ピクセル化オクルージョンシャッタを使用する、アクティブピクセル化オクルージョンを介して)。これは、例えば、仮想オブジェクトが対応する実オブジェクトのための視覚的置換として作用する、インスタンスにおいて望ましくあり得る(無生物実オブジェクトが「生きている」キャラクタとなる、双方向ストーリーテリング用途等)。
いくつかの実施例では、実オブジェクト(例えば、122A、124A、126A)は、必ずしも、仮想オブジェクトを構成するとは限らない、仮想コンテンツまたはヘルパデータと関連付けられてもよい。仮想コンテンツまたはヘルパデータは、複合現実環境内の仮想オブジェクトの処理またはハンドリングを促進することができる。例えば、そのような仮想コンテンツは、対応する実オブジェクトの2次元表現、対応する実オブジェクトと関連付けられたカスタムアセットタイプ、または対応する実オブジェクトと関連付けられた統計的データを含み得る。本情報は、不必要な算出オーバーヘッドを被ることなく、実オブジェクトに関わる計算を可能にする、または促進することができる。
いくつかの実施例では、上記に説明される提示はまた、オーディオ側面を組み込んでもよい。例えば、MRE150では、仮想モンスター132は、モンスターがMRE150の周囲を歩き回るにつれて生成される、足音効果等の1つ以上のオーディオ信号と関連付けられ得る。下記にさらに説明されるように、複合現実システム112のプロセッサは、MRE150内の全てのそのような音の混合および処理された合成に対応するオーディオ信号を算出し、複合現実システム112内に含まれる1つ以上のスピーカおよび/または1つ以上の外部スピーカを介して、オーディオ信号をユーザ110に提示することができる。
例示的複合現実システム
例示的複合現実システム112は、ディスプレイ(接眼ディスプレイであり得る、左および右透過性ディスプレイと、ディスプレイからの光をユーザの眼に結合するための関連付けられたコンポーネントとを備え得る)と、左および右スピーカ(例えば、それぞれ、ユーザの左および右耳に隣接して位置付けられる)と、慣性測定ユニット(IMU)(例えば、頭部デバイスのつるのアームに搭載される)と、直交コイル電磁受信機(例えば、左つる部品に搭載される)と、ユーザから離れるように配向される、左および右カメラ(例えば、深度(飛行時間)カメラ)と、ユーザに向かって配向される、左および右眼カメラ(例えば、ユーザの眼移動を検出するため)とを備える、ウェアラブル頭部デバイス(例えば、ウェアラブル拡張現実または複合現実頭部デバイス)を含むことができる。しかしながら、複合現実システム112は、任意の好適なディスプレイ技術および任意の好適なセンサ(例えば、光学、赤外線、音響、LIDAR、EOG、GPS、磁気)を組み込むことができる。加えて、複合現実システム112は、ネットワーキング特徴(例えば、Wi-Fi能力)を組み込み、他の複合現実システムを含む、他のデバイスおよびシステムと通信してもよい。複合現実システム112はさらに、バッテリ(ユーザの腰部の周囲に装着されるように設計されるベルトパック等の補助ユニット内に搭載されてもよい)と、プロセッサと、メモリとを含んでもよい。複合現実システム112のウェアラブル頭部デバイスは、ユーザの環境に対するウェアラブル頭部デバイスの座標セットを出力するように構成される、IMUまたは他の好適なセンサ等の追跡コンポーネントを含んでもよい。いくつかの実施例では、追跡コンポーネントは、入力をプロセッサに提供し、同時位置特定およびマッピング(SLAM)および/またはビジュアルオドメトリアルゴリズムを実施してもよい。いくつかの実施例では、複合現実システム112はまた、ハンドヘルドコントローラ300、および/または下記にさらに説明されるように、ウェアラブルベルトパックであり得る補助ユニット320を含んでもよい。
図2A-2Dは、MRE(MRE150に対応し得る)または他の仮想環境をユーザに提示するために使用され得る、例示的複合現実システム200(複合現実システム112に対応し得る)のコンポーネントを図示する。図2Aは、例示的複合現実システム200内に含まれるウェアラブル頭部デバイス2102の斜視図を図示する。図2Bは、ユーザの頭部2202上に装着されるウェアラブル頭部デバイス2102の上面図を図示する。図2Cは、ウェアラブル頭部デバイス2102の正面図を図示する。図2Dは、ウェアラブル頭部デバイス2102の例示的接眼レンズ2110の縁視図を図示する。図2A-2Cに示されるように、例示的ウェアラブル頭部デバイス2102は、例示的左接眼レンズ(例えば、左透明導波管セット接眼レンズ)2108と、例示的右接眼レンズ(例えば、右透明導波管セット接眼レンズ)2110とを含む。各接眼レンズ2108および2110は、それを通して実環境が可視となる、透過性要素と、実環境に重複するディスプレイ(例えば、画像毎に変調された光を介して)を提示するためのディスプレイ要素とを含むことができる。いくつかの実施例では、そのようなディスプレイ要素は、画像毎に変調された光の流動を制御するための表面回折光学要素を含むことができる。例えば、左接眼レンズ2108は、左内部結合格子セット2112と、左直交瞳拡張(OPE)格子セット2120と、左出射(出力)瞳拡張(EPE)格子セット2122とを含むことができる。同様に、右接眼レンズ2110は、右内部結合格子セット2118と、右OPE格子セット2114と、右EPE格子セット2116とを含むことができる。画像毎に変調された光は、内部結合格子2112および2118、OPE2114および2120、およびEPE2116および2122を介して、ユーザの眼に転送されることができる。各内部結合格子セット2112、2118は、光をその対応するOPE格子セット2120、2114に向かって偏向させるように構成されることができる。各OPE格子セット2120、2114は、光をその関連付けられたEPE2122、2116に向かって下方に漸次的に偏向させ、それによって、形成されている射出瞳を水平に延在させるように設計されることができる。各EPE2122、2116は、その対応するOPE格子セット2120、2114から受信された光の少なくとも一部を、接眼レンズ2108、2110の背後に定義される、ユーザアイボックス位置(図示せず)に外向きに漸次的に再指向し、アイボックスに形成される射出瞳を垂直に延在させるように構成されることができる。代替として、内部結合格子セット2112および2118、OPE格子セット2114および2120、およびEPE格子セット2116および2122の代わりに、接眼レンズ2108および2110は、ユーザの眼への画像毎に変調された光の結合を制御するための格子および/または屈折および反射性特徴の他の配列を含むことができる。
いくつかの実施例では、ウェアラブル頭部デバイス2102は、左つるのアーム2130と、右つるのアーム2132とを含むことができ、左つるのアーム2130は、左スピーカ2134を含み、右つるのアーム2132は、右スピーカ2136を含む。直交コイル電磁受信機2138は、左こめかみ部品またはウェアラブル頭部デバイス2102内の別の好適な場所に位置することができる。慣性測定ユニット(IMU)2140は、右つるのアーム2132またはウェアラブル頭部デバイス2102内の別の好適な場所に位置することができる。ウェアラブル頭部デバイス2102はまた、左深度(例えば、飛行時間)カメラ2142と、右深度カメラ2144とを含むことができる。深度カメラ2142、2144は、好適には、ともにより広い視野を網羅するように、異なる方向に配向されることができる。
図2A-2Dに示される実施例では、画像毎に変調された光2124の左源は、左内部結合格子セット2112を通して、左接眼レンズ2108の中に光学的に結合されることができ、画像毎に変調された光2126の右源は、右内部結合格子セット2118を通して、右接眼レンズ2110の中に光学的に結合されることができる。画像毎に変調された光2124、2126の源は、例えば、光ファイバスキャナ、デジタル光処理(DLP)チップまたはシリコン上液晶(LCoS)変調器等の電子光変調器を含むプロジェクタ、または側面あたり1つ以上のレンズを使用して、内部結合格子セット2112、2118の中に結合される、マイクロ発光ダイオード(μLED)またはマイクロ有機発光ダイオード(μOLED)パネル等の発光型ディスプレイを含むことができる。入力結合格子セット2112、2118は、画像毎に変調された光2124、2126の源からの光を、接眼レンズ2108、2110のための全内部反射(TIR)に関する臨界角を上回る角度に偏向させることができる。OPE格子セット2114、2120は、伝搬する光をTIRによってEPE格子セット2116、2122に向かって下方に漸次的に偏向させる。EPE格子セット2116、2122は、ユーザの眼の瞳孔を含む、ユーザの顔に向かって、光を漸次的に結合する。
いくつかの実施例では、図2Dに示されるように、左接眼レンズ2108および右接眼レンズ2110はそれぞれ、複数の導波管2402を含む。例えば、各接眼レンズ2108、2110は、複数の個々の導波管を含むことができ、それぞれ、個別の色チャネル(例えば、赤色、青色、および緑色)専用である。いくつかの実施例では、各接眼レンズ2108、2110は、複数のセットのそのような導波管を含むことができ、各セットは、異なる波面曲率を放出される光に付与するように構成される。波面曲率は、例えば、ユーザの正面のある距離(例えば、波面曲率の逆数に対応する距離)に位置付けられる仮想オブジェクトを提示するように、ユーザの眼に対して凸面であってもよい。いくつかの実施例では、EPE格子セット2116、2122は、各EPEを横断して出射する光のPoyntingベクトルを改変することによって凸面波面曲率をもたらすために、湾曲格子溝を含むことができる。
いくつかの実施例では、表示されるコンテンツが3次元である知覚を作成するために、立体視的に調節される左および右眼画像は、画像毎に光変調器2124、2126および接眼レンズ2108、2110を通して、ユーザに提示されることができる。3次元仮想オブジェクトの提示の知覚される現実性は、仮想オブジェクトが立体視左および右画像によって示される距離に近似する距離に表示されるように、導波管(したがって、対応する波面曲率)を選択することによって向上されることができる。本技法はまた、立体視左および右眼画像によって提供される深度知覚キューと人間の眼の自動遠近調節(例えば、オブジェクト距離依存焦点)との間の差異によって生じ得る、一部のユーザによって被られる乗り物酔いを低減させ得る。
図2Dは、例示的ウェアラブル頭部デバイス2102の右接眼レンズ2110の上部からの縁視図を図示する。図2Dに示されるように、複数の導波管2402は、3つの導波管2404の第1のサブセットと、3つの導波管2406の第2のサブセットとを含むことができる。導波管2404、2406の2つのサブセットは、異なる波面曲率を出射する光に付与するために異なる格子線曲率を特徴とする、異なるEPE格子によって区別されることができる。導波管2404、2406のサブセットのそれぞれ内において、各導波管は、異なるスペクトルチャネル(例えば、赤色、緑色、および青色スペクトルチャネルのうちの1つ)をユーザの右眼2206に結合するために使用されることができる。(図2Dには図示されないが、左接眼レンズ2108の構造は、右接眼レンズ2110の構造に類似する。)
図3Aは、複合現実システム200の例示的ハンドヘルドコントローラコンポーネント300を図示する。いくつかの実施例では、ハンドヘルドコントローラ300は、把持部分346と、上部表面348に沿って配置される、1つ以上のボタン350とを含む。いくつかの実施例では、ボタン350は、例えば、カメラまたは他の光学センサ(複合現実システム200の頭部デバイス(例えば、ウェアラブル頭部デバイス2102)内に搭載され得る)と併せて、ハンドヘルドコントローラ300の6自由度(6DOF)運動を追跡するための光学追跡標的として使用するために構成されてもよい。いくつかの実施例では、ハンドヘルドコントローラ300は、ウェアラブル頭部デバイス2102に対する位置または配向等の位置または配向を検出するための追跡コンポーネント(例えば、IMUまたは他の好適なセンサ)を含む。いくつかの実施例では、そのような追跡コンポーネントは、ハンドヘルドコントローラ300のハンドル内に位置付けられてもよく、および/またはハンドヘルドコントローラに機械的に結合されてもよい。ハンドヘルドコントローラ300は、ボタンの押下状態、またはハンドヘルドコントローラ300の位置、配向、および/または運動(例えば、IMUを介して)のうちの1つ以上のものに対応する、1つ以上の出力信号を提供するように構成されることができる。そのような出力信号は、複合現実システム200のプロセッサへの入力として使用されてもよい。そのような入力は、ハンドヘルドコントローラの位置、配向、および/または移動(さらに言うと、コントローラを保持するユーザの手の位置、配向、および/または移動)に対応し得る。そのような入力はまた、ユーザがボタン350を押下したことに対応し得る。
図3Bは、複合現実システム200の例示的補助ユニット320を図示する。補助ユニット320は、エネルギーを提供し、システム200を動作するためのバッテリを含むことができ、プログラムを実行し、システム200を動作させるためのプロセッサを含むことができる。示されるように、例示的補助ユニット320は、補助ユニット320をユーザのベルトに取り付ける等のためのクリップ2128を含む。他の形状因子も、補助ユニット320のために好適であって、ユニットをユーザのベルトに搭載することを伴わない、形状因子を含むことも明白となるであろう。いくつかの実施例では、補助ユニット320は、例えば、電気ワイヤおよび光ファイバを含み得る、多管式ケーブルを通して、ウェアラブル頭部デバイス2102に結合される。補助ユニット320とウェアラブル頭部デバイス2102との間の無線接続もまた、使用されることができる。
いくつかの実施例では、複合現実システム200は、1つ以上のマイクロホンを含み、音を検出し、対応する信号を複合現実システムに提供することができる。いくつかの実施例では、マイクロホンは、ウェアラブル頭部デバイス2102に取り付けられる、またはそれと統合されてもよく、ユーザの音声を検出するように構成されてもよい。いくつかの実施例では、マイクロホンは、ハンドヘルドコントローラ300および/または補助ユニット320に取り付けられる、またはそれと統合されてもよい。そのようなマイクロホンは、環境音、周囲雑音、ユーザまたは第三者の音声、または他の音を検出するように構成されてもよい。
図4は、上記に説明される複合現実システム200(図1に関する複合現実システム112に対応し得る)等の例示的複合現実システムに対応し得る、例示的機能ブロック図を示す。図4に示されるように、例示的ハンドヘルドコントローラ400B(ハンドヘルドコントローラ300(「トーテム」)に対応し得る)は、トーテム/ウェアラブル頭部デバイス6自由度(6DOF)トーテムサブシステム404Aを含み、例示的ウェアラブル頭部デバイス400A(ウェアラブル頭部デバイス2102に対応し得る)は、トーテム/ウェアラブル頭部デバイス6DOFサブシステム404Bを含む。実施例では、6DOFトーテムサブシステム404Aおよび6DOFサブシステム404Bは、協働し、ウェアラブル頭部デバイス400Aに対するハンドヘルドコントローラ400Bの6つの座標(例えば、3つの平行移動方向におけるオフセットおよび3つの軸に沿った回転)を決定する。6自由度は、ウェアラブル頭部デバイス400Aの座標系に対して表されてもよい。3つの平行移動オフセットは、そのような座標系内におけるX、Y、およびZオフセット、平行移動行列、またはある他の表現として表されてもよい。回転自由度は、ヨー、ピッチ、およびロール回転のシーケンス、回転行列、四元数、またはある他の表現として表されてもよい。いくつかの実施例では、ウェアラブル頭部デバイス400A、ウェアラブル頭部デバイス400A内に含まれる、1つ以上の深度カメラ444(および/または1つ以上の非深度カメラ)、および/または1つ以上の光学標的(例えば、上記に説明されるようなハンドヘルドコントローラ400Bのボタン350またはハンドヘルドコントローラ400B内に含まれる専用光学標的)は、6DOF追跡のために使用されることができる。いくつかの実施例では、ハンドヘルドコントローラ400Bは、上記に説明されるようなカメラを含むことができ、ウェアラブル頭部デバイス400Aは、カメラと併せた光学追跡のための光学標的を含むことができる。いくつかの実施例では、ウェアラブル頭部デバイス400Aおよびハンドヘルドコントローラ400Bはそれぞれ、3つの直交して配向されるソレノイドのセットを含み、これは、3つの区別可能な信号を無線で送信および受信するために使用される。受信するために使用される、コイルのそれぞれ内で受信される3つの区別可能な信号の相対的大きさを測定することによって、ハンドヘルドコントローラ400Bに対するウェアラブル頭部デバイス400Aの6DOFが、決定され得る。加えて、6DOFトーテムサブシステム404Aは、改良された正確度および/またはハンドヘルドコントローラ400Bの高速移動に関するよりタイムリーな情報を提供するために有用である、慣性測定ユニット(IMU)を含むことができる。
いくつかの実施例では、例えば、座標系108に対するウェアラブル頭部デバイス400Aの移動を補償するために、座標をローカル座標空間(例えば、ウェアラブル頭部デバイス400Aに対して固定される座標空間)から慣性座標空間(例えば、実環境に対して固定される座標空間)に変換することが必要になり得る。例えば、そのような変換は、ウェアラブル頭部デバイス400Aのディスプレイが、ディスプレイ上の固定位置および配向(例えば、ディスプレイの右下角における同一位置)ではなく仮想オブジェクトを実環境に対する予期される位置および配向に提示し(例えば、ウェアラブル頭部デバイスの位置および配向にかかわらず、前方に面した実椅子に着座している仮想人物)、仮想オブジェクトが実環境内に存在する(かつ、例えば、ウェアラブル頭部デバイス400Aが偏移および回転するにつれて、実環境内に不自然に位置付けられて現れない)という錯覚を保存するために必要であり得る。いくつかの実施例では、座標空間間の補償変換が、座標系108に対するウェアラブル頭部デバイス400Aの変換を決定するために、SLAMおよび/またはビジュアルオドメトリプロシージャを使用して、深度カメラ444からの画像を処理することによって決定されることができる。図4に示される実施例では、深度カメラ444は、SLAM/ビジュアルオドメトリブロック406に結合され、画像をブロック406に提供することができる。SLAM/ビジュアルオドメトリブロック406実装は、本画像を処理し、次いで、頭部座標空間と別の座標空間(例えば、慣性座標空間)との間の変換を識別するために使用され得る、ユーザの頭部の位置および配向を決定するように構成される、プロセッサを含むことができる。同様に、いくつかの実施例では、ユーザの頭部姿勢および場所に関する情報の付加的源が、IMU409から取得される。IMU409からの情報は、SLAM/ビジュアルオドメトリブロック406からの情報と統合され、改良された正確度および/またはユーザの頭部姿勢および位置の高速調節に関する情報をよりタイムリーに提供することができる。
いくつかの実施例では、深度カメラ444は、ウェアラブル頭部デバイス400Aのプロセッサ内に実装され得る、手のジェスチャトラッカ411に、3D画像を供給することができる。手のジェスチャトラッカ411は、例えば、深度カメラ444から受信された3D画像を手のジェスチャを表す記憶されたパターンに合致させることによって、ユーザの手のジェスチャを識別することができる。ユーザの手のジェスチャを識別する他の好適な技法も、明白となるであろう。
いくつかの実施例では、1つ以上のプロセッサ416は、ウェアラブル頭部デバイスの6DOFヘッドギヤサブシステム404B、IMU409、SLAM/ビジュアルオドメトリブロック406、深度カメラ444、および/または手のジェスチャトラッカ411からのデータを受信するように構成されてもよい。プロセッサ416はまた、制御信号を6DOFトーテムシステム404Aに送信し、そこから受信することができる。プロセッサ416は、ハンドヘルドコントローラ400Bがテザリングされない実施例等では、無線で、6DOFトーテムシステム404Aに結合されてもよい。プロセッサ416はさらに、視聴覚コンテンツメモリ418、グラフィカル処理ユニット(GPU)420、および/またはデジタル信号プロセッサ(DSP)オーディオ空間化装置422等の付加的コンポーネントと通信してもよい。DSPオーディオ空間化装置422は、頭部関連伝達関数(HRTF)メモリ425に結合されてもよい。GPU420は、画像毎に変調された光424の左源に結合される、左チャネル出力と、画像毎に変調された光426の右源に結合される、右チャネル出力とを含むことができる。GPU420は、例えば、図2A-2Dに関して上記に説明されるように、立体視画像データを画像毎に変調された光424、426の源に出力することができる。DSPオーディオ空間化装置422は、オーディオを左スピーカ412および/または右スピーカ414に出力することができる。DSPオーディオ空間化装置422は、プロセッサ419から、ユーザから仮想音源(例えば、ハンドヘルドコントローラ320を介して、ユーザによって移動され得る)への方向ベクトルを示す入力を受信することができる。方向ベクトルに基づいて、DSPオーディオ空間化装置422は、対応するHRTFを決定することができる(例えば、HRTFにアクセスすることによって、または複数のHRTFを補間することによって)。DSPオーディオ空間化装置422は、次いで、決定されたHRTFを仮想オブジェクトによって生成された仮想音に対応するオーディオ信号等のオーディオ信号に適用することができる。これは、複合現実環境内の仮想音に対するユーザの相対的位置および配向を組み込むことによって、すなわち、その仮想音が実環境内の実音である場合に聞こえるであろうもののユーザの予期に合致する仮想音を提示することによって、仮想音の信憑性および現実性を向上させることができる。
図4に示されるようないくつかの実施例では、プロセッサ416、GPU420、DSPオーディオ空間化装置422、HRTFメモリ425、およびオーディオ/視覚的コンテンツメモリ418のうちの1つ以上のものは、補助ユニット400C(上記に説明される補助ユニット320に対応し得る)内に含まれてもよい。補助ユニット400Cは、バッテリ427を含み、そのコンポーネントを給電し、および/または電力をウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bに供給してもよい。そのようなコンポーネントを、ユーザの腰部に搭載され得る、補助ユニット内に含むことは、ウェアラブル頭部デバイス400Aのサイズおよび重量を限定することができ、これは、ひいては、ユーザの頭部および頸部の疲労を低減させることができる。
図4は、例示的複合現実システムの種々のコンポーネントに対応する要素を提示するが、これらのコンポーネントの種々の他の好適な配列も、当業者に明白となるであろう。例えば、補助ユニット400Cと関連付けられているような図4に提示される要素は、代わりに、ウェアラブル頭部デバイス400Aまたはハンドヘルドコントローラ400Bと関連付けられ得る。さらに、いくつかの複合現実システムは、ハンドヘルドコントローラ400Bまたは補助ユニット400Cを完全に無くしてもよい。そのような変更および修正は、開示される実施例の範囲内に含まれるものとして理解されるべきである。
仮想反射
上記に説明されるように、(複合現実システム、例えば、上記に説明される複合現実システム200を介して体験されるような)MREは、MREのユーザに、MRE内に原点座標を伴う音源において生じ、MRE内の配向ベクトルの方向に進行するように現れる、オーディオ信号を提示することができる。すなわち、ユーザは、それらが、音源の原点座標から生じ、配向ベクトルに沿って進行する、実オーディオ信号であるかのように、これらのオーディオ信号を知覚し得る。
ある場合には、オーディオ信号は、それらが、仮想環境の算出信号に対応し、必ずしも、実環境内の実音に対応しないという点で、仮想と見なされ得る。しかしながら、仮想オーディオ信号は、人間の耳によって検出可能な実オーディオ信号として、例えば、図2A-2Dにおけるウェアラブル頭部デバイス2102のスピーカ2134および2136を介して生成されたものとして、ユーザに提示されることができる。
音源は、実オブジェクトおよび/または仮想オブジェクトに対応してもよい。例えば、仮想オブジェクト(例えば、図1Cの仮想モンスター132)は、MRE内でオーディオ信号を放出することができ、これは、MRE内で仮想オーディオ信号として表され、ユーザに実オーディオ信号として提示される。例えば、図1Cの仮想モンスター132は、モンスターの発話(例えば、対話)または音効果に対応する、仮想音を放出することができる。同様に、実オブジェクト(例えば、図1Cの実オブジェクト122A)は、MRE内に仮想音を放出するように現れるようにされることができ、これは、MRE内で仮想オーディオ信号として表され、ユーザに実オーディオ信号として提示される。例えば、実ランプ122Aは、ランプが実環境内でオンまたはオフに切り替えられない場合でも、ランプがオンまたはオフに切り替えられる音効果に対応する、仮想音を放出することができる。仮想音は、音源(実際または仮想かどうかにかかわらず)の位置および配向に対応し得る。例えば、仮想音が、ユーザに実オーディオ信号として提示される(例えば、スピーカ2134および2136を介して)場合、ユーザは、音源の位置から生じ、音源の配向の方向に進行するものとして、仮想音を知覚し得る。音源は、本明細書では、見掛け上音を放出するようにされる下層オブジェクト自体が、上記に説明されるような実オブジェクトに対応し得る場合でも、「仮想音源」と称される。
いくつかの仮想または複合現実環境は、環境が現実または本物であるように感じられないという知覚に悩まされる。本知覚の1つの理由は、オーディオおよび視覚的キューが、常時、仮想環境内で相互に合致しないことである。例えば、ユーザが、MRE内で大きな煉瓦壁の背後に位置付けられる場合、ユーザは、煉瓦壁の背後から生じる音がユーザのすぐ隣から生じる音より静かかつよりこもっていることを予期し得る。本予期は、音が大きな稠密オブジェクトの存在によって改変され得る(例えば、静かかつこもった状態になり得る)という、実世界内の自身の聴覚的体験に基づくものである。例えば、ユーザが、煉瓦壁の背後から生じるとされるが、こもっておらず、かつ完全音量で提示される、オーディオ信号を提示されるとき、ユーザが煉瓦壁の背後に居る、または音がその背後にから生じているという、錯覚は、損なわれる。仮想体験全体が、部分的に、実世界相互作用に基づく自身の予期に適合しないため、偽物であって、かつ本物ではないように感じ得る。さらに、ある場合には、仮想体験と実体験との間のわずかな差異さえ、不快感の感覚を生じさせ得る、「不気味の谷」問題が生じる。MRE内において、わずかな点においてさえ、ユーザの環境内のオブジェクトと現実的に相互作用するように現れる、オーディオ信号を提示することによって、ユーザの体験を改良することが望ましい。そのようなオーディオ信号が、実世界体験に基づく自身の予期により一貫するほど、ユーザのMRE体験は、より没入型かつ魅力のあるものとなるであろう。
知覚科学からの教訓が、ここでは有用であり得る。人々が自身の周囲の環境を知覚および理解する、1つの方法は、オーディオキューを通してである。実世界では、我々に聞こえる実オーディオ信号は、それらのオーディオ信号が生じる場所、それらのオーディオ信号が進行する方向、およびそのオーディオ信号が相互作用するオブジェクトによって影響される。例えば、全ての他の要因が等しいとして、聴取者から遠い距離で生じる音(例えば、遠くで吠えているイヌ)は、短距離から生じる同一音(例えば、聴取者と同一部屋内で吠えているイヌ)より静かに現れるであろう。聴取者は、したがって、その吠の知覚される音量に基づいて、実環境内のイヌの場所を識別することができる。同様に、全ての他の要因が等しいとして、聴取者から離れるように進行する音(例えば、聴取者から外方に面した人物の音声)は、ユーザに向かって進行する同一音(例えば、聴取者に向かって面した人物の音声)ほど明瞭ではなく、かつよりこもって(すなわち、低域通過フィルタリングされる)現れるであろう。聴取者は、したがって、その人物の音声の知覚される周波数特性に基づいて、実環境内の人物の配向を識別することができる。
実オーディオ信号の我々の知覚はまた、オーディオ信号が相互作用する、環境内のオブジェクトの存在によって影響され得る。すなわち、聴取者は、音源によって生成されたオーディオ信号だけではなく、また、近傍の物理的オブジェクトに対するそのオーディオ信号の反響音(「反響」)も知覚し得る。例えば、人物が、近接壁を伴う小部屋内で発話する場合、それらの壁は、人物の音声が壁から反射するため、短い自然な反響された信号を生じさせ得る。聴取者は、それらの反響から、近接壁を伴う小部屋内に居ることを推測し得る。同様に、大きなコンサートホールまたは大聖堂は、より長い反響音を生じさせ得、そこから、聴取者は、大きくて広い部屋内に居ることを推測し得る。同様に、オーディオ信号の反響音は、それに対してそれらの信号が反射する表面の位置または配向またはそれらの表面の材料に基づいて、種々の音波特性をとり得る。例えば、洗面所のタイルに対する反響音は、煉瓦、カーペット、乾燥壁、または他の材料に対する反響音と異なる音であろう。これらの反響特性は、聴取者によって使用され、その近傍のオブジェクトの場所、配向、および材料を推測することができる。
上記の実施例は、オーディオキューが我々の知覚に周囲の環境を知らせ得る方法を図示する。これらのキューは、視覚的キューと組み合わせて作用することができる。例えば、遠くにイヌが見える場合、我々は、そのイヌの吠の音がその距離と一致することを予期する(そうではない場合、いくつかの仮想環境におけるように、当惑する、または失見当識を感じ得る)。低光量環境内または視覚障害ユーザに関して等、いくつかの実施例では、視覚的キューは、限定される、または利用不可能であり得る。そのような場合、オーディオキューが、特に重要となり得、その環境を理解するユーザの一次手段としての役割を果たし得る。
いくつかの環境では、現実、仮想、複合、または別様であるかどうかにかかわらず、オーディオキューの重要な源は、ユーザ自身の音声である。すなわち、その環境内のユーザ自身の音声の音が、その環境を理解するための特に重要なオーディオキューとなり得る。1つの理由は、ユーザが、発話するにつれて、その自身の音声がどのように聞こえるであろうかに非常に慣れていることであって、その予期からの逸脱は、環境に対する手掛かりとして特に有用であり得る。別の理由は、人々が、種々の物理的環境、すなわち、小部屋、広々とした部屋、タイル貼りの洗面所等において発話する実質的体験を有し得、本体験から、それらの部屋がどのようにその自身の音声の音に影響を及ぼすであろうかを直感的に理解することである。
ユーザが、これらのオーディオ信号をキューとして使用して、いくつかのMREのユーザが苦戦する問題である、仮想オブジェクトを識別し得るように、MRE内の仮想オブジェクトに基づいて、現実的反響音効果を組み込む様式において、MRE内でオーディオ信号をユーザに提示することが望ましい。そのような反響音効果を組み込むことはさらに、実世界反響音をシミュレートすることによって、オーディオ信号をより現実的で真実味のある品質にするために望ましい。これは、MRE内のオーディオ信号があまり正しくないように思われる場合(前述の不気味の谷問題)等、MRE内のユーザの聴覚的体験と実世界内のユーザの聴覚的体験との間の準最適不協和音を低減させ得る。さらに、MREにとって、そのような効果をユーザ自身の音声に適用することは、上記の理由から、特に望ましくあり得る。従来の反響システムと比較して、本発明は、オーディオ信号および環境に対するユーザの位置、配向、および他の特性を考慮することによって、オーディオ信号のより微妙かつ真実味のある提示を可能にすることができる。MREのユーザに、我々の日常生活のオーディオ体験を喚起する、オーディオ体験を提示することによって、MREは、MREに従事するとき、ユーザの没入感およびつながりを向上させることができる。
図5Aおよび5Bは、それぞれ、例示的複合現実環境500(図1Cの複合現実環境150に対応し得る)の斜視図および上面図を描写する。MRE500では、ユーザ501は、マイクロホン512を含む、ウェアラブル頭部デバイス510を装着している。ウェアラブル頭部デバイス510は、図2A-2Dに関して上記に説明されるウェアラブル頭部デバイス2102に対応し得、これは、ひいては、図4に関して上記に説明されるウェアラブル頭部デバイス400Aに対応し得る。マイクロホン512は、ユーザの音声がMRE500の中に適切に統合され得るように、ユーザ501の音声信号を入力として複合現実システム112に提供するように構成される。
例示的MRE500では、ユーザ501の発話は、ユーザ501によって放出される指向性オーディオ信号(例えば、それに沿って音響エネルギーが進行する、音線)を表し、MRE500の座標系内の位置および配向を有し得る、実オーディオ信号520を含む、1つ以上の実オーディオ信号を発生させる。実施例では、実オーディオ信号520は、ユーザ501(例えば、ユーザ501の口)と関連付けられた原点座標522において生じ、ユーザ501と関連付けられたベクトル524に沿って進行する。ベクトル524は、ユーザ501によって放出される任意の実オーディオ信号の伝搬を表すことができる。実オーディオ信号520は、マイクロホン512によって検出され、入力としてMRE500に提供されてもよい。
例示的MRE500は、平面表面を伴う壁として図5Aおよび5Bに描写される、仮想オブジェクト530を含む。示される実施例では、実オーディオ信号520は、例示的交点526において、交点526における仮想オブジェクトの法線527に対して角度528で、仮想オブジェクト530と交差する。いくつかの実施例では、仮想オブジェクト530は、サイズ、形状、質量、または材料等の1つ以上の仮想物理的パラメータと関連付けられてもよい。これらのパラメータは、仮想オブジェクト530の表面によって、オーディオ信号(実オーディオ信号520等)のシミュレートされた反射に影響を及ぼし得る。そのようなパラメータは、MREの座標空間内の空間性質(例えば、位置、配向、形状、寸法)、物理的性質(例えば、密度、弾性、引張強度、温度、平滑度、共鳴)、またはオブジェクトの他の好適な性質を含むことができる。仮想オブジェクト530は、視覚的性質(例えば、色、透明度、反射率)等の音響反射に関連しない付加的パラメータ、および他の物理的パラメータ(例えば、湿潤度、電気伝導性)と関連付けられてもよい。複合現実システムは、そのようなパラメータを決定し、故に、任意の好適な方法を使用して、それらのパラメータを有する仮想オブジェクトを生成することができる。
いくつかの実施例では、仮想オーディオ信号が交差する、仮想オブジェクトは、実オブジェクトに対応してもよい(例えば、実オブジェクト122A、124A、および126Aは、図1Cにおける仮想オブジェクト122B、124B、および126Bに対応する)。いくつかのそのような実施例では、ユーザは、音響的にシールされた環境(例えば、シールされたヘッドホン)内に設置され、実オブジェクトに対する反射によって生じ得る、望ましくないオーディオ信号を減衰させてもよい。いくつかの実施例では、そのような仮想オブジェクトは、実オブジェクトに対応しなくてもよい(例えば、図1Cにおける仮想モンスター132等)。仮想オブジェクトが実オブジェクトに対応する場合、仮想オブジェクトは、それらの実オブジェクトの性質に対応する、パラメータ(例えば、寸法、材料)を有してもよい。
例示的MRE500では、例示的反射オーディオ信号540が、実オーディオ信号520が仮想オブジェクト530と交差するときに生じる。反射オーディオ信号540は、原点座標542を有し、ベクトル544に沿って伝搬する。実施例では、原点座標542は、仮想オブジェクト530の表面上にあって、ベクトル544は、原点座標542において、表面の法線に対して角度548にある。典型的には、必ずしもではないが、座標542は、座標526と同一座標であって、角度548は、角度528と等しい。
反射オーディオ信号540は、仮想オブジェクト530からの実オーディオ信号520のシミュレートされた音響反響音を表してもよい。したがって、反射オーディオ信号540は、実オーディオ信号520の音響的に修正されたバージョンとして説明され得る。例えば、反射オーディオ信号540は、減衰され、フィルタリングされ(例えば、低域通過フィルタリングされ)、および/または位相偏移され、スピーカ412、414、2134、2136を介して出力された、実オーディオ信号520のバージョンとして説明され得る。いくつかの実施例では、仮想オブジェクト530は、反射オーディオ信号540の周波数スペクトルに影響を及ぼす、回折効果を生じさせる。さらに、反射オーディオ信号540は、例えば、自然反響効果をシミュレートするために、反響処理技法によって取得される2つ以上の信号の合成(例えば、一時的に、記憶され、ある遅延後に出力される、実オーディオ信号520のバージョン)であってもよい。反射オーディオ信号540を生成するための実オーディオ信号520に対する調節は、1つ以上の伝達関数が、実オーディオ信号520に適用されると、反射オーディオ信号540をもたらすように、1つ以上の伝達関数(例えば、伝達関数H(t))であると見なされ得る。
例示的反射オーディオ信号540は、MREのユーザによって直接知覚可能ではないが、実オーディオ信号がユーザによって聞こえ得る、1つ以上のスピーカ(例えば、スピーカ2134および/または2136)によって、実オーディオ信号に変換され得る、仮想オーディオ信号であってもよい。例えば、反射オーディオ信号540は、例えば、MREと関連付けられたプロセッサおよび/またはメモリによって、(例えば、図4のDSPオーディオ空間化装置422の一部としての)デジタル-オーディオコンバータを介して、アナログ信号に変換され、次いで、増幅され、スピーカを駆動し、聴取者によって知覚可能な音を発生させるために使用され得る、デジタルオーディオデータの算出表現であってもよい。そのような算出表現は、例えば、反射オーディオ信号が生じるMRE内の座標、それに沿って反射オーディオ信号が伝搬する、MRE内のベクトル、反射オーディオ信号が生じる時間、反射オーディオ信号が伝搬する、速度、または他の好適な特性を備えることができる。レイトレーシング等の種々の技法が、オーディオ源(例えば、ユーザの発声器)から、仮想オブジェクト上の反射点へ、そこからユーザの耳に戻る、伝搬をモデル化するために使用されることができる。一実施例として、仮想オブジェクトの平坦表面に面したユーザの場合、オーディオ源(「画像源」)の仮想画像は、平坦表面までの距離の2倍(すなわち、平坦表面までの最短経路の長さの2倍)であって、平坦表面と垂直なセグメントに沿って、ユーザの口から離間されることができる。ユーザの音声の反射された音響波経路は、オーディオ源の仮想画像から聴取者位置までの音響波伝搬としてモデル化されることができる。(本実施例では、仮想反射が存在するために、仮想平坦表面の範囲は、仮想画像から聴取者位置までの経路が平坦表面を通して通過するように、十分に大きくなければならない。)多数の平坦表面を含む、仮想オブジェクトのポリゴン表現は、視聴覚コンテンツメモリ418内に維持されることができる。
MREは、それぞれ、反射オーディオ信号が知覚され得る、座標系内の場所(「聴取者」)に対応する、1つ以上の聴取者座標(例えば、図5Aおよび5Bでは、座標516)の表現を含んでもよい。いくつかの実施例では、MREはまた、1つ以上の聴取者ベクトルの表現を含んでもよく、これは、聴取者の配向を表すことができる。聴取者座標516は、ウェアラブル頭部デバイス510の1つ以上のセンサを使用して決定され得るようなユーザ501の位置との空間関係を有することができる。例えば、聴取者座標516は、ユーザ501の位置に対して固定または可変空間オフセットを有してもよい。示される例示的MRE500では、聴取者座標516は、原点座標522(ユーザの頭部の中心)に対応し、これは、実施例では、実オーディオ信号520の原点である。しかしながら、いくつかの実施例では、聴取者座標は、実オーディオ信号520の原点に対応する必要はなく、ユーザの耳の場所、ウェアラブル頭部デバイス510のスピーカの場所、または別の好適な場所に対応することができる。さらに、聴取者ベクトルは、ユーザが面している方向に対応し得る。いくつかの実施例では、聴取者座標および/または聴取者ベクトルは、ユーザによって装着されるウェアラブル頭部デバイスの位置および/または配向を使用して決定されることができる。例えば、聴取者座標516は、ウェアラブル頭部デバイスの検出された位置からのオフセットとして定義されることができる。ある場合には、聴取者座標および聴取者ベクトルは、ウェアラブル頭部デバイス510に関して上記に説明される1つ以上のセンサ(例えば、IMU、GPSユニット、加速度計、音響センサ、カメラ、レーダ等)または任意の他の好適なセンサを介して検出されることができる。いくつかの実施例では、MREは、それぞれ、MREの座標系内のユーザの左および右耳の場所に対応する、左および右聴取者座標を含むことができる。その原点(画像源)から聴取者座標まで反射オーディオ信号のベクトルを決定することによって、人間聴取者が、その座標における耳で、反射オーディオ信号を知覚するであろう方法に対応する、実オーディオ信号が、決定されることができる。本オーディオ信号は、次いで、例えば、ウェアラブル頭部デバイス510の1つ以上のスピーカ(例えば、2134、2136)を介して、ユーザ501にレンダリングされることができる。
いくつかの実施例では、反射オーディオ信号540は、ベース音データ(例えば、メモリ内のデジタルデータ、オーディオ波形を表すデータ)と、そのベース音データに適用され得る、1つ以上のパラメータを備える、伝達関数とを備える。そのようなパラメータは、ベース音の減衰(例えば、音量降下)、ベース音のフィルタリング(例えば、低域通過フィルタ)、ベース音の時間遅延(例えば、位相偏移)、または他の好適なパラメータに対応してもよい。いくつかの実施例では、そのようなパラメータは、MIDIエンジンまたは人工反響およびエコー効果を適用するための人工反響エンジンのための入力パラメータを含んでもよい。
いくつかの実施例では、伝達関数は、聴取者座標と反射オーディオ信号の関係をモデル化することができる。例えば、伝達関数は、実オーディオ信号の振幅を、聴取者座標から反射オーディオ源(画像源)の原点までの距離の減少関数であると定義し得る、すなわち、反射された信号の利得は、聴取者から原点までの距離が増加するにつれて減少する。別の実施例として、伝達関数は、反射オーディオ信号に適用される低域通過フィルタを、聴取者座標(および/または聴取者ベクトルの角度)から反射オーディオ信号の伝搬ベクトルまでの距離の関数であると定義し得る。例えば、反射オーディオ信号から遠く離れた聴取者は、信号により近い聴取者ほど高くない信号の周波数電力を知覚し得る。さらなる実施例として、伝達関数は、時間遅延(例えば、位相偏移)を、聴取者座標と反射オーディオ信号の原点との間の距離に基づいて適用されると定義し得る。いくつかの実施例では、ユーザの頭部と反射オーディオ信号の関係の1つ以上の特性は、選択され(例えば、ユーザの頭部に対する仮想オブジェクト530の座標に基づいて)、実オーディオ信号に適用され得る、頭部関連伝達関数(HRTF)内に組み込まれことができる。いくつかの実施例では、図4のDSPオーディオ空間化装置422は、HRTFを利用して、ユーザの頭部の位置および配向を組み込む、オーディオ信号を提示することができる。
実オーディオ信号520に適用される(したがって、仮想反射オーディオ信号540に影響を及ぼす)、伝達関数のいくつかの特性は、仮想オブジェクト530によって決定または影響され得る。例えば、伝達関数は、仮想オブジェクト530の、パラメータ(例えば、材料または寸法)に基づく、実オーディオ信号の減衰を備え得る(聴取者により静かに現れる、対応する反射オーディオ信号をもたらす)。伝達関数はまた、仮想オブジェクト530のパラメータに基づいて、高周波数成分がロールオフされるにつれて、実オーディオ信号に適用され、よりこもって現れる、反射オーディオ信号をもたらす、低域通過フィルタを備え得る。これは、反射オーディオ信号540が、仮想オブジェクト530に対する実オーディオ信号520の音響反射が聞こえるはずであるユーザの予期を満たすことを可能にすることができる。例えば、ユーザは、あるタイプの仮想オブジェクト(例えば、仮想厚手カーテン)が、仮想ガラス壁等の他のタイプの仮想オブジェクトより大きい程度の減衰または低域通過フィルタリングをもたらすことを予期するであろう。ある場合には、反射オーディオ信号540は、仮想オブジェクト530とユーザとの間の距離に基づいて、実オーディオ信号520に対して遅延されてもよい。これは、ユーザから、反射側オブジェクトまで進行し、再び、ユーザに戻る、オーディオ信号の経過時間によって生じる自然遅延をシミュレートすることができる。ある場合には、仮想オブジェクトは、位相偏移または他の効果を実オーディオ信号に適用してもよい。いくつかの実施例では、仮想オブジェクトは、波長依存回折効果をもたらし得、これは、反射オーディオ信号の周波数スペクトルを改変し得る。これらの回折効果は、例えば、実オーディオ信号と交差する表面の角度およびサイズに基づいてもよい。ある場合には、仮想オブジェクトが実オーディオ信号に及ぼす効果は、仮想オブジェクトの物理的モデル化によって決定されることができ、例えば、仮想オブジェクトが、特定の材料(例えば、煉瓦、アルミニウム、水)に対応する場合、伝達関数は、実世界内のその材料を通したオーディオ信号の伝送の既知の密度および速度を組み込み得る。
図6は、反射オーディオ信号を複合現実システム112のユーザ等のMREのユーザに提示するための例示的プロセス600を示す。例示的プロセス600は、ウェアラブル頭部デバイス510の1つ以上のプロセッサ(例えば、図4のプロセッサ416に対応する)および/またはDSPモジュール(例えば、図4のDSPオーディオ空間化装置422に対応する)によって、または任意の他の好適な回路によって実装されてもよい。例示的プロセス600のステップは、任意の好適な順序で実施されてもよいことに留意されたい。本開示は、示される実施例に描写されるステップの特定のシーケンスに限定されない。
プロセス600の段階610では、実オーディオ信号(例えば、実オーディオ信号520)が、マイクロホン512等の1つ以上のマイクロホンによって検出される。実オーディオ信号は、ユーザ501によって生成された音(例えば、ユーザ501の音声または身体移動によって生成された音)に対応してもよいが、そうである必要はない。いくつかの実施形態では、実オーディオ信号は、ユーザ501によって生成されない音に対応してもよい。マイクロホン512は、実オーディオ信号を、例えば、A/Dコンバータを介して、プロセッサ(例えば、図4のプロセッサ416)および/またはメモリ(例えば、図4のメモリ418)または実オーディオ信号に対応するデジタルデータを記憶し得る、偏移レジスタ等の他の記憶要素に入力するために使用されてもよい。事前処理(例えば、フィードバックキャンセル、アンチエイリアシング、増幅)が実オーディオ信号に適用され、付加的処理のために、実オーディオ信号を調整してもよい。
プロセス600の段階620では、ユーザ501またはウェアラブル頭部デバイス510の1つ以上の位置および/または配向が、例えば、上記に説明されるように、ウェアラブル頭部デバイス510のセンサおよび/またはIMUを使用して、決定されることができる。位置および配向は、リアルタイムで、例えば、ユーザの頭部がMRE500内で移動および回転するにつれて、更新されることができる。段階620において決定された位置は、ユーザの頭部の位置(例えば、ユーザの頭部の中心)、ユーザの耳の位置、ユーザの口の位置、または頭部搭載型デバイスの位置に対応してもよい。段階620において決定された配向は、ユーザが面している方向に対応してもよい。
プロセス600の段階630では、実オーディオ信号(段階610において検出された)に対応する、原点座標(例えば、座標522)および方向ベクトル(例えば、ベクトル524)が、決定される。方向ベクトルは、配向ベクトルと、いくつかの実施例では、方向性パターンとを備えることができる。いくつかの実施例では、原点座標は、段階620において決定されたユーザの位置と同じであってもよい。実オーディオ信号が、ユーザの音声の音に対応する場合等のいくつかの実施例では、原点座標は、ユーザの口の位置(例えば、ウェアラブル頭部デバイス510と関連付けられたセンサを使用して検出される、またはウェアラブル頭部デバイス510に対する固定オフセットにあると仮定される)に対応してもよい。実オーディオ信号がユーザの音声に対応する場合等のいくつかの実施例では、方向ベクトルは、段階620において決定されたユーザの配向(例えば、ユーザが面している方向)に対応してもよい。これは、いくつかの実施例では、ウェアラブル頭部デバイス510に関して上記に説明されるセンサ等の1つ以上の好適なセンサ(例えば、IMU、加速度計)を使用して、または外部ソース(例えば、データベース)から決定されることができる。いくつかの実施例では、2つ以上のマイクロホンまたは他のセンサが、実オーディオ信号が進行している方向を識別するために使用されてもよい(例えば、信号が2つのマイクロホンのそれぞれに到達するときの間の時間遅延を測定することによって)。
プロセス600の段階640では、MRE500内の1つ以上の仮想オブジェクト(例えば、仮想オブジェクト530)が、識別される。そのような識別は、位置、配向、形状、境界、および仮想オブジェクトに関して上記に説明される任意のパラメータ(例えば、材料タイプ)のうちの1つ以上のものを含むことができる。いくつかの実装では、仮想オブジェクトは、実オブジェクト(例えば、手コントローラ)に対してオーバーレイまたは固定されることができ、仮想オブジェクトの計算された音響反射は、実オブジェクトと関連付けられた音響反射より強くてもよい。そのような実施例では、仮想オブジェクトの音響反射は、本明細書に説明されるように、システム112によって合成されることができる。いくつかの実施例では、仮想オブジェクト(例えば、仮想モンスター132)は、任意の実オブジェクトに対応しなくてもよい。そのような実施例では、仮想オブジェクトは、MRE500内の仮想オブジェクトのリストを通して反復し、MRE500内のユーザ501からの閾値距離内にあるリスト内の仮想オブジェクトを識別し、それらの仮想オブジェクトと関連付けられた関連情報(例えば、位置、配向)を識別する等によって、任意の好適な様式において識別されることができる。
段階650では、段階610において検出され、段階630において識別された原点座標において生じ、段階630において識別された方向に進行する、実オーディオ信号が、反射オーディオ信号(例えば、反射オーディオ信号540)をもたらすべきであるかどうかが、決定されることができる。すなわち、実オーディオ信号が、反射オーディオ信号をユーザに提示することが望ましいように、MRE500内の仮想オブジェクトの表面と交差するかどうかが、決定されることができる。(ある場合には、例えば、反射オーディオ信号が、ユーザにとって知覚的に有意ではないであろう場合、または不十分な算出リソースが存在する場合、そのような反射オーディオ信号を提示しないことが望ましくあり得る。)本決定は、ベクトル(例えば、実オーディオ信号の進行方向を説明する、ベクトル)が3次元座標系(例えば、座標系108)内の表面と交差するかどうかを決定するための任意の好適な方法を使用することによって、実施されることができる。反射オーディオ信号をユーザに提示することが望ましいであろうことが決定される場合、段階650において、任意の好適な方法を使用して、実オーディオ信号が仮想オブジェクトの表面と交差する座標(例えば、座標526)および角度(例えば、実オーディオ信号の方向ベクトルと交点座標における表面に対する法線のとの間の角度528等の角度)が、さらに決定されることができる。いくつかの実施例では、二次反射が、実オーディオ信号が複数の仮想オブジェクトと交差する場合、生じ得る。例えば、第1の反射オーディオ信号自体が仮想オブジェクトと交差する場合、二次反射オーディオ信号を作成する(プロセス600を再帰的に使用して決定されることができる)。さらに、いくつかの実施例では、仮想オブジェクトと交差する実オーディオ信号は、2つ以上の反射オーディオ信号をもたらし得る(例えば、異なる音響周波数が異なる強度を伴って異なる角度で反射され得る、波回折の場合)。
いくつかの実施例では、段階650において、仮想オブジェクト上に入射するオーディオ波が、決定されることができる。決定は、源(例えば、ユーザの発声器)の周波数依存方向性を考慮し、したがって、仮想オブジェクトにおける周波数依存入射波振幅を決定し得る。ユーザの頭部の位置および配向および任意の仮想オブジェクト表面の位置および配向が、入射波を決定する際に使用されることができる。いくつかの実施例では、プログラムされた距離限界が存在してもよく、それを超えると、ユーザ生成音の反射は、生成されないであろう。
段階660では、段階650において、実オーディオ信号が、仮想オブジェクトと交差し、反射オーディオ信号を作成することが決定された場合、その反射オーディオ信号のための原点座標(例えば、座標542)および方向ベクトル(例えば、ベクトル548)が、決定されることができる。多くの場合、原点は、実オーディオ信号と仮想オブジェクトの交点と同じであろう。さらに、多くの場合、反射オーディオ信号の方向ベクトルは、単に、交点において交差される表面の法線に対して反射された、実オーディオ信号の方向ベクトルとなるであろう。しかしながら、いくつかのオーディオ信号および仮想オブジェクト(例えば、有意な波回折を生じさせる、仮想オブジェクト)に関して、反射オーディオ信号の原点および/または方向は、実オーディオ信号とより複雑な幾何学的関係を持つ場合がある。
いくつかの実施例では、段階660において、仮想オブジェクトからユーザに戻るように反射された波が、決定されることができる。仮想オブジェクトは、与えられた(例えば、事前にプログラムされた)鏡面音響性質を有し得、その場合、反射された波は、単純なレイトレーシングによって、またはいくつかの実施例では、回折分析によって決定されることができる。いくつかの実施例では、仮想オブジェクトはまた、反射された波の拡散伝播が考慮され得るように、与えられた拡散特性を有してもよい。いくつかの実施例では、回折および拡散の波長依存性または周波数依存性が、反射された波を決定する際に利用されることができる。
段階670では、実オーディオ信号に適用されると、所望の音波特性を伴う反射オーディオ信号、すなわち、ユーザが聴取者座標516において(かつ、いくつかの実施例では、特定の聴取者配向において)聞こえることを予期するであろう、反射オーディオ信号を発生させるであろう、1つ以上の伝達関数が、決定されることができる。上記に説明されるように、これらの伝達関数は、減衰、フィルタリング、時間遅延、位相偏移、または他の好適な効果のうちの1つ以上のものを組み込むことができる。伝達関数は、入力として、段階610において検出された実オーディオ信号、段階620において決定されたユーザの位置および/または配向を備える、1つ以上のパラメータ、聴取者座標516(ユーザの位置と等しくてもよい)、聴取者配向(ユーザの配向と等しくてもよい)、段階630において決定された実オーディオ信号の原点および/または方向、段階660において決定された反射オーディオ信号の原点および/または方向、MREのパラメータ(例えば、音波がMRE内を伝搬する速度)、および/または段階650において識別された仮想オブジェクトのパラメータ(例えば、材料、密度、厚さ、共鳴、または上記に説明されるような任意の他の好適なパラメータ)を受け取ることができる。
いくつかの実施例では、伝達関数の大きさは、波長依存であってもよい。特定の周波数に対応する波長が、波散乱オブジェクト(例えば、仮想オブジェクト)のサイズに匹敵する、またはより大きい場合、散乱パターン(例えば、散乱された波の方向性)は、典型的には、回折によってモデル化されることができる。より長い波長は、より広い角度分布の中に回折される。表面テクスチャもまた、オブジェクトによって散乱された音の角度分布に影響を及ぼし得る。表面テクスチャが、音の特定の周波数帯域に対応する波長よりはるかに小さい、スケールを有する場合、表面テクスチャに起因する散乱効果は、無視可能であり得る。しかしながら、波長が表面テクスチャスケールに匹敵する周波数に関して、表面テクスチャの散乱効果は、有意となり得る。種々の表面テクスチャの音響散乱の経験的モデルが、実験データから取得されてもよい。仮想オブジェクトによってユーザ生成音の反射を合成するとき、周波数(波長)依存散乱パターンが、ユーザに戻るユーザ生成音の反射を説明する、周波数特有の伝達関数を決定するために使用されてもよい。そのような散乱パターンは、サイズ、形状、またはテクスチャに関連する、回折効果に基づいてもよい。伝達関数は、仮想オブジェクトに起因し得る、音響波散乱の物理的モデル化に基づいてもよいが、そうである必要はない。いくつかの実施例では、種々の距離および入射角に関する仮想オブジェクトのための伝達関数(例えば、オブジェクトがユーザに対して配置される様式に応じて)が、事前に算出され、リアルタイム拡張現実相互作用の過程において使用するために記憶されてもよい。
オブジェクト表面上の波の入射角は、波の伝搬方向と、表面の面法線とによって決定されることができる。ユーザの頭部に十分に近い(例えば、特定のオーディオ周波数に関して、2波長以内の)仮想オブジェクトは、オーディオ波が平面であると仮定されない、近距離ゾーン(または近視野)内にあると言える。近傍ゾーンでは、入射角が適用不可能であり得る場合でも、波伝搬分析は、依然として、例えば、仮想オブジェクトのサイズ、形状、および機械的性質に基づく周波数の関数として、反射された波の特性を取得するために使用され得る。機械的性質は、仮想オブジェクトに与えられた材料(例えば、ガラス、水)と関連付けられ得る。反射された波の特性は、周波数依存伝達関数をユーザによって生成されたオリジナルオーディオに適用することによって決定されることができる。いくつかの実施例では、伝達関数は、厳格な波伝搬分析ではなく、近似に基づいてもよい。
段階670では、減衰に関して、出力反射オーディオ信号が正しい利得レベルで提示されるように、入力実オーディオ信号を減衰させる、伝達関数が、決定されることができる。典型的には、反射オーディオ信号の利得は、聴取者座標516と反射オーディオ信号原点542との間の距離が増加するにつれて、減少するであろう(したがって、減衰は、増加するであろう)。減衰は、直接、距離に伴って変動し得る、距離に伴って指数関数的に変動し得る、または距離とのある他の関係を持ち得る。加えて、減衰は、実オーディオ信号と仮想オブジェクトの交差表面の法線との間の角度(例えば、528)に依存し得る。すなわち、角度が、小さく、実オーディオ信号の大成分が表面と垂直であることを示す場合、減衰は、角度が大きい場合より低くなり得る。これは、直接表面の中に進行する、オーディオ信号が、概して、主に表面と平行に進行する信号より大きい反響音をもたらす(信号の音響エネルギーが殆ど、表面に伝達されないように)ためである。減衰はまた、仮想オブジェクトのパラメータに依存し得る。例えば、仮想オブジェクトの共鳴特性は、共鳴周波数において、より高いまたはより低い減衰をもたらし得る。減衰はまた、MREの周囲媒体(例えば、水、空気)のパラメータに依存し得る。伝達関数によってモデル化され得る、減衰に及ぼされる他の効果も、明白となるであろう。
段階670では、フィルタリングに関して、出力反射オーディオ信号が適切な周波数スペクトルを保有するように、入力実オーディオ信号の具体的周波数をフィルタリングする、伝達関数が、決定されることができる。典型的には、高周波数は、聴取者座標516と反射オーディオ信号原点542との間の距離が増加するにつれて、ロールオフする(例えば、低域通過フィルタリングされた状態になる)であろう。本低域通過フィルタリングのパラメータは、距離に伴って変動し得る。さらに、フィルタリングは、聴取者座標516に対する反射オーディオ信号の方向に依存し得る。例えば、低域通過フィルタリングは、反射オーディオ信号が聴取者座標から離れるように進行する場合、聴取者座標に向かって進行する場合より強くなり得る。フィルタリングはまた、実オーディオ信号と仮想オブジェクトの交差表面の法線との間の角度(例えば、528)に依存し得る。例えば、いくつかの表面に関して、角度が、小さく、実オーディオ信号の大成分が表面と垂直であることを示す場合、フィルタリング(例えば、低域通過フィルタリング)は、角度が大きい場合より強くなり得る。これは、直接表面の中に進行するオーディオ信号が、主に表面と平行に進行する信号の反響音と異なる音波特性の反響音をもたらし得ることを反映する。さらに、実オーディオ信号と交差表面との間の斜角は、オーディオ信号の回折をもたらし得る。フィルタリングはまた、仮想オブジェクトのパラメータに依存し得る。例えば、フィルタ特性は、仮想オブジェクトの材料(例えば、ガラス、金属)によって影響され得る。さらに特定の共鳴特性と関連付けられた、仮想オブジェクトは、実オーディオ信号の共鳴周波数のより多いまたはより少ない減衰をもたらし得る。フィルタリングはまた、MREのパラメータに依存し得る。例えば、フィルタリングは、MREと関連付けられた材料(例えば、水、空気)に依存し得る。伝達関数によってモデル化され得る、他の周波数依存効果も、明白となるであろう。
段階670では、時間遅延および位相偏移効果に関して、出力反射オーディオ信号が正しい時間にユーザに提示されるように、入力実オーディオ信号を偏移させる、伝達関数が、決定されることができる。典型的には、反射オーディオ信号の偏移は、聴取者座標516と反射オーディオ信号原点542との間の距離が増加するにつれて、増加するであろう。これは、音波が、聴取者座標に到達するために、より遠くにかつより長く進行しなければならないことを反映する。偏移は、典型的には、距離に伴って線形に変動するであろうが、いくつかの実施例では、距離とのある他の関係を持ち得る。いくつかの実施例では、時間遅延は、周波数に依存し得る。時間遅延または位相偏移はまた、仮想オブジェクトの表面と関連付けられた材料等の仮想オブジェクトのパラメータに依存し得る。時間遅延および位相偏移はまた、MREのパラメータに依存し得る。例えば、時間遅延および位相偏移は、MREと関連付けられた材料(例えば、水、空気)に依存し得る。伝達関数によってモデル化され得る、時間遅延および位相偏移に及ぼされる他の効果も、明白となるであろう。同様に、変調効果も、同じように、伝達関数によってモデル化されることができる(例えば、発振の周波数は、上記に説明されるパラメータのうちの1つ以上のものに依存する)。
いくつかの実施例では、段階670において決定された1つ以上の伝達関数は、HRTFを備えてもよい。HRTFは、MRE500に対するユーザの頭部の位置および/または配向に従って、実オーディオ信号(段階610において検出されるようなもの、または段階670において決定された1つ以上の伝達関数によって修正されるようなもののいずれか)を処理してもよい。適切なHRTFは、段階670において、DSPオーディオ空間化装置(例えば、図4のDSPオーディオ空間化装置422)によって選択されてもよい。
段階680では、段階670において識別された1つ以上の伝達関数が、任意の好適な方法を使用して、段階610における実オーディオ信号入力に適用され、反射オーディオ信号を出力として生成することができる。例えば、伝達関数が、グローバル減衰を備える場合、その減衰は、実オーディオ信号の振幅を利得係数によって乗算することによって、適用されることができる。伝達関数が、周波数フィルタを備える場合、フィルタは、実オーディオ信号を時間ドメイン内のフィルタで畳み込む、または実オーディオ信号を周波数ドメイン内のフィルタで乗算することによって、実オーディオ信号に適用されることができる。伝達関数が、時間遅延および/または位相偏移を備える場合、時間遅延および/または位相偏移は、偏移レジスタ、巡回バッファ、または他の好適な記憶要素を使用して、適用されることができ、オーディオデータは、所望の時間遅延および/または位相偏移に従って、記憶要素内で偏移される。いくつかの実施例では、伝達関数は、伝達関数の第1の出力が、第2の出力を発生させるであろう、伝達関数への入力として提供されるように、実オーディオ信号に再帰的に適用されてもよい。伝達関数を実オーディオ信号に適用する他の好適な方法も、明白となるであろう。例えば、MIDIエンジンおよび/または反響エンジンが、実オーディオ信号および1つ以上のパラメータを入力として供給されてもよく、これは、所望の反射オーディオ信号を出力するであろう。
段階690では、段階680から出力された反射オーディオ信号は、ユーザ501に、1つ以上のオーディオ信号として提示されることができる。段階690は、任意の好適な混合技法を組み込み、これらのオーディオ信号を生成することができる。いくつかの実施例では、システム112は、非オクルード式スピーカを含むことができ、これは、必然的に、反射オーディオ信号出力に加え、環境からの実音も提示するであろう。しかしながら、いくつかの実施例では、システム112は、環境からの実音をオクルードする、オクルード式スピーカ(例えば、耳掛けヘッドホン、ノイズキャンセリングヘッドホン、またはシリコーンシールを伴うイヤーバッド)を含むことができる。そのような実施例では、そのような実音は、マイクロホンを介して、入力されることができ、反射オーディオ信号は、例えば、反射オーディオ信号および実オーディオ信号の相対的利得が、ユーザの予期と一致する2つの信号の平衡を発生させるように、実オーディオ信号と混合されることができる。
いくつかの実施例では、反射オーディオ信号は、混合された実オーディオ信号の有無にかかわらず、MRE500の他の音と合成される。いくつかの実施例では、反射オーディオ信号の利得または周波数スペクトルは、MRE500のイベントまたは条件に基づいて調節されてもよい。例えば、MRE500は、グローバル反響レベルのプログラム調節をもたらす、スクリプトを実行してもよく、これは、段階690において反射オーディオ信号に適用される、利得係数をもたらし得る。ステレオオーディオを伴う実施例では、異なるオーディオ信号が、別個の左および右チャネルのために決定されることができる。モノオーディオを伴う実施例では、オーディオ信号は、両耳に提示される、単一モノ信号の中に混合されることができる。混合されたオーディオ信号は、増幅され、それぞれ、左および右スピーカ2134および2136に提示される、左および右アナログ信号(例えば、D/Aコンバータおよび/または図4のDSPオーディオ空間化装置422によって)に変換されることができる。
図7は、上記に説明される例示的プロセス600の側面を実装するための機能コンポーネント(例えば、ウェアラブル頭部デバイス510および/またはMRE500のコンポーネント)の例示的使用を描写する。図示されるコンポーネントは、図4に関して上記に説明されるコンポーネント(例えば、プロセッサ416、GPU420、DSPオーディオ空間化装置422、HRTFメモリ425、視聴覚コンテンツメモリ418)等の任意の好適なハードウェアコンポーネント内に実装されてもよい。コンポーネントはさらに、ウェアラブル頭部デバイス400A、ハンドヘルドコントローラ400B、および/または補助ユニット400Cの任意の好適な組み合わせ上に実装されてもよい。図7は、上記に説明される仮想オブジェクト530等の1つ以上の仮想オブジェクトと、上記に説明されるような座標系108とを備え得る、仮想コンテンツ702を伴う、例示的ゲームエンジン700を描写する。ゲームエンジン700および/または仮想コンテンツ702は、上記に説明されるMRE500等の複合現実環境の仮想コンポーネントを備えてもよく、上記に説明されるウェアラブル頭部デバイス2102等のウェアラブル頭部デバイスを介して、記憶され、実行され、および/またはユーザに提示されてもよい。
図7では、マイクロホン708(マイクロホン512に対応し得る)は、例示的プロセス600の段階610におけるように、実オーディオ信号を検出するように構成されることができる。段階610に関して上記に説明されるように、マイクロホンによって入力された信号は、A/D変換(710)およびフィードバックキャンセル(712)を介して、事前処理を受けてもよい。フィードバックキャンセルは、入力信号と1つ以上の以前に出力されたオーディオ信号との間の差異を算出することによって実施されてもよい(例えば、スピーカ/マイクロホン伝達関数714、および総和器716を介して処理されるように)。事前処理されたオーディオ信号は、偏移レジスタ718内にデジタル的に記憶されることができ、これは、任意の好適な数のビット(したがって、オーディオサンプル)を記憶するように構成されてもよい。いくつかの実施例では、偏移レジスタの機能は、メモリを使用して実装されてもよい。
図7では、ゲームエンジン700は、複合現実環境の一部として、例示的プロセス600に関して上記に説明されるように、ステップ620、630、640、650、および660を実施するように構成されることができる。例えば、ゲームエンジン700は、ウェアラブル頭部デバイス2102のセンサおよび追跡ハードウェアを使用して、ユーザ501等のユーザの6自由度追跡704(すなわち、3つの平行移動度および3つの回転度を備える)を実施してもよい。これは、上記に説明されるように、ユーザの位置(例えば、原点522)および/または配向(ステップ620)および実オーディオ信号の原点および方向(例えば、524)(ステップ630)を決定するために使用される入力を提供し得る。ゲームエンジン700はさらに、仮想コンテンツ702の1つ以上の仮想オブジェクトを識別し(ステップ640)、実オーディオ信号が任意のそのような仮想オブジェクトと交差するかどうか(およびその範囲)を決定してもよい(ステップ650)。該当する場合、ゲームエンジン700は、結果として生じる反射オーディオ信号の原点(例えば、542)および方向(544)を決定してもよい(ステップ660)。
ゲームエンジン700は、実オーディオ信号が交差する仮想オブジェクト等の仮想コンテンツ702を備える、仮想オブジェクトに対応する、1つ以上のパラメータを出力してもよい。ゲームエンジン700はまた、仮想コンテンツ702の仮想オブジェクトに対するユーザの位置および/または配向を出力してもよい。ゲームエンジン700はまた、その仮想オブジェクトに対するユーザの距離および/または角度等、仮想オブジェクトに対するユーザに関連する他の空間情報を出力してもよい。
ゲームエンジン700は、単独で、または他のコンポーネントと併せて、プロセス600のステップ670に従って、伝達関数を決定してもよい。例えば、ゲームエンジン700は、仮想オブジェクト反射利得設定装置720と併せて、ステップ670に関して上記に説明されるように、実オーディオ信号に適用されるために、減衰のレベルを決定してもよい。加えて、ゲームエンジン700は、実オーディオ信号に適用されるためのHRTF722を識別してもよい。ステップ670において伝達関数を決定する他の側面も、上記に説明されるように、ゲームエンジン700によって実施されてもよい。
図7は、プロセス600の段階680に関して上記に説明されるように、伝達関数を実オーディオ信号に適用し、反射オーディオ信号を取得するために使用され得る、種々の機能コンポーネントを示す。例えば、伝達関数の時間遅延側面を実装するために、ゲームエンジン700は、ルックアップテーブル724を利用して、時間遅延を実オーディオ信号に適用することができる。ルックアップテーブル724内に記憶される時間遅延は、ユーザからマイクロホン708までの伝搬遅延を考慮するように、値が減少されることができる。ゲームエンジン700は、例えば、聴取者座標から仮想オブジェクトまでの距離を入力としてルックアップテーブル724に提供することができ、ルックアップテーブルは、次いで、1つ以上の制御信号をマルチプレクサ726に出力し得る。マルチプレクサ726は、ひいては、制御信号を使用して、偏移レジスタ718から、所望の時間遅延量に対応するデータを選択し得る。
同様に、伝達関数の減衰側面を実装するために、マルチプレクサ726の出力は、可変利得段階728に提供され得、減衰のレベルは、上記に説明されるように、仮想オブジェクト反射利得設定装置720によって設定される。本減衰は、可変利得段階728において、減衰のレベルに対応する単純乗算器をマルチプレクサ726の出力に適用することによって提供されてもよい。
同様に、伝達関数のフィルタリング側面を実装するために、可変利得段階の出力は、例えば、高速フーリエ変換730および対応する逆変換733を使用して、周波数帯域別によって分離されてもよい。いくつかの実施例では、時間ドメインフィルタリング(例えば、移動平均、有限インパルス応答(FIR)フィルタ、または無限インパルス応答(IIR)フィルタ)が、使用されてもよい。適切なレベルの減衰(例えば、仮想オブジェクト反射利得設定装置720によって選択されるように)が、次いで、周波数依存利得段階732において、例えば、各周波数帯域を決定された減衰のレベルによって乗算することによって、周波数帯域毎に適用されてもよい。
例えば、上記に説明されるように、ゲームエンジン700によって選択される、HRTF722は、周波数依存利得段階732によって出力された信号に適用されることができ、HRTF722と周波数依存利得の組み合わせは、全体的周波数依存利得を決定するために使用されることができる。
プロセス600の段階690に関して上記に説明されるように、HRTF722によって出力された反射オーディオ信号は、段階734において、ユーザへの提示に備えて、混合されることができる。例えば、段階734は、HRTF722の出力をゲームエンジン700と関連付けられた他のオーディオ信号(例えば、仮想コンテンツ702に対応する)とともに総和することによって、1つ以上の合成オーディオ信号(例えば、単一モノオーディオ信号または左/右ステレオオーディオ信号)を作成することができる。これらのオーディオ信号は、仮想オーディオプロセッサ736によって提供されてもよく、これは、HRTF722の出力と合成されるように、オーディオ出力を段階734に送信し得る。段階738では、合成オーディオ信号は、D/Aコンバータ738によって処理され、段階740において増幅され、スピーカ742(例えば、スピーカ2134および2136に対応する)を駆動し、これは、最終的には、結果として生じるオーディオ信号をユーザに提示する。
図7に示される例示的機能ブロック図の要素は、任意の好適な順序で配列されることができることに留意されたい。例えば、時間遅延マルチプレクサ726、可変利得段階728、周波数依存利得段階732、高速フーリエ変換730、逆高速フーリエ変換733、およびHRTF722は、必ずしも、示される順序ではなく、任意の好適な順序で設置されてもよい。本開示は、実施例に示される機能コンポーネントの任意の特定の順序または配列に限定されない。
本開示のいくつかの実施例は、オーディオ信号を複合現実環境のユーザに提示する方法であって、複合現実環境内の第1のオーディオ信号を検出するステップであって、第1のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザの位置に対応する聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第1のオーディオ信号に適用し、第2のオーディオ信号を発生させるステップと、ユーザに、第2のオーディオ信号を提示するステップとを含む、方法を対象とする。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、複合現実環境内のユーザの位置を識別するステップを含み、ユーザと関連付けられた聴取者座標は、位置に基づいて識別される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号を検出するステップは、ユーザによって生成された音声信号を検出するステップを含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、複合現実環境内のユーザの配向を識別するステップを含み、伝達関数は、ユーザの配向を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号は、ユーザ生成信号である。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、第1のオーディオ信号が仮想オブジェクトと交差する角度を決定するステップを含み、伝達関数は、角度を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号は、複合現実環境内の方向と関連付けられ、伝達関数は、方向を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、仮想オブジェクトは、材料と関連付けられ、伝達関数は、材料を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、時間、周波数、利得、および位相のうちの1つ以上のものの関数を含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、頭部関連伝達関数を含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、複合現実環境内の第2のオーディオ信号の原点および方向を決定するステップを含み、伝達関数は、第2のオーディオ信号の原点および方向を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号は、ユーザによって装着されるウェアラブル頭部デバイスと関連付けられたマイクロホンを使用して検出される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、本方法はさらに、ユーザに、ディスプレイを介して、仮想オブジェクトを提示するステップを含む。
本開示のいくつかの実施例は、システムであって、複合現実環境をユーザに表示するためのディスプレイであって、それを通して実環境が可視となる、透過性接眼レンズを備える、ディスプレイと、マイクロホンと、スピーカと、複合現実環境内のウェアラブル頭部デバイスの位置および配向のうちの1つ以上のものを検出するように構成される、センサとを含む、ウェアラブル頭部デバイスと、マイクロホンを介して、複合現実環境内の第1のオーディオ信号を検出するステップであって、第1のオーディオ信号は、実オーディオ信号である、ステップと、複合現実環境内の第1のオーディオ信号によって交差される仮想オブジェクトを識別するステップと、ユーザに、ディスプレイを介して、仮想オブジェクトを提示するステップと、センサを介して、複合現実環境内のウェアラブル頭部デバイスの位置を識別するステップと、ウェアラブル頭部デバイスの位置を使用して、聴取者座標を識別するステップと、仮想オブジェクトおよび聴取者座標を使用して、伝達関数を決定するステップと、伝達関数を第1のオーディオ信号に適用し、第2のオーディオ信号を発生させるステップと、ユーザに、スピーカを介して、第2のオーディオ信号を提示するステップとを実施するように構成される、1つ以上のプロセッサとを備える、システムを対象とする。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、マイクロホンを介して、第1のオーディオ信号を検出するステップは、マイクロホンを介して、ユーザによって生成された音声信号を検出するステップを含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、1つ以上のプロセッサはさらに、センサを介して、複合現実環境内のウェアラブル頭部デバイスの配向を識別するステップを実施するように構成され、伝達関数は、ウェアラブル頭部デバイスの配向を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、1つ以上のプロセッサはさらに、複合現実環境内のユーザの位置を識別するステップを実施するように構成され、ユーザと関連付けられた聴取者座標は、位置に基づいて識別される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号を検出するステップは、ユーザによって生成された音声信号を検出するステップを含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、1つ以上のプロセッサはさらに、複合現実環境内のユーザの配向を識別するステップを実施するように構成され、伝達関数はさらに、ユーザの配向を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号は、ユーザ生成信号である。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、1つ以上のプロセッサはさらに、第1のオーディオ信号が仮想オブジェクトと交差する角度を決定するステップを実施するように構成され、伝達関数は、角度を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、第1のオーディオ信号は、複合現実環境内の方向と関連付けられ、伝達関数は、方向を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、仮想オブジェクトは、材料と関連付けられ、伝達関数は、材料を使用して決定される。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、時間、周波数、利得、および位相のうちの1つ以上のものの関数を含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、伝達関数は、頭部関連伝達関数を含む。上記に開示される実施例のうちの1つ以上のものに加えて、またはその代替として、いくつかの実施例では、1つ以上のプロセッサはさらに、複合現実環境内の第2のオーディオ信号の原点および方向を決定するステップを実施するように構成され、伝達関数は、第2のオーディオ信号の原点および方向を使用して決定される。
開示される実施例は、付随の図面を参照して完全に説明されたが、種々の変更および修正が、当業者に明白となるであろうことに留意されたい。例えば、1つ以上の実装の要素は、組み合わせられ、削除され、修正され、または補完され、さらなる実装を形成してもよい。そのような変更および修正は、添付の請求項によって定義されるような開示される実施例の範囲内に含まれるものとして理解されるべきである。
Claims (1)
- 本明細書に記載の発明。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201862631418P | 2018-02-15 | 2018-02-15 | |
US62/631,418 | 2018-02-15 | ||
JP2020543327A JP2021514081A (ja) | 2018-02-15 | 2019-02-15 | 複合現実仮想反響音 |
PCT/US2019/018368 WO2019161313A1 (en) | 2018-02-15 | 2019-02-15 | Mixed reality virtual reverberation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543327A Division JP2021514081A (ja) | 2018-02-15 | 2019-02-15 | 複合現実仮想反響音 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023090737A true JP2023090737A (ja) | 2023-06-29 |
Family
ID=67619600
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543327A Pending JP2021514081A (ja) | 2018-02-15 | 2019-02-15 | 複合現実仮想反響音 |
JP2023063331A Pending JP2023090737A (ja) | 2018-02-15 | 2023-04-10 | 複合現実仮想反響音 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020543327A Pending JP2021514081A (ja) | 2018-02-15 | 2019-02-15 | 複合現実仮想反響音 |
Country Status (7)
Country | Link |
---|---|
US (3) | US11477510B2 (ja) |
EP (1) | EP3753238A4 (ja) |
JP (2) | JP2021514081A (ja) |
CN (2) | CN111713091A (ja) |
CA (1) | CA3090390A1 (ja) |
IL (2) | IL276510B2 (ja) |
WO (1) | WO2019161313A1 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102633727B1 (ko) | 2017-10-17 | 2024-02-05 | 매직 립, 인코포레이티드 | 혼합 현실 공간 오디오 |
CN111713091A (zh) | 2018-02-15 | 2020-09-25 | 奇跃公司 | 混合现实虚拟混响 |
US11355094B2 (en) * | 2018-09-22 | 2022-06-07 | BadVR, Inc. | Wireless virtual display controller |
US11100909B2 (en) * | 2019-05-06 | 2021-08-24 | Apple Inc. | Devices, methods, and graphical user interfaces for adaptively providing audio outputs |
US11470017B2 (en) * | 2019-07-30 | 2022-10-11 | At&T Intellectual Property I, L.P. | Immersive reality component management via a reduced competition core network component |
JP7446420B2 (ja) * | 2019-10-25 | 2024-03-08 | マジック リープ, インコーポレイテッド | 反響フィンガプリント推定 |
US11871152B2 (en) * | 2020-05-19 | 2024-01-09 | Ovice, Inc. | Information processing system, information processing apparatus, and program |
US11275629B2 (en) * | 2020-06-25 | 2022-03-15 | Microsoft Technology Licensing, Llc | Mixed reality complementary systems |
US11393434B2 (en) * | 2020-07-09 | 2022-07-19 | Industrial Technology Research Institute | Method, processing device, and display system for information display |
KR20220061769A (ko) * | 2020-11-06 | 2022-05-13 | 삼성전자주식회사 | Slam을 가속화하는 방법 및 이를 이용한 장치 |
US11750745B2 (en) | 2020-11-18 | 2023-09-05 | Kelly Properties, Llc | Processing and distribution of audio signals in a multi-party conferencing environment |
KR102398850B1 (ko) * | 2020-11-23 | 2022-05-17 | 제이씨스퀘어 (주) | 증강현실 및 가상현실에서의 입체 음향효과를 구현하는 사운드제어시스템 |
CN112882568A (zh) * | 2021-01-27 | 2021-06-01 | 深圳市慧鲤科技有限公司 | 音频播放方法及装置、电子设备和存储介质 |
EP4068076A1 (en) * | 2021-03-29 | 2022-10-05 | Nokia Technologies Oy | Processing of audio data |
EP4102859A1 (en) * | 2021-06-08 | 2022-12-14 | Atos Information Technology GmbH | Virtual reality method and equipment for enhancing the user's feeling of immersion |
JP7032837B1 (ja) * | 2021-06-18 | 2022-03-09 | シンメトリー・ディメンションズ・インク | 音波伝播シミュレーションシステム |
KR102629771B1 (ko) * | 2021-09-30 | 2024-01-29 | 박두고 | 손 또는 손가락 추적을 이용한 객체 인식용 웨어러블 장치 |
FR3136098A1 (fr) * | 2022-05-31 | 2023-12-01 | Orange | Procédé de fourniture de données audio, dispositif, système, et programme d’ordinateur associés |
Family Cites Families (125)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3000485A (en) | 1956-05-04 | 1961-09-19 | Blanche E Bouchard | Multi-price vending machine |
JPS5264974A (en) | 1975-11-25 | 1977-05-28 | Victor Co Of Japan Ltd | Reverberation time measuring device |
JPS644200A (en) | 1987-06-26 | 1989-01-09 | Nissan Motor | Sound field improving device |
US4852988A (en) | 1988-09-12 | 1989-08-01 | Applied Science Laboratories | Visor and camera providing a parallax-free field-of-view image for a head-mounted eye movement measurement system |
GB9107011D0 (en) | 1991-04-04 | 1991-05-22 | Gerzon Michael A | Illusory sound distance control method |
FR2688371B1 (fr) | 1992-03-03 | 1997-05-23 | France Telecom | Procede et systeme de spatialisation artificielle de signaux audio-numeriques. |
FR2738099B1 (fr) | 1995-08-25 | 1997-10-24 | France Telecom | Procede de simulation de la qualite acoustique d'une salle et processeur audio-numerique associe |
US6847336B1 (en) | 1996-10-02 | 2005-01-25 | Jerome H. Lemelson | Selectively controllable heads-up display system |
US6665407B1 (en) | 1998-09-28 | 2003-12-16 | Creative Technology Ltd. | Three channel panning system |
US6453047B1 (en) | 1998-09-28 | 2002-09-17 | Creative Technology Ltd | Matrix encoding system with improved behavior frequency |
US6188769B1 (en) | 1998-11-13 | 2001-02-13 | Creative Technology Ltd. | Environmental reverberation processor |
US6433760B1 (en) | 1999-01-14 | 2002-08-13 | University Of Central Florida | Head mounted display with eyetracking capability |
US6491391B1 (en) | 1999-07-02 | 2002-12-10 | E-Vision Llc | System, apparatus, and method for reducing birefringence |
CA2316473A1 (en) | 1999-07-28 | 2001-01-28 | Steve Mann | Covert headworn information display or data display or viewfinder |
US7231054B1 (en) | 1999-09-24 | 2007-06-12 | Creative Technology Ltd | Method and apparatus for three-dimensional audio display |
US6798889B1 (en) | 1999-11-12 | 2004-09-28 | Creative Technology Ltd. | Method and apparatus for multi-channel sound system calibration |
US6978027B1 (en) | 2000-04-11 | 2005-12-20 | Creative Technology Ltd. | Reverberation processor for interactive audio applications |
US7149314B2 (en) | 2000-12-04 | 2006-12-12 | Creative Technology Ltd | Reverberation processor based on absorbent all-pass filters |
US7099482B1 (en) | 2001-03-09 | 2006-08-29 | Creative Technology Ltd | Method and apparatus for the simulation of complex audio environments |
CA2362895A1 (en) | 2001-06-26 | 2002-12-26 | Steve Mann | Smart sunglasses or computer information display built into eyewear having ordinary appearance, possibly with sight license |
DE10132872B4 (de) | 2001-07-06 | 2018-10-11 | Volkswagen Ag | Kopfmontiertes optisches Durchsichtssystem |
US20030030597A1 (en) | 2001-08-13 | 2003-02-13 | Geist Richard Edwin | Virtual display apparatus for mobile activities |
US7848531B1 (en) | 2002-01-09 | 2010-12-07 | Creative Technology Ltd. | Method and apparatus for audio loudness and dynamics matching |
JP4059478B2 (ja) | 2002-02-28 | 2008-03-12 | パイオニア株式会社 | 音場制御方法及び音場制御システム |
US7567845B1 (en) | 2002-06-04 | 2009-07-28 | Creative Technology Ltd | Ambience generation for stereo signals |
US7257231B1 (en) | 2002-06-04 | 2007-08-14 | Creative Technology Ltd. | Stream segregation for stereo signals |
CA2388766A1 (en) | 2002-06-17 | 2003-12-17 | Steve Mann | Eyeglass frames based computer display or eyeglasses with operationally, actually, or computationally, transparent frames |
US6943754B2 (en) | 2002-09-27 | 2005-09-13 | The Boeing Company | Gaze tracking system, eye-tracking assembly and an associated method of calibration |
US7347551B2 (en) | 2003-02-13 | 2008-03-25 | Fergason Patent Properties, Llc | Optical system for monitoring eye movement |
US7500747B2 (en) | 2003-10-09 | 2009-03-10 | Ipventure, Inc. | Eyeglasses with electrical components |
US7970144B1 (en) | 2003-12-17 | 2011-06-28 | Creative Technology Ltd | Extracting and modifying a panned source for enhancement and upmix of audio signals |
US7412380B1 (en) | 2003-12-17 | 2008-08-12 | Creative Technology Ltd. | Ambience extraction and modification for enhancement and upmix of audio signals |
CA2967756C (en) | 2004-04-01 | 2018-08-28 | Google Inc. | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
WO2006003957A1 (ja) | 2004-06-30 | 2006-01-12 | Pioneer Corporation | 残響調整装置、残響調整方法、残響調整プログラムおよびそれを記録した記録媒体、並びに、音場補正システム |
US7928311B2 (en) | 2004-12-01 | 2011-04-19 | Creative Technology Ltd | System and method for forming and rendering 3D MIDI messages |
US8964997B2 (en) | 2005-05-18 | 2015-02-24 | Bose Corporation | Adapted audio masking |
US8696113B2 (en) | 2005-10-07 | 2014-04-15 | Percept Technologies Inc. | Enhanced optical and perceptual digital eyewear |
US20070081123A1 (en) | 2005-10-07 | 2007-04-12 | Lewis Scott W | Digital eyewear |
US9788757B2 (en) | 2005-12-28 | 2017-10-17 | Breath Research, Inc. | Breathing biofeedback device |
EP1806593B1 (en) | 2006-01-09 | 2008-04-30 | Honda Research Institute Europe GmbH | Determination of the adequate measurement window for sound source localization in echoic environments |
US8712061B2 (en) | 2006-05-17 | 2014-04-29 | Creative Technology Ltd | Phase-amplitude 3-D stereo encoder and decoder |
US8345899B2 (en) | 2006-05-17 | 2013-01-01 | Creative Technology Ltd | Phase-amplitude matrixed surround decoder |
US8374365B2 (en) | 2006-05-17 | 2013-02-12 | Creative Technology Ltd | Spatial audio analysis and synthesis for binaural reproduction and format conversion |
US8619998B2 (en) | 2006-08-07 | 2013-12-31 | Creative Technology Ltd | Spatial audio enhancement processing method and apparatus |
US9697844B2 (en) | 2006-05-17 | 2017-07-04 | Creative Technology Ltd | Distributed spatial audio decoder |
US9014377B2 (en) | 2006-05-17 | 2015-04-21 | Creative Technology Ltd | Multichannel surround format conversion and generalized upmix |
US8379868B2 (en) | 2006-05-17 | 2013-02-19 | Creative Technology Ltd | Spatial audio coding based on universal spatial cues |
US9496850B2 (en) | 2006-08-04 | 2016-11-15 | Creative Technology Ltd | Alias-free subband processing |
US8488796B2 (en) | 2006-08-08 | 2013-07-16 | Creative Technology Ltd | 3D audio renderer |
US8107631B2 (en) | 2007-10-04 | 2012-01-31 | Creative Technology Ltd | Correlation-based method for ambience extraction from two-channel audio signals |
US9037468B2 (en) | 2008-10-27 | 2015-05-19 | Sony Computer Entertainment Inc. | Sound localization for user in motion |
US8000485B2 (en) | 2009-06-01 | 2011-08-16 | Dts, Inc. | Virtual audio processing for loudspeaker or headphone playback |
US9432790B2 (en) | 2009-10-05 | 2016-08-30 | Microsoft Technology Licensing, Llc | Real-time sound propagation for dynamic sources |
US8879750B2 (en) | 2009-10-09 | 2014-11-04 | Dts, Inc. | Adaptive dynamic range enhancement of audio recordings |
US20110213664A1 (en) | 2010-02-28 | 2011-09-01 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8890946B2 (en) | 2010-03-01 | 2014-11-18 | Eyefluence, Inc. | Systems and methods for spatially controlled scene illumination |
US20110251704A1 (en) | 2010-04-09 | 2011-10-13 | Martin Walsh | Adaptive environmental noise compensation for audio playback |
US8531355B2 (en) | 2010-07-23 | 2013-09-10 | Gregory A. Maltz | Unitized, vision-controlled, wireless eyeglass transceiver |
US8908874B2 (en) | 2010-09-08 | 2014-12-09 | Dts, Inc. | Spatial audio encoding and reproduction |
CN103262409B (zh) | 2010-09-10 | 2016-07-06 | Dts(英属维尔京群岛)有限公司 | 用于改进的感觉的频谱不平衡的音频信号的动态补偿 |
US8767968B2 (en) | 2010-10-13 | 2014-07-01 | Microsoft Corporation | System and method for high-precision 3-dimensional audio for augmented reality |
US9292973B2 (en) | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
EP2661912B1 (en) | 2011-01-05 | 2018-08-22 | Koninklijke Philips N.V. | An audio system and method of operation therefor |
KR102374897B1 (ko) | 2011-03-16 | 2022-03-17 | 디티에스, 인코포레이티드 | 3차원 오디오 사운드트랙의 인코딩 및 재현 |
US9253574B2 (en) | 2011-09-13 | 2016-02-02 | Dts, Inc. | Direct-diffuse decomposition |
US8929589B2 (en) | 2011-11-07 | 2015-01-06 | Eyefluence, Inc. | Systems and methods for high-resolution gaze tracking |
US8611015B2 (en) | 2011-11-22 | 2013-12-17 | Google Inc. | User interface |
US8235529B1 (en) | 2011-11-30 | 2012-08-07 | Google Inc. | Unlocking a screen using eye tracking information |
US8638498B2 (en) | 2012-01-04 | 2014-01-28 | David D. Bohn | Eyebox adjustment for interpupillary distance |
US10013053B2 (en) | 2012-01-04 | 2018-07-03 | Tobii Ab | System for gaze interaction |
US8831255B2 (en) | 2012-03-08 | 2014-09-09 | Disney Enterprises, Inc. | Augmented reality (AR) audio with position and action triggered virtual sound effects |
US9274338B2 (en) | 2012-03-21 | 2016-03-01 | Microsoft Technology Licensing, Llc | Increasing field of view of reflective waveguide |
US9332373B2 (en) | 2012-05-31 | 2016-05-03 | Dts, Inc. | Audio depth dynamic range enhancement |
WO2013181272A2 (en) | 2012-05-31 | 2013-12-05 | Dts Llc | Object-based audio system using vector base amplitude panning |
US8989535B2 (en) | 2012-06-04 | 2015-03-24 | Microsoft Technology Licensing, Llc | Multiple waveguide imaging structure |
US9386373B2 (en) | 2012-07-03 | 2016-07-05 | Dts, Inc. | System and method for estimating a reverberation time |
US9779731B1 (en) * | 2012-08-20 | 2017-10-03 | Amazon Technologies, Inc. | Echo cancellation based on shared reference signals |
CN104956689B (zh) | 2012-11-30 | 2017-07-04 | Dts(英属维尔京群岛)有限公司 | 用于个性化音频虚拟化的方法和装置 |
WO2014089542A1 (en) | 2012-12-06 | 2014-06-12 | Eyefluence, Inc. | Eye tracking wearable devices and methods for use |
CA2896985A1 (en) | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US20140195918A1 (en) | 2013-01-07 | 2014-07-10 | Steven Friedlander | Eye tracking user interface |
RU2648604C2 (ru) | 2013-02-26 | 2018-03-26 | Конинклейке Филипс Н.В. | Способ и аппаратура для генерации сигнала речи |
US9197930B2 (en) * | 2013-03-15 | 2015-11-24 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover in an audience monitoring system |
US9443354B2 (en) | 2013-04-29 | 2016-09-13 | Microsoft Technology Licensing, Llc | Mixed reality interactions |
US20160088417A1 (en) * | 2013-04-30 | 2016-03-24 | Intellectual Discovery Co., Ltd. | Head mounted display and method for providing audio content by using same |
US10262462B2 (en) | 2014-04-18 | 2019-04-16 | Magic Leap, Inc. | Systems and methods for augmented and virtual reality |
US10063207B2 (en) | 2014-02-27 | 2018-08-28 | Dts, Inc. | Object-based audio loudness management |
JP6349899B2 (ja) | 2014-04-14 | 2018-07-04 | ヤマハ株式会社 | 放収音装置 |
EP3441966A1 (en) | 2014-07-23 | 2019-02-13 | PCMS Holdings, Inc. | System and method for determining audio context in augmented-reality applications |
US9769552B2 (en) | 2014-08-19 | 2017-09-19 | Apple Inc. | Method and apparatus for estimating talker distance |
EP3018918A1 (en) | 2014-11-07 | 2016-05-11 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for generating output signals based on an audio source signal, sound reproduction system and loudspeaker signal |
US9584915B2 (en) | 2015-01-19 | 2017-02-28 | Microsoft Technology Licensing, Llc | Spatial audio with remote speakers |
US9787846B2 (en) * | 2015-01-21 | 2017-10-10 | Microsoft Technology Licensing, Llc | Spatial audio signal processing for objects with associated audio content |
EP3251116A4 (en) | 2015-01-30 | 2018-07-25 | DTS, Inc. | System and method for capturing, encoding, distributing, and decoding immersive audio |
US9558757B1 (en) | 2015-02-20 | 2017-01-31 | Amazon Technologies, Inc. | Selective de-reverberation using blind estimation of reverberation level |
GB2536020A (en) * | 2015-03-04 | 2016-09-07 | Sony Computer Entertainment Europe Ltd | System and method of virtual reality feedback |
US9776001B2 (en) | 2015-06-11 | 2017-10-03 | Med-El Elektromedizinische Geraete Gmbh | Interaural coherence based cochlear stimulation using adapted envelope processing |
KR102565118B1 (ko) | 2015-08-21 | 2023-08-08 | 디티에스, 인코포레이티드 | 누설 소거용 다중 스피커 방법 및 장치 |
KR20180132032A (ko) | 2015-10-28 | 2018-12-11 | 디티에스, 인코포레이티드 | 객체 기반 오디오 신호 균형화 |
CN108369494B (zh) | 2015-10-28 | 2021-08-27 | Dts(英属维尔京群岛)有限公司 | 音频信号的频谱校正 |
FR3044509B1 (fr) | 2015-11-26 | 2017-12-15 | Invoxia | Procede et dispositif pour estimer la reverberation acoustique |
US9648438B1 (en) | 2015-12-16 | 2017-05-09 | Oculus Vr, Llc | Head-related transfer function recording using positional tracking |
WO2017134973A1 (ja) | 2016-02-01 | 2017-08-10 | ソニー株式会社 | 音響出力装置、音響出力方法、プログラム、音響システム |
US10038967B2 (en) | 2016-02-02 | 2018-07-31 | Dts, Inc. | Augmented reality headphone environment rendering |
IL283975B2 (en) | 2016-02-04 | 2024-02-01 | Magic Leap Inc | A technique for audio direction in an augmented reality system |
US9591427B1 (en) | 2016-02-20 | 2017-03-07 | Philip Scott Lyren | Capturing audio impulse responses of a person with a smartphone |
US20170325043A1 (en) | 2016-05-06 | 2017-11-09 | Jean-Marc Jot | Immersive audio reproduction systems |
EP3463084B1 (en) | 2016-05-27 | 2024-04-03 | Institut National de la Santé et de la Recherche Médicale (INSERM) | Method and apparatus for acquiring a spatial map of auditory perception of a subject |
US9906885B2 (en) | 2016-07-15 | 2018-02-27 | Qualcomm Incorporated | Methods and systems for inserting virtual sounds into an environment |
US10390165B2 (en) | 2016-08-01 | 2019-08-20 | Magic Leap, Inc. | Mixed reality system with spatialized audio |
WO2018031621A1 (en) * | 2016-08-11 | 2018-02-15 | Magic Leap, Inc. | Automatic placement of a virtual object in a three-dimensional space |
US10531220B2 (en) | 2016-12-05 | 2020-01-07 | Magic Leap, Inc. | Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems |
DE102017200597B4 (de) | 2017-01-16 | 2020-03-26 | Sivantos Pte. Ltd. | Verfahren zum Betrieb eines Hörsystems und Hörsystem |
WO2018182274A1 (ko) | 2017-03-27 | 2018-10-04 | 가우디오디오랩 주식회사 | 오디오 신호 처리 방법 및 장치 |
KR102633727B1 (ko) | 2017-10-17 | 2024-02-05 | 매직 립, 인코포레이티드 | 혼합 현실 공간 오디오 |
US10609502B2 (en) | 2017-12-21 | 2020-03-31 | Verizon Patent And Licensing Inc. | Methods and systems for simulating microphone capture within a capture zone of a real-world scene |
KR102334070B1 (ko) | 2018-01-18 | 2021-12-03 | 삼성전자주식회사 | 전자 장치 및 그 제어 방법 |
CN111713091A (zh) | 2018-02-15 | 2020-09-25 | 奇跃公司 | 混合现实虚拟混响 |
WO2019246159A1 (en) | 2018-06-18 | 2019-12-26 | Magic Leap, Inc. | Spatial audio for interactive audio environments |
US10674307B1 (en) | 2019-03-27 | 2020-06-02 | Facebook Technologies, Llc | Determination of acoustic parameters for a headset using a mapping server |
US11102603B2 (en) | 2019-05-28 | 2021-08-24 | Facebook Technologies, Llc | Determination of material acoustic parameters to facilitate presentation of audio content |
US10645520B1 (en) | 2019-06-24 | 2020-05-05 | Facebook Technologies, Llc | Audio system for artificial reality environment |
US10880668B1 (en) | 2019-09-13 | 2020-12-29 | Facebook Technologies, Llc | Scaling of virtual audio content using reverberent energy |
IT201900018563A1 (it) | 2019-10-11 | 2021-04-11 | Powersoft S P A | Dispositivo di condizionamento acustico per produrre un riverbero in un ambiente |
JP7446420B2 (ja) | 2019-10-25 | 2024-03-08 | マジック リープ, インコーポレイテッド | 反響フィンガプリント推定 |
-
2019
- 2019-02-15 CN CN201980012962.XA patent/CN111713091A/zh active Pending
- 2019-02-15 IL IL276510A patent/IL276510B2/en unknown
- 2019-02-15 WO PCT/US2019/018368 patent/WO2019161313A1/en unknown
- 2019-02-15 EP EP19754505.6A patent/EP3753238A4/en active Pending
- 2019-02-15 US US16/970,331 patent/US11477510B2/en active Active
- 2019-02-15 CA CA3090390A patent/CA3090390A1/en active Pending
- 2019-02-15 IL IL305799A patent/IL305799A/en unknown
- 2019-02-15 CN CN202310784633.5A patent/CN116781827A/zh active Pending
- 2019-02-15 JP JP2020543327A patent/JP2021514081A/ja active Pending
-
2022
- 2022-09-12 US US17/943,057 patent/US11800174B2/en active Active
-
2023
- 2023-04-10 JP JP2023063331A patent/JP2023090737A/ja active Pending
- 2023-09-20 US US18/471,071 patent/US20240015352A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
IL276510A (en) | 2020-09-30 |
US20210084357A1 (en) | 2021-03-18 |
IL276510B2 (en) | 2024-02-01 |
EP3753238A1 (en) | 2020-12-23 |
US20230007332A1 (en) | 2023-01-05 |
JP2021514081A (ja) | 2021-06-03 |
IL305799A (en) | 2023-11-01 |
EP3753238A4 (en) | 2021-04-07 |
US11477510B2 (en) | 2022-10-18 |
CA3090390A1 (en) | 2019-08-22 |
CN116781827A (zh) | 2023-09-19 |
WO2019161313A1 (en) | 2019-08-22 |
CN111713091A (zh) | 2020-09-25 |
US11800174B2 (en) | 2023-10-24 |
IL276510B1 (en) | 2023-10-01 |
US20240015352A1 (en) | 2024-01-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11800174B2 (en) | Mixed reality virtual reverberation | |
US11778398B2 (en) | Reverberation fingerprint estimation | |
US11956620B2 (en) | Dual listener positions for mixed reality | |
US11477599B2 (en) | Delayed audio following | |
US20230396948A1 (en) | Delayed audio following | |
WO2023064870A1 (en) | Voice processing for mixed reality | |
JP2023516847A (ja) | 環境音響持続性 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230410 |