JP2020092448A - 拡張現実システムにおいてオーディオを指向させるための技法 - Google Patents

拡張現実システムにおいてオーディオを指向させるための技法 Download PDF

Info

Publication number
JP2020092448A
JP2020092448A JP2020024915A JP2020024915A JP2020092448A JP 2020092448 A JP2020092448 A JP 2020092448A JP 2020024915 A JP2020024915 A JP 2020024915A JP 2020024915 A JP2020024915 A JP 2020024915A JP 2020092448 A JP2020092448 A JP 2020092448A
Authority
JP
Japan
Prior art keywords
end user
sound
virtual
item
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020024915A
Other languages
English (en)
Inventor
アリステア サンガー ジョージ
Alistair Sanger George
アリステア サンガー ジョージ
エー． ミラー サミュエル
A Miller Samuel
エー． ミラー サミュエル
シュミット ブライアン
Schmidt Brian
シュミット ブライアン
アンドレエヴナ タジク アナスタシア
Andreyevna Tajik Anastasia
アンドレエヴナ タジク アナスタシア
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Magic Leap Inc
Original Assignee
Magic Leap Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Magic Leap Inc filed Critical Magic Leap Inc
Publication of JP2020092448A publication Critical patent/JP2020092448A/ja
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/50—Customised settings for obtaining desired overall acoustical characteristics
    • H04R25/505—Customised settings for obtaining desired overall acoustical characteristics using digital signal processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1016—Earpieces of the intra-aural type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/10—Earpieces; Attachments therefor ; Earphones; Monophonic headphones
    • H04R1/1041—Mechanical or electronic switches, or control elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R25/00—Deaf-aid sets, i.e. electro-acoustic or electro-mechanical hearing aids; Electric tinnitus maskers providing an auditory perception
    • H04R25/40—Arrangements for obtaining a desired directivity characteristic
    • H04R25/407—Circuits for combining signals of a plurality of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H04S7/304—For headphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

【課題】拡張現実システムにおいてオーディオを指向させるための技法の提供する。【解決手段】聴覚補助装置は、実音源へのエンドユーザの焦点合わせを検出するように構成されるセンサと、音を電気信号に変換するように構成されるマイクロホンアセンブリ１０７と、電気信号を音に変換するように構成されるスピーカと、検出された焦点合わせに基づいてマイクロホンアセンブリの最大感度の方向および／または距離を修正する制御サブシステムとを備える。【選択図】図７

Description

（発明の分野）
本発明は、概して、拡張現実環境において使用され得るもの等の頭部装着型聴覚補助デバイスに関する。
（背景）
現代のコンピューティングおよびディスプレイ技術は、デジタル的に再現された画像またはその一部が、本物であるように見える、またはそのように知覚され得る様式でユーザに提示される、いわゆる「仮想現実」または「拡張現実」体験のためのシステムの開発を促進している。仮想現実（ＶＲ）シナリオは、典型的には、他の実際の実世界の視覚的入力に対して透過性を伴わずに、デジタルまたは仮想画像情報の提示を伴う一方、拡張現実（ＡＲ）シナリオは、典型的には、エンドユーザの周囲の実際の世界の可視化の拡張としてデジタルまたは仮想画像情報の提示を伴う。
例えば、図１を参照すると、拡張現実場面４が、描写され、ＡＲ技術のユーザには、人々、木々、背景内の建物、およびコンクリートプラットフォーム８を特徴とする、実世界公園状設定６が見える。これらのアイテムに加え、ＡＲ技術のエンドユーザはまた、実世界プラットフォーム８上に立っているロボット像１０と、マルハナバチの擬人化のように見える、飛んでいる漫画のようなアバタキャラクタ１２とが「見える」と知覚するが、これらの要素１０、１２は、実世界には存在しない。結論から述べると、ヒト視知覚系は、非常に複雑であって、他の仮想または実世界画像要素の中で仮想画像要素の快適かつ自然な感覚で豊かな提示を促進する、ＶＲまたはＡＲ技術を生成することは、困難である。
ＶＲおよびＡＲシステムは、典型的には、ユーザの頭部に少なくとも緩く結合され、したがって、エンドユーザの頭部が移動すると、移動する、頭部装着型ディスプレイ（またはヘルメット搭載型ディスプレイ、またはスマートグラス）を採用する。エンドユーザの頭部運動が、ディスプレイシステムによって検出される場合、表示されているデータは、頭部姿勢（すなわち、ユーザの頭部の配向および／または場所）の変化を考慮して、更新されることができる。
実施例として、頭部装着型ディスプレイを装着しているユーザが、ディスプレイ上の３次元（３Ｄ）オブジェクトの仮想表現を視認し、３Ｄオブジェクトが現れる面積の周囲を歩き回る場合、その３Ｄオブジェクトは、視点毎に、再レンダリングされ、エンドユーザに、実空間を占有するオブジェクトの周囲を歩き回っているという知覚を与えることができる。頭部装着型ディスプレイが、複数のオブジェクトを仮想空間（例えば、豊かな仮想世界）内に提示するために使用される場合、頭部姿勢の測定が、場面を再レンダリングし、エンドユーザの動的に変化する頭部場所および配向に合致させ、仮想空間内への没入感の増加を提供するために使用されることができる。
ＡＲ（すなわち、実および仮想オブジェクトの同時視認）を可能にする、頭部装着型ディスプレイは、いくつかの異なるタイプの構成を有することができる。多くの場合、「ビデオシースルー」ディスプレイと称される、１つのそのような構成では、カメラが、実場面の要素を捕捉し、コンピューティングシステムが、仮想要素を捕捉された実場面上に重畳し、非透明ディスプレイが、合成画像を眼に提示する。別の構成は、多くの場合、「光学シースルー」ディスプレイと称され、エンドユーザは、ディスプレイシステム内の透明（または半透明）要素を通して見て、直接、環境内の実オブジェクトからの光を視認することができる。多くの場合、「コンバイナ」と称される、透明要素は、ディスプレイからの光を実世界のエンドユーザのビューにわたって重畳させる。
ユーザのためのＶＲ／ＡＲ体験を向上させるために、実音源によって発生された音および／または仮想音源によって発生された音が、頭部装着型ディスプレイの中に組み込まれる、または別様にそこに接続される、スピーカを介して、ユーザに伝達されてもよい。音が実音源または仮想音源のどちらから発生されるかにかかわらず、ユーザが、自身が関心のあるオブジェクトからの音のみを聞くように、ユーザが焦点合わせしている方向および／またはユーザが焦点合わせしている距離における音を優先的に受信することが望ましい。指向性マイクロホンが、他の源からの雑音を消去しながら、特定の方向および／または特定の距離に位置する実音源または仮想音源から到着する音を優先的に受信するために、頭部装着型ディスプレイと関連付けられることができるが、音源までの指向性マイクロホンの最大感度の方向および／または距離は、必ずしも、ユーザが焦点合わせしている方向および／またはユーザが焦点合わせしている距離に対応しない場合がある。
したがって、エンドユーザに、その人物が焦点合わせしている実音源または仮想音源から到着する音を優先的に受信および伝達する必要がある。
本発明の一側面によると、エンドユーザによる使用のための聴覚補助装置が、提供される。聴覚補助装置は、実際または仮想のものであり得る、音源へのエンドユーザの焦点合わせを検出するように構成される、少なくとも１つのセンサ（例えば、カメラ）を備える。一実施形態では、センサは、エンドユーザの眼の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。別の実施形態では、センサは、エンドユーザの眼の収束を検出し、エンドユーザの焦点合わせの距離を検出するように構成される。さらに別の実施形態では、センサは、エンドユーザの頭部の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。
聴覚補助装置はさらに、音を電気信号に変換するように構成される、適応マイクロホンアセンブリと、エンドユーザによる知覚のために電気信号を音に変換するように構成される、スピーカとを備える。一実施形態では、マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、音を電気信号に変換するように構成される。別の実施形態では、マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える。聴覚補助装置は、随意に、エンドユーザによって装着されるように構成される、フレーム構造を備えてもよい。フレーム構造は、センサと、マイクロホンアセンブリと、スピーカとを担持してもよい。
聴覚補助装置はさらに、音源へのエンドユーザの検出された焦点合わせに基づいて、適応マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成される制御サブシステムを備える。例えば、制御サブシステムは、適応マイクロホンアセンブリの最大感度をエンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成されてもよい。
本発明の第２の側面によると、エンドユーザによる使用のための仮想画像生成システムが、提供される。仮想画像生成システムは、３次元場面を記憶するメモリと、音源（実際または仮想のものであり得る）へのエンドユーザの焦点合わせを検出するように構成される、少なくとも１つのセンサと、音をエンドユーザに伝達するように構成される、スピーカとを備える。聴覚補助装置は、実際または仮想のものであり得る、音源へのエンドユーザの焦点合わせを検出するように構成される、少なくとも１つのセンサ（例えば、カメラ）を備える。一実施形態では、センサは、エンドユーザの眼の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。別の実施形態では、センサは、エンドユーザの眼の収束を検出し、エンドユーザの焦点合わせの距離を検出するように構成される。さらに別の実施形態では、センサは、エンドユーザの頭部の角度位置を検出し、エンドユーザの焦点合わせの方向を検出するように構成される。仮想画像生成システムはさらに、スピーカに、ある音源へのエンドユーザの焦点合わせの検出に応答して、他の音源よりその音源から生じる音を優先的に伝達させるように構成される、制御サブシステムを備える。
音源が実際のものである場合、仮想画像生成システムはさらに、音を増幅させるように構成される、適応マイクロホンアセンブリを備えてもよく、その場合、制御サブシステムは、適応マイクロホンアセンブリの最大感度をエンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成されてもよい。適応マイクロホンアセンブリは、例えば、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、音を増幅させるように構成されてもよい。音源が、仮想のものである場合、３次元場面は、仮想音源を含んでもよく、メモリは、３次元場面の仮想音源と関連付けて合成音データを記憶してもよい。この場合、制御サブシステムは、仮想音源へのエンドユーザの焦点合わせの検出に応答して、仮想音源を他の音源から識別し、スピーカに、合成音データに従って、音をエンドユーザに伝達させるように構成されてもよい。
制御サブシステムはさらに、３次元場面の複数の合成画像フレームをレンダリングするように構成されてもよく、その場合、仮想画像生成システムはさらに、複数の画像フレームをエンドユーザに連続して表示するように構成される、ディスプレイサブシステムを備える。制御サブシステムは、画像フレームをレンダリングするように構成される、グラフィック制御サブシステムユニット（ＧＰＵ）を備えてもよい。ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるように構成されてもよい。ディスプレイシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含んでもよい。この場合、投影サブシステムは、画像を部分的に透明なディスプレイ表面上に投影させるように構成され、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成され、それによって、エンドユーザが、３次元拡張場面を可視化することを可能にする。仮想画像生成システムはさらに、エンドユーザによって装着されるように構成される、フレーム構造を備えてもよい。フレーム構造は、センサと、適応マイクロホンアセンブリと、スピーカと、ディスプレイサブシステムとを担持してもよい。
随意の実施形態では、制御サブシステムは、実音源から生じる音が、実音源から生じているようにエンドユーザによって知覚されるように、電気信号を処理し、音を位置特定するように構成される。別の随意の実施形態では、制御サブシステムは、実音源から生じる音が強調され、および／または異なる音源から生じる音が強調解除されるように、電気信号を処理し、音の特定の周波数成分の音量を選択的に上昇または降下させるように構成されてもよい。さらに別の随意の実施形態では、制御サブシステムは、電気信号を処理し、実音源から生じる第１の音の特性と異なる源から生じる第２の音の特性とを比較し、第１の音の特性と同じタイプの特性を有する音を強調し、第２の音と同じタイプの特性を有する音を強調解除するように構成される。
本発明の第２の側面によると、前述の聴覚補助装置は、仮想現実システムまたは拡張現実システム等の仮想画像生成システムの中に組み込まれてもよい。聴覚補助装置のコンポーネントに加え、仮想画像生成システムはさらに、３次元場面を記憶するメモリを備え、制御システムはさらに、３次元場面の複数の合成画像フレームをレンダリングするように構成される。仮想画像生成システムはさらに、複数の画像フレームをエンドユーザに連続して表示するように構成される、ディスプレイサブシステムを備える。ディスプレイシステムは、エンドユーザの眼の正面に位置付けられるように構成されてもよい。ディスプレイシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含んでもよい。この場合、投影サブシステムは、画像を部分的に透明なディスプレイ表面上に投影させるように構成され、部分的に透明なディスプレイ表面は、エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成され、それによって、エンドユーザが、３次元拡張場面を可視化することを可能にする。制御サブシステムは、画像をレンダリングするように構成される、グラフィック制御サブシステムユニット（ＧＰＵ）を備えてもよい。
随意の実施形態では、制御サブシステムは、ディスプレイサブシステムに、エンドユーザが焦点合わせしている方向および／または距離の視覚的インジケータをエンドユーザに表示するように命令するように構成される。別の随意の実施形態では、制御サブシステムは、ディスプレイサブシステムに、適応マイクロホンアセンブリの最大感度の方向および／または距離の視覚的インジケータをエンドユーザに表示するように命令するように構成される。
本発明の付加的および他の目的、特徴、および利点は、説明、図、および請求項に詳細に説明される。
本発明は、例えば、以下を提供する。
（項目１）
エンドユーザによる使用のための聴覚補助装置であって、
実音源への前記エンドユーザの焦点合わせを検出するように構成される少なくとも１つのセンサと、
音を電気信号に変換するように構成される適応マイクロホンアセンブリと、
前記エンドユーザによる知覚のために前記電気信号を音に変換するように構成される少なくとも１つのスピーカと、
前記エンドユーザの検出された焦点合わせに基づいて前記適応マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成される、制御サブシステムと、
を備える、聴覚補助装置。
（項目２）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向を修正するように構成される、項目１に記載の聴覚補助装置。
（項目３）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の距離を修正するように構成される、項目１に記載の聴覚補助装置。
（項目４）
前記適応マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、前記音を前記電気信号に変換するように構成される、項目１に記載の聴覚補助装置。
（項目５）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度を前記エンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成される、項目１に記載の聴覚補助装置。
（項目６）
前記少なくとも１つのセンサは、カメラを備える、項目１に記載の聴覚補助装置。
（項目７）
前記少なくとも１つのセンサは、前記エンドユーザの眼の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、項目１に記載の聴覚補助装置。
（項目８）
前記少なくとも１つのセンサは、前記エンドユーザの眼の収束を検出し、前記エンドユーザの焦点合わせの距離を検出するように構成される、項目１に記載の聴覚補助装置。
（項目９）
前記少なくとも１つのセンサは、前記エンドユーザの頭部の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、項目１に記載の聴覚補助装置。
（項目１０）
前記適応マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える、項目１に記載の聴覚補助装置。
（項目１１）
前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記フレーム構造は、前記少なくとも１つのセンサと、前記マイクロホンアセンブリと、前記少なくとも１つのスピーカとを担持する、項目１に記載の聴覚補助装置。
（項目１２）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向および／または距離を修正するように構成されるデジタル信号プロセッサ（ＤＳＰ）を備える、項目１に記載の聴覚補助装置。
（項目１３）
前記制御サブシステムは、前記実音源から生じる音が、前記実音源から生じているように前記エンドユーザによって知覚されるように、前記電気信号を処理し、前記音を位置特定するように構成される、項目１に記載の聴覚補助装置。
（項目１４）
前記制御サブシステムは、前記実音源から生じる音が強調され、および／または異なる音源から生じる音が強調解除されるように、前記電気信号を処理し、前記音の特定の周波数成分の音量を選択的に上昇または降下させるように構成される、項目１に記載の聴覚補助装置。
（項目１５）
前記制御サブシステムは、前記電気信号を処理し、前記実音源から生じる第１の音の特性と異なる源から生じる第２の音の特性とを比較し、前記第１の音の特性と同じタイプの特性を有する音を強調し、前記第２の音と同じタイプの特性を有する音を強調解除するように構成される、項目１に記載の聴覚補助装置。
（項目１６）
エンドユーザによる使用のための仮想画像生成システムであって、
３次元場面を記憶するメモリと、
音源への前記エンドユーザの焦点合わせを検出するように構成される少なくとも１つのセンサと、
音を前記エンドユーザに伝達するように構成される少なくとも１つのスピーカと、
前記少なくとも１つのスピーカに、前記音源への前記エンドユーザの焦点合わせの検出に応答して、他の音源から生じる音よりも前記音源から生じる音を優先的に伝達させ、前記３次元場面の複数の合成画像フレームをレンダリングするように構成される制御サブシステムと、
前記複数の画像フレームを前記エンドユーザに連続して表示するように構成されるディスプレイサブシステムと、
を備える、仮想画像生成システム。
（項目１７）
前記ディスプレイサブシステムは、前記エンドユーザの眼の正面に位置付けられるように構成される、項目１６に記載の仮想画像生成システム。
（項目１８）
前記ディスプレイサブシステムは、投影サブシステムと、部分的に透明なディスプレイ表面とを含み、前記投影サブシステムは、前記画像フレームを前記部分的に透明なディスプレイ表面上に投影させるように構成され、前記部分的に透明なディスプレイ表面は、前記エンドユーザの眼と周囲環境との間の視野内に位置付けられるように構成される、項目１６に記載の仮想画像生成システム。
（項目１９）
前記エンドユーザによって装着されるように構成されるフレーム構造をさらに備え、前記フレーム構造は、前記少なくとも１つのセンサと、前記適応マイクロホンアセンブリと、前記少なくとも１つのスピーカと、前記ディスプレイサブシステムとを担持する、項目１６に記載の仮想画像生成システム。
（項目２０）
前記制御サブシステムは、グラフィック制御サブシステムユニット（ＧＰＵ）を備える、項目１６に記載の仮想画像生成システム。
（項目２１）
前記音源は、実音源である、項目１６に記載の仮想画像生成システム。
（項目２２）
前記音を電気信号に変換するように構成される適応マイクロホンアセンブリをさらに備え、前記少なくとも１つのスピーカは、前記エンドユーザによる知覚のために前記電気信号を音に変換するように構成され、前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度を前記エンドユーザの検出された焦点合わせの方向および／または距離に設定するように構成される、項目２１に記載の仮想画像生成システム。
（項目２３）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の方向を設定するように構成される、項目２２に記載の仮想画像生成システム。
（項目２４）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度の距離を設定するように構成される、項目２２に記載の仮想画像生成システム。
（項目２５）
前記適応マイクロホンアセンブリは、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドパターンのうちの１つに従って、前記音を前記電気信号に変換するように構成される、項目２２に記載の仮想画像生成システム。
（項目２６）
前記音源は、仮想音源である、項目１６に記載の仮想画像生成システム。
（項目２７）
前記３次元場面は、前記仮想音源を含み、前記メモリは、前記３次元場面の前記仮想音源と関連付けて合成音データを記憶し、前記制御サブシステムは、前記仮想音源への前記エンドユーザの焦点合わせの検出に応答して、前記仮想音源を他の音源から識別し、前記少なくとも１つのスピーカに、前記合成音データに従って、前記音を前記エンドユーザに伝達させるように構成される、項目２６に記載の仮想画像生成システム。
（項目２８）
前記少なくとも１つのセンサは、カメラを備える、項目１６に記載の仮想画像生成システム。
（項目２９）
前記少なくとも１つのセンサは、前記エンドユーザの眼の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、項目１６に記載の仮想画像生成システム。
（項目３０）
前記少なくとも１つのセンサは、前記エンドユーザの眼の収束を検出し、前記エンドユーザの焦点合わせの距離を検出するように構成される、項目１６に記載の仮想画像生成システム。
（項目３１）
前記少なくとも１つのセンサは、前記エンドユーザの頭部の角度位置を検出し、前記エンドユーザの焦点合わせの方向を検出するように構成される、項目１６に記載の仮想画像生成システム。
（項目３２）
前記適応マイクロホンアセンブリは、マイクロホン要素のフェーズドアレイを備える、項目１６に記載の仮想画像生成システム。
（項目３３）
前記制御サブシステムは、前記適応マイクロホンアセンブリの最大感度に沿った方向および／またはその距離を修正するように構成されるデジタル信号プロセッサ（ＤＳＰ）を備える、項目１６に記載の仮想画像生成システム。
（項目３４）
前記制御サブシステムは、前記ディスプレイサブシステムに、前記エンドユーザが焦点合わせしている方向および／または距離の視覚的インジケータを前記エンドユーザに表示するように命令するように構成される、項目１６に記載の仮想画像生成システム。
（項目３５）
前記制御サブシステムは、前記ディスプレイサブシステムに、前記適応マイクロホンアセンブリの最大感度の方向および／または距離の視覚的インジケータを前記エンドユーザに表示するように命令するように構成される、項目２２に記載の仮想画像生成システム。
（項目３６）
前記制御サブシステムは、前記音源から生じる音が、前記実音源から生じているように前記エンドユーザによって知覚されるように、前記音を位置特定するように構成される、項目１６に記載の仮想画像生成システム。
（項目３７）
前記制御サブシステムは、前記音源から生じる音が強調され、および／または異なる音源から生じる音が強調解除されるように、前記音の特定の周波数成分の音量を選択的に上昇または降下させるように構成される、項目１６に記載の仮想画像生成システム。
（項目３８）
前記制御サブシステムは、前記音源から生じる第１の音の特性と異なる源から生じる第２の音の特性とを比較し、前記第１の音の特性と同じタイプの特性を有する音を強調し、前記第２の音と同じタイプの特性を有する音を強調解除するように構成される、項目１６に記載の仮想画像生成システム。
図面は、類似要素が共通参照数字によって参照される、本発明の好ましい実施形態の設計および有用性を図示する。本発明の前述および他の利点および目的を得る方法をより深く理解するために、上記に簡単に説明される本発明のより詳細な説明が、付随の図面に図示される、その具体的実施形態を参照することによって与えられるであろう。これらの図面は、本発明の典型的実施形態のみを描写し、したがって、その範囲の限定と見なされるものではないことの理解の下、本発明は、付随の図面の使用を通して、付加的特異性および詳細とともに記載および説明されるであろう。
図１は、先行技術の拡張現実生成デバイスによってエンドユーザに表示され得る、３次元拡張現実場面の写真である。 図２は、本発明の一実施形態に従って構築された、拡張現実システムのブロック図である。 図３は、図２の拡張現実システムにおいて使用するためのディスプレイサブシステムの一実施形態の平面図である。 図４は、図２の拡張現実システムにおいて使用するためのディスプレイサブシステムの一実施形態の斜視図である。 図５は、図２の拡張現実システムによって生成された例示的フレームの平面図である。 図６ａは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、ダイポールパターンの平面図である。図６ｂは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、カージオイドパターンの平面図である。図６ｃは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、スーパーカージオイドパターンの平面図である。図６ｄは、図２の拡張現実システムにおいて使用するためのマイクロホンアセンブリによって形成され得る、ハイパーカージオイドパターンの平面図である。 図７は、図２の拡張現実システムによる使用のための適応マイクロホンアセンブリの概略図である。 図８ａは、ユーザによって焦点合わせされているオブジェクトに対応する、マイクロホンアセンブリの最大感度の方向の平面図である。 図８ｂは、ユーザによって焦点合わせされているオブジェクトに対応する、マイクロホンアセンブリの最大感度の別の方向の平面図である。 図９ａは、図２の拡張現実システムを装着するために使用され得る、１つの技法の平面図である。 図９ｂは、図２の拡張現実システムを装着するために使用され得る、別の技法の平面図である。 図９ｃは、図２の拡張現実システムを装着するために使用され得る、さらに別の技法の平面図である。 図９ｄは、図２の拡張現実システムを装着するために使用され得る、さらに別の技法の平面図である。
（詳細な説明）
以下の説明は、拡張現実システムにおいて使用されることになるディスプレイシステムおよび方法に関する。しかしながら、本発明は、拡張現実システムにおける用途に非常に適しているが、本発明は、その最も広義の側面では、そのように限定されなくてもよいことを理解されたい。例えば、本発明は、仮想現実システムだけではなく、仮想または拡張現実体験をユーザに提示するためにディスプレイを利用しない、他の頭部装着型聴覚補助デバイスに適用されることができる。したがって、多くの場合、拡張現実システムの観点から本明細書に説明されるが、本教示は、そのような使用のそのようなシステムに限定されるべきではない。
図２を参照すると、本発明に従って構築された拡張現実システム１００の一実施形態が、ここで説明されるであろう。拡張現実システム１００は、拡張現実サブシステムとして動作され、エンドユーザ５０の視野内の物理的オブジェクトと混合される、仮想オブジェクトの画像を提供してもよい。拡張現実システム１００を動作させるとき、２つの基本アプローチがある。第１のアプローチは、１つまたはそれを上回る撮像機（例えば、カメラ）を採用して、周囲環境の画像を捕捉することである。拡張現実システム１００は、仮想画像を周囲環境の画像を表すデータの中に混合させる。第２のアプローチは、１つまたはそれを上回る少なくとも部分的に透明な表面を採用することであり、それを通して、周囲環境が、見られることができ、その上に、拡張現実システム１００は、仮想オブジェクトの画像を生成する。
少なくとも拡張現実用途のために、種々の仮想オブジェクトをエンドユーザ５０の視野内の個別の物理的オブジェクトに対して空間的に位置付けることが望ましくあり得る。本明細書では、仮想タグまたはタグまたはコールアウトとも称される、仮想オブジェクトは、基本的に、画像として表されることが可能な任意の種々のデータ、情報、概念、または論理構造である、多種多様な形態のいずれかをとってもよい。仮想オブジェクトの非限定的実施例は、仮想テキストオブジェクト、仮想数字オブジェクト、仮想英数字オブジェクト、仮想タグオブジェクト、仮想フィールドオブジェクト、仮想チャートオブジェクト、仮想マップオブジェクト、仮想計器オブジェクト、または物理的オブジェクトの仮想視覚表現を含んでもよい。
本発明により関連するものとして、拡張現実システム１００は、エンドユーザの焦点合わせと、エンドユーザが、エンドユーザに最も関連する音が聞こえるような方向に沿った、および／または距離における音の優先的受信を結合するように構成される。特に、拡張現実システム１００は、音源へのエンドユーザの焦点合わせを検出し、エンドユーザの検出された焦点合わせに基づいて、例えば、音の優先的受信の方向および／または距離をエンドユーザの検出された焦点合わせに設定することによって（すなわち、エンドユーザが焦点合わせしている音源に向かって、および／またはそこにおいて）、その音源から生じる音をエンドユーザに優先的に伝達させる。
この目的を達成するために、拡張現実システム１００は、エンドユーザ５０によって装着される、フレーム構造１０２と、ディスプレイシステム１０４がエンドユーザ５０の眼５２の正面に位置付けられるように、フレーム構造１０２によって担持される、ディスプレイシステム１０４と、ディスプレイシステム１０４の中に組み込まれる、またはそこに接続される、スピーカ１０６とを備える。図示される実施形態では、スピーカ１０６は、例えば、イヤーバッドまたはヘッドホン等、スピーカ１０６が、エンドユーザ５０の外耳道に隣接して（その中またはその周囲に）位置付けられるように、フレーム構造１０２によって担持される。随意に、別のスピーカ（図示せず）が、ステレオ／成形可能音制御を提供するために、エンドユーザ５０の他方の外耳道に隣接して位置付けられる。スピーカ１０６は、外耳道に隣接して位置付けられるように説明されるが、外耳道に隣接して位置しない、他のタイプのスピーカが、音をエンドユーザ５０に伝達するために使用されることができる。例えば、スピーカは、例えば、骨伝導技術を使用して、外耳道からある距離に設置されてもよい。
拡張現実システム１００はさらに、適応マイクロホンアセンブリ１０７を備え、該適応マイクロホンアセンブリは、周囲環境内の音を電気信号に変換し、該電気信号は、次いで、スピーカ１０６に送達され、そして、これは、電気信号を音に逆変換し、該音は、次いで、エンドユーザ５０に再生される。以下にさらに詳細に議論されるであろうように、マイクロホンアセンブリ１０７は、エンドユーザ５０が焦点合わせしている方向および距離に対応する特定の方向および／または特定の距離における音を優先的に受信し、それによって、エンドユーザ５０が、拡張現実場面の状況における任意の特定の時間において、ユーザに最も関連する音に焦点合わせすることを可能にする。したがって、マイクロホンアセンブリ１０７は、エンドユーザ５０が、関連音をより明確に聞くことを可能にするだけではなく、エンドユーザ５０の注意をより関連する音に向け、それによって、体験の有効性を向上させる。図示される実施形態では、マイクロホンアセンブリ１０７は、フレーム構造１０２のアームに搭載される。
ディスプレイシステム１０４は、エンドユーザ５０の眼５２に、高レベルの画質および３次元知覚を伴い、かつ２次元コンテンツを提示可能である、物理的現実の拡張として快適に知覚され得る光ベースの放射パターンを提示するように設計される。ディスプレイシステム１０４は、単一コヒーレント場面の知覚を提供する、フレームのシーケンスを高周波数で提示する。この目的を達成するために、ディスプレイサブシステム１０４は、投影サブシステム１０８と、投影サブシステム１０８が画像を投影する、部分的に透明なディスプレイ画面１１０とを備える。ディスプレイ画面１１０は、エンドユーザ５０の眼５２と周囲環境との間のエンドユーザ５０の視野内に位置付けられる。
図示される実施形態では、投影サブシステム１０８は、光ファイバ走査ベースの投影デバイスの形態をとり、ディスプレイ画面１１０は、導波管ベースのディスプレイの形態をとり、その中に、投影サブシステム１０８からの走査された光が、投入され、例えば、無限遠（例えば、腕の長さ）より近い単一光学視認距離における画像、複数の離散光学視認距離または集束面における画像、および／または立体３Ｄオブジェクトを表すために複数の視認距離または集束面にスタックされた画像層を生成する。光場内のこれらの層は、ヒト視覚系に連続して現れるように、ともに十分に近接してスタックされてもよい（すなわち、１つの層が隣接する層の混乱の円錐（ｃｏｎｅ ｏｆ ｃｏｎｆｕｓｉｏｎ）内にある）。加えて、または代替として、写真要素が、２つまたはそれを上回る層を横断して混成され、それらの層がより疎らにスタックされる（すなわち、１つの層が隣接する層の混乱の円錐外にある）場合でも、光場内の層間の遷移の知覚される連続性を増加させてもよい。ディスプレイサブシステム１０４は、単眼または双眼用であってもよい。
図３および４を参照すると、投影サブシステム１０８は、制御信号に応答して、光ビームを発生させ、所定の走査パターンで走査する、走査アセンブリ１１２と、走査アセンブリ１１４からの光ビームをディスプレイ画面１１０の中に結合する、光学結合サブシステム１１４とを含む。
走査アセンブリ１１２は、光ビームを生成する（例えば、異なる色の光を定義されたパターンで放出する）、１つまたはそれを上回る光源１１６（１つのみが簡略化目的のために示される）を備える。光源１１６は、多種多様な形態のいずれかをとってもよく、例えば、それぞれ、ピクセル情報またはデータの個別のフレーム内に規定された定義されたピクセルパターンに従って、赤色、緑色、および青色コヒーレントコリメート光を生成するように動作可能なＲＧＢレーザ（例えば、赤色、緑色、および青色光を出力可能なレーザダイオード）のセットである。レーザ光は、高色飽和を提供し、高度にエネルギー効率的である。
走査アセンブリ１１２はさらに、１つまたはそれを上回る光ファイバ１１８（１つのみが簡略化目的のために示される）を備え、それぞれ、その中に光ビームが光源１１６から受信される、近位端１１８ａと、そこから光ビームが部分的に透明なディスプレイ画面１１０に提供される、遠位端１１８ｂとを有する。走査アセンブリ１１２はさらに、機械的駆動アセンブリ１２０を備え、そこに、光ファイバ１１８が、搭載される。駆動アセンブリ１２０は、光ファイバ１１８の遠位端１１８ｂを変位させるように構成され、図示される実施形態では、圧電要素１２２を備え、そこに、光ファイバ１１８が、搭載される。
走査アセンブリ１１２はさらに、電気信号を圧電要素１２２に伝達するように構成される、駆動電子機器１２４を備え、それによって、光ファイバ１１８の遠位端１１８ｂを走査パターンに従って振動させる。したがって、光源１１６および駆動電子機器１２４の動作は、空間的および／または時間的に変動する光の形態でエンコードされる画像データを生成する様式で協調される。
図示される実施形態では、圧電要素１２２は、中空管の形態をとり、その場合、光ファイバ１１８の遠位端１１８ｂは、圧電管１２２を通して螺入または受容される。光ファイバ１１８の遠位端１１８ｂは、固定−自由可撓性カンチレバーとして、圧電管１２２から突出する。圧電管１２２は、４つの象限電極（図示せず）と関連付けられる。電極は、例えば、圧電管１２２の外側、外側表面または外側周縁、または直径がめっきされてもよい。コア電極（図示せず）もまた、管１２２のコア、中心、内側周縁、または内径に位置する。
駆動電子機器１２４は、ワイヤ１２６を介して電気結合され、対向する対の電極（図示せず）を駆動し、圧電管１２２を２つの軸において独立して屈曲させる。光ファイバ１１８の突出する遠位端１１８ｂは、機械的共振モードを有する。共振の周波数は、光ファイバ１１８の直径、長さ、および材料性質に依存する。圧電管１２２を機械的共振の第１のモードの近傍で振動させることによって、ファイバ遠位端１１８ｂは、振動させられ、支点を中心とした大偏向を通して掃引することができる。代替として、圧電管１２２は、ファイバ遠位端１１８ｂが支点を中心としたより小さい偏向を通して掃引することができるように、機械的共振のより高次のモード（例えば、二次モード）の近傍で振動されてもよい。
２つの軸において共振振動を刺激することによって、ファイバ遠位端１１８は、２Ｄ走査を充填する面積内で双軸方向に走査される。ファイバ遠位端１１８ｂの走査と同期して、光源１１６の強度を変調させることによって、光ファイバ１１８から発出する光ビームは、画像を形成する。そのような設定の説明は、米国特許出願第１３／９１５，５３０号、国際特許出願第ＰＣＴ／ＵＳ２０１３／０４５２６７号、および米国仮特許出願第６１／６５８，３５５号（その全ては、参照することによってその全体として本明細書に組み込まれる）に提供される。
光学結合サブシステム１１６は、光学導波管入力装置１２８、例えば、１つまたはそれを上回る反射表面、回折格子、ミラー、ダイクロイックミラー、またはプリズムを含み、光をディスプレイ画面１１０の端部の中に光学的に結合する。光学結合サブシステム１１６はさらに、光ファイバ１１８からの光をコリメートする、コリメーション要素１３０を含む。随意に、光学結合サブシステム１１６は、コリメーション要素１３０からの光を光学導波管入力装置１２８の中心における焦点に向かって収束させるように構成される、光学変調装置（図示せず）を備え、それによって、「Ｖｉｒｔｕａｌ／Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ Ｈａｖｉｎｇ Ｒｅｖｅｒｓｅ Ａｎｇｌｅ Ｄｉｆｆｒａｃｔｉｏｎ Ｇｒａｔｉｎｇ」と題された米国仮特許出願第６２／２３８，０５２号（参照することによって明示的に本明細書に組み込まれる）にさらに詳細に議論されるように、光学導波管入力装置１２８のサイズが最小限にされることを可能にする。光ファイバ１１８はそれぞれ、偏波保持（ＰＭ）光ファイバの利点と非ＰＭ光ファイバの利点とを組み合わせ、「Ｐｏｌａｒｉｚｉｎｇ Ｍａｉｎｔａｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｉｂｅｒ ｉｎ Ｖｉｒｔｕａｌ／Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｓｙｓｔｅｍ」と題された米国仮特許出願第６２／２８０，９９２号（弁理士整理番号ＭＬ−３００５６．００−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に議論されるように、走査デバイス１１４と関連付けられた光ファイバ１１８の部分の機械的性質を維持しながら、個別の光ファイバ１１８を通して伝搬する光ビームの線形偏波が維持されることを確実にしてもよい。
したがって、ディスプレイサブシステム１０４は、１つまたはそれを上回る仮想オブジェクトの非歪曲画像をユーザに提示する、ピクセル情報の一連の合成画像フレームを生成する。例えば、図５を参照すると、合成画像フレーム２００が、水平の列またはライン２０４ａ−２０４ｎに分割されるセル２０２ａ−２０２ｍとともに、図式的に図示される。フレーム２００の各セル２０２は、セル２０２が対応する個別のピクセルに対する複数の色の各々に対する値および／または強度を規定してもよい。例えば、フレーム２００は、各ピクセルに対し、赤色２０６ａに対する１つまたはそれを上回る値、緑色２０６ｂに対する１つまたはそれを上回る値、および青色２０６ｃに対する１つまたはそれを上回る値を規定してもよい。値２０６は、色毎に、バイナリ表現、例えば、色毎に、個別の４ビット数として規定されてもよい。フレーム２００の各セル２０２は、加えて、振幅を規定する、値２０６ｄを含んでもよい。
フレーム２００は、１つまたはそれを上回るフィールド、集合的に、２０８を含んでもよい。フレーム２００は、単一フィールドから成ってもよい。代替として、フレーム２００は、２つまたはさらにより多くのフィールド２０８ａ−２０８ｂを備えてもよい。フレーム２００の完全な第１のフィールド２０８ａに関するピクセル情報は、完全な第２のフィールド２０８ｂに関するピクセル情報の前に規定され、例えば、アレイ、順序付けられたリスト、または他のデータ構造（例えば、リンクされたリストを記録する）内の第２のフィールド２０８ｂに関するピクセル情報の前に生じてもよい。提示サブシステムが２つより多くのフィールド２０８ａ−２０８ｂを取り扱うように構成されると仮定して、第３またはさらに第４のフィールドが、第２のフィールド２０８ｂに追従してもよい。
ディスプレイサブシステムを説明するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国仮特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）および「Ｐｌａｎａｒ Ｗａｖｅｇｕｉｄｅ Ａｐｐａｒａｔｕｓ Ｗｉｔｈ Ｄｉｆｆｒａｃｔｉｏｎ Ｅｌｅｍｅｎｔ（ｓ） ａｎｄ Ｓｕｂｓｙｓｔｅｍ Ｅｍｐｌｏｙｉｎｇ Ｓａｍｅ」と題された米国特許出願第１４／３３１，２１８号（弁理士整理番号ＭＬ−３００２０．００）（参照することによって明示的に本明細書に組み込まれる）に提供される。
図２に戻って参照すると、拡張現実システム１００はさらに、エンドユーザ５０の頭部５４の位置および移動、および／または、エンドユーザ５０の眼位置および眼球間距離を検出するためにフレーム構造１０２に搭載される、１つまたはそれを上回るセンサ（図示せず）を備える。そのようなセンサは、画像捕捉デバイス（カメラ等）、マイクロホン、慣性測定ユニット、加速度計、コンパス、ＧＰＳユニット、無線デバイス、および／またはジャイロスコープを含んでもよい。
例えば、一実施形態では、拡張現実システム１００は、エンドユーザ５０の頭部５４の移動を示す慣性測定値を捕捉する１つまたはそれを上回る慣性変換器を含む頭部装着型変換器サブシステム１４２を備える。そのようなものは、エンドユーザ５０の頭部移動についての情報を感知、測定、または収集するために使用されてもよい。例えば、そのようなものは、エンドユーザ５０の頭部５４の測定移動、速度、加速、および／または位置を検出するために使用されてもよい。
拡張現実システム１００はさらに、エンドユーザ５０が位置する環境についての情報を捕捉するために使用され得る、１つまたはそれを上回る前向きカメラ１４４を備える。前向きカメラ１４４は、その環境およびその環境内の具体的オブジェクトに対するエンドユーザ５０の距離および配向を示す情報を捕捉するために使用されてもよい。頭部に装着されると、前向きカメラ１４４は、特に、エンドユーザ５０が位置する環境およびその環境内の具体的オブジェクトに対するエンドユーザ５０の頭部５４の距離および角度位置（すなわち、頭部が向けられる方向）を示す情報を捕捉するために好適である。前向きカメラ１４４は、例えば、頭部移動、頭部移動の速度、および／または加速を検出するために採用されてもよい。前向きカメラ１４４は、例えば、少なくとも部分的に、エンドユーザ５０の頭部５４の配向に基づいて、例えば、エンドユーザ５０の注意の中心を検出または推測するために採用されてもよい。配向は、任意の方向（例えば、エンドユーザ５０の基準フレームに対して上／下、左、右）において検出されてもよい。
拡張現実システム１００はさらに、一対の後向きカメラ１４６を備え、エンドユーザ５０の眼５２の角度位置（片眼または両眼が向いている方向）、瞬き、および焦点深度（眼収束を検出することによって）を追跡する。そのような眼追跡情報は、例えば、光をエンドユーザの眼に投影させ、その投影された光の少なくとも一部の戻りまたは反射を検出することによって、判別されてもよい。眼追跡デバイスについて議論するさらなる詳細は、「Ｄｉｓｐｌａｙ Ｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ」と題された米国特許出願第６１／８０１，２１９号（弁理士整理番号ＭＬ−３０００６−ＵＳ）、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｕｂｓｙｓｔｅｍ ｆｏｒ Ｃｒｅａｔｉｎｇ Ｆｏｃａｌ Ｐｌａｎｅｓ ｉｎ Ｖｉｒｔｕａｌ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」と題された米国特許出願第６２／００５，８３４号（弁理士整理番号ＭＬ−３００１７−ＵＳ）、および「Ｓｕｂｓｙｓｔｅｍ ａｎｄ Ｍｅｔｈｏｄ ｆｏｒ Ａｕｇｍｅｎｔｅｄ ａｎｄ Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ」と題された米国特許出願第６１／７７６，７７１号（弁理士整理番号ＭＬ−３０００５−ＵＳ）（参照することによって明示的に本明細書に組み込まれる）に提供される。
拡張現実システム１００はさらに、ユーザ配向検出モジュール１４８を備える。ユーザ配向モジュール１４８は、エンドユーザ５０の頭部５４の瞬間位置を検出し、センサから受信された位置データに基づいて、エンドユーザ５０の頭部５４の位置を予測してもよい。ユーザ配向モジュール１４８はまた、センサから受信された追跡データに基づいて、エンドユーザ５０の眼５２、特に、エンドユーザ５０が焦点合わせしている方向および／または距離を追跡する。
拡張現実システム１００はさらに、多種多様な形態のいずれかをとり得る、制御サブシステムを備える。制御サブシステムは、いくつかのコントローラ、例えば、１つまたはそれを上回るマイクロコントローラ、マイクロプロセッサまたは中央処理ユニット（ＣＰＵ）、デジタル信号プロセッサ、グラフィック処理ユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）等の他の集積回路コントローラ、プログラマブルゲートアレイ（ＰＧＡ）、例えば、フィールドＰＧＡ（ＦＰＧＡ）、および／またはプログラマブル論理コントローラ（ＰＬＵ）を含む。
図示される実施形態では、制御サブシステムは、デジタル信号プロセッサ（ＤＳＰ）（マイクロホンアセンブリ１０７に関して以下に説明される）と、中央処理ユニット（ＣＰＵ）１５０と、グラフィック処理ユニット（ＧＰＵ）１５２と、１つまたはそれを上回るフレームバッファ１５４とを備える。ＣＰＵ１５０は、全体的動作を制御する一方、ＧＰＵ１５２は、フレームをレンダリングし（すなわち、３次元場面を２次元画像に変換し）、これらのフレームをフレームバッファ１５４内に記憶する。図示されないが、１つまたはそれを上回る付加的集積回路が、フレームバッファ１５４の中へのフレームの読込および／またはそこからの読取と、ディスプレイサブシステム１０４の走査デバイスの動作とを制御してもよい。フレームバッファ１５４の中への読込および／またはそこからの読取は、動的アドレス指定を採用してもよく、例えば、フレームは、オーバーレンダリングされる。拡張現実システム１００はさらに、読取専用メモリ（ＲＯＭ）１５６と、ランダムアクセスメモリ（ＲＡＭ）１５８とを備える。拡張現実システム１００はさらに、３次元データベース１６０を備え、そこから、ＧＰＵ１５２が、フレームをレンダリングするための１つまたはそれを上回る場面の３次元データおよび３次元場面内に含まれる仮想音源と関連付けられた合成音データにアクセスすることができる。
本発明により重要なこととして、制御サブシステムは、スピーカ１０６に、ある音源へのエンドユーザ５０の焦点合わせの検出に応答して、他の音源よりその音源から生じる音（実際または仮想のものであり得る）を優先的に伝達させるように構成される。エンドユーザ５０が焦点合わせしている音源が実際のものである場合、制御サブシステムは、適応マイクロホンアセンブリ１０７の最大感度をエンドユーザ５０の検出された焦点合わせの方向および／または距離に設定するように構成される。
適応マイクロホンアセンブリ１０７は、他の音より特定の方向における音を優先的に受信可能である。例えば、マイクロホンアセンブリ１０７は、従来の偏波パターン、例えば、図６ａ−６ｄに図示されるように、ダイポール、カージオイド、スーパーカージオイド、またはハイパーカージオイドを有してもよい。しかしながら、マイクロホンアセンブリ１０７は、エンドユーザ５０が焦点合わせしている方向に基づいて、偏波パターンを動的に修正可能である。言い換えると、ある方向に沿った、および／またはある距離におけるマイクロホンアセンブリ１０７の最大感度は、修正されてもよい。
この目的を達成するために、図７を参照すると、マイクロホンアセンブリ１０７は、マイクロホン要素２５０のフェーズドアレイ（この場合、マイクロホン要素Ｍ１−Ｍｎ）を備え、それぞれ、周囲音信号を検出し、オーディオ信号に変換するように構成される。図示される実施形態では、マイクロホン要素１１８は、性質上、デジタルであって、したがって、周囲音信号をデジタルオーディオ信号、この場合、パルス密度変調（ＰＤＭ）信号に変換する。好ましくは、マイクロホン要素２５０は、相互から空間的に離間され、マイクロホンアセンブリ１０７の指向性を最大限にする。例えば、図２に示されるように、マイクロホン要素２５０のうちの２つは、フレーム構造１０２の各アームに搭載されてもよいが、４つのマイクロホン要素２５０等、２つを上回るものが、フレーム構造１０６の各アームに搭載されてもよい。
マイクロホンアセンブリ１０７はさらに、複数のデジタルマイクロホンインターフェース（ＤＭＩＣ）２５２（この場合、ＤＭＩＣ１−ＤＭＩＣｎ、マイクロホン要素Ｍ毎に１つ）を備え、それぞれ、個別のオーディオ信号を対応するマイクロホン要素２５０から受信し、「デシメーション」と称されるデジタルフィルタ動作を行い、ＰＤＭフォーマットからのデジタルオーディオ信号をより容易に操作可能なパルスコード変調（ＰＣＭ）に変換するように構成される。ＤＭＩＣ１９０はそれぞれまた、デジタルオーディオ信号上で固定利得制御を行う。
マイクロホンアセンブリ１０７はさらに、デジタル信号プロセッサ（ＤＳＰ）２５６を備え、これは、利得増幅器２５４によって出力されたデジタルオーディオ信号を処理し、マイクロホンアセンブリ１１６によって受信された音を優先的に表す指向性オーディオ信号を出力するように構成される、オーディオ処理モジュール２５８を備える。この目的を達成するために、オーディオ処理モジュール２５８は、複数の遅延要素２６０（この場合、遅延要素Ｄ１−Ｄｎ、マイクロホン要素Ｍ毎に１つ）の形態における処理パラメータと、複数の利得要素２６２（この場合、利得要素Ｇ１−Ｇｎ、マイクロホン要素Ｍ毎に１つ）と、加算器２６４とを備える。遅延要素２６０はそれぞれ、遅延係数をマイクロホンアセンブリ１０７の対応する利得増幅器２５４から受信された増幅されたデジタル信号に適用し、利得要素２６２はそれぞれ、利得係数を遅延されたデジタル信号に適用する。加算器２６４（Ｓ）は、利得調節され遅延された信号を追加し、デジタルオーディオ信号を発生させ、これは、信号デジタル／アナログ（Ｄ／Ａ）コンバータ２６６を介してアナログオーディオに変換され、判別可能音としてのエンドユーザ５０への出力のために、スピーカ１０６に伝送される。
マイクロホン要素２５０は、指向性偏波パターン（すなわち、特定の角度方向または特定の複数の角度方向から到着する音が他の角度方向から到着する音より強調されるであろう）に従って周囲音の受信をもたらす様式において、空間的に配列され、遅延要素２６０および利得要素２６２は、設定される。重要なこととして、マイクロホン要素アレイ２５０の指向性は、エンドユーザ５０の検出された焦点合わせに基づいて修正され、例えば、マイクロホン要素アレイ２５０が音を優先的に受信する方向は、エンドユーザ５０の検出された焦点合わせの方向に沿って設定されてもよい。この目的を達成するために、ＤＳＰ２５６は、ユーザ配向検出モジュール１４８から、ユーザ５０が焦点合わせしている方向を示す配向データを受信する。例えば、配向データは、後向きカメラ１４６によって検出された眼５２の角度位置または前向きカメラ１４４によって検出された頭部５４の角度位置に対応してもよい。
例えば、図８ａおよび８ｂを参照すると、マイクロホン要素２５０のフェーズドアレイの偏波パターンが、カージオイドパターンであって、エンドユーザ５０が、特定の方向２７２に沿って実音源２７０に焦点合わせしている場合、ＤＳＰ２５６は、マイクロホン要素アレイ２５０の指向性を修正する様式において、遅延要素２６０および利得要素２６２を設定し、この場合、カージオイドパターンの主ローブの軸は、エンドユーザ５０が音源２７０に焦点合わせしている方向と整合されるであろう。
マイクロホン要素アレイ２５０は、ユーザ配向検出モジュール２４８から受信された焦点合わせの方向に対応するように設定され得る感度を有するように説明されたが、マイクロホン要素アレイ２５０は、その感度がユーザ配向検出モジュール２４８から受信された焦点合わせの距離に対応するように設定されることを可能にする様式において配列されてもよい。特に、マイクロホン要素２５０は、マイクロホン要素２５０が全て、音源２７０から異なる距離にあり得るように、直線で配列されてもよい。遅延が、遅延要素２６０を介してマイクロホン要素２５０の中に導入され、それぞれ、音源２７０「により近づくように、またはそこから離れるように」、複数のマイクロホン要素２５０を効果的かつ選択的に移動させることができる。これは、マイクロホン要素２５０を音源２７０から等距離において効果的に位置特定するように遂行されることができる。音源２７０から生じる任意の音は、同時に、マイクロホン要素２５０に衝突するであろう一方、他の音源から生じる音は、マイクロホン要素２５０に異なる時間で衝突せず、それによって、音源２７０の場所におけるマイクロホン要素アレイ２５０の感度を最大限にするであろう。
マイクロホン要素２５０は、デジタルであるように説明されるが、マイクロホン要素２５０は、代替として、アナログであってもよいことに留意されたい。さらに、遅延要素２６０、利得要素２６２、および加算器２６４は、ＤＳＰ２５６内に常駐する、ソフトウェアコンポーネントとして開示および図示されるが、遅延要素２６０、利得要素２６２、および加算器２６４のうちの任意の１つまたはそれを上回るものは、ＤＳＰ２５６の外側に常駐するが、その制御下にある、アナログハードウェアコンポーネントを備えてもよい。
マイクロホン要素アレイ２５０の指向性および距離の動的修正を促進するために、遅延要素２６０および利得要素２６２のための異なる値のセットおよびマイクロホン要素アレイ２５０の対応する方向および距離が、ＤＳＰ２５６によるアクセスのために、メモリ内に記憶されてもよい。すなわち、ＤＳＰ２５６は、ユーザ配向検出モジュール２４８から受信された焦点合わせの方向および／または焦点合わせの距離と、メモリ内に記憶される最も近い指向性および／または距離値とをマッチングし、その選択された方向／距離のための遅延要素２６０および利得要素２６２に関する対応する値のセットを選択する。
エンドユーザ５０が焦点合わせしている音源が、仮想のものである場合、適応マイクロホンアセンブリ１０７は、利用されない。代わりに、制御サブシステムが、仮想音源へのエンドユーザ５０の焦点合わせの検出に応答して、仮想音源を他の音源（実際または仮想のもののいずれか）から識別し、スピーカ１０６に、合成音データに従って音をエンドユーザ５０に伝達させるように構成される。エンドユーザ５０によって聞こえる音は、仮想音源から生じるように自然に現れるであろう。
ＤＳＰ２５６は、加えて、音源の位置情報を使用して、音信号を処理し、集束増加、音の判別の増加、および口述された主題の明瞭性の増加を達成してもよい。すなわち、センサが、音源の場所および性質および実際の環境についてのさらなる情報を提供するため、データベース１６０は、「持続的世界」の情報を提供し、したがって、音信号が所望の音源への注意を増加させる様式においてエンドユーザ５０にレンダリングされ得る方法を知らせることができる。例えば、人工音は、環境または部屋に対して非常に適切であるようにされ、したがって、現実的かつ集中が容易にされることができるか、または、人工または実際の音は、不自然にされ、それによって、他の音と対照的である様式において目立ち、注意を引くことができ、例えば、ピッチを変化させる、または「アナウンサーメガホン」効果を追加することができる。
例えば、複数のスピーカ１０６が使用される場合、関連音へのエンドユーザ５０の焦点合わせ、および／または、その関連音を聞くおよび／または判別するエンドユーザ５０の能力は、受信された音を位置特定することによって増加され得、これは、例えば、音の明確性または現実性に影響を及ぼすよう、音が音源の場所から生じているようにその音がエンドユーザ５０に対して現れるような態様で、スピーカ１０６を通して音を再生することによって行われ得る。音は、種々の技法のうちの１つまたはそれを上回るものを使用して、位置特定されることができる。指向性の感覚を追加するために、特に、実世界内で生じていない仮想音に関して、ＤＳＰ２５６は、再生された音の調性を適切に成形し、および／または適切な反射、閉塞、または障害物を追加し、部屋形状または環境の実際または仮想側面に適合させてもよい。
随意に、焦点合わせの方向および／または距離から生じる音は、強調をそれらに追加するように選択的に等化されてもよい。特に、ＤＳＰ２５６は、その音の特定の周波数成分の音量を上昇または降下させることによって、所望の「焦点合わせしている」音へのエンドユーザ５０の焦点合わせを強調することができる。上昇された周波数は、限定ではないが、ヒトの聴覚が最も一般に敏感である、周波数範囲（例えば、１ＫＨｚ〜５ＫＨｚ）であることができる。他のＤＳＰ技法も、「焦点合わせしている」音に強調を追加するために使用されることができる。同様に、焦点合わせの方向および／または距離から生じていない音は、相補的または反対様式において、強調をそれらから除去するように選択的に等化されてもよい。特に、ＤＳＰ２５６は、それらの音の特定の周波数成分の音量を上昇または降下させることによって、望ましくない音へのエンドユーザ５０の焦点合わせを強調解除することができる。言い換えると、２ＫＨｚにおける＋５ｄＢ等の「ピーク」等化が、標的音に追加される場合、２ＫＨｚにおける−５ｄＢの「ノッチ」等化が、全ての他の音に適用されることができる。
別の実施形態では、焦点合わせの方向および／または距離から生じる音は、プロファイルされてもよい。特に、ＤＳＰ２５６は、標的音のタイプを判定するために、標的音の特性を分析し、他の音の特性と比較してもよい。ＤＳＰ２５６は、次いで、所望に応じて、そのタイプの全ての音を強調することができる。例えば、焦点合わせされている音が、ソロピアノであって、焦点合わせされていない音が、空調機および往来の交通から生じる場合、ＤＳＰ２５６は、他の楽器が演奏されている、またはより多くの音楽が聞こえるとき、それらの音が、それが生じる方向にかかわらず、他の音より強調されるように、空調機および往来の交通から生じる音のような音を強調解除し、ソロピアノのような音を強調することができる。
随意の実施形態では、制御サブシステムは、ディスプレイサブシステム１０４に、エンドユーザ５０が焦点合わせしている方向および／または距離をエンドユーザ５０に表示するように命令するように構成される。例えば、ディスプレイサブシステム１０４は、視覚的インジケータ、例えば、「ｘ」または十字線をエンドユーザ５０が焦点合わせしている拡張３次元場面内に表示してもよい。または、ディスプレイサブシステム１０４は、エンドユーザ５０が焦点合わせしている音源（実際または仮想のものかどうかにかかわらず）をハイライトしてもよい。代替として、音源が実際のものである場合、制御サブシステムは、ディスプレイサブシステム１０４に、エンドユーザ５０の焦点合わせの方向または距離と正確に相関し得る（またはそうではないものであり得る）マイクロホンアセンブリ１０７の最大感度の方向および／または距離をエンドユーザ５０に表示するように命令するように構成されてもよい。
拡張現実システム１００の種々の処理コンポーネントは、分散型サブシステム内に物理的に含まれてもよい。例えば、図９ａ−９ｄに図示されるように、拡張現実システム１００は、有線導線または無線コネクティビティ１７２等によって、ディスプレイサブシステム１０４の一部に動作可能に結合される、ローカル処理およびデータモジュール１７０を備える。ローカル処理およびデータモジュール１７２は、フレーム構造１０２に固定して取り付けられる（図９ａ）、ヘルメットまたは帽子５６に固定して取り付けられる（図９ｂ）、ヘッドホン内に内蔵される、エンドユーザ５０の胴体５８に除去可能に取り付けられる（図９ｃ）、またはベルト結合式構成においてエンドユーザ５０の腰部６０に除去可能に取り付けられる（図９ｄ）等、種々の構成において搭載されてもよい。拡張現実システム１００はさらに、遠隔処理モジュール１７４と、遠隔データリポジトリ１７６とを備え、これらは、これらの遠隔モジュール１７４、１７６が、相互に動作可能に結合され、ローカル処理およびデータモジュール１７０へのリソースとして利用可能であるように、有線導線または無線コネクティビティ１７８、１８０等によって、ローカル処理およびデータモジュール１７０に動作可能に結合される。
ローカル処理およびデータモジュール１７０は、電力効率的プロセッサまたはコントローラおよびフラッシュメモリ等のデジタルメモリを備えてもよく、これらの両方は、センサから捕捉されたデータ、および／または、（処理または読出後、ディスプレイサブシステム１０４へと通過させる可能性のある）遠隔処理モジュール１７４および／または遠隔データリポジトリ１７６を使用して取得および／または処理されたデータの処理、キャッシュ、および記憶を補助するために利用されてもよい。遠隔処理モジュール１７４は、データおよび／または画像情報を分析および処理するように構成される、１つまたはそれを上回る比較的に強力なプロセッサまたはコントローラを備えてもよい。遠隔データリポジトリ１７６は、インターネットまたは「クラウド」リソース構成内の他のネットワーキング構成を通して利用可能であり得る、比較的に大規模なデジタルデータ記憶設備を備えてもよい。一実施形態では、全てのデータは、記憶され、全ての算出は、ローカル処理およびデータモジュール１７０内で行われ、任意の遠隔モジュールからの完全に自律的な使用を可能にする。
上記に説明される種々のコンポーネント間の結合１７２、１７８、１８０は、ワイヤまたは光学通信を提供するための１つまたはそれを上回る有線インターフェースまたはポート、または、無線通信を提供するためのＲＦ、マイクロ波、およびＩＲ等を介した１つまたはそれを上回る無線インターフェースまたはポートを含んでもよい。いくつかの実装では、全ての通信は、有線であってもよい一方、他の実装では、光ファイバ１１８を除き、全ての通信は、無線であってもよい。なおもさらなる実装では、有線および無線通信の選択肢は、図９ａ−９ｄに図示されるものと異なってもよい。したがって、有線または無線通信の特定の選択肢は、限定と見なされるべきではない。
図示される実施形態では、ディスプレイサブシステム１０４のディスプレイ画面１１０、光学結合サブシステム１１６、および機械的駆動アセンブリ１２０、マイクロホンアセンブリ１０７のセンサ、スピーカ１０６、およびマイクロホン要素２５０は、エンドユーザ５０の頭部５４と近接して関連付けられる一方、ディスプレイサブシステム１０４の光源１１６および駆動電子機器１２４、および、マイクロホンアセンブリ１０７の処理コンポーネントは、ローカル処理およびデータモジュール１７０内に含まれる。ユーザ配向モジュール１４８およびＤＳＰ２５６は、ローカル処理およびデータモジュール１７０内に含まれてもよい一方、ＣＰＵ１５０およびＧＰＵ１５２は、遠隔処理モジュール１７４内に含まれてもよいが、代替実施形態では、ＣＰＵ１５０、ＧＰＵ１５２、またはその一部は、ローカル処理およびデータモジュール１７０内に含まれてもよい。３次元データベース１６０は、遠隔データリポジトリ１７６と関連付けられることができる。
前述の明細書では、本発明が、その具体的実施形態を参照して説明された。しかしながら、種々の修正および変更が、本発明のより広義の精神および範囲から逸脱することなく、本明細書に成され得ることは、明白となるであろう。例えば、前述のプロセスフローは、プロセスアクションの特定の順序を参照して説明される。しかしながら、説明されるプロセスアクションの多くの順序は、本発明の範囲または動作に影響を及ぼさずに変更されてもよい。明細書および図面は、故に、限定的意味ではなく、例証と見なされるべきである。

Claims (1)

  1. 本明細書に記載の発明。
JP2020024915A 2016-02-04 2020-02-18 拡張現実システムにおいてオーディオを指向させるための技法 Pending JP2020092448A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662291363P 2016-02-04 2016-02-04
US62/291,363 2016-02-04

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018539378A Division JP6904963B2 (ja) 2016-02-04 2017-02-02 拡張現実システムにおいてオーディオを指向させるための技法

Publications (1)

Publication Number Publication Date
JP2020092448A true JP2020092448A (ja) 2020-06-11

Family

ID=59496440

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018539378A Active JP6904963B2 (ja) 2016-02-04 2017-02-02 拡張現実システムにおいてオーディオを指向させるための技法
JP2020024915A Pending JP2020092448A (ja) 2016-02-04 2020-02-18 拡張現実システムにおいてオーディオを指向させるための技法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018539378A Active JP6904963B2 (ja) 2016-02-04 2017-02-02 拡張現実システムにおいてオーディオを指向させるための技法

Country Status (10)

Country Link
US (1) US10536783B2 (ja)
EP (2) EP3411873B1 (ja)
JP (2) JP6904963B2 (ja)
KR (1) KR20180109910A (ja)
CN (2) CN108604439B (ja)
AU (2) AU2017215349B2 (ja)
CA (2) CA3206524C (ja)
IL (3) IL283975B2 (ja)
NZ (1) NZ743729A (ja)
WO (1) WO2017136580A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047647A1 (ja) * 2021-09-21 2023-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10129682B2 (en) * 2012-01-06 2018-11-13 Bacch Laboratories, Inc. Method and apparatus to provide a virtualized audio file
US10609475B2 (en) 2014-12-05 2020-03-31 Stages Llc Active noise control and customized audio system
US11445305B2 (en) 2016-02-04 2022-09-13 Magic Leap, Inc. Technique for directing audio in augmented reality system
US9980078B2 (en) 2016-10-14 2018-05-22 Nokia Technologies Oy Audio object modification in free-viewpoint rendering
US10945080B2 (en) 2016-11-18 2021-03-09 Stages Llc Audio analysis and processing system
US11096004B2 (en) 2017-01-23 2021-08-17 Nokia Technologies Oy Spatial audio rendering point extension
US10725729B2 (en) 2017-02-28 2020-07-28 Magic Leap, Inc. Virtual and real object recording in mixed reality device
US10531219B2 (en) 2017-03-20 2020-01-07 Nokia Technologies Oy Smooth rendering of overlapping audio-object interactions
US11074036B2 (en) 2017-05-05 2021-07-27 Nokia Technologies Oy Metadata-free audio-object interactions
US10165386B2 (en) * 2017-05-16 2018-12-25 Nokia Technologies Oy VR audio superzoom
JP2019054385A (ja) * 2017-09-14 2019-04-04 カシオ計算機株式会社 集音機器、補聴器、及び集音機器セット
US11395087B2 (en) 2017-09-29 2022-07-19 Nokia Technologies Oy Level-based audio-object interactions
KR102633727B1 (ko) * 2017-10-17 2024-02-05 매직 립, 인코포레이티드 혼합 현실 공간 오디오
CN109753847B (zh) * 2017-11-02 2021-03-30 华为技术有限公司 一种数据的处理方法以及ar设备
GB201800918D0 (en) * 2018-01-19 2018-03-07 Nokia Technologies Oy Associated spatial audio playback
CN111713091A (zh) 2018-02-15 2020-09-25 奇跃公司 混合现实虚拟混响
US10542368B2 (en) 2018-03-27 2020-01-21 Nokia Technologies Oy Audio content modification for playback audio
WO2019187437A1 (ja) * 2018-03-29 2019-10-03 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10848894B2 (en) 2018-04-09 2020-11-24 Nokia Technologies Oy Controlling audio in multi-viewpoint omnidirectional content
US10585641B2 (en) 2018-04-30 2020-03-10 Qualcomm Incorporated Tagging a sound in a virtual environment
CN109615703B (zh) * 2018-09-28 2020-04-14 阿里巴巴集团控股有限公司 增强现实的图像展示方法、装置及设备
WO2020071728A1 (ko) * 2018-10-02 2020-04-09 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
KR102458962B1 (ko) 2018-10-02 2022-10-26 한국전자통신연구원 가상 현실에서 음향 확대 효과 적용을 위한 음향 신호 제어 방법 및 장치
US10739726B2 (en) * 2018-10-03 2020-08-11 International Business Machines Corporation Audio management for holographic objects
EP3868128A2 (en) * 2018-10-15 2021-08-25 Orcam Technologies Ltd. Hearing aid systems and methods
US11979716B2 (en) 2018-10-15 2024-05-07 Orcam Technologies Ltd. Selectively conditioning audio signals based on an audioprint of an object
US11089402B2 (en) * 2018-10-19 2021-08-10 Bose Corporation Conversation assistance audio device control
WO2020096406A1 (ko) * 2018-11-09 2020-05-14 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
CN113039815B (zh) * 2018-11-09 2022-11-11 候本株式会社 声音生成方法及执行其的装置
KR102379734B1 (ko) * 2018-11-09 2022-03-29 주식회사 후본 사운드 생성 방법 및 이를 수행하는 장치들
CN109460120A (zh) * 2018-11-17 2019-03-12 李祖应 一种基于声场定位的现实模拟方法及智能穿戴设备
US10595149B1 (en) * 2018-12-04 2020-03-17 Facebook Technologies, Llc Audio augmentation using environmental data
EP3709171A1 (en) * 2019-03-13 2020-09-16 Nokia Technologies Oy Audible distractions at locations external to a device
TWI716842B (zh) * 2019-03-27 2021-01-21 美律實業股份有限公司 聽力測試系統以及聽力測試方法
GB2584837A (en) * 2019-06-11 2020-12-23 Nokia Technologies Oy Sound field related rendering
US20220312128A1 (en) * 2019-08-26 2022-09-29 Orcam Technologies Ltd. Hearing aid system with differential gain
JP7446420B2 (ja) 2019-10-25 2024-03-08 マジック リープ， インコーポレイテッド 反響フィンガプリント推定
GB2589340A (en) 2019-11-27 2021-06-02 Nokia Technologies Oy Augmented reality system
CN110956951A (zh) * 2019-12-23 2020-04-03 苏州思必驰信息科技有限公司 一种语音增强采集配件、方法、系统、设备及存储介质
US11234090B2 (en) 2020-01-06 2022-01-25 Facebook Technologies, Llc Using audio visual correspondence for sound source identification
US11087777B1 (en) * 2020-02-11 2021-08-10 Facebook Technologies, Llc Audio visual correspondence based signal augmentation
US11432067B2 (en) * 2020-03-23 2022-08-30 Orcam Technologies Ltd. Cancelling noise in an open ear system
US11533443B2 (en) 2020-06-29 2022-12-20 Innovega, Inc. Display eyewear with adjustable camera direction
US11493959B2 (en) * 2020-08-17 2022-11-08 Orcam Technologies Ltd. Wearable apparatus and methods for providing transcription and/or summary
US11604368B2 (en) 2021-04-06 2023-03-14 Innovega, Inc. Contact lens and eyewear frame design using physical landmarks placed on the eye
US11972592B2 (en) 2021-04-06 2024-04-30 Innovega, Inc. Automated eyewear frame design through image capture
US11762219B2 (en) 2021-04-06 2023-09-19 Innovega, Inc. Automated contact lens design through image capture of an eye wearing a reference contact lens
KR102638322B1 (ko) * 2022-05-30 2024-02-19 주식회사 유기지능스튜디오 1인칭 실감형 오디오 컨텐츠를 제작하기 위한 장치, 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム
JP2012503935A (ja) * 2008-09-25 2012-02-09 アルカテル−ルーセント ユーエスエー インコーポレーテッド 自動操作型指向性補聴器およびその操作方法

Family Cites Families (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8730129B2 (en) * 1990-12-07 2014-05-20 Dennis J Solomon Advanced immersive visual display system
US5901232A (en) * 1996-09-03 1999-05-04 Gibbs; John Ho Sound system that determines the position of an external sound source and points a directional microphone/speaker towards it
US6975991B2 (en) * 2001-01-31 2005-12-13 International Business Machines Corporation Wearable display system with indicators of speakers
US7269632B2 (en) 2001-06-05 2007-09-11 Xdyne, Inc. Networked computer system for communicating and operating in a virtual reality environment
KR100677601B1 (ko) 2004-11-11 2007-02-02 삼성전자주식회사 메타 데이터를 포함하는 영상 데이터를 기록한 저장매체,그 재생장치 및 메타 데이터를 이용한 검색방법
JP5286667B2 (ja) * 2006-02-22 2013-09-11 コニカミノルタ株式会社 映像表示装置、及び映像表示方法
US20080231926A1 (en) 2007-03-19 2008-09-25 Klug Michael A Systems and Methods for Updating Dynamic Three-Dimensional Displays with User Input
FR2915041A1 (fr) * 2007-04-13 2008-10-17 Canon Kk Procede d'attribution d'une pluralite de canaux audio a une pluralite de haut-parleurs, produit programme d'ordinateur, moyen de stockage et noeud gestionnaire correspondants.
US9703369B1 (en) 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
KR20090052169A (ko) * 2007-11-20 2009-05-25 삼성전자주식회사 두부(頭部) 장착 디스플레이
DK2088802T3 (da) * 2008-02-07 2013-10-14 Oticon As Fremgangsmåde til estimering af lydsignalers vægtningsfunktion i et høreapparat
KR101547639B1 (ko) * 2009-05-22 2015-08-27 삼성전자 주식회사 사운드 포커싱 장치 및 방법
JP5499633B2 (ja) * 2009-10-28 2014-05-21 ソニー株式会社 再生装置、ヘッドホン及び再生方法
US8819591B2 (en) 2009-10-30 2014-08-26 Accuray Incorporated Treatment planning in a virtual environment
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20130278631A1 (en) 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
US9341843B2 (en) * 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
AU2011220382A1 (en) * 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
EP2368720B1 (en) 2010-03-26 2018-10-24 Provenance Asset Group LLC Method to transform a virtual object into a real physical object
US9122053B2 (en) 2010-10-15 2015-09-01 Microsoft Technology Licensing, Llc Realistic occlusion for a head mounted augmented reality display
US9529424B2 (en) 2010-11-05 2016-12-27 Microsoft Technology Licensing, Llc Augmented reality with direct user interaction
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
JP2012133250A (ja) * 2010-12-24 2012-07-12 Sony Corp 音情報表示装置、音情報表示方法およびプログラム
US9408010B2 (en) * 2011-05-26 2016-08-02 Koninklijke Philips N.V. Audio system and method therefor
US20140063061A1 (en) 2011-08-26 2014-03-06 Reincloud Corporation Determining a position of an item in a virtual augmented space
US20130222371A1 (en) 2011-08-26 2013-08-29 Reincloud Corporation Enhancing a sensory perception in a field of view of a real-time source within a display screen through augmented reality
ES2621952T3 (es) * 2011-09-01 2017-07-05 9Solutions Oy Sistema de seguimiento de localización adaptativo
JP5969200B2 (ja) * 2011-11-11 2016-08-17 任天堂株式会社 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
US8781142B2 (en) * 2012-02-24 2014-07-15 Sverrir Olafsson Selective acoustic enhancement of ambient sound
US8831255B2 (en) * 2012-03-08 2014-09-09 Disney Enterprises, Inc. Augmented reality (AR) audio with position and action triggered virtual sound effects
US9319821B2 (en) * 2012-03-29 2016-04-19 Nokia Technologies Oy Method, an apparatus and a computer program for modification of a composite audio signal
DE102012214081A1 (de) * 2012-06-06 2013-12-12 Siemens Medical Instruments Pte. Ltd. Verfahren zum Fokussieren eines Hörinstruments-Beamformers
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2013188464A1 (en) 2012-06-11 2013-12-19 Magic Leap, Inc. Multiple depth plane three-dimensional display using a wave guide reflector array projector
US20130328925A1 (en) * 2012-06-12 2013-12-12 Stephen G. Latta Object focus in a mixed reality environment
US9544074B2 (en) 2012-09-04 2017-01-10 Broadcom Corporation Time-shifting distribution of high definition audio data
US8750541B1 (en) * 2012-10-31 2014-06-10 Google Inc. Parametric array for a head-mountable device
US20140146394A1 (en) 2012-11-28 2014-05-29 Nigel David Tout Peripheral display for a near-eye display device
US10231614B2 (en) * 2014-07-08 2019-03-19 Wesley W. O. Krueger Systems and methods for using virtual reality, augmented reality, and/or a synthetic 3-dimensional information for the measurement of human ocular performance
CN105073073B (zh) * 2013-01-25 2018-12-07 胡海 用于声音可视化及声源定位的设备与方法
US20140240351A1 (en) 2013-02-27 2014-08-28 Michael Scavezze Mixed reality augmentation
US10109075B2 (en) 2013-03-15 2018-10-23 Elwha Llc Temporal element restoration in augmented reality systems
US9124990B2 (en) * 2013-07-10 2015-09-01 Starkey Laboratories, Inc. Method and apparatus for hearing assistance in multiple-talker settings
DE102013215131A1 (de) * 2013-08-01 2015-02-05 Siemens Medical Instruments Pte. Ltd. Verfahren zur Verfolgung einer Schallquelle
US9143880B2 (en) * 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
KR101926942B1 (ko) * 2013-09-03 2019-03-07 토비 에이비 휴대용 눈 추적 디바이스
US9848260B2 (en) * 2013-09-24 2017-12-19 Nuance Communications, Inc. Wearable communication enhancement device
US9271077B2 (en) * 2013-12-17 2016-02-23 Personics Holdings, Llc Method and system for directional enhancement of sound using small microphone arrays
CN103686565B (zh) * 2013-12-29 2017-09-26 长城汽车股份有限公司 车内声音控制系统
US9716939B2 (en) * 2014-01-06 2017-07-25 Harman International Industries, Inc. System and method for user controllable auditory environment customization
US9516412B2 (en) * 2014-03-28 2016-12-06 Panasonic Intellectual Property Management Co., Ltd. Directivity control apparatus, directivity control method, storage medium and directivity control system
JP6125457B2 (ja) * 2014-04-03 2017-05-10 日本電信電話株式会社 収音システム及び放音システム
KR20170067682A (ko) * 2014-05-26 2017-06-16 블라디미르 셔먼 음향 신호 수집을 위한 코드 실행가능 방법, 회로, 장치, 시스템 및 관련 컴퓨터
WO2015188011A1 (en) * 2014-06-04 2015-12-10 Quantum Interface, Llc. Dynamic environment for object and attribute display and interaction
US9226090B1 (en) * 2014-06-23 2015-12-29 Glen A. Norris Sound localization for an electronic call
JP6421313B2 (ja) 2014-07-28 2018-11-14 株式会社オーディオテクニカ マイクロホン装置
US20160080874A1 (en) * 2014-09-16 2016-03-17 Scott Fullam Gaze-based audio direction
US9818225B2 (en) 2014-09-30 2017-11-14 Sony Interactive Entertainment Inc. Synchronizing multiple head-mounted displays to a unified space and correlating movement of objects in the unified space
US9654868B2 (en) * 2014-12-05 2017-05-16 Stages Llc Multi-channel multi-domain source identification and tracking
WO2016099995A1 (en) * 2014-12-16 2016-06-23 3M Innovative Properties Company Ionic diol, antistatic polyurethane, and method of making the same
US9685005B2 (en) * 2015-01-02 2017-06-20 Eon Reality, Inc. Virtual lasers for interacting with augmented reality environments
US11631421B2 (en) * 2015-10-18 2023-04-18 Solos Technology Limited Apparatuses and methods for enhanced speech recognition in variable environments
US10206042B2 (en) * 2015-10-20 2019-02-12 Bragi GmbH 3D sound field using bilateral earpieces system and method
US9949056B2 (en) * 2015-12-23 2018-04-17 Ecole Polytechnique Federale De Lausanne (Epfl) Method and apparatus for presenting to a user of a wearable apparatus additional information related to an audio scene
US9905244B2 (en) * 2016-02-02 2018-02-27 Ebay Inc. Personalized, real-time audio processing

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012503935A (ja) * 2008-09-25 2012-02-09 アルカテル−ルーセント ユーエスエー インコーポレーテッド 自動操作型指向性補聴器およびその操作方法
JP2012008290A (ja) * 2010-06-23 2012-01-12 Softbank Mobile Corp 眼鏡型表示装置及びサーバ
JP2012029209A (ja) * 2010-07-27 2012-02-09 Hitachi Ltd 音処理システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023047647A1 (ja) * 2021-09-21 2023-03-30 ソニーグループ株式会社 情報処理装置、情報処理方法、及び、プログラム

Also Published As

Publication number Publication date
EP3411873B1 (en) 2022-07-13
NZ743729A (en) 2022-10-28
CN108604439B (zh) 2021-12-28
IL307306A (en) 2023-11-01
CA3007511A1 (en) 2017-08-10
US20170230760A1 (en) 2017-08-10
AU2022201783B2 (en) 2023-06-29
JP2019511148A (ja) 2019-04-18
AU2017215349B2 (en) 2021-12-16
IL283975B1 (en) 2023-10-01
CN108604439A (zh) 2018-09-28
AU2022201783A1 (en) 2022-04-07
CN114189793B (zh) 2024-03-19
CN114189793A (zh) 2022-03-15
AU2017215349A1 (en) 2018-07-12
CA3206524A1 (en) 2017-08-10
WO2017136580A1 (en) 2017-08-10
CA3206524C (en) 2024-02-13
CA3007511C (en) 2023-09-19
IL260113A (en) 2018-07-31
IL283975B2 (en) 2024-02-01
IL260113B (en) 2021-06-30
EP3411873A4 (en) 2019-01-23
EP4075826A1 (en) 2022-10-19
JP6904963B2 (ja) 2021-07-21
KR20180109910A (ko) 2018-10-08
IL283975A (en) 2021-07-29
EP3411873A1 (en) 2018-12-12
US10536783B2 (en) 2020-01-14

Similar Documents

Publication Publication Date Title
AU2022201783B2 (en) Technique for directing audio in augmented reality system
JP7275227B2 (ja) 複合現実デバイスにおける仮想および実オブジェクトの記録
JP6017854B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP7165215B2 (ja) 空間化オーディオを用いた仮想現実、拡張現実、および複合現実システム
US11812222B2 (en) Technique for directing audio in augmented reality system
US9706292B2 (en) Audio camera using microphone arrays for real time capture of audio images and method for jointly processing the audio images with video images
CN110267166B (zh) 一种基于双耳效应的虚拟声场实时交互系统
JP2018152834A (ja) 仮想聴覚環境において音声信号出力を制御する方法及び装置
GB2558279A (en) Head mountable display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211117

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220610