JP2022512075A - 環境のデータを使用するオーディオ増補 - Google Patents

Abstract

予期される位置に従って方向性ビームフォーミングを実施するための開示されるコンピュータ実装方法は、環境内の音源を指示する環境データにアクセスすることを含み得る。デバイスは、ステアリング可能オーディオビームを生成するように構成された様々なオーディオハードウェア構成要素を含み得る。本方法は、アクセスされた環境データに基づいて環境内の音源のロケーションを識別することと、デバイスのオーディオビームを環境内の音源の識別されたロケーションにステアリングすることとをも含み得る。様々な他の方法、システム、およびコンピュータ可読媒体も開示される。【選択図】図６

Description

関連出願の相互参照
本出願は、その開示全体がこの参照により組み込まれる、２０１８年１２月４日に出願された米国非仮出願第１６／２０８，５９６号の利益を主張する。

拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）デバイスおよび仮想現実（ＶＲ）デバイスは、ますます一般的になっている。ＡＲデバイスは、一般に、ディスプレイと音源とを含む２つの主要構成要素を有し、ＶＲデバイスは、一般に、ディスプレイと、音源と、触覚フィードバックをユーザに提供する触覚構成要素とを含む。ディスプレイは、ＶＲの場合、フルヘッドセットであり得るか、または、ＡＲの場合、一対の眼鏡であり得る。音源は、ＡＲ／ＶＲデバイス自体に組み込まれるスピーカーを含み得るか、または、別個のイヤフォンを含み得る。

そのようなＡＲシステムおよびＶＲシステムにおける現在のスピーカーは、一般に、多くのカスタマイゼーションなしにユーザのためのオーディオを再生するように設計される。いくつかの場合には、オーディオは、サラウンド音復号を使用して処理され得る。また、そのような場合、出力オーディオは、出力オーディオが、ある方向（たとえば、ユーザの前、横、または後ろ）から来ているように聞こえるように空間化され得る。ただし、オーディオ処理は、ＡＲ／ＶＲデバイス自体が移動しているかどうか、またはデバイスがどこで移動しているか、または他のＡＲ／ＶＲデバイスがすぐ近くのエリア中に存在するかどうかを考慮に入れない。

以下でより詳細に説明されるように、本開示は、環境内の音源のロケーションを指示する環境データにアクセスし、次いで、オーディオ受信を改善するためにその方向にビームフォーミングする、方法およびシステムについて説明する。一例では、環境データに基づく方向性ビームフォーミングを実施するためのコンピュータ実装方法が、デバイスにおいて、環境内の少なくとも１つの音源の指示を含む環境データにアクセスすることを含み得る。オーディオビームを所与の人またはロケーションに「ビームフォーミング」するかまたはターゲットにするプロセスは、クリアでわかりやすいオーディオ信号をユーザに提供するプレイバックヘッドセットの能力を増加させ得る。オーディオビームは、オーディオ信号をキャプチャするためにマイクロフォンが向けられる集中領域であり得る。デバイスは、そのようなステアリング可能オーディオビームを生成するように構成されたオーディオハードウェア構成要素を含み得る。本方法は、アクセスされた環境データに基づいて環境内の音源のロケーションを識別することと、デバイスのオーディオビームを環境内の音源の識別されたロケーションにステアリングすることとをも含み得る。

いくつかの例では、デバイスは、拡張現実（ＡＲ）または仮想現実（ＶＲ）デバイスであり得る。環境は複数のＡＲまたはＶＲデバイスを含み得、各ＡＲまたはＶＲデバイスはそれ自体のロケーションを記録する。いくつかの例では、環境は複数のＡＲデバイスを含み得、各ＡＲデバイスは、他のＡＲデバイスのロケーションを、ＡＲデバイスによってキャプチャされたセンサデータを使用して記録し得る。いくつかの例では、ＡＲデバイスは、環境データを使用して複数の他のＡＲデバイスのロケーションを追跡し得る。

いくつかの例では、履歴デバイス移動データが、音源（たとえば、人）が移動する可能性がある将来の音源ロケーションを識別するために実装され得る。将来の音源ロケーションは、継続的に更新されながら（ｏｎ ａ ｃｏｎｔｉｎｕａｌｌｙ ｕｐｄａｔｅｄ ｂａｓｉｓ）決定され得る。このようにして、デバイスのオーディオビームは、更新された将来の音源ロケーションに継続的にステアリングされ得る。

いくつかの例では、予期されるロケーションに基づいて方向的にビームフォーミングするための方法は、直接経路信号よりも高い信号レベルでデバイスにおいて残響信号が受信されたことを検出することを含み得る。本方法は、残響信号が進む潜在的経路を識別することと、次いで、残響信号が進む識別された経路に沿って進むようにオーディオビームをステアリングすることとをさらに含み得る。本方法は、デバイスが現在のデバイスロケーションと将来の音源ロケーションとの間で移動するにつれて、オーディオビームステアリングを直接経路に遷移することをも含み得る。

いくつかの例では、オーディオビームは、特定のビームフォーミングポリシーに基づいてステアリングされ得る。いくつかの実施形態は、オーディオビームを使用して再生されることになるオーディオ信号にアクセスすることと、他のデバイスのロケーションを識別することと、アクセスされたオーディオ信号を、他のデバイスから来ているかのように聞こえるようにオーディオ信号を空間的に再レンダリングするために、修正することとを含み得る。

いくつかの例では、デバイスは、リモートソースからあらかじめ生成された環境データまたは履歴環境のデータを受信し得、将来の音源ロケーションを識別するために、受信された環境データまたは履歴環境のデータを実装し得る。いくつかの例では、環境における他のデバイスは、環境データをサーバにあるいは別のローカルまたはリモートデバイスに提供し得る。サーバは、ターゲットデバイスの遅延および制約を考慮するように環境情報を増補し（ａｕｇｍｅｎｔ）得る。

いくつかの例では、信号レベルを指定された最小レベルに上げるためにビームフォーミングが必要とされると決定すると、ステアリング制御信号が生成される。いくつかの例では、環境データのアクセスされた部分は、指定された方向において選択的アクティブ雑音消去を実施するために使用され得る。いくつかの例では、指定された方向からの音を選択的に除去するように、または指定された方向からの音を選択的に許容するように、様々なアクティブ雑音消去パラメータが調整され得る。さらなる例では、修正されたドライオーディオ信号が、修正されたドライオーディオ信号がユーザの現在の環境において発生したかのように聞こえるように、ドライオーディオ信号が様々な効果と合成され得る。

さらに、環境データに基づいて方向的にビームフォーミングするための対応するデバイスが、環境内の音源の指示を含む環境データにアクセスするように構成されたデータアクセスモジュールを含む、メモリに記憶されたいくつかのモジュールを含み得る。本デバイスは、ステアリング可能オーディオビームを生成するように構成されたオーディオハードウェア構成要素を含み得る。本デバイスは、アクセスされた環境データに基づいて環境内の音源のロケーションを識別するように構成されたロケーション識別モジュールをさらに含み得る。本デバイスは、本デバイスのオーディオビームを環境内の音源の識別されたロケーションにステアリングするように構成されたビームステアリングモジュールをも含み得る。

いくつかの例では、上記で説明された方法は、コンピュータ可読媒体上のコンピュータ可読命令として符号化され得る。たとえば、コンピュータ可読媒体は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、コンピューティングデバイスに、環境内の音源の指示を含む環境データにアクセスすることと、アクセスされた環境データに基づいて環境内の音源のロケーションを識別することと、デバイスのオーディオビームを環境内の音源の識別されたロケーションにステアリングすることとを行わせ得る１つまたは複数のコンピュータ実行可能命令を含み得る。

上述の実施形態のいずれかからの特徴が、本明細書で説明される一般的な原理に従って、互いと組み合わせて使用され得る。これらおよび他の実施形態、特徴、および利点は、添付の図面および特許請求の範囲とともに以下の発明を実施するための形態を読むとより十分に理解されよう。

添付の図面は、いくつかの例示的な実施形態を示し、本明細書の一部である。以下の説明とともに、これらの図面は、本開示の様々な原理を示し、それらの原理について説明する。

人工現実ヘッドセットの一実施形態を示す図である。 拡張現実ヘッドセットおよび対応するネックバンドの一実施形態を示す図である。 仮想現実ヘッドセットの一実施形態を示す図である。 環境データに基づいて方向的にビームフォーミングすることを含む、本明細書で説明される実施形態が実施され得る、一実施形態を示す図である。 環境データに基づいて方向的にビームフォーミングするための例示的な方法の流れ図である。 環境データに基づいて方向的にビームフォーミングすることを含む、本明細書で説明される実施形態が動作し得る、代替実施形態を示す図である。 環境データに基づいて方向的にビームフォーミングすることを含む、本明細書で説明される実施形態が動作し得る、代替実施形態を示す図である。 環境データに基づいて方向的にビームフォーミングすることを含む、本明細書で説明される実施形態が動作し得る、代替実施形態を示す図である。 環境データに基づいて方向的にビームフォーミングすることを含む、本明細書で説明される実施形態が動作し得る、代替実施形態を示す図である。

図面全体にわたって、同じ参照符号および記述は、同様であるが、必ずしも同じとは限らない、要素を指示する。本明細書で説明される例示的な実施形態は、様々な修正および代替形態が可能であるが、特定の実施形態が、図面において例として示されており、本明細書で詳細に説明される。しかしながら、本明細書で説明される例示的な実施形態は、開示される特定の形態に限定されるものではない。むしろ、本開示は、添付の特許請求の範囲内に入るすべての修正、均等物、および代替形態をカバーする。

本開示は、一般に、傾聴しているユーザに関係のあり得る音源を指示する環境データに基づく方向性ビームフォーミングを実施するための方法およびシステムを対象とする。以下でより詳細に説明されるように、本開示の実施形態は、ユーザが、人工現実（ＡＲ：ａｒｔｉｆｉｃｉａｌ ｒｅａｌｉｔｙ）ヘッドセットを使用しているときに他のユーザをより容易に聞くことを可能にし得る。たとえば、多数のユーザが部屋の中にいる場合、または、部屋の音響効果が悪い場合、ユーザは、互いを聞くのに苦労し得る。本明細書の実施形態では、ＡＲヘッドセットは、所与の音源（たとえば、話しているユーザ）により良く集中するためにビームフォーミングを実施するように構成され得る。ビームフォーミングは、話しているユーザの現在のロケーションに向かうビームを形成し得るだけでなく、話しているユーザが新しいロケーションに移動することを予期して、ビームを新しいロケーションに向けることもある。

実際、本明細書の実施形態のうちの少なくともいくつかでは、ＡＲヘッドセット（または、ＡＲヘッドセットが通信可能に接続されたコンピュータシステム）は、話しているユーザがどこに移動する可能性があるかを決定するための論理を実装し得る。傾聴しているユーザのＡＲヘッドセットは、現在の環境の知識、話しているユーザの過去の移動の知識、ならびに話しているユーザについての現在のロケーションおよび／または移動情報に基づいて、この決定を行い得る。この情報の一部または全部を使用して、傾聴しているユーザのＡＲヘッドセットは、話しているユーザがどこに移動する可能性があるかを決定し得、移動に先立って、予想される移動方向にビームフォーミングし得る。次いで、話しているユーザがその方向に移動する場合、傾聴しているユーザのＡＲヘッドセットは、その方向にすでにビームフォーミングしており、それにより、話しているユーザを聞く傾聴しているユーザの能力を向上させる。オーディオビームを所与の人またはロケーションに「ビームフォーミング」するかまたはターゲットにするプロセスは、クリアでわかりやすいオーディオ信号をユーザに提供するＡＲヘッドセットの能力を増加させ得る。

本開示の実施形態は、様々なタイプの人工現実システムを含むか、またはそれらのシステムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において（たとえば、人工現実におけるアクティビティを実施するために）別様に使用されるアプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。

人工現実システムは、様々な異なるフォームファクタおよび構成において実装され得る。いくつかの人工現実システムは、ニアアイディスプレイ（ＮＥＤ）なしで働くように設計され得、その一例が図１中のＡＲシステム１００である。他の人工現実システムは、現実世界への可視性をも提供するＮＥＤを含む（たとえば、図２中のＡＲシステム２００）か、または人工現実にユーザを視覚的に没入させるＮＥＤを含み得る（たとえば、図３中のＶＲシステム３００）。いくつかの人工現実デバイスは独立型システムであり得るが、他の人工現実デバイスは、人工現実体験をユーザに提供するために外部デバイスと通信および／または協調し得る。そのような外部デバイスの例は、ハンドヘルドコントローラ、モバイルデバイス、デスクトップコンピュータ、ユーザによって装着されるデバイス、１人または複数の他のユーザによって装着されるデバイス、および／または任意の他の好適な外部システムを含む。

図１を参照すると、ＡＲシステム１００は、概して、ユーザの身体部分（たとえば、頭部）の周りに適合するように寸法決定されたウェアラブルデバイスを表す。図１に示されているように、システム１００は、フレーム１０２と、フレーム１０２に結合され、ローカル環境を観測することによってローカル環境に関する情報を集めるように構成されたカメラアセンブリ１０４とを含み得る。ＡＲシステム１００は、出力オーディオトランスデューサ１０８（Ａ）および１０８（Ｂ）ならびに入力オーディオトランスデューサ１１０など、１つまたは複数のオーディオデバイスをも含み得る。出力オーディオトランスデューサ１０８（Ａ）および１０８（Ｂ）は、オーディオフィードバックおよび／またはコンテンツをユーザに提供し得、入力オーディオトランスデューサ１１０は、ユーザの環境におけるオーディオをキャプチャし得る。

示されているように、ＡＲシステム１００は、ユーザの眼の前に配置されるＮＥＤを必ずしも含むとは限らない。ＮＥＤをもたないＡＲシステムは、ヘッドバンド、ハット、ヘアバンド、ベルト、ウォッチ、リストバンド、アンクルバンド、リング、ネックバンド、ネックレス、胸バンド、アイウェアフレーム、および／あるいは任意の他の好適なタイプまたは形態の装置など、様々な形態をとり得る。ＡＲシステム１００はＮＥＤを含まないことがあるが、ＡＲシステム１００は、他のタイプのスクリーンまたは視覚フィードバックデバイス（たとえば、フレーム１０２の側部に組み込まれたディスプレイスクリーン）を含み得る。

本開示で説明される実施形態は、１つまたは複数のＮＥＤを含むＡＲシステムにおいても実装され得る。たとえば、図２に示されているように、ＡＲシステム２００は、ユーザの眼の前で左ディスプレイデバイス２１５（Ａ）および右ディスプレイデバイス２１５（Ｂ）を保持するように構成されたフレーム２１０をもつアイウェアデバイス２０２を含み得る。ディスプレイデバイス２１５（Ａ）とディスプレイデバイス２１５（Ｂ）とは、画像または一連の画像をユーザに提示するために、一緒にまたは独立して働き得る。ＡＲシステム２００は、２つのディスプレイを含むが、本開示の実施形態は、単一のＮＥＤまたは３つ以上のＮＥＤをもつＡＲシステムにおいて実装され得る。

いくつかの実施形態では、ＡＲシステム２００は、センサ２４０など、１つまたは複数のセンサを含み得る。センサ２４０は、ＡＲシステム２００の動きに応答して測定信号を生成し得、フレーム２１０の実質的に任意の部分上に位置し得る。センサ２４０は、位置センサ、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）、深度カメラアセンブリ、またはそれらの任意の組合せを含み得る。いくつかの実施形態では、ＡＲシステム２００は、センサ２４０を含むことも含まないこともあり、または２つ以上のセンサを含み得る。センサ２４０がＩＭＵを含む実施形態では、ＩＭＵは、センサ２４０からの測定信号に基づいて較正データを生成し得る。センサ２４０の例は、限定はしないが、加速度計、ジャイロスコープ、磁力計、動きを検出する他の好適なタイプのセンサ、ＩＭＵの誤差補正のために使用されるセンサ、またはそれらの何らかの組合せを含み得る。

ＡＲシステム２００は、まとめて音響センサ２２０と呼ばれる、複数の音響センサ２２０（Ａ）～２２０（Ｊ）をもつマイクロフォンアレイをも含み得る。音響センサ２２０は、音波によって誘起された空気圧力変動を検出するトランスデューサであり得る。各音響センサ２２０は、音を検出し、検出された音を電子フォーマット（たとえば、アナログまたはデジタルフォーマット）にコンバートするように構成され得る。図２中のマイクロフォンアレイは、たとえば、１０個の音響センサ、すなわち、ユーザの対応する耳の内部に置かれるように設計され得る２２０（Ａ）および２２０（Ｂ）、フレーム２１０上の様々なロケーションに配置され得る音響センサ２２０（Ｃ）、２２０（Ｄ）、２２０（Ｅ）、２２０（Ｆ）、２２０（Ｇ）、および２２０（Ｈ）、ならびに／または、対応するネックバンド２０５上に配置され得る音響センサ２２０（Ｉ）および２２０（Ｊ）を含み得る。

マイクロフォンアレイの音響センサ２２０の構成は変動し得る。ＡＲシステム２００は、１０個の音響センサ２２０を有するものとして図２に示されているが、音響センサ２２０の数は、１０よりも大きくまたは小さくなり得る。いくつかの実施形態では、より高い数の音響センサ２２０を使用することは、収集されるオーディオ情報の量ならびに／またはオーディオ情報の感度および正確さを増加させ得る。逆に、より低い数の音響センサ２２０を使用することは、収集されたオーディオ情報を処理するためにコントローラ２５０によって必要とされる計算電力を減少させ得る。さらに、マイクロフォンアレイの各音響センサ２２０の位置は変動し得る。たとえば、音響センサ２２０の位置は、ユーザ上の画定された位置、フレーム２１０上の画定された座標、各音響センサに関連付けられた配向、またはそれらの何らかの組合せを含み得る。

音響センサ２２０（Ａ）および２２０（Ｂ）は、耳介の後ろまたは外耳内もしくは窩内など、ユーザの耳の異なる部分上に配置され得る。あるいは、耳道の内部の音響センサ２２０に加えて、耳上にまたは耳の周囲に追加の音響センサがあり得る。ユーザの耳道の隣に音響センサが配置されると、マイクロフォンアレイは、音がどのように耳道に到来するかに関する情報を収集することが可能になり得る。（たとえば、バイノーラルマイクロフォンとして）ユーザの頭部の両側に音響センサ２２０のうちの少なくとも２つを配置することによって、ＡＲデバイス２００は、バイノーラル聴覚をシミュレートし、ユーザの頭部の周りの３Ｄステレオ音場をキャプチャし得る。いくつかの実施形態では、音響センサ２２０（Ａ）および２２０（Ｂ）はワイヤード接続を介してＡＲシステム２００に接続され得、他の実施形態では、音響センサ２２０（Ａ）および２２０（Ｂ）はワイヤレス接続（たとえば、Ｂｌｕｅｔｏｏｔｈ接続）を介してＡＲシステム２００に接続され得る。さらに他の実施形態では、音響センサ２２０（Ａ）および２２０（Ｂ）は、ＡＲシステム２００とともにまったく使用されないことがある。

フレーム２１０上の音響センサ２２０は、テンプルの長さに沿って、ブリッジにわたって、ディスプレイデバイス２１５（Ａ）および２１５（Ｂ）の上方にまたは下方に、あるいはそれらの何らかの組合せにおいて配置され得る。音響センサ２２０は、マイクロフォンアレイが、ＡＲシステム２００を装着しているユーザの周囲の広範囲の方向における音を検出することが可能であるように、配向され得る。いくつかの実施形態では、マイクロフォンアレイにおける各音響センサ２２０の相対位置を決定するための最適化プロセスがＡＲシステム２００の製造中に実施され得る。

ＡＲシステム２００は、さらに、ネックバンド２０５など、外部デバイス（たとえば、ペアにされたデバイス）を含むかまたはそのデバイスに接続され得る。示されているように、ネックバンド２０５は、１つまたは複数のコネクタ２３０を介してアイウェアデバイス２０２に結合され得る。コネクタ２３０は、ワイヤードまたはワイヤレスコネクタであり得、電気的および／または非電気的（たとえば、構造的）構成要素を含み得る。いくつかの場合には、アイウェアデバイス２０２とネックバンド２０５とは、それらの間のワイヤードまたはワイヤレス接続なしに独立して動作し得る。図２は、アイウェアデバイス２０２およびネックバンド２０５上の例示的なロケーションにおけるアイウェアデバイス２０２およびネックバンド２０５の構成要素を示すが、それらの構成要素は、他の場所に位置し、ならびに／あるいはアイウェアデバイス２０２および／またはネックバンド２０５上に別様に分散され得る。いくつかの実施形態では、アイウェアデバイス２０２およびネックバンド２０５の構成要素は、アイウェアデバイス２０２、ネックバンド２０５、またはそれらの何らかの組合せとペアにされた、１つまたは複数の追加の周辺デバイス上に位置し得る。さらに、ネックバンド２０５は、概して、任意のタイプまたは形態のペアにされたデバイスを表す。したがって、ネックバンド２０５の以下の説明は、スマートウォッチ、スマートフォン、リストバンド、他のウェアラブルデバイス、ハンドヘルドコントローラ、タブレットコンピュータ、ラップトップコンピュータなど、様々な他のペアにされたデバイスにも適用され得る。

ネックバンド２０５など、外部デバイスをＡＲアイウェアデバイスとペアリングすることは、アイウェアデバイスが、依然として、拡張能力のための十分なバッテリーおよび計算電力を提供しながら、一対の眼鏡のフォームファクタを達成することを可能にし得る。ＡＲシステム２００のバッテリー電力、計算リソース、および／または追加の特徴の一部または全部が、ペアにされたデバイスによって提供されるか、またはペアにされたデバイスとアイウェアデバイスとの間で共有され、したがって、依然として、所望の機能性を保ちながら、アイウェアデバイスの重量、熱プロファイル、およびフォームファクタを全体的に低減し得る。たとえば、ネックバンド２０５は、ユーザが、ユーザの頭の上で許容するであろうよりも重い重量負荷をユーザの肩の上で許容し得るので、通常ならばアイウェアデバイス上に含まれるであろう構成要素が、ネックバンド２０５中に含まれることを可能にし得る。ネックバンド２０５は、周辺環境に熱を発散および放散させるためのより大きい表面エリアをも有し得る。したがって、ネックバンド２０５は、通常ならばスタンドアロンアイウェアデバイス上で可能であることがあるよりも大きいバッテリーおよび計算容量を可能にし得る。ネックバンド２０５がもつ重量が、ユーザにとって、アイウェアデバイス２０２がもつ重量ほど侵襲的でないことがあるので、ユーザは、ユーザが重いスタンドアロンアイウェアデバイスを装着することを許容するであろうよりも長い時間の長さの間、より軽いアイウェアデバイスを装着し、ペアにされたデバイスを携帯または装着することを許容し、それにより、人工現実環境がユーザの日々の活動により完全に組み込まれることが可能になり得る。

ネックバンド２０５は、アイウェアデバイス２０２と、および／または他のデバイスに通信可能に結合され得る。他のデバイスは、ＡＲシステム２００にいくつかの機能（たとえば、追跡、位置を特定すること、深度マッピング、処理、ストレージなど）を提供し得る。図２の実施形態では、ネックバンド２０５は、マイクロフォンアレイの一部である（または潜在的にそれら自体のマイクロフォンサブアレイを形成する）２つの音響センサ（たとえば、２２０（Ｉ）および２２０（Ｊ））を含み得る。ネックバンド２０５は、コントローラ２２５と電源２３５とをも含み得る。

ネックバンド２０５の音響センサ２２０（Ｉ）および２２０（Ｊ）は、音を検出し、検出された音を電子フォーマット（たとえば、アナログまたはデジタル）にコンバートするように構成され得る。図２の実施形態では、音響センサ２２０（Ｉ）および２２０（Ｊ）は、ネックバンド２０５上に配置され、それにより、ネックバンド音響センサ２２０（Ｉ）および２２０（Ｊ）と、アイウェアデバイス２０２上に配置された他の音響センサ２２０との間の距離を増加させ得る。いくつかの場合には、マイクロフォンアレイの音響センサ２２０間の距離を増加させることは、マイクロフォンアレイを介して実施されるビームフォーミングの正確さを改善し得る。たとえば、音響センサ２２０（Ｃ）および２２０（Ｄ）によって音が検出され、音響センサ２２０（Ｃ）と音響センサ２２０（Ｄ）との間の距離が、たとえば、音響センサ２２０（Ｄ）と音響センサ２２０（Ｅ）との間の距離よりも大きい場合、検出された音の決定されたソースロケーションは、音が音響センサ２２０（Ｄ）および２２０（Ｅ）によって検出された場合よりも正確であり得る。

ネックバンド２０５のコントローラ２２５は、ネックバンド２０５および／またはＡＲシステム２００上のセンサによって生成された情報を処理し得る。たとえば、コントローラ２２５は、マイクロフォンアレイによって検出された音を表す、マイクロフォンアレイからの情報を処理し得る。各検出された音について、コントローラ２２５は、検出された音がマイクロフォンアレイに到来した方向を推定するために、ＤｏＡ推定を実施し得る。マイクロフォンアレイが音を検出したとき、コントローラ２２５はオーディオデータセットを情報でポピュレートし得る。ＡＲシステム２００が慣性測定ユニットを含む実施形態では、コントローラ２２５は、アイウェアデバイス２０２上に位置するＩＭＵからのすべての慣性算出および空間算出を計算し得る。コネクタ２３０は、ＡＲシステム２００とネックバンド２０５との間で、およびＡＲシステム２００とコントローラ２２５との間で情報を伝達し得る。その情報は、光データ、電気データ、ワイヤレスデータの形態、または任意の他の送信可能なデータ形態のものであり得る。ＡＲシステム２００によって生成された情報の処理をネックバンド２０５に移動することは、アイウェアデバイス２０２における重量および熱を低減し、アイウェアデバイス２０２は、ユーザにとってより快適になり得る。

ネックバンド２０５中の電源２３５は、アイウェアデバイス２０２および／またはネックバンド２０５に電力を提供し得る。電源２３５は、限定はしないが、リチウムイオンバッテリー、リチウムポリマーバッテリー、１次リチウムバッテリー、アルカリバッテリー、または任意の他の形態の電力ストレージを含み得る。いくつかの場合には、電源２３５はワイヤード電源であり得る。アイウェアデバイス２０２上ではなくネックバンド２０５上に電源２３５を含めることは、電源２３５によって生成された重量および熱をより良く分散するのを助け得る。

述べられたように、いくつかの人工現実システムが、人工現実を実際の現実と混合する代わりに、現実世界の、ユーザの感覚認知のうちの１つまたは複数を仮想体験と実質的に置き換え得る。このタイプのシステムの一例が、図３中のＶＲシステム３００など、ユーザの視野をほぼまたは完全にカバーする頭部装着型ディスプレイシステムである。ＶＲシステム３００は、ユーザの頭部の周りに適合するように成形された前方剛体３０２とバンド３０４とを含み得る。ＶＲシステム３００は、出力オーディオトランスデューサ３０６（Ａ）および３０６（Ｂ）をも含み得る。さらに、図３には示されていないが、前方剛体３０２は、人工現実体験を作り出すための、１つまたは複数の電子ディスプレイ、１つまたは複数の慣性測定ユニット（ＩＭＵ）、１つまたは複数の追跡エミッタまたは検出器、および／あるいは任意の他の好適なデバイスまたはシステムを含む、１つまたは複数の電子要素を含み得る。

人工現実システムは、様々なタイプの視覚フィードバック機構を含み得る。たとえば、ＡＲシステム２００および／またはＶＲシステム３００におけるディスプレイデバイスが、１つまたは複数の液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機ＬＥＤ（ＯＬＥＤ）ディスプレイ、および／または任意の他の好適なタイプのディスプレイスクリーンを含み得る。人工現実システムは、両眼のための単一のディスプレイスクリーンを含み得るか、または各眼のためのディスプレイスクリーンを提供し得、これは、可変焦点調整のためのまたはユーザの屈折誤差を補正するための追加のフレキシビリティを可能にし得る。いくつかの人工現実システムは、ユーザがディスプレイスクリーンを観察し得る１つまたは複数のレンズ（たとえば、従来の凹レンズまたは凸レンズ、フレネルレンズ、調整可能な液体レンズなど）を有する光学サブシステムをも含み得る。

ディスプレイスクリーンを使用することに加えて、またはディスプレイスクリーンを使用する代わりに、いくつかの人工現実システムは、１つまたは複数の投影システムを含み得る。たとえば、ＡＲシステム２００および／またはＶＲシステム３００におけるディスプレイデバイスは、周辺光が通過することを可能にするクリアなコンバイナレンズなど、ディスプレイデバイスに（たとえば、導波路を使用して）光を投影するマイクロＬＥＤプロジェクタを含み得る。ディスプレイデバイスは、ユーザの瞳孔のほうへ、投影された光を屈折させ得、ユーザが、人工現実コンテンツと現実世界の両方を同時に観察することを可能にし得る。人工現実システムはまた、任意の他の好適なタイプまたは形態の画像投影システムで構成され得る。

人工現実システムは、様々なタイプのコンピュータビジョン構成要素およびサブシステムをも含み得る。たとえば、ＡＲシステム１００、ＡＲシステム２００、および／またはＶＲシステム３００は、２次元（２Ｄ）または３次元（３Ｄ）カメラ、飛行時間深度センサ、単一ビームまたは掃引レーザー測距器、３Ｄ ＬｉＤＡＲセンサ、および／あるいは任意の他の好適なタイプまたは形態の光センサなど、１つまたは複数の光センサを含み得る。人工現実システムは、ユーザのロケーションを識別するために、現実世界をマッピングするために、現実世界の周囲についてのコンテキストをユーザに提供するために、および／または様々な他の機能を実施するために、これらのセンサのうちの１つまたは複数からのデータを処理し得る。

人工現実システムは、１つまたは複数の入力および／または出力オーディオトランスデューサをも含み得る。図１および図３に示されている例では、出力オーディオトランスデューサ１０８（Ａ）、１０８（Ｂ）、３０６（Ａ）、および３０６（Ｂ）は、ボイスコイルスピーカー、リボンスピーカー、静電スピーカー、圧電スピーカー、骨伝導トランスデューサ、軟骨伝導トランスデューサ、および／あるいは任意の他の好適なタイプまたは形態のオーディオトランスデューサを含み得る。同様に、入力オーディオトランスデューサ１１０は、コンデンサマイクロフォン、ダイナミックマイクロフォン、リボンマイクロフォン、および／あるいは任意の他のタイプまたは形態の入力トランスデューサを含み得る。いくつかの実施形態では、単一のトランスデューサが、オーディオ入力とオーディオ出力の両方のために使用され得る。

図１～図３には示されていないが、人工現実システムは、タクティル（ｔａｃｔｉｌｅ）（すなわち、触覚）フィードバックシステムを含み得、これは、ヘッドウェア、グローブ、ボディスーツ、ハンドヘルドコントローラ、環境デバイス（たとえば、椅子、床マットなど）、および／あるいは任意の他のタイプのデバイスまたはシステムに組み込まれ得る。触覚フィードバックシステムは、振動、力、牽引力、テクスチャ、および／または温度を含む、様々なタイプの皮膚フィードバックを提供し得る。触覚フィードバックシステムは、動きおよびコンプライアンスなど、様々なタイプの運動感覚フィードバックをも提供し得る。触覚フィードバックは、モーター、圧電アクチュエータ、流体システム、および／または様々な他のタイプのフィードバック機構を使用して実装され得る。触覚フィードバックシステムは、他の人工現実デバイスから独立して、他の人工現実デバイス内に、および／または他の人工現実デバイスとともに実装され得る。

触覚感覚、可聴コンテンツ、および／または視覚コンテンツを提供することによって、人工現実システムは、様々なコンテキストおよび環境において、仮想体験全体を作り出すか、またはユーザの現実世界の体験を拡張し得る。たとえば、人工現実システムは、特定の環境内でのユーザの知覚、記憶、またはコグニションを支援または拡大し得る。いくつかのシステムが、現実世界における他の人々とのユーザの対話を拡張し得るか、または仮想世界における他の人々とのより没入型の対話を可能にし得る。人工現実システムは、教育目的のために（たとえば、学校、病院、政府団体、軍事団体、ビジネス企業などにおける教示またはトレーニングのために）、娯楽目的（たとえば、ビデオゲームをプレイすること、音楽を傾聴すること、ビデオコンテンツを視聴することなどを行うために）、および／またはアクセシビリティ目的のために（たとえば、補聴器、視覚補助器などとして）も使用され得る。本明細書で開示される実施形態は、これらのコンテキストおよび環境のうちの１つまたは複数における、ならびに／または他のコンテキストおよび環境における、ユーザの人工現実体験を可能にするかまたは拡張し得る。

いくつかのＡＲシステムが、「同時ロケーションおよびマッピング」（ＳＬＡＭ：ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）と呼ばれる技法を使用してユーザの環境をマッピングし得る。ＳＬＡＭマッピングおよびロケーション識別技法は、環境のマップを作り出すかまたは更新しながら、同時に、マッピングされた環境内でのユーザのロケーションを追跡することができる、様々なハードウェアおよびソフトウェアツールを伴い得る。ＳＬＡＭは、マップを作り出し、マップ内のユーザの位置を決定するために、多くの異なるタイプのセンサを使用し得る。

ＳＬＡＭ技法は、たとえば、ユーザのロケーションを決定するための光センサを実装し得る。ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、全地球測位システム（ＧＰＳ）、セルラーまたは他の通信デバイスを含む無線機も、無線トランシーバまたはトランシーバのグループ（たとえば、ＷｉＦｉルータ、またはＧＰＳ衛星のグループ）に対するユーザのロケーションを決定するために使用され得る。マイクロフォンアレイあるいは２Ｄまたは３Ｄソナーセンサなど、音響センサも、環境内のユーザのロケーションを決定するために使用され得る。（それぞれ、図１および図２のシステム１００、２００、および３００などの）ＡＲおよびＶＲデバイスが、ユーザの現在の環境のマップを作り出すことおよび継続的に更新することなどのＳＬＡＭ動作を実施するために、これらのタイプのセンサのいずれかまたはすべてを組み込み得る。本明細書で説明される実施形態のうちの少なくともいくつかでは、これらのセンサによって生成されたＳＬＡＭデータは、「環境のデータ」と呼ばれることがあり、ユーザの現在の環境を指示し得る。このデータは、ローカルまたはリモートデータストア（たとえば、クラウドデータストア）に記憶され得、要求に応じてユーザのＡＲ／ＶＲデバイスに提供され得る。

ユーザが所与の環境においてＡＲヘッドセットまたはＶＲヘッドセットを装着しているとき、ユーザは、他のユーザと、またはオーディオソースとして働く他の電子デバイスと対話していることがある。いくつかの場合には、オーディオソースがユーザに対してどこに位置するかを決定し、次いで、オーディオソースを、オーディオソースがオーディオソースのロケーションから来ているかのようにユーザに提示することが望ましいことがある。オーディオソースがユーザに対してどこに位置するかを決定するプロセスは、本明細書では「位置特定（ｌｏｃａｌｉｚａｔｉｏｎ）」と呼ばれることがあり、オーディオソース信号のプレイバックを、オーディオソース信号が特定の方向から来ているかのようにレンダリングするプロセスは、本明細書では「空間化（ｓｐａｔｉａｌｉｚａｔｉｏｎ）」と呼ばれることがある。

オーディオソースの位置を特定することは、様々な異なるやり方で実施され得る。いくつかの場合には、ＡＲまたはＶＲヘッドセットは、音源のロケーションを決定するために到来方向（ＤＯＡ）分析を開始し得る。ＤＯＡ分析は、音が発生した方向を決定するために、ＡＲ／ＶＲデバイスにおいて、各音の強度、スペクトル、および／または到来時間を分析することを含み得る。いくつかの場合には、ＤＯＡ分析は、人工現実デバイスが位置する周囲音響環境を分析するための任意の好適なアルゴリズムを含み得る。

たとえば、ＤＯＡ分析は、マイクロフォンから入力信号を受信し、入力信号にデジタル信号処理アルゴリズムを適用して、到来方向を推定するように設計され得る。これらのアルゴリズムは、たとえば、入力信号がサンプリングされ、サンプリングされた信号の得られた重み付けおよび遅延されたバージョンが、到来方向を決定するために一緒に平均化される、遅延和アルゴリズムを含み得る。適応フィルタを作り出すために、最小２乗平均（ＬＭＳ：ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅｄ）アルゴリズムも実装され得る。この適応フィルタは、次いで、たとえば信号強度の差、または到来時間の差を識別するために使用され得る。これらの差は、次いで、到来方向を推定するために使用され得る。別の実施形態では、ＤＯＡは、入力信号を周波数領域にコンバートし、処理すべき時間周波数（ＴＦ）領域内の特定のビンを選択することによって決定され得る。各選択されたＴＦビンは、そのビンが、直接経路オーディオ信号をもつオーディオスペクトルの一部分を含むかどうかを決定するために、処理され得る。直接経路信号の一部分を有するビンは、次いで、マイクロフォンアレイが直接経路オーディオ信号を受信した角度を識別するために、分析され得る。決定された角度は、次いで、受信された入力信号についての到来方向を識別するために使用され得る。上記に記載されていない他のアルゴリズムも、ＤＯＡを決定するために、単独でまたは上記のアルゴリズムと組み合わせて使用され得る。

いくつかの実施形態では、異なるユーザが、音源を、わずかに異なるロケーションから来るものとして知覚し得る。これは、各ユーザが一意の頭部伝達関数（ＨＲＴＦ）を有することの結果であり得、ＨＲＴＦは、耳道の長さと鼓膜の配置とを含むユーザの解剖学的構造によって規定され得る。人工現実デバイスは、ユーザが、ユーザの一意のＨＲＴＦに基づいてユーザに提示される音信号をカスタマイズするために従い得る、整合および配向ガイドを提供し得る。いくつかの実施形態では、人工現実デバイスは、ユーザの環境内の音を傾聴するための１つまたは複数のマイクロフォンを実装し得る。ＡＲまたはＶＲヘッドセットは、音についての到来方向を推定するために様々な異なるアレイ伝達関数（たとえば、上記で識別されたＤＯＡアルゴリズムのいずれか）を使用し得る。到来方向が決定されると、人工現実デバイスは、ユーザの一意のＨＲＴＦに従ってユーザに音をプレイバックし得る。したがって、アレイ伝達関数（ＡＴＦ）を使用して生成されたＤＯＡ推定は、音がそこからプレイされるべきである方向を決定するために使用され得る。プレイバック音は、さらに、ＨＲＴＦに従ってその特定のユーザがどのように音を聞くかに基づいて、改良され得る。

ＤＯＡ推定を実施することに加えて、またはその代替として、人工現実デバイスは、他のタイプのセンサから受信された情報に基づいて位置特定を実施し得る。これらのセンサは、カメラ、ＩＲセンサ、熱センサ、動きセンサ、ＧＰＳ受信機、またはいくつかの場合には、ユーザの眼球運動を検出するセンサを含み得る。たとえば、上述のように、人工現実デバイスは、ユーザがどこを見ているかを決定する眼トラッカーまたは視線検出器を含み得る。しばしば、ユーザの眼は、ほんの一時的にでも音源を見ることになる。ユーザの眼によって提供されるそのような手がかりは、さらに、音源のロケーションを決定するのを補助し得る。カメラ、熱センサ、およびＩＲセンサなど、他のセンサも、ユーザのロケーション、電子デバイスのロケーション、または別の音源のロケーションを指示し得る。上記の方法のいずれかまたはすべてが、音源のロケーションを決定するために個々にまたは組み合わせて使用され得、さらに、時間とともに音源のロケーションを更新するために使用され得る。

いくつかの実施形態は、ユーザのためのよりカスタマイズされた出力オーディオ信号を生成するために、決定されたＤＯＡを実装し得る。たとえば、「音響伝達関数」が、音がどのように所与のロケーションから受信されたかを特徴づけるかまたは定義し得る。より詳細には、音響伝達関数は、音源ロケーションにおける音のパラメータと、音信号がそれによって検出されるパラメータ（たとえば、マイクロフォンアレイによって検出される、またはユーザの耳によって検出される）との間の関係を定義し得る。人工現実デバイスは、デバイスの範囲内の音を検出する１つまたは複数の音響センサを含み得る。人工現実デバイスのコントローラは、（たとえば、上記で識別された方法のいずれかを使用して）検出された音についてのＤＯＡを推定し得、検出された音のパラメータに基づいて、デバイスのロケーションに固有である音響伝達関数を生成し得る。したがって、このカスタマイズされた音響伝達関数は、音が特定のロケーションから来るものとして知覚される、空間化された出力オーディオ信号を生成するために使用され得る。

実際、１つまたは複数の音源のロケーションが知られると、人工現実デバイスは、音信号を、その音源の方向から来ているかのように聞こえるように再レンダリング（すなわち、空間化）し得る。人工現実デバイスは、音信号の強度、スペクトル、または到来時間を改変する、フィルタまたは他のデジタル信号処理を適用し得る。デジタル信号処理は、音信号が、決定されたロケーションから発生するものとして知覚されるようなやり方で、適用され得る。人工現実デバイスは、いくつかの周波数を増幅または抑制するか、あるいは、信号が各耳に到来する時間を変え得る。いくつかの場合には、人工現実デバイスは、デバイスのロケーションおよび音信号の検出された到来方向に固有である、音響伝達関数を作り出し得る。いくつかの実施形態では、人工現実デバイスは、ステレオデバイスまたはマルチスピーカーデバイス（たとえば、サラウンド音デバイス）においてソース信号を再レンダリングし得る。そのような場合、各スピーカーに、別個で異なるオーディオ信号が送られ得る。これらのオーディオ信号の各々が、ユーザのＨＲＴＦに従って、ならびにユーザのロケーションおよび音源のロケーションの測定に従って、それらのオーディオ信号が音源の決定されたロケーションから来ているかのように聞こえるように、改変され得る。したがって、このようにして、人工現実デバイス（またはそのデバイスに関連付けられたスピーカー）は、オーディオ信号を、特定のロケーションから発生しているかのように聞こえるように再レンダリングし得る。

図４は、本明細書で説明される実施形態の多くが動作し得る、コンピューティングアーキテクチャ４００を示す。コンピューティングアーキテクチャ４００はコンピュータシステム４０１を含み得る。コンピュータシステム４０１は、少なくとも１つのプロセッサ４０２と少なくとも何らかのシステムメモリ４０３とを含み得る。コンピュータシステム４０１は、クラウドコンピュータシステムを含む、任意のタイプのローカルまたは分散型コンピュータシステムであり得る。コンピュータシステム４０１は、様々な異なる機能を実施するためのプログラムモジュールを含み得る。プログラムモジュールは、ハードウェアベースまたはソフトウェアベースであり得るか、あるいはハードウェアとソフトウェアの組合せを含み得る。各プログラムモジュールは、以下で本明細書で説明されるものを含む、指定された機能を実施するためのコンピューティングハードウェアおよび／またはソフトウェアを使用するかまたは表し得る。

たとえば、通信モジュール４０４が、他のコンピュータシステムと通信するように構成され得る。通信モジュール４０４は、他のコンピュータシステムとの間でデータを受信および／または送信することができる任意のワイヤードまたはワイヤレス通信手段を含み得る。これらの通信手段は、たとえば、ハードウェアベースの受信機４０５、ハードウェアベースの送信機４０６、またはデータを受信することと送信することの両方が可能な組み合わせられたハードウェアベースのトランシーバを含む、無線機を含み得る。無線機は、ＷＩＦＩ無線機、セルラー無線機、Ｂｌｕｅｔｏｏｔｈ無線機、全地球測位システム（ＧＰＳ）無線機、または他のタイプの無線機であり得る。通信モジュール４０４は、データベース、（モバイルフォンまたはタブレットなどの）モバイルコンピューティングデバイス、埋込みシステム、または他のタイプのコンピューティングシステムと対話するように構成され得る。

図４のコンピュータシステムは、データアクセスモジュール４０７をさらに含み得る。データアクセスモジュール４０７は、たとえば、データストア４２０中の環境のデータ４０８にアクセスし得る。環境のデータ４２１は、ユーザ４１３の現在の環境４１６中に存在する音源を含む、その環境に関する情報を含み得る。たとえば、ユーザ４１３は、部屋または建築物の中にいることがある。環境データ４０８は、そのロケーション４２２についての情報を含み得る。情報は、部屋サイズ情報、フローリングのタイプ、壁装飾のタイプ、天井の高さ、窓の位置、または部屋内の音響効果に影響を及ぼし得る他の情報を含み得る。環境データ４０８は、椅子、ベンチ、テーブル、あるいはユーザが環境内でその周りを移動する必要があるであろう他の家具または他の物体のロケーションをも含み得る。そのような知識は、ユーザがユーザの現在の位置からどこに移動する可能性があるかを決定するとき、有用であり得る。この環境のデータは、環境の変更が行われるとき、または人々が環境４１６を出入りするとき、継続的に更新され得る。

環境データ４０８は、様々なやり方で取得され得る。たとえば、特定のロケーションをマッピングするために３Ｄマッピングデバイスが使用され得る。３Ｄマッピングデバイスは、モバイルシャーシに取り付けられた複数の異なるカメラおよびセンサを含み得る。この３Ｄマッピングデバイスは、モバイルシャーシ上で部屋のあちこちに持ち運ばれ得、部屋の多くの異なる特性を記録およびマッピングし得る。これらの部屋特性は、ユーザの現在の周囲のマップを作り出すためにこれらが実装されるユーザのＡＲヘッドセットに供給され得る。部屋特性も、データストア４２０に記憶され得る。３Ｄマッピングデバイスは、環境から周辺音をキャプチャするためのマイクロフォンをも含み得る。

追加または代替として、環境データ４０８は、ユーザの頭部に取り付けられた人工現実ヘッドセットを介して取得され得る。ＡＲヘッドセット（たとえば、それぞれ、図１、図２または図３の１００、２００または３００）は、ウェアラブルフレームがユーザの頭部に固定されたときにユーザのローカル環境をマッピングするマッピングサブシステムを含み得る。マッピングサブシステムは、ローカル環境に構造化光を投影するプロジェクタ、ローカル環境からの構造化光の反射をキャプチャする深度カメラのアレイ、ヘッドマウントディスプレイシステムのロケーションを決定する位置特定デバイス、および／またはローカル環境からの可視スペクトル光をキャプチャする写真カメラのアレイを含み得る。そのような実施形態では、深度カメラのアレイは、構造化光の反射をキャプチャして、各深度カメラと構造化光の反射との間の距離を検出し得る。加えて、これらの実施形態では、位置特定デバイスは、ローカル環境内のヘッドマウントディスプレイシステムの相対位置を決定するための画像データをキャプチャする位置特定カメラを含み得、ローカル環境内のヘッドマウントディスプレイシステムの移動を識別する位置特定センサをも含み得る。

またさらに、環境データ４０８は、機械知覚サブシステムを含むＡＲヘッドセットによって生成され得、機械知覚サブシステムは、ＡＲヘッドセットに結合され、ローカル環境を観測することによってローカル環境に関する情報を集める。ＡＲヘッドセットは、ユーザのローカル環境に関するコンテキスト情報を出力する非視覚的通信サブシステムを含み得る。機械知覚サブシステムは、ローカル環境内の音の方向性検出を可能にするＡＲヘッドセットに取り付けられた入力トランスデューサを有するオーディオ位置特定サブシステムを含み得る。オーディオ位置特定サブシステムは、ローカル環境における音が受信された方向を識別するために入力トランスデューサから受信された出力信号を比較するようにプログラムされたプロセッサを有し得る。非視覚的通信サブシステムは、ユーザにコンテキスト情報を通信する音波を生成するように構成された出力トランスデューサをも含み得る。

別の実施形態では、環境データ４０８は、限定はしないが、可視光カメラ、赤外線カメラ、熱カメラ、レーダーセンサ、または他の画像センサを含む、撮像デバイスによって提供され得る。撮像デバイスは、画像を撮り、画像データをハードウェアアクセラレータに送り得る。ハードウェアアクセラレータは、撮像デバイスから送られた撮像データのマルチスケール表現を生成し得る。次いで、画像ベース追跡サブシステムが、画像ベース追跡動作のセットのための入力データのセットを準備し、撮像データの生成されたマルチスケール表現と入力データの準備されたセットとを使用して画像ベース追跡動作のセットを実行するようにハードウェアアクセラレータユニットに指図し得る。このようにして、画像ベース追跡サブシステムは、ユーザが環境を通って移動するにつれてユーザのロケーションを追跡し得る。画像中で識別された環境の変化は、環境データ４０８を更新するためにも使用され得る。

環境データ４０８は、コンピュータシステム４０１のロケーション識別モジュール４０９に提供され得る。ロケーション識別モジュール４０９は、アクセスされた環境データに基づいて環境内の音源のロケーションを識別し得る。たとえば、環境４１６内に、多くの異なるユーザが存在し得る。各々は、ひとりで立っていることがあり、または誰かとしゃべっていることがある。環境が混雑しており、ユーザが誰かとしゃべっているかまたは誰かを傾聴することを希望している場合、その人を聞くことが困難であり得る。いくつかの場合には、その話しているユーザは、動き回っていることがあるかまたは自身の頭部の向きを変えていることがあり、したがって、聞くことが困難であり得る。いくつかの場合には、ロケーション識別モジュール４０９は、音源のロケーション（たとえば、話しているユーザの現在のロケーション４２２）を決定し得、環境データ４０８に基づいて、話しているユーザが環境４１６内でどこに移動する可能性があるかを決定し得る。決定されたロケーション４１０は、次いで、ビームステアリングモジュール４１１に提供され得る。

ビームステアリングモジュール４１１は、オーディオビーム４１７を環境内の音源の識別されたロケーション４１０のほうへ電子的におよび／または機械的にステアリングするように構成され得る。受信端に対するビームステアリングは、ユーザのＡＲヘッドセット４１５または電子デバイス４１４上のマイクロフォンまたは他の信号受信機が、所与の方向からのオーディオ信号に集中することを可能にし得る。この集中は、ビーム外の他の信号が無視されるかまたは強度を低減されることを可能にし、ビーム４１７内のオーディオ信号が増幅されることを可能にする。したがって、傾聴しているユーザ４１３は、話しているユーザが環境４１６内でどこに移動するかにかかわらず、話しているユーザをクリアに聞くことが可能であり得る。これらおよび他の実施形態は、図５の方法５００に関して、さらに図５～図８に関して、以下でより詳細に説明される。

図５は、予期されるロケーションに基づいて方向的にビームフォーミングするための例示的なコンピュータ実装方法５００の流れ図である。図５に示されているステップは、図５に示されている（１つまたは複数の）システムを含む、任意の好適なコンピュータ実行可能コードおよび／またはコンピューティングシステムによって実施され得る。一例では、図５に示されているステップの各々が、その構造が複数のサブステップを含みおよび／または複数のサブステップによって表される、アルゴリズムを表し得、その例が以下でより詳細に提供される。

図５に示されているように、ステップ５１０において、本明細書で説明されるシステムは、環境内のデバイスまたは音源の現在のロケーションを指示する環境データの様々な部分にアクセスし得る。デバイスは、ステアリング可能オーディオビームを生成するように構成された１つまたは複数のオーディオハードウェア構成要素を含み得る。たとえば、データアクセスモジュール４０７は、データストア４２０からの環境データ４０８にアクセスし得る。環境データ４０８は、所与の環境（たとえば、４１６）が屋外であるのか屋内であるのか、環境が囲まれているのか開放されているのか、環境のサイズ、環境内に障害物が存在するかどうかなどを含む、環境に関する情報を含み得る。他の環境データ４０８は、環境についての音響データ、スピーカー、テレビジョン、または他の電気デバイスなどの音源の数および／またはロケーション、環境内の人の数を指示するデータ、ならびに場合によってはこれらの人のロケーション４２２を含み得る。いくつかの実施形態では、環境内の人々は、フォン、タブレット、ラップトップ、スマートウォッチ、または他の電子デバイスなど、モバイルデバイス４１４を有し得る。

追加または代替として、人々は、（それぞれ、図１、図２または図３のヘッドセット１００、２００または３００と同様または同じであり得る）ＡＲまたはＶＲヘッドセット４１５を有し得る。これらのヘッドセットは、環境内のこれらのヘッドセットの位置を通信する無線機（たとえば、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、セルラー、または全地球測位システム（ＧＰＳ）無線機）を含み得る。各ＡＲヘッドセットについての（および対応して、各ユーザについての）このロケーション情報４２２のすべては、データストア４２０に記憶され得、人々が環境４１６内で移動するにつれて継続的に更新され得る。したがって、ロケーションデータ４２２は、環境４１６にいるユーザのいずれかまたはすべてについての現在および過去のロケーションを含み得る。

環境データ４０８は、ユーザがどこにいるかと、ユーザが誰と会話しているかと、それらのユーザが互いを聞くのをどのように最も良く支援すべきかとを決定するために、コンピュータシステム４０１によって使用され得る。コンピュータシステムは、オーディオビーム（たとえば、４１７）をステアリングするための最良の方向を決定するために、ロケーション情報、音響情報、および他の環境データを使用し得る。最適な方向にオーディオビームをステアリングすることによって、ユーザは、ユーザが会話している人を聞く最良の機会を有する。代替的に、ユーザが映画を視聴しているかまたは別の音源に注意を払っている場合、音源の方向にビームをステアリングすることは、ユーザ４１３がオーディオソースを聞くのを支援し得る。以下でさらに説明されるように、マイクロフォンを、話している人に電子的にまたは機械的に集中させることは、ユーザの音声を検出するマイクロフォン能力を大幅に増加させ得る。話している人（または音の別のソース）をまっすぐにポイントし、それによりユーザの言葉の可聴性を増加させるために、オーディオビーム４１７の集中を改良するために、追加の電子処理が実施され得る。

図５の方法５００は、次に、アクセスされた環境データに基づいて環境内の音源のロケーションを識別すること（ステップ５２０）を含む。本明細書の実施形態では、「音源」または「デバイス」は、ＡＲ／ＶＲヘッドセット４１５またはモバイルデバイス４１４（たとえば、スマートフォン、タブレット、ラップトップ、ウェアラブルデバイスなど）、あるいはその両方を指し得る。そのようなデバイスは、一般に、ユーザによって保持または装着され、したがって、デバイスの位置を決めることは、一般に、関連するユーザの位置をも決める。ロケーション識別モジュール４０９は、したがって、環境データ４０８を使用して、いくつかの音源（たとえば、ユーザまたはユーザデバイス）が現在どこに配置されているかを識別し、各ユーザが前にどのロケーションに行ったかを識別し、ユーザの対応するＡＲヘッドセット４１５またはデバイス４１４がどこにあったかに基づいて、ユーザが次にどのロケーションにおそらく移動するかを識別し得る。新しい将来のロケーション４１０は、ユーザが現在いる場所に近い（たとえば、わずか数インチ離れている）ことがあり、またはユーザが現在いる場所から遠く離れていることがある。将来のデバイス／ユーザロケーション４１０は、ユーザのデバイスが最適な方向におけるビームフォーミングを実施していることを保証するために、継続的に再算出され得る。

方法５００は、デバイスの１つまたは複数のオーディオビームを環境内の音源の識別されたロケーションにステアリングすること（ステップ５３０）をも含む。ビームステアリングモジュール４１１は、オーディオビーム４１７を、ユーザが今いるロケーションまたはユーザが移動すると予期されるロケーションにステアリングするために、算出された将来のデバイスまたは音源ロケーション４１０を使用し得る。ビームステアリングモジュール４１１は、マイクロフォンを直接制御し得るか、または、ビームステアリングを制御するためのビームステアリング制御信号４１２をデバイスに送信し得る。実際、本明細書の実施形態では、コンピュータシステム４０１がユーザのＡＲヘッドセット４１５の一部であり得るか、またはユーザのＡＲヘッドセット４１５に組み込まれ得ることを理解されよう。代替的に、コンピュータシステム４０１は、ユーザの電子デバイス４１４の一部であり得る。またさらに、コンピュータシステム４０１は、ＡＲヘッドセット４１５とユーザの電子デバイス４１４の両方に対してリモートであり得るが、これらのデバイスのいずれかまたは両方と通信していることがあり、本明細書で説明される算出を実施し得る。そのような場合、コンピュータシステム４０１は、ネットワークを通して到達可能なクラウドサーバまたは企業サーバであり得る。コンピュータシステム４０１のモジュールは、ＡＲヘッドセット４１５内に埋め込まれるか、ユーザのモバイルデバイス４１４内に埋め込まれ得るか、あるいはデバイス４１４および／または４１５と通信している別個のコンピューティングシステムの一部であり得る。

本明細書の実施形態のうちのいくつかでは、ユーザ４１３は、ＡＲヘッドセット（たとえば、４１５）を装着していることがある。ＶＲヘッドセットまたは複合現実（ＭＲ）ヘッドセットも使用され得るが、単純さのために、本明細書では主にＡＲヘッドセットが説明される。ユーザのＡＲヘッドセット４１５は、ユーザが環境４１６の中を見ることを可能にする透明レンズを含み得る。透明レンズはまた、ヘッドセットに組み込まれた小型プロジェクタがユーザの眼の中に画像を投影し、反射することができるように、レンズの内部部分で少なくとも部分反射性であり得る。これらの画像は、ユーザには、現実の物体に並んで見え得る。したがって、環境４１６は、ドア、壁、椅子、テーブルまたは人々など、任意の現実の物体とともに、ユーザ（および場合によっては他のユーザ）に可視のデジタル物体を含むように、増補され得る。部分反射性レンズに加えて、ＡＲヘッドセット４１５は、マイクロフォンおよび／あるいはスピーカーまたはイヤバッドを含み得る。スピーカーまたはイヤバッドは、ユーザ４１３が聞くためのオーディオ信号を再生する。マイクロフォンは、ＡＲヘッドセットが外部オーディオ信号を検出することを可能にする。これらの外部オーディオ信号のうちのいくつかは、ユーザにとって他の外部オーディオ信号よりも重要であり得、したがって、ユーザにとって重要であるそれらの外部音に集中するように、ビームフォーミングが実施され得る。

図６は、環境６００が複数の人々を含む一実施形態を示す。環境６００は屋内の部屋として示されているが、環境６００が実質的に任意のタイプの環境、すなわち屋内または屋外であり得ることを理解されよう。同様に、環境は３人の人々を示すが、実質的に任意の数の人々が所与の時間において環境６００にいることがあることを理解されよう。ユーザ６０１は、ユーザ６０２と会話していることがある。ユーザ６０４は、同様にユーザ６０２を傾聴していることがあるか、または何か他のものを傾聴していることがある。ユーザ６０１は、ビーム６０５Ａをユーザ６０２に集中させたＡＲヘッドセットを装着しているものとして示されている。ユーザ６０２が初期位置６０３Ａから新しい位置６０３Ｂに移動することを決めた場合、ユーザ６０１のＡＲヘッドセットは、ユーザ６０２が移動することになる１つまたは複数の可能性があるロケーションを識別するために、図６の環境データ６０８を実装し得る。

図４のロケーション識別モジュール４０９は、たとえば、環境６００内のユーザ６０２の過去のロケーションと、各ロケーションにおいて費やされた時間と、食卓、化粧室、ドア、椅子、または他のアイテムなど、部屋内のアイテムの知識とを考察し得る。各そのようなアイテムは、ユーザ６０２が、座るために、食品を手に入れるために、部屋から出るために、または別のユーザとしゃべるために、どこに行き得るかに関する手がかりを提供し得る。ユーザ６０２が新しいロケーション６０３Ｂに移動する可能性が最も高いと決定すると、ビームステアリングモジュール６１１は、ビーム６０５Ｂを新しいロケーション６０３Ｂのほうへステアリングし得る。次いで、ユーザ６０２がその位置に移動したとき、ビーム６０５Ｂは、その方向にすでにステアリングされている。

ロケーション識別モジュール６０９は、初期位置６０３Ａと新しい位置６０３Ｂとの間の複数の中間位置をも算出し得る。したがって、ユーザが位置間を移動するにつれて、ビームステアリングモジュール６１１は、これがユーザ６０２の位置を（常に）追跡しているように、ビーム６０５Ｂの方向を継続的に調整し得る。ユーザ６０２が予期されなかったロケーションに移動した場合、ロケーション識別モジュール６０９は、新しい可能性がある将来のロケーション６１０を決定し、その方向にビームをステアリングするために、環境データ６０８を再び調べ得る。

いくつかの実施形態では、各ＡＲデバイスは、それ自体のロケーションを記録し、いくつかの場合には、そのロケーションを、直接、または中間サーバを通してのいずれかで、他のＡＲデバイスに送信するように構成され得る。追加または代替として、環境６００内の各ＡＲデバイスは、（ユーザ６０２および６０４によって装着されるＡＲデバイスなどの）他のＡＲデバイスのロケーションを、ＡＲデバイスによってキャプチャされるセンサデータ（たとえば、ＳＬＡＭデータ）を使用して記録するように構成され得る。センサデータは、Ｂｌｕｅｔｏｏｔｈまたは他のワイヤレス信号、赤外線センサ、熱センサ、動きセンサ、ＧＰＳトラッカー、あるいは他のセンサデータを含み得る。センサデータおよびロケーションデータのいずれかまたはすべてはまた、ローカルまたはリモートサーバ（たとえば、クラウドサーバ）に受け渡され得る。このデータを使用して、サーバは、各ユーザのＡＲデバイスを使用して各ユーザのロケーションを連続的に監視し得る。サーバは、したがって、各ユーザが現在どこにいるかと、各ユーザが前にどこにいたかとに気づいていることがある。この履歴移動データ６２３は、ユーザの移動パターンを学習し、ユーザが次にどこに移動する可能性が最も高いかを決定するために、ロケーション識別モジュール６０９によって実装され得る。

いくつかの場合には、コンピュータシステム４０１のビームステアリングモジュール４１１は、複数の異なるビームを生成するように構成され得る。たとえば、図７に示されているように、ユーザ７０１は、位置Ａにおけるユーザ７０４に向けられた初期ビーム７０３Ａを形成するＡＲヘッドセット７０２を装着していることがある。ロケーション識別モジュール４０９は、将来のデバイス／音源ロケーション４１０を継続的に更新されながら決定するように構成され得るので、ビームステアリングモジュール４１１は、あるビームをあるロケーションにステアリングし、別のビームを別のロケーションにステアリングすることを始め得る。したがって、複数のオーディオビームが、移動しているユーザ７０４のほうへ形成され得る。したがって、図７では、ユーザ７０４は、位置Ａから位置Ｂに移動し、位置Ｃに移動し、次いで位置Ｄに移動し、ビームステアリングモジュール４１１は、位置Ａにおいてビーム７０３Ａを形成し、位置Ｂにおいてビーム７０３Ｂを形成し、位置Ｃにおいてビーム７０３Ｃを形成し、位置Ｄにおいてビーム７０３Ｄを形成し得る。いくつかの実施形態では、各ビームは別個に形成され得、他の実施形態では、いくつかのビームは同時に形成され得る。

たとえば、ビーム７０３Ａとビーム７０３Ｂとは、同時に形成され得る。次いで、ユーザ７０４があるロケーションに到達したとき、ビームステアリングモジュール４１１は、ビーム７０３Ａを形成することを停止し得、ビーム７０３Ｃを形成することを開始し得る。そのような例では、ビーム７０３Ｂとビーム７０３Ｃとは、同時に一緒にもたらされるであろう。ユーザ７０４が移動し続けるにつれて、ビーム７０３Ｄも同時にもたらされ得るか、あるいは、ビーム７０３Ｂおよび／またはビーム７０３Ｃが停止され得る。いくつかの場合には、同時に生成されるビームの数は、ユーザ７０４の速度、ＡＲヘッドセット７０２中で利用可能なバッテリー電力の量、環境における干渉または雑音の量、あるいは他のファクタを含む、様々なファクタに依存し得る。

図８は、図４のコンピュータシステム４０１が、直接経路信号よりも高い信号レベルにある残響信号がユーザのＡＲヘッドセットにおいて受信されたことを検出する、一実施形態を示す。たとえば、いくつかの環境では、壁、床または他の反射面は、音波を反射し得る。いくつかの場合には、これらの反射波は、直接経路オーディオ信号よりも減衰が少ない（したがって、直接経路オーディオ信号よりも強い）ことがある。図８の環境８００では、たとえば、ユーザ８０１は、２つの信号、または同じ信号の２つのバージョンを受信するＡＲヘッドセットを装着していることがある。バージョン８０２Ａは直接経路信号であり、バージョン８０２Ｂは、壁から反射した反射信号である。ユーザ８０１のＡＲヘッドセット（またはコンピュータシステム４０１）は、反射信号８０２Ｂが直接経路信号８０２Ａよりも強いと決定し得る。ビームステアリングモジュール４１１は、次いで、反射または残響信号８０２Ｂの経路に沿って進むようにオーディオビームをステアリングし得る。相対信号強度の決定は、到来方向（時間周波数）分析を使用して行われ得、これは、どの信号が最も強いかを識別する。次いで、この決定を使用して、ビームステアリングモジュール４１１は、ユーザ８０３のほうではなく反射信号８０２のほうへオーディオビーム４１７をステアリングし得る。

図８のユーザ８０３が後で新しい位置に移動する場合、ユーザ８０１のＡＲヘッドセットは、信号８０２Ａおよび８０２Ｂの信号強度が変化したと決定し得る。この変化に基づいて、ロケーション識別モジュール４０９は、ユーザ８０３のための新しい将来のロケーション４１０を識別し得、ユーザが新しいロケーションに移動するにつれて、ビームステアリングモジュール４１１にオーディオビームを直接経路信号８０２Ａに遷移させ得る。

いくつかの実施形態では、コンピュータシステム４０１のビームステアリングモジュール４１１は、指定されたビームフォーミングポリシーに従ってオーディオビーム４１７をステアリングするビームステアリング制御信号４１２を生成し得る。たとえば、ビームフォーミングポリシーは、オーディオビーム４１７が、ユーザ４１３が最後の１５分で話した人々にステアリングされるべきであることを指示し得る。代替的に、そのポリシーは、オーディオビーム４１７がユーザ４１３の友人または家族である人々にステアリングされるべきであることを指示し得る。いくつかの実施形態では、環境データ４０８またはユーザのＡＲヘッドセットは、ヘッドセットを装着しているユーザを識別し得る。コンピュータシステム４０１はまた、ソーシャルメディアアプリケーションまたはプラットフォーム上のユーザ４１３の連絡先リストまたは様々なソーシャルメディアアカウントへのアクセスを有し得る。このソーシャルメディア情報を使用して、ビームステアリングモジュール４１１は、特に、それらのソーシャルメディアプラットフォーム上のユーザ４１３と友人であるユーザをターゲットにし得る。他のポリシーは、家族、または（たとえば、試合における）同じチームのメンバー、または別のグループのメンバーが優先度を与えられ得ることを指示し得る。したがって、ビームステアリングモジュール４１１は、それらのユーザからの音信号を、他のユーザから受信された音信号を超えて増幅し得る。

いくつかの実施形態では、コンピュータシステム４０１は、オーディオビームを介して受信されるオーディオ信号を使用して再生されることになるオーディオ信号にアクセスするように構成され得る。たとえば、図４では、ユーザ４０１のＡＲヘッドセットは、ユーザ４０２から来る音（たとえば、音声）を検出し得る。ＡＲヘッドセットは、次いで、ユーザ４０２のＡＲヘッドセットのロケーションを識別し得、検出された音を、ユーザ４０２から来ているかのように空間的に再レンダリングするために、修正し得る。たとえば、所与のオーディオソースが選択された場合、ＡＲヘッドセットは、オーディオソースからのオーディオ信号を、オーディオソースのロケーションから来ているかのように空間的に聞こえるように再レンダリングし得る。この再レンダリングは、図１～図３に関して上記で説明されたように、カスタマイズされた頭部伝達関数およびＤＯＡ算出を実装し得る。したがって、話しているユーザが傾聴しているユーザの後ろで話している場合、傾聴しているユーザは、話しているユーザのオーディオを、話しているユーザが傾聴しているユーザの後ろに立っているかのように聞くであろう。これは、傾聴しているユーザが話者の実際のボイスを聞くことができないほど十分離れている場合でも当てはまるであろう。傾聴しているユーザのＡＲヘッドセットによって検出された、再生されたバージョンは、音源の方向から来ているかのように聞こえるように空間的にレンダリングされ得る。他の処理も、検出された音信号に適用され得る。たとえば、音声強調が、フィルタおよび他のデジタル信号処理アルゴリズムを使用して実施され得る。そのような音声強調処理は、少なくともいくつかの実施形態では、音声ボリュームの１２～１５ｄＢの増加を生じ得、加えて、明瞭性を上げるのを支援し得る。

本明細書で説明されるＡＲデバイスはまた、リモートソースからあらかじめ生成された環境データおよび／または履歴環境のデータ（たとえば図４の４２３）を受信し、将来のデバイスロケーションを識別するために、受信された環境データまたは履歴環境のデータを実装するように構成され得る。たとえば、ＡＲデバイスが、それ自体のロケーションを決定するための無線機またはセンサを欠く場合でも、ＡＲデバイスは、あらかじめ生成された環境データおよび／または履歴環境のデータを受信し得、そのデータを使用して、どこにビームフォーミングすべきかを識別し得る。たとえば、図９に示されているように、ユーザ９０１は、クラウドサーバ９０４から環境データ９０２を受信するＡＲデバイスを使用していることがある。ユーザのＡＲヘッドセットは、環境９００内のルータ９０３との通信を容易にするＷｉＦｉまたはＢｌｕｅｔｏｏｔｈ無線機を含み得る。ルータ９０４は、次いで、インターネット９０５への、および詳細にはクラウドサーバ９０４へのアクセスを提供する。クラウドサーバは、任意の環境に関係する環境データを生成および記憶し得、直接、あるいはルータおよび／またはファイアウォールを通してのいずれかで、ＡＲデバイスに送信し得る。したがって、ＡＲデバイスがそれ自体の無線機およびセンサを使用して環境データを生成する能力を欠く場合でも、ＡＲデバイスは、他のソースからそのようなデータを受信し、そのデータを、どこにビームフォーミングすべきかを決定するときに使用し得る。

図６～図９に示されているように、各環境は可変数のユーザを含み得る。また、その環境内で、ユーザのうちの１人または複数は、ＡＲヘッドセットまたはモバイルデバイスを有することも有しないこともある。本明細書の実施形態は、ＡＲあるいはＶＲヘッドセットから、モバイルデバイスから、建築物または屋外ベニューの知識あるいは他のソースから入手可能なすべての情報をとり、その情報を使用して、ユーザがどこに移動する可能性があるかを決定するように設計される。ユーザのデバイスは、ユーザの移動パターンに関する、ユーザの環境に関する、または他のユーザに関する新しい情報を継続的に提供していることがある。図９のクラウドサーバ９０４は、現在のおよび／または将来の音源またはデバイスロケーションを計算するとき、これのすべてのいずれをも使用し得る。同様に、任意のＡＲヘッドセットまたはモバイルデバイスが、それ自体のデータを収集し、そのデータを環境における他のものと共有することが可能であり得る。したがって、所与の環境におけるデバイスの一部または全部は、ユーザの最も可能性がある移動を決定するために使用され得る環境およびロケーションの知識のデータベースを作り出すために、互いと、およびバックエンドサーバと通信し得る。これらの決定された移動は、次いで、予期する様式でビームフォーミングするために使用され、それにより、最大レベルの信号品質および明瞭性を、傾聴しているユーザに提供し得る。

いくつかの場合には、クラウドサーバ９０４は、ターゲットデバイスの遅延および制約を考慮するように環境情報９０２を増補し得る。たとえば、サーバ９０４は、部屋からのものであると考えられる音についての残響を追加し得、その残響をユーザのＡＲヘッドセットにプッシュし得る。圧縮、音声強調、空間再レンダリングを含む他の信号処理、または他のタイプの信号処理も、サーバによって実施され得る。たとえば、サーバ９０４は、修正されたドライオーディオ信号が、修正されたドライオーディオ信号が環境において発生したかのように聞こえるように、ドライオーディオ信号を１つまたは複数の効果と合成し得る。たとえば、ユーザが話していることがあり、ユーザのボイスは、傾聴しているユーザの現在の環境の特性を欠くドライオーディオ信号を生じる様式で記録され得る。いくつかの場合には、サーバ９０４は、記録されたボイス信号を処理して、そのボイス信号を、そのボイス信号が傾聴しているユーザの環境において記録されたかのように聞こえるようにする効果を追加し得る。したがって、話しているユーザが、異なる環境において遠く離れたところから話している場合でも、オーディオ処理は、傾聴しているユーザの環境において記録されたかのように聞こえる音信号を生成し得る。

いくつかの実施形態では、サーバ９０４は、所与のユーザが、耳が不自由であるか、または、背景雑音が極めて大きいコンサート会場にいることに気づいていることがある。したがって、サーバ９０４は、ユーザのＡＲヘッドセットと通信し、これは、信号レベルを指定された最小レベルに上げるためにビームフォーミングが必要とされることを指示し得る。その指示が受信されると、ＡＲデバイスは、信号レベルを指定された最小レベルに上げるためにステアリング制御信号を生成し得る。他の指示は、背景雑音が低いとき、またはユーザが自宅の自身のベッドルームにいるときなど、ビームフォーミングが必要とされないことがあることをも指示し得る。したがって、ビームフォーミングは、ユーザのロケーションに基づくか、あるいは、ユーザ選好または周辺雑音レベルなどの他の状況に従い得る。

またさらに、いくつかの実施形態では、環境データ（たとえば、４０８）は、指定された方向において選択的アクティブ雑音消去を実施するために使用され得る。たとえば、ユーザが、ある話しているユーザを聞くことを希望し、別の話しているユーザを聞くことを希望しなかった場合、ＡＲヘッドセットは、不要な話しているユーザの方向においてアクティブ雑音消去を適用し得、所望の話しているユーザの方向にビームフォーミングし得る。そのような方向付けされたアクティブ雑音キャンセリングを実施するために他の環境データが使用され得る。たとえば、ユーザが集会の場におり、背景音楽がラウドスピーカーを通してプレイしている場合、ＡＲデバイスは、アクティブ雑音消去をラウドスピーカーの方向に選択的に向け、ユーザが会話している人または人々の方向にビームフォーミングし得る。環境データ４０８は、そのようなラウドスピーカー、あるいは空調装置、クラクションを鳴らしている車または他の求められていない音源のロケーションを指示し得る。ＡＲヘッドセットは、指定された方向からの音を選択的に除去するように、または指定された方向からの音を選択的に許容するように、プログラムされ得る。ＡＲヘッドセットは、したがって、所与の音信号を検出し、その信号がアクティブ雑音消去を通して除去され得るようにその信号のためのフィルタを作り出すようにプログラムされ得る。

さらに、予期されるロケーションに基づいて方向的にビームフォーミングするための対応するシステムが、環境内の音源を指示する環境データにアクセスするように構成されたデータアクセスモジュールを含む、メモリに記憶されたいくつかのモジュールを含み得る。デバイスは、ステアリング可能オーディオビームを生成するように構成されたオーディオハードウェア構成要素を含み得る。システムは、アクセスされた環境データに基づいて環境内の音源のロケーションを識別するように構成されたロケーション識別モジュールをさらに含み得る。システムは、デバイスのオーディオビームを環境内の音源の識別されたロケーションにステアリングするように構成されたビームステアリングモジュールをも含み得る。

いくつかの例では、上記で説明された方法は、コンピュータ可読媒体上のコンピュータ可読命令として符号化され得る。たとえば、コンピュータ可読媒体は、コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、コンピューティングデバイスに、環境内の音源を指示する環境データにアクセスすることと、アクセスされた環境データに基づいて環境内の音源のロケーションを識別することと、デバイスのオーディオビームを環境内の音源の識別されたロケーションにステアリングすることとを行わせ得る１つまたは複数のコンピュータ実行可能命令を含み得る。

したがって、本明細書で説明される実施形態は、ＡＲヘッドセットが、音源が環境内のどこにあるかを決定し、音源の方向にビームフォーミングすることを可能にする、環境データを提供する。これは、ＡＲヘッドセットユーザが、自分自身動き回り、異なるユーザを傾聴し、異なるユーザに注意を払い、その間ずっと、自身のヘッドセットで各ユーザをクリアに聞くことを可能にする。本明細書の実施形態は、したがって、ＡＲヘッドセットを用いたユーザの体験を改善し、ヘッドセットを、より毎日装着しやすいものにし得る。

上記で詳述されたように、本明細書で説明および／または示されるコンピューティングデバイスおよびシステムは、本明細書で説明されるモジュール内に含まれているものなど、コンピュータ可読命令を実行することが可能な任意のタイプまたは形態のコンピューティングデバイスまたはシステムを広く表す。それらの最も基本的な構成では、（１つまたは複数の）これらのコンピューティングデバイスは、各々、少なくとも１つのメモリデバイスと少なくとも１つの物理プロセッサとを含み得る。

いくつかの例では、「メモリデバイス」という用語は、概して、データおよび／またはコンピュータ可読命令を記憶することが可能な、任意のタイプまたは形態の揮発性または不揮発性記憶デバイスまたは媒体を指す。一例では、メモリデバイスは、本明細書で説明されるモジュールのうちの１つまたは複数を記憶、ロード、および／または維持し得る。メモリデバイスの例は、限定はしないが、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、光ディスクドライブ、キャッシュ、上記のうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な記憶メモリを含む。

いくつかの例では、「物理プロセッサ」という用語は、概して、コンピュータ可読命令を解釈および／または実行することが可能な任意のタイプまたは形態のハードウェア実装処理ユニットを指す。一例では、物理プロセッサは、上記で説明されたメモリデバイスに記憶された１つまたは複数のモジュールにアクセスし、および／またはそれらのモジュールを修正し得る。物理プロセッサの例は、限定はしないが、マイクロプロセッサ、マイクロコントローラ、中央処理ユニット（ＣＰＵ）、ソフトコアプロセッサを実装するフィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、上記のうちの１つまたは複数の部分、上記のうちの１つまたは複数の変形形態または組合せ、あるいは任意の他の好適な物理プロセッサを含む。

別個の要素として示されているが、本明細書で説明および／または示されるモジュールは、単一のモジュールまたはアプリケーションの部分を表し得る。さらに、いくつかの実施形態では、これらのモジュールのうちの１つまたは複数は、コンピューティングデバイスによって実行されたとき、コンピューティングデバイスに１つまたは複数のタスクを実施させ得る、１つまたは複数のソフトウェアアプリケーションまたはプログラムを表し得る。たとえば、本明細書で説明および／または示されるモジュールのうちの１つまたは複数は、本明細書で説明および／または示されるコンピューティングデバイスまたはシステムのうちの１つまたは複数上で稼働するように記憶および構成されたモジュールを表し得る。これらのモジュールのうちの１つまたは複数は、１つまたは複数のタスクを実施するように構成された１つまたは複数の専用コンピュータのすべてまたは部分をも表し得る。

さらに、本明細書で説明されるモジュールのうちの１つまたは複数は、データ、物理デバイス、および／または物理デバイスの表現をある形態から別の形態に変換し得る。たとえば、本明細書で具陳されるモジュールのうちの１つまたは複数は、変換されるべきデータを受信し、データを変換し、機能を実施するために変換の結果を出力し、機能を実施するために変換の結果を使用し、機能を実施するために変換の結果を記憶し得る。追加または代替として、本明細書で具陳されるモジュールのうちの１つまたは複数は、コンピューティングデバイス上で実行すること、コンピューティングデバイスにデータを記憶すること、および／または場合によっては、コンピューティングデバイスと対話することによって、物理コンピューティングデバイスのプロセッサ、揮発性メモリ、不揮発性メモリ、および／または任意の他の部分をある形態から別の形態に変換し得る。

いくつかの実施形態では、「コンピュータ可読媒体」という用語は、概して、コンピュータ可読命令を記憶または搬送することが可能な任意の形態のデバイス、キャリア、または媒体を指す。コンピュータ可読媒体の例は、限定はしないが、搬送波など、送信タイプ媒体、磁気記憶媒体など、非一時的タイプの媒体（たとえば、ハードディスクドライブ、テープドライブ、およびフロッピーディスク）、光記憶媒体（たとえば、コンパクトディスク（ＣＤ）、デジタルビデオディスク（ＤＶＤ）、およびＢＬＵ－ＲＡＹディスク）、電子記憶媒体（たとえば、ソリッドステートドライブおよびフラッシュメディア）、および他の配信システムを含む。

本開示の実施形態は、人工現実システムを含むか、または人工現実システムとともに実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの実施形態では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本明細書で説明および／または示されるステップのプロセスパラメータおよびシーケンスは、単に例として与えられ、必要に応じて変動させられ得る。たとえば、本明細書で示されるおよび／または説明されるステップは特定の順序で示されるかまたは説明され得るが、これらのステップは、必ずしも、示されるかまたは説明される順序で実施される必要がない。本明細書で説明および／または示される様々な例示的な方法はまた、本明細書で説明されるかまたは示されるステップのうちの１つまたは複数を省略するか、あるいは、開示されるものに加えて追加のステップを含み得る。

先行する説明は、他の当業者が、本明細書で開示される例示的な実施形態の様々な態様を最も良く利用することを可能にするために提供された。この例示的な説明は、網羅的であること、または開示される正確な形態に限定することは意図されない。多くの修正および変形が、本開示の趣旨および範囲から逸脱することなく可能である。本明細書で開示される実施形態は、あらゆる点で、限定的ではなく例示的であると見なされるものとする。本開示の範囲を決定する際に、添付の特許請求の範囲およびそれらの均等物の参照が行われるべきである。

別段に記載されていない限り、本明細書および特許請求の範囲において使用される「に接続された（ｃｏｎｎｅｃｔｅｄ ｔｏ）」および「に結合された（ｃｏｕｐｌｅｄ ｔｏ）」という用語（およびそれらの派生語）は、直接接続と間接接続（すなわち、他の要素または構成要素を介したもの）の両方を許容するものとして解釈されるべきである。さらに、本明細書および特許請求の範囲において使用される「１つの（ａ）」または「１つの（ａｎ）」という用語は、「少なくとも１つの」を意味するものとして解釈されるべきである。最後に、使いやすさのために、本明細書および特許請求の範囲において使用される「含む（ｉｎｃｌｕｄｉｎｇ）」および「有する（ｈａｖｉｎｇ）」という用語（およびそれらの派生語）は、「備える、含む（ｃｏｍｐｒｉｓｉｎｇ）」という単語と交換可能であり、その単語と同じ意味を有する。

Claims (20)

1. デバイスにおいて、環境内の少なくとも１つの音源の指示を含む環境データの１つまたは複数の部分にアクセスすることであって、前記デバイスが、ステアリング可能オーディオビームを生成するように構成された１つまたは複数のオーディオハードウェア構成要素を含む、環境データの１つまたは複数の部分にアクセスすることと、
   アクセスされた前記環境データに基づいて前記環境内の前記音源のロケーションを識別することと、
   前記デバイスの前記１つまたは複数のオーディオビームを前記環境内の前記音源の識別された前記ロケーションにステアリングすることと
   を含む、コンピュータ実装方法。
2. 前記デバイスが人工現実（ＡＲ）デバイスを含む、請求項１に記載のコンピュータ実装方法。
3. 前記環境データが、前記ＡＲデバイスによって取得された同時ロケーションおよびマッピング（ＳＬＡＭ）センサデータを含む、請求項２に記載のコンピュータ実装方法。
4. 前記環境が複数のＡＲデバイスを含み、各ＡＲデバイスがそれ自体のロケーションを記録する、請求項２に記載のコンピュータ実装方法。
5. 前記環境が複数のＡＲデバイスを含み、各ＡＲデバイスが、他のＡＲデバイスのロケーションを、前記ＡＲデバイスによってキャプチャされたセンサデータを使用して記録する、請求項２に記載のコンピュータ実装方法。
6. 履歴デバイス移動データの１つまたは複数の部分は、前記音源が移動する可能性がある将来の音源ロケーションを識別するために実装される、請求項１に記載のコンピュータ実装方法。
7. 将来の音源ロケーションが、継続的に更新されながら決定され、したがって、前記デバイスの前記１つまたは複数のオーディオビームが、更新された前記将来の音源ロケーションに継続的にステアリングされる、請求項１に記載のコンピュータ実装方法。
8. 直接経路信号よりも高い信号レベルで前記デバイスにおいて残響信号が受信されたことを検出することと、
   前記残響信号が進む少なくとも１つの潜在的経路を識別することと、
   前記残響信号が進む識別された経路に沿って進むように前記１つまたは複数のオーディオビームをステアリングすることと
   をさらに含む、請求項１に記載のコンピュータ実装方法。
9. 前記デバイスが現在のデバイスロケーションと将来のデバイスロケーションとの間で移動するにつれて、オーディオビームステアリングを直接経路に遷移することをさらに含む、請求項８に記載のコンピュータ実装方法。
10. 前記デバイスが、スマートフォン、タブレット、ラップトップまたはウェアラブルデバイスのうちの少なくとも１つを含む、請求項１に記載のコンピュータ実装方法。
11. 少なくとも１つの物理プロセッサと、
    物理メモリとを備えるデバイスであって、前記物理メモリは、前記物理プロセッサによって実行されたとき、前記物理プロセッサに、
    前記デバイスにおいて、環境内の少なくとも１つの音源の指示を含む環境データの１つまたは複数の部分にアクセスすることであって、前記デバイスが、ステアリング可能オーディオビームを生成するように構成された１つまたは複数のオーディオハードウェア構成要素を含む、環境データの１つまたは複数の部分にアクセスすることと、
    アクセスされた前記環境データに基づいて前記環境内の前記音源のロケーションを識別することと、
    前記デバイスの前記１つまたは複数のオーディオビームを前記環境内の前記音源の識別された前記ロケーションにステアリングすることと
    を行わせるコンピュータ実行可能命令を備える、デバイス。
12. 前記１つまたは複数のオーディオビームを介して受信されるオーディオ信号を使用して再生されることになるオーディオ信号にアクセスすることと、
    第２のデバイスのロケーションを識別することと、
    アクセスされた前記オーディオ信号を、前記第２のデバイスから来ているかのように聞こえるように前記オーディオ信号を空間的に再レンダリングするために、修正することと
    をさらに含む、請求項１１に記載のデバイス。
13. 前記デバイスが、リモートソースからあらかじめ生成された環境データまたは履歴環境のデータを受信し、将来の音源ロケーションを識別するために、受信された前記環境データまたは履歴環境のデータを実装する、請求項１１に記載のデバイス。
14. 前記環境における１つまたは複数の他のデバイスが、環境データの１つまたは複数の部分をサーバにあるいは別のローカルまたはリモートデバイスに提供する、請求項１１に記載のデバイス。
15. 前記サーバが、ターゲットデバイスの遅延および制約を考慮するように環境情報を増補する、請求項１４に記載のデバイス。
16. 信号レベルを指定された最小レベルに上げるためにビームフォーミングが必要とされると決定すると、ステアリング制御信号が生成される、請求項１１に記載のデバイス。
17. 指定された方向において選択的アクティブ雑音消去を実施するために、環境データのアクセスされた部分を使用することをさらに含む、請求項１１に記載のデバイス。
18. 指定された方向からの音を選択的に除去するように、または指定された方向からの音を選択的に許容するように、１つまたは複数のアクティブ雑音消去パラメータを調整することをさらに含む、請求項１７に記載のデバイス。
19. 修正されたドライオーディオ信号が、前記修正されたドライオーディオ信号が前記環境において発生したかのように聞こえるように、ドライオーディオ信号を１つまたは複数の効果と合成することをさらに含む、請求項１１に記載のデバイス。
20. コンピューティングデバイスの少なくとも１つのプロセッサによって実行されたとき、前記コンピューティングデバイスに、
    環境内の少なくとも１つの音源の指示を含む環境データの１つまたは複数の部分にアクセスすることであって、前記コンピューティングデバイスが、ステアリング可能オーディオビームを生成するように構成された１つまたは複数のオーディオハードウェア構成要素を含む、環境データの１つまたは複数の部分にアクセスすることと、
    アクセスされた前記環境データに基づいて前記環境内の前記音源のロケーションを識別することと、
    前記デバイスの前記１つまたは複数のオーディオビームを前記環境内の前記音源の識別された前記ロケーションにステアリングするステアリング制御信号を生成することと
    を行わせる１つまたは複数のコンピュータ実行可能命令を備える、非一時的コンピュータ可読媒体。
    

Images