JP2022534833A - 個人化されたオーディオ拡張のためのオーディオプロファイル - Google Patents

Abstract

システムが、オーディオプロファイルを作成する。オーディオプロファイルは、データベースに記憶され得る。たとえば、オーディオプロファイルは、ソーシャルネットワークのデータベースにセキュアに記憶され、ユーザアカウントに関連付けられ得る。オーディオプロファイルは、特定のユーザが音を聞き、解釈するやり方を表すデータを含んでいることがある。ユーザに音を提示するシステムおよびアプリケーションが、ユーザのためのオーディオ体験を拡張するために、オーディオプロファイルにアクセスし、オーディオプロファイル中のデータに基づいてユーザに提示される音を修正し得る。【選択図】図３

Description

関連出願の相互参照
本出願は、２０１９年６月５日に出願された米国出願第６２／８５７，４１０号および２０１９年９月６日に出願された米国出願第１６／５６２，８７９号の優先権を主張する。米国出願第６２／８５７，４１０号および米国出願第１６／５６２，８７９号は、すべての目的のためにその全体が参照により本明細書に組み込まれる。

本開示は、一般に、オーディオシステムに関し、詳細には、カスタマイズされたオーディオコンテンツを提供することに関する。

人によって、音は異なって聞こえる。人工現実システムにおけるオーディオシステムなど、オーディオシステムのユーザについて、オーディオシステムによって提示される音は、異なるユーザによって異なって聞こえ得る。たとえば、何人かのユーザは、聴覚過敏（過度に敏感）、老人性難聴（いくつかの周波数に対して鈍感）、またはそれらのユーザが音をどのように知覚するかに影響を及ぼす何らかの他の状態を有し得る。したがって、異なるユーザの間の聴覚差が、提示されたオーディオコンテンツのそれらのユーザの知覚に影響を及ぼすことがある。

ウェアラブルデバイスが、ユーザのためのオーディオ評価を実施する。オーディオ評価の結果に基づいて、ウェアラブルデバイスは、オーディオプロファイルを作成する。オーディオプロファイルは、データベースに記憶され得る。たとえば、オーディオプロファイルは、ソーシャルネットワークのデータベースに記憶され、ユーザアカウントに関連付けられ得る。オーディオプロファイルは、特定のユーザが音を聞き、解釈するやり方を表すデータを含んでいることがある。たとえば、多くのユーザは、極めて残響のある環境における音声を理解することが困難である。ユーザに音を提示するシステムおよびアプリケーションが、ユーザのためのオーディオ体験を拡張する（ｅｎｈａｎｃｅ）ために、オーディオプロファイルにアクセスし、オーディオプロファイル中のデータに基づいてユーザに提示される音を修正し得る。

いくつかの実施形態では、システム、方法、およびコンピュータプログラム製品が、ウェアラブルデバイス上のオーディオシステムによって、ユーザのためのオーディオ評価データを収集することを含む動作を実施し得る。オーディオ評価データは、アクティブおよび／またはパッシブオーディオ評価ルーチンを使用して収集され得る。オーディオシステムは、オーディオ評価データとユーザを表す身体的データとに基づいて、オーディオプロファイルを作成する。オーディオシステムは、ウェアラブルデバイス上にローカルにオーディオプロファイルを記憶するか、またはオーディオファイルをソーシャルネットワークなどの外部システムに送信し得る。オーディオシステムは、オーディオプロファイルに部分的に基づいて、ユーザにオーディオコンテンツを提示する。

本発明によれば、ウェアラブルデバイスによって、ユーザのオーディオ評価データを収集することと、オーディオ評価データとユーザを表す身体的データとに基づいて、オーディオプロファイルを更新することと、オーディオプロファイルに部分的に基づいて、ユーザにオーディオコンテンツを提示することとを含む方法が提供される。

任意選択的に、本方法は、オーディオプロファイルをソーシャルネットワークに送信することをさらに含み、ソーシャルネットワークは、オーディオプロファイルをユーザプロファイルに関連付ける。任意選択的に、ソーシャルネットワークは、オーディオプロファイルを拡張（ｅｎｈａｎｃｅｍｅｎｔ）方式に関連付ける。

任意選択的に、本方法は、ウェアラブルデバイスによって、オーディオプロファイルを作成することをさらに含む。任意選択的に、本方法は、外部システムからオーディオコンテンツを受信することと、オーディオプロファイルに基づいてオーディオコンテンツを修正することとをさらに含む。

任意選択的に、オーディオ評価データを収集することは、ユーザに音を提示することと、ユーザによる音に対する応答を検出することとを含む。任意選択的に、オーディオ評価データを収集することは、ローカルエリアにおける音ソースのロケーションを決定することと、ユーザによる音ソースに対する応答を検出することとを含む。任意選択的に、オーディオ評価データを収集することは、ユーザの聴覚の特性を表すパラメータを決定するためにオーディオ評価ルーティングを行うことを含む。任意選択的に、パラメータは、スケーリングファクタまたは残響の最大レベルのうちの少なくとも１つを含む。

任意選択的に、身体的データは、ユーザの耳形状を表す。

任意選択的に、本方法は、ソーシャルネットワークからオーディオプロファイルを取り出すことをさらに含む。

任意選択的に、オーディオプロファイルは、セキュリティ設定を含み、セキュリティ設定は、サードパーティがオーディオプロファイルにアクセスすることを許可されるかどうかを示す。

本発明によれば、非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、非一時的コンピュータ可読記憶媒体が、ウェアラブルデバイスによって、ユーザのオーディオ評価データを収集することと、オーディオ評価データとユーザを表す身体的データとに基づいて、オーディオプロファイルを更新することと、オーディオプロファイルに部分的に基づいて、ユーザにオーディオコンテンツを提示することとを行うためのコンピュータプログラムコードを含んでいる、コンピュータプログラム製品がさらに提供される。

任意選択的に、本コンピュータプログラム製品は、オーディオプロファイルをソーシャルネットワークに送信するためのコンピュータプログラムコードをさらに備え、ソーシャルネットワークは、オーディオプロファイルをユーザプロファイルに関連付ける。

本発明によれば、非一時的コンピュータ可読記憶媒体を備えるウェアラブルデバイスであって、非一時的コンピュータ可読記憶媒体が、ウェアラブルデバイスによって、ユーザのオーディオ評価データを収集することと、オーディオ評価データとユーザを表す身体的データとに基づいて、オーディオプロファイルを更新することと、オーディオプロファイルに部分的に基づいて、ユーザにオーディオコンテンツを提示することとを行うためのコンピュータプログラムコードを含んでいる、ウェアラブルデバイスがさらに提供される。

任意選択的に、本ウェアラブルデバイスは、オーディオプロファイルをソーシャルネットワークに送信するためのコンピュータプログラムコードをさらに備え、ソーシャルネットワークは、オーディオプロファイルをユーザプロファイルに関連付けた。任意選択的に、ソーシャルネットワークは、オーディオプロファイルを拡張方式に関連付けた。

任意選択的に、本ウェアラブルデバイスは、外部システムからオーディオコンテンツを受信することと、オーディオプロファイルに基づいてオーディオコンテンツを修正することとを行うためのコンピュータプログラムコードをさらに備える。

１つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセットの斜視図である。 １つまたは複数の実施形態による、ヘッドマウントディスプレイとして実装されるヘッドセットの斜視図である。 １つまたは複数の実施形態による、オーディオシステムのブロック図である。 １つまたは複数の実施形態による、個人化されたオーディオ拡張を提供するためのプロセスのフローチャートである。 １つまたは複数の実施形態による、ヘッドセットを含むシステムの図である。

図は、単に例示の目的で様々な実施形態を示す。本明細書で説明される原理から逸脱することなく、本明細書で示される構造および方法の代替実施形態が採用され得ることを、当業者は以下の説明から容易に認識されよう。

システムが、ユーザのオーディオ体験を拡張するために、個人化されたオーディオコンテンツをユーザに提供する。ヘッドセットまたはスマートウォッチなど、ウェアラブルデバイスが、ユーザのためのオーディオ評価を行い得る。たとえば、ウェアラブルデバイスは、ユーザに、オーディオゲーム、聴覚学スクリーン（ａｕｄｉｏｌｏｇｙ ｓｃｒｅｅｎ）、リスニングテスト、瞬時環境評価、および体験後調査（ｐｏｓｔ ｅｘｐｅｒｉｅｎｃｅ ｓｕｒｖｅｙ）を提示し得る。ウェアラブルデバイスは、音に応答した眼の視線の方向、ユーザが音に反応したかどうか、ユーザがオーディオコンテンツ中の音声を理解したかどうかなど、オーディオコンテンツに応答したユーザの挙動を監視し得る。システムは、オーディオプロファイルを作成し得る。オーディオプロファイルは、データベースに記憶され得る。たとえば、オーディオプロファイルは、ソーシャルネットワークのデータベースに記憶され、ユーザアカウントに関連付けられ得る。オーディオプロファイルは、特定のユーザが音を聞き、解釈するやり方を表すデータを含んでいることがある。ユーザに音を提示するシステムおよびアプリケーションが、ユーザのためのオーディオ体験を拡張するために、オーディオプロファイルにアクセスし、オーディオプロファイル中のデータに基づいてユーザに提示される音を修正し得る。たとえば、ユーザが１０ｋＨｚ～１５ｋＨｚの間の周波数に対する聴覚過敏を有する場合、その周波数帯域における音の振幅がユーザのために減少され得る。

旧来の聴覚学的スクリーニング（ａｕｄｉｏｌｏｇｉｃａｌ ｓｃｒｅｅｎｉｎｇ）が、純粋なトーン可聴性しきい値の理解を与えることができるが、そのような評価は、絶対的静寂において行われ、必ずしも、聴取者が実環境においてどのように知覚または実施するかに対する洞察を与えるとは限らない。本明細書で説明されるシステムおよび方法は、現実的なシナリオにおけるユーザの聴覚性能を監視および評価する。さらに、これらのルーチンは、一意の個々のオーディオプロファイルを生成するために、個人化された頭部伝達関数および身体伝達関数など、ユーザの身体的特性に関係する他の結果と組み合わせられ得る。オーディオプロファイルが確立されると、オーディオプロファイルは、ユーザのソーシャルネットワークプロファイルの一部として、アタッチされ、維持され得る。オーディオプロファイルは、ユーザの医学的データを保護するために、暗号化されるかまたはさもなければセキュアにされ得る。システムは、オーディオプロファイルを記憶するためのパーミッションについてユーザにプロンプトし得、システムは、ユーザが、誰がオーディオプロファイルにアクセスし得るかを選択することを可能にし得る。オーディオプロファイルは、ビデオ発呼、仮想現実ゲームおよびアプリケーション、拡張現実テレプレゼンス、リアルタイム音声拡張、リアルタイム雑音低減などを含む、ユーザのオーディオ体験のすべてにわたってオーディオを改善するためにアクセスされ得る。

本発明の実施形態は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。さらに、いくつかの実施形態では、人工現実は、人工現実におけるコンテンツを作成するために使用される、および／または人工現実において別様に使用される、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたウェアラブルデバイス（たとえば、ヘッドセット）、独立型ウェアラブルデバイス（たとえば、ヘッドセット）、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

図１Ａは、１つまたは複数の実施形態による、アイウェアデバイスとして実装されるヘッドセット１００の斜視図である。いくつかの実施形態では、アイウェアデバイスは、ニアアイディスプレイ（ＮＥＤ）である。概して、ヘッドセット１００は、コンテンツ（たとえば、メディアコンテンツ）が、ディスプレイアセンブリおよび／またはオーディオシステムを使用して提示されるように、ユーザの顔に装着され得る。しかしながら、ヘッドセット１００はまた、メディアコンテンツが異なる様式でユーザに提示されるように使用され得る。ヘッドセット１００によって提示されるメディアコンテンツの例は、１つまたは複数の画像、ビデオ、オーディオ、またはそれらの何らかの組合せを含む。ヘッドセット１００は、フレームを含み、構成要素の中でも、１つまたは複数のディスプレイ要素１２０を含むディスプレイアセンブリと、深度カメラアセンブリ（ＤＣＡ）と、オーディオシステムと、位置センサー１９０とを含み得る。図１Ａは、ヘッドセット１００上の例示的なロケーションにおけるヘッドセット１００の構成要素を示すが、構成要素は、ヘッドセット１００上の他の場所に、ヘッドセット１００とペアリングされた周辺デバイス上に、またはそれらの何らかの組合せに、位置し得る。同様に、図１Ａに示されているものよりも多いまたは少ない構成要素がヘッドセット１００上にあり得る。

フレーム１１０は、ヘッドセット１００の他の構成要素を保持する。フレーム１１０は、１つまたは複数のディスプレイ要素１２０を保持する前面部と、ユーザの頭部に付けるためのエンドピース（たとえば、テンプル）とを含む。フレーム１１０の前面部は、ユーザの鼻の上をまたいでいる。エンドピースの長さは、異なるユーザにフィットするように調整可能（たとえば、調整可能なテンプルの長さ）であり得る。エンドピースはまた、ユーザの耳の後ろ側で湾曲する部分（たとえば、テンプルの先端、イヤピース）を含み得る。

１つまたは複数のディスプレイ要素１２０は、ヘッドセット１００を装着しているユーザに光を提供する。図示のように、ヘッドセットは、ユーザの各眼のためのディスプレイ要素１２０を含む。いくつかの実施形態では、ディスプレイ要素１２０は、ヘッドセット１００のアイボックスに提供される画像光を生成する。アイボックスは、ヘッドセット１００を装着している間にユーザの眼が占有する空間中のロケーションである。たとえば、ディスプレイ要素１２０は導波路ディスプレイであり得る。導波路ディスプレイは、光ソース（たとえば、２次元光ソース、１つまたは複数の線ソース、１つまたは複数の点ソースなど）と、１つまたは複数の導波路とを含む。光ソースからの光は、１つまたは複数の導波路中に内部結合され（ｉｎ－ｃｏｕｐｌｅｄ）、１つまたは複数の導波路は、ヘッドセット１００のアイボックス中に瞳複製（ｐｕｐｉｌ ｒｅｐｌｉｃａｔｉｏｎ）があるような様式で光を出力する。１つまたは複数の導波路からの光の内部結合（ｉｎ－ｃｏｕｐｌｉｎｇ）および／または外部結合（ｏｕｔｃｏｕｐｌｉｎｇ）が、１つまたは複数の回折格子を使用して行われ得る。いくつかの実施形態では、導波路ディスプレイは、光ソースからの光が１つまたは複数の導波路中に内部結合されるときにその光を走査する走査要素（たとえば、導波路、ミラーなど）を含む。いくつかの実施形態では、ディスプレイ要素１２０の一方または両方が不透明であり、ヘッドセット１００の周りのローカルエリアからの光を透過しないことに留意されたい。ローカルエリアは、ヘッドセット１００の周囲のエリアである。たとえば、ローカルエリアは、ヘッドセット１００を装着しているユーザが中にいる部屋であり得、または、ヘッドセット１００を装着しているユーザは外にいることがあり、ローカルエリアは外のエリアである。このコンテキストでは、ヘッドセット１００はＶＲコンテンツを生成する。代替的に、いくつかの実施形態では、ＡＲおよび／またはＭＲコンテンツを作り出すために、ローカルエリアからの光が１つまたは複数のディスプレイ要素からの光と組み合わせられ得るように、ディスプレイ要素１２０の一方または両方は少なくとも部分的に透明である。

いくつかの実施形態では、ディスプレイ要素１２０は、画像光を生成せず、代わりに、ローカルエリアからの光をアイボックスに透過するレンズである。たとえば、ディスプレイ要素１２０の一方または両方は、補正なしのレンズ（非処方）であるか、または、ユーザの視力の欠損を補正するのを助けるための処方レンズ（たとえば、単焦点、二焦点、および三焦点、または累進多焦点（ｐｒｏｇｒｅｓｓｉｖｅ））であり得る。いくつかの実施形態では、ディスプレイ要素１２０は、太陽からユーザの眼を保護するために、偏光および／または色付けされ得る。

いくつかの実施形態では、ディスプレイ要素１２０は追加の光学ブロック（図示せず）を含み得ることに留意されたい。光学ブロックは、ディスプレイ要素１２０からの光をアイボックスに向ける１つまたは複数の光学要素（たとえば、レンズ、フレネルレンズなど）を含み得る。光学ブロックは、たとえば、画像コンテンツの一部または全部における収差を補正するか、画像の一部または全部を拡大するか、あるいはそれらの何らかの組合せを行い得る。

ディスプレイ要素１２０は、オーディオ評価ルーチンの一部としてコンテンツを表示し得る。たとえば、ディスプレイ要素１２０は、オーディオ評価ルーチン中に命令を表示するかまたはユーザにフィードバックを提供し得る。

ＤＣＡは、ヘッドセット１００の周囲のローカルエリアの一部分についての深度情報を決定する。ＤＣＡは、１つまたは複数のイメージングデバイス１３０と、ＤＣＡコントローラ（図１Ａに図示せず）とを含み、照明器１４０をも含み得る。いくつかの実施形態では、照明器１４０は、ローカルエリアの一部分を光で照明する。光は、たとえば、赤外線（ＩＲ）における構造化光（たとえば、ドットパターン、バーなど）、飛行時間についてのＩＲフラッシュなどであり得る。いくつかの実施形態では、１つまたは複数のイメージングデバイス１３０は、照明器１４０からの光を含むローカルエリアの一部分の画像をキャプチャする。図示のように、図１Ａは、単一の照明器１４０と２つのイメージングデバイス１３０とを示す。代替実施形態では、照明器１４０がなく、少なくとも２つのイメージングデバイス１３０がある。

ＤＣＡコントローラは、キャプチャされた画像と１つまたは複数の深度決定技法とを使用して、ローカルエリアの一部分についての深度情報を算出する。深度決定技法は、たとえば、直接飛行時間（ＴｏＦ）深度検知、間接ＴｏＦ深度検知、構造化光、パッシブステレオ分析、アクティブステレオ分析（照明器１４０からの光によってシーンに追加されたテクスチャを使用する）、シーンの深度を決定するための何らかの他の技法、またはそれらの何らかの組合せであり得る。

ＤＣＡコントローラは、オーディオシステムと組み合わせて、ローカルシーンにおける１つまたは複数の音ソースのロケーションを決定し得る。ＤＣＡコントローラは、ローカルシーンにおけるオブジェクトのロケーションを提供し得る。ＤＣＡは、オーディオシステムにオブジェクトのロケーションを提供し得る。オーディオシステムは、ＤＣＡによって位置を特定されたオブジェクトの同じ方向から出る音ソースが、そのオブジェクトによって引き起こされ得ると決定し得る。オーディオシステムは、その後、オーディオ評価ルーチンとともに音ソースの決定されたロケーションを使用し得る。

オーディオシステムはオーディオコンテンツを提供する。オーディオシステムは、トランスデューサアレイと、センサーアレイと、オーディオコントローラ１５０とを含む。ただし、他の実施形態では、オーディオシステムは、異なるおよび／または追加の構成要素を含み得る。同様に、いくつかの場合には、オーディオシステムの構成要素に関して説明される機能性は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラの機能の一部または全部が、リモートサーバによって実施され得る。

オーディオシステムは、ユーザのためのオーディオ評価ルーチンを行い得る。オーディオ評価ルーチンは、オーディオシステムが、いくつかの周波数に対する聴覚過敏または老人性難聴、許容できる残響レベルなど、ユーザの聴覚の特性を表すパラメータを決定する一連のステップである。オーディオ評価ルーチンは、イメージングデバイス１３０、音響センサー１８０、または位置センサー１９０など、ヘッドセット１００上の様々なセンサーを用いてユーザ応答を監視することを含み得る。オーディオシステムは、パラメータに基づいてユーザのためのオーディオプロファイルを作成する。オーディオプロファイルは、ユーザがどのように音を聞くかを表すパラメータのセットである。オーディオシステムは、ユーザに提示される音を修正するためにオーディオプロファイルを使用し得る。

トランスデューサアレイは、ユーザに音を提示する。トランスデューサアレイは、複数のトランスデューサを含む。トランスデューサは、スピーカー１６０または組織トランスデューサ１７０（たとえば、骨伝導トランスデューサまたは軟骨伝導トランスデューサ）であり得る。スピーカー１６０はフレーム１１０の外部に示されているが、スピーカー１６０はフレーム１１０に囲まれ得る。いくつかの実施形態では、各耳のための個々のスピーカーの代わりに、ヘッドセット１００は、提示されたオーディオコンテンツの方向性を改善するためにフレーム１１０に組み込まれた複数のスピーカーを備えるスピーカーアレイを含む。組織トランスデューサ１７０は、ユーザの頭部に結合し、ユーザの組織（たとえば、骨または軟骨）を直接振動させて、音を生成する。トランスデューサの数および／またはロケーションは、図１Ａに示されているものとは異なり得る。

センサーアレイは、ヘッドセット１００のローカルエリア内の音を検出する。センサーアレイは、複数の音響センサー１８０を含む。音響センサー１８０は、ローカルエリア（たとえば、部屋）中の１つまたは複数の音ソースから発せられた音をキャプチャする。各音響センサーは、音を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換するように構成される。音響センサー１８０は、音響波センサー、マイクロフォン、音トランスデューサ、または音を検出するのに好適である同様のセンサーであり得る。

いくつかの実施形態では、１つまたは複数の音響センサー１８０は、各耳の耳道中に置かれ得る（たとえば、バイノーラルマイクロフォンとして働く）。いくつかの実施形態では、音響センサー１８０は、ヘッドセット１００の外面上に置かれるか、ヘッドセット１００の内面上に置かれるか、ヘッドセット１００とは別個（たとえば、何らかの他のデバイスの一部）であるか、またはそれらの何らかの組合せであり得る。音響センサー１８０の数および／またはロケーションは、図１Ａに示されているものとは異なり得る。たとえば、収集されたオーディオ情報の量ならびにその情報の感度および／または精度を増加させるために、音響検出ロケーションの数が増加され得る。音響検出ロケーションは、マイクロフォンが、ヘッドセット１００を装着しているユーザの周囲の広範囲の方向における音を検出することが可能であるように、配向され得る。

オーディオコントローラ１５０は、センサーアレイによって検出された音を表す、センサーアレイからの情報を処理する。オーディオコントローラ１５０は、プロセッサとコンピュータ可読記憶媒体とを備え得る。オーディオコントローラ１５０は、到来方向（ＤＯＡ）推定値を生成するか、音響伝達関数（たとえば、アレイ伝達関数および／または頭部伝達関数）を生成するか、音ソースのロケーションを追跡するか、音ソースの方向にビームを形成するか、音ソースを分類するか、スピーカー１６０のための音フィルタを生成するか、またはそれらの何らかの組合せを行うように構成され得る。

位置センサー１９０は、ヘッドセット１００の運動に応答して１つまたは複数の測定信号を生成する。位置センサー１９０は、ヘッドセット１００のフレーム１１０の一部分に位置し得る。位置センサー１９０は、慣性測定ユニット（ＩＭＵ）を含み得る。位置センサー１９０の例は、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、ＩＭＵの誤差補正のために使用されるタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー１９０は、ＩＭＵの外部に、ＩＭＵの内部に、またはそれらの何らかの組合せで位置し得る。

いくつかの実施形態では、ヘッドセット１００は、ヘッドセット１００の位置のための同時位置特定およびマッピング（ＳＬＡＭ）と、ローカルエリアのモデルの更新とを提供し得る。たとえば、ヘッドセット１００は、カラー画像データを生成するパッシブカメラアセンブリ（ＰＣＡ）を含み得る。ＰＣＡは、ローカルエリアの一部または全部の画像をキャプチャする１つまたは複数のＲＧＢカメラを含み得る。いくつかの実施形態では、ＤＣＡのイメージングデバイス１３０の一部または全部が、ＰＣＡとしても機能し得る。ＰＣＡによってキャプチャされた画像と、ＤＣＡによって決定された深度情報とは、ローカルエリアのパラメータを決定するか、ローカルエリアのモデルを生成するか、ローカルエリアのモデルを更新するか、またはそれらの何らかの組合せを行うために使用され得る。さらに、位置センサー１９０は、部屋内のヘッドセット１００の位置（たとえば、ロケーションおよび姿勢）を追跡する。ヘッドセット１００の構成要素に関する追加の詳細は、図４に関して以下で説明される。

ヘッドセット１００は、視標追跡ユニット１９５を備える。視標追跡ユニット１９５は、ユーザの眼の画像をキャプチャする１つまたはカメラを含み得る。視標追跡ユニット１９５は、ユーザの眼を照明する１つまたは複数の照明器をさらに備え得る。視標追跡ユニット１９５は、ユーザの１つまたは複数の眼の角配向を推定する。いくつかの実施形態では、視標追跡ユニット１９５は、ユーザの眼の角配向を決定するために、照明器によって投影された照明パターンにおけるひずみを検出し得る。眼の配向は、ヘッドセット１００内のユーザの視線の方向に対応する。ユーザの眼の配向は、中心窩（受光体が最も集中する眼の網膜上のエリア）と眼の瞳孔の中心との間の軸である、中心窩軸の方向であり得る。概して、ユーザの眼がある点上に固定されるとき、ユーザの眼の中心窩軸は、その点と交差する。瞳孔軸は、角膜表面に垂直である瞳孔の中心を通過する軸として定義される眼の別の軸である。瞳孔軸は、概して、中心窩軸と直接整合しない。両方の軸は、瞳孔の中心において交差するが、中心窩軸の配向は、瞳孔軸から横方向に約－１°から８°、および垂直方向に±４°だけずれている。中心窩軸が、眼の背面にある中心窩に従って定義されるので、中心窩軸は、いくつかの視標追跡実施形態では直接検出することが困難または不可能であり得る。したがって、いくつかの実施形態では、瞳孔軸の配向が検出され、中心窩軸は、検出された瞳孔軸に基づいて推定される。しかしながら、いくつかの実施形態では、瞳孔軸の配向が、中心窩軸差について調整することなしにユーザの１つまたは複数の眼の角配向を推定するために使用され得る。

概して、眼の移動が、眼の角回転だけでなく、眼の並進、眼のねじれの変化、および／または眼の形状の変化にも対応する。視標追跡ユニット１９５は、眼の並進、すなわち、眼窩に対する眼の位置の変化をも検出し得る。いくつかの実施形態では、眼の並進は、直接検出されないが、検出された角配向からのマッピングに基づいて近似される。視標追跡ユニットの検出構成要素に対する眼の位置の変化に対応する眼の並進も検出され得る。このタイプの並進は、たとえば、ユーザの頭部上のヘッドセット１００の位置のシフトにより生じ得る。視標追跡ユニット１９５は、眼のねじれ、すなわち、瞳孔軸を中心とする眼の回転をも検出し得る。視標追跡ユニット１９５は、瞳孔軸から中心窩軸の配向を推定するために、眼の検出されたねじれを使用し得る。視標追跡ユニット１９５は、眼の形状の変化をも追跡し得、これは、スキューまたはスケーリング線形変換あるいは（たとえば、ねじれ変形による）ねじりひずみとして近似され得る。視標追跡ユニット１９５は、瞳孔軸の角配向、眼の並進、眼のねじれ、および眼の現在の形状の何らかの組合せに基づいて中心窩軸を推定し得る。

いくつかの実施形態では、視標追跡ユニット１９５は、眼の全部または一部分の上に構造化光パターンを投影する少なくとも１つのエミッタを含み得る。次いで、このパターンは、次いで、眼の形状上に投影され、これは、オフセット角から見られたとき、構造化光パターンにおける知覚されるひずみを作り出し得る。視標追跡ユニット１９５は、眼上に投影された光パターンの（もしあれば）ひずみを検出する少なくとも１つのカメラをも含み得る。エミッタとは異なる軸上に配向されたカメラが、眼上の照明パターンをキャプチャする。このプロセスは、本明細書では眼を「走査する」こととして示される。眼の表面上の照明パターンの変形を検出することによって、視標追跡ユニット１９５は、走査された眼の部分の形状を決定することができる。したがって、キャプチャされたひずんだ光パターンは、眼の照明された部分の３Ｄ形状を示す。エミッタによって照明された眼の部分の３Ｄ形状を導出することによって、眼の配向が導出され得る。視標追跡ユニットは、カメラによってキャプチャされた照明パターンの画像に基づいて、瞳孔軸、眼の並進、眼のねじれ、および眼の現在の形状を推定することもできる。

他の実施形態では、任意の好適なタイプの視標追跡システムが利用され得る。たとえば、視標追跡ユニット１９５は、眼の画像をキャプチャし、眼のステレオ画像をキャプチャし得、連続して光を放出する眼の周りのＬＥＤのリングを利用し、ＬＥＤからの反射に基づいて眼の配向を決定し得、飛行時間測定値を利用し得る、などである。

配向は、ユーザの両方の眼について決定され得るので、視標追跡ユニット１９５は、ユーザがどこを見ているかを決定することが可能である。ヘッドセット１００は、たとえば、ユーザの瞳孔間距離（ＩＰＤ）を決定するために、視線方向を決定するために、深度キューを導入する（たとえば、ユーザの主要な見通し線の外部の画像を不鮮明にする）ために、ＶＲメディアにおけるユーザ対話に対するヒューリスティック（たとえば、さらされた刺激に応じた特定の対象、オブジェクト、またはフレームに費やされた時間）を収集するために、ユーザの眼のうちの少なくとも１つの配向に部分的に基づく何らかの他の機能、あるいはそれらの何らかの組合せのために、眼の配向を使用することができる。ユーザの視線の方向を決定することは、ユーザの左および右の眼の決定された配向に基づいて集束点を決定することを含み得る。集束点は、ユーザの眼の２つの中心窩軸が交差する点（または２つの軸間の最も近い点）であり得る。ユーザの視線の方向は、集束点を通る、およびユーザの眼の瞳孔間の中間の点を通る線の方向であり得る。ヘッドセット１００の構成要素に関する追加の詳細は、図４に関して以下で説明される。

オーディオシステムは、ユーザのためのオーディオプロファイルを生成する。オーディオシステムは、音に対するユーザ応答を監視する。視標追跡ユニット１９５は、音に応答したユーザの眼の視線ロケーションを検出する。オーディオシステムは、視線ロケーションと音ソースロケーションとの間の差など、ユーザ応答に基づく音についての様々なパラメータの精度を測定する。オーディオシステムは、拡張されたオーディオコンテンツをユーザにその後提示するために、オーディオプロファイルを使用する。オーディオ拡張プロセスは、図２～図４を参照しながらさらに説明される。

図１Ｂは、１つまたは複数の実施形態による、ＨＭＤとして実装されるヘッドセット１０５の斜視図である。ＡＲシステムおよび／またはＭＲシステムについて説明する実施形態では、ＨＭＤの前側の部分は、可視帯域（約３８０ｎｍ～７５０ｎｍ）内で少なくとも部分的に透明であり、ＨＭＤの前側とユーザの眼との間にあるＨＭＤの部分は、少なくとも部分的に透明である（たとえば、部分的に透明な電子ディスプレイ）。ＨＭＤは、前面剛体１１５とバンド１７５とを含む。ヘッドセット１０５は、図１Ａを参照しながら上記で説明された同じ構成要素の多くを含むが、ＨＭＤフォームファクタと一体化するように修正される。たとえば、ＨＭＤは、ディスプレイアセンブリと、ＤＣＡと、オーディオシステムと、位置センサー１９０とを含む。図１Ｂは、照明器１４０と、複数のスピーカー１６０と、複数のイメージングデバイス１３０と、複数の音響センサー１８０と、位置センサー１９０とを示す。スピーカー１６０は、（図示のように）バンド１７５に結合される、前面剛体１１５に結合されるなど、様々なロケーションにあり得、またはユーザの耳道内に挿入されるように構成され得る。

図２は、１つまたは複数の実施形態による、オーディオシステム２００のブロック図である。図１Ａまたは図１Ｂ中のオーディオシステムは、オーディオシステム２００の一実施形態であり得る。オーディオシステム２００は、ユーザのためのカスタムオーディオプロファイルを生成する。オーディオシステム２００は、次いで、ユーザのためのオーディオコンテンツを生成するためにオーディオプロファイルを使用し得る。図２の実施形態では、オーディオシステム２００は、トランスデューサアレイ２１０と、センサーアレイ２２０と、オーディオコントローラ２３０とを含む。オーディオシステム２００のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、いくつかの場合には、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。

トランスデューサアレイ２１０は、オーディオコンテンツを提示するように構成される。トランスデューサアレイ２１０は、複数のトランスデューサを含む。トランスデューサは、オーディオコンテンツを提供するデバイスである。トランスデューサは、たとえば、スピーカー（たとえば、スピーカー１６０）、組織トランスデューサ（たとえば、組織トランスデューサ１７０）、オーディオコンテンツを提供する何らかの他のデバイス、またはそれらの何らかの組合せであり得る。組織トランスデューサは、骨伝導トランスデューサまたは軟骨伝導トランスデューサとして機能するように構成され得る。トランスデューサアレイ２１０は、空気伝導を介して（たとえば、１つまたは複数のスピーカーを介して）、骨伝導を介して（１つまたは複数の骨伝導トランスデューサを介して）、軟骨伝導オーディオシステムを介して（１つまたは複数の軟骨伝導トランスデューサを介して）、またはそれらの何らかの組合せでオーディオコンテンツを提示し得る。いくつかの実施形態では、トランスデューサアレイ２１０は、周波数範囲の異なる部分をカバーするための１つまたは複数のトランスデューサを含み得る。たとえば、周波数範囲の第１の部分をカバーするために圧電トランスデューサが使用され得、周波数範囲の第２の部分をカバーするために可動コイルトランスデューサが使用され得る。

骨伝導トランスデューサは、ユーザの頭部における骨／組織を振動させることによって音響圧力波を生成する。骨伝導トランスデューサは、ヘッドセットの一部分に結合され得、耳介の後ろでユーザの頭蓋骨の一部分に結合されるように構成され得る。骨伝導トランスデューサは、オーディオコントローラ２３０から振動命令を受信し、受信された命令に基づいてユーザの頭蓋骨の一部分を振動させる。骨伝導トランスデューサからの振動は、鼓膜を迂回して、ユーザの蝸牛のほうへ伝搬する組織伝搬音響圧力波を生成する。

軟骨伝導トランスデューサは、ユーザの耳の耳介軟骨の１つまたは複数の部分を振動させることによって音響圧力波を生成する。軟骨伝導トランスデューサは、ヘッドセットの一部分に結合され得、耳の耳介軟骨の１つまたは複数の部分に結合されるように構成され得る。たとえば、軟骨伝導トランスデューサは、ユーザの耳の耳介の背面に結合し得る。軟骨伝導トランスデューサは、外耳の周りの耳介軟骨に沿ったどこか（たとえば、耳介、耳珠、耳介軟骨の何らかの他の部分、またはそれらの何らかの組合せ）に位置し得る。耳介軟骨の１つまたは複数の部分を振動させることは、耳道外の空気伝搬音響圧力波、耳道のいくつかの部分を振動させ、それにより、耳道内に空気伝搬音響圧力波を生成させる、組織伝搬音響圧力波、またはそれらの何らかの組合せを生成し得る。生成された空気伝搬音響圧力波は、耳道に沿って鼓膜のほうへ伝搬する。

トランスデューサアレイ２１０は、オーディオコントローラ２３０からの命令に従ってオーディオコンテンツを生成する。オーディオコンテンツは、オーディオ評価ルーチンとともに生成され得る。いくつかの実施形態では、オーディオコンテンツが空間化される。空間化されたオーディオコンテンツは、特定の方向および／またはターゲット領域（たとえば、ローカルエリアにおけるオブジェクトおよび／または仮想オブジェクト）から発生するように思われるオーディオコンテンツである。たとえば、空間化されたオーディオコンテンツは、オーディオシステム２００のユーザから部屋の向こうの仮想歌手から音が発生しているように思わせることができる。トランスデューサアレイ２１０は、ウェアラブルデバイス（たとえば、ヘッドセット１００またはヘッドセット１０５）に結合され得る。代替実施形態では、トランスデューサアレイ２１０は、ウェアラブルデバイスとは別個である（たとえば、外部コンソールに結合された）複数のスピーカーであり得る。

センサーアレイ２２０は、センサーアレイ２２０の周囲のローカルエリア内の音を検出する。センサーアレイ２２０は、各々音波の空気圧力変動を検出し、検出された音を電子フォーマット（アナログまたはデジタル）に変換する、複数の音響センサーを含み得る。複数の音響センサーは、ヘッドセット（たとえば、ヘッドセット１００および／またはヘッドセット１０５）上に、ユーザ上に（たとえば、ユーザの耳道中に）、ネックバンド上に、またはそれらの何らかの組合せで配置され得る。音響センサーは、たとえば、マイクロフォン、振動センサー、加速度計、またはそれらの任意の組合せであり得る。いくつかの実施形態では、センサーアレイ２２０は、複数の音響センサーのうちの少なくともいくつかを使用して、トランスデューサアレイ２１０によって生成されたオーディオコンテンツを監視するように構成される。センサーの数を増加させることは、トランスデューサアレイ２１０によって作り出された音場および／またはローカルエリアからの音を表す情報（たとえば、方向性）の精度を改善し得る。

オーディオコントローラ２３０は、オーディオシステム２００の動作を制御する。図２の実施形態では、オーディオコントローラ２３０は、データストア２３５と、ＤＯＡ推定モジュール２４０と、伝達関数モジュール２５０と、追跡モジュール２６０と、ビームフォーミングモジュール２７０と、音フィルタモジュール２８０と、個人化モジュール２９０とを含む。オーディオコントローラ２３０は、ヘッドセットなど、ウェアラブルデバイス内に位置し得る。オーディオコントローラ２３０のいくつかの実施形態は、ここで説明されるものとは異なる構成要素を有する。同様に、機能は、ここで説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コントローラのいくつかの機能が、ヘッドセットの外部で実施され得る。

データストア２３５は、オーディオシステム２００による使用のためのデータを記憶する。データストア２３５中のデータは、オーディオシステム２００のローカルエリアにおいて録音された音、オーディオコンテンツ、頭部伝達関数（ＨＲＴＦ）、１つまたは複数のセンサーのための伝達関数、音響センサーのうちの１つまたは複数のためのアレイ伝達関数（ＡＴＦ）、音ソースロケーション、ローカルエリアの仮想モデル、到来方向推定値、音フィルタ、およびオーディオシステム２００による使用のために関連する他のデータ、またはそれらの任意の組合せを含み得る。データストア２３５は、１つまたは複数のユーザのためのオーディオプロファイル、オーディオ評価ルーチンのための命令、オーディオ評価ルーチンのためのユーザ応答データなどを含み得る。

ＤＯＡ推定モジュール２４０は、センサーアレイ２２０からの情報に部分的に基づいて、ローカルエリアにおける音ソースの位置を特定するように構成される。位置特定は、オーディオシステム２００のユーザに対して音ソースがどこに位置するかを決定するプロセスである。ＤＯＡ推定モジュール２４０は、ローカルエリア内の１つまたは複数の音ソースの位置を特定するためにＤＯＡ分析を実施する。ＤＯＡ分析は、音が発生した方向を決定するために、センサーアレイ２２０において、各音の強度、スペクトル、および／または到来時間を分析することを含み得る。いくつかの場合には、ＤＯＡ分析は、オーディオシステム２００が位置する周囲音響環境を分析するための任意の好適なアルゴリズムを含み得る。

たとえば、ＤＯＡ分析は、センサーアレイ２２０から入力信号を受信し、入力信号にデジタル信号処理アルゴリズムを適用して、到来方向を推定するように設計され得る。これらのアルゴリズムは、たとえば、入力信号がサンプリングされ、サンプリングされた信号の得られた重み付けおよび遅延されたバージョンが、ＤＯＡを決定するために一緒に平均化される、遅延和アルゴリズムを含み得る。適応フィルタを作成するために、最小２乗平均（ＬＭＳ：ｌｅａｓｔ ｍｅａｎ ｓｑｕａｒｅｄ）アルゴリズムも実装され得る。この適応フィルタは、次いで、たとえば信号強度の差、または到来時間の差を識別するために使用され得る。これらの差は、次いで、ＤＯＡを推定するために使用され得る。別の実施形態では、ＤＯＡは、入力信号を周波数ドメインに変換し、処理すべき時間周波数（ＴＦ）ドメイン内の特定のビンを選択することによって決定され得る。各選択されたＴＦビンは、そのビンが、直接経路オーディオ信号をもつオーディオスペクトルの一部分を含むかどうかを決定するために、処理され得る。直接経路信号の一部分を有するビンは、次いで、センサーアレイ２２０が直接経路オーディオ信号を受信した角度を識別するために、分析され得る。決定された角度は、次いで、受信された入力信号についてのＤＯＡを識別するために使用され得る。上記に記載されていない他のアルゴリズムも、ＤＯＡを決定するために、単独でまたは上記のアルゴリズムと組み合わせて使用され得る。

いくつかの実施形態では、ＤＯＡ推定モジュール２４０は、ローカルエリア内のオーディオシステム２００の絶対位置に関するＤＯＡをも決定し得る。センサーアレイ２２０の位置は、外部システム（たとえば、ヘッドセット、人工現実コンソール、マッピングサーバ、位置センサー（たとえば、位置センサー１９０）などの何らかの他の構成要素）から受信され得る。外部システムは、ローカルエリアとオーディオシステム２００の位置とがマッピングされる、ローカルエリアの仮想モデルを作成し得る。受信された位置情報は、オーディオシステム２００の一部または全部（たとえば、センサーアレイ２２０）のロケーションおよび／または配向を含み得る。ＤＯＡ推定モジュール２４０は、受信された位置情報に基づいて、推定されたＤＯＡを更新し得る。

伝達関数モジュール２５０は、１つまたは複数の音響伝達関数を生成するように構成される。概して、伝達関数は、各可能な入力値についての対応する出力値を与える数学関数である。検出された音のパラメータに基づいて、伝達関数モジュール２５０は、オーディオシステムに関連付けられた１つまたは複数の音響伝達関数を生成する。音響伝達関数は、アレイ伝達関数（ＡＴＦ）、頭部伝達関数（ＨＲＴＦ）、他のタイプの音響伝達関数、またはそれらの何らかの組合せであり得る。ＡＴＦは、マイクロフォンが空間中の点からどのように音を受信するかを特徴づける。

ＡＴＦは、音ソースとセンサーアレイ２２０中の音響センサーによって受信された対応する音との間の関係を特徴づけるいくつかの伝達関数を含む。したがって、音ソースについて、センサーアレイ２２０中の音響センサーの各々についての対応する伝達関数がある。また、まとめて、伝達関数のセットはＡＴＦと呼ばれる。したがって、各音ソースについて、対応するＡＴＦがある。音ソースは、たとえば、ローカルエリアにおける音を生成する誰かまたは何か、ユーザ、あるいはトランスデューサアレイ２１０の１つまたは複数のトランスデューサであり得ることに留意されたい。センサーアレイ２２０に対する特定の音ソースロケーションについてのＡＴＦは、音が人の耳に進むときに音に影響を及ぼす人の解剖学的構造（たとえば、耳形状、肩など）により、ユーザによって異なり得る。したがって、センサーアレイ２２０のＡＴＦは、オーディオシステム２００の各ユーザのために個人化される。

いくつかの実施形態では、伝達関数モジュール２５０は、オーディオシステム２００のユーザのための１つまたは複数のＨＲＴＦを決定する。ＨＲＴＦは、耳が空間中の点からどのように音を受信するかを特徴づける。人に対する特定のソースロケーションについてのＨＲＴＦは、音が人の耳に進むときに音に影響を及ぼす人の解剖学的構造（たとえば、耳形状、肩など）により、人の各耳に固有である（および人に固有である）。いくつかの実施形態では、伝達関数モジュール２５０は、較正プロセスを使用してユーザのためのＨＲＴＦを決定し得る。

いくつかの実施形態では、伝達関数モジュール２５０は、ユーザのためのオーディオプロファイル中のオーディオ評価データと組み合わせられるべき、ＡＴＦおよびＨＲＴＦを個人化モジュール２９０に提供し得る。

追跡モジュール２６０は、１つまたは複数の音ソースのロケーションを追跡するように構成される。追跡モジュール２６０は、現在のＤＯＡ推定値を比較し、それらを、前のＤＯＡ推定値の記憶された履歴と比較し得る。いくつかの実施形態では、オーディオシステム２００は、１秒当たり１回、または１ミリ秒当たり１回など、周期的スケジュールでＤＯＡ推定値を再計算し得る。追跡モジュールは、現在のＤＯＡ推定値を前のＤＯＡ推定値と比較し得、音ソースについてのＤＯＡ推定値の変化に応答して、追跡モジュール２６０は、音ソースが移動したと決定し得る。いくつかの実施形態では、追跡モジュール２６０は、ヘッドセットまたは何らかの他の外部ソースから受信された視覚情報に基づいてロケーションの変化を検出し得る。追跡モジュール２６０は、経時的に１つまたは複数の音ソースの移動を追跡し得る。追跡モジュール２６０は、各時点において音ソースの数と各音ソースのロケーションとについての値を記憶し得る。音ソースの数またはロケーションの値の変化に応答して、追跡モジュール２６０は、音ソースが移動したと決定し得る。追跡モジュール２６０は、位置特定分散（ｌｏｃａｌｉｚａｔｉｏｎ ｖａｒｉａｎｃｅ）の推定値を計算し得る。位置特定分散は、移動の変化の各決定についての信頼性レベルとして使用され得る。

ビームフォーミングモジュール２７０は、あるエリア内の音ソースからの音を選択的に強調するが、他のエリアからの音を強調しないように、１つまたは複数のＡＴＦを処理するように構成される。センサーアレイ２２０によって検出された音を分析する際に、ビームフォーミングモジュール２７０は、ローカルエリアの特定の領域からの関連付けられた音を強調するが、領域の外側からのものである音を強調しないために、異なる音響センサーからの情報を組み合わせ得る。ビームフォーミングモジュール２７０は、たとえば、ＤＯＡ推定モジュール２４０および追跡モジュール２６０からの異なるＤＯＡ推定値に基づいて、ローカルエリアにおける他の音ソースから、特定の音ソースからの音に関連付けられたオーディオ信号を分離し得る。したがって、ビームフォーミングモジュール２７０は、ローカルエリアにおける個別の音ソースを選択的に分析し得る。いくつかの実施形態では、ビームフォーミングモジュール２７０は、音ソースからの信号を拡張し得る。たとえば、ビームフォーミングモジュール２７０は、いくつかの周波数を上回る信号、それらを下回る信号、またはそれらの間の信号を除去する、音フィルタを適用し得る。信号拡張は、センサーアレイ２２０によって検出された他の音に対して所与の識別された音ソースに関連付けられた音を拡張するように働く。いくつかの実施形態では、個人化モジュール２９０から受信されたパラメータに基づいて、ビームフォーミングモジュール２７０は、ユーザの推定された音声理解またはリスニングの取り組みに従って、雑音が多い環境におけるビームの幅または挙動を調整し得る。

音フィルタモジュール２８０は、トランスデューサアレイ２１０のための音フィルタを決定する。いくつかの実施形態では、音フィルタは、オーディオコンテンツがターゲット領域から発生するように思われるように、オーディオコンテンツが空間化されることを引き起こす。音フィルタモジュール２８０は、音フィルタを生成するためにＨＲＴＦおよび／または音響パラメータを使用し得る。音響パラメータは、ローカルエリアの音響プロパティを表す。音響パラメータは、たとえば、残響時間、残響レベル、室内インパルス応答などを含み得る。いくつかの実施形態では、音フィルタモジュール２８０は、音響パラメータのうちの１つまたは複数を計算する。いくつかの実施形態では、音フィルタモジュール２８０は、（たとえば、図４に関して以下で説明されるように）マッピングサーバに音響パラメータを要求する。

音フィルタモジュール２８０は、トランスデューサアレイ２１０に音フィルタを提供する。いくつかの実施形態では、音フィルタは、周波数に応じて音の正または負の増幅を引き起こし得る。たとえば、個人化モジュール２９０から受信されたパラメータに基づいて、音フィルタモジュール２８０は、ユーザが他の周波数ほど容易に検出しないいくつかの周波数における音を増幅し得る。

個人化モジュール２９０は、ユーザのためのオーディオプロファイルを生成する。オーディオプロファイルは、ユーザがどのように音を知覚するかを表す。オーディオプロファイルは、ユーザのためのオーディオ体験を拡張するために音がどのようにユーザに提示されるべきであるかを表すパラメータを含んでいる。パラメータは、音についての利得および限界を含み得る。たとえば、パラメータは、８５ｄＢ音圧レベルの最大限界まで、１０ｋＨｚ～１５ｋＨｚの間の周波数帯域について６ｄＢの利得を示し得、したがって、オーディオシステムは、その周波数帯域における音の振幅を６ｄＢだけ増加させる。

いくつかの実施形態では、パラメータは、他の周波数に対して、いくつかの周波数の振幅が増加されるべきであること、またはいくつかの周波数の振幅が減少されるべきであることを示すスケーリングファクタを含み得る（たとえば、１０ｋＨｚ～１５ｋＨｚの間の周波数帯域についての１．２のスケーリングファクタが、オーディオシステムがその周波数帯域における音の振幅を２０％だけ増加させるべきであることを示し得る）。パラメータは、音声がユーザに理解できることを可能にする環境についての残響の最大レベルを示し得る。パラメータは、ユーザの推定された音声理解またはリスニングの取り組みに従う、雑音が多い環境における、幅または動的挙動など、ビームフォーマ調整を表し得る。パラメータは、マスキングからの空間的解除を助けるために音ソース分離の人工誇張を提供し得る。パラメータは、ユーザの聴覚に適合された利得および圧縮構造を提供し得る。パラメータは、周波数をシフトすることによってなど、他の話者の音をどのように拡張するかを表し得、これは、ユーザが話者をより良く理解することを可能にする。音パラメータは、音位置特定能力、マスキングからの空間的解除の大きさ、両耳マスキングレベル差、異なるタイプの背景雑音のための雑音中音声しきい値（ｓｐｅｅｃｈ ｉｎ ｎｏｉｓｅ ｔｈｒｅｓｈｏｌｄ）、またはユーザのためのオーディオ品質を増加させ得る任意の他の好適なパラメータを含み得る。

オーディオシステム２００は、ユーザのための拡張されたオーディオ体験を提供するために、オーディオファイル中のパラメータに従ってユーザに提示される音を修正する。たとえば、オーディオプロファイル中のパラメータは、オーディオシステムが、ユーザに提示されるいくつかの周波数の振幅を増加または減少させるべきであることを示し得る。

ユーザのためのオーディオプロファイルを生成するために、個人化モジュール２９０は、ユーザのためのアクティブおよび／またはパッシブオーディオ評価を行う。たとえば、個人化モジュール２９０は、ユーザに、オーディオゲーム、聴覚学スクリーン、リスニングテスト、瞬時環境評価、および体験後調査を提示し得る。

オーディオ評価は、オーディオ評価ルーチンを含み得る。オーディオ評価ルーチンは、オーディオシステムが、いくつかの周波数に対する聴覚過敏または老人性難聴、許容できる残響レベルなど、ユーザの聴覚の特性を表すパラメータを決定する一連のステップである。たとえば、オーディオ評価ルーチンは、旧来の聴覚学、雑音中音声テスト（ｓｐｅｅｃｈ ｉｎ ｎｏｉｓｅ ｔｅｓｔ）、オーディオゲーム、空間分解能テスト、リスニングの取り組み、位置特定精度、性能監視、および体験後調査を含む、明示的リスニングテストルーチンを含み得る。オーディオ評価ルーチンは、オーディオ評価ルーチンに対するユーザの応答を表すオーディオ評価データを生じる。たとえば、オーディオ評価データは、ユーザが音に反応したかどうかを示すバイナリデータ、ユーザが異なる雑音環境における音声をどのくらい良く理解したかを示す精度値、音ソースのほうへの配向移動の持続時間および滑らかさ、前面／背面混乱の比率、位置特定誤り、最小可聴角度、両耳マスキングレベル差の程度などを含み得る。

個人化モジュール２９０は、オーディオプロファイルにオーディオ評価データを記憶する。いくつかの実施形態では、オーディオプロファイルは、データストア２３５になど、ウェアラブルデバイスにローカルに記憶され得る。いくつかの実施形態では、個人化モジュール２９０は、評価データまたはオーディオプロファイルを、ソーシャルネットワーキングシステムなど、外部システムに送信し得る。個人化モジュール２９０は、追加の評価データがキャプチャされたとき、オーディオプロファイルを継続的に更新し得る。

いくつかの実施形態では、個人化モジュール２９０は、オーディオ評価ルーチンの一部としてユーザから知覚フィードバックを取得する。知覚フィードバックは、ユーザが音に応答したかどうか、ユーザがオーディオコンテンツ中の音声を理解したかどうかを示すか、または合成音の知覚されたロケーションを示し得る。いくつかの実施形態では、知覚フィードバックは、ユーザが視線方向から出る音を知覚したことを示す、ユーザの眼の視線方向を含み得る。知覚フィードバックは、「前面」、「背面」、「左」、または「右」など、ユーザからの話された応答、あるいはユーザに提示されるフレーズのユーザによる繰り返しを含み得る。知覚フィードバックは、ユーザが自身の頭部の向きを変えることまたはある方向に手を向けることなど、ユーザによる移動を含み得る。

個人化モジュール２９０は、ユーザからアクティブおよびパッシブ応答をキャプチャする。応答は、マイクロフォン、手追跡、コントローラ、瞳孔測定、脳波記録（ＥＥＧ）、電気皮膚反応（ＧＳＲ）、視標追跡モジュールを介して、グローブからの触覚フィードバックによって、ＩＭＵなどのヘッドセットの運動をキャプチャする位置センサーによってなど、ヘッドセット上の任意のセンサーによってキャプチャされ得る。いくつかの実施形態では、知覚フィードバックは、ヘッドセットまたはユーザの位置を検出するカメラによってなど、外部センサーによってキャプチャされ得る。

いくつかの実施形態では、知覚フィードバックは、アクティブ評価ルーチンにおいて取得され得る。たとえば、ヘッドセットは、オーディオ評価が行われていることをユーザに通知し得、ヘッドセットは、フレーズを繰り返すかまたは音の方向を見るためのなど、アクションを実施するためのオーディオおよび／または視覚命令を提供し得る。

いくつかの実施形態では、知覚フィードバックは、オーディオ評価が行われていることにユーザが気づいていないことがある、パッシブ評価ルーチンにおいて取得され得る。たとえば、ユーザは、仮想現実ゲームに参加しているなど、ヘッドセットと対話していることがあり、個人化モジュール２９０は、仮想現実ゲームの最中に音に対するユーザ応答を監視し得る。

個人化モジュール２９０は、オーディオ評価ルーチンにおける各音ソースについての知覚フィードバックを、音ソースの１つまたは複数のプロパティと比較する。１つまたは複数の音ソースが、オーディオ評価ルーチンのためにオーディオシステムによって生成され得る。オーディオシステムによって生成された音ソースは、知られているプロパティを有し得る。１つまたは複数の音ソースが、ローカルエリアにおけるオブジェクトまたは人々によって生成され得る。オーディオシステムは、ロケーションを追跡することおよび周波数を測定することなど、音ソースについてのプロパティを決定することを行い、ユーザ応答を、測定されたプロパティと比較し得る。音ソースのプロパティは、ロケーション、振幅、周波数、音声中のワードなどを含み得る。

個人化モジュール２９０は、各音ソースの１つまたは複数のプロパティについての精度値を決定し得る。たとえば、個人化モジュール２９０は、１～１０の間のスカラー精度値を割り当て得、１０が、音ソースに対する極めて正確なユーザ応答を示す。各音ソースは、各プロパティについての精度値を含み得る。たとえば、音ソースについての第１の精度値が、ユーザがフレーズ中のワードをどのくらい良く理解したかを示し得、第２の精度値が、音ソースのユーザの知覚したロケーションと、音ソースの実際のまたは意図されたロケーションとの差を示し得る。

個人化モジュール２９０は、オーディオプロファイルを作成するために、オーディオ評価の結果を分析する。いくつかの実施形態では、個人化モジュール２９０は、ヘッドセット上でローカルに結果を分析する。いくつかの実施形態では、個人化モジュール２９０は、結果を外部システムに送信し、外部システムは、オーディオプロファイルを生成する。

オーディオプロファイルは、ユーザのための正または負の評価データに関連付けられた環境条件を表し得る。たとえば、環境条件は、部屋またはローカルエリアの幾何学的条件、ＧＰＳ座標、時刻、話されている言語、信号対雑音比、残響、背景雑音特性などを含み得る。オーディオプロファイルは、ユーザが、特定の環境条件における音声を理解することが可能であったのか不可能であったのかを示し得る。

さらに、オーディオプロファイルは、カスタマイズされたオーディオプロファイルを生成するために、個人化されたＨＲＴＦおよび身体伝達関数など、聴覚に影響を及ぼすユーザの身体的特性に関係する結果を含み得る。身体的データは、ユーザの頭部、耳、および胴の形状を表し得る。身体的データは、ウェアラブルデバイスによってキャプチャされたユーザのピクチャから取得されるか、または、ソーシャルネットワーキングシステムからなど、データベースから取り出され得る。オーディオプロファイルは、形状に部分的に基づいて生成されたＨＲＴＦを含み得る。オーディオプロファイルは、ユーザのための音の後での提示のための命令を提供するために、オーディオ評価データとともにＨＲＴＦを使用し得る。たとえば、特定の角度における音ソースについてのＨＲＴＦが、いくつかの周波数を、他の周波数よりも多く減衰させ得、これは、ユーザにとって不可聴な周波数を潜在的にレンダリングし得る。しかしながら、オーディオ評価データに基づいて、オーディオプロファイルは、周波数が、ユーザにとって可聴であるｄＢレベルまで増加されるべきであることを示し得る。したがって、ＨＲＴＦをオーディオ評価データと組み合わせることによって、オーディオプロファイルは、ユーザのオーディオ体験を改善するためのパラメータの完全なセットを含んでいることがある。

いくつかの実施形態では、個人化モジュール２９０は、オーディオプロファイルを、データストア２３５になど、ヘッドセットにローカルに記憶し得る。いくつかの実施形態では、個人化モジュール２９０は、オーディオプロファイルを外部システムに送信し得、外部システムは、オーディオプロファイルをデータベースに記憶し得る。たとえば、オーディオプロファイルは、ソーシャルネットワークのデータベースに記憶され、ユーザアカウントに関連付けられ得る。

オーディオコントローラ２３０が、ユーザにオーディオコンテンツを提示することを決定したことに応答して、オーディオコントローラ２３０は、オーディオプロファイル中のパラメータについて個人化モジュール２９０に照会する。個人化モジュール２９０は、データストア２３５に照会することによって、または外部システムに照会することによってなど、ユーザのためのオーディオプロファイルを取り出す。

個人化モジュール２９０は、ユーザに提示される音を修正するためにオーディオプロファイルを使用する。オーディオプロファイルを使用することは、ビデオ発呼、仮想現実ゲームおよびアプリケーション、拡張現実テレプレゼンス、リアルタイム音声拡張、リアルタイム雑音低減などを含む、ユーザのオーディオ体験のすべてにわたってオーディオを改善し得る。たとえば、ビデオ呼中に、個人化モジュール２９０は、オーディオプロファイル中のパラメータが、ユーザがいくつかの周波数範囲において低い感度を有することを示す場合、それらの周波数範囲において話す話者の振幅を増加させ得る。仮想現実ゲームでは、オーディオファイル中のパラメータが、ユーザが残響環境における音声を理解することが困難であることを示す場合、個人化モジュール２９０は、ユーザに提示される音における残響の量を減少させ得る。個人化モジュール２９０は、パラメータに従って音フィルタを調整するために、パラメータまたはパラメータに基づく命令を音フィルタモジュール２８０に提供し得る。

いくつかの実施形態では、個人化モジュール２９０は、データストア２３５に、オーディオプロファイルに関連付けられた拡張方式を記憶し得る。拡張方式は、ユーザのための音を修正するために使用されるパラメータのあらかじめ定義されたセットである。拡張方式は、ユーザのためのオーディオプロファイル中のパラメータの代わりに使用され得る。異なるユーザが、同様の聴覚特性を有し得、したがって、異なるユーザが、ユーザに提示される音に対する同様の修正から恩恵を受け得る。複数のユーザを、拡張方式に関連付けられたサブセットにグループ化することによって、システムは、ユーザのための拡張されたオーディオ体験を生成するために使用される複雑さおよび処理電力を減少させ得る。たとえば、いくつかの実施形態では、システムは、１０個の異なる拡張方式、または１０００個の異なる拡張方式を備え得、拡張方式のうちの１つが、ユーザの評価データと選択された拡張方式との間の類似度に基づいてオーディオプロファイルに割り当てられ得る。

オーディオシステム２００が新しいユーザを検出したことに応答して、オーディオシステム２００は、新しいユーザのためのオーディオプロファイルを取り出すことを試み得る。オーディオシステム２００は、たとえば、ログイン情報、パスワード、顔認識などに基づいて、新しいユーザを識別し得る。いくつかの実施形態では、ユーザは、オーディオシステム２００にユーザのソーシャルネットワーク識別情報を提供し得る。個人化モジュール２９０は、新しいユーザのためのオーディオプロファイルについてデータストア２３５または外部システムに照会し得る。データストア２３５または外部システムが、新しいユーザのためのオーディオプロファイルを識別した場合、データストア２３５または外部システムは、そのオーディオプロファイルをオーディオシステム２００に送信し得る。個人化モジュール２９０が、新しいユーザのためのオーディオプロファイルを取得することが不可能である場合、個人化モジュール２９０は、オーディオプロファイルを生成するために、新しいユーザのためのオーディオ評価を始動し得る。

ユーザに音を提示するシステムおよびアプリケーションが、ユーザのためのオーディオ体験を拡張するために、オーディオプロファイルにアクセスし、オーディオプロファイル中のデータに基づいてユーザに提示される音を修正し得る。ヘッドセット、外部システム、またはサードパーティアプリケーションは、ヘッドセットのユーザのための音を生成するために、オーディオプロファイルにアクセスし得る。たとえば、ユーザは、ユーザにとって利用可能な任意のデバイスを使用して、ゲームアプリケーションまたはウェブサイトなど、サードパーティオーディオコンテンツにアクセスし得る。ユーザは、サードパーティにソーシャルネットワークのためのユーザＩＤを提供し得、サードパーティシステムは、ユーザのオーディオファイルについてソーシャルネットワークに照会し得る。サードパーティシステムは、オーディオファイル中のパラメータに従ってユーザに提示されるオーディオコンテンツを修正し得る。

オーディオプロファイルは、セキュリティ設定を含み得る。セキュリティ設定は、オーディオプロファイルへの許可された当事者アクセスのみを可能にするか、またはオーディオプロファイルに記憶されたデータのいくつかの部分へのアクセスのみを可能にし得る。たとえば、オーディオプロファイルは、ユーザのユーザプロファイルとともにソーシャルネットワークに記憶され得、セキュリティ設定は、ソーシャルネットワークにおけるユーザとのつながりを有するエンティティのみが、ユーザのオーディオプロファイルにアクセスし得ることを示し得る。いくつかの実施形態では、オーディオプロファイル中のデータは暗号化され得、暗号化鍵がユーザのウェアラブルデバイスに記憶され得、そのようなサードパーティシステムは、オーディオプロファイルのコンテンツへのアクセスをサードパーティシステムに提供することなしに、ユーザのデバイス上でユーザにコンテンツを提示するためにオーディオプロファイルを利用し得る。

図３は、１つまたは複数の実施形態による、拡張されたオーディオコンテンツを生成する方法３００のフローチャートである。図３に示されているプロセスは、オーディオシステム（たとえば、オーディオシステム２００）の構成要素によって実施され得る。他のエンティティが、他の実施形態において図３中のステップの一部または全部を実施し得る。実施形態は、異なるおよび／または追加のステップを含むか、あるいは異なる順序でステップを実施し得る。

ウェアラブルデバイス上のオーディオシステムが、３１０において、ユーザのオーディオ評価データを収集する。オーディオ評価データを収集することは、オーディオ評価ルーチンを実施することを含み得る。オーディオ評価ルーチンは、オーディオコンテンツに対するユーザ応答を監視することを含み得る。たとえば、ユーザは、フレーズを繰り返す、オーディオコンテンツのためのレーティングを提供する、音ソースの方向を見る、などを行い得る。

オーディオシステムは、３２０において、オーディオ評価データとユーザを表す身体的データとに基づいて、オーディオプロファイルを更新する。オーディオプロファイルは、ユーザへの提示のためのオーディオコンテンツをどのように調整すべきかを示すパラメータを含み得る。たとえば、オーディオ評価ルーチンの結果に基づいて、パラメータは、いくつかの周波数帯域の振幅がユーザのために増加されるべきであること、または人工オーディオ環境における残響のレベルが、ユーザが音声を理解することを可能にするために減少されるべきであることを示し得る。身体的データは、ユーザの頭部、耳、および胴の形状を表し得る。身体的データは、ウェアラブルデバイスによってキャプチャされたユーザのピクチャから取得されるか、または、ソーシャルネットワーキングシステムからなど、データベースから取り出され得る。オーディオプロファイルは、形状に部分的に基づいて生成されたＨＲＴＦを含み得る。

オーディオシステムは、３３０において、オーディオプロファイルを記憶する。いくつかの実施形態では、オーディオシステムは、オーディオプロファイルをウェアラブルデバイスにローカルに記憶する。他の実施形態では、オーディオシステムは、オーディオプロファイルを、ソーシャルメディアネットワークなど、外部システムに送信し得、外部システムは、ユーザのためのユーザプロファイルとともにオーディオプロファイルを記憶し得る。オーディオシステムまたは外部システムは、オーディオプロファイルに拡張方式を割り当て得る。

オーディオシステムは、３４０において、オーディオプロファイルに部分的に基づいて、ユーザにオーディオコンテンツを提示する。オーディオコンテンツは、仮想現実ゲームのためのオーディオ、ユーザのローカルエリアにおけるオブジェクトによって生成された音、音楽、またはウェアラブルデバイスによる生成に好適な任意の他のオーディオを含み得る。オーディオシステムは、オーディオプロファイル内のパラメータに基づいてオーディオコンテンツを修正し得る。いくつかの実施形態では、オーディオシステムは、オーディオファイルに関連付けられた拡張方式に基づいてオーディオコンテンツを修正し得る。

いくつかの実施形態では、オーディオコンテンツは、ユーザが前に使用していないデバイスなど、任意のデバイスによってユーザに提示され得る。デバイスは、外部システムにオーディオプロファイルを要求し得、デバイスは、オーディオプロファイルに基づいてユーザにカスタマイズされたオーディオコンテンツを提示し得る。

図４は、１つまたは複数の実施形態による、ウェアラブルデバイス４０５を含むシステム４００である。いくつかの実施形態では、ウェアラブルデバイス４０５は、図１Ａのヘッドセット１００または図１Ｂのヘッドセット１０５であり得る。システム４００は、人工現実環境（たとえば、仮想現実環境、拡張現実環境、複合現実環境、またはそれらの何らかの組合せ）において動作し得る。図４によって示されているシステム４００は、ウェアラブルデバイス４０５と、コンソール４１５に結合された入出力（Ｉ／Ｏ）インターフェース４１０と、ネットワーク４２０と、マッピングサーバ４２５と、外部システム４７０とを含む。図４は、１つのウェアラブルデバイス４０５と１つのＩ／Ｏインターフェース４１０とを含む例示的なシステム４００を示すが、他の実施形態では、任意の数のこれらの構成要素が、システム４００中に含まれ得る。たとえば、各々が、関連付けられたＩ／Ｏインターフェース４１０を有する、複数のヘッドセットがあり得、各ヘッドセットおよびＩ／Ｏインターフェース４１０はコンソール４１５と通信する。代替構成では、異なるおよび／または追加の構成要素が、システム４００中に含まれ得る。さらに、図４に示されている構成要素のうちの１つまたは複数に関して説明される機能性は、いくつかの実施形態では、図４に関して説明されるものとは異なる様式で構成要素の間で分散され得る。たとえば、コンソール４１５の機能性の一部または全部がウェアラブルデバイス４０５によって提供され得る。

ウェアラブルデバイス４０５は、ディスプレイアセンブリ４３０と、光学ブロック４３５と、１つまたは複数の位置センサー４４０と、ＤＣＡ４４５とを含む。ウェアラブルデバイス４０５のいくつかの実施形態は、図４に関して説明されるものとは異なる構成要素を有する。さらに、図４に関して説明される様々な構成要素によって提供される機能性は、他の実施形態ではウェアラブルデバイス４０５の構成要素の間で別様に分散されるか、またはウェアラブルデバイス４０５からリモートにある別個のアセンブリにおいて取り込まれ得る。

ディスプレイアセンブリ４３０は、コンソール４１５から受信されたデータに従ってユーザにコンテンツを表示する。ディスプレイアセンブリ４３０は、１つまたは複数のディスプレイ要素（たとえば、ディスプレイ要素１２０）を使用してコンテンツを表示する。ディスプレイ要素は、たとえば、電子ディスプレイであり得る。様々な実施形態では、ディスプレイアセンブリ４３０は、単一のディスプレイ要素または複数のディスプレイ要素（たとえば、ユーザの各眼のためのディスプレイ）を備える。電子ディスプレイの例は、液晶ディスプレイ（ＬＣＤ）、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオードディスプレイ（ＡＭＯＬＥＤ）、導波路ディスプレイ、何らかの他のディスプレイ、またはそれらの何らかの組合せを含む。いくつかの実施形態では、ディスプレイ要素１２０は光学ブロック４３５の機能性の一部または全部をも含み得ることに留意されたい。

光学ブロック４３５は、電子ディスプレイから受光された画像光を拡大し、画像光に関連する光学誤差を補正し得、補正された画像光をウェアラブルデバイス４０５の一方または両方のアイボックスに提示する。様々な実施形態では、光学ブロック４３５は、１つまたは複数の光学要素を含む。光学ブロック４３５中に含まれる例示的な光学要素は、アパーチャ、フレネルレンズ、凸レンズ、凹レンズ、フィルタ、反射面、または画像光に影響を及ぼす任意の他の好適な光学要素を含む。その上、光学ブロック４３５は、異なる光学要素の組合せを含み得る。いくつかの実施形態では、光学ブロック４３５中の光学要素のうちの１つまたは複数は、部分反射コーティングまたは反射防止コーティングなど、１つまたは複数のコーティングを有し得る。

光学ブロック４３５による画像光の拡大および集束は、電子ディスプレイが、より大きいディスプレイよりも、物理的により小さくなり、重さが減じ、少ない電力を消費することを可能にする。さらに、拡大は、電子ディスプレイによって提示されるコンテンツの視野を増加させ得る。たとえば、表示されるコンテンツの視野は、表示されるコンテンツが、ユーザの視野のほとんどすべて（たとえば、対角約１１０度）、およびいくつかの場合にはすべてを使用して提示されるようなものである。さらに、いくつかの実施形態では、拡大の量は、光学要素を追加することまたは取り外すことによって調整され得る。

いくつかの実施形態では、光学ブロック４３５は、１つまたは複数のタイプの光学誤差を補正するように設計され得る。光学誤差の例は、たる形ひずみまたは糸巻き形ひずみ、縦色収差、あるいは横色収差を含む。他のタイプの光学誤差は、球面収差、色収差、またはレンズ像面湾曲による誤差、非点収差、または任意の他のタイプの光学誤差をさらに含み得る。いくつかの実施形態では、表示のために電子ディスプレイに提供されるコンテンツは予歪され、光学ブロック４３５が、そのコンテンツに基づいて生成された画像光を電子ディスプレイから受光したとき、光学ブロック４３５はそのひずみを補正する。

位置センサー４４０は、ウェアラブルデバイス４０５の位置を示すデータを生成する電子デバイスである。位置センサー４４０は、ウェアラブルデバイス４０５の運動に応答して１つまたは複数の測定信号を生成する。位置センサー１９０は、位置センサー４４０の一実施形態である。位置センサー４４０の例は、１つまたは複数のＩＭＵ、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ、１つまたは複数の磁力計、運動を検出する別の好適なタイプのセンサー、またはそれらの何らかの組合せを含む。位置センサー４４０は、並進運動（前／後、上／下、左／右）を測定するための複数の加速度計と、回転運動（たとえば、ピッチ、ヨー、ロール）を測定するための複数のジャイロスコープとを含み得る。いくつかの実施形態では、ＩＭＵは、測定信号を迅速にサンプリングし、サンプリングされたデータからウェアラブルデバイス４０５の推定位置を計算する。たとえば、ＩＭＵは、加速度計から受信された測定信号を経時的に積分して速度ベクトルを推定し、その速度ベクトルを経時的に積分して、ウェアラブルデバイス４０５上の基準点の推定位置を決定する。基準点は、ウェアラブルデバイス４０５の位置を表すために使用され得る点である。基準点は、概して空間中の点として定義され得るが、実際には、基準点は、ウェアラブルデバイス４０５内の点として定義される。

ＤＣＡ４４５は、ローカルエリアの一部分についての深度情報を生成する。ＤＣＡは、１つまたは複数のイメージングデバイスとＤＣＡコントローラとを含む。ＤＣＡ４４５は照明器をも含み得る。ＤＣＡ４４５の動作および構造は、図１Ａに関して上記で説明された。

オーディオシステム４５０は、ウェアラブルデバイス４０５のユーザにオーディオコンテンツを提供する。オーディオシステム４５０は、上記で説明されたオーディオシステム２００の一実施形態であり得る。オーディオシステム４５０は、１つまたは音響センサーと、１つまたは複数のトランスデューサと、オーディオコントローラとを備え得る。オーディオシステム４５０は、空間化されたオーディオコンテンツをユーザに提供し得る。いくつかの実施形態では、オーディオシステム４５０は、ネットワーク４２０を介してマッピングサーバ４２５に音響パラメータを要求し得る。音響パラメータは、ローカルエリアの１つまたは複数の音響プロパティ（たとえば、室内インパルス応答、残響時間、残響レベルなど）を表す。オーディオシステム４５０は、たとえば、ＤＣＡ４４５からのローカルエリアの少なくとも一部分を表す情報、および／または位置センサー４４０からのウェアラブルデバイス４０５についてのロケーション情報を提供し得る。オーディオシステム４５０は、マッピングサーバ４２５から受信された音響パラメータの１つまたは複数を使用して、１つまたは複数の音フィルタを生成し、音フィルタを使用して、ユーザにオーディオコンテンツを提供し得る。

オーディオシステム４５０は、オーディオ評価ルーチンを行い得る。オーディオシステム４５０は、オーディオ評価ルーチンに基づいてユーザのためのオーディオプロファイル４８０を作成し得る。オーディオシステム４５０は、オーディオプロファイル４８０および／またはオーディオ評価ルーチンの結果を外部システム４７０に送信し得、外部システム４７０は、オーディオプロファイル４８０を記憶し得る。いくつかの実施形態では、オーディオシステム４５０は、外部システム４７０にユーザのためのオーディオプロファイルを要求し得る。オーディオシステム４５０は、オーディオプロファイルに記憶されたパラメータに基づいて、ユーザに提示されているオーディオコンテンツを修正し得る。

Ｉ／Ｏインターフェース４１０は、ユーザがアクション要求を送り、コンソール４１５から応答を受信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、画像データまたはビデオデータのキャプチャを開始または終了するための命令、あるいはアプリケーション内で特定のアクションを実施するための命令であり得る。Ｉ／Ｏインターフェース４１０は、１つまたは複数の入力デバイスを含み得る。例示的な入力デバイスは、キーボード、マウス、ゲームコントローラ、またはアクション要求を受信し、そのアクション要求をコンソール４１５に通信するための任意の他の好適なデバイスを含む。Ｉ／Ｏインターフェース４１０によって受信されたアクション要求は、コンソール４１５に通信され、コンソール４１５は、そのアクション要求に対応するアクションを実施する。いくつかの実施形態では、Ｉ／Ｏインターフェース４１０は、Ｉ／Ｏインターフェース４１０の初期位置に対するＩ／Ｏインターフェース４１０の推定位置を示す較正データをキャプチャするＩＭＵを含む。いくつかの実施形態では、Ｉ／Ｏインターフェース４１０は、コンソール４１５から受信された命令に従って、ユーザに触覚フィードバックを提供し得る。たとえば、アクション要求が受信されたときに触覚フィードバックが提供されるか、または、コンソール４１５がアクションを実施するときに、コンソール４１５が、Ｉ／Ｏインターフェース４１０に命令を通信して、Ｉ／Ｏインターフェース４１０が触覚フィードバックを生成することを引き起こす。

コンソール４１５は、ＤＣＡ４４５、ウェアラブルデバイス４０５、およびＩ／Ｏインターフェース４１０のうちの１つまたは複数から受信された情報に従って処理するためのコンテンツをウェアラブルデバイス４０５に提供する。図４に示されている例では、コンソール４１５は、アプリケーションストア４５５と、追跡モジュール４６０と、エンジン４６５とを含む。コンソール４１５のいくつかの実施形態は、図４に関して説明されるものとは異なるモジュールまたは構成要素を有する。同様に、以下でさらに説明される機能は、図４に関して説明されるものとは異なる様式でコンソール４１５の構成要素の間で分散され得る。いくつかの実施形態では、コンソール４１５に関して本明細書で説明される機能性は、ウェアラブルデバイス４０５、またはリモートシステムにおいて実装され得る。

アプリケーションストア４５５は、コンソール４１５による実行のための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションによって生成されたコンテンツは、ウェアラブルデバイス４０５またはＩ／Ｏインターフェース４１０の移動を介してユーザから受信された入力に応答したものであり得る。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。いくつかの実施形態では、１つまたは複数のアプリケーションが、ネットワーク４２０を介してコンソール４１５またはウェアラブルデバイス４０５と通信する外部サーバに記憶され得る。アプリケーションは、ウェアラブルデバイス４０５上での提示のためのオーディオコンテンツを生成し得、オーディオシステム４５０は、オーディオプロファイル４８５に基づいてオーディオコンテンツを修正し得る。いくつかの実施形態では、アプリケーションは、オーディオコンテンツをオーディオシステム４５０に送信し、オーディオシステム４５０は、ウェアラブルデバイス４０５にローカルに記憶されたオーディオファイル中のパラメータに基づいてオーディオコンテンツを修正する。

追跡モジュール４６０は、ＤＣＡ４４５からの情報、１つまたは複数の位置センサー４４０からの情報、またはそれらの何らかの組合せを使用して、ウェアラブルデバイス４０５またはＩ／Ｏインターフェース４１０の移動を追跡する。たとえば、追跡モジュール４６０は、ウェアラブルデバイス４０５からの情報に基づいて、ローカルエリアのマッピングにおいてウェアラブルデバイス４０５の基準点の位置を決定する。追跡モジュール４６０は、オブジェクトまたは仮想オブジェクトの位置をも決定し得る。さらに、いくつかの実施形態では、追跡モジュール４６０は、ウェアラブルデバイス４０５の将来のロケーションを予測するために、位置センサー４４０からのウェアラブルデバイス４０５の位置を示すデータの部分ならびにＤＣＡ４４５からのローカルエリアの表現を使用し得る。追跡モジュール４６０は、ウェアラブルデバイス４０５またはＩ／Ｏインターフェース４１０の推定または予測された将来の位置をエンジン４６５に提供する。

エンジン４６５は、アプリケーションを実行し、追跡モジュール４６０から、ウェアラブルデバイス４０５の位置情報、加速度情報、速度情報、予測された将来の位置、またはそれらの何らかの組合せを受信する。受信された情報に基づいて、エンジン４６５は、ユーザへの提示のためにウェアラブルデバイス４０５に提供すべきコンテンツを決定する。たとえば、受信された情報が、ユーザが左を見ていることを示す場合、エンジン４６５は、仮想ローカルエリアにおいて、またはローカルエリアを追加のコンテンツで拡張するローカルエリアにおいて、ユーザの移動をミラーリングする、ウェアラブルデバイス４０５のためのコンテンツを生成する。さらに、エンジン４６５は、Ｉ／Ｏインターフェース４１０から受信されたアクション要求に応答して、コンソール４１５上で実行しているアプリケーション内でアクションを実施し、そのアクションが実施されたというフィードバックをユーザに提供する。提供されるフィードバックは、ウェアラブルデバイス４０５を介した視覚または可聴フィードバック、あるいはＩ／Ｏインターフェース４１０を介した触覚フィードバックであり得る。

ネットワーク４２０は、ウェアラブルデバイス４０５および／またはコンソール４１５をマッピングサーバ４２５に結合する。ネットワーク４２０は、ワイヤレス通信システムおよび／またはワイヤード通信システムの両方を使用する、ローカルエリアネットワークおよび／またはワイドエリアネットワークの任意の組合せを含み得る。たとえば、ネットワーク４２０は、インターネット、ならびに携帯電話網を含み得る。一実施形態では、ネットワーク４２０は、標準通信技術および／またはプロトコルを使用する。したがって、ネットワーク４２０は、イーサネット、８０２．１１、ワールドワイドインターオペラビリティフォーマイクロウェーブアクセス（ＷｉＭＡＸ）、２Ｇ／３Ｇ／４Ｇモバイル通信プロトコル、デジタル加入者回線（ＤＳＬ）、非同期転送モード（ＡＴＭ）、ＩｎｆｉｎｉＢａｎｄ、ＰＣＩ Ｅｘｐｒｅｓｓアドバンストスイッチングなどの技術を使用するリンクを含み得る。同様に、ネットワーク４２０上で使用されるネットワーキングプロトコルは、マルチプロトコルラベルスイッチング（ＭＰＬＳ）、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、ハイパーテキストトランスポートプロトコル（ＨＴＴＰ）、簡易メール転送プロトコル（ＳＭＴＰ）、ファイル転送プロトコル（ＦＴＰ）などを含むことができる。ネットワーク４２０を介して交換されるデータは、２進形式（たとえばポータブルネットワークグラフィックス（ＰＮＧ））の画像データ、ハイパーテキストマークアップ言語（ＨＴＭＬ）、拡張可能マークアップ言語（ＸＭＬ）などを含む、技術および／またはフォーマットを使用して表現され得る。さらに、リンクの全部または一部は、セキュアソケットレイヤ（ＳＳＬ）、トランスポートレイヤセキュリティ（ＴＬＳ）、仮想プライベートネットワーク（ＶＰＮ）、インターネットプロトコルセキュリティ（ＩＰｓｅｃ）など、従来の暗号化技術を使用して暗号化され得る。

マッピングサーバ４２５は、複数の空間を表す仮想モデルを記憶するデータベースを含み得、仮想モデル中の１つのロケーションが、ウェアラブルデバイス４０５のローカルエリアの現在の構成に対応する。マッピングサーバ４２５は、ウェアラブルデバイス４０５からネットワーク４２０を介して、ローカルエリアおよび／またはローカルエリアについてのロケーション情報の少なくとも一部分を表す情報を受信する。マッピングサーバ４２５は、受信された情報および／またはロケーション情報に基づいて、ウェアラブルデバイス４０５のローカルエリアに関連付けられた仮想モデル中のロケーションを決定する。マッピングサーバ４２５は、仮想モデル中の決定されたロケーションおよび決定されたロケーションに関連付けられた任意の音響パラメータに部分的に基づいて、ローカルエリアに関連付けられた１つまたは複数の音響パラメータを決定する（たとえば、取り出す）。マッピングサーバ４２５は、ローカルエリアのロケーションおよびローカルエリアに関連付けられた音響パラメータの任意の値をウェアラブルデバイス４０５に送信し得る。

外部システム４７０は、ソーシャルネットワークなど、ユーザプロファイルを記憶するシステムであり得る。外部システム４７０は、ウェアラブルデバイス４０５のユーザのためのユーザプロファイル４７５を記憶し得る。ユーザプロファイル４７５は、人口統計学的情報、ユーザによってアップロードされたコンテンツ、ユーザと外部システム４７０の他のユーザとの間のつながりなど、ユーザに関する情報を含み得る。外部システム４７０は、ユーザプロファイル４７５の一部としての、またはユーザプロファイル４７５に関連付けられた、オーディオプロファイル４８０を記憶し得る。オーディオプロファイル４８０は、ウェアラブルデバイス４０５から受信されたオーディオ評価データを含んでいることがある。

いくつかの実施形態では、外部システム４７０は、オーディオプロファイルに関連付けられた拡張方式を記憶し得る。拡張方式は、ユーザのための音を修正するために使用されるパラメータのあらかじめ定義されたセットである。拡張方式は、ユーザのためのオーディオファイル中のパラメータの代わりに使用され得る。

追加の構成情報
本開示の実施形態の上記の説明は、説明の目的で提示されており、網羅的であること、または開示される正確な形態に本開示を限定することは意図されない。当業者は、上記の開示に照らして多くの修正および変形が可能であることを諒解することができる。

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の実施形態について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、算出量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組合せにおいて具現され得る。

本明細書で説明されるステップ、動作、またはプロセスのいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。

本開示の実施形態はまた、本明細書の動作を実施するための装置に関し得る。この装置は、必要とされる目的のために特別に構築され得、および／あるいは、この装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または電子命令を記憶するのに好適な任意のタイプの媒体に記憶され得、それらの媒体はコンピュータシステムバスに結合され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または増加された算出能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

本開示の実施形態はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の実施形態を含み得る。

最終的に、本明細書において使用される言い回しは、主に読みやすさおよび教育目的で選択されており、本明細書において使用される言い回しは、本発明の主題を定めるかまたは制限するように選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、実施形態の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

Claims (15)

1. ウェアラブルデバイスによって、ユーザのオーディオ評価データを収集することと、
   前記オーディオ評価データと前記ユーザを表す身体的データとに基づいて、オーディオプロファイルを更新することと、
   前記オーディオプロファイルに部分的に基づいて、前記ユーザにオーディオコンテンツを提示することと
   を含む、方法。
2. 前記オーディオプロファイルをソーシャルネットワークに送信することをさらに含み、前記ソーシャルネットワークが、前記オーディオプロファイルをユーザプロファイルに関連付け、前記ソーシャルネットワークが、前記オーディオプロファイルを拡張方式に関連付けた、請求項１に記載の方法。
3. 前記ウェアラブルデバイスによって、前記オーディオプロファイルを作成することをさらに含む、請求項１に記載の方法。
4. 外部システムから前記オーディオコンテンツを受信することと、
   前記オーディオプロファイルに基づいて前記オーディオコンテンツを修正することと
   をさらに含む、請求項１に記載の方法。
5. 前記オーディオ評価データを前記収集することが、
   前記ユーザに音を提示することと、
   前記ユーザによる前記音に対する応答を検出することと
   を含む、請求項１に記載の方法。
6. 前記オーディオ評価データを前記収集することが、
   ローカルエリアにおける音ソースのロケーションを決定することと、
   前記ユーザによる前記音ソースに対する応答を検出することと
   を含む、請求項１に記載の方法。
7. 前記身体的データが、前記ユーザの耳形状を表す、請求項１に記載の方法。
8. ソーシャルネットワークから前記オーディオプロファイルを取り出すことをさらに含む、請求項１に記載の方法。
9. 前記オーディオ評価データを前記収集することが、前記ユーザの聴覚の特性を表すパラメータを決定するためにオーディオ評価ルーチンを行うことを含み、前記パラメータが、スケーリングファクタまたは残響の最大レベルのうちの少なくとも１つを含む、請求項１に記載の方法。
10. 前記オーディオプロファイルが、セキュリティ設定を含み、前記セキュリティ設定が、サードパーティが前記オーディオプロファイルにアクセスすることを許可されるかどうかを示す、請求項１に記載の方法。
11. 非一時的コンピュータ可読記憶媒体を備えるコンピュータプログラム製品であって、前記非一時的コンピュータ可読記憶媒体が、
    ウェアラブルデバイスによって、ユーザのオーディオ評価データを収集することと、
    前記オーディオ評価データと前記ユーザを表す身体的データとに基づいて、オーディオプロファイルを更新することと、
    前記オーディオプロファイルに部分的に基づいて、前記ユーザにオーディオコンテンツを提示することと
    を行うためのコンピュータプログラムコードを含んでいる、コンピュータプログラム製品。
12. 前記オーディオプロファイルをソーシャルネットワークに送信するためのコンピュータプログラムコードをさらに備え、前記ソーシャルネットワークが、前記オーディオプロファイルをユーザプロファイルに関連付ける、請求項１１に記載のコンピュータプログラム製品。
13. 非一時的コンピュータ可読記憶媒体を備えるウェアラブルデバイスであって、前記非一時的コンピュータ可読記憶媒体が、
    前記ウェアラブルデバイスによって、ユーザのオーディオ評価データを収集することと、
    前記オーディオ評価データと前記ユーザを表す身体的データとに基づいて、オーディオプロファイルを更新することと、
    前記オーディオプロファイルに部分的に基づいて、前記ユーザにオーディオコンテンツを提示することと
    を行うためのコンピュータプログラムコードを含んでいる、ウェアラブルデバイス。
14. 前記オーディオプロファイルをソーシャルネットワークに送信するためのコンピュータプログラムコードをさらに備え、前記ソーシャルネットワークが、前記オーディオプロファイルをユーザプロファイルに関連付け、前記ソーシャルネットワークが、前記オーディオプロファイルを拡張方式に関連付ける、請求項１３に記載のウェアラブルデバイス。
15. 外部システムから前記オーディオコンテンツを受信することと、
    前記オーディオプロファイルに基づいて前記オーディオコンテンツを修正することと
    を行うためのコンピュータプログラムコードをさらに備える、請求項１３に記載のウェアラブルデバイス。

Images