JP2021536054A - 推奨を配信する方法、デバイス、及びシステム - Google Patents

Abstract

電子デバイスは、画像センサによってキャプチャされた視野を特徴付けるパススルー画像データを取得し、パススルー画像データ内の認識された対象がユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定し、パススルー画像データ内の認識された対象が信頼スコア閾値を満たすと判定したことに応じて、認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムを生成し、パススルー画像データを、視野内の認識された対象に近接した１つ以上のＣＧＲコンテンツアイテムと合成する。

Description

関連出願の相互参照
本出願は、参照によりその全体が本明細書に組み込まれる、２０１８年９月１１日出願の米国特許仮出願第６２／７２９，９６０号に対する優先権を主張するものである。

技術分野
本出願は、概して、コンピュータ生成現実環境において推奨を配信することに関し、最適な推奨の配信を可能にする電子デバイスを含むが、これらに限定されない。

物理的環境とは、人々が電子システムの助けなしに、感知及び／又は相互作用することができる物理的世界を指す。物理的な公園などの物理的環境には、物理的な木々、物理的な建物、及び物理的な人々などの物理的物品を含む。人々は、視覚、触覚、聴覚、味覚、及び臭覚などを介して、物理的環境を直接感知し、及び／又はそれと相互作用することができる。

対照的に、コンピュータ生成現実（computer-generated reality、ＣＧＲ）環境は、人々が電子システムを介して感知及び／又は相互作用する全体的又は部分的にシミュレーションされた環境を指す。ＣＧＲでは、人の物理的動作のサブセット又はその表現がトラッキングされ、それに応答して、ＣＧＲ環境内でシミュレートされた１つ以上の仮想オブジェクトの１つ以上の特性が、少なくとも１つの物理学の法則に適合するように調整される。例えば、ＣＧＲシステムは、人の頭部が回転するのを検出し、それに応じて、その人に提示するグラフィックコンテンツ及び音場を、そのような視界及び音が物理的環境において変化するであろうと似たように調整することができる。状況によっては（例えば、利用しやすさの理由から）、ＣＧＲ環境における仮想オブジェクト（単数又は複数）の特性（単数又は複数）に対する調整は、物理的動作の表現（例えば、音声コマンド）に応じて行われてもよい。

人は、視覚、聴覚、触覚、味覚及び嗅覚を含むこれらの感覚のうちの任意の１つを使用して、ＣＧＲオブジェクトを感知し、かつ／又はＣＧＲオブジェクトと相互作用してもよい。例えば、人は、３Ｄ空間において点音源の知覚を提供する、３Ｄ又は空間的広がりを有するオーディオ環境を作り出すオーディオオブジェクトを感知し、かつ／又はそれと相互作用することができる。別の例では、オーディオオブジェクトは、コンピュータ生成オーディオを含め、又は含めずに、物理的環境から周囲音を選択的に組み込むオーディオ透過性を可能にすることができる。いくつかのＣＧＲ環境では、人は、オーディオオブジェクトのみを感知し、及び／又はそれと相互作用することができる。

ＣＧＲの例としては、仮想現実及び複合現実が挙げられる。

仮想現実（virtual reality、ＶＲ）環境とは、１つ以上の感覚について、全面的にコンピュータ生成感覚の入力に基づくように設計されたシミュレーション環境を指す。ＶＲ環境は、人が感知及び／又は相互作用することができる複数の仮想オブジェクトを含む。例えば、木、建物、及び人々を表すアバターのコンピュータ生成画像は、仮想オブジェクトの例である。人は、コンピュータ生成環境内に人が存在することのシミュレーションを通じて、かつ／又はコンピュータ生成環境内での人の物理的動作のサブセットのシミュレーションを通じて、ＶＲ環境における仮想オブジェクトを感知し、かつ／又はそれと相互作用することができる。

コンピュータ生成感覚入力に全面的に基づくように設計されたＶＲ環境とは対照的に、複合現実（mixed reality、ＭＲ）環境は、コンピュータ生成感覚入力（例えば、仮想オブジェクト）を含むことに加えて、物理的環境からの感覚入力又はその表現を組み込むように設計されたシミュレーション環境を指す。仮想性の連続体上において、複合現実環境は、一方の端部における完全な物理的環境と、他方の端部における仮想現実環境との間にあるがこれらを含まないどこかにある。

いくつかのＭＲ環境では、コンピュータ生成感覚入力は、物理的環境からの感覚入力の変化に応答し得る。また、ＭＲ環境を提示するためのいくつかの電子システムの一部は、仮想オブジェクトが現実のオブジェクト（すなわち、物理的環境からの物理的物品又はその表現）と相互作用することを可能にするために、物理的環境に関する所在場所及び／又は向きをトラッキングすることができる。例えば、システムは、仮想の木が物理的な地面に対して静止して見えるような動きに責任を有し得る。

複合現実の例としては、拡張現実及び拡張仮想現実が挙げられる。

拡張現実（augmented reality、ＡＲ）環境は、１つ以上の仮想オブジェクトが物理的環境上又はその表現上に重ねられたシミュレーション環境を指す。例えば、ＡＲ環境を提示するための電子システムは、人が物理的環境を直接見ることができる透明又は半透明のディスプレイを有してもよい。システムは、透明又は半透明のディスプレイ上に仮想オブジェクトを提示するように構成されていてもよく、それによって、人はシステムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。あるいは、システムは、不透明ディスプレイと、物理的環境の表現である、物理的環境の画像又は動画をキャプチャする１つ以上の撮像センサとを有してもよい。システムは、画像又は動画を仮想オブジェクトと合成し、その合成物を不透明なディスプレイ上に提示する。人は、システムを使用して、物理的環境の画像又は動画によって物理的環境を間接的に見て、物理的環境上に重ねられた仮想オブジェクトを知覚する。本明細書で使用するとき、不透明ディスプレイ上に示される物理的環境の動画は、「パススルー動画」と呼ばれ、システムが、１つ以上の撮像センサ（単数又は複数）を使用して、物理的環境の画像をキャプチャし、不透明ディスプレイ上にＡＲ環境を提示する際にそれらの画像を使用することを意味する。更に代替的に、システムは、仮想オブジェクトを、物理的環境に、例えば、ホログラムとして又は物理的表面上に投影するプロジェクションシステムを有してもよく、それによって、人は、システムを使用して、物理的環境上に重ねられた仮想オブジェクトを知覚する。

拡張現実環境はまた、物理的環境の表現がコンピュータ生成感覚情報によって変換されるシミュレーション環境を指す。例えば、パススルー動画を提供する際に、システムは、１つ以上のセンサ画像を変換して、撮像センサによってキャプチャされた遠近法とは異なる選択された遠近法（例えば、視点）による面付けを行うことができる。別の例として、物理的環境の表現は、その一部分をグラフィカルに変更（例えば、拡大）することによって変換されてもよく、それにより、変更された部分を元のキャプチャ画像を表すが写実的はないバージョンとすることができる。更なる例として、物理的環境の表現は、その一部分をグラフィカルに除去又は曖昧化することによって変換されてもよい。

拡張仮想（augmented virtuality、ＡＶ）環境は、物理的環境からの１つ以上の感覚入力を仮想環境又はコンピュータ生成環境が組み込むシミュレーション環境を指す。感覚入力は、物理的環境の１つ以上の特性の表現であり得る。例えば、ＡＶパークには、仮想の木及び仮想の建物があり得るが、顔がある人々は、物理的な人々を撮った画像から顔が写実的に再現される。別の例として、仮想オブジェクトは、１つ以上の撮像センサによって撮像された物理的物品の形状又は色を採用してもよい。更なる例として、仮想オブジェクトは、物理的環境における太陽の位置と整合性のある影を採用することができる。

人が様々なＣＧＲ環境を感知し、かつ／又はＣＧＲ環境と相互作用することを可能とする、多くの様々に異なる電子システムが存在する。例としては、スマートフォン、タブレット、デスクトップ／ラップトップコンピュータ、ヘッドマウントシステム、プロジェクションベースシステム、ヘッドアップディスプレイ（heads-up display、ＨＵＤ）、統合表示機能を有する車両ウィンドシールド、統合表示機能を有する窓、（例えば、コンタクトレンズと同様に）人の目に接して配置されるように設計されたレンズとして形成されたディスプレイ、ヘッドホン／イヤフォン、スピーカアレイ、入力システム（例えば、触覚フィードバックを有する若しくは有さないウェアラブル若しくはハンドヘルドコントローラ、並びに／又はハンドトラッキング機能及び／若しくは他の身体姿勢推定機能を有するカメラ）が挙げられる。

ヘッドマウントシステムは、１つ以上のスピーカ（単数又は複数）及び一体型不透明ディスプレイを有してもよい。あるいは、ヘッドマウントシステムは、外部の不透明ディスプレイ（例えば、スマートフォン）を受け入れるように構成されたヘッドマウントエンクロージャ（head-mounted enclosure、ＨＭＥ）であってもよい。ヘッドマウントシステムは、物理的環境の画像若しくは動画をキャプチャするための１つ以上の撮像センサ、及び／又は物理的環境の音声をキャプチャするための１つ以上のマイクロフォンを組み込んでいてもよい。ヘッドマウントシステムは、不透明ディスプレイではなく、透明又は半透明のディスプレイを有してもよい。透明又は半透明のディスプレイは、媒体であって、それを通って画像を表す光が人の目に向けられる媒体を有してもよい。ディスプレイは、デジタル光投影、ＯＬＥＤ、ＬＥＤ、ｕＬＥＤ、液晶オンシリコン、レーザスキャン光源、又はこれらの技術の任意の組み合わせを利用することができる。媒体は、光導波路、ホログラム媒体、光結合器、光反射器、又はこれらの任意の組み合わせであってもよい。一実装形態において、透明又は半透明のディスプレイは、選択的に不透明になるように構成されていてもよい。プロジェクションベースシステムは、グラフィック画像を人間の網膜上に投影する網膜投影技術を採用することができる。プロジェクションシステムはまた、例えば、ホログラムとして、又は物理的表面上に、仮想オブジェクトを物理的環境内に投影するように構成されていてもよい。

ＣＧＲ（ＡＲ）技術は、ユーザの日常生活の不可欠な部分となる可能性を有する。ＣＧＲを実装するデバイスは、ナビゲーションを初め、気象、建築、ゲームまで、及び更により多くの、あらゆる局面に関する情報をユーザに提供することができる。しかしながら、ユーザは提供される情報量に圧倒され、情報がユーザの関心に適さない場合がある。

いくつかの実施形態によれば、方法は、１つ以上のプロセッサ及び非一時的メモリを備える電子デバイスにおいて実行される。方法は、画像センサによってキャプチャされた視野を特徴付けるパススルー画像データを取得することを含む。この方法はまた、パススルー画像データ内の認識された対象がユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定することを含む。この方法は、パススルー画像データ内の認識された対象が信頼スコア閾値を満たすと判定したことに応じて、認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＡＲ）コンテンツアイテムを生成することを更に含む。この方法は、パススルー画像データを、視野内の認識された対象に近接した１つ以上のＣＧＲコンテンツアイテムと合成することを追加的に含む。

いくつかの実施形態によれば、方法は、１つ以上のプロセッサ及び非一時的メモリを備える電子デバイスにおいて実行される。この方法は、デバイスの第１の姿勢に関連付けられた対象の第１のセットを取得することを含む。この方法はまた、ユーザコンテキスト及び第１の姿勢に基づいて、対象の第１のセットのそれぞれに対して尤度推定値を判定することを含む。この方法は、対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回るかどうかを判定することを更に含む。この方法は、少なくとも１つの尤度推定値が信頼閾値を上回ると判定したことに応じて、少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子及びユーザコンテキストを使用して、少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションを生成することを追加的に含む。

いくつかの実施形態では、電子デバイスは、ディスプレイと、１つ以上の入力デバイスと、１つ以上のプロセッサと、非一時的メモリと、１つ以上のプログラムと、を含み、１つ以上のプログラムは、非一時的メモリに記憶され、１つ以上のプロセッサによって実行されるように構成されており、１つ以上のプログラムは、本明細書に記載の方法のいずれかの動作を実行する又は実行させる命令を含む。いくつかの実施形態によれば、非一時的コンピュータ可読記憶媒体は、命令を内部に記憶し、命令はディスプレイ及び１つ以上の入力デバイスを備える電子デバイスの１つ以上のプロセッサによって実行されると、本明細書に説明する方法のうちのいずれかをデバイスに実行させる、又はその動作実行をもたらす。いくつかの実施形態によれば、電子デバイスは、ディスプレイ、１つ以上の入力デバイス、及び本明細書に開示される方法のいずれかの動作を実行する又は実行させる手段を含む。いくつかの実施形態によれば、ディスプレイ及び１つ以上の入力デバイスを備える電子デバイスにおいて使用するための情報処理装置は、本明細書に開示される方法のいずれかの動作を実行する又は実行させる手段を含む。

説明される様々な実施形態をより良く理解するため、以下の図面と併せて、以下の「発明を実施するための形態」が参照されるべきであり、類似の参照番号は、以下の図の全てを通じて、対応する部分を指す。

いくつかの実装形態に係る、例示的な動作環境のブロック図である。

いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。

いくつかの実施形態に係る、ユーザ固有のＣＧＲコンテンツを生成するための例示的な抽象ブロック図を示す。

いくつかの実施形態に係る、更新されたユーザコンテキスト及び／又は姿勢に基づいてユーザ固有のＣＧＲコンテンツアイテムを推奨するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、更新されたユーザコンテキスト及び／又は姿勢に基づいてユーザ固有のＣＧＲコンテンツアイテムを推奨するための例示的なユーザインタフェースを示す。 いくつかの実施形態に係る、更新されたユーザコンテキスト及び／又は姿勢に基づいてユーザ固有のＣＧＲコンテンツアイテムを推奨するための例示的なユーザインタフェースを示す。

いくつかの実施形態に係る、ＣＧＲ環境において最適な推奨を配信するための例示的な抽象ブロック図を示す。

いくつかの実施形態に係る、ユーザ固有のＣＧＲコンテンツアイテムをレンダリングする方法のフロー図を示す。

いくつかの実施形態に係る、推奨されるＣＧＲコンテンツを生成する方法のフロー図を示す。

いくつかの実施形態に係る、コンピューティングデバイスのブロック図である。

図面に示される例示的な実装形態の十分な理解を提供するために、数多くの詳細が記載されている。しかしながら、図面は単に本開示のいくつかの例示的な態様を示すものであり、したがって、限定的であると考慮されるべきではない。当業者であれば、他の有効な態様及び／又は変形が本明細書に記載される特定の詳細全てを含むものではないと理解するであろう。さらに、本明細書に記載される例示的な実装形態のより適切な態様を不明瞭にしないよう、周知のシステム、方法、構成要素、デバイス及び回路は、網羅的に詳細を記載していない。

以下に記載される実施形態では、画像センサによってキャプチャされた視野を特徴付けるパススルー画像データは、１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムと合成される。１つ以上のＣＧＲコンテンツアイテムは、パススルー画像データ内の認識された対象と関連付けられ、パススルー画像データ内の認識された対象は、信頼スコア閾値を満たす。合成された画像内で、１つ以上のＣＧＲコンテンツアイテムは、視野内の認識された対象に近接して配置される。したがって、以下に記載される実施形態は、ユーザ固有コンテンツのシームレスな統合を提供する。ユーザの関心の尤度に基づいて、ユーザ固有のコンテンツが生成され、ユーザに表示される。例えば、ユーザの視野内でカップケーキが認識されたときに、カップケーキのレシピ又はカップケーキの栄養情報が生成され、ユーザに表示される。したがって、本明細書に記載される様々な実施形態に従って生成された推奨されるＣＧＲコンテンツアイテムにより、検索クエリに手動で入力する又は好みを示す必要なしに、ユーザがユーザの体験に没入したままでいることが可能になる。シームレスな統合はまた、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることによって、電力使用量を削減し、デバイスのバッテリ寿命を改善する。

以下に記載される実施形態では、デバイスの姿勢に関連付けられた対象のセットが取得され、対象のセットのそれぞれに対する尤度推定値は、ユーザコンテキスト及び姿勢に基づいて判定される。対象のセット内の少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションが生成される。推奨されるコンテンツ又はアクションは、対象のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回ると判定したことに応じて、少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子を使用して生成される。したがって、以下に記載される実施形態は、ユーザが対象に関心がある可能性の高さに基づいて、推奨されるＣＧＲコンテンツを生成するプロセスを提供する。したがって、本明細書に記載される様々な実施形態によるコンテンツの推奨は、情報又は次のアクションを捜し出すときに必要な時間とユーザ入力を減少させ、シームレスなユーザ体験を提供する。またこれは、ユーザがデバイスをより迅速かつ効率的に使用することを可能にすることで、電力使用量を低減し、デバイスのバッテリ寿命を改善する。

図１は、いくつかの実装形態に係る、例示的な動作環境１００のブロック図である。関連する特徴が示されているが、当業者であれば、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないように簡潔化するために、様々な他の特徴が示されていないことを、本開示から理解するであろう。そのため、非限定的な実施例として、動作環境１００は、コントローラ１０２と、ＣＧＲデバイス１０４とを含む。図１の実施例において、ＣＧＲデバイス１０４は、ユーザ１０によって装着されている。

いくつかの実装形態では、ＣＧＲデバイス１０４は、タブレット又は携帯電話に対応する。様々な実装態様では、ＣＧＲデバイス１０４は、ヘッドマウントデバイス（head-mounted device、ＨＭＤ）、又は内部に挿入されたタブレット若しくは携帯電話を有するヘッドマウントエンクロージャ（ＨＭＥ）などの、ヘッドマウントシステムに対応する。いくつかの実装形態では、ＣＧＲデバイス１０４は、ＣＧＲコンテンツをユーザに提示するように構成されている。いくつかの実装形態では、ＣＧＲデバイス１０４は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。

いくつかの実装態様によれば、ＣＧＲデバイス１０４は、ユーザがシーン１０６内に仮想的及び／又は物理的に存在している間に、ディスプレイ１２２を介して、ＣＧＲコンテンツをユーザに提示する。いくつかの実装態様では、ＣＧＲデバイス１０４は、仮想コンテンツ（例えば、仮想円筒１０９）を提示し、ディスプレイ上におけるシーン１０６の（例えば、テーブル１０７の表現１１７を含む）動画パススルーを可能にするように構成されている。いくつかの実装態様では、ＣＧＲデバイス１０４は、仮想コンテンツを提示し、シーン１０６の光学シースルーを可能にするように構成されている。

いくつかの実装態様では、ユーザは、自分の手（単数又は複数）でＣＧＲデバイス１０４を保持する。いくつかの実装形態では、ユーザは、ＣＧＲデバイス１０４を自分の頭部に装着する。したがって、ＣＧＲデバイス１０４は、ＣＧＲコンテンツを表示するために提供された１つ以上のＣＧＲディスプレイを含む。例えば、ＣＧＲデバイス１０４は、ユーザの視野を包囲する。いくつかの実装形態では、ＣＧＲデバイス１０４は、ＣＧＲコンテンツを提示するように構成され、ユーザがＣＧＲデバイス１０４を装着しないＣＧＲチャンバ、エンクロージャ、又は部屋に置き換えられる。

いくつかの実装形態では、コントローラ１０２は、ユーザに対するＣＧＲコンテンツの提示を管理及び調整するように構成されている。いくつかの実装形態では、コントローラ１０２は、ソフトウェア、ファームウェア、及び／又はハードウェアの好適な組み合わせを含む。いくつかの実装形態では、コントローラ１０２は、シーン１０６に対してローカル又はリモートであるコンピューティングデバイスである。例えば、コントローラ１０２は、シーン１０６内に位置するローカルサーバである。別の例では、コントローラ１０２は、シーン１０６の外側に位置するリモートサーバ（例えば、クラウドサーバ、中央サーバなど）である。いくつかの実装形態では、コントローラ１０２は、１つ以上の有線又は無線通信チャネル１４４（例えば、ＢＬＵＥＴＯＯＴＨ、ＩＥＥＥ ８０２．１１ｘ、ＩＥＥＥ ８０２．１６ｘ、ＩＥＥＥ ８０２．３ｘなど）を介して、ＣＧＲデバイス１０４と通信可能に結合される。いくつかの実装形態では、コントローラ１０２の機能は、ＣＧＲデバイス１０４によって提供され、かつ／又はＣＧＲデバイス１０４と組み合わされる。

図１に示すように、ＣＧＲデバイス１０４は、シーン１０６の表現を提示する。いくつかの実装態様では、シーン１０６の表現は、コントローラ１０２及び／又はＣＧＲデバイス１０４によって生成される。いくつかの実装態様では、シーン１０６の表現は、シーン１０６のシミュレートされた置換である仮想シーンを含む。換言すれば、いくつかの実装態様では、シーン１０６の表現は、コントローラ１０２及び／又はＣＧＲデバイス１０４によってシミュレートされる。そのような実装態様では、シーン１０６の表現は、ＣＧＲデバイス１０４が位置するシーン１０６とは異なる。いくつかの実装態様では、シーン１０６の表現は、（例えば、仮想円筒１０９を含む）シーン１０６の修正されたバージョンである拡張されたシーンを含む。例えば、いくつかの実装態様では、コントローラ１０２及び／又はＣＧＲデバイス１０４は、シーン１０６の表現を生成するために、シーン１０６を修正（例えば、拡張）する。いくつかの実装態様では、コントローラ１０２及び／又はＣＧＲデバイス１０４は、シーン１０６の複製をシミュレートすることによってシーン１０６の表現を生成する。いくつかの実装態様では、コントローラ１０２及び／又はＣＧＲデバイス１０４は、シーン１０６のシミュレートされた複製からアイテムを除去かつ／又は追加することによって、シーン１０６の表現を生成する。

図２Ａ〜図２Ｇは、いくつかの実施形態に係る、ユーザ固有のコンピュータ生成現実（ＣＧＲ）コンテンツをレンダリングするための例示的なユーザインタフェースを示す。これらの図でのユーザインタフェースは、図５でのプロセスを含む後述のプロセスを例示するために使用される。いくつかの実施形態では、デバイスは、ディスプレイとは別個の入力デバイス（例えば、音声起動コマンドを有するヘッドマウントデバイス（ＨＭＤ）、別個のタッチパッド及びディスプレイを有するラップトップ、又は別個のマウス及びディスプレイを有するデスクトップ）を介して入力を検出する。

図２Ａに示すように、デバイス１０４は、メディアキャプチャ／相互作用インタフェース２０２を表示する。いくつかの実施形態によれば、画像センサの視野内の対象を有するシーンを表示するメディアキャプチャ／相互作用インタフェース２０２。シーンを表す画像データ（又はパススルー画像データ）は、画像センサによってキャプチャされる。いくつかの実施形態では、パススルー画像データは、プレビュー画像、表面画像（例えば、平面）、深度マッピング、（例えば、深度マッピングのための）アンカー座標、及び／又は同様のものを含む。いくつかの実施形態では、パススルー画像データは、視覚コンテンツのみを含むのでなく、オーディオコンテンツ、３Ｄレンダリング、（表示された実際のフレームの）タイムスタンプ、ヘッダファイル（例えば、コントラスト、彩度、ホワイトバランスなどのカメラ設定）、及び／又はメタデータも含む。

図１を参照して上述したように、いくつかの実施形態では、シーンをキャプチャするための画像センサは、デバイス１０４の一部である、又はデバイス１０４に取り付けられており、一方、いくつかの他の実施形態では、画像センサは、例えば、デバイス１０４からリモートのカメラ上にあるなど、デバイス１０４から分離されている。様々な実施形態では、シーンは、図２Ｃ〜図２Ｇを参照して以下に示すように、画像センサの視野が変化するにつれて変化する。図２Ａでは、メディアキャプチャ／相互作用インタフェース２０２は、「２０１」としてラベル付けされたドアサイン２１０を有する開放出入口を含む。メディアキャプチャ／相互作用インタフェース２０２はまた、開放出入口を通して、部屋内の絵画フレーム２２０及びテーブル２３０を示す。

図２Ｂは、メディアキャプチャ／相互作用インタフェース２０２内において、ＣＧＲコンテンツアイテムを有してレンダリングされた合成パススルー画像データを示す。いくつかの実施形態によれば、合成パススルー画像データは、部屋に関連付けられた部屋情報２１２及びフロアマップ２１４などの情報を含む。部屋情報２１２及びフロアマップ２１４は、デバイス１０４がドアサイン２１０を認識して、ユーザが部屋及び建物に関してより知ることに関心があると判定することに基づいて生成された、ＣＧＲコンテンツアイテムである。いくつかの実施形態では、ドアサイン２１０の周囲の点線によって示されるように、視野内における認識された対象は、追加のＣＧＲコンテンツアイテム２１２及び２１４の認識された対象２１０との関連付けを示すために強調されている。いくつかの実施形態では、ＣＧＲコンテンツアイテム２１２及び２１４は、認識された対象２１０の近くでアニメーション化（例えば、点滅する、収縮する／拡大する、移動するなど）されて、認識された対象２１０との関連付けを示す。いくつかの実施形態では、デバイス１０４のディスプレイ上にＣＧＲコンテンツアイテム２１２及び２１４を表示することに加えて、又はそれに代えて、ＣＧＲコンテンツアイテムとしてオーディオコンテンツが再生され、例えば、ドアサイン、部屋情報、及び／又はフロアマップをユーザに対して読み上げる。

図２Ｂ〜図２Ｃは、画像センサの視野の変化に基づいて、メディアキャプチャ／相互作用インタフェース２０２が更新されるシーケンスを示す。画像センサの視点又は展望点は、図２Ｂと図２Ｃとの間で変化する。例えば、図２Ｃでは、メディアキャプチャ／相互作用インタフェース２０２内に出入口はもはや表示されず、ユーザが部屋に入ったことを示す。結果として、図２Ｂに示すようなドアサイン２１０に関連付けられたＣＧＲコンテンツアイテム２１２及び２１４は、もはやユーザに提供されない。代わりに、ユーザが部屋に入ると、ユーザは、部屋の全景を有する。結果として、図２Ｃに示すように、メディアキャプチャ／相互作用インタフェース２０２は、部屋の３つの壁を表示する。メディアキャプチャ／相互作用インタフェース２０２はまた、部屋内の絵画フレーム２２０、テーブル２３０、時計２４０、及び犬２３６を表示する。加えて、図２Ｃに示すように、メディアキャプチャ／相互作用インタフェース２０２は、テーブル２３０上のカップケーキ２３２及び本２３４を表示する。

図２Ｄ〜図２Ｅは、異なるユーザコンテキストに基づいてユーザにレンダリングされた異なるＣＧＲコンテンツアイテムを示す。図２Ｄでは、合成パススルー画像データは、カップケーキ２３２に関連付けられたＣＧＲコンテンツアイテム２５０を含む。ＣＧＲコンテンツアイテム２５０は、カップケーキ２３２に隣接して、又はカップケーキ２３２に対してレンダリングされる。更に、ＣＧＲコンテンツアイテム２５０は、カップケーキ２３２に関連付けられた情報、例えば、カップケーキのカロリーと、カップケーキ２３２のレシピへのリンク２５２及びカップケーキ２３２を食事ログに追加するためのボタン２５４を含むアフォーダンスとを含む。アフォーダンス２５２は、カップケーキ２３２に関連付けられたアクション、例えば、カップケーキ２３２のレシピを見つけるためにリンク２５２上でタップすること、又はカップケーキ２３２を食事ログに追加するためにボタン２５４をクリックすることを実行するために、オプションとしてユーザに提供される。

図２Ｄに示すＣＧＲコンテンツアイテム２５０は、ユーザがカップケーキ２３２に関心があるとの判定に基づいて生成され、カップケーキ２３２に関する情報を提供するための推奨がなされる。比較すると、図２Ｅは、異なるＣＧＲコンテンツアイテム２５６を示しており、ＣＧＲコンテンツアイテム２５６はカップケーキ２３２上に重ね合わされている。ユーザは、依然としてカップケーキ２３０に関心があるものの、ＣＧＲコンテンツアイテム２５６は、例えば、ユーザが食事制限を有するなどの異なるユーザコンテキストに基づいて作成される。

図２Ｆは、認識された対象（例えば、テーブル２３０）に近接したＣＧＲコンテンツアイテム２６０を示し、ＣＧＲコンテンツアイテム２６０は、認識された対象２３０の少なくとも一部を含む領域２６２に近接した視線を検出したことに応じて生成されている。図２Ｆでは、デバイス１０４は、視線に近接した領域２６２が、テーブル２３０の一部、テーブル２３０上のカップケーキ２３２の一部、及びテーブル２３０上の本２３４の一部を含むことを検出する。デバイス１０４は、領域２６２に対応するパススルー画像データのサブセットを使用し、テーブル分類子を画像データのサブセットに適用して、テーブル２３０を認識する。

いくつかの実施形態では、テーブル分類子は、分類子のクラスタに割り当てられた重みに基づいて選択される。いくつかの実施形態では、分類子は、オブジェクト／対象、例えば、形状、数字、動物、食物、植物、人々、犬、正方形、花、形状、照明などのライブラリ内のエントリに対応する。１つ以上の分類子を使用して、画像データ内の対象を認識することができる。対象認識中、重みが異なる分類子に割り当てられ、１つ以上の分類子が各分類子に関連付けられた重みに基づいて選択され得る。次いで、選択された分類子（単数又は複数）を、画像データ内の対象を認識するために使用することができる。

例えば、領域２６２に近接した視線に基づいて、重みが、テーブル分類子、カップケーキ分類子、及び本分類子に割り当てられる。視線がテーブル表面上に据えられると、テーブル分類子に割り当てられた重みが増加し、一方、カップケーキ分類子及び本分類子に割り当てられた重みは減少する。分類子に割り当てられた重みに基づいて、視線領域２６２に近接したテーブル対象２３０を識別するために、テーブル分類子が選択される。テーブル２３０を認識すると、デバイス１０４は、テーブル２３０のスタイルに調和し得る椅子の推奨などのＣＧＲコンテンツ２６０を、テーブル２３０に隣接してレンダリングする。

図２Ｇは、認識された対象２３４に近接してＣＧＲコンテンツアイテム２７０（例えば、ポインタに構成された手のアイコン）を示し、そこで、視線領域２７２は、認識された対象２３４から閾値距離内にある。図２Ｇでは、デバイス１０４は、視線領域２７２が視野内の犬２３６の上にあることを検出する。しかしながら、ユーザコンテキストに基づくと、ユーザがメディアキャプチャ／相互作用インタフェース２０２内において犬２３６に関するより多くの情報が表示されるのを見ることに関心がある、例えば、ユーザが動物を怖がっている可能性は低い。更にユーザコンテキストに基づいて、デバイスは、ユーザにとって本２３４がより関心があり（例えば、ユーザは、図書館から本２３４を最近入手した）、かつ本２３４が視線領域２７２から閾値距離内にあると判定する。続いて、デバイス１０４は、より多くの対象が領域内に含まれ、分析されるように、視線領域２７２を拡張する。次いで、拡張された視線領域に対応する画像データから、本２３４が認識され、ＣＧＲコンテンツアイテム２７０が、本２３４の上方に生成され、レンダリングされる。

図２Ｇは、ユーザに関する先験的な情報並びに現在のパススルー画像データを入力とする尤度推定を介して、ＣＧＲコンテンツアイテム２７０が特定のユーザに対して生成されることを示す。これは、認識された対象が複数の検索可能要素を含み、それぞれが少なくとも分類子に関連付けられているときに特に有用である。例えば、図２Ａ〜図２Ｇでは、絵画フレーム２２０は、フレーム自体、絵画内の花瓶、及び描かれた花瓶内の花を含む、複数の検索可能要素を含む。これらの検索可能要素を区別し、ユーザが関心がある可能性が最も高い要素に対してＣＧＲコンテンツアイテムを生成するために、コンテンツ推奨は、図３を参照してより詳細に後述するように微調整される。

図３は、ユーザが関心がある可能性が最も高い対象を識別するための多重反復プロセス３００に関連付けられた抽象ブロック図を示す。関連する特徴が示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。その目的のために、非限定的な例として、図３では、視線領域２２２が視野内の絵画フレーム２２０に近接しているとき、絵画フレーム２２０は、フレーム３１０、花３２０、及び花瓶３３０を含む複数の検索可能要素を含み、そのそれぞれが視線領域に近接している。尤度推定値は、多重反復の間に判定される。

いくつかの実施形態では、尤度推定値のそれぞれは、初期値を割り当てられ、例えば、全ての尤度推定値は、０である、又は尤度推定値は、等しく分配される。図３に示すように、第１の反復中、フレーム３１０、花３２０、及び花瓶３３０に対する尤度推定値は、等しく約１／３に、例えば、フレーム３１０に対して０．３３、花３２０に対して０．３３、及び花瓶３３０に対して０．３４が割り当てられる。第２の反復中、尤度推定値は、第１の反復後の次の時間ステップにおいてユーザが関心があるものを反映するように更新される。更に、図４Ａ〜図４Ｃを参照して以下で詳細に説明するように、姿勢及び／又はユーザコンテキストの変化が尤度推定値の変化に寄与し得る。したがって、第２の反復中、フレーム３１０に対する尤度推定値は、０．２５であり、花３２０に対する尤度推定値は、０．００であり、花瓶３３０に対する尤度推定値は、０．７５である。同様に、第３の反復中、姿勢及び／又はユーザコンテキストの更なる変化は、フレーム３１０に対する尤度推定値を０．７５、花３２０に対する尤度推定値を０．００、及び花瓶３３０に対する尤度推定値を０．２５に変化させる。花３２０に対する０．００の尤度推定値は、ユーザが花３２０に関してより知ることに関心がない可能性が最も高いことを示すが、いくつかの実施形態では、デバイスは、ユーザが最も関心がある１つの要素を特定するために、より多くの反復（単数又は複数）を必要とし、例えば、０．２５及び０．７５の値は、信頼閾値を上回らない。図３に示すように、第４かつ最終の反復中、フレーム３１０に対する尤度推定値は、０．９０まで増加しており、ユーザがフレーム内に描かれた絵画ではなく、フレーム自体に関心がある可能性が最も高いことを示す。

図３に示す選択プロセスは、経時的に、例えば、第２及び第３の反復又は閾値時間の後には、閾値を下回る尤度推定値（例えば、０．００の尤度推定値を有する花）が次の反復に含まれないため、漏斗形状である。複数の反復の後に、尤度推定値は、特定の値に収束し、それにより、ユーザが関心がある可能性が最も高い特定の対象の推奨を行うことができる。

図４Ａ〜図４Ｃを参照すると、図４Ａ〜図４Ｃは、いくつかの実施形態に係る、ユーザコンテキスト及び／又は姿勢に基づいてユーザ固有のＣＧＲコンテンツアイテムをレンダリングするための例示的なユーザインタフェースを示す。例示的なユーザインタフェースが図５の推奨コンテンツ生成プロセスを例示するために使用される。

例えば、図４Ａでは、デバイス１０４は、デバイス１０４の姿勢に基づいて、点線によって示されるように、絵画フレーム２２０に近接した視線領域２２２を検出する。絵画フレーム２２０は、フレーム自体と、絵画内の花瓶と、描かれた花瓶内の花と、を含む。デバイス１０４の尤度推定器は、対象のそれぞれに対する尤度推定値、例えば、フレームに対する尤度推定値、花瓶に対する尤度推定値、及び花に対する尤度推定値を判定する。いくつかの実施形態では、尤度推定値は、ユーザコンテキスト及び姿勢の両方に基づいて判定される。図４Ａでは、視線領域２２２ａは、フレーム、花瓶、及び花に近接している。ユーザコンテキスト、例えば、ユーザが画家ではなく、植物学者であることを使用して、ユーザがフレーム２２０内に描かれた花に関心がある可能性がより高い。したがって、デバイス１０４は、推奨されるコンテンツ２２４を生成して、ユーザに花情報を提供する。

図４Ｂ〜図４Ｃは、メディアキャプチャ／相互作用インタフェース２０２が、図４Ａに示すインタフェースに対して更新されることを示す。図４Ａに示すビューに対して、図５Ｂ〜図５Ｃに示すようなデバイス１０４の視点又は展望点は、例えば、デバイス１０４の移動に起因して、視野が右にシフトするにつれて変化する。視線が右にシフトするにつれて、視線領域２２２ｂは、中央の絵画フレーム２２０から離れて移動し、右に移動する。図４Ｂは、姿勢の変化の結果として、デバイス１０４は、右の壁上の時計がユーザの関心の対象であることを予測し、時計２４０に隣接するイベントカレンダー２４２が生成されることを示す。図４Ｃは、視線領域２２２ｃが時計２４０に更に近づいて移動するにつれて、別の推奨されるコンテンツ２４４がインタフェース２０２内に示されることを示す。推奨されるコンテンツ２４４は、獣医に行くための時間であり、かつユーザが獣医訪問の準備のため、犬２３６に関連付けられた情報を取得することにより関心があるというユーザコンテキストに基づいて生成される。

図５は、いくつかの実施形態に係る、ＣＧＲ環境において最適な推奨を配信するためのプロセス５００に関連付けられた抽象ブロック図を示す。関連する特徴が示されているが、当業者は、本明細書に開示される例示的な実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。例えば、プロセス５００を実施するシステムは、複数の分散デバイスを含む異種システムであってもよい。したがって、点線で示されるように、計算負荷の高いタスクを実行するいくつかの構成要素は、リモートエージェント上に実装され、ローカル、ピアツーピア、及び分散型エージェントの間で動的に再構成することができる。

図５に示すように、スキャナ５１０（例えば、図８の画像キャプチャ制御モジュール８５０）は、画像を取得し、画像データ又はパススルー画像データを導出する。いくつかの実施形態では、パススルー画像データは、オーディオコンテンツ、視覚コンテンツ、３Ｄレンダリング、（表示された実際のフレームの）タイムスタンプ、ヘッダファイル（カメラ設定：コントラスト、彩度、ホワイトバランスなどの全てを含む）、及び／又はメタデータを含む。いくつかの実施形態では、パススルー画像データは、プレビュー画像、表面画像（例えば、平面）、深度マッピング、アンカー座標（例えば、深度マッピングのための）を含む。いくつかの実施形態では、パススルー画像データと共に、スキャナ５１０はまた、デバイスの姿勢情報、例えば、画像センサの視野内の焦点、画像センサから複数の現実世界オブジェクトまでの距離、視野内の対象によって占有される視覚空間の割合、及び／又は現在の視線なども提供する。

いくつかの実施形態では、ユーザコンテキスト５０５は、ユーザ固有の推奨プロファイル内に指定される。いくつかの実施形態では、ユーザ固有の推奨プロファイルは、ユーザ履歴、ユーザ固有リスト、ユーザ入力可能モジュール（例えば、エンジンの修理などの職業固有又はタスク固有の）、及び／又は同様のものを含む。

いくつかの実施形態では、分析器５２０は、複数の分類子５２２を含む。いくつかの実施形態では、複数の分類子５２２は、例えば、形状、数字、動物、食物、植物、人々などの対象のライブラリ内のエントリに対応する。例えば、犬を識別するための犬分類子などの分類子は、関連付けられた重みと共に尤度推定器５３０に提供される。

分析器５２０からの入力と共に、尤度推定器５３０は、スキャナ５１０から画像データ及び姿勢情報を受信し、ユーザコンテキスト５０５を受信する。受信した情報に基づいて、尤度推定器５３０は、ユーザが関心がある可能性が最も高い視野内の対象を特定し、図２Ａ〜図２Ｇ及び図４Ａ〜図４Ｃに示すように、ユーザが見るかつ／又は相互作用するための推奨されるＣＧＲコンテンツアイテム５６０を生成する。

いくつかの実施形態では、カスケードキャッシュ５５０−１、５５０−２、５５０−３．．．５５０−Ｎが、対象の識別及びＣＧＲコンテンツアイテム推奨を容易にするために使用される。対象及び関連付けられた推奨は、重みの順序でカスケードキャッシュに記憶される。例えば、１回の反復中、第１のカスケードキャッシュ５５０−１は、最も低い推奨重みを有する対象を記憶し、最後のカスケードキャッシュ５５０−Ｎは、最も高い推奨重みを有する対象を記憶する。したがって、第１のカスケードキャッシュ５５０−１は、この段階でユーザに最も重要でない又は関連性がないと判定された対象に関する情報を含み、最後のカスケードキャッシュ５５０−Ｎは、この段階でユーザに最も重要である又は関連性があると判定された対象に関する情報を含む。図３に示すような後続の段階又は反復の間、カスケードキャッシュ５５０に記憶された情報は、ユーザコンテキスト及び／又は姿勢の変化に従って調整することができる。

いくつかの実施形態では、尤度推定器５３０からの結果を微調整するために、微細整合５４０が実行される。いくつかの実施形態では、微細整合５４０は、ローカルデバイスの計算リソースを節約するためにリモートで（例えば、第２のデバイスで）実行される。そのような実施形態では、エンコーダ５３２を使用して、リモートソースへのデータの効率的な通信のためにベクトルの次元を低減する。エンコードされたデータを受信すると、リモートソース上のデコーダ５４２が、微細粒度整合が実行される前にデータをデコードする。いくつかの実施形態では、リモートソースにおいて、特定のユーザに対するより良い推奨を生成することができるように、機械学習が複数のユーザにわたって適用される。

図６は、いくつかの実施形態に係る、ユーザ固有のＣＧＲコンテンツアイテムをレンダリングする方法６００のフローチャート表現である。いくつかの実施形態では（また、一実施例として下記で詳述するように）、方法６００は、１つ以上のプロセッサ及び非一時的メモリを含む、図１における電子デバイス１０４又は図３におけるデバイス３００などの電子デバイス（又はその一部）によって実行される。いくつかの実施形態では、デバイスはまた、画像センサ又はカメラアセンブリと、ディスプレイと、１つ以上の入力デバイスとを含む。例えば、ディスプレイ及び１つ以上の入力デバイスは、タッチスクリーンディスプレイに統合される。この実施例では、電子デバイスは、スマートフォン又はタブレットに対応する。別の実施例では、ディスプレイ及び１つ以上の入力デバイスは別個である。この実施例では、電子デバイスは、ラップトップコンピュータ又はデスクトップコンピュータに対応する。例えば、電子デバイスは、ウェアラブルコンピューティングデバイス（ユーザの目（単数又は複数）を包囲する若しくは包囲しないＨＭＤ、又は１つ以上のＣＧＲディスプレイを有するＣＧＲ提示デバイスを含む）、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、キオスク、セットトップボックス（set-top box、ＳＴＢ）、オーバーザトップ（over-the-top、ＯＴＴ）ボックス、ゲーム機、及び／又は同様のものに対応する。いくつかの実施形態では、画像センサは、例えば、デバイス１０４からリモートのカメラ上にあるなど、デバイスから分離されている。

いくつかの実施形態では、方法６００は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの好適な組み合わせを含む処理ロジックによって実行される。いくつかの実施形態では、方法６００は、非一時的コンピュータ可読記憶媒体（例えば、非一時的メモリ）に記憶されたコード、プログラム、又は命令を実行する１つ以上のプロセッサによって実行される。方法６００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。簡潔に述べると、方法６００は、画像センサによってキャプチャされた視野を特徴付けるパススルー画像データを取得することと、パススルー画像データ内の認識された対象がユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定することと、パススルー画像データ内の認識された対象が信頼スコア閾値を満たすと判定したことに応じて、認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムを生成することと、パススルー画像データを、視野内の認識された対象に近接した１つ以上のＣＧＲコンテンツアイテムと合成することと、を含む。

方法６００は、ブロック６０２において、電子デバイスが、シーンデータを取得することで開始する。いくつかの実施形態によれば、デバイス１０４又はその構成要素（例えば、図８における画像キャプチャ制御モジュール８５０）は、画像センサ又はカメラアセンブリを用いて、第１の基準点／展望点（例えば、カメラ位置、姿勢、又は視野）からのシーンの画像（単数又は複数）をキャプチャすることによって、シーンデータ（例えば、画像データ又はパススルー画像データ））を取得する。デバイス１０４又はその構成要素（例えば、図８の画像処理モジュール８５２）は、視野を特徴付けるパススルー画像データを導出する。例えば、図２Ａでは、デバイス１０４は、パススルー画像データを取得し、部屋のドア上のドアサイン２１０、テーブル２３０、及び部屋内の絵画フレーム２２０を有する部屋に対応するシーンを含むメディアキャプチャ／相互作用インタフェース２０２を表示する。この例を続けると、図２Ｃでは、メディアキャプチャ／相互作用インタフェース２０２は、右の壁上の時計２４０、左の壁に近い犬２３６、並びにテーブル２３０上のカップケーキ２３２及び本２３４も含む、部屋内のシーンを描写する。

方法６００は、ブロック６０４において、電子デバイスが、パススルー画像データ内の認識された対象がユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定することで継続する。換言すれば、デバイス１０４又はその構成要素（例えば、図８の対象認識モジュール８５４又は図５の尤度推定器５３０）は、ユーザがパススルー画像データ内の認識された対象に関心がある可能性が高いかどうかを判定する。いくつかの実施形態では、電子デバイスは、ユーザ固有の推奨プロファイルに基づいて、ユーザの好みに関する情報を取得した。例えば、図２Ａを参照すると、デバイス１０４は、ユーザ履歴、ユーザ固有リスト、ユーザ入力可能モジュール（例えば、エンジン修理などの職業固有又はタスク固有の）、及び／又は同様のものなどのユーザ固有の推奨プロファイルを使用して、ユーザがドアサイン２１０に関連付けられた部屋及び建物に関してより知ることに関心があるかどうかを判定する。

いくつかの実施形態では、ユーザ固有の推奨プロファイルは、デバイスと相互作用するユーザのコンテキスト、ユーザのバイオメトリクス、ユーザによる以前の検索、又はユーザのプロファイルのうちの少なくとも１つを含む。例えば、デバイスと相互作用するユーザのコンテキストは、ユーザによって行われた、獣医、カップケーキ屋などへの最近の注文を含む。別の実施例では、生体センサを使用して、ユーザのバイオメトリクス、例えば、ユーザが対象に対して経験する悲しみ又は興奮を示す血圧及び／又は心拍数の上昇を測定することができる。更に別の実施例では、ユーザ固有の推奨プロファイルは、ユーザによる以前の検索及び取られた関連付けられたアクション、例えば、ユーザが以前に複数回カップケーキを検索したが、以前の全ての場合にカップケーキに「いいえ」と言うことに決めたことを含む。更に別の実施例では、ユーザプロファイル内のメタデータは、重み及び／又は尤度推定値を割り当てるための先験的な情報を示すことができる。

いくつかの実施形態では、パススルー画像データ内の認識された対象は、ブロック６０６によって表される視野内の領域における視線を検出することと、ブロック６０８によって表される領域に対応するパススルー画像データのサブセットを取得することと、ブロック６１０によって提示されるパススルー画像データのサブセット及び分類子に基づいて認識された対象を識別することと、によって認識される。例えば、図２Ｂでは、ドアサイン２１０に近接した領域における視線を検出すると、デバイス１０４又はその構成要素（例えば、図８の画像処理モジュール８５２又は図５の尤度推定器５３０）は、ドアサイン２１０に近接した領域に対応するパススルー画像データのサブセットを更に処理する。次いで、デバイス１０４は、パススルー画像データのサブセット及びドアサイン分類子を使用して、ドアサイン２１０を識別する。

いくつかの実施形態では、方法６００は、ブロック６１２において、電子デバイスが、視線に基づいて、分類子のそれぞれが視線領域内の対象に関連付けられた分類子に重みを割り当てて、視線の更新に基づいて分類子に対する重みを調整することとで更に継続する。いくつかの実施形態では、方法６００は、ブロック６１４において、電子デバイスが分類子のうちから最も高い重みを有する分類子を選択することで更に継続する。

例えば、図２Ｃでは、視線を検出する前に、等しい重みが視野内の全ての対象に割り当てられ、例えば、等しい重みが絵画フレーム２２０、テーブル２３０、カップケーキ２３２、本２３４、時計２４０、及び犬２３６に割り当てられる。図２Ｄ及び図２Ｅに続き、視線がテーブル２３０上のカップケーキ２３２に据えられると、カップケーキ分類子に関連付けられた重みが増加し、他の分類子に関連付けられた重みは減少する。結果として、カップケーキ２３２の対象を認識し、カップケーキ２３２に関連付けられたＣＧＲコンテンツアイテム、例えば、図２Ｄに示すようなカップケークのレシピへのリンク２５２及び追加アフォーダンス（例えば、ボタン２５４）を有するＣＧＲコンテンツアイテム２５０、又は図２Ｅに示すようなカップケーキ禁止サイン（例えばＣＧＲコンテンツアイテム２５６）を推奨するために、分類子からカップケーキ分類子が選択される。

いくつかの実施形態では、ブロック６１６によって表されるように、視線領域は、認識された対象の少なくとも一部を含む。例えば、図２Ｆでは、視線領域２６２は、テーブル２３０の一部、テーブル２３０上のカップケーキ２３２の一部、及びテーブル２３０上の本２３４の一部を含む。デバイス１０４は、テーブル２３０を識別するために、テーブル画像データの少なくとも一部を使用し、テーブル分類子をテーブル画像データに適用して、テーブル２３０を認識する。比較すると、いくつかの実施形態では、ブロック６１８によって表されるように、視線領域は、ＣＧＲコンテンツ推奨のために認識された対象から閾値距離内にあり、認識された対象は、ユーザ固有の推奨プロファイルに基づいて識別される。例えば、図２Ｇでは、視線領域２７２は、犬２３６に近接しているが、一方、認識された対象は、テーブル２３０上の本２３４である。ユーザ固有の推奨プロファイルは、ユーザが犬２３６よりも本２３４により関心があることを示し、かつ本２３４が視線領域２７２から閾値距離内にあるため、ユーザが関心がある可能性が最も高い対象として、本２３４が識別される。したがって、視線領域２７２は、本の画像データを含むように拡張されて、より高い重みが本分類子に割り当てられ、本分類子は、関心のある対象として本２３４を識別するために、拡張された画像データを処理するために使用される。

いくつかの実施形態では、ブロック６２０によって表されるように、認識された対象は、複数の検索可能要素を含み、それぞれが、少なくとも１つの分類子に関連付けられている。例えば、絵画フレーム２２０は、複数の検索可能要素、フレーム自体、絵画内の花瓶、及び描かれた花瓶内の花を含む。これらの検索可能要素を区別し、ユーザが関心がある可能性が最も高い要素に対してＣＧＲコンテンツアイテムを生成するために、コンテンツ推奨は、図３を参照して上述したように微調整される。

更に図６を参照すると、方法６００は、ブロック６２２において、電子デバイスが、パススルー画像データ内の認識された対象が信頼スコア閾値を満たすと判定したことに応じて、認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムを生成することで、継続する。いくつかの実施形態によれば、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツ推奨モジュール８５６）によって生成された１つ以上のＣＧＲコンテンツアイテムは、認識された対象に関連付けられた情報、又は認識された対象に関連付けられたアクションを実行するオプションのうちの少なくとも１つを含む。例えば、図２Ｂに示すような部屋に関するテキスト２１２及びフロアに関するテキスト２１４、図２Ｄに示すようなストア情報（例えば、ＣＧＲコンテンツアイテム２５０）、カップケーキレシピへのリンク２５２、及びカップケーキを食事ジャーナルに追加するボタン２５４、図２Ｅのカップケーキ禁止サイン（例えば、ＣＧＲコンテンツアイテム２５６）、図２Ｆに示すような椅子の推奨（例えば、ＣＧＲコンテンツアイテム２６０）、又は図２Ｇに示すような本２３４を指すインジケータ２７０である。

方法６００は、ブロック６２４において、電子デバイスがパススルー画像データを１つ以上のＣＧＲコンテンツアイテムと合成することで継続する。いくつかの実施形態では、電子デバイスは、視野内のパススルー画像データを、認識された対象に近接して表示された１つ以上のＣＧＲコンテンツアイテムと共に更にレンダリングする。いくつかの他の実施形態では、１つ以上のＣＧＲコンテンツアイテムは、デバイスを使用するユーザの視野に従って、認識された対象に隣接して表示される。例えば、ＣＧＲ対応眼鏡の場合、画像センサを有するカメラとユーザの光列（optical train）は、別個の２つのものであってもよい。したがって、１つ以上のＣＧＲコンテンツアイテムの位置（単数又は複数）は、画像センサ又はユーザの視野に基づいて判定することができる。あるいは、画像センサ及びユーザの視野は、一致させることができ、例えば、一方を他方に重ね合わせることができる。そのような実施形態では、１つ以上のＣＧＲコンテンツアイテムの位置（単数又は複数）は、画像センサ及びユーザの視野に基づいて判定することができる。

例えば、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツレンダリングモジュール８５８、又は図５の閲覧及び相互作用モジュール５６０）は、例えば、図２Ａに示すように、部屋情報２１２及びフロアマップ２１４をドアサイン２１０の隣に表示するなど、対象に関するテキスト又はサインを対象の隣に表示し、図２Ｅに示すように、カップケーキ２３２上にカップケーキ禁止サイン２５６を重ね合わせ、図２Ｆに示すように、椅子の推奨（例えば、ＣＧＲコンテンツアイテム２６０）をテーブル２３０の隣に表示し、図２Ｇに示すように、ポインティングサイン２７０を本２３４に対して浮かばせる。別の例では、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツレンダリングモジュール８５８、又は図５の閲覧及び相互作用モジュール５６０）は、例えば、図２Ｄに示すように、カップケーキレシピへのリンク２５２をカップケーキ２３２の上方に表示するなど、対象へのリンクを対象に隣接して表示する。更に別の例では、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツレンダリングモジュール８５８、又は図５の閲覧及び相互作用モジュール５６０）は、例えば、図２Ｄに示すように、ボタン２５４をカップケーキ２３２の隣に表示するなど、相互作用型アフォーダンスを対象に隣接して表示する。

図７は、いくつかの実施形態に係る、推奨されるＣＧＲコンテンツを生成する方法７００のフローチャート表現である。いくつかの実施形態では（また、一実施例として下記で詳述するように）、方法７００は、１つ以上のプロセッサ及び非一時的メモリを含む、図１における電子デバイス１０４又は図３におけるデバイス３００などの電子デバイス（又はその一部）によって実行される。いくつかの実施形態では、デバイスはまた、画像センサ又はカメラアセンブリと、ディスプレイと、１つ以上の入力デバイスとを含む。例えば、ディスプレイ及び１つ以上の入力デバイスは、タッチスクリーンディスプレイに統合される。この実施例では、電子デバイスは、スマートフォン又はタブレットに対応する。別の実施例では、ディスプレイ及び１つ以上の入力デバイスは別個である。この実施例では、電子デバイスは、ラップトップコンピュータ又はデスクトップコンピュータに対応する。例えば、電子デバイスは、ウェアラブルコンピューティングデバイス（ユーザの目（単数又は複数）を包囲する若しくは包囲しないＨＭＤ、又は１つ以上のＣＧＲディスプレイを有するＣＧＲ提示デバイスを含む）、スマートフォン、タブレット、ラップトップコンピュータ、デスクトップコンピュータ、キオスク、セットトップボックス（set-top box、ＳＴＢ）、オーバーザトップ（over-the-top、ＯＴＴ）ボックス、ゲーム機、及び／又は同様のものに対応する。いくつかの実施形態では、画像センサは、例えば、デバイス１０４からリモートのカメラ上にあるなど、デバイスから分離されている。

いくつかの実施形態では、方法７００は、ハードウェア、ファームウェア、ソフトウェア、又はそれらの好適な組み合わせを含む処理ロジックによって実行される。いくつかの実施形態では、方法７００は、非一時的コンピュータ可読記憶媒体（例えば、非一時的メモリ）に記憶されたコード、プログラム、又は命令を実行する１つ以上のプロセッサによって実行される。方法７００の一部の動作が任意選択的に組み合わされ、かつ／又は、一部の動作の順序が任意選択的に変更される。簡潔に述べると、方法７００は、デバイスの第１の姿勢に関連付けられた対象の第１のセットを取得することと、ユーザコンテキスト及び第１の姿勢に基づいて、対象の第１のセットのそれぞれに対して尤度推定値を判定することと、対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回るかどうかを判定することと、少なくとも１つの尤度推定値が信頼閾値を上回ると判定したことに応じて、少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子及びユーザコンテキストを使用して、少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションを生成することと、を含む。

方法７００は、ブロック７０２において、電子デバイスが、デバイスの第１の姿勢に関連付けられた対象の第１のセットを取得することで開始する。いくつかの実施形態によれば、デバイス１０４又はその構成要素（例えば、図８における画像キャプチャ制御モジュール８５０又は図５におけるスキャナ５１０）は、画像センサ又はカメラアセンブリを用いて、第１の基準点／展望点（例えば、カメラ位置、姿勢、又は視野）からのシーンの画像（単数又は複数）をキャプチャすることによって、シーンデータ（例えば、画像データ又はパススルー画像データ）を取得する。デバイス１０４又はその構成要素（例えば、図８の画像処理モジュール８５２）は、視野を特徴付ける画像データを導出し、視野内の対象のセットを認識した。いくつかの実施形態では、対象の第１のセットは、図６を参照して上述したように、デバイスの視野内の第１の領域に近接した視線を検出することと、第１の領域に対応する画像データを取得することと、画像データ及び１つ以上の分類子に基づいて、対象の第１のセットを分類することとによって、（例えば、デバイス１０４又は図８の対象認識モジュール８５４などのその構成要素によって）認識される。

方法７００は、ブロック７０４において、電子デバイスが、ユーザコンテキスト及び第１の姿勢に基づいて、対象の第１のセットのそれぞれに対して尤度推定値を判定することで継続する。例えば、図５及び図４Ａに示すように、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツ推奨モジュール８５６又は図５の尤度推定器５３０）は、フレーム自体３１０、花３２０、及び花瓶３３０を含む、視線領域２２２に近接した対象のセットを取得する。図３に示すように、デバイスは、フレーム３１０、花３２０、及び花瓶３３０に対する尤度推定値を判定する。いくつかの実施形態では、尤度推定値は、複数の対象において、複数の対象のそれぞれにユーザが関心がある可能性の高さの大きさ／重みに対応する。

いくつかの実施形態では、尤度推定値は、再帰的に判定される。ブロック７０６によって表されるように、いくつかの実施形態では、尤度推定値は、複数の期間中に更新されたユーザコンテキストに基づいて再帰的に判定される。例えば、図３では、第１の反復中の尤度推定値は、第１の期間中に割り当てられ、ユーザコンテキストの値は、第１の反復と第２の反復との間の第２の期間中に更新され得る。結果として、フレーム３１０、花３２０、及び花瓶３３０に対する尤度推定値は、ユーザコンテキストの更新された値、例えば、ユーザはもはや花３２０に関心がないことに基づいて更新される。ブロック７０８によって表されるように、いくつかの実施形態では、尤度推定値は、更新された姿勢に基づいて再帰的に判定される。いくつかの実施形態では、デバイス１０４又はその構成要素（例えば、図８の画像キャプチャ制御モジュール８５０及び／若しくは図８の画像処理モジュール８５２、又は図５のスキャナ５１０）は、デバイスの第２の姿勢に関連付けられた対象の第２のセットであって、少なくとも１つの対象が対象の第１のセット及び第２のセット内にある、対象の第２のセットを取得し、第２の姿勢、ユーザコンテキスト、及び第１の姿勢に基づいて、少なくとも１つの対象に対して少なくとも１つの尤度推定値を判定する。

例えば、図２Ａ〜図２Ｂでは、デバイス１０４は、部屋に入る前の第１の基準点からのパススルー画像データを取得する。図２Ａ〜図２Ｂに示すようなシーンは、部屋のドア上のドアサイン２１０、テーブル２３０、及び部屋内の絵画フレーム２２０などの対象を含む。図２Ｃでは、ユーザが部屋に入ると、基準点は変化しており、部屋内で、メディアキャプチャ／相互作用インタフェース２０２は、右の壁上の時計２４０、左の壁に近い犬２３６、並びにテーブル２３０上のカップケーキ２３２及び本２３４などの対象を含むシーンを描写する。結果として、基準点の変化により、ユーザがドアサインに関連付けられた部屋又は建物に関するより多くの情報を見る尤度が変化する。別の例として、図４Ａでは、デバイス１０４は、絵画フレーム２２０が視野の中心にある状態のシーンを取得する。図４Ｂでは、姿勢の変化により、視野を、中央の絵画フレーム２２０を見ることから、右の壁に掛かっている時計２４０をより多く見ることにシフトさせる。結果として、絵画フレーム２２０及び時計２４０に対する尤度推定値は、変化する。

いくつかの実施形態では、尤度推定値は、初期尤度推定値を割り当てられる（例えば、全ての尤度推定値が０である）、又は尤度推定値が均等に分配される（例えば、図３に示すように、フレーム３１０、花３２０、及び花瓶３３０が最初に等しい値を割り当てられる）。いくつかの実施形態では、初期尤度推定値は、ユーザコンテキストによって判定される。一実施例では、電気技術者は、「電気技術者ブック」を使用することに関心を示し、電気技術者ブックは、電気工学に特有の話題（例えば、信号処理、はんだ付け、制御システムなど）を含む分類子のクラスタを含む。電気技術者ブックはまた、各話題のそれぞれの初期尤度推定値を含むことができる。例えば、信号処理は、機械よりも高い尤度推定値を有するであろう。いくつかの実施形態では、初期尤度推定値は、第１の姿勢情報（例えば、何が画像センサの視野内に現在あるか）、視野内の対象によって占有されている視覚空間の割合（例えば、ホワイトボードは、ホワイトボードマーカーよりも多くの空間を占有する）、画像センサから対象までの距離、及び／又は現在の視線などによって判定される。例えば、図２Ｃでは、ユーザが部屋に入ると、カップケーキ２３２は、ドアに対するその近い距離に起因して、絵画フレーム２２０と比較して、より高い初期尤度推定値を有してもよい。あるいは、例えば、図２Ｃでは、絵画フレーム２２０は、占有されている視覚空間のより高い割合のため、カップケーキ２３２と比較して、より高い初期尤度推定値を有してもよい。

方法７００は、ブロック７１０において、電子デバイスが、対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回るかどうかを判定することで継続する。例えば、尤度推定値がＡ＝０．４、Ｂ＝０．３、Ｃ＝０．３である対象Ａ、Ｂ、及びＣを所与として、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツ推奨モジュール８５６又は図５の尤度推定器５３０）は、対象Ａが信頼閾値０．３を上回ると判定する。いくつかの実施形態では、ブロック７１２によって表されるように、判定は、他の尤度推定値に対する比較を含む。例えば、尤度推定値がＡ＝０．６、Ｂ＝０．２、Ｃ＝０．２である対象Ａ、Ｂ、及びＣを所与として、対象に対する尤度推定値は、Ａ＞（Ｂ＋Ｃ）であり、したがって、対象Ａは、信頼閾値を上回る。

いくつかの実施形態では、尤度推定値のいずれもが、閾値を上回らない、又は複数の尤度推定値が閾値を同点で上回る。そのような実施形態では、ステップ７０６及び７０８を参照して上述したように、更新された尤度推定値を再帰的に判定するために、１回より多くの反復が必要とされる。換言すれば、尤度推定値のうちの少なくとも１つが閾値を上回るかどうかを判定することは、ブロック７１４によって表されるように、単一の対象に対応する単一の尤度推定値への収束を示す。例えば、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツ推奨モジュール８５６又は図５の尤度推定器５３０）は、対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が、第１の対象に対する第１の尤度推定値と、第２の対象に対する第２の尤度推定値とを含むと判定する。複数の尤度推定値が閾値を同点で上回るとの判定に応じて、デバイス１０４は、第１の対象に対する更新された第１の尤度推定値と、第２の対象に対する更新された第２の尤度推定値とを生成することを含めて、更新されたユーザコンテキスト及び更新された第１の姿勢情報のうちの少なくとも１つに基づいて、対象の第１のセットのそれぞれに対する尤度推定値を更新する。デバイス１０４は、更新された第１の尤度推定値と更新された第２の尤度推定値とに基づいて、第１の対象と第２の対象との間で更に選択する。図３に示すように、フレーム３１０及び花瓶３３０は、第２及び第３の反復中に同点である。第４の反復中に更新された尤度推定値を使用して、尤度推定値は、フレーム３１０に対応する単一の尤度推定値に収束する。

方法７００は、ブロック７１６において、電子デバイスが、少なくとも１つの尤度推定値が信頼閾値を上回ると判定したことに応じて、少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子及びユーザコンテキストを使用して、少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションを生成することで継続する。いくつかの実施形態では、デバイス１０４又はその構成要素（例えば、図８のＣＧＲコンテンツレンダリングモジュール８５８、又は尤度推定器５３０）は、ブロック７１８によって表されるように、第２のコンピューティングデバイスに微細整合などの計算負荷の高いタスクを分配する。そのような実施形態では、図５を参照して上述したように、デバイス１０４は、ユーザコンテキスト及び第１の姿勢に関連付けられた対象の第１のセットを表す圧縮ベクトルを（例えば、図５のエンコーダ５３２において）生成する。次いで、デバイス１０４は、対象の第１のセットに関連付けられた分類子の推奨される重みを生成するために、圧縮ベクトルを第２のデバイスにリモートで送信する。例えば、ユーザ全体にわたる機械学習によって、第２のデバイスにおいて微細粒度整合を実行した後に、デバイス１０４は、推奨されるコンテンツ又はアクションを生成するために、第２のデバイスから推奨される重みを受信する。いくつかの実施形態では、ブロック７２０によって表されるように、推奨生成を更に容易にするために、デバイス１０４は、対象の第１のセット及び関連付けられた重みを複数のカスケードキャッシュ（例えば、図５のカスケードキャッシュ５５０−１、５５０−２、５５０−３．．．５５０−Ｎ）に記憶する。そのような実施形態では、対象は、重みの順序でカスケードキャッシュに記憶される。

いくつかの実施形態では、方法７００は、ブロック７２２において、電子デバイスが、信頼閾値を上回る更新されたユーザコンテキスト及び更新された第１の姿勢情報のうちの少なくとも１つに基づいて異なる対象を予測し、異なる対象に関連付けられた推奨されるコンテンツ又はアクションのセットを生成することで継続する。例えば、第１の姿勢及び第２の姿勢が、焦点が視野内で右に移動していることを示す場合、ユーザコンテキストに基づいて、尤度推定器は、視野の右側の次の対象を予測して、推奨されるコンテンツを提供する。例えば、図４Ａに示すように、最初に、第１の姿勢に関連付けられた焦点は、視野の中心のフレーム上にあった。この例を続けると、図４Ｂに示すように、第２の姿勢に関連付けられた焦点が右に移動するにつれて、カレンダー内の会議のユーザコンテキストに基づいて、視線領域２２２が依然として時計２４０から閾値距離内にあるとしても、ユーザが右の壁上の時計を見ることを意図している可能性がより高くなる。対照的に、第１の姿勢から第２の姿勢への変化は、視線領域が右にシフトしていることを示すため、ユーザが左側の犬２３６に関する情報を取得することを意図している可能性は低い。更新された姿勢情報に基づいて、デバイス１０４は、ユーザが時計２４０に関連して、イベントカレンダー２４２に関心がある可能性が最も高いと予測する。しかしながら、図４Ｃに示すように、例えば、今度の獣医への訪問は犬２３６のためのものであるなどの更新されたユーザコンテキスト情報に基づいて、デバイス１０４は、犬２３６に関するより多くの情報を提供すること、及び獣医における予約情報（例えば、推奨されるコンテンツ２４４）が生成されることを予測する。

図８は、いくつかの実施形態に係る、コンピューティングデバイス８００のブロック図である。いくつかの実施形態では、コンピューティングデバイス８００は、図１のデバイス１０４の少なくとも一部に対応し、上述した機能のうちの１つ以上を実行する。特定の特徴が示されているが、当業者は、本明細書に開示される実施形態のより適切な態様を曖昧にしないよう、簡潔にするために様々な他の特徴が示されていないことを、本開示から理解されよう。そのために、非限定的な実施例として、いくつかの実施形態では、コンピューティングデバイス８００は、１つ以上の処理ユニット（ＣＰＵ）８０２（例えば、プロセッサ）、１つ以上の入出力（Ｉ／Ｏ）インタフェース８０３（例えば、ネットワークインタフェース、入力デバイス、出力デバイス、及び／又はセンサインタフェース）、メモリ８１０、プログラミングインタフェース８０５、並びにこれら及び様々な他の構成要素を相互接続するための１つ以上の通信バス８０４を含む。

いくつかの実施形態では、１つ以上の通信バス８０４は、システム構成要素を相互接続し、システム構成要素間の通信を制御する回路を含む。メモリ８１０は、ＤＲＡＭ、ＳＲＡＭ、ＤＤＲ ＲＡＭ、又は他のランダムアクセスソリッドステートメモリデバイスなどの高速ランダムアクセスメモリを含み、いくつかの実施形態では、１つ以上の磁気ディスク記憶デバイス、光ディスク記憶デバイス、フラッシュメモリデバイス、又は他の不揮発性ソリッドステート記憶デバイスなどの不揮発性メモリを含む。メモリ８１０は、１つ以上のＣＰＵ８０２からリモートに位置する１つ以上の記憶デバイスを任意選択的に含む。メモリ８１０は、非一時的コンピュータ可読記憶媒体を含む。更に、いくつかの実施形態では、メモリ８１０又はメモリ８１０の非一時的コンピュータ可読記憶媒体は、任意選択のオペレーティングシステム８２０、画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、対象認識モジュール８５４、ＣＧＲコンテンツ推奨モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８を含む、プログラム、モジュール、及びデータ構造、又はそれらのサブセットを記憶する。いくつかの実施形態では、１つ以上の命令が論理メモリ及び非一時的メモリの組み合わせに含まれる。オペレーティングシステム８２０は、様々な基本システムサービスを処理するための手順及びハードウェア依存タスクを実行するための手順を含む。

いくつかの実施形態では、画像キャプチャ制御モジュール８５０は、画像をキャプチャする、又は画像データを取得するための画像センサ又はカメラアセンブリの機能を制御するように構成されている。そのために、画像キャプチャ制御モジュール８５０は、命令セット８５１ａ並びにヒューリスティックス及びメタデータ８５１ｂを含む。

いくつかの実施形態では、画像処理モジュール８５２は、画像センサ又はカメラアセンブリからの生画像データを前処理する（例えば、ＲＡＷ画像データをＲＧＢ画像データ又はＹＣｂＣｒ画像データに変換し、姿勢情報を導出する）ように構成されている。そのために、画像処理モジュール８５２は、命令セット８５３ａ並びにヒューリスティックス及びメタデータ８５３ｂを含む。

いくつかの実施形態では、対象認識モジュール８５４は、画像データから対象（単数又は複数）を認識するように構成されている。そのために、対象認識モジュール８５４は、命令セット８５５ａ並びにヒューリスティックス及びメタデータ８５５ｂを含む。

いくつかの実施形態では、ＣＧＲコンテンツ推奨モジュール８５６は、認識された対象（単数又は複数）に関連付けられたＣＧＲコンテンツアイテム（単数又は複数）を推奨するように構成されている。そのために、ＣＧＲコンテンツ推奨モジュール８５６は、命令セット８５７ａ並びにヒューリスティックス及びメタデータ８５７ｂを含む。

いくつかの実施形態では、ＣＧＲコンテンツレンダリングモジュール８５８は、認識された対象に近接した視野内のＣＧＲコンテンツアイテムを合成してレンダリングするように構成されている。そのために、ＣＧＲコンテンツレンダリングモジュール８５８は、命令セット８５９ａ並びにヒューリスティックス及びメタデータ８５９ｂを含む。

画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、対象認識モジュール８５４、ＣＧＲコンテンツ推奨モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８は、単一のコンピューティングデバイス上に存在するものとして示されているが、他の実施形態では、画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、対象認識モジュール８５４、ＣＧＲコンテンツ推奨モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８の任意の組み合わせが、様々な実施形態における別個のコンピューティングデバイス内に存在することができることを理解されたい。例えば、いくつかの実施形態では、画像キャプチャ制御モジュール８５０、画像処理モジュール８５２、対象認識モジュール８５４、ＣＧＲコンテンツ推奨モジュール８５６、及びＣＧＲコンテンツレンダリングモジュール８５８のそれぞれは、別個のコンピューティングデバイス上又はクラウド内に存在することができる。

更に、図８は、本明細書に開示される実施形態の構造概略図としてではなく、特定の実装形態に存在する様々な特徴の機能的説明を更に意図している。当業者によって認識されるように、別々に示された事項を組み合わせることができ、また、一部の事項は分離することができる。例えば、図８に別々に示すいくつかの機能モジュールは、単一のモジュール内に実装することができ、単一の機能ブロックの様々な機能は、様々な実施形態において１つ以上の機能ブロックによって実装することができる。モジュールの実際の数並びに特定の機能の分割及びそれらにどのように機能が割り当てられるかは、実施形態によって異なり、特定の実施形態のために選択されたハードウェア、ソフトウェア及び／又はファームウェアの特定の組み合わせに部分的に依存することができる。

添付の特許請求の範囲内の実装形態の様々な態様を上述したが、上述の実装形態の様々な特徴は、多種多様な形態で具現化されてもよく、上記の特定の構造及び／又は機能は単なる例示に過ぎないことは明らかである。本開示に基づいて、当業者は、本明細書に記載される態様は、任意の他の態様とは独立して実施されてもよく、これらの態様のうちの２つ以上が様々な方法で組み合わされてもよいことを理解すべきである。例えば、本明細書に記載される任意の数の態様を使用して、装置が実装されてもよく、かつ／又は方法が実行されてもよい。加えて、本明細書に記載される態様のうちの１つ以上に加えて、又はその他の構造及び／又は機能を使用して、このような装置が実装されてもよく、かつ／又はこのような方法が実行されてもよい。

本明細書では、様々な要素を説明するために「第１の」、「第２の」などの用語が使用される場合があるが、これらの要素は、これらの用語によって限定されるべきではないことも理解されるであろう。これらの用語は、ある要素を別の要素と区別するためにのみ使用される。例えば、「第１ノード」の全ての出現について一貫して名前が変更され、「第２ノード」のすべての出現について一貫して名前が変更される限り、説明の意味を変えることなく、第１ノードは第２ノードと呼ぶことができ、同様に、第２ノードは第１ノードと呼ぶことができる。第１のノードと第２のノードは両方ともノードであるが、それらは同じノードではない。

本明細書で使用される用語は、特定の実装形態を説明する目的のためであり、特許請求の範囲を限定することを意図するものではない。説明される実装形態の説明及び添付の特許請求の範囲で使用されるとき、単数形の「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈がそうではないことを明確に示さない限り、複数形も含むことを意図している。また、本明細書で使用されるとき、用語「及び／又は」は、関連する列挙された項目のうちの１つ以上のいずれか及び全ての考えられる組み合わせを指し、かつこれを含むことを理解されたい。用語「ｃｏｍｐｒｉｓｅｓ（含む）」及び／又は「ｃｏｍｐｒｉｓｉｎｇ（含む）」が、本明細書で使用される場合、述べられた特徴、整数、ステップ、動作、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、整数、ステップ、動作、要素、構成要素、及び／又はそれらのグループの存在又は追加を除外しないことを更に理解されたい。

本明細書で使用されるときには、用語「ｉｆ」は、文脈に応じて、「時」又は「際に」又は、先に述べた条件が正しいとの「判定に応じて」又は「判定に従って」、「検出に応じて」を意味するものと解釈できる。同様に、「［先に述べた条件が正しい］と判定される場合」又は「［先に述べた条件が正しい］場合」、又は「［先に述べた条件が正しい］時」というフレーズは、先に述べた条件が正しいとの「判定に際して」又は「判定に応じて」又は「判定に従って」又は「検出した際に」又は「検出に応じて」ということを意味するものと解釈できる。

図２Ｄに示すＣＧＲコンテンツアイテム２５０は、ユーザがカップケーキ２３２に関心があるとの判定に基づいて生成され、カップケーキ２３２に関する情報を提供するための推奨がなされる。比較すると、図２Ｅは、異なるＣＧＲコンテンツアイテム２５６を示しており、ＣＧＲコンテンツアイテム２５６はカップケーキ２３２上に重ね合わされている。ユーザは、依然としてカップケーキ２３２に関心があるものの、ＣＧＲコンテンツアイテム２５６は、例えば、ユーザが食事制限を有するなどの異なるユーザコンテキストに基づいて作成される。

Claims (38)

1. １つ以上のプロセッサ及び非一時的メモリを含むデバイスにおいて、
   画像センサによってキャプチャされた視野を特徴付けるパススルー画像データを取得することと、
   前記パススルー画像データ内の認識された対象が、ユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定することと、
   前記パススルー画像データ内の前記認識された対象が、前記信頼スコア閾値を満たすと判定したことに応じて、前記認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムを生成することと、
   前記パススルー画像データを、前記視野内の前記認識された対象に近接した前記１つ以上のＣＧＲコンテンツアイテムと合成することと、
   を含む、方法。
2. 前記パススルー画像データ内の前記認識された対象が、
   前記視野内の領域における視線を検出することと、
   前記領域に対応する前記パススルー画像データのサブセットを取得することと、
   前記パススルー画像データの前記サブセット及び分類子に基づいて、前記認識された対象を識別することと、
   によって認識される、請求項１に記載の方法。
3. 前記視線に基づいて、それぞれが前記領域内の対象に関連付けられた分類子に重みを割り当てることと、
   前記視線に対する更新に基づいて、前記分類子に対する前記重みを調整することと、
   前記分類子を最も高い重みの前記分類子から選択することと、
   を更に含む、請求項２に記載の方法。
4. 前記領域が、前記認識された対象の少なくとも一部を含む、請求項２又は３に記載の方法。
5. 前記視野内の領域に近接した視線を検出することを更に含み、前記認識された対象が、前記領域から閾値距離内にあり、かつ前記ユーザ固有の推奨プロファイルに基づいて識別され、
   拡張された領域に対応する前記パススルー画像データのサブセットを取得することと、
   前記パススルー画像データの前記サブセット及び分類子に基づいて前記認識された対象を識別することと、
   を含む、請求項１から４のいずれか一項に記載の方法。
6. 前記視野内の前記パススルー画像データを前記認識された対象に近接して表示された前記１つ以上のＣＧＲコンテンツアイテムと共にレンダリングすることを更に含む、請求項１から５のいずれか一項に記載の方法。
7. 前記１つ以上のＣＧＲコンテンツアイテムが、前記認識された対象に関連付けられた情報、又は前記認識された対象に関連付けられたアクションを実行するオプションのうちの少なくとも１つを含む、請求項１から６のいずれか一項に記載の方法。
8. 前記認識された対象が、複数の検索可能要素を含み、それぞれが、少なくとも１つの分類子に関連付けられている、請求項１から７のいずれか一項に記載の方法。
9. 前記ユーザ固有の推奨プロファイルが、ユーザが前記デバイスと相互作用するコンテキスト、前記ユーザのバイオメトリクス、前記ユーザによる以前の検索、又は前記ユーザのプロファイルのうちの少なくとも１つを含む、請求項１から８のいずれか一項に記載の方法。
10. 非一時的メモリと、
    １つ以上のプロセッサとを備える、デバイスであって、
    前記１つ以上のプロセッサが、画像センサによってキャプチャされた視野を特徴付けるパススルー画像データを取得し、
    前記パススルー画像データ内の認識された対象が、ユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定し、
    前記パススルー画像データ内の前記認識された対象が、前記信頼スコア閾値を満たすと判定したことに応じて、前記認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムを生成し、
    前記パススルー画像データを、前記視野内の前記認識された対象に近接した前記１つ以上のＣＧＲコンテンツアイテムと合成する、
    ように構成されている、デバイス。
11. 前記パススルー画像データ内の前記認識された対象が、
    前記視野内の領域における視線を検出することと、
    前記領域に対応する前記パススルー画像データのサブセットを取得することと、
    前記パススルー画像データの前記サブセット及び分類子に基づいて、前記認識された対象を識別することと、
    によって認識される、請求項１０に記載のデバイス。
12. 前記１つ以上のプロセッサが、
    前記視線に基づいて、それぞれが前記領域内の対象に関連付けられた分類子に重みを割り当て、
    前記視線に対する更新に基づいて、前記分類子に対する前記重みを調整し、
    前記分類子を最も高い重みの前記分類子から選択する、
    ように更に構成されている、請求項１１に記載のデバイス。
13. 前記領域が、前記認識された対象の少なくとも一部を含む、請求項１１又は１２に記載のデバイス。
14. 前記１つ以上のプロセッサが、前記視野内の領域に近接した視線を検出するように更に構成されており、前記認識された対象が、前記領域から閾値距離内にあり、かつ前記ユーザ固有の推奨プロファイルに基づいて、
    拡張された領域に対応する前記パススルー画像データのサブセットを取得することと、
    前記パススルー画像データの前記サブセット及び分類子に基づいて、前記認識された対象を識別することと、
    によって識別される、請求項１０から１３のいずれか一項に記載のデバイス。
15. 前記１つ以上のプロセッサが、前記視野内の前記パススルー画像データを前記認識された対象に近接して表示された前記１つ以上のＣＧＲコンテンツアイテムと共にレンダリングするように更に構成されている、請求項１０から１４のいずれか一項に記載のデバイス。
16. 前記１つ以上のＣＧＲコンテンツアイテムが、前記認識された対象に関連付けられた情報、又は前記認識された対象に関連付けられたアクションを実行するオプションのうちの少なくとも１つを含む、請求項１０から１５のいずれか一項に記載のデバイス。
17. 前記認識された対象が、複数の検索可能要素を含み、それぞれが、少なくとも１つの分類子に関連付けられている、請求項１０から１６のいずれか一項に記載のデバイス。
18. 前記ユーザ固有の推奨プロファイルが、ユーザが前記デバイスと相互作用するコンテキスト、前記ユーザのバイオメトリクス、前記ユーザによる以前の検索、又は前記ユーザのプロファイルのうちの少なくとも１つを含む、請求項１０から１７のいずれか一項に記載のデバイス。
19. エンコードされた命令を有する非一時的コンピュータ可読媒体であって、前記命令が、デバイスの１つ以上のプロセッサによって実行されると、前記デバイスに、
    画像センサによってキャプチャされた視野を特徴付けるパススルー画像データを取得させ、
    前記パススルー画像データ内の認識された対象が、ユーザ固有の推奨プロファイルに関連付けられた信頼スコア閾値を満たすかどうかを判定させ、
    前記パススルー画像データ内の前記認識された対象が、前記信頼スコア閾値を満たすと判定したことに応じて、前記認識された対象に関連付けられた１つ以上のコンピュータ生成現実（ＣＧＲ）コンテンツアイテムを生成させ、
    前記パススルー画像データを、前記視野内の前記認識された対象に近接した前記１つ以上のＣＧＲコンテンツアイテムと合成させる、
    非一時的コンピュータ可読媒体。
20. １つ以上のプロセッサ及び非一時的メモリを含むデバイスにおいて、
    前記デバイスの第１の姿勢に関連付けられた対象の第１のセットを取得することと、
    ユーザコンテキスト及び前記第１の姿勢に基づいて、前記対象の第１のセットのそれぞれに対して尤度推定値を判定することと、
    前記対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回るかどうかを判定することと、
    前記少なくとも１つの尤度推定値が前記信頼閾値を上回ると判定したことに応じて、前記少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子及び前記ユーザコンテキストを使用して、前記少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションを生成することと、
    を含む、方法。
21. 前記対象の第１のセットが、第１の期間中に画像センサによってキャプチャされ、前記方法が、第２の期間中に、
    前記ユーザコンテキストの第２の期間中に更新された値を取得することと、
    前記ユーザコンテキストの前記更新された値及び前記第１の姿勢に基づいて、前記対象の第１のセットのそれぞれに対する前記尤度推定値を更新することと、
    を更に含む、請求項２０に記載の方法。
22. 前記ユーザコンテキスト及び前記第１の姿勢に基づいて前記対象の第１のセットのそれぞれに対して前記尤度推定値を判定することが、
    前記デバイスの第２の姿勢に関連付けられた対象の第２のセットであって、少なくとも１つの対象が前記対象の第１のセット及び前記対象の第２のセット内にある、対象の第２のセットを取得することと、
    前記第２の姿勢、前記ユーザコンテキスト、及び前記第１の姿勢に基づいて、前記少なくとも１つの対象に対する少なくとも１つの尤度推定値を判定することと、
    を含む、請求項２０又は２１に記載の方法。
23. 前記対象の第１のセット内の前記少なくとも１つのそれぞれの対象に対する前記少なくとも１つの尤度推定値が、前記信頼閾値を上回るかどうかを判定することが、前記少なくとも１つの尤度推定値を前記対象の第１のセット内の他の対象に対する尤度推定値と比較することを含む、請求項２０から２２のいずれか一項に記載の方法。
24. 前記対象の第１のセット内の前記少なくとも１つのそれぞれの対象に対する前記少なくとも１つの尤度推定値が、第１の対象に対する第１の尤度推定値と、第２の対象に対する第２の尤度推定値と、を含み、
    前記方法が、
    前記第１の対象に対する更新された第１の尤度推定値と、前記第２の対象に対する更新された第２の尤度推定値とを生成することを含めて、更新されたユーザコンテキスト及び更新された第１の姿勢情報のうちの少なくとも１つに基づいて、前記対象の第１のセットのそれぞれに対する前記尤度推定値を更新することと、
    前記更新された第１の尤度推定値と前記更新された第２の尤度推定値とに基づいて、前記第１の対象と前記第２の対象との間で選択することと、
    を更に含む、請求項２０から２３のいずれか一項に記載の方法。
25. 前記ユーザコンテキスト及び前記第１の姿勢に関連付けられた前記対象の第１のセットを表す圧縮ベクトルを生成することと、
    前記対象の第１のセットに関連付けられた分類子の推奨される重みを生成するために、前記圧縮ベクトルを第２のデバイスに送信することと、
    前記推奨されるコンテンツ又はアクションを生成するために、前記第２のデバイスから前記推奨される重みを受信することと、
    を更に含む、請求項２０から２４のいずれか一項に記載の方法。
26. 前記対象の第１のセット内の対象に対する分類子に関連付けられた重みによって順序付けられた複数のカスケードキャッシュに、前記対象の第１のセット及び関連付けられた重みを記憶することを更に含む、請求項２０から２５のいずれか一項に記載の方法。
27. 前記信頼閾値を上回る更新されたユーザコンテキスト及び更新された第１の姿勢情報のうちの少なくとも１つに基づいて、異なる対象を予測することと、
    前記異なる対象に関連付けられた推奨されるコンテンツ又はアクションのセットを生成することと、
    を更に含む、請求項２０から２６のいずれか一項に記載の方法。
28. 前記対象の第１のセットが、
    前記デバイスの視野内の第１の領域に近接した視線を検出することと、
    前記第１の領域に対応する画像データを取得することと、
    前記画像データ及び１つ以上の分類子に基づいて、前記対象の第１のセットを分類することと、
    によって認識される、請求項２０から２７のいずれか一項に記載の方法。
29. 非一時的メモリと、
    １つ以上のプロセッサを備えるデバイスであって、前記１つ以上のプロセッサが、
    前記デバイスの第１の姿勢に関連付けられた対象の第１のセットを取得し、
    ユーザコンテキスト及び前記第１の姿勢に基づいて、前記対象の第１のセットのそれぞれに対して尤度推定値を判定し、
    前記対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回るかどうかを判定し、
    前記少なくとも１つの尤度推定値が前記信頼閾値を上回ると判定したことに応じて、前記少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子及び前記ユーザコンテキストを使用して、前記少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションを生成する、
    ように構成されている、デバイス。
30. 前記対象の第１のセットが、第１の期間中に画像センサによってキャプチャされ、前記１つ以上のプロセッサが、第２の期間中に、
    前記ユーザコンテキストの第２の期間中に更新された値を取得し、
    前記ユーザコンテキストの前記更新された値及び前記第１の姿勢に基づいて、前記対象の第１のセットのそれぞれに対する前記尤度推定値を更新する、
    ように更に構成されている、請求項２９に記載のデバイス。
31. 前記１つ以上のプロセッサが、
    前記デバイスの第２の姿勢に関連付けられた対象の第２のセットであって、少なくとも１つの対象が前記対象の第１のセット及び前記第２のセット内にある、対象の第２のセットを取得することと、
    前記第２の姿勢、前記ユーザコンテキスト、及び前記第１の姿勢に基づいて、前記少なくとも１つの対象に対する少なくとも１つの尤度推定値を判定することと、
    によって、前記ユーザコンテキスト及び前記第１の姿勢に基づいて、前記対象の第１のセットのそれぞれに対する前記尤度推定値を判定するように構成されている、請求項２９又は３０に記載のデバイス。
32. 前記１つ以上のプロセッサが、前記少なくとも１つの尤度推定値を前記対象の第１のセット内の他の対象に対する尤度推定値と比較することによって、前記対象の第１のセット内の前記少なくとも１つのそれぞれの対象に対する前記少なくとも１つの尤度推定値が前記信頼閾値を上回るかどうかを判定するように構成されている、請求項２９から３１のいずれか一項に記載のデバイス。
33. 前記対象の第１のセット内の前記少なくとも１つのそれぞれの対象に対する前記少なくとも１つの尤度推定値が、第１の対象に対する第１の尤度推定値と、第２の対象に対する第２の尤度推定値と、を含み、
    前記１つ以上のプロセッサが、
    前記第１の対象に対する更新された第１の尤度推定値と、前記第２の対象に対する更新された第２の尤度推定値とを生成することを含めて、更新されたユーザコンテキスト及び更新された第１の姿勢情報のうちの少なくとも１つに基づいて、前記対象の第１のセットのそれぞれに対する前記尤度推定値を更新し、
    前記更新された第１の尤度推定値と前記更新された第２の尤度推定値とに基づいて、前記第１の対象と前記第２の対象との間で選択する、
    ように更に構成されている、請求項２９から３２のいずれか一項に記載の方法。
34. 前記１つ以上のプロセッサが、
    前記ユーザコンテキスト及び前記第１の姿勢に関連付けられた前記対象の第１のセットを表す圧縮ベクトルを生成し、
    前記対象の第１のセットに関連付けられた分類子の推奨される重みを生成するために、前記圧縮ベクトルを第２のデバイスに送信し、
    前記推奨されるコンテンツ又はアクションを生成するために、前記第２のデバイスから前記推奨される重みを受信する、
    ように更に構成されている、請求項２９から３３のいずれか一項に記載の方法。
35. 前記１つ以上のプロセッサが、前記対象の第１のセット内の対象に対する分類子に関連付けられた重みによって順序付けられた複数のカスケードキャッシュに、前記対象の第１のセット及び関連付けられた重みを記憶するように更に構成されている、請求項２９から３４のいずれか一項に記載のデバイス。
36. 前記１つ以上のプロセッサが、
    前記信頼閾値を上回る更新されたユーザコンテキスト及び更新された第１の姿勢情報のうちの少なくとも１つに基づいて、異なる対象を予測し、
    前記異なる対象に関連付けられた推奨されるコンテンツ又はアクションのセットを生成する、
    ように更に構成されている、請求項２９から３５のいずれか一項に記載のデバイス。
37. 前記対象の第１のセットが、
    前記デバイスの視野内の第１の領域に近接した視線を検出することと、
    前記第１の領域に対応する画像データを取得することと、
    前記画像データ及び１つ以上の分類子に基づいて、前記対象の第１のセットを分類することと、
    によって認識される、請求項２９から３６のいずれか一項に記載のデバイス。
38. エンコードされた命令を有する非一時的コンピュータ可読媒体であって、前記命令が、デバイスの１つ以上のプロセッサによって実行されると、前記デバイスに、
    前記デバイスの第１の姿勢に関連付けられた対象の第１のセットを取得させ、
    ユーザコンテキスト及び前記第１の姿勢に基づいて、前記対象の第１のセットのそれぞれに対して尤度推定値を判定させ、
    前記対象の第１のセット内の少なくとも１つのそれぞれの対象に対する少なくとも１つの尤度推定値が信頼閾値を上回るかどうかを判定させ、
    前記少なくとも１つの尤度推定値が前記信頼閾値を上回ると判定したことに応じて、前記少なくとも１つのそれぞれの対象に関連付けられた少なくとも１つの分類子及び前記ユーザコンテキストを使用して、前記少なくとも１つのそれぞれの対象に関連付けられた推奨されるコンテンツ又はアクションを生成させる、
    非一時的コンピュータ可読媒体。

Images