JP2022539313A - 仮想コンテンツのための仮想場所の選択 - Google Patents

Abstract

拡張現実システム内にコンテンツを設置するための方法。拡張現実システム内に表示するための新しいコンテンツの可用性に関する通知が、受信される。新しいコンテンツの受入を示す確認が、受信される。物理的環境を説明する３次元情報が、外部コンピューティングデバイスに提供され、外部コンピューティングデバイスが新しいコンテンツのための物理的環境内の割当場所を選択するために使用されることを可能にする。割当場所を示す場所情報が、外部コンピューティングデバイスから受信される。新しいコンテンツが物理的環境内の割当場所においてオーバーレイとして表示されているようにユーザに見えるように新しいコンテンツを表示するための拡張現実システムのディスプレイシステム上の表示場所が、場所情報に基づいて、決定される。新しいコンテンツが、ディスプレイシステム上に、表示場所において表示される。

Description

（関連出願の相互参照）
本願は、２０１９年６月２４日に出願された米国仮出願第６２／８６５，７５６号の利益を主張し、これは、参照により、その全体が本明細書に援用される。

（分野）
本明細書は、概して、複合現実（ＭＲ）デバイスに関する。

（背景）
従来のデバイス上でコンテンツを閲覧するための典型的方法は、表示画面（例えば、コンピュータ、スマートフォン、タブレット等のモニタ）上にコンテンツを表示することができるアプリケーションを開くことである。ユーザは、アプリケーションにナビゲートし、コンテンツを閲覧することができる。通常、ユーザがディスプレイの表示画面を見ているとき、コンテンツがアプリケーション内およびディスプレイデバイスの表示画面上に表示される方法に関する固定されたフォーマットが、存在する。

本明細書に説明される主題の革新的側面は、拡張現実（ＡＲ）システム内でのコンテンツの設置に関する。

仮想現実（ＶＲ）、拡張現実（ＡＲ）、および／または複合現実（ＭＲ）システムを用いて、アプリケーションは、空間３次元（３Ｄ）環境内にコンテンツを表示することができる。特に、コンテンツアイテムの場所は、新しいコンテンツストリームの可用性の通知を受信することに応答して選択されることができる。したがって、１つの一般的実装によると、ユーザは、モバイルデバイスを、新しいコンテンツアイテムの仮想表示のための場所を選択するためのコントローラとして使用することができる。ユーザの環境の表現が、モバイルデバイス上に表示されることができ、ユーザは、新しいコンテンツを仮想的に表示するためのユーザの物理的環境内の場所に対応するものとして、表現内のある場所を選択することができる。ユーザの選択された場所のインジケーションが、モバイルデバイスによってＡＲシステムに提供されることができる。モバイルデバイスから場所情報を受信することに応答して、ＡＲシステムは、新しいコンテンツストリームがユーザの物理的環境内の選択された場所においてオーバーレイとしてユーザに見えるように、新しいコンテンツストリームを仮想的に表示することができる。

説明される実装によると、拡張現実システム内に表示するための新しいコンテンツの可用性に関する通知が、受信される。拡張現実システムは、コンテンツがユーザの物理的環境内の割当場所において添着されているようにユーザに見えるように、ディスプレイシステム上にコンテンツを提示するように構成される。新しいコンテンツの受入を示す確認入力が、受信される。確認入力を受信することに応答して、物理的環境を説明する３次元情報が、拡張現実システムの外部にある外部コンピューティングデバイスに提供され、外部コンピューティングデバイスが新しいコンテンツのための物理的環境内の割当場所を選択するために使用されることを可能にする。新しいコンテンツのための物理的環境内の割当場所を示す場所情報が、外部コンピューティングデバイスから受信される。新しいコンテンツが物理的環境内の割当場所においてオーバーレイとして表示されているようにユーザに見えるように新しいコンテンツを表示するためのディスプレイシステム上の表示場所が、場所情報に基づいて、決定される。新しいコンテンツが、ディスプレイシステム上に、表示場所において表示される。

説明されるコンテンツ設置アプローチは、ユーザがモバイルデバイスをＡＲシステムのためのコントローラとして使用することができる点において有利である。モバイルデバイスは、ＡＲシステムから３Ｄ情報を受信し、新しいコンテンツおよび既存のコンテンツのための仮想表示場所の選択を可能にするユーザの環境の表現を表示することができる。ユーザは、ユーザの環境の表現を使用して、新しいコンテンツの仮想表示のための場所を選択することができ、ＡＲシステムは、環境の表現を使用して選択される場所に対応する物理的場所において、新しいコンテンツをオーバーレイとして仮想的に表示することができる。

この側面の他の実装は、対応するシステムと、装置と、コンピュータ記憶デバイス上に記録されるコンピュータプログラムとを含み、各々が、本方法の動作を実施するように構成される。

本明細書に説明される主題の１つ以上の実装の詳細が、付随の図面および下記の説明に記載される。本主題の他の特徴、側面、および利点が、説明、図面、および請求項から明白な状態になる。

図１Ａは、頭部搭載型ＡＲシステムが使用される部屋のある場面を図示する。

図１Ｂは、例示的モバイルデバイスユーザインターフェースを図示する。

図１Ｃは、頭部搭載型ＡＲシステムが新しいコンテンツアイテムを仮想的に表示するある部屋の更新された場面を図示する。

図２は、モバイルデバイスの統合を含むＡＲシステムの例示的実装を図示する。

図３は、ＡＲシステム内でコンテンツを表示するための方法のフローチャートを描写する。

種々の図面における同様の参照番号および記号は、同様の要素を示す。

（詳細な説明）
図１Ａは、頭部搭載型ＡＲシステム１０１が使用される部屋１００のある場面を図示する。頭部搭載型ＡＲシステム１０１は、複合現実世界と相互作用して複合現実世界を体験するためのインターフェースをユーザに提示する複合現実デバイスであってもよい。複合現実世界は、ユーザの物理的環境内にコンピュータ発生コンテンツと現実世界の物理的オブジェクトとを含むことができる。頭部搭載型ＡＲシステム１０１は、例えば、ユーザの視野内に、物理的オブジェクトと混合された仮想オブジェクトの画像を提供することができる。

複合現実世界は、ユーザによって、頭部搭載型ＡＲシステム１０１の接眼レンズ（単数または複数）を通して見られることができる。例えば、頭部搭載型ＡＲシステム１０１の右の接眼レンズ１０４を通して見られるような単眼ビュー１０２が、示される。頭部搭載型ＡＲシステム１０１の接眼レンズ（右の接眼レンズ１０４を含む）は、少なくとも部分的に透明であり、「光学シースルー」ディスプレイとしての役割を果たすことができ、それを通して、ユーザは、ユーザの物理的環境内で実オブジェクトを視認することができる。ユーザの物理的環境は、ユーザがあちこち移動して頭部搭載型ＡＲシステム１０１を通して現実世界オブジェクトを視認するときの、ユーザの物理的な周囲環境である。例えば、ユーザの物理的環境は、単眼ビュー１０２内に見られるように、椅子１０６と、テーブル１０８と、本棚１１０とを含む。本棚１１０は、棚１１１を含む個々の棚のグリッドを含む仕切付きの棚である。

頭部搭載型ＡＲシステム１０１は、ユーザに、頭部搭載型ＡＲシステム１０１の接眼レンズを通して、物理的現実に対する拡張として知覚されることができる仮想コンテンツを提示するように構成されることができる。例えば、頭部搭載型ＡＲシステム１０１は、部分的に透明な物理的表面上に転置される仮想オブジェクトの画像を生産することができる。例えば、仮想コンテンツ１１２は、頭部搭載型ＡＲシステム１０１が、テーブル１０８が頭部搭載型ＡＲシステム１０１の視野内にあることを決定すると、頭部搭載型ＡＲシステム１０１の接眼レンズを通して、テーブル１０８の上部表面１１４上に仮想的に表示されることができる。本明細書に説明されるような「コンテンツの仮想表示」は、物理的環境内の特定の３次元場所においてコンテンツがオーバーレイとして表示されているようにユーザに見えるように、ディスプレイシステムまたは（右の接眼レンズ１０４等の）デバイス上にコンテンツを表示することを指す。頭部搭載型ＡＲシステム１０１は、ユーザがその頭部を方向転換して上または下を見たときに、頭部搭載型ＡＲシステム１０１内の表示デバイスが、テーブル１０８の上部表面１１４に添着されたままであるように見えるように仮想コンテンツ１１２をレンダリングし続けるように、構成されることができる。

仮想コンテンツは、いくつかの実施例を挙げると、ウェブページ、ブログ、デジタル写真、ビデオ、ニュース記事、ニュースレター、または音楽を含む、または、それらに対応してもよい。仮想デジタルコンテンツは、頭部搭載型ＡＲシステム１０１によってアクセス可能である記憶デバイス上に記憶されるコンテンツに対応してもよい、または、仮想コンテンツは、ライブビデオフィード等のストリーミングコンテンツの表現であってもよい。仮想コンテンツの複数のアイテムが、部屋１００内の複数の異なる物理的表面上に仮想的に表示され、ユーザのための作業空間面積全体を拡大させ得、作業空間面積上に、仮想コンテンツが表示され得る。種々の平面が、例えば、仮想ディスプレイとして指定されてもよい。

頭部搭載型ＡＲシステム１０１は、新しいコンテンツアイテムが、頭部搭載型ＡＲシステム１０１による仮想表示のために利用可能であることを決定することができる。頭部搭載型ＡＲシステム１０１は、新しいコンテンツが利用可能であることの内部決定を行うことができ、かつ／または、外部システムから、新しいコンテンツが利用可能であることの告知を受信し得る。頭部搭載型ＡＲシステム１０１は、例えば、ボットまたは別のコンテンツソースをサブスクライブしてもよい。

新しいコンテンツは、種々のタイプのプッシュ型コンテンツであってもよい。プッシュ型コンテンツは、ユーザがコンテンツを検索または選択する必要なく、ユーザの環境の中にレンダリングされることができるコンテンツであり得る。例えば、プッシュ型コンテンツは、（ａ）株価通知、ニュースフィード等の種々のアプリケーションからの通知、（ｂ）優先順位付けされたコンテンツ（例えば、ソーシャルメディアアプリケーションからの更新および通知、電子メール更新、または連絡先からのメッセージ）、（ｃ）広範な標的群および／または具体的な標的群を標的とするメッセージ、または、（ｄ）他のタイプのコンテンツまたはコンテンツストリームを含み得る。

新しいコンテンツアイテムが仮想表示のために利用可能であることを決定することに応答して、通知１１６が、ユーザに表示されることができる。通知１１６は、新しい株価チャートコンテンツアイテムが利用可能であることを示す。通知１１６はまた、ユーザに、新しい株価チャートを仮想的に表示するための物理的環境内の場所を選択するように促している。

通知１１６は、頭部搭載型ＡＲシステム１０１によって、ユーザに仮想的に表示されることができる。通知１１６は、部屋１００内の特定の物理的表面上に示されることができる、または、「空間内」に出現しているかのように表示されることができる。別の実施例として、通知１１６は、単眼ビュー１０２内に、接眼レンズ１０４の１つ以上の縁に対して表示されることができる。他の実施例は、通知１１６が、コンピューティングデバイス（図示せず）の物理的ディスプレイ上に、または（例えば、頭部搭載型ＡＲシステム１０１または別の接続されるコンピューティングデバイスのスピーカを通して再生されるような）ユーザへのオーディオ通知として、表示されることを含む。

ユーザは、通知１１６および他の新しいコンテンツ告知の表示を制御するための種々の設定を構成することができる。例えば、ユーザは、新しいコンテンツ通知を仮想的に表示するための特定の場所（例えば、物理的表面、物理的コンピューティングデバイスディスプレイ）を構成することができる。別の実施例として、ユーザは、通知頻度（例えば、即座に表示する、周期的に表示する）および告知を表示するためのコンテンツタイプを構成することができる。

ユーザは、通知１１６と相互作用し、通知１１６の受入／確認を示し、かつ／または、新しいコンテンツまたはコンテンツストリームを仮想的に表示するための場所（例えば、部屋１００の物理的環境内）の選択を開始することができる。ユーザは、種々の方法において特定の場所を選択することができる。場所を選択するための１つのアプローチは、ユーザのモバイルデバイス上に表示されるユーザインターフェースを使用することによる。

図１Ｂは、例示的モバイルデバイスユーザインターフェース１４０を図示する。ユーザインターフェース１４０は、ＡＲ環境内に表示されることができる新しいコンテンツアイテムに関する通知（例えば、図１Ａに関して上記に説明される通知１１６）をユーザが受信することに応答して、ユーザのユーザデバイス１４２上に表示されることができる。

ユーザインターフェース１４０は、図１Ａに関して上記に説明される部屋１００の３Ｄモデル１４４を含む空間３次元（３Ｄ）環境を表示する。３Ｄモデル１４４は、部屋１００の簡略化された幾何モデルであり得る。例えば、３Ｄモデル１４４は、部屋１００のデジタル３Ｄ平面マップ（例えば、「ミニマップ」）であり得る。

３Ｄモデル１４４は、部屋１００の静的な事前構築された表現であり得る。別の実施例として、３Ｄモデル１４４は、図１Ａの頭部搭載型ＡＲシステム１０１によって発生される情報に基づいて、近リアルタイムで発生されることができる。例えば、頭部搭載型ＡＲシステム１０１は、３Ｄモデル１４４を表示するために、ユーザデバイス１４２によって使用されることができる３Ｄモデル情報を発生させ、送信することができる。いくつかの実装では、頭部搭載型ＡＲシステム１０１は、ユーザの頭部姿勢および／または眼球運動の変化に応答することができ、更新された３Ｄモデル１４４がユーザインターフェース１４０内に表示されることができるように、更新された３Ｄモデル情報をユーザデバイス１４２に送信することができる（例えば、更新される３Ｄモデル１４４は、ユーザの現在の視点からの部屋１００のビューを表す）。

部屋１００の簡略化および処理されたビューを提示することができるユーザインターフェース１４０は、部屋１００内の物理的オブジェクトの表現を含むことができる。例えば、ユーザインターフェース４００は、それぞれ、椅子１０６、テーブル１０８、および本棚１１０に対応する、椅子オブジェクト１４６と、テーブルオブジェクト１４８と、本棚オブジェクト１５０とを含む。ユーザは、ユーザインターフェース１４０を、３Ｄモデル１４４の特定の面積上に集束させるように、拡大およびパンすることができる。

ユーザデバイス１４０は、ＡＲ環境のためのコントローラ、制御パネル、および／またはナビゲータとして使用されることができる。例えば、ユーザは、仮想コンテンツの設置のためにユーザインターフェース１４０と相互作用することができる。既存の仮想コンテンツは、オブジェクトまたはアイコンによってユーザインターフェース１４０内に表されることができる。例えば、図１Ａの仮想コンテンツ１１２は、アイコン１５２として、ユーザインターフェース１４０内に表される。ユーザは、アイコン１５２を選択し、アイコン１５２をユーザインターフェース１４０内の別の場所までドラッグすることができる。アイコン１５２をユーザインターフェース１４０内の別の場所まで移動させることに応答して、仮想コンテンツ１１２は、頭部搭載型ＡＲシステム１０１を使用するユーザによって見られるようなＡＲ環境内の対応する場所においてオーバーレイとして表示されることができる。

いくつかの実装では、ユーザインターフェース１４０内のオブジェクトのある表面が、コンテンツ設置のための提案される表面として、（ユーザデバイス１４２または頭部搭載型ＡＲシステム１０１によって）識別される。例えば、椅子オブジェクト１４６の椅子の背もたれ１５４が、椅子１０６の背もたれがコンテンツのための推奨される場所であることを示すような（例えば、特定の色において）強調される様式において示されることができる。別の実施例として、本棚オブジェクト１５０の最上位の２列のある棚（例えば、棚１５６、１５８、１６０、および１６２）が、本棚１１０の対応する個々の棚がコンテンツの設置に適していることを示すように強調されることができる。本棚１１０の棚のより低い列は、頭部搭載型ＡＲシステム１０１が、本棚１１０の棚のより低い列がユーザにとって現在可視でない（例えば、テーブル１０８が、より低い棚のビューを遮断し得る）ことを決定し得るため、コンテンツのための提案される場所として識別されない場合がある。一般に、提案される表面は、現在の頭部姿勢または視線に対する視野、表面輪郭、表面質感、表面サイズ、表面上に設置され得るコンテンツのタイプ（例えば、既存コンテンツまたは新しいコンテンツのタイプ）、または、表面が現在仮想コンテンツによって占有されているかどうかを含む種々の要因に基づいて、決定されることができる。

いくつかの実装では、提案される表面は、新しいコンテンツの仮想表示のために適し得る表面として、新しいコンテンツの通知に応答して強調される。例えば、提案される表面は、ユーザに、新しい株価チャートコンテンツアイテムのための場所を選択するように命令する通知１６４に応答して、ユーザインターフェース内で強調されることができる。通知１６４は、通知１１６に対応し、ビュー１０２内の通知１１６の表示と連動してまたは通知１１６とのユーザ相互作用（例えば、通知１１６の確認）に応答して、ユーザインターフェース１４０内に自動的に表示されることができる。

ユーザは、通知１６４に応答して、新しい株価チャートの仮想表示のための場所として、ユーザインターフェース１４０内で特定のオブジェクトの表面を選択することができる。ユーザは、部屋１００内の「空間内に浮動している」場所を表す場所等、３Ｄモデル１４４内の提案される表面、いくつかの他の表面、またはいくつかの他の場所を選択することができる。ユーザの指１６６によって示されるように、ユーザは、本棚１１０の棚１１１が新しい株価チャートの仮想表示のための選択された場所であることを示すために、本棚オブジェクト１５０の棚１５８を選択する。

本棚オブジェクト１５０の棚１５８の選択のインジケーションが、頭部搭載型ＡＲシステム１０１に伝送されることができる。例えば、棚１５８の３Ｄ情報（例えば、座標、領域識別子等）が、頭部搭載型ＡＲシステム１０１に送信されることができる。

いくつかの実装では、新しい株価チャートの仮想表示のための場所としての棚１５８の選択に応答して、新しい株価チャートを表す新しいアイコンが、ユーザインターフェース１４０内に、棚１５８の中／上に表示される。いくつかの実装では、通知１６４の表示に応答して（または通知１６４の表示と連動して）、新しい株価チャートを表すアイコンが、ユーザインターフェース１４０内の初期／デフォルト場所において表示される。ユーザは、新しいアイコンを所望の場所まで移動させ、新しい株価チャートのための場所の選択を終了させることができる。初期／デフォルト場所は、例えば、ユーザインターフェース１４０の中心、最高適合性スコアを有する表面等の特定の提案される表面、または構成されるユーザ選好に基づいて選択される表面または場所であり得る。新しい株価チャートを表す新しいアイコンが表示される場合、新しいアイコンは、少なくともユーザが新しい株価チャートのための場所を終了させるまで、アイコン１５２と異なる外観（例えば、異なる色、閃光、他の強調）を有することができる。

ユーザインターフェース１４０は、アイコンを特定の表面まで移動させるとき、アイコンが表面に「スナップ」するように構成されることができる。別の実施例として、ユーザは、「ドラッグ・アンド・ドロップ」動作を使用することによって、アイコンを移動させることができ、いくつかの場合には、ユーザは、ドラッグ・アンド・ドロップ動作が完了した後、最終目的地／場所を確認することができる。

棚１５８の選択に応答して、通知１６４が、ユーザインターフェース１４０から除去されることができる。いくつかの実装では、選択確認告知（例えば、「株価チャート場所が確認されました」、「株価チャートの場所を選択していただきありがとうございました」）が、棚１５８の選択に応答して表示される。棚１５８の選択後、３Ｄモデル１４４は、ユーザがＡＲ環境との他の相互作用を実施し、新しいコンテンツの将来の通知を受信すること等を可能にするように、ユーザインターフェース１４０内に表示されたままであることができる。

図１Ｃは、頭部搭載型ＡＲシステム１８２が新しいコンテンツアイテムを仮想的に表示する、部屋１８０の更新された場面を図示する。部屋１８０は、部屋１００に対応し、頭部搭載型ＡＲシステム１８２の接眼レンズ１８６を通して見られるビュー１８４が、新しいコンテンツアイテムを仮想的に表示するための場所の選択に応答して更新されている。例えば、頭部搭載型ＡＲシステム１８２は、図１Ｂのユーザインターフェース１４０内に棚１５８のユーザ選択を示す情報を受信することができる。

頭部搭載型ＡＲシステム１８２は、新しい株価チャートコンテンツアイテムのための場所としての棚１５８のユーザ選択を示す情報を受信することに応答して、本棚１９０の棚１８８を、本棚オブジェクト１５０の棚１５８に対応するものとして識別することができる。頭部搭載型ＡＲシステム１８２は、仮想の株価チャートコンテンツアイテム１９２を棚１８８の中／上に仮想的に表示することができる。例えば、仮想株価チャートコンテンツアイテム１９２は、仮想株価チャートコンテンツアイテム１９２が棚１８８の上部にオーバーレイとして表示されているようにユーザに見えるように、実質的に現実世界の棚１８８にわたってレンダリングおよび重畳されることができる。

頭部搭載型ＡＲシステム１８２は、仮想株価チャートコンテンツアイテム１９２への棚１８８の１対１のマッピングを維持することができる。頭部搭載型ＡＲシステム１８２を使用して、ユーザは、仮想株価チャートコンテンツアイテム１９２を、マップ／合致された棚１８８上に出現しているかのように視認することができる。仮想株価チャートコンテンツアイテム１９２は、投影を通してかつユーザによって知覚されるように、棚１８８上に物理的に付着されているものとして見えるように表示されることができる。

図２は、モバイルデバイスの統合を含むＡＲシステム２００の例示的実装を図示する。頭部搭載型ＡＲシステム２０２は、物理的現実に対する拡張として知覚されることができる仮想コンテンツをユーザに提示するように構成されることができる。例えば、ＡＲ環境発生器２０４が、ユーザの視野内の物理的オブジェクトと混合されることができる仮想オブジェクトの画像を提供することができる。

頭部搭載型ＡＲシステム２０２は、新しいコンテンツ通知部２０６から、新しいコンテンツアイテムが頭部搭載型ＡＲシステム２０２による仮想表示のために利用可能であることの通知を受信することができる。新しいコンテンツサブスクライバ２０８が、例えば、新しいコンテンツ通知部２０６～の通知をサブスクライブおよび受信することができる。別の実施例として、頭部搭載型ＡＲシステム２０２は、新しいコンテンツがユーザへの仮想表示のために利用可能であることの内部決定を行うことができる。

ＡＲ環境発生器２０４は、頭部搭載型ＡＲシステム２０２によって新しいコンテンツを表示するために、仮想コンテンツアイテムを発生させることができる。仮想コンテンツアイテムは、デフォルト場所においてユーザに仮想的に見えるように、頭部搭載型ＡＲシステム２０２によって表示されることができる、または、仮想コンテンツアイテムは、ユーザ選択された場所においてユーザに仮想的に見えるように表示されることができる。頭部搭載型ＡＲシステム２０２は、通信インターフェース２１２を使用して、情報をモバイルデバイス２１０に送信し、ユーザが、モバイルデバイス２１０を使用して、仮想コンテンツアイテムを仮想的に表示するための、ユーザの環境内の場所を選択することを可能にすることができる。ＡＲ環境発生器２０４は、ユーザの環境についての３Ｄ情報を発生させることができ、３Ｄ情報は、通信インターフェース２１２を使用して、モバイルデバイス２１０に送信されることができる。頭部搭載型ＡＲシステム２０２はまた、新しいコンテンツアイテムについての情報（例えば、コンテンツの説明）、および、新しいコンテンツアイテムのための場所の選択に関する要求を送信することもできる。

モバイルデバイス２１０は、通信インターフェース２１４を使用して、ユーザの環境についての３Ｄ情報および新しいコンテンツアイテムついての情報を受信することができる。ＡＲコントローラアプリケーション２１８の３Ｄモデルレンダラ２１６が、ＡＲコントローラアプリケーション２１８内でユーザの環境の３Ｄ表現をレンダリングすることができる。３Ｄ表現は、環境内の物理的オブジェクトの表現と、適用可能である場合、ユーザの環境内で頭部搭載型ＡＲシステム２０２によって現在仮想的に表示されている既存の仮想コンテンツの表現とを含むことができる。

ＡＲコントローラアプリケーション２１８は、新しいコンテンツアイテムの仮想表示のための場所を選択するための命令をユーザに表示することができる。コンテンツ場所セレクタ２２０が、ユーザが、新しいコンテンツアイテムの仮想表示のための場所に対応するものとして、ユーザの環境の３Ｄ表現上の場所を選択することを可能にすることができる。場所は、ユーザの環境内の物理的オブジェクトに対応するレンダリングされたオブジェクトの表面であり得る、または、場所は、物理的オブジェクトに対応する場合と対応しない場合とがある３Ｄ座標であり得る。

ＡＲコントローラアプリケーション２１８は、通信インターフェース２１４を使用して、新しいコンテンツアイテムの選択された場所のための場所情報を頭部搭載型ＡＲシステム２０２に送信することができる。場所情報は、３Ｄ座標、領域情報、オブジェクト情報、または他のタイプの情報または識別子であり得る。ＡＲ環境発生器２０４は、仮想コンテンツアイテムが、ユーザに、モバイルデバイス２１０から受信される場所情報に対応するユーザの物理的環境内の場所に位置しているように見えるように、仮想コンテンツアイテムを提示または投影することができる。

図３は、ＡＲシステム内にコンテンツを表示するための方法３００のフローチャートを描写する。拡張現実システム内に表示するための新しいコンテンツの可用性に関する通知が、受信される（３１０）。拡張現実システムは、コンテンツがユーザの物理的環境内の割当場所において添着されているようにユーザに見えるように、ディスプレイシステム上にコンテンツを提示するように構成される。通知は、拡張現実システムの外部にある外部ソースから受信されることができる。別の実施例として、通知は、新しいコンテンツが利用可能であるという拡張現実システムによる内部決定の結果として受信されることができる。通知は、ディスプレイシステム上に表示されることができる。

新しいコンテンツの受入を示す確認入力が、受信される（３２０）。確認入力は、通知、音声コマンド、またはいくつかの他のタイプの入力との相互作用であり得る。通知は、確認入力を受信することに応答して、ディスプレイシステムから除去されることができる。

確認入力を受信することに応答して、物理的環境を説明する３次元情報が、拡張現実システムの外部にある外部コンピューティングデバイスに提供される（３３０）。３次元情報は、外部コンピューティングデバイスが、新しいコンテンツのための物理的環境内の割当場所を選択するために使用されることを可能にするために、提供されることができる。外部コンピューティングデバイスは、モバイルデバイスまたはいくつかの他のタイプのコンピューティングデバイスであり得る。

３次元情報は、新しいコンテンツのための候補割当場所に関する３次元情報を含むことができる。候補割当場所は、新しいコンテンツの表示をオーバーレイすることに適していると決定される場所であり得る。候補割当場所は、物理的環境内の物理的表面に対応することができる。３次元情報は、ディスプレイシステム上に現在表示されている既存のコンテンツの割当場所を含むことができる。

３次元表現は、物理的環境の静的表現に対応することができる。別の実施例として、３次元情報は、ディスプレイシステムを通して見られるような、ユーザの現在の視点に対応することができる。更新された３次元情報が、ユーザ視点の変化の検出に応答して、発生され、外部コンピューティングデバイスに提供されることができる。

新しいコンテンツのための物理的環境内の割当場所を示す場所情報が、外部コンピューティングデバイスから受信される（３４０）。場所情報は、３Ｄ座標、領域識別子（単数または複数）、オブジェクト識別子、またはいくつかの他のタイプの場所情報であり得る。場所情報は、外部コンピューティングデバイス上に表示される、ユーザが物理的環境の３次元表現上で選択する場所に対応することができる。

表示場所が、場所情報に基づいて決定される（３５０）。表示場所は、新しいコンテンツが物理的環境内の割当場所においてオーバーレイとして表示されているようにユーザに見えるように新しいコンテンツを表示するための、ディスプレイシステム上の場所である。

新しいコンテンツが、ディスプレイシステム上に、表示場所において表示される（３６０）。

加えて、または、代替として、第１の既存のコンテンツアイテムのための更新された割当場所が、外部コンピューティングデバイスから受信されることができる。ディスプレイシステム上の更新された表示場所が、更新された割当場所に基づいて決定されることができる。第１の既存のコンテンツアイテムは、第１の既存のコンテンツアイテムが物理的環境内の更新された割当場所において更新されたオーバーレイとして表示されているようにユーザに見えるように、ディスプレイシステム上に、更新された表示場所において表示されることができる。

説明されるシステム、方法、および技法は、デジタル電子回路網、コンピュータハードウェア、ファームウェア、ソフトウェア内に、またはこれらの要素の組み合わせにおいて実装されてもよい。これらの技法を実装する装置は、適切な入力および出力デバイスと、コンピュータプロセッサと、プログラマブルプロセッサによる実行のために機械可読記憶デバイス内に有形に具現化されるコンピュータプログラム製品とを含んでもよい。これらの技法を実装するプロセスが、命令のプログラムを実行するプログラマブルプロセッサによって実施され、入力データに作用して適切な出力を発生させることによって所望の機能を実施してもよい。技法は、データ記憶システム、少なくとも１つの入力デバイス、および少なくとも１つの出力デバイスからデータおよび命令を受信してそれらにデータおよび命令を伝送するために結合される少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能である命令を含む１つ以上のコンピュータプログラムまたは非一過性コンピュータ可読記憶媒体を使用して、実装されてもよい。

各コンピュータプログラムは、所望される場合、高次プロシージャまたはオブジェクト指向プログラミング言語内、あるいは、アセンブリまたは機械言語において実装されてもよく、いずれの場合においても、言語は、コンパイラ型言語またはインタープリタ型言語であってもよい。適したプロセッサは、実施例として、汎用目的マイクロプロセッサおよび特殊目的マイクロプロセッサの両方を含む。概して、プロセッサは、読取専用メモリおよび／またはランダムアクセスメモリから命令およびデータを受信する。コンピュータプログラム命令およびデータを有形に具現化することに適した記憶デバイスは、実施例として、半導体メモリデバイス（例えば、消去可能プログラマブル読取専用メモリ（ＥＰＲＯＭ）、電気的に消去可能プログラマブル読取専用メモリ（ＥＥＰＲＯＭ）、およびフラッシュメモリデバイス）、磁気ディスク（例えば、内部ハードディスクおよびリムーバブルディスク）、光磁気ディスク、およびコンパクトディスク読取専用メモリ（ＣＤ－ＲＯＭ）を含む、あらゆる形態の不揮発性メモリを含む。前述のもののいずれも、特別に設計されたＡＳＩＣ（特定用途向け集積回路）によって補完され得る、または、その中に組み込まれ得る。

コンピュータ可読媒体は、機械可読記憶デバイス、機械可読ストレージ基板、メモリデバイス、機械可読伝搬信号をもたらす組成物、またはそれらのうちの１つ以上のものの組み合わせであってもよい。用語「データ処理装置」は、実施例として、プログラマブルプロセッサ、コンピュータ、または複数のプロセッサあるいはコンピュータを含む、データを処理するための全ての装置、デバイス、および機械を包含する。本装置は、ハードウェアに加えて、当該コンピュータプログラムのための実行環境を生成するコード（例えば、プロセッサファームウエア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはそれらのうちの１つ以上のものの組み合わせを成すコード）を含んでもよい。伝搬される信号は、人工的に発生される信号（例えば、適した受信機装置への伝送のための情報をエンコードするように発生される機械発生型電気、光学、または電磁信号）である。

プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、プラグイン、またはコードとしても公知であるコンピュータプログラムは、コンパイラ型言語またはインタープリタ型言語を含む任意の形態のプログラミング言語において記述されてもよく、これは、独立型プログラムとしてのもの、または、コンピュータ環境内での使用に適したモジュール、コンポーネント、サブルーチン、または他のユニットとしてのものを含む任意の形態において展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムが、他のプログラムまたはデータを保持するファイルの一部内に、当該プログラム専用の単一のファイル内に、または、複数の協調的ファイル内に記憶されてもよい。コンピュータプログラムが、１つのコンピュータ上で、あるいは、１つの敷地に位置する、または複数の敷地を横断して分散されて通信ネットワークによって相互接続される複数のコンピュータ上で、実行されてもよい。

本明細書に説明されるプロセスおよび論理フローは、入力データに作用して出力を発生させることによってアクションを実施するように、１つ以上のコンピュータプログラムを実行する１つ以上のプログラマブルプロセッサによって、実施され得る。プロセスおよび論理フローはまた、特殊目的論理回路網（例えば、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）またはＡＳＩＣ（特定用途向け集積回路））によって実施され得、装置もまた、特殊目的論理回路網として実装され得る。

コンピュータプログラムの実行に適したプロセッサは、実施例として、汎用目的マイクロプロセッサおよび特殊目的マイクロプロセッサの両方と、任意の種類のデジタルコンピュータの任意の１つ以上のプロセッサとを含む。概して、プロセッサは、読取専用メモリまたはランダムアクセスメモリあるいは両方から命令およびデータを受信する。

コンピュータの要素は、命令を実施するためのプロセッサと、命令およびデータを記憶するための１つ以上のメモリデバイスとを含んでもよい。概して、コンピュータはまた、データを受信する、またはデータを伝達する、あるいは両方のために、データを記憶するための１つ以上の大容量記憶デバイス（例えば、磁気、光磁気ディスク、または光ディスク）を含む、または、それに動作可能に結合される。しかしながら、コンピュータは、そのようなデバイスを有していなくてもよい。また、コンピュータは、別のデバイス（例えば、いくつかのみを挙げると、タブレット型コンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、モバイルオーディオプレーヤ、ＶＡＲシステム）内に埋設されてもよい。コンピュータプログラム命令およびデータを記憶することに適したコンピュータ可読媒体は、実施例として、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、およびフラッシュメモリデバイス）、磁気ディスク（例えば、内部ハードディスクまたはリムーバブルディス）光磁気ディスク、およびＣＤ ＲＯＭならびにＤＶＤ－ＲＯＭディスクを含むあらゆる形態の不揮発性メモリ、媒体、およびメモリデバイスを含む。プロセッサおよびメモリは、特殊目的論理回路網によって補完され得る、または、特殊目的論理回路網の中に組み込まれ得る。

本明細書は、多くの詳細を含有するが、これらは、本開示または請求され得るものの範囲に関する限定としてではなく、むしろ、特定の実施形態に特有の特徴の説明として解釈されるべきである。別個の実施形態の文脈において本明細書に説明されるある特徴はまた、単一の実施形態における組み合わせにおいて実装され得る。逆に、単一の実施形態の文脈において説明される種々の特徴もまた、複数の実施形態において別個にまたは任意の適した副次的組み合わせにおいて実装され得る。また、ある組み合わせにおいて作用するものとして特徴が上記に説明され、さらに、そのようなものとして請求され得るが、請求される組み合わせからの１つ以上の特徴は、いくつかの場合では、その組み合わせから削除され得、請求される組み合わせは、副次的組み合わせまたは副次的組み合わせの変形例を対象とし得る。例えば、マッピング動作は、一連の離散動作として説明されるが、種々の動作が、所望の実装に応じて、付加的な動作に分割され得る、より少ない動作に組み合わせられ得る、実行の順序において変動され得る、または、排除され得る。

同様に、上記で説明される実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を要求するものとして理解されるべきではなく、説明されるプログラムコンポーネントおよびシステムが、概して、単一のソフトウェア製品内でともに統合され得るまたは複数のソフトウェア製品にパッケージ化され得ることを理解されたい。例えば、いくつかの動作が、処理サーバによって実施されているものとして説明されるが、動作のうちの１つ以上のものが、スマートメータまたは他のネットワークコンポーネントによって実施されてもよい。

本明細書、特に添付の請求項（例えば、添付の請求項の本文）において使用される用語は、概して、「非限定的」用語として意図される（例えば、用語「～を含む（ｉｎｃｌｕｄｉｎｇ）」は、「限定ではないが、～を含む（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」として解釈されるべきであり、用語「～を有する（ｈａｖｉｎｇ）」は、「少なくとも～を有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」として解釈されるべきであり、用語「～を含む（ｉｎｃｌｕｄｅｓ）」は、「限定ではないが、～を含む（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」として解釈されるべきである等）。

加えて、具体的な数の導入される請求項列挙が、意図される場合、そのような意図は、請求項内に明示的に列挙され、そのような列挙の不在下では、いかなるそのような意図も、存在しない。例えば、理解の一助として、以下の添付される請求項は、請求項列挙を導入するための導入語句「少なくとも１つ」および「１つ以上の」の使用を含有し得る。しかしながら、そのような語句の使用は、同一の請求項が導入語句「１つ以上の」または「少なくとも１つ」および「ａ」または「ａｎ」等の不定冠詞（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つ」または「１つ以上の」を意味するように解釈されるべきである）を含むときでさえ、不定冠詞「ａ」または「ａｎ」による請求項列挙の導入が、そのような導入される請求項列挙を含有する任意の特定の請求項を、１つのそのような列挙のみを含有する実施形態に限定することを含意するように解釈されるべきではなく、同じことが、請求項列挙を導入するために使用される定冠詞の使用にも当てはまる。

加えて、具体的な数の導入される請求項列挙が明示的に列挙される場合でさえ、当業者は、そのような列挙が少なくとも列挙される数を意味する（例えば、他の修飾語句を伴わない「２つの列挙」のそのままの列挙が少なくとも２つの列挙または２つ以上の列挙を意味する）ように解釈されるべきであることを認識する。さらに、「Ａ、Ｂ、およびＣ等のうちの少なくとも１つ」または「Ａ、Ｂ、およびＣ等のうちの１つ以上のもの」に類似する表記法が使用されるそれらの事例では、一般に、そのような構造は、「Ａを単独で」、「Ｂを単独で」、「Ｃを単独で」、「ＡとＢとをともに」、「ＡとＣとをともに」、「ＢとＣとをともに」、または「ＡとＢとＣとをともに」を含むことを意図する。用語「および／または」もまた、このように解釈されることを意図する。

用語「第１」、「第２」、「第３」等の使用は、本明細書においては、必ずしも要素の具体的順序または数を暗示するために使用されるものではない。概して、用語「第１」、「第２」、「第３」等は、一般的な識別子として、異なる要素を区別するために使用される。用語「第１」、「第２」、「第３」等が、具体的な順序を暗示することを示すものがない状態では、これらの用語は、具体的順序を暗示すると理解されるべきではない。さらに、用語「第１」、「第２」、「第３」等が、要素の具体的な数を暗示することを示すものがない状態では、これらの用語は、要素の具体的な数を暗示するものと理解されるべきではない。例えば、第１のウィジェットは、第１の側を有するものとして説明され得、第２のウィジェットは、第２の側を有するものとして説明され得る。第２のウィジェットに対する用語「第２の側」の使用は、第２のウィジェットのそのような側を第１のウィジェットの「第１の側」から区別するためのものであり、第２のウィジェットが２つの側を有することを暗示するものではない場合がある。

Claims (20)

1. コンピュータ実装方法であって、
   拡張現実システム内に表示するための新しいコンテンツの可用性に関する通知を受信することであって、前記拡張現実システムは、コンテンツがユーザの物理的環境内の割当場所において添着されているように前記ユーザに見えるように、ディスプレイシステム上に前記コンテンツを提示するように構成される、ことと、
   前記新しいコンテンツの受入を示す確認入力を受信することと、
   前記確認入力を受信することに応答して、前記拡張現実システムの外部にある外部コンピューティングデバイスに、前記物理的環境を説明する３次元情報を提供し、前記外部コンピューティングデバイスが前記新しいコンテンツのための前記物理的環境内の割当場所を選択するために使用されることを可能にすることと、
   前記外部コンピューティングデバイスから、前記新しいコンテンツのための前記物理的環境内の前記割当場所を示す場所情報を受信することと、
   前記場所情報に基づいて、前記新しいコンテンツが前記物理的環境内の前記割当場所においてオーバーレイとして表示されているように前記ユーザに見えるように、前記新しいコンテンツを表示するための前記ディスプレイシステム上の表示場所を決定することと、
   前記ディスプレイシステム上に、前記表示場所において前記新しいコンテンツを表示することと
   を含む、コンピュータ実装方法。
2. 前記外部コンピューティングデバイスは、モバイルデバイスである、請求項１に記載のコンピュータ実装方法。
3. 前記通知は、前記拡張現実システムの外部にある外部ソースから受信される、請求項１に記載のコンピュータ実装方法。
4. 前記通知は、新しいコンテンツが利用可能であるという、前記拡張現実システムによる内部決定の結果として受信される、請求項１に記載のコンピュータ実装方法。
5. 前記ディスプレイシステム上に前記通知を表示することをさらに含む、請求項１に記載のコンピュータ実装方法。
6. 前記確認入力を受信することに応答して、前記ディスプレイシステムから前記通知を除去することをさらに含む、請求項５に記載のコンピュータ実装方法。
7. 前記新しいコンテンツのための前記物理的環境内の候補割当場所を決定することをさらに含み、
   前記外部コンピューティングデバイスに提供される前記３次元情報は、前記候補割当場所のための３次元情報を含む、請求項１に記載のコンピュータ実装方法。
8. 前記３次元情報を決定することは、
   前記ディスプレイシステムを通して見られるような前記ユーザの現在の視点を決定することと、
   前記現在の視点に基づいて前記３次元情報を発生させることと
   を含む、請求項１に記載のコンピュータ実装方法。
9. 前記ユーザの前記現在の視点が新しい視点に変化していることを決定することと、
   前記新しい視点に基づいて、更新された３次元情報を決定することと、
   前記更新された３次元情報を前記外部コンピューティングデバイスに提供することと
   をさらに含む、請求項８に記載のコンピュータ実装方法。
10. 前記３次元情報は、前記ユーザの前記物理的環境の静的表現に対応する、請求項１に記載のコンピュータ実装方法。
11. 前記ディスプレイシステムによって現在表示されている既存のコンテンツを決定することと、
    前記既存のコンテンツのための割当場所を決定することと
    をさらに含み、
    前記外部コンピューティングデバイスに提供される前記３次元情報は、前記既存のコンテンツのための割当場所情報を含む、請求項１に記載のコンピュータ実装方法。
12. 前記外部コンピューティングデバイスから、第１の既存のコンテンツアイテムのための更新された割当場所を受信することと、
    前記更新された割当場所に基づいて、前記第１の既存のコンテンツアイテムが前記物理的環境内の前記更新された割当場所において更新されたオーバーレイとして表示されているように前記ユーザに見えるように、前記第１の既存のコンテンツアイテムを表示するための前記ディスプレイシステム上の更新された表示場所を決定することと、
    前記ディスプレイシステム上に、前記更新された表示場所において前記第１の既存のコンテンツアイテムを表示することと
    をさらに含む、請求項１１に記載のコンピュータ実装方法。
13. 拡張現実システムであって、
    コンテンツがユーザの物理的環境内の割当場所において添着されているように前記ユーザに見えるように、前記コンテンツを表示するように構成されるディスプレイシステムを備えるフレーム構造物と、
    前記フレーム構造物に結合されるプロセッサであって、前記プロセッサは、
    前記ディスプレイシステム上に表示するための新しいコンテンツの可用性に関する通知を受信することと、
    前記新しいコンテンツの受入を示す確認入力を受信することと、
    前記確認入力を受信することに応答して、前記拡張現実システムの外部にある外部コンピューティングデバイスに、前記物理的環境を説明する３次元情報を提供し、前記外部コンピューティングデバイスが前記新しいコンテンツのための前記物理的環境内の割当場所を選択するために使用されることを可能にすることと、
    前記外部コンピューティングデバイスから、前記新しいコンテンツのための前記物理的環境内の前記割当場所を示す場所情報を受信することと、
    前記場所情報に基づいて、前記新しいコンテンツが前記物理的環境内の前記割当場所においてオーバーレイとして表示されているように前記ユーザに見えるように、前記新しいコンテンツを表示するための前記ディスプレイシステム上の表示場所を決定することと、
    前記ディスプレイシステム上に、前記表示場所において前記新しいコンテンツを表示することと
    を行うように構成される、プロセッサと
    を備える、拡張現実システム。
14. 前記外部コンピューティングデバイスは、モバイルデバイスである、請求項１３に記載の拡張現実システム。
15. 前記通知は、前記拡張現実システムの外部にある外部ソースから受信される、請求項１３に記載の拡張現実システム。
16. 前記通知は、新しいコンテンツが利用可能であるという、前記拡張現実システムによる内部決定の結果として受信される、請求項１３に記載の拡張現実システム。
17. 命令を備える非一過性コンピュータ可読記憶媒体であって、前記命令は、１つ以上のコンピュータプロセッサによって実行されると、前記１つ以上のコンピュータプロセッサに、
    拡張現実システム内に表示するための新しいコンテンツの可用性に関する通知を受信することであって、前記拡張現実システムは、コンテンツがユーザの物理的環境内の割当場所において添着されているように前記ユーザに見えるように、ディスプレイシステム上に前記コンテンツを提示するように構成される、ことと、
    前記新しいコンテンツの受入を示す、確認入力を受信することと、
    前記確認入力を受信することに応答して、前記拡張現実システムの外部にある外部コンピューティングデバイスに、前記物理的環境を説明する３次元情報を提供し、前記外部コンピューティングデバイスが前記新しいコンテンツのための前記物理的環境内の割当場所を選択するために使用されることを可能にすることと、
    前記外部コンピューティングデバイスから、前記新しいコンテンツのための前記物理的環境内の前記割当場所を示す場所情報を受信することと、
    前記場所情報に基づいて、前記新しいコンテンツが前記物理的環境内の前記割当場所においてオーバーレイとして表示されているように前記ユーザに見えるように、前記新しいコンテンツを表示するための前記ディスプレイシステム上の表示場所を決定することと、
    前記ディスプレイシステム上に、前記表示場所において前記新しいコンテンツを表示することと
    を含む動作を実施させる、非一過性コンピュータ可読記憶媒体。
18. 前記外部コンピューティングデバイスは、モバイルデバイスである、請求項１７に記載の非一過性コンピュータ可読記憶媒体。
19. 前記通知は、前記拡張現実システムの外部にある外部ソースから受信される、請求項１７に記載の非一過性コンピュータ可読記憶媒体。
20. 前記通知は、新しいコンテンツが利用可能であるという、前記拡張現実システムによる内部決定の結果として受信される、請求項１７に記載の非一過性コンピュータ可読記憶媒体。

Images