JP2022542295A - コンピューティングデバイスとエクステンデッドリアリティとの統合 - Google Patents

Abstract

モバイルデバイスとエクステンデッドリアリティエクスペリエンスとを統合するための技法が提供される。エクステンデッドリアリティ技術は、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）などを含むことができる。いくつかの例では、デバイス（たとえば、モバイルフォンなどのモバイルデバイス、または他のタイプのデバイス）の合成（または仮想）表現が生成され、ＶＲデバイス（たとえば、ヘッドマウントディスプレイ（ＨＭＤ））によって表示されているＶＲコンテンツとともに表示され得る。別の例では、デバイスからのコンテンツ（たとえば、デバイスによって表示されている視覚コンテンツおよび／または再生されているオーディオコンテンツ）が、ＶＲデバイスによって表示されているＶＲコンテンツとともに出力され得る。別の例では、デバイスのカメラによってキャプチャされた１つまたは複数の画像、および／またはデバイスのマイクロフォンによって取得されたオーディオが、仮想現実デバイスによってデバイスから取得され得、仮想現実デバイスによって出力され得る。

Description

[0001] 本開示は、一般に、コンピューティングデバイス（computing device）とエクステンデッドリアリティエクスペリエンス（extended reality experience）との統合（integration）を提供するための技法およびシステムに関する。

[0002] エクステンデッドリアリティ技術（Extended reality technology）は、エクステンデッドリアリティエクスペリエンスをユーザに提供するために、ユーザに仮想コンテンツ（virtual content）を提示するために使用され得、および／または、物理世界からの実環境と仮想環境とを組み合わせることができる。エクステンデッドリアリティ（extended reality）という用語は、仮想現実（virtual reality）、拡張現実（augmented reality）、複合現実（mixed reality）などを包含することができる。エクステンデッドリアリティのこれらの形態の各々は、ユーザが、没入型の仮想環境またはコンテンツ（immersive virtual environments or content）を経験するか、あるいはそれと対話することを可能にする。たとえば、エクステンデッドリアリティエクスペリエンスは、ユーザが、仮想コンテンツで向上または拡張された実環境または物理的環境と対話することを可能にすることができる。エクステンデッドリアリティ技術は、エンターテインメント、ヘルスケア、小売、教育、ソーシャルメディアなど、広範囲のコンテキストにおいてユーザエクスペリエンス（user experience）を向上させるために実装され得る。

[0003] いくつかの例では、コンピューティングデバイスとエクステンデッドリアリティエクスペリエンスとを統合するためのシステム、方法、およびコンピュータ可読媒体が説明される。たとえば、本明細書で説明される技法は、エクステンデッドリアリティエクスペリエンスを享受するユーザが、エクステンデッドリアリティエクスペリエンスを中断することなしに、コンピューティングデバイス（たとえば、モバイルフォン（mobile phone）などのモバイルデバイス（mobile device）、ウェアラブルデバイス、または他のタイプのデバイス）またはコンピューティングデバイスの１つまたは複数の機能（functionality）をシームレスに使用することを可能にすることができる。

[0004] １つの例示的な例では、ユーザのコンピューティングデバイス（たとえば、モバイルフォンなどのモバイルデバイス、ウェアラブルデバイス、または他のタイプのデバイス）の合成（synthetic）（または仮想）表現が生成され、仮想現実デバイス（virtual reality device）（たとえば、ヘッドマウントディスプレイ（ＨＭＤ：head-mounted display）によって表示されている仮想現実コンテンツとともに表示され得る。別の例では、コンピューティングデバイスからのコンテンツ（content）（たとえば、デバイスによって表示されているコンテンツ、コンピューティングデバイスによって受信されたメッセージ、コンピューティングデバイスによって生成された通知、および／または他のコンテンツ）が、仮想現実デバイスによって表示されている仮想現実コンテンツとともに表示され得る。別の例では、コンピューティングデバイスからのオーディオコンテンツ（audio content）（たとえば、ボイスメッセージ、ビデオメッセージ、ブラウザコンテンツ、通話、ストリーミングされたまたはローカルに記憶された音楽、および／あるいは他のオーディオコンテンツ）が、（たとえば、仮想現実デバイスの１つまたは複数のスピーカーを通して）仮想現実デバイスによって再生され得る。いくつかの場合には、オーディオコンテンツは、コンピューティングデバイスからの視覚コンテンツ（visual content）を表示する間、仮想現実デバイスによって再生され得る。そのような例では、ユーザは、仮想現実コンテンツとともにコンピューティングデバイスおよび／またはコンピューティングデバイスからのコンテンツを閲覧することができ、ユーザが、仮想現実デバイスを取り外すことなしに（たとえば、依然としてＨＭＤを装着しながら）、コンピューティングデバイスと対話する（たとえば、モバイルフォンの１つまたは複数のアプリケーションを制御する）ことを可能にする。仮想現実コンテンツは、コンピューティングデバイスの合成表現（synthetic representation）が表示されるとき、仮想現実デバイスによって表示され続けることができ、または、コンピューティングデバイスの合成表現が仮想現実デバイスによって表示される間、休止され得る。

[0005] 別の例示的な例では、コンピューティングデバイス（たとえば、モバイルフォンなどのモバイルデバイス、ウェアラブルデバイス、または他のタイプのデバイス）のカメラ（camera）によってキャプチャ（capture）された１つまたは複数の画像（image）が、仮想現実デバイスによってデバイスから取得され得る。仮想現実デバイスは、仮想現実デバイス（たとえば、ＨＭＤ）を通して閲覧されている仮想現実コンテンツとともに、１つまたは複数の画像を表示することができる。そのような例では、ユーザは、仮想現実デバイスを取り外すことなしに（たとえば、依然としてＨＭＤを装着しながら）、（１つまたは複数の画像によってキャプチャされた）現実世界（real world）を閲覧することができる。いくつかの場合には、コンピューティングデバイスのマイクロフォン（microphone）からのオーディオ（audio）が、仮想現実デバイスに提供され得る。たとえば、コンピューティングデバイスのマイクロフォンからのオーディオを提供することは、ユーザが、仮想現実デバイスを取り外す必要なしに、現実世界において何が進行しているかを知覚することを可能にすることができる。

[0006] １つの例示的な例によれば、１つまたは複数のオブジェクトの１つまたは複数のサイズを決定する方法が提供される。本方法は、第１のデバイス（first device）によって、仮想現実コンテンツを表示することと、第１のデバイスによって、第２のデバイス（second device）の合成表現を取得することと、第１のデバイスによって、仮想現実コンテンツとともに第２のデバイスの合成表現を表示することと、第１のデバイスによって、第２のデバイスの機能の変更（a change in functionality）を要求する入力（input）を受信することと、第１のデバイスによって受信された入力に基づいて、第２のデバイスの合成表現の変更を表示することと、第２のデバイスの合成表現の変更が、第２のデバイスの機能の変更を表現する、を含む。

[0007] 別の例では、１つまたは複数のオブジェクトの１つまたは複数のサイズを決定するための装置（apparatus）が提供され、本装置は、１つまたは複数の画像を記憶するように構成されたメモリ（memory）と、回路（circuitry）において実装され、メモリに結合された１つまたは複数のプロセッサ（processor）とを含む。１つまたは複数のプロセッサは、仮想現実コンテンツをディスプレイ（display）上に表示させることと、デバイスの合成表現を取得することと、デバイスの合成表現をディスプレイ上に仮想現実コンテンツとともに表示させることと、デバイスの機能の変更を要求する入力を受信することと、受信された入力に基づいて、デバイスの合成表現の変更をディスプレイ上に表示させることと、デバイスの合成表現の変更が、デバイスの機能の変更を表現する、を行うように構成され、それらを行うことができる。
[0008] 別の例では、命令（instruction）を記憶した非一時的コンピュータ可読媒体が提供され、命令は、１つまたは複数のプロセッサによって実行されたとき、１つまたは複数のプロセッサに、仮想現実コンテンツを第１のデバイスによって表示させることと、第１のデバイスによって、第２のデバイスの合成表現を取得することと、第２のデバイスの合成表現を仮想現実コンテンツとともに表示させることと、第１のデバイスによって、第２のデバイスの機能の変更を要求する入力を受信することと、第１のデバイスによって受信された入力に基づいて、第２のデバイスの合成表現の変更を第１のデバイスによって表示させることと、第２のデバイスの合成表現の変更が、第２のデバイスの機能の変更を表現する、を行わせる。

[0009] 別の例では、１つまたは複数のオブジェクトの１つまたは複数のサイズを決定するための装置が提供される。本装置は、第１のデバイスによって、仮想現実コンテンツを表示するための手段と、第１のデバイスによって、第２のデバイスの合成表現を取得するための手段と、第１のデバイスによって、仮想現実コンテンツとともに第２のデバイスの合成表現を表示するための手段と、第１のデバイスによって、第２のデバイスの機能の変更を要求する入力を受信するための手段と、第１のデバイスによって受信された入力に基づいて、第２のデバイスの合成表現の変更を表示するための手段と、第２のデバイスの合成表現の変更が、第２のデバイスの機能の変更を表現する、を含む。

[0010] いくつかの態様では、第２のデバイスの合成表現は、第２のデバイスのディスプレイの合成表現を含み、ここにおいて、第２のデバイスによって表示されるコンテンツが、第２のデバイスのディスプレイの合成表現において表示される。

[0011] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、第１のデバイスによって、第２のデバイスによって処理された１つまたは複数の入力の指示（indication）を受信することと、第２のデバイスによって処理された１つまたは複数の入力の指示に基づいて、第２のデバイスの合成表現の追加の変更（additional change）を表示することと、第２のデバイスの合成表現の追加の変更が、第２のデバイスの機能の追加の変更を表現する、をさらに備える。

[0012] いくつかの態様では、第２のデバイスの合成表現は、仮想現実コンテンツ上にオーバーレイされる。いくつかの態様では、第１のデバイスは、仮想現実ヘッドマウントディスプレイを含む。いくつかの態様では、第２のデバイスは、モバイルデバイスを含む。

[0013] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、第１のデバイスによって、第２のデバイスからオーディオコンテンツを取得することと、第１のデバイスによって、第２のデバイスからのオーディオコンテンツを再生することとをさらに備える。

[0014] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、第１のデバイスによって、第２のデバイスのマイクロフォンによってキャプチャされたオーディオコンテンツを取得することと、第１のデバイスによって、オーディオコンテンツを再生することとをさらに備える。

[0015] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、第１のデバイスによって、第２のデバイスのカメラによってキャプチャされた１つまたは複数の画像を取得することと、第１のデバイスによって、仮想現実コンテンツとともに１つまたは複数の画像を表示することとをさらに備える。いくつかの態様では、１つまたは複数の画像は、第２のデバイスのカメラによってキャプチャされたビデオ（video）の一部である。いくつかの態様では、１つまたは複数の画像は、第２のデバイスの合成表現の一部として仮想現実コンテンツとともに表示される。いくつかの態様では、１つまたは複数の画像は、第２のデバイスのディスプレイの合成表現内に表示される。

[0016] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、第１のデバイスによって、第２のデバイスのマイクロフォンによってキャプチャされたオーディオコンテンツを取得することと、第１のデバイスによって、仮想現実コンテンツとともに１つまたは複数の画像を表示する間、オーディオコンテンツを再生することとをさらに備える。

[0017] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、トリガ（trigger）を受信することと、トリガを受信したことに基づいて、仮想現実コンテンツとともに第２のデバイスの合成表現を表示することとをさらに備える。いくつかの態様では、トリガは、第２のデバイスから受信された情報（information）に基づく。

[0018] いくつかの態様では、上記で説明された方法、装置、およびコンピュータ可読媒体は、削除トリガ（removal trigger）を受信することと、トリガを受信したことに基づいて、第１のデバイスによって、表示（display）から第２のデバイスの合成表現を削除（remove）することとをさらに備える。

[0019] 本発明の概要は、請求される主題の主要なまたは本質的な特徴を識別するものではなく、請求される主題の範囲を決定するために独立して使用されるものでもない。本主題は、本特許の明細書全体、いずれかまたはすべての図面、および各請求項の適切な部分を参照することによって理解されたい。

[0020] 上記のことは、他の特徴および実施形態とともに、以下の明細書、特許請求の範囲、および添付の図面を参照すると、より明らかになろう。

[0021] 本出願の例示的な実施形態が、以下の図を参照しながら以下で詳細に説明される。

[0022] いくつかの例による、仮想現実デバイスによって表示された仮想コンテンツの一例を示す図。 [0023] いくつかの例による、デバイスと仮想コンテンツとの合成表現が仮想現実デバイスによって表示される、仮想コンテンツとともに表示されたデバイスの合成表現の一例を示す図。 [0024] いくつかの例による、デバイスのコンテンツおよび仮想コンテンツが仮想現実デバイスによって表示される、仮想コンテンツとともに表示されたデバイスのコンテンツの一例を示す図。 [0025] いくつかの例による、画像および仮想コンテンツが仮想現実デバイスによって表示される、仮想コンテンツとともに表示されたデバイスによってキャプチャされた画像の一例を示す図。 [0026] いくつかの例による、仮想現実デバイスによる仮想コンテンツの表示と現実世界の表示との間の切替えの一例を示す図。 [0027] いくつかの例による、仮想現実デバイスの構成要素の一例を示す図。 [0028] いくつかの例による、異なる表示レイヤの一例を示す図。 [0029] いくつかの例による、仮想現実デバイスの構成要素の別の例を示す図。 [0030] いくつかの例による、仮想コンテンツを表示するためのプロセスの一例を示す流れ図。 [0031] いくつかの例による、仮想コンテンツを表示するためのプロセスの別の例を示す流れ図。 [0032] いくつかの例による、仮想コンテンツを表示するためのプロセスの別の例を示す流れ図。 [0033] 本明細書で説明される様々な技法を実装することができる例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャの図。

[0034] 本開示のいくつかの態様および実施形態が以下で与えられる。当業者に明らかであるように、これらの態様および実施形態のうちのいくつかは独立して適用され得、それらのうちのいくつかは組み合わせて適用され得る。以下の説明では、説明の目的で、本出願の実施形態の完全な理解を与えるために具体的な詳細が記載される。ただし、様々な実施形態は、これらの具体的な詳細なしに実施され得ることが明らかであろう。図および説明は限定するものではない。

[0035] 以下の説明は、例示的な実施形態のみを与えるものであり、本開示の範囲、適用性、または構成を限定するものではない。そうではなく、例示的な実施形態の以下の説明は、例示的な実施形態を実装することを可能にする説明を当業者に与える。添付の特許請求の範囲に記載されるように、本出願の趣旨および範囲から逸脱することなく、要素の機能および構成において様々な変更が行われ得ることを理解されたい。

[0036] 前に説明されたように、エクステンデッドリアリティ（ＸＲ：extended reality）技術は、エクステンデッドリアリティエクスペリエンスをユーザに提供するために、ユーザに仮想コンテンツを提供し、および／あるいは実環境または物理的環境と（仮想コンテンツからなる）仮想環境とを組み合わせることができる。エクステンデッドリアリティエクスペリエンスは、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、および／または他の没入型のコンテンツ（immersive content）を含む。本明細書で説明される例は、説明の目的でＶＲを使用する。しかしながら、本明細書で説明される技法は、ＡＲおよびＭＲなど、他のエクステンデッドリアリティエクスペリエンスに適用され得ることを、当業者は諒解されよう。たとえば、いくつかの場合には、本明細書で説明される技法は、ＡＲデバイスおよび／またはＭＲデバイスのために使用され得る。ＭＲデバイスは、仮想コンテンツとともに物理的現実をレンダリングするために、（たとえば、図５に示されており、図５に関して以下で説明される）ビデオパススルー（video pass-through）を使用することができる。しかしながら、一般的なビデオパススルーデバイスの不十分な品質により、ユーザがＭＲデバイス（たとえば、ＭＲヘッドセット（headset）またはヘッドマウントディスプレイ）にフォーン（phone）をかざす場合、ユーザはユーザのフォーンの輪郭を見ることができるが、ビデオパススルーに関連する解像度、ひずみ、ちらつき、および／またはレイテンシにより、コンテンツを見る／読み取ることが可能でないことがある。以下で説明される技法を使用して、コンテンツは、ＭＲデバイスディスプレイ（たとえば、ＭＲヘッドセットのディスプレイまたはヘッドマウントディスプレイ）上でユーザによって容易に閲覧され得る。

[0037] ＶＲは、一見したところ現実的または物理的なやり方で対話され得る、３次元の、コンピュータ生成されることがある環境を表す。ＶＲ環境を体験しているユーザが現実世界において移動するにつれて、仮想環境においてレンダリングされる画像も変化し、ユーザが仮想環境内で移動しているという知覚をユーザに与える。たとえば、ユーザは、左または右を向き、見上げるかまたは見下ろし、および／あるいは前方または後方に移動し、したがって、仮想環境のユーザの視点を変更することができる。ユーザに提示されるＶＲコンテンツは、ユーザのエクスペリエンスが現実世界の場合と同程度にシームレスであるように、ユーザが移動するにつれて、相応に変化することができる。ＶＲコンテンツは、いくつかの場合には、ＶＲビデオを含むことができ、ＶＲビデオは、極めて高い品質でキャプチャおよびレンダリングされ、真に没入型の仮想現実エクスペリエンスを潜在的に提供することができる。ＶＲアプリケーションは、ゲーミング、トレーニング、教育、ビデオ（たとえば、特に、スポーツイベント、ムービー、ショー）、オンラインショッピング、遠隔操作（たとえば、特に、ロボットの遠隔制御、無人航空機、遠隔手術）、および／または他のアプリケーションを含む。

[0038] 様々なデバイスが、ＸＲコンテンツをレンダリングするために使用され得る。たとえば、ＶＲコンテンツは、ヘッドマウントディスプレイ（ＨＭＤ）または他のＶＲヘッドセットなど、ＶＲ機器を使用してレンダリングおよび表示され得、ＶＲ機器は、ＶＲエクスペリエンス中にユーザの眼を完全に覆う。図１は、ユーザ１００によって装着されているＶＲヘッドセット１０２によって表示された仮想コンテンツの一例を示す図である。図示のように、ユーザは、（ＶＲフレーム１１０によって示されている）ＶＲ環境に完全に没入している。

[0039] ＶＲ機器が、ユーザの眼およびいくつかの場合にはユーザの耳を完全に覆うことがあるので、ユーザは、仮想現実環境（virtual reality environment）に没入している間、他のデバイス（たとえば、モバイルフォン）および／または現実世界と対話することができないことがある。たとえば、いくつかの場合には、ユーザのフォーンまたは他のコンピューティングデバイスは、ＶＲヘッドセット（または他のＶＲデバイス）のためのコントローラとして使用され得るが、ユーザが、ＶＲエクスペリエンスに没入している間、フォーンのアプリケーションおよび／または他の機能と対話する能力がない。さらに、ＶＲヘッドセットを使用するとき、ユーザは、無防備であると感じ、ユーザの周りの現実世界環境（real-world environment）において起こっていることと接触がないと感じることがある。いくつかの場合には、ＶＲヘッドセットによって提供されるオーディオは、ユーザが外界からの音を聞くのを妨げることがある。ＶＲエクスペリエンスに関与するとき、ユーザが、ＶＲヘッドセットを取り外すことなしに、および仮想現実エクスペリエンスを休止または停止することなしに、現実世界において起こっていることを視覚的におよび／または可聴的にチェックするための容易なやり方を提供することが有益であろう。ユーザが物理的な周囲をチェックし、および／または別のデバイスと対話することができるように、ＶＲヘッドセットが取り外され得る（その場合、ＶＲコンテンツは休止または停止される必要があり得る）が、ユーザが、自身のフォーン（または他のコンピューティングデバイス）を閲覧することまたは環境をチェックすることを希望するたびの、ヘッドセットの取外しは、冗長になることがあり、不十分なＶＲユーザエクスペリエンスにつながることがある。

[0040] コンピューティングデバイスとエクステンデッドリアリティエクスペリエンスとを統合するためのシステム、方法、およびコンピュータ可読媒体が、本明細書で説明される。上述のように、ＸＲエクスペリエンスの一例としてＶＲを使用する例が、本明細書で提供される。しかしながら、本明細書で説明される技法は他のタイプのＸＲエクスペリエンスに適用され得ることを、当業者は諒解されよう。

[0041] 本明細書で説明される技法によれば、ＶＲデバイスが、複数の異なる動作モードを含むことができる。ＶＲデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）などのＶＲヘッドセットを含むことができる。ＶＲデバイスは、ユーザが、ＶＲデバイスによって表示されているＶＲエクスペリエンスを休止または停止することなしに、複数のモード間でトグル（toggle）することを可能にすることができる。たとえば、ユーザがその間でトグルすることができる様々なモードは、通常ＶＲモード（図１に示されている、上記で説明された）、実際の現実のコンピューティングデバイスおよび／またはコンピューティングデバイスからのコンテンツの合成表現がＶＲコンテンツの上にオーバーレイされたＶＲモード（図２および図３に示されており、以下で説明される）、外界の覗き見（peek）がＶＲコンテンツの上にオーバーレイされたＶＲモード（図４に示されており、以下で説明される）、ならびに／あるいは、ＶＲコンテンツを閲覧することと、ＶＲデバイスを通して現実世界環境を閲覧することとの間の完全な切替え（図５に示されており、以下で説明される）を含む。コンピューティングデバイスは、モバイルデバイス（たとえば、モバイルフォン、タブレットコンピュータ、または他のモバイルデバイス）、ウェアラブルデバイス（たとえば、スマートウォッチ、心拍数モニタ、または他のウェアラブルデバイス）、モノのインターネット（ＩｏＴ）デバイス、リモートコントローラ（たとえば、テレビジョン遠隔制御装置（television remote）、または他のリモートコントローラ）、または他のタイプのデバイスを含むことができる。

[0042] ユーザは、１つまたは複数の入力を使用して、異なるモード間でトグルすることができる。モードのうちの１つまたは複数に切り替えるための入力は、ＶＲデバイスおよび／またはコンピューティングデバイスのオーディオ入力デバイス（たとえば、マイクロフォン）を使用して検出されるボイス入力（voice input）、ＶＲデバイスおよび／またはコンピューティングデバイスのタッチインターフェース上でのタッチ入力、ＶＲデバイスおよび／またはコンピューティングデバイスの１つまたは複数のセンサーを使用して検出されるジェスチャー入力（gesture input）、ＶＲデバイスまたはコンピューティングデバイスの物理的ボタンの選択、ＶＲデバイスを制御することができるＶＲコントローラデバイス上の物理的ボタン、ＶＲデバイスまたはコンピューティングデバイスによって表示されるアイコンまたは仮想ボタンの選択（たとえば、ユーザがアイコンを押すこと、視線検出を使用して検出される、ユーザがアイコンを注視すること、または他のタイプの選択）、それらの任意の組合せ、ならびに／あるいは他の入力など、ユーザによって提供される任意の好適な入力を含むことができる。モード変更を引き起こすことができるタッチ入力の一例は、１秒、２秒、またはより多くの秒の間など、しきい値時間量の間、および／あるいは（たとえば、加速度計（accelerometer）、あるいは圧力または力を測定することができる他の構成要素によって測定される）ある量の圧力で、コンピューティングデバイスのタッチスクリーン上に指を押しつけることを含むことができる。タッチ入力の別の例は、ストロークジェスチャーを含むことができ、これは、ユーザが１つのストロークでタッチスクリーンの周りに円を描くこと、および／または何らかの他のストロークジェスチャーを含むことができる。タッチ入力の別の例は、タッチスクリーン上での強いタップジェスチャーを含むことができ、これは、（たとえば、加速度計によって測定される）力しきい値（force threshold）を上回る圧力または力によるタッチスクリーン上での指タップを含むことができる。

[0043] いくつかの例では、モード（たとえば、実際のコンピューティングデバイスおよび／またはコンピューティングデバイスからのコンテンツの合成表現がＶＲコンテンツの上にオーバーレイされたＶＲモード、外界の覗き見がＶＲコンテンツの上にオーバーレイされたＶＲモードなど）のうちの１つまたは複数をトリガするために、しきい値量を超えるコンピューティングデバイスの移動（たとえば、加速度、速度など）が検出および使用され得る。いくつかの例では、ＶＲデバイスは、ユーザがＶＲデバイス（たとえば、ＨＭＤ）の前にフォーンを置いたことを（たとえば、ＶＲデバイスの外向きカメラを使用して、光センサーを使用して、動き検出または他の好適な技法を使用して）検出することができ、その場合、ＶＲデバイスは、モード（たとえば、実際のコンピューティングデバイスおよび／またはコンピューティングデバイスからのコンテンツの合成表現がＶＲコンテンツの上にオーバーレイされたＶＲモード、外界の覗き見がＶＲコンテンツの上にオーバーレイされたＶＲモードなど）のうちの１つまたは複数に切り替えることができる。

[0044] いくつかの例では、ＶＲデバイスは、６自由度（６ＤＯＦ：6-degrees of freedom）入力インターフェースを使用して、ユーザ入力を検出することができる。ＶＲヘッドセットなどのＸＲデバイスは、ＶＲ機能を実施するために、物理世界におけるそれら自体のロケーションを常にまたは周期的に追跡することができる。そのような追跡は、インサイドアウト６ＤＯＦ追跡（inside-out 6DOF tracking）と呼ばれることがあり、デバイスがいかなる外部ビーコンまたは送信機もなしにそれ自体を追跡することができるので、インサイドアウトであり、デバイスが３つの回転ベクトル（ピッチ、ヨー、ロール）および３つの並進ベクトル（上／下、左／右、前方／後方）に関してそれ自体の位置を追跡することができるので、６ＤＯＦである。１つまたは複数の慣性測定ユニット（ＩＭＵ：inertial measurement unit）、１つまたは複数の全地球測位システム（ＧＰＳ：global positioning system）デバイス、１つまたは複数の加速度計、１つまたは複数のジャイロスコープ（gyroscope）、それらの任意の組合せ、および／または他のセンサーなど、１つまたは複数のセンサーが、ユーザ入力を検出し、および／または追跡を実施するために、使用され得る。いくつかの場合には、追跡は、視覚慣性オドメトリ（ＶＩＯ：Visual Inertial Odometry）を用いて達成され得、これは、物理世界におけるデバイスの移動した距離を測定するために、（１つまたは複数のカメラセンサーからの）視覚データが（ジャイロスコープおよび加速度計からの）慣性データとともに融合されるプロセスである。ＶＩＯは、世界におけるデバイスの位置を決定（位置特定）し、デバイスに関連する（世界における）シーンをマッピングするために、同時に使用され得る。

[0045] 図２は、ＶＲヘッドセット１０２が、ＶＲコンテンツのフレーム２１０の上にオーバーレイされた実際のモバイルデバイス２０４（物理デバイス）の合成表現２１４を表示することを可能にする、ＶＲヘッドセット１０２のＶＲモードの一例を示す図である。図２に示されているように、モバイルデバイス２０４の合成表現２１４は、モバイルデバイス２０４のディスプレイ（またはスクリーン）の合成表現２１６を含む。現実世界において実際のモバイルデバイス２０４によって表示されているコンテンツは、モバイルデバイス２０４のディスプレイの合成表現２１６において仮想コンテンツとして表示される。このＶＲモードでは、ユーザ１００は、ＶＲヘッドセット１０２のディスプレイによって提示される、モバイルデバイス２０４ディスプレイの表現を見ることができる。いくつかの例では、モバイルデバイス２０４からのオーディオコンテンツが、モバイルデバイス２０４の合成表現２１４を表示する間、ＶＲヘッドセット１０２によって再生され得る。たとえば、ユーザがモバイルデバイス２０４上でボイスメッセージングアプリケーションを選択するとき、ボイスメッセージが再生され得る。他の例では、ビデオ（ビデオの視覚部分とオーディオ部分とを含む）、ビデオメッセージ、ウェブブラウザからのオーディオ、通話、ネットワークロケーションからの（たとえば、インターネットベースプロバイダからの）ストリーミングされた音楽、ローカルに記憶された音楽（たとえば、前にダウンロードされた音楽）、および／または他のオーディオコンテンツが再生され得る。ＶＲコンテンツは、モバイルデバイス２０４の合成表現が表示されるとき、および／またはオーディオコンテンツが再生されているとき、ＶＲヘッドセット１０２によって表示され続けることができ、あるいは、モバイルデバイス２０４の合成表現が表示される間、および／またはオーディオコンテンツがＶＲヘッドセット１０２によって再生されているとき、休止され得る。

[0046] ユーザは、（ユーザの頭部からＶＲヘッドセット１０２を取り外すことなしに）実際のモバイルデバイス２０４と対話することができ、モバイルデバイス２０４が表示するあらゆるものを見る（およびいくつかの場合にはモバイルデバイス２０４によって出力されているオーディオを聞く）ことができ、ただし、ＶＲヘッドセット１０２の内側において、それを見ることができる。いくつかの場合には、ユーザは、モバイルデバイス２０４の（１つまたは複数の）入力インターフェース（たとえば、タッチスクリーン、プッシュボタン、ボイス入力、タッチホバーフィードバック（touch hover feedback）など）を使用して、実際のモバイルデバイス２０４と対話することができ、モバイルデバイス２０４の機能の変更は、モバイルデバイス２０４のディスプレイの合成表現２１６上に表示される。いくつかの場合には、ユーザは、ジェスチャー入力（gesture input）、視線入力（gaze input）、ボイス入力、ＶＲリモートコントローラ、それらの任意の組合せ、および／またはＶＲヘッドセット１０２に提供され得る他の好適な入力を使用してなど、ＶＲヘッドセット１０２に入力を提供することによって、モバイルデバイス２０４と対話することができる。１つの例示的な例では、ユーザ１００は、下方向に人さし指を移動することを含む、ジェスチャー入力をＶＲヘッドセット１０２に提供することができ、これは、ＶＲヘッドセット１０２によって検出されると、モバイルデバイス２０４のディスプレイの合成表現２１６上に表示されたコンテンツを下方向にスクロールさせることができる。別の例示的な例では、ユーザ１００は、（たとえば、ユーザがアイコンを選択しているかのように）ＶＲヘッドセット１０２から離れる深さ方向に人さし指を移動することを含む、ジェスチャー入力をＶＲヘッドセット１０２提供することができ、これは、ＶＲヘッドセット１０２によって検出されると、モバイルデバイス２０４のディスプレイの合成表現２１６上に表示されたコンテンツのアイテムを選択させることができる。別の例示的な例では、ユーザは、ＶＲリモートコントローラをポインタとして使用して、モバイルデバイス２０４と対話することができる。

[0047] モバイルデバイス２０４のディスプレイの合成表現２１６上に表示されるコンテンツの変更を引き起こす入力（たとえば、ジェスチャー、視線、ボイスなど）が、実際のモバイルデバイス２０４によって表示されるコンテンツを変化させることもできる。１つの例示的な例では、ＶＲヘッドセット１０２によって検出されたジェスチャーを使用するメッセージングアイコンの選択が、メッセージングアプリケーションを、モバイルデバイス２０４のディスプレイの合成表現２１６上に、および実際のモバイルデバイス２０４のディスプレイ上に表示させることができる。

[0048] いくつかの例では、ユーザは、タッチホバーフィードバックを使用して、実際のモバイルデバイス２０４と対話することができる。たとえば、タッチホバーフィードバックは、ユーザが、モバイルデバイス２０４の物理的ディスプレイからある距離（たとえば、０．５センチメートル（ｃｍ）、０．７５ｃｍ、１ｃｍ、１．２５ｃｍ、または他の好適な距離）のところに、指または親指を保持することを含むことができ、指または親指が覆うアイテムに対応する表示要素（たとえば、モバイルデバイス２０４のディスプレイの合成表現２１６における、アイコン、リスト中のアイテム、または他の表示要素）が、モバイルデバイス２０４のディスプレイの合成表現２１６においてフォーカス状態を示すことができる（たとえば、表示要素は、ハイライトされ、より大きくされ、および／または別様に強調され得る）。表示要素の選択が、次いで、（たとえば、上記で説明されたように、ジェスチャー入力、視線入力、タッチ入力、ボイス入力、および／または他の入力を使用して）ハイライトされた表示要素を選択することによって、ユーザによって実施され得る。タッチホバーフィードバックは、ユーザが、選択を行う前に指を正しく配置することを可能にすることによって、モバイルデバイス２０４の合成表現２１４との対話がより有効になることを可能にする。これは、ユーザが、選択をターゲットにするためにモバイルデバイス２０４ディスプレイを直接閲覧することができない、図２に示されている例において特に役立つことができる。

[0049] いくつかの実装形態では、アクション通知（action notification）２１５が、フレーム２１０上に表示され得る。アクション通知２１５は、アクションがモバイルデバイス２０４において発生したことをユーザに示す。いくつかの例では、アクション通知２１５は、メッセージがモバイルデバイス２０４によって受信されたという通知（たとえば、新しいテキストメッセージが受信された、新しい電子メールが受信された、モバイルデバイス２０４への着信フォーンの通知、ソーシャルメディアポスト（social media post）がモバイルデバイス２０４によって通知された、緊急警報（emergency alert）がモバイルデバイス２０４によって受信された、および／または他のメッセージ）を含むことができる。いくつかの例では、アクション通知２１５は、受信された実際のメッセージを含むことができる。いくつかの場合には、ユーザは、モバイルデバイス２０４の合成表現２１４を表示させるために、アクション通知２１５を選択することができる（まだ表示されていない場合）。

[0050] モバイルデバイス２０４の合成表現２１４は、様々な技法を使用してＶＲヘッドセット１０２によって生成され得る。１つの例示的な例では、ＶＲヘッドセット１０２のユーザは、使用されているモバイルデバイス２０４のタイプ（たとえば、Ｓａｍｓｕｎｇ（登録商標）Ｇａｌａｘｙ Ｓ１０（登録商標）など、モバイルデバイス２０４の種類、モデル、およびバージョン）を示す入力を提供することができ、ＶＲヘッドセット１０２は、そのタイプのモバイルデバイスと同じ特徴および寸法を有する仮想表現を生成または取得することができる。別の例では、ＶＲヘッドセット１０２は、モバイルデバイス２０４の１つまたは複数の画像をキャプチャすることができ、ＶＲヘッドセット１０２は、１つまたは複数の画像を使用してモバイルデバイス２０４の仮想表現を生成することができる。

[0051] モバイルデバイス２０４の合成表現２１４は、ＶＲ座標系における様々なロケーションにおいて表示され得る。たとえば、いくつかの場合には、合成表現２１４は、フォーンの実際の現実世界ロケーションにおいて見えるように表示され得る。１つの例示的な例では、ユーザがモバイルフォンをユーザの右手でユーザの前に差し出す場合、モバイルデバイス２０４の合成表現２１４は、フレーム２１０の右下隅において表示され得る。他の例では、合成表現２１４は、合成表現２１４が、ＶＲコンテンツと、および／またはフレーム２１０内の最も重要な領域（たとえば、ＶＲユーザの視野に対応するフレーム２１０の中心）と重ならないように、フレーム２１０のエッジまたはフレーム２１０における別のロケーション上に表示され得る。いくつかの例では、モバイルデバイス２０４の合成表現２１４が表示されるロケーションは、ユーザ選択可能であり得る。たとえば、ユーザは、合成表現２１４が、ＶＲヘッドセット１０２によって表示されるフレームの左上隅において表示されるべきであることを示すことができる。

[0052] いくつかの場合には、実際のモバイルデバイス２０４によって表示されているコンテンツおよび／または出力されているオーディオコンテンツは、ＶＲヘッドセット１０２に送信またはストリーミングされ得、ＶＲヘッドセット１０２は、モバイルデバイス２０４のディスプレイの合成表現２１６においてコンテンツを表示することができる。いくつかの場合には、モバイルデバイス２０４によって表示されているコンテンツは、ＶＲヘッドセット１０２のディスプレイ上で（たとえば、ピアツーピアＷｉＦｉ Ｄｉｒｅｃｔ（登録商標）規格を使用するＭｉｒａｃａｓｔ、またはＡｉｒＰｌａｙ（登録商標）など、スクリーンミラーリングを使用して）ミラーリングされ得る。

[0053] 図６は、ＶＲデバイス（たとえば、ＶＲヘッドセット１０２の、または他のＶＲデバイス）、ＭＲデバイス、および／またはＡＲデバイスなど、ＸＲデバイスの構成要素の一例を示す図である。構成要素は、実際のモバイルデバイス２０４（たとえば、モバイルデバイス２０４）によって表示されているコンテンツおよび／または出力されているオーディオコンテンツが、ＸＲデバイスによって表示されることを可能にするように動作する。ＸＲデバイスは、１つまたは複数のアプリケーション６３２を含むことができる。アプリケーションは、ランタイムエンジン（Runtime engine）６３４によって提供されるランタイムサービス（たとえば、レンダリングおよび／または他のランタイムサービス）について登録することができる。ランタイムエンジン６３４は、ＸＲデバイスによって表示され得る各表示レイヤまたはグラフィックレイヤのためのレンダリングを扱うことができる。ランタイムエンジン６３４はまた、各レイヤについて、頭部追跡ポーズ（head tracking pose）と入力イベント（たとえば、コントローラ、手のジェスチャー、ボイス、および／または他の入力イベント）とを処理することができる。いくつかの場合には、ランタイムエンジン６３４は、１つまたは複数のアプリケーション６３２からのアプリケーションの一部、オペレーティングシステム（ＯＳ）６３８の一部であり得るか、または、ランタイムエンジン６３４が、合成を含み得るＸＲアクティビティを協調させる場合、合成器エンジン（compositor engine）６３６と組み合わせられ得る。

[0054] 合成器エンジン６３６は、ＸＲ（たとえば、ＶＲセッション）内で閲覧するために、複数のグラフィックレイヤ（たとえば、特に、ウィンドウ、タイル）を織り合わせる（weave together）ことができる。合成器エンジン６３６はまた、特に、タイムワープ（timewarp）、スペースワープ（spacewarp）など、プロセスＸＲ関係プロセスを実施することができる。いくつかの場合には、合成器エンジン６３６は、上記で説明されたように、ランタイムエンジン６３４の一部であり得るか、またはＯＳ６３８の一部であり得る。ＯＳ６３８は、Ａｎｄｒｏｉｄ（登録商標）または他の好適なＯＳなど、任意の好適なＯＳであり得る。

[0055] 図７は、ランタイムエンジン６３４によって扱われ得る、異なるグラフィックレイヤの一例を示す図である。たとえば、図７に示されているレイヤＡが、モバイルデバイス（たとえば、モバイルデバイス２０４）によって表示されているコンテンツに対応し、レイヤＢが、ＸＲデバイス（たとえば、ＶＲヘッドセット１０２）によって表示されているＸＲコンテンツに対応する。ＶＲコンテンツが、ＸＲコンテンツの一例として使用される。しかしながら、ＸＲコンテンツが、ＭＲコンテンツ、ＡＲコンテンツ、および／または他のコンテンツを含むことができることを、当業者は諒解されよう。ＯＳ６３８（たとえば、Ａｎｄｒｏｉｄまたは他のＯＳ）は、モバイルデバイスユーザインターフェース（ＵＩ：user interface）を１つのディスプレイ（たとえば、１次ディスプレイ）に割り当てることができ、ＶＲビューが、別のディスプレイ（たとえば、２次ディスプレイ）に割り当てられ得る。ランタイムエンジン６３４は、レイヤ（たとえば、図７中のレイヤＡ）として、モバイルデバイスコンテンツに割り当てられた１次ディスプレイをレンダリングすることができ、これは、別のレイヤ（たとえば、図７中のレイヤＢ）としてレンダリングされる２次ＶＲディスプレイ上でビデオストリームとして閲覧され得る。合成器エンジン６３６は、モバイルデバイスビューレイヤ（レイヤＡ）がフォアグラウンドで見え、ＶＲビューレイヤ（レイヤＢ）がレイヤＡの後ろのバックグラウンドで動作するように、各レイヤを織り合わせることができる。

[0056] ランタイムエンジン６３４は、レイヤードＶＲセッションからの入力イベント（たとえば、コントローラ、手のジェスチャー、ボイスなど）を扱うことができる。たとえば、モバイルデバイスレイヤ（レイヤＡ）上のアイテムを選択する入力イベントが、ランタイムエンジン６３４に、入力イベントをタッチイベントにマッピングさせることができ、タッチイベントは、次いで、処理されるためにモバイルデバイスに渡されて戻る。別の例では、ＶＲレイヤ（レイヤＢ）上のアイテムを選択する入力イベントが、処理されるために、ランタイムエンジン６３４に、入力イベントをＶＲデバイスに渡させることができる。

[0057] 図８は、仮想現実デバイスの構成要素の別の例を示す図である。図示のように、ＸＲアプリケーション８３２が、ＸＲアプリケーション８３２のＸＲアプリケーションユーザインターフェース（ＵＩ：user interface）８３３を制御する。モバイルデバイス８０４が、モバイルデバイス８０４のモバイルデバイスＵＩ８３５を制御する。モバイルデバイス８０４にユーザによって提供されるユーザ入力が、モバイルデバイス８０４によってモバイルデバイスＵＩ８３５に提供され得る。同様に、ＸＲデバイスにユーザによって提供されるユーザ入力が、ＸＲデバイスによってＸＲアプリケーションＵＩ８３３に提供され得る。ユーザは、特に、コントローラ、ポインタ、視線、手追跡入力（hand tracking input）、ボイスなど、入力デバイスを使用して、モバイルデバイスＵＩ８３５および／またはＸＲアプリケーションＵＩ８３３と対話することができる。ＸＲランタイムエンジン８３４が、ユーザ入力を処理することができ、ＸＲデバイスの１つまたは複数のＸＲデバイスディスプレイ８４６によってＸＲシーンユーザインターフェース８４４において表示され得る各グラフィックレイヤのためのレンダリングを扱うことができる。ＸＲシーンユーザインターフェース８４４は、ＸＲデバイス上のＸＲアプリケーションＵＩ８３３および／または他のＸＲアプリケーションのＵＩのコンテンツを含む、ＸＲデバイスによって表示されているすべてのコンテンツを含む。

[0058] いくつかの場合には、モバイルデバイス（たとえば、モバイルフォン）は、複数のディスプレイを有することができ、これは、ＸＲアプリケーション対話および表示と同時に、ＵＩ対話（たとえば、スマートフォンＵＩ対話）および表示をサポートし得る。モバイルデバイスディスプレイ８４上にモバイルデバイス８０４（たとえば、モバイルデバイスＵＩ８３５）によって表示されるコンテンツは、その全体がＸＲシーンユーザインターフェース８４４において表現され得る（たとえば、モバイルデバイスによって表示されるすべてのコンテンツが、ＸＲコンテンツとともに表示され得る）か、または構成要素形態で表現され得る（たとえば、単一のアプリケーションＵＩまたは単一のアプリケーションＵＩのＵＩフラグメントが、ＸＲコンテンツとともに表示され得る）。

[0059] モバイルデバイスＵＩ８３５は、モバイルデバイスディスプレイ８４２上で、１つまたは複数のＸＲデバイスディスプレイ８４６上で、モバイルデバイスディスプレイ８４２と１つまたは複数のＸＲデバイスディスプレイ８４６の両方の上で視認可能であるか、またはいずれのディスプレイ上でも視認可能でないことがある。いくつかの場合には、ＸＲランタイムエンジン８３４は、ＸＲアプリケーション８３２の内部にまたは外部に常駐することができる。いくつかの場合には、ＸＲランタイムエンジン８３４は、上記で説明されたように、ＯＳの内部にまたは外部に常駐することができる。いくつかの場合には、ＸＲランタイムエンジン８３４は、モバイルデバイス上とＸＲデバイス上とに共に常駐（co-resident）することができる。いくつかの場合には、ＸＲランタイムエンジン８３４は、モバイルデバイスを組み込む一体型ＶＲヘッドセットなど、接続されたデバイス上に常駐することができる。ＸＲデバイスと、接続されたデバイスとの間の接続は、（たとえば、ＷｉＦｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｚｉｇｂｅｅ（登録商標）、または他のワイヤレス接続を使用して、ワイヤードまたはワイヤレスであり得る。

[0060] 図２に示されているモードを使用して、ユーザ１００は、依然としてＶＲコンテンツを閲覧する間、ＶＲヘッドセット１０２のディスプレイ上に提示されたモバイルデバイス２０４を閲覧することができ（およびいくつかの場合にはモバイルデバイス２０４からのオーディオコンテンツを聞くことができ）、ユーザがモバイルデバイス２０４と直接対話しているかのように、モバイルデバイス２０４の機能のすべてと対話することができる。いくつかの場合には、ＶＲコンテンツは、ユーザ１００がモバイルデバイス２０４と対話している間、再生し続けることができる。いくつかの場合には、ＶＲヘッドセット１０２は、ユーザ１００が、モバイルデバイス２０４と対話する間、ＶＲコンテンツを休止するためのオプションを提供することができる。いずれの場合も、ユーザは、ＶＲヘッドセット１０２を取り外す必要なしに、モバイルデバイス２０４と対話することができる。

[0061] 図３は、ＶＲヘッドセット１０２が、ＶＲコンテンツのフレーム３１０の上にオーバーレイされたモバイルデバイス２０４からのコンテンツを表示することを可能にする、ＶＲヘッドセット１０２のＶＲモードの一例を示す図である。現実世界において実際のモバイルデバイス２０４によって表示されているコンテンツは、仮想コンテンツのフレーム３１０上に仮想コンテンツ３１７として表示される。ＶＲモードでは、ユーザ１００は、モバイルデバイス２０４によって何が表示されているかを見ることができ、ただし、モバイルデバイス２０４の合成表現を表示することなしに、それを見ることができる。仮想コンテンツ３１７は、ＶＲ座標系における様々なロケーションにおいて表示され得る。たとえば、いくつかの場合には、仮想コンテンツ３１７は、フォーンの実際の現実世界ロケーションにおいて見えるように表示され得る。他の例では、仮想コンテンツ３１７は、仮想コンテンツ３１７が、ＶＲコンテンツと、および／または最も重要な領域（たとえば、ＶＲユーザの視野に対応するフレーム３１０の中心）と衝突しないように、（たとえば、図３に示されているように）フレーム３１０のエッジ上に表示されるか、またはフレーム３１０において別様に位置することができる。いくつかの例では、仮想コンテンツ３１７が表示されるロケーションは、ユーザ選択可能であり得る。

[0062] いくつかの例では、モバイルデバイス２０４からのオーディオコンテンツが、モバイルデバイス２０４からのコンテンツを表示する間、ＶＲヘッドセット１０２によって再生され得る。ＶＲコンテンツは、モバイルデバイス２０４からのコンテンツが表示されるとき、および／またはオーディオコンテンツが再生されているとき、ＶＲヘッドセット１０２によって表示され続けることができ、あるいは、モバイルデバイス２０４からのコンテンツが表示される間、および／またはオーディオコンテンツがＶＲヘッドセット１０２によって再生されているとき、休止され得る。

[0063] 図２に示されているモードに関して説明されたものと同様に、ユーザは、（ＶＲヘッドセット１０２を取り外すことなしに）実際のモバイルデバイス２０４と対話することができ、フォーンによって表示されるあらゆるものを見ることができ、ただし、ＶＲヘッドセット１０２の内側において、それを見ることができる。ユーザは、図２に関して上記で説明されたものと同様に、モバイルデバイス２０４の（１つまたは複数の）入力インターフェースを使用して実際のモバイルデバイス２０４と対話することができ、および／またはＶＲヘッドセット１０２に入力を提供することによってモバイルデバイス２０４と対話することができる。

[0064] モバイルデバイス２０４の合成表現２１４は、使用されているモバイルデバイス２０４のタイプを示すユーザによって提供された入力に基づいて、ＶＲヘッドセット１０２によってキャプチャされたモバイルデバイス２０４の１つまたは複数の画像に基づいて、および／または任意の他の好適な技法を使用して、ＶＲヘッドセット１０２によって生成され得る。実際のモバイルデバイス２０４によって表示されているコンテンツは、ＶＲヘッドセット１０２に送信またはストリーミングされ得るか、ＶＲヘッドセット１０２のディスプレイ上に（たとえば、スクリーンミラーリングを使用して）ミラーリングされ得るか、または任意の他の好適な技法を使用してＶＲヘッドセット１０２に提供され得る。

[0065] 図２に関して説明されたものと同様に、アクション通知３１５が、フレーム３１０上に表示され得る。アクション通知３１５は、メッセージまたは通話が受信されることなど、アクションがモバイルデバイス２０４において発生したことを示すことができる。いくつかの例では、アクション通知３１５は、受信された実際のメッセージを含むことができる。ユーザは、モバイルデバイス２０４からの仮想コンテンツ３１７を表示させるために、アクション通知３１５を選択することができる（まだ表示されていない場合）。たとえば、アクション通知３１５の選択に応答して、モバイルデバイス２０４からのメッセージングアプリケーションが、ＶＲデバイス１０２上に表示され得る。

[0066] 図３に示されているモードを使用して、ユーザ１００は、依然としてＶＲコンテンツを閲覧する間、ＶＲヘッドセット１０２のディスプレイ上に提示されたモバイルデバイス２０４からのコンテンツを閲覧することができ、ユーザがモバイルデバイス２０４と直接対話しているかのように、モバイルデバイス２０４の機能のすべてと対話することができる。

[0067] 図４は、ＶＲヘッドセット１０２が、ＶＲコンテンツのフレーム４１０の上にオーバーレイされたオーバーレイとして、モバイルデバイス２０４によってキャプチャされた（画像４１８を含む）１つまたは複数の画像を表示することによって、外界の覗き見を提供することを可能にする、ＶＲヘッドセット１０２のＶＲモードの一例を示す図である。１つまたは複数の画像は、モバイルデバイス２０４の１つまたは複数のカメラによってキャプチャされ得、１つまたは複数の静止画像、または複数の連続する画像を含むビデオを含むことができる。いくつかの場合には、１つまたは複数の画像をキャプチャするために使用されるモバイルデバイス２０４のカメラは、（モバイルデバイス２０４の裏面上にある）後向きカメラ、および／またはモバイルデバイス２０４の別のカメラ（たとえば、前向きカメラ、前向きカメラおよび後向きカメラ、複数の前向きおよび／または後向きカメラなど）であり得る。モバイルデバイス２０４は、ＶＲヘッドセット１０２に１つまたは複数の画像を送信することができ、ＶＲヘッドセット１０２は、次いで、ＶＲヘッドセット１０２のディスプレイ上に１つまたは複数の画像を表示することができる。いくつかの場合には、モバイルデバイス２０４のマイクロフォンからのオーディオが、ＶＲヘッドセット１０２に提供され得、ＶＲヘッドセット１０２は、ＶＲヘッドセット１０２の１つまたは複数のスピーカーを使用してオーディオを出力することができる。モバイルデバイス２０４のマイクロフォンからのオーディオを提供することは、ユーザが、ヘッドセットを取り外す必要なしに、現実世界において何が進行しているかを知覚することを可能にするための、より多くの情報をユーザに提供することができる。

[0068] 図４に示されている例は、モバイルデバイス２０４の合成表現４１４の一部として表示された画像４１８を含む。いくつかの実装形態では、（画像４１８を含む）モバイルデバイス２０４によってキャプチャされた１つまたは複数の画像は、仮想コンテンツ上に表示され、その場合、モバイルデバイス２０４の合成表現４１４は、ＶＲヘッドセット１０２によって表示されない。いくつかの実装形態では、１つまたは複数の画像は、（たとえば、フルスクリーンモードで）ＶＲヘッドセット１０２のディスプレイ上に完全に表示され得、その場合、ＶＲコンテンツは、１つまたは複数の画像が表示される間、ＶＲヘッドセット１０２によって表示されない。いくつかの実装形態では、ユーザ１００は、１つまたは複数の画像を表示するためにＶＲヘッドセット１０２ディスプレイのうちのどのくらいが使用されるかを制御することができる。

[0069] 図４に示されているモードを使用して、ユーザ１００は、依然としてＶＲコンテンツを閲覧する間、ＶＲヘッドセット１０２のディスプレイ上に提示された、モバイルデバイス２０４のカメラからの現実世界環境のビュー（view）を見ることができる。上述のように、ユーザは、モバイルデバイス２０４のマイクロフォンからのオーディオをも提供され得、これは、ユーザが、現実世界環境において発生している任意の音を聞くことを可能にすることができる。いくつかの場合には、ＶＲヘッドセット１０２は、ユーザ１００が、モバイルデバイス２０４からの１つまたは複数の画像を閲覧する間、ＶＲコンテンツを休止するためのオプションを提供することができる。いずれの場合も、ユーザは、ＶＲヘッドセット１０２を取り外す必要なしに、現実世界環境のビューを見ることができる（およびいくつかの場合には、現実世界環境において何が起こっているかを聞くことができる）。

[0070] 図５は、ＶＲヘッドセット１０２が仮想ＶＲコンテンツの表示と現実世界の表示との間で切り替えることを可能にする、ＶＲヘッドセット１０２のＶＲモードの一例を示す図である。たとえば、ＶＲコンテンツの（フレーム５１０を含む）フレームが、ＶＲヘッドセット１０２によって表示され得、これは、ユーザのポーズに基づく仮想環境のシーンを含む。ユーザ入力に応答して、ＶＲヘッドセット１０２は、現実世界表示モードに切り替えることができ、現実世界表示モードに入ると、ユーザのポーズに基づく現実世界環境の（フレーム５２０を含む）ビューを表示することができる。

[0071] いくつかの場合には、ＶＲヘッドセット１０２の一部である外部カメラが、現実世界環境の画像をキャプチャするために使用され得る。キャプチャされた画像は、ユーザが現実世界表示モードに切り替えるとき、ＶＲヘッドセット１０２のディスプレイによって表示され得る。キャプチャされた画像は、１つまたは複数の静止画像、または複数の連続する画像を含むビデオを含むことができる。（１つまたは複数の）静止画像、またはビデオは、ユーザが、ＶＲコンテンツが１つまたは複数の静止画像なしに表示される完全なＶＲモードに切り替え復帰するように、ＶＲヘッドセット１０２に命令する入力を提供するまで、表示され得る。

[0072] 図５に示されているモードを使用して、ユーザ１００は、現実世界環境と対話するためにＶＲヘッドセット１０２を外す必要なしに、ＶＲ世界のビューと、ユーザが位置する現実世界環境のビューとの間でトグルすることができる。たとえば、ユーザ１００は、ユーザ１００が、依然としてＶＲヘッドセット１０２を装着しながら、部屋中のオブジェクトと対話することができるように、ユーザ１００がその中に座っている部屋の完全なビューを提供され得る。

[0073] 次に、本明細書で説明される技法を使用して実施されるプロセスの例が説明される。図９は、仮想コンテンツを表示するためのプロセス９００の一例を示すフローチャートである。ブロック９０２において、プロセス９００は、第１のデバイスによって、仮想現実コンテンツを表示することを含む。第１のデバイスは、図１～図５に示されている仮想現実（ＶＲ）ヘッドセット１０２など、ＶＲヘッドセット（たとえば、ＨＭＤまたは他のタイプのＶＲヘッドセット）を含むことができる。

[0074] ブロック９０４において、プロセス９００は、第１のデバイスによって、第２のデバイスの合成表現を生成することを含む。第２のデバイスは、図１～図４に示されているモバイルデバイス２０４など、モバイルデバイスを含むことができる。ブロック９０６において、プロセス９００は、第１のデバイスによって、仮想コンテンツとともに第２のデバイスの合成表現を表示することを含む。いくつかの例では、第２のデバイスの合成表現は、仮想コンテンツ上にオーバーレイされる。たとえば、例示的な例として図２を使用して、モバイルデバイス２０４の合成表現２１４が、仮想コンテンツフレーム２１０とともに表示される。

[0075] 第２のデバイスの合成表現（たとえば、図２に示されている合成表現２１４）は、第２のデバイスのディスプレイの合成表現を含むことができる。第２のデバイスによって表示されるコンテンツが、第２のデバイスのディスプレイの合成表現において表示される。たとえば、図２に示されているように、モバイルデバイス２０４の合成表現２１４は、モバイルデバイス２０４のディスプレイの合成表現２１６をも含み、モバイルデバイス２０４によって表示されているコンテンツが、モバイルデバイス２０４のディスプレイの合成表現２１６において示される。

[0076] いくつかの場合には、プロセス９００は、第２のデバイスによって処理された１つまたは複数の入力の指示に基づいて、第２のデバイスの合成表現の変更を表示することを含むことができる。第２のデバイスの合成表現の変更は、第２のデバイスの機能の変更を表現する。たとえば、ユーザは、第２のデバイスに１つまたは複数の機能（たとえば、特に、メッセージングアプリケーションを使用してテキストメッセージを送る、ソーシャルネットワーキングアプリケーションを使用してソーシャルネットワーキングアカウントにメッセージをポスティングする、電子メールを送る）を実施させるために、第２のデバイス（たとえば、モバイルデバイス）と対話することができる。第２のデバイスの機能の変更に基づいて第２のデバイスによって表示されるコンテンツの変更も、第２のデバイスの機能の変更を表現する第２のデバイスの合成表現の変更として表示され得る。

[0077] いくつかの場合には、プロセス９００は、第１のデバイスによって受信された入力に基づいて、第２のデバイスの合成表現の変更を表示することを含むことができる。第２のデバイスの合成表現の変更は、第２のデバイスの機能の変更を表現する。たとえば、ユーザは、第２のデバイスに１つまたは複数の機能（たとえば、特に、メッセージングアプリケーションを使用してテキストメッセージを送る、ソーシャルネットワーキングアプリケーションを使用してソーシャルネットワーキングアカウントにメッセージをポスティングする、電子メールを送る）を実施させるために、第１のデバイス（たとえば、ＶＲヘッドセット）または第２のデバイスと対話することができる。ユーザは、上記で説明されたものなどの任意の好適な入力を使用して（たとえば、モバイルデバイスの（１つまたは複数の）入力インターフェースを使用して、ＶＲヘッドセットに入力を提供することによって、タッチホバーフィードバックまたは他の好適な入力を使用して）、第２のデバイスに１つまたは複数の機能を実施させるために、第２のデバイスと対話することができる。第２のデバイスの機能の変更に基づいて第２のデバイスによって表示されるコンテンツの変更も、第２のデバイスの機能の変更を表現する第２のデバイスの合成表現の変更として表示され得る。

[0078] いくつかの例では、プロセス９００は、トリガを検出することと、トリガに応答して（第２のデバイスによって表示されるコンテンツとともに）第２のデバイスの合成表現を表示することとを含む。いくつかの場合には、トリガは、第２のデバイスから受信された情報に基づく。１つの例示的な例では、第２のデバイスから受信された情報は、メッセージが第２のデバイスによって受信された（たとえば、新しいテキストメッセージまたは電子メールが受信された）という通知、第２のデバイスによって受信された入力（たとえば、第２のデバイスに提供されたユーザ入力）、および／または他の通知を含む。いくつかの場合には、トリガは、第２のデバイスがしきい値量を超えて移動されることに基づく。たとえば、第２のデバイスの加速度計または他のセンサーが、第２のデバイスの移動量を示す情報を提供することができる。いくつかの場合には、トリガは、（たとえば、６ＤＯＦ追跡を使用して）第１のデバイスによって検出された、第２のデバイスに向けられたユーザの視線の検出に基づく。いくつかの場合には、トリガは、時間量に基づく。たとえば、（第２のデバイスによって表示されるコンテンツと一緒の）第２のデバイスの合成表現は、他のトリガが受信されていない場合、しきい値時間間隔ごとに（たとえば、５分ごとに、１０分または他の好適な時間期間ごとに）仮想コンテンツとともに第１のデバイスによって表示され得る。いくつかの場合には、トリガは、仮想コンテンツとともに表示されるアイコンの選択に基づく。たとえば、ユーザは、ジェスチャー、視線、ボイスコマンド、および／または他の入力を使用して、アイコンを選択することができる。いくつかの例では、トリガは、ユーザによって提供されるボイス入力に基づく。たとえば、ユーザは、「私のモバイルデバイスを見せて」または他のフレーズを声に出して言うことができ、これは、第１のデバイスによって入力として受信され、第２のデバイスの合成表現を表示させるトリガとして解釈され得る。いくつかの例では、トリガは、ユーザが、モバイルデバイスを持ち上げること、および／または（たとえば、指紋入力を介して、ハードボタンを押すことによって、顔認識または顔識別（ＩＤ）を介して、またはデバイスをアンロックするための別の機構を使用して）モバイルデバイスをアンロックすることに基づく。

[0079] 第２のデバイスの合成表現は、様々な削除トリガに基づいて第１のデバイスによって表示から削除され得る。たとえば、ユーザは、第１のデバイスまたは第２のデバイスに、タッチ入力（たとえば、ユーザインターフェース上でのスワイプ入力）、ボイス入力、視線入力、ジェスチャー入力、および／または他の入力を提供することができ、これは、表示されているものから第２のデバイスの合成表現を削除するように第１のデバイスをトリガする、削除トリガとして第１のデバイスによって解釈され得る。別の例では、削除トリガは、ユーザが、特定のポイントに第２のデバイスを移動すること、または（たとえば、第２のデバイスの加速度計または他のセンサーによって検出される、デバイスを下げることによる）特定の動きを使用することに基づくことができ、第１のデバイスに表示から第２のデバイスの合成表現を削除させる。別の例では、第２のデバイスの合成表現は、第２のデバイスとの最後の対話からの時間量に基づいて削除され得る。たとえば、入力が第２のデバイスから受信されたときから、またはユーザが第２のデバイスの合成表現と対話したときから、しきい値時間量が過ぎた場合、合成表現は、表示から削除され得る。表示から第２のデバイスの合成表現を削除することの結果として、仮想コンテンツは、第２のデバイスの合成表現なしに表示される。

[0080] 図１０は、仮想コンテンツを表示するためのプロセス１０００の別の例を示すフローチャートである。ブロック１００２において、プロセス１０００は、第１のデバイスによって、仮想現実コンテンツを表示することを含む。第１のデバイスは、図１～図５に示されている仮想現実（ＶＲ）ヘッドセット１０２など、ＶＲヘッドセット（たとえば、ＨＭＤまたは他のタイプのＶＲヘッドセット）を含むことができる。

[0081] ブロック１００４において、プロセス１０００は、第１のデバイスによって、第２のデバイスによって表示されるコンテンツを取得することを含む。第２のデバイスは、図１～図４に示されているモバイルデバイス２０４など、モバイルデバイスを含むことができる。ブロック１００６において、プロセス１０００は、第１のデバイスによって、仮想コンテンツとともにコンテンツを表示することを含む。いくつかの場合には、コンテンツは、電子メールアプリケーション、メッセージングアプリケーション、ソーシャルネットワーキングアプリケーション、ビジネスアプリケーション、マップアプリケーション、および／または他の好適なアプリケーションなど、第２のデバイスによって実行される少なくとも１つのアプリケーションからの情報を含む。いくつかの例では、コンテンツは、仮想コンテンツ上にオーバーレイされる。たとえば、例示的な例として図３を使用して、モバイルデバイス２０４によって表示されるコンテンツは、仮想コンテンツのフレーム３１０上に仮想コンテンツ３１７として表示される。いくつかの例では、第２のデバイスの合成表現が、仮想コンテンツ上にオーバーレイされ、コンテンツは、（たとえば、図２に示されているように）第２のデバイスの合成表現とともに表示され得る。

[0082] いくつかの場合には、プロセス１０００は、第２のデバイスによって処理された１つまたは複数の入力の指示に基づいて、第２のデバイスのコンテンツの変更を表示することを含むことができる。コンテンツの変更は、第２のデバイスの機能の変更を表現する。たとえば、ユーザは、第２のデバイスに１つまたは複数の機能（たとえば、特に、メッセージングアプリケーションを使用してテキストメッセージを送る、ソーシャルネットワーキングアプリケーションを使用してソーシャルネットワーキングアカウントにメッセージをポスティングする、電子メールを送る）を実施させるために、第２のデバイス（たとえば、モバイルデバイス）と対話することができる。第２のデバイスの機能の変更に基づいて第２のデバイスによって表示されるコンテンツの変更も、第２のデバイスの機能の変更を表現するコンテンツの変更として表示され得る。

[0083] いくつかの例では、プロセス１０００は、第１のデバイスによって受信された入力に基づいて、第２のデバイスのコンテンツの変更を表示することを含むことができる。第２のデバイスのコンテンツの変更は、第２のデバイスの機能の変更を表現する。たとえば、ユーザは、第２のデバイスに１つまたは複数の機能（たとえば、特に、メッセージングアプリケーションを使用してテキストメッセージを送る、ソーシャルネットワーキングアプリケーションを使用してソーシャルネットワーキングアカウントにメッセージをポスティングする、電子メールを送る）を実施させるために、第１のデバイス（たとえば、ＶＲヘッドセット）と対話することができる。第２のデバイスの機能の変更に基づいて第２のデバイスによって表示されるコンテンツの変更も、第２のデバイスの機能の変更を表現する第２のデバイスのコンテンツの変更として表示され得る。

[0084] いくつかの例では、プロセス１０００は、トリガを検出することと、トリガに応答して仮想コンテンツとともにコンテンツを表示することとを含む。いくつかの場合には、トリガは、第２のデバイスから受信された情報に基づく。１つの例示的な例では、第２のデバイスから受信された情報は、メッセージが第２のデバイスによって受信された（たとえば、新しいテキストメッセージまたは電子メールが受信された）という通知、第２のデバイスによって受信された入力（たとえば、第２のデバイスに提供されたユーザ入力）、および／または他の通知を含む。いくつかの場合には、トリガは、第２のデバイスがしきい値量を超えて移動されることに基づく。たとえば、第２のデバイスの加速度計または他のセンサーが、第２のデバイスの移動量を示す情報を提供することができる。いくつかの場合には、トリガは、第１のデバイスによって検出された、第２のデバイスに向けられたユーザの視線の検出に基づく。いくつかの場合には、トリガは、時間量に基づく。たとえば、第２のデバイスからのコンテンツは、他のトリガが受信されていない場合、しきい値時間間隔ごとに（たとえば、５分ごとに、１０分または他の好適な時間期間ごとに）仮想コンテンツとともに第１のデバイスによって表示され得る。いくつかの場合には、トリガは、仮想コンテンツとともに表示されるアイコンの選択に基づく。たとえば、ユーザは、ジェスチャー、視線、ボイスコマンド、および／または他の入力を使用して、アイコンを選択することができる。いくつかの例では、トリガは、ユーザによって提供されるボイス入力に基づく。たとえば、ユーザは、「私のモバイルデバイスを見せて」または他のフレーズを声に出して言うことができ、これは、第１のデバイスによって入力として受信され、第２のデバイスによって表示されるコンテンツを表示させるトリガとして解釈され得る。いくつかの例では、トリガは、ユーザが、モバイルデバイスを持ち上げること、および／または（たとえば、指紋入力を介して、ハードボタンを押すことによって、顔認識または顔識別（ＩＤ）を介して、またはデバイスをアンロックするための別の機構を使用して）モバイルデバイスをアンロックすることに基づく。

[0085] 第２のデバイスによって表示されるコンテンツは、様々な削除トリガに基づいて第１のデバイスによって表示から削除され得る。たとえば、ユーザは、第１のデバイスまたは第２のデバイスに、タッチ入力（たとえば、ユーザインターフェース上でのスワイプ入力）、ボイス入力、視線入力、ジェスチャー入力、および／または他の入力を提供することができ、これは、第１のデバイス上に表示されているものから、第２のデバイスによって表示されるコンテンツを削除するように第１のデバイスをトリガする、削除トリガとして第１のデバイスによって解釈され得る。別の例では、削除トリガは、ユーザが、特定のポイントに第２のデバイスを移動すること、または（たとえば、第２のデバイスの加速度計または他のセンサーによって検出される、デバイスを下げることによる）特定の動きを使用することに基づくことができる。別の例では、第２のデバイスによって表示されるコンテンツは、第２のデバイスとの最後の対話からの時間量に基づいて削除され得る。たとえば、入力が第２のデバイスから受信されたときから、または、ユーザが、第１のデバイスによって表示されている第２のデバイスからのコンテンツと対話したときから、しきい値時間量が過ぎた場合、第２のデバイスによって表示されるコンテンツは、第１のデバイス上の表示から削除され得る。表示から第２のデバイスによって表示されるコンテンツを削除することの結果として、仮想コンテンツは、第２のデバイスによって表示されるコンテンツなしに表示される。

[0086] 図１１は、仮想コンテンツを表示するためのプロセス１１００の別の例を示すフローチャートである。ブロック１１０２において、プロセス１１００は、第１のデバイスによって、仮想現実コンテンツを表示することを含む。第１のデバイスは、図１～図５に示されている仮想現実（ＶＲ）ヘッドセット１０２など、ＶＲヘッドセット（たとえば、ＨＭＤまたは他のタイプのＶＲヘッドセット）を含むことができる。

[0087] ブロック１１０４において、プロセス１１００は、第１のデバイスによって、第２のデバイスのカメラによってキャプチャされた１つまたは複数の画像を取得することを含む。第２のデバイスは、図１～図４に示されているモバイルデバイス２０４など、モバイルデバイスを含むことができる。ブロック１１０６において、プロセス１１００は、第１のデバイスによって、仮想コンテンツとともに１つまたは複数の画像を表示することを含む。いくつかの例では、１つまたは複数の画像は、仮想コンテンツ上にオーバーレイされる。たとえば、例示的な例として図４を使用して、モバイルデバイス２０４によってキャプチャされた画像４１８が、仮想コンテンツフレーム４１０とともに表示される。いくつかの例では、１つまたは複数の画像は、第２のデバイスのカメラによってキャプチャされたビデオを含む。いくつかの例では、１つまたは複数の画像は、第２のデバイスのカメラによってキャプチャされた少なくとも１つの静止画像を含む。

[0088] いくつかの実装形態では、プロセス１１００は、第１のデバイスを使用して、仮想コンテンツとともに第２のデバイスの合成表現を表示することを含む。１つまたは複数の画像は、第２のデバイスの合成表現の一部として仮想コンテンツとともに表示され得る。たとえば、１つまたは複数の画像は、第２のデバイスのディスプレイの合成表現内に表示され得る。説明の目的で図４を使用する一例では、モバイルデバイス２０４の合成表現４１４が、モバイルデバイス２０４の実際のディスプレイを表現するディスプレイの合成表現において表示される画像４１８とともに示されている。

[0089] いくつかの例では、プロセス９００、１０００、および／または１１００は、図１２に示されているコンピューティングデバイスアーキテクチャ１２００を有するコンピューティングデバイスなど、コンピューティングデバイスまたは装置によって実施され得る。１つの例示的な例では、（たとえば、プロセス９００、１０００、および／または１１００を実施する）コンピューティングデバイスは、ヘッドマウントディスプレイ（ＨＭＤ）または他のタイプのＸＲヘッドセットなど、エクステンデッドリアリティディスプレイデバイスを含むことができる。

[0090] いくつかの場合には、コンピューティングデバイスまたは装置は、プロセス９００、１０００、および／または１１００のステップを行うように構成された、入力デバイス、出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、および／または（１つまたは複数の）他の構成要素を含み得る。コンピューティングデバイスの構成要素（たとえば、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、および／または他の構成要素）は、回路において実装され得る。たとえば、構成要素は、本明細書で説明される様々な動作を実施するために、１つまたは複数のプログラマブル電子回路（たとえば、マイクロプロセッサ、グラフィックス処理ユニット（ＧＰＵ）、デジタル信号プロセッサ（ＤＳＰ）、中央処理ユニット（ＣＰＵ）、および／または他の好適な電子回路）を含むことができる、電子回路もしくは他の電子ハードウェアを含むことができ、および／またはそれらを使用して実装され得、ならびに／あるいは、コンピュータソフトウェア、ファームウェア、もしくはそれらの任意の組合せを含むことができ、および／またはそれらを使用して実装され得る。コンピューティングデバイスは、（出力デバイスの一例として、または出力デバイスに加えて）ディスプレイ、データを通信および／または受信するように構成されたネットワークインターフェース、それらの任意の組合せ、ならびに／あるいは（１つまたは複数の）他の構成要素をさらに含み得る。ネットワークインターフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信および／または受信するように構成され得る。

[0091] プロセス９００、１０００、および／または１１００は、論理流れ図として示されており、その動作は、ハードウェア、コンピュータ命令、またはそれらの組合せにおいて実施され得る動作のシーケンスを表現する。コンピュータ命令のコンテキストでは、動作は、１つまたは複数のプロセッサによって実行されたとき、具陳された動作を実施する１つまたは複数のコンピュータ可読記憶媒体（computer-readable storage medium）に記憶されたコンピュータ実行可能命令を表現する。概して、コンピュータ実行可能命令は、特定の機能を実施するか、または特定のデータタイプを実装する、ルーチン、プログラム、オブジェクト、構成要素、データ構造などを含む。動作が説明される順序は、限定として解釈されるものではなく、任意の数の説明される動作は、プロセスを実装するために任意の順序でおよび／または並行して組み合わせられ得る。

[0092] さらに、プロセス９００、１０００、および／または１１００は、実行可能命令で構成された１つまたは複数のコンピュータシステムの制御下で実施され得、まとめて１つまたは複数のプロセッサ上で、ハードウェアによって、またはそれらの組合せで実行するコード（たとえば、実行可能命令、１つまたは複数のコンピュータプログラム、または１つまたは複数のアプリケーション）として実装され得る。上述のように、コードは、たとえば、１つまたは複数のプロセッサによって実行可能な複数の命令を備えるコンピュータプログラムの形態で、コンピュータ可読または機械可読記憶媒体に記憶され得る。コンピュータ可読または機械可読記憶媒体は非一時的であり得る。

[0093] 図１２は、本明細書で説明される様々な技法を実装することができる例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャ１２００を示す。バスなどの接続１２０５を使用して互いと電気通信している、コンピューティングデバイスアーキテクチャ１２００の構成要素が示されている。例示的なコンピューティングデバイスアーキテクチャ１２００は、処理ユニット（ＣＰＵまたはプロセッサ）１２１０とコンピューティングデバイス接続１２０５とを含み、コンピューティングデバイス接続１２０５は、読取り専用メモリ（ＲＯＭ）１２２０およびランダムアクセスメモリ（ＲＡＭ）１２２５など、コンピューティングデバイスメモリ１２１５を含む様々なコンピューティングデバイス構成要素を、プロセッサ１２１０に結合する。

[0094] コンピューティングデバイスアーキテクチャ１２００は、プロセッサ１２１０と直接接続された、プロセッサ１２１０に極めて近接した、またはプロセッサ１２１０の一部として統合された、高速メモリのキャッシュを含むことができる。コンピューティングデバイスアーキテクチャ１２００は、プロセッサ１２１０による迅速なアクセスのために、メモリ１２１５および／または記憶デバイス１２３０からキャッシュ１２１２にデータをコピーすることができる。このようにして、キャッシュは、データを待機する間のプロセッサ１２１０遅延を回避する性能の向上を提供することができる。これらのモジュールおよび他のモジュールは、様々なアクションを実施するために、プロセッサ１２１０を制御することができ、またはプロセッサ１２１０を制御するように構成され得る。他のコンピューティングデバイスメモリ１２１５も、使用のために利用可能であり得る。メモリ１２１５は、異なる性能特性をもつ、複数の異なるタイプのメモリを含むことができる。プロセッサ１２１０は、任意の汎用プロセッサ、ならびに、プロセッサ１２１０を制御するように構成された、記憶デバイス１２３０に記憶されたサービス１ １２３２、サービス２ １２３４、およびサービス３ １２３６などの、ハードウェアまたはソフトウェアサービス、ならびにソフトウェア命令がプロセッサ設計に組み込まれる専用プロセッサを含むことができる。プロセッサ１２１０は、複数のコアまたはプロセッサと、バスと、メモリコントローラと、キャッシュなどとを含んでいる、自己完結型システムであり得る。マルチコアプロセッサは、対称的または非対称的であり得る。

[0095] コンピューティングデバイスアーキテクチャ１２００とのユーザ対話を可能にするために、入力デバイス１２４５は、音声のためのマイクロフォン、ジェスチャーまたはグラフィカル入力のためのタッチセンシティブスクリーン、キーボード、マウス、動き入力、音声など、任意の数の入力機構を表現することができる。出力デバイス１２３５も、ディスプレイ、プロジェクタ、テレビジョン、スピーカーデバイスなど、当業者に知られているいくつかの出力機構のうちの１つまたは複数であり得る。いくつかの事例では、マルチモーダルコンピューティングデバイスは、ユーザが、コンピューティングデバイスアーキテクチャ１２００と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インターフェース１２４０は、概して、ユーザ入力およびコンピューティングデバイス出力を統制および管理することができる。任意の特定のハードウェア構成上で動作することに対する制限はなく、したがって、ここでの基本的特徴は、改善されたハードウェア構成またはファームウェア構成が開発されるにつれて、それらで容易に代用され得る。

[0096] 記憶デバイス１２３０は、不揮発性メモリであり、磁気カセット、フラッシュメモリカード、固体メモリデバイス、デジタル多用途ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）１２２５、読取り専用メモリ（ＲＯＭ）１２２０、およびそれらのハイブリッドなど、コンピュータによってアクセス可能であるデータを記憶することができるハードディスクまたは他のタイプのコンピュータ可読媒体であり得る。記憶デバイス１２３０は、プロセッサ１２１０を制御するためのサービス１２３２、１２３４、１２３６を含むことができる。他のハードウェアモジュールまたはソフトウェアモジュールが企図される。記憶デバイス１２３０は、コンピューティングデバイス接続１２０５に接続され得る。一態様では、特定の機能を実施するハードウェアモジュールは、その機能を行うために、プロセッサ１２１０、接続１２０５、出力デバイス１２３５など、必要なハードウェア構成要素に関して、コンピュータ可読媒体に記憶されたソフトウェア構成要素を含むことができる。

[0097] 本開示の技法は、必ずしもワイヤレス適用例または設定に限定されるとは限らない。本技法は、オーバージエアテレビジョン放送、ケーブルテレビジョン送信、衛星テレビジョン送信、動的適応ストリーミングオーバーＨＴＴＰ（ＤＡＳＨ）などのインターネットストリーミングビデオ送信、データ記憶媒体上に符号化されたデジタルビデオ、データ記憶媒体に記憶されたデジタルビデオの復号、または他の適用例など、様々なマルチメディア適用例のいずれかをサポートするビデオコーディングに適用され得る。いくつかの例では、システムは、ビデオストリーミング、ビデオ再生、ビデオブロードキャスティング、および／またはビデオテレフォニーなどの適用例をサポートするために、一方向または双方向のビデオ送信をサポートするように構成され得る。

[0098] 本明細書で使用される「コンピュータ可読媒体」という用語は、限定はしないが、ポータブルまたは非ポータブル記憶デバイス、光記憶デバイス、ならびに（１つまたは複数の）命令および／またはデータを記憶、含有、または担持することが可能な様々な他の媒体を含む。コンピュータ可読媒体は、データがそこに記憶され得る非一時的媒体を含み得、それは、ワイヤレスにまたはワイヤード接続を介して伝搬する搬送波および／または一時的電子信号を含まない。非一時的媒体の例は、限定はしないが、磁気ディスクまたはテープ、コンパクトディスク（ＣＤ）またはデジタル多用途ディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスを含み得る。コンピュータ可読媒体は、プロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、あるいは命令、データ構造、またはプログラムステートメントの任意の組合せを表現し得るコードおよび／または機械実行可能命令をその上に記憶していることがある。コードセグメントは、情報、データ、引数、パラメータ、またはメモリ内容をパスおよび／または受信することによって、別のコードセグメントまたはハードウェア回路に結合され得る。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク送信などを含む、任意の好適な手段を介してパス、フォワーディング、または送信され得る。

[0099] いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびメモリは、ビットストリームなどを含んでいるケーブル信号またはワイヤレス信号を含むことができる。しかしながら、述べられるとき、非一時的コンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明確に除外する。

[0100] 本明細書で提供される実施形態および例の完全な理解を与えるために、具体的な詳細が上記の説明で与えられる。ただし、実施形態はこれらの具体的な詳細なしに実施され得ることを当業者は理解されよう。説明の明快のために、いくつかの事例では、本技術は、デバイス、デバイス構成要素、ソフトウェアで具現される方法におけるステップまたはルーチン、あるいはハードウェアとソフトウェアとの組合せを備える機能ブロックを含む個々の機能ブロックを含むものとして提示され得る。図に示されているおよび／または本明細書で説明される構成要素以外の追加の構成要素が使用され得る。たとえば、回路、システム、ネットワーク、プロセス、および他の構成要素は、実施形態を不要な詳細で不明瞭にしないためにブロック図の形態で構成要素として示され得る。他の事例では、実施形態を不明瞭にすることを回避するために、よく知られている回路、プロセス、アルゴリズム、構造、および技法が不要な詳細なしに示され得る。

[0101] 個々の実施形態は、フローチャート、流れ図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として、上記で説明され得る。フローチャートは動作を逐次プロセスとして説明することがあるが、動作の多くは並行してまたは同時に実施され得る。さらに、動作の順序は並べ替えられ得る。それの動作が完了されるとき、プロセスは終了されるが、図中に含まれない追加のステップを有し得る。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応し得る。プロセスが関数に対応するとき、それの終了は呼出し関数またはメイン関数への関数の復帰に対応することができる。

[0102] 上記で説明された例によるプロセスおよび方法は、記憶されるかまたはさもなければコンピュータ可読媒体から利用可能である、コンピュータ実行可能命令を使用して実装され得る。そのような命令は、たとえば、汎用コンピュータ、専用コンピュータ、または処理デバイスが、ある機能または機能のグループを実施することを引き起こすか、あるいはさもなければそれらを実施するように構成する、命令とデータとを含むことができる。使用されるコンピュータリソースの一部分が、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、たとえば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであり得る。命令、使用される情報、および／または説明される例による方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例は、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク化された記憶デバイスなどを含む。

[0103] これらの開示によるプロセスおよび方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組合せを含むことができ、様々なフォームファクタのいずれかをとることができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装されるとき、必要なタスクを実施するためのプログラムコードまたはコードセグメント（たとえば、コンピュータプログラム製品）は、コンピュータ可読または機械可読媒体に記憶され得る。（１つまたは複数の）プロセッサが、必要なタスクを実施し得る。フォームファクタの一般的な例は、ラップトップ、スマートフォン、モバイルフォン、タブレットデバイスまたは他のスモールフォームファクタパーソナルコンピュータ、携帯情報端末、ラックマウント（rackmount）デバイス、スタンドアロンデバイスなどを含む。本明細書で説明される機能はまた、周辺機器またはアドインカードで具現され得る。そのような機能はまた、さらなる例として、単一のデバイスにおいて実行する異なるチップまたは異なるプロセスの間で回路板上に実装され得る。

[0104] 命令、そのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、およびそのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための例示的な手段である。

[0105] 上記の説明では、本出願の態様がそれの特定の実施形態を参照しながら説明されたが、本出願はそれに限定されないことを、当業者は認識されよう。したがって、本出願の例示的な実施形態が本明細書で詳細に説明されているが、従来技術によって限定される場合を除いて、発明的概念が、場合によっては様々に実施および採用され得、添付の特許請求の範囲が、そのような変形形態を含むように解釈されるものであることを理解されたい。上記で説明された適用例の様々な特徴および態様は、個々にまたは一緒に使用され得る。さらに、実施形態は、本明細書のより広い趣旨および範囲から逸脱することなく、本明細書で説明された環境および適用例以外に、任意の数の環境および適用例において利用され得る。したがって、本明細書および図面は、限定的なものではなく例示的なものとして考慮されるべきである。説明の目的で、方法は特定の順序で説明された。代替実施形態では、方法は、説明された順序とは異なる順序で実施され得ることを諒解されたい。

[0106] 本明細書で使用される、よりも小さい（「＜」）、および、よりも大きい（「＞」）のシンボルまたは専門用語は、本明細書の範囲から逸脱することなく、それぞれ、よりも小さいかまたはそれに等しい（「≦」）、および、よりも大きいかまたはそれに等しい（「≧」）のシンボルと置き換えられ得ることを、当業者は諒解されよう。

[0107] 構成要素が、ある動作を実施する「ように構成されて」いるものとして説明される場合、そのような構成は、たとえば、動作を実施するように電子回路または他のハードウェアを設計することによって、動作を実施するようにプログラマブル電子回路（たとえば、マイクロプロセッサ、または他の好適な電子回路）をプログラムすることによって、またはそれらの任意の組合せによって、達成され得る。

[0108] 「に結合された」という句は、直接的にまたは間接的に、のいずれかで別の構成要素に物理的に接続された任意の構成要素、および／あるいは直接的にまたは間接的に、のいずれかで別の構成要素と通信している（たとえば、ワイヤードまたはワイヤレス接続および／あるいは他の好適な通信インターフェースを介して他の構成要素に接続された）任意の構成要素を指す。

[0109] セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つまたは複数」を具陳するクレームの文言または他の文言は、セットのうちの１つのメンバーまたは（任意の組合せにおける）セットのうちの複数のメンバーがクレームを満たすことを示す。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味する。別の例では、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、Ｃ、またはＡおよびＢ、またはＡおよびＣ、またはＢおよびＣ、またはＡおよびＢおよびＣを意味する。セット「のうちの少なくとも１つ」、および／またはセットのうちの「１つまたは複数」という文言は、セットを、セットに記載されている項目に限定しない。たとえば、「ＡおよびＢのうちの少なくとも１つ」を具陳するクレームの文言は、Ａ、Ｂ、またはＡおよびＢを意味することができ、さらに、ＡおよびＢのセットに記載されていない項目を含むことができる。

[0110] 本明細書で開示される実施形態に関して説明された様々な例示的な論理ブロック、モジュール、回路、およびアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組合せとして実装され得る。ハードウェアとソフトウェアのこの互換性を明確に示すために、様々な例示的な構成要素、ブロック、モジュール、回路、およびステップが、概してそれらの機能に関して上記で説明された。そのような機能がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。当業者は、説明される機能を特定の適用例ごとに様々な方法で実装し得るが、そのような実装の決定は、本出願の範囲からの逸脱を生じるものと解釈されるべきではない。

[0111] 本明細書で説明された技法はまた、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。そのような技法は、汎用コンピュータ、ワイヤレス通信デバイスハンドセット、またはワイヤレス通信デバイスハンドセットおよび他のデバイスにおける適用を含む複数の用途を有する集積回路デバイスなど、様々なデバイスのいずれかにおいて実装され得る。モジュールまたは構成要素として説明された特徴は、集積論理デバイスに一緒に、または個別であるが相互運用可能な論理デバイスとして別個に実装され得る。ソフトウェアで実装された場合、本技法は、実行されたとき、上記で説明された方法のうちの１つまたは複数を実施する命令を含むプログラムコードを備えるコンピュータ可読データ記憶媒体によって、少なくとも部分的に実現され得る。コンピュータ可読データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成し得る。コンピュータ可読媒体は、同期型ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気消去可能プログラマブル読取り専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュメモリ、磁気または光学データ記憶媒体など、メモリまたはデータ記憶媒体を備え得る。本技法は、追加または代替として、伝搬信号または電波など、命令またはデータ構造の形態でプログラムコードを搬送または伝達し、コンピュータによってアクセスされ、読み取られ、および／または実行され得るコンピュータ可読通信媒体によって、少なくとも部分的に実現され得る。

[0112] プログラムコードは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブル論理アレイ（ＦＰＧＡ）、または他の等価の集積回路またはディスクリート論理回路など、１つまたは複数のプロセッサを含み得るプロセッサによって実行され得る。そのようなプロセッサは、本開示で説明された技法のいずれかを実施するように構成され得る。汎用プロセッサはマイクロプロセッサであり得るが、代替として、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械であり得る。プロセッサはまた、コンピューティングデバイスの組合せ、たとえば、ＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連携する１つまたは複数のマイクロプロセッサ、または任意の他のそのような構成として実装され得る。したがって、本明細書で使用される「プロセッサ」という用語は、上記の構造、上記の構造の任意の組合せ、あるいは本明細書で説明された技法の実装に好適な他の構造または装置のいずれかを指すことがある。さらに、いくつかの態様では、本明細書で説明された機能は、符号化および復号のために構成された専用のソフトウェアモジュールまたはハードウェアモジュール内に提供され得、あるいは複合ビデオエンコーダ／デコーダ（コーデック）に組み込まれ得る。

Claims (33)

1. 第１のデバイスによって、仮想現実コンテンツを表示することと、
   前記第１のデバイスによって、第２のデバイスの合成表現を取得することと、
   前記第１のデバイスによって、前記仮想現実コンテンツとともに前記第２のデバイスの前記合成表現を表示することと、
   前記第１のデバイスによって、前記第２のデバイスの機能の変更を要求する入力を受信することと、
   前記第１のデバイスによって受信された前記入力に基づいて、前記第２のデバイスの前記合成表現の変更を表示することと、前記第２のデバイスの前記合成表現の前記変更が、前記第２のデバイスの機能の前記変更を表現する、
   を備える方法。
2. 前記第２のデバイスの前記合成表現が、前記第２のデバイスのディスプレイの合成表現を含み、ここにおいて、前記第２のデバイスによって表示されるコンテンツが、前記第２のデバイスの前記ディスプレイの前記合成表現において表示される、請求項１に記載の方法。
3. 前記第１のデバイスによって、前記第２のデバイスによって処理された１つまたは複数の入力の指示を受信することと、
   前記第２のデバイスによって処理された前記１つまたは複数の入力の前記指示に基づいて、前記第２のデバイスの前記合成表現の追加の変更を表示することと、前記第２のデバイスの前記合成表現の前記追加の変更が、前記第２のデバイスの機能の追加の変更を表現する、
   をさらに備える、請求項１に記載の方法。
4. 前記第２のデバイスの前記合成表現が、前記仮想現実コンテンツ上にオーバーレイされる、請求項１に記載の方法。
5. 前記第１のデバイスが、仮想現実ヘッドマウントディスプレイを含む、請求項１に記載の方法。
6. 前記第２のデバイスが、モバイルデバイスを含む、請求項１に記載の方法。
7. 前記第１のデバイスによって、前記第２のデバイスからオーディオコンテンツを取得することと、
   前記第１のデバイスによって、前記第２のデバイスからの前記オーディオコンテンツを再生することと
   をさらに備える、請求項１に記載の方法。
8. 前記第１のデバイスによって、前記第２のデバイスのマイクロフォンによってキャプチャされたオーディオコンテンツを取得することと、
   前記第１のデバイスによって、前記オーディオコンテンツを再生することと
   をさらに備える、請求項１に記載の方法。
9. 前記第１のデバイスによって、前記第２のデバイスのカメラによってキャプチャされた１つまたは複数の画像を取得することと、
   前記第１のデバイスによって、前記仮想現実コンテンツとともに前記１つまたは複数の画像を表示することと
   をさらに備える、請求項１に記載の方法。
10. 前記１つまたは複数の画像が、前記第２のデバイスの前記カメラによってキャプチャされたビデオの一部である、請求項９に記載の方法。
11. 前記１つまたは複数の画像が、前記第２のデバイスの前記合成表現の一部として前記仮想現実コンテンツとともに表示される、請求項９に記載の方法。
12. 前記１つまたは複数の画像が、前記第２のデバイスのディスプレイの合成表現内に表示される、請求項９に記載の方法。
13. 前記第１のデバイスによって、前記第２のデバイスのマイクロフォンによってキャプチャされたオーディオコンテンツを取得することと、
    前記第１のデバイスによって、前記仮想現実コンテンツとともに前記１つまたは複数の画像を表示する間、前記オーディオコンテンツを再生することと
    をさらに備える、請求項９に記載の方法。
14. トリガを受信することと、
    前記トリガを受信したことに基づいて、前記仮想現実コンテンツとともに前記第２のデバイスの前記合成表現を表示することと
    をさらに備える、請求項１に記載の方法。
15. 前記トリガが、前記第２のデバイスから受信された情報に基づく、請求項１４に記載の方法。
16. 削除トリガを受信することと、
    前記トリガを受信したことに基づいて、前記第１のデバイスによって、表示から前記第２のデバイスの前記合成表現を削除することと
    をさらに備える、請求項１に記載の方法。
17. 表示のためのコンテンツを記憶するように構成されたメモリ、
    回路において実装され、前記メモリに結合された１つまたは複数のプロセッサ
    を備える装置であって、前記１つまたは複数のプロセッサは、
    仮想現実コンテンツをディスプレイ上に表示させることと、
    デバイスの合成表現を取得することと、
    前記デバイスの前記合成表現を前記ディスプレイ上に前記仮想現実コンテンツとともに表示させることと、
    前記デバイスの機能の変更を要求する入力を受信することと、
    前記受信された入力に基づいて、前記デバイスの前記合成表現の変更を前記ディスプレイ上に表示させることと、前記デバイスの前記合成表現の前記変更が、前記デバイスの機能の前記変更を表現する、
    を行うように構成された、装置。
18. 前記デバイスの前記合成表現が、前記デバイスのディスプレイの合成表現を含み、ここにおいて、前記デバイスによって表示されるコンテンツが、前記デバイスの前記ディスプレイの前記合成表現において表示される、請求項１７に記載の装置。
19. 前記１つまたは複数のプロセッサは、
    前記デバイスによって処理された１つまたは複数の入力の指示を受信することと、
    前記デバイスによって処理された前記１つまたは複数の入力の前記指示に基づいて、前記デバイスの前記合成表現の追加の変更を前記ディスプレイ上に表示させることと、前記デバイスの前記合成表現の前記追加の変更が、前記デバイスの機能の追加の変更を表現する、
    を行うように構成された、請求項１７に記載の装置。
20. 前記デバイスの前記合成表現が、前記仮想現実コンテンツ上にオーバーレイされる、請求項１７に記載の装置。
21. 前記装置が、仮想現実ヘッドマウントディスプレイを含み、前記仮想現実ヘッドマウントディスプレイが、前記ディスプレイを含む、請求項１７に記載の装置。
22. 前記デバイスが、モバイルデバイスを含む、請求項１７に記載の装置。
23. 前記１つまたは複数のプロセッサが、
    前記デバイスからオーディオコンテンツを取得することと、
    前記デバイスからの前記オーディオコンテンツを再生することと
    を行うように構成された、請求項１７に記載の装置。
24. 前記１つまたは複数のプロセッサが、
    前記デバイスのマイクロフォンによってキャプチャされたオーディオコンテンツを取得することと、
    前記オーディオコンテンツを再生することと
    を行うように構成された、請求項１７に記載の装置。
25. 前記１つまたは複数のプロセッサが、
    前記デバイスのカメラによってキャプチャされた１つまたは複数の画像を取得することと、
    前記１つまたは複数の画像を前記仮想現実コンテンツとともに表示させることと
    を行うように構成された、請求項１７に記載の装置。
26. 前記１つまたは複数の画像が、前記デバイスの前記カメラによってキャプチャされたビデオの一部である、請求項２５に記載の装置。
27. 前記１つまたは複数の画像が、前記デバイスの前記合成表現の一部として前記仮想現実コンテンツとともに表示される、請求項２５に記載の装置。
28. 前記１つまたは複数の画像が、前記デバイスのディスプレイの合成表現内に表示される、請求項２５に記載の装置。
29. 前記１つまたは複数のプロセッサは、
    前記デバイスのマイクロフォンによってキャプチャされたオーディオコンテンツを取得することと、
    前記１つまたは複数の画像が前記仮想現実コンテンツとともに表示される間、前記オーディオコンテンツを再生することと
    を行うように構成された、請求項２５に記載の装置。
30. 前記１つまたは複数のプロセッサが、
    トリガを受信することと、
    前記トリガを受信したことに基づいて、前記デバイスの前記合成表現を前記仮想現実コンテンツとともに表示させることと
    を行うように構成された、請求項１７に記載の装置。
31. 前記トリガが、前記デバイスから受信された情報に基づく、請求項３０に記載の装置。
32. 前記１つまたは複数のプロセッサが、
    削除トリガを受信することと、
    前記トリガを受信したことに基づいて、前記デバイスの前記合成表現を前記ディスプレイによる表示から削除させることと
    を行うように構成された、請求項１７に記載の装置。
33. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、実行されたとき、第１のデバイスの１つまたは複数のプロセッサに、
    仮想現実コンテンツを前記第１のデバイスによって表示させることと、
    前記第１のデバイスによって、第２のデバイスの合成表現を取得することと、
    前記第２のデバイスの前記合成表現を前記仮想現実コンテンツとともに表示させることと、
    前記第１のデバイスによって、前記第２のデバイスの機能の変更を要求する入力を受信することと、
    前記第１のデバイスによって受信された前記入力に基づいて、前記第２のデバイスの前記合成表現の変更を前記第１のデバイスによって表示させることと、前記第２のデバイスの前記合成表現の前記変更が、前記第２のデバイスの機能の前記変更を表現する、
    を行わせる、コンピュータ可読記憶媒体。

Images