JP2020518321A - Ｖｒ環境への第２の画面の仮想ウィンドウ - Google Patents

Abstract

【解決手段】仮想現実プレーヤの仮想現実環境を観覧する方法は、観覧者のハンドヘルドデバイスにより、ヘッドマウントディスプレイを使用する仮想現実プレーヤに提示される仮想現実環境を実行するコンピュータと、接続を確立する。ハンドヘルドデバイスの第１カメラは、現実世界空間内の仮想現実プレーヤの現在位置を取り込む。ハンドヘルドデバイスの第２カメラは、観覧者の顔の位置が取り込む。ハンドヘルドデバイスの画面に対する視野方向を特定するために顔の位置を監視する。画面は、仮想現実環境と仮想現実環境内でインタラクトする仮想現実プレーヤとを提示する。コンピュータはハンドヘルドデバイスの現在位置及び観覧者の顔の位置を継続的に共有する。現実世界における仮想現実プレーヤの現在位置と画面に対する観覧者の視野方向とに合わせて調整された、仮想現実プレーヤを含む仮想現実環境の映像ストリームをコンピュータから受信する。【選択図】図５

Description

本開示は、ヘッドマウントディスプレイ（ＨＭＤ）に提示される仮想現実（ＶＲ）環境コンテンツ、及び現実世界空間で観覧者が使用する第２の画面上で、ＶＲプレーヤがインタラクトするＶＲ環境に関連するコンテンツを提示する方法に関する。

ビデオゲーム産業は、長年にわたり数多くの変化を経験している。演算能力が拡張したことにより、ビデオゲームの開発者も同様に、この演算能力の向上を活用したゲームソフトウェアを製作している。この目的に向かって、ビデオゲーム開発者は、高度な動作及び計算を組み込んだゲームをコーディングして、非常に詳細で魅力的なゲーム体験を生み出している。

例示的なゲームプラットフォームには、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ３（登録商標）（ＰＳ３）、及びＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ４（登録商標）（ＰＳ４）が挙げられ、それぞれがゲーム機の形態で販売されている。周知のように、ゲーム機は、ディスプレイ（通常はテレビ）に接続して、ハンドヘルドコントローラを介してユーザインタラクションを可能にするように設計されている。ゲーム機は、ＣＰＵを含む特別処理ハードウェア、集中的なグラフィック動作を処理するグラフィックシンセサイザ、ジオメトリ変換を行うベクトルユニット、並びに他のグルーハードウェア、ファームウェア及びソフトウェアで設計されている。ゲーム機はさらに、ゲーム機を介したローカルプレイ用のゲームディスクを受け取る光ディスクリーダーを有するように設計され得る。オンラインゲームも可能であり、ユーザはインターネットを介して、他のユーザに対して、または他のユーザと共に、インタラクティブにプレイすることができる。ゲームの複雑さがプレーヤを魅了し続けているため、ゲーム及びハードウェアの製造業者は、さらなるインタラクティビティ及びコンピュータプログラムを可能にするために革新し続けている。

コンピュータゲーム産業において成長傾向にあるのが、ユーザとゲームシステム間のインタラクションを増やすゲームの開発である。より豊かなインタラクティブ体験を達成する１つの方法として、ワイヤレスゲームコントローラの使用があり、プレーヤの動きを追跡して、その動きをゲームへの入力として使用するために、ゲームシステムによりワイヤレスゲームコントローラの動きが追跡される。一般にジェスチャ入力は、コンピューティングシステム、ビデオゲーム機、スマート家電などの電子デバイスを用いて、電子デバイスが取り込んだプレーヤのあるジェスチャに反応することを指す。

さらに臨場感のあるインタラクティブ体験を達成する別の方法として、ヘッドマウントディスプレイの使用がある。ヘッドマウントディスプレイは、ユーザにより装着され、仮想空間のビューなど、様々なグラフィックを提示するように構成され得る。ヘッドマウントディスプレイ上で提示されるグラフィックは、ユーザの視野の大部分または全視野まで及ぶことができる。よって、ヘッドマウントディスプレイは、視覚的に臨場感のある体験をユーザに提供することができる。

このような背景において、本開示の実施形態は生じる。

本開示の実施態様は、ＨＭＤユーザが遭遇している、見ている、及び／またはインターフェースしている仮想現実環境及びコンテンツを観覧することを可能にするために使用される方法及びシステムを含む。

いくつかの構成では、ＡＲ／ＶＲ用の「ウィンドウ効果」が提供される。一構成では、ユーザ／観覧者のデバイスは、ポータブルデバイスの画面（すなわち第２の画面）を見ているユーザの頭部を追跡し、ユーザデバイスの画面上に、ウィンドウからのぞく効果に似た効果が生成される。例えば、ユーザが画面を自分の顔に近づけてポータブルデバイスの画面をのぞき込むと、ＶＲ環境をより多く見ることができる。ユーザがデバイスを自分の顔に対しある角度で動かすと、ユーザの視野方向で異なるコンテンツまたはズームを映し出す、例えばビューの視錐台を調節したＶＲ環境内の画像が、ユーザに提供される。

一構成では、ＶＲプレーヤのビュー（すなわちＶＲ内にＶＲプレーヤが現れるビュー）を見るために、観覧者／第２のプレーヤが使用する追跡画面上でウィンドウ効果の使用が実行され得、観覧者／第２のプレーヤは、実物の自分の頭を画面に近づけてのぞきこむと、ウィンドウ効果を通してさらに詳細を見ることができる。

いくつかの構成では、追跡画面は提供されるが、主要プレーヤ（例えば第２のプレーヤ／観覧者ではなくＶＲプレーヤ）が追跡画面を保持し、ＶＲプレーヤはＶＲ内で画面を見て、ＶＲプレーヤが追跡画面を見ながら頭部を周りに動かすと、ウィンドウ効果が適用される。いくつかの実施形態では、追跡画面は、追跡される電話またはタブレットである。

一構成では、第２の画面は、ＶＲ環境への一種の仮想ウィンドウを提供し、ＶＲ環境内のビューは、観覧者が自分の目または顔に対し第２の画面を保持することにより、制御可能である。いくつかの構成では、デバイスの前面カメラは、ＶＲプレーヤまたはＶＲプレーヤの周りの空間を捉えているが、デバイスの第２の画面の位置を特定するために、自撮りカメラにより観覧者の目または顔が追跡される。この構成により、ＶＲプレーヤの観覧者が１つ以上の第２の画面を取り扱うことを可能にするシステムが提供される。観覧者は、ＶＲプレーヤがまだ見ていないかもしれないＶＲプレーヤの周りの領域を見ることができるため、観覧者はＶＲプレーヤを支援することができる。一構成では、観覧者は、ＶＲプレーヤのＶＲ環境内でインタラクトすることができる追加プレーヤになることができる。

一実施形態では、仮想現実プレーヤの仮想現実環境を観覧する方法が開示される。方法は、観覧者のハンドヘルドデバイスにより、ヘッドマウントディスプレイ（ＨＭＤ）を使用する仮想現実プレーヤに提示される仮想現実環境を実行するコンピュータと、接続を確立することを含む。ハンドヘルドデバイスの第１のカメラにより、現実世界空間内の仮想現実プレーヤの現在位置が取り込まれる。ハンドヘルドデバイスの第２のカメラにより、観覧者の顔の位置が取り込まれる。顔の位置は、ハンドヘルドデバイスの画面に対する視野方向を特定するために監視される。ハンドヘルドデバイスの画面は、仮想現実環境と、仮想現実環境内でインタラクトする仮想現実プレーヤの少なくとも一部とを提示するように構成される。ハンドヘルドデバイスの現在位置、及び観覧者の顔の位置は、仮想現実プレーヤに提示される仮想現実環境を実行するコンピュータに、継続的に共有される。次に方法は、現実世界における仮想現実プレーヤの現在位置と、ハンドヘルドデバイスの画面に対する観覧者の視野方向とに合わせて調整された、仮想現実プレーヤの少なくとも一部を含む仮想現実環境の映像ストリームを、コンピュータから受信することを可能にする。

いくつかの実施形態では、継続的に共有される観覧者の顔の位置を使用して、観覧者の顔と画面との間の距離の変化が特定される。

いくつかの実施形態では、方法は、特定された距離の変化に基づいて、仮想現実環境の受信映像ストリームにおいてズームインまたはズームアウト画像を受信することを含む。一実施形態では、ユーザのハンドヘルドデバイスの正面と、ユーザの顔との間の距離が測定される。ユーザが遠くに手を伸ばすと、仮想現実環境内の画像ビューは拡大される。逆に、ユーザがハンドヘルドデバイスを自分の顔に近づけると、ビューはズームアウトされ、ハンドヘルドデバイスの前面カメラが向けられている領域の周りの空間がより多く映し出される。

いくつかの実施形態では、観覧者の顔と画面との間の距離が遠くなると、当該ズームイン処理が行われ、観覧者の顔と画面との間の距離が近くなると、当該ズームアウト処理が行われる。

いくつかの実施形態では、現実世界空間における仮想現実プレーヤの現在位置を使用して、ＨＭＤの視野方向が特定され、コンピュータはＨＭＤの視野方向を使用して、ＨＭＤに提供されるビューを、仮想現実プレーヤがＨＭＤを使用して制御したビューに近づける。

いくつかの実施形態では、ハンドヘルドデバイスの画面に対する視野方向を特定するために、観覧者の目が追跡され、ハンドヘルドデバイスの第２のカメラを使用して目の視線が追跡される。

いくつかの実施形態では、仮想現実プレーヤの周りにいる観覧者によるハンドヘルドデバイスの動きにより、ハンドヘルドデバイスの画面上に提示された映像ストリームにより提供されるビューが更新される。

いくつかの実施形態では、当該ビュー更新により、仮想現実環境の周りの３６０度ビューが可能となり、当該動きにより、仮想現実プレーヤを除く仮想現実環境の領域を見ることが可能となる。

いくつかの実施形態では、仮想現実プレーヤは、仮想現実環境とインタラクトするキャラクタとして、仮想現実環境内でレンダリングされる。

いくつかの実施形態では、当該継続的共有は、当該接続を介して可能であり、接続は、ハンドヘルドデバイスの第１のカメラ及び第２のカメラを使用して取り込まれた画像のストリームを、コンピュータに送信するように構成された無線接続である。

いくつかの実施形態では、当該コンピュータは、画像ストリームを分析して、ハンドヘルドデバイスの現在位置に対する現実世界空間内の仮想現実プレーヤの現在位置を特定するように構成される。ハンドヘルドデバイスの画面に提供される映像ストリームにより、ＨＭＤを使用して提示される仮想環境内を見ることが可能となり、ハンドヘルドデバイスを介して仮想現実環境内を見ることは、ハンドヘルドデバイスの動きにより制御され、ＨＭＤを介して仮想現実環境内を見ることは、仮想現実プレーヤによるＨＭＤの動きにより独立して制御される。

いくつかの実施形態では、観覧者によるハンドヘルドデバイスの動きにより、仮想現実環境内に描かれた仮想現実プレーヤの上、下、及び周りを見ることが可能となる。

いくつかの実施形態では、ハンドヘルドデバイスの動きは、現実世界空間内の仮想現実プレーヤの現在位置に相対するものであり、ハンドヘルドデバイスの動きにより、仮想現実環境内のオブジェクトは、ハンドヘルドデバイスが観覧者の顔に近づくとパンアウトビューで、ハンドヘルドデバイスが観覧者の顔から離れるとパンインビューで、見ることが可能となる。

一実施形態では、仮想現実プレーヤの仮想現実環境を観覧する方法が開示される。方法は、コンピュータを介して仮想現実環境を実行することと、コンピュータと観覧者のハンドヘルドデバイスとの間の接続を確立することとを含む。仮想現実環境は、ヘッドマウントディスプレイ（ＨＭＤ）を使用して仮想現実プレーヤに提示され、次いで、現実世界空間内の仮想現実プレーヤの第１の位置を特定するための画像データが受信される。画像データは、ハンドヘルドデバイスの第１のカメラにより取り込まれる。方法は、観覧者の顔の位置を特定するための画像データを受信して、第２のカメラを使用してハンドヘルドデバイスの画面に対する視野方向を特定することを含む。ハンドヘルドデバイスの画面は、仮想現実環境と、仮想現実環境内でインタラクトする仮想現実プレーヤの少なくとも一部とを提示するように構成される。ハンドヘルドデバイスの現在位置、及び観覧者の顔の位置は、仮想現実プレーヤに提示される仮想現実環境を実行するコンピュータにより、継続的に受信される。方法は、現実世界における仮想現実プレーヤの現在位置と、ハンドヘルドデバイスの画面に対する観覧者の視野方向とに合わせて調整された、仮想現実プレーヤの少なくとも一部を含む仮想現実環境の映像ストリームを、ハンドヘルドデバイスに送信することを含む。

いくつかの実施形態では、継続的に受信される観覧者の顔の位置を使用して、観覧者の顔と画面との間の距離の変化が特定される。次に、特定された距離の変化に基づいて、仮想現実環境の送信映像ストリームのために、ズームインまたはズームアウト画像が送信される。

いくつかの実施形態では、観覧者の顔と画面との間の距離が遠くなると、当該ズームイン処理が行われ、観覧者の顔と画面との間の距離が近くなると、当該ズームアウト処理が行われる。

いくつかの実施形態では、現実世界空間における仮想現実プレーヤの現在位置を使用して、ＨＭＤの視野方向が特定され、コンピュータはＨＭＤの視野方向を使用して、ＨＭＤに提供されるビューを、仮想現実プレーヤがＨＭＤを使用して制御したビューに近づける。

いくつかの実施形態では、ハンドヘルドデバイスの画面に対する視野方向を特定するために、観覧者の目が追跡され、ハンドヘルドデバイスの第２のカメラを使用して目の視線が追跡される。

いくつかの実施形態では、コンピュータは、画像ストリームを分析して、ハンドヘルドデバイスの現在位置に対する現実世界空間内の仮想現実プレーヤの現在位置を特定するように構成されており、その結果、ハンドヘルドデバイスの画面に提供される映像ストリームにより、ＨＭＤを使用して提示される仮想環境内を見ることが可能となり、よって、ハンドヘルドデバイスを介して仮想現実環境内を見ることは、ハンドヘルドデバイスの動きにより制御され、ＨＭＤを介して仮想現実環境内を見ることは、仮想現実プレーヤによるＨＭＤの動きにより独立して制御される。

いくつかの実施形態では、仮想現実プレーヤは、仮想現実環境とインタラクトするキャラクタとして、仮想現実環境内でレンダリングされ、当該継続的受信は、当該接続を介して可能であり、接続は、ハンドヘルドデバイスの第１のカメラ及び第２のカメラを使用して取り込まれた画像のストリームを、コンピュータに受信するように構成された無線接続である。

いくつかの実施形態では、観覧者によるハンドヘルドデバイスの動きにより、仮想現実環境内に描かれた仮想現実プレーヤの上、下、及び周りを見ることが可能となる。

いくつかの実施形態では、仮想現実プレーヤの周りにいる観覧者によるハンドヘルドデバイスの動きにより、ハンドヘルドデバイスの画面上に提示された映像ストリームのビューが更新され、当該ビュー更新により、仮想現実環境の周りの３６０度ビューが可能となり、当該動きにより、仮想現実プレーヤを除く仮想現実環境の領域を見ることが可能となる。

いくつかの実施形態では、ハンドヘルドデバイスの動きは、現実世界空間内の仮想現実プレーヤの現在位置に相対するものであり、ハンドヘルドデバイスの動きにより、仮想現実環境内のオブジェクトは、ハンドヘルドデバイスが観覧者の顔に近づくとパンアウトビューで、ハンドヘルドデバイスが観覧者の顔から離れるとパンインビューで、見ることが可能となる。

いくつかの実施形態では、ハンドヘルドデバイスは、立体視ハンドヘルドデバイス（例えば３Ｄ眼鏡または自動立体視による）、または左目及び右目のそれぞれに異なる画像を提供する明視野ディスプレイであり得る。一構成では、各目に関して位置及び配向が測定され得る。一実施形態では、例えばＶＲプレーヤが現実世界をのぞいている場合、仮想ウィンドウにおいて各目に対し異なる画像をレンダリングすることにより、逆も成り立ち得る。

さらに別の実施形態では、システムは、ＶＲプレーヤが別のＶＲプレーヤの第２のＶＲ世界を見ることを可能にするように構成され得る。

本開示の他の態様及び利点は、本開示の原理を例として示す添付図面と併せて、下記の発明を実施するための形態から明らかになるであろう。

本開示は、添付図面と併せて、以下の説明を参照することにより、よりよく理解され得る。

本開示の一実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。

本開示の一実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。

一実施形態による、ＨＭＤユーザがクライアントシステムとインターフェースし、クライアントシステムが第２の画面と称される第２の画面ディスプレイにコンテンツを提供する一例を示す。

本開示の一実施形態による、実行中のビデオゲームに関連するＨＭＤの機能を概念的に示す。

一実施形態による、ＶＲ空間内でインタラクトしているＶＲプレーヤの現実世界を捉えて、ＶＲ空間へのウィンドウビューを提供するデバイスを、観覧ユーザが利用する一例を示す。

一実施形態による、プレーヤのＶＲ空間内の異なる観点を得るためにユーザのデバイスの位置を追跡し、ＶＲプレーヤのＶＲ空間へのウィンドウビューに異なるコンテンツを表示する一例を示す。

一実施形態による、観覧者がデバイスを利用してＶＲプレーヤを見て、ＶＲプレーヤは、ＶＲプレーヤがプレイしているＶＲキャラクタの形態で観覧者の画面に提示される一例を示す。

一実施形態による、観覧者が、デバイスを移動させて異なる角度または位置から画面を見て、ＶＲプレーヤのＶＲ空間内の異なる観点のビューを得る、従って観覧者のデバイスに表示されるウィンドウ効果により提供されるビューを変更させる一例を示す。

一実施形態による、観覧者がデバイスを利用してＶＲプレーヤを見る一例であって、コンピュータがＶＲプレーヤの位置ビューに相対した観覧者のデバイス用映像ストリームを共有し生成できるように、デバイスとコンピュータ、並びにコンピュータとＶＲヘッドセット及び周辺デバイスによる通信を表す一例を示す。

一実施形態による、観察者が、ＶＲプレーヤに対する観覧者の位置、及び観覧者の顔に対するデバイスの位置により、ウィンドウビューを変更させる一例を示す。

一実施形態による、ＶＲプレーヤの行動を、シューティングゲームをプレイするＶＲキャラクタまたはアバターで表示しながら、ＶＲプレーヤの観覧者がとる位置に相対して変更された視点のウィンドウビューを示す。 一実施形態による、ＶＲプレーヤの行動を、シューティングゲームをプレイするＶＲキャラクタまたはアバターで表示しながら、ＶＲプレーヤの観覧者がとる位置に相対して変更された視点のウィンドウビューを示す。

本開示の一実施形態による、ヘッドマウントディスプレイの構成要素を示す。

本開示の様々な実施形態による、ゲームシステム１４００のブロック図である。

本開示の下記の実施態様は、インタラクトするＶＲプレーヤをユーザデバイスが見ることを可能にする方法、システム、コンピュータ可読媒体、及びクラウドシステムを提供し、ユーザのデバイスには、ＶＲ空間内のＶＲプレーヤの画像（例えばＶＲ空間内のキャラクタまたはアバターとして）が提供される。一構成では、ユーザのデバイスのカメラは、自撮りカメラを使用して、画面に対するユーザの顔及び／または目の位置を追跡する。デバイスの位置はさらに、デバイス内の慣性センサから取得した慣性データを使用して追跡され得る。この追跡情報は、コンピュータに伝達され得る。この構成では、デバイスの前面カメラは、例えばＶＲプレーヤがインタラクトしている前方の空間を捉える。

ＶＲプレーヤも別個に追跡されている。ＶＲプレーヤの追跡は、様々な技術を使用して実行することができる。例として、１つ以上のカメラを使用したＨＭＤのＬＥＤ追跡、放出されたＩＲ光を検出するＨＭＤ上の光センサ、慣性センサ、及びこれらの組み合わせが挙げられる。ＶＲプレーヤの追跡された位置は、コンピュータに伝達される。コンピュータは、観覧者のデバイスの観点から、ＶＲ環境内のＶＲプレーヤのストリーミングビューを生成するように構成される。ＶＲプレーヤに対するデバイスの位置ビューに応じて、デバイスの第２の画面には異なるビューが提供される。ビューは、異なる観点及び位置の提供に加えて、ウィンドウ効果も提供し、これにより、画面に対する位置、角度、及びのぞく方向に応じて、ＶＲ環境内のビューを動的に変更することが可能になる。前述のように、画面に対する視野方向は、背面カメラ、すなわち自撮りカメラにより追跡される。

いくつかの実施形態では、自動立体視３Ｄディスプレイを使用することにより、仮想世界を立体で表示することが可能になる。頭部が追跡されているので、この３Ｄ画像は、観客／観覧者の角度だけから見えれば、全ての角度から見える必要はない。

人がＶＲ内にいて現実世界を見渡している場合、仮想ユーザのビューに基づいて好適なビューポートがレンダリングされるように、現実世界に対し非常に広い視野のカメラを使用することが可能である。あるいは、広角カメラを使用するのではなく、ジンバル上のカメラを実装して、仮想ユーザの視点に一致するように向けることもできる。

しかしながら、本開示は、これらの具体的な詳細の一部または全てがなくとも実施できることは、当業者には明らかであろう。他の例では、本開示を不必要に不明瞭にしないために、周知のプロセス動作は詳細に説明されていない。

図１は、本開示の一実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。ヘッドマウントディスプレイ（ＨＭＤ）１０２を装着しているユーザ１００が示される。ＨＭＤ１０２は、眼鏡、ゴーグル、またはヘルメットと同様に装着され、ユーザ１００にビデオゲームまたは他のコンテンツを表示するように構成される。ＨＭＤ１０２の表示機構はユーザの目の極めて近くで提供されるため、ＨＭＤ１０２はユーザに非常に臨場感のある体験を提供する。従って、ＨＭＤ１０２は、ユーザの視野の大部分または全体さえも占める表示領域を、ユーザの目のそれぞれに提供することができる。

一実施形態では、ＨＭＤ１０２は、コンピュータ１０６に接続され得る。コンピュータ１０６への接続は、有線または無線であり得る。コンピュータ１０６は、当技術分野において既知の任意の汎用または専用コンピュータであり得、これには、ゲーム機、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、セルラー電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどが含まれるが、これらに限定されない。一実施形態において、コンピュータ１０６は、ビデオゲームを実行し、ＨＭＤ１０２によるレンダリングのためにビデオゲームから映像及び音声を出力するように構成され得る。仮想現実空間またはビューのレンダリングは、ハンドヘルドデバイスによってもできることを理解されたい。いくつかの実施形態では、仮想現実空間はコンピュータ１０６により生成され得、仮想現実空間内のビューもハンドヘルドデバイスにより生成され得る。いくつかの実施形態では、レンダリングはコンピュータにより行われ得、映像ストリームはハンドヘルドデバイスへ転送され得る。さらに別の実施形態では、レンダリングの一部は、クラウドもしくはサーバコンピュータ、またはコンピュータ１０６、ハンドヘルドデバイス、及びクラウド／サーバコンピュータの組み合わせにより行われ得る。さらに別の実施形態では、２つのコンピュータが提供され得る（１つはハンドヘルドデバイスにストリーミングされるビューを生成し、もう１つはＨＭＤに提供されるビューを生成する）。いくつかの実施形態では、ハンドヘルドデバイスの代わりに、第２のデバイスが、画面を介してＶＲ環境内のビューを提供するコンピュータであり得ることを理解されたい。

ユーザ１００は、グローブインターフェースオブジェクト１０４ａを操作して、ビデオゲームへの入力を行い得る。さらに、カメラ１０８は、ユーザ１００が位置するインタラクティブ環境の画像を取り込むように構成され得る。これらの取り込まれた画像を分析して、ユーザ１００、ＨＭＤ１０２、及びグローブインターフェースオブジェクト１０４ａの位置及び動きが特定され得る。一実施形態では、グローブインターフェースオブジェクト１０４ａは、その位置及び配向を特定するために追跡可能な光源を含む。

後述されるように、ＨＭＤ１０２に表示される仮想現実シーンとユーザがインターフェースする方法は様々であり得、グローブインターフェースオブジェクト１０４ａに加えて他のインターフェースデバイスも使用することができる。例えば、両手コントローラだけでなく、片手コントローラも使用することができる。いくつかの実施形態では、コントローラは、コントローラに関連付けられた光源を追跡することにより、またはコントローラに関連付けられた形状、センサ、及び慣性データを追跡することにより、コントローラ自体の追跡を行うことができる。これらの様々な種類のコントローラを使用することで、または１つ以上のカメラにより取り込まれるユーザが行った手のジェスチャだけでも使用することで、ＨＭＤ１０２に提示される仮想現実環境に対しインターフェース、制御、操作、インタラクト、及び参加を行うことが可能である。

さらに、ＨＭＤ１０２は、ＨＭＤ１０２の位置及び配向を特定するために追跡可能な１つ以上の光源を含み得る。カメラ１０８は、インタラクティブ環境から音を取り込むために、１つ以上のマイクロホンを含み得る。マイクロホンアレイにより取り込まれた音は、音源の位置を特定するように処理され得る。特定された位置からの音は、選択的に利用され得る、または特定された位置以外からの他の音を排除するように処理され得る。さらに、カメラ１０８は、多重画像取り込みデバイス（例えば立体視対カメラ）、ＩＲカメラ、深度カメラ、及びこれらの組み合わせを含むように定義され得る。

別の実施形態では、コンピュータ１０６は、ネットワークを介したクラウドゲームプロバイダ１１２との通信において、シンクライアントとして機能する。クラウドゲームプロバイダ１１２は、ユーザ１０２によりプレイされているビデオゲームを維持し実行する。コンピュータ１０６は、ＨＭＤ１０２、グローブインターフェースオブジェクト１０４ａ、及びカメラ１０８からの入力を、クラウドゲームプロバイダへ送信し、クラウドゲームプロバイダは、入力を処理して、実行中のビデオゲームのゲーム状態に作用させる。映像データ、音声データ、及び触覚フィードバックデータなどの実行中のビデオゲームからの出力は、コンピュータ１０６へ送信される。コンピュータ１０６はさらに、データを送信前に処理し得る、またはデータを関連デバイスに直接送信し得る。例えば、映像及び音声ストリームはＨＭＤ１０２に提供されるが、振動フィードバック命令はグローブインターフェースオブジェクト１０４ａに提供される。

一実施形態において、ＨＭＤ１０２、グローブインターフェースオブジェクト１０４ａ、及びカメラ１０８は、それ自体がネットワーク１１０と接続してクラウドゲームプロバイダ１１２と通信するネットワーク型デバイスであり得る。例えば、コンピュータ１０６は、ビデオゲーム処理を行わないがネットワークトラフィックの流れを促進するルータなどのローカルネットワークデバイスであり得る。ＨＭＤ１０２、グローブインターフェースオブジェクト１０４ａ、及びカメラ１０８によるネットワークへの接続は、有線または無線であり得る。

さらに、本開示の実施形態はヘッドマウントディスプレイに関連して説明され得るが、別の実施形態では、テレビ、プロジェクタ、ＬＣＤディスプレイ画面、ポータブルデバイス画面（例えばタブレット、スマートフォン、ラップトップなど）、あるいは本実施形態に従って映像をレンダリングする及び／またはインタラクティブシーンもしくは仮想環境の表示を提供するように構成され得る任意の他の種類のディスプレイを、非限定的に含む非頭部搭載ディスプレイが代用され得ることが理解されよう。

図２Ａは、本開示の一実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。示されるように、ＨＭＤ１０２は、複数の光源２００Ａ〜Ｈを含む。これらの光源のそれぞれは、特定の形状を有するように構成されてもよく、同一または異なる色を有するように構成することができる。光源２００Ａ、２００Ｂ、２００Ｃ、及び２００Ｄは、ＨＭＤ１０２の前面に配置される。光源２００Ｅ及び２００Ｆは、ＨＭＤ１０２の側面に配置される。光源２００Ｇ及び２００Ｈは、ＨＭＤ１０２の前面及び側面に及ぶように、ＨＭＤ１０２の角に配置される。ユーザがＨＭＤ１０２を使用するインタラクティブ環境の取り込み画像において、光源を特定することができることは理解されよう。光源の特定及び追跡に基づいて、インタラクティブ環境内のＨＭＤ１０２の位置及び配向を特定することができる。光源のうちのいくつかは、画像取り込みデバイスに対するＨＭＤ１０２の特定の配向によっては、視覚的に取り込み可能または不可能であることが、さらに理解されよう。また、画像取り込みデバイスに対するＨＭＤ１０２の配向によっては、光源の別の部分（例えば光源２００Ｇ及び２００Ｈ）が、画像取り込みに露呈され得る。

一実施形態では、光源は、周りにいる他の人に対し、ＨＭＤの現行状態を示すように構成され得る。例えば、光源の一部または全ては、特定の配色、強度案配を有するように構成され、点滅するように構成され、特定のオン／オフ構成またはＨＭＤ１０２の現行状態を示す他の装置を有し得る。例として、光源は、ビデオゲームの活動的ゲームプレイ（一般に活動的タイムライン内またはゲームシーン内に起こるゲームプレイ）中には、メニューインターフェースの移動またはゲーム設定の実施（その間ゲームタイムラインまたはゲームシーンが停止または一時停止され得る）などのビデオゲームの他の非活動的ゲームプレイ態様とは、異なる設定で表示するように構成され得る。光源はまた、ゲームプレイの相対激度レベルを示すように構成され得る。例えば、ゲームプレイの激しさが高まると、光源の強度、または点滅速度も高まり得る。このように、ユーザの周りにいる人は、ＨＭＤ１０２上の光源を見て、ユーザが激しいゲームプレイに活発に参加しており、今は邪魔されたくないであろうと理解し得る。

ＨＭＤ１０２はさらに、１つ以上のマイクロホンを含み得る。示される実施形態では、ＨＭＤ１０２は、ＨＭＤ１０２の前面に画定されたマイクロホン２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側面に画定されたマイクロホン２０４Ｃとを含む。マイクロホンアレイを利用して、マイクロホンのそれぞれからの音が処理され、音源の位置が特定され得る。この情報は、不要な音源の除外、音源と視覚識別との関連付けなどを含む様々な方法で利用され得る。

ＨＭＤ１０２はまた、１つ以上の画像取り込みデバイスを含み得る。示される実施形態では、画像取り込みデバイス２０２Ａ及び２０２Ｂを含むＨＭＤ１０２が示される。立体視対の画像取り込みデバイスを利用して、ＨＭＤ１０２の観点から、環境の三次元（３Ｄ）画像及び映像が取り込まれ得る。このような映像はユーザに提示され、ＨＭＤ１０２を装着している間、「ビデオシースルー」能力がユーザに提供され得る。すなわち、厳密に言えばユーザはＨＭＤ１０２を通して外部を見ることはできないが、それにもかかわらず、画像取り込みデバイス２０２Ａ及び２０２Ｂ（または例えば、下記の図３に示されるように、ＨＭＤ１０２の外側本体上に配置された１つ以上の前面カメラ１０８'）により取り込まれる映像により、ＨＭＤ１０２を通して見ているかのようにＨＭＤ１０２の外部の環境を見ることができる機能等価物が提供され得る。このような映像は、拡張現実体験を提供するために仮想要素と共に拡張することができる、あるいは別の方法で仮想要素と合併または融合され得る。示される実施形態では、２つのカメラがＨＭＤ１０２の前面に示されているが、ＨＭＤ１０２上に設置され任意の方向に配向された外面カメラが任意の数存在し得ることは理解されよう。例えば、別の実施形態では、環境の追加パノラマ画像取り込みを提供するために、ＨＭＤ１０２の側面に搭載されたカメラが存在し得る。

図２Ｂは、ＨＭＤ１０２ユーザがクライアントシステム１０６とインターフェースし、クライアントシステム１０６が第２の画面１０７と称される第２の画面ディスプレイにコンテンツを提供する一例を示す。後述されるように、クライアントシステム１０６は、ＨＭＤ１０２から第２の画面１０７へのコンテンツ共有を処理する集積電子機器を含み得る。別の実施形態は、クライアントシステムと、ＨＭＤ１０２及び第２の画面１０７のそれぞれとの間をインターフェースする別個のデバイス、モジュールコネクタを含み得る。この一般的な例では、ユーザ１００は、ＨＭＤ１０２を装着し、コントローラ１０４を使用してビデオゲームをプレイしている。ユーザ１００によるインタラクティブなプレイにより、ＨＭＤ１０２にインタラクティブに表示されるビデオゲームコンテンツ（ＶＧＣ）が生成される。

一実施形態では、ＨＭＤ１０２に表示されているコンテンツは、第２の画面１０７に共有される。一例では、第２の画面１０７を見る人は、ユーザ１００がＨＭＤ１０２においてインタラクティブにプレイしているコンテンツを見ることができる。別の実施形態では、別のユーザ（例えばプレーヤ２）は、クライアントシステム１０６とインタラクトして、第２の画面コンテンツ（ＳＳＣ）を生成することができる。コントローラ１０４ともインタラクトするプレーヤにより生成される第２の画面コンテンツ（または任意の種類のユーザインターフェース、ジェスチャ、発声、または入力）は、クライアントシステム１０６へのＳＳＣとして生成され得、これは、ＨＭＤ１０２から受信されるＶＧＣと一緒に、第２の画面１０７上に表示され得る。

従って、ＨＭＤユーザと同じ場所または離れた場所に存在し得る他のユーザによるインタラクティビティは、ＨＭＤユーザ、及び第２の画面１０７上でＨＭＤユーザがプレイするコンテンツを見得るユーザの両者にとって、社交的で、相互作用があり、さらに臨場感があり得る。示されるように、クライアントシステム１０６は、インターネット１１０に接続され得る。インターネットは、様々なコンテンツソース１２０からのコンテンツへのアクセスも、クライアントシステム１０６に提供し得る。コンテンツソース１２０は、インターネットを介してアクセス可能な任意の種類のコンテンツを含み得る。

このようなコンテンツには、映像コンテンツ、動画コンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友人コンテンツ、広告コンテンツなどが含まれ得るが、これらに限定されない。一実施形態では、ゲームプレイ中にインタラクティビティに関連付けられたマルチメディアコンテンツをＨＭＤに提供するように、クライアントシステム１０６を使用して、ＨＭＤユーザ用のコンテンツが同時に処理され得る。次いで、クライアントシステム１０６は、ビデオゲームコンテンツとは無関係であり得る他のコンテンツも、第２の画面に提供することができる。クライアントシステム１０６は、一実施形態では、コンテンツソース１２０のうちの１つから、またはローカルユーザもしくは遠隔ユーザから、第２の画面のコンテンツを受信し得る。

図３は、本開示の一実施形態による、実行中のビデオゲームに関連するＨＭＤ１０２の機能を概念的に示す。実行中のビデオゲームは、入力を受信してビデオゲームのゲーム状態を更新するゲームエンジン３２０により定義される。ビデオゲームのゲーム状態は、オブジェクトの存在及び位置、仮想環境の状況、イベントのトリガ、ユーザプロファイル、ビューの観点など、現行のゲームプレイの様々な態様を定義するビデオゲームの様々なパラメータの値により、少なくとも部分的に定義され得る。

示される実施形態では、ゲームエンジンは、例として、コントローラ入力３１４、音声入力３１６、及び動作入力３１８を受信する。コントローラ入力３１４は、ハンドヘルドゲームコントローラ（例えばＳｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４無線コントローラ、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅ動作コントローラ）、またはグローブインターフェースオブジェクト１０４ａなど、ＨＭＤ１０２とは別個のゲームコントローラの操作から定義され得る。例として、コントローラ入力３１４には、直接入力、ボタン押下、トリガ起動、動き、ジェスチャ、またはゲームコントローラの操作から処理される他の種類の入力が含まれ得る。音声入力３１６は、ＨＭＤ１０２のマイクロホン３０２から、または画像取り込みデバイス１０８もしくはローカル環境内の他の場所に含まれるマイクロホンから、処理され得る。動作入力３１８は、ＨＭＤ１０２に含まれる動作センサ３００から、またはＨＭＤ１０２の画像を取り込む画像取り込みデバイス１０８から、処理され得る。ゲームエンジン３２０は、ゲームエンジンの構成に従って処理された入力を受信し、ビデオゲームのゲーム状態を更新する。ゲームエンジン３２０は、様々なレンダリングモジュールにゲーム状態データを出力し、様々なレンダリングモジュールは、ゲーム状態データを処理して、ユーザに提示するコンテンツを定義する。

示される実施形態では、映像レンダリングモジュール３２２は、ＨＭＤ１０２上に提示される映像ストリームをレンダリングするように定義される。映像ストリームは、ディスプレイ／プロジェクタ機構３１０により提示され、光学素子３０８を通してユーザの目３０６により見られ得る。音声レンダリングモジュール３０４は、ユーザが聴く音声ストリームをレンダリングするように構成される。一実施形態では、音声ストリームは、ＨＭＤ１０２に関連付けられたスピーカ３０４を通して出力される。スピーカ３０４は、オープンエア型スピーカ、ヘッドホン、またはその他の種類の音声提供可能なスピーカの形態を取り得ることを理解されたい。

一実施形態では、ユーザの視線の追跡を可能にするために、視線追跡カメラ３１２がＨＭＤ１０２に含まれる。視線追跡カメラは、ユーザの目の画像を取り込み、取り込まれた画像はユーザの視線方向を特定するために分析される。一実施形態では、ユーザの視線方向に関する情報は、映像レンダリングに作用するように利用され得る。例えば、ユーザの目が特定の方向を見ていると判断されると、ユーザが見ている領域にさらなる詳細またはより早い更新を提供するなどして、その方向の映像レンダリングを優先または強調することができる。ユーザの視線方向は、ヘッドマウントディスプレイに相対して、ユーザが存在する現実環境に相対して、及び／またはヘッドマウントディスプレイ上でレンダリングされている仮想環境に相対して、定義され得ることを理解されたい。

概して、視線追跡カメラ３１２により取り込まれた画像の分析は、単独で検討する場合、ＨＭＤ１０２に対するユーザの視線方向を提供する。しかし、ＨＭＤ１０２の追跡された位置及び配向と組み合わせて検討する場合は、ＨＭＤ１０２の位置及び配向はユーザの頭部の位置及び配向と同義であるため、ユーザの現実世界の視線方向を特定することができる。すなわち、ユーザの現実世界の視線方向は、ユーザの目の位置移動の追跡、並びにＨＭＤ１０２の位置及び配向の追跡から特定することができる。仮想環境のビューがＨＭＤ１０２上にレンダリングされると、仮想環境におけるユーザの仮想世界の視線方向を特定するために、ユーザの現実世界の視線方向が適用され得る。

加えて、触覚フィードバックモジュール３２６は、ＨＭＤ１０２、またはコントローラ１０４などのユーザが操作する別のデバイスに含まれる触覚フィードバックハードウェアに対し、信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバックなど、様々な種類の触感覚の形態を取り得る。

現在、ゲームのリプレイを共有するストリーミングサービスが非常に人気がある。このような共有を可能にするために、ＤｕａｌＳｈｏｃｋ（登録商標）４無線コントローラは、コントローラ上に直接「共有ボタン」を含む。本開示の実施態様は、ＨＭＤ／ＶＲヘッドセットを使用してリプレイを探索したい人々のリプレイ共有を向上させる。本開示の実施態様は、非常に広い視野のゲームプレイのレンダリングを提供し、これにより観客は、ＨＭＤを使用して頭部を自由に動かして、新たな視座からリプレイを見ることが可能となる。従来のストリーミング手法では、リプレイは元のプレーヤが見たものにのみ限られており、よって視野方向は、観客の頭部の位置及び配向とは無関係であり、ＨＭＤを使用する観客が頭部を動かしても、何の変化も起こらない。

本開示の実施態様は、ＨＭＤ内の新たな視点を支援するのに十分に広い視野の映像のレンダリングを提供する。ゲームエンジンのカスタムビルドは、クラウドサーバ上（例えばクラウド内のＰｌａｙＳｔａｔｉｏｎ（登録商標）４ハードウェアなどのゲーム機ハードウェア上）で実行され、元のプレーヤのゲームエンジンからストリーミングされるゲーム状態を入力として受け入れ、この入力を使用してゲームのビューを非常に広い視野（例えば１５０度以上）にレンダリングし、次いでそのゲームセッションのリアルタイムストリーミング及び／または事前に記録された再生に使用され得る。この非常に広い視野はＨＭＤの視野を超えており、これにより、ＨＭＤを装着している観客がリプレイ内を見回すことが可能になることは理解されよう。実際のゲームは、ネットワーク型のエンジンに、その状態をストリーミングするように構成される。

前述のように、例えばＨＭＤ１０２を装着しているユーザが体験しているインタラクティブなアクティビティを観察するなどの観覧能力を、ユーザに提供する必要がある。例えば、１人のＨＭＤ仮想現実プレーヤは、ＨＭＤに提示されるアクティビティに没頭しており、同時に他の人がプレーヤと同じ場所にいる場合がある。同じ場所にいるこれらの他のプレーヤは、ＨＭＤプレーヤが体験しているインタラクティビティまたは見ている仮想現実シーンを観察することを、楽しみ得る。本明細書で使用されるＨＭＤプレーヤとは、ＨＭＤに提示されるコンテンツを見ているプレーヤであり、またはＨＭＤに提示されるあるコンテンツとインタラクトするプレーヤであり得、またはＨＭＤに提示されるゲームをプレイしているプレーヤであり得る。よって、プレーヤへの言及は、ＨＭＤに提示されているコンテンツの種類に関係なく、ＨＭＤを装着しているユーザを参照することによってのみ行われる。

さらに別の実施形態では、ＨＭＤプレーヤと同じ場所にいない他の人が、ＨＭＤプレーヤのＨＭＤに提示されているコンテンツ、インタラクティビティ、またはメディアを見ることを所望し得る。例えば、ＨＭＤプレーヤが自分のアクティビティを実行しているのを観察及び観覧するために、様々なＨＭＤプレーヤからＨＭＤプレーヤを選択する能力を、ユーザに提示するウェブサイトが提供され得る。この例は、インターネットに接続しているユーザが、ウェブサイトにアクセスして、遠隔プレーヤがプレイしている様々な種類のコンテンツまたはメディアを検索することを可能にする標準のＴｗｉｔｃｈ型体験に似ている。遠隔プレーヤは、いくつかの実施形態では、ＨＭＤ１０２を使用してゲームをプレイし得る。

別の実施形態では、遠隔プレーヤは、デバイスのディスプレイ画面またはテレビのディスプレイ画面を使用して、ゲームをプレイし得る、またはコンテンツを見得る。概して、例えばウェブサイトを介して、遠隔にいる別のプレーヤのアクティビティを見たいユーザは、特定のプレーヤもしくはゲームの種類、またはゲームのサムネイル、またはコンテンツのサムネイルを選択して、ＨＭＤプレーヤが指示するアクティビティを見ることができる。従って、遠隔ＨＭＤプレーヤが活発にプレイし得る特定のインタラクティブコンテンツを、ユーザが見て選択することを可能にするウェブサイトが提供され得る。ＨＭＤプレーヤによるアクティビティを見たい遠隔観覧者は、そのコンテンツをクリックするだけで、見始めることができる。

ＨＭＤプレーヤによる行動を観察及び観覧する人は、一般に観客と呼ばれる。観客とは、アクティビティ、インタラクティビティ、行動、動きなどを見るアクセス権を与えられた人であるが、必ずしもゲーム行動を制御しているわけではない。そのため、これらの観覧者は、観客と呼ばれる。ＨＭＤプレーヤとの関連において、ＨＭＤディスプレイに提示されるコンテンツは、動的であり、ＨＭＤプレーヤの動きにより制御される。例えば、ＨＭＤプレーヤが頭部を周りに動かした場合、周囲の現実世界の見え方と同様に見える異なるコンテンツが、そのプレーヤに提示される。

ＨＭＤプレーヤの頭部の動きはＨＭＤプレーヤにとって自然であるが、ＨＭＤプレーヤと同じビューを提供される観客は、早い動きが原因で、コンテンツを見ている時に吐き気またはめまいを感じる場合がある。これは、観覧者が、ＨＭＤプレーヤと同様に自分で自分の頭部を動かしておらず、よってＨＭＤプレーヤによる視野方向に基づいてコンテンツが変更されるからである。本明細書で説明される様々な実施形態では、観客の気を散らすことなく、観客にめまいまたは吐き気を生じさせる傾向もないように、ＨＭＤプレーヤが見ているコンテンツを観客が見ることを可能にする方法、システム、コンピュータ可読媒体、及びクラウド構成が提供される。

例として、本明細書で説明される実施形態のうちのいくつかは、ＨＭＤプレーヤが見ている仮想現実環境内の異なる観覧スポットを提供する方法を教示する。いくつかの実施形態では、観覧スポットは、観客が観覧可能な角度、方向、及びコンテンツに関して固定される。従って、ＨＭＤプレーヤが頭部をどちらかに動かした場合、仮想現実環境内の観客のビューは、安定した状態に保たれ得る。いくつかの実施形態では、ＨＭＤプレーヤが異なる仮想現実環境のシーン、場所、領域、レベル、チャプターなどを移動及び横断すると、観覧する観客にカスタマイズされた異なる観覧スポットが、観覧ユーザに提供され得る。例えば、異なる種類のコンテンツ用に、様々な観覧スポットを事前に作成することができる。

コンテンツがビデオゲームである場合、観客が観覧するための事前作成スポットとして、ビデオゲーム内で取ることができる異なる経路に沿った観覧スポットが、事前に定義され得る。従って、ＨＭＤプレーヤが特定の経路に沿って移動する場合、観覧者には、その経路に沿った観覧スポットが提供され得、提供される観覧スポットは、ゲーム開発者、前の観客、またはＨＭＤプレーヤが事前選択または事前作成したものであり得る。このようにして、ＨＭＤプレーヤがＨＭＤのＶＲ環境を動き回ると、次の観覧スポットが優れている、またはより良い、あるいはより興味深いビューを提供するという判断に基づいて、観客は、１つの観覧スポットから次の観覧スポットにはじき出され得る。さらなる実施形態では、ＨＭＤプレーヤが見ている観覧可能なコンテンツの副部分が、観客に提供され得る。別の実施形態では、ＨＭＤプレーヤがまだ見ることができない追加コンテンツが、観客に提供され得る。

ゲーム、環境、コンテンツの種類、マルチメディアの種類に応じて、または定義された規則もしくは制約により、ＨＭＤプレーヤが見ている観覧可能なコンテンツのより少ないまたはより多いコンテンツが、観客に提供され得る。上記のように、観客に観覧可能に処理されたコンテンツは、ＨＭＤプレーヤが見ているコンテンツと同じであり得るが、ＨＭＤプレーヤとは異なる基準視点に基づき得る。しかしながら、いくつかの実施形態では、観客に提供されるビューは、ＨＭＤプレーヤのビューに類似し得るが、わずかに異なる角度または視点であり得る。さらに、ＨＭＤ仮想プレーヤの頭部に書き込む仮想カメラのコンテキストから、ＨＭＤプレーヤに提供されるビューと同様のビューが、観客に提供され得る。一実施形態では、ＨＭＤプレーヤが頭部を動かす時、ＨＭＤプレーヤが見ているコンテンツの観客に提供される仮想カメラビューを動かす代わりに、ＨＭＤプレーヤが動かすビューと同じ進度または速度で、観客のビューを動かすことはない。

この実施形態では、観客に提供される仮想カメラビューは、ＨＭＤプレーヤのビューの動きよりも遅い速度で動かされ得、これは、ユーザの頭部の動きの実際の速度に基づいて変化する。さらに、仮想カメラビューの動きは、ＨＭＤプレーヤの頭部の動きを遅れて追従するように設定され得る。遅延は、仮想カメラのビューをＨＭＤの動きにつなぐ概念的ゴムバンドに類似し得る。つまり、ユーザの頭部が左へ素早く動いた場合、オブジェクトが前方の移動オブジェクトにゴムバンドでつながれ引っ張られるのと同様の遅延を有した状態で、観客の仮想カメラビューは左へよりゆっくりと動く。いくつかの構成では、ＨＭＤプレーヤの実際のビューの動きを追従する速度で仮想カメラが動くように、ギア比が仮想カメラビューの動きに適用される。ギア比は、仮想現実シーンへの観客のビューを実行するコンピュータ、ゲーム、及び／またはプログラムにより、動的に変更され得る。ギアは、例えば、いくつかのゲーム、いくつかのシーン、いくつかの状況、いくつかのレベルにおいて、何人かのユーザなどに対し、より早く、または他の事例においてより遅く、変更され得る。動的なギアを使用することで、ＨＭＤが速くまたは不規則に動く場合でも観客のビューがより快適な観覧体験となるように、仮想カメラビューの動きを円滑化することができる。

さらに後述の実施形態では、ＨＭＤプレーヤが仮想現実環境内で見ている場所を、観客が特定することを可能にする視覚的手掛かりが、観客に提供され得る。一構成では、ＨＭＤプレーヤの視線を追跡して、ＨＭＤプレーヤがＶＲシーン内でまさに見ているものを特定することが可能となり得る。仮想カメラビュー（例えばＨＭＤプレーヤの頭部の後ろに浮かぶ仮想カメラ）の観点からＶＲシーンを見ているであろう観客にとって、これは、特定のシーン内で焦点であるものを特定するのに有用である。このようにして、観客も、仮想現実プレーヤがシーン内で重要であると感じるものに焦点を当てることができる。

いくつかの例で、一人称シューティングゲームでは、観客は、例えば敵または障害物を特定するために、ＨＭＤプレーヤが見ている場所を知りたい場合がある。一実施形態では、ＨＭＤプレーヤの視線を追跡することで、コンテンツの強調表示、特定のオブジェクトまたは場所のコントラスト変更、コンテンツの囲み、マーカの追加、領域のグレーアウト、点滅ビーコンの追加、テキストの追加、浮遊オブジェクトの追加などにより、ＨＭＤプレーヤが見ているものを識別することが可能である。このようにして、観客は、ＨＭＤプレーヤが見ている場所を確実に知ることができ、よって観客自身も、同じ領域を見て、コンテンツをより楽しく体験することができる。

例えば、ＨＭＤプレーヤは特定のゲームでの経験がより豊富であり得る、または特定の種類のコンテンツを見たことがあるため、ＨＭＤプレーヤが仮想現実シーン内で見ている場所に関するこのインジケータを提供することは、観客にガイダンス、視覚的合図、及び支援を提供する。いくつかの実施形態では、これらの識別機能は、注意散漫にならないように、有効化及び無効化することができる。識別子は、ＨＭＤプレーヤにより有効化され得る、または観客により有効化され得る。例えばＴｗｉｔｃｈによる提示において、ＨＭＤプレーヤにより提供される同一コンテンツを複数の観客が見ているいくつかの実施形態では、観客のそれぞれに、視覚インジケータを提供するまたは提供しない能力をその観客与える異なる制御が提供され得る。ＨＭＤプレーヤの観点からは、ＨＭＤプレーヤのＨＭＤ内にインジケータは全く表示され得ない。しかしながら、これらのインジケータは、ＨＭＤプレーヤがインタラクトしているコンテンツを見ているであろう観客（複数可）にとって、有用である。

いくつかの実施形態では、観客が仮想現実環境内の特定の聴取区域を特定することを可能にする制御が、観客に提供され得る。聴取区域により、観客は、聴取したい仮想現実環境内の場所を選択することが可能となる。これは、その特定の場所から、観客が実際にシーン内に存在する状況を模倣する聴取音声及び音響が、観客に基本的に提供されることを意味する。例として、観覧場所に対して通りの向かいの建物を含むＨＭＤコンテンツを観客が見ている場合、観客は、建物内のある場所、例えば人が立っている２階を特定し、その場所で聴取することを選択することができる。

この機能は、観客に聴取場所移動を提供し、これにより、観客は音声及び音響のコンテンツを、観客が２階の建物に座っているまたは立っているかのように、聞くことが可能となる。一例では、音声及び音響は基本的に、建物の２階の場所に存在する音声は拡大し、その仮想場所から離れた場所の音は低減させる。いくつかの実施形態では、観客は時々、主要な聴取区域として、環境内の様々な場所を選択することができる。さらに別の実施形態では、聴取区域を、ＨＭＤプレーヤと同じ聴取区域に調整することもできる。観客が聴取したい仮想環境内の場所を特定するために、切り替え可能な選択能力が、観客に提供され得る。

前述と同様に、観客はＨＭＤプレーヤと同じ場所に存在し得、図２Ｂを参照して説明されるように、第２の画面上でＨＭＤコンテンツを見得ることに留意されたい。あるいは、観客であるローカル観覧者は、ＨＭＤプレーヤのコンテンツを観客が見ることを可能にするＨＭＤを装着することもできる。さらに別の実施形態では、観客は、遠隔に存在し得、観覧を可能にするウェブサイトにＨＭＤプレーヤのコンテンツが公開されている場合、ウェブページから観覧することができる。いくつかの実施形態では、観客として行動する遠隔観覧者は、ＨＭＤプレーヤによるライブまたはほぼライブコンテンツを見ることができる。別の実施形態では、観客として行動する遠隔観覧者は、ＨＭＤプレーヤが見たコンテンツの記録版を見ることができる。さらに、ライブ版または記録版にかかわらず、ＨＭＤプレーヤの同一コンテンツを、複数の観客または多数の観客でも見ることを可能にするウェブサイトが提供され得る。

図４は、一実施形態による、観覧者がデバイス、例えばポータブルデバイスまたはスマートフォンを使用して、ＶＲプレーヤの現実世界空間を捉える一例を示す。この例では、観覧者のデバイスの位置は、観覧者の顔に相対して追跡される。追跡は、デバイスに対する顔の位置を検出するために、観覧者の顔に面するカメラにより処理され得る。ユーザがデバイスを周りに動かすと、ユーザの顔に対するデバイスの相対位置に加えて、デバイスの慣性センサがデバイスの位置変化も追跡し得る。このようにして、角度、動き、回転、及び一般的動作における変化が追跡され得る。観覧者の顔または目に対するデバイスの位置を追跡することにより、ＶＲプレーヤの仮想現実空間への異なる視座及びビューが、観覧者に提供され得る。

一実施形態では、観覧者のデバイスのカメラ、すなわち観覧者の反対側を向くハンドヘルドデバイスのカメラは、現実世界空間内の仮想現実プレーヤの現在位置を特定するために使用される画像データを取り込み得る。例えば、取り込まれた画像データは、例えば壁、家具、他の人、物体など、現実世界空間内のオブジェクトを特定し、これらのオブジェクトをアンカーとして使用し得る。これらのアンカーは、ＶＲプレーヤがプレイしている現実世界の３Ｄ空間内の１つ以上の参照ポイントとして使用され得る。いくつかの実施形態では、異なるオブジェクトは、ハンドヘルドデバイスの深度センサで追跡することができる角または形状を有し得、これは、ＶＲプレーヤの位置、またはＶＲプレーヤが仮想現実環境とインタラクトしながら動き回る時のＶＲプレーヤの位置の変化を特定することをさらに支援する。さらに別の実施形態では、観覧者のハンドヘルドデバイスは、信号データ、例えば信号強度情報を、ＶＲプレーヤのＨＭＤまたはコントローラと通信し交換し得る。

画像データに加えて、この情報を使用して、ＶＲプレーヤが見ている場所、及びＶＲプレーヤがインタラクティビティ中に動き回る時の視野方向の変化を、特定することができる。さらに別の実施形態では、仮想現実環境を実行するＨＭＤまたはコンピュータは、例えばＨＭＤ上の外部カメラまたはＶＲプレーヤを捉えている現実世界空間のカメラを使用して、現実世界空間内のＶＲプレーヤの位置を追跡し得る。ＨＭＤ上の１つ以上のカメラは、ＶＲプレーヤの周り、例えばＶＲプレーヤの周り３６０度を追跡して、観覧者の位置を特定することもできる。次に、この情報を使用して、ＶＲプレーヤが見ているまたは探索している仮想現実環境内のビューが提供され得る。いくつかの実施形態では、ハンドヘルドデバイスの画面を見ている観覧者は、ＶＲ環境内に描かれるＶＲプレーヤ、並びに仮想現実環境内の周囲領域、オブジェクト、及びアニメーションを全くまたは一部しか見ることができない。よって、ＶＲプレーヤに対する、及びハンドヘルドデバイスの画面への観覧者の視野方向に対するハンドヘルドデバイスの位置を追跡することで、ＶＲプレーヤの仮想現実環境へのウィンドウが観覧者に提供され得る。

一実施形態では、ＶＲプレーヤにレンダリングされるＶＲコンテンツは、観覧者の電話に配信される別個のストリームを生成するために拡張及び変更され得、これはＶＲ空間内のビューにおける視座に関して一貫している。さらに、ユーザの顔に対する電話の位置を追跡することにより、ＶＲ空間へのウィンドウビューが制御され得る。ＶＲ空間へのウィンドウビューは、画面に対するユーザの顔及び目の位置に依存する。ユーザが画面に近づくと、ＶＲプレーヤが演じる仮想現実のキャラクタの周りのコンテンツをより多く見ることができる。ユーザが電話をユーザの顔から離すと、ＶＲ空間内のビューは狭くなる。

いくつかの実施形態では、ユーザの顔に面するカメラは、ユーザの顔の画像を取り込む。画像を使用して、視線検出処理が行われ得る。さらなる実施形態では、画像を使用して、ハンドヘルドデバイスのカメラまたは画面に対するユーザの顔の近接度が特定され得る。いくつかの実施形態では、ハンドヘルドデバイスの慣性センサを使用して、ハンドヘルドデバイスの傾き及び位置変化が特定され得る。いくつかの実施形態では、ハンドヘルドデバイスにより深度感知カメラまたは深度センサを使用して、観覧者の顔に対するハンドヘルドデバイスの位置及び／または配向が特定され得る。いくつかの実施形態では、複数のセンサ（例えば画像、深度、音、ＩＲ光など）を使用してセンサ融合効果が処理され、観覧者の顔、及びＶＲプレーヤの仮想現実環境への指向または視野方向に対して、ハンドヘルドデバイスの位置及び配向が特定され得る。

ユーザはまた電話を左右に、または異なる角度で動かし画面の端をのぞき込んで、より多くのコンテンツまたはより少ないコンテンツを見ることができ、これは、窓の外を見ること、及び窓に近づくとより多くのことを見ることができることに類似する。ユーザが画面から離れると、ＶＲプレーヤのＶＲ空間に関して、観覧可能なコンテンツが少なくなり得る、または異なるコンテンツが観覧可能となり得る。よって、さらに示されるように、ウィンドウは、ＶＲ空間を見ている観覧者の目または顔の追跡位置により制御される。ユーザの顔に対するデバイスの相対位置はまた、パンインもしくはパンアウト機能、またはズームインもしくはズームアウト機能を制御することができ、またはＶＲプレーヤの周りを歩いて位置的に近くを見回すことを可能にする。

図５は、一実施形態による、観覧者がｄ１〜ｄ６の異なる距離までデバイスを動かす一例を示す。観覧者は、第２のプレーヤまたは追加のプレーヤになり得る。例として、観覧者は、プレーヤのＶＲ空間内を見ることができ、観覧者によるＶＲプレーヤの見方に相対してＶＲコンテンツのストリームが提供され得る。示されるように、Ａ〜Ｆの異なる位置は、観覧者のデバイスのディスプレイに提供されるウィンドウビューを通して、ユーザがＶＲプレーヤのＶＲ空間をより多くまたはより少なく見ることができる方法を例示する。述べられたように、観覧者は、参加者またはプレーヤにもなり得る。観覧者は同じＶＲ空間を異なる観点から見ることができるため、観覧者は、特定の障害を避けるためにＶＲプレーヤに音声フィードバックを提供すること、またはＶＲプレーヤが見ていないであろうコンテンツに関する情報を提供することもできる。

一実施形態では、ユーザがデバイスを自分の顔に近づけるまたは遠ざけると、ユーザの顔とハンドヘルドデバイスとの間の距離「ｄ」が変化する。例えば慣性センサを使用して、またはハンドヘルドデバイスの外面カメラにより取り込まれた現実世界空間内のマーカ／オブジェクトの追跡を使用して、ハンドヘルドデバイスの角度も監視される。例えば、ユーザの顔及び目は、ハンドヘルドデバイスのユーザに面した側面に配置されたカメラを使用して、追跡され得る。このカメラは多くの場合、自撮りのために使用される、または他の人とのテレビ会議通話のためにユーザの顔を取り込む。取り込まれたユーザの顔の画像を監視して、ユーザの顔までのハンドヘルドデバイスの距離が特定され得る。一実施形態では、ユーザの顔の複数のフレーム画像を分析することにより、距離が監視され得る。例えば、画像内のユーザの目が互いに離れている、または離れ始めた場合、ハンドヘルドデバイスのカメラは、ユーザの顔に近い、またはユーザの顔に近づけられている。画像内の目が互いに近づくように変化する場合、ハンドヘルドのカメラは、ユーザの顔から遠ざかっていると考えられる。いくつかの実施形態では、画像分析と慣性センサ追跡の組み合わせを使用して、ユーザの顔に対するハンドヘルドの位置が特定され得る。

いくつかの実施形態では、深度感知も実施することができ、ユーザの顔とハンドヘルドデバイスの位置との間の深度が計算される。さらに別の実施形態では、深度感知、画像分析、及び慣性センサ分析がセンサ融合を使用して実施され、ハンドヘルドとユーザの顔の間の距離が特定される。上記のように、ユーザの顔に対してハンドヘルドデバイスが配置された方向及び角度を特定することも可能である。図５では、位置Ｄ、Ｅ、及びＦは、異なる角度のビューが追跡されていることを示し、これにより、仮想世界環境に関して、仮想世界内の異なるビューが可能となる。さらに、前面カメラにより取り込まれた画像データは、ほぼ同時に分析され、前面カメラが指向する場所が特定され得る。上記のように、一実施形態では、現実世界空間内のマーカを使用して、当該現実世界空間に対するハンドヘルドデバイスの実際の位置及び配向を追跡することが可能となる。１つの方法は、画像分析を使用して、例えば家具、建物、壁、木、歩道などの現実世界のオブジェクトを識別することである。これらのオブジェクトをアンカーとして使用することにより、当該オブジェクトに関するハンドヘルドデバイスの相対的な動きを特定することが可能となる。

いくつかの実施形態では、前面カメラの視野方向の位置及び配向は、ＶＲプレーヤ、及び仮想現実空間のＶＲプレーヤのビューに対して特定される。例えば、ハンドヘルドデバイスがＶＲプレーヤの頭部の後ろに配置されている場合、観覧者に表示されるハンドヘルドデバイスの画面上のビューは、ＶＲプレーヤが見るのと同じ方向のビューを示す。例えば図８Ａ〜８Ｂに示されるように、ハンドヘルドデバイスがＶＲプレーヤの前面に向けられている場合、ビューは、仮想現実環境内のＶＲプレーヤのアバターを表示し得るが、ＶＲプレーヤの後ろの仮想現実空間も映し出し得る。従って、ハンドヘルドデバイスの視野方向の追跡は、現実世界空間内のオブジェクトまたはタグに相対し得るが、ＶＲプレーヤにも相対し得る。いくつかの実施形態では、ハンドヘルドデバイスの前面カメラにより取り込まれた画像を分析して、特別なマーカ、光、タグ、または形状（例えばＶＲプレーヤの大まかな外形）も特定され、ハンドヘルドデバイスの画面内に表示する仮想現実空間が特定され得る。いくつかの実施形態では、前面カメラにより取り込まれた画像データは、ＨＭＤまたはコントローラに関連付けられた可視光またはＩＲ光、あるいはＶＲプレーヤ（複数可）が保持する衣服またはオブジェクトを含み得る。環境の追跡では、センサ融合を使用して、様々なオブジェクト、マーカ、タグ、画像、慣性データを特定し、ＶＲプレーヤまたはＶＲユーザが見ているＶＲ環境内の位置及び配向ビューを特定し得ることを、理解されたい。

いくつかの実施形態では、ＨＭＤは、観覧者のハンドヘルドデバイスと直接通信することができる。このような例では、通信により、ＨＭＤ及び／またはハンドヘルドデバイスの位置データの交換が可能となり得る。この通信交換は、ストリーミング形式で行われ得る、あるいは変化が特定された時、または変化が閾値を超えるほど著しい時に定期的に行われ得る。通信交換はさらに、ＨＭＤまたはＨＭＤのコンピュータに、仮想現実環境の第２の配信映像を直接ストリーミングさせることを含み得る。いくつかの実施形態では、配信映像は、ネットワークを介してクラウドから取得またはストリーミングされる。

図６Ａ及び６Ｂは、ＶＲプレーヤまたはＶＲプレーヤのヘッドセットがコンピュータと通信している間、デバイスもコンピュータと通信している一例を示す。ＶＲプレーヤが周辺デバイスを利用している場合、周辺デバイスもコンピュータと通信し得る。この例は、図６Ａにおいて、観覧者が距離ｄ７でデバイスを保持している状態を示す。デバイスのこの位置は、本明細書ではウィンドウビューと称されるＶＲプレーヤのＶＲ空間へのビューを提供する。ユーザがＶＲプレーヤの左方または右方を見たい場合、ユーザは単に、デバイスを左または右に移動させる、または左方を見るには自分の目を画面に対して右へ移動させる、またはＶＲ空間内の右方を見るには自分の目を画面に対して左へ移動させることができる。従って、ウィンドウ効果は、デバイスに対する観覧者の目の位置を変えることで変更され得るＶＲ空間内の視錐台展望を提供する。一実施形態では、コンピュータは、ＶＲ空間内のＶＲプレーヤの視野方向に相対して提供されるように拡張または変更されたＶＲコンテンツのストリームを生成することができる。

よって、ＶＲプレーヤに提供されるものとはわずかに異なるビューが、観覧者のデバイスに提供される画像ストリームにより提供される。一実施形態では、デバイスは、ＶＲシーン内のＶＲプレーヤを見るためのアクセスを与えられるが、ＶＲプレーヤを追従して、ＶＲゲームの様々な領域に入る。例として、ＶＲプレーヤは、主要なプレーヤとみなされ、参加またはインタラクトしている様々なＶＲ空間を制御することができる。一実施形態では、観覧者は、ＶＲプレーヤにつながれ、さらにデバイスに提供されるストリームにより、ＶＲプレーヤの空間の中及び周りのウィンドウビューが提供される。図６Ｂに示されるように、ユーザが電話を距離ｄ８まで移動させ、また電話を傾けると、その位置では、ＶＲシーン内のＶＲプレーヤが乗っているスケートボードなど、ＶＲプレーヤの下に異なるコンテンツが表示される。このコンテンツは、図６Ａに示される元の位置から観覧可能ではなかった。よって、ユーザは、デバイスを自由に周りに移動させて、ユーザの目に対するデバイスの相対位置を変えることで、ＶＲ空間内の異なるウィンドウビューを得ることができる。いくつかの実施形態では、ＶＲプレーヤはまた、外の世界へのビューも提供され得る。例として、外の世界（現実世界）のＶＲプレーヤに提供されるビューは、ウィンドウのような映像であり得る。一実施形態では、ＨＭＤには、１つ以上の外部カメラ、または広角カメラを有する１つ以上のカメラ、またはジンバル上のカメラ、またはＶＲプレーヤの観点から様々な視点を取り込む複数のカメラが、設けられ得る。

図７は、一実施形態による、デバイスによりコンピュータに提供される顔−画面追跡データに関連して、コンピュータがコンテンツのストリームをデバイスに提供する一例を示す。ユーザ空間は、画面に対するデバイスの位置に関して追跡され、一実施形態では、デバイスの慣性センサデータもコンピュータに送信され得る。デバイスからの異なる追跡データを一緒に融合し注入することにより、ＶＲ空間に対するデバイスの配向及び方向、並びにユーザの顔に対する位置及び配向の精度は向上する。この例では、ＶＲプレーヤは、コンピュータと通信しているＨＭＤを利用している。通信は、有線または無線であり得る。ＶＲプレーヤは、コンピュータと通信し得る周辺デバイスを利用することもできる。いくつかの実施形態では、コンピュータは、仮想現実コンテンツを処理し、ＨＭＤへの映像及び音声のストリームを生成するＰＣコンピュータである。さらに、ＰＣコンピュータは、観覧者のデバイスへの映像及び音声の第２のストリームを生成し得る。ＶＲプレーヤを見ているデバイスの位置に基づいて、第２のストリームは拡張され得る、またはＨＭＤに提供されるストリームとは異なり得る。

図８Ａは、ＶＲプレーヤ、及び異なる角度からＶＲプレーヤを見るために動き回る観覧者の俯瞰図の一例を示す。従って、観覧者は、ユーザの顔に対してデバイスを近づけるまたは遠ざけることで、ＶＲプレーヤのＶＲ空間への様々な観覧ウィンドウ及びウィンドウ効果を得ることができることに加えて、様々な観点も提供され得る。

図８Ｂ及び８Ｃは、ＶＲプレーヤを見ている観覧者の異なる位置に相対したウィンドウビューＡ及びウィンドウビューＢの例を示す。観覧者のデバイスの画面に表示されるように、ＶＲプレーヤは、ＶＲゲームのＶＲ空間平面上にいるように描かれる。１つのビューでは、ＶＲプレーヤの正面が表示されるが、別のキャラクタはそのビューに表示されない。観覧者がＶＲプレーヤの背後に移動すると、ＶＲプレーヤと戦っている別のプレーヤが表示される。従って、ＶＲプレーヤを見ながら空間内を動き回ることにより、異なるコンテンツを見ることが可能であるが、デバイスに対する観覧者空間の追跡位置に基づいて、ＶＲ空間へのより多くの角度及び観点を提供するように、ウィンドウビュー効果でコンテンツを調整することも可能である。

図９を参照すると、本開示の一実施形態による、ヘッドマウントディスプレイ１０２の構成要素を例示する図が示される。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を含む。メモリ１３０２は、記憶目的で設けられ、揮発性及び不揮発性メモリの両方を含み得る。ユーザが見得る視覚インターフェースを提供するディスプレイ１３０４が含まれる。バッテリ１３０６は、ヘッドマウントディスプレイ１０２の電源として設けられる。動作検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、及びジャイロスコープ１３１４などの様々な種類の動作感知ハードウェアのいずれかを含み得る。

加速度計は、加速及び重力誘起反力を測定するデバイスである。様々な方向の加速の大きさ及び方向を検出するために、単一及び複数軸モデルが利用可能である。加速度計を使用して、傾き、振動、及び衝撃が感知される。一実施形態では、３つの加速度計１３１２を使用して重力の方向が提供され、これは２つの角（世界空間ピッチ及び世界空間ロール）の絶対基準を与える。

磁力計は、ヘッドマウントディスプレイ付近の磁場の強度及び方向を測定する。一実施形態では、３つの磁力計１３１０がヘッドマウントディスプレイ内で使用され、世界空間ヨー角の絶対基準を確保する。一実施形態では、磁力計は、±８０マイクロステラの地磁場範囲を有するように設計される。磁力計は、金属の影響を受けて、実際のヨーによる単調なヨー測定を提供する。磁場は環境内の金属により歪むことがあり、これによりヨー測定に歪みが生じる。必要に応じて、この歪みは、ジャイロスコープまたはカメラなどの他のセンサからの情報を用いて、較正することができる。一実施形態では、加速度計１３１２を磁力計１３１０と共に使用して、ヘッドマウントディスプレイ１０２の傾き及び方位が取得される。

いくつかの実施態様では、ヘッドマウントディスプレイの磁力計は、他の近くのデバイス内の電磁石が作動していない時間中に読み出されるように構成される。

ジャイロスコープは、角運動量の原理に基づいて、配向を測定または維持するためのデバイスである。一実施形態では、３つのジャイロスコープ１３１４は、慣性感知に基づいて、それぞれの軸（ｘ、ｙ、及びｚ）にわたる動きに関する情報を提供する。ジャイロスコープは、高速回転の検出に役立つ。しかしながら、ジャイロスコープは、絶対基準が存在しないと長時間変動し得る。これは、周期的にジャイロスコープを再設定することを必要とし、再設定は、オブジェクト、加速度計、磁力計などの視覚追跡に基づく位置／配向の特定といった、他の利用可能な情報を用いて行うことができる。

実環境の画像及び画像ストリームを取り込むために、カメラ１３１６が提供される。後面の（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時にユーザとは反対側に向けられた）カメラと、前面の（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時にユーザ側に向けられた）カメラとを含む複数のカメラが、ヘッドマウントディスプレイ１０２に含まれ得る。さらに、実環境内のオブジェクトの深度情報を感知するために、深度カメラ１３１８がヘッドマウントディスプレイ１０２に含まれ得る。

ヘッドマウントディスプレイ１０２は、音声出力を提供するスピーカ１３２０を含む。また、周辺環境からの音、ユーザによる発言などを含む実環境からの音声を取り込むために、マイクロホン１３２２が含まれ得る。ヘッドマウントディスプレイ１０２は、ユーザに触覚フィードバックを提供する触覚フィードバックモジュール１３２４を含む。一実施形態では、触覚フィードバックモジュール１３２４は、ユーザに触覚フィードバックを提供するために、ヘッドマウントディスプレイ１０２の動き及び／または振動を引き起こすことが可能である。

ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２の状態の視覚的インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、起動状態などを示し得る。ヘッドマウントディスプレイ１０２がメモリカードからの情報を読み出し、メモリカードに情報を書き込むことを可能にするために、カードリーダ１３２８が設けられる。周辺デバイスの接続、または他のポータブルデバイス、コンピュータなどの他のデバイスへの接続を可能にするインターフェースの一例として、ＵＳＢインターフェース１３３０が含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態では、ヘッドマウントディスプレイ１０２のより良い接続性を可能にするために、様々な種類のインターフェースのいずれかが含まれ得る。

無線ネットワーク技術を介してインターネットまたはローカルエリアネットワークへの接続を可能にするために、ＷｉＦｉ（登録商標）モジュール１３３２が含まれる。また、他のデバイスへの無線接続を可能にするために、ヘッドマウントディスプレイ１０２は、ブルートゥース（登録商標）モジュール１３３４を含む。他のデバイスへの接続のために、通信リンク１３３６も含まれ得る。一実施形態では、通信リンク１３３６は、無線通信のために赤外線通信を利用する。別の実施形態では、通信リンク１３３６は、他のデバイスと通信するために、様々な無線または有線伝送プロトコルのいずれかを利用し得る。

ユーザに入力インターフェースを提供するために、入力ボタン／センサ１３３８が含まれる。ボタン、タッチパッド、ジョイスティック、トラックボールなど、様々な種類の入力インターフェースのいずれかが含まれ得る。超音波技術を介した他のデバイスとの通信を促進するために、超音波通信モジュール１３４０が、ヘッドマウントディスプレイ１０２に含まれ得る。

ユーザからの生理学的データを検出することを可能にするために、生体センサ１３４２が含まれる。一実施形態では、生体センサ１３４２は、ユーザの皮膚を通してユーザの生体電気信号を検出するために、１つ以上の乾電極を含む。

映像入力１３４４は、ＨＭＤ上のレンダリングのために、１次処理コンピュータ（例えば主要ゲーム機）からの映像信号を受信するように構成される。いくつかの実施態様では、映像入力はＨＤＭＩ（登録商標）入力である。

ヘッドマウントディスプレイ１０２の前述の構成要素は、ヘッドマウントディスプレイ１０２に含まれ得る単なる例示的な構成要素として説明されている。本開示の様々な実施形態では、ヘッドマウントディスプレイ１０２は、前述の様々な構成要素のいくつかを、含んでも含まなくてもよい。本明細書において説明される本開示の態様を簡易にするために、ここでは記述されていないが当技術分野では既知の他の構成要素が、ヘッドマウントディスプレイ１０２の実施形態にさらに含まれ得る。

図１０は、本開示の様々な実施形態による、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、１つ以上のクライアント１４１０に対し、ネットワーク１４１５を介して映像ストリームを提供するように構成される。ゲームシステム１４００は通常、映像サーバシステム１４２０と、任意のゲームサーバ１４２５とを含む。映像サーバシステム１４２０は、１つ以上のクライアント１４１０に対し、最低限のサービス品質の映像ストリームを提供するように構成される。例えば、映像サーバシステム１４２０は、ビデオゲームの状態またはビデオゲーム内の視点を変更するゲームコマンドを受信し、この状態変更を反映した更新済映像ストリームを、最小の遅延時間でクライアント１４１０に提供し得る。映像サーバシステム１４２０は、映像ストリームを、まだ定義されていないフォーマットを含む多種多様な代替的映像フォーマットで提供するように構成され得る。さらに、映像ストリームは、多種多様なフレームレートでユーザに提示されるように構成された映像フレームを含み得る。通常のフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び毎秒１２０フレームである。しかし本開示の代替的な実施形態には、より高いまたはより低いフレームレートが含まれる。

本明細書において個別に１４１０Ａ、１４１０Ｂなどと称されるクライアント１４１０には、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲーム機、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線デバイス、デジタルパッド、スタンドアロンデバイス、及び／またはハンドヘルドゲームプレイデバイスなどが含まれ得る。通常、クライアント１４１０は、符号化された映像ストリームを受信し、映像ストリームを復号化し、復号化の結果映像をユーザ、例えばゲームのプレーヤに提示するように構成される。符号化された映像ストリームを受信する及び／または映像ストリームを復号化するプロセスは通常、クライアントの受信バッファに個々の映像フレームを記憶することを含む。映像ストリームは、クライアント１４１０と一体のディスプレイ上、またはモニタもしくはテレビなどの別個のデバイス上で、ユーザに提示され得る。クライアント１４１０は、任意で複数のゲームプレーヤを支援するように構成される。例えば、ゲーム機は、２人、３人、４人以上の同時プレーヤを支援するように構成され得る。これらのプレーヤのそれぞれは、別個の映像ストリームを受信し得る、または単一の映像ストリームは、各プレーヤのために特別に生成された、例えば各プレーヤの視点に基づいて生成されたフレームの領域を含み得る。クライアント１４１０は、任意で地理的に分散される。ゲームシステム１４００に含まれるクライアントの数は、１つまたは２つから、数千、数万以上まで、大幅に異なり得る。本明細書で用いられるように、用語「ゲームプレーヤ」は、ゲームをプレイする人を指すために用いられ、用語「ゲームプレイデバイス」は、ゲームをプレイするために使用されるデバイスを指すために用いられる。いくつかの実施形態では、ゲームプレイデバイスは、協働してユーザにゲーム体験を届ける複数のコンピューティングデバイスを指し得る。例えば、ゲーム機及びＨＭＤは、映像サーバシステム１４２０と協働して、ＨＭＤを通して見られるゲームを配信し得る。一実施形態では、ゲーム機は、映像サーバシステム１４２０から映像ストリームを受信し、ゲーム機は、レンダリングを行うＨＭＤに対し、映像ストリームまたは映像ストリームへの更新を転送する。

クライアント１４１０は、ネットワーク１４１５を介して映像ストリームを受信するように構成される。ネットワーク１４１５は、電話ネットワーク、インターネット、無線ネットワーク、電力線ネットワーク、ローカルエリアネットワーク、広域ネットワーク、及び／またはプライベートネットワークなどを含む任意の種類の通信ネットワークであり得る。典型的な実施形態では、映像ストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して通信される。あるいは、映像ストリームは、プロプライエタリ規格を介して通信される。

クライアント１４１０の典型的な例には、プロセッサと、不揮発性メモリと、ディスプレイと、復号化ロジックと、ネットワーク通信能力と、入力デバイスとを備えるパーソナルコンピュータが挙げられる。復号化ロジックには、コンピュータ可読媒体に格納されたハードウェア、ファームウェア、及び／またはソフトウェアが含まれ得る。映像ストリームを復号化（及び符号化）するシステムは、当技術分野において周知であり、使用される特定の符号化スキームに応じて異なる。

クライアント１４１０は、必須ではないが、受信した映像を変更するように構成されたシステムをさらに含み得る。例えば、クライアントは、１つの映像を別の映像上にオーバーレイするために、及び／または映像を切り取るためになど、さらなるレンダリングを行うように構成され得る。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム、及びＢフレームなどの様々な種類の映像フレームを受信し、これらのフレームを、ユーザに表示するための画像に処理するように構成され得る。いくつかの実施形態では、クライアント１４１０の一員は、映像ストリームに対しさらなるレンダリング、シェーディング、または３Ｄ変換などの動作を行うように構成される。クライアント１４１０の一員は、任意で複数の音声または映像ストリームを受信するように構成される。クライアント１４１０の入力デバイスには、例えば、片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置感知デバイス、マウス、タッチスクリーン、神経インターフェース、カメラ、及び／または開発中の入力デバイスなどが含まれ得る。

クライアント１４１０が受信する映像ストリーム（及び任意で音声ストリーム）は、映像サーバシステム１４２０により生成及び提供される。本明細書の別の箇所でさらに説明されるように、この映像ストリームは、映像フレームを含む（及び音声ストリームは音声フレームを含む）。映像フレームは、ユーザに表示する画像に有意義に貢献するように構成される（例えば映像フレームは、好適なデータ構造の画素情報を含む）。本明細書において使用される用語「映像フレーム」は、ユーザに表示される画像に対し、例えば作用するなど貢献するように構成された情報を主として含むフレームを指すために使用される。「映像フレーム」に関する本明細書の教示のほとんどは、「音声フレーム」にも適用することができる。

クライアント１４１０は通常、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更する、あるいはゲームプレイに作用するように構成されたゲームコマンドを含み得る。ゲームコマンドは、入力デバイスを用いて受信することができ、及び／またはクライアント１４１０上で実行されるコンピューティング命令により自動的に生成され得る。受信されたゲームコマンドは、ネットワーク１４１５を介してクライアント１４１０から、映像サーバシステム１４２０及び／またはゲームサーバ１４２５へ通信される。例えば、いくつかの実施形態では、ゲームコマンドは、映像サーバシステム１４２０を介してゲームサーバ１４２５へ通信される。いくつかの実施形態では、ゲームコマンドの別個の複製が、クライアント１４１０から、ゲームサーバ１４２５及び映像サーバシステム１４２０へ通信される。ゲームコマンドの通信は、任意でコマンドの識別に依存する。ゲームコマンドは任意で、クライアント１４１０Ａに音声または映像ストリームを提供するために使用される経路または通信チャネルとは異なる経路または通信チャネルを通して、クライアント１４１０Ａから通信される。

ゲームサーバ１４２５は任意で、映像サーバシステム１４２０とは異なるエンティティにより運用される。例えば、ゲームサーバ１４２５は、マルチプレーヤゲームの発行者により運営され得る。この例では、映像サーバシステム１４２０は、任意でゲームサーバ１４２５によりクライアントとして見なされ、任意でゲームサーバ１４２５の観点から、従来技術のゲームエンジンを実行する従来技術のクライアントに見えるように構成される。映像サーバシステム１４２０とゲームサーバ１４２５との間の通信は、任意でネットワーク１４１５を介して行われる。よって、ゲームサーバ１４２５は、映像サーバシステム１４２０を含む複数のクライアントにゲーム状態情報を送信する従来技術のマルチプレーヤゲームサーバであり得る。映像サーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成され得る。例えば、映像サーバシステム１４２０は、異なるユーザに複数の異なるビデオゲームを提供するように構成され得る。これらの異なるビデオゲームのそれぞれは、異なるゲームサーバ１４２５により支援され得、及び／または異なるエンティティにより発行され得る。いくつかの実施形態では、映像サーバシステム１４２０のいくつかの地理的に分散されたインスタンスは、複数の異なるユーザにゲーム映像を提供するように構成される。映像サーバシステム１４２０のこれらのインスタンスのそれぞれは、ゲームサーバ１４２５の同じインスタンスと通信し得る。映像サーバシステム１４２０と１つ以上のゲームサーバ１４２５との間の通信は、任意で専用通信チャネルを介して行われる。例えば、映像サーバシステム１４２０は、ゲームサーバ１４２５に対し、これらの２つのシステム間の通信専用である高帯域幅チャネルを介して接続され得る。

映像サーバシステム１４２０は少なくとも、映像源１４３０と、Ｉ／Ｏデバイス１４４５と、プロセッサ１４５０と、非一時的ストレージ１４５５とを備える。映像サーバシステム１４２０は、１つのコンピューティングデバイスを含み得る、または複数のコンピューティングデバイスに分散され得る。これらのコンピューティングデバイスは任意で、ローカルエリアネットワークなどの通信システムを介して接続される。

映像源１４３０は、例えば動画を形成するストリーミング映像または一連の映像フレームといった映像ストリームを提供するように構成される。いくつかの実施形態では、映像源１４３０は、ビデオゲームエンジン及びレンダリングロジックを含む。ビデオゲームエンジンは、プレーヤからゲームコマンドを受信し、受信したコマンドに基づいてビデオゲームの状態の複製を保持するように構成される。このゲーム状態は、ゲーム環境内のオブジェクトの位置、並びに通常では視点を含む。ゲーム状態はまた、プロパティ、画像、色、及び／またはオブジェクトの質感も含み得る。ゲーム状態は通常、ゲーム規則、並びに移動する、方向転換する、攻撃する、焦点を設定する、インタラクトする、及び／または使用するなどのゲームコマンドに基づいて、維持される。ゲームエンジンの一部は任意で、ゲームサーバ１４２５内に配置される。ゲームサーバ１４２５は、地理的分散クライアントを用いて複数のプレーヤから受信したゲームコマンドに基づいて、ゲームの状態の複製を維持し得る。これらの事例では、ゲーム状態はゲームサーバ１４２５により映像源１４３０に提供され、ゲーム状態の複製は記憶され、レンダリングが行われる。ゲームサーバ１４２５は、ネットワーク１４１５を介して直接クライアント１４１０からゲームコマンドを受信してもよく、及び／または映像サーバシステム１４２０を介してゲームコマンドを受信してもよい。

映像源１４３０は通常、例えばストレージ１４５５などのコンピュータ可読媒体に格納されたハードウェア、ファームウェア、及び／またはソフトウェアといったレンダリングロジックを含む。このレンダリングロジックは、ゲーム状態に基づいて、映像ストリームの映像フレームを作成するように構成される。レンダリングロジックの全てまたは一部は任意で、グラフィック処理ユニット（ＧＰＵ）内に配置される。レンダリングロジックは通常、ゲーム状態及び視点に基づいて、オブジェクト間の３次元空間関係を特定するように、及び／または好適な質感などを適用するように構成された処理段階を含む。レンダリングロジックは、生映像を生成し、生映像は通常、クライアント１４１０へ通信する前に符号化される。例えば、生映像は、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、またはｍｐ３などに従って符号化され得る。符号化プロセスは、遠隔デバイス上のデコーダに配信するために任意でパッケージされた映像ストリームを生成する。映像ストリームは、フレームサイズ及びフレームレートにより特徴付けられる。典型的なフレームサイズには、８００×６００、１２８０×７２０（例えば７２０ｐ）、１０２４×７６８が含まれるが、任意の他のフレームサイズも使用することができる。フレームレートは、１秒あたりの映像フレームの数である。映像ストリームは、様々な種類の映像フレームを含み得る。例えば、Ｈ．２６４規格は、「Ｐ」フレーム及び「Ｉ」フレームを含む。Ｉフレームは、ディスプレイデバイス上の全てのマクロブロック／画素を更新する情報を含み、一方Ｐフレームは、その部分集合を更新する情報を含む。Ｐフレームは通常、Ｉフレームよりデータサイズが小さい。本明細書において使用される用語「フレームサイズ」は、フレーム内の画素数を指すことを意味する。用語「フレームデータサイズ」は、フレームを記憶するのに必要なバイト数を指すために使用される。

代替的な実施形態では、映像源１４３０は、カメラなどの映像記録デバイスを含む。このカメラを使用して、コンピュータゲームの映像ストリームに含めることができる遅延映像またはライブ映像が生成され得る。得られた映像ストリームは任意で、レンダリングされた画像と、静止画カメラまたは動画カメラを使用して記録された画像との両方を含む。映像源１４３０はまた、映像ストリームに含めるために事前に記録した映像を記憶するように構成されたストレージデバイスも含み得る。映像源１４３０はまた、例えば人といったオブジェクトの動作または位置を検出するように構成された動作または位置感知デバイスと、ゲーム状態を特定する、あるいは検出された動作及び／または位置に基づいた映像を生成するように構成されたロジックとを含み得る。

映像源１４３０は任意で、他の映像上に配置されるように構成されたオーバーレイを提供するように構成される。例えば、これらのオーバーレイには、コマンドインターフェース、ログイン指示、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤの映像配信（例えばウェブカメラ映像）が含まれ得る。クライアント１４１０Ａがタッチスクリーンインターフェースまたは視線検出インターフェースを含む実施形態では、オーバーレイには、仮想キーボード、ジョイスティック、及び／またはタッチパッドなどが含まれ得る。オーバーレイの一例では、プレーヤの声が音声ストリームにオーバーレイされる。映像源１４３０は任意で、１つ以上の音声源をさらに含む。

映像サーバシステム１４２０が複数のプレーヤからの入力に基づいてゲーム状態を維持するように構成された実施形態では、ビューの位置及び方向を含む視点は、各プレーヤで異なり得る。映像源１４３０は任意で、各プレーヤの視点に基づいて、別個の映像ストリームを各プレーヤに提供するように構成される。さらに、映像源１４３０は、クライアント１４１０それぞれに対し、異なるフレームサイズ、フレームデータサイズ、及び／または符号化を提供するように構成され得る。映像源１４３０は任意で、３Ｄ映像を提供するように構成される。

Ｉ／Ｏデバイス１４４５は、映像サーバシステム１４２０のために、映像、コマンド、情報要求、ゲーム状態、視線情報、デバイス動作、デバイス位置、ユーザ動作、クライアント識別、プレーヤ識別、ゲームコマンド、セキュリティ情報、及び／または音声などの情報を、送信及び／または受信するように構成される。Ｉ／Ｏデバイス１４４５は通常、ネットワークカードまたはモデムなどの通信ハードウェアを含む。Ｉ／Ｏデバイス１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／またはクライアント１４１０と通信するように構成される。

プロセッサ１４５０は、本明細書において論述される映像サーバシステム１４２０の様々な構成要素内に含まれる、例えばソフトウェアといったロジックを実行するように構成される。例えば、プロセッサ１４５０は、映像源１４３０、ゲームサーバ１４２５、及び／またはクライアントクオリファイア１４６０の機能を実行するように、ソフトウェア命令でプログラムされ得る。映像サーバシステム１４２０は任意で、プロセッサ１４５０の複数のインスタンスを含む。プロセッサ１４５０はまた、映像サーバシステム１４２０が受信したコマンドを実行するように、または本明細書において論述されるゲームシステム１４００の様々な要素の動作を調整するように、ソフトウェア命令でプログラムされ得る。プロセッサ１４５０は、１つ以上のハードウェアデバイスを含み得る。プロセッサ１４５０は、電子プロセッサである。

ストレージ１４５５は、非一時的アナログ及び／またはデジタルストレージデバイスを含む。例えば、ストレージ１４５５は、映像フレームを記憶するように構成されたアナログストレージデバイスを含み得る。ストレージ１４５５は、例えばハードドライブ、光学ドライブ、またはソリッドステートストレージといったコンピュータ可読デジタルストレージを含み得る。ストレージ１４５５は、映像フレーム、人工フレーム、映像フレームと人工フレームの両方を含む映像ストリーム、音声フレーム、及び／または音声ストリームなどを記憶するように構成される（例えば好適なデータ構造またはファイルシステムにより）。ストレージ１４５５は任意で、複数のデバイスに分散される。いくつかの実施形態では、ストレージ１４５５は、本明細書の別の箇所で論述される映像源１４３０のソフトウェア構成要素を格納するように構成される。これらの構成要素は、必要時にすぐにプロビジョニングできる形式で格納され得る。

映像サーバシステム１４２０は任意で、クライアントクオリファイア１４６０をさらに備える。クライアントクオリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂなどのクライアントの能力を遠隔で特定するように構成される。これらの能力には、クライアント１４１０Ａ自体の能力、並びにクライアント１４１０Ａと映像サーバシステム１４２０との間の１つ以上の通信チャネルの能力の両方が含まれ得る。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を通して、通信チャネルを検査するように構成され得る。

クライアントクオリファイア１４６０は、手動または自動で、クライアント１４１０Ａの能力を特定（例えば発見）し得る。手動特定は、クライアント１４１０Ａのユーザと通信して、ユーザに能力を提供するように依頼することを含む。例えば、いくつかの実施形態では、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に画像及び／またはテキストなどを表示するように構成される。一実施形態では、クライアント１４１０Ａは、ブラウザを含むＨＭＤである。別の実施形態では、クライアント１４１０Ａは、ＨＭＤ上に表示され得るブラウザを有するゲーム機である。表示されるオブジェクトは、ユーザに、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、映像デコーダの種類、ネットワーク接続の種類、ディスプレイの解像度などの情報を入力するように要求する。ユーザにより入力された情報は、クライアントクオリファイア１４６０へ返信される。

自動特定は、例えば、クライアント１４１０Ａ上でエージェントを実行することにより、及び／またはクライアント１４１０Ａにテスト映像を送信することにより、行われ得る。エージェントは、ウェブページに埋め込まれた、またはアドオンとしてインストールされたジャバスクリプトなどのコンピューティング命令を備え得る。エージェントは任意で、クライアントクオリファイア１４６０により提供される。様々な実施形態では、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号化及び表示能力、クライアント１４１０Ａと映像サーバシステム１４２０間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１４１０Ａのディスプレイの種類、クライアント１４１０Ａ上に存在するファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａ上で実行されるソフトウェア、及び／またはクライアント１４１０Ａ内のレジストリエントリなどを、見つけ出すことができる。

クライアントクオリファイア１４６０は、コンピュータ可読媒体に格納されたハードウェア、ファームウェア、及び／またはソフトウェアを含む。クライアントクオリファイア１４６０は任意で、映像サーバシステム１４２０の他の１つ以上の要素とは別個のコンピューティングデバイス上に配置される。例えば、いくつかの実施形態では、クライアントクオリファイア１４６０は、クライアント１４１０と映像サーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特性を特定するように構成される。これらの実施形態では、クライアントクオリファイアが発見した情報を使用して、クライアント１４１０のうちの１つにストリーミング映像を配信するのに最も好適な映像サーバシステム１４２０のインスタンスが特定され得る。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースのもしくはプログラム可能な一般消費者向け電気製品、小型コンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成により実施され得る。本開示はまた、有線ベースまたは無線のネットワークを通してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

前述の実施形態を念頭に、本開示は、コンピュータシステムに記憶されるデータを伴う様々なコンピュータ実施動作を採用し得ることを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示の一部を形成する、本明細書で説明される動作のいずれも、有益な機械動作である。本開示はまた、これらの動作を実行するためのデバイスまたは機器に関する。機器は、必要な目的のために特別に構築され得る、あるいは機器は、コンピュータに記憶されたコンピュータプログラムにより選択的に有効化または構成された汎用コンピュータであり得る。具体的には、様々な汎用機械が、本明細書における教示に従って書かれたコンピュータプログラムと共に使用することができる、あるいは必要な動作を実行するようにより特化した機器を構築するほうがより便利であり得る。

本開示はまた、コンピュータ可読媒体上のコンピュータ可読コードとしても具現化することができる。コンピュータ可読媒体は、後でコンピュータシステムにより読み出され得るデータを記憶可能な任意のデータストレージデバイスである。コンピュータ可読媒体の例には、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスが挙げられる。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で記憶され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。

いくつかの例では、方法の動作は特定の順序で説明されたが、動作の間に他のハウスキーピング動作が実行されてもよく、またはわずかに異なる時間に動作が起こるように動作が調整されてもよいことを理解されたい。いくつかの実施形態では、オーバーレイ動作の処理が所望の方法で実行される限り、動作はシステム内に分散されてもよく、これにより様々な処理関連間隔で処理動作が行われることが可能となる。

前述の開示は、理解を明確にするためにある程度詳細に説明されたが、特定の変更及び修正は、添付の特許請求の範囲内で実施できることは明らかであろう。従って、本実施形態は、限定ではなく例示とみなされるべきであり、本開示は、本明細書で与えられる詳細に限定されるものではないが、本開示及び添付の特許請求の範囲内及び均等物内で変更されてもよい。

Claims (23)

1. 仮想現実プレーヤの仮想現実環境を観覧する方法であって、
   観覧者のハンドヘルドデバイスにより、ヘッドマウントディスプレイ（ＨＭＤ）を使用する前記仮想現実プレーヤに提示される前記仮想現実環境を実行するコンピュータと、接続を確立することと、
   前記ハンドヘルドデバイスの第１のカメラにより、現実世界空間内の前記仮想現実プレーヤの現在位置を取り込むことと、
   前記ハンドヘルドデバイスの第２のカメラにより、前記観覧者の顔の位置を取り込むことであって、前記顔の位置は、前記ハンドヘルドデバイスの画面に対する視野方向を特定するために監視され、前記ハンドヘルドデバイスの前記画面は、前記仮想現実環境と、前記仮想現実環境内でインタラクトする前記仮想現実プレーヤの少なくとも一部とを提示するように構成され、前記ハンドヘルドデバイスの現在位置及び前記観覧者の前記顔の位置は、前記仮想現実プレーヤに提示される前記仮想現実環境を実行する前記コンピュータに、継続的に共有される、前記ハンドヘルドデバイスの前記第２のカメラにより、前記観覧者の前記顔の位置を取り込むことと、
   前記現実世界における前記仮想現実プレーヤの前記現在位置と、前記ハンドヘルドデバイスの前記画面に対する前記観覧者の前記視野方向とに合わせて調整された、前記仮想現実プレーヤの少なくとも一部を含む前記仮想現実環境の映像ストリームを、前記コンピュータから受信することと
   を含む、方法。
2. 前記継続的に共有される前記観覧者の顔の位置を使用して、前記観覧者の顔と前記画面との間の距離の変化が特定される、請求項１に記載の方法。
3. 前記距離の前記特定された変化に基づいて、前記仮想現実環境の前記受信された映像ストリームにおいてズームインまたはズームアウト画像を受信することをさらに含む請求項２に記載の方法。
4. 前記観覧者の前記顔と前記画面との間の前記距離が遠くなると、前記ズームインが行われ、前記観覧者の前記顔と前記画面との間の前記距離が近くなると、前記ズームアウトが行われる、請求項３に記載の方法。
5. 前記現実世界空間における前記仮想現実プレーヤの前記現在位置を使用して、ＨＭＤ視野方向が特定され、前記コンピュータは前記ＨＭＤ視野方向を使用して、前記ＨＭＤに提供されるビューを、前記仮想現実プレーヤが前記ＨＭＤを使用して制御したビューに近づける、請求項１に記載の方法。
6. 前記ハンドヘルドデバイスの前記画面に対する前記視野方向を特定するために、前記観覧者の目が追跡され、前記ハンドヘルドデバイスの前記第２のカメラを使用して前記目の視線は追跡される、請求項１に記載の方法。
7. 前記仮想現実プレーヤの周りにいる前記観覧者による前記ハンドヘルドデバイスの動きにより、前記ハンドヘルドデバイスの前記画面上に提示された前記映像ストリームにより提供されるビューが更新される、請求項１に記載の方法。
8. 前記ビューの更新により、前記仮想現実環境の周りの３６０度ビューが可能となり、前記動きにより、前記仮想現実プレーヤを除く前記仮想現実環境の領域を見ることが可能となる、請求項７に記載の方法。
9. 前記仮想現実プレーヤは、前記仮想現実環境とインタラクトするキャラクタとして、前記仮想現実環境内でレンダリングされる、請求項１に記載の方法。
10. 前記継続的共有は、前記接続を介して可能であり、前記接続は、前記ハンドヘルドデバイスの前記第１のカメラ及び前記第２のカメラを使用して取り込まれた画像のストリームを、前記コンピュータに送信するように構成された無線接続である、請求項１に記載の方法。
11. 前記コンピュータは、前記画像のストリームを分析して、前記ハンドヘルドデバイスの前記現在位置に対する前記現実世界空間内の前記仮想現実プレーヤの前記現在位置を特定するように構成されており、その結果、前記ハンドヘルドデバイスの前記画面に提供される前記映像ストリームにより、前記ＨＭＤを使用して提示される前記仮想環境内を見ることが可能となり、よって、前記ハンドヘルドデバイスを介して前記仮想現実環境内を見ることは、前記ハンドヘルドデバイスの動きにより制御され、前記ＨＭＤを介して仮想現実環境内を見ることは、前記仮想現実プレーヤによる前記ＨＭＤの動きにより独立して制御される、請求項１０に記載の方法。
12. 前記観覧者による前記ハンドヘルドデバイスの動きにより、前記仮想現実環境内に描かれた仮想現実プレーヤの上、下、及び周りを見ることが可能となる、請求項１に記載の方法。
13. 前記ハンドヘルドデバイスの動きは、前記現実世界空間内の前記仮想現実プレーヤの前記現在位置に相対するものであり、前記ハンドヘルドデバイスの前記動きにより、前記仮想現実環境内のオブジェクトは、前記ハンドヘルドデバイスが前記観覧者の顔に近づくとパンアウトビューで、前記ハンドヘルドデバイスが前記観覧者の前記顔から離れるとパンインビューで、見ることが可能となる、請求項１に記載の方法。
14. 仮想現実プレーヤの仮想現実環境を観覧する方法であって、
    コンピュータを介して前記仮想現実環境を実行することと、
    前記コンピュータと観覧者のハンドヘルドデバイスとの接続を確立することであって、前記仮想現実環境は、ヘッドマウントディスプレイ（ＨＭＤ）を使用する前記仮想現実プレーヤに提示される、前記コンピュータと前記観覧者の前記ハンドヘルドデバイスとの前記接続を確立することと、
    前記ハンドヘルドデバイスの第１のカメラにより取り込まれた画像データを受信して、現実世界空間内の前記仮想現実プレーヤの第１の位置を特定することと、
    前記観覧者の顔の位置を特定するための画像データを受信して、第２のカメラを使用して前記ハンドヘルドデバイスの画面に対する視野方向を特定することであって、前記ハンドヘルドデバイスの前記画面は、前記仮想現実環境と、前記仮想現実環境内でインタラクトする前記仮想現実プレーヤの少なくとも一部とを提示するように構成され、前記ハンドヘルドデバイスの現在位置及び前記観覧者の前記顔の位置は、前記仮想現実プレーヤに提示される前記仮想現実環境を実行する前記コンピュータにより、継続的に受信される、前記観覧者の前記顔の位置を特定するための前記画像データを受信して、前記第２のカメラを使用して前記ハンドヘルドデバイスの前記画面に対する前記視野方向を特定することと、
    前記現実世界における前記仮想現実プレーヤの前記現在位置と、前記ハンドヘルドデバイスの前記画面に対する前記観覧者の前記視野方向とに合わせて調整された、前記仮想現実プレーヤの少なくとも一部を含む前記仮想現実環境の映像ストリームを、前記ハンドヘルドデバイスに送信することと
    を含む、方法。
15. 前記継続的に受信される前記観覧者の顔の位置を使用して、前記観覧者の顔と前記画面との間の距離の変化が特定され、
    前記距離の前記特定された変化に基づいて、前記仮想現実環境の前記送信された映像ストリームのズームインまたはズームアウト画像を送信することをさらに含む、
    請求項１４に記載の方法。
16. 前記観覧者の前記顔と前記画面との間の前記距離が遠くなると、前記ズームインが行われ、前記観覧者の前記顔と前記画面との間の前記距離が近くなると、前記ズームアウトが行われる、請求項１５に記載の方法。
17. 前記現実世界空間における前記仮想現実プレーヤの前記現在位置を使用して、ＨＭＤ視野方向が特定され、前記コンピュータは前記ＨＭＤ視野方向を使用して、前記ＨＭＤに提供されるビューを、前記仮想現実プレーヤが前記ＨＭＤを使用して制御したビューに近づける、請求項１４に記載の方法。
18. 前記ハンドヘルドデバイスの前記画面に対する前記視野方向を特定するために、前記観覧者の目が追跡され、前記ハンドヘルドデバイスの前記第２のカメラを使用して前記目の視線は追跡される、請求項１４に記載の方法。
19. 前記コンピュータは、画像ストリームを分析して、前記ハンドヘルドデバイスの前記現在位置に対する前記現実世界空間内の前記仮想現実プレーヤの前記現在位置を特定するように構成されており、その結果、前記ハンドヘルドデバイスの前記画面に提供される前記映像ストリームにより、前記ＨＭＤを使用して提示される前記仮想環境内を見ることが可能となり、よって、前記ハンドヘルドデバイスを介して前記仮想現実環境内を見ることは、前記ハンドヘルドデバイスの動きにより制御され、前記ＨＭＤを介して仮想現実環境内を見ることは、前記仮想現実プレーヤによる前記ＨＭＤの動きにより独立して制御される、請求項１４に記載の方法。
20. 前記仮想現実プレーヤは、前記仮想現実環境とインタラクトするキャラクタとして、前記仮想現実環境内でレンダリングされ、前記継続的受信は、前記接続を介して可能であり、前記接続は、前記ハンドヘルドデバイスの前記第１のカメラ及び前記第２のカメラを使用して取り込まれた画像のストリームを、前記コンピュータに受信するように構成された無線接続である、請求項１４に記載の方法。
21. 前記観覧者による前記ハンドヘルドデバイスの動きにより、前記仮想現実環境内に描かれた仮想現実プレーヤの上、下、及び周りを見ることが可能となる、請求項１４に記載の方法。
22. 前記仮想現実プレーヤの周りにいる前記観覧者による前記ハンドヘルドデバイスの動きにより、前記ハンドヘルドデバイスの前記画面上に提示された前記映像ストリームのビューが更新され、前記ビューの更新により、前記仮想現実環境の周りの３６０度ビューが可能となり、前記動きにより、前記仮想現実プレーヤを除く前記仮想現実環境の領域を見ることが可能となる、請求項１４に記載の方法。
23. 前記ハンドヘルドデバイスの動きは、前記現実世界空間内の前記仮想現実プレーヤの前記現在位置に相対するものであり、前記ハンドヘルドデバイスの前記動きにより、前記仮想現実環境内のオブジェクトは、前記ハンドヘルドデバイスが前記観覧者の顔に近づくとパンアウトビューで、前記ハンドヘルドデバイスが前記観覧者の前記顔から離れるとパンインビューで、見ることが可能となる、請求項１４に記載の方法。