JP2019516159A - Ｖｒ環境における観客ビュー視点 - Google Patents

Abstract

【解決手段】観客のために仮想現実環境のビューを生成する方法、システム、コンピュータ可読媒体、及び、クラウドシステムを提供する。方法の一例は、観客が、仮想現実環境を視聴し、環境内のどの特定のコンテンツを観客が見たいかを制御することを可能にすることを含む。特定のコンテンツに観客が近付いたり遠ざかったりすることを可能にして、観客の近付く動きまたは遠ざかる動きによって、観客とコンテンツを共有しているＨＭＤプレイヤが生成している仮想現実コンテンツ内のコンテンツを自動スケーリングする。他の特徴は、観客がコンテンツの視野角を調節できることを含む。コンテンツの視野角は、観客がコンテンツの方に手を伸ばし、または、コンテンツシーンを制御し、観客の位置に対して最も快適な視野角にコンテンツを配置するのを可能にすることによって、移動させることができる。【選択図】図７

Description

本開示は、ヘッドマウントディスプレイ（ＨＭＤ）に提示される仮想現実（ＶＲ）環境コンテンツと、観戦しているユーザによるＶＲ環境へのアクセスを組み込む方法及びシステムと、ＶＲ環境でインタラクトするＨＭＤユーザがナビゲートしている動的に変化している環境をユーザが観戦することを可能にする方法と、関連する装置及び方法に関する。

ビデオゲーム産業は、年を追って大きく変化した。コンピューティング能力が拡大したので、ビデオゲームの開発者は、コンピューティング能力のこの向上を利用するゲームソフトウェアをさらに作成してきた。このために、ビデオゲーム開発者は、高度な演算や数学を組み込んで、非常に詳細で人を引き付けるゲーム体験を生成するゲームを符号化してきた。

ゲームプラットフォームの例は、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ（登録商標）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ２（登録商標）（ＰＳ２）、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ３（登録商標）（ＰＳ３）、及び、Ｓｏｎｙ Ｐｌａｙｓｔａｔｉｏｎ４（登録商標）（ＰＳ４）を含み、それらは、それぞれ、ゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、ディスプレイ（典型的には、テレビ）に接続して、ハンドヘルドコントローラを通してユーザインタラクションを可能にするように設計される。ゲームコンソールは、ＣＰＵと、集約的なグラフィック演算を処理するためのグラフィックスシンセサイザと、ジオメトリ変換を行うためのベクトルユニットと、他のグルーハードウェア、ファームウェア、及び、ソフトウェアとを含む専門処理ハードウェアを有するように設計される。ゲームコンソールは、ゲームコンソールを通したローカルプレイのためのゲームディスクを受ける光学ディスクリーダを有するようにさらに設計されてよい。オンラインゲームも可能で、ユーザは、インターネットを通して他のユーザに対して、または、他のユーザと共にインタラクティブにプレイできる。ゲームの複雑さが、プレイヤの興味を引き付け続けるので、ゲームとハードウェアのメーカーはさらなるインタラクティブ性とコンピュータプログラムとを可能にするように革新を続けてきた。

コンピュータゲーム産業では、ユーザとゲームシステムの間のインタラクションを増やすゲームを開発する傾向が高まっている。より豊かなインタラクティブ体験を達成する１つの方法は、プレイヤの動きを追跡し、その動きをゲームの入力に使用するために、無線ゲームコントローラを使用して、無線ゲームコントローラの動きをゲームシステムによって追跡することである。一般的に言うと、ジェスチャ入力は、コンピュータシステム、ビデオゲームコンソール、スマート装置等の電子デバイスを、プレイヤが行い、電子デバイスが捕捉するジェスチャに反応させることを指す。

より没入型のインタラクティブ体験を達成する別の方法は、ヘッドマウントディスプレイを使用することである。ヘッドマウントディスプレイは、ユーザによって着用され、仮想空間のビュー等、様々なグラフィックスを提示するように構成できる。ヘッドマウントディスプレイに提示されるグラフィックスは、ユーザの視野の大部分または全てをカバーすることもできる。よって、ヘッドマウントディスプレイは、視覚的に没入型の体験をユーザに提供できる。

この文脈で、本開示の実施形態は生じる。

本開示の実施態様は、ＨＭＤユーザが遭遇する、視聴する、及び／または、インタフェースをとる仮想現実環境及びコンテンツの観戦を可能にするために使用される方法及びシステムを含む。ある実施形態においては、ＶＲユーザのＶＲ環境において、仮想現実空間にプレオーサリングされたスポット／場所を介してユーザが観戦できるようにする方法及びシステムを記載する。別の実施形態においては、観戦モードは、ユーザが、ＶＲユーザの視線方向を使用して、ＶＲ環境内の特定の場所に焦点を合わせるまたは識別するのを可能にする。例として、ＶＲユーザの視線方向によって、ＶＲ環境内の場所を識別でき、その場所を観客が識別できる。別の実施形態においては、オーディオコントロールを調節及び／または修正して、観客が、ＶＲユーザのＶＲ環境内の特定の場所に自分のリスニングを集中させることができるようにする。例えば、観戦しているユーザは、ＶＲ環境内のある場所が関心を引くと判断し、そうすると、観戦しているユーザが実際にその識別したＶＲ環境の場所にいるかのように、観戦しているユーザを取り巻く音を観戦しているユーザに提供するように、観戦しているユーザへの音を調節できる。

観客のための仮想現実環境のビューを生成する方法、システム、コンピュータ可読媒体、及び、クラウドシステムを提供する。方法の一例は、観客が、仮想現実環境を視聴でき、環境内のどの特定のコンテンツを自分が見たいかを制御できることを含む。観客が特定のコンテンツに近付いたり、特定のコンテンツから遠ざかったりするのを可能にして、観客の近付く動きまたは遠ざかる動きが、観客とコンテンツを共有しているＨＭＤプレイヤが生成している仮想現実コンテンツ内のコンテンツを自動的にスケーリングする。他の特徴は、観客がコンテンツの視野角を調節できることを含む。観客が、コンテンツの方に手を伸ばすのを可能にし、または、コンテンツシーンを制御するのを可能にし、そして、観客の位置にとって最も快適な視野角にコンテンツを配置するのを可能にすることによって、コンテンツの視野角を移動させることができる。

別の実施形態において、観客が視聴するための仮想現実コンテンツを処理する方法を提供する。方法は、ヘッドマウントディスプレイ（ＨＭＤ）プレイヤによるインタラクションと関連付けられた仮想現実ストリームをサーバで受信することを含む。ＨＭＤプレイヤは、仮想現実環境をナビゲートするように構成され、仮想現実環境のナビゲートは、ＨＭＤプレイヤビューを有する仮想現実ストリームを生成する。方法は、観客のデバイスを介して、観客のＨＭＤを用いて仮想現実ストリームを視聴する要求をサーバで受信することをさらに含む。サーバは、仮想現実ストリームのフィードを観客のデバイスに送信し、仮想現実ストリームのフィードは、ＨＭＤプレイヤビューと同じビュー及び異なったビューにできる仮想現実環境のＨＭＤ観客ビューを提供する。方法は、次に、サーバが、観客のＨＭＤの位置情報を受信することを含む。その位置が、観客のＨＭＤが仮想現実環境のコンテンツに近付いたことを示す時、サーバは、仮想現実環境の一部分のアップスケーリングを処理する。位置が、観客のＨＭＤが仮想現実環境のコンテンツから遠ざかったことを示す時、仮想現実環境の一部分のダウンスケーリングを処理する。

別の実施形態において、観客が視聴するための仮想現実コンテンツを処理する方法を提供する。方法は、ヘッドマウントディスプレイ（ＨＭＤ）プレイヤによるインタラクションに関連付けられた仮想現実ストリームをサーバで受信することを含む。ＨＭＤプレイヤは、仮想現実環境をナビゲートするように構成され、仮想現実環境のナビゲートは、ＨＭＤプレイヤビューを有する仮想現実ストリームを提供する。方法は、観客のデバイスを介して、観客のＨＭＤを用いて仮想現実ストリームを視聴する要求をサーバで受信することを含む。サーバは、仮想現実ストリームのフィードを観客のデバイスに送信する。仮想現実ストリームのフィードは、ＨＭＤプレイヤビューと同じビュー及び異なったビューにできる仮想現実環境のＨＭＤ観客ビューを提供する。サーバは、仮想現実環境のカスタム視聴方向を設定する命令を観客から受信し、次に、サーバが、仮想現実環境のカスタム視聴方向が観客のＨＭＤに送信されるように、仮想現実ストリームのフィードを調節する。

さらに別の実施形態においては、観客に対して仮想現実環境のビューを生成する方法を提供する。方法は、ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングするための仮想現実環境を生成することを含む。ＨＭＤプレイヤは、ＨＭＤプレイヤによるＨＭＤの動きによって制御されるＨＭＤビューを提供される。次に、仮想現実環境の観客ビューを提供する。観客ビューは、仮想現実環境に向けられたビュースポットに関連付けられる。ビュースポットは、ＨＭＤビューとは切り離されている。ある例においては、複数のビュースポットが、プレオーサリングされ、ＨＭＤプレイヤが仮想現実環境を動き回ると、観客は、ビュースポットのうちの異なるビュースポットを与えられる。

ある実施形態においては、ＨＭＤの動きによって、ＨＭＤビューは変わり、観客ビューのビュースポットを切り離すことによって、ＨＭＤビューの後を追う遅れたビュースポットの動きを生成する。

ある実施形態においては、ビュースポットの遅れた動きは、ＨＭＤの動きより遅い速度でＨＭＤビューの後を追うように機能する。

ある実施形態においては、ビュースポットは、仮想現実環境に関連付けられた複数のビュースポットの１つである。

ある実施形態においては、ビュースポットの厳選したビュースポットが、観客ビューのために選択される。

ある実施形態においては、ビュースポットの厳選したビュースポットが、仮想現実環境において関心を引くと識別された特定のコンテンツに基づいて、観客のために選択される。

ある実施形態においては、観客ビューは、ＨＭＤビューの一部である。

ある実施形態においては、観客ビューは、ＨＭＤビューより大きい。

ある実施形態においては、ＨＭＤプレイヤの視線方向を使用して、ＨＭＤプレイヤが視聴しているコンテンツを観客に対して識別する。

ある実施形態においては、方法は、観客による仮想現実環境内のリスニングゾーンの選択を受信することをさらに含み、リスニングゾーンの選択によって、リスニングゾーンの視点から観客にオーディオを提供する。

別の実施形態においては、サーバによって実行される観客ための仮想現実環境のビューを生成する方法を提供する。方法は、ＨＭＤプレイヤのヘッドマウントディスプレイ（ＨＭＤ）にレンダリングされる仮想現実環境のフィードをサーバが受信することを含む。ＨＭＤプレイヤは、ＨＭＤプレイヤによるＨＭＤの動きによって制御されるＨＭＤビューを提供される。仮想現実環境のフィードは、ウェブサイトに共有される。方法は、観客からのウェブサイトから仮想現実環境にアクセスする要求をサーバが受信することも含む。そして、サーバは、仮想現実環境の観客ビューを観客のデバイスに送信する。観客ビューは、仮想現実環境に向けられたビュースポットに関連付けられ、ＨＭＤビューとは切り離されている。ＨＭＤプレイヤが仮想現実環境を動き回ると、観客ビューは、仮想現実環境に向けられた他のビュースポットに更新される。

ある実施形態においては、ビュースポットは、プレオーサリングされたビュースポットであり、ＨＭＤプレイヤが仮想現実環境をあちこち移動すると、仮想現実環境の関心を引くビューを提供するように選択される。

ある実施形態においては、観客は、プレオーサリングされたビュースポットのあるビュースポットから別のビュースポットに動かされる。

ある実施形態においては、観客のプロファイルによって、ビューまたはコンテンツの種類に関する好みを識別し、好みを使用して、プレオーサリングされたビュースポットのうちのどのビュースポットを観客に提供するかを選択する。

ある実施形態においては、観客のデバイスは、観客が使用するＨＭＤ、または、観客が使用するテレビ画面、または、観客が使用するコンピュータ画面、または、観客が使用するハンドヘルドデバイス画面のうちの１つである。

ある実施形態においては、観客は、ＨＭＤプレイヤのＨＭＤビューを視聴するためのアクセスを提供する複数の観客のうちの一人である。

ある実施形態においては、ウェブサイトは、他のＨＭＤプレイヤの他のＨＭＤビューのオプションの選択を提供することによって、観客が、ＨＭＤビューのうちの特定のＨＭＤビューを選択して、１つまたは複数の観客ビューから各仮想現実環境を見ることができるようにする。

本開示の他の態様及び利点は、例を挙げて本開示の原理を示す、以下の詳細な記載を添付図面と合わせて読むと、明らかになろう。

本開示は、添付図面と共に以下の記載を参照するとよりよく理解されよう。

本開示の実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムの図である。

本開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す図である。

一実施形態による、クライアントシステムとインタフェースをとるＨＭＤユーザと、第２画面と呼ぶ第２画面ディスプレイにコンテンツを提供するクライアントシステムとの一例の図である。

本開示の実施形態による、実行しているビデオゲームと共にＨＭＤの機能を概念的に示す図である。

仮想現実環境をナビゲートしているＨＭＤプレイヤと、仮想現実コンテンツを視聴している一人または複数の観客との例を示す図である。

図５は、仮想現実環境をナビゲートしているＨＭＤプレイヤと、仮想現実シーン内の関心を引くコンテンツに基づいて、選択またはプレオーサリングできる仮想現実環境内の異なるビュースポットを提供されているＨＭＤ観客との例を示す図である。

図５Ａ〜５Ｃは、一実施形態による、観客が特定のコンテンツにズームインまたはズームアウトするのを可能にして、仮想現実コンテンツをスケーリングする例を示す図である。

図６Ａ〜６Ｂは、一実施形態による、観客が、ＨＭＤプレイヤが生成しているコンテンツの視野角を修正することを可能にして、観客の視野角または視聴位置を観客にとってより快適にする例を示す図である。

一実施形態による、観客が、ＨＭＤプレイヤによるインタラクティブなプレイに応答して生成される仮想現実環境とインタフェースし、また、観客との共有を可能にするサービスとインタフェースする例を示す図である。

本開示の実施形態による、ヘッドマウントディスプレイのコンポーネントを示す図である。

開示の様々な実施形態による、ゲームシステム１４００のブロック図である。

本開示の以下の実施態様は、観客の体験を向上させるカスタマイズされたビューをＨＭＤプレイヤの観客に提供する方法、システム、コンピュータ可読媒体、及び、クラウドシステムを提供する。一実施形態においては、観客は、例えば、ＨＭＤプレイヤに応答して生成されるもの等、視聴する特定の仮想現実（ＶＲ）環境を選択する能力を与えられる。

一実施形態においては、観客は、仮想現実環境を視聴する能力と、仮想現実コンテンツアイテムに近付くまたは遠ざかることによって、視聴しているコンテンツのスケーリングを自動的に制御する能力とを提供されてよい。一実施形態においては、観客が視聴しているコンテンツの自動スケーリングは、ＨＭＤプレイヤが視聴しているコンテンツを修正せず、仮想環境内の特定のコンテンツを視聴する観客にＨＭＤプレイヤのビューに結び付けられない付加的レベルの自由を提供する。本明細書において、ＨＭＤのビューに結び付けられるということは、観客は、同じビュー及びビューへの同じ角度を与えられ、ＨＭＤプレイヤの動作も同様に観客のビューに押し付けられることを意味する。本明細書に記載の実施形態は、利点として、ＨＭＤプレイヤのビューとは切り離されたビューを観客に提供し、これは、観客が関心を持ち得る仮想環境内の特定の特徴を見る能力を高め、それにより、ＨＭＤプレイヤがナビゲートしているＶＲ環境を異なる速度で移動し、異なる物を見る自由を提供する。

以下に述べるように、スケーリング機能は、観客が特定のコンテンツを見下ろす巨人であるかのように、特定のＶＲコンテンツへの異なる透視ビューまたはＶＲコンテンツの異なる透視ビューを提供できる。例えば、観客が、仮想現実環境の特定のアイテムをより近くで見る、または、そのアイテムに頭を近付ける場合、その仮想環境コンテンツは、より近くに現れ、また、観客は、自分が巨人であるかのように見える、または、感じる。

さらなる実施形態において、観客が、仮想現実環境とインタラクトでき、仮想現実環境の視野角を変更できる処理を提供する。この特徴は、例えば、観客が、コンテンツの方に手を伸ばし、コンテンツを把持または手に持って、コンテンツを別の視野角に移動するのを可能にする。その視野角は、観客により良い視聴位置を提供してよく、視聴位置は、観客がまっすぐ立っている、または、真っ直ぐ座っているのとは異なる。観客による視野角の移動及び調節によって、一人または複数の観客とＨＭＤ体験を共有しているＨＭＤプレイヤに対してコンテンツは修正されない。このように、複数の観客が、異なる角度もしくは位置、または、見やすい場所で、コンテンツを有することができる、または、視聴でき、これは、個々の観客にとって最も快適であり得る。

一実施形態においては、観客は、仮想現実環境の新しいビューと視点を与えられる。このビュー及び視点は、プレオーサリングされてよい。仮想現実環境内に仮想現実ビュースポットをプレオーサリングすることにより、ＨＭＤプレイヤがナビゲートしている時、観客が仮想現実シーン内の関心を引くコンテンツを視聴する、または、観客が関心を引くコンテンツに焦点を合わせるのを容易にできる。一実施形態においては、複数のビュースポットが、ＨＭＤプレイヤがナビゲートしているゲームエリア、コンテンツ、マルチメディア、または、一般的なコンテンツの異なる場所内にプレオーサリングされてよい。これらのビューは、ＨＭＤプレイヤのナビゲーションに基づいて、予め選択され、観客に割り当てることができる。

一実施形態においては、これらのビューは、滑らかな提示フォーマットで提供でき、ＨＭＤプレイヤの正確な視線方向に厳密に結び付けられず、固定されない。さらに、観客に提供されるビューは、ＨＭＤプレイヤが生成したのと全く同じビューが観客に見せられた場合に一般的であるコンテンツの素早い動きを観客に見せないように提供されてもよい。観客は、仮想現実シーンのビューを制御していないので、仮に観客のビューがＨＭＤプレイヤに直接結びつけられると、観客に提示されるコンテンツは、ＨＭＤプレイヤが頭を上下させたり、右または異なる方向に動かしたりする等、動きの速い時間を有することになる。一構成においては、観客ビューは、ＨＭＤプレイヤの動きの後を追うことができるが、観客が方向感覚を失うのを防ぐように、より滑らかな遅延を伴う。他の実施形態においては、観客ビューは、仮想現実環境内の異なる場所に固定できる。これらの固定された場所は、観客の関心を引く可能性があるとして、コンテンツ開発者によって選択される予め定められたスポットであってよい。代替実施形態においては、スポットは、例えば、ＨＭＤプレイヤの後を追うように移動できる。

ある実施形態においては、予め定められたスポットが、特定の観客に対して観客の好みに基づいて選択できる。観客が、ある種のコンテンツを視聴する好みを有する場合、仮想現実コンテンツ内のあるスポットが、その観客に対して選択できる。従って、異なる観客は、異なるスポットと、ＨＭＤプレイヤがナビゲートする仮想現実シーンへの視点とから異なるコンテンツを選択できる。さらに複数の観客が、例えば、Ｔｗｉｔｃｈタイプの共有を提供するウェブサイトを介して、ＨＭＤプレイヤコンテンツを視聴できるので、異なる観客は、仮想現実コンテンツ内の異なるビュースポットを有し得る。代替実施形態においては、全ての観客が、同じビュースポットから同じコンテンツを見ることができる。

さらに、観客が、Ｔｗｉｔｃｈタイプの共有を提供するウェブサイトを使用する場合、多くのＨＭＤプレイヤコンテンツフィードが、提供でき、また、様々な観客によって選択可能になる。フィードは、ＨＭＤプレイヤのコンピュータからウェブサイトにインターネットを介して共有でき、ウェブサイトは、コンテンツを公開できる、及び／または、観客が視聴するためにコンテンツを選択できるようにする。例として、ＨＭＤプレイヤが、ＨＭＤ体験の共有を決定する場合、その体験を観客が選択できる。そして、ビューの種類を選択する機能を観客に提供できる、または、ＨＭＤプレイヤのナビゲーションによって生成された仮想現実コンテンツを視聴するための特定のプレオーサリングされたスポットを観客に提供できる。一実施形態においては、仮想現実コンテンツへの切り離されたビュースポットを観客に提供することによって、典型的に、実際のＨＭＤプレイヤの視点から与えられる強固に固定されたビューを提供する必要が無くなる。

ある実施形態においては、観客に与えられるビューは、実際のＨＭＤプレイヤの視点からであってもよいが、ゴムバンドリンクまたはゴムバンド結合と呼ばれる、少し切り離された接続を備えてよい。ゴムバンドリンクは、ＨＭＤプレイヤの頭上に配置された仮想カメラに類似したビュースポットを提供する。ビューを提供する仮想カメラは、移動でき、ＨＭＤプレイヤの動きより少し遅れて、ＨＭＤプレイヤのビューの後を追うことができる。例として、ＨＭＤプレイヤが素早く左を見る場合、仮想カメラは、ＨＭＤプレイヤが見ている方向を追いかけて左にゆっくり移動できる。ＨＭＤプレイヤが、頭を素早く上下に動かす場合、ＨＭＤプレイヤの方向は、真っ直ぐに戻るので、仮想カメラの遅れにより、上下の動きを回避できる。

さらに別の実施形態においては、観客に、仮想現実環境への異なるビュースポットを提供できる、これは、ＨＭＤプレイヤ、または、ＨＭＤプレイヤが制御しているキャラクタを見ることも含み得る。一実施形態においては、この構成は、ＨＭＤプレイヤのキャラクタが仮想環境をあちこち移動する時、そのキャラクタを視聴しているある種の自動カメラマンアングルを規定できる。よって、ＨＭＤプレイヤが、環境、ゲーム、コンテンツ、または、シーン内の異なる場所をあちこち移動すると、観客に提供されるアングルは、より関心を引くものになり、異なるビュースポット間をシフトまたは移動できる。

一実施形態においては、方法、システム、撮像オブジェクト、センサ、及び、関連するインタフェースオブジェクト（例えば、手袋、コントローラ、手等）は、データを処理するように構成され、データは、ディスプレイ画面にほぼリアルタイムでレンダリングされるように構成される。ディスプレイは、ヘッドマウントディスプレイ（ＨＭＤ）のディスプレイ、第２画面のディスプレイ、ポータブルデバイスのディスプレイ、コンピュータディスプレイ、ディスプレイパネル、（例えば、コンテンツを視聴している、または、インタラクティブ体験を共有している）一人または複数の遠隔に接続されたユーザのディスプレイ等であってよい。

しかしながら、これらの特定の詳細の一部または全てを用いずに本開示を実践してよいことは当業者には明らかであろう。他の例においては、本開示を不必要に曖昧にしないために、周知のプロセス操作は記載していない。

図１は、本開示の実施形態による、ビデオゲームのインタラクティブなゲームプレイのためのシステムを示す。ヘッドマウントディスプレイ（ＨＭＤ）１０２を着用しているユーザ１００が示されている。ＨＭＤ１０２は、眼鏡、ゴーグル、または、ヘルメットと同様に着用され、ビデオゲームまたは他のコンテンツをユーザ１００に表示するように構成される。ＨＭＤ１０２は、ユーザの目のすぐ近くに表示機構を備えることによって、非常に没入型の体験をユーザに提供する。従って、ＨＭＤ１０２は、ユーザの視野の大部分または全体さえ占めるディスプレイ領域をユーザの両目のそれぞれに対して提供できる。

一実施形態においては、ＨＭＤ１０２は、コンピュータ１０６に接続できる。コンピュータ１０６への接続は、有線であっても無線であってもよい。コンピュータ１０６は、ゲームコンソール、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイス等を含むが、これらに限らない、当分野で既知の任意の汎用または専用コンピュータであってよい。一実施形態においては、コンピュータ１０６は、ビデオゲームを実行するように構成でき、また、ＨＭＤ１０２によってレンダリングするためのビデオ及びオーディオをビデオゲームから出力するように構成できる。

ユーザ１００は、手袋インタフェースオブジェクト１０４ａを操作して、ビデオゲームに入力を行ってよい。さらに、カメラ１０８は、ユーザ１００がいるインタラクティブ環境の画像を撮影するように構成できる。これらの撮影された画像を分析して、ユーザ１００、ＨＭＤ１０２、及び、手袋インタフェースオブジェクト１０４ａの位置及び動きを決定できる。一実施形態においては、手袋インタフェースオブジェクト１０４ａは、その位置と向きを決定するために追跡できるライトを含む。

以下に記載のように、ユーザがＨＭＤ１０２に表示された仮想現実シーンとインタフェースをとる方法は、様々であってよく、手袋インタフェースオブジェクト１０４ａに加えて、他のインタフェースデバイスを使用できる。例えば、片手コントローラも使用でき、両手コントローラも使用できる。ある実施形態においては、コントローラは、コントローラに関連付けられたライトを追跡することによって、または、コントローラに関連付けられた形状、センサ、及び、慣性データを追跡することによって、自身で追跡できる。これら様々な種類のコントローラを用いて、または、単に行われたハンドジェスチャを１つまたは複数のカメラによって撮影して、ＨＭＤ１０２に提示される仮想現実環境とインタフェースをとり、制御し、操作し、インタラクトし、参加することが可能である。

さらに、ＨＭＤ１０２は、ＨＭＤ１０２の位置と向きとを決定するために追跡できる１つまたは複数のライトを含んでよい。カメラ１０８は、インタラクティブ環境からの音を捕捉する１つまたは複数のマイクロフォンを含んでよい。マイクロフォンアレイが捕捉した音を処理して、音源の位置を識別してよい。識別された位置からの音を、選択的に利用または処理して、識別された位置からではない他の音を除去できる。さらに、カメラ１０８は、複数の撮像装置（例えば、立体写真カメラ）、ＩＲカメラ、デプスカメラ、及び、これらの組み合わせを含むように規定できる。

別の実施形態においては、コンピュータ１０６は、クラウドゲーミングプロバイダ１１２とネットワークを介して通信するシンクライアントとして機能する。クラウドゲーミングプロバイダ１１２は、ユーザ１０２がプレイしているビデオゲームを維持、実行する。コンピュータ１０６は、ＨＭＤ１０２、手袋インタフェースオブジェクト１０４ａ、及び、カメラ１０８からの入力をクラウドゲーミングプロバイダに送信し、クラウドゲーミングプロバイダは、その入力を処理して、実行しているビデオゲームのゲーム状態に反映させる。ビデオデータ、オーディオデータ、及び、触覚フィードバックデータ等、実行しているビデオゲームからの出力は、コンピュータ１０６に送信される。コンピュータ１０６は、データを送信前にさらに処理してもよく、または、関連する装置にデータを直接、送信してもよい。例えば、ビデオストリーム及びオーディオストリームが、ＨＭＤ１０２に提供され、振動フィードバックコマンドが、手袋インタフェースオブジェクト１０４ａに提供される。

一実施形態においては、ＨＭＤ１０２、手袋インタフェースオブジェクト１０４ａ、及び、カメラ１０８は、それら自体がネットワークデバイスであってよく、ネットワーク１１０に接続して、クラウドゲーミングプロバイダ１１２と通信する。例えば、コンピュータ１０６は、ビデオゲーム処理を行わずネットワークトラフィックの経路を促進するルータ等のローカルネットワークデバイスであってよい。ＨＭＤ１０２、手袋インタフェースオブジェクト１０４ａ、及び、カメラ１０８によるネットワークへの接続は、有線であってもよく、無線であってもよい。

さらに、ヘッドマウントディスプレイを参照して本開示の実施形態を記載するが、他の実施形態においては、ヘッドマウントでないディスプレイに置き換えられてよいことは理解されよう。ヘッドマウントでないディスプレイには、テレビ、プロジェクタ、ＬＣＤディスプレイ画面、ポータブルデバイス画面（例えば、タブレット、スマートフォン、ラップトップ等）、または、本実施形態による、ビデオをレンダリングするように構成でき、及び／または、インタラクティブなシーンもしくは仮想環境を表示するように構成できる任意の他の種類のディスプレイを含むが、これらに限らない。

図２Ａは、本開示の実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を示す。図に示すように、ＨＭＤ１０２は、複数のライト２００Ａ〜２００Ｈを含む。これらのライトはそれぞれ、特定の形状を有するように構成されてよく、同じ色または異なる色を有するように構成できる。ライト２００Ａ、２００Ｂ、２００Ｃ、及び、２００Ｄは、ＨＭＤ１０２の前面に配置される。ライト２００Ｅと２００Ｆは、ＨＭＤ１０２の側面に配置される。ライト２００Ｇと２００Ｈは、ＨＭＤ１０２の前面と側面にわたるように、ＨＭＤ１０２の角部に配置される。ライトは、ユーザがＨＭＤ１０２を使用するインタラクティブ環境を撮影した画像で識別できることを理解されよう。ライトの識別と追跡に基づいて、インタラクティブ環境におけるＨＭＤ１０２の位置及び向きを決定できる。ライトの幾つかは、撮像装置に対するＨＭＤ１０２の特定の向きに応じて見える場合もあり、見えない場合もあることも理解されよう。また、異なるライト（例えば、ライト２００Ｇと２００Ｈ）が、撮像装置に対するＨＭＤ１０２の向きに応じて撮像のためにさらされてよい。

ある実施形態においては、ＨＭＤは、ＨＭＤの1つまたは複数の表面に配置された光センサ（例えば、感光装置（ＰＳＤ））を用いて、ＨＭＤを使用している近くの１つまたは複数のベースステーションから発せられる光を捕えることによって、追跡されてよい。ある実施形態においては、ＨＭＤは、ＨＭＤの構造によって発せられる磁気エネルギーを捕える磁気センサを用いて追跡されてよい。ある実施形態においては、ＨＭＤを装着しながらインタフェースをとるために使用される周辺装置が、磁気追跡を用いて追跡されてよい。

一実施形態においては、ライトは、近くにいる他者に対してＨＭＤの現在の状態を示すように構成できる。例えば、ライトの一部または全てが、ある一定の色配置、強度配置を有するように構成されてよく、点滅する、一定のオン／オフ構成、または、ＨＭＤ１０２の現在の状態を示す他の仕組みを有するように構成されてよい。例として、ライトは、ビデオゲームのアクティブなゲームプレイ中（通常、アクティブタイムライン中、または、ゲームのシーン内で生じるゲームプレイ）と、メニューインタフェースをナビゲート、または、ゲーム設定を構成等、ビデオゲームの他の非アクティブなゲームプレイの態様（この間、ゲームのタイムラインまたはシーンは非アクティブまたは停止中であってよい）とで、異なる設定を表示するように構成できる。ライトは、ゲームプレイの相対的な強度レベルを示すように構成されてもよい。例えば、ゲームプレイの強度が増すと、ライトの強度、または、点滅の速度が、増加してよい。このようにして、ユーザの外部の人は、ＨＭＤ１０２のライトを見て、ユーザが真剣にゲームプレイに熱中しており、今は邪魔されなくないということを理解してよい。

ＨＭＤ１０２は、１つまたは複数のマイクロフォンをさらに含んでよい。図示の実施形態においては、ＨＭＤ１０２は、ＨＭＤ１０２の前面に画定されたマイクロフォン２０４Ａ及び２０４Ｂと、ＨＭＤ１０２の側面に画定されたマイクロフォン２０４Ｃを含む。マイクロフォンアレイを利用することによって、各マイクロフォンからの音を処理して、音源の位置を決定できる。この情報は、不要な音源の除去、音源と視覚的識別の関連付け等を含む、様々な点で利用できる。

ＨＭＤ１０２は、１つまたは複数の撮像装置も含んでよい。図示の実施形態においては、ＨＭＤ１０２は、撮像装置２０２Ａと２０２Ｂを含むとして示されている。撮像装置の立体写真を利用することによって、環境の三次元（３Ｄ）画像とビデオが、ＨＭＤ１０２の視点から撮影できる。このようなビデオをユーザに提示して、ＨＭＤ１０２を着用している間、ユーザに「ビデオシースルー」能力を提供できる。すなわち、ユーザは、厳密な意味でＨＭＤ１０２を通して見ることはできないが、撮像装置２０２Ａと２０２Ｂ（例えば、以下の図３に示すようなＨＭＤ１０２の外側の本体に配置された１つまたは複数の正面を向いたカメラ１０８'）が撮影したビデオは、それにもかかわらず、ＨＭＤ１０２を通して見たかのように、ＨＭＤ１０２の外部の環境を見ることができる機能的に同等なものを提供できる。このようなビデオは、拡張現実体験を提供する仮想の要素で拡張することができる、または、他の方法で仮想の要素と組み合わせてよく、もしくは、混合されてよい。図示の実施形態においては、２つのカメラが、ＨＭＤ１０２の前面に示されるが、ＨＭＤ１０２に設置され、任意の方向に向けられた任意の数の外部を向いたカメラがあってよいことは理解されたい。例えば、別の実施形態においては、ＨＭＤ１０２の側面に取り付けられて、環境の追加のパノラマ画像を撮影するカメラがあってよい。

図２Ｂは、クライアントシステム１０６とインタフェースをとっているＨＭＤ１０２のユーザと、第２画面１０７と呼ばれる第２画面ディスプレイにコンテンツを提供しているクライアントシステム１０６との一例を示す。以下に記載のように、クライアントシステム１０６は、ＨＭＤ１０２から第２画面１０７へのコンテンツの共有を処理する集積電子機器を含んでよい。他の実施形態は、クライアントシステムとＨＭＤ１０２及び第２画面１０７のそれぞれとのインタフェースをとる別個のデバイス、モジュール、コネクタを含んでよい。この一般的な例においては、ユーザ１００は、ＨＭＤ１０２を着用しており、コントローラ１０４を用いてビデオゲームをプレイしている。ユーザ１００によるインタラクティブなプレイによって、ビデオゲームコンテンツ（ＶＧＣ）が生成され、ビデオゲームコンテンツ（ＶＧＣ）は、ＨＭＤ１０２にインタラクティブに表示される。

一実施形態においては、ＨＭＤ１０２に表示されているコンテンツは、第２画面１０７に共有される。一例においては、第２画面１０７を見ている人は、ユーザ１００がＨＭＤ１０２でインタラクティブにプレイしているコンテンツを視聴できる。別の実施形態においては、別のユーザ（例えば、プレイヤ２）が、クライアントシステム１０６とインタラクトして、第２画面コンテンツ（ＳＳＣ）を生成できる。コントローラ１０４と同様にインタラクトしているプレイヤ（または、任意の種類のユーザインタフェース、ジェスチャ、音声、もしくは、入力）が生成した第２画面コンテンツが、クライアントシステム１０６へのＳＳＣとして生成されてよく、ＨＭＤ１０２から受信されたＶＧＣと共に第２画面１０７に表示できる。

従って、ＨＭＤユーザと同じ場所にいる、または、遠隔の他のユーザによるインタラクティブ性は、ＨＭＤユーザと、ＨＭＤユーザがプレイするコンテンツを第２画面１０７で視聴しているユーザとの両方にとって、ソーシャル、インタラクティブ、また、より没入型であり得る。図に示すように、クライアントシステム１０６は、インターネット１１０に接続できる。インターネットは、様々なコンテンツソース１２０からのコンテンツへのアクセスをクライアントシステム１０６に提供もできる。コンテンツソース１２０は、インターネットを介してアクセス可能な任意の種類のコンテンツを含み得る。

このようなコンテンツは、ビデオコンテンツ、映画コンテンツ、ストリーミングコンテンツ、ソーシャルメディアコンテンツ、ニュースコンテンツ、友達コンテンツ、広告コンテンツ等を含み得るが、これらに限らない。一実施形態においては、クライアントシステム１０６を使用して、ＨＭＤユーザのためのコンテンツを同時に処理でき、それによって、ＨＭＤは、ゲームプレイ中にインタラクティブ性と関連付けられたマルチメディアコンテンツを提供される。そして、クライアントシステム１０６は、他のコンテンツも第２画面に提供できる。他のコンテンツは、ビデオゲームコンテンツに関係がなくてもよい。クライアントシステム１０６は、一実施形態においては、コンテンツソース１２０の１つから、または、ローカルユーザもしくは遠隔ユーザから、第２画面コンテンツを受信できる。

図３は、本開示の実施形態による、実行しているビデオゲームと共にＨＭＤ１０２の機能を概念的に示す。実行しているビデオゲームは、ビデオゲームのゲーム状態を更新する入力を受信するゲームエンジン３２０によって規定される。ビデオゲームのゲーム状態は、ビデオゲームの様々なパラメータの値によって少なくとも部分的に規定でき、パラメータは、オブジェクトの存在と位置、仮想環境の条件、イベントのトリガ、ユーザプロファイル、ビューの視点等、現在のゲームプレイの様々な態様を規定する。

図示の実施形態においては、ゲームエンジンは、例として、コントローラ入力３１４、オーディオ入力３１６、及び、動作入力３１８を受信する。コントローラ入力３１４は、ハンドヘルドゲームコントローラ（例えば、Ｓｏｎｙ ＤＵＡＬＳＨＯＣＫ（登録商標）４無線コントローラ、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）Ｍｏｖｅ動作コントローラ）または手袋インタフェースオブジェクト１０４ａ等、ＨＭＤ１０２とは別個のゲームコントローラから規定されてよい。例として、コントローラ入力３１４は、方向入力、ボタン押し下げ、トリガ起動、動き、ジェスチャ、または、ゲームコントローラの操作から処理される他の種類の入力を含んでよい。オーディオ入力３１６は、ＨＭＤ１０２のマイクロフォン３０２から、または、撮像装置１０８もしくはローカル環境の他の場所に含まれるマイクロフォンから処理できる。動作入力３１８は、ＨＭＤ１０２に含まれるモーションセンサ３００から、または、撮像装置１０８がＨＭＤ１０２の画像を撮影すると撮像装置１０８から処理できる。ゲームエンジン３２０は、入力を受信し、入力は、ゲームエンジンの構成に従って処理されてビデオゲームのゲーム状態を更新する。ゲームエンジン３２０は、ゲーム状態データを様々なレンダリングモジュールに出力し、様々なレンダリングモジュールは、ゲーム状態データを処理して、コンテンツを規定し、コンテンツがユーザに提示される。

図示の実施形態においては、ビデオレンダリングモジュール３２２は、ＨＭＤ１０２に提示するためのビデオストリームをレンダリングするように規定される。ビデオストリームは、ディスプレイ／プロジェクタ機構３１０によって提示されてよく、ユーザの目３０６によって光学素子３０８を通して視聴されてよい。オーディオレンダリングモジュール３０４は、ユーザが聞くためのオーディオストリームをレンダリングするように構成される。一実施形態においては、オーディオストリームは、ＨＭＤ１０２に関連付けられたスピーカ３０４を通して出力される。スピーカ３０４は、オープンエアスピーカ、ヘッドフォン、または、オーディオを提示できる任意の他の種類のスピーカの形態を取ってよいことは理解されたい。

一実施形態においては、視線追跡カメラ３１２が、ＨＭＤ１０２に含まれて、ユーザの視線追跡を可能にする。視線追跡カメラが、ユーザの目の画像を撮影し、その画像が分析されて、ユーザの視線方向が決定される。一実施形態においては、ユーザの視線方向に関する情報を利用してビデオレンダリングに反映できる。例えば、ユーザの目が、特定の方向を見ていると決定される場合、その方向のビデオレンダリングは、例えば、ユーザが見ている領域をより詳細にする、または、速く更新する等によって、優先または強調できる。ユーザの視線方向は、ヘッドマウントディスプレイに対して、ユーザがいる現実の環境に対して、及び／または、ヘッドマウントディスプレイ上にレンダリングされている仮想環境に対して、規定できることを理解されたい。

大まかに言うと、視線追跡カメラ３１２が撮影した画像の分析を、単独で考慮すると、ＨＭＤ１０２に対するユーザの視線方向を提供する。しかしながら、ＨＭＤ１０２の追跡された位置と向きと共に考慮されると、ＨＭＤ１０２の位置と向きが、ユーザの頭の位置と向きと同義になるように、ユーザの実世界での視線方向が決定できる。すなわち、ユーザの実世界の視線方向は、ユーザの目の位置の動きを追跡することと、ＨＭＤ１０２の位置と向きを追跡することとから決定できる。仮想環境のビューが、ＨＭＤ１０２にレンダリングされると、ユーザの実世界の視線方向が、仮想環境のユーザの仮想世界の視線方向の決定に適用できる。

さらに、触覚フィードバックモジュール３２６は、ＨＭＤ１０２、または、コントローラ１０４等のユーザが操作する他のデバイスに含まれる触覚フィードバックハードウェアに信号を提供するように構成される。触覚フィードバックは、振動フィードバック、温度フィードバック、圧力フィードバック等、様々な種類の触感の形態をとってよい。

現在、ゲーム再生を共有するストリーミングサービスが非常に人気である。ＤｕａｌＳｈｏｃｋ（登録商標）４無線コントローラは、このような共有を可能にする「共有ボタン」をコントローラ上に直接、含む。本開示の実施態様は、ＨＭＤ／ＶＲヘッドセットを用いて、リプレイを探索したい人にとってリプレイの共有を向上させる。本開示の実施態様は、非常に広い視野でゲームのリプレイをレンダリングして、観客が、ＨＭＤを用いて自由に頭を動かし、新しい見やすい場所からリプレイを視聴するのを可能にする。従来のストリーミングアプローチでは、元のプレイヤが視聴したものだけにリプレイを限定するので、視線方向は、観客の頭の位置と向きとは関係なく、ＨＭＤを使用する観客が頭を動かしたとしても、何も変化はない。

開示の実施態様は、ＨＭＤの新しい視点をサポートするように十分に広い視野でビデオをレンダリングする。クラウドサーバ上で（例えば、クラウドにおける、ＰｌａｙＳｔａｔｉｏｎ（登録商標）４ハードウェア等のゲームコンソール用ゲームハードウェア上で）実行するゲームエンジンのカスタムメイドは、元のプレイヤのゲームエンジンからストリーミングされた入力ゲーム状態として受け入れて、それを用いて非常に広い視野（例えば、１５０度を超える）のゲームのビューをレンダリングし、そのゲームセッションのリアルタイムストリーミング、及び／または、以前に記録された再生に使用できる。非常に広い視野は、ＨＭＤの視野を超えて、ＨＭＤを着用している観客が、リプレイ時に周りを見るのを可能にすることを理解されよう。実際のゲームは、エンジンのネットワークバージョンに、その状態をストリーミングするように構成される。

上記のように、ＨＭＤ１０２を着用しているユーザが体験しているインタラクティブなアクティビティを観戦、例えば、見る能力をユーザに提供するニーズがある。例えば、一人のＨＭＤの仮想現実プレイヤが、ＨＭＤに提示されているアクティビティに没入し得る間、他の人がそのプレイヤと同じ場所にいることがある。これらの同じ場所にいる他のプレイヤは、ＨＭＤプレイヤが体験しているインタラクティブ性または視聴している仮想現実シーンを見ることに楽しみを見出す場合がある。本明細書においては、ＨＭＤプレイヤは、ＨＭＤに提示されたコンテンツを視聴しているプレイヤである、または、ＨＭＤに提示されたコンテンツとインタクトしている、もしくは、ＨＭＤに提示されたゲームをプレイしている可能性があるプレイヤであってよい。従って、プレイヤとは、ＨＭＤに提示されているコンテンツの種類に関係なく、ＨＭＤを装着しているユーザのみを指す。

さらに他の実施形態において、ＨＭＤプレイヤと同じ場所にいない他の人が、ＨＭＤプレイヤのＨＭＤに提示されているコンテンツ、インタラクティブ性、または、メディアを見たい場合がある。例えば、ＨＭＤプレイヤがアクティビティを行っている間、見るまたは観戦するために、異なるＨＭＤプレイヤから選択を行う能力をユーザに提示するウェブサイトを提供してよい。この例は、標準的なＴｗｉｔｃｈタイプ体験と類似し、インターネットに接続されたユーザが、ウェブサイトにアクセスして、遠隔プレイヤがプレイしている異なる種類のコンテンツまたはメディアを検索するのを可能にする。遠隔プレイヤは、ある実施形態においては、ＨＭＤ１０２を用いてゲームをプレイしていてよい。

他の実施形態においては、遠隔プレイヤは、デバイスのディスプレイ画面またはテレビのディスプレイ画面を用いて、ゲームをプレイしてよい、または、コンテンツを見てよい。大まかに言うと、遠隔の他のプレイヤのアクティビティを、例えば、ウェブサイトを介して見たいユーザは、次に、特定のプレイヤ、または、ゲームの種類、または、ゲームのサムネイル、または、コンテンツのサムネイルを選択して、ＨＭＤプレイヤが指示しているアクティビティを視聴できる。従って、遠隔のＨＭＤプレイヤがアクティブにプレイし得る特定のインタラクティブコンテンツをユーザが視聴、選択するのを可能にするウェブサイトを提供できる。ＨＭＤプレイヤによるアクティビティを視聴したい遠隔の視聴者は、単に、そのコンテンツをクリックして、視聴を開始できる。

ＨＭＤプレイヤのアクションを見ているまたは視聴している人は、一般的に、観客と呼ぶ。観客は、アクティビティ、インタラクティブ性、アクション、動き等を視聴するためのアクセスを与えられるが、必ずしもゲームアクションを制御していない人である。このために、これらの視聴者は、観客と呼ばれる。ＨＭＤプレイヤの文脈で、ＨＭＤディスプレイに表示されているコンテンツは、動的で、ＨＭＤプレイヤの動きによって制御される。例えば、ＨＭＤプレイヤは、頭を動かすと、実世界の人の周囲で生じるのと同様に、視聴可能な異なるコンテンツを提示される。

ＨＭＤプレイヤの頭の動きは、ＨＭＤプレイヤにとっては自然であるが、ＨＭＤプレイヤと同じビューを与えられる観客は、コンテンツを見ると、素早い動きが原因で、吐き気やめまいがする場合がある。この理由は、視聴者自身は、ＨＭＤプレイヤが頭を動かすのと同じように頭を動かさないからであり、ＨＭＤプレイヤの頭の動きによって、ＨＭＤプレイヤの視線方向に基づいて、コンテンツが変化するからである。本明細書に記載の様々な実施形態において、ＨＭＤプレイヤが視聴しているコンテンツを、観客の気をそらさず、また、観客にめまいや吐き気を起こさせにくい方法で観客が視聴できるようにする方法、システム、コンピュータ可読媒体、及び、クラウド構成が提供される。

例として、本明細書に記載の実施形態の一部は、ＨＭＤプレイヤが視聴している仮想現実環境内の異なるビュースポットを提供する方法を教示する。ある実施形態においては、ビュースポットは、観客が視聴可能な角度、方向、及び、コンテンツという点で固定である。従って、ＨＭＤプレイヤが、頭をどちらかに動かす場合、仮想現実環境の観客のビューは、安定して維持され得る。ある実施形態においては、ＨＭＤプレイヤが、異なる仮想現実環境のシーン、場所、エリア、レベル、章等を移動及びあちこち移動すると、観戦しているユーザに異なるビュースポットが与えられてよい、ビュースポットは、視聴している観客に合わせてカスタマイズされる。例えば、異なる種類のコンテンツに対して、様々なビュースポットをプレオーサリングできる。

コンテンツがビデオゲームである場合、ビデオゲームで取り得る異なる経路に沿ったビュースポットが、観客が視聴するためのプレオーサリングされたスポットとして予め定められてよい。従って、ＨＭＤプレイヤが、その経路に沿って移動する時、経路に沿ったビュースポットを観客に提供することができ、ビュースポットは、ゲーム開発者、以前の観客、または、ＨＭＤプレイヤによって予め選択、または、プレオーサリングされてよい。このようにして、ＨＭＤプレイヤがＨＭＤ ＶＲ環境を動き回ると、観客は、１つのビュースポットから次のビュースポットに、それらのビュースポットが、より優れているもしくはより良い、または、より関心を引くビューを提供するという判断に基づいて、動かされてよい。さらなる実施形態においては、観客は、ＨＭＤプレイヤが視聴している視聴可能なコンテンツのサブ部分を提供されてよい。他の実施形態においては、観客は、ＨＭＤプレイヤがまだ視聴できない追加のコンテンツを提供されてよい。

ゲーム、環境、コンテンツの種類、マルチメディアの種類に応じて、または、既定のルールもしくは制約によって、観客は、ＨＭＤプレイヤが見ている視聴可能なコンテンツより少ないまたは多いコンテンツを提供されてよい。上記のように、観客に視聴可能にされたコンテンツは、ＨＭＤプレイヤが視聴しているのと同じコンテンツであってよいが、ＨＭＤプレイヤとは異なる基準視点から見ている。しかしながら、ある実施形態においては、観客に提供されるビューは、ＨＭＤプレイヤのビューと類似してよいが、少し異なる角度、または、ビュー視点から見ている。さらに、観客は、ＨＭＤ仮想プレイヤの頭上の仮想カメラの文脈からＨＭＤプレイヤに提供されるのと類似のビューを観客に提供できる。一実施形態においては、ＨＭＤプレイヤが視聴しているコンテンツの観客に提供された仮想カメラのビューを動かす代わりに、ＨＭＤプレイヤが頭を動かすと、観客のビューは、ビューがＨＭＤプレイヤによって動かされるのと同じ速度またはスピードでは動かない。

この実施形態においては、観客に提供される仮想カメラのビューは、ＨＭＤプレイヤのビューよりも遅い速度で動いてよく、速度は、ユーザの頭の動きの実際のスピードに基づいて変化する。さらにまた、仮想カメラのビューの動きは、ＨＭＤプレイヤの頭の動きを、遅れて追いかけるように設定できる。遅れは、仮想カメラのビューをＨＭＤの動きにリンクさせる概念的なゴムバンドに類似してよい。すなわち、ユーザの頭が、左に素早く動く場合、観客の仮想カメラのビューは、動いているオブジェクトにゴムバンドによって接続されているオブジェクトが、動いているオブジェクトの動きを追うのと同じように遅れて、よりゆっくりと左に動く。ある構成においては、ギア比率を仮想カメラのビューの動きに適用することによって、仮想カメラは、ＨＭＤプレイヤの現実のビューの動きを追いかける速度で動く。ギア比率は、仮想現実シーンの観客のビューを実行しているコンピュータ、ゲーム、及び／または、プログラムによって動的に修正されてよい。ギアリングは、例えば、あるゲーム、あるシーン、ある状況、あるレベルにおいて、あるユーザに対して等、より速く修正されてよく、または、他の例においては、より遅く修正されてよい。動的ギアリングを用いることによって、仮想カメラのビューの動きは、ＨＭＤが速くまたは不規則に動く時でさえ、より快適なビュー体験を観客ビューに提供するように、滑らかにできる。

以下に記載のさらなる実施形態においては、観客は、ＨＭＤプレイヤが仮想現実環境のどこを見ているかを識別できるように、視覚的手掛かりを与えられてよい。一構成は、ＨＭＤプレイヤの視線を追跡することを可能にして、ＨＭＤプレイヤがＶＲシーン内の正確にどこを見ているかを決定できる。仮想カメラビュー（例えば、ＨＭＤプレイヤの頭の背後に浮かんでいる仮想カメラ）の視点からＶＲシーンを視聴している観客にとっては、その特定のシーンにおける焦点は何かを決定することは有用である。このようにして、観客は、仮想現実プレイヤが、そのシーンで重要であると感じている物に焦点を合わせることもできる。

ある例においては、そして、ファーストパーソン・シューティングゲームにおいては、観客は、敵または障害物を識別するため等、ＨＭＤプレイヤがどこを見ているかを知りたい場合がある。一実施形態においては、ＨＭＤプレイヤの視線を追跡して、コンテンツを強調表示する、ある一定のオブジェクトまたは場所のコントラストを変更する、コンテンツを取り囲む、マーカを追加する、エリアをグレー表示する、点滅するビーコンを追加する、テキストを追加する、浮いているオブジェクトを追加する等によって、ＨＭＤプレイヤが見ている物を識別することが可能である。このようにして、観客は、ＨＭＤプレイヤが見ている所を確実に知ることができ、よって、観客自身も、その同じエリアを見て、より楽しくコンテンツを体験できる。

例えば、ＨＭＤプレイヤは、特定のゲームに経験がより豊かな場合がある、または、特定の種類のコンテンツを見ており、ＨＭＤプレイヤが仮想現実シーンで見ている場所を示すものを提供することは、観客に、ガイダンス、視覚的手掛かり、及び、援助を与える。ある実施形態においては、これらの識別特徴は、気が散らないように、オンにしたりオフにしたりできる。識別子は、ＨＭＤプレイヤがアクティブにできる、または、観客がアクティブにできる。ある実施形態においては、複数の観客が、例えば、Ｔｗｉｔｃｈ表示において、ＨＭＤプレイヤが提供する同じコンテンツを視聴している場合、各観客は、異なるコントロールは観客に視覚インジケータを提供するか否かの能力を与える異なるコントロールを提供されてよい。ＨＭＤプレイヤの視点からは、インジケータは、ＨＭＤプレイヤのＨＭＤに全く示されなくてよい。しかしながら、これらのインジケータは、ＨＭＤプレイヤがインタラクトしているコンテンツを視聴している観客（複数可）にとっては有用である。

ある実施形態においては、仮想現実環境内の特定のリスニングゾーンを観客が識別することを可能にするコントロールを観客に与えてよい。リスニングゾーンは、仮想現実環境内の観客が聞きたい場所を観客が選択するのを可能にする。これが意味するのは、観客が実際にそのシーンにいるという状況をまねたオーディオ及び音響を、その特定の場所から聞くことを観客は基本的に提供されるということである。例として、観客が、視聴している場所に対して、通りの向かいの建物を含むＨＭＤコンテンツを視聴している場合、観客は、建物内のある場所、例えば、人が立っている２階を識別でき、その場所で聞くことを選択できる。

この機能は、リスニングテレポーテーションを観客に提供し、観客は、２階建ての建物内に座っているまたは立っているかのように、オーディオコンテンツ及び音響を聞くことができる。オーディオ及び音響は、一例においては、基本的に、建物の２階の場所に存在するオーディオサウンドを拡大し、その仮想の場所から離れた音を小さくする。ある実施形態においては、観客は、主なリスニングゾーンにいることを求めて、時々、環境内の異なる場所を選択できる。さらに他の実施形態においては、リスニングゾーンは、ＨＭＤプレイヤの同じリスニングゾーンであるように調節もできる。観客は、観客が聞きたい仮想環境内の場所を識別するように、切り替え可能な選択能力を提供されてよい。

再び、観客は、ＨＭＤプレイヤと同じ場所にいてよく、図２Ｂを参照して記載するように、第２画面のディスプレイ上のＨＭＤコンテンツを視聴していてよいことに注意されたい。あるいは、観客であるローカルの視聴者もＨＭＤを着用でき、ＨＭＤは、観客に、ＨＭＤプレイヤコンテンツのビューを提供する。さらに他の実施形態においては、ＨＭＤプレイヤコンテンツが、視聴可能なウェブサイトに公開されている場合、観客は、遠隔であってよく、ウェブページから視聴してよい。ある実施形態においては、観客として行動する遠隔の視聴者は、ＨＭＤプレイヤによるライブまたはほぼライブのコンテンツを見ていてよい。他の実施形態においては、観客として行動する遠隔の視聴者は、ＨＭＤプレイヤが見ていたコンテンツの録画バージョンを見ていてよい。さらに、複数または多数の観客がＨＭＤプレイヤの同じコンテンツをライブまたは録画で見ることを可能にするウェブサイトが提供されてよい。

図４は、一実施形態による、コンピュータデバイス１０６を介して仮想環境４５０とインタラクトし得るＨＭＤ ＶＲプレイヤ１００の例を示す。よって、ＨＭＤ ＶＲプレイヤ１００は、ＶＲ環境４５０内のインタラクティブ性を駆動しており、ＨＭＤ１０２に提示されるシーンと、ディスプレイ１０７に表示される複製ビューとを動かす。よって、観客は、観客１４０等、ディスプレイ１０７を視聴している観客であってよい。上記のように、観客１４０は、同一空間でＨＭＤプレイヤ１００とインタラクトできるので、ソーシャル画面の観客である。他の実施形態においては、または、同じ場所にいる観客１４０に加えて、ＨＭＤ観客１５０にもＨＭＤプレイヤ１００がナビゲートしているコンテンツへのアクセスを提供できる。ＨＭＤ観客１５０は、ＨＭＤプレイヤ１００と同じ場所にいてよい。他の実施形態においては、ＨＭＤ観客１５０は、ＨＭＤプレイヤとは遠隔にいてよく、ｔｗｉｔｃｈタイプのビューウェブサイト等のウェブサイトからコンテンツを視聴できる。よって、図４に示す例は、ほんの一例であり、複数の観客または何千もの観客が、ＨＭＤプレイヤのコンテンツを遠隔の場所から視聴していることが可能である。観客は、ディスプレイ１０７を見ていても、ＨＭＤを介してコンテンツを視聴していても、観戦体験を向上させる機能を与えられる。

図５は、仮想現実環境４５０を動き回り、シーンのあらゆる場所を動きながら異なるコンテンツを視聴しているＨＭＤプレイヤ１００の例を示す。図に示すように、ＨＭＤプレイヤ１００は、シーンを前に進み、シーンは、道路の延長、建物５０２、ゴルファー５０４、湖５０６、犬５０８、及び、他のマルチメディアコンテンツ等の新しいコンテンツを見せた。ＶＲ環境４５０に提示されるこれらマルチメディアコンテンツの種類は、単に一例であり、コンテンツの種類は、視聴、インタラクト、または、表示されているコンテンツの種類に応じて変わる。一例においては、ＶＲ環境４５０は、スポット１、スポット２、スポット３、及び、スポット４等、プレオーサリングされたビュースポットに関連付けられてよい。これらの各スポットは、ＶＲ環境４５０への特定の視線方向と角度を有する。

スポット１は、ＨＭＤプレイヤ１００の頭の背後に浮いていてよい仮想カメラのビューを提供され、仮想カメラのビューは、ＨＭＤプレイヤ１００のＨＭＤ１０２の動きによって生成されているビューに近い複製を提供する。他のスポットは、ＨＭＤプレイヤ１００の視野角とは切り離されてよく、代わりに、コンテンツ作成者、または、仮想環境内の関心を引くコンテンツがある場所を知り得る他のユーザによるプレオーサリングに基づいて、ＶＲ環境４５０のあらゆる場所に配置できる。例えば、コンテンツ作成者が、ゲーム開発者である場合、ゲーム開発者は、関心を引くスポットがＶＲ環境の異なる場所のどこに存在し得るかを知っているので、１つまたは複数のゲームセッションまたはビューセッション中、ＨＭＤプレイヤが仮想現実環境４５０をあちこち移動する時のアクション、物、動き、インタラクティブ性、または、シーンのより良いビューを観客に提供できる。

この特定の例においては、観客は、ＨＭＤ観客１５０である。ＨＭＤ観客１５０は、仮想現実環境４５０の示されているアクティビティの異なる時刻に特定のビュースポットを提供されてよい。例えば、ＨＭＤプレイヤ１００が、仮想現実環境４５０をあちこち移動する、または、動き回ると、異なるコンテンツが、表示され、表示されているコンテンツに基づいて、異なるスポットが、観客（複数可）による視聴消費のために選択される。例として、ＨＭＤ観客１５０は、時刻ｔ＝０にスポット１、時刻ｔ＝１にスポット３、時刻ｔ＝２にスポット２等、一連のスポットを提供される。

よって、ＨＭＤプレイヤ１００があちこち移動する場所に応じて、コンテンツの最も関心を引くビューを提供するように、観客に対して異なるスポットが動的に選択されてよい。例として、ＨＭＤプレイヤが、ゴルフコースの場所に到達した場合、ゴルファー５０４が、ビュースポット４の焦点になる。ＨＭＤプレイヤが、建物５０２の場所に到達した場合、ビュースポット２が、建物５０２と犬５０８が見えるように、観客に提供される。それらは、仮想現実環境４５０内の関心を引く場所または見やすい地点もしくは視点であると予め決められていてよい。

図５Ａは、ＨＭＤプレイヤ１００が、仮想現実環境４５０とインタフェースし、観客１５０が、仮想現実環境４５０のコンテンツを視聴している実施形態を示す。この図は、観客１５０が、ＨＭＤ１０２を使用している時、観戦角度から視聴しているあるコンテンツに近付くまたは遠ざかる能力を提供されてよいことを示す。ある実施形態においては、観戦角度は、予め定められた観戦スポットと関連付けられてよく、観戦スポットは、仮想現実環境４５０を見やすい特定の場所を提供する。他の実施形態においては、観客１５０は、ＨＭＤプレイヤ１００のために生成されている仮想現実環境４５０と関連付けられた仮想現実環境を、任意の角度で任意のエリアを見ることを可能にし得るフリーカメラと同様、自由に動き回る能力を与えられてよい。

例として、観客１５０が、仮想現実環境４５０を視聴しており、キャラクタ５０６に焦点を当てているのが示されている。キャラクタ５０６は、仮想現実ゲームに関連付けられてよく、テーブル５０２の上に立っているのが示されている。テーブル５０２は、缶５０４等の他のオブジェクトも含み得る。当然、コンテンツの豊かさを含むコンテンツの種類とコンテンツの量は、ＨＭＤ１０２を介して視聴されている特定のゲーム、または、マルチメディア環境によって決まる。

この例においては、観客１５０が、仮想距離Ｄ１からキャラクタ５０６を視聴しているのが示されている。仮想距離Ｄ１は、観客の頭１５２が特定の位置にある時、観客１５０が認識する距離である。上記のように、観客１５０の頭１５２の位置も、観客１５０に対してローカルに追跡できる。一実施形態においては、観客１５０は、遠隔な場所にいてもよく、ＨＭＤプレイヤ１００がプレイしている仮想現実コンテンツのフィードを提供するウェブサイトを介して仮想現実コンテンツを視聴していてよい。前述のように、観客１５０は、ある実施形態においては、ライブフィードまたは録画フィードを選択することによって、他のＨＭＤプレイヤコンテンツを視聴できる。ＨＭＤプレイヤ１００がナビゲートしている仮想現実環境は、従って、ＨＭＤプレイヤ１００がコンテンツをプレイまたはナビゲートしている間、一人または複数の観客が仮想現実コンテンツを視聴できるように、ウェブサイトと共有される。

よって、観客１５０の頭１５２の位置に関連付けられた特定の距離Ｄ１を、視聴している仮想コンテンツに対して決定または較正することが可能である。相対距離Ｄ１は、観客が仮想現実コンテンツ４５０の視聴を開始する時等、開始距離として決定できる。例えば、観客１５０による観戦セッションの開始時、仮想現実コンテンツのオブジェクトまでの距離を設定できる。この距離は、予め決定されてよく、ＨＭＤプレイヤ１００が生成している仮想現実コンテンツへの快適な視聴距離に基づいてよい。観戦が始まると、観客１５０は、仮想現実コンテンツの異なるオブジェクトに近付く、または、遠ざかることができる。

一実施形態においては、仮想現実環境４５０のある特定のコンテンツに近付くことによって、視聴しているコンテンツを自動的にスケールアップできる。図５Ｂに示すように、観客１５０の頭１５２は、キャラクタ５０６の方に近付き、そうすると、システムに、仮想現実環境４５０内の観客１５０が焦点を当てているコンテンツをスケールアップさせる。ある実施形態においては、観客１５０が、特定のオブジェクト（複数可）に近付いているので、観客１５０が焦点を当てるこのオブジェクトは、スケールアップされる、または、ある種のズームインで拡大される。観客１５０が視聴しているエリアから離れたコンテンツは、視点の外側にある場合があり、観客１５０に対してレンダリングされなくてもよい。

この時点で、距離Ｄ１はＤ２になり、距離Ｄ２はＤ１より小さく、これは、ＶＲコンテンツをスケールアップする。さらに、完全に頭上からの視点ではなく、異なる視野角を達成するために、視聴しているコンテンツに観客１５０が覆いかぶさることも可能である。例えば、ビューのスケールは、詳細なより焦点の当たったビューを得るためにユーザが自分の頭をオブジェクトに近付けるという実生活の状況に類似している。よって、観戦表示によって行われる処理は、観客が、実世界のオブジェクトをより近い距離またはより離れて視聴しているかのように、観客の視点に自然な調節を行っている。一実施形態においては、観客が仮想現実環境のコンテンツに近付いたとＨＭＤ１０２の位置が示す時、仮想現実環境の一部分のアップスケーリングが処理される。同様に、同じまたは異なるコンテンツに関して、観客が仮想現実環境のコンテンツから遠ざかったとＨＭＤの位置が示す時、仮想現実環境の一部分のダウンスケーリングが処理される。

図５Ｃは、観客１５０が頭１５２をキャラクタ５０６にさらに近付ける例を示す。こうすると、仮想現実コンテンツのキャラクタ５０６はさらにスケーリングされる。一実施形態においては、仮想現実コンテンツの観客のビューは、仮想現実環境４５０のコンテンツに比べて、観客１５０が巨人であるという印象を観客１５０に与える。図５Ｃに示すように、観客１５０は、キャラクタ５０６より実質的に大きく示されるが、観客が見ている空間の他の仮想現実コンテンツを含めて、このキャラクタ５０６もスケールアップされている。

図示のために、観客１５０は、キャラクタ５０６から距離Ｄ３離れていると示されている。距離Ｄ３は、Ｄ２またはＤ１より実質的に近い。よって、観客は、仮想現実環境４５０の特定のコンテンツに近付く自然な頭の動き、または、仮想現実環境４５０のコンテンツから遠ざかる自然な頭の動きによって視聴環境の動的な調節を提供される。観客が、仮想現実コンテンツから頭を遠ざける時、または、特定のオブジェクトまでの距離を増加させる時、巨人が以前は拡大またはスケールアップされていたコンテンツから遠ざかる場合に巨人がコンテンツを見るのと同じように、観客は、コンテンツのサイズがスケールダウンするのを見る。

本明細書において、観客１５０の姿を「巨人」とすることが意味するのは、観客にとって、仮想現実環境４５０の特定のコンテンツに近付く動きまたは遠ざかる動きは、自動的なスケールアップまたはスケールダウンを生じさせ、自然な形でのコンテンツの滑らかな視聴を可能にするということである。

図６Ａは、観客１５０が、仮想現実環境１５０とインタラクトして、異なる見やすい場所を提供できる例を示す。仮想現実環境４５０が、ＨＭＤプレイヤによって生成されており、観客は、単に、仮想現実ＨＭＤプレイヤのアクティビティを視聴する観客として行動しているが、観客は、視野角または視聴方向を変更するコントロールを提供されてよい。一実施形態においては、観客１５０は、仮想現実シーンに手を伸ばし、仮想現実シーンを把持、手に持つ、または、仮想現実シーンに接触することを示すジェスチャを行う能力を提供されてよい。観客は、手６０４を使用してよく、それは、仮想現実環境でレンダリングされて、仮想現実コンテンツを制御または仮想現実コンテンツに触れること６０２を示してよい。ある実施形態においては、観客は、コントローラ、手袋、または、他の装置を利用して、視野角を移動させる意思を示すこともできる。観客による仮想現実シーンの視野角の移動または視野角とのインタラクションは、仮想現実インタラクションのフロー及びパスをナビゲート、フロー及びパスとインタラクト、または、フロー及びパスを指示している主な人であるＨＭＤプレイヤ１００へのビューを変えない。しかしながら、観客１５０の観点から、観客１５０が、より視聴に快適な他の角度に視野角を変えたい場合がある。

図６Ｂは、観客１５０が、仮想現実環境４５０の視野角を９０度移動させると決めた例を示す。これは、上記のように、観客１５０に、仮想現実コンテンツの異なる位置への動きを指示させることによって達成される。図６Ｂの例においては、観客１５０は、横になってＨＭＤコンテンツを視聴したいと思っている。視聴をより快適にするために、視野角の動きは、ＨＭＤ観客１５０がコンテンツを横になって視聴できるように、調節する。この例においては、コンテンツは、ＨＭＤプレイヤが指示するように、斜めに進んでいく。ここでも、ＨＭＤプレイヤは、観客がビューを回転させたという事実の影響を受けない。ある実施形態においては、コンテンツが観客によって回転される時、コンテンツ内のあるオブジェクトは、重力の方向を保持するように、回転されない場合がある。

図には示さないが、仮想現実コンテンツが観客によってある角度に傾けられた場合でさえ、一部のオブジェクトは、重力に対する向きを維持してよい。他の実施形態においては、仮想現実シーンのコンテンツは全て傾けられ、観客によってその角度で視聴される、これは、観客にとってより快適であり得る。同じ仮想現実環境４５０を視聴している複数の観客が、個々の観客にとって適切でより快適な異なる角度にコンテンツを傾けることが可能である。仮想現実環境４５０の観客のビューに関して観客が設定する傾き、調節、及び、角度は、ＨＭＤプレイヤがナビゲートしている仮想現実環境シーンに影響を与えない。ＨＭＤプレイヤは、単にＨＭＤ体験を共有し、観客は、各特定の観客にとって最も快適な異なる形式でその体験を視聴できる。図６Ｂの例は、ベッド６１０に枕６１２をして寝ている観客１５０を示したが、観客１５０は、リクライニング、または、他の姿勢であってもよい。

一実施形態においては、観客１５０のＨＭＤ１０２に提供されるビューは、仮想現実環境を視聴するカスタム方向である。例として、視聴のカスタム方向は、観客１５０が立っていた時からの観客１５０の視線の向きを固定またはロックすることを含んでよく、それによって、観客が横になると、同じ角度で仮想現実環境を視聴し続けることができる。角度は重力に対してではなく、横になっている場合もある観客１５０に対してであるが、ビューは正常に見える。

この構成において、視線の向きまたは視野角を固定またはロックすることは、図６Ｂに示すように、ユーザが横になった時、同じ向きとなるように視野角を固定することを意味する。すなわち、ユーザが横になる、または、座る、または、位置を変える時間中、ユーザの頭は、視線の向きを変えておらず、それによって、ユーザが向きを変える、または、新しい向きを設定する間、ビューを基本的に現在のビューにロックする。ユーザが横になると、ここでも、ユーザの頭を使用して、ＶＲシーンの異なる部分を視聴できる。

図７は、ＨＭＤプレイヤ１００のインタラクティブなプレイに応答して生成されている仮想現実環境４５０とインタフェースしている観客１５０の例を示す。図に示すように、ＨＭＤプレイヤ１００は、コントローラ１０４を利用していてよく、ＨＭＤコンテンツは、ゲームコンソール７０４によって生成されてよく、ＨＭＤ１０２に提供される。ＨＭＤ観客１５０は、ローカルデバイス７０２とも通信してよく、ローカルデバイス７０２は、ＨＭＤ観客１５０のＨＭＤ１０２を介して視聴するためのインタラクティブコンテンツを提供できる。この実施形態においては、ＨＭＤ観客１５０は、ローカルデバイス７０２を使用して、ネットワーク７１０と通信する。ゲームコンソール７０４は、ネットワーク７１０への接続も備えてよい。従って、ゲームコンソール７０４によって生成されたインタラクティブコンテンツは、ネットワーク７１０に共有でき、それによって、ＨＭＤ観客１５０は、本明細書に記載の観客の様々な実施形態に従って、仮想現実環境４５０を視聴でき、コンテンツとインタラクトまたはコンテンツを視聴できる。

ネットワーク７１０は、クラウドゲーミングまたは仮想現実サービス７００に接続されて示される。サービスは、クラウドシステムの一部であってよく、地理的に分散した１つまたは複数のデータセンタによって実施されてよい。クラウドゲーミングまたは仮想現実サービス７００は、様々な処理エンジンとデータベースを用いて構成されてよい。例として、サービス７００は、ソーシャルデータ７１６と通信してよく、ソーシャルデータ７１６は、ネットワーク７１０からサービス７００にローカルに、または、外部のソーシャルネットワーキングサイトから取得されてよい。サービス７００は、ユーザアカウント７２０とも通信してよく、サービス７００のユーザに、追加のサービスと好みの管理とを提供できる。ゲームデータ７１８も保存でき、特定のユーザアカウント７２０に関連付けて配置できる。

ゲームデータは、ユーザがアクセスを有する、プレイした、ステータスデータを保存した、状態データを保存した、成績を保存した、トロフィーを保存した、好み、他の構成もしくは特殊なプログラミングを保存した様々なゲーム７２２を識別できる。一実施形態においては、クラウド仮想現実サービス７００は、仮想現実コンテンツ７２４へのアクセスを有効にできる。仮想現実コンテンツ７２４は、仮想現実対応ゲームに加えたコンテンツであってよい。例えば、仮想現実コンテンツ７２４は、他のコンテンツソース７１４からインターネットを介してアクセスされるコンテンツであってよい。

ソースは、例えば、特定の目的のために、仮想現実コンテンツ７２４を生成するメディア開発者であってよい。目的は、娯楽、情報、ビジネス、会議、ドキュメント共有、仮想ビュー及び非仮想ビューの共有、コンテンツの検査、コラボレーション、インタラクション、及び／または、他の用途であってよい。一構成においては、クラウドゲーミングまたは仮想現実サービス７００は、観客ストリーミング７２６も促進してよい。観客ストリーミング７２６は、ＨＭＤプレイヤが視聴しているコンテンツを遠隔またはローカルのＨＭＤ観客１５０に共有及びストリーミングするのを可能にする１つまたは複数の処理モジュールを含んでよい。上記のように、ＨＭＤプレイヤによって生成された仮想現実環境４５０のフィードを複数の観客に同時に共有することが可能である。各観客は、上記のように、仮想現実シーンへの異なる視点を提供されてよい。視点は、観客の好みに基づいてカスタマイズすることができる、または、仮想現実シーン内のプレオーサリングされたビュースポットに関連付けられてよい。

ＨＭＤプレイヤ１００が、仮想現実環境を動き回ると、観客１５０は、仮想現実空間のマルチメディアコンテンツを視聴する様々なスポットを提供されてよい。従って、ＨＭＤ観客１５０は、ＨＭＤプレイヤ１００の後を追う方法を提供されてよく、方法においては、異なるビュースポットが、ＨＭＤ観客に対してカスタマイズされる、または、ＨＭＤプレイヤがあちこち移動しているコンテンツの知識に基づいて、予め識別またはプレオーサリングされてよい。

上記のように、観客共有ウェブサイト７２８を有することも可能であり、観客共有ウェブサイト７２８は、サービス７００によってネットワーク７１０を介して提供されてよい。観客共有ウェブサイト７２８は、Ｔｗｉｔｃｈサイトと同じように機能できる。Ｔｗｉｔｃｈサイトは、任意の数の観客が仮想現実環境を観戦することを可能にする。一実施形態においては、ユーザは、ユーザが関心のあるコンテンツをユーザが観戦するのを可能にする検索機能を提供されてよい。観戦可能な仮想現実コンテンツは、ＨＭＤプレイヤ１００がプレイしているライブのインタラクティブコンテンツであってもよく、または、前のＨＭＤプレイヤセッションからの録画であってもよい。コンテンツが録画される場合も、観客は、前のＨＭＤプレイヤからの録画セッションで異なる視点をインタラクティブに選択する能力を提供されてよい。

従って、観客ウェブサイト７２８は、新しく利用可能な仮想現実環境への変更、現在トレンドになっている環境、高い評価のＨＭＤプレイヤがあちこち移動している関心のある環境のランキングに基づいて、または、観戦したいユーザの検索に基づいて、動的に提示及び更新できる。観客は、ＨＭＤプレイヤのライブの仮想現実コンテンツをＨＭＤではない画面で視聴できることも理解されたい。

画面は、ローカルデバイス７０２に接続されたテレビの画面であってもよく、または、画面を有するポータブルデバイスであってもよい。コンテンツが、ＨＭＤ１０２を通して視聴されていない場合、コンテンツは、二次元ディスプレイにＶＲコンテンツを提示することに関連する異常を取り除くように、三次元コンテンツから二次元コンテンツに変換されてよい。ある実施形態においては、三次元コンテンツを三次元対応画面に提示することもできる。このような場合、三次元画面で三次元コンテンツを視聴する時に通常使用される視聴眼鏡を使用することも可能であってよい。

さらに、観客は、ｔｗｉｔｃｈタイプサイト等のウェブサイトに接続されたディスプレイ画面からコンテンツを単純に視聴してよい。ある実施形態においては、ＨＭＤプレイヤ１００によってプレイされている仮想現実環境４５０を、パーソナルコンピュータ（ＰＣ）、ゲームコンソール、スマートフォン、タブレットコンピュータ等を使用して視聴してよい。ある実施形態においては、ＨＭＤプレイヤがＨＭＤ１０２を介して視聴するコンテンツは、二次元画面に表示できるように、修正することができる。例えば、コンテンツをｔｗｉｔｃｈタイプサービスに共有する前に、コンテンツに３Ｄから２Ｄへの変換を行うことができる。他の実施形態においては、フル３Ｄコンテンツは、ｔｗｉｔｃｈタイプサービスに共有でき、ｔｗｉｔｃｈタイプサービスに接続された観客は、ＨＭＤを介してコンテンツを視聴できてよい。観客が仮想現実環境４５０を消費する方法は様々であってよく、観客に提供される機能も様々であってよいことは理解されたい。大まかに言うと、観客は、ＨＭＤプレイヤ１００が見ている所を見るためにハイライトを提供されてよく、また、仮想現実シーン内の特定の場所のリスニングを可能にする動的に選択可能な設定も提供されてよい。

さらに、観客は、仮想現実環境４５０への異なるビュースポットを提供されてよい。これらのビュースポットは、動的に制御またはプレオーサリングされて、特定の視聴場所と視野角を観客に提供できる。これらの機能は、動的な拡張された観戦能力を提供でき、ＨＭＤがナビゲートしたコンテンツを観客が視聴する体験を強化する。上記のように、これらの実施形態は、ＨＭＤコンテンツを見ることで方向感覚を失ったり、または、単に不快感をもたらしたりし得るＨＭＤプレイヤの頭の素早い動きに結び付けられず、より正常に観客がコンテンツを視聴することも容易にする。

ＨＭＤプレイヤの場所に応じて、徐々に動き得るまたはゆっくりと動き得るビュースポットを観客に提供することは、ＨＭＤプレイヤが楽しんでいる仮想現実コンテンツを見る簡単な方法を提供する。よって、観客は、簡単にコンテンツを見ることができ、また、見る楽しみ、または、ＨＭＤデバイスを介したゲームプレイへの参加もしくはマルチメディアコンテンツ視聴を向上させる方法を提供される。これらの強化された機能を提供することによって、観客は、もはや、ＨＭＤプレイヤの固定の視野角に縛られることはなく、また、もはや、ＨＭＤプレイヤと全く同じビューを視聴したり、ＨＭＤプレイヤが駆動している動作の後を正確に追ったりする必要はない。

図８を参照すると、本開示の実施形態による、ヘッドマウントディスプレイ１０２のコンポーネントの図が示されている。ヘッドマウントディスプレイ１０２は、プログラム命令を実行するプロセッサ１３００を含む。メモリ１３０２が、記憶のために備えられ、メモリ１３０２は、揮発性、不揮発性の両方のメモリを含んでよい。ユーザが視聴し得る視覚インタフェースを提供するディスプレイ１３０４が含まれる。バッテリ１３０６が、ヘッドマウントディスプレイ１０２の電源として提供される。モーション検出モジュール１３０８は、磁力計１３１０、加速度計１３１２、及び、ジャイロスコープ１３１４等、様々な種類の動作検知ハードウェアのいずれかを含んでよい。

加速度計は、加速と重力によって引き起こされる反力とを測定する装置である。単軸及び多軸のモデルが、異なる方向の加速の大きさと方向の検出に利用できる。加速度計を使用して、傾き、振動、及び、衝撃を検知する。一実施形態においては、３つの加速度計１３１２を使用して、２つの角度（世界空間ピッチと世界空間ロール）に絶対参照を与える重力の方向を求める。

磁力計は、ヘッドマウントディスプレイの近くの磁場の強さと方向を測定する。一実施形態においては、３つの磁力計１３１０が、ヘッドマウントディスプレイ内で使用されて、世界空間ヨー角の絶対参照を確保する。一実施形態においては、磁力計は、±８０マイクロテスラである地球の磁場にわたるように設計される。磁力計は、金属の影響を受け、実際のヨーに対して単調であるヨー測定値を提供する。磁場は、環境中の金属が原因で歪む場合があり、これは、ヨー測定値の歪みを起こす。必要に応じて、この歪みは、ジャイロスコープまたはカメラ等、他のセンサからの情報を用いて較正できる。一実施形態においては、加速度計１３１２は、磁力計１３１０と共に使用されて、ヘッドマウントディスプレイ１０２の傾きと方位角を取得する。

ある実施態様においては、ヘッドマウントディスプレイの磁力計は、他の近くの装置の電磁石が非アクティブな間中、読み取られるように構成される。

ジャイロスコープは、角運動量の原理に基づいて、向きを測定または維持する装置である。一実施形態においては、３つのジャイロスコープ１３１４が、各軸（ｘ、ｙ、ｚ）に対する動きの情報を慣性感知に基づいて提供する。ジャイロスコープは、高速回転の検出を支援する。しかしながら、ジャイロスコープは、絶対参照の存在が無く、時間が経つとドリフトする可能性がある。これは、ジャイロスコープの周期的なリセットを必要とし、リセットは、オブジェクトの視覚追跡、加速度計、磁力計等に基づいた、位置／または向きの決定等、他の利用可能な情報を用いて行うことができる。

カメラ１３１６が、現実環境の画像及び画像ストリームを捕捉するために備えられる。後ろ（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザから離れる方向）を向いているカメラと、前（ユーザがヘッドマウントディスプレイ１０２のディスプレイを見ている時、ユーザに向かう方向）を向いているカメラとを含む複数のカメラがヘッドマウントディスプレイ１０２に含まれてよい。さらに、デプスカメラ１３１８が、現実環境のオブジェクトの奥行情報を検知するために、ヘッドマウントディスプレイ１０２に含まれてよい。

ヘッドマウントディスプレイ１０２は、オーディオ出力を提供するスピーカ１３２０を含む。また、マイクロフォン１３２２が、周辺環境の音、ユーザによる会話等を含む、現実環境からのオーディオを捕捉するために含まれてよい。ヘッドマウントディスプレイ１０２は、触覚フィードバックをユーザに提供する触覚フィードバックモジュール１３２４を含む。一実施形態においては、触覚フィードバックモジュール１３２４は、触覚フィードバックをユーザに提供するように、ヘッドマウントディスプレイ１０２に動き及び／または振動を起こすことができる。

ＬＥＤ１３２６は、ヘッドマウントディスプレイ１０２の状態の視覚的インジケータとして提供される。例えば、ＬＥＤは、バッテリレベル、電源オン等を示してよい。カードリーダ１３２８が備えられて、ヘッドマウントディスプレイ１０２が、メモリカードに情報の読み書きをするのを可能にする。ＵＳＢインタフェース１３３０が、周辺装置の接続、または、他のポータブルデバイス、コンピュータ等、他の装置への接続を可能にするためのインタフェースの一例として含まれる。ヘッドマウントディスプレイ１０２の様々な実施形態において、様々な種類のインタフェースのいずれかが、ヘッドマウントディスプレイ１０２の接続性を向上させるために含まれてよい。

ＷｉＦｉ（登録商標）モジュール１３３２が、無線ネットワーク技術を用いてインターネットまたはローカルエリアネットワークへの接続を可能にするために含まれる。また、ヘッドマウントディスプレイ１０２は、他の装置への無線接続を可能にするブルートゥース（登録商標）モジュール１３３４を含む。通信リンク１３３６も、他の装置への接続のために含まれてよい。一実施形態においては、通信リンク１３３６は、無線接続に赤外線送信を利用する。他の実施形態においては、通信リンク１３３６は、他の装置との通信のために、様々な無線または有線の送信プロトコルのいずれかを利用してよい。

入力ボタン／センサ１３３８が、入力インタフェースをユーザに提供するために含まれる。ボタン、タッチパッド、ジョイスティック、トラックボール等、様々な種類の入力インタフェースのいずれかが、含まれてよい。超音波通信モジュール１３４０が、超音波技術を用いて他の装置との通信を促進するためにヘッドマウントディスプレイ１０２に含まれてよい。

バイオセンサ１３４２が、生理学的データのユーザからの検出を可能にするために含まれる。一実施形態においては、バイオセンサ１３４２は、ユーザの皮膚を通して、ユーザの生体電気信号を検出するための１つまたは複数の乾電極を含む。

ビデオ入力１３４４が、ＨＭＤをレンダリングするために、一次処理コンピュータ（例えば、メインゲームコンソール）からビデオ信号を受信するように構成される。ある実施態様においては、ビデオ入力は、ＨＤＭＩ（登録商標）入力である。

ヘッドマウントディスプレイ１０２の前述のコンポーネントは、ヘッドマウントディスプレイ１０２に含まれ得る単なる例示のコンポーネントとして記載した。開示の様々な実施形態において、ヘッドマウントディスプレイ１０２は、様々な上記のコンポーネントの幾つかを含んでもよく、含まなくてもよい。ヘッドマウントディスプレイ１０２の実施形態は、さらに、ここには記載しないが、当分野で既知の他のコンポーネントを、本明細書に記載の本開示の態様を容易にするために、含んでよい。

図９は、開示の様々な実施形態による、ゲームシステム１４００のブロック図である。ゲームシステム１４００は、１つまたは複数のクライアント１４１０にネットワーク１４１５を介してビデオストリームを提供するように構成される。ゲームシステム１４００は、典型的に、ビデオサーバシステム１４２０と、オプションのゲームサーバ１４２５とを含む。ビデオサーバシステム１４２０は、ビデオストリームを１つまたは複数のクライアント１４１０に最低限のサービス品質で提供するように構成される。例えば、ビデオサーバシステム１４２０は、ビデオゲームの状態とビデオゲーム内の視点とを変更するゲームコマンドを受信してよく、状態のこの変化を反映する更新されたビデオストリームを最小の遅延時間でクライアント１４１０に提供してよい。ビデオサーバシステム１４２０は、今後、規定されるフォーマットも含む多種多様な代替ビデオフォーマットで、ビデオストリームを提供するように構成されてよい。さらに、ビデオストリームは、多種多様なフレームレートで、ユーザに提示されるように構成されたビデオフレームを含んでよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム、及び、毎秒１２０フレームであるが、より高いまたはより低いフレームレートが、開示の代替実施形態に含まれる。

本明細書では、個々に、１４１０Ａ、１４１０Ｂ等と呼ばれるクライアント１４１０は、ヘッドマウントディスプレイ、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線装置、デジタルパッド、スタンドアロンデバイス、ハンドヘルドゲームプレイデバイス等を含んでよい。典型的に、クライアント１４１０は、符号化ビデオストリームを受信するように構成され、ビデオストリームを復号するように構成され、且つ、結果として生じるビデオをユーザ、例えば、ゲームのプレイヤに提示するように構成される。符号化ビデオストリームを受信するプロセス、及び／または、ビデオストリームを復号するプロセスは、典型的に、個々のビデオフレームをクライアントの受信バッファに記憶することを含む。ビデオストリームは、クライアント１４１０に一体化されたディスプレイ、または、モニタもしくはテレビ等の別個の装置で、ユーザに提示されてよい。クライアント１４１０は、任意選択で、複数のゲームプレイヤをサポートするように構成される。例えば、ゲームコンソールは、２人、３人、４人、または、５人以上の同時プレイヤをサポートするように構成されてよい。これらの各プレイヤは、別個のビデオストリームを受信してよく、または、一つのビデオストリームが、特に各プレイヤに対して生成された、例えば、各プレイヤの視点に基づいて生成されたフレームの領域を含んでよい。クライアント１４１０は、任意選択で、地理的に分散している。ゲームシステム１４００に含まれるクライアントの数は、１人もしくは２人から、何千、何万、または、それ以上と様々であってよい。本明細書においては、「ゲームプレイヤ」という語は、ゲームをプレイする人を指して使用され、「ゲームプレイデバイス」という語は、ゲームのプレイに使用されるデバイスを指して用いられる。ある実施形態においては、ゲームプレイデバイスは、協働してゲーム体験をユーザに伝える複数のコンピュータデバイスを指してよい。例えば、ゲームコンソール及びＨＭＤは、ビデオサーバシステム１４２０と協働して、ＨＭＤを通して視聴されるゲームを配信してよい。一実施形態においては、ゲームコンソールは、ビデオサーバシステム１４２０からビデオストリームを受信し、ゲームコンソールは、ビデオストリームまたはビデオストリームへの更新をレンダリングのためにＨＭＤに転送する。

クライアント１４１０は、ネットワーク１４１５を介してビデオストリームを受信するように構成される。ネットワーク１４１５は、電話ネットワーク、インターネット、無線ネットワーク、送電線網、ローカルエリアネットワーク、広域ネットワーク、プライベートネットワーク等を含む、任意の種類の通信ネットワークであってよい。典型的な実施形態においては、ビデオストリームは、ＴＣＰ／ＩＰまたはＵＤＰ／ＩＰ等の標準的プロトコルを介して通信される。あるいは、ビデオストリームは、プロプライエタリ規格を介して通信される。

クライアント１４１０の典型的な例は、プロセッサ、不揮発メモリ、ディスプレイ、復号論理回路、ネットワーク通信能力、及び、入力装置を含むパーソナルコンピュータである。復号論理回路は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含んでよい。ビデオストリームを復号（及び符号化する）システムは、当分野で周知であり、使用される特定の符号化スキームに応じて変わる。

クライアント１４１０は、受信したビデオを修正するために構成されたシステムをさらに含んでよいが、含む必要はない。例えば、クライアントは、１つのビデオ画像を他のビデオ画像にオーバーレイする、ビデオ画像を切り取る等のために、さらにレンダリングを行うように構成されてよい。例えば、クライアント１４１０は、Ｉフレーム、Ｐフレーム、及び、Ｂフレーム等の様々な種類のビデオフレームを受信するように構成されてよく、また、これらのフレームを処理して、ユーザに表示する画像にするように構成されてよい。ある実施形態においては、クライアント１４１０の構成要素は、さらに、レンダリング、シェーディング、３Ｄへの変換、または、同様の操作をビデオストリームに対して行うように構成される。クライアント１４１０の構成要素は、任意選択で、複数のオーディオストリームまたはビデオストリームを受信するように構成される。クライアント１４１０の入力装置は、例えば、片手ゲームコントローラ、両手ゲームコントローラ、ジェスチャ認識システム、視線認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力フィードバックデバイス、動作及び／または位置検知装置、マウス、タッチスクリーン、神経インタフェース、カメラ、今後開発される入力装置等を、含んでよい。

クライアント１４１０が受信したビデオストリーム（及び、任意選択で、オーディオストリーム）は、ビデオサーバシステム１４２０によって生成、提供される。さらに、本明細書の他の箇所に記載のように、このビデオストリームは、ビデオフレームを含み（且つ、オーディオストリームは、オーディオフレームを含む）。ビデオフレームは、ユーザに表示される画像に有意の寄与をするように構成される（例えば、ビデオフレームは、適切なデータ構造の画素情報を含む）。本明細書においては、「ビデオフレーム」という語は、ユーザに示す画像に寄与するように構成された、例えば、影響を与えるように構成された情報を主に含むフレームを指すために使用される。「ビデオフレーム」に関する本明細書の教示の大半は、「オーディオフレーム」にも適用できる。

クライアント１４１０は、典型的に、ユーザからの入力を受信するように構成される。これらの入力は、ビデオゲームの状態を変更するように、または、他の形でゲームプレイに影響を与えるように構成されたゲームコマンドを含んでよい。ゲームコマンドは、入力装置を用いて受信できる、及び／または、クライアント１４１０で実行する計算命令によって自動的に生成されてよい。受信したゲームコマンドは、クライアント１４１０からネットワーク１４１５を介してビデオサーバシステム１４２０及び／またはゲームサーバ１４２５に通信される。例えば、ある実施形態においては、ゲームコマンドは、ビデオサーバシステム１４２０を介してゲームサーバ１４２５に通信される。ある実施形態においては、ゲームコマンドの別々のコピーが、クライアント１４１０からゲームサーバ１４２５及びビデオサーバシステム１４２０に通信される。ゲームコマンドの通信は、任意選択で、コマンドのアイデンティティに依存する。ゲームコマンドは、任意選択で、オーディオストリームまたはビデオストリームをクライアント１４１０Ａに提供するのに使用される異なるルートまたは通信チャネルを通して、クライアント１４１０Ａから通信される。

ゲームサーバ１４２５は、任意選択で、ビデオサーバシステム１４２０と異なるエンティティによって操作される。例えば、ゲームサーバ１４２５は、マルチプレイヤゲームの発行者によって操作されてよい。この例において、ビデオサーバシステム１４２０は、任意選択で、ゲームサーバ１４２５によってクライアントとして視聴され、任意選択で、ゲームサーバ１４２５の視点からは、先行技術のゲームエンジンを実行する先行技術のクライアントであると見えるように構成される。ビデオサーバシステム１４２０とゲームサーバ１４２５との間の通信は、任意選択で、ネットワーク１４１５を介して生じる。従って、ゲームサーバ１４２５は、ゲーム状態情報を複数のクライアントに送る先行技術のマルチプレイヤゲームサーバであってよく、複数のクライアントの１つは、ゲームサーバシステム１４２０である。ビデオサーバシステム１４２０は、ゲームサーバ１４２５の複数のインスタンスと同時に通信するように構成されてよい。例えば、ビデオサーバシステム１４２０は、複数の異なるビデオゲームを異なるユーザに提供するように構成できる。これらの異なるビデオゲームは、それぞれ、異なるゲームサーバ１４２５によってサポートされてよく、及び／または、異なるエンティティによって発行されてよい。ある実施形態においては、ビデオサーバシステム１４２０の幾つかの地理的に分散したインスタンスは、ゲームビデオを複数の異なるユーザに提供するように構成される。ビデオサーバシステム１４２０のこれらのインスタンスは、それぞれ、ゲームサーバ１４２５の同じインスタンスと通信してよい。ビデオサーバシステム１４２０と１つまたは複数のゲームサーバ１４２５との間の通信は、専用通信チャネルを介して任意選択で生じる。例えば、ビデオサーバシステム１４２０は、これら２つのシステム間の通信専用の広帯域チャネルを介してゲームサーバ１４２５に接続されてよい。

ビデオサーバシステム１４２０は、少なくともビデオソース１４３０、Ｉ／Ｏ装置１４４５、プロセッサ１４５０、及び、非一時的ストレージ１４５５を含む。ビデオサーバシステム１４２０は、１つのコンピュータデバイスを含んでよく、または、複数のコンピュータデバイス間に分散されてよい。これらのコンピュータデバイスは、任意選択で、ローカルエリアネットワーク等の通信システムを介して接続される。

ビデオソース１４３０は、ビデオストリーム、例えば、動画を形成するストリーミングビデオもしくは一連のビデオフレームを提供するように構成される。ある実施形態においては、ビデオソース１４３０は、ビデオゲームエンジンとレンダリング論理とを含む。ビデオゲームエンジンは、プレイヤからゲームコマンドを受信するように構成され、受信したコマンドに基づいて、ビデオゲームの状態のコピーを維持するように構成される。このゲーム状態は、ゲーム環境におけるオブジェクトの位置と、典型的には、視点とを含む。ゲーム状態は、オブジェクトのプロパティ、画像、色、及び／または、テクスチャも含んでよい。ゲーム状態は、典型的に、ゲーム規則と、移動、回転、攻撃、焦点を合わせる、インタラクト、使用等のゲームコマンドに基づいて維持される。ゲームエンジンの一部は、任意選択でゲームサーバ１４２５内に配置される。ゲームサーバ１４２５は、地理的に分散したクライアントを用いて複数のプレイヤから受信したゲームコマンドに基づいて、ゲーム状態のコピーを維持してよい。この場合、ゲーム状態は、ゲームサーバ１４２５によってビデオソース１４３０に提供され、ゲーム状態のコピーが記憶されて、レンダリングが行われる。ゲームサーバ１４２５は、クライアント１４１０からネットワーク１４１５を介して直接、ゲームコマンドを受信してよい、及び／または、ビデオサーバシステム１４２０を介してゲームコマンドを受信してよい。

ビデオソース１４３０は、典型的に、レンダリング論理回路、例えば、ハードウェア、ファームウェア、及び／または、ストレージ１４５５等のコンピュータ可読媒体に記憶されたソフトウェアを含む。このレンダリング論理回路は、ゲーム状態に基づいて、ビデオストリームのビデオフレームを作成するように構成される。レンダリング論理回路の全てまたは一部は、任意選択で、グラフィックス処理ユニット（ＧＰＵ）内に配置される。レンダリング論理回路は、典型的に、オブジェクト間の三次元空間関係を決定するために、及び／または、ゲーム状態と視点とに基づいて適切なテクスチャ等を適用するために、構成された処理段階を含む。レンダリング論理回路は、未加工ビデオを生成し、次に、通常は、クライアント１４１０に通信される前に符号化される。例えば、未加工ビデオは、Ａｄｏｂｅ Ｆｌａｓｈ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ‐１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ‐ｘ．、Ｘｖｉｄ、ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、ｒｅａｌｖｉｄｅｏ、ｍｐ３等に従って符号化されてよい。符号化処理によって、ビデオストリームが生成され、ビデオストリームは、リモートデバイス上のデコーダに送るために、任意選択でパッケージ化される。ビデオストリームは、フレームサイズとフレームレートによって特徴づけられる。典型的なフレームサイズは、８００ｘ６００、１２８０ｘ７２０（例えば、７２０ｐ）、１０２４ｘ７６８を含むが、任意の他のフレームサイズを用いてよい。フレームレートは、毎秒あたりのビデオフレームの数である。ビデオストリームは、異なる種類のビデオフレームを含んでよい。例えば、Ｈ．２６４規格は、「Ｐ」フレームと「Ｉ」フレームを含む。Ｉフレームは、ディスプレイ装置上のマクロブロック／画素をリフレッシュする情報を含み、Ｐフレームは、そのサブセットをリフレッシュする情報を含む。Ｐフレームは、典型的に、Ｉフレームよりデータサイズが小さい。本明細書においては、「フレームサイズ」という語は、フレーム内の画素数を指す。「フレームデータサイズ」という語は、フレームの記憶に必要なバイト数を指すのに用いられる。

代替実施形態においては、ビデオソース１４３０は、カメラ等のビデオ記録装置を含む。このカメラを使用して、コンピュータゲームのビデオストリームに含まれ得る遅延ビデオまたはライブビデオを生成してよい。結果として生じるビデオストリームは、任意選択で、レンダリングされた画像と、スチルカメラまたはビデオカメラを用いて記録された画像との両方を含む。ビデオソース１４３０は、以前記録されたビデオをビデオストリームに含めるように記憶するように構成された記憶装置も含んでよい。ビデオソース１４３０は、また、オブジェクト、例えば、人の動作または位置を検出するように構成された動作または位置検知装置と、検出された動作及び／または位置に基づいて、ゲーム状態を決定またはビデオを生成するように構成された論理回路とを含んでよい。

ビデオソース１４３０は、他のビデオ上に配置されるように構成されたオーバーレイを提供するように任意選択で構成される。例えば、これらのオーバーレイは、コマンドインタフェース、ログイン命令、ゲームプレイヤへのメッセージ、他のゲームプレイヤの画像、他のゲームプレイヤのビデオフィード（例えば、ｗｅｂｃａｍビデオ）を含んでよい。タッチスクリーンインタフェースまたは視線検出インタフェースを含むクライアント１４１０Ａの実施形態においては、オーバーレイは、仮想のキーボード、ジョイスティック、タッチパッド等を含んでよい。オーバーレイの一例においては、プレイヤの音声が、オーディオストリームにオーバーレイされる。ビデオソース１４３０は、任意選択で１つまたは複数のオーディオソースをさらに含む。

ビデオサーバシステム１４２０が複数のプレイヤからの入力に基づいてゲーム状態を維持するように構成された実施形態においては、各プレイヤは、ビューの位置と方向を含む異なる視点を有してよい。ビデオソース１４３０は、任意選択で、各プレイヤの視点に基づいて、各プレイヤに別々のビデオストリームを提供するように構成される。さらに、ビデオソース１４３０は、異なるフレームサイズ、フレームデータサイズ、及び／または、符号化を各クライアント１４１０に提供するように構成されてよい。ビデオソース１４３０は、任意選択で３Ｄビデオを提供するように構成される。

Ｉ／Ｏ装置１４４５は、ビデオサーバシステム１４２０が、ビデオ、コマンド、情報の要求、ゲーム状態、視線情報、デバイスの動き、デバイスの位置、ユーザの動作、クライアントのアイデンティティ、プレイヤのアイデンティティ、ゲームコマンド、セキュリティ情報、オーディオ等の情報を送信及び／または受信するように構成される。Ｉ／Ｏ装置１４４５は、典型的に、ネットワークカードまたはモデム等の通信ハードウェアを含む。Ｉ／Ｏ装置１４４５は、ゲームサーバ１４２５、ネットワーク１４１５、及び／または、クライアント１４１０と通信するように構成される。

プロセッサ１４５０は、本明細書で述べたビデオサーバシステム１４２０の様々なコンポーネント内に含まれる論理回路、例えば、ソフトウェアを実行するように構成される。例えば、プロセッサ１４５０は、ビデオソース１４３０、ゲームサーバ１４２５、及び／または、クライアントクオリファイア１４６０の機能を行うために、ソフトウェア命令を用いてプログラムされてよい。ビデオサーバシステム１４２０は、任意選択で、プロセッサ１４５０の複数のインスタンスを含む。プロセッサ１４５０は、ビデオサーバシステム１４２０が受信したコマンドを実行するために、または、本明細書で述べたゲームシステム１４００の様々な要素の操作を連係させるために、ソフトウェア命令を用いてプログラムされてもよい。プロセッサ１４５０は、１つまたは複数のハードウェア装置を含んでよい。プロセッサ１４５０は、電子プロセッサである。

ストレージ１４５５は、非一時的アナログ及び／またはデジタル記憶装置を含む。例えば、ストレージ１４５５は、ビデオフレームを記憶するように構成されたアナログ記憶装置を含んでよい。ストレージ１４５５は、例えば、ハードドライブ、光学ドライブ、または、ソリッドステートストレージ等、コンピュータ可読デジタルストレージを含んでよい。ストレージ１４１５は、ビデオフレーム、擬似フレーム、ビデオフレーム及び擬似フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム等を記憶するように（例えば、適切なデータ構造またはファイルシステムによって）構成される。ストレージ１４５５は、任意選択で複数の装置に分散される。ある実施形態においては、ストレージ１４５５は、本明細書の他の箇所で述べるビデオソース１４３０のソフトウェアコンポーネントを記憶するよう構成される。これらのコンポーネントは、必要に応じプロビジョニング可能なフォーマットで記憶されてよい。

ビデオサーバシステム１４２０は、任意選択で、クライアントクオリファイア１４６０をさらに含む。クライアントクオリファイア１４６０は、クライアント１４１０Ａまたは１４１０Ｂ等のクライアントの能力を遠隔で判断するために構成される。この能力は、クライアント１４１０Ａ自体の能力と、クライアント１４１０Ａとビデオサーバシステム１４２０との間の１つまたは複数の通信チャネルの能力と両方を含み得る。例えば、クライアントクオリファイア１４６０は、ネットワーク１４１５を通して通信チャネルをテストするよう構成されてよい。

クライアントクオリファイア１４６０は、クライアント１４１０Ａの能力を手動または自動で判定（例えば、発見）できる。手動による判定は、クライアント１４１０Ａのユーザと通信し、能力を提供するようユーザに求める。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０Ａのブラウザ内に画像、テキスト等を表示するよう構成される。一実施形態においては、クライアント１４１０Ａはブラウザを含むＨＭＤである。別の実施形態においては、クライアント１４１０Ａはブラウザを有するゲームコンソールであり、ＨＭＤに表示されてよい。表示されたオブジェクトは、クライアント１４１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度等の情報を入力するようユーザに求める。ユーザにより入力された情報は、クライアントクオリファイア１４６０に返信される。

自動判定は、例えば、クライアント１４１０Ａでのエージェントの実行によって、及び／または、クライアント１４１０Ａへのテストビデオの送信によって、実施されてよい。エージェントは、ウェブページに埋め込まれるか、アドオンとしてインストールされた、Ｊａｖａ（登録商標）スクリプト等の計算命令を含んでよい。エージェントは、任意選択でクライアントクオリファイア１４６０により提供される。様々な実施形態において、エージェントは、クライアント１４１０Ａの処理能力、クライアント１４１０Ａの復号能力及び表示能力、クライアント１４１０Ａとビデオサーバシステム１４２０との間の通信チャネルの遅延時間信頼性及び帯域幅、クライアント１４１０Ａの表示の種類、クライアント１４１０Ａのファイアウォール、クライアント１４１０Ａのハードウェア、クライアント１４１０Ａで実行されるソフトウェア、クライアント１４１０Ａ内のレジストリエントリ等を知ることができる。

クライアントクオリファイア１４６０は、ハードウェア、ファームウェア、及び／または、コンピュータ可読媒体に記憶されたソフトウェアを含む。クライアントクオリファイア１４６０は、ビデオサーバシステム１４２０の１つまたは複数の他の要素とは別個のコンピュータデバイス上に任意選択で配置される。例えば、ある実施形態においては、クライアントクオリファイア１４６０は、クライアント１４１０とビデオサーバシステム１４２０の複数のインスタンスとの間の通信チャネルの特性を判断するよう構成される。これらの実施形態においては、クライアントクオリファイアが発見した情報を使用して、ビデオサーバシステム１４２０のどのインスタンスがクライアント１４１０の１つにストリーミングビデオを配信するのに最適かを判断できる。

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブルな家電製品、ミニコンピュータ、メインフレームコンピュータ等を含む多様なコンピュータシステム構成で実践されてよい。本開示は、有線または無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても実践できる。

上記の実施形態を念頭において、本開示は、コンピュータシステムに記憶されたデータを伴う様々なコンピュータ実施操作を使用できることを理解されたい。これらの操作は、物理量を伴う物理的操作を要する操作である。本開示の一部を成す本明細書に記載の操作はいずれも、有用な機械操作である。本開示は、これらの操作を行うデバイスまたは装置にも関する。装置は、必要とされる目的に合わせて特別に構築できる、または、装置は、コンピュータに記憶されたコンピュータプログラムによって選択的に起動または構成される汎用コンピュータであってよい。詳細には、様々な汎用機械を本明細書の教示に従って書かれたコンピュータプログラムと共に使用できる、または、必要な操作を行なうより専門的な装置を構築するとより便利な場合がある。

本開示は、コンピュータ可読媒体上のコンピュータ可読コードとして実現することもできる。コンピュータ可読媒体は、データの記憶ができる任意のデータ記憶装置であり、データは、後にコンピュータシステムにより読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、リードオンリメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、並びに、他の光学的及び非光学的データ記憶装置を含む。コンピュータ可読媒体は、コンピュータ可読コードが分散して記憶、実行されるように、ネットワーク接続コンピュータシステムを介して分散されたコンピュータ可読有形媒体を含み得る。

方法の操作は特定の順序で記載しているが、操作と操作の間で他のハウスキーピング操作が行われてもよく、または、オーバーレイ操作処理が所望の方法で実施される限り、操作は、わずかに異なる時間に実施されるように調整されてもよく、または、処理に関連付けられた様々な間隔で、処理操作が行われるのを可能にするシステムに分散されてもよいことは理解されたい。

上記開示は、明確に理解されるように詳述したが、添付の特許請求の範囲内で所定の変更及び修正を実践してよいことは明らかであろう。従って、本実施形態は、例示的なものであって限定的なものではなく、本開示は本明細書の詳細に限定されず、本開示の範囲及び均等物の範囲内で修正されてよい。

Claims (20)

1. 観客が視聴するための仮想現実コンテンツを処理する方法であって、
   ヘッドマウントディスプレイ（ＨＭＤ）を装着しているＨＭＤプレイヤによるインタラクションと関連付けられた仮想現実ストリームをサーバで受信することであって、前記ＨＭＤプレイヤは、仮想現実環境をナビゲートするように構成され、前記仮想現実環境の前記ナビゲートは、ＨＭＤプレイヤビューを有する前記仮想現実ストリームを生成する、前記仮想現実ストリームを受信することと、
   観客のデバイスを介して、前記観客のＨＭＤを用いて前記仮想現実ストリームを視聴する要求を前記サーバで受信することと、
   前記サーバが、前記観客の前記デバイスに前記仮想現実ストリームのフィードを送信することであって、前記仮想現実ストリームの前記フィードは、前記ＨＭＤプレイヤビューと同じビュー及び異なるビューにできる前記仮想現実環境のＨＭＤ観客ビューを提供する、前記仮想現実ストリームのフィードを送信することと、
   前記サーバが、前記観客の前記ＨＭＤの位置情報を受信することと、
   前記サーバが、
   前記観客の前記ＨＭＤが前記仮想現実環境のコンテンツに近付いたと前記位置情報が示す時、前記仮想現実環境の一部分のアップスケーリング
   前記観客の前記ＨＭＤが前記仮想現実環境のコンテンツから遠ざかったと前記位置情報が示す時、前記仮想現実環境の一部分のダウンスケーリング
   の処理をすることと、
   を含む、方法。
2. 前記仮想現実環境の前記一部分は、前記コンテンツを含み、前記コンテンツは、前記仮想現実環境の空間の仮想位置を有する、請求項１に記載の方法。
3. 前記仮想現実環境の前記一部分のアップスケーリングは、前記コンテンツを拡大し、前記拡大は、前記観客が前記コンテンツに近付いたと決定される時に生じた距離の変化に実質的に比例する、請求項１に記載の方法。
4. 前記仮想現実環境の前記一部分のダウンスケーリングは、前記コンテンツを縮小し、前記縮小は、前記観客が前記コンテンツから遠ざかったと決定される時に生じた距離の変化に実質的に比例する、請求項１に記載の方法。
5. 前記アップスケーリングと前記ダウンスケーリングは、前記観客の前記ＨＭＤの動きに基づいて自動的にトリガされ、前記観客の前記ＨＭＤの前記動きは、追跡され、前記仮想現実環境内の前記ＨＭＤ観客ビューの動きに相関される、請求項１に記載の方法。
6. 前記観客の前記ＨＭＤが前記コンテンツに近付く、または、前記コンテンツから遠ざかることは、前記観客の前記ＨＭＤの実世界の位置を追跡して、前記観客の前記ＨＭＤの実世界の動きを決定することと、前記観客の前記ＨＭＤの前記実世界の動きを前記仮想現実環境の前記ＨＭＤ観客ビューの仮想世界の動きに変換することとによって決定される、請求項１に記載の方法。
7. 前記観客の前記ＨＭＤの前記実世界の位置の追跡は、前記観客の前記ＨＭＤの動きによって生成された慣性データの処理、前記観客の前記ＨＭＤの光データ追跡、前記観客の前記ＨＭＤの磁気追跡、または、それらの複数の組み合わせのうちの１つを含む、請求項６に記載の方法。
8. 前記デバイスに送信される前記仮想現実ストリームの前記フィードは、前記仮想現実環境とインタラクトする時、前記観客の前記ＨＭＤの動きが前記ＨＭＤプレイヤの動きと異なることに基づいて、前記ＨＭＤプレイヤと前記異なるビューを提供する、請求項１に記載の方法。
9. 前記同じビュー及び前記異なるビューは、前記仮想現実環境の前記ＨＭＤプレイヤの前記ビューと前記ＨＭＤ観客ビューとの向きに関し、前記ＨＭＤプレイヤビューと前記ＨＭＤ観客ビューとの前記向きは、それぞれ、前記ＨＭＤプレイヤの前記ＨＭＤと前記観客の前記ＨＭＤの実世界での向きの変化に対して変化する、請求項１に記載の方法。
10. 前記プレイヤの前記ＨＭＤと前記観客の前記ＨＭＤの実世界での向きの変化は、前記ＨＭＤプレイヤによる前記仮想現実環境の前記ナビゲートと前記ＨＭＤ観客ビューを介した前記仮想現実環境の前記視聴中、前記プレイヤの前記ＨＭＤと前記観客の前記ＨＭＤのそれぞれを個別に追跡することに基づいて決定される、請求項９に記載の方法。
11. 観客が視聴するための仮想現実コンテンツを処理するプログラム命令を有するコンピュータ可読媒体であって、
    ヘッドマウントディスプレイ（ＨＭＤ）を装着しているＨＭＤプレイヤによるインタラクションに関連付けられた仮想現実ストリームをサーバで受信するプログラム命令であって、前記ＨＭＤプレイヤは、仮想現実環境をナビゲートするように構成され、前記仮想現実環境の前記ナビゲートは、ＨＭＤプレイヤビューを有する前記仮想現実ストリームを生成する、前記仮想現実ストリームを受信する前記プログラム命令と、
    観客のデバイスを介して、前記観客のＨＭＤを用いて前記仮想現実ストリームを視聴する要求を前記サーバで受信するプログラム命令と、
    前記サーバが、前記仮想現実ストリームのフィードを前記観客の前記デバイスに送信するプログラム命令であって、前記仮想現実ストリームの前記フィードは、前記ＨＭＤプレイヤビューと同じビュー及び異なるビューにできる前記仮想現実環境のＨＭＤ観客ビューを提供する、前記送信する前記プログラム命令と、
    前記サーバが、前記観客の前記ＨＭＤの位置情報を受信するプログラム命令と、
    を含み、前記サーバは、
    前記観客の前記ＨＭＤが前記仮想現実環境のコンテンツに近付いたと前記位置情報が示す時、前記仮想現実環境の一部分のアップスケーリング、
    前記観客の前記ＨＭＤが前記仮想現実環境のコンテンツから遠ざかったと前記位置情報が示す時、前記仮想現実環境の前記一部分のダウンスケーリング、
    のためのプログラム命令をさらに有する、
    コンピュータ可読媒体。
12. 前記仮想現実環境の前記一部分は、前記コンテンツを含み、前記コンテンツは、前記仮想現実環境の空間の仮想位置を有する、請求項１１に記載のコンピュータ可読媒体。
13. 前記仮想現実環境の前記一部分のアップスケーリングは、前記コンテンツを拡大し、前記拡大は、前記観客が前記コンテンツに近付いたと決定される時に生じた距離の変化に実質的に比例する、請求項１１に記載のコンピュータ可読媒体。
14. 前記仮想現実環境の前記一部分のダウンスケーリングは、前記コンテンツを縮小し、前記縮小は、前記観客が前記コンテンツから遠ざかったと決定される時に生じた距離の変化に実質的に比例する、請求項１１に記載のコンピュータ可読媒体。
15. 前記アップスケーリングと前記ダウンスケーリングは、前記観客の前記ＨＭＤの動きに基づいて自動的にトリガされ、前記観客の前記ＨＭＤの前記動きは、追跡され、前記仮想現実環境内の前記ＨＭＤ観客ビューの動きに相関される、請求項１１に記載のコンピュータ可読媒体。
16. 前記観客の前記ＨＭＤが前記コンテンツに近付くこと、または、前記コンテンツから遠ざかることは、前記観客の前記ＨＭＤの実世界の位置を追跡して、前記観客の前記ＨＭＤの実世界の動きを決定することと、前記観客の前記ＨＭＤの前記実世界の動きを前記仮想現実環境の前記ＨＭＤ観客ビューの仮想世界の動きに変換することとによって決定される、請求項１１に記載のコンピュータ可読媒体。
17. 観客が視聴するための仮想現実コンテンツを処理する方法であって、
    ヘッドマウントディスプレイ（ＨＭＤ）プレイヤによるインタラクションと関連付けられた仮想現実ストリームをサーバで受信することであって、前記ＨＭＤプレイヤは、仮想現実環境をナビゲートするように構成され、前記仮想現実環境の前記ナビゲートは、ＨＭＤプレイヤビューを有する前記仮想現実ストリームを生成する、前記仮想現実ストリームを受信することと、
    観客のデバイスを介して、前記観客のＨＭＤを用いて前記仮想現実ストリームを視聴する要求を前記サーバで受信することと、
    前記サーバが、前記仮想現実ストリームのフィードを前記観客の前記デバイスに送信することであって、前記仮想現実ストリームの前記フィードは、前記ＨＭＤプレイヤビューと同じビュー及び異なるビューにできる前記仮想現実環境のＨＭＤ観客ビューを提供することと、
    前記サーバが、前記仮想現実環境のカスタム視聴方向を設定する命令を前記観客から受信することと、
    前記サーバが、前記仮想現実環境の前記カスタム視聴方向が前記観客の前記ＨＭＤに送信されるように、前記仮想現実ストリームの前記フィードを調節することと、
    を含む、方法。
18. 前記カスタム視聴方向は、前記ＨＭＤを装着している前記観客のジェスチャに応答して設定される、請求項１７に記載の方法。
19. 前記ジェスチャは、前記ＨＭＤを装着している前記観客の少なくとも片手またはコントローラによる持つジェスチャもしくは把持ジェスチャの１つであり、次に、前記カスタム視聴方向を規定するシフトまたは回転の動きである、請求項１８に記載の方法。
20. 前記ジェスチャは、前記ＨＭＤを介して視聴される仮想コンテンツを把持または手に持ち、動かして、現在の視野角に対する角度を規定する、請求項１８に記載の方法。