JP2018129054A - ヘッドマウントシステムに関連するホップ数を削減するためのシステム及び方法 - Google Patents

Abstract

【課題】ヘッドマウントディスプレイに関連するホップの削減のためのシステム及び方法を提供する。【解決手段】ヘッドマウントディスプレイは、ネットワークを介したゲームプログラムに関連する双方向メディアの送受信のための通信回路を含む。双方向メディアはゲームクラウドシステムによって処理され、ヘッドマウントディスプレイの通信回路へと直接ストリーミングされる。ヘッドマウントディスプレイは、ユーザから動作を受信し、入力を生成するためのユーザ入力回路さらに含み、その入力にはユーザ入力回路によって検知されたポジション及び動きが含まれる。ヘッドマウントディスプレイはネットワークから受信された双方向メディアのデコードのためのゲーム処理回路を含む。ゲーム処理回路はゲームプログラムに関連する双方向部分を駆動する。双方向部分は入力に基づいて生成される。【選択図】図１Ｂ

Description

本開示は、ヘッドマウントシステムに関連するホップ数を削減するためのシステム及び方法に関する。

据置型ゲーム機は一般に、ゲームを行うために使用される。たとえばユーザは通常、ゲームを行うためにコントローラ及びコンソールを購入する。コンソールはインターネットに接続されていてもよい。コンソール及びインターネットを介してゲームを行うために、ユーザはコンソールの電源を入れ、コントローラを操作する。しかしゲームプレイを容易にするためにゲームデータを仲介する、たとえばネットワーク機器の数などのホップ数が、ゲームのプレイの速度を落とす可能性がある。たとえばユーザはゲームの特定のステージをプレイするために、インターネットからコンソールへグラフィックスがダウンロードされるまで待たなければならない場合がある。

本開示に記載の実施形態はこれに関連する。

本開示に記載の実施形態は、本明細書に記載のヘッドマウントシステムに関連するホップ数を削減するシステム及び方法を提供する。

広義的に言えば、このシステム及び方法により様々な実施形態において、ヘッドマウントディスプレイとネットワークとの間にルータをバイパスすることでメディアデータをネットワークからヘッドマウントディスプレイにストリーミングしてゲームプレイを行うことが可能になる。ルータを使用しないことで、ヘッドマウントディスプレイと、ユーザがゲームを行うためにゲームプログラムを実行するゲームクラウドとの間のホップ数を削減する。

いくつかの実施形態では、ゲームクラウドシステムを介したゲームプレイに使用されるヘッドマウントディスプレイについて記載する。ヘッドマウントディスプレイは、ネットワークを介したゲームプログラムに関連する双方向メディアの送受信を行う通信回路を含む。双方向メディアはゲームクラウドシステムによって処理され、ヘッドマウントディスプレイの通信回路に直接ストリーミングされる。ヘッドマウントディスプレイはさらにユーザからのアクションを受信するためのユーザ入力回路を含み、ユーザ入力回路によって検知されたポジション及び動作を含む入力を生成する。ヘッドマウントディスプレイは、ネットワークから受信した双方向メディアをデコードするためのゲーム処理回路を含む。ゲーム処理回路はゲームプログラムに関連する双方向部分を駆動する。双方向部分は入力に基づいて生成される。

いくつかの実施形態では、ゲームクラウドシステムを介したゲームプレイ方法について記載する。この方法は、ネットワークを介したゲームプログラムに関連する直接ストリーミングを行う双方向メディアを含む。双方向メディアはゲームクラウドシステムによって処理される。直接ストリーミングの操作はヘッドマウントディスプレイによって行われる。この方法はさらに、ヘッドマウントディスプレイによって検知されたポジション及び動作を含む入力の受信、ネットワークから受信した双方向メディアのデコード及びゲームプログラムに関連する双方向部分の駆動を含む。双方向部分は入力に基づいて生成される。

様々な実施形態では、ゲームクラウドシステムを介したゲームプレイにコンピュータ実行可能命令を格納する非一時的なコンピュータ可読媒体について記載する。コンピュータ実行可能命令はコンピュータのプロセッサによって実行されると、ネットワークを介したゲームプログラムに関連する双方向メディアの直接ストリーミングを行う。双方向メディアはゲームクラウドシステムによって処理される。さらにコンピュータ実行可能命令はプロセッサによって実行されると、ヘッドマウントディスプレイからの入力を受信する。入力はヘッドマウントディスプレイにより検知されたポジション及び動作を含む。コンピュータ実行可能命令はプロセッサによって実行されると、ネットワークから受信した双方向メディアをデコードし、ゲームプログラムに関連する双方向部分を駆動する。双方向部分は入力に基づいて生成される。

本明細書に記載の他の態様については、実施例として添付図面を用いて本開示に記載される実施形態の原理を実証する以下の詳細な説明により明らかにする。

本開示に記載の様々な実施形態については、添付図面を参照して以下の説明を読むと、最もよく理解できる。

本開示に記載の実施形態に係る、ゲームクラウドとヘッドマウントディスプレイ（ＨＭＤ）または手持型コントローラ（ＨＨＣ）との間のホップ数を削減するためのシステムの図である。

本開示に記載の実施形態に係る、ネットワーク及びルータを介したＨＭＤまたはＨＨＣとゲームクラウドとの間のデータ転送のためのシステムの図である。

本開示に記載の実施形態に係る、メディアデータの通信を行うためのコンソールを用いる、また入力データ及び／またはメディアデータの通信を行うためのルータを用いる、あるいは用いないシステムの図である。

本開示に記載の実施形態に係る、ユーザの頭部の動き及び／または手の動きに基づく入力データ生成を例示するシステムの図である。

本開示に記載の実施形態に係る、図１ＡのＨＭＤの実施例であるＨＭＤの図である。

本開示に記載の実施形態に係る、ワイヤレスネットワークにアクセスするために図３のＨＭＤの表示画面に表示される画像の図である。

本開示に記載の実施形態に係る、ワイヤレスネットワークにアクセスするためにコンピュータの表示画面に表示される画像の図である。

本開示に記載の実施形態に係る、ＨＭＤの表示画面の周辺領域が低解像度を有し、中央領域が高解像度を有する、図３のＨＭＤの表示画面に表示されるゲーム画像の図である。

本開示に記載の実施形態に係る、ＨＭＤの表示画面の上部領域及び下部領域が低解像度を有し、上部及び下部領域の間の領域が高解像度を有する、図３のＨＭＤの表示画面に表示されるゲーム画像の図である。

本開示に記載の実施形態に係る、ＨＭＤの表示画面の右側領域及び左側領域が低解像度を有し、右側及び左側領域の間の領域が高解像度を有する、図３のＨＭＤの表示画面に表示されるゲーム画像の図である。

本開示に記載の実施形態に係る、様々な種類のＨＨＣを例示する図である。

本開示に記載の実施形態に係る、図３のＨＭＤの実施例であるＨＭＤの実施形態の図である。

本開示に記載の実施形態に係る、図３のＨＭＤの実施例であるＨＭＤの実施形態の等軸測視図である。

本開示に記載の実施形態に係る、図３のＨＨＣ及びＨＭＤのインターフェイス接続に適合するコンソールのブロック図である。

本開示に記載の実施形態に係る、ゲームシステムの実施形態のブロック図である。

ヘッドマウントシステムに関連するホップ数の削減のためのシステム及び方法について記載する。たとえばルータ、リピータ、ハブ、コンピュータ、コンソールなどのネットワーク機器が、ネットワーク機器を介して転送中のデータに、ホップを追加する。１つまたは複数のネットワーク機器を、ヘッドマウントディスプレイ（ＨＭＤ）とネットワークとの間、かつ／または手持型コントローラ（ＨＨＣ）とネットワークとの間に配置してもよい。ネットワーク機器による別の機器からのデータの受信、ネットワーク機器によるデータのバッファリング、データの分析及び別の機器へのデータの再送の結果としてホップを追加してもよい。このシステム及び方法は、ＨＭＤとネットワークとの間、かつ／またはＨＨＣとネットワークとの間のネットワーク機器数を削減する。ネットワーク機器数の削減により、たとえばラグタイム、データのバッファリング時間、データの受信時間、データの分析時間、データの再送時間などのレイテンシが削減される。レイテンシが削減されると、ＨＭＤ及び／またはＨＭＣを用いて、ネットワークを介してゲームクラウドから受信された精緻なグラフィックスが最短のレイテンシで表示される。本開示に記載の様々な実施形態については、これら特定の詳細の一部または全部がなくても実施することができる点に留意されたい。他の例において、周知のプロセス操作は本開示に記載の様々な実施形態を不必要に曖昧にしないために詳細に記載されていない。

いくつかの実施形態では、このシステムはコンピュータ、ＨＨＣ及びＨＭＤを含む。様々な実施形態では、コンピュータはディスプレイ上でレンダリングされる双方向ゲームプログラムの１つまたは複数の部分を実行する専用コンピュータ、ゲーミングコンソール、携帯電話、タブレットまたは他のそのような機器であってもよい。これらの実施形態において、双方向ゲームプログラムの残りのあらゆる部分は、たとえば１つまたは複数の仮想マシン（ＶＭ）などのゲームクラウドシステムにおいて実行される。いくつかの実施形態では、ゲームクラウドシステムはゲームプログラムを実行するいくつかのサーバを含み、ゲーム機器、ＨＭＤ、テレビ、コンピュータスクリーンなどの上にゲーム環境を生成する。たとえばハイパーバイザがプロセッサ、記憶装置、サーバなどの物理リソース上で実行されることにより、いくつかのオペレーティングシステム及びいくつかのコンピュータソフトウェアアプリケーションが実行されてデータが生成され、そのデータをさらに用いてＨＭＤ上にゲーム環境が生成される。ゲーミングコンソールの例には、ソニー・コンピュータエンターテインメント（商標）及びその他メーカによって製造されているゲーミングコンソールが含まれる。双方向ゲームプログラムは複数ユーザがプレイするマルチユーザゲームプログラムまたは一名のユーザがコンピュータとプレイするシングルユーザゲームプログラムであってもよい。

いくつかの実施形態では、双方向ゲームプログラムのすべての部分がゲームクラウドシステムまたはコンピュータ上で実行される。

様々な実施形態では、没入型環境をＨＭＤ内に生成するために双方向ゲームプログラムが実行される。たとえば没入型環境はプロセッサにより作成され、ユーザ自身を没入させる。没入型環境は、自身がプロセッサにより作成される仮想世界の一部であるかのようにユーザに感じさせる。没入型環境はユーザを精神的に現実世界から隔離して仮想世界に引き込むことでユーザにゲーム体験を提供する。いくつかの実施形態では、プロセッサがＨＭＤ内に表示される没入型環境を生成して没入型環境の仮想世界が現実であるような感覚をユーザに与える。いくつかの実施形態では、メディアデータまたは付加メディアデータが、本明細書に記載するように、没入型環境を生成するために用いるデータを含む。

ＨＭＤは、ユーザの片目または両目の前にレンズや眼鏡などの小型のディスプレイオプティックを有する、ユーザの頭部に装着される装置またはヘルメットの一部である。いくつかの実施形態では、たとえば仮想シーン、拡張仮想現実シーンなどのワンシーンがＨＭＤの表示画面状に表示される。両目用には２つのオプティックが使用されるが、両目でワンシーンを見る。

いくつかの実施形態では、ＨＭＤは映像出力をコンピュータから受信しレンダリングすることが可能である。様々な実施形態では、ＨＨＣ及び／またはＨＭＤは無線でコンピュータと通信し、これによって有線接続の場合よりもＨＨＣ及び／またはＨＭＤの動きが自由になる。

ＨＨＣは、双方向ゲームプログラムへの入力を行うために、たとえばボタン、ジョイスティック、十字キー、トリガ、手のジェスチャー、タッチパッド、タッチスクリーンまたはその他の種類の入力機構などの様々な特徴を含んでもよい。ＨＨＣの例は、ソニー・コンピュータエンターテインメントによって製造されているソニーデュアルショック４コントローラである。ＨＨＣの他の例は他社製の任意の型番やバージョン番号を有するコントローラを含む。

さらにＨＨＣは、モーションコントローラを動かすことでユーザが双方向ゲームプログラムとインターフェイス接続を行い、双方向ゲームプログラムに入力することを可能にするモーションコントローラであってもよい。モーションコントローラの例はソニー・コンピュータエンターテインメント（商標）によって製造されているプレイステーションムーブ（商標）コントローラを含む。

同様にＨＭＤは、ＨＭＤを動かすことでユーザが双方向ゲームプログラムとインターフェイス接続を行い、双方向ゲームプログラムへの入力することを可能にするユーザ入力回路を含んでもよい。モーションコントローラ及び／またはＨＭＤのポジション及び動きを検知するために様々な技術が採用されてもよい。たとえばモーションコントローラ及び／またはユーザ入力回路は、加速度センサ、ジャイロスコープ及び磁力計などの様々な種類の慣性センサ回路を含んでもよい。いくつかの実施形態では、加速度センサはレイテンシの短い６軸加速度センサである。いくつかの実施形態では、モーションコントローラ及び／またはＨＭＤは１つまたは複数の、たとえば発光ダイオード（ＬＥＤ）、色点、反射鏡、マーカ、再帰反射材、定義済みの形状、定義済みの色、定義済みのオブジェクト、バーコード、タグ、クイックレスポンス（ＱＲ）コードなどの固定参照オブジェクトを含んでもよく、固定参照オブジェクトの画像は１つまたは複数のデジタルカメラによりキャプチャされる。いくつかの実施形態では、圧縮されたビデオデータを画像内ベースのモーションピクチャエキスパートグループ（ＭＰＥＧ）規格などの適切なフォーマットで送信することができるように、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ及びハードウェアベースのリアルタイムデータ圧縮ならびに符号化装置をさらに含むビデオカメラがデジタルカメラに含まれる。モーションコントローラのポジション及び動きについては及び／またはその後、１つまたは複数のデジタルカメラによりキャプチャされた画像の分析を通じて決定することができる。

図１Ａは、ゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間のホップ数を削減するためのシステム１００の実施形態の図である。いくつかの実施形態では、ゲームクラウド１０２は本明細書内でゲームクラウドシステムと称される。様々な実施形態では、ＨＭＤ１０４はユーザ１０８によって、ＨＭＤ１０４のレンズが自身の目の前に配置されるようにユーザ１０８がヘルメットを被るのと同様の方法で自身の頭部に置かれる。いくつかの実施形態では、ＨＭＤ１０４は度付き眼鏡、ゴーグルなどの眼鏡のように装着される。ＨＭＤ１０４のいくつかの実施形態において、ＨＭＤ１０４はユーザ１０８の両目を覆う。ＨＨＣ１０６はユーザ１０６が手で持つ。

様々な実施形態では、ＨＨＣ１０６の代わりに、ユーザ１０６の手を用いて手のジェスチャー、指のジェスチャーなどのジェスチャーをＨＭＤ１０４に伝える。たとえばＨＭＤ１０４内のデジタルカメラがジェスチャーの画像をキャプチャし、ＨＭＤ１０４内のプロセッサがジェスチャーを分析して、ジェスチャーがＨＭＤ１０４内に表示されたゲームに影響を与えるかどうかを決定する。

本明細書内では、プロセッサはマイクロプロセッサ、プログラマブルロジック装置（ＰＬＤ）、特定用途向け集積回路（ＡＳＩＣ）またはそれらの組み合わせであってもよい。

システム１００はローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）またはそれらの組み合わせであってもよいネットワーク１１０を含む。ネットワーク１１０の例にはインターネット、イントラネット、またはそれらの組み合わせが含まれる。いくつかの実施形態では、ネットワーク１１０が伝送制御プロトコル（ＴＣＰ）／インターネットプロトコル（ＩＰ）またはユーザデータグラムプロトコル／ＩＰ（ＵＤＰ／ＩＰ）を用いて、ネットワーク１１０を介しゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でメディアデータを通信する。様々な実施形態では、ネットワーク１１０がイーサネット（登録商標）プロトコル、ＴＣＰ／ＩＰプロトコルまたは両方のプロトコルを用いて、ネットワーク１１０を介しゲームクラウド１０２とＨＭＤ１０４またはＨＨＣ１０６との間でメディアデータを通信する。

ゲームクラウド１０２はコーダ／デコーダ（コーデック）１１２及びストリームバッファ１１４を含む。ストリームバッファ１１４は、ゲームプログラム１１７の実行の際に生成されるメディアデータ１１６のストリームを格納する。メディアデータ１１６は仮想環境データ、仮想ゲームオブジェクトデータ、それらの組み合わせなどを含む。様々な実施形態において、仮想環境データはゲームの仮想環境を生成するためにレンダリングされ、仮想ゲームオブジェクトデータは仮想ゲームキャラクタ、仮想点、仮想景品、ゲームインターフェイスなどの１つまたは複数の仮想ゲームオブジェクトを生成するためにレンダリングされる。いくつかの実施形態では、ゲームの仮想環境は仮想ゲームオブジェクトを含む。仮想環境の例には仮想都市、仮想道路、仮想湖、仮想海などの仮想地域が含まれる。ゲームプログラム１１７は双方向ゲームプログラムの実施例であり、ゲームクラウド１０２の１つまたは複数のサーバによって実行される。コーデック１１２の例はコンプレッサ／デコンプレッサを含む。たとえばコーデック１１２はメディアデータ１１６をコード化／デコードする。圧縮の例には非可逆的圧縮、可逆的圧縮などが含まれる。いくつかの実施形態では、コーデック１１２がパケット化及びパケット解除を行い、コード化及びデコードを行う。これらの実施形態では、コーデック１１２がストリームバッファ１１４を含む。

ユーザ１０８はＨＭＤ１０４を用いて、ＨＭＤ１０４のプロセッサによって実行されるオペレーティングシステム（ＯＳ）にアクセスする。たとえば、ユーザ１０８はボタンを介してＨＭＤ１０４の電源を入れ、ＨＭＤ１０４のプロセッサがＯＳを実行する。

いくつかの実施形態では、ＯＳによってＨＭＤ１０４のネットワーク１１０へのアクセスが可能になる。たとえばユーザ１０８が、ＯＳ上のＨＭＤ１０４のプロセッサによって実行されるネットワークアクセスアイコン、ネットワークアクセスシンボルなどのネットワークアクセスアプリケーションを選択する際に、ネットワークアクセスアプリケーションがＨＭＤ１０４のマイクロコントローラにネットワークのリストを提供し、それがユーザ１０８に対して表示される。ユーザ１０８はユーザ入力回路を用いてネットワーク１１０にアクセスするためにそれらネットワークの１つを選択する。たとえば、ユーザ１０８が頭部の傾き、まばたき、注視、凝視、うなずき、首振りなどの１つまたは複数の頭部の動きを行うと、それがユーザ入力回路により検知されてネットワークの１つの選択のための入力が生成される。別の実施例として、ユーザ１０８がＨＨＣ１０６上のボタンを選択し、ネットワークの１つが選択されて、その選択がＨＨＣ１０６の通信回路によってＨＨＣ１０６からＨＭＤ１０４へと通信される。通信回路の例には、トランシーバ、回路網の送信／受信、ネットワークインターフェイスコントローラまたはそれらの組み合わせなどが含まれる。ネットワークアクセスアプリケーションはまた、ネットワーク１１０にアクセスするためのセキュリティキー、パスコードなどのパスワードをユーザ１０８に要求する。パスワードが有効であると認証された場合には、ネットワークアクセスアプリケーションにより、ユーザ１０８はネットワーク１１０へのアクセスを許可される。

ネットワーク１１０が一度アクセスされると、ＯＳによってＨＭＤ１０４のゲームプログラム１１７へのアクセスが可能になる。たとえばユーザ１０８がＯＳ上でＨＭＤ１０４のプロセッサにより実行されるゲームアクセスアイコン、ゲームアクセスシンボルなどのゲームアクセスアプリケーションを選択すると、ゲームアクセスアプリケーションがネットワーク１１０を介してゲームプログラム１１７へのアクセスを要求する。たとえばユーザ１０８が１つまたは複数の頭部の動きを行うと、それがユーザ入力回路により検知されて、ゲームアクセスアプリケーションを選択するための入力が生成される。別の実施例として、ユーザ１０８がゲームアクセスアプリケーションを選択するためにＨＨＣ１０６上のボタンを選択し、その選択がＨＨＣ１０６の通信回路によってＨＨＣ１０６からＨＭＤ１０４に通信される。

ネットワーク１１０を介したゲームプログラム１１７へのアクセス取得時には、ＨＭＤ１０４のマイクロコントローラがＨＭＤ１０４の表示画面上にゲームを表示する。いくつかの実施形態におけるＨＭＤ１０４の表示画面は、ＨＭＤ１０４が急速に動かされた時のぶれを低減する高性能画面である。ユーザ１０８が１つまたは複数の頭部の動きを行うと、頭部の各々の動きがユーザ入力回路をトリガして、ゲームをプレイするために用いてもよい入力が生成される。いくつかの実施形態では、ユーザ１０８が自身の手を用いてＨＨＣ１０６の１つまたは複数のボタンの選択を行い、たとえば指を押し当てる、指を動かす、指を回転させる、指を上げる、指を下げる、指を右に向ける、指を左に向けるなどの各々の手の動きがＨＨＣ１０６をトリガして、ゲームをプレイするために用いてもよい入力が生成される。

いくつかの実施形態では、ゲームアクセスアプリケーションがゲームプログラム１１７にアクセスするためのユーザ名及び／またはパスワードをユーザ１０８に要求する。ユーザ名及び／またはパスワードが有効であるとの認証がゲームクラウド１０２から受信されると、ゲームアクセスアプリケーションによりユーザ１０８のゲームプログラム１１７へのアクセスが可能になる。いくつかの実施形態では、１つもしくは複数の手の動きを行い、かつ／または１つもしくは複数の頭部の動きを行うことにより、ユーザ１０８がユーザ名及び／またはパスワードを提供する。

様々な実施形態では、ゲームアクセスアプリケーションへのアクセスの代わりに、ユーザ１０８がネットワーク１１０へのアクセス時にウェブページへのアクセスを要求し、ウェブページがユーザ１０８のゲームプログラム１１７へのアクセスを可能にする。たとえばユーザ１０８は１つもしくは複数の頭部の動きを行うことによりユーザ入力回路を介して、または１つもしくは複数の手の動きを行うことによりＨＨＣ１０６を介してウェブブラウザアプリケーションを選択し、ウェブページにアクセスする。ユーザ１０８はウェブページにアクセスし、ウェブページに表示されるゲームをプレイする。ゲームプログラム１１７がゲームクラウド１０２上で実行されると、ゲームが表示される。

いくつかの実施形態では、ゲームクラウド１０２上でゲームプログラム１１７が実行されると表示されるゲームを行うためにウェブページにアクセスする前に、ユーザ１０８のユーザ名及び／またはパスワードが認証される。ユーザ１０８がゲームアクセスアプリケーションを介してゲームにアクセスする際に、上記と同様の方法でユーザ名及び／またはパスワードが認証される。

ゲームプログラム１１７がアクセスされると、コーデック１１２がメディアデータ１１６のデジタルデータストリームを圧縮するなどして符号化し、ネットワーク１１０を介して符号化されたメディアデータのストリームをＨＭＤ１０４へと送信する。いくつかの実施形態では、符号化されたメディアデータのデジタルデータストリームは、ネットワーク１１０を介して送信するためのパケットの形式を取る。

ＨＭＤ１０４はネットワーク１１０を介してコーデック１１２から符号化されたメディアデータのデジタルデータストリームを受信し、デジタルデータストリームはたとえばデコードされる、パケット解除されるなどの処理を行われて、ＨＭＤ１０４の表示画面上にゲームを表示するためにレンダリングされる。ゲームがＨＭＤ１０４の表示画面上に表示されると、１つまたは複数の入力がＨＭＤ１０４及び／またはＨＨＣ１０６から受信される。たとえば、ユーザ１０８はＨＭＤ１０４を装着して１つまたは複数の頭部の動きを行う。別の実施例としてユーザ１０８は、たとえばボタンの押圧、ジョイスティックの動き、手のジェスチャー、指のジェスチャー、それらの組み合わせなどの１つまたは複数の手の動きを行う。そして１つまたは複数の手の動きが行われると、ＨＨＣ１０６が入力データを生成し、その入力データはＨＭＤ１０４の通信回路へ送信するために、ＨＨＣ１０６の通信回路によって入力信号へと転換される。入力信号はＨＭＤ１０４の通信回路によってアナログ形式からデジタル形式に転換されて入力データが生成され、入力データはＨＭＤ１０４によってパケット化及び符号化されて、ネットワーク１１０を介してコーデック１１２へと送信される。

いくつかの実施形態では、ゲームプログラム１１７は１つまたは複数の頭部の動きに基づいて生成される入力データを、１つまたは複数の手の動きに基づいて生成される入力データとともにマッピングし、ＨＭＤ１０４上に表示されるゲームの状態を変更するべきかどうかを決定する。たとえば頭部の傾きを示す入力がネットワーク１１０を介してＨＨＣ１０６上のボタンの押圧を示す入力とともに受信されると、ゲームプログラム１１７がゲームの状態の変更を決定する。そうでない場合、ゲームプログラム１１７はゲームのステージを変更しないことを決定する。

１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成された入力の入力データは、ＨＭＤ１０４によってパケット化及び符号化されて、符号化された入力データのストリームとしてネットワーク１１０を介してコーデック１１２へと送信される。たとえば入力データがルータを介して送信されない時、入力データはＨＭＤ１０４からネットワーク１１０を介してゲームクラウド１０２へと直接送信される。ＨＭＤ１０４とネットワーク１１０との間のデータを宛先装置などへ導く、送信するなどしてルーティングするために、ルータをＨＭＤ１０４とネットワーク１１０との間においてもよい。

コーデック１１２は、ネットワーク１１０を介してＨＭＤ１０４から受信した符号化された入力データのストリームを解凍するなどしてデコードし、デコードされた入力データはパケット解除してゲームプログラム１１７へと送信するために、ストリームバッファ１１４内でバッファリングされる。ゲームクラウド１０２の１つまたは複数のサーバはデコードされた入力データのストリームをパケット解除し、入力データをゲームプログラム１１７へと送信する。いくつかの実施形態では、ゲームクラウド１０２がまずパケット解除を行い、その後デコードを行う。

入力データに基づいて、ゲームプログラム１１７は付加メディアデータを生成し、その付加メディアデータはゲームクラウド１０２の１つまたは複数のサーバによりパケット化されて、付加メディアデータのストリームが生成される。付加メディアデータのストリームはストリームバッファ１１４内に格納されてコーデック１１２によって符号化され、符号化された付加メディアデータのストリームとしてネットワーク１１０を介してＨＭＤ１０４へと送信される。いくつかの実施形態では、ネットワーク１１０を介して付加メディアデータをＨＭＤ１０４へと送信する前に、付加メディアデータがまず符号化され、その後パケット化される。ＨＭＤ１０４は符号化された付加メディアデータのストリームを受信し、ストリームをパケット解除し、符号化された付加メディアデータをデコードして、付加メディアデータをＨＭＤ１０４のマイクロコントローラに提供する。

いくつかの実施形態では、ゲーム環境はメディアデータ１１６、付加メディアデータ、またはそれらの組み合わせを含む。

ＨＭＤ１０４のマイクロコントローラはゲームプログラム１１７によって実行されるゲームの表示を、付加メディアデータに基づいて変更する。たとえばユーザ１０８がうなずくと、ユーザ１０８のアバターも、ゲームプログラム１１７の実行により生成されるゲームの仮想世界においてうなずく。別の実施例として、ユーザ１０８が否定の意で首を振る時、ユーザ１０８のアバターも、ゲームプログラム１１７の実行により生成されるゲームの仮想世界において首を振る。別の実施例として、ユーザ１０８がＨＭＤ１０４の表示画面上に表示された仮想ゲームキャラクタを見ると、仮想ゲームキャラクタがユーザ１０８に視線を返す。ユーザ１０８が仮想ゲームキャラクタから視線を外すと、仮想ゲームキャラクタがユーザ１０８から視線を外す。さらにこの実施例においては、ＨＭＤ１０４の外部デジタルカメラがユーザ１０８の目または頭部の位置の画像をキャプチャする。目または頭部の位置による注視に基づき、ゲームプログラム１１７は仮想ゲームキャラクタの目の位置を変更する。１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成される入力の入力データがゲームの状態を変更する点に留意されたい。いくつかの実施形態では、ゲームの表示は本明細書内でゲームプログラム１１７に関連する双方向部分と称される。

様々な実施形態では、１つまたは複数の手の動きに基づいて生成される入力データをＨＨＣ１０６からＨＭＤ１０４へと通信する代わりに、入力データがネットワーク１１０を介して直接ＨＨＣ１０６からコーデック１１２へと通信される。たとえば入力データがＨＨＣ１０６とネットワーク１１０との間のルータ（図示せず）を介して通信されない場合、入力データはネットワーク１１０を介して直接ＨＨＣ１０６からコーデック１１２へと通信される。１つまたは複数の手の動きに基づいて生成されるＨＭＤ１０４からの入力データは、入力データがＨＭＤ１０４により通信されるのと同様の方法で、ＨＨＣ１０６により通信される。たとえば１つまたは複数の手の動きに基づいて生成されるＨＭＤ１０４からの入力データは、ＨＨＣ１０６によって符号化及びパケット化され、ネットワーク１１０を介して符号化された入力データのストリームとしてコーデック１１２へと送信される。

ＨＭＤ１０４とネットワーク１１０との間にルータ（図示せず）を置かないことで、ネットワーク１１０とＨＭＤ１０４との間のホップ数が削減される点に留意されたい。ルータのない実施形態において、たとえばメディアデータ１１６、付加メディアデータなどの双方向メディアは、ゲームクラウド１０２のコーデック１１２によってネットワーク１１０を介してＨＭＤ１０４のワイヤレスアクセスカード（ＷＡＣ）に直接ストリーミングされる。さらにこれらの実施形態においては、たとえば入力データなどの双方向メディアはＷＡＣによってネットワーク１１０を介してゲームクラウド１０２のコーデック１１２に直接ストリーミングされる。

ホップ数の削減が、ルータに関連する時間の節約になる。たとえばルータは別のネットワーク機器からデータを受信し、データをバッファリングし、データを分析し、別のネットワーク機器にデータを再送する。ＨＭＤ１０４とゲームクラウド１０２との間でネットワーク１１０を介してデータを転送する際に、ルータをバイパスすることでデータ受信、データのバッファリング、データ分析、データの再送の時間が節約される。また、ＨＨＣ１０６とゲームクラウド１０２との間でネットワーク１１０を介してデータを転送する際に、ルータをバイパスすることでデータ受信、データのバッファリング、データ分析、データの再送の時間が節約される。

同様に、たとえばコンソール、モバイル機器などのコンピュータがＨＭＤ１０４またはＨＨＣ１０４とネットワーク１１０との間で用いられない場合は、データの受信、格納、分析、再送に関連する時間が節約される。

図１Ｂは、ＨＭＤ１０４またはＨＨＣ１０６とゲームクラウド１０２との間のネットワーク１１０及びルータ１５２を介したデータ転送のためのシステム１５０の実施形態の図である。システム１５０については、システム１５０がＨＭＤ１０４とネットワーク１１０との間にルータ１５２を含む以外はシステム１００（図１Ａ）と同様である。ルータ１５２もまた、ＨＨＣ１０６とネットワーク１１０との間に配置する。

ＨＭＤ１０４は、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）接続、Ｗｉ−Ｆｉ（登録商標）接続などの無線接続を介して、ルータ１５２に接続される。さらにＨＨＣ１０６は、たとえばＢｌｕｅｔｏｏｔｈ（登録商標）接続、Ｗｉ−Ｆｉ（登録商標）接続などの無線接続を介して、ルータ１５２に接続される。いくつかの実施形態では、ルータ１５２は有線接続を介してネットワーク１１０に接続される。

システム１５０については、符号化されたデータのストリームがＨＭＤ１０４またはＨＨＣ１０６からルータ１５２に送信される以外はシステム１００（図１Ａ）と同様に稼働する。ルータ１５２は符号化されたデータのストリームを導くなどしてネットワーク１１０上のパスへとルーティングし、ストリームのコーデック１１２への送信を容易にする。ルータ１５２はコーデック１１２のＩＰアドレス及び／またはメディアアクセス層（ＭＡＣ）アドレスを用いて、符号化されたデータのストリームをコーデック１１２へとルーティングする。いくつかの実施形態では、ルータ１５２はネットワークパス上のパケットトラフィック、ネットワークパス上の輻輳などの１つまたは複数のネットワークトラフィック要因に基づいて、ネットワーク１１０のネットワークパスを決定する。

ルータ１５２は、ネットワーク１１０を介してゲームクラウド１０２から符号化されたデータのストリームを受信し、符号化されたデータのストリームをＨＭＤ１０４にルーティングする。たとえばルータ１５２は、ネットワーク１１０を介してゲームクラウド１０２から受信した符号化されたデータのストリームを、ＨＭＤ１０４のＩＰアドレス及び／またはＭＡＣアドレスに基づいてＨＭＤ１０４へとルーティングする。

図１Ｃは、メディアデータの通信を行うためのコンピュータ１７２を用いる、また入力データ及び／またはメディアデータの通信を行うためにルータ１５２を用いる、あるいは用いないシステム１７０の実施形態の図である。

いくつかの実施形態では、ワイヤレスネットワークの一覧がＨＭＤ１０４上ではなく、コンピュータ１７２に接続された、またはコンピュータ１７２内に配置された表示画面上に提示される。たとえばコンピュータ１７２が携帯電話である場合、コンピュータ１７２はワイヤレスネットワークの一覧を表示するための表示画面を含む。別の実施例として、コンピュータ１７２がテレビ表示画面に接続される場合、ワイヤレスネットワークの一覧は表示画面上に表示される。これらの実施形態においては、コンピュータ１７２のプロセッサ１７６がコンピュータ１７２の記憶装置内に格納されたワイヤレスアクセスアプリケーションを実行すると、ワイヤレスネットワークの一覧がアクセスされる。ユーザ１０８が１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きを行うことにより、ＨＭＤ１０４またはＨＨＣ１０６を介してワイヤレスアクセスアプリケーションにアクセスすると、プロセッサ１７６がワイヤレスアクセスアプリケーションを実行する。１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成された入力データは、ＨＭＤ１０４またはＨＨＣ１０６の通信回路からコンピュータ１７２へと送信される。コンピュータ１７２のプロセッサ１７６が入力データを受信すると、ワイヤレスネットワークの一覧を生成するためのワイヤレスアクセスアプリケーションが実行される。

コンピュータ１７２は、ゲームクラウド１０２からゲームプログラム１１７の一部を要求ネットワークインターフェイスコントローラ（ＮＩＣ）１７４を含む。ＮＩＣの例には、ネットワークインターフェイスカード及びネットワークアダプタが含まれる。ゲームプログラム１１７の一部がコーデック１１２によって符号化され、ネットワーク１１０を介してコンピュータ１７２のＮＩＣ１７４へとストリーミングされる。コンピュータ１７２のプロセッサ１７６はゲームプログラム１１７の一部を実行してメディアデータを生成し、そのメディアデータはたとえばトランシーバ、送信／受信回路、ネットワークインターフェイスコントローラなどの通信回路１７８からＨＭＤ１０４へと、ＨＭＤ１０４の表示画面上に表示するために送信される。ＨＭＤ１０４の通信回路はメディアデータをコンピュータ１７２から受信し、メディアデータをＨＭＤ１０４の表示画面上に表示するためＨＭＤ１０４のマイクロコントローラへと送信する。

さらにコンピュータ１７２の通信回路１７８は１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成される入力データをＨＭＤ１０４及び／またはＨＨＣ１０６から受信し、入力データをプロセッサ１７６に送信する。入力データに応じて、プロセッサ１７６はコンピュータ１７２内に格納されたゲームプログラム１１７の一部を実行してメディアデータを生成し、そのメディアデータは、通信回路１７８からＨＭＤ１０４の通信回路に送信される。メディアデータはＨＭＤ１０４の通信回路に送信されて、ゲームプログラム１１７の実行により表示される仮想ゲームオブジェクト及び／またはゲームの仮想環境を変更する。仮想ゲームオブジェクト及び／または仮想環境が変更されると、ゲームプログラム１１７の実行によって表示されたゲームのゲーム状態が変更される。

いくつかの実施形態では、コンピュータ１７２のＮＩＣ１７４によって、ゲーム状態がルータ１５２及びネットワーク１１０を介してゲームクラウド１０２へと送信され、ゲームクラウド１０２の１つまたは複数のサーバにゲーム状態が通知される。

様々な実施形態では、たとえばメディアデータ１１６、付加メディアデータなどのメディアデータは、ゲームプログラム１１７の一部がゲームクラウド１０２からコンピュータ１７２にダウンロードされるまで、ネットワーク１１０及びルータ１５２を介してコーデック１１２からＨＭＤ１０４へと送信される。たとえば、ユーザ１０８は最初にゲームアクセスアプリケーションを用いてゲームプログラム１１７へとアクセスする。ゲームプログラム１１７の一部のアクセス中に、ＨＭＤ１０４の表示画面上に表示するために、メディアデータ１１６がコーデック１１２からネットワーク１１０及びルータ１５２を介してＨＭＤ１０４へと送信される。ＨＭＤ１０４上に表示するために、たとえばメディアデータ１１６、付加メディアデータなどのメディアデータにゲームクラウド１０２からアクセスしている間に、コンピュータ１７２のＮＩＣ１７４がゲームクラウド１０２からネットワーク１１０及びルータ１５２を介してゲームプログラム１１７の一部をダウンロードする。

いくつかの実施形態では、ゲームプログラム１１７の一部がコンソール１７２によりアクセスされると、ＨＭＤ１０４の表示画面上に表示するために、たとえばメディアデータ１１６、付加メディアデータなどのメディアデータがコーデック１１２からネットワーク１１０を介してＨＭＤ１０４へと送信される。これらの実施形態では、ルータ１５２はホップ数を削減するためにバイパスされる。ルータ１５２のバイパス後にＨＭＤ１０４上に表示するために、たとえばメディアデータ１１６、付加メディアデータなどのメディアデータにゲームクラウド１０２からアクセスしている間に、コンピュータ１７２のＮＩＣ１７４がゲームクラウド１０２からネットワーク１１０及びルータ１５２を介してゲームプログラム１１７の一部をダウンロードする。

いくつかの実施形態において、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成された入力データの一部が、ルータ１５２及びネットワーク１１０を介してＨＭＤ１０４からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分がＨＭＤ１０４の通信回路からコンピュータ１７２の通信回路１７８へと送信される。

様々な実施形態では、１つまたは複数の手の動きに基づいて生成された入力データの一部が、ルータ１５２及びネットワーク１１０を介してＨＨＣ１０６の通信回路からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分がＨＨＣ１０６の通信回路からコンピュータ１７２の通信回路１７８へと送信される。

いくつかの実施形態では、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づいて生成された入力データの一部が、ネットワーク１１０を介してＨＭＤ１０４からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分がＨＭＤ１０４の通信回路からコンピュータ１７２の通信回路１７８へと送信される。これらの実施形態では、ルータ１５２はバイパスされる。

いくつかの実施形態では、１つまたは複数の手の動きに基づいて生成された入力データの一部が、ネットワーク１１０を介してＨＨＣ１０６の通信回路からゲームクラウド１０２のコーデック１１２へと送信され、入力データの残りの部分がＨＨＣ１０６の通信回路からコンピュータ１７２の通信回路１７８へと送信される。これらの実施形態では、ルータ１５２はバイパスされる。

様々な実施形態では、メディアデータをレンダリングしてＨＭＤ１０４の表示画面上にゲームを表示するために、たとえばメディアデータ１１６、付加メディアデータなどのゲームプログラム１１７の実行により生成されるメディアデータが、ネットワーク１１０及びルータ１５２を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信され、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータが、表示画面上にゲームを表示するために、コンピュータ１７２の通信回路１７８からＨＭＤ１０４へと送信される。これらの実施形態では、ゲームクラウド１０２及びコンピュータ１７２のゲーム状態が同期される。たとえば、コーデック１１２がゲームプログラム１１７の実行によって生成されるゲーム状態をネットワーク１１０及びルータ１５２を介してコンピュータ１７２のＮＩＣ１７４へと送信し、ゲーム状態をコンピュータ１７２に通知する。別の実施例として、コンピュータ１７２のＮＩＣ１７４がコンピュータ１７２上でゲームプログラム１１７の一部を実行することにより生成されるゲーム状態をルータ１５２及びネットワーク１１０を介してゲームクラウド１０２のコーデック１１２へと送信し、ゲーム状態を１つまたは複数のゲームクラウドサーバに通知する。

いくつかの実施形態では、メディアデータをレンダリングしてＨＭＤ１０４の表示画面上にゲームを表示するために、たとえばメディアデータ１１６、付加メディアデータなどのゲームプログラム１１７の実行により生成されるメディアデータが、ネットワーク１１０を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信され、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータが、表示画面上にゲームを表示するために、コンピュータ１７２の通信回路１７８からＨＭＤ１０４へと送信される。これらの実施形態では、メディアデータがコーデック１１２からＨＭＤ１０４へと送信される際にルータ１５２はバイパスされる。これらの実施形態では、ゲームクラウド１０２及びコンピュータ１７２のゲーム状態が上記のように同期される。

いくつかの実施形態では、ＨＭＤ１０４の表示画面上にメディアデータをレンダリングするために、たとえばメディアデータ１１６、付加メディアデータなどのゲームプログラム１１７の実行により生成され、ネットワーク１１０及びルータ１５２を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信されるメディアデータについては、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータよりもグラフィックス量が多い。

いくつかの実施形態では、ＨＭＤ１０４の表示画面上にメディアデータをレンダリングするために、たとえばメディアデータ１１６、付加メディアデータなどのゲームプログラム１１７の実行により生成され、ネットワーク１１０を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信されるメディアデータについては、コンピュータ１７２のプロセッサ１７６によりゲームプログラム１１７の一部が実行されることで生成されるメディアデータよりもグラフィックス量が多い。これらの実施形態では、メディアデータがネットワーク１１０を介してゲームクラウド１０２のコーデック１１２からＨＭＤ１０４へと送信される際にルータ１５２はバイパスされる。

様々な実施形態では、ＨＭＤ１０４（図１Ａ〜１Ｃ）を用いて二次元または三次元画像を表示する。

図２は、１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きに基づく入力データ生成を例示するシステム２００の実施形態の図である。ユーザ１０８はＨＭＤ２０２を装着しており、ＨＨＣ２０４を握っている。ＨＭＤ２０２はＨＭＤ１０４（図１Ａ〜１Ｃ）の実施例であり、ＨＨＣ２０４はＨＨＣ１０６（図１Ａ〜１Ｃ）の実施例である。

ＨＭＤ２０２は、たとえばマーカＭ１、マーカＭ２及びマーカＭ３などの１つまたは複数のマーカを含む。同様に、ＨＨＣ２０４はたとえばマーカＭ４、マーカＭ５及びマーカＭ６などの１つまたは複数のマーカを含む。各マーカは発光ダイオード、光源、色、反射材料などであってもよい。

ビデオカメラ２０６はＨＭＤ２０２の画像をキャプチャする。ユーザ１０８の頭部が傾いたり動いたりすると、マーカＭ１〜Ｍ３のポジション及び位置がＸＹＺ座標系において変更される。ビデオカメラ２０６は、マーカＭ１〜Ｍ３の画像をキャプチャし、画像をコンピュータ１７２に送信する。マーカＭ１〜Ｍ３の画像は入力データの実施例である。三次元空間内（Ｘ、Ｙ、Ｚ）におけるＨＭＤ２０２のポジションは、画像内でのマーカＭ１〜Ｍ３のポジションに基づいてコンピュータ１７２のプロセッサ１７６（図１Ｃ）によって決定することができる。さらにＨＭＤ２０２のたとえば揺らす、傾ける、揺するなどの緩慢な動作はマーカＭ１〜Ｍ３の動きに基づいてコンピュータ１７２のプロセッサ１７６（図１Ｃ）によって決定される。

様々な実施形態では、ビデオカメラ２０６は移動式である。たとえば、ビデオカメラ２０６はマルチコプター、ロボットアーム、ロボット、ロボット車両、ロボットカー、クアッドコプターなどのなどのロボット装置に取り付けられる。たとえばビデオカメラ２０６は、ＨＭＤ２０２及び／またはＨＨＣ２０４の画像をキャプチャするためにロボット装置に対して、その下、上、側面などに取り付けられる。ＨＭＤ２０２はユーザ１０８の頭部の動きとともに移動する。いくつかの実施形態では、ビデオカメラ２０６の代わりにデジタルカメラが用いられる。

いくつかの実施形態では、ビデオカメラ２０６はＨＨＣ２０４の画像をキャプチャする。ユーザ１０８の手が動くと、マーカＭ４〜Ｍ６のポジション及び位置が座標系において変更される。ビデオカメラ２０６はマーカＭ４〜Ｍ６の画像をキャプチャし、画像をコンピュータ１７２に送信する。マーカＭ４〜Ｍ６の画像は入力データの実施例である。ＨＨＣ２０４の三次元空間内（Ｘ、Ｙ、Ｚ）のポジションは画像内のマーカＭ４〜Ｍ６のポジションに基づいてコンピュータ１７２のプロセッサ１７６によって決定されてもよい。さらにＨＨＣ２０４のたとえば揺らす、傾ける、揺するなどの緩慢な動作はマーカＭ４〜Ｍ６の動きに基づいてコンピュータ１７２のプロセッサ１７６によって決定される。

いくつかの実施形態では、ＨＨＣ２０４の代わりにユーザ１０８の手がマーカＭ４〜Ｍ６でマークされる。

図３はＨＭＤ１０４（図１Ａ〜１Ｃ）の実施例であるＨＭＤ２５０の実施形態の図である。ＨＭＤ２５０は、映像音声分離器２５４、ビデオデコーダ２５５、ＷＡＣ２５８、ストリームバッファ２５９、１つまたは複数のスピーカ２６０、ユーザ入力回路２６２、表示画面２６６、マイクロコントローラ２６８、オーディオバッファ２７２、外部デジタルカメラ２７４、オーディオコーデック２７６、内部デジタルカメラ２７８、ビデオバッファ２８０、映像音声同期装置２８２、マイクロフォン２８４及びコントローラ／コンピュータ通信回路２８７を含む。外部デジタルカメラ２７４はユーザ１０８の現実世界環境に向けられ、内部デジタルカメラ２７８はたとえばユーザ１０８の目、頭部など、ユーザ１０８に向けられる。

いくつかの実施形態において、スピーカ２６０は音声回路である。様々な実施形態では、オーディオコーデック２７６、オーディオバッファ２７２及び／またはスピーカ２６０が音声回路である。いくつかの実施形態では、ビデオデコーダ２５５及びマイクロコントローラ２６８の組み合わせは本明細書内でゲーム処理回路と称される。様々な実施形態では、マイクロコントローラ２６８は表示回路である。表示画面の実施例にはＬＥＤスクリーン、液晶表示（ＬＣＤ）スクリーン、シリコンスクリーン上の液晶、有機発光（ＯＬＥＤ）スクリーン、プラズマスクリーンなどが含まれる。外部デジタルカメラ２７４の例にはソニー・コンピュータエンターテインメントによって製造されているプレイステーションアイ（登録商標）が含まれる。

マイクロコントローラ２６８はレンダリングプログラム２８６及びオペレーティングシステム２８８を格納する。レンダリングプログラム２８６及びオペレーティングシステム２８８はマイクロコントローラ２８６の記憶装置内に格納され、マイクロコントローラ２８６のマイクロプロセッサにより実行される。マイクロコントローラ２６８の例には、表示画面２６６上にゲームを表示するために、表示画面２６６のＬＣＤなどの要素を、それに提供する信号を生成する、それをアクティブにするための信号を生成するなどして駆動する、ＬＣＤドライバなどのドライバを含む低価格のマイクロコントローラが含まれる。マイクロコントローラ２６８の別の例には、グラフィック処理ユニット（ＧＰＵ）及び記憶装置が含まれる。

いくつかの実施形態では、マイクロコントローラ２６８の記憶装置はフラッシュメモリまたはランダムアクセスメモリ（ＲＡＭ）以外である。たとえばマイクロコントローラの記憶装置はバッファである。様々な実施形態では、マイクロコントローラ２６８の記憶装置はフラッシュメモリまたはＲＡＭである。ユーザ入力回路２６２の例には、ジャイロスコープ、磁力計及び加速度センサが含まれる。ＷＡＣ２５８の例にはＮＩＣが含まれる。いくつかの実施形態では、ＷＡＣ２５８は本明細書内で通信回路と称される。

符号化されたメディアデータのストリームは、ネットワーク１１０またはルータ１５２（図１Ｂ〜１Ｃ、２）からストリームバッファ２５９内で受信される。ストリームバッファ２５９により受信される符号化されたメディアデータの実施例には、符号化されたメディアデータ１１６（図１Ａ〜１Ｃ、２）及び符号化された付加メディアデータなどが含まれる。ルータ１５２がコンピュータ１７２（図２）に接続されると、コンピュータ１７２から受信されたメディアデータは、ストリームバッファ２５９に格納される代わりにＨＭＤ２５０のバッファ（図示せず）に格納されることに留意されたい。

ＷＡＣ２５８はストリームバッファ２５９から符号化されたメディアデータのストリームにアクセスし、ストリームのパケット解除を行う。さらにＷＡＣ２５８はまた、符号化されたメディアデータをデコードするデコーダを含む。

符号化されたメディアデータのストリームがルータ１５２（図１Ｃ）を介してコンピュータ１７２（図１Ｃ）によって受信される実施形態においては、コンピュータ１７２のＮＩＣ１７４（図１Ｃ）が符号化されたメディアデータのストリームのパケット解除及びデコードを行い、デコードされたデータを生成し、そのデコードされたデータは格納のためにルータ１５２によってＨＭＤ２５０のバッファ（図示せず）へと送信される。

デコードされたデータは映像音声分離器２５４によってＷＡＣ２５８から、またはＨＭＤ２５０のバッファ（図示せず）からアクセスされる。映像音声分離器２５４はデコードされたデータ内の音声データをビデオデータから分離する。

映像音声分離器２５４は音声データをオーディオバッファ２７２に、ビデオデータをビデオバッファ２８０に送信する。映像音声同期装置２８２は、ビデオバッファ２８０に格納されたビデオデータをオーディオバッファ２７２に格納された音声データと同期させる。たとえば映像音声同期装置２８２は、ビデオデータ及び音声データの再生時間を利用して、ビデオデータを音声データと同期させる。

オーディオコーデック２７６は同期された音声データをデジタル形式からアナログ形式へと転換して音声信号を生成し、スピーカ２６０によって音声信号が再生されて音声が生成される。ビデオデコーダ２５５は、たとえばデジタル形式からアナログ形式に変更するなどして同期されたビデオデータをデコードし、アナログビデオ信号を生成する。マイクロコントローラ２６８はビデオデコーダ２５５により生成されたアナログビデオ信号に基づいてレンダリングプログラム２８６を実行し、表示画面２６６上にゲームを表示する。いくつかの実施形態では、表示画面２６６上に表示されたゲームは、音声信号の再生と同期させて表示される。

さらにユーザ１０８（図１Ａ〜１Ｃ、２）はマイクロフォン２８４に話しかけ、マイクロフォン２８４はたとえば声などの音響信号を音声信号などの電気信号に転換する。オーディオコーデック２７６は音声信号をアナログ形式からデジタル形式に転換して音声データを生成し、音声データはオーディオバッファ２７６に格納される。オーディオバッファ２７６に格納された音声データは、ユーザ１０８の音響に基づいて生成される入力データの実施例である。音声データはＷＡＣ２５８によってオーディオバッファ２７６からアクセスされ、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）に送信される。たとえばＷＡＣ２５８はオーディオバッファ２７６からアクセスされた音声データをパケット化し符号化して、ネットワーク１１０を介してコーデック１１２に送信する。

いくつかの実施形態では、音声データはルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）へと送信するために、ＷＡＣ２５８によってオーディオバッファ２７６からアクセスされる。たとえばＷＡＣ２５８はオーディオバッファ２７６からアクセスされた音声データをパケット化し符号化して、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信する。

内部デジタルカメラ２７８はユーザ１０８（図１Ａ〜１Ｃ、２）の１つまたは複数の頭部の動きの１つまたは複数の画像をキャプチャして、１つまたは複数の頭部の動きに基づいて生成される入力データの実施例である画像データを生成する。同様に外部デジタルカメラ２７８は、ユーザ１０８の手及び／またはＨＭＤ２５０もしくはユーザ１０８の手に配置されたマーカの１つまたは複数の画像をキャプチャし、画像データを生成する。ユーザ１０８の手に配置されたマーカに基づいてまたはユーザ１０８の手の動きに基づいて生成された画像データは、１つまたは複数の手の動きに基づいて生成される入力データの実施例である。デジタルカメラ２７４及び２７８によってキャプチャされた画像データはビデオバッファ２８０に格納される。

いくつかの実施形態では、デジタルカメラ２７４及び２７８によってキャプチャされた画像データはＨＭＤ２５０のバッファに格納されるが、このバッファはビデオバッファ２８０とは異なる。様々な実施形態では、デジタルカメラ２７４及び２７８によってキャプチャされた画像データは、表示画面２６６上に画像を表示するためにビデオデコーダ２５５によってデコードされてマイクロコントローラ２６８へと送信される。

デジタルカメラ２７４及び２７８によってキャプチャされた画像データはＷＡＣ２５８によってビデオバッファ２８０からアクセスされ、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はビデオバッファ２８０からアクセスされた画像データをパケット化し符号化して、ネットワーク１１０を介してコーデック１１２へと送信する。

いくつかの実施形態では、ビデオデータはＷＡＣ２５８によってビデオバッファ２８０からアクセスされ、ルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）に送信される。たとえばＷＡＣ２５８はビデオバッファ２８０からアクセスされたビデオデータをパケット化し符号化して、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信する。

コントローラ／コンピュータ通信回路２８７は、ＨＭＤ２５０のバッファ（図示せず）に格納するためにメディアデータをコンピュータ１７２から受信する。さらにコントローラ／コンピュータ通信回路２８７はＨＨＣ１０６（図１Ａ〜１Ｃ、２）から入力信号を受信し、入力信号をアナログ形式からデジタル形式に転換して入力データを生成し、その入力データはＷＡＣ２５８によってアクセスされてネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２（図１Ａ〜１Ｃ、２）のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はコントローラ／コンピュータ通信回路２８７からアクセスされた入力データをパケット化し符号化して、ネットワーク１１０を介してコーデック１１２へと送信する。

いくつかの実施形態では、入力データはＷＡＣ２５８によってコントローラ／コンピュータ通信回路２８７からアクセスされ、ルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２のコーデック１１２（図１Ａ〜１Ｃ）へと送信される。たとえばＷＡＣ２５８はコントローラ／コンピュータ通信回路２８７からアクセスされた入力データをパケット化し符号化して、ルータ１５２及びネットワーク１１０を介してコーデック１１２へと送信する。

コントローラ／コンピュータ通信回路２８７の代わりに、１つはデータを受信、送信するなどしてコンピュータ１７２（図１Ｂ）と通信させるため、もう１つはデータをＨＨＣ１０６（図１Ａ〜１Ｃ、２）と通信させるために、２つの異なる通信回路を用いてもよい点に留意されたい。

いくつかの実施形態では、ＷＡＣ２５８のデコーダがＷＡＣ２５８の外部に配置される。様々な実施形態では、ストリームバッファ２５９はすＷＡＣ２５８内に配置される。

いくつかの実施形態では、ＨＭＤ２５０に外部デジタルカメラ２７４が含まれない。いくつかの実施形態では、ＨＭＤ２５０には任意の個数のマイクロコントローラ、任意の個数のバッファ、及び／または任意の個数の記憶装置が含まれる。

様々な実施形態では、たとえば映像音声分離器２５４、ワイヤレスアクセスカード２５８、ストリームバッファ２５９、１つまたは複数のスピーカ２６０、ユーザ入力回路２６２、表示画面２６６マイクロコントローラ２６８、オーディオバッファ２７２、外部デジタルカメラ２７４、オーディオコーデック２７６、内部デジタルカメラ２７８、ビデオバッファ２８０、映像音声同期装置２８２、マイクロフォン２８４及びコントローラ／コンピュータ通信回路２８７などの構成要素に電力を提供する１つまたは複数のバッテリがＨＭＤ２５０に含まれる。１つまたは複数のバッテリは、交流コンセントに接続することのできる充電器（図示せず）を用いて充電される。

いくつかの実施形態において、入力データ及び／またはメディアデータは本明細書内で双方向メディアと称される。

いくつかの実施形態では、ＨＭＤ２５０はペアリングを介したローカルユーザ間のピアツーピアマルチチャネル通信を容易にする通信回路（図示せず）を含む。たとえば、ＨＭＤ２５０には、マイクロフォン２８４から受信された音響信号を変調し、チャネルを介して変調された信号を別のＨＭＤ（図示せず）のトランシーバに送信するトランシーバが含まれる。他のＨＭＤのトランシーバは信号を復調して他のＨＭＤのスピーカに提供し、ユーザ間の通信を容易にする。

様々な実施形態では、異なる他のＨＭＤとの通信を行うためにＨＭＤ２５０のトランシーバによって異なるチャネルが用いられる。たとえば変調された信号を第１の他のＨＭＤへと送信するチャネルは、変調された信号を第２の他のＨＭＤへと送信するチャネルとは異なる。

いくつかの実施形態では、ＷＡＣ２５８、ユーザ入力回路２６２、マイクロコントローラ２６８及びビデオデコーダ２５５は１つまたは複数の個別の回路チップに統合される。たとえば、ＷＡＣ２５８、ビデオデコーダ２５５及びマイクロコントローラ２６８がある回路チップに統合され、ユーザ入力回路２６２は別の回路チップに統合される。別の実施例として、ＷＡＣ２５８、ユーザ入力回路２６２、マイクロコントローラ２６８及びビデオデコーダ２５５のそれぞれが別の回路チップに統合される。

いくつかの実施形態では、ビデオカメラがデジタルカメラの代わりに用いられる。たとえばビデオカメラが外部デジタルカメラ２７４（図３）の代わりに用いられ、別のビデオカメラが内部デジタルカメラ２７８（図３）の代わりに用いられる。

いくつかの実施形態では、ＨＭＤ２５０が外部デジタルカメラ２７４を有さず、かつ／または内部デジタルカメラ２７８を有しない。これらの実施形態では、ＨＭＤ２５０のポジション及び動作がゲームクラウド１０２の１つまたは複数のサーバによって、かつ／またはユーザ入力回路２６２によって生成される入力データに基づくコンピュータ１７２（図１Ｃ）のプロセッサ１７６（図１Ｃ）によって決定され、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介して送信されるか、またはルータ１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０を介して送信されるか、またはルータ１５２、コンピュータ１７２及びネットワーク１１０を介して送信される。

いくつかの実施形態では、内部デジタルカメラ２７８がユーザ１０８の目もしくは頭部を認識することができない場合及び／またはビデオカメラ２０６（図２）がユーザ１０８の頭部を認識することができない場合、ユーザ入力回路２６２が入力データを生成する。これらの実施形態では、ＨＭＤ２５０のポジション及び動作が、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介してゲームクラウド１０２へと送信される入力データに基づいて、ゲームクラウド１０２の１つまたは複数のサーバによって、かつ／またはコンピュータ１７２（図１Ｃ）のプロセッサ１７６（図１Ｃ）によって決定されるか、または１５２（図１Ｂ〜１Ｃ、２）及びネットワーク１１０を介して送信されるか、またはルータ１５２、コンピュータ１７２及びネットワーク１１０を介して送信される。

いくつかの実施形態では、たとえばＨＭＤ２５０のＷＡＣ２５８などのＨＭＤ２５０が、２つ以上のモードの切り替えを行う。第１のモードには、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介したＨＭＤ２５０及びゲームクラウド１０２（図１Ａ〜１Ｃ、２）間のデータ通信における、ルータ１５２（図１Ｂ〜１Ｃ、２）及びコンピュータ１７２（図１Ｃ及び２）の利用が含まれる。第２のモードには、ＨＭＤ２５０及びゲームクラウド１０２間のデータ通信における、ネットワーク１１０を介したルータ１５２の利用が含まれる。第２のモードにおいて、データが通信される際にコンピュータ１７２はバイパスされる。第３のモードにはＨＭＤ２５０及びゲームクラウド１０２間のデータ通信における、ネットワーク１１０を介したネットワーク１１０の利用が含まれる。第３のモードにおいて、データが通信される際にルータ１５２及びコンピュータ１７２はバイパスされる。

いくつかの実施形態では、ユーザ１０８はＨＭＤ１０４をＨＨＣ１０６とともに用い、ＨＭＤ１０４のポジション及び動作ならびにＨＨＣ１０６のポジション及び動作が単一の仮想ゲームシーンにおいて表現される。たとえばＨＨＣ１０６はゲームプログラム１１７の実行によって生成され、ＨＭＤ１０４に表示される没入型環境ゲームなどのゲーム内で剣として表現される。この実施例においては、ゲームは仮想ゲームシーンを有する。ユーザ１０８が自身の頭部を左に向けると、ユーザ１０８はゲームシーンの左側部分を見せられ、ユーザ１０８が自身の頭部を右に向けると、ユーザ１０８はゲームシーンの右側部分を見せられる。ゲームシーンの部分的な表示は、ＨＭＤ１０４のポジション及び動きに基づく。さらにユーザ１０８がＨＨＣ１０６を左に動かしてＨＭＤ１０４を左に動かすと、ユーザはゲームシーンの左側部分で左を指す剣を見せられる。ユーザ１０８がＨＨＣ１０６を左に動かしてＨＭＤ１０４を右に動かすと、ユーザはゲームシーンの右側部分を見せられ、剣は右側部分に表示されない。さらにユーザ１０８がＨＨＣ１０６を右に動かしてＨＭＤ１０４を右に動かすと、ユーザはゲームシーンの右側部分で右を指す剣を見せられる。ユーザ１０８がＨＨＣ１０６を右に動かしてＨＭＤ１０４を左に動かすと、ユーザ１０８はゲームシーンの右側部分を見せられ、剣はゲームシーンの右側部分に表示されない。ゲームシーンの一部における剣の表示の有無は、ＨＨＣ１０６のポジション及び動作に基づく。

図４Ａは、ワイヤレスネットワークにアクセスするためにＨＭＤ２５０（図３）の表示画面２６６に表示される画像３００の実施形態の図である。ネットワークアクセスアプリケーションがマイクロコントローラ２６８（図３）によって実行される際に、画像３００がマイクロコントローラ２６８（図３）によって生成される。画像３００は、たとえばワイヤレスネットワークＡ、ワイヤレスネットワークＢ、ワイヤレスネットワークＣなどの、ゲームクラウド１０２からのゲームプログラム１１７へのアクセスのためにＨＭＤ２５０が接続することのできるネットワークの一覧を含む。ユーザ１０８は１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きを行うことによってワイヤレスネットワークＡ、Ｂ及びＣのうちの１つを選択し、ＨＭＤ２５０をワイヤレスネットワークに接続する。

いくつかの実施形態では、画像３００は一覧の任意の個数のワイヤレスネットワークを含む。

図４Ｂは、ワイヤレスネットワークにアクセスするためにコンピュータ１７２（図２）の画像３１２に表示される画像３１０の実施形態の図である。ネットワークアクセスアプリケーションがコンピュータ１７２のプロセッサ１７６（図２）によって実行される際に、画像３１０がコンピュータ１７２のＧＰＵによって生成される。画像３１０は、たとえばワイヤレスネットワークＡ、ワイヤレスネットワークＢ、ワイヤレスネットワークＣなどの、ルータ１５２及びコンピュータ１７２を介したゲームクラウド１０２からのゲームプログラム１１７へのアクセスのためにＨＭＤ２５０が接続することのできるネットワークの一覧を含む。ユーザ１０８は１つもしくは複数の頭部の動き及び／または１つもしくは複数の手の動きを行うことによってワイヤレスネットワークＡ、Ｂ及びＣのうちの１つを選択し、ルータ１５２及びコンピュータ１７２を介してＨＭＤ２５０をワイヤレスネットワークに接続する。

いくつかの実施形態では、画像３１０は一覧の任意の個数のワイヤレスネットワークを含む。

図５Ａは、表示画面２６６（図３）の実施例である表示画面３２１に表示されるゲームの画像３２０の実施形態の図である。画像３２０の周辺領域３２２はマイクロコントローラ２６８（図３）によって低解像度で表示され、中央領域３２４はマイクロコントローラ２６８によって高解像度で表示される。高解像度はより低い解像度よりも解像度が高い。周辺領域３２２は表示画面３２１の端部Ｅ１〜Ｅ４に隣接する。

いくつかの実施形態では、端部Ｅ１は端部Ｅ２及び端部Ｅ４に対して垂直である。端部Ｅ３は端部Ｅ２及びＥ４に対して垂直であり、端部Ｅ１に対して平行である。様々な実施形態では、端部Ｅ１はたとえば８７度から９３度ほどの角度で端部Ｅ２に対して、また端部Ｅ４に対して略垂直である。端部Ｅ３は端部Ｅ２及びＥ４に対して略垂直であり、端部Ｅ１に対して略平行である。

いくつかの実施形態では、表示画面３２１がたとえば長方形、正方形、円形、楕円形、多角形、曲線などの任意の形状である点に留意されたい。

内部デジタルカメラ２７８（図３）によりキャプチャされた注視画像に基づいて、マイクロコントローラ２６８（図３）が表示画面３２１を領域３２２及び３２４に分割する。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）が中央領域３２４を注視していると決定されると、マイクロコントローラ２６８が、中央領域３２４が高解像度を有することを決定し、周辺領域３２２が低解像度を有することを決定し、さらにレンダリングプログラム２８６を実行して中央領域３２４を高解像度で表示し、周辺領域３２２については低解像度で表示する。

図５Ｂは、表示画面３２１に表示される画像３３０の実施形態の図である。画像３３０は上部周辺領域３３２及び下部周辺領域３３４を有する。上部周辺領域３３２は端部Ｅ１に隣接し、下部周辺領域３３４は端部Ｅ３に隣接する。周辺領域３３２及び３３４は低解像度を有し、中間領域３３６は高解像度を有する。中間領域３３６は端部Ｅ２及びＥ４に隣接して配置され、領域３３２及び３３４の間に配置される。

内部デジタルカメラ２７８（図３）によりキャプチャされた注視画像に基づいて、マイクロコントローラ２６８（図３）が表示画面３２１を領域３３２、３３４及び３３６に分割する。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）が中間領域３３６を注視していると決定されると、マイクロコントローラ２６８が、中間領域３３６が高解像度を有することを決定し、周辺領域３３２及び３３４が低解像度を有することを決定し、さらにレンダリングプログラム２８６を実行して中間領域３３６を高解像度で表示し、周辺領域３３２及び３３４については低解像度で表示する。

いくつかの実施形態では、周辺領域３３２が周辺領域３３４の解像度とは異なる解像度を有する。たとえば、周辺領域３３２は低解像度と高解像度の間である中解像度を有し、周辺領域３３４が低解像度を有する。別の実施例として、周辺領域３３４が中解像度を有し、周辺領域３３２が低解像度を有する。

図５Ｃは、表示画面３２１に表示される画像３４０の実施形態の図である。画像３４０は右側周辺領域３４２及び左側周辺領域３４４を有する。右側周辺領域３４２は端部Ｅ２に隣接し、左側周辺領域３４４は端部Ｅ４に隣接する。周辺領域３４２及び３４４は低解像度を有し、中間領域３４６は高解像度を有する。中間領域３４６は端部Ｅ１及びＥ３に隣接して配置され、領域３４２と３４４との間に配置される。

内部デジタルカメラ２７８（図３）によりキャプチャされた注視画像に基づいて、マイクロコントローラ２６８（図３）が表示画面３２１を領域３４２、３４４、及び３４６に分割する。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）が中間領域３４６を注視していると決定されると、マイクロコントローラ２６８が、中間領域３４６が高解像度を有することを決定し、周辺領域３４２及び３４４が低解像度を有することを決定し、さらにレンダリングプログラム２８６を実行して中間領域３４６を高解像度で表示し、３４２及び３４４については低解像度で表示する。

いくつかの実施形態では、周辺領域３４２は周辺領域３４４とは異なる解像度を有する。たとえば周辺領域３４２は低解像度と高解像の間である度中解像度を有し、周辺領域３４４は低解像度を有する。別の実施例として、周辺領域３４４は中解像度を有し、周辺領域３４２は低解像度を有する。

様々な実施形態では、注視の代わりに任意の他の頭部の動きを用いて、表示画面３２１の１つまたは複数の領域が高解像度を有することを決定し、表示画面３２１の１つまたは複数の領域が低解像度または低及び中解像度を有することを決定する。

いくつかの実施形態では、表示画面の周辺領域はたとえば曲線、半円形、多角形などの任意の形状であり、表示画面の中央または中間領域はたとえば長方形、円形、多角形、長円、形、曲線などの任意の形状である。

図６は、様々な種類のＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０を例示する図である。ＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０のそれぞれはＨＨＣ１０６（図１Ａ〜１Ｃ、２）の実施例である。図示されるように、ＨＨＣ３５０はブーメランの形状を有し、ＨＨＣ３５２はマイクロフォンの形状を有し、ＨＨＣ３５４はステアリングホイールの形状を有する。さらにＨＨＣ３５６はユーザ１０８が自身の手に装着する手袋であり、ＨＨＣ３５８はユーザ１０８が自身の上半身に装着するジャケット、ボディスーツの上半身、またはシャツなどであり、ＨＨＣ３６０はユーザ１０８が自身の下半身に装着するズボンである。

ＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０のそれぞれは、たとえばセンサ、圧縮機構、増量機構、減量機構、減圧機構、振動機構、触覚フィードバック機構、加熱機、冷却機、電気刺激機などの、ゲームプログラム１１７（図１Ａ〜１Ｃ、２）の実行によって表示されるゲームのプレイ時にユーザ１０８にフィードバックを提供するための１つまたは複数のフィードバック機構を含む。

様々な実施形態では、ゲームプログラム１１７の実行によって表示されるゲームのプレイ時に、ユーザ１０８はＨＭＤ１０４の装着に加えてＨＨＣ３５６を自身の手に装着し、仮想犬を撫でる。触覚フィードバック機構がユーザ１０８に触覚フィードバックを提供し、ユーザ１０８は現実の犬を撫でているかのように感じることができる。ユーザ１０８が仮想犬を持ち上げると、増量機能によりユーザ１０８は現実の犬を撫でているかのように感じることができる。

いくつかの実施形態では、ユーザ１０８はＨＭＤ１０４の装着に加えてＨＨＣ３５８を装着し、仮想海での仮想スキューバダイビングに赴く。増量機構がユーザ１０８に掛かる重量を増加させ、ユーザ１０８は現実の海でスキューバダイビングを行っているかのように、上記の水の重量を感じることができる。同様にユーザ１０８が海面に接近するにつれて、減量機構がユーザ１０８に掛かる重量を減少させる。

いくつかの実施形態では、ＨＨＣ３５０、３５２、３５４、３５６、３５８及び３６０のそれぞれが、実施例が上記に提示される、ＨＨＣのポジション及び動作を決定するための１つまたは複数の固定参照オブジェクトを含む。

様々な実施形態では、ＨＨＣ１０６は長方形、円形、楕円形、多角形、曲線、らせん状などの任意の形状を含む。

図７Ａは、ＨＭＤ３７０の実施形態の図である。ＨＭＤ３７０はＨＭＤ２５０（図３）の実施例である。ＨＭＤ３７０は、ユーザ１０８が装着した時にユーザ１０８（図１Ａ〜１Ｃ、２）の後頭部に達するバンド３７２及び３７４を含む。さらにＨＭＤ３７０は、ゲームプログラム１１７（図１Ａ〜１Ｃ）の実行によってプレイされるゲームに関連する音を発する、たとえばスピーカなどのイヤフォン３７６Ａ及び３７６Ｂを含む。ＨＭＤ３７０は、ゲームプログラム１１７（図１Ａ〜１Ｃ）の実行によってプレイされ、表示画面２６６（図３）に表示されるゲームをユーザ１０８が視認することを可能にするレンズ３７８Ａ及び３７８Ｂを含む。溝３８０がユーザ１０８の鼻の上に置かれ、鼻の上でＨＭＤ３７０を支持する。

いくつかの実施形態では、ユーザ１０８がサングラス、眼鏡または老眼鏡を装着するのと同様の方法で、ユーザ１０８はＨＭＤ３７０を装着する。

図７Ｂは、ＨＭＤ２５０（図３）の実施例であるＨＭＤ４００の実施形態の等軸測視図である。いくつかの実施形態では、ＨＭＤ４００はソニー・コンピュータエンターテインメントアメリカＬＬＣの研究開発製品である。ＨＭＤ４００は、ヘッドサポート４０２を含む。ＨＭＤ４００はさらに、たとえばＬＥＤ４０４Ａ及び４０４Ｂ、赤外線発光器４０６Ａ、４０６Ｂ、４０６Ｃ、４０６Ｄ、４０６Ｅ、４０６Ｆ、４０６Ｇ、及び４０６Ｈなどのマーカを含む。赤外線発光器の例には、ＬＥＤが含まれる。ＨＭＤ４００は、ＨＭＤ４００の電源を入れ、または電源を切ることができるオンオフスイッチ４０８を含む。

マーカはＨＭＤ４００のポジション及び動作を決定するために用いられる。たとえばユーザ１０８（図１Ａ〜１Ｃ、２）の頭部の動きによって、外部デジタルカメラ２７４（図３）によってキャプチャされたＬＥＤ４０４Ａ及び４０４Ｂの画像サイズが変更される。そのサイズに基づいて、コンピュータ１７２（図３）のプロセッサまたはゲームクラウド１０２の１つまたは複数のサーバ（図１Ａ〜１Ｃ、２）が座標系におけるＨＭＤ４００のポジション及び動作を決定する。

図８は、ＨＨＣ１０６及びＨＭＤ１０４（図１Ａ〜１Ｃ、２）のインターフェイス接続に適合するコンソール５００の実施形態のブロック図である。コンソール５００はゲームプログラム１１７の一部を実行し、レンダリングするために用いられてもよい。コンソール５００は、ＨＨＣ１０６及びＨＭＤ１０４（図１Ａ〜１Ｃ、２）のゲームプログラム１１７とのインターフェイス接続に適合する。コンソール５００は、コンソール５００に接続可能な様々な周辺機器とともに提供される。コンソール５００は、Ｃｅｌｌプロセッサ５２８、ラムバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット５２６、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット５３２をともなうリアリティシンセサイザーグラフィックスプロセッサユニット５３０及び入力／出力（Ｉ／Ｏ）ブリッジ５３４を有する。コンソール５００はまた、Ｉ／Ｏブリッジ５３４を通じてアクセス可能なディスク５４０ａ及び取り外し可能スロットインハードディスクドライブ（ＨＤＤ）５３６から読み取りを行うためのブルーレイ（登録商標）ディスク読み出し専用メモリ（ＢＤ−ＲＯＭ）光学ディスク５４０を有する。コンソール５００はまた、任意選択でコンパクトフラッシュ（登録商標）メモリーカード、メモリースティック（登録商標）メモリーカードなどの読み込みのための、同様にＩ／Ｏブリッジ５３４を通じてアクセス可能なメモリーカードリーダ５３８を含む。

Ｉ／Ｏブリッジ５３４はまた、ユニバーサルシリアルバス（ＵＳＢ）２．０ポート５２４、ギガビットイーサネットポート５２２、ＩＥＥＥ ８０２．１１ｂ／ｇワイヤレスネットワーク（Ｗｉ−Ｆｉ（登録商標））ポート５２０及びＢｌｕｅｔｏｏｔｈ（登録商標）接続を支援することが可能であるＢｌｕｅｔｏｏｔｈ（登録商標）ワイヤレスリンクポート５１８に接続する。

Ｉ／Ｏブリッジ５３４は稼働中すべての無線、ユニバーサルシリアルバス（ＵＳＢ）及びイーサネットデータを処理するが、それらデータは１つまたは複数のゲームコントローラ５０２及び５０３からの、またＨＭＤ２５０（図３）の実施例であるＨＭＤ５０５からのデータを含む。たとえば、ユーザ１０８（図１Ａ〜１Ｃ、２）がゲームプログラム１１７の一部（図１Ａ）の実行により生成されたゲームをプレイしている時、Ｉ／Ｏブリッジ５３４が入力データをゲームコントローラ５０２または５０３から、またはＨＭＤ５０５からＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介して受信し、入力データをＣｅｌｌプロセッサ５２８へと導き、Ｃｅｌｌプロセッサ５２８がそれに応じてゲームの現在の状態を更新する。ゲームコントローラ５０２及び５０３のそれぞれは、ＨＨＣ１０６（図１Ａ〜１Ｃ、２）の実施例である。

ワイヤレス、ＵＳＢ及びイーサネットポートはまた、ゲームコントローラ５０２及び５０３及びＨＭＤ５０５に加え、たとえばリモートコントロール５０４、キーボード５０６、マウス５０８、ソニープレイステーションポータブル（登録商標）エンターテインメント機器などの携帯型エンターテインメント機器５１０、アイトーイ（登録商標）ビデオカメラ５１２、マイクロフォンヘッドセット５１４及びマイクロフォン５１５などのビデオカメラなど、他の周辺機器に接続性を提供する。したがってこのような周辺機器は基本的にコンソール５００に無線で接続されてもよく、たとえばマイクロフォンヘッドセット５１４がＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介して通信してもよい一方で、携帯型エンターテインメント機器５１０はＷｉ−Ｆｉ（登録商標）アドホック接続を介して通信を行ってもよい。

これらインターフェイスの提供は、コンソール５００がまた、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、携帯型メディアプレーヤ、ボイスオーバーＩＰ電話、携帯電話、プリンタ及びスキャナなどの他の周辺機器と潜在的に適合することを意味する。

さらにレガシーメモリーカードリーダ５１６は、ＵＳＢポート５２４を介してコンソール５００に接続されて、コンソール５００によって用いられる種類のメモリーカード５４８の読み取りを可能にしてもよい。

ゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５はＢｌｕｅｔｏｏｔｈ（登録商標）リンクを介してコンソール５００との無線での通信を行うよう、またはＵＳＢポートに接続されるように作動可能であり、それによってまた電力が提供され、その電力によりゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５のバッテリが充電される。いくつかの実施形態では、ゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５のそれぞれが、またメモリ、プロセッサ、メモリーカードリーダ、フラッシュメモリなどの永続メモリ、照明付き球状部などの発光体、ＬＥＤ、または赤外線、超音波通信のためのマイクロフォンならびにスピーカ、音響室、デジタルカメラ、内部クロック、ゲームコンソールに面する球状部などの認識できる形状及びたとえばＢｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ（登録商標）などのプロトコルを用いる無線通信を含んでもよい。

ゲームコントローラ５０２はユーザ１０８の両手で用いるよう設計されたコントローラであり、ゲームコントローラ５０３はアタッチメントの付いた片手用コントローラである。ＨＭＤ５０５はユーザ１０８の頭頂部及び／または目の前に取り付けられるよう設計されている。１つまたは複数のアナログジョイスティック及び従来のコントロールボタンに加えて、ゲームコントローラ５０２及び５０３のそれぞれは三次元位置決定の影響を受けやすい。同様に、ＨＭＤ５０５は三次元位置決定の影響を受けやすい。結果的に従来のボタンまたはジョイスティックのコマンドに加えてまたはその代わりに、ゲームコントローラ５０２ならびに５０３及びＨＭＤ５０５のユーザ１０８によるジェスチャー及び動きが、ゲームへと入力として変換されてもよい。プレイステーション（商標）ポータブル機器などの、他の無線で使用可能な周辺機器が任意選択でコントローラとして用いられてもよい。プレイステーション（商標）ポータブル機器の場合は、さらなるゲームまたは制御情報（たとえば、制御命令またはライフの数）が、機器の表示画面上に提示されてもよい。ダンスマット（図示せず）、ライトガン（図示せず）、及びステアリングホイールならびにペダル（図示せず）または特注のコントローラ、早押しクイズゲーム（これも図示せず）用の１つまたは複数の大型ボタンなどの他の代替的または補完的制御装置がまた用いられてもよい。

リモートコントロール５０４はまた、Ｂｌｕｅｔｏｏｔｈ（登録商標）リンクを介してコンソール５００と無線で通信するように作動可能である。リモートコントロール５０４は、ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダ５４０の作動に、またディスクの内容のナビゲーションに適したコントロールを備える。

ブルーレイ（商標）ディスクＢＤ−ＲＯＭリーダ５４０は、従来の記録済みの、また記録可能なＣＤ及びいわゆるスーパーオーディオＣＤに加えて、コンソール５００に適合するＣＤ−ＲＯＭを読み取るように作動可能である。リーダ５４０はまた、従来の記録済みの、また記録可能なＤＶＤに加えてコンソール５００に適合するデジタルビデオディスク−ＲＯＭ（ＤＶＤ−ＲＯＭ）を読み取るように作動可能である。リーダ５４０はさらに、従来の記録済みの、また記録可能なブルーレイディスクと同様にコンソール５００に適合するＢＤ−ＲＯＭを読み取るように作動可能である。

コンソール５００はリアリティシンセサイザーグラフィックスユニット５３０を介して生成されるあるいはデコードされる音声及び映像を、表示画面５４４及び１つまたは複数のラウドスピーカ５４６を有するモニタまたはテレビ受信機などの表示及び音声出力装置５４２へのオーディオコネクタ５５０及びビデオコネクタ５５２を通じて供給するように作動可能である。ビデオコネクタ５５２がコンポーネント映像信号、Ｓ映像、コンポジットビデオ及び１つまたは複数の高精細度マルチメディアインターフェイス（ＨＤＭＩ（登録商標））出力を様々に含んでもよい一方で、オーディオコネクタ５５０は従来のアナログ及びデジタル出力を含んでもよい。結果的に映像出力はＰＡＬまたはＮＴＳＣなどのフォーマット、または５２０ｐ、１０８０ｉもしくは１０８０ｐ高精細度などのフォーマットであってもよい。

音声処理（生成、デコードなど）は、Ｃｅｌｌプロセッサ５２８によって行われる。コンソール５００のオペレーティングシステムはドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）及びブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードをサポートする。

いくつかの実施形態では、圧縮されたビデオデータが、コンソール５００によるデコードのためのイントラ画像ベースのＭＰＥＧ（モーションピクチャエキスパートグループ）規格などの適切なフォーマットで送信されてもよいように、ビデオカメラ５１２などのビデオカメラが単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ及びハードウェアベースのリアルタイムデータ圧縮ならびに符号化装置を備える。ビデオカメラ５１２のＬＥＤインジケータは、たとえば不利な照明条件を示すためにコンソール５００からの適切な制御データに応じて発光するように構成される。ビデオカメラ５１２の実施形態は、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）またはＷｉ−Ｆｉ（登録商標）通信ポートを介したコンソール５００への接続を様々に行ってもよい。ビデオカメラの実施形態は１つまたは複数の関連マイクロフォンを含んでもよく、また音声データの送信が可能であってもよい。ビデオカメラの実施形態においては、ＣＣＤが高精細度ビデオキャプチャに適した解像度を有してもよい。使用時には、ビデオカメラによりキャプチャされた画像はたとえばゲーム内に組み込まれるか、またはゲーム制御入力として解釈されてもよい。別の実施形態においては、ビデオカメラは赤外線の検知に適した赤外線カメラである。

様々な実施形態では、コンソール５００の通信ポートの１つを介したビデオカメラまたはリモートコントロールなどの周辺機器を用いてのデータ通信を成功させるために、デバイスドライバなどの適切なソフトウェアが提供される。

いくつかの実施形態では、コンソール装置、ポータブルＨＨＣ及びポータブルＨＭＤを含む上述のシステム装置が、ＨＨＣ及びポータブルＨＭＤをゲームプログラム１１７（図１Ａ〜１Ｃ）の対話型セッションの映像を表示し、キャプチャすることを可能にする。コンソール装置はゲームプログラム１１７の対話型セッションを開始し、対話型セッションがユーザ１０８とゲームプログラム１１７との間のインタラクティブ性を定義する。システム装置は、ユーザ１０８（図１Ａ〜１Ｃ、２）が操作するＨＨＣ及び／またはＨＭＤの初期ポジション及び方向を決定する。コンソール装置は、ユーザ１０８とゲームプログラム１１７との間のインタラクティブ性に基づいてゲームプログラム１１７の現在の状態を決定する。システム装置はユーザ１０８のゲームプログラム１１７との対話型セッションの間に、ＨＨＣ及び／またはＨＭＤのポジション及び方向を追跡する。システム装置は、ゲームプログラム１１７の現在の状態及び追跡されたＨＨＣならびに／またはＨＭＤのポジション及び方向に基づいて、対話型セッションのギャラリービデオストリームを生成する。いくつかの実施形態では、ＨＨＣがＨＨＣの表示画面上のギャラリービデオストリームのレンダリングを行う。様々な実施形態では、ＨＭＤがＨＭＤの表示画面上のギャラリービデオストリームのレンダリングを行う。

図９は、本開示に記載の様々な実施形態に応じたゲームシステム６００のブロック図である。いくつかの実施形態では、ゲームシステム６００は、ハイパーバイザによってリソースとＶＭとの間で関係を確立した後で、サーバ、記憶装置などの１つまたは複数のリソースを用いてたとえばオペレーティングシステム、ソフトウェアアプリケーションなどのＶＭを実行するクラウドゲームシステムである。ゲームシステム６００は、１つまたは複数のクライアント６１０にネットワーク１１０（図１Ａ〜１Ｃ、２）の実施例であるネットワーク６１５を介してビデオストリームを提供するために用いられる。ゲームシステム６００は、ビデオサーバーシステム６２０及び任意のゲームサーバ６２５を含む。ビデオサーバーシステム６２０は、１つまたは複数のクライアント６１０にサービス品質でビデオストリームを提供するために用いられる。たとえば、ビデオサーバーシステム６２０は、たとえばゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によりプレイされるゲームなどのビデオゲームの状態またはそういったビデオゲーム内の視点を変更するゲームコマンドを受信してもよく、またこの状態の変化を反映する更新されたビデオストリームを、最短のラグタイムでクライアント６１０に提供してもよい。ビデオサーバーシステム６２０は、未定義のフォーマットを含む多種多様な代替的映像フォーマットでビデオストリームを提供するために用いられてもよい。さらにビデオストリームはユーザ１０８（図１Ａ〜１Ｃ、２）に対して多種多様なフレームレートで提示するために用いられるビデオフレームを含んでもよい。典型的なフレームレートは、毎秒３０フレーム、毎秒６０フレーム及び毎秒６２０フレームである。しかし本開示に記載の様々な実施形態には、より高いまたは低いフレームレートが含まれる。

本明細書にてそれぞれ６１０Ａ、６１０Ｂなどと称されるクライアント６１０は、ＨＭＤ１０４（図１Ａ〜１Ｃ、２）、ＨＨＣ１０４（図１Ａ〜１Ｃ、２）、端末、パーソナルコンピュータ、ゲームコンソール、タブレットコンピュータ、電話、セットトップボックス、キオスク、無線機器、デジタルパッド、独立型装置及び／またはそれに類するものを含んでもよい。クライアント６１０は符号化されたビデオストリームを受信し、ビデオストリームをデコードし、また得られた映像をたとえばゲームのプレーヤなどのユーザ１０８に提示するために用いられる。符号化されたビデオストリームの受信及び／またはビデオストリームのデコードの処理には、個別のビデオフレームのクライアントの受信バッファ内への格納が含まれる。ビデオストリームはクライアント６１０と一体となったディスプレイ上、またはモニタまたはテレビなどの別個の装置上でユーザ１０８に提示されてもよい。

クライアント６１０は２人以上のゲームプレーヤをサポートするために任意選択で用いられる。たとえば、ゲームコンソールは２人、３人、４人またはそれ以上の同時プレーヤをサポートするために用いられてもよい。これらプレーヤのそれぞれが別個のビデオストリームを受信してもよいか、または単一のビデオストリームにたとえば各プレーヤの視点に基づいて生成されたそれぞれのプレーヤ向けに生成されたフレームの領域が含まれてもよい。

クライアント６１０は、任意選択で地理的に分散される。ゲームシステム６００に含まれるクライアント数は１つまたは２つから数千、数万またはそれ以上まで大幅に異なってもよい。本明細書内では、「ゲームプレーヤ」の用語はゲームをプレイする人物を指すために用いられ、「ゲームプレイ機器」の用語はたとえばゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってプレイされるゲームなどを行うために用いられる機器を指すために用いられる。いくつかの実施形態では、ゲームプレイ機器はゲーム体験をユーザ１０８に提供するために連携する複数のコンピュータ装置を指してもよい。たとえばゲームコンソール及びＨＭＤ１０４（図１Ａ〜１Ｃ、２）は、ＨＭＤ１０４を通じて視認されるゲームを提供するためにビデオサーバーシステム６２０と連携してもよい。ある実施形態においては、ゲームコンソールがビデオサーバーシステム６２０からビデオストリームを受信し、ゲームコンソールはレンダリングのためにＨＭＤ１０４へとビデオストリームを転送するか、またはビデオストリームを更新する。

クライアント６１０はネットワーク６１５を介してビデオストリームを受信するために用いられる。ネットワーク６１５は、電話ネットワーク、インターネット、ワイヤレスネットワーク、電力線ネットワーク、ローカルエリアネットワーク、ワイドエリアネットワーク、プライベートネットワーク及び／またはそれに類するものを含む任意の種類の通信ネットワークであってもよい。いくつかの実施形態では、ビデオストリームがＴＣＰ／ＩＰまたはＵＤＰ／ＩＰなどの標準プロトコルを介して通信される。いくつかの実施形態においては、ビデオストリームが専有標準を介して通信される。

クライアント６１０の１つの典型的な例は、プロセッサ、不揮発性メモリ、ディスプレイ、デコード論理、ネットワーク通信能力及び１つまたは複数の入力機器を含むパーソナルコンピュータである。デコード論理にはハードウェア、ファームウェア及び／または非一時的なコンピュータ可読媒体上に格納されるソフトウェアが含まれてもよい。

クライアント６１０は受信された映像の修正のために用いられるシステムをさらに含んでもよいが、それは必須ではない。たとえばクライアントはさらなるレンダリングを行うために、あるビデオ画像を別のビデオ画像に重ね、ビデオ画像をクロップし、かつ／またはそれに類することを行うよう用いられてもよい。別の実施例として、クライアント６１０はユーザ１０８のために、フレーム内符号化画像（Ｉフレーム）、予測フレーム（Ｐフレーム）及び双方向予測画像フレーム（Ｂフレーム）などの様々な種類のビデオフレームを受信するよう、またこれらフレームをたとえばゲームプログラム１１６（図１Ａ〜１Ｃ）の実行によりプレイされるゲームなどで表示するための画像への処理を行うように用いられてもよい。いくつかの実施形態では、クライアント６１０の構成要素はさらなるレンダリング、シェーディング、３−Ｄへの変換、または同様の操作をビデオストリーム上で行うために用いられてもよい。クライアント６１０の構成要素は任意選択で用いられて、２つ以上のオーディオまたはビデオストリームを受信する。

クライアント６１０の入力機器には、たとえば片手用ゲームコントローラ、両手用ゲームコントローラ、ジェスチャー認識システム、注視認識システム、音声認識システム、キーボード、ジョイスティック、ポインティングデバイス、力覚呈示装置、動作及び／または位置検出器、マウス、タッチスクリーン、ニュートラルインターフェイス、カメラ、未開発の入力機器及び／またはそれに類するものが含まれてもよい。

クライアント６１０より受信されたビデオストリーム及び任意選択によるオーディオストリームは、ビデオサーバーシステム６２０によって生成され、提供される。このビデオストリームにはビデオフレームが含まれ、オーディオストリームにはオーディオフレームが含まれる。適切なデータ構造における画素情報を含むビデオフレームは、ユーザ１０８に表示される画像に有意義な寄与を行う。本明細書内では、「ビデオフレーム」の用語は、ゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってユーザ１０８がプレイするゲームの画像などに影響を与えるなどして寄与するのに用いられる情報を主に含むフレームを指すために用いられる。本明細書内の「ビデオフレーム」に関する教示のほとんどについては、「オーディオフレーム」にも適用可能である。

様々な実施形態では、クライアント６１０はユーザ１０８からの入力を受信するために用いられる。これら入力には、ゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってプレイされるゲームについては、ビデオゲームの状態を変更するため、またそれ以外の場合にはゲームプレイに影響を与えるために用いられるゲームコマンドが含まれてもよい。ゲームコマンドはたとえばユーザ入力回路２６２（図４）などの入力機器を用いて受信されてもよく、かつ／またはクライアント６１０上での演算命令の実行によって自動的に生成されてもよい。受信されたゲームコマンドは、クライアント６１０からネットワーク６１５を介してビデオサーバーシステム６２０及び／またはゲームサーバ６２５へと通信される。たとえばゲームコマンドはビデオサーバーシステム６２０を介してゲームサーバ６２５へと通信される。

いくつかの実施形態では、ゲームコマンドの別個のコピーがクライアント６１０からゲームサーバ６２５及びビデオサーバーシステム６２０へと通信される。

ゲームコマンドの通信は、任意選択でコマンドの識別に依存する。ゲームコマンドはクライアント６１０Ａにオーディオまたはビデオストリームを提供するために用いられる異なるルートまたは通信チャネルを通じて、任意選択でクライアント６１０Ａから通信される。

ゲームサーバ６２５は任意選択で、ビデオサーバーシステム６２０とは異なるエンティティによって操作される。たとえば、ゲームサーバ６２５はゲームの発行元によって操作されてもよい。この実施例においては、ビデオサーバーシステム６２０は任意選択でゲームサーバ６２５によってクライアントとして認識され、任意選択でゲームサーバ６２５の視点からはゲームエンジンを実行するクライアントとして見なされるように用いられる。ビデオサーバーシステム６２０とゲームサーバ６２５との通信は、ネットワーク６１５を介して任意選択で発生する。このように、ゲームサーバ６２５はゲーム状態の情報をその１つがゲームサーバーシステム６２０である複数のクライアントへと送信するマルチプレーヤーゲームサーバであってもよい。

ビデオサーバーシステム６２０はゲームサーバ６２５の複数のインスタンスとの通信を同時に行うために用いられてもよい。たとえばビデオサーバーシステム６２０は複数の異なるビデオゲームを異なるユーザに提供するために用いられてもよい。これら異なるビデオゲームのそれぞれは異なるゲームサーバ６２５によりサポートされ、かつ／または異なるエンティティにより発行されてもよい。

いくつかの実施形態では、いくつかの地理的に分布したビデオサーバーシステム６２０のインスタンスは複数の異なるユーザにゲームの映像を提供するために用いられる。ビデオサーバーシステム６２０のこれらインスタンスのそれぞれが、ゲームサーバ６２５の同じインスタンスとの通信を行ってもよい。

ビデオサーバーシステム６２０と１つまたは複数のゲームサーバ６２５との間の通信が、専用通信チャネルを介して任意選択で発生する。たとえばビデオサーバーシステム６２０は、これらシステム間の通信専用の高帯域チャネル幅を介してゲームサーバ６２５に接続されてもよい。

ビデオサーバーシステム６２０は、少なくとも映像ソース６３０、入出力装置６４５、プロセッサ６５０及びストレージ６５５を含む。ビデオサーバーシステム６２０は１つのコンピュータ装置を含むか、または複数のコンピュータ装置間に分布してもよい。これらコンピュータ装置はローカルエリアネットワークなどの通信システムを介して任意選択で接続される。

映像ソース６３０は、動画を形成するたとえばストリーミング映像または一連のビデオフレームなどのビデオストリーム提供するために用いられる。いくつかの実施形態では、映像ソース６３０がビデオゲームエンジン及びレンダリング論理を含む。

ビデオゲームエンジンはプレーヤからゲームコマンドを受信するため、また受信されたコマンドに基づいて、たとえばゲームプログラム１１６（図１Ａ〜１Ｃ）などの実行によってプレイされるゲームなどのビデオゲームの状態のコピーを維持するために用いられる。このゲーム状態には、ゲーム環境におけるオブジェクトのポジションが視点と同様に含まれる。ゲーム状態にはまた、オブジェクトのプロパティ、画像、色及び／またはテクスチャを含んでもよい。ゲーム状態は、動き、回転、攻撃、フォーカスの設定、相互作用、利用及び／またはそれに類するゲームコマンドと同様に、ゲームルールに基づいて維持される。ゲームエンジンの一部は任意選択によりゲームサーバ６２５内に配置される。ゲームサーバ６２５は複数のプレーヤから受信されたゲームコマンドに基づき、クライアントの地理的分散を利用してゲームの状態のコピーを維持してもよい。これらの場合には、ゲーム状態がゲームサーバ６２５によって、ゲーム状態のコピーが格納され、レンダリングが行われる映像ソース６３０へと提供される。ゲームサーバ６２５はネットワーク６１５を介してゲームコマンドをクライアント６１０から直接受信してもよく、かつ／またはビデオサーバーシステム６２０を介してゲームコマンドを受信してもよい。

映像ソース６３０は、たとえばハードウェア、ファームウェア及び／またはストレージ６５５などの非一時的なコンピュータ可読媒体上に格納されたソフトウェアなどのレンダリング論理を含む。このレンダリング論理は、ゲーム状態に基づいてビデオストリームのビデオフレームを作成するために用いられる。レンダリング論理の全部または一部は任意選択でＧＰＵ内に配置される。レンダリング論理にはオブジェクトの三次元空間的関係の決定のための、かつ／または適切なテクスチャなどの適用のための、ゲーム状態及び視点に基づいたステージの処理が含まれる。レンダリング論理は、その後通常はクライアント６１０との通信の前に符号化される生ビデオを生成する。たとえば生ビデオは、アドビフラッシュ（登録商標）規格、．ｗａｖ、Ｈ．２６４、Ｈ．２６３、Ｏｎ２、ＶＰ６、ＶＣ−１、ＷＭＡ、Ｈｕｆｆｙｕｖ、Ｌａｇａｒｉｔｈ、ＭＰＧ−ｘ．Ｘｖｉｄ．ＦＦｍｐｅｇ、ｘ２６４、ＶＰ６−８、リアルビデオ、ｍｐ３またはそれに類するものにしたがって符号化されてもよい。符号化処理によってビデオストリームが生成され、ビデオストリームはリモートデバイス上のデコーダへの送達のために任意選択でパッケージ化される。

ビデオストリームは、フレームサイズ及びフレームレートによって特徴づけられる。典型的なフレームサイズには、８００ｘ６００、１２８０ｘ７２０（たとえば７２０ｐ）、１０２４ｘ７６８が含まれるが、他の任意のフレームサイズが用いられてもよい。フレームレートは、毎秒のビデオフレーム数である。ビデオストリームには、異なる種類のビデオフレームが含まれてもよい。たとえばＨ．２６４規格には、「Ｐ」フレーム及び「Ｉ」フレームが含まれる。Ｉフレームは表示装置上のすべてのマクロブロック／ピクセルをリフレッシュするための情報を含み、Ｐフレームがそのサブセットをリフレッシュするための情報を含む。ＰフレームのデータサイズはＩフレームよりも小さい。本明細書内では、「フレームサイズ」の用語はフレーム内の画素数への言及を意味する。「フレームデータサイズ」の用語は、フレームを格納するために必要なバイト数を指すために用いられる。

いくつかの実施形態では、映像ソース６３０にはカメラなどの録画装置が含まれる。このカメラは、コンピュータゲームのビデオストリームに含まれてもよい遅延映像またはライブ映像を生成するために用いられてもよい。得られたビデオストリームには、スチールまたはビデオカメラを用いてレンダリングされた画像及び録画された画像がいずれも、任意選択で含まれる。映像ソース６３０は、ビデオストリームに含まれるようあらかじめ録画された映像を格納するために用いられる記憶装置を含んでもよい。映像ソース６３０はまた、ＨＭＤ１０４、ＨＨＣ１０６、またはユーザ１０８（図１Ａ〜１Ｃ、２）の動作またはポジションを検知するために用いられる動作または位置検出器及び、検知された動作ならびに／またはポジションに基づいてゲーム状態を決定するため、または映像を生成するために用いられるロジックを含んでもよい。

映像ソース６３０は、他の映像上に重ねるオーバーレイを提供するために任意選択で用いられる。たとえばこれらのオーバーレイには、コマンドインターフェイス、ログイン命令、ゲームプレーヤへのメッセージ、他のゲームプレーヤの画像、他のゲームプレーヤの配信動画（たとえばウェブカメラ映像）が含まれてもよい。タッチスクリーンインターフェイスまたは注視検出インターフェイスを含むクライアント６１０Ａのいくつかの実施形態では、オーバーレイが仮想キーボード、ジョイスティック、タッチパッド及び／またはそれに類するものを含んでもよい。オーバーレイのある例においては、プレーヤの声がオーディオストリームに重ねられる。映像ソース６３０はさらに、任意選択で１つまたは複数の音源を含む。

２人以上のプレーヤからの入力に基づいてビデオサーバーシステム６２０がゲーム状態を維持するために用いられる実施形態においては、各プレーヤが視線の位置及び方向を含む異なる視点を有してもよい。映像ソース６３０は任意選択で用いられ、プレーヤごとに自身の視点に基づいた別個のビデオストリームを提供する。さらに映像ソース６３０は異なるフレームサイズ、フレームデータサイズ及び／または符号化をクライアント６１０のそれぞれに提供するために用いられてもよい。映像ソース６３０は任意選択で３−Ｄ映像を提供するために用いられる。

ビデオサーバーシステム６２０が映像、コマンド、情報要求、ゲーム状態、注視情報、機器の動作、機器の位置、ユーザの動作、クライアントアイデンティティ、プレーヤーアイデンティティ、ゲームコマンド、セキュリティ情報、音声及び／またはそれに類する情報を送信及び／または受信するために、入出力装置６４５が用いられる。入出力装置６４５には、ネットワークインターフェイスカードまたはモデムなどの通信ハードウェアが含まれる。入出力装置６４５はゲームサーバ６２５、ネットワーク６１５及び／またはクライアント６１０と通信するために用いられる。

プロセッサ６５０はたとえば本明細書にて論じるビデオサーバーシステム６２０の様々な構成要素内に含まれるソフトウェアなどの論理を実行するために用いられる。たとえばプロセッサ６５０は、映像ソース６３０、ゲームサーバ６２５及び／またはクライアント側修飾子６６０を機能させるためのソフトウェア命令でプログラムされてもよい。ビデオサーバーシステム６２０は、任意選択で２つ以上のプロセッサ６５０のインスタンスを含む。プロセッサ６５０はまた、ビデオサーバーシステム６２０によって受信されたコマンドを実行するための、または本明細書にて論じるゲームシステム６００の様々な要素の操作を調整するためのソフトウェア命令でプログラムされてもよい。プロセッサ６５０には１つまたは複数のハードウェア装置が含まれてもよい。プロセッサ６５０は電子プロセッサである。

ストレージ６５５には、非一時的なアナログ及び／またはデジタル記憶装置が含まれる。たとえばストレージ６５５は、ビデオフレームを格納するために用いられるアナログ記憶装置を含んでもよい。ストレージ６５５は、ハードドライブ、光学ドライブ、または固体記憶装置などの非一時的なコンピュータ可読デジタルストレージを含んでもよい。ストレージ６１５は（たとえば適切なデータ構造またはファイルシステムによって）、ビデオフレーム、擬似的フレーム、ビデオフレーム及び擬似的フレームの両方を含むビデオストリーム、オーディオフレーム、オーディオストリーム及び／またはそれに類するものを格納するために用いられる。ストレージ６５５は複数の機器の間に任意選択で分布する。いくつかの実施形態では、ストレージ６５５が本明細書の他の場で論じられる映像ソース６３０のソフトウェア構成要素を格納するために用いられる。これら構成要素は、必要な場合に用意できるフォーマットで格納されてもよい。

ビデオサーバーシステム６２０は、クライアント側修飾子６６０を任意選択でさらに含む。クライアント側修飾子６６０は、クライアント６１０Ａまたは６１０Ｂなどのクライアントの能力を遠隔決定するために用いられる。これら能力は、クライアント６１０Ａとビデオサーバーシステム６２０との間の１つまたは複数の通信チャネルの能力とクライアント６１０Ａ自体の能力の両方を含むことができる。たとえばクライアント側修飾子６６０は、ネットワーク６１５を通して通信チャネルをテストするために用いられてもよい。

クライアント側修飾子６６０は、クライアント６１０Ａの能力を手動または自動で（たとえば発見するなどして）決定することができる。手動決定には、クライアント６１０Ａのユーザ１０８との通信及びユーザ１０８への能力の提供の依頼が含まれる。たとえばいくつかの実施形態では、画像、テキスト及び／またはそれに類するものをクライアント６１０Ａのウェブブラウザ内で表示するためにクライアント側修飾子６６０が用いられる。ある実施形態においては、クライアント６１０ＡがたとえばＨＭＤ１０４などの、ウェブブラウザを含むＨＭＤである。別の実施形態においては、クライアント６１０Ａは、ＨＭＤ上に表示されてもよいウェブブラウザを有するゲームコンソールである。表示されたオブジェクトは、ユーザ１０８にクライアント６１０Ａのオペレーティングシステム、プロセッサ、ビデオデコーダの種類、ネットワーク接続の種類、ディスプレイ解像度などの情報を入力するよう要求する。ユーザ１０８により入力された情報はクライアント側修飾子６６０へと通信される。

たとえばクライアント６１０Ａ上のエージェントの実行によって、かつ／またはテスト映像のクライアント６１０Ａへの送信により、自動決定が行われてもよい。エージェントにはジャバスクリプトなどの、ウェブページ上に埋め込まれた、またはアドオンとしてインストールされた演算命令が含まれてもよい。エージェントは任意選択でクライアント側修飾子６６０によって提供される。様々な実施形態では、クライアント６１０Ａの処理能力、クライアント６１０Ａのデコード及び表示能力、クライアント６１０Ａとビデオサーバーシステム６２０との間のラグタイムの信頼性及び通信チャネルの帯域幅、クライアント６１０Ａの表示方式、クライアント６１０Ａ上に存在するファイアウォール、クライアント６１０Ａのハードウェア、クライアント６１０Ａ上で実行するソフトウェア、クライアント６１０Ａ内のレジストリエントリ及び／またはそれに類するものをエージェントが発見することができる。

クライアント側修飾子６６０には、ハードウェア、ファームウェア及び／または非一時的なコンピュータ可読媒体上に格納されるソフトウェアが含まれる。クライアント側修飾子６６０は任意選択で、ビデオサーバーシステム６２０の１つまたは複数の他の要素とは別個のコンピュータ装置上に配置される。たとえばいくつかの実施形態では、クライアント６１０とビデオサーバーシステム６２０の２つ以上のインスタンスとの間の通信チャネルの特徴を決定するために、クライアント側修飾子６６０が用いられる。これらの実施形態においては、ビデオサーバーシステム６２０のどのインスタンスがクライアント６１０の１つのストリーミング映像の送達に最も適しているかを決定するために、クライアント側修飾子により発見された情報が用いられてもよい。

いくつかの実施形態では、メディアデータが現実世界環境のデータ、仮想世界環境のデータ、またはそれらの組み合わせを含む。現実世界環境のデータには、たとえば現実の車両、現実の人々、現実の地理的位置、現実の建築物、現実の家屋、現実の樹木、現実の物体、現実の生物、現実の無生物などの、１つまたは複数の世界環境の画像から生成されるデータが含まれる。現実世界環境のデータはたとえばビデオカメラ、オーディオカメラなどのカメラが現実世界環境の画像をキャプチャすることで生成される。仮想世界環境のデータは、たとえばゲームプログラム１１７などを実行するプロセッサなどのコンピュータによって生成される。

いくつかの実施形態では、たとえばユーザ１０８、別のユーザなどの１人または複数のユーザが、仮想世界と相互作用してもよい。本明細書において、仮想世界の用語はたとえば仮想の、コンピュータにより生成されるなどした、現実のユーザが１つまたは複数の表示画面を介して知覚してもよい、かつ／または１つまたは複数のユーザインターフェイス装置を介して相互作用してもよい架空の環境を表現するために用いられる。この架空の環境は１つまたは複数のプロセッサによってシミュレーションされる相互作用の規則を有する。本明細書において、ユーザインターフェイス装置の用語は、ユーザ１０８が仮想世界へと入力を送信し、または仮想世界からの出力を受信してもよい、たとえばＨＭＤ１０４、ＨＨＣ１０６（図１Ａ〜１Ｃ、２）などの現実の装置を指す。仮想世界は、たとえばゲームクラウド１０２の１つまたは複数のサーバ（図１Ａ〜１Ｃ、２）、マイクロコントローラ２６８（図３）、プロセッサ１７６（図１Ｃ）などの１つまたは複数のプロセッサモジュールによって、シミュレーションされてもよい。１つまたは複数のプロセッサモジュールは、ネットワーク１１０（図１Ａ〜１Ｃ、２）を介して結びつけられてもよい。ユーザ１０８は、ネットワーク１１０を介してプロセッサモジュール及び他のユーザインターフェイス装置と通信を行うことができるユーザインターフェイス装置を介して仮想世界と相互作用してもよい。仮想世界のある態様が、たとえばコンピューターモニタ、テレビモニタ、表示画面２６６、ＨＨＣ１０６の表示画面または同様のディスプレイなどの図形表示画面上にグラフィックス形式で、ユーザ１０８に対して提示されてもよい。仮想世界のある他の態様が、図形表示に関連してもよい、たとえばスピーカ２６０（図３）などのスピーカ上で可聴的な形式でユーザに対して提示されてもよい。

仮想世界内では、ユーザはアバターによって表現されてもよい。仮想世界内の各アバターは異なるユーザに一意に関連してもよい。ユーザ１０８が別のユーザから容易に識別されるように、ユーザ１０８の氏名または仮名がアバターの隣に表示されてもよい。ユーザ１０８の仮想世界との相互作用は、アバターに対応する１つまたは複数の動きによって表現されてもよい。たとえばユーザ１０８が頭部の動きを行うと、アバターが同様の頭部の動きを行う。別の実施例として、ユーザ１０８が手の動きを行うと、アバターが同様の手の動きを仮想世界で行う。異なるユーザがたとえば仮想地域などの仮想パブリックスペースにおいて、自身のアバターを介して互いに相互作用してもよい。ユーザ１０８を表現するアバターは人物、動物または物体に似た外見を有する。人物の形式のアバターは、ユーザ１０８と同性または異性であってもよい。仮想世界の他のオブジェクトとともにアバターを視認できるように、たとえば表示画面２６６（図３）、表示画面５４４（図８）、ＨＨＣ１０６（図１Ａ〜１Ｃ）の表示画面、コンピュータ１７２（図１Ｃ）の表示画面などの表示画面上にアバターが表示されてもよい。

様々な実施形態では、たとえば表示画面２６６（図３）、表示画面５４４（図８）、ＨＨＣ１０６（図１Ａ〜１Ｃ）の表示画面、コンピュータ１７２（図１Ｃ）の表示画面などの表示画面上に、アバターを表示することなく、アバターの視点からの仮想世界が表示されてもよい。仮想世界上のアバターの視界は、仮想カメラの視点として見なされてもよい。本明細書内では、仮想カメラとは仮想世界内の視点を示し、仮想世界内の三次元のシーンの二次元画像をレンダリングするために用いられてもよい。ユーザは自身のアバターを通じて、各ロビーに関連するチャットチャネルによって互いに相互作用してもよい。ユーザは自身のユーザインターフェイスを介して他のユーザとチャットするために、テキスト入力を行ってもよい。テキストはその後、ユーザのアバターの上または隣に、たとえばチャットバブルと称される場合もある、漫画の会話の吹き出しの形式で表示されてもよい。クイックチャットと称される場合もある定型チャットシステムの利用によって、このようなチャットが円滑化されてもよい。クイックチャットでは、ユーザ１０８がメニューから１つまたは複数のチャットフレーズを選択してもよい。

いくつかの実施形態では、パブリックスペースがいかなる特定のユーザまたはユーザのグループにも一意に関連せず、いかなるユーザまたはユーザのグループもパブリックスペースから別のユーザを除外することができないという意味で、パブリックスペースはパブリックである。対照的に、プライベートスペースは、複数のユーザ間からの特定のユーザに関連する。プライベートスペースに関連する特定のユーザが他のユーザによるプライベートスペースへのアクセスを制限してもよいという意味で、プライベートスペースはプライベートである。プライベートスペースはありふれた私有不動産の外観の様相を呈してもよい。他の実施形態においてユーザは、たとえば表示画面２６６（図３）、表示画面５４４（図８）、ＨＨＣ１０６（図１Ａ〜１Ｃ）の表示画面、コンピュータ１７２（図１Ｃ）の表示画面などの表示画面に表示されたアバターを制御する必要はない。仮想空間上に表示されるアバターは、たとえばプロセッサなどの機械によって制御されるボットであってもよい。したがってアバターボットは、ユーザ１０８によって制御されるアバターが行うのと同様の方法で仮想空間を動き回ることができるが、どの現実世界のユーザも実際にアバターボットを制御しない。アバターボットは様々な方法で空間内を歩き回り、行動を起こし、メッセージを投稿し、あるメッセージに特権を割り当て、他のアバターボットまたは現実世界のユーザが制御するアバターと相互作用することができる。また、定義された方法で相互作用し、環境を修正し、広告を投稿し、メッセージを投稿し、仮想空間、仮想建造物を建築し、または仮想オブジェクト、オブジェクトの地理的表現を構築し、現実のまたは仮想通貨を両替することができるように、ボットを設定することができる。

本開示に記載の実施形態は、手持型装置、マイクロプロセッサシステム、マイクロプロセッサに基づくまたはプログラム可能な家庭用電気機械器具、小型コンピュータ、メインフレームコンピュータなどを含む様々なコンピュータシステム構成で実施されてもよい。本開示に記載のいくつかの実施形態はまた、有線ベースの、またはワイヤレスネットワークを通じて結びつけられる遠隔処理装置によってタスクが行われるような分布したコンピューティング環境において実施することができる。

上記の実施形態を念頭に置き、本開示に記載のいくつかの実施形態ではコンピュータシステムに格納されたデータをともなう様々なコンピュータ実装の操作を利用することができることを理解すべきである。これら操作は、物理量の物理的操作を必要とする。本開示に記載の様々な実施形態の一部である本明細書に記載の任意の操作は有用な機械操作である。本開示に記載のいくつかの実施形態はまた、これら操作を行うための機器または装置に関連する。装置は特に必要な目的のために構築することができ、または装置はコンピュータに格納されたコンピュータプログラムによって選択的にアクティブ化されるまたは構成されるコンピュータとすることができる。特に、様々な機械は本明細書の教示にしたがって書かれたコンピュータプログラムとともに使用することができ、または、必要な操作を行うためにより特化した装置を構築するほうがより利便性が高い場合もある。

本開示に記載の様々な実施形態はまた、非一時的なコンピュータ可読媒体上のコンピュータ可読コードとして実現することができる。非一時的なコンピュータ可読媒体は、たとえばＲＡＭ、ＲＯＭ、フラッシュメモリ、ディスクなどの、データを格納することができ、コンピュータシステムがその後読み取ることができる任意のデータ記憶装置である。コンピュータ可読媒体の例にはハードドライブ、ネットワーク接続記憶装置（ＮＡＳ）、ＲＯＭ、ＲＡＭ、コンパクトディスクＲＯＭ（ＣＤ−ＲＯＭ）、書き込み可能ＣＤ（ＣＤ-Ｒ）、ＣＤ−リライタブル（ＲＷ）、磁気テープ及び他の光学ならびに非光学データ記憶装置が含まれる。非一時的なコンピュータ可読媒体は、コンピュータ可読コードが分布して格納され実行されるように、ネットワーク接続されたコンピュータシステム上に分布したコンピュータ可読有形的媒体を含んでもよい。

方法の操作が特定の順序で記載されるが、オーバーレイ操作の処理が所望の方法で行われる限りにおいては、操作間に他のハウスキーピング操作が行われてもよく、または操作がわずかに異なる時間に発生するように調整されるか、もしくは処理に関連する様々な時間間隔での処理操作の発生を可能にするシステム上に分布されてもよく、または操作が異なる順序で行われてもよいことを理解すべきである。

前述の実施形態は理解を明確にする目的のためにある程度詳細に説明してきたが、特定の変更及び改変を、添付の特許請求の範囲内で実施できることが明らかであろう。したがって、本実施形態は例示的であって制限的なものではないと考えられるべきであり、本開示に記載の様々な実施形態は本明細書内の所与の詳細に限定されるものではなく、添付の特許請求の範囲及び均等物内で改変することができる。

Claims (40)

1. ヘッドマウントディスプレイ（ＨＭＤ）上でプログラムの仮想現実シーンを表示するためのＨＭＤとゲームクラウドの間の通信を処理する方法であって、
   手持型コントローラ上の選択であって、ＨＭＤを装着するユーザによってなされる前記選択を示す入力データを受信するステップと、
   前記ＨＭＤのワイヤレスアクセス回路によって前記入力データをパケット化してパケット化された入力データを生成するステップと、
   別個のローカルコンピュータと最初に通信することなく、前記ＨＭＤとインターネットの間に位置するルータおよびインターネットを介して前記ＨＭＤから前記ゲームクラウドへ前記パケット化された入力データを直接送信するステップとを含み、
   前記ゲームクラウドは前記プログラムを実行してメディアデータを生成し、前記メディアデータを符号化しパケット化して符号化されたメディアデータのストリームを生成し、前記メディアデータは前記入力データにもとづいて生成され、
   インターネットを介して前記ゲームクラウドから受信された符号化されたメディアデータの前記ストリームを前記ワイヤレスアクセス回路によってパケット解除してパケット解除されたデータを生成するステップを含み、符号化されたメディアデータの前記ストリームは、前記別個のローカルコンピュータを用いることに関連づけられたレイテンシを削減するために前記別個のローカルコンピュータと通信することなく、インターネットおよび前記ルータを介して前記ＨＭＤによって前記ゲームクラウドから直接受信され、
   前記ＨＭＤのデコーダによって、前記パケット解除されたデータをデコードしてデコードされたメディアデータを生成するステップと、
   前記ＨＭＤのマイクロコントローラによって、前記デコードされたメディアデータをレンダリングして前記ＨＭＤのディスプレイデバイス上に前記プログラムの前記仮想現実シーンを表示するステップとを含む、方法。
2. 前記別個のローカルコンピュータは、ゲームコンソール、携帯電話、またはタブレットであり、前記別個のローカルコンピュータは前記プログラムの１以上の部分を実行し、前記ゲームクラウドは前記別個のローカルコンピュータが使用されたときの前記プログラムの残りの部分を実行する、請求項１の方法。
3. 前記ゲームクラウドはコーデックを含み、前記コーデックはコンプレッサまたはデコンプレッサであり、前記コンプレッサは、前記メディアデータ上で非可逆的圧縮または可逆的圧縮を実行して前記符号化されたメディアデータを生成するように構成される、請求項１の方法。
4. 前記ＨＭＤのプロセッサによって、オペレーティングシステムを実行してインターネットにアクセスするステップと、
   前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受信するステップと、
   前記ネットワークアクセスアプリケーションによって、前記マイクロコントローラにワイヤレスネットワークのリストを提供して前記ディスプレイデバイス上に前記リストを表示するステップと、
   前記ＨＭＤに接続された前記手持型コントローラを介して、前記リストから１つのワイヤレスネットワークの選択を受信するステップと、
   前記ネットワークアクセスアプリケーションによって、前記１つのワイヤレスネットワークにアクセスするためのパスワードを要求するステップと、
   前記ネットワークアクセスアプリケーションによって、前記パスワードが認証されたときインターネットへのアクセスを提供するステップと、
   インターネットへのアクセスを提供することに応答して、ゲームアクセスアプリケーションへのアクセスを提供するステップと、
   前記手持型コントローラを介して前記ゲームアクセスアプリケーションの選択を受信するステップと、
   前記ゲームアクセスアプリケーションの選択を受信することに応答して、前記プログラムへのアクセスを提供するステップとをさらに含む、請求項１の方法。
5. 前記ゲームアクセスアプリケーションを介して、前記プログラムにアクセスするためのユーザ名およびパスワードに対する要求を受信するステップと、
   前記プログラムにアクセスするための前記ユーザ名および前記パスワードを送信するステップとをさらに含み、前記プログラムにアクセスするための前記ユーザ名および前記パスワードが正しいことが決定されるとき、前記プログラムへのアクセスが提供される、請求項４の方法。
6. 前記ＨＭＤのプロセッサによって、オペレーティングシステムを実行してインターネットにアクセスするステップと、
   前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受信するステップと、
   前記ネットワークアクセスアプリケーションによって、前記マイクロコントローラにワイヤレスネットワークのリストを提供して前記ディスプレイデバイス上に前記リストを表示するステップと、
   前記ＨＭＤに接続された前記手持型コントローラを介して、前記リストから１つのワイヤレスネットワークの選択を受信するステップと、
   前記ネットワークアクセスアプリケーションによって、前記１つのワイヤレスネットワークにアクセスするためのパスワードを要求するステップと、
   前記ネットワークアクセスアプリケーションによって、前記パスワードが認証されたとき前記１つのワイヤレスネットワークへのアクセスを提供するステップと、
   前記１つのワイヤレスネットワークへのアクセスを提供することに応答して、ウェブブラウザアプリケーションへのアクセスを提供するステップと、
   前記手持型コントローラを介して前記ウェブブラウザアプリケーションの選択を受信するステップと、
   前記ウェブブラウザアプリケーションの選択を受信するとき、前記ＨＭＤを介して前記プログラムへのアクセスを受信するステップとをさらに含む、請求項１の方法。
7. ウェブページを介して前記プログラムにアクセスするためのユーザ名およびパスワードを送信するステップをさらに含み、前記プログラムにアクセスするための前記ユーザ名および前記パスワードが正しいことが決定されるとき、前記プログラムへのアクセスが受信される、請求項６の方法。
8. 前記ＨＭＤは無線接続を介して前記ルータに接続される、請求項１の方法。
9. 前記無線接続はＷｉ−Ｆｉ接続である、請求項８の方法。
10. 前記ルータによって、インターネットから符号化されたメディアデータの前記ストリームを受信するステップと、
    前記ルータによって、前記ＨＭＤのアドレスにもとづいて前記ＨＭＤへ符号化メディアデータの前記ストリームをルーティングするステップとをさらに含む、請求項１の方法。
11. 前記ＨＭＤのコントローラ通信回路によって、前記手持型コントローラから入力信号を受信するステップと、
    前記コントローラ通信回路によって、前記入力信号を前記入力データに転換するステップとをさらに含む、請求項１の方法。
12. 前記ルータによって、インターネットから符号化されたメディアデータの前記ストリームを受信するステップと、
    前記ＨＭＤのストリームバッファによって、符号化されたメディアデータの前記ストリームをバッファリングするステップとをさらに含む、請求項１の方法。
13. 前記デコードするステップと前記パケット解除するステップは、前記バッファリングするステップの後で前記ＨＭＤによって実行される、請求項１２の方法。
14. 前記ＨＭＤの映像音声分離器によって、前記デコードされたメディアデータを音声データとビデオデータに分離するステップと、
    前記ＨＭＤの映像音声同期装置によって、前記ビデオデータを前記音声データと同期させるステップと、
    前記ＨＭＤのオーディオコーデックによって、前記同期された音声データを転換して音声信号を生成するステップと、
    前記ＨＭＤの１以上のスピーカによって、前記音声信号を再生して音声を生成するステップと、
    前記ＨＭＤによって、前記同期されたビデオデータをアナログビデオ信号に転換するステップとをさらに含み、
    前記レンダリングするステップは、前記アナログビデオ信号を表示して前記仮想現実シーンを表示するステップを含む、請求項１の方法。
15. 前記ユーザの目に向けられた前記ＨＭＤの内部カメラによって、前記ユーザの目の画像データをキャプチャして前記ユーザの注視を取得するステップと、
    前記ワイヤレスアクセス回路によって、前記ユーザの前記目の前記画像データを符号化しパケット化してパケット化された符号化画像データを生成するステップと、
    前記ルータおよびインターネットを介して前記パケット化された符号化画像データを前記ゲームクラウドに送信するステップとを含む、請求項１の方法。
16. 前記マイクロコントローラによって、前記ディスプレイデバイスの表示画面を前記ユーザの前記注視にもとづいて異なる解像度に分割するステップをさらに含み、高解像度を有する前記表示画像の一部は前記注視の方向にある、請求項１５の方法。
17. 前記プログラムは双方向ゲームプログラムであり、
    前記双方向ゲームプログラムのセッションの間、前記ルータおよびインターネットを介して前記ＨＭＤから前記ゲームクラウドへ付加的な入力データを送信するステップと、
    前記セッションの間、別の仮想現実シーンの表示のために前記ルータおよびインターネットを介して前記ゲームクラウドから受信された付加的なメディアデータをレンダリングするステップとを含み、
    前記付加的なメディアデータは前記付加的な入力データにもとづいて前記ゲームクラウドによって生成される、請求項１の方法。
18. 前記ゲームクラウドは、前記付加的な入力データにもとづいて前記ＨＭＤのポジションおよび動作を決定し、前記付加的なメディアデータは、前記ポジションおよび前記動作から生成される、請求項１７の方法。
19. 前記ワイヤレスアクセス回路のモードを、インターネットを介して前記ゲームクラウドと通信するために前記ルータを利用することから、インターネットを介して前記ゲームクラウドと通信するために前記ルータおよび前記別個のローカルコンピュータを利用することへ切り替えるステップをさらに含む、請求項１の方法。
20. 前記ワイヤレスアクセス回路のモードを、インターネットを介して前記ゲームクラウドと通信するために前記ルータを利用することから、インターネットを介して前記ゲームクラウドと通信するために前記ルータをバイパスすることへ切り替えるステップをさらに含む、請求項１の方法。
21. ヘッドマウントディスプレイ（ＨＭＤ）を含むシステムであって、
    前記ＨＭＤは、
    手持型コントローラ上の選択であって、ＨＭＤを装着するユーザによってなされる前記選択を示す入力データを受信するように構成された通信回路と、
    前記通信回路に接続されたワイヤレスアクセス回路であって、前記入力データをパケット化してパケット化された入力データを生成するように構成された前記ワイヤレスアクセス回路とを含み、
    前記ワイヤレスアクセス回路は、別個のローカルコンピュータと最初に通信することなく、前記ＨＭＤとインターネットの間に位置するルータおよびインターネットを介して前記ゲームクラウドへ前記パケット化された入力データを直接送信するように構成されており、
    前記ゲームクラウドは前記プログラムを実行してメディアデータを生成し、前記メディアデータを符号化しパケット化して符号化されたメディアデータのストリームを生成し、前記メディアデータは前記入力データにもとづいて生成され、
    前記ワイヤレスアクセス回路は、インターネットを介して前記ゲームクラウドから受信された符号化されたメディアデータの前記ストリームをパケット解除してパケット解除されたデータを生成するように構成され、符号化されたメディアデータの前記ストリームは、前記別個のローカルコンピュータを用いることに関連づけられたレイテンシを削減するために前記別個のローカルコンピュータと通信することなく、インターネットおよび前記ルータを介して前記ＨＭＤによって前記ゲームクラウドから直接受信され、
    前記ワイヤレスアクセス回路に接続されたデコーダであって、前記パケット解除されたデータをデコードしてデコードされたメディアデータを生成するように構成された前記デコーダと、
    前記デコーダに接続されたマイクロコントローラであって、前記デコードされたメディアデータをレンダリングして前記ＨＭＤのディスプレイデバイス上に前記プログラムの前記仮想現実シーンを表示するように構成された前記マイクロコントローラとを含む、システム。
22. 前記別個のローカルコンピュータは、ゲームコンソール、携帯電話、またはタブレットであり、前記別個のローカルコンピュータは前記プログラムの１以上の部分を実行するように構成され、前記ゲームクラウドは前記別個のローカルコンピュータが使用されたときの前記プログラムの残りの部分を実行するように構成される、請求項２１のシステム。
23. 前記ゲームクラウドはコーデックを含み、前記コーデックはコンプレッサまたはデコンプレッサであり、前記コンプレッサは、前記メディアデータ上で非可逆的圧縮または可逆的圧縮を実行して前記符号化されたメディアデータを生成するように構成される、請求項２１のシステム。
24. 前記ＨＭＤは、
    オペレーティングシステムを実行してインターネットにアクセスするように構成されたプロセッサをさらに含み、
    前記プロセッサは、前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受信するように構成され、
    前記ネットワークアクセスアプリケーションは、前記マイクロコントローラにワイヤレスネットワークのリストを提供して前記ディスプレイデバイス上に前記リストを表示するように構成され、
    前記手持型コントローラは前記ＨＭＤに接続され、前記手持型コントローラは、前記リストから１つのワイヤレスネットワークの選択を受信するように構成され、
    前記ネットワークアクセスアプリケーションは、前記１つのワイヤレスネットワークにアクセスするためのパスワードを要求するように構成され、
    前記ネットワークアクセスアプリケーションは、前記パスワードが認証されたときインターネットへのアクセスを提供するように構成され、
    インターネットへのアクセスに応答して、ゲームアクセスアプリケーションがアクセスされ、
    前記手持型コントローラは、前記ゲームアクセスアプリケーションの選択を受信するように構成され、
    前記ゲームアクセスアプリケーションの選択を受信することに応答して、前記プログラムがアクセスされる、請求項２１のシステム。
25. 前記ＨＭＤは、前記ゲームアクセスアプリケーションを介して、前記プログラムにアクセスするためのユーザ名およびパスワードに対する要求を受信するように構成され、
    前記ＨＭＤは、前記プログラムにアクセスするための前記ユーザ名および前記パスワードを前記手持型コントローラから受信するように構成され、
    前記プログラムにアクセスするための前記ユーザ名および前記パスワードが正しいことが決定されるとき、前記プログラムがアクセスされる、請求項２４のシステム。
26. 前記ＨＭＤは、
    オペレーティングシステムを実行してインターネットにアクセスするように構成されたプロセッサをさらに含み、
    前記プロセッサは、前記オペレーティングシステム上で前記プロセッサによって実行されるネットワークアクセスアプリケーションの選択を受信するように構成され、
    前記ネットワークアクセスアプリケーションは、前記マイクロコントローラにワイヤレスネットワークのリストを提供して前記ディスプレイデバイス上に前記リストを表示するように構成され、
    前記手持型コントローラは前記ＨＭＤに接続され、前記手持型コントローラは、前記リストから１つのワイヤレスネットワークの選択を受信するように構成され、
    前記ネットワークアクセスアプリケーションは、前記１つのワイヤレスネットワークにアクセスするためのパスワードを要求するように構成され、
    前記ネットワークアクセスアプリケーションは、前記パスワードが認証されたとき前記１つのワイヤレスネットワークへのアクセスを提供するように構成され、
    前記１つのワイヤレスネットワークへのアクセスに応答して、ウェブブラウザアプリケーションがアクセスされ、
    前記手持型コントローラは、前記ウェブブラウザアプリケーションの選択を受信するように構成され、
    前記ウェブブラウザアプリケーションの選択を受信することに応答して、前記プログラムがアクセスされる、請求項２１のシステム。
27. 前記ＨＭＤは、前記プログラムにアクセスするためのユーザ名およびパスワードを受信するように構成され、
    前記プログラムにアクセスするための前記ユーザ名および前記パスワードが正しいことが決定されるとき、前記プログラムがアクセスされる、請求項２６のシステム。
28. 前記ＨＭＤは無線接続を介して前記ルータに接続される、請求項２１のシステム。
29. 前記無線接続はＷｉ−Ｆｉ接続である、請求項２８のシステム。
30. 前記ルータは、インターネットから符号化されたメディアデータの前記ストリームを受信するように構成され、
    前記ルータは、前記ＨＭＤのアドレスにもとづいて前記ＨＭＤへ符号化メディアデータの前記ストリームをルーティングするように構成される、請求項２１のシステム。
31. 前記ＨＭＤは、前記手持型コントローラから入力信号を受信するように構成されたコントローラ通信回路をさらに含み、
    前記コントローラ通信回路は、前記入力信号を前記入力データに転換するように構成される、請求項２１のシステム。
32. 前記ルータは、インターネットから符号化されたメディアデータの前記ストリームを受信するように構成され、
    前記ＨＭＤは前記デコーダに接続されたストリームバッファを含み、前記ストリームバッファは、前記ルータによって受信された符号化されたメディアデータの前記ストリームをバッファリングするように構成される、請求項２１のシステム。
33. 前記ワイヤレスアクセス回路は、前記ストリームバッファにバッファリングされた前記符号化されたメディアデータの前記ストリームにアクセスして前記符号化されたメディアデータの前記ストリームをパケット解除するように構成される、請求項３２のシステム。
34. 前記ＨＭＤは、前記デコードされたメディアデータを音声データとビデオデータに分離するように構成された映像音声分離器を含み、
    前記ＨＭＤは、前記ビデオデータを前記音声データと同期させるように構成された映像音声同期装置を含み、
    前記ＨＭＤは、前記同期された音声データを転換して音声信号を生成するように構成されたオーディオコーデックを含み、
    前記ＨＭＤは、前記音声信号を再生して音声を生成するように構成された１以上のスピーカを含み、
    前記ＨＭＤは、前記同期されたビデオデータをアナログビデオ信号に転換するように構成され、
    前記マイクロコントローラは、前記アナログビデオ信号にレンダリング操作を適用して前記仮想現実シーンを表示するように構成される、請求項２１のシステム。
35. 前記ＨＭＤは、前記ユーザの目の画像データをキャプチャして前記ユーザの注視を取得するように構成された内部カメラを含み、前記内部カメラは、前記ユーザの目に向けられるように構成され、
    前記ワイヤレスアクセス回路は、前記ユーザの前記目の前記画像データを符号化しパケット化してパケット化された符号化画像データを生成するように構成され、
    前記ワイヤレスアクセス回路は、前記ルータおよびインターネットを介して前記パケット化された符号化画像データを前記ゲームクラウドに送信するように構成される、請求項２１のシステム。
36. 前記マイクロコントローラは、前記ディスプレイデバイスの表示画面を前記ユーザの前記注視にもとづいて異なる解像度に分割するように構成され、高解像度を有する前記表示画像の一部は前記注視の方向にある、請求項３５のシステム。
37. 前記プログラムは双方向ゲームプログラムであり、
    前記ワイヤレスアクセス回路は、前記双方向ゲームプログラムのセッションの間、前記ルータおよびインターネットを介して前記ＨＭＤから前記ゲームクラウドへ付加的な入力データを送信するように構成され、
    前記マイクロコントローラは、前記セッションの間、別の仮想現実シーンの表示のために前記ルータおよびインターネットを介して前記ゲームクラウドから受信された付加的なメディアデータをレンダリングするように構成され、
    前記付加的なメディアデータは前記付加的な入力データにもとづいて前記ゲームクラウドによって生成される、請求項２１のシステム。
38. 前記ゲームクラウドは、前記付加的な入力データにもとづいて前記ＨＭＤのポジションおよび動作を決定し、前記付加的なメディアデータは、前記ポジションおよび前記動作から生成される、請求項３７のシステム。
39. 前記ワイヤレスアクセス回路は、前記ワイヤレスアクセス回路のモードを、インターネットを介して前記ゲームクラウドと通信するために前記ルータを利用することから、インターネットを介して前記ゲームクラウドと通信するために前記ルータおよび前記別個のローカルコンピュータを利用することへ切り替えるように構成される、請求項２１のシステム。
40. 前記ワイヤレスアクセス回路は、前記ワイヤレスアクセス回路のモードを、インターネットを介して前記ゲームクラウドと通信するために前記ルータを利用することから、インターネットを介して前記ゲームクラウドと通信するために前記ルータをバイパスすることへ切り替えるように構成される、請求項２１のシステム。