JP2009536058A - 表示装置および方法 - Google Patents

Abstract

ゲームの第一の視点を出力するように動作できる一次エンタテインメント装置と、１台あるいはそれ以上の二次エンタテインメント装置とを含むエンタテインメントシステム。一次エンタテインメント装置は、そのあるいは各々の二次エンタテインメント装置にゲームベースデータを送信するように動作でき、そのゲームベースデータは、そのあるいは各々の二次エンタテインメント装置が動作の際にゲームのそれぞれの更なる視点を表示することを可能にするものである。その結果、本発明の実施形態によれば、本エンタテインメントシステムのユーザは、一次エンタテインメント装置に結び付けられた一次ディスプレイから目を離して、ソニー（登録商標）のプレイステーションポータブル（登録商標）エンタテインメント装置（ＰＳＰ）のような二次エンタテインメント装置によって表示される付加的な視点を見ることが可能となる。一つの例として、ＰＳＰはドライビングゲームのためのバックミラーとして機能する。
【選択図】 図１

Description

本発明は表示装置およびそれに関連する表示方法に関する。特に、エンタテインメント装置のための表示装置およびそれに関連する表示方法に関する。

エンタテインメントの分野では、さまざまなジャンルのビデオゲームがあり、アドベンチャーゲーム、一人称ゲーム、レーシングゲームなどが提供されている。通常、これらのゲームは高品質のグラフィックスやリアルなゲーム内の物理学を用いて、プレイヤーが夢中になれる体験を与えようとする。しかし、そのような没入はテレビ画面によって制約される。例えば、レーシングゲームの場合、現在の画面に表示されていない近接する他の自動車がどこにいるのかプレイヤーには分からないとイライラさせられることがある。

既知の一つの解決策は、当該シミュレーションにおける多数の光景を提供し、ユーザが、それらを取り囲むゲーム世界の感覚を持てるように、それらの光景を切り替えることができるようにすることである。場合によっては、１つあるいはそれ以上の光景が同時に提供される。例えば、ドライビングゲームでゲーム中にバックミラーを描写する場合などである。しかし、光景を切り替えると方向感覚を失わせることがあり、また多数の光景を提供すると、主たる光景を表示すべき有効画面領域が減ってしまう。更に、プレイヤーがテレビ画面から目を離すと、ゲーム環境への没入感が全く失われてしまうことがある。

ゲームウォッチ類や任天堂（登録商標）ＤＳゲーム機などのような携帯型多画面ゲーム装置も、ユーザが装置から目を離すとやはり没入感が維持できないことがある。

本発明の実施形態は上記の問題を軽減あるいは緩和することを目的としている。

本発明の様々な側面および特徴は、添付した請求の範囲に記載されている。従属請求項の特徴は、単にそれら請求項における明示的な記載というだけでなく、適切なものとして、独立請求項の特徴と組み合わせることができるであろう。

本発明がその一つの側面として提供するエンタテインメントシステムは、ゲームの第一の視点を出力するように動作できる一次エンタテインメント装置と、１つあるいはそれ以上の二次エンタテインメント装置とを含むエンタテインメントシステムであって、前記一次エンタテインメント装置は、ゲームベースデータを前記あるいは前記各々の二次エンタテインメント装置に送信するように動作でき、前記ゲームベースデータは、前記あるいは前記各々の二次エンタテインメント装置が動作の際にそれぞれの前記ゲームの更なる視点を表示することを可能にする。

更なる視点を二次エンタテインメント装置上に表示できるようにすることによって、エンタテインメントシステムのユーザは一次エンタテインメント装置に結び付けられた一次ディスプレイから目を離して、二次エンタテインメント装置により表示される付加的な視点を見ることができる。例えば、二次エンタテインメント装置は、ドライビングゲームのバックミラーとして機能することができる。

本発明の実施形態を、添付図面を参照して例示によって説明する。

図１を参照すると、本発明の一つの実施形態によれば、ソニー（登録商標）プレイステーション２あるいはプレイステーション３（登録商標）エンタテインメント装置（ＰＳ２）などの一次エンタテインメント装置１００のユーザが、一次エンタテインメント装置１００に付随したディスプレイ１５０から目を離して、ソニー（登録商標）プレイステーションポータブル（登録商標）エンタテインメント装置（ＰＳＰ）などの携帯型の二次エンタテインメント装置２００により表示された付加的な視点を見ることができる。図示された例の場合、ＰＳＰは、一次エンタテインメント装置１００上で（ハンドヘルドコントローラ１４０を用いて）現在プレイされているドライビングゲームに対してバックミラーあるいはサイドミラーとして機能する。

次に図２を参照すると、本発明の一つの実施形態による二次エンタテインメント装置２００としての役割を果たすＰＳＰの簡潔な概略図が示されている。ＰＳＰは、中央処理装置（ＣＰＵ）２０１と、ポリゴンレンダリングなどのためのグラフィック処理装置（ＧＰＵ）２１０と、メディアエンジン２３１と、画像レンダリングやビデオとオーディオの再生などのためのオーディオ／ビデオプロセッサ（ＡＶＣ）２３２と、ダイレクトメモリアクセスコントローラ（ＤＭＡＣ）２４０とを有しており、これらは共通バス２６０によって接続されている。ＤＭＡ２４０はまた外部バス２７０に接続されており、外部バス２４０を介して入力ならびに出力がやりとりされる。これには、一体化されたディスプレイ２５０への出力、ワイヤレス通信手段（Ｔｘ／Ｒｘ）２２０への出力、ＵＳＢコネクタ２２５への出力が含まれる。

さて図３をも参照すると、一次エンタテインメント装置１００の一つの実施形態の概略図が示されている。一次エンタテインメント装置１００には、システムユニットに接続可能な様々な周辺装置を提供することができる。

一次エンタテインメント装置１００は、エモーションエンジン１１０と、グラフィックスシンセサイザ１９０と、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）を備えたサウンドプロセッサユニット１３０と、読み取り専用メモリ（ＲＯＭ）１４１と、コンパクトディスク（ＣＤ）およびＤＶＤの読取り装置１６０と、ラムバスダイナミックランダムアクセスメモリ（ＲＤＲＡＭ）装置１４２と、専用ＲＡＭ１７５を備えた入出力プロセッサ（ＩＯＰ）１７０とを有している。（オプションの）外部ハードディスクドライブ（ＨＤＤ）１８０を接続してもよい。 入出力プロセッサ１７０は、２つのユニバーサルシリアルバス（ＵＳＢ）ポート１７１と、ｉＬｉｎｋあるいはＩＥＥＥ１３９４ポート（ｉＬｉｎｋはソニーコーポレーションによるＩＥＥＥ１３９４規格の実装である）とを有している。ＩＯＰ７００は、ＵＳＢ、ｉＬｉｎｋおよびゲームコントローラのデータトラフィックのすべてを処理する。例えば、ユーザがゲームをしている場合、ＩＯＰ１７０はゲームコントローラからデータを受信し、それをエモーションエンジン１１０へ送り、エモーションエンジン１１０はそれに応じてゲームの現在状態を更新する。ＩＯＰ１７０は、高速なデータ転送速度を容易にするためにダイレクトメモリアクセス（ＤＭＡ）アーキテクチャを有している。ＤＭＡは、メインメモリから装置へＣＰＵを通過しないでデータを転送することに関係している。ＵＳＢインタフェースはオープンプライマリコントローラインタフェース（ＯＨＣＩ）に適合しており、１．５Ｍｂｐｓないし１２Ｍｂｐｓの転送速度を扱うことが出来る。これらのインタフェースを提供することにより、一次エンタテインメント装置１００は、ビデオカセットレコーダ（ＶＣＲ）、ディジタルカメラ、マイクロフォン、セットトップボックス、プリンタ、キーボード、マウス、およびジョイスティックなどの周辺装置に適合できる可能性がある。

ＵＳＢポートを別にすれば、他の２つのポート１７２、１７３は専用ソケットであり、ゲームに関連した情報を記憶するための専用の不揮発性ＲＡＭメモリカード１４３、ハンドヘルドゲームコントローラ１４０、あるいはハンドヘルドコントローラをまねる装置（図示されていない）、例えばダンスマットなど、を接続することができる。

エモーションエンジン１１０は、ゲームアプリケーション用の３次元（３Ｄ）グラフィックスの効率的なシミュレーションのために特別に設計された１２８ビットの中央処理装置（ＣＰＵ）である。エモーションエンジンの構成要素には、データバス、キャッシュメモリ、およびレジスタが含まれ、それらすべては１２８ビットのアーキテクチャである。これにより、大量のマルチメディアデータの高速処理が容易になる。これと比較して、従来のＰＣは６４ビットの基本データ構造である。プレイステーション２の浮動小数点演算性能は６．２ＧＦＬＯＰＳである。エモーションエンジンはまた、ＭＰＥＧ２デコーダ回路を有しており、それにより３ＤグラフィックスデータとＤＶＤデータの同時処理を可能とする。エモーションエンジンは数学的変換および平行移動などの幾何学演算を行ない、また、例えば２つのオブジェクト間の摩擦の計算など、シミュレーションオブジェクトの物理学に関連する演算を行なう。それは画像レンダリングコマンドのシーケンスを生成し、次いで、それらシーケンスはグラフィックスシンセサイザ１９０によって利用される。画像レンダリングコマンドは表示リストの形で出力される。表示リストは、どの基本グラフィックオブジェクト（例えば、点、線、三角形、スプライト）を画面上のどの座標に描くべきかをグラフィックスシンセサイザに対して指定する描画コマンドのシーケンスである。したがって、典型的な表示リストは、頂点を描くコマンド、ポリゴンの面を陰にするコマンド、ビットマップをレンダリングするコマンドなどを有することになる。エモーションエンジン１１０は、多数の表示リストを非同期的に生成することができる。

グラフィックスシンセサイザ１９０は、エモーションエンジン１１０により生成された表示リストのレンダリングを行なうビデオアクセラレータである。グラフィックスシンセサイザ１９０は、多数の表示リストを処理し、追跡し、管理するグラフィックスインタフェースユニット（ＧＩＦ）を有している。グラフィックスシンセサイザ１９０のレンダリング機能によって様々な代替的な標準的出力画像フォーマット、すなわちＮＴＳＣ／ＰＡＬ、高品位ディジタルＴＶ、およびＶＥＳＡ、をサポートする画像データを生成することができる。一般に、グラフィックスシステムのレンダリング性能は、どちらもグラフィックスプロセッサ内にあるピクセルエンジンとビデオメモリとの間のメモリ帯域幅によって定義されている。従来のグラフィックスシステムは、オフチップバスによってピクセルロジックに接続された外部のビデオランダムアクセスメモリ（ＶＲＡＭ）を用いており、利用できる帯域幅が制約されがちである。しかし、一次エンタテインメント装置１００のグラフィックスシンセサイザ１９０の場合は、単一の高性能チップ上にピクセルロジックとビデオメモリが設けられており、それにより毎秒３８．４ギガバイトという比較的大きなメモリアクセス帯域幅が可能となっている。理論的には、グラフィックスシンセサイザは毎秒７５００万ポリゴンのピーク描画性能を達成することができる。テクスチャ、照明、および透明度など効果を全面的に用いる場合でも、持続的なレートとして毎秒２０００万ポリゴンを連続的に描くことができる。それで、グラフィックスシンセサイザ１９０はフィルム並みの品質の画像をレンダリングすることが出来る。

サウンドプロセッサユニット（ＳＰＵ）１３０は、事実上、本システムのサウンドカードであり、ディジタルシアターサラウンド（ＤＴＳ（登録商標））サウンドやＤＶＤ用のサウンドフォーマットであるＡＣ−３（ドルビーディジタルとしても知られている）などの３Ｄディジタルサウンドを認識することができる。

ディスプレイ・サウンド出力装置１５０、例えば、付随スピーカ装置を備えたビデオモニタやテレビ、を接続して、グラフィックスシンセサイザ１９０およびサウンドプロセシングユニット１３０からビデオ信号およびオーディオ信号を受け取ることができる。

エモーションエンジン１１０を補助するメインメモリは、ラムバス社によって製造されたＲＤＲＡＭ（ラムバスダイナミックランダムアクセスメモリ）モジュール１４２である。このＲＤＲＡＭメモリサブシステムは、ＲＡＭと、ＲＡＭコントローラと、ＲＡＭをエモーションエンジン１１０に接続するバスとを有している。

次に図４をも参照すると、本発明の一つの実施形態による一次エンタテインメント装置１００は、更に、ワイヤレス通信手段１２０を有しており、それは外部装置に対するもう一つのインタフェースとしての役割を果たす。ワイヤレス通信手段１２０はＷｉＦｉあるいはブルートゥース（登録商標）送受信機などとすることができる。先に注目したように、一次エンタテインメント装置１００はディスプレイ・サウンド出力装置１５０上にゲームを表示することができ、またコントローラ１４０からのユーザ入力を処理することができる。

表示されたゲームに応じて、一次エンタテインメント装置１００は、ワイヤレス通信手段３２０およびアンテナ３３０を介して、ゲームベースデータを二次エンタテインメント装置２００のワイヤレス通信手段２２０に無線送信することができ、それによりゲームの付加的な視点を二次エンタテインメント装置２００の一体型ディスプレイ画面２５０によって表示することができる。（定常的なハンドシェークの手段として、二次エンタテインメント装置のワイヤレス通信手段は、肯定応答データのようなデータを無線送信で返信することができ、また、二次エンタテインメント装置上のゲームボタンなどのコントロールから、あるいは後に説明するようなオプティカルなコマンド検出によって、あるいはそれらの組み合わせによって得られたゲーム制御データを返信することができる。）
本発明の一つの実施形態において送信されるゲームデータは、所望の表示用視点をレンダリングしたグラフィック表現である。この実施形態の場合グラフィックスシンセサイザ１２０は、ディスプレイ・サウンド出力装置１５０に出力される一次エンタテインメント装置の（第一の）視点に関するレンダリングされた画像に加えて、レンダリングされた適切な画像を作成する。レンダリングされたこれらの付加的な画像はワイヤレス通信手段１２０へと送られるが、オプションとして圧縮手段（図示されていない）を介して送ってもよい。次いで、画像は（ゲームベースデータとして）二次エンタテインメント装置２００に送信され、二次エンタテインメント装置２００は、オプションとして必要であれば画像の圧縮を解凍し、それらの画像を表示することにより、二次エンタテインメント装置上に示された代替的視点を作り出す。

本発明の別の実施形態では、所望の表示用視点の独自なグラフィック表現を生成しレンダリングすることを可能にする補足的なゲームソフトウェアを、二次エンタテインメント装置２００が実行することができる。この実施形態の場合、一次エンタテインメント装置１００により送信されるゲームベースデータはゲームの状態を記述するパラメータデータであり、二次エンタテインメント装置２００はそのパラメータデータから適切な画像を生成しレンダリングすることができる。パラメータデータ（ゲームパラメータ）は次のものから選択することができる。すなわち、ゲーム内オブジェクト位置パラメータ、ゲーム内オブジェクト運動パラメータ、視点位置パラメータ、および／または視点方向パラメータである。

従ってこの実施形態では、ゲームベースデータは、ゲーム資源データと、ゲーム世界データと、イベントデータと、そして必要に応じてオブジェクトデータとを様々に含むものとすることができる。例えば、ドライビングゲームの場合、一次エンタテインメント装置１００は二次エンタテインメント装置２００に対して最初にゲーム資源、例えば必要に応じてポリゴンマップ、テクスチャ、照明、透明データなど、を提供する。次に、現在のゲーム構成に関連のあるゲーム世界データ（例えば、どのレーストラックを使用するか）および選好データ（例えば、選択された車両タイプ）が提供される。次いで、プレイ中には、一次エンタテインメント装置１００は自分自身のディスプレイに一次視点を表示すると共に、二次エンタテインメント装置２００上に表示すべき自動車と視点に関する位置および方向データを二次エンタテインメント装置２００に提供する。例えば、この情報はキーフレームデータと差分（最後のキーフレームからの変更データ）とのミックスとして形成することができる。

代替的な視点を忠実に表示するためには二次エンタテインメント装置に関して同程度のフレームレートが望ましいことは理解されると思う。しかし、これにより高速なデータ転送速度となる場合があり、特に、２台以上の二次エンタテインメント装置が装置間の無線ネットワークに属する場合はそうである。従って、オプションとして、その（あるいは、各々の）二次エンタテインメント装置が、ゲーム世界のオブジェクトの動きを（例えば、履歴データあるいは以前に受信したゲームベースデータの外挿によって）予測するソフトウェアを有すことができる。予測を用いると、送信された値の間の空きを予測された動きによって補充することにより、位置および方向データのために必要とされるデータ転送速度は小さくなる。それと同時に、予測を用いると、送信されたデータが失われたり破損したりした場合でも二次エンタテインメント装置がオブジェクトの動きあるいは位置を予測できるので、送信あるいは受信における中断あるいは干渉に対する障害許容力も向上する
予測あるいは外挿が行なわれる範囲となる画像フレームの有効数に応じて、異なる技術を用いることができる。単一フレームに関する適切なゲームデータを推測する場合、オブジェクト位置の直線外挿が一次近似としては十分であろう。あるいは、有限差分法を用いる多項式外挿法の場合、複数のフレームにわたって用いるのに十分な、一層現実的な予測を提供できるであろう。

予測の計算負荷を減らすために、履歴データの記録および外挿は、位置予測の対象である各剛体に関する標本点に限ることができる。自動車の場合、これは１つの点であり、登場人物の場合は、体の各部に関する複数の点とすることができる。これらの標本点の外挿により得られる位置変化は、剛体のすべての関連する頂点に適用することが出来る。

上の二つの実施形態のどちらにおいても、二次エンタテインメント装置２００が所望の表示用視点のグラフィック表現を受信あるいは生成することを可能にするソフトウェアは、一次エンタテインメント装置１００によって送信することもできるし、またはメモリスティックあるいはユニバーサルメディアディスク（ＵＭＤ）などの光ディスクから入手することができる。

ＰＳＰが二次エンタテインメント装置２００として機能する例の場合、一次エンタテインメント装置１００から実行可能なデータを転送するために、いわゆるＰＳＰアドホック通信モードに適合するプロトコルを用いることができる。

予期されているのは、ソニー（登録商標）プレイステーション３（登録商標）が対応する一次エンタテインメント装置１００となることである。

当業者にとっては明らかであろうが、２台以上の二次エンタテインメント装置２００を配置して、各々が同じあるいはそれぞれ異なる視点を提供するようにできる。それらの視点が一次エンタテインメント装置により表示される（第一の）視点とは異なることが好ましい。これらの光景は、バックミラーや左あるいは右サイドミラーなどの、あるいは、肩越し視点などの特定の現実の光景を再現したものとすることができる。あるいは、間隔をあけて配置することにより、ディスプレイ・サウンド出力装置１５０に表示される一次視点に関してプレイヤーの視野を、場合によっては３６０°にまで、拡大することができる。付加的な視点は、一次エンタテインメント装置からレンダリングされた画像を送信することにより、あるいはパラメータデータを送信することにより、あるいはその両方によって実現することができる（ただし、個別の二次エンタテインメント装置についてはどれも１方あるいは他方の技術を用いるのが好ましい）。

それに替えて、あるいはそれに加えて、１つあるいはそれ以上の二次エンタテインメント装置２００が、プレイヤーの一次視点とは別に、ゲームにおける付加的なオブジェクトあるいは登場人物を追跡する視点を提供することもできる。一般に、個別のどの二次エンタテインメント装置に関しても、ユーザはどの視点がその二次エンタテインメント装置上に示されるべきかを（一次エンタテインメント装置、当該二次エンタテインメント装置、あるいは他の二次エンタテインメント装置に関連した制御によって）特定することができる。一般に、この決定は（二次エンタテインメント装置において示される場合）一次エンタテインメント装置に無線送信される必要があり、それによって一次エンタテインメント装置は適切なレンダリングされた画像および／またはパラメータデータを二次エンタテインメント装置に無線送信するために生成することができる。しかし、二次エンタテインメント装置が（一次エンタテインメント装置により供給されたパラメータデータを用いて）自分自身の表示用の視点画像データを生成してレンダリングする場合、そのように表示された視点に対して少なくとも限定的な変更を、一次エンタテインメント装置に対する照会を必要としないで、行なうことができる。

視点を選択するための様々な手段が本発明の範囲に含まれることも明らかであろう。例えば、一次エンタテインメント装置１００がその（あるいは、各々の）二次エンタテインメント装置２００用の光景を自動的にあるいはコントローラ１４０を用いたユーザの選択によって決定してもよい。それに替えて、あるいはそれに加えて、プレイヤーが、例えば二次エンタテインメント装置をサイドミラーの位置からバックミラーの位置に移動させることによって、二次エンタテインメント装置の役割を変更することを望む場合、本発明の一つの実施形態においては、二次エンタテインメント装置は一体化された制御手段（図示されていない）からの入力を受け入れて新しい役割を示すことができ、また、ゲームデータに応じて、新しい視点からゲーム世界のレンダリングを開始するか、または、レンダリングされた適切な画像を受信するためにその新しく選択された視点を一次エンタテインメント装置に送信する。

同様に、その（あるいは、各々の）二次エンタテインメント装置により表示される光景が一次エンタテインメント装置によって与えられる光景と同様のタイプ、あるいは互い同士で同様のタイプ、である必要が無いことは当業者には明らかであろう。例えば、二次エンタテインメント装置は地図として機能し、プレイヤーの周辺のオブジェクトおよび登場人物の位置の俯瞰図を提供することができるであろう。あるいは一次エンタテインメント装置により提供される光景に隣り合う光景としての役割を果たし、例えばレーシングゲームあるいはフライトシミュレーションの場合、ディスプレイ・サウンド出力装置１５０の下に置かれてダッシュボードとしての役目を果たすことができるであろう。そのような表示に適切な他のふさわしいゲーム内のデータは当業者には明らかであろう。これらの付加的な光景のおかげで、一次視点がディスプレイ・サウンド出力装置１５０をより広く占有することができ、それによってゲームへの没入も高まる。

次に図５を参照すると、本発明の一つの実施形態によって二次エンタテインメント装置上に二次視点を表示する方法がフローチャートによって示されている。

ステップ１では、一次エンタテインメント装置と二次エンタテインメント装置とが無線リンクを確立する。

ステップ２で、ゲーム画像を受け取るのに必要な実行コードが一次エンタテインメント装置からその（あるいは、各々の）二次エンタテインメント装置にアップロードされる。

ステップ３で、視点が決定され、適切なゲームデータが送信される。

ステップ４で、視点が二次エンタテインメント装置のディスプレイに現行の方法で表示される。

上で言及したように、実行可能なソフトウェアの幾つかあるいはすべてをメモリスティック、光ディスク、あるいはシステム読み取り専用メモリ（ＲＯＭ）によってロードすることができる。その場合、ステップ２は省略してよい。

上記方法に関して、上に開示された装置の変形例の動作に対応する変形例が本発明の範囲に入ることは、当業者には明らかであろう。それには、次が含まれる。

・視点は一次エンタテインメント装置によって決定してもよく、あるいはユーザが（一次エンタテインメント装置あるいは二次エンタテインメント装置によって）割り当てることによって決定してもよい。

・視点は補助的な登場人物あるいはオブジェクトを追跡するものであってもよい。

・多数の視点を配列することにより、一次視野を拡張してもよい。

・視点は、地図光景やダッシュボード光景のような補足的なタイプの光景を示してもよい。

・その（あるいは、各々の）二次エンタテインメント装置はオブジェクト／登場人物の位置あるいは動きを予測してもよい。

本発明の実施形態において、表示方法の要素をエンタテインメント装置において任意の適切な方法で実現してもよいことは理解されるであろう。例えば、ゲームのグラフィック出力について、１つあるいは複数の付加的な光景をレンダリングするのに十分な計算資源が一次エンタテインメント装置にあるゲームの場合は一次エンタテインメント装置が視点を生成し、他のゲームの場合は一次エンタテインメント装置が単にゲームパラメータを送信し、二次エンタテインメント装置のレンダリング機能を利用することが求められるのであってもよい。同様に、一次エンタテインメント装置は１台の二次エンタテインメント装置については視点を生成し、更に二次エンタテインメント装置がゲームに加わる場合にはゲームパラメータの使用に切り替えるのであってもよい。

したがって、本発明は複数のエンタテインメント装置間において適切な装置あるいは動作を提供するために、任意の適切な仕方で実施することができる。特に、ソフトウェアの再構成によって１台あるいはそれ以上の二次エンタテインメント装置とふさわしく通信するようにされた一次エンタテインメント装置と、一次エンタテインメント装置とふさわしく通信してゲームにおいて付加的な視点を提供するようにされた１台あるいはそれ以上の二次エンタテインメント装置とからなるものとすることができる。

従って特に、一次エンタテインメント装置にロードされる命令は、その（あるいは、各々の）二次エンタテインメント装置に転送すべき命令を含めてもよい。

それで、従来のエンタテインメント装置の既存部品を適応させるためには、例えば、その１つあるいはそれ以上のプロセッサについて再プログラミングしてもよい。そのような必要とされる適応は、フロッピーディスク（登録商標）、光ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリあるいはこれらあるいは他の記憶メディアの任意の組み合わせなどのデータ記憶媒体に記憶された、あるいはイーサネット（登録商標）、無線ネットワーク、インターネット、あるいはこれらあるいは他のネットワークの任意の組み合わせ上のデータ信号によって送信された、プロセッサが実行できる命令を含むコンピュータプログラム製品の形で実現してもよい。

本発明の実施形態が次の利点の幾つかあるいはすべてを様々に提供できることは、当業者には明らかであろう：
・プレイヤーは、一次ディスプレイに対してリアルな位置にあるバーチャルなバックミラーあるいはサイドミラーを見ることにより、自然に振る舞うことが出来るので、現実感が増大する。

・プレイヤーが利用できる視野をアドホックな（その場その場の）仕方で拡張できる。

・付加的な登場人物およびオブジェクトを別個のディスプレイで追跡できる。

・ゲーム内の情報を別個のディスプレイに表示でき、同時にプレイヤーに対してゲームに反応するゲーム内の装置を所有する感覚を与えることができ、また、一次ディスプレイ上にゲーム環境をレンダリングする余地をより多く残すことが出来る。

上記技術の適用例の幾つかは次の通りである：
ドライビングゲーム： ＰＳＰはバックミラーとして（そして、オプションとして、後で示されるように、ステアリングとして）機能することができる。

プラットフォームゲーム： ＰＳＰはゲーム環境の概観地図を表示することができる。

一人称シューティングゲーム： ＰＳＰはやって来る敵を示す「レーダー」画面として機能することができる。

サッカーあるいは他のスポーツゲーム： ＰＳＰは両チームのプレイヤーの位置を示すピッチ全体のマップを表示することができる。

バスケットボールあるいはそれに類似するゲーム： ＰＳＰはチームのプレイヤーの健康統計を示すことによりチーム経営の助けとなることができる。

ファンタジーロールプレイングゲーム： ＰＳＰは現在の「魔法」のレベルを示し、どのように魔法を使うかに関するヒントを提供することができる。

フライトシミュレータ： ＰＳＰは標的や、やって来る敵を示すレーダー画面として機能することができる。

図６は、付属カメラ６１０を備えたＰＳＰ６００を概略的に示した図である。カメラ６１０は、ウェブカメラタイプの装置であって、ＰＳＰの上端にあるＵＳＢポートを介してＰＳＰ６００に接続される。このカメラはＰＳＰから電源を供給され、ビデオ信号を形成する一連の画像をＰＳＰに返す。この使用の場合、カメラは画面と反対方向を向くように配置されているので、ユーザがＰＳＰを自分自身の前に持って画面６２０を見ると、カメラはユーザとは反対の方向に向けられる。

この構成によって、ゲーム環境における進展あるいはアクションを制御するのに用いられる、いわゆる「オプティカルフロー」を利用することができる。オプティカルフローは、ハンドヘルド装置の運動を意味する画像の動きを検出することによってコンピュータシステムを制御するためにカメラを有するハンドヘルド装置の使用について言う包括的な用語である。

この構成において、ＰＳＰ６００に付属したカメラ６１０は、装置の周囲の画像からなるビデオ信号を生成する。例えば、上に傾けられて、このエンタテインメント装置が動くと、下向きの画像の動きがビデオ信号中に検出されるであろう。エンタテインメント装置はこれを上方への傾けと解釈し、制御下のゲーム登場人物あるいは車両に対して上向きの動きを適用したり、あるいは、メニューやスクロールゲームのオプション構成において上方の移動を行なう。

より具体的には、ビデオ画像の様々な領域に関して動きベクトルを検出することができる。これを実現する方法は、図７および図８に関連して説明する。

図７は、カメラ６１０と動き解析装置を示す概略ブロック図である。動き解析装置は、動き検出器６５０と、画像記憶装置６６０と、動きベクトル分類器６７０と、制御生成器６８０とを有している。画像記憶装置はＰＳＰのメモリの一部として実現することができ、モジュール６５０、６７０、６８０は、上に説明したようなふさわしいプログラム制御のもとで動作するＰＳＰのＣＰＵ２０１によって実現することができる。制御生成器６８０により生成される制御は、ＰＳＰにより（例えば、ゲームコマンドとして）実現されたり、ＰＳ２に対して制御入力として（例えば、無線により）引き渡されたり、あるいはその両方とすることができる。どちらの場合であっても、ＰＳＰあるいはＰＳ２は制御情報に応じてその動作を変化させることになる。

カメラからの画像を直接ＰＳＰに送信することにより、ユニット６５０、６６０、６７０、６８０の１つあるいはそれ以上のものの機能がＰＳ２において実現できることは理解されるであろう。しかし、これはＰＳＰからＰＳ２へのデータ送信を非常に増加させることになるので、あまり好ましくない。この処理をローカルに（ＰＳＰにおいて）行ない、その結果（比較的大きな）画像よりも（比較的小さな）ゲームコマンドがＰＳ２に送信されることが好ましい。

カメラ６１０が連続的な画像の各々をキャプチャする時に、その画像が１つあるいはそれより多くの先の画像（例えば、直前のキャプチャ画像）と比較され、画像間の動きを検出する。先の画像は画像記憶装置６６０に記憶されており、また実際、現在のキャプチャ画像もその処理の際に画像記憶装置に記憶され、それにより画像記憶装置に記憶された最も古い画像は廃棄されることになる。

動き検出器６５０は１つあるいはそれ以上の動きベクトルを生成する。動きベクトルの各々は、それぞれの領域あるいはピクセル位置における画像間の動きを示すものである。この解析は既知の動き解析技術を用いて実行され、ｎ×ｎピクセル（ｎは８とすることができる）のブロック毎に一つの動きベクトルを生成するのが好ましい。

上に言及されたブロックサイズに応じて、動きベクトル分類器を用いてそれぞれの画像領域においてどれが支配的な動きベクトルであるのかを確定することができる。この解析が実行される画像領域の例が図８に示されている。

各領域に対して支配的な動きベクトルが検出されると、この情報（例えば、そのような各動きベクトルの方向、大きさ、統計的なドミナンス）は制御生成器６８０に引き渡され、制御生成器６８０は領域間の動きベクトルの分散に応じて単一のマシンコマンドを生成する。一般に、これは動き方向を以下にリストされた所定のパターンにマッチングされることによって実行される。ただし、パターンが不一致の場合には、最も支配的でない（統計的に有意でない）動きベクトルを廃棄し、残りの領域を以下に示すパターンにマッチさせる、というふうにしていく。ブロック動きベクトル情報、あるいは制御生成器の出力、あるいはその両方、にローパスフィルタリング処理（図示されていない）を施すことにより、制御生成器６８０により生成されるマシンコマンドが急激に変化するのを防ぐことができる。

制御生成器６８０に対するさらなる入力が図示されているが、それはゲームコンテキストである。その理由は、ここに記載されている比較的単純な画像処理構成では微妙に異なる動きタイプを区別できないことがあるからである。そのような動きタイプを区別できることが重要な場合、あるいは少なくともそれらにゲームの意味を割り当てることが重要な場合、ゲームコンテキストをその助けとして用いることができる。これについては、図１５（ａ）ないし図１５（ｆ）を参照して更に説明することにする。

図８は、分割した画像領域を概略的に示したものである。ここでは、例として、画像領域が９つの領域、Ａ・・・Ｉに分割されている。これらの領域の各々における支配的動きベクトルは、既知の統計的な技術によって確定される。

図９（Ａ）ないし図９（Ｄ）は、ＰＳＰ６００の上方への傾けの検出を概略的に示した図である。特に、図９（Ａ）は、ＰＳＰ６００をカメラ６１０の視野７００と共に概略的に示した図である。図９（Ｂ）は、視野７００の拡大版を概略的に示した図である。ＰＳＰの画面６２０上の飛行機は、ゲームがＰＳＰ上でプレイされていること、すなわち、上で説明したようにＰＳ２から供給された情報がＰＳＰ上にレンダリングされていることを意味している。

図９（Ｃ）において、ＰＳＰは水平軸を中心に傾けられ、カメラ６１０の視野７００‘に対応するキャプチャされた画像は（光景が遠景であると仮定して）実質的に垂直な動きを示している。光景におけるこの変化が図９（Ｄ）に概略的に示されており、視野の垂直な動きを示す矢印７２０が画像間の動きベクトルを表わすように示されている。

図１０は、横への傾け、即ち、垂直軸７３０を中心にした傾けを概略的に示した図である。図１１は、ステアリングホイールアクションを概略的に示した図であり、そのアクションによってＰＳＰは中心軸７４０を中心に回転させられる。図１２は、前進動作を概略的に示した図であり、この場合、動きベクトルの方向は視野の中心からの変位とともに変化する。図１３は、上昇動作を概略的に示した図である。そして最後に、図１４は、下降動作を概略的に図示した図である。

次に、図１５（ａ）ないし図１５（ｆ）を参照すると、図８に示された９つの検出領域において予期される支配的な動きベクトルが、上に論じられた様々な動きタイプに対して示されている。矢印の無い直線（−）は、その領域において予期された動きがゼロあるいはほぼゼロであることを意味している。動きタイプは次の通りである：

この比較的単純な画像処理構成において、傾け動作と平行移動動作とを区別するのは難しいことが理解できる。オプティカルフロー入力が、メニュー入力や迷路を通るナビゲーションなどの単純なアクションを制御するために用いられている場合、これはそれほど大きな問題ではないであろう。しかし、現在のゲームコンテキストは、（例えば）図１５（ａ）、図１５（ｆ）に示されているタイプの動きを、例えば、平行移動の動きとしてよりも傾け動作として解釈すべきことを意味しているかもしれない。もしそうであれば、ゲームのプロセスが提供する入力は、制御生成器６８０に対して、ゲームのこの時点ではこのタイプの動きは平衡移動動作よりも傾け動作を表わすことを示す。

別の構成として、動きベクトル分類器６７０は、画像全体にわたって幾つかの（例えば、４個ないし８個の）最も有意な動きベクトルを検出し、それらをそれぞれの画像位置と共に制御生成器６８０に引き渡すものとしてもよい。次いで、制御生成器はこれらの値を、例えば、既知の最小二乗データ当てはめアルゴリズムに用いて、（上に述べた）どの動きパターンが検出された動きベクトルの分布に最も良く適合するかを検出する。

ここに説明されたオプティカルフロー検出構成をスタンドアロンのＰＳＰ（あるいは他の携帯型装置）のアプリケーションに用いて、例えば、ゲームあるいはメニュー選択システムを制御してもよい。あるいは、それを先に説明した技術と一緒に用いて、（その例において）オプティカルフロー制御を備えたＰＳＰが一次ゲームマシンに制御入力を提供するようにしてもよい。

オプティカルフロー制御構成をボタンやジョイスティックなどの従来の制御装置と共に用いてもよい。

図１は、本発明の実施形態によるエンタテインメントシステムを等角図法によって示したものである。 図２は、本発明の実施形態によるエンタテインメント装置の概略図である。 図３は、本発明の実施形態によるエンタテインメント装置の概略図である。 図４は、本発明の実施形態によるエンタテインメントシステムの概略図である。 図５は、本発明の実施形態による表示方法のフローチャートである。 図６は、付属カメラを備えたエンタテインメントシステムを概略的に示したものである。 図７は、カメラと動き解析装置の概略ブロック図である。 図８は、分割した画像領域を概略的に示した図である。 図９（Ａ）ないし図９（Ｄ）は、傾け動作の検知を概略的に示した図である。 図１０は、横への傾けを概略的に示した図である。 図１１は、ステアリングホイールアクションを概略的に示した図である。 図１２は、前進動作を概略的に示した図である。 図１３は、上昇動作を概略的に示した図である。 図１４は、下降動作を概略的に示した図である。 図１５（ａ）ないし図１５（ｆ）は、検出領域の使用を概略的に示した図である。

Claims (37)

1. エンタテインメントシステムであって、ゲームの第一の視点を出力するように動作できる一次エンタテインメント装置と、１つあるいはそれ以上の二次エンタテインメント装置とを含むエンタテインメントシステムであって、
   前記一次エンタテインメント装置は、ゲームベースデータを前記あるいは前記各々の二次エンタテインメント装置に送信するように動作でき、
   前記ゲームベースデータは、前記あるいは前記各々の二次エンタテインメント装置が動作の際にそれぞれの前記ゲームの更なる視点を表示することを可能にするものである、
   ことを特徴とするエンタテインメントシステム。
2. 請求項１に記載のエンタテインメントシステムであって、前記ゲームベースデータが無線送信されることを特徴とするエンタテインメントシステム。
3. 前記各項のいずれか一つに記載のエンタテインメントシステムであって、
   前記一次エンタテインメント装置は、ゲーム内パラメータを計算するように動作できるプロセッサを有し、更に、前記ゲーム内パラメータを１つあるいはそれ以上の二次エンタテインメント装置に送信するように動作でき、
   前記ゲーム内パラメータは作動中の前記１つあるいはそれ以上の二次エンタテインメント装置がそれぞれの前記ゲームの更なる視点を表示することを可能にするものである、
   ことを特徴とするエンタテインメントシステム。
4. 前記各項のいずれか一つに記載のエンタテインメントシステムであって、
   前記ゲームベースデータが、
   ｉ．ゲーム内オブジェクト位置パラメータ、
   ｉｉ．ゲーム内オブジェクト運動パラメータ、
   ｉｉｉ．視点位置パラメータ、および
   ｉｖ．視点方向パラメータ
   からなるリストから選択された１つあるいはそれ以上を含む、
   ことを特徴とするエンタテインメントシステム。
5. 請求項１あるいは２に記載のエンタテインメントシステムであって、
   一次エンタテインメント装置が、一次視点および１つあるいはそれ以上の二次視点の両方をレンダリングするのに動作できるグラフィックスロジックを有し、動作の際に前記１つあるいはそれ以上の二次視点を１つあるいはそれ以上の二次エンタテインメント装置に送信するようにされている、
   ことを特徴とするエンタテインメントシステム。
6. 前記各項のいずれか一つに記載のエンタテインメントシステムであって、
   前記あるいは前記各々の二次エンタテインメント装置は、一体型のディスプレイを有し、また、ゲームベースデータを前記一次エンタテインメント装置から受け取るように動作できるインタフェースを有し、更に、動作の際に前記ゲームベースデータに基づいて、前記一体型ディスプレイ上に前記一次エンタテインメント装置によって出力されたものとは別の視点を表示するようにされている、
   ことを特徴とするエンタテインメントシステム。
7. 請求項１ないし４に記載のエンタテインメントシステムであって、
   前記二次エンタテインメント装置は、前記ゲームベースデータに従って視点を生成し、レンダリングするように動作できる、
   ことを特徴とするエンタテインメントシステム。
8. 請求項７に記載のエンタテインメントシステムであって、
   前記二次エンタテインメント装置は、ゲーム内オブジェクトの位置を先に受信したゲームベースデータから予測するように動作できる、
   ことを特徴とするエンタテインメントシステム。
9. 前記各項のいずれか一つに記載のエンタテインメントシステムであって、
   前記二次エンタテインメント装置が視点の選択を指定するように動作できる、
   ことを特徴とするエンタテインメントシステム。
10. 前記各項のいずれか一つに記載のエンタテインメントシステムであって、
    前記二次エンタテインメント装置が、
    カメラと、
    前記カメラによりキャプチャされた画像間の画像間動きを検出するための動き検出器と、
    検出された画像の動きに応じてゲーム制御コマンドを生成するための制御生成器と、
    を有する、
    ことを特徴とするエンタテインメントシステム。
11. 請求項１０に記載のエンタテインメントシステムであって、
    前記二次エンタテインメント装置が、前記ゲームコマンドを前記一次エンタテインメント装置に送信するための送信されたを有し、
    前記一次エンタテインメント装置は前記ゲームコマンドに応じて自分の動作を変化させる、
    ことを特徴とするエンタテインメントシステム。
12. 請求項１０あるいは１１に記載のエンタテインメントシステムであって、
    前記制御生成器は、現在のゲームコンテキストに応じて、検出された画像の動きをゲームコマンドにマッピングするように動作できる、
    ことを特徴とするエンタテインメントシステム。
13. 請求項１０ないし１２のいずれか１項に記載のエンタテインメントシステムであって、
    前記制御生成器は、２つあるいはそれ以上の画像位置において動き方向を検出するように動作できる、
    ことを特徴とするエンタテインメントシステム。
14. ゲームの一次視点を一次ディスプレイ手段に出力するように動作できる一次エンタテインメント装置であって、
    前記一次エンタテインメント装置は、ゲームベースデータを１つあるいはそれ以上の二次エンタテインメント装置に送信するように動作できるインタフェースを有し、
    前記ゲームベースデータは、前記あるいは前記各々の二次エンタテインメント装置が動作の際にそれぞれ前記ゲームの更なる視点を表示することを可能にするものである、
    ことを特徴とする一次エンタテインメント装置。
15. 請求項１４に記載の一次エンタテインメント装置であって、
    一次視点と１つあるいはそれ以上の二次視点との両方をレンダリングするように動作できるグラフィックスロジックを有し、
    更に、前記１つあるいはそれ以上の二次視点を１つあるいはそれ以上の二次エンタテインメント装置に送信するように動作できる、
    ことを特徴とする一次エンタテインメント装置。
16. 請求項１４に記載の一次エンタテインメント装置であって、
    ゲーム内パラメータを計算するように動作できるプロセッサを有し、
    更に、前記ゲーム内パラメータを１つあるいはそれ以上の二次エンタテインメント装置に送信するように動作でき、
    前記ゲーム内パラメータは、前記１つあるいはそれ以上の二次エンタテインメント装置が動作の際にそれぞれ前記ゲームの更なる視点を表示することを可能にするものである、
    ことを特徴とする一次エンタテインメント装置。
17. 請求項１４ないし１６のいずれか１項に記載の一次エンタテインメント装置であって、
    前記ゲームベースデータが無線送信される、
    ことを特徴とする一次エンタテインメント装置。
18. 一体型のディスプレイを有する二次エンタテインメント装置であって、
    一次エンタテインメント装置からゲームベースデータを受信するように動作できるインタフェースを有し、
    更に、前記ゲームベースデータに基づいて、前記一次エンタテインメント装置により出力される視点とは別の視点を前記一体型ディスプレイ上に表示するように動作できる、
    ことを特徴とする二次エンタテインメント装置。
19. 請求項１８に記載の二次エンタテインメント装置であって、
    前記ゲームベースデータが、
    ｉ．ゲーム内オブジェクト位置パラメータ、
    ｉｉ．ゲーム内オブジェクト運動パラメータ、
    ｉｉｉ．視点位置パラメータ、
    ｉｖ．視点方向パラメータ
    からなるリストから選択された１つあるいはそれ以上を含む、
    ことを特徴とする二次エンタテインメント装置。
20. 請求項１８あるいは１９に記載の二次エンタテインメント装置であって、
    前記二次エンタテインメント装置は、前記ゲームベースデータに従って視点を生成し、レンダリングするように動作できる、
    ことを特徴とする二次エンタテインメント装置。
21. 請求項１８ないし２０のいずれか１項に記載の二次エンタテインメント装置であって、
    前記二次エンタテインメント装置は、ゲーム内オブジェクトの位置を先に受信したゲームベースデータから予測するように動作できる、
    ことを特徴とする二次エンタテインメント装置。
22. 請求項１８に記載の二次エンタテインメント装置であって、
    前記ゲームベースデータが、一次エンタテインメント装置によってレンダリングされた画像を含む、
    ことを特徴とする二次エンタテインメント装置。
23. 請求項１８ないし２２のいずれか１項に記載の二次エンタテインメント装置であって、
    視点選択を指定するように動作できる入力ロジックを有する、
    ことを特徴とする二次エンタテインメント装置。
24. 請求項１８ないし２３のいずれか１項に記載の二次エンタテインメントシステムであって、
    カメラと、
    前記カメラによってキャプチャされた画像間の画像間動きを検出するための動き検出器と、
    検出された画像の動きに応じてゲーム制御コマンドを生成するための制御生成器と、
    を有することを特徴とする二次エンタテインメントシステム。
25. 請求項２４に記載の二次エンタテインメント装置であって、
    前記二次エンタテインメント装置は、前記ゲームコマンドを前記一次エンタテインメント装置に送信するための送信機を有し、前記一次エンタテインメント装置は前記ゲームコマンドに応じて自分の動作を変化させる、
    ことを特徴とする二次エンタテインメント装置。
26. 請求項２４あるいは２５に記載の二次エンタテインメント装置であって、
    前記制御生成器は、現在のゲームコンテキストに応じて、検出された画像の動きをゲームコマンドにマッピングするように動作できる、
    ことを特徴とする二次エンタテインメント装置。
27. 請求項２４ないし２６のいずれか１項に記載の二次エンタテインメント装置であって、
    前記制御生成器は、２つあるいはそれ以上の画像位置において動き方向を検出するように動作できる、
    ことを特徴とする二次エンタテインメント装置。
28. 表示方法であって、
    一次エンタテインメント装置と１つあるいはそれ以上の二次エンタテインメント装置との間に通信リンクを確立するステップと、
    前記一次エンタテインメント装置により出力される視点に加えて、前記あるいは前記各々の二次エンタテインメント装置のための視点を決定するステップと、
    前記視点の表示を可能にするゲームベースデータを前記あるいは前記各々の二次エンタテインメント装置に送信するステップと、
    前記あるいは前記各々の二次エンタテインメント装置のそれぞれのディスプレイに前記あるいは前記各々の視点を表示するステップと、
    を有する表示方法。
29. 請求項２８に記載の方法であって、
    ゲーム画像を生成するために必要とされる実行可能コードを前記一次エンタテインメント装置から前記あるいは前記各々の二次エンタテインメント装置にアップロードするステップ、
    を更に有する方法。
30. 請求項２８あるいは２９に記載の方法であって、
    前記通信リンクが無線通信リンクである、
    ことを特徴とする方法。
31. コンピュータが読み取り可能な命令を有するデータ記憶媒体であって、
    前記命令は、コンピュータによって実行される時に、前記コンピュータを請求項１４ないし１７のいずれか１項に記載の一次エンタテインメント装置として動作させるものである、
    ことを特徴とするデータ記憶媒体。
32. コンピュータが読み取り可能な命令を有するデータ記憶媒体であって、
    前記命令は、コンピュータによって実行されると、前記コンピュータを請求項１８ないし２７のいずれか１項に記載の二次エンタテインメント装置として動作させるものである、
    ことを特徴とするデータ記憶媒体。
33. コンピュータが読み取り可能な命令を含むデータ信号であって、
    前記命令は、コンピュータによって実行されると、前記コンピュータを請求項１４ないし１７のいずれか１項に記載の一次エンタテインメント装置として動作させるものである、
    ことを特徴とするデータ信号。
34. コンピュータが読み取り可能な命令を含むデータ記憶媒体であって、
    前記命令は、コンピュータによって実行されると、前記コンピュータを請求項１８ないし２７のいずれか１項に記載の二次エンタテインメント装置として動作させるものである、
    ことを特徴とするデータ記憶媒体。
35. コンピュータが読み取り可能な命令を含むデータ記憶媒体であって、
    前記命令は、それぞれの命令が第一および少なくとも第二のコンピュータによって実行される時、前記第一および少なくとも第二のコンピュータを請求項１ないし１３のいずれか１項に記載のエンタテインメントシステムとして動作させる、
    ことを特徴とするデータ記憶媒体。
36. コンピュータが読み取り可能な命令を含むデータ信号であって、
    前記命令は、それぞれの命令が第一および少なくとも第二のコンピュータによって実行される時、前記第一および少なくとも第二のコンピュータを請求項１ないし１３のいずれか１項に記載のエンタテインメントシステムとして動作させる、
    ことを特徴とするデータ信号。
37. コンピュータが読み取り可能な命令を含むデータ記憶媒体であって、
    前記命令は、それぞれの命令が第一および少なくとも第二のコンピュータによって実行される時、前記第一および少なくとも第二のコンピュータに、請求項２８ないし３０のいずれか１項に記載の表示方法を実行させる、
    ことを特徴とするデータ記憶媒体。

Images