JP2010535362A - 仮想世界のユーザの意見および反応のモニタリング - Google Patents

Abstract

ネットワークアプリケーションを実行するための方法およびシステムが提供される。前記ネットワークアプリケーションは、仮想環境をレンダリングするために定義され、前記仮想環境はコンピュータグラフィックによって表示される。前記方法は、アニメーション化されたユーザを生成するステップと、前記仮想環境内で前記アニメーション化されたユーザを制御するステップと、を有する。前記方法は、前記仮想環境内で広告オブジェクトを提示し、前記アニメーション化されたユーザが前記仮想環境での前記広告オブジェクトの１つを見ているかどうかを判定するために、前記アニメーション化されたユーザによるアクションを検出する。前記アニメーション化されたユーザが前記広告オブジェクトを見ている場合に、前記アニメーション化されたユーザによるリアクションがキャプチャされる。前記仮想環境内の前記アニメーション化されたユーザによる前記リアクションは、前記広告オブジェクトに関連するリアクションであり、前記仮想環境での前記広告オブジェクトの効果を決定するために第三者に提示される。更に、現実世界のユーザの実際のリアクション（例えば、身体のリアクション、聴取可能なリアクション、またはこの組み合わせ）が、キャプチャおよび分析されるか、前記アバターの反応の分析のためにキャプチャされ、前記アバターにマップされる。

Description

ビデオゲーム産業は、長年にわたって多くの変化を経験してきた。演算能力が拡大するにつれ、ビデオゲームの開発者も同様に、この演算能力の増大を利用するゲームソフトウェアを作成してきた。このために、ビデオゲームの開発者は、極めてリアルなゲーム体験を生み出すべく、高度な演算と数学を採用したゲームをコーディングしてきた。

ゲームプラットホームの例に、ソニープレイステーションまたはソニープレイステーション２（ＰＳ２）があり、これらはそれぞれ、ゲームコンソールの形で販売されている。周知のように、ゲームコンソールはモニタ（通常はテレビ）と接続されて、手持ち式のコントローラによってユーザとのインタラクションを可能にするように設計されている。

ゲームコンソールは、ＣＰＵ、処理量の多いグラフィック操作のためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル装置などの特化した処理ハードウェアと、その他の繋ぎとなるハードウェア即ちグルーハードウェア、ファームウェアおよびソフトウェアなどを備えて設計される。また、ゲームコンソールは、ゲームコンソールによるローカルプレイを行うためにゲームのコンパクトディスクを受け容れるための光ディスクトレイを備えて設計される。また、ユーザが、インターネット上で他のユーザと対戦して、または、他のユーザと一緒に対話的にプレイすることができるオンラインゲームも可能である。

ゲームの複雑さがプレーヤの興味を引き続けていることから、ゲームおよびハードウェアのメーカは更なるインタラクティブ機能（インタラクティビティ）およびコンピュータプログラムを実現するために革新を続けてきている。コンピュータプログラムの中には、仮想世界を定義するものもある。仮想世界とは、ユーザが１つ以上のコンピュータプロセッサを介してやり取りしうるシミュレートされた環境である。ユーザは、アバターと呼ばれる表現の形でビデオ画面に表示されうる。アバターとシミュレートされた環境間のインタラクションの程度は、シミュレートされた物理現象、ユーザの間での情報の交換などのインタラクションを支配する１つ以上のコンピュータアプリケーションによって実装される。仮想世界のユーザ間のインタラクションの性質は、多くの場合、仮想世界を実装しているシステムの制約によって制限される。

本発明の実施形態は、この状況においてなされたものである。

概して、本発明は、仮想世界を表現する、コンピュータによって生成されたグラフィックを提供することにより、これらのニーズを満たす。仮想世界は、現実世界のコンピュータのユーザのコントローラまたは制御入力を使用して、移動、訪問したり、これとインタラクトすることができる。本当のところ、現実世界のユーザがビデオゲームをプレイし、このゲームの中で、そのユーザが、仮想環境のアバター（例えば、仮想人物）を制御している。この環境では、現実世界のユーザは、アバターを動かしたり、ほかのアバターとの会話を始めたり、宣伝などのコンテンツの閲覧、コンテンツまたは宣伝に関するコメントまたはジェスチャを行うことができる。

一実施形態では、コンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法が提供される。前記方法は、グラフィカルなアニメーション化された環境を生成するステップと、前記グラフィカルなアニメーション化された環境内に可視オブジェクトを提示するステップと、を有する。前記グラフィカルなアニメーション化された環境内でアバターを動かすステップを更に有し、前記動きは、前記アバターの視野を前記可視オブジェクトのほうに向けることを含む。前記アバターの前記視野が前記可視オブジェクトに向けられたときに前記アバターの反応が検出される。前記反応を記憶するステップを更に有し、前記反応が肯定的か否定的かを判定するために、前記反応が分析される。一例では、前記可視オブジェクトは広告である。

別の実施形態では、ネットワークアプリケーションを実行するための、コンピュータによって実装される方法が提供される。前記ネットワークアプリケーションは、仮想環境を描画するために定義され、前記仮想環境はコンピュータグラフィックによって表示される。前記方法は、アニメーション化されたユーザを生成するステップと、前記仮想環境内で前記アニメーション化されたユーザを制御するステップと、を有する。前記方法は、前記仮想環境内で広告オブジェクトを提示し、前記アニメーション化されたユーザが前記仮想環境での前記広告オブジェクトの１つを見ているかどうかを判定するために、前記アニメーション化されたユーザによるアクションを検出する。前記アニメーション化されたユーザが前記広告オブジェクトを見ている場合に、前記アニメーション化されたユーザによるリアクションがキャプチャされる。前記仮想環境内の前記アニメーション化されたユーザによる前記リアクションは、前記広告オブジェクトに関連するリアクションであり、前記仮想環境での前記広告オブジェクトの効果を決定するために第三者に提示される。

一実施形態では、ネットワークアプリケーションを実行するための、コンピュータによって実装される方法が提供される。前記ネットワークアプリケーションは、仮想環境を描画するために定義され、前記仮想環境はコンピュータグラフィックによって表示される。前記方法は、アニメーション化されたユーザを生成するステップと、前記仮想環境内で前記アニメーション化されたユーザを制御するステップと、を有する。前記方法は、前記仮想環境内で広告オブジェクトを提示し、前記アニメーション化されたユーザが前記仮想環境での前記広告オブジェクトの１つを見ているかどうかを判定するために、前記アニメーション化されたユーザによるアクションを検出する。前記アニメーション化されたユーザが前記広告オブジェクトを見ている場合に、前記アニメーション化されたユーザによるリアクションがキャプチャされる。前記仮想環境内の前記アニメーション化されたユーザによる前記リアクションは、前記広告オブジェクトに関連するリアクションであり、前記リアクションが肯定的か否定的かを判定するために第三者に提示される。

本発明の他の態様および利点は、例示のために本発明の原理を示す添付の図面と併せて、以下の詳細な説明を読めば明らかとなるであろう。

本発明とその更なる利点とは、添付の図面を参照して以下の記載を読めば、よりよく理解できるであろう。

本発明の一実施形態による仮想空間を示す概略説明図。 本発明の一実施形態による、椅子に座り、コントローラを持ち、ゲームコンソールと通信しているユーザを示す概略説明図。 本発明の一実施形態による、仮想空間のインタラクティビティが提供されているゲームのユーザに関連するアバターのロケーションプロファイルを示す概略説明図。 本発明の一実施形態による、仮想空間のインタラクティビティが提供されているゲームのユーザに関連するアバターのロケーションプロファイルを示す概略説明図。 本発明の一実施形態による、図１Ａに関して説明した、フィードバックを生成するための現実世界のユーザのモニタリングを表す、より詳細な図を示す概略説明図。 本発明の一実施形態による、広告に対する現実世界のユーザの支持または不支持に応じて、アバターの反応を変えるために、現実世界のユーザがコントローラおよびコントローラのボタンを選択しうる例を示す概略説明図。 仮想空間内で特定の広告または物体または物を見たときに、アバターをボタンに反応させるために、ユーザによるコントローラの操作に応答してプログラムによって実行されうるオペレーションを示す概略説明図。 本発明の一実施形態による、アバターからの異なるフィードバックを表す、異なる選択を行わせるために、左肩ボタンおよび右肩ボタンから選択されうる他のコントローラボタンを示す概略説明図。 本発明の一実施形態による、アバターからの異なるフィードバックを表す異なる選択を行わせるために、左肩ボタンおよび右肩ボタンから選択されうる他のコントローラボタンを示す概略説明図。 本発明の一実施形態による、アバターからの異なるフィードバックを表す異なる選択を行わせるために、左肩ボタンおよび右肩ボタンから選択されうる他のコントローラボタンを示す概略説明図。 本発明の一実施形態による、仮想空間に複数の仮想世界のアバターが存在しうる実施形態を示す概略説明図。 本発明の一実施形態による、ユーザフィードバックをモニタする時点を決定するために使用されるフローチャート図を示す概略説明図。 本発明の一実施形態による、ユーザＡが仮想空間を歩いており、アクティブ領域に入る例を示す概略説明図。 本発明の一実施形態による、アクティブ領域に入っているが、視野が画面上にないユーザＡを示す概略説明図。 本発明の一実施形態による、ユーザＡが、現在は、画面の一部に注目している例を示す概略説明図。 本発明の一実施形態による、ユーザが画面を完全に見ており、かつアクティブ領域内にいる例を示す概略説明図。 本発明の一実施形態による、仮想部屋内のユーザが、特定の広告に関して、好き嫌いの投票を求められうる実施形態を示す概略説明図。 本発明の一実施形態による、支持、不支持、好き嫌いなどを伝えるために、部屋の異なる部分に移動しているユーザを示す概略説明図。 本発明の一実施形態による、左手または右手を挙げることにより、ＹＥＳまたはＮＯに投票しているユーザの例を示す概略説明図。 本発明の一実施形態による、アバター制御システムを実装するためのコントローラを有するコンソールであるソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスのシステムアーキテクチャ全体を模式的に示す概略説明図。 本発明の一実施形態によるセルプロセッサの概略図である。

仮想世界を表現する、コンピュータによって生成されたグラフィックの実施形態が提供される。仮想世界は、現実世界のコンピュータのユーザのコントローラまたは制御入力を使用して、移動、訪問したり、これとインタラクトすることができる。本当のところ、現実世界のユーザがビデオゲームをプレイし、このゲームの中で、そのユーザが、仮想環境のアバター（例えば、仮想人物）を制御している。この環境では、現実世界のユーザは、アバターの移動、ほかのアバターとの会話、宣伝などのコンテンツの閲覧、コンテンツまたは宣伝に関するコメントまたはジェスチャを行うことができる。

一実施形態では、仮想世界の物体に関するコメント、ジェスチャ、またはこれとのインタラクションを監視するために、プログラム命令および処理が実行される。別の実施形態では、ユーザから許可を得たときにモニタが行われ、この結果、ユーザは自身のアクションがトラッキングされるかどうかを管理できる。更に別の実施形態では、ユーザのアクションがトラッキングされる場合、ユーザへのデータの表示および表現が、ユーザの好き嫌いに合わせて更に調整されるため、仮想世界内でのユーザの体感が改善されうる。更に別の実施形態では、広告主は特定のユーザの好みを学習し、その広告主の広告が、特定のユーザまたはユーザタイプ（例えば、ティーンエイジャー、ヤングアダルト、子供（子供指定（kid-rated）環境を使用）、成人、および他の人口統計層、タイプまたは階級）のために調整されうる。

また、特定の広告に対するユーザの反応の情報が、広告主、ゲームの開発者、ロジックエンジンおよびサジェスチョンエンジンに直接提供されうる。このようにして、広告主は、顧客の好き嫌いにより適切に対応して、特定のユーザに提供する広告のタイプをより適切に設定でき、ゲーム／環境の開発者および所有者は、ユーザによる利用、ユーザによる選択、ユーザによる活動、ユーザによるリアクション、ユーザによる鑑賞（viewing）などに基づいて、広告主に正しい料金を請求することができる。

以下の説明では、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、これらの詳細な内容の一部または全てを用いなくとも本発明を実施しうることは当業者にとって自明である。場合によっては、本発明を不必要にわかりにくくしないように、公知のプロセス操作については詳しく記載しない。

本発明の一実施形態によれば、ユーザは、仮想世界とインタラクトしうる。本明細書で使用する「仮想世界」との用語は、実際のユーザが、１つ以上の表示装置を介して感知しうる、および／または１つ以上のユーザインタフェースを介してインタラクトしうる、１つ以上のプロセッサによってシミュレートされるインタラクションのルールを有する現実または架空の環境の表現を指す。本明細書で使用する「ユーザインタフェース」との用語は、ユーザが仮想世界との間で、入力を送信するか出力を受信することができる実際のデバイスを指す。仮想世界は、１つ以上のプロセッサモジュールによってシミュレートされうる。複数のプロセッサモジュールが、ネットワークを介して相互接続されうる。ユーザは、ネットワークを介して、プロセッサモジュールおよび他のユーザインタフェースデバイスと通信することができるユーザインタフェースデバイスを介して、仮想世界とインタラクトしうる。仮想世界の特定の特徴は、コンピュータモニタ、テレビジョンモニタまたは同様のディスプレイなどのグラフィックディスプレイに、グラフィカルな形式でユーザに提示されうる。仮想世界の他の特定の態様は、グラフィックディスプレイに関連しうるスピーカで可聴形式でユーザに提示されうる。

仮想世界内では、ユーザはアバターによって表現されうる。仮想世界内の各アバターは、異なるユーザに一意に関連付けられうる。任意選択で、ユーザが互いを容易に特定できるように、ユーザの名前または仮名がアバターの隣に表示されうる。特定のユーザの仮想世界とのインタラクションは、アバターの１つ以上の対応するアクションによって表現されうる。異なるユーザ同士が、パブリック空間において、自身のアバターを通じてインタラクトしうる。ユーザを表すアバターは、人物、動物または物体と同様の外観をとることができる。人物の形のアバターは、ユーザと性別が同じでも異なっていてもよい。アバターは、ユーザが、仮想世界のほかの物体と共にアバターを見ることができるように、ディスプレイに表示されうる。

別の実施形態では、ディスプレイが、アバターを表示せずに、アバターの視点から世界を表示してもよい。仮想世界上のユーザの（またはアバターの）視点は、仮想カメラの視界とみなすことができる。本明細書で使用する「仮想カメラ」とは、仮想世界内の視点を指し、仮想世界内で三次元シーンの二次元画像をレンダリングするために使用されうる。ユーザ同士が、各ロビーに関連するチャットチャネルによって、自身のアバターを通じてインタラクトしうる。ユーザは、ユーザインタフェースを介して、ほかのユーザとのチャットのためのテキストを入力しうる。このテキストは、例えば、漫画形式の吹き出し（時に「チャット吹き出し」とも呼ばれる）の形式で、ユーザアバターの上またはその隣に表示されうる。このようなチャットは、時に「クイックチャット」と呼ばれる定型表現のチャットシステムを使用して、容易に行うことができる。クイックチャットでは、ユーザは、メニューから１つ以上のチャット表現を選択しうる。

本発明の実施形態では、パブリック空間は、どのユーザまたはユーザのグループにも一意に関連しておらず、ユーザまたはユーザのグループが、ほかのユーザをパブリック空間から排除することができないという点でパブリックである。これに対し、各プライベート空間は、複数のユーザのうちの特定のユーザに関連している。プライベート空間は、プライベート空間に関連する特定のユーザが、ほかのユーザによるプライベート空間へのアクセスを制限してもよいという点で、プライベートである。プライベート空間は、なじみのある現実のプライベートな不動産の外観をとっていてもよい。

概念上の仮想空間でのユーザＡ１０２ｂのアバター表現の動きは、概念上の仮想空間のさまざまな空間に仮想的に入るために、ユーザが、ゲームコンソールのコントローラを動かし、アバターの移動をさまざまな方向に指示することによって指示されうる。詳細については、（１）２００７年３月１日出願の英国特許出願第０７０３９７４．６号「エンターテイメントデバイス（ENTERTAINMENT DEVICE）」；（２）２００７年３月５日出願の英国特許出願第０７０４２２５．２号「エンターテイメントデバイスおよび方法（ENTERTAINMENT DEVICE AND METHOD）」；（３）２００７年３月５日出願の英国特許出願第０７０４２３５．１号「エンターテイメントデバイスおよび方法（ENTERTAINMENT DEVICE AND METHOD）」；（４）２００７年３月５日出願の英国特許出願第０７０４２２７.８号「エンターテイメントデバイスおよび方法（ENTERTAINMENT DEVICE AND METHOD）」；ならびに（５）２００７年３月５日出願の英国特許出願第０７０４２４６．８号「エンターテイメントデバイスおよび方法（ENTERTAINMENT DEVICE AND METHOD）」が参照され、これらはそれぞれ参照によりここに援用される。

図１Ａは、本発明の一実施形態による仮想空間１００を示す。仮想空間１００とは、アバターが歩き回ったり、集まったり、仮想空間のほかのアバターおよび／または物体とインタラクトすることが可能な場所である。アバターは、仮想世界のアニメーションキャラクタであり、インタラクティブゲームをプレイしうる現実世界のユーザを表すか、そのユーザと関連している。仮想空間１００の中の選択された空間に存在しうる他のアバター（現実世界の他のユーザによって制御されているか、コンピュータによって生成されたアバターである）とのインタラクトできるように、インタラクティブゲームは、現実世界のユーザに、仮想空間１００でそのユーザのアバターを移動させることを要求しうる。

図１Ａに示す仮想空間１００は、アバターのユーザＡ１０２ｂとユーザＢ１０４ｂを示す。ユーザＡ１０２ｂは、ユーザの視野１０２ｂ’を有して示され、ユーザＢ１０４ｂは、ユーザＢの視野１０４ｂ’を有して示される。ここに示した例では、ユーザＡとユーザＢは、仮想空間１００内にいて、広告に１０１に注目している。広告１０１は、特定の宣伝アイテム（例えば、製品、アイテム、物体または製品またはサービスのその他の画像）を見せているモデル人物を含み、アニメーションビデオ、静止画またはその組み合わせで宣伝している物を表示している。この例では、広告１０１は、仮想空間１００を歩き回るかまたは移動しているユーザを引きつけるように、モデル１０１ａのセクシーなモデルを描画しうる。また、アバターユーザを引きつけるための、広告で一般に行われているほかのテクニックも、この実施形態の一部として含まれてもよい。

更に、モデル１０１ａはアニメーション表示され、仮想空間１００内の画面を動き回ったり、仮想画面から跳び出して、アバターに合流してもよい。モデル１０１ａが広告を動き回ると、ユーザＡとユーザＢは、この特定の広告１０１を目で追っているように表示される。仮想空間１００内のユーザが見ている場所、広告１０１を見ている時間の長さ、その間のジェスチャなどを決定するように、ユーザ（アバター）のそれぞれの視野が、コンピューティングシステムによって実行されているプログラムによってトラッキングされうる。オペレーション１０６が示されており、このオペレーションで、ユーザ（例えば、アバター）が、ユーザＡ１０２ｂとユーザＢ１０４ｂを定義するアバターを介して、広告を見ているかどうかを判定するための処理が実行される。オペレーション１０８は、現実世界のユーザのフィードバック１０８ａを検出および監視し、ユーザによって制御されているアバターのフィードバック１０８ｂを監視するために実行される処理を示す。

更に、現実世界のユーザは、ユーザによるサムアップまたはユーザによるサムダウン１０８ｃを使用して、グラフィカルな形式でユーザの支持または不支持をグラフィカルに示すために、コントローラの特定のキーを選択しうる。ゲームをプレイしている現実世界のユーザ１０２ａの現実世界の反応は、多くの方法で監視することができる。現実世界のユーザは、ディスプレイ画面を見ながら、コントローラを持っている。ディスプレイ画面は、２つの表示を提供することができる。

一方の表示は、ユーザアバターおよびアバターの視野の観点からの表示であり、もう一方の表示は、アバターの遠景、いわゆるパースペクティブからの表示であり、現実世界のユーザがアバターの背後に浮かんでいるような（例えばアバターの背後からアバターを眺めたような）表示である。

一実施形態では、現実世界のユーザは、顔をしかめたり、興奮したり、表情を作ると、そのユーザのジェスチャ、コメントおよび／または表情が、現実世界のシステムの一部であるカメラによってトラッキングされうる。現実世界のシステムは、コンピューティングデバイス（例えば、ゲームコンソールまたは汎用コンピュータなど）と、ゲームコンソールとインタフェースされているカメラとに接続されうる。現実世界の環境のカメラは、ゲームに対するユーザのリアクション、あるいは現実世界のユーザによって制御されているアバターが見ているコンテンツに基づいて、体験中の現実世界のユーザの１０２ａの表情、音声、しかめ面または一般的な興奮または落ち着きをトラッキングする。この体験は、仮想空間１００を動き回っており、現実世界のユーザが見ているアバターの体験である。

この実施形態では、現実世界とアバターの反応を収集するためのプロセスが実行されうる。現実世界のユーザ１０２ａがジェスチャを行い、これがカメラによって認識されると、そのジェスチャがアバターの顔にマップされる。したがって、現実世界のユーザの表情、動きおよびアクション（トラッキングされる場合）が解釈されて、アバターの特定の特徴に割り当てられうる。現実世界のユーザが笑うとアバターが笑い、現実世界のユーザがジャンプするとアバターがジャンプし、現実世界のユーザが怒るとアバターが怒り、現実世界のユーザが体の一部を動かすと、アバターが体の一部を動かす。この実施形態では、ユーザがコントローラとインタフェースしている必要はなく、現実世界のユーザは、動いたり反応したりなどするだけで、アバターが仮想空間を動き回るときに、アバターに同じことをさせることができる。

別の実施形態では、モニタリングが、ユーザによって制御されたアバターフィードバック１０８ｂで行われてもよい。この実施形態では、仮想空間１００を動き回ったり移動しているときに、現実世界のユーザが、特定の広告、物体または知覚反応を楽しんでいるかいないかに応じて、現実世界のユーザが、コントローラの特定のボタンを選択して、アバターに反応を表示させようと決めることができる。１０８ｂに示すように、現実世界のユーザは、ボタンを選択して、アバターを笑わせたり、顔をしかめさせたり、うんざりさせたり、あるいは、顔の反応および／または体の反応を一般的に起こさせうる。オペレーション１１０において、アバターが作り出す顔の反応および／または体の反応、あるいは現実世界のユーザのキャプチャされた現実世界の反応に応じて、この情報が、分析のためにフィードバックされうる。一実施形態では、ユーザは、ユーザの反応のモニタに同意するように求められ、モニタが行われる場合は、プログラムおよびコンピューティングシステムが、特定のユーザまたはユーザのタイプの好き嫌いなどに合わせた環境を提供することができるため、ユーザの体感が改善されうる。

一実施形態では、この分析は、コンピューティングシステム（例えば、ネットワークに接続されているか、ローカルまたはインターネットを介している）によって実行され、ユーザが選択したボタン、およびアバターの視覚的な反応、あるいは現実世界のカメラまたはマイクロフォンによってキャプチャされたユーザの反応を決定することができるソフトウェアによって制御される。したがって、アバターが、仮想空間１００で特定の広告の前でかなりの時間を過ごした場合、アバター（現実世界のユーザによって制御される）が費やした時間と、仮想空間内でアバターによってキャプチャされた視野がトラッキングされる。このトラッキングにより、仮想空間１００内で提供されうる特定の広告、物体、動画または静止画に対するユーザの反応に関する情報を得ることができる。このトラッキング中の情報が記憶されて編成され、後からデータ解析のためにこのデータベースにアクセスすることができるようになる。オペレーション１１２は、任意選択のオペレーションであり、オペレーション１１０においてフィードバックから取得される分析に加えて、コンピューティングシステムによって利用されるプロファイル分析を可能にする。

プロファイル分析１１２は、コンピューティングシステムが、仮想空間１００を訪れうる特定のユーザの、予め定義された好き嫌い、地理的位置、言語、およびその他の属性を決定できるようにするオペレーションである。このようにして、アバターが見ている内容、アバターのリアクションおよびフィードバックのモニタに加えて、データマイニングを行なうことができるように、この追加情報が、プロファイルされデータベースに記憶され、コンテンツを見ている特定のアバターに関連付けられうる。

例えば、仮想空間内の特定の広告を、１５〜２９歳のユーザしか見ていない場合には、この情報は、特定の広告の年齢の人口統計として有用であり、このため、広告主は、特定の空間を訪れる特定の年齢層に広告を強化するために、広告を作り直すことができる。ほかの人口統計およびプロファイルの情報も、当該タイプの空間を訪れているユーザに応じて、仮想空間で広告を適切に調整するうえで有用でありうる。このため、分析されたフィードバック１１０と、およびオペレーション１１２のプロファイル分析（任意選択）に基づき、１１４において、収集された情報が仮想空間の広告主および事業者に提供されうる。

図１Ｂは、本発明の一実施形態による、椅子に座り、コントローラを持ち、ゲームコンソールと通信しているユーザ１０２ａを示す。現実世界のユーザであるユーザ１０２ａは、モニタと、モニタに表示される画像との表示を、２つのモードから選択することができる。一方のモードは現実世界のユーザの視点からのモードであり、アバターであるユーザＡ１０２ｂの背後後ろを表示する。ユーザＡ１０２ｂのアバターは視野１０２ｂ’を有し、ユーザＢは視野１０４ｂ’を有する。

現実世界のユーザであるユーザ１０２ａが、仮想ユーザ（すなわちアバター）の視点から表示させたいと望む場合、表示が、アバター１０２ｂの視野１０２ｂ’内にあるものを示すクローズアップ表示となる。このため、画面１０１は、モデル１０１ａが拡大され、現実世界のユーザによって制御されているアバターの目からの眺めをよりはっきりと示す。現実世界のユーザは、モードＡ（アバターの背後から）とモードＢ（仮想ユーザアバターの目から）を切り替えることができる。いずれの実施形態においても、現実世界のユーザによって制御されているアバターのジェスチャのほか、仮想空間１００の内のアバターの視野および目／頭の位置がトラッキングされる。

図１Ｃは、仮想空間のインタラクティビティが提供されるゲームのユーザに関連するアバターのロケーションプロファイルを示す。ユーザがインタラクトを望む場所を絞るために、選択メニューが提示され、これにより、ユーザは、ユーザの興味ならびにユーザが利用できる場所および空間のタイプをより適切に定義するプロファイルを選択することができる。例えば、ロケーションメニュー１１６がユーザに提示されうる。ロケーションメニュー１１６には、アルファベット順に分類された国の一覧が提示されうる。

次に、ユーザが、日本などの特定の国を選択すると、ロケーションサブメニュー１１８がユーザに提示される。ロケーションサブメニュー１１８は、選択したロケーションに応じて、州１１８ａ、省１１８ｂ、区１１８ｃまたは県１１８ｄを定義するようにユーザに求めうる。選択された国が日本の場合、日本は県１１８ｄに分割されており、日本国内の行政区画（state）のタイプである。次に、ユーザに対して、市１２０の選択が提示される。

ユーザが、県から特定の市（例えば日本、東京）を選択すると、ユーザに対し、ユーザに該当しうる場所と仮想空間を絞り込むための更に別のメニューが提示される。図１Ｄは、ユーザと、仮想空間内のユーザを表現するアバターのパーソナルプロファイルを示す。この例では、パーソナルプロファイルメニュー１２２が提示される。パーソナルプロファイルメニュー１２２は、ユーザによって定義されるパーソナルプロファイルに関連する社会的定義のタイプに基づいて、ユーザが選択する複数の選択肢の一覧を示す。例えば、社会的プロファイルには、スポーツチーム、プレイするスポーツ、娯楽、および社会的選択基準に含まれる他のサブカテゴリなどが含まれうる。更に、ユーザがプロの男子のスポーツチームを選択したときに選択されるサブメニュー１２４が図示され、モータースポーツの更に別の側面を定義しうる更に別のサブメニュー１２６が表示されうる。

更に、ユーザが、宗教、性的嗜好または政治的嗜好を選択できる例も図示されている。パーソナルプロファイルメニュー１２２に示されている例は例示に過ぎず、プロファイル選択メニューの内容の細かさと種類の多さは、図１Ｃのロケーションメニュー１１６、サブメニュー１１８および市セレクタ１２０を使用してユーザに選択された国に応じて変わりうることを理解すべきである。一実施形態では、ユーザによって定義されたロケーションプロファイルに基づいて、特定のカテゴリが一部しか埋まらないこともあれば、完全に埋まることもある。例えば、ロケーションに日本が選択された場合、米国のメジャーリーグ（ＭＬＢ（登録商標））チームではなく、スポーツのセクションに、日本のリーグに属するチーム（例えば、日本野球連盟）を含む複数の野球チームが読み込まれうる。

同様に、地方の宗教、政治、政治家などの他のカテゴリも、図１Ｃでユーザが前に行った位置選択に基づいて、パーソナルプロファイル選択メニュー１２２に部分的に作成されうる。したがって、パーソナルプロファイルメニュー１２２は、ユーザが地球上でいる場所に関するユーザの選択を具体的に引用して生成され、ユーザに表示される動的なメニューである。アバターの選択が、図１Ｃのロケーションプロファイルおよび図１Ｄのパーソナルプロファイルで行われると、自身のアバターを制御しているユーザは、仮想世界を歩き回ったり、訪問したり、侵入したり、物体および人とインタラクトすることができる。仮想世界でも、現実世界の場所に相当する場所を訪問するほか、空想の世界のカテゴリも訪問することも可能である。このため、プロファイルと選択は、どのような形式、タイプ、世界または好みに対するものであってもよく、プロファイルセレクタの例は、プロファイルまたは選択の可能性を制限するものではない。

図２は、図１Ａの１０８ａに関して説明した、フィードバックを生成するための現実世界のユーザのモニタリングを示すより詳細な図を示す。現実世界のユーザ１０２ａは、コントローラ２０８を持ち、椅子に座っている。コントローラ２０８は、コンピューティングデバイスに無線または有線で接続されうる。コンピューティングデバイスは、ゲームコンソール２００でも汎用コンピュータでもよい。コンソール２００は、ネットワークに接続することができる。ネットワークは、処理の一部または全てを、ネットワーク上で動作されているプログラムによって実行可能にするワイドエリアネットワーク（またはインターネット）であってもよい。

一実施形態では、１台以上のサーバが、ネットワーク接続されたコンピュータで実行される処理に基づいて、物体、ユーザ、アニメーション、音声、シェーディング、テクスチャおよびユーザから送られたその他のリアクションまたはキャプチャ内容をレンダリングするゲームプログラムを実行する。この例では、ユーザ１０２ａが、コントローラ２０８を持っており、オペレーション２１４においてコントローラボタンの動きがキャプチャされる。コントローラ２０８の動き、コントローラ２０８のボタン、およびコントローラ２０８の６軸次元の回転をキャプチャするために、腕と手の動きおよびボタンの動きがキャプチャされる。６軸の位置のモニタリングの例は、慣性モニタを使用して行われうる。更に、コントローラ２０８は、マイクロフォン２０２によって音声に関し、あるいはカメラ２０４によって位置、照明または他の入力フィードバックによりキャプチャされうる。ディスプレイ２０６は、仮想世界と仮想世界のシーンを動いている仮想ユーザアバターを示す表示を、ユーザ１０２ａによって制御されるようにレンダリングする。オペレーション２１２は、ユーザ１０２ａによる特定の単語に対して処理された音声をキャプチャするように構成されている。

例えば、制御されているアバターが仮想空間１００を動いている間に、ユーザ１０２ａが、興奮するか、悲しくなるか、または特定のジェスチャを発した場合に、マイクロフォン２０２はこの情報をキャプチャするように構成されており、特定の単語または情報を特定するために音声が処理される。特定の空間での発言内容を決定するために、（ユーザがキャプチャすることを許可した場合は）音声認識も実行されうる。説明したように、カメラ２０４は、ユーザ１０２ａによるジェスチャ、コントローラ２０８による動き、ユーザ１０２ａによる表情、および一般的なフィードバックの興奮または落ち着きをキャプチャする。

次に、オペレーション２１０において、カメラ２０４は、表情、ボディーランゲージおよび他の情報のキャプチャを行う。図１Ａを参照して説明したように、オペレーション２１０、２１２および２１４においてキャプチャされたこの情報は全て、分析１１０のためのフィードバックとして提供されうる。オペレーション２１８において、集約ユーザ意見が処理され、このオペレーションは、仮想空間を移動し、入る仮想空間内で各種広告を見る全ユーザについて集約した反応をまとめ、区分する。次に、この情報が解析され、オペレーション２２０において、仮想空間の広告主および事業者に提供されうる。

この情報は、誰が広告を見たか、広告を見た時間の長さ、広告の前で行なったジェスチャ、広告について行なったジェスチャに関し、広告主に指針を提供すると共に、仮想空間の事業者にも、特定のユーザが見た広告の人気などに応じて、仮想空間内で広告に対して請求可能な料金に関する指標を提供する。

図３Ａは、現実世界のユーザの広告１００に対する支持または不支持に応じて、アバターの反応３００を変えるために、現実世界のユーザがコントローラ２０８およびコントローラのボタン２０８を選択しうる例を示す。このため、アバターが広告１００を見ているかどうかと、アバターが広告１００に注目したときにコントローラ２０８で選択された特定のボタンとに応じて、ユーザによって制御されたアバターフィードバックがモニタされる。この例では、コントローラ２０８を使用している現実世界のユーザ（図示なし）がＲ１を選択し、この結果、ユーザのアバターのアバター反応３００が笑い（あはは！）となる。

図に示すように、左肩ボタン２０８ａおよび右肩ボタン２０８ｂなどの他のコントローラボタンも、同様のアバターの制御に使用することができる。例えば、ユーザは、微笑ませるのにＬ２、しかめ面をさせるのにＬ１、呆れ顔をさせるのにＲ２を選択する、ほかのアバター反応３００を行わせるために、他のボタンを選択することができる。図３Ｂは、仮想空間内で特定の広告１００または物体または物を見たときに、アバターをボタンに反応させるために、ユーザによるコントローラ２０８の操作に応答してプログラムによって実行されうるオペレーションを示す。オペレーション３０２は、プレーヤがアバターの表情を変更できるように、アバターの顔の反応にマップされるボタンを定義する。

コントローラにある各種ボタンを、異なる反応にマップでき、ユーザのボタンの好みによって、あるいはユーザの好みに応じて、特定のボタンとアバターによる特定の反応を変更することができる。オペレーション３０４は、プレーヤ（またはユーザ）が特定の広告を見て、ユーザがその特定の広告を見ているとコンピューティングデバイスが認識する時点の検出を定義する。上で説明したように、アバターは視野を有しており、その視野が、アバターが仮想空間内で見ている場所に応じてモニタされうる。

コンピューティングシステム（およびコンピュータシステムを制御しているコンピュータプログラム）は、仮想空間内でアバターの視野を常にモニタしているため、アバターが特定の広告を見ている時点を決定することが可能である。顔の反応をモニタされる特定の広告をユーザが見ている場合、オペレーション３０６はアバターの表情の変化に対して、アバターのモニタリングを定義する。ユーザが、アバターを特定の広告で笑わせるように選択した場合、この情報がコンピューティングシステムによって取得され、特定のアバターが特定の広告にどう反応したかを定義するために記憶される。

このため、オペレーション３０７および３０８は、あらゆる変化および表情を決定するために常に分析され、この情報が分析のためにフィードバックされる。この表情全てに実行される分析は、オフラインで実行されてもリアルタイムに実行されてもよい。次に、この情報が、システムに送り返され、特定の広告主に生成され、データマイニングを行ったり、仮想空間での成果に応じて特定の広告の作り直しをできるようになる。

図４Ａは、アバターからの異なるフィードバックを表す、異なる選択を行わせるために、左肩ボタン２０８ａおよび右肩ボタン２０８ｂから選択されうる他のコントローラ２０８ボタンを示す。例えば、ユーザは、さまざまなせりふをスクロールさせ、次にＲ１ボタンを押して、希望のせりふを選択することができる。ユーザは、特定の顔文字を選択するためにさまざまな顔文字を移動し、次にボタンＲ２を選択することもできる。

また、ユーザは、さまざまなジェスチャを選択して、次にＬ１を使用して特定のジェスチャを選択したり、異なるアニメーションを選択して、次にボタンＬ２を選択することもできる。図４Ｂは、現実世界のユーザによって制御されているアバターを示し、現実世界のユーザは、「カッコイイ」というせりふを選択し、次にＲ１ボタンを選択する。また、現実世界のユーザは、せりふと一緒に顔文字を提示するために、Ｒ１ボタンのほかにボタンＲ２も選択することもできる。この結果、アバターが微笑んで「カッコイイ」と言う。アバターの「カッコイイ」のせりふが、吹き出しを使用して表示されるか、またはコンピュータによって音声出力で出力されうる。図４Ｃは、現実世界のユーザが、「別に」を選択するためにＲ１ボタンを選択すると共に、手のジェスチャを示すためにＬ１ボタンを選択したときのアバター４００ａを示す。この結果、アバターが吹き出しで「別に」というせりふを言い、手を動かして「別に」の表現を伝えるアバター４００ｂおよび４００ｃが表示される。「別に（MEH）」という表現は、無関心または興味のないことを示す表現である。

このため、アバターが、仮想空間の中で特定の広告を見ており、コンテンツを支持しないか、基本的にこれに無関心の場合、アバターは、「別に」と言い、手のジェスチャを伝えうる。ユーザが特定の広告を見ている場合、これらの表現のそれぞれが、せりふ、顔文字、ジェスチャ、アニメーションなどを問わずにトラッキングされ、広告主または仮想世界のクリエータまたは事業者にデータを提供できるように、このような情報がキャプチャされる。

図５は、仮想空間５００に複数の仮想世界のアバターが存在しうる実施形態を示す。仮想世界のアバターのそれぞれは、自身の特定の視野を有しており、アバターが見ている内容がシステムによってトラッキングされる。アバター同士でディスカッションをしているように示される場合、その情報がトラッキングされ、アバターが、仮想空間内に提示されうる特定の広告、物体、絵、予告またはデジタルデータを見ていないことが示される。

一実施形態では、複数のアバターが、シアター内で動画を見て示されている。一部のアバターは動画を見ておらず、このため、表情を決定するためのトラッキングが行われない。アバターを制御しているユーザは、次にこの空間を動き、場所に入って、そこで、特定の広告を見ることもあれば、見ないこともある。したがって、見ている人の動き、移動、視野およびインタラクションがモニタされ、ユーザが自発的に広告、物体を見ているか、互いに交流しているかが決定される。

図６は、ユーザフィードバックをモニタする時点を決定するために使用されるフローチャート図を示す。仮想空間では、アクティブ領域を定義する必要がある。アクティブ領域は、アバターのフィードバックがモニタされる領域であると定義することができる。アクティブ領域は、広告のサイズ、広告の配置に基づいてサイズが設定され、アクティブ領域は重ねるなどが可能である。アバターの視野に対してアクティブ領域がモニタされると、アバターが広告を見た時間の長さ、広告の前の特定の領域で過ごした時間、および広告を見ているときにアバターが行ったジェスチャに関して、アバターの鑑賞が記録されうる。

オペレーション６００は、アバターユーザがアクティブ領域の内と外のいずれにいるかが判定される判定を示す。ユーザがアクティブ領域にいない場合、オペレーション６０２が実行され、アバターのトラッキングが行われない。ユーザがアクティブ領域内にいる場合、オペレーション６０４において、ユーザの視野が、空間内の広告に注目しているかどうかを判定するために、そのアバターユーザがトラッキングされる。オペレーション６０４において、ユーザが、トラッキング対象のどの広告または物体にも注目していない場合、方法はオペレーション６０８に移る。

オペレーション６０８において、システムはユーザの視野をモニタし続ける。方法は、オペレーション６１０に常に移動し、ユーザの視野が広告の上にあるかどうかが判定される。ユーザの視野が広告の上にない場合、方法はオペレーション６０８に戻る。このループは、オペレーション６１０において、ユーザが広告を見ており、ユーザがアクティブ領域内にいると判定されるまで続く。この時点で、アバターがアクティブ領域内にいて、アバターの視野が広告にある場合、オペレーション６０６はアバターのフィードバックキャプチャをモニタする。

図７Ａは、ユーザＡ７０４が仮想空間を歩いており、アクティブ領域７００に入る例を示す。アクティブ領域７００は、特定の部屋、部屋の中の場所または仮想空間内の特定の空間などである。図に示すように、ユーザＡ７０４は、３人のアバターユーザが画面または広告７０２を見ているアクティブ領域７００のほうに歩いている。既に３人のユーザが画面７０２を見ている状態は、この３人のユーザが既にアクティブ領域７００にいて、その視野が、サービスまたは製品の興味をそそる広告を流している画面に注目しているため、他のユーザを引きつける。

図７Ｂは、アクティブ領域７００に入っているが、視野７０６が画面７０２上にないユーザＡ７０４を示す。このため、アバター７０４が、広告が流され、ユーザの表現のユーザフィードバックが求められる画面７０２に注目していないため、システムは、アバター７０４による表情または身体表現または言語表現をモニタしない。

図７Ｃは、ユーザＡ７０４が、現在は、画面７１０の一部に注目している例を示す。視野７０６から、ユーザＡ７０４の視野が、画面７０２の半分のみにあることがわかる。広告のコンテンツが領域７１０に存在する場合、ユーザＡ７０４が行う表情およびフィードバックがキャプチャされる。しかし、広告コンテンツが、ユーザの視野がない画面の領域７０２にある場合、ユーザの表情およびフィードバックはモニタされない。

図７Ｄは、ユーザ７０４が画面７０２を完全に見ており、かつアクティブ領域７００内にいる例を示す。このため、システムはユーザＡからのフィードバックをモニタし続け、ユーザＡがアクティブ領域から出た場合にのみ、ユーザＡのフィードバックのモニタを中止する。別の実施形態では、特定の広告の画面７０２での表示が終了するか、そのセッションが終了すると、フィードバックをモニタするためのユーザＡのフィードバックが中止される。

図８Ａは、仮想部屋内のユーザが、特定の広告１０１に関して、好き嫌いの投票を求められうる実施形態を示す。この例では、ユーザ１０２ｂおよび１０４ｂが、ＹＥＳ領域またはＮＯ領域の上に移動しうる。現在、ユーザ１０２ｂ’はＹＥＳの上に、ユーザ１０４ｂ’はＮＯの上に立っている。支持、不支持、好き嫌いなどを示すために、ユーザは、シーン内の異なる位置に移動するだけでよいため、このフィードバックがモニタされ、および容易にキャプチャされる。同様に、図８Ｂは、支持、不支持、好き嫌いなどを伝えるために、部屋の異なる部分に移動しているユーザを示す。図に示すように、既にユーザ８００および８０２が部屋のＹＥＳサイドに、ユーザ８０４および８０６が部屋のＮＯサイドにいる。ユーザ８０８は気が変わったか、あるいは、単に部屋のＹＥＳサイドに移動しているように示されている。図８Ｃは、左手または右手を挙げることにより、ＹＥＳまたはＮＯに投票しているユーザ８００〜８０８の例を示す。適切なコントローラボタン（例えば、Ｌ１、Ｒ１など）を選択するだけで、ユーザアバターの体の右手または左手を動かすことができる。

一実施形態では、仮想世界プログラムは、インターネットに接続されたサーバで一部実行され、ローカルコンピュータ（ゲームコンソール、デスクトップコンピュータ、ラップトップコンピュータまたは無線携帯装置など）で一部実行されてもよい。更に、実行が、リモートサーバまたは処理装置で完全に行われ、この処理装置が、ローカルのディスプレイ画面に実行結果を提供してもよい。この場合、ローカルのディスプレイまたはシステムは、ネットワーク（インターネットなど）を介してデータを受け取り、グラフィックデータを画面に表現するための最小限の処理機能を備える必要がある。

図９は、本発明の一実施形態による、アバター制御システムを実装するためのコントローラを有するコンソールであるソニー（登録商標）プレイステーション３（登録商標）エンターテイメントデバイスのシステムアーキテクチャ全体を模式的に示す。システムユニット９００は、システムユニット９００に接続可能なさまざまな周辺機器を備える。システムユニット９００は、Ｃｅｌｌプロセッサ９２８、Ｒａｍｂｕｓ（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット９２６、専用のビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット９３２を有するＲｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット９３０、およびＩ／Ｏブリッジ９３４を備える。また、システムユニット９００は、Ｉ／Ｏブリッジ９３４を介してアクセス可能な、ディスク９４０ａおよび着脱可能なスロットインハードディスクドライブ（ＨＤＤ）９３６から読み出すためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ９４０も備える。任意選択で、システムユニット９００は、同様にＩ／Ｏブリッジ９３４を介してアクセス可能な、コンパクトフラッシュメモリカード、メモリースティック（登録商標）メモリカードなどを読み出すためのメモリカードリーダ９３８も備える。
また、Ｉ／Ｏブリッジ９３４は、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート９２４、ギガビットイーサネットポート９２２、ＩＥＥＥ ８０２．１１ｂ／ｇ無線ネットワーク（Ｗｉ−Ｆｉ）ポート９２０、および最大７つのブルートゥース接続に対応可能なブルートゥース（登録商標）無線リンクポート９１８にも接続している。

動作時に、Ｉ／Ｏブリッジ９３４は、１つ以上のゲームコントローラ９０２からのデータを含む、全ての無線、ＵＳＢ、およびイーサネットのデータを処理する。例えば、ユーザがゲームをプレイ中に、Ｉ／Ｏブリッジ９３４はブルートゥースリンクを介してゲームコントローラ９０２からデータを受信して、これをＣｅｌｌプロセッサ９２８に転送し、Ｃｅｌｌプロセッサ９２８が適宜ゲームの現在の状態を更新する。

また、無線、ＵＳＢ、およびイーサネットの各ポートを介して、ゲームコントローラ９０２のほかに、他の周辺機器も接続することが可能となる。このような周辺機器には、例えば、リモコン９０４、キーボード９０６、マウス９０８、ソニープレイステーションポータブル（登録商標）エンターテイメントデバイスなどのポータブルエンターテイメントデバイス９１０、ＥｙｅＴｏｙ（登録商標）ビデオカメラ９１２などのビデオカメラ、マイクロフォンヘッドセット９１４などがある。このため、これらの周辺機器は、原則としてシステムユニット９００に無線で接続されうる。例えば、ポータブルエンターテイメントデバイス９１０はＷｉ−Ｆｉアドホック接続を介して通信し、マイクロフォンヘッドセット９１４はブルートゥースリンクを介して通信しうる。

これらのインタフェースを提供することにより、プレイステーション３デバイスは、デジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、デジタルカメラ、ポータブルメディアプレーヤ、ＶｏＩＰ電話、携帯電話、プリンタ、およびスキャナなどの他の周辺機器と場合によっては互換となりうる。

更に、ＵＳＢポート９２４を介して旧式メモリカードリーダ９１６をシステムユニットに接続することができ、プレイステーション（登録商標）デバイスまたはプレイステーション２（登録商標）で用いられていたタイプのメモリカード９４８の読み出しが可能となる。

本実施形態では、ゲームコントローラ９０２は、ブルートゥースリンクを介してシステムユニット９００と無線通信するように動作可能である。しかし、その代わりに、ゲームコントローラ９０２が、ＵＳＢポートに接続されてもよく、これにより、ゲームコントローラ９０２のバッテリに充電するための電力も供給する。ゲームコントローラは、１つ以上のアナログジョイスティックおよび従来の制御ボタンを有するほか、各軸の並進運動および回転に対応する６自由度の移動を感知する。したがって、従来のボタンまたはジョイスティックコマンドのほかに、またはこれらの代わりに、ゲームコントローラのユーザが行ったジェスチャおよび移動が、ゲームへの入力として変換されうる。任意選択で、プレイステーションポータブルデバイスなどの他の無線対応の周辺機器をコントローラとして使用することができる。プレイステーションポータブルデバイスの場合、追加のゲーム情報または制御情報（例えば制御命令またはライブの数）が、当該デバイスの画面に提示されうる。ほかの代替的または補助的な制御装置が使用されてもよく、これには、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルおよびペダル（図示せず）、あるいは、即答クイズゲームのための１つまたは複数の大型のボタン（これも図示なし）などの特注品のコントローラなどがある。

また、リモコン９０４も、ブルートゥースリンクを介してシステムユニット９００と無線通信するように動作可能である。リモコン９０４は、ブルーレイディスクＢＤ−ＲＯＭリーダ９４０の操作、およびディスクの内容の閲覧のために適した制御を備える。

ブルーレイディスクＢＤ−ＲＯＭリーダ９４０は、従来の記録済みＣＤ、記録可能ＣＤ、およびいわゆるスーパーオーディオＣＤのほか、プレイステーションデバイスおよびプレイステーション２デバイスと互換のＣＤ−ＲＯＭを読み出すように動作可能である。また、リーダ９４０は、従来の記録済みＤＶＤおよび記録可能ＤＶＤのほか、プレイステーション２デバイスおよびプレイステーション３デバイスと互換のＤＶＤ−ＲＯＭを読み出すように動作可能である。更に、リーダ９４０は、従来の記録済みブルーレイディスクおよび記録可能ブルーレイディスクのほか、プレイステーション３デバイスと互換のＢＤ−ＲＯＭを読み出すように動作可能である。

システムユニット９００は、Ｒｅａｌｉｔｙ Ｓｙｎｔｈｅｓｉｚｅｒグラフィックユニット９３０を介して、プレイステーション３デバイスによって生成またはデコードされた音声およびビデオを、音声コネクタおよびビデオコネクタ経由で、ディスプレイ９４４および１つ以上のスピーカ９４６を備えた表示および音声出力装置９４２（モニタまたはテレビ受像機など）に提供するように動作可能である。音声コネクタ９５０は、従来のアナログ出力およびデジタル出力を備える一方、ビデオコネクタ９５２は、コンポーネントビデオ、Ｓ−ビデオ、コンポジットビデオ、および１つ以上の高品位マルチメディアインタフェース（ＨＤＭＩ）の出力などを種々備えうる。したがって、ビデオ出力は、ＰＡＬまたはＮＴＳＣ、あるいは７２０ｐ、１０８０ｉまたは１０８０ｐの高解像度などのフォーマットであってもよい。

音声処理（生成、デコードなど）はＣｅｌｌプロセッサ９２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、およびブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドのデコードに対応している。

本実施形態では、ビデオカメラ９１２は、１つの電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、およびハードウェアベースのリアルタイムデータ圧縮およびエンコード装置を備え、圧縮ビデオデータが、システムユニット９００によるデコードのために、イントラ画像ベースのＭＰＥＧ（motion picture expert group）標準などの適切なフォーマットで送信されるようになる。カメラのＬＥＤインジケータは、例えば不利な照明条件を示す適切な制御データをシステムユニット９００から受け取ると、発光するように配置されている。ビデオカメラ９１２の実施形態は、ＵＳＢ、ブルートゥースまたはＷｉ−Ｆｉの通信ポートを介して、システムユニット９００にさまざまな方法で接続しうる。ビデオカメラの実施形態は、１つ以上の関連するマイクロフォンを備えており、音声データを送信することができる。ビデオカメラの実施形態では、ＣＣＤは、高解像度のビデオキャプチャに適した分解能を備えうる。使用時に、ビデオカメラによってキャプチャされた画像が、例えば、ゲーム内に取り込まれるか、またはゲームの制御入力として解釈されうる。

一般に、システムユニット９００の通信ポートの１つを介して、ビデオカメラまたはリモコン等などの周辺機器とのデータ通信がうまく行われるように、デバイスドライバ等の適切なソフトウェアを提供する必要がある。デバイスドライバ技術は公知であり、ここで詳細に説明しないが、デバイスドライバまたは同様のソフトウェアインタフェースが、記載する本実施形態で必要とされうることを当業者は理解するであろう。

図１０は、本発明の一実施形態によるＣｅｌｌプロセッサ９２８の概略図である。Ｃｅｌｌプロセッサ９２８は、メモリコントローラ１０６０およびデュアルバスインタフェースコントローラ１０７０Ａ，Ｂを含む外部入出力構造、パワープロセッシングエレメント１０５０と呼ばれるメインプロセッサ、シナジスティックプロセッシングエレメント（ＳＰＥ）１０１０Ａ〜Ｈと呼ばれる８基のコプロセッサ、エレメント相互接続バス１０８０と呼ばれる上記のコンポーネントに接続している環状データバス、の４つの基本コンポーネントを備えたアーキテクチャを有する。プレイステーション２デバイスのエモーションエンジンは６．２ギガフロップスであるのに対し、Ｃｅｌｌプロセッサの総浮動小数点演算性能は、２１８ギガフロップスである。

パワープロセッシングエレメント（ＰＰＥ）１０５０は、３．２ＧＨｚの内部クロックで動作し、双方向同時マルチスレッディングＰｏｗｅｒ９７０準拠のＰｏｗｅｒＰＣコア（ＰＰＵ）１０５５をベースにしている。ＰＰＥ１０５０は、５１２ｋＢのレベル２（Ｌ２）キャッシュと、３２ｋＢのレベル１（Ｌ１）キャッシュとを備える。ＰＰＥ１０５０は、クロックサイクルごとに８つの単一位置（single position）操作ができ、これは、３．２ＧＨｚで２５．６ギガフロップスに相当する。ＰＰＥ１０５０の主な役割は、演算作業負荷の大部分を処理するシナジスティックプロセッシングエレメント１０１０Ａ〜Ｈのコントローラとして機能することにある。動作時に、ＰＰＥ１０５０はジョブキューを保持し、シナジスティックプロセッシングエレメント１０１０Ａ〜Ｈのジョブをスケジュールしており、その進捗を監視する。したがって、各シナジスティックプロセッシングエレメント１０１０Ａ〜Ｈはカーネルを実行し、その役割は、ジョブを取り出して、これを実行し、ＰＰＥ１０５０と同期することにある。

各シナジスティックプロセッシングエレメント（ＳＰＥ）１０１０Ａ〜Ｈは、シナジスティックプロセッシングユニット（ＳＰＵ）１０２０Ａ〜Ｈおよびメモリフローコントローラ（ＭＦＣ）１０４０Ａ〜Ｈをそれぞれ備え、ＭＦＣ１０４０Ａ〜Ｈは、ダイナミックメモリアクセスコントローラ（ＤＭＡＣ）１０４２Ａ〜Ｈ、メモリ管理ユニット（ＭＭＵ）１０４４Ａ〜Ｈ、およびバスインタフェース（図示せず）をそれぞれ備える。各ＳＰＵ１０２０Ａ〜Ｈは３．２ＧＨｚでクロック供給され、原則として４ＧＢまで拡張可能な２５６ｋＢのローカルＲＡＭ１０３０Ａ〜Ｈを備えたＲＩＳＣプロセッサである。各ＳＰＥは、理論的には単精度処理性能で２５．６ギガフロップスを示す。１つのＳＰＵは、１クロックサイクルに、４つの単精度浮動小数点数部、４つの３２ビット数、８つの１６ビット整数または１６の８ビット整数を処理することができる。同じクロックサイクルで、メモリ操作も実行することができる。ＳＰＵ１０２０Ａ〜ＨはシステムメモリＸＤＲＡＭ９２６に直接アクセスしない。ＳＰＵ１０２０Ａ〜Ｈが作成した６４ビットアドレスがＭＦＣ１０４０Ａ〜Ｈに渡され、ＭＦＣ１０４０Ａ〜Ｈが、自身のＤＭＡコントローラ１０４２Ａ〜Ｈに対して、エレメント相互接続バス１０８０およびメモリコントローラ１０６０を介してメモリにアクセスするように指示する。

エレメント相互接続バス（ＥＩＢ）１０８０は、Ｃｅｌｌプロセッサ９２８内部の論理的には環状の通信バスであり、上記のプロセッサエレメント（すなわち、ＰＰＥ１０５０、メモリコントローラ１０６０、デュアルバスインタフェース１０７０Ａ，Ｂ、および８基のＳＰＥ１０１０Ａ〜Ｈ、合計１２個のパーティシパント）を接続している。パーティシパントは、１クロックサイクルにつき８バイトの速度で、バスに同時に読み出しおよび書き込みを行うことができる。上で説明したように、各ＳＰＥ１０１０Ａ〜Ｈは、長い読み出しまたは書み込みのシーケンスをスケジュールするためのＤＭＡＣ１０４２Ａ〜Ｈを備える。ＥＩＢは、４つのチャネルを備え、そのうち２つは時計回り方向であり、残り２つは反時計回り方向である。したがって、１２のパーティシパントについて、２つのパーティシパント間のステップ方式の最長のデータフローは、適切な方向で６ステップとなる。このため、パーティシパント間でアービトレーションが行われて完全な利用度が実現されると、１２のスロットの理論上のピーク瞬間ＥＩＢ帯域幅は、１クロックにつき９６Ｂとなる。これは、３．２ＧＨｚのクロック速度で３０７．２ＧＢ／ｓ（ギガバイト／秒）の理論上のピーク帯域幅に相当する。

メモリコントローラ１０６０は、ラムバス社（Rambus Incorporated）によって開発されたＸＤＲＡＭインタフェース１０６２を備える。メモリコントローラは、２５．６ＧＢ／ｓの理論上のピーク帯域幅で、Ｒａｍｂｕｓ ＸＤＲＡＭ９２６とインタフェースする。

デュアルバスインタフェース１０７０Ａ，Ｂは、Ｒａｍｂｕｓ ＦｌｅｘＩＯ（登録商標）システムインタフェース１０７２Ａ，Ｂを備える。インタフェースは、それぞれ８ビット幅の１２のチャネルに編成されており、このうち、５の経路が受信用、７つの経路が送信用である。これにより、Ｃｅｌｌプロセッサと、コントローラ１７０Ａを介してＩ／Ｏブリッジ７００間、およびコントローラ１７０Ｂを介してＲｅａｌｉｔｙ Ｓｉｍｕｌａｔｏｒグラフィックユニット２００間で、理論上のピーク帯域幅が６２．４ＧＢ／ｓ（送信３６．４ＧＢ／ｓ、受信２６ＧＢ／ｓ）が得られる。

Ｃｅｌｌプロセッサ９２８によってＲｅａｌｉｔｙ Ｓｉｍｕｌａｔｏｒグラフィックユニット９３０に送信されるデータには、通常、表示リストが含まれ、これは、頂点を描画したり、ポリゴンにテクスチャを貼り付けたり、照明条件を指定するなどための一連のコマンドである。

実施形態において、現実世界のユーザをより正確に特定し、アバターまたはシーンの活動を案内するための深度データがキャプチャされてもよい。オブジェクトは、人物が保持している物体であっても、人物の手であってもよい。本明細書では、「深度カメラ」および「三次元カメラ」との用語は、二次元のピクセル情報のほか、距離情報すなわち深度情報を取得することができる任意のカメラを指す。例えば、深度カメラは、制御された赤外線照明を利用して、距離情報を取得することができる。
他の例示的な深度カメラに、立体カメラ対があり、これは２台の基準カメラを使用して距離情報を三角測量によって求める。同様に、「深度検知装置」との用語は、二次元のピクセル情報のほかに、距離情報を取得することができる任意のタイプの装置を指す。

三次元像の最近の進歩により、リアルタイムのインタラクティブなコンピュータアニメーションの可能性が広がっている。より詳細には、新しい「深度カメラ」は、通常の二次元のビデオ像に加えて、３番目の次元をキャプチャおよびマップする能力を提供することができる。新しい深度データによって、本発明の各種実施形態は、ほかのオブジェクトの背後など、ビデオシーン内のさまざまな位置にコンピュータが生成したオブジェクトを、リアルタイムで配置することが可能となる。

更に、本発明の各種実施形態は、リアルタイムのインタラクティブなゲーム体験をユーザに提供する。例えば、ユーザは、コンピュータが生成したさまざまなオブジェクトと、リアルタイムでインタラクトすることができる。更に、ユーザのゲーム体験をよりリアルにするために、ビデオシーンをリアルタイムで変更することができる。例えば、コンピュータが生成したコスチュームを、ユーザの服の上にはめ込んだり、コンピュータが生成した光源を利用して、ビデオシーン内に仮想の影を表示させることができる。このため、本発明の各種実施形態と深度カメラを使用して、ユーザは、自分のリビングルームでインタラクティブなゲーム環境を体験することができる。通常のカメラと同様に、深度カメラは、ビデオ画像を構成している複数のピクセルの二次元のデータをキャプチャする。これらの値は、ピクセルの色の値であり、通常は、各ピクセルの赤、緑、青（ＲＧＢ）の値である。このようにして、カメラによってキャプチャされたオブジェクトが、モニタに二次元オブジェクトとして表示される。

また、本発明の各種実施形態は、分散型の画像処理構成についても考察している。例えば、本発明は、１つの場所（ＣＰＵなど）や２つの場所（ＣＰＵと他の１つの素子など）で行われるキャプチャ画像および表示画像の処理に限定されない。例えば、入力画像処理は、処理を実行することができる関連のＣＰＵ、プロセッサまたは装置において容易に行うことができ、基本的には、画像処理の全てを、相互接続システム全体に分散させることができる。このため、本発明は、特定の画像処理ハードウェア回路および／またはソフトウェアに限定されない。また、本明細書に記載した実施形態は、一般的なハードウェア回路および／またはソフトウェアの特定の組合せに限定されず、処理コンポーネントによって実行される命令の特定のソースにも限定されない。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに記憶されたデータを使用する、各種のコンピュータ実装操作を使用してもよい点を理解すべきである。これらの操作には、物理量の物理的な操作を必要とする操作が含まれる。この物理量は通常、記憶、転送、結合、比較などの操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。更に、実行される操作は、生成、特定、決定または比較などと呼ばれることが多い。

上記した発明は、携帯式デバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラム可能な家庭用電気製品、ミニコンピュータ、メインフレームコンピュータなど、他のコンピュータシステム構成によって実施されてもよい。また、本発明は、分散コンピューティング環境で実施されてもよく、このような環境では、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される。

本発明は、また、計算機可読メディア上の計算機可読コードとして実施されてもよい。計算機可読媒体は、電磁搬送波を含め、コンピュータシステムによって後から読取ることができるデータを記憶できるデータ記憶装置であれば、どのようなものに存在してもよい。計算機可読メディアの例には、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、リードオンリーメモリ、ランダムアクセスメモリ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープおよび他の光学式データ記憶装置および非光学式データ記憶装置などがある。また、計算機可読媒体は、計算機可読コードが分散式に記憶されて、実行されるように、ネットワークに結合されたコンピュータシステムを介して分散されてもよい。

上記に、本発明を明確に理解できるように多少詳細に記載したが、添付の特許請求の範囲内で変更例または変形例を実施できることは明らかである。したがって、本実施形態は例示的なものであり、制限するものではなく、本発明は本明細書に記載されている詳細な事項に限定されず、添付の特許請求の範囲およびその均等物の範囲内で変更されてもよい。

Claims (26)

1. コンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法であって、
   グラフィカルなアニメーション化された環境を生成するステップと、
   前記グラフィカルなアニメーション化された環境内に可視オブジェクトを提示するステップと、
   前記グラフィカルなアニメーション化された環境内でアバターを動かすステップであって、前記動きは、前記アバターの視野を前記可視オブジェクトのほうに向けることを含むステップと、
   前記アバターの前記視野が前記可視オブジェクトに向けられたときに前記アバターの反応を検出するステップと、
   前記反応を記憶するステップと、を有し、
   前記反応が肯定的か否定的かを判定するために、前記反応が分析される方法。
2. 前記可視オブジェクトは広告である請求項１に記載のコンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法。
3. 前記広告は、前記グラフィカルなアニメーション化された環境の仮想空間においてアニメーション表示されている請求項１に記載のコンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法。
4. 現実世界のユーザが、前記グラフィカルなアニメーション化された環境内で前記アバターを動かしており、
   前記現実世界のユーザからの可聴音声を検出するステップと、
   前記可聴音声が感情、笑い、発言、またはこれらの組み合わせの１つに関連しているかどうかを判定するために、前記可聴音声を分析するステップと、
   前記反応が肯定的か否定的かを示すように、前記分析された可聴音声を定義するステップと、を更に有する請求項１に記載のコンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法。
5. 前記反応は、コントローラのボタンによってトリガされる請求項１に記載のコンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法。
6. 前記コントローラの選択されたボタンが、表情、身体表現、言語表現、体の動き、コメント、またはこれらの２つ以上の組み合わせの１つ以上をトリガする請求項４に記載のコンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法。
7. 前記反応は、分析され、前記広告の所有者および前記グラフィカルなアニメーション化された環境の事業者に提示される請求項６に記載のコンピュータによって生成された仮想世界環境においてアバターのインタラクティブな制御およびモニタリングを可能にするための方法。
8. コンピュータグラフィックによって表示されている仮想環境をレンダリングするために定義されたネットワークアプリケーションを実行するための、コンピュータによって実装される方法であって、
   アニメーション化されたユーザを生成するステップと、
   前記仮想環境内で前記アニメーション化されたユーザを制御するステップと、
   前記仮想環境内で広告オブジェクトを提示するステップと、
   前記アニメーション化されたユーザが前記仮想環境での前記広告オブジェクトの１つを見ているかどうかを判定するために、前記アニメーション化されたユーザによるアクションを検出するステップと、
   前記アニメーション化されたユーザが前記広告オブジェクトを見ている場合に、前記アニメーション化されたユーザによるリアクションをキャプチャするステップと、を有し、
   前記仮想環境内の前記アニメーション化されたユーザによる前記リアクションは、前記広告オブジェクトに関連するリアクションであり、前記仮想環境での前記広告オブジェクトの効果を決定するために第三者に提示される方法。
9. 前記第三者は製品またはサービスの広告主である請求項８に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
10. 前記第三者は前記仮想環境の事業者である請求項８に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
11. 前記仮想環境の前記事業者は、前記広告オブジェクトに対する広告コスト計算式を規定する請求項１０に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
12. 前記コスト計算式は、特定の広告オブジェクトに関連するユーザのリアクションに基づいて広告主に請求される料金を規定する請求項１１に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
13. 前記キャプチャされるリアクションは、アニメーション化されたユーザの表情、アニメーション化されたユーザの音声表現、アニメーション化されたユーザの体の動き、またはこれらの組み合わせを含む請求項８に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
14. 前記広告オブジェクトは、前記仮想環境の仮想空間でアニメーション化されている請求項８に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
15. 前記リアクションは、コントローラのボタンによってトリガされる請求項８に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
16. 前記コントローラの選択されたボタンが、前記アニメーション化されたユーザに、表情、身体表現、言語表現、体の動き、コメント、またはこれらの２つ以上の組み合わせの１つ以上をトリガする請求項１５に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
17. 前記リアクションは、分析され、前記広告の所有者および前記仮想環境の事業者に提示される請求項１６に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
18. 前記反応が肯定的か否定的かを判定するために、前記リアクションが分析される請求項８に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
19. コンピュータグラフィックによって表示されている仮想環境をレンダリングするために定義されたネットワークアプリケーションを実行するための、コンピュータによって実装される方法であって、
    アニメーション化されたユーザを生成するステップと、
    前記仮想環境内で前記アニメーション化されたユーザを制御するステップと、
    前記仮想環境内で広告オブジェクトを提示するステップと、
    前記アニメーション化されたユーザが前記仮想環境での前記広告オブジェクトの１つを見ているかどうかを判定するために、前記アニメーション化されたユーザによるアクションを検出するステップと、
    前記アニメーション化されたユーザが前記広告オブジェクトを見ている場合に、前記アニメーション化されたユーザによるリアクションをキャプチャするステップと、を有し、
    前記仮想環境内の前記アニメーション化されたユーザによる前記リアクションは、前記広告オブジェクトに関連するリアクションであり、前記リアクションが肯定的か否定的かを判定するために第三者に提示される方法。
20. 前記アニメーション化されたユーザによる投票を決定するステップを更に有し、前記投票は、前記広告オブジェクトの特定の１つの支持または不支持を示す請求項１９に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
21. 前記第三者は前記仮想環境の事業者であり、前記仮想環境の前記事業者は、前記広告オブジェクトに対する広告コスト計算式を規定する請求項１９に記載のネットワークアプリケーションを実行するための、コンピュータによって実装される方法。
22. ネットワークを介して少なくとも一部を実行するように構成され、仮想場所のグラフィカル環境を定義し、現実世界のユーザが、仮想場所の前記グラフィカル環境でアニメーション化されたアバターを制御できるようにするコンピュータプログラムとインタフェースするための、コンピュータによって実装される方法であって、
    前記アニメーション化されたアバターを制御するために前記現実世界のユーザを割り当てるステップと、
    前記グラフィカル環境で前記アニメーション化されたアバターを動かすステップと、
    前記グラフィカル環境での前記アニメーション化されたアバターの動きに応答して、前記現実世界のユーザによる現実世界のリアクションを検出するステップと、
    前記現実世界のリアクションを特定するステップと、
    前記特定された現実世界のリアクションを前記アニメーション化されたアバターにマップするステップと、を有し、
    前記アニメーション化されたアバターは、前記コンピュータプログラムを実行しているディスプレイ画面に前記現実世界のリアクションをグラフィカルに表示する方法。
23. 前記特定された現実世界のリアクションは、前記アニメーション化されたアバターが見ている前記仮想空間内のコンテンツに基づいて分析される請求項２２に記載のコンピュータプログラムとインタフェースするための、コンピュータによって実装される方法。
24. 前記コンテンツは、仮想場所の前記グラフィカル環境内で宣伝される製品またはサービスである請求項２２に記載のコンピュータプログラムとインタフェースするための、コンピュータによって実装される方法。
25. 前記コンピュータプログラムの事業者は、広告に対する広告コスト計算式を規定する請求項２２に記載のコンピュータプログラムとインタフェースするための、コンピュータによって実装される方法。
26. 前記コスト計算式は、特定の広告に関連する鑑賞またはリアクションに基づいて広告主に請求される料金を規定する請求項２５に記載のコンピュータプログラムとインタフェースするための、コンピュータによって実装される方法。

Images