JP2009536406A - ゲームプレイ中にコンピュータ生成アバターに感情的特徴を与える方法 - Google Patents

Abstract

ゲームプレイ中またはゲームプレイに関連して言語的および非言語的コミュニケーションを改善し高めるための実施形態が記載される。このシステムにより、ゲームプレイでのイベントに対する現実世界での反応を基に現実世界のプレーヤを表すアバターを修正することで、言語的および非言語的コミュニケーションが改善され高められる。この効果は、アバターの特定部位に組み込み可能なビデオピクセルパッチなどの多くの形態で表すことができる。ビデオピクセルパッチは、動いているビデオフレーム内に組み込まれるように適用されることが好ましく、その結果、リアルタイムな一体感を実質的に出せるようになる。

Description

ビデオゲーム業界は、長年にわたり多くの変化を遂げてきた。コンピュータの処理能力の向上とともに、ビデオゲームの開発者らも、このような処理能力の高度化を利用したゲームソフトウェアを作製してきた。このため、ビデオゲームの開発者らは、非常にリアルなゲーム体験となるように高度な演算や数値演算を組み込んだゲームをコーディングしてきた。

このようなゲームのプラットフォームの例には、ソニー（Sony）社製のプレイステーション（Playsation）またはソニー社製のプレイステーション２（ＰＳ２）があり、これらは共にゲームコンソールの形態で販売されている。周知のように、ゲームコンソールは、モニタ（通常、テレビ受像機）に接続して、ハンドヘルドコントローラを介してユーザインタラクションが可能になるように設計される。ゲームコンソールは、ＣＰＵ，重いグラフィック演算を処理するためのグラフィックシンセサイザ、ジオメトリ変換を実行するためのベクトル演算ユニット、およびグルーハードウェアと呼ばれるその他のハードウェア、ファームウェア、およびソフトウェアを含む専用の処理ハードウェアで設計されている。ゲームコンソールは、ゲームコンソールを介してローカルでプレイするためのゲームコンパクトディスクを受け入れるための光ディスクトレイを備えるようにさらに設計される。また、ユーザがインターネット上で他のユーザとインタラクティブな、つまり対話型の対戦プレイまたは協力プレイができるオンラインゲームも可能である。

ゲームを複雑にしてプレーヤの興味を引き付けるために、ゲームのソフトウェアおよびハードウェアの製造業者らは、新しい手法を取り入れてさらなるインタラクティビティ、つまり対話性、を高めようとしてきた。しかしながら、実際、現在に至るまでユーザがゲームと対話する、即ちインタラクションを行うという方法に劇的な変化は訪れていない。通常、ユーザは今でもハンドヘルドコントローラを使ってコンピュータゲームをし、またはマウスポインティングデバイスを使ってプログラムとのインタラクションを行っている。

前述の内容を鑑みて、ゲームプレイでより高度なユーザの対話性を実現する方法およびシステムが求められている。

本発明は、言語的および非言語的コミュニケーションを改善し高めるために記載される。このシステムにより、ゲームプレイでのイベントに対する現実世界での反応を基に現実世界のプレーヤを表すアバターを修正することで、言語的および非言語的コミュニケーションが改善され高められる。この効果は、アバターの特定部位に組み込み可能なビデオピクセルパッチなどの多くの形態で表すことができる。ビデオピクセルパッチは、動いているビデオフレーム内に組み込まれるように適用されることが好ましく、その結果、リアルタイムな一体感を実質的に出せるようになる。

一実施形態において、ゲームプレイイベントに対するユーザの反応に応答してアバターを修正するためのコンピュータで実行される方法が開示されている。アバターは、第１のユーザおよび第２のユーザの一方または両方を表し、ゲームプレイでのイベントは、コンピュータプログラムの実行や、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力から生じる。この方法は、ゲームプレイを実行し、第１および第２のユーザの一方または両方の反応をモニタすることによって始まる。この方法は、ゲームプレイのディスプレイエリアの側部に沿って、第１および第２のユーザの一方または両方のアバター描写を表示することによって継続される。別の動作において、この方法は、ゲームプレイの実行中、第１および第２のユーザのモニタされた反応に応答して、第１および第２のユーザの一方または両方のアバター描写の反応を修正する。

別の実施形態において、ゲームプレイイベントに対するユーザの反応に応答してアバターを修正するためのコンピュータで実行される方法が開示されている。アバターは、第１のユーザおよび第２のユーザの一方または両方を表し、ゲームプレイでのイベントは、コンピュータプログラムの実行や、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力から生じる。この方法は、ゲームプレイを実行し、第１および第２のユーザの一方または両方の反応をモニタすることによって始まる。別の動作において、この方法は、ゲームプレイのディスプレイエリアの側部に沿って、第１および第２のユーザの一方または両方のアバター描写を表示する。この方法は、ゲームプレイの実行中、第１および第２のユーザのモニタされた反応に応答して、第１および第２のユーザの一方または両方のアバター描写の反応を修正することによって継続される。さらに、アバター描写は、ゲームプレイでのイベントに応答して自動的に少なくとも部分的に修正され、さらに、自動的に修正されると、アバター描写の修正は、第１または第２のユーザのモニタされた反応と完全には一致しない。

さらなる別の実施形態において、ゲームプレイイベントに応答してアバターを自動的に修正するためのコンピュータで実行される方法が開示されている。アバターは、第１のユーザを表し、ゲームプレイでのイベントは、コンピュータプログラムの実行や、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力から生じる。この方法は、ゲームプレイ中に起こるアクションを特定するためにゲームプレイイベントをモニタすることによって始まる。別の動作において、この方法は、ゲームプレイのアクションに対する応答を視覚的に伝えるために、ゲームプレイ中に起こる特定されたアクションに応答して、第１のユーザを表すアバターのグラフィック画像を修正する。さらなる別の動作において、この方法は、第１のユーザを表すアバターの修正されたグラフィック画像を第２のユーザに表示し、第１のユーザを表す修正されたアバターにより、第２のユーザは、第１のユーザに起こったゲームプレイのアクションを理解することができる。

別の実施形態において、ゲームプレイでのイベントに対するユーザの反応に応答してアバターを修正するためのプログラム命令を有するコンピュータ可読媒体が開示されている。アバターは、第１のユーザおよび第２のユーザの一方または両方を表し、ゲームプレイでのイベントは、コンピュータプログラムの実行や、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力から生じる。ゲームプレイを実行するための媒体のプログラム命令は、第１および第２のユーザの一方または両方の反応をモニタするためのプログラム命令を有する。また、ゲームプレイのディスプレイエリアの側部に沿って第１および第２のユーザの一方または両方のアバター描写を表示するためのプログラム命令も含まれる。また、ゲームプレイの実行中、第１および第２のユーザのモニタされた反応に応答して、第１および第２のユーザの一方または両方のアバター描写の反応を修正するためのプログラム命令が含まれる。

本発明は、添付の図面と併せて、以下の詳細な記載によって容易に理解されるものであり、同一の参照番号は、同一の構造上の要素を示す。

画像キャプチャデバイスを有する対話型ゲームセットアップの説明図。 画像キャプチャデバイスの前方に配置されたオブジェクトの指向方向を確かめるための方法の説明図。 グラフィックディスプレイ上のオブジェクトと対応するための例示的なユーザ入力システムのブロック図。 本明細書に記載する本発明の実施形態を実施するように構成されたコンピュータ処理システムの簡易ブロック図。 別の入力デバイスとして機能する操作用物体との併用に適合されたビデオゲームコンソールの各種コンポーネントの構成を示すブロック図。 ユーザによって操作されるユーザ入力デバイスに対応するピクセル群をトラッキングして判別するために使用される機能ブロックを示すブロック図。 画像キャプチャユニットおよび音声キャプチャユニットを有するモニタの説明図。 ２つの音源がある状況にある場合の音声キャプチャユニットの説明図。 方向選択ができるように三角測量アルゴリズムを用いた音声Ａおよび音声Ｂの処理の説明図。 画像・音声キャプチャデバイスと併用可能なコンピュータシステムの説明図。 少なくとも４つのマイクロホンを含む例示的なオーディオモニタの説明図。 アレイビーム形成モジュールを示す簡易略図。 オーディオ信号のノイズと音源信号成分とを分離するためのブラインド音源分離方式を示す高水準略図。 適応ノイズキャンセレーションを組み込んだマイクロホンアレイフレームワークを示す略図。 図１の画像キャプチャデバイスと対話するための例示的なコントローラの平面図。 図１の画像キャプチャデバイスと対話するための例示的なコントローラの背面図。 矩形状のLEDを有するコントローラの平面図。 矩形状のLEDを有するコントローラの背面図。 ＬＥＤ、スピーカ、およびマイクロホンを組み込んだコントローラの背面図。 背面パネルの中央に設置されたスピーカとともに矩形状のＬＥＤを有するコントローラの背面図。 弧状に配設された５つのＬＥＤを有するコントローラの背面図を示す。 幅広の矩形状に配設されたＬＥＤを有するコントローラの背面図。 ６つのＬＥＤがまとめて配設されたコントローラ。 多数のコントロールを含むインタフェースおよび動作検知デバイスを有するコントローラ。 コントローラの動きをコンピュータプログラムに伝達する例示的なプロシージャを表すフローチャート。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 ゲームユーザの感情に反応し、アバター描写によってユーザの感情およびアクションを表すアバターの他の例であり、ゲームプレイ中に、ゲームのリアルタイムアクティビティに反応するアバターの例の説明図。 本発明の一実施形態によるアバター制御システムを実施するためのコントローラと適合可能なコンソールであるソニー（登録商標）社製のプレイステーション３（登録商標）エンタテインメント機器のシステムアーキテクチャ全体の概略説明図。 本発明の一実施形態によるセルプロセッサのアーキテクチャの概略説明図。

以下の記載において、本発明を完全に理解できるように、具体的な詳細を数多く記載する。しかし、当業者であれば、本発明はこれらの特定の詳細のうちのいくつか、あるいはすべてがなくとも実施可能なことは明白であろう。場合によっては、本発明を不必要に分かりにくくすることがないように、周知のプロセスステップについては詳しく記載しない。
本明細書に記載する技術を用いることで、プレーヤの応答を画面上のアバターで表すことによって、複数プレーヤによるゲームでのユーザの体感性を高めることができる。アバターとは、ユーザが、複数プレーヤ環境またはネットワーク環境で他の参加者に自分を表すためにカスタマイズ可能なアイコンまたはグラフィックのことである。アバターは、目、眉毛、鼻、口、衣服、アクセサリーなどの特徴を含む多種多様なパラメータを使ってカスタマイズすることができる。アバターに加えられるカスタマイズの可能性には数に制限がなく、上記に挙げた数種類の特徴は、限定的になるように意図されたものではない。

オンラインか、または同じコンピュータシステムからの複数プレーヤモードを用いた対戦相手とのゲームプレイ中、ゲーム中に起こるイベントに対する感情的または身体的反応や、ユーザの表情の変化、発声、および体の動きを表すために、ユーザのアバターを使用できる。顔の特徴および体の動きの認識は、以下にさらに詳細に記載するように、画像処理とともにコンピュータシステムの一部であってもよいビデオキャプチャデバイスを用いて行われうる。

さらに、画像キャプチャおよび処理技術、またはコントローラデバイス内に位置する加速度計などのモーションセンサの一方または両方を用いて、コンピュータシステムを参照しながらコントローラの加速、ピッチ、揺れ、回転、および物理的な場所を決定するために、コンピュータシステムと対話する、つまりインタラクションを行うために使用されるハンドヘルドコントローラデバイスが装備されうる。ゲームプレーヤからの言語的反応は、音声モニタリング・音声処理ロジックを含む種々の方法を用いて認識されうる。この情報の一部またはすべてが、コンピュータシステムによって受け取られ、ほぼリアルタイムにユーザのアバターに適用され、対応する実際のユーザのアクションや反応を模倣するようにされうる。一実施形態では、プレーヤの対戦相手のアバターしか視認できない。別の実施形態では、ユーザは、自分のアバター上にあるアニメーションを目にすることができる。

図１は、本発明の一実施形態による対話型ゲームセットアップ１００を示す。対話型ゲームセットアップ１００は、コンピュータ１０２を含み、コンピュータ１０２は、本明細書において「コンソール」とも呼ばれ、ディスプレイ画面１１０に結合されてもよい。画像キャプチャデバイス１０５が、ディスプレイ画面１１０の上部に配置され、コンピュータ１０２に結合されてもよい。コンピュータ１０２は、ユーザがビデオゲームをできるようにし、コントローラ１０８を介してビデオゲームとのインタフェースとなりうるゲームシステムコンソールであってもよい。画像キャプチャデバイス１０５は、ディスプレイ画面１１０の上部に配置されて示されているが、画像キャプチャデバイス１０５は、ディスプレイ画面１１０の正面付近の位置にある画像をキャプチャできるような任意の他の近接した場所に配置されうることを理解されたい。これらの動きや対話をキャプチャする技術にはさまざまなものがありうるが、２００３年２月２１日に同日出願され、参考により本明細書に援用されたものとする英国特許出願第０３０４０２４．３号明細書（ＰＣＴ／ＧＢ２００４／０００６９３）および同第０３０４０２２．７号明細書（ＰＣＴ／ＧＢ２００４／０００７０３）に、例示的が技術が記載されている。

一実施形態において、画像キャプチャデバイス１０５は、標準的なウェブカムのような簡易なものであってもよく、より高度な技術を含むものであってもよい。画像キャプチャデバイス１０５は、画像をキャプチャし、ディジタル化し、画像データをコンピュータ１０２に戻すことが可能であってもよい。いくつかの実施形態では、画像キャプチャデバイスに、ディジタル化を実行するためのロジックが一体化されており、別の実施形態では、画像キャプチャデバイス１０５は、ディジタル化するために、アナログビデオ信号をコンピュータ１０２に送信するだけである。いずれの場合も、画像キャプチャデバイス１０５は、画像キャプチャデバイス１０５の正面に位置する任意のオブジェクトのカラー画像または白黒画像のいずれかをキャプチャ可能であってもよい。

図２は、頭部および／またはコントローラの位置と動きを確認するために、画像キャプチャデバイス１０５によって画像データを処理するための例示的なコンピュータ１０２を示す。図示するように、コンピュータ１０２は、画像キャプチャデバイス１０５に接続されてもよい。画像キャプチャデバイス１０５は、キャプチャ領域１０５ａに焦点を当てるように設計されてもよい。この例では、人１１２が、コンピュータ１０２によって実行されているコンピュータプログラムとのインタラクションを行うように意図したものであってもよい。コンピュータプログラムは、この例において、ディスプレイ画面１１０によって描画され表示可能なビデオゲームであってもよい。

図示した例にあるビデオゲームは、WWII複葉機シューティングゲームであり、人１１２がターゲットに狙いを定め、自分のパフォーマンスに見合った点を稼ぐことを目的としたゲームである。画像キャプチャデバイス１０５は、人１１２の頭１２０の場所、および／または、人１１２の手１２２によって保持されたコントローラの場所を決定するために、人１１２のディジタル画像キャプチャを解析しうる。図示するように、人１１２の手は、体の正面に伸びた状態にあってもよく、画像キャプチャデバイスは、キャプチャしたディジタル画像を検査したときにコントローラ１２４を識別する。キャプチャしたディジタル画像はまた、人１１２の頭１２０の場所を確かめるために、コンピュータ１０２で実行されるコードによって検査されてもよい。一実施形態において、頭部トラッキングは、顔検出コードに結合され、テンプレート照合（速度性能用）と組み合わせて完了してもよい。顔検出コードは、本質的に、ユーザの目および他の顔の特徴の位置を特定することによって、ユーザの顔の場所を識別する。頭および顔の検出に関するさらなる情報が必要であれば、「METHOD AND APPARATUS FOR ADJUSTING A VIEW OF A SCENE BEING DISPLAYED ACCORDING TO TRACKED HEAD MOTION」という発明の名称であり、２００３年９月１５日に出願され、参照により本明細書に援用されたものとする米国特許出願第１０／６６３，２３６号明細書を参照されたい。

コントローラ１２４は、一実施形態において、キャプチャしたディジタル画像を解析するプログラムが、オブジェクト１２４の場所を容易に識別するように、識別子を有し、この識別子は、オブジェクトに結合される色や発光体（例えば、発光ダイオード「ＬＥＤ」）とすることができる。以下、図１５〜図１９を参照しながら、例示的なこのような識別子についてさらに詳細に記載する。ユーザ１１２の頭１２０の動きは、ゲームでの身体的な応答、例えば、画面上の要素が頭をかがめたり、身をかわしたりする応答として解釈でき、これらの動きは、以下にさらに詳細に記載するように、ユーザのアバターに適用されうる。

図３は、本発明の実施形態を実施するために使用されうるグラフィックディスプレイ上のオブジェクトと対話するための例示的なユーザ入力システムのブロック図である。図３に示すように、ユーザ入力システムは、ビデオキャプチャデバイス３００と、入力画像プロセッサ３０２と、出力画像プロセッサ３０４と、ビデオディスプレイデバイス３０６とを含むものであってもよい。ビデオキャプチャデバイス３００は、ビデオ画像シーケンスをキャプチャ可能な任意のデバイスであってもよく、一実施形態において、ディジタルビデオカメラ（「ウェブカム」など）や同様の画像キャプチャデバイスであってもよい。

ビデオキャプチャデバイス３００は、深度画像を与えるように構成されてもよい。本明細書において、「深度カメラ」および「３次元カメラ」という用語は、２次元のピクセル情報だけでなく、距離または深度情報を得ることが可能な任意のカメラをさす。例えば、深度カメラは、距離情報を得るために、制御された赤外線発光体を利用しうる。別の例示的な深度カメラは、２つの標準カメラを使用して距離情報を三角法で測定するステレオカメラペアでありうる。同様に、「深度検知デバイス」という用語は、２次元のピクセル情報だけでなく、距離情報を得ることが可能な任意のタイプのデバイスをさす。

したがって、カメラ３００は、通常の２次元ビデオ画像の他にも、第３次元をキャプチャしマッピングする能力を備えうる。通常のカメラと同様に、深度カメラは、ビデオ画像を含む複数のピクセルの２次元データをキャプチャする。これらの値は、ピクセルに対するカラー値であり、一般に、各ピクセルに対して、赤、緑、および青（ＲＧＢ）の値である。この方法で、カメラによってキャプチャされたオブジェクトは、モニタ上に２次元オブジェクトとして現れる。しかしながら、従来のカメラとは異なり、深度カメラは、シーンの深度値を表すシーンのｚ成分もキャプチャする。深度値は、典型的に、ｚ軸に割り当てられるため、深度値は、ｚ値と呼ばれることが多い。

動作中、シーンの各ピクセルに対して、ｚ値がキャプチャされてもよい。各ｚ値は、カメラから、関連するピクセルに対応するシーンにある特定のオブジェクトまでの距離を表す。さらに、最大検出範囲が規定され、その最大検出範囲を超えると、深度値は検出されない。この最大検出範囲面は、ユーザ規定のオブジェクトトラッキングを提供するために、本発明の実施形態によって利用されうる。このように、深度カメラを用いると、各オブジェクトを３次元でトラッキングすることができる。その結果、本発明の実施形態のコンピュータシステムは、２次元ピクセルデータとともにｚ値を利用することで、ユーザに対して改良した３次元対話環境を生成することができる。深度解析に関する情報がさらに必要であれば、「System and Method for Providing a Real-time three dimensional interactive environment」という発明の名称であり、２００３年５月２９日に出願され、参照により本明細書に援用されたものとする米国特許出願第１０／４４８，６１４号明細書を参照されたい。

図３を再度参照すると、入力画像プロセッサ３０２は、制御オブジェクトのキャプチャしたビデオ画像（深度画像であってもよい）を信号に変換し、この信号は、出力画像プロセッサに送られる。一実施形態において、入力画像プロセッサ３０２は、深度情報によってキャプチャされたビデオ画像にある背景から制御オブジェクトを切り離し、制御オブジェクトの位置および／または動きに応答して出力信号を発声するようにプログラムされてもよい。出力画像プロセッサ３０４は、入力画像プロセッサ３０２から受信した信号に応答して、ビデオディスプレイデバイス３０６上でのオブジェクトの並進および／または回転運動を行うようにプログラムされてもよい。

本発明の上記および付加的な態様は、ソフトウェア命令を実行する１つ以上のプロセッサによって実施されてもよい。本発明の一実施形態によれば、単一のプロセッサが、入力画像処理と出力画像処理の両方を実行する。しかし、図面に示すように、また、説明を簡略化するために、処理動作は、入力画像プロセッサ３０２と出力画像プロセッサ３０４との間で分割されているものとして示されている。本発明は、２つ以上のプロセッサなど、いずれの特定のプロセッサ構造に限定されるものとして解釈されるべきではないことに留意されたい。図３に示す複数の処理ブロックは、説明するために便宜上、示しているにすぎない。

図４は、本明細書に記載する本発明の実施形態を実施するために構成されたコンピュータ処理システムの簡易ブロック図である。処理システムは、メインメモリ４２０に結合された中央処理装置（「ＣＰＵ」）４２４と、グラフィック処理装置（「ＧＰＵ」）４２６とを含むコンピュータベースのエンターテイメントシステムの実施形態であってもよい。ＣＰＵ４２４は、入出力プロセッサ（「ＩＯＰ」）バス４２８に結合されてもよい。一実施形態において、ＧＰＵ４２６は、ピクセルベースのグラフィックデータを高速処理するための内部バッファを含む。さらに、ＧＰＵ４２６は、出力処理部、言い換えれば、処理された画像データを標準的なテレビ信号、例えば、ＮＴＳＣまたはＰＡＬに変換し、エンタテインメントシステムまたはその要素の外部に接続されているディスプレイデバイス４２７に、そのテレビ信号を送信するための機能を含みうる。他の形態では、データ出力信号は、テレビモニタ以外のディスプレイデバイス、例えば、コンピュータモニタ、ＬＣＤ（液晶ディスプレイ）デバイス、またはその他のタイプのディスプレイデバイスなどに送られうる。

ＩＯＰバス４２８は、ＣＰＵ４２４をさまざまな入出力デバイスおよびその他のバスまたはデバイスに結合する。ＩＯＰバス４２８は、入出力プロセッサメモリ４３０、コントローラ４３２、メモリカード４３４、ユニバーサルシリアルバス（ＵＳＢ）ポート４３６、ＩＥＥＥ１３９４（ファイアワイヤインタフェースとしても周知）ポート４３８、およびバス４５０に接続されてもよい。バス４５０は、オペレーティングシステム（「ＯＳ」）ＲＯＭ４４０、フラッシュメモリ４４２、音声処理ユニット（「ＳＰＵ」）４４４、光ディスク制御４、およびハードディスクドライブ（「ＨＤＤ」）４４８を含むいくつかの他のシステムコンポーネントをＣＰＵ４２４に結合する。この実施形態の１つの態様において、ビデオキャプチャデバイスは、ＩＯＰバス４２８を介してＣＰＵ４２４への送信を行うためにＩＯＰバス４２８に直接接続され、ここで、ビデオキャプチャデバイスからのデータは、ＧＰＵ４２６にあるグラフィック画像を生成するために使用される値を変更または更新するために使用されうる。さらに、本発明の実施形態では、「METHOD AND APPARATUS FOR REAL TIME MOTION CAPTURE」という発明の名称であり、２００３年２月１１日に出願され、内容全体が参照により本明細書に援用されたものとする米国特許出願第１０／３６５，１２０号明細書に記載されているもののように、種々の画像処理構成および技術が用いられうる。コンピュータ処理システムは、セル（登録商標）プロセッサで実行されてもよい。

図５は、本発明の一実施形態による別の入力デバイスとして機能する操作用物体との併用に適応されたビデオゲームコンソールの各種コンポーネントの構成のブロック図である。例示的なゲームコンソール５１０には、コンソール５１０全体を制御するためのマルチプロセッサユニット（ＭＰＵ）５１２と、プログラムの各種操作およびデータ記憶に使用されてもよいメインメモリ５１４と、幾何学的処理に必要な浮動小数点のベクトル計算を実行するためのベクトル計算ユニット５１６と、ＭＰＵ５１２からの制御に基づいてデータを生成するとともに、ビデオ信号をモニタ１１０（例えば、ＣＲＴ）に出力するための画像プロセッサ５２０と、ＭＰＵ５１２またはベクトル計算ユニット５１６と画像プロセッサ５２０との間の伝送バス上で調停などを実行するためのグラフィックインタフェース（ＧＩＦ）５２２と、周辺機器との間でデータの送受信を行うための入出力ポート５２４と、例えば、カーネルなどの制御を実行するためのフラッシュメモリなどで構成された内部ＯＳＤ機能ＲＯＭ（ＯＳＤＲＯＭ）５２６と、カレンダ機能およびタイマ機能を備えたリアルタイムクロック５２８とが装備されてもよい。

メインメモリ５１４、ベクトル計算ユニット５１６、ＧＩＦ５２２、ＯＳＤＲＯＭ５２６、リアルタイムクロック（ＲＴＣ）５２８、および入出力ポート５２４は、データバス５３０を介してＭＰＵ５１２に接続される。また、バス５３０には、圧縮した動画およびテクスチャ画像を伸張して、画像データを展開するためのプロセッサである画像処理ユニット５３８が接続されてもよい。例えば、画像処理ユニット５３８は、ＭＰＥＧ２またはＭＰＥＧ４の標準フォーマットに従って、ビットストリームをデコードおよび展開する機能、マクロブロックをデコードする機能、逆離散コサイン変換、色空間変換、ベクトル量子化などを実行する機能を担いうる。

音声システムは、ＭＰＵ５１２からの命令に基づいて音楽やその他の音響効果を生成するための音声処理ユニットＳＰＵ５７１と、ＳＰＵ５７１によって記録されてもよい波形データの記憶場所であるサウンドバッファ５７３と、ＳＰＵ５７１によって生成された音楽やその他の音響効果を出力するためのスピーカ５７５とで構成されてもよい。なお、スピーカ５７５は、モニタ１１０の一部として組み込まれてもよく、あるいは、外部スピーカ５７５に取り付けられる別個のオーディーライン出力接続端子として設けられてもよいことを理解されたい。

バス５３０に接続され、本発明によるディジタルデータの入出力やディジタルコンテンツの入力を行う機能を備えたインタフェースである通信インタフェース５４０が設けられてもよい。例えば、オンラインビデオゲームの応用に対応できるように、通信インタフェース５４０を介して、ネットワーク上のサーバ端末との間でユーザ入力データが送信され、状態データが受信されてもよい。コンソール５１０に対してデータ（例えば、キー入力データまたは座標データ）を入力する入力デバイス５３２（コントローラとしても知られる）と、各種プログラムおよびデータ（すなわち、オブジェクトに関するデータ、テクスチャデータなど）を含むＣＤ−ＲＯＭなどの光ディスク５６９のコンテンツを再生する光ディスクデバイス５３６とが、入出力ポート５２４に接続されている。

本発明は、入出力ポート５２４に接続されてもよいディジタルビデオカメラ１０５をさらに含む。入出力ポート５２４は、シリアルインタフェースやＵＳＢインタフェースを含む１つ以上の入力インタフェースによって実装され、ディジタルビデオカメラ１９０は、ＵＳＢ入力や、カメラ１０５との併用に適した任意の他の従来のインタフェースを有利に利用してもよい。

上述した画像プロセッサ５２０は、レンダリングエンジン５７０と、インタフェース５７２と、画像メモリ５７４と、ディスプレイ制御デバイス５７６（例えば、プログラム可能なＣＲＴコントローラなど）とを含む。レンダリングエンジン５７０は、メモリインタフェース５７２を介して、ＭＰＵ５１２から送られるレンダリング命令によって、画像メモリにある所定の画像データをレンダリングする動作を実行する。レンダリングエンジン５７０は、例えば、ＮＴＳＣ方式またはＰＡＬ方式に準拠し、より詳細には、例えば、１／６０秒〜１／３０秒の間隔で１０〜数十回を超えるレートで、３２０×２４０ピクセルまたは６４０×４８０ピクセルの画像データをリアルタイムに描画できる機能を備える。

メモリインタフェース５７２とレンダリングエンジン５７０との間に、バス５７８が接続され、メモリインタフェース５７２と画像メモリ５７４との間に、第２のバス５８０が接続されてもよい。第１のバス５７８および第２のバス５８０のビット幅は、それぞれ、例えば、１２８ビットであり、レンダリングエンジン５７０は、画像メモリに対して高速レンダリング処理を実行可能であってもよい。画像メモリ５７４は、一元化されたメモリ構造を採用しており、例えば、この構造では、テクスチャレンダリング領域と表示レンダリング領域とを同じ領域に設定することができる。

ディスプレイコントローラ５７６は、光ディスクドライブ５３６によって光ディスクデバイス５６９から取得したテクスチャデータ、またはメインメモリ５１４に作成されたテクスチャデータを、メモリインタフェース５７２を介して、画像メモリ５７４のテクスチャレンダリング領域に書き込むような構造のものであってもよい。画像メモリ１７４の表示レンダリング領域に描画された画像データは、メモリインタフェース５７２を介して読み出されて、モニタ１１０に出力されることで、画像データがモニタ１１０のスクリーンに表示されてもよい。

図６は、本発明の一実施形態による、ユーザによるユーザ入力デバイスの操作中に、ユーザ入力デバイスに対応するピクセル群をトラッキングして判別するために使用される機能ブロックを示すブロック図である。ブロックが表している機能は、図５のゲームコンソール５１０にあるＭＰＵ５１２によって実行されてもよいソフトウェアによって実装されることを理解されたい。さらに、図６のブロックが表している機能のすべてが、各実施形態で使用されるわけではない。

最初に、カメラから入力されたピクセルデータは、入出力ポートインタフェース５２４を介してゲームコンソール５１０に送られ、これにより、以下のプロセスがゲームコンソール５１０で実行される。まず、画像の各ピクセルが、例えば、ラスタベースでサンプリングされると、色区分処理ステップＳ２０１が実行され、これによって、各ピクセルの色が決定されて、画像が色の異なるさまざまな２次元区分に分割される。次に、特定の実施形態で、色遷移定位ステップＳ２０３が実行され、これにより、色の異なる区分が隣接する領域がより詳細に決定されて、明確な色遷移が発生する画像の場所を特定する。次に、幾何学的処理Ｓ２０５のステップが実行され、このステップでは、実施形態に応じて、エッジ検出プロセスまたは面積の統計値の計算の実行が行われて、対象のオブジェクトのエッジに相当する線、曲線および／または多角形が代数的または幾何学的に定義される。

ステップＳ２０７において、本発明の好ましい実施形態に関して後述するアルゴリズムを用いて、オブジェクトの３次元の位置およびオリエンテーション、即ち向きや方向が計算される。性能を向上させるため、３次元の位置および向きや方向のデータに対して、カルマンフィルタリングの処理ステップＳ２０９が実行される。このような処理は、オブジェクトがある時点に存在する位置を概算し、正しいデータセットから外れていると考えられる起こり得ない誤った測定値を除去するために実行されてもよい。カルマンフィルタリングを実行する別の理由として、カメラ１０５は画像を３０Ｈｚで生成するが、典型的なディスプレイは６０Ｈｚで動作するため、カルマンフィルタリングによって、ゲームプログラムのアクションを制御するために使用されるデータのギャップが埋められることが挙げられる。カルマンフィルタリングによる離散データのスムージングは、コンピュータビジョンの分野では周知であり、ここでは詳述しない。

ユーザによって発せられる言語音や環境音などの音を受信し、その音を処理し、このような音に反応するようにユーザのアバターをプログラムすることも可能である。この実施形態において、図７の例で示すモニタ７０６が設けられてもよく、モニタ７０６は、画像キャプチャユニット７０６ｂおよび音声キャプチャユニット７０６ｂを含む。音源は、入力オブジェクト、デバイス、拍手、または足鳴らしによって生成されるノイズや任意のその他のノイズでありうる。次に、音声が、音声キャプチャユニット７０６ａによってキャプチャされ、対話するためにコンピュータシステム１０２（図１）によって処理される。音声命令が識別できるように、音声認識が用いられてもよい。さらに、ユーザは、インターネットやネットワークと接続し、ゲームの対話性に直接的または部分的に関与するリモートユーザと通信状態にあってもよい。

本発明の一実施形態によれば、音声キャプチャユニット７０６ａは、コンピュータシステム１０２が特定の方向から届く音を選択できるようにする少なくとも２つのマイクロホンを含むように構成されてもよい。一実施形態において、コンピュータシステム１０２は、環境にある散乱音声が、対話型プログラムの実行を妨げたり混乱させたりしないように対話性の中心にない方向からの音を除去するようにプログラミングされる。同様の方法で、音声キャプチャユニットは、強度値を確実に識別するために、ターゲットとなる焦点ゾーンからの音声を分離しうる。以下に記載するように、焦点ゾーンは、画像キャプチャユニット７０６ｂの焦点であるアクティブ画像領域によって識別されてもよい。別の方法では、焦点ゾーンは、初期段階後にユーザに与えられたゾーンの選択肢から手動で選択することもできる。別の実施形態において、各音声は、モニタ７０６に対して特定の方向からくる音声として、複数のマイクロホンを用いて識別される。ユーザのアバターは、以下にさらに詳細に記載するように、例えば、音源の方へ頭部を向けることによって、特定の音声に応答するようにプログラムされてもよい。

画像・音声キャプチャデバイス７０６は、画像キャプチャユニット７０６ｂと、音声キャプチャユニット７０６ａとを含む。画像・音声キャプチャデバイス７０６は、画像フレームをディジタルキャプチャした後、さらに処理するために、それらの画像フレームをコンピュータシステム１０２（図１）に転送することが可能であってもよい。画像キャプチャユニット７０６ｂの一例は、ウェブカメラであってもよく、このウェブカメラは、ビデオ画像をキャプチャし、その後、インターネットなどのネットワーク上で引き続き格納したり通信したりするために、コンピュータデバイスにディジタル転送することが望ましい場合に一般に使用されている。識別とフィルタリングが可能であるように画像データがディジタル処理される限り、アナログであれディジタルであれ、他のタイプの画像キャプチャデバイスも想定される。１つの好ましい実施形態において、フィルタリングが可能なディジタル処理は、入力データの受信後にソフトウェアにおいて実行されてもよい。一対のマイクロホン（ＭＩＣ１およびＭＩＣ２）を含む音声キャプチャユニット７０６ａが示されている。マイクロホンは、画像・音声キャプチャデバイス７０６を構成するハウジングに一体化可能でありうる標準的なマイクロホンである。

図８は、音声Ａおよび音声Ｂからの音源８１６がぶつかり合う場合の音声キャプチャユニット７０６ａを示す。図示するように、音声Ａは、可聴音を投射し、音声経路８０１ａおよび８０１ｂに沿ってＭＩＣ１およびＭＩＣ２によって検出される。音声Ｂは、音声経路８０２ａおよび８０２ｂ上を進んで、ＭＩＣ１およびＭＩＣ２の方に投射される。例示するように、音声Ａの音声経路の長さは、音声経路８０２ａおよび８０２ｂと比較すると異なるものであるため、比較的遅延する。次に、音声Ａおよび音声Ｂの各々からの音声は、図９に示すボックス９１６において方向選択が発生しうるように、標準的な三角測量アルゴリズムを用いて処理される。ＭＩＣ１およびＭＩＣ２からの音声の各々は、バッファ１および２（９１０ａ、９１０ｂ）においてバッファリングされ、遅延線（９１２ａ、９１２ｂ）を通過する。一実施形態において、バッファリングおよび遅延プロセスは、ソフトウェアによって制御されるが、同様の動作を取り扱えるように、ハードウェアをカスタム設計することもできる。三角測量に基づいて、方向選択９１６は、音源８１６の１つの識別および選択を引き起こす。

ＭＩＣ１およびＭＩＣ２の各々からの音声は、選択された音源の出力として出力される前に、ボックス９１４において合算される。このようにして、アクティブ画像領域の方向以外の方向からきた音声は、このような音源が、コンピュータシステム１０２（図１）によって処理を乱したり、ネットワークやインターネット上でビデオゲームを対話的にすることもある他のユーザとの通信を邪魔したりしないように除去される。この技術を利用したビデオゲームや他の応用は、音声キャプチャデバイスに対して所定の方向または選択された方向で焦点ゾーンから発せられる音声の強度値を確実に識別および定量化できる。

図１０は、本発明の一実施形態による、画像・音声キャプチャデバイス７０６と併用されてもよいコンピュータシステム１０５０を示す。コンピュータシステム１０５０は、プロセッサ１０５２と、メモリ１０５６とを含む。バス１０５４が、プロセッサおよびメモリ１０５６と画像・音声キャプチャデバイス７０６とを相互接続する。メモリ１０５６は、対話型プログラム１０５８の少なくとも一部を含み、受信した音源データを処理するための選択的音源聴音ロジックまたはコード１０６０をさらに含む。焦点ゾーンが画像キャプチャユニット７０６ｂによって識別される場所に基づいて、焦点ゾーンの外側にある音源は、（例えば、プロセッサによって実行され、メモリ１０５６に少なくとも部分的に格納される）選択的音源聴音ロジック１０６０によって選択的にフィルタリングされる。コンピュータシステムは、最も簡単な形態で示されているが、命令を処理して、入射音源の処理を行い、選択的に聴音できる限り、任意のハードウェア構造を使用できるということが重要視される。

コンピュータシステム１０５０はまた、バスを用いてディスプレイ１１０と相互接続されて示されている。この例において、焦点ゾーンは、音源Ｂの方へ焦点が向けられる画像キャプチャユニットによって識別されてもよい。音源Ａなどの他の音源からくる音声は、音声が音声キャプチャユニット７０６ａによってキャプチャされ、コンピュータシステム１０５０に転送されるとき、選択的音源聴音ロジック１０６０によって実質的に除去される。

１つの特定の例において、プレーヤが、別のユーザとインターネットまたはネットワーク上のビデオゲーム大会に参加でき、この場合、各ユーザは、主に、スピーカを用いることによって音を聴くことができる。スピーカは、コンピュータシステムの一部であってもよく、またはモニタ７０６の一部であってもよい。したがって、ローカルスピーカは、図４に示すように、音源Ａを生成してもよいものとする。音源Ａのローカルスピーカからきた音が対戦ユーザに戻らないようにするために、選択的音源聴音ロジック１０６０は、対戦ユーザに自らの音や声のハウリングが届かないように音源Ａの音声を除去する。このようなフィルタリングを行うことで、プロセス中の不快なハウリングを有利に回避しながら、ビデオゲームとの接続中にネットワーク上で対話型の通信を行うことが可能である。

図１１は、少なくとも４つのマイクロホン（ＭＩＣ１〜ＭＩＣ４）を含む例示的なモニタ７０６を示す。したがって、音声キャプチャユニット７０６ａは、音源８１６（ＡおよびＢ）の場所を識別するために、粒度が良好な三角測量を行うことが可能である。すなわち、追加のマイクロホンを設けることによって、音源の場所をより正確に特定し、ひいては、対象ではない音源や、ゲームプレイにとって有害となりうる音源またはコンピュータシステムと対話的に有害となりうる音源を削除および除去することが可能である。図１０に示すように、音源８１６（Ｂ）は、ビデオキャプチャユニット７０６ｂによって識別されている対象となる音源であってもよい。図１０の例に続いて、図１１は、音源Ｂが空間体積に対してどのように識別されるかを示す。

音源Ｂが位置する空間体積は、焦点体積１１７４を画成する。焦点体積を識別することによって、特定の体積内にない（すなわち、ある方向にない）ノイズを削除または除去することが可能である。焦点体積１１７４を選択するために、画像・音声キャプチャデバイスモニタ７０６は、少なくとも４つのマイクロホンを含むことが好ましい。マイクロホンの少なくとも１つは、マイクロホンのうちの他の３つとは異なる平面にある。マイクロホンのうちの１つを画像・音声キャプチャデバイスモニタ７０６の平面１１７１に維持し、４つのうちの残りをモニタ７０６の平面１１７０に維持することによって、空間体積を画成することが可能である。

結果的に、近くにいる他の人（１１７６ａおよび１１７６ｂで示す）からのノイズは、焦点体積１１７４に画成された空間体積内にないため除去される。さらに、スピーカ１１７６ｃによって示すように、空間体積の外側で生成されることもあるノイズも、空間体積の外側にあるため除去される。

以下、図１２〜図１４を参照しながら、フィルタリングアルゴリズムの例示的な実施について記載する。この実施例では、マイクロホンアレイを介したポータブル民生機器に関連するオーディオ入力システムが提供される。ボイス入力システムは、複数のノイズ信号からターゲットオーディオ信号を分離可能なものであってもよい。さらに、マイクロホンアレイが取り付けられたポータブル民生機器の動きには何ら制約がない。マイクロホンアレイフレームワークは、本発明の一実施形態において、４つのメインモジュールを含む。第１のモジュールは、音響エコーキャンセレーション（ＡＥＣ）モジュールであってもよい。ＡＥＣモジュールは、ポータブル民生機器が生成したノイズを打ち消すように構成されてもよい。例えば、ポータブル民生機器がビデオゲームコントローラである場合、ビデオゲームプレイに関連するノイズ、すなわち、音楽、爆発音、声などはすべて既知のものである。このように、マイクロホンアレイのマイクロホンセンサの各々からの信号に適用されるフィルタが、これらの既知のデバイス生成ノイズを除去してもよい。別の実施形態において、ＡＥＣモジュールは、オプションであってもよく、以下に記載するモジュールとともに含まれなくてもよい。音響エコーキャンセレーションに関するさらなる詳細については、「Frequency-Domain and Multirate Adaptive Filtering」（John J. Shynk，IEEE Signal Processing Magazine， pp. 14-37，January 1992）の文献を参照されたい。この文献は、参照により本明細書に援用されたものとする。

図１２は、本発明の一実施形態による、リスニング方向からのものではない信号を抑制するように構成されたアレイビーム形成モジュールを示す簡易略図である。一実施形態において、ビーム形成は、フィルタ・加算ビーム形成に基づいたものであってもよい。信号通過フィルタとも呼ばれる有限インパルス応答（ＦＩＲ）フィルタは、適応型のものであってもよいアレイ較正プロセスによって生成される。このように、ビーム形成は、本質的に、センサアレイを物理的に動かすことなく、音源信号２０２８の方へ、すなわち、リスニング方向にビームをトラッキングし方向付けうる適応ビーム形成器であってもよい。焦点方向からの信号を高めうる方法をさすビーム形成が、マイクロホンセンサ１２１２−１〜１２１２−Ｍを所望のターゲット信号にアルゴリズム的に（物理的ではなく）方向付けるためのプロセスとして考えられてもよいことは、当業者に明らかであろう。センサ１２１２−１〜１２１２−Ｍの視野方向は、ビーム形成方向またはリスニング方向と呼ばれることもあり、ランタイム時、固定されたものでも適応性のものであってもよい。

ビーム形成の基本的な考え方は、所望の音源からの音声信号が、異なる時間遅延でマイクロホンセンサアレイに届くというものである。アレイの幾何学的配置は予め較正されているため、音源とセンサアレイとの間の経路長の相違は、既知のパラメータである。したがって、異なるセンサからの信号を時間的に整合するために、相互相関と呼ぶプロセスが用いられてもよい。さまざまなセンサからの時間的整合信号は、ビーム形成方向に従って加重される。次に、加重信号は、センサ固有のノイズキャンセレーションセットアップの点でフィルタリングされ、すなわち、各センサが、整合フィルタＦ１１２４２−１〜ＦＭ１２４２−Ｍと呼ぶフィルタに関連付けられてもよく、各フィルタは、信号通過フィルタ１２６２に含まれる。次に、各センサからのフィルタリング信号は、出力Ｚ（ω，θ）を生成するために、モジュール１２７２を介して合算される。上述したプロセスは、自動相関と呼ばれてもよいことを認識されたい。さらに、ビーム形成方向に沿って存在しない信号が、時間軸に沿って整合されないままであるため、これらの信号は、平均化によって減衰される。アレイベースのキャプチャシステムには共通していることだが、所望の空間方向（直線の幾何学的配置を用いる）または空間体積（凸幾何学的配置を用いる）から音声をキャプチャするためのマイクロホンアレイの全性能は、音源の位置を特定しトラッキングする能力に依存する。しかしながら、複雑な残響ノイズがある環境、例えば、ビデオゲーム環境では、環境固有のパラメータを統合することなく、一般的に音声位置特定トラッキングシステムを構築することが現実的に実行不可能である。

さらに図１２を参照すると、適応ビーム形成は、他の形態において、２部構成のプロセスとして説明されてもよい。第１部において、側面衝突ノイズは、遠距離にあるものとされる。すなわち、音源１２２８からマイクロホンの中心１２１２−１〜１２１２−Ｍまでの距離は十分に長いため、音源１２２８は、最初、マイクロホンセンサの各々の垂線に位置すると仮定されてもよく、例えば、マイクロホンセンサ１２１２−ｍを参照すると、音源は、垂線１２３６に沿った位置にあることになる。このように、側面衝突ノイズは、この場合、本明細書においてＦ１と呼ぶフィルタを適用することによって高められるものとしてもよい。次に、周期的に較正されてもよい信号通過フィルタが、マイクロホンセンサアレイが動きに適応できるようにする、Ｆ２と呼ばれるファクタを決定するように構成されてもよい。Ｆ２の決定については、適応アレイ較正モジュールを参照しながらさらに説明する。一実施形態において、信号通過フィルタは、１００ミリ秒ごとに較正されてもよい。このように、信号通過フィルタは、１００ミリ秒ごとに固定ビーム形成に適用されてもよい。一実施形態において、整合フィルタ１２４２−１〜１２４２−Ｍは、各マイクロホンにステアリングファクタを供給することによって、ライン１２３８−１〜１２３８−Ｍによって示されるリスニング方向を調節する。正弦波の遠視野平面波が、図１２の入射角θでセンサへ伝播すると考えると、２つの隣接するセンサ間の距離ｄを平面波が進行するための時間遅延は、ｄｍｃｏｓθによって与えられるものであってもよい。固定ビーム形成に関するさらなる詳細については、「Beamforming: A Versatile Approach to Spatial Filtering」（Barry D. Van Veen and Kevin M. Buckley, IEEE ASSP MAGAZINE April 1988）の文献を参照されたい。この文献は、参照により本明細書に援用されたものとする。

図１３は、オーディオ信号のノイズと音源信号成分とを分離するためのブラインド音源分離方式を示す高水準略図を示す。オーディオ信号内の音源信号およびノイズが明確に分からないこともあることを認識されたい。しかしながら、音源信号とノイズの特性が異なることは知られている。例えば、第１のスピーカのオーディオ信号は、第２のスピーカのオーディオ信号とは区別され、その理由として、スピーカの声が異なることと、ノイズの種類も異なることとが挙げられる。このように、ノイズおよび音源信号を含む入射オーディオ信号を表すデータ１３５０は、データマイニング動作によって、ノイズ成分１３５２および音源信号１３５４に分離されてもよい。次に、分離フィルタ１３６０は、音源信号１３５０をノイズ信号１３５２から分離する。

当業者であれば、データマイニングを実行するための１つの方法が、本発明の一実施形態による二次統計によって、データを解析し、独立成分を見つける独立成分分析（ＩＣＡ）によるものであってもよいことを認識するであろう。このように、さまざまな音声を区別する音紋をキャプチャするために、データの特性を記述または規定するように二次統計が算出されてもよい。次に、分離フィルタは、音源信号とノイズ信号とを分離するようにされてもよい。音紋の計算は、周期的に実行されてもよいことを認識されたい。このように、ブラインド音源分離を利用するこの適応アレイ較正プロセスによって、リスニング方向が各期間に調節されてもよい。信号が分離フィルタ１３６０によって分離されると、トラッキング問題が解決されるであろうことは、当業者には明らかであろう。すなわち、センサアレイの複数のマイクロホンに基づいて、遅延の到着時間が、音源信号１３５４をトラッキングするさいに使用するために決定されてもよい。当業者であれば、上記で二次統計と呼んだものは、自動相関または相互相関方式と呼ばれてもよいことを認識するであろう。二次統計を用いたブラインド音源分離に関するさらなる詳細については、「System Identification Using Non-Stationary Signals」（O. Shalvi and E. Weinstein, IEEE Transactions on Signal Processing, vol-44(no.8): 2055-2063, August, 1996）の文献を参照されたい。この文献は、参照により本明細書に援用されたものとする。

図１４は、適応ノイズキャンセレーションを組み込んだマイクロホンアレイフレームワークを示す略図である。ノイズおよび音源信号を含むオーディオ信号１４６６が、ポータブル民生機器１０２、例えば、ビデオゲームコンソールまたはコンピュータデバイスに取り付けられたもよいマイクロホンセンサアレイを介して受信されてもよい。次に、ポータブル民生機器１０２によって受信されたオーディオ信号は、音響エコーキャンセレーション（ＡＥＣ）モジュール１４６８を介して予め処理されてもよい。この場合、音響エコーキャンセレーションは、参照により本明細書に援用されたものとする米国特許出願第１０／６５０，４０９号明細書に一例として記載されているように実行されてもよい。マイクロホンアレイにあるマイクロホンセンサの数に対応する信号Ｚ１〜ＺＭが生成され、チャネル１４７０−１〜１４７０−Ｍ上で分配される。チャネル１４７０−１が基準チャネルであってもよいことを認識されたい。次に、対応する信号は、フィルタ・加算モジュール１２６２に送られる。フィルタ・加算モジュール１２６２が、図２０を参照しながら上述したような適応ビーム形成を実行することを認識されたい。同時に、チャネル１４７０−１〜１４７０−Ｍからの信号が、ブロックフィルタ１４６４に送られる。

ブロックフィルタ１４６４は、ターゲット信号がノイズと見なされる場合、逆ビーム形成を実行するように構成されてもよい。このように、ブロックフィルタ１４６４は、音源信号を減衰し、ノイズを高める。すなわち、ブロックフィルタ１４６４は、適応ビーム形成プロセスによって形成された較正係数Ｆ２の逆数と見なされてもよい較正係数Ｆ３を決定するために較正されてもよい。当業者であれば、図１３を参照しながら言及した適応アレイ較正が、本明細書に記載するプロセスの背景で起こることを認識されたい。フィルタ・加算モジュール１２６２およびブロックフィルタモジュール１４６４が、分離フィルタ１３６０を構成する。次に、ノイズが高められた信号Ｕ２〜ＵＭが、対応する適応フィルタ１４７５−２〜１４７５−Ｍのそれぞれに送信される。適応フィルタ１４７５−２〜１４７５−Ｍは、適応フィルタモジュール１４７４に含まれる。この場合、適応フィルタ１４７５−２〜１４７５−Ｍは、モジュール１４７６の加算動作の対応する信号を整合するように構成される。当業者であれば、ノイズは定常のものでなくてもよく、したがって、信号は、加算動作の前に整合されなければならないことを認識するであろう。

次に、図１４をさらに参照すると、モジュール１４７６の加算動作からの信号は、加算動作モジュール１４７８を介して低減されたノイズ信号を与えるために、モジュール１４７２の加算動作からの信号出力と結合されてもよい。すなわち、モジュール１４７２の高められた信号出力は、所望の音源信号を高める方法でモジュール１４７６からの高められたノイズ信号と結合されてもよい。ブロック１４８０が、適応ノイズキャンセレーション動作を表すことを認識されたい。さらに、背景で行われていたアレイ較正は、一実施形態において、検出された信号対雑音比がゼロデシベルを超えるものである限り、１００ミリ秒ごとに起こるものであってもよい。上述したように、アレイ較正は、フィルタ・加算ビーム形成器１２６２に使用される信号通過フィルタと、信号対雑音比が−１００デシベル未満のものであってもよい純干渉を生成する信号ブロックフィルタ１４６４とを更新する。

一実施形態において、マイクロホンセンサアレイの出力信号は、ベイズの統計モデリングによる人依存のボイススペクトルフィルタリングに基づいて、声の質をさらに上げるために、後処理モジュールに送られてもよい。ボイススペクトルフィルタリングに関してのさらなる情報については、「Speech Enhancement Using a Mixture- Maximum Model」（David Burshtein, IEEE Transactions on Speech and Audio Processing vol. 10, No. 6, September 2002）を参照されたい。この文献は、参照により本明細書に援用されたものとする。本明細書において記述する信号処理アルゴリズムは、周波数領域で実行されることを認識されたい。さらに、リアルタイム信号応答に達するために、高速かつ高効率の高速フーリエ変換（ＦＦＴ）が適用されてもよい。一実施形態において、実装するソフトウェアには、信号入力チャンクごとに１０２４の窓長を有する２５ＦＦＴ演算が必要である（１６ｋＨｚサンプリングレートで５１２信号サンプル）。音響エコーキャンセレーションおよびベイズモデルベースのボイススペクトルフィルタリングを適用せずに、等間隔の直線形状に設けられた４センサマイクロホンアレイの例示的な場合において、関与する全計算は、約２５０メガ浮動小数点演算（２５０メガフロップス）であってもよい。

図１４をさらに参照すると、分離フィルタ１３６０が、ＱＲ直交化法によって、値域と零空間にある２つの直交成分に分解されてもよい。すなわち、信号ブロックフィルタ係数Ｆ３は、零空間から得られてもよく、信号通過フィルタ係数Ｆ２は、値域空間から得られてもよい。このプロセスは、一般化サイドローブキャンセラ（ＧＳＣ）アプローチとして特徴付けられてもよい。ＧＳＣアプローチのさらなる詳細については、上記に参照によりすでに援用した「Beamforming: A Versatile Approach to Spatial Filtering」というタイトルの文献を参照されたい。

上述した実施形態には、高ノイズ環境においてオーディオ入力を与えるための方法およびシステムが記載されている。オーディオ入力システムは、ビデオゲームコントローラ、例えば、ソニー・プレイステーション２（登録商標）ビデオゲームコントローラや任意のその他の適切なビデオゲームコントローラに備えられてもよいマイクロホンアレイを含む。マイクロホンアレイは、ビデオゲームコントローラの動きに何ら制約を課すことがないように構成されてもよい。マイクロホンアレイのマイクロホンセンサによって受信された信号は、前景スピーカまたはオーディオ信号と、室内反響を含むさまざまな背景ノイズとを含むように仮定される。さまざまなセンサからの背景と前景との間の時間遅延が異なることもあるため、周波数スペクトル領域における二次統計は、互いから独立したものであり、したがって、信号は、周波数成分ベースで分離されてもよい。次に、分離された信号周波数成分は、前景の所望のオーディオ信号を再構築するように再結合される。本明細書に記載する実施形態において、ビデオゲームに命令を発したり、ノイズ環境内で他のプレーヤと通信したりするためのリアルタイムボイス入力システムが定義されることをさらに認識されたい。他の実施形態において、オーディオプロセッサは、特定の音声の発生源方向を識別可能であり、その情報をソフトウェアに渡すことで、以下に記載するように、アバターの頭部を音のする方へ向け、例えば、ドアが閉まる音など、音の種類が識別されれば、その音の種類に応答するようにアバターを方向付けることによって、音に応答することができる。

ビデオゲームコントローラが、典型的に、ゲーム内でのアクションを制御するために、ビデオゲームプログラムに入力を与えるためのボタン、つまみ、および／またはジョイスティックを有するハンドヘルドデバイスであってもよい。空間内でのコントローラの動きおよび／または回転を検知することによって、コントローラにさらなる機能を追加することが望ましい。このようにして、ユーザが、スクリーン上のアクションに対する感情的な応答としてコントローラを回したり動かしたりすると、ユーザのアバターも同じように動くことができる。例えば、ユーザは、コントローラを操作して仮想レースカーを操縦しているとき、特に急なカーブに対しての感情的な応答として、コントローラデバイス全体を傾けることもある。次に、図１〜図１４を参照しながら上述したように、この動きは、画像キャプチャデバイスによって検知されうる。

従来、ビデオゲームコントローラは、ケーブルを通して、または利用可能な赤外線または高周波数（ＲＦ）インタフェースの１つ以上を用いてワイヤレスでアナログ信号および／またはディジタルデータのストリームを提供する。複数プレーヤゲームの場合、コンピュータシステムを備える電子通信機器（例えば、ゲームコンソール）に、２つ以上のコントローラが配置されてもよい。プログラムと対話する人にはそれぞれ、番号、例えば、「プレーヤ１」、「プレーヤ２」などが割り当てられてもよい。ゲームコントローラがシステムに接続されると、各ユーザは、コントローラが接続されているポート番号に従って、番号が割り当てられうる。このように、コンピュータゲームに４つのポートがあれば、プレーヤ１は、ポート番号１に接続され、プレーヤ２は、ポート番号２に接続され、以下同様である。ワイヤレスコントローラにより、プレーヤは、ワイヤレスチャネルや他のハンドシェイクプロトコル機構に基づいて、自分のプレーヤ番号を選択でき、コントローラは、プレーヤ１、プレーヤ２などと識別することができる。

図１５および図１６は、画像キャプチャデバイス１０５（図１）と対話する例示的なコントローラ１５００を示す。コントローラ１５００は、さまざまなボタンおよびジョイスティックを含む複数の対話型デバイスを含むインタフェース１５０２を含む。本明細書に記述するコントローラは、有線または無線のいずれかでありうる。ワイファイ、ブルートゥース（登録商標）などの技術、ＩＲ、音声、および発光体は、ゲームコンソールなどのコンピュータと対話するように機能するものであってもよい。一実施形態において、コントローラ１５００は、ＬＥＤアレイ１５０５を有する。ＬＥＤアレイは、さまざまなレイアウトで構成され、例えば、架空の矩形状または正方形状の結合枠の頂点に各ＬＥＤが位置付けられてもよい２×２スタックで構成されてもよい。画像キャプチャデバイスによって生じる画像平面に投射されるときに結合枠の位置および変形をトラッキングすることによって、その変換および変形は、コントローラの位置および向きや方向の情報を解読するために、ビデオアナライザにおいて解析されてもよい。ＬＥＤアレイ１５０５は、赤外線または可視光を生成してもよい。画像キャプチャデバイス１０５（図１）は、さまざまな他の本発明の実施形態を参照しながら上述したように、ＬＥＤアレイ１５０５を識別しうる。各コントローラは、例えば、ユーザがプレーヤ番号１〜４を選択できるスイッチ１５１０を使って、プレーヤ１からプレーヤ４として指定されてもよい。各プレーヤ番号の選択は、ＬＥＤアレイ１５０５によって照明されるＬＥＤの固有パターンまたは変調に対応する。例えば、プレーヤ１の場合、１番目、３番目、および５番目のＬＥＤが照明される。このようなプレーヤ情報は、複数のビデオフレームにわたって経時的に繰り返し符号化され送信されてもよい。コントローラまたはデバイスＬＥＤが、トラッキングモードと送信モードとの間でスイッチ可能であるように、交互配置に係合することが望ましいこともある。トラッキングモードでは、サイクルの第１の部分の間、すべてのＬＥＤがオンにされてもよい。送信モードでは、サイクルの第２の部分の間、情報がＬＥＤによって変調されてもよい。時間の経過とともに、ＬＥＤは、トラッキングおよび通信情報を、ビデオアナライザまたは信号を受信可能な適切なデバイスに送信する。送信モードにおいて、ＬＥＤは、プレーヤのＩＤを表す情報を符号化してもよい。周期およびデューティーサイクルは、トラッキング速度、発光体条件、コントローラの数などに対応するように選択されてもよい。通信およびトラッキング情報を交互に配置することによって、ビデオキャプチャデバイスに、各コントローラに対してトラッキングパラメータを算出し、コントローラ間を区別するのに十分な情報が供給されてもよい。このような区別は、位置および向きや方向やコントローラの動きの他の計測値をモニタリングおよびトラッキングするときに、各物理的コントローラを隔離するためにビデオアナライザにおいて用いられてもよい。

送信モードにおいて、命令や状態情報を含む他の情報が、コントローラまたはデバイスＬＥＤによって、既知の符号化および変調方式に従って送信されてもよい。受信機側では、ビデオキャプチャデバイスに結合されたビデオアナライザが、ＬＥＤの状態と同期し、その状態をトラッキングし、その情報およびコントローラの動きを復号化してもよい。送信モードサイクルにおいてフレームにわたってデータを変調することによって、高い帯域幅が達成されてもよいことが知られている。

インタフェース１５０２とのユーザ対話により、ＬＥＤアレイ１５０５にあるＬＥＤの１つ以上の色が、変調および／または変更されてもよい。例えば、ユーザがジョイスティックを動かすと、ＬＥＤが、輝度を変更し、または情報を送信してもよい。さらに、各ボタンは、ＬＥＤアレイ１５０５にあるＬＥＤの１つ以上の色または強度の変更にマッピングされてもよい。

コントローラ１５００が、３次元空間で動き回され、回転、揺れ、またはピッチ方向（図１９を参照しながら以下にさらに詳細に説明する）の１つで回転すると、コンピュータシステム１０２（図１）と併せて画像キャプチャデバイス１０５が、これらの変更を識別し、画像平面上の動きを記述するための２次元ベクトル、または３次元空間での動きを記述するための３次元ベクトルとを生成可能であってもよい。ベクトルは、相対運動を記述する一連の座標および／または画像キャプチャデバイス１０５に対しての絶対位置として与えられうる。当業者に明らかなように、画像キャプチャデバイス１０５の見通し線に垂直な平面（画像平面）上での動きが、画像キャプチャゾーン内における絶対位置によって識別されえ、その一方で、画像キャプチャデバイス１０５により近い位置のコントローラ１５００の動きは、広がったように見えるＬＥＤアレイ１５０５によって識別可能であり、すなわち、画像平面上での第１のＬＥＤと最後のＬＥＤとの間の距離が、画像キャプチャデバイスからの距離を算出するために測定されうる。

図１７および図１８ａは、矩形状の構成のＬＥＤ１７０５を有するコントローラ１７００を示し、コントローラ１７００が３つの各軸の周りで回転する動きを検出できる。ＬＥＤだけが示されているが、これは、例示的な目的でしかなく、平面上に分布され、同一線上には分布されない任意の数のＬＥＤも可能である。コントローラ１７００が、前方または後方に位置を変えることもあるため、上部および下部ＬＥＤは、左側および右側ＬＥＤが同じ距離引き離されたままの状態で、互いにより近づけられてもよい。同様に、コントローラ１７００が、左または右に揺れると、左側および右側ＬＥＤは、上部および下部ＬＥＤが同じ距離引き離されたままの状態で、互いに近づくようになる。コントローラ１７００の回転運動が、画像平面上でのＬＥＤの向きを識別することによって検出されうる。コントローラが、見通し線に沿って画像キャプチャデバイス１０５に近づく方向に移動するとき、すべてのＬＥＤは、広がっているように見える。最後に、画像平面に沿ったコントローラの動きは、画像平面上でのＬＥＤの場所を識別し、それによって、ｘ軸とｙ軸のそれぞれに沿った動きを識別することによってトラッキングされうる。図１５および図１６を参照しながら上述したように、ＬＥＤ変調が、インタフェース１７０２とのユーザ対話を識別するように使用されうる。

図１８ｂは、別の実施形態によるコントローラ１８２０を示し、コントローラ１８２０は、ＬＥＤ１８２２と、スピーカ１８２４と、マイクロホン１８２６とを組み込んでいる。ＬＥＤ１８２２は、画像キャプチャデバイスを用いて位置および向きや方向情報を提供し、スピーカ１８２４が、可聴音または超音波を生成でき、図７〜図１４を参照しながら上述したようなオーディオモニタを用いて、音響効果および／または通信を与える。マイクロホン１８２６は、システムに音声入力を与え、音声命令を発するために、またはオンラインの複数プレーヤ環境において他のプレーヤと通信するために使用されうる。

図１８ｃは、コントローラ１８３０の背面パネル上の中心に位置するスピーカ１８３４とともに、矩形状の構成でＬＥＤ１８３２を有するコントローラ１８３０を示す。図１８ｄは、弧状に配設された５つのＬＥＤアレイ１８４２を有するコントローラ１８４０を示す。図１８ｅは、幅広い矩形状に配設されたＬＥＤを有するコントローラ１８５０を示す。図１８ｆは、まとめて配設された６つのＬＥＤ１８６２を有するコントローラ１８６０を示す。当業者であれば、他のＬＥＤ構成が可能であることを認識されたい。

図１９は、多数の制御装置および動作検知デバイス１９０５を含むインタフェース１９０２を有するコントローラ１９００を示す。一実施形態において、動作検知デバイス１９０５が、３軸加速度計であってもよい。加速度計が、一般に、電子機器の分野において既知のものであり、典型的に、運動量の変化に応答する構造と、その応答を検出するセンサとを有する小さな固体デバイスを含む。小型加速度計は、回転運動だけでなく、並進運動を検知するために利用可能である。並進運動は、ｘ軸、ｙ軸、およびｚ軸に沿った運動である。回転運動は、ｘ軸、ｙ軸、およびｚ軸の１つ以上の周りの回転である。並進運動を検出する加速度計は、重力の引っ張り方向を検知し、したがって、重力の引っ張りに対してデバイス（ゲームコントローラなど）の絶対的な向きや方向を識別しうる。コントローラ１９００は、コントローラ１９００内に含まれる回路（図示せず）によって受信されたディジタルデータを生成する並進検知加速度計１９０５を含む。ディジタルデータは、デバイスにかかる重力による引張り力から決定可能な、デバイスの並進運動ベクトルおよび向きや方向に変換されうる。このようにして、回路は、コントローラ１９００の動きおよび向きや方向を識別し、ケーブル、赤外線、または無線接続などを介して、当業者に一般に既知の方法で、このデータを、インタフェース１９０２のさまざまな制御装置とユーザ対話を表す他のデータとともに、ゲームコンソールに送信する。また、画像キャプチャデバイスによって見るためのＬＥＤ変調にデータを符号化することも可能である。デバイスによってキャプチャされる動きは、絶対位置および向きや方向の情報（初期位置を発生源とする）および／または位置および向きや方向の変化として表しうる。

図２０は、コントローラ２０００の動きをコンピュータプログラムに伝える例示的なプロシージャを示すフローチャート２０００を示す。プロシージャは、図示するように、開始ブロック２００２によって始まり、ゲームコントローラの動きが検出されてもよい動作２００４に進む。一実施形態において、加速度計を用いて検出可能であるコントローラの運動量の変化を検出することによって、動きを検出してもよい。次に、運動量の変化は、運動ベクトルおよび／または初期発生源からの絶対位置と、重力の引っ張りを表すベクトルに変換され、コントローラ２０００の向きや方向を識別する。運動、位置、および方向ベクトルは、一連の座標として表されうる。動作２００４において、ゲームコントローラ２０００の動きを検出した後、プロシージャは、検出された動きを表すデータが、データを要求したプログラムに送られてもよく、または他の方法でデータを受信してもよい。

特定の実施形態において、コントローラを含む１つ以上の入力オブジェクトのコントローラプレーヤ番号、向きや方向、および／または位置を決定するための上述した画像またはオーディオ処理機能が、コンピュータシステム上で実行するプロセスにおいて実行されてもよい。コンピュータシステムはまた、ゲームアプリケーションであってもよいメインプロセスを実行してもよく、このプロセスでは、強度値、コントローラプレーヤ番号、コントローラを含む１つ以上の入力オブジェクトの向きや方向および／または位置、コントローラの作動などを含むデータなど、画像またはオーディオ処理から生成されたデータを要求し、または他の方法で受信する。さまざまな実施形態において、画像および／またはオーディオ処理機能を実行するプロセスは、ビデオカメラまたはビデオ／オーディオモニタリングデバイス用のドライバであってもよく、ドライバは、当業者に一般に既知であり理解されるように、実装時固有のものであってもよい任意のタイプのプロセス間の通信を介して、データをメインプロセスに与える。画像またはオーディオ処理を実行するプロセスは、ゲームや他のソフトウェアを実行するものと同じプロセッサまたは異なるプロセッサで実行される。同じプロセスにおいて、例えば、手続き呼出しを用いて、画像またはオーディオ処理と、ゲーム機能との両方に共通したプロセスを有することも可能である。したがって、「プログラムに」強度値やその他の情報が与えられてもよいことを本明細書において述べていることもあるが、本発明は、単一のプロセスで画像処理機能とゲーム機能との両方を実行しうるように、手続き呼出しまたはその他のソフトウェア機能を用いて、プロセスの１つのルーチンにこのようなデータを与えることを伴いとともに、これらの機能を異なるプロセスに分離することで、共通のプロセッサコアまたは複数のプロセッサコアに実行してもよい１つ以上のプロセスが、本明細書に記載するように、画像および／またはオーディオ処理を実行し、別のプロセスがゲーム機能を実行することを認識されたい。

図２１は、本発明の一実施形態による言語的および非言語的コミュニケーションを改善し高めるためのシステムの高水準概要の簡易ブロック図である。図２１に示すように、システム２１００が、少なくとも１つのコントローラ２１０２Ａ、少なくとも１つの周辺マイクロホン２１０２Ｂ、少なくとも１つのビデオカメラ２１０２Ｃ、および少なくとも１つのプレーヤマイクロホン２１０２Ｄからデータを入力可能である。

ビデオカメラ２１０２Ｃからのビデオ入力は、最初、入力ユニット１０４に送られる。入力ユニットは、回路またはソフトウェア制御されたドライバの形態のものでありうる。次に、ビデオ入力は、ビデオキャプチャユニット２１１２に送られ、ビデオ認識・トラッキングユニット２１１６によってさらに処理される。ビデオ認識・トラッキングユニット２１１６は、ユーザの動きとともに、ユーザの顔の特徴や身体部位を認識しうる。さらに、ビデオ認識・トラッキングユニット２１１６は、背景環境、およびキャプチャ画像内にあるその他の要素をキャプチャ可能であってもよい。フレームプロセッサ２１２０が、ビデオ認識・トラッキングユニット２１１６からの出力を用いて、ビデオ効果ライブラリ２１０８からのビデオを加えて画像を補いうる。ビデオ効果ライブラリ２１０８は、所定のビデオ効果２１０８Ａおよびカスタムビデオ効果２１０８Ｂとして示す少なくとも２つのライブラリを含み、ユーザによって選択的に適用され、またはシステム２１００によって自動的に供給されうる。ビデオ効果ライブラリ２１０８は、ライブラリに所定のカスタムビデオ効果がある限り、ライブラリの数を増減させることも可能である。動作中、フレームプロセッサは、ビデオ出力２１３２として示され、ユーザに表示される最終画像を算出し出力するグラフィックプロセッサ／レンダラ２１２４にデータを出力する。グラフィックプロセッサ／レンダラ２１２４はまた、システム２１００の状態に関する情報を通信リンク２１２６に送る。

周辺マイクロホン２１０２Ｂおよびプレーヤマイクロホン２１０２Ｄからのオーディオ入力は、最初、入力ユニット２１０４を通過し、次に、キャプチャされたデータを音声認識ユニット２１１４に送ってもよい音声キャプチャユニットによってキャプチャされてもよい。次に、音声データは、音響効果ライブラリ２１０６からの入力を受信しうる音声プロセッサ２１１８に送られてもよい。音響効果ライブラリ２１０６は、所定の音響効果２１０６Ａおよびカスタム音響効果２１０６Ｂとして示す少なくとも２つのライブラリを含み、ユーザによって選択的に適用され、またはシステム２１００によって自動的に供給されうる。音響効果ライブラリは、ライブラリに所定のカスタムオーディオ効果がある限り、ライブラリの数を増減させることも可能である。一実施形態において、音声プロセッサ２１１８は、オーディオ出力２１３０として示すシステム２１００の最終混合音声を出力し、システム２１００の状態に関する情報を通信リンク２１２６に送る。

一実施形態において、通信リンク２１２６は、システム２１００をネットワーク２１２８に接続し、このネットワーク２１２８は、システム２１００と対話可能であり、リモートユーザ（図示せず）によって作動されたリモートシステム２１５０とシステム２１００とを接続しうる。図２１は、ネットワーク２１２８を介して単一のリモートシステム２１５０に接続されているシステム２１００を示すが、複数のリモートシステム２１５０およびそれらに対応するユーザが、ネットワーク２１２８を介してシステム２１００に接続されてもよいことを理解されたい。リモートシステム２１５０は、システム２１００から受信したデータに基づいて、システム２１００の状態を理解可能である。リモートシステム２１５０は、オーディオ出力２１５４およびビデオ出力２１５２を生成する前に、システム２１００の状態に関する情報と、リモートユーザからの入力とを結合する。

図２２Ａは、本発明の一実施形態による、レースの対戦中の２人のプレーヤから見たスクリーンを示す。運転シミュレーションゲームを基にしたこの例で、本発明に関するさらなる本質が分かるであろう。この例では、２人のプレーヤが、ゲームプレイ中にアバターに感情的特徴を与えうる運転シミュレーションを用いて、レースの対戦をしている。プレーヤ１およびプレーヤ２は、物理的に異なる場所にいてもよく、各プレーヤのゲーム状態に関するデータを送信するためにインターネットを使用してもよい。各プレーヤのそれぞれの場所にあるマイクロホンおよびカメラは、ゲームプレイに対するプレーヤの反応をモニタリングしてもよい。一実施形態において、マイクロホンは、プレーヤの可聴反応をモニタリングでき、また一方で、カメラは、ゲームプレイに反応してプレーヤの物理的な動きをモニタリングしうる。他の実施形態において、コントローラは、コントローラの位置およびピッチの変化速度、回転、揺れ、加速、および相対運動に関するデータをコンピュータシステムに中継するように構成されうる。各プレーヤは、カスタムアバターを有してもよく、各プレーヤは、対戦相手のアバターを自らのスクリーン上で見ることができる。

一実施形態において、ビデオスクリーン２２００が、２つのウィンドウを含んでもよく、ウィンドウ２２０４は、ゲーム中にプレーヤ１が見ているものを示し、ウィンドウ２２０２は、プレーヤ２のアバターを示す。また、ビデオスクリーン２２０６は、２つのウィンドウを含んでもよく、ウィンドウ２２１０は、ゲーム中にプレーヤ２が見ているものを示し、ウィンドウ２２０８は、プレーヤ１のアバターを示す。異なる実施形態において、２人以上のオンラインの対戦相手を表すためのアバターウィンドウが複数あってもよい。別の実施形態において、別のアバターウィンドウがないこともあるが、その代わりに、アバターが、ゲームを表示するウィンドウ上に重ね合わされてもよい。ビデオスクリーン２２００内に、スクリーンを組み合わせたものが他にも多数ある場合もあり、上述した例は、限定的なものではない。

この例において、レースのスタート時、プレーヤ１は、好調なスタートをしていない。これは、プレーヤ２が「運転する」車２２１２がプレーヤ１に見えているため、ウィンドウ２２０４で見ることができる。ほぼリアルタイムに、スクリーン２２１０に示されるように、プレーヤー２は、その前方には何もなく、プレーヤ１の実際の顔の表情の結果としてのプレーヤ１の顔の表情のアバターを見ることができる。プレーヤ１の実際の顔の表情は、カメラによってキャプチャされ、プレーヤ１のアバターは、プレーヤ１の実際の反応を模倣するように修正される。逆に、プレーヤ１は、プレーヤ１のスタートが良くなかったことに反応して舌を出しているプレーヤ２のアバターを見ることができる。このように、ウィンドウ２２０８に示すプレーヤ１のアバターは、プレーヤ１の体の動きおよび顔の表情を反映するように修正されうる。同様に、ウィンドウ２２０２に示すプレーヤ２のアバターは、プレーヤ２の体の動きおよび顔の表情を反映するように修正されうる。顔の表情を修正しうる範囲は、目の特徴、口の特徴、眉毛の特徴の修正、またはそれらの組み合わせを含むが、これらに限定されるものではない。

図２２Ｂは、レースの続きであり、ウィンドウ２２０４’にあるプレーヤ１の透視図から分かるように、プレーヤ２は、車をスピンしている。ほぼリアルタイムに、プレーヤ１は、スピンしているプレーヤ２のアバターを見ることができ、このとき、プレーヤ２のアバターは、プレーヤ２の場所にあるカメラによってキャプチャされたプレーヤ２の実際の顔の表情の表現に基づいて修正される。ゲームプレイイベントを自動的に検知する実演として、ウィンドウ２２０２’に示すように、プレーヤ２のアバターの頭部を飛ぶ漫画の鳥が自動的に表示され、スピンアウト後のめまいを示す。めまいは、自動的に修正されたアバターの１つの特定の例であって、限定的になるように意図したものではない。現実世界のユーザによって引き起こされたり命令されたりするアクションに応答して、自動的に実行されるものを含む自動アバター修正の可能性は無限にある。別の実施形態において、プレーヤのアバター描写は、ゲームプレイイベントに応答して自動的に部分的に修正される。プレーヤのアバターの任意の自動修正が、現実世界のユーザのモニタされた反応と必ずししも完全に一致するわけではないことに留意されたい。

プレーヤ２のアバターは、ウィンドウ２２０２’に示されているように、イライラしてコントローラを掴みながら手を上げている。ビデオカメラは、ユーザのビデオをキャプチャするために使用されえ、さまざまなプログラムおよびプロセッサが、キャプチャされたビデオ内のユーザの動きを解析し検出するために使用されうる。ユーザの検出された動きは、第１のユーザのアバター描写にマッピングされ、ほぼリアルタイムに第２のユーザに表示されうる。ウィンドウ２２０８’に見られるように、プレーヤ１のアバターは、プレーヤ１がスピンアウトしたのを見た反応として目を見開いている。上記に挙げた修正された反応は、限定的であるように意図されたものではなく、アバターは、現実世界のユーザの動き、顔の反応、または音として聞こえる反応の変化を含むように修正されうることに留意されたい。一実施形態において、カメラおよびそれに関連するソフトウェアは、顔の表情、頭部の動き、および手の動きの変化に関して現実世界のユーザをモニタし、ほぼリアルタイムに現実世界のユーザのアバター描写を継続的に更新するように使用されうる。

ユーザからの音として聞こえる反応は、マイクロホンを用いてキャプチャされうる。ハードウェアとソフトウェアとの組み合わせが、キャプチャされた音として聞こえる反応にある言葉を検出するために使用されうる。次に、検出された言葉は、選択された言葉がゲームプレイ中にプレーヤ間で伝達されるようにフィルタリングされうる。一実施形態において、検出されたフィルタリングされた言葉は、プレーヤのアバターと関連付けられたテキストバブルを用いて、原文のまま伝達されうる。別の実施形態において、検出されフィルタリングされた言葉は、第２のプレーヤの対話型ゲームセットアップと関連付けられたスピーカを介して聞こえるように伝えられる。さらなる別の実施形態において、検出されフィルタリングされた言葉は、聞こえるように原文のまま伝達される。一実施形態において、検出された言葉は、特定のゲームの娯楽ソフトウェア格付け委員会（ＥＳＲＢ）の格付けに基づいて、特定の言葉を含んだり排除したりするようにフィルタリングされうる。他の実施形態において、親が言葉のフィルタレベルを設定できる。

図２２Ｃは、アバターに感情的特徴を与えうる別の例を示す。プレーヤ１は、ウィンドウ２２０４”のプレーヤ１の前の道路には何もない状態から分かるように、スピンアウトしたプレーヤ２を追い越している。ウィンドウ２２０２”は、プレーヤ２のアバターを示し、ウィンドウ２２０８”は、プレーヤ２を追い越したことの感情的応答として、頭を振って体を動かすプレーヤ１のアバターを示す。ウィンドウ２２１０”は、プレーヤ２の前にあるプレーヤ１の車を示す。

図２３は、ボクシングシミュレーション中の対戦相手の反応をアバターウィンドウに示す。この例において、図示したゲームスクリーンは、アバターウィンドウが、パンチを受けるプレーヤの顔の表情の反応を示しているため、パンチを放った側のプレーヤの斜視図のものである。

図２４は、ボクシングシミュレーション中の対戦相手の反応をアバターウィンドウに示す。この例において、図示してゲームスクリーンは、アバターウィンドウが、パンチを放ったプレーヤの威嚇する反応を示しているため、パンチを受ける側のプレーヤの斜視図のものである。

図２５は、ロールプレイングゲーム中のチームメンバーの反応をアバターウィンドウに示す。この例において、図示したゲームスクリーンは、アバターウィンドウが、宝物箱を開けるプレーヤの嬉しそうな反応を示すため、開きつつある宝物箱を見つめるプレーヤの斜視図のものである。

図２６は、運転シミュレーション中のプレーヤの反応をアバターウィンドウに示す。この例において、図示したゲームスクリーンは、第２の場所にいるプレーヤの斜視図のものであり、アバターウィンドウは、ゲームスクリーンに見える飛行車を運転するプレーヤの驚いた顔の表情を反映している。

図２７は、ゴルフシミュレーション中の対戦相手の反応をアバターウィンドウに示す。この例において、図示したゲームスクリーンは、パッティング中のプレーヤの斜視図のものであり、アバターウィンドウは、パッティングするプレーヤを見る対戦相手が神経質になっている状態を示す図２２Ａ〜図２７に挙げた例は、ゲームプレイ中にコンピュータ生成されたアバターの感情的特徴の応用の可能性を示すように意図されたものである。応用の可能性は多くあり、前述した例は、例示的なものであって限定を意図したものではない。

図２８は、本発明の一実施形態によるアバター制御システムを実施するためのコントローラと互換性のあるものであってもよいコンソールである、ソニー（登録商標）プレイステーション３（登録商標）のエンタテインメント機器のシステムアーキテクチャ全体を略図的に示す。システムユニット２８００が設けられ、システムユニット２８００には、さまざまな周辺デバイスが接続される。システムユニット２８００は、セルプロセッサ２８２８と、ランバス（登録商標）ダイナミックランダムアクセスメモリ（ＸＤＲＡＭ）ユニット２８２６と、専用ビデオランダムアクセスメモリ（ＶＲＡＭ）ユニット２８３２を有するリアリティシンセサイザグラフィックユニット２８３０と、Ｉ／Ｏブリッジ２８３４とを含む。また、システムユニット２８００は、ディスク２８４０ａを読み取るためのブルーレイ（登録商標）ディスクＢＤ−ＲＯＭ（登録商標）光ディスクリーダ２８４０と、Ｉ／Ｏブリッジ２８３４を介してアクセス可能なリムーバブルスロットインハードディスクドライブ（ＨＤＤ）２８３６とを含む。任意に、システムユニット２８００は、コンパクトフラッシュメモリカード、メモリスティック（登録商標）メモリカードなどを読み取るためのメモリカードリーダ２８３８をさらに含み、メモリカードリーダ２８３８は、Ｉ／Ｏブリッジ２８３４を介して同様にアクセス可能である。

Ｉ／Ｏブリッジ２８３４はまた、６つのユニバーサルシリアルバス（ＵＳＢ）２．０ポート２８２４と、ギガビットイーサネットポート２８２２と、ＩＥＥＥ８０２．１１ｂ／ｇワイヤレスネットワーク（ワイファイ）ポート２８２０と、最高７つのブルートゥース接続の支持可能であるブルートゥース（登録商標）ワイヤレスリンクポート２８１８とに接続される。

動作中、Ｉ／Ｏブリッジ２８３４は、１つ以上のゲームコントローラ２８０２からのデータを含む、すべてのワイヤレス、ＵＳＢ、およびイーサネットデータを取り扱う。例えば、ユーザがゲームをしているとき、Ｉ／Ｏブリッジ２８３４は、ブルートゥースリンクを介してゲームコントローラ２８０２からデータを受信し、それに従い、ゲームの現在の状態を更新するセルプロセッサ２８２８にデータを送る。

ワイヤレス、ＵＳＢ、およびイーサネットポートはまた、リモートコントロール２８０４、キーボード２８０６、マウス２８０８、ソニープレイステーションポータブル（登録商標）エンタテインメント機器などのポータブルエンタテインメント機器２８１０と、アイトーイ（Eye Toy）（登録商標）ビデオカメラ２８１２などのビデオカメラと、マイクロホンヘッドセット２８１４などのゲームコントローラ２８０２に加えて他の周辺機器に接続を与える。したがって、このような周辺機器は、原則的に、システムユニット２８００にワイヤレス接続され、例えば、ポータブルエンタテインメント機器２８１０は、ワイファイアドホック接続を介して通信してもよく、マイクロホンヘッドセット２８１４は、ブルートゥースリンクを介して通信してもよい。

これらのインタフェースの提供は、プレイステーション３デバイスが、ディジタルビデオレコーダ（ＤＶＲ）、セットトップボックス、ディジタルカメラ、ポータブルメディアプレーヤ、ＩＰ電話を利用した音声通信機器、モバイル電話、プリンタ、およびスキャナなどの他の周辺機器とも互換性の可能性があるということを意味する。

さらに、プレイステーション（登録商標）またはプレイステーション２（登録商標）デバイスによって使用される種類のメモリカード２８４８を読み取ることが可能な従来のメモリカードリーダ２８１６が、ＵＳＢポート２８２４を介してシステムユニットに接続されてもよい。

この実施形態において、ゲームコントローラ２８０２は、ブルートゥースリンクを介してシステムユニット２８００とワイヤレス通信するように動作可能である。しかしながら、ゲームコントローラ２８０２は、その代わりに、ＵＳＢポートに接続され、この接続により電力を得て、ゲームコントローラ２８０２のバッテリーが充電される。１つ以上のアナログジョイスティックおよび従来の制御ボタンの他にも、ゲームコントローラは、各軸の並進および回転に対応する６自由度の運動に感応性がある。結果的に、ゲームコントローラのユーザによるジェスチャおよび動きは、従来のボタンまたはジョイスティック命令に加え、またはその代わりに、ゲームへの入力として変換されてもよい。任意に、プレイステーション（登録商標）ポータブルデバイスなどの他のワイヤレス使用可能周辺機器が、コントローラとして使用されてもよい。プレイステーション（登録商標）ポータブルデバイスの場合、デバイスのスクリーン上に、追加のゲームまたはコントロール情報（例えば、制御命令や命の数）が提供されてもよい。また、ダンスマット（図示せず）、ライトガン（図示せず）、ハンドルとペダル（図示せず）、または迅速な応答のクイズゲーム（図示せず）用の１つまたは複数の大きなボタンなどの特注コントローラなどの他の別の補助的な制御デバイスが使用されてもよい。

リモートコントロール２８０４はまた、ブルートゥースリンクを介してシステムユニット２８００とワイヤレス通信するように動作可能である。リモートコントロール２８０４は、ブルーレイ（登録商標）ディスクＢＤ−ＲＯＭリーダ２８４０を動作し、ディスクコンテンツをナビゲーションするのに適したコントロールを含む。

ブルーレイ（登録商標）ディスクＢＤ−ＲＯＭリーダ２８４０は、従来の記録済みおよび追記型のＣＤと、いわゆるスーパーオーディオＣＤに加え、プレイステーションおよびプレイステーション２デバイスと互換性のあるＣＤ−ＲＯＭを読み取るように動作可能である。リーダ２８４０はまた、従来の記録済みおよび追記型ＤＶＤに加え、プレイステーション２およびプレイステーション３デバイスと互換性のあるＤＶＤ−ＲＯＭを読み取るように動作可能である。リーダ２８４０は、プレイステーション３デバイスとともに、従来の記録済みおよび追記型のブルーレイディスクと互換性のあるＢＤ−ＲＯＭを読み取るようにさらに動作可能である。

システムユニット２８００は、リアリティシンセサイザグラフィックユニット２８３０を介して、オーディオおよびビデオコネクタを通して、ディスプレイ２８１４および１つ以上のラウドスピーカ２８４６を有するモニタまたはテレビ受像機セットなどのディスプレイおよび音声出力デバイス２８４に、プレイステーション３デバイスによって生成または復号化されたオーディオおよびビデオを供給するように動作可能である。オーディオコネクタ２８５０は、従来のアナログおよびディジタル出力を含んでもよく、ビデオコネクタ２８５２は、コンポーネントビデオ、Ｓビデオ、複合ビデオ、および１つ以上の高解像度マルチメディアインタフェース（ＨＤＭＩ）出力を種々に含んでもよい。結果的に、ビデオ出力は、ＰＡＬまたはＮＴＳＣなどの形式のものであっても、７２０ｐ、１０８０ｉ、または１０８０ｐ高解像度のものであってもよい。

オーディオ処理（生成、復号など）が、セルプロセッサ１１２８によって実行される。プレイステーション３デバイスのオペレーティングシステムは、ドルビー（登録商標）５．１サラウンドサウンド、ドルビー（登録商標）シアターサラウンド（ＤＴＳ）、およびブルーレイ（登録商標）ディスクからの７．１サラウンドサウンドの復号をサポートする。

本発明の実施形態において、ビデオカメラ２８１２は、単一の電荷結合素子（ＣＣＤ）と、ＬＥＤインジケータと、ハードウェアベースの実時間データ圧縮および符号化装置とを含み、この装置では、システムユニット２８００によって復号化するためのイントラ画像ベースのＭＰＥＧ（動画専門家グループ）標準などの適切な形式で圧縮ビデオデータ送信されてもよい。カメラＬＥＤインジケータは、例えば、劣悪な照明条件を表すために、システムユニット２８００からの適切な制御データに応答して照明するように配設される。ビデオカメラ２８１２の実施形態は、ＵＳＢ、ブルートゥース、またはワイファイ通信ポートを介して、システムユニット２８００に種々に接続されてもよい。ビデオカメラの実施形態は、１つ以上の関連するマイクロホンを含んでもよく、オーディオデータを送信可能であってもよい。ビデオカメラの実施形態において、ＣＣＤの解像度は、高解像度ビデオキャプチャに適したものであってもよい。使用中、ビデオカメラによってキャプチャされる画像は、例えば、ゲーム内に取り込まれてもよく、またはゲーム制御入力として解釈されてもよい。

一般に、システムユニット２８００の通信ポートの１つを介して、ビデオカメラやリモートコントロールなどの周辺デバイスとのデータ通信をうまく行うために、デバイスドライバなどの適切なソフトウェアを提供する必要がある。デバイスドライバ技術は周知のものであるため、本明細書に記載する実施形態においてデバイスドライバまたは同様のソフトウェアインタフェースが要求されるであろうことを当業者が認識しているであろうことを述べるだけで、本明細書においては詳細に記載しない。

以下、図２９を参照すると、セルプロセッサ２８２８は、４つの基本的なコンポーネント、すなわち、メモリコントローラ２９６０およびデュアルバスインタフェースコントローラ２９７０Ａ、Ｂを含む外部入出力構造と、パワー処理エレメント２９５０と呼ばれるメインプロセッサと、相乗的処理エレメント（ＳＰＥ）２９１０Ａ〜Ｈと呼ばれる８つのコプロセッサと、エレメントインターコネクトバス２９８０よ呼ばれる上記コンポーネントを接続する巡回データバスとを含むアーキテクチャを有する。セルプロセッサの総浮動小数点性能は、プレイステーション２デバイスのエモーションエンジンの６．２ＧＦＬＯＰＳと比較すると、２１８ＧＦＬＯＰＳである。

パワー処理エレメント（ＰＰＥ）２９５０は、３．２ＧＨｚの内部クロックで動作し、二方向同時マルチスレッディングパワー９７０に対応したパワーＰＣコア（ＰＰＵ）２９５５に基づいたものである。ＰＰＥ２９５０は、５１２ｋＢのレベル２（Ｌ２）キャッシュと、３２ｋＢのレベル１（Ｌ１）キャッシュとを含む。ＰＰＥ２９５０は、３．２ＧＨｚで２５．６ＧＦＬＯＰＳに変換するクロックサイクル当たり８つの単位置演算が可能である。ＰＰＥ２９５０の主な役割は、計算作業量のほとんどを取り扱う相乗的処理エレメント２９１０Ａ〜Ｈのコントローラとして作用することである。動作中、ＰＰＥ２９５０は、相乗的処理エレメント２９１０Ａ〜Ｈのジョブをスケジューリングし、その進行をモニタしながら、ジョブキューを維持する。結果的に、各相乗的処理エレメント２９１０Ａ〜Ｈは、ジョブをフェッチし、実行し、ＰＰＥ２９５０と同期させる役割のカーネルを実行する。

各相乗的処理エレメント（ＳＰＥ）２９１０Ａ〜Ｈは、それぞれ、相乗的処理ユニット（ＳＰＵ）２９２０Ａ〜Ｈと、ダイナミックメモリアクセスコントローラ（ＤＭＡＣ）２９４２Ａ〜Ｈをそれぞれ含むそれぞれのメモリフローコントローラ（ＭＦＣ）２９４０Ａ〜Ｈと、メモリ管理ユニット（ＭＭＵ）２９４４Ａ〜Ｈと、バスインタフェース（図示せず）とを含む。各ＳＰＵ２９２０Ａ〜Ｈは、３．２ＧＨｚのクロック周波数のＲＩＳＣプロセッサであり、原則的に、４ＧＢまで拡張可能な２５６ｋＢのローカルＲＡＭ２９３０Ａ〜Ｈを含む。各ＳＰＥは、理論値２５．６ＧＦＬＯＰＳの単精度性能を与える。ＳＰＵが、単一のクロックサイクルにおいて４つの単精度浮動小数点要素、４つの３２ビット数値、８つの１６ビット整数、または１６個の８ビット整数で動作しうる。同じクロックサイクルにおいて、ＳＰＵは、メモリ動作も実行しうる。ＳＰＵ２９２０Ａ〜Ｈは、システムメモリＸＤＲＡＭ２８２６に直接アクセスせず、ＳＰＵ２９２０Ａ〜Ｈによって形成された６４ビットは、ＭＦＣ２９４０Ａ〜Ｈに送られ、ＭＦＣ２９４０Ａ〜Ｈは、そのＤＭＡコントローラ２９４２Ａ〜Ｈに命令して、エレメントインターコネクトバス２９８０およびメモリコントローラ２９６０を介してメモリにアクセスする。

エレメントインターコネクトバス（ＥＩＢ）２９８０は、セルプロセッサ２８２の内部にある論理的に巡回型の通信バスであり、この通信バスは、上記プロセッサエレメント、すなわち、ＰＰＥ２９５０、メモリコントローラ２９６０、デュアルバスインタフェース２９７０Ａ、Ｂ、および８つのＳＰＥ１２１０Ａ〜Ｈの全部で１２の関与エレメントを接続する。関与エレメントは、１クロックサイクル当たり８バイトのレートでバスに同時に読み書きされうる。前述したように、各ＳＰＥ２９１０Ａ〜Ｈは、より長い読み取りまたは書き込みシーケンスをスケジューリングするためのＤＭＡＣ２９４２Ａ〜Ｈを含む。ＥＩＢは、４つのチャネルを含み、２つずつがそれぞれ、時計回りおよび反時計回りの方向である。結果的に、１２の関与エレメントに対して、任意の２つの関与エレメントの間の最も長い段階的なデータフローのステップ数は、適切な方向において６段階である。したがって、１２スロットの理論ピーク瞬時ＥＩＢ帯域幅は、関与エレメント間の調停によってすべて利用される場合、クロック当たり９６Ｂである。これは、３．２ＧＨｚのクロックレートで３０７．２ＧＢ／ｓ（１秒当たりのギガバイト）の理論ピーク帯域幅に等しい。

メモリコントローラ２９６０は、ランバス（Rambus）社によって開発されたＸＤＲＡＭインタフェース２９６２を含む。メモリコントローラは、２５．６ＧＢ／ｓの理論ピーク帯域幅をもつランバスＸＤＲＡＭ２８２６と連動する。

デュアルバスインタフェース２９７０Ａ、Ｂは、ランバス社製のＦｌｅｘＩＯ（登録商標）システムインタフェース２９７２Ａ、Ｂを含む。インタフェースは、下り５経路および上り７経路を有する、それぞれが８ビット幅の１２チャネルに体系化される。これにより、コントローラ２９７２Ａを介したセルプロセッサおよびＩ／Ｏブリッジ２８３４と、およびコントローラ２９７２Ｂを介してリアリティシミュレータグラフィックユニット２８３０との間に、６２．４ＧＢ／ｓ（下り３６．４ＧＢ／ｓ、上り２６ＧＢ／ｓ）の理論ピーク帯域幅が得られる。

セルプロセッサ２８２８によってリアリティシミュレータグラフィックユニット２８３０に送信されるデータは、典型的に、頂点を描き、テクスチャを多角形に適用し、照明条件を明示するなどの一連の命令である表示リストを含む。

実施形態は、現実世界のユーザをさらに良好に識別し、アバターまたはシーンの活動を指示するために、深度データをキャプチャすることを含む。オブジェクトは、人が保持しているものであっても、人の手であってもよい。本明細書において、「深度カメラ」および「３次元カメラ」という用語は、２次元ピクセル情報の他にも、距離または深度情報を獲得可能な任意のカメラをさす。例えば、深度カメラが、距離情報を得るために、制御された赤外線発光体を利用しうる。別の例示的な深度カメラは、２つの標準的なカメラを用いて距離情報を三角測量するステレオカメラペアでありうる。同様に、「深度検知デバイス」という用語は、２次元ピクセル情報の他にも、距離情報を獲得可能な任意のタイプのデバイスをさす。

３次元画像の最近の進歩により、リアルタイムの対話型コンピュータアニメーションの可能性が新たに増えてきた。特に、新しい「深度カメラ」では、通常の２次元ビデオ画像の他にも、第３次元をキャプチャしマッピングすることができる。新しい深度データを用いて、本発明の実施形態により、他のオブジェクトの後方を含む、ビデオシーン内のさまざまな位置にリアルタイムでコンピュータ生成オブジェクトを配置できる。

さらに、本発明の実施形態により、ユーザにリアルタイムの対話型ゲーム体験が提供される。例えば、ユーザは、さまざまなコンピュータ生成オブジェクトとリアルタイムに対話できる。さらに、ビデオシーンは、ユーザのゲーム体験を高めるために、リアルタイムで変更されうる。例えば、コンピュータ生成のコスチュームを、ユーザの衣服の上にはめ込むことができ、コンピュータ生成の光源を、ビデオシーン内の仮想投影を映し出すために利用されうる。このようにして、本発明の実施形態および深度カメラを用いて、ユーザが、自分のリビングルームで対話型ゲーム環境を体験できる。通常のカメラと同様に、深度カメラが、ビデオ画像を含む複数のピクセルの２次元データをキャプチャする。これらの値は、ピクセルに対するカラー値であり、一般に、各ピクセルに対して赤、緑、および青の（ＲＧＢ）値である。このようにして、カメラがキャプチャしたオブジェクトは、モニタ上に２次元オブジェクトとして現れる。

本発明の実施形態はまた、分散型の画像処理構造についても検討する。例えば、本発明は、ＣＰＵまたはＣＰＵとその他のエレメントなど、１つまたは２つの場所で行われている、キャプチャされた画像およびディスプレイ画像処理に限定されるものではない。例えば、入力画像処理は、処理を実行しうる関連のＣＰＵ、プロセッサ、またはデバイスにおいて容易に行うことができるものであり、原則的に全ての画像処理は、相互接続システムを通じて分散されうる。このように、本発明は、いずれの具体的な画像処理ハードウェア回路および／またはソフトウェアに限定されるものではない。本明細書に記載する実施形態もまた、一般のハードウェア回路および／またはソフトウェアの任意の特定の組み合わせにも、処理コンポーネントによって実行される命令に対する任意の特定のソースにも限定されるものではない。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに格納されたデータを使用する、さまざまなコンピュータ実装動作を用いてもよいことを理解されたい。これらの動作には、物理量の物理的な操作を必要とする動作が含まれる。この物理量は、通常、格納、転送、結合、比較、または他の操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。さらに、実行される操作は、多くの場合、生成、識別、判断、または比較などの用語で参照される。

本発明は、本明細書において提示されるように用いられてもよく、または、他のユーザ入力機構と組み合わせて、さらには、音声の角度方向をトラッキングする機構および／または能動的または受動的にオブジェクトの位置をトラッキングする機構、機械視覚を用いた機構、それらの組み合わせとともに用いられてもよく、トラッキングされているオブジェクトは、システムへのフィードバックを操作する補助コントロールやボタンを含んでもよく、このようなフィードバックは、光源からの光放出、音声歪み手段、または他の適切な送信機および変調器とともに、送信や変調に影響を与え、状態を符号化し、および／またはトラッキングされているデバイスとの間で命令を送信してもよいボタン、圧力パッドなどを含んでもよいが、これらに限定されるものではない。

本発明は、ゲームコンソール、ゲームコンピュータまたはコンピュータデバイス、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル民生電子機器、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実施されてもよい。また、本発明は、分散コンピュータ環境で実施され、このような環境では、ネットワークを介してリンクされる遠隔処理デバイスによってタスクが実行される。例えば、オンラインゲームシステムおよびソフトウェアが使用されてもよい。

上記の実施形態を考慮に入れて、本発明が、コンピュータシステムに格納されたデータを使用する、さまざまなコンピュータ実装動作を使用してもよいことを理解されたい。これらの動作は、物理量の物理的な操作を要するものである。この物理量は、通常、格納、転送、結合、比較、または他の操作が可能な電気信号または磁気信号の形を取るが、必ずしもこれらに限定されない。さらに、実行される操作は、多くの場合、生成、識別、判断、または比較などの用語で参照される。

本発明の一部をなす本明細書に記載する動作はいずれも、有用な機械動作である。本発明は、これらの動作を実行するデバイスまたは装置にも関する。この装置は、上述したキャリアネットワークなど、所望の目的のために特別に作製されたものであってもよく、または、コンピュータに格納されたコンピュータプログラムによって選択的に作動または構成される汎用コンピュータであってもよい。特に、各種の汎用の機械が、本明細書の教示に従って記述したコンピュータプログラムとともに使用され、または、所望の動作を実行するためにさらに特化した装置を作製するほうが利便性が高いこともある。

本発明はまた、コンピュータ可読媒体上にコンピュータ可読コードとして実現されることもできる。コンピュータ可読媒体は、データを格納しうる任意のデータストレージデバイスであってもよく、このデータは、コンピュータシステムによって読み取られうる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、フラッシュベースメモリ、ＣＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、磁気テープ、および他の光学および非光学データストレージデバイスを含む。コンピュータ可読媒体は、コンピュータ可読コードが分散式で格納され、実行されてもよいように、ネットワークに接続されたコンピュータシステム上に分散されうる。

明確に理解できるようにするために、前述の発明をある程度詳細に記載してきたが、添付の特許請求の範囲内で特定の変更と修正がされるのは明らかであろう。したがって、本発明の実施形態は、例示的なものであり限定的なものではないと考慮されるべきであり、本発明は、本明細書で述べた詳細に限定されることはなく、添付の特許請求の範囲およびその等価物の範囲で修正されてもよい。

Claims (20)

1. ゲームプレイイベントに対するユーザの反応に応答してアバターを修正し、前記アバターが、第１のユーザおよび第２のユーザの一方または両方を表し、前記ゲームプレイイベントが、コンピュータプログラムの実行と、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力とから生じる、コンピュータで実行される方法であって、
   ゲームプレイを実行するステップと、
   前記第１および第２のユーザの一方または両方の反応をモニタするステップと、
   ゲームプレイのディスプレイエリアの側部に沿って、前記第１および第２のユーザの一方または両方のアバター描写を表示するステップと、
   ゲームプレイの実行中、前記第１および第２のユーザのモニタされた反応に応答して、前記第１および第２のユーザの一方または両方のアバター描写の反応を修正するステップとを含む、コンピュータで実行される方法。
2. 前記アバター描写が、表示されたアバター描写によって、前記第１および第２のユーザの一方または両方の動き、顔の反応、または音として聞こえる反応の少なくとも１つを識別する、請求項１に記載の方法。
3. 前記ゲームプレイがオンラインで実行され、前記第１および第２のユーザの各々のコンピュータシステムが、前記第１および第２のユーザのそれぞれのコンピュータシステムおよびインターネット接続上で接続されたネットワークコンピュータで部分的に実行されるコンピュータプログラムとのインタラクションを行う、請求項１に記載の方法。
4. 前記第１および第２のユーザの一方または両方の反応をモニタするステップが、
   前記第１のユーザのビデオをキャプチャするステップと、
   前記第１のユーザの動きを検出するステップと、
   前記第１のユーザの検出された動きを前記第１のユーザのアバター描写にマッピングするステップと、
   前記第１または第２のユーザのいずれかのコンピュータシステムに接続されたディスプレイ画面上に前記アバター描写を表示するステップとを含む、請求項１に記載の方法。
5. 前記第１および第２のユーザの一方または両方の反応をモニタするステップが、
   前記第１のユーザおよび前記第２のユーザの音声をキャプチャするステップと、
   前記キャプチャされた音声から得られた言葉を検出するステップと、
   前記言葉のうちの選択された言葉が、ゲームプレイ中に前記第１のユーザと第２のユーザとの間で通信されるように、前記検出された言葉をフィルタリングするステップとを含む、請求項１に記載の方法。
6. 前記アバター描写の反応を修正するステップが、
   顔の反応、頭の動き、および手の動きの１つを、ゲームプレイのディスプレイエリアの側部に沿って表示するステップと、
   前記第１のユーザと前記第２のユーザとの間でゲームプレイ反応を通信するように、ほぼリアルタイムに前記アバター描写を継続的に更新するステップとを含む、請求項１に記載の方法。
7. ゲームプレイイベントに対するユーザの反応に応答してアバターを修正し、前記アバターが、第１のユーザおよび第２のユーザの一方または両方を表し、前記ゲームプレイイベントが、コンピュータプログラムの実行と、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力とから生じる、コンピュータで実行される方法であって、
   ゲームプレイを実行するステップと、
   前記第１および第２のユーザの一方または両方の反応をモニタするステップと、
   ゲームプレイのディスプレイエリアの側部に沿って、前記第１および第２のユーザの一方または両方のアバター描写を表示するステップと、
   ゲームプレイの実行中、前記第１および第２のユーザのモニタされた反応に応答して、前記第１および第２のユーザの一方または両方のアバター描写の反応を修正するステップとを含み、前記アバター描写が、ゲームプレイイベントに応答して自動的に少なくとも部分的に修正され、自動的に修正されたとき、前記アバター描写の修正が、前記第１のユーザまたは前記第２のユーザのモニタされた反応とすべて一致しない、コンピュータで実行される方法。
8. 前記アバター描写が、表示されたアバター描写によって、前記第１および第２のユーザの一方または両方の動き、顔の反応、または音として聞こえる反応の少なくとも１つを識別する、請求項７に記載の方法。
9. 前記ゲームプレイがオンラインで実行され、前記第１および第２のユーザの各々のコンピュータシステムが、前記第１および第２のユーザのそれぞれのコンピュータシステムおよびインターネット接続上で接続されたネットワークコンピュータで部分的に実行されるコンピュータプログラムとのインタラクションを行う、請求項７に記載の方法。
10. 前記第１および第２のユーザの一方または両方の反応をモニタするステップが、
    前記第１または第２のユーザのいずれかのビデオをキャプチャするステップと、
    前記第１または第２のユーザの動きを検出するステップと、
    前記第１または第２のユーザの検出された動きを前記第１または第２のユーザのアバター描写にマッピングするステップと、
    前記第１または第２のユーザの一方のコンピュータシステムに接続されたディスプレイ画面上に前記アバター描写を表示するステップとを含む、請求項７に記載の方法。
11. 前記第１および第２のユーザの一方または両方の反応をモニタするステップが、
    前記第１のユーザおよび前記第２のユーザの音声をキャプチャするステップと、
    前記キャプチャされた音声から得られた言葉を検出するステップと、
    前記言葉のうちの選択された言葉が、ゲームプレイ中に前記第１のユーザと第２のユーザとの間で通信されるように、前記検出された言葉をフィルタリングするステップとを含む、請求項７に記載の方法。
12. 前記アバター描写の反応を修正するステップが、
    顔の反応、頭の動き、および手の動きの１つを、ゲームプレイのディスプレイエリアの側部に沿って表示するステップと、
    前記第１のユーザと前記第２のユーザとの間でゲームプレイ反応を通信するように、ほぼリアルタイムに前記アバター描写を継続的に更新するステップとを含む、請求項７に記載の方法。
13. ゲームプレイイベントに応答してアバターを自動的に修正し、前記アバターが第１のユーザを表し、前記ゲームプレイイベントが、コンピュータプログラムの実行と、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力とから生じる、コンピュータで実行される方法であって、
    ゲームプレイ中に生じたアクションを識別するために、ゲームプレイイベントをモニタするステップと、
    前記ゲームプレイアクションに対する応答を視覚的に伝えるために、ゲームプレイ中に生じる識別されたアクションに応答して、前記第１のユーザを表す前記アバターのグラフィック画像を修正するステップと、
    前記第１のユーザを表す前記アバターの修正されたグラフィック画像を第２のユーザに表示するステップと、
    第１のユーザを表す前記修正されたアバターにより、前記第２のユーザが、前記第１のユーザに生じたゲームプレイアクションを知ることができる方法。
14. ゲームプレイイベントに応答してアバターを自動的に修正するコンピュータ実装方法であって、ゲームプレイ中に生じるアクションが、コンピュータ規定のアクションと、前記第１または第２のユーザのいずれかによって引き起こされたり命令されたりするアクションとを含む、請求項１３に記載の方法。
15. ゲームプレイイベントに応答してアバターを自動的に修正するコンピュータ実装方法であって、前記アバターのグラフィック画像が、前記アバターの少なくとも顔の表示を含む、請求項１３に記載の方法。
16. ゲームプレイイベントに応答してアバターを自動的に修正するコンピュータ実装方法であって、前記ゲームプレイのアクションに対する応答を伝えることが、目の特徴、口の特徴、眉毛の特徴、またはそれらの組み合わせの１つの変化を表示するために、前記アバターの顔を修正するステップを含む、請求項１５に記載の方法。
17. ゲームプレイイベントに応答してアバターを自動的に修正するコンピュータ実装方法であって、
    前記第１および第２のユーザの一方または両方の反応をモニタするステップと、
    前記第１のユーザまたは前記第２のユーザの前記アバターの前記グラフィック画像を表示するステップと、
    ゲームプレイの実行中、前記第１および第２のユーザのモニタされた反応に応答して、前記第１および第２のユーザの一方または両方のアバターの反応を修正するステップとをさらに含み、
    前記第１または第２のユーザのいずれかのモニタされた反応に基づいて、前記アバターの反応を修正するステップが、ゲームプレイイベントに基づいて自動修正するステップに追加される、請求項１３に記載の方法。
18. ゲームプレイイベントに応答してアバターを自動的に修正し、前記ゲームプレイがオンラインで実行され、前記第１および第２のユーザの各々のコンピュータシステムが、前記第１および第２のユーザのそれぞれのコンピュータシステムおよびインターネット接続上で接続されたネットワークコンピュータで部分的に実行されるコンピュータプログラムとのインタラクションを行う、請求項１３に記載の方法。
19. ゲームプレイイベントに対するユーザの反応に応答してアバターを修正するためのプログラム命令を有し、前記アバターが、第１のユーザおよび第２のユーザの一方または両方を表し、前記ゲームプレイイベントが、コンピュータプログラムの実行と、コンピュータプログラムの少なくとも一部を実行するコンピュータシステムへのユーザ入力とから生じる、コンピュータ可読媒体であって、
    ゲームプレイを実行するためのプログラム命令と、
    前記第１および第２のユーザの一方または両方の反応をモニタするためのプログラム命令と、
    ゲームプレイのディスプレイエリアの側部に沿って、前記第１および第２のユーザの一方または両方のアバター描写を表示するためのプログラム命令と、
    ゲームプレイの実行中、前記第１および第２のユーザのモニタされた反応に応答して、前記第１および第２のユーザの一方または両方のアバター描写の反応を修正するためのプログラム命令とを含む、コンピュータ可読媒体。
20. 前記アバター描写が、表示されたアバター描写によって、前記第１および第２のユーザの一方または両方の動き、顔の反応、または音として聞こえる反応の少なくとも１つを識別する、請求項１に記載のコンピュータ可読媒体。

Images