JP2000517087A - ジェスチャ認識のための方法及び装置 - Google Patents

Abstract

(57)【要約】 各プレーヤがゲーム内のキャラクタを制御する、一人以上のプレーヤにより対話型ゲームをプレイするための方法および装置。一実施例において、ゲーム内の他のキャラクタにより第１キャラクタに行使されたアクションを識別するステップと、行使されたアクションに対応する力を発生するステップと、その力をゲームの第１キャラクタを制御する第１プレーヤに印加するステップとを有する。他の実施例において、非均一な背景光をプレーヤに照射してプレーヤの画像を作るステップを有する。

Description

【発明の詳細な説明】 ジェスチャ認識のための方法及び装置発明の分野 この発明は一般にジェスチャ認識に関し、特に電子ゲーム及び他のヒューマン −マシンインターフェースアプリケーションに使用されるジェスチャ認識のため の方法及び装置に関する。発明の背景 多くのアクション志向の電子ケームにおいて、プレーヤはローキーカウントキ ーボード、ジョイスティック又はマウスのような電子ポインティングデバイスの ような入力装置を用いて動画キャラクタ又は乗り物を案内する。この処理の最中 に、キャラクタは物体をつかんだりあるいは相手と戦うために罠を避けなければ ならない場合がある。一般に、プレーヤはジョイスティックを用いてキャラクタ の動きの方向を制御し、ボタンを用いてジャンプや殴打のようなあらかじめ設定 したアクションを動作状態にする。このような入力装置の操作を学習することは できるが、ジョイスティックやキーボードを介して動作させることは自然ではな い。 電子ゲームにおける動画キャラクタを制御するための他の方法はジェスチャ認 識を介して行うことである。このような方法では、プレーヤのジェスチャはキャ ラクタの動きを制御する。一般に、プレーヤのジェスチャはビデオカメラのよう な光学的あるいは赤外線検出アレイにより撮像される。次にプロセッサはアレイ からのデータを解析し、ジェスチャを識別し、それを用いてキャラクタの動きを 制御する。例えば、進行中のゲームにおいて、プレーヤがキックすると、検出ア レイはキックの画像を撮像し、それをプロセッサに関連付け、プロセッサはその 画像を解析しキャラクタにキックさせる。これは電子ゲームをプレイするための より直観的な方法である。プレーヤがジャンプしたとき、それに従ってキャラク タがジャンプするのはより直接的であり自然である。 しかしながら、そのような画像認識技術を実装する従来の電子ゲームシステム は相対的に遅い。そのようなシステムの１つは「ダイナミック」な動き検出を用 いてプレーヤの画像を認識することである。この方法では、検出器は連続画像を 撮像し、プロセッサがそれらの差分を解析する。例えば、プレーヤがパンチを繰 り出すと、プロセッサは一定の割合で連続画像を比較し、パンチの経路方向を見 つける。プロセッサは一般に画像内のピクセル値の導関数を計算する。次にプロ セッサは動き方向を補間して予測される位置を同定する。プロセッサは通常グレ イスケールで画像を解析するので、「ダイナミック」な動き検出技術はかなりの 量の浮動小数点乗算を必要とする。かなりの数の画像を撮像し集中的な計算を伴 うので、そのような方法は正確にジェスチャを認識することができる。しかしな がら、この種のシステムは速度が遅い。 プレーヤのジェスチャを迅速かつ正確に認識する装置と方法の必要性が依然と してある。発明の目的及び概要 この発明はプレーヤの画像のジェスチャを効率的にかつ正確に認識することの できる装置および方法である。この発明の技術は多くの従来技術よりもさらに高 速である。 一般的に、この発明は多くのあらかじめ定義されたジェスチャを含む。発明さ れたマッピング技術に基づいてジェスチャの１つがプレーヤの画像のジェスチャ として識別される。一実施形態において、この発明はプリプロセッサ、テンプレ ートマッチングユニット及びポストプロセッサを有する。 プレーヤがプレイを開始する前に、検出器は背景画像を撮像する。検出器は背 景の前部のプレーヤの画像を連続的に撮像する。なお、背景画像はプレーヤ画像 を含まないが、背景の前部のプレーヤ画像は少なくとも背景画像の一部を含む。 この発明では、背景の前部のプレーヤ画像は現在画像として認識されている。 この発明がプレーヤのジェスチャを識別する前に、プリプロセッサは現在画像 から背景画像の少なくとも一部を除去しプレーヤの画像を生成する。次にテンプ レートマッチングユニットは直接プレーヤの画像を多数のテンプレートにマッピ ングし多数のテンプレート出力を生成する。これらの出力にもとづいて、ポスト プロセッサはあらかじめ定義されたジェスチャ群から１つのあらかじめ定義され たジェスチャを同定する。このあらかじめ定義されたジェスチャはプレーヤの画 像のジェスチャに対応し、ゲームに使用される。 一実施例において、背景除去処理はしきい値及び上限値を作用する。背景画像 からプレーヤの画像を切り出すためのプロセスは多くの問題を提起する。それら はプレーヤの落とす影及び背景色に実質的に一致したプレーヤの服の色を含む。 これらの状況下で、より正確なプレーヤの画像を作るためにプリプロセッサはし きい値技術を使用する。 しきい値技術は各ピクセルに作用する。プリプロセッサは背景画像の各ピクセ ル値と現在イメージの対応するピクセル値の差分を発生する。次に、プリプロセ ッサは各差分の大きさをしきい値と比較する。この比較にもとづいて、プリプロ セッサは例えばプレーヤの画像のサイズを反映するエネルギレベルを発生する。 エネルギレベルが上限値より大きければ、プリプロセッサはしきい値を変えて再 度比較を行う。エネルギレベルが大きいということは、プレーヤの画像サイズが 大きすぎることを意味する。エネルギレベルが上限値より大きくなければ、プリ プロセッサは背景画像、現在画像及びしきい値にもとづいてプレーヤの画像を設 定する。 他の実施形態において、しきい値処理は下限値をも有する。エネルギレベルが 下限値よりも小さければ、プリプロセッサは再度しきい値を変更して再び比較を 行う。エネルギレベルが小さいということはプレーヤのサイズが小さすぎること を意味する。この場合、プリプロセッサはエネルギレベルが上限値と下限値との 間にある場合にのみプレーヤの画像を設定する。 背景除去処理の後、テンプレートマッチングユニットは多数のテンプレートを 用いてプレーヤの画像をマッピングする。一実施形態において、各テンプレート は１の値のピクセル群のバーを有し、テンプレート群は多数のセットに分類され る。各セット内のテンプレートのバーは実質的に平行であり、他方のバーの方位 はセットが異なると異なる。又、各セット内のバーを結合することにより実質的 にプレーヤの画像をカバーする。他の実施形態において、各テンプレートはあら かじめ定義されたジェスチャの少なくとも１以上のテンプレートにより特徴づけ ることができる。 この発明のテンプレートを用いてテンプレートマッチングユニットはマッピン グ処理を行う。一実施形態において、各テンプレートはホログラムにより表され る。テンプレートマッチングユニットはホログラムを用いて直接光学的にプレー ヤの画像をマッピングし多数のテンプレート出力を発生する。これは並列に行う ことができる。例えば、１００のテンプレートを用いた場合、１００のテンプレ ート出力のすべてが同時に発生可能である。他の実施形態において、テンプレー ト出力を発生するためのテンプレートマッチングはデジタルエレクトロニクスに より行われる。 多数のテンプレート出力があり得る。その数を減らす１つの方法はプレーヤの 位置にもとづく。一実施形態において、システムはプレーヤ画像の中心と高さを 同定する。高さ情報は水平バーを有したテンプレート群から発生され、中心情報 は垂直バーを有したテンプレート群から発生される。一実施形態において、これ らの情報にもとづいてポストプロセッサは全出力から１以上のテンプレート出力 を削除することができる。他の実施形態において、これらの情報に基づいて多数 のテンプレートはプレーヤの画像によりマッピングされない。これらのテンプレ ート出力は形成されない。 システムはプレーヤ画像の中心と高さを規則的に同定することができる。これ はこの発明が異なるサイズのプレーヤ及び背景の前部で移動するプレーヤを解析 するのに役立つ。 次に、ポストプロセッサがテンプレート出力を解析する。一実施形態において 、あらかじめ定義されたジェスチャはあらかじめ定義された一般的なジェスチャ 群と、あらかじめ定義された特定のジェスチャ群とに分けられる。各一般的なジ ェスチャは少なくとも１つの特定のジェスチャを含む。一般的なジェスチャはプ レーヤの胴体位置を識別することができ、特定のジェスチャはプレーヤの手、腕 、足の位置およびある胴体位置の方位を識別することができる。例えば１つの一 般的ジェスチャは立っていることである。この一般的な立っているジェスチャの 下では、立ちながらパンチを繰り出したりキックをしたりするような多くの特定 のジェスチャがあり得る。 一実施形態において、解析処理を簡単にするためにポストプロセッサはテンプ レート出力の一部を解析し最初に少なくとも１つの一般的なジェスチャを識別す る。次に、ポストプロセッサはテンプレート出力の一部を解析して画像内のその ジェスチャに対応する１つの特定のジェスチャを識別する。 一実施形態において、ポストプロセッサは第１ニューラルネットワークにより 少なくとも１つの一般的なジェスチャを識別する。次に、この第１ニューラルネ ットワークの少なくとも１つの出力に基づいてポストプロセッサは第２ニューラ ルネットワークにより特定のあらかじめ定義されたジェスチャを識別する。他の 実施形態において、ポストプロセッサは規則群に基づいてジェスチャを識別する 。 プレーヤのジェスチャを識別後、この発明は上述したプロセスを繰り返して、 プレーヤが移動するにつれプレーヤの画像のジェスチャを認識する。 この発明は従来技術よりも非常に効率的である。例えば、この発明は導関数の 計算に依存しない。一実施形態において、テンプレートマッチングユニットはプ レーヤの画像をすべてのホログラムに直接マッピングしすべてのテンプレート出 力を同時に発生する。このようなマッチング技術は多くの計算時間を節約する。 計算時間を節約する他の例はニューラルネットワークによるものであり、これは テンプレート出力からあらかじめ定義されたジェスチャを発生させる効率的な方 法である。 一実施形態において、対話型ゲームは一人以上のプレーヤによりプレイされ各 プレーヤはゲームのキャラクタを制御する。この実施形態において、この方法は 、ゲーム内の他のキャラクタにより第１キャラクタに行使されるアクションを識 別するステップと；行使されたアクションに対応する力を発生するステップと； その力をゲームの第１キャラクタを制御する第１プレーヤに印加するステップと を含む。他の実施形態において、この方法はプレーヤの画像を作成するためにプ レーヤの非均一な背景光を供給するステップを有する。 この発明の他の観点と利点はこの発明の原理の例示として添付図面と関連づけ て記述した以下の詳細な説明から明らかとなる。図面の簡単な説明 図１はこの発明の一実施形態を包含する電子ゲームステーションを示す。 図２はこの発明の一実施形態を示す。 図３はこの発明を実現するステップ群を示す。 図４はこの発明において、背景画像を除去するための一実施形態を示す。 図５はこの発明においてしきい値処理のステップ群を示す。 図６はこの発明においてしきい値を設定するステップ群を示す。 図７Ａ乃至７Ｈはこの発明において、使用されるテンプレートの一実施形態の 異なる表示例を示す。 図８Ａ乃至８Ｃはこの発明において、使用されるテンプレート群の他の実施形 態の異なる表示を示す。 図９はこの発明のための、プレーヤ画像をテンプレートにマッピングするため の光学装置を示す。 図１０はプレーヤの画像をこの発明のテンプレートにマッピングするための電 子的手法を示す。 図１１Ａ乃至１１Ｇはこの発明におけるテンプレート出力の例を示す。 図１２はこの発明において、ポストプロセッサにより実行されるテンプレート 出力を解析するステップ群を示す。 図１３はこの発明においてポストプロセッサの一実施形態を示す。 図１４はこの発明の追跡装置により実行されるステップ群を示す。 図１５はジェスチャを同定するのを手助けするためにプレーヤの画像の特定の ロケーションの変化を用いたステップ群を示す。 図１６はこの発明において追跡情報をいつ更新するかを決定するためのステッ プ群を示す。 図１７は１以上のプレーヤのためのこの発明の他の実施形態を示す。 図１８はゲームのキャラクタのアクションにより力を発生する、この発明の他 の実施形態を実現するためのステップ群を示す。 図１９は図１８に示すステップ群を実現する一実施形態を示す。 図２０はこの発明のゲームのキャラクタの寿命バーの一実施形態を示す図。 図２１はこの発明において、非均一な光によりプレーヤが照射されるこの発明 の一実施形態を示す。 図２２はこの発明においてゲームをしながら１以上のプレーヤが非均一な光が 照射されるこの発明の一実施形態を示す。 図１乃至２２において、同一符号がすべての図面の同一部に付される。この発 明の実施形態について図１乃至図２２を参照して以下に述べる。しかしながら、 当業者には、これらの図面に関連して述べられたこの詳細な記述は例示に過ぎず この発明がこれらの限定された実施例を超える範囲を有することは容易に理解で きる。実施例 図１はこの発明のための装置１００を含む電子ゲームステーションを示す。背 景１０４の前に立つプレーヤ１０２はゲームをプレイ中である。彼の画像は電荷 結合素子カメラのようなカメラである検出器１０６により撮像され、装置１００ により解析される。この解析に基づいて装置１００はプレーヤのジェスチャがあ らかじめ定義された多数のジェスチャ群の１つであることを識別し、そのジェス チャをゲームに組み込む。この組み込みは表示装置１０８上に示されるゲームの キャラクタのアクションにジェスチャを変換することである。例えば、プレーヤ がジャンプすると、ゲームの中のキャラクタがそれに従ってジャンプする。 一実施形態において、あらかじめ定義されたジェスチャ群はあらかじめ定義さ れた一般的なジェスチャ群と、あらかじめ定義された特定のジェスチャ群とに分 類される。あらかじめ定義された一般的なジェスチャ群の例としてジャンプする 姿勢、立つ姿勢、およびしやがむ姿勢を含む。あらかじめ定義された特定のジェ スチャ群の例として１以上の一般的なジェスチャ群に加えて１以上の以下のジェ スチャを含む。すなわち、上方向に殴打する、前方向に殴打する、下方向に殴打 する、前方向にキックする、後ろ方向にキックする、前方向に歩く、後ろ方向に 歩く等である。従って、プレーヤ１０２はジャンプしながら、前方向、上方向あ るいは下方向にもパンチを繰り出すことができる。一実施形態において、特定の ジェスチャ群は一般的なジェスチャ群よりもさらに詳細である。例えば、一般的 なジェスチャは立つだけであるが、特定のジェスチャは立つとともに前方向にキ ックする。 図２は装置１００の一実施形態を示し、プリプロセツサ１５２、テンプレート マッチングユニット１５４およびポストプロセッサ１５６を有する。図３はこの 発明を実現するための方法を一般的に示すステップ群１７５を図示する。始めに 、プリプロセッサ１５２は背景１０４の検索を行い（ステップ１７７）、次に現 在の画像を検索する（ステップ１７９）。画像群は検出器１０６により撮像され る。現在の画像は背景画像にマージされたプレーヤの画像を示す。しかしながら 、背景画像は背景の画像を含むのみであり、プレーヤの画像は含まない。 ２つの画像を検索後、プリプロセッサ１５２は現在画像から背景の少なくとも 一部を除去し（ステップ１８１）、プレーヤの画像を生成する。次にテンプレー トマッチングユニット１５４はプレーヤの画像を多数のテンプレートにマッピン グし（ステップ１８３）、テンプレート出力を発生する。この出力を解析し（ス テップ１８５）、ポストプロセッサ１５６はプレーヤの画像内のジェスチャに対 応するあらかじめ定義された１つ以上のジェスチャ群を識別する。一実施形態に おいて、この識別プロセスは規則群にもとづいている。規則群は一般的に、ポス トプロセッサがアクセスすることのできる、データベースあるいは記憶媒体に常 駐するルックアップテーブルに記憶される。 この発明はプレーヤのジェスチャ群を反復的に識別することができる。一実施 形態において、１つのジェスチャを識別し（ステップ１８５）、そのジェスチャ をゲームに使用後、この発明は現在画像を検索するステップ（ステップ１７９） から別のジェスチャを識別するまでを反復することができる。 図４はプリプロセッサ１５２内の背景除去装置２００の一実施形態を示す。こ の実施形態において、画像群は、背景画像であろうと現在画像であろうと、多く のピクセル群を有し、グレイスケールの可能な多数の強度レベルを有する。また 、画像はカラーでも白黒でもよく、あるいはビデオ信号からのフレーム画像であ ってもよい。図４に示す画像において、背景除去ユニット２００は背景画像にも とづいて現在画像のピクセル群の値を変更しプレーヤの画像を生成する。 一実施形態において、背景除去ユニット２００はビデオ信号からフレーム画像 に作用する。最初に、検出器は背景画像を撮像しビデオ信号を発生し、除去ユニ ット２００がそれを除去する。第１フレーム画像取得回路２０４が背景画像を取 得しそれを記憶する。次に、検出器は現在画像を発生しそのビデオ信号を発生し 、再び背景除去ユニット２００がそれを検索する。同期分離器２０２はビデオ 信号から同期信号を抽出し２つのフレーム取得回路２０４および２０６に供給す る。フレーム取得回路２０４はこの同期信号を用いて記憶された背景画像のビデ オ信号を発生する。差動増幅器２０８は現在画像と背景画像を共に入力し、他方 の画像から一方の画像を減算する。第２フレーム取得回路２０６は差動増幅器２ ０８の出力を取得しそのデジタル化信号をしきい値回路２１０に出力する。しき い値回路２１０はグレイスケール画像を２つのレベルを有する画像に低減する。 一実施形態において、しきい値回路２１０はフレーム取得回路２０６内のルック アップテーブルを用いて実現できる。 図５はしきい値回路２１０によるしきい値処理のステップ群２２５を示す。第 ２フレーム取得回路２０６によりデジタル化された各ピクセルの強度値はプラス 、マイナスあるいはゼロである。各ピクセルにおいて、最初にしきい値回路２１ ０はそのピクセルの値の大きさを決定する（ステップ２２７）。次に、しきい値 回路２１０はその大きさすなわち絶対値としきい値とを比較する（ステップ２２ ９）。絶対値が小さければ、そのピクセルの値はゼロになり、そうでなければ１ となる。これにより、プレーヤの画像は「２値化」され、すなわちプレーヤの画 像の各ピクセルの値が２つの値の一方に変更される。 画像のプロファイルを識別するように背景の少なくとも一部を除去するための プロセスは多数の要因を考慮する。一般に、プレーヤ１０２は背景１０４上に影 を落とすがプレーヤの画像は、環境の光照射の関数である影を含んではならない 。別の要因はプレーヤの服の色が背景色と類似する場合もある。例えば、プレー ヤが白いシャツを着て背景も白色の場合である。白の背景色から白色のシャツを 分離するのは困難である。この色ボケの問題を最小に抑える１つの方法は背景を 特殊なすなわち固有のパターンにすることである。これにより同じようなデザイ ンの服を着ている人の可能性を低減することができる。そのような問題を解決す る別の技術はしきい値回路２１０のしきい値を変更することである。 図６はしきい値回路２１０がしきい値を設定するためのステップ群２５０を示 す。最初に、プリセットされたしきい値に基づいて、しきい値回路２１０がプレ ーヤの画像をしきい値処理すなわち２値化する（ステップ２５２）。次に、しき い値回路２１０はしきい値処理された画像からエネルギレベルを発生する（ステ ップ２５４）。このレベルはプレーヤの画像を反映する。一実施形態において、 エネルギレベルはしきい値処理された全ピクセルの値の合計である。 平均的プレーヤのサイズは従前にしきい値回路２１０内に入力可能な上限値お よび下限値内になければならない。エネルギレベルが上限値より高い場合、プレ ーヤのサイズは大きくなりすぎであり、しきい値回路はΔ（デルタ）分だけしき い値を増大し（ステップ２５６）、再度第２フレーム取得回路２０６からの出力 に対してしきい値処理を行う（ステップ２５２）。エネルギレベルが下限値より 小さい場合、プレーヤのサイズは小さすぎる。しきい値回路２１０はΔ（デルタ ）分だけしきい値を低減し（ステップ２５８）、再度第２フレーム取得回路から の出力にしきい値処理を行う（ステップ２５２）。エネルギレベルが上限値と下 限値の間にある場合には、しきい値は適切であると考えられ、しきい値処理が完 了する（ステップ２６０）。Δ（デルタ）の値は収束速度とプレーヤの画像の品 位とのトレードオフにより決定される。一実施形態において、グレイスケール画 像は２５６レベルを有し、デルタの値は２である。 上限値およぎ下限値は、しきい値回路２１０が、異なるサイズのプレーヤ、異 なる色の服、および異なる照明条件のような種々の条件下でプレーヤの鮮明な２ 値画像を得ることができるように設定可能である。この値を設定するための１つ の手法は多くの個体をサンプリングすることである。下限値を設定するために、 この手法はグループから最大の個体を抽出する。下限値は装置１００がプレーヤ の画像を識別できる状態で設定することのできる最も低い限界値である。同様に 、上限値を設定するためにこの手法はグループから最も小さな個体を抽出する。 上限値は装置１００がプレーヤの画像を識別できる状態において設定できる最も 大きな値である。 エネルギレベルを用いてプレーヤが背景の前にいるか否かを判断する。一実施 例において、プレーヤはプレーヤの画像のエネルギレベルが最小レベルよりも小 さければ背景から去ったとみなされる。例えば、検出器が例えば１００個の副検 出器のアレイから構成されるとすると、最小レベルは４０単位である。これは、 しきい値処理の後、４０ピクセルあるいはそれ以下のピクセルが１の値を保持す るということを意味する。他の実施形態において、プリプロセッサが、プレーヤ が去ったと判断すると、プリプロセッサは他の背景画像を検索することができる （ステップ１７７）。これにより例えば、照明が変化すると、背景画像を更新す ることができる。 プリプロセッサ１５２が背景画像を除去してプレーヤの画像を生成すると（ス テップ１８１）、テンプレートマッチングユニット１５４はプレーヤの画像を多 数のテンプレートにマッピングしてテンプレート出力を発生する（ステップ１８ ３）。一実施形態において、数学的には、特定のテンプレートのテンプレートマ ッチング出力は訂正動作すなわちプレーヤの画像とテンプレートとの間の内積演 算により得られる。 一実施形態において、すべてのテンプレートは非常に簡単なパターンを有する 。例えば、各テンプレートは値が１のようなゼロでないピクセルのバーを有する 。一例示において、１の値を有するピクセルは透過であり、ゼロの値を有するピ クセルは非透過である。図７Ａないし７Ｂはそのようなテンプレートの例の一実 施形態である。図７Ｂにおいて、そのテンプレートのサイズは１２０×１２０ピ クセルでありバーの幅は６ピクセルである。 テンプレート群は一般的にテンプレートマッチングユニット１５４内の記憶媒 体に記憶される。テンプレート群は多数のテンプレート群に分けられ、各群内の テンプレートのバーは実質的に平行であり、バーの方位は群が異なると異なる。 一実施形態では、８つのテンプレート群を有し、Ｘ軸に対して０度、22.5度、45 度、67.5度、90度、112.5度、135度、および157.5度の８つの異なる方位を有す る。バーはある幅を有し、各群内のすべてのバーを結合すると、実質的にプレー ヤの画像をカバーする。図７Ｃ乃至７Ｈはバーの他の表示を示す。この表示は各 バーの境界を示しているに過ぎない。例えば、図７Ｃにおいて、垂直バー２７９ のための境界２７５および２７７が示される。他の実施形態においては、全部で １１８のテンプレートがある。 図８Ａ乃至８Ｃはテンプレートの他の実施形態を示す。図８Ａ乃至８Ｂは白ま たは透過である１に等しい値、および黒又は非透過であるゼロに等しい値を有す るピクセルを示し、図８Ｃは一実施形態におけるテンプレート群の境界を示す。 図に示すパターン群を設計するための多くの方法がある。例えば、高さの異な る、１０のような多数の候補を選択することができる。各候補は、後ろ方向にキ ックするような、同じあらかじめ定義されたジェスチャを行う。研究者は例えば 、足が後方に伸びたエリアをカバーするピクセル群のブロック、胴体が前方に延 びたエリアをカバーするピクセル群のブロックのような、ジェスチャを特徴づけ る１つの以上のパターンを選択することができる。各ブロックは最小サイズでな ければならないが、後方にキックしたとき１０の候補のすべてをカバーするのに 十分である。一実施形態において、１つの以上のパターンにより１つのテンプレ ートが構成される。各候補は別のあらかじめ定義されたジェスチャを行い、すべ てのあらかじめ定義されたジェスチャを調べ尽くすまで１つ以上のブロックを決 定する。これによりテンプレートの設計が設定され、各テンプレートはあらかじ め定義されたジェスチャ群の少なくとも一部を特徴づけるための対応する１つ以 上のパターンを有する。また、上述したように、各あらかじめ定義されたジェス チャは１つ以上のテンプレートにより特徴づけることができるので、各あらかじ め定義されたジェスチャはこの発明により識別可能である。一実施形態において 、「ジェスチャを特徴づけるテンプレート」というフレーズで使用される「特徴 づける」という文言は「ジェスチャのあるいはジェスチャ内の特性を測定するた めのテンプレート」を意味する。同様に、「ジェスチャはテンプレートにより特 徴づけることができる」という文章に使用される「特徴づけることができる」と いう節は「ジェスチャ内のあるいはジェスチャの特性をテンプレートを用いて測 定することができる」ことを意味する。 テンプレートを発生するための他の手法は消去のプロセスによる。例えば、テ ンプレートは、隣接するブロック群の中心間の距離が１０ピクセルのような規則 的に配置された５ピクセル×５ピクセルのような等しい寸法を有する、１に等し い値を有するピクセル群のブロックから始める。各テンプレートはブロック群の １つを含む。候補者はすべてのあらかじめ定義されたジェスチャを行う。このテ ンプレート出力にもとづいて、この発明は各ジェスチャを固有に定義する。次に テンプレート群が、１つ以上のジェスチャを定義するのにあいまいさがあるまで 例えば一度に１つ除去される。なお、この手法のためにブロックの寸法を等しく する必要はなく、また規則的に配置する必要もない。 テンプレート群を発生するための他の手法は加算処理による。例えば、このプ ロセスは各テンプレートが３ピクセル×４ピクセルのような寸法を有する１に等 しい値をのピクセル群のブロックであって、テンプレートにランダムに配置され たブロックを有する２つのテンプレートから始める。候補者はすべてのあらかじ め定義されたジェスチャを行う。テンプレート出力に基づいてこの発明が各ジェ スチャを固有に定義できないときは、１に等しい値を持つピクセルブロックを有 する他のテンプレートが追加される。このプロセスは、この発明がすべてのあら かじめ定義されたジェスチャを固有に定義することができるまで反復される。 プレーヤ画像を直接テンプレートにマッピングするための多数の異なるテンプ レートマッチング実施例がある。一実施形態において、マッピングはオーバーレ イまたはオーバーラップに類似する。図９はマッピングを行う、光学装置を有す るテンプレートマッチングユニットを示す。この実施形態において、テンプレー トのホログラフィ記録は以下の方法で行うことができる。テンプレートの画像は 空間光変調器（ＳＬＭ）３０２上に表示される。平面波３０１がＳＬＭ３０２に 照射され、その出力（オブジェクトビームと呼ばれる）がレンズ３０４によりホ ログラフィ媒体３０６上のスポット３１２上に収束される。ホログラフィ媒体は さらにオブジェクトビームとコヒーレントな基準ビームと呼ばれる平面波３１４ により照射される。オブジェクトビームと基準ビーム３１４により形成された干 渉パターンはボリュームホログラムあるいは２次元ホログラムとしてホログラフ ィ媒体に記録される。このホログラムはＳＬＭ３０２に表示されるテンプレート のホログラムとして参照される。一実施形態において、第２テンプレートのホロ グラムは、ＳＬＭ３０２に第２テンプレートを表示し基準ビーム３１４の方向を 変えることにより媒体３０６の同じロケーション３１２に記録される。すべての テンプレートホログラムは上記ステップを繰り返すことにより媒体３０６の同じ ロケーション３１２に記録することができる。ホログラムの記録に関する詳細な 記述は、１９７１年にAcademic Pressにより出版されたR.J．Collier，C.B．Bur ckhardtおよびL.H.Lin著「光学ホログラフィ」に記載されている。 テンプレートマッチングの最中、プレーヤの画像はＳＬＭ３０２に表示され、 基準ビーム３１４はオフとなる。ＳＬＭ３０２からの出力はレンズ３０４により ホログラフィ媒体３０６上のホログラムロケーション３１２上に収束される。光 ビームが各テンプレートホログラムから再構成される。各再構成されたビームの 方向はそのテンプレートのホログラムを記録するのに用いた基準ビームの方向に 一致する。従って、各ビームはレンズ３０８により収束されると、レンズ３０８ の焦点面に配置された検出器アレイ３１０の異なるエレメントに入射される。例 えばある収束ビームが一方の検出器エレメント３１８に入射され、あるビームは 他の検出器エレメント３２０に入射される。レンズ３０８の焦点面において、各 テンプレートからの再構成されたビームの強度プロファイルがそのテンプレート のテンプレート出力である。 ホログラフィ媒体３０６がＳＬＭ３０２の撮像面あるいはその付近に配置され る場合には、テンプレート出力はプレーヤ画像と対応するテンプレートとの内積 に比例する。ホログラフィ媒体３０６がレンズ３０４の焦点面あるいはその付近 に配置される場合には、テンプレート出力はプレーヤ画像と対応するテンプレー トとの間の相関に比例する。一実施形態において、プレーヤ画像と各テンプレー トとの間の内積演算はテンプレートのマッチング中に行われる。すべてのホログ ラムが同一スポットに記憶されるので、すべてのテンプレート出力は同時に発生 される。一実施形態において、検出器アレイ３１０はテンプレート出力当たり１ エレメントの１１８個の検出器エレメントを有するリニアアレイである。 他の実施形態において、テンプレートホログラムは異なるロケーションに記憶 される。空間光変調器３０２からの出力は、各テンプレート上にプレーヤ画像を マッピングするために走査すなわち異なるロケーションに複製される。このよう なテンプレート出力は再度異なる検出器に入手するかあるいは異なる時間に同じ 検出器に入射するように設計可能である。そのようなホログラフィ応答を発生す るための技術は当業者には明白であり、１９９５年１１月にScientific America nにより出版されたD．PsaltisおよびF.Mok著「ホログラフィメモリ」に記載され ている。 上述した内積を計算するためのマッチング手法は電子的にも実行可能である。 一実施形態において、プレーヤ画像の各ピクセルの値は各テンプレートの対応ピ クセルの値と乗算される。 乗算処理の後、テンプレート上のピクセルの出力は加算されそのテンプレート の内積あるはテンプレート出力を得る。 図１０は電子マッピング手法のためのステップ群３５０を示す。最初に、テン プレートマッチングユニット１５４はデジタル化されたプレーヤ画像を圧縮する （ステップ３５２）。この実施形態において、デジタル化されたテンプレートは 同じ方法で前もって圧縮されている。次に、テンプレートマッチングユニット１ ５４は圧縮されたプレーヤ画像をあらかじめ圧縮された各テンプレートとの内積 を計算し、テンプレート出力を発生する（ステップ３５４）。 一実施形態において、デジタル化されたプレーヤ画像とデジタル化されたテン プレートが２値化される。この圧縮は、各々が１ビットにより表現されるプレー ヤ画像上の多数のピクセルをバイトに結合したり、あるいは６４ビットのような 多数ビットのワードに結合することができる。内積は最初に圧縮したプレーヤ画 像からの各ワードと、圧縮したテンプレートからの対応するワードとの間のビッ トベースのＡＮＤ演算を行い、次にロジック１の数を数えるかあるいはルックア ップテーブルを使用することにより結果として得られたワードのロジック１の数 を求めることにより計算される。このプロセスは１以上のワードがある場合には 、すべてのワードに対して繰り返され、すべてのワードマッチングプロセスの結 果が加算される。同時のピクセルマッチングとルックアップテーブルの使用によ り計算速度を高めることができる。 図１１Ａ乃至１１Ｇはテンプレート出力の例を描画する。図１１Ａは垂直方向 の高さのテンプレート群にマッピングされたプレーヤ画像を示す。図１１Ｂはヒ ストグラムのテンプレート出力を示し、これはプレーヤ１０２の高さをも示す。 図１１Ｃおよび１１Ｄは水平位置テンプレートの対応出力を示し、これはプレー ヤ１０２の幅をも示す。高さと幅を示す出力は一般にプレーヤに胴体位置を提供 する。図１１Ｅと１１ＦはＸ軸に対して157.5度の方位のバーを有するテンプレ ートの出力を示す。この出力は一般にプレーヤの手、腕、足の方位を示す。最後 に、図１１Ｇは図８Ｃに示すテンプレート上にマッピングされたプレーヤの画像 を示す。 テンプレートマッチングユニット１５４がテンプレート出力を発生すると、ポ ストプロセッサ１５６はこれらの出力を解析してプレーヤ画像内のジェスチャに 対応する特定のあらかじめ定義されたジェスチャを識別する。図１２はこの発明 のポストプロセッサにより実行される、テンプレート出力を解析するためのステ ップ群３７５を示す。この実施形態において、ポストプロセッサ１５６はプレー ヤの胴体位置を追跡し（ステップ３７７）、１つ以上のテンプレート出力を除去 することができる（ステップ３７８）。除去のための１つの原理は、多数のテン プレートからの出力は、例えば図１１Ｃ及び１１Ｄのテンプレートの左隅および 右隅に図示されるようにヌルコードにすることができるということである。プレ ーヤの胴体位置にもとづいて、ポストプロセッサ１５６はこれらのテンプレート からの出力を解析しないようにすることもできる。他の実施形態において、プレ ーヤの胴体位置にもとづいて、テンプレートマッチングユニット１５４はプレー ヤ画像と多数のテンプレートとのマッチングを行わないようにすることもできる 。言い換えれば、テンプレートの数よりも少ないテンプレート出力になる。 一実施形態において、プレーヤの位置から、ポストプロセッサ１５６はあらか じめ定義された一般的なジェスチャを識別し（ステップ３７９）、あらかじめ定 義された特定のジェスチャを識別し（ステップ３８１）、規則群にもとづいて特 定のジェスチャを解析し（ステップ３８３）、プレーヤ画像のジェスチャに対応 する１つ以上のジェスチャを識別する。規則群は公知の入力および出力に基づい て発生可能である。公知の入力および出力によるそのような規則の発生は当業者 には明白である。 図１３はポストプロセッサ１５６の一実施形態を示す。追跡装置４００はテン プレート出力を入力し追跡処理を行いテンプレート出力関数を除去する。残りの テンプレート出力からニューラルネットワーク４０２が１つ以上のあらかじめ定 義された特定のジェスチャを発生する。次に、規則にもとづく解析器４０４が特 定のジェスチャを解析してプレーヤ画像のジェスチャを解析する。 さらに詳細を述べると、図１４はテンプレート出力を除去する追跡装置４００ のステップ群４５０を示す。この実施形態において、追跡装置はプレーヤ画像の 中心を識別することにより開始し（ステップ４５３）、次にプレーヤ画像の高さ を解析する（ステップ４５５）。高さと中心の識別は、例えば図１１Ｂおよび １１Ｄに示すテンプレート出力を介して行うことができる。図１１Ｂのヒストグ ラムの最も高いノンゼロポイントがプレーヤの高さを示し図１１Ｄに示すヒスト グラムの最大値ポイントがプレーヤの中心を示す。なお、プレーヤの高さと中心 を決定するにはプレーヤの画像を２つのテンプレート群にマッピングすればよく 、その画像をすべてのテンプレート群にマッピングする必要はない。 この識別にもとづいて、追跡装置４００はさらなる解析から１つ以上のテンプ レート出力を除去することができる（ステップ４５７）。この実施例において、 プレーヤの画像は前もってすべてのテンプレートにマッピングされる。中心と高 さ情報にもとづいて、追跡装置４００は１つ以上のテンプレート出力を除去する ことができる。これらの出力は解析されない。ここでのアイデアはすべてのテン プレート出力はすでに形成されているということである。中心と高さ情報を用い て必要な解析量を低減するためにいくつかの出力を解析されないように除去する 。この実施形態はホログラフィマッピング手法により実現可能である。 他の実施形態において、追跡装置による中心と高さの情報の識別に基づいて、 テンプレートマッチングユニット１５４は、マッチングプロセスから得られた１ つのテンプレート群から少なくとも１つのテンプレートを除去する。１つ以上の 除去されたテンプレートはそれ以前にはプレーヤの画像にはマッピングされてい なかった。次に、テンプレートマッチングユニット１５４はプレーヤの画像を残 りのマッピングされないテンプレートにマッピングしてテンプレート出力を発生 する。この手法において、始めに、テンプレートマッチングユニット１５４はプ レーヤの画像を、プレーヤの中心と高さを識別するのに必要なテンプレートにマ ッピングするのみである。中心と高さ情報にもとづいて、１つ以上のテンプレー トはプレーヤ画像をマッピングする必要がない。これらのテンプレートはプレー ヤ画像が位置していないエリア群に関連している。テンプレートマッチングユニ ットはこの特定のプレーヤ画像のための１つ以上のテンプレートを除去し、残り のテンプレートをマッピングし、さらなるテンプレート出力を発生する。この実 施形態は電子的マッピング手法により実現可能である。 一実施形態において、高さと中心情報にもとづいて、ポストプロセッサ１５６ はプレーヤが、左方向、右方向あるいは検出器の近ずく方向あるいは遠ざかる方 向のように動き回るのと同様の速度でプレーヤの画像を識別する。言い換えれば ポストプロセッサ１５６は移動量とスケールが実質的に変わらない。プレーヤは 動きまわるが、追跡装置はプレーヤの中心を識別することができ、そこから解析 を行うことができるので、移動量は変わらない。プレーヤの高さを異ならせたり 、あるいはプレーヤは検出器に近ずく方向あるいは遠ざかる方向に移動できるが 、追跡装置はプレーヤの高さを識別しそこから解析を行うことができるので、ポ ストプロセッサ１５６のスケールは変わらない。 さらに、プレーヤの中心のような、プレーヤの１つ以上の特定のロケーション の変化を用いて、プレーヤが前方向あるいは後方向に歩くようなジェスチャを認 識するのに役立てることができる。一般に、１つの画像だけで、プレーヤが前方 あるいは後方に歩いているか否かを識別するのは困難である。そのようなジェス チャを２つの画像を用いて識別することは非常に容易である。すなわち、プレー ヤが前方に歩き出す前に撮像した画像、これも一実施形態においてジェスチャと 考えられるが、およびプレーヤが前方に歩いている最中あるいは歩き出した後に に撮像した画像である。 図１５はプレーヤの画像上の特定のロケーションの変化を用いて１つ以上のジ ェスチャを識別する１つのステップ群４６１を示す。次にその画像が検索され（ ステップ４６３）、テンプレートマッチングユニットにより少なくとも１つのテ ンプレート群にマッピングされ（ステップ４６５）、テンプレート出力を発生す る。このテンプレート出力にもとづいて、プレーヤ画像上の１つの特定ロケーシ ョンが追跡装置により識別される（ステップ４６７）。例えば、この位置はプレ ーヤ画像の中心あるいはプレーヤの頭の上部である。プレーヤが移動するにつれ 、ステップ４６３乃至４６７が反復され（ステップ４６９）追跡装置により特定 ロケーションの変化が識別される。ロケーションの変化にもとづいて、テンプレ ート出力がポストプロセッサにより識別され（ステップ４７１）、プレーヤのジ ェスチャが識別される。例えば、プレーヤ画像において、テンプレート出力は、 プレーヤが手を前方に伸ばして立っていることを示す。次の画像において、テン プレート出力は、プレーヤが依然として、手を前方に伸ばして立っていることを 示す。しかしながら、プレーヤの中心もまた前方に移動する。プレーヤの中 心移動にもとづいて、装置１００はプレーヤが手を前方に伸ばしたまま前方に移 動したと判断することができる。他の例において、プレーヤは手を下方向に伸ば して立っている。次の画像は、プレーヤの頭の上部が移動したことを除いて同じ ジェスチャを示す。ヘッド上部の移動にもとづいて、装置１００はプレーヤが手 を下方向にしてジャンプしたと判断することができる。 追跡装置４００は中心情報あるいは高さ情報を常に更新したいと思わないかも 知れない。一実施形態において、プレーヤ１０２が休息しているとき、および所 定期間更新が生じなかったとき更新が生じる。図１６は中心情報および高さ情報 をいつ更新するかを決定するための１つのステップ群４７５を示す。最初にプレ ーヤのジェスチャがすでに識別されていると仮定する（ステップ１８５）。次に 、追跡装置４００が、ジェスチャが休息のジェスチャか否か判断する（ステップ ４７７）。このジェスチャは一実施形態において、両手を下に垂らして立ってい るジェスチャとして定義される。さらに、追跡装置４００はプレーヤが休息のジ ェスチャに入ってからｍ（ｍは２）秒経過したか否かを判断する（ステップ４７ ９）。ｍ秒経過し、かつプレーヤが休息の姿勢であるなら、追跡装置４００はプ レーヤの高さと中心を識別し更新する。上記説明はプレーヤの高さと中心の両方 に的を絞った。他の実施形態においては１つのロケーションのみが追跡される。 他の実施形態では、２以上のロケーションが追跡される。 一実施形態において、ニューラルネットワーク４０２はテンプレート出力を解 析する。ニューラルネットワークは回路パラメータが公知の入力および公知の出 力を介して学習されるネットワークである。回路における相互接続の重みとして も知られるパラメータは公知の入力が公知の出力を供給するまで変更される。そ のようなネットワークの生成は当業者には明白である。 ニューラルネットワークを用いることは出力を解析するための１つの手法に過 ぎない。規則ベースシステムのような他の手法も適用可能である。規則ベースシ ステムにおいて、規則群は公知の入力および公知の出力にもとづいて設定される 。入力信号が入力されると、規則ベースシステムはそれを規則と比較し適切な出 力信号を発生する。そのような規則ベースシステムの発生も当業者には明白であ る。ニューラルネットワークあるいは規則ベースシステムを用いた場合、解析 は２ステップの手法に変更可能である。 ２ステップの手法の場合、一実施形態において、最初にテンプレート出力が解 析され、その画像のジェスチャが属する１つ以上のあらかじめ定義された一般的 なジェスチャを識別する。次に、第２ステップにおいて、その画像に対応する１ つ以上の特定のあらかじめ定義されたジェスチャが識別される。例えば、第１ス テップはプレーヤがしゃがんでいることを示すプレーヤの胴体の一般的な情報を 判断する。次のステップはプレーヤがしゃがんでいるときの手、腕、足のロケー ションおよび方位を判断しプレーヤがパンチを繰り出していることを示している と判断する。一実施形態において、第１ステップはテンプレート出力の一部のみ を使用し、第２ステップは第１ステップからの結果およびテンプレート出力の一 部を使用する。これらのステップは共に一度のすべてのテンプレート出力を解析 することはできない。このような２ステップ手法は問題の複雑さを低減し認識精 度を高める。上記記述にもとづいて、テンプレート出力を解析する問題はさらに ２以上のステップにわけることができることは明白である。 一実施形態において、ニューラルネットワークは２層ニューラルネットワーク あるいは２つのシーケンシャルネットワークである。第１層あるいはシーケンシ ャルネットワークの第１ネットワークはその画像のジェスチャが属する１つ以上 のあらかじめ定義された一般的なジェスチャを識別する。第２層あるいはシーケ ンシャルネットワークの第２ネットワークはその画像が属する１つ以上の特定の ジェスチャを識別する。１つ以上のニューラルネットワークあるいは、１層以上 のニューラルネットワークを用いることによりすべてのテンプレート出力を解析 するためのニューラルネットワークを設計する際の複雑さを低減することができ る。上記記述にもとづいて、２以上のニューラルネットワークあるいは２層以上 のニューラルネットワークを用いてテンプレート出力を解析することができるこ とは当業者には明白である。 一実施形態において、ニューラルネットワーク４０２からの１つ以上の出力信 号は画像内のジェスチャに対応するあらかじめ定義された特定のジェスチャを識 別する。他の実施形態において、ニューラルネットワーク４０２が１つ以上のあ らかじめ定義された特定のジェスチャを識別した後、規則ベースアナライザ ４０４が画像内のジェスチャに対応する１つ以上の特定ジェスチャを識別する。 規則ベースアナライザはルックアップテーブルで構成し得る。 使用する規則の種類はプレーヤがプレイしているゲームの種類および使用する テンプレートの種類に依存することができる。ゲームが一人の相手とだけ戦うよ うなゲームであるなら規則例は「あらかじめ定義された特定ジェスチャが立ちな がら後方にキックしかつ前方にパンチを繰り出すなら、実際には、プレーヤのジ ェスチャは立ちながら胴体を前方に傾けて後方にキックしている」である。この 理由はプレーヤは後方にキックすることと前方にパンチを繰り出すこととは同時 にはできないからである。相手は一人しかいない。しかしながら、プレーヤがキ ックするとき、バランスを維持するために、一般には前方に傾く。プレーヤが前 方に傾くと、おそらく、プレーヤが上方向にパンチを繰り出していることを示す のに使用することのできる図７Ｅおよび７Ｇのテンプレートはある値を保持する 。前方に傾く移動は上方向へのパンチと誤って解釈される恐れがあるので、上述 の規則が作られる。ゲームの種類および使用するテンプレートの種類に応じて、 一連の規則群が発生される。これらの規則群はルックアップテーブルに記憶する ことができ、ポストプロセッサによりアクセス可能な媒体に記憶される。 この発明はジェスチャに限定されない。一実施形態において、プレーヤの音も 取り込まれる。プレーヤのジェスチャに従ってモニタ上のキャラクタが移動する につれ、キャラクタもまたプレーヤが発したと同じ音を発する。さらに、他の実 施形態において、プレーヤの顔がデジタル化されゲームのキャラクタの顔として 使用される。 この発明はプレーヤに限定されない。一実施形態において、この発明は犬のよ うな他の生物のジェスチャを認識するのにも適用可能である。他の実施形態にお いて、この発明はさらに生き物をシミュレーションするロボットにも適用可能で ある。一実施形態において、生き物とロボットは集合的に生き物として知られ、 これはこの発明において生き物をおよび生き物をシミュレートするロボットを含 む。さらに、生き物が非生き物と接触している場合、一実施形態において、その 非生き物に接触する生き物は集合的に生き物とみなされる。例えば、男がナイフ を握っている場合、その男とナイフは共に生き物である。 この発明はゲームをプレイするものに限定されない。ジェスチャ認識は物体の 操作に適用可能である。例えば、ロボットに人間のジェスチャをまねさせること ができる。人が動くとそのジェスチャが認識され、それに追従する。例えば、人 が手を挙げれば、ロボットはそれに従って物体を上に持ち上げる。 一実施形態において、画像は２値化されずあるいはしきい値処理されない。た とえば、テンプレート出力は、対応する非２値化画像に対して実行された内積を 介して発生することができる。これはデジタルエレクトロニクスあるいはホログ ラフィを介して行うことができる。 この発明において、「ジェスチャ」という文言は多くの意味を持つ。一実施形 態において、「ジェスチャ」という文言は表現手段としての手、腕、足、あるい は胴体の移動の使用を意味する。これは、立っているような休息姿勢の胴体を含 む。これは伝達される表現が休んでいるからである。他の実施形態において、「 ジェスチャ」という文言は生き物の一部の相対位置の変化を意味する。例えば、 プレーヤはナイフを握っているかも知れない。プレーヤの指を多少動かすことに より、ナイフを意味深長に動かすことができる。このナイフの移動はこの発明に おいてジェスチャとみなされる。なぜなら生き物、すなわちナイフを握っている 生き物の一部の位置の相対位置に変化があるからである。 一実施形態において、この発明はプリプロセッサ、テンプレートマッチングユ ニット、ポストプロセッサおよび検出器１０６を有する。他の実施形態において 、この発明はさらにモニタ１０８を有する。さらに他の実施形態において、この 発明はさらに背景１０４を含む。 この発明の多数の観点を実現するための異なる実施形態について記述した。こ れらの実現方法のいくつかは完全なハードウエアであり、いくつかはソフトウエ アであり、いくつかはその両方である。この明細書にもとづいて、異なる実現手 段に対してどのように実施例が構築されるかは当業者には明白である。 図１は画像を撮像する１つの検出器１０６が示されている。他の実施形態にお いて、画像は１つ以上の検出器あるいはカメラにより撮像可能でであり、異なる 検出器が異なる方向からの画像を撮像する。 この発明は、現在画像と背景画像によりプレーヤの画像を得るための１つの技 術を記述する。他の実施形態において、プレーヤ画像を得る他の方法がある。例 えば、プレーヤは制御された環境下でプレイすることができる。背景は黒でプレ ーヤの服は白である。このような制御された環境下では、現在画像は実質的にプ レーヤ画像である。 この発明はさらに１つ以上の記憶媒体を有する。これらの媒体は多くの方法で 使用することができる。例えば、プレーヤの画像が発生された後、１つの記憶媒 体が画像を記憶することができる。次に画像が検索され解析される。この記憶媒 体はプリプロセッサ、テンプレートマッチングユニット、およびポストプロセッ サの１つまたはそれらの組み合わせである。 この発明は１以上のプレーヤにより使用することができる。図１７は二人のプ レーヤのためのこの発明の他の実施形態５００を示す。この実施形態は２つの検 出器５０２、５０４、２つの背景５０６，５０８、コントローラ５１０およびデ ィスプレイ５１２である。背景の前に立っている二人のプレーヤ５１４および５ １６が移動する。検出器はジェスチャを撮像しその情報をコントローラ５１０に 送信する。コントローラ５１０もプリプロセッサ、テンプレートマッチングユニ ットおよびポストプロセッサを含むことができる。また、プリプロセッサはプレ ーヤの画像検索するように構成される。プリプロセッサに接続されるテンプレー トマッチングユニットは各々があらかじめ定義されたジェスチャの少なくとも一 部を特徴づける多数のテンプレートを検索し、プレーヤの画像を１つ以上のテン プレートに直接マッピングし、多数のテンプレート出力を発生する。テンプレー トマッチングユニットに接続されたポストプロセッサはテンプレート出力を解析 して特定のあらかじめ定義されたジェスチャを識別する。これらのジェスチャは 画像内のジェスチャに対応し、ゲームにおいて対話するキャラクタを制御するた めの識別されたジェスチャを入れ替えるのに使用される。ディスプレイ５１２は 対話型ゲームを表示する。 この明細書の記述を介して、特にジェスチャを認識するコントローラの速度が プレーヤの速度に比べて非常に高速なので、ゲームの１以上のプレーヤのジェス チャを認識するための方法は当業者には明白である。 この実施形態５００の１つの利点は、５１４のようなプレーヤがプレイ中に、 プレーヤの移動がディスプレイ５１２上のキャラクタによるジェスチャ認識を通 して置換されることにより、プレーヤはキャラクタが自分の動きに追従している こを見ることができることである。さらに、周囲の光景を介して他のプレーヤ５ １６の実際の動きをも見ることができる。これは、例えば双方のプレーヤが例え ば３０度の入射角５３０、５３２でディスプレイ５１２の前に立っているなら、 可能である。プレーヤが実際の動きを見ることができると共に他のプレーヤの顔 の表情を見ることができるので、ゲームをプレイする満足感を高めることができ る。実際に、出願人は、一方のプレーヤが他方のプレーヤの感情を聞きとること ができるので満足度が極めて高くなることを発見した。他のプレーヤの実際の動 きをさらにより良く視覚化するために実施例５００はさらに２つの鏡５２４およ び５２６を含むことができる。鏡は一方のプレーヤが、ディスプレイを見ながら 他方のプレーヤを容易に見ることができるように配置される。これは鏡がデイス プレイ５１２近くにあるためである。 この発明は二人のプレーヤがプレイする場合について記載した。この発明は二 人以上のプレーヤが同時にプレイし、そのジェスチャが撮像されゲームのキャラ クタと置換される場合にも適用できることは当業者には明白である。 この発明はジェスチャを認識するための異なる手法を記述する。一人以上のプ レーヤの実施形態において、当業者に知られている他のジェスチャ認識手法をも 使用することができる。上述したように、プレーヤが移動すると、その動きはゲ ームのキャラクタのアクションを制御する。二人以上のプレーヤが同じゲームを プレイする場合、対応するキャラクタがゲームにおいて対話可能である。 この発明の一実施形態において、ゲームの第１のキャラクタが第２のキャラク タに対して殴打し、キックし、接触しあるいはあるアクションを行使すると、第 ２キャラクタに対応するプレーヤ、すなわち第２プレーヤはそれを感じる。すな わちプレーヤはある力を感じる。例えば、二人のプレーヤがプレイしている場合 、一方のキャラクタが他方のキャラクタを殴打すると、衝撃が双方のプレーヤま たは殴打された方のプレーヤに伝達される。プレーヤはこの衝撃によりある振動 あるいは力を感じる。この衝撃はウーファからの音波あるいはプレーヤが立って いる板の移動で実現可能である。 図１８は図１９に示すそのような実施形態６１０を実現するための１つのステ ップ群６００を示す。クリスチーヌがリンダとプレイしていると仮定する。ゲー ムでは、クリスチーヌのキャラクタがリンダのキャラクタを殴打する。この実施 形態において、識別子６１２はクリスチーヌのキャラクタがリンダのキャラクタ を殴打するというアクションを示す（ステップ６０２）。 殴打するというアクションは多くの方法で識別可能である。例えば、識別子６ １２は例えば多数のフレーム取得するフレーム取得部を介してゲームの多数の画 像を検索する。少なくとも２つの画像は一方が他方よりも時間的に早いという一 時的な関係を有する。一時的な関係を有する少なくとも２つの画像におけるある パターンが認識される。一実施形態において、ゲームの各キャラクタはキャラク タの健康を示す寿命バーを有する。キャラクタが殴打される毎にその寿命バーの 長さが短くなる。寿命バーの長さがゼロになると、対応するキャラクタは死んだ とみなされ、少なくともそのプレーヤに対するゲームは終了する。リンダのキャ ラクタが殴打されたか否かを識別する一つの方法はリンダのキャラクタの寿命バ ーの長さの変化を測定することである。長さが短くなればリンダのキャラクタは 殴打されたことになる。異なる方法を用いて寿命バーの長さの変化を測定するこ とができる。例えば、図２０に示すように、バー６２５は多数の垂直カラムのビ ット群６２７および６２９から構成される。異なる画像のバーのカラム数の変化 をカウントすることにより、識別子６１２は寿命バーの長さの変化を検出するこ とができる。システムノイズを考慮して、その差が例えば１カラムしかない場合 、リンダのキャラクタは殴打されたとはみなされない。 一度、識別部がリンダのキャラクタが殴打されたと判断すると、そのメッセー ジをジェネレータ６１４に送り、ジェネレータはリンダのキャラクタに行使され たアクションに応答してある力を発生する（ステップ６０４）。この発生は機器 を駆動するための電気信号の生成により実現される。 次に印加部６１６がリンダに力を印加する（ステップ６０６）。この力はリン ダに向けられた衝撃で実現され、１秒乃至２秒間低周波数の音波を出力するウー ファにより発生可能である。十分強ければ、音波を感じることができる。一実施 形態において、音波の方向性は、リンダのみが音波を感じとり、あるいは全員の プレーヤが音波を感じ取ることができるように調節可能である。他の実施形態に おいて、各プレーヤがプレートの上に立ち、リンダが立っているプレートに例え ば１秒というような短い期間振動させることによりリンダに衝撃を伝達すること ができる。 図２１はこの発明の他の実施形態を示す。この実施形態は画像の検出器６８０ におけるプレーヤの画像の信号対雑音比を高めるようにプレーヤ６５０のための 背景照射を提供する。一実施形態において、検出器６８０は検出器１０６で構成 され、プリプロセッサ１５２、テンプレートマッチングユニット１５４およびポ ストプロセッサ１５６に接続可能である。一般に、背景光はプレーヤの画像が測 定されるときできるだけ均一に発生される。しかしながら、経験によれば、非均 一な光は楽しみと興奮の雰囲気をつくりだすことができることが判明した。 この発明の一実施形態において、発生された背景光は空間的に非均一である。 図２１はこのような手法の１つの上面図である。図２２において、背景光は３つ の光ボックス６５６、６５８および６６０から照射される。２つのボックスはお よそ幅４フィートで高さが８．３７５フィートであり、残りのボックスはおよそ 幅が２フィートで高さが８．３７５フィートである。幅が４フィートの各ボック スは６５２および６５４のような８フィートの長さの蛍光管を保持し、幅２フィ ートのボックスはこれらの蛍光管の１つを保持する。７つの蛍光管は実質的に均 一に離間している。６６２のような光ボックスの前面カバーは半透明であり、色 は青である。発生された光は目につきやすいように非均一である。なお、空間的 な非均一性は、例えば光りボックスのエッジ付近でのみ光が非均一であることを 意味しない。背景光はボックスのエッジ前面において空間的に非均一である。 この非均一性により、発生された背景光に峰部と谷部があり、峰部は実質的に 最大光強度を有するエリアとして定義され、谷部は最低光強度を有するエリアと して定義される。一実施形態において、光ボックスの前面カバーの峰部と谷部の 間の光強度の比は空間的な非均一性を作り出すためには２対１より大きい。 発生された背景光は検出器６８０におけるプレーヤの画像を作り出すのに役立 つ。一実施形態において、谷部の背景光の強度は検出器６８０におけるプレーヤ の画像の少なくとも８０％内の点の光強度よりも大きい。プレーヤの服の色が暗 ければ、谷部の光強度は検出器におけるプレーヤの画像内のほとんどの点の光強 度よりも大きくなる。 他の実施形態において、非均一な光は蛍光管の代わりに電球により発生される 。さらに他の実施形態において、非均一な光は蛇行形状の蛍光管により発生され る。 さらに他の実施形態において、発生された背景光は一時的に非均一である。例 えば、発生された光は時間の関数に従って点滅する。この場合点滅の割合はプレ ーヤの画像が検出されたときの時間に同期する。点滅は光がオンおよびオフし、 光がオンしたときプレーヤの画像が検出される。 一人以上のプレーヤによりゲームがプレイされる場合、非均一な背景光はすべ てのプレーヤに印加可能であり、ゲームの楽しみと興奮の観点を高める。図２２ は二人のプレーヤ７０４および７０６がプレイしている場合の実施形態である。 光ボックス７００および７０２により発生された非均一の光はプレーヤのための 背景光を提供する。この例において、プレーヤ７０４の画像は検出器７０８によ り測定され、プレーヤ７０６の画像は検出器７１０により測定される。 この発明は、テンプレートマッチングユニットを用いてプレーヤの画像のジェ スチャを識別する多くの手法について記述した。他の方法を用いてプレーヤ画像 のジェスチャを識別することもできる。例えばエッジ検出技術を用いて画像のエ ッジを識別することができる。このエッジ情報に基づいてプレーヤのジェスチャ を識別することができる。エッジ識別を高めるための１つの方法は、プレーヤを 背景光で照射することである。前面から測定されるとき、プレーヤの画像はシル エットの形態を取ることができ、シルエットのエッジは最大強度変化を有する。 このような大きな変化を識別することにより、画像のエッジを見つけることがで き、それにより画像のジェスチャを識別することができる。そのようなエッジ検 出技術は当業者には明白でありこの明細書にはさらに記載しない。 この発明の他の実施例はこの明細書あるいはここに記載したこの発明の実施形 態から当業者には明白である。アプリケーションおよび例は例示に過ぎず、この 発明の真の範囲と精神は以下のクレームに示されることを意図する。

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 ０８／９５３，８８１ (32)優先日 平成９年10月20日(1997．10．20) (33)優先権主張国 米国（ＵＳ） (31)優先権主張番号 ０９／０２２，７７０ (32)優先日 平成10年２月12日(1998．2．12) (33)優先権主張国 米国（ＵＳ） (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ， ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，Ｌ Ｓ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，Ｅ Ｅ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＧＭ，ＧＷ，ＨＵ ，ＩＤ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ， ＫＺ，ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，Ｍ Ｄ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ， ＳＬ，ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＺ，Ｖ Ｎ，ＹＵ，ＺＷ (72)発明者 ツォウ ガン アメリカ合衆国 カリフォルニア州 91001 アルタディーナ ノース ホリス タン アベニュー 2165 (72)発明者 プー アレン アメリカ合衆国 カリフォルニア州 91107 パサディナ ラス ライエンダス ウェイ 1114 (72)発明者 リー シーン アメリカ合衆国 カリフォルニア州 91365 ウッドランド ヒルズ オウェン ス マウス アベニュー 550―＃304 (72)発明者 ガステラム ロドルフォ アメリカ合衆国 カリフォルニア州 90732 サン ペドロ ブレット プレイ ス 1450―＃111 (72)発明者 ラジック マット アメリカ合衆国 カリフォルニア州 90295 マリーナ デル レイ ワシント ン ブールヴァード 673

Claims (1)

1. 【特許請求の範囲】 １．特定のあらかじめ定義されたジェスチャ群からジェスチャを識別することに より生き物の画像のジェスチャを認識するための方法において、 生き物の画像を検索するステップと、 少なくとも１つのテンプレートがあらかじめ定義されたジェスチャの少なく とも一部を特徴づける、複数のテンプレートを検索するステップと、 生き物の画像を１つ以上のテンプレートにマッピングし複数のテンプレート 出力を発生するステップと、および 前記テンプレート出力を解析し前記画像内のジェスチャに対応する特定のあ らかじめ定義されたジェスチャを識別するステップとで構成されることを特徴 とするジェスチャ認識のための方法。 ２．前記生き物の画像を検索するステップは、 前記生き物の画像を含まない背景画像を検索するステップと、 前記生き物の画像と、前記背景画像の少なくとも一部を含む現在画像を検索 するステップと、および 前記現在画像から前記背景画像の少なくとも一部を除去し前記生き物の画像 を発生するステップとをさらに具備したことを特徴とする請求項１に記載のジ ェスチャ認識のための方法。 ３．前記生き物はプレーヤであり、前記ジェスチャは電子ゲームに使用されるこ とを特徴とする請求項１または２に記載のジェスチャ認識のための方法。 ４．前記プレーヤの音が取り込まれ、前記電子ゲームに再放送されることを特徴 とする請求項３に記載のジェスチャ認識のための方法。 ５．前記プレーヤの顔はデジタル化され前記電子ゲームに使用されることを特徴 とする請求項３に記載のジェスチャ認識のための方法。 ６．前記解析ステップの後に、現在画像を検索するステップから反復し前記生き 物の画像の他のジェスチャを認識するステップをさらに有することを特徴とす る請求項２に記載のジェスチャ認識のための方法。 ７．特定のあらかじめ定義されたジェスチャ群は１つ以上の一般的なあらかじめ 定義されたジェスチャに分類され、 前記解析ステップは、さらに、 少なくとも１つの一般的なあらかじめ定義されたジェスチャを識別し、およ び 前記特定のあらかじめ定義されたジェスチャが前記画像のジェスチャに対応 するように前記識別された一般的なあらかじめ定義されたジェスチャ内の少な くとも１つの特定のあらかじめ定義されたジェスチャを識別するステップをさ らに有することを特徴とする請求項１、２、３、４、５、または６に記載のジ ェスチャ認識のための方法。 ８．しきい値を検索するステップと、 上限値を検索するステップとをさらに有し、 前記画像は複数のピクセルを有し、各ピクセルは値を有し、 前記除去するステップは、さらに、 前記背景画像内の各ピクセルの値と、前記現在画像内の対応するピクセルの 値との差分を前記しきい値と比較しエネルギレベルを発生するステップと、 前記エネルギレベルが前記上限値より大きければ前記しきい値を変更するス テップと、 前記エネルギレベルが前記上限値より大きければ前記比較ステップから反復 するステップと、および 前記背景画像、現在画像およびしきい値にもとづいて前記生き物の画像を発 生するステップとをさらに有したことを特徴とする請求項２に記載のジェスチ ャ認識のための方法。 ９．前記画像は複数のピクセルを有し、各ピクセルは値を有し、 前記生き物の画像はデジタル化されかつ圧縮され、 前記複数のテンプレートはデジタル化されかつ圧縮され、および 前記マッピングするステップはさらに前記圧縮された生き物の画像を前記複 数の圧縮されたテンプレートにマッピングを有し、各テンプレート出力は、対 応する圧縮されたテンプレートと前記圧縮された生き物の画像との内積を計算 するステップを含むプロセスにより発生されることを特徴とする請求項１、 ２、３、４、５、６、７または８に記載のジェスチャ認識のための方法。 10．前記マッピングするステップの後に、前記テンプレート出力にもとづいて前 記生き物の画像上の少なくとも１つの特定位置を識別するステップと、 現在画像を検索するステップから反復し前記生き物の画像の特定位置の変化 を識別するステップをさらに有し、 前記解析するステップは前記生き物の画像の特定位置の変化に依存すること を特徴とする請求項２に記載のジェスチャ認識のための方法。 11．前記ゲームは複数のキャラクタを有し、ゲームにおいて前記キャラクタが対 話するのを制御するために前記識別されたジェスチャを複製するように第２プ レーヤの画像のジェスチャを識別するステップをさらに有することを特徴とす る請求項３、４、または５に記載のジェスチャ認識のための方法。 12．ゲームにおいて、他のキャラクタにより第１キャラクタに行使されるアクシ ョンを識別するステップと、 前記行使されたアクションに対応する力を発生するステップと、および 前記力を前記ゲームの第１キャラクタを制御する第１プレーヤに印加するス テップとをさらに有したことを特徴とする請求項１１に記載のジェスチャ認識 のための方法。 13．前記印加するステップは前記第１プレーヤに向けられた衝撃を生成するステ ップを含むことを特徴とする請求項１２に記載のジェスチャ認識のための方法 。 14．空間的に非均一な背景光を供給し、前記画像のジェスチャを識別するステッ プをさらに有することを特徴とする請求項１、２、３、４、５、６、７、８、 ９、１０、１１、１２、または１３に記載のジェスチャ認識のための方法。 15．前記非均一な背景光は空間的に非均一であり、前記非均一な背景光は峰部と 谷部を有し、前記峰部と谷部の強度の割合は２対１より大きいことを特徴とす る請求項１４に記載のジェスチャ認識のための方法。 16．特定のあらかじめ定義されたジェスチャ群からジェスチャを識別することに より生き物の画像のジェスチャを認識する装置において、 前記生き物の画像を検索するように構成されたプリプロセッサと、 少なくとも１つのテンプレートがあらかじめ定義されたジェスチャの少なく とも一部を特徴づける複数のテンプレートを検索し、生き物の画像を１つ以上 のテンプレートにマッピングして複数のテンプレート出力を発生するように構 成されたテンプレートマッチングユニットと、 前記テンプレート出力を解析し前記画像内のジェスチャに対応する特定のあ らかじめ定義されたジェスチャを識別するように構成されたポストプロセッサ とで構成されることを特徴とするジェスチャ認識のための装置。 17．前記装置は１以上の生き物により対話型ゲームをプレイするのに使用され、 前記装置は、ゲーム内の他のキャラクタにより第１キャラクタに行使される アクションを識別するように構成された識別部と、 前記識別部と接続され、前記行使されたアクションに対応する力を発生する 発生部と、 前記発生部と接続され、前記力を、ゲーム内の第１キャラクタを制御する第 １の生き物に印加する印加部とをさらに具備したことを特徴とする請求項１６ に記載のジェスチャ認識のための方法。 18．前記画像のジェスチャを識別するための空間的に非均一な背景光を供給する ように構成された非均一光発生器をさらに具備したことを特徴とする請求項１ ６または１７に記載のジェスチャ認識のための方法。