JP2005326920A - 画像処理システム、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 撮像情報に基づいて動作判定対象者の動作位置と動作内容を正確に判定することが可能な画像処理システム等を提供すること。
【解決手段】 動作判定対象者を撮像して撮像情報を生成するＵＳＢカメラ２０と、前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出部１１８と、前記撮像情報で表される撮像画像領域または画像表示領域の一部が区分された、複数の判定対象領域を示す判定対象領域データ１２８を記憶する記憶部１２０と、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定する判定部１１４と、判定結果に応じて前記画像表示領域に表示される画像を生成する情報生成部１１２とを含んで画像処理システムを構成する。
【選択図】 図３

Description

本発明は、撮像情報に基づいて動作判定対象者の動作位置と動作内容を判定する画像処理システム、プログラム、情報記憶媒体および画像処理方法に関する。

人の動作をカメラで撮像し、その撮像情報に基づいて動作の内容を判別する手法がある。例えば、特許文献１では、動作の内容を判定するための処理時間の短縮を目的とした動作認識装置が開示され、特許文献２では、被検出物の位置に関わらず正確な動作検出を行うことを目的とした動作検出装置が開示されている。

これらの文献に記載された装置は、人の動作に伴う移動ベクトルと、登録パターンとを比較することにより、動作内容の判定を行っている。
特開２００３−２８１５４３号公報 特開２００２−２４８３５号公報

しかし、例えば、プレイヤーが正確な位置で動作したかどうかを判定する場合、単に移動ベクトルと登録パターンとを比較する手法では正確な判定を行うことができない。

なぜなら、この手法の場合、例えば、プレイヤーの動きが速すぎる場合、プレイヤーの動きを取りこぼすことがあるからであり、撮像画像内の大きな領域全体を対象として移動ベクトルの平均値を演算する手法を用いた場合、検出したい対象（例えば、プレイヤーの手等）以外の部分の移動ベクトルも平均値の演算対象となり、誤差が生じてしまうからである。

本発明は、上記課題に鑑みなされたものであり、その目的は、撮像情報に基づいて動作判定対象者の動作位置と動作内容を正確に判定することが可能な画像処理システム、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
前記撮像情報で表される撮像画像領域または画像表示領域の一部が区分された、複数の判定対象領域を示す判定対象領域データを記憶する記憶手段と、
前記動作判定対象者の１つの動作を複数の判定対象領域を用いて判定するために、前記移動ベクトルと、前記判定対象領域データとに基づき、異なる複数の時点において、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定する判定手段と、
当該判定手段の判定結果に応じて前記画像表示領域に表示される画像を生成する情報生成手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
前記撮像情報で表される撮像画像領域または画像表示領域の一部が区分された、複数の判定対象領域を示す判定対象領域データを記憶する記憶手段と、
前記動作判定対象者の１つの動作を複数の判定対象領域を用いて判定するために、前記移動ベクトルと、前記判定対象領域データとに基づき、異なる複数の時点において、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定する判定手段と、
当該判定手段の判定結果に応じて前記画像表示領域に表示される画像を生成する情報生成手段として機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、コンピュータを用いて画像を生成する画像処理方法において、
前記コンピュータは、
動作判定対象者の一部分または全体を撮像して撮像情報を生成し、
異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出し、
前記撮像情報で表される撮像画像領域または画像表示領域の一部を区分することにより、複数の判定対象領域を設定し、
前記動作判定対象者の１つの動作を前記複数の判定対象領域を用いて判定するために、前記移動ベクトルに基づき、異なる複数の時点において、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定し、
当該判定の結果に応じて前記画像表示領域に表示される画像を生成することを特徴とする。

本発明によれば、画像処理システム等は、複数の判定対象領域を設定し、各判定対象領域における移動ベクトルの位置、角度および長さを判定することにより、撮像情報に基づいて動作判定対象者の動作位置と動作内容を正確に判定することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記記憶手段は、前記複数の判定対象領域の少なくとも一部に相当する領域に動作指示標識を表示するための動作指示データを記憶し、
前記情報生成手段は、前記動作指示データに基づき、前記複数の判定対象領域の少なくとも一部に相当する領域に動作指示標識を含む動作指示画像を生成し、
前記判定手段は、前記動作指示データに基づき、前記移動ベクトルの位置、角度および長さと、前記動作指示標識で示される動作指示との適合度を判定し、前記情報生成手段は、前記適合度に応じて動作指示に対する動作の評価を示す評価画像を生成してもよい。

また、前記画像処理方法において、前記コンピュータは、前記複数の判定対象領域の少なくとも一部に相当する領域に動作指示標識を表示するための動作指示データに基づき、前記複数の判定対象領域の少なくとも一部に相当する領域に動作指示標識を含む動作指示画像を生成し、
前記動作指示データに基づき、前記移動ベクトルの位置、角度および長さと、前記動作指示標識で示される動作指示との適合度を判定し、前記適合度に応じて動作指示に対する動作の評価を示す評価画像を生成してもよい。

これによれば、画像処理システム等は、各判定対象領域における移動ベクトルの位置、角度および長さと動作指示との適合度を判定し、適合度に応じた画像を生成することができる。これにより、画像処理システム等は、動作判定対象者に対して自分の動作が動作指示に適合しているかどうかを視覚的に示すことができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記情報生成手段は、前記動作指示データに基づき、前記動作指示画像として、複数の動作指示標識が異なる時点において表示される画像を生成し、
前記動作指示データは、前記動作指示標識の表示順序に応じて各判定対象領域が異なる時点において判定対象となるように設定されていてもよい。

また、前記画像処理方法において、前記コンピュータは、前記情報生成手段は、前記動作指示データに基づき、前記動作指示画像として、複数の動作指示標識が異なる時点において表示される画像を生成し、
前記動作指示データは、前記動作指示標識の表示順序に応じて各判定対象領域が異なる時点において判定対象となるように設定されていてもよい。

これによれば、画像処理システム等は、素早く連続して動作指示を行う場合であっても、各判定対象領域における移動ベクトルの位置、角度および長さと動作指示との適合度を適切に判定することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記情報生成手段は、前記画像表示領域に表示されるキャラクターの動作と連動して前記動作指示標識が表示されるように、前記動作指示画像を生成してもよい。

また、前記画像処理方法において、前記コンピュータは、前記画像表示領域に表示されるキャラクターの動作と連動して前記動作指示標識が表示されるように、前記動作指示画像を生成してもよい。

これによれば、画像処理システム等は、キャラクターの動作と連動して動作指示標識を表示することが可能となるため、動作判定対象者は、例えば、キャラクターの動作と連動して自分が動作するゲームを楽しむことができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記情報生成手段は、前記移動ベクトルに基づき、前記移動ベクトルの軌跡を示す軌跡画像を生成してもよい。

また、前記画像処理方法において、前記コンピュータは、前記移動ベクトルに基づき、前記移動ベクトルの軌跡を示す軌跡画像を生成してもよい。

これによれば、画像処理システム等が軌跡画像を生成することにより、動作判定対象者は自分の動作を視覚的に確認しながら動作することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記判定対象領域データは、前記判定対象領域以外の領域に不正動作を判定するための不正動作判定領域を示すデータを含み、
前記判定手段は、前記移動ベクトルが前記不正動作判定領域に位置している場合、不正動作であると判定してもよい。

また、前記画像処理方法において、前記コンピュータは、前記判定対象領域データは、前記判定対象領域以外の領域に不正動作を判定するための不正動作判定領域を示すデータを含み、
前記移動ベクトルが前記不正動作判定領域に位置している場合、不正動作であると判定してもよい。

これによれば、画像処理システム等は、例えば、動作判定対象者が撮像手段のレンズに近づいて動作するといった不正動作を適切に判定することができる。

以下、本発明を、キャラクターの画像と連動して動作指示を行って動作判定対象者の動作と動作指示との適合性を評価する画像処理システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、本実施形態の一例に係るゲーム装置１０の外観図である。

ゲーム装置１０は、ゲームＲＯＭ１２０６からゲームプログラム等を読み取ることにより、ゲームを実行する。

また、ゲーム装置１０は、ＵＳＢケーブルを介して撮像手段として機能するＵＳＢカメラ２０と接続され、別のケーブルを介してＴＶ３０と接続されている。なお、ゲーム装置１０およびＵＳＢカメラ２０は、画像処理システムの一種である。

動作判定対象者であるプレイヤーは、ＵＳＢカメラ２０によって撮像される。ＴＶ３０は、ゲーム装置１０によって生成されるプレイヤーの動作が動作指示と適合しているかどうかを判定するためのゲーム画像を表示する。

図２は、本実施形態の一例に係るゲーム画像４００を示す図である。

ゲーム画像４００には、主人公キャラクター４０２や敵キャラクター４０４のほか、得点、ゲームステージ番号等が表示される。本実施形態では、ゲーム装置１０は、主人公キャラクター４０２の動作に連動して動作指示標識５００、５０２を表示する。

例えば、図１に示す状態で主人公キャラクター４０２が敵キャラクター４０４に対して水平方向にパンチを出す場合、ゲーム装置１０は、主人公キャラクター４０２がパンチを出す直前に動作指示標識５００を表示してゲーム画像の左側に移動させる動作指示画像（ゲーム画像４００）を表示する。その直後、ゲーム装置１０は、主人公キャラクター４０２が敵キャラクター４０４にパンチを出すゲーム画像４００を表示する。

また、プレイヤーは、動作指示標識５００の移動が停止した後、主人公キャラクター４０２の動作に合わせて手を水平方向に左に移動する。なお、ゲーム装置１０は、動作指示標識５００を動作指示のタイミングに合わせて色や模様を変えたり、点滅させたり、形状を変形したりしてもよい。

また、本実施形態では、ゲーム装置１０は、ゲーム画像４００の画像表示領域に対応する領域の一部に、プレイヤーの１つの動作（例えば、手を水平方向に左に移動する動作等）を判定するための複数の判定対象領域６００を設定している。ゲーム装置１０は、例えば、上記の例の場合、水平方向に３つの任意形状（例えば、矩形、円形等）の判定対象領域６００を設定する。

ゲーム装置１０は、ＵＳＢカメラ２０からの複数の異なる時点における撮像情報を用いて移動ベクトルを検出し、当該移動ベクトルと判定対象領域６００との適合度を判定することにより、プレイヤーの動作が動作指示と適合しているかどうかを判定して得点の加算等を行う。

これにより、ゲーム装置１０は、プレイヤーの動作位置と動作内容を正確に判定することができる。

さらに、本実施形態では、ゲーム装置１０は、プレイヤーの不正動作を判定するための不正動作判定領域７００を設定している。不正動作判定領域７００は、例えば、図１に示すように、ゲーム画像４００の右上と左下の小さな領域に設定されている。これにより、ゲーム装置１０は、例えば、プレイヤーがＵＳＢカメラ２０に近い位置で動作した場合、不正動作判定領域７００のいずれかで移動ベクトルが検出されるため、プレイヤーが不正な動作を行ったことを判定することができる。

なお、図１では、説明のために図示しているが、実際には、判定対象領域６００や不正動作判定対象領域７００は表示されない。

次に、このような機能をコンピュータに実装するためのゲーム装置１０の機能ブロックについて説明する。

図３は、本実施形態の一例に係るゲーム装置１０の機能ブロック図である。

ゲーム装置１０は、ＵＳＢカメラ２０、情報記憶媒体２００、ＴＶ３０、ゲームＲＯＭ１２０６と種々の情報を入出力するインターフェース部１９０と、処理部１１０と、記憶部１２０と、タイマー部１３０とを含んで構成されている。

また、処理部１１０は、ＵＳＢカメラ２０からのプレイヤーの撮像情報と、ゲームプログラム１２２と、ゲームデータ１２４に基づき、複数種のゲーム画像を生成する情報生成部１１２と、移動ベクトルの位置等の判定を行う判定部１１４と、ゲームデータ１２４等を更新する更新部１１６と、異なる時点におけるプレイヤーの撮像情報に基づき、移動ベクトルを検出する移動ベクトル検出部１１８とを含んで構成されている。

また、記憶部１２０は、少なくとも、ゲームを実行するためのゲームプログラム１２２と、ゲームデータ１２４と、撮像データ１２６と、動作指示データ１２７と、判定対象領域データ１２８と、移動ベクトルデータ１２９を記憶している。

なお、ここで、ゲームデータ１２４は、例えば、主人公キャラクター４０２等を含む動画像を生成するための動画像データを含む。当該動画像データは、例えば、使用時点と画像の内容とが関連づけられている。これにより、情報生成部１１２は、例えば、ｔ時点において、どのようなゲーム画像４００を生成すればよいかを判定することができる。

また、動作指示データ１２７は、動作指示標識５００、５０２を表示するためのデータであり、例えば、動作指示標識の使用時点と、当該動作指示標識の内容と、当該動作指示標識の表示位置とが関連づけられている。これにより、情報生成部１１２は、例えば、ｔ時点において、ゲーム画像４００のどこにどのような動作指示標識を表示すればよいかを判定することができる。

また、判定対象領域データ１２８は、判定対象領域６００を示すデータと、不正動作判定領域７００を示すデータを含む。また、判定対象領域データ１２８は、各領域の使用時点と、各領域の位置情報とが関連づけられている。これにより、判定部１１４は、例えば、ｔ時点において、どの領域が判定対象領域６００や不正動作判定領域７００に該当するか判定することができる。

このように、ゲームデータ１２４、動作指示データ１２７および判定対象領域データ１２８は、使用時点を基準とすることにより、同期させることが可能に形成されている。これにより、ゲーム装置１０は、例えば、映画の映像からアニメーションの映像に変更する場合であっても、インターフェース部１９０がゲームＲＯＭ１２０６や情報記憶媒体２００からゲームデータ１２４、動作指示データ１２７および判定対象領域データ１２８を読み取り、更新部１１６がこれらのデータを記憶部１２０に記憶することにより、簡易かつ安価に映像を変更してゲームを実行することができる。

また、移動ベクトルデータ１２９は、移動ベクトル検出部１１９によって検出された各移動ベクトルの画像表示領域または撮像画像領域における位置、方向、長さを示すデータである。移動ベクトルデータ１２９は、移動ベクトル検出部１１８によって逐次生成される。

更新部１１６は、ゲームＲＯＭ１２０６からの情報に基づいてゲームプログラム１２２とゲームデータ１２４を記憶部１２０に記憶し、ＵＳＢカメラ２０からの撮像情報に基づいて撮像データ１２６を更新する。また、判定対象領域設定部１１８は、判定対象領域データ１２８を生成する。また、移動ベクトル検出部１１８は、移動ベクトルデータ１２９を生成する。

なお、ゲーム装置１０のハードウェアとしては、一般的な家庭用ゲーム装置、業務用ゲーム装置等で用いられているハードウェアを用いて上述した各部の機能をコンピュータに実装可能である。例えば、処理部１１０としては、ＣＰＵや、画像処理回路等、記憶部１２０としては、ＨＤＤや、ＲＡＭ等、タイマー部１３０としては、システムタイマー等、インターフェース部１９０としては、入出力プロセッサや入出力ポート等を用いて実装可能である。

さらに、コンピュータが、情報記憶媒体２００やネットワーク上のサーバーからプログラムを読み取ることにより、移動ベクトル検出部１１８等の機能を実装することも可能である。なお、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体２００としてゲームＲＯＭ１２０６を適用してもよい。また、情報記憶媒体２００からのプログラムの読み取り方式は、接触式でも非接触式でもよい。

次に、上述した各部を用いたゲーム画像生成処理の流れについて説明する。

図４は、本実施形態の一例に係るゲーム画像生成処理の流れを示すフローチャートである。

まず、プレイヤーがＵＳＢカメラ２０の前に立ってゲームを開始する。

情報生成部１１２は、ゲームプログラム１２２およびゲームデータ１２４に基づき、動作指示標識５００等を含む動作指示画像（ゲーム画像）を生成し、ＴＶ３０は、当該動作指示画像を表示する（ステップＳ１）。より具体的には、情報生成部１１２は、タイマー部１３０のタイマー値に基づき、現時点を判別してゲームデータ１２４および動作指示データ１２７のそれぞれから使用するデータを選択する。情報生成部１１２は、例えば、背景の動画像に動作指示標識５００等を合成してゲーム画像を生成する。

そして、ＵＳＢカメラ２０は、断続的にプレイヤーの上半身（全身でもよい。）を撮像する（ステップＳ２）。また、ＵＳＢカメラ２０は、撮像画像を示す撮像情報をゲーム装置１０に入力する。

移動ベクトル検出部１１８は、当該撮像情報に基づき、移動ベクトルを検出し（ステップＳ３）、移動ベクトルデータ１２９として記憶部１２０に記憶する。より具体的には、移動ベクトル検出部１１８は、例えば、いわゆるオプティカルフローの手法を用いて各移動ベクトルの方向および長さを検出し、画像表示領域または撮像画像領域における各移動ベクトルの位置を検出することにより、移動ベクトルデータ１２９を生成することができる。

判定部１１４は、タイマー部１３０のタイマー値と、判定対象領域データ１２８と、移動ベクトルデータ１２９に基づき、判定時点における不正動作判定領域７００内に移動ベクトルが含まれていないかどうかを判定する（ステップＳ４）。

判定部１１４によって移動ベクトルが不正動作判定領域７００内にあると判定された場合、情報生成部１１２はエラーメッセージ画像を生成し、ＴＶ３０は、エラーメッセージを表示してゲームを強制終了する。

また、判定部１１４は、移動ベクトルが不正動作判定領域７００にはないと判定した場合、判定対象領域データ１２８と、移動ベクトルデータ１２９に基づき、判定時点における移動ベクトルが各判定対象領域６００に適切に存在しているかどうかを判定する（ステップＳ５）。

より具体的には、判定部１１４は、例えば、図１に示す水平方向の動作を判定する場合、移動ベクトルが、右の判定対象領域６００、真ん中の判定対象領域６００、左の判定対象領域６００を順に通過したどうかを判定し、各判定対象領域６００における移動ベクトルの位置、方向および長さが許容範囲内かどうかを判定する。なお、許容範囲は、ゲームの難易度設定が「難しい」場合は狭く設定し、「易しい」場合は広く設定してもよい。

そして、情報生成部１１２は、判定部１１４によって各判定対象領域６００における移動ベクトルが適切であると判定された場合は高評価のゲーム画像を生成し（ステップＳ６）、適切でないと判定された場合は低評価のゲーム画像（評価画像）を生成する（ステップＳ７）。ＴＶ３０は、情報生成部１１２によって生成されたゲーム画像を表示する。

より具体的には、高評価の場合、情報生成部１１２は、例えば、ゲーム画像４００内の得点を大きく増加させたり、「ＰＥＲＦＥＣＴ」等の評価を示す文字列を示すゲーム画像４００を生成したりする。また、高評価の場合、更新部１１６は、例えば、プレイヤーに得点を多く与えるようにゲームデータ１２４内の得点データを更新する。

これに対し、低評価の場合、情報生成部１１２は、例えば、ゲーム画像４００内の得点を増加させずに、「ＭＩＳＳ」等の評価を示す文字列を示すゲーム画像４００（評価画像）を生成したりする。また、低評価の場合、更新部１１６は、例えば、ゲームデータ１２４内の得点データを更新しない。

判定部１１４は、ゲーム終了かどうかを判定する（ステップＳ８）。なお、この終了動作を判定する手法としては、例えば、ソニー・コンピュータエンターテインメント株式会社の「アイトーイプレイ」と同様に、プレイヤーがＵＳＢカメラ２０のレンズ部分を一定時間手で覆ったことを検出して判定する手法を採用してもよい。これによれば、プレイヤーは、操作ボタンを使用することなくゲームを実行し、終了することができる。

終了ではない場合、ゲーム装置１０は、ステップＳ１〜Ｓ８の処理を繰り返し実行する。

以上のように、本実施形態によれば、ゲーム装置１０は、複数の判定対象領域６００を設定し、各判定対象領域６００における移動ベクトルの位置、角度および長さを判定することにより、撮像情報に基づいてプレイヤーの動作位置と動作内容を正確に判定することができる。

特に、ゲーム装置１０は、判定対象領域６００を比較的小さい領域として設定することにより、動作判定時に誤差が生じにくく、プレイヤーの動作位置と動作内容を正確に判定することができる。

また、本実施形態によれば、ゲーム装置１０は、各判定対象領域６００における移動ベクトルの位置、角度および長さと動作指示との適合度を判定し、適合度に応じた画像を生成することができる。これにより、ゲーム装置１０は、プレイヤーに対して自分の動作が動作指示に適合しているかどうかを視覚的に示すことができる。

また、本実施形態によれば、ゲーム装置１０は、素早く連続して動作指示を行う場合であっても、各判定対象領域６００における移動ベクトルの位置、角度および長さと動作指示との適合度を適切に判定することができる。

また、本実施形態によれば、ゲーム装置１０は、キャラクターの動作と連動して動作指示標識５００を表示することが可能となるため、動作判定対象者は、例えば、主人公キャラクター４０２の動作と連動して自分が動作するゲームを楽しむことができる。これにより、プレイヤーは、自分が主人公キャラクター４０２になった感覚でゲームを楽しむことができるという従来にはない作用効果を奏する。

また、本実施形態によれば、ゲーム装置１０は、例えば、動作判定対象者が撮像手段のレンズに近づいて動作するといった不正動作を適切に判定することができる。

（変形例）
以上、本発明を適用した好適な実施例について説明したが、本発明は上述した実施例に限定されず、種々の変形が可能である。

例えば、情報生成部１１２は、移動ベクトルデータ１２９に基づき、移動ベクトルの軌跡を示す軌跡画像と図１に示すゲーム画像４００を合成した画像を生成してもよい。

これによれば、プレイヤーは、自分の動作を視覚的に確認しながら動作することができる。なお、軌跡は、任意の色、形状、模様等を採用可能である。例えば、個々の移動ベクトルを線形、星形にしたもの、移動ベクトル全体を半透明にしたもの等を採用可能である。

また、動作指示標識５００は、上述した実施例に限定されるものではなく、任意の色、形状、模様等を採用可能である。

図５は、本実施形態の一例に係る動作指示画像４１０を示す図である。

情報生成部１１２は、例えば、動作指示画像４１０のように、人の上半身の形状を示す動作指示標識５１０を画像の下から上に移動させる画像を生成してもよい。

これにより、ゲーム装置１０は、プレイヤーに対して身体全体をＵＳＢカメラ２０の下方に一旦沈めてから伸び上がるジャンプ動作を指示することができる。

また、１つの動作を判定するための判定対象領域６００は、上述した実施例では３つであったが、２つであってもよいし、４つ以上であってもよく、設定位置も任意である。

また、不正動作判定領域７００は１つでもよく、不正動作判定領域７００の個数や設定位置は任意である。また、判定部１１４は、複数の不正動作判定領域７００のすべてにおいて移動ベクトルが検出された場合に不正動作であると判定してもよい。

また、主人公キャラクター４０２や敵キャラクター４０４等のキャラクターは、アニメーションやゲーム等の架空のキャラクターでもよいし、映画等の実在の人物や動物等でもよい。このように、キャラクターとして、ポリゴンのキャラクターを用いないことにより、ゲーム装置１０の処理負荷を軽減でき、より安価に画像処理システムを実現することができる。

また、撮像手段は、ＵＳＢカメラ２０に限定されず、種々のカメラを採用可能である。また、例えば、ゲーム装置１０は、デジタルカメラやデジタルビデオカメラで生成される撮像情報を、有線または無線の通信回線を介して受信して上述した処理を実行してもよい。

また、上述したゲームは１人プレイであったが、１台のゲーム装置１０において、複数人が交互にゲームを行う対戦型プレイ、複数のゲーム装置１０を並べたり、通信回線を介して複数のゲーム装置１０を接続したりすることにより、複数人が同時にゲームを行う対戦型プレイにもゲーム装置１０を適用可能である。

また、ゲーム装置１０は、ゲーム画像４００だけでなく、動作指示や評価等に関するゲーム音声を生成してもよく、ＴＶ３０が当該ゲーム音声を出力してもよい。

また、上述した実施例では、画像処理システムとしてＵＳＢカメラ２０とゲーム装置１０とを別の装置として構成したが、一体化したゲーム装置としてもよい。また、ゲーム装置１０は、家庭用ゲーム装置、業務用ゲーム装置等の種々のゲーム装置を採用可能である。

さらに、本実施形態の適用は、ゲームシステム以外にも動作を検出するシミュレーションシステム、侵入者等の動作を検出するセキュリティシステム等にも採用可能である。すなわち、上述した実施例では、動作判定対象者の動作を検出して動作指示と適合しているかどうかを判定したが、動作判定対象者の動作を検出することを目的とするシステムにも適用可能である。

本実施形態の一例に係るゲーム装置の外観図である。 本実施形態の一例に係るゲーム画像を示す図である。 本実施形態の一例に係るゲーム装置の機能ブロック図である。 本実施形態の一例に係るゲーム画像生成処理の流れを示すフローチャートである。 本実施形態の一例に係る動作指示画像を示す図である。

符号の説明

１０ ゲーム装置（画像処理システム）
２０ ＵＳＢカメラ（撮像手段）
１１２ 情報生成部
１１４ 判定部
１１６ 更新部
１１８ 移動ベクトル検出部
１２０ 記憶部
１２２ ゲームプログラム
１２４ ゲームデータ
１２６ 撮像データ
１２７ 動作指示データ
１２８ 判定対象領域データ
１２９ 移動ベクトルデータ
２００ 情報記憶媒体

Claims (9)

1. 動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
   異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
   前記撮像情報で表される撮像画像領域または画像表示領域の一部が区分された、複数の判定対象領域を示す判定対象領域データを記憶する記憶手段と、
   前記動作判定対象者の１つの動作を複数の判定対象領域を用いて判定するために、前記移動ベクトルと、前記判定対象領域データとに基づき、異なる複数の時点において、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定する判定手段と、
   当該判定手段の判定結果に応じて前記画像表示領域に表示される画像を生成する情報生成手段と、
   を含むことを特徴とする画像処理システム。
2. 請求項１において、
   前記記憶手段は、前記複数の判定対象領域の少なくとも一部に相当する領域に動作指示標識を表示するための動作指示データを記憶し、
   前記情報生成手段は、前記動作指示データに基づき、前記複数の判定対象領域の少なくとも一部に相当する領域に動作指示標識を含む動作指示画像を生成し、
   前記判定手段は、前記動作指示データに基づき、前記移動ベクトルの位置、角度および長さと、前記動作指示標識で示される動作指示との適合度を判定し、
   前記情報生成手段は、前記適合度に応じて動作指示に対する動作の評価を示す評価画像を生成することを特徴とする画像処理システム。
3. 請求項２において、
   前記情報生成手段は、前記動作指示データに基づき、前記動作指示画像として、複数の動作指示標識が異なる時点において表示される画像を生成し、
   前記動作指示データは、前記動作指示標識の表示順序に応じて各判定対象領域が異なる時点において判定対象となるように設定されていることを特徴とする画像処理システム。
4. 請求項２、３のいずれかにおいて、
   前記情報生成手段は、前記画像表示領域に表示されるキャラクターの動作と連動して前記動作指示標識が表示されるように、前記動作指示画像を生成することを特徴とする画像処理システム。
5. 請求項１〜４のいずれかにおいて、
   前記情報生成手段は、前記移動ベクトルに基づき、前記移動ベクトルの軌跡を示す軌跡画像を生成することを特徴とする画像処理システム。
6. 請求項１〜５のいずれかにおいて、
   前記判定対象領域データは、前記判定対象領域以外の領域に不正動作を判定するための不正動作判定領域を示すデータを含み、
   前記判定手段は、前記移動ベクトルが前記不正動作判定領域に位置している場合、不正動作であると判定することを特徴とする画像処理システム。
7. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
   異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
   前記撮像情報で表される撮像画像領域または画像表示領域の一部が区分された、複数の判定対象領域を示す判定対象領域データを記憶する記憶手段と、
   前記動作判定対象者の１つの動作を複数の判定対象領域を用いて判定するために、前記移動ベクトルと、前記判定対象領域データとに基づき、異なる複数の時点において、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定する判定手段と、
   当該判定手段の判定結果に応じて前記画像表示領域に表示される画像を生成する情報生成手段として機能させることを特徴とするプログラム。
8. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項７に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
9. コンピュータを用いて画像を生成する画像処理方法において、
   前記コンピュータは、
   動作判定対象者の一部分または全体を撮像して撮像情報を生成し、
   異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者の動作を示す少なくとも１つの移動ベクトルを検出し、
   前記撮像情報で表される撮像画像領域または画像表示領域の一部を区分することにより、複数の判定対象領域を設定し、
   前記動作判定対象者の１つの動作を前記複数の判定対象領域を用いて判定するために、前記移動ベクトルに基づき、異なる複数の時点において、各判定対象領域における前記移動ベクトルの位置、角度および長さを判定し、
   当該判定の結果に応じて前記画像表示領域に表示される画像を生成することを特徴とする画像処理方法。

Images