JP2005319193A - 画像処理システム、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 対象者の撮像情報に基づいて対象者の画像と背景画像とを重ねて画像を生成する場合に、背景画像を視認できる状態で対象者の動作を視覚的に確認することが可能な画像処理システム等を提供すること。
【解決手段】 対象者の一部分または全体を撮像して撮像情報を生成するＵＳＢカメラ２０と、異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出部１１８と、前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成する情報生成部１１２とを含んでゲーム装置１０を構成する。
【選択図】 図３

Description

本発明は、撮像情報に基づいて対象者の動作位置と動作内容を判定する画像処理システム、プログラム、情報記憶媒体および画像処理方法に関する。

例えば、株式会社ソニー・コンピュータエンタテインメントの「アイトーイプレイ(Eye Toy Play)」では、プレイヤーをカメラで撮像し、撮像したプレイヤーをゲーム画像内において表示することが行われている。

しかし、このような方式の場合、撮像されたプレイヤーの画像と重なるゲーム画像は見えなくなってしまう。

また、このような画像の重なりの問題を解決するために、特許文献１では、プレイヤーの操作する移動体と、過去の移動体の動作を再現した再現移動体を表示する場合に、移動体が再現移動体と重なった場合であっても移動体の操作に支障がないようにするため、再現移動体を透明または半透明で表示するゲーム装置が開示されている。
特開２０００−１５３０６９号公報

しかし、特許文献１に記載された再現移動体は、あらかじめ形状等が固定されたオブジェクトである上、過去の履歴データに基づいて生成することができるため、ゲーム装置は、リアルタイムに再現移動体を表示することが可能であるが、特許文献１の手法を用いた場合、撮像されたプレイヤーの形状を即座に半透明状にして所望の形状に加工して画像を表示することは困難である。

本発明は、上記課題に鑑みなされたものであり、その目的は、対象者の撮像情報に基づいて対象者の画像と背景画像とを重ねて画像を生成する場合に、対象者に背景画像を視認できる状態で対象者の動作を視覚的に確認させることが可能な画像処理システム、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成する情報生成手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成する情報生成手段として機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、コンピュータを用いて画像を生成する画像処理方法において、
前記コンピュータは、
対象者の一部分または全体を撮像して撮像情報を生成し、
異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出し、
前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成することを特徴とする。

本発明によれば、画像処理システム等は、撮像情報を用いて移動ベクトルを検出し、背景画像に移動ベクトル画像を重ねた合成画像を生成することにより、対象者に背景画像を視認できる状態で対象者の動作を視覚的に確認させることができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記情報生成手段は、前記移動ベクトル画像として、前記移動ベクトルを線形で示す画像を生成してもよい。

また、前記画像処理方法において、前記コンピュータは、前記移動ベクトル画像として、前記移動ベクトルを線形で示す画像を生成してもよい。

これによれば、画像処理システム等は、移動ベクトルを線で示すことにより、表示される画像内に複数の移動ベクトルが存在する場合であっても、対象者は、背景画像を視認できる状態で自分の動作も視認できる。

また、前記画像処理システムは、前記対象者に対する動作指示を行うための動作指示データと、前記背景画像を生成するための画像データとを記憶する記憶手段と、
前記対象者の動作と、前記対象者に対する動作指示との適合性を判定する判定手段と、
を含み、
前記背景画像は、キャラクターの動画像を含み、
前記情報生成手段は、前記動作指示データと、前記画像データとに基づき、前記背景画像として、前記キャラクターの動作と連動した動作指示を示す画像を生成し、
前記判定手段は、前記動作指示データと、前記移動ベクトルとに基づき、前記適合性を判定してもよい。

また、前記プログラムおよび前記情報記憶媒体は、コンピュータを、前記対象者に対する動作指示を行うための動作指示データと、前記背景画像を生成するための画像データとを記憶する記憶手段と、
前記対象者の動作と、前記対象者に対する動作指示との適合性を判定する判定手段として機能させ、
前記背景画像は、キャラクターの動画像を含み、
前記情報生成手段は、前記動作指示データと、前記画像データとに基づき、前記背景画像として、前記キャラクターの動作と連動した動作指示を示す画像を生成し、
前記判定手段は、前記動作指示データと、前記移動ベクトルとに基づき、前記適合性を判定してもよい。

また、前記画像処理方法において、前記コンピュータは、前記対象者に対する動作指示を行うための動作指示データと、前記背景画像を生成するための画像データとに基づき、前記背景画像として、前記背景画像に含まれるキャラクターの動作と連動した動作指示を示す画像を生成し、
前記動作指示データと、前記移動ベクトルとに基づき、前記対象者の動作と、前記対象者に対する動作指示との適合性を判定してもよい。

これによれば、対象者は、動作指示に対する自分の動作の適合性が判定される状況において、背景画像を視認できる状態で自分の動作も視認できる。

以下、本発明を、キャラクターの画像と連動して動作指示を行って対象者の動作と動作指示との適合性を評価する画像処理システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、本実施形態の一例に係るゲーム装置１０の外観図である。

ゲーム装置１０は、ゲームＲＯＭ１２０６からゲームプログラム等を読み取ることにより、ゲームを実行する。

また、ゲーム装置１０は、ＵＳＢケーブルを介して撮像手段として機能するＵＳＢカメラ２０と接続され、別のケーブルを介してＴＶ３０と接続されている。なお、ゲーム装置１０およびＵＳＢカメラ２０は、画像処理システムの一種である。

対象者であるプレイヤーは、ＵＳＢカメラ２０によって撮像される。ＴＶ３０は、ゲーム装置１０によって生成されるプレイヤーの動作を示す画像と背景画像との合成画像であるゲーム画像を表示する。

図２は、本実施形態の一例に係るゲーム画像４００を示す図である。

ゲーム画像４００には、キャラクター４０２のほか、得点、ゲームステージ番号等が表示される。本実施形態では、キャラクター４０２の動作に連動して動作指示を行う。

また、本実施形態では、ゲーム装置１０は、ＵＳＢカメラ２０の撮像情報に基づき、撮像画像のうち動きのある部分を示す移動ベクトルを検出し、当該移動ベクトルを線形状に示す移動ベクトル画像４１０をゲーム画像４００の一部として生成する。

例えば、図１に示す例では、キャラクター４０２の手の動きに合わせてプレイヤーが自分の手を動かすことにより、キャラクター４０２の動きに合わせて移動ベクトル画像４１０が移動する。このように、本実施形態では、「アイトーイプレイ」とは異なり、プレイヤーそのものの撮像画像はゲーム画像４００に含まれない。

これにより、プレイヤーは、キャラクター４０２の動きの視認と同時に自分の手の動きも視認することが可能となる。

次に、このような機能をコンピュータに実装するためのゲーム装置１０の機能ブロックについて説明する。

図３は、本実施形態の一例に係るゲーム装置１０の機能ブロック図である。

ゲーム装置１０は、ＵＳＢカメラ２０、情報記憶媒体２００、ＴＶ３０、ゲームＲＯＭ１２０６と種々の情報を入出力するインターフェース部１９０と、処理部１１０と、記憶部１２０と、タイマー部１３０とを含んで構成されている。

また、処理部１１０は、ＵＳＢカメラ２０からのプレイヤーの撮像情報と、ゲームプログラム１２２と、ゲームデータ１２４と、動作指示データ１２７に基づき、複数種のゲーム画像を生成する情報生成部１１２と、移動ベクトルの位置等の判定を行う判定部１１４と、ゲームデータ１２４等を更新する更新部１１６と、異なる時点におけるプレイヤーの撮像情報に基づき、移動ベクトルを検出する移動ベクトル検出部１１８とを含んで構成されている。

また、記憶部１２０は、少なくとも、ゲームを実行するためのゲームプログラム１２２と、ゲームデータ１２４と、撮像データ１２６と、動作指示データ１２７と、移動ベクトルデータ１２９を記憶している。

なお、ここで、ゲームデータ１２４は、例えば、キャラクター４０２等を含む動画像を生成するための動画像データを含む。当該動画像データは、例えば、使用時点と画像の内容とが関連づけられている。これにより、情報生成部１１２は、例えば、ｔ時点において、どのようなゲーム画像４００を生成すればよいかを判定することができる。

また、動作指示データ１２７は、動作指示を行うためのデータであり、例えば、動作指示を行う時点と、当該動作指示の内容と、当該動作指示の表示位置とが関連づけられている。これにより、情報生成部１１２は、例えば、ｔ時点において、ゲーム画像４００のどこにどのような動作指示画像を表示すればよいかを判定することができる。

このように、ゲームデータ１２４および動作指示データ１２７は、使用時点を基準とすることにより、同期させることが可能に形成されている。これにより、ゲーム装置１０は、例えば、映画の映像からアニメーションの映像に変更する場合であっても、インターフェース部１９０がゲームＲＯＭ１２０６や情報記憶媒体２００からゲームデータ１２４および動作指示データ１２７を読み取り、更新部１１６がこれらのデータを記憶部１２０に記憶することにより、簡易かつ安価に映像を変更してゲームを実行することができる。

また、移動ベクトルデータ１２９は、移動ベクトル検出部１１９によって検出された各移動ベクトルの画像表示領域または撮像画像領域における位置、方向、長さを示すデータである。移動ベクトルデータ１２９は、移動ベクトル検出部１１８によって逐次生成される。

更新部１１６は、ゲームＲＯＭ１２０６からの情報に基づいてゲームプログラム１２２、ゲームデータ１２４および動作指示データ１２７を記憶部１２０に記憶し、ＵＳＢカメラ２０からの撮像情報に基づいて撮像データ１２６を更新する。また、移動ベクトル検出部１１８は、移動ベクトルデータ１２９を生成する。

なお、ゲーム装置１０のハードウェアとしては、一般的な家庭用ゲーム装置、業務用ゲーム装置等で用いられているハードウェアを用いて上述した各部の機能をコンピュータに実装可能である。例えば、処理部１１０としては、ＣＰＵや、画像処理回路等、記憶部１２０としては、ＨＤＤや、ＲＡＭ等、タイマー部１３０としては、システムタイマー等、インターフェース部１９０としては、入出力プロセッサや入出力ポート等を用いて実装可能である。

さらに、コンピュータが、情報記憶媒体２００やネットワーク上のサーバーからプログラムを読み取ることにより、移動ベクトル検出部１１８等の機能を実装することも可能である。なお、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体２００としてゲームＲＯＭ１２０６を適用してもよい。また、情報記憶媒体２００からのプログラムの読み取り方式は、接触式でも非接触式でもよい。

次に、上述した各部を用いたゲーム画像生成処理の流れについて説明する。

図４は、本実施形態の一例に係るゲーム画像生成処理の流れを示すフローチャートである。

まず、プレイヤーがＵＳＢカメラ２０の前に立ってゲームを開始する。

情報生成部１１２は、ゲームプログラム１２２およびゲームデータ１２４に基づき、ゲーム画像４００を生成し、ＴＶ３０は、ゲーム画像４００を表示する（ステップＳ１）。より具体的には、情報生成部１１２は、タイマー部１３０のタイマー値に基づき、現時点を判別してゲームデータ１２４および動作指示データ１２７のそれぞれから使用するデータを選択して移動ベクトル画像４１０を含まないゲーム画像を生成する。

そして、ＵＳＢカメラ２０は、断続的にプレイヤーの上半身（全身でもよい。）を撮像する（ステップＳ２）。また、ＵＳＢカメラ２０は、撮像画像を示す撮像情報をゲーム装置１０に入力する。

移動ベクトル検出部１１８は、当該撮像情報に基づき、移動ベクトルを検出し（ステップＳ３）、移動ベクトルデータ１２９として記憶部１２０に記憶する。より具体的には、移動ベクトル検出部１１８は、例えば、いわゆるオプティカルフローの手法を用いて各移動ベクトルの方向および長さを検出し、画像表示領域または撮像画像領域における各移動ベクトルの位置を検出することにより、移動ベクトルデータ１２９を生成することができる。

そして、情報生成部１１２は、移動ベクトルデータ１２９に基づき、元のゲーム画像（背景画像）に移動ベクトル画像４１０を合成したゲーム画像４００を生成し、ＴＶ３０はゲーム画像４００を表示する（ステップＳ４）。

さらに、判定部１１４は、動作指示データ１２７と、移動ベクトルデータ１２９に基づき、プレイヤーの動作が動作指示と適合しているかどうかを判定する（ステップＳ５）。

適合していると判定された場合は高評価のゲーム画像を生成し（ステップＳ６）、適合していないと判定された場合は低評価のゲーム画像を生成する（ステップＳ７）。ＴＶ３０は、情報生成部１１２によって生成されたゲーム画像を表示する。

より具体的には、高評価の場合、情報生成部１１２は、例えば、ゲーム画像４００内の得点を大きく増加させたり、「ＰＥＲＦＥＣＴ」等の評価を示す文字列を示すゲーム画像４００を生成したりする。また、高評価の場合、更新部１１６は、例えば、プレイヤーに得点を多く与えるようにゲームデータ１２４内の得点データを更新する。

これに対し、低評価の場合、情報生成部１１２は、例えば、ゲーム画像４００内の得点を増加させずに、「ＭＩＳＳ」等の評価を示す文字列を示すゲーム画像４００（評価画像）を生成したりする。また、低評価の場合、更新部１１６は、例えば、ゲームデータ１２４内の得点データを更新しない。

判定部１１４は、ゲーム終了かどうかを判定する（ステップＳ８）。なお、この終了動作を判定する手法としては、例えば、「アイトーイプレイ」と同様に、プレイヤーがＵＳＢカメラ２０のレンズ部分を一定時間手で覆ったことを検出して判定する手法を採用してもよい。これによれば、プレイヤーは、操作ボタンを使用することなくゲームを実行し、終了することができる。

終了ではない場合、ゲーム装置１０は、ステップＳ１〜Ｓ８の処理を繰り返し実行する。

以上のように、本実施形態によれば、ゲーム装置１０は、撮像情報を用いて移動ベクトルを検出し、背景画像に移動ベクトル画像を重ねた合成画像を生成することにより、プレイヤーに背景画像を視認できる状態でプレイヤーの動作を視覚的に確認させることができる。

また、本実施形態によれば、ゲーム装置１０は、移動ベクトルを線で示すことにより、表示される画像内に複数の移動ベクトルが存在する場合であっても、プレイヤーは、背景画像を視認できる状態で自分の動作も視認できる。

特に、本実施形態によれば、プレイヤーは、動作指示に対する自分の動作の適合性が判定される状況において、背景画像を視認できる状態で自分の動作も視認できる。

また、本実施形態によれば、ゲーム装置１０は、移動ベクトルの位置、角度および長さと動作指示との適合度を判定し、適合度に応じた画像を生成することができる。これにより、ゲーム装置１０は、プレイヤーに対して自分の動作が動作指示に適合しているかどうかを視覚的に示すことができる。

また、本実施形態によれば、ゲーム装置１０は、キャラクター４０２の動作と連動して動作指示を行うことが可能となるため、プレイヤーは、例えば、キャラクター４０２の動作と連動して自分が動作するゲームを楽しむことができる。これにより、プレイヤーは、自分がキャラクター４０２になった感覚でゲームを楽しむことができるという従来にはない作用効果を奏する。

（変形例）
以上、本発明を適用した好適な実施例について説明したが、本発明は上述した実施例に限定されず、種々の変形が可能である。

例えば、移動ベクトル画像４１０は、図２に示すようにそれぞれの移動ベクトルを線で表す画像には限定されない。

図５は、本実施形態の一例に係る他のゲーム画像４０２を示す図である。

例えば、図５に示すゲーム画像４０２の移動ベクトル画像４１２のように、複数の移動ベクトル全体の中心点の軌跡を１つの移動ベクトルとして、星形等の形状とその大きさ、色等の変化で表してもよい。このように、情報生成部１１２は、必ずしも複数の移動ベクトルのすべてを含む移動ベクトル画像４１０を生成する必要はなく、複数の移動ベクトルの平均値を用いたり、複数の移動ベクトルから所定数の移動ベクトルを間引いたり、最も外側に位置する移動ベクトルを用いたりしてもよい。

また、情報生成部１１２は、キャラクター４０２に加えて任意の色、形状、模様等により表される動作指示標識をゲーム画像の一部として生成してもよい。より具体的には、例えば、動作指示標識として、赤色の矢印等を採用してもよい。

すなわち、判定部１１４は、キャラクター４０２の動きによる動作指示に基づいて常に、あるいは、一定時間間隔でプレイヤーの動作の適合性を判定してもよいし、任意のタイミングで表示される動作指示標識による動作指示に基づいてプレイヤーの動作の適合性を判定してもよい。

また、キャラクター４０２は、アニメーションやゲーム等の架空のキャラクターでもよいし、映画等の実在の人物や動物等でもよい。このように、キャラクターとして、ポリゴンのキャラクターを用いないことにより、ゲーム装置１０の処理負荷を軽減でき、より安価に画像処理システムを実現することができる。

また、撮像手段は、ＵＳＢカメラ２０に限定されず、種々のカメラを採用可能である。また、例えば、ゲーム装置１０は、デジタルカメラやデジタルビデオカメラで生成される撮像情報を、有線または無線の通信回線を介して受信して上述した処理を実行してもよい。

また、上述したゲームは１人プレイであったが、１台のゲーム装置１０において、複数人が交互にゲームを行う対戦型プレイ、複数のゲーム装置１０を並べたり、通信回線を介して複数のゲーム装置１０を接続したりすることにより、複数人が同時にゲームを行う対戦型プレイにもゲーム装置１０を適用可能である。

また、ゲーム装置１０は、ゲーム画像４００だけでなく、動作指示や評価等に関するゲーム音声を生成してもよく、ＴＶ３０が当該ゲーム音声を出力してもよい。

また、上述した実施例では、画像処理システムとしてＵＳＢカメラ２０とゲーム装置１０とを別の装置として構成したが、一体化したゲーム装置としてもよい。また、ゲーム装置１０は、家庭用ゲーム装置、業務用ゲーム装置等の種々のゲーム装置を採用可能である。

また、本実施形態におけるゲームは、音楽ダンスゲーム等の種々のゲームに適用可能であり、セキュリティシステム等にも適用可能である。

さらに、本実施形態の適用は、ゲームシステム以外にも動作を検出するシミュレーションシステム、侵入者等の動作を検出するセキュリティシステム、対象者に運動を行わせるためのエクセサイズシステム等にも採用可能である。すなわち、上述した実施例では、対象者の動作を検出して動作指示と適合しているかどうかを判定したが、対象者の動作を検出することを目的とするシステムや、対象者に対象者の動きと背景画像を確認させることを目的とするシステムにも適用可能である。

本実施形態の一例に係るゲーム装置の外観図である。 本実施形態の一例に係るゲーム画像を示す図である。 本実施形態の一例に係るゲーム装置の機能ブロック図である。 本実施形態の一例に係るゲーム画像生成処理の流れを示すフローチャートである。 本実施形態の一例に係る他のゲーム画像を示す図である。

符号の説明

１０ ゲーム装置（画像処理システム）
２０ ＵＳＢカメラ（撮像手段）
１１２ 情報生成部
１１４ 判定部
１１６ 更新部
１１８ 移動ベクトル検出部
１２０ 記憶部
１２２ ゲームプログラム
１２４ ゲームデータ
１２６ 撮像データ
１２７ 動作指示データ
１２９ 移動ベクトルデータ
２００ 情報記憶媒体

Claims (6)

1. 対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
   異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
   前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成する情報生成手段と、
   を含むことを特徴とする画像処理システム。
2. 請求項１において、
   前記情報生成手段は、前記移動ベクトル画像として、前記移動ベクトルを線形で示す画像を生成することを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記対象者に対する動作指示を行うための動作指示データと、前記背景画像を生成するための画像データとを記憶する記憶手段と、
   前記対象者の動作と、前記対象者に対する動作指示との適合性を判定する判定手段と、
   を含み、
   前記背景画像は、キャラクターの動画像を含み、
   前記情報生成手段は、前記動作指示データと、前記画像データとに基づき、前記背景画像として、前記キャラクターの動作と連動した動作指示を示す画像を生成し、
   前記判定手段は、前記動作指示データと、前記移動ベクトルとに基づき、前記適合性を判定することを特徴とする画像処理システム。
4. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
   異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出する移動ベクトル検出手段と、
   前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成する情報生成手段として機能させることを特徴とするプログラム。
5. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項４に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
6. コンピュータを用いて画像を生成する画像処理方法において、
   前記コンピュータは、
   対象者の一部分または全体を撮像して撮像情報を生成し、
   異なる複数の時点における前記撮像情報に基づき、前記対象者の動作を示す少なくとも１つの移動ベクトルを検出し、
   前記移動ベクトルに基づき、背景画像に前記移動ベクトルを示す移動ベクトル画像を重ねた合成画像を生成することを特徴とする画像処理方法。

Images