JP2005319192A - 画像処理システム、プログラム、情報記憶媒体および画像処理方法 - Google Patents

Abstract

【課題】 撮像情報に基づいて動作判定対象者が所定時間静止しているかどうかを適切に判定することが可能な画像処理システム等を提供すること。
【解決手段】 動作判定対象者の一部分または全体を撮像して撮像情報を生成するＵＳＢカメラ２０と、前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成する情報生成部１１２と、前記所定時間内の異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定する判定部１１４とを含んでゲーム装置１０を構成する。
【選択図】 図３

Description

本発明は、撮像情報に基づいて動作判定対象者の静止動作を判定する画像処理システム、プログラム、情報記憶媒体および画像処理方法に関する。

人の動作をカメラで撮像し、その撮像情報に基づいて動作の内容を判別する手法がある。例えば、特許文献１では、ゲーム音楽に関連づけて動作指示を行い、カメラからの撮像情報に基づいてプレイヤーの動作を検出し、動作指示とプレイヤーの動作との適合性を判定するゲーム装置が開示されている。

従来の動作指示は、動作判定対象者を動作させるための指示となっており、動作判定対象者を静止させるための指示とはなっていない。

また、例えば、特許文献２には、プレイヤーが右手を上げ、左手を下げた姿勢をとる動作を指示することが開示されている。
特開２００１−２３２０６１号公報 特開２００１−７０６３９号公報

しかし、特許文献２に記載された検出手段は、プレイヤーの動作を検出しているわけではなく、表示画面の複数の指示位置をプレイヤーが指示しているかどうかを検出しているだけである。また、特許文献２に記載された指示手段は、プレイヤーに対して特定の指示位置を、発光手段を用いて指示するように指示しているだけであり、プレイヤーに対して静止するように指示する手段とはなっていない。

このため、特許文献２の手法では、プレイヤーが静止しているかどうかを検出することはできない。

本発明は、上記課題に鑑みなされたものであり、その目的は、撮像情報に基づいて動作判定対象者が所定時間静止しているかどうかを適切に判定することが可能な画像処理システム、プログラム、情報記憶媒体および画像処理方法を提供することにある。

上記課題を解決するため、本発明に係る画像処理システムは、動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成する情報生成手段と、
前記所定時間内の異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定する判定手段と、
を含むことを特徴とする。

また、本発明に係るプログラムは、コンピュータにより読み取り可能なプログラムであって、
コンピュータを、
動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成する情報生成手段と、
前記所定時間内の異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定する判定手段として機能させることを特徴とする。

また、本発明に係る情報記憶媒体は、コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
上記プログラムを記憶したことを特徴とする。

また、本発明に係る画像処理方法は、コンピュータを用いて画像を生成する画像処理方法において、
前記コンピュータは、
前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成し、
動作判定対象者の一部分または全体を撮像して撮像情報を生成し、
異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定することを特徴とする。

本発明によれば、画像処理システム等は、所定時間静止するように指示する静止指示画像を生成し、撮像情報に基づいて（例えば、撮像情報の差分値に基づいて）動作判定対象者が所定時間静止しているかどうかを適切に判定することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記情報生成手段は、前記画像表示領域に表示されるキャラクターの動作が静止する場合に前記静止指示画像を生成してもよい。

また、前記画像処理方法において、前記コンピュータは、前記画像表示領域に表示されるキャラクターの動作が静止する場合に前記静止指示画像を生成してもよい。

これによれば、画像処理システム等は、キャラクターの動作に連動して静止指示を行うことにより、プレイヤーに違和感なく静止動作を行わせることができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記情報生成手段は、前記静止指示画像として、前記所定時間の開始から終了まで、色、形状、模様のうちの少なくとも１つが変化し続ける静止指示標識を含む画像を生成してもよい。

また、前記画像処理方法において、前記コンピュータは、前記静止指示画像として、前記所定時間の開始から終了まで、色、形状、模様のうちの少なくとも１つが変化し続ける静止指示標識を含む画像を生成してもよい。

これによれば、画像処理システム等は、静止指示標識を変化させることにより、プレイヤーにどの程度の時間静止していればよいかを視覚的に伝達することができる。

また、前記画像処理システム、前記プログラムおよび前記情報記憶媒体において、前記撮像手段は、前記動作判定対象者の動作に先だって前記動作判定対象者が存在しない状態で撮像することにより、不正動作判定用撮像情報を生成し、
前記判定手段は、当該不正動作判定用撮像情報と、前記撮像情報との差分値に基づき、前記動作判定対象者が不正動作を行ったかどうかを判定してもよい。

また、前記画像処理方法において、前記コンピュータは、前記動作判定対象者の動作に先だって前記動作判定対象者が存在しない状態で撮像することにより、不正動作判定用撮像情報を生成し、
前記不正動作判定用撮像情報と、前記撮像情報とに基づき、前記動作判定対象者が不正動作を行ったかどうかを判定してもよい。

これによれば、画像処理システム等は、例えば、動作判定対象者が撮像手段のレンズに近づいて動作するといった不正動作を適切に判定することができる。

以下、本発明を、キャラクターの画像と連動して動作指示を行って動作判定対象者の動作と動作指示との適合性を評価する画像処理システムに適用した場合を例に採り、図面を参照しつつ説明する。なお、以下に示す実施形態は、特許請求の範囲に記載された発明の内容を何ら限定するものではない。また、以下の実施形態に示す構成の全てが、特許請求の範囲に記載された発明の解決手段として必須であるとは限らない。

（システム全体の説明）
図１は、本実施形態の一例に係るゲーム装置１０の外観図である。

ゲーム装置１０は、ゲームＲＯＭ１２０６からゲームプログラム等を読み取ることにより、ゲームを実行する。

また、ゲーム装置１０は、ＵＳＢケーブルを介して撮像手段として機能するＵＳＢカメラ２０と接続され、別のケーブルを介してＴＶ３０と接続されている。なお、ゲーム装置１０およびＵＳＢカメラ２０は、画像処理システムの一種である。

動作判定対象者であるプレイヤーは、ＵＳＢカメラ２０によって撮像される。ＴＶ３０は、ゲーム装置１０によって生成されるプレイヤーの動作が動作指示と適合しているかどうかを判定するためのゲーム画像を表示する。

図２は、本実施形態の一例に係るゲーム画像４００を示す図である。

ゲーム画像４００には、主人公キャラクター４０２のほか、得点、ゲームステージ番号等が表示される。本実施形態では、ゲーム装置１０は、主人公キャラクター４０２の動作に連動して静止指示標識５００を表示する。

例えば、図１に示す状態で主人公キャラクター４０２が静止する場合、ゲーム装置１０は、主人公キャラクター４０２が静止する直前に静止指示標識５００を表示する。なお、本実施形態における静止指示標識５００は、静止指示標識５００内のゲージ５０２が静止指示標識５００の上限まで増加するまでの時間（例えば、５秒間等）静止することを指示する標識である。

ゲーム装置１０は、ＵＳＢカメラ２０からの断続的な（例えば、所定時間間隔ごとの）撮像情報の差分値に基づいてプレイヤーの動作が動作指示と適合しているかどうかを判定して得点の加算等を行う。

これにより、ゲーム装置１０は、所定時間静止するように指示する静止指示画像５００を生成し、撮像情報の差分値に基づき、プレイヤーが静止を指示した時間静止しているかどうかを適切に判定することができる。

次に、このような機能をコンピュータに実装するためのゲーム装置１０の機能ブロックについて説明する。

図３は、本実施形態の一例に係るゲーム装置１０の機能ブロック図である。

ゲーム装置１０は、ＵＳＢカメラ２０、情報記憶媒体２００、ＴＶ３０、ゲームＲＯＭ１２０６と種々の情報を入出力するインターフェース部１９０と、処理部１１０と、記憶部１２０と、タイマー部１３０とを含んで構成されている。

また、処理部１１０は、ゲームプログラム１２２と、ゲームデータ１２４と、撮像データ１２６と、動作指示データ１２７に基づき、複数種のゲーム画像を生成する情報生成部１１２と、プレイヤーの動作と静止指示との適合性等の判定を行う判定部１１４と、ゲームデータ１２４等を更新する更新部１１６とを含んで構成されている。

また、記憶部１２０は、少なくとも、ゲームを実行するためのゲームプログラム１２２と、ゲームデータ１２４と、撮像データ１２６と、動作指示データ１２７とを記憶している。

なお、ここで、ゲームデータ１２４は、例えば、主人公キャラクター４０２等を含む動画像を生成するための動画像データを含む。当該動画像データは、例えば、使用時点と画像の内容とが関連づけられている。これにより、情報生成部１１２は、例えば、ｔ時点において、どのようなゲーム画像４００を生成すればよいかを判定することができる。

また、動作指示データ１２７は、静止指示標識５００を表示するためのデータであり、例えば、静止指示標識５００の使用時点と、静止指示標識５００の内容と、静止指示標識５００の表示位置とが関連づけられている。これにより、情報生成部１１２は、例えば、ｔ時点において、ゲーム画像４００のどこにどのような静止指示標識５００を表示すればよいかを判定することができる。

このように、ゲームデータ１２４および動作指示データ１２７は、使用時点を基準とすることにより、同期させることが可能に形成されている。これにより、ゲーム装置１０は、主人公キャラクター４０２と静止指示標識５００とを連動させたゲーム画像４００を生成することができる。また、これにより、ゲーム装置１０は、例えば、映画の映像からアニメーションの映像に変更する場合であっても、インターフェース部１９０がゲームＲＯＭ１２０６や情報記憶媒体２００からゲームデータ１２４および動作指示データ１２７を読み取り、更新部１１６がこれらのデータを記憶部１２０に記憶することにより、簡易かつ安価に映像を変更してゲームを実行することができる。

更新部１１６は、ゲーム開始前にゲームＲＯＭ１２０６に記憶されたゲームプログラム１２２、ゲームデータ１２４および動作指示データ１２７を記憶部１２０に記憶しておき、ゲーム実行時にＵＳＢカメラ２０からの撮像情報に基づいて撮像データ１２６を更新する。

なお、ゲーム装置１０のハードウェアとしては、一般的な家庭用ゲーム装置、業務用ゲーム装置等で用いられているハードウェアを用いて上述した各部の機能をコンピュータに実装可能である。例えば、処理部１１０としては、ＣＰＵや、画像処理回路等、記憶部１２０としては、ＨＤＤや、ＲＡＭ等、タイマー部１３０としては、システムタイマー等、インターフェース部１９０としては、入出力プロセッサや入出力ポート等を用いて実装可能である。

さらに、コンピュータが、情報記憶媒体２００やネットワーク上のサーバーからプログラムを読み取ることにより、判定部１１４等の機能を実装することも可能である。なお、情報記憶媒体２００としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＩＣカード、ＲＯＭ、ＲＡＭ、メモリカード、ＨＤＤ等のレーザーや磁気等を用いた記憶媒体を適用できる。また、情報記憶媒体２００としてゲームＲＯＭ１２０６を適用してもよい。また、情報記憶媒体２００からのプログラムの読み取り方式は、接触式でも非接触式でもよい。

次に、上述した各部を用いたゲーム画像生成処理の流れについて説明する。

図４は、本実施形態の一例に係るゲーム画像生成処理の流れを示すフローチャートである。

まず、ＵＳＢカメラ２０は、プレイヤーがゲームを開始する前に、プレイヤーが存在しない状態で撮像することにより、不正動作判定用撮像情報を生成する（ステップＳ１）。より具体的には、例えば、判定部１１４は、タイマー部１３０のタイマー値と、撮像データ１２６に基づき、所定時間（例えば、３０分等）撮像情報に変化がない場合、プレイヤーが存在しないと判定し、更新部１１６は、プレイヤーが存在しないと判定された時点の撮像情報を不正動作判定用撮像情報として撮像データ１２６の一部として記憶してもよい。

更新部１１６は、不正動作判定用撮像情報を撮像データ１２６の一部として記憶部１２０に記憶する。

そして、プレイヤーがＵＳＢカメラ２０の前に立ってゲームを開始する。

情報生成部１１２は、ゲームプログラム１２２、ゲームデータ１２４および動作指示データ１２７に基づき、静止指示標識５００等を含む静止指示画像（ゲーム画像）を生成し、ＴＶ３０は、当該動作指示画像を表示する（ステップＳ２）。より具体的には、情報生成部１１２は、タイマー部１３０のタイマー値に基づき、現時点を判別してゲームデータ１２４および動作指示データ１２７のそれぞれから使用するデータを選択する。情報生成部１１２は、例えば、背景の動画像に静止指示標識５００等を合成してゲーム画像４００を生成する。

そして、ＵＳＢカメラ２０は、断続的にプレイヤーの上半身（全身でもよい。）を撮像する。例えば、ＵＳＢカメラ２０は、静止指示開始時点に撮像して第１の撮像情報を生成する（ステップＳ３）。

また、ＵＳＢカメラ２０は、静止指示終了時点に撮像して第２の撮像情報を生成する（ステップＳ４）。

更新部１１６は、第１および第２の撮像情報を撮像データ１２６として記憶部１２０に記憶する。

このように、指定時点でＵＳＢカメラ２０に撮像させる場合、例えば、情報生成部１１２が、ゲームデータ１２４と、タイマー部１３０のタイマー値に基づき、静止指示開始時点および静止指示終了時点において撮像させる制御情報を生成し、インターフェース部１９０が当該制御情報をＵＳＢカメラ２０に出力すればよい。もちろん、ＵＳＢカメラ２０が、一定時間ごとに撮像して逐次撮像情報を生成し、判定部１１４が、ゲームデータ１２４に基づき、静止指示開始時点および静止指示終了時点を判定して撮像データ１２６から第１および第２の撮像情報を選択して判定してもよい。

判定部１１４は、撮像データ１２６の不正動作判定用撮像情報と、第１または第２の撮像情報との差分値に基づき、プレイヤーが不正動作を行ったかどうかを判定する（ステップＳ５）。より具体的には、判定部１１４は、例えば、各撮像画像の画素ごとの差分値が第１のしきい値を超えている場合は１、第１のしきい値を超えていない場合は０を設定し、全画素の合計値が第２のしきい値を超えている場合は不正動作であると判定し、第２のしきい値を超えていない場合は不正動作ではないと判定する。

判定部１１４によって不正動作であると判定された場合、情報生成部１１２はエラーメッセージ画像を生成し、ＴＶ３０は、エラーメッセージを表示してゲームを強制終了する。

また、判定部１１４は、不正動作ではないと判定した場合、撮像データ１２６に基づき、プレイヤーが静止指示時間静止したかどうかを判定する（ステップＳ６）。より具体的には、判定部１１４は、例えば、静止指示開始時点における第１の撮像情報と、静止指示終了時点における第２の撮像情報の各撮像画像の画素ごとの差分値が第３のしきい値を超えている場合は１、第３のしきい値を超えていない場合は０を設定し、全画素の合計値が第４のしきい値を超えていない場合は静止指示時間静止したと判定し、第４のしきい値を超えている場合は静止していないと判定する。

なお、第１〜第４のしきい値は、ゲームの難易度が易しい設定になっている場合は値を大きくし、難易度が難しい設定になっている場合は値を小さくしてもよい。これにより、判定部１１４は、ゲームの難易度に応じて適切な判定を行うことができる。

そして、情報生成部１１２は、判定部１１４によってプレイヤーが静止指示時間静止したと判定された場合は高評価のゲーム画像を生成し（ステップＳ７）、静止指示時間静止していないと判定された場合は低評価のゲーム画像を生成する（ステップＳ８）。ＴＶ３０は、情報生成部１１２によって生成されたゲーム画像を表示する。

より具体的には、高評価の場合、情報生成部１１２は、例えば、ゲーム画像４００内の得点を大きく増加させたり、「ＰＥＲＦＥＣＴ」等の評価を示す文字列を示すゲーム画像４００を生成したりする。また、高評価の場合、更新部１１６は、例えば、プレイヤーに得点を多く与えるようにゲームデータ１２４内の得点データを更新する。

これに対し、低評価の場合、情報生成部１１２は、例えば、ゲーム画像４００内の得点を増加させずに、「ＭＩＳＳ」等の評価を示す文字列を示すゲーム画像４００を生成したりする。また、低評価の場合、更新部１１６は、例えば、ゲームデータ１２４内の得点データを更新しない。

判定部１１４は、ゲーム終了かどうかを判定する（ステップＳ９）。なお、この終了動作を判定する手法としては、例えば、ソニー・コンピュータエンターテインメント株式会社の「アイトーイプレイ」と同様に、プレイヤーがＵＳＢカメラ２０のレンズ部分を一定時間手で覆ったことを検出して判定する手法を採用してもよい。これによれば、プレイヤーは、操作ボタンを使用することなくゲームを実行し、終了することができる。

終了ではない場合、ゲーム装置１０は、ステップＳ１〜Ｓ９の処理を繰り返し実行する。

以上のように、本実施形態によれば、ゲーム装置１０は、所定時間静止するように指示する静止指示画像を生成し、撮像情報の差分値に基づいて動作判定対象者が所定時間静止しているかどうかを適切に判定することができる。

また、上述したように、ゲーム装置１０等は、静止指示標識５００を変化させることにより、プレイヤーにどの程度の時間静止していればよいかを視覚的に伝達することができる。

また、ゲーム装置１０は、プレイヤーが存在しない状態の撮像情報と、プレイヤーが存在する状態の撮像情報との差分値に基づいて判定することにより、プレイヤーがＵＳＢカメラ２０のレンズに近づいて動作するといった不正動作を適切に判定することができる。

また、本実施形態によれば、ゲーム装置１０は、キャラクターの動作と連動して静止指示標識５００を表示することが可能となるため、動作判定対象者は、例えば、主人公キャラクター４０２の動作と連動して自分が動作するゲームを楽しむことができる。これにより、プレイヤーは、自分が主人公キャラクター４０２になった感覚でゲームを楽しむことができるという従来にはない作用効果を奏する。

また、本実施形態によれば、ゲーム装置１０は、例えば、動作判定対象者が撮像手段のレンズに近づいて動作するといった不正動作を適切に判定することができる。

（変形例）
以上、本発明を適用した好適な実施例について説明したが、本発明は上述した実施例に限定されず、種々の変形が可能である。

また、静止指示標識５００は、上述した実施例に限定されるものではなく、任意の色、形状、模様等を採用可能である。

また、撮像情報の差分値を用いて判定を行う場合、判定部１１４は、必ずしも画像表示領域全体の画素の差分値を用いる必要はなく、画像表示領域の一部（例えば、中央部分）の差分値を用いてもよい。より具体的には、例えば、判定部１１４は、撮像情報に基づいてプレイヤーのエッジを検出し、プレイヤーのエッジより若干広い範囲の領域の差分値を用いてもよい。これによれば、ゲーム装置１０は、画像表示領域全体の画素の差分値を用いる場合と比べ、ノイズの影響を低減し、より高速に判定を行うことができる。

また、主人公キャラクター４０２は、アニメーションやゲーム等の架空のキャラクターでもよいし、映画等の実在の人物や動物等でもよい。このように、キャラクターとして、ポリゴンのキャラクターを用いないことにより、ゲーム装置１０の処理負荷を軽減でき、より安価に画像処理システムを実現することができる。

また、撮像手段は、ＵＳＢカメラ２０に限定されず、種々のカメラを採用可能である。また、例えば、ゲーム装置１０は、デジタルカメラやデジタルビデオカメラで生成される撮像情報を、有線または無線の通信回線を介して受信して上述した処理を実行してもよい。

また、上述したゲームは１人プレイであったが、１台のゲーム装置１０において、複数人が交互にゲームを行う対戦型プレイ、複数のゲーム装置１０を並べたり、通信回線を介して複数のゲーム装置１０を接続したりすることにより、複数人が同時にゲームを行う対戦型プレイにもゲーム装置１０を適用可能である。

また、ゲーム装置１０は、ゲーム画像４００だけでなく、動作指示や評価等に関するゲーム音声を生成してもよく、ＴＶ３０が当該ゲーム音声を出力してもよい。

また、上述した実施例では、画像処理システムとしてＵＳＢカメラ２０とゲーム装置１０とＴＶ３０を別の装置として構成したが、一体化したゲーム装置（例えば、業務用ゲーム装置）としてもよい。また、ゲーム装置１０は、家庭用ゲーム装置、業務用ゲーム装置等の種々のゲーム装置を採用可能である。

さらに、本実施形態の適用は、ゲームシステム以外にも動作を検出するシミュレーションシステム、侵入者等の動作を検出するセキュリティシステム等にも採用可能である。すなわち、上述した実施例では、動作判定対象者の動作を検出して静止指示と適合しているかどうかを判定したが、動作判定対象者の動作を検出することを目的とするシステムにも適用可能である。

本実施形態の一例に係るゲーム装置の外観図である。 本実施形態の一例に係るゲーム画像を示す図である。 本実施形態の一例に係るゲーム装置の機能ブロック図である。 本実施形態の一例に係るゲーム画像生成処理の流れを示すフローチャートである。

符号の説明

１０ ゲーム装置（画像処理システム）
２０ ＵＳＢカメラ（撮像手段）
１１２ 情報生成部
１１４ 判定部
１１６ 更新部
１２０ 記憶部
１２２ ゲームプログラム
１２４ ゲームデータ
１２６ 撮像データ
１２７ 動作指示データ
２００ 情報記憶媒体

Claims (7)

1. 動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
   前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成する情報生成手段と、
   前記所定時間内の異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定する判定手段と、
   を含むことを特徴とする画像処理システム。
2. 請求項１において、
   前記情報生成手段は、前記画像表示領域に表示されるキャラクターの動作が静止する場合に前記静止指示画像を生成することを特徴とする画像処理システム。
3. 請求項１、２のいずれかにおいて、
   前記情報生成手段は、前記静止指示画像として、前記所定時間の開始から終了まで、色、形状、模様のうちの少なくとも１つが変化し続ける静止指示標識を含む画像を生成することを特徴とする画像処理システム。
4. 前記撮像手段は、前記動作判定対象者の動作に先だって前記動作判定対象者が存在しない状態で撮像することにより、不正動作判定用撮像情報を生成し、
   前記判定手段は、当該不正動作判定用撮像情報と、前記撮像情報との差分値に基づき、前記動作判定対象者が不正動作を行ったかどうかを判定することを特徴とする画像処理システム。
5. コンピュータにより読み取り可能なプログラムであって、
   コンピュータを、
   動作判定対象者の一部分または全体を撮像して撮像情報を生成する撮像手段と、
   前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成する情報生成手段と、
   前記所定時間内の異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定する判定手段として機能させることを特徴とするプログラム。
6. コンピュータにより読み取り可能なプログラムを記憶した情報記憶媒体であって、
   請求項５に記載のプログラムを記憶したことを特徴とする情報記憶媒体。
7. コンピュータを用いて画像を生成する画像処理方法において、
   前記コンピュータは、
   前記動作判定対象者に対して所定時間静止するように指示する静止指示画像を生成し、
   動作判定対象者の一部分または全体を撮像して撮像情報を生成し、
   異なる複数の時点における前記撮像情報に基づき、前記動作判定対象者が前記所定時間静止したかどうかを判定することを特徴とする画像処理方法。

Images