JP2002024835A - 動作検出装置、動作検出方法および情報記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 被検出物の位置に関わらず正確な動作検出が
可能であり、被検出物の適用範囲が広い動作検出装置、
動作検出方法および情報記憶媒体を提供すること。 【解決手段】 オプティカルフロー計算部２４は、画像
データに基づいてオプティカルフロー（移動ベクトル）
を計算する。ベクトル領域抽出部２６は、この移動ベク
トルの大きさが所定値（例えば０）よりも大きい領域
を、移動ベクトルが連続しているベクトル領域として抽
出する。動きパターン検出部２８は、ベクトル領域に対
応する移動ベクトルに基づいて、被写体の動きの状態に
対応する動きパターンを検出する。認識処理部３２は、
検出された動きパターンと、登録パターン格納部３０に
格納された複数の登録パターンのそれぞれを比較し、動
きパターンに最も近い登録パターンを抽出することによ
り、被写体の動きの内容を認識する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影範囲に含まれ
る被検出体の動きを検出する動作検出装置、動作検出方
法および情報記憶媒体に関する。

【０００２】

【従来の技術】カメラを用いてプレーヤ等の身体を撮影
し、撮影した画像に基づいてプレーヤ等の動きを検出す
る手法が従来から用いられている。例えば、特開平７−
１５５４６７号公報には、手に旗を持ったプレーヤをカ
メラで撮影し、この撮影結果に基づいてプレーヤの動作
を検出するビデオゲーム装置が開示されている。このビ
デオゲーム装置では、撮影された画像の右上部分あるい
は左上部分に対応するメモリの所定領域に、白旗あるい
は赤旗に対応する色データが含まれているか否かを調べ
ることによりプレーヤの動作検出が行われている。

【０００３】

【発明が解決しようとする課題】ところで、上述した公
報に開示されたビデオゲーム装置では、撮影画像が含ま
れるメモリの所定領域に白色あるいは赤色に対応する色
データが含まれているか否かを調べることによりプレー
ヤの動作検出を行っているため、プレーヤが撮影範囲内
で移動してしまうと、プレーヤが出題で指示された動作
を行ってもその動作が正常に検出されない場合があると
いう問題があった。例えば、プレーヤが左側に片寄って
立ったために、右手に持った旗が撮影範囲のほぼ中央近
傍で上げ下げされるような場合や、背丈の小さな子供が
上げた旗が撮影範囲のほぼ中央付近までしか届かなかっ
た場合等においては、いずれも出題通りにプレーヤが旗
を上げた場合であってもこの動作が検出されず、誤検出
が発生する。

【０００４】また、撮影結果としての画像データに含ま
れる白色あるいは赤色といった特定の色データを検出対
象としているため、検出対象となる物体が制限され、適
用範囲が狭くなるという問題があった。本発明は、この
ような点に鑑みて創作されたものであり、その目的は、
被検出物の位置に関わらず正確な動作検出が可能であ
り、被検出物の適用範囲が広い動作検出装置、動作検出
方法および情報記憶媒体を提供することにある。

【０００５】

【課題を解決するための手段】上述した課題を解決する
ために、本発明の動作検出装置は、撮影手段、動きパタ
ーン検出手段、登録パターン格納手段、認識手段を備え
ている。撮影手段は、所定の撮影範囲に含まれる検出対
象物としての被写体を撮影する。動きパターン検出手段
は、撮影手段によって撮影された画像に基づいて、被写
体の動きの状態に対応した動きパターンを検出する。登
録パターン格納手段は、動きの種類を属性情報として有
する複数の登録パターンを格納する。認識手段は、動き
パターン検出手段によって検出された動きパターンと、
登録パターン格納手段に格納された登録パターンとを比
較し、動きパターンに最も近い登録パターンを抽出し
て、この抽出した登録パターンに対応する属性情報に基
づいて、被写体の動きの内容の認識を行う。撮影された
画像に基づいて検出された被写体の動きパターンに基づ
いて被写体の動きの内容が認識されるため、撮影範囲内
に含まれれば被検出物としての被写体がどの位置にいた
場合であっても正確に動作検出を行うことができる。ま
た、撮影された画像に基づいて被写体に対応した動きパ
ターンが検出されるため、被検出物に特定の色をつけた
り、特定色の道具を用いる等の特別な行為は不要であっ
て、動きを検出可能な被検出物の適用範囲を広くするこ
とができる。

【０００６】特に、上述した動きパターンと登録パター
ンのそれぞれを、動きの状態を示す一あるいは複数の移
動ベクトルによって構成するとともに、認識手段によっ
て、動きパターンに対応する移動ベクトルと、登録パタ
ーンに対応する移動ベクトルとを比較して被写体の動き
の内容の認識を行うことが望ましい。ベクトル同士の比
較によって動きパターンと登録パターンの比較を行うこ
とにより、定量的な比較が可能になり、処理内容が明確
化、簡略化が可能になる。

【０００７】また、上述した動きパターン検出手段は、
撮影手段から入力される前記画像の時間的な変化の状態
に基づいて移動ベクトルを算出することが望ましい。撮
影された画像の時間的な変化の状態を観察することによ
り、動きのある被写体の各部に対応した移動ベクトルの
算出を行うことができる。

【０００８】また、上述した動きパターン検出手段は、
画像の時間的な変化の状態に基づいて算出した移動ベク
トルの中から大きさが所定値以上のものを抽出すること
により、被写体の動きのある範囲を判定し、この範囲を
所定数に分割して各分割領域毎に移動ベクトルの合成処
理を行うことにより、動きパターンの検出を行うことが
望ましい。処理の対象となる移動ベクトルを大きさが所
定値以上のものに限定することにより、それ以後の計算
量を減らすことができる。また、被写体の動きのある範
囲を所定数に分割してそれぞれの分割領域毎に移動ベク
トルを合成して正規化を行うことにより、動きパターン
と登録パターンとの比較処理を単純化することができ、
処理内容の簡略化が可能になる。

【０００９】上述した認識手段は、動きパターンに対応
する移動ベクトルと、登録パターンに対応する移動ベク
トルについて、対応するもの同士の距離を累積してこの
累積値が最小となる登録パターンを抽出する処理と、対
応するもの同士がなす角度を累積してこの累積値が最小
となる登録パターンを抽出する処理と、対応するもの同
士がなす角度が所定値以下となるものの画素数を数えて
この画素数が最大となる登録パターンを抽出する処理の
いずれか一つ、あるいは少なくとも２つを組み合わせて
行うことが望ましい。２つ以上の抽出処理を組み合わせ
る場合には、それらの抽出結果を総合して最終的に一つ
の登録パターンが決定される。このように、対応する２
つの移動ベクトルを用いて簡単な計算を行うことによ
り、動きパターンと登録パターンの比較を行うことがで
きるため、比較処理の簡略化が可能になる。また、複数
の抽出処理を組み合わせて最終的に一つの登録パターン
を決定する場合には、誤差による影響等を最小限に抑え
た正確な比較処理が可能となる。

【００１０】また、本発明の動作検出方法は、所定の撮
影範囲に含まれる検出対象物としての被写体を撮影する
第１のステップと、撮影された画像に基づいて被写体の
動きの状態に対応した動きパターンを検出する第２のス
テップと、検出された動きパターンと登録パターンのそ
れぞれとを比較し、動きパターンに最も近い登録パター
ンを抽出してこの抽出した登録パターンに対応する属性
情報に基づいて被写体の動きの内容の認識を行う第３の
ステップとを有している。

【００１１】また、本発明の情報記憶媒体は、所定の撮
影範囲に含まれる検出対象物としての被写体を撮影して
得られた画像に基づいて、被写体の動きの状態に対応し
た動きパターンを検出するとともに、この検出された動
きパターンと、動きの種類を属性情報として有する複数
の登録パターンのそれぞれとを比較し、動きパターンに
最も近い登録パターンを抽出することにより、この抽出
した登録パターンに対応する属性情報に基づいて被写体
の動きの内容の認識を行うプログラムを含んでいる。

【００１２】本発明の動作検出方法を実施することによ
り、あるいは本発明の情報記憶媒体に含まれるプログラ
ムを実行することにより、撮影された画像に基づいて検
出された被写体の動きパターンに基づいて被写体の動き
の内容が認識されるため、撮影範囲内に含まれれば被検
出物としての被写体がどの位置にいた場合であっても正
確に動作検出を行うことができる。また、被検出物に特
定の色をつけたり、特定色の道具を用いる等の特別な行
為は不要であって、動きを検出可能な被検出物の適用範
囲を広くすることができる。

【００１３】また、本発明のゲーム装置は、上述した動
作検出装置によって検出された被写体の動きを、ゲーム
に登場するキャラクタの動作に反映させている。ゲーム
装置の入力装置として上述した動作検出装置を用いるこ
とにより、ゲーム装置のプレーヤは煩雑な操作を行うこ
となく、ゲームに登場するキャラクタに対する動作指示
を行うことができる。

【００１４】

【発明の実施の形態】以下、本発明を適用した一実施形
態の動作検出装置について、図面を参照しながら詳細に
説明する。図１は、本実施形態の動作検出装置の構成を
示す図である。図１に示す動作検出装置は、カメラ１
０、動作検出処理部２０および情報記憶媒体４０を含ん
で構成されている。

【００１５】カメラ１０は、撮影範囲に含まれる動作検
出対象者の身体やこの動作検出対象者が所持する各種の
道具（例えば棒等）を所定の時間間隔で撮影するための
ものである。本明細書では、被検出対象物となっている
身体や道具を「被写体」と称して、撮影範囲に含まれる
被写体以外の部分である「背景」と区別して説明を行う
ものとする。

【００１６】動作検出処理部２０は、被写体に対応する
画像データがカメラ１０から入力され、この画像データ
に基づいて被写体の動きを検出する。このために、動作
検出処理部２０は、撮影画像格納部２２、オプティカル
フロー計算部２４、ベクトル領域抽出部２６、動きパタ
ーン検出部２８、登録パターン格納部３０、認識処理部
３２を含んで構成されている。

【００１７】撮影画像格納部２２は、カメラ１０から所
定の時間間隔で入力される各フレーム毎の画像データを
格納する。オプティカルフロー計算部２４は、連続した
複数フレームに対応する画像データを撮影画像格納部２
２から読み出して、所定の微小領域毎のオプティカルフ
ローを計算する。ここで、オプティカルフローとは、微
小領域毎に計算された移動ベクトルであり、画像データ
に対応する各画素毎に対応した値が計算される。

【００１８】ベクトル領域抽出部２６は、オプティカル
フロー計算部２４によって計算された移動ベクトルの大
きさが所定値（例えば０）よりも大きいか否かを判定
し、この条件を満たす領域を、移動ベクトルが連続して
いるベクトル領域として抽出する。また、動きパターン
検出部２８は、ベクトル領域抽出部２６によって抽出さ
れたベクトル領域に対応する移動ベクトルに基づいて、
被写体の動きの状態に対応する動きパターンを検出す
る。

【００１９】比較パターン格納部３０は、動きの種類を
属性情報として有する複数の登録パターンを、それぞれ
の登録パターンに付随する属性情報とともに格納する。
また、認識処理部３２は、動きパターン検出部２８によ
って検出された動きパターンと、登録パターン格納部３
０に格納された複数の登録パターンのそれぞれとを順番
に比較することにより、動きパターンに最も近い登録パ
ターンを抽出し、抽出した登録パターンに対応する属性
情報に基づいて、被写体の動きの内容を認識する。

【００２０】情報記憶媒体４０は、動作検出処理部２０
によって行われる動作検出処理の実施に必要なプログラ
ムや登録パターンのデータを格納するためのものであ
る。この情報記憶媒体４０は、ＣＤ（コンパクトディス
ク）等の光学式のディスク型記憶媒体や、ＲＯＭ、ＲＡ
Ｍ等の半導体メモリ、あるいはハードディスク装置など
を用いて構成されている。

【００２１】例えば、情報記憶媒体４０として一連の動
作検出用のプログラムを格納したＲＯＭやＲＡＭを考え
た場合には、動作検出処理部２０に含まれるオプティカ
ルフロー計算部２４、ベクトル領域抽出部２６、動きパ
ターン検出部２８、認識処理部３２は、このプログラム
をＣＰＵによって実行することにより実現することがで
き、撮影画像格納部２２および登録パターン格納部３０
は、画像データや登録パターンデータを格納するＲＡＭ
によって実現することができる。

【００２２】上述したカメラ１０が撮影手段に、オプテ
ィカルフロー計算部２４、ベクトル抽出部２６、動きパ
ターン検出部２８が動きパターン検出手段に、登録パタ
ーン格納部３０が登録パターン格納手段に、認識処理部
３２が認識手段にそれぞれ対応する。

【００２３】本実施形態の動作検出装置はこのような構
成を有しており、次にその動作を説明する。図２は、本
実施形態の動作検出装置による被写体の動作検出の概略
的な動作手順を示す流れ図である。被写体が含まれる所
定範囲がカメラ１０によって所定時間間隔で撮影される
と（ステップ１００）、この撮影画像に対応した各フレ
ームの画像データが撮影画像格納部２２に格納される。

【００２４】次に、オプティカルフロー計算部２４は、
複数フレームに対応する画像データを撮影画像格納部２
２から読み出して、撮影画像に含まれる各領域に対応し
たオプティカルフローを計算する（ステップ１０１）。
このオプティカルフローの計算は、撮影画像を複数の微
小領域に分割し、各微小領域毎に移動ベクトルを求める
ことにより行われる。このようにして撮影画像を構成す
る各画素毎の移動ベクトルを含むベクトル画像Ｖｉが得
られる。

【００２５】次に、ベクトル領域抽出部２６は、オプテ
ィカルフロー計算部２４によって求められたベクトル画
像Ｖｉに基づいて、大きさが０よりも大きな移動ベクト
ルに対応する画素を抽出し、このような画素によって構
成される範囲を、以後の処理対象となるベクトル領域と
して抽出する（ステップ１０２）。また、動きパターン
検出部２８は、認識処理において比較するために用いら
れる被写体の動きパターンを検出する（ステップ１０
３）。

【００２６】図３は、ベクトル領域抽出部２６および動
きパターン検出部２８によって行われるベクトル領域抽
出処理および動きパターン検出処理の詳細を示す流れ図
である。まず、ベクトル領域抽出部２６は、撮影画像に
含まれる各画素に対応する移動ベクトルが連続している
矩形領域をベクトル領域として抽出する処理を行う。具
体的には、ベクトル領域抽出部２６は、ベクトル画像Ｖ
ｉに基づいて、移動ベクトルの大きさが０でない画素Ｐ
（ｘ，ｙ）を抽出し、仮のベクトル領域として設定する
（ステップ２００）。次に、ベクトル領域抽出部２６
は、画素Ｐ（ｘ，ｙ）を含むように所定の条件の下でベ
クトル領域を拡張する処理を行う（ステップ２０１）。
例えば、Ｐ（ｘ，ｙ）のｘ方向に着目し、次の１〜３の
いずれかに条件を満たす画素に到達するまでｘ座標値を
増加させる処理が行われる。 ・１．ベクトル画像Ｖｉに含まれない。 ・２．既に１回以上の処理が行われている。 ・３．対応する移動ベクトルの大きさが０である。 同様に、Ｐ（ｘ，ｙ）のｘ方向に着目し、上述した３つ
の条件のいずれかを満たす画素に到達するまでｘ座標値
を減少させる処理が行われる。また、Ｐ（ｘ，ｙ）のｙ
方向に着目し、上述した３つの条件のいずれかを満たす
画素に到達するまでｙ座標を増加および減少させる処理
が行われる。このようにして、着目座標Ｐ（ｘ，ｙ）の
周囲にベクトル領域を拡張する処理を行った後、ベクト
ル領域抽出部２６は、ベクトル画像Ｖｉに未処理の画素
が残っているか否かを判定する（ステップ２０２）。未
処理の画素が残っている場合には肯定判断が行われ、こ
の未処理の画素を対象にして上述したステップ２００以
降の処理が繰り返される。

【００２７】また、未処理の画素が残っていない場合に
は、ステップ２０２の判定において否定判断が行われ、
次に、動きパターン検出部２８は、上述した拡張処理が
終了した後のベクトル領域の縦方向（ｙ方向）の画素数
と横方向（ｘ方向）の画素数を、あらかじめ設定された
所定数に変換する処理を行う（ステップ２０３）。な
お、変換後の縦方向の画素数ｍと横方向の画素数ｎは必
ずしも同じである必要はなく、異なっていてもよい。次
に、動きパターン検出部２８は、ｍ×ｎ個の画素のそれ
ぞれについて、画素数を変換する前の各画素に対応した
移動ベクトルを合成して一つの合成ベクトルを求めた
後、この合成ベクトルの大きさを１に変更する処理を行
う（ステップ２０４）。このようにして、被写体に対応
する画像の中で、実際に動きのあるベクトル領域が求め
られた後、画素数および合成ベクトルの大きさの正規化
処理が行われ、被写体に対応する動きパターンが求めら
れる。

【００２８】次に、認識処理部３２は、動きパターン検
出部２８によって検出された動きパターンと登録パター
ン格納部３０に格納されている複数の登録パターンのそ
れぞれとを比較し、動きパターンに最も近い登録パター
ンを抽出して、この抽出された登録パターンに対応する
付属情報に含まれる動きの種類を認識結果とする所定の
認識処理を行う（ステップ１０４）。

【００２９】図４は、認識処理部２２によって行われる
認識処理の詳細な動作手順を示す流れ図である。また、
図５〜図８は、登録パターン格納部３０に格納された登
録パターンの具体例を示す図である。図５〜図８に示す
ように、例えば、縦方向および横方向の画素数がともに
「６」に設定された複数の登録パターンが登録パターン
格納部３０に格納されている。各登録パターンは、３６
（＝６×６）画素のそれぞれに大きさが１に正規化され
た移動ベクトルが対応付けられている。

【００３０】図５には、ほぼ中央を回転中心にして被写
体を回転させた動きを検出する場合の登録パターンの具
体例が示されている。図５（Ａ）には左回転に対応した
登録パターンが、図５（Ｂ）には右回転に対応した登録
パターンがそれぞれ示されている。なお、図５（Ａ）に
示した登録パターンに対応する属性情報には、動作の種
類「左回転」が含まれており、図５（Ｂ）に示した登録
パターンに対応する属性情報には、動作の種類「右回
転」が含まれている。

【００３１】また、図６には、ほぼ中央を基準にして被
写体を拡大あるいは縮小させる動きを検出する場合の登
録パターンの具体例が示されている。図６（Ａ）には拡
大操作に対応した登録パターンが、図６（Ｂ）には縮小
操作に対応した登録パターンがそれぞれ示されている。
なお、実際には、カメラ１０に被写体を接近させる操作
が図６（Ａ）に対応する拡大操作に相当し、反対にカメ
ラ１０から被写体を遠ざける操作が図６（Ｂ）に対応す
る縮小操作に相当する。

【００３２】また、図７には、ほぼ中央を回転中心とし
て被写体を左回転させる動きと、ほぼ中央を基準として
被写体を拡大あるいは縮小させる動作とを同時に行った
場合の登録パターンの具体例が示されている。図７
（Ａ）には左回転と拡大操作とを組み合わせた登録パタ
ーンが示されており、図７（Ｂ）には左回転と縮小操作
とを組み合わせた登録パターンが示されている。

【００３３】また、図８には、ほぼ中央を回転中心とし
て被写体を右回転させる動きと、ほぼ中央を基準として
被写体を拡大あるいは縮小させる動作とを同時に行った
場合の登録パターンの具体例が示されている。図８
（Ａ）には右回転と拡大操作とを組み合わせた登録パタ
ーンが示されており、図８（Ｂ）には右回転と縮小操作
とを組み合わせた登録パターンが示されている。

【００３４】まず、認識処理部３２は、動きパターン検
出部２８によって検出された動きパターンと、登録パタ
ーン格納部３０に格納されている各登録パターンのそれ
ぞれについて、ベクトル間の距離の総和を計算する（ス
テップ３００）。具体的には、動きパターンに含まれる
ｍ×ｎ個の各画素毎の合成ベクトルと、一の登録パター
ンに含まれるｍ×ｎ個の各画素毎の移動ベクトルとの間
で、対応するベクトル間の距離を求めた後にその総和を
求める計算が行われる。全ての登録パターンについて、
これらの計算が繰り返される。

【００３５】また、認識処理部３２は、ステップ３００
において計算した総和の値が最小となる登録パターン
を、動きパターンに最も近い登録パターンとして抽出す
る（ステップ３０１）。次に、認識処理部３２は、動き
パターン検出部２８によって検出された動きパターン
と、登録パターン格納部３０に格納されている各登録パ
ターンのそれぞれについて、ベクトル間の角度の総和を
計算する（ステップ３０２）。具体的には、動きパター
ンに含まれるｍ×ｎ個の各画素毎の合成ベクトルと、一
の登録パターンに含まれるｍ×ｎ個の各画素毎の移動ベ
クトルとの間で、対応するベクトル間の角度（２つのベ
クトルがなす角度）を求めた後にその総和を求める計算
が行われる。全ての登録パターンについて、これらの計
算が繰り返される。

【００３６】また、認識処理部３２は、ステップ３０２
において計算した総和の値が最小となる登録パターン
を、動きパターンに最も近い登録パターンとして抽出す
る（ステップ３０３）。次に、認識処理部３２は、動き
パターン検出部２８によって検出された動きパターン
と、登録パターン格納部３０に格納されている各登録パ
ターンのそれぞれについて、ベクトル間の角度が所定値
よりも小さな画素数を計算する（ステップ３０４）。具
体的には、動きパターンに含まれるｍ×ｎ個の各画素毎
の合成ベクトルと、一の登録パターンに含まれるｍ×ｎ
個の各画素毎の移動ベクトルとの間で、対応するベクト
ル間の角度を求めた後にこの角度が所定値よりも小さい
か否かを判定し、ｍ×ｎ個の画素の中でこの条件を満た
す画素の総数を求めるカウント処理が行われる。全ての
登録パターンについて、これらの処理が繰り返される。

【００３７】また、認識処理部３２は、ステップ３０４
においてカウントして画素の総数が最大となる登録パタ
ーンを、動きパターンに最も近い登録パターンとして抽
出する（ステップ３０５）。次に、認識処理部３２は、
上述したステップ３０１、３０３、３０５において抽出
した３つの登録パターンの中の２つ以上が一致している
か否かを判定する（ステップ３０６）。一致している場
合には肯定判断を行って、認識処理部３２は、この２つ
以上が一致している登録パターンに対応する属性情報に
含まれる動作内容を認識結果として抽出する（ステップ
３０７）。例えば、図５（Ｂ）に示した登録パターンが
選ばれた場合には、この登録パターンに対応する属性情
報としての動作の種類「右回転」が、認識結果としての
動作内容として抽出される。

【００３８】また、ステップ３０１、３０３、３０５に
おいて抽出された３つ以上の登録パターンの全てが不一
致の場合には、ステップ３０６の判定において否定判断
が行われる。この場合は、認識処理部３２は、「認識結
果なし」との判定結果を出力する（ステップ３０８）。

【００３９】このように、本実施形態では、カメラ１０
を用いて撮影された画像に基づいて検出された被写体の
動きパターンに基づいて被写体の動きの内容が認識され
るため、撮影範囲内に含まれれば被検出物としての被写
体がどの位置にいた場合であっても正確に動作検出を行
うことができる。また、撮影された画像に基づいて被写
体に対応した動きパターンが検出されるため、被検出物
に特定の色をつけたり、特定色の道具を用いる等の特別
な行為は不要であって、動きを検出可能な被検出物の適
用範囲を広くすることができる。

【００４０】また、本実施形態では、動きパターンと登
録パターンの比較を、それぞれを構成する正規化された
同数の画素毎のベクトル同士を比較することによって行
っているため、ベクトル間の距離や角度等を用いた定量
的な比較が可能になり、処理内容が明確化、簡略化が可
能になる。

【００４１】また、動きパターンに最も近い登録パター
ンを抽出する場合に、３つの手法を組み合わせて用いて
最終的に一つの登録パターンを決定しているため、誤差
による影響等を最小限に抑えた正確な動きパターンと登
録パターンとの比較処理が可能となり、被写体の動きの
検出精度を上げることができる。

【００４２】なお、本発明は上記実施形態に限定される
ものではなく、本発明の要旨の範囲内で種々の変形実施
が可能である。例えば、上述した実施形態では、図５〜
図８に示したように、被写体の動作の中心（基準位置）
をベクトル画像のほぼ中央に設定したが、例えば図９に
黒丸（●）で示したように、ベクトル画像のほぼ中央以
外の位置を被写体の動作の中心に設定した登録パターン
を用意するようにしてもよい。また、動作パターンと登
録パターンの比較を行う際に、各パターンを構成する全
ての画素に対応するベクトルを対象にしたが、一部の画
素のみ（例えば、ベクトル領域の外周部に存在する画素
のみ）を対象にすることより、演算量の低減を図るよう
にしてもよい。また、単純にどの方向に被写体が移動し
たかを検出すればよい場合には、１個の画素からなる登
録パターンを用いるようにしてもよい。

【００４３】また、上述した実施形態では、図４に示し
たステップ３０１、３０３、３０５において３回の登録
パターンの抽出処理を行ったが、これらの中のいずれか
一つの抽出処理のみで最終的な認識結果を得るようにし
てもよい。あるいは、これらの中の２つの抽出処理の結
果を総合して最終的な認識結果を得るようにしてもよ
い。

【００４４】また、上述した実施形態では、被写体の動
作内容を認識して、その認識結果を出力する動作検出装
置について説明したが、この動作検出装置を、ゲーム装
置やその他の装置（例えばカラオケ装置））における入
力装置として用いることもできる。

【００４５】図１０は、図１に示した動作検出装置の動
作検出処理部２０にゲーム装置１００を接続した構成を
示す図である。被写体（例えばゲームのプレーヤ）の動
きの内容を示す認識結果が動作検出処理部２０からゲー
ム装置１００内のキャラクタ動作設定部１０２に入力さ
れると、キャラクタ動作設定部１０２は、ゲームに登場
する特定キャラクタ（例えばプレーヤキャラクタ）の動
作内容を、動作検出処理部２０から入力される認識結果
に応じて設定する。ゲーム処理部１０４は、キャラクタ
動作設定部１０２によって設定された特定キャラクタの
動作内容に応じたゲームの進行処理を行う。

【００４６】

【発明の効果】上述したように、本発明によれば、撮影
された画像に基づいて検出された被写体の動きパターン
に基づいて被写体の動きの内容が認識されるため、撮影
範囲内に含まれれば被検出物としての被写体がどの位置
にいた場合であっても正確に動作検出を行うことができ
る。また、撮影された画像に基づいて被写体に対応した
動きパターンが検出されるため、被検出物に特定の色を
つけたり、特定色の道具を用いる等の特別な行為は不要
であって、動きを検出可能な被検出物の適用範囲を広く
することができる。

【図面の簡単な説明】

【図１】一実施形態の動作検出装置の構成を示す図であ
る。

【図２】本実施形態の動作検出装置による被写体の動作
検出の概略的な動作手順を示す流れ図である。

【図３】ベクトル領域抽出処理および動きパターン検出
処理の詳細を示す流れ図である。

【図４】認識処理の詳細な動作手順を示す流れ図であ
る。

【図５】認識処理に用いられる登録パターンの具体例を
示す図である。

【図６】認識処理に用いられる登録パターンの具体例を
示す図である。

【図７】認識処理に用いられる登録パターンの具体例を
示す図である。

【図８】認識処理に用いられる登録パターンの具体例を
示す図である。

【図９】動作の中心を変更する場合の具体的な中心位置
を示す図である。

【図１０】ゲーム装置を用いた変形例を示す図である。

【符号の説明】

１０ カメラ ２０ 動作検出処理部 ２２ 撮影画像格納部 ２４ オプティカルフロー計算部 ２６ ベクトル領域抽出部 ２８ 動きパターン検出部 ３０ 登録パターン格納部 ３２ 認識処理部 ４０ 情報記憶媒体 １００ ゲーム装置 １０２ キャラクタ動作設定部 １０４ ゲーム処理部

Claims (11)

【特許請求の範囲】
1. 【請求項１】 所定の撮影範囲に含まれる検出対象物と
   しての被写体を撮影する撮影手段と、 前記撮影手段によって撮影された画像に基づいて、前記
   被写体の動きの状態に対応した動きパターンを検出する
   動きパターン検出手段と、 動きの種類を属性情報として有する複数の登録パターン
   を格納する登録パターン格納手段と、 前記動きパターン検出手段によって検出された動きパタ
   ーンと、前記登録パターン格納手段に格納された前記登
   録パターンとを比較し、前記動きパターンに最も近い前
   記登録パターンを抽出して、この抽出した登録パターン
   に対応する前記属性情報に基づいて、前記被写体の動き
   の内容の認識を行う認識手段と、 を備えることを特徴とする動作検出装置。
2. 【請求項２】 請求項１において、 前記動きパターンと前記登録パターンのそれぞれは、動
   きの状態を示す一あるいは複数の移動ベクトルによって
   構成されており、 前記認識手段は、前記動きパターンに対応する移動ベク
   トルと、前記登録パターンに対応する移動ベクトルとを
   比較することにより、前記被写体の動きの内容の認識を
   行うことを特徴とする動作検出装置。
3. 【請求項３】 請求項２において、 前記動きパターン検出手段は、前記撮影手段から入力さ
   れる前記画像の時間的な変化の状態に基づいて前記移動
   ベクトルを算出することを特徴とする動作検出装置。
4. 【請求項４】 請求項３において、 前記動きパターン検出手段は、前記画像の時間的な変化
   の状態に基づいて算出した前記移動ベクトルの中から大
   きさが所定値以上のものを抽出することにより、前記被
   写体の動きのある範囲を判定し、この範囲を所定数に分
   割して各分割領域毎に前記移動ベクトルの合成処理を行
   うことにより、前記動きパターンの検出を行うことを特
   徴とする動作検出装置。
5. 【請求項５】 請求項２〜４のいずれかにおいて、 前記認識手段は、前記動きパターンに対応する移動ベク
   トルと、前記登録パターンに対応する移動ベクトルにつ
   いて、対応するもの同士の距離を累積する処理を行い、
   この累積値が最小となる前記登録パターンを抽出するこ
   とを特徴とする動作検出装置。
6. 【請求項６】 請求項２〜４のいずれかにおいて、 前記認識手段は、前記動きパターンに対応する移動ベク
   トルと、前記登録パターンに対応する移動ベクトルにつ
   いて、対応するもの同士がなす角度を累積する処理を行
   い、この累積値が最小となる前記登録パターンを抽出す
   ることを特徴とする動作検出装置。
7. 【請求項７】 請求項２〜４のいずれかにおいて、 前記認識手段は、前記動きパターンに対応する移動ベク
   トルと、前記登録パターンに対応する移動ベクトルにつ
   いて、対応するもの同士がなす角度が所定値以下となる
   ものの画素数を数える処理を行い、この画素数が最大と
   なる前記登録パターンを抽出することを特徴とする動作
   検出装置。
8. 【請求項８】 請求項２〜４のいずれかにおいて、 前記認識手段は、前記動きパターンに対応する移動ベク
   トルと、前記登録パターンに対応する移動ベクトルにつ
   いて、対応するもの同士の距離を累積してこの累積値が
   最小となる前記登録パターンを抽出する処理と、対応す
   るもの同士がなす角度を累積してこの累積値が最小とな
   る前記登録パターンを抽出する処理と、対応するもの同
   士がなす角度が所定値以下となるものの画素数を数えて
   この画素数が最大となる前記登録パターンを抽出する処
   理の少なくとも２つを組み合わせて行い、それらの抽出
   結果を総合して最終的に一つの前記登録パターンを決定
   して前記被写体の動きの内容を認識を行うことを特徴と
   する動作検出装置。
9. 【請求項９】 所定の撮影範囲に含まれる検出対象物と
   しての被写体を撮影する第１のステップと、 前記第１のステップにおいて撮影された画像に基づい
   て、前記被写体の動きの状態に対応した動きパターンを
   検出する第２のステップと、 前記第２のステップにおいて検出された動きパターン
   と、動きの種類を属性情報として有する複数の登録パタ
   ーンのそれぞれとを比較し、前記動きパターンに最も近
   い前記登録パターンを抽出して、この抽出した登録パタ
   ーンに対応する前記属性情報に基づいて、前記被写体の
   動きの内容の認識を行う第３のステップと、 を有することを特徴とする動作検出方法。
10. 【請求項１０】 所定の撮影範囲に含まれる検出対象物
    としての被写体を撮影して得られた画像に基づいて、前
    記被写体の動きの状態に対応した動きパターンを検出す
    るとともに、この検出された動きパターンと、動きの種
    類を属性情報として有する複数の登録パターンのそれぞ
    れとを比較し、前記動きパターンに最も近い前記登録パ
    ターンを抽出することにより、この抽出した登録パター
    ンに対応する前記属性情報に基づいて前記被写体の動き
    の内容の認識を行うプログラムを含むことを特徴とする
    情報記憶媒体。
11. 【請求項１１】 請求項１〜８のいずれかの動作検出装
    置によって検出された前記被写体の動きを、ゲームに登
    場するキャラクタの動作に反映させたことを特徴とする
    ゲーム装置。