JP2002008041A

JP2002008041A - 動作検出装置、動作検出方法および情報記憶媒体

Info

Publication number: JP2002008041A
Application number: JP2000187467A
Authority: JP
Inventors: Tetsuji Baba; 哲治馬場; Koutarou Satou; 皇太郎佐藤; Takashi Masuyama; 隆司増山
Original assignee: Namco Ltd
Current assignee: Namco Ltd
Priority date: 2000-06-22
Filing date: 2000-06-22
Publication date: 2002-01-11

Abstract

(57)【要約】【課題】被写体の詳細な動きを検出することができ、
しかも特定の色をあらかじめ指定することなく動きを検
出することができる動作検出装置、動作検出方法および
情報記憶媒体を提供すること。【解決手段】シルエット抽出部２２は、カメラ１０か
ら入力される画像データの中から被写体のシルエット画
像を生成する。このシルエット画像は、撮影画像格納部
２４に格納される。オプティカルフロー計算部２６は、
連続した複数フレームに対応するシルエット画像を撮影
画像格納部２４から読み出して、所定の微小領域毎にオ
プティカルフローを計算する。動作判定部２８は、部位
抽出部３２および移動ベクトル計算部３４を有してお
り、被写体の部位を判定するとともに、各部の動作状態
を示す移動ベクトルを計算する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、撮影範囲に含まれ
る被検出体の動きを検出する動作検出装置、動作検出方
法および情報記憶媒体に関する。

【０００２】

【従来の技術】カメラを用いてプレーヤ等の身体を撮影
し、撮影した画像に基づいてプレーヤ等の動きを検出す
る手法が従来から用いられている。例えば、特開平７−
１５５４６７号公報には、手に旗を持ったプレーヤをカ
メラで撮影し、この撮影結果に基づいてプレーヤの動作
を検出するビデオゲーム装置が開示されている。このビ
デオゲーム装置では、撮影された画像の右上部分あるい
は左上部分に対応するメモリの所定領域に、白旗あるい
は赤旗に対応する色データが含まれているか否かを調べ
ることにより、ゲーム装置から指示された動作とプレー
ヤが行った動作とが一致するかどうかを判定している。

【０００３】

【発明が解決しようとする課題】ところで、上述した公
報に開示されたビデオゲーム装置では、撮影画像が含ま
れるメモリの所定領域に白色あるいは赤色に対応する色
データが含まれているか否かを調べることによりプレー
ヤの動作検出を行っているため、動作の前後の状態が検
出できるだけであり、動作内容の詳細、例えば動作方向
や動作速度等が検出できないという問題があった。ま
た、上述した従来のビデオゲーム装置では、撮影結果と
しての画像データに含まれる白色あるいは赤色といった
特定の色データを検出対象としているため、プレーヤの
動作を直接検出するような場合に、適用が難しいという
問題があった。

【０００４】本発明は、このような点に鑑みて創作され
たものであり、その目的は、被写体の詳細な動きを検出
することができ、しかも特定の色をあらかじめ指定する
ことなく動きを検出することができる動作検出装置、動
作検出方法および情報記憶媒体を提供することにある。

【０００５】

【課題を解決するための手段】上述した課題を解決する
ために、本発明の動作検出装置は、撮影手段、シルエッ
ト抽出手段、部位抽出手段、動き検出手段を備えてい
る。撮影手段は、所定の撮影範囲に含まれる検出対象物
としての被写体を撮影する。シルエット抽出手段は、撮
影手段によって撮影された画像に基づいて、被写体のシ
ルエット画像を生成する。部位抽出手段は、シルエット
画像に基づいて、被写体を構成する各部位を抽出する。
動き検出手段は、部位抽出手段によって抽出された複数
の部位のそれぞれの動きを検出する。シルエット画像に
基づいて被写体を構成する各部位（胴体、頭部、腕等）
を抽出し、それぞれの動きを検出しているため、従来の
ように撮影範囲の所定領域に特定の色の被写体が含まれ
るか否かによって被写体の動きを検出する手法に比べ
て、被写体の詳細な動きを検出することができる。ま
た、被写体に対応したシルエット画像に基づいて抽出さ
れた各部位毎の動きの検出を行っており、この動きの検
出動作と各部位の色とは直接的な関係がないことから、
特定の着色がなされた旗等を手に持つ必要がなく、特定
の色をあらかじめ決めておく等の手間を軽減するととも
に、動き検出に際しての煩雑な制限事項を低減すること
ができる。

【０００６】特に、上述した部位抽出手段は、部位の抽
出動作を、シルエット画像の撮影位置に基づいて行うこ
とが望ましい。あるいは、上述した部位抽出手段は、部
位の抽出動作を、シルエット画像の重心位置を基準とし
て行うが望ましい。これにより、撮影範囲内で被写体が
動いた場合であっても正確に被写体の各部位を抽出する
ことができる。

【０００７】また、上述した動き検出手段は、複数の部
位のそれぞれに対応する所定の時間間隔に対応する移動
量を移動ベクトルとして計算することにより、複数の部
位のそれぞれの動きの検出を行うことが望ましい。ま
た、上述した動き検出手段は、複数の部位のそれぞれに
対応する部分的なシルエット画像を構成する複数の微小
領域毎の移動ベクトルを計算し、この移動ベクトルを複
数の部位のそれぞれについて平均することにより動きの
検出動作を行うことが望ましい。あるいは、動き検出手
段は、撮影手段によって撮影された画像であって、複数
の部位のそれぞれに対応する部分的な画像を構成する複
数の微小領域毎の移動ベクトルを計算し、この移動ベク
トルを複数の部位のそれぞれについて平均することによ
り動きの検出動作を行うことが望ましい。これらによ
り、被写体の各部位の動きを、ベクトル量として把握す
ることができ、定量的な解析や処理を行うことが可能に
なる。

【０００８】また、本発明の動作検出方法は、所定の撮
影範囲に含まれる検出対象物としての被写体を撮影する
第１のステップと、この撮影された画像に基づいて被写
体のシルエット画像を生成する第２のステップと、この
シルエット画像に基づいて被写体を構成する各部位を抽
出する第３のステップと、抽出された複数の部位のそれ
ぞれの動きを各部位に対応する部分的な領域の時間的な
変化の状態に基づいて検出する第４のステップとを有し
ている。また、本発明の情報記憶媒体は、所定の撮影範
囲に含まれる検出対象物としての被写体を撮影してシル
エット画像を生成し、このシルエット画像に基づいて被
写体を構成する各部位を抽出するとともに、この各部位
に対応する部分的な領域の時間的な変化の状態に基づい
て各部位の動きを検出するプログラムを含んでいる。本
発明の動作検出方法を実施することにより、あるいは本
発明の情報記憶媒体に含まれるプログラムを実行するこ
とにより、被写体を構成する各部位の詳細な動きを検出
することができる。

【０００９】また、本発明のゲーム装置は、上述した動
作検出装置によって検出された被写体の各部位の動き
を、ゲームに登場するキャラクタの動作に反映させてい
る。ゲーム装置の入力装置として上述した動作検出装置
を用いることにより、ゲーム装置のプレーヤは煩雑な操
作を行うことなく、ゲームに登場するキャラクタに対す
る動作指示を行うことができる。

【００１０】また、本発明のカラオケ装置は、上述した
動作検出装置によって検出された被写体の各部位の動き
を、カラオケ画面に表示するキャラクタの動作に反映さ
せている。カラオケ装置の利用者が振り付けを行いなが
ら歌を歌う場合に、振り付けの内容を反映した特定のキ
ャラクタをカラオケ画面に表示させることができるた
め、本来のカラオケ装置の使い方に別の楽しみ方を付加
することができる。

【００１１】

【発明の実施の形態】以下、本発明を適用した一実施形
態の動作検出装置について、図面を参照しながら詳細に
説明する。図１は、本実施形態の動作検出装置の構成を
示す図である。図１に示す動作検出装置は、カメラ１
０、動作検出処理部２０、ディスプレイ装置４０を含ん
で構成されている。

【００１２】カメラ１０は、撮影範囲に含まれる動作検
出対象者の身体を撮像するためのものである。本明細書
では、動作検出対象者の身体を「被写体」、撮影範囲に
含まれる被写体以外の部分を「背景」と称して説明を行
うものとする。例えば、被写体の少なくとも上半身が撮
影範囲に含まれるようにカメラ１０の設置位置や被写体
の位置が設定されている。

【００１３】動作検出処理部２０は、被写体に対応する
画像データがカメラ１０から入力され、この画像データ
に基づいて被写体の動きを検出する。また、動作検出処
理部２０は、被写体の動きの検出結果を示す所定の表示
を行うために必要な画像データを生成する。ディスプレ
イ装置４０は、この画像データに基づいて、被写体の動
きに合わせて各部が動く所定のキャラクタを表示する。

【００１４】上述した動作検出処理部２０は、シルエッ
ト抽出部２２、撮影画像格納部２４、オプティカルフロ
ー計算部２６、動作判定部２８、表示計算部３０を含ん
で構成される。シルエット抽出部２２は、カメラ１０か
ら入力される画像データに基づいて、被写体のシルエッ
ト画像を生成する。撮影画像格納部２４は、シルエット
抽出部２２によって生成されたシルエット画像を格納す
る。例えば、カメラ１０から所定時間間隔で画像データ
が出力されるものとすると、この所定時間間隔でシルエ
ット画像が生成され、撮影画像格納部２４に格納され
る。

【００１５】オプティカルフロー計算部２６は、連続し
た複数フレームに対応するシルエット画像を撮影画像格
納部２４から読み出して、所定の微小領域毎にオプティ
カルフロー（移動ベクトル）を計算する。動作判定部２
８は、部位抽出部３２および移動ベクトル計算部３４を
有しており、被写体の部位を判定するとともに、各部の
動作状態を示す移動ベクトルを計算する。例えば、撮影
画像格納部２４に格納されたシルエット画像に基づい
て、被写体の胴体、頭、右腕、左腕のそれぞれの部位が
抽出され、それぞれの部位の動きを示す移動ベクトルが
オプティカルフローに基づいて計算される。

【００１６】表示計算部３０は、動作判定部２８内の部
位抽出部３２によって抽出された各部位に対応する所定
形状のキャラクタの画像を生成する。上述したカメラ１
０が撮影手段に、シルエット抽出部２２がシルエット抽
出手段に、部位抽出部３２が部位抽出手段に、オプティ
カルフロー計算部２６、動作判定部２８が動き検出手段
にそれぞれ対応する。

【００１７】本実施形態の動作検出装置はこのような構
成を有しており、次にその動作を説明する。図２は、本
実施形態の動作検出装置による被写体の動作検出および
その結果表示に関する動作手順の概略を示す流れ図であ
る。被写体が含まれる所定の撮影範囲がカメラ１０によ
って撮影されると（ステップ１００）、シルエット抽出
部２２は、あらかじめ被写体が含まれない状態で撮影範
囲を撮影して得られた背景画像と、ステップ１００にお
いて撮影された一のフレームの撮影画像とを画素単位で
比較し、画素値の差が所定の閾値以上ある画素を
“１”、所定の閾値未満の画素を“０”に対応させたシ
ルエット画像Ｓｉを作成する（ステップ１０１）。この
シルエット画像Ｓｉに対応した画像データ（以後、単に
「画像データ」という場合には、シルエット画像に対応
した画像データをいうものとする）は、撮影画像格納部
２４に格納される。

【００１８】図３は、抽出されたシルエット画像Ｓｉの
一例を示す図である。図３において、ハッチングが付さ
れた領域がシルエット画像Ｓｉを示している。なお、
「Ｂｐ」は、シルエット画像Ｓｉの重心位置に一致した
シルエット画像Ｓｉの中心位置であり、この中心位置Ｂ
ｐの計算方法および用途については後述する。本実施形
態では、あらかじめ撮影しておいた背景画像とある時点
における撮影画像との差分に基づいて上述したシルエッ
ト画像Ｓｉを抽出しているため、複雑な模様の背景であ
っても正確に被写体のシルエット画像Ｓｉを得ることが
できる。

【００１９】次に、オプティカルフロー計算部２６は、
複数フレームに対応するシルエット画像Ｓｉに基づい
て、シルエット画像Ｓｉに含まれる各領域に対応したオ
プティカルフローを計算する（ステップ１０２）。オプ
ティカルフローの計算は、シルエット画像Ｓｉを複数の
微小領域に分割し、各微小領域毎に移動ベクトルを求め
ることにより行われる。このようにして各微小領域毎に
移動ベクトルが対応付けられて、ベクトル画像Ｖｉが得
られる。

【００２０】次に、動作判定部２８は、被写体の動きを
計算する（ステップ１０３）。この計算には、被写体の
各部位を判定する処理と、各部位の移動ベクトルを求め
る処理が含まれる。このようにして被写体の動きが計算
されると、表示計算部３０は、計算結果としての被写体
の各部位の移動ベクトルが表示位置等に反映された所定
形状のキャラクタの画像を生成する。そして、この画像
がディスプレイ装置４０の画面上に表示される（ステッ
プ１０４）。

【００２１】図４は、被写体の動きに合わせて各部が動
くキャラクタの具体的な表示例を示す図である。図４に
おいて、ほぼ中央に位置する大きな逆三角形が被写体の
胴体に、その上の円が頭部に、両側の線が右腕と左腕に
それぞれ対応している。また、右腕と左腕に相当する線
分に先端に付加された小さな三角形は、これらの部位の
移動ベクトルの大小を示している。被写体の各部位の動
きを考えた場合に、右腕と左腕の動きが最も大きくなる
ため、これらの動きがよくわかるように上述した小さな
三角形が付されている。

【００２２】図５は、図２のステップ１０３において被
写体の動きを計算する詳細な手順を示す流れ図である。（胴体に関する計算）まず、被写体の胴体に関する計算
が行われる。動作判定部２８内の部位抽出部３２は、シ
ルエット画像に基づいて胴体の中心位置Ｂｐを計算する
（ステップ２００）。例えば、シルエット画像の重心Ｇ
の座標（Ｇｘ，Ｇｙ）を以下の式を用いて計算し、これ
を被写体の中心位置として用いる。

【００２３】

【数１】

【００２４】ここで、Ｐ（ｘ，ｙ）は、座標（ｘ，ｙ）
におけるシルエット画像の画素値であり、座標（ｘ，
ｙ）がシルエット画像に含まれる場合には“１”が代入
され、含まれない場合には“０”が代入される。次に、
部位抽出部３２は、胴体領域Ｂａを設定する（ステップ
２０１）。具体的には、部位抽出部３２は、図６に示す
ように、胴体の中心位置ＢｐのＸ座標を中心として、幅
がＷ／４（Ｗは撮影範囲のＸ方向の幅）で高さが撮影範
囲と同じ矩形領域Ｂａとして設定する。

【００２５】次に、移動ベクトル計算部３４は、図２に
示すステップ１０２のオプティカルフローの計算によっ
て求めたベクトル画像Ｖｉの中で胴体領域Ｂａに含まれ
るものを抽出して平均し、胴体の移動ベクトルＢｖとし
て設定する（ステップ２０２）。

【００２６】（頭部に関する計算）次に、被写体の頭部
に関する計算が行われる。動作判定部２８内の部位抽出
部３２は、シルエット画像およびステップ２０１におい
て設定された胴体領域Ｂａに基づいて被写体の頭部に対
応する領域Ｈａを設定する（ステップ２０３）。具体的
には、部位抽出部３２は、図７に示すように、胴体領域
Ｂａに含まれるシルエット画像の上端から下部方向にＨ
／４（Ｈは撮影範囲のＹ方向の高さ）の高さに対応する
矩形領域を頭部の領域Ｈａとして設定する。

【００２７】次に、移動ベクトル計算部３４は、図２に
示すステップ１０２のオプティカルフローの計算によっ
て求めたベクトル画像Ｖｉの中で頭部の領域Ｈａに含ま
れるものを抽出して平均し、頭部の移動ベクトルＨｖと
して設定する（ステップ２０４）。

【００２８】（右腕に関する計算）次に、被写体の右腕
に関する計算が行われる。動作判定部２８内の部位抽出
部３２は、胴体領域よりも右側のシルエット画像Ｓｉが
含まれる矩形領域を右腕の領域Ｒａとして設定する（ス
テップ２０５）。また、図８に示すように、部位抽出部
３２は、シルエット画像Ｓｉの中の右腕の領域Ｒａに含
まれる部分について重心位置Ｒｇを計算し、さらにこの
重心位置Ｒｇの画像全体における位置（絶対位置）を計
算し、右腕の位置Ｒｐを計算する（ステップ２０６）。

【００２９】次に、移動ベクトル計算部３４は、図２に
示すステップ１０２のオプティカルフローの計算によっ
て求めたベクトル画像Ｖｉの中で右腕の領域Ｒａに含ま
れるものを抽出して平均し、右腕の移動ベクトルＲｖと
して設定する（ステップ２０７）。

【００３０】（左腕に関する計算）同様にして、被写体
の左腕に関する計算が行われる。動作判定部２８内の部
位抽出部３２は、胴体領域よりも左側のシルエット画像
Ｓｉが含まれる矩形領域を左腕の領域Ｌａとして設定す
る（ステップ２０８）。また、部位抽出部３２は、シル
エット画像Ｓｉの中の右腕の領域Ｌａに含まれる部分に
ついて重心位置Ｌｇを計算し、さらにこの重心位置Ｌｇ
の画像全体における位置（絶対位置）を計算し、左腕の
位置Ｌｐを計算する（ステップ２０９）。

【００３１】次に、移動ベクトル計算部３４は、図２に
示すステップ１０２のオプティカルフローの計算によっ
て求めたベクトル画像Ｖｉの中で左腕の領域Ｌａに含ま
れるものを抽出して平均し、左腕の移動ベクトルＬｖと
して設定する（ステップ２１０）。

【００３２】図９は、図２のステップ１０４において被
写体に対応する所定のキャラクタを表示する詳細な手順
を示す流れ図である。（胴体に関する表示）まず、被写体の胴体に関する表示
処理が行われる。表示計算部３０は、胴体の中心位置Ｂ
ｃを計算する（ステップ３００）。具体的には、胴体の
中心位置Ｂｃの座標（Ｂｃｘ，Ｂｃｙ）は以下の式によ
って計算される。

【００３３】Ｂｃｘ＝Ｂｐｘ・ｍ＋Ｂｖｘ・ｎＢｃｙ＝Ｂｐｙ・ｏ＋Ｂｖｙ・ｐここで、ｍ、ｎ、ｏ、ｐのそれぞれは、表示キャラクタ
を動きの反応の速さ（あるいは遅さ）を決めるパラメー
タであり、これらの値を大きくすることにより、被写体
の動きに敏感に反応して表示キャラクタを動かすことが
できる。例えば、ｍ＝１．７、ｎ＝０、ｏ＝０、ｐ＝
０．２５に設定される。

【００３４】次に、表示計算部３０は、胴体の回転角Ｂ
ｒを設定する（ステップ３０１）。具体的には、回転角
Ｂｒは以下の式によって計算される。Ｂｒ＝Ｂｖｘ・ｑここで、ｑは、表示キャラクタの反応の動きの反応の速
さを決めるパラメータであり、この値を大きくすること
により、被写体の横方向（Ｘ方向）の動きに敏感に反応
して表示キャラクタを回転させることができる。

【００３５】次に、表示計算部３０は、回転角Ｂｒだけ
回転させた特定のキャラクタ（図４に示した表示例では
大きな逆三角形の図形）を、その重心位置がステップ３
００で求めた座標（Ｂｃｘ，Ｂｃｙ）となる位置に表示
するため画像を生成する。このようにして、胴体に対応
するキャラクタがディスプレイ装置４０の画面上に表示
される（ステップ３０２）。

【００３６】（頭部に関する表示）次に、被写体の頭部
に関する表示処理が行われる。表示計算部３０は、頭部
の中心位置Ｈｃを計算する（ステップ３０３）。具体的
には、胴体の回転動作に伴って頭部の位置も回転する
が、さらに頭部の移動ベクトルＨｖを胴体の回転角Ｂｒ
だけ回転させたベクトルＨｖ′に対応させて頭部の中心
位置Ｈｃが算出される。

【００３７】また、表示計算部３０は、ステップ３０３
で算出された中心位置Ｈｃに、頭部に対応するキャラク
タ（図４に示した表示例では円）を表示するための画像
を生成する。このようにして、頭部に対応するキャラク
タがディスプレイ装置４０の画面上に表示される（ステ
ップ３０４）。

【００３８】（右腕に関する表示）次に、被写体の右腕
に関する表示処理が行われる。表示計算部３０は、右腕
の付け根の位置を計算する（ステップ３０５）。具体的
には、表示計算部３０は、胴体が中央で回転角０の状態
における右腕の付け根の位置ベクトルをＲｖ₀とし、こ
の位置ベクトルＲｖ₀を胴体の回転角Ｂｒだけ回転し、
さらに胴体の中心位置Ｂｐを加算することにより、右腕
の付け根の表示位置Ｒｖ₀′を計算する。

【００３９】また、表示計算部３０は、右腕の先端の位
置を計算する（ステップ３０６）。具体的には、以下の
式に基づいて、右腕の先端の位置Ｒｐ′が計算される。
Ｒｐ′＝Ｒｐ＋Ｂｐ次に、表示計算部３０は、右腕の付
け根の位置Ｒｖ₀′から先端の位置Ｒｐ′まで線を引く
とともに（ステップ３０７）、先端の位置Ｒｐ′に右腕
の移動ベクトルＲｖに対応した所定のキャラクタ（図４
に示した表示例では小さな三角形）を表示するための画
像を生成する（ステップ３０８）。このようにして、右
腕に対応する直線とその先端に付加される特定のキャラ
クタがディスプレイ装置４０の画面上に表示される。

【００４０】（左腕に関する表示）次に、被写体の左腕
に関する表示処理が行われる。表示計算部３０は、左腕
の付け根の位置を計算する（ステップ３０９）。具体的
には、表示計算部３０は、胴体が中央で回転角０の状態
における左腕の付け根の位置ベクトルをＬｖ₀とし、こ
の位置ベクトルＬｖ₀を胴体の回転角Ｂｒだけ回転し、
さらに胴体の中心位置Ｂｐを加算することにより、左腕
の付け根の表示位置Ｌｖ₀′を計算する。

【００４１】また、表示計算部３０は、左腕の先端の位
置を計算する（ステップ３１０）。具体的には、以下の
式を基づいて、左腕の先端の位置Ｌｐ′が計算される。
Ｌｐ′＝Ｌｐ＋Ｂｐ次に、表示計算部３０は、左腕の付
け根の位置Ｌｖ₀′から先端の位置Ｌｐ′まで線を引く
とともに（ステップ３１１）、先端の位置Ｌｐ′に左腕
の移動ベクトルＬｖに対応した所定のキャラクタ（図４
に示した表示例では小さな三角形）を表示するための画
像を生成する（ステップ３１２）。このようにして、左
腕に対応する直線とその先端に付加される特定のキャラ
クタがディスプレイ装置４０の画面上に表示される。

【００４２】このように、本実施形態の動作検出装置で
は、シルエット画像に基づいて被写体を構成する各部位
（胴体、頭部、腕等）を抽出し、それぞれの動きを検出
しているため、従来のように撮影範囲の所定領域に特定
の色の被写体が含まれるか否かによって被写体の動きを
検出する手法に比べて、被写体の詳細な動きを検出する
ことができる。また、被写体に対応したシルエット画像
を用いて動きの検出が行われるため、特定の着色がなさ
れた旗等を手に持つ必要がなく、特定の色をあらかじめ
決めておく等の手間を軽減するとともに、動き検出に際
しての煩雑な制限事項を低減することができる。

【００４３】なお、本発明は上記実施形態に限定される
ものではなく、本発明の要旨の範囲内で種々の変形実施
が可能である。上述した実施形態では、被写体の動作内
容を検出して、その結果に応じて表示キャラクタを動か
すようにしたが、この動作検出の手法をゲーム装置やそ
の他の装置（例えばカラオケ装置））における入力装置
として用いることもできる。

【００４４】図１０は、本発明を適用した動作入力部１
２０にゲーム装置１００を接続した構成を示す図であ
る。動作入力部１２０は、シルエット抽出部２２、撮影
画像格納部２４、オプティカルフロー計算部２６、動作
判定部２８を含んで構成されている。この動作入力部１
２０は、図１に示した動作検出処理部２０の構成から表
示計算部３０が取り除かれた構成を有している。すなわ
ち、動作判定部２８内の移動ベクトル計算部３４によっ
て、被写体の各部位に対応する移動ベクトルが計算さ
れ、この計算結果がゲーム装置１００内のキャラクタ動
作設定部１０２に入力される。このキャラクタ動作設定
部１０２は、ゲームに登場する特定キャラクタ（例えば
プレーヤキャラクタ）の動作内容を、動作入力部１２０
から入力される移動ベクトルに応じて設定するためのも
のである。ゲーム処理部１０４は、キャラクタ動作設定
部１０２によって設定された特定キャラクタの動作内容
に応じたゲームの進行処理を行う。

【００４５】図１１は、本発明を適用した動作入力部１
２０にカラオケ装置２００を接続した構成を示す図であ
る。カラオケ装置２００は、動作入力部１２０から入力
される移動ベクトルに応じて、図示しないディスプレイ
装置の画面上に特定のキャラクタを表示させる動作を行
う。例えば、利用者は、自分が選択した曲を歌いながら
振り付けをすると、その動作内容に応じた利用者の各部
位の動きに対応した移動ベクトルが動作入力部１２０か
らカラオケ装置２００内のキャラクタ動作設定部２０２
に入力される。キャラクタ表示処理部２０４は、ディス
プレイ装置の画面上に表示する特定のキャラクタの画像
を生成するとともに、このキャラクタの各部位の動きを
動作入力部１２０から入力される移動ベクトルに基づい
て設定する。

【００４６】また、上述した実施形態では、オプティカ
ルフロー計算部２６は、撮影画像格納部２４から読み出
したシルエット画像に基づいてオプティカルフローを計
算したが、被写体を撮影したときにカメラ１０から出力
される画像データに基づいてオプティカルフローを計算
するようにしてもよい。

【００４７】

【発明の効果】上述したように、本発明によれば、シル
エット画像に基づいて被写体を構成する各部位（胴体、
頭部、腕等）を抽出し、それぞれの動きを検出すること
により、被写体の詳細な動きを検出することができる。

【図面の簡単な説明】

【図１】一実施形態の動作検出装置の構成を示す図であ
る。

【図２】本実施形態の動作検出装置による被写体の動作
検出およびその結果表示に関する動作手順の概略を示す
流れ図である。

【図３】抽出されたシルエット画像の一例を示す図であ
る。

【図４】被写体の動きに合わせて各部が動くキャラクタ
の具体的な表示例を示す図である。

【図５】被写体の動きを計算する詳細な手順を示す流れ
図である。

【図６】胴体に対応する矩形領域の具体例を示す図であ
る。

【図７】頭部に対応する矩形領域の具体例を示す図であ
る。

【図８】右腕および左腕の領域の具体例を示す図であ
る。

【図９】被写体に対応する所定のキャラクタを表示する
詳細な手順を示す流れ図である。

【図１０】ゲーム装置を用いた変形例の構成を示す図で
ある。

【図１１】カラオケ装置を用いて変形例の構成を示す図
である。

【符号の説明】

１０カメラ２０動作検出処理部２２シルエット抽出部２４撮影画像格納部２６オプティカルフロー計算部２８動作判定部３０表示計算部３２部位抽出部３４移動ベクトル計算部４０ディスプレイ装置

フロントページの続き (72)発明者増山隆司東京都大田区多摩川２丁目８番５号株式会社ナムコ内Ｆターム(参考） 2C001 CA00 CA08 CA09 5C054 CA04 CC03 CG08 EA05 FA00 FC00 FC13 FC15 HA15 5L096 CA02 FA32 FA60 FA62 GA19 GA51 HA04

Claims

【特許請求の範囲】

【請求項１】所定の撮影範囲に含まれる検出対象物と
しての被写体を撮影する撮影手段と、前記撮影手段によって撮影された画像に基づいて、前記
被写体のシルエット画像を生成するシルエット抽出手段
と、前記シルエット画像に基づいて、前記被写体を構成する
各部位を抽出する部位抽出手段と、前記部位抽出手段によって抽出された複数の前記部位の
それぞれの動きを検出する動き検出手段と、を備えることを特徴とする動作検出装置。
【請求項２】請求項１において、前記部位抽出手段は、前記部位の抽出動作を、前記シル
エット画像の撮影位置に基づいて行うことを特徴とする
動作検出装置。
【請求項３】請求項１において、前記部位抽出手段は、前記部位の抽出動作を、前記シル
エット画像の重心位置を基準として行うことを特徴とす
る動作検出装置。
【請求項４】請求項１〜３のいずれかにおいて、前記動き検出手段は、複数の前記部位のそれぞれに対応
する所定の時間間隔に対応する移動量を移動ベクトルと
して計算することにより、複数の前記部位のそれぞれの
動きの検出を行うことを特徴とする動作検出装置。
【請求項５】請求項１〜３のいずれかにおいて、前記動き検出手段は、複数の前記部位のそれぞれに対応
する部分的な前記シルエット画像を構成する複数の微小
領域毎の移動ベクトルを計算し、この移動ベクトルを複
数の前記部位のそれぞれについて平均することにより動
きの検出動作を行うことを特徴とする動作検出装置。
【請求項６】請求項１〜３のいずれかにおいて、前記動き検出手段は、前記撮影手段によって撮影された
画像であって、複数の前記部位のそれぞれに対応する部
分的な前記画像を構成する複数の微小領域毎の移動ベク
トルを計算し、この移動ベクトルを複数の前記部位のそ
れぞれについて平均することにより動きの検出動作を行
うことを特徴とする動作検出装置。
【請求項７】所定の撮影範囲に含まれる検出対象物と
しての被写体を撮影する第１のステップと、前記第１のステップにおいて撮影された画像に基づい
て、前記被写体のシルエット画像を生成する第２のステ
ップと、前記シルエット画像に基づいて、前記被写体を構成する
各部位を抽出する第３のステップと、前記第３のステップにおいて抽出された複数の前記部位
のそれぞれの動きを、各部位に対応する部分的な領域の
時間的な変化の状態に基づいて検出する第４のステップ
と、を有することを特徴とする動作検出方法。
【請求項８】所定の撮影範囲に含まれる検出対象物と
しての被写体を撮影してシルエット画像を生成し、この
シルエット画像に基づいて前記被写体を構成する各部位
を抽出するとともに、この各部位に対応する部分的な領
域の時間的な変化の状態に基づいて各部位の動きを検出
するプログラムを含むことを特徴とする情報記憶媒体。
【請求項９】請求項１〜６のいずれかの動作検出装置
によって検出された前記被写体の各部位の動きを、ゲー
ムに登場するキャラクタの動作に反映させたことを特徴
とするゲーム装置。
【請求項１０】請求項１〜６のいずれかの動作検出装
置によって検出された前記被写体の各部位の動きを、カ
ラオケ画面に表示するキャラクタの動作に反映させたこ
とを特徴とするカラオケ装置。