JP2000258123A - 画像処理装置および方法、並びに提供媒体 - Google Patents

Abstract

(57)【要約】 【課題】 身体の所定の部位の３次元空間上の位置を、
正確、かつ、迅速に求めることができるようにする。 【解決手段】 ＩＤ／位置検出装置４−１乃至４−４
は、撮像装置３−１乃至３−４により流し撮像された画
像を基に、画像上の発光装置２−１乃至２−１１の位置
および点滅パターンを検出する。３次元位置算出装置６
および身体モデル再構成装置７は、撮像装置３−１乃至
３−４が設置されている位置、 ＩＤ／位置検出装置４
−１乃至４−４により検出された画像上の発光装置２−
１乃至２−１１の位置、および点滅パターンを基に、発
光装置２−１乃至２−１１が装着されている演技者の部
位の３次元空間上の位置を算出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置およ
び方法、並びに提供媒体に関し、特に、人間などの動き
に対応するデータを生成する画像処理装置および方法、
並びに提供媒体に関する。

【０００２】

【従来の技術】コンピュータグラフィックス上のモデル
を動作させるために、人間の動きの情報を取り込むモー
ションキャプチャシステムが、映画、およびビデオゲー
ムなどの分野で盛んに利用されている。

【０００３】モーションキャプチャシステムには、磁気
を利用する磁気センサ方式、ジャイロなどを利用する角
度センサ方式、機械式のリンクを利用するリンク方式、
または光を利用する光学式などがある。

【０００４】最近は、動きが計測される人間である演技
者の負担が少ない、演技者の動きが制限されにくい、お
よび環境の影響を受けにくい等の理由から、演技者の身
体の所定の部位に光を反射する装置、または発光する装
置を装着し、互いに異なる位置に設置された複数のビデ
オカメラで撮像し、画像上の位置から演技者の身体の所
定の部位の３次元上の位置を算出する光学式が主流とな
っている。

【０００５】

【発明が解決しようとする課題】しかしながら、複数の
ビデオカメラで撮像する光学式のモーションキャプチャ
システムにおいて、複数の画像の間で、発光点の対応の
特定が難しく、更に、発光点と身体の部位との対応は人
手で入力しなければならず、身体の部位の３次元上の位
置を正確に求めることは困難であり、手間がかかる。特
に、発光点が画像上から消えて、再度、画像上に現れた
とき、どの発光点が現れたのかを特定することは、極め
て難しく、特定に時間がかかる。

【０００６】本発明はこのような状況に鑑みてなされた
ものであり、光学式のモーションキャプチャシステムに
おいて、身体の所定の部位の３次元空間上の位置を、正
確、かつ、迅速に求めることができるようにすることを
目的とする。

【０００７】

【課題を解決するための手段】請求項１に記載の画像処
理装置は、撮像装置により流し撮像された画像を基に、
画像上の発光装置の位置および点滅パターンを検出する
検出手段と、撮像装置が設置されている位置、検出手段
により検出された画像上の発光装置の位置、および点滅
パターンを基に、発光装置が装着されている演技者の部
位の３次元空間上の位置を算出する算出手段とを含むこ
とを特徴とする。

【０００８】請求項２に記載の画像処理方法は、撮像装
置により流し撮像された画像を基に、画像上の発光装置
の位置および点滅パターンを検出する検出ステップと、
撮像装置が設置されている位置、検出ステップで検出さ
れた画像上の発光装置の位置、および点滅パターンを基
に、発光装置が装着されている演技者の部位の３次元空
間上の位置を算出する算出ステップとを含むことを特徴
とする。

【０００９】請求項３に記載の提供媒体は、画像処理装
置に、撮像装置により流し撮像された画像を基に、画像
上の発光装置の位置および点滅パターンを検出する検出
ステップと、撮像装置が設置されている位置、検出ステ
ップで検出された画像上の発光装置の位置、および点滅
パターンを基に、発光装置が装着されている演技者の部
位の３次元空間上の位置を算出する算出ステップとを含
む処理を実行させるコンピュータが読み取り可能なプロ
グラムを提供することを特徴とする。

【００１０】請求項１に記載の画像処理装置、請求項２
に記載の画像処理方法、および請求項３に記載の提供媒
体においては、撮像装置により流し撮像された画像を基
に、画像上の発光装置の位置および点滅パターンが検出
され、撮像装置が設置されている位置、検出手段により
検出された画像上の発光装置の位置、および点滅パター
ンを基に、発光装置が装着されている演技者の部位の３
次元空間上の位置が算出される。

【００１１】

【発明の実施の形態】図１は、本発明に係るモーション
キャプチャシステムの一実施の形態を示す図である。発
光装置２−１は、専用のベルトまたは帽子などで、動き
が計測される演技者１（人間または他の動物）の頭部に
装着される。発光装置２−２は、専用のベルトなどで、
動きが計測される演技者１の首に装着され、固有の点滅
パターンで発光する。発光装置２−３は、専用のベルト
またはサポータなどで、動きが計測される演技者１の右
肘に装着され、固有の点滅パターンで発光する。発光装
置２−４は、専用のベルトまたはサポータなどで、動き
が計測される演技者１の右手首に装着され、固有の点滅
パターンで発光する。

【００１２】同様に、発光装置２−５は、演技者１の左
肘に装着され、固有の点滅パターンで発光し、発光装置
２−６は、演技者１の左手首に装着され、固有の点滅パ
ターンで発光する。発光装置２−７は、専用のベルトな
どで、演技者１の腹部に装着され、固有の点滅パターン
で発光する。発光装置２−８は、演技者１の右膝に装着
され、固有の点滅パターンで発光し、発光装置２−９
は、演技者１の右足首に装着され、固有の点滅パターン
で発光し、発光装置２−１０は、演技者１の左膝に装着
され、固有の点滅パターンで発光し、発光装置２−１１
は、演技者１の左足首に装着され、固有の点滅パターン
で発光する。

【００１３】以下、発光装置２−１乃至２−１１を個々
に区別する必要がないとき、単に発光装置２と称する。

【００１４】撮像装置３−１は、発光装置２−１乃至２
−１１を装着した演技者１を撮像できるように、所定の
位置に設置され、いわゆる流し撮像で発光装置２−１乃
至２−１１を装着した演技者１を撮像し、その画像をＩ
Ｄ／位置検出装置４−１に供給する。撮像装置３−２
は、発光装置２−１乃至２−１１を装着した演技者１を
撮像できるように、撮像装置３−１とは異なる所定の位
置に設置され、いわゆる流し撮像で発光装置２−１乃至
２−１１を装着した演技者１を撮像し、その画像をＩＤ
／位置検出装置４−２に供給する。

【００１５】撮像装置３−３は、発光装置２−１乃至２
−１１を装着した演技者１を撮像できるように、撮像装
置３−１および３−２とは異なる所定の位置に設置さ
れ、いわゆる流し撮像で発光装置２−１乃至２−１１を
装着した演技者１を撮像し、その画像をＩＤ／位置検出
装置４−３に供給する。撮像装置３−４は、発光装置２
−１乃至２−１１を装着した演技者１を撮像できるよう
に、撮像装置３−１乃至３−３とは異なる所定の位置に
設置され、いわゆる流し撮像で発光装置２−１乃至２−
１１を装着した演技者１を撮像し、その画像をＩＤ／位
置検出装置４−４に供給する。

【００１６】以下、撮像装置３−１乃至３−４を個々に
区別する必要がないとき、単に撮像装置３と称する。

【００１７】ＩＤ／位置検出装置４−１は、撮像装置３
−１から供給された画像を基に、発光装置２−１乃至２
−１１それぞれの画像上の位置（２次元）を検出し、そ
れぞれの点滅パターンを検出し、ネットワーク５を介し
て、発光装置２−１乃至２−１１それぞれの画像上の位
置およびそれぞれの点滅パターンに対応するコードを３
次元位置算出装置６に供給する。ＩＤ／位置検出装置４
−２は、撮像装置３−２から供給された画像を基に、発
光装置２−１乃至２−１１それぞれの画像上の位置（２
次元）を検出し、それぞれの点滅パターンを検出し、ネ
ットワーク５を介して、発光装置２−１乃至２−１１そ
れぞれの画像上の位置およびそれぞれの点滅パターンに
対応するコードを３次元位置算出装置６に供給する。

【００１８】ＩＤ／位置検出装置４−３は、撮像装置３
−３から供給された画像を基に、発光装置２−１乃至２
−１１それぞれの画像上の位置（２次元）を検出し、そ
れぞれの点滅パターンを検出し、ネットワーク５を介し
て、発光装置２−１乃至２−１１それぞれの画像上の位
置およびそれぞれの点滅パターンに対応するコードを３
次元位置算出装置６に供給する。ＩＤ／位置検出装置４
−４は、撮像装置３−４から供給された画像を基に、発
光装置２−１乃至２−１１それぞれの画像上の位置（２
次元）を検出し、それぞれの点滅パターンを検出し、ネ
ットワーク５を介して、発光装置２−１乃至２−１１そ
れぞれの画像上の位置およびそれぞれの点滅パターンに
対応するコードを３次元位置算出装置６に供給する。

【００１９】以下、ＩＤ／位置検出装置４−１乃至４−
４を個々に区別する必要がないとき、単にＩＤ／位置検
出装置４と称する。

【００２０】３次元位置算出装置６として、具体的に
は、パーソナルコンピュータなどが利用される。３次元
位置算出装置６は、ネットワーク５を介して、ＩＤ／位
置検出装置４−１乃至４−４から供給された、発光装置
２−１乃至２−１１それぞれの画像上の位置およびそれ
ぞれの点滅パターンに対応するコードを基に、発光装置
２−１乃至２−１１のそれぞれの３次元空間上の位置を
算出し、発光装置２−１乃至２−１１それぞれの３次元
空間上の位置および発光装置２−１乃至２−１１それぞ
れの点滅パターンに対応するコードを身体モデル再構成
装置７に出力する。

【００２１】３次元位置算出装置６は、３以上の発光装
置２−１乃至２−１１それぞれの画像上の位置が与えら
れたとき、最小自乗法などを用いて、最適な発光装置２
−１乃至２−１１のそれぞれの３次元空間上の位置を算
出する。

【００２２】異なる位置に設置された撮像装置３−１乃
至３−４に撮像された画像上の位置（２次元座標）を基
に、発光装置２−１乃至２−１１の３次元空間上の位置
（３次元座標）を求める処理は、理学療法、スポーツ医
学、人間工学の研究などの分野において、動作解析に用
いられている公知の方法を用いることができる。

【００２３】身体モデル再構成装置７として、具体的に
は、パーソナルコンピュータなどが利用される。身体モ
デル再構成装置７は、発光装置２−１乃至２−１１それ
ぞれの点滅パターンのコードに対応する演技者１の身体
の部位を示すテーブルを予め記憶し、３次元位置算出装
置６から供給された、発光装置２−１乃至２−１１それ
ぞれの３次元空間上の位置および発光装置２−１乃至２
−１１それぞれの点滅パターンに対応するコードを基
に、身体モデルを構成し、身体モデルのデータを記憶す
る。

【００２４】図２は、発光装置２の構成を示すブロック
図である。基準クロック発生部１１は、発光の基準とな
る所定の周期のクロック信号を発生し、アドレスカウン
タ１２に供給する。アドレスカウンタ１２は、基準クロ
ック発生部１１から供給されたクロック信号を基に、動
作の開始からの経過時間に応じた所定のアドレス信号を
メモリ１３に供給する。

【００２５】メモリ１３は、所定のアドレスに所定のデ
ータが予め記憶され、アドレスカウンタ１２から供給さ
れたアドレス信号により指定されるアドレスのデータを
発光ダイオード点灯部１４に供給する。発光ダイオード
点灯部１４は、メモリ１３から供給されたデータに応じ
て、発光ダイオード１５を点灯または消灯させる信号を
供給する。発光ダイオード１５は、発光ダイオード点灯
部１４からの信号に基づき、所定の点滅パターンで点灯
または消灯する。

【００２６】以上のように、発光装置２の発光ダイオー
ド１５は、発光装置２固有の点滅パターン（発光装置２
−１乃至２−１１それそれ異なる）で点灯または消灯す
る。

【００２７】図３は、撮像装置３の構成を示すブロック
図である。CCD(Charge Coupled Device)ビデオカメラ２
２は、流し撮り駆動回路２１により駆動され、いわゆ
る、流し撮像で、発光装置２の発光点を撮像する。CCD
ビデオカメラ２２は、流し撮像により得られた発光装置
２の発光点の点滅パターンの画像データをＩＤ／位置検
出装置４に出力する。フィルタ２３は、発光装置２から
発光される発光点以外の光がCCDビデオカメラ２２に入
射されるのを抑制する光学フィルタで、CCDビデオカメ
ラ２２のレンズ部（図示せず）の前段に設けられてい
る。

【００２８】図４は、ＩＤ／位置検出装置４の構成を示
すブロック図である。画像キャプチャ部３１は、撮像装
置３から供給される点滅パターンの画像データに所定の
処理を施し、画像処理部３２が所定の画像処理を実行で
きるような画像データを生成し、画像処理部３２に出力
する。

【００２９】画像処理部３２は、画像キャプチャ部３１
から供給された、時間経過に対応する輝度の変化として
表されている発光装置２−１乃至２−１１の点滅パター
ンの画像データを、２次元空間、すなわち、y軸およびz
軸の各座標で表される空間的パターン（後述）の画像デ
ータに変換し（フレームメモリに書き込み）、その画像
データから、発光装置２−１乃至２−１１の位置(Y,Z)
および点滅パターンを検出し、発光装置２−１乃至２−
１１の位置(Y,Z)および点滅パターンを示す信号をネッ
トワーク５を介して、３次元位置算出装置６に供給す
る。

【００３０】身体モデル再構成装置７は、３次元位置算
出装置６と同様な構成を有する。

【００３１】図５は、３次元位置算出装置６の構成を説
明するブロック図である。ＣＰＵ（central processing
unit）５１は、各種アプリケーションプログラムや、
基本的なＯＳ（operating system)を実際に実行する。
ＲＯＭ（read-only memory）５２は、一般的には、ＣＰ
Ｕ５１が使用するプログラムや演算用のパラメータのう
ちの基本的に固定のデータを格納する。ＲＡＭ（random
-access memory）５３は、ＣＰＵ５１の実行において使
用するプログラムや、その実行において適宜変化するパ
ラメータを格納する。これらはバス５４により相互に接
続されている。

【００３２】キーボード５６は、ＣＰＵ５１に各種の指
令を入力するとき、ユーザにより操作される。マウス５
７は、モニタ５８の画面上のポイントの指示や選択を行
うとき、ユーザにより操作される。モニタ５８は、各種
情報をテキストやイメージで表示する。ＨＤＤ（hard d
isk drive）５９とＦＤＤ（floppy disk drive）６０
は、それぞれハードディスクまたはフロッピー（登録商
標）ディスクを駆動し、それらにＣＰＵ５１によって実
行するプログラムや情報を記録または再生させる。ネッ
トワークボード６１は、ネットワーク５と接続するため
の装置であり、具体的にはイーサネット（登録商標）
（Ｅｔｈｅｒｎｅｔ（登録商標））ボード等で構成され
る。

【００３３】これらのキーボード５６乃至ネットワーク
ボード６１は、インターフェース５５に接続されてお
り、インターフェース５５はバス５４を介してＣＰＵ５
１に接続されている。

【００３４】ここで、撮像装置３のCCDビデオカメラ２
２が行う流し撮像について、図６乃至図８を参照して説
明する。流し撮像とは、CCDビデオカメラ２２に内蔵さ
れるCCD撮像素子において、各画素を構成するホトダイ
オードの出力を、同一フィールドの期間中に、複数回、
垂直転送CCDに転送する撮像方法を意味する。これに対
して、通常の撮像方法では、各画素を構成するホトダイ
オードの出力が、同一フィールドの期間中に、１回だ
け、垂直転送CCDに転送される。

【００３５】従って、発光装置２の発光ダイオード１５
が、例えば、図６（Ａ）に示すように、１フィールドの
期間中に、１２HD（Horizontal Drive:水平走査周期）
の期間、消灯し、次の１２HDの期間、点灯する点滅パタ
ーン１を、２回繰り返すような場合、これを通常の撮像
方法で撮像すると、１個の発光点が撮像されるだけであ
る。しかしながら、これを、CCDビデオカメラ２２が流
し撮像し、図６（Ｂ）に示すように、２HDに１回の割合
で、各画素を構成する発光ダイオードの出力を、垂直転
送CCDに転送するようにすると、その結果得られる画像
には、図６（Ｃ）に示すように、発光ダイオード１５の
出力（点灯または消灯）が、複数現れるようになる。な
お、この例の場合、発光ダイオード１５は、撮像画面上
で、３ライン分の大きさを有するものとする。

【００３６】そこで、CCDビデオカメラ２２から出力さ
れた、図６（Ｃ）に示すような画像がＩＤ／位置検出装
置４の画像キャプチャ部３１に供給されると、画像キャ
プチャ部３１は、その画像にキャプチャ処理を施し、図
７に示すような画像を生成する。上述したように、発光
装置２の発光ダイオード１５が３ラインで表されること
から、各出力の像が前後の出力の像と一部重なるように
なり、キャプチャされた画像の画素の輝度が段階的に変
化している。

【００３７】例えば、ラインＬ８では発光ダイオード１
５の点灯している状態の画像が３回重畳されるので、最
も明るい輝度Ｄとなり、ラインＬ７では、点灯している
状態の画像が２回と、消灯している状態の画像が１回表
示されるので、輝度Ｄより暗い輝度Ｃとなり、ラインＬ
６では、点灯している状態の画像が１回と、消灯してい
る状態の画像が２回表示されるので、輝度Ｃより暗い輝
度Ｂとなり、ラインＬ５では消灯している状態の画像が
３回表示されているので、輝度Ｂより暗い輝度Ａとな
る。

【００３８】さらに、画像キャプチャ部３１から出力さ
れた、図７に示したような画像が画像処理部３２に供給
されると、画像処理部３２は、その画像に２値化処理を
施し、図８に示すような画像を生成する。この場合、図
７に示す画像の輝度Ａおよび輝度Ｂで表される輝度は、
輝度Ｌ、そして輝度Ｃおよび輝度Ｄで表される輝度は、
輝度Ｈとされる。また、輝度Ｈの画素の画素値は、”
１”に、輝度Ｌの画素の画素値は”０”に符号化され
る。

【００３９】このように、流し撮像することより、１フ
ィールド期間中の２回の輝度の時間的変化が、２個の空
間的変化に変換される。本発明の実施の形態において
は、この原理に基づいて、発光装置２の発光ダイオード
１５の発光の状態が観察される。

【００４０】次に、以上のようにして求められた空間的
パターンに変換された画像データから、輝点の位置を検
出する場合のＩＤ／位置検出装置４の画像処理部３２の
処理手順を説明する。

【００４１】図９（Ａ）は、図１０に示すように配置さ
れた発光装置２−１の発光ダイオード１５に対応する輝
点Ｌi１、発光装置２−２の発光ダイオード１５に対応
する輝点Ｌi２、および発光装置２−３の発光ダイオー
ド１５に対応する輝点Ｌi３の点滅パターンの画像デー
タが、空間的パターンに変換された例を表している。輝
点Ｌi１，Ｌi２，Ｌi３の位置を求める場合、ＩＤ／位
置検出装置４の画像処理部３２は、走査線上に配置され
た輝点の画素値”１”を、図９（Ｂ）に示すように、流
し撮像された方向（この例の場合、z軸方向）に加算
し、その加算の中からピークを求め、そのピークの位置
するy軸上の座標を表示画像上の輝点のＹ座標とする。
この表示例の場合、輝点Ｌi１，Ｌi２，Ｌi３の表示画
像上のＹ座標は、それぞれＹ１，Ｙ２，Ｙ３となる。

【００４２】一方、Z座標は、最初に発光した輝点のz軸
上の座標が輝点の表示画像上のＺ座標となる。この表示
例の場合、流し撮像方向が負方向であることから、輝点
１、輝点２、輝点３が最初に光始めた点であり、このこ
とにより、輝点１、輝点２、輝点３のz軸上の座標であ
る、Ｚ１，Ｚ２，Ｚ３が、輝点Ｌi１，Ｌi２，Ｌi３の
Ｚ座標となる。

【００４３】このようにして、画像処理部３２は、輝点
Ｌi１，Ｌi２，Ｌi３の表示画像上のＹ座標およびＺ座
標、すなわち（Ｙ１，Ｚ１），（Ｙ２，Ｚ２），（Ｙ
３，Ｚ３）を求める。

【００４４】次に、輝点の点滅パターンを検知する場合
のＩＤ／位置検出装置４の画像処理部３２の処理手順
を、図１１を参照して説明する。

【００４５】図１１（Ａ）は、図９の輝点Ｌi１の空間
的パターンを取りだして表示している。輝点Ｌi１の状
態を検出する場合、ＩＤ／位置検出装置４の画像処理部
３２は、Ｙ座標Ｙ１に対する、予め定められたばらつき
範囲内（Ｙ１-ΔＹ＜Ｙ＜Ｙ１＋ΔＹ）の輝点を選択
し、Ｙ軸方向に加算し、図１１（Ｂ）に示すように、そ
のピークを求める。次に、画像処理部３２は、求められ
たピークを所定の閾値で２値化処理し、図１１（Ｃ）に
示すようなビットパターンの情報を生成する。このよう
にして求められたビットパターン（１０１０１０１０）
から輝点Ｌi１の状態が検出される。この例の場合、輝
点Ｌi１は、８ビット情報が抽出されるような点滅パタ
ーンで、輝点が点滅されている。

【００４６】なお、Ｙ座標に対する所定の範囲内の輝点
を選択することは、より精度の高いビットパターンを得
るために行われる。例えば、隣接した他の空間的パター
ンの画像により、ビットパターンが変化することが、こ
れにより防止される。

【００４７】このように、発光装置２−１乃至２−１１
のそれぞれが、固有のパターンで輝点を発光し、それを
上述したように流し撮像して処理することにより、発光
装置２−１乃至２−１１の画像上の位置および点滅パタ
ーンを同時に検出することができる。

【００４８】３次元位置算出装置６は、ＩＤ／位置検出
装置４−１乃至４−４のそれぞれが検出した、発光装置
２−１乃至２−１１のそれぞれの画像上の位置（２次
元）および、発光装置２−１乃至２−１１それぞれの点
滅パターンを基に、発光装置２−１乃至２−１１それぞ
れの３次元空間上の位置を算出する。発光装置２−１乃
至２−１１は、固有の点滅パターンで発光しているた
め、複数の画像上の対応を正確に求めることができ、正
確な発光装置２−１乃至２−１１それぞれの３次元空間
上の位置が算出される。

【００４９】身体モデル再構成装置７は、３次元位置算
出装置６から供給された、発光装置２−１乃至２−１１
それぞれの３次元空間上の位置および発光装置２−１乃
至２−１１それぞれの点滅パターンを基に、発光装置２
−１乃至２−１１を装着した人間の姿勢を正確に算出
し、例えば、図１２の表示画面の例に示すような、発光
装置２−１乃至２−１１を装着した演技者１の姿勢に正
確に対応した身体モデルを構成する。

【００５０】３次元位置算出装置６および身体モデル再
構成装置７の機能に対応するアプリケーションプログラ
ムとして、例えば、モーションエディタソフトウェア４
Ｄ−Ｃａｐｔｏｒ ＳＥ−１００（株式会社システムサ
コム社製）などが利用できる。

【００５１】次に、モーションキャプチャシステムのモ
ーションキャプチャの処理を、図１３のフローチャート
を参照して説明する。ステップＳ１１において、撮像装
置３−１乃至３−４は、発光装置２−１乃至２−１１を
所定の部位に装着した演技者１を撮像する。ステップＳ
１２において、ＩＤ／位置検出装置４−１乃至４−４そ
れぞれの画像処理部３２は、撮像装置３−１乃至３−４
のいずれかから供給された画像を基に、発光装置２−１
乃至２−１１の画像上の位置を検出する。

【００５２】ステップＳ１３において、ＩＤ／位置検出
装置４−１乃至４−４それぞれの画像処理部３２は、撮
像装置３−１乃至３−４のいずれかから供給された画像
を基に、発光装置２−１乃至２−１１の点滅パターンを
検出する。ステップＳ１４において、３次元位置算出装
置６のＣＰＵ５１は、発光装置２−１乃至２−１１の点
滅パターンのコードを基に、異なる視点から撮像した複
数の画像上の、光装置２−１乃至２−１１それぞれの画
像上の位置を対応させて、発光装置２−１乃至２−１１
のそれぞれの３次元空間上の位置を算出する。

【００５３】ステップＳ１５において、身体モデル再構
成装置７は、３次元位置算出装置６から供給された、発
光装置２−１乃至２−１１のそれぞれの３次元空間上の
位置および発光装置２−１乃至２−１１の点滅パターン
のコードを基に、身体モデルを構成する。ステップＳ１
６において、身体モデル再構成装置７は、図示せぬ予め
設定したタイマなどの出力を基に、発光装置２−１乃至
２−１１を装着した演技者１の所定の動作に対するデー
タが得られたか否かを判定し、発光装置２−１乃至２−
１１を装着した人間の所定の動作に対するデータが得ら
れたと判定された場合、処理は終了する。

【００５４】ステップＳ１６において、発光装置２−１
乃至２−１１を装着した人間の所定の動作に対するデー
タが得られていないと判定された場合、ステップＳ１１
に戻り、モーションキャプチャの処理を繰り返す。

【００５５】以上のように、本発明に係るモーションキ
ャプチャシステムは、発光装置２−１乃至２−１１を装
着した部位の３次元空間上の位置を簡単に、且つ、正確
に求めることができる。

【００５６】なお、ＩＤ／位置検出装置４−１乃至４−
４、３次元位置算出装置６、および身体モデル再構成装
置７は、それぞれに対応する機能を１つにまとめた装置
としてもよい。

【００５７】また、本明細書において、システムとは、
複数の装置により構成される装置全体を表すものとす
る。

【００５８】なお、上記したような処理を行うコンピュ
ータプログラムをユーザに提供する提供媒体としては、
磁気ディスク、CD-ROM、固体メモリなどの記録媒体の
他、ネットワーク、衛星などの通信媒体を利用すること
ができる。

【００５９】

【発明の効果】請求項１に記載の画像処理装置、請求項
２に記載の画像処理方法、および請求項３に記載の提供
媒体によれば、撮像装置により流し撮像された画像を基
に、画像上の発光装置の位置および点滅パターンが検出
され、撮像装置が設置されている位置、検出手段により
検出された画像上の発光装置の位置、および点滅パター
ンを基に、発光装置が装着されている演技者の部位の３
次元空間上の位置が算出されるようにしたので、身体の
所定の部位の３次元空間上の位置を、正確、かつ、迅速
に求めることができるようになる。

【図面の簡単な説明】

【図１】本発明に係るモーションキャプチャシステムの
一実施の形態を示す図である。

【図２】発光装置２の構成を示すブロック図である。

【図３】撮像装置３の構成を示すブロック図である。

【図４】ＩＤ／位置検出装置４の構成を示すブロック図
である。

【図５】３次元位置算出装置６の構成を説明するブロッ
ク図である。

【図６】流し撮像を説明する図である。

【図７】流し撮像を説明する図である。

【図８】流し撮像を説明する図である。

【図９】輝点の位置を検出する場合のＩＤ／位置検出装
置４の画像処理部３２の処理を説明する図である。

【図１０】輝点の位置を説明する図である。

【図１１】輝点の点滅パターンを検知する場合のＩＤ／
位置検出装置４の画像処理部３２の処理を説明する図で
ある。

【図１２】身体モデル再構成装置７が表示する画面の例
を説明する図である。

【図１３】モーションキャプチャの処理を説明するフロ
ーチャートである。

【符号の説明】

１ 演技者， ２−１乃至２−１１ 発光装置， ３−
１乃至３−４ 撮像装置， ４−１乃至４−４ ＩＤ
／位置検出装置， ５ ネットワーク， ６３次元位置
検出装置， ７ 身体モデル再構成装置， １５ 発光
ダイオード，２１ 流し撮り駆動回路， ２２ ＣＣＤ
ビデオカメラ， ３１ 画像キャプチャ部， ３２ 画
像処理部， ５１ ＣＰＵ， ６１ ネットワークボー
ド

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA03 AA04 CC16 DD06 FF01 FF05 GG07 HH01 HH14 JJ03 JJ05 JJ26 LL22 NN02 NN08 QQ18 QQ24 QQ31 5B057 BA02 BA15 BA17 BA19 BA21 BA26 CA08 CC03 CE08 CF03 DA07 DB03 DC03 DC30

Claims (3)

【特許請求の範囲】
1. 【請求項１】 固有の点滅パターンで発光する発光装置
   が所定の部位に装着された演技者を、互いに異なる所定
   の位置に設置される２個以上の撮像装置で流し撮像した
   画像を処理する画像処理装置において、 前記撮像装置により流し撮像された画像を基に、画像上
   の前記発光装置の位置および前記点滅パターンを検出す
   る検出手段と、 前記撮像装置が設置されている位置、前記検出手段によ
   り検出された画像上の前記発光装置の位置、および前記
   点滅パターンを基に、前記発光装置が装着されている前
   記演技者の部位の３次元空間上の位置を算出する算出手
   段とを含むことを特徴とする画像処理装置。
2. 【請求項２】 固有の点滅パターンで発光する発光装置
   が所定の部位に装着された演技者を、互いに異なる所定
   の位置に設置される２個以上の撮像装置で流し撮像した
   画像を処理する画像処理装置の画像処理方法において、 前記撮像装置により流し撮像された画像を基に、画像上
   の前記発光装置の位置および前記点滅パターンを検出す
   る検出ステップと、 前記撮像装置が設置されている位置、前記検出ステップ
   で検出された画像上の前記発光装置の位置、および前記
   点滅パターンを基に、前記発光装置が装着されている前
   記演技者の部位の３次元空間上の位置を算出する算出ス
   テップとを含むことを特徴とする画像処理方法。
3. 【請求項３】 固有の点滅パターンで発光する発光装置
   が所定の部位に装着された演技者を、互いに異なる所定
   の位置に設置される２個以上の撮像装置で流し撮像した
   画像を処理する画像処理装置に、 前記撮像装置により流し撮像された画像を基に、画像上
   の前記発光装置の位置および前記点滅パターンを検出す
   る検出ステップと、 前記撮像装置が設置されている位置、前記検出ステップ
   で検出された画像上の前記発光装置の位置、および前記
   点滅パターンを基に、前記発光装置が装着されている前
   記演技者の部位の３次元空間上の位置を算出する算出ス
   テップとを含む処理を実行させるコンピュータが読み取
   り可能なプログラムを提供することを特徴とする提供媒
   体。