JP2003168115A - モーションキャプチャ方法及び装置 - Google Patents

Abstract

(57)【要約】 【課題】 光学式モーションキャプチャにおいて、複数
の対象物（個体）の個別の動きを同時に記録する。ま
た、複数の対象物（個体）の個別の動きを効率的に記録
する。 【解決手段】 人物、動物など動く実世界の対象物に、
特定の波長の赤外光のみを発する光源に赤外線ナローバ
ンドパスフィルタを装着あるいは直接コーティングし、
限られた波長のみの赤外光のみを発する小型光源を複数
個装着し、もしくは前記複数の対象物のそれぞれには異
なる波長の光源を装着し、一方、赤外線撮影可能な装置
にも、赤外線パスフィルタを装着し、特定の波長のみ映
し出す映像を撮影可能とし、それらの光軸を合わせ、映
像を合成し、それぞれの対象物の動作を記録することを
特徴とするモーションキャプチャ方法。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、人物、動物など動
く対象物の動作を撮影し、個々の動作を記録、あるいは
デジタル映像として再現するために使われる、モーショ
ンキャプチャに関し、特に、光学式モーションキャプチ
ャに適用して有効な技術に関するものである。

【０００２】

【従来の技術】近年のデジタル映像を使った映画やゲー
ムなどでは、人間や動物などの動作を自然にしたり、効
率的に表現するために、実際の人間や動物の動きを記録
してそれに合わせて、コンピュータグラフィックなどで
作成したデジタル映像内の人物や動物の動きを表現する
ことがよく使われる。このような、実際の人間や動物の
動作を記録するシステムをモーションキャプチャ方法と
言われている。

【０００３】前記モーションキャプチャには、主に光学
式、磁気式、機械式があり、それぞれに長所と欠点があ
る。磁気式は、腕や足に大きな機械装置を取り付け、そ
の動きに合わせて、腕などの磁気センサによりその動作
を検出するものであるが、機器が重く機敏で軽やかな動
作はしにくい。機械式においても、同様に、腕の曲がり
などを機械的に取得するものであり、やはり機器を体に
装着しなくてはならない。

【０００４】一方、光学式は、主に赤外線を利用し、人
間や動物にいくつかの小型赤外反射物を取り付け、回り
から赤外線を照射し、その反射光を数個から数百のカメ
ラで捉えるか、赤外ＬＥＤ（Ｌight Ｅmitting Ｄiod
e）などを人間や動物に取り付け、その光をやはり数個
から数百のカメラでとらえて、動作を検出する。なお、
複数のカメラを利用するのは、いかなる場合でも、光が
記録できるようにあらゆる角度から撮影するためであ
る。

【０００５】

【発明が解決しようとする課題】光学式モーションキャ
プチャ法では、一度に複数の対象物（個体）の動作をキ
ャプチャしようとしたときに、すべての光は同じである
ため、操作を正確に把握するにはかなりの処理と時間が
かかるという問題がある。例えば、ある二つの光が近づ
いて交差したのか、あるいは近づいてそれから離れたの
かは、その後のそれらの光と周りの光の動きを十分観測
し、理論的にありえない動きを検出するまで絞ることが
できない。このために、特に、対象物（個体）数が増え
たときに、処理時間、特に実時間の処理は難しくなる。
近年の映画やゲームでは、複数の対象物（個体）数（複
数人）の描写は当然であり、このような処理の複雑さ
は、処理時間の増大とともに、モーションキャプチャシ
ステムのソフトウェアを複雑にするという問題があっ
た。

【０００６】本発明の目的は、光学式モーションキャプ
チャにおいて、複数の対象物（個体）の個別の動きを同
時に記録することが可能な技術を提供することにある。
本発明の他の目的は、光学式モーションキャプチャにお
いて、複数の対象物（個体）の個別の動きを効率的に記
録することが可能な技術を提供することにある。本発明
の前記ならびにその他の目的と新規な特徴は、本明細書
の記述及び添付図面によって明らかにする。

【０００７】

【課題を解決するための手段】本願において開示される
発明の概要を簡単に説明すれば、下記のとおりである。
第１の発明は、人物、動物など動く実世界の対象物に、
特定の波長の赤外光のみを発する光源に赤外線ナローバ
ンドパスフィルタを装着あるいは直接コーティングし、
限られた波長のみの赤外光のみを発する小型光源を複数
個装着し、もしくは前記複数の対象物のそれぞれには異
なる波長の光源を装着し、一方、赤外線撮影可能な装置
にも、赤外線パスフィルタを装着し、特定の波長のみ映
し出す映像を撮影可能とし、それらの光軸を合わせ、映
像を合成し、それぞれの対象物の動作を記録するモーシ
ョンキャプチャ方法である。

【０００８】第２の発明は、人物、動物など動く実世界
の対象物に取り付けられる特定の波長の赤外光のみを発
する光源に赤外線ナローバンドパスフィルタを装着ある
いは直接コーティングし、限られた波長のみの赤外光の
みを発する小型光源、もしくはそれぞれ異なる波長の光
線を発する複数の小型光源と、前記複数の小型光源のそ
れぞれの波長の光線に対応する撮影手段と、該撮影手段
で撮影された映像のそれらの光軸を合わせて映像を合成
する手段と、この合成された映像を記録する記録手段と
を具備したモーションキャプチャ装置である。

【０００９】第３の発明は、前記第２の発明のモーショ
ンキャプチャ装置において、前記異なる波長の光線を発
する複数の小型光源は、特定波長の赤外光線を発生する
光源であることを特徴とする。

【００１０】第４の発明は、前記第２の発明のモーショ
ンキャプチャ装置において、前記異なる波長の光線を発
する複数の小型光源は、豆電球に赤外線ナローバンドパ
スフィルタを装着あるいは直接コーティングされた光源
であることを特徴とする。

【００１１】第５の発明は、前記第４の発明のモーショ
ンキャプチャ装置において、前記豆電球は、ハロゲン豆
球、クリプトン豆球、ＬＥＤ、発光ダイオードのいずれ
か１つであることを特徴とする。

【００１２】本発明のポイントは、人間や動物など撮影
される対象の外側もしくは洋服などある程度赤外光線を
通すものであればその内側に、特定波長の赤外光線を発
する小型の装置を数個取り付ける。

【００１３】一方、撮影方法及び装置として、例えば電
荷結合素子（以下、ＣＣＤと呼ぶ）の前にフィルタを取
り付け、特定波長のみの像を撮影する。このような、Ｃ
ＣＤを複数個（３個以上）用意し、光軸を合わせてお
く。

【００１４】前記ＣＣＤの映像は、個別に取り出し、記
録する。これにより、各ＣＣＤの映像は、特定波長の赤
外発光装置のみを映し出す。したがって、各対象物（個
体）ごとに異なる波長の発光装置を取り付ければ、各対
象物（個体）ごとの動きを独立に撮影することができ、
複数の対象物（個体）の動きを容易に追跡することがで
きる。以下に、本発明について、本発明による実施形態
（実施例）とともに図面を参照して詳細に説明する。

【００１５】

【発明の実施の形態】本発明の一実施形態のモーション
キャプチャ方法について以下に説明する。小型の発光装
置として特定の波長のみ発する小出力赤外レーザ、もし
くは、豆電球（ハロゲン豆球、クリプトン豆球、ＬＥＤ
なども含む）に、狭帯域の赤外線パスフィルタ（赤外ナ
ローバンドパスフィルタ）を装着あるいは直接コーティ
ングし、限られた波長のみの赤外光のみを発する光源を
採用する。ただし、レーザの場合は、特定波長しか出力
されないのでフィルタは必要ない。適当に光を散乱させ
るために、レーザやフィルタにすりガラス、テフロン
（登録商標）板、薄い紙、あるいは薄手の布などをかぶ
せる。

【００１６】赤外線を感知できるＣＣＤカメラ（例えば
赤外フィルタの入っていない通常の白黒ＣＣＤカメラ）
にも、赤外線パスフィルタを装着するか、光源に採用し
たフィルタよりは通過波長帯域が広いものを装着し、特
定の波長のみ強調して映し出た映像を撮影できるように
する。この際に、図１に示すように、撮影可能な波長を
少しずつずらしながらも、一つのカメラで、１〜３種類
の光源を撮影できるように設定する。したがって、前記
で作成された装置から発せられる光源は、１つか２つの
ＣＣＤカメラでのみ撮影可能となる。

【００１７】赤外ナローバンドパスフィルタを利用する
代わりに、特定赤外波長のみを反射させるミラーを利用
し、その反射光をＣＣＤでとらえてもよい。このような
ＣＣＤもしくはＣＣＤカメラを３個〜数個用意し光軸を
合わせて置く（例えば３個のＣＣＤカメラのように、カ
メラのレンズを通過したあとに、特定波長のみを反射さ
せ、ＣＣＤでとらえることで実現できる）。

【００１８】ここで、赤外線光源と赤外線感知ＣＣＤと
の関係について説明する。ＣＣＤカメラには、赤外線パ
スフィルタを装着し、特定波長の範囲のみ、例えば、４
０〜６０ｎｍの赤外線のみ感知できるようにする。一
方、光源としてはレーザ光線もしくはＬＥＤや豆電球に
赤外線ナローバンドパスフィルタを装着したものを使用
する。前記図１（ａ）の赤外線レーザの場合には、特定
波長（範囲１ｎｍ以下）でないので、フィルタは必要で
ない。前記図１（ｂ）のハロゲン豆球やＬＥＤなどを使
用する場合には、ある程度幅があるので、ＣＣＤに装着
するフィルタの透過波長もすこし間隔をあける。なお、
前記波長はあくまでも使用例であり、他の波長でもかま
わない。

【００１９】画像処理など処理を容易かつ精度を上げる
ために、図２に示すように、各ＣＣＤカメラは、一種類
の光源装置が発する波長のみを撮影できるようにしても
よい。前記の処理後、同一種類の光源と思われる位置を
求め、各対象物（個体）ごとの動きを個別に追跡すれ
ば、複数の対象物（個体）の動きを容易に記録すること
ができる。なお、各取り出した個別波長ごとの映像の光
源の追跡方法、及び追跡アルゴリズムについては、ここ
では言及しない（他の一般的な方法を利用する）。

【００２０】図３は前記小型の発光装置の一実施例を示
す図であり、（ａ）はＬＥＤを利用した光源例を示す斜
視図、（ｂ）はＬＥＤを利用した光源を６個組み合せた
モーションキャプチャ用タグを示す斜視図である。

【００２１】ＬＥＤを利用した光源は、図３（ａ）に示
すように、赤外波長域のＬＥＤ１１に赤外線ナローバン
ドパスフィルタ１２を装着した小型発光装置１３からな
る。例えば、中心波長８５０ｎｍで、透過の波長域が中
心からそれぞれ５ｎｍ程度のナローバンドパスフィルタ
１１を装着する。この場合、８４５ｎｍ〜８５５ｎｍ以
下の光はほとんど透過されない。必要であれば、これに
すりガラス、テフロン（登録商標）、薄手の紙、和紙な
どをかぶせて光を散乱させる。

【００２２】図３（ｂ）に示すように、ＬＥＤ１１に小
型のフィルタ１２を装着した小型発光装置１３を、横や
後ろから光が漏れないように封印する。これを６個合せ
て、ある程度広く光が出るようにする。これにボタン電
池などで発光させる。これを各波長ごとに十数個から数
十個用意し、図４に示すように、モーションキャプチャ
をとる各対象物（個体）１４に図４の矢印に示す部分に
マジックテープ（登録商標）やピンなどで、例えば洋服
等に取り付ける。前記の対象物（個体）１４を専用のＣ
ＣＤカメラ１５を数個から十数から数十個用意し、図４
に示すように、各角度から撮影したものを波長ごとの画
像ごとに合成する。

【００２３】図５は前記専用のＣＣＤカメラ１５の概略
構成を示す模式図である。前記専用のＣＣＤカメラ１５
は、図５に示すように、レンズ２１、小型分光器２２、
及びＣＣＤ２３Ａ〜ＣＣＤ２３Ｄからなる。前記ＣＣＤ
２３Ａは例えば８００ｎｍを中心とした赤外波長域の光
に感応するＣＣＤカメラ、前記ＣＣＤ２３Ｂは例えば可
視波長域の光に感応するＣＣＤカメラ、前記ＣＣＤ２３
Ｃは例えば８５０ｎｍを中心とした赤外波長域の光に感
応するＣＣＤカメラ、前記ＣＣＤ２３Ｄは例えば９００
ｎｍを中心とした赤外波長域の光に感応するＣＣＤカメ
ラである。レンズ２１を透過した光を波長ごとに反射す
る小型分光器２２に通し、各ＣＣＤ２３Ａ〜ＣＣＤ２３
Ｄのカメラに通す。この際に、各ＣＣＤ２３Ａ〜ＣＣＤ
２３Ｄのカメラへの距離は同じになるように設定する。
これらの各カメラの映像を個別に取得する。

【００２４】図６は前記専用のＣＣＤカメラ１５で撮影
された映像を各赤外波長ごとに分離して追跡する処理の
流れを示す図である。前記本実施形態のモーションキャ
プチャ装置は、図６に示すように、各光源が陰にならな
いように、数個の専用のＣＣＤカメラ１５で撮影し、そ
れぞれの映像を合成し、一つの映像としてまとめる。こ
の際に、例えば、図１及び図２の方法のカメラでは、各
カメラごとに３個以上赤外波長ごとの映像が取得でき
る。

【００２５】さらに、図１の方法の場合には、光源をさ
らに８００ｎｍ、８２５ｎｍ、８５０ｎｍ、８７５ｎ
ｍ、９００ｎｍに分離して、５個の映像を作成する。こ
れら各映像ごとに動きを追跡し、それぞれの動きをモー
ションキャプチャとして記録する。必要があるなら、こ
れらの光源の動きを合成し、一枚の映像にする。

【００２６】前記の処理において、各個体は異なる波長
の光源をつけているので、仮に複数の個体が一度に動い
ていても、それぞれが異なる波長の光源をつけていれば
他の動きに惑わされることがない。したがって、既存の
映像追跡方法で複数の個体のモーションキャプチャを同
時に行うことができ、ゲームやアニメーションなどにお
いて、複数の登場人物の動きを推測することができる。

【００２７】以上、本発明者によってなされた発明を、
前記実施形態に基づき具体的に説明したが、本発明は、
前記実施形態に限定されるものではなく、その要旨を逸
脱しない範囲において種々変更可能であることは勿論で
ある。

【００２８】

【発明の効果】本願において開示される発明によって得
られる効果を簡単に説明すれば、下記のとおりである。
本発明によれば、光学式モーションキャプチャにおい
て、複数個体の個別の動きを同時に記録することができ
る。これにより、効率的に記録することができる。ただ
し、他の光学式モーションキャプチャと同様に、強力な
赤外光の存在する屋外（日中）や、通常光が赤外光源の
背後にきてしまう場合には、検出が不可能となるので、
このような条件を考慮した環境が必要である。

【図面の簡単な説明】

【図１】本発明の一実施形態のモーションキャプチャ方
法における赤外線光源と赤外感知ＣＣＤとの関係を示す
図である。

【図２】本発明の一実施形態のモーションキャプチャ方
法における別の赤外線光源と赤外感知ＣＣＤとの関係を
示す図である。

【図３】本実施形態の小型の発光装置の実施例を示す図
である。

【図４】本実施形態の個体を各角度から撮影する状態を
示す図である。

【図５】本実施形態のＣＣＤカメラの概略構成を示す模
式図である。

【図６】本実施形態のＣＣＤカメラで撮影された映像を
各赤外波長ごとに分離して追跡する処理の流れを示す図
である。

【符号の説明】

１１…赤外波長域のＬＥＤ １２…赤外線ナロー
バンドパスフィルタ １３…小型のカメラ １４…個体 １５…ＣＣＤカメラ ２１…レンズ ２２…小型分光器 ＣＣＤ２３Ａ〜ＣＣＤ２３Ｄ…ＣＣＤカメラ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 高田 敏弘 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 佐藤 孝治 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 (72)発明者 青柳 滋己 東京都千代田区大手町二丁目３番１号 日 本電信電話株式会社内 Ｆターム(参考） 2C001 BA01 BC06 CA00 CA08 CA09 DA06 2F065 AA01 BB05 BB15 CC16 FF04 GG02 GG07 GG22 LL22 QQ31 5B047 AA07 AA27 AB02 BB04 BC07 CB23 DC09 5L096 CA05 CA14 CA18 GA55

Claims (5)

【特許請求の範囲】
1. 【請求項１】 人物、動物など動く実世界の対象物に、
   特定の波長の赤外光のみを発する光源に赤外線ナローバ
   ンドパスフィルタを装着あるいは直接コーティングし、
   限られた波長のみの赤外光のみを発する小型光源を複数
   個装着し、もしくはそれぞれ異なる波長の光線を発する
   複数の小型光源を装着し、一方、赤外線撮影可能な装置
   にも、赤外線パスフィルタを装着し、特定の波長のみ映
   し出す映像を撮影可能とし、それらの光軸を合わせ、映
   像を合成し、それぞれの対象物の動作を記録することを
   特徴とするモーションキャプチャ方法。
2. 【請求項２】 人物、動物など動く実世界の対象物に取
   り付けられる特定の波長の赤外光のみを発する光源に赤
   外線ナローバンドパスフィルタを装着あるいは直接コー
   ティングし、限られた波長のみの赤外光のみを発する小
   型光源、もしくはそれぞれ異なる波長の光線を発する複
   数の小型光源と、前記複数の小型光源のそれぞれの波長
   の光線に対応する撮影手段と、該撮影手段で撮影された
   映像のそれらの光軸を合わせて映像を合成する手段と、
   この合成された映像を記録する記録手段とを具備したこ
   とを特徴とするモーションキャプチャ装置。
3. 【請求項３】 請求項２に記載のモーションキャプチャ
   装置において、前記異なる波長の光線を発する複数の小
   型光源は、特定波長の赤外光線を発生する光源であるこ
   とを特徴とするモーションキャプチャ装置。
4. 【請求項４】 請求項２に記載のモーションキャプチャ
   装置において、前記異なる波長の光線を発する複数の小
   型光源は、豆電球に赤外線ナローバンドパスフィルタを
   装着あるいは直接コーティングされた光源であることを
   特徴とするモーションキャプチャ装置。
5. 【請求項５】 請求項４に記載のモーションキャプチャ
   装置において、前記豆電球は、ハロゲン豆球、クリプト
   ン豆球、ＬＥＤ、発光ダイオードのいずれか１つである
   ことを特徴とするモーションキャプチャ装置。