JP2005345161A

JP2005345161A - モーションキャプチャーシステム及びモーションキャプチャー方法

Info

Publication number: JP2005345161A
Application number: JP2004162637A
Authority: JP
Inventors: Kenji Amaya; 賢治天谷; Naohito Nakamura; 直仁中村
Original assignee: Rikogaku Shinkokai
Current assignee: Rikogaku Shinkokai
Priority date: 2004-05-31
Filing date: 2004-05-31
Publication date: 2005-12-15

Abstract

【課題】屋外などの広いフィールドでのモーションキャプチャーを可能にする。
【解決手段】本発明のモーションキャプチャーシステム１は、運動者４の各特徴点に設置する複数のマーカーＢｊと、複数の魚眼レンズカメラＡｉ（ｉ＝１，２）及び各魚眼レンズカメラＡｉの撮影画像を時系列的に送信する各送信器２を運動者４に装着するカメラ装着器具３と、複数の魚眼レンズカメラからＡｉの撮影画像を時系列的に受信して、各時間における撮影画像内のマーカーＢｊの位置を３次元座標に変換する画像処理装置５とを備える。
【選択図】図１

Description

本発明はモーションキャプチャーシステム及びモーションキャプチャー方法に関する。詳しくは、運動者の特徴点に装着したマーカーをカメラで撮影し、撮影画像に基いてマーカーの３次元座標を求めるモーションキャプチャーシステム及びモーションキャプチャー方法に関する。

現在モーションキャプチャーの技術は、コンピューターグラフィックを用いたゲームや映画などにおいて，より人に近い動きを生成するために使用されている。他にも、スポーツ分野、医学分野などへも適用され、モーションキャプチャーは重要な技術として注目されている。

モーションキャプチャーにはいろいろなシステムがあり、その種類は大きく分けると、カメラを用いる光学式、磁場発生装置と磁場測定センサーを用いる磁気式、機械的な回転センサーを用いる機械式の３つに分けられる。この中で広く用いられている一般的な方式が光学式である。光学式キャプチャーシステムでは関節部分にマーキングした人が角度の異なる複数のカメラの前で動作を行い、マーカーの動きを三角測量の原理で計測し、３次元のデータを生成する。

図１０に従来のモーションキャプチャーシステムの構成例を示す。図１０において、１１は従来のモーションキャプチャーシステム、１２は運動者、１３は運動者１２の特徴点に装着されたマーカー１４を時系列的に撮影するビデオカメラ、１５はビデオカメラ１３の撮影画像を時系列的に受信し、その受信データに基いてマーカー１４の３次元座標を求める画像処理装置、１６は画像処理装置１５で得られた運動者１２の特徴点の軌跡を表示するディスプレイ装置である。

この方法は得られるデータの品質が非常に高いことが広く用いられている理由の１つであるが、運動者の動作領域がカメラの設置されたスタジオ内に限定されてしまうという問題や、広範囲の動作領域をカバーしようとすれば、設置カメラ数を増加するなど設備が大掛かりになってしまうという問題があった。光学式のこれらの問題に対処するために、カメラの設置場所に限定されないモーションキャプチャー、すなわち、家の様々な場所で行われる家事のモーションキャプチャーを目的として、アクターの目のすぐ近くに２台のカメラを装着して，マーカーを設置した手首及び手先の運動を撮影し、撮影画像から手首及び手先の運動の再構成を行った研究がある（例えば非特許文献１参照）。

「ＭｏｔｉｏｎＣａｐｔｕｒｅｆｒｏｍＤｅｍｏｎｓｔｒａｔｏｒ’ｓＶｉｅｗｐｏｉｎｔａｎｄＩｔｓＡｐｐｌｉｃａｔｉｏｎｔｏＲｏｂｏｔＴｅａｃｈｉｎｇ」ＹａｓｕｙｏｓｈｉＹＯＫＯＫＯＨＪＩ，ＹｕｋｉＫＩＴＡＯＫＡ，ａｎｄＴｓｕｎｅｏＹＯＳＨＩＫＡＷＡ，Ｐｒｏｃｅｅｄｉｎｇｏｆｔｈｅ２００２ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＣｏｎｆｅｒｅｎｃｅｏｎＲｏｂｏｔｉｃｓａｎｄＡｕｔｏｍａｔｉｏｎ，ｐｐ．１５５１−１５５８．

しかしながら、上記研究も含め、従来のモーションキャプチャー技術では、カメラの視野角が小さいために，運動者が注意しないとマーカーがカメラの視界外に出てしまうという問題、すなわち、カメラの視野内に全てのマーカーを捕捉できないという問題があった。このため、上記研究においても、目の前の手首及び手先の運動だけでなく、もっと広い領域での手の動きや、全身のモーションを把握するには、カメラの方向を可変にして撮影画像を方向の関数として解析したり、或はカメラの設置位置を増加して撮影画像を設置位置の関数として解析しなければならず、屋外などの広いフィールドでのモーションキャプチャーを行うには、困難な問題が残されていた。

本発明は、運動者の動作領域がスタジオ内という制約をなくし、屋外などの広いフィールドでのモーションキャプチャーを可能にすることを目的とする。また、簡易な構成のモバイル式モーションキャプチャーシステムを提供することを目的とする。

上記課題を解決するために、請求項１に記載のモーションキャプチャーシステムは、例えば図１に示すように、運動者４の各特徴点に設置する複数のマーカーＢｊ（ｊ＝１，２，…）と、複数の魚眼レンズカメラＡｉ（ｉ＝１，２，…）及び各魚眼レンズカメラＡｉの撮影画像を時系列的に送信する各送信器２を有し、運動者４に装着されるカメラ装着器具３と、複数の魚眼レンズカメラＡｉからの撮影画像を時系列的に受信して、各時間における撮影画像内のマーカーＢｊの位置を３次元座標に変換する画像処理装置５とを備える。

ここにおいて、運動者の特徴点とは、運動者の動作を把握する上での特徴点を意味し、例えば、関節部（首、肩、腰、肘、膝、手首、足首）、体の重心近傍（臍）、その他（頭頂）などが該当する。また、「運動者の各特徴点に設置する」とはこれらの特徴点を全て含むことを意味するものではなく、複数の特徴点に設置されれば良い。また、時系列的とは、時間の前後関係に沿って送受信が行われれば、継続的でも断続的でも良い。また、送信器又は受信器は、それぞれ送信機能、受信機能を有していれば、魚眼レンズカメラや画像処理装置と一体的に構成されても良く、別個のものとして構成されても良い。また、送信器は魚眼レンズカメラ毎に設けられても良く、複数の魚眼レンズカメラ用にまとめて設けられても良い。また３次元座標は、世界座標に限られず、所定の基準点、例えばカメラ装着器具の重心を原点にした３次元座標でも良い。

このように構成すると、カメラは運動者に伴って移動し、広い視野角を有する魚眼レンズで撮影するので、運動者の動作領域がスタジオ内という制約がなくなり、屋外などの広いフィールドでのモーションキャプチャーが可能になる。また、簡易な構成のモバイル式モーションキャプチャーシステムを提供できる。

また、請求項２に記載の発明は、請求項１に記載のモーションキャプチャーシステムにおいて、例えば図８に示すように、画像処理装置５は、マーカーＢｊの位置Ｍを３次元座標に変換する際に、撮影画像内のマーカーＢｊの位置から、複数の魚眼レンズカメラＡｉとマーカーＢｊとを結ぶベクトルｄｉの方向を求め、複数のベクトルｄｉの方向を用いて三角測量法によりマーカーＢｊの位置Ｍの３次元座標を算出する。このように構成すると、マーカーの３次元座標を高い精度で把握できる。

また、請求項３に記載の発明は、請求項１又は請求項２に記載のモーションキャプチャーシステムにおいて、例えば図２に示すように、カメラ装着器具３は、運動者４の頭部又は腰部に装着可能であり、３〜６台の魚眼レンズカメラＡｉが器具の中心軸に対してほぼ対称位置に配置される。このように構成すると、多くの特徴点にあるマーカー或は全てのマーカーを２以上の魚眼レンズで撮影可能となり、これら多くの特徴点の３次元位置が解析可能になる。

また、請求項４に記載の発明は、請求項１乃至請求項３のいずれか１項に記載のモーションキャプチャーシステムにおいて、送信及び受信には無線通信を用いる。このように構成すると、運動の妨げにならずに、魚眼カメラから撮影画像を画像処理装置に送信できる。

また、請求項５に記載のカメラ装着器具は、例えば図２に示すように、複数の魚眼レンズカメラＡｉ及び各魚眼レンズカメラＡｉの撮影画像を時系列的に送信する各送信器２を有し、運動者４に装着される。このように構成すると、カメラは運動者に伴って移動でき、広い視野角を有する魚眼レンズを用いて、運動者の各特徴点に設置したマーカーを撮影できるので、これを用いて、フィールドで使用でき、簡易な構成のモバイル式モーションキャプチャーシステムを実現できる。

また、請求項６に記載の発明は、請求項５に記載のカメラ装着器具において、運動者４の頭部又は腰部に装着可能であり、３〜６台の魚眼レンズカメラＡｉが器具の中心軸に対してほぼ対称位置に配置される。このように構成すると、多くの特徴点にあるマーカー或は全てのマーカーを２以上の魚眼レンズで撮影可能となり、これら多くの特徴点の３次元位置の動きが解析可能になる。

また、請求項７に記載の画像処理装置は、例えば図８に示すように、複数の魚眼レンズカメラＡｉからの撮影画像を時系列的に受信する機能と、各時間における撮影画像のマーカーＢｊの位置を３次元座標に変換する機能を有し、マーカーＢｊの位置Ｍを３次元座標に変換する際に、撮影画像内のマーカーＢｊの位置に基いて、複数の魚眼レンズカメラＡｉとマーカーＢｊとを結ぶベクトルｄｉの方向を求め、複数のベクトルｄｉの方向を用いて三角測量法によりマーカーＢｊの位置Ｍの３次元座標を算出する。このように構成すると、マーカー、すなわち運動者の特徴点の３次元座標及びその軌跡を高精度で把握できる画像処理装置を提供できる。

また、請求項８に記載のモーションキャプチャー方法は、例えば図３に示すように、運動者４の各特徴点に複数のマーカーＢｊを設置する工程（ステップＳ００１）と、複数の魚眼レンズカメラＡｉからマーカーＢｊの撮影画像を時系列的に送信する工程（ステップＳ００４）と、画像処理装置５で複数の魚眼レンズカメラＡｉからの撮影画像を時系列的に受信する工程（ステップＳ００５）と、各時間における撮影画像内のマーカーＢｊの位置を３次元座標に変換する工程（ステップＳ００６〜Ｓ００７）とを備える。

また、請求項９に記載の発明は、請求項８に記載のモーションキャプチャー方法において、例えば図３に示すように、マーカーＢｊの位置Ｍを３次元座標に変換する工程において、撮影画像内のマーカーＢｊの位置Ｍに基いて、複数の魚眼レンズカメラＡｉとマーカーＢｊとを結ぶベクトルｄｉの方向を求め（ステップＳ００６）、複数のベクトルｄｉの方向を用いて三角測量法によりマーカーＢｊの位置Ｍの３次元座標を算出する（ステップＳ００７）。このように構成すると、マーカーの３次元座標を高精度で把握できる。

本発明によれば、運動者の動作領域がスタジオ内という制約がなくなり、屋外などの広いフィールドでのモーションキャプチャーが可能になる。また、簡易な構成のモバイル式モーションキャプチャーシステムを提供できる。

以下に図面に基づき本発明の実施の形態について説明する。

図１に、本発明の実施の形態によるモーションキャプチャーシステムの構成例を示す。図１において、１はモーションキャプチャーシステム、Ａｉ（ｉ＝１，２，…，ｎ）は１８０度の広角撮影が可能な魚眼レンズを有する魚眼レンズカメラ、２は各魚眼レンズカメラＡｉの撮影画像を時系列的に送信する送信器、３は複数の魚眼レンズカメラＡｉ及び送信器２を有し、運動者４に装着されるカメラ装着器具、４は運動者、Ｂｊ（ｊ＝１，２，…，ｍ）は運動者４の身体の特徴点（運動者の身体の動き把握するための特徴点で、例えば、関節部、重心近傍の腹部（臍）、頭頂などが該当する）に装着されたマーカー、５は各送信器２から送信された撮影画像を受信器６で時系列的に受信し、その受信データに基いて前記撮影画像のマーカーの位置を時間の関数として３次元座標に変換する画像処理装置、６は受信器、７は画像処理装置５で得られたマーカー位置の３次元座標及びその軌跡を、運動者４のアニメーション画像と共に画像表示するディスプレイ装置である。

図２に、カメラ装着器具３の構成例を模式的に示す。図２（ａ）にヘルメット３ａに３個の魚眼レンズカメラＡｉを取りつけて頭に被るようにした例、図２（ｂ）にリング３ｂに３個の魚眼レンズカメラＡｉを取りつけて頭に被るようにした例、図２（ｃ）にベルト３ｃに３個の魚眼レンズカメラＡｉを取りつけて腰に留具８で締めるようにした例を示す。９はゴム紐である。いずれの図でも送信器２は１つにまとめて示す。多数のマーカーＢｊをカメラの視野に収めるため、図２（ａ）、（ｂ）では、魚眼レンズカメラＡｉを下向きに設定しているのに対して、図２（ｃ）では、魚眼レンズカメラＡｉを横向きに設定してある。撮影にあたり、マーカーＢｊの３次元座標を求めるために、３次元座標の原点に対して全ての魚眼レンズカメラＡｉの位置及びその向きが固定的関係にあることが必要である。３次元座標の原点は例えば、カメラ装着器具３の重心やヘルメット３ａの頂頭部にする。尤も、撮影前にキャリブレーションを行い、３次元座標の原点に対して全ての魚眼レンズカメラＡｉの位置及びその向きを固定した後に、一連のモーションの撮影を行えば良い。

以下では、カメラ装着器具３にヘルメット３ａを用いる例について説明する。魚眼レンズカメラＡｉ及び送信器２はヘルメット３ａに装着される。装着は運動者４の運動の妨げにならないように取り付けることが望ましい。このため、魚眼レンズカメラＡｉ及び送信器２は小型軽量で少数とすることが望ましく、またヘルメット３ａも小型軽量であることが望ましい。他方、運動者４の動きを３次元座標上に把握するには、全てのマーカーＢｊについて２以上の魚眼レンズカメラＡｉで観察できるように取り付ける必要があり、また、個数が多いほど精度が向上する。このため、このため、ヘルメット３ａの周囲にほぼ対称に３〜６個の魚眼レンズカメラＡｉを配置するのが好適である。

本実施の形態では、例えばアルミ製（プラスチック製でも良い）のヘルメットに、例えばサイズ約１５ｍｍφ、重量約５０ｇの魚眼レンズカメラＡｉを下方に向けて（鉛直方向となす角度約２０度）３台取付けてカメラ装着器具３とする。また、魚眼レンズカメラＡｉをヘルメット３ａの中心軸から離すほうが撮像の範囲を拡大できる反面、運動の妨げになり易いので、ヘルメット３ａに外接する位置に取り付ける。マーカーＢｊは、運動の妨げにならないように小型軽量で、光を感知し易いものが好ましく、例えば、可視光を良く反射する白球（例えば１〜１０ｃｍ径、）を布製バンド等で特徴点に装着して使用する。また、発光ダイオードを付した球を布製バンドで特徴点に装着したり、蛍光性のラベルを特徴点に貼付しても良い。

図３に、モーションキャプチャーシステムの動作フロー例を示す。運動者４は身体の特徴点にマーカーＢｊを装着し（ステップＳ００１）、魚眼レンズカメラＡｉと送信器２を装着したヘルメット３ａからなるカメラ装着器具３を被って運動する（ステップＳ００２）。各魚眼レンズカメラＡｉはできるだけ多くのマーカーＢｊが撮影されるように下向きに取り付けられる。各魚眼レンズカメラＡｉで撮影を行い（ステップＳ００３）、多くのマーカーＢｊを含む撮影画像を、送信器２を介して時系列的に画像処理装置５に送信する（ステップＳ００４）。画像処理装置５は受信器６で各魚眼レンズカメラＡｉからの撮影画像を受信し（ステップＳ００５）、撮影画像の各マーカーの位置を時間の関数として３次元座標に変換する（ステップＳ００６〜Ｓ００７）。なお、送受信に無線通信を用いると、殆ど運動の妨げにならず好ましい。また、３次元座標への変換に際しては、撮影画像内のマーカーＢｊの位置から、複数の魚眼レンズカメラＡｉとマーカーＢｊとを結ぶベクトルｄｉの方向を求め（ステップＳ００６）、求めた複数のベクトルｄｉの方向を用いて三角測量法によりマーカーＢｊの３次元座標Ｍを算出する（ステップＳ００７）。さらに、画像処理装置５はマーカーＢｊの３次元座標Ｍを世界座標に変換し（ステップＳ００８）、さらに、複数のマーカーＢｊの３次元世界座標を合成し（ステップＳ００９）、運動者４のアニメーション画像と共にディスプレイ装置７に表示する（ステップＳ０１０）、さらにマーカーＢｊの軌跡を求め（ステップＳ０１１）、運動者４の動作の分析に供する（ステップＳ０１２）。

図４は、魚眼レンズカメラＡｉの撮影画像からマーカーＢｊの三次元座標を得る方法を説明するための図である。まず、各魚眼レンズカメラＡｉから得られたある時間における撮影画像を抽出し、マーカーＢｊに対する各魚眼レンズカメラＡｉから見た２つの極座標成分（角度情報）θｉ，φｉ（ｉ＝１，２，…，ｎ）を導出する。次に、これらの角度情報を用いて各魚眼レンズカメラＡｉの位置ＣｉとマーカーＢｊの位置Ｍとを結ぶ直線の単位ベクトルｄｉ（ｉ＝１，２，…，ｎ）を求める。求められた複数の単位ベクトルｄｉを延長した直線上の交点にマーカーＢｊは存在するので，求めた複数の単位ベクトルｄｉを用いることで各魚眼レンズカメラＡｉに対するマーカーの３次元座標Ｍ（Ｘ，Ｙ，Ｚ）が得られる。ただし、各魚眼レンズカメラＡｉ間の幾何関係はキャリブレーションによって既知であるものとする。

魚眼レンズカメラＡｉには数種類の射影方式が存在するが、一般的には、等距離射影方式が採用されている。このとき、画像中心（魚眼レンズの光軸上にある）と画像に投影された物体（マーカー）Ｂｊとの距離をｈ、魚眼レンズから物体（マーカー）Ｂｊを見込んだ角をθ、魚眼レンズカメラＡｉの焦点距離をｆとすると、（式１）が成立する（図６参照）。

図５に魚眼レンズの光軸に対してチェッカーボードを鉛直に配置して撮影した画像を示す。チェッカーボードの桝目の一辺の長さは２０ｍｍで全て等しい。この桝目の撮像位置から画角θと光学中心からの距離ｈとの関係を求めることができる。

図６に画角θと距離ｈとの関係について上記チェッカーボードを用いて求めた測定結果を示す。測定データに対して最小二乗法で直線近似を行った。魚眼レンズの光軸に対してチェッカーボードは厳密には鉛直ではないが、相関関数はＲ^２＝０．９９９２と高い相関が得られており、魚眼レンズの特性である（式１）の成立性が確認された。

図７に魚眼レンズカメラＡｉとマーカーＢｊの位置関係を示す。図７（ａ）は斜方から、図７（ｂ）は上方（カメラの光軸方向）から、図７（ｃ）は側方から見た図である。図７（ｂ）は投影画像を見た図でもある。魚眼レンズカメラＡｉの画像における、マーカーＢｊの座標がＭ（ｍ_ｉｘ，ｍ_ｉｙ）、画像中心と画像に投影された物体との距離がｈｉのとき、マーカーＢｊをＸｉＹｉ平面に投影したときのＸｉ軸とのなす角θｉと魚眼レンズから物体を見込んだ角φｉは（図７（ｂ）、（ｃ）参照）、（式１）を用いて、（式２）、（式３）のように導かれる。次に、カメラＡｉの座標系から見た物体Ｂｊの座標をＭ（Ｘ’，Ｙ’，Ｚ’）とすると、（式２）より（式４）が得られる。また、（式５）が成立することから、（式４）から（式６）が得られる（図７（ａ）参照）。なお、Ｍ’は座標ＭのＸｉＹｉ平面への投影点である。

よって、ｄｉは単位ベクトルであり、また単位ベクトルｄｉの方向は、魚眼レンズカメラＡｉの位置ＣｉとマーカーＢｊの位置Ｍを結ぶベクトルに平行なので、（式４）、（式６）を用いて（式７）、（式８）のように求められる。

図８に魚眼レンズカメラＡｉ（ｉ＝１，２）を２個、ヘルメット３ａに装着した場合の、マーカーＢｊの座標Ｍと魚眼レンズカメラＡｉの座標Ｃｉとの関係を例示する。マーカーＢｊの基準座標は、例えばヘルメット３ａの頂点を原点Ｏとして、基準座標系Ｍ（Ｘ，Ｙ，Ｚ）で表され、カメラＡ１、Ａ２から見た座標はカメラ座標系（Ｘ１，Ｙ１，Ｚ１）、（Ｘ２，Ｙ２，Ｚ２）で表される。単位ベクトルはｄ１、ｄ２で表される。各魚眼レンズカメラＡ１、Ａ２のレンズ中心位置Ｃ１、Ｃ２からの単位ベクトルｄ１、ｄ２の延長線の交点にマーカーＢｉの位置Ｍがある。このように、最低２個の魚眼レンズカメラＡｉからの単位ベクトルｄｉが得られれば、マーカーＢｊの３次元座標Ｍ（Ｘ，Ｙ，Ｚ）を得ることができる。

これまでに得られた単位ベクトルｄｉは、各カメラ座標系ごとに得られたベクトルであるので、まず、各カメラ座標系と剛の関係にある基準座標系Ｃｗ−ＸｗＹｗＺｗ（原点をＯとする）を設定し、各カメラ座標系から基準座標系に変換を行う。各カメラ座標系における単位ベクトルｄｉと基準座標系における単位ベクトルｄｉｗ（ｄｉｗＸ，ｄｉｗＹ，ｄｉｗＺ）との関係は、カメラの座標系の回転を表す３×３のマトリックスＲｉを用いて、（式９）で与えられる。

また、各カメラ座標系の原点であるＣｉも、カメラＡｉの座標系の並進を表す３×１のベクトルｔｉを用いて、（式１０）のように基準座標系Ｃｉｗ（ＣｉｗＸ，ＣｉｗＹ，ＣｉｗＺ）への変換を行う。

なお、（式１０）は図８を参照して、（式１１）のように表すこともできる。

以上より，各魚眼レンズカメラＡｉのレンズ中心とマーカーＢｊを結ぶ直線の式は，ｄｉｗ、Ｃｉｗの各成分を用いて（式１２）のようになる。（式１２）をマトリックス表示すると、魚眼レンズカメラが２個の場合、（式１３）のように表される。

したがって、少なくとも２個の魚眼カメラＡｉの単位ベクトルｄｉが得られていれば、（式１３）を用いてマーカーＢｊの座標Ｍ（Ｘ，Ｙ，Ｚ）を得ることができる。

以上により、魚眼レンズカメラＡｉの撮影画像から、少なくとも２個の魚眼カメラＡｉの単位ベクトルｄｉを得ることにより、マーカーＢｊの座標Ｍ（Ｘ，Ｙ，Ｚ）を得られることを説明した。このマーカーＢｊの座標Ｍ（Ｘ，Ｙ，Ｚ）を求める演算は画像処理装置５により行われ、その時間関数の軌跡から運動者４の動き（モーション）を把握（キャプチャー）可能である。

図９にヘルメット３ａに魚眼レンズカメラＡｉを装着して運動者４を撮影した画像例を示す。運動者４の特徴点の多くが魚眼レンズカメラＡｉの視野内にあることがわかる。したがって、運動者４の殆ど全ての特徴点（頭頂を除く）を２以上の魚眼レンズカメラで撮影することが充分可能である。

なお、この基準座標系は、例えばヘルメット３ａの頂点を基準にしているので、世界座標系に変換する場合には、基準座標の原点Ｏとしたヘルメット３ａの頂点の位置を検出し、世界座標系に変換するか、魚眼レンズカメラＡｉの撮影画像に地球上の固定物を捉え、その位置を基準に座標変換すれば良い。前者の場合はヘルメット３ａの頂点にマーカーを設置して、他のカメラでマーカーの位置を追跡する必要があるが、当該カメラにも魚眼レンズカメラを用いると運動者を広い範囲で検出可能である。また、後者の場合は例えばヘルメット３ａの頂点に魚眼レンズカメラを設置すれば、広い範囲から地球上の固定物を撮影可能である。

以上の座標変換は例えば、画像処理装置５で処理される。画像処理装置５で、世界座標に変換した後は、複数のマーカーＢｊの３次元世界座標を合成し、さらに、運動者４のアニメーション画像上に複数のマーカーＢｊ、すなわち、運動者４の特徴点の座標が重ねられて、ディスプレイ７に表示される。さらに、各マーカーＢｊの座標Ｍの時間的変化からマーカーＢｊの軌跡を求められ、これらのデータは運動者４の動作の分析に供される。

複数のマーカーについて、それぞれの軌跡を求めるのであるが、その識別は座標の連続性をたどることにより可能である。複数のマーカーの軌跡が撮像画面上で交叉した場合には、移動方向の連続性や移動速度の連続性などからフォロー可能である。また、各マーカーの色を変えるなど識別性を持たせて、マーカーの軌跡を識別しても良い。

以上、本発明の実施の形態について説明したが、本発明は上記の実施の形態に限定されるものではなく、実施の形態に種々変更を加えられることは明白である。

例えば、本実施の形態では、基準座標の原点をカメラ装着器具のヘルメットの頂点にする例を説明したが、カメラ装着器具の重心を原点にしても良く、魚眼レンズカメラの１つを原点にしても良い。また、本実施の形態では、カメラ装着器具に３つの魚眼レンズカメラが装着される例を示したが、個数や向きに制限はない。また、カメラ装着器具に魚眼レンズカメラが接触装着される例を示したが、３次元座標の原点に対して不動であれば、運動の妨げにならない範囲で離して装着しても良い。また、マーカーが白球などで統一される場合を示したが、それぞれ、色を変えるなど個性を持たせて、識別し易くしても良い。また、マーカーは撮影光に感知し、周囲のものと区別できれば、形状、色彩など自由に選択可能である。また、魚眼レンズは本来１８０度の視野を有するが、完全でなく、例えば装着したカメラ装着器具の内側方向が視野に入らなくても良い。

本発明は、コンピューターグラフィックを用いたゲームや映画などにおいて，人体アニメーションを作成するために、また，スポーツ分野，医学分野などで人体の動きを分析するために利用される。

本発明の実施の形態によるモーションキャプチャーシステムの構成例を示す図である。カメラ装着器具の構成例を模式的に示す図である。本発明の実施の形態によるモーションキャプチャーシステムの動作フロー例を示す図である。魚眼レンズカメラの撮影画像からマーカーの三次元座標を得る方法を説明するための図である。魚眼レンズの光軸に対してチェッカーボードを鉛直に配置して撮影した画像を示す図である。撮像位置から画角θと光学中心からの距離ｈとの関係の測定結果を示す図である。魚眼レンズカメラとマーカーの位置関係を示す図である。魚眼レンズカメラを２個、ヘルメットに装着した場合の、マーカーの座標と魚眼レンズカメラの座標との関係を例示する図である。ヘルメットに魚眼レンズカメラを装着して運動者を撮影した画像例を示す図である。従来のモーションキャプチャーシステムの構成例を示す図である。

符号の説明

１モーションキャプチャーシステム
２送信器
３カメラ装着器具
３ａヘルメット
３ｂリング
３ｃベルト
４運動者
５画像処理装置
６受信器
７ディスプレイ装置
８カメラ装着器具の留具
９ゴム紐
１１モーションキャプチャーシステム
１２運動者
１３ビデオカメラ
１４マーカー
１５画像処理装置
１６ディスプレイ装置
Ａｉ魚眼レンズカメラ
Ｂｊマーカー
Ｃｉカメラの位置座標
ｄｉ単位ベクトル
ｆ焦点距離
ｈ画像に投影された物体の画像中心からの距離
Ｍ（Ｘ，Ｙ，Ｚ）マーカーの位置座標
Ｏ基準座標の原点
θ マーカーＭをＸＹ平面に投影したときのＸ軸とのなす角
φ 魚眼レンズから物体を見込んだ角

Claims

運動者の各特徴点に設置する複数のマーカーと；
複数の魚眼レンズカメラ及び各前記魚眼レンズカメラの撮影画像を時系列的に送信する各送信器を有し、運動者に装着されるカメラ装着器具と；
前記複数の魚眼レンズカメラからの撮影画像を時系列的に受信して、各時間における前記撮影画像内のマーカーの位置を３次元座標に変換する画像処理装置とを備える；
モーションキャプチャーシステム。
前記画像処理装置は、
前記マーカーの位置を３次元座標に変換する際に、前記撮影画像内の前記マーカーの位置から、複数の前記魚眼レンズカメラと前記マーカーとを結ぶベクトルの方向を求め、複数の前記ベクトルの方向を用いて三角測量法により前記マーカーの位置の３次元座標を算出する；
請求項１に記載のモーションキャプチャーシステム。
前記カメラ装着器具は、
前記運動者の頭部又は腰部に装着可能であり、
３〜６台の前記魚眼レンズカメラが器具の中心軸に対してほぼ対称位置に配置される；
請求項１又は請求項２に記載のモーションキャプチャーシステム。
前記送信及び前記受信には無線通信を用いる；
請求項１乃至請求項３のいずれか１項に記載のモーションキャプチャーシステム。
複数の魚眼レンズカメラ及び各前記魚眼レンズカメラの撮影画像を時系列的に送信する各送信器を有し、運動者に装着されるカメラ装着器具。
前記運動者の頭部又は腰部に装着可能であり、
３〜６台の前記魚眼レンズカメラが器具の中心軸に対してほぼ対称位置に配置される；
請求項５に記載のカメラ装着器具。
複数の魚眼レンズカメラからの撮影画像を時系列的に受信する機能と、
各時間における前記撮影画像のマーカーの位置を３次元座標に変換する機能を有し；
前記マーカーの位置を３次元座標に変換する際に、前記撮影画像内のマーカーの位置に基いて、複数の前記魚眼レンズカメラと前記マーカーとを結ぶベクトルの方向を求め、複数の前記ベクトルの方向を用いて三角測量法により前記マーカーの位置の３次元座標を算出する；
画像処理装置。
運動者の各特徴点に複数のマーカーを設置する工程と；
複数の魚眼レンズカメラから前記マーカーの撮影画像を時系列的に送信する工程と；
画像処理装置で複数の魚眼レンズカメラからの前記撮影画像を時系列的に受信する工程と；
各時間における前記撮影画像内のマーカーの位置を３次元座標に変換する工程とを備える；
モーションキャプチャー方法。
前記マーカーの位置を３次元座標に変換する工程において、前記撮影画像内のマーカーの位置に基いて、複数の前記魚眼レンズカメラと前記マーカーとを結ぶベクトルの方向を求め、複数の前記ベクトルの方向を用いて三角測量法により前記マーカーの位置の３次元座標を算出する；
請求項８に記載のモーションキャプチャー方法。