JP2007241725A - データ取得装置 - Google Patents

Abstract

【課題】モーションデータ、３次元モデルデータおよびテクスチャデータを同時に取得することのできるデータ取得装置を提供する。
【解決手段】被写体の可視画像および不可視画像を取得する複数の画像取得手段１１と、被写体に取り付けられた複数の不可視マーカの不可視マーカ画像パターンおよび不可視マーカが取り付けられた箇所の可視画像パターンを登録する画像パターン登録手段１２と、不可視画像と不可視マーカ画像パターンとのマッチング、および、可視画像と可視画像パターンとのマッチングを行う画像マッチング手段１３と、可視画像に基づいてテクスチャデータおよび３次元モデルデータを生成するとともに、画像マッチング手段１３によって得られた不可視マーカの３次元位置からモーションデータを生成するデータ生成手段１４とを含む。
【選択図】図１

Description

本発明は、データ取得装置に係り、特に、モーションデータ、テクスチャデータおよび三次元モデルデータを同時に取得することの可能なデータ取得装置に関する。

映像制作では、コンピュータグラフィックス（ＣＧ）を使用したり、実際のカメラで撮影した実写映像とＣＧを連動させたりする演出などが行われる。その際、ＣＧの自然な映像を実現するためには、実物の３次元モデルデータ、テクスチャデータ、およびモーションデータに基づいてＣＧを制作する必要がある。

３次元モデルデータとテクスチャデータを同時に取得する手法は、既に提案されており、映像フレームごとにテクスチャデータ付きの３次元モデルを作成することによって、連続的に被写体のテクスチャデータ付きの３次元モデルを取得している（例えば、非特許文献１参照）。

また、赤外光を発光する小型光源を使用し、赤外光の波長で小型光源を識別するモーションキャプチャ方法も既に提案されている（例えば、特許文献１参照）。

さらに、１台のカメラで赤外マーカを識別し、３次元モデルデータおよびモーションデータを取得する３Ｄデータ表示装置も既に提案されている（例えば、特許文献２参照）。
特開２００３−１６８１１５号公報（［０００７］−［００１４］、図３） 特開２００５−２５６２３２号公報（［０００７］−［００１２］、図１） 冨山仁博、外３名、「視体積交差法とステレオマッチング法を用いた多視点画像からの３次元動オブジェクト生成手法」、映像情報メディア学会誌、２００４年、第５８巻、第６号、ｐ．７９７−８０６

しかしながら、非特許文献１に開示された手法では、動作する被写体の各部位の位置データであるモーションデータを３次元モデルデータおよびテクスチャデータと同時に取得できないという課題があった。

また、特許文献１に開示された手法では、各部位のモーションデータを取得する際に赤外光を発光する小型光源を身体に着ける必要があり、小型光源が可視画像に撮影されてしまうため、テクスチャデータを取得する際に支障となるという課題があった。

また、特許文献２に開示された手法では、３次元モデルデータおよびモーションデータを同時に取得できるものの、被写体のテクスチャデータを取得できないという課題があった。

従って、従来の手法では、被写体の３次元モデルのモーションの変更を行う際に撮影時の被写体のテクスチャを使用することができないという課題があった。

本発明は、従来の課題を解決するためになされたものであって、モーションデータ、３次元モデルデータおよびテクスチャデータを同時に取得することにより、被写体の３次元モデルのモーションの変更を行う際に撮影時の被写体のテクスチャを使用することが可能な３次元映像データを取得することができるデータ取得装置を提供することを目的とする。

本発明のデータ取得装置は、被写体の可視画像および不可視画像を取得する複数の画像取得手段と、前記被写体に取り付けられた複数の不可視マーカの不可視マーカ画像パターン、および、前記不可視マーカが取り付けられた箇所の可視画像パターンを登録する画像パターン登録手段と、前記不可視画像と前記不可視マーカ画像パターンとのマッチング、および、前記可視画像と前記可視画像パターンとのマッチングを行う画像マッチング手段と、前記可視画像に基づいてテクスチャデータおよび３次元モデルデータを生成するとともに、前記画像マッチング手段によって得られた前記不可視マーカの３次元位置からモーションデータを生成するデータ生成手段とを含む構成を有している。

この構成により、モーションデータ、３次元モデルデータおよびテクスチャデータを同時に取得することができることとなる。

本発明のデータ取得装置は、各前記画像取得手段が、前記被写体の前記不可視画像を取得する不可視画像取得部と、前記被写体の前記可視画像を取得する可視画像取得部とを含み、前記画像パターン登録手段が、前記被写体に取り付けられた複数の前記不可視マーカの前記不可視マーカ画像パターンを登録する不可視マーカ画像パターン登録部と、前記不可視マーカが取り付けられた箇所の前記可視画像パターンを登録する可視画像パターン登録部とを含む構成を有している。

この構成により、各画像取得手段が被写体の同一範囲を不可視画像および可視画像として取得することができ、画像パターン登録手段が、被写体の同一範囲の不可視マーカ画像パターンと可視画像パターンを登録することができることとなる。

本発明のデータ取得装置は、前記画像マッチング手段が、前記不可視画像取得部によって取得された前記不可視画像と前記不可視マーカ画像パターン登録部に登録された前記不可視マーカ画像パターンとのマッチングを行う不可視画像マッチング部と、前記可視画像取得部によって取得された前記可視画像と前記可視画像パターン登録部に登録された前記可視画像パターンとのマッチングを行う可視画像マッチング部と、前記不可視画像マッチング部のマッチング結果に基づいて前記可視画像マッチング部でマッチングを行う必要があるか否かを判定する可視画像マッチング要否判定部とを含む構成を有している。

この構成により、不可視画像と不可視マーカ画像パターンとのマッチングの精度が不十分であった場合には、可視画像と可視画像パターンとのマッチングを行うことにより、不可視マーカの検出精度を向上することができることとなる。

本発明のデータ取得装置は、前記データ生成手段が、前記不可視画像マッチング部によって得られた前記不可視マーカの３次元位置からモーションデータを算出するモーションデータ算出部と、前記可視画像取得部によって取得された前記可視画像に基づいてテクスチャデータを取得するテクスチャデータ取得部と、前記可視画像取得部によって取得された前記可視画像に基づいて３次元モデルデータを算出する３次元モデルデータ算出部とを含む構成を有している。

この構成により、被写体の３次元モデルのモーションの変更を行う際に撮影時の被写体のテクスチャを使用することが可能な３次元映像データを取得することができることとなる。

本発明は、モーションデータ、３次元モデルデータおよびテクスチャデータを同時に取得することにより、被写体の３次元モデルのモーションの変更を行う際に撮影時の被写体のテクスチャを使用することが可能な３次元映像データを取得することができるという効果を有するデータ取得装置を提供することができるものである。

以下、本発明の実施の形態のデータ取得装置について、図面を用いて説明する。

本発明に係るデータ取得装置１は、図１のブロック図に示すように、被写体の可視画像および不可視画像を取得する複数の画像取得手段１１と、被写体に取り付けられた複数の不可視マーカの不可視マーカ画像パターンおよび不可視マーカが取り付けられた箇所の可視画像パターンを登録する画像パターン登録手段１２と、不可視画像と不可視マーカ画像パターンとのマッチング、および、可視画像と可視画像パターンとのマッチングを行う画像マッチング手段１３と、可視画像に基づいてテクスチャデータおよび３次元モデルデータを生成するとともに、画像マッチング手段１３によって得られた不可視マーカの３次元位置からモーションデータを生成するデータ生成手段１４とを含む。

そして、各画像取得手段１１は、被写体の不可視画像を取得する不可視画像取得部１１１および被写体の可視画像を取得する可視画像取得部１１２を含む。

画像パターン登録手段１２は、被写体に取り付けられた複数の不可視マーカの不可視マーカ画像パターンを登録する不可視マーカ画像パターン登録部１２１と、不可視マーカが取り付けられた箇所の可視画像パターンを登録する可視画像パターン登録部１２２とを含む。

画像マッチング手段１３は、不可視画像取得部１１１によって取得された不可視画像と不可視マーカ画像パターン登録部１２１に登録された不可視マーカ画像パターンとのマッチングを行う不可視画像マッチング部１３１と、可視画像取得部１１２によって取得された可視画像と可視画像パターン登録部１２２に登録された可視画像パターンとのマッチングを行う可視画像マッチング部１３２と、不可視画像マッチング部１３１のマッチング結果に基づいて可視画像マッチング部１３２でマッチングを行う必要があるか否かを判定する可視画像マッチング要否判定部１３３とを含む。

データ生成手段１４は、不可視画像マッチング部１３１によって得られた不可視マーカの３次元位置からモーションデータを算出するモーションデータ算出部１４１と、可視画像取得部１１２によって取得された可視画像に基づいてテクスチャデータを取得するテクスチャデータ取得部１４２と、可視画像取得部１１２によって取得された可視画像に基づいて３次元モデルデータを算出する３次元モデルデータ算出部１４３とを含む。

なお、不可視マーカとしては、可視画像であるＲＧＢ画像に写らないように、赤外光反射型、赤外光吸収型、あるいは赤外光反射型と赤外光吸収型を組み合せた赤外マーカを用いる。赤外マーカの大きさは、画像取得手段１１で取得する画角サイズに応じて適切なものとなるようにする。

本実施の形態では、例えば図２（ａ）に示すように、被写体２に複数の赤外マーカ３を取り付け、画像取得手段１１として機能するＮ台の赤外統合型カメラ４で被写体２を撮影するような場合を想定する。例として、１番目および２番目の赤外統合型カメラ４で撮影したＲＧＢ画像と不可視画像である赤外画像の模式図を図２（ｂ）に示す。なお、赤外統合型カメラとしては、特開平１０−３４１４４６に開示されているものを適用することができる。

図３は、本発明に係るデータ取得装置１のハードウエア構成を示すブロック図であって、画像取得手段１１として機能する赤外統合型カメラ４からＲＧＢ画像および赤外画像を取得する動画インターフェイス（Ｉ／Ｆ）５１と、ＲＧＢ画像および赤外画像の画像フレームを記憶する画像フレーム記憶装置５２と、不可視マーカ画像パターンである赤外マーカ画像パターンおよび可視画像パターンであるＲＧＢ画像パターンを記憶する画像パターン登録手段１２として機能する画像パターン記憶装置５３と、データ取得処理を実行するＣＰＵ５４と、データ取得プログラムを記憶するメモリ５５と、データ取得装置１を操作するための周辺機器が接続される周辺機器インターフェイス（Ｉ／Ｆ）５６とがバス５０に接続された構成を有する。

周辺機器Ｉ／Ｆ５６には、表示パネル５７と、キーボード５８と、マウス５９とが接続される。なお、表示パネル５７、キーボード５８、およびマウス５９に代えて、操作パネルを適用することも可能である。

次に、メモリ５５にインストールするデータ取得プログラムのフローチャートを参照しつつ、本発明の実施形態のデータ取得装置の動作を説明する。

図４は、データ取得プログラムのフローチャートである。まず、ＣＰＵ５４は、Ｎ台の赤外統合型カメラ４を識別するインデックスｎを“１”に初期化する（ステップＳ１）。

次に、ＣＰＵ５４は、ｎ番目の赤外統合型カメラにより撮像された被写体のＲＧＢ画像および赤外画像のある時刻における画像フレームを取得する（ステップＳ２）。

次に、ＣＰＵ５４は、インデックスｎがＮに到達したか否かを判定し（ステップＳ３）、否定判定した場合には、ｎをインクリメントして（ステップＳ４）、ステップＳ２の処理に戻って（ｎ＋１）番目の赤外統合型カメラの同時刻の画像フレームを取得する。

ＣＰＵ５４は、ステップＳ３において、インデックスｎがＮに到達したと判定した場合は、後述する画像マッチングルーチンにおいて、赤外マーカ画像パターンと赤外画像のマッチング、または、ＲＧＢ画像パターンとＲＧＢ画像のマッチングを行い（ステップＳ５）、後述するデータ取得ルーチンにおいて、モーションデータ、３次元モデルデータ、およびテクスチャデータの取得を行う（ステップＳ６）。

次に、ＣＰＵ５４は、最後の画像フレームを読み込んだか否かを判定し（ステップＳ７）、否定判定した場合はステップＳ１以降の処理に戻って次の時刻の画像フレームを読み込み、肯定判定した場合はデータ取得プログラムを終了する。

図５は、図４のデータ取得プログラムのステップＳ５で実行される画像マッチングルーチンのフローチャートである。まず、ＣＰＵ５４は、Ｎ台の赤外統合型カメラ４を識別するインデックスｎを“１”に初期化する（ステップＳ５１）。

次に、ＣＰＵ５４は、後述する不可視画像マッチングルーチンにおいて、画像パターン記憶装置５３に予め登録されたＭ個の赤外マーカ画像パターンと赤外統合型カメラ４によって取得された赤外画像中の対応する赤外マーカ画像との相関度を示すＲ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）を算出する（ステップＳ５２）。ここで、ｍはＭ個の赤外マーカおよび赤外マーカ画像パターンの番号を示すインデックスであり、ｋ_Ｂは赤外画像中の赤外マーカ画像の位置を示すパラメータである。

なお、相関度Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）は、その値が０に近いほど赤外マーカ画像パターンと赤外画像中の赤外マーカ画像との相関が高いことを意味する。

ここで、相関度Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）の値に対して、赤外マーカ画像パターンを検出できたと判断するための閾値Ｔｈ_１、また、赤外マーカ画像が赤外画像に写っていないと判断するための閾値Ｔｈ_２が予め設定されているものとする。

次に、ＣＰＵ５４は、Ｍ個の赤外マーカおよび赤外マーカ画像パターンの番号を示すインデックスｍを“１”に初期化する（ステップＳ５３）。

次に、ＣＰＵ５４は、予め定められた閾値Ｔｈ_１およびＴｈ_２に対して、相関度Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）がＴｈ_１以上かつＴｈ_２以下であるか否かを判定する（ステップＳ５４）。ここで、Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）がＴｈ_１以上かつＴｈ_２以下の場合とは、図６に示すように、被写体２の右手の手先の部分に取り付けられた赤外マーカ（１番目）が、赤外画像に大きく傾いて写っているために、赤外画像のマッチングだけでは赤外マーカ位置を明確に認識することができず、ＲＧＢ画像でのマッチングが必要となるような場合である。

このような場合、即ち、ステップＳ５４において肯定判定した場合は、ＣＰＵ５４は、後述する可視画像マッチングルーチンにおいて、該当するｍ番目の赤外マーカが取り付けられている箇所のＲＧＢ画像パターンとＲＧＢ画像のマッチングを行い、マッチング相関度を示すＲ’_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ’）を算出する（ステップＳ５５）。なお、ｋ_Ｂ’はＲＧＢ画像中の赤外マーカの位置を示すパラメータである。

ここで、ＲＧＢ画像でのマッチングで、赤外マーカを検出できたと判断するための閾値Ｔｈ_３が予め設定されているものとする。

次に、ＣＰＵ５４は、ステップＳ５２で得た赤外マーカ画像パターンのマッチングによる相関度Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）とステップＳ５５で得たＲＧＢ画像パターンのマッチングによる相関度Ｒ’_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ’）との積が、予め設定された閾値Ｔｈ_３よりも小であるか否かを判定する（ステップＳ５６）。

ＣＰＵ５４は、ステップＳ５６において、肯定判定した場合は、インデックスｍがＭに到達したか否かを判定し（ステップＳ５７）、否定判定した場合には、ｍをインクリメントして（ステップＳ５８）、ステップＳ５４の処理に戻る。

ＣＰＵ５４は、ステップＳ５７において、インデックスｍがＭに到達したと判定した場合は、インデックスｎがＮに到達したか否かを判定し（ステップＳ５９）、否定判定した場合には、ｎをインクリメントして（ステップＳ６０）、ステップＳ５２の処理に戻り、肯定判定した場合には、画像マッチングルーチンを終了する。

なお、ステップＳ５４において、Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）がＴｈ_１以上かつＴｈ_２以下でないと判定した場合は、ＣＰＵ５４は、Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）が閾値Ｔｈ_２よりも大であるか否かを判定する（ステップＳ６１）。

ＣＰＵ５４は、ステップＳ６１において肯定判定した場合、および、ステップＳ５６において、Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）とＲ’_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ’）との積が予め設定された閾値Ｔｈ_３よりも小でないと判定した場合には、Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）の値を閾値Ｔｈ_２よりも十分大きな任意の値に更新し（ステップＳ６２）、後述するモーションデータ算出ルーチンで選択されないようにしてステップＳ５７の処理に進む。

また、ＣＰＵ５４は、ステップＳ６１において否定判定した場合には、直接ステップＳ５７の処理に進む。

次に、図５の画像マッチングルーチンのステップＳ５２で実行される不可視画像マッチングルーチンについて、図７のフローチャートと図８（ａ）の模式図を用いて説明する。まず、ＣＰＵ５４は、赤外画像のブロック分割の設定を行う（ステップＳ５２１）。ここで、赤外画像は、Ｌ_１×Ｌ_２画素の基準ブロックに分割され、その基準ブロックの個数はＫ個であるとする。

次に、ＣＰＵ５４は、画像パターン記憶装置５３に予め登録されたＬ_１×Ｌ_２画素からなるＭ個の赤外マーカ画像パターンの画像番号を示すインデックスｍを“１”に初期化し、赤外画像上の基準ブロックのブロック番号を示すインデックスｋを“１”に初期化し、配列Ｒ（ｎ，ｍ，ｋ）を“０”に初期化する（ステップＳ５２２）。

次に、ＣＰＵ５４は、１基準ブロック内の行方向の画素位置を示すインデックスｉを“０”に初期化し（ステップＳ５２３）、１基準ブロック内の列方向の画素位置を示すインデックスｊを“０”に初期化する（ステップＳ５２４）。

次に、ＣＰＵ５４は、赤外マーカ画像パターンと赤外画像中の赤外マーカ画像の相関度を求める過程として［数１］に示すようなＲ（ｎ，ｍ，ｋ）を算出する（ステップＳ５２５）。ここで、Ｉ_ｋ（ｉ，ｊ）およびＴ_ｍ（ｉ，ｊ）は、それぞれ赤外画像のｋ番目の基準ブロックおよびｍ番目の赤外マーカ画像パターンの画素位置（ｉ，ｊ）における輝度を与える関数である。

次に、ＣＰＵ５４は、ｊがＬ_２−１に到達したか否かを判定し（ステップＳ５２６）、否定判定した場合には、ｊをインクリメントして（ステップＳ５２７）、ステップＳ５２５の処理に戻る。

ステップＳ５２６において、ｊがＬ_２−１に到達した場合は、ＣＰＵ５４は、ｉがＬ_１−１に到達したか否かを判定し（ステップＳ５２８）、否定判定した場合には、ｉをインクリメントして（ステップＳ５２９）、ステップＳ５２４の処理に戻る。

ステップＳ５２８において、ｉがＬ_１−１に到達した場合は、ＣＰＵ５４は、ｋがＫに到達したか否かを判定し（ステップＳ５３０）、否定判定した場合には、ｋをインクリメントして（ステップＳ５３１）、ステップＳ５２３の処理に戻る。

ステップＳ５３０において、ｋがＫに到達した場合は、ＣＰＵ５４は、１番目からＫ番目までの基準ブロックで最小のＲ（ｎ，ｍ，ｋ）を与えるｋをｋ_Ｂとし、そのときのＲ（ｎ，ｍ，ｋ）を相関度Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）とする（ステップＳ５３２）。

次に、ＣＰＵ５４は、インデックスｍがＭに到達したか否かを判定し（ステップＳ５３３）、否定判定した場合には、ｍをインクリメントして（ステップＳ５３４）、ステップＳ５２３の処理に戻り、肯定判定した場合は、不可視画像マッチングルーチンを終了する。

なお、不可視画像マッチングルーチンでは、ステップＳ５２３からステップＳ５２８までの処理において差分２乗総和を算出したが、もちろん差分２乗総和の代わりに差分絶対値総和を算出してもよい。

また、不可視画像マッチングルーチンでは、赤外画像をＬ_１×Ｌ_２画素のＫ個の基準ブロックに分割して処理を行う例を示したが、ブロック分割を行わずに赤外画像の画素全体を行方向および列方向に探索することも可能である。

次に、図５の画像マッチングルーチンのステップＳ５５で実行される可視画像マッチングルーチンについて、図９のフローチャートと図８（ｂ）の模式図を用いて説明する。まず、ＣＰＵ５４は、ＲＧＢ画像のブロック分割の設定を行う（ステップＳ５５１）。ここで、ＲＧＢ画像は、Ｌ_１×Ｌ_２画素の基準ブロックに分割され、その基準ブロックの個数はＫ’個であるとする。

次に、ＣＰＵ５４は、ＲＧＢ画像上の基準ブロックのブロック番号を示すインデックスｋ’を“１”に初期化し、配列Ｒ’（ｎ，ｍ，ｋ’）を“０”に初期化する（ステップＳ５５２）。

次に、ＣＰＵ５４は、１基準ブロック内の行方向の画素位置を示すインデックスｉを“０”に初期化し（ステップＳ５５３）、１基準ブロック内の列方向の画素位置を示すインデックスｊを“０”に初期化する（ステップＳ５５４）。

次に、ＣＰＵ５４は、図７の不可視画像マッチングルーチンのステップＳ５２５と同様に、以下に示す［数２］より、ｍ番目の赤外マーカのＲＧＢ画像パターンとＲＧＢ画像から求まる相関度を求める過程としてＲ’（ｎ，ｍ，ｋ’）を算出する（ステップＳ５５５）。ここで、Ｃ_ｋ’（ｉ，ｊ）およびＳ_ｍ（ｉ，ｊ）は、それぞれＲＧＢ画像のｋ’番目の基準ブロックおよびｍ番目の赤外マーカのＲＧＢ画像パターンの画素位置（ｉ，ｊ）における輝度を与える関数であるとする。

なお、ＲＧＢ画像パターンは、画像パターン記憶装置５３に予め登録されたＬ_１×Ｌ_２画素からなる画像パターンであり、その画像範囲は、対応する赤外マーカ画像パターンの画像範囲と同一であるものとする。

次に、ＣＰＵ５４は、ｊがＬ_２−１に到達したか否かを判定し（ステップＳ５５６）、否定判定した場合には、ｊをインクリメントして（ステップＳ５５７）、ステップＳ５５５の処理に戻る。

ステップＳ５５６において、ｊがＬ_２−１に到達した場合は、ＣＰＵ５４は、ｉがＬ_１−１に到達したか否かを判定し（ステップＳ５５８）、否定判定した場合には、ｉをインクリメントして（ステップＳ５５９）、ステップＳ５５４の処理に戻る。

ステップＳ５５８において、ｉがＬ_１−１に到達した場合は、ＣＰＵ５４は、ｋ’がＫ’に到達したか否かを判定し（ステップＳ５６０）、否定判定した場合には、ｋ’をインクリメントして（ステップＳ５６１）、ステップＳ５５３の処理に戻る。

ステップＳ５６０において、ｋ’がＫ’に到達した場合は、ＣＰＵ５４は、１番目からＫ’番目までの基準ブロックで最小のＲ’（ｎ，ｍ，ｋ’）を与えるｋ’をｋ_Ｂ’とし、そのときのＲ’（ｎ，ｍ，ｋ’）を相関度Ｒ’_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ’）として（ステップＳ５６２）、可視画像マッチングルーチンを終了する。

なお、可視画像マッチングルーチンにおいても、ステップＳ５５３からステップＳ５５８までの処理において差分２乗総和を算出したが、もちろん差分２乗総和の代わりに差分絶対値総和を算出してもよい。

また、可視画像マッチングルーチンにおいても、ブロック分割を行わずにＲＧＢ画像の画素全体を行方向および列方向に探索することも可能である。

図１０は、図４のデータ取得プログラムのステップＳ６で実行されるデータ取得ルーチンのフローチャートである。まず、ＣＰＵ５４は、後述するモーションデータ算出ルーチンを実行する（ステップＳ６５）。

次に、ＣＰＵ５４は、非特許文献１に開示されたステレオマッチングと視体積交差法の両者を取り入れた手法を用いて、テクスチャデータを取得し（ステップＳ６６）、３次元モデルデータを算出して（ステップＳ６７）、データ取得ルーチンを終了する。

なお、ステップＳ６７において、ステップＳ６５のモーションデータ算出ルーチンで得た赤外マーカの３次元位置を参考にして、ＲＧＢ映像同士のマッチングを行うことにより、３次元モデルのマッチングにおいて誤認を軽減することも可能である。

図１１は、図１０のデータ取得ルーチンのステップＳ６５で実行されるモーションデータ算出ルーチンのフローチャートである。まず、ＣＰＵ５４は、赤外マーカの順番を示すインデックスｍを“１”に初期化する（ステップＳ６５１）。

次に、ＣＰＵ５４は、Ｎ台の赤外統合型カメラ４による相関度Ｒ_ｍｉｎ（ｎ，ｍ，ｋ_Ｂ）のうちで小さい方から２番目までの値を与える赤外統合型カメラを２台決定する（ステップＳ６５２）。

次に、ＣＰＵ５４は、公知の三角測量法を用いて、上記の２台の赤外統合型カメラの位置、距離、および上記の２台の赤外統合型カメラによって取得された赤外画像中の赤外マーカ位置、即ち、図７の不可視画像マッチングルーチンのステップＳ５３２で取得したｋ_Ｂに基づいて、赤外マーカの３次元位置を算出する（ステップＳ６５３）。

次に、ＣＰＵ５４は、ｍがＭに到達したか否かを判定し（ステップＳ６５４）、否定判定した場合には、ｍをインクリメントして（ステップＳ６５５）、ステップＳ６５２の処理に戻り、肯定判定した場合にはモーションデータ算出ルーチンを終了する。

以上説明したように、本発明の実施の形態に係るデータ取得装置は、モーションデータ、３次元モデルデータおよびテクスチャデータを同時に取得することにより、被写体の３次元モデルのモーションの変更を行う際に撮影時の被写体のテクスチャを使用することが可能な３次元映像データを取得することができる。

以上のように、本発明に係るデータ取得装置は、被写体の３次元モデルのモーションの変更を行う際に撮影時の被写体のテクスチャを使用することが可能な３次元映像データを取得することができるという効果を有し、画像処理装置として有効である。

本発明に係るデータ取得装置の構成を示すブロック図 赤外マーカを取り付けられた被写体を撮影する場合の説明図 本発明に係るデータ取得装置のハードウエア構成を示すブロック図 本発明に係るデータ取得装置のＣＰＵが実行するデータ取得プログラムのフローチャート 本発明に係るデータ取得装置のＣＰＵが実行する画像マッチングルーチンのフローチャート ＲＧＢ画像でのマッチングを必要とする場合の説明図 本発明に係るデータ取得装置のＣＰＵが実行する不可視画像マッチングルーチンのフローチャート マッチングの説明図 本発明に係るデータ取得装置のＣＰＵが実行する可視画像マッチングルーチンのフローチャート 本発明に係るデータ取得装置のＣＰＵが実行するデータ取得ルーチンのフローチャート 本発明に係るデータ取得装置のＣＰＵが実行するモーションデータ算出ルーチンのフローチャート

符号の説明

１ データ取得装置
１１ 画像取得手段
１２ 画像パターン登録手段
１３ 画像マッチング手段
１４ データ生成手段
１１１ 不可視画像取得部
１１２ 可視画像取得部
１２１ 不可視マーカ画像パターン登録部
１２２ 可視画像パターン登録部
１３１ 不可視画像マッチング部
１３２ 可視画像マッチング部
１３３ 可視画像マッチング要否判定部
１４１ モーションデータ算出部
１４２ テクスチャデータ取得部
１４３ ３次元モデルデータ算出部

Claims (4)

1. 被写体の可視画像および不可視画像を取得する複数の画像取得手段と、
   前記被写体に取り付けられた複数の不可視マーカの不可視マーカ画像パターン、および、前記不可視マーカが取り付けられた箇所の可視画像パターンを登録する画像パターン登録手段と、
   前記不可視画像と前記不可視マーカ画像パターンとのマッチング、および、前記可視画像と前記可視画像パターンとのマッチングを行う画像マッチング手段と、
   前記可視画像に基づいてテクスチャデータおよび３次元モデルデータを生成するとともに、前記画像マッチング手段によって得られた前記不可視マーカの３次元位置からモーションデータを生成するデータ生成手段とを含むデータ取得装置。
2. 各前記画像取得手段が、前記被写体の前記不可視画像を取得する不可視画像取得部と、前記被写体の前記可視画像を取得する可視画像取得部とを含み、
   前記画像パターン登録手段が、前記被写体に取り付けられた複数の前記不可視マーカの前記不可視マーカ画像パターンを登録する不可視マーカ画像パターン登録部と、前記不可視マーカが取り付けられた箇所の前記可視画像パターンを登録する可視画像パターン登録部とを含む請求項１に記載のデータ取得装置。
3. 前記画像マッチング手段が、前記不可視画像取得部によって取得された前記不可視画像と前記不可視マーカ画像パターン登録部に登録された前記不可視マーカ画像パターンとのマッチングを行う不可視画像マッチング部と、
   前記可視画像取得部によって取得された前記可視画像と前記可視画像パターン登録部に登録された前記可視画像パターンとのマッチングを行う可視画像マッチング部と、
   前記不可視画像マッチング部のマッチング結果に基づいて前記可視画像マッチング部でマッチングを行う必要があるか否かを判定する可視画像マッチング要否判定部とを含む請求項２に記載のデータ取得装置。
4. 前記データ生成手段が、前記不可視画像マッチング部によって得られた前記不可視マーカの３次元位置からモーションデータを算出するモーションデータ算出部と、
   前記可視画像取得部によって取得された前記可視画像に基づいてテクスチャデータを取得するテクスチャデータ取得部と、
   前記可視画像取得部によって取得された前記可視画像に基づいて３次元モデルデータを算出する３次元モデルデータ算出部とを含む請求項３に記載のデータ取得装置。