JP2019219929A - 常時キャリブレーションシステム及びその方法 - Google Patents

Abstract

【課題】複数のカメラを移動させながらキャリブレーションが可能となる常時キャリブレーションシステムを提供する。【解決手段】常時キャリブレーションシステム１００は、第１の照射時間帯に第１の照射時間間隔で第１の照射回数、赤外線によりマーカ１５を所定の照射領域内に照射するプロジェクタ１１と、マーカ１５が照射されるタイミングと同期して照射領域を撮像する移動可能な複数の特徴点撮像部２１と、特徴点撮像部２１毎にマーカ１５を撮像した撮像データの集合間で、同じ照射タイミングで照射された照射映像を撮像した撮像データにおけるマーカ１５をそれぞれ対応点として抽出する、対応点抽出部３０４と、対応点に基づき、１つの特徴点撮像部２１のカメラ座標系と、他の特徴点撮像部２１のカメラ座標系との相対位置関係を算出する第１キャリブレーション部３０５と、を備える。【選択図】図１

Description

本発明は、カメラの位置や向き等を計算するキャリブレーションに関するものであり、特に、移動しながら撮像するカメラに係るキャリブレーションを行うシステム及びその方法に関する。

例えば、３次元空間中の被写体を複数のカメラで撮像した画像データを統合して、被写体全体の映像を復元する場合に、各カメラ相互間の位置、方向性の３次元情報が必要となる。このようなカメラの位置、方向性の３次元情報を計算することをカメラのキャリブレーションという。
従来のキャリブレーションの方法としては、例えば、所定の座標系における座標位置が既知の特徴点をそれぞれのカメラで撮影し、各特徴点の、カメラ画像上における座標と実際の空間座標とを対応づけた一組のデータ、すなわちキャリブレーションデータを用いて行う方法が知られている。
例えば、赤外線カメラの場合、ストロボや白熱電球のような発光手段を並べて取り付けた板状の治具を作成し、赤外線カメラで撮影したものでキャリブレーションを行うことが、特許文献１や非特許文献１に記載されている。しかし、特許文献１や非特許文献１に開示された技術は、カメラと治具との位置関係が固定されていることが前提となっている。このため、カメラを移動させながら、動的に、キャリブレーションしながら、３次元空間中の被写体を撮像することはできない。

この点、特許文献２には、深度カメラである第２電子機器２０ごとに取り付けられる、表面が予め設定された色で着色された、所定の半径の球であって、球の中心がそれぞれ予め設定された三角形の頂点を形成する治具が開示されている。複数の標識物の視覚的特徴を第２電子機器２０ごとに異なるように構成された治具を第２電子機器２０に取り付けることで、当該第２電子機器２０を移動させながら被写体を撮像した場合に、第１電子機器１０（深度カメラ）が各第２電子機器２０を一意的に識別する治具を検出することで、各第２電子機器２０の位置、方向性を計算することで、キャリブレーションを可能とする技術が開示されている。
この場合、治具に取り付けられた三角形の頂点をそれぞれ形成する球の中心を正確に検出する必要がある。このため、マーカー位置情報算出部３１は、エッジ画像を生成し、生成したエッジ画像からＨｏｕｇｈ変換により円を抽出し、円の半径を計算することにより、当該球体の中心を求めるように構成されている。
第２電子機器の数が増えるほどに、第１電子機器は、球体（色）をそれぞれ、一意的に識別できるように選択する必要がある。また、撮像される全ての球体がそれぞれどの第２電子機器に対応するか、といった識別を正確に行う必要があり、そのために係る労力は必ずしも簡単なものではなかった。

特開２００１−２８５６８１号公報 特許第６２９３１１０号 特開２０１０−０６６１６９号公報

橋本謙太郎、外３名、"赤外線画像のステレオ処理に基づく手の形状推定"、日本ロボット学会学術講演会予稿集、１９巻、講演概要集、２００１年９月１８日、ｐ.２９４頁

上述した従来技術では、工夫された物理的な治具に基づいて、カメラのキャリブレーションを行った。特に、カメラを移動させながら、キャリブレーションを行う場合には、各カメラの位置や方向性を計算するため、カメラごとに当該カメラを識別できる治具の作成やマーカの対応付けをエッジ等による解析等、手間のかかるものであった。

本発明は、前述したような特徴点を備えた治具を必要とせず、各カメラを移動させながら、容易にカメラ間のキャリブレーションをすることが可能となる常時キャリブレーションシステム及びその方法を提供することを目的とする。

（１）本願発明は、予め設定された第１の照射時間帯に予め設定された第１の照射時間間隔で予め設定された第１の照射回数、不可視光線により予め形状の設定された照射パターンを所定の照射領域内に照射するプロジェクタを有し、前記第１の照射時間間隔ごとに前記照射パターンの照射される位置が異なるように照射するプロジェクション部と
２以上の移動可能な電子機器と、
制御装置と、を備え、
前記電子機器は、それぞれ、
前記プロジェクション部により前記照射パターンが照射されるタイミングと同期して、少なくとも前記所定の照射領域の一部を含む領域を撮像する特徴点撮像部を備え、
前記制御装置は、
前記プロジェクション部に対して、前記第１の照射時間帯に前記第１の照射時間間隔で前記照射パターンを第１の照射回数異なる照射位置に照射するように照射指示を行い、特徴点撮像部に対して、前記プロジェクタによる前記照射パターンの照射と同期して、少なくともプロジェクタの照射領域の一部を含む領域を、前記第１の照射時間帯に前記第１の照射時間間隔で前記第１の照射回数、撮像するように撮像指示をするキャリブレーションフェーズ指示部と、
前記電子機器それぞれから、前記特徴点撮像部により撮像した前記第１の照射時間間隔で前記第１の照射回数、照射した各照射映像を撮像した撮像データの集合を取得する特徴点取得部と、
前記撮像データの集合から、それぞれ前記照射パターンの位置を検出し、特徴点として抽出する特徴点検出部と、
前記特徴点撮像部ごとに取得した前記撮像データの集合間で、同じ照射タイミングで照射された照射映像を撮像した撮像データにおける特徴点をそれぞれ対応点として抽出する、対応点抽出部と、
前記対応点抽出部により抽出した対応点に基づき、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出する第１キャリブレーション部と、を備える常時キャリブレーションシステムに関する。

（２） （１）に記載の常時キャリブレーションシステムにおいて、前記不可視光線は赤外線であり、
前記特徴点撮像部は赤外線カメラであり、
前記第１キャリブレーション部は、
前記対応点抽出部により抽出される対応点が８個以上ある場合に、８点アルゴリズムにより、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出してもよい。

（３） （１）に記載の常時キャリブレーションシステムにおいて、前記不可視光線は赤外線であり、
前記特徴点撮像部は赤外線ステレオカメラであり、
前記第１キャリブレーション部は、
前記対応点抽出部により抽出される対応点が４個以上ある場合に、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出してもよい。

（４）（１）〜（３）のいずれかに記載の常時キャリブレーションシステムにおいて、前記照射パターンは、その形状が点又はカギ状の線分としてもよい。

（５）（１）〜（４）のいずれかに記載の常時キャリブレーションシステムにおいて、前記照射パターンは、その輝度が所定の閾値と等しいか又は当該閾値を超えるようにしてもよい。

（６） （５）に記載の常時キャリブレーションシステムにおいて、前記特徴点検出部は、撮像データから輝度が前記閾値を超える個所を検出してもよい。

（７） （１）〜（６）のいずれかに記載の常時キャリブレーションシステムにおいて、前記電子機器は、それぞれ、
深度カメラ部を備え、
前記制御装置は、さらに、
前記プロジェクション部による照射パターンの照射を開始する直前、又は前記第１の照射時間間隔で前記第１の照射回数、照射を実行した直後に、すべての前記深度カメラ部に対して、同時に被写体の撮像指示を行う深度データ取得フェーズ指示部を備え、
前記深度カメラ部のそれぞれから、画像データを撮像したタイムスタンプと、前記深度カメラ部の備える深度カメラ座標系における座標位置と、を含む点群データの集合を取得する点群データ取得部と、
を備えてもよい。

（８） （７）に記載の常時キャリブレーションシステムにおいて、前記深度カメラ部が、前記特徴点撮像部を備えるようにしてもよい。

（９） （７）又は（８）に記載の常時キャリブレーションシステムにおいて、前記制御装置は、さらに、
前記電子機器ごとに、予め前記特徴点撮像部の備えるカメラ座標系と前記深度カメラ部の備える深度カメラ座標系との間の座標変換行列を備え、
前記座標変換行列と、前記第１キャリブレーション部により算出された前記特徴点撮像部の備えるカメラ座標系と、前記特徴点撮像部と異なる他の特徴点撮像部の備えるカメラ座標系との相対位置関係と、に基づき、前記深度カメラ部で撮像された点群データを所定の３次元座標系における座標値に変換する点群データ座標値変換部と、
前記点群データを、前記点群データ座標値変換部により変換された前記所定の３次元座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成する合成点群データ作成部と、を備えてもよい。

（１０） 本願発明は、予め設定された第１の照射時間帯に予め設定された第１の照射時間間隔で予め設定された第１の照射回数、不可視光線（赤外線）により予め形状の設定された照射パターンを所定の照射領域内に照射するプロジェクタを有し、前記第１の照射時間間隔ごとに前記照射パターンの照射される位置が異なるように照射するプロジェクション部と、前記プロジェクション部により前記照射パターンが照射されるタイミングと同期して、少なくとも前記所定の照射領域の一部を含む領域を撮像する特徴点撮像部を備える、２以上の移動可能な電子機器と、通信可能に接続されるコンピュータにより、
前記プロジェクション部に対して、前記第１の照射時間帯に前記第１の照射時間間隔で前記照射パターンを第１の照射回数異なる照射位置に照射するように照射指示を行い、前記特徴点撮像部に対して、前記プロジェクタによる前記照射パターンの照射と同期して、少なくともプロジェクタの照射領域の一部を含む領域を、前記第１の照射時間帯に前記第１の照射時間間隔で前記第１の照射回数、撮像するように撮像指示をするキャリブレーションフェーズステップと、
前記電子機器それぞれから、前記特徴点撮像部により撮像した前記第１の照射時間間隔で前記第１の照射回数、照射した各照射映像を撮像した撮像データの集合を取得する撮像データ取得ステップと、
前記撮像データの集合から、それぞれ前記照射パターンの位置を検出し、特徴点として抽出する特徴点検出ステップと、
前記特徴点撮像部ごとに取得した前記撮像データの集合間で、同じ照射タイミングで照射された照射映像を撮像した撮像データにおける特徴点をそれぞれ対応点として抽出する、対応点抽出ステップと、
前記対応点抽出ステップにおいて抽出した対応点に基づき、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出するキャリブレーションステップと、を備える常時キャリブレーション方法に関する。

（１１）本願発明は、コンピュータに、（１０）に記載の各ステップを実行させるためのコンピュータプログラムに関する。

本発明の常時キャリブレーションシステムによれば、前述したような特徴点を備えた治具を必要とせず、各カメラを移動させながら、容易にカメラ間のキャリブレーションをすることが可能となる常時キャリブレーションシステム及びその方法を提供することができる。

本発明の実施形態に係る常時キャリブレーションシステムの一例を概略的に示すブロック図である。 本発明の実施形態に係るプロジェクション部の概略ブロック図である。 本発明の実施形態に係る電子機器の概略ブロック図である。 本発明の実施形態に係る制御装置の概略ブロック図である。 本発明の実施形態に係る制御装置に係る制御部の概略ブロック図である。 本発明の実施形態に係る照射パターンの形状の一例を示す概略図である。 本発明の実施形態に係る照射パターンの形状の一例を示す概略図である。 本発明の実施形態に係るキャリブレーションフェーズと深度データ取得フェーズとが交互に発生する様子を示す概略図である。 本発明の実施形態における一連の処理の流れを示す図である。

以下、本発明の実施形態の一例について説明する。
図１は、本実施形態に係る常時キャリブレーションシステム１００の機能構成を示す図である。

図１に示すように、常時キャリブレーションシステム１００は、プロジェクション部１と、２つ以上の移動可能な電子機器２と、制御装置３と、を含んで構成される。これらは、有線及び／又は無線ネットワーク５等を介して接続されている。

＜プロジェクション部１＞
図２Ａに示すように、プロジェクション部１は、プロジェクタ制御部１０及びプロジェクタ１１を備え、これらの他、さらに入出力及び通信等の各種のインタフェースを備えてよい。最初にプロジェクタ１１について説明する。プロジェクタ制御部１０については、後述する。

プロジェクタ１１は、内部の駆動手段（図示せず）が、プロジェクタ制御部１０の制御信号を受けて、人の目には不可視となる光線（「不可視光線」ともいう）としての、例えば赤外線により予め形状の設定された照射パターン（以下「マーカ１５」ともいう）を発生させて、所定の照射領域内に照射する。
マーカ１５は、後述するようにキャリブレーションのための特徴点とする。このため、図３Ａ、図３Ｂにそれぞれ示すように、マーカ１５として、例えば、円の形状をした点又はカギ状の線分としてもよい。マーカ１５を円の形状をした点又はカギ状の線分とすることで、特徴点として円の中心又はカギ状の線分の頂点を容易に識別することができる。また、マーカ１５として、赤外線輝度の値が所定の閾値以上となるようにしてもよい。そうすることで、後述の特徴点撮像部２１（高速赤外線カメラ）に赤外線輝度によるフィルタを設け、閾値以上の輝度データのみをフィルタにより透過させるようにすることで、撮像データからマーカ１５を容易に抽出することが可能となる。

プロジェクタ制御部１０は、プロジェクタ１１に対して、予め設定された所定の時間帯（以下、「第１の照射時間帯」ともいう）において、所定の時間間隔（以下、「第１の照射時間間隔」ともいう）で所定の回数（以下、「第１の照射回数」ともいう）、後述するマーカ１５を発光させて、所定の照射領域（以下、「第１の照射領域」ともいう）内に照射するように制御する。
プロジェクタ制御部１０は、プロジェクタ１１に対して、第１の照射時間間隔ごとにマーカ１５の照射位置が異なるように制御する。なお、照射位置の制御においては、予め、互いに異なる複数の照射位置を設定したテーブルを作成しておき、当該テーブルに基づいて、異なる照射位置を設定するようにしてもよい。また、照射位置の制御においては、照射位置がそれぞれ異なるように、ランダムに照射位置を算出するようにしてもよい。
プロジェクタ制御部１０は、後述の特徴点撮像部２１により、例えば、マーカ１５が隠れて撮影できないケース（オクルージョン）やマーカ１５が撮像領域外にある等の理由で撮像できないケースが発生する可能性を考慮すると、第１の照射時間帯（例えば１／６０秒）の間に、プロジェクタ１１によるマーカ１５の照射に係る第１の照射回数として、例えば８回以上、好ましくは１６回、２４回、又は３２回、発生させて照射するように設定することが好ましい。その場合、第１の照射時間帯を仮に１／６０秒間とした場合、プロジェクタ１１によるマーカ１５の照射に係る第１の照射時間間隔は、それぞれ、１／（６０×１６）秒、１／（６０×２４）秒又は１／（６０×３２）秒となり、その時のフレームレートは、それぞれ、９６０ｆｐｓ、１４４０ｆｐｓ、１９２０ｆｐｓとなる。
例示した第１の照射時間帯、第１の照射時間間隔、及び第１の照射回数の詳細な説明は、後述する。
プロジェクタ制御部１０は、後述するように、通信可能に接続された制御装置３からの指示に基づいて、プロジェクタ１１に対する制御信号を出力するようにしてもよい。

＜電子機器２＞
次に電子機器２について説明する。電子機器２の説明に際して、各電子機器２を区別する必要がある場合、インデックスｎ（１≦ｎ≦Ｎ）（Ｎ：電子機器２の台数）を用いて、電子機器２（ｎ）（１≦ｎ≦Ｎ）として参照する。その際、電子機器２（ｎ）の備える‘構成要素’についても、‘構成要素’（ｎ）とすることで、電子機器２（ｎ）の備える構成要素であることを示す。
図２Ｂに示すように、電子機器２は、撮像制御部２０と、特徴点撮像部２１と、深度カメラ部２２と、記憶部２５を備え、これらの他、さらに入出力及び通信等の各種のインタフェースを備えてよい。最初に特徴点撮像部２１及び深度カメラ部２２について説明する。撮像制御部２０については、後述する。

＜特徴点撮像部２１＞
特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）は、プロジェクション部１（プロジェクタ１１）によりマーカ１５が照射されるタイミングと同期して、少なくとも第１の照射領域の一部を含む領域を撮像する。なお、特徴点撮像部２１（ｎ）は、プロジェクタ１１の照射領域のすべての領域を撮像することが好ましい。
プロジェクタ１１が不可視光線としての、例えば赤外線によりマーカ１５を第１の照射時間間隔ごとに異なる照射位置に照射する場合、電子機器２（ｎ）の備える特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）は、例えば、高速度赤外線カメラであって、第１の照射時間間隔ごとに異なる照射位置に照射されるマーカ１５を撮像する。ここで、プロジェクタ１１が第１の照射時間間隔毎に異なる位置に照射したマーカ１５を全て撮像することができるように、特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）に設定されるシャッタースピード（撮像時のフレームレート）は、プロジェクタ１１がマーカ１５を照射するフレームレートと同期をとるようにしてもよい。
そうすることで、プロジェクタ１１が、例えば時刻ｔから第１の照射時間帯（例えば１／６０秒間）に第１の照射時間間隔（例えば１／（６０×１６）秒の時間間隔）でマーカ１５を第１の照射回数（例えば１６回）異なる照射位置に照射したときの照射映像の集合を｛特徴点照射映像（ｔ，ｊ）（１≦ｊ≦１６）｝とした場合、各特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）は｛特徴点照射映像（ｔ，ｊ）（１≦ｊ≦１６）｝を撮像した特徴点撮像データの集合｛特徴点撮像データ（ｎ）（ｔ，ｊ）（１≦ｊ≦１６）｝を取得する。なお、各特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）はプロジェクタ１１のフレームレート以上で撮影して特徴点撮像データの集合を得るようにしてもよい。
以下、説明のため、第１の照射時間帯を時刻ｔから１／６０秒間とし、第１の照射時間間隔を１／（６０×１６）秒の時間間隔とし、第１の照射回数を１６回とする態様を例として説明するが、本発明における第１の照射時間帯、第１の照射時間間隔、及び第１の照射回数はこれらの値に限られない。ユーザは、キャリブレーションに応じて任意の値を設定することができる。後述するように、例えば、第１の照射時間帯の長さは、当該時間帯における各電子機器（ｎ）の移動量が無視できる長さ（例えば、ユーザにより設定される所定の閾値以下）であればよい。また、第１の照射回数は、後述するように、例えば８以上の所定の回数に設定することができる。

＜特徴点撮像部２１の座標系＞
ここで、特徴点撮像部２１の備える座標系について簡単に説明する。
特徴点撮像部２１（ｎ）は、それぞれ固有の座標系、すなわち、カメラ座標系（ｎ）、正規化画像座標系（ｎ）、及びデジタル画像座標系（ｎ）を備える。なお、本実施例では、特徴点撮像部（ｎ）において、レンズ歪みの影響をキャンセルした補正画像が得られるものとし、内部パラメータは既知とする。

＜カメラ座標系＞
カメラ座標系（ｎ）は、空間を表す３次元座標として、特徴点撮像部２１（ｎ）としての赤外線カメラ（ｎ）を中心としてみた３次元座標系である。カメラ座標系（ｎ）は、一般的に、カメラレンズ（ｎ）の中心を原点として、カメラ（ｎ）の光軸方向をＺ軸とし、カメラ（ｎ）の上向きをＹ軸とし、カメラ（ｎ）の横向きをＸ軸とする３次元座標系（右手系）とされる。
以下、特に断らない限り、カメラ座標系（ｎ）による座標値を（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）で表す。

＜正規化画像座標系＞
正規化画像座標系（ｎ）は、光軸上の点を原点とし、ｘ軸、ｙ軸をそれぞれ、Ｘ軸、Ｙ軸に平行にとり、焦点距離ｆを１とした２次元座標系（ｘ、ｙ）を正規化画像座標系（ｎ）という。
以下、特に断らない限り、正規化画像座標系（ｎ）による座標値を（ｘ_ｎ，ｙ_ｎ）で表す。
このとき、
ｘ_ｎ ＝ Ｘ_ｎ／Ｚ_ｎ
ｙ_ｎ ＝ Ｙ_ｎ／Ｚ_ｎ
が成り立つ。

＜デジタル画像座標系＞
デジタル画像座標系（ｎ）は、画素数（ｐｉｘｅｌ）単位で記述される。以下、デジタル画像座標系を画像座標系ともいう。
デジタル画像座標系（ｎ）は、左上を原点とし、右方向を第１軸（ｕ軸）、下方向を第２軸（ｖ軸）とする。また、光軸が通る点を画像中心といい（ｃ_ｕ，ｖ_ｕ）で表す。
fを特徴点撮像部２１の焦点距離、δ_ｕ及びδ_ｖは、それぞれ、撮像素子の画素の横、縦の間隔とすると、
α_ｕ ＝ ｆ／δ_ｕ 及びα_ｖ ＝ ｆ／δ_ｖ は、画素数（ｐｉｘｅｌ）単位で表される焦点距離とする。
このとき、正規化画像座標（ｘ，ｙ）とデジタル画像座標（ｕ，ｖ）の間には、
ｕ ＝ α_ｕｘ＋ｃ_ｕ ここで、α_ｕ ＝ ｆ／δ_ｕ
ｖ ＝ α_ｖｘ＋ｃ_ｖ ここで、α_ｖ ＝ ｆ／δ_ｖ
なお、α_ｕ α_ｖとｃ_ｕ ｃ_ｖをカメラの内部パラメータという。

＜深度カメラ部２２＞
深度カメラ部２２（ｎ）（１≦ｎ≦Ｎ）は、深度センサ（図示せず）を、例えば通常の画像カメラと組み合わせて構成することができる。深度カメラ部２２（ｎ）を用いて計測対象物を計測することで、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに深度カメラ部２２（ｎ）の備える３次元の座標系における座標値を併せ持つ、計測対象物の点群データ（ｎ）を生成することができる。

深度カメラ部２２（ｎ）は、固有の基準位置に基づく３次元のカメラ座標系（以下、「深度カメラ座標系（ｎ）」ともいう）を備えている。深度カメラ部２２により計測された計測対象物表面の各点の位置は、深度カメラ座標系（ｎ）により、３次元座標により表される。以下、特徴点撮像部２１（ｎ）のカメラ座標系（Ｘ_ｎ、Ｙ_ｎ、Ｚ_ｎ）と区別するために深度カメラ座標系（ｎ）による座標値を（Ｘ^ｄ _ｎ、Ｙ^ｄ _ｎ、Ｚ^ｄ _ｎ）で表す。
したがって、深度カメラ部２２（ｎ）により計測する場合には、計測対象物表面の各点の位置を表す３次元座標値（Ｘ^ｄ _ｎ、Ｙ^ｄ _ｎ、Ｚ^ｄ _ｎ）と、その３次元座標位置における計測対象物表面のＲＧＢの色情報と、からなる点データの集合を点群データ（ｎ）として取得することができる。
深度カメラ部２２（ｎ）は、計測対象物の表面の各点の情報を画素単位で、予め設定した時間間隔で取得することができる。例えば、時間間隔として１／３０秒を設定することで、深度カメラ部２２（ｎ）は、１秒間に３０コマの画像データ（３０ｆｐｓ）を取得することができる。深度カメラ部２２（ｎ）により計測された各点群データ（ｎ）には、それぞれ計測時刻となるタイムスタンプを付すことができ、当該タイムスタンプに基づいて点群データ（ｎ）の間で関連付けが可能となっている。
Ｎ個（１≦Ｎ）の深度カメラ部２２をインデックス１、２、３、・・・Ｎにより識別する場合、ｔを計測時刻とすると、インデックス（識別番号）ｎの深度カメラ部２２（ｎ）により取得した点群データをＱｎ（ｔ）と表現することができる。

特徴点撮像部２１（ｎ）の有するカメラ座標系（ｎ）と深度カメラ部２２（ｎ）の深度カメラ座標系（ｎ）との関係について簡単に説明する。
特徴点撮像部２１（ｎ）と深度カメラ部２２（ｎ）とを予めキャリブレーションしておくことで、深度カメラ座標系（ｎ）における座標値をカメラ座標系（ｎ）における座標値に変換する座標変換行列^ｃＴ^ｄ _ｎを、例えば、電子機器２の記憶部（図示せず）又は後述する制御装置３の記憶部３２に記憶する。逆に、カメラ座標系（ｎ）における座標値を深度カメラ座標系（ｎ）における座標値に変換する座標変換行列を^ｄＴ^ｃ _ｎで表す。
これらの間には以下の関係が成り立つ。
^ｃＴ^ｄ _ｎ・^ｄＴ^ｃ _ｎ＝Ｅ
^ｄＴ^ｃ _ｎ・^ｃＴ^ｄ _ｎ＝Ｅ

＜キャリブレーションフェーズと深度データ取得フェーズ＞
以下の説明において、特徴点撮像部２１（ｎ）は、第１の撮像時間帯を時刻ｔから１／６０秒間とし、第１の撮像時間間隔を１／（６０×１６）秒の時間間隔とし、第１の撮像回数を１６回として、プロジェクタ１１の照射タイミングと同期をとるものとする。そうすることで、特徴点撮像部２１（ｎ）は、時刻ｔから１／６０秒経過するまでの間に、１６回、｛特徴点照射映像（ｔ，ｊ）（１≦ｊ≦１６）｝を撮像した特徴点撮像データの集合｛特徴点撮像データ（ｎ）（ｔ，ｊ）（１≦ｊ≦１６）｝を取得することができる。
他方、深度カメラ部２２（ｎ）は、フレームレート３０ｆｐｓで深度データを取得するものを例示する。
この場合、例えば、撮像制御部２０（ｎ）は、特徴点撮像部２１（ｎ）による特徴点撮像データを取得するフェーズ（「キャリブレーションフェーズ」という）と、深度カメラ部２２（ｎ）による点群データを取得するフェーズ（「深度データ取得フェーズ」という）と、を交互に実行するように制御する。図４にキャリブレーションフェーズと深度データ取得フェーズとが交互に発生する様子を示す。
より具体的には、図４を参照すると、特徴点撮像部２１（ｎ）は、第１の撮像時間帯（時刻ｔ_０から１／６０秒の間）において、第１の撮像時間間隔（１／（６０×１６）秒の時間間隔）ごとに、第１の撮像回数（１６回）特徴点撮像データの集合｛特徴点撮像データ（ｎ）（ｔ_０，ｊ）（１≦ｊ≦１６）｝を取得する（キャリブレーションフェーズ）。
次に、時刻ｔ_１（＝ｔ_０＋１／６０秒）に、深度カメラ部２２（ｎ）により点群データＱｎ（ｔ_１）を計測する（深度データ取得フェーズ）。
次に、時刻ｔ_２（＝ｔ_１＋１／６０秒）から１／６０秒の間、特徴点撮像部２１（ｎ）により、１６回特徴点撮像データを取得する（キャリブレーションフェーズ）。
次に、時刻ｔ_３（＝ｔ_２＋１／６０秒）に、深度カメラ部２２（ｎ）により点群データＱｎ（ｔ_３）を計測する（深度データ取得フェーズ）。
このように、時刻ｔ_２ｉ＝ｔ_０＋（１／３０）×ｉ （０≦ｉ）から第１の照射時間帯（１／６０秒）の間、特徴点撮像部２１（ｎ）により、第１の照射回数（１６回）特徴点撮像データを取得するキャリブレーションフェーズ（２ｉ）(０≦ｉ)と、時刻ｔ_２ｉ＋１＝ｔ_０＋１／６０＋（１／３０）×ｉ （０≦ｉ）ごとに深度カメラ部２２（ｎ）により点群データＱｎ（ｔ_２ｉ＋１）を計測する深度データ取得フェーズ（２ｉ＋１）(０≦ｉ)とを交互に実行する。

＜撮像制御部２０＞
撮像制御部２０（ｎ）（１≦ｎ≦Ｎ）は、前述したキャリブレーションフェーズ（２ｉ）(０≦ｉ)において、特徴点撮像部２１（ｎ）に対して、少なくともプロジェクタ１１の照射領域の一部を含む領域を、第１の照射時間間隔で第１の照射回数、撮像するように制御する。特徴点撮像部２１（ｎ）は、プロジェクタ１１の照射領域を撮像することが好ましい。
撮像制御部２０（ｎ）は、後述するように、通信可能に接続された制御装置３からの指示に基づいて、特徴点撮像部２１（ｎ）に対する制御信号を同時に出力するようにしてもよい。そうすることで、プロジェクタ１１と全ての特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）とは、容易に同期をとることができる。
撮像制御部２０（ｎ）は、各キャリブレーションフェーズ（２ｉ）(０≦ｉ)において、プロジェクタ１１が、例えば時刻ｔ_２ｉ（０≦ｉ）から第１の照射時間帯（例えば１／６０秒の間）に第１の照射時間間隔（１／（６０×１６）秒の時間間隔）でマーカ１５を第１の照射回数（１６回）異なる照射位置に照射したときの照射映像｛特徴点照射映像（ｔ_２ｉ，ｊ）（１≦ｊ≦１６）｝を、特徴点撮像部２１（ｎ）により撮像した特徴点撮像データの集合｛特徴点撮像データ（ｎ）（ｔ_２ｉ，ｊ）（１≦ｊ≦１６）｝を後述する制御装置３に送信する。

また、撮像制御部２０（ｎ）は、前述したとおり、各深度データ取得フェーズ（２ｉ＋１）(０≦ｉ)において、深度カメラ部２２（ｎ）に対して、点群データＱｎ（ｔ_２ｉ＋１）を撮像するように制御する。
撮像制御部２０（ｎ）は、各深度データ取得フェーズ（２ｉ＋１）(０≦ｉ)において、深度カメラ部２２（ｎ）が、時刻ｔ_２ｉ＋１（０≦ｉ）において計測した点群データをＱｎ（ｔ_２ｉ＋１）を後述する制御装置３に送信する。

＜制御装置３＞
次に制御装置３について説明する。
制御装置３は、例えばパーソナルコンピュータ又はサーバ装置等の情報処理装置としてもよい。あるいはＣＰＵ、ＤＳＰ等の演算チップを搭載した演算ボードで構成することができる。図２Ｃに示すように、制御装置３は、制御部３０及び記憶部３２を備え、これらの他、さらに入出力及び通信等の各種のインタフェースを備えてよい。

制御部３０は、制御装置３の全体を制御する部分であり、記憶部３２に記憶されたソフトウェア（常時キャリブレーションプログラム）を適宜読み出して実行することにより、本実施形態における各種機能を実現している。制御部３０は、ＣＰＵであってよい。

記憶部３２は、ハードウェア群を制御装置３として機能させるための各種プログラム、及び各種データ等の記憶領域であり、ＲＯＭ、ＲＡＭ、フラッシュメモリ又はハードディスクドライブ（ＨＤＤ）等であってよい。

図２Ｄに示すように、制御部３０は、キャリブレーションフェーズ指示部３０１と、特徴点取得部３０２と、特徴点検出部３０３と、対応点抽出部３０４と、第１キャリブレーション部３０５と、深度データ取得フェーズ指示部３０６と、点群データ取得部３０７と、点群データ座標値変換部３０８と、合成点群データ作成部３０９と、を備える。

キャリブレーションフェーズ指示部３０１は、後述する深度データ取得フェーズ指示部３０６と連携して、前述したように、キャリブレーションフェーズと、深度データ取得フェーズと、を交互に実行するように制御する。図４に、キャリブレーションフェーズと、深度データ取得フェーズと、を交互に実行する一例を示す。
図４に示すように、ｔ_２ｉ ＝ｔ_０＋（１／３０）×ｉ （０≦ｉ）とすると、キャリブレーションフェーズは、ｔ_０から１／３０秒間隔でｔ_２、ｔ_４、・・・と続く。
他方、ｔ_２ｉ＋１＝ｔ_０＋１／６０＋（１／３０）×ｉ （０≦ｉ）とすると、深度データ取得フェーズは、ｔ１（＝ｔ_０＋１／６０）から１／３０秒間隔でｔ_３、ｔ_５、・・・と続く。
そうすることで、キャリブレーションフェーズと、深度データ取得フェーズと、を交互に実行するように制御することができる。
このように、キャリブレーションフェーズ指示部３０１は、プロジェクション部１に対して、例えば時刻ｔ_２ｉ（０≦ｉ）から第１の照射時間帯（例えば１／６０秒の間）に第１の照射時間間隔（例えば１／（６０×１６）秒の時間間隔）でマーカ１５を第１の照射回数（例えば１６回）異なる照射位置に照射するように照射指示を行うとともに、特徴点撮像部２１（ｎ）に対して、プロジェクタ１１の照射と同期して、少なくともプロジェクタ１１の照射領域の一部を含む領域を、第１の照射時間間隔で第１の照射回数、撮像するように撮像指示をする。

特徴点取得部３０２は、キャリブレーションフェーズ時に、プロジェクタ１１により時刻ｔ_２ｉ（０≦ｉ）から第１の照射時間帯（例えば１／６０秒の間）に第１の照射時間間隔（例えば１／（６０×１６）秒の時間間隔）でマーカ１５を第１の照射回数（例えば１６回）異なる位置に照射されたときに、各電子機器２（ｎ）（特徴点撮像部２１（ｎ））により各照射映像を撮像した撮像データの集合｛特徴点撮像データ（ｎ）（ｔ_２ｉ、ｊ）（０≦ｉ），（１≦ｊ≦１６）｝を各電子機器２（ｎ）から、取得する。
ここで、電子機器２（ｎ）は移動可能としているが、例えば、時刻ｔ_２ｉ（０≦ｉ）から第１の照射時間帯（例えば１／６０秒の間）の電子機器２（ｎ）の移動量、すなわち特徴点撮像部２１（ｎ）の移動量は無視できるものとする。すなわち、時刻ｔ_２ｉ（０≦ｉ）から第１の照射時間帯（例えば１／６０秒の間）における、特徴点撮像部２１（ｎ）のカメラ座標系（ｎ）、正規化画像座標系（ｎ）、及びデジタル画像座標系（ｎ）は、それぞれ同一の固定座標系とみなすことができる。
そこで、特徴点撮像部２１（ｎ）の時刻ｔ_２ｉ（０≦ｉ）から第１の照射時間帯（例えば１／６０秒の間）の座標系を、それぞれカメラ座標系（ｎ，ｔ_２ｉ）、正規化画像座標系（ｎ，ｔ_２ｉ）、及びデジタル画像座標系（ｎ，ｔ_２ｉ）という。
また、各特徴点撮像データ（ｎ）（ｔ_２ｉ、ｊ）（０≦ｉ），（１≦ｊ≦１６）を例えば正規化画像座標系（ｎ）における座標値に基づいて重畳して１つの画像データとしたものを、特徴点撮像データ（ｎ、ｔ_２ｉ）と表す。すなわち、特徴点撮像データ（ｎ、ｔ_２ｉ）は、第１の照射時間間隔で照射された特徴点ｊ（１≦ｊ≦１６）を含む。

特徴点検出部３０３は、各特徴点撮像部２１（ｎ）ごとに時刻ｔ_２ｉから第１の照射時間間隔（例えば１／（６０×１６）秒の時間間隔）で撮像された、特徴点撮像データ（ｎ）（ｔ_２ｉ、ｊ）（１≦ｊ≦１６）から、それぞれマーカ１５の照射位置（特徴点（ｊ））を検出する。
前述したように、特徴点撮像部２１（ｎ）に赤外線の輝度によるフィルタを設け、閾値以上の輝度データのみを当該フィルタにより透過させるようにすることで、特徴点検出部３０３は、撮像データからマーカ１５を容易に検出することが可能となる。また、マーカ１５を円の形状をした点又はカギ状の線分とすることで、特徴点検出部３０３は、円の中心又はカギ状の線分の頂点を特徴点として容易に識別することができる。
そうすることで、特徴点検出部３０３は、これらを重畳した正規化画像座標系（ｎ，ｔ_２ｉ）における、特徴点（ｎ，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）の正規化画像座標値（ｎ，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）をそれぞれ算出することができる。
ここで、プロジェクタ１１は時刻ｔ_２ｉ（０≦ｉ）から、第１の照射時間帯（例えば１／６０秒の間）に第１の照射時間間隔（例えば１／（６０×１６）秒の時間間隔）でマーカ１５を第１の照射回数（例えば１６回）異なる位置に照射したことから、マーカ１５の照射位置（特徴点（ｊ））の正規化画像座標値（ｎ，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）は全て異なる。また、任意の異なる画像座標系（ｎ_１，ｔ_２ｉ）及び画像座標系（ｎ_２，ｔ_２ｉ）において、画像座標系（ｎ_１，ｔ_２ｉ）におけるｊ番目の特徴点（ｎ_１，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）と、画像座標系（ｎ_２，ｔ_２ｉ）におけるｊ番目の特徴点（ｎ_２，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）とはそれぞれ２画像間の対応点となる。

対応点抽出部３０４は、前述したように、任意の２つの画像座標系（ｎ_１，ｔ_２ｉ）におけるｊ番目の特徴点（ｎ_１，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）と、画像座標系（ｎ_２，ｔ_２ｉ）におけるｊ番目の特徴点（ｎ_２，ｔ_２ｉ）（ｊ）（１≦ｊ≦１６）とをそれぞれ２画像間の対応点として抽出する。

第１キャリブレーション部３０５は、任意の２つの画像座標系（ｎ_１，ｔ_２ｉ）及び画像座標系（ｎ_２，ｔ_２ｉ）において、対応点抽出部３０４により、２画像間の対応点を８点以上とれることから、２画像間での対応点に基づいて、公知の８点アルゴリズムにより、カメラ座標系（ｎ_１，ｔ_２ｉ）と、他のカメラ座標系（ｎ_２，ｔ_２ｉ）との相対位置関係を算出することができる。
すなわち、第１キャリブレーション部３０５は、３×３の回転行列である_{（ｎ２，ｔ２ｉ）}Ｒ_{（ｎ１，ｔ２ｉ）}、及び３次元の位置ベクトルである_{（ｎ２，ｔ２ｉ）}Ｔ_{（ｎ１，ｔ２ｉ）}を算出し、カメラ座標系（ｎ_１，ｔ_２ｉ）における３次元座標値をＰ_{（ｎ１，ｔ２ｉ）}，カメラ座標系（ｎ_２，ｔ_２ｉ）における３次元座標値をＰ_{（ｎ２，ｔ２ｉ）}とすると、以下の関係が成り立つ。
Ｐ_{（ｎ２，ｔ２ｉ）}＝_{（ｎ２，ｔ２ｉ）}Ｒ_{（ｎ１，ｔ２ｉ）}Ｐ_{（ｎ１，ｔ２ｉ）}＋_{（ｎ２，ｔ２ｉ）}Ｔ_{（ｎ１，ｔ２ｉ）}
（式１）
このように、空間上の任意の点のカメラ座標系（ｎ_１，ｔ_２ｉ）における３次元座標値を他のカメラ座標系（ｎ_２，ｔ_２ｉ）における３次元座標値に変換することができる。
なお、仮にｎ_１の画像座標系（ｎ_１，ｔ_２ｉ）及びｎ_２の画像座標系（ｎ_２，ｔ_２ｉ）において、対応点が８点以上とれない場合であっても、例えば、ｎ_３の画像座標系（ｎ_３，ｔ_２ｉ）との間で、ｎ_１の画像座標系（ｎ_１，ｔ_２ｉ）及びｎ_２の画像座標系（ｎ_２，ｔ_２ｉ）がそれぞれ対応点を８点以上取れる場合、当該２画像間での対応点に基づいて、８点アルゴリズムにより、ｎ_１のカメラ座標系（ｎ_１，ｔ_２ｉ）と、ｎ_３のカメラ座標系（ｎ_３，ｔ_２ｉ）との相対位置関係、及びｎ_２のカメラ座標系（ｎ_２，ｔ_２ｉ）と、ｎ_３のカメラ座標系（ｎ_３，ｔ_２ｉ）との相対位置関係を算出することができる。
そうすることで、ｎ_３のカメラ座標系（ｎ_３，ｔ_２ｉ）との相対位置関係を介して、ｎ_１のカメラ座標系（ｎ_１，ｔ_２ｉ）と、ｎ_２のカメラ座標系（ｎ_２，ｔ_２ｉ）との相対位置関係を算出することができる。

深度データ取得フェーズ指示部３０６は、図４に示したように、キャリブレーションフェーズと深度データ取得フェーズとが交互に発生するように、キャリブレーションフェーズ指示部３０１と連携して、深度データ取得フェーズを制御する。
より具体的には、深度データ取得フェーズ指示部３０６は、撮像制御部２０（ｎ）に対して、例えば時刻ｔ_２ｉ＋１＝（０≦ｉ）ごとに、深度カメラ部２２（ｎ）により、計測対象物表面の各点を画素単位で例えばＲＧＢの色情報とともに深度カメラ部２２（ｎ）の備える３次元の座標系における座標値を併せ持つ、計測対象物の点群データＱｎ（ｔ_２ｉ＋１）を撮像するように指示をする。ここで、深度カメラ部２２（ｎ）のフレームレートを３０ｆｐｓとする場合、ｔ_２ｉ＋１＝ｔ_０＋１／６０＋（１／３０）×ｉ （０≦ｉ）としてもよい。

点群データ取得部３０７は、各電子機器２（ｎ）（深度カメラ部２２（ｎ））から、時刻ｔ_２ｉ＋１（０≦ｉ）に撮像した点群データＱｎ（ｔ_２ｉ＋１）を取得する。
ここで、各点群データＱｎ（ｔ_２ｉ＋１）は、深度カメラ座標系（ｎ）による３次元座標値（Ｘ^ｄ _ｎ、Ｙ^ｄ _ｎ、Ｚ^ｄ _ｎ）と、３次元座標値における例えばＲＧＢ等の色情報とを併せ持つ点群データである。

点群データ座標値変換部３０８は、点群データ取得部３０７により各電子機器２（ｎ）から取得した点群データＱｎ（ｔ_２ｉ＋１）（０≦ｉ）をカメラ座標系（ｎ）における座標値に変換する。より具体的には、点群データＱｎ（ｔ_２ｉ＋１）を、前述した座標変換行列^ｃＴ^ｄ _ｎにより座標変換することで、点群データＱｎ（ｔ_２ｉ＋１）をカメラ座標系（ｎ）における座標値に変換された点群データＱｎ´（ｔ_２ｉ＋１）を生成する。
ここで、説明を簡単にするため、カメラ座標系（ｎ）（１≦ｎ≦Ｎ）の中から、予め基準座標系となるカメラ座標系（１）を設定しておく。ここでは、カメラ座標系（１）が予め基準座標系として設定されているものとする。
点群データ座標値変換部３０８は、第１キャリブレーション部３０５により算出された、座標変換関数により、カメラ座標系（ｎ，ｔ_２ｉ）（２≦ｎ≦Ｎ）における３次元座標値Ｐ_{（ｎ，ｔ２ｉ）}を、基準座標系として設定されたカメラ座標系（１，ｔ_２ｉ）における３次元座標値Ｐ_{（１，ｔ２ｉ）}に変換することができる。
また、電子機器２（ｎ）は移動可能としているが、前述したように、例えば、時刻ｔ_２ｉから時刻ｔ_２ｉ＋１（０≦ｉ）の電子機器２（ｎ）の移動量は無視できるものとする。すなわち、時刻ｔ_２ｉ（０≦ｉ）におけるカメラ座標系（ｎ）と時刻ｔ_２ｉ＋１（０≦ｉ）におけるカメラ座標系（ｎ）とは、それぞれ同一の固定座標系とみなすことができる。
点群データ座標値変換部３０８は、点群データＱｎ（ｔ_２ｉ＋１）をカメラ座標系（ｎ）における座標値に変換された点群データＱｎ´（ｔ_２ｉ＋１）を生成し、カメラ座標系（ｎ）における座標値に変換された点群データＱｎ´（ｔ_２ｉ＋１）を、カメラ座標系（ｎ，ｔ_２ｉ）（２≦ｎ≦Ｎ）における３次元座標値Ｐ_{（ｎ，ｔ２ｉ）}を基準座標系として設定されたカメラ座標系（１，ｔ_２ｉ）における３次元座標値Ｐ_{（１，ｔ２ｉ）}に変換する座標変換により、基準座標系として設定されたカメラ座標系（１，ｔ_２ｉ）における座標値に変換することで、カメラ座標系（１）における座標値に変換された点群データＱ_ｎ−＞１´（ｔ_２ｉ＋１）を生成することができる。
なお、電子機器２を移動しないように設置した場合（すなわち、設置位置を固定させた場合）、カメラ座標系（１）を例えば、ワールド座標系としてもよい。

合成点群データ作成部３０９は、点群データ座標値変換部３０８により、深度データ取得フェーズの時刻ｔ_２ｉ＋１ごとに、各深度カメラ部（ｎ）により撮像された各点群データＱｎ（ｔ_２ｉ＋１）の３次元座標値が基準座標系（カメラ座標系（１，ｔ_２ｉ））での３次元座標値に変換された点群データＱ_ｎ−＞１´（ｔ_２ｉ＋１）（１≦ｎ≦Ｎ）に基づいて、該３次元座標値が同じ値となる点を、同一点として重ね合わせることで、基準座標系（カメラ座標系（１，ｔ_２ｉ））における合成点群データＱ_１´（ｔ_２ｉ＋１）を作成することができる。

以上のように、本実施形態によると、従来技術で述べたような特別な治具を必要とせず、各深度カメラ（ｎ）を移動させながら、容易に深度カメラ（ｎ）間のキャリブレーションをすることができる。これにより、例えば、複数の深度カメラ（ｎ）を移動させながら、形状の変化する計測対象物を計測する場合において、多視点同時刻の点群データの合成を容易に行うことができる。
以上、本発明の実施形態の常時キャリブレーションシステム１００の各機能部の実施形態を、プロジェクション部、電子機器２、及び制御装置３等の構成に基づいて説明した。

次に、本発明の実施形態の常時キャリブレーションシステム１００における一連の処理の流れについて図５を参照しながら説明する。図５は、常時キャリブレーションシステム１００における一連の処理の流れを示すフロー図である。なお、以下の動作を始める前に、各初期設定、特徴点撮像部２１（ｎ）のカメラ座標系（ｎ）と深度カメラ部（ｎ）のカメラ座標系（ｎ）との間の座標変換行列は算出済とする。

図５を参照すると、ＳＴ１のキャリブレーションフェーズにおいて、時刻ｔ_２ｉ（０≦ｉ）から、第１の照射時間帯に、第１の照射時間間隔で、第１の照射回数、プロジェクタ１１により、照射パターン（マーカ１５）を異なる位置に照射する。同時に、プロジェクタ１１の照射と同期して、電子機器２の特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）により、プロジェクタ１１の照射領域を撮像する。

ＳＴ２において、制御装置３は、各特徴点撮像部２１（ｎ）（１≦ｎ≦Ｎ）の撮像した特徴点撮像データ（ｎ）（ｔ_２ｉ、ｊ）（１≦ｊ≦１６）に基づいて、２画像間の対応点を抽出し、８点アルゴリズムにより、各特徴点撮像部２１（ｎ）の備えるカメラ座標系（ｎ）間の相対位置関係を算出して、例えば、カメラ座標系（１）を基準座標系として、基準座標系との座標変換行列を算出する。

ＳＴ３の深度データ取得フェーズにおいて、時刻ｔ_２ｉ＋１に各深度カメラ部（ｎ）により、被写体を計測して、点群データＱｎ（ｔ_２ｉ＋１）を取得する。

ＳＴ４において、ＳＴ３で算出された座標変換行列と、特徴点撮像部２１（ｎ）のカメラ座標系（ｎ）と深度カメラ部（ｎ）のカメラ座標系（ｎ）との間の座標変換行列と、に基づいて、各点群データＱｎ（ｔ_２ｉ＋１）を基準座標系における３次元座標値に変換し、変換後の座標値が同じ値となる点を、同一点として重ね合わせることで、基準座標系における合成点群データＱ_１´（ｔ_２ｉ＋１）を作成する。

ＳＴ５において、当業者にとって公知の３次元表示技術に基づいて、合成点群データＱ_１´（ｔ_２ｉ＋１）を、ユーザにより設定された任意の視点から見た画像を、例えばスマートフォンやタブレット等の表示部に表示する。

ＳＴ６において、撮影終了か否かを判断する。終了の場合（ＹＥＳ）エンドに移る。終了でない場合（Ｎｏ）、ＳＴ１に戻り、次のキャリブレーションフェーズに移行する。
以上のようにして、時刻ｔ_２ｉ＋１ごとに合成点群データＱ_１´（ｔ_２ｉ＋１）が作成され、ユーザにより設定された任意の視点から見た３次元動画を、例えばスマートフォンやタブレット等でリアルタイムでみることができる。

以上、本発明の常時キャリブレーションシステム１００の好ましい実施形態について説明したが、本発明は、上述の実施形態に制限されるものではなく、適宜変更が可能である。

＜変形例１＞
上記実施形態においては、特徴点撮像部２１（ｎ）と深度カメラ部２２（ｎ）とは、それぞれ別の構成要素としたが、これに限られない。
例えば、深度カメラ部２２（ｎ）の備える深度センサ（図示せず）が、高速度赤外線カメラの場合、当該深度センサを特徴点撮像部２１（ｎ）として利用することができる。
すなわち、深度カメラ部２２（ｎ）が特徴点撮像部２１（ｎ）を備えるように構成してもよい。

＜変形例２＞
上記実施形態においては、特徴点撮像部２１（ｎ）を単眼カメラとしたが、これに限られない。特徴点撮像部２１（ｎ）を例えば、赤外線ステレオカメラとしてもよい。そうすることで、特徴点撮像部２１（ｎ）は、それぞれのカメラ座標系（ｎ）における、マーカ１５の３次元座標値を取得することができる。
それにより、４つ以上の線形独立となる対応点をとることができれば、２つのカメラ座標系（ｎ_１）とカメラ座標系（ｎ_２）との相対位置関係を算出することができる。

＜変形例３＞
本実施形態の常時キャリブレーションシステム１００において、例えば、プロジェクション部１、電子機器２、及び制御装置３のそれぞれ有する各機能部を、クラウド上の仮想コンピュータを含めて、特定のコンピュータに集中させるか、又は複数のコンピュータに分散させるか、については、ユーザにとって適宜成しえる設計事項である。また、クラウド上の仮想コンピュータに機能部を持たせるようにしてもよい。
例えば、制御装置の機能の一部を特定の電子機器（１）が備えるようにしてもよい。例えば、キャリブレーションフェーズ指示部３０１、深度データ取得フェーズ指示部３０６を特定の電子機器（１）が備えるようにしてもよい。

＜変形例４＞
本実施形態の常時キャリブレーションシステム１００において、深度カメラ（ｎ）のフレームレートとして３０ｆｐｓを例示し、特徴点撮像部２１（ｎ）のフレームレートとして９６０ｆｐｓを例示し、第１の照射時間間隔を１／６０秒で、第１の照射回数を１６回を例示したが、これに限られない。これらの値は、プロジェクタ１１、特徴点撮像部２１（ｎ）、及び深度カメラ部（ｎ）の対応可能な高速フレームレートに応じて適宜設定することができる。

＜変形例５＞
本実施形態の常時キャリブレーションシステム１００において、キャリブレーションフェーズと深度データ取得フェーズとを、交互に発生させるように制御したが、これに限られない。
キャリブレーションフェーズと深度データ取得フェーズとを同時に行うように制御してもよい。

１００ 常時キャリブレーションシステム
１ プロジェクション部
１０ プロジェクタ制御部
１１ プロジェクタ
１５ 照射パターン（マーカ）
２ 電子機器
２０ 撮像制御部
２１ 特徴点撮像部
２２ 深度カメラ部
２５ 記憶部
３ 制御装置
３０ 制御部
３０１ キャリブレーションフェーズ指示部
３０２ 特徴点取得部
３０３ 特徴点検出部
３０４ 対応点抽出部
３０５ 第１キャリブレーション部
３０６ 深度データ取得フェーズ指示部
３０７ 点群データ取得部
３０８ 点群データ座標値変換部
３０９ 合成点群データ作成部
５ ネットワーク

Claims (11)

1. 予め設定された第１の照射時間帯に予め設定された第１の照射時間間隔で予め設定された第１の照射回数、不可視光線により予め形状の設定された照射パターンを所定の照射領域内に照射するプロジェクタを有し、前記第１の照射時間間隔ごとに前記照射パターンの照射される位置が異なるように照射するプロジェクション部と
   ２以上の移動可能な電子機器と、
   制御装置と、を備え、
   前記電子機器は、それぞれ、
   前記プロジェクション部により前記照射パターンが照射されるタイミングと同期して、少なくとも前記所定の照射領域の一部を含む領域を撮像する特徴点撮像部を備え、
   前記制御装置は、
   前記プロジェクション部に対して、前記第１の照射時間帯に前記第１の照射時間間隔で前記照射パターンを第１の照射回数異なる照射位置に照射するように照射指示を行い、特徴点撮像部に対して、前記プロジェクタによる前記照射パターンの照射と同期して、少なくともプロジェクタの照射領域の一部を含む領域を、前記第１の照射時間帯に前記第１の照射時間間隔で前記第１の照射回数、撮像するように撮像指示をするキャリブレーションフェーズ指示部と、
   前記電子機器それぞれから、前記特徴点撮像部により撮像した前記第１の照射時間間隔で前記第１の照射回数、照射した各照射映像を撮像した撮像データの集合を取得する特徴点取得部と、
   前記撮像データの集合から、それぞれ前記照射パターンの位置を検出し、特徴点として抽出する特徴点検出部と、
   前記特徴点撮像部ごとに取得した前記撮像データの集合間で、同じ照射タイミングで照射された照射映像を撮像した撮像データにおける特徴点をそれぞれ対応点として抽出する、対応点抽出部と、
   前記対応点抽出部により抽出した対応点に基づき、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出する第１キャリブレーション部と、を備える常時キャリブレーションシステム。
2. 前記不可視光線は赤外線であり、
   前記特徴点撮像部は赤外線カメラであり、
   前記第１キャリブレーション部は、
   前記対応点抽出部により抽出される対応点が８個以上ある場合に、８点アルゴリズムにより、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出する請求項１に記載の常時キャリブレーションシステム。
3. 前記不可視光線は赤外線であり、
   前記特徴点撮像部は赤外線ステレオカメラであり、
   前記第１キャリブレーション部は、
   前記対応点抽出部により抽出される対応点が４個以上ある場合に、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出する請求項１に記載の常時キャリブレーションシステム。
4. 前記照射パターンは、その形状が点又はカギ状の線分である、請求項１から請求項３のいずれか１項に記載の常時キャリブレーションシステム。
5. 前記照射パターンは、その輝度が所定の閾値と等しいか又は当該閾値を超える、請求項１から請求項４のいずれか１項に記載の常時キャリブレーションシステム。
6. 前記特徴点検出部は、撮像データから輝度が前記閾値を超える個所を検出する、請求項５に記載の常時キャリブレーションシステム。
7. 前記電子機器は、それぞれ、
   深度カメラ部を備え、
   前記制御装置は、さらに、
   前記プロジェクション部による照射パターンの照射を開始する直前、又は前記第１の照射時間間隔で前記第１の照射回数、照射を実行した直後に、すべての前記深度カメラ部に対して、同時に被写体の撮像指示を行う深度データ取得フェーズ指示部を備え、
   前記深度カメラ部のそれぞれから、画像データを撮像したタイムスタンプと、前記深度カメラ部の備える深度カメラ座標系における座標位置と、を含む点群データの集合を取得する点群データ取得部と、
   を備える、請求項１から請求項６の何れか１項に記載の常時キャリブレーションシステム。
8. 前記深度カメラ部が、前記特徴点撮像部を備える、請求項７に記載の常時キャリブレーションシステム。
9. 前記制御装置は、さらに、
   前記電子機器ごとに、予め前記特徴点撮像部の備えるカメラ座標系と前記深度カメラ部の備える深度カメラ座標系との間の座標変換行列を備え、
   前記座標変換行列と、前記第１キャリブレーション部により算出された前記特徴点撮像部の備えるカメラ座標系と、前記特徴点撮像部と異なる他の特徴点撮像部の備えるカメラ座標系との相対位置関係と、に基づき、前記深度カメラ部で撮像された点群データを所定の３次元座標系における座標値に変換する点群データ座標値変換部と、
   前記点群データを、前記点群データ座標値変換部により変換された前記所定の３次元座標系における座標値に基づいて、重なる部分の位置合わせを行うことで、１つの合成点群データを作成する合成点群データ作成部と、を備える請求項７又は請求項８に記載の常時キャリブレーションシステム。
10. 予め設定された第１の照射時間帯に予め設定された第１の照射時間間隔で予め設定された第１の照射回数、不可視光線（赤外線）により予め形状の設定された照射パターンを所定の照射領域内に照射するプロジェクタを有し、前記第１の照射時間間隔ごとに前記照射パターンの照射される位置が異なるように照射するプロジェクション部と、前記プロジェクション部により前記照射パターンが照射されるタイミングと同期して、少なくとも前記所定の照射領域の一部を含む領域を撮像する特徴点撮像部を備える、２以上の移動可能な電子機器と、通信可能に接続されるコンピュータにより、
    前記プロジェクション部に対して、前記第１の照射時間帯に前記第１の照射時間間隔で前記照射パターンを第１の照射回数異なる照射位置に照射するように照射指示を行い、前記特徴点撮像部に対して、前記プロジェクタによる前記照射パターンの照射と同期して、少なくともプロジェクタの照射領域の一部を含む領域を、前記第１の照射時間帯に前記第１の照射時間間隔で前記第１の照射回数、撮像するように撮像指示をするキャリブレーションフェーズステップと、
    前記電子機器それぞれから、前記特徴点撮像部により撮像した前記第１の照射時間間隔で前記第１の照射回数、照射した各照射映像を撮像した撮像データの集合を取得する撮像データ取得ステップと、
    前記撮像データの集合から、それぞれ前記照射パターンの位置を検出し、特徴点として抽出する特徴点検出ステップと、
    前記特徴点撮像部ごとに取得した前記撮像データの集合間で、同じ照射タイミングで照射された照射映像を撮像した撮像データにおける特徴点をそれぞれ対応点として抽出する、対応点抽出ステップと、
    前記対応点抽出ステップにおいて抽出した対応点に基づき、前記特徴点撮像部の１つである特徴点撮像部の備えるカメラ座標系と、他の特徴点撮像部の備えるカメラ座標系との相対位置関係を、前記対応点に基づいて算出するキャリブレーションステップと、を備える常時キャリブレーション方法。
11. コンピュータに、請求項１０に記載の各ステップを実行させるためのコンピュータプログラム。

Images