JP2015106287A - キャリブレーション装置及び方法 - Google Patents

Abstract

【課題】 カメラやプロジェクタから構成される三次元計測装置のキャリブレーションを高精度に行う。【解決手段】 少なくとも１つの撮像装置と校正用物体とのうち少なくともいずれか一方を所定の方向に所定の移動量で移動させる毎に撮像装置により撮影される画像を取得し、前記所定の方向の概略値と前記撮像装置のパラメータの概略値を取得し、前記画像から前記校正用物体上の指標を検出する検出し、前記検出手段によって検出される指標の画像上の画像座標と保持される指標の位置情報との対応と、前記所定の移動量とに基づいて、前記所定の方向の概略値と前記撮像装置のパラメータの概略値を補正することにより、前記撮像装置に関するパラメータを導出する導出する。【選択図】 図１

Description

本発明はカメラを含んだ計測装置のキャリブレーション方法に関する。

画像を利用する三次元計測技術は、実物からの三次元モデル生成や物体の位置姿勢計測など様々な目的に利用することができる。画像を利用する三次元計測の方法としては、相対的な位置及び姿勢が既知な二台のカメラ（ステレオカメラ）により撮影された画像をもとに三角測量の原理に基づいて行う方法が一般的である。また、三次元計測の信頼性を高めるために、ステレオカメラの一方のカメラをプロジェクタなどの照明装置に置き換えることも広く行われている。

三角測量の原理に基づいて三次元計測を行うためには、カメラ（プロジェクタ）の内部パラメータ及びカメラとカメラ（またはカメラとプロジェクタ）の間の相対的な位置及び姿勢を事前にキャリブレーションしておく必要がある。

特許文献１には、指標が配置された平面を、平面に垂直な方向に移動ステージを用いて既知の移動量だけ移動させることで、指標が三次元的に分布したとみなせる校正用物体を用いてカメラ及びプロジェクタのキャリブレーションを行う方法が開示されている。この場合、校正用物体上の指標の三次元座標は、指標の平面上の座標と移動ステージの移動量によって決定される。

特開平１１−１６６８１８号公報

Ｚ． Ｚｈａｎｇ， "Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， ｖｏｌ．２２， ｎｏ．１１， ｐｐ．１３３０−１３３４， ２０００．

特許文献１に開示される方法では、指標が配置された平面を移動ステージによって移動させる方向が取り付け誤差などによって平面に垂直な方向に一致しない場合には、校正用物体上の指標の座標に誤差が含まれるためにキャリブレーションの精度が低かった。

本発明は、上記の課題に鑑みてなされたものであり、カメラを含んだ計測装置のキャリブレーションを高精度に行うことを目的とする。

上記の課題を解決するために、本発明のキャリブレーション装置は、少なくとも１つの撮像装置と校正用物体とのうち少なくともいずれか一方を所定の方向に所定の移動量で移動させる毎に撮像装置により撮影される画像を取得する取得手段と、前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを取得する概略値取得手段と、前記校正用物体上の指標の位置情報を保持する保持手段と、前記画像から前記校正用物体上の指標を検出する検出手段と、前記検出手段によって検出される指標の画像上の画像座標と前記保持される指標の位置情報との対応と、前記所定の移動量とに基づいて、前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを補正することにより、前記撮像装置に関するパラメータを導出する導出手段とを有する。

本発明により、カメラを含んだ計測装置のキャリブレーションを高精度に行うことができる。

第１の実施形態に係るキャリブレーション装置１の概略構成の一例を示すブロック図である。 第１の実施形態におけるキャリブレーション時の機器の配置を説明する図である。 ３次元空間中の点の画像への投影モデルを表す図である。 校正用物体とカメラの位置関係を説明する図である。 第１の実施形態でのキャリブレーションの処理手順を示すフローチャートである。 パラメータ算出の処理手順を示すフローチャートである。 カメラの内部パラメータ算出の処理手順を示すフローチャートである。 カメラ間の相対的な位置及び姿勢の算出の処理手順を説明するフローチャートである。 第２の実施形態におけるキャリブレーション時の機器の配置を説明する図である。 第３の実施形態に係るキャリブレーション装置３の概略構成の一例を示すブロック図である。 特徴検出部３５０の詳細な構成を示すブロック図である。 第３の実施形態における指標のプロジェクタ画像上の座標と世界座標との対応付けの処理手順を説明するフローチャートである。 グレイコードパターンのパターン画像を表す図である。 第４の実施形態におけるキャリブレーション時の機器の配置を説明する図である。 第４の実施形態における校正用物体とカメラ及びプロジェクタの配置を説明する図である。 第５の実施形態におけるパラメータ算出の手順を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
第１の実施形態では、２台のカメラ（ステレオカメラ）によって構成される三次元計測装置のキャリブレーションを行う場合について説明する。また、本実施形態では、校正用物体をシーン中に固定し、三次元計測装置（ステレオカメラ）を移動ステージによって移動させるものとする。キャリブレーション対象のパラメータは、２台のカメラの内部パラメータ及びカメラ間の相対的な位置及び姿勢である。なお、本実施形態では、移動ステージによって移動したときの各位置における校正用物体に対する各カメラの姿勢は同じであるとする。

図１は、本実施形態に係るキャリブレーション装置１の概略構成の一例を示すブロック図である。図１に示すように、キャリブレーション装置１は、画像入力部１４０、特徴検出部１５０、パラメータ算出部１６０、移動情報保存部１７０、校正用物体情報保存部１８０から構成されている。また、キャリブレーション装置１には、制御部１００、第１の撮像部１１０、第２の撮像部１２０、校正情報保存部１９０が接続されている。

図２は、本実施形態において三次元計測装置のキャリブレーションを行う際の機器の配置を示している。図２に示すように、校正用物体を構成する平面上に円形の指標を等間隔に配置する。また、本実施形態では、キャリブレーション計算を安定化させるために校正用物体の平面以外の部分にも指標を配置する。以下、校正用物体の平面上にある指標を平面マーカ、平面以外の部分にある指標を立体マーカと呼ぶ。ただし、立体マーカを校正用物体上に配置することは必須ではなく、平面マーカのみが配置された校正用物体を利用してもよい。

校正用物体に平面マーカと立体マーカ（立体指標）を配置することで、校正用物体上の指標の分布が３次元的になるようにする。校正用物体上に三次元の座標系（以下、世界座標系と呼ぶ）を規定するために、平面マーカの一部を同心円にする。

以下、同心円の平面マーカを同心円マーカと呼ぶ。本実施形態では、同心円マーカをＬ字状に配置し、Ｌ字の角の部分にあたる同心円マーカの中心位置を世界座標系の原点とする。また、平面の法線方向を世界座標系のＺ軸とし、Ｌ字の長手方向をＸ軸、短手方向をＹ軸とする。平面マーカは世界座標系における平面Ｚ＝０上にあるとする。世界座標系における各指標の三次元座標（位置情報）は、校正用物体情報保存部１８０に保存される。これらの座標は、校正用物体の設計値をそのまま用いてもよいし、接触式の三次元座標計測機などの計測機を用いて別途計測された座標を用いてもよい。

第１の撮像部１１０、第２の撮像部１２０は濃淡またはカラー画像を撮影するカメラである。第１の撮像部１１０、第２の撮像部１２０は、制御部１００からの指示をもとに画像の撮影を行う。第１の撮像部１１０、第２の撮像部１２０はそれぞれ図２におけるカメラＬ、カメラＲに相当する。カメラＬ、カメラＲは互いの相対的な位置及び姿勢が変化しないように固定されており、ステレオカメラを構成している。

移動部１３０は、ステレオカメラを直線上で移動させるための移動ステージである。移動部１３０は図２における移動ステージに相当する。キャリブレーション時には、移動ステージによってステレオカメラは予め決められた間隔で直線上を移動する。なお、予め決められた間隔は、一定の間隔であっても異なる間隔であってもよい。

制御部１００は、第１の撮像部１１０、第２の撮像部１２０、移動部１３０の制御を行う。制御部１００はコンピュータによって実現される。キャリブレーション用の画像を撮影する際には、制御部１００は移動部１３０に予め決められた距離だけ移動するよう指示を行い、移動が終了する毎に第１の撮像部１１０、第２の撮像部１２０に画像を撮影するよう指示を行う。

制御部１００と移動部１３０は、例えばＲＳ−２３２Ｃケーブルによって接続されており、ＲＳ−２３２Ｃのインタフェースを介して移動の指示を送る。また、制御部１００と第１の撮像部１１０、第２の撮像部１２０は、例えばカメラリンクケーブルによって接続されており、カメラリンクのインタフェースを介して撮影の指示を送る。しかしながら、制御部１００と移動部１３０、制御部１００と第１の撮像部１１０、第２の撮像部１２０の接続方法はこれに限るものではなく、ＵＳＢやＩＥＥＥ１３９４、ＧｂＥなど他の接続方法であっても本発明の本質を損ねるものではない。

以下では、本実施形態のキャリブレーション装置１の画像入力部１４０、特徴検出部１５０、パラメータ算出部１６０、移動情報保持部１７０、校正用物体情報保持部１８０のそれぞれについて説明を行う。キャリブレーション装置１は、例えばメモリとＣＰＵとを備えるパーソナルコンピュータによって実現される。そして、キャリブレーション装置１は、図１に示す構成がプログラムもしくは回路として組み込まれている。なお、移動情報保持部１７０および校正用物体情報保持部１８０は例えば、メモリやハードディスクなどから構成される。

画像入力部１４０は、移動部１３０によって予め決められた間隔だけステレオカメラが移動する毎に、第１の撮像部１１０、第２の撮像部１２０が撮影する校正用物体の画像を入力する。画像の入力は、例えばカメラリンクのインタフェースを介して行う。しかしながら、画像の入力方法はこれに限るものではなく、ＵＳＢやＩＥＥＥ１３９４、ＧｂＥなど他のインタフェースを介して入力してもよい。

また、画像を撮影する時に画像入力部１４０と第１の撮像部１１０、第２の撮像部１２０が接続している必要は必ずしもなく、予め撮影を行って不図示の記憶媒体上に保存した画像を読み出して入力してもよい。入力された画像は、例えば、キャリブレーション装置１内のメモリやハードディクスに記憶される。

特徴検出部１５０は、画像入力部１４０を介して入力された画像（メモリ領域に記憶されている）から、校正用物体上の指標を検出し、校正用物体情報保存部１８０に保存された指標との対応付けを行う。特徴検出部１５０は、対応付けの結果として、指標の画像上の座標と校正用物体情報保存部１８０に保存された指標の世界座標との対応をパラメータ算出部１６０へと出力する。

移動情報保存部１７０は、移動部１３０によってステレオカメラが直線上を移動した時の移動間隔を保持する。保持する移動間隔は、例えば制御部１００が移動部１３０に与えた制御値であってもよいし、移動部１３０に移動量を検知するエンコーダが付属してる場合はエンコーダの値から得てもよい。

パラメータ算出部１６０は、特徴検出部１５０から出力される指標の画像上の座標と世界座標との対応及び移動情報保存部１７０に保存された移動量をもとに、各カメラの内部パラメータ及びカメラ間の相対的な位置及び姿勢の算出を行う。詳細については後述する。

校正情報保存部１９０は、パラメータ算出部１６０によって算出された２台のカメラの内部パラメータ及びカメラ間の相対的な位置及び姿勢を保存する。

次に、本実施形態におけるカメラの投影モデルについて説明する。図３に示すように、カメラ座標系（三次元）を、Ｚ軸が光軸と一致し、Ｘ軸、Ｙ軸がそれぞれ画像の水平方向、垂直方向と平行になるようにとる。カメラ座標系の原点はカメラのレンズ中心とする。カメラ座標系における三次元座標が（Ｘ_ｃ，Ｙ_ｃ，Ｚ_ｃ）の点は、ピンホールカメラモデルによって数１で表される正規化画像座標（ｘ_ｃ，ｙ_ｃ）に投影される。

ここで正規化画像座標とは、カメラ座標系においてＺ＝１の位置に画像面を設定したときの画像面上での位置である。正規化座標系の原点は光軸（Ｚ軸）と画像面の交点であり、ｘ軸、ｙ軸はそれぞれ画像の水平方向、垂直方向と平行であるとする。正規化画像座標が（ｘ_ｃ，ｙ_ｃ）の点の実画像上での座標（以下、ピクセル座標）（ｕ_ｃ，ｖ_ｃ）は数２で表される。

ここで、ｆ_ｘ、ｆ_ｙは焦点距離、（ｃ_ｘ，ｃ_ｙ）は画像中心の座標（正規化画像座標系の原点の実画像上でのピクセル座標）である。数３に示すように、実際のカメラによって撮影される場合には正規化画像座標にレンズ歪みの影響が加わる。

ただし、

である。ｋ_１，ｋ_２，ｋ_３は半径方向の歪み係数、ｐ_１，ｐ_２は接線方向の歪み係数である。焦点距離ｆ_ｘ、ｆ_ｙ、画像中心ｃ_ｘ、ｃ_ｙ、歪み係数ｋ_１，ｋ_２，ｋ_３，ｐ_１，ｐ_２をカメラの内部パラメータと呼ぶ。

次に、校正用物体の座標系（世界座標系）からカメラ座標系への座標変換について説明する。図４に示すように、カメラ（カメラ座標系の原点）が移動ステージによって移動する直線（以下、直線Ａ）と世界座標系の平面Ｚ_ｗ＝０の交点ａの世界座標をｔ_ｌ＝［ｔ_ｘ ｔ_ｙ ０］^ｔとする。

また世界座標系における直線Ａの方向ベクトルをｄ_ｌ＝［ｄ_ｘ ｄ_ｙ ｄ_ｚ］^ｔ（ｄ_ｘ ^２＋ｄ_ｙ ^２＋ｄ_ｚ ^２＝１）とする。カメラの初期位置を交点ａから直線Ａに距離Ｚ_０だけ離れた位置とし、移動ステージによりカメラは毎回ΔＺずつ移動するものとする。移動ステージをｉ回（ｉ＝０，１，．．，Ｍ−１）動かした時のカメラ座標Ｘ_ｃと世界座標Ｘ_ｗとの関係は数４のようになる。

ここでＲ_ｗｃは世界座標系におけるカメラの姿勢を表す３×３回転行列である。前述したように、本実施形態では、移動ステージによる移動により世界座標系におけるカメラの姿勢は変化しないという前提であるため、Ｒ_ｗｃはカメラが移動しても変化しない。数４を変形することにより数５が得られる。

ただし

である。

図５は、本実施形態における三次元計測装置のキャリブレーションの処理手順を示すフローチャートである。

（ステップＳ１０１０）
ステップＳ１０１０では、本実施形態におけるキャリブレーションの初期化処理を行う。まず、校正用物体に関する情報を不図示の記憶装置から読み込んで校正用物体情報保持部１８０に保持させる。前述したように、校正用物体情報保持部１８０が保持する情報は、世界座標系における各指標の三次元座標（Ｘ_ｗ， Ｙ_ｗ， Ｚ_ｗ）である。また、移動部１３０によってステレオカメラが直線上を移動した時の移動間隔ΔＺを移動情報保存部１７０に保持させる。ここでは移動間隔ΔＺは常に一定であるとする。

（ステップＳ１０２０）
ステップＳ１０２０では、画像入力部１４０を介してカメラＬ及びカメラＲにより撮影された校正用物体の画像を入力する。移動ステージによってカメラＬ及びカメラＲが直線上を所定の間隔で移動し停止する毎に撮影された画像を入力する。すなわち、移動ステージによりステレオカメラがＭ−１回動く場合、初期位置も含めて２Ｍ枚の画像を入力する。

（ステップＳ１０３０）
ステップＳ１０３０では、ステップＳ１０２０で入力された画像から指標（円形マーカ）の検出を行う。指標の検出処理は、ステップＳ１０２０で入力されたすべての画像に対して行う。図２に示すように校正用物体は白色であり、指標は黒色の円であることから、画像の二値化及び黒色の領域のラベリング処理を行って円領域の候補を抽出し、各円領域の候補の面積を閾値処理することで指標に相当する領域を検出する。

また、座標系を規定する同心円マーカについては、同様に二値化及びラベリング処理の結果をもとに、黒色の領域の中に白色の領域がありかつ既定の面積以上の領域として検出を行う。

画像から指標を検出した後、検出された指標の対応付けを行う。まず、画像上で同心円マーカがのる２本の直線を推定し、２本の直線の交点付近にある指標を原点の指標と対応付ける。原点に対応付けられた指標及び前述の２本の直線の方向をもとに他の指標の対応付けを行う。対応付け結果はカメラ毎に保持される。対応の情報は、指標の世界座標系上の座標

及びカメラ画像上の座標

移動ステージの移動回数ｉの組として保持する。

（ステップＳ１０４０）
ステップＳ１０４０では、ステップＳ１０３０までに得られた対応の情報を用いて、カメラＬ及びカメラＲの内部パラメータ及びカメラＬとカメラ２の間（撮像装置間）の相対的な位置及び姿勢を算出する。図６は、ステップＳ１０４０におけるパラメータ算出（導出）の手順を示すフローチャートである。以下、図６のフローチャートに基づいてパラメータ算出の詳細な手順について説明する。

（ステップＳ１１１０）
ステップＳ１１１０では、まずカメラＬの内部パラメータの算出を行う。図７は、カメラの内部パラメータを算出する処理手順を説明するフローチャートである。本ステップでは、まず初期値を必要としない方法により未知パラメータの概略値の算出（概略値取得）を行った後、数６に示される評価関数が最小となるような未知パラメータを非線形最適化により算出する。

ただし、

は算出される未知パラメータに基づいて計算される指標の座標、

は画像上で検出された指標の座標である。また、Ｎは対応付けされた指標の総数である。

（ステップＳ１２１０）
ステップＳ１２１０では、未知パラメータの概略値の算出を行う。概略値の算出においては、レンズ歪みの影響は無視するものとする。ここで未知パラメータとは、レンズ歪み係数以外のカメラの内部パラメータ（焦点距離、画像中心）、世界座標系におけるカメラの姿勢、カメラが移動ステージによって移動する直線のパラメータ、直線上のカメラの初期位置である。

概略値の算出は、次のような順序で行う。まず直線Ａが撮影画像上に投影される位置（Ａ_ｘ，Ａ_ｙ）を後述する画像処理により求める。（Ａ_ｘ，Ａ_ｙ）を用いることでカメラの内部パラメータの画像中心を未知パラメータから除外することができる。次に、（Ａ_ｘ，Ａ_ｙ）と平面マーカの対応情報をもとに直線Ａが平面Ｚ_ｗ＝０を通過する位置を求める。最後に、残ったパラメータを算出する。

（１） Ａ_ｘ，Ａ_ｙの算出
カメラ座標系における直線Ａの方向ベクトルをｄ_ｃ＝［ｄ_ｃｘ ｄ_ｃｙ ｄ_ｃｚ］^ｔと表すと、レンズ歪みの影響を無視する場合には、画像上に投影される直線Ａのピクセル座標（Ａ_ｘ，Ａ_ｙ）は次式のように表される。

ただし、ｄ_ｃ＝ Ｒ_ｃｗ ｄ_ｌである。
一方、カメラを直線Ａ上で移動させた場合、校正用物体上の各指標の画像座標（ピクセル座標）の移動軌跡は理論的には一点（Ａ_ｘ，Ａ_ｙ）で交わる。そこで、カメラの位置を変えて撮影したときの校正用物体上の各指標の移動軌跡をもとに （Ａ_ｘ，Ａ_ｙ）を算出する。

（２） ｔ_ｘ，ｔ_ｙの算出
次に、直線Ａと平面Ｚ_ｗ＝０との交点ａの平面座標（ｔ_ｘ，ｔ_ｙ）を算出する。ステップＳ１０３０で得られる平面マーカのピクセル座標（ｕ，ｖ）と平面座標（Ｘ_ｗ，Ｙ_ｗ）との対応からピクセル座標と平面座標の変換行列を算出し、（Ａ_ｘ，Ａ_ｙ）を平面座標（ｔ_ｘ，ｔ_ｙ）をに変換する。

（３）他のパラメータの推定
ｄ_ｃ＝ Ｒ_ｃｗ ｄ_ｌであることから、数５における世界座標系からカメラ座標系への変換を次式のように表し直す。

数２、数７、数８より正規化画像座標からピクセル座標への変換は次式のように表すことができる。

回転行列Ｒ_ｃｗを次のように表す。

数１、数８、数９、数１０より

ただし、

である。数１１は、対応付けられたすべての指標について成り立つ。そこで、数１１を各指標について立式したものを連立方程式として未知パラメータ

を算出する。Ｐの各成分は例えば最小二乗法により算出する。Ｐの各成分を算出した後、数１２の１１個の式及び回転行列の正規直交性及びｄ_ｃが単位ベクトルであることを利用して、回転行列Ｒ_ｃｗの各要素、直線上のカメラの初期位置Ｚ_０、方向ベクトルｄ_ｃの各成分、焦点距離ｆ_ｘ、ｆ_ｙを算出する。なお、複数の解の組合せが存在する場合には、焦点距離が正の値になるといった妥当な解の組合せを選択することで一意な解を得る。さらに、算出されたｆ_ｘ、ｆ_ｙ、Ａ_ｘ、Ａ_ｙ、ｄ_ｃを用いて数７からｃ_ｘ、ｃ_ｙを算出する。最後に

からｄ_ｌを算出する。

以上のようにして、未知パラメータである焦点距離ｆ_ｘ、ｆ_ｙ、画像中心ｃ_ｘ、ｃ_ｙ、カメラが移動する直線の方向ベクトルｄ_ｌ、カメラの姿勢を表す３×３回転行列Ｒ_ｃｗ、直線上のカメラの初期位置Ｚ_０の概略値を算出する。レンズ歪み係数［ｋ_１ ｋ_２ ｋ_３ ｐ_１ ｐ_２］^ｔの概略値はすべて０とする。

なお、ステップＳ１２１０では、検出された指標の対応情報をもとに未知パラメータの概略値を計算により算出したが、設計パラメータなど概略値として利用可能な情報があらかじめ分かっている場合には必ずしも概略値を計算によって求めなくてもよい。

（ステップＳ１２２０）
ステップＳ１２２０では、ステップＳ１２１０で得られた未知パラメータの概略値を初期値として、数６に示される評価関数が最小となるように未知パラメータの最適化を行う。最適化の対象となる未知パラメータは、カメラの内部パラメータ、カメラが移動する直線の方向ベクトルｄ_ｌ、直線上のカメラの初期位置Ｚ_０、世界座標系に対するカメラの姿勢である。最適化計算は、例えばガウス・ニュートン法によって行う。しかしながら、最適化計算の方法はこれに限るものではなく、数６に示される評価関数を最小化する方法であれば他のいかなる方法であってもよい。例えば、ニュートン法や最急降下法、共役勾配法を用いてもよい。

（ステップＳ１１２０）
ステップＳ１１２０では、カメラＲの内部パラメータのキャリブレーションを行う。ステップＳ１１２０の処理はステップＳ１１１０の処理と同一であるため説明を省略する。

（ステップＳ１１３０）
ステップＳ１１１０、Ｓ１１２０においてカメラＬ、カメラＲの内部パラメータのキャリブレーションを行った後、ステップＳ１０３０では、カメラＬとカメラＲの相対的な位置及び姿勢のキャリブレーションを行う。図８はカメラＬとカメラＲの相対的な位置及び姿勢を算出する処理手順を説明するフローチャートである。本ステップでは、まず初期値を必要としない方法により未知パラメータの概略値の算出を行った後、数１３によって示される評価関数が最小となるように非線形最適化によって未知パラメータを算出する。

ただし、

は算出される未知パラメータに基づいて計算されるカメラＬの画像上での指標の座標、

はカメラＬの画像上で検出された指標の座標、

は算出される未知パラメータに基づいて計算されるカメラＲの画像上での指標の座標、

はカメラＲの画像上で検出された指標の座標である。また、Ｎ_１、Ｎ_２はそれぞれカメラＬ、カメラＲにより撮影された画像における対応付けされた指標の総数である。

（ステップＳ１３１０）
ステップＳ１３１０では、カメラＬに対するカメラＲの相対的な位置及び姿勢（位置姿勢）の概略値を算出する。カメラＬに対するカメラＲの相対的な位置及び姿勢の概略値は、ステップＳ１１１０、Ｓ１１２０における内部パラメータのキャリブレーション時に算出された世界座標系に対する各カメラの位置及び姿勢をもとに算出する。また、カメラが移動する直線の方向ベクトルや直線上のカメラの初期位置の概略値は、カメラＬのカメラの内部パラメータのキャリブレーション時に算出された値を用いる。

しかしながら、概略値の算出方法はこれに限るものではなく、夫々のカメラの内部パラメータのキャリブレーション時に算出された値の組合せのうち、数１４の値が小さくなる組合せを概略値として用いてもよい。

（ステップＳ１３２０）
ステップＳ１３２０では、ステップＳ１３１０で得られた未知パラメータの概略値を初期値として、数１３に示される評価関数が最小となるように未知パラメータの最適化を行う。

本ステップにおける未知パラメータは、カメラＬに対するカメラＲの相対的な位置及び姿勢、カメラが移動する直線の方向ベクトル、世界座標系におけるカメラＬの姿勢、直線上のカメラＬの初期位置である。本ステップにおける最適化はステップＳ１２２０で説明したものと同様であるため説明を省略する。

以上述べた方法によって、ステレオカメラによって構成される三次元計測装置のキャリブレーションを行う。

以上述べたように、第１の実施形態では、三次元計測装置（ステレオカメラ）を移動ステージによって移動させたときの移動間隔を既知として、三次元計測装置のキャリブレーションを行う方法について説明した。

キャリブレーションの際に三次元計測装置が直線上を移動しかつ移動間隔が既知であるという制約条件をキャリブレーション計算に利用することで、移動方向に関するパラメータが未知であっても高精度にキャリブレーションすることが可能になる。また、事前に校正用物体における特定の方向と移動ステージによる移動の方向を一致させる必要がなくなり、三次元計測装置のキャリブレーションが簡便化される。

本発明によってキャリブレーションされる三次元計測装置の一例が２台のカメラから構成されるステレオカメラである。

しかしながら、三次元計測装置の構成はこれに限るものではなく、３台以上のカメラを用いてもよい。この場合には、各カメラの内部パラメータをカメラ毎に推定した後、全てのカメラの画像上で検出された指標の再投影誤差の和を最小化するようにカメラ間の相対的な位置及び姿勢を推定すればよい。

（第２の実施形態）
第１の実施形態では、校正用物体をシーン中に固定し、移動ステージによって三次元計測装置（ステレオカメラ）を移動させる場合に本発明を適用したときのキャリブレーション方法について説明した。第２の実施形態では、三次元計測装置を固定し、校正用物体を移動ステージによって移動させる場合のキャリブレーション方法について説明する。

第２の実施形態における三次元計測装置１の概略構成は図１と同一であるので説明を省略する。但し、図９に示すように、第２の実施形態では移動部１３０はステレオカメラではなく校正用物体を所定の間隔で直線上に移動させる。ステレオカメラを構成する各カメラは、移動部１３０によって校正用物体が所定の間隔だけ移動させられるごとに、校正用物体の画像を撮影する。なお、第１の実施形態でも述べたように、移動ステージによって移動させる間隔は、既知の情報として得られるのであれば一定であっても、移動毎に異なっていてもよい。

次に、第２の実施形態における校正用物体の座標系からカメラ座標系への変換について説明する。第２の実施形態では、移動ステージ上での初期位置にあるときの校正用物体の座標系を世界座標系であるとする。校正用物体は、移動ステージにより毎回ΔＺずつ移動するものとする。また世界座標系における移動ステージによる移動方向のベクトルをｄ_ｌ＝［ｄ_ｘ ｄ_ｙ ｄ_ｚ］^ｔ（ｄ_ｘ ^２＋ｄ_ｙ ^２＋ｄ_ｚ ^２＝１）とする。

移動ステージをｉ回（ｉ＝０，１，…，Ｍ−１）動かした時の校正用物体上での座標Ｘ_ｂと世界座標Ｘ_ｗとの関係は数１４のように表される。

カメラ座標系に対する世界座標系の姿勢を表す３×３回転行列をＲ_ｃｗ、位置を表す３次元ベクトルをｔ_ｃｗとすると，カメラ座標と世界座標との関係は数１５のように表される。

一方、世界座標系に対するカメラ座標系の位置をｔ_ｗｃを次式のように表す。

但し

であり、ｄ_ｌとｔ_ｌは平行でないものとする。ｔ_ｗｃとｔ_ｃｗの間には次式のように関係がある。

数１４、数１５、数１６、数１７から次式が得られる。

数１８は、第１の実施形態における数５とほぼ同じ形になっている（（Ｚ_０＋ｉΔＺ）ｄ_ｌの符号が反転しているのは、第１の実施形態でカメラが移動する方向と第２の実施形態で校正用物体が移動する方向が反対であるためである）。

これは、校正用物体を固定して移動ステージによりカメラを移動させる場合と、カメラを固定して移動ステージにより校正用物体を移動させる場合とが等価であることを示している。そのため、カメラを固定して移動ステージにより校正用物体を移動させて撮影した画像を用いる場合にも、第１の実施形態で開示した方法によりキャリブレーションを行うことができる。以降の処理は第１の実施形態と同等であるため説明を省略する。
以上述べたように、第２の実施形態では、校正用物体を移動ステージによって直線上を移動させたときの移動間隔を既知として、三次元計測装置のキャリブレーションを行う方法について説明した。

校正用物体が移動ステージによって移動する場合であっても、校正用物体が直線上を移動しかつ移動間隔が既知であるという制約条件を利用することで、移動方向に関するパラメータが未知であっても高精度にキャリブレーションすることが可能になる。

また、事前に校正用物体における特定の方向と移動ステージによる移動の方向を一致させる必要がなくなり、三次元計測装置のキャリブレーションが簡便化される。

（第３の実施形態）
第１の実施形態及び第２の実施形態では、三次元計測装置として２台のカメラから構成されるステレオカメラを対象としたキャリブレーション方法について説明した。本実施形態では、ステレオカメラの一方をプロジェクタに置き換えた三次元計測装置のキャリブレーションに本発明を適用した場合について述べる。

図１０は、本実施形態に係るキャリブレーション装置３の概略構成の一例を示すブロック図である。

キャリブレーション装置３は、画像入力部３４０、特徴検出部３５０、パラメータ算出部３６０、移動情報保存部３７０、校正用物体情報保存部３８０から構成されている。また、キャリブレーション装置３には、制御部３００、撮像部３１０、照明部３２０、校正情報保存部３９０が接続されている。なお本実施形態で用いる校正用物体は第１の実施形態で用いた校正用物体と同一であるため説明を省略する。

撮像部３１０は、濃淡またはカラー画像を撮影するカメラである。また、照明部３２０は投影型のプロジェクタである。プロジェクタは、常に決まったパターンや画像を空間中に投影するものであってもよいし、任意の画像を切り替えて投影するものであってもよい。

ここでは、任意の画像を切り替えて投影することができるプロジェクタを利用するものとする。図２に示す２台のカメラと同様に、カメラとプロジェクタは互いの相対的な位置及び姿勢が変化しないように固定されている。

プロジェクタは、輝度値が一様なパターン及びキャリブレーション用のパターン画像を照射する。一様なパターンを照射して撮影された画像は校正用物体上の指標の検出に利用する。常に決まったパターンを投影するプロジェクタを用いる場合には、プロジェクタによる投影を行わず、環境光のもとで撮影された画像を校正用物体上の指標の検出に利用する。

本実施形態では、キャリブレーション用のパターン画像として空間コード化法のパターンを投影する。空間コード化法では各画素の空間コードを決定するために複数の縞パターン画像を切り替えて投影・撮像する。本実施形態では、プロジェクタは水平及び垂直方向の縞パターンを照射するものとする。プロジェクタは、制御部３００からの指示をもとにパターンの投影を行う。カメラは制御部３００からの指示に基づいてプロジェクタがパターンを投影したら、画像の撮影を行う。

移動部３３０は、カメラとプロジェクタを直線上で移動させるための移動ステージである。本実施形態では、第１の実施形態と同様に、移動ステージによりカメラとプロジェクタを所定の間隔で直線上を移動させ、シーン中に固定された校正用物体の画像を撮影する。校正用物体には一様なパターン及びプロジェクタのキャリブレーション用のパターン画像を照射して別々に画像を撮影する。

制御部３００は、第２の撮像部１２０の替わりに照明部３２０の制御を行う以外は実施例１の制御部１００と同一の機能を持つため説明を省略する。

画像入力部３４０は、制御部３００によって移動部３３０が所定の距離だけ移動するごとに、撮像部３１０が撮影する校正用物体の画像をコンピュータに入力する。第１の実施形態の画像入力部１４０と同様に、画像入力部３４０と撮像部３１０が必ずしも接続している必要はなく、予め撮影を行って不図示の記憶媒体上に保存した画像を読みだして入力してもよい。

校正用物体情報保存部３８０の機能は第１の実施形態の校正用物体情報保存部１８０の機能と同一であるため説明を省略する。

特徴検出部３５０は、画像入力部３４０を介して入力された画像から、校正用物体上の指標を検出し校正用物体情報保存部３８０に保存された指標との対応付けを行う。

図１１は、特徴検出部３５０の詳細な構成を示すブロック図である。特徴検出部３５０は、指標検出部３５１、パターン検出部３５２から構成される。指標検出部３５１の機能は第１の実施形態の特徴検出部１５０の機能と同一であるため説明を省略する。

パターン検出部３５４は、画像入力部３４０を介して入力された縞パターンが照射された画像をもとに各画素の水平・垂直方向の空間コード及び水平・垂直方向の空間コードの境界座標を算出する。指標検出部３５１において検出された指標の座標及びパターン検出部３５２において算出された水平・垂直方向の空間コードの境界座標を用いてプロジェクタ画像上での指標の座標を算出し、世界座標と対応付ける。

移動情報保存部３７０は、移動部３３０によって三次元計測装置を構成するカメラとプロジェクタが直線上を移動した時の移動間隔を保持する。

パラメータ算出部３６０は、特徴検出部３５０から得られる指標の画像上の座標と世界座標との対応及び移動情報保存部３７０に保存された移動量をもとに、カメラとプロジェクタの内部パラメータ及びカメラとプロジェクタの間の相対的な位置及び姿勢の算出を行う。

校正情報保存部３９０は、パラメータ算出部３６０によって算出されたカメラとプロジェクタの内部パラメータ及びカメラとプロジェクタの間の相対的な位置及び姿勢を保存する。

第３の実施形態における三次元計測装置のキャリブレーションの処理手順は、基本的には図５に示す第１の実施形態における処理手順と同一である。第１の実施形態と第３の実施形態の違いは二つある。

１つは、ステップＳ１０２０において、輝度値が一様なパターン及びキャリブレーション用のパターン画像を照射した画像を入力する点にある。もう１つの違いは、ステップＳ１０３０において、指標のカメラＲ上の画像上の座標ではなくプロジェクタ画像上の座標を算出し世界座標と対応付けることにある。

ここで、レンズを用いた光学系としてプロジェクタを見た場合、カメラとの違いはレンズを通して画像を入力するか出力するかの違いだけであるとため、プロジェクタの投影モデルはカメラと同じモデルによって記述することができる。そのため、カメラとプロジェクタのキャリブレーションには本質的な違いはなく、同じ方法によって行うことができる。
以下では、指標のプロジェクタ画像上の座標と世界座標と対応付ける方法について説明する。対応付け情報が得られた後のステップＳ１０４０の処理は実施例１と同一であるため説明を省略する。

図１２は、第３の実施形態における指標のプロジェクタ画像上の座標と世界座標と対応付けの処理手順を示すフローチャートである。

（ステップＳ３１１０）
ステップＳ３１１０では、ステップＳ１０２０で入力された一様なパターンを照射して撮影した校正用物体の画像から指標を検出し校正用物体情報保存部３８０に保存された指標の世界座標との対応付けを行う。本ステップの処理は第１の実施形態のステップＳ１０３０と同一であるため説明を省略する。

（ステップＳ３１２０）
ステップＳ３１２０では、ステップＳ１０２０で入力された縞パターンが照射された画像から、水平・垂直方向の空間コードの境界を算出する。空間コード化法で用いられる代表的な縞パターンはグレイコードパターンである（図１３）。

まず、グレイコードパターンを構成する各縞パターンを照射して撮影した画像を二値化し、画素毎に二値化結果（０または１）を並べることにより符号（空間コード）を算出する。

空間コードは、該当する画素に照射されたプロジェクタ画像上でのラインのＩＤを表すものであり、水平方向と垂直方向のそれぞれについて算出する。この結果をもとに、水平方向と垂直方向のそれぞれについて、撮像画像上における空間コードの境界を算出する。

次に、水平方向と垂直方向の空間コードの境界を用いて、垂直・水平方向の縞パターンの交点の座標を算出する。空間コードにより各交点のカメラ画像上での座標とプロジェクタ画像上での座標を対応づけることができる。この対応はステップＳ３１３０で利用する。

（ステップＳ３１３０）
ステップＳ３１３０では、次に指標の世界座標とプロジェクタ画像上の座標の対応付けを行う。

まず、ステップＳ３１１０において世界座標との対応付けができているカメラ画像上で検出された指標毎に、カメラ画像上での近傍領域（ここでは半径ｒ画素以内とする）にある空間コードの交点（ステップＳ３１２０で算出）を探索する。

次に、指標の周辺は局所的に平面であると仮定し、探索された交点のカメラ画像上の座標とプロジェクタ画像上の座標をもとにカメラ画像上の座標をプロジェクタ画像上の座標に変換するホモグラフィー変換を算出する。ホモグラフィー変換は、例えばＲ． Ｈａｒｔｌｅｙ ＆ Ａ． Ｚｉｓｓｅｒｍａｎ「Ｍｕｌｔｉｐｌｅ Ｖｉｅｗ Ｇｅｏｍｅｔｒｙ」（Ｃａｍｂｒｉｄｇｅ Ｕｎｉｖｅｒｓｉｔｙ Ｐｒｅｓｓ）にて開示されているＤｉｒｅｃｔ Ｌｉｎｅａｒ Ｔｒａｎｓｆｏｒｍ（ＤＬＴ）法により算出する。最後に、算出したホモグラフィー変換を用いて指標のカメラ画像上での座標をプロジェクタ画像上での座標に変換する。このようにして、指標の世界座標とプロジェクタ画像上の座標の対応付けを行う。

以上のように得られた指標のプロジェクタ画像上の座標と世界座標との対応付け結果を用いて、第１の実施形態と同様の処理によりプロジェクタの内部パラメータ及びカメラとプロジェクタの間の相対的な位置及び姿勢を算出する。

以上述べたように、第３の実施形態では、カメラとプロジェクタによって構成される三次元計測装置を移動ステージによって移動させた時の移動間隔を既知として、三次元計測装置のキャリブレーションを行う方法について説明した。

三次元計測装置がカメラとプロジェクタから構成される場合であっても、三次元計測装置が直線上を移動しかつ移動間隔が既知であるという制約条件をキャリブレーション計算に利用することで、移動方向に関するパラメータが未知であっても高精度にキャリブレーションすることが可能になる。

さらに副次的な効果として、事前に校正用物体における特定の方向と移動ステージによる移動の方向を一致させる必要がなくなり、三次元計測装置のキャリブレーションが簡便化される。

本実施形態では、カメラとプロジェクタから構成される三次元計測装置のキャリブレーションを行う際に、プロジェクタは空間コード化法に用いる縞パターン画像を投影した。しかしながら、プロジェクタが投影するパターン画像はこれに限るものではなく、パターン画像とカメラ画像の対応をとれるパターン画像であれば他の画像であってもよい。

例えば、複数のパターン画像を投影・撮影するものとしては、位相シフト法のためのパターン画像を投影してもよい。

また、１枚のパターン画像をカメラで撮影した画像からパターン画像とカメラ画像の対応をとれるパターン画像であってもよい。

また、本実施形態では、プロジェクタ画像上の指標の座標を算出するのに、プロジェクタによって投影される空間コードの垂直・水平パターンの交点の座標から推定されるホモグラフィー変換によりカメラ画像上の指標の座標を変換していた。しかしながら、プロジェクタ画像上の指標の座標を算出する方法はこれに限るものではなく、カメラ画像上の指標の座標と近傍の空間コードの垂直・水平パターンの交点への距離をもとに内挿により算出してもよい。

（第４の実施形態）．
第３の実施形態では、プロジェクタの内部パラメータ及びカメラとプロジェクタの相対的な位置及び姿勢のキャリブレーションを、校正用物体上の指標の世界座標とプロジェクタ画像上の座標の対応を用いて行う方法について説明した。これに対し第４の実施系形態では、校正用物体上の指標を用いずに、プロジェクタが投影するパターンのプロジェクタ画像上の座標とカメラ画像上の座標との対応をもとに上記のパラメータのキャリブレーションを行う方法について説明する。

なお本実施形態では、第２の実施系形態と同様に、校正用物体を移動ステージによって移動させる場合のキャリブレーション方法について説明する。

また、本実施形態では、カメラの内部パラメータは第１の実施形態または第２の実施形態で説明した方法等により、あらかじめキャリブレーションされているものとする。また、プロジェクタの内部パラメータ、カメラとプロジェクタの間の相対的な位置及び姿勢などのキャリブレーション対象のパラメータの概略値は設計値などから得られているものとする。

図１４は、第４の実施形態において三次元計測装置のキャリブレーションを行う際の機器の配置を示している。第４の実施形態では、校正用物体として共通の法線ベクトルを持つ高さの違う複数の平面によって構成される物体を利用する。なお、平面間の高さの差異Δｒは既知であるとする。ここでは平面の数は２個であるとする。しかしながら、平面の数は２個に限るものではなく、３個以上の平面によって構成されていてもよい。

第４の実施形態におけるキャリブレーションの処理の手順は基本的には図５に示す第１の実施形態の手順と同一である。ただし、ステップＳ１０２０の画像入力において入力される画像は、縞パターンを投影した校正用物体の画像である。

また、ステップＳ１０３０では指標の検出は行わず、垂直・水平方向の縞パターンの交点の座標の算出及び対応付けのみ行うものとする。対応付け情報としては、垂直・水平方向の縞パターンの交点のカメラ及びプロジェクタ画像上の座標、各交点に相当する光線が校正用物体上で反射する時の平面のＩＤの組みとして保持されるものとする。

以下では、ステップＳ１０４０におけるパラメータ算出の処理について述べる。第４の実施系形態では、カメラの内部パラメータは既知としているため、プロジェクタの内部パラメータ及びカメラとプロジェクタの間の相対的な位置及び姿勢を算出する。なお、これまでの実施形態では内部パラメータを算出した後で相対的な位置及び姿勢を算出していたのに対し、第４の実施形態ではプロジェクタの内部パラメータとカメラとプロジェクタの相対的な位置及び姿勢を同時に算出する。

第４の実施形態におけるキャリブレーション計算の処理手順は基本的には図７のフローチャートに示されているものと同一であるため、図７のステップ番号Ｓ１２１０〜Ｓ１２２０をＳ４２１０〜Ｓ４２２０として処理内容を説明する。ここでは数１９に示される評価関数が最小となるような未知パラメータを非線形最適化により算出する。

ただし、

は算出される未知パラメータに基づいて計算されるプロジェクタ画像上のパターンの交点の座標、

はプロジェクタが投影するパターン画像上でのパターンの交点の座標である。また、Ｎは対応付けされたパターンの交点の総数である。

（ステップＳ４２１０）
ステップＳ４２１０では、未知パラメータの概略値の入力を行う。ここで未知パラメータとは、プロジェクタの内部パラメータ（焦点距離、画像中心、レンズ歪み係数）、カメラとプロジェクタの相対的な位置及び姿勢、校正用物体の位置及び姿勢、校正用物体の移動ベクトルである。

校正用物体は法線ベクトルが共通で高さの違う複数の平面から構成されているため、校正用物体の位置及び姿勢は校正用物体を構成するある平面のパラメータとなる。これらの未知パラメータの概略値は、前述のように、設計値などをもとに入力する。もしくは、特許文献１で開示されている移動ベクトルを既知とする方法によって算出する。

（ステップＳ４２２０）
ステップＳ４２２０では、ステップＳ４２１０で得られた未知パラメータの概略値を初期値として、数１９に示される評価関数が最小となるように未知パラメータの最適化を行う。

はじめにカメラ側の正規化画像座標（ｘ_ｃ， ｙ_ｃ）とプロジェクタ側の正規化画像座標（ｘ_ｐ，ｙ_ｐ）との関連について説明する。

まず、既知であるカメラの内部パラメータを用いて、数２、数３をもとにパターンの交点のカメラ画像上のピクセル座標（ｕ_ｃ，ｖ_ｃ）を歪みのない正規化画像座標（ｘ_ｃ， ｙ_ｃ）に変換する。

数２に基づいてピクセル座標（ｕ_ｃ，ｖ_ｃ）を歪みのある正規化画像座標（ｘ’_ｃ， ｙ’_ｃ）に変換し、さらに数３に基づいて歪みのある正規化画像座標（ｘ’_ｃ， ｙ’_ｃ）を歪みのない正規化画像座標（ｘ_ｃ， ｙ_ｃ）に変換する。ただし、歪みのある正規化画像座標（ｘ’_ｃ， ｙ’_ｃ）から歪みのない正規化画像座標（ｘ_ｃ， ｙ_ｃ）を解析的に求めるのは困難なので、ｘ_ｃ、ｙ_ｃに初期値（例えば、ｘ’_ｃ、ｙ’_ｃ）を与え、ニュートン法などの繰返し計算によってｘ_ｃ、ｙ_ｃを算出する。

次に、カメラ側の正規化画像座標（ｘ_ｃ， ｙ_ｃ）とプロジェクタ側の正規化画像座標（ｘ_ｐ，ｙ_ｐ）を関連付ける。図１５は、第４の実施形態における校正用物体とカメラ及びプロジェクタの配置を説明する図である。校正用物体を構成する一方の平面（平面ＩＤ：１、以下平面１とする）の初期位置（移動ステージによる移動がない場合）におけるカメラ座標系における方程式を

とする。ただしｎ_ｃは平面１の法線ベクトル（単位ベクトル）、ｒ_ｃはカメラ座標系の原点から平面１までの距離である。平面１が移動ステージによって方向ｄ_ｃ（ｄ_ｃは単位ベクトル）にｉΔＺ（ｉ＝０，１，…，Ｍ−１）だけ移動する場合、平面の方程式は次式のようになる。

平面１と校正用物体を構成する他方の平面（平面ＩＤ：２、以下平面２とする）は平面１と法線ベクトルが共通で高さの差異がΔｒである。平面２が移動ステージによって方向ｄ_ｃにｉΔＺ（ｉ＝０，１，…，Ｍ−１）だけ移動する場合、平面の方程式は次式のようになる。

ここで、カメラ座標系からプロジェクタ座標系への変換を数２２のように表す。

平面１上のある点のカメラ側の正規化画像座標を（ｘ_ｃ，ｙ_ｃ）、プロジェクタ側の正規化画像座標を（ｘ_ｐ，ｙ_ｐ）と両者には次のような関係がある。

ただし、

となる。また、平面２の場合には

ただし

となる。

以上のように、カメラ側の正規化画像座標（ｘ_ｃ， ｙ_ｃ）とプロジェクタ側の正規化画像座標（ｘ_ｐ，ｙ_ｐ）は数２３、２４により関連付けられる。さらに、プロジェクタ側の正規化画像座標（ｘ_ｐ，ｙ_ｐ）は、数２及び数３によりプロジェクタ側のピクセル座標に変換される。

ステップＳ４２２０では、数２、数３、数２３、数２４をもとに、数１９に示される評価関数が最小となるように未知パラメータの最適化を行う。

本ステップにおいて最適化される未知パラメータは、プロジェクタの内部パラメータ、カメラとプロジェクタの相対的な位置及び姿勢、校正用物体の位置及び姿勢、校正用物体の移動ベクトルである。本ステップにおける最適化は第１の実施形態のステップＳ１２２０で説明したものと同様であるため説明を省略する。

以上述べたように、第４の実施形態では、移動ステージによる校正用物体の移動間隔を既知として、プロジェクタが投影するパターンのプロジェクタ画像上の座標とカメラ画像上の座標との対応をもとに三次元計測装置のキャリブレーションを行う方法について説明した。

プロジェクタが投影するパターンのプロジェクタ画像上の座標とカメラ画像上の座標との対応を用いる場合であっても、三次元計測装置が直線上を移動しかつ移動間隔が既知であるという制約条件をキャリブレーション計算に利用することで、移動方向に関するパラメータが未知であっても高精度にキャリブレーションすることが可能になる。

なお、第４の実施形態では、垂直・水平方向の縞パターンの交点のプロジェクタ画像上の座標とカメラ画像上の座標との対応を用いてキャリブレーションする方法について説明した。しかしながら、座標の対応は交点の座標のような２次元座標に限るものでない。

例えば、プロジェクタ画像上での直線のパラメータとカメラ画像上での２次元座標の対応であってもよい。第４の実施形態では、カメラ画像上で検出された交点の２次元座標を推定するパラメータを用いて変換すると対応するプロジェクタ画像上の２次元座標に一致するという拘束条件をもとにキャリブレーションを行った。

一方、直線パラメータとの対応を用いる場合、カメラ画像上での２次元座標を推定パラメータにより変換したプロジェクタ画像上での２次元座標は、対応として得られているプロジェクタ画像上の直線上にあるという拘束条件をもとにキャリブレーションを行う。

（第５の実施形態）
以上述べた実施形態では、カメラ（プロジェクタ）または校正用物体が移動ステージによって移動する直線のパラメータを他のパラメータと一緒に数値計算によって求めていた。

しかしながら、直線のパラメータを求める方法はこれに限るものではなく、直線のパラメータの候補を複数設定し、夫々の直線パラメータを既知として複数回キャリブレーションを行い、最も評価値がよいときのパラメータを選択してもよい。

本実施形態では、第２の実施形態と同様に、校正用物体を移動ステージによって移動させて行う場合のステレオカメラのキャリブレーションについて説明する。本実施例における三次元計測装置のキャリブレーションの処理手順はステップＳ１０４０のパラメータ算出の処理を除いては図５に示す第１の実施形態のフローチャートと同一である。以下では、本実施形態におけるパラメータ算出処理について説明する。

図１６は、第５の実施形態におけるパラメータ算出の手順を示すフローチャートである。以下、図１６のフローチャートに基づいてパラメータ算出の詳細な手順について説明する。

（ステップＳ５１１０）
ステップＳ５１１０では、校正用物体が移動ステージによって移動する直線の方向の候補を複数設定する。ここでは、校正用物体の移動方向が校正用物体を構成する平面の法線方向にほぼ一致するとして、平面の法線方向の近辺でＮ個の方向をサンプリングすることで候補の設定を行う。

なお、必ずしも校正用物体の移動方向が校正用物体を構成する平面の法線方向にほぼ一致する必要はなく、サンプリングの基準となる概略の移動方向の情報が得られるのであればいかなる移動方向であってもよい。

サンプリングは、単位球上に等間隔に設定された点と校正用物体の原点を結んで行ってもよいし、校正用物体から一定間隔離れたところに設置された平面上に等間隔に設定された点と原点を結んで行ってもよい。その他、複数の方向を設定する方法であればいかなる方法であってもよい。

（ステップＳ５１２０）
ステップＳ５１２０では、変数ｉに１を代入する。

（ステップＳ５１３０）
ステップＳ５１３０では、ステップＳ５１１０で設定されたｉ番目の方向を既知の情報として、キャリブレーション計算を行う。既知である校正用物体の移動方向をもとに同一の座標系（基準座標系）における校正用物体上の各マーカの三次元座標を算出する。
基準座標系は、例えば初期位置にある校正用物体の座標系と同じであるとする。基準座標系における各マーカの三次元座標を算出したら、図６に示すフローチャートと同様に未知パラメータの算出を行う。未知パラメータの算出は、例えば特許文献１に開示される方法により行う。

（ステップＳ５１４０）
ステップＳ５１４０では、ステップＳ５１３０で算出されたパラメータの評価値を算出する。評価値は、例えば数１３の値を用いる。さらに、ステップＳ５１３０で算出されたパラメータとその評価値の組合せを保存する。

（ステップＳ５１５０）
ステップＳ５１５０では、すべての直線の方向の候補についてパラメータ及び評価値の算出が完了したかどうか判定し、完了していればステップＳ５１７０に進む。完了していなければ、ステップＳ５１６０でｉに１を加算しステップＳ５１３０に戻る。

（ステップＳ５１７０）
ステップＳ５１７０では、ステップＳ５１４０において算出された評価値のうち最も良いものを選択し、選択された評価値を算出した時のパラメータを最終的なキャリブレーション結果として出力する。なお、数１３の値を評価値として用いる場合には、評価値が最も小さいものを最もよい評価値として選択する。

以上述べたように、第５の実施形態では、直線のパラメータの候補を複数設定し、夫々の直線パラメータを既知として複数回キャリブレーションを行い、最も評価値がよいときのパラメータを選択する方法について説明した。なお、第５の実施形態で説明した方法は複数台のカメラから構成されるステレオカメラのキャリブレーションだけでなく、任意の台数のカメラとプロジェクタから構成される三次元計測装置のキャリブレーションに適用してもよい。また、数６を評価値として用いることで、単眼のカメラのキャリブレーションに適用してもよい。また、移動ステージによって校正用物体を移動させる場合だけでなく、三次元計測装置を移動させてもよい。さらには、図１６のフローチャートに示される処理を段階的に行ってもよい。すなわち、直線の方向をはじめは粗くサンプリングしてパラメータ算出を行い、最も良い評価値の直線の方向の近傍で細かくサンプリング間隔を行って再度パラメータ算出を行う処理を繰り返すことでパラメータの精度を向上させてもよい。

（変形例１）
以上述べた実施形態では、校正用物体に対する各カメラの姿勢は一定であるとし、移動ステージの移動によって変化しないものとしていた。

しかしながら、必ずしも各カメラの姿勢は一定でなくてもよく、未知パラメータとして推定してもよい。具体的には、数５におけるＲ_ｃｗを共通とせずにステージが移動する毎に変わるパラメータとして、移動位置ごとにＲ_ｃｗに対する補正値を算出して補正してもよい。

また、姿勢の変化が微小である場合には、内部パラメータの概略値を算出する際には校正用物体に対する各カメラの姿勢を一定とし、最適化計算を行う際に各カメラの姿勢を未知パラメータとして推定してもよい。

本変形例によって、移動ステージの機構的な問題によって各カメラの姿勢が移動する毎に微小に変化する場合であっても高精度にキャリブレーションを行うことができるため、移動ステージに対する制約が減る。

同様に第４の実施形態においても、カメラに対する校正用物体を構成する平面の法線ベクトルの向きは一定であるとしていた。しかしながら、カメラに対する平面の法線ベクトルの向きは移動毎に一定である必要はなく、個別に未知パラメータとして推定してもよい。この場合、数２０、数２１におけるｎ_ｃが移動毎に異なる未知パラメータとなる。

（変形例２）
以上述べた実施形態では、校正用物体上に規定された座標系における校正用物体上の各指標の座標は既知であるとしていた。しかしながら、校正用物体が複数の物体から構成され、各物体上に規定された座標系における物体上の各指標の座標が既知である場合には、各物体間の相対的な位置及び姿勢（相対位置姿勢）も未知パラメータとして推定してもよい。具体的には、数５における複数の物体のうち一つの物体に規定された座標系を世界座標（数５におけるＸ_ｗ）とし、他の物体の座標系Ｘ_ｂと世界座標系の間の座標変換を

と表して、Ｒ_ｗｂ、ｔ_ｗｂも未知パラメータとして同時に推定する。この場合、内部パラメータの概略値を算出する際には複数の物体のうち一つの物体上の指標のみを利用し、最適化計算を行う際に複数の物体上の指標を利用し物体間の相対的な位置及び姿勢も推定する。

また概略値を算出する際には、校正用物体を構成する物体ごとに算出を行い、それらの中から数６で示される評価関数が最小になる概略値を選択してもよい。また、最適化計算を行う際には、変形例１で述べた各カメラの姿勢も未知パラメータに含めて推定してもよい。すなわち、最適か計算の中で、各部分校正用物体の相対位置姿勢が補正されることにより、各部分校正用物体上の指標の座標情報も更新される。これにより、広い空間を対象としたキャリブレーションを行う際に巨大な校正用物体を製作する必要がなく、精度よくキャリブレーションを行うことができる。

また、同様に第４の実施形態においても、校正用物体を構成する複数の平面の位置関係は既知であるとしていた。ここで、位置関係が既知の平面から構成される校正用物体を部分校正用物体と呼ぶ。しかしながら、校正用物体が、位置関係が未知な複数の部分校正用物体から構成される場合には、各部分校正用物体間の位置関係も未知パラメータして推定してもよい。

（変形例３）
以上述べた実施形態では、三次元計測装置や校正用物体を所定の間隔で直線上を移動させるために移動ステージを用いた。しかしながら、所定の間隔で直線上を移動させるのは移動ステージに限るものではない。例えば、より自由度の高い移動ステージやロボットを用いて直線上を移動させてもよい。また、機械的に移動させるのではなく、事前に高精度に厚みが計測されている物体などに校正用物体を載せることで平行移動を実現してもよい。本変形例により、キャリブレーションの際に三次元計測装置または校正用物体を所定の間隔で直線上を移動させるのに用いるハードウェアの選択肢が増えることにより、より汎用的な条件で本発明を実施することが可能になる。

（変形例４）移動量は等間隔でなくてもよい
以上述べた実施例では、三次元計測装置や校正用物体を移動ステージによって移動させる間隔は等間隔としていた。しかしながら、移動ステージによる移動間隔は移動毎に一定である必要はなく、既知の値として入手可能であれば移動毎に異なっていてもよい。

（変形例５）カメラモデル（レンズ歪みのモデル）は他のモデルであってもよい
以上述べた実施形態では、レンズ歪みのモデルとして半径方向の歪みと接線方向の歪みを有するモデル（数３）を用いていた。しかしながら、レンズ歪みのモデルはこれに限るものではなく、例えばＬｅｎｚらによって提案されているモデル（Ｒ． Ｌｅｎｚ ａｎｄ Ｄ． Ｆｒｉｔｓｃｈ， “Ａｃｃｕｒａｃｙ ｏｆ ｖｉｄｅｏｍｅｔｒｙ ｗｉｔｈ ＣＣＤ ｓｅｎｓｏｒｓ，” ＩＳＰＲＳ Ｊｏｕｒｎａｌ ｏｆ Ｐｈｏｔｏｇｒａｍｍｅｔｒｙ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ， ｖｏｌ．４５， ｐｐ．９０−１１０， １９９９．）を用いてもよい。Ｌｅｎｚのモデルは次の式で表される。

ただし、

である。すなわち、歪みのない座標と歪みの加わった座標の関係を関数として表すことができればいかなるレンズ歪みのモデルを用いてもよい。

（変形例６）校正用物体上の指標は点でなくてもよい
以上述べた実施形態では、校正用物体上の指標として例えば円形上のマーカなど校正用物体上の配置情報が位置として表される指標を用いていた。しかしながら、校正用物体上の指標はこれに限るものではなく、配置情報が位置以外の表現方法によって表されるものであってもよい。

例えば、校正用物体上における市松模様の各辺のような直線であってもよい。この場合、校正用物体上の指標の配置情報は、直線のパラメータとなる。この直線に対応する画像特徴（例えばエッジ）を検出し、推定パラメータによって算出される校正用物体上の直線の画像上での投影像である直線上に画像特徴が存在するという拘束条件を用いてキャリブレーションを行う。

＜定義＞
本実施形態における校正用物体は、例えば、表面に校正用物体上での座標が既知な指標が分布している校正用物体であってもよいし、互いの位置関係が既知な複数の平面から構成される校正用物体であってもよい。校正用物体上では指標が三次元的に分布していてもよいし、平面的に分布していてもよい。また、複数の平面は必ずしも平行である必要はなく、任意の角度をなす複数の平面であってもよい。また、校正用物体上の指標は、画像上で検出可能で一意に特定可能であればいかなる指標であってもよい。例えば、市松模様の交点であってもよいし、固有の識別子を持つ正方形形状の指標であってもよい。また、校正用物体は、相対的な位置関係が固定されている複数の部分校正用物体によっていればよい。さらには相対位置関係が未知であってもよい。

本実施形態におけるキャリブレーション対象の撮像装置は、投影モデルをピンホールモデルとレンズ歪みのモデルによって記述できるものであれば、いかなるカメラやプロジェクタであってもよい。また、本発明におけるキャリブレーション対象の三次元計測装置は、２台のカメラから構成されるステレオカメラでもよいし、３台以上のカメラから構成されていてもよい。また、カメラとプロジェクタによって構成される三次元計測装置であってもよい。

本実施形態における移動手段は、シーン中に撮像装置を固定して校正用物体を移動させるか、または校正用物体を固定して撮像装置を移動させる。移動手段は、直線的に校正用物体／撮像装置を移動させる移動ステージであってもいし、より自由度の高い移動ステージやロボットであってもよい。また、機械的に移動させるのではなく、事前に高精度に厚みが計測されている物体などに校正用物体を載せることで実現してもよい。また、移動手段によって移動する間隔は、既知の情報として得られるのであれば、一定の間隔であっても、移動毎に異なる間隔であってもよい。

本実施形態における特徴検出手段は、キャリブレーションのための画像上の特徴の検出を行う。特徴検出手段は、校正用物体上の指標を検出する。また、プロジェクタが校正用物体上に投影するパターンを検出する。プロジェクタが投影するパターンは、空間コード化法のパターンのように複数のパターンから構成されるパターンであっても、単一のパターンであってもよい。

本実施形態におけるパラメータ算出手段は、特徴検出手段が検出する特徴の画像上の座標、校正用物体に関する幾何的な情報、移動手段による既知の移動量に基づいて、カメラやプロジェクタの内部パラメータ、三次元計測装置を構成するカメラとカメラ（プロジェクタ）の間の相対的な位置及び姿勢を算出する。また、パラメータ算出手段は、移動ステージによる移動毎に異なるパラメータとして校正用物体と撮像装置の姿勢を算出してもよい。また、校正用物体が、互いの位置関係が未知な複数の部分校正用物体から構成される場合には、部分校正用物体間の位置関係を算出してもよい。パラメータ算出手段は、校正用物体上の指標の座標を利用してキャリブレーションを行ってもよいし、プロジェクタが投影するパターンの座標を利用してキャリブレーションを行ってもよい。さらに、移動ステージによって移動する直線のパラメータは数値計算によって求めてもよいし、直線のパラメータの候補を複数設定し、夫々の直線パラメータを既知として複数回キャリブレーションを行い、最も評価値がよいときのパラメータを選択してもよい。

本実施形態におけるキャリブレーションでは、移動ステージによる移動方向と移動間隔であれば、他のパラメータが変化してもよい。例えば、移動ステージによる移動により、撮像装置や校正用物体の姿勢が変化してもよい。

Claims (14)

1. 少なくとも１つの撮像装置と校正用物体とのうち少なくともいずれか一方を所定の方向に所定の移動量で移動させる毎に撮像装置により撮影される画像を取得する取得手段と、
   前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを取得する概略値取得手段と、
   前記校正用物体上の指標の位置情報を保持する保持手段と、
   前記画像から前記校正用物体上の指標を検出する検出手段と、
   前記検出手段によって検出される指標の画像上の画像座標と前記保持される指標の位置情報との対応と、前記所定の移動量とに基づいて、前記所定の方向の概略値と前記撮像装置のパラメータの概略値を補正することにより、前記撮像装置に関するパラメータを導出する導出手段とを有するキャリブレーション装置。
2. 前記導出手段は、前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを初期値として、繰り返し計算により前記撮像装置に関するパラメータを導出する導出手段とを有する請求項１に記載のキャリブレーション装置。
3. 前記導出手段は、前記指標の画像上の画像座標と、前記撮像装置の概略パラメータに基づいて前記保持される指標を前記画像上に投影した投影座標とのずれを小さくするように、、前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを補正することにより、前記撮像装置に関するパラメータを導出することを特徴とする請求項１または２に記載のキャリブレーション装置。
4. 前記校正用物体は、複数の部分校正用物体によって構成されている場合に、
   前記保持手段は、前記複数の部分校正用物体に配置される指標の位置情報をそれぞれ保持し、
   前記導出手段は、前記検出手段によって検出される前記複数の部分校正用物体に配置されるそれぞれの指標の画像上の画像座標と前記保持される指標の位置情報との対応と、前記所定の移動量とに基づいて、更に、初期値として与えられる前記複数の部分校正用物体間の相対的な位置姿勢を補正することにより、前記複数の部分校正用物体間の相対的な位置姿勢を導出し、該導出される相対的な位置姿勢と前記撮像装置の概略パラメータとに基づいて、前記投影座標を導出することを特徴とする請求項３に記載のキャリブレーション装置。
5. 前記校正用物体は、平面を有し、該平面上に複数の指標が存在することを特徴とする請求項１乃至４のいずれか１項に記載のキャリブレーション装置。
6. 前記校正用物体は、前記平面に、更に立体指標を備えることを特徴とする請求項５に記載のキャリブレーション装置。
7. 前記導出手段は、前記撮像装置または前記校正用物体が前記所定の移動量ごとに移動したときの各位置における前記校正用物体に対する撮像装置の姿勢を推定することを特徴とする請求項１乃至６のいずれか１項に記載のキャリブレーション装置。
8. 前記撮像装置に関するパラメータは、前記撮像装置に含まれるカメラの内部パラメータを含むことを特徴とする請求項１乃至７のいずれか１項に記載のキャリブレーション装置。
9. 前記撮像装置は、相対位置姿勢が固定された複数の撮像装置であり、
   前記撮像装置に関するパラメータは、前記複数の撮像装置間の相対位置姿勢を含むことを特徴とする請求項１乃至８の何れか１項に記載のキャリブレーション装置。
10. 更に、前記撮像装置と相対位置姿勢が固定された投影装置を備え、
    前記投影装置は、前記校正用物体に所定のパターンを投影し、
    前記検出手段は、前記画像から前記指標と前記投影装置によって校正用物体上に投影されたパターンとを検出し、前記投影装置の画像座標と前記指標の位置情報とを対応付け、
    前記導出手段は、前記対応づけられた投影装置の画像座標と前記指標の位置情報と前記移動量とに基づいて、前記投影装置に関するパラメータを導出することを特徴とする請求項１乃至８のいずれか１項に記載のキャリブレーション装置。
11. 相対位置姿勢が固定された撮像装置と投影装置とを備える計測装置と、互いの位置関係が既知な複数の面によって構成される校正用物体とのうち少なくともいずれか一方を所定の方向に所定の移動量で移動させる毎に撮像装置により撮影される画像を取得する取得手段と、
    前記所定の方向の概略値と前記撮像装置および前記投影装置に関するパラメータの概略値とを取得する概略値取得手段と、
    前記投影装置によって投影されるパターンを検出する検出手段と、
    前記検出手段によって検出されるパターンの画像座標と前記撮像装置の画像座標との対応と、前記所定の移動量とに基づいて、前記所定の方向の概略値と前記投影装置のパラメータの概略値とを初期値とした繰り返し計算により、前記投影装置に関するパラメータを導出する導出手段とを有するキャリブレーション装置。
12. 少なくとも１つの撮像装置と校正用物体とのうち少なくともいずれか一方を所定の方向に所定の移動量で移動させる毎に撮像装置により撮影される画像を入力する取得工程と、
    前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを取得する概略値取得工程と、
    前記画像から前記校正用物体上の指標を検出する検出工程と、
    前記検出手段によって検出される指標の画像上の座標と保持手段によって保持される前記指標の位置情報との対応と前記所定の移動量とに基づいて、前記所定の方向の概略値と前記撮像装置のパラメータの概略値とを初期値とした繰り返し計算により、前記撮像装置に関するパラメータを導出する導出工程とを有するキャリブレーション方法。
13. 相対位置姿勢が固定された撮像装置と投影装置とを備える計測装置と、互いの位置関係が既知な複数の面によって構成される校正用物体とのうち少なくともいずれか一方を所定の方向に所定の移動量で移動させる毎に撮像装置により撮影される画像を取得する取得工程と、
    前記所定の方向の概略値と前記撮像装置および前記投影装置に関するパラメータの概略値とを取得する概略値取得工程と、
    前記投影装置によって投影されるパターンを検出する検出工程と、
    前記検出手段によって検出されるパターンの画像座標と前記撮像装置の画像座標との対応と、前記所定の移動量とに基づいて、前記所定の方向の概略値と前記投影装置のパラメータの概略値とを初期値とした繰り返し計算により、前記投影装置に関するパラメータを導出する導出工程とを有するキャリブレーション方法。
14. コンピュータを請求項１乃至１１のいずれか１項のキャリブレーション装置の各手段として機能させるためのプログラム。
    

Images