JP2011047739A - カメラパラメータのキャリブレーション装置及びプログラム - Google Patents

Abstract

【課題】直感的なキャリブレーション処理を可能とする、カメラパラメータのキャリブレーション装置を提供する。
【解決手段】キャリブレーション装置は、各撮影画像内の同じ被写体の同じ点である対応点それぞれについて、撮影画像内での位置を示す画像座標系での第１の座標を保存する手段と、各カメラのカメラパラメータから世界座標系と画像座標系とを変換する射影行列をそれぞれ計算する手段と、各カメラそれぞれについて、カメラの射影行列及び該カメラの撮影画像内の第１の座標に基づき実空間内の直線を求める手段と、各カメラの射影行列及び各撮影画像の第１の座標に基づき実空間上の１点の世界座標を求め、求めた世界座標と座標変換手段が求めた各直線との距離に基づき誤差量を算出する手段と、算出した誤差量を表示する手段と、保存している各カメラのカメラパラメータを変更する手段とを備えている。
【選択図】図１

Description

本発明は、カメラパラメータのキャリブレーション技術に関する。

カメラが撮影した画像の画素を特定するための座標系である画像座標系と、実空間上の位置を特定するための座標系である世界座標系との間の座標変換を行う射影行列は、カメラパラメータにより決定される。ここで、カメラパラメータは、カメラ内部の光学系の特性により決まる内部パラメータと、カメラの向き及び設置位置により決まる外部パラメータに分類される。

例えば、カメラの光学系の設計値から求めた内部パラメータ、カメラの向き及び設置位置の実測値による外部パラメータに基づき射影行列を求め、この求めた射影行列により画像座標系と世界座標系の座標変換を行ったとしても、通常、誤差が生じる。これは、光学系の設計値と実際の値との誤差及び外部パラメータの実測値に含まれる誤差に起因している。

このため、通常、カメラパラメータについてはキャリブレーションが必要であり、例えば、非特許文献１にはキャリブレーション方法が記載されている。

徐 剛、辻 三郎 著、"３次元ビジョン"、共立出版社、ｐｐ．７９−ｐｐ．８３、１９９９年５月

同じ被写体を複数のカメラを用いて撮影し、この撮影した画像に基づき各カメラのカメラパラメータのキャリブレーションを行う場合、扱うべきパラメータの数が多すぎるため、その作業は煩雑なものとなり、直感的なキャリブレーション処理を可能とする装置があれば便利である。

したがって、本発明は、直感的なキャリブレーション処理を可能とする、カメラパラメータのキャリブレーション装置及びプログラムを提供することを目的とする。

本発明におけるカメラパラメータのキャリブレーション装置によれば、
各カメラのカメラパラメータを保存するパラメータ保存手段と、各カメラが撮影した撮影画像内の同じ被写体の同じ点である対応点それぞれについて、撮影画像内での位置を示す画像座標系での第１の座標を保存する対応点座標保存手段と、各カメラのカメラパラメータから、実空間の位置を示す世界座標系と各カメラの画像座標系とを変換する射影行列をそれぞれ計算する射影行列計算手段と、各カメラそれぞれについて、カメラの射影行列及び該カメラの撮影画像内の第１の座標に基づき実空間内の直線を求める座標変換手段と、各カメラの射影行列及び各撮影画像の第１の座標に基づき実空間上の１点の世界座標を求め、求めた世界座標と座標変換手段が求めた各直線との距離に基づき誤差量を算出する誤差量算出手段と、算出した誤差量を表示する表示手段と、パラメータ保存手段が保存している各カメラのカメラパラメータを変更するパラメータ変更手段とを備えていることを特徴とする。

本発明の他の実施形態によれば、
パラメータ保存手段が保存しているカメラパラメータをパラメータ変更手段が変更した場合、射影行列計算手段は、変更後のカメラパラメータから射影行列を再計算し、座標変換手段は、再計算後の射影行列に基づき各直線を新たに求め、誤差量算出手段は、再計算後の射影行列に基づき実空間上の１点の世界座標を新たに求め、新たに求めた世界座標と新たに求めた複数の直線との距離に基づき誤差量を算出することも好ましい。

また、本発明のカメラパラメータのキャリブレーション装置の他の実施形態によれば、
各カメラのカメラパラメータを保存するパラメータ保存手段と、各カメラが撮影した撮影画像内の同じ被写体の同じ点である対応点それぞれについて、撮影画像内での位置を示す画像座標系での第１の座標を保存する対応点座標保存手段と、各カメラのカメラパラメータから、実空間の位置を示す世界座標系と各カメラの画像座標系とを変換する射影行列をそれぞれ計算する射影行列計算手段と、各カメラそれぞれについて、カメラの射影行列及び該カメラの撮影画像内の対応点の第１の座標に基づき、該対応点に対応する光線の他の撮影画像内での軌跡であるエピポーラ線を、他の撮影画像それぞれについて求める座標変換手段と、各撮影画像の対応点と座標変換手段が求めたエピポーラ線との距離に基づき誤差量を算出する誤差量算出手段と、算出した誤差量を表示する表示手段と、パラメータ保存手段が保存している各カメラのカメラパラメータを変更するパラメータ変更手段とを備えていることを特徴とする。

本発明におけるプログラムによれば、
上記キャリブレーション装置としてコンピュータを機能させることを特徴とする。

表示部が表示する誤差量を確認しながら各カメラのカメラパラメータを調整することにより、複数カメラのカメラパラメータの直感的なキャリブレーション処理が可能となる。

本発明によるカメラパラメータのキャリブレーション装置の構成図である。 初期データを説明する図である。 初期データを説明する他の図である。 カメラパラメータ及び対応点から求める実空間上の直線を示す図である。 誤差量算出部の処理を説明する図である。 エピポーラ線を示す図である。

本発明を実施するための実施形態について、以下では図面を用いて詳細に説明する。

図１は、本発明によるカメラパラメータのキャリブレーション装置の構成図である。図１によると、キャリブレーション装置は、初期データ入力部１と、パラメータ保存部２と、撮影画像保存部３と、対応点座標保存部４と、射影行列計算部５と、座標変換部６と、誤差量算出部７と、表示部８と、パラメータ変更部９とを備えている。

まず、本装置の利用者は、初期データ入力部１経由で初期データを装置に入力する。図２及び図３は、利用者が装置に入力する初期データを説明する図である。図２において、符号１０−１〜１０−ＮはＮ台のカメラを表しており、Ａ_ｎ、Ｍ_ｎ、Ｒ_ｎ（１≦ｎ≦Ｎ）は、それぞれ、カメラ１０−ｎの内部パラメータ行列、カメラ設置位置の世界座標系での座標、カメラの向きを示す回転行列である。ここで、Ｍ_ｎ、Ｒ_ｎがカメラの外部パラメータである。また、符号２０は被写体であり、符号３０は被写体内の特徴点であり、Ｍ_Ｃは特徴点３０の世界座標系での座標である。

図３（ａ）はカメラ１０−１が、図３（ｂ）はカメラ１０−２が、図３（ｃ）はカメラ１０−Ｎが撮影した撮影画像を示す図であり、符号４０−１、４０−２及び４０−Ｎは、撮影画像内の特徴点３０に対応する対応点を示している。また、ｍ_１はカメラ１０−１の画像座標系での対応点４０−１の座標であり、ｍ_２はカメラ１０−２の画像座標系での対応点４０−２の座標であり、ｍ_Ｎはカメラ１０−Ｎの画像座標系での対応点４０−Ｎの座標である。

例えば、Ａ_ｎ、Ｍ_ｎ、Ｒ_ｎ、ｍ_ｎ（１≦ｎ≦Ｎ）及びＭ_ｃは以下の行列で表される。

ここで、ｆ_ｎｕ及びｆ_ｎｖは焦点距離であり、（ｔ_ｎｕ，ｔ_ｎｖ）は画像の中心の座標である。

利用者は、本装置に対して、各カメラの内部パラメータＡ_ｎ、外部パラメータＭ_ｎ及びＲ_ｎ、撮影画像のデータ、撮影画像内の対応点の画像座標ｍ_ｎ（１≦ｎ≦Ｎ）を入力する。なお、利用者が入力する各カメラの内部パラメータは、例えば、光学系の設計値に基づく値、外部パラメータＭ_ｎ及びＲ_ｎは実測値、対応点の画像座標は、利用者が目視により決定した画素の座標とすることができるが、他の方法であっても良い。

図１に戻り、パラメータ保存部２は、各カメラ１０−１〜１０−Ｎの内部パラメータＡ_１〜Ａ_Ｎ並びに外部パラメータＭ_１〜Ｍ_Ｎ及びＲ_１〜Ｒ_Ｎを保存し、撮影画像保存部３は、各カメラ１０−１〜１０−Ｎが撮影した撮影画像を保存し、対応点座標保存部４は、各カメラ１０−１〜１０−Ｎが撮影した撮影画像内にある対応点４０−１〜４０−Ｎの画像座標ｍ_１〜ｍ_Ｎを保存する。

射影行列計算部５は、カメラ１０−ｎの内部パラメータＡ_ｎ並びに外部パラメータＭ_ｎ及びＲ_ｎに基づきカメラ１０−ｎの射影行列Ｐ_ｎを以下の通り計算する。

とすると、対応点４０−ｎの斉次座標は、特徴点３０の斉次座標と、射影行列Ｐ_ｎを用いて以下の計算式（１）にて求められることになる。なお、λ_ｎはスカラー値である。

座標変換部６は、対応点４０−ｎの画像座標ｍ_ｎと、射影行列Ｐ_ｎと、式（１）に基づきカメラ１０−ｎを通る空間上の直線を計算する。この直線は、カメラ１０−ｎのカメラパラメータが正確である場合には、特徴点３０を通過するものである。しかしながら、カメラパラメータに含まれる誤差により、通常、この直線は図４に示す様に特徴点３０を通過しないものとなる。図４において、符号５０−１は、座標ｍ_１と射影行列Ｐ_１より求めた直線であり、符号５０−２は、座標ｍ_２と射影行列Ｐ_２より求めた直線であり、符号５０−Ｎは、座標ｍ_Ｎと射影行列Ｐ_Ｎより求めた直線である。なお、図４においては、被写体２０は省略している。

誤差量算出部７は、各カメラ１０−１〜１０−Ｎのカメラパラメータのずれを示す指標である誤差量を計算する。以下に、誤差量の算出について説明する。まず式（１）から以下の式が求められる。

ここで、

とすると、
ＢＭ_ｃ＝ｂ
となり、よって、座標Ｍ_ｃは、
Ｍ_ｃ＝（Ｂ^ＴＢ）^−１Ｂ^Ｔｂ
で求めることができる。求めた座標Ｍ_ｃは、現在のカメラパラメータを基準とした場合の特徴点の位置であるが、この座標Ｍ_ｃは、図５に示す様に、カメラパラメータの誤差により特徴点３０とは異なる座標６０を示している。しかしながら、本発明において特徴点３０の座標は未知であるため、誤差量算出部７は、現在のカメラパラメータを基準とした場合の特徴点の位置６０の座標Ｍ_ｃと、座標変換部６が求めた各直線５０−１〜５０−Ｎとの最短距離の和、又は、最短距離の２乗の和を誤差量として算出する。当然ではあるが、カメラパラメータに誤差がない場合には、総ての直線５０−１〜５０−Ｎは一点を通り、この一点が位置６０かつ特徴点３０であり、誤差量は零である。表示部８は誤差量算出部７が算出した誤差量とパラメータ保存部２が保存している各カメラ１０−１〜１０−Ｎのカメラパラメータをディスプレイに表示する。また、図４及び５に示す様に、座標変換部６が求めた各直線と、誤差量算出部７が求めた位置６０を視覚的に表示しても良い。

パラメータ変更部９は、カメラパラメータ変更のための利用者との入出力インタフェースであり、利用者はパラメータ変更部９を用いて任意のカメラの任意のカメラパラメータの値を変更する。この変更により、パラメータ保存部２に保存されている値は変更後の値に更新され、射影行列計算部５は射影行列を再計算し、座標変換部５は直線を再計算し、誤差量算出部７は、誤差量を再計算し、表示部８は再計算後の結果を新たに表示する。

利用者は、この誤差量が所定の値より小さくなるまで各パラメータを修正する。以上の処理により複数カメラのカメラパラメータのキャリブレーションを直感的に、一括して実施することができる。

続いて、本発明の他の実施形態について説明する。射影行列Ｐ_ｎの各要素のうち、

の部分はＡ_ｎＲ_ｎに対応し、

の部分は−Ａ_ｎＲ_ｎＭ_ｎに対応するものであるため、カメラ位置Ｍ_ｎは、

で導出することができる。したがって、座標ｍ_ｎの画素に対応する光線の方向を示す単位ベクトル（ｘ_ｎ，ｙ_ｎ，ｚ_ｎ）は、

で求められることになる。

このベクトルに基づき座標ｍ_ｎの画素に対応する光線の実空間における軌跡を求め、この軌跡の他の画像上の対応画素、つまり、エピポーラ線を求める。図６は、カメラ１０−１が撮影した画像におけるエピポーラ線５１−２と５１−Ｎを示している。ここで、エピポーラ線５１−２は、カメラ１０−２が撮影した画像内の対応点４０−２の座標ｍ_２に対応するものであり、エピポーラ線５１−Ｎは、カメラ１０−Ｎが撮影した画像内の対応点４０−Ｎの座標ｍ_Ｎに対応するものである。

本実施形態において、座標変換部６は、カメラ１０−ｎが撮影した撮影画像上におけるカメラ１０−ｋが撮影した撮影画像の対応点ｍ_ｋ（ｋは１以上Ｎ以下であり、ｎ以外の整数）に対応する光線のエピポーラ線を求め、誤差量算出部７は、対応点ｍ_ｎと各エピポーラ線との最小距離又は最小距離の２乗の和を求め、さらに、求めた和の全カメラの撮影画像に渡る合計を誤差量とする。以上、本実施形態においても、複数カメラのカメラパラメータのキャリブレーションを直感的に、一括して実施することができる。

なお、本発明によるキャリブレーション装置は、コンピュータを図１の各部として機能させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。さらに、本発明は、ハードウェア及びソフトウェアの組合せによっても実現可能である。

１ 初期データ入力部
２ パラメータ保存部
３ 撮影画像保存部
４ 対応点座標保存部
５ 射影行列計算部
６ 座標変換部
７ 誤差量算出部
８ 表示部
９ パラメータ変更部
１０−１〜１０−Ｎ カメラ
２０ 被写体
３０ 特徴点
４０−１〜４０−Ｎ 対応点
５０−１〜５０−Ｎ 直線
５１−２、５１−Ｎ エピポーラ線
６０ 座標

Claims (4)

1. 各カメラのカメラパラメータを保存するパラメータ保存手段と、
   各カメラが撮影した撮影画像内の同じ被写体の同じ点である対応点それぞれについて、撮影画像内での位置を示す画像座標系での第１の座標を保存する対応点座標保存手段と、
   各カメラのカメラパラメータから、実空間の位置を示す世界座標系と各カメラの画像座標系とを変換する射影行列をそれぞれ計算する射影行列計算手段と、
   各カメラそれぞれについて、カメラの射影行列及び該カメラの撮影画像内の第１の座標に基づき実空間内の直線を求める座標変換手段と、
   各カメラの射影行列及び各撮影画像の第１の座標に基づき実空間上の１点の世界座標を求め、求めた世界座標と座標変換手段が求めた各直線との距離に基づき誤差量を算出する誤差量算出手段と、
   算出した誤差量を表示する表示手段と、
   パラメータ保存手段が保存している各カメラのカメラパラメータを変更するパラメータ変更手段と、
   を備えているカメラパラメータのキャリブレーション装置。
2. パラメータ保存手段が保存しているカメラパラメータをパラメータ変更手段が変更した場合、
   射影行列計算手段は、変更後のカメラパラメータから射影行列を再計算し、
   座標変換手段は、再計算後の射影行列に基づき各直線を新たに求め、
   誤差量算出手段は、再計算後の射影行列に基づき実空間上の１点の世界座標を新たに求め、新たに求めた世界座標と新たに求めた複数の直線との距離に基づき誤差量を算出する、
   請求項１に記載の装置。
3. 各カメラのカメラパラメータを保存するパラメータ保存手段と、
   各カメラが撮影した撮影画像内の同じ被写体の同じ点である対応点それぞれについて、撮影画像内での位置を示す画像座標系での第１の座標を保存する対応点座標保存手段と、
   各カメラのカメラパラメータから、実空間の位置を示す世界座標系と各カメラの画像座標系とを変換する射影行列をそれぞれ計算する射影行列計算手段と、
   各カメラそれぞれについて、カメラの射影行列及び該カメラの撮影画像内の対応点の第１の座標に基づき、該対応点に対応する光線の他の撮影画像内での軌跡であるエピポーラ線を、他の撮影画像それぞれについて求める座標変換手段と、
   各撮影画像の対応点と座標変換手段が求めたエピポーラ線との距離に基づき誤差量を算出する誤差量算出手段と、
   算出した誤差量を表示する表示手段と、
   パラメータ保存手段が保存している各カメラのカメラパラメータを変更するパラメータ変更手段と、
   を備えているカメラパラメータのキャリブレーション装置。
4. 請求項１から３のいずれか１項に記載のキャリブレーション装置としてコンピュータを機能させるプログラム。

Images