JP2006090756A - カメラキャリブレーション装置 - Google Patents

Abstract

【課題】被写体の位置が変化しても、その都度３次元座標位置が既知の被写体を撮影せずに、被写体の３次元位置を検出できるカメラキャリブレーション装置を提供する。
【解決手段】３次元位置が既知である被写体光像をステレオカメラ部１で得た投影像のカメラパラメータを検出する初期カメラパラメータ検出部２と投影像の被写体光像位置を対応点座標として検出する対応点検出部５とカメラパラメータと対応点座標から修正カメラパラメータを検出するカメラパラメータ検出部４と、対応点座標と修正カメラパラメータとから被写体光像の３次元位置を検出する３次元位置情報検出部６とステレオカメラ部１のカメラにより３次元座標位置が既知の被写体光像から検出したカメラパラメータと３次元座標系位置が任意の被写体光像をステレオカメラ部１の１のカメラで撮像して得た対応点座標とから修正カメラパラメータを検出して被写体光像３次元位置を検出する。
【選択図】 図１

Description

本発明は、２台のカメラを用いたステレオカメラ部により被写体の３次元情報を求めるカメラキャリブレーション装置に関するものである。

従来、２つのカメラを用いて被写体の３次元情報を求めるステレオカメラ部では、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部バラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータ等が必要であり、これらのパラメータを総合してカメラパラメータと言う。被写体の３次元情報を求めるために、このカメラパラメータを求めることをカメラキャリブレーションと言う。

カメラキャリブレーションでは、図４に示すように予め３次元座標（ワールド座標と称する）位置の分かっている被写体を、複数のカメラから構成されるステレオカメラ部で撮像して複数の投影像を求め、この複数の投影像と３次元座標位置から、カメラパラメータを求めていた。
そしてカメラパラメータから投影像内における所定の画像位置の対応する点の３次元情報を求めていた。

このステレオカメラ部を監視やロボットの視覚に用いる場合では、任意の位置にある被写体を撮像して得たカメラの投影像から、この投影像内における所定の画像位置の対応する点の３次元情報を求める際には、まず撮像した被写体の３次元位置を認識することが必要である。しかし、任意の位置にある被写体を撮像すると、被写体の３次元位置を認識することが出来ないため、任意の位置にある被写体を撮像して得たカメラの投影像からこの投影像内における所定の画像位置の対応する点の３次元情報を求めることは出来ない。

このため、必ず任意の位置にある被写体の近くにある３次元座標位置が既知の被写体を撮影し、カメラキャリブレーションを行ってから、任意の位置にある被写体と３次元座標位置が既知の被写体とを同一面の投影像としてステレオカメラ部で撮影することにより任意の位置にある被写体の３次元位置を認識していた。

特許文献１には、予め複数の焦点距離毎に投影像と３次元座標系との位置の対応関係を定めておき、任意の位置にある被写体の３次元座標の位置を焦点距離の補間により求める方法が示されているが、３次元座標位置が既知の被写体を撮影してキャリブレーションを行った範囲内で３次元座標の位置を認識していた。
この特許文献１によれば、焦点距離を可変にして物体を撮像する撮像装置により、複数の特定焦点距離により物体を撮像して得られた２次元座標系の投影像の各位置と、上記物体の３次元座標系における各位置との位置情報関係を求めるキャリブレーション方法であり、そして上記複数の特定焦点距離を除く複数の他の焦点距離における上記位置情報対応関係を補間により求めるものである。
特開平１０−３２０５５８号公報

しかしながら、上述した様に従来のカメラキャリブレーションにおいては、任意の位置にある被写体を撮像して得たステレオカメラ部の投影像から、この投影像内における所定の画像位置に対応する点の３次元情報を認識することが出来ないため、撮像しようとする任意の位置の被写体が移動するたびに、３次元座標位置が既知の被写体を同時に撮影しなければならないと言う問題点があった。

そこで本発明は、上記のような問題点を解消するためになされたもので、撮像しようとする任意の位置の被写体の位置が移動しても、その都度３次元座標位置が既知の被写体を撮影しなくても、被写体の所定の画像位置に対応する点の３次元位置情報を検出できるカメラキャリブレーション装置を提供することを目的とする。

上記目的を達成するための手段として、本発明は、第1のカメラと第２のカメラを用いて、同一の被写体画像を撮像して立体画像を得る際に、前記第1のカメラで撮像して得た情報に基づいて、前記第２のカメラで前記被写体画像を撮像するためにキャリブレーションを行うキャリブレーション装置において、前記第1のカメラを用いて第1の焦点距離で前記被写体画像を撮像することにより得られた位置情報を求める位置検出部と、前記第１のカメラの転送部から前記位置情報を前記第２のカメラに転送させて、前記カメラと前記被写体画像との位置情報を求めて、前記第1のカメラに連動して前記被写体画像を前記第1の焦点距離に対応した前記第２のカメラの第２の焦点距離で撮像する前記第２のカメラの条件のキャリブレーションを行う情報検出キャリブレ部とを備えたことを特徴とするカメラキャリブレーション装置を提供する。

本発明によれば、ステレオカメラ部のズームレンズの焦点距離が変化しても、３次元座標位置が既知の被写体を撮影することなくカメラパラメータを求めて被写体の３次元位置情報を検出するカメラキャリブレーション装置を得ることが出来る。

以下に本発明の実施形態に係るカメラキャリブレーション装置について図１〜図３を用いて説明する。図１は本発明の実施形態におけるカメラキャリブレーション装置のシステム構成を示す図である。図２は被写体の各座標軸に示す位置を示す図である。図３は本発明の実施形態におけるカメラキャリブレーション装置の操作手順を示すフローチャート図である。
そして図１のカメラキャリブレーション装置は、ズームレンズを用いた２台のカメラからなるステレオカメラ部１、カメラの初期状態におけるカメラパラメータを求める初期カメラパラメータ検出部２、ズームレンズの焦点距離を変更するズームレンズ制御部３、一方のズームレンズの焦点距離を変化させた後のカメラパラメータを求めるカメラパラメータ検出部４、２つのカメラにおける投影像間の対応を求める対応点検出部５、被写体の３次元位置情報を求める３次元位置検出部６より構成される。

まず、図１に示すカメラキャリブレーション装置は、複数のカメラを有するステレオカメラ部１を用いて被写体光像を撮像して得た複数の投影像からカメラパラメータを検出し、カメラパラメータから被写体光像の３次元位置情報を得るカメラキャリブレーション装置に於いて、３次元座標系における位置が既知である被写体光像を前記ステレオカメラ部１で撮像して得た投影像におけるカメラパラメータを検出して記憶する初期カメラパラメータ検出部２と、投影像における被写体光像の位置を対応点の座標として検出する対応点検出部５と、カメラパラメータと対応点の座標から修正カメラパラメータを検出するカメラパラメータ検出部４と、対応点の座標と修正カメラパラメータとから被写体光像の３次元位置情報を検出する３次元位置情報検出部６と、を少なくとも有し、ステレオカメラ部１の複数のカメラにより、３次元座標系における位置が既知である被写体光像から検出したカメラパラメータと、３次元座標系における位置が任意の被写体光像をステレオカメラ部１の１のカメラで撮像して得た対応点の座標とから修正カメラパラメータを検出して被写体光像の３次元位置情報を検出するものである。

図１及び図２を用いてカメラキャリブレーション装置を詳細に説明する。
まず図１に示すように、図示していない３次元座標が既知の被写体光像をステレオカメラ部１で撮像する。次にステレオカメラ部１から撮像時に得た撮像信号、カメラ位置情報、ズームレンジ制御部３からの焦点距離、ズーム比情報等による画像データＳ２を初期カメラパラメータ検出部２に送り、初期カメラパラメータ検出部２では予め供給されている被写体の３次元座標データＳ０とこの画像データＳ２により焦点距離、画像中心、画素サイズ等の初期状態における内部パラメータ、及び、カメラ位置、姿勢等の外部パラメータを求めこの内部パラメータ、外部パラメータからカメラパラメータＳ３を算出する。

このようにして、カメラの初期状態におけるカメラパラメータＳ３を求める。このカメラパラメータＳ３は、図３に示すようにステレオカメラ部１で撮像する３次元座標が既知の被写体の３次元位置を３次元座標（ワールド座標）位置系での原点とし、水平方向をｘ_ｉ軸，垂直方向をｙ_ｉ軸、光軸方向をｚ_ｉ軸とした、３次元座標位置系ｘ_ｉｙ_ｉｚ_ｉを設定する。このときのステレオカメラ部１における２つのカメラで３次元座標が既知の被写体を撮像して焦点を合わせたときの焦点距離Ｆｎｉを原点として、カメラ座標系ｘ_ｎｉｙ_ｎｉｚ_ｎｉを設定するとともに、カメラで撮像した被写体光像における２次元の投影像の水平方向をｕ_ｎｉ、垂直方向をｖ_ｎｉとした座標系ｕ_ｎｉｖ_ｎｉをそれぞれ設定する。

そして、ステレオカメラ部１の撮像範囲内にありズームレンズ制御部３は固定のままで撮像出来るワールド座標内の被写体の３次元座標をＰ（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ）とすると、ステレオカメラ部１によって撮像された被写体の投影像の位置から、被写体対応点位置が、カメラ０座標では焦点距離Ｆ_０ｉにおいてＰ_０ｊ（ｕ_０ｊ、ｖ_０ｊ）、カメラ１座標では焦点距離Ｆ_１ｉにおいてＰ_１ｊ（ｕ_１ｊ，ｖ_１ｊ）の位置として対応点検出部５により検出され、この被写体対応点位置データと画像データＳ２を対応点検出部５の対応点の座標Ｓ４として出力する。

次に対応点の座標Ｓ４はカメラパラメータ検出部４に加えられ初期状態におけるカメラパラメータＳ３と比較修正されて、修正カメラパラメータＳ６として出力され３次元位置情報検出部６に加えられる。初期状態ではそのまま通過する。
そして、３次元位置情報検出部６には対応点検出部５の対応点の座標Ｓ４も加えられ、修正カメラパラメータＳ６と対応点の座標Ｓ４とにより被写体の３次元座標をＰ（ｘ_ｊ，ｙ_ｊ，ｚ_ｊ）を求める。

カメラの初期状態では、カメラパラメータＳ３は、画像データＳ２と被写体の３次元座標データＳ０から求められるから、修正カメラパラメータＳ６はカメラパラメータＳ３に等しく、対応点の座標Ｓ４に含まれる画像データは、画像データＳ２に等しいから、３次元位置情報検出部６によって求められる被写体の３次元座標はステレオカメラ部１で撮像した初期の被写体の３次元座標に等しい。

次に、任意の被写体をステレオカメラ部１で撮像する。そしてズームレンズ部３によりステレオカメラ部１に設置された２台のカメラのどちらか１台のカメラ(例えばカメラ０とする)で任意の被写体に焦点を合わせ、そのカメラの焦点距離Ｆｏｉを焦点距離Ｆｏｉ‘に変更する。そして、任意の被写体を撮像した画像データＳ２‘をカメラ部１から対応点検出部５に送り任意の被写体における対応点の座標Ｓ４’を求める。

そして、対応点検出部５で検出した対応点の座標Ｓ４‘と初期カメラパラメータ検出部２で求めたカメラパラメータＳ３とをカメラパラメータ検出部４へ送り修正カメラパラメータＳ５’を生成し、この修正カメラパラメータＳ５‘と対応点検出部５で検出した対応点の座標Ｓ４’を３次元位置情報検出部６に送り、任意の被写体の３次元位置情報を得る。

このようにして、ステレオカメラ部１の片方のカメラで任意の座標位置の被写体を撮像して得た画像データと、既知の座標位置の被写体をステレオカメラ部１の２台のカメラで撮像して得た画像データとから任意の座標位置の３次元位置情報を容易に得ることが出来る。

次に、図３を用いて更に詳細にカメラキャリブレーション装置について説明する。
まずカメラの初期状態におけるカメラパラメータを求める（Ｓ１０）。
カメラパラメータは、カメラ個々の焦点距離、画像中心、画素サイズ等の情報からなる内部パラメータと、２つのカメラの位置、姿勢等の関係情報からなる外部バラメータと、カメラにおける理想的光学系と実際の光学系との間の差による光学歪パラメータから構成されている。

カメラの初期状態におけるカメラパラメータを求める際に、まず、図２に示すようにカメラで撮像する被写体の３次元位置を最初に３次元座標（ワールド座標）位置系ｘ_ｉｙ_ｉｚ_ｉの原点０として設定し、このときのカメラ（ｉ＝０，１）の焦点Ｆ_ｎｉを原点とし、水平方向をｘ_ｎｉ軸，垂直方向をｙ_ｎｉ軸、光軸方向をｚ_ｎｉ軸としてカメラ座標系ｘ_ｎｉｙ_ｎｉｚ_ｎｉを設定し、カメラで撮像した被写体光像の投影像の座標系ｕ_ｎｉｖ_ｎｉをそれぞれ設定する。

そして図２に示すように、被写体の任意の点Ｐにおける３次元座標をｘ_ｉｙ_ｉｚ_ｉとし、この被写体の任意の点Ｐにおける投影像としての点Ｐ_０の座標をｕ_０ｉ、ｖ_０ｉとし、内部パラメータをＡ_０ｉ、外部パラメータをＥ_０ｉとする。点Ｐ_０の座標ｕ_０ｉ、ｖ_０ｉは光学歪みのない場合で実際には光学歪みを含んだ座標ｕ_ｄｉ，ｖ_ｄｉとなる。
この３次元座標をｘ_ｉｙ_ｉｚ_ｉをＸ_０，Ｙ_０，Ｚ_０、投影像座標ｕ_０ｉ、ｖ_０ｉをｕ_ｉ、ｖ_ｉとした３次元座標と投影座標の関係は次に示す式(１)で表される。

式(１)におけるＡ_ｉは次の式で算出される。

そして式(２)におけるＥ_ｉは次の式で算出される。

また、光学歪みを含んだ式は次に示す式（２）にて表される。

次にどちらか一方のカメラの焦点距離を変化させた場合のカメラパラメータを求める。
仮に焦点距離が変化しないカメラをカメラ０、焦点距離を変化させるカメラをカメラ１とする。このときのカメラ０の焦点距離をｆ_０、カメラ１の焦点距離をｆ_１とし、焦点距離が変化した後のカメラ１の焦点距離をｆ_１‘とする（Ｓ１１）。

まず、最初に２つのカメラ間の投影画像Ｉ_０とＩ_１の投影画像より、カメラ１の投影画像Ｉ_１をｆ_１／ｆ_０の倍率で大きさの補正を行った後、次の式（３）によりカメラ０とカメラ１の相関の高い画素を中心とする対応点の相関ｃを求める（Ｓ１２）。
相関ｃは値の小さいほうが相関は高くなる。また予め閾値ｃ_０を設定しておきこの閾値ｃ_０より大きい場合は対応点なしとする。

次に求めた投影画像間の対応関係から新たなパラメータを求める（Ｓ１３）。
まず、投影画像Ｉ_０上の対応点（ｕ_ｎ，ｖ_ｎ）、投影画像Ｉ_１上の対応点（ｕ_ｎ‘，ｖ_ｎ’）とする。（ｎ＝０，１，．．．，Ｎ）
そして、内部パラメータの行列Ａ０，Ａ１、３次元座標位置に対する回転行列Ｒ、Ｒ０、Ｒ１、平行移動ベクトルｔ、Ｔ、Ｔ０、Ｔ１とすると、２つのカメラの相対的な位置関係を示す基礎行列Ｆは次に示す式（４）により表される。

式（４）に示す基礎行列Ｆ対応点は次の式（５）により表される。

従って次に示す式（６）を最小とするように最適化を行い、ｆ_１‘、ｋ_１を求める（Ｓ１４）。

最適化は例えばsimulated annealing法を用い次の手順で行う。
・ ｍ番目の温度T_m=T_m-1- ΔTとする。（ΔT＞０）
・ f₁’、k₁’の初期値をf₁’₀、k₁’₀とし適当な値を設定する。(例えば、焦点距離を変化させる前の値)
・ m番目の値f₁’_ｍ、k₁’_ｍが決まったら、次の手段でｍ＋１番目の値f₁’_ｍ＋１、k₁’_ｍ＋１
を決める。
（あ）f₁’_ｍ、k₁’_ｍをランダムにわずか変更した値ｘ、yをとる。
（い）ΔE＝E(x,y)-E(f₁’_ｍ、k₁’_ｍ)を計算
（う）もしΔE≦０なら、f₁’_ｍ＋１＝ｘ、k₁’_ｍ＋１＝ｙとおく。
（え）もしΔE＞０なら、
[更新] 確率exp(-ΔE/T_m+1)でf₁’_ｍ＋１＝ｘ、k₁’_ｍ＋１＝ｙとおく。
[未更新] 確率1-exp(-ΔE/T_m+1)でf₁’_ｍ＋１＝f₁’_ｍ、k₁’_ｍ＋１＝k₁’_ｍとおく。
・ 十分な回数繰り返しで得られたf₁’_ｍ、k₁’_ｍを最適解の候補とする。
このようにして求めたf₁’_ｍ、k₁’_ｍを式（６）の最小値としてｆ_１‘、ｋ_１’に代入すればよい。

次に被写体の３次元座標位置を求める。式(６)で求めた焦点距離ｆ_１‘、ｋ_１を用いた内部パラメータをＡ_１’とする（Ｓ１５）。

更にカメラの焦点距離を移動させる場合はＳ１１に戻って繰り返す。
焦点距離の変更による対応点の探索を容易にするためには焦点距離を±５％程度を目安にして変化させてカメラパラメータを求め、焦点距離を大きく変化させる場合はこの小さな焦点距離の変化を繰り返して行えば良い。

投影画像Ｉ０上の対応点（ｕ_ｎ，ｖ_ｎ）、投影画像Ｉ１上の対応点（ｕ_ｎ‘，ｖ_ｎ’）に対応する被写体の対応点をＰ_ｎとし、その３次元座標位置をＸ_ｎＹ_ｎＺ_ｎとすると次に示す式(７)、式（８）が成り立つ。

この式(７)、式（８）を用いて最小二乗法によりＸ_ｎＹ_ｎＺ_ｎを求める。
従って、焦点距離を変化させた場合のカメラパラメータを、新たにカメラで撮像して基準となる既知の３次元座標位置を設定し直さなくても求めることが出来る（Ｓ１６）。

本発明の実施形態におけるカメラキャリブレーション装置のシステム構成を示す図である。 被写体の各座標軸に示す位置を示す図である。 本発明の実施形態におけるカメラキャリブレーション装置の操作手順を示すフローチャート図である。 被写体の３次元座標位置とカメラの投影座標を示す図である。

符号の説明

１・・・ステレオカメラ部、２・・・初期カメラパラメータ検出部、３・・・ズームレンズ制御部、４・・・カメラパラメータ検出部、５・・・対応点検出部、６・・・３次元位置検出部

Claims (1)

1. 第1のカメラと第２のカメラを用いて、同一の被写体画像を撮像して立体画像を得る際に、前記第1のカメラで撮像して得た情報に基づいて、前記第２のカメラで前記被写体画像を撮像するためにキャリブレーションを行うキャリブレーション装置において、
   前記第1のカメラを用いて第1の焦点距離で前記被写体画像を撮像することにより得られた位置情報を求める位置検出部と、
   前記第１のカメラの転送部から前記位置情報を前記第２のカメラに転送させて、前記カメラと前記被写体画像との位置情報を求めて、前記第1のカメラに連動して前記被写体画像を前記第1の焦点距離に対応した前記第２のカメラの第２の焦点距離で撮像する前記第２のカメラの条件のキャリブレーションを行う情報検出キャリブレ部とを備えたことを特徴とするカメラキャリブレーション装置。

Images