JP2008131176A

JP2008131176A - カメラ校正装置

Info

Publication number: JP2008131176A
Application number: JP2006311635A
Authority: JP
Inventors: Jun Amano; 準天野
Original assignee: Aisin Seiki Co Ltd
Current assignee: Aisin Corp
Priority date: 2006-11-17
Filing date: 2006-11-17
Publication date: 2008-06-05
Anticipated expiration: 2026-11-17
Also published as: JP4743538B2

Abstract

【課題】少ない演算量及び記憶容量でカメラの校正を行うカメラ校正装置を提供する。
【解決手段】基準座標系の複数の平面に分散した複数の参照点の座標が既知である校正器を、被校正対象のカメラ１によって参照点を散在させて撮影した撮影画像を画像受け取り部３が受け取り、参照点特定部が撮影画像上の画像座標系において参照点の座標を特定する。関係式導出部２１は、参照点の基準座標系での座標及び画像座標系での座標との幾何学的関係式を射影カメラ行列を用いて構築する。射影カメラ行列演算部２３は、幾何学的関係式に対して一般逆行列、及び回転行列が正規直交行列であることを用いて演算し、射影カメラ行列の各成分を導出する。カメラパラメータ演算部２５は、導出された射影カメラ行列の各成分に基づいて、カメラ１の外部パラメータと、焦点距離を含むカメラ１の内部パラメータとを導出する。
【選択図】図６

Description

本発明は、据付型のカメラを校正するカメラ校正装置に関する。

据付型のカメラの一例として、車に搭載されるカメラがある。近年、車両の運転者が車両の側方や後方などの情景を車内のモニタ装置を介して視認できるようにカメラが搭載された車両が増加している。さらに、このカメラの撮影画像を利用して画像処理などを行い、駐車などの運転を支援する装置も開発されている。特に、このような画像処理を伴う画像を撮影するカメラの車両への搭載に際しては、比較的高い組み付け精度が要求される。そこで、車両へのカメラの搭載精度を向上するための種々の取り組みがなされている。

一般のカメラは、ピンホールカメラに代表される透視カメラモデル（perspective camera model）である。透視カメラモデルのカメラ行列は、カメラの内部パラメータ行列と、外部パラメータ行列とから構成される。内部パラメータ行列は、焦点距離などのカメラ内部のパラメータ行列である。外部パラメータ行列は、基準座標に対するカメラの並進成分や回転成分である。カメラ行列が既知の場合にはそのカメラは校正済みということになる。カメラの搭載精度を向上するためには、カメラが校正済みである必要がある。内部パラメータや外部パラメータを求めるためのカメラの校正装置や校正方法が種々提案されている。

下記に出典を示す非特許文献１には、既知のパターンを利用したカメラの校正方法が記載されている。これによれば、カメラを２つのステップにより校正する。第１に３次元点とその２次元画像との間の射影行列を求める。第２にその射影行列から内部パラメータと外部パラメータとを求める。射影カメラ行列の成分を求める際には、固有値に対応する固有ベクトルを求めて演算される。

徐剛・辻三郎共著「３次元ビジョン」共立出版(ISBN4-320-08522-1)、1998年 4月20日初版、p.79-81

この方法は、内部パラメータと外部パラメータとを求める方法として有用な方法である。しかし、固有値に対応する固有ベクトルを求めるためには、非常に多くの演算量を必要とする。また、演算時には、比較的大きな量の記憶容量を必要とする。このため、高性能な演算装置（コンピュータなど）を用いる必要が生じる、校正時間が長くなるなどの課題がある。特に、車両などの量産品に据え付けられるカメラを校正する際には、校正時間が生産性に密接に関係する。

本発明は、このような課題に鑑みて創案されたもので、少ない演算量及び少ない記憶容量でカメラの校正を可能とするカメラ校正装置を提供することを目的とする。

上記目的を達成するための本発明に係るカメラ校正装置は、
基準座標系の複数の平面に分散した複数の参照点の座標が既知である校正器を、被校正対象のカメラによって前記参照点を散在させて撮影した撮影画像を受け取る画像受け取り部と、
前記撮影画像上の画像座標系において前記参照点の座標を特定する参照点特定部と、
前記参照点の前記基準座標系での座標及び前記画像座標系での座標との幾何学的関係式を射影カメラ行列を用いて構築する関係式導出部と、
前記幾何学的関係式に対して一般逆行列、及び回転行列が正規直交行列であることを用いて演算し、前記射影カメラ行列の各成分を導出する射影カメラ行列演算部と、
導出された前記射影カメラ行列の各成分に基づいて、前記カメラの外部パラメータと、焦点距離を含む前記カメラの内部パラメータとを導出するカメラパラメータ演算部と、を備えることを特徴とする。

この構成によれば、固有値に対応する固有ベクトルを求めることなく、逆行列を用いることによって、幾何学的関係式から射影カメラ行列の各成分が導出される。そして、導出された射影カメラ行列の各成分から、カメラの内部パラメータと外部パラメータとが導出される。
固有値に対応する固有ベクトルを求める場合に比べて、逆行列を求める演算は、演算量が少ない。また、演算時に使用する記憶容量も少ない。従って、少ない演算量及び少ない記憶容量でカメラの校正を可能とするカメラ校正装置を提供することができる。その結果、高性能な演算装置（コンピュータなど）を用いる必要性が少なくなる、校正時間が短くなるなどの可能性が高くなる。特にカメラが量産品に据え付けられる場合には、校正時間が短くなることによって生産性が向上する。

また、本発明に係るカメラ校正装置は、前記参照点が、６点以上設定されることを特徴とする。

参照点が６点以上あると、幾何学関係式を解く際に充分な情報量を提供することができる。

また、本発明に係るカメラ校正装置は、前記校正器が、前記カメラの設計上の光軸と、前記基準座標系の３次元直交座標軸の何れか１つの軸とが平行となる状態で、前記カメラによって撮影され、前記カメラパラメータ演算部が、前記カメラの設計上の光軸と、前記カメラの実際の光軸とがなす角度を導出することを特徴とする。

カメラの設計上の光軸と実際の光軸とは、ずれる場合がある。ずれた状態でカメラが設置されると、希望する撮影範囲を映すことができない可能性が生じる。そこで、カメラの設計上の光軸と、基準座標系の１つの軸とが平行となるように校正器を設置すると、光軸のずれを導出することができる。その結果、光軸のずれが大きい場合には、光軸修正を実施するなどにより、品質管理を行うことができる。

以下、本発明の実施形態を図面に基づいて説明する。
図１は、カメラ１と校正器２との関係を示す説明図である。校正器２は、原点をＯとする右手系３次元直交座標系であるワールド座標系（Ｘ，Ｙ，Ｚ）において、座標値が明らかな参照点Ｑを有している。本実施形態では、６つの参照点Ｑ１〜Ｑ６が選択されている場合を例示している。図１に示したカメラ１の位置からこの校正器２を撮影した場合の撮影画像ＰＰを図２に示す。

図３にワールド座標系（Ｘ，Ｙ，Ｚ）とカメラ座標系（ｘ，ｙ，ｚ）との関係を示す。上述したように参照点Ｑは、ワールド座標系において既知の座標値（Ｘ_i，Ｙ_i，Ｚ_i）を有している。

カメラ座標系と撮影画像ＰＰの画像座標系との関係を図４に示す。画像座標系（ｕ，ｖ）は、カメラ座標系の光軸に一致するｚ軸に垂直な面（投影面）で、カメラ座標の原点ｏからカメラ１の焦点距離ｆ離れた２次元座標系である。投影面と光軸とが交わる点が、画像中心Ｏ_Iである。また、画像座標系のｕ軸は、カメラ座標系のｘ軸と平行である。理想的には、画像座標系はｕ軸とｖ軸とが直交した直交座標系であるが、実際には直交していない場合がある。ｕ軸とｖ軸とのなす角度をθと称する。

図５は、カメラ１の構造を模式的に示す説明図である。カメラ１は、対象物からの光を受ける受光部（フィルムや撮像素子）を有している。本実施形態では、カメラ１はデジタルカメラであり、受光部として撮像素子１ｂを例示している。カメラ１は、撮像素子の前にレンズ１ａを有している。本実施形態では、最も簡単な構成であるピンホールカメラモデルに模式化して例示している。この場合、全ての光が通過するピンホールの点が光学中心（カメラ座標系の原点ｏ）となる。そして、光学中心ｏと撮像素子との距離が焦点距離ｆとなる。

参照点Ｑは、図４に示すように撮影画像ＰＰに投影され、画像座標系上での座標値（ｕ_i，ｖ_i）を有する。図４から明らかなように、参照点Ｑのワールド座標系上での座標値と、カメラ座標系上での座標値と、画像座標系上での座標値（ｕ_i，ｖ_i）との間には幾何学的な関係がある。
図２に示すように、校正器２の参照点Ｑ１〜Ｑ６は、全て撮影画像ＰＰに参照点ｍ１〜ｍ６として投影されている。
これら６点の参照点Ｑ１〜Ｑ６は、ワールド座標系において、全てが同一平面上に存在することなく、複数の平面上に散在していることが望ましい。また、画像座標系において、参照点ｍ１〜ｍ６が一部分に集中することなく、散在していることが望ましい。

画像座標系上の参照点ｍの座標が下記に示す式(1)で示される時、その斉次座標（homogeneous coordinates）は下記に示す式(2)で示される。

図４に示したように、画像座標系は、３次元空間が投影された２次元座標系である。画像座標系に参照点ｍとして投影されるような点は、参照点Ｑに限定されないことは明らかである。そこで、空間の次元を１つ上げることによって空間を表現してこの課題を解決することがなされる。このような座標の取り方を斉次座標という。

同様に、ワールド座標系の参照点Ｑの座標が下記に示す式(3)で示される時、その斉次座標は下記に示す式(4)で示される。

ここで、Ａをカメラ内部行列、Ｒを回転行列、Ｔを並進ベクトル、λを任意の実数とすると、式(2)、式(4)より、下記に示す式(5)と表される。

ここで、カメラ内部行列とは、下記に示す式(6)のように、カメラ内部パラメータを成分に含む行列である。カメラ内部パラメータとは、下記に示す式(6)〜式(9)に含まれるｆｋ_u、ｆｋ_v、θ、ｕ₀、ｖ₀のことである。

ここで、ｆは上述したように撮像素子１ｂとレンズ１ａの中心ｏとの間の距離である。ｋ_uは、撮像素子の座標系（画像座標系（ｕ，ｖ））に関連して、ｕ軸方向の単位長さ当たりの画素数である。また、ｋ_vはｖ軸方向の単位長さ当たりの画素数である。θは上述したようにｕ軸とｖ軸とのなす角度である。ｕ₀はｕ軸方向の座標値、ｖ₀はｖ軸方向の座標値であり、（ｕ₀，ｖ₀）は画像中心Ｏ_Iの座標値である。

また、回転行列Ｒとは、カメラ座標系とワールド座標系との間における姿勢に関する変換行列であり、下記に示す式(10)のように示される。また、並進ベクトルＴとは、図３に示すようにカメラ座標系とワールド座標系との間における位置に関する変換行列であり、下記に示す式(11)のように示される。

下記に示す式(12)は、カメラ内部行列Ａ、回転行列Ｒ、並進ベクトルＴを用いて透視カメラ行列Ｐを示したものである。

式(12)を式(5)に代入し、さらに透視カメラ行列Ｐを一般化した３行４列の行列式（射影カメラ行列）で表して成分表示すると下記の式(13)となる。

式(13)を変形すると式（14）となる。

この式(14)を元にして、カメラ１の校正を実施する。
図６は、本発明に係るカメラ校正装置の構成を模式的に示すブロック図である。カメラ１により撮影された画像は、画像受け取り部３によって受け取られ、情報処理部５へ送られる。画像受け取り部３は、デジタルビデオカメラであるカメラ１による撮影画像をバッファ、同期分離部、クロック生成部、Ａ／Ｄコンバーなどの公知の画像Ｉ／Ｆを介して受け取り、フレームメモリに格納する（画像受け取り工程）。

情報処理部５は、マイクロコンピュータや論理回路群などによって構成されている。情報処理部５は、画像処理部１０と計算部２０とを有している。各部の詳細な機能は後述するが、画像処理部１０は、歪補正部１１や参照点特定部１３を有しており、計算部２０は、関係式導出部２１や射影カメラ行列演算部２３やカメラパラメータ演算部２５を有している。情報処理部５の各部は、機能としての分担を示すものであり、必ずしも独立して設けられる必要はない。マイクロコンピュータなどのハードウェアと、ハードウェア上で実行されるプログラムなどのソフトウェアとの協働によって各機能が実現されるものでも勿論構わない。
以下、情報処理部５による校正処理の手順について説明する。

〔歪み補正工程〕
カメラ１のレンズの特性により、撮影画像に幾何学的な歪みが生じている場合がある。特にカメラ１が広角カメラの場合には、歪みを生じていることが多い。画像座標系での参照点ｍを正確に特定するためには歪みが補正された画像を用いることが好ましい。そこで、歪補正部１１において歪みが補正される。

〔校正点特定工程〕
次に、校正点特定部１３において、校正器２を撮影した撮影画像ＰＰ上の参照点ｍ１〜ｍ６が特定される。特に、校正器２とカメラ１との大まかな位置関係が分かる場合は、校正器２の参照点Ｑ１〜Ｑ６のワールド座標などは既知であるから、注目領域を絞って画像認識を行うことができる。その結果、正確に参照点ｍ１〜ｍ６の画像座標系の座標値が算出される。

〔関係式導出工程〕
上述したように、カメラ１の校正にはｎ（＝６）点以上の参照点Ｑを設定することが好ましく、本実施形態においても６つの参照点Ｑを設けている。下記の式(15)は、ｉ番目（１≦i≦ｎ）の参照点Ｑ１〜Ｑ６のワールド座標系での座標である。また、下記の式(16)は、同じくｉ番目の撮影画像ＰＰ上での参照点ｍ１〜ｍ６の画像座標系での座標である。

式(15)と式(16)とを、それぞれ式(14)に代入すると、下記の式(17)が成立する。つまり、式(17)は、射影カメラ行列を用いて構築された、参照点Ｑ（ｍ）のワールド座標系（基準座標系）での座標及び画像座標系での座標との幾何学的関係式である。式(17)中の添え字は各参照点Ｑ（ｍ）を示す。
また、式(14)の右辺のＰ₃₄には、任意の実数ｋを代入する。例えば、ｋ＝１と代入してもよい。尚、ｐ₁₁、ｐ₁₂、ｐ₁₃、ｐ₁₄、ｐ₂₁、ｐ₂₂、ｐ₂₃、ｐ₂₄、ｐ₃₁、ｐ₃₂、ｐ₃₃は、ｐ₃₄＝ｋと代入したので、ｐ’₁₁、ｐ’₁₂、ｐ’₁₃、ｐ’₁₄、ｐ’₂₁、ｐ’₂₂、ｐ’₂₃、ｐ’₂₄、ｐ’₃₁、ｐ’₃₂、ｐ’₃₃と置き換える。

式(17)の表記を簡単にするため、下記の式(18)と表記する。

ただし、式(18)のＭ，Ｐ’、Ｕは、それぞれ下記の式(19)〜式(21)である。

ここで、一般的には試行を繰り返すことによって、固有値に対応する固有ベクトルを求め、Ｐ’の解を求める。しかし、試行を繰り返すことは演算量が増大することを意味する。従って、本発明では、固有ベクトルを用いず、下記の式(22)に示すように、一般逆行列、あるいは、擬似逆行列を用いることにより、解を求める。

ただし、Ｍ⁺は、下記の式(23)で表される一般逆行列、あるいは擬似逆行列である。

このようにして得られたＰ’から下記の式(24)に示すＰ”を作る。

ここで、Ｐ”の各成分の比率が求まり、以下のようにＰ”から射影カメラ行列Ｐの真の値を求める。式(12)より、射影カメラ行列Ｐは下記の式(25)のように表される。

Ｐ”の成分Ｐ’₃₁、Ｐ’₃₂、Ｐ’₃₃が、式(25)のｒ₃₁、ｒ₃₂、ｒ₃₃に対応すること、及び回転行列が正規直交行列であり、各成分を２乗して足し合わせると１となることを利用してＰを求める。即ち、下記の式(26)が成り立つＣで、式(27)に示すようにＰ”を除することでＰを求める。

〔カメラパラメータ演算工程〕
このようにして、射影カメラ行列Ｐが求められると、次にカメラパラメータ演算部２５において内部行列Ａの各成分を求める。ｐ₁、ｐ₂、ｐ₃をそれぞれ下記の式(28)〜式(30)とおくと、射影カメラ行列Ｐは下記の式(31)と表される。また、ｒ₁、ｒ₂，ｒ₃をそれぞれ下記の式(32)〜式(34)とおくと、回転行列Ｒは下記の式(35)と表される。

式(12)より、下記の式(36)〜式(38)が成り立ち、下記の式(39)〜式(43)の関係式が成り立つ。

Ｐ₁、Ｐ₂、Ｐ₃の成分は既知であるので、式(39)〜式(43)より、式(6)〜式(9)に示したカメラ内部パラメータａ_u、ｓ、ａ_v、ｕ₀、ｖ₀が求まる。また、ｋ_u、ｋ_vが撮像素子１ｂのデータより既知となっていれば、式(6)〜式(9)よりｆ、θも求まる。
さらに式(25)より、下記の式(44)〜(46)が成り立ち、並進ベクトルＴの成分ｔ₁、ｔ₂、ｔ₃も求まる。

同様に、式(25)より、下記の式(47)〜(55)が成り立ち、回転行列Ｒの成分ｒ₁₁、ｒ₁₂、ｒ₁₃、ｒ₂₁、ｒ₂₂、ｒ₂₃、ｒ₃₁、ｒ₃₂、ｒ₃₃も求まる。

以上、カメラの内部パラメータと、外部パラメータとを全て求めることができた。

〔光軸ずれ校正工程〕
図７に示すように、カメラ１の設計上の光軸Ｄ１と実際の光軸ＤＸとは、ずれる場合がある。そこで、図８に示すようにカメラの設計上の光軸Ｄ１と、ワールド座標系の１つの軸Ｙとが平行となるように校正器２を設置する。設計上の光軸Ｄ１については、カメラ１の筐体１ｃの間で規定するとよい。例えば、筐体１ｃの設計上の寸法から設計上の光軸Ｄ１を求めることができるので、筐体１ｃに対してワールド座標系のＹ軸を合わせればよい。このように校正器２を設置することで、カメラパラメータ演算部２５において、さらに光軸のずれαを計算することができる。

カメラ座標系を下記式(56)とおき、その斉次座標を下記式(57)として、ワールド座標系のＹ軸方向を、図３に示すようなカメラ座標系に変換する（式(58)）。

ワールド座標系の原点の斉次座標（下記式(59)）に対するカメラ座標を下記式(60)とおくと、回転行列Ｒと並進ベクトルＴが上述のように既知であるので、カメラ座標は、下記の式(61)より求めることができる。

また、ワールド座標系のＹ軸上の点（例えば、下記の式(62)）に対するカメラ座標（下記の式(63)）は、同様に下記の式(64)により求めることができる。

ここで、ワールド座標系のＹ軸方向をカメラ座標系で表現すると、下記の式(65)となる。

このように、カメラ１の設計上の光軸Ｄ１の方向は式(65)により表される。一方、カメラ１の実際の光軸ＤＸは、例えば下記の式(66)とおくことができる。従って、カメラ１の設計上の光軸Ｄ１と、実際の光軸ＤＸとのなす角αは、式(65)と式(66)より、下記の式(67)で表すことができる。ただし、式(67)の分子は内積を表す。

このようにして、式(67)より、αを求めることができる。

〔他の実施形態〕
上述した実施形態においては、射影カメラ行列Ｐの成分のうち、ｐ₃₄に実数ｋを代入する方法を用い、ｐ₃₄を他の成分とは異なる扱いとして演算した。しかし、これはｐ₃₄に限定されるものではなく、他の成分ｐ₁₁、ｐ₁₂、ｐ₁₃、ｐ₁₄、ｐ₂₁、ｐ₂₂、ｐ₂₃、ｐ₂₄、ｐ₃₁、ｐ₃₂、ｐ₃₃の何れかと置き換えてもよい。例えば、ｐ₁₁に実数ｋを代入する形式をとる場合には、式(13)から式(14)への変形の際に、ｐ₁₁の項を右辺に、他の成分を左辺におく。そして、式(14)を作り変えて、上記と同様の方法で射影カメラ行列を算出し、カメラ１の内部パラメータ、外部パラメータを求めてもよい。

また、式(24)において、射影カメラ行列Ｐの成分であるｐ３４にｋ＝１を代入した。しかし、１に限定されるものではなく、他の実数を用いてもよい。

以上、本発明によって、少ない演算量及び少ない記憶容量でカメラの校正を可能とするカメラ校正装置を提供することができる。

カメラと校正器との関係を示す説明図カメラにより校正器を撮影した撮影画像ワールド座標系とカメラ座標系との関係を示す説明図カメラ座標系と撮影画像の画像座標系との関係を示す説明図カメラの構造を模式的に示す説明図本発明に係るカメラ校正装置の校正を模式的に示すブロック図カメラの光軸のずれを示す説明図光軸ずれを求める場合のカメラと校正器との関係を示す説明図

符号の説明

１：カメラ
２：校正器
３：画像受け取り部
２１：関係式導出部
２３：射影カメラ行列演算部
２５：カメラパラメータ演算部
ｍ：参照点
Ｑ：参照点
Ｐ：射影カメラ行列
α：カメラの設計上の光軸と実際の光軸とがなす角

Claims

基準座標系の複数の平面に分散した複数の参照点の座標が既知である校正器を、被校正対象のカメラによって前記参照点を散在させて撮影した撮影画像を受け取る画像受け取り部と、
前記撮影画像上の画像座標系において前記参照点の座標を特定する参照点特定部と、
前記参照点の前記基準座標系での座標及び前記画像座標系での座標との幾何学的関係式を射影カメラ行列を用いて構築する関係式導出部と、
前記幾何学的関係式に対して一般逆行列、及び回転行列が正規直交行列であることを用いて演算し、前記射影カメラ行列の各成分を導出する射影カメラ行列演算部と、
導出された前記射影カメラ行列の各成分に基づいて、前記カメラの外部パラメータと、焦点距離を含む前記カメラの内部パラメータとを導出するカメラパラメータ演算部と、を備えるカメラ校正装置。
前記参照点は、６点以上設定される請求項１に記載のカメラ校正装置。
前記校正器は、前記カメラの設計上の光軸と、前記基準座標系の３次元直交座標軸の何れか１つの軸とが平行となる状態で、前記カメラによって撮影され、
前記カメラパラメータ演算部は、前記カメラの設計上の光軸と、前記カメラの実際の光軸とがなす角度を導出する請求項１又は２に記載のカメラ校正装置。