JP2013211707A - カメラキャリブレーション装置 - Google Patents

Abstract

【課題】ハードウェアの要求するパラメータの数が、キャリブレーションに必要な数よりも少ない場合でも、簡単かつ高精度にカメラパラメータのキャリブレーションが可能なカメラキャリブレーション装置を得ること。
【解決手段】本発明のカメラキャリブレーション装置１は、複数のカメラ２Ａ〜２Ｄで、相対位置関係が不定の較正指標２０を撮像して各カメラパラメータを較正するカメラキャリブレーション装置１であって、各画像から較正指標の撮像特徴点を抽出し、各画像に基づいて各カメラパラメータを較正して一次較正パラメータ５４を求め、一次較正パラメータ５４を用いて撮像特徴点５２を視点変換したターゲット特徴点５６を生成し、ターゲット特徴点５６と撮像特徴点５２を用いて一次較正パラメータを再較正した二次較正パラメータを求める。
【選択図】図５

Description

本発明は、カメラキャリブレーション装置に関し、例えば、車載カメラで較正指標を撮像して、その撮像画像に基づいて車載カメラのパラメータを較正するカメラキャリブレーション装置に関する。

車載カメラは、車両の利便性向上、安全走行およびカーナビゲーションの高度な位置補正などを目的として使用されており、その役割は益々重要なものとなってきている。画像処理技術の発展に伴い、路面、あるいは路上の表示や物体を認識する技術は、多種多様なものが開発されている。これらに付随して、車両周囲の環境を画像認識し、車線逸脱防止や、衝突回避、オートクルーズなどの車両制御を行う技術も開発され、実用化が進められている。

車両制御を伴う場合、車両に対する認識対象物の相対位置を測定するための計測技術が必要となる。この測定をカメラで実施する場合、カメラパラメータであるカメラの位置や姿勢を表す外部パラメータと、光軸位置や焦点距離、レンズ歪みなどを表す内部パラメータとを用いて、画像中の画素と実空間上の位置の対応をとる必要がある。

カメラパラメータ（外部パラメータ、内部パラメータ）は、設計値に基づいて製造されているが、実際には誤差が必ず含まれるため、画素と実空間が真の対応関係を表すように、ズレを補正するキャリブレーション（較正）が必要となる。

標準的なキャリブレーションは、較正指標を予め定められた位置に設置し、較正指標を撮影した実際のカメラ映像と、カメラの姿勢や較正指標との位置関係から計算可能な本来映るはずの映像（理想映像）とを比較し、実際のカメラ映像と理想映像が一致するように、カメラ映像を画像処理によって補正することによって実施される。

上記技術を実施するためには、カメラと較正指標との相対位置関係が既知である必要がある。したがって、キャリブレーションするためには、カメラの位置と較正指標の位置を予め高精度に位置合わせする必要があるが、位置合わせは手間がかかり、容易ではないという問題がある。

この問題を解決するための方法として、特許文献１には、カメラと較正指標との相対位置関係が未知でもキャリブレーション可能な方式が提案されている。この方式では、較正指標として白線格子を用い、白線の直線性、平行性、直交性、間隔などのカメラとの相対位置関係に依存しない白線格子の特徴を満たすようにカメラ映像を補正している。

特開２０１２−１５５７６号公報 特開２０００−３５０２３９号公報

特許文献１では、白線の平行性を用いてカメラ俯角を調整し、その後、俯瞰視点から見た白線の間隔を用いてカメラの高さを補正するなど、前段の補正結果を用いて後段の補正を実施する形式となっている。

しかしながら、車載カメラシステムの種類によっては、ハードウェアの構成を簡素化するために、ハードウェアの要求するカメラパラメータの数を、カメラのキャリブレーションに必要な数よりも減らして、その減らしたカメラパラメータは正確であると推定して処理することが行われている。

このようにシステムで取り扱われるカメラパラメータの数がキャリブレーションに必要な数よりも減らされている場合に、その減らされたカメラパラメータが真値に近いものでない限り、キャリブレーションを行ったときに誤差が大きく残されてしまい、その誤差が後段のキャリブレーション結果に影響する。

特許文献２では、２カメラ間の位置・姿勢の相対関係は算出できるが、カメラと地表の相対位置関係を求めることはできない。したがって、カメラと地表の相対位置関係が必要となるキャリブレーションには利用できない。

本発明は、上記の点に鑑みてなされたものであり、その目的とするところは、ハードウェアの要求するパラメータの数が、キャリブレーションに必要な数よりも少ない場合でも、簡単かつ高精度にカメラパラメータのキャリブレーションが可能なカメラキャリブレーション装置を提供することにある。

上記課題を解決するために、例えば特許請求の範囲に記載の構成を採用する。本願は上記課題を解決する手段を複数含んでいるが、その一例を挙げるならば、複数のカメラで、該複数のカメラとの相対位置関係が不定の較正指標を撮像して前記複数のカメラのカメラパラメータを較正するカメラキャリブレーション装置であって、各カメラで較正指標を撮像した画像から較正指標の撮像特徴点を抽出する特徴点抽出手段と、各カメラで撮像した画像に基づいて各カメラのカメラパラメータを較正して、一次較正パラメータを求める一次較正部と、一次較正パラメータを用いて前記撮像特徴点を視点変換したターゲット特徴点を生成するターゲット特徴点生成部と、ターゲット特徴点と撮像特徴点を用いて一次較正パラメータを再較正した二次較正パラメータを求める二次較正部と、を有することを特徴としている。

本発明によれば、カメラと較正用指標との位置関係が未知でも、キャリブレーションパラメータ数に最適なキャリブレーション結果が得られる。

カメラキャリブレーション装置の構成図。 較正指標の一例を示す図。 カメラキャリブレーション方法を説明する図。 各カメラの撮像画像の一例を示す図。 カメラキャリブレーション装置の機能ブロック図。 カメラＡの撮像特徴点の一例を示す図。 カメラＡのターゲット特徴点の一例を示す図。

以下、本実施の形態について、図面を参照しながら詳細に説明する。

図１に本発明のキャリブレーション方法を実施するカメラキャリブレーション装置１のハードウェア構成を示す。

カメラキャリブレーション装置１は、車両に搭載された４つのカメラ（カメラ２Ａ、カメラ２Ｂ、カメラ２Ｃ、カメラ２Ｄ）のカメラパラメータを較正する。各カメラ２Ａ〜２Ｄは、３次元空間上に実在する物体を撮像して、電子的な画像データとして取り込むための装置である。各カメラ２Ａ〜２Ｄは、１つのカメラで広域の撮像範囲の映像を取得するために、広角カメラが用いられている。なお、本実施の形態では、カメラの数は４となっているが、カメラの数は少なくとも２つ以上の複数であればよい。

カメラインターフェース１２は、演算装置１３とカメラ２Ａ、カメラ２Ｂ、カメラ２Ｃ、カメラ２Ｄとの間を接続するインターフェースである。

演算装置１３は、カメラキャリブレーション装置１全体の動作を統括的に制御するメインコントローラであり、実体としては、画像処理を実行するアプリケーションプログラムを起動するＣＰＵである。すなわち、演算装置１３は、オペレーティングシステムの制御化で、各種のアプリケーションプログラムを実行する。

ＲＡＭ１４は、演算装置１３が実行プログラムコードをロードしたり、作業データを一次格納するために使用される書き込み可能なメモリである。例えば、カメラキャリブレーションの演算処理に必要なプログラムコードや撮影画像データは、ＲＡＭ１４上にロードされる。

ＲＯＭ１５は、所望のデータが製造時に恒久的に書き込まれる読み出し専用の不揮発メモリである。ＲＯＭ１５上には、例えばカメラキャリブレーション装置１の電源投入時に実行する自己診断テストプログラムや、ハードウェア入出力操作を実行するためのコード群（ＢＩＯＳ）及び処理画像作成のためのマップデータが格納されている。

入力装置１６は、ユーザからの命令入力を受容する装置である。キーボードやマウス、タッチパネルなどの装置が含まれる。また、カメラキャリブレーション装置１のキャリブレーション実行命令を出す際の機械的なスイッチなども含まれる。

表示装置１７は、例えばカーナビゲーションシステムの液晶モニターのような、映像を表示する装置である。モニターにカメラＢ単体の映像を表示したり、カメラ２Ａ、カメラ２Ｂ、カメラ２Ｃ、カメラ２Ｄの映像を視点変換して合成した車両周囲の映像などを表示する。

ネットワークインターフェイス１８は、カメラキャリブレーション装置１を所定の通信プロトコルに従ってネットワーク接続するための装置であり、車両の速度や舵角などの情報を、車載通信ネットワークを介して取得する。また、ＰＣを接続し、カメラキャリブレーションのためのプログラムファイルや、各カメラ２Ａ〜２Ｄのカメラ姿勢や設置位置などのキャリブレーションに必要なパラメータなどを受け取ることも可能である。

なお、カメラキャリブレーション装置１を実際に較正するためには、図１に示した以外にも多くのハードウェアコンポーネントが必要である。ただし、これらは当業者には周知であり、また本発明の要旨を較正するものではないので、本明細書中では省略している。また、図面の錯綜を回避するため、図中の各ハードウェアブロック間の接続も抽象化して図示している点を了承されたい。

次に、カメラキャリブレーション装置１を用いたカメラキャリブレーション方法について説明する。

まず、キャリブレーションに用いる較正指標２０を平面上に準備する。較正指標２０には、例えば図２に示すような白線格子を用いる。較正指標２０は、例えばアスファルト等の路面上にペンキなどで描いてもよいし、シートの上にあらかじめ印字したものを用いてもよい。また、本実施の形態では白線の場合を例に説明しているが、色は白でなくてもよく、描画対象に対してコントラストが確保できる直線状のものであればよい。線の色が途中で変化していてもよい。

また、図２に示すような白線格子状のものでなくても、カメラとキャリブレーションターゲットの相対関係が不定でよいものであれば、他のパターンを用いてもよい。例えば、カメラ２Ａとカメラ２Ｃ、カメラ２Ａとカメラ２Ｄ、カメラ２Ｃとカメラ２Ｂ、カメラ２Ｂとカメラ２Ｄの、視野が重なる領域に、較正指標を設置してキャリブレーションを実施してもよい。

次に、キャリブレーション装置１を搭載した車両３０を、較正指標２０の上に停車する。停車後の状態を図３に示す。この際、車両３０の姿勢や停車位置などは定められた範囲内であればラフでよい。定められた範囲内とは、白線格子を用いたキャリブレーション方式が要求する範囲内を示す。その範囲とは、各カメラ２Ａ〜２Ｄで撮像した画像に、較正指標２０のうちの少なくとも一本の白線と、それに直交する２本の白線が撮像できる範囲内であればよい。カメラ２Ａ〜２Ｄは、例えば、カメラ２Ａを車両３０の前側に、カメラ２Ｂを車両３０の後ろ側に、カメラ２Ｃおよびカメラ２Ｄを車両３０の左右両側に取り付ける。カメラ２Ａ〜２Ｄをこのように車両３０に配置することによって、車両３０の全周囲の映像を取得することが可能となる。

続いて、カメラ２Ａ〜２Ｄで撮影を実施する。カメラキャリブレーション装置１のスイッチを押すなどし、撮影のトリガーをかける。撮像された各カメラ２Ａ〜２Ｄの画像を図４に示す。図４（a）は、カメラ２Ａの画像、図４（ｂ）は、カメラ２Ｂの画像、図４（ｃ）は、カメラ２Ｃの画像、図４（ｄ）は、カメラ２Ｄの画像である。各画像は、キャリブレーション装置１のＲＡＭ１４などに展開されて保持される。

これらの画像に関して、カメラ２Ａ〜２Ｄは広角カメラであるため、図４に示すように、撮像した画像には歪みが生じている。そして、カメラ２Ａ〜２Ｄの設置時には、その位置や姿勢に必ず誤差が生じる。また、カメラ２Ａ〜２Ｄの製造時の誤差（個体差）もあり、これらは避けることはできない。そのため、各画像は、理想の画像から必ずズレがある状態となっている。したがって、その状態から生成した俯瞰映像も映像境界部において必ずズレが生じる。映像境界部においてズレがない俯瞰映像を生成するためには、各カメラ２Ａ〜２Ｄについてそれぞれカメラパラメータを較正するカメラキャリブレーションが必要となる。

前記の条件で撮影した画像を用いてカメラキャリブレーションを実施する。カメラキャリブレーションは、較正指標２０の白線の直線性、平行性、直交性、間隔など、車両３０の停車位置とは無関係な情報を利用して、それらの条件を満たすように実施される。

カメラ２Ａ、カメラ２Ｂ、カメラ２Ｃ、カメラ２Ｄそれぞれについて、少なくとも１本の白線とそれに直交する２本の平行白線が撮像されている（図４を参照）。これらの白線は、本来は直線状に撮影されるはずのものであるが、広角レンズの特性によって、曲線状に撮像されている。この撮像は、広角レンズの既知の撮像歪み式にしたがって意図的に歪みをもたせて撮像したものであるため、既知の撮像歪み式を逆にたどることで、歪みがない場合の撮像結果を計算することができる。これを歪み補正と呼ぶ。既知の歪み補正を実施すると、曲線状に撮像されていたものは、直線状の撮像となる。まずはこの歪み補正を実施する。

ただし、製造時の誤差が必ず発生するため、既知の撮像歪み式は実際の撮像歪みとズレがある。したがって、既知の撮像歪み式では、完全に歪みを除去し、歪みのない映像には戻らない。そこで、撮像歪み式のキャリブレーションを実施する。撮像歪み式に含まれる撮像歪み係数を、歪み補正後に曲線状の白線がなるべく直線になるように推定する。

また、撮像歪みモデルを用いた歪み補正式は、歪み係数だけでなく、焦点距離、光軸中心、画素サイズ、画素比も関連するが、これらの内部パラメータについても同様に、製造時の誤差が生じているので、歪み補正後に曲線状の白線がなるべく直線になるような数値を推定する。

これらの各内部パラメータの数値を推定するためには、例えば、最適化法を用いることができる。最適化法では、歪み補正後の曲線の直線性を表現する数式を定義し、その数式に関して最も直線らしくなるような値を推定する。推定は、歪み補正後の曲線の直線性を表現する数式の値が、最も直線らしくなるような値となるように、ある初期値から徐々に値を変化させていくことによって行われる。焦点距離、光軸中心、画素サイズ、画素比、歪み係数は、内部パラメータと呼ばれる。この製造誤差を含む真の値を推定することをキャリブレーションという。まずは内部パラメータのキャリブレーションを実施する。

カメラ２Ａ〜２Ｄのそれぞれについて、内部パラメータのキャリブレーションを実施し、その後、歪み補正を実施すると、少なくとも１本の直線と、それに直交する２本の平行白線が画像に映っていることになる。

ただし、これらの白線は、地面状で見ると平行かつ直交であるが、カメラの撮像姿勢によって、さまざまな映り方になっている。このカメラ映像に関して、これらの白線が平行かつ直交するように、カメラ姿勢を推定する。すなわち、真上から地面を見下ろした場合のカメラ姿勢を推定する。カメラ姿勢を変更した場合に、カメラの映像がどのように変化するかは、カメラの撮像式を用いれば計算可能である。これを利用して、カメラ姿勢に関しても内部パラメータのキャリブレーションと同様に、直線の平行性と直交性を表現する数式を定義し、その数式において直線同士が平行性と直交性を最も満たすように、最適化法によってカメラ姿勢を推定する。カメラ２Ａ〜２Ｄのそれぞれについて、カメラ姿勢のキャリブレーションを実施する。

ここまでの手続きによって、カメラ２Ａ〜カメラ２Ｄについて、それぞれ真上から見下ろした映像になるカメラ姿勢や内部パラメータを求めることができている。

次に、カメラ２Ａ〜２Ｄについて、それぞれのカメラ高さを推定する。カメラ高さは、既知の白線間隔に基づいて推定する。カメラの高さが変われば、そのカメラに映る白線の間隔は変化する。そこで、各カメラ映像に関して、白線が既知の間隔になるようなカメラの高さを推定する。これも内部パラメータのキャリブレーションやカメラ姿勢のキャリブレーションと同様に、白線の間隔を表現する数式を定義し、その数式において、白線間隔が一定の値になるように、最適化法によってカメラ高さを推定する。最適化は、カメラ高さを少しずつ変化させながら、それぞれの場合の白線間隔を計算し、白線間隔が既知の間隔になるカメラ高さが得られるまで推定を繰り返し実施する。

ここまでの手続きによって、カメラ２Ａ〜２Ｄについて、それぞれ真上から見下ろし、かつ特定のカメラ高さになるカメラパラメータ（外部パラメータ）を得ることができている。ここまでは、各カメラと地面の関係を用いたキャリブレーションとなっている。ここからは、各カメラ間の関係を用いたキャリブレーションとなる。

各カメラ間の関係を用いたキャリブレーションは、共通撮像物体の特徴を利用して実施する。例えば白線格子の最も右側の縦白線は、カメラ２Ａ、カメラ２Ｂ、カメラ２Ｄに共通して撮像されている。この特徴を利用してカメラ間の補正を実施する。カメラ２Ａとカメラ２Ｄ、カメラ２Ｄとカメラ２Ｂ、カメラ２Ａとカメラ２Ｃなどの隣接するカメラ同士の関係を用いて順に補正を実施していくことで、全カメラの関係を補正する。ここでは、カメラ２Ａとカメラ２Ｄを用いたキャリブレーションを例として説明する。

カメラ２Ａとカメラ２Ｄと間のキャリブレーションを実施する際、ここまでのキャリブレーションしたカメラパラメータを用いて、俯瞰視点に変換した俯瞰画像を作成する。俯瞰画像は、カメラ２Ａの画像を、俯瞰視点に存在すると仮定した俯瞰カメラの画像に変換することで生成する。俯瞰カメラのカメラ高さや位置などは、表示したい映像にあわせて望みのものに設定してよい。同様にカメラ２Ｄについても同一の俯瞰カメラからみた俯瞰視点画像に変換し、俯瞰画像を取得する。これらの俯瞰画像は同一視点から見た画像である。

カメラ２Ａとカメラ２Ｄと間のキャリブレーションが既に完璧に行われている場合には、これらの画像にズレはない。しかしながら、実際には、カメラ２Ａとカメラ２Ｄは、カメラの回転と設置位置の設計値からの誤差に由来するズレが存在する。そこで、２つの俯瞰画像にズレがなくなるように、カメラ回転とカメラ位置を推定する。補正の際には、画像そのものではなく、この画像から抽出された特徴点やエッジ直線の方程式などの特徴情報を利用して位置合わせを実施する。画像そのものの位置合わせを実施してもよい。

補正方法はいろいろと考えられるが、例えば、前方のカメラ２Ａの俯瞰映像を基準として、右のカメラ２Ｄの俯瞰映像がカメラ２Ａの俯瞰映像と一致するように、カメラ２Ｄのロールとカメラ位置を補正する。この補正方法の場合、カメラ２Ａの俯瞰映像が著しくズレている場合は、他のカメラ２Ｄのロールとカメラ位置にもズレが生じるので他の補正方法を採用してもよい。

例えば、カメラの設置位置のズレが小さいとわかっている場合には、それらのパラメータの誤差による俯瞰図のズレも小さいため、ロールのみで画像がなるべく一致するように先に補正し、最後にカメラ位置を微修正してもよい。画像の位置合わせには、最適化法を利用する。２つのカメラ間の補正方法は上記のとおりである。同様に２つのカメラ間の補正を繰り返していくことで、４つのカメラの補正を実施する。カメラの補正順序はどのように選んでもよい。また、繰り返し実施するなどの工夫をしてもよい。

以上の処理により、カメラ２Ａ、カメラ２Ｂ、カメラ２Ｃ、カメラ２Ｄの回転姿勢、並進位置、その他の内部パラメータが得られる。各カメラの全てのカメラパラメータが利用できる場合は、上記した方法で較正することができる。

しかしながら、システムによっては、各カメラの全てのカメラパラメータが利用できず、出力可能なカメラパラメータがシステムの制約を受ける場合がある。具体的には、各カメラのキャリブレーション結果ともとの映像を受け取って、キャリブレーション後の画像を生成したり、各カメラ映像の合成画像を生成したりするハードウェアの要求するカメラパラメータが、前記推定カメラパラメータと異なる場合がある。

この画像変換処理は、リアルタイムで実施する必要があるため、処理性能の低いＣＰＵを用いている場合、専用のハードウェアを利用して実施する場合が見受けられる。また、ハードウェアに関しては構成を簡素にするためパラメータ数を削減している場合がある。そのため、当該ハードウェアに適合するように、推定されたカメラパラメータを適切に変換する必要がある。

以下では、推定されたカメラパラメータからハードウェアの要求する推定したカメラパラメータよりも減らされたカメラパラメータに、好適に変換する方法について説明する。

基本的な考え方としては、推定されたカメラパラメータを用いて、ターゲットとなる特徴画像を一度作成し、しかる後に、入力画像が特徴画像と一致するようにカメラパラメータを推定する。この際、パラメータは、システムが要求するパラメータにあわせたものとする。

そこで、カメラ２Ａ〜２Ｄのそれぞれについて、推定されたカメラパラメータを用いてキャリブレーションターゲットを生成する。キャリブレーションターゲットの生成は、キャリブレーションされたカメラパラメータを用いて、各カメラの視点変換を実施することで実現する。

図５は、カメラキャリブレーション装置１の機能ブロック図である。カメラキャリブレーション装置１は、内部機能として、撮像特徴点抽出部５１、一次較正部５３、ターゲット特徴点生成部５５、二次較正部５７を有している。

撮像特徴点抽出部５１は、各カメラ２Ａ〜２Ｄで撮像された画像から撮像特徴点５２を抽出する。一次較正部５３は、撮像特徴点５２に基づいてカメラパラメータを較正した一次較正パラメータ５４を求める。ターゲット特徴点生成部５５は、一次較正部５３によって求めた一次較正パラメータ５４に基づいてターゲット特徴点５６を生成する。二次較正部５７は、ターゲット特徴点５６と撮像特徴点５２に基づいて一次較正パラメータ５４を再較正し、二次較正パラメータ５９を求める。

以下で、各部の処理内容を説明する。まず、撮像特徴点抽出部５１において、各カメラ２Ａ〜２Ｄで撮像した画像から撮像特徴点５２を抽出する処理を実施する。撮像特徴点５２は、例えば、較正指標２０の白線のエッジなどである。撮像特徴点抽出部５１では、エッジは画像処理分野において広く使われているソーベルフィルタなどのエッジ抽出フィルタを用いて、撮像特徴点５２を抽出する。例えば、画像にソーベルフィルタを適用し、エッジ強度画像を得た後、エッジ強度画像に対して、アルゴリズム設計者が定めたある一定の値以上のエッジ強度をもつ画像上の座標を求める。得られた画像上の座標が特徴点の座標となる。ここで処理負荷軽減のために、特徴点を縦あるいは横座標に関して昇順にならべ、ならべた特徴点に関して、設計者が定めた一定の間隔で間引きを実施するなどしてよい。例として、カメラ２Ａで抽出された撮像特徴点６１を図６に示す。

次に、一次較正部５３において、抽出した撮像特徴点５２を、キャリブレーションされたカメラパラメータを用いて設計視点の画像に変換する。一次較正部５３では、撮像特徴点抽出部５１において抽出された撮像特徴点５２を用いてキャリブレーションを実施する。

そのため、この時点で画像の情報は不要である。カメラキャリブレーションは、例えば、前記したカメラキャリブレーション方法を用いて実施する。すなわち、特徴点の直線性、平行性、直交性、間隔など、車両の停車位置とは無関係な情報を利用して、それらの条件を満たすように実施する。補正対象は内部パラメータおよび外部パラメータである。内部パラメータに関しては、前述した方法にならい、歪み係数、焦点距離、光軸中心、画素サイズ、画素比の数値を、歪み補正後に曲線状の白線がなるべく直線になるように、最適化法によって推定する。誤差が生じにくいことが事前にわかっている場合は、誤差が生じにくいパラメータは既知の固定値としてもよい。このようにしたほうが、推定を失敗しにくいという利点がある。

外部パラメータに関しても同様に、前述した方法にならい、各カメラ映像に関して、これらの白線が平行かつ直交するように、カメラ姿勢を推定する。すなわち、真上から地面を見下ろした場合のカメラ姿勢を推定する。撮像特徴点５２に対して推定した内部パラメータを用いて歪み補正を適用する。

撮像特徴点５２は本来直線上にある点のため、補正後は直線状に並ぶ。この直線の方程式をもとめ、直線の方程式の平行性、直交性、間隔、連続性を評価し、それらを満たすようにカメラのパラメータを最適化によって推定する。ここまでの処理によって、理想的な較正パラメータが得られる。仮にこのパラメータを利用して俯瞰表示すれば、理想的な俯瞰画像を生成することができる。

しかしながら、表示システムにおいてこのパラメータ全てが利用できず、例えばヨーの補正量を受け取ることができない場合は、ヨーのズレが残るため、他のパラメータが理想的でも理想的な俯瞰画像とならず、大きなズレが生じてしまう。そのためこのパラメータをそのまま利用することはできない。この場合、ヨーの補正ができないなかでも、他のパラメータで吸収するなどしてなるべく理想的に近い俯瞰図を生成するカメラパラメータを求めることが必要である。その処理を実施するのが、ターゲット特徴点生成部５５と二次較正部５７である。

ターゲット特徴点生成部５５では、一次較正部５３で得られた一次較正パラメータ５４を利用して理想時の特徴点座標を求める。一次較正部５３で得られた一次較正パラメータ５４は、欠落のない全てのパラメータを利用しているものであり、最終的な出力、すなわちシステムへの入力としては利用できないが、この段階では画像は使わず、特徴点の座標の数値計算のみであるため、途中段階での計算結果としては利用可能である。ここでは、通常視点画像中の特徴点座標を、カメラが完全に設計どおりに取り付けられている場合に見えるはずの位置に補正する。

一次較正部５３で理想的な俯瞰映像に変換するためのカメラパラメータが得られているため、そのパラメータが表す姿勢の変換量が設計の変換量とどれだけ異なるかという情報から、カメラ取り付けのズレ量を求めることができる。このズレ量から、通常視点画像中の特徴点座標を、カメラが完全に設計どおりに取り付けられている場合に見えるはずの位置に視点変換する。この視点変換後の特徴点座標がターゲット特徴点５６となる。

カメラ２Ａのキャリブレーションされたカメラパラメータを用いて視点変換することにより得られたターゲット特徴点７１を、図７に示す。この設計視点の映像に変換された特徴点列がターゲット特徴点７１となる。

二次較正部５７では、システムの入力にあわせたパラメータでの較正を実施する。ここでは、ターゲット特徴点５６（７１）に対して、撮像特徴点５２（６１）が一致するようなカメラパラメータの変換量を求める。すなわちキャリブレーションを実施する。ここでのカメラパラメータは、システムが要求するパラメータと同様のものとする。変換するパラメータの数が幾つであっても、ターゲット特徴点５６（７１）と一致すれば、それだけそれは理想的な補正結果に近いパラメータの組み合わせということになる。

システムが要求するパラメータ数で、ターゲット特徴点５６（７１）に撮像特徴点５２（６１）を一致させるための変換量を求めるには、最適化法を用いる。最適化法では、特徴点列から各点列群を表現する近似方程式を算出し、その近似方程式が一致度を評価する関数を設計し、その関数に関して、一致度が最も高くなるカメラパラメータを求めることによって実現される。カメラパラメータを微小変化させながら、設計した評価関数が最適となるカメラパラメータを探索する。上記した処理によって、システムの要求に最も適合したカメラパラメータを求めることが可能となる。ここで得られたカメラパラメータを俯瞰映像表示システムに入力することで、システムが要求するカメラパラメータに欠落がありそのパラメータにずれがある場合でも、理想に近い俯瞰映像を表示することができる。

以上、本発明の実施形態について詳述したが、本発明は、前記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。例えば、前記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。さらに、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１ カメラキャリブレーション装置
２Ａ〜２Ｄ カメラ
２０ 較正指標
５１ 撮像特徴量抽出部
５２ 撮像特徴量
５３ 一次較正部
５４ 一次較正パラメータ
５５ ターゲット特徴点生成部
５６ ターゲット特徴点
５７ 二次較正部
５９ 二次較正パラメータ

Claims (1)

1. 複数のカメラで、該複数のカメラとの相対位置関係が不定の較正指標を撮像して前記複数のカメラのパラメータを較正するカメラキャリブレーション装置であって、
   各カメラで較正指標を撮像した画像から較正指標の撮像特徴点を抽出する撮像特徴点抽出手段と、
   各カメラで撮像した画像に基づいて各カメラのカメラパラメータを較正した一次較正パラメータを求める一次較正部と、
   前記一次較正パラメータを用いて前記撮像特徴点を視点変換したターゲット特徴点を生成するターゲット特徴点生成部と、
   前記ターゲット特徴点と前記撮像特徴点を用いて一次較正パラメータを再較正した二次較正パラメータを求める二次較正部と、
   を有することを特徴とするカメラキャリブレーション装置。

Images