JP2014230215A - カメラ較正装置、およびカメラ較正方法 - Google Patents

Abstract

【課題】カメラの設置ばらつきに関するカメラの撮像画像の較正を自動で行うカメラ較正装置、およびカメラ較正方法を提供する。
【解決手段】カメラ較正装置１は、２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点Ｐを有するチャート１００を撮像するカメラ２と、撮像画像上のチャート１００の直線の傾きに基づいて撮像画像上の較正点Ｐ_ｉを検出する較正点検出部３３と、撮像画像上の較正点Ｐ_ｉの座標に基づいてカメラ２の設置ばらつきを較正するパラメータを算出する角度算出部３４とを備える。
【選択図】図１

Description

本発明は、移動体に取り付けられたカメラの設置ばらつきを較正するカメラ較正装置、およびカメラ較正方法に関する。

近年、車両等の移動体には複数のカメラが搭載され、運転者は社内に設置されたモニタでカメラの撮像画像を目視確認することが可能である。事故防止のため、自車両の周辺監視や運転補助の用途において、車載カメラは大きな役割を果たしている。

従来、安全な走行のための多くの機能が提案されている。例えば周辺監視の用途において、運転者の死角となる側方や後方等を複数のカメラで撮影して、運転者が見たい画像を選択する機能や、自車両とその周辺を俯瞰するような画像を生成する機能等が知られている。また運転補助の用途において、車両の後退時にハンドルの舵角に応じて進行方向を示すガイド線をカメラ画像に重畳表示する機能等が知られている。

これらの機能において、運転者にとって違和感なくモニタに画像を表示するためには、カメラを車両に設置する際に発生する設置角度のばらつきを考慮する必要がある。この設置ばらつきを吸収するために、車載カメラのキャリブレーションを行う方法が知られている（例えば、特許文献１参照）。

特開２００４−２００８１９号公報

しかしながら、カメラの設置工程において、作業者が表示画面を見ながらジョイスティック等の操作手段により複数のマーカーを操作してキャリブレーションを行うため、作業者により精度が安定しない恐れがあった。

かかる事情に鑑みてなされた本発明の目的は、カメラの設置ばらつきに関するカメラの撮像画像の較正を自動で行うカメラ較正装置、およびカメラ較正方法を提供することにある。

上記課題を解決するために本発明に係るカメラ較正装置は、
２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点を有するチャートを撮像するカメラと、
撮像画像上のチャートの直線の傾きに基づいて前記撮像画像上の較正点を検出する較正点検出部と、
前記撮像画像上の較正点の座標に基づいて前記カメラの設置ばらつきを較正するパラメータを算出する角度算出部と、を備える。

また、本発明に係るカメラ較正装置は、
前記較正点検出部は、前記撮像画像上のチャートの直線の傾きに応じたテンプレート画像を用いて、テンプレートマッチングにより前記撮像画像上の前記較正点を検出する。

また、本発明に係るカメラ較正装置は、
前記カメラ較正装置は、テンプレートマッチングの相関度に関する２つ以上の極値点間の前記撮像画像上の距離が所定の範囲内にない場合、前記較正点が正しく検出されていないと判定する較正点判定部を更に備える。

また、本発明に係るカメラ較正装置は、
前記カメラ較正装置は、テンプレートマッチングの相関度に関する４つの極小点の重心点と極大点との間の距離が所定の範囲内にない場合、前記較正点が正しく検出されていないと判定する較正点判定部を更に備える。

また、本発明に係るカメラ較正装置は、
前記移動体情報記憶部は、前記テンプレート画像を予め記憶している。

また、本発明に係るカメラ較正装置は、
前記カメラ較正装置は、前記テンプレート画像を生成するテンプレート生成部を更に備える。

また、本発明に係るカメラ較正装置は、
前記較正点検出部がテンプレートマッチングを行う撮像画像上の領域は、前記カメラの設置角度を調整可能な最大範囲にわたって変動させた場合に前記撮像画像上の前記較正点が移動する領域である。

また、本発明に係るカメラ較正装置は、
前記較正点検出部は、前記撮像画像に対して輪郭検出を行い、検出した輪郭画像に対し所定の角度範囲においてハフ変換を行って直線を検出し、検出した２つの直線の交点を前記較正点として検出する。

また、本発明に係るカメラ較正装置は、
前記較正点検出部が輪郭検出を行う撮像画像上の領域は、前記カメラの設置角度を調整可能な最大範囲にわたって変動させた場合に前記撮像画像上の前記較正点が移動する領域である。

また、本発明に係るカメラ較正装置は、
ハフ変換を行う所定の角度範囲は、前記カメラの設置角度を調整可能な最大範囲にわたって変動させた場合における前記撮像画像上の前記チャートの直線の傾きに基づいて定まる。

また、本発明に係るカメラ較正装置は、
２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点を有するチャートを撮像して得られる撮影画像に基づいて、カメラの設置ばらつきを較正するカメラ較正装置であって、
撮像画像上のチャートの直線の傾きに基づいて前記撮像画像上の較正点を検出する較正点検出部と、
前記撮像画像上の較正点の座標に基づいて前記カメラの設置ばらつきを較正するパラメータを算出する角度算出部と、を備える。

また、本発明に係るカメラ較正方法は、
移動体に設置されたカメラの較正方法であって、
前記カメラは、２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点を有するチャートを撮像するステップと、
較正点検出部が、撮像画像上のチャートの直線の傾きに基づいて前記撮像画像上の較正点を検出するステップと、
角度算出部が、前記撮像画像上の較正点の座標に基づいて前記カメラの設置ばらつきを較正するパラメータを算出するステップと、を含む。

本発明によるカメラ較正装置、およびカメラ較正方法によれば、カメラの設置ばらつきに関するカメラの撮像画像の較正を自動で行うことが可能となる。

移動体に設置されるカメラと移動体外部に設置されるチャートとの相対的位置関係を示す概略図である。 図１におけるカメラの撮像画像の例を示す図である。 図１におけるチャートの位置及び寸法を示す図である。 図１におけるワールド座標系及びカメラ座標系を示す図である。 座標変換における回転移動を説明する図である。 カメラの撮像画像上における較正点の座標を示す図である。 カメラ座標系における較正点の座標を示す図である。 図２の撮像画像上の較正点付近の拡大図である。 本発明の実施の形態１に係るカメラ較正装置の概略構成を示すブロック図ある。 図９の画像処理部の概略構成を示すブロック図である。 図１０の移動体情報の例を示す図である。 表示部に表示される撮像画像を説明する図である。 図１１のテンプレート画像の例を示す図である。 図９のカメラ較正装置が行うテンプレートマッチングを説明する図である。 図９のカメラ較正装置がカメラ設置角度を算出する動作を示すフローチャートである。 本発明の実施の形態２に係るカメラ較正装置の画像処理部の概略構成を示すブロック図である。 本発明の実施の形態１及び２の変形例を説明する図である。 本発明の実施の形態３に係るカメラ較正装置の画像処理部の概略構成を示すブロック図である。 図１８のカメラ較正装置が行うテンプレートマッチングにおける相関度の極値点を説明する図である。 図１８のカメラ較正装置が行うテンプレートマッチングを説明する図である。 図１８のカメラ較正装置が行うテンプレートマッチングにおける相関度と極値点との関係を説明する図である。 図１８のカメラ較正装置の動作を示すフローチャートである。 本発明の実施の形態３の変形例に係る移動体情報の例を示す図である。 図２３のテンプレート画像の例を示す図である。 本発明の実施の形態３の変形例に係るカメラ較正装置の動作を示すフローチャートである。 本発明の実施の形態４に係るカメラ較正装置の画像処理部の概略構成を示すブロック図である。 図２６の移動体情報の例を示す図である。 図２７のハフ変換を行う角度範囲を説明する図である。 本発明の実施の形態４に係るカメラ較正装置が行う輪郭検出処理及び直線検出処理を説明する図である。 本発明の実施の形態４に係るカメラ較正装置の動作を示すフローチャートである。

以下、本発明に係る実施形態について、図面を参照して説明する。

（カメラ設置角度の算出方法）
はじめに図１から８を参照して、本発明によるカメラ較正装置が、較正パラメータとして設置ばらつきを含むカメラの設置角度を算出する方法について説明する。概要として本発明によるカメラ較正装置は、カメラが撮像したチャートに含まれる２つの較正点の撮像画像上の座標をそれぞれ決定し、当該撮像画像上の座標の値及び既知であるカメラとチャートとの相対的位置関係に基づく幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラの設置角度を算出する。

図１ａは、移動体２００に設置されるカメラ２および移動体２００外部に設置されるチャート１００の配置例を示す平面図である。図１ａにおけるチャート１００は、白と黒のモザイクパターン（市松模様）であって、白の領域と黒の領域との境界線である３本の直線が直交する点に較正点Ｐ（Ｐ_１及びＰ_２）を有する。図１ｂは、図１ａの正面図である。移動体２００は、車止め３００により位置決めされる。チャート１００は車止め３００から予め定められた位置に配置され、移動体２００を車止め３００に沿って停止させることで、チャート１００とカメラ２との相対的な位置関係を保つことができる。カメラ２は、移動体２００の所定の位置に設置される。ここで所定の位置とは、移動体の車種に対応して定まるカメラ２の設置位置であって、例えば移動体の後部に、カメラ２の光軸が水平から４０°下方に向くように設置される。またカメラ２は、例えば１２０°から１４０°の広角な水平視野角を有しており、移動体の後方から路面の状況までを撮像することができる。

図２は、図１におけるカメラ２の撮像画像の例を示す図である。図１に示す配置例において、カメラ２はチャート１００を斜めから撮像するため、撮像画像上のチャート１００は略台形となる。このため、撮像画像上の較正点Ｐ_１ｉ，Ｐ_２ｉを通過する直線は直交せず、縦方向の直線が傾いている。以下において、チャート１００は地面に配置されるものとして説明するが、カメラ２が撮像可能な範囲に配置されていればよく、例えば壁上に配置されてもよい。

図３は、図１におけるチャート１００の位置及び寸法を示す図である。図３において示す寸法は、ワールド座標系における寸法である。これらの寸法は、ワールド座標系の原点の配置によって任意に設定可能な既知の値である。以下において、較正点Ｐ_１，Ｐ_２のワールド座標は、それぞれＰ_１（ｍｘ，ｍｙ，０）及びＰ_２（−ｍｘ，ｍｙ，０）であるものとして説明する。

図４は、図１におけるワールド座標系及びカメラ座標系を示す図である。カメラ２の位置（カメラ座標系の原点）は、ワールド座標系において（ｔｘ，ｔｙ，ｔｚ）とする。またカメラ２の位置を基準として、カメラ２から見た相対的な位置関係はカメラ座標系で表現することができる。ここでカメラ座標系は、ワールド座標系を平行移動及び回転移動して座標変換することにより表現することができる。

図５を参照して、ワールド座標系からカメラ座標系への座標変換について説明する。図５は、互いに直交するＸ軸、Ｙ軸、及びＺ軸を有する座標系におけるそれぞれの軸についての回転を示す。図５ａに示すようにＺ軸についての回転をパン、図５ｂに示すようにＹ軸についての回転をロール、図５ｃに示すようにＸ軸についての回転をチルトとする。ここでワールド座標系からカメラ座標系への座標変換は、ワールド座標系をカメラ座標系の原点まで平行移動した後、チルト角γ、ロール角β、パン角αの順に回転移動して行うものとする。このとき、カメラ座標系における較正点Ｐ_１のカメラ座標（ｘｃ_１，ｙｃ_１，ｚｃ_１）は、ワールド座標系における較正点Ｐ_１のワールド座標（ｘｗ_１，ｙｗ_１，ｚｗ_１）を用いて、式（１）で表される。

次に図６及び図７を参照して、較正点Ｐ_１について、カメラ２が撮像した画像上の較正点Ｐ_１ｉの座標（ｘ_ｉ，ｚ_ｉ）から較正点Ｐ_１のカメラ座標（ｘｃ_１，ｙｃ_１，ｚｃ_１）を算出する方法について説明する。

図６は、カメラ２の撮像画像上における較正点Ｐ_１ｉの座標を示す図である。撮像画像上の較正点Ｐ_１ｉの位置を、撮像画像の中心点を原点とする座標で（ｘ_ｉ，ｚ_ｉ）としたとき、カメラ２のセンサ面上の像高ｈは、センサのピクセルピッチｄを用いて式（２）で表される。

ここで図７は、カメラ座標系における較正点Ｐ_１，Ｐ_２の座標を示す図である。較正点Ｐ_１に関するカメラ２のレンズへの入射角θ_ｉとセンサ面上の像高ｈとの関係は、レンズの焦点距離ｆ、及びレンズのディストーションを決定する変数distを用いて、式（３）で表すことができる。

また、較正点Ｐ_１からカメラ２への入射角θ_iは、式（４）で表される。

カメラ座標原点から較正点Ｐ_１までの距離ｒは既知であるので、式（２），（３）から求まる入射角θ_iと、式（５）で表されるＸ軸からの仰角φ_iとを用いて、較正点Ｐ_１のカメラ座標（ｘｃ_１，ｙｃ_１，ｚｃ_１）を式（６），（７），（８）により算出することができる。

同様に、較正点Ｐ_２のワールド座標を（ｘｗ_２，ｙｗ_２，ｚｗ_２）、カメラ座標を（ｘｃ_２，ｙｃ_２，ｚｃ_２）とすると、較正点Ｐ_２について式（９）の関係が算出される。

既に図３の説明において述べたように、ワールド座標系において較正点Ｐ_１，Ｐ_２のワールド座標は、それぞれＰ_１（ｍｘ，ｍｙ，０）及びＰ_２（−ｍｘ，ｍｙ，０）である。よって、式（１０）及び式（１１）が成立する。

ｙｗ_１＝ｙｗ_２＝ｍｙ （１０）
ｚｗ_１＝ｚｗ_２＝０ （１１）

上述のように、カメラ２及びチャート１００の配置は任意に設定可能であり、ワールド座標系におけるカメラ２の設置座標（ｔｘ，ｔｙ，ｔｚ）、及び較正点Ｐの座標（ｘｗ、ｙｗ、ｚｗ）等の情報は既知である。従って、カメラ２による撮像画像上の２つの較正点Ｐ_１ｉ，Ｐ_２ｉの撮像画像上の座標が決まれば、式（１）、（９）、（１０）、及び（１１）より、較正パラメータ（α，β，γ）を算出することができる。以下の説明において、較正点Ｐの数は２つであるものとして説明するが、２つ以上であればよい。

図８は、図２の撮像画像上の較正点Ｐ_１ｉ付近の拡大図である。図８に示すように、カメラ２による撮影時の照明環境又はレンズ性能等により、較正点Ｐ_１，Ｐ_２付近の画像ぼやける等、正しく較正点を撮像できない場合がある。従って、撮像画像上の較正点Ｐ_ｉを如何にして決定するかが重要となる。

（実施の形態１）
図９は、本発明の実施の形態１に係るカメラ較正装置１の概略構成を示すブロック図である。概要として実施の形態１に係るカメラ較正装置１は、撮像画像上のチャート１００の直線の傾きに応じたテンプレート画像を用いたテンプレートマッチングにより、撮像画像上の較正点を決定する。カメラ較正装置１は、カメラ２と、画像処理部３と、画像重畳部４と、表示部５と、フレームメモリ６と、制御部７と、を備える。

カメラ２は、ＣＭＯＳ、ＣＣＤ等のイメージセンサを有しており、レンズを通して入射した被写体光を電気信号に変換し、被写体の撮像画像を生成する。またカメラ２は、移動体２００の後方から路面の状況を撮像する。

画像処理部３は、フレームメモリ６が記憶しているカメラ２の撮像画像に対して一般に公知の画像処理（例えば、露出補正、ノイズリダクション等）を行い、画像としての品質を向上する。また画像処理部３は、カメラ２による撮像画像から較正点の撮像画像上の座標を決定し、カメラ２の設置ばらつきを含む設置角度（α、β、γ）を算出してカメラ２の撮像画像を較正する。画像処理部３によるカメラ２の設置角度の算出機能については、図１０の説明にて後述する。

画像重畳部４は、制御部７が取得した移動体のハンドルの舵角情報に応じて、進行方向を示すガイド線等の情報を表示部５が表示する画像に重畳して描写する。

表示部５は、移動体のナビゲーションシステム等の情報を表示しているが、運転者が移動体２００のシフトレバーをＲ（後進）に合わせると、後方の安全状況を確認するために、画像重畳部４からの出力画像信号を表示する。

フレームメモリ６は、カメラ２からの画像信号を一時的に記憶する。

制御部７は、カメラ較正装置１全体の動作を制御する。また制御部７は、ＣＡＮ等のバスを介してＥＣＵと通信する。また制御部７は、移動体２００のハンドルの舵角情報等の入力信号を取得する。

図１０は、図９の画像処理部３の概略構成を示すブロック図である。画像処理部３は、移動体情報記憶部３１と、テンプレート選択部３２と、較正点検出部３３と、角度算出部３４と、を備える。

移動体情報記憶部３１は、移動体情報８を予め記憶する。また移動体情報記憶部３１は、カメラ２のレンズに係る焦点距離ｆ及びディストーションｄｉｓｔの値を予め記憶する。

ここで図１１から図１３を参照して、移動体情報８について説明する。図１１は、図１０の移動体情報８の例を示す図である。移動体情報８は、車種８１と、カメラ設置座標８２と、カメラ設置角度８３と、画像処理領域８４と、テンプレート画像８５と、を含む。

車種８１は、カメラ較正装置１が設置される移動体２００の車種を示す。好適には、移動体情報８は、複数の車種８１を含む。また車種８１は、カメラ設置座標８２等の他の情報と対応付けられている。

カメラ設置座標８２は、移動体２００に設置されるカメラ２の設置位置をワールド座標で示す。

カメラ設置角度８３は、ワールド座標系からカメラ座標系に座標変換する際の回転移動のパラメータ（パン角α_ｉｄ，ロール角β_ｉｄ，チルト角γ_ｉｄ）を示す。カメラ設置角度８３は、カメラ２の設置ばらつきをゼロとした場合の式（１）で用いられる回転移動のパラメータであり、較正パラメータ、すなわち設置ばらつきを含むカメラ２の設置角度（α，β，γ）とは異なる。例えば、パン角に関するカメラ２の設置ばらつきをΔα_ｃとした場合、α＝α_ｉｄ＋Δα_ｃである。

画像処理領域８４は、カメラ２の撮像画像において較正点Ｐ毎にテンプレートマッチングを行う領域を示す。一般的に、カメラ２はその設置角度を調整可能に構成され、調整可能な設置角度の範囲内において設置角度のばらつきが発生する。例えば、カメラ２の設置角度（α，β，γ）の調整可能な範囲をそれぞれ±５°とした場合、発生し得る設置ばらつき（Δα_ｃ，Δβ_ｃ，Δγ_ｃ）の最大量はそれぞれ±５°である。従って、設置ばらつき（Δα_ｃ，Δβ_ｃ，Δγ_ｃ）をそれぞれ±５°の範囲で変化させて以下に述べる計算を行うことにより、カメラ２の設置角度を調整可能な最大範囲にわたって変動させた場合に撮像画像上の較正点Ｐが移動する領域（以下、画像処理領域８４）を予め決定することができる。

すなわち、カメラ２の設置角度（α＝α_ｉｄ±Δα_ｃ、β＝β_ｉｄ±Δβ_ｃ、γ＝γ_ｉｄ±Δγ_ｃ）の値を用いて式（１）により較正点Ｐのカメラ座標を算出する。次に、算出した較正点Ｐのカメラ座標を用いて式（４）及び式（５）と同様の計算により、カメラ２への入射角θ及びＹｃ軸に垂直な平面における仰角φをそれぞれ算出する。次に、算出した入射角θを用いて式（３）と同様の計算により、像高ｈを算出する。そして、像高ｈと仰角φの関係から較正点Ｐの撮像画像上の座標を算出することができる。ここで設置ばらつき（Δα_ｃ，Δβ_ｃ，Δγ_ｃ）をそれぞれ±５°の範囲で変化させて撮像画像上の較正点Ｐ_ｉが移動する軌跡を決定し、当該軌跡により囲まれる領域を画像処理領域８４と決定することができる。この場合、カメラ２の設置ばらつき（Δα_ｃ，Δβ_ｃ，Δγ_ｃ）の大きさによらず較正点Ｐ_ｉは常に画像処理領域８４内に存在するため、撮像画像上の較正点Ｐ_ｉを検出するためには、画像処理領域８４内においてテンプレートマッチングを行えばよい。このように、カメラ２の撮像画像全体についてテンプレートマッチングを行う必要がないため、処理負担を軽減することができ、かつ処理に要する時間を短縮することができる。また、背景等を誤検出する蓋然性を低減することができる。上述の説明において画像処理領域８４を計算により決定したが、実際に移動体２００に設置されたカメラ２の設置角度を変動させて測定により決定してもよい。

テンプレート画像８５は、較正点毎に較正点検出部３３が行うテンプレートマッチングに用いられるテンプレート画像であって、カメラ２による撮像画像上のチャート１００の直線の傾きに応じた画像である。具体的には、テンプレート画像８５は、白と黒のモザイクパターンであって、白と黒の境界線であり所定の傾きを有する２本の直線が交差している。またテンプレート画像８５は２値化されている（例えば、黒の領域をゼロ、白の領域を１とする）。

次に図１２を参照して、テンプレート画像８５における直線の傾きを決定する方法について説明する。図１２ａはチャート１００を示す図であり、図１２ｂは図１２ａのチャート１００をカメラ２が撮像した場合に推定される撮像画像上のチャート１００を示す図である。ここで推定とは、カメラ２の設置ばらつきを考慮しないことを意味し、具体的にはワールド座標系からカメラ座標系に座標変換する際の回転移動のパラメータとしてカメラ設置角度８３（α_ｉｄ，β_ｉｄ，γ_ｉｄ）を用いて必要な計算を行う。撮像画像上のチャート１００は、カメラ２とチャート１００との相対的位置関係により、すなわちカメラ２がチャート１００を斜めから撮像することにより、略台形となっている。ここで図１２ａに示すように、較正点Ｐ_１を縦方向に通過する直線上に任意の点Ｓ及び点Ｔを想定する。点Ｓ及び点Ｔのワールド座標は既知であるので、回転移動のパラメータとしてカメラ設置角度８３（α_ｉｄ，β_ｉｄ，γ_ｉｄ）を用いて点Ｓ及び点Ｔの撮像画像上の座標を算出し、算出した座標に基づいて撮像画像上の点Ｓ_ｉ及び点Ｔ_ｉを通る直線の傾きを算出する。このようにして算出した傾きをテンプレート画像８５における直線の傾きとして決定することにより、撮像画像上の較正点Ｐ_ｉにおいて精度良く相関度が高くなるテンプレート画像８５を作成することができる。また較正点Ｐ_２についても、同様の計算により算出した傾きを有するテンプレート画像８５を作成することができる。

ここで図１３は、カメラ２の撮像画像上の直線の傾きに応じたテンプレート画像８５として、テンプレート画像８５における縦方向の直線の傾きを変化させた例を示す。図１３ａからｄに示すテンプレート画像８５は較正点Ｐ_１ｉ、図１３ｅからｈに示すテンプレート画像８５は較正点Ｐ_２ｉにそれぞれ対応する。較正点Ｐ_１ｉに対応するテンプレート画像８５は、較正点Ｐ_１ｉにおいて相関度が高くなるように、２つの直線で区分される４つの領域のうち左上及び右下を黒の領域としている。一方、較正点Ｐ_２ｉに対応するテンプレート画像８５は、４つの領域のうち右上及び左下を黒の領域としている。上述のように、テンプレート画像８５の直線の傾きは、カメラ設置情報８２及びカメラ設置角度８３に基づく幾何学的計算により算出可能であるため、テンプレート画像８５を車種８１に対応付けて移動体情報８とし、移動体情報記憶部３１に予め記憶しておくことができる。

図１０の説明に戻る。テンプレート選択部３２は、移動体２００の車種８１に対応するテンプレート画像８５を移動体情報８から取得する。

較正点検出部３３は、移動体情報８から移動体２００の車種８１に対応する各種情報を取得する。また較正点検出部３３は、テンプレート選択部３２が取得したテンプレート画像８５を用いたテンプレートマッチングにより、カメラ２の撮像画像上における較正点Ｐ_ｉの座標を決定する。具体的には、較正点検出部３３は、撮像画像を２値化（例えば、黒の領域をゼロ、白の領域を１とする）した上でテンプレート画像８５を用いてテンプレートマッチングを行う。そして較正点検出部３３は、テンプレートマッチングの相関度に関する極大点を較正点Ｐ_ｉとして検出し、その撮像画像上の座標を決定する。好適には、較正点検出部３３は、カメラ２の撮像画像から画像処理領域８４の画像を切り出してテンプレートマッチングを行う。以下において、テンプレートマッチングは、切り出した画像処理領域８４の画像について行うものとして説明する。テンプレートマッチングの詳細については、図１４の説明で後述する。

角度算出部３４は、較正点検出部３３が決定した較正点Ｐ_ｉの撮像画像上の座標及びカメラ設置座標８２に基づいて、図１から図８の説明において述べた幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラ２の設置角度（α，β，γ）を算出する。また角度算出部３４は、算出した設置角度（α，β，γ）に基づいてカメラ２の撮像画像を較正する。この較正は、例えば撮像画像を回転及び／又は平行移動することにより行う。

図１４は、較正点検出部３３が行うテンプレートマッチングの様子を示す図である。図１４では説明のため、カメラ２の撮像画像内に画像処理領域８４を破線で示し、またテンプレート画像８５を実際よりも大きく示している。テンプレートマッチングは、テンプレート画像８５を用いて画像処理領域８４内を走査し、相関度の算出を画像処理領域８４全体にわたって行う。

ここで相関度の算出について説明する。切り出した画像処理領域８４の画像及びテンプレート画像は、２値化されている。ある位置でテンプレート画像８４と切り出した画像処理領域８４の画像とが重なっている状態において、テンプレート画像８４内の点ｔの値をｔ（ｘ，ｙ）とし、切り出した画像内の点ｉの値をｉ（ｘ，ｙ）とすると、差分積算値ｓは式（１２）で表される。

従って相関度ｃは、テンプレート画像８４内の点の総数をｎとして、式（１３）で表される。

テンプレート画像８４で走査することにより、画像処理領域８４にわたって相関度ｃを算出する。そして相関度ｃに関する極大点、すなわち最も相関度の高い点を較正点Ｐ_ｉとして検出する。

図１５は、図９のカメラ較正装置１の動作を示すフローチャートである。はじめに較正点検出部３３は、移動体情報記憶部３１から移動体情報８を取得する（ステップＳ１００）。

次にカメラ２は、移動体２００外部に配されるチャート１００を撮像する（ステップＳ１０１）。

次に較正点検出部３３は、ｎの値を１に設定する（ステップＳ１０２）。

続いて較正点検出部３３は、撮像画像から較正点Ｐ_ｎｉに対応する画像処理領域８４の画像を切り出す（ステップＳ１０３）。

続いて較正点検出部３３は、画像処理領域８４におけるテンプレートマッチングにより検出した較正点Ｐ_ｎｉの撮像画像上の座標を決定する（ステップＳ１０４）。

続いて較正点検出部３３は、ｎの値をインクリメントし、ｎの値が２よりも大きいか否かを判断する（ステップＳ１０５）。ｎの値が２以下である場合（ステップＳ１０５−Ｎｏ）、ステップＳ１０３に戻る。

一方、ｎの値が２よりも大きい場合（ステップＳ１０５−Ｙｅｓ）、角度算出部３４は、較正点検出部３３が決定した較正点Ｐ_ｉの撮像画像上の座標及びカメラ設置座標８２に基づく幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラ２の設置角度（α，β，γ）を算出する（ステップＳ１０６）。

続いて角度算出部３４は、算出した設置角度（α，β，γ）に基づいてカメラ２の撮像画像を較正する（ステップＳ１０７）。この較正は、例えば撮像画像を回転及び／又は平行移動することにより行う。

このように、本発明の実施の形態１によるカメラ較正装置１は、テンプレートマッチングを行うことにより、較正点の撮像画像上の座標を決定する。そして決定した座標及びカメラ設置座標８２に基づく幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラ２の設置角度（α，β，γ）を算出し、撮像画像を較正する。従って、設置ばらつきに関するカメラ２の撮像画像の較正を自動で行うことができる。また、取り付け工程における作業者の負担を削減でき、かつ較正精度の安定性を向上することができる。また、カメラ２の撮像画像上のチャート１００の直線の傾きに応じたテンプレート画像８５を用いることにより、撮像画像上のチャート１００に対して行うテンプレートマッチングにおいて較正点Ｐ_ｉの検出精度を向上することができる。またテンプレートマッチングを画像処理領域８４において行うことにより、処理の負担を更に軽減することができる。また移動体情報８が複数の車種８１に対応する情報を含むように構成することにより、カメラ較正装置１を設置する移動体に応じて移動体情報記憶部３１が記憶する移動体情報８を書き換える必要がない。

（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態２によるカメラ較正装置１の構成は、上述の実施の形態１と同様であるが、画像処理部３のテンプレート選択部３２がテンプレート生成部３５に置き換わっている点、及び移動体情報８にテンプレート画像８５が含まれない点が異なる。実施の形態１と同一の構成については同一の符号を付し、説明は省略する。概要として実施の形態２は、テンプレートマッチングの際にテンプレート画像８５を生成する。

図１６は、実施の形態２に係るカメラ較正装置１の画像処理部３の概略構成を示すブロック図である。テンプレート生成部３５は、移動体情報記憶部３１から取得した移動体情報８に基づいてテンプレート画像８５を生成する。テンプレート画像８５の直線の傾きは、図１２の説明で述べた計算により算出する。また図１３の説明で述べたように、較正点Ｐ_１ｉに対応するテンプレート画像８５は、較正点Ｐ_１ｉにおいて相関度が高くなるように、２つの直線で区分される４つの領域のうち左上及び右下を黒の領域とする。一方、較正点Ｐ_２ｉに対応するテンプレート画像８５は、４つの領域のうち右上及び左下を黒の領域とする。

このように、本発明の実施の形態２によるカメラ較正装置１は、テンプレートマッチングを行う際、移動体情報８に含まれるカメラ設置座標８２及びカメラ設置角度８３に基づいてテンプレート画像８５を生成する。従って、移動体情報記憶部３１が予めテンプレート画像８５を記憶しておく必要がなく、移動体情報８のデータ容量を削減することができる。

（実施の形態１及び２の変形例）
図１７を参照して、本発明の実施の形態１及び２の変形例について説明する。上述の実施の形態１及び２において、テンプレート画像８５に含まれる２つの直線のうち縦方向の直線の傾きを変化させた例について説明したが、更に横方向の直線の傾きを変化させたテンプレート画像８５を用いてもよい。この場合、図１７ａに示すようにチャート１００の較正点Ｐ_１を横方向に通過する直線上に任意の点Ｕ及び点Ｖを更に想定し、撮像画像上の点Ｕ_ｉ及び点Ｖ_ｉを通る直線の傾きを算出する。このようにして、カメラ２の視野角が広角であることにより撮像画像上のチャート１００が湾曲するという歪みの影響を吸収し、より精度良く較正点を検出することができる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３によるカメラ較正装置１は、実施の形態１と比較して、画像処理部３が較正点判定部３６を更に備える点、及びチャート１００を用いる点が異なる。実施の形態３の概要として、カメラ較正装置１は、較正点検出部３３が行うテンプレートマッチングにより較正点Ｐ_ｉを正しく検出できているか否かを判定する機能を有する。

図１８は、本発明の実施の形態３に係るカメラ較正装置１の画像処理部３の概略構成を示すブロック図である。画像処理部３は、較正点判定部３６を更に備える。

較正点検出部３３は、画像処理領域８４において行うテンプレートマッチングの相関度に関する極値点（極大点及び複数の極小点）を検出し、その撮像画像上の座標をそれぞれ決定する。

較正点判定部３６は、較正点検出部３３が検出した相関度に関する極値点の撮像画像上の座標に基づいて、極値点間の撮像画像上の距離を算出する。そして較正点判定部３６は、任意の２つの極値点の１つ以上の組み合わせについて、極値点間の撮像画像上の距離が所定の範囲内である場合、較正点検出部３３により較正点を正しく検出できていると判定する。この所定の範囲については、図２１の説明にて後述する。

次に図１９から図２１を参照して、較正点判定部３６の判定方法について詳細に説明する。図１９ａは、本実施の形態において用いるチャート１００を示す。チャート１００は、白と黒のモザイクパターン（市松模様）であって、白と黒の境界線である８本の直線が直交している。図１９ｂは、図１９ａのチャート１００をカメラ２が撮像した画像上のチャート１００を示す図である。撮像画像上のチャート１００は、カメラ２とチャート１００との相対的位置関係により撮像画像上のチャート１００は略台形となっている。図中に示すように、較正点Ｐ_１及びＰ_２の周囲の交点Ｑを想定する。このとき、撮像画像上の較正点Ｐ_１ｉ及びＰ_２ｉが相関度に関する極大点となるようなテンプレートマッチングにおいて、交点Ｑ_ｉは相関度に関する極小点となる。

図２０は、本実施の形態において撮像画像上の較正点Ｐ_ｉ毎に較正点検出部３３が行うテンプレートマッチングの様子を示す図である。図２０においては簡便のため、撮像画像上の較正点Ｐ_２ｉについてのテンプレートマッチングの様子を省略している。テンプレートマッチングは、カメラ２の撮像画像上のチャート１００の直線の傾きに応じたテンプレート画像８５を用いて画像処理領域８４内を走査し、相関度の算出を画像処理領域８４全体にわたって行う。

図２１は、テンプレートマッチングにおける相関度と極値点との関係を説明する図である。図２１は説明のため、撮像画像上において較正点Ｐ_１ｉ、交点Ｑ_１ｉ及びＱ_２ｉが１つの直線上に位置するものとし、当該直線上の相関度を示しているが、実際のテンプレートマッチングにおいては画像処理領域８４全体にわたって２次元的範囲で相関度を算出する。

ここでチャート１００の較正点Ｐ_１、交点Ｑ_１及びＱ_２のワールド座標は既知である。カメラ設置座標８２及びカメラ設置角度８３に基づく幾何学的計算により、カメラ２の設置ばらつきがないものと仮定した場合における撮像画像上の較正点Ｐ_１ｉ、交点Ｑ_１ｉ及びＱ_２ｉの間の撮像画像上の距離を算出することができる。ここで設置ばらつきがある場合におけるこれらの撮像画像上の距離は、設置ばらつきがないとした場合におけるこれらの撮像画像上の距離と比較してある程度の乖離が生じるものの、大きく逸脱することはないと想定される。従って、テンプレートマッチングにより較正点検出部３３及び較正点判定部３６が決定した相関度に関する極値点間の撮像画像上の距離が、設置ばらつきがないと仮定して算出した距離に基づいて設定した所定の範囲内に収まらない場合、較正点Ｐ_ｉを正しく検出できていないと判定することができる。例えば所定の範囲は、設置ばらつきがないと仮定して算出した距離の０．８倍から１．２倍の範囲としてもよい。

図２２は、図１８のカメラ較正装置１の動作を示すフローチャートである。はじめに較正点検出部３３は、移動体情報記憶部３１から移動体情報８を取得する（ステップＳ２００）。

次にカメラ２は、移動体２００外部に配されるチャート１００を撮像する（ステップＳ２０１）。

次に較正点検出部３３は、ｎの値を１に設定する（ステップＳ２０２）。

続いて較正点検出部３３は、撮像画像から較正点Ｐ_ｎｉに対応する画像処理領域８４の画像を切り出す（ステップＳ２０３）。

続いて較正点検出部３３は、画像処理領域８４におけるテンプレートマッチングにより検出した相関度に関する極値点の撮像画像上の座標を決定する（ステップＳ２０４）。

次に較正点判定部３６は、相関度に関する任意の極値点間の撮像画像上の距離が所定の範囲内であるか否かを判断する（ステップＳ２０５）。ここで所定の範囲とは、例えば設置ばらつきがないと仮定して算出した極値点間の撮像画像上の距離の０．８倍から１．２倍の範囲としてもよい。所定の範囲内に収まらないと判断した場合（ステップＳ２０５−Ｎｏ）、表示部５は較正点を正しく検出できていない旨を表示して（ステップＳ２１０）処理を終了する。

一方、ステップＳ２０５において所定の範囲内であると判断した場合（ステップＳ２０５−Ｙｅｓ）、較正点検出部３３は、相関度に関する極大点を較正点Ｐ_ｎｉとして撮像画像上の座標を決定する（ステップＳ２０６）。

続いて較正点検出部３３は、ｎの値をインクリメントし、ｎの値が２よりも大きいか否かを判断する（ステップＳ２０７）。ｎの値が２以下である場合（ステップＳ２０７−Ｎｏ）、ステップＳ２０３に戻る。

一方、ｎの値が２よりも大きい場合（ステップＳ２０７−Ｙｅｓ）、角度算出部３４は、較正点検出部３３が決定した較正点Ｐ_ｉの撮像画像上の座標及びカメラ設置座標８２に基づく幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラ２の設置角度（α，β，γ）を算出する（ステップＳ２０８）。

続いて角度算出部３４は、算出した設置角度（α，β，γ）に基づいてカメラ２の撮像画像を較正する（ステップＳ２０９）。この較正は、例えば撮像画像を回転及び／又は平行移動することにより行う。

このように、本発明の実施の形態３によるカメラ較正装置１は、較正点判定部３６がテンプレートマッチングの相関度に関する極値点の撮像画像上の座標に基づいて極値点間の撮像画像上の距離を算出する。そして較正点判定部３６は、任意の極値点間の撮像画像上の距離が所定の範囲内であるか否かを判断することにより、較正点検出部３３が較正点Ｐ_ｉを正しく検出しているか判定する。従って、テンプレートマッチングにおいて周囲の照明環境又は背景の被写体の影響等による較正点の誤検出を防止することができる。

また較正点判定部３６は、極値点間の撮像画像上の距離に代えて、極大点周囲の４つの極小点（例えば、交点Ｑ_１ｉ，Ｑ_２ｉ，Ｑ_３ｉ，Ｑ_４ｉに対応）に係る重心点と極大点（例えば、較正点Ｐ_１ｉに対応）との間の距離に基づいて較正点検出部３３が較正点Ｐ_ｉを正しく検出しているか判定してもよい。

（実施の形態３の変形例）
また図２３から図２５を参照して、本発明の実施の形態３の変形例について説明する。図２３は、本発明の実施の形態３の変形例に係る移動体情報８の例を示す図である。移動体情報８は、交点Ｑ_ｉに対応する画像処理領域８４及びテンプレート画像８５と、極値点間の距離範囲８６と、を更に含む。

カメラ２とチャート１００との相対的位置関係又はカメラ２の設置ばらつきによっては、較正点Ｐに対応する画像処理領域８４内に撮像画像上の較正点Ｐ_ｉの周囲の交点Ｑ_ｉが含まれない場合が想定される。またカメラ２とチャート１００との相対的位置関係により、例えば撮像画像上の較正点Ｐ_１ｉ、交点Ｑ_１ｉ及びＱ_２ｉをそれぞれ通過する縦方向の直線の傾きは異なるため、較正点Ｐ_１ｉに対応するテンプレート画像８５では交点Ｑ_１ｉ及びＱ_２ｉを正しく検出できないことが考えられる。従って、較正点Ｐを検出するためのテンプレートマッチングに加えて、交点Ｑ毎に対応する画像処理領域８４及びテンプレート画像８５を用いて交点Ｑを検出するためのテンプレートマッチングを行う。このようにして、交点Ｑの検出精度、すなわちテンプレートマッチングの相関度に関する極小点の検出精度を向上し、較正点判定部３６による判定精度を向上することができる。また移動体情報記憶部３１が極値点間の距離範囲８６を予め記憶しておくことにより、較正点判定部３６は距離範囲８６を算出する必要が無く、処理の負担を軽減することができる。

図２４は、本発明の実施の形態３の変形例に係るテンプレート画像８５の例を示す図である。図２４ａは較正点Ｐ_１ｉに、図２４ｂは交点Ｑ_１ｉに、図２４ｃは交点Ｑ_２ｉにそれぞれ対応している。交点Ｑ_３ｉ及びＱ_４ｉについては、図２４ａに示すテンプレート画像８５を用いることができる。

図２５は、本発明の実施の形態３の変形例に係るカメラ較正装置１が較正点Ｐ_iを検出する動作を示すフローチャートである。図２５においては簡便のため、較正点Ｐ_１iを検出する動作を示すが、較正点Ｐ_２ｉについても同様の処理により検出する。はじめに較正点検出部３３は、移動体情報記憶部３１から移動体情報８を取得する（ステップＳ３００）。

続いてカメラ２は、移動体２００外部に配されるチャート１００を撮像する（ステップＳ３０１）。

続いて較正点検出部３３は、撮像画像から較正点Ｐ_１ｉに対応する画像処理領域８４の画像を切り出す（ステップＳ３０２）。

続いて較正点検出部３３は、較正点Ｐ_１ｉに対応するテンプレート画像８５を用いて、切り出した画像処理領域８４におけるテンプレートマッチングの相関度を算出する（ステップＳ３０３）。

続いて較正点検出部３３は、相関度に関する極大点の撮像画像上の座標を決定する（ステップＳ３０４）。

続いて較正点検出部３３は、ｍの値を１に設定する（ステップＳ３０５）。

続いて較正点検出部３３は、撮像画像から交点Ｑ_ｍｉに対応する画像処理領域８４の画像を切り出す（ステップＳ３０６）。

続いて較正点検出部３３は、交点Ｑ_ｍｉに対応するテンプレート画像８５を用いて、切り出した画像処理領域８４におけるテンプレートマッチングの相関度を算出する（ステップＳ３０７）。

続いて較正点検出部３３は、相関度に関する極小点の撮像画像上の座標を決定する（ステップＳ３０８）。

続いて較正点検出部３３は、ｍの値をインクリメントし、ｍの値が４よりも大きいか否かを判断する（ステップＳ３０９）。ｍの値が４以下である場合（ステップＳ３０９−Ｎｏ）、ステップＳ３０６に戻る。

一方、ｍの値が４よりも大きい場合（ステップＳ３０９−Ｙｅｓ）、較正点判定部３６は、相関度に関する任意の極値点間の撮像画像上の距離が所定の範囲内であるか否かを判断する（ステップＳ３１０）。所定の範囲内に収まらないと判断した場合（ステップＳ３１０−Ｎｏ）、表示部５は較正点Ｐ_１ｉを正しく検出できていない旨を表示して（ステップＳ３１２）処理を終了する。

一方、ステップＳ３１０において所定の範囲内であると判断した場合（ステップＳ３１０−Ｙｅｓ）、較正点検出部３３は、ステップＳ３０４における極大点を較正点Ｐ_１ｉと決定する（ステップＳ３１１）。

（実施の形態４）
次に、本発明の実施の形態４について説明する。概要として実施の形態４に係るカメラ較正装置１は、カメラ２の撮像画像に対して輪郭検出及び直線検出を行い、直線の交点を較正点として決定する。以下の説明において、実施の形態１と同一の構成については同一の符号を付し、説明は省略する。

図２６は、本発明の実施の形態４に係るカメラ較正装置１の画像処理部３の概略構成を示すブロック図である。画像処理部３は、移動体情報記憶部３１と、較正点検出部３３と、角度算出部３４と、を備える。移動体情報記憶部３１及び角度算出部３４については、実施の形態１と同様であるため説明は省略する。

較正点検出部３３は、較正点Ｐ_ｉ毎にカメラ２の撮像画像に対して輪郭検出及び直線検出を行い、検出した直線の交点を撮像画像上の較正点Ｐ_ｉとして決定する。具体的には、較正点検出部３３は、撮像画像について輪郭検出処理を行う。輪郭検出にはＣａｎｎｙエッジ検出器を用いるが、他の方法を用いてもよい。また較正点検出部３３は、輪郭検出画像についてハフ変換による直線検出処理を行う。そして較正点検出部３３は、検出した直線の交点を較正点Ｐ_ｉとして撮像画像上の座標を決定する。

ここでハフ変換は、直角座標上の点（ｘ，ｙ）を極座標空間に変換し、式（１４）を満たす角度θと長さρの組み合わせを投票し、最も多かったθとρの組み合わせを元の直角座標に戻したものが、最も直線らしい点の集合であるとするものである。ハフ変換は、画像中の直線が途中で切断されている場合又はノイズが存在する場合であっても、比較的良好な検出結果が得られることが特徴である。

ρ＝ｘ・ｃｏｓθ＋ｙ・ｓｉｎθ （１４）

しかしながら、θについて０°≦θ＜１８０°の範囲の全てのρとの組み合わせを計算する場合、処理負担が膨大となる。従って、好適には較正点検出部３３は、後述する所定の角度範囲８７においてハフ変換を行う。このようにして、直線検出における処理負担を軽減することができる。

図２７は、図２６の移動体情報８の例を示す図である。移動体情報８は、車種８１と、カメラ設置座標８２と、カメラ設置角度８３と、画像処理領域８４と、ハフ変換を行う角度範囲８７と、を含む。車種８１、カメラ設置座標８２、カメラ設置角度８３、及び画像処理領域８４は実施の形態１と同様であるため、説明は省略する。

ハフ変換を行う角度範囲８７は、カメラ２の撮像画像上の較正点Ｐ_ｉを通過するチャート１００の２つの直線にそれぞれ対応しており、較正点検出部３３による直線検出処理においてハフ変換を行う所定の角度範囲を示す情報である。

次に図２８を参照して、角度範囲８７について説明する。図１２及び図１７の説明で述べたように、カメラ設置座標８２及びカメラ設置角度８３の値を用いて撮像画像上の較正点Ｐ_ｉを通過するチャート１００の直線の傾きを算出することができる。同様に、設置ばらつき（Δα_ｃ，Δβ_ｃ，Δγ_ｃ）を仮定して撮像画像上の較正点Ｐ_ｉを通過する直線の傾きを算出することもできる。従って、角度範囲８７は、カメラ２の設置角度を調整可能な最大範囲にわたって変動させた場合における撮像画像上の較正点Ｐ_ｉを通過するチャート１００の直線の傾きに基づいて予め設定することができる。すなわち、図２８に示すように、例えばカメラ２の設置角度の調整可能な範囲をそれぞれ±５°とした場合、回転移動のパラメータとしてα＝α_ｉｄ±５°、β＝β_ｉｄ±５°、γ＝γ_ｉｄ±５°の値を用いて撮像画像上の較正点Ｐ_ｉを通過する直線の傾きをそれぞれ算出する。次に算出した傾きをハフ変換において用いる角度θにそれぞれ変換して算出する。そして算出した複数の角度θのうち、最小値θ_ｍｉｎから最大値θ_ｍａｘの範囲を角度範囲８７として決定する。例えば、図２８において較正点Ｐ_１ｉの第１の直線については、算出した８つの角度ｎ１１（１≦ｎ≦８）から最小値θ_ｍｉｎ及び最大値θ_ｍａｘを決定し、最小値θ_ｍｉｎから最大値θ_ｍａｘの範囲を角度範囲８７として設定する。

図２９は、本発明の実施の形態４に係るカメラ較正装置１が行う輪郭検出処理及び直線検出処理を説明する図である。図２９ａは、カメラ２の撮像画像上の較正点Ｐ_１ｉ付近の拡大図であり、画像がぼやけている様子を示す。図２９ｂは、撮像画像に対して輪郭検出処理を行った輪郭検出画像であり、検出された黒の領域の輪郭の様子を示す。図２９ｃは、輪郭検出画像に対して直線検出処理を行った様子を示す。２つの直線の交点を較正点Ｐ_１ｉと決定する。

図３０は、本発明の実施の形態４に係るカメラ較正装置１の動作を示すフローチャートである。はじめに較正点検出部３３は、移動体情報記憶部３１から移動体情報８を取得する（ステップＳ４００）。

次にカメラ２は、移動体２００外部に配されるチャート１００を撮像する（ステップＳ４０１）。

次に較正点検出部３３は、ｎの値を１に設定する（ステップＳ４０２）。

続いて較正点検出部３３は、撮像画像から較正点Ｐ_ｎｉに対応する画像処理領域８４の画像を切り出す（ステップＳ４０３）。

続いて較正点検出部３３は、画像処理領域８４における輪郭検出処理を行う（ステップＳ４０４）。

続いて較正点検出部３３は、輪郭検出画像について角度範囲８７におけるハフ変換により直線検出処理を行い、較正点Ｐ_ｎｉを通過する２つの直線を検出する（ステップＳ４０５）。

続いて較正点検出部３３は、検出した２つの直線の交点を較正点Ｐ_ｎｉとして撮像画像上の座標を決定する（ステップＳ４０６）。

続いて較正点検出部３３は、ｎの値をインクリメントし、ｎの値が２よりも大きいか否かを判断する（ステップＳ４０７）。ｎの値が２以下である場合（ステップＳ４０７−Ｎｏ）、ステップＳ４０３に戻る。

一方、ｎの値が２よりも大きい場合（ステップＳ４０７−Ｙｅｓ）、角度算出部３４は、較正点検出部３３が決定した較正点Ｐ_ｉの撮像画像上の座標及びカメラ設置座標８２に基づく幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラ２の設置角度（α，β，γ）を算出する（ステップＳ４０８）。

続いて角度算出部３４は、算出した設置角度（α，β，γ）に基づいてカメラ２の撮像画像を較正する（ステップＳ４０９）。

このように、本発明の実施の形態４によるカメラ較正装置１は、輪郭検出及び直線検出を行うことにより、較正点Ｐ_ｉの撮像画像上の座標を決定する。そして決定した座標及びカメラ設置座標８２に基づく幾何学的な計算により、較正パラメータとして設置ばらつきを含むカメラ２の設置角度（α，β，γ）を算出し、撮像画像を較正する。従って、設置ばらつきに関するカメラ２の撮像画像の較正を自動で行うことができる。また、取り付け工程における作業者の負担を削減でき、かつ較正精度の安定性を向上することができる。また、カメラ２の撮像画像上のチャート１００の直線の傾きに基づく所定の角度範囲８７内でハフ変換を行うことにより、直線検出処理の負担を軽減することができ、かつ画像処理に必要な時間を含むトータルの作業時間を短縮することができる。また移動体情報８が複数の車種８１に対応する情報を含むように構成することにより、カメラ較正装置１を設置する移動体に応じて移動体情報記憶部３１が記憶する移動体情報８を書き換える必要がない。

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部やステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１ カメラ較正装置
２ カメラ
３ 画像処理部
４ 画像重畳部
５ 表示部
６ フレームメモリ
７ 制御部
８ 移動体情報
３１ 移動体情報記憶部
３２ テンプレート選択部
３３ 較正点検出部
３４ 角度算出部
３５ テンプレート生成部
３６ 較正点判定部
８１ 車種
８２ カメラ設置座標
８３ カメラ設置角度
８４ 画像処理領域
８５ テンプレート画像
８６ 極値点間の距離範囲
８７ ハフ変換を行う角度範囲
１００ チャート
２００ 移動体
３００ 車止め

Claims (12)

1. ２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点を有するチャートを撮像するカメラと、
   撮像画像上のチャートの直線の傾きに基づいて前記撮像画像上の較正点を検出する較正点検出部と、
   前記撮像画像上の較正点の座標に基づいて前記カメラの設置ばらつきを較正するパラメータを算出する角度算出部と、を備えるカメラ較正装置。
2. 前記較正点検出部は、前記撮像画像上のチャートの直線の傾きに応じたテンプレート画像を用いて、テンプレートマッチングにより前記撮像画像上の前記較正点を検出する、請求項１に記載のカメラ較正装置。
3. 前記カメラ較正装置は、テンプレートマッチングの相関度に関する２つ以上の極値点間の前記撮像画像上の距離が所定の範囲内にない場合、前記較正点が正しく検出されていないと判定する較正点判定部を更に備える、請求項２に記載のカメラ較正装置。
4. 前記カメラ較正装置は、テンプレートマッチングの相関度に関する４つの極小点の重心点と極大点との間の距離が所定の範囲内にない場合、前記較正点が正しく検出されていないと判定する較正点判定部を更に備える、請求項２に記載のカメラ較正装置。
5. 前記移動体情報記憶部は、前記テンプレート画像を予め記憶している、請求項２から４の何れか一項に記載のカメラ較正装置。
6. 前記カメラ較正装置は、前記テンプレート画像を生成するテンプレート生成部を更に備える、請求項２から４の何れか一項に記載のカメラ較正装置。
7. 前記較正点検出部がテンプレートマッチングを行う撮像画像上の領域は、前記カメラの設置角度を調整可能な最大範囲にわたって変動させた場合に前記撮像画像上の前記較正点が移動する領域である、請求項２から６の何れか一項に記載のカメラ較正装置。
8. 前記較正点検出部は、前記撮像画像に対して輪郭検出を行い、検出した輪郭画像に対し所定の角度範囲においてハフ変換を行って直線を検出し、検出した２つの直線の交点を前記較正点として検出する、請求項１に記載のカメラ較正装置。
9. 前記較正点検出部が輪郭検出を行う撮像画像上の領域は、前記カメラの設置角度を調整可能な最大範囲にわたって変動させた場合に前記撮像画像上の前記較正点が移動する領域である、請求項８に記載のカメラ較正装置。
10. ハフ変換を行う所定の角度範囲は、前記カメラの設置角度を調整可能な最大範囲にわたって変動させた場合における前記撮像画像上の前記チャートの直線の傾きに基づいて定まる、請求項８又は９に記載のカメラ較正装置。
11. ２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点を有するチャートを撮像して得られる撮影画像に基づいて、カメラの設置ばらつきを較正するカメラ較正装置であって、
    撮像画像上のチャートの直線の傾きに基づいて前記撮像画像上の較正点を検出する較正点検出部と、
    前記撮像画像上の較正点の座標に基づいて前記カメラの設置ばらつきを較正するパラメータを算出する角度算出部と、を備えるカメラ較正装置。
12. 移動体に設置されたカメラの較正方法であって、
    前記カメラは、２つの直線の交点によりそれぞれ定まる少なくとも２つの較正点を有するチャートを撮像するステップと、
    較正点検出部が、撮像画像上のチャートの直線の傾きに基づいて前記撮像画像上の較正点を検出するステップと、
    角度算出部が、前記撮像画像上の較正点の座標に基づいて前記カメラの設置ばらつきを較正するパラメータを算出するステップと、を含むカメラ較正方法。

Images