JP2010010971A - キャリブレーション装置 - Google Patents

Abstract

【課題】容易に、かつ省スペースでカメラのキャリブレーションを実施すること。
【解決手段】キャリブレーション装置１００が、キャリブレーションの対象となるカメラ２０に対して固定可能で、当該カメラの光軸上かつ光学中心から所定の長さＰオフセットした位置から、所定の長さ鉛直下方向に垂れた錘１０をカメラ２０で撮影する。そして、撮影された撮影画像から特定した錘の座標Ｑに基づいて、パラメータ推定部１４０が当該カメラの俯角θ及び回転角φを算出する。
【選択図】 図５

Description

この発明は、カメラのキャリブレーションを実行するキャリブレーション装置に関するものである。

従来、複数または単数の車載カメラが撮影した車外の映像や画像等を車内に設置されたモニターに表示する技術が実用化されている（例えば、アラウンドビューモニターやバックモニター）。この技術により、運転手は、縦列駐車のコース取りや車庫入れ等を安全に行うことができる。

車載カメラを設置する際、レンズ系のひずみや水平、垂直画角などカメラの固有パラメータは、あらかじめカメラごとに計測しておけば良いが、車両に対する設置位置やカメラの向きを示す角度は、取り付け条件によって異なり、誤差を含むため、カメラの設置方法によっては、カメラの撮影範囲にずれが生じてしまう。

このため、カメラのキャリブレーション（俯角、回転角を求めること）を行い、キャリブレーションの実行結果によって求められるカメラのパラメータに基づいて撮影範囲のずれを補正している。

例えば、特許文献１では、格子状のターゲット装置を車両に対して支持具により固定し、車両とターゲット装置との間隔を所定の状態に保つことでキャリブレーションを行う手法が開示されており、特許文献２では、車両の製造ラインにおいて、ラインで邪魔にならないような平面校正パターンを床や壁に描いてキャリブレーション行うという技術が開示されている。

特開２００１−２８５６８１号公報 特開２００１−２４５３２６号公報

しかしながら、上述した従来の技術では、カメラのキャリブレーションを実行する場合に、格子状のターゲット装置の取り付け位置に厳密性が要求されていた。また、平面校正パターンを床や壁に描いてキャリブレーションを行う場合は、実施に必要な場所が確保されていなければ、キャリブレーションできないという問題があった。

この発明は、上述した従来技術による課題を解消するためになされたものであり、カメラのキャリブレーションを容易に、かつ省スペースで実行することができるキャリブレーション装置を提供することを目的とする。

上述した課題を解決し、目的を達成するため、このキャリブレーション装置は、キャリブレーションの対象となるカメラに対して固定可能で、当該カメラの光軸上かつ光学中心から所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得する画像取得手段と、取得した画像内のマーカの座標に基づいて、カメラの俯角および／または回転角を算出する算出手段と、を備えたことを要件とする。

このキャリブレーション装置によれば、取り付け位置に厳密性を要しない錘を撮影し、その画像における錘の座標からカメラを設定するパラメータを簡単に算出できるので、容易にカメラのキャリブレーションを行うことができる。

また、車両を設置する平面と、カメラ前方に若干の空間があれば、カメラのキャリブレーションを実行することが可能であるため、省スペースでのカメラのキャリブレーションを実現できる。

以下に添付図面を参照して、この発明に係るキャリブレーション装置の好適な実施の形態を詳細に説明する。

まず、本実施例１に係るキャリブレーション装置の概要及び特徴について説明する。本実施例１に係るキャリブレーション装置は、キャリブレーションの対象となるカメラに対して固定されているマーカを有し、そのマーカは、カメラの光軸上かつ光学中心から所定の長さオフセットした位置から、所定の長さ鉛直下方向で停止している。

そして、キャリブレーション装置は、上述したマーカを含んだ画像を撮影し、撮影された画像内のマーカの座標に基づいて、俯角及び回転角を算出する。

俯角は、水平面とカメラの光軸の成す角を示している。一方、回転角は、マーカの座標に対応するベクトルと画像上のＹ軸に相当する軸との成す角度であり、カメラ自体の回転角に相当する。

また、本実施例１においては、マーカの一例として、簡易的な錘を使用した例を用いて説明する。尚、カメラが撮影した画像におけるその錘の座標をＱ（ｘ、ｙ）とする。

このように、本実施例１に係るキャリブレーション装置は、車両の取り付け位置に厳密性が求められない錘を撮影し、撮影した画像における錘の座標から、カメラの俯角、回転角を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。

また、コンパクトな錘とラインを車両に設置すれば良いことから、カメラのキャリブレーションを省スペースで実行することができる。

次に、本実施例におけるキャリブレーション装置について説明する。図１は、実施例１に係るキャリブレーション装置の設置例を示す図である。同図に示すように、水平面上に配置された車両５に対してカメラ２０を設置し、カメラ２０に錘１０が所定の長さを有するラインでぶら下がっている。

そして、キャリブレーション装置は、カメラ２０で、錘１０を鉛直下方向に撮影し、錘１０の座標が撮影された撮影画像３０を取得する。

撮影画像３０において、３０ａは空を、３０ｂは水平線を、３０ｃは地面を示している。そして、３０ｄは、撮影された錘の座標Ｑ（ｘ、ｙ）を示している。

次に、カメラ２０に固定されているキャリブレーション装置の構成について説明する。図２は、本実施例１に係るキャリブレーション装置の詳細な構成を示す図である。同図に示すように、キャリブレーション装置は、錘１０とライン１１を主要な構成としている。

そして、錘１０は、車両５に設置されているカメラ２０から所定の距離Ｐオフセットした位置より、長さＬのライン１１にぶら下がっている構成となっている。

次に、錘の座標、俯角、回転角の関係について説明する。図３は、本実施例１に係る錘の座標Ｑと俯角θ、回転角φの関係を示す図である。同図の左側には、撮影画像３０の上下が反転した画像を示し、同図の右側には、撮影された錘の座標Ｑとカメラ俯角θ、回転角φの関係を示している。

〈俯角θ、回転角φの算出方法について〉
次に、本実施例１に係るキャリブレーション装置が、俯角θ、回転角φを算出する方法について説明する。図４は、俯角θの算出方法を説明するための図である。

図４に示すように、カメラの光学中心の座標を光学中心（ｏ）、ラインの根元に相当する座標を根元（ｐ）、錘の座標を錘（ｑ）、根元（ｐ）から鉛直上方に伸ばして光学中心（ｏ）を通る水平面と交わる座標を交点（ｒ）とし、三角形ｒｏｑに着目すると、俯角「θ」は次式で表される。

また、図３に示した撮影された錘の座標Ｑとカメラ２０の焦点距離ｆとの関係から、ｔａｎαが次式で表される。尚、（ｘ、ｙ）は、レンズの歪などの光学特性を考慮した後の値である。

そして、式（２）より、角度αが次式で表される。

一方、錘（ｑ）は、根元（ｐ）を中心とする半径Ｌの円周上にあり、かつ、光学中心（ｏ）から光軸方向と角度αをなす線分ｏｑの長さＫを有する座標に存在するため、円の方程式で表される次式が成立する。

そして、式（４）を展開すると、以下の等式を得ることができる。

更に、式（５）を展開することで、Ｋは、次式で表される。

ここで、Ｋ＞０であるから、線分ｏｑの長さ「Ｋ」が次式で表される。

以上より、三角形ｒｏｑについての三辺の長さ、Ｐ、Ｌ、Ｋを導出することができるため、三角形ｒｏｑの内角の余弦と辺の長さの関係を示す余弦定理により、次式を表すことができる。

尚、式（８）を展開すると、ｃｏｓβが、次式で表される。

したがって、式（９）より、角度βが次式で表される。

上述した式（３）、式（１０）で導出されたα、βを式（１）に代入することにより、俯角θを求めることができる。

一方、回転角φについては、図３に示したＱ（ｘ、ｙ）から、次式で求められる。

次に、本実施例１に係るキャリブレーション装置の構成について説明する。図５は、本実施例１に係るキャリブレーション装置１００の構成を示す機能ブロック図である。同図に示すように、このキャリブレーション装置１００は、カメラ２０に接続されており、画像データ取得部１１０と、画像データ記憶部１２０と、画像データ処理部１３０と、パラメータ推定部１４０と、パラメータ記憶部１５０とを有する。

図５に示すカメラ２０及び錘１０は、図１、図２に示したカメラ２０及び錘１０に対応する。カメラ２０は、カメラ２０自身に対して固定されている錘１０を鉛直下方向に撮影する。

画像データ取得部１１０は、カメラ２０が鉛直下方向に錘１０を撮影した画像データ（例えば、図１に示す撮影画像３０）を取得する手段である。

画像データ記憶部１２０は、画像データ取得部１１０が取得した画像データを記憶する手段である。

画像データ処理部１３０は、画像データ記憶部１２０が記憶している画像データから既存の画像処理技術により、撮影された錘の座標Ｑ（ｘ、ｙ）を特定する手段である。

パラメータ推定部１４０は、画像データ処理部１３０の処理により特定した錘の座標Ｑ（ｘ、ｙ）に基づいて、カメラ２０の俯角θ及び回転角φを算出する手段である。

まず、俯角θの算出について説明する。撮影された錘の座標Ｑ（ｘ、ｙ）から俯角θは式（１）で定義され、三角関数などの計算により求めた式（３）及び（１０）で求められるαとβを式（１）に代入することにより、俯角θを算出する。

一方、回転角φについても、図３に示す撮影された錘の座標Ｑ（ｘ、ｙ）と回転角φの関係により、式（１１）で定義され、式（１１）に、ｘ、ｙの値を代入することで回転角φを算出する。

尚、パラメータ推定部１４０が、俯角θと回転角φを算出する方法について説明したが、カメラ設置に求められている条件に応じて、俯角θだけを算出しても良いし、回転角φだけを算出しても良い。

パラメータ記憶部１５０は、パラメータ推定部１４０が算出した俯角θ、回転角φを記憶する段である。そして、この俯角θや回転角φは、各種アプリケーションによって利用される。

尚、本実施例では、単数のカメラ２０を例として説明してきたが、設置するカメラは単数に限定されず、複数存在して良い。その際においても、キャリブレーション装置は、本実施例１で説明してきた処理を実行し、各カメラに対応した俯角θ、回転角φを算出する。

次に図５に示したキャリブレーション装置１００の処理手順について説明する。図６は、本実施例１に係るキャリブレーション装置１００の処理手順を示すフローチャートである。

図６に示すように、キャリブレーション装置１００は、カメラ２０が、画像を撮影し（ステップＳ１００）、画像データ取得部１１０が、撮影した画像データ（例えば、撮影画像３０）を取得する（ステップＳ１０１）。

続いて、取得した画像データを、画像データ記憶部１２０が、記憶し（ステップＳ１０２）、画像データ処理部１３０が、取得した画像データを基に、錘の座標を画像処理にて特定する（ステップＳ１０３）。

そして、パラメータ推定部１４０が、俯角θ、回転角φを算出し（ステップＳ１０４）、算出した俯角θ、回転角φのデータをパラメータ記憶部１５０に記憶する（ステップＳ１０５）。

上述してきたように、本実施例１に係るキャリブレーション装置１００は、簡易的な錘１０を撮影し、撮影された錘の座標Ｑを基にして、パラメータ推定部１４０が俯角θ、回転角φを算出するので、車両に対する錘の取り付け位置に厳密性が要求されず、容易にカメラのキャリブレーションを行うことができ、ユーザの負担を軽減することができる。

また、車両５を設置する水平面と、カメラ２０の前方に錘１０を設置することができる若干の空間があれば、カメラのキャリブレーションを実行することが可能であるため、省スペースでのカメラのキャリブレーションを実現できる。

次に、本実施例２に係るキャリブレーション装置の概要及び特徴について説明する。本実施例２に係るキャリブレーション装置は、実施例１で説明した錘に対して、再帰性反射材など光を強く反射する表面素材を錘に使用する。

そして、キャリブレーションの対象となるカメラで、照明装置がオンの時とオフの時における錘を撮影し、撮影された画像の差分から特定される錘の座標に基づいて、俯角、回転角を算出する。

尚、本実施例２に係る俯角θ、回転角φを算出する方法は、実施例１のキャリブレーション装置１００が算出する方法と同様である。

このように、本実施例２に係るキャリブレーション装置は、照明オン時と照明オフ時の錘の画像を撮影し、その画像の差分から、錘の座標を正確に特定することで、カメラの俯角および回転角をより正確に算出できるので、容易に、かつ正確にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。

また、撮影する錘とラインは、コンパクトな形状であるため、カメラのキャリブレーションを省スペースで実行することができる。

次に、本実施例２に係るキャリブレーション装置について説明する。図７は、実施例２に係るキャリブレーション装置の設置例を示す図である。同図に示すように、水平面上に配置された車両６に対してカメラ２１及び照明装置５０を設置し、カメラ２１に錘１２が所定の長さを有するラインでぶら下がっている。

このキャリブレーション装置は、カメラ２１に固定可能であり、鉛直下方向にある錘１２を撮影し、錘１２の座標が撮影された画像を取得する。この時、照明がオンの時は、撮影画像３１を撮影し、照明がオフの時は、撮影画像３２を撮影する。

撮影画像３１及び３２において、３１ａ、３２ａは空を、３１ｂ、３２ｂは水平線を、３１ｃ、３２ｃは地面を示している。そして、３１ｄ、３２ｄは、撮影された錘の座標Ｑ（ｘ、ｙ）を示している。

そして、撮影画像３１と撮影画像３２の差分を取ることで、差分画像３３を取得し、この差分画像３３に対して二値化処理をすることで、錘の座標３３ａを特定する。

次に、本実施例２に係るキャリブレーション装置の構成について説明する。図８は、本実施例２に係るキャリブレーション装置２００の構成を示す機能ブロック図である。同図に示すように、このキャリブレーション装置２００は、カメラ２１に接続されており、画像データ取得部２１０ａ、２１０ｂと、画像データ記憶部２２０と、画像データ処理部２３０と、パラメータ推定部２４０と、パラメータ記憶部２５０とを有する。

また、キャリブレーション装置２００は、カメラ２１と照明装置５０を制御する機器制御部５１を有する。

図８に示すカメラ２１、錘１２、照明装置５０は、図７に示したカメラ２１、錘１２、照明装置５０に対応する。カメラ２１は、カメラ２１自身に対して固定されている錘１２を鉛直下方向に撮影する。

画像データ取得部２１０ａは、照明装置５０がオンの場合において、カメラ２１が鉛直下方向に錘１２を撮影した画像データ（例えば、図７に示す撮影画像３１）を取得する手段である。

画像データ取得部２１０ｂは、照明装置５０がオフの場合において、カメラ２１が鉛直下方向に錘１２を撮影した画像データ（例えば、図７に示す撮影画像３２）を取得する手段である。

画像データ記憶部２２０は、画像データ取得部２１０ａ及び画像データ取得部２１０ｂが取得した画像データを記憶する手段である。

画像データ処理部２３０は、画像データ記憶部２２０が記憶している画像データの差分をとることで得られる画像（例えば、図７に示す差分画像３３）に対して二値化処理を実施することで、錘の座標（例えば、図７に示す３３ａ）を特定する手段である。

パラメータ推定部２４０は、画像データ処理部２３０の処理により、特定した錘の座標３３ａ（ｘ、ｙ）に基づいて、カメラ２１の俯角θ、回転角φを算出する手段である。

まず、俯角θの算出について説明する。錘の座標３３ａは、実施例１で示した錘の座標Ｑ（ｘ、ｙ）に相当することから、俯角θは式（１）で定義され、三角関数などの計算により求めた式（３）及び式（１０）で求められるαとβを式（１）に代入することにより、俯角θを算出する。

一方、回転角φについても、差分画像３３（図７）で示される錘の座標３３ａと回転角φの関係により、式（１１）で定義され、式（１１）に、ｘ、ｙの値を代入することで回転角φを算出する。

尚、パラメータ推定部２４０が、俯角θと回転角φを算出する方法について説明したが、カメラ設置に求められている条件に応じて、俯角θだけを算出する場合や回転角φをだけを算出しても良い。

パラメータ記憶部２５０は、パラメータ推定部２４０が算出した俯角θ、回転角φを記憶する手段である。パラメータ記憶部２５０に記憶された俯角θや回転角φは、各種アプリケーションによって利用される。

尚、本実施例では、単数のカメラ２１を例として説明してきたが、設置するカメラは単数に限定されず、複数存在して良い。その際においても、キャリブレーション装置は、本実施例１で説明してきた処理を実行し、各カメラに対応したカメラ俯角、回転角を算出する。

また、マーカの一例として、再帰性反射材など光を強く反射する表面素材を錘に使用した例を挙げて説明したが、錘に対して点滅発光機構等を設け、撮影される画像の差分をとる構成としてもよい。

次に、図８に示したキャリブレーション装置２００の処理手順について説明する。図９は、本実施例２に係るキャリブレーション装置２００の処理手順を示すフローチャートである。

図９に示すように、キャリブレーション装置２００は、機器制御部５１が照明装置５０のオンとオフを制御し（ステップＳ２００）、カメラ２１が、照明オン時と照明オフ時の画像を撮影（ステップＳ２０１）する。

次に、画像データ取得部２１０ａ及び画像データ取得部２１０ｂが撮影したカメラ画像を取得し（ステップＳ２０２）、取得した画像データを画像データ記憶部２２０に記憶する（ステップＳ２０３）。

次に、画像データ処理部２３０が、画像データ記憶部２２０に記憶した画像データの差分に基づいて、錘の座標を特定する（ステップＳ２０４）。

そして、パラメータ推定部２４０が、特定された錘の座標に基づいて、俯角θ、回転角φを算出し（ステップＳ２０５）、算出したデータをパラメータ記憶部２５０に記憶する（ステップＳ２０６）。

上述してきたように、本実施例２に係るキャリブレーション装置２００は、錘１２の照明オン時と照明オフ時の撮影画像から得られる差分を基にして、錘の座標３３ａをより正確に特定できることから、パラメータ推定部２４０が俯角θ、回転角φを簡単にかつ、より正確に算出できるので、車両に対する錘１２の取り付け位置に厳密性が要求されず、容易にカメラのキャリブレーションを行うことができ、ユーザの負担を軽減することができる。

また、車両６を設置する水平面と、カメラ前方に錘１２を設置することができる若干の空間があれば、カメラのキャリブレーションを実行することが可能であるため、省スペースでのカメラのキャリブレーションを実現できる。

次に、本実施例３に係るキャリブレーション装置について説明する。本実施例３に係るキャリブレーション装置は、実施例１と同様に、マーカの一例として、錘を有し、その錘とラインを主要な構成要素とする。

このキャリブレーション装置は、車両に設置されたカメラで錘を撮影し、その撮影した画像内に、あらかじめ算出しておいた俯角θ及び回転角φに対応する基準マーカを表示する。

そして、上述した錘の座標と基準マーカを重畳した重畳画像に基づいて、撮影された錘の座標を基準マーカに一致するようにカメラを手動にて動かすことで、結果的に、規定の俯角θ及び回転角φに対応する車両の位置にカメラを設置することができる。

このように、本実施例３に係るキャリブレーション装置は、車両に対する取り付け位置に厳密性が求められない簡易的な錘を撮影し、撮影した画像から得られる重畳画像に基づいて、カメラの車両に対する取り付け位置を容易に調整することを可能とし、ユーザの負担を軽減することができる。

次に、本実施例３に係るキャリブレーション装置について説明する。図１０は、実施例３に係るキャリブレーション装置の設置例を示す図である。同図に示すように、水平面上に配置された車両７に対してカメラ２２を設置し、カメラ２２に錘１３が固定されている。

そして、キャリブレーション装置は、カメラ２２に固定可能であり、鉛直下方向にある錘１３を撮影し、その錘の座標が撮影された撮影画像（例えば、重畳画像３４から基準マーカ３４ｅを除いた画像）を取得する。

重畳画像３４において、３４ａは空を、３４ｂは水平線を、３４ｃは地面を、３４ｄは撮影された錘の座標Ｑを、３４ｅは基準マーカを示している。

ここで、基準マーカ３４ｅの算出方法について説明する。あらかじめ規定した俯角θと回転角φを式（１）、式（１１）に代入し、式（３）、式（１０）を使用することで、基準マーカ３４ｅの座標（ｘ、ｙ）が算出される。

次に、本実施例３に係るキャリブレーション装置の構成について説明する。図１１は、本実施例３に係るキャリブレーション装置３００の構成を示す機能ブロック図である。同図に示すように、このキャリブレーション装置３００は、カメラ２２に接続されており、画像データ取得部３１０と、画像データ記憶部３２０と、錘の座標データ格納部３３０と、画像重畳部３４０と、ディスプレイ３５０とを有する。

図１１に示すカメラ２２及び錘１３は、図１０に示したカメラ２２及び錘１３に対応する。このカメラ２２は、カメラ２２自身に対して固定されている錘１３を鉛直下方向に撮影する。

画像データ取得部３１０は、カメラ２２が鉛直下方向に錘１３を撮影した画像データ（例えば、重畳画像３４から基準マーカ３４ｅを除いた画像）を取得する手段である。

画像データ記憶部３２０は、画像データ取得部３１０が取得した画像データを記憶する手段である。

錘の座標データ格納部３３０は、基準マーカ３４ｅの座標データを記憶する手段で、座標データＴＢＬ３３０ａを有する。

座標データＴＢＬ３３０ａは、各カメラに対応する基準マーカ３４ｅの座標（ｘ、ｙ）を記憶する手段である。

図１２は、座標データＴＢＬのデータ構造の一例を示す図である。図１２に示すように、座標データＴＢＬ３３０ａは、車両に設置されているカメラの識別情報、基準マーカのＸ座標、Ｙ座標の値を記憶する手段である。

ここで、図１１の説明に戻り、画像重畳部３４０は、錘の座標データ格納部３３０が記憶している基準マーカ３４ｅの座標（ｘ、ｙ）と実際に撮影した錘の座標（例えば、３４ｄ）を撮影した画像内で重畳する手段である。このときの重畳した画像の一例が重畳画像３４（図１０）である。

ディスプレイ３５０は、画像重畳部３４０で重畳した画像を車内のモニター等（図示省略）に表示する手段である。

次に、図１１に示したキャリブレーション装置３００の処理手順について説明する。図１３は、本実施例３に係るキャリブレーション装置３００の処理手順を示すフローチャートである。

図１３に示すように、まず、キャリブレーション装置３００は、規定の俯角θ、回転角φに基づいて、基準マーカ３４ｅの座標（ｘ、ｙ）を算出する（ステップＳ３００）。

次に、カメラ２２が、画像を撮影し（ステップＳ３０１）、画像データ取得部３１０が撮影したカメラ画像を取得する（ステップＳ３０２）。

次に、取得した画像データを、画像データ記憶部３２０が記憶し（ステップＳ３０３）、記憶した画像データに基づいて、画像重畳部３４０が、撮影された画像内の錘の座標と、基準マーカの座標（ｘ、ｙ）を重畳する（ステップＳ３０４）。

そして、画像重畳部３４０が重畳した画像をディスプレイ３５０に表示する（ステップＳ３０５）。

尚、上述した座標データＴＢＬ３３０ａが有するデータは、あらかじめキャリブレーション装置３００内に備えていても良いし、外部からキャリブレーション装置３００に対して入力しても良い。

このように、本実施例３に係るキャリブレーション装置３００は、車両の取り付け位置に厳密性が求められない錘１３を撮影し、撮影した画像から得られる重畳画像３４に基づいて、撮影された錘の座標Ｑを基準マーカ３４ｅに一致するようにカメラを手動にて動かすことで、結果として、カメラ２２を理想的な位置に設置することができる。

したがって、重畳画像３４に基づいて、カメラ２２の取り付け位置を調整するので、錘１３の取り付け位置に厳密性が要求されず、ユーザの負担を軽減することができる。

また、車両７を設置する水平面と、カメラ２２の前方に錘１３を設置することができる若干の空間があれば、省スペースでカメラを理想的な位置に設置することができる。

次に、本実施例４に係るキャリブレーション装置の概要及び特徴について説明する。本実施例４に係るキャリブレーション装置は、キャリブレーションの対象となるカメラに対して固定されているマーカを有し、そのマーカは、カメラの光軸上かつ光学中心の位置から、所定の長さ鉛直下方向で停止している（設置例省略）。

そして、キャリブレーション装置は、上述したマーカを含んだ画像を撮影し、撮影されたマーカの座標に基づいて、俯角及び回転角を算出する。

したがって、実施例４に係るキャリブレーション装置は、車両の取り付け位置に厳密性が求められない錘を撮影し、撮影した画像における錘の座標から、カメラの俯角、回転角を算出するので、容易にカメラのキャリブレーションを実行することを可能とし、ユーザの負担を軽減することができる。

次に、本実施例におけるキャリブレーション装置について説明する。図１４は、実施例４に係るキャリブレーション装置の構成を示す図である。同図に示すように、本実施例におけるキャリブレーション装置は、実施例１で示したキャリブレーション装置において所定の距離Ｐ（図２参照）がゼロであることを特徴としている。

実施例１で示した所定の距離Ｐがゼロであることから、錘１４は、カメラ２３の光学中心位置に相当する位置から、２本のライン１５でぶら下げられている。

そして、このライン１５は、ベアリング２３ａに固定されており、キャリブレーション時において、そのぶら下がっている錘１４の荷重を受け、自由に往復運動する機構を有する。

次に、錘の座標と俯角θ、回転角φの関係について説明する。図１５は、実施例４に係る錘の座標Ｑと俯角θ、回転角φの関係を示す図である。同図の左側には、カメラ２３が撮影した撮影画像３５を示し、同図の右側には、錘の座標Ｑと俯角θ、回転角φの関係を示している。

次に、カメラ２３の俯角θを算出する方法について説明する。カメラ俯角θは、式（１）と図１５より次式で表される。

そして、角度αを定義した式（３）のαを式（１２）に代入すると、俯角θは次式で表される。

次に、式（１３）を展開すると、式（１４）が得られる。

更に、式（１４）に対して、三角関数の計算から、式（１５）が得られる。

したがって、式（１５）に対して、三角関数の計算から俯角θが次式で定義される。

次に、回転角φの関係について説明する。回転角φは、錘の座標Ｑ（ｘ、ｙ）と原点ＯからなるベクトルＯＱと鉛直方向（画像中心と錘投影像位置を結ぶ線分に相当する鉛直方向）との成す角度であることから、以下の式で定義される。

以上のことから、距離Ｐがゼロであることを特徴とするキャリブレーション装置におけるカメラ俯角θ、回転角φを算出する方法は、実施例１で説明した算出方法と同様であることがいえ、キャリブレーション時において、距離Ｐが必須の条件とはならないことがいえる。

したがって、本実施例４に係るキャリブレーション装置においても、錘１４を撮影し、撮影された錘１４の座標Ｑを基にして、俯角θ、回転角φを算出するので、車両に対する錘の取り付け位置に厳密性が要求されず、容易にカメラのキャリブレーションを行うことができ、ユーザの負担を軽減することができる。

尚、これまで述べてきたカメラキャリブレーションは、カメラ設置時に行っても良いし、車の走行振動によるカメラのズレを正すため、任意のタイミングで行っても良い。

また、キャリブレーション装置は、あらかじめ車内に組み込まれていても良いし、車外に設置されていても良いものとする。

ところで、本実施例において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部あるいは一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図５、図８、図１１に示したキャリブレーション装置１００、２００、３００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行われる各処理機能は、その全部または任意の一部がＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

図１６は、実施例１に係るキャリブレーション装置１００（実施例２に係るキャリブレーション装置２００、実施例３に係るキャリブレーション装置３００）を構成するコンピュータ３００のハードウェア構成を示す図である。図１６に示すように、このコンピュータ（キャリブレーション装置）４００は、入力装置４０１、ディスプレイ４０２、ＲＡＭ（Random Access Memory）４０３、ＲＯＭ（Read Only Memory）４０４、ＨＤＤ（Hard Disk Drive）４０５、ＣＰＵ(Central Processing Unit)４０６、錘等のマーカを撮影するカメラ４０７をバス４０８で接続している。

そして、ＨＤＤ４０５には、上述したキャリブレーション装置４００の機能と同様の機能を発揮するキャリブレーションプログラム４０５ａが記憶されている。ＣＰＵ４０６が、キャリブレーションプログラム４０５ａを読み出して実行することにより、キャリブレーションプロセス４０６ａが起動される。ここで、キャリブレーションプロセス４０６ａは、図５に示したパラメータ推定部１４０に対応する。

尚、ＲＡＭ４０３には、各カメラが撮影した画像データや、キャリブレーションプロセス４０６ａによって利用されるデータを含んだ各種データ４０３ａを記憶している。ＣＰＵ４０６は、各種データ４０３ａに含まれる画像データからマーカの位置を決定し、カメラ俯角θ、回転角φを算出する。

ところで、図１６に示したキャリブレーションプログラム４０５ａは、必ずしも最初からＨＤＤに記憶させておく必要はない。たとえば、コンピュータに挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータの内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータに接続される「他のコンピュータ（またはサーバ）」などにキャリブレーションプログラム４０５ａを記憶しておき、コンピュータがキャリブレーションプログラム４０５ａを読み出して実行するようにしてもよい。

以上の実施例１、２、３、４を含む実施形態に関し、更に以下の付記を開示する。

（付記１）キャリブレーションの対象となるカメラに対して固定可能で、当該カメラの光軸上かつ光学中心から所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得する画像取得手段と、
前記取得した画像内の前記マーカの座標に基づいて、前記カメラの俯角および／または回転角を算出する算出手段と、
を備えたことを特徴とするキャリブレーション装置。

（付記２）前記画像取得手段は、前記カメラの光軸上かつ光学中心の位置または前記光学中心からの所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得することを特徴とする付記１に記載のキャリブレーション装置。

（付記３）反射材を備えた前記マーカの照明オン時と照明オフ時の画像の差分から当該マーカの座標を特定する特定手段を更に備え、前記算出手段は、前記特定手段が特定したマーカの座標に基づいて、カメラの俯角および／または回転角を算出することを特徴とする付記１または２に記載のキャリブレーション装置。

（付記４）前記カメラの俯角および回転角に基づいて、前記マーカの座標を算出し、算出した座標を前記画像内に表示する画像表示手段を更に備えたことを特徴とする付記１または２に記載のキャリブレーション装置。

（付記５）キャリブレーション装置が、
キャリブレーションの対象となるカメラに対して固定可能で、当該カメラの光軸上かつ光学中心から所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得する画像取得ステップと、
前記取得した画像内の前記マーカの座標に基づいて、前記カメラの俯角および／または回転角を算出する算出ステップと、
を含んだことを特徴とするキャリブレーション方法。

（付記６）前記画像取得ステップは、前記カメラの光軸上かつ光学中心の位置または前記光学中心からの所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得することを特徴とする付記５に記載のキャリブレーション方法。

（付記７）俯角および回転角を算出する場合に、反射材を備えた前記マーカの照明オン時と照明オフ時の画像の差分から当該マーカの座標を特定し、特定したマーカの座標に基づいて、カメラの俯角および／または回転角を算出することを特徴とする付記５または６に記載のキャリブレーション方法。

（付記８）前記カメラの俯角および回転角に基づいて、前記マーカの座標を算出し、算出した座標を前記画像内に表示するステップを更に備えたことを特徴とする付記５または６に記載のキャリブレーション方法。

（付記９）コンピュータに、
キャリブレーションの対象となるカメラに対して固定可能で、当該カメラの光軸上かつ光学中心から所定の長さオフセットした位置から、所定の長さ鉛直下方向にあるマーカを含んだ画像を取得する画像取得手順と、
前記取得した画像内の前記マーカの座標に基づいて、前記カメラの俯角および／または回転角を算出する算出手順と、
を実行させることを特徴とするキャリブレーションプログラム。

（付記１０）前記画像取得手順は、前記カメラの光軸上かつ光学中心の位置または前記光学中心からの所定の長さオフセットした位置から、所定の長さ鉛直下方向にあるマーカを含んだ画像を取得することを特徴とする付記９に記載のキャリブレーションプログラム。

（付記１１）反射材を備えた前記マーカの照明オン時と照明オフ時の画像の差分から当該マーカの座標を特定する特定手順を更に備え、前記算出手順は、前記特定手順が特定したマーカの座標に基づいて、カメラの俯角および／または回転角を算出することを特徴とする付記９または１０に記載のキャリブレーションプログラム。

（付記１２）前記カメラの俯角および回転角に基づいて、前記マーカの座標を算出し、算出した座標を前記画像内に表示する画像表示手順を更に備えたことを特徴とする付記９または１０に記載のキャリブレーションプログラム。

実施例１に係るキャリブレーションの設置例を示す図である。 実施例１に係るキャリブレーション装置の詳細な構成を示す図である。 実地例１に係る錘の座標Ｑと俯角θ、回転角φの関係を示す図である。 俯角θの算出方法を説明するための図である。 実施例１に係るキャリブレーション装置の構成を示す機能ブロック図である。 実施例１に係るキャリブレーション装置の処理手順を示すフローチャートである。 実地例２に係るキャリブレーション装置の設置例を示す図である。 実地例２に係るキャリブレーション装置の構成を示す機能ブロック図である。 実施例２に係るキャリブレーション装置の処理手順を示すフローチャートである。 実施例３に係るキャリブレーション装置の設置例を示す図である。 実施例３に係るキャリブレーション装置の構成を示す機能ブロック図である。 座標データＴＢＬのデータ構造の一例を示す図である。 実施例３に係るキャリブレーション装置の処理手順を示すフローチャートである。 実施例４に係るキャリブレーション装置の構成を示す図である。 実施例４に係る錘の座標Ｑと俯角θ、回転角φの関係を示す図である。 実施例１に係るキャリブレーション装置を構成するコンピュータのハードウェア構成を示す図である。

符号の説明

５、６、７ 車両
１０、１２、１３、１４ 錘
１１、１５ ライン（２本）
２０、２１、２２、２３ カメラ
２３ａ ベアリング
３０、３１、３２ 撮影画像
３０ａ、３１ａ、３２ａ、３４ａ 空
３０ｂ、３１ｂ、３２ｂ、３４ｂ 水平線
３０ｃ、３１ｃ、３２ｃ、３４ｃ 地面
３０ｄ、３１ｄ、３２ｄ、３４ｄ 撮影された錘の座標Ｑ
３３ 差分画像
３３ａ 特定された錘の座標
３４ 重畳画像
３４ｅ 基準マーカ
５０ 照明装置
５１ 機器制御部
１００、２００、３００ キャリブレーション装置
１１０、２１０ａ、２１０ｂ、３１０ 画像データ取得部
１２０、２２０、３２０ 画像データ記憶部
１３０、２３０ 画像データ処理部
１４０、２４０ パラメータ推定部
１５０、２５０ パラメータ記憶部
３３０ 錘の座標データ格納部
３３０ａ 座標データＴＢＬ
３４０ 画像重畳部
３５０ ディスプレイ
４００ コンピュータ
４０１ 入力装置
４０２ ディスプレイ
４０３ ＲＡＭ
４０３ａ 各種データ
４０４ ＲＯＭ
４０５ ＨＤＤ
４０５ａ キャリブレーションプログラム
４０６ ＣＰＵ
４０６ａ キャリブレーションプロセス
４０７ カメラ
４０８ バス

Claims (4)

1. キャリブレーションの対象となるカメラに対して固定可能で、当該カメラの光軸上かつ光学中心から所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得する画像取得手段と、
   前記取得した画像内の前記マーカの座標に基づいて、前記カメラの俯角および／または回転角を算出する算出手段と、
   を備えたことを特徴とするキャリブレーション装置。
2. 前記画像取得手段は、前記カメラの光軸上かつ光学中心の位置または前記光学中心からの所定の長さオフセットした位置から、所定の長さ鉛直下方向に垂れたマーカを含んだ画像を取得することを特徴とする請求項１に記載のキャリブレーション装置。
3. 反射材を備えた前記マーカの照明オン時と照明オフ時の画像の差分から当該マーカの座標を特定する特定手段を更に備え、前記算出手段は、前記特定手段が特定したマーカの座標に基づいて、カメラの俯角および／または回転角を算出することを特徴とする請求項１または２に記載のキャリブレーション装置。
4. 前記カメラの俯角および回転角に基づいて、前記マーカの座標を算出し、算出した座標を前記画像内に表示する画像表示手段を更に備えたことを特徴とする請求項１または２に記載のキャリブレーション装置。

Images