JP2019215789A - カメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置 - Google Patents

Abstract

【課題】キャリブレーション装置において、マーカを設置するための広いスペース、設置精度を必要とせず、精度よく検出することができるものとする。【解決手段】カメラＥＣＵ３０（キャリブレーション装置）は、自車１００の走行面に鉛直な一直線上の異なる高さ位置に設置された２つの光点の側方を直進状態で走行し、複数のタイミングで、自車１００に設置されたカメラ１０により２つの光点を撮影して得られた実画像Ｐ０を取得する画像取得部２１と、実画像Ｐ０を、走行面に鉛直で、かつ走行方向に平行な単一面の変換画像Ｐ１に変換する画像変換部２２と、変換画像Ｐ１上での２つの光点列の近似直線ｍ，ｎを算出する近似直線算出部２３と、２本の近似直線ｍ，ｎの状態を理想状態にするようにカメラパラメータを調整するカメラパラメータ調整部２４と、調整して得られたカメラパラメータを記憶する記憶部２５と、を有する。【選択図】図１

Description

本発明は、カメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置に関する。

車両に、車両の周囲を撮影するカメラを設置し、カメラで撮影された画像を、車両の上方から見下ろした画像である俯瞰画像等に変換し、変換して得られた俯瞰画像等の変換画像を、運転支援の各種処理に利用することが行なわれている。

ここで、カメラで撮影された画像から変換画像を生成する場合、車両に対するカメラの取り付け姿勢（向き）を特定するカメラパラメータが必要になる。カメラパラメータは設計値に基づいて予め設定されているが、実際の車両においては、取り付け誤差や経年変化による誤差等が生じる場合がある。このような誤差が生じたまま、設計値に基づいて設定されたカメラパラメータで変換画像が生成された場合、その誤差に応じて、変換画像に基づく運転支援の処理にも誤差が生じ得る。

そこで、生じている誤差を含む実際の姿勢に対応したカメラパラメータを設定するキャリブレーション（校正処理）を行う必要がある。このキャリブレーションは、例えば、車両を製造した工場や、車両を販売する販売店において、路面上の特定の位置にマーカを設け、カメラで撮影された画像におけるマーカの位置と、路面上でのマーカの位置との対応関係を求めることで行われる（例えば、特許文献１参照）。

特開２０１４−７４５９１号公報

しかし、上述したキャリブレーションでは、マーカを設置するために広いスペースが必要であったり、マーカを設置する位置の精度が必要であったりする。また、マーカの特徴点の取得の難度が高い等の問題点がある。

さらに、車両を走行させながらキャリブレーションを行うことができる方法も提案されており、この方法によれば、車両が走行している道路上の特徴点をマーカの代わりに用いるため、マーカを設置するための広いスペースを必要としないが、カメラ以外の他の種類のセンサ（車速センサ等）が必要である。

本発明は上記事情に鑑みなされたものであり、マーカを設置するための広いスペースを必要とせず、マーカ設置の位置精度が必要なく、マーカを精度よく検出することができるカメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置を提供することを目的とする。

本発明の第１は、車両の走行面に鉛直な一直線上の異なる高さ位置に設置された２つの光点の側方を、操舵角０［度］の直進状態で走行し、複数のタイミングで、前記車両に設置されたカメラにより前記２つの光点を撮影して得られた画像を取得する画像取得ステップと、取得された複数の前記画像を、前記走行面に鉛直で、かつ前記車両の走行方向に平行な単一面上に投影した画像に変換するための、予め設定されたカメラパラメータにしたがって、前記複数の前記画像を前記単一面上に投影した画像に変換する画像変換ステップと、前記単一面上に投影した、複数の前記画像間で前記２つの光点のそれぞれに対応した２つの光点列に対して近似直線を求める近似直線算出ステップと、前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるように、前記カメラパラメータを調整するカメラパラメータ調整ステップと、前記カメラパラメータ調整ステップで調整したときのカメラパラメータを、校正後のカメラパラメータとして記憶する記憶ステップと、を有するカメラパラメータのキャリブレーション方法である。

本発明の第２は、車両の走行面に鉛直な一直線上の異なる高さ位置に設置された２つの光点の側方を、操舵角０［度］の直進状態で走行し、複数のタイミングで、前記車両に設置されたカメラにより前記２つの光点を撮影して得られた画像を取得する画像取得部と、取得された複数の前記画像を、前記走行面に鉛直で、かつ前記車両の走行方向に平行な単一面上に投影した画像に変換するための、予め設定されたカメラパラメータにしたがって、前記複数の前記画像を前記単一面上に投影した画像に変換する画像変換部と、前記単一面上に投影した、複数の前記画像間で前記２つの光点のそれぞれに対応した２つの光点列に対して近似直線を求める近似直線算出部と、前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるように、前記カメラパラメータを調整するカメラパラメータ調整部と、前記カメラパラメータ調整部で調整されたカメラパラメータを、校正後のカメラパラメータとして記憶する記憶部と、を備えたカメラパラメータのキャリブレーション装置である。

本発明に係るカメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置によれば、マーカを設置するための広いスペースを必要とせず、マーカ設置の位置精度が必要なく、マーカを精度よく検出することができる。

本発明に係るカメラパラメータのキャリブレーション装置の一例であるカメラＥＣＵ（Electronic Control Unit）を含むキャリブレーションシステムを示すブロック図である。 このキャリブレーションシステムによりカメラパラメータのキャリブレーションを実施する様子の一例を示す模式図である。 図２の様子を上方からの平面視を示す図である。 カメラにより、自車が、立体ポールのＬＥＤの各光点の側方を自車の前方に向かって、操舵角０［度］の直進状態で走行し、時系列的に最初のタイミングで、ＬＥＤの各光点を撮影して得られた画像を示す。 カメラにより、自車が、立体ポールのＬＥＤの各光点の側方を自車の前方に向かって、操舵角０［度］の直進状態で走行し、時系列的に２番目のタイミングで、ＬＥＤの各光点を撮影して得られた画像を示す。 カメラにより、自車が、立体ポールのＬＥＤの各光点の側方を自車の前方に向かって、操舵角０［度］の直進状態で走行し、時系列的に３番目のタイミングで、ＬＥＤの各光点を撮影して得られた画像を示す。 図４〜６に示す、カメラによって撮影された実画像を、路面に鉛直で、かつ自車の走行方向に延びた単一面（スクリーン）上に投影した変換画像を示す図である。 カメラパラメータが正確に調整されている理想状態での、２つの光点列に対してそれぞれ求められた２本の近似直線ｍ，ｎを示す図である。 自車に対するカメラの、鉛直軸回りの向きがずれている（ｙａｗ角のずれの）状態での、近似直線ｍ，ｎの一例を示す図である。 自車に対するカメラの、自車の前後方向の軸回りの向きがずれている（ｐｉｔｃｈ角のずれの）状態での、近似直線ｍ，ｎの一例を示す図である。 自車に対するカメラの、自車の車幅方向の軸回りの鉛直軸回りの向きがずれている（ｒｏｌｌ角のずれの）状態での、近似直線ｍ，ｎの一例を示す図である。 このキャリブレーションシステムを用いてキャリブレーションを行う際のオペレータの動作を説明するフローチャートである。 このキャリブレーションシステムの動作を説明するフローチャートである。 自車の前軸の車幅方向の中心Ｏを原点として、自車の車幅方向をＸ軸方向、自車の前後方向をＹ軸方向としたときに、立体ポールのＬＥＤが自車の右前方の、自車から離れた座標位置（ｘ０，ｙ０）に配置されていることを示す模式図である。 自車に対するカメラの高さ方向の位置がずれている（ｚずれの）状態での、近似直線ｍ，ｎの一例を示す図である。 自車に対するカメラの車幅方向の位置がずれている（ｘずれの）状態での、近似直線ｍ，ｎの一例を示す図である。 自車に対するカメラの前後方向の位置がずれている（ｙずれの）状態での、近似直線ｍ，ｎの一例を示す図である。 自車の右側に立体ポールを設置し、自車の左側に別の立体ポールを設置したキャリブレーションシステムによるカメラパラメータのキャリブレーションを実施する様子の一例を示す模式図である。

以下、本発明に係るカメラパラメータのキャリブレーション方法及びカメラパラメータのキャリブレーション装置の具体的な実施の形態について、図面を参照して説明する。

＜キャリブレーション装置＞
図１は、本発明に係るカメラパラメータのキャリブレーション装置の一例であるカメラＥＣＵ（Electronic Control Unit）２０を含むキャリブレーションシステム１を示すブロック図、図２は、このキャリブレーションシステム１によりカメラパラメータのキャリブレーションを実施する様子の一例を示す模式図、図３は、図２の様子を上方からの平面視を示す図である。

キャリブレーションシステム１は、立体ポール２００と、カメラ１０と、キャリブレーション装置の一例であるカメラＥＣＵ２０と、操作部５０と、モニタ６０と、を備えている。

立体ポール２００は、図２に示すように、カメラ１０が設けられた車両１００（以下、自車１００という。）が配置された平らな路面４００上で、自車１００の外部に設けられている。立体ポール２００は、路面４００に対して鉛直方向（垂直）に延びている。立体ポール２００の延びた方向（高さ方向）の一直線上で、２つの互いに異なる高さ位置に、光点となるＬＥＤ２１０，２２０が設けられている。相対的に高い位置に設けられたＬＥＤ２１０は、路面４００から既知の高さ位置Ｚ１に設けられ、相対的に低い位置に設けられたＬＥＤ２２０は、路面４００から既知の高さ位置Ｚ２（＜Ｚ１）に設けられている。

カメラ１０は、図２の自車１００の右側のドアミラー又はその付近に設けられている。なお、上述した右側のドアミラー付近に設けられたカメラ１０は、図１〜３において実線で示した１つである。図２，３において二点鎖線で示した他のカメラ１０は、本実施形態においては必須の構成ではない。

図２，３において二点鎖線で示したカメラ１０は、自車１００の前部に設けられて自車１００の前方を写すもの、自車１００の後部に設けられて自車１００の後方を写すもの、自車１００の左側のドアミラー又はその付近に設けられて自車１００の左側方を写すものなどがある。

以下の説明において、カメラ１０は、自車１００の右側のドアミラー又はその付近に設けられているものを意味する。カメラ１０は、その光軸を車両１００の右方で斜め下方を向いて設けられている。カメラ１０は、画角１８０［度］程度の広角レンズを備えており、自車１００の右側方を、自車１００よりも前方の範囲から後方の範囲に亘って広く撮影することができる。

図４，５，６は、カメラ１０により、自車１００が、立体ポール２００のＬＥＤ２１０，２２０の各光点の側方を自車１００の前方Ｆに向かって、操舵角０［度］の直進状態で走行し、時系列的に異なる３つのタイミングで、ＬＥＤ２１０，２２０の各光点を撮影して得られた画像Ｐ０を示し、図４は時系列的に最初のタイミング、図５は図４の次のタイミング、図６は図５の次のタイミング、にそれぞれ対応している。

カメラＥＣＵ２０は、画像取得部２１と、画像変換部２２と、近似直線算出部２３と、カメラパラメータ調整部２４と、記憶部２５と、を備えている。画像取得部２１は、図２，３に示すように、自車１００が、立体ポール２００のＬＥＤ２１０，２２０の各光点の側方を、操舵角０［度］の直進状態で走行し、時系列的に異なる複数のタイミングで、ＬＥＤ２１０，２２０の各光点を撮影して得られた、図４〜６に示した画像Ｐ０を取得する。

図７は、図４〜６に示す、カメラ１０によって撮影された画像Ｐ０（以下、実画像Ｐ０ということもある。）を、路面４００に鉛直で、かつ自車１００の走行方向（前後方向（Ｙ軸方向））に延びた単一面（スクリーン）上に投影した画像Ｐ１（以下、変換画像Ｐ１ということもある。）を示す図である。なお、図７において、点Ｍ１，Ｍ２，Ｍ３，Ｍ４．Ｍ５は、ＬＥＤ２１０の光点の像を示し、点Ｎ１，Ｎ２，Ｎ３，Ｎ４．Ｎ５は、ＬＥＤ２２０の光点の像を示す。

また、図７において、点Ｍ１，Ｎ１が、立体ポール２００に対して自車１００が最も後方に離れているタイミング（最初のタイミング）に対応し得られた光点の像であり、変換画像Ｐ１において、変換画像Ｐ１の左右方向（自車１００の前後方向に対応）であるＹ軸方向の最もＺ軸に近い位置にある。点Ｍ２，Ｎ２が、立体ポール２００に対して自車１００が次に後方に離れているタイミング（２番目のタイミング）に対応し得られた光点の像であり、変換画像Ｐ１において、変換画像Ｐ１の左右方向であるＹ軸方向の、次にＺ軸に近い位置にある。

また、図７において、点Ｍ３，Ｎ３が、点Ｍ２，Ｎ２の次のタイミングに対応し得られた光点の像であり、変換画像Ｐ１において、変換画像Ｐ１の左右方向であるＹ軸方向の、点Ｍ２，Ｎ２の右側に位置し、点Ｍ４，Ｎ４が、点Ｍ３，Ｎ３の次のタイミングに対応し得られた光点の像であり、変換画像Ｐ１において、変換画像Ｐ１の左右方向であるＹ軸方向の、点Ｍ３，Ｎ３の右側に位置し、点Ｍ５，Ｎ５が、点Ｍ４，Ｎ４の次のタイミングに対応し得られた光点の像である。

画像変換部２２は、カメラ１０によって撮影された実画像Ｐ０を、路面４００に鉛直で、かつ自車１００の走行方向に延びた単一面（スクリーン）上に投影した画像に変換するための、予め設定された設計値のカメラパラメータにしたがって、図７に示すように、実画像Ｐ０を単一面上に投影した変換画像Ｐ１に変換する。なお、予め設定された設計値のカメラパラメータは、記憶部２５に記憶されている。

近似直線算出部２３は、単一面である変換画像Ｐ１上に投影した、ＬＥＤ２１０の光点の複数の像の点Ｍ１，Ｍ２，…，Ｍ５の点列に対して近似直線ｍを求める。同様に、近似直線算出部２３は、単一面である変換画像Ｐ１上に投影した、ＬＥＤ２２０の光点の複数の像の点Ｎ１，Ｎ２，…，Ｎ５Ｍの点列に対して近似直線ｎを求める。

図８は、カメラパラメータが正確に調整されている理想状態での、２つの光点列（｛Ｍ１，Ｍ２，Ｍ３，Ｍ４，Ｍ５｝、｛Ｎ１，Ｎ２，Ｎ３，Ｎ４，Ｎ５｝）に対してそれぞれ求められた２本の近似直線ｍ，ｎを示す図である。

図９は、自車１００に対するカメラ１０の、鉛直軸回りの向きがずれている（ｙａｗ角のずれの）状態での、近似直線ｍ，ｎの一例を示す図であり、図１０は、自車１００に対するカメラ１０の、自車１００の前後方向の軸回りの向きがずれている（ｐｉｔｃｈ角のずれの）状態での、近似直線ｍ，ｎの一例を示す図であり、図１１は、自車１００に対するカメラ１０の、自車１００の車幅方向の軸回りの鉛直軸回りの向きがずれている（ｒｏｌｌ角のずれの）状態での、近似直線ｍ，ｎの一例を示す図である。

自車１００に対するカメラ１０の向きが予め設定された設計値通りであれば、自車１００に対するカメラ１０の向きを特定するカメラパラメータ（ｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角）は、記憶部２５に記憶されている設計値のカメラパラメータのままである。この場合、近似直線算出部２３で算出された近似直線ｍ，ｎは、図８に示す理想状態での近似直線ｍ，ｎとなる。理想状態での近似直線ｍ，ｎは、長さ及び傾き（Ｙ軸に対する傾き）が互いに同じで、かつその傾きがゼロとなる（Ｙ軸に平行となる）。

一方、自車１００に対するカメラ１０の向き（ｙａｗ角のずれ）が設計値に対してずれているときは、近似直線算出部２３で算出された近似直線ｍ，ｎは、図９の実線に示す状態となる。すなわち、図９に示す状態では、２本の近似直線ｍ，ｎの傾きが互いに異なる。なお、理想状態での２本の近似直線ｍ，ｎは破線で示す通りである。

また、自車１００に対するカメラ１０の向き（ｐｉｔｃｈ角のずれ）が設計値に対してずれているときは、近似直線算出部２３で算出された近似直線ｍ，ｎは、図１０の実線に示す状態となる。すなわち、図１０に示す状態では、２本の近似直線ｍ，ｎの長さが互いに異なる。なお、理想状態での２本の近似直線ｍ，ｎは破線で示す通りである。

また、自車１００に対するカメラ１０の向き（ｒｏｌｌ角のずれ）が設計値に対してずれているときは、近似直線算出部２３で算出された近似直線ｍ，ｎは、図１１の実線に示す状態となる。すなわち、図１１に示す状態では、２本の近似直線ｍ，ｎの傾きが互いに同じであるが、Ｙ軸に対する傾きがゼロではない。なお、理想状態での２本の近似直線ｍ，ｎは破線で示す通りである。

カメラパラメータ調整部２４は、２本の近似直線ｍ，ｎが、図８に示した理想状態となるように、カメラパラメータを調整し、理想状態となったときのカメラパラメータを、記憶部２５に記憶させる。記憶部２５に記憶されたカメラパラメータは、自車１００に対するカメラ１０の向きのずれによる変換画像Ｐ１のずれを解消するものとなる。

操作部５０は、自車１００の運転者が、カメラパラメータのキャリブレーションを実施するときの処理の開始の指示を入力するインターフェースである。なお、操作部５０は、例えば、モニタ６０がタッチパネル形式のものであり、モニタ６０に表示された選択の指示に対して、タッチパネルに運転者がタッチすることで、キャリブレーションを実施するときの処理の開始の指示を入力するものとしてもよい。

以上のように構成されたカメラパラメータのキャリブレーションシステム１の動作について、以下に説明する。

図１２は、このキャリブレーションシステム１を用いてキャリブレーションを行う際のオペレータの動作を説明するフローチャートであり、図１３は、このキャリブレーションシステム１の動作を説明するフローチャートである。

オペレータが自車１００のカメラパラメータのキャリブレーションを行うとき、オペレータは、図２，３に示すように、立体ポール２００を自車１００の右側で、自車よりも前方に配置する（図１２のＳ１）。立体ポール２００のＬＥＤ２１０，２２０はいずれも点灯しているものとする。

オペレータは、操作部５０に対して、キャリブレーション処理の開始の指示を入力する（図１２のＳ２）。その後、オペレータは自車１００を、図３に示すように、立体ポール２００の左側を操舵角０［度］の直進状態で通過させる（図１２のＳ３）。

オペレータが、操作部５０に対してキャリブレーション処理の開始の指示を入力したことにより、カメラＥＣＵ２０によるキャリブレーション処理が開始される。

自車１００に設けられた右側のカメラ１０は、自車１００が立体ポール２００の左側を通過する間に、所定の周期で実画像Ｐ０を撮影する。実画像Ｐ０には、立体ポール２００に設けられたＬＥＤ２１０，２２０がそれぞれ発する光の像が、キャリブレーションのマーカとして写り込む。

キャリブレーション処理の開始により、カメラ１０からカメラＥＣＵ２０に入力されていた実画像Ｐ０が、画像取得部２１により取得される（図１３のＳ１１）。画像取得部２１は、取得した実画像Ｐ０におけるＬＥＤ２１０の光点Ｍ１，…及びＬＥＤ２２０の光点Ｎ１，…の各座標を取得する（Ｓ１２）。

画像取得部２１は、自車１００が立体ポール２００の左側を通過する間に、光点Ｍ１，…及びＬＥＤ２２０の光点Ｎ１，…の各座標を所定個数取得したか否かを判定し（Ｓ１３）、所定個数に足りないときは所定個数取得するまで実画像Ｐ０の取得を継続する（Ｓ１３にてＮＯ）。一方、所定個数を取得した後は、画像取得部２１は次の処理（Ｓ１４）に移行する（Ｓ１３にてＹＥＳ）。なお、所定個数は少なくとも２個であればよい。ただし、後述する近似直線ｍ，ｎの精度を高める上では、所定個数は多い程好ましい。

次いで、画像変換部２２が、記憶部２５に記憶されている設計値のカメラパラメータに基づいて、実画像Ｐ０を変換画像Ｐ１に変換する（Ｓ１４）。このとき、取得したＬＥＤ２１０の光点Ｍ１，…の座標を変換した後の座標、及びＬＥＤ２２０の光点Ｎ１，…の座標を変換した後の座標（ＹＺ座標系）をそれぞれ、図７に示すように、１つの変換画像Ｐ１上にプロットする。

次いで、近似直線算出部２３が、変換画像Ｐ１上での複数の光点Ｍ１，…の並び（光点列）を１つの直線で近似する近似直線ｍを算出し、複数の光点Ｎ１，…の並び（光点列）を１つの直線で近似する近似直線ｎを算出する（Ｓ１５）。

次いで、カメラパラメータ調整部２４が、２つの近似直線ｍ，ｎが、前述した理想状態（図８に示した状態）に十分近いと評価できるか否かを判定する（Ｓ１６）。カメラパラメータ調整部２４は、近似直線ｍ，ｎが理想状態に十分近いと評価できるまで、カメラパラメータを変更しながら（Ｓ１８）、画像変換部２２による画像変換（Ｓ１４）及び近似直線ｍ，ｎの算出（Ｓ１５）を繰り返す（Ｓ１６でＮＯ）。

カメラパラメータ調整部２４は、２つの近似直線ｍ，ｎが理想状態に十分近いと評価できると判定したとき（Ｓ１６にてＹＥＳ）は、その理想状態に対応したカメラパラメータをその後の画像変換のために用いるカメラパラメータとして、記憶部２５に記憶させ（Ｓ１７）、キャリブレーションの処理を終了する。

記憶部２５に記憶された新たなカメラパラメータは、その後の画像変換（例えば、自車１００の真上に仮想の視点を設定し、その仮想の視点から見下ろしたときに視認されると仮定した平面視の画像（俯瞰画像）等への変換）を行うための変換パラメータの基となり、この基となるカメラパラメータを用いて、画像変換のための変換パラメータがカメラＥＣＵ２０により設定される。

そして、そのように設定された変換パラメータにより変換して得られた変換画像は、例えばモニタ６０に可視画像として表示されて、自車１００の運転者に対し、運転支援用の画像として供与される。

以上、詳細に説明したように、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法によれば、鉛直方向に複数並んだＬＥＤ２１０，２２０の各光点を、キャリブレーションのためのマーカとして用いるため、車両の周囲の路面４００上に複数のマーカを設置する必要が無い。したがって、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、そのようなマーカを設置するための広いスペース必要としない。

また、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、自車１００が立体ポール２００の側方を操舵角０［度］で通過するだけでよく、自車１００とＬＥＤ２１０，２２０との初期的な位置関係（車幅方向、前後方向、高さ方向）を設定する必要が無い。したがって、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、キャリブレーションでのマーカとなるＬＥＤ２１０，２２０を設置する位置の精度が必要ない。

また、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、キャリブレーションにおけるマーカとして、ＬＥＤ２１０の光点Ｍ１，…及びＬＥＤ２２０の光点Ｎ１，…を適用しているため、カメラ１０で撮影された実画像Ｐ０において、光点Ｍ１，…，Ｎ１，…が、光点Ｍ１，…，Ｎ１，…以外の周囲に対して大きな信号値差を有し、特徴点として検出し易い。

なお、本実施形態においては、ＬＥＤ２１０を発光させたときの発光点（光点）を特徴点としているが、光点としてはＬＥＤの発光点に限定されない。また、発光点ではなくても、キャリブレーション処理に一般的に用いられる特徴点を表すもの、例えば市松模様（白色の矩形領域と黒色の矩形領域とが格子状に交互に配列された模様）におけるエッジの交点等を特徴点として適用することもできる。特徴点としては、市松模様のエッジの交点以外の態様のものを適用することもできる。

本実施形態は、カメラ１０が自車１００の右側に設けられたものとして説明したが、カメラ１０は、立体ポール２００に設けられたＬＥＤ２１０の光点及びＬＥＤ２２０の光点を実画像Ｐ０として撮影し得るカメラであれば、図２の二点鎖線で示した自車１００の前部に設けられたカメラ１０を適用することもでき、また、図２の二点鎖線で示した自車１００の後部に設けられたカメラ１０を適用することもできる。

なお、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、カメラ１０の向き（ｙａｗ角、ｐｉｔｃｈ角、ｒｏｌｌ角）の誤差のみを調整するものとして説明した。一般に、自車１００に対するカメラ１０の設置誤差は、位置の誤差（車幅方向の位置ずれ（ｘずれ）、前後方向の位置ずれ（ｙずれ）、高さ方向の位置ずれ（ｚずれ））は、向きの誤差に比べて起こり難い。したがって、通常は、カメラ１０の向きの誤差を調整するキャリブレーションを実施すれば十分である。

ただし、より精度の高いキャリブレーションを実施する場合は、カメラ１０の設置誤差として、位置の誤差も調整するキャリブレーションを実施すればよい。

図１４は、自車１００の前軸の車幅方向の中心Ｏを原点として、自車１００の車幅方向をＸ軸方向、自車１００の前後方向をＹ軸方向としたときに、立体ポール２００のＬＥＤ２１０，２２０が自車１００の右前方の、自車１００から離れた座標位置（ｘ０，ｙ０）に配置されていることを示す模式図である。

図１５は、自車１００に対するカメラ１０の高さ方向の位置がずれている（ｚずれの）状態での、近似直線ｍ，ｎの一例を示す図であり、図１６は、自車１００に対するカメラ１０の車幅方向の位置がずれている（ｘずれの）状態での、近似直線ｍ，ｎの一例を示す図であり、図１７は、自車１００に対するカメラ１０の前後方向の位置がずれている（ｙずれの）状態での、近似直線ｍ，ｎの一例を示す図である。

自車１００に対するカメラ１０の高さ方向の位置が設計値に対してずれている（ｚずれの）ときは、近似直線算出部２３で算出された近似直線ｍ，ｎは、図１５の実線に示す状態となる。すなわち、ｚずれのときは、２本の近似直線ｍ，ｎが理想状態での近似直線ｍ，ｎ（図１５の破線で示す）に対してＺ軸方向にオフセットした状態となる。

また、自車１００に対するカメラ１０の車幅方向の位置が設計値に対してずれている（ｘずれの）ときは、近似直線算出部２３で算出された近似直線ｍ，ｎは、図１６の実線に示す状態となる。すなわち、ｘずれのときは、２本の近似直線ｍ，ｎ間のＺ方向の間隔が理想状態での近似直線ｍ，ｎ（図１６の破線で示す）の間隔とは異なる寸法となる。

また、自車１００に対するカメラ１０の前後方向の位置が設計値に対してずれている（ｙずれの）ときは、近似直線算出部２３で算出された近似直線ｍ，ｎは、図１７の実線に示す状態となる。すなわち、ｙずれのときは、２本の近似直線ｍ，ｎが、理想状態での近似直線ｍ，ｎ（図１７の破線で示す）に対してＹ軸方向にオフセットした状態となる。

そこで、カメラパラメータ調整部２４は、２本の近似直線ｍ，ｎが、図８に示した理想状態となるように、ｚずれを調整する場合は、ＬＥＤ２１０の高さ位置Ｚ１又はＬＥＤ２２０の高さ位置Ｚ２（図２参照）を、カメラパラメータの調整の条件に加えることで、ｚずれを含んだ誤差に対応した新たなカメラパラメータを求めることができる。

同様に、カメラパラメータ調整部２４は、２本の近似直線ｍ，ｎが、図８に示した理想状態となるように、ｘずれ、ｙずれを調整する場合は、ＬＥＤ２１０の車幅方向の初期位置（ｘ０，ｙ０）を、カメラパラメータの調整の条件に加えることで、ｘずれ、ｙずれを含んだ誤差に対応した新たなカメラパラメータを求めることができる。

図１８は、自車１００の右側に立体ポール２００を設置し、自車１００の左側に別の、異なる高さ位置にＬＥＤ３１０，３２０が設けられた立体ポール３００を設置したキャリブレーションシステムによるカメラパラメータのキャリブレーションを実施する様子の一例を示す模式図である。

本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、自車１００の右側にのみ立体ポール２００を配置したキャリブレーションシステム１であるため、自車１００の左側に設けられたカメラ１０は、立体ポール２００のＬＥＤ２１０，２２０の光点を実画像として撮影することができない。

そこで、本実施形態のカメラＥＣＵ２０及びカメラＥＣＵ２０を用いたキャリブレーション方法は、図１８に示すように、自車１００の左側にも、別の立体ポール３００を配置したキャリブレーションシステムとして、自車１００の左側に設けられたカメラ１０は、左側に配置された立体ポール３００のＬＥＤ３１０，３２０の光点を実画像として撮影することで、上述した実施形態と同様のキャリブレーションを実施することができる。

この場合、キャリブレーションシステム１は、図１に示すブロック図において、実線枠で示した右側部のカメラ１０に加えて、破線枠で示した３つのカメラ１０（前部のカメラ１０、後部のカメラ１０、左側部のカメラ１０）を備え、カメラＥＣＵ２０は、画像取得部２１、画像変換部２２、近似直線算出部２３、カメラパラメータ調整部２４及び記憶部２５がそれぞれのカメラ１０で取得された実画像Ｐ０ごとに処理を行うものとする。

上述した実施形態は、路面４００から鉛直方向に延びる立体ポール２００に、発光点となるＬＥＤ２１０，２２０を設けた構成であるが、ＬＥＤ２１０，２２０等の光点は、路面４００から立ち上がる支柱に設けられていなくてもよい。

すなわち、光点は、例えば上方から吊り下げられた支柱等に設けられたものであってもよい。また、支柱に限らず、ネットや柵などに設けられたものであってもよい。

１ キャリブレーションシステム
１０ カメラ
２０ カメラＥＣＵ（キャリブレーション装置）
２１ 画像取得部
２２ 画像変換部
２３ 近似直線算出部
２４ カメラパラメータ調整部
２５ 記憶部
１００ 車両（自車）
２００ 立体ポール
２１０，２２０ ＬＥＤ
４００ 路面

Claims (5)

1. 車両の走行面に鉛直な一直線上の異なる高さ位置に設置された２つの光点の側方を、操舵角０［度］の直進状態で走行し、複数のタイミングで、前記車両に設置されたカメラにより前記２つの光点を撮影して得られた画像を取得する画像取得ステップと、
   取得された複数の前記画像を、前記走行面に鉛直で、かつ前記車両の走行方向に平行な単一面上に投影した画像に変換するための、予め設定されたカメラパラメータにしたがって、前記複数の前記画像を前記単一面上に投影した画像に変換する画像変換ステップと、
   前記単一面上に投影した、複数の前記画像間で前記２つの光点のそれぞれに対応した２つの光点列に対して近似直線を求める近似直線算出ステップと、
   前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるように、前記カメラパラメータを調整するカメラパラメータ調整ステップと、
   前記カメラパラメータ調整ステップで調整したときのカメラパラメータを、校正後のカメラパラメータとして記憶する記憶ステップと、を有するカメラパラメータのキャリブレーション方法。
2. 前記２つの光点のうち少なくとも１つの光点の、前記走行面からの鉛直方向の高さを求めるステップを有し、
   前記カメラパラメータを調整するステップにおいて、前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるとともに、前記単一面における前記近似直線の高さ方向の位置を、前記走行面からの鉛直方向の高さを求めるステップで求められた前記高さの位置と対応させる拘束条件を加えて、前記カメラパラメータとして、前記車両における前記カメラの設置された高さ位置に関するパラメータを調整する請求項１に記載のカメラパラメータのキャリブレーション方法。
3. 前記２つの光点のうち少なくとも１つの光点の、前記車両に対する車幅方向の位置を求めるステップを有し、
   前記カメラパラメータを調整するステップにおいて、前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるとともに、前記単一面における前記２本の近似直線の間の間隔を、前記車幅方向の位置を求めるステップで求められた前記車幅方向の位置と対応させる拘束条件を加えて、前記カメラパラメータとして、前記車両における前記カメラの設置された前記車幅方向の位置に関するパラメータを調整する請求項１又は２に記載のカメラパラメータのキャリブレーション方法。
4. 前記２つの光点のうち少なくとも１つの光点の、前記車両に対する前後方向の位置を求めるステップを有し、
   前記カメラパラメータを調整するステップにおいて、前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるとともに、前記単一面における前記近似直線の横方向の位置を、前記前後方向の位置を求めるステップで求められた前記前後方向の位置と対応させる拘束条件を加えて、前記カメラパラメータとして、前記車両における前記カメラの設置された前記前後方向の位置に関するパラメータを調整する請求項１から３のうちいずれか１項に記載のカメラパラメータのキャリブレーション方法。
5. 車両の走行面に鉛直な一直線上の異なる高さ位置に設置された２つの光点の側方を、操舵角０［度］の直進状態で走行し、複数のタイミングで、前記車両に設置されたカメラにより前記２つの光点を撮影して得られた画像を取得する画像取得部と、
   取得された複数の前記画像を、前記走行面に鉛直で、かつ前記車両の走行方向に平行な単一面上に投影した画像に変換するための、予め設定されたカメラパラメータにしたがって、前記複数の前記画像を前記単一面上に投影した画像に変換する画像変換部と、
   前記単一面上に投影した、複数の前記画像間で前記２つの光点のそれぞれに対応した２つの光点列に対して近似直線を求める近似直線算出部と、
   前記２つの光点列に対してそれぞれ求められた２本の近似直線の長さ及び傾きが互いに同じで、かつ前記傾きがゼロとなるように、前記カメラパラメータを調整するカメラパラメータ調整部と、
   前記カメラパラメータ調整部で調整されたカメラパラメータを、校正後のカメラパラメータとして記憶する記憶部と、を備えたカメラパラメータのキャリブレーション装置。