JP2007034989A - 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 - Google Patents

Abstract

【課題】車載カメラのロール方向のずれを検出する。
【解決手段】撮像装置のずれ検出方法では、白線交点算出手段２８及び白線交点座標記憶手段３０により、撮像装置により得た撮像画像内で特定の一対の左右白線について自車両から遠方で形成される交点を取得するとともに、当該交点を自車両が車線内で左右方向に移動した際に得た前記撮像画像それぞれから取得し、ロール角算出手段３１により、前記取得した複数の交点の位置から直線近似式を算出し、前記撮像画像に対する当該直線近似式の傾きに基づいて、前記撮像装置のロール方向の傾き（ロール角）を検出する。
【選択図】図２

Description

本発明は、車体への車載カメラの取り付けずれを検出する撮像装置のずれ検出方法、及びその撮像装置のずれ検出方法の検出結果に基づいて、撮像装置のずれを補正する撮像装置のずれ補正方法及び撮像装置に関し、特に、ずれがロール方向に生じている場合に好適な撮像装置のずれ検出方法及び撮像装置のずれ補正方法及び撮像装置に関する。

従来、車載カメラの撮像画像の消失点に基づいて、車載カメラのカメラ光軸のずれを補正する装置が提案されている。
特開２００２−２５９９９５号公報

前記従来の装置では、消失点に基づいて車載カメラのヨー方向及びピッチ方向のずれを補正している。しかし、前記従来の装置では、車載カメラのロール方向のずれを検出し、さらにそのずれの補正をすることはできない。例えば、車載カメラにロール方向のずれがあると、その撮像画像から走行車線内における自車位置を精度良く特定することが困難になる。
本発明は、前記問題に鑑みてなされたものであり、車載カメラのロール方向のずれを検出する撮像装置及びその撮像装置のずれ検出方法、及びその撮像装置のずれ検出方法の検出結果に基づいて、撮像装置のロール方向のずれを補正する撮像装置のずれ補正方法の提供を目的とする。

請求項１記載の撮像装置のずれ検出方法は、自車両前方を撮像するように取り付けられた車載の撮像装置のロール方向のずれを検出する撮像装置のずれ検出方法である。
この撮像装置のずれ検出方法は、前記撮像装置により得た撮像画像内で特定した一対の車線区分線について自車両から遠方で形成される交点を取得するとともに、当該交点を当該自車両が車線内で左右方向に移動した際に得た前記撮像画像それぞれについて取得し、前記取得した複数の交点の位置から直線近似式を算出し、前記撮像画像に対する当該直線近似式の傾きに基づいて、前記撮像装置のロール方向の傾きを検出する。

ここで、撮像装置にロール方向のずれが発生している場合、自車両が左右方向に移動した際に得られる撮像画像における前記交点は、当該撮像画像内において、前記ずれの大きさと車線内の自車両位置とに応じた位置として得られるようになる。そして、そのような複数の交点の位置から直線近似式を算出し、撮像画像に対する当該直線近似式の傾きに基づいて、前記撮像装置のロール方向の傾きを検出している。

請求項１記載の撮像装置のずれ検出方法によれば、撮像装置のロール方向のずれを精度よく検出することができる。

本発明を実施するための最良の形態（以下、実施形態という。）を図面を参照しながら詳細に説明する。
図１及び図２は、本発明に係る撮像装置のずれ検出方法及び撮像装置のずれ補正方法を適用した白線検出装置１０の実施形態を示すブロック図であり、図３（ａ）、（ｂ）、（ｃ）は、自車両１００におけるカメラ１１の取付位置を示す側面図、平面図及び正面図であり、図４及び図５は、白線検出装置１０の動作を説明するためのフローチャートであり、図６は、カメラ１１の撮像画像の一例であり、その撮像画像について得られる左右白線遠方で形成される交点、白線モデル及び白線候補点検出領域を示す図であり、図７は、本発明の主要部の説明に使用した図である。

白線検出装置１０は、図１に示すように、カメラ１１、画像処理装置１２、マイクロコンピュータ１３、メモリ１４及びセンサ１５から構成され、この白線検出装置１０には、外部装置として、車両制御装置１及び警報装置２が接続されている。
図３に示すように、カメラ１１は、車室内のフロントウィンド上部に車幅方向中央近傍に取り付けられ、車両前方の道路風景を撮像する。なお、カメラ１１は、レンズの光軸と前後方向における水平面（地面）とのなす角がピッチ角αとなり、レンズの光軸と左右方向における水平面（地面）とのなす角がロール角γとなり、水平面の同一面内においてレンズの光軸と車両中心線とのなす角がヨー角βとなるように取り付けられる。

画像処理装置１２は、カメラ１１により撮像された画像を処理して道路上の白線を検出する。
マイクロコンピュータ１３は、道路形状と車両挙動を示す複数のパラメータを用いて道路白線の形状を数式化モデルで表し、カメラ１１の撮像画像から得た白線（車線区分線）の検出結果と道路モデルとが一致するようにパラメータを更新することにより、当該白線を検出して道路形状を認識する。また、撮像画像で得た左右の白線について、自車両から遠方で形成されるその交点（場合によっては消失点もある）の位置及び水平線モデルのパラメータを算出する。

なお、消失点とは、カメラ１１の光軸に対して平行な線、すなわち例えば左右白線に対して自車両（この場合、カメラ１１の光軸と自車両の走行方向とが平行になっていることが前提）が平行に走行している場合には当該左右白線、について撮像画像内において遠方で形成される交点である。言い換えれば、撮像画像内で左右白線について遠方で形成される交点を特定することができても、そのとき、左右白線に対してカメラ１１の光軸が平行な状態でなければ、例えば自車両が左右白線に対して平行に走行していなければ、当該交点は消失点と言えないことになる。

メモリ１４は、道路モデルのパラメータなどを記憶する記憶装置であり、センサ１５は、車両の挙動を表す車速や操舵角などを検出する装置である。また、車両制御装置１は、出力結果に基づいてステアリング、アクセル及びブレーキなどの制御を実行するものである。また、警報装置２は、出力信号に基づいて車線逸脱などの警報を発する装置である。

図２は、白線検出装置１０を機能的に表現したものであり、これと図１に示すハードウェアとして表現したものとを対比させると、カメラ１１及び画像処理装置１２が撮像手段２１に相当し、メモリ１４が道路パラメータ記憶手段２７及び白線交点座標記憶手段３０に相当し、マイクロコンピュータ１３が座標変換手段２２、白線検出領域設定手段２３、白線候補点検出手段２４、道路パラメータ算出手段２５、信号出力手段２６、白線交点算出手段２８、走行状態等検出手段２９及びロール角算出手段３１に相当する。

次に、図４及び図５に基づき、マイクロコンピュータ１３が行う白線検出のための処理手順を説明する。
先ずステップＳ１において、各種パラメータの初期設定を行う。
（１）先ず、道路形状や車両挙動を表すパラメータ（以下、単に道路パラメータとも言う。）を初期設定する。
ここで、図６に示すような画面座標系ｘ−ｙを有する撮像画像内の白線４３をモデル化して、そのモデル化した白線（白線モデル）４１を、道路パラメータを用いて下記（１）式により画面座標系ｘ−ｙにおける数式として表す。
ｘ＝（ａ＋ｉｅ）（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ ・・・（１）

この（１）式において、ａ乃至ｅは道路パラメータであり、路面からのカメラ１１の高さを一定とすると、それぞれの道路パラメータを次のような道路及び白線の形状又は車両挙動を表す。
すなわち、ａは走行車線内の自車両の横偏位、ｂは道路の曲率、ｃは自車両（カメラ１１の光軸）の道路に対するヨー角、ｄは自車両（カメラ１１の光軸）の走行路に対するピッチ角、ｅは車線幅をそれぞれ表す。

ちなみに、初期状態においては道路及び白線の形状や車両挙動が不明であるから、各道路パラメータには、例えば中央値に相当する値を初期値として設定する。すなわち、車線内の横偏位（位置）ａには車線中央を設定し、車線に対するヨー角ｃにはカメラ１１のヨー角βを設定する。また、走行路に対するピッチ角αには停止状態のピッチ角を設定し、車線幅ｅには道路構造令に示される高速道路の車線幅を設定する。
なお、センサ１５で検出される車両の挙動を示す値に基づいて道路パラメータを初期設定しても良い。例えば、初期状態においてステアリングが右又は左に転舵されているような場合には、操舵角に応じた曲率の道路を走行していると判断してパラメータｂに操舵角に応じた値を設定しても良い。

（２）次に、後述のステップＳ２１でロール角の推定に用いる直線モデルのパラメータを初期設定する。
図７に示すように、直線モデル５１は、撮像画像内において特定の一対の左右区分線（同図内に示す点線）について遠方で形成される交点５２の集合の特性（例えば地平線に相当するもの）を示すモデルであり、下記（２）式により画面座標系ｘ−ｙにおける直線近似式として示される。
ｙ＝ｇｘ＋ｈ ・・・（２）
ここで、パラメータｇは、撮像画像の画面座標系ｘ−ｙに対する直線モデル５１の傾きを示し、すなわち道路に対する直線モデル１５のロール角を表すものとなる。また、パラメータｈは、画面座標系ｘ−ｙにおいて直線モデル５１の切片を示すものとなる。

そして、このように定義されるパラメータｇは、初期状態においては道路に対するカメラ１１のロール角が不明であるとして、中央値に相当する値を初期値として設定される。すなわち例えば、パラメータｇは、カメラ１１と走行路面が平行であることを表すロール角γ＝０が初期設定される。また、パラメータｈも、初期状態においては道路に対するカメラ１１のピッチ角が不明であるとして、中央値に相当する値を初期値として設定される。すなわち例えば、パラメータｈは、車両が停止状態におけるカメラ１１のピッチ角αに基づいて初期設定する。

続いてステップＳ２において、図６に示すように、白線候補点を検出するための検出領域４２の初期設定を行う。初期状態においては、道路パラメータに初期値を設定した白線モデルと、実際の画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。図６に示す例では、左右の白線４３に６個ずつ、計１２個の白線候補点検出領域を設定している。

なお、前回の処理までに実際に形成されている白線４３が既に検出されている場合には、当該白線４３と白線モデル４１との差は小さいと考えられるので、なるべく小さな領域を設定する方が白線４３以外のものを誤検出する可能性が低くなり、しかも処理速度も短縮できるので好ましい。
続いてステップＳ３において、カメラ１１により撮像され、画像処理装置１２で処理された画像を入力する。そして、続くステップＳ４において、入力した道路画像上に白線候補点の検出領域を設定する。このとき、前記ステップＳ２又は後述するステップＳ２５で設定した白線候補点検出領域と、前記ステップＳ１又は後述するステップＳ１２、ステップＳ１４及びステップＳ１５で算出した道路パラメータによる白線モデルとに基づいて、前回の処理で求めた白線モデルが領域の中心になるように、白線候補点検出領域を設定する。

なお、過去の白線モデルの変化の様子から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしても良い。
続いてステップＳ５において、前述のように設定された白線候補点検出領域において白線候補点の検出を行う。
この白線候補点の検出は、まず入力画像をソーベルフィルタなどを通すことで微分画像を生成する。
次に、白線候補点検出領域の上底の一点と下底の一点とを結んでできる全ての線分に対し、その線分上の画素の濃度が所定値以上の画素の数を計測する。さらに全ての線分の中で濃度が所定値以上の画素が最も多い線分を検出直線とし、その線分の始点（画像中において白線候補点検出領域の上底の１点）の座標値を白線候補点の出力値とする。

このとき、検出された直線上の所定値以上の濃度の画素数が、白線候補点検出領域の長さに対する所定の割合よりも少ない場合には白線候補点が検出されなかったものとみなす。例えば、白線候補点検出領域の長さが１５画素で、所定値以上の濃度の画素が１／２以上（すなわち８画素以上）検出されたら、白線候補点が検出されたとする白線候補点検出領域においては、所定値以上の濃度の画素数が最も多い線分上における画素数が７画素以下の場合は、その白線候補点検出領域において白線候補点が検出されなかったものとみなす。一方、９画素の場合は白線候補点が検出されたものとし、その線分の始点（画像中において白線候補点検出領域の上底の１点）の座標値を検出結果とし、そのときの終点（画像中において白線候補点検出領域の下底の１点）の座標を記憶する。

以上の処理を順次遠方から近場へ向けて、全ての白線候補点検出領域について実行する。このとき、白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する上記所定の割合は、全ての白線候補点検出領域に対して同一の値としても良いし、或いは白線候補点検出領域毎に設定しても良い。また、前記濃度の所定値も、全ての白線候補点検出領域に対して同一の値としても良いし、或いは白線候補点検出領域毎に設定しても良い。

なお、本例では、白線候補点の出力結果として白線候補点検出領域における上底の座標を用いるとともに、白線候補点検出領域の処理の順序を遠方から近場に向けて行っているが、本発明はこれに限定されることはなく、例えば白線候補点の出力結果として検出領域の下底の座標を用いても良いし、また検出領域の処理順序は近場から遠方へ行っても良い。

続いてステップＳ６において、全ての白線候補点検出領域で検出した白線候補点の点数が所定値以上かどうかを確認し、所定値より少なければ白線候補点検出領域内に道路白線が含まれていなかったと判断し、前記ステップＳ２へ戻って白線候補点検出領域を初期設定する。一方、白線候補点が所定値以上検出された場合にはステップＳ７へ進む。
なお、前記ステップＳ２〜ステップＳ６の処理は、撮像手段で撮像した画像内から一対の車線区分線を検出する検出手段を実現している。

ステップＳ７では、検出した白線候補点と前回の処理で求められた白線モデル上の点とのずれ量を各点毎に算出する。
続いてステップＳ８では、各点のずれ量に基づいて道路パラメータの変動量Δａ〜Δｅを算出する。この変動量の算出方法は、例えば特開平８−５３８８号公報に開示された方法などを用いることができる。

続いてステップＳ９において、算出された道路パラメータの変動量Δａ〜Δｅにより道路パラメータａ〜ｅを補正する。例えば、前記（１）式に示す白線モデルの場合には、下記（３）式により道路パラメータａ〜ｅを補正する。
ａ＝ａ＋Δａ，ｂ＝ｂ＋Δｂ，ｃ＝ｃ＋Δｃ，ｄ＝ｄ＋Δｄ，ｅ＝ｅ＋Δｅ ・・・（３）
続いてステップＳ１０において、道路パラメータの中で道路形状を表すパラメータが正常か否かを確認し、正常でない場合にはステップＳ１４へ進んで道路形状を表すパラメータを初期化する。

前記（１）式で表される白線モデルにあっては、パラメータｂが道路曲率、パラメータｅが車線幅をそれぞれ反映する。したがって、パラメータｂから推定される道路曲率が、センサ１５で検出した車両挙動検出値から判断して、現在走行している道路ではあり得ない曲率になった場合にはパラメータｂを初期化する。同様に、パラメータｅから推定される車線幅が、センサ１５で検出した車両挙動検出値から判断して、現在走行している道路ではあり得ない車線幅になった場合にはパラメータｅを初期化する。

道路形状を表すパラメータが正常である場合は、ステップＳ１１へ進み、今度は車両挙動を表すパラメータが正常であるかどうかを確認し、正常でない場合にはステップＳ１５へ進んで車両挙動を表すパラメータを初期化する。
前記（１）式で表される白線モデルにあっては、パラメータａが車線内の横偏位、パラメータｃが路面に対するヨー角、パラメータｄが路面に対するピッチ角をそれぞれ反映する。したがって、パラメータａから推定される横偏位が、道路曲率の推定値或いはセンサ１５による車両挙動検出値から判断して、現在走行している道路ではあり得ない横偏位になった場合にはパラメータａを初期化する。同様に、パラメータｃから推定されるヨー角が、道路曲率の推定値或いはセンサ１５による車両挙動検出値から判断して、現在走行している道路ではあり得ない角度になった場合にはパラメータｃを初期化する。また、パラメータｄから推定されるピッチ角が、センサ１５による車両挙動検出値から判断して、現在走行している道路ではあり得ない角度になった場合にはパラメータｄを初期化する。

車両挙動を表すパラメータが正常である場合は、ステップＳ１２へ進み、前記ステップＳ９にて補正した道路パラメータａ〜ｅを新たな白線モデルの道路パラメータとしてメモリ１４に記憶する。
続いてステップＳ１３において、新しい道路パラメータにより道路形状を推定し、車両制御装置１、警報装置２に出力する。
続いて図５に示すステップＳ１６において、自車両にヨーレイトが発生しているか否かを判定する。具体的には、車線（特に現在走行位置の車線）の曲率が所定値（実験値や経験値等）以下であり、かつセンサ１５により検出したヨーレートが所定値（実験値や経験値等）以下であるか否かを判定する。ここで、これを満たす場合、ステップＳ１７に進み、それ以外の場合、ステップＳ２４に進む。

ステップＳ１７では、自車両が加減速しているか否かを判定する。具体的には、自車両の加減速度（絶対値）が所定値（実験値や経験値等）未満か否かを判定する。ここで、自車両の加減速度が所定値未満の場合、ステップＳ１８に進み、自車両の加減速度が所定値以上の場合の場合、ステップＳ２４に進む。
ステップＳ１８では、左右白線の交点の座標値の学習（取得）が可能か否かを判定する。具体的には、自車両が走行している道路が直線路で、かつ当該直線路内の中央付近の所定領域内を所定時間以上継続して走行しているかを判定する。ここで、これを満たす場合、ステップＳ１９に進み、それ以外の場合、ステップＳ２４に進む。
なお、前記ステップＳ１６〜ステップＳ１８の処理は、マイクロコンピュータ１３の走行状態等検出手段２９の機能により実現されている。

ステップＳ１９では左右白線の交点の座標値を学習（格納許可）する。
ここで、左右白線の交点は、図６に示すように、撮像画像内で左右の白線を結んで得られる交点（以下、白線交点という。）４４である。この白線交点４４は、例えば、車線内を自車両が左右方向に移動した場合、この自車両の移動に対応して撮像画像内を左右に移動するようになる。すなわち、自車両が車線内を右側に移動すれば、白線交点４４は、撮像画像内を左側に移動し、自車両が車線内を左側に移動すれば、白線交点４４は、撮像画像内を右側に移動する。

そして、このステップＳ１７では、自車両の現在走行位置でカメラ１１から得た撮像画像から、そのような白線交点４４の座標値（ｘ_ｉ，ｙ_ｉ）（ｉは任意の整数）を取得して、それをメモリ１４に格納する。
なお、ここでいう白線交点は、撮像画像から左右白線の交点として直接検出できるものの他に、自車両の近傍（例えば自車両の直前）の左右白線部分から推定して得ることができる交点も含めるものとする。すなわち、撮像画像中から交点を直接検出できない場合もあるから、このような場合には、自車両の近傍（例えば自車両の直前）の左右白線部分に基づいて遠方に延びる仮想線を想定し、その仮想線について交点を推定する。

また、メモリ１４に白線交点の座標値（ｘ_ｉ，ｙ_ｉ）を新たに格納する条件として、そのｙ座標値ｙ_ｉが、既にメモリ１４に格納されている白線交点４４のｙ座標値ｙ_ｉにない場合、当該白線交点の座標値（ｘ_ｉ，ｙ_ｉ）を新たに格納するようにしても良い。
また、このステップＳ１９の処理は、交点算出手段、すなわちマイクロコンピュータ１３の交点座標算出手段２８の機能、及びメモリ１４の白線交点座標記憶手段３０の機能により実現されている。

続いてステップＳ２０において、カメラ１１のロール角（ロール方向へのずれ角）を算出するか否かを判定する。具体的には、メモリ１４に格納されている前記白線交点の座標値（以下、白線交点座標値という。）の数が所定数以上か否かを判定する。ここで、白線交点座標値の数が所定数以上の場合、カメラ１１のロール角を算出するとして、ステップＳ２１に進み、白線交点座標値の数が所定数未満の場合、カメラ１１のロール角を未だ算出しないとして、ステップＳ２４に進む。

ステップＳ２１では、メモリ１４に格納されている白線交点座標値に基づいてカメラ１１のロール角（推定値）を算出する。
具体的には、その算出には、前記（２）式の直線モデル（地平線モデル）を用いることとし、メモリ１４に格納されている複数の白線交差点座標値（ｘ_１，ｙ_１），（ｘ_２，ｙ_２），・・・，（ｘ_ｎ，ｙ_ｎ）（ここで、ｎは前記所定値になる。）に基づいて（例えば最小二乗法を利用して）、下記（４）式により直線モデルのパラメータｇ、ｈを算出する。

続いてステップＳ２２において、前記ステップＳ２１で算出したカメラ１１のロール角による補正が可能か否かを判定する。具体的には、直線モデルのパラメータ（傾き）ｇの絶対値が所定値以下か否かで判定する。ここで、直線モデルのパラメータｇの絶対値が所定値以下の場合、カメラ１１のロール角を補正するものとして、ステップＳ２３に進み、直線モデルのパラメータｇの絶対値が所定値よりも大きい場合、カメラ１１のロール角を補正しないとして、ステップＳ２４に進む。

ここで、直線モデルのパラメータ（傾き）ｇの絶対値が所定値以上である場合には、当該直線モデルの誤差が大きいと推測してステップＳ２４に進むようにすることで、カメラ１１のロール角を補正する条件を、直線モデルのパラメータ（傾き）ｇの絶対値が所定値以下の場合に限定している。
なお、前記ステップＳ２０〜ステップＳ２２の処理は、マイクロコンピュータ１３のロール角算出手段３１の機能により実現されている。

ステップＳ２３では、カメラ１１のロール角の補正を行う。具体的には、撮像画像に用いる画面座標系ｘ−ｙを直線モデルの前記パラメータｇだけ回転（同一方向に回転）させる。また、このとき、自車両が左右白線に対して平行に走行している場合を条件として、そのときに得られる撮像画像内の左右白線に基づく消失点（最新の消失点）を中心に、画面座標系ｘ−ｙを前記パラメータｇだけ回転させる。

すなわち、この補正以降の撮像画像で得られる白線交点に基づいて前記直線モデルを得た場合に、その直線モデルのパラメータ（傾き）ｇが０になるように、撮像画像の処理に用いる画面座標系ｘ−ｙの状態（ロール方向の傾き）を補正する。
このような画面座標系ｘ−ｙの状態（ロール方向の傾き）の補正により、この補正以降の処理は、当該補正された画面座標系ｘ−ｙを基準に白線候補点検出等の処理がなされるようになる。
なお、このステップＳ２３の処理は、補正手段、すなわち、マイクロコンピュータ１３の座標変換手段２２の機能により実現されている。

ステップＳ２４では、今回の処理（前記画面座標系ｘ−ｙを回転補正した後の処理）における白線候補点検出領域の大きさが最適か否かを判定する。具体的には、今回の処理における白線候補点検出領域が前記ステップＳ２で設定された初期値か否を判定する。ここで、今回の処理における白線候補点検出領域が前記ステップＳ２で設定された初期値の場合、当該今回の処理における白線候補点検出領域の大きさが最適でないとして、ステップＳ２５に進み、今回の処理における白線候補点検出領域が前記ステップＳ２で設定された初期値でない場合、当該今回の処理における白線候補点検出領域の大きさが最適であるとして、前記ステップＳ３からの処理を開始する。

ステップＳ２５では、白線候補点検出領域を最適化する。前述したように、白線候補点検出領域は、できる限り小さい領域になるように設定する方が白線以外のものを誤検出する可能性が低くなり、これにより、処理速度を向上させることができるので、このステップＳ２５では、できる限り小さい領域になるように白線候補点検出領域を最適化する。

以上のように白線検出処理を行っており、この処理中、特に、カメラ１１のロール方向のずれの検出及び補正の処理として、自車両が直線路（特に現在走行位置が直線路）を走行し、かつ自車両にヨーレイトが発生してなく（前記ステップＳ１６）、また、自車両が加減速してなく（前記ステップＳ１７）、さらに、自車両が走行している道路が直線路で、かつ当該直線路内の中央付近の所定領域内を所定時間以上継続して自車両が走行している場合（前記ステップＳ１８）、白線交点座標値をメモリ１４に格納する（前記ステップＳ１９）。そして、所定数の白線交点座標値がメモリ１４に格納されたタイミングで、直線モデル、特にそのパラメータ（傾き）ｇを算出する（前記ステップＳ２０、ステップＳ２１）。そして、そのパラメータ（傾き）ｇに基づいて、カメラ１１のロール方向の傾きを補正する。具体的には、カメラ１１の撮像画像の処理に用いる画面座標系ｘ−ｙについて、パラメータ（傾き）ｇを用いて補正する。

次に前記実施形態における効果を説明する。
前述したように、カメラ１１により得た撮像画像内で左右白線について自車両から遠方で形成される白線交点を取得するとともに、その白線交点を自車両が車線内で左右方向に移動した際に得た撮像画像それぞれについて取得している（前記ステップＳ１９）。そして、その取得した複数の白線交点の位置から、その白線交点の特性を示すものとして直線モデル（直線近似式）を算出し（前記ステップＳ２０、ステップＳ２１）、撮像画像に対する当該直線モデルのパラメータ（傾き）ｇに基づいて、カメラ１１のロール方向の傾きを補正している（前記ステップＳ２２、ステップＳ２３）。

ここで、カメラ１１にロール方向でずれが生じている場合、自車両が車線内で横方向に移動した各位置で得られる白線交点を、撮像画像中、当該移動した各位置に応じて異なる高さ位置として検出できる。例えば、カメラ１１が車両進行方向に向かって時計回りのロール方向にずれている場合、白線交点は、撮像画像中、右側にあるほど高い位置にあるものとして検出できる。この結果、カメラ１１にロール方向でずれが生じている場合、前記移動した各位置で得られる複数の白線交点の位置について直線近似式を得ると、その直線近似式は、撮像画像に対してある傾きを持つようになる。例えば、カメラ１１が車両進行方向に向かって時計回りのロール方向にずれていれば、図７に示すように、前記複数の白線交点５２の位置についての直線近似式は、撮像画像に対して右上がりの傾きを持つようになる。

本発明では、以上のような特性を発見して、この特性を利用するものであり、複数の撮像画像それぞれから検出した白線交点の位置の直線モデルの傾きからカメラ１１のロール方向のずれを検出し、さらには、その検出結果に基づいて、カメラ１１のロール方向のずれを補正するものである。
また、前述したように、自車両が走行する車線（特に現在走行位置の車線）の曲率が所定値以下で、かつ車両のヨーレイトが所定値以下の場合を、直線モデルの算出に用いる白線交点の学習（取得）条件としている（前記ステップＳ１６参照）。

例えば、自車両が曲線路を走行している場合、自車両にヨーレイトが発生するので、この結果、自車両にはロールが発生することになる。このように自車両にロールが発生してしまうと、その結果、撮像画像中の白線交点の位置も当該自車両に発生しているロールの影響を受けてしまう。このようなことから、自車両が直線路を走行している場合や自車両のヨーレイトが所定値以下の場合を白線交点の学習（取得）条件とすることで、精度よくカメラ１１のロール方向のずれを検出するようにしている。

また、前述したように、自車両が加減速していないことを、直線モデルの算出に用いる白線交点の学習（取得）条件としている（前記ステップＳ１７参照）。
例えば、自車両が加減速している場合、自車両にピッチが発生してしまい、その結果、撮像画像中の白線交点の位置も当該自車両に発生しているピッチの影響を受けて、撮像画像中の白線交点が縦方向で移動してしまう。このようなことから、自車両が加減速している場合を白線交点の学習（取得）条件とすることで、精度よくカメラ１１のロール方向のずれを検出するようにしている。

また、前述したように、自車両が走行している道路が直線路で、かつ当該直線路内の中央付近の所定領域内を所定時間以上継続して走行している場合を、直線モデルの算出に用いる白線交点の学習（取得）条件としている（前記ステップＳ１８参照）。
例えば、自車両が走行している道路が曲線路であったり、直線路であったとしてもその直線路内の端寄りを走行していたりすると、撮像画像に基づく白線の特定が困難になってしまい、その結果、白線交点を精度よく特定することが困難となる。このようなことから、自車両が走行している道路が直線路で、かつ当該直線路内の左右白線内の中央付近の所定領域内を所定時間以上継続して走行している場合を白線交点の学習（取得）条件とすることで、精度よくカメラ１１のロール方向のずれを検出するようにしている。

また、前述したように、メモリ１４に白線交点座標値（ｘ_ｉ，ｙ_ｉ）を新たに格納する条件として、そのｙ座標値ｙ_ｉが、既にメモリ１４に格納されている白線交点４４のｙ座標値ｙ_ｉにない場合、当該白線交点座標値（ｘ_ｉ，ｙ_ｉ）を新たに格納することとしている。この結果、自車両が左右白線内で左右方向に移動した際に得られている撮像画像を選別して、当該選別した撮像画像中の白線交点座標値（ｘ_ｉ，ｙ_ｉ）をメモリ１４に格納している。これにより、直線モデルを算出するのに最適な標本を多く得ることができるようになる。

以上、本発明の実施形態を説明した。しかし、本発明は、前記実施形態として実現されることに限定されるものではない。
すなわち、前記実施形態では、白線交点を学習（取得）する条件として、自車両が直線路を走行していることを条件としている。しかし、これに限定されるものではない。すなわち、直接的な条件として、自車両にロールが発生していないことを条件としても良い。この場合、自車両に設けたロール角センサにより車両に発生しているロールを検出する。

また、前記実施の形態では、白線交点を得る左右白線が図６に示すように１車線の走路上に形成されている場合について説明している。しかし、これに限定されるものではない。すなわち、本発明は、その趣旨から、撮像画像内から一対の車線区分線を特定することが前提となるため、道路上に形成されているものとして特定可能な一対の車線区分線であれば良い。例えば、中央線を有する対向２車線の道路であれば、当該道路の両端に形成されている車線区分線を特定の一対の車線区分線とし、当該一対の車線区分線に基づいて交点を得るようにしても良い。また、隣接車線のものとして形成されている一対の車線区分線に基づいて交点を得るようにしても良い。また、このようなことから、交点を得るための車線区分線内を自車両が必ずしも走行していることは条件とされない。

本発明に係る撮像装置のずれ検出方法及び撮像装置のずれ補正方法を適用した白線検出装置の実施形態を示すブロック図である。 前記白線検出装置を機能的に表現したブロック図である。 カメラの取り付け位置を示す図である。 前記実施形態における動作順序を示す前半のフローチャートである。 前記実施形態における動作順序を示す後半のフローチャートである。 白線交点、白線モデル及び白線候補点検出領域を示す図である。 直線モデル（直線近似式）の説明に使用した図である。

符号の説明

１０ 位置検出装置
１１ カメラ
１３ マイクロコンピュータ
１４ メモリ
２１ 撮像手段
２２ 座標変換手段
２８ 白線交点算出手段
２９ 走行状態等検出手段
３０ 白線交点座標記憶手段
３１ ロール角算出手段
４４ 白線交点
５１ 直線モデル

Claims (9)

1. 自車両前方を撮像するように取り付けられた車載の撮像装置のロール方向のずれを検出する撮像装置のずれ検出方法であって、
   前記撮像装置により得た撮像画像内で特定した一対の車線区分線について自車両から遠方で形成される交点を取得するとともに、当該交点を当該自車両が車線内で左右方向に移動した際に得た前記撮像画像それぞれについて取得し、前記取得した複数の交点の位置から直線近似式を算出し、前記撮像画像に対する当該直線近似式の傾きに基づいて、前記撮像装置のロール方向の傾きを検出することを特徴とする撮像装置のずれ検出方法。
2. 前記自車両にロール方向への傾きが生じていない場合に前記撮像装置により得た撮像画像から取得した前記交点に基づいて、前記直線近似式の算出を行うことを特徴とする請求項１記載の撮像装置のずれ検出方法。
3. 前記自車両が直線路を走行中に前記撮像装置により得た撮像画像から取得した前記交点に基づいて、前記直線近似式の算出を行うことを特徴とする請求項１又は２に記載の撮像装置のずれ検出方法。
4. 前記自車両にヨーレイトが発生していない場合に前記撮像装置により得た撮像画像から取得した前記交点に基づいて、前記直線近似式の算出を行うことを特徴とする請求項１乃至３の何れか１項に記載の撮像装置のずれ検出方法。
5. 前記自車両が加減速していない場合に前記撮像装置により得た撮像画像から取得した前記交点に基づいて、前記直線近似式の算出を行うことを特徴とする請求項１乃至４の何れか１項に記載の撮像装置のずれ検出方法。
6. 所定数以上の前記交点に基づいて、前記直線近似式を算出していることを特徴とする請求項１乃至５の何れか１項に記載の撮像装置のずれ検出方法。
7. 前記請求項１乃至６の何れか１項に記載の撮像装置のずれ検出方法で検出したロール方向の傾きが水平になるように、前記撮像装置又はその撮像画像を調整することで、当該撮像装置のロール方向の傾きを補正することを特徴とする撮像装置のずれ補正方法。
8. 自車両前方を撮像するように取り付けられた車載の撮像装置であって、
   車両の進行方向を撮像する撮像手段と、前記撮像手段で撮像した画像内から一対の車線区分線を検出する検出手段と、前記一対の車線区分線について自車両から遠方で形成される交点を算出する交点算出手段と、自車両の走行中に得られる複数の交点の位置情報に基づいて前記撮像手段のロール方向の傾きを算出するロール角算出手段と、を備えたことを特徴とする撮像装置。
9. 前記ロール角検出手段で得られたロール角に基づいて、前記撮像手段又は前記撮像手段で撮像した画像を調整することで前記ロール角が水平となるように補正する補正手段をさらに有することを特徴とする請求項８記載の撮像装置。

Images