JP2005165972A - 車線逸脱防止装置 - Google Patents

Abstract

【課題】 ドライバに違和感を与えることなく適切なタイミングで車線逸脱を検知する。
【解決手段】 自車両前方を撮像する前方カメラ１と自車両後方の自車両近傍の鉛直真下方向の走行路を撮像する後方カメラ２とを設け、後方カメラ２の撮像画像に基づいて車線幅Ｗを検出する。この後方カメラ２の撮像画像に基づいて検出した車線幅Ｗを、前方カメラ１の撮像画像に基づいて検出した前回の道路パラメータとして、前方カメラ１の撮像画像に基づいて道路白線を検出し、白線モデルを決定するための各種道路パラメータを算出する。後方カメラ２は、車両のピッチング運動等の影響を受けにくいように配設されているから、前方カメラ１に比較してより高精度に車線幅Ｗを算出することができる。よって、この車線幅Ｗを用いて、前方カメラ１の撮像画像に基づく道路パラメータを算出することにより、より高精度に道路パラメータを算出することができる。
【選択図】 図３

Description

本発明は、自車両が走行車線から逸脱しそうな傾向にあるかどうかを検出するようにした車線逸脱防止装置に関するものである。

従来、自車両が走行車線から逸脱しそうな傾向にあるかどうかを検出するようにした車線逸脱防止装置として数々のものが提案されている。
例えば、自車両が走行車線から逸脱しそうな状態にあることを検出したときには、走行車線の基準位置から自車両の走行位置までの横ずれ量に応じてドライバが容易に打ち勝つことの可能な程度の操舵制御トルクを操舵アクチュエータにより出力することで車線逸脱を防止するようにしたもの（例えば、特許文献１参照）、或いは、ドライバの不注意などによって車両が走行車線から逸脱すると判定されるときに、警報を発すること等によってドライバに通知することで、ドライバに注意を促すようにしたもの等が提案されている（例えば、特許文献２参照）。

このような車線逸脱防止装置は、例えば、走行路面上における走行車線の両側部を仕切る各種の境界線を撮像する撮像装置と、この撮像装置で撮像した画像を処理して走行車線内における自車両の道路に対するヨー角を求めるヨー角検出装置と、撮像装置から前方道路曲率を推定する装置と、走行車線に対する自車両のヨー角の方向（正負）とをもとに、自車両が上記境界線を横切って走行車線から逸脱するか、或いはその可能性があると判定されるときに、これをドライバに通知する報知装置等とで構成されている。

したがって、この種の装置によれば、ドライバが無意識のうちに車両が走行車線を逸脱して隣接車線を走行する車両や走行車線外の障害物と接触する等の事態が未然に回避され、これによって、車両の走行安全性を向上させるようになっている。
特開平１１−９６４９７号公報 特開２００２−１９３０５５号公報

しかしながら、上記従来のように、撮像装置を用いて車線からの逸脱を予測するようにした車線逸脱防止装置にあっては、車両の姿勢変化や走行車線の車線幅の変化の影響等に起因して、推定される車両状態に誤差が生じるという問題がある。つまり、例えば乗員の体重や、荷物の重量等によって地面から撮像装置の設置位置までの高さが変化した場合、同じ道路を走行した場合であっても撮像装置に投影された画像には差が生じる。したがって、車両位置や、道路形状の推定値に誤差が生じることになり、このため、車線幅の異なる道路を走行したり、荷物をたくさん積み込んで走行したりした場合等には、前記推定誤差に起因して、逸脱警報を発生するタイミングがずれる場合があり、ドライバに違和感を与えてしまう場合があるという問題がある。
そこで、この発明は上記従来の未解決の問題に着目してなされたものであり、ドライバに違和感を与えることなく、適切なタイミングで逸脱通知を行うことの可能な車線逸脱防止装置を提供することを目的としている。

上記目的を達成するために、本発明に係る車線逸脱防止装置は、車両前方を撮像する前方撮像手段で撮像した前方撮像画像に基づいて走行車線における自車両の走行状態を推定し、これに基づいて自車両が車線逸脱傾向にあるかどうかを検出する。このとき、自車両近傍の走行路を撮像する自車近傍撮像手段で撮像した近傍撮像画像に基づいて自車近傍における自車両の走行状態を推定し、この近傍撮像画像に基づく自車両の走行状態を用いて前記前方撮像画像に基づく走行状態の推定を行う。ここで、自車近傍撮像手段では、自車両近傍の走行路を撮像するようにしているから、例えばこの近傍撮像画像から得られる走行路の車線幅は、車両のピッチング運動等の状態変化の影響をうけにくく、前方撮像手段で撮像される前方撮像画像から得られる車線幅に比較してより高精度に検出することができる。したがって、自車近傍撮像手段の近傍撮像画像から得られる車線幅を用いて、前方撮像手段の前方撮像画像から走行状態を推定することでより高精度に走行状態を推定することができ、すなわち、より的確な逸脱判断を行うことが可能となる。

本発明に係る車線逸脱防止装置は、自車近傍撮像手段で撮像した自車両近傍の走行路の近傍撮像画像から自車両の走行状態を検出し、この自車両の走行状態を用いて前方撮像画像に基づいて走行状態を推定するようにしたから、前方撮像画像に基づき検出した走行状態の精度不足分を、近傍撮像画像に基づき検出した走行状態によって補うことにより、車両状態をより高精度に検出することができる。

以下、本発明の実施の形態を説明する。
図１は、本発明における車線逸脱防止装置の一例を示す概略構成図である。
図中、１は自車両前方を撮像するための前方カメラ、２は自車両後方を撮像するための後方カメラであって、前方カメラ１及び後方カメラ２は、例えばＣＣＤカメラ等で構成されている。
そして、図２に示すように、前記前方カメラ１は、車室内のフロントウィンドウの上部に配設されている。なお、図２において（ａ）は車線逸脱防止装置を搭載した車両２０の上面図、（ｂ）は側面図である。

そして、前記前方カメラ１は、そのレンズの光軸と車両中心線とのヨー角が零となり、且つ、レンズの光軸と車両中心線とのピッチ角が所定角度αｆとなるように配設され、車両２０の前方の数〔ｍ〕から数十〔ｍ〕先の走行路面を撮像するようになっている。なお、前方カメラ１は、車両の将来の走行軌跡を適切に予測する必要があるため、なるべく車両前方が広く撮像範囲に入るように前方カメラ１の光軸を地面に対して水平に近い角度で取り付けられていることが望ましい。すなわち前方カメラ１のピッチ角ηが十分小さい値となるように取り付けられていることが望ましい。

一方、前記後方カメラ２は、図２に示すように、車幅方向中央位置であって、車室内のリヤトランク部にレンズの光軸と車両中心線とのヨー角が零となり、且つレンズの光軸と車両中心線とのピッチ角が所定角度となるように配設され、車両２０の後方の数〔ｍ〕以内の走行路面を撮像するようになっている。さらに後方カメラ２は、撮像可能な範囲で車両２０の最近傍位置を撮像範囲に含むように取り付けられ、つまり、後方カメラ２の鉛直真下方向が常に撮像されるように配設されている。

そして、これら前方カメラ１及び後方カメラ２で撮像された撮像情報は画像処理装置３に入力され、この画像処理装置３では、前方カメラ１及び後方カメラ２からの撮像情報に基づいて自車両と走行中の走行路上の車線区分線との相対的な位置関係を検出する。具体的には、前方カメラ１及び後方カメラ２の撮像情報それぞれに基づいて走行路上の道路白線、すなわち車線区分線を検出し、道路形状と車両挙動を表す複数のパラメータ（以後、道路パラメータという。）を用いて道路白線の形状を数学的に表した白線モデルと道路白線の検出結果とが一致するように各種道路パラメータを時間と共に更新していくことによって、道路白線を検出して道路形状及び車両挙動を推定する。

ここで、前記道路パラメータとしては、車線中心線に対する自車両の重心点横変位ｙcr、車線中心線に対する自車両のヨー角φｒ、車両のピッチ角η、前方カメラ１又は後方カメラ２の路面からの高さｈ、道路曲率（曲率半径の逆数）ρ、走行車線の車線幅Ｗ等があり、画像処理装置３は、これら道路パラメータを推定し、制御コントローラ１０に出力する。

また、車両の適所には、車速センサ４及び操舵角センサ５が配設され、これらセンサの検出信号は前記制御コントローラ１０に出力される。前記車速センサ４は、図示しない変速機の出力側の回転数や、車輪の回転数を計測すること等により車両の走行速度Ｖを検出する。また、ドライバの操舵状況を検出するための前記操舵角センサ５は、図示しないステアリングホイールと一体に回転するステアリングシャフトの回転変位を直接、又はギヤ機構によって増幅した後、ロータリエンコーダやポテンショメータ等の角度検出機構によって操舵角検出信号として検出する。

そして、前記制御コントローラ１０では、車速センサ４及び操舵角センサ５からの検出信号及び画像処理装置３からの各種道路パラメータをもとに、所定時間経過後の自車両の走行車線からの逸脱傾向を予測し、自車両が車線逸脱する可能性が高いと判定されるときには、警報装置６を作動させる。この警報装置器６は、例えばブザーやオーディオ装置等により音声を発することによって聴覚的にドライバに注意を促すもの、また、操舵アクチュエータにより図示しないステアリングシャフトを振動させる等のように触覚的にドライバに注意を促すもの、また、メータ表示装置等のように、警報表示を行うことによって視覚的にドライバに注意を促すもの等で構成されている。

さらに制御コントローラ１０では自車両の車線逸脱傾向の度合が高いと判断される場合や、警報装置６によって警報を発しているにも関わらず、自車両が走行車線を逸脱してしまった場合に、自車両の走行車線からの逸脱を抑制するための逸脱防止制御装置７を駆動制御する。
この逸脱防止制御装置７は、車線逸脱傾向にある自車両の運動状態を修正するための制御装置であって、例えば、ドライバの操舵操作に関わらずステアリングシャフトを回転させることの可能な公知の補助操舵機構、及びこれを制御する制御装置を含んで構成され、制御コントローラ１０からの制御信号に応じて車線逸脱を抑制するために必要な操舵トルクを算出し、この操舵補助トルクを発生するよう補助操舵機構を駆動制御し、ステアリングシャフトの回転角度を調整することによって車両の運動状態を車線からの逸脱量が小さくなる方向に修正するようになっている。

なお、ここでは、ステアリングシャフトを回転制御することによって車線逸脱を防止する方向に制御するようにした場合について説明したが、これに限るものではなく、例えば前記逸脱防止制御装置７を、左右の制動力の配分を調整することの可能な公知の制動力制御回路を含んで構成し、制御コントローラ１０からの制御信号に応じて、左右の制動力配分を調整することで車両にヨーモーメントを発生させ、これによって、車両の運動状態を車線からの逸脱量が小さくなる方向に修正するようにしてもよい。

このように、この車線逸脱防止装置は、所定時間経過後の自車両の車線逸脱傾向の予測結果に基づいて自車両の走行状況を監視し、ドライバの不注意等で車両が走行車線から逸脱しそうな場合には、ドライバに対して視覚上、聴覚上、触覚上の警報を与えて走行車線からの逸脱回避操作を促すと共に、走行車線からの逸脱量が大きくなりすぎないように車両の運動状態を修正して車両の車線逸脱を防止するようにしている。

図３は、前記画像処理装置３で実行される、前方カメラ１からの撮像情報に基づいて道路白線を検出する場合の前方道路白線認識処理の処理手順の一例を示すフローチャートである。なお、画像処理装置３では、この前方道路白線認識処理を予め設定された所定周期で実行する。
この前方道路白線認識処理は、基本的には公知の道路白線認識処理と同様であって、まず、ステップＳ１で道路形状や車両挙動を表す状態変数、つまり前記道路パラメータの初期設定を行う。なお、初期状態では、道路及び白線の形状や車両挙動が不明であるから、各道路パラメータとして、例えばその中央値に相当する値を初期値として設定する。

例えば、車線中心線に対する自車両の重心点横変位、つまり自車両の横変位量ｙcrとしては車線中央を設定し、車線中心線に対する自車両のヨー角φｒとしては零度、車両のピッチ角ηとしては停止状態のαｆ、前方カメラ１の路面からの高さｈとしては前方カメラ１の取り付け時の高さ、道路曲率（曲率半径の逆数）ρとしては直線、走行車線の車線幅Ｗとしては、道路構造令に示される高速道路の車線幅を設定する。

次いで、ステップＳ２に移行し、例えば、図４に示すように、白線候補点を検出するための小領域の大きさの初期設定を行う。ここで、初期状態においては、ステップＳ１の処理で各種道路パラメータに初期値を設定した場合の白線モデルと、実際の撮像画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。図４の場合には、左右の白線に対して５個ずつ、計１０個の白線候補点検出領域を設定する場合を表している。

なお、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられるので、例えば図５に示すように、白線モデルで特定される道路白線を含むできるだけ小さい領域を、白線候補点検出領域の大きさとして設定する。このように白線候補点検出領域をなるべく小さい領域に設定することで、道路白線以外のものを道路白線として誤検出することを回避し、処理速度を向上させるようになっている。
このようにして白線候補点検出領域を設定したならばステップＳ３に移行し、前方カメラ１により撮像された撮像画像を読み込む。

次いで、ステップＳ４に移行し、ステップＳ３で読み込んだ前方カメラ１からの撮像情報においてその道路画像上に白線候補点の検出領域を設定する。このとき、ステップＳ２で設定した白線候補点検出領域と、ステップＳ１又は後述のステップＳ９で設定した道路パラメータで特定される白線モデルとに基づいて、図６に示すように、前記白線モデルが、白線候補点検出領域の中心となるように道路画像上に白線候補点検出領域を設定する。図６の場合には、左右の道路白線に対して５個ずつ計１０個の白線候補点検出領域を設定している。なお、過去の白線モデルの変化状況から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしてもよい。

次いで、ステップＳ５に移行し、各白線候補点検出領域において白線候補点の検出を行う。この白線候補点の検出は、まず、前方カメラ１からの入力画像を、ｓｏｂｅｌフィルタ等を通すことにより微分画像を生成する。次に、白線候補点検出領域の上辺上の一点の画素と下辺上の一点の画素とを結んで形成される全ての線分に対して、図７に示すように、その線分上の画素の濃度が規定値以上である画素の数を計測する。

そして、全ての線分の中で、濃度が規定値以上の画素が最も多い線分を検出直線とし、その線分の始点の画素と終点の画素とを白線候補点とする。このとき、検出直線上の濃度の画素数が、白線候補点検出領域の長さに対する所定の割合よりも少ない場合には、白線候補点は検出されなかったものとみなす。つまり、例えば、白線候補点検出領域の長さが１５画素であって、濃度が規定値以上である画素がその半分、つまり、８画素以上検出されれば、白線候補点が検出されたとみなすようにした場合には、濃度が規定値以上である画素数が最も多い線分上における画素数が７画素未満の場合には、この白線候補点検出領域においては、白線候補点は検出されなかったものと判定する。逆に、濃度が規定値以上である画素数が最も多い線分上における画素数が９画素である場合には、白線候補点が検出されたものとみなし、この線分の始点及び終点を白線候補点として設定する。

以上の処理を各白線候補点検出領域に対して実行し、白線候補点検出領域毎に白線候補点を検出する。
なお、前記白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する濃度が規定値以上である画素数の割合は、全ての白線候補点検出領域に対して同一としてもよいし、或いは白線候補点検出領域毎に設定するようにしてもよい。
また、上記濃度の規定値も、全ての白線候補点検出領域に対して同一としてもよいし、白線候補点検出領域毎に設定するようにしてもよい。

次いで、ステップＳ６に移行し、全ての白線候補点検出領域で検出した白線候補点の点数が規定値以上かどうかを判定し、規定値よりも少ない場合には、今回の入力画像からは道路白線を検出することができなかったとしてステップＳ２に戻って、上述したように白線候補点検出領域を初期設定し、次の入力画像に対して同様に処理を行う。
一方、白線候補点が規定値以上検出された場合にはステップＳ７に移行し、図８に示すように、ステップＳ５で白線候補点検出領域毎に検出した白線候補点と、前回の処理で求めた白線モデル上の点とのずれ量を白線候補点毎に算出する。

具体的には、次の手順で算出する。
今、前方カメラ１に固定された実座標系Ｘ（左右方向）、Ｙ（上下方向）、Ｚ（前後方向）上の任意の点を画面座標系ｘ，ｙ上に投影すると、この点は次式（１）で表すことができる。
ｘ＝（−ｆ／Ｚ）・Ｘ
ｙ＝（−ｆ／Ｚ）・Ｙ
ただし、ｆはレンズパラメータであって、レンズの焦点距離に対応した係数である。
今、道路曲率ρがそれほど大きくなく、且つ道路面は平面であると仮定すると、Ｚ〔ｍ〕前方における車両中心線（カメラ中心線）に対する道路白線の座標は、次式（２）で表すことができる。なお、Ｘは横方向、Ｙは上下方向を表す。また、ηはピッチ角である。

なお、ここでは、簡略化のために道路曲率ρ及び道路面は平面であると仮定しているが、白線モデルの次数を大きくすることでより一般的な道路形状であっても成立するようになる。
Ｘ＝０．５×（Ｚ・cosη）²×ρ−Ｚ×cosηφｒ−ｙcr＋（０．５−ｉ）×Ｗ
Ｙ＝Ｚ×tanη−（ｈ／cosη） ……（２）
ただし、ｉは、左白線の場合には、ｉ＝０、右白線の場合にはｉ＝１である。
ここで、前記（１）及び（２）式から白線モデルを撮像画面上に投影した座標値は次式（３）で表される。
ｘ
＝[(ｙcr/ｈ)-(１-２ｉ)・Ｗ/２ｈ]・[ｙ+ｆη]+ｆφｒ-(０．５ｆ²ｈρ)/(ｙ+ｆη）
……（３）

そして、ステップＳ５で検出した白線候補点と、前回の処理で求めた道路パラメータを前記（３）式に代入して得られる撮像画面上に投影された白線モデルとのずれ量を各点毎に算出する。ここで、道路パラメータを、次式（４）とおくと、前記（３）式は次式（５）で表すことができる。
ａ＝ｙcr／ｈ、ｂ＝−０．５×ｆ²ｈρ、ｃ＝ｆφｒ
ｄ＝−ｆη、ｅ＝Ｗ／２ｈ ……（４）
ｘ＝（ａ−ｅ）・（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ （左）
ｘ＝（ａ＋ｅ）・（ｙ−ｄ）＋ｂ／（ｙ−ｄ）＋ｃ （右） ……（５）

そして、前記（５）式に基づいて白線候補点毎に白線モデルとのずれ量を算出したならば、ステップＳ８に移行し、各白線候補点のずれ量に基づいて各道路パラメータの変動量Δａ〜Δｅを算出する。この変動量の算出は、例えば、特開平８−５３８８号公報に記載されているように、テイラーの定理を用いて最小二乗法により算出する公知の方法を用いることができる。

次いで、ステップＳ９に移行し、ステップＳ８で算出した道路パラメータの変動量Δａ〜Δｅを用いて道路パラメータを補正する。例えば、前記（５）式に示す白線モデルの場合には、（６）式にしたがって、道路パラメータａ〜ｅを更新する。
ａ＝ａ＋Δａ、ｂ＝ｂ＋Δｂ、ｃ＝ｃ＋Δｃ、
ｄ＝ｄ＋Δｄ、ｅ＝ｅ＋Δｅ ……（６）
そして、このようにして更新した道路パラメータａ〜ｅを新たな白線モデルの道路パラメータとして所定の記憶領域に記憶すると共に、前記（４）式を用いて道路パラメータａ〜ｅを実際の物理量に変換した値も記憶する。

さらに、後述の後方道路白線認識処理において車線幅記憶領域に格納された車線幅Ｗを読み出し、これを前方道路白線認識処理において用いる車線幅Ｗとして更新記憶する。そして、ステップＳ３に戻る。
以上の処理を繰り返し行うことにより、各入力画像に対して道路パラメータの検出が行われ、白線モデルが順次更新されることになる。
図９は、前記画像処理装置３で実行される、後方カメラ２からの撮像情報に基づいて道路白線を検出する場合の後方道路白線認識処理の処理手順の一例を示すフローチャートである。なお、画像処理装置３では、この後方道路白線認識処理を予め設定された所定周期で実行する。

ここで、前記（４）及び（５）式から道路パラメータを算出するようにした場合、前記（４）式で設定した各変数ａ〜ｅは、独立に算出することができるが、車線幅Ｗとカメラ高さｈとのうち何れか一方の真値がわからない場合には、道路パラメータｙcr及びρの推定が、正確に行われない場合がある。また、道路白線が直線であると仮定した場合、左右の白線候補点の間隔Ｂが広がった場合、間隔Ｂは次式（７）で表されることから、ピッチ角η或いは車線幅Ｗが増加した場合か、カメラ高さｈが減少した場合かの何れかであることが考えられる。逆に間隔Ｂが減少した場合には、ピッチ角η、或いは車線幅Ｗが減少した場合か、カメラ高さｈが増加した場合かの何れかであることが考えられる。
Ｂ＝（ｙ＋ｆη）・Ｗ／ｈ ……（７）

一方、後方カメラ２は、自車両鉛直真下方向が撮像されるように配置されるから、前記（２）式のＸ座標を表す式において、右辺の第１項を無視することができる撮像範囲となるように配設されていることになる。
したがって、道路白線を後方カメラ２による撮像画面上に投影した場合、その位置座標は、次式（８）で表すことができる。
ｘ＝｛（ｙcr／ｈ）−（１−２ｉ）・Ｗ／２ｈ｝・｛ｙ・cosη＋ｆ・sinη｝
……（８）

また、車両最近傍が常に撮像範囲内となるように後方カメラ２が配設されることから、道路白線を撮像画面上に投影したときの車両最近傍点における道路白線の座標は、次式（９）が成り立つことから、次式（１０）で表すことができる。
Ｙ＞−Ｚ／tanη
ｙ＝（−ｆ／Ｚ）・Ｙ＜ｆ／tanη ……（９）
ｘ＝２ｆ・sinη・｛（ｙcr／ｈ）−（１−２ｉ）・Ｗ／２ｈ｝ ……（１０）
この（１０）式をピッチ角ηに関して偏微分すると、次式（１１）で表される。
∂ｘ／∂η
＝２ｆ・cosη・｛ｙcr／ｈ−（１−２ｉ）・Ｗ／２ｈ｝ ……（１１）

すなわち、後方カメラ２の光軸を下に向けるほど、車両最近傍点における白線座標は、ピッチ角変動の影響を受けにくくなっている。また、（１１）式より車両最近傍点における白線座標はカメラ高さに反比例するが、車線幅の変化分に比較して、取りうる値の変化分は圧倒的に小さいため、カメラ高さは予め計測した固定値とすることにより、左右の白線候補点について、（１０）式を用いて連立させると、走行車線の車線幅Ｗは、次式（１２）で表すことができる。
Ｗ＝ｈ／（２ｆ・sinη）×（ｘ_R−ｘ_L） ……（１２）

したがって、図９の後方道路白線認識処理では、次の手順で処理を行う。
まず、ステップＳ１１で、前記図３の前方道路白線認識処理で算出された、道路形状や車両挙動を表す各種道路パラメータを読み込む。
次いで、ステップＳ１２に移行し、図１０に示すように、白線候補点を検出するための小領域の大きさの初期設定を行う。ここで、初期状態においては、道路パラメータに初期値を設定した白線モデルと、実際の撮像画面上の道路白線との間には大きな開きがあると予想されるので、できる限り大きな領域を設定することが望ましい。また、初期状態時においては、道路白線は検出されていないから、車線幅が広くなっている場合も考慮して、小領域は外側に広く設定する。なお、前回の処理までに道路白線が既に検出されている場合には、実際の道路白線と白線モデルとの差は小さいと考えられるので、例えば図１１に示すように、白線モデルを含むできるだけ小さい領域を、白線候補点検出領域の大きさとして設定する。このように白線候補点検出領域をできるだけ小さい領域に設定することで、道路白線以外のものを道路白線として誤検出することを回避し、処理速度を向上させるようになっている。

このようにして白線候補点検出領域の大きさを設定したならばステップＳ１３に移行し、後方カメラ２により撮像された撮像画像を読み込む。
次いで、ステップＳ１４に移行し、ステップＳ１３で読み込んだ後方カメラ２からの撮像画像においてその撮像画像上に白線候補点の検出領域を設定する。このとき、ステップＳ１２で設定した白線候補点検出領域の大きさに基づいて、図１１に示すように、前記白線モデルが、領域の中心となるように撮像画像上に白線候補点の検出領域を設定する。図１１の場合には、左右の道路白線に１個ずつ計２個の白線候補点検出領域を設定している。なお、過去の白線モデルの変化状況から、白線モデルの変化方向にオフセットした位置に白線候補点検出領域を設定するようにしてもよい。

次いで、ステップＳ１５に移行し、各白線候補点検出領域において白線候補点の検出を行う。この白線候補点の検出は、まず、後方カメラ２からの入力画像を、ｓｏｂｅｌフィルタ等を通すことにより微分画像を生成する。次に、白線候補点検出領域の上辺の画素一点と下辺の画素一点とを結んで形成される全ての線分に対して、前方カメラ１の撮像画像に対する処理と同様に、前記図７に示すように、その線分上の画素の濃度が規定値以上である画素の数を計測する。そして、全ての線分の中で、濃度が規定値以上の画素が最も多い線分を検出直線とし、その線分の始点と終点とを白線候補点とする。このとき、検出直線上の濃度が規定値以上である画素数が、白線候補点検出領域の長さに対する所定の割合よりも少ない場合には、白線候補点は検出されなかったものとみなす。つまり、例えば、白線候補点検出領域の長さが４０画素であって、濃度が規定値以上である画素がその半分、つまり、２０画素以上検出されれば、白線候補点が検出されたとみなすようにした場合には、濃度が規定値以上である画素数が最も多い線分上における画素数が２０画素未満の場合には、この白線候補点検出領域においては、白線候補点は検出されなかったものと判定する。逆に、濃度が規定値以上である画素数が最も多い線分上におけるその画素数が２０画素である場合には、白線候補点が検出されたものとみなし、この線分の始点及び終点を白線候補点として設定する。

以上の処理を各白線候補点検出領域に対して実行し、白線候補点検出領域毎に白線候補点を検出する。
このとき、白線候補点の検出の有無を判断するための、白線候補点検出領域の長さに対する濃度が規定値以上である画素数の割合は、全ての白線候補点検出領域に対して同一としてもよいし、或いは白線候補点検出領域毎に設定するようにしてもよい。また、上記濃度の規定値も、全ての白線候補点検出領域に対して同一としてもよいし、白線候補点検出領域毎に設定するようにしてもよい。

次いで、ステップＳ１６に移行し、各白線候補点検出領域で検出した白線候補点の点数が規定値以上かどうかを判定し、規定値よりも少ない場合には白線候補点検出領域内には道路白線が含まれていなかったと判断し、ステップＳ１２に戻って、上述したように白線候補点検出領域を初期設定し、次の入力画像に対して同様に処理を行う。
一方、白線候補点が規定値以上検出された場合にはステップＳ１７に移行し、図１１に示すように、検出された各白線候補点を貫く直線と、車両最近傍線、つまり、撮像画像において自車両に最も近い地点を表す直線との交点における位置座標ｘ_R及びｘ_Lを特定する。そして、これらを用いて前記（１２）式から走行車線の車線幅Ｗを算出する。

次いで、このステップＳ１７で算出した車線幅Ｗに対し、ローパスフィルタ処理を行ってノイズ成分を十分に除去した後、車線幅記憶領域に更新記憶する。なお、ここでは、ローパスフィルタ処理を行って逐次車線幅記憶領域に更新記憶するようにした場合について説明したが、これに限るものではなく、例えば、一定時間以上、変動の少ない車線幅が検出された場合にこれを車線幅記憶領域に更新記憶し、また、その更新記憶周期を、前回更新時から所定時間以上経過したときに限定することによって、後方道路白線認識処理においてノイズ等を誤検知した場合であっても、前方道路白線認識処理における道路パラメータの算出に与える影響を小さくすることができ、好適である。

そして、このようにして、車線幅記憶領域への更新記憶を終了したならばステップＳ１３に戻って、上記と同様に処理を行う。
以上の処理を後方カメラ２からの入力画像毎に行うことで、車線幅Ｗを順次算出する。
図１２は、上述のようにして、前記画像処理装置３で検出された前方カメラ１及び後方カメラ２の撮像情報に基づいて検出された各種道路パラメータを用いて制御コントローラ１０で実行される走行状況監視処理の処理手順の一例を示すフローチャートである。

この走行状況監視処理では、まずステップＳ２１で、前記画像処理装置３で前方カメラ１の撮像情報に基づいて検出した道路パラメータを読み込む。具体的には、道路に対する自車両の横変位ｙcr、道路に対する自車両のヨー角φｒ、道路曲率ρを読み込む。
次いで、ステップＳ２２に移行し、車速センサ４からの自車両の走行速度Ｖ及び操舵角センサ５からの操舵角δを読み込む。
次いでステップＳ２３に移行し、図１３に示すように、逸脱余裕時間Ｔlcが経過した時点における自車両の横変位予測値ｙｓを、次式（１３）から算出する。なお、（１３）式において車線中央から右方向への横変位予測値ｙｓを正値とする。

次いで、ステップＳ２４に移行し、警報しきい値Ｙthｒ及びＹthｌの設定を行う。この警報しきい値Ｙthｒ及びＹthｌは、前記画像処理装置３で後方カメラ２からの撮像情報に基づいて検出した車線幅Ｗに基づいて、図１４に示す制御マップから設定する。
図１４において、横軸は後方カメラ２からの撮像情報に基づく車線幅Ｗ、縦軸は警報しきい値であって、正領域は右側方向へのしきい値Ｙthｒ、負領域は左側方向へのしきい値Ｙthｌである。前記右側方向へのしきい値Ｙthｒは、車線幅Ｗがそのしきい値ｗ１以下である領域では一定値に維持され、しきい値ｗ１よりも大きい領域では車線幅Ｗが増加するほどしきい値Ｙthｒもこれに比例して増加するように設定される。逆に左側方向へのしきい値Ｙthｌは、車線幅Ｗがそのしきい値ｗ１以下である領域では一定値に維持され、しきい値ｗ１よりも大きい領域では車線幅Ｗが増加するほどしきい値Ｙthｌはこれに反比例して減少するように設定される。つまり、自車両の横変位が車線逸脱方向に増加した場合であっても、車線幅Ｗが広い場合には、車線幅Ｗが狭い場合に比較して、自車両の横変位がより大きな値まで車線逸脱はしないとみなすことが可能であるから、車線幅Ｗに応じて車線逸脱のしきい値を変化させることによって、車線幅Ｗに即して適切に車線逸脱の可能性判断を行うことができるようになっている。

次いで、ステップＳ２５に移行し、ステップＳ２３で算出した横変位予測値ｙｓが右側方向へのしきい値Ｙthｒよりも大きいかどうかを判定し、横変位予測値ｙｓがしきい値Ｙthｒよりも大きいときには、車線逸脱の可能性が高いとしてステップＳ２６に移行し、警報装置６を作動して、右側方向への車線逸脱を通知するための警報を発生させる。そして、後述のステップＳ３１に移行する。

一方、前記ステップＳ２５で横変位予測値ｙｓがしきい値Ｙthｒ以下であるときには、右側方向への車線逸脱の可能性は低いとしてステップＳ２７に移行し、警報装置６によって、右側方向への車線逸脱警報を発生させている場合にはこれを解除する。
次いでステップＳ２８に移行し、次に、ステップＳ２３で算出した横変位予測値ｙｓが左側方向へのしきい値Ｙthｌよりも小さいかどうかを判定し、横変位予測値ｙｓが左側方向へのしきい値Ｙthｌよりも小さいときにはステップＳ２９に移行し、左側方向への車線逸脱の可能性が高いとして左側方向への車線逸脱警報を発生させる。そしてステップＳ３１に移行する。

一方、前記ステップＳ２８で横変位予測値ｙｓが左側方向へのしきい値Ｙthｌ以上であるときにはステップＳ３０に移行し、左側方向への車線逸脱の可能性が低いとして左側方向への車線逸脱警報を発生させている場合にはこれを解除する。そして処理を終了する。
一方、前記ステップＳ３１では、前記ステップＳ２６又は前記ステップＳ２９で、右側方向又は左側方向への車線逸脱の可能性が高いと判定されていることから、前記逸脱防止制御装置７を駆動するための逸脱防止制御指令値を算出する。この逸脱防止制御指令値は、例えば、次式（１４）をもとに算出する。なお、式（１４）中のＹthは、右側方向へ車線逸脱する傾向にある場合には、Ｙth＝Ｙthｒとし、左側方向へ車線逸脱する傾向にある場合にはＹth＝Ｙthｌとする。
Ｔ＝−Ｋ（Ｙｓ−Ｙth） ……（１４）

つまり、例えば、前記逸脱防止制御装置７がステアリングシャフトを回転制御する操舵補助機構を含んで構成され、例えば右側方向に車線逸脱する傾向にある場合には、前記逸脱防止制御指令値は、横変位予測値ｙｓと右側方向へのしきい値Ｙthｒとの差分に応じた、前記ステアリングシャフトを左側方向に回転制御するための制御信号となる。逆に、左側方向に車線逸脱する傾向にある場合には、前記逸脱防止制御指令値は、横変位予測値ｙｓと左側方向へのしきい値Ｙthｌとの差分に応じた、前記ステアリングシャフトを右側方向に回転制御するための制御信号となる。

なお、前記ステップＳ２３の横変位予測値ｙｓの算出において用いられる逸脱余裕時間Ｔlcは、ドライバが警報に気づいて逸脱回避操舵を開始するまでの所要時間であって、例えば、１．０〔ｓ〕程度要する場合には、Ｔｌｃ＝１．０と設定することで、車両が車線逸脱する１．０〔ｓ〕前に逸脱警報が開始させることになる。したがって、ドライバは余裕を持って操舵回避操作を行うことができ確実な逸脱回避操作をドライバに促すことができるようになっている。

次に、上記実施の形態の動作を説明する。
前記前方カメラ１の撮像情報は、画像処理装置３に入力されここで画像処理が行われ、道路形状及び自車両の走行状態を表す各種道路パラメータが算出される。
また、後方カメラ２の撮像情報は、画像処理装置３に入力されここで画像処理が行われ、走行車線の車線幅Ｗが算出され、前記前方カメラ１の撮像情報に基づく前方道路白線認識処理においては、この車線幅Ｗを前方道路白線認識処理における道路パラメータとして、これを用いて次の演算処理周期における道路パラメータの算出を行う。
ここで、前記各種道路パラメータは、前方カメラ１や後方カメラ２の取り付け高さ、また、道路幅Ｗ等に基づいて算出するようにしているため、乗員や搭載荷物の重量の変動等によって車両の車高が変化した場合、或いは道路幅Ｗが変化した場合等には、各種道路パラメータの算出を的確に行うことができない場合がある。

しかしながら、上述のように、後方カメラ２の撮像情報に基づいて車線幅Ｗを検出し、これに基づいて道路パラメータを算出するようにしている。そして、この後方カメラ２は、その光軸を水平ではなく、できるだけ車両近傍が撮像範囲となるように下向きに配置し、且つ自車両の一部が撮像範囲内に含まれるように設置したため、撮像方向の略鉛直下方向が撮像されることになる。ここで撮像画像における道路白線を表す直線と車両端に相当する画像との交点の座標は、後方カメラ２の設置角度が、光軸が真下方向となるほど、車両がピッチングしたときの影響を受けにくくなり、車両運動にピッチング運動が伴う場合であっても誤差の少ない車線幅推定値を算出することが可能となる。

ここで、前述のように前方カメラ１は、車両前方を撮像するようにしているため、車両がピッチング運動した場合には、前方カメラ１の画像情報から得られる車線幅には誤差を含むことになる。したがって、この車線幅に基づいて道路パラメータを算出し、これに基づいて車線逸脱の判断を行った場合、誤差を含むことになって的確な車線逸脱判断を行うことができず、車線逸脱を通知するための警報を発するタイミングが早すぎたり或いは遅すぎたりしてドライバに違和感を与える場合がある。

しかしながら、上述のように、後方カメラ２の画像情報に基づき算出した、精度の高い車線幅Ｗを用いて前方カメラ１の画像情報に基づいて各種道路パラメータを算出するようにし、これに基づいて車線逸脱判断を行うようにしたから、より高精度に車線逸脱判断を行うことができ、車両状態に即したタイミングで車線逸脱警報を発生させることができる。

また、このとき、後方カメラ２の画像情報に基づいて車線幅Ｗを検出するようにしているから、車重の変動等によって前方カメラ１や後方カメラ２の高さが変動した場合、或いは走行路の車線幅Ｗ自体が変化した場合であっても、高精度に車線幅Ｗを検出することができ、的確に車線逸脱判断を行うことができる。
また、車線逸脱判断のしきい値は、車線幅Ｗに基づいて設定するようにしている。したがって、車線幅Ｗが広い場合には、自車両の横変位量が比較的大きくなった場合であっても車線逸脱することはないから、これに応じて車線逸脱判断のしきい値をより大きな値に設定することで、実際には、車線逸脱傾向にはないにも関わらず車線逸脱傾向であると誤判断されることを回避し、車線幅Ｗに即して的確に車線逸脱判断を行うことができる。

このとき、前記車線逸脱判断のしきい値は車線幅Ｗに基づいて設定するようにしているが、車線幅Ｗがそのしきい値ｗ１よりも小さい場合には、しきい値を一定値に維持するようにしている。したがって、車線幅Ｗが狭くなり過ぎて、車線区分線と車体との幅に余裕がないような場合であってもそのしきい値は一定値に維持されるから、車線幅Ｗの減少に伴って車線逸脱判断のためのしきい値が小さくなりすぎることに起因して車線逸脱と判断されて警報や制御介入が頻繁に行われることを回避し、ドライバに煩雑感を与えることを回避することができる。

そして、このように車線逸脱判断によって車線逸脱傾向にあると判断されたときには、警報を発生させドライバに逸脱回避操作を促すと共に、車線逸脱を回避する方向へ車両状態を強制的に制御するようにしたから、的確なタイミングで警報を発生させることができると共に車線逸脱回避操作を開始することができ、より安全性を向上させることができる。

また、警報を発生させるだけでなく、強制的に車線逸脱を回避する方向への制御を介入するようにしているから、警報を発したにも関わらずドライバが車線逸脱に気がつかない場合や、ドライバの車線逸脱回避操作に余裕がないような場合であっても効果的に車線逸脱を抑制させることができ、より安全性を向上させることができる。
また、このとき、後方カメラ２を搭載することによって、その分画像処理装置３での画像処理の処理負荷が増加することになるが、後方カメラ２は、その撮像範囲が鉛直真下方向となるように配置しているから、走行中の車線がカーブであったとしても撮像画像においては、道路白線を略直線とみなすことができる。したがって撮像画像から道路白線に相当する直線のみを検出するようにすればよいから、その分、演算処理を簡略化することができ、複雑な演算を伴わないから、画像処理装置３での処理負荷が増大することはない。

なお、上記実施の形態においては、後方カメラ２を用いるようにした場合について説明したが、これに限るものではなく、例えば、自車両の左右両側に鉛直真下方向の道路白線を撮像するための側方カメラを設け、この側方カメラの撮像情報に基づいて、左右の道路白線を検出しこれに基づいて車線幅Ｗを算出するようにすることも可能である。しかしながら、この場合には、左右の道路白線を撮像するための側方カメラを２台搭載する必要があり、その分コストの増加を伴うと共に演算負荷の増加を伴うことから、後方カメラ２を用いる方が経済的である。

また、上述のように後方カメラ２を用いるようにした場合、例えば、予め後方への運転支援のために後方を撮像するための後方撮像手段が搭載されている車両の場合には、この後方撮像手段を流用することができるから、その分コスト削減を図ることができる。
なお、上記実施の形態において、前方カメラ１が前方撮像手段に対応し、図３の前方道路白線認識処理が車両状態推定手段に対応し、図１２の走行状況監視処理が車線逸脱傾向検出手段に対応し、後方カメラ２が自車近傍撮像手段に対応し、図９の後方道路白線認識処理が自社近傍車両状態推定手段に対応し、逸脱防止制御装置７が逸脱防止制御手段に対応している。

本発明における車線逸脱防止装置の一例を示す概略構成図である。 前方カメラ１及び後方カメラ２の取り付け位置を説明するための説明図である。 前方道路白線認識処理の処理手順の一例を示すフローチャートである。 前方カメラ１の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。 前方カメラ１の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。 前方カメラ１の撮像画像に対して白線候補点検出領域を設定する際の設定方法を説明するための説明図である。 白線候補点を検出する際の検出直線の選定方法を説明するための説明図である。 白線候補点と、前回の処理で求めた白線モデル上の点とのずれ量を説明するための説明図である。 後方道路白線認識処理の処理手順の一例を示すフローチャートである。 後方カメラ２の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。 後方カメラ２の撮像画像に対する、白線候補点検出領域の設定方法を説明するための説明図である。 走行状況監視処理の処理手順の一例を示すフローチャートである。 横変位予測値ｙｓを説明するための説明図である。 走行状況監視処理で用いられる制御マップである。

符号の説明

１ 前方カメラ
２ 後方カメラ
３ 画像処理装置
４ 車速センサ
５ 操舵角センサ
６ 警報装置
７ 逸脱防止制御装置
１０ 制御コントローラ

Claims (10)

1. 車両前方を撮像する前方撮像手段で撮像した前方撮像画像に基づいて走行車線における自車両の走行状態を推定し、これに基づいて自車両が車線逸脱傾向にあるかどうかを検出するようにした車線逸脱防止装置において、
   自車両近傍の走行路を撮像する自車近傍撮像手段で撮像した近傍撮像画像に基づいて自車両の走行状態を推定し、この近傍撮像画像に基づく自車両の走行状態を用いて前記前方撮像画像に基づく走行状態の推定を行うようになっていることを特徴とする車線逸脱防止装置。
2. 車両前方を撮像する前方撮像手段と、
   当該前方撮像手段で撮像した前方撮像画像に基づいて走行車線における自車両の走行状態を推定する車両状態推定手段と、
   当該車両状態推定手段で推定された走行状態に基づいて自車両が車線逸脱傾向にあるかどうかを検出する車線逸脱傾向検出手段と、
   自車両近傍の走行路を撮像する自車近傍撮像手段と、
   当該自車近傍撮像手段で撮像された近傍撮像画像に基づいて自車両の走行状態を推定する自車近傍車両状態推定手段と、を備え、
   前記車両状態推定手段は、前記自車近傍車両状態推定手段で推定した前記近傍撮像画像に基づく自車両の走行状態を用いて前記前方撮像画像に基づく走行状態の推定を行うようになっていることを特徴とする車線逸脱防止装置。
3. 前記自車近傍車両状態推定手段は、少なくとも走行車線の車線幅を検出するようになっていることを特徴とする請求項２記載の車線逸脱防装置。
4. 前記車線逸脱傾向検出手段は、前記自車近傍車両状態推定手段で推定した前記走行車線の車線幅に応じて、前記車線逸脱傾向にあるかどうかを判定するための判定条件を変更するようになっていることを特徴とする請求項３記載の車線逸脱防止装置。
5. 前記車線逸脱傾向検出手段は、自車両の走行車線からの逸脱量がそのしきい値を超えるとき車線逸脱傾向にあると判定し、
   前記自車近傍車両状態推定手段で推定した前記走行車線の車線幅が増加するほど前記しきい値をより大きな値に変更するようになっていることを特徴とする請求項４記載の車線逸脱防止装置。
6. 前記車線逸脱傾向検出手段は、自車両の走行車線からの逸脱量がそのしきい値を超えるとき車線逸脱傾向にあると判定し、
   前記自車近傍車両状態推定手段で推定した前記走行車線の車線幅がそのしきい値よりも小さいときには前記逸脱量のしきい値を一定値に維持するようになっていることを特徴とする請求項４又は５記載の車線逸脱防止装置。
7. 前記前方撮像手段は、自車両から遠方の走行路面を撮像範囲とし、前記自車近傍撮像手段は、自車両の近傍の走行路面を撮像範囲とする位置に配設されることを特徴とする請求項２から６のいずれか１項に記載の車線逸脱防止装置。
8. 前記自車近傍撮像手段は、その撮像範囲の中に自車両の一部を含むように配設されることを特徴とする請求項７記載の車線逸脱防止装置。
9. 前記車線逸脱傾向検出手段は、前記車両状態推定手段で検出した走行状態に基づいて、予め設定した所定時間後の走行車線における自車両の走行位置を推定し、推定した走行位置が許容範囲内であるかどうかに基づいて車線逸脱傾向であるかどうかを判定するようになっていることを特徴とする請求項２から８のいずれか１項に記載の車線逸脱防止装置。
10. 前記車線逸脱傾向検出手段で車線逸脱傾向にあることが検出されたとき、車両の運動状態を、車線逸脱を抑制する方向に変化させる逸脱防止制御手段を備えることを特徴とする請求項２から９のいずれか１項に記載の車線逸脱防止装置。

Images