JP2008250904A - 車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法 - Google Patents

Abstract

【課題】前方を撮影する車載カメラでは白線の認識精度が十分でない場合には、側方を撮影する車載カメラにより撮影した画像を利用して白線認識の精度を向上させる車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法を提供すること。
【解決手段】車両が走行する走行レーンを区切る車線区分線（例えば、白線）を認識して車線区分線情報（例えば、白線情報）を出力する車線区分線情報検出装置10において、車両の前方の前方画像を撮影する前方カメラ11と、車両の側方かつ下方の側方画像を撮影する側方カメラ20と、ワイパーの作動状態を検出するワイパー作動状態検出手段１８と、ワイパー作動状態検出手段が検出したワイパーの作動状態に応じて、前方画像と側方画像の重み付けを変更して車線区分線情報を検出する車線区分線情報加重手段２５と、を有することを特徴とする。
【選択図】図１

Description

本発明は、車両が走行する走行レーンを区切る車線区分線を認識する車線区分線情報検出装置等に関し、特に、車両の側方にカメラを備えた車線区分線情報検出装置、走行車線維持装置及び車線区分線認識方法に関する。

車両前方下向きの所定範囲を車載カメラで撮影し、撮影された画像を画像処理して走行レーンを区切る白線を検出する技術が提案されている（例えば、特許文献１参照。）。白線を認識することで、車線を維持するよう操舵トルクを付加する車線維持支援や、車線の逸脱を予測して警告する走行支援等の運転支援が可能となる。

しかしながら、車両前方を撮影する車載カメラの光軸は路面とのなす角が小さいため、降雨により路面が濡れると水の層により光が全反射してしまい、路面からの光が車載カメラに入射できず白線認識が困難になり、また、わだちなどの窪みに滞留した雨を白線と誤認識する場合がある。また、白線は画像のエッジ情報から検出するが、路面が濡れた状態では白線と路面とのコントラストが低下するためエッジ情報が不明確となることがあり、白線の認識精度が低下する。

そこで、車両の側方下向きを撮影する車載カメラにより白線を含む画像を撮影する技術が提案されている（例えば、特許文献２）。特許文献２記載の周囲認識装置は、左右のドアミラーに魚眼レンズを備えた車載カメラを搭載し、前輪、後輪及び白線を含むように撮影した画像の、前輪、後輪及び白線の相対位置から白線に対する車両のヨー角、幅員中央からの乖離量を算出している。
特開平７−８５２４９号 特開２００１−２８３３９０号公報

しかしながら、特許文献２に記載された白線の認識方法では、画像処理に時間がかかり、魚眼レンズの性質上、車両のヨー角が大きくなるとヨー角及び乖離量の誤差が大きくなるという問題がある。また、魚眼レンズは比較的高価であるためコスト増をもたらす。

本発明は、上記課題に鑑み、前方を撮影する車載カメラでは白線の認識精度が十分でない場合には、側方を撮影する車載カメラにより撮影した画像を利用して白線認識の精度を向上させる車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法を提供することを目的とする。

上記課題に鑑み、本発明は、車両が走行する走行レーンを区切る車線区分線（例えば、白線）を認識して車線区分線情報（例えば、白線情報）を出力する車線区分線情報検出装置（例えば、白線認識装置１０）において、車両の前方の前方画像を撮影する前方カメラと、車両の側方かつ下方の側方画像を撮影する側方カメラと、ワイパーの作動状態を検出するワイパー作動状態検出手段（例えば、ワイパースイッチ１８）と、ワイパー作動状態検出手段が検出したワイパーの作動状態に応じて、前方画像と側方画像の重み付けを変更して車線区分線情報を検出する車線区分線情報加重手段（例えば、白線情報加重手段２５）と、を有することを特徴とする。

本発明によれば、ワイパーの作動状態から雨量を推定し、雨量が多い場合には側方画像の重み付けを大きくすることができるので、雨天であっても白線を精度よく認識してＬＫＡ（Lane Keeping Assist）などの運転支援を行うことができる。したがって、天候に対しロバスト性の向上を図ることができる。

前方を撮影する車載カメラでは白線の認識精度が十分でない場合には、側方を撮影する車載カメラにより撮影した画像を利用して白線認識の精度を向上させる車線区分線情報検出装置、走行車線維持装置、車線区分線認識方法を提供することができる。

以下、本発明を実施するための最良の形態について、図面を参照しながら実施例を挙げて説明する。図１は、前方カメラ１１、側方カメラＲ１２（以下、単に側方カメラＲという）及び側方カメラＬ１３（以下、単に側方カメラＬという）が搭載された車両の斜視図を示す。（以下、側方カメラＲ及び側方カメラＬを側方カメラ２０という。）

前方カメラ１１は、車両前方へ向けて水平下向きに光軸を向けて、例えば室内ルームミラーに搭載される。側方カメラＲは右のドアミラー３０Ｒに、側方カメラＬは左のドアミラー３０Ｌに、車両下方からやや外側に光軸を向けてそれぞれ搭載される。本実施形態の白線認識装置１０は、降雨により路面が濡れている場合に、前方カメラ１１と側方カメラ２０とを切り替え又は重み付けを変更して白線を認識する。これにより、降雨時に低下しうる白線の認識精度を向上させることができる。

図２は、白線認識装置１０の概略構成図を示す。前方カメラ１１は、車両前方の水平下向きに所定角範囲で広がる領域を撮影し、所定の輝度階調（例えば、２５６階調）のデジタル画像（以下、前方画像という）を出力する。図３（ａ）は前方画像の一例を示す。

側方カメラ２０は、後述する車両下方からやや外側の所定角範囲で拡がる領域を撮影し、所定の輝度階調（例えば、２５６階調）のデジタル画像（以下、側方画像という）を出力する。図３（ｂ）は側方カメラＲと側方カメラＬにより撮影された側方画像の一例を示す。

図４は、側方カメラＬの配置の一例を示す。なお、側方カメラＲは車両に対し側方カメラＬと対称となるように配置される。ドアミラー３０Ｌには、ドアミラー３０Ｌの外形の湾曲に沿って、路面に対向する面よりもやや外側を向いた開口部が設けられており、車両下方からやや外側に光軸を向けた側方カメラＬが配設されている。開口部と側方カメラＬとの当接部はオーリングなどで密閉されるので、雨や埃から保護されている。なお、側方カメラＬには空からの反射光を取り除くために偏光フィルタを備える。

白線１００の法線と光軸のなす角θｓは、白線から１ｍ程度の距離を車両が走行している場合に、３０度＜θ＜６０度の範囲に入るように設定されている。６０度未満とすることで、降雨時であっても白線１００に入射した光が全反射することなく、側方カメラＬに入射可能となる。

具体的には、ドアミラー３０の路面からの高さＨを１ｍとすると、側方カメラＬの視野角θｄは、真下より外側にθ１＝約５０度、車両ボディ側にθ２＝約１０度、の計６０度程度となるように設置する。

なお、より好ましくは、側方カメラ２０の撮影範囲を照射する赤外線照射ライトをドアミラー３０に設ける。赤外線照射ライトが照射する赤外線は、白線で路面よりも強く反射するので白線と路面の境のコントラストを向上させ、より確実に白線を撮影することができる。また、本実施形態ではドアミラー３０に側方カメラ２０を配置したが、側方カメラ２０はフロントフェンダー又はリアフェンダー、バンパに配置してもよい。

図２に戻り、画像処理ＥＣＵ１４は、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するフラッシュメモリ、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。

ＣＰＵがプログラムを実行することで、前方白線認識手段２２、側方白線認識手段２３、白線選定手段２４、白線情報加重手段２５及び確度検出手段２６、が実現される。これらについては後述するが、前方白線認識手段２２は前方画像から白線を認識し白線情報（以下、前方白線情報という）を算出し、側方白線認識手段２３は側方画像から白線を認識して白線情報（以下、側方白線情報という）を出力する。また、白線選定手段２４は、雨天か否かに応じて前方白線情報と側方白線情報を切り替えて出力し、白線情報加重手段２５は、雨天の場合にはどのくらいの雨量か等に応じて、前方白線情報と側方白線情報との重み付けを変更して白線情報を算出する。また、確度検出手段２６は、前方白線情報と側方白線情報の確度をそれぞれ検出し、白線情報加重手段２５は、確度に応じて前方白線情報と側方白線情報との重み付けを変更して白線情報を算出する。

ワイパースイッチ１８は、ステアリングコラムに取り付けられ、取り付け部を中心に揺動して操作されるレバー型のスイッチである。「ＯＦＦ」位置から運転者がワイパースイッチ１８を上方向に揺動して「ＩＮＴ」位置に設定すると所定の時間間隔で、フロントワイパーが間欠動作する。なお、間欠動作時の動作間隔も調整できる。また、ワイパースイッチ１８を下方向に揺動して「Ａｕｔｏ」位置に設定すると、レインセンサ１９が検出した雨滴量に応じた速度又は時間間隔で自動的に作動又は停止する。さらに、下方向にワイパースイッチ１８を揺動して「Ｌｏ」位置に設定すると低速で、「ＨＩ」位置に設定すると高速でフロントワイパーが連続して作動する。なお、「Ａｕｔｏ」位置又は「ＯＦＦ」位置の場合に、ワイパースイッチ１８を運転者側に（手前に）引くと、ウォッシャ液を噴射すると共にフロントワイパーが連動して作動する。

また、ワイパースイッチ１８の端部には回動型のロータリースイッチが設けられており、ロータリースイッチを回転させて「Ｒｅａｒ」を「Ｌｏ」位置に設定すると低速で、「Ｈｉ」位置に設定すると高速で、リアワイパーが連続作動する。

レインセンサ１９は、例えば、フロントガラスに向けて赤外線を出射する出射部とフロントガラスにより反射された赤外線を受光する受光部とを有し、検出領域に雨滴が付着した場合に受光部が受ける赤外線の受光量が変化（減少）することで雨滴量を検出する。したがって、受光量の減少量が大きいほど雨量が多い状態であることが検出される。なお、レインセンサ１９は、水滴の付着による静電容量の変化や温度低下を検出し、雨滴量に応じた電圧を出力するセンサ等、どのように構成してもよい。

メータＥＣＵ１７は、各種センサの信号やスイッチ類の信号に応じて、車両の状態をランプの点灯や警報音を吹鳴することで運転者に報知する。本実施形態では、例えば、前方カメラ１１と側方カメラ２０のどちらの画像に基づき白線を認識しているかを、対応するランプの点灯やメッセージを表示させて報知し、また、車線からの逸脱が予測される場合に警報音を吹鳴する。

電動パワステＥＣＵ１６は、後述する白線情報に応じて電動パワーステアリングアクチュエータ（以下、電動パワステＡＣＴという）１５を制御する。電動パワステＡＣＴ１５は、減速ギアを介してステアリングシャフトを回転駆動するアクチュエータである。例えば、車線から逸脱するおそれがある場合、電動パワステＥＣＵ１６は、車線の中央付近を走行するため、車線中央からの乖離量に応じた操舵トルクを電動パワステＡＣＴ１５に送出する。すなわち、白線認識装置１０、電動パワステＥＣＵ１６及び電動パワステＡＣＴ１５は、走行車線維持装置９を構成する。

また、走行車線維持装置９は、ステアリングシャフトのトルクセンサが検出する運転者の操舵トルク及び操舵方向に基づき、運転者の操舵トルクをアシストする方向に電動パワステＡＣＴ１５を駆動して、運転者の負荷を低減する。

〔前方画像の白線認識〕
前方画像の白線認識について説明する。前方白線認識手段２２は、図３（ａ）のような前方画像の輝度値を水平方向に微分処理して、明るさが急激に変化する点をエッジ点として抽出し、前方画像の上下方向に検出される複数のエッジ点に基づきエッジ線を抽出する。そして、前方白線認識手段２２は、抽出した複数のエッジ線が一対となる複数組の白線候補線を抽出し、複数組の白線候補線のなかから、エッジ閾値や白線幅等の条件を満たす白線らしい１本又は複数の白線を選定する。

晴天など好ましい撮影条件下では、左右の白線１００、２００はそれぞれ１本ずつに定まり、その白線１００、２００をそれぞれモデル式に表現することで、２本の白線１００、２００の消失点（交点）の座標が算出できる。前方カメラ１１の路面からの高さ、及び、路面に対する光軸のなす角、は既知であるので、これらと消失点の座標から前方白線情報（道路曲率、ヨー角Ｙａｗ、幅員Ｗ、目標走行線Ｏからのオフセット量Ｄ）を演算することができる。図５（ａ）は、車線１００、２００と白線情報の関係の一例を示す。

〔側方画像の白線認識〕
側方白線認識手段２３は、図３（ｂ）に示したような側方画像を所定の画素値（例えば、１００）を基準に２値化して、側方画像の上下方向に撮影される白線を強調する。車高やピッチング角が変わっても、撮影される白線の太さは所定の範囲内に入ると考えてよいため、所定の幅であって、車両のヨー角に対応するためのいくつかの標準パターンを用い、パターンマッチングにより白線１００、２００を検出する。路面上には若干の異物はあっても、側方カメラ２０には白線以外のものが撮影される可能性は少ないので、検出対象を絞ることで、処理負担を軽減して白線を認識することができる。

図５（ｂ）は、車両と白線１００、２００を後方視した背面図を示す。白線１００は車両からＬｏの位置に存在し、白線２００は車両からＲｏの位置に存在する。また、図３（ｂ）において、車両側から白線１００までの距離Ｌｐｘ、車両側から白線２００までの距離Ｒｐｘは、側方画像のピクセル単位で示された距離である。

ここで、路面から側方カメラ２０までの高さＨ、側方画像の１ピクセル当たりの撮像角度θｐｘは予め既知であるので、ドアミラー３０Ｌから白線１００までの距離Ｌｏ、ドアミラー３０Ｒから白線２００までの距離Ｒｏは、それぞれ次の式で表すことができる。
Ｌ０＝Ｈ・ｔａｎ（θｐｘ・Ｌｐｘ）
Ｒｏ＝Ｈ・ｔａｎ（θｐｘ・Ｒｐｘ）
車両が左右の白線１００、２００のいずれに対してもヨー角ゼロで走行している場合、ＬｏとＲｏは時間的な変化がゼロとなる。したがって、ＬｏとＲｏに時間的な変化があれば、その変化量からヨー角Ｙａｗを求めることができる。例えば、所定のサイクル時間毎にＬｏ、Ｒｏを算出し、サイクル時間に走行した距離を車速センサから算出すれば、これらから車両のヨー角Ｙａｗを算出することができる。
Ｙａｗ ＝ ａｒｃｔａｎ〔｛Ｌｏ（ｔ＋１）−Ｌｏ（ｔ）｝／走行距離〕
＝ ａｒｃｔａｎ〔｛Ｒｏ（ｔ＋１）−Ｒｏ（ｔ）｝／走行距離〕
なお、ｔ、ｔ＋１はサイクル時間の経過を、走行距離はサイクル時間に走行した距離である。Ｙａｗはこのように、車線１００と２００に対しそれぞれ算出されるので、側方白線認識手段２３は２つの平均をヨー角Ｙａｗとする。

また、車幅Ｗｃは既知であるので、幅員Ｗは次のように表すことができる。
Ｗ＝ Ｌｏ＋Ｗｃ＋Ｒｏ
目標走行線Ｏを幅員の中央とすれば、目標走行線Ｏの位置は車線１００又は２００から、（１／２）・（Ｌｏ＋Ｗｃ＋Ｒｏ）となる。したがって、目標走行線Ｏからのオフセット量Ｄは、次のように表すことができる。
Ｄ ＝ （１／２）・（Ｌｏ＋Ｗｃ＋Ｒｏ） − （Ｌｏ＋Ｗｃ／２）
＝ −｛（１／２）・（Ｌｏ＋Ｗｃ＋Ｒｏ） − （Ｒｏ＋Ｗｃ／２） ｝
下式の符号は目標走行線に対するオフセット量の正負をそろえるための符号である。ここでは目標走行線Ｏに対し左側にオフセットした場合にプラスとなるようにした。側方白線認識手段２３は左右の白線１００、２００から求められる２つの平均をオフセット量Ｄとする。以上のようにして、側方白線認識手段２３は、側方白線情報（ヨー角Ｙａｗ、幅員Ｗ、目標走行線Ｏからのオフセット量Ｄ）を算出する。

本実施例では、雨量が所定以上の場合に、前方白線情報と側方白線情報とを切り替えて出力する白線認識装置１０について説明する。

図６は、白線認識装置１０が雨量に応じて前方白線情報と側方白線情報とを切り替えて出力する処理手順のフローチャート図を示す。図６のフローチャート図は、例えば、白線認識装置１０がオンにされた場合にスタートする。なお、スタート時点では、白線認識装置１０は、前方画像から検出される前方白線情報を出力する。

まず、白線認識装置１０は、所定以上の雨量が検出されるか否かを判定する（Ｓ１００）。雨量は、レインセンサ１９により検出してもよいし、ワイパースイッチ１８の操作結果により検出してもよい。所定以上の雨量とは、路面が濡れて前方カメラ１１による白線認識の信頼性が低下する程度の雨量であるが、これは降り始めてからの時間にも依存するため適宜設定できる。例えば、レインセンサ１９ではフロントガラスの３０％程度が濡れた状態、ワイパースイッチ１８では「Ｌｏ」位置に設定された場合に、所定以上の雨量であると判定する。

所定以上の雨量が検出されない場合（Ｓ１００のＮｏ）、白線認識装置１０は引き続き、前方画像から検出される前方白線情報を出力する。

所定以上の雨量が検出される場合（Ｓ１００のＹｅｓ）、白線選定手段２４は、側方白線認識手段２３が検出した側方白線情報を白線情報として出力する（Ｓ２００）。なお、前方白線情報から側方白線情報に切り替える場合、前方白線認識手段２２は前方画像の処理を中止してもよい。中止することで画像処理ＥＣＵ１４の負担を軽減できる。なお、図６のフローチャート図は所定時間毎に繰り返し実行され、前方白線情報から側方白線情報に切り替えた後に雨滴が検出されなくなるか又は雨滴が検出されなくなってから所定時間が経過すると、白線選定手段２４は前方白線情報に切り替えて出力する。

本実施例によれば、晴天時には前方白線情報を出力し、所定以上の雨量の場合には路面が濡れて前方画像では白線の認識精度が低下すると推定して、側方カメラ２０が撮影した側方画像から側方白線情報を検出するので、雨天であっても白線を精度よく認識してＬＫＡなどの運転支援を行うことができる。したがって、天候に対しロバスト性の向上を図ることができる。

本実施例では、雨量に応じて前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する白線認識装置１０について説明する。

図７は、白線認識装置１０が雨量に応じて前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する処理手順のフローチャート図を示す。図７のフローチャート図は、例えば、白線認識装置１０がオンにされた場合にスタートする。なお、スタート時点では、白線認識装置１０は、前方画像から検出される前方白線情報を白線情報として出力する。

白線情報加重手段２５は、ワイパースイッチ１８がオンか否かを判定する（Ｓ１１０）。ワイパースイッチ１８がオンとなることで雨天であることが検出される。なお、ここでワイパースイッチ１８がオンとは「Ａｕｔｏ」位置に設定された場合を含む。また、リアワイパーがオンとされる場合はその前にフロントワイパーもオンとなっていると考えられるので、ここではフロントワイパーのワイパースイッチ１８を対象とする。

ワイパースイッチ１８がオンでない場合（Ｓ１１０のＮｏ）、白線認識装置１０は引き続き、前方画像から検出される前方白線情報を出力する。

ワイパースイッチ１８がオンである場合（Ｓ１１０のＹｅｓ）、白線情報加重手段２５は、ワイパーの作動速度が速いほど側方白線情報に大きく重み付けして白線情報を算出する（Ｓ２１０）。ワイパーの作動速度は、「ＩＮＴ」＜「Ｌｏ」＜「Ｈｉ」の順に速くなるので、白線情報加重手段２５は例えば次のように前方白線情報と側方白線情報の重み付けを変更する。なお、数値は重み付けのパーセンテージを示す。
「ＯＦＦ」 前方白線情報：１００％ 側方白線情報：０％
「ＩＮＴ」 前方白線情報：８０％ 側方白線情報：２０％
「Ｌｏｗ」 前方白線情報：６０％ 側方白線情報：４０％
「Ｈｉ」 前方白線情報：４０％ 側方白線情報：６０％
「ＡＵＴＯ」の場合は、実際の作動速度に基づき重み付けの数値を決定してもよいし、「ＩＮＴ」〜「Ｈｉ」のうち最も近い作動速度に対応する数値により重み付けする。実施例１と同様に、レインセンサ１９が検出する雨量に応じて前方白線情報と側方白線情報を重み付けを変更してもよい。

白線情報加重手段２５は、例えば、「ＩＮＴ」の場合、前方白線情報に０．８を乗じ（ヨー角Ｙａｗ×０．８、幅員Ｗ×０．８、オフセット量Ｄ×０．８）、側方白線情報に０．２を乗じ（ヨー角Ｙａｗ×０．２、幅員Ｗ×０．２、オフセット量Ｄ×０．２）、両者を加えた値を白線情報とする。

ワイパースイッチ１８は雨量に応じて作動速度が速くなるように設定されると考えられるので、ワイパーの作動速度が速いほど側方白線情報に大きく重み付けすることで、雨量に応じて側方白線情報を白線情報に反映しやすくすることができ、雨天であっても白線を精度よく認識してＬＫＡなどの運転支援を行うことができる。

実施例２では、ワイパーの作動速度が速いほど側方白線情報に大きく重み付けして白線情報を算出したが、フロントワイパーとリアワイパーの作動状態に応じて雨量を推定してもよい。車両は前方向に進行することが多いため、雨天の場合にはまずフロントワイパーを作動させ、その後、雨量が多くなるとリアワイパーも作動させることが多い。したがって、リアワイパーがオンとなった場合は雨量が多い状況であると推定できる。本実施例では、フロントワイパーとリアワイパーの作動状態に基づき、前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する白線認識装置１０について説明する。

図８は、フロントワイパーとリアワイパーの作動状態に基づき、白線認識装置１０が前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する処理手順のフローチャート図を示す。図８のフローチャート図は、ステップＳ２１０まで図７と同様であるので、ステップＳ２２０から説明する。

白線情報加重手段２５は、ワイパーの作動速度が速いほど又はレインセンサ１９が検出する雨量が多いほど、側方白線情報に大きく重み付けして白線情報を算出し（Ｓ２１０）、ついで、白線情報加重手段２５は、リアワイパーがオンか否かを判定する（Ｓ２２０）。これにより、雨量が比較的多く前方画像から前方白線情報を検出することが困難であることを推定する。

リアワイパーがオンでない場合（Ｓ２２０のＮｏ）、白線認識装置１０は、ワイパーの作動速度又はレインセンサ１９の検出する雨量に応じて重み付けされた白線情報を出力する。

リアワイパーがオンの場合（Ｓ２２０のＹｅｓ）、白線情報加重手段２５は、ワイパーの作動速度に加え、さらにリアワイパーがオンである分の重み付けを側方白線情報に加える（Ｓ２３０）。例えば、ワイパーの作動速度「ＩＮＴ」 〜「Ｈｉ」に関わらず一律に重み付けしてもよいし、ワイパーの作動速度「ＩＮＴ」 〜「Ｈｉ」が速い場合ほど、側方白線情報に大きく重み付けしてもよい。

一律に重み付けする場合、例えば、次のように重み付けする。なお、括弧内の数字はワイパーの作動速度に応じた重み付けを示す。ここでは、一律に１０％、前方白線情報の重み付けを大きくした。
「ＯＦＦ」 前方白線情報：１００（１００）％ 側方白線情報：０％
「ＩＮＴ」 前方白線情報：７０（８０） ％ 側方白線情報：３０（２０）％
「Ｌｏｗ」 前方白線情報：５０（６０） ％ 側方白線情報：５０（４０）％
「Ｈｉ」 前方白線情報：３０（４０） ％ 側方白線情報：７０（６０）％
また、ワイパーの作動速度「ＩＮＴ」 〜「Ｈｉ」が速い場合ほど、側方白線情報に大きく重み付けする場合、次のように重み付けする。
「ＯＦＦ」 前方白線情報：１００（１００）％ 側方白線情報：０％
「ＩＮＴ」 前方白線情報：７０（８０） ％ 側方白線情報：３０（２０）％
「Ｌｏｗ」 前方白線情報：４０（６０） ％ 側方白線情報：６０（４０）％
「Ｈｉ」 前方白線情報：１０（４０） ％ 側方白線情報：９０（６０）％
さらに、リアワイパーの作動速度に応じて、前方白線情報と側方白線情報の重み付けを変更してもよい。

白線情報加重手段２５は、フロントワイパーの作動速度に応じて側方白線情報に大きく重み付けすると共に、リアワイパーがオンであればさらに側方白線情報の重み付けを大きくするので、雨量が多いと推定できる状況ほど、側方白線情報を白線情報に反映しやすくすることができ、雨天であっても白線を精度よく認識してＬＫＡなどの運転支援を行うことができる。

ところで、フロントワイパーとリアワイパーのより直接的な操作状態の組み合わせに基づき、前方白線情報と側方白線情報の重み付けを変更してもよい。

図９は、白線認識装置１０が、フロントワイパーとリアワイパーの操作状態の組み合わせに基づき、前方白線情報と側方白線情報の重み付けを変更して算出された白線情報を出力する手順のフローチャート図を示す。

白線情報加重手段２５は、ワイパースイッチ１８がオンか否かを判定する（Ｓ１１０）。この判定は、フロントワイパー又はリアワイパーのいずれかのスイッチがオンであればＹｅｓとなる。

ワイパースイッチ１８がオンでない場合（Ｓ１１０のＮｏ）、白線認識装置１０は、引き続き、前方画像から検出される前方白線情報を出力する。

ワイパースイッチ１８がオンである場合（Ｓ１１０のＹｅｓ）、白線情報加重手段２５は、フロントワイパーとリアワイパーの操作状態の組み合わせに基づき、前方白線情報と側方白線情報に重み付けを変更する（Ｓ２４０）。白線情報加重手段２５は、フロントワイパーとリアワイパーの操作状態の組み合わせから雨量を推定し、例えば、次のように前方白線情報と側方白線情報を重み付けする。
・フロントワイパー ＯＦＦ かつ リアワイパー ＯＮ
前方白線情報：９０％ 側方白線情報：１０％
・フロントワイパー ＯＮ かつ リアワイパー ＯＦＦ
前方白線情報：７０％ 側方白線情報：３０％
・フロントワイパー ＯＮ かつ リアワイパー ＯＮ
前方白線情報：４０％ 側方白線情報：６０％
白線情報加重手段２５は、フロントワイパーとリアワイパーの操作状態の組み合わせに基づき、雨量が多いと推定できるほど側方白線情報に大きく重み付けするので、雨量に応じて側方白線情報を白線情報に反映しやすくすることができ、雨天であっても白線を精度よく認識してＬＫＡなどの運転支援を行うことができる。

実施例２、３では、ワイパースイッチ１８の操作状態から雨量を推定して、雨量が多いほど側方白線情報に大きく重み付けしたが、雨量を推定しなくても降雨が白線認識に及ぼす影響をより直接的に検出することができる。例えば、雨天であれば主に前方画像に基づく白線の認識精度が低下すると考えられるため、前方白線情報の確度から降雨が白線認識に影響を与える程度を検出することができる。

降雨時には、わだちに水がたまり、白線に並行して白線候補が検出されたり、白線と路面の境のコントラスト低下等により、正しい白線を認識できないことがあるため、前方白線情報及び側方白線情報が不安定になることがある。

そこで、確度検出手段２６は、前方白線情報と側方白線情報とからそれぞれ確度を検出し、白線情報加重手段２５は、確度に応じて前方白線情報と側方白線情報の重み付けを決定する。

確度検出手段２６は、過去の数個（１０〜３０）の前方白線情報の、ヨー角Ｙａｗ、幅員Ｗ及び目標走行線Ｏからのオフセット量Ｄの、分散をそれぞれ算出する。分散が大きい場合は、ヨー角Ｙａｗ、幅員Ｗ及びオフセット量Ｄが安定しないことを意味するので、白線候補が複数ある等の理由により白線の認識精度が低下していると考えられる。例えば、晴天下など良好な条件下で白線認識した場合の初期分散値は既知となるので、ヨー角Ｙａｗ、幅員Ｗ及びオフセット量Ｄの初期分散値により、算出したそれぞれの分散を除すれば、その値が１より大きい場合に確度が低下していることが分かる（以下、分散／初期分散値を正規化分散値という。）。ここでは、１０〜３０個の前方画像が検出される度に、ヨー角Ｙａｗ、幅員Ｗ及びオフセット量Ｄの正規化分散値の和を求め、その値に応じて前方白線情報と側方白線情報との重み付けを決定する。なお、確度を他の統計的手法（標準偏差、中央値からのズレ量など）から算出してもよい。

図１０は、白線認識装置１０が、前方白線情報と側方白線情報の確度に応じて前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する処理手順のフローチャート図を示す。図１０のフローチャート図は、例えば、白線認識装置１０がオンにされた場合にスタートし、所定のサイクル時間毎に繰り返して実行される。なお、スタート時点では、白線認識装置１０は、前方画像から検出される前方白線情報を出力する。

確度検出手段２６は、所定数の前方白線情報と側方白線情報が算出されるまで待機し、メモリに記憶しておく（Ｓ１４０）。そして、所定数の前方白線情報と側方白線情報が算出されると（Ｓ１４０のＹｅｓ）、メモリに記憶した前方白線情報と側方白線情報とからそれぞれ正規化分散値を算出する（Ｓ１５０）。

ついで、白線情報加重手段２５は、前方白線情報の正規化分散値が基準値Ｐ以上か否かを判定する（Ｓ１６０）。基準値Ｐは所定のマージンを含んだ３（Ｙａｗ、幅員Ｗ、オフセット量Ｄの３つ）より大きい値である。

前方白線情報の正規化分散値が基準値Ｐ以上でない場合（Ｓ１６０のＮｏ）、白線認識装置１０は引き続き、前方画像から検出される前方白線情報を出力する。

前方白線情報の正規化分散値が基準値Ｐ以上の場合（Ｓ１６０のＹｅｓ）、白線情報加重手段２５は、側方白線情報の正規化分散値が基準値Ｑ以上か否かを判定する（Ｓ１７０）。基準値Ｑは基準値Ｐよりも大きい値であり、側方白線情報に要請される必要な確度を満たさない値となる。

側方白線情報の正規化分散値が基準値Ｑ以上の場合（Ｓ１７０のＹｅｓ）、前方白線情報と側方白線情報のいずれも運転支援に使用するには適切でないので画像処理ＥＣＵ１４は白線情報の出力を中止する（Ｓ１９０）。

側方白線情報の正規化分散値が基準値Ｑ以上でない場合（Ｓ１７０のＮｏ）、白線情報加重手段２５は、前方白線情報の正規化分散値に基づき前方白線情報と側方白線情報との重み付けを変更する（Ｓ１８０）。白線情報加重手段２５は、例えば、次のように重み付けを変更する。
・３ ＜ 前方白線情報の正規化分散値 ＜ Ｐ１
前方白線情報：９０％ 側方白線情報：１０％
・Ｐ１ ≦ 前方白線情報の正規化分散値 ＜ Ｐ２
前方白線情報：７０％ 側方白線情報：３０％
・Ｐ２ ≦ 前方白線情報の正規化分散値 ＜ Ｐ３
前方白線情報：５０％ 側方白線情報：５０％
・Ｐ３ ≦ 前方白線情報の正規化分散値 ＜ Ｑ
前方白線情報：３０％ 側方白線情報：７０％
したがって、白線認識装置１０は、雨量を推定することなくより直接的に降雨が白線認識に影響を与える程度を検出して、前方白線情報と側方白線情報との重み付けを変更することができる。確度に応じて側方白線情報を白線情報に反映しやすくすることができ、例えば降雨のため前方白線情報の確度が低下しても白線を精度よく認識してＬＫＡなどの運転支援を行うことができる。

以上説明したように、本実施形態の白線認識装置１０は、晴天時は前方カメラ１１により前方白線情報を検出するので白線の認識精度が低下することがなく、降雨時には側方カメラ２０により側方白線情報を検出して白線情報を出力するので、降雨時の白線認識精度を向上させると共に、天候に対するロバスト性を向上させることができる。

前方カメラ、側方カメラＲ及び側方カメラＬが搭載された車両の斜視図である。 白線認識装置の概略構成図である。 前方画像、側方画像の一例を示す図である。 側方カメラＬの配置図を一例を示す図である。 白線情報の一例を示す図である。 白線認識装置が雨量に応じて前方白線情報と側方白線情報とを切り替えて出力する処理手順のフローチャート図である。 白線認識装置が雨量に応じて前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する処理手順のフローチャート図である。 フロントワイパーとリアワイパーの作動状態に基づき、白線認識装置が前方白線情報と側方白線情報との重み付けを変更して白線情報を出力する処理手順のフローチャート図である。 フロントワイパーとリアワイパーの操作状態の組み合わせに基づき、白線認識装置が、前方白線情報と側方白線情報の重み付けを変更して算出された白線情報を出力する手順のフローチャート図を示す。 白線認識装置が前方白線情報と側方白線情報の確度に応じて前方白線情報と側方白線情報との重み付けを変更して算出された白線情報を出力する処理手順のフローチャート図である。

符号の説明

９ 走行車線維持装置
１０ 白線認識装置
１１ 前方カメラ
１２ 側方カメラＬ
１３ 側方カメラＲ
１４ 画像処理ＥＣＵ
１５ 電動パワステＡＣＴ
１６ 電動パワステＥＣＵ
１７ メータＥＣＵ
１８ ワイパースイッチ
１９ レインセンサ
２０ 側方カメラ
２２ 前方白線認識手段
２３ 側方白線認識手段
２４ 白線選定手段
２５ 白線情報加重手段
２６ 確度検出手段
３０ ドアミラー

Claims (6)

1. 車両が走行する走行レーンを区切る車線区分線を認識して車線区分線情報を出力する車線区分線情報検出装置において、
   車両の前方の前方画像を撮影する前方カメラと、車両の側方かつ下方の側方画像を撮影する側方カメラと、
   ワイパーの作動状態を検出するワイパー作動状態検出手段と、
   前記ワイパー作動状態検出手段が検出したワイパーの作動状態に応じて、前記前方画像と前記側方画像の重み付けを変更して前記車線区分線情報を検出する車線区分線情報加重手段と、
   を有することを特徴とする車線区分線情報検出装置。
2. 前記車線区分線情報加重手段は、ワイパーの作動速度が所定以上の場合、前記前方画像よりも前記側方画像の重み付けを大きくして前記車線区分線情報を検出する、
   ことを特徴とする請求項１記載の車線区分線情報検出装置。
3. 前記ワイパー作動状態検出手段がフロント及びリアのワイパーの作動を検出した場合、前記車線区分線情報加重手段は、前記前方画像よりも前記側方画像の重み付けを大きくして前記車線区分線情報を検出する、
   ことを特徴とする請求項１記載の車線区分線情報検出装置。
4. 前記前方画像から検出された前方車線区分線情報の確度を検出する確度検出手段を有し、
   前記確度検出手段により検出された前記前方車線区分線情報の確度が所定以下の場合、前記車線区分線情報加重手段は、当該確度が低いほど、前記前方画像よりも前記側方画像の重み付けを大きくして前記車線区分線情を検出する、
   ことを特徴とする請求項１記載の車線区分線情報検出装置。
5. ステアリングシャフトを回転駆動するステアリングアクチュエータと、
   前記ステアリングアクチュエータの駆動トルクを制御するステアリング制御部と、を有し、
   前記ステアリング制御部は、請求項１〜４いずれか記載の車線区分線情報検出装置が出力した車線区分線情報に基づき前記駆動トルクを決定する、
   ことを特徴とする走行車線維持装置。
6. 車両が走行する走行レーンを区切る車線区分線を認識して車線区分線情報を出力する車線区分線情報検出装置の車線区分線認識方法において、
   前方カメラが、車両の前方の前方画像を撮影するステップと、
   側方カメラが、車両の側方かつ下方の側方画像を撮影するステップと、
   ワイパー作動状態検出手段が、ワイパーの作動状態を検出するステップと、
   車線区分線情報加重手段が、前記ワイパー作動状態検出手段が検出したワイパーの作動状態に応じて、前記前方画像と前記側方画像の重み付けを変更して前記車線区分線情報を検出するステップと、
   を有することを特徴とする車線区分線情報検出装置の車線区分線認識方法。
   
   
   
   
   

Images