JP2016004459A - 画像処理装置 - Google Patents

Abstract

【課題】視差から距離を算出する計算式の補正を行うシステムにおいて、補正に要する時間の短縮化及び補正に係る処理負担の軽減を図る。【解決手段】自車両の進行方向を撮像して得た撮像画像に対して設定された車線探索範囲を対象とした車線検出処理として、車線探索範囲内における過半数以上の行について輝度画像に基づいた車線部分の検出を行い且つその他の行について色差画像に基づいた車線部分の検出を行う第１モードによる車線検出処理と、色差画像に基づく車線部分の検出を第１モード時よりも多くの行で行う第２モードによる車線検出処理とを実行可能とする。その上で、色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出された行の数に基づいて、第１モードと第２モードとの間のモード移行判定、及び判定結果に基づくモード移行制御を行うモード移行制御処理を実行する。【選択図】図５

Description

本発明は、自車両の進行方向を撮像して得られた撮像画像に基づき被写体として写し出された車線を検出する画像処理装置についての技術分野に関する。

特許第４３６５３５０号公報

例えば、車外環境を認識する車両システムにおいては、自車両の進行方向を一対のカメラでステレオ撮像して得られた撮像画像に基づいて被写体を認識するものがある。また、このように自車両の進行方向に存在する被写体を認識するシステムでは、被写体までの距離の情報も含めた被写体の三次元位置情報（実空間上における位置の情報）を生成するシステムがある。具体的には、上記のステレオ撮像により視点の異なる撮像画像を得、それら撮像画像に基づいて被写体の視差を算出し、該視差に基づいて被写体の三次元位置情報を生成するものである。

また、車外環境の認識としては、路面に形成された白線等の車線を検出し、車線の三次元モデルから進行方向に存在するカーブの検出や路面の勾配の検出等を行うものがある。
車線検出は、路面と白線との輝度差が比較的大きいことを利用して、輝度画像に基づいて行うことが一般的とされている。
なお、ここでの「車線」とは、路面に対し塗装等により形成されて走行レーンの境界を表す線のことを意味する。

しかしながら、車線としては白色の車線以外に例えばオレンジ色車線（黄色車線）等の有色の車線も存在する。有色の車線は白色の車線に対して輝度が小さいため、例えば比較的輝度の大きいコンクリート地の道路上を走行中である場合等、走行状況によっては路面と車線との輝度差が十分に得られない、或いは車線の輝度が路面輝度よりも小さくなり、車線検出ができないケースが生じ得る。

有色車線を安定的に検出するためには、色差画像に基づく検出を行うことが有効である。例えば、オレンジ色車線については、Ｖ画像（Ｒ−Ｇ）やＵ画像（Ｂ−Ｇ）に基づく検出を行うことが有効である。
但し、色差画像に基づく検出は、有色車線についての検出精度は向上できるものの、白色車線の検出精度については輝度画像に基づく検出を行う場合よりも低下してしまうため、白色車線と有色車線の双方を適切に検出するためには、共通の画像部分に対して輝度画像に基づく検出と色差画像に基づく検出の双方を実行することが考えられる。

しかしながら、共通の画像部分に対して二種の車線検出を行うことは処理負担の増大化を招き好ましくない。
また、通常、有色車線の出現率は白色車線に対して少ないため、色差画像に基づく車線検出を輝度画像に基づく車線検出と共に常時行うことは同様に処理負担の増大化の面で望ましくない。

そこで、本発明は上記した問題点を克服し、処理負担の軽減を図りつつ、白色車線と有色車線の双方を適切に検出できるようにすることを目的とする。

第１に、本発明に係る画像処理装置は、自車両の進行方向を撮像してカラー画像としての撮像画像を得る撮像部と、前記撮像部により得られた撮像画像に基づき被写体として写し出された車線を検出する車線検出部とを備え、前記車線検出部は、前記撮像画像に対して設定された車線探索範囲を対象とした車線検出処理として、前記車線探索範囲内における過半数以上の行について輝度画像に基づいた車線部分の検出を行い且つその他の行について色差画像に基づいた車線部分の検出を行う第１モードによる車線検出処理と、前記色差画像に基づく車線部分の検出を前記第１モード時よりも多くの行で行う第２モードによる車線検出処理とを実行可能とされると共に、前記色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出された行の数に基づいて、前記第１モードと前記第２モードとの間のモード移行判定、及び判定結果に基づくモード移行制御を行うモード移行制御処理を実行するものである。

第１モードでは、主として輝度画像に基づく検出を行っていることで白色車線の車線部分の検出が可能とされると共に、色差画像に基づく検出も併せて行っていることで、有色車線の車線部分の有無を確認することが可能とされる。有色車線が出現した場合には、モード移行制御処理により第１モードから第２モードへのモード移行が行われて色差画像に基づく検出が行われる行が増やされることで、有色車線を適切に検出可能とされる。
これにより、白色車線と有色車線の双方を適切に検出可能とするにあたり、同一の行について輝度画像に基づく検出と色差画像に基づく検出の双方を行う必要がなくなる。

第２に、上記した本発明に係る画像処理装置においては、前記車線探索範囲は、前記撮像画像内の左右に離間して二つ設定されており、前記車線検出部は、前記モード移行制御処理を前記車線探索範囲ごとに実行することが望ましい。
これにより、有色車線が進行方向の右側に存在する場合、及び左側に存在する場合の双方に対応可能となる。

第３に、上記した本発明に係る画像処理装置においては、前記第１モード時における前記色差画像に基づく車線部分の検出を行う行の間隔が、実空間上の一定距離間隔に相当する間隔に設定されていることが望ましい。
これにより、例えば画像空間上での一定間隔とする場合と比較して有色車線のサンプリング間隔が適切となる。

第４に、上記した本発明に係る画像処理装置においては、前記第２モード時においては、前記輝度画像に基づいた車線部分の検出を行う行と前記色差画像に基づいた車線部分の検出を行う行とが１行おきに交互に配置されていることが望ましい。
これにより、同一車線探索範囲内に白色車線と有色車線の双方が存在する場合に、双方の車線を適切に検出可能とされる。

第５に、上記した本発明に係る画像処理装置においては、前記撮像部は、自車両の進行方向をステレオ撮像して一対の撮像画像を得、前記撮像部により得られた前記一対の撮像画像に基づいて被写体の視差を算出する視差算出部をさらに備え、前記車線検出部は、前記モード移行制御処理における前記モード移行判定を、前記色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出され且つ検出された車線部分の視差の値が所定範囲内である行の数に基づいて行うことが望ましい。
検出された車線部分の視差の値が所定範囲内にあるということは、該車線部分はステレオ撮像された他方の撮像画像（車線部分の検出に用いられていない側の画像）においても写し出されていると推測される。このため、上記のようにモード移行判定の条件として視差の値が所定範囲内であるとの条件を課すようにすれば、例えば片側のカメラにのみ付着したゴミ等による車線部分の誤検出に反応してモード移行判定で肯定結果が得られてしまうことの防止が図られる。

第６に、上記した本発明に係る画像処理装置においては、前記車線検出部は、前記モード移行制御処理として、前記モード移行判定をフレームごとに行い、前記第１モードから前記第２モードへの移行制御は、前記モード移行判定により移行を肯定する判定結果が得られたことに応じて行い、前記第２モードから前記第１モードへの移行制御は、前記モード移行判定により移行を肯定する判定結果が得られた回数が所定回数に達したことに応じて行うことが望ましい。
これにより、第２モードへの移行後、即座に第１モードに戻されてしまうことがない。

第７に、上記した本発明に係る画像処理装置においては、前記車線検出部は、前記モード移行制御処理における前記モード移行判定を、前記色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出され且つ検出された車線部分の所定の色成分の含有率が所定の率以上である行の数に基づいて行うことが望ましい。
これにより、有色車線の色の特徴も加味したモード移行判定が実現される。

本発明によれば、処理負担の軽減を図りつつ、白色車線と有色車線の双方を適切に検出することができる。

実施の形態の車両制御システムの構成を示した図である。 実施の形態で実行される画像処理について説明するための図である。 車線探索範囲についての説明図である。 路面上の左側に白色車線、右側に有色車線が形成されている場合の撮像画像を例示した図である。 輝度重視モード、色差・輝度モードの説明図である。 白色車線と有色車線とが近接して配置された二重ラインの説明図である。 輝度重視モード対応処理のフローチャートである。 色差・輝度モード対応処理のフローチャートである。

＜１．システム全体構成＞
図１は、本発明に係る実施の形態としての画像処理装置を備えた車両制御システム１の構成を示している。なお、図１では、車両制御システム１の構成のうち主に本発明に係る要部の構成のみを抽出して示している。
車両制御システム１は、自車両に対して設けられた撮像部２、画像処理部３、メモリ４、運転支援制御部５、表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９、センサ・操作子類１０、表示部１１、エンジン関連アクチュエータ１２、トランスミッション関連アクチュエータ１３、ブレーキ関連アクチュエータ１４、及びバス１５を備えて構成されている。

画像処理部３は、撮像部２が自車両の進行方向（本例では前方）を撮像して得られた撮像画像データに基づき、車外環境の認識に係る所定の画像処理を実行する。画像処理部３による画像処理は、例えば不揮発性メモリ等とされたメモリ４を用いて行われる。なお、撮像部２の内部構成や画像処理部３が実行する具体的な処理の詳細については後述する。

運転支援制御部５は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えたマイクロコンピュータで構成され、画像処理部３による画像処理の結果やセンサ・操作子類１０で得られる検出情報や操作入力情報等に基づき、運転支援のための各種の制御処理（以下「運転支援制御処理」と表記）を実行する。
運転支援制御部５は、同じくマイクロコンピュータで構成された表示制御部６、エンジン制御部７、トランスミッション制御部８、ブレーキ制御部９の各制御部とバス１５を介して接続されており、これら各制御部との間で相互にデータ通信を行うことが可能とされる。運転支援制御部５は、上記の各制御部のうち必要な制御部に対して指示を行って運転支援に係る動作を実行させる。

センサ・操作子類１０は、自車両に設けられた各種のセンサや操作子を包括的に表している。センサ・操作子類１０が有するセンサとしては、自車両の速度を検出する速度センサ１０Ａ、ブレーキペダルの操作／非操作に応じてＯＮ／ＯＦＦされるブレーキスイッチ１０Ｂ、アクセルペダルの踏込み量からアクセル開度を検出するアクセル開度センサ１０Ｃ、操舵角を検出する舵角センサ１０Ｄ、ヨーレート（Yaw Rate）を検出するヨーレートセンサ１０Ｅ、及び加速度を検出するＧセンサ１０Ｆがある。また、図示は省略したが、他のセンサとして、例えばエンジン回転数センサ、吸入空気量を検出する吸入空気量センサ、吸気通路に介装されてエンジンの各気筒に供給する吸入空気量を調整するスロットル弁の開度を検出するスロットル開度センサ、エンジン温度を示す冷却水温を検出する水温センサ、車外の気温を検出する外気温センサ等も有する。
また、操作子としては、エンジンの始動／停止を指示するためのイグニッションスイッチや、ＡＴ（オートマティックトランスミッション）車における自動変速モード／手動変速モードの選択や手動変速モード時におけるシフトアップ／ダウンの指示を行うためのセレクトレバーや、後述する表示部１１に設けられたＭＦＤ（Multi Function Display）における表示情報の切り換えを行うための表示切換スイッチなどがある。

表示部１１は、運転者の前方に設置されたメータパネル内に設けられるスピードメータやタコメータ等の各種メータやＭＦＤ、及びその他運転者に情報提示を行うための表示デバイスを包括的に表している。ＭＦＤには、自車両の総走行距離や外気温、瞬間燃費等といった各種の情報を同時又は切り換えて表示可能とされる。

表示制御部６は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、表示部１１による表示動作を制御する。例えば、運転支援制御部５からの指示に基づき、運転支援の一環として表示部１１（例えばＭＦＤの所定領域）に所定の注意喚起メッセージを表示させることが可能とされている。

エンジン制御部７は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、エンジン関連アクチュエータ１２として設けられた各種アクチュエータを制御する。エンジン関連アクチュエータ１２としては、例えばスロットル弁を駆動するスロットルアクチュエータや燃料噴射を行うインジェクタ等のエンジン駆動に係る各種のアクチュエータが設けられる。
例えばエンジン制御部７は、前述したイグニッションスイッチの操作に応じてエンジンの始動／停止制御を行う。また、エンジン制御部７は、エンジン回転数センサやアクセル開度センサ１０Ｃ等の所定のセンサからの検出信号に基づき、燃料噴射タイミング、燃料噴射パルス幅、スロットル開度等の制御も行う。

トランスミッション制御部８は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、トランスミッション関連アクチュエータ１３として設けられた各種のアクチュエータを制御する。トランスミッション関連アクチュエータ１３としては、例えば自動変速機の変速制御を行うコントロールバルブや、ロックアップクラッチをロックアップ動作させるロックアップアクチュエータ等のトランスミッション関連の各種アクチュエータが設けられる。
例えばトランスミッション制御部８は、前述したセレクトレバーによって自動変速モードが選択されている際には、所定の変速パターンに従い変速信号をコントロールバルブに出力して変速制御を行う。
また、トランスミッション制御部８は、手動変速モードの設定時には、セレクトレバーによるシフトアップ／ダウン指示に従った変速信号をコントロールバルブに出力して変速制御を行う。

ブレーキ制御部９は、センサ・操作子類１０における所定のセンサからの検出信号や操作子による操作入力情報等に基づき、ブレーキ関連アクチュエータ１４として設けられた各種のアクチュエータを制御する。ブレーキ関連アクチュエータ１４としては、例えばブレーキブースターからマスターシリンダへの出力液圧やブレーキ液配管内の液圧をコントロールするための液圧制御アクチュエータ等、ブレーキ関連の各種のアクチュエータが設けられる。例えばブレーキ制御部９は、運転支援制御部５よりブレーキをＯＮする指示が為された場合に上記の液圧制御アクチュエータを制御して自車両を制動させる。またブレーキ制御部９は、所定のセンサ（例えば車軸の回転速度センサや車速センサ１０Ａ）の検出情報から車輪のスリップ率を計算し、スリップ率に応じて上記の液圧制御アクチュエータにより液圧を加減圧させることで、所謂ＡＢＳ（Antilock Brake System）制御を実現する。

＜２．本実施の形態で実行される画像処理＞
図２により、本実施の形態で実行される画像処理について説明する。
なお、図２では画像処理について説明するため、画像処理部３の構成と共に図１に示した撮像部２の内部構成及びメモリ４も併せて示している。先ず、画像処理に用いる撮像画像データを得るための撮像部２について簡単に説明しておく。
撮像部２には、第１カメラ部２０−１、第２カメラ部２０−２、Ａ／Ｄ変換器２１−１、Ａ／Ｄ変換器２１−２、及び画像補正部２２が設けられている。
第１カメラ部２０−１、第２カメラ部２０−２は、それぞれカメラ光学系とＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子とを備えて構成され、前記カメラ光学系により前記撮像素子の撮像面に被写体像が結像され、該撮像素子にて受光光量に応じた電気信号が画素単位で得られる。
第１カメラ部２０−１、第２カメラ部２０−２は、いわゆるステレオ撮像法による測距が可能となるように設置される。すなわち、視点の異なる複数の撮像画像が得られるように配置されている。本例における第１カメラ部２０−１、第２カメラ部２０−２は、自車両のフロントガラス上部近傍において、車幅方向に所定間隔を空けて配置されている。第１カメラ部２０−１、第２カメラ部２０−２の光軸は平行とされ、焦点距離はそれぞれ同値とされる。また、フレーム周期は同期し、フレームレートも一致している。

第１カメラ部２０−１の撮像素子で得られた電気信号はＡ／Ｄ変換器２１−１に、第２カメラ部２０−２の撮像素子で得られた電気信号はＡ／Ｄ変換器２１−２に供給され、それぞれＡ／Ｄ変換が行われる。これにより、画素単位で所定階調による輝度値を表すデジタル画像信号（画像データ）が得られる。本実施の形態において、第１カメラ部２０−１及び第２カメラ部２０−２はＲ（赤），Ｇ（緑），Ｂ（青）によるカラー撮像画像を得ることが可能とされており、上記の輝度値としてはＲ，Ｇ，Ｂのそれぞれに対応した値が得られる。また、本例の場合、第１カメラ部２０−１、第２カメラ部２０−２が有する撮像素子の有効画素数は、例えば水平方向１２８０画素程度×垂直方向９６０画素程度とされている。

画像補正部２２には、Ａ／Ｄ変換器２１−１を介して得られる第１カメラ部２０−１による撮像画像に基づく画像データ（以下「第１撮像画像データ」と表記）と、Ａ／Ｄ変換器２１−２を介して得られる第２カメラ部２０−２による撮像画像に基づく画像データ（以下「第２撮像画像データ」と表記）とが入力される。画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対し、第１カメラ部２０−１、第２カメラ部２０−２の取り付け位置の誤差に起因するずれの補正を例えばアフィン変換等を用いて行う。また画像補正部２２は、第１撮像画像データ、第２撮像画像データのそれぞれに対しノイズの除去等を含む輝度値の補正も行う。

撮像部２で得られた第１撮像画像データ、第２撮像画像データは、画像処理部３によってメモリ４に記録・保持される。

画像処理部３は、例えばマイクロコンピュータで構成され、起動されたプログラムに従って第１撮像画像データ、第２撮像画像データに基づく各種の画像処理を実行する。
図２においては、画像処理部３が実行する各種の画像処理を機能ごとに分けてブロック化して示している。図のように画像処理部３は、機能ごとに大別すると、三次元位置情報生成処理部３Ａ、車線検出処理部３Ｂ、車線モデル形成処理部３Ｃ、及び先行車両検出処理部３Ｄを有している。

三次元位置情報生成処理部３Ａが実行する三次元位置情報生成処理は、メモリ４に保持された第１撮像画像データ、第２撮像画像データに基づき三次元位置情報を生成する処理となる。具体的に、三次元位置情報生成処理は、第１撮像画像データと第２撮像画像データ（つまりステレオ撮像された一対の画像データ）の間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差ｄｐとして算出し、視差ｄｐを用いて三角測量の原理により実空間上における対応点の位置の情報を三次元位置情報として生成する処理である。
上記のような視差ｄｐとしての座標のずれを算出するにあたっては、予め第１撮像画像データ、第２撮像画像データのうちの一方が「基準画像」、他方が「比較画像」として定められている。比較画像は、基準画像上の水平方向端部に位置する物体についての視差ｄｐの算出を可能とするため、基準画像よりも水平方向画素数が多い画像として生成されている。

ここで、三次元位置情報は、一対のカメラ（第１カメラ部２０−１と第２カメラ部２０−２）の中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸ととった場合の空間上の点（Ｘ，Ｙ，Ｚ）として表される情報である。
三次元位置情報としてのＸ，Ｙ，Ｚの各値は、基準画像における水平方向に平行な軸をｉ軸、垂直方向に平行な軸をｊ軸としたときの画素の座標を（ｉ，ｊ）で表し、一対のカメラの間隔をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、カメラ正面の無限遠点の基準画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、下記［式１］〜［式３］で表される座標変換により求まる。
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ） …［式１］
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ） …［式２］
Ｚ＝ＣＤ／｛ＰＷ×（ｄｐ−ＤＰ）} …［式３］
上記［式３］における「ＤＰ」は、消失点視差や無限遠対応点などとも称されるが、要するに基準画像と比較画像の間の対応点間の視差ｄｐと、対応点までの実空間上での距離Ｚとが上記［式３］を満たすようにして決定される値である。以下、この「ＤＰ」については「視差オフセット値ＤＰ」と表記する。

車線検出処理部３Ｂが実行する車線検出処理は、基準画像（つまり第１撮像画像データ又は第２撮像画像データのうち予め設定された方の画像データ）と、上記の三次元位置情報生成処理で生成された三次元位置情報（対応点としての画素ごとの距離Ｚを含む）とに基づき、自車両が走行する路面上に形成された車線（被写体として写し出された車線）を検出する処理となる。
なお、本実施の形態における車線検出処理の詳細については後に改めて説明する。

車線モデル形成処理部３Ｃが実行する車線モデル形成処理は、上記の車線検出処理で検出された車線の情報（車線候補点）に基づき、Ｘ，Ｙ，Ｚの各軸で定義される三次元空間上における車線モデルを形成する処理である。具体的には、後述するように車線検出処理で行ごと（水平ラインごと）に検出される車線の開始位置ｄｓと終了位置ｄｅ（それぞれ（Ｘ，Ｙ，Ｚ）による三次元位置情報で検出される）のうち少なくとも開始位置ｄｓを例えば最小二乗法等で直線近似して、三次元空間上における車線モデルを形成する。このように形成された車線モデルにより、自車両が走行する路面の高さ情報も得られたことになる。

先行車両検出処理部３Ｄが実行する先行車両検出処理は、基準画像と三次元位置情報とに基づき自車両の前方に存在する先行車両を検出する処理である。この先行車両検出処理では、先ず、三次元位置情報に基づき物体検出処理を行い、画像内に存在する物体を該物体までの距離Ｚの情報も含めて検出する。例えばこの物体検出処理では、先の視差ｄｐの算出過程で検出された各対応点をその距離Ｚの値を対応づけて画像上に表した距離画像を生成し、該距離画像を縦方向に仕切る複数の縦領域に分割し、縦領域ごとに画像縦方向（ｊ方向）の距離分布を表す距離ヒストグラムを作成し、度数が最大となる位置（対応点）の距離Ｚをその縦領域内に存在する物体の代表距離とする。そして、代表距離が得られた度数最大となる各対応点について、近接する各対応点までの距離Ｚや方向などの関係性から、同一物体とみなされる画素範囲をグループ化し、画像内に存在する各物体の範囲を特定する。これにより、画像内に存在する物体が該物体までの距離Ｚの情報も含めて検出される。
ここで、上記の距離画像はフレームごとに順次得られるものである。先行車両検出処理では、複数フレームにわたって検出物体の距離Ｚの情報をモニタすることで、自車両の走行路上に存在する物体であって、自車両と略同じ方向に所定の速度で移動するものを先行車両として抽出する。このとき、車両以外の物体の誤検出を抑制するために、基準画像を用いたパターンマッチング（例えばブレーキランプ部分等の車両の特徴点に基づくパターンマッチング）も併せて行う。
先行車両を検出した場合は、先行車両検出情報として先行車距離（＝自車両との車間距離）、先行車速度（＝車間距離の変化割合＋自車速）、先行車加速度（＝先行車速の微分値）を算出・保持する。
なお、上記の先行車両検出処理の手法は特開２０１２−６６７５９号公報に開示された手法と同様であり、詳しくは該文献を参照されたい。

また、先行車両検出処理部３Ｄは、先行車両の入れ替わりを検出可能とされている。先行車両の入れ替わりとは、検出中であった先行車両が自車両の前方から離脱したことに伴いその前方にある車両が新たに先行車両として検出された場合や、検出中であった先行車両と自車両との間に他の車両が割り込んで当該他の車両が新たに先行車両として検出されるなど、検出中であった先行車両に変わって他の車両が新たに先行車両として検出された場合を意味する。

＜３．実施の形態の車線検出処理＞
車線検出処理部３Ｂが実行する車線検出処理の詳細について説明する。
図２に示されるように、車線検出処理部３Ｂは、機能ごとに大別して、探索範囲設定処理部３０、輝度重視モード処理部３１、色差・輝度モード処理部３２、及びモード移行制御処理部３３を有しているものと表すことができる。

探索範囲設定処理部３０が実行する探索範囲設定処理は、基準画像内で車線の探索を行う範囲としての車線探索範囲ｓａを設定する処理である。本例の場合、車線探索範囲ｓａとしては画像内の右側に配される右側車線探索範囲ｓａＲと左側に配される左側車線探索範囲ｓａＬの二つを設定する。

探索範囲設定処理では、車線が未検出の場合には、図３Ａに示されるような右側車線探索範囲ｓａＲ及び左側車線探索範囲ｓａＬを設定する。車線が未検出の場合における右側車線探索範囲ｓａＲ、左側車線探索範囲ｓａＬとしては、それぞれ基準画像内において右側の車線が写し出されることが予想される範囲、左側の車線が写し出されることが予想される範囲を含むように比較的広範囲に設定される。具体的に、右側車線探索範囲ｓａＲとしては、探索開始位置ｉｓＲから探索終了位置ｉｅＲまでの幅が比較的広く設定され、左側車線探索範囲ｓａＬとしては探索開始位置ｉｓＬから探索終了位置ｉｅＬまでの幅が比較的広く設定される。
なお、右側車線探索範囲ｓａＲについて、左辺側が探索開始位置ｉｓＲ、右辺側が探索終了位置ｉｅＲとされているのは、右側車線探索範囲ｓａＲでは左側から右側にかけて車線の探索（後述するピーク値の探索）が行われることに由来している。一方、左側車線探索範囲ｓａＬについて右辺側が探索開始位置ｉｓＬ、左辺側が探索終了位置ｉｅＬと称されるのは、左側車線探索範囲ｓａＬでは逆に右側から左側にかけて車線の探索が行われることに由来している。なお、この点からも理解されるように、それぞれの車線探索範囲ｓａにおける探索方向は、共に自車両の中心側から外側にかけての方向とされている。

また、探索範囲設定処理では、車線が検出された場合には、車線の開始位置ｄｓと終了位置ｄｅとを基準とした車線探索範囲ｓａを設定する。
図３Ｂは、右側と左側の双方の車線が検出された場合に対応して設定された右側車線探索範囲ｓａＲ、左側車線探索範囲ｓａＬの例を示している。
この場合の右側車線探索範囲ｓａＲは、右側で検出された車線の開始位置ｄｓＲから左側に所定画素数分オフセットした位置を探索開始位置ｉｓＲとし、該右側で検出された車線の終了位置ｄｅＲから右側に所定画素数分オフセットした位置を探索終了位置ｉｅＲとした範囲として設定される。また、この場合の左側車線探索範囲ｓａＬは、左側で検出された車線の開始位置ｄｓＬから右側に所定画素数分オフセットした位置を探索開始位置ｉｓＬとし、該左側で検出された車線の終了位置ｄｅＬから左側に所定画素数分オフセットした位置を探索終了位置ｉｅＬとした範囲として設定される。
なお、車線探索範囲ｓａの幅は実空間上での幅を略一定とするため、上記のように車線の開始位置ｄｓや終了位置ｄｅに対して与えるオフセットは距離Ｚに応じて可変とする（遠いほど狭くする）。すなわち、ｊの値が大きい行（水平ライン）ほどオフセットが小さくなる傾向とする。

図２に戻り、輝度重視モード処理部３１が実行する輝度重視モード処理は、車線探索範囲ｓａ内における過半数以上の行について輝度画像に基づいた車線部分の検出を行い且つその他の行について色差画像に基づいた車線部分の検出を行う処理である。

ここで、前述もしたが、車線としては、白色車線のみでなく例えばオレンジ色車線（黄色車線）等の有色車線も存在する。図４Ａ及び図４Ｂは、共に路面上の左側に白色車線、右側に例えばオレンジ色車線としての有色車線が形成されている場合の撮像画像を例示しているが、例えば図４Ａに示す例では、白色車線については輝度が路面輝度よりも大きいが、有色車線については輝度が路面輝度と同程度とされている。また、図４Ｂの例では、同様に白色車線の輝度は路面輝度よりも大きいが、有色車線の輝度は路面輝度よりも小さくなっている。
このように有色車線については、その輝度が路面輝度に対して同程度か或いは小さく撮像される場合がある。これら図４Ａや図４Ｂのケースは、例えばコンクリート地の道路を走行中であるなど路面輝度が比較的高くなっている場合や、有色車線の色味が比較的濃く（例えば塗装間もない場合など）有色車線の輝度が比較的低くなっている場合など、実走行環境下において十分に生じ得るものである。

例えば図４Ａや図４Ｂのように有色車線の輝度が路面輝度に対して同等又は小さくなるような走行環境において、輝度画像に基づく車線検出を行った場合には、白色車線についての検出は可能とされるが有色車線についての検出を適切に行うことはできない。
前述のように、有色車線については、色差画像に基づく検出を行うことが有効であるが、白色車線と有色車線の双方を適切に検出するために共通の画像部分に対して輝度画像に基づく検出と色差画像に基づく検出の双方を実行することは処理負担の増大化を招くため望ましくない。
また、通常、有色車線の出現率は白色車線に対して少ないため、色差画像に基づく車線検出を輝度画像に基づく車線検出と共に常時行うことは同様に処理負担の増大化の面で望ましくない。

そこで、本実施の形態では、車線検出処理の初期モードとして、上述のような輝度重視モードによる車線検出処理を行う。
図５Ａは、輝度重視モードの説明図である。
先ず、輝度重視モードでは、右側車線探索範囲ｓａＲ、左側車線探索範囲ｓａＬのそれぞれにおいて、輝度画像に基づき車線部分の検出を行う行が輝度重視時輝度行Ｌbvb（図中太実線で表す）として設定されていると共に、色差画像に基づき車線部分の検出を行う行が輝度重視時色差行Ｌbvc（図中太破線で表す）として設定されている。

本例の場合、輝度重視時色差行Ｌbvcは、その間隔が実空間上での一定距離間隔（例えば２ｍ間隔）に相当する間隔となるように配置されている。すなわち、輝度重視時色差行Ｌbvcの間隔は、画像内の上方となるに従って狭まる傾向とされている。
一方、輝度重視時輝度行Ｌbvbは、輝度重視時色差行Ｌbvcとして設定された行以外の行として設定されている。この場合、輝度重視時色差行Ｌbvcの間隔は、少なくとも輝度重視時輝度行Ｌbvbの数が輝度重視時色差行Ｌbvcの数よりも多くなるように設定されている。

ここで、本例の場合、輝度重視時輝度行Ｌbvbに対して行う輝度画像に基づく車線部分の検出では、Ｒ画像、Ｇ画像、又はＢ画像の何れかのエッジ画像を用いる。具体的に、本例ではＧ画像のエッジ画像を用いる。
輝度画像に基づく車線部分の検出では、Ｇ画像のエッジ画像内における対象行について、探索開始位置ｉｓから探索終了位置ｉｅにかけてエッジ値のピーク検出を行う。すなわち、右側車線探索範囲ｓａＲを対象とする場合には対象行における探索開始位置ｉｓＲから探索終了位置ｉｅＲにかけて、左側車線探索範囲ｓａＬを対象とする場合には対象行における探索開始位置ｉｓＬから探索終了位置ｉｅＬにかけて、それぞれエッジ値のピーク位置の検出を行う。
このとき、対象行における探索開始位置ｉｓから探索終了位置ｉｅまでの範囲内に白色車線の一部（車線部分）が写し出されていれば、当該ピーク位置の検出によって車線部分の開始位置ｄｓと終了位置ｄｅが検出される。輝度画像に基づく車線部分の検出では、これらの開始位置ｄｓと終了位置ｄｅの情報を三次元位置情報として算出する。
前述した車線モデル形成処理部３Ｃでは、このように算出された開始位置ｄｓと終了位置ｄｅのうち少なくとも開始位置ｄｓの情報を用いて車線モデルが形成される。

色差画像に基づく車線部分の検出では、Ｕ（Ｂ−Ｇ），Ｖ（Ｒ−Ｇ）の色差画像のうち何れかのエッジ画像を用いる。本例では、Ｕ画像（Ｂ−Ｇ）のエッジ画像を用いることとしている。
色差画像に基づく車線部分の検出手法は、上記で説明した輝度画像に基づく車線部分の検出手法と比較して、エッジ値のピーク位置の検出を行う対象が色差画像における輝度重視時色差行Ｌbvcとなる以外は同様となるため重複説明は避ける。

このような輝度重視モードによれば、主として輝度画像に基づく検出を行っていることで白色車線の車線部分の検出が可能とされる。またこれと共に、車線探索範囲内の一部で色差画像に基づく検出を併せて行っていることで、有色車線が出現した場合、その車線部分の有無を確認することが可能とされる。

なお、輝度重視モードにおいて、輝度重視時色差行Ｌbvcにおける検出で求まった車線の開始位置ｄｓ、終了位置ｄｅの情報は、後述するモード移行制御処理部３３によるモード移行判定に用いられる。

色差・輝度モード処理部３２が行う色差・輝度モード処理について説明する。
色差・輝度モード処理は、色差画像に基づく車線部分の検出を輝度重視モード時よりも多くの行で行う処理である。

図５Ｂは、色差・輝度モードについての説明図であり、右側車線探索範囲ｓａＲ側で色差・輝度モードによる車線検出処理が行われた場合の様子を示している。
色差・輝度モードでは、右側車線探索範囲ｓａＲ、左側車線探索範囲ｓａＬのそれぞれにおいて、輝度画像に基づき車線部分の検出を行う行が色差・輝度時輝度行Ｌcbb（図中太実線で表す）として設定されていると共に、色差画像に基づき車線部分の検出を行う行が色差・輝度時色差行Ｌcbc（図中太破線で表す）として設定されている。
本例の色差・輝度モードでは、図のように色差・輝度時輝度行Ｌcbbと色差・輝度時色差行Ｌcbcを１行おきに交互に配置することで、色差画像に基づく車線部分の検出を行う行を輝度重視モード時よりも増やしている。
色差・輝度モードにおいて、輝度画像に基づく車線部分の検出手法、色差画像に基づく車線部分の検出手法はそれぞれ輝度重視モードについて説明した手法と同様となるため重複説明は避ける。

上記のような色差・輝度モードによれば、色差画像に基づく車線部分の検出が行われる行が増やされることで、有色車線を適切に検出可能とされる。

本例では、上記のように色差・輝度時輝度行Ｌcbbと色差・輝度時色差行Ｌcbcを１行おきに交互に配置することで、有色車線と共に白色車線の検出も可能としている。これは、例えば図６に示されるように白色車線と有色車線とが近接して配置された二重ラインが出現した際に、双方の車線を検出可能（双方の車線モデルを形成可能）とするためである。

ここで、上記により説明した輝度重視モード処理、色差・輝度モード処理のそれぞれは、前述した基準画像を対象としてフレームごとに繰り返し実行されるものである。

続いて、モード移行制御処理部３３が行うモード移行制御処理について説明する。
モード移行制御処理は、色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出された行の数に基づいて、輝度重視モードと色差・輝度モードとの間のモード移行判定、及び判定結果に基づくモード移行制御を行う処理である。
具体的に、モード移行制御処理では、現在のモードが輝度重視モードである場合には、モード移行判定として、輝度重視時色差行Ｌbvcのうち所定幅以上の車線部分が検出された行の数に基づいて、色差・輝度モードへの移行を行うか否かの判定を行う。
本例の場合、輝度重視モード時におけるモード移行判定では、輝度重視時色差行Ｌbvcのうち
（１）検出された開始位置ｄｓから終了位置ｄｅの実空間上での幅が所定幅以上
（２）視差ｄｐの値が所定範囲内
の両条件を満たす行の数が、対象とする車線探索範囲ｓａ内の輝度重視時色差行Ｌbvcの総数のα割以上（例えば８割以上）であるか否かを判定する。なお、（１）の条件における「所定幅」としては、実空間上における車線の幅に対応した値として設定する。本例において、（１）の条件としては、幅の下限値のみを設けるのではなく上限値も設けて、「検出された開始位置ｄｓから終了位置ｄｅの実空間上での幅が所定範囲内」との条件とする。

モード移行制御処理では、上記のような判定により肯定結果が得られたことに応じて、車線検出処理のモードが輝度重視モードから色差・輝度モードに切り換えられるように制御を行う。
本例では、モード移行判定はフレームごとに行っており、上記のように肯定結果が得られた場合は次のフレームから色差・輝度モードによる車線検出処理に切り換えられるものとなる。

また、モード移行制御処理では、現在のモードが色差・輝度モードである場合におけるモード移行判定として、輝度・視差時色差行Ｌcbcのうち所定幅以上の車線部分が検出された行の数に基づいて、輝度重視モードへの移行を行うか否かの判定を行う。具体的に本例では、輝度・視差時色差行Ｌcbcを対象として、上記の（１）及び（２）の両条件を満たす行の数が輝度・視差時色差行Ｌcbcの総数のα割未満（例えば８割未満）であるか否かを判定する。
このような色差・輝度モード時のモード移行判定としても、基準画像のフレームごとに繰り返し実行する。

ここで、本例では、モード移行のハンチング防止のため、色差・輝度モードから輝度重視モードへの移行に関しては、モード移行判定で移行を肯定する判定結果が得られたとしても、数フレームはモード移行の抑制を行う。具体的には、上記のような色差・輝度モード時のモード移行判定で肯定結果が得られた回数が所定回数に達したことに応じて、輝度重視モードへの移行制御を行う。

＜４．処理手順＞
上記した輝度重視モード処理、輝度・色差モード処理、及びモード移行制御処理による機能を実現するために画像処理部３が実行すべき具体的な処理の手順を図７及び図８のフローチャートを参照して説明する。図７は、輝度重視モード時に対応して実行されるべき輝度重視モード対応処理、図８は色差・輝度モード時に対応して実行されるべき色差・輝度モード対応処理を示している。
なお、図７に示す処理は、輝度重視モード時において基準画像のフレームごとに繰り返し実行されるものであり、図８に示す処理は色差・輝度モード時において基準画像のフレームごとに繰り返し実行されるものである。また、図７、図８に示す処理は、右側車線探索範囲ｓａＲ、左側車線探索範囲ｓａＬのそれぞれについて実行されるものである。

先ず、図７において、画像処理部３はステップＳ１０１で、輝度重視時輝度行Ｌbvbについて輝度画像に基づく車線部分の検出を行う。すなわち、Ｇ画像のエッジ画像を対象として、右側車線探索範囲ｓａＲ、左側車線探索範囲ｓａＬのうち対象とする側の車線探索範囲ｓａ内の輝度重視時輝度行Ｌbvbについて、それぞれ探索開始位置ｉｓから探索終了位置ｉｅまでの範囲内でエッジ値のピーク位置を検出する。前述のように白色車線の車線部分が存在する場合は、エッジ値のピーク位置が車線の開始位置ｄｓ、終了位置ｄｅとして検出される。

続くステップＳ１０２で画像処理部３は、輝度重視時色差行Ｌbvcについて色差画像に基づく車線部分の検出を行う。すなわち、Ｕ画像のエッジ画像を対象として、対象とする側の車線探索範囲ｓａ内の輝度重視時色差行Ｌbvcについて、それぞれ探索開始位置ｉｓから探索終了位置ｉｅまでの範囲内でエッジ値のピーク位置を検出する。有色車線の車線部分が存在する場合は、エッジ値のピーク位置が車線の開始位置ｄｓ、終了位置ｄｅとして検出される。

なお、ステップＳ１０１とＳ１０２の処理の実行順序は逆であってもよい。

さらに、続くステップＳ１０３で画像処理部３は、輝度重視時色差行Ｌbvcについて、車線の開始位置ｄｓから終了位置ｄｅまでの幅（実空間上での幅）が所定範囲内（前述した（１）に相当する条件）、視差ｄｐが所定範囲内（前述した（２）の条件）の両条件を満たす行の数が輝度重視時色差行Ｌbvcの総数のα割（例えば８割）以上あるか否かを判定する。
ステップＳ１０３において、上記の両条件を満たす行の数が輝度重視時色差行Ｌbvcの総数のα割以上あった場合、画像処理部３はステップＳ１０４に進み、色差・輝度モード移行処理として、次フレームから色差・輝度モード処理を実行するように設定する処理を行う。

続くステップＳ１０５で画像処理部３は、モード戻しカウント値として「Ｎ」を設定し、この図に示す処理を終了する。なお、モード戻しカウント値は、前述したハンチング防止のためのカウント値であり、「Ｎ」の値としては２以上の自然数を設定する。

また、ステップＳ１０３において、上記の両条件を満たす行の数が輝度重視時色差行Ｌbvcの総数のα割以上ではなかった場合、画像処理部３はステップＳ１０４及びＳ１０５をパスしてこの図に示す処理を終了する。すなわち、この場合は輝度重視モードが継続される。

続いて、図８の色差・輝度モード対応処理について説明する。
図８において、先ず、画像処理部３はステップＳ２０１で、色差・輝度時輝度行Ｌcbbについて輝度画像に基づく車線部分の検出を行い、続くステップＳ２０２で色差・輝度時色差行Ｌcbcについて色差画像に基づく車線部分の検出を行う。
なお、ステップＳ２０１の処理は、対象が色差・輝度時輝度行Ｌcbbとされる以外は先のステップＳ１０１の処理と同様であり、またステップＳ２０２の処理は対象が色差・輝度時色差行Ｌcbcとされる以外は先のステップＳ１０２の処理と同様である。従って、重複説明は避ける。
これらステップＳ２０１とＳ２０２の処理についても実行順序は逆であってもよい。

次に、画像処理部３はステップＳ２０３で、色差・輝度時色差行Ｌcbcについて、車線の開始位置ｄｓから終了位置ｄｅまでの幅（実空間上での幅）が所定範囲内（前述した（１）に相当する条件）、視差ｄｐが所定範囲内（前述した（２）の条件）の両条件を満たす行の数が色差・輝度時色差行Ｌcbcの総数のα割（例えば８割）以上あるか否かを判定する。

ステップＳ２０３において、上記の両条件を満たす行の数が色差・輝度時色差行Ｌcbcの総数のα割以上であった場合、画像処理部３はこの図に示す処理を終了する。すなわち、この場合は色差・輝度モードが継続される。

一方、ステップＳ２０３において、上記の両条件を満たす行の数が色差・輝度時色差行Ｌcbcの総数のα割以上ではなかった場合、画像処理部３はステップＳ２０４に進み、モード戻しカウント値を−１した上で、ステップＳ２０５でモード戻しカウント値が０であるか否かを判定する。
モード戻しカウント値が０ではなかった場合、画像処理部３はこの図に示す処理を終了する。一方、モード戻しカウント値が０であった場合、画像処理部３はステップＳ２０６に進み、輝度重視モード移行処理として次フレームから輝度重視モード処理を実行するように設定する処理を行い、この図に示す処理を終了する。
すなわち、ステップＳ２０３のモード移行判定によりモード移行を肯定する判定結果がＮ回（本例ではＮフレーム）得られるまでは、輝度重視モードへの移行は行われず、モード移行が抑制される。

なお、モード移行のハンチング防止を図るにあたっては、ステップＳ２０３のモード移行判定によりモード移行を肯定する判定結果が所定回数連続して得られるまでモード移行が抑制されるようにすることもできる。

＜４．実施の形態のまとめ＞
上記のように本実施の形態の画像処理装置（画像処理部３）は、自車両の進行方向を撮像してカラー画像としての撮像画像を得る撮像部（撮像部２）と、撮像部により得られた撮像画像に基づき被写体として写し出された車線を検出する車線検出部（車線検出処理部３Ｂ）とを備えている。
そして、車線検出部は、撮像画像に対して設定された車線探索範囲（ｓａ）を対象とした車線検出処理として、車線探索範囲内における過半数以上の行について輝度画像に基づいた車線部分の検出を行い且つその他の行について色差画像に基づいた車線部分の検出を行う第１モード（輝度重視モード）による車線検出処理と、色差画像に基づく車線部分の検出を第１モード時よりも多くの行で行う第２モード（色差・輝度モード）による車線検出処理とを実行可能とされると共に、色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出された行の数に基づいて、第１モードと第２モードとの間のモード移行判定、及び判定結果に基づくモード移行制御を行うモード移行制御処理を実行している。

第１モードでは、主として輝度画像に基づく検出を行っていることで白色車線の車線部分の検出が可能とされると共に、色差画像に基づく検出も併せて行っていることで、有色車線の車線部分の有無を確認することが可能とされる。有色車線が出現した場合には、モード移行制御処理により第１モードから第２モードへのモード移行が行われて色差画像に基づく検出が行われる行が増やされることで、有色車線を適切に検出可能とされる。
これにより、白色車線と有色車線の双方を適切に検出可能とするにあたり、同一の行について輝度画像に基づく検出と色差画像に基づく検出の双方を行う必要がなくなる。
従って、処理負担の軽減を図りつつ、白色車線と有色車線の双方を適切に検出できる。

また、本実施の形態の画像処理装置においては、車線探索範囲は、撮像画像内の左右に離間して二つ設定されており、車線検出部は、モード移行制御処理を車線探索範囲ごとに実行している。
これにより、有色車線が進行方向の右側に存在する場合、及び左側に存在する場合の双方に対応可能となる。

さらに、本実施の形態の画像処理装置においては、第１モード時における色差画像に基づく車線部分の検出を行う行（Ｌbvc）の間隔が、実空間上の一定距離間隔に相当する間隔に設定されている。
これにより、例えば画像空間上での一定間隔とする場合と比較して有色車線のサンプリング間隔が適切となる。
従って、適切なサンプリング結果に基づいてモード移行を適切に行うことができる。

さらにまた、本実施の形態の画像処理装置においては、第２モード時においては、輝度画像に基づいた車線部分の検出を行う行（Ｌcbb）と色差画像に基づいた車線部分の検出を行う行（Ｌcbc）とが１行おきに交互に配置されている。
これにより、同一車線探索範囲内に白色車線と有色車線の双方が存在する場合に、双方の車線を適切に検出可能となる。
従って、例えば図６に示したような二重ラインが出現した場合に、白色車線と有色車線の双方を適切に検出可能とできる。

加えて、本実施の形態の画像処理装置においては、撮像部は、自車両の進行方向をステレオ撮像して一対の撮像画像を得、撮像部により得られた一対の撮像画像に基づいて被写体の視差を算出する視差算出部（三次元位置情報算出処理部３Ａ）をさらに備え、車線検出部は、モード移行制御処理におけるモード移行判定を、色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出され且つ検出された車線部分の視差ｄｐの値が所定範囲内である行の数に基づいて行っている。
検出された車線部分の視差ｄｐの値が所定範囲内にあるということは、該車線部分はステレオ撮像された他方の撮像画像（基準画像でない方の撮像画像）においても写し出されていると推測される。このため、上記のようにモード移行判定の条件として視差ｄｐの値が所定範囲内であるとの条件を課すようにすれば、例えば片側（基準画像側）のカメラにのみ付着したゴミ等による車線部分の誤検出に反応してモード移行判定で肯定結果が得られてしまうことの防止が図られる。
すなわち、車線部分の誤検出に伴う不適切なモード移行が行われてしまうことの防止を図ることができる。

また、本実施の形態の画像処理装置においては、車線検出部は、モード移行制御処理として、モード移行判定をフレームごとに行い、第１モードから第２モードへの移行制御は、モード移行判定により移行を肯定する判定結果が得られたことに応じて行い、第２モードから第１モードへの移行制御は、モード移行判定により移行を肯定する判定結果が得られた回数が所定回数に達したことに応じて行っている。
これにより、第２モードへの移行後、即座に第１モードに戻されてしまうことがない。
従って、モード移行についてのハンチングを防止できる。

＜５．変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記で説明した具体例に限定されず、多様な変形例が考えられるものである。
例えば、上記では、第２モード時（色差・輝度モード時）において、輝度画像に基づく車線部分の検出を行う行（Ｌcbb）と色差画像に基づく車線部分の検出を行う行（Ｌcbc）とを１行おきに交互配置する例を挙げたが、例えば先の図６のような二重ラインについて有色車線側のみを検出すればよいとされる場合等には、色差画像に基づく車線部分の検出を行う行を車線探索範囲ｓａ内の全行に配置してもよい。第２モード時において色差画像に基づく車線部分の検出を行う行としては、輝度画像に基づく車線部分の検出を行う行と同数以上で、且つ有色車線の検出が可能（車線モデルの形成が可能）となるように配置されればよい。

また、モード移行判定においては、上記で例示した車線部分の幅や視差ｄｐを基準とする以外にも、例えば車線部分の色成分を基準とすることも考えられる。具体的に、モード移行判定としては、色差画像に基づく車線部分の検出が行われた行のうち、所定幅以上の車線部分が検出され、且つ検出された車線部分の所定の色成分の含有率が所定の率以上である行の数に基づいて行うこともできる。このとき、「所定の色成分の含有率」としては、例えば、オレンジ色車線であればＲ成分の含有率とするなど、対象とする有色車線に特徴的な色成分の含有率とすればよい。なお、「車線部分の所定の色成分の含有率が所定の率以上」か否かの判別としては、例えば、車線部分を構成する画素のうちＲ値、Ｇ値、又はＢ値の何れかの値が所定値以上の画素の数が所定値以上か否かの判別とすればよい。
上記のようにモード移行判定において車線部分の所定の色成分の含有率が所定の率以上であるとの条件を課すことで、有色車線の色の特徴も加味したモード移行判定が実現される。
従って、モード移行判定の精度をより向上できる。

１…車両制御システム、２…撮像部、３…画像処理部、３Ａ…三次元位置情報生成処理部、３Ｂ…車線検出処理部、３０…探索範囲設定処理部、３１…輝度重視モード処理部、３２…色差・輝度モード処理部、３３…モード移行制御処理部

Claims (7)

1. 自車両の進行方向を撮像してカラー画像としての撮像画像を得る撮像部と、
   前記撮像部により得られた撮像画像に基づき被写体として写し出された車線を検出する車線検出部とを備え、
   前記車線検出部は、
   前記撮像画像に対して設定された車線探索範囲を対象とした車線検出処理として、前記車線探索範囲内における過半数以上の行について輝度画像に基づいた車線部分の検出を行い且つその他の行について色差画像に基づいた車線部分の検出を行う第１モードによる車線検出処理と、前記色差画像に基づく車線部分の検出を前記第１モード時よりも多くの行で行う第２モードによる車線検出処理とを実行可能とされると共に、
   前記色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出された行の数に基づいて、前記第１モードと前記第２モードとの間のモード移行判定、及び判定結果に基づくモード移行制御を行うモード移行制御処理を実行する
   画像処理装置。
2. 前記車線探索範囲は、前記撮像画像内の左右に離間して二つ設定されており、
   前記車線検出部は、
   前記モード移行制御処理を前記車線探索範囲ごとに実行する
   請求項１に記載の画像処理装置。
3. 前記第１モード時における前記色差画像に基づく車線部分の検出を行う行の間隔が、実空間上の一定距離間隔に相当する間隔に設定されている
   請求項１又は請求項２に記載の画像処理装置。
4. 前記第２モード時においては、前記輝度画像に基づいた車線部分の検出を行う行と前記色差画像に基づいた車線部分の検出を行う行とが１行おきに交互に配置されている
   請求項１乃至請求項３の何れかに記載の画像処理装置。
5. 前記撮像部は、自車両の進行方向をステレオ撮像して一対の撮像画像を得、
   前記撮像部により得られた前記一対の撮像画像に基づいて被写体の視差を算出する視差算出部をさらに備え、
   前記車線検出部は、
   前記モード移行制御処理における前記モード移行判定を、前記色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出され且つ検出された車線部分の視差の値が所定範囲内である行の数に基づいて行う
   請求項１乃至請求項４の何れかに記載の画像処理装置。
6. 前記車線検出部は、前記モード移行制御処理として、
   前記モード移行判定をフレームごとに行い、
   前記第１モードから前記第２モードへの移行制御は、前記モード移行判定により移行を肯定する判定結果が得られたことに応じて行い、
   前記第２モードから前記第１モードへの移行制御は、前記モード移行判定により移行を肯定する判定結果が得られた回数が所定回数に達したことに応じて行う
   請求項１乃至請求項５の何れかに記載の画像処理装置。
7. 前記車線検出部は、
   前記モード移行制御処理における前記モード移行判定を、前記色差画像に基づく車線部分の検出が行われた行のうち所定幅以上の車線部分が検出され且つ検出された車線部分の所定の色成分の含有率が所定の率以上である行の数に基づいて行う
   請求項１乃至請求項６の何れかに記載の画像処理装置。

Images