JP2008197863A - 車載用走行環境認識装置 - Google Patents

Abstract

【課題】
より精度の高い車載用画像認識処理装置を提供する。
【解決手段】
車両の外部を撮像する車載カメラ３ａ，３ｂからの信号を入力する入力部３と、入力部３で入力した画像信号を処理して外部環境の認識を妨げる要因を有する第１の画像領域を検出する画像処理部１６と、画像処理部１６によって検出された第１の画像領域の大きさ，位置、または第１の画像領域を有する車載カメラ３ａ，３ｂの設置場所の少なくともいずれか一つに基づいて、環境認識処理を行う第２の画像領域を決定する処理画像決定部１７と、処理画像決定部１７によって決定された第２の画像領域に基づいて車両の外部環境を認識する環境認識部２０とを有する車載用走行環境認識装置。
【選択図】図２

Description

本発明は、車載カメラなどによって撮像された画像を処理する技術に関連する。

近年、車両に搭載された撮像装置の画像に基づいて車両の外部環境を認識し、認識結果に基づいて自動運転や運転支援を行う技術の開発が進められている。

撮像装置の画像を処理して車両の外部の対象物を検出するとき、太陽光や他車のヘッドライトなどの影響で検出処理が適切に行えない場合がある。そこで、フロント，リアに各１台の画像入力手段を備え、フロントの画像入力手段で撮像した画像のコントラストが低下した場合に、リアの画像入力手段により撮像した画像を選択して、選択した画像情報に基づいて走行路を認識するものが知られている（例えば特許文献１参照）。

特開平０５−２０５１９６号公報

画像認識を困難にする原因は太陽光やヘッドライトによるものに限らず、その原因如何によっては、処理画像をフロントからリアに切り替えなくても環境情報を十分に得て、従来では画像認識が不可能だった状況でも画像認識ができる場合がある。また、太陽光やヘッドライトによる照射は、周囲に障害物などがない場合には、一定以上の時間、照射が続く。しかし、夕方、建物の間を走行している場合や、生垣による中央分離帯を持つ高速道路などで対向車からヘッドライトが向けられた場合などは、太陽光やヘッドライトに照らされている状態と、それらが遮光されている状態が短い時間で交互に繰り返される。上記従来技術によれば、このような場合にフロントおよびリアの画像切り替え処理が頻繁に行われ、画像処理に要する時間によっては走行環境を良く認識できない可能性がある。

本発明は、上記に鑑み、より精度の高い車載用画像認識処理を提供することを目的とする。

本発明は、外部環境の認識を妨げる要因を有する第１の画像領域を検出し、当該第１の画像領域の大きさ，位置、または第１の画像領域を有する車載撮像装置の設置場所の少なくともいずれか一つに基づいて、環境認識処理を行う第２の画像領域を決定し、第２の画像領域に基づいて車両の外部環境を認識する。

また本発明は、外部環境の認識を妨げる要因を有する第１の画像領域を検出し、当該第１の画像領域の大きさ，位置、または第１の画像領域を有する車載撮像装置の設置場所の少なくともいずれか一つに基づいて、環境認識方法を切り替え、切り替えた環境認識方法に基づいて車両の外部環境を認識する。

より精度の高い画像認識処理を提供することができる。

以下、本発明の実施形態を説明する。本発明は、例えば、車両周辺の道路の状況をカメラのような撮像手段によって撮像し、車線逸脱警報システムのような車載カメラを用いた車載システムに必要な自車周辺環境の情報を取得するとともに、運転の支援および乗員へ警報を発するようなシステムに適用が可能である。

図１は、本発明の実施例１をなす車載システム１のブロック構成図を示す。

図１に示す車載システム１は、車両に搭載されて自車の位置の検出と走行経路の案内や、自車がレーンから逸脱することを防止するシステムである。車載システム１は、撮像装置として、自車前方の画像を撮像する車載カメラ３ａと、自車後方を撮像する車載カメラ３ｂとを有し、さらに車室内に設置されて各種画像および各種情報を表示するためのディスプレイ１３と、自車が走行車線を逸脱する危険性がある際に警告音声を発生するスピーカー１４と、運転者によって走行支援システムの起動が操作される起動スイッチ１５と、ディスプレイ１３の表示制御をはじめとして車載システム１全体の動作を制御する走行環境認識装置２とを備えている。

尚、ここでは車載カメラ３ａと３ｂの２つを記載しているが、後述する処理画像の決定機能については、車載カメラが１つのシステムや、車載カメラが３つ以上のシステムでも適用可能である。

車載カメラ３ａは、例えば自車室内のルームミラー部に取り付けられて、自車前方の様子を所定の俯角、取付け位置で地面を見下ろした画像として撮像するようになっている。また、車載カメラ３ｂは、例えばリアバンパーの上部にリアバンパーが視野に入るように取り付けられて、自車後方の様子を所定の俯角、取付け位置で地面を見下ろした画像として撮像するようになっており、自車が後退時に後方の画像を運転者に提示することにも利用できるようになっている。この車載カメラ３ａにより撮像された自車前方の画像（以下「前方画像」という）と、車載カメラ３ｂにより撮像された自車両後方の画像（以下「後方画像」という）は、走行環境認識装置２に供給され、走行環境認識装置２は自車前方および自車後方のレーンマーカを認識し、自車が走行車線を逸脱する危険性があると判断した場合にはディスプレイ１３およびスピーカー１４により運転者に報知する、または逸脱しないように車両をコントロールする。

ディスプレイ１３は、例えばＬＣＤ（Liquid Crystal Display）等の表示機器よりなり、走行環境認識装置２による表示制御のもとで、例えばナビゲーションによる走行経路案内の画像やリアビューモニタ画像等の各種画像を表示する。また、このディスプレイ１３は、走行環境認識装置２により車載カメラ３ａや車載カメラ３ｂのレンズに付いた水滴等の撮像環境を認識したときに、この走行環境認識装置２による制御のもとで、撮像環境が良好でない旨を報知するメッセージを表示するとともに、走行支援機能の停止が発生した際はその旨をメッセージとして表示する。また、車載システム１において、走行環境認識装置２により撮像環境が良好でないことを認識した場合および走行支援機能が停止した際には、この走行環境認識装置２による制御のもとでスピーカー１４が駆動されて、警告音による報知も行われる。

走行環境認識装置２は、ＣＰＵ６，ＲＡＭ５，データＲＯＭ７やプログラムＲＯＭ４等がバスを介して接続されたマイクロプロセッサ構成であり、ＣＰＵ６がプログラムＲＯＭ４に格納された各種制御プログラムを実行することで、車載システム１全体の動作を制御するようになっている。特に、この走行環境認識装置２では、ＲＡＭ５が入力部３の一例である車載カメラ３ａ，３ｂにより撮像されてＡ／Ｄ変換された前方画像および後方画像のデータを保持する画像メモリとして機能するようになっている。

更に、この走行環境認識装置２では、プログラムＲＯＭ４に自車が走行レーンをはみ出さないように制御あるいは警報を出す走行支援プログラムと、ナビゲーションプログラムとがそれぞれ格納されており、ＣＰＵ６がこれらのプログラムを実行することで、ナビゲーション機能と、走行支援機能とがそれぞれ実現されるようになっている。

また、この走行環境認識装置２には、車速センサ９，ジャイロセンサ１０，ＧＰＳ
(Global Positioning System) 受信機１２が接続されており、ＤＶＤ(Digital VersatileDisc) ドライブ等のデータ再生装置に格納されている地図データベース１１から読み出された各種情報がコントロールユニットに供給されるようになっている。そして、車載システム１の通常動作時では、走行環境認識装置２のＣＰＵ６によってナビゲーションプログラムが実行され、地図データベース１１から供給された地図画像上に、自車両の現在位置や、乗員の操作入力に応じて探索された経路等を重ね合わせた走行経路案内画像がディスプレイ１３に表示されるようになっている。

さらに、この走行環境認識装置２には、自車両のエンジンを始動する際にオンとされるイグニッションスイッチ８が接続されており、このイグニッションスイッチ８からのイグニッション信号が走行環境認識装置２に供給されると、走行環境認識装置２のＣＰＵ６によってナビゲーションプログラムが実行される。

図２は、図１の走行環境認識装置２の機能ブロック図を示す。

走行支援機能を有効にするスイッチがオンになると、ナビゲーションプログラムに加え走行支援プログラムとが実行され、走行環境認識装置２が図のように入力部３，画像処理部１６，処理画像決定部１７，切り替え判定部１９，環境認識部２０，出力部２１として機能するようになっている。

入力部３は、図１の車載カメラ３ａ，３ｂ，イグニッションスイッチ８，車速センサ９，ジャイロセンサ１０，地図データベース１１，ＧＰＳ受信機１２，走行支援システム起動スイッチ１５からの信号を入力する。

画像処理部１６は、車載カメラ３ａと車載カメラ３ｂとで撮像した画像をそれぞれ処理することで、太陽光や周辺車両のヘッドライトによるハレーション、レンズに付いた水滴および汚れを検出する機能を有するものである。処理画像決定部１７は、画像処理部１６により認識した撮像環境から画像認識処理が可能な画像および画像領域を選択または決定する機能を有するものである。切り替え判定部１９は、処理画像決定部１７で画像認識処理を行う画像を切り替える必要があると判断された場合に、その時点での自車の走行状況に応じて処理画像を切り替えるタイミングを適切に判定する機能を有するものである。環境認識部２０は、処理画像決定部１７により決定した画像および画像領域中からレーンマーカを検出する機能を有するものである。出力部２１は、環境認識部２０のレーンマーカ検出結果から、自車が走行車線を逸脱する危険性がある場合に走行レーンを逸脱しないように制御信号を決定して当該制御信号をブレーキ制御装置９８やステアリング制御装置
９９に出力して車両をコントロールするか、または乗員に逸脱する危険性があることを報知する機能を有するものである。ここでブレーキ制御装置は、例えば油圧ブレーキであれば油圧系統の制御装置、電動ブレーキの場合は当該ブレーキの電動アクチュエータの制御装置であり、ステアリング制御装置９９は、例えばステアリングをアシストまたは駆動するモータや油圧系統に関わる制御装置である。

以上のように構成される車載システム１は、上述したように、走行環境認識装置２の
ＣＰＵ６によって実行されるナビゲーションプログラムによりディスプレイ１３に走行経路案内画像を通常時は表示している。そして、走行環境認識装置２のＣＰＵ６によって実行される走行支援プログラムにより走行車線を逸脱しないように支援している機能を停止する必要が発生すると、その旨を報知するメッセージがディスプレイ１３に重畳表示されるとともに、スピーカーから警告音を発生させて、車両の乗員に報知するようにしている。

図３は、図１の走行環境認識装置２による制御フローチャートを示す。

この図３に示す一連の処理は、イグニッションスイッチ８がオンとなったときにスタートし、イグニッションスイッチ８がオフとなるまで繰り返し行われる。自車両が走行中であるか停止中であるか、また、ディスプレイ１３に表示されている画像が走行経路案内画像かその他の映像であるかにかかわらず実施されることが好ましい。

まず、イグニッションスイッチ８がオンとなると、走行環境認識装置２により走行支援プログラムとナビゲーションプログラムとが実行され、走行支援システムの起動スイッチ１５がオンか否かを判定する（ステップ１０１）。そして、起動スイッチ１５がオンとなったときは、車載カメラ３ａと車載カメラ３ｂとにより前方画像と後方画像とが撮像され、走行環境認識装置２のＲＡＭ５に取り込まれて保持される。画像処理部１６は、その
ＲＡＭ５に取り込んだ各撮像画像に対してハレーションと水滴と汚れとを検知する処理を行う（ステップ１０２）。尚、ここではハレーション，水滴，汚れを検知する例を示すが、画像処理を阻害する要因であれば、これらに限らず本発明が適用可能である。

図４は、図３のステップ１０２におけるハレーション検出処理を示す。図５は、図４の処理におけるハレーション検知領域を示す。

まず、ハレーションを検出する領域を設定（ステップ１１３）し、検出領域内の各画素の輝度値が閾値以上の場合は画素値を１、閾値以下の場合は画素値を０とする２値画像を作成する（ステップ１１４）。次に、この２値画像のうち、画素値が１の画素で、しかも隣あっているものに同一のラベルを付与（以下「ラベリング」と呼ぶ）する（ステップ
１１５）。そして、ラベリング後のデータに対して、各ラベル毎の画素数をカウントし配列（Ｃｈ）に格納し（ステップ１１６）、Ｃｈの値から最大値（ＣＨｍ）を算出するとともにそのときのラベル（Ｌｎ）を求める（ステップ１１７）。ステップ１１８でＣＨｍの値が閾値以上かどうかを判定し、閾値以上の場合はハレーションが発生していると判定しハレーション検知フラグをオンにするとともに（ステップ１１９）、図５に示すようにハレーション領域の外接矩形の開始点(ＲＨｓｘ，ＲＨｓｙ)，終了点(ＲＨｅｘ，ＲＨｅｙ)を算出し、この矩形領域をハレーションが生じている領域とする（ステップ１２０）。また、ＣＨｍが閾値以下であった場合は、ハレーションが起きていないと判定する。

図６は、図３のステップ１０２における水滴，汚れの検出処理を示す。図７は、図６の処理における水滴および汚れの検知領域を示す。

まず、水滴および汚れを検出する領域を設定する（ステップ１２１）。その検出領域内で、例えばＳｏｂｅｌオペレータ等を用いて隣接する画素間の変化量（以下「エッジ強度」と呼ぶ）を算出（以下「エッジ検出」と呼ぶ）する（ステップ１２２）。次に、ステップ１２３で自車の速度が閾値以上であった場合は、過去のエッジ検出結果と今回算出したエッジ検出結果の平均をとりエッジ検出の累積値として配列Ｅｄに格納する（ステップ
１２４）。また、ステップ１２３で自車の速度が閾値以下であった場合は、配列Ｅｄを初期値に設定する（ステップ１２９）。そして、ステップ１２４で求めたエッジ検出累積結果Ｅｄのエッジ強度が閾値以上となる画素数Ｃｅをカウントするステップ(ステップ125)。ステップ１２６で求めたＣｅの値が閾値以上か判定し、閾値以上であれば水滴あるいは汚れが存在すると判定して水滴・汚れ検出フラグをオンとするとともに(ステップ１２７)、図７に示すように水滴および汚れのエリアの外接矩形の開始点（ＲＷｓｘ，ＲＷｓｙ）と終了点（ＲＷｅｘ，ＲＷｅｙ）を算出し、この矩形を水滴および汚れが存在する領域とする（ステップ１２８）。また、１２６でＣｅが閾値以下と判定された場合は、水滴および汚れが存在しないと判定する。

図３に戻り、以上のような撮像環境の認識結果から画像認識処理が継続可能かどうかを判定する（ステップ１０３）。画像処理部１６により水滴や汚れなどが車載カメラの設置位置とそれに基づく画像の種類、例えば車両前方に設置されたカメラによる車両前方の画像と、車両後方に設置されたカメラによる車両後方の画像とからともに検出され、かつ水滴・汚れの領域の大きさ（面積など）が閾値以上である場合に画像認識処理を継続不可と判定する。

画像認識処理が継続可能であれば、処理画像決定部はステップ１０２により認識した撮像環境と、ハレーションが生じている領域，水滴・汚れが付着している領域の大きさ，位置に基づき、走行支援に用いる画像および画像領域を決定する（ステップ１０４）。この場合、ハレーション領域，水滴・汚れ領域をマスクし、その他の領域を走行支援に用いることが好ましいが、ハレーション領域，水滴・汚れ領域であっても、さらなる画像処理により走行支援に用いるための対象物検知ができるようであれば、その領域を使用しても良い。

画像認識処理が継続可能でない場合は、走行支援システムの終了タイミングか否か、あるいは強制終了が必要か否かを判定（ステップ１１０）し、ステアリング制御装置９９やブレーキ制御装置９８への制御信号出力によって実現される走行支援システムを中止または終了する場合は乗員にその旨と終了の原因を報知（ステップ１１１）するとともに、終了処理を行う（ステップ１１２）。車両の乗員は、この報知によって走行支援システムが正常に動作しないことを認識することができ、例えばレンズに付いた水滴・汚れを除去するといった適切な対応を図ることが可能となる。

車載システム１では走行支援システム停止後も撮像環境の認識処理を継続し、イグニッションスイッチ８がオフとなるまで走行環境認識装置２によって走行支援システムが復旧可能かどうかを定期的に判定されるようになっており、復旧可能と判断された場合にはその旨を乗員に通知する。復旧可能か否かの判断は、画像処理部１６の認識結果により行い、復旧可能な場合、例えばハレーション検知フラグと水滴・汚れ検知フラグがともにオフとなった場合にはその旨をディスプレイ１３に重畳表示するとともに、スピーカーで音声を発し乗員に通知する。また、終了タイミングではなく、かつ強制終了が必要でないと判定された場合には画像認識処理を行う画像および画像領域を決定する（ステップ１０４）。

図８は、図３のステップ１０４の処理内容を示す。図９は、図８における撮像画像例を示す。

はじめに、初期状態としてリアカメラ動作モードを停止モードにセットする（ステップ１３０）。次にステップ１３１で、フロントカメラのハレーション検知フラグあるいは水滴検知フラグの少なくとも一方がオンであるか否かを判定する。ハレーション検知フラグおよび水滴検知フラグがともにオフである場合はフロントカメラ動作モードを２車線検出モードにセットする（１３７）。ハレーション検知フラグあるいは水滴検知フラグのいずれかがオンであった場合は、前方画像で１車線のみでもレーンマーカを検出することが可能かどうかを判定する（ステップ１３３）。例えば、ハレーション領域（ＲＨｓｘ，
ＲＨｓｙ，ＲＨｅｘ，ＲＨｅｙ），水滴・汚れ領域（ＲＷｓｘ，ＲＷｓｙ，ＲＷｅｘ，
ＲＷｅｙ）が前方画像の左半分あるいは右半分のみに存在するときは１車線のみ検出可能と判定する。１車線も検出可能でない場合はフロントカメラ動作モードを停止モードに設定する（ステップ１３８）。そして、リアカメラについてもフロントカメラのときと同様に処理する。まずステップ１３４で、リアカメラのハレーション検知フラグあるいは水滴検知フラグの少なくとも一方がオンであるか否かを判定する。ハレーション検知フラグおよび水滴検知フラグがともにオフである場合はリアカメラ動作モードを２車線検出モードにセットする（１３９）。ハレーション検知フラグあるいは水滴検知フラグのいずれかがオンであった場合は、前方画像で１車線のみでも車線を検出することが可能かどうかを判定する（ステップ１３５）。そして１車線を検出可能な場合は、リアカメラ動作モードを１車線検出モードにセットする（ステップ１３６）。この処理画像を決定する処理は、図９に示すように常に前方画像と後方画像とを処理しても良いし、画像処理部１６によりハレーション領域や水滴・汚れの領域が少しでも検出された場合には、後方画像による車線検出処理を開始し、ハレーション領域や水滴・汚れの領域の面積が規定値よりも大きくなった際に前方画像の車線検出処理を停止し後方画像のみから車線を検出するようにしても良い。これら停止モード，２車線検出モード，１車線検出モードを切り替えるということは、走行環境認識装置２が行う環境認識方法や環境認識プログラムを切り替えることと同義である。

このように、複数の車載カメラの撮像画像または認識結果を比較することによって認識精度を高め、従来技術ではシステムを動作させることができない撮像環境下でも動作を可能にし、雨天時等の複数のカメラで同時に撮像環境が悪化するような状況でも誤認識する可能性を低減できる。

図３に戻り、次のステップ１０６において、処理画像の決定結果が前回決定された前フレームの画像領域と異なる場合、または動作モードの決定結果が前回の決定結果と異なる場合は、切り替えるべきか否かを判定する。

図１０は、図３のステップ１０６の切り替え判定処理を示す。

まず、前フレームでの処理画像と処理画像決定部により決定した処理画像とが異なっているか否かを判定する（ステップ１４０）。切り替えが発生しない場合は、切り替えタイミングフラグをオフに設定し（ステップ１５０）、切り替えが発生する場合はステップ
１４１によりナビゲーションシステムにより経路案内を実行中か判定する。経路案内中の場合は車両が将来進行するルートである案内ルートを取得し（ステップ１４２）、案内ルートと地図データベースとから撮像環境が変化し得る時間を予測する（ステップ１４３）。ステップ１４１でナビゲーションシステムによる経路案内が実行中でない場合には、現在位置と地図データとから最も近いカーブあるいは交差点までの距離を算出し（ステップ１５１）、その算出した距離と自車の速度とから撮像環境が変化する時間を算出する（ステップ１５２）。そして、ステップ１５２あるいはステップ１４３により算出した時間と所定の値を比較する（ステップ１４４）。そして、算出した時間が所定の値よりも小さければ撮像環境がすぐに変化するため、前回の処理画像領域または処理画像そのものを維持し、これらの切り替えを行わない。さらに現在ステアリングやブレーキの制御が運転者または車両に搭載したコントローラによって行われているかどうかを判定する（ステップ
１４７）。当該判定は、走行環境認識装置２の出力部の値によって判定しても良いし、入力部３から入力した他の車載コントローラからの信号を入力して判定しても良いし、またはブレーキ制御装置９８やステアリング制御装置９９から信号を入力して判定しても良い。制御を行っていない場合は、切り替えタイミングフラグをオンにセットする（ステップ
１４８）。自車を制御中に走行支援機能を切り替えないことで、車両の挙動の乱れを無くすことができる。

このような画像を切り替える判定処理により、例えば夕方に建物の間を走行している場合や、生垣による中央分離帯を持つ高速道路などで対向車からヘッドライトが向けられた場合などの様な、太陽光やヘッドライトに照らされている状態と、それらが遮光されている状態が短い時間で交互に繰り返される場合に、処理画像の切り替えが頻発する問題を回避することができる。

図３に戻り、ステップ１０６において切り替えると判定された場合は、処理画像と動作モードを切り替えるための処理を行い（ステップ１０７）、レーンマーカ検出処理を行う（ステップ１０８）。切り替えないと判定された場合は、切り替え処理は行わずにレーンマーカの検出を行う。

図１１は、図３のステップ１０７の処理画像切り替え処理を示す。

まず、ステップ１５４で切り替えタイミングフラグがオンと判定されると、切り替え前の認識結果を切り替え後の座標系に変換し（ステップ１５６）、切り替えタイミングフラグをオフに設定する（ステップ１５７）。

図３に戻り、ステップ１０８のレーンマーカ検出処理は、フロントカメラ動作モードが２車線検出モードのときは２本のレーンマーカを検出し、１車線検出モードのときは１本のレーンマーカを検出する。また、停止モードのときは前方画像中のレーンマーカの検出処理は行わない。リアカメラも同様に、リアカメラ動作モードに基づいてレーンマーカの検出処理を行う。この際、前フレームまでの検出結果を用いて、現フレームでのレーンマーカの位置を予測する。前述の処理画像の切り替え処理（ステップ１０７）で、各撮像画像の座標変換を行うことで処理画像が切り替わった際も同様に、前フレームから現フレームでのレーンマーカの位置が予測可能となる。

以上の処理により求めた画像上での車線位置から、出力部は例えばレーンを逸脱しないようにステアリング制御装置９９に対して制御信号を出力する。または、画像処理によって認識した障害物手前で停止するようにブレーキ制御装置９８に対して制御信号を出力する。または、レーンを逸脱する危険がある場合には乗員にその旨を報知する（ステップ
１０９）。ステップ１０９の制御・警報処理では、レーンマーカの検出結果を用いて車線逸脱警報処理を実行する。

図１２は、図３のステップ１０９における制御・警報処理を示す。図１３は、図１２の処理における各パラメータの説明図を示す。

まず、図１３に示す自車の左右のレーンマーカの中央線と自車の中央との差である自車横変位（Ｘ１）を算出し（ステップ１６９）、Ｘ１が所定の値Ｄ１以上であるか否かを判定する（ステップ１７０）。Ｘ１がＤ１以下である場合に自車がレーンを逸脱危険性があると判断して乗員に報知する（ステップ１７１）。

尚、ステップ１０９におけるステアリング制御は、レーンを逸脱しないステアリング操作を全自動的に行っても良いし、レーンを逸脱する方向へのステアリング操作に対し、それを阻止する回転方向にステアリング回転トルクがかかるようにしても良い。

以上説明したように、本実施例における車載システム１では、車載カメラ３ａおよび車載カメラ３ｂの撮像環境を認識し、その撮像環境に応じて画像認識処理に用いる撮像画像を決定する。さらに走行支援機能が停止した際にはその旨と停止した原因を報知することで、乗員は車載カメラのレンズに付いた水滴や汚れを除去して撮像環境を改善することで、適切にシステムを動作させることができる。

また、車載カメラを用いたシステムが、システムの動作を継続することが困難と判断した場合は走行環境認識装置２がシステムを停止する代わりに、車両の乗員が、走行環境認識装置２が報知した情報に基づきシステムを停止することで運転支援システムの誤動作を防止してもよい。

そして、車載システム１はフロントカメラやリアカメラで意図的にハレーションを発生させる、あるいは意図的に水滴をつける等により正常にシステムが動作しているかを確認することができる。

また、車載システム１において、車載カメラ３と車載カメラ４のシャッタースピードやゲインを異なった値で設定しておく、例えばフロントカメラに比べリアカメラを早いシャッタースピードおよび低いゲインに設定しておくことで、トンネルの出入り口等の急激に入射光の強さが変化する場合にも、安定してレーンマーカを検出することができる。

本発明の実施例２について図面を用いて説明する。

図１４は、本発明の実施例２をなす走行環境認識装置２の機能ブロック図を示す。尚、本実施例の車載システム１における構成について、実施例１と同様の構成については図中同一の符号を付して、重複説明は省略する。

本実施例は、図１に示すような車載システム１に適用される。走行環境認識装置２は図１４のように画像処理部１６，処理画像決定部１７，切り替え判定部１９，環境認識部
２０，信頼性判定部１８，機能切り替え判定部２２，出力部２１を有する。

信頼性判定部１８は、画像認識部の各撮像画像に対する認識結果を照合し、認識結果を修正する機能と、各撮像画像の撮像環境から実行可能な走行支援機能を適切に選択する機能とを有するものである。

機能切り替え判定部２２は、信頼性判定部１８で走行支援機能の切り替えが発生した際に切り替えるタイミングを適切に判定する機能を有するものである。

出力部２１は、環境認識部２０のレーンマーカ検出結果から、自車が走行車線を逸脱する危険性がある場合に走行レーンを逸脱しないように車両をコントロールするか、あるいは乗員に逸脱する危険性があることを報知する機能を有するものである。

以上のように構成される車載システム１は、上述したように、走行環境認識装置２の
ＣＰＵ６によって実行されるナビゲーションプログラムによりディスプレイ１３に走行経路案内画像を通常時は表示している。そして、走行環境認識装置２のＣＰＵ６によって実行される走行支援プログラムにより走行車線を逸脱しないように支援している機能を切り替える必要が発生すると、その旨を報知するメッセージがディスプレイ１３に重畳表示されるとともに、スピーカーから警告音を発生させて、車両の乗員に報知するようにしている。

ここで、以上のような車載システム１において、走行環境認識装置２による自車が走行車線を逸脱しないように支援する機能の処理の流れを、フローチャートを参照しながら説明する。

図１５は、図１４の走行環境認識装置２による制御フローチャートを示す。

まず、イグニッションスイッチ８がオンとなると、走行環境認識装置２により走行支援プログラムとナビゲーションプログラムとが実行され、走行支援システム起動スイッチ
１５がオンか否かを判定する（ステップ１０１）。そして、走行支援システム起動スイッチがオンとなったときは、車載カメラ３ａと車載カメラ３ｂとにより前方画像と後方画像とが撮像され、走行環境認識装置２のＲＡＭ５に取り込まれて保持される。画像処理部
１６は、そのＲＡＭ５に取り込んだ各撮像画像に対してハレーションと水滴と汚れとを検知する処理を行う（ステップ１０２）。

次に、撮像環境の認識結果から画像認識処理が継続可能かどうかを判定する（ステップ１０３）。画像処理部１６により水滴や汚れなどが例えば車両前方に設置されたカメラによる車両前方の画像と、車両後方に設置されたカメラによる車両後方の画像からともに検出され、かつ水滴・汚れの領域の面積が閾値以上である場合に画像認識処理が継続不可と判定する。画像認識処理が継続可能であれば、処理画像決定部はステップ１０２により認識した撮像環境と、ハレーションが生じている領域，水滴・汚れが付着している領域の大きさ，位置とから走行支援に用いる画像および画像領域を決定する（ステップ１０４）。

画像認識処理が継続可能でない場合は、走行支援システムの終了タイミングか否か、あるいは強制終了が必要か否かを判定（ステップ１１０）し、走行支援システムを終了する場合は乗員にその旨と終了の原因を報知（ステップ１１１）するとともに、終了処理を行う（ステップ１１２）。また、終了タイミングではなく、かつ強制終了が必要でないと判定された場合にはステップ１０４の処理に進む。

そして、処理画像の決定結果が、前フレームと異なる場合は切り替えタイミングか否かを判定する（ステップ１０６）。切り替えタイミングでないと判定された場合は、切り替え処理は行わずにレーンマーカの検出を行う（ステップ１０８）。

切り替えタイミングと判定された場合は、処理画像を切り替えるための処理を行い（ステップ１０７）、レーンマーカ検出処理を行う（ステップ１０８）。さらにステップ108aで、前方のレーンマーカ検出結果と後方のレーンマーカ検出結果を比較検証し、認識結果を修正するとともに、図２１のように各車載カメラの撮像環境から走行支援機能を選択または決定する。そしてステップ１０８ｂでは、ステップ１０６と同様に切り替えタイミングか否かを判定する。切り替えタイミングと判定された場合は機能の切り替え処理を行う（ステップ１０８ｃ）。

以上の処理により求めた画像上での車線位置から制御・警報部は、レーンを逸脱しないようにステアリング制御を行うか、レーンを逸脱する危険がある場合には乗員にその旨を報知する（ステップ１０９）。

以下では、ステップ１０４からステップ１０９の処理について、フローチャートに沿って説明する。

図１６は、図１５のステップ１０４の処理内容を示す。

まず、フロントカメラでハレーションフラグがオンと水滴・汚れ検知フラグの少なくとも片方がオンであるか否かを判定する（ステップ２０１）。いずれのフラグもオフであった場合は、フロントカメラ動作モードを２車線検出モードにセットする(ステップ２０７)。いずれかがオフであった場合はハレーションと水滴・汚れの検出領域の大きさ，位置などから１車線のみでも検出可能か判定する（ステップ２０２）。検出可能な場合はフロントカメラ動作モードを１車線検出モードに設定し（ステップ２０３）、検出不可の場合はフロント動作モードを停止モードにセットする（ステップ２０８）。リアカメラについてもステップ２０４からステップ２０６およびステップ２０９とステップ２１０により動作モードを設定する。この処理画像決定により、撮像環境が良好な場合は常に前方画像と後方画像の両方を画像認識処理するようにしている。

図１７は、図１５のステップ１０６の処理内容を示す。

まず、前フレームでの走行支援機能と機能選択部により選択した走行支援機能とが異なっているか否かを判定する（ステップ１４０）。切り替えが発生しない場合は、切り替えタイミングフラグをオフに設定し（ステップ１５０）、切り替えが発生する場合はステップ１４１によりナビゲーションシステムにより経路案内を実行中か判定する。経路案内中の場合は案内ルートを取得し（ステップ１４２）、案内ルートと地図データベースとから撮像環境が変化し得る時間を予測する（ステップ１４３）。ステップ１４１でナビゲーションシステムによる経路案内が実行中でない場合には、現在位置と地図データとから最も近いカーブあるいは交差点までの距離を算出し（ステップ１５１）、その算出した距離と自車の速度とから撮像環境が変化する時間を算出する（ステップ１５２）。そして、ステップ１５２あるいはステップ１４３により算出した時間が所定の時間ないであるかを判定する（ステップ１４４）。そして、算出した時間が所定の時間以下であれば撮像環境がすぐに変化するため走行支援機能の切り替えを行わず、所定の時間以上の場合はステップ
１４５で機能の切り替えを乗員に通知済みか判定する。この処理により、太陽光でハレーションが生じており、カーブや交差点の多い道路を走行中に、自車の進行方向が変わるたびに走行支援機能が切り替わることを防止できる。そして、ステップ１４５で乗員に通知済みでない場合は、ディスプレイとスピーカーとで乗員に走行支援機能が切り替わる旨を通知する（ステップ１５３）。通知済みであった場合は、通知後一定時間が経過しているか否かを判定し（ステップ１４６）、経過している場合はさらに現在ステアリングやブレーキの制御を行っているかを判定する（ステップ１４７）。制御を行っていない場合は、切り替えタイミングフラグをオンにセットし（ステップ１４８）、切り替えが終了したことを乗員にディスプレイとスピーカーとで通知する（ステップ１４９）。自車を制御中に走行支援機能を切り替えないことで、車両の挙動の乱れを無くすことができる。

ステップ１０７の処理画像・機能の切り替え処理については、実施例１と同様である。

ステップ１０８の車線検出処理も、実施例１と同様である。図１８に、図１５のステップ１０８ａの処理における鳥瞰図を示す。ステップ１０８ａでは、前方画像の車線検出結果を道路真上から見た座標系（以下、鳥瞰図と呼ぶ）に変換し、同様に後方画像の車線検出結果を鳥瞰図に変換する。この変換した座標系で車線検出結果の検出誤差ｄ、すなわち位置ずれ量が所定の値よりも大きい場合は、そのレーンマーカの検出を無効とする。このように、それぞれの撮像画像を単独で画像認識処理するのみではなく、それぞれの認識結果を比較検証することで高い認識精度を得ることが出来る。周辺の車両等を、同時に複数のカメラに映らないような対象の場合は、フロントカメラで認識した後、後方で認識した場合に認識できたとするなど、追跡，予測処理を行い各撮像画像での認識結果を比較検証しても良い。

図１９は、本実施例における各車載カメラの撮像環境に基づいて走行支援機能を選択または切り替える方法の例を示す。この実施例では、走行支援機能の選択または切り替えを、出力部２１で行う例を示す。出力部２１は、選択または切り替えた走行支援機能に対応する制御信号を出力する。ここでは、フロントカメラの動作モードとリアカメラの動作モードによって選択する。例えば、フロントカメラで２車線の検出が可能であれば、リアカメラの撮像環境によらずレーンキープあるいは車線逸脱警報を実行する。フロントカメラで１車線、リアカメラでも１車線のみしか車線を検出できない場合は、低レベル車線逸脱警報を実行する。この低レベル車線逸脱警報とは、例えば片側の車線から予測した走行車線の中央と、自車との距離が一定値以上になると車線を逸脱する危険があるとしてスピーカーから警告音を発し、車線をまたぐとスピーカーから断続的に警告音を発する。

図２０は、図１９において車載カメラがフロントカメラのみの場合の走行支援機能を選択する方法の例を示す。

図１５に戻り、ステップ１０８ｂでは処理画像の切り替え処理と同様の処理を行い、ステップ１０８ｃでは、機能切り替えタイミングフラグをオンとする。

そして、ステップ１０９の制御・警報処理では、信頼性判定部により選択した走行支援モードが車線逸脱警報である場合は車線逸脱警報処理を実行し、走行支援モードが低レベル車線逸脱警報のときは低レベル車線逸脱警報処理を実行する。

図２１に、ステップ１０９で走行支援モードが低レベル車線逸脱警報の場合の処理を示す。図２２に、図２１の説明図を示す。

まず、図２２に示すように自車の片側（図では左）のレーンマーカと車線幅の規格とから左右のレーンマーカの中央線を推定することで、自車の中央との差である自車横変位
（Ｘ２）を算出し（ステップ１７２）、Ｘ２が所定の値Ｄ２以上であるか否かを判定する（ステップ１７３）。Ｘ２がＤ２以下である場合に自車が車線を逸脱危険性があると判断して乗員に報知する（ステップ１７４）。

以上説明したように、本発明を適用した車載システム１では、車載カメラ３ａおよび車載カメラ３ｂの撮像環境を認識し、その撮像環境に応じた運転支援機能を実行する。さらに車両の乗員に実行中の運転支援機能と、運転支援機能が切り替わった際にはその旨と切り替わった原因を報知することで、乗員は車載カメラのレンズに付いた水滴や汚れを除去して撮像環境を改善することで、適切にシステムを動作させることができる。また、車載カメラを用いたシステムが、システムの動作を継続することが困難と判断した場合はコントロールユニットがシステムを停止する、あるいは車両の乗員が、走行環境認識装置２が報知した情報に基づきシステムを停止することで運転支援システムの誤動作を防止することができる。

本発明の実施例３について図面を用いて説明する。

図２３は、本発明の実施例３をなす車載システム３１のブロック構成図を示す。尚、本実施例の車載システム３１における構成について、実施例１と同様の構成については図中同一の符号を付して、重複説明は省略する。

本実施例は、図２３に示すような車載システム３１に適用されて、この車載システム
３１が備える車載カメラ３ａ，車載カメラ３ｂ，車載カメラ３ｃ，車載カメラ３ｄにより車両周囲の環境を認識し、自車周辺の車両や障害物に衝突する危険性がある場合に、ステアリング制御装置９９に制御信号を出力してステアリング制御をする、またはブレーキ制御装置９８に制御信号を出力してブレーキアシスト制御を行う、あるいはディスプレイ
１３やスピーカー１４により乗員に警報を発する機能を実現する。

図２４は、図２３の車載カメラ３ａ〜３ｄの設置例を示す。

この車両は、自車前方に設置された車載カメラ３ａと、自車両後方のリアバンパー上方に取り付けられた車載カメラ３ｂに加えて、自車の側方に、例えばドアミラー部に車載カメラ３ｃおよび車載カメラ３ｄをさらに備えている。そして、この車載カメラ３ｃおよび車載カメラ３ｄは、自車両側方および後側方の様子を所定の俯角，取付け位置で地面を見下ろし、後方からの接近車両や自車の横を並走している車両を含む画像を撮像するようになっている。

この車載カメラ３ａ，車載カメラ３ｂ，車載カメラ３ｃ，車載カメラ３ｄにより撮像された自車両前方画像と後方画像と自車の側方を撮像した画像（以下、側方画像という）とが走行環境認識装置２に供給され、走行環境認識装置２は車両前方，後方，側方の車両と障害物を認識し、それらの物体に自車が衝突する危険があると判断した場合にはディスプレイ１３およびスピーカー１４により運転者に報知するとともに、状況に応じてステアリング制御やブレーキアシストを実施する。

ディスプレイ１３は、走行環境認識装置２による表示制御のもとで、例えばナビゲーションによる走行経路案内の画像やバックビューモニタ画像等の各種画像を表示する。また、このディスプレイは、走行環境認識装置２により周辺車両等の障害物の検出処理状態を表示するとともに、車載カメラ３ａから３ｄのいずれかで撮像した画像で物体認識処理が実行できない場合は、この走行環境認識装置２による制御のもとで撮像環境が良好でない旨と撮像環境が良好でない車載カメラを報知するメッセージを表示する。また、車載システム３１においては、走行環境認識装置２により運転支援機能の継続が不可能と判断された場合には、この走行環境認識装置２による制御のもとでスピーカー１４が駆動されて、警告音声による報知も行われるようになっている。

この走行環境認識装置２では、プログラムＲＯＭ４に自車が周辺の車両や障害物に衝突しないように支援するプログラムと、ナビゲーションプログラムとがそれぞれ格納されており、ＣＰＵ６がこれらのプログラムを実行することで、ナビゲーション機能と、運転支援機能とがそれぞれ実現されるようになっている。

また、この走行環境認識装置２には、自車両のエンジンを始動する際にオンとされるイグニッションスイッチ８が接続されており、このイグニッションスイッチ８からのイグニッション信号が走行環境認識装置２に供給されると、走行環境認識装置２のＣＰＵ６によって運転支援プログラムが実行される。

図２５は、図２３の走行環境認識装置２の機能ブロック図を示す。

走行環境認識装置２は、画像処理部１６，切り替え判定部１９，環境認識部２０，信頼性判定部１８，機能切り替え判定部，出力部２１を有する。画像処理部１６は、車載カメラ３ａと車載カメラ３ｂと車載カメラ３ｃと車載カメラ３ｄとで撮像した画像をそれぞれ処理することで、太陽光や周辺車両のヘッドライトによるハレーション，レンズに付いた水滴や汚れ、および降雨や霧を検出する機能を有するものである。環境認識部２０は、車載カメラ３ａ，車載カメラ３ｂ，車載カメラ３ｃおよび車載カメラ３ｄにより撮像した画像を、画像処理部１６により画像認識処理が可能と判定された画像から物体を検出する機能を有するものである。出力部２１は、信頼性判定部１８と機能切り替え判定部２２により選択した機能を、物体検出部の認識結果を用いて実現する機能を有するものである。

以上のように構成される車載システム３１は、上述したように、走行環境認識装置２のＣＰＵ６によって実行されるナビゲーションプログラムによりディスプレイ１３に走行経路案内画像を通常時は表示している。そして、走行環境認識装置２のＣＰＵ６によって実行される運転支援プログラムにより自車が周辺の物体と衝突しないように運転を支援する機能を切り替える必要が発生すると、その旨を報知するメッセージがディスプレイ１３に重畳表示されるとともに、スピーカーから警告音を発生させて、車両の乗員に報知するようにしている。

図２６は、車載システム３１において、自車が周辺の物体に衝突しないように支援する機能の走行環境認識装置２による処理フローチャートを示す。

この図２６に示す一連の処理は、イグニッションスイッチ８がオンとなったときにスタートし、イグニッションスイッチ８がオフとなるまで繰り返し行われるものであり、自車両が走行中であるか停止中であるか、また、ディスプレイ１３に表示されている画像が走行経路案内画像か後方画像等であるかに拘わらず実施される。

まず、イグニッションスイッチ８がオンとなると、走行環境認識装置２により運転支援プログラムとナビゲーションプログラムとが実行され、運転支援システム起動スイッチ
３２がオンか否かを監視する（ステップ３０１）。そして、運転支援システム起動スイッチ３２がオンとなったときは、車載カメラ３ａと車載カメラ３ｂと車載カメラ３ｃと車載カメラ３ｄとにより前方画像と後方画像と側方画像とが撮像され、走行環境認識装置２のＲＡＭ５に取り込まれて保持される。画像処理部１６は、そのＲＡＭ５に取り込んだ各撮像画像に対してハレーションや水滴，汚れ、および降雨状態と霧の発生とを検知する処理を行う（ステップ３０２）。次に、ステップ３０２ａで、降雨状態と霧の発生の検出結果の信頼性を判定する。

図２７は、図２６におけるステップ３０２ａの内容を示す。まず、降雨状態を検出した撮像画像がｎ以上であるか判定する（ステップ３１３）。ｎ以上であれば、降雨検出フラグをオンとし（ステップ３１４）、ｎ以下であれば降雨検出フラグをオフとする（ステップ３１７）。同様に、霧を検出した撮像画像がｎ以上であるか判定する(ステップ３１５)。ｎ以上であれば、霧検出フラグをオンとし（ステップ３１６）、ｎ以下であれば霧検出フラグをオフとする（ステップ３１８）。このように、それぞれの撮像画像に対して独立して撮像環境の認識処理をするだけでなく、それぞれの認識結果を組み合わせることで高い認識精度を得ることができる。

次に、撮像環境の認識結果から画像認識処理が継続可能かどうかを判定する（ステップ３０３）。例えば、画像処理部１６によりすべての車載カメラで水滴や汚れが検出された場合には画像認識処理が継続不可と判定する。また、降雨検出フラグあるいは霧検出フラグがオンの場合は、画像認識処理が継続不可と判定する。画像認識処理が継続可能であれば、処理画像決定部は処理画像ステップ３０２ａにより認識した撮像環境と、ハレーションが生じている領域，水滴・汚れが付着している領域とから画像認識処理を実行する撮像画像および画像領域を決定し（ステップ３０４）、運転支援システムで実行可能な運転支援機能を選択する（ステップ３０５）。

画像認識処理が継続可能でない場合は、運転支援システムの終了タイミングか否か、あるいは強制終了が必要か否かを判定（ステップ３１０）し、運転支援システムを終了する場合は乗員にその旨と終了の原因を報知（ステップ３１１）するとともに、終了処理を行う（ステップ３１２）。車両の乗員は、この報知によって運転支援システムが正常に動作しないことを認識することができ、例えばレンズに付いた水滴・汚れを除去するといった適切な対応を図ることが可能となる。本発明を適用した車載システム３１では、イグニッションスイッチ８がオフとなるまで、走行環境認識装置２によって運転支援システムが復旧可能かどうかを定期的に判定されるようになっている。また、終了タイミングではなく、かつ強制終了が必要でないと判定された場合にはステップ３０５の処理に進む。

ステップ３０５では、車載カメラ３ａ，車載カメラ３ｂ，車載カメラ３ｃ，車載カメラ３ｄにより撮像した画像から、画像処理部１６により検出したハレーションや水滴等が存在すると認識された組合せによって運転支援機能を選択する。図２８は、図２６のステップ３０５で選択する運転支援機能の例を示す。そして、機能の選択結果とが、前フレームと異なる場合は切り替えタイミングか否かを判定する（ステップ３０６）。

切り替えタイミングと判定された場合は、機能を切り替えるための処理を行い（ステップ３０７）、物体検出処理を行う（ステップ３０８）。切り替えタイミングでないと判定された場合は、機能を切り替えるための処理は行わずに、物体を検出する。

以上の処理により求めた画像上での物体の位置と自車との相対速度等から制御・警報部は、自車周辺の物体に衝突しないようにステアリング制御やブレーキアシストを行うか、あるいは物体に衝突する危険がある旨を乗員に報知する（ステップ３０９）。

本実施例に係る車載システム３１のように、自車周辺の物体を認識するセンサの状況に応じて、ステアリング制御，ブレーキアシスト，警報を行うか否かを変更することで、システムの誤動作を軽減できるとともに、従来の運転支援システムが動作できない環境化でも運転の支援を行うことが可能となる。

本発明の第４実施例について図面を用いて説明する。

図２９は、本発明の実施例４をなす車載システム６１のブロック構成図を示す。尚、本実施例の車載システム６１における構成について、実施例１と同様の構成については図中同一の符号を付して、重複説明は省略する。

本実施例は、実施例３と同様な機能を実現することができる。実施例１及び実施例２についても同様に、車載システム６１の如く各車載カメラユニットが画像処理機能を有していても良い。

図３０は、図２９の機能ブロック図を示す。

この車載システム６１は、実施例３の車載システム３１が備える画像処理部１６，処理画像決定部１７、及び環境認識部２０が走行環境認識装置２とは別に車載カメラユニット６２ａ，車載カメラユニット６２ｂ，車載カメラユニット６２ｃ，車載カメラユニット
６２ｄとにそれぞれ備える。そして、各車載カメラユニットは、それぞれが撮像した撮像画像に対して画像処理部１６によりハレーションと水滴と汚れなどを検出する。さらに各車載カメラユニット内で、環境認識処理を行う。そして、これらの検出結果，認識結果を走行環境認識装置２に送信し、走行環境認識装置２がその情報をもとに運転支援機能の選択，切り替えタイミングの判定，制御および乗員への警報を行うようになっている。

図３１は、実施例４の制御フローチャートを示す。

車載システム６１において、車載カメラユニットと走行環境認識装置２による一連の処理の流れを示している。この図３１に示す一連の処理は、イグニッションスイッチ８がオンとなったときにスタートし、イグニッションスイッチ８がオフとなるまで繰り返し行われるものであり、自車両が走行中であるか停止中であるか、また、ディスプレイ１３に表示されている画像が走行経路案内画像かリアビュー等の画像であるかに拘わらず実施される。

まず、イグニッションスイッチ８がオンとなると、走行環境認識装置２により運転支援プログラムとナビゲーションプログラムとが実行され、車載カメラユニットにより物体検出プログラムが実行される。運転支援システム起動スイッチ３２がオンか否かを運転支援プログラムが監視し、オンとなった場合はその旨を各車載カメラユニットに転送する（ステップ４０１）。そして、運転支援システム起動スイッチ３２がオンとなったときは、車載カメラ３ａと車載カメラ３ｂと車載カメラ３ｃと車載カメラ３ｄとにより前方画像と後方画像と側方画像とが撮像され、各車載カメラユニットに取り込まれて保持される。画像処理部１６は、取り込んだ各撮像画像に対してハレーションと水滴と汚れとを検知する処理を行い（ステップ４０２）、各車載カメラユニット内でそれぞれの撮像画像が処理可能か処理画像決定部により判定する（ステップ４０３）。さらに物体検出部は各撮像画像中の物体を検出する（ステップ４０４）。

次に、各車載カメラユニットの撮像環境認識結果から、走行環境認識装置２が画像認識処理を継続可能かどうかを判定する（ステップ４０５）。例えば、画像処理部１６によりすべての車載カメラで水滴や汚れが検出された場合には画像認識処理が継続不可と判定する。画像認識処理が継続可能であれば、機能選択部はステップ４０２により認識した撮像環境と、ハレーションが生じている領域，水滴・汚れが付着している領域とから運転支援システムで実行可能な運転支援機能を選択する（ステップ４０６）。

画像認識処理が継続可能でない場合は、運転支援システムの終了タイミングか否か、あるいは強制終了が必要か否かを判定（ステップ４１０）し、運転支援システムを終了する場合は乗員にその旨と終了の原因を報知（ステップ４１１）するとともに、終了処理を行う（ステップ４１２）。また、終了タイミングではなく、かつ強制終了が必要でないと判定された場合にはステップ４０６の処理に進む。

ステップ４０６では、車載カメラ３ａ，車載カメラ３ｂ，車載カメラ３ｃ，車載カメラ３ｄにより撮像した画像から、画像処理部１６により検出したハレーションや水滴等が存在すると認識された組合せによって運転支援機能を選択する。

そして、機能の選択結果とが、前フレームと異なる場合は切り替えタイミングか否かを判定する（ステップ４０７）。

切り替えタイミングと判定された場合は、機能を切り替えるための処理を行う（ステップ４０８）。切り替えタイミングでないと判定された場合は、機能を切り替えるための処理は行わない。

以上の処理により求めた画像上での物体の位置と自車との相対速度等から制御・警報部は、自車周辺の物体に衝突しないようにステアリング制御やブレーキアシストを行うか、物体に衝突する危険がある旨を乗員に報知する（ステップ４０９）。

上記の実施例４に係る車載システム６１のように、各車載カメラユニットが画像認識装置を有している場合でも、コントロールユニットに画像を入力して画像認識処理を行う場合と同様な効果が得られる。

本発明の実施例１をなす車載システム１のブロック構成図を示す。 図１の走行環境認識装置２の機能ブロック図を示す。 図１の走行環境認識装置２による制御フローチャートを示す。 図３のステップ１０２におけるハレーション検出処理を示す。 図４の処理におけるハレーション検知領域を示す。 図３のステップ１０２における水滴，汚れの検出処理を示す。 図６の処理における水滴および汚れの検知領域を示す。 図３のステップ１０４の処理内容を示す。 図８における撮像画像例を示す。 図３のステップ１０６の切り替え判定処理を示す。 図３のステップ１０７の処理画像切り替え処理を示す。 図３のステップ１０９における制御・警報処理を示す。 図１２の処理における各パラメータの説明図を示す。 本発明の実施例２をなす走行環境認識装置２の機能ブロック図を示す。 図１４の走行環境認識装置２による制御フローチャートを示す。 図１５のステップ１０４の処理内容を示す。 図１５のステップ１０６の処理内容を示す。 図１５のステップ１０８ａの処理における鳥瞰図を示す。 本実施例における各車載カメラの撮像環境に基づいて走行支援機能を選択する方法の例を示す。 図１９において車載カメラがフロントカメラのみの場合の走行支援機能を選択する方法の例を示す。 ステップ１０９で走行支援モードが低レベル車線逸脱警報の場合の処理を示す。 図２１の説明図を示す。 本発明の実施例３をなす車載システム３１のブロック構成図を示す。 図２３の車載カメラ３ａ〜３ｄの設置例を示す。 図２３の走行環境認識装置２の機能ブロック図を示す。 車載システム３１において、自車が周辺の物体に衝突しないように支援する機能の走行環境認識装置２による処理フローチャートを示す。 図２６におけるステップ３０２ａの内容を示す。 図２６のステップ３０５で選択する運転支援機能の例を示す。 本発明の実施例４をなす車載システム６１のブロック構成図を示す。 図２９の機能ブロック図を示す。 実施例４の制御フローチャートを示す。

符号の説明

１ 車載システム
２ 走行環境認識装置
３ 入力部
３ａ，３ｂ 車載カメラ
１３ ディスプレイ
１６ 画像処理部
１７ 処理画像決定部
１９ 切り替え判定部
２０ 環境認識部
２１ 出力部

Claims (20)

1. 車両の外部を撮像する車載撮像装置からの信号を入力する入力部と、
   前記入力部で入力した画像信号を処理して外部環境の認識を妨げる要因を有する第１の画像領域を検出する画像処理部と、
   前記画像処理部によって検出された前記第１の画像領域の大きさ，位置、または当該第１の画像領域を有する前記車載撮像装置の設置場所の少なくともいずれか一つに基づいて、環境認識処理を行う第２の画像領域を決定する処理画像決定部と、
   前記処理画像決定部によって決定した第２の画像領域に基づいて前記車両の外部環境を認識する環境認識部と、
   を有する車載用走行環境認識装置。
2. 請求項１に記載の車載用走行環境認識装置であって、
   前記環境認識部の認識結果に基づいて車両の制御信号を決定し、当該制御信号を出力する出力部を有する車載用走行環境認識装置。
3. 請求項２に記載の車載用走行環境認識装置であって、
   前記出力部は、前記環境認識部の認識結果に基づいて、前記制御信号によって実現される走行支援を中止し、当該走行支援の中止を乗員に報知する車載用走行環境認識装置。
4. 請求項２に記載の車載用走行環境認識装置であって、
   前記出力部は、前記環境認識部の認識結果に基づいてステアリングまたはブレーキの制御信号を決定し、当該制御信号をステアリング制御装置またはブレーキ制御装置に出力する車載用走行環境認識装置。
5. 請求項２に記載の車載用走行環境認識装置であって、
   前記出力部は、前記環境認識部の認識結果に基づいて乗員に報知する車載用走行環境認識装置。
6. 請求項５に記載の車載用走行環境認識装置であって、
   前記環境認識部は、レーンマーカを検出する機能を有し、
   前記出力部は、撮像画像の一部で画像認識処理が行えず片側のレーンマーカしか検出できない場合でも、片側のレーンマーカとレーンの規格幅とから車線逸脱警報を行う車載用走行環境認識装置。
7. 請求項５に記載の車載用走行環境認識装置であって、
   前記環境認識部は、レーンマーカを検出する機能を有し、
   前記出力部は、撮像画像の一部で画像認識処理が行えず片側のレーンマーカしか検出できない場合でも、片側のレーンマーカと地図データベースに保存されたレーン幅とから車線逸脱警報を行う車載用走行環境認識装置。
8. 請求項１に記載の車載用走行環境認識装置であって、
   前記入力部は、車両に搭載され、前記車両の外部を撮像する複数の車載撮像装置からの信号を入力し、
   処理画像決定部は、前記第１の画像領域の大きさ，位置、当該第１の画像領域を有する前記車載撮像装置の属性、または互いに異なる前記車載撮像装置の撮像画像の比較の少なくともいずれか一つに基づいて、画像処理を行う第２の画像領域を決定する車載用走行環境認識装置。
9. 請求項１に記載の車載用走行環境認識装置であって、
   前記処理画像決定部によって決定された今回の第２の画像領域が前回の第２の画像領域と異なる場合に、前記環境認識部の処理対象を今回の第２の画像領域に切り替えるか否かを判定する切り替え判定部を有する車載用走行環境認識装置。
10. 請求項９に記載の車載用走行環境認識装置であって、
    前記入力部は、前記車両に搭載されたナビゲーションシステムおよび地図データベースから信号を入力し、
    前記切り替え判定部は、前記信号に基づいて前記ナビゲーションシステムが経路案内実行中かどうかを判定し、
    経路案内を実行中の場合は、前記車両が将来進行するルート情報を取得し、当該ルート情報および前記地図データベースから入力した地図情報に基づき撮像環境が変化し得る時間を予測し、
    経路案内を実行中でない場合は現在位置と地図データとから最も近いカーブまたは交差点までの距離を算出し、当該算出した距離と自車の速度とから撮像環境が変化する時間を予測し、
    当該時間が所定の値よりも小さい場合は前記環境認識部の前回の第２の画像領域を維持し、当該時間が所定の値よりも大きい場合は今回の第２の画像領域に切り替える車載用走行環境認識装置。
11. 請求項９に記載の車載用走行環境認識装置であって、
    前記切り替え判定部は、ステアリングやブレーキが制御されているかどうかを判定し、当該制御が実行中の場合は前記環境認識部の前回の第２の画像領域を維持し、当該制御が実行中でない場合は今回の第２の画像領域に切り替える車載用走行環境認識装置。
12. 請求項１に記載の車載用走行環境認識装置であって、
    前記入力部は、車両に搭載され、前記車両の外部を撮像する複数の車載撮像装置からの信号を入力し、
    互いに異なる前記車載撮像装置の画像認識結果を比較し、当該比較結果に応じて認識結果の信頼度を判定する信頼度判定部を有する車載用走行環境認識装置。
13. 請求項１２に記載の車載用走行環境認識装置であって、
    前記信頼度判定部の判定結果に応じて走行支援機能を決定して当該走行支援機能に対応する制御信号を出力する出力部を有する車載用走行環境認識装置。
14. 車両の外部を撮像する車載撮像装置からの信号を入力する入力部と、
    前記入力部で入力した画像信号を処理して外部環境の認識を妨げる要因を有する第１の画像領域を検出する画像処理部と、
    前記画像処理部によって検出された前記第１の画像領域の大きさ，位置、または当該第１の画像領域を有する前記車載撮像装置の設置場所の少なくともいずれか一つに基づいて、環境認識方法を切り替える処理決定部と、
    前記処理決定部によって決定された環境認識方法に基づいて前記車両の外部環境を認識する環境認識部と、
    を有する車載用走行環境認識装置。
15. 請求項１４に記載の車載用走行環境認識装置であって、
    前記処理決定部によって決定された今回の環境認識方法が前回の環境認識方法と異なる場合に、前記環境認識部の処理を今回の環境認識方法に切り替えるか否かを判定する切り替え判定部を有する車載用走行環境認識装置。
16. 請求項１４に記載の車載用走行環境認識装置であって、
    前記入力部は、前記車両に搭載されたナビゲーションシステムおよび地図データベースから信号を入力し、
    前記切り替え判定部は、前記信号に基づいて前記ナビゲーションシステムが経路案内実行中かどうかを判定し、
    経路案内を実行中の場合は、前記車両が将来進行するルート情報を取得し、当該ルート情報および前記地図データベースから入力した地図情報に基づき撮像環境が変化し得る時間を予測し、
    経路案内を実行中でない場合は現在位置と地図データとから最も近いカーブまたは交差点までの距離を算出し、当該算出した距離と自車の速度とから撮像環境が変化する時間を予測し、
    当該時間が所定の値よりも小さい場合は前記環境認識部の前回の環境認識方法を維持し、当該時間が所定の値よりも大きい場合は今回の環境認識方法に切り替える車載用走行環境認識装置。
17. 請求項１４に記載の車載用走行環境認識装置であって、
    前記切り替え判定部は、ステアリングやブレーキが制御されているかどうかを判定し、当該制御が実行中の場合は前記環境認識部の前回の環境認識方法を維持し、当該制御が実行中でない場合は今回の環境認識方法に切り替える車載用走行環境認識装置。
18. 請求項１４に記載の車載用走行環境認識装置であって、
    前記入力部は、車両に搭載され、前記車両の外部を撮像する複数の車載撮像装置からの信号を入力し、
    互いに異なる前記車載撮像装置の画像認識結果を比較し、当該比較結果に応じて認識結果の信頼度を判定する信頼度判定部を有する車載用走行環境認識装置。
19. 請求項１８に記載の車載用走行環境認識装置であって、
    前記信頼度判定部の判定結果に応じて走行支援機能を切り替えて当該走行支援機能に対応する制御信号を出力する出力部を有する車載用走行環境認識装置。
20. 請求項１９に記載の車載用走行環境認識装置であって、
    前記出力部の走行支援機能の切り替えタイミングを判定する機能切り替え判定部を有する車載用走行環境認識装置。

Images