JP2006227876A

JP2006227876A - 夜間画像による霧検出装置

Info

Publication number: JP2006227876A
Application number: JP2005040363A
Authority: JP
Inventors: Takayuki Miyahara; 孝行宮原
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2005-02-17
Filing date: 2005-02-17
Publication date: 2006-08-31
Anticipated expiration: 2025-02-17
Also published as: JP4479532B2

Abstract

【課題】運転支援装置や自動運転装置は、霧の発生状況に応じて支援内容を決定することが望ましい。
【解決手段】夜間走行時に霧の発生を検出する霧検出装置において、少なくともカメラの撮像範囲内を照射する第一ライトと、少なくとも前記第一ライトの光軸を含んだ周辺環境を撮影するカメラと、前記カメラが撮影した少なくとも前記第一ライトの光軸を含んだ周辺環境を含む画像を処理し、霧検出信号を出力する画像処理・霧検出手段を備える。
【選択図】図１

Description

本発明は、カメラ画像に映ったライトの光軸を画像認識・処理することで、夜間時における霧の発生状態を検出する霧検出装置に関する。

従来より、運転者を支援する運転支援装置や自動運転装置として、前方車両衝突警報装置やＡＣＣ（ＡｄａｐｔｉｖｅＣｒｕｉｓｅＣｏｎｔｒｏｌ）装置が知られている。これらの運転支援装置や自動運転装置は、車両外部の環境を認識する装置からの情報をもとに制御出力を決定する。車両外部の環境を認識する装置としては、障害物や先行車両との距離を測定するミリ波レーダ装置やレーザレーダ装置といった装置が知られている。例えば、特開平８−１２２４３７号公報で示される距離測定装置では、レーザ光を用いて、霧中の障害物との距離を計測している。
特開平８−１２２４３７号公報

前述の運転支援装置や自動運転装置は、車両外部の環境を反映させた支援内容を決定することが望ましい。例えば、前方車両衝突警報装置が、霧が発生している場合は霧が発生していない場合に比べ早い段階で警報を出力することができれば、運転者はより安全に車間距離を調整可能である。

そこで、本発明は、カメラが撮影したライトの光軸を含む画像を処理することで、特に夜間走行時における霧の発生状態を検出し、これを運転支援装置や自動運転装置の制御出力に反映できる霧検出装置を提供することを目的とする。

上記目的を達成するために請求項１に記載の発明は、少なくともカメラの撮像範囲内を照射する第一ライトと、少なくとも前記第一ライトの光軸を含んだ周辺環境を撮影するカメラと、前記カメラが撮影した少なくとも前記第一ライトの光軸を含んだ周辺環境を含む画像を処理し、霧検出信号を出力する画像処理・霧検出手段を備えることを特徴とする。これにより、夜間走行時において霧の発生を検出することができる。

請求項２に記載の発明は、前記第一ライトに制御指令を送信し、該第一ライトより取得した第一ライトのライト状態を画像処理・霧検出手段に出力するライト制御手段と、前記ライト制御手段から入力された前記第一ライトのライト状態と前記カメラが撮影した画像とに基づいて霧検出信号を出力する画像処理・霧検出手段を備えることを特徴とする。これにより、第一ライトのライト状態、例えば点灯消灯状態や光軸方向に基づいて、霧検出装置は霧検出処理を行うことができ、検出精度が向上する。

請求項３に記載の発明は、前記第一ライト以外の第二ライトを備え、前記ライト制御手段は、前記第一ライトと前記第二ライトの光軸方向を制御し前記第一ライトと前記第二ライトの両方の制御状態を取得するとともに、前記ライト制御手段から入力された前記第一ライトのライト状態および前記第二ライトのライト状態と前記カメラが撮影した画像とを処理し霧検出信号を出力する画像処理・霧検出手段を備えることを特徴とする。これにより、本霧検出装置は、第一ライトのみが点灯している場合にも複数のライトが点灯している場合にも、第一ライトのライト状態、例えば第一ライトの点灯消灯状態や第一ライトの光軸方向の情報と、第二ライトのライト状態、例えば第二ライトの点灯消灯状態や第二ライトの光軸方向の情報とを用いて撮影した画像を処理するため、霧の発生を検出可能である。また、例えば霧検出装置の出力をライト制御手段に入力することによって、霧の発生状態に応じて第一ライトおよび第二ライトの光軸方向を制御可能である。

請求項４に記載の発明は、前記ライト制御手段は、前記第一ライトおよび前記第二ライトの制御指令として、スイブル角、チルト角の少なくとも１つの制御指令を出力することを特徴とする。これにより、光軸方向を変更可能な機構を持つ第一ライトおよび第二ライトの光軸を、霧の発生状態に基づき制御可能である。

請求項５に記載の発明は、前記ライト制御手段は、前記第一ライトと前記第二ライトとの双方のライト状態として、ハイビームとロービームとの切替状態、スイブル角およびチルト角の少なくとも１つの制御状態を取得することを特徴とする。これにより、ハイビームとロービームを切替可能な機構や光軸方向を変更可能な機構を持つ第一ライトおよび第二ライトの状態を基に、霧検出装置は霧の発生状態を判定可能である。

請求項６に記載の発明は、前記画像処理・霧検出手段は、前記カメラが撮影した撮影画像の水平方向走査線の輝度値の極大値が前記第一ライトのライト状態より算出した前記第一ライトの光軸推定位置近傍に存在し、かつ、左右の前記光軸推定位置に存在する前記極大値を含む輝度変化が少ない領域と、前記領域以外の領域間の輝度変化量が所定範囲内の変化量を維持したとき霧発生とみなすことを特徴とする。これにより、前記撮影画像上に霧検出に用いる第一ライトの光軸以外の輝度変化が少ない領域、例えば走行車線を表す白線が存在した場合にも、誤判定を行うことなく霧を検出可能である。

請求項７に記載の発明は、カメラが撮影した撮影画像を用いて走行車線を認識する走行車線認識装置が前記撮影画像内から座標値を検出する際に用いる前記撮影画像の水平方向走査線の設定アルゴリズムを、前記画像処理・霧検出手段が霧発生を検出するためのアルゴリズムとして転用することを特徴とする。これにより、撮影画像上の一部の画像素子を処理すれば良いため、霧検出処理の処理時間を短縮可能である。

請求項８に記載の発明は、前記カメラは、前記走行車線認識装置が使用するカメラを併用することを特徴とする。これにより、霧検出装置専用のカメラを設ける必要がないため、装置の生産コストを下げることができる。

請求項９に記載の発明は、前記画像処理・霧検出手段が霧発生を検出するための前記撮影画像内の白い帯状の線の座標値を幾何学変換により道路面の座標値に変換するアルゴリズムは、前記走行車線認識装置が使用する前記撮影画像内の白線の座標値を幾何学変換により道路面の座標値に変換するアルゴリズムを転用することを特徴とする。これにより、霧検出アルゴリズムの製作コストを圧縮可能であるとともに、高い信頼性を得ることができる。

以下、実施例１から実施例５を用いて、本発明を実施するための最良の形態を述べる。

〔実施例１〕
本実施例では、図１から図５を用いて、夜間走行時の自動車に搭載する霧検出装置を例に説明を行う。

図１は、霧検出装置の一例を示すブロック図である。自動車のフロントガラス内のルームミラー裏側に車両前方を撮影するカメラ１１を取り付ける。カメラ１１は、クルーズコントロールの一機能として使用され市販車の多くに搭載されているレーンキープ用の白線検出カメラを共用する。これにより、新たにカメラ１１を設置する場合に比べ、コストパフォーマンスに優れる。

車体前部には、第一ライトとしてヘッドライト１２、第二ライトとしてフォグライト１３が装備されている。ヘッドライト１２は、ハイとローの切り替え機能に加えＡＦＳ（ＡｄａｐｔｉｖｅＦｒｏｎｔ−ｌｉｇｈｔｉｎｇＳｙｓｔｅｍ）機能を持つヘッドライトであり、ハイとローの点灯状態およびヘッドライト１２のスイブル角をライト制御部１４に出力する。フォグライト１３は、点灯消灯の状態をライト制御部１４に出力する。ライト制御部１４は車両内部に設置されており、ヘッドライト１２には、図示しないステアリングの操舵角、車速、車高から目標スイブル角を算出し出力、フォグライト１３には点灯指令もしくは消灯指令を出力する。また、ヘッドライト１２およびフォグライト１３の点灯状態とヘッドライト１２のスイブル角をライト状態１６データとして画像処理・霧検出部１７に出力する。

画像処理・霧検出部１７は車両内部に設置されており、カメラ１１から出力された画像１５を画像処理して霧の有無を判断する。図２は霧が発生している時に撮影した画像（以下、霧発生画像）である。霧発生画像には、ヘッドライト１２の光軸が白い帯状の線として写っている。図２の霧発生画像の中で、ヘッドライト１２の光軸が白い帯状の線として表れるのは、光が霧（水の小粒子）によって散乱されているためである。また、霧発生画像の中では、輝度は白い帯状の線から離れるに従って緩やかに低下している。霧発生下においては、ヘッドライト１２の点灯状態がハイビームの場合と、ロービームの場合とで、白い帯状の線の現れる場所が異なる。しかし、光軸が白い帯状の線として明確に現れ、輝度が白い帯状の線から離れるに従って緩やかに下がるという点は、どちらの点灯状態においても変わらない。

一方、霧が発生していない時は、光を散乱する水の小粒子が存在しない。そのため、散乱により光軸が白い帯状の線となって明確に出現しないかわりに、路面上で反射率の高い反射物体が明るく写る。このためセンターラインやガードレールといった白い反射物体と、道路面といった黒い反射物体との境界では、黒い反射物体側の輝度が、白い反射物体側の輝度に比べ急激に下がっている。

以上より、霧発生画像と霧なしが発生していない時に撮影した画像（以下、霧なし画像）とには２種類の相違点が存在する。１点目の相違点は、霧発生画像にはヘッドライト１２の光軸が白い帯状の線として表れ、霧なし画像には白い帯状の線が存在しないという点である。２点目の相違点は、霧発生画像の輝度分布は白い帯状の線から離れるに従って輝度が緩やかに下がり、霧なし画像の輝度分布は黒い反射物体側の輝度が、白い反射物体側の輝度に比べ急激に下がっている点である。

図１における画像処理・霧検出部１７では、前述の２種類の相違点を利用して霧を検出するため、検出処理は２段階の処理からなる。第１段階の処理は、ライト状態１６から画像１５上のどの画像素子に自車両の光軸が白い帯状の線として現れるかを推定し、その画像素子近傍に白い帯状の中心線が明確に現れているかを判別する図５にて後述する極大値探索処理５１である。第２段階の処理は、白い帯状の線が現れている場合に白い帯状の中心線から離れるに従って輝度が緩やかに低下しているか判定する図５にて後述する輝度判定処理５２である。

霧検出に前述の２段階処理を使用する理由について述べる。道路上には対向車のヘッドライトや街灯が存在するため、画像１５上には、自車両のヘッドライト１２以外の光による白い帯状の線も存在する場合がある。そこで、あらかじめライト状態１６とカメラ１１とヘッドライト１２の相対位置から自車両の光軸位置を推定し、その推定位置近傍のみに白い帯状の中心線が存在するかどうかを判定する。しかし、この判定では、光軸推定位置と道路上に引かれた白色のセンターラインやガードレールが画像１５上で重なった場合に、ヘッドライト１２の光軸による白い帯状の線でなくても光軸推定位置に白い帯状の線が存在するため霧が発生していると誤認する可能性がある。そこで霧発生時には、ヘッドライト１２の光軸が白い帯状の線として現れるだけではなく、その白い帯状の線周辺の輝度が緩やかに低下するという特徴も用いる。以上より、光軸推定位置近傍に光軸が白い帯状の中心線として検出できるか探索する極大値探索処理５１と、白い帯状の線から離れるに従って緩やかに輝度が低下しているかを判定する輝度判定処理５２の２段階処理が必要となる。

図３（ａ）から図３（ｄ）を用いて、極大値探索処理５１について説明する。図３（ａ）は、霧発生画像を模式的に現している。画像処理の効率化を図るため、図３（ａ）に示す横走査線ｋと横走査線ｋ＋１と横走査線ｋ＋２のように画像を横方向へｎピクセル単位に分割して横走査線上の輝度を調べ、白い帯状の線として現れた光軸を検出する。もし、画像サイズが横方向に６４０ピクセル、縦方向に４８０ピクセルであったとするならば、光軸を検出するために使用する横走査線数は、ｔ本となる（ただしｔ＝４８０／ｎ）。この横走査線をｎピクセルおきに処理する画像処理手法は、既に数多くの車両に搭載されている走行車線認識装置用の白線認識アルゴリズムで利用されており、これを霧検出アルゴリズムに転用すればコストパフォーマンスおよび信頼性の点で有利である。

図３（ｂ）は横走査線ｋ、図３（ｃ）は横走査線ｋ＋１、図３（ｄ）は横走査線ｋ＋２の輝度と横方向の画像素子番号の関係、すなわち横走査線毎の輝度分布を表している。図３（ｂ）および図３（ｃ）に示すように、霧の発生により画像１５に白い帯状の線が存在する場合は、白い帯状の線の中心部分は輝度が高いため左右ヘッドライト１２それぞれにつき極大値が２箇所存在する。ただし、画像の輝度は２５６階調といったように数値化されているため、光の反射強度が特に強い場合は、一律で階調の最大値（２５６階調の場合は２５５）に飽和し輝度分布がπ型となる。図３（ｄ）の横走査線ｋ＋２のように輝度が飽和している場合は、飽和した素子集合の中間に位置する素子を極大値とする。以降では、画面左側に存在する極大値を左極大値３１および３５、右側を右極大値３２および３６と呼ぶ。

極大値の座標値を抽出する際は、あらかじめカメラ１１とヘッドライト１２の取り付け位置、およびライト状態１６とから光軸推定位置を推定する。この光軸推定位置に幅も持たせた範囲を極大値探索範囲とし、その範囲に極大値が存在するかどうかを探索する。図３（ｂ）から図３（ｄ）に示すように、極大値と同様、画像１５左側の光軸推定位置近傍の範囲を左探索範囲３３、右側を右探索範囲３４とする。極大値探索処理５１は、ｎピクセル毎に横走査線上の探索を行い、走査線上の左探索範囲３３および右探索範囲３４の中に、ある一定値以上の輝度をもち輝度値が最大となる画像素子（左極大値３１および右極大値３２）が存在する場合は極大値が存在すると判断する。

次に図３（ａ）および図３（ｅ）から図３（ｇ）を用いて、輝度判定処理５２について説明する。本処理は、前述の極大値探索処理５１で横走査線上に極大値が存在すると判断された場合にのみ実行される。また、極大値探索処理５１と同様に、輝度判定処理５２もｎピクセルおきの横走査線上の輝度分布を処理する。図３（ｅ）から図３（ｇ）に示すように、横走査線上で処理を行う領域を、左輝度判定領域３７と中輝度判定領域３８と右輝度判定領域３９との３領域にわける。左輝度判定領域３７とは、最も左側の画像素子から、左極大値３１の左隣の画像素子までの領域である。なお、図３（ｇ）のように輝度が飽和している場合には、左極大値３１を含む最も左側の画像素子から、輝度が飽和した素子の中で最も左側に位置する画像素子の左隣の画像素子までの領域を左輝度判定領域３７とする。中輝度判定領域３８とは、左極大値３１の右隣の画像素子から右極大値３２の左隣の画像素子までの領域である。左輝度判定領域３７と同様に、図３（ｇ）のように輝度が飽和している場合には、左極大値３１を含む輝度が飽和した素子の中で最も右側に位置する画像素子の右隣の画像素子から、右極大値３２を含む輝度が飽和した素子の中で最も左側に位置する画像素子の左隣の画像素子までの領域を中輝度判定領域３８とする。右輝度判定領域３９とは、最も右側の画像素子から、右極大値３２の右隣の画像素子までの領域である。左輝度判定領域３７と同様に、図３（ｇ）のように輝度が飽和している場合には、最も右側の画像素子から、右極大値３２を含む輝度が飽和した素子の中で最も右側に位置する画像素子の右隣の画像素子までの領域を右輝度判定領域３９とする。

これらの左輝度判定領域３７、中輝度判定領域３８、右輝度判定領域３９内で、隣接する画像素子あるいは所定画像素子毎の輝度変化量を計算し、ある一定範囲内の変化量を保っているならば、白い帯状の線から離れるに従って輝度が緩やかに低下しているとみなし、霧が発生していると判定する。

図４のフローチャートを用いて、霧検出装置が実行するフォグライト１３の点灯消灯処理について述べる。処理の初期状態は、検出カウンタおよび解除カウンタは０、モードは“アイドル”となっている。初期状態とは、霧検出装置を始動した時の状態である。始動後は、カメラ１１により画像１５が撮影されるたびに、ステップＳ４０１以降の処理が行われる。後述するようにフォグライト１３の点灯消灯処理が一時終了された状態で、カメラ１１により画像１５が撮影され再び処理が実行された場合には、前回の処理における検出カウンタと解除カウンタとモードとが用いられる。すなわち、検出カウンタと解除カウンタとモードとはグローバル変数で宣言されており、カメラ１１による画像取得の割り込み処理が行われた場合に、図４の処理が行われる。なお、モードは“アイドル”、“検出中”、“点灯中”の３種類のいずれかの値をとる。

ステップＳ４０１で、カメラ１１により撮影された画像１５を取得し、ステップＳ４０２へ進む。ステップＳ４０２では、ステップＳ４０１で取得した画像１５に対して、図５を用いて後述する極大値探索処理５１および輝度判定処理５２からなる霧検出処理を行い、ステップＳ４０３へ進む。ステップＳ４０３では、ステップＳ４０２の霧検出処理によって出力された霧検出信号を用いた条件により分岐判定を行う。もし、霧検出信号が霧発生（霧検出信号＝１）と判定されたならステップＳ４０４へ進み、霧なし（霧検出信号＝０）と判定されたならステップＳ４０５へ進む。ステップＳ４０４では、モードの値を条件に分岐判定を行う。もし、モードが“検出中”と判定されるならステップＳ４０６へ進み、“検出中”でないと判定されるならステップＳ４０７へ進む。ステップＳ４０６では、検出カウンタに１を加えステップＳ４０８へ進む。ステップＳ４０８では、検出カウンタと検出規定回数を比較し、もし検出カウンタが検出規定回数を上回っているならステップＳ４０９へ進み、上回っていないなら処理を一時終了する。ただし、処理を一時終了した場合は常に、検出カウンタと、解除カウンタと、モードの各３値が保持され、再び処理が実行された場合に使用される。このように、検出カウンタと、解除カウンタと、モードの各３値を保持し、検出カウンタが検出規定回数を超えた場合にフォグライト１３を点灯、解除カウンタが解除規定回数を超えた場合にフォグライト１３を消灯する理由は、頻繁にフォグライト１３の点灯消灯が繰り返されることを防ぐためである。

ステップＳ４０８より続くステップＳ４０９では、モードを“点灯中”に設定し、続くステップＳ４１０では解除カウンタをリセット（＝０）する。ステップＳ４１０に続くステップＳ４１１では、フォグライト１３を点灯し、点灯後に処理を一時終了する。ステップＳ４０４において霧なし（霧検出信号＝０）である場合に進むステップＳ４０７ではモードの値を条件に分岐判定を行い、モードが“アイドル”と判定されたならステップＳ４１２に進み、“アイドル”でないと判定されたならステップＳ４１４に進む。ステップＳ４１２では、検出カウンタに１を加える。ステップＳ４１２に続くステップＳ４１３ではモードを“検出中”とし、次のステップＳ４１４で解除カウンタをリセットする。そして、ステップＳ４１４実行後、処理を一時終了する。また、ステップＳ４０７でモードが“アイドル”でない場合、モードは“点灯中”であるため、ステップＳ４１４で解除カウンタをリセットし、処理を一時終了する。

次に、ステップＳ４０３において霧検出信号が霧なしとなった場合の処理について述べる。ステップＳ４０５で、モードが“検出中”であるならステップＳ４１５において解除カウンタに１を加え、モードが“検出中”でないならステップＳ４１６に進む。ステップＳ４１５に続くステップＳ４１７では、解除カウンタと解除規定回数を比較し、解除カウンタが解除規定回数以上であるならステップＳ４１８へ進み、規定回数未満であるなら処理を一時終了する。ステップＳ４１８では、モードを“アイドル”に設定する。ステップＳ４１８に続くステップＳ４１９では検出カウンタをリセットし、その後、処理を一時終了する。ステップＳ４０５においてモードが“検出中”でない場合に実行されるステップＳ４１６ではモードの値を条件に分岐判定を行い、モードが“点灯中”であるならステップＳ４２０へ進み、“点灯中”でないなら処理を一時終了する。ステップＳ４２０では、解除カウンタに１を加える。さらにステップＳ４２０に続くステップＳ４２１では、解除カウンタと解除規定回数を比較し、解除カウンタが解除規定回数以上であるならステップＳ４２２へ進み、解除規定回数以下なら処理を一時終了する。ステップＳ４２２では、モードを“アイドル”に設定する。ステップＳ４２２に続くステップＳ４２３では検出カウンタをリセットする。さらに、ステップＳ４２３に続くステップＳ４２４でフォグライト１３を消灯して、処理を一時終了する。

図４で示したフォグライト１３の点灯消灯処理において、検出カウンタが検出規定回数を満たした時にフォグライト１３を点灯し、解除カウンタが解除規定回数を満たした時にフォグライト１３を消灯するとした理由は、センターラインなどの白線が光軸によって発生した白い帯状の線に一時的に重なった場合に、霧検出の条件が成り立たないケースが発生しフォグライト１３の点灯消灯状態が頻繁に切替られることを回避するためである。

図５のフローチャートを用いて、図１の画像処理・霧検出部１７が実行する処理を説明する。前述の通り、霧検出の処理は２段階で行い、図５の左側が極大値探索処理５１、右側が輝度判定処理５２である。これらの処理は前述の図４のフローチャートにおけるステップＳ４０２である。

まず、極大値探索処理５１について述べる。ステップＳ５０１では、探索処理を行う横走査線を決定する。初回探索は画像の最上部に位置する横走査線より開始する。ステップＳ５０１に続くステップＳ５０２では、ライト状態１６とカメラ１１とヘッドライト１２の相対位置を基に、車両のヘッドライト１２の光軸がこれから探索を行う横走査線上のどの範囲に存在するかを推定し、その範囲を図３（ｂ）から図３（ｄ）において説明した左探索範囲３３および右探索範囲３４とする。ステップＳ５０２に続くステップＳ５０３では、設定した横走査線上の左探索範囲３３内において、一定値以上で、かつ左探索範囲３３内最大の輝度値を持つ画像素子を探索する。以下、一定値以上かつ探索範囲内最大の輝度値を持つ画像素子を明点、明点の画像素子番号を明点番号と呼ぶ。もし、ステップＳ５０３の探索中に明点を検出した場合には、その明点番号を記憶しておく。ステップＳ５０３に続くステップＳ５０４では、ステップＳ５０３で明点を検出したかどうかの判定を行っている。もし、明点を検出したならステップＳ５０５へ、検出しなかったならステップＳ５０６へ進む。ステップＳ５０５では、左探索範囲３３内に存在する明点がただ一点である場合、その明点を左極大値３１とする。左探索範囲３３内に明点が複数存在する場合、すなわち輝度値が階調の最大値に飽和している場合、全明点の中央に位置する画像素子を図３（ｄ）において説明したように左極大値３１とする。

ステップＳ５０５に続くステップＳ５０７では、右探索範囲３４内において明点を探索する。もし、ステップＳ５０７の探索中に明点を検出した場合には、その明点番号を記憶しておく。ステップＳ５０７に続くステップＳ５０８では、ステップＳ５０７で明点を検出したかどうかの判定を行っている。もし、明点を検出したならステップＳ５０９へ、検出しなかったならステップＳ５０６へ進む。ステップＳ５０９では、右探索範囲３４内に存在する明点がただ一点である場合、その明点を右極大値３２とする。右探索範囲３４内に明点が複数存在する場合、すなわち輝度値が階調の最大値に飽和している場合、全明点の中央に位置する画像素子を図３（ｄ）において説明したように右極大値３２とする。なお、ステップＳ５０９を実行することは、左探索範囲３３、および右探索範囲３４の両方に極大値が存在したことを意味する。ステップＳ５０９に続くステップＳ５１０では、全横走査線の探索が終了したかどうかを条件に分岐判定を行う。もし、全横走査線の探索が終了したと判定されたなら輝度判定処理５２のステップＳ５１２へ、探索が終了していないと判定されたならステップＳ５０１に戻り次の横走査線による探索を開始する。また、左探索範囲３３、もしくは右探索範囲３４で明点が検出できなかった場合には、ステップＳ５０４もしくはステップＳ５０８からステップＳ５０６に処理が移り、白い帯状の線が存在しないと判断される。

次に、輝度判定処理５２について述べる。前段の極大値探索処理５１で、極大値が存在すると判断された場合、ステップＳ５１２にて、輝度判定を行う横走査線を決定する。次に、ステップＳ５１２に続くステップＳ５１３で、前処理で算出した明点以外の領域内の一定範囲を左輝度判定領域３７、中輝度判定領域３８、右輝度判定領域３９とする。ステップＳ５１３に続くステップＳ５１４では、輝度判定領域３７、３８、３９における隣接する画像素子同士の輝度変化量を算出する。ステップＳ５１４に続くステップＳ５１５では、ステップＳ５１４で算出した輝度変化量がある一定範囲内であるかどうか判別する。もし、輝度変化量が一定範囲外であるなら前処理で検出した極大値、すなわち白い帯状の線は、ガードレールやセンターラインであったと判断し、ステップＳ５１７で霧検出信号を霧なし（霧検出信号＝０）として出力する。もし、輝度変化量が一定範囲内であるならステップＳ５１６へ進む。ステップＳ５１６では、輝度判定領域の全領域、すなわち左輝度判定領域３７、中輝度判定領域３８、右輝度判定領域３９の全領域の輝度変化量を判定したか識別する。もし、全領域を判定したならステップＳ５１８へ進み、全領域を判定していないならステップＳ５１４に戻る。ステップＳ５１６に続くステップＳ５１８において、全横走査線の判定が完了していなければステップＳ５１２に戻り、全横走査線の判定が完了したならステップＳ５１９に進む。ステップＳ５１９では、霧検出信号を霧発生（霧検出信号＝１）として出力する。

本実施例では、ヘッドライト１２の光軸を含むカメラ画像１５を処理することで、霧を検出した。この霧検出のアルゴリズムは、画像１５内にヘッドライト１２の光軸が白い帯状の線として現れていて、かつ、白い帯の中心から離れるに従って輝度が緩やかに低下した場合に、霧が発生しているとみなすアルゴリズムである。本装置は霧発生時に、自動的にフォグライト１３を点灯させるため、運転者にとって有効な運転支援が可能である。また、多くの車両に装備されている走行車線認識装置の白線認識用カメラを共用するためコストパフォーマンスに優れ、白線認識アルゴリズムを基とした霧検出アルゴリズムを用いるため信頼性が高い。

〔実施例２〕
図６を用いて実施例２について説明する。この実施例２における前述の実施例１との構成上の相違点は、本実施例では、ＡＣＣ制御手段６１が追加されている点である。なお、実施例１と同等の構成については、実施例１と同様の符号を付し、本実施例２における説明を省略する。

ＡＣＣとは、先行車との車間距離を一定に保つクルーズコントロールである。画像処理・霧検出部１７から出力された霧検出信号が霧発生である場合、ＡＣＣ制御手段６１は、通常の車間距離よりも長い車間距離を開ける、設定できる目標速度に制限をかける、もしくはＡＣＣ機能自体を使用不可とすることで、視界不良による事故を防止する。

〔実施例３〕
図７を用いて実施例３について説明する。この実施例３における前述の実施例１との構成上の相違点は、本実施例では、ブレーキアシスト手段７１が追加されている点である。なお、前述の実施例と同等の構成については、各実施例と同様の符号を付し、本実施例３における説明を省略する。

図７に示すように、実施例３では、ブレーキアシスト手段７１が追加されている。ブレーキアシスト手段７１は、緊急時に運転者のブレーキペダルへの踏力を増大する比率を通常走行時よりも高めるように設定しておくことで、踏力が少ない運転者でも十分なブレーキングができ、制動距離を短縮することを可能とする手段である。この踏力を増大する比率の設定条件に、霧検出信号を用いる。もし、霧が発生している場合には、運転者のブレーキペダルへの踏力を増大する比率を大きくすることで、霧中の障害物が突然現れた場合でも、運転者は確実にブレーキの性能を引き出すことができる。

〔実施例４〕
図８を用いて実施例４について説明する。この実施例４における前述の実施例１との構成上の相違点は、本実施例では、ＰＣＳ制御手段８１と障害物検出手段８２が追加されている点である。なお、前述の実施例と同等の構成については、各実施例と同様の符号を付し、本実施例４における説明を省略する。

ＰＣＳ（Ｐｒｅ−ｃｒａｓｈＳａｆｅｔｙＳｙｓｔｅｍ）とは、ミリ波レーダなどの障害物検出手段８２を用いて、前方障害物を検出し、危険の度合いに応じてシートベルトを巻き上げ乗員に注意を促し、もし衝突が避けられない場合にはその衝撃を軽減するため乗員をベルトによってシートに拘束する手段である。ＰＣＳ制御手段８１に霧検出信号を入力することで、障害物検出手段８２が霧中に障害物を検出した場合は、通常よりも早い段階でシートベルトを巻き上げて乗員に注意を促すことができる。

〔実施例５〕
実施例５における前述の実施例との相違点は、本実施例では、霧検出信号の内容が霧濃度に応じて、大、中、小、なしの４段階であるのに対し、前述の実施例では霧検出信号は、霧発生、もしくは霧なしの２段階であった点である。

本実施例における霧検出信号の段階分けは、実施例１で述べた極大値の輝度値に基づく。具体的には、極大値の輝度値が非常に大きい場合は霧の濃度大、輝度値が大きい場合は霧の濃度中、輝度値が少し大きい場合は霧の濃度小とする。このように霧の濃度を詳細に表現し、ＡＣＣやブレーキアシスト、ＰＣＳといった運転支援装置と組み合わせることで、より安全性の高い運転支援が可能である。例えば実施例２においてＡＣＣと組み合わせた場合、濃度の段階に応じて車間距離および目標速度を調整することができるので、一層きめ細かなＡＣＣ制御が可能である。人間には霧が濃い時ほど障害物の発見が遅れる傾向があるため、実施例３のブレーキアシストにおいては、霧濃度に応じて運転者のブレーキペダルへの踏力を増大する比率を設定することで乗員はより効果的なブレーキングが可能となる。同様の傾向により、実施例４においても、濃度の度合いに応じて注意を促すタイミングを最適化することで、より効果的なＰＣＳ制御が可能である。

〔その他の実施例〕
前述の実施例では、ヘッドライト１２と走行車線認識装置に用いる白線認識用カメラを使用したが、ライトの光軸を撮影できるカメラであれば種類および台数は問わない。

前述の実施例で用いた画像処理・霧検出部１７を他の処理装置に組み込んでも良い。例えば、走行車線認識装置のＥＣＵを用いて画像処理・霧検出部１７の処理を行っても良いし、霧検出アルゴリズムを走行車線判定アルゴリズムに組み込んでも良い。

ライトについては、ヘッドライト１２以外のライトであっても霧発生時に光軸が現れるライトであれば良い。また実施例では、ＡＦＳ機能を有するヘッドライト１２を用いたが、ＡＦＳ機能を持たないヘッドライト１２、フォグライト１３、ドライビングライトでも良い。またＡＦＳ機能も、スイブル角のみを調整し横方向の照射範囲を広げる形式でなく、縦方向のチルト角も設定できる形式でも良い。

霧検出のアルゴリズムにおいて、画像上のｎピクセル毎の横走査線を処理すると述べたが、ｍピクセル毎に縦走査線を処理しても良いし、画像上の全画像素子を処理しても良い。

霧検出信号は２段階もしくは４段階の例を用いて説明を行ったが、３段階以上の複数段階に分けても良いし、段階的表現ではなく、ファジィ集合による度合い的表現で表してもよい。

実施例１において用いられる霧検出装置の概略構成を示すブロック図である。実施例１において用いられる霧が発生している場合のカメラ画像である。実施例１において用いられるカメラ画像の横走査線の分割方法と、横走査線の輝度分布と、極大値探索処理範囲と、輝度判定処理領域とを模式的に表した図である。実施例１において用いられるフォグライトの点灯消灯アルゴリズムのフローチャートである。実施例１において用いられる画像処理・霧検出部の処理を表すフローチャートである。実施例２において用いられるＡＣＣを備えた霧検出装置の概略構成を示すブロック図である。実施例３におけるブレーキアシスト手段を備えた霧検出装置の概略構成を示すブロック図である。実施例４において用いられるＰＣＳを備えた霧検出装置の概略構成を示すブロック図である。

符号の説明

１１カメラ
１２ヘッドライト
１３フォグライト
１４ライト制御部
１５画像
１６ライト状態
１７画像処理・霧検出部
３１左極大値
３２右極大値
３３左探索範囲
３４右探索範囲
３５左極大値（明点が複数存在する場合）
３６右極大値（明点が複数存在する場合）
３７左輝度判定領域
３８中輝度判定領域
３９右輝度判定領域
５１極大値探索処理
５２輝度判定処理
６１ＡＣＣ制御手段
７１ブレーキアシスト手段
８１ＰＣＳ制御手段
８２障害物検出手段

Claims

夜間走行時に霧の発生を検出する霧検出装置において、
少なくともカメラの撮像範囲内を照射する第一ライトと、
少なくとも前記第一ライトの光軸を含んだ周辺環境を撮影するカメラと、
前記カメラが撮影した少なくとも前記第一ライトの光軸を含んだ周辺環境を含む画像を処理し、霧検出信号を出力する画像処理・霧検出手段を備えることを特徴とする霧検出装置。
前記第一ライトに制御指令を送信し、該第一ライトより取得した第一ライトのライト状態を画像処理・霧検出手段に出力するライト制御手段と、
前記ライト制御手段から入力された前記第一ライトのライト状態と前記カメラが撮影した画像とに基づいて霧検出信号を出力する画像処理・霧検出手段を備えることを特徴とする請求項１に記載の霧検出装置。
前記第一ライト以外の第二ライトを備え、
前記ライト制御手段は、前記第一ライトと前記第二ライトの光軸方向を制御し前記第一ライトと前記第二ライトの両方の制御状態を取得するとともに、
前記ライト制御手段から入力された前記第一ライトのライト状態および前記第二ライトのライト状態と前記カメラが撮影した画像とを処理し霧検出信号を出力する画像処理・霧検出手段を備えることを特徴とする請求項２に記載の霧検出装置。
前記ライト制御手段は、前記第一ライトおよび前記第二ライトの制御指令として、スイブル角、チルト角の少なくとも１つの制御指令を出力することを特徴とする請求項３に記載の霧検出装置。
前記ライト制御手段は、前記第一ライトと前記第二ライトとの双方のライト状態として、ハイビームとロービームとの切替状態、スイブル角およびチルト角の少なくとも１つの制御状態を取得することを特徴とする請求項３に記載の霧検出装置。
前記画像処理・霧検出手段は、前記カメラが撮影した撮影画像の水平方向走査線の輝度値の極大値が前記第一ライトのライト状態より算出した前記第一ライトの光軸推定位置近傍に存在し、かつ、左右の前記光軸推定位置に存在する前記極大値を含む輝度変化が少ない領域と、前記領域以外の領域間の輝度変化量が所定範囲内の変化量を維持したとき霧発生とみなすことを特徴とする請求項１に記載の霧検出装置。
カメラが撮影した撮影画像を用いて走行車線を認識する走行車線認識装置が前記撮影画像内から座標値を検出する際に用いる前記撮影画像の水平方向走査線の設定アルゴリズムを、前記画像処理・霧検出手段が霧発生を検出するためのアルゴリズムとして転用することを特徴とする請求項１に記載の霧検出装置。
前記カメラは、前記走行車線認識装置が使用するカメラを併用することを特徴とする請求項７に記載の霧検出装置。
記画像処理・霧検出手段が霧発生を検出するための前記撮影画像内の白い帯状の線の座標値を幾何学変換により道路面の座標値に変換するアルゴリズムは、前記走行車線認識装置が使用する前記撮影画像内の白線の座標値を幾何学変換により道路面の座標値に変換するアルゴリズムを転用することを特徴とする請求項１に記載の霧検出装置。