JP2007057331A - 車載霧判定装置 - Google Patents

Abstract

【課題】車載カメラによって撮像された画像に基づいて精度よく霧判定することができる車載霧判定装置を提供する。
【解決手段】車載カメラによって撮像された画像内において車両が走行している道路領域を決定し、その道路領域内において車両から所定距離遠方にある遠方路面領域Ｄｆ、および、その道路領域内において自車近傍の領域である近距離路面領域Ｄｓの輝度中央値をそれぞれ決定する（Ｓ３１０、Ｓ３２０）。さらに、画像内における空の輝度を決定し（Ｓ３３０）、遠方路面領域Ｄｆの輝度中央値の、近距離路面領域Ｄｓの輝度中央値および空の輝度に対する相対的大きさを表す相対輝度値を算出する（Ｓ３４０）。そして、その相対輝度値が所定の判定基準値を超えている場合には、霧と判定する。
【選択図】図９

Description

本発明は、車載カメラによって撮像された画像から霧判定する車載霧判定装置に関する。

カメラによって撮像された画像を解析して霧判定を行う方法が知られている。たとえば、特許文献１に記載されている方法がそれである。なお、特許文献１に記載の方法は、霧であるか否か、すなわち視程が所定距離以下であるか否かを判定するのではなく、より具体的に、視程距離を計測する方法である。

特許文献１に記載の方法は、視程を計測しようとする地点にカメラを設け、そのカメラによって撮像された画像全体の輝度分布の標準偏差を求めている。そして、その標準偏差を、予め求めておいた輝度分布の標準偏差と視程との関係を表す相関直線に当てはめることによって、視程を算出している。また、上記相関直線は、その地点で種々の条件下で画像を撮像してその画像の輝度分布の標準偏差を求めるとともに、反射型視程計を用いて視程を計測することによって求めている。
特開平８−２１９７８４号公報

近年、車両にもカメラが搭載可能となってきているので、車載カメラによって撮像された画像を用いて霧判定することが望まれている。車載カメラによって撮像された画像を用いて霧判定することができれば、その判定結果に基づいてフォグランプを自動的に点灯させる等の制御が可能になる。

そこで、車載カメラによって撮像された画像に対して特許文献１に記載された方法を適用して霧判定を行うことが考えられる。しかし、車載カメラによって撮像される画像は、車両の走行に伴って撮像範囲（景色）が変化する。そのため、全く霧が生じていないとしても輝度分布の標準偏差は変化することになる。従って、特許文献１の方法を車載カメラに適用すると、精度よく霧判定ができない可能性が高い。

本発明は、この事情に基づいて成されたものであり、その目的とするところは、車載カメラによって撮像された画像に基づいて精度よく霧判定することができる車載霧判定装置を提供することにある。

その目的を達成するための請求項１記載の発明は、車両に搭載された車載カメラにより撮像された画像に基づいて霧判定を行う霧判定手段を備えた車載霧判定装置であって、前記車載カメラによって撮像された画像内において前記車両が走行している道路領域を決定する道路領域決定手段と、その道路領域決定手段によって決定された道路領域に基づいて、前記画像内において前記車両から所定距離遠方にある路面領域である遠方路面領域を決定する遠方路面領域決定手段とを備え、前記霧判定手段は、その遠方路面領域決定手段によって決定された遠方路面領域の輝度に基づいて霧判定を行うことを特徴とする。

この請求項１に記載の発明によれば、遠方路面領域の輝度に基づいて霧判定を行っており、路面は通常黒色であることから、路面の輝度は車両走行に伴ってそれほど大きく変化しない（異なる道路間でそれほど大きく異ならない）。従って、路面領域の輝度に基づいて霧判定を行えば精度よく霧判定を行うことができる。なお、霧判定を行うための路面領域を遠方路面領域、すなわち車両から所定距離遠方にある路面領域としているのは、車両からの距離が近すぎると、霧であっても、輝度は霧でないときとそれほど変わらないからである。

ここで、好ましくは、請求項２に記載のように、前記霧判定手段において用いる遠方路面領域の輝度として、前記遠方路面領域の水平方向の輝度中央値を用いる。遠方路面領域の一部に黒色の路面以外のもの（たとえば道路標示）が含まれているとしても、水平方向の輝度中央値は黒色の路面の輝度を表している可能性が高いので、霧判定の精度が向上する。

請求項１の霧判定手段においては、予め設定された一つまたは複数の基準輝度と、遠方路面領域の輝度とを比較して霧判定を行ってもよいが、路面の黒さは場所によって多少異なる。そこで、請求項３のようにすることが好ましい。

すなわち、請求項３に記載の発明は、請求項１または２に記載の車載霧判定装置において、前記道路領域決定手段によって決定された道路領域に基づいて、前記画像内において前記遠方路面領域よりも車両に近い近距離路面領域を決定する近距離路面領域決定手段をさらに備え、前記霧判定手段は、前記遠方路面領域の輝度と前記近距離路面領域の輝度との比較に基づいて霧判定を行うことを特徴とする。

道路の色は場所によって多少異なることもあるが、車載カメラによって撮像される狭い範囲内での道路の色は、車両からの距離に関らず、通常、同一である。また、前述のように、車両に近い側は、霧であるときと霧でないときとの輝度変化が少ない。従って、請求項３のように、遠方路面領域の輝度と近距離路面領域の輝度とを比較すると、霧でないときは互いの輝度は比較的近くなる一方、霧のときは互いの輝度は比較的大きく異なる。従って、霧判定の精度がより向上する。

また、上記近距離路面領域決定手段は、請求項４記載のように、前記道路領域決定手段によって決定された道路領域と、前記画像内において自車近傍が撮像されている範囲として予め設定された近距離範囲とに基づいて、前記近距離路面領域を決定するものであることが好ましい。このようにすれば、近距離路面領域が自車近傍の路面領域となることから、その近距離路面領域の輝度は、霧の影響による変化が特に少なくなる。従って、霧であるときには、遠方路面領域の輝度と近距離路面領域の輝度との違いが大きくなるので、霧判定の精度がより一層向上する。なお、画像内における自車近傍とは、画像内における自車のボンネットの直上などを意味するが、霧による画像輝度の変化がほとんどない距離であれば、多少、自車から離れていても自車近傍に含まれ、たとえば、自車から５０ｍ先の領域などであってもよい。

また、請求項５に記載のように、前記霧判定手段において用いる近距離路面領域の輝度として、前記近距離路面領域の水平方向の輝度中央値を用いることが好ましい。このようにすれば、近距離路面領域の一部に黒色の路面以外のものが含まれているとしても、水平方向の輝度中央値は黒色の路面の輝度を表している可能性が高いので、霧判定の精度が向上する。

また、遠方路面領域の輝度を、近距離路面領域の輝度と比較するのではなく、請求項６のように、画像内の空の輝度と比較してもよい。すなわち、請求項６に記載の発明は、請求項１または２に記載の車載霧判定装置において、前記車載カメラによって撮像された画像内の予め定められた上辺部分の輝度に基づいて、画像内の空の輝度を決定する空輝度決定手段をさらに備え、前記霧判定手段は、前記遠方路面領域の輝度と、空輝度決定手段によって決定された空の輝度との比較に基づいて霧判定を行うことを特徴とする。

霧であって遠方の路面が見えにくくなっている状況では、空の色と遠方路面領域の色とが似てくる。従って、請求項６のように、遠方路面領域の輝度を、空の輝度と比較することによって霧判定することができるのである。また、このように空の輝度を比較基準として用いると、晴天であるか曇天であるかなどの天候の変化などによって空の輝度（および霧である場合には霧がかかっている部分の輝度）が変化しても、その空の輝度の変化に影響されずに、精度よく霧判定を行うことができる。

また、請求項７のように、遠方領域の輝度と、近距離路面領域の輝度と、空の輝度とを用いて霧判定することがより好ましい。すなわち、請求項７に記載の発明は、請求項３乃至５のいずれかに記載の車載霧判定装置において、前記車載カメラによって撮像された画像内の予め定められた上辺部分の輝度に基づいて、画像内の空の輝度を決定する空輝度決定手段をさらに備え、前記霧判定手段は、前記遠方路面領域の輝度と、前記近距離路面領域決定手段によって決定された近距離路面領域の輝度と、前記空輝度決定手段によって決定された空の輝度との比較に基づいて霧判定を行うことを特徴とする。

このように、前記遠方路面領域の輝度と、近距離路面領域の輝度と、空の輝度とを比較すれば、より精度よく霧判定を行うことができる。

また、好ましくは、請求項８のように、車載霧判定装置は、前記道路領域決定手段によって決定された道路領域内における輝度変化に基づいて、その道路領域内において、水平方向の少なくとも一部に道路標示が表示されている垂直座標である道路標示垂直座標を決定する道路標示座標決定手段、および、前記車載カメラにより撮像された画像内における前方車両の存在を判定するとともに、前方車両が存在すると判定した場合には、その前方車両の座標範囲を決定する前方車両判定手段、の少なくとも一方を備え、前記霧判定手段は、前記道路標示座標決定手段によって決定された道路標示垂直座標、または前記前方車両判定手段によって決定された前方車両の座標範囲が、前記遠方路面領域の垂直座標と重なる場合には、霧判定を行わないようになっている。

遠方路面領域に道路標示が含まれていると、道路標示は路面よりも輝度が明るいことから、その道路標示の存在によって、遠方路面領域の輝度は全体として霧でなくても白色の輝度に近くなる。また、遠方路面領域に車両が含まれている場合にも同様に、車両は通常路面よりも輝度が明るいことから、その車両の存在によって、遠方路面領域の輝度は全体として霧でなくても白色の輝度に近くなる。そのため、いずれの場合にも、誤判定をする可能性が高くなる。そこで、請求項８のように、道路標示垂直座標または前方車両の座標範囲が遠方路面領域の垂直座標と重なる場合には、霧判定を行わないようにすることで、誤判定を防止できる。

また、遠方路面領域だけでなく、近距離路面領域についても、同様のことが言える。そこで、好ましくは、請求項９に記載のように、車載霧判定装置は、前記道路領域決定手段によって決定された道路領域内における輝度変化に基づいて、その道路領域内において、水平方向の少なくとも一部に道路標示が表示されている垂直座標である道路標示垂直座標を決定する道路標示座標決定手段、および、前記車載カメラにより撮像された画像内における前方車両の存在を判定するとともに、前方車両が存在すると判定した場合には、その前方車両の座標範囲を決定する前方車両判定手段、の少なくとも一方を備え、前記霧判定手段は、前記道路標示座標決定手段によって決定された道路標示垂直座標、または前記前方車両判定手段によって決定された前方車両の座標範囲が、前記近距離路面領域の垂直座標と重なる場合には、霧判定を行わないようになっている。

このように、道路標示垂直座標または前方車両の座標範囲が近距離路面領域の垂直座標と重なる場合にも、霧判定を行わないようにすると、誤判定を防止できる。

上記道路標示座標決定手段は、請求項１０に記載のように、前記道路領域決定手段によって決定された道路領域において水平方向の輝度分布値が所定の上限分布値を超えている垂直方向座標を、道路標示垂直座標として決定するものとすることができる。

また、道路標示座標決定手段は、請求項１１に記載のように、前記道路領域決定手段によって決定された道路領域において、水平方向の輝度平均値の垂直方向変化値または水平方向の輝度分布値の垂直方向変化値が、所定の正常変動範囲を超えていることに基づいて、前記道路標示垂直座標を決定するものであってもよい。なお、請求項１０および１１における水平方向の輝度分布値とは、輝度の水平方向におけるばらつきの程度を表す値であり、たとえば、分散や標準偏差が含まれる。また、変化値とは、たとえば、変化量や変化率などの変化の程度を表す値を意味する。

また、請求項１２に記載の発明は、車両前方に向けて信号波を出力するとともに、その信号波の反射波を受信する信号波送受信機をさらに備え、前記前方車両判定手段は、その信号波送受信機によって受信された反射波に基づいて前記前方車両の存在を判定するものであることを特徴とする。このようにすれば、精度よく前方車両の存在を判定することができる。

また、請求項１３に記載の発明は、請求項１乃至１２のいずれかに記載の車載霧判定装置において、前記道路領域決定手段は、前記車載カメラによって撮像された画像から、道路に沿って設けられている道路上標識を検出し、検出した道路上標識の位置に基づいて前記車両が走行している道路領域を決定するものであることを特徴とする。

このように、道路上標識の位置に基づいて道路領域を決定すれば、道路上標識は道路に沿って設けられているものであるので、道路領域を精度よく決定することができる。

また、霧判定手段は、一時点において撮像された画像のみを用いて霧判定を行ってもよいが、一時点の画像のみを用いる場合、たまたまその画像が誤判定をしてしまうような画像であることもある。そこで、好ましくは、請求項１４記載のように、前記霧判定手段は、前記車載カメラによって撮像された複数の時点における遠方路面領域の画像に基づいて、霧判定を行うようにする。このようにすれば、霧判定の精度が向上する。

また、好ましくは、請求項１５記載のように、前記霧判定手段は、霧判定を繰り返し行い、且つ、前回の判定において霧であると判定されている場合には、前回の判定で霧と判定されていない場合よりも、霧であると判定されやすくなっているようにする。

霧判定を繰り返し行う場合において、前回の判定結果に関係なく同一判定基準を用いるとすると、比較的薄い霧のときは、判定結果が短時間のうちに繰り返し変動してしまうことも考えられるが、それでは、判定結果をその後の制御（たとえば、フォグランプの自動点灯など）に利用する場合に不都合が生じる。それに対して、請求項１５のようにすれば、比較的薄い霧のときにも、判定結果が短時間のうちに繰り返し変動してしまうことが少なくなるので、判定結果に基づいてさらに制御を行う場合の上記不都合が解消される。

以下、本発明の車載霧判定装置の実施の形態を、図面に基づいて説明する。図１は、本発明が適用された車載霧判定装置１０の構成を示すブロック図である。

車載霧判定装置１０は、車載カメラ１２、画像処理ＥＣＵ１４、ヨーレートセンサ１６、ステアリングセンサ１８、ミリ波レーダ２０、車速センサ２２を備えており、それらが車内ＬＡＮ２４によって相互に接続されている。また、この車内ＬＡＮ２４には、運転支援制御ＥＣＵ２６およびライト制御ＥＣＵ２８も接続されている。

上記車載カメラ１２は、ＣＣＤカメラによって構成されており、その取り付け位置は、車両の内部、たとえば運転席近傍の天井とされている。この車載カメラ１２によって、車両前方の画像が連続的に撮像され、撮像された画像のデータは、画像処理ＥＣＵ１４において処理される。

画像処理ＥＣＵ１４は、図示しない内部にＣＰＵ、ＲＯＭ、ＲＡＭ等を備えたコンピュータであり、そのＲＡＭには、車載カメラ１２によって連続的に撮像される一定時間分の画像のデータが一時的に記憶される。そして、ＣＰＵは、ＲＯＭに記憶されたプログラムに従って、そのＲＡＭに記憶された画像データに対して図２に示す処理を実行する。このＣＰＵの処理については後述する。

ヨーレートセンサ１６は車両のヨーレートを逐次検出し、ステアリングセンサ１８は、ステアリングの操舵角を逐次検出する。また、ミリ波レーダ２０は、信号波送受信機として機能するものであり、車両前方に向けて所定周波数のミリ波を出力し、且つ、対象物からの反射波を受信する。運転支援ＥＣＵ２６は、前方車両検出手段としても機能しており、上記ミリ波レーダ２０によって受信された反射波に基づいて、前方車両（自車と同一車線において前方を走行している車両）の有無を連続的に判定し、前方車両を検出した場合にはその前方車両との間の距離、相対方位および相対速度を算出する。さらに、算出したそれらの情報に基づいて、車速制御などの運転支援制御を実行する。

ライト制御ＥＣＵ２８は、画像処理ＥＣＵ１４において霧であると判定された場合に、図示しないフォグランプの点灯・消灯の制御を実行する。

図２は、上記画像処理ＥＣＵ１４の制御機能の要部を示すフローチャートである。図２に示す制御は、走行中に所定の周期で実行するものであり、この制御の実行中には、車載カメラ１２によって車両前方の画像が連続的に撮像されている。図３、図４は、車載カメラ１２によって撮像されている画像例である。

図２に示すように、上記画像処理ＥＣＵ１４は、まず、道路領域決定手段に相当する道路領域決定処理を実行し（ステップＳ１００）、次いで、判定可否決定処理を実行し（ステップＳ２００）、その後、霧判定手段に相当する霧判定画像処理（ステップＳ３００）を実行する。

上記ステップＳ１００の道路領域決定処理は、図５に詳しく示されている。図５において、まず、ステップＳ１１０では、車載カメラ１２によって連続的に撮像される画像に基づいて、道路に沿って設けられている道路上標識である白線を認識する白線認識処理を実行する。この白線認識処理としては、公知の様々な処理手法を用いることができるが、たとえば、車載カメラ１２によって撮像された画像を二値化処理し、二値化処理後の画像から白色部分を抽出することによって白線を認識する。なお、ここにおける白線は、通常の白線認識処理と同様に、白線のみでなく黄線も含むものである。

上記ステップＳ１１０における白線認識処理においては、常に白線が認識できるとは限らず、たとえば、道路に白線が描かれていない等の理由により、白線の認識ができないこともある。そこで、続くステップＳ１２０では、白線が認識できたか否かを判断する。

上記ステップＳ１２０の判断が肯定された場合には、続くステップＳ１３０において、上記ステップＳ１１０で認識した白線間の領域を道路領域と認識する。なお、図３および４にも示されているように、自車が走行している車線とは別に対向車線が存在する場合には、白線が３本認識されることになり、また、一方向の車線が複数存在する場合には、さらに多数の白線が認識されることになるが、３本以上の白線が認識された場合には、画像内における白線の位置から、自車が走行している車線を区画する一対の白線を用いて道路領域を決定する。

一方、ステップＳ１２０の判断が否定された場合には、ステップＳ１４０において、運転支援ＥＣＵ２６において前方車両が検出されているか否かを判断する。この判断が肯定された場合には、運転支援ＥＣＵ２６ではその前方車両との間の距離、相対方位が算出されているので、ステップＳ１５０において、運転支援ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて、その前方車両の画像内における位置を決定する。

続くステップＳ１６０では、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、ステップＳ１６５では、ステップＳ１５０で決定した前方車両の画像内における位置と、自車付近において自車が走行している車線の幅方向中心線上にある画像内の所定の自車側端点とを、ステップＳ１６０で検出した操舵角に基づいて定まる曲率を有する曲線で結ぶことにより、自車が走行している車線の中心線を決定する。なお、画像内における自車側端点の位置は予め設定されており、自車側端点の位置を予め設定することができるのは、車両は通常、左右の白線にかからないように走行していることから、車線内における自車の幅方向位置は、それほど変化しないからである。

このようにして自車が走行している車線の中心線を決定すれば、車線の幅は道路によらずある一定幅以上あり、また、一定幅で遠方まで延びている車線が画像内では遠方に向かうに従ってどのように幅が変化するのかは予め決定できるので、ステップＳ１７０では、上記ステップＳ１６５で決定した車線の中心線と予め設定された車線幅とに基づいて道路領域を決定する。

前述のステップＳ１４０の判断も否定された場合には、ステップＳ１８０乃至Ｓ１９０を実行して道路領域を決定する。まず、ステップＳ１８０では、前述のステップＳ１６０と同様に、ステアリングセンサ１８からの信号に基づいて操舵角を検出する。そして、ステップＳ１８５では、前述のステップＳ１６５と同様に、操舵角に基づいて定まる曲率から車線の中心線を決定するが、このステップＳ１８５を実行するのは、前方車両が検出されない場合であるので、前方車両の位置を車線の中心線の遠方側端点とすることはできない。そこで、ステップＳ１８５では、前述の画像内における所定の自車側端点において、接線が車両前後方向に対して平行となり、ステップＳ１６０で検出した操舵角に基づいて定まる曲率を有する円弧を、車線の中心線に決定する。

続くステップＳ１９０では、ステップＳ１７０と同様に、ステップＳ１８５で決定した車線の中心線と予め設定された車線幅とに基づいて道路領域を決定する。なお、前述のステップＳ１６０およびステップＳ１８０のいずれか一方、あるいはその両方において、操舵角を検出することに代えて、ヨーレートセンサ１６からヨーレートを検出してもよい。

上記ステップＳ１３０、Ｓ１７０、Ｓ１９０においてそれぞれ決定される道路領域を比較すると、ステップＳ１３０は道路に沿って設けられている白線に基づいて道路領域を決定するため、最も道路領域を正確に決定することができ、また、ステップＳ１７０は、操舵角に加えて前方車両の位置を用いていることから、操舵角のみに基づいているステップＳ１９０よりも道路領域を正確に決定することができる。その一方で、ステップＳ１３０は白線が認識できない場合には道路領域が決定できず、また、ステップＳ１７０は前方車両が検出されない場合には道路領域が決定できないが、ステップＳ１９０は、確実に道路領域を決定することができる。

このようにして道路領域を決定したら、判定可否決定処理（図２のステップＳ２００）を実行する。この判定可否決定処理は、図６に詳しく示す処理である。

図６において、まず、遠方路面領域決定手段に相当するステップＳ２１０では、ステップＳ１００で決定した道路領域内において、遠方路面領域Ｄｆを決定する。この遠方路面領域Ｄｆは、上記道路領域内において車両から所定距離遠方にある領域であり、上記所定距離は、ここでは１００ｍに設定されているとして説明するが、１００ｍに限定されるものではなく、ある程度の濃さの霧の時に画像がぼやける程度に遠方であればよい。

車載カメラ１２は車両に固定されていることから、平坦な地面上のある地点が画像内においてどこに位置するかは予め決定することができる。従って、画像内において平坦な地面上で自車から１００ｍ先の地点が位置する１００ｍ線は予め決定することができる。図７は、画像内における上記１００ｍ線Lｆを示している。この１００ｍ線Ｌｆが画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に記憶されている。そして、ステップＳ２１０では、その１００ｍ線ＬｆとステップＳ１００で決定した道路領域を基準として、たとえば、その１００ｍ線Ｌｆが下辺となり、高さ（下辺と上辺との間の長さ）が所定高さとなり、且つ、ステップＳ１００で決定した道路領域内となるような矩形領域を決定し、その矩形領域を遠方路面領域Ｄｆとする。図３、図４には、上記ステップＳ２１０乃至Ｓ２２０で決定した遠方路面領域Ｄｆおよび近距離路面領域Ｄｓが例示されている。

続くステップＳ２２０は近距離路面領域決定手段に相当するものであり、道路領域内における近距離路面領域Ｄｓを決定する。この近距離路面領域Ｄｓは、本実施形態では、ステップＳ１００で決定された道路領域内において自車近傍となる領域であり、図７に示す、予め記憶された近距離範囲Ｒｓに基づいて決定する。この近距離範囲Ｒｓは、画像内において自車近傍に設定された矩形範囲であり、水平方向の範囲は画像撮像範囲全体であり、下辺は画像内における自車のボンネットの境界線の直上に設定されている。ステップＳ２２０では、この近距離範囲Ｒｓと、ステップＳ１００で決定した道路領域との重なり部分を近距離路面領域Ｄｓとして決定する。

続くステップＳ２３０では、運転支援ＥＣＵ２６において前方車両が検出されているか否かを判断する。この判断が肯定された場合には、運転支援ＥＣＵ２６ではその前方車両との間の距離、相対方位が算出されているので、ステップＳ２３５において、運転支援ＥＣＵ２６において算出されている前方車両との間の距離および相対方位に基づいて、その前方車両の画像内における座標範囲を決定する。上記ステップＳ２３０乃至Ｓ２３５が前方車両判定手段に相当する。

そして、ステップＳ２４０では、ステップＳ２３５で決定した前方車両の座標範囲が、上記ステップＳ２１０で決定した遠方路面領域ＤｆおよびステップＳ２２０で決定した近距離路面領域Ｄｓの少なくとも一方と重なるか否かを判断する。

遠方路面領域Ｄｆおよび近距離路面領域Ｄｓの少なくとも一方の画像に路面以外のものが含まれていると、その路面以外のものの存在によって輝度が変化してしまい、輝度に基づく霧判定が困難であることから、上記ステップＳ２４０の判断が肯定された場合には、ステップＳ２５０において、霧判定不可と決定して図２に示すルーチンを終了する。

一方、前方車両が検出されておらずステップＳ２３０の判断が否定された場合、または前方車両は検出されているが領域Ｄｆ、Ｄｓとは重なっておらずステップＳ２４０の判断が否定された場合には、菱形マークや横断歩道などの道路標示を検出するための、ステップＳ２６０の道路標示検出処理を実行する。

この道路標示検出処理は道路標示座標決定手段に相当するものであり、その処理内容は図８に詳しく示されている。図８において、まず、ステップＳ２６１では、垂直座標毎に、遠方路面領域Ｄｆおよび近距離路面領域Ｄｓの水平方向の輝度分散値を算出する。そして、ステップＳ２６３では、ステップＳ２６１で垂直座標毎に算出した輝度分散値を、道路標示が何もない画像の輝度分散値の変動幅に基づいて予め設定された上限分散値と比較する。この比較の結果、算出した輝度分散値が上限分散値を超えている場合には、路面とは輝度の異なるものが含まれており、その結果、分散値が大きくなっていると考えられるので、続くステップＳ２６５では、上記ステップＳ２６３の比較において、輝度分散値が上限分散値を超えている垂直座標を、水平方向の少なくとも一部に道路標示が含まれている座標、すなわち、道路標示垂直座標とする。

続くステップＳ２６７では、ステップＳ２６１において垂直座標毎に算出した水平方向の輝度分散値の垂直方向変化値を算出する。この垂直方向変化値は、垂直座標毎に算出した水平方向の輝度分散値の垂直方向の変化を表す値、たとえば、変化率や変化量である。道路標示がない場合、垂直座標毎に算出した水平方向の輝度分散値は、互いに近似する値となることから、上記垂直方向変化値は小さな値となる。一方、道路標示が含まれていると、前述のように、水平方向の輝度分散値が大きくなるので、上記垂直方向変化値も大きくなる。そこで、ステップＳ２６９では、上記ステップＳ２６７で算出した垂直方向変化値が、道路標示が何もない画像に基づいて予め設定された所定の正常変動範囲を超えていることに基づいて道路標示垂直座標を決定する。

この図８の道路標示検出処理では、ステップＳ２６１乃至２６５において、水平方向の輝度分散値から道路標示を検出するとともに、ステップＳ２６７乃至２６９において、水平方向の輝度分散値の垂直方向変化からも道路標示を検出しているので、道路標示を精度よく検出することができる。なお、精度が十分に確保される場合には、水平方向の輝度分散値のみから道路標示を検出してもよいし、水平方向の輝度分散値の垂直方向変化のみから道路標示を検出してもよい。

図６に戻って、ステップＳ２６０の実行後は、ステップＳ２７０において、遠方路面領域Ｄｆの垂直座標および近距離路面領域Ｄｓの垂直座標の少なくといずれか一方が、ステップＳ２６０で決定した道路標示垂直座標と重なるか否かを判断する。この判断が肯定された場合には、遠方路面領域Ｄｆおよび近距離路面領域Ｄｓの少なくといずれか一方に前方車両が含まれている場合と同様に、ステップＳ２５０を実行して、霧判定不可と決定して図２に示すルーチンを終了する。

一方、ステップＳ２７０の判断が否定された場合には、遠方路面領域Ｄｆ内および近距離路面領域Ｄｓのいずれにも路面以外のものが含まれていないと考えられるので、ステップＳ２８０において霧判定可能と決定し、図２のステップＳ３００の霧判定画像処理を実行する。

図２の霧判定画像処理は、図９に詳しく示されている。図９において、まず、ステップＳ３１０では、遠方路面領域Ｄｆの輝度中央値を決定する。この遠方路面領域Ｄｆの輝度中央値は、ここでは、ステップＳ２１０で決定した矩形領域内における各画素の輝度値の中央値（メディアン）とするが、ステップＳ２１０で決定した矩形領域に対して、垂直座標毎に水平方向の輝度のメディアンを決定し、それらを平均した値を用いてもよい。そして、続くステップＳ３２０では、上記ステップＳ３１０と同様にして、近距離路面領域Ｄｓの輝度中央値を決定する。

ステップＳ３３０は空輝度決定手段に相当するものであり、画像内において予め設定された上辺領域Ｄｕ（図７参照）の輝度の最高値を、画像内における空の輝度として決定する。上記上辺領域Ｄｕは、通常、少なくとも一部分に空が撮像されていると考えられるので、その上辺領域Ｄｕの輝度の最高値を空の輝度として決定するのである。

続くステップＳ３４０では上記ステップＳ３１０で決定した遠方路面領域Ｄｆの輝度中央値の相対輝度値を算出する。この相対輝度値は、遠方路面領域Ｄｆの輝度中央値の、近距離路面領域Ｄｓの輝度中央値および空の輝度に対する相対的大きさを表していればどのような算出式によって算出してもよいが、本実施形態では、式１から算出する。
（式１） 相対輝度値＝（遠方路面領域Ｄｆの輝度中央値−近距離路面領域Ｄｓの輝度中央値）／（空の輝度−近距離路面領域Ｄｓの輝度中央値）
たとえば、遠方路面領域Ｄｆの輝度中央値が１２０、近距離路面領域Ｄｓの輝度中央値が８０、空の輝度が５００であるとすると、相対輝度値は、（１２０−８０）／（５００−８０）＝０．０９５となる。

続くステップＳ３５０では、次述するステップＳ３６０において用いる判定基準値を決定する。この判定基準値は、互いに大きさの異なる２つの値が画像処理ＥＣＵ１４内のＲＯＭあるいは他の記憶装置に予め記憶されており、ステップＳ３５０では、前回の霧判定、すなわち、繰り返し実行するこの図９のルーチンを前回実行したときに、後述するステップＳ３８０において霧と判定しているか否かでいずれの判定基準値に決定するかが異なるようになっている。前回の霧判定において霧と判定している場合には、小さい側の値を判定基準値に決定し、前回の霧判定において霧でないと判定している場合には、大きい側の値を判定基準値に決定する。

そして、ステップＳ３６０では、ステップＳ３４０で算出した相対輝度値がステップＳ３５０で決定した判定基準値よりも大きいか否かを判断し、相対輝度値が判定基準値よりも大きい場合には霧であると判定し、相対輝度値が判定基準値よりも小さい場合には霧でないと判定する。このようにして霧判定できるのは、相対輝度値が判定基準値よりも大きい場合、相対輝度値が判定基準値よりも小さい場合よりも、遠方路面領域Ｄｆの輝度中央値が空の輝度に近いことを意味しており、霧である場合には、遠方路面領域Ｄｆの輝度は空の輝度に近くなるからである。なお、前回の霧判定において霧と判定されている場合には、前回の霧判定において霧と判定されていない場合よりも判定基準値が小さい値に決定されることから霧と判定されやすくなる。換言すれば、前回の霧判定において霧と判定されていない場合には、前回の霧判定において霧と判定されている場合よりも判定基準値が大きい値に決定されることから、霧と判定されにくくなる。従って、短い期間内において霧判定結果が繰り返し変動してしまうことが防止される。

上記ステップＳ３６０における判定結果をそのまま最終判定として用いてもよいのであるが、本実施形態では、上記ステップＳ３６０における判定結果を複数用いて最終的な霧判定を行うようになっている。すなわち、続くステップＳ３７０では、後述するステップＳ３８０において最終的な霧判定を行った後、最初に上記ステップＳ３６０を実行した時を計時開始時点として、最終判定時期となったか否かを判定する。この最終判定時期は、たとえば、1分間に設定されている。この判断が否定された場合には、前述の図２のステップＳ１００以下を繰り返す。

一方、ステップＳ３７０の判断が肯定された場合には、ステップＳ３８０において、最終的な霧判定を実行する。ここでの最終的な霧判定は、上記ステップＳ３７０が否定されることによって繰り返し実行されるステップＳ３６０において判定した複数の判定結果のうち、霧であると判定している割合が予め設定された所定割合以上であれば、霧であると判定する一方、霧でないと判定している割合が上記所定割合以上であれば、霧でないと判定する。このように、ステップＳ３６０における複数回の判定結果を用いて最終的な判定を行うようにすれば、たまたま一時点の画像が誤判定をしてしまうような画像であったとしても、最終的な判定としては誤判定を防止できるので、判定の精度が向上する。

なお、上記所定割合が５割とされている場合には、必ず、霧または霧でないと判定することになるが、上記所定割合が５割以外であってもよい。この場合には、霧であるとも、霧でないとも判定されないこともあるが、その場合には、前回の判定結果が維持されることになる。

以上、説明した本実施形態によれば、遠方路面領域Ｄｆの輝度に基づいて霧判定を行っており、路面は通常黒色であることから、路面の輝度は異なる道路間でそれほど大きく異ならないので、本実施形態のように、路面領域の輝度に基づいて霧判定を行えば精度よく霧判定を行うことができる。

また、本実施形態によれば、霧判定に用いる遠方路面領域Ｄｆおよび近距離路面領域Ｄｓの輝度として水平方向の輝度中央値を用いており、遠方路面領域Ｄｆおよび近距離路面領域Ｄｓの一部に黒色の路面以外のものが含まれているとしても、水平方向の輝度中央値は黒色の路面の輝度を表している可能性が高いので、霧判定の精度が向上する。

また、本実施形態によれば、相対輝度値を算出することにより、遠方路面領域Ｄｆの輝度を近距離路面領域Ｄｓの輝度および空の輝度と比較して霧判定を行っていることから、場所によって路面の色（輝度）および空の輝度が変化しても、それら路面の輝度および空の輝度の変化に影響されずに、精度よく霧判定を行うことができる。

以上、本発明の実施形態を説明したが、本発明は上述の実施形態に限定されるものではなく、次の実施形態も本発明の技術的範囲に含まれ、さらに、下記以外にも要旨を逸脱しない範囲内で種々変更して実施することができる。

たとえば、前述の実施形態では、遠方路面領域Ｄｆの輝度を近距離路面領域Ｄｓの輝度および空の輝度と比較して霧判定を行っていたが、遠方路面領域Ｄｆの輝度を、近距離路面領域Ｄｓおよび空の輝度のいずれか一方のみと比較することによって霧判定を行ってもよい。このようにしても、特許文献１のように画像全体の輝度に基づいて霧判定を行う態様に比較して精度よく霧判定を行うことができる。

また、遠方路面領域Ｄｆの輝度を、画像内の他の領域の輝度と比較せずに、予め設定された基準輝度と比較することによって霧判定を行ってもよい。この場合、霧であると判定する精度は前述の実施形態の場合よりも低下するが、遠方路面領域Ｄｆの輝度が十分に低ければ（すなわち、遠方路面領域Ｄｆの色が十分に黒ければ）、霧でないと判定できるなど、ある程度の霧判定は可能である。また、霧判定の精度が多少悪くなったとしても、別の霧判定手法と併用して霧判定を行う場合に、その別の霧判定手法を補完するために用いることはできる。

また、前述の実施形態では、霧か霧でないかのみを判定していたが、霧の濃さを判定するようになっていてもよい。たとえば、前述の実施形態のステップＳ３６０において、所定の第１判定基準値と、その第１判定基準値よりも大きい第２判定基準値を同時に用い、相対輝度値が第２基準値よりも大きい場合には濃い霧と判定し、相対輝度値が第１判定基準値と第２判定基準値との間の場合には薄い霧と判定するようになっていてもよい。

また、前述の実施形態では、遠方路面領域Ｄｆおよび近距離路面領域Ｄｓはいずれも矩形であったが、領域Ｄｆ、Ｄｓの形状は矩形以外の図形（たとえば、楕円、横線）であってもよい。

また、前述の実施形態では、遠方路面領域Ｄｆおよび近距離路面領域Ｄｓのいずれか少なくとも一方が、道路標示または前方車両の座標と重なっている場合には霧判定を行わないようになっていたが、遠方路面領域Ｄｆや近距離路面領域Ｄｓから道路標示、前方車両部分を除去して、除去後の領域を用いて霧判定を行ってもよい。

また、前述の実施形態では、遠方路面領域Ｄｆの輝度および近距離路面領域Ｄｓの輝度として、いずれも輝度中央値を用いていたが、輝度中央値に代えて平均値を用いてもよい。

また、前述の実施形態では、道路領域を決定するための道路上標識として白線を認識していたが、道路上標識として、白線と同様に車線を区画するために連続的に配置されている突起物（半球状のものや、棒状のものなど）を認識して道路領域を決定してもよい。また、道路上標識としては、それら車線を区画するために連続的に配置されているもの以外に、中央分離帯、路側の側溝、轍等があり、それらを認識して道路領域を決定してもよい。なお、道路上標識は、前述の車線中心線（ステップＳ１６５、Ｓ１８５）を決定するために用いてもよい。

また、前述の実施形態では、前方車両を検出するためにミリ波レーダ２０が備えられていたが、ミリ波レーダ２０に代えてレーザレーダーを備えていてもよいし、また、画像からテールランプやナンバープレート等の車両に特徴的な形状を検出することによって前方車両を検出するようにしてもよい。

また、車両が走行している道路が、白っぽい色であったり、土色（未舗装の道路）であったりと、稀に黒色でない場合があり、その場合には、本発明による霧判定の精度が低下するので、近距離路面領域Ｄｓの輝度に基づいて車両が走行している道路の色（輝度）を判定し、道路の色が黒色でない場合には、本発明による霧判定を行わないようになっていてもよい。

本発明が適用された車載霧判定装置１０の構成を示すブロック図である。 図１の画像処理ＥＣＵ１４が実行する制御機能の要部を示すフローチャートである。 車載カメラ１２によって撮像されている画像例である。 車載カメラ１２によって撮像されている画像例である。 図１のステップＳ１００の道路領域決定処理を詳しく示すフローチャートである。 図１のステップＳ２００の判定可否決定処理を詳しく示すフローチャートである。 車載カメラ１２によって撮像される画像内における予め設定された１００ｍ線Lｆ、近距離範囲Ｒｓ、および上辺領域Ｄｕを示す図である。 図６のステップＳ２６０の道路標示検出処理を詳しく示すフローチャートである。 図１のステップＳ３００の霧判定画像処理を詳しく示すフローチャートである。

符号の説明

１０：車載霧判定装置
１２：車載カメラ
２０：ミリ波レーダ（信号波送受信機）
Ｓ１００：道路領域決定手段
Ｓ２１０：遠方路面領域決定手段
Ｓ２２０：近距離路面領域決定手段
Ｓ２３０乃至Ｓ２３５：前方車両判定手段
Ｓ２６０：道路標示座標決定手段
Ｓ３００：霧判定手段
Ｓ３３０：空輝度決定手段

Claims (15)

1. 車両に搭載された車載カメラにより撮像された画像に基づいて霧判定を行う霧判定手段を備えた車載霧判定装置であって、
   前記車載カメラによって撮像された画像内において前記車両が走行している道路領域を決定する道路領域決定手段と、
   その道路領域決定手段によって決定された道路領域に基づいて、前記画像内において前記車両から所定距離遠方にある路面領域である遠方路面領域を決定する遠方路面領域決定手段とを備え、
   前記霧判定手段は、その遠方路面領域決定手段によって決定された遠方路面領域の輝度に基づいて霧判定を行うことを特徴とする車載霧判定装置。
2. 前記霧判定手段において用いる遠方路面領域の輝度として、前記遠方路面領域の水平方向の輝度中央値を用いることを特徴とする請求項１に記載の車載霧判定装置。
3. 前記道路領域決定手段によって決定された道路領域に基づいて、前記画像内において前記遠方路面領域よりも車両に近い近距離路面領域を決定する近距離路面領域決定手段をさらに備え、
   前記霧判定手段は、前記遠方路面領域の輝度と前記近距離路面領域の輝度との比較に基づいて霧判定を行うことを特徴とする請求項１または２に記載の車載霧判定装置。
4. 前記近距離路面領域決定手段は、前記道路領域決定手段によって決定された道路領域と、前記画像内において自車近傍が撮像されている範囲として予め設定された近距離範囲とに基づいて、前記近距離路面領域を決定するものであることを特徴とする請求項３に記載の車載霧判定装置。
5. 前記霧判定手段において用いる近距離路面領域の輝度として、前記近距離路面領域の水平方向の輝度中央値を用いることを特徴とする請求項３または４に記載の車載霧判定装置。
6. 前記車載カメラによって撮像された画像内の予め定められた上辺部分の輝度に基づいて、画像内の空の輝度を決定する空輝度決定手段をさらに備え、
   前記霧判定手段は、前記遠方路面領域の輝度と、空輝度決定手段によって決定された空の輝度との比較に基づいて霧判定を行うことを特徴とする請求項１または２に記載の車載霧判定装置。
7. 前記車載カメラによって撮像された画像内の予め定められた上辺部分の輝度に基づいて、画像内の空の輝度を決定する空輝度決定手段をさらに備え、
   前記霧判定手段は、前記遠方路面領域の輝度と、前記近距離路面領域決定手段によって決定された近距離路面領域の輝度と、前記空輝度決定手段によって決定された空の輝度との比較に基づいて霧判定を行うことを特徴とする請求項３乃至５のいずれかに記載の車載霧判定装置。
8. 前記道路領域決定手段によって決定された道路領域内における輝度変化に基づいて、その道路領域内において、水平方向の少なくとも一部に道路標示が表示されている垂直座標である道路標示垂直座標を決定する道路標示座標決定手段、
   および、前記車載カメラにより撮像された画像内における前方車両の存在を判定するとともに、前方車両が存在すると判定した場合には、その前方車両の座標範囲を決定する前方車両判定手段、の少なくとも一方を備え、
   前記霧判定手段は、前記道路標示座標決定手段によって決定された道路標示垂直座標、または前記前方車両判定手段によって決定された前方車両の座標範囲が、前記遠方路面領域の垂直座標と重なる場合には、霧判定を行わないようになっていることを特徴とする請求項１乃至７のいずれかに記載の車載霧判定装置。
9. 前記道路領域決定手段によって決定された道路領域内における輝度変化に基づいて、その道路領域内において、水平方向の少なくとも一部に道路標示が表示されている垂直座標である道路標示垂直座標を決定する道路標示座標決定手段、
   および、前記車載カメラにより撮像された画像内における前方車両の存在を判定するとともに、前方車両が存在すると判定した場合には、その前方車両の座標範囲を決定する前方車両判定手段、の少なくとも一方を備え、
   前記霧判定手段は、前記道路標示座標決定手段によって決定された道路標示垂直座標、または前記前方車両判定手段によって決定された前方車両の座標範囲が、前記近距離路面領域の垂直座標と重なる場合には、霧判定を行わないようになっていることを特徴とする請求項３、４、５および７のいずれかに記載の車載霧判定装置。
10. 前記道路標示座標決定手段は、前記道路領域決定手段によって決定された道路領域において水平方向の輝度分布値が所定の上限分布値を超えている垂直方向座標を、道路標示垂直座標として決定するものであることを特徴とする請求項８または９に記載の車載霧判定装置。
11. 前記道路標示座標決定手段は、前記道路領域決定手段によって決定された道路領域において、水平方向の輝度平均値の垂直方向変化値または水平方向の輝度分布値の垂直方向変化値が、所定の正常変動範囲を超えていることに基づいて、前記道路標示垂直座標を決定するものであることを特徴とする請求項８または９に記載の車載霧判定装置。
12. 車両前方に向けて信号波を出力するとともに、その信号波の反射波を受信する信号波送受信機をさらに備え、
    前記前方車両判定手段は、その信号波送受信機によって受信された反射波に基づいて前記前方車両の存在を判定するものであることを特徴とする請求項８または９に記載の車載霧判定装置。
13. 前記道路領域決定手段は、前記車載カメラによって撮像された画像から、道路に沿って設けられている道路上標識を検出し、検出した道路上標識の位置に基づいて前記車両が走行している道路領域を決定するものであることを特徴とする請求項１乃至１２のいずれかに記載の車載霧判定装置。
14. 前記霧判定手段は、前記車載カメラによって撮像された複数の時点における遠方路面領域の画像に基づいて、霧判定を行うものであることを特徴とする請求項１乃至１３のいずれかに記載の車載霧判定装置。
15. 前記霧判定手段は、霧判定を繰り返し行い、且つ、前回の判定において霧であると判定されている場合には、前回の判定で霧と判定されていない場合よりも、霧であると判定されやすくなっていることを特徴とする請求項１乃至１４のいずれかに記載の車載霧判定装置。

Images