JP2011174794A - 路面状態検出装置及び方法 - Google Patents

Abstract

【課題】路面画像を演算処理することによって、路面の乾湿状態を低コストで精度よく判定できるようにする。
【解決手段】カメラ１で撮影された画像についてガボールフィルタ処理して、短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得る（処理部１２）。この両データから正規化処理して（処理部１３）、正規化値を所定のしきい値と比較することにより、路面の乾湿状態が判定される。
【選択図】 図３

Description

本発明は、路面の乾湿状態を検出する路面状態検出装置及び方法に関するものである。

路面の乾湿状態、つまり路面が濡れているか乾燥しているかを知ることは、例えば自動車等の車両の安全走行の上で好ましいものとなる。路面の乾湿状態を検出するため、特許文献１には、路面から反射されるＳ偏光成分とＰ偏光の成分から比較データ代表値を求めて、この代表値に基づいて路面の乾湿状態を判定することが開示されている。また、特許文献２には、路面の水しぶきが発生する画像からフーリエ変換を行って、この変換後のデータに基づいて路面の乾湿状態を判定することが開示されている。

特開２００９−２５１９８号公報 特開２００７−３２２２３１号公報

前述した特許文献２に記載のものでは、水しぶきが発生するような多量の雨水が路面に存在しないと湿潤状態であると判定することができないため、判定精度や汎用性の低いものとなる。また、特許文献１に記載のものでは、ＰとＳとの偏光成分を得るために、カメラに対して別途ハーフミラーや偏光フィルタを設ける必要があり、高コストとなってしまう。

本発明は以上のような事情を勘案してなされたもので、その目的は、撮影手段で撮影された路面画像を演算処理することによって、路面の乾湿状態を低コストで精度よく判定できるようにした路面状態検出装置及び方法を提供することにある。

前記目的を達成するため、本発明にあっては、基本的に、撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタ（例えばガボールフィルタ）にてフィルタ処理して、このフィルタ処理されたデータに基づいて路面が乾燥状態であるのか湿潤状態であるのかを判定する。つまり、例えばガボールフィルタを用いてフィルタ処理した場合、路面が乾燥状態のときはアスファルトなどの路面の小さな凹凸のために小さい周期（短周期）のガボールフィルタが強く反応し、路面が湿潤状態のときは路面の小さな凹凸が水で平滑化されるため小さい周期（短周期）のガボールフィルタの反応は弱いが、路面のうねりのために大きい周期（長周期）のガボールフィルタが強く反応するので、この反応の差を利用して路面の乾湿状態を精度良く判定することができる。
あるいは、撮影された路面画像に対して輝度ヒストグラムを作成し、この輝度ヒストグラムのデータに基づいて路面が乾燥状態であるのか湿潤状態であるのかを判定する。

具体的には、本発明装置にあっては次のような第１の解決手法を採択してある。すなわち、特許請求の範囲における請求項１に記載のように、
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理するフィルタ処理手段と、
前記フィルタ処理手段によってフィルタ処理されたデータに基づいて路面の乾湿状態を判定する判定手段と、を備えている。
上記解決手法によれば、別途偏光フィルタ等を設けることなく、路面の乾湿状態を精度よく判定することができる。

上記解決手法を前提とした好ましい態様は、特許請求の範囲における請求項２〜請求項１０に記載のとおりである。すなわち、
前記撮影手段が、車両に搭載されて車両前方の路面を撮影する車載カメラとされ、
前記車載カメラの上下方向の撮影角度が、水平方向から下向きに６度〜１２度の角度範囲とされている（請求項２対応）。
この場合、車両において、前方の路面の乾湿状態をあらかじめ知ることにより、例えば危険回避のための措置を行ったり、運転者に乾湿状態を報知する等のことが可能となって、安全走行の上で好ましいものとなる。

前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている（請求項３対応）。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。

前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている（請求項４対応）。
この場合、２種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。

前記フィルタ手段が、ガボールフィルタの第１振動方位のガボールフィルタ処理データと第２振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第１振動方位のガボールフィルタ処理データと前記第２振動方位のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている（請求項５対応）。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。さらに、振動方位を一定にしてガボール周期を変化させるのではなく，ガボール周期を、例えば短周期で一定にして振動方位を変化させることで，長周期の計算を実施しなくてすむという点で，処理負担を軽減することが出来る。

前記フィルタ手段が、ガボールフィルタの第１振動方位のガボールフィルタ処理データと第２振動方位のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第１振動方位のガボールフィルタ処理データと前記第２振動方位のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている（請求項６対応）。
この場合、２種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。

前記フィルタ手段が、ガボールフィルタの第１ガウス関数幅係数のガボールフィルタ処理データと第２ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第１ガウス関数幅係数のガボールフィルタ処理データと前記第２ガウス関数幅係数のガボールフィルタ処理データとの一方の強度平均を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている（請求項７対応）。
この場合、規格値により路面の乾湿状態を判定するという簡単な手法によって、処理負担を軽減しつつ路面の乾湿状態を精度良く判定することができる。

前記フィルタ手段が、ガボールフィルタの第１ガウス関数幅係数のガボールフィルタ処理データと第２ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
前記判定手段が、前記第１ガウス関数幅係数のガボールフィルタ処理データと前記第２ガウス関数幅係数のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている（請求項８対応）。
この場合、２種類のガボールフィルタ処理データの和と差の比により特徴量の相違を拡大した規格値として得ることが出来るため、精度良く路面の乾湿状態を判定することができる。

前記判定手段は、路面が湿潤状態であると判定したときに、前記規格値により路面が積雪路面であるか否かを判定するように設定されている（請求項９対応）。
この場合、規格値を利用して、積雪路面であるか否かを判定することができる（簡易な計算で精度よく積雪路面を検出できる）。

前記路面画像に占める白色の割合を得る白色割合処理手段をさらに備え、
前記判定手段は、路面画像に示す白色の割合を併用して、積雪路面であるか否かを判定するように設定されている（請求項１０対応）。
この場合、積雪路面のときは路面画像中において白色の割合が極めて高くされるので、この白色の割合をみることによって、積雪路面であるか否かをより精度よく判定することができる。すなわち、簡易な計算で精度よく積雪路面を検出できる。

また、本発明装置にあっては次のような第２の解決手法を採択してある。すなわち、特許請求の範囲における請求項１１に記載のように、
路面の乾湿状態を検出する路面状態検出装置であって、
路面を含む画像を撮影する撮影手段と、
前記撮影手段によって撮影された路面画像から輝度ヒストグラムを得る輝度ヒストグラム処理手段と、
前記輝度ヒストグラム処理手段によって得られた輝度ヒストグラムに基づいて、路面の乾湿状態を判定する判定手段と、
を備えている。
この場合、別途偏光フィルタ等を設けることなく、輝度ヒストグラムを利用して、精度よく路面の乾湿状態を判定することができる。

前記路面画像の彩度ヒストグラムを得る彩度ヒストグラム処理手段をさらに備え、
前記判定手段は、前記彩度ヒストグラムを用いて、路面標識の有無を判定するように設定されている（請求項１２対応）。

この場合、路面に標識が描かれていると、路面の乾湿状態を判定する上でノイズとなり易いが、路面標識の有無を彩度のヒストグラムを用いて精度よく判定することができ、路面の乾湿状態を誤って判定してしまう事態を防止する上で好ましいものとなる。

前記目的を達成するため、本発明における路面状態検出方法にあっては次のような解決手法を採択してある。すなわち、特許請求の範囲における請求項１３に記載のように、
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第１ステップと、
前記第１ステップで得られた路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理する第２ステップと、
前記第２ステップで得られたデータに基づいて路面の乾湿状態を判定する第３ステップと、
を備えている。上記解決手法によれば、請求項１に記載の路面状態検出装置と同様の効果を得ることができる。

また、次のような解決手法も採択してある。すなわち、特許請求の範囲における請求項１４に記載のように、
路面の乾湿状態を検出する路面状態検出方法であって、
撮影手段によって路面を含む画像を撮影する第１ステップと、
前記第１ステップで得られた路面画像から輝度ヒストグラムを得るよう輝度ヒストグラム処理する第２ステップと、
前記第２ステップで得られた輝度ヒストグラムのデータに基づいて路面の乾湿状態を判定する第３ステップと、
を備えている。上記解決手法によれば、請求項１１に記載の路面状態検出装置と同様の効果を得ることができる。

本発明によれば、路面画像を演算処理することによって路面の乾湿状態を低コストで判定できる。また、路面の水量が少ないときでも湿潤状態であることを判定することができ、精度よく乾湿状態を判定することができる。

本発明が適用された車両の簡略平面図。 図１に示す車両の簡略側面図。 本発明の制御系統をブロック図的に示す図。 車載カメラによって撮影された路面画像の一例を示す図。 カメラの下向き角度と路面の乾湿状態に応じたフィルタ処理後の正規化された値との関係を示す図。 本発明の制御例を示すフローチャート。 図６のＳ５に示す正規化処理の一例を示すフローチャート。 図６のＳ５に示す正規化処理の別の例を示すフローチャート。 図６のＳ５に示す正規化処理のさらに別の例を示すフローチャート。 本発明の第２の制御例を示すフローチャート。 本発明の第３の制御例を示すフローチャート。 本発明の第４の制御例を示すフローチャート 振動方位によって正規化したときの一例を示す図。 ガウス関数幅係数によって正規化したときの一例を示す図。 輝度ヒストグラムの一例を示す図。 路面標識がかすれているときの輝度ヒストグラムの一例を示す図。 路面標識が明瞭なときの輝度ヒストグラムの一例を示す図。 路面標識がかすれているときの彩度ヒストグラムの一例を示す図。 路面標識が明瞭なときの彩度ヒストグラムの一例を示す図。 ２つのガボール特徴量の差と和の比で正規化したときの一例を示す図。 ガウス関数幅係数の異なる２つのガボール特徴量の差と和の比で正規化したときの一例を示す図。

（第１実施形態）
図１、図２において、車両としての自動車Ｖは、輝度センサとしてのカメラ（撮影手段）１を有する。このカメラ１は、例えば車室内においてルームミラー付近に設けられて、前方路面を撮影するようになっている。図２に示すように、カメラ１は、水平線Ｈに対して下向き角度βとされて、自動車Ｖの前方距離Ｌは約２０ｍ付近（１０〜３０ｍの範囲となるように設定するのが好ましい）の路面を撮影するように設定されている。このカメラ１によって撮影された路面画像を、後述するように画像処理（実施形態ではガボールフィルタ処理）することによって、前方の路面が乾燥状態であるか、湿潤状態であるかを判定するようにしてある。路面が湿潤状態であると判定されたときは、安全のために、例えば自動ブレーキ用のアクチュエータ２，自動操舵用のアクチュエータ３を安全走行となるように自動作動させたり、この自動作動に加えてあるいは代えて警報装置４を作動させて運転者に注意喚起するようになっている。

図３は、自動車Ｖに搭載されたマイクロコンピュータを利用して構成されたコントローラＵの制御系統を示すものである。このコントローラＵは、前述したカメラ１からの信号が入力される一方、前記各アクチュエータ２、３および警報装置４を制御するようになっている。コントローラＵは、大別して、次のような各種の処理部や判定部を有している。すなわち、カメラ１で撮影された路面画像を保存する処理部１１と、処理部１１で処理された保存画像をガボールフィルタ処理する処理部１２と、処理部１２でガボールフィルタ処理されたデータを正規化する処理部１３と、処理部１３からのデータと記憶部１４に記憶されている各種しきい値データとに基づいて路面の乾湿状態等を判定する判定部１５とを有する。判定部１５での判定をより精度よく行うために、処理部１１で保存されている路面画像を輝度ヒストグラム処理する処理部１６と、路面画像中の白色割合を算出する処理部１７と、を有する。なお、処理部１６に代えて、輝度と彩度との両方のヒストグラムを作成する処理部１８を設定することもできる。判定部１５は、路面の乾湿状態の判定に加えて、積雪路面の判定や、路面標識の有無を判定することもできる。

なお、上記処理部１２におけるガボールフィルタとは、ガウス関数に周期的に変化する関数を乗じた関数をインパルス応答とする局所的周波数情報を抽出するフィルタである。ここで、インパルス応答は，ある空間周波数成分を持つ関数と局在化関数(窓関数) の積から成り、入力データである画像データをガボールウェーブレット変換（Gabor Wavelet Transformation）（以下ガボール変換と記載）することによって，ある特定方位の空間周波数成分が画像のどの部分に分布しているかを算出でき，画像の局所的空間周波数情報を抽出することが出来る。

ガボールフィルタのインパルス応答が式（１）に示され、この式（１）と画像データの畳み込みにより、局所的周波数情報が抽出される。

式（１）において、最初のexpの因子は局在化関数であるガウス関数であり，括弧内の第１項は周期Tでの複素振動項，第２項はDC成分を0にするためのオフセット補正項である．最初のexp関数の前に付いた係数は規格化因子である．式（２），（３）は，２次元の回転行列を使用した角度θの座標回転を表している．すなわち，式（１）中、ｘ’およびｙ’はそれぞれ回転後の座標であり、式（２）及び式（３）に示すとおり、フィルタの座標ｘ、ｙと振動方位θとに基づいて算出される。ここで，Ｔをガボール周期、αをガウス（本実施形態では主には「２」が用いられる）、θを振動方位（以下の実施形態では、振動方位０度とは水平方向すなわち車幅方向のこと（カメラ画像上では左右方向）であり、９０度とは垂直方向（カメラ画像上では上下方向））とよぶ。

なお，式（１）は，ガウス関数幅を決定する係数の中に振動項の周期Tが含まれており，ガウス関数幅がTに連動するようになっており，Tが変わってもインパルス応答関数自体の形が変わらないウェーブレット変換になっている．以下の説明ではこれを用いているが，本発明では，必ずしもウェーブレット変換である必要はなく，ガウス関数幅がTに連動しない一般的なガボールフィルタでも適用可能である．

式（１）中の角括弧中の第１項は，ガボール変換のインパルス応答の振動項であり、第２項は照明変化による影響を減らすための項である。第２項によって，照明の変化などへの影響を減らしている。
式（１）からわかるように，ガボールフィルタのパラメータである、周期Ｔ、振動方位θ、ガウス関数幅係数α、のいずれかを対象となる画像に応じて適正値とすることで、画像の特徴抽出を有効に行うことが出来る。

図４は、カメラ１によって撮影された路面画像の一例が示される。実施形態では、カメラ１は例えば画素数が５Ｍpixelのデジタルカメラとされている。図４に示すような路面画像の中心部分（路面画像の幅Ｗに対して１／２Ｗ，高さＨに対して１／２Ｈの部分）から、乾湿状態の判定用に例えば１００×１００pixelのデータＡが切り出される。このデータＡについてガボールフィルタ処理して後述のように正規化した値が、例えば図５に示すようになる。この図５において縦軸はフィルタ処理結果の正規化強度平均値であり、横軸は、カメラ１の俯角βを示す。この図５から明かなように、路面の乾燥状態と湿潤状態では、路面の濡れ量（雨水量の大小）にかかわらず、大きな有意差を有することが理解される。換言すれば、例えばカメラ１の設置俯角βを８度とした場合を選択したときは、正規化強度平均値に対するしきい値として例えば「１．０」を設定して、正規化値が１．０よりも大きい場合には路面が乾燥状態であると判定することができ、逆に正規化値が１．０以下のときは路面が湿潤状態であると判定することができる。勿論、上記のようなしきい値「１．０」は、記憶部１４に記憶されているものである。

また、図５における正規化強度平均値としては、図７（ａ）に示すように、長周期のガボールフィルタ処理データの強度（輝度）平均値で、短周期のガボールフィルタ処理データの強度平均値を除した値となる比であり、この比が正規化強度平均値となる。
図５のデータにおいては、長周期のガボールフィルタ処理として、ガボール周期Ｔが１８pixel、振動方位θが０度、ガウス関数幅係数αが２の条件でガボール変換してある。これに対して、短周期のガボールフィルタ処理として、ガボール周期Ｔが４pixelとしてある（振動方位θ、ガウス関数幅係数αについては長周期の場合と同じ）。

図５から容易に理解されるように、カメラ１の俯角βは、６度〜１２度の範囲で、乾燥状態と湿潤状態との間で大きな有意差を有しているので、角度βの設定の自由度が高いものとなる。また、カメラ１の設置高さは、角度βが例えば６度〜１２度の範囲となることを満足させつつ、おおむね自動車Ｖのバンパーからルーフまでの高さ範囲に設定するのが好ましいものとなる（４０ｃｍ〜１５０ｃｍ程度の高さに設定するのが好ましい）。
また、図５において、「×」印によって、カメラ角度βが８度の場合において、路面が全体的に雪に覆われた積雪路面である場合の正規化強度平均値が示される。積雪路面の場合、正規化強度平均値は極めて小さい値となり、例えばしきい値「０．３」よりも小さいときは、積雪路面であると判定することが可能である。積雪路面の場合は、雨水で濡れた湿潤路面に比して正規化強度平均値に大きな有意差を生じる範囲があるので、この大きな有意差がある範囲での正規化値を選択することにより、雨水で濡れた湿潤状態と積雪状態とを区別することができる。

次に、路面の乾湿状態の判定についてのコントローラＵの具体的な制御例について、図６に示すフローチャートを参照しつつ説明する。なお、以下の説明でＳはステップを示す。まず、Ｓ１において、カメラ１によって撮影された例えば図４に示すような路面画像が取り込まれて保存される。次いでＳ２において、路面画像から測定範囲の切り出しが行われて、切り出された画像Ａを得る（図４に示す路面画像からＡ部分の切り出し）。

Ｓ２の後、Ｓ３において、切り出された画像Ａについて、ガボール変換処理が行われる。このガボール変換処理においては、短周期（例えばガボール周期Ｔ＝４pixel）でのガボール変換処理と、長周期（例えばガボール周期Ｔ＝１８pixel）でのガボール変換処理とが行われる。この後、Ｓ４において、短周期と長周期の各ガボール変換処理のそれぞれについて、強度平均値が算出される（全画素のガボール変換結果の強度値を加算し、それを画素数で除することにより強度平均値が算出される）。この後、Ｓ５において、短周期のガボール変換処理の強度平均値を、長周期のガボール変換処理の強度平均値で除することにより、正規化強度平均値Ｂが算出される。Ｓ５での正規化強度平均値算出のための式の一例が、例えば図７（ａ）に示される。

Ｓ５の後、Ｓ６において、Ｓ５で算出された正規化強度平均値Ｂがしきい値Ｙ１以上であるか否かが判別される。このＳ６の判別でＹＥＳのときは、Ｓ７において、路面が乾燥状態であると判定される。

上記Ｓ６の判別でＮＯのときは、Ｓ８において、正規化強度平均値Ｂがしきい値Ｙ２よりも大きいか否かが判別される。このしきい値Ｙ２は、雨水で濡れた湿潤状態と路面が雪で覆われた積雪状態とを区別するためのものである（図５の「×」印参照）。このＳ８の判別でＹＥＳのときは、Ｓ９において、湿潤路面であると判定される。また、Ｓ８の判別でＮＯのときは、Ｓ１０において、積雪路面であると判定される。

図６におけるＳ５での正規化処理を、上述した図７（ａ）に示すように、振動方位とガウス関数幅係数が同一である短周期のガボール変換結果の強度平均値を、長周期のガボール変換結果の強度平均値で除することで算出する方法に代えて、図７（ｂ）に示すように、振動方位とガウス関数幅係数が同一である短周期のガボール変換結果の強度平均値と長周期のガボール変換結果の強度平均値の差の絶対値を、短周期のガボール変換結果の強度平均値と長周期のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法としても良い。図７（ｂ）において、ガウス関数幅係数α＝２とし、短周期のガボール周期Ｔ＝４ｐｉｘｅｌ，長周期のガボール周期Ｔ＝１２ｐｉｘｅｌとして、振動方位θ＝９０度として算出された状態の一例が図２０の実線（１）に、振動方位θ＝０度として算出された状態の一例が図２０の実線（２）に、示されている。
図２０の縦軸は、ガボール変換結果の強度平均の差と和の比であるフィルタ処理結果の正規化強度平均値であり、横軸が画像の通し番号であり、カメラ俯角β＝５度の場合の乾燥路面の画像（通し番号１〜５の５枚）と湿潤路面の画像（通し番号６〜１０の５枚）、及びカメラ俯角β＝８度の場合の乾燥路面の画像（通し番号１１〜１５の５枚）と湿潤路面の画像（通し番号１６〜２０の５枚）の解析結果を示している。
図２０の実線（１）（２）に示されるように、カメラ俯角β＝５度、８度のいずれにおいても、乾燥路面と湿潤路面との間では大きな有意差があることが理解され、振動方位θ＝９０度の場合の実線（１）に対しては、破線（１）で示す０．１〜０．２のしきい値を設定することにより、また振動方位θ＝０度の場合の実線（２）に対しては、破線（２）で示す０．０７〜０．０８のしきい値を設定することにより、乾燥路面と湿潤路面を正確に判定することが出来る。

またさらに、図６におけるＳ５での正規化処理を、上述した図７（ａ）（ｂ）に示すように、ガボール周期による方法に代えて、図８（ａ）（ｂ）に示すように、振動方位に基づいて行うこともできる。
このうち、図８（ａ）は、図７（ａ）の処理に対応していて、振動方位９０度の強度平均値を振動方位0度の強度平均値で除することにより正規化してある。この図８（ａ）に示す式にしたがって正規化された状態が、図１３に示され、ガボール周期を４pixel、ガウス関数幅係数を２として、ガボール変換処理した正規化強度平均値の乾燥路面と湿潤路面の振動方位に対する値を示すもので、横軸が振動方位０度から１８０度であり、縦軸がガボール変換処理した強度平均値を振動方位０度の強度平均値で正規化した値を示す。この図１３より、振動方位９０度において乾燥路面と湿潤路面との間では大きな有意差があることが理解される。勿論、図６のＳ６でのしきい値Ｙ１およびＳ８でのしきい値Ｙ２は、正規化の手法の変更に応じて変更される。

また、図８（ｂ）は、図７（ｂ）の処理に対応していて、ガボール周期とガウス関数幅係数が同一である振動方位0度のガボール変換結果の強度平均値と振動方位９０度のガボール変換結果の強度平均値の差の絶対値を、振動方位0度のガボール変換結果の強度平均値と振動方位９０度のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法を示す。図８（ｂ）において、ガボール周期Ｔ＝４ｐｉｘｅｌ、ガウス関数幅係数α＝２とし、振動方位θ＝０度と90度として、算出された状態の一例が図２０の実線（３）に示されている。これより振動方位による方法においても、カメラ俯角β＝５度、８度のいずれにおいても、乾燥路面と湿潤路面との間では大きな有意差があることが理解され、破線（３）で示す０．１５〜０．２５のしきい値を設定することで、乾燥路面と湿潤路面を正確に判定することが出来る。

同様に、図９(ａ)(ｂ)は、図６のＳ５での正規化処理を、ガウス関数幅係数αで行うようにした場合の一例を示すものである。
このうち、図９（ａ）は、図７（ａ）図８（ａ）に対応していて、図９（ａ）に示す式においては、ガウス関数幅係数α＝１における強度平均値を、ガウス関数幅係数α＝５における強度平均値で除することにより正規化してある。この図９（ａ）に示す式にしたがって正規化された状態の一例が、図１４に示され、ガボール周期を１８pixel、振動方位を４０度として、ガボール変換処理した正規化強度平均値の乾燥路面と湿潤路面のガウス関数幅係数に対する値を示すもので、横軸がガウス関数幅係数１から５であり、縦軸がガボール変換処理した強度平均値をガウス関数幅係数５の強度平均値で正規化した値を示す。この図１４より、ガウス関数幅係数１において乾燥路面と湿潤路面との間では大きな有意差があることが理解される。勿論、図６のＳ６でのしきい値Ｙ１およびＳ８でのしきい値Ｙ２は、正規化の手法の変更に応じて変更される。

また、図９（ｂ）は、図７（ｂ）図８（ｂ）の処理に対応していて、ガボール周期及び振動方位が同一であるガウス関数幅係数α＝５のガボール変換結果の強度平均値と、ガウス関数幅係数α＝１のガボール変換結果の強度平均値の差の絶対値を、ガウス関数幅係数α＝５のガボール変換結果の強度平均値と、ガウス関数幅係数α＝１のガボール変換結果の強度平均値の和の絶対値で除することで算出する方法を示す。
この図９（ｂ）に示す式にしたがって正規化された状態の一例が、図２１に示され、ガボール周期を１８pixel、振動方位を４０度として、ガウス関数幅係数５でのガボール変換処理した強度平均値とガウス関数幅係数１〜５でのガボール変換処理した強度平均値の差の絶対値を、ガウス関数幅係数５でのガボール変換処理した強度平均値とガウス関数幅係数１〜５でのガボール変換処理した強度平均値の和の絶対値で除することにより正規化した値を示すもので、横軸がガウス関数幅係数１から５であり、縦軸がガボール変換処理した強度平均値を上述の方法により正規化した値を示す。この図２１より、ガウス関数幅係数による和と差による方法においても、ガウス関数幅係数１〜２において乾燥路面と湿潤路面との間では大きな有意差があることが理解され、図９（ｂ）のように、ガウス関数幅係数１とした場合、乾燥路面と湿潤路面を正確に判定することが出来る。

（第２実施形態）
図１０は、本発明の第２の実施形態を示すもので、輝度ヒストグラムを併用して、乾燥路面と湿潤路面との識別をより精度よく行うようにした場合の制御例を示す。ここで、輝度ヒストグラムは、保存されている画像Ａをグレースケール化して求められる白黒画像の各画素の濃度の出現回数より求められるデータであり、すなわち、図１５に示すように、横軸が各画素の輝度値、縦軸が各輝度値である画素の出現回数であり、出現回数がある所定値（例えば５０）を超える輝度値の幅Ｘ１に着目すると、幅Ｘ１は、乾燥路面の場合の方が湿潤路面の場合に比して狭いということが判明した。より具体的には、幅Ｘ１の最小値については乾燥路面の場合が１３で湿潤路面の場合は２５であり、幅Ｘ１の最大値については乾燥路面の場合が２３で湿潤路面の場合は７５であった。よって、例えば幅Ｘ１が例えば２４よりも小さければ乾燥路面であると判定することができ、また幅Ｘ１が２５以上であれば湿潤路面であると判定することができる。

図１０の制御例について説明すると、Ｓ２１〜Ｓ２５の処理は図６のＳ１〜Ｓ５の処理と同じであり、また図１０のＳ３１〜Ｓ３３の処理は図６のＳ８〜Ｓ１０の処理と同じなので、その重複した説明は省略して、相違する部分のみ説明することとする。以上のことを前提として、まずＳ２６においては、画像Ａがグレースケール化されて画像Ｂに変換される。次いでＳ２７において、画像Ｂの輝度ヒストグラムが作成される。この後Ｓ２８において、出現回数が所定回数以上となる輝度ヒストグラムの幅Ｃ（図１５の幅Ｘ１に相当する幅）が測定される。

Ｓ２８の後、Ｓ２９において、Ｓ２５での正規化値がしきい値Ｙ１よりも大きくて、かつＳ２８で得られた幅Ｃが所定のしきい値Ｙ３よりも小さいか否かが判別される。このＳ２９の判別でＹＥＳのときは、Ｓ３０において、乾燥路面であると判定される。Ｓ２９の判別でＮＯのときは、Ｓ３１において、正規化強度平均値Ｂがしきい値Ｙ２よりも大きいか否かが判別される。（このしきい値Ｙ２は、上述の湿潤状態と積雪状態とを区別するためのものである）。このＳ３１の判別でＹＥＳのときは、Ｓ３２において、湿潤路面であると判定される。また、Ｓ３１の判別でＮＯのときは、Ｓ３３において、積雪路面であると判定される。

なお、上記Ｓ２９において、Ｓ２５での正規化値がしきい値Ｙ１よりも大きくて、かつＳ２８で得られた幅Ｃが所定のしきい値Ｙ３よりも小さいか否かを判別することに代えて、Ｓ２８で得られた幅Ｃが所定のしきい値Ｙ３よりも小さい場合、乾燥路面と判断することとしても良い。すなわち、輝度ヒストグラムである各画素の輝度値ごとの出現回数が、所定値を超える輝度値の幅Ｘ１が所定のしきい値Ｙ３より小さければ乾燥路面としてＳ３０へ移行し、しきい値Ｙ３より大きければ乾燥路面以外としてＳ３１へ移行することとしても良い。すなわち、輝度ヒストグラムのみにより乾燥路面か否かを判定することとしても良い。

（第３実施形態）
図１１は、本発明の第３の実施形態を示すもので、図１０の制御例に比して、彩度ヒストグラムを用いて、道路標識の有無の判定を行うようにしてある。
すなわち、路面には、例えば横断歩道を示したり制限速度を示す等の各種の路面標識が表示されているが、路面標識が路面に明瞭かつ大きな面積で表示してあると、湿潤路面であるのか路面標識が描かれた乾燥路面であるかの識別が難しくなる。よって、路面標識を検出したときは、湿潤路面であるとの判定を行わないようにしてある。

例えば、路面標識が削られてわずかに残存している（路面標識の痕跡が認められる程度）痕跡表示状態でかつ湿潤路面の場合の輝度ヒストグラムは図１６に示すようになり、路面標識が明瞭に表示されている明瞭表示状態でかつ乾燥路面の場合の輝度ヒストグラムは図１７に示すようになる。この図１６、図１７より、路面標識の表示状態によって、上述の輝度値の出現回数がある所定値を超える輝度値の幅が大きく変化することが明らかであり、単純に輝度ヒストグラムの幅の大小によって乾湿状態を判定すると、乾燥路面であっても路面標識が明瞭に表示されている場合に、湿潤路面であると誤判定するおそれがある。

そこで，路面標識の検出を、彩度ヒストグラムを利用しておこなう。彩度ヒストグラムは、保存されている画像Ａを例えばＨＬＳ色空間に変換処理（色相（Hue）、彩度（Saturation）、輝度（Lightness/Luminance または Intensity）の3つの成分からなる色空間への変換処理）して求められる各画素の彩度値（無彩色（白・黒・灰色）で0となり、無彩色軸から離れるにしたがい増し、純色で最大となる。）の出現回数より求められ、図１８，図１９に示すように、横軸が各画素の彩度値、縦軸が各彩度値である画素の出現回数であり、例えば、路面標識がわずかに残存する図１６に対応する図１８においては、彩度ヒストグラムの出現回数が最大となる彩度値である最大出現回数彩度値０．０２と、画素の彩度値とその画素数を積算加算し総画素数で除した平均出現彩度値０．０３の「差」が、「０．０１」であるのに対し、路面標識が大きな面積で明瞭に表示されている図１７に対応する図１９においては、彩度ヒストグラムの出現回数が最大となる彩度値である最大出現回数彩度値０．０２と平均出現彩度値０．２４の「差」が、「０．２２」となって大きな有意差を生じる。つまり、上記「差」が所定しきい値よりも大きい場合は、路面標識が大きな面積で明瞭に表示されている状態であると判定して、乾湿路面判定を禁止することで、湿潤路面であると誤判定してしまう事態を防止できることになる。

次に、図１１の制御例について説明するが、Ｓ４１，Ｓ４２は図１０のＳ２１、Ｓ２２と，Ｓ４８〜Ｓ５８は図１０のＳ２３〜Ｓ３３と同じであるので、相違するＳ４３〜Ｓ４７について説明する。まず、Ｓ４３では、画像Ａについて、ＨＬＳ色空間に変換処理して画像Ｄが作成される。次いで、Ｓ４４において、画像Ｄについて彩度ヒストグラムが作成される。この後Ｓ４５において、彩度ヒストグラムの出現回数が最大となる最大出現回数彩度値と、平均出現彩度値との「差」が算出値Ｄとして算出される。

Ｓ４６において、Ｓ４５での算出値Ｄが、所定のしきい値Ｙ４よりも大きいか否かが判別される。このＳ４６の判別でＹＥＳのときは、Ｓ４７において道路標識有路面であると判定され乾湿路面判定を実施することなく処理が終了する。また、Ｓ４６の判定でＮＯのときは、Ｓ４８以下の処理が行われる。

（第４実施形態）
図１２は、本発明の第４の実施形態を示すもので、積雪路の判定に際して、カメラ１で撮影された画像そのものの全体について、あるいはそれから切り出された画像Ａについて、白色の割合が所定のしきい値よりも大きいときに、積雪路であると判定するようにしてある。

図１２の制御例について説明するが、Ｓ６１〜Ｓ６９は図６のＳ１〜Ｓ９と同じであるので、相違するＳ７０以下について説明する。まず、Ｓ６８の判別でＮＯのときに、Ｓ７０において、撮影画像全体について、あるいは画像Ａについて、その白色の割合が算出される。次いでＳ７１において、Ｓ７０での白色割合が、所定のしきい値Ｙ５よりも大きいか否かが判別される。このＳ７１の判別でＹＥＳのときは、Ｓ７２において、積雪路面であると判定される。また、Ｓ７１の判別でＮＯのときは、Ｓ６９において、湿潤路面であると判定される。

ここで、全体的に地面の広い範囲に渡って雪に覆われているような場合でも、路面を多くの車両が通過することによってできる車輪の走行軌跡部分については部分的に雪がわずかに存在する程度の場合が往々にして生じる。このように、走行軌跡部分に雪がわずかに存在する部分を乾湿等の判定の画像として切り出されると、ガボールフィルタ処理結果後の正規化値が、雨水で濡れた湿潤路面の場合と大きな有意差を得られない場合が生じて、積雪路ではないと判定してしまうおそれがある。車両の走行においては、多くの車両の走行軌跡部分に雪がわずかに存在する場合やこの走行軌跡部分に雪がないときでも、路面が全体的に雪で覆われている場合と同様に十分注意して走行することが必要なので、画像中に占める白色の割合の大小に基づいて積雪路であるか否かの判定を精度よく行うようにしてある。

以上実施形態について説明したが、本発明は、実施形態に限定されるものではなく、特許請求の範囲の記載された範囲において適宜の変更が可能であり、例えば次のような場合をも含むものである。
すなわち、上記実施例においては、いずれも、正規化強度平均値、輝度ヒストグラムの幅、彩度値などの各算出値をそれぞれの所定しきい値と比較することで、路面が乾燥しているか否か、積雪が有るか否かを判定しているが、上記算出値に対し、ファジー推定処理または公知の各種統計的識別処理を実施し、路面の乾湿度合いや積雪度合いを判定するようにしても良い。同様に、輝度ヒストグラムと彩度ヒストグラムと白色割合による各判定とを適宜組合せて、路面状態の判定を精度良く行うこととしても良い。
また、自動車等の車両に限らず、例えば路肩に設置した路面状況検出装置として固定設置することもできる。さらに、夜間であっても、ライト（車両の場合はヘッドライト）を路面に照射することにより、昼間と同様に精度よく乾湿判定を行うことができる。
勿論、本発明の目的は、明記されたものに限らず、実質的に好ましいあるいは利点として表現されたものを提供することをも暗黙的に含むものである。

本発明は、例えば車両の安全走行のために利用することができる。

Ｖ：車両
Ｕ：コントローラ
１：カメラ（撮影手段）
１２：処理部（ガボール変換処理）
１３：処理部（正規化処理）
１４：記憶部（しきい値の記憶）
１５：判定部（乾湿判定）
１６：処理部（輝度ヒストグラム算出）がボール処理
１７：処理部（白色割合算出）
１８：処理部（輝度および彩度ヒストグラム算出）

Claims (14)

1. 路面の乾湿状態を検出する路面状態検出装置であって、
   路面を含む画像を撮影する撮影手段と、
   前記撮影手段によって撮影された路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理するフィルタ処理手段と、
   前記フィルタ処理手段によってフィルタ処理されたデータに基づいて路面の乾湿状態を判定する判定手段と、
   を備えていることを特徴とする路面状態検出装置。
2. 請求項１において、
   前記撮影手段が、車両に搭載されて車両前方の路面を撮影する車載カメラとされ、
   前記車載カメラの上下方向の撮影角度が、水平方向から下向きに６度〜１２度の角度範囲とされている、
   ことを特徴とする路面状態検出装置。
3. 請求項１または２において、
   前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
   前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
   ことを特徴とする路面状態検出装置。
4. 請求項１または２において、
   前記フィルタ手段が、ガボールフィルタの短周期のガボールフィルタ処理データと長周期のガボールフィルタ処理データとを得るように設定され、
   前記判定手段が、前記短周期のガボールフィルタ処理データと前記長周期のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
   ことを特徴とする路面状態検出装置。
5. 請求項１または２において、
   前記フィルタ手段が、ガボールフィルタの第１振動方位のガボールフィルタ処理データと第２振動方位のガボールフィルタ処理データとを得るように設定され、
   前記判定手段が、前記第１振動方位のガボールフィルタ処理データと前記第２振動方位のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
   ことを特徴とする路面状態検出装置。
6. 請求項１または２において、
   前記フィルタ手段が、ガボールフィルタの第１振動方位のガボールフィルタ処理データと第２振動方位のガボールフィルタ処理データとを得るように設定され、
   前記判定手段が、前記第１振動方位のガボールフィルタ処理データと前記第２振動方位のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
   ことを特徴とする路面状態検出装置。
7. 請求項１または２において、
   前記フィルタ手段が、ガボールフィルタの第１ガウス関数幅係数のガボールフィルタ処理データと第２ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
   前記判定手段が、前記第１ガウス関数幅係数のガボールフィルタ処理データと前記第２ガウス関数幅係数のガボールフィルタ処理データとの一方を用いて他方を規格化した規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
   ことを特徴とする路面状態検出装置。
8. 請求項１または２において、
   前記フィルタ手段が、ガボールフィルタの第１ガウス関数幅係数のガボールフィルタ処理データと第２ガウス関数幅係数のガボールフィルタ処理データとを得るように設定され、
   前記判定手段が、前記第１ガウス関数幅係数のガボールフィルタ処理データと前記第２ガウス関数幅係数のガボールフィルタ処理データの和と差の比により規格値を算出して、該規格値により路面の乾湿状態を判定するように設定されている、
   ことを特徴とする路面状態検出装置。
9. 請求項１〜８のいずれかにおいて、
   前記判定手段が、路面が湿潤状態であると判定したときに、前記規格値により路面が積雪路面であるか否かを判定するように設定されている、ことを特徴とする路面状態検出装置。
10. 請求項９において、
    前記路面画像に占める白色の割合を得る白色割合処理手段をさらに備え、
    前記判定手段は、路面画像に示す白色の割合を併用して、積雪路面であるか否かを判定するように設定されている、
    ことを特徴とする路面状態検出装置。
11. 路面の乾湿状態を検出する路面状態検出装置であって、
    路面を含む画像を撮影する撮影手段と、
    前記撮影手段によって撮影された路面画像から輝度ヒストグラムを得る輝度ヒストグラム処理手段と、
    前記輝度ヒストグラム処理手段によって得られた輝度ヒストグラムに基づいて、路面の乾湿状態を判定する判定手段と、
    を備えていることを特徴とする路面状態検出装置。
12. 請求項１１において、
    前記路面画像の彩度ヒストグラムを得る彩度ヒストグラム処理手段をさらに備え、
    前記判定手段は、前記彩度ヒストグラムを用いて、路面標識の有無を判定するように設定されている、
    ことを特徴とする路面状態検出装置。
13. 路面の乾湿状態を検出する路面状態検出方法であって、
    撮影手段によって路面を含む画像を撮影する第１ステップと、
    前記第１ステップで得られた路面画像に対して局所的空間周波数情報を抽出するフィルタにてフィルタ処理する第２ステップと、
    前記第２ステップで得られたデータに基づいて路面の乾湿状態を判定する第３ステップと、
    を備えていることを特徴とする路面状態検出方法。
14. 路面の乾湿状態を検出する路面状態検出方法であって、
    撮影手段によって路面を含む画像を撮影する第１ステップと、
    前記第１ステップで得られた路面画像から輝度ヒストグラムを得るよう輝度ヒストグラム処理する第２ステップと、
    前記第２ステップで得られた輝度ヒストグラムのデータに基づいて路面の乾湿状態を判定する第３ステップと、
    を備えていることを特徴とする路面状態検出方法。

Images