JP2010164521A - 路面状況判別装置 - Google Patents

Abstract

【課題】路面状況の判別を低コストな構成で実現し、多くの自動車に搭載させることを現実的とすることができる路面状況判別装置を提供する。
【解決手段】複数の撮像素子が車両の進行方向に略直交し、路面に略平行な方向に配列されたラインセンサを用いた撮像部１０が、車両のバンパー下から前方路面を撮像するように設置される。撮像部１０では、車両が進行中に複数回撮像することにより、路面を走査でき、２次元画像を構築することも可能である。判別部１２は、撮像部１０から得られる画像データに基づいて路面状況を判別する処理を行なう。
【選択図】図１

Description

本発明は、車両の走行を安定させる運転支援システムに関し、道路状況に応じた制動を可能とするために、低コストな構成で路面状況を精度よく判別することができる路面状況判別装置に関する。

近年の自動車では、車輪速センサ、操舵角センサ、ブレーキ圧センサ、ヨーレイトセンサ及び加速度センサなどの各種センサ、及び各センサと接続されて各種アクチュエータを制御するＥＣＵ（Electronic Control Unit）が備えられており、各ＥＣＵが各センサから得られる情報を用いて安定的な走行を実現するように各アクチュエータを制御している。

安定的な走行を維持するための機能の例としては、タイヤの横滑りを防止するシステム（ＥＳＣ（登録商標）：Electronically Stability Control）などが提案され、あるいは実装されている。また、横滑り制御、ＡＢＳ（Anti-locked Braking System）などの制御を各々対応するＥＣＵで独立して行なうのではなく、統合して制御するシステムも車両に実装されている。

上述のような各種制御は、各種センサにより得られる車輪速、操舵角などの車両状態に基づいて制御される。一方で、センサとしてミリ波レーダ、赤外線カメラ、可視光カメラを用いて、車両の周囲の状況に応じて自動的に制動処理を実行するなどの安全面の高度な機能の実現も図られている。例えば、前方に存在する車両、又は歩行者をカメラ又はミリ波レーダなどで検知して制動処理を行なうプリクラッシュセーフティ機能、前方を走行する車両との車間距離を維持する機能、カメラで得られる画像に基づき車線を検知して車線内の走行を維持するレーンキーピングアシスト（Lane Keeping Assist）などがある。

車両の周囲の状況の１つとして、路面が乾燥しているか、水浸しであるか、又は凍結しているかなどの路面状況を判別することは、自動車の制動距離及び制動時間に大きく影響するために非常に重要である。路面が水浸しの状況又は凍結している状況では、でき得る限り早く制動を開始しなければならない。また、人間の目では路面状況を判別することが困難であり、運転者への警告及び自動での制動補助が必要な場合がある。例えば、黒っぽい路面上の凍結部分を水溜りと見紛うことがあり、積雪であっても切削された部分は凍結しているにも拘わらずやはり積雪部分と見紛うなど判別は困難である。

これに関し、水分が近赤外線波長帯域で比較的大きな吸収度を有するという分光特性と、近赤外線波長帯域の光の反射が路面の状況によって異なることとを用い、赤外線カメラで撮像した画像を用いて判別する方法が提案されている（特許文献１乃至４など参照）。

また、積雪している場合には、雪によって紫外線が散乱されることを利用して紫外線画像を用い、更にサーモグラフィにより温度分布画像を生成して紫外線画像及び赤外線画像と共に路面状況を精度よく検出する方法も提案されている（特許文献５を参照）。

非特許文献１には、路面が乾いているか（dry）、濡れているか（covered with water）か、凍っているか（covered with ice）、降雪状態か（covered with snow）などに応じて反射光強度の波長特性が異なることに基づき、レーザーダイオードとフォトダイオードとを用いたセンサを実際に車両に搭載し、判別が可能であることが開示されている。

特開昭５８−５３５４４号公報 特開平１０−９５２４５号公報 特開２００１−２１６５９２号公報 特開２００３−１５６４３０号公報 特開２００７−２３２６５２号公報

J.Casselgren, M.Sjodahl, S.Woxneryd, M.Sanfridsson、Classification of Road Conditions - to Improve Safety（安全性向上のための路面状況の分類）、Advanced Microsystems for Automotive Applications 2007（自動車用先端マイクロシステム技術２００７）、Springer、2007、p.47-59

特許文献１乃至５に開示されている方法により、路面の状況を乾燥しているか、水浸しか、又は凍っているか判別することはできる。しかしながら、いずれの方法でも、２次元に配列された撮像素子を用いて撮像した２次元画像を用いている。多数の撮像素子を用いる構成ではコスト高となり、路側に設置するのではなく車両１台ずつに搭載することは現実的でない。

一方で、非特許文献１に開示されている方法ではフォトダイオードが用いられており、路面上の特定の場所（水平方向の検知角は２〜３°）からの反射光を測定する。非特許文献１における構成では、車両の進行方向に沿った特定の線上でのみの測定となる。この場合、実際に前輪及び後輪が通過する路面の状況を精度よく判別することは難しい。例えば、轍の部分のみに水が溜まり易く、また氷結し易いなど、路面の状況は均等ではないから、特定の一点のみの測定では精度が不足する可能性がある。

でき得る限り、２次元的に測定することが望まれる。２次元的に測定することにより、路面上の一部で氷が張っている場合に当該場所を特定して氷結していると判別することができ、当該箇所を回避するなどの運転補助機能が実現できる可能性もある。

本発明は斯かる事情に鑑みてなされたものであり、路面状況の判別を低コストな構成で実現し、多くの自動車に搭載させることを現実的とすることができる路面状況判別装置を提供することを目的とする。

第１発明に係る路面状況判別装置は、車両に搭載され、複数の撮像素子を用いて路面を撮像し路面状況を判別する路面状況判別装置において、前記複数の撮像素子は、前記車両の進行方向に略直交し且つ路面に略平行な方向のライン状に配列されてあることを特徴とする。

第１発明では、ラインセンサを構成して用いるから、複数の撮像素子をアレイ状に配列した構成よりも、撮像素子の数を縦方向分だけ、即ち垂直方向の解像度分の１程度に少なくすることができる。判別処理で参照する出力値の数もアレイ状の撮像素子を用いる構成よりも少なく、判別処理に要する時間も少なくなり、処理負荷も軽減される。また、ほぼ１点の場所からの光を受光するフォトダイオードを用いるよりも精度が高い。

第２発明に係る路面状況判別装置は、前記複数の撮像素子からの出力値に基づき、１ライン分の画像データを作成する作成手段と、前記車両の進行中に、異なるタイミングで路面を撮像した前記複数の撮像素子からの出力値に基づき前記作成手段が作成した複数ライン分の画像データを、前記車両の速度又は進行方向に基づき並べ、２次元画像データを構築する構築手段とを備え、前記構築手段が構築した２次元画像データに基づき路面状況を判別するようにしてあることを特徴とする。

第２発明では、アレイ状に配列した複数の撮像素子により撮像される２次元画像と同等の２次元画像データを、縦方向の撮像素子を省いたラインセンサを用いる構成で得られる。判別処理に要する時間も少なくでき、処理負荷も軽減され、アレイ状に配列した複数の撮像素子を用いる構成よりも低コストな構成で、精度よく路面状況を判別することが可能となる。

第３発明に係る路面状況判別装置は、前記複数の撮像素子が近赤外線波長帯域の内の特定の波長帯域の光を受光するように、夫々に対応するバンドパスフィルタを備えることを特徴とする。

第３発明では、第１又は第２発明において、各撮像素子が受光する光は特定の波長帯域の光となるようにバンドパスフィルタが用いられる。特に、近赤外線波長帯域における特定の波長帯域で乾燥、水、氷又は雪による光の吸収度が異なるために光の反射強度の違いが顕著となることが利用される。図１５は、近赤外線波長帯域の光に対する水及び氷による吸光度分布を示すスペクトル図である（資料元：浜松ホトニクス社）。図１５の実線は水の吸光度の吸光度分布を示し、破線は氷の吸光度の吸光度分布を示す。図１５に示すように、例えば１．５μｍの光に対しては水よりも氷の方が吸光度が高い。したがって、１．５μｍの光を受光した撮像素子からの出力値が低い場合は、路面が凍結していて氷によって吸光されているためであると、路面状況を判別することが可能である。特に、各撮像素子からの出力値を道路を横切るライン状に取得し、これに基づいて路面状況を判別することができる。

第４発明に係る路面状況判別装置は、前記バンドパスフィルタは、異なる複数の特定の波長帯域の光に対応するように備えられ、前記複数の特定の波長帯域の光夫々に対して前記複数の撮像素子から得られる出力値の比を算出する算出手段を備え、該手段が算出した比が、乾燥、湿潤、水膜、凍結又は積雪夫々に対応する比率範囲のいずれに含まれるかによって路面状況を判別するようにしてあることを特徴とする。

第４発明では、第３発明において、複数の特定の波長帯域の光が受光されるように構成され、異なる波長帯域の光夫々に対する反射強度に対応する出力値の比を算出し、算出した比が、乾燥、湿潤、水膜、凍結又は積雪夫々に対応する比率範囲のいずれに含まれるかによって路面状況が判別される。なお同じ水でも、溜まった状態でない湿潤と、厚みのある水膜とでは表面の反射又は厚みの影響などによって反射強度が異なることは既知である。路面状況のみならず、前記特定の波長帯域の光の入射強度、又は路面の材料によって光の反射強度は異なる。反射強度に対応する出力値自体で判断することが困難な状況下でも、比を用いることによって判別が可能となる。例えば図１５中にて、１．４５μｍ付近では吸光度の値自体は水と氷とでは同程度であるから、反射強度に対応する出力値は同程度である可能性が高い。しかしながら、１μｍ近傍における吸光度と１．４５μｍ近傍における吸光度とを比較した場合、氷よりも水の方が大きく変化している。したがって、例えば１μｍ近傍及び１．４５μｍ近傍における波長の光夫々に対する反射強度に対応する出力値の比により、水か氷かを判別することが可能である。なお前記特定の波長帯域の光の光源としては、特定の光源を用いてもよいし、昼間であれば太陽光を利用すればよい。

第５発明に係る路面状況判別装置は、前記算出手段は、前記複数の撮像素子の内の特定の一部、又は全部からの各出力値の比の平均値、中央値又は最頻値を算出するようにしてあることを特徴とする。

第５発明では、ラインセンサを構成する撮像素子の内の全部、又はタイヤが通る路面の一部を撮像する特定の撮像素子からの、複数の特定の波長帯域の光夫々に対する反射強度に対応する出力値の比を算出する。そして、それらの平均値、中央値又は最頻値を求めて判別してもよい。

第６発明に係る路面状況判別装置は、前記複数の撮像素子は、車両に搭載されているヘッドライトからの光の内の前記複数の特定の波長帯帯域の光を受光するようにしてあることを特徴とする。

第６発明では、乾燥、湿潤、水膜、凍結又は積雪に対応して、水、氷又は雪による光の吸収度が顕著に異なる特定の波長帯域の光の光源として、車両に搭載されているヘッドライトを用いる。ヘッドライトは自身が搭載される車両のヘッドライトでも、対向車のヘッドライトでもよい。ヘッドライトにハロゲンランプを用いている場合など、近赤外線波長帯域の光を含むので有効に利用することが可能である。

第７発明に係る路面状況判別装置は、前記複数の特定の波長帯域を含む光を投光する投光手段を備え、前記複数の撮像素子は、前記投光手段からの光の内の前記複数の特定の波長帯域の光を受光するようにしてあることを特徴とする。

第７発明では、乾燥、水、氷又は雪による光の吸収度が顕著に異なる特定の波長帯域の光の光源として、専用の投光手段を搭載させる。夜間で太陽光が無い状況、且つヘッドライトからの光が近赤外線波長帯域の光を含まない場合でも、判別が可能となる。

第８発明に係る路面状況判別装置は、前記複数の撮像素子は複数列に配列されてあり、前記複数の撮像素子は列毎に、前記複数の特定の波長帯の光の内、異なる波長帯の光を受光するようにしてあることを特徴とする。

第８発明では、ラインセンサは複数ラインとなるように構成されて、且つ夫々異なる波長帯域の光を受光するように構成され、夫々にて同時的に出力される出力値を用いて比を算出することが可能となり、高速に判別が可能である。

第９発明に係る路面状況判別装置は、可視光波長帯域にて路面を撮像した撮像画像を取得する手段を備え、前記複数の撮像素子からの出力値及び前記撮像手段が撮像した画像に基づいて路面状況を判別するようにしてあることを特徴とする。

第１０発明に係る路面状況判別装置は、車外温度を測定する温度センサから前記車外温度を取得する手段を備え、前記複数の撮像素子からの出力値及び前記車外温度に基づき、路面状況を判別するようにしてあることを特徴とする。

第９発明及び第１０発明では、既に車両に搭載されている可視光カメラ又は温度センサなど、既存のセンサからの情報をも加味して判別される。これにより、低コストな構成でもより精度よく判別することが可能となる。

第１１発明に係る路面状況判別装置は、前記温度センサは、遠赤外線波長帯域にて撮像する複数の遠赤外線撮像素子を備え、該複数の遠赤外線撮像素子は、前記車両の進行方向に略直交し且つ路面に略平行な方向のライン状に配列されてあり、前記遠赤外線撮像素子からの出力値に基づき、１ライン分の遠赤外線画像データを作成する手段と、前記車両の進行中に、異なるタイミングで路面を撮像した前記遠赤外線撮像素子からの出力値に基づき作成した複数ライン分の遠赤外線画像データを、前記車両の速度又は進行方向に基づき並べ、２次元遠赤外線画像データを構築する手段とを備え、前記温度センサは、路面の温度分布を測定するようにしてあることを特徴とする。

第１１発明では、第１０発明における温度センサとして、遠赤外線撮像素子を用い、且つ遠赤外線撮像素子をライン状に配列させて用い、車両の進行に応じて複数回撮像させ、夫々のタイミングで撮像された１ラインの遠赤外線画像データを車両の速度又は進行方向に応じて並べることによって２次元の遠赤外線画像データとし、２次元的な路面の温度分布が得られる。これにより、遠赤外線撮像素子の数を節約して低コストな構成としつつ、路面の温度分布を加味して路面状況の判別の精度を向上させることが可能となる。

第１２発明に係る路面状況判別装置は、路面とタイヤとの間の滑り易さを示す物理量を測定するスリップセンサから前記物理量を取得する手段を備え、前記複数の撮像素子からの出力値及び前記スリップセンサが測定した物理量に基づき、路面状況を判別するようにしてあることを特徴とする。

第１２発明では、タイヤが路面に対しスリップしたか否か、またスリップした場合の滑り易さを示す量を、スリップセンサを用いて測定し、タイヤがスリップしたか否かを路面状況の判別に加味する。スリップセンサは、ＡＢＳ機能のために車両に既に搭載されており、加速度計を用いるもの、タイヤの回転数と車両速度との差異を求めるもの、路面摩擦係数を直接的に測定するものなどが考えられる。このような既存のセンサを用いつつも、他の要素を加味することによって更に精度よく路面の状況を判別することが可能となる。

本発明による場合、複数の撮像素子をアレイ状に配列して２次元画像データに基づいて路面状況を判別することと同等の機能を、撮像素子の数を節約したラインセンサを用いることでより低コストな構成で実現することができる。また、ラインセンサを用いるので判別処理に要する時間を減少させ、処理負荷も軽減されることができ、装置全体として低コストな構成にて実現が可能であり、多くの自動車に搭載させることを現実的とすることができる。且つ、一点ではなく路面を横切るライン状に撮像して用いるので、判別の精度が向上する。

実施の形態１における路面状況判別装置を含む運転支援システムの構成を示す構成図である。 撮像部の構成を概略的に示す略示斜視図及び略示断面図である。 実施の形態１における路面状況判別装置にて実行される路面状況判別処理の一例を示すフローチャートである。 実施の形態１における路面状況判別装置にて実行される路面状況判別処理の一例を示すフローチャートである。 撮像部によって得られる画像の具体例を模式的に示す説明図である。 実施の形態２における路面状況判別装置にて実行される路面状況判別処理の一例を示すフローチャートである。 実施の形態２における路面状況判別装置にて実行される路面状況判別処理の一例を示すフローチャートである。 実施の形態２にて画像処理部又は判別部により構築された２次元画像データの具体例を示す説明図である。 実施の形態３における路面状況判別装置を含む運転支援システムの構成を示す構成図である。 実施の形態３における路面状況判別装置にて実行される路面判別処理の一例を示すフローチャートである。 実施の形態３における路面状況判別装置にて実行される路面判別処理の一例を示すフローチャートである。 遠赤外線イメージセンサから得られた遠赤外線画像データに基づき構築される２次元遠赤外線画像データの具体例を示す説明図である。 実施の形態４における路面状況判別装置を含む運転支援システムの構成を示す構成図である。 実施の形態４における路面状況判別装置にて実行される路面状況判別処理の一例を示すフローチャートである。 近赤外線波長帯域の光に対する水及び氷による吸光度分布を示すスペクトル図である。

以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。

（実施の形態１）
図１は、実施の形態１における路面状況判別装置を含む運転支援システムの構成を示す構成図である。図１中の１は、路面状況判別装置であり、撮像部１０、画像処理部１１及び判別部１２を含んで構成される。また、運転支援システムは、路面状況判別装置１のほか、運転制御装置２、ディスプレイ３０、スピーカ３１、可視カメラ４、温度センサ５及びμセンサ６を含んで構成される。

路面状況判別装置１の撮像部１０は、車両前部のバンパー下から前方路面を撮像するように設置されている。撮像部１０は、ＩｎＧａＡｓ素子を用い、約１．０μｍから３．０μｍの近赤外波長帯域に感度を有する複数の撮像素子がライン状に配列されてラインセンサを構成している。

図２は、撮像部１０の構成を概略的に示す略示斜視図及び略示断面図である。図２中の右側に断面図を示している。複数の撮像素子が配列される方向、即ちラインセンサ１３の方向は、図２中の矢印に示す車両の進行方向に略直交し、路面に略平行である。つまり、車両が進行することによって路面をスキャンするように設置されている。

なお、撮像部１０にはバンドパスフィルタ１４が設けられ、１．０μｍ及び１．４５μｍの波長の光を夫々受光するように構成されている。図２の略示斜視図では一方の波長用のバンドパスフィルタ１４とラインセンサ１３が示されている。実施の形態１では、異なる波長の近赤外線波長帯域の光を受光するために、撮像部１０はラインセンサ１３を２つ有し、夫々に１．０μｍ及び１．４５μｍの波長の光を受光させるべくバンドパスフィルタ１４を２つ有する構成とする。そして、ラインセンサ１３の一方から１．０μｍの波長の光に対応する出力信号、他方から１．４５μｍの波長の光に対応する出力信号を得る。なお、ラインセンサ１３は１つとし、バンドパスフィルタ１４を可動式として、受光する波長を切り替えることが可能な構成でもよい。

図１に戻り説明を続ける。
画像処理部１１は、画像処理用のチップを用いて撮像部１０から得られる各撮像素子からの出力信号を、例えば２５６階調のデジタルの出力値に変換し、各撮像素子からの出力値を夫々１つの画素の輝度値とする１ライン分のデジタル画像データとして判別部１２へ出力する。

判別部１２は、マイクロコンピュータを用い、画像処理部１１から出力されるデジタル画像データに基づいて、路面状況を判別する処理を行なう。判別部１２は、画像データの各画素の輝度値である各撮像素子からの出力値に基づき、路面の状況が乾燥か、湿潤か、水膜か、凍結か又は積雪かを判別する。判別部１２は、路面状況の判別結果を運転制御装置２へ通知する。判別部１２の処理は後述にて詳細を説明する。

運転制御装置２は、図示しないエンジン制御装置、ブレーキ制御装置などの制御系の装置と通信が可能である。運転制御装置２は、運転者による運転動作に応じた制御を実現すると共に、前方の車両との車間距離が短い場合には自動的に制動処理を実行して速度を低下させるプリクラッシュセーフティなどの運転補助機能を実現する。運転制御装置２は、路面状況判別装置１から路面状況の判別結果の通知を受けた場合、判別結果に応じて制動処理などを調整する。例えば、運転制御装置２は、路面状況が湿潤、水膜、凍結など、路面摩擦係数が低い状況であることが推測される場合、プリクラッシュセーフティの機能を発揮するに際し、自動的に制動処理を開始する時間を早めにするなどの調整を行なう。また、運転制御装置２は同様に、路面状況が湿潤、水膜、凍結など、路面摩擦係数が低い状況であることが推測される場合、車両がカーブに差し掛かると判断されたときには、タイヤが横滑りすることを加味して走行速度を自動的に抑制制御するなどの調整を行なうことも可能である。

路面状況判別装置１の判別部１２には、ディスプレイ３０及びスピーカ３１が接続されている。判別部１２からの判別結果が通知されることによって、ディスプレイ３０及びスピーカ３１により、路面状況を運転者へ警告する機能が実現される。例えば、路面状況判別装置１は、路面状況が凍結、又は積雪である場合、判別部１２によりディスプレイ３０にて警告画面を表示させ、スピーカ３１から警告音を出力させる。

更に、路面状況判別装置１の判別部１２には、可視カメラ４、温度センサ５及びμセンサ６が接続されている。判別部１２は、画像処理部１１を介して撮像部１０から得られる各撮像素子からの出力値に加えて、可視カメラ４、温度センサ５又はμセンサ６から得られる情報をも加味して路面状況を判別する。

可視カメラ４は、可視光波長帯域に感度を持つアレイ状に配列された複数の撮像素子を有して、各撮像素子から得られる出力値に基づき画像データを構築して出力する。可視カメラ４は、レーンキーピングアシストのために白線を認識する機能など、他の用途にも利用される。路面状況判別装置１の判別部１２は、可視カメラ４から出力される画像データを取得し、輝度分布を路面状況の判別処理に加味する。例えば、可視カメラ４から得られる画像データを構成する各画素の輝度が全体的に所定値よりも高い場合は、光が多く散乱していることになるから、太陽光又は他の車両のライトが路面から反射している状況、即ち路面が水膜、凍結又は積雪の状況である可能性が高い。

温度センサ５は、サーミスタを用いて、エアーコンディショナー（以下、エアコンという）などの外気取入口に取り付けられており、外気温を測定して出力する。温度センサ５は、エアコンの温度調整など他の用途にも利用される。路面状況判別装置１の判別部１２は、温度センサ５から出力される外気温を取得し、外気温の高低を路面状況の判別処理に加味する。例えば、外気温が５℃以上である場合は、路面が凍結している可能性は低い。

μセンサ６は、加速度計、タイヤの周速と車両の進行速度との差を測定するもの、直接的に路面摩擦係数を測定するものなどタイヤの滑り易さを示す量を測定するものを用い、路面摩擦係数μにて表わしてこれを出力する。μセンサ６は、４つのタイヤ夫々に対応して設置されている。μセンサ６は、ＡＢＳ機能など他の用途にも利用される。路面状況判別装置１の判別部１２は、μセンサ６から出力される路面摩擦係数μを取得し、路面状況の判別処理に加味する。例えば、路面摩擦係数μの値が低くタイヤが滑り易いと判断される場合、路面が乾燥している可能性は低い。

このように、可視カメラ４、温度センサ５又はμセンサ６など、路面状況判別処理以外の用途にも利用される各センサから得られる情報を、後述する路面状況の判別処理に加味することにより、判別精度をより高めることができる。

上述のように構成される運転制御システムにおいて、路面状況判別装置１における路面状況判別処理の詳細を説明する。

図３及び図４は、実施の形態１における路面状況判別装置１にて実行される路面状況判別処理の一例を示すフローチャートである。路面状況判別装置１は、判別部１２の処理により、例えば車両が１ｍ進行する都度、１００ミリ秒が経過する都度などのタイミングで以下の処理を行なう。

判別部１２は、撮像部１０の各撮像素子からの出力値を画像処理部１１から１ライン分の画像データとして取得し（ステップＳ１０１）、取得した画像データに基づき、各画素の輝度値の平均値、即ち各撮像素子からの出力値の平均値を算出する（ステップＳ１０２）。

判別部１２は、複数の異なる特定の波長帯域の全波長帯域について処理を行なったか否かを判断する（ステップＳ１０３）。本実施の形態１において具体的には、判別部１２は１．０μｍ及び１．４５μｍの光を夫々受光した場合の画像データをいずれも取得し、夫々の各画素の輝度値の平均値を算出した場合、全波長帯域について処理を行なったと判断する。

判別部１２は、ステップＳ１０３にて全波長帯域について処理を行なっていないと判断した場合（Ｓ１０３：ＮＯ）、処理をステップＳ１０１へ戻して他の波長帯域の光に対応する画像データの取得及び出力値の平均値の算出処理を行なう（Ｓ１０１、Ｓ１０２）。

判別部１２は、ステップＳ１０３にて全波長帯域について処理を行なったと判断した場合（Ｓ１０３：ＹＥＳ）、異なる波長帯域の光に対する輝度値（平均値）の比を算出する（ステップＳ１０４）。具体的には、判別部１２は、１．０μｍの光を受光した場合の画像データについて算出した輝度値の平均値に対する、１．４５μｍの光を受光した場合の画像データについて算出した輝度値に平均値の比を算出する。これにより、撮像部１０のラインセンサ１３，１３を構成する各撮像素子からの１．０μｍと１．４５μｍの波長の光に対する出力値の平均値の比、即ち１．０μｍの波長の光の反射強度に対する１．４５μｍの波長の光の反射強度の比が算出される。

また判別部１２は、可視カメラ４から出力される画像データを取得し（ステップＳ１０５）、温度センサ５から出力される外気温を取得し（ステップＳ１０６）、μセンサ６から出力される路面摩擦係数μを取得する（ステップＳ１０７）。

次に判別部１２は、ステップＳ１０４にて算出した比が、乾燥の比率範囲に含まれるか否かを判断する（ステップＳ１０８）。路面が乾燥している場合は波長の変化に対して反射率が大きく変化することはほぼない。したがって、乾燥の比率範囲を例えば０．９以上とする。

判別部１２は、ステップＳ１０８にて乾燥の比率範囲に含まれると判断した場合（Ｓ１０８：ＹＥＳ）、路面状況を乾燥と判別し（ステップＳ１０９）、処理を終了する。

判別部１２は、ステップＳ１０８にて乾燥の比率範囲に含まれないと判断した場合（Ｓ１０８：ＮＯ）、算出した比が湿潤の比率範囲に含まれるか否かを判断する（ステップＳ１１０）。路面状況が湿潤の場合は、水分の吸光度に影響される。図１５に示した吸光度分布を参照すると、１．０μｍではほとんど吸収されないが１．４５μｍでは２０％程度吸光されるように、出力値はある程度大きく変化するはずである。路面における水分による吸光度は、深さ（水膜の厚み）など他の要素もあるが、例えば湿潤の比率範囲は例えば０．６〜０．９とする。

判別部１２は、ステップＳ１１０にて湿潤の比率範囲に含まれると判断した場合（Ｓ１１０：ＹＥＳ）、ステップＳ１０５にて取得した画像データに基づき、可視カメラ４で撮像した画像は全体として高輝度であるか否かを判断する（ステップＳ１１１）。判別部１２は、ステップＳ１１１にて高輝度であると判断した場合（Ｓ１１１：ＹＥＳ）、路面状況を湿潤と判別し（ステップＳ１１２）、処理を終了する。

判別部１２は、ステップＳ１１０にて湿潤の比率範囲に含まれないと判断した場合（Ｓ１１０：ＮＯ）、算出した比が水膜の比率範囲に含まれるか否かを判断する（ステップＳ１１３）。路面状況が水膜の場合、近赤外線波長帯域の光の反射強度に対応する出力値（輝度値）は水分の吸光度に影響される。１．０μｍと１．４５μｍの波長の光を用いる場合、出力値はある程度大きく変化するはずである（図１５参照）。水膜における比率範囲は厚みに大きく影響されるが例えば、０．１〜０．６などとする。

なお判別部１２は、ステップＳ１１１にて、可視カメラ４で撮像した画像は低輝度であると判断した場合も（Ｓ１１１：ＮＯ）、処理をステップＳ１１３へ進める。

判別部１２は、ステップＳ１１３にて水膜の比率範囲に含まれると判断した場合（Ｓ１１３：ＹＥＳ）、ステップＳ１０６にて取得した外気温に基づき、凍結の可能性が高いか否かを判断する（ステップＳ１１４）。水膜の場合と、凍結の場合とでは水膜の厚み、又は凍結の場合の表面状態などによって近赤外線波長帯域の光の反射の特性が類似しており、判別が困難なときがあるので、外気温によって補助的に判断する。このとき例えば外気温として、５℃よりも低いか否かで凍結の可能性の高低を判断する。

判別部１２は、ステップＳ１１４にて凍結の可能性が低いと判断した場合（Ｓ１１４：ＮＯ）、路面状況を水膜と判別し（ステップＳ１１５）、処理を終了する。

判別部１２は、ステップＳ１１３にて水膜の比率範囲に含まれないと判断した場合（Ｓ１１３：ＮＯ）、算出した比が凍結の比率範囲にあるか否かを判断する（ステップＳ１１６）。路面状況が凍結の場合、近赤外線波長帯域の光の反射強度に対応する出力値（輝度値）は氷の吸光度に影響される。ここで、１．４５μｍの波長の光を用いる場合、図１５に示した吸光度分布を参照すると、１．０μｍと１．４５μmとでは吸光度はあまり変わらないので、凍結の場合の比率範囲は例えば、０．７〜０．９などとする。

判別部１２は、ステップＳ１１４にて凍結の可能性が高いと判断した場合も（Ｓ１１４：ＹＥＳ）、処理をステップＳ１１６へ進める。

判別部１２は、ステップＳ１１６にて凍結の比率範囲に含まれると判断した場合（Ｓ１１６：ＹＥＳ）、ステップＳ１０７で取得した路面摩擦係数μに基づき、タイヤは滑り易いか否かを判断する（ステップＳ１１７）。凍結の場合も表面の状態などにより判別が難しいので、μセンサ６からの情報を補助的に利用する。判別部１２は、ステップＳ１１７にてタイヤは滑り易いと判断した場合（Ｓ１１７：ＹＥＳ）、路面状況を凍結と判別し（ステップＳ１１８）、処理を終了する。

判別部１２は、ステップＳ１１６にて凍結の比率範囲に含まれないと判断した場合（Ｓ１１６：ＮＯ）、算出した比が積雪の比率範囲にあるか否かを判断する（ステップＳ１１９）。路面状況が積雪の場合、表面が圧雪状態であるのか、新雪状態であるのかなどによっても大きく影響されるが、比率範囲は例えば０．３〜０．８などとする。

判別部１２は、ステップＳ１１７にてタイヤは滑りにくいと判断した場合も（Ｓ１１７：ＮＯ）、処理をステップＳ１１９へ進める。

判別部１２は、ステップＳ１１９にて積雪の比率範囲に含まれると判断した場合（Ｓ１１９：ＹＥＳ）、ステップＳ１０６で取得した外気温に基づき、積雪の可能性が高いか否かを判断する（ステップＳ１２０）。判別部１２は、ステップＳ１２０にて積雪の可能性が高いと判断した場合（Ｓ１２０：ＹＥＳ）、ステップＳ１０５で取得した画像データに基づき、可視カメラ４で撮像した画像は全体として高輝度であるか否かを判断する（ステップＳ１２１）。積雪の場合、表面状態によって乾燥、凍結などとの判別が難しいので、可視カメラ４又は温度センサ５からの情報を補助的に利用する。判別部１２は、ステップＳ１２１にて高輝度であると判断した場合（Ｓ１２１：ＹＥＳ）、路面状況を積雪と判別し（ステップＳ１２２）、処理を終了する。

判別部１２は、ステップＳ１１９にて積雪の比率範囲にも含まれないと判断した場合（Ｓ１１９：ＮＯ）、路面状況を不明と判別し（ステップＳ１２３）、処理を終了する。なお、ステップＳ１２０にて積雪の可能性が低いと判断した場合（Ｓ１２０：ＮＯ）、及びステップＳ１２１にて画像は低輝度であると判断した場合も（Ｓ１２１：ＮＯ）、路面状況を不明と判別し（Ｓ１２３）、処理を終了する。

なお、上述の各処理手順の順序は適宜前後させる。ステップＳ１０４にて算出した比が、乾燥の比率範囲に含まれるか否かの判断（Ｓ１０８）などでは、用いる波長によっては乾燥の比率範囲と凍結の場合の比率範囲とが重複する場合がある。したがって、受光する光の波長に応じて適宜順序を換え、且つ温度、画像情報、路面摩擦係数μなどに基づく判断を加え、比率に応じて路面状況を判別する。

次に、図３及び図４に示した処理を具体例を挙げて説明する。図５は、撮像部１０によって得られる画像の具体例を模式的に示す説明図である。図５には、可視カメラ４によって撮像される画像に写る路面Ｒを示している。そして、斜線にて路面Ｒ上の轍部分が凍結している様子を示している。斜線以外は乾燥しているとする。図５中のＤの範囲は、撮像部１０から得られる１ライン分の画像データの撮像範囲を示す。なお、可視カメラ４の撮像範囲の水平方向の距離と、撮像部１０の撮像範囲の水平方向の距離は、図５に示すようにほぼ同じとは限らない。

図５中のＤの範囲からの１．０μｍの波長の光及び１．４５μｍの波長の光を夫々受光することによって撮像した画像データが撮像部１０及び画像処理部１１から得られた場合、判別部１２は夫々の波長の光に対し、各画素の輝度値の平均値を算出し（Ｓ１０２）、平均値の比を算出する（Ｓ１０４）。そして判別部１２は、算出した比がいずれの路面状況の比率範囲に含まれるかを判断し（Ｓ１０８、Ｓ１１０、Ｓ１１３、Ｓ１１６、Ｓ１１９）、路面状況を判別する。

図５に示すような状況では、図中のＡ及びＢの部分において１．４５μｍの波長の光が氷及び水に吸光される。したがって、ステップＳ１０４にて算出された比は凍結の比率範囲に含まれると判断されて、路面状況を凍結していると判別することが可能である。

このように、撮像部１０がラインセンサを用いることによって、図５中のＤの範囲のように、道路を横切る範囲で近赤外線波長帯域の光の反射強度に対応する各撮像素子からの出力値を得ることができる。更に、縦方向分だけ撮像素子の数を節約することができ、低コストな構成で路面状況を判別することができる。１点からの反射強度のみを測定する構成でもなく、路面を漏れなく走査できるから、部分的に水が溜まっている、凍結しているなどの場合にも対応ができ、路面状況の判別の精度が向上する。

なお、図５中のＡ及びＢの部分、即ち車両のタイヤが通る部分に相当する画素の輝度値のみ、即ち特定の撮像素子からの出力値のみを抽出してステップＳ１０２にて平均値を算出し、比を算出する構成としてもよい。車両の制動処理に影響する範囲を撮像した撮像素子のみからの情報を用いることにより、更に路面状況の判別の精度を向上させることも可能である。

実施の形態１では、撮像部１０は１．０μｍ及び１．４５μｍの波長の光を夫々受光するように構成するとした。しかしながら本発明はこれに限らない。図１５の吸光度のスペクトルを観察すると、１．９μｍ及び２．４μｍ近傍でも水と氷とで吸光度に大きく差が生じているから、これらの波長の光を用いることも考えられる。更に、１．４５μｍ及び２．４μｍの波長の光に対しては氷の方が吸光度が高いが、１．９μｍの波長の光に対しては水の方が吸光度が高い。この吸光度の逆転を利用して、夫々の光を受光した場合の出力値自体を比較するか、又は出力値の比を算出するなどすることによって更に精度良く判別することも可能である。路面状況の内、湿潤といっても水膜が張っている状況と、凍結とを判別することは、１．０μｍの光と１．４５μｍの光とを受光した場合の出力値の比を算出した場合でも困難な可能性があるが、上述のような１．９μｍにおける吸光度の逆転を利用して判別の精度を向上させることができ得る。

なお、１．０μｍ及び１．４５μｍの波長の光は、水と氷とを区別するには適切であるが、積雪の状況をより精度良く判別するために、例えば１．７μｍの波長の光をも含め３つの特定の波長の光を受光させ、１μｍの光に対する出力値に対する１．４５μｍ及び１．７μｍの光夫々に対する出力値の比に基づいて判別する構成としてもよい。

（実施の形態２）
実施の形態１では、１ライン分の画像データ毎に路面状況を判別する処理を行なう構成とした。実施の形態２では、ラインセンサを用いた撮像部１０から得られる画像データを複数ライン分並べて近赤外線の２次元画像を構築し、近赤外線波長帯域の光に対する反射強度分布に基づいて、路面の状況を部分毎に判別する。

実施の形態２における運転支援システムの構成は、路面状況判別装置１における路面状況判別処理の詳細内容以外は、実施の形態１における構成と同様である。したがって以下、実施の形態１の構成と共通する構成については同一の符号を付して詳細な説明を省略し、路面状況判別処理の詳細について説明する。

図６及び図７は、実施の形態２における路面状況判別装置１にて実行される路面状況判別処理の一例を示すフローチャートである。以下に示す処理手順のうち、実施の形態１の図３及び図４のフローチャートに示した処理手順と共通する処理手順には、同一のステップ番号を付して詳細な説明を省略する。また、以下の処理が実行されるタイミングは、実施の形態１と同様とする。

判別部１２は、撮像部１０の各撮像素子からの出力値を画像処理部１１から１ライン分の画像データとして取得し（ステップＳ２０１）、図示しない内蔵メモリに蓄積してある直近の複数時点で取得した複数ライン分の画像データと、車両の速度及び進行方向とに基づいて２次元画像データを構築する（ステップＳ２０２）。２次元画像データは、画像処理部１１にて構築されてもよい。判別部１２又は画像処理部１１は、車両の速度から複数ライン分の画像データ間の間隔を決め、進行方向に基づいて画像データ間の水平方向のずれを調整して２次元画像を構築する。

判別部１２は、複数の異なる特定の波長帯域の全波長帯域について処理を行なったか否かを判断する（ステップＳ２０３）。具体的には、判別部１２は１．０μｍ及び１．４５μｍの光夫々を受光するように構成されるラインセンサ１３から出力される信号に基づく画像データから、いずれの波長帯域についても２次元画像データを構築した場合、全波長帯域について処理を行なったと判断する。

判別部１２は、ステップＳ２０３にて全波長帯域について処理を行なっていないと判断した場合（Ｓ２０３：ＮＯ）、処理をステップＳ２０１へ戻して他の波長帯域の光に対応する画像データの取得及び２次元画像データの構築処理を行なう（Ｓ２０１、Ｓ２０２）。

判別部１２は、ステップＳ２０３にて全波長帯域について処理を行なったと判断した場合（Ｓ２０３：ＹＥＳ）、可視カメラ４から画像データを取得し（Ｓ１０５）、温度センサ５から外気温を取得し（Ｓ１０６）、μセンサ６から路面摩擦係数μを取得する（Ｓ１０７）。

次に判別部１２は、ステップＳ２０１にて構築した夫々の波長帯域の２次元画像データに基づき、画像中の各部分毎に、輝度値（出力値）の平均値を算出する（ステップＳ２０４）。各部分の区分けは例えば水平方向と垂直方向とを夫々４分割３分割した各部分でもよいし、予め決められた任意の区分にて分けられる構成でもよい。

判別部１２は、ステップＳ２０４で算出した部分毎に、異なる波長帯域の光に対する輝度値（出力値）の比を算出する（ステップＳ２０５）。つまり、判別部１２は、１．０μｍの光を受光した場合の画像データについて算出した輝度値の平均値に対する、１．４５μｍの光を受光した場合の画像データについて算出した輝度値に平均値の比を、部分毎に算出する。これにより、２次元画像における各部分毎に、１．０μｍの波長の光の反射強度に対する１．４５μｍの波長の光の反射強度の比が算出される。

判別部１２は、部分毎に算出した比について、乾燥、湿潤、水膜、凍結又は積雪のいずれかの比率範囲に含まれるか否かの判断を行ない（Ｓ１０８、Ｓ１１０、Ｓ１１３、Ｓ１１６、Ｓ１１９）、ステップＳ１０５、Ｓ１０６及びＳ１０７にて取得した画像データ、外気温、又は路面摩擦係数μをも加味して、部分毎に路面状況を判別する（Ｓ１０８〜Ｓ１２３）。

そして判別部１２は、各部分について路面状況を乾燥と判別したか（Ｓ１０９）、湿潤と判別したか（Ｓ１１２）、水膜と判別したか（Ｓ１１５）、凍結と判別したか（Ｓ１１８）、積雪と判別したか（Ｓ１２２）、又は不明と判別した場合（Ｓ１２３）、全ての部分について判別処理を実行したか否かを判断する（ステップＳ２０６）。判別部１２は、判別処理を実行していない部分があると判断した場合（Ｓ２０６：ＮＯ）、処理をステップＳ１０８へ戻し、他の部分について判別処理（Ｓ１０８〜Ｓ１２３）を実行する。判別部１２は、全ての部分について判別処理を実行したと判断した場合（Ｓ２０６：ＹＥＳ）、処理を終了する。

上述に示した処理手順は、複数ライン分のデータを構築した後に、路面状況を判別する構成であるから、１００ミリ秒毎に１ライン分のデータを取得し、複数ライン分のデータ、例えば５ライン分のデータを取得した後、即ち５００ミリ秒が経過する都度に、ステップＳ２０２以降の処理を行なう構成としてもよい。

このように、２次元画像データを構築した後に、画像中の各領域について路面上の各部分毎に状況を判別することにより、精度良く判別が可能である。このとき、処理対象の画素数はやはり少なくて済むので、処理負荷も軽減することができ、より低コストな構成で実現することが可能となる。

図８は、実施の形態２にて画像処理部１１又は判別部１２により構築された２次元画像データの具体例を示す説明図である。図８中のＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５の領域が、各時点で取得された１ライン分の画像データを示す。またＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５の領域夫々は、実施の形態１において図５の説明図に示した領域Ｄの範囲を、車両の進行中に複数の時点で撮像した場合に相当する。Ｄ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５の順に、夫々１００ミリ秒後との取得した画像データを示す。なお、いずれにおいても斜線にて、凍結部分からの光の反射強度に対応する輝度値（比較的低輝度）である画素の領域を示している。

図８のＤ１，Ｄ２，Ｄ３，Ｄ４，Ｄ５に示すように、複数ライン分の画像データが得られた場合、判別部１２は、図８のように並べて２次元画像データを構築し、画像中の各部分毎に夫々の波長の光に対する輝度値（出力値）の平均値を算出し（Ｓ２０４）、更に比を算出する（Ｓ２０５）。そして判別部１２は、２次元画像の各部分について、算出した比がいずれの路面状況の比率範囲に含まれるかを判断し（Ｓ１０８、Ｓ１１０、Ｓ１１３、Ｓ１１６、Ｓ１１９）、路面状況を判別する。

図８に示すような２次元画像からは、手前側の路面上のタイヤが通る部分で１．４５μｍの波長の光が氷及び水に吸光されて、ステップＳ２０４にて算出される比が凍結の比率範囲に含まれると判断されて、手前側の路面状況を凍結していると判別することが可能である。

このように、ラインセンサを用いて画像の縦方向分だけ撮像素子の数を節約したとしても、ラインセンサを車両の進行方向に略直交した方向に設置し、道路を走査するように複数時点で撮像した複数ライン分の画像データを２次元画像データに構築することにより、図８に示したように、車両が通過しようとする路面の状況を２次元的に判別することができる。これにより、低コストな構成で精度良く路面状況を判別することができる。路面を漏れなく走査できるから、部分的に水が溜まっている、凍結しているなどの場合にも対応ができ、安全面において運転制御を精度良く実現することができる。

（実施の形態３）
実施の形態３においては、路面の温度分布を遠赤外線イメージセンサを用いて測定し、近赤外線波長帯域の光の反射強度に対応する撮像素子からの出力値に基づく判別処理に路面温度分布を加味する。また、実施の形態１及び２では、１．０μｍ及び１．４５μｍの光の光源は太陽光、又は自身若しくは対向車のヘッドライトなどであったが、実施の形態３では専用の投光手段としてライトを備える。

図９は、実施の形態３における路面状況判別装置１を含む運転支援システムの構成を示す構成図である。なお、実施の形態３における運転支援システムの構成は、可視カメラ４及び温度センサ５の代わりに遠赤外線イメージセンサ７が含まれていること、近赤外線波長帯域の光を投光する専用のライト１５が備えられていること、及び、路面状況判別装置１における路面状況判別処理の詳細内容以外は、実施の形態１又は２における構成と同様である。したがって実施の形態１、２の構成と共通する構成については同一の符号を付して詳細な説明を省略する。

実施の形態３における運転支援システムは、路面状況判別装置１、運転制御装置２、ディスプレイ３０、スピーカ３１、μセンサ６及び遠赤外線イメージセンサ７を含んで構成される。

実施の形態３における路面状況判別装置１の判別部１２には、μセンサ６及び遠赤外線イメージセンサ７が接続されている。判別部１２は、画像処理部１１を介して撮像部１０から得られる各撮像素子からの出力値に加えて、μセンサ６又は遠赤外線イメージセンサ７から得られる情報をも加味して路面状況を判別する。

また路面状況判別装置１には、撮像部１０、画像処理部１１及び判別部１２の他、バンパー下に、前方下へ向けて１．０μｍから３．０μｍの波長帯域の光を投光するライト１５が備えられている。

遠赤外線イメージセンサ７は、遠赤外線波長帯域に感度を持つ複数の撮像素子を有して、各撮像素子から得られる出力値に基づき遠赤外線画像データを構築して出力する。遠赤外線イメージセンサ７の撮像素子は、ライン状に配列される。アレイ型でも構わないが、実施の形態３ではライン状として、撮像素子の数を節約してより低コストな構成で実現する。遠赤外線イメージセンサ７は、車両の前方を撮像するように設置されており、夜間における前方障害物のモニタ機能など、他の用途にも利用される。遠赤外線イメージセンサ７によって得られる遠赤外線画像データの各画素の輝度値は温度差を表わし、相対温度が高いほど値が大きく、相対温度が低いほど値が小さい。路面状況判別装置１は、遠赤外線イメージセンサ７から得られる遠赤外線画像データに基づき、路面の相対的な温度分布を加味して路面状況を判別する。

図１０及び図１１は、実施の形態３における路面状況判別装置１にて実行される路面判別処理の一例を示すフローチャートである。以下に示す処理手順のうち、実施の形態１の図３及び図４のフローチャート、並びに、実施の形態２の図６及び図７に示した２次元画像データを構築する処理手順と共通する処理手順には、同一のステップ番号を付して詳細な説明を省略する。また、以下の処理が実行されるタイミングは、実施の形態１と同様とする。

判別部１２は、画像処理部１１から１ライン分の画像データを取得し（Ｓ２０１）、判別部１２又は画像処理部１１により、蓄積してある過去の複数ライン分の画像データと、車両の速度及び進行方向とに基づいて２次元画像データを構築する（Ｓ２０２）。そして判別部１２は、１．０μｍ及び１．４５μメートルの波長の光いずれについても２次元画像データを構築するなど処理を行なったか否かを判断し（Ｓ２０３）、処理を行なっていない場合は（Ｓ２０３：ＮＯ）、処理をステップＳ２０１へ戻す。

判別部１２は、ステップＳ２０３にて、処理を行なったと判断した場合（Ｓ２０３：ＹＥＳ）、μセンサ６から路面摩擦係数μを取得し（ステップＳ３０１）、遠赤外線イメージセンサ７から遠赤外線画像データを取得する（ステップＳ３０２）。判別部１２は、遠赤外線イメージセンサ７から取得した遠赤外線画像データを、過去に取得して図示しない内蔵メモリに記憶しておいた直近の遠赤外線画像データと共に並べて２次元の遠赤外線画像データを構築する（ステップＳ３０３）。

そして判別部１２は、ステップＳ２０２にて構築した夫々の波長帯域の２次元画像データに基づき、画像中の各部分毎に、輝度値（出力値）の平均値を算出し（ステップＳ３０４）、部分毎に、異なる波長帯域の光に対する輝度値（出力値）の比を算出する（ステップＳ３０５）。つまり、２次元画像における各部分毎に、１．０μｍの波長の光の反射強度に対応する出力値（平均）に対する１．４５μｍの波長の光の反射強度に対応する出力値（平均）の比が算出される。

判別部１２は、部分毎に算出した比について、乾燥、湿潤、水膜、凍結又は積雪のいずれかの比率範囲に含まれるか否かの判断を行なう（Ｓ１０８、Ｓ１１０、Ｓ１１３、Ｓ１１６、Ｓ１１９）。このとき、以下のように路面摩擦係数μ及び遠赤外線画像データに基づく路面の温度分布をも加味して、部分毎に路面状況を判別する。

判別部１２は、算出した比が乾燥の比率範囲でなく、湿潤の比率範囲に含まれると判断した場合（Ｓ１０８：ＮＯ、Ｓ１１０：ＹＥＳ）、路面状況を湿潤と判別し（Ｓ１１２）、処理をステップＳ２０６へ進め、全ての部分について判別処理を実行したか否かを判断する（Ｓ２０６）。判別部１２は、判別処理を実行していない部分があると判断した場合（Ｓ２０６：ＮＯ）、処理をステップＳ１０８へ戻し、全ての部分について判別処理を実行したと判断した場合（Ｓ２０６：ＹＥＳ）、処理を終了する。

そして判別部１２は、算出した比が水膜の比率範囲に含まれると判断した場合（Ｓ１１３：ＹＥＳ）、ステップＳ３０３にて構築した２次元の遠赤外線画像データに基づき、判別対象となっている部分が遠赤外線画像データにおける低輝度領域、即ち低温領域と一致するか否かを判断する（ステップＳ３０６）。

判別部１２は、ステップＳ３０６で低温領域と一致しないと判断した場合（Ｓ３０６：ＮＯ）、判別対象の部分の路面状況を水膜と判別し（Ｓ１１５）、処理をステップＳ２０６へ進める。判別部１２は、ステップＳ３０６で低温領域と一致すると判断した場合（Ｓ３０６：ＹＥＳ）、処理をステップＳ１１６へ進める。低温領域として例えば５℃程度よりも低い領域を他の領域と区別しておくことで、凍結の可能性のある領域を除外して水膜と判別できる。

判別部１２は、算出した比が凍結の比率範囲に含まれると判断した場合（Ｓ１１６：ＹＥＳ）、ステップＳ３０１で取得した路面摩擦係数μに基づいて路面に対してタイヤが滑り易いか否かを判断し（Ｓ１１７）、滑り易いと判断した場合（Ｓ１１７：ＹＥＳ）、ステップＳ３０３にて構築した２次元の遠赤外線画像データに基づき、判別対象となっている部分が低温領域と一致するか否かを判断する（ステップＳ３０７）。

判別部１２は、ステップＳ３０７にて低温領域と一致すると判断した場合（Ｓ３０７：ＹＥＳ）、判別対象の部分の路面状況を凍結と判別し（Ｓ１１８）、処理をステップＳ２０６へ進める。判別部１２は、ステップＳ３０７にて低温領域と一致しないと判断した場合（Ｓ３０７：ＮＯ）、処理をステップＳ１１９へ進める。

判別部１２は、算出した比が積雪の比率範囲に含まれると判断した場合（Ｓ１１９：ＹＥＳ）、ステップＳ３０３にて構築した２次元の遠赤外線画像データに基づき、判別対象となっている部分が低温領域と一致するか否かを判断する（ステップＳ３０８）。

判別部１２は、ステップＳ３０８にて低温領域と一致すると判断した場合（Ｓ３０８：ＹＥＳ）、判別対象の部分の路面状況を積雪と判別し（Ｓ１２２）、処理をステップＳ２０６へ進める。判別部１２は、ステップＳ３０８にて低温領域と一致しないと判断した場合（Ｓ３０８：ＮＯ）、判別対象の部分の路面状況を不明と判別し（Ｓ１２３）、処理をステップＳ２０６へ進める。

図１２は、遠赤外線イメージセンサ７から得られた遠赤外線画像データに基づき構築される２次元遠赤外線画像データの具体例を示す説明図である。なお、実施の形態３でも画像処理部１０からの１ライン分の画像データに基づいて、１．０μｍ及び１．４５μｍの波長の光を受光した場合の２次元画像データが構築される（図８参照）。

図１２中のＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５の領域は、車両が進行中に各時点で遠赤外線イメージセンサ７から取得される１ライン分の遠赤外線画像データを示す。Ｆ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５の順に、夫々１００ミリ秒後との取得した画像データを示す。図１２に示す２次元遠赤外線画像データは、図８の２次元画像データに対応し、図８中のＤ１と図１２中のＦ１、Ｄ２とＦ２、…とが対応する。

図１２では斜線にて、輝度の高低を示している。ピッチの狭い斜線ほど輝度が低く、低温領域に相当する。

図１２のＦ１，Ｆ２，Ｆ３，Ｆ４，Ｆ５に示すように、複数ライン分の遠赤外線画像データが得られた場合、判別部１２は、図１２のように並べて２次元遠赤外線画像データを構築して路面温度分布とする。そして、同様に構築する図８に示す２次元画像データに基づく部分毎の路面状況判別処理に、路面温度分布を加味する。

判別部１２は、図８に示すような２次元画像において、路面上のタイヤが通る部分が凍結している場合に、ステップＳ３０５にて算出される比が、水膜の比率範囲に含まれると判断したとする。水膜と凍結とでは、判別は難しいからである。しかしながらこの場合、判別部１２はステップＳ３０６において、図１２に示すように遠赤外線画像データに基づき、路面温度が凍結するほどの低温領域と一致すると判断することにより（Ｓ３０６：ＹＥＳ）、水膜と判別することを回避できる。

このように、複数ライン分の画像データを２次元画像データに構築して、図８に示したように、車両が通過しようとする路面の状況を２次元的に判別するに際し、他の用途に利用されるべく既に搭載されている遠赤外線イメージセンサ７から得られる画像情報を参照することにより、低コストな構成でより精度良く路面状況を判別することができる。

実施の形態１乃至３では、近赤外線波長帯域の内の特定の波長帯域、つまり１．０μｍ及び１．４５μｍの波長を受光した場合の画像データに基づき、出力値の比、即ち反射強度の比を算出して比率範囲と比較して判別した。しかしながら本発明はこれに限らず、比をとらずに、出力値自体が乾燥、湿潤、水膜などに対応する値とほぼ一致するか否かによって判別してもよい。ただし、実施の形態１乃至３における路面状況判別装置１では、車両に搭載されるから、外乱又は路面材料の影響を強く受ける。したがって比を算出して判別することが好ましい。

（実施の形態４）
実施の形態１乃至３における路面状況判別装置１は、近赤外線波長帯域の光（１．０μｍ、１．４５μｍ、１．７μｍ、１．９μｍ、２．４μｍなど）に感度を有する撮像部１０の各撮像素子から得られる出力値から判別する構成とした。しかしながら本発明では、近赤外線波長帯域に限らず、可視光波長帯域に感度を持つ撮像素子をライン状に配列させて用いてもよい。実施の形態４では、可視光波長帯域の光に感度を有する撮像素子を用いる構成とする。

図１３は、実施の形態４における路面状況判別装置を含む運転支援システムの構成を示す構成図である。実施の形態４における運転支援システムの構成は、路面状況判別装置８に接続されている運転制御装置２、ディスプレイ３０、スピーカ３１、温度センサ５及びμセンサ６については実施の形態１における構成と同様である。したがって、上述の実施の形態１における構成と共通する構成については同一の符号を付して詳細な説明を省略する。

路面状況判別装置８は、撮像部８０、画像処理部８１及び判別部８２を含んで構成される。路面状況判別装置８の撮像部８０は、車両前部のバンパー下から前方路面を撮像するように設置されている。撮像部８０は、ＣＣＤ、ＣＭＯＳなどを用いて可視光波長帯域に感度を有する複数の撮像素子がライン状に配列されてラインセンサを構成している。

画像処理部８１は、画像処理用のチップを用いて撮像部８０から得られる撮像素子からの出力信号を、各色成分毎に例えば２５６階調のデジタルの出力値に変換して１ライン分のデジタルカラー画像データとして判別部８２へ出力する。

判別部８２は、マイクロコンピュータを用い、画像処理部８１から出力されるデジタルカラー画像データに基づいて、各画素の輝度値から路面状況を判別する処理を行なう。なお、複数ライン分並べて２次元カラー画像を構築してから処理を行なう。判別部８２は、輝度値の大小、即ち撮像部８０にて撮像される画像の明暗に基づいて路面の状況が乾燥か、湿潤か、水膜か、凍結か又は積雪かを判別する。例えば、積雪の場合には最も光の乱反射が多いはずである。判別部８２は、輝度むらによって判別するなど２次元カラー画像を用いて判別する公知技術を用いてもよい。判別部８２は、路面状況の判別結果を運転制御装置２へ通知する。

路面状況判別装置８における路面状況判別処理の詳細を説明する。図１４は、実施の形態４における路面状況判別装置８にて実行される路面状況判別処理の一例を示すフローチャートである。路面状況判別装置８は、判別部８２の処理により、例えば車両が１ｍ進行する都度、１００ミリ秒が経過する都度などのタイミングで以下の処理を行なう。

判別部８２は、撮像部８０の各撮像素子からの出力値を画像処理部８１を介して１ライン分のカラー画像データを取得し（ステップＳ４０１）、図示しない内蔵メモリに蓄積してある直近の複数時点で取得した複数ライン分のカラー画像データと、車両の速度及び進行方向とに基づいて２次元カラー画像データを構築する（ステップＳ４０２）。判別部８２は、ステップＳ４０２で構築したカラー画像データに基づいて、各撮像素子からの出力値に対応する輝度値の平均値を算出する（ステップＳ４０３）。

判別部８２は、温度センサ５から出力される外気温を取得し（ステップＳ４０４）、μセンサ６から出力される路面摩擦係数μを取得する（ステップＳ４０５）。

判別部８２は、ステップＳ４０３にて算出した輝度値の平均値が、乾燥の場合に対応する第１所定値以下であるか否かを判断する（ステップＳ４０６）。乾燥の場合は路面は濃いグレーであることが多いから最も反射が少なく、画像は比較的暗いはずである。判別部８２は、ステップＳ４０６にて輝度値（平均値）は第１所定値以下であると判断した場合（Ｓ４０６：ＹＥＳ）、路面状況を乾燥と判別し（ステップＳ４０７）、処理を終了する。

判別部８２は、ステップＳ４０６にて輝度値（平均値）は第１所定値よりも大きいと判断した場合（Ｓ４０６：ＮＯ）、第１所定値よりも大きい値である第２所定値以下であるか否かを判断する（ステップＳ４０８）。判別部８２は、輝度値（平均値）は第２所定値以下であると判断した場合（Ｓ４０８：ＹＥＳ）、路面状況を湿潤と判別し（ステップＳ４０９）、処理を終了する。路面状況が湿潤の場合、乾燥の場合よりも路面への光は水分によって反射するから、画像は比較的明るいはずである。

判別部８２は、ステップＳ４０８にて第２所定値よりも大きいと判断した場合（Ｓ４０８：ＮＯ）、輝度値（平均値）が第２所定値よりも更に大きい値である第３所定値以下であるか否かを判断する（ステップＳ４１０）。判別部８２は、第３所定値以下であると判断した場合（Ｓ４１０：ＹＥＳ）、ステップＳ４０５で取得した路面摩擦係数μに基づいて、タイヤは滑り易いか否かを判断する（ステップＳ４１１）。判別部８２は、タイヤは滑り易いと判断した場合（Ｓ４１１：ＹＥＳ）、路面状況を凍結と判別し（ステップＳ４１２）、処理を終了する。路面状況が凍結の場合、湿潤の場合よりも路面への光は水及び氷によって反射し、画像は比較的更に明るいはずである。

判別部８２は、ステップＳ４１０にて輝度値は第３所定値よりも大きいと判断した場合（Ｓ４１０：ＮＯ）、ステップＳ４０４にて温度センサ５から取得した外気温に基づき、積雪している可能性が高いか否かを判断する（ステップ４１３）。

判別部８２は、ステップＳ４１１にてタイヤは滑りにくいと判断した場合も（Ｓ４１１：ＮＯ）、処理をステップＳ４１３に進め、積雪している可能性が高いか否かを判断する（Ｓ４１３）。積雪の場合でも新雪の場合などは凍結よりも滑りにくい。

判別部８２は、ステップＳ４１３にて積雪している可能性が高いと判断した場合（Ｓ４１３：ＹＥＳ）、路面状況を積雪と判別し（ステップＳ４１４）、処理を終了する。

判別部８２は、ステップＳ４１３にて積雪している可能性が低いと判断した場合（Ｓ４１３：ＮＯ）、路面状況を不明と判別し（ステップＳ４１５）、処理を終了する。

このように、可視光にて撮像した画像に基づいて路面状況を判別するとしても、可視光波長帯域に感度を有する撮像素子の数を節約することができ、低コストな構成にて路面状況を判別することが可能である。

実施の形態４では、可視光波長帯域に感度を有する撮像素子を用いる構成としたが、実施の形態１における近赤外線波長帯域の撮像素子からの出力値とを合わせて、判別する構成としてもよい。

なお、開示された実施の形態は、全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上述の説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。

１ 路面状況判別装置
１０ 撮像部
１２ 判別部
１３ ラインセンサ（複数の撮像素子）
１４ バンドパスフィルタ
１５ ライト（投光手段）
４ 可視カメラ（撮像手段）
５ 温度センサ
６ μセンサ（スリップセンサ）
７ 遠赤外線イメージセンサ（遠赤外線撮像素子）

Claims (12)

1. 車両に搭載され、複数の撮像素子を用いて路面を撮像し路面状況を判別する路面状況判別装置において、
   前記複数の撮像素子は、前記車両の進行方向に略直交し且つ路面に略平行な方向のライン状に配列されてあること
   を特徴とする路面状況判別装置。
2. 前記複数の撮像素子からの出力値に基づき、１ライン分の画像データを作成する作成手段と、
   前記車両の進行中に、異なるタイミングで路面を撮像した前記複数の撮像素子からの出力値に基づき前記作成手段が作成した複数ライン分の画像データを、前記車両の速度又は進行方向に基づき並べ、２次元画像データを構築する構築手段と
   を備え、
   前記構築手段が構築した２次元画像データに基づき路面状況を判別するようにしてあること
   を特徴とする請求項１に記載の路面状況判別装置。
3. 前記複数の撮像素子が近赤外線波長帯域の内の特定の波長帯域の光を受光するように、夫々に対応するバンドパスフィルタを備えること
   を特徴とする請求項１又は２に記載の路面状況判別装置。
4. 前記バンドパスフィルタは、異なる複数の特定の波長帯域の光に対応するように備えられ、
   前記複数の特定の波長帯域の光夫々に対して前記複数の撮像素子から得られる出力値の比を算出する算出手段を備え、
   該手段が算出した比が、乾燥、湿潤、水膜、凍結又は積雪夫々に対応する比率範囲のいずれに含まれるかによって路面状況を判別するようにしてあること
   を特徴とする請求項３に記載の路面状況判別装置。
5. 前記算出手段は、前記複数の撮像素子の内の特定の一部、又は全部からの各出力値の比の平均値、中央値又は最頻値を算出するようにしてあること
   を特徴とする請求項４に記載の路面状況判別装置。
6. 前記複数の撮像素子は、車両に搭載されているヘッドライトからの光の内の前記複数の特定の波長帯帯域の光を受光するようにしてあること
   を特徴とする請求項３に記載の路面状況判別装置。
7. 前記複数の特定の波長帯域を含む光を投光する投光手段を備え、
   前記複数の撮像素子は、前記投光手段からの光の内の前記複数の特定の波長帯域の光を受光するようにしてあること
   を特徴とする請求項３に記載の路面状況判別装置。
8. 前記複数の撮像素子は複数列に配列されてあり、
   前記複数の撮像素子は列毎に、前記複数の特定の波長帯の光の内、異なる波長帯の光を受光するようにしてあること
   を特徴とする請求項１乃至５のいずれか１つに記載の路面状況判別装置。
9. 可視光波長帯域にて路面を撮像した撮像画像を取得する手段を備え、
   前記複数の撮像素子からの出力値及び前記撮像手段が撮像した画像に基づいて路面状況を判別するようにしてあること
   を特徴とする請求項１乃至８のいずれか１つに記載の路面状況判別装置。
10. 車外温度を測定する温度センサから前記車外温度を取得する手段を備え、
    前記複数の撮像素子からの出力値及び前記車外温度に基づき、路面状況を判別するようにしてあること
    を特徴とする請求項１乃至９のいずれか１つに記載の路面状況判別装置。
11. 前記温度センサは、遠赤外線波長帯域にて撮像する複数の遠赤外線撮像素子を備え、
    該複数の遠赤外線撮像素子は、前記車両の進行方向に略直交し且つ路面に略平行な方向のライン状に配列されてあり、
    前記遠赤外線撮像素子からの出力値に基づき、１ライン分の遠赤外線画像データを作成する手段と、
    前記車両の進行中に、異なるタイミングで路面を撮像した前記遠赤外線撮像素子からの出力値に基づき作成した複数ライン分の遠赤外線画像データを、前記車両の速度又は進行方向に基づき並べ、２次元遠赤外線画像データを構築する手段と
    を備え、
    前記温度センサは、路面の温度分布を測定するようにしてあること
    を特徴とする請求項１０に記載の路面状況判別装置。
12. 路面とタイヤとの間の滑り易さを示す物理量を測定するスリップセンサから前記物理量を取得する手段を備え、
    前記複数の撮像素子からの出力値及び前記スリップセンサが測定した物理量に基づき、路面状況を判別するようにしてあること
    を特徴とする請求項１乃至１１のいずれか１つに記載の路面状況判別装置。

Images