JP2017116506A - 路面検知装置、及び車両自動運転制御システム - Google Patents

Abstract

【課題】凍結によりスリップしやすい場所を精度よく検知すること。【解決手段】移動体に設けられ、路面を撮像する撮像手段と、撮像手段の撮像画像を所定の計算モデルにより分析し、路面状態を検知する路面検知手段と、移動体の外的要因を検知する外的要因検知手段と、を備え、路面検知手段は、外的要因検知手段の検知結果から、所定の計算モデルを変更する。【選択図】図１０

Description

本発明は、路面検知装置、及び車両自動運転制御システムに関する。

天候の影響を受けて発生する交通事故は多い。また、路面凍結によって引き起こされるスリップ事故は、大規模な事故となりやすい。
そのため、車両運転時には天候情報とともに、路面状態も監視する必要がある。
運転者を支援するために、路面からの可視光の偏光反射率の違いや赤外光の反射率の違いを利用した路面検知装置が開発されている。

しかし、その測定精度は必ずしも十分なものとはいえず、特に道路への設置型ではなく、車両への搭載型の場合、技術的なハードルが高い。特に自動運転制御システムでは、車両搭載型の路面検知装置にて天候や路面状態の情報を取得できる必要がある。

前述のように、凍結路面検知機能をもつ車載カメラや設置型カメラは開発されているが、必ずしも測定精度は十分ではない。実際に車両が路上でスリップする条件は複雑であり、正確な検出は容易ではないことが理由である。また、雨天時には雨の影響により、判定が困難になる。
しかし、スリップを防止することは車両搭載型にて必須であり、特に自動運転制御システムでは100％に近い検出精度が必要とされる。

そこで、路面の検出精度を向上させるための技術が種々提案されている（例えば、特許文献１参照。）。
特許文献１に記載の発明は、路面状況の判別を、既存のセンサを用いる低コストの構成で実現し、多くの自動車に搭載させることを目的とするものである。具体的には、路面検知装置は、ABS（Antilock Brake System）機能に用いられるμセンサから出力される路面摩擦係数μに基づき、路面の状況が乾燥か、湿潤か、凍結か、積雪かを判別する処理を行なう。路面検知装置は、路面摩擦係数μに加え、可視カメラ及び温度センサ、又は遠赤外線カメラから出力される情報をも加味して判別処理を行なうものである。

ところで、路面に凍結面が存在しているとき、凍結面の上に水分がほぼなければ、凍結していないときと比べてタイヤと路面との間の摩擦係数（スリップのしやすさ）はそれほど大きく変化しない。

しかし、凍結面の上に水分が存在した場合は、路面とタイヤとの間の摩擦係数は大きく変化する。これは、氷とタイヤとの間に水が存在するため、ハイドロプレーニング現象と同じ状況になるためである。

よって、路面が凍結面だけなのか、それとも表面に水分が存在しているのかを精度よく見極める必要がある。

ここで、偏光カメラだけでも、偏光比から水面か氷面かを判別することは可能である。しかし、水＋氷なのか氷のみなのか、氷のみ水のみのときは計算モデルを1層として計算し、水＋氷のときは2層として計算する必要がある。

尚、氷の上に水が存在する状況は、タイヤから車両の重量により氷に圧力がかかる場合、雨が降ることにより生じる場合、氷が所定の温度以上の外気温により溶けて生じる場合、の３つが主に考えられる。

上述した特許文献１に記載の発明では、路面の検出精度について改善の余地がある。
そこで、本発明の目的は、凍結によりスリップしやすい場所を精度よく検知することにある。

上記課題を解決するため、請求項１に記載の発明は、移動体に設けられ、路面を撮像する撮像手段と、前記撮像手段の撮像画像を所定の計算モデルにより分析し、路面状態を検知する路面検知手段と、前記移動体の外的要因を検知する外的要因検知手段と、を備え、前記路面検知手段は、前記外的要因検知手段の検知結果から、前記所定の計算モデルを変更することを特徴とする。

本発明によれば、凍結によりスリップしやすい場所を精度よく検知することができる。

（ａ）は、入射対象が単層であって、路面に光が斜め入射する場合の断面模式図であり、（ｂ）は、入射対象が２層であって、路面に光が斜め入射する場合の断面模式図である。 アスファルト面として表面にピラミッド状の凸構造が配置された面に光を入射させた場合の反射光の方向を示すシミュレーションによる模式図である。 アスファルト面の上側に水面が配置された面にP偏光を入射させた場合の反射光の方向を示す模式図である。 アスファルト面の上側に水面が配置された面にS偏光を入射させた場合の反射光の方向を示す模式図である。 路面状態に対する鏡面反射率（正反射成分）と偏光比との関係を示す図である。 （ａ）は、スリップ発生に影響する３要因を示す概念模式図と路面検知装置を含む車両自動運転制御システムのハードウェアブロック図の一例、（ｂ）は、スリップ発生指数計算システムの一例、（ｃ）は、路面検知装置を含む車両自動運転制御システムの機能ブロック図の一例である。 （ａ）は、本発明の実施例１におけるカメラの撮像素子パッケージの断面模式図の一例であり、（ｂ）は、（ａ）に示した撮像素子パッケージを用いた偏光カメラ3の概念図である。 （ａ）は、ボンディングワイヤーを用いた樹脂パッケージの一例を示す平面図であり、（ｂ）は、（ａ）のVIIIb-VIIIb線断面図であり、（ｃ）は、（ａ）のVIIIc-VIIIc線断面図である。 （ａ）は、混在型偏光フィルタの表面模式図であり、（ｂ）は、（ａ）に示した混在型偏光フィルタに用いられるオンチップマイクロレンズの模式図である。 図６（ａ）に示した車両１の動作を示すフローチャートの一例である。

＜概要＞
本発明は、路面検知装置に関する発明であり、雨滴をカメラの検知結果に基づいて、偏光画像の計算モデルを変えることを特徴とする。これにより、路面の凍結状態を精度よく検知することができる。

本発明では、路面の氷または水を検知する偏光撮影手段としての偏光カメラと、雨滴または温度を検知する外的要因検知手段の一つとしての検知装置と、を備え、検知装置の結果に基づいて、偏光カメラの計算モデルを切り替えることを特徴とする。
例えば、偏光カメラが前方に凍結場所があると検知した場合に、さらに雨滴カメラが所定の値以上の雨を検知した場合、氷の上に水があると推定し、計算モデルを１層用ではなく２層用に切換えて再計算する。

尚、雨滴検出履歴を残すことで、雨滴を検出した直後に計算モデルを切り替えるのではなく、積算した雨滴検出量から計算モデルを切り替えることで、より氷の上に水があるか否かを精度よく判断することができる。
例えば、偏光カメラが前方に凍結場所があると検知した場合、外的要因検知手段の一つとしての温度センサでの検知結果が5℃であったとき、表面が溶け出して氷の上に水があると推定し、計算モデルを１層用ではなく２層用に切換えて再計算する。
また、偏光カメラが前方にあるのは水だと検知しているときに、温度センサの検知結果が−5℃等所定の温度以下であるとき、前方にあるのは水＋氷だと判断して、計算モデルを切り替えて再計算する。

また、後半のスリップ発生指数（ある所定の値以上のとき、スリップしやすい場所だとドライバーまたは自動運転制御部に通知する）の算出に用いるタイヤの摩擦係数は、事前にタイヤの種類・劣化状態を計測し、制御装置等に手動で入力される。

尚、劣化状態は、車検時のとき等にチェックして数値化して入力されることを想定しているが、タイヤの交換タイミングを検知し、その時からの走行距離情報からタイヤの劣化具合を自動で算出する形式でも構わない。

＜実施の形態＞
偏光カメラでは、偏光反射率が対象物によって異なることを利用して、対象物が何であるかを判定する。反射光が１種類の物質からの反射光である場合には、偏光反射率の違いをもとに判定するため、検出が容易である。
しかし、反射光が複層からの反射光によって成り立つ場合には複数層が存在することを前提にした計算式を用いる必要がある。複数層からの反射光となる場合は、主に水膜が存在する場合である。

[路面の反射状況]
ここで図１（ａ）、（ｂ）を参照して反射が生じる対象が単層からなる場合と2層になる場合とについて計算モデルを参照して説明する。
図１（ａ）は、入射対象が単層であって、路面に光が斜め入射する場合の断面模式図であり、図１（ｂ）は、入射対象が2層であって、路面に光が斜め入射する場合の断面模式図である。

P偏光の反射率RpとS偏光の反射率Rsとは、各々の振幅反射係数rp、rsを用いて以下の数式(1)、(2)のように表される。
Rp ＝ |rp|² …（1）
Rs ＝ |rs|² …（2）

図１（ａ）に示す入射対象が単層から成る場合には、数式(1)及び数式(2)をそのまま利用できる。振幅反射係数rp,rsは反射する物質の屈折率及び入射角に依存する。

図１（ｂ）に示す2層では、反射光を足し合わせることにより、反射率Rpは以下の数式(3)で近似され、反射率Rsは以下の数式(4)で近似される。
Rp＝ r01,p＋r12,p×exp(−2iβ)] / [1 ＋ r01,p×r12×exp(−2iβ)]
…（3）
Rs＝ r01,s＋r12,s×exp(−2iβ)] / [1 ＋ r01,s×r12×exp(−2iβ)]
…（4）

ここで、r01,pは1層目の反射光のP偏光成分であり、r01,sはS偏光成分である。r12は光が1層目から2層目に入射した際の反射光である。2層目からの反射光はt01×t10×ｒ12×exp(-2iβ)であり、t01は0層目（空気層）から1層目に入射した場合の透過率、t10は1層目から2層目に透過した場合の透過率である。

図１（ｂ）では2層目は完全に反射するとしたが、さらに3層目以上を仮定した場合にも計算可能である。これらの計算モデルとしての数式(1)〜(4)を場合分けして利用していくことでは路面状態の判別が容易となる。雨天時には、少なくとも1層目として水面を仮定することが妥当であり、これは雨滴検出センシングの結果をフィードバックすることで可能となる。

[アスファルト面の反射状況]
図２は、アスファルト面として表面にピラミッド状の凸構造が配置された面に光を入射させた場合の反射光の方向を示すシミュレーションによる模式図である。

シミュレーションでは、光源は単波長選定（550nm）とした。アスファルト成分のみに凹凸（10°のピラミッド配列体）が形成されている面を仮定各層でフレネル損失を仮定して偏光依存性を反映した。入射角は水のブリュースター角53°とした。

光源出射後、及び受光器手前に直線偏光子（0°もしくは90°）を設けることで、P偏光とS偏光とを分離した結果、アスファルト面へのS偏光入射では正反射成分が強いが、凹凸によって、53°ではない角度に反射される。

一方、P偏光入射では、表面に凹凸があると、P偏光成分と、S偏光成分とが異なる方向に同程度に反射される。
以上より、アスファルト表面に光を入射した場合に、偏光比が発生し、反射光の方向に特徴があることが分かる。

図３は、アスファルト面の上側に水面が配置された面にP偏光を入射させた場合の反射光の方向を示す模式図である。
図４は、アスファルト面の上側に水面が配置された面にS偏光を入射させた場合の反射光の方向を示す模式図である。

シミュレーションでは、光源は単波長選定（550nm）とし、入射角は水のブリュースター角53°とした。光源から出射後、及び受光器手前に直線偏光子（0°もしくは90°）を設けることで、P偏光とS偏光とを分離した結果、P偏光入射では、水面下に光は入射し、アスファルト面でも透過し、その内部で吸収される。
S偏光入射では、水面で光は入射し、そのまま受光される。以上より、アスファルト面に水膜が存在する場合においては、比較的大きい偏光比が発生する。

また、水と氷とは、可視光領域では屈折率がほぼ同様であり、例えば波長589nmでは水の屈折率は1.333（20℃）であり、氷の屈折率は1.309（0℃）である。従って、シミュレーション上では判別は困難である。

しかし、自然界では、氷の内部に気泡が存在し、S偏光を散乱させる効果が発生し、水面よりも偏光比が低下することが分かっている。

＜鏡面反射率偏光比特性＞
図５は、路面状態に対する鏡面反射率（正反射成分）と偏光比との関係を示す図である。
図５において、横軸は鏡面反射率（正反射成分）を示し、縦軸は偏光比を示す。

基本的に路面状態が1層からなる場合には、これらの関係から表面状態を判別可能である。

以上より、雨天時に路面等に水が存在することが明らかな場合には、水の存在をあらかじめ仮定し、2層以上の物質からの反射光として計算した方が路面状況の判定精度が高まる。
特に水面の下に氷面が存在する場合は、水面に近い偏光比、光学特性でありながら、偏光比が低下するため、判別が容易である。また、雨天でない場合には、アスファルト面に対して1層での計算値を求めることが可能であり、それとの違いによって、水面、凍結面等を判別することが可能となる。

凍結路面を発見することと、実際にスリップしやすいか否かとは異なる点があり、判断を誤る要因となる。路面が凍結しており、さらに路面の表面に薄い水膜が存在している場合、気温が-10〜3℃でスリップしやすい等、スリップ発生の条件は容易には表現できない。

＜車両のスリップ、及び路面検知装置等＞
図６（ａ）、（ｂ）、（ｃ）を参照して車両のスリップ、路面検知装置等について述べる。
図６（ａ）は、スリップ発生に影響する３要因を示す概念模式図と路面検知装置を含む車両自動運転制御システムのハードウェアブロック図の一例である。図６（ｂ）は、スリップ発生指数計算システムの一例、図６（ｃ）は、路面検知装置を含む車両自動運転制御システムの機能ブロック図の一例である。

ここで、運行している車両が実際にスリップするか否かは、大きく３要件に左右される。
図６（ａ）に示す、影響要因(1)一点目は、天候である。晴天、曇り、雨天等の天候にも影響を受け、気温、気温変化率の影響も受ける。

影響要因(2)二点目は路面状況である。タイヤ2と接触する材質、路面に発生している氷の厚み、氷の上の水膜の厚み等であり、数値としてはタイヤ2と接する面の摩擦係数である。これは運行場所により傾向がある。

影響要因(3)三点目は、車両の運行状態である。車両の速度、加速度のほか、タイヤ2の種類、タイヤ2の磨耗具合はタイヤ2の摩擦係数に影響する。
尚、影響要因(1)、(2)は外的要因であり、影響要因(3)は内的要因である。

以下の数式(5)によりスリップ発生指数を計算する。これはスリップのしやすさを示す値である。以下は経験則に従い求められたスリップ発生指数を求める式である。

スリップ発生指数＝a/（(T−b）/b）＋dT/dt＋c×v＋d×dv/dt＋e/μ₁＋f/μ₂
…（5）

ここでTは温度（℃）、dT/dtは温度変化、vは速度、dv/dtは加速度、μ₁はタイヤの摩擦係数、μ₂は路面の摩擦係数をそれぞれ示す。
温度Tは温度センサ28によって測定される。速度、加速度は加速度センサ29によって測定される。タイヤ2の摩擦係数は、実測のほか、走行距離からの計算値を用いてもよい。路面の摩擦係数は、画像認識システムによって取得される画像から計算される。a〜fは比例係数である。晴天、曇り、雨天等の天候状況はこの比例定数に反映される。

雨の降り始めにおいては、水面が発生するまでに多少時間にずれがあり、その影響もこれらの比例定数に反映される。
路面の摩擦係数に関しては、前方視認画像において、偏光度画像から凍結路面の発生を検知可能である。ここでは偏光反射率が凍結路面と、通常の路面では異なることを利用する。また、雨滴検出の履歴が凍結路面上に水膜が存在するかの判定を支援する。

本実施形態にかかる路面検知装置は、運転者の瞬時の判断を要する気温0℃近傍での走行時のほか、自動運転時の人口知能の判断に貢献するものである。

次に、路面検知装置を含む車両自動運転制御システムについて述べる。
（車両のハードウェアブロック図）
図６（ａ）に示す車両1は、例えば電気自動車の場合を示し、偏光カメラ3、レーダ4、表示操作部5、GPS6、HDD7、操舵用モータ8、LED9、各種センサ10、CPU11、ROM12、RAM13、走行用モータ14、及びポンプ15を有する。尚、バッテリー、ヘッドライト、テールランプ、ウィンカー、ABS、エアバック駆動装置、シートベルト装着検知装置、ETC（ノンストップ自動料金支払いシステム。））、ドライブレコーダ、及びワイパー等は省略されている。ETCは、Electronic Toll Collection Systemの略である。

偏光カメラ3は運行中の車両1のフロントガラス20越しに見える前方の車両、人物、路面状況、雨、霧、その他の物体を撮影し電気信号に変換する装置である。

レーダ4は、運行中の車両1の前方の車両、人物、その他の物体との衝突をさけるため、距離、速度、加速度を検出する装置であり、例えばミリ波レーダもしくは赤外線レーダが用いられる。

表示操作部5は、車両1の運転者が自動運転を行うための入力手段であり、目的地、乗車人数、走行ルート、到着予定時刻、オーディオ設定、ビデオ設定、バッテリー残量等を表示する装置であり、例えばタッチパネルが挙げられる。

GPSは、Global Positioning System （全地球測位システム）の略である。GPS6は、車両1の現在位置を検知する装置である。

HDDはHard Disk Driveの略であり、HDD7は、ナビゲーションシステム用の地図データ、路面状況データ、走行履歴等を記憶する装置である。

操舵用モータ8は、ステアリングを回転駆動してピニオンギヤ及びラックギヤを駆動することにより、車両1の舵取りをするためのモータである。

LEDはLight Emitting Diodeの略であり、LED9は、雨滴に光を照射して反射光を検出することで雨滴を検出するための雨滴検出用の光源22である。

各種センサ10は、温度センサ、内的要因検知手段の一つとしての加速度センサ、内的要因検知手段の一つとしての速度センサを含む。

CPUは、Central Processing Unitの略である。CPU11は、車両自動運転制御システムを統括制御する素子である。

ROMは、Read Only Memoryの略である。ROM12は制御プログラムを記憶する素子であり、例えばマスクROMが挙げられる。

RAMは、Random Access Memoryの略である。RAM13はROM12から読み出された制御プログラムを一時的に格納する素子であり、例えばフラッシュメモリが挙げられる。

走行用モータ14は、車両1の駆動輪としての前輪、後輪もしくは全輪を回転駆動するモータである。

ポンプ15は、油圧ブレーキを作動させるためのポンプであり、回生制動するとともに用いられる。

＜スリップ発生指数計算システム＞
図６（ｂ）に示すスリップ発生指数計算システムは、光源22、偏光カメラ3、雨滴検出履歴メモリ25、画面認識システム（路面摩擦係数計算）26、スリップ発生指数計算システム27、温度センサ28、及び加速度センサ29を有する。

路面からの光L1がフロントガラス20を通過して偏光カメラ3に入射する。フロントガラス20の内側にはフロントガラス20の外側に付着した付着物としての雨滴21に光を照射する光源22が配置されている。偏光カメラ3で撮影された画像データと、温度センサ28からのデータ及び加速度センサ29からのデータから画像認識システム26で路面摩擦係数が計算され、スリップ発生指数計算システム27に送られる。雨滴検出履歴メモリ25で雨滴検出履歴が記録される。
雨滴検出履歴メモリ25には、現在及び運転開始後の雨滴検出情報の他、GPS6によって受信した、10時間前からのその位置での天候情報が記録される。また、雨滴検出量の時間変化も記録される。

[車両の機能ブロック図]
図６（ｃ）に示す車両は、路面検知装置30、停止手段40、位置検知手段41、加速度判別手段42、速度検知手段43、走行手段44、道路判別手段45、操舵手段46、制御手段38、及び電波探知手段47を有する。

路面検知装置30は、付着物検知手段としての雨滴付着検知手段31、凍結路面検知手段32、発光手段33、前方視認手段34、撮影手段35、算出手段36、演算手段37、及び制御手段38を有する。

外的要因検知手段の一つであり、天候取得手段としての雨滴付着検知手段31は、車両1のフロントガラス20への雨滴21の付着を検知する手段であり、図６（ａ）の各種センサ10によって実現される。
凍結路面検知手段32は、凍結路面を検知する手段であり、図６（ａ）の偏光カメラ3、CPU11、ROM12、及びRAM13によって実現される。

発光手段33は、図６（ａ）のLED9によって実現される。
前方視認手段34は、車両1の前方を視認して車両や人物等を監視する手段であり、図６（ａ）に示した偏光カメラ3、CPU11、ROM12、及びRAM13によって実現される。

撮影手段35は、車両1の前方を撮影する手段であり、図６（ａ）に示した偏光カメラ3によって実現される。
算出手段36は、外気温、天候、車両速度、車両加速度、タイヤの摩擦係数、及びタイヤ２に接する面の摩擦係数を加えてスリップ発生指数を算出する手段であり、図６（ａ）に示した、各種センサ10、CPU11、ROM12、及びRAM13によって実現される。

演算手段37は、雨滴付着検知手段31による検出結果を凍結路面検知手段32にフィードバックし、凍結路面検知結果に反映させる手段であり、図６（ａ）に示したCPU11、ROM12、及びRAM13によって実現される。

停止手段40は、車両1を停止させる手段であり、図６（ａ）のポンプ15、回生制動させるための走行用モータ14、CPU11、ROM12、及びRAM13によって実現される。
位置検知手段41は、車両1の位置を検知する手段であり、図６（ａ）に示したGPS6によって実現される。

加速度判別手段42は、車両1の加速度を判別する手段であり、図６（ａ）の各種センサ10によって実現される。

速度検知手段43は、図６（ａ）の各種センサ10によって実現される。
走行手段44は、車両1を走行させるための手段であって、図６（ａ）に示した走行用モータ14によって実現される。
道路判別手段45は、車両1を自動運転する場合の道路に沿って目的地まで正常に走行しているか否かを判別する手段であって、図６（ａ）に示した偏光カメラ3、CPU11、ROM12、RAM13、及びHDD7によって実現される。
操舵手段46は、車両1を自動運転する場合のステアリングを舵取りする手段であり、図６（ａ）に示した操舵用モータ8によって実現される。

電波探知手段47は、走行中の車両1の前方の人物の進入を、電波を用いて検知する手段であり、図６（ａ）に示したレーダ4によって実現される。

実施例１は、スリップ発生指数計算システムを備えたシステムである。
図６を参照して説明する。
本実施例に用いられる偏光カメラ3では、フロントガラス20の近傍に、雨滴21の付着をセンシングするカメラモジュール24が配置されている。このカメラモジュール24は、フロントガラス20の雨滴21の付着検知機能を備えた前方視認用カメラモジュールである。

車両1は、前方を偏光カメラ画像により監視できるとともに、ワイパーを自動制御する機能を有し、前方視認では偏光度画像を用いて凍結路面を検知する。
前方を視認する機能に関しては、汎用的な偏光カメラと同じように画像観察によって前方の安全を確認するためのものであるが、偏光成分を利用するため、凍結路面を検知可能である。

人・障害物、車線等を検知し、場合によっては警告を促す機能をもっても構わない。雨滴付着のセンシングに関しては、波長800〜950nm程度の近赤外レーザ光、または発光ダイオード（LED）光を用いる。また、光源22はアレイ化しており、多数の光源を用いて検出する。

本実施例では波長950nmのLEDアレイ光を用いた。通常時は、LED光はフロントガラス20を透過し、雨滴付着時はLED光が反射される。LED光が反射されるか、もしくは反射されないことによる受光のオンオフを利用して雨滴の有無を検知する仕組みになっている。

雨滴発生状況を記録することにより、凍結路面がスリップしやすいか否かの情報を高精度にすることができる。例えば、現在雨滴が検出される状況では凍結路面はスリップしやすく、また、現在は雨滴が検出されなくとも数時間前までに雨滴が検出された状況では凍結路面はスリップしやすい。このため、雨滴情報を検出することは、単にワイパー制御に活かせるだけでなく、凍結路面によるスリップ発生確率を向上させる効果がある。

図７（ａ）は、本発明の実施例１における偏光カメラの撮像素子パッケージの断面模式図の一例であり、図７（ｂ）は、図７（ａ）に示した撮像素子パッケージを用いた偏光カメラ23の概念図である。図８（ａ）は、ボンディングワイヤーを用いた樹脂パッケージの一例を示す平面図であり、図８（ｂ）は、図８（ａ）のVIIIb-VIIIb線断面図であり、図８（ｃ）は、図８（ａ）のVIIIc-VIIIc線断面図である。

図７（ａ）に示す撮像素子パッケージ102において、インターポーザ57の上に撮像素子55がダイボンド剤58でダイボンドされ、インターポーザ57と撮像素子55とがボンディングワイヤー51で接続されている。撮像素子55の撮像素子受光部59上に、混在型偏光フィルタ55が底面に貼り付けられたガラス板52が接着剤層53で所定の間隔を隔てて固定されている。インターポーザ57上のワイヤボンドを保護するためインターポーザ57とガラス板52との間が封止材56で封止されている。
撮影素子パッケージ102の混在型偏光フィルタ55が形成されている面と逆側の面には、反射防止膜が形成されていてもよい。
撮影素子パッケージ102の封止材56は樹脂が用いられるが、セラミックでもよい。

偏光カメラ23は、図７（ｂ）に示すように、主に、撮像レンズ101と、撮像素子パッケージ102と、信号処理部103と、を有するカメラである。偏光カメラ23において、被検物からの光は、撮像レンズ101を通り、ガラス板52を透過して撮像素子105で電気信号に変換される。信号処理部103には撮像素子パッケージ102から出力される電気信号が入力される。信号処理部103は、この電気信号を処理して、輝度情報、分光情報、偏光情報、又は位相情報等の画像信号を生成する。撮像装置100は、信号処理部103で生成した画像信号であるデジタル信号を、後続の出力機器へ出力する。この偏光カメラ23によれば、輝度情報に加え、偏光、分光、位相情報等の他の情報を取得することが可能となる。尚、104は撮像素子を支持する撮像素子支持基板である。

図８（ａ）に示す撮像素子パッケージは、受光部A（59a）、受光部B（59b）、及び受光部C（59c）を有する。受光部A（59a）はフィルタが無く、受光部B（59b）は混在型偏光フィルタを有し、受光部C（59c）は選択光学機能構造を有する。

図８（ｂ）、（ｃ）に示すように撮像素子基板64の両側に撮像素子側支持体62を介して接着剤層53でガラス板52が固定されている。ガラス板52の底面には受光部A（59a）に対応する混在型偏光フィルタYが形成され、ガラス板52の他の底面には受光部B（59b）に対応する選択光学機能構造63が形成されている。選択光学機能構造63は光学的多層膜を有する。

撮像素子受光部59で受光した情報は電気信号に変換され、ボンディングワイヤー、及びインターポーザ57を介して回路基板に伝達される。

図９（ａ）は、混在型偏光フィルタの表面模式図であり、図９（ｂ）は、図９（ａ）に示した混在型偏光フィルタに用いられるオンチップマイクロレンズの模式図である。
混在型偏光フィルタ54は、図９（ａ）に示す横方向ワイヤグリッド54aと縦方向ワイヤグリッド54bとが画素ごとに配置されるようになったものであり、透過する直線偏光は互いに90°偏光方向が異なる。
図９（ｂ）に示すようにガラス板52の底面にワイヤグリッド素子を形成した。
図９（ａ）、（ｂ）に示すように、ワイヤグリッド素子とオンチップマイクロレンズ54cとは等間隔にて配置しており、本実施例では6μm間隔とした。
受光部A（59a）は、前方の輝度画像と偏光度画像を取得可能である他、それらを重畳させた画像も取得可能である。受光する全波長領域の輝度情報を取得する領域である。

本実施例では、偏光子としてワイヤグリッド素子を用いたが、多層膜による一次元フォトニック結晶を用いて混在型偏光フィルタを形成してもほぼ同様の効果を示すことを確認した。ワイヤグリッドを用いた場合の方が広い波長領域にて偏光分離機能を示すため、カラー撮像素子にも対応できる利点がある。

撮像素子55の受光部には、最上層にマイクロレンズアレイが形成されており、他の領域よりも高さが高くなるため、周辺部には有機膜が枠状に形成されており、マイクロレンズアレイと同等の高さになっている。この有機膜上に接着剤を塗布し、ガラス板52と接着する。接着剤層53の厚みを約5μm、幅を約80μmとし、ほぼ均一にして接着することが可能である。接着剤を撮像素子側支持体62に塗布後、照度10mW/cm²にて積算エネルギー6000mJ/cm²となる紫外線を照射することにより硬化した。また、熱養生として80℃、30分の加熱工程を加えた。

接着剤は紫外線硬化型の他、熱硬化型、紫外線硬化の後に熱硬化を行うタイプ等を利用できる。また、接着時はシート状とし、熱により接着力を示す熱硬化性のものも利用できる。アクリル樹脂、エポキシ樹脂、シリコーン系等材料の種類の他、充填剤の有無は問わない。

実施例１と同様に、取得したパラメータデータを合わせて解析する際の解析アルゴリズムとして、まず気温が一定温度以上であるか否かを判定基準とした。例えば、20℃程度の気温では氷が発生することはほぼなく、−10℃では氷が発生する頻度が高いためである。これは水の融点0℃に従うが、その基準温度は環境によって異なることがあり、経験則から5℃とした。

実施例１にて図７に示す撮像素子パッケージにてCSP（chip sized package）を採用し、回路基板全体の軽量化を図った。これにより、図６に示す、凍結路面検知機能を備えたカメラモジュールを軽量化した。

実施例１にて、画素サイズを2μmとし、それに併せて混在型偏光フィルタ54のピッチも2μmとしてより高解像度とした。

本発明は実施例１〜４に限定されず、凍結検知機能を備えたカメラモジュールをもとに観測した凍結路面の摩擦係数やタイヤの摩擦係数の摩擦係数情報、気温、気温変化、天候（晴天、雨天、雪天「せってん」）等の天候情報、及び走行情報（車両の速度、加速度）を用いればよい。

[動作]
図１０は、図６（ａ）に示した車両１の動作を示すフローチャートの一例である。
動作の主体は、CPU11である。ユーザが車両1の表示操作部5に目的地を入力すると（ステップS1）、車両1は走行を開始し、目的地に到着したか否かを判断する（ステップS2）。

目的地に到着した場合には終了し（ステップS2/YES）、到着していない場合には走行を継続し（ステップS2/NO）、凍結面が有るか否かを判断する（ステップS3）。
凍結面が有ると判断した場合（ステップS3/YES）、路面、すなわち凍結面上に水分が有るか否かを判断する（ステップS4）。
凍結面上に水分が有ると判断した場合（ステップS4/YES）、フロントガラス20に水分が無くなるまでワイパーを作動させる（ステップS5）。

氷及び水の厚さは所定の厚さ以下か否かを判断し（ステップS6）、所定の厚さ以下でない場合（ステップS6/NO）、外気温が最高凍結温度（例えば5℃）より高いか否かを判断する（ステップS6）。
外気温が最低凍結温度（例えば、−5℃）より低いか否かを判断し（ステップS8）、外気温が最低凍結温度より低い場合（ステップS8/YES）、２層の反射率を計算する（ステップS9）。

ここで、温度センサ28は車両1のボディ底面に取付けられており、直接路面に取付けられているわけではない。外気温は温度センサ28で検出された温度であって、走行状態によって誤差が生じ、実際の路面の温度とは異なることが考えられる。そこで、誤差の範囲を考慮して最高凍結温度及び最低凍結温度を設定した。

２層の反射率を計算した後、２層の反射率に見合った速度に減速して走行を継続し、ステップS2に戻る（ステップS10）。

凍結路面上に水分が無いと判断した場合（ステップS4/NO）、単層の反射率を計算し（ステップS11）、単層の反射率に見合った速度に減速して走行を継続し（ステップS12）、ステップS2に戻る。

凍結路面が無い場合（ステップS3/NO）、氷及び水の厚さが所定の厚さ以下の場合（ステップS6/YES）、外気温が最高凍結温度より高い場合（ステップS7/YES）、外気温が最低凍結温度より高い場合（ステップS8/NO）、ステップS2に戻る。

＜作用効果＞
以上、本実施形態によれば撮影画像に対して、雨滴検出結果をもとにした計算を行うため、検出精度が高いという効果がある。
従来の撮像システムは、対象物が何であるかを判定するのみで、水膜で覆われた場合には検出精度が低い。これは、水膜が存在する場合と存在しない場合を区別せずに計算しているためである。例えば、従来例としては偏光カメラを用いて前方視認画像を取得するシステムや、それに雨滴付着検出機能を加え、多機能を持たせたシステムが存在する。
しかし、そのような機能は互いに独立に働くのみであり、機能の足し合わせとなっている。

本発明では、雨滴付着情報をもとに異なる計算式を用いる。例えば、雨天時には検出対象には水膜が存在している。氷面上に水膜が存在する場合や、白線上に水膜が存在する場合などは、通常の画像では水計算が困難になり、水面下の物体が何であるかを判定しにくくなるが、水膜が存在することを前提にした光学モデルを用いれば、対象物の検出精度を高めることができる。
そのため、雨滴付着検出は、ワイパーを自動制御するという基本機能に加え、前方視認による検出精度を高めるという効果を奏する。

前方視認のみによる凍結路面検知では水面と氷面の区別が困難であり、水と氷が2層になっている場合には判定制度が低いが、雨滴付着検知機能の結果をフィードバックすることで、雨天時の判定結果を向上させる。雨滴付着検知機能をもつことで、車両のフロントガラスへの雨滴付着検知結果を元に車両のワイパーを自動制御することを可能とする効果に加え、凍結路面検知情報と併せることで、スリップ発生有無の判断を支援するという効果を奏する。

天候情報も含めてスリップ発生指数を元に凍結路面の有無を判定するため、高精度に運転者に警告する機能をもつ。また、自動運転制御システムでは、スリップ発生指数をもとにした条件で運行が可能となり、より安全な走行が実現するという効果を奏する。

タイヤの摩擦係数を直接計測しなくても推定値を用いることができるという効果を奏する。
混在型偏光フィルタによって偏光情報から凍結路面情報を取得することができる。
混在型偏光フィルタによって偏光情報を取得するが、ワイヤグリッド素子を用いることで高コントラスト、高透過率の画像を取得することが可能である。また、平板型光学素子となることから比較的厚みが小さく、クロストークの物理的発生を低減することができる。

混在型偏光フィルタによって偏光情報を取得するが、一次元フォトニック結晶を用いることにより高コントラスト、高透過率の画像を取得することが可能である。
選択的光学機能構造に光が透過するか否かによって雨滴の付着を検知し、その履歴をスリップ発生指数の計算に反映する。
選択的光学機能構造に光が透過するかによって雨滴の付着を検知するが、多層膜を用いることで高精度の検知を可能とする。
無反射構造を用いることで、透過率特性を向上させることができる。
廉価に作製可能である。

尚、上述した実施の形態は、本発明の好適な実施の形態の一例を示すものであり、本発明はそれに限定されることなく、その要旨を逸脱しない範囲内において、種々変形実施が可能である。例えば、上述の説明では、自動運転制御システムにおいて、電気自動車の場合について説明したが、本発明ではこれに限定されず、ハイブリッド車、燃料電池車、ガソリンエンジン車、ディーゼルエンジン車にも適用可能である。また、本発明は自動車に限定されず、路面を移動する移動体であれば適用可能である。

上述の実施の形態では、偏光カメラを用いた実施の形態について説明したが、路面上の氷面または水面を検知可能であり、氷＋水面なのか、氷面または水面のみなのかを検知するために計算モデルを切り替える方式のカメラであればよく、本発明は種々のカメラに適用可能である。また、天候情報は、移動体が備えたGPS等から移動体の位置を算出し、インターネット等のネットワークから天候情報を取得してもよい。

１ 車両
２ タイヤ
３ 偏光カメラ
４ レーダ
５ 表示操作部
６ ＧＰＳ
７ ＨＤＤ
８ 操舵用モータ
９ ＬＥＤ
１０ 各種センサ
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
１４ 走行用モータ
１５ ポンプ
２０ フロントガラス
２１ 雨滴
２２ 光源
２４ カメラモジュール
２５ 雨滴検出履歴メモリ
２６ 画像認識システム
２７ スリップ発生指数計算システム
２８ 温度センサ
２９ 加速度センサ
３０ 路面検知装置
３１ 雨滴付着検知手段
３２ 凍結路面検知手段
３３ 発光手段
３４ 前方視認手段
３５ 撮影手段
３６ 算出手段
３７ 演算手段
３８ 制御手段
４０ 停止手段
４１ 位置検知手段
４２ 加速度判別手段
４３ 速度検知手段
４４ 走行手段
４５ 道路判別手段
４６ 操舵手段
４７ 電波探知手段
５１ ボンディングワイヤー
５２ ガラス板
５３ 接着剤層
５４ 混在型偏光フィルタ
５４ａ 横方向ワイヤグリッド
５４ｂ 縦方向ワイヤグリッド
５５ 撮像素子
５６ 封止材
５７ インターポーザ
５８ ダイボンド剤
５９ 撮像素子受光部
１００ 撮像装置
１０１ 撮像レンズ
１０２ 撮像素子パッケージ
１０３ 信号処理部
１０４ 撮像素子支持基板
１０５ 撮像素子

特開２０１０−１６３１３１号公報

Claims (9)

1. 移動体に設けられ、路面を撮像する撮像手段と、
   前記撮像手段の撮像画像を所定の計算モデルにより分析し、路面状態を検知する路面検知手段と、
   前記移動体の外的要因を検知する外的要因検知手段と、
   を備え、
   前記路面検知手段は、前記外的要因検知手段の検知結果から、前記所定の計算モデルを変更することを特徴とする路面検知装置。
2. 請求項１に記載の路面検知装置であって、
   前記外的要因検知手段は、移動体表面に付着した付着物を検知する付着物検知手段を含み、
   前記路面検知手段は、前記付着物検知手段が付着物を検知した場合に、前記所定の計算モデルを変更することを特徴とする路面検知装置。
3. 請求項１または請求項２に記載の路面検知装置であって、
   前記外的要因検知手段は、前記移動体の周囲の温度を検知する温度検知手段を含み、
   前記路面検知手段は、前記温度検知手段が検知した温度が所定の閾値より上回っている場合に、前記所定の計算モデルを変更することを特徴とする路面検知装置。
4. 請求項１乃至３のいずれか一項に記載の路面検知装置であって、
   前記外的要因検知手段は、前記移動体の位置情報から前記移動体の周囲の天候情報を取得する天候取得手段を含み、
   前記路面検知手段は、前記天候取得手段から前記移動体の周囲が雨または雪を含む場合に、前記所定の計算モデルを変更することを特徴とする路面検知装置。
5. 請求項１乃至４のいずれか一項に記載の路面検知装置であって、
   前記撮像手段は、偏光カメラであることを特徴とする路面検知装置。
6. 請求項１乃至５のいずれか一項に記載の路面検知装置であって、
   前記移動体の内的要因を検知する内的要因検知手段と、
   前記路面検知装置の検知結果および内的要因検知手段の検知結果から、前記移動体が路面を移動するときのスリップ発生指数を算出する算出手段と、
   を備えることを特徴とする路面検知装置。
7. 請求項６に記載の路面検知装置であって、
   前記内的要因検知手段は、前記移動体の速度を検知する速度検知手段と、前記移動体の加速度を検知する加速度検知手段と、を含み、
   前記算出手段は、前記外的要因検知手段から前記移動体周囲の気温及び天候の少なくとも１つと、前記内的要因検知手段から該移動体の速度および加速度の少なくとも１つと、該移動体が路面に接する面の摩擦係数と、からスリップ発生指数を算出することを特徴とする路面検知装置。
8. 請求項７に記載の路面検知装置であって、
   前記算出手段は、前記移動体の走行距離を取得し、前記移動体が路面に接着する面の摩擦係数を、前記移動体が有する路面に接する部材の種類および該走行距離から算出することを特徴とする路面検知装置。
9. 請求項１乃至８のいずれか一項に記載の路面検知装置を用いた車両自動運転制御システムであって、
   スリップ発生指数を運転制御に反映することを特徴とする車両自動運転制御システム。