JP2015197358A - 路面状態検知システム - Google Patents

Abstract

【課題】単一の撮像系を用いて光学特性の異なる複数の画像信号を同時に取得し、その複数の画像信号に基づいて路面状態を検知する。
【解決手段】実施形態に係る路面状態検知システム１は、レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系Ｌと、レンズ光学系Ｌを透過した光が入射する少なくとも２つの撮像領域を有する撮像素子Ｎと、レンズ光学系Ｌと撮像素子Ｎとの間に配置され、少なくとも２つの光学領域の各光学領域を通過した光を、各光学領域に対応した少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子Ｋとを有する撮像装置１０であって、各光学領域を通過した光の情報を有し、各撮像領域から取得される複数の画像信号を出力する撮像装置１０と、複数の画像信号に基づいて路面状態を検知する検知部２０とを備える。
【選択図】図２

Description

本開示は、路面の状態を検知する路面状態検知システムに関する。

自動車等が走行する路面をカメラで撮影し、路面の乾燥状態と湿潤状態（水濡れ、凍結等）を検知する装置が提案されている（例えば、特許文献１）。

特許文献１では、カメラの前に偏光素子を配置し、その偏光素子を回転させることにより、偏光方向が互いに直交する２種類の光に対応した２種類の画像信号を交互に取得する。

路面を構成するアスファルトのような粗面では、光はほぼ全面乱反射することから、路面が乾燥状態のときには、水平偏光成分と垂直偏光成分の反射光レベルはほとんど同じになる。このため、水平偏光成分から得られた画像の濃度データと垂直偏光成分から得られた画像の濃度データとの差は小さくなる。

一方、路面が湿潤状態のときには、水が存在する部分（水濡れ、凍結等の部分）では、水平偏光（Ｐ偏光）成分は全て透過し、その下にあるアスファルト面で吸収、反射される。このため、路面からの反射光は垂直偏光（Ｓ偏光）成分が大部分となり、水平偏光成分から得られた画像の濃度データと垂直偏光成分から得られた画像の濃度データとの差は大きくなる。

このように、水平偏光成分から得られた画像の濃度データと垂直偏光成分から得られた画像の濃度データとの差を演算することにより、路面の乾燥状態および湿潤状態を検知することができる。

特開平２−１６１３３７号公報

本開示は、使い勝手を向上させた路面状態検知システムを提供する。

本開示の一態様に係る路面状態検知システムは、レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、レンズ光学系と撮像素子との間に配置され、少なくとも２つの光学領域の各光学領域を通過した光を、各光学領域に対応した少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、各光学領域を通過した光の情報を有し、各撮像領域から取得される複数の画像信号を出力する撮像装置と、複数の画像信号に基づいて、路面状態を検知する検知部とを備える。

本開示の一態様に係るコンピュータプログラムは、路面状態を検知する処理をコンピュータに実行させるコンピュータプログラムであって、コンピュータプログラムは、レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、レンズ光学系と撮像素子との間に配置され、少なくとも２つの光学領域の各光学領域を通過した光を、各光学領域に対応した少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、各光学領域を通過した光の情報を有する複数の画像信号を入力するステップと、複数の画像信号に基づいて、路面状態を検知するステップとをコンピュータに実行させる。

本開示の一態様に係る路面状態検知システムによれば、単一の撮像系を用いて光学特性の異なる複数の画像信号を同時に取得し、その複数の画像信号に基づいて路面状態を検知することができる。

実施形態に係る路面状態検知システムを示す図である。 実施形態に係る撮像装置を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係るアレイ状光学素子を示す図である。 （ａ）は実施形態に係るアレイ状光学素子および撮像素子を拡大して示す図であり、（ｂ）は実施形態に係るアレイ状光学素子と撮像素子上の画素との位置関係を示す図である。 実施形態に係る検知部の処理を示すフローチャートである。 実施形態に係るカラーフィルタを示す図である。 実施形態に係る分光フィルタを示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係るアレイ状光学素子を示す図である。 実施形態に係るアレイ状光学素子および撮像素子を拡大して示す図である。 実施形態に係るアレイ状光学素子と撮像素子上の画素との位置関係を示す図である。 実施形態に係るカラーフィルタを示す図である。 実施形態に係る分光フィルタを示す図である。 実施形態に係る路面状態検知システムを示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る水および氷の光の透過率を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る光学素子を示す図である。 実施形態に係る車両を示す図である。 実施形態に係る電柱を示す図である。

本開示の一態様の概要は以下のとおりである。

本開示の一態様に係る路面状態検知システムは、レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、レンズ光学系と撮像素子との間に配置され、少なくとも２つの光学領域の各光学領域を通過した光を、各光学領域に対応した少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、各光学領域を通過した光の情報を有し、各撮像領域から取得される複数の画像信号を出力する撮像装置と、複数の画像信号に基づいて、路面状態を検知する検知部とを備える。

例えば、少なくとも２つの光学領域は、第１の偏光軸の方向に偏光した光を主に透過する特性を有する第１の光学領域と、第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する第２の光学領域とを備え、少なくとも２つの撮像領域は、第１の光学領域を通過した光が入射する第１の撮像領域と、第２の光学領域を通過した光が入射する第２の撮像領域とを備え、第１の撮像領域は、第１の偏光軸の方向に偏光した光に対応する第１の画像信号を生成し、第２の撮像領域は、第２の偏光軸の方向に偏光した光に対応する第２の画像信号を生成し、検知部は、第１の画像信号と第２の画像信号とに基づいて、路面状態を検知してもよい。

例えば、検知部は、第１の画像信号から得られる輝度と、第２の画像信号から得られる輝度との大小関係に基づいて、路面状態が乾燥状態であるか湿潤状態であるかを検知してもよい。

例えば、少なくとも２つの光学領域は、第１の偏光軸の方向に偏光した光を主に透過する特性を有する第１の光学領域と、第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する第２の光学領域と、第１および第２の偏光軸とは異なる第３の偏光軸の方向に偏光した光を主に透過する特性を有する第３の光学領域と、第１、第２および第３の偏光軸とは異なる第４の偏光軸の方向に偏光した光を主に透過する特性を有する第４の光学領域とを備え、少なくとも２つの撮像領域は、第１の光学領域を通過した光が入射する第１の撮像領域と、第２の光学領域を通過した光が入射する第２の撮像領域と、第３の光学領域を通過した光が入射する第３の撮像領域と、第４の光学領域を通過した光が入射する第４の撮像領域とを備え、第１の撮像領域は、第１の偏光軸の方向に偏光した光に対応する第１の画像信号を生成し、第２の撮像領域は、第２の偏光軸の方向に偏光した光に対応する第２の画像信号を生成し、第３の撮像領域は、第３の偏光軸の方向に偏光した光に対応する第３の画像信号を生成し、第４の撮像領域は、第４の偏光軸の方向に偏光した光に対応する第４の画像信号を生成し、検知部は、第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号に基づいて、路面状態を検知してもよい。

例えば、撮像装置を複数個備え、複数の撮像装置は、第１の撮像装置および第２の撮像装置を含み、第１の撮像装置の少なくとも２つの光学領域は、第１の偏光軸の方向に偏光した光を主に透過する特性を有する第１の光学領域と、第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する第２の光学領域とを備え、第２の撮像装置の少なくとも２つの光学領域は、第１および第２の偏光軸とは異なる第３の偏光軸の方向に偏光した光を主に透過する特性を有する第３の光学領域と、第１、第２および第３の偏光軸とは異なる第４の偏光軸の方向に偏光した光を主に透過する特性を有する第４の光学領域とを備え、第１の撮像装置の少なくとも２つの撮像領域は、第１の光学領域を通過した光が入射する第１の撮像領域と、第２の光学領域を通過した光が入射する第２の撮像領域とを備え、第２の撮像装置の少なくとも２つの撮像領域は、第３の光学領域を通過した光が入射する第３の撮像領域と、第４の光学領域を通過した光が入射する第４の撮像領域とを備え、第１の撮像領域は、第１の偏光軸の方向に偏光した光に対応する第１の画像信号を生成し、第２の撮像領域は、第２の偏光軸の方向に偏光した光に対応する第２の画像信号を生成し、第３の撮像領域は、第３の偏光軸の方向に偏光した光に対応する第３の画像信号を生成し、第４の撮像領域は、第４の偏光軸の方向に偏光した光に対応する第４の画像信号を生成し、検知部は、第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号に基づいて、路面状態を検知してもよい。

例えば、検知部は、第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号から得られる輝度同士の大小関係に基づいて、路面状態が乾燥状態であるか湿潤状態であるかを検知してもよい。

例えば、少なくとも２つの光学領域は、第１の偏光軸の方向に偏光した第１の波長の光を主に透過する特性を有する第１の光学領域と、第１の偏光軸の方向に偏光し、第１の波長とは異なる第２の波長の光を主に透過する特性を有する第２の光学領域と、第１の偏光軸とは異なる第２の偏光軸の方向に偏光した第２の波長の光を主に透過する特性を有する第３の光学領域と、第２の偏光軸の方向に偏光した第１の波長の光を主に透過する特性を有する第４の光学領域とを備え、少なくとも２つの撮像領域は、第１の光学領域を通過した光が入射する第１の撮像領域と、第２の光学領域を通過した光が入射する第２の撮像領域と、第３の光学領域を通過した光が入射する第３の撮像領域と、第４の光学領域を通過した光が入射する第４の撮像領域とを備え、第１の撮像領域は、第１の偏光軸の方向に偏光した第１の波長の光に対応する第１の画像信号を生成し、第２の撮像領域は、第１の偏光軸の方向に偏光した第２の波長の光に対応する第２の画像信号を生成し、第３の撮像領域は、第２の偏光軸の方向に偏光した第２の波長の光に対応する第３の画像信号を生成し、第４の撮像領域は、第２の偏光軸の方向に偏光した第１の波長の光に対応する第４の画像信号を生成し、検知部は、第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号に基づいて、路面状態が乾燥状態であるか湿潤状態であるかを検知し、検知部は、第１および第４の画像信号のうちの少なくとも一方と、第２および第３の画像信号のうちの少なくとも一方とに基づいて、路面の水の状態が液相状態であるか固相状態であるかを検知してもよい。

例えば、撮像装置を複数個備え、複数の撮像装置は、第１の撮像装置および第２の撮像装置を含み、第１の撮像装置が出力した複数の画像信号の少なくとも１つの画像信号と、第２の撮像装置が出力した複数の画像信号の少なくとも１つの画像信号との間の視差に基づいて、被写体までの距離を測定する測距部をさらに備えてもよい。

本開示の一態様に係る車両は、上記のいずれかに記載の路面状態検知システムを備える。

本開示の一態様に係るコンピュータプログラムは、路面状態を検知する処理をコンピュータに実行させるコンピュータプログラムであって、コンピュータプログラムは、レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、レンズ光学系と撮像素子との間に配置され、少なくとも２つの光学領域の各光学領域を通過した光を、各光学領域に対応した少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、各光学領域を通過した光の情報を有する複数の画像信号を入力するステップと、複数の画像信号に基づいて、路面状態を検知するステップとをコンピュータに実行させる。

以下、実施形態に係る路面状態検知システムを、図面を参照しながら説明する。

（実施形態１）
図１は、実施形態１に係る路面状態検知システム１を示す図である。路面状態検知システム１は、例えば車両に搭載され、車両が走行する路面を撮影してその路面状態を検知する。路面状態検知システム１は、撮像装置１０と検知部２０を備える。検知部２０は、画像処理部２１と、演算部２２と、判定部２３とを備える。

撮像装置１０は、単一の撮像素子を用いて光学特性の異なる複数の画像信号を同時に生成して出力する。検知部２０は、撮像装置１０が出力した複数の画像信号に基づいて路面状態を検知する。例えば、検知部２０は、路面状態が乾燥状態と湿潤状態のいずれであるかを検知して、外部機器へ出力する。外部機器は、例えば車両に搭載された表示装置や駆動力制御装置等であり、路面状態をユーザへ報知したり、路面状態に応じた駆動力の制御を行ったりする。

検知部２０は、撮像装置１０内に設けられていてもよい。また、検知部２０は、車内のカーナビゲーションシステム（不図示）等の装置内に設けられていてもよい。この場合、撮像装置１０とカーナビゲーションシステムとの間で、有線または無線の通信が双方向で行われる。検知部２０は、例えばマイクロコンピュータによって実現される。検知部２０は、ハードウェアのみで実現されてもよいし、ハードウェアとソフトウェアとを組み合わせることにより実現されてもよい。

次に、図２から図６を参照して、撮像装置１０の構成の一例を説明する。図２は、撮像装置１０を示す模式図である。撮像装置１０は、Ｖを光軸とするレンズ光学系Ｌと、レンズ光学系Ｌの焦点近傍に配置されたアレイ状光学素子Ｋと、撮像素子Ｎとを備える。撮像素子Ｎは、例えばＣＭＯＳセンサやＣＣＤセンサである。

レンズ光学系Ｌは、レンズＬ１、絞りＳおよび光学素子Ｌ２を含む。被写体（不図示）から入射した光束Ｂの光線方向は、レンズＬ１により屈曲され、絞りＳで不要な光線が排除される。レンズＬ１は、一枚のレンズで構成されていてもよいし、複数枚のレンズ（レンズ群）で構成されていてもよい。光学素子Ｌ２は、絞りＳの近傍に配置される。なお、絞りＳは、光学素子Ｌ２の被写体側ではなく、光学素子Ｌ２の撮像素子Ｎ側に配置されてもよいし、レンズ光学系Ｌに配置されていなくてもよい。また、絞りＳおよび光学素子Ｌ２は、レンズＬ１よりも被写体側に配置されていてもよいし、レンズＬ１の内部に配置されていてもよい。

図３は、光学素子Ｌ２を被写体側から見た正面図である。光学素子Ｌ２の光学領域Ｄ１およびＤ２は、光軸Ｖに垂直な平面を２つに分割した領域である。光学領域Ｄ１およびＤ２は等しい面積を有しているが、異なっていてもよい。破線は、絞りＳの位置を示している。また、矢印Ｈは、撮像装置１０が使用されるときの水平方向を示している。

図４は、本実施形態の光学領域Ｄ１およびＤ２の光学特性を示している。図４に示すように光学領域は２分割されている。光学領域Ｄ１は、第１の偏光軸の方向（例えば、水平方向）に偏光した光を主に透過する第１の偏光特性を有し、光学領域Ｄ２は、第１の偏光軸の方向と直交した第２の偏光軸の方向（例えば、垂直方向）に偏光した光を主に透過する第２の偏光特性を有する。光学領域Ｄ１およびＤ２は、光の偏光方向が互いに直交した偏光フィルタによって形成され得る。

図５は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光軸Ｖに垂直な面内で横方向に細長い複数の光学要素Ｍ１が縦方向に配置されている。それぞれの光学要素Ｍ１の断面（縦方向の断面）は、撮像素子Ｎ側に突出した円弧状の形状を有している。このように、アレイ状光学素子Ｋはレンチキュラレンズの構成を有している。

図６（ａ）は、アレイ状光学素子Ｋおよび撮像素子Ｎを拡大して示す図であり、図１６（ｂ）は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、光学要素Ｍ１が形成された面が撮像面Ｎｉ側に向かうように配置されている。撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは画素Ｐ１およびＰ２に区別できる。

画素Ｐ１は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ１は１つおきに配置されている。また、画素Ｐ２は、横方向（行方向）に１行に並んで配置されている。縦方向（列方向）において、画素Ｐ２は１つおきに配置されている。画素Ｐ１の行と画素Ｐ２の行は、縦方向（列方向）に交互に配置されている。

アレイ状光学素子Ｋは、その光学要素Ｍ１の１つが、撮像面Ｎｉ上における１行の画素Ｐ１および１行の画素Ｐ２からなる２行の画素に対応するように配置されている。撮像面Ｎｉ上には、画素Ｐ１およびＰ２の表面を覆うようにマイクロレンズＭｓが設けられている。

アレイ状光学素子Ｋは、光学素子Ｌ２の光学領域Ｄ１（図４）を通過した光束Ｂ１（図６において実線で示される光束）の大部分が、撮像面Ｎｉ上の画素Ｐ１に到達し、光学領域Ｄ２を通過した光束Ｂ２（図６において破線で示される光束）の大部分が、撮像面Ｎｉ上の画素Ｐ２に到達するように設計されている。具体的には、アレイ状光学素子Ｋの屈折率、撮像面Ｎｉからの距離および光学要素Ｍ１表面の曲率半径等のパラメータを適切に設定することで、上記構成が実現する。

上記特性が得られれば、アレイ状光学素子Ｋのレンチキュラーレンズの突出した円弧状の形状は撮像素子Ｎ面と反対側にあってもよく、両方にあってもよい。また、図６では、撮像素子Ｎと独立して構成されているが、一体となっていてもよい。

図６（ｂ）において、画素Ｐ１の群は第１の撮像領域を形成し、画素Ｐ２の群は第２の撮像領域を形成する。画素Ｐ１の群である第１の撮像領域は、第１の偏光特性を示す光の情報を有する第１の画像信号Ｉ１を生成する。画素Ｐ２の群である第２の撮像領域は、第２の偏光特性を示す光の情報を有する第２の画像信号Ｉ２を生成する。

撮像装置１０は、第１の偏光特性を示す光の情報を有する第１の画像信号Ｉ１と、第２の偏光特性を示す光の情報を有する第２の画像信号Ｉ２とを検知部２０（図１）へ出力する。

図１を参照して、検知部２０は、画像処理部２１と、演算部２２と、判定部２３とを備える。図７は、検知部２０の処理を示すフローチャートである。画像処理部２１は、第１の画像信号Ｉ１および第２の画像信号Ｉ２を入力する（ステップＳ１０１）。画像処理部２１は、第１および第２の画像信号Ｉ１およびＩ２における被写体（路面）の同じ部分に対応する画像情報（輝度情報等）をそれぞれ抽出し、演算部２２に出力する（ステップＳ１０２）。演算部２２は、第１の画像信号Ｉ１に対応する輝度Ｘ１と第２の画像信号Ｉ２に対応する輝度Ｘ２との差分を演算し、演算結果である差分値を判定部２３へ出力する（ステップＳ１０３）。判定部２３は、差分値が閾値以上であるか否かを判定する（ステップＳ１０４）。差分値が閾値以上である場合、判定部２３は、路面状態が湿潤状態であると判定し、その判定結果を外部装置へ出力する（ステップＳ１０５）。差分値が閾値未満である場合は、判定部２３は、路面状態が乾燥状態であると判定し、その判定結果を外部装置へ出力する（ステップＳ１０６）。

上述したように、路面を構成するアスファルトのような粗面では、光はほぼ全面乱反射することから、路面が乾燥状態のときには、水平偏光成分と垂直偏光成分の反射光レベルはほとんど同じになる。このため、水平偏光成分から得られた画像の輝度と垂直偏光成分から得られた画像の輝度との差は小さくなる。一方、路面が湿潤状態のとき、水が存在する部分（水濡れ、凍結等の部分）では、水平偏光（Ｐ偏光）成分は全て透過し、その下にあるアスファルト面で吸収、反射される。このため、路面からの反射光は垂直偏光（Ｓ偏光）成分が大部分となり、水平偏光成分から得られた画像の輝度と垂直偏光成分から得られた画像の輝度との差は大きくなる。このため、第１の画像信号Ｉ１に対応する輝度Ｘ１と第２の画像信号Ｉ２に対応する輝度Ｘ２との差分を演算することにより、路面状態が湿潤状態であるか乾燥状態であるかを判定することができる。

また、被写体（路面）の複数の部分に対応するそれぞれの画像に対して、順次上記の処理を行うことにより、路面のどの部分が湿潤状態であり、どの部分が乾燥状態にあるのかを検知することができる。

また、環境光が様々な方向に存在する場合には、最大値画像と最小値画像とを生成し、それらの差分を演算してもよい。最大値画像とは、第１の画像信号Ｉ１および第２の画像信号Ｉ２における画像位置情報（画像上の座標）が対応する２つの画素（以下、「対応画素対」と呼ぶ）のうち輝度値が大きい方を最大値として対応画素対ごとに（画像上の座標ごとに）選択することによって生成される画像である。最小値画像とは、第１の画像信号Ｉ１および第２の画像信号Ｉ２における対応画素対のうち輝度値が小さい方を最小値として対応画素対ごとに選択することによって生成される画像である。

外乱光の強度や偏光状態、被写体の状態によっては、光学素子Ｌ２の光学領域Ｄ１（図４）を通過する光と光学領域Ｄ２を通過する光との間で、光成分が逆転する場合がある。この逆転現象は、被写体の部分、すなわち画素ごとに生じ得る。このため、第１の画像信号Ｉ１および第２の画像信号Ｉ２の対応画素ごとに輝度値を比較し、輝度値の小さい画素のみを集めた最小値画像と、輝度値の大きい画素のみを集めた最大値画像とを生成する。これら生成した最大値画像と最小値画像との差分を演算することにより、ロバスト性を向上させることができる。

なお、上記の処理では、第１の画像信号Ｉ１と第２の画像信号Ｉ２との間で減算を行っていたが、偏光比や偏光度を演算し、その演算結果に基づいて路面状態を検知してもよい。偏光比および偏光度は、例えば以下の式により演算することができる。
（偏光比）＝Ｉ１／Ｉ２
（偏光度）＝（Ｉ１−Ｉ２）／（Ｉ１＋Ｉ２）

また、上記の偏光比、偏光度の演算式以外の演算を行ってもよい。

また、最大値画像Ｉｍａｘと最小値画像Ｉｍｉｎとの比画像や度合い画像を生成し、それらの画像に基づいて路面状態を検知してもよい。比画像および度合い画像は、例えば以下の式により演算することができる。
（比画像）＝Ｉｍａｘ／Ｉｍｉｎ
（度合い画像）＝（Ｉｍａｘ−Ｉｍｉｎ）／（Ｉｍａｘ＋Ｉｍｉｎ）

また、上記の比画像、度合い画像の演算式以外の演算を行ってもよい。

また、撮像装置１０は、モノクロ撮像装置であってもよいし、カラー撮像装置であってもよい。カラー撮像装置である場合は、例えば図８に示すようなカラーフィルタ３１が撮像素子Ｎの画素Ｐ１およびＰ２に対応して配置されていてもよい。この例では、カラーフィルタ３１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の領域を複数有し、それぞれが１つの画素に対応付けられる。カラー情報も取得することにより、路面と他の物体との区別や、白線や黄線などの区画線や道路標示の区別が容易になり、路面状態の検知の精度をより高くすることができる。

例えば、積雪（非圧雪）状態では、反射光が散乱されるので、偏光情報と輝度情報と色情報とを合わせて用いることにより、路面状態を精度良く検知することができる。また、例えば、偏光情報の差分値が小さく、輝度が高く、彩度が低く、輝度の差が小さい領域であって、白線のような特徴的な形状でない領域を、積雪（非圧雪）状態と検知してもよい。

また、撮像装置１０は、図９に示すようなフィルタ３２を備えていてもよい。４種類の領域ｓ１、ｓ２、ｓ３、ｓ４にはそれぞれ異なる波長の光を透過させる特性が割り当てられている。例えば、４種類の領域ｓ１、ｓ２、ｓ３、ｓ４には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、ＩＲ（近赤外）が割り当てられてもよい。また、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｇ（黄緑）が割り当てられてもよい。このように４波長の分光フィルタを用いることにより、より多くの情報に基づいた処理が可能となる。

本実施形態の路面状態検知システム１では、単一の撮像系を用いて偏光特性の異なる複数の画像信号を同時に取得し、その複数の画像信号に基づいて路面状態を検知する。特許文献１の方法では、偏光素子を回転させることにより、偏光方向が互いに直交する２種類の光に対応した２種類の画像信号を交互に取得している。しかし、この方法では、水平偏光成分から得られる画像と垂直偏光成分から得られる画像との間にはタイムラグが発生する。２種類の画像信号の取得タイミングが異なることになるため、被写体が変化した場合は、別の被写体を撮影した画像信号になってしまうという課題がある。特に、車両に搭載されたときは、車両の移動に応じて撮影位置が刻々と変化するので、別の被写体を撮影した画像信号になってしまう。そのため、路面状態を精度良く検知することは困難となる。また、偏光素子を回転運動させる機構が必要であるため、装置が大掛かりになるとともに、保守、整備にもコストが掛かる。

一方、本実施形態の路面状態検知システム１では、単一の撮像系を用いて偏光特性の異なる複数の画像信号を同時に取得する。このため、タイムラグが発生せず、同じ撮影位置の複数の画像信号を用いることができるので、路面状態を精度良く検知することができる。また、偏光素子を回転運動させる機構は不要であり、シンプルな構成且つ低コストで路面状態の検知を実現することができる。

また、複数のカメラを使用する場合と比較して、本実施形態では単一の撮像系を用いるため、視差の少ない画像を得ることができ、より精度良く路面状態を検知することができる。

（実施形態２）
次に、実施形態２に係る路面状態検知システム１を説明する。図１０は、本実施形態に係る光学素子Ｌ２を被写体側から見た正面図である。光学素子Ｌ２の光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４は、光軸Ｖに垂直な平面を、光軸Ｖと交わる２本の直線によって４つに分割した領域である。２本の直線は、光軸Ｖに垂直な平面において、互いに垂直に交わっている。光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４は、等しい面積を有しているが、異なっていてもよい。

図１１は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示している。本実施形態の撮像装置１０のレンズ光学系Ｌは、図１１に示す透過偏光特性を有する複数の光学領域を含んでいる。

光学領域Ｄ１は、第１の偏光軸の方向に偏光した光を主に透過する特性を有する。光学領域Ｄ２は、第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する。光学領域Ｄ３は、第１および第２の偏光軸とは異なる第３の偏光軸の方向に偏光した光を主に透過する特性を有する。光学領域Ｄ４は、第１、第２および第３の偏光軸とは異なる第４の偏光軸の方向に偏光した光を主に透過する特性を有する。

この例では、第１の偏光軸の方向と第３の偏光軸の方向とは互いに直交している。また、第２の偏光軸の方向と第４の偏光軸の方向とは互いに直交している。また、第１および第３の偏光軸の方向に対して、第２および第４の偏光軸の方向は４５度傾いている。光学領域Ｄ１からＤ４は、光の偏光方向が互いに異なる偏光フィルタによって形成され得る。

図１２は、アレイ状光学素子Ｋの斜視図である。アレイ状光学素子Ｋにおける撮像素子Ｎ側の面には、光学要素Ｍ２が格子状に配置されている。それぞれの光学要素Ｍ２の断面（縦方向および横方向それぞれの断面）は撮像素子Ｎ側に突出した円弧状の形状であり、それぞれの光学要素Ｍ２は、撮像素子Ｎ側に突出している。このように、光学要素Ｍ２はマイクロレンズであり、アレイ状光学素子Ｋは、マイクロレンズアレイとなっている。

図１３は、アレイ状光学素子Ｋと撮像素子Ｎとを拡大して示す図であり、図１４は、アレイ状光学素子Ｋと撮像素子Ｎ上の画素との位置関係を示す図である。アレイ状光学素子Ｋは、レンズ光学系Ｌの焦点近傍に配置されており、かつ撮像面Ｎｉから所定の距離だけ離れた位置に配置されている。また、アレイ状光学素子Ｋは、光学要素Ｍ２が形成された面が撮像面Ｎｉ側を向くように配置されている。

撮像面Ｎｉには、画素Ｐが行列状に配置されている。画素Ｐは、画素Ｐ１、Ｐ２、Ｐ３およびＰ４に区別できる。画素Ｐ１、Ｐ２、Ｐ３およびＰ４はそれぞれ、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４を通過した光の大部分が入射する画素である。画素Ｐ１の群は第１の撮像領域を形成し、画素Ｐ２の群は第２の撮像領域を形成し、画素Ｐ３の群は第３の撮像領域を形成し、画素Ｐ４の群は第４の撮像領域を形成する。

アレイ状光学素子Ｋは、光学領域Ｄ１を通過した光を、光学領域Ｄ１に対応した第１の撮像領域内の画素Ｐ１に入射させ、光学領域Ｄ２を通過した光を、光学領域Ｄ２に対応した第２の撮像領域内の画素Ｐ２に入射させ、光学領域Ｄ３を通過した光を、光学領域Ｄ３に対応した第３の撮像領域内の画素Ｐ３に入射させ、光学領域Ｄ４を通過した光を、光学領域Ｄ４に対応した第４の撮像領域内の画素Ｐ４に入射させる。

撮像面Ｎｉには、単位領域Ｍ２Ｉが、縦方向および横方向に複数配置されている。それぞれの単位領域Ｍ２Ｉには、２行２列の画素Ｐ１〜Ｐ４から構成される４つの画素が設けられている。撮像面Ｎｉにおける１つの単位領域Ｍ２Ｉは、アレイ状光学素子Ｋにおける１つの光学要素Ｍ２に対応している。撮像面Ｎｉ上には、画素Ｐ１、Ｐ２、Ｐ３およびＰ４の表面を覆うようにマイクロレンズＭｓが設けられている。

同じ単位領域Ｍ２Ｉ内に配置される画素Ｐ１、Ｐ２、Ｐ３、Ｐ４には、被写体における同じ部分からの光が入射する。

上記特性が得られれば、アレイ状光学素子Ｋのマイクロレンズアレイの突出した円弧状の形状は撮像素子Ｎ面と反対側にあってもよく、両方にあってもよい。また、撮像素子Ｎと一体となっていてもよい。

撮像素子Ｎは、撮像領域Ｃ１に入射した光の量に応じて第１の画像信号Ｉ１を生成し、第２の撮像領域Ｃ２に入射した光の量に応じて第２の画像信号Ｉ２を生成し、撮像領域Ｃ３に入射した光の量に応じて第３の画像信号Ｉ３を生成し、撮像領域Ｃ４に入射した光の量に応じて第４の画像信号Ｉ４を生成する。

撮像装置１０は、撮像領域Ｃ１、Ｃ２、Ｃ３およびＣ４に対応した第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４をそれぞれ出力する。

なお、この例では、光学領域を４分割しているが、光学領域は５分割以上にされていてもよい。光学領域の構造は、設計仕様等を考慮して適宜決定することができる。

検知部２０の画像処理部２１（図１）は、第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４を入力する。

画像処理部２１は、第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４から最大値画像および最小値画像を生成する。画像処理部２１は、第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４における対応画素のうち輝度値が小さい画素の画像信号を最小値として対応画素対ごとに選択することによって最小値画像Ｉｍｉｎを生成する。画像処理部２１は、第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４における対応画素のうち輝度値が大きい画素の画像信号を最大値として対応画素対ごとに選択することによって最大値画像Ｉｍａｘを生成する。また、対応画素の平均値を演算して平均値画像を生成してもよい。

演算部２２は、最大値画像Ｉｍａｘと最小値画像Ｉｍｉｎとの差分を演算し、演算結果である差分値を判定部２３へ出力する。判定部２３は、差分値が閾値以上であるか否かを判定する。差分値が閾値以上である場合、判定部２３は、路面状態が湿潤状態であると判定し、その判定結果を外部装置へ出力する。差分値が閾値未満である場合は、判定部２３は、路面状態が乾燥状態であると判定し、その判定結果を外部装置へ出力する。

また、最大値画像Ｉｍａｘと最小値画像Ｉｍｉｎとの比画像や度合い画像を生成し、それらの画像に基づいて路面状態を検知してもよい。比画像および度合い画像は、例えば上述した式により演算することができる。

本実施形態では、第１の画像信号Ｉ１、第２の画像信号Ｉ２、第３の画像信号Ｉ３および第４の画像信号Ｉ４から最大値画像Ｉｍａｘおよび最小値画像Ｉｍｉｎを生成し、路面状態の検知に用いる。本実施形態では、４軸の偏光情報を用いて路面状態の検知を行うので、よりロバスト性の高い検知が可能となる。

また、例えば図１５に示すようなカラーフィルタ３３が撮像素子Ｎの画素Ｐ１、Ｐ２、Ｐ３およびＰ４に対応して配置されていてもよい。この例では、カラーフィルタ３１は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の領域を複数有し、それぞれが１つの画素に対応付けられる。また、この例では、Ｒ、Ｇ、Ｂのそれぞれが１つの単位領域Ｍ２Ｉに対応付けられているとも言うことができる。カラー情報も取得することにより、路面と他の物体との区別や、白線と黄線との区別が容易になり、路面状態の検知の精度をより高くすることができる。

例えば、積雪（非圧雪）状態では、反射光が散乱されるので、輝度情報と色情報とを合わせて用いることにより、路面状態を精度良く検知することができる。また、例えば、輝度が高く、彩度が低く、輝度の差が小さい領域であって、白線のような特徴的な形状でない領域を、積雪（非圧雪）状態と検知してもよい。

また、撮像装置１０は、図１６に示すようなフィルタ３２を備えていてもよい。４種類の領域ｓ１、ｓ２、ｓ３、ｓ４にはそれぞれ異なる波長の光を透過させる特性が割り当てられている。例えば、４種類の領域ｓ１、ｓ２、ｓ３、ｓ４には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、ＩＲ（近赤外）が割り当てられてもよい。また、例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青）、Ｇ（黄緑）が割り当てられてもよい。このように４波長の分光フィルタを用いることにより、より多くの情報に基づいた処理が可能となる。

また、夜間に路面状態の検知を行う場合は、車両のヘッドライト等の照明装置を用いることになる。そのような照明装置に水平方向Ｈに対して４５度傾いた偏光方向のフィルタを設け、そのような偏光方向の照明光による反射光を高効率で透過する光学フィルタを撮像装置１０に設けてもよい。対向車も同じ照明装置を備えていた場合、自車と対向車とは対向しているため、対向車の照明光は、水平方向Ｈに対して自車とは反対方向に４５度傾いた偏光となる。このため、対向車の照明光が自車に直接、あるいは反射して照射されても、撮像装置１０の光学フィルタにおける対向車の照明光の透過量は小さいので、ハレーションを低減することができる。この効果で対向車の照明光による人物や区画線や道路標示の消失現象を低減させることもできる。

（実施形態３）
次に、実施形態３に係る路面状態検知システム１を説明する。図１７は、本実施形態に係る路面状態検知システム１を示す図である。実施形態１の路面状態検知システム１（図１）と比較して、本実施形態に係る路面状態検知システム１では、２個の撮像装置１０ａおよび１０ｂを備えるとともに、検知部２０は、測距部２４を備えている。本実施形態に係る路面状態検知システム１では、２個の撮像装置１０ａおよび１０ｂから得られる画像の視差を利用して自装置と被写体との間の距離を測定することができる。

図１８は、撮像装置１０ａが備える光学素子Ｌ２ａと、撮像装置１０ｂが備える光学素子Ｌ２ｂを被写体側から見た正面図である。図１８に示すように、光学素子Ｌ２ａおよびＬ２ｂの光学領域は２分割されている。この光学領域の分割方向は、撮像装置１０ａおよび１０ｂのレンズ中心間の距離である基線長の方向とは異なっている。この例では、光学領域の分割方向は、基線長の方向に対して垂直になっている。これは、視差補正が必要なときのパターンマッチング処理においては、基線長の方向（水平方向）の解像度が高い方が有利であるからである。ただし、必ずしも光学領域の分割方向と基線長の方向は垂直である必要は無い。

また、光学素子Ｌ２ａの光学領域Ｄ１の偏光方向と光学領域Ｄ２の偏光方向とは互いに直交している。光学素子Ｌ２ｂの光学領域Ｄ１の偏光方向と光学領域Ｄ２の偏光方向とは互いに直交している。また、光学素子Ｌ２ａの光学領域Ｄ１およびＤ２の偏光方向に対して、光学素子Ｌ２ｂの光学領域Ｄ１およびＤ２の偏光方向は４５度傾いている。

検知部２０の画像処理部２１には、２個の撮像装置１０ａおよび１０ｂのそれぞれから、画像信号が入力される。画像処理部２１は、撮像装置１０ａの画像信号を用いて最大値画像および最小値画像を生成し、演算部２２はそれらの差分を演算し、演算結果に基づいて判定部２３は路面状態を検知する。また、画像処理部２１は、撮像装置１０ｂの画像信号を用いて最大値画像および最小値画像を生成し、演算部２２はそれらの差分を演算し、演算結果に基づいて判定部２３は路面状態を検知する。このように、撮像装置１０ａおよび１０ｂのそれぞれの画像信号を用いて路面状態を検知することができる。

また、画像処理部２１は、撮像装置１０ａの画像信号と撮像装置１０ｂの画像信号との間の視差を補正し、撮像装置１０ａおよび１０ｂから得られる４つの画像信号を用いて最大値画像および最小値画像を生成してもよい。４軸の偏光情報を用いて路面状態の検知を行うことにより、よりロバスト性の高い検知を行うことができる。

また、最大値画像と最小値画像との比画像や度合い画像を生成し、それらの画像に基づいて路面状態を検知してもよい。比画像および度合い画像は、例えば上述した式により演算することができる。

また、例えば図８に示すようなカラーフィルタ３１が撮像装置１０ａおよび１０ｂに設けられていてもよい。カラー情報も取得することにより、路面と他の物体との区別や、白線や黄線などの区画線や道路標示の区別が容易になり、路面状態の検知の精度をより高くすることができる。

例えば、積雪（非圧雪）状態では、反射光が散乱されるので、偏光情報と輝度情報と色情報とを合わせて用いることにより、路面状態を精度良く検知することができる。また、例えば、偏光情報の差分値が小さく、輝度が高く、彩度が低く、輝度の差が小さい領域であって、白線のような特徴的な形状でない領域を、積雪（非圧雪）状態と検知してもよい。

また、図９に示すようなフィルタ３２が撮像装置１０ａおよび１０ｂに設けられていてもよい。このような４波長の分光フィルタを用いることにより、より多くの情報に基づいた処理が可能となる。

また、夜間に路面状態の検知を行う場合は、車両のヘッドライト等の照明装置を用いることになる。そのような照明装置に水平方向Ｈに対して４５度傾いた偏光方向のフィルタを設け、そのような偏光方向の照明光による反射光を高効率で透過する光学フィルタを撮像装置１０に設けてもよい。これにより、上述したように、ハレーションや、人物や区画線や道路標示の消失現象を低減させることができる。

また、測距を行う場合、画像処理部２１は、撮像装置１０ａの２つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。また、画像処理部２１は、撮像装置１０ｂの２つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。測距部２４は、それら２つの無偏光の画像の間の視差に基づいて、自装置と被写体との間の距離を演算し、得られた距離情報を外部機器へ出力する。

異なる偏光方向の画像同士では、被写体の特定の部分の視差の特定が困難な場合がある。そのため、本実施の形態では、互いに直交する偏光方向に対応した画像信号を合成して無偏光の画像を生成し、無偏光の画像を用いて距離測定を行う。無偏光の画像を用いることで、被写体の特定の部分の視差の特定が容易となり、精度の良い距離測定を行うことができる。

また、光学素子Ｌ２ａおよびＬ２ｂは、図１９に示すような偏光方向の偏光フィルタを備えていてもよい。図１９の例では、光学素子Ｌ２ａの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４は、図１１を用いて説明した光学特性を有している。光学素子Ｌ２ｂの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の偏光方向は、光学素子Ｌ２ａの光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の偏光方向に対して、それぞれ２２．５度傾いた偏光方向になっている。このように、より多くの偏光方向に対応させることで、入射する偏光の取得精度を向上させることができる。

（実施形態４）
次に、実施形態４に係る路面状態検知システム１を説明する。図２０は、本実施形態に係る光学素子Ｌ２を被写体側から見た正面図である。図２０は、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を示している。

光学領域Ｄ１およびＤ４は、第１の偏光軸の方向に偏光した光を主に透過する特性を有する。光学領域Ｄ２およびＤ３は、第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する。また、光学領域Ｄ１およびＤ２は、波長１．４μｍの光を主に透過する特性を有する。光学領域Ｄ３およびＤ４は、波長１．３μｍの光を主に透過する特性を有する。これらの光学特性は、偏光フィルタと分光フィルタとを組み合わせて実現してもよい。また、これらの光学領域を透過した光は、図１４を用いて説明したように、それぞれ対応する画素に入射して受光される。

路面状態が乾燥状態であるか湿潤状態であるかの検知を行う場合、検知部２０は、例えば、光学領域Ｄ１およびＤ２に対応する画像信号を用いて検知を行うことができる。また、検知部２０は、光学領域Ｄ３およびＤ４に対応する画像信号を用いて検知を行ってもよいし、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４に対応する画像信号の全てを用いて検知を行ってもよい。また、光学領域Ｄ１およびＤ４に対応する画像信号の平均値と、光学領域Ｄ２およびＤ３に対応する画像信号の平均値とを用いて検知を行ってもよい。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。

また、本実施形態では、光学領域Ｄ１および／またはＤ２を透過した波長１．４μｍの光に対応する画像信号と、光学領域Ｄ３および／またはＤ４を透過した波長１．３μｍの光に対応する画像信号とを用いることで、路面の水の状態が、液相状態であるか固相状態であるかを検知することができる。

図２１は、水および氷の光の透過率を示す図である。縦軸は透過率、横軸は光の波長を示している。なお、図２１では、水および氷の透過率をそれぞれ１．３μｍで規格化して表示している。波長１．３μｍの光と波長１．４μｍの光とでは、水の透過率４１は大きく異なっていることがわかる。一方、波長１．３μｍの光と波長１．４μｍの光とで、氷の透過率４２の差は小さい。波長１．３μｍの光に対応する画像信号の輝度と、波長１．４μｍの光に対応する画像信号の輝度とを比較することで、路面状態が液相状態であるか固相状態であるかを検知することができる。

検知部２０の演算部２２は、波長１．３μｍの光に対応する画像信号の輝度と、波長１．４μｍの光に対応する画像信号の輝度との差を演算し、判定部２３に出力する。判定部２３は、差分値が閾値以上のときは、路面状態は液相状態であると判定する。また、判定部２３は、差分値が閾値未満のときは、路面状態は固相状態であると判定する。

また、上述したような最大値画像や最小値画像や差分画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。

また、波長１．３μｍの光と波長１．４μｍの光のいずれかに対応する最大値画像や最小値画像や差分画像から路面状態を評価し、路面が凍結しているか否かを判定してもよい。

また、波長の値１．３μｍおよび波長１．４μｍは一例であり、別の波長の光を用いて検知を行ってもよいし、３種類以上の波長の光を用いて検知を行ってもよい。例えば、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４の光学特性を、それぞれ波長１．３μｍ、１．５μｍ、１．４μｍ、１．２μｍの光を主に透過する特性としてもよい。

（実施形態５）
次に、実施形態５に係る路面状態検知システム１を説明する。本実施形態に係る路面状態検知システム１では、２個の撮像装置１０ａおよび１０ｂを備え、自装置と被写体との間の距離を測定することができる。

図２２は、本実施形態の撮像装置１０ａが備える光学素子Ｌ２ａと、撮像装置１０ｂが備える光学素子Ｌ２ｂを被写体側から見た正面図である。光学素子Ｌ２ａの光学特性は、図２０に示す光学特性と同じである。また、光学素子Ｌ２ｂの偏光方向は、光学素子Ｌ２ａの偏光方向に対して４５度傾いている。光学素子Ｌ２ｂの分光特性は、光学素子Ｌ２ａとで同じである。また、これらの光学領域を透過した光は、図１４を用いて説明したように、それぞれ対応する画素に入射して受光される。

路面状態が乾燥状態であるか湿潤状態であるかの検知を行う場合、検知部２０は、例えば、撮像装置１０ａおよび１０ｂの少なくとも一方の光学領域Ｄ１およびＤ２に対応する画像信号を用いて検知を行うことができる。また、検知部２０は、光学領域Ｄ３およびＤ４に対応する画像信号を用いて検知を行ってもよいし、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４に対応する画像信号の全てを用いて検知を行ってもよい。また、光学領域Ｄ１およびＤ４に対応する画像信号の平均値と、光学領域Ｄ２およびＤ３に対応する画像信号の平均値とを用いて検知を行ってもよい。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。これらの処理は、撮像装置１０ａおよび１０ｂの一方の画像信号を用いて行ってもよいし、撮像装置１０ａおよび１０ｂの両方の画像信号を適宜組み合わせて行ってもよい。

また、撮像装置１０ａおよび１０ｂの少なくとも一方の光学領域Ｄ１および／またはＤ２を透過した波長１．４μｍの光に対応する画像信号と、撮像装置１０ａおよび１０ｂの少なくとも一方の光学領域Ｄ３および／またはＤ４を透過した波長１．３μｍの光に対応する画像信号とを用いることで、路面の水の状態が、液相状態であるか固相状態であるかを検知することができる。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。また、波長１．３μｍの光と波長１．４μｍの光のいずれかに対応する最大値画像や最小値画像や差分画像から路面状態を評価し、路面が凍結しているか否かを判定してもよい。これらの処理は、撮像装置１０ａおよび１０ｂの一方の画像信号を用いて行ってもよいし、撮像装置１０ａおよび１０ｂの両方の画像信号を適宜組み合わせて行ってもよい。

また、波長の値１．３μｍおよび１．４μｍは一例であり、別の波長の光を用いて検知を行ってもよいし、３種類以上の波長の光を用いて検知を行ってもよい。

また、撮像装置１０ａおよび１０ｂの両方から得られる波長１．３μｍの光に対応する４つの画像信号から最小値画像を生成するともに、撮像装置１０ａおよび１０ｂの両方から得られる波長１．４μｍの光に対応する４つの画像信号から最小値画像を生成してもよい。この場合、波長１．３μｍの最小値画像と波長１．４μｍの最小値画像の差が大きいときは液相状態と判定し、差が小さいときは固相状態と判定する。また、波長１．３μｍの最小値画像と波長１．４μｍの最小値画像から、比画像、度合い画像を生成して検知を行ってもよい。

また、夜間に路面状態の検知を行う場合は、車両のヘッドライト等の照明装置を用いることになる。そのような照明装置に水平方向Ｈに対して４５度傾いた偏光方向のフィルタを設け、そのような偏光方向の照明光による反射光を高効率で透過する光学フィルタを撮像装置１０ａおよび１０ｂに設けてもよい。これにより、上述したように、ハレーションや、人物や区画線や道路標示の消失現象を低減させることができる。

また、測距を行う場合、画像処理部２１は、撮像装置１０ａの４つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。また、画像処理部２１は、撮像装置１０ｂの４つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。測距部２４は、それら２つの無偏光の画像の間の視差に基づいて、自装置と被写体との間の距離を演算し、得られた距離情報を外部機器へ出力する。

（実施形態６）
次に、実施形態６に係る路面状態検知システム１を説明する。本実施形態に係る路面状態検知システム１では、２個の撮像装置１０ａおよび１０ｂを備え、自装置と被写体との間の距離を測定することができる。

図２３は、本実施形態の撮像装置１０ａが備える光学素子Ｌ２ａと、撮像装置１０ｂが備える光学素子Ｌ２ｂを被写体側から見た正面図である。光学素子Ｌ２ａの光学特性は、図２０に示す光学特性と同様である。光学素子Ｌ２ｂの光学特性は、図４に示す光学特性と同様であるが、撮像装置１０ｂ全体を９０°回転させてある。これらの光学領域を透過した光は、図６および図１４を用いて説明したように、それぞれ対応する画素に入射して受光される。

路面状態が乾燥状態であるか湿潤状態であるかの検知を行う場合、検知部２０は、例えば、撮像装置１０ａおよび１０ｂの少なくとも一方の光学領域Ｄ１およびＤ２に対応する画像信号を用いて検知を行うことができる。また、検知部２０は、撮像装置１０ａの光学領域Ｄ３およびＤ４に対応する画像信号を用いて検知を行ってもよいし、光学領域Ｄ１、Ｄ２、Ｄ３およびＤ４に対応する画像信号の全てを用いて検知を行ってもよい。また、光学領域Ｄ１およびＤ４に対応する画像信号の平均値と、光学領域Ｄ２およびＤ３に対応する画像信号の平均値とを用いて検知を行ってもよい。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。これらの処理は、撮像装置１０ａおよび１０ｂの一方の画像信号を用いて行ってもよいし、撮像装置１０ａおよび１０ｂの両方の画像信号を適宜組み合わせて行ってもよい。

また、撮像装置１０ａの光学領域Ｄ１および／またはＤ２を透過した波長１．４μｍの光に対応する画像信号と、撮像装置１０ａの光学領域Ｄ３および／またはＤ４を透過した波長１．３μｍの光に対応する画像信号とを用いることで、路面の水の状態が、液相状態であるか固相状態であるかを検知することができる。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。また、波長１．３μｍの光と波長１．４μｍの光のいずれかに対応する最大値画像や最小値画像や差分画像から路面状態を評価し、路面が凍結しているか否かを判定してもよい。

また、撮像装置１０ａにおける波長の値１．３μｍおよび１．４μｍは一例であり、別の波長の光を用いて検知を行ってもよいし、３種類以上の波長の光を用いて検知を行ってもよい。

また、撮像装置１０ｂは、モノクロ撮像装置であってもよいし、カラー撮像装置であってもよい。カラー撮像装置である場合は、例えば図８に示すようなカラーフィルタ３１が撮像素子Ｎの画素Ｐ１およびＰ２に対応して配置されていてもよい。また、図９に示すようなフィルタを備えていてもよい。

また、測距を行う場合、画像処理部２１は、撮像装置１０ａの４つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。また、画像処理部２１は、撮像装置１０ｂの２つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。測距部２４は、それら２つの無偏光の画像の間の視差に基づいて、自装置と被写体との間の距離を演算し、得られた距離情報を外部機器へ出力する。

（実施形態７）
次に、実施形態７に係る路面状態検知システム１を説明する。本実施形態に係る路面状態検知システム１では、２個の撮像装置１０ａおよび１０ｂを備え、自装置と被写体との間の距離を測定することができる。

図２４は、本実施形態の撮像装置１０ａが備える光学素子Ｌ２ａと、撮像装置１０ｂが備える光学素子Ｌ２ｂを被写体側から見た正面図である。光学素子Ｌ２ａの光学特性は、図２０に示す光学特性と同様である。光学素子Ｌ２ｂの光学特性は、図１１に示す光学特性と同様である。これらの光学領域を透過した光は、図１４を用いて説明したように、それぞれ対応する画素に入射して受光される。

路面状態が乾燥状態であるか湿潤状態であるかの検知を行う場合、検知部２０は、例えば、撮像装置１０ａおよび１０ｂの少なくとも一方から得られる画像信号を用いて検知を行うことができる。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。これらの処理は、撮像装置１０ａおよび１０ｂの一方の画像信号を用いて行ってもよいし、撮像装置１０ａおよび１０ｂの両方の画像信号を適宜組み合わせて行ってもよい。

また、撮像装置１０ａの光学領域Ｄ１および／またはＤ２を透過した波長１．４μｍの光に対応する画像信号と、撮像装置１０ａの光学領域Ｄ３および／またはＤ４を透過した波長１．３μｍの光に対応する画像信号とを用いることで、路面の水の状態が、液相状態であるか固相状態であるかを検知することができる。また、上述したような最大値画像および最小値画像を生成して検知を行ってもよいし、比画像、度合い画像を用いて検知を行ってもよい。また、それらの画像を組み合わせて検知を行ってもよい。また、波長１．３μｍの光と波長１．４μｍの光のいずれかに対応する最大値画像や差分画像から路面状態を評価し、路面が凍結しているか否かを判定してもよい。

また、撮像装置１０ａにおける波長の値１．３μｍおよび１．４μｍは一例であり、別の波長の光を用いて検知を行ってもよいし、３種類以上の波長の光を用いて検知を行ってもよい。

また、撮像装置１０ｂは、モノクロ撮像装置であってもよいし、カラー撮像装置であってもよい。カラー撮像装置である場合は、例えば図１５に示すようなカラーフィルタ３１が撮像素子Ｎの画素Ｐ１、Ｐ２、Ｐ３およびＰ４に対応して配置されていてもよい。また、図１６に示すようなフィルタを備えていてもよい。

また、夜間に路面状態の検知を行う場合は、車両のヘッドライト等の照明装置を用いることになる。そのような照明装置に水平方向Ｈに対して４５度傾いた偏光方向のフィルタを設け、そのような偏光方向の照明光による反射光を高効率で透過する光学フィルタを撮像装置１０ａおよび１０ｂに設けてもよい。これにより、上述したように、ハレーションや、人物や区画線や道路標示の消失現象を低減させることができる。

また、測距を行う場合、画像処理部２１は、撮像装置１０ａの４つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。また、画像処理部２１は、撮像装置１０ｂの４つの画像信号を合成した無偏光の画像を生成し、測距部２４へ出力する。測距部２４は、それら２つの無偏光の画像の間の視差に基づいて、自装置と被写体との間の距離を演算し、得られた距離情報を外部機器へ出力する。

（実施形態８）
図２５は、実施形態８に係る車両５０を示す図である。上述したように、路面状態検知システム１は、例えば車両５０に搭載され、車両５０が走行する路面６０を撮影してその路面状態を検知する。車両５０は、例えば表示装置や駆動力制御装置等を備えており、路面状態をユーザへ報知したり、路面状態に応じた駆動力の制御を行ったりすることができる。

また、路面状態検知システム１は、電柱や信号機等に設けられてもよい。図２６は、路面状態検知システム１が設けられた電柱７０を示す図である。このように、任意の構造物に路面状態検知システム１を設置し、路面状態を検知してもよい。

また、上記実施形態に係る路面状態検知システム１は、照明装置を備えていてもよい。さらにその光は、偏光特性を有していてもよく、可視光であってもよく、近赤外光であってもよい。たとえば、偏光特性を有する近赤外光を照射し、この近赤外光の反射光を受光して画像信号を生成し、路面状態の検知に用いることで、検知の精度を高めることができる。特に、夜間の路面状態の検知の精度を高めることができる。

また、上記実施形態に係る路面状態検知システム１の各種処理は、ハードウェアによって実現されてもよいしソフトウェアによって実現されてもよいし、それらの組み合わせによって実現されてもよい。そのような処理を実行させるコンピュータプログラムは、例えば路面状態検知システムが備えるメモリに記憶され、路面状態検知システムが備えるマイクロコンピュータによって処理が実行される。また、そのようなコンピュータプログラムは、それが記録された記録媒体（光ディスク、半導体メモリー等）から路面状態検知システムへインストールしてもよいし、インターネット等の電気通信回線を介してダウンロードしてもよい。また、そのようなコンピュータプログラムは、クラウドサーバが備えるメモリに記憶されてもよく、この場合はクラウドサーバが備えるマイクロコンピュータによって路面状態の検知が実行されてもよい。また、クラウドサーバが様々な路面状態のデータを収集して管理、活用してもよい。

本開示の技術は、路面の状態を検知する技術分野において特に有用である。

１ 路面状態検知システム
１０、１０ａ、１０ｂ 撮像装置
２０ 検知部
２１ 画像処理部
２２ 演算部
２３ 判定部
２４ 測距装置
５０ 車両
６０ 路面
７０ 電柱
Ｋ アレイ状光学素子
Ｌ レンズ光学系
Ｌ１ レンズ
Ｌ２ 光学素子
Ｍ１、Ｍ２ 光学要素
Ｍ２Ｉ 単位領域
Ｍｓ マイクロレンズ
Ｎ 撮像素子
Ｎｉ 撮像面
Ｐ 画素
Ｓ 絞り
Ｖ 光軸

Claims (10)

1. レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置であって、前記各光学領域を通過した光の情報を有し、前記各撮像領域から取得される複数の画像信号を出力する撮像装置と、
   前記複数の画像信号に基づいて、路面状態を検知する検知部と、
   を備えた、路面状態検知システム。
2. 前記少なくとも２つの光学領域は、
   第１の偏光軸の方向に偏光した光を主に透過する特性を有する第１の光学領域と、
   前記第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する第２の光学領域と、
   を備え、
   前記少なくとも２つの撮像領域は、
   前記第１の光学領域を通過した光が入射する第１の撮像領域と、
   前記第２の光学領域を通過した光が入射する第２の撮像領域と、
   を備え、
   前記第１の撮像領域は、前記第１の偏光軸の方向に偏光した光に対応する第１の画像信号を生成し、
   前記第２の撮像領域は、前記第２の偏光軸の方向に偏光した光に対応する第２の画像信号を生成し、
   前記検知部は、前記第１の画像信号と前記第２の画像信号とに基づいて、路面状態を検知する、請求項１に記載の路面状態検知システム。
3. 前記検知部は、前記第１の画像信号から得られる輝度と、前記第２の画像信号から得られる輝度との大小関係に基づいて、路面状態が乾燥状態であるか湿潤状態であるかを検知する、請求項２に記載の路面状態検知システム。
4. 前記少なくとも２つの光学領域は、
   第１の偏光軸の方向に偏光した光を主に透過する特性を有する第１の光学領域と、
   前記第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する第２の光学領域と、
   前記第１および第２の偏光軸とは異なる第３の偏光軸の方向に偏光した光を主に透過する特性を有する第３の光学領域と、
   前記第１、第２および第３の偏光軸とは異なる第４の偏光軸の方向に偏光した光を主に透過する特性を有する第４の光学領域と、
   を備え、
   前記少なくとも２つの撮像領域は、
   前記第１の光学領域を通過した光が入射する第１の撮像領域と、
   前記第２の光学領域を通過した光が入射する第２の撮像領域と、
   前記第３の光学領域を通過した光が入射する第３の撮像領域と、
   前記第４の光学領域を通過した光が入射する第４の撮像領域と、
   を備え、
   前記第１の撮像領域は、前記第１の偏光軸の方向に偏光した光に対応する第１の画像信号を生成し、
   前記第２の撮像領域は、前記第２の偏光軸の方向に偏光した光に対応する第２の画像信号を生成し、
   前記第３の撮像領域は、前記第３の偏光軸の方向に偏光した光に対応する第３の画像信号を生成し、
   前記第４の撮像領域は、前記第４の偏光軸の方向に偏光した光に対応する第４の画像信号を生成し、
   前記検知部は、前記第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号に基づいて、路面状態を検知する、請求項１に記載の路面状態検知システム。
5. 前記撮像装置を複数個備え、
   前記複数の撮像装置は、第１の撮像装置および第２の撮像装置を含み、
   前記第１の撮像装置の前記少なくとも２つの光学領域は、
   第１の偏光軸の方向に偏光した光を主に透過する特性を有する第１の光学領域と、
   前記第１の偏光軸とは異なる第２の偏光軸の方向に偏光した光を主に透過する特性を有する第２の光学領域と、
   を備え、
   前記第２の撮像装置の前記少なくとも２つの光学領域は、
   前記第１および第２の偏光軸とは異なる第３の偏光軸の方向に偏光した光を主に透過する特性を有する第３の光学領域と、
   前記第１、第２および第３の偏光軸とは異なる第４の偏光軸の方向に偏光した光を主に透過する特性を有する第４の光学領域と、
   を備え、
   前記第１の撮像装置の前記少なくとも２つの撮像領域は、
   前記第１の光学領域を通過した光が入射する第１の撮像領域と、
   前記第２の光学領域を通過した光が入射する第２の撮像領域と、
   を備え、
   前記第２の撮像装置の前記少なくとも２つの撮像領域は、
   前記第３の光学領域を通過した光が入射する第３の撮像領域と、
   前記第４の光学領域を通過した光が入射する第４の撮像領域と、
   を備え、
   前記第１の撮像領域は、前記第１の偏光軸の方向に偏光した光に対応する第１の画像信号を生成し、
   前記第２の撮像領域は、前記第２の偏光軸の方向に偏光した光に対応する第２の画像信号を生成し、
   前記第３の撮像領域は、前記第３の偏光軸の方向に偏光した光に対応する第３の画像信号を生成し、
   前記第４の撮像領域は、前記第４の偏光軸の方向に偏光した光に対応する第４の画像信号を生成し、
   前記検知部は、前記第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号に基づいて、路面状態を検知する、請求項１に記載の路面状態検知システム。
6. 前記検知部は、前記第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号から得られる輝度同士の大小関係に基づいて、路面状態が乾燥状態であるか湿潤状態であるかを検知する、請求項４または５に記載の路面状態検知システム。
7. 前記少なくとも２つの光学領域は、
   第１の偏光軸の方向に偏光した第１の波長の光を主に透過する特性を有する第１の光学領域と、
   前記第１の偏光軸の方向に偏光し、前記第１の波長とは異なる第２の波長の光を主に透過する特性を有する第２の光学領域と、
   前記第１の偏光軸とは異なる第２の偏光軸の方向に偏光した第２の波長の光を主に透過する特性を有する第３の光学領域と、
   前記第２の偏光軸の方向に偏光した第１の波長の光を主に透過する特性を有する第４の光学領域と、
   を備え、
   前記少なくとも２つの撮像領域は、
   前記第１の光学領域を通過した光が入射する第１の撮像領域と、
   前記第２の光学領域を通過した光が入射する第２の撮像領域と、
   前記第３の光学領域を通過した光が入射する第３の撮像領域と、
   前記第４の光学領域を通過した光が入射する第４の撮像領域と、
   を備え、
   前記第１の撮像領域は、前記第１の偏光軸の方向に偏光した第１の波長の光に対応する第１の画像信号を生成し、
   前記第２の撮像領域は、前記第１の偏光軸の方向に偏光した第２の波長の光に対応する第２の画像信号を生成し、
   前記第３の撮像領域は、前記第２の偏光軸の方向に偏光した第２の波長の光に対応する第３の画像信号を生成し、
   前記第４の撮像領域は、前記第２の偏光軸の方向に偏光した第１の波長の光に対応する第４の画像信号を生成し、
   前記検知部は、前記第１、第２、第３および第４の画像信号のうちの少なくとも２つの画像信号に基づいて、路面状態が乾燥状態であるか湿潤状態であるかを検知し、
   前記検知部は、前記第１および第４の画像信号のうちの少なくとも一方と、前記第２および第３の画像信号のうちの少なくとも一方とに基づいて、路面の水の状態が液相状態であるか固相状態であるかを検知する、請求項１に記載の路面状態検知システム。
8. 前記撮像装置を複数個備え、
   前記複数の撮像装置は、第１の撮像装置および第２の撮像装置を含み、
   前記第１の撮像装置が出力した前記複数の画像信号の少なくとも１つの画像信号と、前記第２の撮像装置が出力した前記複数の画像信号の少なくとも１つの画像信号との間の視差に基づいて、被写体までの距離を測定する測距部をさらに備えた、請求項１から７のいずれかに記載の路面状態検知システム。
9. 請求項１から８のいずれかに記載の路面状態検知システムを備えた車両。
10. 路面状態を検知する処理をコンピュータに実行させるコンピュータプログラムであって、
    前記コンピュータプログラムは、
    レンズおよび互いに異なる光学特性を有する少なくとも２つの光学領域を含むレンズ光学系と、前記レンズ光学系を透過した光が入射する少なくとも２つの撮像領域を有する撮像素子と、前記レンズ光学系と前記撮像素子との間に配置され、前記少なくとも２つの光学領域の各光学領域を通過した光を、前記各光学領域に対応した前記少なくとも２つの撮像領域の各撮像領域に入射させるアレイ状光学素子とを有する撮像装置から出力される複数の画像信号であって、前記各光学領域を通過した光の情報を有する複数の画像信号を入力するステップと、
    前記複数の画像信号に基づいて、路面状態を検知するステップと、
    を前記コンピュータに実行させる、コンピュータプログラム。

Images