JP2013148505A - 画像処理システム及びそれを備えた車両 - Google Patents

Abstract

【課題】偏光画像を用いて路面状態を検出するとともに、標識検出を行うためのカラー画像も生成することが可能な画像処理システム及びそれを備えた車両を提供する。
【解決手段】ベイヤー配列の撮像素子２０６、及び、撮像素子２０６の前段に配置される光学フィルタ２０５を有する撮像ユニットと、撮像ユニットの撮像結果を解析する画像解析ユニットと、を備え、光学フィルタ２０５は、撮像素子２０６の各画素グループに含まれる２つのＧ画素の一方にのみ、入射光の水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を入射させるための偏光子が形成された偏光フィルタ層２２３と、を有し、画像解析ユニットは、２つのＧ画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、他方のＧ画素の画素値、Ｒ画素の画素値、及び、Ｂ画素の画素値を用いてカラー画像を生成する。
【選択図】図５

Description

本発明は、路面の状態（乾燥状態または凍結状態）を検出し、運転者へ注意を促す目的等に利用する画像処理システム及びそれを備えた車両に関する。

従来から、路面を撮像した偏光画像に基づいて、路面状態が乾燥状態または凍結状態にあるか否かを検出する方法が提案されている（例えば、特許文献１参照）。

特許文献１に開示された路面状態検出装置は、路面を撮像する撮像手段と、該撮像手段の前面に配置され偏光面を水平・垂直方向に可変可能な偏光手段と、を備え、路面を撮像した水平偏光画像及び垂直偏光画像に対してフーリエ変換を行ってパワースペクトル画像を生成し、このパワースペクトル画像中の周波数成分の分布より特徴を算出し、算出した特徴値が設定された値より大か否かによって、路面の凍結、湿潤及び乾燥を判定して出力するようになっている。

しかしながら、特許文献１に開示された路面状態検出装置は、水平偏光画像及び垂直偏光画像を撮像する際に、フィルタ変換部により垂直偏光フィルタと水平偏光フィルタを順次セットする構成であり、リアルタイムの画像撮像には適していない。

このフィルタ変換部の詳細は特許文献１に記載されていないが、一般的なモータなどのメカニカルな機構や、液晶などの切換機構であることが想定される。これらの機構は、自動車等の車両に搭載される場合には、耐熱性や耐振動性の点で課題がある。

そこで、このような課題に対応した撮像装置が提案された（例えば、特許文献２参照）。特許文献２によれば、１つの画像センサで水平偏光画像と垂直偏光画像の撮像が可能である。

近年は、路上の標識などの撮像を行い、運転者に注意を喚起するための撮像装置が要望されている。なお、路上の標識は、各種情報提示をなすとともに、その注意レベルを赤色や黄色や青色などの色で表現している。

しかしながら、特許文献２に開示された撮像装置は、偏光情報と輝度情報を取得するものであるが、色情報を取得可能な構成ではない。このため、色で表現された標識の注意レベルを認識できないという課題があった。

本発明は、このような従来の課題を解決するためになされたものであって、偏光画像を用いて路面状態を検出するとともに、標識検出を行うためのカラー画像も生成することができる画像処理システム及びそれを備えた車両を提供することを目的とする。

上記課題を解決するために、本発明に係る画像処理システムは、Ｒ画素、Ｇ画素、及びＢ画素が２次元配列されたベイヤー配列の撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有する撮像手段と、前記撮像手段の撮像結果を解析する画像解析手段と、を備え、前記光学フィルタは、入射光を透過させる基板と、前記撮像素子の縦横に隣接する４画素からなる各画素グループに含まれる２つのＧ画素の一方にのみ、前記入射光の水平偏光成分及び垂直偏光成分のいずれか一方を入射させるための偏光子が形成された偏光フィルタ層と、を有し、前記画像解析手段は、前記一方のＧ画素の画素値、及び、前記２つのＧ画素の他方のＧ画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、前記他方のＧ画素の画素値、Ｒ画素の画素値、及び、Ｂ画素の画素値を用いてカラー画像を生成することを特徴とする。

この構成により、カラーセンサの前段に偏光子が配置されるため、偏光画像を用いて路面状態を検出するとともに、標識検出を行うためのカラー画像も生成することができる。

本発明は、偏光画像を用いて路面状態を検出するとともに、標識検出を行うためのカラー画像も生成することが可能な画像処理システム及びそれを備えた車両を提供するものである。

本発明に係る画像処理システムを備える車載機器制御システムの概略構成を示す模式図 本発明に係る画像処理システムが備える撮像ユニットの概略構成を示す模式図 光学フィルタ、撮像素子、及びセンサ基板の光透過方向に沿った断面模式図 光学フィルタをセンサ基板側から見た正面模式図、及び、撮像素子を撮像レンズ側から見た正面模式図 光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図 偏光子のパターンを示す説明図 路面状態が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図 光強度Ｉの入射光に対する反射光の水平偏光成分と垂直偏光成分の入射角依存性を示すグラフ 板氷が置かれたコンクリート面を撮像した輝度画像及び偏光度画像を示す説明図 影の中の障害物を撮像した輝度画像及び偏光度画像を示す説明図 車両の内部に搭載された画像処理システムにより標識検出が行われる様子を示す模式図 撮像ユニットの設置位置を示す模式図 露光制御の手順を示すフローチャート 第１の分光フィルタ層の分光特性を示すグラフ 偏光フィルタ層を構成するワイヤグリッド構造の拡大図 第２の実施形態における偏光子のパターンを示す模式図 第３の実施形態における偏光子のパターンを示す模式図 第４の実施形態における光学フィルタの偏光フィルタ層と、撮像素子の画素との対応を例示する模式図 第５の実施形態における偏光子のパターンを示す模式図 第６の実施形態における光学フィルタの構造を示す光透過方向に沿った断面模式図 第６の実施形態における光学フィルタをセンサ基板側から見た正面模式図 カラーフィルタの分光特性を示すグラフ 第２の分光フィルタ層の分光特性を示すグラフ

以下、本発明に係る画像処理システム及びそれを備えた車両の実施形態について図面を用いて説明する。なお、各図面上の各構成の寸法比は、実際の寸法比と必ずしも一致していない。

（第１の実施形態）
図１は、本発明に係る画像処理システム１１０を備える車載機器制御システムの概略構成を示す模式図である。本車載機器制御システムは、自動車などの車両１００に搭載された撮像ユニット１０１で撮像した、車両１００の進行方向前方領域または進行方向後方領域の撮像画像データを利用して、ヘッドランプ１０４の配光制御、フロントガラス（透明部材）１０５に付着した異物を除去するためのワイパー１０７の駆動制御、その他の車載機器の制御を行うものである。

図１に示した車載機器制御システムは、撮像ユニット１０１と、画像解析ユニット（画像解析手段）１０２と、ヘッドランプ制御ユニット１０３と、ワイパー制御ユニット１０６と、車両走行制御ユニット１０８と、を主に備える。

本実施形態の画像処理システム１１０は、撮像ユニット１０１及び画像解析ユニット１０２を含む。画像解析ユニット１０２は、撮像ユニット１０１を制御する機能を有するとともに、撮像ユニット１０１から送信されてくる撮像画像データを解析する機能を有する。

画像解析ユニット１０２は、撮像ユニット１０１から送信されてくる撮像画像データを解析し、フロントガラス１０５に付着する雨滴などの異物を検出したり、撮像画像データに車両１００の前方に存在する他車両の位置、方角、距離を算出したり、撮像領域内に存在する路面上の白線（区画線）や標識等の検出対象物を検出したりする。

なお、以降では、車両１００の前方または後方の他車両の位置、方角、距離、路面上の白線（区画線）、路面状態、並びに、標識等の情報を車両周辺情報とも呼ぶ。他車両の検出では、画像解析ユニット１０２は、前方の車両周辺情報を撮像した撮像画像データから、他車両のテールランプを識別することで車両１００と同じ進行方向へ進行する先行車両を検出し、他車両のヘッドランプを識別することで車両１００とは反対方向へ進行する対向車両を検出する。

画像解析ユニット１０２の算出結果は、ヘッドランプ制御ユニット１０３に送られる。ヘッドランプ制御ユニット１０３は、例えば、画像解析ユニット１０２が算出した距離データから、車両１００の車載機器であるヘッドランプ１０４を制御する制御信号を生成する。具体的には、例えば、先行車両や対向車両の運転者の目に車両１００のヘッドランプの強い光が入射するのを避けて他車両の運転者の幻惑防止を行いつつ、車両１００の運転者の視界確保を実現できるように、ヘッドランプ１０４のハイビーム及びロービームの切り換えを制御したり、ヘッドランプ１０４の部分的な遮光制御を行ったりする。

また、後述するように、ヘッドランプ制御ユニット１０３は、画像解析ユニット１０２で認識された偏光度の情報に基づいて、不図示のフォグランプの点灯制御を行うものであってもよい。

画像解析ユニット１０２の算出結果は、ワイパー制御ユニット１０６にも送られる。ワイパー制御ユニット１０６は、ワイパー１０７を制御して、車両１００のフロントガラス１０５に付着した雨滴などの付着物を除去する。ワイパー制御ユニット１０６は、画像解析ユニット１０２が検出した異物検出結果を受けて、ワイパー１０７を制御する制御信号を生成する。ワイパー制御ユニット１０６により生成された制御信号がワイパー１０７に送られると、車両１００の運転者の視界を確保するべく、ワイパー１０７を稼動させる。

また、画像解析ユニット１０２の算出結果は、車両走行制御ユニット１０８にも送られる。車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した白線検出結果に基づいて、白線によって区画されている車線領域から車両１００が外れている場合等に、車両１００の運転者へ警告を報知したり、自車両のハンドルやブレーキを制御するなどの走行支援制御を行ったりする。

また、車両走行制御ユニット１０８は、画像解析ユニット１０２が検出した標識検出結果（後述する）と車両走行状態との差異に基づいて、例えば車両１００が制限速度に近い速度で走行している場合に運転者に注意を喚起したり、車両１００が制限速度を超えて走行している場合に車両１００の速度制御を行ったりする。

図２は、撮像ユニット１０１の概略構成を示す模式図である。撮像ユニット１０１は、車両１００の外部からフロントガラス１０５を透過した光を集光する撮像レンズ２０４と、撮像レンズ２０４によって集光された光を画素ごとに光電変換することにより撮像する撮像素子２０６と、撮像レンズ２０４と撮像素子２０６との間に配置される光学フィルタ２０５と、撮像素子２０６が搭載されるセンサ基板２０７と、センサ基板２０７から出力されるアナログ電気信号（撮像素子２０６上の各受光素子が受光した受光量）をデジタル電気信号に変換した撮像画像データとして出力する信号処理部２０８と、から構成されている。

なお、撮像レンズ２０４、光学フィルタ２０５、撮像素子２０６、センサ基板２０７は、フロントガラス１０５側からこの順に配置される。また、信号処理部２０８は、画像解析ユニット１０２と電気的に接続されている。なお、図２は、撮像素子２０６と信号処理部２０８とが独立に設けられた例を示しているが、撮像ユニット１０１の構成はこれに限定されない。例えば、撮像素子２０６としてその各画素にＡ／Ｄ変換部を備えたものを用いる場合には、それらのＡ／Ｄ変換部が信号処理部２０８となる。即ち、この場合には、信号処理部２０８は撮像素子２０６に内蔵されることとなる。

撮像レンズ２０４は、例えば、複数のレンズから構成されており、焦点位置は、無限遠、または、無限遠とフロントガラス１０５の外壁面との間に設定されている。

被写体（検出対象物）を含む撮像領域からの入射光は、撮像レンズ２０４を通り、光学フィルタ２０５を透過して、撮像素子２０６でその光強度に応じた電気信号に光電変換される。センサ基板２０７を経由して撮像素子２０６から出力される電気信号（アナログ信号）は信号処理部２０８に入力される。そして、信号処理部２０８は、撮像素子２０６上における各画素の明るさ（輝度情報）及び色情報を含むデジタル信号（撮像画像データ）を、画像の水平・垂直同期信号とともに後段の画像解析ユニット１０２へ出力する。

既に述べたように、本実施形態では、撮像レンズ２０４の焦点位置は、無限遠、または、無限遠とフロントガラス１０５の外壁面との間に設定されている。これにより、先行車両や対向車両の検出や白線の検出を行う場合に、撮像ユニット１０１の撮像画像データから適切な情報を取得することができる。

ただし、無限遠に焦点が合っている場合、遠方を走行する先行車両のテールランプを識別する際に、撮像素子２０６上のテールランプの光を受光する受光素子が１個程度になることがある。この場合、テールランプの光がテールランプ色（赤色）を受光する赤色用受光素子に受光されない恐れがあり、その際にはテールランプを認識できず、先行車両の検出ができない。このような不具合を回避しようとする場合には、撮像レンズ２０４の焦点を無限遠よりも手前に合わせることが好ましい。これにより、遠方を走行する先行車両のテールランプがピンボケするので、テールランプの光を受光する受光素子の数を増やすことができ、テールランプの認識精度が上がり先行車両の検出精度が向上する。

図３は、光学フィルタ２０５、撮像素子２０６、及び、センサ基板２０７の光透過方向に沿った断面模式図である。また、図４（ａ）は、光学フィルタ２０５をセンサ基板２０７側から見た正面模式図であり、図４（ｂ）は、撮像素子２０６を撮像レンズ２０４側から見た正面模式図である。なお、図３及び４では撮像素子２０６の各画素を簡略化して描いているが、実際には撮像素子２０６は２次元配置された数十万個程度の画素で構成されている。

光学フィルタ２０５は、図３に示すように、使用帯域（本実施形態では可視光領域と赤外光領域）の入射光に対して透明な基板２２０と、基板２２０の撮像レンズ２０４側の面における有効撮像領域（撮像素子２０６を構成する全画素に対応する領域）の全面に形成され、波長λ１〜λ２、及び、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光を選択的に透過させる分光フィルタ層（第１の分光フィルタ層）２２１と、基板２２０の撮像素子２０６側の面に形成される偏光フィルタ層２２３と、偏光フィルタ層２２３上に充填される充填材２２４と、を有し、充填材２２４の撮像素子２０６側の面が撮像素子２０６に近接配置されてなる。

撮像素子２０６は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）などを用いたイメージセンサであり、２次元配列された複数の画素からなる画素アレイ２０６ａの表面にカラーフィルタ２０６ｂが形成されたカラーセンサである。

カラーフィルタ２０６ｂは、赤色波長帯域（λ＝５５０〜６５０ｎｍ）の光を主に透過させるフィルタと、緑色波長帯域（λ＝５００〜５５０ｎｍ）の光を主に透過させるフィルタと、青色波長帯域（λ＝４５０〜５００ｎｍ）の光を主に透過させるフィルタが、画素アレイ２０６ａの各画素に対応して配置されたベイヤー配列の構成を有している。

画素アレイ２０６ａの各画素には、光学フィルタ２０５側から入射してカラーフィルタ２０６ｂを透過した光を撮像するフォトダイオード等の受光素子が配置されている。受光素子の集光効率を上げるために、画素アレイ２０６ａの入射側には、各画素に対応してマイクロレンズ（不図示）が設けられているとよい。このように構成された撮像素子２０６はワイヤボンディングなどの手法によりＰＷＢ（Printed Wiring Board）に接合されてセンサ基板２０７に搭載される。

図５は、光学フィルタ２０５の偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図である。以降では、赤色波長帯域用のフィルタに対応する撮像素子２０６の画素をＲ画素、緑色波長帯域用のフィルタに対応する撮像素子２０６の画素をＧ画素、青色波長帯域用のフィルタに対応する撮像素子２０６の画素をＢ画素と記す。また、縦横に隣接する４画素（Ｒ画素１つ、Ｇ画素２つ、Ｂ画素１つ）を画素グループと記す。また、有効撮像領域のうち、画素グループ内でＲ画素が配置される領域をｒ、Ｇ画素が配置される領域をｇ１及びｇ２、Ｂ画素が配置される領域をｂと記す。

偏光フィルタ層２２３には、撮像素子２０６の各画素に対応した偏光子が有効撮像領域全体に亘って領域分割形成されている。本実施形態においては、各画素グループに含まれる２つのＧ画素の一方にのみ、入射光の水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を入射させるための偏光子が偏光フィルタ層２２３に形成されている。

図５は、入射光の垂直偏光成分Ｓを透過させる偏光子が、領域ｇ１に配置されたＧ画素と対応するように形成された例を一例として示している。領域ｇ２、ｒ、及びｂには、偏光子は形成されておらず、これらの領域への入射光は偏光制限を受けない。即ち、偏光子が形成される領域は有効撮像領域の１／４を占める。

この結果、各画素グループからは、偏光制限されない領域ｒのＲ画素の画素値Ｉｒと、入射光の垂直偏光成分Ｓのみが透過する領域ｇ１のＧ画素の画素値Ｉｇ１と、偏光制限されない領域ｇ２のＧ画素の画素値Ｉｇ２と、偏光制限されない領域ｂのＢ画素の画素値Ｉｂが出力される。

ここで、画素値Ｉｇ１には垂直偏光成分Ｓのみの情報が含まれており、偏光制限されていない画素値Ｉｇ２には水平偏光成分Ｐと垂直偏光成分Ｓの和に相当する情報が含まれている。従って、Ｇ画素の水平偏光成分Ｐは、画素グループ内で対角方向に隣接するＩｇ２とＩｇ１の差分を取ることにより検出が可能である。

上記のようにして、画像解析ユニット１０２は、各画素グループからＧ画素の水平偏光成分Ｐ及び垂直偏光成分Ｓを取得し、公知の画像補間処理を行うことにより、水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。例えば、垂直偏光成分Ｓのみの情報が含まれている画素値Ｉｇ１から垂直偏光成分画像を形成する場合には、領域ｇ２、ｒ、及びｂの画素値を、同一の画素グループ及び隣接する画素グループが有する領域ｇ１の画素値の平均値とすればよい。

より具体的には図６に示すように、画素グループＡの領域ｇ２の画素値については、例えば、対角方向に隣接する領域ｇ１、並びに、他の画素グループの領域ｇ１１、ｇ１２、及びｇ１３の画素値の平均値とする。また、画素グループＡの領域ｒの画素値については、例えば、横方向に隣接する領域ｇ１及び他の画素グループの領域ｇ１１の画素値の平均値とする。また、画素グループＡの領域ｂの画素値については、例えば、縦方向に隣接する領域ｇ１及び他の画素グループの領域ｇ１３の画素値の平均値とする。

さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、下記の式（１）から画素ごとに偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。
偏光度＝（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ）） （１）

図５に示した例では、画素グループごとの偏光度は（Ｉｇ２−２×Ｉｇ１）／Ｉｇ２に相当するものとなる。

さらに、画像解析ユニット１０２は、上記のような画像補間技術を用いることで、カラー画像を生成する。即ち、偏光制限を受けない画素値Ｉｒ、Ｉｇ２、及びＩｂからＲ画像、Ｇ画像、Ｂ画像が得られるため、これらを重ね合わせることでカラー画像が生成される。即ち、各画素グループの色情報は、画素値Ｉｒ、画素値Ｉｇ２の２倍、及び画素値Ｉｂの重ね合わせに相当するものとなる。

偏光度画像は、車両１００の横滑りなどを防止するために、路面の乾燥・湿潤・凍結などの路面状態を検出するのに使用する。ここで、路面状態に応じた反射光の変化に関して説明する。

本実施形態において画像解析ユニット１０２が行う路面状態の判別処理では、撮像ユニット１０１から取得することができる情報のうち、白色成分（非分光）の水平偏光成分Ｐと垂直偏光成分Ｓとの比較による偏光情報が用いられる。

図７（ａ）及び（ｂ）は、路面状態が湿潤状態である場合と乾燥状態である場合の反射光の変化を説明するための説明図である。

図７（ａ）に示すように、湿潤状態にある路面は、路面の凹凸部分に水が溜まることによって鏡面に近い状態となる。そのため、湿潤状態の路面における反射光は、次のような偏光特性を示す。即ち、反射光の水平偏光成分Ｐ及び垂直偏光成分Ｓの反射率をそれぞれＲｐ、Ｒｓとすると、光強度Ｉの入射光に対する反射光の水平偏光成分Ｉｐと垂直偏光成分Ｉｓは、下記の式（２）及び（３）より算出でき、その入射角依存性は、図８に示すようなものとなる。
Ｉｐ＝Ｒｐ×Ｉ （２）
Ｉｓ＝Ｒｓ×Ｉ （３）

図８から分かるように、鏡面における反射光の水平偏光成分Ｉｐの反射率Ｒｐは、入射角がブリュースタ角（５３．１度）に等しいときにゼロとなり、水平偏光成分Ｉｐの反射光強度はゼロとなる。また、鏡面における反射光の垂直偏光成分Ｉｓの反射率Ｒｓは、入射角の増大に伴って漸増する特性を示すので、垂直偏光成分Ｉｓの反射光強度も入射角の増大に伴って漸増する。

一方、図７（ｂ）に示すように、乾燥状態の路面は、その表面が粗面であるため、乱反射が支配的となり、反射光は偏光特性を示さず、各偏光成分の反射率Ｒｐ、Ｒｓの差は小さくなる。

このような路面からの反射光の偏光特性の違いにより、路面状態が湿潤状態であるか乾燥状態であるかを判別することが可能である。具体的には、画像解析ユニット１０２は、路面の乾湿状態の判別に当たって下記の式（４）に示す偏光比Ｈを用いる。この偏光比Ｈは、例えば、路面を映し出す画像領域について、白色光（非分光）の垂直偏光成分Ｓと白色光（非分光）の水平偏光成分Ｐとの比率（Ｓ／Ｐ）を算出し、その平均値等から求めることができる。偏光比Ｈは、下記の式（４）に示すように入射光強度Ｉに依存しないパラメータであるため、撮像領域内の輝度変動の影響を受けることなく、安定して路面の乾湿状態判別に用いることができる。
Ｈ＝Ｉｓ／Ｉｐ＝Ｒｓ／Ｒｐ （４）

式（４）は、式（１）に示した偏光度の関数として下記の式（５）のように表すこともできる。なお、ここでは、Ｉｓを偏光度画像の画素値Ｉ（Ｓ）、Ｉｐを偏光度画像の画素値Ｉ（Ｐ）と見なしている。
Ｈ＝（１−偏光度）／（１＋偏光度） （５）

このようにして求まる偏光比Ｈが所定の閾値を超えている場合には、画像解析ユニット１０２は、路面状態が湿潤状態にあると判別し、所定の閾値以下である場合には路面状態が乾燥状態にあると判別する。路面が乾燥している場合、垂直偏光成分Ｓと水平偏光成分Ｐはほぼ等しいので、偏光比Ｈは１前後の値となる。一方、路面が完全に濡れている場合、垂直偏光成分Ｓは水平偏光成分Ｐよりもかなり大きい値をとるので偏光比Ｈは大きな値となり、また、路面が僅かだけ濡れているような場合、偏光比Ｈはこれらの中間値となる。

以上のような路面状態の乾湿状態の判別処理の判別結果は、本実施形態では、車両１００の運転者への警告や、車両１００のハンドルやブレーキを制御するなどの走行支援制御に利用される。具体的には、路面状態が湿潤状態であることが判別された場合、その判別結果は車両走行制御ユニット１０８に送られ、例えば、車両１００の自動ブレーキシステムの制御に利用することで交通事故の低減効果等を期待できる。また、例えば、車両１００のカーナビゲーションシステムのＣＲＴ画面などに路面が滑りやすいことを警告する情報を報知して、運転者に注意を喚起してもよい。

なお、画像解析ユニット１０２は、路面が撮像される撮像領域（特に有効撮像領域の下部）に対応する画素グループに関してのみ、路面状態の判別処理を行うものであってもよい。

ところで、凍結路面、特にブラックアイスと呼ばれるアスファルトの表層が凍結するような場合では通常の輝度画像からは凍結領域を判別しにくい。これに対して、偏光度画像では凍結領域がクリアに表現される。コンクリート面上の板氷を撮像した輝度画像及び偏光度画像を図９に示す。

図９（ａ）に示すように、輝度画像では板氷がどこにあるのかが判別しにくいのに対して、図９（ｂ）の偏光度画像ではその所在（図中の楕円で囲った部分）に板氷を確認することができる。板氷のないコンクリート部分では光が散乱（乱反射）するため、偏光度は略ゼロである。これに対して、板氷のあるコンクリート部分では、板氷内部で光が散乱するが、板氷の内部から空気界面を透過する偏光成分としてはＰ偏光成分が支配的である。このため、図９（ｂ）において、板氷部分と乾燥したコンクリート部分で差異が明瞭に見える。

偏光情報を用いることで路面状態以外の情報、例えば輝度画像では検出しにくい影の中の障害物を検出することもできる。図１０は、影の中の障害物の撮像結果を示す説明図である。図１０（ａ）の輝度画像に対して、図１０（ｂ）の偏光度画像では道路脇に停車した車両を認識できる。偏光度画像とは、既に示した式（１）の演算により生成されるものであり、輝度情報に依存しないとともに、物体の角度情報や材質の違いを表現できるため、輝度画像では見えにくい昼間の影の中の障害物などを検出するのに適している。即ち、本実施形態においては、画像解析ユニット１０２がこのような偏光度画像を用いることで、障害物検知を精度良く行うことができる。

本実施形態においては、撮像ユニット１０１は車両１００の前方の車両周辺情報を撮像するだけでなく、例えば後方の車両周辺情報を撮像するものであってもよい。近年、各種車両に搭載されているリアビューカメラとして撮像ユニット１０１を配置して偏光度画像を撮像することにより、自車両の影に隠れた障害物などを検出することが可能である。

なお、撮像ユニット１０１をリアビューカメラとして使用する場合、その撮像レンズ２０４としては、画角９０度以上の広角レンズを用いることが望ましい。一般に、広角レンズを用いると、周辺画像の入射角が画像中心部に比べて大きくなる（例えば２０度）。このように入射角が大きくなると、偏光フィルタ層２２３の偏光子が形成された領域において、入射光の透過率が低下する。

そこで、広角レンズを用いる場合には、画像解析ユニット１０２が偏光度を算出する際に、撮像領域に応じた所定のゲインαを式（１）の偏光度に乗じるようにすればよい。即ち、式（１）の代わりに、下記の式（６）の演算式を用いるとよい。
偏光度＝α×（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ）） （６）

例えば、ゲインαは、有効撮像領域の中心部においてはα＝１、周辺部では透過率劣化に応じてα＝１．１などであるとよい。これにより、画像中心部と画像周辺部での偏光度差のない画像が撮像可能となる。

さらに、画像解析ユニット１０２は、公知のエッジ抽出を輝度画像と偏光度画像に対して行い、エッジ抽出後の輝度画像と偏光度画像を重ね合わせることにより、輝度画像のみの場合に比べ、障害物検出の性能を上げることができる。

なお、既に述べたように、本実施形態の画像処理システム１１０は、偏光度画像に加えてカラー画像も撮像できるようになっている。図１１は、車両１００の内部に搭載された画像処理システム１１０（撮像ユニット１０１のみ図示）により標識検出が行われる様子を示す模式図である。撮像ユニット１０１は、車両１００の前方に位置する道路標識（例えば、車両進入禁止などの規制標識）３００を撮像して、画像解析ユニット１０２を介して音声やディスプレイの画像表示によりドライバに注意を喚起する。

なお、標識検出の対象となる道路標識の種類は複数であってもよい。例えば、画像処理システム１１０は、予め各種道路標識情報を画像解析ユニット１０２のメモリに格納しておき、撮像ユニット１０１を用いて取得した各種道路標識情報とメモリに格納された各種道路標識情報とを比較する構成であってもよい。さらに、画像処理システム１１０は、取得した各種道路標識情報を認識し、認識した各種道路標識情報を音声合成信号に変換して、運転者に各種道路標識情報を音声で通知する構成であってもよい。

また、偏光度画像を用いることで、霞がかかった画像を鮮明化することができる。一般に霧や靄は、太陽からの光が空気中の浮遊する水成分に反射して見える現象である。浮遊する水成分からの反射光は一般に偏光特性を有するため、カラー画像から偏光度画像に基づく所定の成分を差し引くことにより霞の影響を低減した画像を生成することができる。

上記所定の成分としては、例えば注目する画素グループＡ（図６参照）の偏光度と、画素グループＡに隣接する他の画素グループの偏光度の平均値または中央値を用いることができる。この場合、画像解析ユニット１０２は、少なくとも霞がかかっている撮像領域（特に有効撮像領域の上部）に対応する画素グループに対して上記平均値または中央値を算出し、それらをカラー画像の対応する画素グループから差し引く処理を行う。

また、霧や靄といった現象は、路面から離れた高い位置ほど濃くなる傾向にある。よって、図１２に示すように、車両１００用の撮像ユニット１０１は、運転者の目線の高さよりも低い、路面に近い位置（例えば、車両１００のタイヤ１１１の中心よりも路面に近い位置）に設置されると、霧や靄の影響を受けない画像を撮像しやすくなる。

例えば、図１２に示すように、車両１００のバンパ１１２のナンバープレート１１３の下側に撮像ユニット１０１用の開口１１４を設けて、そこから車両１００の前方や後方を撮像する構成が好ましい。このような構成により、霧や靄が発生している状況であっても、運転者の肉眼の視野よりも遠方の視野が確保された画像を撮像することが可能となり、それらを運転者に画像情報として提供することが可能となる。

さらに、撮像ユニット１０１の設置箇所を、車両１００内（図１参照）のフロントガラス１０５近傍と、図１２に示したタイヤ１１１の中心よりも路面に近い位置の２箇所とすることにより、画像解析ユニット１０２はこれら２つの撮像ユニット１０１の視界の差異（本実施形態では偏光度の差異）からフォグランプの点灯判断を行ってもよい。

ところで、偏光子が配置された撮像領域（以下、路面状態検出用領域と記す）は、それ以外の偏光制限を受けない撮像領域（以下、標識検出用領域と記す）と比較して、透過光量が約半分になる。そこで、路面状態検出用領域を透過した光に基づいて生成される偏光度画像と、標識検出用領域を透過した光に基づいて生成されるカラー画像とで、撮像の際の露光量を変えることが好ましい。

具体的には、画像解析ユニット１０２の自動露光調整により、撮像ユニット１０１が、路面状態検出用領域において第１の露光量（露光時間）で偏光度画像用の画像フレームを撮像するとともに、標識検出用領域において第２の露光量（露光時間）でカラー画像用の画像フレームを撮像する構成であるとよい。例えば、画像解析ユニット１０２が、撮像素子２０６の各画素が入射光を電気信号に変換する時間を制御することにより、露光量（露光時間）を変える構成とすればよい。

即ち、路面状態検出用領域については、画像解析ユニット１０２が、路面状態検出用領域を透過する光の光量を検出しながら自動露光調整を行うことにより、撮像ユニット１０１は第１の露光量（露光時間）で路面状態を撮像する。標識検出用領域においては、画像解析ユニット１０２が、標識検出用領域を透過する光の光量を検出しながら自動露光調整を行うことにより、撮像ユニット１０１は第２の露光量（露光時間）で標識の画像を撮像する。これにより、それぞれの画像について、最適な露光量で画像を撮像することが可能となる。

なお、標識検出用領域は光量変化が大きい。具体的には、車両周辺の照度は昼間の数万ルクスから夜間の１ルクス以下まで変化するため、その撮像シーンに応じて露光時間を調整する必要がある。これに対しては、画像解析ユニット１０２が公知の自動露光制御を行えばよい。

一方、路面状態検出用領域については、標識検出用領域の露光時間の半分の固定露光時間で撮像する（露光量を固定として撮像する）ことも可能である。これにより、露光制御時間の短縮、露光制御の簡素化などを実現できる。

図１３は、本実施形態における露光制御の手順を示すフローチャートである。まず、画像解析ユニット１０２は、偏光子が配置されていない標識検出用領域に対して露光調整を行う。そして、撮像ユニット１０１は、画像解析ユニット１０２による露光調整で設定された第２の露光量で、カラー画像用の画像フレームの撮像を行う（ステップＳ１２０）。

次に、画像解析ユニット１０２は、ステップＳ１２０で撮像されたカラー画像用の画像フレームの解析を行って（ステップＳ１２１）、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２２）。

次に、画像解析ユニット１０２は、偏光子が配置されている路面状態検出用領域に対して露光調整を行う。そして、撮像ユニット１０１は、画像解析ユニット１０２による露光調整で設定された第１の露光量で、偏光度画像用の画像フレームの撮像を行う（ステップＳ１２３）。

次に、画像解析ユニット１０２は、ステップＳ１２３で撮像された偏光度画像用の画像フレームの解析を行う（ステップＳ１２４）。ステップＳ１２４では必要に応じて、ステップＳ１２０で得られたカラー画像から、ステップＳ１２３で得られた偏光度画像に基づく所定の成分を差し引くことにより、霞の影響を低減したカラー画像を生成する処理が実行されてもよい。

そして、画像解析ユニット１０２は、ステップＳ１２４での解析結果に基づいて、ヘッドランプ制御ユニット１０３、車両走行制御ユニット１０８等に各種制御を行わせるための指示信号を送出する（ステップＳ１２５）。

そして、画像解析ユニット１０２は、所定の終了指示（車両１００の運転者による終了指示など）があるまで、ステップＳ１２０〜Ｓ１２５の処理を繰り返し実行する（ステップＳ１２６）。

以降では、光学フィルタ２０５が有する分光フィルタ層２２１の分光特性について説明する。図１４は、分光フィルタ層２２１の分光特性を示すグラフである。分光フィルタ層２２１は、図１４に示すように波長範囲４００ｎｍ〜６７０ｎｍ（ここでは、λ１＝４００ｎｍ、λ２＝６７０ｎｍ）のいわゆる可視光領域の入射光と、波長範囲９４０ｎｍ〜１０００ｎｍ（ここでは、λ３＝９４０ｎｍ、λ４＝１０００ｎｍ）の赤外光領域の入射光を透過させ、波長範囲６７０ｎｍ〜９４０ｎｍの入射光をカットする透過率特性を有する。波長範囲４００ｎｍ〜６７０ｎｍ及び波長範囲９４０〜１０００ｎｍの透過率は３０％以上であることが好ましく、９０％以上であることがより好ましい。波長範囲６７０ｎｍ〜９４０ｎｍの透過率は２０％以下であることが好ましく、５％以下であることがより好ましい。

ここで、車両１００のヘッドランプ１０４の投光波長は、分光フィルタ層２２１の赤外側の透過波長範囲９４０ｎｍ〜１０００ｎｍとオーバラップするものとする。

可視光領域の入射光は車両周辺情報の検出に用いられ、赤外光領域の入射光は夜間時の路面状態の検出や障害物の検出に用いられる。波長範囲６７０ｎｍ〜９４０ｎｍの入射光を透過させない理由は、この波長範囲の入射光を撮像素子２０６が取り込んだ場合、得られる撮像画像データが全体的に赤くなってしまい、赤色標識の赤色を示す部分等を抽出することや、テールランプに対応する赤色の画像部分を識別することが困難となる場合があるからである。

そこで、図１４に示すような赤外光領域の大部分の波長範囲（６７０ｎｍ〜９４０ｎｍ）をカットする特性をもつ分光フィルタ層２２１を有効撮像領域全体に形成すれば、外乱光を除去できるため、例えば日本での一時停止標識など赤色を含む標識の検出精度や、テールランプの識別精度を向上させることができる。なお、波長範囲９４０〜１０００ｎｍ、及び、波長範囲４００ｎｍ〜６７０ｎｍは、本発明に係る波長範囲の代表的な一例である。

ところで、撮像ユニット１０１の撮像方向を下方へ傾けていくと、撮像領域内の下部に自車両のボンネットが入り込んでくる場合がある。この場合、自車両のボンネットで反射した太陽光や先行車両のテールランプなどが外乱光となり、これが撮像画像データに含まれることで対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の誤識別の原因となる。このような場合でも、本実施形態では、有効撮像領域全体に波長範囲６７０ｎｍ〜９４０ｎｍの光を遮断する分光フィルタ層２２１が形成されているので、ボンネットで反射した太陽光や先行車両のテールランプなどの外乱光が除去される。よって、対向車両のヘッドランプ及び先行車両のテールランプ並びに白線の識別精度が向上する。

なお、既に述べたように、光学フィルタ２０５は、撮像素子２０６の撮像レンズ２０４側の面に近接配置されている。これは、光学フィルタ２０５と撮像素子２０６が離れるほど、隣接する画素間で光学的なクロストークが生じやすくなるためである。従って、光学フィルタ２０５と撮像素子２０６との隙間は２μｍ以下となるように接着などの方法により密着接合されることが望ましい。これにより、光学フィルタ２０５の路面状態検出用領域と標識検出用領域の境界と、撮像素子２０６の画素の境界とを一致させやすくなる。

光学フィルタ２０５と撮像素子２０６は、例えば、ＵＶ接着剤で接合されてもよいし、有効撮像領域外でスペーサにより支持された状態で有効撮像領域外の四辺領域をＵＶ接着や熱圧着されてもよい。

以降では、光学フィルタ２０５の各部詳細について説明する。基板２２０は、使用波長帯域（本実施形態では可視光領域と赤外光領域）の光を透過可能な透明な材料、例えば、ガラス、サファイア、水晶などで構成されている。本実施形態では、ガラス、特に、安価でかつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を好適に用いることができる。

基板２２０上に形成される偏光フィルタ層２２３は、図１５に示すようなワイヤグリッド構造で形成された偏光子で構成され、撮像素子２０６側の面は凹凸面である。ワイヤグリッド構造は、アルミニウムなどの金属で構成された特定方向に延びる金属ワイヤ（導電体線）を特定のピッチで配列した構造である。ワイヤグリッド構造のワイヤピッチを、入射光の波長帯（例えば、４００ｎｍ〜８００ｎｍ）に比べて十分に小さいピッチ（例えば１／２以下）とすることで、金属ワイヤの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子として使用できる。

ワイヤグリッド構造の偏光子は、一般に、金属ワイヤの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤでは透過率が減少する。また、金属ワイヤの長手方向に直交する断面形状がテーパ形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。

本実施形態では、偏光フィルタ層２２３がワイヤグリッド構造で形成されていることにより、以下のような効果を有する。ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成することができる。具体的には、基板２２０上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチングなどの手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。このような製造プロセスにより、撮像素子２０６の撮像画素サイズ相当（数μｍレベル）で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を調整することが可能となる。よって、本実施形態のように、撮像画素単位で金属ワイヤの長手方向、即ち偏光方向（偏光軸）を異ならせた偏光フィルタ層２２３を作成することができる。

また、ワイヤグリッド構造は、アルミニウムなどの金属材料によって作製されるため、耐熱性に優れ、高温になりやすい車両室内などの高温環境下においても好適に使用できるという利点もある。

上述のように、偏光フィルタ層２２３の偏光子はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤが損傷してしまう。本実施形態の光学フィルタ２０５は、撮像素子２０６に密着配置することが望まれるため、その製造段階において光学フィルタ２０５と撮像素子２０６とが接触する可能性がある。また、光学フィルタ２０５と撮像素子２０６は平行に配置されることが望ましく、間に平坦化層が形成されていることが望ましい。

充填材２２４は、偏光フィルタ層２２３の積層方向上面を平坦化するために用いられ、偏光フィルタ層２２３の金属ワイヤ間の凹部に充填される。この充填材２２４としては、基板２２０よりも屈折率が低いか、または同等の屈折率を有する無機材料を好適に利用できる。なお、本実施形態における充填材２２４は、偏光フィルタ層２２３の金属ワイヤ部分の積層方向上面も覆うように形成される。

充填材２２４は、偏光フィルタ層２２３の偏光特性を劣化させないように、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料からなることが好ましい。具体的な材料としては、例えば、セラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましく、具体的には、ポーラスシリカ（ＳｉＯ₂）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ₂Ｏ₃）などが挙げられる。また、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。基板２２０の主成分がシリカの水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。

充填材２２４の形成方法としては、例えば、無機系塗布膜（ＳＯＧ：Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）₄）をアルコールに溶かした溶剤を、基板２２０上に形成された偏光フィルタ層２２３上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させるような経緯で充填材２２４が形成される。

以上述べたように、本実施形態では、偏光フィルタ層２２３の積層方向上面、即ち撮像素子２０６側の面が充填材２２４によって覆われているので、撮像素子２０６と接触した際にワイヤグリッド構造が損傷するような事態が抑制される。

また、本実施形態のように充填材２２４を偏光フィルタ層２２３のワイヤグリッド構造における金属ワイヤ間の凹部へ充填することで、その凹部への異物進入を防止することができる。

本実施形態の分光フィルタ層２２１は、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造で作製されている。このような多層膜構造を採用すれば、光の干渉を利用することで分光透過率の設定自由度が高くなり、また、薄膜を多層重ねることで特定波長（例えば赤色以外の波長帯域帯）に対して１００％近い反射率を実現することも可能である。

以上説明したように、本実施形態の画像処理システム及びそれを備えた車両は、カラーセンサ及び偏光フィルタ層を有しているため、路面状態の検出に加え、標識認識においては色で表現された注意レベルも検出することができ、標識認識の精度を向上させることができる。

（第２の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第２の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。

本実施形態では、偏光フィルタ層の領域分割方法を変更した例を示す。本実施形態における偏光フィルタ層には、各画素グループに含まれる２つのＧ画素の一方に入射光の水平偏光成分Ｐを入射させるための偏光子、及び、２つのＧ画素の他方に入射光の垂直偏光成分Ｓを入射させるための偏光子が形成されている。

図１６は、第１の実施形態の図５に示した光学フィルタ２０５の偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図に関して、偏光子のパターンの他の一例を示すものである。

即ち、図１６は、入射光の水平偏光成分Ｐを透過させる偏光子が、領域ｇ１に配置されたＧ画素と対応するように配置されるとともに、入射光の垂直偏光成分Ｓを透過させる偏光子が、領域ｇ２に配置されたＧ画素と対応するように配置される例を示している。領域ｒ及びｂには、偏光子は配置されておらず、これらの領域への入射光は偏光制限を受けない。即ち、偏光子が配置される領域は有効撮像領域の１／２を占める。

この結果、各画素グループからは、偏光制限されない領域ｒのＲ画素の画素値Ｉｒと、水平偏光成分Ｐのみが透過する領域ｇ１のＧ画素の画素値Ｉｇ１と、垂直偏光成分Ｓのみが透過する領域ｇ２のＧ画素の画素値Ｉｇ２と、偏光制限されない領域ｂのＢ画素の画素値Ｉｂが出力される。

画像解析ユニット１０２は、各画素グループから水平偏光成分Ｐのみの情報が含まれた画素値Ｉｇ１と、垂直偏光成分Ｓのみの情報が含まれた画素値Ｉｇ２を取得し、公知の画像補間処理を行うことにより、水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。例えば、水平偏光成分画像を形成する場合には、領域ｇ２、ｒ、及びｂの画素値を、同一の画素グループ及び隣接する画素グループが有する領域ｇ１の画素値の平均値とすればよい。一方、垂直偏光成分画像を形成する場合には、領域ｇ１、ｒ、及びｂの画素値を、同一の画素グループ及び隣接する画素グループが有する領域ｇ２の画素値の平均値とすればよい。

さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、既に示した式（１）から各画素の偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。図１６に示した例では、画素グループごとの偏光度は（Ｉｇ１−Ｉｇ２）／（Ｉｇ１＋Ｉｇ２）に相当するものとなる。

さらに、画像解析ユニット１０２は、上記のような画像補間技術を用いることで、カラー画像を生成する。本実施形態においては、画素グループの２つのＧ画素が、入射光の水平偏光成分Ｐと垂直偏光成分Ｓの情報が含まれた画素値を出力するため、これらの和を取ったものが偏光制限を受けない画素値相当と考えてよい。ここで、Ｇ画素２個相当の画素値は、２×（Ｉｇ１＋Ｉｇ２）となる。

即ち、画素値Ｉｇ１とＩｇ２の和の２倍と、偏光制限を受けない画素値Ｉｒ及びＩｂからＲ画像、Ｇ画像、Ｂ画像が得られるため、これらの重ね合わせによりカラー画像が生成される。

以上説明したように、本実施形態の画像処理システム及びそれを備えた車両は、第１の実施形態に比べて水平偏光成分Ｐの値が真値に近いため偏光度画像の精度を向上できる。また、カラー画像に関しても、上述の演算により解像度を損なうことなく生成することが可能となる。

（第３の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第３の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。

本実施形態では、偏光フィルタ層の領域分割方法を変更した他の例を示す。本実施形態における偏光フィルタ層には、各画素グループに含まれる２つのＧ画素の一方に入射光の垂直偏光成分Ｓを入射させるための偏光子、２つのＧ画素の他方に入射光の水平偏光成分Ｐを入射させるための偏光子、並びに、Ｒ画素及びＢ画素に入射光の水平偏光成分Ｐを入射させるための偏光子が形成されている。

図１７は、第１の実施形態の図５に示した光学フィルタ２０５の偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図に関して、偏光子のパターンの他の一例を示すものである。即ち、図１７は、入射光の垂直偏光成分Ｓを透過させる偏光子が、領域ｇ１に配置されたＧ画素と対応するように配置されるとともに、入射光の水平偏光成分Ｐを透過させる偏光子が、領域ｇ２、ｒ、及びｂに配置されたＧ画素と対応するように配置される例を示している。即ち、偏光子が配置される領域は有効撮像領域の全体を占める。

この結果、各画素グループからは、水平偏光成分Ｐのみが透過する領域ｒのＲ画素の画素値Ｉｒと、垂直偏光成分Ｓのみが透過する領域ｇ１のＧ画素の画素値Ｉｇ１と、水平偏光成分Ｐのみが透過する領域ｇ２のＧ画素の画素値Ｉｇ２と、水平偏光成分Ｐのみが透過する領域ｂのＢ画素の画素値Ｉｂが出力される。

画像解析ユニット１０２は、各画素グループから垂直偏光成分Ｓのみの情報が含まれた画素値Ｉｇ１と、水平偏光成分Ｐのみの情報が含まれた画素値Ｉｇ２を取得し、公知の画像補間処理を行うことにより、水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。例えば、垂直偏光成分画像を形成する場合には、領域ｇ２、ｒ、及びｂの画素値を、同一の画素グループ及び隣接する画素グループが有する領域ｇ１の画素値の平均値とすればよい。一方、水平偏光成分画像を形成する場合には、領域ｇ１の画素値を、同一の画素グループが有する領域ｇ２、ｒ、及びｂの画素値の平均値とすればよい。

さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、既に示した式（１）から各画素の偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。図１７に示した例では、画素グループごとの偏光度は（Ｉｇ２−Ｉｇ１）／（Ｉｇ２＋Ｉｇ１）に相当するものとなる。

さらに、画像解析ユニット１０２は、上記のような画像補間技術を用いることで、カラー画像を生成する。本実施形態においては、画素値Ｉｒから得られるＲ画像、画素値Ｉｇ２から得られるＧ画像、画素値Ｉｂから得られるＢ画像の重ね合わせによりカラー画像が生成される。当該の画素値に着目すると、Ｉｒ＋Ｉｇ２×２＋Ｉｂで色情報が得られる。

一般に、撮像装置を車両内に設置して車両外の画像を撮像しようとする場合、ダッシュボードやボンネットなどで反射された不要光が撮像画像データ中に重畳される場合がある。これらはノイズ光として、本来の標識検出などの認識率を低減させる要因となりうるが、このような不要光の偏光成分の大部分はＳ偏光成分である。従って、Ｓ偏光成分を抑制することでこれらの不要光は軽減可能である。

この点を考慮して、本実施形態の画像処理システム及びそれを備えた車両は、カラー画像をＰ偏光成分に限定して生成しているため、不要光の影響を受けないカラー画像を生成できる。

（第４の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第４の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。

本実施形態では、偏光フィルタ層の領域分割方法を変更した他の例を示す。本実施形態における偏光フィルタ層には、各画素グループに含まれる２つのＧ画素の一方にのみ、入射光の水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を入射させるための偏光子が形成されている。

より具体的には、本実施形態における偏光フィルタ層には、１つの画素グループに含まれる２つのＧ画素の一方に入射光の水平偏光成分Ｐを入射させるための偏光子、前記一方のＧ画素から縦及び横に１画素離れたＧ画素に入射光の垂直偏光成分Ｓを入射させるための偏光子、及び、前記一方のＧ画素から斜めに１画素離れたＧ画素に入射光の水平偏光成分Ｐを入射させるための偏光子が、縦横に隣接する４つの画素グループを単位として周期的に形成されている。

図１８は、光学フィルタ２０５の偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図である。即ち、図１８は、画素グループＩ及びＩＶの領域ｇ１に入射光の水平偏光成分Ｐを透過させる偏光子が配置され、画素グループＩＩ及びＩＩＩの領域ｇ１に入射光の垂直偏光成分Ｓを透過させる偏光子が配置される例を示している。画素グループＩ〜ＩＶの領域ｇ２、ｒ及びｂには、偏光子は配置されておらず、これらの領域への入射光は偏光制限を受けない。即ち、偏光子が配置される領域は有効撮像領域の１／４を占める。

この結果、画素グループＩ及びＩＶからは、偏光制限されない領域ｒのＲ画素の画素値Ｉｒと、水平偏光成分Ｐのみが透過する領域ｇ１のＧ画素の画素値Ｉｇ１と、偏光制限されない領域ｇ２のＧ画素の画素値Ｉｇ２と、偏光制限されない領域ｂのＢ画素の画素値Ｉｂが出力される。

一方、画素グループＩＩ及びＩＩＩからは、偏光制限されない領域ｒからの画素値Ｉｒと、垂直偏光成分Ｓのみが透過する領域ｇ１からの画素値Ｉｇ１'と、偏光制限されない領域ｇ２からの画素値Ｉｇ２と、偏光制限されない領域ｂからの画素値Ｉｂが出力される。

画像解析ユニット１０２は、画素グループＩ及びＩＶから水平偏光成分Ｐのみの情報が含まれた画素値Ｉｇ１と、画素グループＩＩ及びＩＩＩから垂直偏光成分Ｓのみの情報が含まれた画素値Ｉｇ１'を取得し、公知の画像補間処理を行うことにより、水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。

さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、既に示した式（１）から各画素の偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。図１８に示した例では、縦または横に隣接する２つの画素グループごとの偏光度は（Ｉｇ１−Ｉｇ１'）／（Ｉｇ１＋Ｉｇ１'）に相当するものとなる。

さらに、画像解析ユニット１０２は、上記のような画像補間技術を用いることで、カラー画像を生成する。本実施形態においては、偏光制限を受けない画素値Ｉｒから得られるＲ画像、偏光制限を受けない画素値Ｉｇ２から得られるＧ画像、偏光制限を受けない画素値Ｉｂから得られるＢ画像の重ね合わせによりカラー画像が生成される。当該の画素値に着目すると、Ｉｒ＋Ｉｇ２×２＋Ｉｂで色情報が得られる。

本実施形態の画像処理システム及びそれを備えた車両は、偏光子が形成された領域が第１〜３の実施形態に比べて少ないため、撮像素子に入射する光量をより多く取ることができ、結果、明るくかつ解像度の高いカラー画像を生成できるため、標識検出などを好適に行うことが可能である。

一方、本実施形態では、偏光度の演算が８画素（２つの画素グループ）で行われるため解像度は低下してしまうが、撮像画像データの比較的大きい領域の変化を捉えればよい場合（例えば、路面状態の変化など）は本実施形態における偏光子のパターンでも十分好適である。

なお、さらに解像度を低下させてもよい場合は、水平偏光成分Ｐの透過領域と垂直偏光成分Ｓの透過領域をさらに離散的（例えば、画素グループの縦横２組や３組おきに偏光子を形成するなど）に配置した構成であってもよい。

（第５の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第５の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。

本実施形態では、偏光フィルタ層の領域分割方法を変更した他の例を示す。本実施形態における偏光フィルタ層には、入射光の水平偏光成分Ｐ及び垂直偏光成分Ｓのいずれか一方を入射させるための偏光子が、ストライプ状のパターンとして形成されている。各画素グループは、ストライプ状のパターンに対応した第１の画素グループ群と、偏光子が配置されていない第２の画素グループ群と、に分類される。

図１９は、第４の実施形態の図１８に示した光学フィルタ２０５の偏光フィルタ層２２３と、撮像素子２０６の画素との対応を例示する模式図に関して、偏光子のパターンの他の一例を示すものである。即ち、図１９は、第１の画素グループ群（画素グループＩ及びＩＩＩ）の全画素に入射光の水平偏光成分Ｐを透過させる偏光子が配置される例を示している。第２の画素グループ群（画素グループＩＩ及びＩＶ）の全画素には、偏光子は配置されておらず、これらの領域への入射光は偏光制限を受けない。即ち、偏光子が配置される領域は有効撮像領域の１／２を占める。

この結果、画素グループＩ及びＩＩＩからは、水平偏光成分Ｐのみが透過する領域ｒのＲ画素の画素値Ｉｒと、水平偏光成分Ｐのみが透過する領域ｇ１のＧ画素の画素値Ｉｇ１と、水平偏光成分Ｐのみが透過する領域ｇ２のＧ画素の画素値Ｉｇ２と、水平偏光成分Ｐのみが透過する領域ｂのＢ画素の画素値Ｉｂが出力される。

一方、画素グループＩＩ及びＩＶからは、偏光制限されない領域ｒのＲ画素の画素値Ｉｒ'と、偏光制限されない領域ｇ１のＧ画素の画素値Ｉｇ１'と、偏光制限されない領域ｇ２のＧ画素の画素値Ｉｇ２'と、偏光制限されない領域ｂのＢ画素の画素値Ｉｂ'が出力される。

即ち、画素値Ｉｇ１及びＩｇ２には水平偏光成分Ｐのみの情報が含まれており、偏光制限されていない画素値Ｉｇ１'及びＩｇ２'には水平偏光成分Ｐと垂直偏光成分Ｓの和に相当する情報が含まれている。例えば、第１の画素グループ群に属する画素グループＩのＧ画素と、画素グループＩに隣接する第２の画素グループ群に属する画素グループＩＩのＧ画素との間で、例えば（Ｉｇ１'＋Ｉｇ２'）と（Ｉｇ１＋Ｉｇ２）の差分を取ることにより、Ｇ画素の垂直偏光成分Ｓのみの検出が可能となる。

画像解析ユニット１０２は、画素値Ｉｇ１及びＩｇ２と、画素値Ｉｇ１'及びＩｇ２'を取得し、公知の画像補間処理を行うことにより、Ｇ画素から水平偏光成分画像と垂直偏光成分画像の２種類の画像を生成する。なお、水平偏光成分画像及び垂直偏光成分画像は、Ｇ画素の代わりにＲ画素またはＢ画素から生成されてもよく、あるいは、３色全ての画素（Ｒ画素、Ｇ画素、及びＢ画素）から生成されてもよい。

さらに、画像解析ユニット１０２は、水平偏光成分画像の画素値をＩ（Ｐ）、垂直偏光成分画像の画素値をＩ（Ｓ）として、既に示した式（１）から各画素の偏光度を求めることにより、輝度情報に依存しない偏光度画像を生成する。上述のように、隣接する２つの画素グループごとの偏光度は、Ｇ画素のみを用いる場合には（Ｉｇ１'＋Ｉｇ２'−２×（Ｉｇ１＋Ｉｇ２））／（Ｉｇ１'＋Ｉｇ２'＋２×（Ｉｇ１＋Ｉｇ２））、３色全ての画素を用いる場合には（Ｉｒ'＋Ｉｇ１'＋Ｉｇ２'+Ｉｂ'−２×（Ｉｒ＋Ｉｇ１＋Ｉｇ２＋Ｉｂ））／（Ｉｒ'＋Ｉｇ１'＋Ｉｇ２'+Ｉｂ'＋２×（Ｉｒ＋Ｉｇ１＋Ｉｇ２＋Ｉｂ））に相当するものとなる。

さらに、画像解析ユニット１０２は、上記のような画像補間技術を用いることで、カラー画像を生成する。本実施形態においては、カラー画像は、第１の画素グループ群に属する画素グループＩやＩＩＩからの出力で生成されてもよいし、第２の画素グループ群に属する画素グループＩＩやＩＶからの出力で生成されてもよい。前者は映りこみ光が排除されたカラー画像となり、後者は明るいカラー画像となる。

例えば、光量を十分に取れる昼間や、街灯などの光が十分にある夜間は、画素グループＩやＩＩＩからの画素値に基づいて生成されるカラー画像を用いて、太陽光や街灯に起因する映りこみ光を除去して標識認識などを行うことが可能となる。一方、映りこみ光がなく、暗い夜間などに関しては、画素グループＩＩやＩＶの画素値に基づいて生成されるカラー画像を用いるなどの切換が画像解析ユニット１０２によって行われてもよい。

例えば、画像解析ユニット１０２は、運転者の動作（例えばハイビーム照射時）に応じて、カラー画像の生成に用いる画素グループを決定してもよいし、不図示の光量センサなどが車両１００のフロントガラス１０５に貼り付けられている場合には、そのセンサからの照度出力値に応じて、カラー画像の生成に用いる画素グループを決定してもよい。

以上説明したように、本実施形態では、偏光子が形成された領域が２画素幅であるため、偏光フィルタ層と撮像素子の接合精度が緩和される。特に、図１９に示したように、偏光子の形成領域がストライプ状であるため、図中横方向の位置調整のみ精密に行えばよく、偏光フィルタ層と撮像素子の接合のための調整がより容易な構成となっている。

（第６の実施形態）
本発明に係る画像処理システム及びそれを備えた車両の第６の実施形態を図面を参照しながら説明する。なお、既に説明した実施形態と同様の構成及び動作については適宜説明を省略する。本実施形態では、光学フィルタにおける分光フィルタ層の他の構成例を示す。

図２０は、光学フィルタの構造の他の例を示す光透過方向に沿った断面模式図である。また、図２１は、本実施形態における光学フィルタ２０５'をセンサ基板２０７側から見た正面模式図である。即ち、光学フィルタ２０５'は、図３等に示した光学フィルタ２０５の構成に加えて、基板２２０の撮像素子２０６側の面における有効撮像領域の所定領域（例えば、有効撮像領域の下部領域）に、上記偏光フィルタ層２２３及び充填材２２４を介して形成され、波長λ３〜λ４の範囲の波長成分の光を選択的に透過させる分光フィルタ層２２２（第２の分光フィルタ層）を有し、分光フィルタ層２２２の撮像素子２０６側の面が撮像素子２０６に近接配置されてなる。

つまり、光学フィルタ２０５'は、分光フィルタ層２２１と分光フィルタ層２２２とが光透過方向に重ね合わせられた構造となっている。

ここで、カラーセンサに用いられるカラーフィルタの分光特性は、一般に図２２のような特性を示す。図２２においては、Ｒ画素の分光特性は実線、Ｇ画素の分光特性は破線、Ｂ画素の分光特性は一点鎖線で示されている。即ち、８００ｎｍよりも短波長に関しては、Ｒ画素、Ｇ画素、及びＢ画素の各画素で分光特性が異なる。

これに対して、上記の光学フィルタ２０５'が有する分光フィルタ層２２２の分光特性は図２３に示すようなものであるとよい。即ち、分光フィルタ層２２２は、例えば波長範囲９４０ｎｍ〜１０００ｎｍの近赤外光領域を透過帯域とする（波長９４０ｎｍよりも短波長側の光をカットする）分光特性を有するものであるとよい。

波長範囲９４０ｎｍ〜１０００ｎｍの近赤外光領域は、図２２に示したカラーフィルタの分光特性において３色全ての画素（Ｒ画素、Ｇ画素、及びＢ画素）の分光特性がほぼ一致する波長帯である。従って、例えば偏光フィルタ層２２３が３色全ての画素に対応する偏光子を有する場合に、本実施形態の画像処理システム及びそれを備えた車両は、分光フィルタ層２２２が形成された領域において、輝度情報の差異がほとんどない３色の画素を用いて、安定的かつ解像度の高い偏光度画像を生成することができる。これにより、分光フィルタ層２２２が形成された領域において、路面状態の検出精度を向上させることが可能となる。

次に、分光フィルタ層２２２の構造や作製方法について説明する。分光フィルタ層２２２は、分光フィルタ層２２１と同様に、高屈折率の薄膜と低屈折率の薄膜とを交互に多層重ねた多層膜構造として作製可能である。

本実施形態においては、撮像画像データの使用波長範囲が略可視光波長帯から赤外光波長帯であるため、当該使用波長範囲に感度を有する撮像素子２０６を採用している。分光フィルタ層２２２は、赤外光の一部のみを透過させればよいので、分光フィルタ層２２２の多層膜部分の透過波長範囲を例えば９００ｎｍ以上に設定し、それ以外の波長帯は反射するカットフィルタ（図２３参照）を形成すればよい。

このようなカットフィルタは、光学フィルタ２０５の積層方向下側から順に、「基板／（０．１２５Ｌ ０．２５Ｈ ０．１２５Ｌ）ｐ／媒質Ａ」のような構成の多層膜を作製することで得られる。ここでいう「基板」は、上述した充填材２２４を意味する。また、「０．１２５Ｌ」は、低屈折率材料（例えばＳｉＯ₂）の膜厚標記方法でｎｄ／λを１Ｌとしたものであり、従って「０．１２５Ｌ」の膜は、１／８波長の光路長となるような膜厚をもつ低屈折率材料の膜である。なお、「ｎ」は屈折率であり、「ｄ」は厚みであり、「λ」はカットオフ波長である。

同様に、「０．２５Ｈ」は、高屈折率材料（例えばＴｉＯ₂）の膜厚標記方法でｎｄ／λを１Ｈとしたものであり、従って「０．２５Ｈ」の膜は、１／４波長の光路長となるような膜厚をもつ高屈折率材料の膜である。また、「ｐ」は、かっこ内に示す膜の組み合わせを繰り返す（積層する）回数を示し、「ｐ」が多いほどリップルなどの影響を抑制できる。また、媒質Ａは、空気あるいは撮像素子２０６との密着接合のための樹脂や接着剤を意図するものである。

また、分光フィルタ層２２２において、赤外光波長帯のみを透過する多層膜構造としては、透過波長範囲が９４０〜９７０ｎｍの範囲であるバンドパスフィルタであってもよい。このようなバンドパスフィルタは、例えば、「基板／（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｐ（０．１２５Ｌ ０．５Ｈ ０．１２５Ｌ）ｑ（０．１２５Ｌ ０．５Ｍ ０．１２５Ｌ）ｒ／媒質Ａ」のような構成の多層膜を作製することで得られる。なお、高屈折率材料として二酸化チタン（ＴｉＯ₂）、低屈折率材料として二酸化珪素（ＳｉＯ₂）等を使用すれば、対候性の高い分光フィルタ層２２２を実現できる。

分光フィルタ層２２２の作製方法の一例について説明すると、まず、基板２２０及び偏光フィルタ層２２３上に形成された充填材２２４上に、上述した多層膜を形成する。このような多層膜を形成する方法としては、周知の蒸着等の方法を用いればよい。続いて、非分光領域（例えば、撮像素子２０６の上側領域）に対応する箇所について多層膜を除去する。

この除去方法としては、一般的なリフトオフ加工法を利用すればよい。リフトオフ加工法では、目的とするパターンとは逆のパターンを、金属やフォトレジスト等で事前に充填材２２４の層上に形成しておき、その上に多層膜を形成してから、非分光領域に対応する箇所の多層膜を当該金属やフォトレジストと一緒に除去する。

本実施形態では、分光フィルタ層２２２として多層膜構造を採用しているので、分光特性の設定自由度が高いという利点がある。

なお、本実施形態では、充填材２２４の上に積層される分光フィルタ層２２２については充填材２２４のような保護層を設けていない。これは、本発明者らの実験によれば、撮像素子２０６に分光フィルタ層２２２が接触しても、撮像画像に影響を及ぼすような損傷が発生しなかったため、低コスト化を優先して保護層を省略したものである。

また、偏光フィルタ層２２３の金属ワイヤ（凸部）の高さは一般に使用波長の半分以下と低い一方、分光フィルタ層２２２の高さは、高さ（厚み）を増すほど遮断波長での透過率特性を急峻にできるため、使用波長と同等から数倍程度の高さとしている。

充填材２２４の厚みが増すほど、その上面の平坦性を確保することが困難になり、光学フィルタ２０５の特性に影響を与えるので、充填材２２４を厚くするにも限度がある。そのため、本実施形態では、分光フィルタ層２２２を充填材で覆っていない。

即ち、本実施形態では、偏光フィルタ層２２３を充填材２２４で覆った後に分光フィルタ層２２２を形成しているため、充填材２２４の層を安定的に形成できる。また、充填材２２４の層の上面に形成される分光フィルタ層２２２もその特性を最適に形成することが可能である。

１００ 車両
１０１ 撮像ユニット（撮像手段）
１０２ 画像解析ユニット（画像解析手段）
１０３ ヘッドランプ制御ユニット
１０４ ヘッドランプ
１０５ フロントガラス（透明部材）
１０６ ワイパー制御ユニット
１０７ ワイパー
１０８ 車両走行制御ユニット
１１０ 画像処理システム
１１１ タイヤ
１１２ バンパ
１１３ ナンバープレート
１１４ 開口
２０４ 撮像レンズ
２０５、２０５' 光学フィルタ
２０６ 撮像素子
２０６ａ 画素アレイ
２０６ｂ カラーフィルタ
２０７ センサ基板
２０８ 信号処理部
２２０ 基板
２２１ 分光フィルタ層（第１の分光フィルタ層）
２２２ 分光フィルタ層（第２の分光フィルタ層）
２２３ 偏光フィルタ層
２２４ 充填材

特許第２７０７４２６号明細書 特開２００７−８６７２０号公報

Claims (14)

1. Ｒ画素、Ｇ画素、及びＢ画素が２次元配列されたベイヤー配列の撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有する撮像手段と、
   前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
   前記光学フィルタは、
   入射光を透過させる基板と、
   前記撮像素子の縦横に隣接する４画素からなる各画素グループに含まれる２つのＧ画素の一方にのみ、前記入射光の水平偏光成分及び垂直偏光成分のいずれか一方を入射させるための偏光子が形成された偏光フィルタ層と、を有し、
   前記画像解析手段は、前記一方のＧ画素の画素値、及び、前記２つのＧ画素の他方のＧ画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、前記他方のＧ画素の画素値、Ｒ画素の画素値、及び、Ｂ画素の画素値を用いてカラー画像を生成することを特徴とする画像処理システム。
2. Ｒ画素、Ｇ画素、及びＢ画素が２次元配列されたベイヤー配列の撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有する撮像手段と、
   前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
   前記光学フィルタは、
   入射光を透過させる基板と、
   前記撮像素子の縦横に隣接する４画素からなる各画素グループに含まれる２つのＧ画素の一方に前記入射光の水平偏光成分を入射させるための偏光子、及び、前記２つのＧ画素の他方に前記入射光の垂直偏光成分を入射させるための偏光子が形成された偏光フィルタ層と、を有し、
   前記画像解析手段は、前記２つのＧ画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、前記２つのＧ画素の画素値、Ｒ画素の画素値、並びに、Ｂ画素の画素値を用いてカラー画像を生成することを特徴とする画像処理システム。
3. Ｒ画素、Ｇ画素、及びＢ画素が２次元配列されたベイヤー配列の撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有する撮像手段と、
   前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
   前記光学フィルタは、
   入射光を透過させる基板と、
   前記撮像素子の縦横に隣接する４画素からなる各画素グループに含まれる２つのＧ画素の一方に前記入射光の垂直偏光成分を入射させるための偏光子、前記２つのＧ画素の他方に前記入射光の水平偏光成分を入射させるための偏光子、並びに、Ｒ画素及びＢ画素に前記入射光の水平偏光成分を入射させるための偏光子が形成された偏光フィルタ層と、を有し、
   前記画像解析手段は、前記２つのＧ画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、前記他方のＧ画素の画素値、Ｒ画素の画素値、及び、Ｂ画素の画素値を用いてカラー画像を生成することを特徴とする画像処理システム。
4. Ｒ画素、Ｇ画素、及びＢ画素が２次元配列されたベイヤー配列の撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有する撮像手段と、
   前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
   前記光学フィルタは、
   入射光を透過させる基板と、
   前記撮像素子の縦横に隣接する４画素からなる各画素グループに含まれる２つのＧ画素の一方にのみ、前記入射光の水平偏光成分及び垂直偏光成分のいずれか一方を入射させるための偏光子が形成された偏光フィルタ層と、を有し、
   前記偏光フィルタ層は、１つの前記画素グループに含まれる２つのＧ画素の一方に前記入射光の水平偏光成分を入射させるための偏光子、前記一方のＧ画素から縦及び横に１画素離れたＧ画素に前記入射光の垂直偏光成分を入射させるための偏光子、及び、前記一方のＧ画素から斜めに１画素離れたＧ画素に前記入射光の水平偏光成分を入射させるための偏光子が、縦横に隣接する４つの前記画素グループを単位として周期的に形成されてなり、
   前記画像解析手段は、前記一方のＧ画素の画素値、及び、前記一方のＧ画素から縦または横に１画素離れたＧ画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、前記２つのＧ画素の他方の画素値、Ｒ画素の画素値、及び、Ｂ画素の画素値を用いてカラー画像を生成することを特徴とする画像処理システム。
5. Ｒ画素、Ｇ画素、及びＢ画素が２次元配列されたベイヤー配列の撮像素子、及び、該撮像素子の前段に配置される光学フィルタを有する撮像手段と、
   前記撮像手段の撮像結果を解析する画像解析手段と、を備え、
   前記光学フィルタは、
   入射光を透過させる基板と、
   前記入射光の水平偏光成分及び垂直偏光成分のいずれか一方を入射させるための偏光子が、ストライプ状のパターンとして形成された偏光フィルタ層と、を有し、
   前記撮像素子の縦横に隣接する４画素からなる各画素グループは、前記ストライプ状のパターンに対応した第１の画素グループ群と、前記偏光子が配置されていない第２の画素グループ群と、に分類され、
   前記画像解析手段は、前記偏光子が配置された前記第１の画素グループ群に属する画素グループの画素の画素値、及び、当該画素グループに隣接する前記第２の画素グループ群に属する画素グループの対応する画素の画素値を用いて、水平偏光成分画像、垂直偏光成分画像、及び偏光度画像を生成するとともに、前記第１及び第２の画素グループ群のいずれか一方に属する画素グループのＧ画素の画素値、Ｒ画素の画素値、及び、Ｂ画素の画素値を用いてカラー画像を生成することを特徴とする画像処理システム。
6. 前記撮像手段は、路面を含む車両周辺情報を撮像するものであり、
   前記画像解析手段は、前記偏光度画像の偏光度に基づいて路面状態を判別するとともに、前記カラー画像に基づいて標識認識を行うことを特徴とする請求項１から請求項５のいずれか一項に記載の画像処理システム。
7. 前記画像解析手段は、前記カラー画像から、前記偏光度画像に基づく所定の成分を差し引くことにより、前記カラー画像における霞を低減することを特徴とする請求項１から請求項６のいずれか一項に記載の画像処理システム。
8. 前記光学フィルタは、
   前記基板の前記撮像素子と反対側の面における有効撮像領域の全面に形成され、波長λ１〜λ２、及び、λ３〜λ４（λ１＜λ２＜λ３＜λ４）の範囲の波長成分の光を選択的に透過させる第１の分光フィルタ層をさらに有することを特徴とする請求項１から請求項７のいずれか一項に記載の画像処理システム。
9. 前記光学フィルタは、
   前記基板の前記撮像素子側の面における前記有効撮像領域の所定領域に形成され、波長λ３〜λ４の範囲の波長成分の光を選択的に透過させる第２の分光フィルタ層をさらに有することを特徴とする請求項８に記載の画像処理システム。
10. 前記撮像手段が前記偏光度画像用のフレームを撮像する際の露光量と、前記撮像手段が前記カラー画像用のフレームを撮像する際の露光量とが異なることを特徴とする請求項１から請求項９のいずれか一項に記載の画像処理システム。
11. 前記画像解析手段は、前記水平偏光成分画像の各画素の画素値をＩ（Ｐ）と、前記垂直偏光成分画像の各画素の画素値をＩ（Ｓ）とした場合、α×（Ｉ（Ｐ）−Ｉ（Ｓ））／（Ｉ（Ｐ）＋Ｉ（Ｓ）） （ここでαは定数）の画像情報を算出するものであって、前記有効撮像領域の周辺部のαを前記有効撮像領域の中心部に比べて大きくすることを特徴とする請求項１から請求項１０のいずれか一項に記載の画像処理システム。
12. 前記画像解析手段は、前記偏光度画像に基づいて、暗部に存在する物体の検出を行うことを特徴とする請求項１から請求項１１のいずれか一項に記載の画像処理システム。
13. 請求項１から請求項１２のいずれか一項に記載の画像処理システムと、
    前記画像処理システムが備える前記画像解析手段により生成された偏光度画像及びカラー画像に基づいて、車両の走行を支援する走行支援制御を行う車両走行制御手段と、を備えることを特徴とする車両。
14. 前記画像処理システムが備える前記第１及び第２の分光フィルタ層の透過波長λ３〜λ４の範囲に、車両のヘッドランプの投光波長帯の少なくとも一部が含まれることを特徴とする請求項１３に記載の車両。