JP2014178494A - 視差画像撮像装置 - Google Patents

Abstract

【課題】被写体に偏光特性があったとしても、偏光方向が互いに直交する２つの画像を取得でき、測距演算の精度を向上させることができる。
【解決手段】被写体からの２つの画像の偏光方向が互いに直交するように偏光する偏光手段と、該偏光手段によって偏光され異なる偏光方向の２つの画像を受光する撮像手段と、該撮像手段に結像させる光学部材とを備え、被写体からの視差を有する２つの画像を撮像する視差画像撮像装置において、被写体からの２つの画像が偏光手段に到達するように、被写体からの２つの画像のうち、少なくとも一方の画像の偏光面を変更する偏光面変更手段を備えた。
【選択図】図１４

Description

本発明は、視差を有する２つの視差画像を取得する視差画像撮像装置に関するものである。

従来、自車両前方の先行車両との車間距離を測定し、その車間距離を維持するための自車速度調整機能を有するＡＣＣ（Adaptive Cruise Control）等の運転者支援システムが開発されている。先行車両との距離を測定する技術として、被写体からの視差を有する２つの画像を取得し、その視差画像を解析することで被写体までの距離を測定する視差画像撮像装置が知られている。この視差画像撮像装置として特許文献１に記載のものが知られている。特許文献１の視差画像撮像装置では、左右の開口部から入射された被写体からの左右の画像を、互いに直交する偏光方向になるようにそれぞれ偏光する。偏光された各画像は、光学部材を介して分割偏光手段によって偏光されて撮像素子の対応する受光素子に受光される。

しかしながら、上記特許文献１の視差画像撮像装置では、被写体から得られる視差を持った２つの画像において、偏光特性が含まれる場合がある。例えば、実環境において構造物の反射光では、ブリュースター角など角度によっては、正反射によってＳ偏光の光よりも、Ｐ偏光の光の反射が少ない場合がある。この場合、２つの画像のうち、一方の開口部からの画像をＳ偏光と割り当て、他方の開口部からの画像をＰ偏光と割り当てる構成になっていると、両者の開口部からの画像には視差だけではなく、偏光特性の差も含有されることになる。これでは、測距演算において、マッチング処理を行うとき、検索する画像視差以外の差を生じることにより、検索結果に誤差が生じたり、あるいは間違ったマッチング処理結果になったりすることがある。これでは、正確な測距演算結果が得られなかったという問題があった。

本発明は以上の問題点に鑑みなされたものであり、その目的は、被写体に偏光特性があったとしても、偏光方向が互いに同じ方向２つの画像を取得でき、測距演算の精度を向上させることができる視差画像撮像装置を提供することである。

上記目的を達成するために、請求項１の発明は、被写体からの２つの画像の偏光方向が互いに直交するように重畳する画像重畳手段と、該画像重畳手段によって重畳され異なる偏光方向の２つの画像を受光する撮像手段と、該撮像手段に結像させる光学部材とを備え、被写体からの視差を有する２つの画像を撮像する視差画像撮像装置において、被写体からの２つの画像が前記画像重畳手段を介して前記撮像手段に到達するように、被写体からの２つの画像のうち、少なくとも一方の画像の偏光面を変更する偏光面変更手段を備えたことを特徴とするものである。

本発明では、撮像素子上での被写体からの視差を持った２つの画像の偏光面は、異なっている。この２つの画像は、画像重畳手段によって、互いに直交する偏光方向が異なる２つの画像に変換され、撮像手段に受光させなければ、撮像手段によって２つの視差を有する画像は取得できない。被写体からの画像が、例えばＳ波のみであった場合には、画像重畳手段によって、Ｓ波の画像を一方の画像、Ｐ波の画像は他方の画像で重畳され、一方の画像しか画像重畳手段を介して撮像手段に到達できない。そのため、偏光面変更手段によって２つの画像のうち、少なくとも一方の画像の偏光面を変更することにより、被写体から見た偏光方向の同じ２つの画像が、直交する方向の偏光方向に変換され、画像重畳手段を介して撮像手段に到達させる。これにより、被写体から見たときに偏光方向が互いに同じ２つの画像が、異なる方向の偏光方向で撮像手段に受光され、視差を有する２つの画像を取得することができる。この結果、左右の画像共に、同じ偏光方向の被写体を見ていることにより、測距演算を行った際のマッチング処理で、対応する画素を検索したときのマッチング処理結果の誤差を抑制し、マッチング処理の精度を向上させることができる。よって、被写体に偏光特性があったとしても、被写体からの偏光方向が互いに同じ２つの画像を取得でき、測距演算の精度を向上させることができる、という特有な効果が得られる。

ステレオカメラの実施例１の構成を示す概略図である。 被写体からプリズム分の光路厚さを通って、レンズにより撮像素子に結像する光路の例を示す図である。 ステレオカメラの実施例２の構成を示す図である。 ステレオカメラの実施例２の構成を示す図である。 ステレオカメラを車両に搭載した例を示す図である。 実施例２の変形例１の構成を示す図である。 実施例２の変形例２の構成を示す図である。 ステレオカメラの実施例３の構成を示す概略図である。 ステレオカメラの実施例４の構成を示す概略図である。 クロスプリズムとプリズムとの間を保持する様子を示す概略図である。 ステレオカメラの実施例５の構成を示す概略図である。 光学絞りを撮像レンズの内部に配置した場合の概略図である。 ステレオカメラの実施例５の構成を示す図である。 ステレオカメラの実施例６の構成を示す図である。 ステレオカメラの実施例７の構成を示す図である。 ステレオカメラの実施例８の構成を示す図である。 ステレオカメラの実施例９の構成を示す図である。 ステレオカメラの実施例１０の構成を示す図である。 本発明の視差画像撮像装置に係る実施形態のカメラの構成を示す概略図である。 キャリブレーションを説明する概略図である。 偏光選択型のクロスプリズムの構成の一例を示す概略斜視図である。 偏光選択型のクロスプリズムの構成を示す概略平面図である。 クロスプリズムに入射する光の光路の様子を示す概略平面図である。 クロスプリズムに入射する光の光路の様子を示す概略平面図である。 ワイヤグリッド構造で形成された偏光子膜の顕微鏡写真を示す図である。 クロスプリズムの製造工程の一例を示す模式工程図である。 クロスプリズムの製造工程の一例を示す模式工程図である。 クロスプリズムの製造工程の一例を示す模式工程図である。 クロスプリズムの変形例１を示す概略平面図である。 クロスプリズムの変形例２の構成を示す概略平面図である。 クロスプリズムの変形例２の光路の様子を示す概略平面図である。 クロスプリズムの変形例２の光路の様子を示す概略平面図である。 クロスプリズムの変形例３の構成を示す概略平面図である。 クロスプリズムの変形例４の構成を示す概略平面図である。 クロスプリズムの構成例を示す図である。 光学フィルタと撮像素子の位置関係の対応を例示する図である。 光学フィルタと撮像素子の位置関係の断面図である。 モノクロセンサにおける画像処理装置の構成を示すブロック図である。 ＲＣＣＣ／カラーセンサにおける画像処理装置の構成を示すブロック図である。 偏光分離処理を説明する図である。 クロスプリズムにおけるプリズム間の隙間を説明する図である。 画像上の隙間を埋める処理を説明する図である。 カラーフィルタ及び偏光フィルタの配列を説明する図である。 倍率色収差補正と歪曲収差補正の原理を説明する図である。 撮像素子で実際に撮像される位置を説明する図である。 倍率色収差と歪曲収差の補正を説明する図である。 等角直線フィッティング及びパラボラフィッティングにおけるサブピクセル推定値と相違度の関係を示す特性図である。

以下、本発明の視差画像撮像装置に係る実施形態のステレオカメラの構成について説明する。
図１は実施形態のステレオカメラの実施例１の構成を示す概略図である。図１（ａ）、（ｂ）に示すステレオカメラ１００は、偏光重畳モジュール１０１、レンズ１０２、フィルタ１０３及び撮像素子１０４を含んで構成されている。そして、偏光重畳モジュール１０１は、偏光ビームスプリッタ１０１−１、偏光フィルタ１０１−２及びミラー１０１−３を備えている。図１に示すステレオカメラ１００は、偏光ビームスプリッタ１０１−１と偏光フィルタ１０１−２を用いて視差を有する２つの光路を合成し、１つのレンズ１０２を介して１つの撮像素子１０４で撮像する。つまり、レンズ１０２の前で完全に２つの光路は合成され、１つのレンズしか通らない。このため、レンズの特性が温度でずれたり、レンズの位置がずれたり、あるいはセンサの位置がずれたりしようが、両方の画像が同じようにずれるだけなので、完全に影響をキャンセルすることができる。これにより、非常に耐環境性のあるステレオカメラを実現できる。また、レンズとセンサが１つで済むため、安価である。更に、撮像素子とレンズとの位置関係がずれた場合にも、左右の画像が同じようにずれるため原理的に影響をキャンセルすることができる。図１のフィルタ１０３は、画素ごとに偏光子を有するフィルタである。ただし、図１の構成においては、左右の光路において、光路長差が生じており、例えば２の視差におけるピクセルマッチング処理で生じた光路長差を補填する処理が必要となるため現実的ではない。

また、この構成では、左右の画像の被写体までの距離が異なるため、レンズを通る同一位置の光路が左右の画像で一致しない。そのため、温度特性などにより、左右の画像の位置関係がずれてしまうという問題があった。人が眼でみるための三次元撮影・表示システムであり、高精度な左右の画像のマッチングが必要とされる距離を測定する測距演算が目的ではない場合にはこのような方法でも問題ない。しかし、測距演算を行う場合には、前述のとおり、測距演算のためには左右の画素どうしが０．１ピクセル精度でほぼ一致するようにする必要がある。このため、この方法では温度が変化した場合などに測距距離の誤差が大きくなる。

次に、プリズム（偏光重畳モジュール）分の光路厚さにより被写体までの光路が変わる点について説明する。図２に示す例は、被写体１１１からプリズム分の光路厚さを通って、レンズ１１３により撮像素子１０４に結像する光路の例である。図２（ａ）に示すように、被写体１１１からの左右の画像共に同じプリズム１１２を通る。そして、プリズム１１２の光路厚さの場合には、左右ともレンズ１１３を同じ光路が通るので、外乱の影響をキャンセルすることが可能である。しかし、図２（ｂ）に示すように、プリズム１１２の光路厚さが図２（ａ）のプリズム１１２の光路厚さより厚くなった場合には、図２（ｂ）中の点線で示すようにレンズ１１３を通る光路がずれることになる。図２（ｂ）中の実線は図２（ａ）の光路を示している。ここで、左右の画像の被写体１１１までの距離が異なるため、レンズ１１３を通る同一位置の光路が左右の画像で一致しない場合には、右の画像が図２（ａ）の状態、左の画像が図２（ｂ）の状態となる。これでは、左右の画像で温度など外乱の影響が変化し、キャンセルすることができない。

図３及び図４は、本実施形態のステレオカメラの実施例２の構成を示す図である。図４に示すように、ステレオカメラ２００は、基板２０１上に撮像素子２０２が実装され、撮像素子２０２上に光学フィルタ２０３が密着配置している。撮像レンズ２０４を介して被写体情報を撮影する。撮像レンズ２０４の前段には偏光選択型のクロスプリズム２０５が配置されている。更に、偏光選択型のクロスプリズム２０５の側面２０６、２０７に近接して三角柱のプリズム２０８、２０９が設けられている。

ステレオカメラ２００では光学フィルタ２０３としてＰ偏光情報とＳ偏光情報を画素単位で抽出可能な領域分割型偏光フィルタを有している。また、撮像レンズ２０４の前段に偏光選択型のクロスプリズム２０５、さらにクロスプリズム２０５に隣接してプリズム２０８、２０９を２個配置している。プリズム２０８、２０９は＋Ｚ方向からの光をＹ軸方向に偏光反射する全反射面を有する。偏光選択型のクロスプリズム２０５は、−Ｙ方向から側面２０６に入射するＳ偏光成分の光と、＋Ｙ方向から側面２０７に入射するＰ偏光成分の光を側面２１０の方向に偏光反射する。これにより、−Ｙ方向のＳ偏光画像と、＋Ｙ方向のＰ偏光画像が抽出することが可能である。

図１のステレオカメラ１００とは異なり、図２及び図３のステレオカメラ２００は＋Ｚ方向のＰ偏光画像とＳ偏光画像を同時撮影することが可能である。また、図３から明らかなように、左右のプリズム２０８、２０９の光線有効範囲の間に一定の距離を有するため、光路が一致したＰ偏光画像とＳ偏光画像から視差画像を形成することが可能である。このように本実施形態のステレオカメラは被写体までの距離情報が撮影可能なステレオカメラとして構成されている。従来の単一撮像素子と単一レンズを２つ並列配置させたステレオカメラに比べて、撮像レンズと撮像素子が１つで済むため低コスト化が図れる。また、従来のステレオ撮像装置では各レンズ間を支持する筐体の熱膨張などによる基線長の変化の測距誤差が生じる。しかし、本撮像装置では撮像レンズは１つであり、かつ支持部材自体に対応するプリズム自体が金属に対して熱膨張率の小さいため、基線長変化の測距への影響も抑制することが可能である。

なお、プリズムのように、ガラスなどの媒質で充填された構造ではなく、後述するように単なるミラーとクロス形状の偏光板の組み合わせでも同様の構造は作れる。その場合、レンズの画角が狭くならず、そのままの角度で各ミラーは受ける必要がある。このため、偏光重畳モジュールがきわめて大きくなる。よって、特に距離が長い被写体に近いミラー面から次のミラー面までが高屈折率の媒質で充填されていることが小型化には重要である。

本実施形態のステレオカメラを、例えば、図５に示すように自動車の車両前方を確認するものとして使用することが可能である。車両前方確認装置は、自動車のフロントガラス内側のバックミラー付近に装備されたステレオカメラ３０１と、ステレオカメラ３０１からの情報に基づいて、ドライバへの警告や車両の制御を行うための信号処理装置３０２とを含んで構成されている。ドライバへの警告方法としては、スピーカをつかって音声などにより障害物情報を警告する。また車両制御としては、障害物がある場合は減速させたりする。本実施形態のステレオカメラを用いれば、車両前方の画像情報だけでなく、車両前方の先行車や歩行者までの距離情報を取得可能であり、障害物がある場合は運転者に早期警告を行うなどの、運転の安全性を確保することができる。

なお、車の車内に本実施形態のステレオカメラを設置する場合には、フロントガラスなどガラスを通じて外の被写体を撮影することになる。その時、フロントガラスの歪みや厚みムラ、曲率などが左右の対応する部分で異なり、左右の画像のマッチングが取れなくなる場合がある。これをキャンセルするためには、車内に撮像素子やレンズ部のみを設置し、ガラスよりも外側にクロスプリズムを設置すると良い。こうすることで、左右の画像共に同じフロントガラスの部分を通ることになり、同じようにフロントガラスの影響を受けるため、左右の画像はフロントガラスの具合によらず常にマッチングが可能となる。

また、本実施形態のステレオカメラは、左右の眼に異なる画像を映しだすことにより、人間に３次元の画像を表示するテレビと映画投影機などの表示装置とを組み合わせる。この結果、３次元の画像の取得と表示とを行う３次元画像取得・表示システムを構成することができる。人間の眼は左右の画像の回転や、大きさ、上下のずれ、また画質の違いに敏感である。このため、従来の２つのレンズを有するステレオカメラでは、ズーム／フォーカスを変更する際に、左右のレンズを連動させ、光軸や画像サイズ、フォーカスのずれを生じさせないように複雑な操作技術が必要とされていた。それに対して、本発明の構成では、単眼に対して２つの視差を持った映像が入射されるため、単一のレンズのズームやフォーカスを変更すれば、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の２つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。なお、ズームなどの光学系を可変にする場合には、２つのレンズの特性を厳密に補正するのは非常に困難となるため、本発明の構成は特に有用である。

また、プリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるが、図４の構成のプリズム２０８、２０９をミラー２１１、２１２に替えた実施例２の変形例１の図６の構成でも良い。また、実施例２の変形例２の図７に示すように、中央のクロスプリズムに関しても、プリズム形状ではなく、単なるクロス形状の偏光板２５０−１、２５０−２の組み合わせ（図７中では偏光選択型クロス板２５０）としても良い。その場合には、同じくプリズムの屈折率により入射光の角度が浅くなる現象が使えなくなるために、光学レイアウトが若干大きくなるものの、使用する硝材が少なくて済むため、コストを下げることができる。左右はプリズム、中央部は偏光選択型クロス板という構成でも良い。

次に、ステレオカメラの実施例３について説明する。
図８はステレオカメラの実施例３の構成を示す概略図である。図８に示すステレオカメラ２００は、偏光選択型のクロスプリズム２０５の上と下でセンサユニットを設けている。例えば、撮像素子２１４がカラー、撮像素子２０２がモノクロとする。あるいは、撮像素子２１４を高解像度なモノクロ、撮像素子２０２を低解像度なカラーとする。一般に色情報は輝度情報、また距離情報よりも高い空間分解能は必要ないことを前提と考えると、高い測距性能を確保できる高感度高解像度なモノクロセンサと、モノクロよりも感度で劣るカラーセンサは低解像度というセットで使う。これにより、明るい場面から暗い場面まで高い測距性能と、色情報を同時に得ることができる。また、この場合も光軸が左右で一致するため、キャリブレーションが容易である。

次に、ステレオカメラの実施例４について説明する。
図９はステレオカメラの実施例４の構成を示す概略図である。図９に示すステレオカメラ２００は、雨滴検出機能を持たせたものである。ＬＥＤ赤外光の光源２２０をウインドシールド２２１に投光し、センサ上面に付加した投光波長の光のみを通過させるフィルタ２２３を通じて、その反射光を見ることでウインドシールド２２１に付着した雨滴を検出することが可能である。そして、フロントガラスの全面が検出エリアとして利用できるため、より高感度な雨滴検出が可能となる。光源２２０からのＬＥＤ赤外光をウインドシールド２２１に投光し、センサ上面に付加した投光波長の光のみを通過させるフィルタ２２３を通じて、その反射光を見ることでウインドシールド２２１に付着した雨滴を検出することが可能である。精度を向上させるためには、検出面積が大きいことが重要であるが、図９の上部を使うことで、ステレオカメラと干渉せずに画面全面に対して検出を行うことができる。また、検出としては、画面全面における反射光の光量の和を見ればよいので、必ずしも検出に撮像素子を用いる必要はなく、かつ雨滴検出用のレンズの解像度も必要ない。このため、１つのＰＤ２２２と簡単なレンズ（例えば単レンズ）２２４などを用いる構成でも問題ない。

ここで、ステレオカメラの固定について説明する。
クロスプリズム２０５とプリズム２０８、２０９との間は接着剤で固定しても良い。左右の画像の光線を合わせるために、プリズムの角度を調整する必要がある場合には、クロスプリズム２０５とプリズム２０８、２０９の間に若干隙間ができる場合がある。その場合には、図１０のようにクロスプリズム２０５とプリズム２０８、２０９との間を保持する保持部材２３０で固定するのが良い。保持部材２３０が金属の場合には、その金属はプリズム２０８、２０９を主に構成するガラスに比べて熱膨張率が非常に大きい。このため、なるべく金属の保持部材２３０が短くて済むように、図１０のように隙間を埋めるだけのできるだけ小さい方が良い。また、可能であれば保持部材２３０に関しても同様に熱膨張率が小さいガラスで構成すると、温度特性に対する耐環境性が良くなる。

次に、ステレオカメラの実施例５について説明する。
図１１はステレオカメラの実施例５の構成を示す概略図である。本実施例は、実施例１〜４で用いていた、偏光選択型のクロスプリズムや偏光選択型の偏光板を用いずに、偏光ビームスプリッタ（偏光ビームスプリッタ）膜とミラー面（反射面）を用いている。そして、実施例１における左右の光路において、光路長差が生じているという課題を解決できる構成である。本実施例の構成では、左右の光路長は略同一となっている。このため、通常のステレオカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。また、この構成では、クロスプリズムを用いる場合と異なり、それぞれ一枚の偏光ビームスプリッタとミラーとを用いるため、画面中央の欠陥部（隙間）は存在せず、後述の隙間を埋める処理は必要なくなる。一方の光Ｒはミラー面（反射面）２３３により反射され、更に光ＲのＰ偏光の光は偏光ビームスプリッタ膜２３１で反射される。他方の光Ｌはミラー面２３２、２３４によりそれぞれ反射され、光ＬのＳ偏光の光は偏光ビームスプリッタ膜２３１を透過する。そして、Ｐ偏光とＳ偏光の光が合波され、撮像レンズ２０４に入射されて撮像素子２０２に結像する。光Ｌ、Ｒとは互いに同じ光路長差を有する。ここで、偏光ビームスプリッタ膜２３１としては、多層膜を使ったものでもよく、ワイヤグリッド偏光子を用いたものでもよいが、広範囲な入射角および入射波長に対して、安定した性能を持つワイヤグリッド偏光子を用いることが望ましい。

また、実施例５において光学系を小さく構成するために、画角中央の光線との、偏光ビームスプリッタ膜及びミラー面のなす角度αを４５度より大きく設定している。図１１（ａ）は、偏光ビームスプリッタ膜で反射又は透過した光が入射するミラー面のなす角度αを５２度に設定した場合である。図１１（ｂ）はαを４５度に設定した場合である。図１１（ｂ）におけるαを４５度にした場合では、図１１（ａ）におけるαを５２度とした場合と比較して、撮像レンズ２０４の画角端の光線が図中の左右方向へ大きく飛び出している。大きく飛び出した光線をカバーするため、プリズムの大きさが大きくなっている。つまり、画角中央の光線との、偏光ビームスプリッタ膜及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。αの上限値は９０度となる。ただし、αの上限値が９０度である場合には逆に４５度の場合よりプリズムの大きさが大きくなるので、最適値はレンズの画角に依存する。更に、図１１（ａ）に示すように光学絞り２３５をプリズム側寄りに配置していることに対して、図１２に示すように光学絞り２３５を撮像レンズ２０４の内部に配置している。図１２の光学絞り２３５の配置では、プリズムに対して既に画角に応じて光線が広がりを持つことになり、プリズムの大きさが図１１（ａ）の光学絞り２３５の配置の場合のプリズムより大きくなっている。撮像レンズの光学絞りの位置は、撮像レンズよりプリズム側寄りの前方にある前絞りの位置であることが望ましい。

また、偏光ビームスプリッタ膜は実際にはＰ偏光が反射モードにおいても、Ｓ偏光も若干反射するなど、完全な動作をするわけではない。そのため、左右の画像にクロストークを生ずる場合がある。その場合には、図１２の実施例に加えて、図１３に示すように被写体から偏光ビームスプリッタ膜までの光路の中に左右で互いに直交する方向の偏光子２４１を有することでこのクロストークを低減することができる。

また、以上の構成では、左右の画像において、偏光が異なるため、被写体に偏光特性があった場合には、視差のほかに偏光特性の差までが左右の画像の差として取得されることになる。このことは、被写体の偏光特性まで取得できるという点では利点があるが、距離を測る視差演算に関しては誤差を発生させる要因ともなる。そのため、以下の構成を取ることで、左右の画像共に被写体からの同じ方向の偏光画像を得ることができ、測距精度を向上させることができる。

図１４は本発明のステレオカメラの実施例６の構成を示す概略図である。同図において、一方の被写体から偏光ビームスプリッタ膜２３１までの間に、一方の被写体からの画像の偏光方向を他方の被写体からの画像の偏光方向と合わせる偏光面にするために、一方の開口部に１／２波長板２４２（偏光面変更手段）を設ける。これにより、左右の被写体からの画像が偏光ビームスプリッタ膜２３１を介して撮像素子２０２に到達させることができる。よって、２つの視差を有する画像を得ることができる。具体的には、一方の開口部からの画像を縦波に偏光させ、他方の開口部からの画像を横波に偏光させる構成になっている場合、被写体からの画像が縦波であるときは、他方の開口部からの画像が撮像手段に到達できるように他方の開口部に１／２波長板２４２を設ける。なお、図中の偏光子２４１はクロストークの低減のために入れているだけで、なくても良い。

図１５は本発明のステレオカメラの実施例７の構成を示す概略図である。同図において、図１４のような１／２波長板２４２の構成では被写体からの一方の画像の偏光面を変更させて撮影することになる。１／２波長板２４２の代わりに、両方の被写体から偏光ビームスプリッタ膜２３１までの間に、１／４波長板２４３（偏光面変更手段）を設けることでもよい。このため、両眼とも円偏光を撮影していることとなり、偏光方向に依存しない画像を撮影することになる。この例では両方の開口部に１／４波長板２４３を設けたが、いずれか一方の開口部に設けてもよい。この場合、測距演算のとき、１／４波長板２４３を設けた開口部からの画像とのマッチング処理における精度が両方の開口部に設けた場合に比して下がるが、比較的大きな精度落ちにはならない。なお、図中の偏光子２４１はクロストークの低減のために入れているだけで、なくても良い。

図１６は本発明のステレオカメラの実施例８の構成を示す概略図である。同図において、プリズム２０９の一部（ハッチングで示す部分）の材料を替え、偏光面変更手段として、ポリカーボネートなど光弾性係数が大きくランダムに複屈折があるような材料を充填する。これにより、入射してくる光の偏光をランダムにし、両眼とも偏光方向に依存しない画像を撮影することができる。この例でも両方のプリズム内の光路部に、ランダムに偏光状態を変更させる媒質を充填したが、いずれか一方の光路部に充填してもよい。

なお、上記実施例６〜８の構成は、実施例５の構成に限定されるものではなく、他の実施例の構成でも、１／２波長板、１／４波長板、又は光弾性係数が大きくランダムに複屈折があるような材料を用いることで実施可能である。

図１７は本発明のステレオカメラの実施例９の構成を示す概略図である。同図において、実施例５との違いは、偏光ビームスプリッタ膜に替えて、ハーフミラー２４４を用い、被写体からハーフミラーまでの光路の中に左右の画像で互いに直交する方向の偏光子を有している点である。本実施例の構成では、撮像素子に受光する光量が実施例１〜８に比して半分になってしまうが、高価な偏光ビームスプリッタ膜が必要ないため、安価に構成することができる。

図１８は本発明のステレオカメラの実施例１０の構成を示す概略図である。偏光ビームスプリッタ膜は光の長い波長域では特性が悪化する傾向がある。そのため、本実施例では、上記実施例９の構成に加えて、撮像素子と撮像レンズとの間に、赤外線カットフィルタ２４５を設け、左右の画像間のクロストークを低減することができる。なお、赤外線カットフィルタ２４５の設置位置は、図１８に示す位置に限らず、被写体から撮像素子までの間であればよい。また、偏光ビームスプリッタ膜に伴う左右の画像の透過光量を調整するために、左右の画像の光路におけるいずれかの光路中に減光フィルタを設けてもよい。

ここで、以上の実施例ではステレオカメラとして説明したが、本発明の視差画像撮像装置は単眼であるカメラについても適用できる。以下に、本実施形態のカメラについて説明する。
図１９は本発明の視差画像撮像装置に係る実施形態のカメラの構成を示す概略図である。上記特許文献１のように、レンズの瞳部分の異なる位置に２つ以上の偏光子を配置し、偏光方向に応じた視差を得る方法があるが、この方法にも本発明の構成を適用できる。同図において、被写体をイメージセンサ等の撮像素子２５１上の領域分割フィルタ２５２に結像するレンズ２５３において、レンズ絞り２５４の位置やその近辺にそれぞれ直交する方向の離れた偏光フィルタ２５５が存在する。これにより、偏光方向が異なる２つの視差を持った画像が撮像素子２５１上に結像される。撮像素子２５１上ではこれまでの実施例と同じく、領域分割された偏光子がピクセル毎に並んだ領域分割フィルタ２５２が設けられ、２つの画像を分離し、視差をもった２つの画像を得ることができる。このように、レンズ２５３の入射側の瞳部分に設けられている偏光フィルタ２５５と被写体側との間に、図１９のような１／２波長板２５６、あるいは１／４波長板又は光弾性係数が大きくランダムに複屈折があるような材料を用いる。これにより、被写体の偏光による左右の画像の差をなくし、測距精度を上げることができる。

次に、アライメントマークを用いて左右のカメラの画像の位置を一致させる実施例について説明する。
この構成ではレンズに入射する光線を一致させるために利用するマーカーとして、図２０に示すように光路上のクロスプリズム２０５やプリズム２０８、２０９に何等かのアライメントマーカー２６０を入れておくと良い。このアライメントマーカー２６０は例えば何らかのシールのようなものでも良いし、色を塗っても良いが、センサ上に結像していた方が望ましいため、曲率を持ったマーカーとすることが望ましい。このアライメントマーカー２６０を用いることで、製造時のキャリブレーションが容易になるほかに、使用中何らかの環境変化や衝撃などにより左右の位置関係がずれた場合に検出を行い、誤ってブレーキをかけるなどの重大アクシデントを防止することができる。

次に、本実施形態のステレオカメラに用いている偏光選択型のクロスプリズムの構成について説明する。
図２１は偏光選択型のクロスプリズムの構成の一例を示す概略斜視図である。図２２は偏光選択型のクロスプリズムの構成を示す概略平面図である。図２１に示すように、クロスプリズム１０は、三角柱プリズム１、２、３、４の頂角１４、２４、３４、４４どうしを突き合せて配置し、対向する三角柱プリズム１、２、３、４どうしを貼り合わせて接着固定されている。そして、対向する三角柱プリズム１、２、３、４の間には、上述したワイヤグリッド構造の偏光板が挟まれている。このように三角柱プリズムを設けることによって偏光板の平板収差を少なくすることができる。

そして、図２２に示すように、クロスプリズム１０の平面形状は、略正方形になっている。このクロスプリズム１０は、ガラスなどから成る略直角二等辺三角柱の四個の三角柱プリズム１、２、３、４、ワイヤグリッド構造の偏光板５、６、７、８、および接着層９を備えている。四個の三角柱プリズム１、２、３、４どうしが対向して隔てる間隙に、接着剤からなる接着層９及び偏光板５、６、７、８がそれぞれ形成されている。

三角柱プリズム１は、三つの側面１１、１２、１３を形成し、側面１２、１３が略直角に交わる頂角１４を有し、略直角二等辺三角柱に形成されている。三角柱プリズム２は、三つの側面２１、２２、２３を形成し、側面２２、２３が略直角に交わる頂角２４を有し、略直角二等辺三角柱に形成されている。三角柱プリズム３は、三つの側面３１、３２、３３を形成し、側面３２、３３が略直角に交わる頂角３４を有し、略直角二等辺三角柱に形成されている。三角柱プリズム４は、三つの側面４１、４２、４３を形成し、側面４２、４３が略直角に交わる頂角４４を有し、略直角二等辺三角柱に形成されている。そして、三角柱プリズム１、２、３、４は、頂角１４、２４、３４、４４どうしを突き合せて配置されている。

偏光板５は、平面基板５１上に偏光子層５２を形成し、さらに偏光子層５２は図示しない充填層によって覆われたものである。そして、図中の±Ｘ方向から進行してくる光に対して、Ｙ方向に偏光方向を有する光は反射し、Ｚ方向に偏光方向を有する光は透過する。偏光板６は、平面基板６１上に偏光子層６２を形成し、さらに偏光子層６２は図示しない充填層によって覆われたものである。そして、図中の±Ｘ方向から進行してくる光に対して、Ｙ方向に偏光方向を有する光は透過し、Ｚ方向に偏光方向を有する光は反射する。偏光板７は、平面基板７１上に偏光子層７２を形成し、さらに偏光子層７２は図示しない充填層によって覆われたものである。そして、図中の±Ｘ方向から進行してくる光に対して、Ｙ方向に偏光方向を有する光は反射し、Ｚ方向に偏光方向を有する光は透過する。偏光板８は、平面基板８１上に偏光子層８２を形成し、さらに偏光子層８２は図示しない充填層によって覆われたものである。そして、図中の±Ｘ方向から進行してくる光に対して、Ｙ方向に偏光方向を有する光は透過し、Ｚ方向に偏光方向を有する光は反射する。

また、偏光板５は、平面基板５１に対して偏光子層５２側を三角柱プリズム２の側面２３側に向けて配置する。図示しない充填層面と側面２３面間は接着剤で接合される。偏光板６は、平面基板６１に対して偏光子層６２側を三角柱プリズム２の側面２６側に向けて配置する。図示しない充填層面と側面２２面間は接着剤で接合される。偏光板７は、平面基板７１に対して偏光子層７２側を三角柱プリズム４の側面４３側に向けて配置する。図示しない充填層面と側面４３面間は接着剤で接合される。偏光板８は、平面基板８１に対して偏光子層８２側を三角柱プリズム４の側面４２側に向けて配置する。図示しない充填層面と側面４２面との間は接着剤で接合される。

そして、平面基板５１と三角柱プリズム１の側面１２との間は接着剤で接合される。平面基板６１と三角柱プリズム３の側面３３との間は接着剤で接合される。平面基板７１と三角柱プリズム３の側面３２との間は接着剤で接合される。平面基板８１と三角柱プリズム１の側面１３との間は接着剤で接合される。

接着層９は、三角柱プリズム１、２、３、４、偏光板５、６、７、８どうしが隔てる間隙に形成されている。そして、接着層９は、接着剤の硬化処理を一括して行うことにより形成され、四個の三角柱プリズムと、４枚の偏光板を接着固定している。この接着剤としては、透光性、ガラス接着性、精密性が良好な接着剤、例えば紫外線硬化型接着剤などが用いられる。

次に、図２３及び図２４を用いて、クロスプリズムに入射する光の光路について説明する。
図２３に示すように、三角柱プリズム４の側面４１から入射した光は偏光方向に応じて光路が＋Ｙ方向、−Ｙ方向それぞれに分岐される。三角柱プリズム４の側面４１に入射する光の光路Ｉ１では、Ｙ軸方向の偏光方向のＰ偏光成分の光は偏光板７の偏光子層７２で反射され、偏光板８の偏光子層８２で透過して−Ｙ方向に進む。一方、三角柱プリズム４の側面４１に入射する光の光路Ｉ１では、Ｚ軸方向の偏光方向のＳ偏光成分の光は、偏光板７の偏光子層７２を透過し、偏光板６の偏光子層６２で反射され＋Ｙ方向に進む。三角柱プリズム４の側面４１に入射する光路Ｉ２では、Ｓ偏光成分の光は偏光板８の偏光子層８２で反射され、偏光板７の偏光子層７２を透過して＋Ｙ方向に進む。一方、三角柱プリズム４の側面４１に入射する光路Ｉ２ではＰ偏光成分の光は偏光板８の偏光子層８２を透過し、偏光板５の偏光子層５２で反射され−Ｙ方向に進む。

図２４に示すように、三角柱プリズム２の側面２１から入射した光は偏光方向に応じて光路が＋Ｙ方向、−Ｙ方向それぞれに分岐される。三角柱プリズム２の側面２１に入射する光路Ｉ３では、Ｓ偏光成分の光は偏光板６の偏光子層６２で反射され、−Ｙ方向に進む。一方、三角柱プリズム２の側面２１に入射する光路Ｉ３では、Ｐ偏光成分の光は偏光板６の偏光子層６２を透過し、偏光板７の偏光子層７２で反射され＋Ｙ方向に進む。三角柱プリズム２の側面２１に入射する光路Ｉ４では、Ｐ偏光成分の光は偏光板５の偏光子層５２で反射され、偏光板６の偏光子層６２を透過して−Ｙ方向に進む。一方、三角柱プリズム２の側面２１に入射する光路Ｉ４では、Ｓ偏光成分の光は偏光板５の偏光子層５２を透過し、偏光板８の偏光子層８２で反射され−Ｙ方向に進む。

ここで、偏光板５、６、７、８としては、特定の偏光方向の偏光成分を透過し、それとは偏光方向が直交する偏光成分の光を反射する偏光板であればよい。この例では平面基板５１、６１、７１、８１上に、それぞれ偏光子層５２、６２、７２、８２を形成した偏光板を用いる。偏光子としてはワイヤグリッド構造などを用いればよい。偏光板５、６、７、８の平面基板５１、６１、７１、８１の材料としては、使用帯域（例えば、可視光域と赤外域）の光を透過可能な透明な材料、例えばガラス、サファイア、水晶等を用いることができる。この例では、ガラス、特に安価で、かつ耐久性もある石英ガラス（屈折率１．４６）やテンパックスガラス（屈折率１．５１）を用いると好適である。また、ガラスに限定されるものでなくプラスチックを用いてもよい。フィルム上のプラスチックを用いればプリズム間のギャップを狭くできるため、より望ましい。

次に、偏光子層について説明する。
偏光板５、６、７、８の偏光子層５２、６２、７２、８２は、図２５に示すような、ワイヤグリッド構造で形成された偏光子膜を有し、その面は凹凸面である。ワイヤグリッド構造は、アルミニウム等の金属で構成された特定方向に延びる金属ワイヤー（導電体線）を特定のピッチで配列した構造になっている。図２５に示す偏光子膜では、溝方向の偏光方向の光が入射したときは反射し、溝と直交する方向の偏光方向の光が入射したときは透過する。ワイヤグリッド構造のワイヤーピッチを、入射光の波長帯（例えば、可視光の波長４００［ｎｍ］から８００［ｎｍ］）に比べて十分に小さいピッチ（例えば１／２以下）とすることにより、以下の効果を奏する。すなわち、金属ワイヤーの長手方向に対して平行に振動する電場ベクトル成分の光をほとんど反射し、金属ワイヤーの長手方向に対して直交する方向に振動する電場ベクトル成分の光をほとんど透過させるため、単一偏光を作り出す偏光子層として使用できる。ワイヤグリッド構造の偏光子層は、一般に、金属ワイヤーの断面積が増加すると、消光比が増加し、更に周期幅に対する所定の幅以上の金属ワイヤーでは透過率が減少する。また、金属ワイヤーの長手方向に直交する断面形状がテーパー形状であると、広い帯域において透過率、偏光度の波長分散性が少なく、高消光比特性を示す。

そして、偏光子層をワイヤグリッド構造で形成することにより、以下の効果を有する。すなわち、ワイヤグリッド構造は、広く知られた半導体製造プロセスを利用して形成できる。具体的には、平面基板上にアルミニウム薄膜を蒸着した後、パターニングを行い、メタルエッチング等の手法によってワイヤグリッドのサブ波長凹凸構造を形成すればよい。また、ワイヤグリッド構造は、アルミニウム、チタン等の金属材料によって作製されるため、耐熱性に優れ、高温になりやすい環境下においても好適に使用できるという利点もある。ワイヤグリッド構造はサブミクロンオーダの構造物であるため組付などのハンドリングを想定すると保護しておくことが望ましい。

また、本例のように別部材（プリズムなど）へ密着接合する場合は、平行に配置されることが望ましく、平坦化層として充填材が形成されていることが望ましい。充填材は、偏光子層の金属ワイヤー間の凹部に充填される。充填材は、平面基板よりも屈折率が低いか又は同等の屈折率を有する無機材料が好適に利用できる。充填材は、偏光子層の金属ワイヤー部分の積層方向上面も覆うように形成されている。充填材の材料には、偏光子層の凹凸面を平坦化でき、かつ、偏光子層の機能を妨げない材料を用いる必要があるため、偏光機能を有しない材料を用いることが好ましい。また、充填材の材料には、その屈折率が空気の屈折率（屈折率＝１）に極力近い低屈折率材料を用いることが好ましい。充填材の具体的な材料としては、例えばセラミックス中に微細な空孔を分散させて形成してなる多孔質のセラミックス材料が好ましい。より詳しくは、ポーラスシリカ（ＳｉＯ_２）、ポーラスフッ化マグネシウム（ＭｇＦ）、ポーラスアルミナ（Ａｌ_２Ｏ_３）等を挙げることができる。

更に、これらの低屈折率の程度は、セラミックス中の空孔の数や大きさ（ポーラス度）によって決まる。平面基板の主成分が水晶やガラスからなる場合には、ポーラスシリカ（ｎ＝１．２２〜１．２６）が好適に使用できる。充填材の形成方法としては、これに限られるものではないが、例えば、ＳＯＧ（Spin On Glass）法を好適に用いることができる。具体的には、シラノール（Ｓｉ（ＯＨ）_４）をアルコールに溶かした溶剤を、平面基板上に形成された偏光子層上にスピン塗布し、その後に熱処理によって溶媒成分を揮発させ、シラノール自体を脱水重合反応させることで形成できる。偏光子層はサブ波長サイズのワイヤグリッド構造であり、機械的強度が弱く、わずかな外力によって金属ワイヤーが損傷してしまう。本例の偏光板は、三角柱プリズムに密着配置することが望まれるため、その製造段階において偏光板と三角柱プリズムとが接触する可能性がある。

本例では、偏光子層の積層方向上面が充填材によって覆われているので、三角柱プリズムと接触した際にワイヤグリッド構造が損傷する事態を抑制できる。また、本例のように充填材を偏光子層のワイヤグリッド構造における金属ワイヤー間の凹部へ充填することで、その凹部への異物進入を防止できる。

次に、偏光選択型のクロスプリズムの作製工程について説明する。図２６〜図２８はクロスプリズムの製造工程の一例を示す模式工程図である。図２６は三角柱プリズム形成工程を示し、図２７は偏光板の配置工程を示している。図２８は三角柱プリズムの配置工程を示している。図２６に示すように、三角柱プリズムの製造工程において、先ず三角柱プリズム１、２、３、４を製造する。例えば、三つの側面１１、１２、１３のうち二つの側面１２、１３が略直角に交わるように形成され、略直角二等辺三角柱の三角柱プリズム１を製造する。同様にして、三角柱プリズム２、３、４が製造される。また、前述のとおり、偏光板５、６、７、８が製造される。そして、図２７に示すように、配置工程において、例えば偏光板５、６、７、８の偏光子層側の面に接着剤９９１、９９２、９９３、９９４を塗布して配置される。そして、偏光板５、６は三角柱プリズム２の側面２２、２３に、偏光板７、８は三角柱プリズム４の側面４２、４３にそれぞれは位置される。なお、この接着剤９９１、９９２、９９３、９９４としては、透光性、ガラス接着性、精密性が良好な接着剤、例えば紫外線硬化型接着剤などが用いられる。

次に、図２８に示すように、位置決め工程において、頂角１４、２４、３４、４４どうしを突き合わせて配置して、三角柱プリズム１、２、３、４どうしの位置を決める。三角柱プリズム１、３の側面に接着剤９９５〜９９８が塗布されている。

次に、硬化処理工程において、例えば紫外線照射を行い、接着剤９９１〜９９８の硬化処理を一括して行うことにより、同一の硬化処理条件で接着層を形成し、三角柱プリズム１、２、３、４及び偏光板５、６、７、８どうしを接着固定する。これにより、図１に示す角柱状のクロスプリズムを形成することができる。なお、接着硬化させるまえの三角柱プリズム、偏光板としてはＺ軸方向に伸びた長尺状のものを用いていれば、配置ならびに接着硬化の工程が一回で済み、その後、切断工程だけをもうけてやればよい。

次に、クロスプリズムの変形例１について説明する。
クロスプリズムは上述の構成に限定されるものでなく、図２９のような変形例１の構成であってもよい。図２１及び図２２のクロスプリズムの構成との違いは三角柱プリズム３を除いたことである。三角柱プリズム１と三角柱プリズム２からなる光路及び、三角柱プリズム１と三角柱プリズム４とからなる光路のみを光学系として使用して、三角柱プリズム３を経由する光路を使用しない場合は三角柱プリズム３を除いても構わない。

次に、クロスプリズムの変形例２について説明する。
図３０はクロスプリズムの変形例２の構成を示す概略平面図である。変形例２のクロスプリズムは、クロスプリズム１０の三角柱プリズム２の側面２１と、クロスプリズム１０の三角柱プリズム４の側面４１に接着剤９９からなる接着層９を介して、それぞれ三角柱プリズム３１１と三角柱プリズム３１２を接合してなる。三角柱プリズム３１１は、三つの側面３２１、３２２、３２３を形成し、側面３２１、３２２が略直角に交わる頂角３２４を有し、略直角二等辺三角柱に形成されている。三角柱プリズム３１２は、三つの側面３３１、３３２、３３３を形成し、側面３３１、３３３が略直角に交わる頂角３３４を有し、略直角二等辺三角柱に形成されている。

次に、図３１及び図３２を用いて、変形例２のクロスプリズムに入射する光の光路について説明する。
図３１に示すように、三角柱プリズム３１２の側面３３３に入射した光は偏光方向に応じて光路が＋Ｙ方向、−Ｙ方向それぞれに分岐される。三角柱プリズム３１２の側面３３３に入射する光の光路Ｉ１では、Ｐ偏光成分の光は反射面３３２で反射され、光路を９０度偏光され、偏光板７の偏光子層７２で反射され、−Ｙ方向に進む。一方、三角柱プリズム３１２の側面３３３に入射する光の光路Ｉ１では、Ｓ偏光成分の光は反射面３３２で反射され、光路を９０度偏光され、偏光板７の偏光子層７２を透過し、偏光板６の偏光子層６２で反射され＋Ｙ方向に進む。三角柱プリズム３１２の側面３３３に入射する光の光路Ｉ２では、Ｓ偏光成分の光は反射面３３２で反射され、光路を９０度偏光され、偏光板８の偏光子層８２で反射され、＋Ｙ方向に進む。一方、三角柱プリズム３１２の側面３３３に入射する光の光路Ｉ２では、Ｐ偏光成分の光は反射面３１２で反射され、光路を９０度偏光され、偏光板８の偏光子層８２を透過し、偏光板５の偏光子層５２で反射され−Ｙ方向に進む。

図３２に示すように、三角柱プリズム３１１の側面３２３に入射した光は偏光方向に応じて光路が＋Ｙ方向、−Ｙ方向それぞれに分岐される。三角柱プリズム３１１の側面３２３に入射する光の光路Ｉ３では、Ｓ偏光成分の光は反射面３２２で反射され、光路を９０度偏光され、偏光板６の偏光子層６２で反射され、−Ｙ方向に進む。一方、三角柱プリズム３１１の側面３２３に入射する光の光路Ｉ３では、Ｐ偏光成分の光は反射面３２２で反射され、光路を９０度偏光され、偏光板６の偏光子層６２を透過し、偏光板７の偏光子層７２で反射され＋Ｙ方向に進む。三角柱プリズム３１１の側面３２３に入射する光の光路Ｉ４では、Ｐ偏光成分の光は反射面３２２で反射され、光路を９０度偏光され、偏光板５の偏光子層５２で反射され、＋Ｙ方向に進む。一方、三角柱プリズム３１１の側面３２３に入射する光の光路Ｉ４では、Ｓ偏光成分の光は反射面３２２で反射され、光路を９０度偏光され、偏光板５の偏光子層５２を透過し、偏光板８の偏光子層８２で反射され−Ｙ方向に進む。

次に、クロスプリズムの変形例３について説明する。
クロスプリズムは上述の構成に限定されるものでなく、図３３の変形例３のような構成であってもよい。図３１のクロスプリズムの構成との違いは、三角柱プリズム１２を接合するのではなく、三角柱プリズム４に三角柱プリズム１２の機能を融合させた４辺プリズムを用いる点である。また、三角柱プリズム１１を接合するのではなく、三角柱プリズム２に三角柱プリズム１１の機能を融合させた４辺プリズムを用いた点である。４辺プリズム４１０の側面４１５と、４辺プリズム４２０の側面４２５は、三角柱プリズム１の側面１１と平行となるように形成されてなる。接合する工程が省けるとともに、接合によるズレが抑制できるため、光路としての変化が抑制できる。結果、低コスト化が図れる。

次に、クロスプリズムの変形例４について説明する。クロスプリズムは上述の構成に限定されるものでなく、図３４のような変形例４の構成であってもよい。図３３のクロスプリズムの構成との違いは、４辺プリズム４１０の側面４１５と、４辺プリズム４２０の側面４２５は、三角柱プリズム１の側面１１と平行とならない構成であってもよい。このような構成とすることにより、側面４１５と側面４２５に入射する光路の各種角度に対応することができる。図３４（ｂ）、（ｃ）に示すような変形例４のクロスプリズムに入射する光の光路となる。

ここで、クロスプリズムの構成としては正方形（図３５（ａ））の構成に限定されるものでなく、図３５（ｂ）や図３５（ｃ）のような台形形状であってもよい。このような構成とすることにより、直交方向に光路を偏光するものに限定されず、各種偏光角のクロスプリズムを形成することができる。

次に、偏光分離用ＳＷＳフィルタについて説明する。
図３６は光学フィルタと撮像素子の位置関係の対応を例示する図である。図３７は図３６の断面図である。光学フィルタ４００において、フィルタ基板４０１は、撮像レンズを介して光学フィルタ４０２に入射する入射光を透過する透明な基板である。フィルタ基板４０１の撮像素子５００側の面には、偏光フィルタ層４０２が形成されている。偏光フィルタ層４０２を覆うように、更に充填層４０３が形成されている。光学フィルタ４００に入射した光のうち、偏光フィルタ層４０２を透過した光は、撮像素子５００の画素領域に入射する。偏光フィルタ層４０２には撮像素子５００の画素サイズに対応した偏光子が領域分割形成されている。偏光子としてはＳ偏光成分透過領域とＰ偏光成分透過領域が形成されている。図３８においてはＳ偏光成分透過領域とＰ偏光成分透過領域が短冊状のパタンであってもよい。ここでは撮像素子としてはモノクロのセンサを想定しているが、これに限定されるものでなく、カラーセンサであってもよい。偏光フィルタ層４０２が形成されている領域ではＰ偏光成分、Ｓ偏光成分の各領域の画像が撮影されるが、これらは後述するとおり差分画像を形成することにより視差画像として各種情報検知に使われる。

次に、画像処理装置について説明する。
図３８はモノクロセンサにおける画像処理装置の構成を示すブロック図である。図３８（ａ）は全体構成、図３８（ｂ）は視差計算処理部の構成を示す。図３９はＲＣＣＣ／カラーセンサにおける画像処理装置の構成を示すブロック図である。図３９（ａ）は全体構成、図３９（ｂ）は視差計算処理部の構成を示す。図３８において、イメージセンサからの画像が偏光分離処理部７０１に入力され、偏光分離処理部７０１によって偏光画像１及び偏光画像２に分離される。図４０に示すように偏光分離処理部７０１では、入力画像全体からピクセル単位で、Ｓ偏光成分のピクセルを取り出してＳ画像を形成する。これが偏光画像１である。一方、入力画像全体からＰ偏光成分のピクセルを取り出してＰ画像を形成する。これが偏光画像２である。

なお、実際にはこのまま出力された画像で視差演算を行った場合、Ｓ偏光画像とＰ偏光画像で１ピクセル縦に対応位置がずれているため、エッジなどで誤差が発生する場合がある。そのため、この偏光分離処理部７０１では、間の画素を補間することで、全ピクセルに対して、対応するＳ画素とＰ画素を有する画像を出力することが望ましい。例えば、図４０中のＰ画素に対応するＳ画素が欠陥しているが、その部分のＳ画素の値としては（Ｓ１＋Ｓ２）／２を割り当てるという方法がある。同様に、Ｓ画素に関しても上下の対応するピクセルのＰ画素で補間を行うことが可能である。結果出力画像としては、全ピクセルに対して、対応するＳ画素とＰ画素を有する画像を出力することができる。

ここで、図４１に示すようにクロスプリズムにおけるプリズム間の隙間が原因となって画面中央付近に画像の写らないエリアができる。そこで、この隙間を埋める処理が必要となる。図４２（ａ）に示すように画面右側の画像を左に寄せて、図４２（ｂ）のように隙間を埋めてしまう。個体差により、画像の写らないエリアがばらつくので、どの部分を埋めるかは個体ごとにパラメータとして持っておくと良い。処理する場所としては、図３８及び図３９の座標変換処理部７０３の後段で行うのが良い。なぜなら、座標変換処理部７０３の前段で行うと、座標変換で非連続点が必要となってしまうため、実装が困難となるからである。

次に、図３９の座標変換処理部７０６による色画像と輝度画像の算出処理について説明する。
カラーフィルタがある撮像素子と、Ｓ偏光／Ｐ偏光の偏光フィルタを使う場合であれば、Ｐ偏光の画素のみを取り出し、その画素の単純平均や人間の見た目の輝度に変換するため以下の式の重みづけ平均を演算することで、輝度値を算出する。カラーフィルタは図４３（ａ）に示す配列、偏光フィルタは図４３（ｂ）に示す配列となっている場合、輝度は以下の式で求められる。

もっとも簡単には以下の単純和が用いられる。
Ｙ（輝度信号）＝Ｒ１１＋Ｇ２１＋Ｂ２２
または、より輝度値を人間の見た目の輝度と合わせる場合には以下の式が用いられる。
Ｙ（輝度信号）＝０．２９９＊Ｒ１１＋０．５８７＊Ｇ２１＋０．１１４＊Ｂ２２

また、ＲＧＢカラーでは、ＲＧＢの画素値より、以下の式により、色差信号を作ることができる。
Ｃｒ＝０.５００＊Ｒ１１−０.４１９＊Ｇ２１−０.０８１＊Ｂ２２
Ｃｂ＝−０.１６９＊Ｒ１１−０.３３２＊Ｇ２１＋０.５００＊Ｂ２２
（ＣｒとＣｂは色差信号）

次に、図３８のクロストークキャンセル処理部７０２によるクロストークキャンセルについて説明する。理想的には、Ｓ偏光とＰ偏光として左右の画像がセンサ上に結像され、センサ上の偏光フィルタにより左右の画像が完全に分離される。しかし、実際には、クロスプリズムの偏光子の特性上、Ｓ偏光のみ反射すべき場合にも、Ｓ偏光だけではなく、Ｐ偏光も一部反射したり、その逆が起こる。また、センサ上に実装されているワイヤグリッド構造の偏光子もセンサのピクセル上にきれいに乗っているわけでなく、実際にはセンサのピクセル位置と偏光子の位置に微妙にずれが発生する。そのため、右画像に微弱な左画像が、また左画像に微弱な右画像が重畳される。これを以下ではクロストークと呼ぶ。得られた右画像や左画像に以下の式を演算することにより、このクロストークをキャンセルすることができる。
S=Sin-cc*Pin ・・・（１）
P=Pin-cc*Sin ・・・（２）

Scrosstalkcancel=S*(1+cc)/(1-cc^2) ・・・（３）
Pcrosstalkcancel=P*(1+cc)/(1-cc^2) ・・・（４）
但し、cc : クロストーク除去係数、
Sin,Pin : 入力信号、
Scrosstalkcancel, Pcrosstalkcancel : クロストークが除去されたＳ，Ｐ成分信号である。
クロストーク量は画面上の場所により異なる場合があるため、画面上の場所に応じてｃｃの量のテーブルを持っていることが望ましい。
上記の式の根拠を以下に開設する。
各画素には、クロストークにより以下のような信号が入ってくる。
Sin=(1-c)*Sori+c*Pori ・・・（５）
Pin=(1-c)*Pori+c*Sori ・・・（６）
但し、c:クロストーク量、Sin,Pin:クロストークがない真の入力信号、（５）式を（１）式に代入すると、
S=(1-c)*Sori+c*Pori-cc*Pin ・・・（７）
さらに、（６）式を（７）式に代入すると、
S=(1-c)*Sori+c*Pori-cc*((1-c)*Pori+c*Sori)
=(1-c)*Sori+c*Pori-cc*Pori+cc*c*Pori-cc*c*Sori
=(1-c-cc*c)*Sori+(c-cc+cc*c)*Pori
ここで、c=cc/(1+cc)とすると、
S=(1-cc/(1+cc)-cc^2/(1+cc))*Sori
=(1-cc^2)/(1+cc)*Sori
逆に、Soriを解くと、（３）式 Sori=S*(1+cc)/(1-cc^2)が得られる。

次に、図３８及び図３９の座標変換処理部７０３による座標変換処理について説明する。
高い測距性能を出すためには、レンズの歪みを補正する処理が必要であり、そのレンズの歪みを補正するのが座標変換処理である。歪み補正量のパラメータはレンズの設計値でも良いし、一台一台パラメータのキャリブレーションを行っても良い。

はじめに、座標変換処理の具体例である倍率色収差補正と歪曲収差補正の原理を説明する。モノクロセンサの場合には、歪曲収差補正のみを行い、カラーセンサの場合には、加えて倍率色収差補正も行うことが望ましい。図４４に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれる。さらに、倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、図４５に示すように、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、図４６（ａ）、（ｂ）に示すように、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする。すなわち、座標変換することで可能である。ここで、２、３、４の位置が座標変換元の座標、１の位置が座標変換先の座標となる。光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさがわかるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。そして、その位置座標データを基に、多項式やテーブルを準備しておき、それらの情報を基に入力画像の歪み（歪曲収差）や倍率色収差を補正するのが座標変換処理である。

次に、図３８及び図３９の視差計算処理部７０４による視差計算処理について説明する。
ブロックマッチング処理について、以下のように様々な方法があるが、本発明の方式では左右の画像に対象物の反射光自体の偏光比に基づく輝度差が入るため、ブロック内で正規化を行う方法が望ましい。これにより、その反射光自体の偏光比に基づく輝度差の分をキャンセルし、模様だけを視差計算に用いることが可能である。具体的には以下の方法の内、頭にＺの付く、ＺＳＡＤ,ＺＳＳＤ,ＺＮＣＣなどの手法を用いることが望ましい。

（１）ＳＡＤ(Sum of Absolute Difference)
ＳＡＤは、輝度値をそのまま減算することにより、画像間のマッチングを行う手法である。このＳＡＤは計算量が少なくて済む。

（２）ＳＳＤ(Sum of Squared Difference)
ＳＳＤは、ＳＡＤと同じように、輝度値をそのまま減算することにより、画像間のマッチングを行う手法である。ただし、ＳＡＤと異なり二乗を誤差量とする。

（３）ＺＳＡＤ(Zero mean Sum of Absolute Difference)
ＳＡＤの式から各ブロックの平均値を引いたものである。

（４）ＺＳＳＤ(Zero mean Sum of Squared Difference)
ＳＳＤの式から各ブロックの平均値を引いたものである。
NCC(Normalized Cross Correlation)
正規化相互相関で、明るさやコントラストに影響されにくいという特徴を持つ。

（５）ＺＮＣＣ(Zero mean Normalized Cross Correlation)
ＮＣＣから各ブロックの平均値を引いたものである。

次に、図３８及び図３９のサブピクセル推定処理部７０４−２によるサブピクセル推定処理について説明する。
高精度な視差演算を行うために、図４７に示す等角直線フィッティング及びパラボラフィッティングによって、１ピクセル以下のマッチングを行うサブピクセル推定処理を行う。

等角直線フィッティングでは、サブピクセル推定値が次のように推定できる。

パラボラフィッティングでは、サブピクセル推定値が次のように推定できる。

次に、偏光算出処理について説明する。
マッチングした領域の差分を取り出す方法としては、視差計算によりブロックマッチングした後に、マッチしたブロック同士でＳ偏光成分とＰ偏光成分の比（差）を計算する。この方法ではマッチングがうまくいっている場合には、良好な結果が得られるが、Ｓ偏光成分とＰ偏光成分が大きくずれているところだと、そもそもマッチングが失敗して取れない虞がある。これに対して、マッチングしなかった部分を取り出す方法としては、視差計算で全くマッチングしなかった画素部分に関してエラーを出力するという方法がある。つまり、視差計算探索範囲を超えているか、Ｐ偏光成分とＳ偏光成分との比が大きくずれている部分が検出される。Ｐ偏光成分とＳ偏光成分の差が大きければ大きいほど検出されるため、この方法はブロックマジックが失敗する場合に有効である。上記の方法により取り出した偏光情報は、路端（路面）検出や、路面上の凍結部分検出に使うことができる。

以上に説明したものは一例であり、本発明は、次の態様毎に特有の効果を奏する。
（態様１）
被写体からの２つの画像が画像重畳手段を介して撮像手段に到達するように、被写体からの２つの画像のうち、少なくとも一方の画像の偏光面を変更する偏光面変更手段を備えた。これによれば、上記実施形態について説明したように、被写体からの２つの画像の異なる偏光面の入射強度は、被写体について異なっている。この２つの画像は、画像重畳手段によって、互いに直交する偏光方向が１つの画像に重畳され、撮像手段に受光させなければ、撮像手段によって２つの視差を有する画像は取得できない。被写体からの画像が、例えばＳ波のみであった場合には、画像重畳手段によって、Ｓ波の画像を一方の画像、Ｐ波の画像は他方の画像で重畳され、一方の画像しか画像重畳手段を介して撮像手段に到達できない。そのため、偏光面変更手段によって２つの画像のうち、少なくとも一方の画像の偏光面を変更することにより、被写体から見た偏光方向の同じ２つの画像が、直交する方向の偏光方向に変換され、画像重畳手段を介して撮像手段に到達させる。これにより、被写体から見たときに偏光方向が互いに同じ２つの画像が、異なる方向の偏光方向で撮像手段に受光され、視差を有する２つの画像を取得することができる。この結果、左右の画像共に、同じ偏光方向の被写体を見ていることにより、測距演算を行った際のマッチング処理で、対応する画素を検索したときのマッチング処理結果の誤差を抑制し、マッチング処理の精度を向上させることができる。よって、被写体に偏光特性があったとしても、被写体からの偏光方向が互いに同じ２つの画像を取得でき、測距演算の精度を向上させることができる。
（態様２）
（態様１）において、偏光面変更手段が、２つの画像のいずれかの画像の偏光面を変更する１／２波長板を含んで構成されている。これによれば、上記実施形態について説明したように、左右の被写体からの同じ偏光方向の画像を得ることができる。
（態様３）
（態様１）において、偏光面変更手段が、２つの画像の少なくとも一方の画像の偏光面を変更する１／４波長板を含んで構成されている。これによれば、上記実施形態について説明したように、両眼とも円偏光を撮影していることとなり、偏光方向に依存しない画像を撮影することになる。
（態様４）
（態様１）において、偏光面変更手段が、２つの画像の少なくとも一方の画像の偏光状態をランダムに変更させる媒質を含む構造体である。これによれば、上記実施形態について説明したように、入射してくる光の偏光をランダムにし、両眼とも偏光方向に依存しない画像を撮影することができる。
（態様５）
（態様１）において、撮像手段によって撮像した画像から、偏光方向ごとに画像を分離することにより、視差をもった２つの画像を形成し、形成した２つの画像間の視差により被写体までの距離を算出する距離算出手段を有する。これによれば、上記実施形態について説明したように、温度による光学部材の歪みや撮像手段の取付位置変化が被写体までの距離算出に与える影響は少ない。
（態様６）
（態様１）〜（態様５）において、視差を有する２つの画像を１つの光路に重ね合わせる偏光合波手段を設け、２つの画像の光路における光路長を互いに略同じにする。これによれば、上記実施形態について説明したように、通常のカメラと同じく、単に視差演算の最に横方向のピクセルのみを探索することで視差を得ることができる。
（態様７）
（態様１）において、光学部材は、ズーム機能を有する。これによれば、上記実施形態について説明したように、両眼の画像に全く同じ変化が反映される。これにより、右眼用と左眼用の２つの異なる光学特性を持つことによって生じる光軸や画像サイズ、フォーカスずれを抑制することが可能で自然な立体画像を取得することができる。
（態様８）
（態様１）〜（態様７）のいずれかにおいて、光学部材は車両の車内に設置し、偏光方向変更手段は車両の車外に設置する。これによれば、上記実施形態について説明したように、車両のフロントガラスの歪みや厚みムラ、曲率などが左右の対応する部分で異なり、左右の画像のマッチングが取れなくなる場合がある。これをキャンセルするためには、車内に撮像素子、またレンズ部のみを設置し、ガラスよりも外側にクロスプリズムを設置すると良い。これにより、左右の画像共に同じフロントガラスの部分を通ることになり、同じようにフロントガラスの影響を受けるため、左右の画像はフロントガラスの具合によらず常にマッチングが可能となる。
（態様９）
（態様６）において、偏光合波手段は、被写体からの画像が最初の反射面から次の反射面までに媒質で充填されている。これによれば、上記実施形態について説明したように、距離が長い被写体に近いミラー面から次のミラー面までが高屈折率の媒質で充填されていることにより小型化が図れる。
（態様１０）
（態様１）において、偏光方向変更手段によって互いの偏光方向が揃った２つの画像を取得する視差画像取得手段を備え、該視差画像取得手段は、光学部材の瞳面、または該瞳面の周辺に２つの偏光子を含んだ面を有している。これによれば、上記実施形態について説明したように、撮像素子上では領域分割された偏光子がピクセル毎に並んだ領域分割フィルタ２５２が設けられ、２つの画像を分離し、視差をもった２つの画像を得ることができる。
（態様１１）
（態様１０）において、視差画像取得手段は、偏光ビームスプリッタ及びミラーを含んで構成されている。これによれば、上記実施形態１について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のカメラと同様に視差を得ることができる。
（態様１２）
（態様１０）において、視差画像取得手段は、ハーフミラー及び偏光子を含んで構成されている。これによれば、上記実施形態について説明したように、簡易な構成で、左右の光路長は略同一とすることができ、通常のカメラと同様に視差を得ることができる。
（態様１３）
（態様１１）において、視差画像取得手段は、偏光子を含んで構成されている。これによれば、上記実施形態について説明したように、クロストークを低減することができる。
（態様１４）
（態様１１）において、偏光ビームスプリッタの光学面又はミラーの反射面が光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、偏光ビームスプリッタ又は前記ミラーを設置している。これによれば、上記実施形態について説明したように、偏光ビームスプリッタ膜２３１又はミラー面２３２、２３３、２３４が設置されているプリズムの大きさを小さくすることができる。
（態様１５）
（態様１２）において、ハーフミラーの光学面又は偏光子の反射面が光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、ハーフミラー又は偏光子を設置している。これによれば、上記実施形態について説明したように、画角中央の光線との、ハーフミラー及びミラー面のなす角度を４５度より大きく設定することで、プリズムの大きさを小さくすることができる。
（態様１６）
（態様１０）〜（態様１５）のいずれかにおいて、視差画像取得手段と光学部材との間に、光学部材に入射する光線の量を規制する光学絞りを配置する。これによれば、上記実施形態について説明したように、偏光ビームスプリッタ膜２３１又はミラー面２３２、２３３、２３４が設置されているプリズムに入射するとき既に画角に応じて光線が広がりを有している。このため、光線の広がりに応じてプリズムの大きさを設定する必要があるが、光学絞り２３５をプリズム側寄りに設置することでプリズムが大きくなることを抑制できる。
（態様１７）
（態様１１）において、偏光ビームスプリッタは、ワイヤグリッド構造の偏光子膜が形成された面を有する偏光板を備えている。これによれば、上記実施形態１について説明したように、広く知られた半導体製造プロセスを利用して形成できる。耐熱性に優れ、高温になりやすい環境下においても好適に使用できる。
（態様１８）
（態様６）において、偏光合波手段は、クロスプリズムを含んで構成されている。これによれば、上記実施形態について説明したように、偏光選択型のクロスプリズムを用いて偏光方向が異なる視差画像を取り込む。よって、耐環境性に富み、かつ低コスト化が図れる。
（態様１９）
（態様１）〜（態様１８）のいずれかにおいて、視差をもった２つの画像間のクロストークを除去するクロストーク除去手段を有する。これによれば、上記実施形態について説明したように、クロストークのない真の偏光成分の画像を得ることができる。
（態様２０）
（態様１９）において、クロストーク除去手段は、画面上の位置によってクロストークをキャンセルする量を変化させる。これによれば、上記実施形態について説明したように、クロストークのない真の偏光成分の画像を得ることができる。
（態様２１）
（態様１８）において、クロスプリズムは、ワイヤグリッド構造の偏光子膜が形成された面を有する偏光板を備えている。これによれば、上記実施形態１について説明したように、偏光選択型のクロスプリズムを用いて偏光方向が異なる視差画像を取り込む。よって、耐環境性に富み、かつ低コスト化が図れる。
（態様２２）
（態様１８）において、クロスプリズムにおける対向する側面に三角柱プリズム又は四辺柱プリズム又はミラーを設ける。これによれば、上記実施形態について説明したように、三角柱プリズム又は四辺柱プリズムによって小型でかつ広範囲の視野を確保することができる。ミラーの場合は安価に構成することができる。
（態様２３）
（態様１）〜（態様２２）のいずれかにおいて、被写体から撮像手段までの間に赤外線カットフィルタを設ける。これによれば、上記実施形態について説明したように、左右の画像間のクロストークを低減することができる。
（態様２４）
（態様１）〜（態様２２）のいずれかにおいて、被写体から撮像手段までの間に減光フィルタを設ける。これによれば、上記実施形態について説明したように、偏光ビームスプリッタ膜に伴う左右の画像の透過光量を調整することにより、左右の画像間のクロストークを低減することができる。
（態様２５）
（態様１）〜（態様２４）のいずれかにおいて、光学部材の光学面において撮像手段の撮像面に結像する光が入射する範囲にアライメントマーカーを設ける。これによれば、上記実施形態について説明したように、製造時、使用中何らかの環境変化や経時変化のときにも簡単にキャリブレーションを行うことができる。
（態様２６）
（態様２５）において、アライメントマーカーは、曲率を有する面を備える透明部材であり、曲率を有する面によって焦点を撮像手段の撮像面上に結ぶ。これによれば、上記実施形態について説明したように、本来の測距に影響することなく、キャリブレーションを行うことができる。
（態様２７）
（態様１）〜（態様２６）のいずれかにおいて、撮像手段とは視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように、別の撮像手段を設ける。これによれば、上記実施形態１について説明したように、単体として多様な使用が可能となり、トータルとして低コスト化が図れる。
（態様２８）
（態様２７）において、移動体のウインドシールド上に特定波長の光を投光する光投光手段と、撮像手段とは視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように設けられた光検出手段と、光検出手段に特定波長の光のみを透過させるフィルタとを有し、ウインドシールドからの反射光の光量に基づきウインドシールドに付着する雨滴を検出する。これによれば、上記実施形態について説明したように、偏光を利用して雨滴センサ機能を付加することができる。
（態様２９）
（態様１）〜（態様２８）のいずれかにおいて、視差をもった２つの画像の内の少なくとも一つに対して、座標変換処理を行う座標変換手段を有する。これによれば、上記実施形態について説明したように、光学系の歪みを補正して距離測定の高い性能とすることができる。
（態様３０）
（態様１）〜（態様２９）のいずれかにおいて、視差をもった２つの画像のブロックマッチング演算の中に、ブロック内の平均値を減算する距離算出手段を有する。これによれば、上記実施形態について説明したように、左右の画像における偏光による差の分をオフセットすることでキャンセルできる。
（態様３１）
（態様１）において、撮像手段は、画素ごとに異なる方向の偏光子を有する。これによれば、上記実施形態について説明したように、異なる偏光方向の画素を取り出して左右の画像を構成できることで、左右の画像を分離することができる。
（態様３２）
（態様３１）において、撮像手段によって撮像化した画素の偏光状態を補間する偏光状態補間処理手段を有する。これによれば、上記実施形態について説明したように、出力画像としては、全ピクセルに対して、対応するＳ画素とＰ画素を有する画像を出力することができる。

１００ ステレオカメラ
１０１ 偏光重畳モジュール
１０１−１ 偏光ビームスプリッタ
１０１−２ 偏光フィルタ
１０１−３ ミラー
１０２ レンズ
１０３ フィルタ
１０４ 撮像素子
１１１ 被写体
１１２ プリズム
１１３ レンズ
１１４ 撮像素子
２００ ステレオカメラ
２０１ 基板
２０２ 撮像素子
２０３ 光学フィルタ
２０４ 撮像レンズ
２０５ クロスプリズム
２０６ 側面
２０７ 側面
２０８ プリズム
２０９ プリズム
２１０ 側面
２１１ ミラー
２１２ ミラー
２３１ 偏光ビームスプリッタ膜
２３２ ミラー面
２３３ ミラー面
２３４ ミラー面
２３５ 光学絞り
２４１ 偏光子
２４２ １／２波長板
２４３ １／４波長板
２４４ ハーフミラー
２４５ 赤外線カットフィルタ
２５１ 撮像素子
２５５ 領域分割フィルタ
２５３ レンズ
２５４ レンズ絞り
２５５ 偏光フィルタ
２５６ １／２波長板
２５７ レンズ
３０１ ステレオカメラ
３０２ 信号処理装置

特開昭６２−２１７７９０号公報

Claims (32)

1. 被写体からの２つの画像の偏光方向が互いに直交するように重畳する画像重畳手段と、該画像重畳手段によって重畳され異なる偏光方向の２つの画像を受光する撮像手段と、該撮像手段に結像させる光学部材とを備え、被写体からの視差を有する２つの画像を撮像する視差画像撮像装置において、
   被写体からの２つの画像が前記画像重畳手段を介して前記撮像手段に到達するように、被写体からの２つの画像のうち、少なくとも一方の画像の偏光面を変更する偏光面変更手段を備えたことを特徴とする視差画像撮像装置。
2. 請求項１記載の視差画像撮像装置において、
   前記偏光面変更手段が、２つの画像のいずれかの画像の偏光面を偏光する１／２波長板を含んで構成されていることを特徴とする視差画像撮像装置。
3. 請求項１記載の視差画像撮像装置において、
   前記偏光面変更手段が、２つの画像の少なくとも一方の画像の偏光面を変更する１／４波長板を含んで構成されていることを特徴とする視差画像撮像装置。
4. 請求項１記載の視差画像撮像装置において、
   前記偏光面変更手段が、２つの画像の少なくとも一方の画像の偏光状態をランダムに変更させる媒質を含む構造体であることを特徴とする視差画像撮像装置。
5. 請求項１記載の視差画像撮像装置において、
   前記撮像手段によって撮像した画像から、偏光方向ごとに画像を分離することにより、視差をもった２つの画像を形成し、形成した２つの画像間の視差により被写体までの距離を算出する距離算出手段を有することを特徴とする視差画像撮像装置。
6. 請求項１〜５のいずれかに記載の視差画像撮像装置において、
   視差を有する２つの画像を１つの光路に重ね合わせる偏光合波手段を設け、２つの画像の光路における光路長を互いに略同じにすることを特徴とする視差画像撮像装置。
7. 請求項１記載の視差画像撮像装置において、
   前記光学部材は、ズーム機能を有することを特徴とする視差画像撮像装置。
8. 請求項１〜７のいずれかに記載の視差画像撮像装置において、
   前記光学部材は車両の車内に設置し、前記偏光方向変更手段は車両の車外に設置することを特徴とする視差画像撮像装置。
9. 請求項６記載の視差画像撮像装置において、
   前記偏光合波手段は、被写体からの画像が最初の反射面から次の反射面までに媒質で充填されていることを特徴とする視差画像撮像装置。
10. 請求項１記載の視差画像撮像装置において、
    前記偏光方向変更手段によって互いの偏光方向が揃った２つの画像を取得する視差画像取得手段を備え、該視差画像取得手段は、前記光学部材の瞳面、または該瞳面の周辺に２つの偏光子を含んだ面を有していることを特徴とする視差画像撮像装置。
11. 請求項１０記載の視差画像撮像装置において、
    前記視差画像取得手段は、偏光ビームスプリッタ及びミラーを含んで構成されていることを特徴とする視差画像撮像装置。
12. 請求項１０記載の視差画像撮像装置において、
    前記視差画像取得手段は、ハーフミラー及び偏光子を含んで構成されていることを特徴とする視差画像撮像装置。
13. 請求項１１記載の視差画像撮像装置において、
    前記視差画像取得手段は、偏光子を含んで構成されていることを特徴とする視差画像撮像装置。
14. 請求項１１記載の視差画像撮像装置において、
    前記偏光ビームスプリッタの光学面又は前記ミラーの反射面が前記光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、前記偏光ビームスプリッタ又は前記ミラーを設置していることを特徴とする視差画像撮像装置。
15. 請求項１２記載の視差画像撮像装置において、
    前記ハーフミラーの光学面又は前記偏光子の反射面が前記光学部材の画角中央の光線とのなす角度が４５度より大きく設定されるように、前記ハーフミラー又は前記偏光子を設置していることを特徴とする視差画像撮像装置。
16. 請求項１０〜１５のいずれかに記載の視差画像撮像装置において、
    前記視差画像取得手段と前記光学部材との間に、前記光学部材に入射する光線の量を規制する光学絞りを配置することを特徴とする視差画像撮像装置。
17. 請求項１１記載の視差画像撮像装置において、
    前記偏光ビームスプリッタは、ワイヤグリッド構造の偏光子膜が形成された面を有する偏光板を備えていることを特徴とする視差画像撮像装置。
18. 請求項６記載の視差画像撮像装置において、
    前記偏光合波手段は、クロスプリズムを含んで構成されていることを特徴とする視差画像撮像装置。
19. 請求項１〜１８のいずれかに記載の視差画像撮像装置において、
    前記視差をもった２つの画像間のクロストークを除去するクロストーク除去手段を有することを特徴とする視差画像撮像装置。
20. 請求項１９記載の視差画像撮像装置において、
    前記クロストーク除去手段は、画面上の位置によってクロストークをキャンセルする量を変化させることを特徴する視差画像撮像装置。
21. 請求項１８記載の視差画像撮像装置において、
    前記クロスプリズムは、ワイヤグリッド構造の偏光子膜が形成された面を有する偏光板を備えていることを特徴とする視差画像撮像装置。
22. 請求項１８記載の視差画像撮像装置において、
    前記クロスプリズムにおける対向する側面に三角柱プリズム又は四辺柱プリズム又はミラーを設けることを特徴とする視差画像撮像装置。
23. 請求項１〜２２のいずれかに記載の視差画像撮像装置において、
    被写体から撮像手段までの間に赤外線カットフィルタを設けることを特徴とする視差画像撮像装置。
24. 請求項１〜２２のいずれかに記載の視差画像撮像装置において、
    被写体から撮像手段までの間に減光フィルタを設けることを特徴とする視差画像撮像装置。
25. 請求項１〜２４のいずれかに記載の視差画像撮像装置において、
    前記光学部材の光学面において前記撮像手段の撮像面に結像する光が入射する範囲にアライメントマーカーを設けることを特徴とする視差画像撮像装置。
26. 請求項２５記載の視差画像撮像装置において、
    前記アライメントマーカーは、曲率を有する面を備える透明部材であり、前記曲率を有する面によって焦点を前記撮像手段の撮像面上に結ぶことを特徴とする視差画像撮像装置。
27. 請求項１〜２６のいずれかに記載の視差画像撮像装置において、
    前記撮像手段とは前記視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように、別の撮像手段を設けることを特徴とする視差画像撮像装置。
28. 請求項２７記載の視差画像撮像装置において、
    移動体のウインドシールド上に特定波長の光を投光する光投光手段と、前記撮像手段とは前記視差を有する２つの画像を重ね合わせる手段を挟んで対峙するように設けられた光検出手段と、前記光検出手段に特定波長の光のみを透過させるフィルタとを有し、前記ウインドシールドからの反射光の光量に基づき前記ウインドシールドに付着する雨滴を検出することを特徴とする視差画像撮像装置。
29. 請求項１〜２８のいずれかに記載の視差画像撮像装置において、
    前記視差をもった２つの画像の内の少なくとも一つに対して、座標変換処理を行う座標変換手段を有することを特徴とする視差画像撮像装置。
30. 請求項１〜２９のいずれかに記載の視差画像撮像装置において、
    前記視差をもった２つの画像のブロックマッチング演算の中に、ブロック内の平均値を減算する距離算出手段を有することを特徴とする視差画像撮像装置。
31. 請求項１記載の視差画像撮像装置において、
    前記撮像手段は、画素ごとに異なる方向の偏光子を有することを特徴とする視差画像撮像装置。
32. 請求項３１記載の視差画像撮像装置において、
    前記撮像手段によって撮像化した画素の偏光状態を補間する偏光状態補間処理手段を有することを特徴とする視差画像撮像装置。