JP2015180864A

JP2015180864A - 偏光画像処理装置

Info

Publication number: JP2015180864A
Application number: JP2015028884A
Authority: JP
Inventors: 克洋金森; Katsuhiro Kanamori
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2014-03-04
Filing date: 2015-02-17
Publication date: 2015-10-15
Anticipated expiration: 2035-02-17
Also published as: JP2017058383A; US9307159B2; JP6399496B2; JP6078928B2; US20150256733A1

Abstract

【課題】透明または半透明の表面状態を検知することができる偏光画像処理装置を提供する。【解決手段】第１照明光の照明光軸と第２照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸で、第１方向に偏光した第１照明光、および、第１方向に交差する第２方向に偏光した第２照明光で、交互に、透明または半透明の被写体の第１面側を照射する照明部（１０３）と、戻り光を少なくとも２つに分離するスプリッタ（１０９）と、分離された戻り光が入射する第１、第２偏光撮像素子（１１０、１１１）とを備え、第１偏光撮像素子が取得した第１偏光画像、第２偏光画像、第２偏光撮像素子が取得した第３偏光画像、第４偏光画像に基づいて被写体の第１面と反対側に位置する第２面の状態を検出する偏光画像処理装置。【選択図】図４

Description

本開示は、透明または半透明の被写体に対して偏光照明および偏光撮像を行う偏光画像処理装置に関する。

車両のフロントガラス上の雨滴を画像センサによって検出することが試みられている。フロントガラス上の雨滴を光学的に検出できれば、ワイパーの動作を自動制御することが可能になる。しかし、ガラスおよび水滴はいずれも透明であるため、被写体の色および輝度に基づいて雨滴を検出することは困難である。

特許文献１は、偏光撮像によってフロントガラス上の雨滴を検出する従来技術を開示している。この技術では、車内から非偏光の赤外光でフロントガラスを照射し、車内のカメラによってフロントガラスの外側表面に付着した雨滴の画像を取得する。そのカメラは、フォトニック結晶を用いる赤外狭帯域フィルタと金属ワイヤグリッドを用いる偏光フィルタとを有する画像センサを備えている。偏光撮像を利用することにより、車外のシーンからフロントガラス上の雨滴の像を分離する画像処理が行われる。

特開２０１３−１１７５１９号公報

特許文献１に記載されている従来技術では、非偏光の照明光でフロントガラスを照射するため、照明光の光軸と撮像の光軸とがブリュースター角をなす必要がある。フロントガラスの傾斜および湾曲の程度または角度は、車の種類によって異なる。このため、画像センサにおける偏光フィルタの透過軸の角度、および、カメラ設置位置を車の種類に応じて調整する必要がある。

そこで、本開示は、透明または半透明の表面状態を検知することができる偏光画像処理装置を提供する。

本開示の一態様に係る偏光画像処理装置は、第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部とを備える。

本開示の画像処理装置は、偏光照明の切り替え、または戻り光の偏光特性の時間的切り替えを実施し、１個または複数の偏光撮像素子によって偏光撮像を実施する。本開示の画像処理装置は、フロントガラスと外部シーンを同時に撮像し、偏光差分処理によって外部シーンを除去できるため、フロントガラスの状態（例えば雨滴の存在）を検出することができる。

本開示の第１の実施形態の偏光撮像方法を示す図本開示の第１の実施形態の偏光撮像装置である撮像部を示す図撮像部に入射する光線の経路を示す図本開示の第１の実施形態の偏光撮像装置を示す図フロントガラス上雨滴の画像とその偏光差分処理結果を示す図外部シーンとダッシュボード写りこみ除去の詳細を示す図アクリル板上の雨滴を使った実験結果を示す図本開示の第１の実施形態における撮像部１０１の構造の一例を示す図偏光照明を行う照明部の別の例を示す図偏光撮像モードにおける撮像と画像メモリ読み書きのタイミングチャート通常撮像モードにおける撮像と画像メモリ読み書きのタイミングチャート本開示の第１の実施形態の変形例に関する偏光撮像方法を示す図本開示の第１の実施形態の変形例における偏光撮像装置の構成を示す図本開示の第１の実施形態の変形例における別の構成を示す図本開示の第２の実施形態の偏光撮像方法を示す図戻り光の反時計回り円偏光が直線偏光に変換される図戻り光の時計回り円偏光が直線偏光に変換される図本開示の実施形態２における偏光撮像装置の構成を示す図本開示の第３の実施形態の偏光撮像方法を示す図戻り光の時計回り円偏光が４５°方向の直線偏光に変換される図戻り光の時計回り円偏光が１３５°方向の直線偏光に変換される図本開示の実施形態３の偏光撮像装置の構成を示す図本開示の第４の実施形態の偏光撮像装置の構成を示す図本開示の第４の実施形態の変形例における偏光撮像装置の別の構成における層構造カラー偏光イメージセンサを示す図本開示の第５の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第６の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第６の実施形態の対物レンズとカラーフィルタの構成を示す図本開示の第６の実施形態の画素選択再集積処理を示す図本開示の第７の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第７の実施形態の開口部の偏光フィルタ構成を示す図本開示の第７の実施形態の画素選択再集積を示す図本開示の第８の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第８の実施形態の開口部の偏光フィルタ構成を示す図本開示の第８の実施形態の画素選択再集積を示す図本開示の第９の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第９の実施形態の画素選択処理を示す図本開示の第１０の実施形態の偏光撮像の方法を示す図本開示の第１０の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第１０の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第１０の実施形態の偏光撮像装置を示す図本開示の第１０の実施形態の偏光撮像装置の画素選択処理を示す図本開示の第１１の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第１２の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第１２の実施形態の偏光撮像装置の画素選択再集積を示す図本開示の第１３の実施形態の偏光撮像装置である撮像部の構成を示す図本開示の第１３の実施形態の偏光撮像装置の変形例を示す図

まず、本開示の種々の態様について説明する。

本開示の偏光画像処理装置は、ある態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸（撮影光軸）に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部とを備える。

ある実施形態において、前記処理部は、前記第１の偏光画像と前記第４の偏光画像とを平均化して平均化平行ニコル画像を生成する第１の処理と、前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、前記平均化平行ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理とを実行するように構成されている。

ある実施形態において、前記処理部は、前記第１、第２、第３および第４の偏光画像の加算によって輝度画像を生成するように構成されている。

ある実施形態において、前記照明部は、前記第１の照明光を発する複数の第１光源と、前記第２の照明光を発する複数の第２光源とを備える。

ある実施形態において、前記照明部、前記スプリッタならびに前記第１および第２の偏光撮像素子を有する撮像部を備え、前記処理部は、前記撮像部に接続されている。

ある実施形態において、前記処理部は、前記被写体の前記第２の面における水滴を検出する水滴検出部を備えている。

本開示の偏光画像処理装置は、ある態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、前記被写体からの戻り光を第１、第２、第３の光に分離するスプリッタと、前記スプリッタで分離された前記戻り光の前記第１の光が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の前記第２の光が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記スプリッタで分離された前記戻り光の前記第３の光が入射される第３の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに、前記第１の方向および前記第２の方向とは異なる第３の方向に偏光した第５の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第３の方向に偏光した第６の偏光画像を取得する第３の偏光撮像素子と、前記第１、第２、および第３の偏光撮像素子から前記第２、第３、第５および第６の偏光画像を取得し、前記第５の偏光画像および前記第６の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部とを備える。

ある実施形態において、前記第１の方向と前記第２の方向とは直交しており、前記第３の方向は、前記第１の方向に対して１０度以上６０度以下の範囲内の角度で傾斜している。

ある実施形態において、前記処理部は、前記第５の偏光画像と前記第６の偏光画像とを平均化して平均化傾斜ニコル画像を生成する第１の処理と、前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、前記平均化傾斜ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理とを実行するように構成されている。

ある実施形態において、前記処理部は、前記第１、第２、第３、第４の偏光画像の加算によって輝度画像を生成するように構成されている。

ある実施形態において、前記照明部、前記スプリッタ並びに前記第１および第２の偏光撮像素子を有する撮像部を備え、前記処理部は、前記撮像部に接続されている。

本開示の偏光画像処理装置は、ある態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の偏光状態にある前記第１の照明光、および、前記第１の偏光状態とは異なる第２の偏光状態にある前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記被写体からの戻り光を透過させるように配置され、右回り偏光の光および左回り偏光の光をそれぞれ第１の方向および前記第１の方向に直交する第２の方向に変換する位相差素子と、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部とを備える。

ある実施形態において、前記第１の偏光状態および前記第２の偏光状態の一方は右回りの円偏光または楕円偏光であり、他方は左回りの円偏光または楕円偏光である。

ある実施形態において、前記位相差素子は４分の１波長板である。

本開示の偏光画像処理装置は、ある態様において、照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部であって、円偏光または楕円偏光の照明光で透明または半透明の被写体の第１の面側を照射する照明部と、前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、前記被写体からの戻り光を透過するように配置され、前記戻り光を第１の方向に偏光した第１の偏光状態の光に変換する第１モードと、前記戻り光を前記第１の方向に対して直交する第２の方向に偏光した第２の偏光状態の光に変換する第２モードとで、交互に動作する可変位相差素子と、前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面とは反対側に位置する第２の面の状態を検出する処理部とを備える。

本開示の偏光画像処理装置は、ある態様において、第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、前記被写体からの戻り光が入射される偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像および前記第２の方向に偏光した第２の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第３の偏光画像および前記第２の方向に偏光した第４の偏光画像を取得する偏光撮像装置と、前記偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部とを備える。

ある実施形態において、前記偏光撮像装置は、イメージセンサと、前記イメージセンサの撮像面と前記被写体との間に位置する偏光板であって、前記第１の方向に偏光した光を透過する少なくとも１個の第１の偏光子と、前記第２の方向に偏光した光を透過する少なくとも１個の第２の偏光子とを含む偏光板とを有する。

本開示の偏光画像処理装置は、ある態様において、照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部であって、第１の方向とそれに直交する第２の方向の直線偏光が互いに位相がずれて合成された円偏光の照明光にて、被写体を照射する照明部と、前記被写体から反射した円偏光を含む戻り光が入射される偏光撮像装置部であって、前記戻り光を４分割する光分割部を有し、前記戻り光が前記第１の方向の直線偏光の状態に位相変化させる移相子と前記第１の方向の偏光子との両方を順に透過して得られる第１の偏光画像、前記戻り光が前記第１の方向の直線偏光の状態に位相変化させる移相子と前記第２の方向の偏光子との両方を順に透過して得られる第２の偏光画像、前記戻り光が前記第２の方向の直線偏光の状態に位相変化させる移相子と前記第１の方向の偏光子との両方を順に透過して得られる第３の偏光画像、前記戻り光が前記第２の方向の直線偏光の状態に位相変化させる移相子と前記第２の方向の偏光子との両方を順に透過して得られる第４の偏光画像を同時に取得する、偏光撮像装置部と、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、画像処理を行う処理部とを備える。

本開示の限定的ではない例示的な実施形態の基本構成の一例を説明する。

本開示の偏光画像処理装置の一態様は、照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部を備える。「略同軸」とは、両光軸が形成する角度が０〜３０°の範囲内にあることを言う。照明部は、第１の方向に偏光した第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した第２の照明光で、交互に、被写体を照射するように構成されている。「照明光軸が撮影光軸に対して略同軸」とは「第１の照明光の照明光軸と第２の照明光の照明光軸が撮像光軸に対して略同軸」であることをいう。第１の方向と第２の方向とが形成する角度は、例えば４５°〜１３５°の範囲内に設定され得るが、典型的には９０°または約９０°である。なお、本開示において、第１の照明光と第２の照明光とで「交互」に被写体を照射することは、第１の照明光の照射と第２の照明光の照射との間に他の（第３の）照明光の照射が行われることを排除しないものとする。

この偏光画像処理装置は、第１の態様によれば、被写体からの戻り光を少なくとも２つに分離するスプリッタと、スプリッタで分離された戻り光の一方が入射される第１の偏光撮像素子と、戻り光の他方が入射される第２の偏光撮像素子とを備える。第１の偏光撮像素子は、被写体が第１の照明光で照射されているときに第１の方向に偏光した第１の偏光画像（Ｌ０Ｃ０）を取得し、かつ、被写体が第２の照明光で照射されているときに第１の方向に偏光した第２の偏光画像（Ｌ９０Ｃ０）を取得する。また、第２の偏光撮像素子は、被写体が第１の照明光で照射されているときに第２の方向に偏光した第３の偏光画像（Ｌ０Ｃ９０）を取得し、かつ、被写体が第２の照明光で照射されているときに第２の方向に偏光した第４の偏光画像（Ｌ９０Ｃ９０）を取得する。

この偏光画像処理装置は、被写体の状態を検出する処理部を更に備えている。処理部は、第１および第２の偏光撮像素子から第１、第２、第３および第４の偏光画像を取得し、第１の偏光画像（Ｌ０Ｃ０）および第４の偏光画像（Ｌ９０Ｃ９０）の和と、第２の偏光画像（Ｌ９０Ｃ０）および第３の偏光画像（Ｌ０Ｃ９０）の和との間の差分に基づいて、被写体の状態を検出する。具体的には、透明または半透明の被写体の光入射側面と反対側に位置する面の状態を検出する。

Ｌ０は所定方向に対する偏光方向が０度の照射光、Ｌ９０は所定方向に対する偏光方向が９０度の照射光である。つまりＬＸは所定方向に対する偏光方向がＸ度の照射光を示す。

Ｌ０Ｃ０は所定方向に対する偏光方向が０度の照射光を照射したときの、所定方向に対する偏光方向が０度の偏光子（検光子）により観測される状態または観測される輝度または画像を示す。Ｌ０Ｃ９０は所定方向に対する偏光方向が０度の照射光を照射したときの、所定方向に対する偏光方向が９０度の偏光子（検光子）により観測される状態または観測される輝度または画像を示す。Ｌ９０Ｃ０は所定方向に対する偏光方向が９０度の照射光を照射したときの、所定方向に対する偏光方向が０度の偏光子（検光子）により観測される状態または観測される輝度または画像を示す。Ｌ９０Ｃ９０は所定方向に対する偏光方向が９０度の照射光を照射したときの、所定方向に対する偏光方向が９０度の偏光子（検光子）により観測される状態または観測される輝度または画像を示す。

すなわち、ＬＸＣＹは所定方向に対する偏光方向がＸ度の照射光を照射したときの、所定方向に対する偏光方向がＹ度の偏光子（検光子）により観測される状態または観測される輝度または画像を示す。

なお、上記の偏光画像処理装置の例では、照明部が、第１の方向に偏光した第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した第２の照明光で、交互に、被写体を照射するように構成されている。しかし、後述するように、第１の方向に偏光した成分と、第１の方向に交差する第２の方向に偏光した成分とが特定の位相で合成された円または楕円偏光の光を被写体に照射してもよい。照明部は、多様な構成をとり得、後述する実施形態の構成に限定されない。

以下、適宜図面を参照しながら、本開示の実施形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。

（第１の実施形態）
図１は、本開示の実施形態１における画像処理方法の処理の流れを示す図である。

被写体に対して照明Ｌが、光の進行方向に垂直な面内で０°（水平）および、９０°（垂直）の偏光角に電場振動面を有する直線偏光として時間的に交互に切り替えて照射される。以下、簡単のため、光の進行方向に垂直な面内で０°（水平）の偏光角に電場振動面を有する偏光状態を「０°」、９０°（垂直）の偏光角に電場振動面を有する偏光状態を「９０°」で表現する場合がある。受光側カメラＣでは、戻り光を受光して光を２分割し、照明と同様、平面内で０°（水平）および、９０°（垂直）の方位に偏光透過軸を有する直線偏光フィルタを介して２種類の偏光撮像が並列に行われる。すなわち、照明Ｌの偏光状態が０°の場合に、平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０とが取得され、照明Ｌの偏光状態が９０°の場合に、直交ニコル画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

照明Ｌの直線偏光は０°の状態、あるいは９０°の状態の１種類に固定したまま、戻り光を２分割した２枚の偏光画像を撮像する場合を考える。このような場合、この２枚の偏光画像は、異なる２系統の撮像特性の差を含んでいるため、２枚の画像を差分処理した偏光差分画像を生成すると、撮像特性の差を含んだ画像を得ることになる。

そこで、異なる２系統の撮像系の１種類だけを使うように固定したまま、照明Ｌの直線偏光を０°の状態、および９０°の状態の２枚の偏光画像を撮像することを考える。この場合には、この２枚の偏光画像は、異なる２系統の照明特性の照度分布やスペクトル分布の差を含んでいるため、２枚の画像を差分処理した偏光差分画像を生成すると、照明特性の差を含んだ画像を得ることになる。

そこで、本実施形態では、照明Ｌの偏光方向を切り替えて得られる合計４枚の取得画像を使って平均的な偏光差分画像（平均化偏光差分画像）を生成する。照明Ｌの偏光方向を切り替えると、カメラ側Ｃでは、２系統の撮像系で平行ニコルと直交ニコルの役割が交互に入れ替わる。このため、２系統の異なる撮像系と異なる照明系で取得された画像どうしを互いに平均化することができる。具体的には、２種の異なる撮像系の中間特性を有する仮想的撮像系で撮影された画像Ｉａｖである平均化平行ニコル画像Ｉａｖ（‖）と平均化直交ニコル画像Ｉａｖ（⊥）を生成する。
Ｉａｖ（‖）＝［Ｌ０Ｃ０＋Ｌ９０Ｃ９０］／２
Ｉａｖ（⊥）＝［Ｌ０Ｃ９０＋Ｌ９０Ｃ０］／２・・・・・・・・・（式１）
そして、このＩａｖに対して平均化偏光差分画像Ｉｄｉｆを生成する。
Ｉｄｉｆ＝Ｉａｖ（‖）−Ｉａｖ（⊥）・・・・・・・・・（式２）

このようにして生成された平均化偏光差分画像では、異なる２系統の撮像系と照明系の特性の差がキャンセルされている。このため、後段の画像処理でゲインアップなどの処理をしても良好な画質を維持できる。

なお、本明細書において、「平均化」とは、複数の画像の画素値を画素単位で加算することを意味し、加算された値を画像の枚数で除算する必要は無い。式１に示す例では、画像の枚数である２で加算値を割っているが、２で割る必要は無い。

上記の例（式１、式２）では、平均化の後、差分をとっているが、差分を先に得た後、平均化を行っても良い。すなわち、「Ｌ０Ｃ０−Ｌ０Ｃ９０」によって得られる差分と「Ｌ９０Ｃ０−Ｌ９０Ｃ９０」によって得られる差分とを加算し、平均化してもよい。

こうして、本実施形態によれば、２つの偏光撮像素子から第１、第２、第３および第４の偏光画像を取得し、偏光画像Ｌ０Ｃ０および偏光画像Ｌ９０Ｃ９０の和と、偏光画像Ｌ９０Ｃ０および偏光画像Ｌ０Ｃ９０の和との間の差分に基づいて、被写体の状態（表面の凹凸形状）を検出することが可能になる。

また、Ｉａｖどうしをさらに平均すると、非偏光照明の下で輝度撮像された従来の輝度画像を得ることができる。これは、以下の式に示すように、照明Ｌの偏光と撮像Ｃの偏光の影響を全てキャンセルした画像が得られるからである。
Ｉａｄ＝［Ｉａｖ（‖）＋Ｉａｖ（⊥）］／２＝［Ｌ０Ｃ０＋Ｌ０Ｃ９０＋Ｌ９０Ｃ０＋Ｌ９０Ｃ９０］／４

次に、本実施形態における偏光画像処理装置の構成を説明する。

図２（Ａ）は、本実施形態における撮像部１０１の設置位置の例を示す。撮像部１０１は車内に設置され、フロントガラス３００１を介して外部シーンを撮影する。撮像部１０１は、車載カメラとして機能する。「外部シーン」は、フロントガラス３００１を介して撮影され得る車外の被写体から構成され、例えば、路面、対向車両、交通信号機などを含み得る。撮像部１０１が取得した外部シーンの画像は、公知の処理を経て運転支援に利用される。本実施形態における撮像部１０１は、外部シーンの撮影だけではなく、フロントガラス３００１の状態を監視し、その表面状態を検出することができる。具体的には、フロントガラス３００１の表面（光入射側の面とは反対側の面）上の雨滴を検出することができる。

図２（Ｂ）は、本実施形態における撮像部１０１の構成例を示している。撮像部１０１は、後述する画像処理部に接続されている。処理部の一部または全部は、車外に配置され、ネットワークを介して車内の撮像部（車載カメラ）１０１に接続されても良い。

照明光の波長は、運転手や対向車への影響が無い赤外帯域（例えば約９００ｎｍ〜１０００ｎｍ）から選択され得る。照明光として白色光が使用されても良い。対物レンズ１０８は、無限遠から数メートルまでの外部シーンを主に撮影することに適したレンズが採用され得る。

図２（Ｃ）は、本実施形態で使われる撮像素子１１０、１１１の受光面における画素配列の一部を模式的に示している。撮像素子１１０、１１１は、単板カラー撮像素子である。撮像面に行および列状に配列された多数の画素は、可視光帯域ＲＧＢの他に、赤外帯域の画素ＩＲを有している。撮像部１０１が運転支援のために外部シーンを撮像するモードで動作するとき、照明は消灯されて、ＲＧＢ画素から通常のフルカラー画像が生成される。一方、フロントガラスの状態を監視するモードで動作するときは、赤外帯域の偏光を照射し、ＩＲ画素から赤外画像が生成される。

図３は、フロントガラス３００１が偏光照明で照射されているとき、フロントガラス３００１で反射される光線を模式的に示している。フロントガラス３００１上には、雨滴３００２が存在している。図３に示されるように、偏光照明の光線は、フロントガラス３００１の表面または雨滴３００２によって反射される。反射光の一部は、カメラに入射する。

本開示の実施形態では、同軸照明が実現しており、カメラの撮影光軸と偏光照明の光軸とは実質的に平行である。一方、フロントガラス３００１は、偏光照明の光軸に対して傾斜している。このため、偏光照明から出た光のうち、光線（Ｈ）は、光源の正反射であるハレーション光を形成するが、カメラには戻らない。雨滴３００２による反射および屈折を受けた光がカメラに戻ることができる。

照明光源から出てフロントガラス３００１を透過し、雨滴３００２で正反射されて再びカメラに戻る光線（Ｆ）は、偏光光源の偏光状態を維持している。すなわち、雨滴３００２による反射光は、照明光源からの直線偏光の向きと同じ向きに偏光した直線偏光である。フロントガラス３００１を透過して雨滴３００２の内部で２回反射して再びカメラに戻る光線（Ｓ）も、照明光源からの直線偏光の向きと同じ向きに偏光した直線偏光である。一方、光線（Ｔ）は、１回反射および２回反射によってカメラに戻らない。

なお、外部シーンからの大部分の光（Ｏ）は非偏光である。外光がフロントガラス３００１を透過してダッシュボード経由でフロントガラス３００１に反射する光（Ｄ）は、ブリュースター角に近くなることがあるため、水平（０°）に偏光する場合が多い。

図４は、本実施形態における偏光画像処理装置の全体構成を模式的に示す図である。

本実施形態では、雨滴検知モードにおいて、電場振動面の方位が０°と９０°の２種の直線偏光の赤外線１０５を時間的に順次交互に被写体に照射して、被写体から反射した戻り光１０７をビームスプリッタ１０９で２つの光路に分割する。そして、分割された戻り光１０７を、それぞれ、偏光板１１３、１１４を介して２枚の単板カラー撮像素子１１０および１１１によってカラー撮像を行う。

図４では、カラー撮像素子１１０で０°、カラー撮像素子１１１で９０°の偏光透過角で偏光撮像が行われる。ビームスプリッタ１０９を偏光ビームスプリッタに交換することにより、偏光板１１３、１１４を省略することもできる。

本実施形態では、撮像部１０１の先端部に配置したＬＥＤ、レーザー、あるいは有機ＥＬなどで実現される光源１０３と、偏光板１０４とで偏光照明光１０５を生成する。照明の偏光状態の切り替えと撮像のタイミングとは、照明・撮像同期部１１２で制御される。撮像された画像は、画像メモリＭ０、Ｍ１に格納され、次の照明の切り替えタイミングで撮像される画像との間で平均処理、輝度生成、偏光差分生成が行われる。

平均化平行ニコル画像Ｉａｖ（‖）および平均化直交ニコル画像Ｉａｖ（⊥）の伝送は、画像信号１１５および画像信号１１６が時間的に交互にその役割を担う。すなわち、照明の偏光が０°の場合には、画像信号１１５が平均化平行ニコル画像Ｉａｖ（‖）を表現し、画像信号１１６が平均化直交ニコル画像Ｉａｖ（⊥）を表現している。平均化偏光差分処理では、画像信号１１５から画像信号１１６を減算する。一方、照明の偏光方向が９０°の場合には、画像信号１１６が平均化平行ニコル画像Ｉａｖ（‖）を表現し、画像信号１１５が平均化直交ニコル画像Ｉａｖ（⊥）を表現する。平均化偏光差分処理では、画像信号１１６から画像信号１１５を減算する。

この切り替え制御は、差分方向信号１１７によって指定される。輝度生成部１２２で生成された輝度画像は、輝度処理部１２４によって通常撮像モードのカラー動画像として表示部１１８に表示される。偏光差分生成部１２６で生成された平均化偏光差分画像は、水滴検出部１２５に送られる。水滴検出部１２５は、平均化偏光差分画像に基づいて、画像の２値化処理により、雨滴の高輝度領域を抽出し、その後処理として雨滴領域を検出する。

画像合成部１３０は、例えば、検出した水滴を除去した画像を生成し、偏光撮像モードのカラー画像として表示部１１８に表示することができる。一方、水滴検出部１２５の出力に応じて、ワイパー制御部１２９はワイパーの動作を開始したり、ワイパーの動作スピードを調整し得る。

図５は、フロントガラス上の雨滴の画像と、その偏光差分処理の結果を示す図である。画像３２０１および画像３２０２は、偏光照明Ｌが０°の場合の撮像偏光角Ｃが９０°および０°の画像をそれぞれ示す。また画像３２０３および画像３２０４は、偏光照明Ｌが９０°の場合の撮像偏光角Ｃが９０°および０°の画像をそれぞれ示す。画像３２０２では、１つの雨滴領域の内部で、高輝度になる３つの部分楕円領域（Ｆ）および（Ｓ）を示す。（Ｆ）および（Ｓ）領域では、照明光の０°偏光成分を維持したままカメラに戻る光が多いために高輝度となる。これに対して、背景シーン（Ｔ）および（Ｏ）では外部シーンの非偏光画像であるため、本来のシーン輝度の１／２の輝度に低下し、ダッシュボード反射光である（Ｄ）領域は０°に偏光してハレーションとして写りこむ。一方、画像３２０１では、照明光の戻り光は直交ニコル状態のため雨滴からの偏光の戻り光は全て遮断される。そのため、外部シーンの非偏光画像の１／２の輝度のみが撮像され、ダッシュボードからの反射光も遮断される。

画像３２０３では、１つの雨滴領域の内部で、高輝度になる３つの部分楕円領域（Ｆ）および（Ｓ）を示す。照明光の９０°の偏光成分を維持してカメラに戻る雨滴の（Ｆ）および（Ｓ）の領域は、高輝度となるが、背景シーン（Ｔ）および（Ｏ）では外部シーン非偏光画像なので１／２の輝度となり、ダッシュボードからの反射光（Ｄ）も偏光なので遮断される。画像３２０４では外部シーンの非偏光画像（Ｏ）（Ｔ）である輝度１／２の画像と、０°の偏光を有するダッシュボードからの反射光（Ｄ）画像が撮像される。以上の画像は撮像素子が赤外の波長域で感度を有しているため、偏光撮像素子３０２（３０３）の赤外光画素ＩＲで取得されるため、全て赤外画像である。

以上の４種類の画像に対して、平均化平行ニコル画像３２０５は、３２０２および３２０３の平均化画像であるから雨滴の高輝度領域である（Ｆ）（Ｓ）と輝度が１／２になった外部シーン（Ｏ）（Ｔ）と輝度が１／２になった（Ｄ）とが撮像される。一方、平均化直交ニコル画像３２０６では、輝度が１／２になった外部シーン（Ｏ）（Ｔ）と輝度が１／２になった（Ｄ）とが撮像される。平均化偏光差分画像３２０７は、３２０５から３２０６を差分処理した結果であり、外部シーンが撮影されていた（Ｏ）（Ｔ）（Ｄ）の領域は消去され黒くなり、雨滴の（Ｆ）領域と（Ｓ）領域の明るい輝度領域のみが抽出できる。この偏光差分画像に対して画像処理の水滴検出部が、中央の高輝度点の座標から周囲の複数輝点までの半径距離を変えながら１つの雨滴に統合させるべき領域を推定する。この処理はよく知られた２値画像の膨張処理を使うことでも実現できる。

本実施形態では、フロントガラスの照明光が時間的に２種類に変化した効果が平均され、同時に平行ニコル、直交ニコル画像が平均化されているため、従来技術に比べてロバスト性や汎用性が向上している。

図６は、この効果を外部シーン除去とダッシュボード写りこみ除去を例に説明している。照明Ｌ０とＬ９０の照射と撮像がそれぞれ時刻Ｔ１、Ｔ２で実施されたとすると、この時間間隔の間に車の走行のため外部シーンが大きく変化する場合がある。

図６に示されるように、時刻Ｔ１に撮像された２枚の画像３３０１、３３０２の中央付近に存在した外部物体３３１０が、時刻Ｔ２に撮像された画像３３０３、３３０４では、左端付近の領域３３１１に移動している。

ダッシュボード写りこみの画像では、本来のダッシュボード写りこみ領域（Ｄ）の偏光度が低い場合、あるいは全く偏光していない場合がある。フロントガラスの湾曲等の影響により、フロントガラス内側面で反射した光は本来水平方向０°に偏光せず場所ごとに偏光軸の角度が変化することがある。この場合には、撮像側の偏光軸角度９０°で完全に遮断できずに輝度が残留することも多い。画像３３０１と３３０３における（Ｄ１）はこの残留した写りこみを示している。

しかし、平均化平行ニコル画像３３０５および平均化直交ニコル画像３３０６においては、画像３３１０と画像３３１１は平均輝度が両物体と背景の平均値となる和集合領域３３１２に統合される。また、ダッシュボードの写りこみ領域（Ｄ）も平均化の効果で同じ輝度の（Ｄ２）領域に変化する。その結果、平均化偏光差分画像３３０７がゼロとなる。このため、外部シーンが時間的に変化した効果も、ダッシュボード写りこみ領域の場所ごとの偏光状態の違いも共にキャンセルされて除去される。すなわち、外部シーンが車両動きのために移動する効果や、偏光状態が一定ではないダッシュボードの写りこみ光の遮断が確実に実現できるロバスト性と汎用性がある。

図７は、雨滴検出の偏光撮像と画像処理の結果を示す図である。実験は４５度に傾斜させた透明アクリル板のカメラ側から偏光照明を照射し、アクリル板の外側の水滴越しに背景となる外部シーンを撮影し、平均化平行ニコル画像３４０１と平均化直交ニコル画像３４０２を得る。偏光撮像装置の光学系を含めた消光比は実測で８０：１程度であり、１００：１以下であった。平均化平行ニコル画像３４０１及び平均化直交ニコル画像３４０２から平均化偏光差分画像３４０３を生成する。平均化偏光差分画像３４０３では、背景シーンが黒く除去され、雨滴領域を示す高輝度の領域だけが抽出される。この後、雨滴検出の処理を実行する。最終的には、雨滴領域の面積などの評価値を算出してワイパー制御部１２９に送る。

このように本実施形態によれば、カメラの消光比性能が１００：１以下でも、雨滴検出を実現できる。また、従来技術に比べ、車内におけるカメラ設置の場所およびフロントガラスに対する光照射の角度について自由度が増加する。更に、フロントガラスの湾曲による場所ごとの偏光状態の変化に対しても偏光カメラ側の微調整が不必要になる。

図８（Ａ）は撮像部１０１の構造の一例を示す断面図、図８（Ｂ）は、正面図である。なお、撮像部１０１の構成は、この例に限定されない。

複数の光源１０３と各光源１０３をカバーする偏光板１０４が、図８（Ｂ）に示すように、撮像部の先端にリング状に配列され、各々が独立に点灯可能な分割光源を形成している（分割数は、この図では１６分割）。この例では、リング状に配列された１６個の偏光板１０４は、その偏光透過軸が０°または９０°の方向を交互に向いている。このため、ある光源を基準として奇数番目に配列された光源から出射される光は、対応する偏光板１０４によって０°の方向に偏光した直線偏光になる。一方、偶数番目に配列された光源から出射される光は、対応する偏光板１０４によって９０°の方向に偏光した直線偏光になる。光源１０３の個数（分割数）は、１６個に限定されない。また、偏光透過軸が０°の偏光板１０４と偏光透過軸が９０°の偏光板１０４とは、必ずしも交互に配列されている必要は無い。

被写体からの戻り光は、リング状に配列された照明１０３の中心付近に位置する対物レンズ１０８を透過してビームスプリッタ１０９に導光される。戻り光は、ビームスプリッタ１０９によって２つの光路に分割されて並列に２系統の撮像が行われる。

本実施形態では、交互に隣接しない同種の８個の分割光源が選択され点灯することによって時間的に交互の直交した直線偏光照明の切り替えが実現される。上述したように、分割数や偏光板の配列は任意であるが、直線偏光の偏光方向を変化させた場合に光っている光源位置が大きく変化しないほうが望ましい。

図９（Ａ）は、偏光照明を行う照明部の別の例を示している。この例では、順次点灯する照明画素単位を十分小さく、数量を多くする。こうすることにより、点灯する光源位置の変動が撮像側で１画素以内に抑制され得る。図９（Ｂ）は、この面照明の全体構成を示す図である。面照明のＸ軸とＹ軸の各軸に順次点灯を制御するためのデータドライバが用意されており、Ｘ軸とＹ軸でアドレスされる画素が一斉に点灯する。例えば、ここではＸ軸とＹ軸の両方が偶数の画素（Ｘ_2mとＹ_2m）が一斉に点灯すると、それは偏光面が０°の照明光となる。そしてＸ軸とＹ軸のデータドライバの偶数、奇数の組みあわせによって、０°、９０°の偏光透過面を有する直線偏光照明光が得られることになる。

このような面発光照明を使う利点は、全体の照度や配光状態が一定のまま照明の偏光状態だけを変化できることである。照明に面光源を使用することにより、照明光の均一性が良くなる。その結果、透明なフロントガラスにおける非常に強い正反射輝度を低下させ、撮像を良好に行うことができる。ただし、偏光面を回転する照明は、ここで説明した分割光源を用いる以外でも、液晶の物性を用いる可変リターダ等の偏光移相子を用いても構わない。

上記の例では、光源１０３が撮像部１０１内に設けられているが、照明の軸と撮像の軸とが実質的に同軸であれば、光源１０３は撮像部１０１から分離されていても良い。

図１０は、図４の実施形態の偏光撮像モードにおける照明と撮像のタイミングを示すチャートである。図１０には、画像データを格納することができるメモリＭ０、Ｍ１の読み出し（ＲＤ）および書き込み（ＷＲ）のタイミングも記載されている。

光源１０３は直線偏光の透過軸の角度が０°と９０°に交互に切り替わるように点灯する。そして、各々の点灯期間中に、撮像素子１１０と撮像素子１１１によって並列にそれぞれ０°と９０°の偏光透過面で並列に１フレームの画像が偏光撮像される。これらの画像データは、平均処理部１２０へ送られる。同時に、画像メモリＭ０とＭ１から読み出された１フレーム前の画像データも平均処理部１２０へ送られて一緒に平均処理が実施される。

平均化平行ニコル画像Ｉａｖ（‖）、平均化直交ニコル画像Ｉａｖ（⊥）は、次に偏光差分生成部１２６、輝度生成部１２２などの演算処理部へと送られる。そして生成された平均化偏光差分画像は、水滴検出部１２５に送られる。水滴検出部１２５は、平均化偏光差分画像に基づいて、画像の２値化処理により、雨滴の高輝度領域を抽出し、その後処理として雨滴領域を検出する。

図１１は、図４の実施形態の通常撮像モードにおける照明と撮像のタイミングを示すチャートである。図１１にも、画像データを格納することができる画像メモリＭ０、Ｍ１の読み出し（ＲＤ）および書き込み（ＷＲ）のタイミングが記載されている。

光源１０３は、直線偏光の透過角度が０°と９０°の部分が同時点灯することにより、非偏光照明と等価になる。この点灯期間中に撮像素子１１０と撮像素子１１１によって並列にそれぞれ０°と９０°の偏光透過面で並列に１フレームの画像（偏光画像）データが取得される。これらの画像データは輝度処理部１２４へ送られて平均化される。この平均化により、偏光撮像が解消されて通常の輝度画像となる。このモードでは、画像メモリＭ０、Ｍ１および平均処理部１２０を使用する必要はない。また偏光方向が異なる光の同時照射ができるため、照明光量が多くなり、撮像素子の露光時間を短縮でき、結果的に高速の動画撮像が可能になる。

従来技術によれば、フロントガラスに投光する非偏光の赤外光源の正反射光のハレーションを偏光フィルタによって除去する必要があるため、ワイヤグリッド製の偏光フィルタの消光比も著しく高める必要があった。本発明者の実験によれば、これには１００：１程度以上の消光比が必要となりワイヤグリッド製偏光板での実現が困難になる。しかし、本実施形態によれば、照明一体型のカメラ筐体をドライバーが邪魔にならない位置に自由に設置でき、また、消光比が１００：１以下でも十分な性能を出すことが可能になる。

（第１の実施形態の変形例）
図１２は、本開示の第１の実施形態の変形例を示す。図１を参照して説明した実施形態では、受光側Ｃの偏光板の透過軸の方位が０°と９０°の２種類である。この変形例では、受光側Ｃの偏光板の透過軸の方位が０°と４５°と９０°の３種類から構成されている点が異なる。すなわち、図１の実施形態では、照明の偏光方向と撮像の偏光板の偏光方向（透過軸方向）とが平行状態の画像Ｌ０Ｃ０、Ｌ９０Ｃ９０を平行ニコル画像として用いていたのに対して、変形例では、偏光方向が４５度をなす画像Ｌ０Ｃ４５、Ｌ９０Ｃ４５を使用する。これらの画像を「傾斜ニコル画像」と称してもよい。これにより、偏光撮像モードにおいて、被写体の表面の傾きや平面度のため、偏光差分画像内に平行ニコル画像のハレーションが多すぎる場合、それを減少させることができる。

図１３は、本変形例における偏光画像処理装置の全体構成を模式的に示す図である。本実施形態における偏光画像処理装置は、撮像部２１００と、制御装置２００と、表示部１１８とを備える。

本変形例では、光の電場振動面が０°と９０°の２種の直線偏光の赤外線１０５を時間的に順次交互に照射する。被写体から反射した戻り光１０７をプリズム２０１で光路を３分割し、偏光板１１３、１１４、２０２を透過した光を３枚の単板カラー撮像素子１１０、１１１および２０３でカラー撮像を行う。図１３の例では、カラー撮像素子１１０で、０°、カラー撮像素子１１１で９０°、カラー撮像素子２０３で４５°の偏光透過角でそれぞれ偏光撮像が行われる。

照明の偏光状態の切り替えと撮像のタイミングは、照明・撮像同期部１１２で制御される。撮像された画像は、画像メモリＭ０、Ｍ１、Ｍ２に格納される。これらの画像は、次の照明の切り替えタイミングで撮像される画像との間で行われる平均処理、輝度生成、偏光差分生成に用いられる。

平均化平行ニコル画像Ｉａｖ（‖）と平均化直交ニコル画像Ｉａｖ（⊥）は、画像信号１１５と画像信号１１６が時間的に交互にその役割を担う。すなわち、照明の偏光が０°の場合には、画像信号１１６が平均化直交ニコル画像Ｉａｖ（⊥）、であり、照明の偏光が９０°の場合には、画像信号１１５が平均化された直交ニコル画像Ｉａｖ（⊥）となる。この両者の選択は、信号２０５に応答して選択部ＳＥＬが行う。平均化平行ニコルに相当する画像（平均化傾斜ニコル画像）は、画像Ｌ０Ｃ４５と画像Ｌ９０Ｃ４５の平均画像であるから、メモリＭ２から読み出された画像とカラー撮像素子２０３で撮像された画像との平均処理の結果として得られる画像信号２０４によって表現される。

平均化偏光差分生成部１２６では、画像信号２０４から選択部ＳＥＬの出力２０６を減算する。偏光差分の輝度生成部１２２で生成された輝度画像は、輝度処理部１２４によって通常撮像モードのカラー画像の動画として表示部１１８に表示される。平均化偏光差分生成部１２６によって生成された平均化偏光差分画像は水滴検出部１２５に送られる。水滴検出部１２５は、平均化偏光差分画像に基づいて、画像の２値化処理により、雨滴の高輝度領域を抽出し、その後処理として雨滴領域を検出する。

図１４は、本変形例における偏光撮像装置を示す図であり、０°／４５°／９０°の３種の偏光板と３個の単板カラー撮像素子とを有する。

本実施形態では、図１４（Ａ）の交互照明点灯モード、同図１４（Ｂ）の同時点灯モード、同図１４（Ｃ）の消灯モードの３種類の動作モードで動作を行うことができる。これらの動作モードは運転手が切り替えてもよいし、一定時間で自動的に切り替えられてもよい。

図１４（Ａ）および（Ｂ）のモードでは、光源を点灯させてフロントガラス上の状態である雨滴検出を実施する。図１４（Ｃ）のモードでは、外部シーンに基づく画像認識を実行し、運転支援を行う。

図１４（Ａ）の交互点灯モードでは、前述の実施形態について説明したように、雨滴検出を実施する。このとき、３種ある単板カラー撮像素子のうち、偏光板の偏光透過軸の方向が０°である撮像素子１１１と、偏光透過軸の方向が９０°である撮像素子１１０からの２種類の画像だけが撮像される。すなわち、偏光透過軸の方向が４５°の撮像素子２０３では撮像を実施しない。

図１４（Ｂ）の同時点灯モードでは、偏光方向が０°および９０°の直線偏光照明が同時に点灯するため、非偏光照明と同等の照明が実現する。

図１４（Ｃ）の消灯モードでは、シーンの非偏光照明を用いた偏光撮像カメラの動作が行われる。従って、雨滴などのフロントガラスの状態は検知されず、外部シーン認識のための偏光撮像を実施する。このモードでは、カメラが０°／４５°／９０°の３種の偏光板を有するため、フロントガラスの湾曲等により場所ごとに偏光状態が異なる場合にも、ダッシュボード反射光を効率的に除去した外部シーンを撮像できる。例えば特許第４４８６７０３号公報に記載されているように、３種類の角度の偏光透過面を有する偏光撮像装置では、画像の各画素位置によって３個の画素値を取得できる。この３点を通過する正弦関数カーブを最適に決定し、輝度の変動の最小値を差し引く処理をすると、場所ごとに異なる偏光を除去した画像が得られる。

（第２の実施形態）
図１５は、本開示の第２の実施形態の偏光撮像方法を示す図である。本実施形態では、照明光として、直線偏光ではなく円偏光を用いている。円偏光を用いることにより、被写体表面の特定の方向の偏光特性に依存せずに雨滴を平均的に検出することができる。

本実施形態では、被写体に対して照明Ｌが、光の進行方向に垂直な面内で時計回りおよび反時計回りの電場振動面を有する円偏光として時間的に交互に切り替えて照射される。偏光の回転方向は、通常は光の進む向きから観察して定義するが、ここでは、常にカメラ側から観察して定義するものとする。この座標系では、滑らかな平面に垂直に入射する円偏光の回転方向は反射しても不変である。

受光側カメラＣでは、戻り光を受光し、λ／４板で光の位相を変化させて直線偏光に変換した後に光を２分割し、照明と同様、平面内で０°（水平）および、９０°（垂直）の方位に偏光透過軸を有する直線偏光フィルタを介して２種類の偏光撮像が並列に行われる。λ／４板は、被写体からの戻り光を透過させるように配置され、右回り偏光の光および左回り偏光の光をそれぞれ第１の方向および第１の方向に直交する第２の方向に変換する位相差素子の１つである。円偏光照明Ｌが時計回りの場合に、平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され、円偏光照明Ｌが反時計回りの場合に、直交ニコル画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

図１６と図１７は、照射光が被写体から反射してきた戻り光の円偏光が直交する２種の直線偏光に変換される様子を示している。図１６は、戻り光が反時計回りの円偏光２３０１をλ／４板に通した結果、直線偏光２３０３に変換される場合を描いている。反時計回り円偏光２３０１はＸ軸の電場成分ＥｘとＹ軸の電場成分Ｅｙの位相について、Ｙ軸のほうがλ／４だけＸ軸より遅れている。

そこで、λ／４板の方位２３０２にあるようにＸ軸とＹ軸をそれぞれＦ（Ｆａｓｔ：進相）軸、Ｓ（Ｓｌｏｗ：遅相）軸に設定することにより、２３０４の矢印のようにＥｘをさらにλ／４だけ位相を進ませて、ＥｘとＥｙの位相差をλ／２すなわちπとする。これによって２３０３のような角度θ＝１３５°の直線偏光が得られる。

図１７は、戻り光が時計回りの円偏光２４０１をλ／４板に通した結果、直線偏光２４０３に変換される場合を描いている。時計回り円偏光２４０１はＸ軸の電場成分ＥｘとＹ軸の電場成分Ｅｙの位相について、Ｙ軸のほうがλ／４だけ進んでいる。そこで、λ／４板の方位２３０２と全く同様にＸ軸とＹ軸をそれぞれＦ（Ｆａｓｔ：進相）軸、Ｓ（Ｓｌｏｗ：遅相）軸に設定することにより、２４０４の矢印のようにＥｘをさらにλ／４だけ位相を進ませて、ＥｘとＥｙの位相差を０とする。これによって２４０３のような角度θ＝４５°の直線偏光が得られる。

図１８は、本開示の第２の実施形態における偏光画像処理装置の一部の構成を模式的に示す図である。この装置の全体構成は、図４に示す構成と同じであるため、それと異なる撮像部１０１の構成のみを記載している。

図１８の装置における照明部には、被写体側からλ／４板２５０１、偏光板１０４、および光源１０３がこの順序に配置されている。光源１０３は、出射する直線偏光の偏光面が０°の光源素子と９０°の光源素子とが交互に円周状に配列されている。光源素子の個数は例えば８個である。λ／４板２５０１は、そのＦ（Ｆａｓｔ：進相）軸とＳ（Ｓｌｏｗ：遅相）軸からなる光学軸が光源１０３から出射され偏光板１０４を透過した光の偏光面に対して４５°傾斜するように配置され、位相をλ／４だけ異ならせる。ここで偏光面が０°の光源素子のアレイと９０°の光源素子のアレイとを交互に選択して点灯することにより、時計回り２５０２および反時計回り２５０３の円偏光照明で時間的に交互に、かつ、空間的には略均等に被写体を照射することができる。

これらの円偏光は被写体に照射され反射し偏光度が低下した部分偏光の戻り光となってカメラ側に戻る。照明の円偏光の回り方に即して交互に時計回り円偏光２５０４および反時計回り円偏光２５０５の戻り光となる。この戻り光は、対物レンズ１０８を透過し、Ｆ（Ｆａｓｔ：進相）軸とＳ（Ｓｌｏｗ：遅相）軸からなる光学軸が撮像素子側の偏光フィルタに対して４５°傾斜するように配置されたλ／４板２５０６によって交互に直交する直線偏光に変換される。これらの直線偏光はビームスプリッタ１０９で光路分割される。そして、偏光フィルタ１１４、１１３を経由して撮像素子１１１、１１０に到達して偏光撮像がされる。

（第３の実施形態）
図１９は、本開示の第３の実施形態の撮像方法を示す図である。本実施形態では、照明光として、第２の実施形態と同じく円偏光を用いている。第２の実施形態と異なるのは、照明として１方向の回転の円偏光のみを用いる点である。これによって、照明部の構造を簡易にしつつ被写体表面の特定方向の偏光特性に依存せず雨滴を平均的に検出することができる。

被写体に対して照明Ｌが、光の進行方向に垂直な面内で時計回りまたは反時計回りの振動面を有する円偏光として照射される。偏光の回転方向は任意であるが、ここではカメラ側から観察して時計回りとする。

受光側カメラＣでは、戻り光を受光し、可変リターダ（可変位相差素子）で光の振動成分の位相を変化させて直線偏光に変換する。その後に光を２分割し、平面内で０°（水平）および、９０°（垂直）の方位に偏光透過軸を有する直線偏光フィルタを介して２種類の偏光撮像が並列に行われる。可変リターダは、液晶を用いた移相子といわれるものであり、ＬｉｑｕｉｄＣｒｙｓｔａｌＶａｒｉａｂｌｅＲｅｔａｒｄｅｒｓ（ＭｅａｄｏｗｌａｒｋＯｐｔｉｃｓ社）等の技術を用いることによって、印加電圧の制御により振動成分の位相を０〜λ／２まで変化可能なため円偏光の光を直交する２種の直線偏光に変換できる。可変リターダは、被写体からの戻り光を透過するように配置され、戻り光を第１の方向に偏光した第１の偏光状態の光に変換する第１モードと、戻り光を第１の方向に対して直交する第２の方向に偏光した第２の偏光状態の光に変換する第２モードとで、交互に動作する可変位相差素子である。すなわち、円偏光照明Ｌが時計回りの場合に、可変リターダへの電圧印加を時間的に制御すれば、たとえば可変リターダ状態０において平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され可変リターダの状態１において画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。

図２０と図２１は戻り光の円偏光が直交する２種の直線偏光に変換される様子を示している。図２０は、戻り光が時計回りの円偏光２７０１がＸ軸をＳ（Ｓｌｏｗ：遅相）軸、Ｙ軸をＦ（Ｆａｓｔ：進相）軸として位相差λ／４と設定した可変リターダを透過した場合、角度θ＝４５°の直線偏光２７０３に変換される場合を描いており、図２１では、同じく時計回りの円偏光２７０１がＸ軸をＦ（Ｆａｓｔ：進相）軸、Ｙ軸をＳ（Ｓｌｏｗ：遅相）軸として位相差＝λ／４に設定した可変リターダを透過した場合、角度θ＝１３５°の直線偏光２８０３に変換される場合を描いている。

図２２は、本開示の第３の実施形態における偏光撮像装置の構成を模式的に示す図である。本偏光画像処理装置の全体構成は、図４の構成と同じであるため、それと異なる撮像部１０１の先端部のみを記載している。本実施形態における照明部には、被写体側からλ／４板２９０１、偏光板１０４、および光源１０３がこの順序に配置されている。図のように偏光板１０４の方向に対して４５度傾斜させてλ／４板２９０１を配置することにより時計回り円偏光の照明２９０２が被写体に照射される。そして被写体から反射した戻り光は偏光度が低下した時計回り円偏光２９０３であり、これが対物レンズ１０８を透過して撮像側の偏光フィルタ軸に対して４５度傾斜した配置の可変リターダ２９０４に入射する。可変リターダ２９０４は、位相制御線２９０５による電圧印加により、その状態を交互に変化することができ、０°および９０°の直線偏光に変換されてビームスプリッタ１０９で光路分割されて偏光フィルタ１１４、１１３を経由して撮像素子１１１、１１０に到達して偏光撮像が実現される。

なお、本実施形態では、照明光を時計回りの円偏光と想定したが逆回りでも問題ない。また円偏光でなく楕円偏光の照明を用いてもよい。その場合、可変リターダ２９０４において位相をλ／４ではなく適当に修正してからビームスプリッタ１０９に入射すれば、本実施形態と同様の作用効果が得られる。

上記の実施形態では、ビームスプリッタを用いて複数の偏光撮像を同時に実行している。以下、ビームスプリッタを用いない実施形態を説明する。

（第４の実施形態）
図２３（Ａ）は本開示の第４の実施形態の偏光撮像装置を示す図である。

本実施形態では、撮像部１０１の別の構成として、０°／９０°の２種の偏光モザイク偏光フィルタをＲＧＢとＩＲの４波長帯域のカラー撮像素子上に形成したカラー偏光イメージセンサ３７０２を備える。光源１０３と偏光フィルタ１０４とを備える照明部は、前述した他の実施形態における照明部の構成と同様の構成を有している。

図２３（Ｂ）は、カラー偏光イメージセンサ３７０２の断面構造を示す図である。

入射光は、対物レンズ１０８から撮像面に到達する。最上面には金属製のワイヤグリッドモザイク３７０３が、その次にマイクロレンズ３７０４が設けられている。マイクロレンズ３７０４の役割は、光を効率的にＰＤ（フォトダイオード）３７０９へ集めることにある。マイクロレンズ３７０４の下には、平坦化層３７０５およびカラーフィルタモザイク３７０６がある。カラーフィルタモザイク３７０６は、有機物、金属、およびフォトニック結晶などから形成され得る。その下層には、平坦化層３７０７と配線層３７０８が設けられている。光の透過部分に配線層３７０８は存在しないので、被写体からの戻り光は、配線によって遮光されることなく、その下層にあるＰＤ３７０９に到達する。

図２３（Ｃ）は、カラー偏光イメージセンサ３７０２を上から見た図である。カラーフィルタモザイク３７０６とワイヤグリッドモザイク３７０３の平面構造との上下の対応関係をそれぞれ併置して示している。偏光透過軸の方向が０°および９０°のワイヤグリッドが、それぞれ、２×２画素領域に割り当てられている。２×２画素領域は、Ｒ、Ｇ、Ｂ、ＩＲの４波長のカラー画素が対応する。この結果、４つの波長帯域で偏光画像を並列に取得できる。

本実施形態によっても、図４の撮像部１０１と同様の動作を実現できる。すなわち、撮像部１０１は、被写体が第１の照明光で照射されているときに第１の方向に偏光した第１の偏光画像および第２の方向に偏光した第２の偏光画像を取得する。そして、被写体が第２の照明光で照射されているときに第１の方向に偏光した第３の偏光画像および第２の方向に偏光した第４の偏光画像を取得する。こうして、図５に示される平均化平行ニコル画像３２０５および平均化直交ニコル画像３２０６と同様の偏光画像を取得できる。このため、ビームスプリッタを用いないでも、偏光の同軸照明によってフロントガラス上の雨滴を検出することが可能になる。

このようにビームスプリッタを使用しない場合でも、第１の方向に偏光した光を透過する少なくとも１個の第１の偏光子と第２の方向に偏光した光を透過する少なくとも１個の第２の偏光子とを含む偏光板を、イメージセンサの撮像面と被写体との間に配置すれば、偏光方向が異なる複数の偏光画像を同時に取得することができる。

このような偏光撮像装置は、本実施形態における構成を有するものに限定されず、多様な構成を採用し得る。以下、偏光撮像装置の多様な構成例を説明する。以下の各偏光撮像装置を用いても、図５に示される平均化平行ニコル画像３２０５および平均化直交ニコル画像３２０６と同様の偏光画像を取得できる。

（第４の実施形態の変形例）
図２４は本開示の第４の実施形態の変形例の偏光撮像装置を示す図であり、カラー偏光イメージセンサ３７０２のさらに別の構成として０°／９０°の２種の偏光モザイク偏光フィルタをＲＧＢとＩＲの４波長帯域の層構造カラー偏光イメージセンサを示している。もとになる層構造カラーイメージセンサは、例えばMeenal Kulkarni and Viktor Gruev、"Integrated spectral-polarization imaging sensor with aluminum nanowire polarization filters",8 October 2012/Vo. 20, No. 21/OPTICS EXPRES 22997に開示されている構造を用いればよい。本構成では、さらに通常のＲＧＢの他にＩＲの画像を得る構造にしている点が特徴である。本実施形態によれば、カラー画像と偏光画像の取得を高い感度および高い解像度で実施し得る。

（第５の実施形態）
図２５は本開示の第５の実施形態の偏光撮像装置を示す図である。本実施形態では、ＲＧＢとＩＲの４波長帯域への色分解を４出力色分解プリズムによって実行する。本実施形態におけるカメラ３９０１は、光源１０３と偏光フィルタ１０４とを備える照明部については前述した他の実施形態と同じであるから以降説明は省略する。

図２５（Ａ）に示されるように、本実施形態の撮像部は、入射光を４つの波長帯域に分割する４出力色分解プリズム３９０２と、分割された光路上に置かれた４個のモノクロ偏光撮像素子３９０３とを備えている。モノクロ偏光撮像素子３９０３の撮像面には、０°／９０°の２種の広帯域の偏光モザイクフィルタが配置されている。

図２５（Ｂ）は、４出力色分解プリズムの４分解波長帯域Ｒ、Ｇ、Ｂ、ＩＲを示す。典型的には、Ｂが４００〜５００ｎｍ、Ｇが５００〜６００ｎｍ、Ｒが６００〜７００ｎｍ、ＩＲが９００〜１０００ｎｍである。

図２５（Ｃ）は、モノクロ偏光イメージセンサ３９０３の断面構造の一例を示している。この構成は、図２３（Ｂ）に示される断面構造とほぼ同一であるが、本実施形態では、カラーフィルタ３０６が無い点で異なる。

図２５（Ｄ）は、撮像面の平面構造を示している。０°／９０°の偏光透過軸を有するワイヤグリッドモザイク３７０３は画素に１対１に対応して配置されている。

本実施形態は、モノクロのワイヤグリッドモザイクを用いた偏光イメージセンサを利用することができる。

（第６の実施形態）
図２６は本開示の第６の実施形態の偏光撮像装置を示す図である。

本実施形態では、ＲＧＢとＩＲの４波長帯域への色分解を、色分解プリズムではなく、対物レンズ４００４の開口部上に配置された色フィルタ４００２によって実行する。

図示されているカメラ４００１では、マイクロレンズアレイ４００７とモノクロ偏光メージセンサ３９０３とが一体成型されたマイクロレンズアレイ型カラーイメージセンサ４００５を用いて色分解と偏光撮像とを行う。光源１０３と偏光フィルタ１０４とを備える照明部は、前述した他の実施形態における照明部の構成と同様の構成を備えている。

被写体上の１点４００６から発散した戻り光は、対物レンズ４００４上の２つの領域４００２の各々を透過し、マイクロレンズアレイ４００７を介してモノクロ偏光イメージセンサ３９０３の撮像面に到達する。このとき、対物レンズ４００４上の２つの領域４００２を通過する光線が異なる画素に到達する。このため、イメージセンサ３９０３上に形成される像は、全体としては被写体の像であるが、詳細には異なる２領域４００２からの視差画像を含む。画素を選択して集積するデジタル画像処理を行うことにより、２領域４００２を透過した画像を分離して２つの視差画像を生成することができる。

図２７（Ａ）は、対物レンズ開口部４００４およびカラーフィルタ領域４００２の断面構造を示す図である。開口部となる対物レンズ上には、図２７（Ｂ）に示すように、種類が異なる合計４個のカラーフィルタＲ、Ｇ、Ｂ、ＩＲが２行２列に配列されている。なお、カラーフィルタ領域４００２と対物レンズ４００４の設置順序は、被写体からの光に対して図２７（Ａ）と逆でもかまわない。

カラーフィルタ領域４００２の配列方法は図２７（Ｂ）以外でもよい。カラーフィルタ領域４００２は、有機物、フォトニック結晶、その他の任意のフィルタ材料から形成され得る。

図２８は、マイクロレンズアレイ型カラーイメージセンサ４００５を用いた撮像結果から偏光画像を生成する画素選択再集積の処理を説明する図である。センサ４００５上のイメージ上で４行４列に配列された画素ユニットが、対物レンズの開口部の４領域のフィルタからの光線に対応する。左上、右上、左下、右下の２行２列の４画素を全画像にわたり選択して再度集積する。こうすることにより、解像度は１／４×１／４に低下するが、それぞれＧの偏光モザイク像４２０１、Ｒの偏光モザイク画像４２０２、Ｂの偏光モザイク画像４２０３、ＩＲの偏光モザイク画像４２０４を分離することができる。

その後の処理は、前述した実施形態について説明した処理と同様である。本実施形態でも、Ｒ、Ｇ、Ｂ、ＩＲの各波長帯域で０°／９０°の偏光透過軸方向に偏光した光による偏光画像を得ることができる。

なお、本実施形態では、図２８で示すようにモノクロ偏光イメージセンサとして０°（水平）と９０°（垂直）の２種類のモザイク偏光子が整列しているものを例示しているが、これはたとえば０°／４５°／９０°／１３５°のような４種類のモザイク偏光子が整列していてもよい。３種類以上の偏光子を有すると、偏光照明を利用しなくても、一般のシーンにおける任意の入射光の偏光の主軸や偏光度を算出することが可能となる。そこで、照明光源を点灯した場合には、０°／４５°／９０°／１３５°のうち、０°と９０°の画素のみを用いてフロントガラス上の雨滴検出処理などを実現し、照明光源を消灯した場合には、４種類すべての偏光子を使うことによって、車外シーンの反射光の主偏光軸や偏光度を算出し、路面の状態を検出したり、湾曲のあるフロントガラスから写りこみを除去する撮像できる偏光カメラとして動作することが可能となる。

（第７の実施形態）
図２９は本開示の第７の実施形態の偏光撮像装置を示す図である。

本実施形態では、０°と９０°の偏光透過軸方向への光の分解を、対物レンズ４００４の開口部上に配置された偏光モザイクフィルタ４３０２によって実行する。

図示されているカメラ４３０１は、撮像面上にマイクロレンズアレイ４００７とＲ、Ｇ、Ｂ、ＩＲの４波長帯域画素を有する単板カラー撮像素子３０２とが一体成型されたマイクロレンズアレイ型カラーイメージセンサ４３０３を用いて色分解と偏光撮像を行う。光源１０３と偏光フィルタ１０４とを備える照明部は、他の実施形態における照明部の構成と同じ構成を備えている。

被写体上の１点４００６から発散した戻り光は、対物レンズ４００４上の２つの領域４３０２の各々を透過し、マイクロレンズアレイ４００７を介してカラーモザイクを配置したカラー撮像素子３０２に到達する。対物レンズ４００４上の２つの領域４３０２を通過した構成が異なる画素に到達する。このため、カラー撮像素子３０２上に形成される像は、全体としては被写体の像であるが詳細には異なる０°と９０°の偏光領域の像から成立する画像となる。各領域は、カラー撮像素子上のカラーモザイク２×２画素に対応している。

図３０（Ａ）は、本実施形態における開口部の偏光フィルタ領域４３０２の断面構造を示す図である。この例では、偏光フィルタとして金属ワイヤグリッド層を用いている。ワイヤグリッド層４４０１は、ピッチが１００ｎｍ程度の金属ワイヤが透明基板４４０２上に形成され、可視光から赤外範囲の広帯域で偏光動作を実現できる。

偏光フィルタ領域４３０２の後段には、対物レンズ４００４が設置されている。ワイヤグリッド層４４０１および対物レンズ４００４の配列の順序、ならびに、ワイヤグリット層４４０１と対物レンズ４００４との間隙の有無は、任意である。偏光板は、可視光範囲内の広帯域で偏光動作を実現するものであれば、ワイヤグリッド層に限定されず、ポリマー系偏光板なども利用可能である。ワイヤグリッド層は、Ａｌ（アルミニウム）などの多様な金属材料から形成され得る。ワイヤグリッド層４４０１は、単層に構造を有するものに限定されず、多層構造を備えていても良い。その場合、最表面には、光の吸収層を配置して反射を抑制してもよい。積層されたワイヤグリッドの間隙を他の材料で充填して機械的強度を増強してもよい。ワイヤグリッドの表面を化学反応から守るためにコーティングを行っても良い。

図３０（Ｂ）は偏光フィルタ領域４３０２の平面構造を示す図である。この偏光フィルタ領域４３０２は、０°と９０°の偏光透過軸を有する２×２の合計４個の偏光フィルタよって構成されている。

図３１は、マイクロレンズアレイ型カラーイメージセンサ４３０３を用いた撮像結果から、偏光画像を生成する画素選択再集積処理を説明する図である。センサ４３０３上のイメージ上で４×４の画素ユニットが、対物レンズ開口部の４領域のフィルタからの光線に対応するため、それぞれ左上、右上、左下、右下の２×２画素を全画像にわたり選択し再度集積することにより、解像度は１／４×１／４に低下するが、０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４５０１、４５０４、および９０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４５０２、４５０３を分離することができる。ここから、公知のカラーモザイク補間処理を行うことによりフルカラーと赤外の０°／９０°の偏光画像を得ることができる。

本実施形態の利点は、レンズ開口部に偏光板を設置できるため、個々の偏光モザイク素子のサイズを撮像素子上へ配置した場合よりも大きくできることである。たとえば、第５の実施形態で用いた偏光モザイク型の撮像素子では、偏光モザイク単位を形成する金属ワイヤ長は撮像素子の画素サイズに等しく典型的には１〜３μｍである。このような微細サイズでは、たとえワイヤグリッド個々の金属線のピッチは微細であってもワイヤグリッド長さや繰り返し本数が制限される。その結果、偏光板としての消光比性能は１０：１程度に低下するとされている。本実施形態では、レンズ開口部のサイズである０．５ｍｍ＝５００μｍ程度の比較的大判のワイヤグリッド偏光板を用いることができ、１００：１程度の高い消光比を実現することができ、性能上極めて有利となる。

（第８の実施形態）
図３２は本開示の第８の実施形態の偏光撮像装置を示す図である。

本実施形態では、０°と９０°の偏光透過軸方向への光の分解およびＲ、Ｇ、Ｂ、ＩＲへの波長帯域への光の分解の両方を、対物レンズ４００４の開口部上に配置されたカラー＆偏光複合モザイクフィルタ領域４６０２によって実行する。図示されているカメラ４６０１では、撮像面上にマイクロレンズアレイ４００７と広帯域波長感度を有するモノクロ撮像素子４６０４とが一体成型されたマイクロレンズアレイ型モノクロイメージセンサ４６０３を用いて色分解と偏光撮像を行う。光源１０３と偏光フィルタ１０４とを備える照明部については前述した他の実施形態と同じであるから説明は省略する。

被写体上の１点４００６から発散した戻り光は、対物レンズ４００４上の８領域４６０２を透過しマイクロレンズアレイ４００７を経由してモノクロ撮像素子４６０４に到達する。この際、対物レンズ上の領域の像が異なる画素に到達するため、モノクロ撮像素子４６０４上に形成される像は、全体としては被写体の像であるが詳細には対物レンズ上の８領域の像から成立する画像となる。

図３３（Ａ）は、本実施形態における開口部の偏光フィルタ領域４６０２の断面構造を示す図であり、この例では偏光フィルタとして金属ワイヤグリッド層を用いており、ワイヤグリッド層４７０１は、ピッチが１００ｎｍ程度の金属ワイヤがカラーフィルタ層４７０２上に形成され、可視光から赤外範囲の広帯域で偏光動作を実現できる。次の段には対物レンズ４００４が設置される。

図３３（Ｂ）は偏光フィルタ領域４６０２の平面構造を示す図であり、それぞれ０°と９０°の偏光透過軸とＲ、Ｇ、Ｂ、ＩＲの波長透過域を有する３×３合計９個の領域より構成される。９領域のうち未使用１領域はたとえばＷ領域としてカラーフィルタおよび偏光フィルタいずれも無い領域としてよい。

図３４は、マイクロレンズアレイ型モノクロイメージセンサ４６０３を用いた撮像結果から偏光画像を生成する画素選択再集積処理を説明する図である。センサ４６０３上のイメージ上で３×３の画素ユニットが、対物レンズ開口部の９領域のフィルタからの光線に対応するため、３×３画素を全画像にわたり選択し再度集積することにより、解像度は１／３×１／３に低下するが、０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４８０１、４８０３、４８０５、４８０７および９０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４８０２、４８０４、４８０６、４８０８を分離することができる。また図示していないが、Ｗ領域の画像も同様に分離される。ここから、フルカラーと赤外の０°／９０°の偏光画像を得ることができる。

本実施形態の利点は、ワイヤグリッド偏光板のワイヤ長サイズを大きくできるため消光比を向上できること、および解像度が１／３×１／３の程度で済むことである。

（第９の実施形態）
図３５（Ａ）は本開示の第９の実施形態の偏光撮像装置を示す図である。

本実施形態では、０°と９０°の偏光透過軸方向への光の分解を、複数の対物レンズ４６０２の各開口部上に配置された偏光モザイクフィルタ４３０２によって実行する。多眼カラーカメラ４７０１は、撮像面上にＲ、Ｇ、Ｂ、ＩＲの４波長帯域画素を有するカラー撮像素子３０２を有している。光源１０３と偏光フィルタ１０４とを備える照明部の構成は他の実施形態における照明部の構成と同じである。

被写体上の１点４００６から発散した戻り光は、２×２の合計４個の複眼対物レンズ４７０２上の偏光フィルタ領域４７０３を透過してカラーモザイクを配置したカラー撮像素子３０２に到達する。対物レンズ上の各領域の像が撮像面上に併置された異なる画像となる。

図３５（Ｂ）は、上記４個の多眼の対物レンズの開口（ＵＬ）、（ＵＲ）、（ＤＬ）、（ＤＲ）に対応する偏光フィルタの偏光軸を示す図であり、（ＵＬ）と（ＤＬ）が０°、（ＵＲ）と（ＤＲ）が９０°の偏光板が設置される。

図３６は、多眼カラーカメラ４７０１を用いた撮像結果から偏光画像を生成する画素選択処理を説明する図である。カラー撮像素子３０２上のイメージ上で４個の対物レンズ開口部の４領域を透過した画像は、それぞれ左上、右上、左下、右下に併置される。そこで取得画像を切り離して分離すると、解像度は１／４×１／４に低下するが、０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４９０１、４９０４、および９０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４９０２、４９０３とを分離することができる。ここから、公知のカラーモザイク補間処理を行うことによりフルカラーと赤外の０°／９０°の偏光画像を得ることができる。

本実施形態によれば、レンズ開口部に偏光板を設置するため、個々の偏光モザイク素子のサイズを撮像素子上へ設置する場合に比べて大きくでき、消光比を向上できる。

（第１０の実施形態）
図３７は、本開示の第１０の実施形態の原理を示す図である。本実施形態では、照明光として１方向に回転する円偏光を用いつつ、直線偏光を交互照射する場合と同様の画像処理を可能にしながら、照明部の構造を簡易にし、かつ４枚の異なる状態の偏光画像を時間的に同時に取得することによって画像処理を１フレーム内でリアルタイム処理することができる利点を有する。

本実施形態では、被写体に対して照明Ｌが、光の進行方向に垂直面内で回転する円偏光として照射される。偏光の回転方向は任意であるが、ここではカメラ側から観察して時計回りとする。受光側カメラＣでは、戻り光を２分割し光の振動成分の位相を２種類に変化させて０°と９０°の直線偏光に変換した後に、さらに各々にて０°および、９０°の面内で透過面を有する直線偏光フィルタにて２種類の偏光撮像が並列に行われる。

なお、ここでいう０°あるいは９０°はカメラ座標系を適当に設定した際に決定される角度であり、地表あるいは車における水平および垂直とあわせる必要はない。またカメラの撮像素子の水平方向が０°で垂直方向が９０°である必要もなく、カメラ座標系をカメラの撮像素子に対して任意の角度θだけ傾斜して設定すれば、その座標系にて０°と９０°が決定する。これは他の実施形態でも同じである。

円偏光は、０°と９０°の直線偏光を、位相をλ／４だけずらして、合成した光ということができ、上記２種の直線偏光が位相をずらして被写体を照射していることになるから、時間的に交互に直線偏光を照射するのと同様の効果を有する。本開示の原理説明において、直線偏光を照射した際、媒質で反射した戻り光は、直線偏光と非偏光（ランダム偏光）に変換され、円偏光になることはないと仮定していた。これは被写体の媒質が偏光照明を反射する際、位相変調がないと想定していることになる。従って円偏光の照明の場合、戻り光は上記０°と９０°の直線偏光が位相をλ／４ずらしたまま戻ってくる。そこで戻り光を分割してその位相をずらすことにより、円偏光に含まれている０°と９０°の直線の戻り光を時間的に同時に抽出することができ、これに対して０°と９０°の偏光観測をすることにより、本開示で利用していた４枚の偏光画像観測を同時に実施することができる。すなわち円偏光照明Ｌが時計回りの場合に、戻り光を分割して位相をずらした０°に相当するＬ０の光を生成し、ここから平行ニコル画像Ｌ０Ｃ０と直交ニコル画像Ｌ０Ｃ９０が取得され、同時に、戻り光を分割して位相をずらした９０°に相当するＬ９０の光を生成して、画像Ｌ９０Ｃ０と平行ニコル画像Ｌ９０Ｃ９０とが取得される。この同時取得された４枚の画像から平均化偏光差分画像を生成して画像処理をすることによって照明の照射と画像の生成までを時間的に同時に１フレーム時間内に実現できる。

図３８（Ａ）は、上記の原理に基づく実施形態１０における偏光撮像装置の構成を模式的に示す図であり、車載カメラの別の構成として撮像系と略同軸状態にある円偏光照明を有すると同時に、複数の対物レンズの開口部に設置された位相変調素子であるλ／４板と偏光板を透過させて、撮像面上にＲ、Ｇ、Ｂ、ＩＲの４波長帯域画素を有するカラー撮像素子を設置した多眼カラーカメラ３８０１を示している。

円偏光照明は撮像カメラの撮像光軸と略同軸の位置にあり、光源１０３、偏光板５２０１とλ／４板５２０２からなる光学素子を有し円偏光の照明５２０３を照射する。被写体で反射した戻り光５２０４は計４個（図では省略して２個のみ記載）の開口部５２０５、λ／４板５２０６、偏光板５２０７、対物レンズ５２０８を透過して単板カラー撮像素子３０２にて４枚の画像を生成する。単板カラー撮像素子はたとえばＲ、Ｇ、Ｂ、ＩＲの４波長帯のカラーフィルタのベイヤーモザイクフィルタを有するものでよく、図にはＧ、Ｒの２種類のモザイクのみを記載している。

図３８（Ｂ）は、照明部の円偏光の生成の詳細を示している。照明部には、被写体側からλ／４板５２０２、偏光板５２０１、および光源１０３がこの順序に配置されている。０°の軸方向の振動面を透過する偏光板の方向に対して４５度傾斜させてλ／４板を配置しＸ軸をＳ（Ｓｌｏｗ：遅相）軸、Ｙ軸をＦ（Ｆａｓｔ：進相）軸を設定すると、カメラ座標系Ｘ−Ｙにて時計回りの円偏光の照明が被写体に照射される。これを０°の直線偏光に対して+λ／４の位相変調を加えたということにする。５２０２の+λ／４の意味はこれを示す。

図３８（Ａ）の多眼カメラの開口部５２０５には被写体側からλ／４板５２０６、偏光板５２０７の順序で光学素子が配置され、次に対物レンズ５２０８が配置されている。これらは光軸上で重なって配置されている。対物レンズ５２０８と光学素子５２０６、５２０７の設置順序はこの逆でもかまわないがλ／４板５２０６と偏光板５２０７の順序は固定である。

図３９（Ａ）はこの開口部５２０５に配置されている４個の光学素子の平面配置を示しており、カメラに向ってＵＬ（左上）、ＵＲ（右上）には、−λ／４だけ位相変調するλ／４板が、ＤＬ（左下）、ＤＲ（右下）には、＋λ／４だけ位相変調するλ／４板が設置される。

図３９（Ｂ）には、上記の４個の光学素子の位相変調の詳細を示しており、戻り光の時計回り円偏光が入射する際に、Ｘ−Ｙ軸に対してＦ（Ｆａｓｔ：進相）軸とＳ（Ｓｌｏｗ：遅相）軸がそれぞれ異なる形で４５度傾斜したλ／４板が設置されているとこれらが−λ／４と＋λ／４の位相変調の役割をする。−λ／４の位相変調を受けると、戻り光の円偏光は、照明光生成時の５２０１を透過した状態と同じ０°の直線偏光５２０５に変換され＋λ／４の位相変調を受けると、円偏光は、さらに位相ずれを起こして９０°の直線偏光５２０６に変換される。これらの直線偏光は次に０°と９０°の２種の偏光板を透過する。

図４０（Ａ）には、４個の開口部に重なった形でこの２種の偏光板の配置を示しており、ＵＬ（左上）およびＤＬ（左下）、には、０°の直線偏光板が、ＵＲ（右上）、ＤＲ（右下）には、９０°の直線偏光板が設置される。

図４０（Ｂ）には、上記の偏光板の透過の詳細を示しており、戻り光の０°の直線偏光の成分に対して０°と９０°の透過軸を有する偏光板、および９０°の直線偏光の成分に対して０°と９０°の透過軸を有する偏光板での観測が行われて撮像素子で輝度値に変換される。なお図では戻り光には直線偏光の成分しか描かれていないが、実際には減衰した直線偏光成分と非偏光（ランダム偏光）成分の混合状態の光が観測されることになる。

本実施形態では多眼カメラが使われているため、４個の対物レンズによって結像された像は撮像面上に併置されている。

図４１は、多眼カラーカメラによって併置された状態で取得された４枚の画像撮像結果から偏光画像を生成する画素選択処理を説明する図である。単板カラー撮像素子５２０９上のイメージ上で４個の対物レンズ開口部の４領域を透過した画像は、それぞれ左上、右上、左下、右下に併置状態で結像する。そこで取得画像を切り離して分離すると、解像度は１／４×１／４に低下するが、４枚のＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像を分離することができる。ここから、公知のカラーモザイク補間処理を行うことによりフルカラーと赤外での４枚の偏光画像を得ることができる。

本実施形態では、０°と９０°の直線偏光を被写体に交互照射し、その戻り光を同じく０°と９０°の偏光撮像を実施して合計４枚の画像を取得して、そこから平均化偏光差分画像を生成するという時間軸で逐次的な方法を時間軸で同時に並列に実現することができるため車載カメラ応用としてリアルタイム性が向上する。また交互照射をする必要がないため偏光照明の構造が簡単になると同時に交互照射のために分割光源を使う場合に比較し光量も大きくできる。

なお、本実施形態では、照明光を時計回りの円偏光と想定したが逆回りでも問題ない。また円偏光でなく楕円偏光の照明を用いてもよい。その場合、位相をλ／４ではなく適当に修正すれば本実施形態と全く同じ作用が得られる。

（第１１の実施形態）
図４２は、本開示の第１１の実施形態の偏光撮像装置を示す図であり、第１０の実施形態と同じく、照明光として１方向に回転する円偏光を用いつつ、直線偏光を交互照射する場合と同様の画像処理を可能にしながら、照明部の構造を簡易にし、かつ４枚の異なる状態の偏光画像を時間的に同時に取得することによって画像処理を１フレーム内でリアルタイム処理することができるカメラ４２０１を示している。第１０の実施形態との相違点はλ／４板を用いる位相変調フィルタと０°／９０°の２種の偏光モザイク偏光フィルタとをＲＧＢとＩＲの４波長帯域のカラー撮像素子上に形成したカラー偏光イメージセンサ５６０２を用いる構成である。照明部については実施形態１０と同じであるから以降説明は省略する。

図４２（Ｂ）は、カラー偏光イメージセンサ５６０２の断面構造を示す図であり、入射光は対物レンズ１０８から撮像面に到達する。光が到達する構造を順次説明すると、まず最上面にはλ／４板の役割をする光学フィルタ５６０３が、次に金属製のワイヤグリッドモザイク３７０３が、その次にマイクロレンズ３７０４が設置される。

光学フィルタ５６０３の光学素子は移相子と称されるもので水晶、液晶など複屈折性の媒質にて形成される。

マイクロレンズの役割は光の効率的なＰＤ（フォトダイオード）への集光である。マイクロレンズの下には平坦化層３７０５およびカラーフィルタモザイク３７０６がある。このカラーフィルタは有機物を用いるものでもフォトニック結晶などを用いるもの、金属を使うものでもよい。その下層に平坦化層３７０７と配線層３７０８があるが、光の透過部分には配線は設置されていないため遮光されることなく、その下層にあるＰＤ（フォトダイオード）３７０９に到達する。

図４２（Ｃ）は、カラー偏光イメージセンサ５６０２の平面配置で、λ／４板を用いる位相変調フィルタ５６０３とカラーフィルタモザイク３７０６とワイヤグリッドモザイク３７０３の平面構造とこれらの間の対応を示す図である。５６０３と３７０３の重なり方から、図１５で示したのと同じ４種類の偏光撮像画像Ｌ０Ｃ０、Ｌ０Ｃ９０、Ｌ９０Ｃ０、Ｃ９０Ｃ９０が同時に各２×２画素領域において取得され、この４画素がそれぞれＲ、Ｇ、Ｂ、ＩＲの４波長のカラー画素が対応するため、４波長帯域で４種類の偏光画像を並列に取得できる。

（第１２の実施形態）
図４３（Ａ）は本開示の第１２の実施形態の偏光撮像装置を示す図であり、第１０の実施形態と同じく、照明光として１方向に回転する円偏光を用いつつ、直線偏光を交互照射する場合と同様の画像処理を可能にしながら、照明部の構造を簡易にし、かつ４枚の異なる状態の偏光画像を時間的に同時に取得することによって画像処理を１フレーム内でリアルタイム処理することができるカメラ５２００を示している。第１０の実施形態との相違点はλ／４板を用いる位相変調フィルタ５２０６と０°／９０°の２種の偏光モザイク偏光フィルタ５２０７は、対物レンズ４００４の開口部上に設置され、撮像面上にマイクロレンズアレイ４００７とＲ、Ｇ、Ｂ、ＩＲの４波長帯域画素を有するカラー撮像素子３０２が一体成型されたマイクロレンズアレイ型カラーイメージセンサ４３０３を用いて色分解と偏光撮像を行うことである。円偏光の照明部については前述した他の実施形態と同じであるから以降説明は省略する。被写体上の１点４００６から発散した戻り光は、対物レンズ４００４上の４領域を透過する。図では２領域のみを記載している。対物レンズを透過した光は、マイクロレンズアレイ４００７を経由してカラーモザイクを設置したカラー撮像素子３０２に到達する。この際、対物レンズ上の領域の像が異なる画素に到達するため、カラー撮像素子３０２上に形成される像は、全体としては被写体の像であるが詳細には異なる４領域の像から成立する画像となり、さらに各領域は、カラー撮像素子上のカラーモザイク２×２画素に対応している。

図４３（Ｂ）は本実施形態における対物レンズ近傍の断面構造を示す図であり、この例では偏光フィルタとして金属ワイヤグリッド層を用いており、ワイヤグリッド層４４０１は、ピッチが１００ｎｍ程度の金属ワイヤが透明基板４４０２上に形成され、可視光から赤外範囲の広帯域で偏光動作を実現できる。次の段には対物レンズ４００４が設置される。ここで、ワイヤグリッド層、対物レンズの設置順番、レンズとの間隙の有り、無しの相違は任意である。偏光板としては、可視光範囲にて広帯域に偏光動作を実現するであれば、ワイヤグリッド偏光板以外のポリマー系偏光板などの技術も利用可能である。またワイヤグリッド層は、Ａｌ（アルミニウム）など多様な材料から形成され得る。ワイヤグリッドの形状は多層構造化して最表面には光の吸収層を設置して反射を抑制してもよい。またワイヤグリッドの間隙を充填して機械的強度を増強することや表面を化学反応から守るためのコーティングをしてもよい。

図４３（Ｃ）は偏光フィルタ領域４３０２の平面構造を示す図であり、それぞれ０°と９０°の偏光透過軸を有する２×２の合計４個の偏光フィルタより構成される。

図４４は、マイクロレンズアレイ型カラーイメージセンサ４３０３を用いた撮像結果から偏光画像を生成する画素選択再集積処理を説明する図である。センサ４３０３上のイメージ上で４×４の画素ユニットが、対物レンズ開口部の４領域のフィルタからの光線に対応するため、それぞれ左上、右上、左下、右下の２×２画素を全画像にわたり選択し再度集積することにより、解像度は１／４×１／４に低下するが、０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４５０１、４５０４、および９０°の偏光透過軸に対応するＲ、Ｇ、Ｂ、ＩＲのカラーモザイク画像４５０２、４５０３を分離することができる。ここから、公知のカラーモザイク補間処理を行うことにより、フルカラーと赤外の０°／９０°の偏光画像を得ることができる。

本実施形態の利点は、レンズ開口部に偏光板を設置できるため、個々の偏光モザイク素子のサイズが撮像素子上へ設置するよりもサイズ的に大きくできることである。たとえば、実施形態９で用いた偏光モザイク型の撮像素子では、偏光モザイク単位を形成する金属ワイヤ長は撮像素子の画素サイズに等しく典型的には１〜３μｍである。このような微細サイズではたとえワイヤグリッド個々の金属線のピッチは微細であってもワイヤグリッド長さや繰り返し本数が制限されるため偏光板としての消光比性能は１０：１程度に低下するとされている。本実施の形態では、レンズ開口部のサイズである０．５ｍｍ＝５００μｍ程度の比較的大判のワイヤグリッド偏光板を用いることができ、１００：１程度の高い消光比を実現することができ、性能上極めて有利となる。

（第１３の実施形態）
図４５（Ａ）は本開示の第１３の実施形態の偏光撮像装置を示す図であり、第１０の実施形態と同じく、照明光として１方向に回転する円偏光を用いつつ、直線偏光を交互照射する場合と同様の画像処理を可能にしながら、照明部の構造を簡易にし、かつ４枚の異なる状態の偏光画像を時間的に同時に取得することによって画像処理を１フレーム内でリアルタイム処理することができるカメラ５００１を示している。第１０の実施形態との相違点は、入射光をＲ、Ｇ、Ｂ、ＩＲの４種類の波長帯域に分割する４色分割プリズム３９０２を有し、その色光を、図４５（Ｂ）で示す、λ／４板を用いる位相変調フィルタモザイク５２０６と０°／９０°の２種の偏光モザイク偏光フィルタ５２０７とモノクロ撮像素子５２０８が積層されたモノクロ偏光イメージセンサ５００２を用いて色分解と偏光撮像を行うことである。図４５（Ｃ）のように、モノクロ撮像素子５２０８の２×２画素領域に４種類の偏光フィルタ領域が重なっているため、画素の再集積によって４種類の偏光画像を同時に取得できる。円偏光の照明部については前述した他の実施形態と同じであるから以降説明は省略する。４種類のイメージセンサによって取得される４種類の偏光画像については第１３の実施形態と同一であるから省略する。

なお、本実施形態では、Ｒ、Ｇ、Ｂ、ＩＲの４波長帯域への分割を前提にしているため、４色分割プリズムが使用されているが、Ｒ、Ｇ、Ｂの３波長帯域への分割の場合には、通常のダイクロックプリズムなどの３色分割プリズムなどを使用でき構成が簡略化される。本実施形態にはこの構成も含まれることは言うまでもない。

（第１３の実施形態の変形例）
図４６（Ａ）は本開示の第１３の実施形態の偏光撮像装置の変形例を示す図であり、第１０の実施形態と同じく、照明光として１方向に回転する円偏光を用いつつ、直線偏光を交互照射する場合と同様の画像処理を可能にしながら、照明部の構造を簡易にし、かつ４枚の異なる状態の偏光画像を時間的に同時に取得することによって画像処理を１フレーム内でリアルタイム処理することができるカメラ５１０１を示している。第１０の実施形態との相違点は、プリズムと偏光フィルタの役割を入れ替え、プリズム５１０２によって入射光を同じ波長分布を有する４種類の光Ｗ１、Ｗ２、Ｗ３、Ｗ４に分割し、図４６（Ｂ）で示すλ／４板を用いる位相変調フィルタと０°／９０°の２種の偏光フィルタとが積層された偏光フィルタを透過させ、Ｒ、Ｇ、Ｂ、ＩＲの４種類の波長モザイクフィルタを有する単板カラーイメージセンサ１１０を用いて色分解と偏光撮像を行うことである。図４６（Ｃ）のように単板カラーイメージセンサの全領域にぞれぞれの種類の偏光フィルタ領域が重なっているため４種類の偏光画像を同時に取得できる。

４種のカラーイメージセンサから出力される４種類の画像とその後の処理については他の実施形態と同一であるから省略する。

本開示の装置によれば、透明物体または半透明物体の表面の凹凸を検出するができる。したがって、この装置は、透明なガラス越しにシーンを観察する必要のある車載用カメラや監視カメラにおける水滴、雨滴の検出に広く適用可能である。

１０１撮像部
１０２制御装置
１０３光源
１０４偏光板
１０５偏光照明光
１０６光源制御信号線
１０７戻り光
１０８対物レンズ
１０９ビームスプリッタ
１１０、１１１単板カラー撮像素子
１１２照明・撮像同期部
１１３、１１４偏光板
１１５、１１６平均化された平行ニコル画像または平均化された直交ニコル画像
１１７差分方向信号
１２６偏光差分生成部
１１８表示部

Claims

第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、
前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、
前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部と、
を備える偏光画像処理装置。
前記処理部は、
前記第１の偏光画像と前記第４の偏光画像とを平均化して平均化平行ニコル画像を生成する第１の処理と、
前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、
前記平均化平行ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理と、
を実行するように構成されている請求項１に記載の偏光画像処理装置。
前記処理部は、前記第１、第２、第３および第４の偏光画像の加算によって輝度画像を生成するように構成されている、請求項１または２に記載の偏光画像処理装置。
前記照明部は、前記第１の照明光を発する複数の第１光源と、前記第２の照明光を発する複数の第２光源とを備える、請求項１から３のいずれかに記載の偏光画像処理装置。
前記照明部、前記スプリッタならびに前記第１および第２の偏光撮像素子を有する撮像部を備え、前記処理部は、前記撮像部に接続されている、請求項１から４のいずれかに記載の偏光画像処理装置。
前記処理部は、前記被写体の前記第２の面における水滴を検出する水滴検出部を備えている請求項１から５のいずれかに記載の偏光画像処理装置。
第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、
前記被写体からの戻り光を第１、第２、第３の光に分離するスプリッタと、
前記スプリッタで分離された前記戻り光の前記第１の光が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の前記第２の光が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の前記第３の光が入射される第３の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに、前記第１の方向および前記第２の方向とは異なる第３の方向に偏光した第５の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第３の方向に偏光した第６の偏光画像を取得する第３の偏光撮像素子と、
前記第１、第２、および第３の偏光撮像素子から前記第２、第３、第５および第６の偏光画像を取得し、前記第５の偏光画像および前記第６の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部と、
を備える偏光画像処理装置。
前記第１の方向と前記第２の方向とは直交しており、
前記第３の方向は、前記第１の方向に対して１０度以上６０度以下の範囲内の角度で傾斜している、請求項７に記載の偏光画像処理装置。
前記処理部は、
前記第５の偏光画像と前記第６の偏光画像とを平均化して平均化傾斜ニコル画像を生成する第１の処理と、
前記第２の偏光画像と前記第３の偏光画像とを平均化して平均化垂直ニコル画像を生成する第２の処理と、
前記平均化傾斜ニコル画像と前記平均化垂直ニコル画像との間で減算を行うことによって前記差分を生成する第３の処理と、
を実行するように構成されている請求項７または８に記載の偏光画像処理装置。
前記処理部は、前記第１、第２、第３、第４の偏光画像の加算によって輝度画像を生成するように構成されている、請求項７から９のいずれかに記載の偏光画像処理装置。
前記照明部は、前記第１の照明光を発する複数の第１光源と、前記第２の照明光を発する複数の第２光源とを備える、請求項７から１０のいずれかに記載の偏光画像処理装置。
前記照明部、前記スプリッタ並びに前記第１および第２の偏光撮像素子を有する撮像部を備え、前記処理部は、前記撮像部に接続されている、請求項７から１１のいずれかに記載の偏光画像処理装置。
前記処理部は、前記被写体の前記第２の面における水滴を検出する水滴検出部を備えている請求項１２に記載の偏光画像処理装置。
第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の偏光状態にある前記第１の照明光、および、前記第１の偏光状態とは異なる第２の偏光状態にある前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、
前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、
前記被写体からの戻り光を透過させるように配置され、右回り偏光の光および左回り偏光の光をそれぞれ第１の方向および前記第１の方向に直交する第２の方向に変換する位相差素子と、
前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部と、
を備える偏光画像処理装置。
前記第１の偏光状態および前記第２の偏光状態の一方は右回りの円偏光または楕円偏光であり、他方は左回りの円偏光または楕円偏光である、請求項１４に記載の偏光画像処理装置。
前記位相差素子は４分の１波長板である、請求項１５に記載の偏光画像処理装置。
照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部であって、円偏光または楕円偏光の照明光で透明または半透明の被写体の第１の面側を照射する照明部と、
前記被写体からの戻り光を少なくとも２つに分離するスプリッタと、
前記被写体からの戻り光を透過するように配置され、前記戻り光を第１の方向に偏光した第１の偏光状態の光に変換する第１モードと、前記戻り光を前記第１の方向に対して直交する第２の方向に偏光した第２の偏光状態の光に変換する第２モードとで、交互に動作する可変位相差素子と、
前記スプリッタで分離された前記戻り光の一方が入射される第１の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第１の方向に偏光した第１の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第１の方向に偏光した第２の偏光画像を取得する第１の偏光撮像素子と、
前記スプリッタで分離された前記戻り光の他方が入射される第２の偏光撮像素子であって、前記可変位相差素子が前記第１モードで動作しているときに前記第２の方向に偏光した第３の偏光画像を取得し、かつ、前記可変位相差素子が前記第２モードで動作しているときに前記第２の方向に偏光した第４の偏光画像を取得する第２の偏光撮像素子と、
前記第１および第２の偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面とは反対側に位置する第２の面の状態を検出する処理部と、
を備える偏光画像処理装置。
第１の照明光の照明光軸と第２の照明光の照明光軸が偏光画像処理装置の撮像光軸に対して略同軸であって、第１の方向に偏光した前記第１の照明光、および、前記第１の方向に交差する第２の方向に偏光した前記第２の照明光で、交互に、透明または半透明の被写体の第１の面側を照射する照明部と、
前記被写体からの戻り光が入射される偏光撮像素子であって、前記被写体が前記第１の照明光で照射されているときに前記第１の方向に偏光した第１の偏光画像および前記第２の方向に偏光した第２の偏光画像を取得し、かつ、前記被写体が前記第２の照明光で照射されているときに前記第１の方向に偏光した第３の偏光画像および前記第２の方向に偏光した第４の偏光画像を取得する偏光撮像装置と、
前記偏光撮像素子から前記第１、第２、第３および第４の偏光画像を取得し、前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、前記被写体の前記第１の面の反対側に位置する第２の面の状態を検出する処理部と、
を備える偏光画像処理装置。
前記処理部は、前記被写体の前記第２の面における水滴を検出する水滴検出部を備えている請求項１８に記載の偏光画像処理装置。
前記偏光撮像装置は、
イメージセンサと、
前記イメージセンサの撮像面と前記被写体との間に位置する偏光板であって、前記第１の方向に偏光した光を透過する少なくとも１個の第１の偏光子と、前記第２の方向に偏光した光を透過する少なくとも１個の第２の偏光子とを含む偏光板と、
を有する請求項１８または１９に記載の偏光画像処理装置。
照明光軸が撮影光軸に対して略同軸の関係を形成するように配置された照明部であって、第１の方向とそれに直交する第２の方向の直線偏光が互いに位相がずれて合成された円偏光の照明光にて、被写体を照射する照明部と、
前記被写体から反射した円偏光を含む戻り光が入射される偏光撮像装置部であって、前記戻り光を４分割する光分割部を有し、前記戻り光が前記第１の方向の直線偏光の状態に位相変化させる移相子と前記第１の方向の偏光子との両方を順に透過して得られる第１の偏光画像、前記戻り光が前記第１の方向の直線偏光の状態に位相変化させる移相子と前記第２の方向の偏光子との両方を順に透過して得られる第２の偏光画像、前記戻り光が前記第２の方向の直線偏光の状態に位相変化させる移相子と前記第１の方向の偏光子との両方を順に透過して得られる第３の偏光画像、前記戻り光が前記第２の方向の直線偏光の状態に位相変化させる移相子と前記第２の方向の偏光子との両方を順に透過して得られる第４の偏光画像を同時に取得する、偏光撮像装置部と、
前記第１の偏光画像および前記第４の偏光画像の和と、前記第２の偏光画像および前記第３の偏光画像の和との間の差分に基づいて、画像処理を行う処理部と、
を備える偏光画像処理装置。