JP2016127333A

JP2016127333A - 撮像素子および撮像装置および撮像情報認識システム

Info

Publication number: JP2016127333A
Application number: JP2014264726A
Authority: JP
Inventors: 伊藤　泉; Izumi Ito; 泉伊藤; 正幸藤島; Masayuki Fujishima; 輔宏木村; Sukehiro Kimura; 洋義関口; Hiroyoshi Sekiguchi; 高橋　祐二; Yuji Takahashi; 祐二高橋
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2014-12-26
Filing date: 2014-12-26
Publication date: 2016-07-11
Also published as: WO2016103607A1; US10178361B2; EP3238443A4; EP3238443A1; US20170374325A1

Abstract

【課題】偏光した光を撮像に参与させつつも、偏光していない光をも撮像に参与させうる新規な撮像素子を実現する。【解決手段】この発明の撮像素子１００は、撮像対象の像をイメージセンサの受光面に結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得し、これら画像に対する画像処理を行う撮像装置に用いられる撮像素子であって、イメージセンサＩＭＳの受光面ＬＲＳ上に、透過偏光特性が異なる２種以上の画素を有する偏光フィルタＰＦＬを有する。【選択図】図１

Description

この発明は、撮像素子および撮像装置および撮像情報認識システムに関する。

撮像対象の像をイメージセンサの受光面に結像させて、撮像対象の対象画像を得る撮像装置は、従来から種々ものが知られている。
「撮像対象」は、撮像されるべき対象であり、「対象画像」は、撮像対象を撮像して得られる画像である。
撮像装置と撮像対象の間には、ガラス板等の透明板が存在する場合がある。例えば、建築物内部の撮像対象を「窓ガラス」を介して建築物外部から撮像するような場合である。あるいは、車両の内部にいる運転者を、フロントガラスを介して車外から撮像する場合である。

このような透明板が介在すると、透明板で反射された反射光による画像が「対象画像に対してノイズとして写り込」み、撮像されるべき本来の撮像対象の対象画像の像質を劣化させる。
このような反射光によるノイズを軽減できるものとして、偏光した光による撮像を行なう方法が知られている（特許文献１）等。

この発明は、偏光した光を撮像に参与させつつも、偏光していない光をも撮像に参与させうる新規な撮像素子の実現を課題とする。

この発明の撮像素子は、撮像対象の像をイメージセンサの受光面に結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得し、これら画像に対する画像処理を行う撮像装置に用いられる撮像素子であって、イメージセンサの受光面上に、透過偏光特性が異なる２種以上の画素を有する偏光フィルタを有する。

この発明の撮像素子によれば、通常の輝度画像と共に偏光フィルタ画像を併せて取得できる。

撮像装置と撮像素子を説明するための図である。基本画素マトリックスと、基本カラーフィルタマトリックスと、基本偏光フィルタマトリックスを説明するための図である。撮像情報認識システムの実施の１形態を説明するための図である。

以下、実施の形態を説明する。
図１（ａ）は、撮像装置による撮像を説明するための説明図である。
図１（ａ）において、符号Ｏｂは「撮像対象」を示し、符号ＬＮは「結像レンズ系」、符号１００は「撮像素子」をそれぞれ示している。
結像レンズ系ＬＮにより撮像対象Ｏｂの像を撮像素子１００の受光面上に結像する。
「結像レンズと撮像素子を組み合わせてなる撮像装置」は、従来から、種々知られており、この発明の撮像装置も、これら周知の撮像装置の構造を適宜利用できる。なお、結像レンズＬＮは、撮像素子１００に入射する結像光線の受光面への入射角がなるべく小さくなるように「像側にテレセントリック」であることが好ましい。

図１（ｂ）〜（ｄ）に、この発明の撮像素子の構成の３例を例示する。
図１（ｂ）〜（ｄ）において、符号ＩＭＳは「イメージセンサ」、符号ＬＲＳはイメージセンサＩＭＳの「受光面」、符号ＣＦＬは「カラーフィルタ」、符号ＭＬＡは「マイクロレンズアレイ」を示している。
イメージセンサＩＭＳは、その受光面ＬＲＳ上に、多数の微小な光電変換素子ＰＤを２次元的に配列して有している。光電変換素子ＰＤの２次元的な配列は、図の左右方向および図面に直交する方向の２方向に密接した配列である。
カラーフィルタＣＦＬは、受光面ＬＲＳの光電変換素子ＰＤに入射する光を「色分解する」ためのフィルタＣＦを、光電変換素子ＰＤの２次元的な配列に倣って２次元的に配列させて構成されている。

マイクロレンズアレイＭＬＡは、多数の凸レンズ形状のマイクロレンズＭＬを、光電変換素子ＰＤの２次元的な配列に倣って２次元的に配列させて有している。
偏光フィルタＰＦＬは、多数の光透過性の偏光素子ＰＦを、光電変換素子ＰＤの２次元的な配列に倣って配列させて構成されている。
図１（ｂ）に示す撮像素子１００Ａでは、偏光フィルタＰＦＬが「カラーフィルタＣＦＬとともにマイクロレンズアレイＭＬＡを挟む」ように、偏光フィルタＰＦＬ、カラーフィルタＣＦＬ、マイクロレンズアレイＭＬＡの位置が定められている。
図１（ｃ）に示す撮像素子１００Ｂでは、偏光フィルタＰＦＬが「カラーフィルタＣＦＬとマイクロレンズアレイＭＬＡとで挟まれる」ように、偏光フィルタＰＦＬ、カラーフィルタＣＦＬ、マイクロレンズアレイＭＬＡの位置が定められている。
図１（ｄ）に示す撮像素子１００Ｃでは、偏光フィルタＰＦＬがマイクロレンズアレイＭＬＡとともに、「カラーフィルタＣＦＬを挟む」ように、偏光フィルタＰＦＬ、カラーフィルタＣＦＬ、マイクロレンズアレイＭＬＡの位置が定められている。

図１（ｂ）等の上方から下方へ向かっての、偏光フィルタＰＦＬ、カラーフィルタＣＦＬ、マイクロレンズアレイＭＬＡの配置の順は、任意である。例えば、偏光フィルタＰＦＬとカラーフィルタＣＦＬとが、マイクロレンズアレイＭＬＡを介して受光面ＬＲＳと逆の側にあってもよい。
この場合、偏光フィルタＰＦＬとカラーフィルタＣＦＬのどちらがマイクロレンズアレイＭＬＡ側に位置するようにしてもよい。
上記の如く、カラーフィルタＣＦＬにおけるフィルタＣＦの２次元的配列、マイクロレンズアレイＭＬＡにおけるマイクロレンズＭＬの２次元的配列、偏光フィルタＰＦＬにおける偏光素子ＰＦの２次元的配列は、光電変換素子ＰＤの２次次元的配列に倣っている。

即ち、光電変換素子ＰＤの個々には「フィルタＣＦ、偏光素子ＰＦ、マイクロレンズＭＬの１組」が対応する。
従って、個々の光電変換素子ＰＤに入射する光は、マイクロレンズＭＬにより光電変換素子ＰＤに集光されるが、その際、偏光素子ＰＦとフィルタＣＦを透過し、これらの作用を受ける。
なお、撮像装置によって得るべき対象画像が「モノクロ画像」である場合には、カラーフィルタＣＦＬを省略できる。

以下では、撮像装置によって得るべき対象画像が「カラー画像」である場合を想定し、カラーフィルタＣＦＬを用いる場合を説明する。
上記の如く、イメージセンサＩＭＳの受光面ＬＲＳに２次元的に配された光電変換素子ＰＤの個々に「偏光素子ＣＦとフィルタＣＦとマイクロレンズＭＬの１組」が対応する。

個々の光電変換素子ＰＤによる微小な光電変換領域を「画素」と呼び、個々の光電変換素子ＰＤに対応するフィルタＣＦ、偏光素子ＰＦの１つ１つも「画素」と呼ぶ。
この発明の撮像素子は、イメージセンサＩＭＳの受光面ＬＲＳの上に「透過偏光特性が異なる２種以上の画素を有する偏光フィルタ」を有する点を特徴とする。

以下、この点を説明する。
図２において、符号ＥＬＵは「基本画素マトリックス」を示す。基本画素マトリックスＥＬＵは、同一形状の４つの画素ＰＸ１１〜ＰＸ２２が「正方形状に配列した状態」を意味する。
イメージセンサＩＭＳの受光面ＬＲＳは、このような基本画素マトリックスＥＬＵが、互いに直交する２方向（図の上下左右方向）に繰り返して配列された面である。
図２において、符号ＣＦＬＵは「４個のフィルタＲ１１、Ｇ１２、Ｇ２１、Ｂ２２の配列による基本カラーフィルタマトリックスＣＦＬＵ」を示している。
フィルタＲ１１〜Ｂ２２の個々は、上においてフィルタＣＦと呼んだものであり、カラーフィルタにおける１画素である。

基本カラーフィルタマトリックスＣＦＬＵは「４個のフィルタＲ１１、Ｇ１２、Ｇ２１、Ｂ２２」を図の如く、基本画素マトリックスＥＬＵにおける４個の画素ＰＸ１１〜ＰＸ２２と同配列に配列したものである。
カラーフィルタＣＦＬは、このような基本カラーフィルタマトリックスＣＦＬＵが、互いに直交する２方向に繰り返して配列して構成されている。
４個のフィルタＲ１１〜Ｂ２２の個々は、同一形状で、画素ＰＸ１１等と同サイズである。基本カラーフィルタマトリックスＣＦＬＵは、１個の赤色のフィルタＲ１１、１個の青色のフィルタＢ２２と、２個の緑色のフィルタＧ１２、Ｇ２１を有する。
これら４個のフィルタＲ１１、Ｇ１２、Ｇ２１、Ｂ２２は、基本画素マトリックスＥＬＵの４つの画素ＰＸ１１、ＰＸ１２、ＰＸ２１、ＰＸ２２の個々と１：１に対応させて重ねられる。

図２において、符号ＰＦＬＵ１〜ＰＦＬＵ６は、偏光フィルタＰＦＬの画素である偏光素子ＰＦの配列を示す「基本偏光フィルタマトリックス」を６例示している。
図２に示す基本偏光フィルタマトリックスＰＦＬＵ１〜ＰＦＬＵ６は、何れも４つの画素（偏光素子ＰＦ）を、図の如く正方行列状に配して構成されている。個々の画素は同一形状・同一サイズで、画素ＰＸ１１等と同サイズである。
偏光フィルタＰＦＬは、図示の如き基本偏光フィルタマトリックスを、互いに直交する２方向（図の上下左右方向）に繰り返して配列することにより構成される。
基本偏光フィルタマトリックスＰＦＬＵ１を例にとって説明すると、４個の偏向素子Ｃ１１、Ｃ１２、Ｖ２１、Ｃ２２は、図２の基本画素マトリックスＥＬＵの４つの画素ＰＸ１１、ＰＸ１２、ＰＸ２１、ＰＸ２２の個々と１：１に対応させて重ねられる。

基本偏光フィルタマトリックスＰＦＬＵ１を構成する４個の偏光素子のうち、３個の偏光素子Ｃ１１、Ｃ１２、Ｃ２２は「光を偏光させることなく透過」させるフィルタであり、偏光素子Ｖ２１は「鉛直方向の偏光成分（電界が鉛直方向に振動している成分）」のみを透過させるフィルタである。
偏光素子Ｃ１１、Ｃ１２、Ｃ１３は、上記の如く、透過させる光を「偏光させる」ものではなく、謂わば「素通し」である。
しかし、この明細書においては、これらも「素通しという透過偏光特性」を持つものとして「偏光素子」と呼ぶ。

基本偏光フィルタマトリックスＰＦＬＵ１の２次元的な配列を有する偏光フィルタは、
透過偏光特性が異なる２種の画素Ｃ１１、Ｃ１２、Ｃ２２（これらの透過偏光特性は「素通し」である。）と画素Ｖ２１を有する。
基本偏光フィルタマトリックスＰＦＬＵ１を用いる場合、受光面における基本画素マトリックスＥＬＵで見ると、画素ＰＸ１１〜Ｐ２２のうち、画素ＰＸ２１には「フィルタＧ２１で緑色に色分解され、フィルタＶ２１で鉛直方向の偏光となった光」が入射する。
残りの３画素ＰＸ１１、ＰＸ１２、ＰＸ２２には、それぞれフィルタＲ１１、Ｇ１２、Ｂ２２により色分解された光が「偏光化されず（素通し）」に入射する。
従って、受光面における全ての基本画素マトリックスの画素ＰＸ１１、ＰＸ１２、ＰＸ２２からの受光信号は「通常のカラー輝度画像」を構成するデータで、受光面における全ての基本画素マトリックスの画素ＰＸ２１からの受光信号は「偏光フィルタＰＦＬでＶ偏光状態となった画像」を構成するデータである。

上記「カラー輝度画像」は、赤（Ｒ）・緑（Ｇ）・Ｂ（青）の３色の成分から演算生成される画像である。
また「偏光フィルタ画像」は、垂直方向および/または水平方向の電界振動成分を透過させる偏光素子（画素）を透過した成分により生成される画像である。
画素ＰＸ１２とＰＸ２１の受光信号を用いることにより、「偏光フィルタ画像」を得ることができる。

この場合、画素ＰＸ２１の受光信号をそのまま用いることもできるが、画素ＰＸ１２の出力と、画素ＰＸ２１の出力の差：
（ＰＸ１２の出力）―（ＰＸ２１の出力）＝ΔＧ
は、緑色に色分解された光の「Ｈ偏光成分（電界が水平方向に振動している偏光成分）の輝度」となる。
從って、このΔＧと、画素ＰＸ２１の出力（Ｖ方向偏光成分の輝度）を用いれば「Ｖ方向及びＨ方向の偏光成分による偏光フィルタ画像」を得ることができる。
從って、撮像対象Ｏｂの像をイメージセンサＩＭＳの受光面ＬＲＳに結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得できる。

図２に示す基本偏光フィルタマトリックスＰＦＬＵ２は、ＰＦＬＵ１において画素ＰＸ２１に対応する偏光素子Ｖ２１を、水平方向の偏光成分のみを透過させる偏光素子Ｈ２１に代えたものである。
基本偏光フィルタマトリックスＰＦＬＵ１の場合と同様に、画素ＰＸ１１、ＰＸ１２、ＰＸ２２の出力により「通常のカラー輝度画像」を得ることができる。
また、画素ＰＸ１２とＰＸ２１の受光信号を用いることにより、「偏光フィルタ画像」を得ることができる。

この場合、緑色に色分解された光の「Ｖ偏光成分の輝度」は、引き算：
（ＰＸ１２の出力）―（ＰＸ２１の出力）＝δＧ
で得られる「δＧ」となる。

從って、このδＧと、画素ＰＸ２１の出力（Ｈ方向偏光成分の輝度）を用いれば「Ｖ方向及びＨ方向の偏光成分による偏光フィルタ画像」を得ることができる。

図２に示す基本偏光フィルタマトリックスＰＦＬＵ３は、ＰＦＬＵ２において画素ＰＸ１２に対応する偏光素子Ｃ１２を、垂直方向の偏光成分のみを透過させる偏光素子Ｖ１２
に代えたものである。
画素ＰＸ１１、ＰＸ１２、ＰＸ２１、ＰＸ２２の出力により「通常のカラー輝度画像」を得ることができる。
緑色成分光の通常の輝度成分は、画素ＰＸ１２の出力と、画素ＰＸ２１の出力の和：
（画素ＰＸ１２の出力）＋（画素ＰＸ２１の出力）＝ΣＧ
によって得ることができる。
従って、画素ＰＸ１１、ＰＸ２２の出力と、このΣＧを用いて「通常のカラー輝度画像」を構成できる。

また、画素ＰＸ１２、ＰＸ２１の出力から、偏光フィルタ画像を得ることができる。
図２に示す基本偏光フィルタマトリックスＰＦＬＵ４は、ＰＦＬＵ３において画素ＰＸ１２とＰＸ２１の偏光素子Ｖ１２、Ｈ２１を、偏光素子Ｈ１２、Ｖ２１に入れ替えたものである。
基本偏光フィルタマトリックスＰＦＬＵ３の場合と同様、画素ＰＸ１１、ＰＸ１２、ＰＸ２１、ＰＸ２２の出力により「通常のカラー輝度画像」を得ることができる。

緑色成分光の通常の輝度成分は、画素ＰＸ１２の出力と、画素ＰＸ２１の出力の和：
（画素ＰＸ１２の出力）＋（画素ＰＸ２１の出力）＝σＧ
によって得ることができる。

従って、画素ＰＸ１１、ＰＸ２２の出力とσＧを用いて「通常のカラー輝度画像」を構成できる。
「偏光フィルタ画像」は、画素ＰＸ１２、ＰＸ２１の出力を用いて構成できる。

図２に示す基本偏光フィルタマトリックスＰＦＬＵ５は、ＰＦＬＵ３において画素ＰＸ１２とＰＸ２２の偏光素子を偏光素子Ｖ１１、Ｖ２２で置き換えたものである。
図２に示す基本偏光フィルタマトリックスＰＦＬＵ６は、ＰＦＬＵ５において画素ＰＸ１１、ＰＸ１２、ＰＸ２２の偏光素子を偏光素子Ｈ１１、Ｈ１２、Ｈ２２で置き換え、画素ＰＸ２１の偏光素子Ｈ２１を偏光素子Ｖ２１で置き換え代えたものである。
これら基本偏光フィルタマトリクスＰＦＬＵ５、ＰＦＬＵ６の何れの場合も、画素ＰＸ１１、ＰＸ１２、ＰＸ２２の出力により、カラー輝度画像を構成できる。これら３画素の出力は何れも「偏光成分」のものであるが、何れも偏光方向が同一であるので、これらを用いてカラー輝度画像を構成できる。
また偏光フィルタ画像は、画素ＰＸ１１、ＰＸ１２、ＰＸ２１、ＰＸ２２の出力から構成できる。

基本偏光フィルタマトリックスＰＦＬＵ５、ＰＦＬＵ６を用いる場合、画像全体の輝度成分が均一化され、ダイナミックレンジを向上させる効果がある。
即ち、撮像対象Ｏｂにもよるが、一般に、緑色成分の光を受光する画素ＰＸ１２、ＰＸ２１では、赤い色、青色成分の光を受光する画素ＰＸ１１、ＰＸ２２よりも高輝度となり、撮影条件によっては飽和し易くなる。
緑色成分の光を受光する画素ＰＸ１２、ＰＸ２１に、偏光素子Ｖ１２、Ｖ２２、Ｈ１２、Ｈ２２を組み合わせた場合に比して、これらに偏光素子Ｃ１２、Ｃ２２を組み合わせた場合も、略２倍程度高輝度となる。
従って、基本偏光フィルタマトリックスＰＦＬＵ１の場合には、４つの画素のうち画素ＰＸ１２の輝度が、周囲の画素に対して高輝度の状態となる。
基本偏光フィルタマトリックスＰＦＬＵ５やＰＦＬＵ６のような構成では、全ての画素が「偏光成分の輝度」となるので、同じマトリックス内における輝度の均一化を図ることができる。

また、一般に「素通しでない偏光素子を設置した画素」では、周囲の画素と比較し低輝度となる。
例えば、基本偏光フィルタマトリックスＰＦＬＵ１やＰＦＬＵ２では、偏光フィルタ画像の生成に用いる画素ＰＸ２１での輝度が、他の画素ＰＸ１１、ＰＸ１２、ＰＸ２２での輝度よりも低くなる。
このため、輝度の高い画素ＰＸ１１、ＰＸ２、ＰＸ２２から、輝度の低い画素ＰＸ２１へ「より多くの光成分が混入してクロストークが発生」し、画素ＰＸ２１が「本来とるべき信号値」に対して誤差成分が多く乗ることになる。

この現象は、図１（ｂ）に示した撮像素子１００Ａのように、偏光フィルタＰＦＬが、受光面ＬＲＳから「より離れて配置」されている構成の場合に特に顕著である。
これを抑制するために、基本偏光フィルタマトリックスＰＦＬＵ５やＰＦＬＵ６のように、画素ＰＸ１１、ＰＸ１２、ＰＸ２２にも「素通しでない偏光素子Ｖ１１、Ｖ１２、Ｖ２２、あるいはＨ１１、Ｈ１２、Ｈ２２」を配して、これらの画素の輝度値を相対的に低下させることが有効である。
なお、カラー輝度画像、偏光フィルタ画像の出力を行う上では、上記の演算に加え、基本画素マトリックスＥＬＵの隣接マトリックス画素を用いた補完処理等も行うことは言うまでもない。

上の撮像素子の実施の形態において例示した、基本偏光フィルタマトリックスＰＦＬＵ１ないしＰＦＬＵ６を見ると明らかなように「イメージセンサＩＭＳの受光面ＬＲＳ上に、透過偏光特性が異なる２種以上の画素を有する偏光フィルタＰＦＬ」を有する。
即ち、基本偏光フィルタマトリックスＰＦＬＵ１、ＰＦＬＵ２を用いる例では、偏光フィルタは、素通しの偏光素子Ｃ１１、Ｃ１２、Ｃ２２と、鉛直方向もしくは水平方向の偏光成分の光を透過させる偏光素子Ｖ２１もしくはＨ２１の２種の画素を有する。
また、基本偏光フィルタマトリックスＰＦＬＵ５、ＰＦＬＵ６を用いる例では、偏光フィルタは、透過させる光の偏光方向が互いに直交する２種の偏光素子Ｖ１１、Ｖ１２、Ｖ２２、Ｈ２１あるいは偏光素子Ｈ１１、Ｈ１２、Ｈ２２、Ｖ２１を有する。
基本偏光フィルタマトリックスＰＦＬＵ３、ＰＦＬＵ４を用いる例では、３種の偏光素子Ｃ１１、Ｃ２２、Ｖ１２、Ｈ２１または偏光素子Ｃ１１、Ｃ２２、Ｈ１２、Ｖ２を有する。
偏光フィルタに用いられる「透過偏光特性が異なる２種以上の画素（偏光素子）」は、上記のものに限定されないことは言うまでもない。

図３に即して、この発明の撮像素子を用いる撮像装置と、該撮像装置を用いる撮像情報認識システムの実施の１形態を説明する。
この撮像情報認識システムは、例えば、有料道路料金所の通行料自動収集システムに用いることができる。
図３において、符号１１は偏光カメラとして構成された撮像装置であり、撮像処理部１１１と画像処理部１１２とを有する。

撮像処理部１１１は、先に図１（ａ）に即して説明した如く、結像レンズ系と撮像素子を有し、撮像素子は、上に実施の形態を説明した如きものである。
従って、撮像処理部１１１からは、図の如く「偏光フィルタ画像データ」と「輝度画像データ」が出力される。
「偏光フィルタ画像データ」は、前述の偏光フィルタ画像を構成するためのデータであり、「輝度画像データ」は上記「カラー輝度画像」を構成するためのデータである。

即ち、偏光カメラ１１の撮像処理部１１１からは、偏光フィルタ画像データと、輝度画像データと言う、２種の画像データが分離して出力される。
これら２種の画像データは画像処理部１１２により画像処理され、カラー輝度画像による「可視画像情報」とされ、サーバコンピュータ１７に入力する。
サーバコンピュータ１７は偏光カメラ１１とともに「撮像システムの要部」をなす。

サーバコンピュータ１７は、入力された「可視画像情報」を、ＪＰＧ、ＢＭＰ等の汎用画像形式にエンコードし、電気通信回線ＩＮＴを介して認知システム２０に伝送される。このようにサーバコンピュータ１７から認知システム２０に伝送される情報により構成される画像が、認識システム２０での認識の対象となる。

認識の対象は、通行料自動収集システムを通過する車両とその運転者である。

認識システム２０では伝送された情報に基づき、「車両とその運転者」を認識する。
偏光カメラ１１により車両が撮像される際、運転者と偏光カメラ１１との間には通常「フロントガラス」が介在する。
このフロントによる反射光は、撮像された画像にノイズ成分として作用する。
このようなノイズにより画質を劣化された対象画像は、運転者の認識の妨げとなり特定作業を困難にするが、偏光カメラ１１から得られる「可視画像情報」は、前述の如く別個に取得したカラー輝度画像と偏光フィルタ画像を用いる画像処理で構成される。

よく知られたように、偏光フィルタは「反射光を低減させる性質」を持つ。従って、撮像処理部１１１から出力される「偏光フィルタ画像データ」では、反射光によるノイズ成分が有効に低減されている。

従って、可視画像情報においては反射光によるノイズが有効に低減されており、運転者の認識・特定が容易となる。

この「認識・特定」は、従来から知られた適宜の方法で行うことができる。
例えば、送られてきた可視画像情報を「目視可能な画像」としてディスプレイに表示し、これを「目視」して特定作業を行うことができる。
あるいは、認識システムが保有しているデータと上記「可視画像情報」を照合して、認識・特定を自動的に特定を行うことができる。また、上記「目視による特定」と「自動的な特定」とを併用することができ、このようにすると「特定の精度」を高めることができる。
上に説明したように、この発明によれば、以下の如き撮像素子、撮像装置、撮像情報認識システムを実現できる。

［１］
撮像対象の像をイメージセンサの受光面に結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得し、これら画像に対する画像処理を行う撮像装置に用いられる撮像素子であって、イメージセンサＩＭＳの受光面ＬＲＳ上に、透過偏光特性が異なる２種以上の画素を有する偏光フィルタＰＦＬを有する撮像素子１００。

［２］
［１］記載の撮像素子であって、偏光フィルタＰＦＬにおける透過偏光特性が異なる２種以上の画素に、全偏光成分を透過させる無偏光画素（Ｃ１１等）が含まれる撮像素子。

［３］
［１］または［２］記載の撮像素子であって、偏光フィルタＰＦＬにおける透過偏光特性が異なる２種以上の画素に、特定の偏光成分を透過させる１種以上の偏光画素（Ｖ１２、Ｈ２１等）が含まれる撮像素子。

［４］
［１］ないし［３］の何れか１に記載の撮像素子において、偏光フィルタＰＦＬとともに、該偏光フィルタにおけると同一の画素および画素配列を持つカラー画素ＣＦを有するカラーフィルタＣＦＬを有し、撮像対象の色分解が可能である撮像素子。

［５］
［４］記載の撮像素子であって、カラーフィルタは、赤色フィルタＲ１１、緑色フィルタＧ１２、Ｇ２１、青色フィルタＢ２２の３種類の色画素を有する撮像素子。

［６］
撮像対象の像をイメージセンサの受光面に結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得し、これら画像に対する画像処理を行う撮像装置１１であって、請求項１ないし５の何れか１項に記載の撮像素子を用いる撮像装置。

［７］
撮像対象の像を撮像装置で撮像して対象画像を得、該対象画像に基づき、前記撮像対象の特定のための処理を行う撮像情報認識システムであって、撮像システム（１１、１７）
と、認識システム２０とを有し、前記撮像システムは、［６］記載の撮像装置１１を有し、前記認識システム２０は、前記撮像システムにより撮像された対象画像に基づき前記撮像対象の特定のための処理を行う機能を有する撮像情報認識システム。

以上、発明の好ましい実施の形態について説明したが、この発明は上述した特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された発明の趣旨の範囲内において、種々の変形・変更が可能である。
この発明の実施の形態に記載された効果は、発明から生じる好適な効果を列挙したに過ぎず、発明による効果は「実施の形態に記載されたもの」に限定されるものではない。

Ｏｂ撮像対象
ＬＮ結像レンズ系
１００撮像素子
ＩＭＳイメージセンサ
ＬＲＳ受光面
ＰＦＬ偏光フィルタ
ＣＦＬカラーフィルタ
ＭＬＡマイクロレンズアレイ
ＰＦ偏向素子（偏光フィルタＰＦＬの画素）
ＣＦフィルタ（カラーフィルタＣＦＬの画素）
ＰＤ光電変換素子
１１偏光カメラ（撮像装置）

特開２０１１−００２７１８号公報

Claims

撮像対象の像をイメージセンサの受光面に結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得し、これら画像に対する画像処理を行う撮像装置に用いられる撮像素子であって、
イメージセンサの受光面上に、透過偏光特性が異なる２種以上の画素を有する偏光フィルタを有する撮像素子。
請求項１記載の撮像素子であって、
偏光フィルタにおける透過偏光特性が異なる２種以上の画素に、全偏光成分を透過させる無偏光画素が含まれる撮像素子。
請求項１または２記載の撮像素子であって、
偏光フィルタにおける透過偏光特性が異なる２種以上の画素に、特定の偏光成分を透過させる１種以上の偏光画素が含まれる撮像素子。
請求項１ないし３の何れか１項に記載の撮像素子において、
偏光フィルタとともに、該偏光フィルタにおけると同一の画素および画素配列を持つカラー画素を有するカラーフィルタを有し、撮像対象の色分解が可能である撮像素子。
請求項４記載の撮像素子であって、
カラーフィルタは、赤色フィルタ、緑色フィルタ、青色フィルタの３種類の色画素を有する撮像素子。
撮像対象の像をイメージセンサの受光面に結像させ、通常の輝度画像と共に偏光フィルタ画像を併せて取得し、これら画像に対する画像処理を行う撮像装置であって、
請求項１ないし５の何れか１項に記載の撮像素子を用いる撮像装置。
撮像対象の像を撮像装置で撮像して対象画像を得、該対象画像に基づき、前記撮像対象の特定のための処理を行う撮像情報認識システムであって、
撮像システムと、認識システムとを有し、
前記撮像システムは、請求項６記載の撮像装置を有し、
前記認識システムは、前記撮像システムにより撮像された対象画像に基づき前記撮像対象の特定のための処理を行う機能を有する撮像情報認識システム。