JP2013090085A - 撮像装置、画像処理方法及びプログラム - Google Patents

撮像装置、画像処理方法及びプログラム Download PDF

Info

Publication number
JP2013090085A
JP2013090085A JP2011227837A JP2011227837A JP2013090085A JP 2013090085 A JP2013090085 A JP 2013090085A JP 2011227837 A JP2011227837 A JP 2011227837A JP 2011227837 A JP2011227837 A JP 2011227837A JP 2013090085 A JP2013090085 A JP 2013090085A
Authority
JP
Japan
Prior art keywords
imaging
image sensor
unit
image
image pickup
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2011227837A
Other languages
English (en)
Inventor
Hisashi Akiyama
久志 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2011227837A priority Critical patent/JP2013090085A/ja
Publication of JP2013090085A publication Critical patent/JP2013090085A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Solid State Image Pick-Up Elements (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

【課題】撮像素子に入射する光の偏光状態及び入射角に依存して撮像素子から出力される信号の強度の変化が生じ、また、肉眼によって検知される明るさよりも撮像装置によって検知される明るさが低いといった問題を解決し得る撮像装置を提供する。
【解決手段】撮像装置１０は、複数の撮像素子４１，４２，４３が２次元マトリクス状に配列されて成る撮像部３０を有し、撮像部３０は、周辺領域３２、及び、周辺領域３２に囲まれた中央領域３１に区画され、周辺領域３２における撮像素子４２，４３には偏光手段が備えられており、中央領域３１における撮像素子４１には偏光手段が備えられていない。
【選択図】 図１

Description

本開示は、撮像装置、画像処理方法及び画像処理方法を含むプログラムに関する。
撮像装置において、被写体の通常の画像（例えばカラー画像）と偏光光に基づく画像とを同時に取得する技術が、例えば、特開２００９−２９０８９５から周知である。この特許公開公報に開示された複数の偏光子単位を備えるパターン化偏光子において、複数の偏光子単位は、カラー画素が二次元的に配列されたカラーモザイクフィルタの少なくとも１色のカラー画素に重なるように二次元的に配列されており、複数の偏光子単位は、透過偏波面の角度が相互に異なる偏光子単位を含み、偏光子単位の透過偏波面の角度は、１つのカラー画素内で一定であり、かつ、近傍配置された少なくとも３つの同一色のカラー画素では相互に異なっている。尚、偏光子単位はフォトニック結晶から構成されている。
特開２００９−２９０８９５
ところで、偏光した光が、撮像装置に入射し、撮像装置を構成する撮像素子に到達したとき、光の偏光状態によって撮像素子から出力される信号の値、即ち、撮像素子の感度が変化するといった現象が生じる。即ち、ＴＭ波（Transverse Magnetic Wave，Ｐ波）を主成分とする光が撮像素子に入射した場合と、ＴＥ波（Transverse Electric Wave，Ｓ波）を主成分とする光が撮像素子に入射した場合とでは、撮像素子から出力される信号の強度に差異が生じる。
誘電率あるいは屈折率の異なる２種類の物質の界面にＴＭ波（Ｐ波）及びＴＥ波（Ｓ波）が到達したときの界面におけるＴＭ波及びＴＥ波の光反射率と、ＴＭ波及びＴＥ波の界面に対する入射角との関係を図１３に示す。尚、図１３においては、２種類の物質、３組についてのデータを示している。ここで、入射角０度では、ＴＭ波の光反射率及びＴＥ波の光反射率は同じ値を示す。そして、入射角が大きくなるにつれて、ＴＭ波（Ｐ波）の光反射率は低下し、或る入射角で光反射率は０％となり、その後、急激に光反射率は増加し、入射角９０度で光反射率は１００％となる。一方、ＴＥ波（Ｓ波）の光反射率は単調に増加し、入射角９０度で光反射率は１００％となる。光反射率の入射角依存性がＴＭ波（Ｐ波）とＴＥ波（Ｓ波）とで異なるが、これは、ＴＭ波及びＴＥ波の電場と磁場の振動方向が異なることに由来している。即ち、図１４の（Ａ）に示すように、ＴＭ波（Ｐ波）は、電場が入射平面（図面の紙面と平行な面）内で振動する波であり、図１４の（Ｂ）に示すように、ＴＥ波（Ｓ波）は、電場が入射平面に対して垂直に振動する波であり、この違いが光反射率に差を生じさせる。
第１の物質（屈折率：ｎ1）と第２の物質（屈折率：ｎ2＞ｎ1）の界面における、第１の物質中を伝播したＴＭ波（Ｐ波）の光反射率及びＴＥ波（Ｓ波）の光反射率は、以下の式（Ａ）及び（Ｂ）で表すことができる。尚、θ1、θ2は、界面への光の入射角及び界面からの光の出射角である。出射角θ2が第１の物質及び第２の物質の屈折率ｎ1，ｎ2と入射角θ1によって一意的に決まるが故に、式（Ａ）及び（Ｂ）は、屈折率ｎ1，ｎ2を含まない形式で表現することができる。
ＴＭ波（Ｐ波）の光反射率＝｛−ｔａｎ（θ1−θ2）／ｔａｎ（θ1＋θ2）｝2 （Ａ）
ＴＥ波（Ｓ波）の光反射率＝｛−ｓｉｎ（θ1−θ2）／ｓｉｎ（θ1＋θ2）｝2 （Ｂ）
電場の実振幅Ｅと磁場の実振幅Ｈには大きな違いがある。具体的には、以下の式（Ｃ）で示すように、
Ｈ／Ｅ≒１／４００
の関係がある。これより、偏光方向に依存した光反射率の差異が起こるか否かを検討するとき、電場のみを考慮すればよい。電場と磁場とは、原則、直交している。
Ｈ／Ｅ＝（ε0／μ0）0.5 （Ｃ）
＝［８．８５４３×１０-12（Ｆ／ｍ）／１．２５６６×１０-6（Ｈ／ｍ）］0.5
≒０．００２６５
≒１／４００
以上のことから、撮像装置にあっては、撮像素子に入射する光の偏光状態及び入射角に依存して、撮像素子の光入射面における光反射率が変化する。それ故、上述したとおり、ＴＭ波（Ｐ波）を主成分とする光が撮像素子に入射した場合と、ＴＥ波（Ｓ波）を主成分とする光が撮像素子に入射した場合とで、撮像素子から出力される信号の強度の差異が生じる。また、図１５の（Ａ）に概念図を示すように、肉眼は、球面である網膜上に位置する視細胞によって光を感知する。それ故、どのような光線が視細胞に到達しても、肉眼は光線のほぼ全てを入射角０度で感知することができる。一方、図１５の（Ｂ）に概念図を示すように、撮像装置では、撮像部を構成する撮像素子が平面上に配設されているので、撮像部の周辺領域では大きな入射角で光が撮像素子に入射する。それ故、極端な場合、肉眼によって検知される明るさよりも、撮像装置によって検知される明るさが低いといった問題が生じる。
前述した特許公開公報には偏光子を備えた撮像素子が開示されているが、撮像素子に入射する光の偏光状態及び入射角に依存して撮像素子から出力される信号の強度の変化が生じるといった問題に関しては、何ら、言及されていない。
従って、本開示の目的は、撮像素子に入射する光の偏光状態及び入射角に依存して撮像素子から出力される信号の強度の変化が生じ、また、肉眼によって検知される明るさよりも撮像装置によって検知される明るさが低いといった問題を解決し得る構成、構造を有する撮像装置、並びに、画像処理方法、及び、画像処理方法を含むプログラムを提供することにある。
上記の目的を達成するための本開示の撮像装置は、
複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
周辺領域における撮像素子には偏光手段が備えられており、
中央領域における撮像素子には偏光手段が備えられていない。
上記の目的を達成するための本開示の画像処理方法は、
複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
周辺領域における撮像素子には偏光手段が備えられており、
中央領域における撮像素子には偏光手段が備えられておらず、
撮像素子からの信号を受け取る信号処理部を備えた撮像装置における画像処理方法であって、
信号処理部において、周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子の出力信号に対する補正を行う。
上記の目的を達成するための本開示のコンピュータ・プログラムは、
複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
周辺領域における撮像素子には偏光手段が備えられており、
中央領域における撮像素子には偏光手段が備えられておらず、
撮像素子からの信号を受け取る信号処理部を備えた撮像装置における出力信号の補正を、信号処理部に備えられたコンピュータを用いて行うコンピュータ・プログラムであって、
周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子の出力信号に対する補正をコンピュータによって行う。
本開示の撮像装置、本開示の画像処理方法あるいは本開示のコンピュータ・プログラムにあっては、周辺領域における撮像素子に偏光手段が備えられており、中央領域における撮像素子には偏光手段が備えられていない。撮像素子への光の入射角は、周辺領域においては大きく、中央領域においては小さい。従って、撮像素子への光の偏光状態に依存して、周辺領域においては撮像素子からの出力信号強度に変化が生じる。然るに、周辺領域における撮像素子には偏光手段が備えられているので、入射する光の偏光状態を検出することができる結果、入射する光の偏光状態に基づき撮像素子からの出力信号を補正することができ、肉眼によって検知される明るさよりも撮像装置によって検知される明るさが低いといった問題を解決することができる。尚、本開示にあっては、偏光手段を備えた撮像素子によって、入力光の偏光状態の情報を得るのではなく、入力光の偏光状態に起因した出力電圧の変化（差異）を補正する。
図１の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置の概念図、及び、撮像部の概念図である。 図２は、実施例１の撮像装置において、撮像部の周辺領域における撮像素子の配列を模式的に示す図である。 図３は、実施例１の撮像装置において、撮像部の中央領域における撮像素子の配列を模式的に示す図である。 図４の（Ａ）及び（Ｂ）は、それぞれ、実施例１の撮像装置において、偏光手段を備えた撮像素子の模式的な一部断面図、及び、撮像部の周辺領域における撮像素子を拡大して模式的に示す図である。 図５は、信号処理部の概念図である。 図６の（Ａ）及び（Ｂ）は、それぞれ、実施例２の撮像装置及び実施例３の撮像装置の変形例における撮像部の概念図である。 図７は、実施例２の撮像装置の撮像部の周辺領域であって、左上隅の部分における撮像素子の配列を模式的に示す図である。 図８は、実施例３の撮像装置の撮像部の周辺領域における撮像素子の配列を模式的に示す図である。 図９は、実施例４の撮像装置の撮像部の周辺領域における撮像素子の配列を模式的に示す図である。 図１０は、実施例１の撮像装置の変形例の撮像部の周辺領域における撮像素子の配列を模式的に示す図である。 図１１は、実施例１の撮像装置の別の変形例の撮像部の周辺領域における撮像素子の配列を模式的に示す図である。 図１２の（Ａ）及び（Ｂ）は、それぞれ、撮像素子の変形例の模式的な一部断面図である。 図１３は、誘電率あるいは屈折率の異なる２種類の物質の界面にＴＭ波（Ｐ波）及びＴＥ波（Ｓ波）が到達したときの界面におけるＴＭ波（Ｐ波）及びＴＥ波（Ｓ波）の光反射率と、ＴＭ波及びＴＥ波の界面に対する入射角との関係を示すグラフである。 図１４の（Ａ）及び（Ｂ）は、ＴＭ波（Ｐ波）及びＴＥ波（Ｓ波）を説明する図である。 図１５の（Ａ）及び（Ｂ）は、肉眼及び撮像装置への光の入射を示す概念図である。
以下、図面を参照して、実施例に基づき本開示を説明するが、本開示は実施例に限定されるものではなく、実施例における種々の数値や材料は例示である。尚、説明は、以下の順序で行う。
１．本開示の撮像装置、画像処理方法及びプログラム、全般に関する説明
２．実施例１（本開示の撮像装置、画像処理方法及びプログラム）
３．実施例２（実施例１の変形）
４．実施例３（実施例１の別の変形）、その他
［本開示の撮像装置、画像処理方法及びプログラム、全般に関する説明］
本開示の撮像装置、本開示の画像処理方法あるいは本開示プログラムにおける撮像装置（以下、これらの撮像装置を総称して、『本開示の撮像装置等』と呼ぶ）において、中央領域における撮像素子の個数をＱ1個、周辺領域における撮像素子の個数をＱ2個としたとき、
０．２５≦Ｑ2／（Ｑ1＋Ｑ2）≦０．４５
を満足することが好ましい。
あるいは又、本開示の撮像装置等において、
撮像素子は、第１の方向にＮ個、第１の方向と直交する第２の方向にＭ個、配列されており、
第１の方向における第１番目の撮像素子から第Ｎ0番目の撮像素子、及び、第１の方向における第（Ｎ−Ｎ0＋１）番目の撮像素子から第Ｎ番目の撮像素子であって、第２の方向における第１番目の撮像素子から第Ｍ0番目の撮像素子、及び、第２の方向における第（Ｍ−Ｍ0＋１）番目の撮像素子から第Ｍ番目の撮像素子（但し、Ｎ0はαとＮの積を四捨五入した値であり、Ｍ0はβとＭの積を四捨五入した値であり、ここで、
０．４５≦α≦０．７０
であり、
０．６０≦β≦０．９０
である）が、周辺領域に属することが好ましい。
あるいは又、本開示の撮像装置等において、波長λ＝５５０ｎｍの円偏光に基づく光を撮像部に入射させたとき、撮像素子に入射した光のＳ波成分（ＴＥ波成分）のエネルギー強度（あるいは、例えば、後述する第１撮像素子の出力信号の値）からＰ波成分（ＴＭ波成分）のエネルギー強度（あるいは、例えば、後述する第２撮像素子の出力信号の値）を減じた値が、入射光のエネルギー強度（あるいは、例えば、後述する第１撮像素子と第２撮像素子の出力信号の合計値）の０．０２倍以上である撮像素子が属する領域を周辺領域とすることが好ましい。
あるいは又、本開示の撮像装置等において、撮像素子への光の入射角が１０度以上の撮像素子が属する領域を周辺領域とすることが好ましい。
尚、以上に説明した周辺領域に関する規定を、相互に独立して本開示の撮像装置等に適用してもよいし、適宜、組み合わせて適用してもよい。
また、以上に説明した各種の好ましい形態を含む本開示の撮像装置等において、
撮像素子は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており、
１画素を構成する１つの撮像素子ユニットは、複数の撮像素子から成り、
周辺領域において、第１の方向に沿って、２i個（但し、ｉは１以上、５以下の整数）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子（１又は２以上の撮像素子）に偏光手段が備えられており、且つ、第２の方向に沿って、２j個（但し、ｊは１以上、５以下の整数）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子（１又は２以上の撮像素子）に偏光手段が備えられている構成とすることができる。ここで、ｉの値とｊの値は、同じ値であってもよいし、異なる値であってもよい。尚、第１の方向及び第２の方向に沿った２i×２j個の撮像素子ユニット（画素）の集合を、便宜上、『撮像素子ユニット・ブロック』と呼ぶ。このような構成にあっては、１つの撮像素子ユニット・ブロック内に偏光手段を備えた撮像素子を有する撮像素子ユニットが１つ存在し、１つの撮像素子ユニット・ブロック内の残りの撮像素子ユニットにおける撮像素子に偏光手段が備えられていない。
また、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等において、複数の撮像素子は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており；周辺領域の撮像素子は、偏光軸と第１の方向との成す角度がη度（但し、０度≦η＜９０度）である偏光手段を備えた第１撮像素子から、少なくとも構成されている形態とすることができる。そして、このような形態において、周辺領域における撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた第２撮像素子から、少なくとも構成されている形態とすることができ；更には、周辺領域の撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋４５）度である偏光手段を備えた第３撮像素子、及び、偏光軸と第１の方向との成す角度が（η＋１３５）度である偏光手段を備えた第４撮像素子から構成されている形態とすることができる。ηの値として「０」度を挙げることができる。
更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等において、
撮像部は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されており、
撮像素子ユニットは、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成されている形態とすることができる。
あるいは又、複数の撮像素子が、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており；周辺領域の撮像素子が、偏光軸と第１の方向との成す角度がη度（但し、０度≦η＜９０度）である偏光手段を備えた第１撮像素子から少なくとも構成されている上記の形態にあっては、
撮像部は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されており、
撮像素子ユニットは、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成されており、
撮像素子ユニットにおける第４色受光撮像素子は第１撮像素子から構成されている形態とすることができる。そして、この場合、
周辺領域における撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた第２撮像素子から構成されており、
撮像素子ユニットにおける第３色受光撮像素子は第２撮像素子から構成されている形態とすることができる。ηの値として「０」度を挙げることができる。
更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等において、
撮像装置は、静止画撮像モード及び動画撮像モードに基づき駆動され、
動画撮像モードにおいて信号が読み出されない周辺領域における撮像素子に、偏光手段が備えられている構成とすることができる。このような構成により、動画撮像モードにおいて、信号処理部に負荷を掛けることが無くなる。
更には、以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置において、撮像素子からの信号を受け取る信号処理部を更に備え；信号処理部は、周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子からの出力信号の補正を行う形態とすることができる。そして、この場合、信号処理部は、偏光手段が備えられた撮像素子が撮像部を占める位置、及び、撮像素子への光の入射角に依存して、出力信号の補正量を決定する形態とすることができる。１つの撮像素子ユニット・ブロック内に偏光手段を備えた撮像素子が１つあるいは１組、存在する形態にあっては、信号処理部は、偏光手段を備えた撮像素子からの出力信号に基づいて、この１つの撮像素子ユニット・ブロック内の偏光手段を備えていない各撮像素子及び偏光手段を備えている撮像素子の出力信号を補正すればよい。
ここで、撮像部における撮像素子の占める位置、及び、撮像素子への光の入射角をパラメータとした出力信号補正テーブルに基づいて、撮像素子の出力信号を補正すればよい。
以下の説明において、撮像装置全体を水平に配置し、撮像部を垂直に配置したとき、便宜上、第１の方向を水平方向、第２の方向を垂直方向とする。また、矩形の平面形状を有する撮像部を垂直に配したとき、便宜上、上辺を『第１の辺』と呼び、下辺を『第３の辺』と呼び、右側の辺を『第２の辺』と呼び、左側の辺を『第４の辺』と呼ぶ場合がある。
本開示の撮像装置等において、撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画されるが、周辺領域は、矩形形状の撮像部における第１の辺、第２の辺、第３の辺及び第４の辺に沿って配置されていてもよいし、場合によっては、矩形形状の撮像部における四隅にのみ配置されていてもよい。この場合、η＝４５度とすることが好ましい。また、周辺領域における撮像素子が、第１撮像素子、第２撮像素子、第３撮像素子及び第４撮像素子から構成されている場合、矩形形状の撮像部の４つのコーナー部及びその近傍には第３撮像素子及び第４撮像素子を配し、その他の周辺領域には第１撮像素子及び第２撮像素子を配する形態とすることができる。尚、矩形形状の撮像部の４つのコーナー部及びその近傍における『近傍』に位置する撮像素子とは、例えば、以下のように定義することができる。
［Ａ］第１の方向における第１番目の撮像素子から第Ｎ0番目の撮像素子であって、第２の方向における第１番目の撮像素子から第Ｍ0番目の撮像素子
［Ｂ］第１の方向における第１番目の撮像素子から第Ｎ0番目の撮像素子であって、第２の方向における第（Ｍ−Ｍ0＋１）番目の撮像素子から第Ｍ番目の撮像素子
［Ｃ］第１の方向における第（Ｎ−Ｎ0＋１）番目の撮像素子から第Ｎ番目の撮像素子であって、第２の方向における第１番目の撮像素子から第Ｍ0番目の撮像素子
及び、
［Ｄ］第１の方向における第（Ｎ−Ｎ0＋１）番目の撮像素子から第Ｎ番目の撮像素子であって、第２の方向における第（Ｍ−Ｍ0＋１）番目の撮像素子から第Ｍ番目の撮像素子
撮像素子ユニットを、第１色受光撮像素子、第２色受光撮像素子及び第３色受光撮像素子から構成することができるし、あるいは又、撮像素子ユニットを、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子及び第４色受光撮像素子から構成することができる。ここで、撮像素子ユニットを、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成する場合、具体的には、例えば、第１色受光撮像素子を赤色受光撮像素子、第２色受光撮像素子を青色受光撮像素子、第３色受光撮像素子及び第４色受光撮像素子を緑色受光撮像素子とすればよく、これらの４つの撮像素子をベイヤ配列すればよい。そして、撮像素子ユニットが偏光手段を備えた撮像素子を含む場合、第１撮像素子を第４色受光撮像素子から構成し、第２撮像素子を第３色受光撮像素子から構成すればよいし、あるいは又、第３撮像素子を第４色受光撮像素子から構成し、第４撮像素子を第３色受光撮像素子から構成すればよい。あるいは又、第１撮像素子を第４色受光撮像素子から構成し、第１色受光撮像素子、第２色受光撮像素子及び第３色受光撮像素子は偏光手段を備えていない撮像素子としてもよい。あるいは又、撮像素子ユニットが偏光手段を備えた撮像素子を含む場合、第１色受光撮像素子を赤色受光撮像素子、第２色受光撮像素子を青色受光撮像素子、第３色受光撮像素子を緑色受光撮像素子、第４色受光撮像素子を白色受光撮像素子とすればよく、これらの４つの撮像素子をベイヤ配列すればよい。そして、第１撮像素子を、隣接する２つの撮像素子ユニットの内の一方の撮像素子ユニットを構成する第４色受光撮像素子から構成し、第２撮像素子を、他方の撮像素子ユニットを構成する第４色受光撮像素子から構成すればよいし、あるいは又、第３撮像素子を、隣接する２つの撮像素子ユニットの内の一方の撮像素子ユニットを構成する第４色受光撮像素子から構成し、第４撮像素子を、他方の撮像素子ユニットを構成する第４色受光撮像素子から構成すればよい。但し、このような構成に限定するものではなく、第１色受光撮像素子を赤色受光撮像素子、第２色受光撮像素子を青色受光撮像素子、第３色受光撮像素子をエメラルド（青緑）色受光撮像素子、第４色受光撮像素子を緑色受光撮像素子としてもよく、これらの４つの撮像素子をベイヤ配列すればよい。更には、撮像素子ユニットは、ベイヤ配列に限定するものではなく、その他、インターライン配列、ＧストライプＲＢ市松配列、ＧストライプＲＢ完全市松配列、市松補色配列、ストライプ配列、斜めストライプ配列、原色色差配列、フィールド色差順次配列、フレーム色差順次配列、ＭＯＳ型配列、改良ＭＯＳ型配列、フレームインターリーブ配列、フィールドインターリーブ配列を挙げることができる。
『偏光手段』とは、自然光（非偏光）や円偏光から直線偏光を作り出すものを指し、偏光手段、それ自体は、周知の構成、構造の偏光手段（偏光子、偏光板等）とすればよい。例えば、第１撮像素子及び第２撮像素子の一方の偏光成分を主としてＴＭ波（Ｐ波）とし、第１撮像素子及び第２撮像素子の他方の偏光成分を主としてＴＥ波（Ｓ波）とすればよい。即ち、第１撮像素子及び第２撮像素子の一方は、例えば、専らＴＭ波（Ｐ波）を通過させる偏光手段を備えており、第１撮像素子及び第２撮像素子の他方は、例えば、専らＴＥ波（Ｓ波）を通過させる偏光手段を備えているとすればよい。一般に、振動方向が或る特定の向きだけの横波を偏光した波と呼び、この振動方向を偏光方向あるいは偏光軸と呼ぶ。光の電場の向きは偏光方向と一致する。但し、このような第１撮像素子及び第２撮像素子と、ＴＭ波（Ｐ波）、ＴＥ波（Ｓ波）との関係は、あくまでも説明の簡素化のためのものであり、第１撮像素子及び第２撮像素子と偏光光との関係は、上述したとおり、偏光軸と第１の方向との成す角度がη度（但し、０度≦η＜９０度）である偏光手段を備えた撮像素子が第１撮像素子であり、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた撮像素子が第２撮像素子である。
偏光手段の消光比は、３以上、好ましくは１０以上であることが望ましい。ここで、消光比とは、η＝０度とする場合、即ち、第１撮像素子の電場の向きが第１の方向と平行である構成とする場合、第１撮像素子を通過する光に含まれる、電場の向きが第１の方向である光の成分と電場の向きが第２の方向である光の成分の割合であり、第２撮像素子にあっては、第２撮像素子を通過する光に含まれる、電場の向きが第２の方向である光の成分と電場の向きが第１の方向である光の成分の割合である。また、第３撮像素子の電場の向きが第１の方向と４５度の角度を成す構成とする場合、第３撮像素子にあっては、第３撮像素子を通過する光に含まれる、電場の向きが第１の方向と４５度の角度を成す光の成分と１３５度の角度を成す光の成分の割合であり、第４撮像素子にあっては、第４撮像素子を通過する光に含まれる、電場の向きが第１の方向と１３５度の角度を成す光の成分と４５度の角度を成す光の成分の割合である。あるいは又、例えば、第１撮像素子の偏光成分が主としてＴＥ波（Ｓ波）であり、第２撮像素子の偏光成分が主としてＴＭ波（Ｐ波）である場合、第１撮像素子にあっては、第１撮像素子を通過する光に含まれるＳ波成分とＰ波成分の割合であり、第２撮像素子にあっては、第２撮像素子を通過する光に含まれるＰ波成分とＳ波成分の割合である。
以上に説明した各種の好ましい形態、構成を含む本開示の撮像装置等において、偏光手段を備えた撮像素子は、光電変換素子、並びに、その上あるいは上方に、カラーフィルタ、オンチップレンズ、及び、偏光手段が積層されて成る構成を例示することができる。あるいは又、撮像素子は、光電変換素子、並びに、その上あるいは上方に、偏光手段、カラーフィルタ、及び、オンチップレンズが積層されて成る構成を例示することができる。あるいは又、撮像素子は、光電変換素子、並びに、その上あるいは上方に、オンチップレンズ、カラーフィルタ、及び、偏光手段が積層されて成る構成を例示することができる。但し、オンチップレンズ、カラーフィルタ、及び、偏光手段の積層順は、適宜、変更することができる。そして、偏光手段として、限定するものではないが、例えば、ワイヤグリッド偏光子を挙げることができる。そして、これらの形態にあっては、第１撮像素子を通過する光の電場の向きが第１の方向と平行である構成とする場合、即ち、η＝０度とする場合、ワイヤグリッド偏光子を構成する複数のワイヤの延びる方向は、第１の方向あるいは第２の方向と平行である形態とすることができる。具体的には、第１撮像素子を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第２の方向と平行であり、第２撮像素子を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第１の方向と平行である。あるいは又、これらの形態にあっては、第３撮像素子を通過する光の電場の向きが第１の方向と４５度の角度を成す構成とする場合、ワイヤグリッド偏光子を構成する複数のワイヤの延びる方向は、第１の方向あるいは第２の方向と４５度を成す形態とすることができる。具体的には、第３撮像素子を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第１の方向と１３５度の角度を成し、第４撮像素子を構成するワイヤグリッド偏光子にあっては、ワイヤの延びる方向は第１の方向と４５度の角度を成す。ワイヤの延びる方向がワイヤグリッド偏光子における光吸収軸となり、ワイヤの延びる方向と直交する方向がワイヤグリッド偏光子における光透過軸となる。偏光手段を備えていない撮像素子は、偏光手段を備えた撮像素子から偏光手段を除いた構成、構造とすればよい。
偏光手段をワイヤグリッド偏光子から構成する場合、ワイヤグリッド偏光子を構成するワイヤは、限定するものではないが、アルミニウム（Ａｌ）あるいはアルミニウム合金から成り、ワイヤの幅とワイヤのピッチとの比［（ワイヤの幅）／（ワイヤのピッチ）］の値は０．３３以上であり、ワイヤのピッチは２００ｎｍ以下であり、ワイヤの高さは５×１０-8ｍ以上であり、ワイヤは１０本以上である構成とすることが好ましい。
本開示の撮像装置等は、更に、被写体像を撮像部に導くレンズ系を備えている。レンズ系は、単焦点レンズとしてもよいし、所謂ズームレンズとしてもよく、レンズやレンズ系の構成、構造は、レンズ系に要求される仕様に基づき決定すればよい。撮像素子として、ＣＣＤセンサー、ＣＭＯＳセンサー、ＣＭＤ（Charge Modulation Device）型の信号増幅型イメージセンサーを挙げることができる。また、撮像装置として、表面照射型の固体撮像装置あるいは裏面照射型の固体撮像装置を挙げることができる。更には、撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダ、所謂カメラ付きの携帯電話を構成することができる。
本開示のコンピュータ・プログラムは、読取り可能な記憶媒体に格納されて提供されてもよいし、有線あるいは無線による通信手段を介して提供されてもよい。
実施例１は、本開示の撮像装置（固体撮像装置）、画像処理方法、及び、画像処理方法を含むプログラムに関する。実施例１の撮像装置の概念図を図１の（Ａ）に示し、撮像部の概念図を図１の（Ｂ）に示す。また、撮像部の周辺領域における撮像素子の配列を模式的に図２に示し、撮像部の中央領域における撮像素子の配列を模式的に図３に示す。更には、偏光手段を備えた撮像素子の模式的な一部断面図を図４の（Ａ）に示し、撮像部の周辺領域における拡大した撮像素子を模式的に図４の（Ｂ）に示す。尚、以下の説明において、光の進行方向をＺ軸方向、第１の方向を水平方向（Ｘ軸方向）、第２の方向を垂直方向（Ｙ軸方向）とする。また、図２に示す撮像素子の配列は、撮像部の第４の辺に沿った配列である。
実施例１、あるいは、後述する実施例２〜実施例４の撮像装置は、
複数の撮像素子４１，４２，４３，４４，４５が２次元マトリクス状に配列されて成る撮像部（撮像素子アレイ）３０を有し、
撮像部３０は、周辺領域３２、及び、周辺領域３２に囲まれた中央領域３１に区画され、
周辺領域３２における撮像素子４３，４４，４５には偏光手段５６が備えられており、
中央領域３１における撮像素子４１には偏光手段が備えられていない。
複数の撮像素子４１，４２，４３，４４，４５は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されている。撮像部３０は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されている。そして、実施例１の撮像装置１０において、撮像素子ユニットは、第１色受光撮像素子４１Ｒ，４２Ｒ、第２色受光撮像素子４１Ｂ，４２Ｂ、第３色受光撮像素子４１Ｇ1，４２Ｇ1，４３Ｇ1、及び、第４色受光撮像素子４１Ｇ2，４２Ｇ2，４３Ｇ2から構成されている。具体的には、実施例１の撮像装置１０において、図２及び図３に概念図を示すように、撮像部３０はベイヤ配列を有し、中央領域３１及び周辺領域３２における１画素を構成する１撮像素子ユニットは、複数の撮像素子、実施例１にあっては、具体的には、４つの撮像素子［赤色を受光する１つの赤色受光撮像素子（第１色受光撮像素子４１Ｒ，４２Ｒ）、青色を受光する１つの青色受光撮像素子（第２色受光撮像素子４１Ｂ，４２Ｂ）、及び、緑色を受光する２つの緑色受光撮像素子（第３色受光撮像素子４１Ｇ1，４２Ｇ1，４３Ｇ1及び第４色受光撮像素子４１Ｇ2，４２Ｇ2，４３Ｇ2）］から構成されている。また、撮像部３０は、上述したとおり、周辺領域３２、及び、周辺領域３２に囲まれた中央領域３１に区画されるが、周辺領域３２は、矩形形状の撮像部３０における第１の辺、第２の辺、第３の辺及び第４の辺に沿って配置されている。
尚、図３に示すように、中央領域３１を構成する各撮像素子ユニット（便宜上、『撮像素子ユニット−Ａ』と呼ぶ）において、撮像素子４１は偏光手段を備えておらず、１撮像素子ユニット（１画素）は、赤色を受光する１つの赤色受光撮像素子４１Ｒ、青色を受光する１つの青色受光撮像素子４１Ｂ、及び、緑色を受光する２つの緑色受光撮像素子４１Ｇ1，４１Ｇ2から構成されている。
一方、周辺領域３２を構成する撮像素子ユニット（１画素）は、その一部が、偏光手段を備えた撮像素子４３及び偏光手段を備えていない撮像素子４２から構成された撮像素子ユニット（便宜上、『撮像素子ユニット−Ｂ』と呼ぶ）から構成され、残りが、偏光手段を備えていない撮像素子４２から構成された撮像素子ユニット（便宜上、『撮像素子ユニット−Ｃ』と呼ぶ）から構成されている。具体的には、撮像素子ユニット−Ｂは、図２に示すように、偏光手段を備えた緑色を受光する２つの緑色受光撮像素子４３Ｇ1，４３Ｇ2（図４の（Ａ）及び（Ｂ）参照）、並びに、偏光手段を備えていない赤色受光撮像素子４２Ｒ及び青色受光撮像素子４２Ｂから構成されている。一方、撮像素子ユニット−Ｃは、図２に示すように、偏光手段を備えていない緑色を受光する２つの緑色受光撮像素子４２Ｇ1，４２Ｇ2、赤色受光撮像素子４２Ｒ及び青色受光撮像素子４２Ｂから構成されている。
ここで、周辺領域３２の偏光手段５６を備えた撮像素子４３は、偏光軸と第１の方向との成す角度がη度（但し、０度≦η＜９０度であり、具体的には、実施例１にあっては、η＝０度）である偏光手段５６Ａを備えた第１撮像素子（第４色受光撮像素子である緑色受光撮像素子４３Ｇ1）から構成されている。更には、周辺領域３２における撮像素子４３は、偏光軸と第１の方向との成す角度が（η＋９０）度（具体的には、実施例１にあっては、９０度）である偏光手段５６Ｂを備えた第２撮像素子（第３色受光撮像素子である緑色受光撮像素子４３Ｇ2）から構成されている。
尚、緑色受光撮像素子４３Ｇ1から第２撮像素子を構成し、緑色受光撮像素子４３Ｇ2から第１撮像素子を構成してもよい。また、（１つの赤色受光撮像素子，１つの青色受光撮像素子，２つの緑色受光撮像素子）の内の任意の１つの撮像素子から第１撮像素子を構成し、残りの３つの撮像素子の内の任意の１つの撮像素子から第２撮像素子を構成してもよい。そして、撮像素子の組合せに応じて、後述する出力信号の補正処理において各撮像素子からの出力信号の相違を補正すればよい。
撮像素子４１，４２，４３は、撮像部３０全体として、第１の方向にＮ個（実施例１にあっては、具体的には、Ｎ＝４×１０3乃至５×１０3）、第２の方向にＭ個（実施例１にあっては、具体的には、Ｍ＝３×１０3乃至４×１０3）、２次元マトリクス状に配列されている。ここで、周辺領域３２において、第１の方向に沿って、２i個（但し、ｉは１以上、５以下の整数であり、具体的には、実施例１にあっては、ｉ＝２）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子（１又は２以上の撮像素子であり、実施例１にあっては２つの撮像素子４３）に偏光手段５６が備えられており、且つ、第２の方向に沿って、２j個（但し、ｊは１以上、５以下の整数であり、具体的には、実施例１にあっては、ｊ＝１）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子（１又は２以上の撮像素子であり、実施例１にあっては２つの撮像素子４３）に偏光手段５６が備えられている。これらの撮像素子４３は、規則正しく配列されている。実施例１にあっては、周辺領域３２において、１つの撮像素子ユニット・ブロック（２i×２j個の撮像素子ユニットであり、具体的には、４×２＝８個の撮像素子ユニット）内に、偏光手段を備えた撮像素子（撮像素子４３Ｇ1及び撮像素子４３Ｇ2の２つ）を有する１つの撮像素子ユニット−Ｂが存在し、１つの撮像素子ユニット・ブロック内の残りの撮像素子ユニット−Ｃにおける撮像素子４２には偏光手段が備えられていない。撮像素子ユニットに対して撮像素子ユニット・ブロックをどのように区画するかは、本質的に任意であり、図２、図７及び図８においては、撮像素子ユニット・ブロックを太い実線で囲った。
偏光手段５６を備えた撮像素子４３の配置状態は、例えば１４００万画素の撮像装置を対象とした場合、６４０画素×４８０画素以上、即ち、画像表示規格におけるＶＧＡ相当以上であり、特段、解像度の劣化が生じることは無い。
そして、模式的な一部断面図を図４の（Ａ）に示し、周辺領域３２におけるワイヤグリッド偏光子５６の配列状態を模式的に図４の（Ｂ）に示すように、偏光手段５６（ワイヤグリッド偏光子５６Ａ，５６Ｂ）を備えた撮像素子４３（４３Ｇ1，４３Ｇ2）は、例えば、シリコン半導体基板５０に設けられた光電変換素子５１、並びに、その上に、第１平坦化膜５２、カラーフィルタ５３、オンチップレンズ５４、第２平坦化膜５５、及び、ワイヤグリッド偏光子５６が積層されて成る。尚、参照番号５８は配線層を示し、参照番号５９は遮光層を示す。ここで、シリコン半導体基板５０の屈折率は３．８であり、ＳｉＮから成る第１平坦化膜５２の屈折率は２．１であり、ＳｉＯ2から成る第２平坦化膜５５の屈折率は１．７である。図４の（Ｂ）においては、画素の境界領域を実線で示した。
ワイヤグリッド偏光子５６を構成する複数のワイヤ５７の延びる方向は、第１の方向あるいは第２の方向と平行である。具体的には、第１撮像素子（撮像素子４３Ｇ1）において、ワイヤグリッド偏光子５６Ａのワイヤ５７Ａの延びる方向は第２の方向と平行である。一方、第２撮像素子（撮像素子４３Ｇ2）において、ワイヤグリッド偏光子５６Ｂのワイヤ５７Ｂの延びる方向は第１の方向と平行である。ワイヤ５７の延びる方向がワイヤグリッド偏光子５６における光吸収軸となり、ワイヤ５７の延びる方向と直交する方向がワイヤグリッド偏光子５６における光透過軸となる。第１撮像素子（撮像素子４３Ｇ1）は、説明の簡素化のため、主としてＴＥ波成分（Ｓ波成分）を有する光を受光するとする。一方、第２撮像素子（撮像素子４３Ｇ2）は、説明の簡素化のため、主としてＴＭ波成分（Ｐ波成分）を有する光を受光するとする。尚、図２において、第１撮像素子（撮像素子４３Ｇ1）に縦線を付し、第２撮像素子（撮像素子４３Ｇ2）に横線を付しているが、これらは、ワイヤグリッド偏光子５６Ａ，５６Ｂのワイヤを模式的に示している。各偏光子５６の消光比は、３以上、より具体的には１０以上である。図７〜図１１においても、偏光手段を有する撮像素子には、横線、縦線、斜め線を付しているが、これらは、ワイヤグリッド偏光子のワイヤを模式的に示している。
実施例１の撮像装置１０においては、中央領域３１における撮像素子４１の個数をＱ1個、周辺領域３２における撮像素子４２，４３の個数をＱ2個としたとき、
０．２５≦Ｑ2／（Ｑ1＋Ｑ2）≦０．４５
を満足している。具体的には、
Ｑ2／（Ｑ1＋Ｑ2）＝０．２５
である。
あるいは又、実施例１の撮像装置１０において、
撮像素子４１，４２，４３は、第１の方向にＮ個、第１の方向と直交する第２の方向にＭ個、配列されており、
第１の方向における第１番目の撮像素子から第Ｎ0番目の撮像素子、及び、第１の方向における第（Ｎ−Ｎ0＋１）番目の撮像素子から第Ｎ番目の撮像素子であって、第２の方向における第１番目の撮像素子から第Ｍ0番目の撮像素子、及び、第２の方向における第（Ｍ−Ｍ0＋１）番目の撮像素子から第Ｍ番目の撮像素子（但し、Ｎ0はαとＮの積を四捨五入した値であり、Ｍ0はβとＭの積を四捨五入した値であり、ここで、
０．４５≦α≦０．７０
であり、
０．６０≦β≦０．９０
である）が、周辺領域３２に属する。具体的には、実施例１にあっては、
α ＝０．４５
β ＝０．６０
Ｎ0＝１８００乃至２２５０
Ｍ0＝１８００乃至２２５０
である。
あるいは又、実施例１の撮像装置１０において、周辺領域３２は、波長λ＝５５０ｎｍの円偏光に基づく光を撮像部３０に入射させたとき、撮像素子に入射した光のＴＥ波成分（Ｓ波成分）のエネルギー強度（あるいは、第１撮像素子の出力信号の値）からＴＭ波成分（Ｐ波成分）のエネルギー強度（あるいは、第２撮像素子の出力信号の値）を減じた値が、入射光のエネルギー強度（あるいは、第１撮像素子と第２撮像素子の出力信号の合計値）の０．０２倍（１／５０倍）以上である撮像素子が属する領域である。具体的には、例えば、波長λ＝５５０ｎｍの円偏光に基づく光を撮像部３０に入射させたときの撮像素子からの出力電圧が例えば１５０ミリボルトであるとき、第１撮像素子からの出力電圧から第２撮像素子からの出力電圧を減じた値が３ミリボルト以上である撮像素子が属する領域を周辺領域３２とする。
あるいは又、実施例１の撮像装置１０において、周辺領域３２は、撮像素子への光の入射角が１０度以上の撮像素子４２，４３が属する領域である。偏光手段５６を備えた撮像素子４３の構成を、前述のとおりとした場合、波長λ＝５５０ｎｍの円偏光に基づく光を撮像部３０に入射させたとき、第１撮像素子と第２撮像素子との出力電圧差は、撮像素子への入射角３０度で約１０ミリボルト乃至１５ミリボルトとなる。一方、視感度として認識できる光量の差異は１０パーセント程度である。従って、計算上、１５０ミリボルトの出力電圧（感度）に対して、入射角３０度以下である撮像素子が位置する領域が中央領域３１に相当する。然るに、撮像装置にあっては、ガンマ（γ）カーブやゲイン等、種々の補正がなされるので、視感度として認識できる光量の差異を１０パーセント程度よりも小さいと想定し、第１撮像素子と第２撮像素子との出力電圧差を３ミリボルト乃至５ミリボルトとする。そして、このような出力電圧差となるときの撮像素子への入射角を求めると、例えば、１０度となる。
実施例１、あるいは、後述する実施例２〜実施例４の撮像装置はレンズ系２０を備えている。レンズ系２０は、例えば、撮影レンズ２１、絞り部２２及び結像レンズ２３を備えており、ズームレンズとして機能する。撮影レンズ２１は、被写体からの入射光を集光するためのレンズである。撮影レンズ２１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等を含み、一般に、色収差等を補正するために複数枚のレンズの組合せによって実現されている。絞り部２２は、集光された光の量を調整するために絞り込む機能を有するものであり、一般に、複数枚の板状の羽根を組み合わせて構成されている。少なくとも絞り部２２の位置において、被写体の１点からの光は平行光となる。結像レンズ２３は、絞り部２２を通過した光を撮像部３０上に結像する。撮像部３０は、カメラ本体部１１の内部に配置されている。撮像装置から、例えば、デジタルスチルカメラやビデオカメラ、カムコーダが構成される。
カメラ本体部１１は、撮像部（撮像素子アレイ）３０の他に、例えば、信号処理部１２、画像記憶部１３、ＡＤ変換部１４を備えている。そして、入力光が撮像部３０にて変換された出力信号（電気信号）に基づき、信号処理部１２において画像データが生成、形成される。撮像素子４１，４２，４３，４４，４５は、例えば、ＣＣＤ（Charge Coupled Devices）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサー等によって実現される。撮像部３０から出力された出力信号（電気信号）が信号処理部１２において画像データに変換され、画像記憶部１３に記録される。
ところで、撮像素子への光の入射角はレンズ系に依存するが、撮像部における撮像素子の占める位置、及び、Ｆ値や焦点距離等のレンズ系のパラメータに依存した撮像素子への光の入射角θが決定すれば、ＴＥ波（Ｓ波）及びＴＭ波（Ｐ波）の割合に応じて、第１撮像素子から出力される出力信号の値と第２撮像素子から出力される出力信号の値との割合（出力信号比）が求まる。尚、撮像部における撮像素子の占める位置が同じでも、レンズ系のパラメータが変われば、入射角θも変わる。前述したとおり、第１撮像素子は、専らＴＥ波（Ｓ波）を通過させる偏光手段を備えており、第２撮像素子は、専らＴＭ波（Ｐ波）を通過させる偏光手段を備えているとし、第１撮像素子と第２撮像素子とは、偏光手段を除き、同じ構成、構造を有するとする。
例えば、無限遠方の光源から円偏光の均質な光が撮像装置に到達した場合を想定する。この場合、理想的には、撮像素子が撮像部のどこに位置しようとも、撮像素子からの出力電圧はＶ0-CPLとなるはずであるし、第１撮像素子及び第２撮像素子に同じ入射角θで侵入した場合、最終的に得られる第１撮像素子及び第２撮像素子からの出力信号Ｖ1-CPL，Ｖ2-CPLは、光透過率が偏光状態に依存しないとすれば、
Ｖ1-CPL＝Ｖ2-CPL＝Ｖ0-CPL／２ （１）
となる。然るに、入射角θ（≠０度）にあっては、撮像素子の光入射面における光透過率が、第１撮像素子と第２撮像素子とでは異なり、最終的に得られる第１撮像素子及び第２撮像素子からの出力信号Ｖ1-CPL’，Ｖ2-CPL’は、理想的には、
Ｖ1-CPL’＝｛Ｖ0-CPL／２｝×ＴＲS（θ） （２−１）
Ｖ2-CPL’＝｛Ｖ0-CPL／２｝×ＴＲP（θ） （２−２）
となる。ここで、ＴＲS（θ）は入射角θにおける第１撮像素子における光透過率であり、ＴＲP（θ）は入射角θにおける第２撮像素子における光透過率である。図１３に示したように、入射角θが小さい場合、式（１）を満たす場合であっても、
ＴＲP（θ）＞ＴＲS（θ）
であるが故に、
Ｖ1-CPL’＜Ｖ2-CPL’
となる。
また、ＴＭ波（Ｐ波）成分のみを偏光成分とする光（入射角θ＝０度であって、光強度を偏光手段を備えていない撮像素子の出力電圧に換算した値をＶ0-Pとする）が第１撮像素子及び第２撮像素子に入射した場合、最終的に得られる第１撮像素子及び第２撮像素子からの出力信号Ｖ1-P’，Ｖ2-P’は、理想的には、
Ｉ1-P’＝０
Ｉ2-P’＝Ｖ0-P×ＴＲP（θ）
となる。一方、ＴＥ波（Ｓ波）のみを偏光成分とする光（入射角θ＝０度であって、光強度を偏光手段を備えていない撮像素子の出力電圧に換算した値をＶ0-Sとする）が第１撮像素子及び第２撮像素子に入射した場合、最終的に得られる第１撮像素子及び第２撮像素子からの出力信号Ｖ1-S’，Ｖ2-S’は、理想的には、
Ｉ1-S’＝Ｖ0-S×ＴＲS（θ）
Ｉ2-S’＝０
となる。
一般に、撮像装置に入射する光は、ＴＭ波（Ｐ波）及びＴＥ波（Ｓ波）の両方を偏光成分として有する。無限遠方の光源から、ＴＭ波（Ｐ波）及びＴＥ波（Ｓ波）の両方を偏光成分として有する均質な光Ｌｔが撮像装置に到達した場合を想定する。そして、このような光Ｌｔが、偏光手段を備えていない撮像素子に入射角θ＝０度で入射したときに得られる出力電圧の値をＶ0とし、このような光ＬｔのＴＥ波（Ｓ波）成分に基づく出力電圧の値をＶ0-Sとし、このような光ＬｔのＴＭ波（Ｐ波）成分に基づく出力電圧の値をＶ0-Pとする。理想的な状態にあっては、
Ｖ0＝Ｖ0-S＋Ｖ0-P （３）
である。
ところが、（Ｖ0-S，Ｖ0-P）は、実際には、前述したとおり、撮像素子への光Ｌｔの入射角θに依存した光透過率ＴＲS（θ），ＴＲP（θ）に起因して変わる。従って、入射角θにて撮像素子に入射する光Ｌｔの光強度に基づく出力電圧は以下のとおりとなる。
Ｖ0-S’＝Ｖ0-S×ＴＲS（θ） （４−１）
Ｖ0-P’＝Ｖ0-P×ＴＲP（θ） （４−２）
ここで、撮像素子への光Ｌｔの入射角θは、上述したとおり、レンズ系のパラメータに依存した値によって決定される値である。そして、入射角θが決定されれば、ＴＲS（θ），ＴＲP（θ）の値が決定される。一方、出力電圧Ｖ0-S’は第１撮像素子からの出力電圧（Ｖ1’）であるし、出力電圧Ｖ0-P’は第２撮像素子からの出力電圧（Ｖ2’）である。従って、光ＬｔのＴＭ波（Ｐ波）成分及びＴＥ波（Ｓ波）成分に基づく補正された出力電圧を得ることができる。
Ｖ0-S＝Ｖ1’／ＴＲS（θ） （５−１）
Ｖ0-P＝Ｖ2’／ＴＲP（θ） （５−２）
また、第１撮像素子及び第２撮像素子と偏光手段を備えていないことを除き同じ構成、構造を有する撮像素子に光Ｌｔが入射角θで入射したときの出力電圧Ｖ0-(S+P)’は、
Ｖ0-(S+P)’＝Ｖ1’＋Ｖ2’ （６）
となるはずであるが、実際には、式（６）の左辺と右辺とは等しくない場合が生じ得る。
更には、実際には、式（５−１）及び式（５−２）の右辺には種々の変動要因が含まれ得る。従って、第１撮像素子及び第２撮像素子に対する補正係数Ｃ1，Ｃ2を予め求めておく。ここで、補正係数Ｃ1，Ｃ2は、肉眼と撮像素子との感度差や、偏光手段の消光比等を考慮した上での、撮像装置における各種の試験から求まる値である。また、ＴＲP（θ）及びＴＲS（θ）の値も各種の試験から求まる値である。そして、補正係数Ｃ1，Ｃ2を考慮した上で、式（５−１）及び式（５−２）は以下にように表すことができる。
Ｖ0-S＝｛Ｃ1／ＴＲS（θ）｝×Ｖ1’ （７−１）
Ｖ0-P＝｛Ｃ2／ＴＲP（θ）｝×Ｖ2’ （７−２）
従って、レンズ系に依存した撮像素子への光の入射角θ、及び、撮像部３０における偏光手段を備えた撮像素子４３Ｒ1，４３Ｒ2の位置をパラメータとした補正係数（Ｃ1／ＴＲS（θ），Ｃ2／ＴＲP（θ））、並びに、第１撮像素子及び第２撮像素子出力４３Ｒ1，４３Ｒ2からの出力信号値（Ｖ1’，Ｖ2’）に基づく、撮像素子の出力信号への補正値を、レンズ系に依存した撮像素子への光の入射角θ、及び、撮像部３０における偏光手段を備えた撮像素子４３Ｒ1，４３Ｒ2の位置をパラメータとして予め出力信号補正テーブル化とすればよい。
あるいは、レンズ系に依存した撮像素子への光の入射角θ、及び、撮像部３０における偏光手段を備えた撮像素子４３Ｒ1，４３Ｒ2の位置をパラメータとした補正係数（Ｃ1／ＴＲS（θ），Ｃ2／ＴＲP（θ））、並びに、第１撮像素子及び第２撮像素子出力４３Ｒ1，４３Ｒ2からの出力信号値（Ｖ1’，Ｖ2’）に基づく、補正関数を予め作成し、撮像素子の出力信号への補正値を、レンズ系に依存した撮像素子への光の入射角θ、及び、撮像部３０における偏光手段を備えた撮像素子４３Ｒ1，４３Ｒ2の位置をパラメータとして係る、補正関数から、都度、計算で求めてもよい。
出力信号補正テーブルの作成においては、撮像素子の入射光波長による感度も考慮する。即ち、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、第４色受光撮像素子の入射光波長による感度は一般に相違しているので、感度の相違を考慮して出力信号補正テーブルを作成する。そして、この出力信号補正テーブルに基づいて、撮像素子の出力信号を補正すればよい。撮像素子の出力信号の補正は、例えば、第１撮像素子及び第２撮像素子が含まれる撮像素子ユニット・ブロック内の第１撮像素子及び第撮像素子の出力信号の値に基づき、これらの第１撮像素子及び第２撮像素子が属する撮像素子ユニット・ブロック内の全ての撮像素子の出力信号に対する補正を、信号処理部１２において行えばよい。
実際に撮像装置に入射する光の偏光状態は、種々、様々である。従って、実際の光に基づき最終的に得られる第１撮像素子及び第２撮像素子からの出力信号を、それぞれ、Ｖ1”，Ｖ2”としたとき、
Ｖ1”＞Ｖ2”
となるか、
Ｖ1”＝Ｖ2”
となるか、
Ｖ1”＜Ｖ2”
となるかは、入射光の偏光状態に依存する。
それ故、補正処理量を削減するために、例えば、
Ｖ1”＞Ｖ2”
の場合のみ、云い換えれば、入射光において、ＴＥ波成分（Ｓ波成分）がＴＭ波成分（Ｐ波成分）よりも多い場合のみ、各撮像素子の出力信号に対する補正を行い、
Ｉ1”≦Ｉ2”
の場合、各撮像素子の出力信号に対する補正を行わないといった補正処理を採用してもよい。
あるいは又、Ｖ1”≧Ｖ2”の場合には、ＴＥ波成分（Ｓ波成分）がＴＭ波成分（Ｐ波成分）よりも多いので、第１撮像素子の出力信号に基づき、各撮像素子の出力信号に対する補正を行い、Ｖ1”＜Ｖ2”の場合には、ＴＭ波成分（Ｐ波成分）がＴＥ波成分（Ｓ波成分）よりも多いので、第２撮像素子の出力信号に基づき、各撮像素子の出力信号に対する補正を行うといった補正処理を採用してもよい。
周辺領域における偏光手段を備えていない撮像素子に円偏光した光が入射し、係る撮像素子から０ミリボルト乃至３００ミリボルトの出力電圧が出力されたと想定したとき、入射角θをパラメータとして、第１撮像素子［ＴＥ波（Ｓ波）成分を検出］からの出力電圧（Ｖ1”）を求めた結果（但し、理想状態）を表１に示す。また、入射角θをパラメータとして、第２撮像素子［ＴＭ波（Ｐ波）成分を検出］からの出力電圧（Ｖ2”）を求めた結果を表２に示す。更には、第１撮像素子からの出力電圧（Ｖ1”）から、第２撮像素子からの出力電圧（Ｖ2”）を減じた値を表３に示す。第１撮像素子にあっては、入射角θが大きくなると、光反射率が増加し、光透過率が減少するが故に、出力電圧は減少する。これとは逆に、第２撮像素子にあっては、入射角θが大きくなると、光反射率が減少し、光透過率が増加するが故に、出力電圧は増加する。尚、入射角θ＝０度において、周辺領域における偏光手段を備えていない撮像素子に円偏光した光が入射したとき、係る撮像素子からの出力電圧に対して、第１撮像素子及び第２撮像素子の出力電圧は１／２となっているが、これは、第１撮像素子及び第２撮像素子に偏光手段が備えられているからである。
Figure 2013090085
ここで、撮像装置１０は、前述したとおり、撮像素子からの信号を受け取る信号処理部１２を更に備えており、信号処理部１２は、周辺領域３２における偏光手段が備えられた撮像素子４３，４４，４５からの出力信号に基づいて、周辺領域における撮像素子４２，４３，４４，４５からの出力信号の補正を行う。この場合、信号処理部１２は、偏光手段が備えられた撮像素子４３，４４，４５が撮像部３０を占める位置、及び、撮像素子４３，４４，４５への光の入射角に依存して出力信号の補正量を決定する。実施例１〜実施例４にあっては、１つの撮像素子ユニット・ブロック内に偏光手段を備えた撮像素子が１つあるいは１組、存在するので、信号処理部１２は、偏光手段を備えた撮像素子４３，４４，４５からの出力信号に基づいて、この１つの撮像素子ユニット・ブロック内の各撮像素子４２及び各撮像素子４３，４４，４５の出力信号を補正する。ここで、撮像部３０における撮像素子４３，４４，４５の位置、及び、撮像素子４３，４４，４５への光の入射角をパラメータとした出力信号補正テーブルに基づいて、撮像素子４２の出力信号を補正すればよい。出力信号補正テーブルは、例えば、画像記憶部１３に記憶されている。
尚、撮像素子の出力電圧は、例えば、周知のデモザイク処理や近傍の値の加算平均値を利用する方法等の補間処理等によって求めることができる。
図５に示すように、信号処理部１２は、ＣＰＵやマイクロ・コンピュータといったコンピュータから構成された中央制御部１０１、黒レベル処理部１１１、画素欠陥補正部１１２、ホワイトバランス処理部１１３、補間処理部１１４、リニアマトリクス処理部１１５、ガンマ補正処理部１１６Ｒ，１１６Ｇ，１１６Ｂ、輝度信号処理部１１７、エッジ強調処理部１１８、画像圧縮処理部１１９、色信号処理部（色差信号処理部）１２０、色差マトリクス処理部１２１を備えている。
撮像部３０からＡＤ変換部１４には、４種類の撮像素子（第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子）からの出力信号が入力される。ＡＤ変換部１４では、４種類の撮像素子からの出力信号のそれぞれがデジタル信号に変換される。尚、図示しないが、信号処理部１２には、ＡＤ変換部１４の他、例えば、撮像部３０からの出力信号に対して、ノイズ成分を除去する相関二重サンプリング処理、ゲインコントロール処理等を行う処理部が設けられている。
信号処理部１２における各種処理部は、インタフェースを介して中央制御部１０１とバス接続されている。中央制御部１０１は、所定のコンピュータ・プログラムに従って、撮像部３０やＡＤ変換部１４、信号処理部１２における各種処理部の動作を制御する。中央制御部１０１には画像記憶部１３（図１の（Ａ）参照）が接続されている。また、信号処理部１２、より具体的には、中央制御部１０１を構成するコンピュータにおいて、周辺領域３２における偏光手段が備えられた撮像素子４３からの出力信号に基づいて、周辺領域３２における撮像素子４２，４３の出力信号に対する補正を行う。
尚、中央制御部１０１におけるプログラムの更新あるいは新規インストールは、記憶媒体やネットワークを通じて行うことが可能である。例えば、メモリカード等の記録媒体を中央制御部１０１に対して挿脱可能とすればよいし、あるいは又、インターネット等の通信網との接続を可能とすればよい。記録媒体は、例えば、中央制御部１０１にソフトウェア処理をさせるためのコンピュータ・プログラムや、信号処理部１２からの輝度信号に基づく測光データの収束範囲や露光制御処理（電子シャッタ制御を含む）等のための各種制御の設定等、種々のデータを登録するために利用される。通信網を介しての場合も同様である。
信号処理部１２は、ＡＤ変換部１４からの出力信号に対して、補間処理、フィルタリング処理、マトリクス演算処理、輝度信号生成処理、色差信号生成処理等を行う。信号処理部１２によって生成された画像信号が、例えば、図示しない画像表示装置に供給され、撮像画像が表示され、また、信号処理部１２からの画像データが圧縮されて画像記憶部１３に記憶される。
以下、信号処理部１２の各処理部について説明する。
黒レベル処理部１１１では、ＡＤ変換部１４からの４種類の出力信号の基準レベルがクランプされると共に、必要に応じて、これらの出力信号に含まれるノイズ成分（オフセット成分）が除去される。黒レベル処理部１１１からの出力信号は、画素欠陥補正部１１２において画素欠陥が補正される。
そして、画素欠陥補正部１１２からの出力信号は中央制御部１０１に送られる。中央制御部１０１においては、出力信号の補正をコンピュータ（中央制御部１０１）を用いて行うコンピュータ・プログラムが備えられており、周辺領域３２における偏光手段が備えられた撮像素子からの出力信号に基づいて、前述したとおり、周辺領域３２における撮像素子の出力信号に対する補正がコンピュータ（中央制御部１０１）によって行われる。
尚、黒レベル処理部１１１からの出力信号を中央制御部１０１に送出し、中央制御部１０１において出力信号に対する補正を行い、画素欠陥補正部１１２に送出してもよい。あるいは又、ホワイトバランス処理部１１３より後段の何れかの信号パスにおいて、出力信号を中央制御部１０１に送出し、中央制御部１０１において出力信号に対する補正を行ってもよい。
このような補正が行われた出力信号は、ホワイトバランス処理部１１３に送出され、ホワイトバランス補正、即ち、色温度が補正される。例えば、ホワイトバランス処理部１１３では、４種類の撮像素子からの出力信号に適切な係数を掛けることにより、被写体の無彩色の部分の色バランスが実際に無彩色となるようにホワイトバランスが調整される。
そして、ホワイトバランス処理部１１３からの出力信号が補間処理部１１４に供給される。補間処理部１１４では、垂直方向の補間処理やフィルタリング処理のために、遅延素子、例えば小規模なメモリを使用して、時間的に異なる垂直方向の画像データを同時化する。また、補間処理部１１４にあっては、同時化された複数の出力信号に対して、補間処理、フィルタ処理、高域周波数補正処理、及び、ノイズ処理部等も行われる。例えば、補間処理部１１４では、１つの撮像素子ユニットにおける出力信号を同一空間の位相に補間する補間処理、適切に信号帯域を制限するフィルタ処理、信号帯域の高域成分を補正する高域周波数補正処理、及び、出力信号のノイズ成分を除去するノイズ処理等が行われる。
補間処理部１１４からの４種類の出力信号はリニアマトリクス処理部１１５に供給される。リニアマトリクス処理部１１５では、４入力３出力のマトリクス演算がなされる。３×４の行列のマトリクス係数を与えることで、入力された４種類の出力信号から３原色（赤色、緑色、青色）に相当する出力信号を得ることができる。この際、色再現性を高めるようなマトリクス係数を用いてリニアマトリクス変換を施すことが好ましい。リニアマトリクス処理部１１５からの３種類の出力信号のそれぞれは、ガンマ補正処理部１１６Ｒ，１１６Ｇ，１１６Ｂに供給される。そして、ガンマ補正処理部１１６Ｒ，１１６Ｇ，１１６Ｂにおいて非線形特性の逆補正が行われることで、最終的にリニアな特性が実現される。
ガンマ補正処理部１１６Ｒ，１１６Ｇ，１１６Ｂの出力信号は、輝度信号処理部１１７及び色信号処理部１２０に供給される。輝度信号処理部１１７では、ガンマ補正された出力信号が所定の合成比で合成されることによって輝度信号が生成され、エッジ強調処理部１１８に供給される。エッジ強調処理部１１８では、必要に応じてエッジ強調処理が行われ、画像をシャープにする。色信号処理部１２０では、ガンマ補正された出力信号が所定の合成比で合成されることによって色差信号が生成され、色差マトリクス処理部１２１に供給される。色差マトリクス処理部１２１では、出力信号に適切なゲイン係数を乗じて、色相及び／又は彩度の調整処理（色相・彩度調整）が行われる。これにより、時分割多重化された色差信号が形成される。
画像圧縮処理部１１９では、エッジ強調処理部１１８及び色差マトリクス処理部１２１から出力される画像データは、ＪＰＥＧ（Joint Photographic Experts Group）やＭＰＥＧ（Moving Picture Experts Group）等の所定の方式に基づき符号化され、符号化された画像データは画像記憶部１３に保存される。画像記憶部１３として、例えば、フラッシュメモリ等の半導体メモリ、ハードディスク、磁気記録媒体、光磁気記録媒体、光記録媒体等を挙げることができる。
エッジ強調処理部１１８及び色差マトリクス処理部１２１から出力される画像データは、画像表示部（図示せず）にも供給され、画像データに基づいて、例えば、液晶表示装置等の表示装置に表示される。
実施例１の撮像装置、画像処理方法あるいはコンピュータ・プログラムにあっては、周辺領域における撮像素子に偏光手段が備えられており、中央領域における撮像素子には偏光手段が備えられていない。撮像素子への光の入射角は、周辺領域においては大きく、中央領域においては小さいので、撮像素子への光の偏光状態に依存して、周辺領域においては撮像素子からの出力信号強度に変化が生じ得る。然るに、周辺領域における撮像素子には偏光手段が備えられているので、入射する光の偏光状態を検出することができる結果、入射する光の偏光状態に基づき撮像素子からの出力信号を補正することができ、肉眼によって検知される明るさよりも撮像装置によって検知される明るさが低いといった問題を解決することができる。
実施例２は実施例１の変形である。実施例２の撮像装置における撮像部の概念図を図６の（Ａ）に示し、撮像部の周辺領域であって、左上隅の部分における撮像素子の配列を模式的に図７に示す。実施例２において、周辺領域３３の撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋４５）度、具体的には４５度である偏光手段を備えた第３撮像素子４４Ｇ1、及び、偏光軸と第１の方向との成す角度が（η＋１３５）度、具体的には１３５度である偏光手段を備えた第４撮像素子４４Ｇ2から構成されている。尚、第３撮像素子４４Ｇ1は、第４色受光撮像素子である緑色受光撮像素子から構成されており、第４撮像素子４４Ｇ2は、第３色受光撮像素子である緑色受光撮像素子から構成されている。
ここで、矩形形状の撮像部３０の４つのコーナー部及びその近傍３３Ｂには第３撮像素子４４Ｇ1及び第４撮像素子４４Ｇ4が配されており、その他の周辺領域３３Ａには、実施例１において説明した第１撮像素子４３Ｇ1及び第２撮像素子４３Ｇ2が配されている。
以上の点を除き、実施例２の撮像装置の構成、構造、画像処理方法及びプログラムは、実施例１の撮像装置の構成、構造、画像処理方法及びプログラムと同様とすることができるので、詳細な説明は省略する。
尚、矩形形状の撮像部３０の４つのコーナー部及びその近傍３３Ｂに第３撮像素子４４Ｇ1及び第４撮像素子４４Ｇ4が配されており、その他の周辺領域３３Ａには、偏光手段を備えていない撮像素子が配されている構成とすることもできる。また、矩形形状の撮像部３０の４つのコーナー部及びその近傍３３Ｂに第１撮像素子４３Ｇ1及び第２撮像素子４３Ｇ4が配されており、その他の周辺領域３３Ａには、偏光手段を備えていない撮像素子が配されている構成とすることもできる。
実施例３も実施例１の変形である。実施例３の撮像装置の撮像部の周辺領域３４における撮像素子の配列を模式的に図８に示す。実施例３において、周辺領域３４における偏光手段を備えた撮像素子は、η＝０度である偏光手段５６Ａを備えた第１撮像素子（第４色受光撮像素子である緑色受光撮像素子４３Ｇ1）から構成されている。撮像素子ユニット−Ｂを構成するその他の第１色受光撮像素子４２Ｒ、第２色受光撮像素子４２Ｂ及び第３色受光撮像素子４２Ｇ1には偏光手段は備えられていない。そして、この場合、信号処理部１２において、偏光手段が備えられた撮像素子４３Ｇ1、及び、例えば、偏光手段が備えられていない第３色受光撮像素子４２Ｇ2からの出力信号に基づいて、周辺領域３４における撮像素子の出力信号に対する補正を行えばよい。但し、第３色受光撮像素子４２Ｇ2からの出力信号の代わりに、第２色受光撮像素子４２Ｂからの出力信号、あるいは、第１色受光撮像素子４２Ｒからの出力信号を用いることもできる。そして、これらの場合、実施例１において説明した第２撮像素子の出力信号を、第３色受光撮像素子４２Ｇ2、第２色受光撮像素子４２Ｂからの出力信号、あるいは、第１色受光撮像素子４２Ｒからの出力信号に置き換えればよい。
以上の点を除き、実施例３の撮像装置の構成、構造、画像処理方法及びプログラムは、実施例１の撮像装置の構成、構造、画像処理方法及びプログラムと同様とすることができるので、詳細な説明は省略する。
尚、周辺領域における偏光手段を備えた撮像素子を、第１撮像素子の代わりに、第２撮像素子、第３撮像素子、第４撮像素子としてもよいし、周辺領域の各部分において、これらの撮像素子の内、異なる撮像素子を配置してもよい。具体的には、撮像部の概念図を図６の（Ｂ）に示すように、例えば、η＝０度としたときの以下の撮像素子を、表４に示すように配置すればよい。尚、各撮像素子において、偏光軸と第１の方向との成す角度をζ（度）で表している。また、図６の（Ｂ）の参照３４Ｂ，３４Ｄ，３４Ｆ，３４Ｈが、矩形形状の撮像部の４つのコーナー部及びその近傍における『近傍』に該当する。
［表４］
第１の辺と第２の辺の交わるコーナー部及びその近傍３４Ｂ：第３及び第４撮像素子
ζ＝４５度及び１３５度
第２の辺と第３の辺の交わるコーナー部及びその近傍３４Ｄ：第３及び第４撮像素子
ζ＝４５度及び１３５度
第３の辺と第４の辺の交わるコーナー部及びその近傍３４Ｆ：第３及び第４撮像素子
ζ＝４５度及び１３５度
第４の辺と第１の辺の交わるコーナー部及びその近傍３４Ｈ：第３及び第４撮像素子
ζ＝４５度及び１３５度
その他の第１の辺に沿った周辺領域３４Ａ ：第１及び第２撮像素子
ζ＝０度及び９０度
その他の第２の辺に沿った周辺領域３４Ｃ ：第１及び第２撮像素子
ζ＝０度及び９０度
その他の第３の辺に沿った周辺領域３４Ｅ ：第１及び第２撮像素子
その他の第４の辺に沿った周辺領域３４Ｇ ：第１及び第２撮像素子
ζ＝０度及び９０度
実施例４も実施例１の変形である。実施例４の撮像装置の撮像部の周辺領域における撮像素子の配列を模式的に図９に示すが、実施例４にあっては、周辺領域３５において、偏光手段を備えた撮像素子ユニット−Ｂは、第１色受光撮像素子を赤色受光撮像素子４２Ｒ、第２色受光撮像素子を青色受光撮像素子４２Ｂ、第３色受光撮像素子を緑色受光撮像素子４２Ｇ、第４色受光撮像素子を白色受光撮像素子４５Ｗ1，４５Ｗ2とした撮像素子ユニットから構成されている。尚、白色受光撮像素子４５Ｗ1，４５Ｗ2は、カラーフィルタを備えていない撮像素子である。そして、これらの４つの撮像素子はベイヤ配列とされている。ここで、隣接する２つの撮像素子ユニット−Ｂの内の一方の撮像素子ユニット−Ｂを構成する第４色受光撮像素子４５Ｗ1を第１撮像素子から構成し、他方の撮像素子ユニット−Ｂを構成する第４色受光撮像素子４５Ｗ2を第２撮像素子から構成している。
以上の点を除き、実施例４の撮像装置の構成、構造、画像処理方法及びプログラムは、実施例１の撮像装置の構成、構造、画像処理方法及びプログラムと同様とすることができるので、詳細な説明は省略する。また、実施例４における白色受光撮像素子を、実施例２あるいは実施例３の第１撮像素子〜第４撮像素子のいずれかに適用することができる。
以上、本開示を好ましい実施例に基づき説明したが、本開示はこれらの実施例に限定されるものではない。実施例において説明した撮像装置、撮像素子、信号処理部の構成、構造は例示であり、適宜、変更することができるし、画像処理方法も、適宜、変更することができる。例えば、図１０に示すように、偏光手段を備えた撮像素子４３Ｇ1，４３Ｇ2を、１つの撮像素子ユニット毎に配置してもよいし、偏光手段を備えた撮像素子４３Ｇ1，４３Ｇ2を、それぞれ、隣接する２つの撮像素子ユニットのそれぞれに配置してもよい。
また、図１２の（Ａ）に模式的な一部断面図を図示するように、偏光手段を備えた撮像素子４３を、シリコン半導体基板５０に設けられた光電変換素子５１、並びに、その上に、第１平坦化膜５２、ワイヤグリッド偏光子５６、第２平坦化膜５５、カラーフィルタ５３、及び、オンチップレンズ５４が積層されて成る構成とすることもできる。あるいは又、図１２の（Ｂ）に模式的な一部断面図を図示するように、偏光手段を備えた撮像素子４３を、シリコン半導体基板５０に設けられた光電変換素子５１、並びに、その上に、第１平坦化膜５２、オンチップレンズ５４、第２平坦化膜５５、カラーフィルタ５３、及び、ワイヤグリッド偏光子５６が積層されて成る構成とすることもできる。また、撮像素子を、図示したような表面照射型としてもよいし、図示しないが、裏面照射型としてもよい。
また、以上に説明した補正手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム（本開示のコンピュータ・プログラム）あるいはコンピュータ・プログラムを記憶する記録媒体として捉えてもよい。記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disk）、メモリカード、ブルーレイディスク（Blu-ray Disc（登録商標））等を用いることができる。
実施例１〜実施例４の撮像装置は、静止画撮像モード及び動画撮像モードに基づき駆動される構成とすることもできる。そして、この場合、動画撮像モードにおいて信号が読み出されない周辺領域における撮像素子に、偏光手段が備えられている構成とすればよい。このような構成により、動画撮像モードにおいて、信号処理部に負荷を掛けることが無くなる。尚、より具体的には、動画撮像モードにおいては、偏光手段を備えた撮像素子を含む第１の方向に配列された撮像素子ユニット全体からの信号の出力を中止すればよい。
尚、本開示は、以下のような構成を取ることもできる。
［１］《撮像装置》
複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
周辺領域における撮像素子には偏光手段が備えられており、
中央領域における撮像素子には偏光手段が備えられていない撮像装置。
［２］
中央領域における撮像素子の個数をＱ1個、周辺領域における撮像素子の個数をＱ2個としたとき、
０．２５≦Ｑ2／（Ｑ1＋Ｑ2）≦０．４５
を満足する［１］に記載の撮像装置。
［３］
撮像素子は、第１の方向にＮ個、第１の方向と直交する第２の方向にＭ個、配列されており、
第１の方向における第１番目の撮像素子から第Ｎ0番目の撮像素子、及び、第１の方向における第（Ｎ−Ｎ0＋１）番目の撮像素子から第Ｎ番目の撮像素子であって、第２の方向における第１番目の撮像素子から第Ｍ0番目の撮像素子、及び、第２の方向における第（Ｍ−Ｍ0＋１）番目の撮像素子から第Ｍ番目の撮像素子（但し、Ｎ0はαとＮの積を四捨五入した値であり、Ｍ0はβとＭの積を四捨五入した値であり、ここで、
０．４５≦α≦０．７０
０．６０≦β≦０．９０
である）が、周辺領域に属する［１］に記載の撮像装置。
［４］
波長λ＝５５０ｎｍの円偏光に基づく光を撮像部に入射させたとき、撮像素子に入射した光のＳ波成分のエネルギー強度からＰ波成分のエネルギー強度を減じた値が、入射光のエネルギー強度の０．０２倍以上である撮像素子が属する領域を周辺領域とする［１］に記載の撮像装置。
［５］
撮像素子への光の入射角が１０度以上の撮像素子が属する領域を周辺領域とする［１］に記載の撮像装置。
［６］
撮像素子は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており、
１画素を構成する１つの撮像素子ユニットは、複数の撮像素子から成り、
周辺領域において、第１の方向に沿って、２i個（但し、ｉは１以上、５以下の整数）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子に偏光手段が備えられており、且つ、第２の方向に沿って、２j個（但し、ｊは１以上、５以下の整数）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子に偏光手段が備えられている［１］乃至［５］のいずれか１項に記載の撮像装置。
［７］
複数の撮像素子は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており、
周辺領域の撮像素子は、偏光軸と第１の方向との成す角度がη度（但し、０度≦η＜９０度）である偏光手段を備えた第１撮像素子から、少なくとも構成されている［１］乃至［６］のいずれか１項に記載の撮像装置。
［８］
周辺領域における撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた第２撮像素子から、少なくとも構成されている［７］に記載の撮像装置。
［９］
周辺領域の撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋４５）度である偏光手段を備えた第３撮像素子、及び、偏光軸と第１の方向との成す角度が（η＋１３５）度である偏光手段を備えた第４撮像素子から構成されている［８］に記載の撮像装置。
［１０］
撮像部は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されており、
撮像素子ユニットは、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成されている［１］乃至［９］のいずれか１項に記載の撮像装置。
［１１］
撮像部は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されており、
撮像素子ユニットは、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成されており、
撮像素子ユニットにおける第４色受光撮像素子は第１撮像素子から構成されている［７］に記載の撮像装置。
［１２］
周辺領域における撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた第２撮像素子から構成されており、
撮像素子ユニットにおける第３色受光撮像素子は第２撮像素子から構成されている［１１］に記載の撮像装置。
［１３］
撮像装置は、静止画撮像モード及び動画撮像モードに基づき駆動され、
動画撮像モードにおいて信号が読み出されない周辺領域における撮像素子に、偏光手段が備えられている［１］乃至［１２］のいずれか１項に記載の撮像装置。
［１４］
撮像素子からの信号を受け取る信号処理部を更に備え、
信号処理部は、周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子からの出力信号の補正を行う［１］乃至［１３］のいずれか１項に記載の撮像装置。
［１５］
信号処理部は、偏光手段が備えられた撮像素子が撮像部を占める位置、及び、撮像素子への光の入射角に依存して、出力信号の補正量を決定する［１４］に記載の撮像装置。
［１６］《画像処理方法》
複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
周辺領域における撮像素子には偏光手段が備えられており、
中央領域における撮像素子には偏光手段が備えられておらず、
撮像素子からの信号を受け取る信号処理部を備えた撮像装置における画像処理方法であって、
信号処理部において、周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子の出力信号に対する補正を行う画像処理方法。
［１７］《コンピュータ・プログラム》
複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
周辺領域における撮像素子には偏光手段が備えられており、
中央領域における撮像素子には偏光手段が備えられておらず、
撮像素子からの信号を受け取る信号処理部を備えた撮像装置における出力信号の補正を、信号処理部に備えられたコンピュータを用いて行うコンピュータ・プログラムであって、
周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子の出力信号に対する補正をコンピュータによって行うコンピュータ・プログラム。
１０・・・撮像装置（固体撮像装置）、１１・・・カメラ本体部、１２・・・信号処理部、１３・・・画像記憶部、１４・・・ＡＤ変換部、２０・・・レンズ系、２１・・・撮影レンズ、２２・・・絞り部２２、２３・・・結像レンズ、３０・・・撮像部（撮像素子アレイ）、３１・・・中央領域、３２，３３，３３Ａ，３３Ｂ，３３Ｃ，３４，３４Ａ，３４Ｂ，３４Ｃ，３４Ｄ，３４Ｅ，３４Ｆ，３４Ｇ，３４Ｈ，３５・・・周辺領域、４１，４１Ｒ，４１Ｇ1，４１Ｇ2，４１Ｂ，４２，４２Ｒ，４２Ｇ1，４２Ｇ2，４２Ｂ・・・偏光手段を備えていない撮像素子、４３、４３Ｇ1，４３Ｇ2，４４Ｇ1，４４Ｇ2，４５Ｗ1，４５Ｗ2・・・偏光手段を備えている撮像素子、５０・・・シリコン半導体基板、５１・・・光電変換素子、５２・・・第１平坦化膜、５３・・・カラーフィルタ、５４・・・オンチップレンズ、５５・・・第２平坦化膜、５６，５６Ａ，５６Ｂ・・・偏光手段（ワイヤグリッド偏光子）、５７Ａ，５７Ｂ・・・ワイヤ、５８・・・配線層、５９・・・遮光層、１０１・・・中央制御部（コンピュータ）、１１１・・・黒レベル処理部、１１２・・・画素欠陥補正部、１１３・・・ホワイトバランス処理部、１１４・・・補間処理部、１１５・・・リニアマトリクス処理部、１１６Ｒ，１１６Ｇ，１１６Ｂ・・・ガンマ補正処理部、１１７・・・輝度信号処理部、１１８・・・エッジ強調処理部、１１９・・・画像圧縮処理部、１２０・・・色信号処理部（色差信号処理部）、１２１・・・色差マトリクス処理部

Claims (17)

  1. 複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
    撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
    周辺領域における撮像素子には偏光手段が備えられており、
    中央領域における撮像素子には偏光手段が備えられていない撮像装置。
  2. 中央領域における撮像素子の個数をＱ1個、周辺領域における撮像素子の個数をＱ2個としたとき、
    ０．２５≦Ｑ2／（Ｑ1＋Ｑ2）≦０．４５
    を満足する請求項１に記載の撮像装置。
  3. 撮像素子は、第１の方向にＮ個、第１の方向と直交する第２の方向にＭ個、配列されており、
    第１の方向における第１番目の撮像素子から第Ｎ0番目の撮像素子、及び、第１の方向における第（Ｎ−Ｎ0＋１）番目の撮像素子から第Ｎ番目の撮像素子であって、第２の方向における第１番目の撮像素子から第Ｍ0番目の撮像素子、及び、第２の方向における第（Ｍ−Ｍ0＋１）番目の撮像素子から第Ｍ番目の撮像素子（但し、Ｎ0はαとＮの積を四捨五入した値であり、Ｍ0はβとＭの積を四捨五入した値であり、ここで、
    ０．４５≦α≦０．７０
    ０．６０≦β≦０．９０
    である）が、周辺領域に属する請求項１に記載の撮像装置。
  4. 波長λ＝５５０ｎｍの円偏光に基づく光を撮像部に入射させたとき、撮像素子に入射した光のＳ波成分のエネルギー強度からＰ波成分のエネルギー強度を減じた値が、入射光のエネルギー強度の０．０２倍以上である撮像素子が属する領域を周辺領域とする請求項１に記載の撮像装置。
  5. 撮像素子への光の入射角が１０度以上の撮像素子が属する領域を周辺領域とする請求項１に記載の撮像装置。
  6. 撮像素子は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており、
    １画素を構成する１つの撮像素子ユニットは、複数の撮像素子から成り、
    周辺領域において、第１の方向に沿って、２i個（但し、ｉは１以上、５以下の整数）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子に偏光手段が備えられており、且つ、第２の方向に沿って、２j個（但し、ｊは１以上、５以下の整数）の撮像素子ユニットの内の１つの撮像素子ユニットを構成する撮像素子に偏光手段が備えられている請求項１に記載の撮像装置。
  7. 複数の撮像素子は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列されており、
    周辺領域の撮像素子は、偏光軸と第１の方向との成す角度がη度（但し、０度≦η＜９０度）である偏光手段を備えた第１撮像素子から、少なくとも構成されている請求項１に記載の撮像装置。
  8. 周辺領域における撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた第２撮像素子から、少なくとも構成されている請求項７に記載の撮像装置。
  9. 周辺領域の撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋４５）度である偏光手段を備えた第３撮像素子、及び、偏光軸と第１の方向との成す角度が（η＋１３５）度である偏光手段を備えた第４撮像素子から構成されている請求項８に記載の撮像装置。
  10. 撮像部は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されており、
    撮像素子ユニットは、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成されている請求項１に記載の撮像装置。
  11. 撮像部は、第１の方向、及び、第１の方向と直交する第２の方向に２次元マトリクス状に配列された複数の撮像素子ユニットから構成されており、
    撮像素子ユニットは、第１色受光撮像素子、第２色受光撮像素子、第３色受光撮像素子、及び、第４色受光撮像素子から構成されており、
    撮像素子ユニットにおける第４色受光撮像素子は第１撮像素子から構成されている請求項７に記載の撮像装置。
  12. 周辺領域における撮像素子は、更に、偏光軸と第１の方向との成す角度が（η＋９０）度である偏光手段を備えた第２撮像素子から構成されており、
    撮像素子ユニットにおける第３色受光撮像素子は第２撮像素子から構成されている請求項１１に記載の撮像装置。
  13. 撮像装置は、静止画撮像モード及び動画撮像モードに基づき駆動され、
    動画撮像モードにおいて信号が読み出されない周辺領域における撮像素子に、偏光手段が備えられている請求項１に記載の撮像装置。
  14. 撮像素子からの信号を受け取る信号処理部を更に備え、
    信号処理部は、周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子からの出力信号の補正を行う請求項１に記載の撮像装置。
  15. 信号処理部は、偏光手段が備えられた撮像素子が撮像部を占める位置、及び、撮像素子への光の入射角に依存して、出力信号の補正量を決定する請求項１４に記載の撮像装置。
  16. 複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
    撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
    周辺領域における撮像素子には偏光手段が備えられており、
    中央領域における撮像素子には偏光手段が備えられておらず、
    撮像素子からの信号を受け取る信号処理部を備えた撮像装置における画像処理方法であって、
    信号処理部において、周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子の出力信号に対する補正を行う画像処理方法。
  17. 複数の撮像素子が２次元マトリクス状に配列されて成る撮像部を有し、
    撮像部は、周辺領域、及び、周辺領域に囲まれた中央領域に区画され、
    周辺領域における撮像素子には偏光手段が備えられており、
    中央領域における撮像素子には偏光手段が備えられておらず、
    撮像素子からの信号を受け取る信号処理部を備えた撮像装置における出力信号の補正を、信号処理部に備えられたコンピュータを用いて行うコンピュータ・プログラムであって、
    周辺領域における偏光手段が備えられた撮像素子からの出力信号に基づいて、周辺領域における撮像素子の出力信号に対する補正をコンピュータによって行うコンピュータ・プログラム。
JP2011227837A 2011-10-17 2011-10-17 撮像装置、画像処理方法及びプログラム Pending JP2013090085A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011227837A JP2013090085A (ja) 2011-10-17 2011-10-17 撮像装置、画像処理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011227837A JP2013090085A (ja) 2011-10-17 2011-10-17 撮像装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2013090085A true JP2013090085A (ja) 2013-05-13

Family

ID=48533593

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011227837A Pending JP2013090085A (ja) 2011-10-17 2011-10-17 撮像装置、画像処理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2013090085A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021111779A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021111779A1 (ja) * 2019-12-02 2021-06-10 ソニーグループ株式会社 情報処理装置と情報処理方法およびプログラム

Similar Documents

Publication Publication Date Title
JP4558804B2 (ja) 撮像装置
EP2087725B1 (en) Improved light sensitivity in image sensors
KR101824265B1 (ko) 입체 촬상 방법 및 화소 행렬을 서브그룹으로 나눈 시스템
US8514319B2 (en) Solid-state image pickup element and image pickup apparatus
KR101785754B1 (ko) 촬상 장치 및 촬상 방법
US20170078640A1 (en) Imaging apparatus, image processing method, and program
US20090051984A1 (en) Image sensor having checkerboard pattern
TW201300926A (zh) 固態影像感測裝置及照相機模組
JP2003078917A (ja) 撮像装置
JPWO2013047111A1 (ja) 撮像装置及び合焦用パラメータ値算出方法
JP5947217B2 (ja) 色分離フィルタアレイ、固体撮像素子、撮像装置、および表示装置
US20110115954A1 (en) Sparse color pixel array with pixel substitutes
JP4952329B2 (ja) 撮像装置、色収差補正方法およびプログラム
JP5600814B2 (ja) 画像処理装置及び方法並びに撮像装置
JP2003258220A (ja) 撮像素子及び撮像装置
JP2013057769A (ja) 固体撮像装置、撮像装置、合焦制御方法、及び、プログラム
JP2009188461A (ja) 撮像装置
JP5634614B2 (ja) 撮像素子及び撮像装置
JP4027116B2 (ja) 撮像素子及び撮像装置
JP2013090085A (ja) 撮像装置、画像処理方法及びプログラム
JP6080343B2 (ja) 撮像素子およびその製造方法
JP2004128201A (ja) 固体撮像装置及び撮像システム
JP5978570B2 (ja) 撮像装置
JPWO2017154367A1 (ja) 画像処理装置、および画像処理方法、撮像装置ならびにプログラム
WO2013100096A1 (ja) 撮像装置、撮像装置の制御方法、及び制御プログラム