JP2017038011A - 撮像素子、イメージセンサ、撮像装置、および情報処理装置 - Google Patents

Abstract

【課題】被写体の多様な情報を容易に取得する。
【解決手段】撮像素子２８において、第１光検出層１２は、所定の軸方向に配向させた有機光電変換膜３８ａ、３８ｂを含み、入射光のうち配向軸に平行な方位の偏光成分を検出する。また、異なる軸方向に配向させた有機光電変換膜を２次元平面に所定のパターンで配置する。第１光検出層１２の下層に、光電変換素子５４ａ、５４ｂを含む第２光検出層１６を設け、第１光検出層１２を透過した、有機光電変換膜３８ａ、３８ｂの配向軸に垂直な方位の偏光成分を検出する。
【選択図】図４

Description

本発明は光学成分を選択的に取得する撮像素子を用いた画像データ取得技術に関する。

偏光フィルタをセンサ上に搭載することにより被写体の偏光情報を取得する偏光カメラが実用化されている。偏光カメラを用いることにより、被写体の面方位の情報や透明な物の存在を取得できるため、物体識別や異物検知が容易となる。そのため製造ラインにおける検品装置や車載カメラなど、幅広い分野への応用が見込まれる（例えば特許文献１、２参照）。

特開２０１２−８００６５号公報 特開２０１４−５７２３１号公報

偏光カメラは、所定方向の偏光軸を有する偏光フィルタを通過した光を検出するという、光成分の取捨選択をする原理上、取得できる情報が限定的であり、自ずとその用途も限定される。一方、偏光カメラで取得できる面方位などの情報は、画像解析を必要とする各種情報処理においても有用であるため、そのような処理へ容易に応用できる技術が望まれている。

本発明はこうした課題に鑑みてなされたものであり、その目的は、撮影により、偏光情報を含む被写体の多様な情報を容易に取得できる技術を提供することにある。

本発明のある態様は撮像素子に関する。この撮像素子は、光透過性を有し所定の軸方向に配向された有機光電変換膜を含む第１の光検出層と、第１の光検出層より下層にあり無機光電変換素子を含む第２の光検出層と、を含むことを特徴とする。

本発明の別の態様はイメージセンサに関する。このイメージセンサは、上記の特徴を有する撮像素子をマトリクス状に配置した画素部と、画素部を構成する撮像素子を所定の順序で駆動させて電気信号を取得し、順次出力する制御部と、を備えたことを特徴とする。

本発明のさらに別の態様は撮像装置に関する。この撮像装置は、上記の特徴を有するイメージセンサから、各検出層からの電気信号を画素値とした画像のデータを取得する入力部と、画像のデータが表す複数の画像のスケールを調整したうえ、対応する領域における画素値に基づき所定の演算を行うことにより、出力用の画像のデータを生成する画像生成部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理装置に関する。この情報処理装置は、上記の特徴を有する撮像装置と、当該撮像装置から出力される複数種類の画像のデータを格納するメモリと、メモリに格納された画像のデータを用いて情報処理を行いその結果を表す出力データを生成する出力データ生成部と、を備えたことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影により偏光情報を含む被写体の多様な情報を容易に取得できる。

本実施の形態における撮像素子の概念図である。 本実施の形態における第１光検出層の偏光有機光電変換膜の形成手法の例を模式的に示す図である。 本実施の形態において、配向軸の異なる有機光電変換膜からなる複数の領域を近接させて配置したときの、第１光検出層におけるレイアウトの例を示す図である。 本実施の形態の撮像素子の構造例を示す断面図である。 本実施の形態におけるイメージセンサの構造の概略を示す図である。 本実施の形態の撮像素子における、第１光検出層および第２光検出層の画素列の関係を例示する図である。 本実施の形態における撮像装置の機能ブロックを示す図である。 本実施の形態において欠陥検出部および欠陥補正部が行う、データの欠陥検出および補正の処理を説明するための図である。 本実施の形態において欠陥検出部および欠陥補正部が行う欠陥検出と補完の処理手順をより詳細に示すフローチャートである。 本実施の形態において偏光度不良の発生を確認する手法を説明するための図である。 本実施の形態において検出値画像から偏光画像のデータを生成する手法を説明するための図である。 本実施の形態において偏光成分を色情報として取得するときの撮像素子の構造例の断面図である。 本実施の形態のうち、第２層検出値画像として色情報を取得する態様における、第１光検出層および第２光検出層の画素列の関係を例示する図である。 本実施の形態のうち、第２層検出値画像として色情報を取得する態様における、第１光検出層および第２光検出層の画素列の関係の別の例を示す図である。 本実施の形態のうち、第２層検出値画像として色情報を取得する態様における、第１光検出層および第２光検出層の画素列の関係のさらに別の例を示す図である。 本実施の形態において、偏光成分を色情報として取得するイメージセンサを含む撮像装置の機能ブロックを示す図である。 本実施の形態におけるカラー画像生成部が自然光のカラー画像を生成する処理手順を示すフローチャートである。 図１７のＳ５０で偏光データを無偏光化する処理手順を示すフローチャートである。 本実施の形態において偏光成分をカラー情報で取得する場合の、第２層検出値画像の一部を示す図である。 本実施の形態において偏光成分を色情報として取得するときの撮像素子の構造の別の例の断面図である。 本実施の形態のうち、カラーフィルタ層を第１光検出層の上方に配置する態様における、第１光検出層および第２光検出層の画素列の関係の別の例を示す図である。 本実施の形態のうち、カラーフィルタ層を第１光検出層の上方に配置する態様における、第１光検出層および第２光検出層の画素列の関係の別の例を示す図である。 本実施の形態において、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造例を示す断面図である。 図２３で示した構造の撮像素子における第１光検出層と第２光検出層が吸収する光を説明するための図である。 本実施の形態において、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造の別の例を示す断面図である。 図２５で示した構造の撮像素子における第１光検出層と第２光検出層が吸収する光を説明するための図である。 本実施の形態において、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造の別の例を示す断面図である。 本実施の形態において、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造の別の例を示す断面図である。 本実施の形態における色成分制御部の機能ブロックの構成を示す図である。 本実施の形態における除去対象成分推定部が、青色の検出値画像から除去すべき緑色の偏光成分の値を推定する手法を説明するための図である。 本実施の形態における画像処理システムの構成例を示す図である。

図１は本実施の形態における撮像素子の概念図である。撮像素子１０は第１光検出層１２および第２光検出層１６を含む。第１光検出層１２は偏光有機光電変換膜とそれを挟むように形成された透明電極を含み、所定方位の偏光成分を吸収して電荷を発生させ、残りの偏光成分を透過する構造を有する。第２光検出層１６は、一般的なＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどの半導体素子構造を有する。

第１光検出層１２の偏光有機光電変換膜は、有機光電変換材料を所定方向に配向させたものであり、入射光８のうち配向軸（吸収長軸）に平行な方向の偏光成分を吸収して電荷に変換する。残りの成分、すなわち配向軸に垂直な方向の偏光成分は透過され、第２光検出層１６で光電変換される。双方の層で生じた電荷を読み出すことにより、同じ位置において２つの方位の偏光成分を検出できるとともに、入射光８を無駄なく検出結果に反映させることができる。

図２は、第１光検出層１２の偏光有機光電変換膜の形成手法の例を模式的に示している。まず（Ａ）に示すように、透明な下部電極４４上に、ＳｉＯ_２を真空斜方蒸着することにより配向制御層４８を形成する。次に（Ｂ）に示すように、光吸収異方性を有する有機色素５０を配向制御層４８上に塗布する。これにより（Ｃ）に示すように、配向軸が所定方向に揃った状態で有機色素膜を形成することができる。配向を所定の軸方向に揃える技術としてはこのほか、ラビング、引っ張り、微細トレンチによる配向制御層形成、光配向膜の利用など、様々なものが実用化されており、本実施の形態ではそのいずれを採用してもよい。また、偏光有機光電変換素子に用いる有機光電変換材料としては、検知対象の波長帯に応じて多くの提案がなされており、例えば特開２０１２−２０９４８６号公報に開示される材料および生成手法から適宜選択できる。

このような技術により本実施の形態では、単位領域ごとに異なる配向で有機光電変換膜を形成する。図３は、配向軸の異なる有機光電変換膜からなる複数の領域を近接させて配置したときの、第１光検出層１２におけるレイアウトの例を示している。同図は第１光検出層１２の有機光電変換膜を俯瞰した状態を示しており、矢印が各領域における膜の配向軸を示している。図示する例では、配向軸の異なる４種類の膜が２行２列の４つの領域２０、２２、２４、２６にそれぞれ配置されている。

図中、対角線上にある領域は膜の配向軸が直交しており、隣り合う領域は配向軸に４５°の差を有する。すなわち４５°おきの４つの配向軸の領域を形成している。各領域の有機光電変換膜は、配向軸に平行な偏光成分を吸収し、それに直交する偏光成分を透過する。これにより、その下に設けた第２光検出層１６においては、第１光検出層１２の４つの領域２０、２２、２４、２６に対応する各領域で、それらに直交する、４５°おきの４方位の偏光成分が吸収される。

このような４つの単位領域の配列をさらに縦方向、横方向に所定数、配列させ、各単位領域、あるいはそれより小さい領域を画素と対応づけて光を検出すれば、同一の位置に対して２つの方位の偏光情報が表され、近接する位置で４つの方位の偏光情報が表される偏光画像が得られることになる。また、第１光検出層１２で吸収した成分以外の偏光成分を第２光検出層１６で検出することから、系の全体では入射光を損失なく検出できる。

図４は本実施の形態の撮像素子の構造例を断面図で表している。この撮像素子２８は、白黒（グレースケール）の画像を取得する。撮像素子２８は、第２光検出層１６、第１光検出層１２、オンチップレンズ３０を、検出結果を電気信号として転送するための多層配線層５８上にこの順で積層させ、支持基板６０を裏に貼り合わせた構造を有する。第１光検出層１２は、所定方位の偏光成分を光電変換する有機光電変換膜３８ａ、３８ｂと、それに電圧を印加し信号電荷を取り出すための上部電極３６および下部電極４４ａ、４４ｂ、および無機絶縁膜４０を含む。

下部電極４４ａ、４４ｂは画素に対応する領域ごとに形成され、無機絶縁膜４０により互いに絶縁される。有機光電変換膜３８ａ、３８ｂによって光電変換され生じた電荷を読み出すため、下部電極４４ａ、４４ｂには多層配線層５８へ至る導電性プラグ５２ａ、５２ｂが接続される。導電性プラグ５２ａ、５２ｂを移動した電荷は図示しない電荷蓄積層に蓄積され、所定のタイミングで読み出される。上部電極３６は、図示しないコンタクトメタル層により多層配線層５８に接続され電圧が印加される。有機光電変換膜３８ａ、３８ｂは上述のように領域によって異なる複数方位の偏光成分を吸収して光電変換する一方、残りの偏光成分を透過させる。

有機光電変換膜３８ａ、３８ｂは例えばキナクリドン誘導体、ナフタレン誘導体、アントラセン誘導体、共役ポリマーなどを上述のように所定軸方向に配向させて形成される。なお図４は、例えば図３の一点鎖線Ａ−Ａ’における断面を示しており、図の左側の有機光電変換膜３８ａは図３の領域２０に示した方向を配向軸とする有機色素、右側の有機光電変換膜３８ｂは図３の領域２２に示した方向を配向軸とする有機色素で構成される。図４の奥行き方向に、それらと異なる方向、すなわち図３の領域２４、２６に示した方向を配向軸とする有機色素の光電変換膜を形成することにより、俯瞰したときに図３で示したようなレイアウトで偏光有機光電変換膜が形成されることになる。

なお白黒画像を取得する場合、有機光電変換膜３８ａ、３８ｂには、所定の色に限定されない、より広い範囲の波長帯を吸収する材料を用いることができる。このような材料や構造は、特に太陽光発電の分野などでも実用化されている。例えば可視光の広い波長帯の光を吸収する材料として、特表２００２−５０２１２９号公報に開示されるポリチエニレンビニレン（ＰＴＶ）やポリビニルカルバゾール（ＰＶＫ）などのポリマーや、それらと有機分子を混合した材料などを用いることができる。

一方、後述するように所定の色の波長帯のみを検出しカラー画像を得たい場合、そのように吸収対象の波長帯を制御する技術も公知である。例えば特表２００２−５０２１２９号公報、特開２０１１−１９９１５２号公報、特開２０１３−１８３０５６号公報、特開２００７−５９５１５号公報などにおいて例示される材料を用いることができる。上部電極３６および下部電極４４ａ、４４ｂは、光透過性を有する無機導電膜、例えばＩＴＯ（インジウム錫酸化物）、ＴＯ（酸化錫）などで構成する。

無機絶縁膜４０は、例えば酸化シリコン、窒化シリコン、酸窒化シリコン（ＳｉＯＮ）などの材料を、画素に対応する下部電極４４とその上の有機光電変換膜３８の間に格子状に形成したものである。無機絶縁膜４０の内部には遮光層４２を形成する。遮光層４２は横方向からの光の入射を抑制する。遮光層４２は、例えばタングステン、チタン、アルミニウム、銅など、可視光に対して透過率の低い材料やその窒化膜を用いる。

このような第１光検出層１２の上に、保護膜３４、平坦化層３２を介してオンチップレンズ３０を設ける。保護膜３４は光透過性を有する無機材料、例えば酸化シリコン、窒化シリコン、酸窒化シリコンなどにより形成する。平坦化層３２は光透過性を有する樹脂、例えばアクリル系樹脂、スチレン系樹脂、エポキシ系樹脂などにより形成する。ただし保護膜３４が平坦化層３２を兼ねてもよい。オンチップレンズ３０は、入射光を第１光検出層１２の各画素領域に集光させるものである。

第１光検出層１２の下層には、層間絶縁膜４６を介して第２光検出層１６を設ける。ここで層間絶縁膜４６は遮光層４２を含み、第２光検出層１６への横方向からの光の入射を抑制する。第２光検出層１６は、シリコン基板５６に、各画素に対応させて光電変換素子５４ａ、５４ｂを埋設した構造を有する。なお同図では、第１光検出層１２における配向軸の異なる有機光電変換膜３８ａ、３８ｂに対し、第１光検出層１２の画素に対応する下部電極４４ａ、４４ｂと、第２光検出層１６の画素に対応する光電変換素子５４ａ、５４ｂを、どちらも１つずつ設けている。

上述のように図の奥行き方向にも配向軸の異なる膜ごとに下部電極および光電変換素子を設けるとすると、４方向の配向軸に対し、それぞれ第１光検出層１２および第２光検出層１６の画素が１つずつ設けられることになる。ただし後述するように、第１光検出層１２と第２光検出層１６の画素は１対１に対応していなくてもよい。またカラー画像を取得する場合は、後述するように、第１光検出層１２または第２光検出層１６の上層にカラーフィルタを設けてもよい。

図示するような撮像素子２８を、図の横方向および奥行き方向にマトリクス状に並べ、電荷読み出しのタイミングを制御する周辺回路を接続することにより、少なくとも２種類の光の情報を２次元データとして同時に取得するイメージセンサを構成できる。電荷の読み出しのための周辺回路の構成は一般的なイメージセンサと同様でよい。ただし、第１光検出層１２の検出値を画素値とする画像と第２光検出層１６の検出値を画素値とする画像の２つを並行して読み出すため、同様の周辺回路を２つ設ける。

図５は本実施の形態におけるイメージセンサの構造の概略を示している。イメージセンサ７０は画素部７２と、周辺回路としての行走査部７４、水平選択部７６、列走査部８０、制御部７８を含む。画素部７２は図４で示したような撮像素子２８をマトリクス状に配列させてなる。本実施の形態では、第１光検出層１２からは、それを構成する有機光電変換膜の配向軸と平行な偏光成分を示す電荷が、第２光検出層１６からは、それと直交する偏光成分を示す電荷が、画素単位でそれぞれ読み出される。

同図では、読み出しのための２つの周辺回路のうち一方を代表させて示している。光電変換により発生し電荷蓄積層に蓄積された電荷を読み出すための、トランジスタ等既存の機構を含む各画素は、行ごとに行走査部７４、列ごとに水平選択部７６および列走査部８０に接続されている。行走査部７４はシフトレジスタやアドレスコードなどによって構成され各画素を行単位で駆動する。

行走査部７４によって選択走査された画素から出力される信号は水平選択部７６に供給される。水平選択部７６は、アンプや水平選択スイッチなどによって構成される。列走査部８０はシフトレジスタやアドレスデコーダなどによって構成され、水平選択部７６の各水平選択スイッチを操作しつつ順番に駆動する。列走査部８０による選択走査により、水平選択部７６に供給された各画素からの信号が外部へ出力される。制御部７８は、タイミング信号を生成し、水平選択部７６および列走査部８０などの駆動タイミングを制御する。

図示するような周辺回路を、第１光検出層１２からの信号読み出し用と第２光検出層１６からの信号読み出し用の２つ設けることにより、それらに基づく２種類の画像の出力フレームレートを独立に制御することができる。例えば、第１光検出層１２からの画像のフレームレートを、第２光検出層１６からの画像のフレームレートより小さくする。

具体的には後者を６０ｆｐｓとしたとき前者を３０ｆｐｓなどとする。このようにすると、第１光検出層１２により発生した電荷の蓄積時間を第２光検出層１６より長くでき、第１光検出層１２の感度を向上させることができる。例えば本実施の形態において第１光検出層１２は、信号読み出しのための多層配線層５８までの層間距離が大きいため、第２光検出層１６と比較し動作速度の制限が厳しくなる。したがって、両者からの画像のフレームレートを独立に制御することにより、第２光検出層１６からの画像の出力レートを十分に確保しつつ、第１光検出層１２からの画像を無理なく出力する態様を実現できる。

図６はこれまで述べた撮像素子における、第１光検出層１２および第２光検出層１６の画素列の関係を例示している。同図（ａ）は第１光検出層１２の２×２の画素列、（ｂ）は第２光検出層１６の２×２の画素列である。この例では上述のとおり、第１光検出層１２の有機光電変換膜の各配向軸に対し、第１光検出層１２および第２光検出層１６でそれぞれ１つずつ画素を設けている。すなわち第１光検出層１２では、図３で示した各配向方向の膜のレイアウトと同様に、配向軸と平行な４方位（実線の矢印）の偏光成分の情報が画素ごとに得られる。

一方、第２光検出層１６では、第１光検出層１２を透過した、配向軸と垂直な４方位（破線の矢印）の偏光成分の情報が画素ごとに得られる。結果として、（ａ）の画素列をさらに並べた全画素列により、４方位の偏光成分の白黒画像が２×２画素単位で繰り返して表れる画像が得られ、（ｂ）の画素列をさらに並べた全画素列により、（ａ）と対応する位置でそれと直交する４方位の偏光成分の白黒画像が２×２画素単位で繰り返して表れる画像が得られる。以後、このように撮像素子から直接出力される検出値の２次元データのうち、前者を第１層検出値画像、後者を第２層検出値画像と呼ぶ。

図７は、上記イメージセンサ１７０を含む、本実施の形態の撮像装置の機能ブロックを示している。図７および後述する図１５、図２８に示す各機能ブロックは、ハードウェア的には、撮像素子、各種演算回路、マイクロプロセッサ、ＣＰＵ、メモリなどの構成で実現でき、ソフトウェア的には、メモリに格納された、または記録媒体からメモリに読み出されたプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

撮像装置１００は、画素のマトリクスを含むイメージセンサ７０、各光検出層の感度の差に基づきデータを調整する感度差調整部８５、データの欠陥を検出する欠陥検出部８８、欠陥があった場合にデータを補う欠陥補正部８６、自然光画像を生成する自然光画像生成部９０、偏光成分画像を生成する偏光画像生成部９２を含む。イメージセンサ７０は、図５のイメージセンサ７０に対応し、図４で示したような撮像素子の２次元配列と周辺回路により構成される。上述のとおり撮像素子には第１光検出層１２、第２光検出層１６が含まれ、それぞれが４方位の偏光成分の値を含むとともに、その偏光方位が対応する位置で互いに直交する、第１層検出値画像および第２層検出値画像のデータが得られる。

図７のイメージセンサ７０のうち第１層検出値取得部８２および第２層検出値取得部８４はそれぞれ、第１光検出層１２および第２光検出層１６とその周辺回路で実現され、それぞれから取得した信号電荷を、例えばラスタ順など所定の画素順で感度差調整部８５に出力する。第１光検出層１２と第２光検出層１６は、その材料や構造が異なるため、同じ光の強度であっても感度の違いにより検出値のスケールが異なる可能性が高い。そこで感度差調整部８５は、後段の処理において両者の比較や加算を正しく行えるように、第１層検出値画像および第２層検出値画像のスケールを揃える。

具体的には第１層検出値画像の各画素値、すなわち第１光検出層１２の検出値Ｏ（ｘ，ｙ）に係数ｋ（ｘ，ｙ）を乗算することにより、スケールを第２光検出層１６の感度に合わせた換算値Ｏｃｏｎ（ｘ，ｙ）を次のように算出する。
Ｏｃｏｎ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏ（ｘ，ｙ）
ここで（ｘ，ｙ）は画素の２次元配列の座標である。係数ｋ（ｘ，ｙ）は、撮像装置１００の運用前または初期のキャリブレーションにより次のように決定する。まず視野全体を占めるグレーの一様な被写体面を、無偏光光源により光を均一に照射した状態で撮影する。そしてそのときの第１光検出層１２の検出値の換算値が第２光検出層１６の検出値と一致するように係数ｋ（ｘ，ｙ）を決定する。

すなわち上記条件で、第１光検出層１２による検出値Ｏｉｎ（ｘ，ｙ）と第２光検出層１６による検出値Ｓｉｎ（ｘ，ｙ）が得られたとすると、次の式を満たすようにｋ（ｘ，ｙ）を算出する。
Ｓｉｎ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏｉｎ（ｘ，ｙ）
ここで係数ｋ（ｘ，ｙ）が画像全体で所定範囲内にある場合は、画素の位置座標によらない定数ｋとしてもよい。例えば第２層検出値画像全体の画素値の総和ΣＳｉｎ（ｘ，ｙ）を第１層検出値画像全体の画素値の総和ΣＯｉｎ（ｘ，ｙ）で除算することにより定数ｋを決定してもよい。

感度差調整部８５は、このようにして設定されている係数ｋを、イメージセンサ７０の第１層検出値取得部８２から出力された第１層検出値画像の各画素値に乗算することによりそのスケールを調整したあと、第２層検出値画像のデータとともに欠陥検出部８８および欠陥補正部８６に出力する。なお以後の説明では、このようにスケール調整を施したデータについても第１層検出値画像と呼ぶ。

欠陥検出部８８は、検出値に欠陥（異常値）がある場合、それを検出する。このとき、方位が直交する２種類の偏光成分の和が無偏光（自然光）を表すことを利用する。すなわち図６の（ａ）または（ｂ）で示した２×２の画素列から得られる４方位の偏光成分の検出値のうち、２組の直交する偏光成分の検出値同士を足し合わせ互いに比較する。両者は本来、略同一位置における入射光を表す同程度の値を示すべきであるため、差が大きければいずれかの検出値に欠陥があると判定できる。

欠陥補正部８６は、欠陥検出部８８が欠陥を検出した場合、周囲の画素の値に基づき欠陥を補完する。このとき、第１層検出値画像および第２層検出値画像の同領域のデータを活用することにより欠陥の原因を推定し、適切な補完処理を行う。一方、欠陥検出部８８が欠陥を検出しない場合、欠陥補正部８６は、感度差調整部８５から取得した各偏光成分のデータをそのまま自然光画像生成部９０に出力する。

自然光画像生成部９０は、調整や欠陥補正が適宜施された２層分の検出値画像のデータに基づき、最終的に出力すべき自然光の輝度画像を生成する。すなわちスケール調整がなされた第１層検出値画像の画素値と、第２層検出値画像の画素値を、対応する位置の画素同士で足し合わせることにより元の入射光を復元する。自然光画像生成部９０は、生成した自然光の輝度画像のデータを、撮像装置１００に接続した記憶装置や画像処理装置などに適宜出力する。また自然光画像生成部９０は、生成した自然光の輝度画像のデータを、スケール調整後の第１層検出値画像のデータと第２層検出値画像のデータとともに偏光画像生成部９２に出力する。

偏光画像生成部９２は、それらのデータを用いて各方位の偏光画像を生成する。具体的には、配向軸の異なる膜の配置に依存して離散的に求められている各方位の偏光成分の検出値を補間して２層分の偏光画像を方位ごとに生成したうえ、同じ方位同士で２層分のデータを足し合わせる。補間においては、自然光の輝度画像の高周波成分を加算することにより、高周波成分が表す画像のディテールも復元する。偏光画像生成部９２は、生成した偏光画像のデータを、撮像装置１００に接続した記憶装置や画像処理装置に適宜出力する。

図８は、欠陥検出部８８および欠陥補正部８６が行う、データの欠陥検出および補正の処理を説明するための図である。同図は第１層検出値画像のうち４方位の偏光成分を検出する２×２の画素列１０４を太線枠内に示しており、１つの矩形が１つの画素に対応する。画素列１０４を構成する４つの画素のそれぞれにおいて、白抜き矢印で示される方位の偏光成分の検出値が得られる。なお同図では後述する説明のために、画素列１０４の左隣および上の画素列も点線で示している。

図示するように、画素列１０４のうち左上、右上、右下、左下の画素の順に、図の縦軸から４５°、９０°、１３５°、１８０°の傾きを有する方位の偏光成分の検出値が得られる。以後、これらの方位をそれぞれ、第１方位、第２方位、第３方位、第４方位と呼ぶ。なお図示する例は第１層検出値画像の配置であるが、図６に示すように、第２層検出値画像では対応する画素が、これらに直交する方位の偏光成分の検出値を表す。上述のように直交する方位の偏光成分の和は元の自然光を表すことに着目すると、第１方位および第３方位の偏光成分の検出値の和は、第２方位と第４方位の検出値の和と同程度の値を示すことになる。そこでこの特性を利用して画素の欠陥を検出する。

具体的には、第１層検出値画像の画素列１０４の各画素値をＯ（方位の番号）としたとき、同図実線矢印で示す、方位が直交する偏光成分の検出値の和Ｏ（１）＋Ｏ（３）と、Ｏ（２）＋Ｏ（４）との差ΔＯが所定のしきい値を超えた場合、欠陥検出部８８はいずれかの画素に欠陥があると判定する。第２層検出値画像についても同様に、２×２の画素列のうち各画素値をＳ（方位の番号）としたとき、Ｓ（１）＋Ｓ（３）と、Ｓ（２）＋Ｓ（４）との差ΔＳが所定のしきい値を超えた場合に、いずれかの画素に欠陥があると判定する。

これに応じて欠陥補正部８６は、同一層の検出値画像における周囲の画素値、および他方の層の検出値画像における同じ位置および周囲の画素値を確認し、欠陥が含まれると判定された画素列のうち欠陥のある画素を特定するとともに、補完する画素値を決定する。図９は、欠陥検出部８８および欠陥補正部８６が行う欠陥検出と補完の処理手順をより詳細に示すフローチャートである。同図の処理は、第１層検出値画像および第２層検出値画像のそれぞれについて、２×２の画素列単位で実行する。まず欠陥検出部８８は、上述のΔＯまたはΔＳがしきい値Ｔｈ１を越えているか否かを確認し、越えていなければ対象画素列に欠陥がないと判定する（Ｓ１０のＮ、Ｓ１６）。

ΔＯまたはΔＳがしきい値を越えていても（Ｓ１０のＹ）、当該画素列が画像としてエッジ部分を含む場合は欠陥がないと判定する（Ｓ１２のＹ、Ｓ１６）。被写体の像の輪郭などを表すエッジ部分は定性的に画素値が急激に変化するため、欠陥に関わらずΔＯやΔＳが部分的に大きくなることがあり得るためである。この判定のため、欠陥検出部８８は、第１層および第２層の検出値画像に対し、一般的な手法によりエッジを検出する。ΔＯまたはΔＳがしきい値を越え（Ｓ１０のＹ）、当該画素列がエッジ部分を含まない場合（Ｓ１２のＮ）、欠陥検出部８８は、対象画素列内に欠陥があると判定する（Ｓ１４）。

欠陥検出部８８により欠陥がないと判定されたら、欠陥補正部８６は、当該画素列については元の画素値をそのまま自然光画像生成部９０に出力する（Ｓ１８のＮ）。欠陥があると判定されたら（Ｓ１８のＹ）、欠陥補正部８６は、同一検出値画像内、および他方の層の検出値画像のうち、同じ方位の偏光成分を示す所定範囲内の画素値との比較により、欠陥が生じている画素を特定する（Ｓ２０）。

定性的には、同一検出値画像内の同方位の偏光成分を示す近傍の画素値との差、および／または他方の検出値画像の同方位の偏光成分を示す近傍の画素値との差が、しきい値Ｔｈ２以上の画素に欠陥があると判定する。同一検出値画像内あるいは他方の検出値画像の同方位の偏光成分を示す近傍の画素値を補間するなどして対象位置における画素値を推定し、それと実際の画素値との差がしきい値Ｔｈ２以上の場合に、その画素に欠陥があると判定してもよい。そして欠陥補正部８６は、その差の生じ方や周辺の画素値などの状況を考慮し、欠陥が生じている画素に適切な値を代入して補完する（Ｓ２２）。そして補完後のデータを自然光画像生成部９０に出力する。

補完にあたっては、同一検出値画像内の同方位の偏光成分を示す近傍の画素値に基づき欠陥のある画素を補間したり、他方の検出値画像において近傍の位置にある、同方位の偏光成分を示す画素値を代入したりすることが考えられる。あるいはそれらを組み合わせて代入する値を決定してもよい。同一検出値画像内のデータを用いる場合、次のような手法が考えられる。例えば図８で示した第１層検出値画像の２×２の画素列１０４のうち、第１方位の画素に欠陥が検出された場合、上記の直交関係を利用して、当該画素の補正値Ｏ’（１）を次のように求める。
Ｏ’（１）＝Ｏ（２）＋Ｏ（４）−Ｏ（３）

あるいは、隣接する別の２×２の画素列の値を利用して決定してもよい。例えば画素列１０４のうち第１方位の画素に欠陥が検出された場合、図８の点線で記載された、隣接する画素列の第３方位の画素値との和（図中、破線矢印）も、その近傍の第２方位および第４方位の画素値の和とほぼ等しくなる。すなわち次の式が成り立つ。
Ｏ（１）≒Ｏ（２）＋Ｏ（４）−Ｏ（３）
Ｏ（１）≒Ｏ＿ｌ（２）＋Ｏ＿ｕ（４）−Ｏ＿ｕｌ（３）
Ｏ（１）≒Ｏ（２）＋Ｏ＿ｕ（４）−Ｏ＿ｕ（３）
Ｏ（１）≒Ｏ＿ｌ（２）＋Ｏ（４）−Ｏ＿ｌ（３）

ここでＯ＿ｕｌ（３）は対象の画素列１０４の左上の画素列の第３方位、Ｏ＿ｕ（３）、Ｏ＿ｕ（４）はそれぞれ、画素列１０４の上の画素列の第３方位、第４方位、Ｏ＿ｌ（２）、Ｏ＿ｌ（３）はそれぞれ、画素列１０４の左の画素列の第２方位、第３方位の画素値である。この関係を利用し、適正値Ｏ’（１）を、上記４式の右辺の合計を４で割った値としてもよい。他の方位、および第２層検出値画像でも同様の計算で値を補うことができる。

なお画素の欠陥として、撮像素子の製造過程において第１光検出層１２の有機光電変換膜の配向が一軸に揃わなかったことに起因する偏光度不良がある。そのため、撮像素子の出荷段階で偏光度不良の有無を確認し、不良が確認されたら欠陥画素としてあらかじめ位置座標を記録しておいてもよい。図１０は偏光度不良の発生を確認する手法を説明するための図である。既知の方位の偏光を照射したとき、その方位が第１光検出層１２の有機光電変換膜の配向軸と平行であれば、原理的には全ての入射光が吸収され、第１光検出層１２から強い出力値が得られる。配向軸と直交していれば全て透過し第１光検出層１２からの出力強度は０に近くなる。

これを発展させ、照射する偏光の方位を徐々に変化させると、図１０の曲線１１０のように、偏光方位に対して極大値および極小値を有する正弦波形の出力強度が得られる。上述のように極大値は有機光電変換膜の配向軸と平行な方位、極小値は配向軸と垂直な方位で生じる。一方、有機光電変換膜が全く配向していなければ、直線１１２のように、偏光方位に対して変化のない出力強度が得られる。そこで出力強度に極大値の下限Ｌ１および極小値の上限Ｌ２を設定する。

そして偏光度不良の確認時には、偏光板を回転させながら偏光を照射したときの第１光検出層１２の出力強度の変化を全画素で取得する。出力強度の極大値が下限Ｌ１を越えないか、極小値が上限Ｌ２を下回らない場合、当該出力強度を示す画素は十分に配向していないため偏光度不良が発生していると判定する。そして当該画素の位置座標を、イメージセンサに付加されるメモリに格納しておくことにより、撮像装置１００の欠陥検出部８８は、その情報を読み出して欠陥のある画素を特定し、欠陥補正部８６に通知する。この場合も、欠陥補正部８６が行う補完処理は上述と同様でよい。なお撮像装置１００自体に、偏光度不良を上記のように検出する機能を設けてもよい。

自然光画像生成部９０は、必要に応じて上記のとおり補完されたデータを用いて自然光の輝度画像を生成する。この処理は、第１層検出値画像と第２層検出値画像の各位置（ｘ，ｙ）の画素値の線形和を算出することを基本とする。すなわち輝度Ｙ（ｘ，ｙ）を次のように算出する。
Ｙ（ｘ，ｙ）＝ｋ（ｘ，ｙ）×Ｏ（ｘ，ｙ）＋Ｓ（ｘ，ｙ）

ここで係数ｋ（ｘ，ｙ）は、感度差調整部８５において第１層検出値画像のスケールを調整する際に用いた係数ｋ（ｘ，ｙ）でよく、この場合、輝度Ｙ（ｘ，ｙ）は次のように求められる。
Ｙ（ｘ，ｙ）＝Ｏｃｏｎ（ｘ，ｙ）＋Ｓ（ｘ，ｙ）
係数ｋ（ｘ，ｙ）を適切に設定しておくことにより、２層分の検出値画像の同一位置における画素値が表す、方位が直交した偏光成分の検出値の和が元の入射光を表すことになる。

一方、偏光画像生成部９２は、第１層および第２層の検出値画像に基づき、４方位分の偏光画像のデータを生成する。図１１は、検出値画像から偏光画像のデータを生成する手法を説明するための図であり、（ａ）は第１層検出値画像の６×６の画素列、（ｂ）は第２層検出値画像の６×６の画素列である。同図太線は４方位の偏光を検出する最小単位である２×２の画素列の境界であり、各画素列は、数字で示された第１〜第４の方位ごとに１つの画素を備える。ここで第１方位の画素を例にとると、網掛けで示したように、他の方位の画素を挟むように離散的な配置となる。その他の方位も同様である。そこで偏光画像生成部９２はまず画素値を補間し、各方位について隙間のない偏光画像のデータを検出値画像ごとに作成する。

補間処理には最近傍補間、バイリニア補間、バイキュービック補間など既存の補間技術を適宜応用する。ただしこのような補間をしたのみでは、２×２の画素列内の各配向軸の膜の配置に依存して画素の位相がずれている。そこで偏光画像生成部９２は、２×２の画素列内にある４方位分の画素が、最終的な各方位の偏光画像において同じ位置に表れるように画素の位置を調整する。具体的には、第１層検出値画像については、第１方位の偏光画像は右方向および下方向に０．５画素分ずらす。第２方位の偏光画像は左方向および下方向に０．５画素分ずらす。第３方位の偏光画像は左方向および上方向に０．５画素分ずらす。第４方位の偏光画像は右方向および上方向に０．５画素分ずらす。

また第２層検出値画像については、第３方位の偏光画像を右方向および下方向に０．５画素分ずらす。第４方位の偏光画像を左方向および下方向に０．５画素分ずらす。第１方位の偏光画像を左方向および上方向に０．５画素分ずらす。第２方位の偏光画像は右方向および上方向に０．５画素分ずらす。偏光画像生成部９２はさらに、第１層検出値画像から生成した偏光画像と第２層検出値画像から生成した偏光画像を、同一方位同士で加算して最終的な偏光画像を４方位で生成する。

偏光画像生成部９２はまた、上述のように自然光画像生成部９０が生成した輝度画像を用いて、偏光画像においてエッジ部分などの細かい変化が表現されるようにする。このため偏光画像生成部９２は、ハイパスフィルタにより当該輝度画像から高周波成分ｈｆ＿Ｙ（ｘ，ｙ）を抽出する。そしてエッジ部分を含む画素についてはｈｆ＿Ｙ（ｘ，ｙ）を画素値に加算する処理を、２層分の各方位の偏光画像の加算前、あるいは加算後の画像に施す。なおここでのエッジ部分の特定は、欠陥検出部８８が欠陥を検出する際に求めた結果を流用してよい。

これまで述べた例は白黒画像を取得することを基本としていたが、カラーフィルタ層を設けるなどして色情報を取得することもできる。図１２は、偏光成分を色情報として取得するときの撮像素子の構造例を断面図で表している。なお図４で示した撮像素子２８と同じ構成には同じ符号を付し説明を省略する。撮像素子１２８は、図４で示した撮像素子２８の第１光検出層１２の下方かつ第２光検出層１６の上方にカラーフィルタ層１３０を設けた構造を有する。なおカラーフィルタ層１３０と第１光検出層１２の間には層間絶縁膜４６を形成する。

これにより、第２光検出層１６へ到達する光は、第１光検出層１２およびカラーフィルタ層１３０を透過した、所定方位および所定色の偏光成分となるため、カラーフィルタの色ごとにその透過光を第２光検出層１６で検出することにより、偏光カラー情報が得られる。なお図示する例では図４の場合と同様、第１光検出層１２の画素と第２光検出層１６の画素が一対一に対応しているが、後述するように各画素領域の対応関係はそれに限らない。

図１３は、第２層検出値画像として色情報を取得する態様における、第１光検出層１２および第２光検出層１６の画素列の関係を例示している。同図（ａ）は第１光検出層１２の４×４の画素列、（ｂ）はその下層にある第２光検出層１６の４×４の画素列である。この例では上述のとおり、第１光検出層１２および第２光検出層１６の画素が一対一に対応している。そして第１光検出層１２と第２光検出層１６の同一位置における画素は、白抜き矢印で示すように互いに直行する方位の偏光成分を検出する。

さらにカラーフィルタ層１３０をベイヤ配列とした場合、（ｂ）に示した第２光検出層１６の画素列のうち、２×２の画素列ごとに、左上の画素が赤（Ｒ）、右上と左下の画素が緑（Ｇ）、右下の画素が青（Ｂ）の偏光成分を検出する。この例では、（ａ）に示すように、第１光検出層１２における偏光方位の配置を２×２の画素列ごとに変化させている。これにより（ｂ）に示すように、第２光検出層１６の４×４の画素列によって、赤、緑、青の全ての色で、４方位全ての偏光成分が検出される。第１光検出層１２の偏光方位の配置を２×２画素の単位で全て同一とし、第２光検出層１６の色の配置を２×２の画素列ごとに変化させても同様となる。

図１４は、第２層検出値画像として色情報を取得する態様における、画素列の関係の別の例を示している。同図（ａ）は第１光検出層１２の４×４の画素列、（ｂ）はその下層にある第２光検出層１６の２×２の画素列である。つまり第１光検出層１２の２×２の画素列が、第２光検出層１６の１つの画素に対応している。すなわち第１光検出層１２において吸収された４方位の偏光成分の残りの成分が、第２光検出層１６の１画素でまとめて検出される。カラーフィルタ層１３０により第２光検出層１６の各画素がベイヤ配列で各色の光を検出すると、結果として、第２光検出層１６の各画素が表す検出値は、無偏光の赤、緑、または青の情報となる。

図１５は、第２層検出値画像として色情報を取得する態様における、画素列の関係のさらに別の例を示している。同図（ａ）は第１光検出層１２の２×２の画素列、（ｂ）はその下層にある第２光検出層１６の４×４の画素列である。つまり第１光検出層１２の１つの画素が、第２光検出層１６の２×２の画素列に対応している。すなわち第１光検出層１２で吸収された一方位の偏光成分と直交する成分が、第２光検出層１６の２×２画素で検出される。カラーフィルタ層１３０により第２光検出層１６の各画素がベイヤ配列で各色の光を検出すると、結果として、第２光検出層の各画素は、２×２画素単位で同じ方位の偏光成分を赤、緑、青の波長帯で分離して検出する。

図１３〜１５で示したように、第１光検出層１２および第２光検出層１６の１画素の領域は、下部電極４４および光電変換素子５４のサイズおよび個数によって様々に組み合わせることができる。色情報を取得する場合、後述するように同じ色かつ同じ方位の偏光情報は画像平面において、より離散的になりやすいため、要求されるデータの取得精度や素子の製造しやすさ、例えば有機膜の配向軸の揃えやすさなど多角的な観点から、各検出層の画素の単位を適切に決定する。

このように偏光成分を色情報で取得すると、当該情報を用いて自然光のカラー画像も生成できる。図１６は、偏光成分を色情報として取得するイメージセンサを含む撮像装置の機能ブロックを示している。なお図７で示した撮像装置１００と同じ機能を有する機能ブロックについては同じ符号を付し適宜説明を省略する。

撮像装置１６０は、イメージセンサ１６１、感度差調整部８５、欠陥検出部８８、欠陥補正部８６、自然光の輝度画像を生成する輝度画像生成部１６４、自然光のカラー画像を生成するカラー画像生成部１６６、および、カラーの偏光成分画像を生成する偏光画像生成部１６８を含む。イメージセンサ１６１は、図５で示したイメージセンサ７０と同様の構造を有し、基本的には図７のイメージセンサ７０と同様の機能を有する。

ただしこの場合の撮像素子は、図１２で示したようにカラーフィルタ層１３０を含んでいるため、第２層検出値取得部１６２から出力される検出値は、赤、緑、青のカラー情報を含む。具体的には、図１３および図１５に示すような画素領域とした場合、当該検出値は偏光成分のデータであり、カラー情報と偏光方位の組み合わせに対し値が得られる。図１４に示すような画素領域とした場合、当該検出値は無偏光のデータとなるため、カラー情報のみに対し値が得られる。

なお図４で示した撮像素子２８と比較し、図１２で示した撮像素子１２８は、カラーフィルタ層１３０を含んでいるため、第１光検出層１２から多層配線層５８までの層間距離が大きい。これにより、第２光検出層１６と比較し動作速度の制限がより厳しくなる。したがってこの例では特に、第１層検出値取得部８２によるデータの読み出しタイミングを、第２層検出値取得部１６２と独立制御することが効果的である。すなわち第２層検出値取得部１６２は高速読み出しとして表示にも利用できるようにし、第１層検出値取得部８２はその１／２または１／３程度の出力レートで、そのデータを補助的に用いるようにする。

感度差調整部８５、欠陥検出部８８、欠陥補正部８６はそれぞれ、図７を参照して説明した対応する機能ブロックと同じ機能を有する。輝度画像生成部１６４は、図７の自然光画像生成部９０と同様に、スケール調整された第１層検出値画像と第２層検出値画像を加算することにより自然光の輝度画像を生成する。ただしこの場合、第２層検出値画像は画素によって検出対象の色（波長帯）が異なるため、単純に画素値を加算すると、ベイヤ配列状に輝度のムラが生じることが考えられる。そこで２×２の４つの画素を仮想的に１つの画素として処理したビニング画像で画素値を加算することにより、検出対象の色に依存しないムラのない輝度情報を得る。すなわち第２光検出層１６の４画素の領域に対応する領域を１画素としたときの輝度Ｙ_１／４（ｘ，ｙ）を次のように求める。
Ｙ_１／４（ｉ，ｊ）＝Ｏｃｏｎ_ａｖｅ（ｉ，ｊ）＋Ｓ_１／４（ｉ，ｊ）

ここで（ｉ，ｊ）は、（ｘ，ｙ）で位置座標が表される第２層検出値画像の画素を２×２個単位で１画素としたときの位置座標、Ｏｃｏｎ_ａｖｅ（ｉ，ｊ）は、スケール調整された第１層検出値画像の画素値を、第２層検出値画像の２×２画素の領域と同じ領域単位で平均化した値、Ｓ_１／４（ｉ，ｊ）は第２層検出値画像の画素値Ｓ（ｘ，ｙ）を２×２画素の単位で平均化した値である。第１層検出値画像においてＯｃｏｎ_ａｖｅ（ｉ，ｊ）を求めるのに用いる画素の数は、第２層検出値画像の画素領域との関係によって異なる。例えば図１３の場合は２×２画素、図１４の場合は４×４画素の単位で平均値を求める。図１５の場合は元の画素値のままでよい。

輝度画像生成部１６４は、このようにして得た輝度Ｙ_１／４（ｉ，ｊ）の画像を元の解像度に戻す。具体的には、輝度Ｙ_１／４（ｉ，ｊ）の２次元配列を補間するなどして画素数を４倍にしたうえ、スケール調整された第１層検出値画像の高周波成分を加算することによりディテールを復元する。輝度画像生成部１６４は生成した輝度画像を、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。

カラー画像生成部１６６は、第２層検出値画像をベースに自然光のカラー画像を生成する。図１７は、カラー画像生成部１６６が自然光のカラー画像を生成する処理手順を示すフローチャートである。カラー画像生成部１６６はまず、第２層検出値画像を色ごとに無偏光化する（Ｓ５０）。無偏光化とは、偏光成分の検出値から偏光方位による位置依存性を解消することである。ただし図１４に示したような画素領域とする場合、検出値は元々無偏光であるためこの処理は省略できる。

次にカラー画像生成部１６６は、ベイヤ配列で離散的に表されている各色の画素値を補間するデモザイク処理を行う。まずカラー画像生成部１６６は、画素数の多い緑の画素値を補間する（Ｓ５２）。このとき、輝度画像生成部１６４が生成した輝度画像の高周波成分を加算することにより画像のディテールを復元する（Ｓ５４）。Ｓ５４の高周波成分の加算処理はＳ５２の補間処理の一貫として行ってもよいし、補間処理の後に個別に行ってもよい。このようにして全画素に対する緑の画素値を求めたら、それを用いて赤および青のデモザイク処理を行う（Ｓ５６）。

この処理には、一般的な撮像装置で行われているデモザイク処理の手法を採用してよい。以上の処理により、第２検出値画像のカラー情報に基づきフルカラーの自然光画像を生成できる。カラー画像生成部１６６は、生成した画像のデータを、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。この画像は一般的なフルカラー画像と同等の画像のため、テレビなどの表示装置に出力し表示させてもよい。

図１８は、図１７のＳ５０で偏光データを無偏光化する処理手順を示すフローチャートである。このフローチャートは、図１３の（ｂ）や図１５の（ｂ）で示した、第２光検出層１６の４×４の画素列を処理単位とする。無偏光化は定性的には、最も画素値の差が出やすい、直交する方位の偏光成分を比較し、その差が大きければ位置依存性が大きいと判定してそれらを平均化した値で代替する。まず色ごとに、偏光成分の検出値を、方位が直交する画素値同士で比較する（Ｓ６０）。例えば図１５の（ｂ）で示した画素列のうち赤を対象とした場合、太い実線で囲まれた２つの画素の値の差、および太い破線で囲まれた２つの画素の値の差をそれぞれ算出する。

ただし近傍に同じ方位かつ同じ色の検出値が複数存在する場合はそれらの平均値で比較する。図１５の（ｂ）で示した画素列の場合、同一方位を表す緑の画素が２×２の画素列中の対角線上に２つずつ含まれるため、緑についてはそれら２つの画素値の平均値で比較する。赤、緑、青のそれぞれについて、直交する偏光成分を表す２組の画素間で、その値の差がどちらも所定のしきい値Ｔｈ３を超えない場合（Ｓ６２のＮ）、当該画素列の当該色については位置依存性がないと判定し、その画素値のままとする（Ｓ６６）。差がしきい値Ｔｈ３を越えても、当該領域がエッジ部分を含む場合はその画素値のままとする（Ｓ６４のＹ、Ｓ６６）。

エッジ部分は上述のとおり輝度変化が大きいため、偏光成分の差が大きくても偏光方位を原因としない可能性があるためである。どちらかの差がしきい値Ｔｈ３を超え、当該領域がエッジ部分を含まない場合は（Ｓ６２のＹ、Ｓ６４のＮ）、偏光方位による位置依存性が高いと判定し、その差を打ち消すように値を調整する（Ｓ６８）。具体的には差の大きい画素値同士を平均化する。上述の緑のように、近傍に同方位かつ同色の画素が複数含まれ、平均値で比較した場合は、当該平均値を平均化する。

この場合、平均値の差が大きかった、直交する第ｎ方位と第ｎ＋２方位にそれぞれ含まれる複数の画素の値に、次の調整係数ｋｃｒ（ｎ）、ｋｃｒ（ｎ＋２）を乗算する。
ｋｃｒ（ｎ）＝（Ｓａｖｅ（ｎ）＋Ｓａｖｅ（ｎ＋２））／Ｓａｖｅ（ｎ）
ｋｃｒ（ｎ＋２）＝（Ｓａｖｅ（ｎ）＋Ｓａｖｅ（ｎ＋２））／Ｓａｖｅ（ｎ＋２）
ここでＳａｖｅ（ｎ）およびＳａｖｅ（ｎ＋２）は第ｎ方位と第ｎ＋２方位にそれぞれ含まれる画素の値の平均値である。以上の位置依存性確認および必要に応じた調整処理を、色ごと、領域ごとに行うことにより、各色の偏光成分の検出値を無偏光化できる。カラー画像生成部１６６は、このようにして得た赤、緑、青の画素値を各チャンネルに保持するフルカラー画像のデータを生成し、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。

偏光画像生成部１６８は、偏光成分の検出値に基づき、４方位分の偏光カラー画像のデータを生成する。ただし図１４で示したような画素領域とする場合、カラー情報は無偏光であるため、第１層検出値画像またはその調整後の画像を白黒の偏光画像としてそのまま出力する。図１９は、図１３または図１５のように偏光成分をカラー情報で取得する場合の、第２層検出値画像の一部を示している。図１５で示した態様の場合、２×２画素ごとに同じ方位の偏光成分が表され、４×４の画素列で４つの方位の偏光成分が表される。同図太線は当該４×４の画素列の境界を示している。なお図１３で示したような画素配列でも偏光画像を生成する手順はほぼ同様である。

偏光成分をカラー情報で取得した場合、同じ方位かつ同じ色の画素を抽出し、補間する必要がある。同図の網掛けで示した第１方位の画素を例にとると、第１方位の緑（Ｇ）の画素は、４×４の画素列あたり２つ存在する一方、第１方位の赤（Ｒ）および青（Ｂ）の画素は、４×４の画素列あたり１つのみ存在するため、緑と比較し間隔が広い。そこでまず各方位の緑の画素値を抽出して補間し、それを用いて赤および青の画素値をデモザイク処理により求める。緑の補間処理には最近傍補間、バイリニア補間、バイキュービック補間など既存の補間技術を適宜応用する。

補間した各方位の緑の画素値に対し、輝度画像生成部１６４が生成した輝度画像を用いて、エッジ部分などにおける細かい変化が表現されるようにする。このため偏光画像生成部１６８は、ハイパスフィルタにより当該輝度画像から高周波成分ｈｆ＿Ｙ（ｘ，ｙ）を抽出し、エッジ部分を含む画素についてはｈｆ＿Ｙ（ｘ，ｙ）を緑の画素値に加算する。このようにして得た各方位の緑の画素値と、赤および青の偏光成分の離散的な検出値を用いて、各方位の偏光成分の赤および青の画素値を決定する。

この処理は、一般的なデモザイク処理を適宜応用できる。また、このようにして生成した各方位、各色の画素値の配列は、４×４の画素列内での各配向軸の膜の配置、および同一方位の領域内での色の配置に依存して画素の位相がずれている。そこで４×４の画素列内にある各方位、各色の画素が、最終的な各方位の偏光画像において同じ位置の画素を表現するように画素の位置を調整する。具体的には、赤については右方向に０．５画素分、下方向に０．５画素分ずらす。

青については左方向に０．５画素分、上方向に０．５画素分ずらす。緑については同じ方位の領域内に画素が２つあるため、左方向または右方向に０．５画素分、下方向または上方向に０．５画素分ずらす。偏光画像生成部１６８は、このようにして生成した、各方位の偏光カラー画像を、撮像装置１６０に接続した記憶装置や画像処理装置に適宜出力する。

次に偏光成分を色情報で取得する別の態様について説明する。なお以後に述べる撮像素子の態様はいずれも、これまで述べたイメージセンサや撮像装置、あるいはその機能の一部を好適に変形させたイメージセンサや撮像装置に適用することができるため適宜説明を省略し、これまでと異なる点に重点を置いて説明する。図２０は、偏光成分を色情報として取得するときの撮像素子の構造の別の例を断面図で表している。なお図４、１２で示した撮像素子２８、１２８と同じ構成には同じ符号を付し説明を省略する。撮像素子１８０は、図１２で示した撮像素子１２８におけるカラーフィルタ層１３０を、第１光検出層１２の上方に設けた構造を有する。

これにより、図１２で示した撮像素子１２８と比較し、第１光検出層１２から多層配線層５８までの距離が短くなり、電荷読み出し時間を短縮できる。このようにしても、カラーフィルタ層１３０の各色を、第１光検出層１２および第２光検出層１６の少なくともいずれかの各画素と対応させることにより、図１２の場合と同様、カラーの偏光情報を取得できる。一方、画素領域の設定によっては、偏光成分を白黒で取得することもできる。図２０に示した例では、断面において横に並んでいる２色分のフィルタに対し、第１光検出層１２の有機光電変換膜３８および下部電極４４が１つ設けられている。

図の奥行き方向についても同様の構成とすると、カラーフィルタ層１３０の４つ分の領域に対し、第１光検出層１２の画素を１つ設けることになる。カラーフィルタ層１３０の４つ分の領域を赤、緑、青のベイヤ配列のフィルタで構成し、第１光検出層１２の有機光電変換膜３８を、これまでの説明と同様、画素ごとに１つの軸に配向させた、可視光の全波長帯を吸収する材料で構成すると、結果として第１光検出層１２では、膜の配向軸に応じた偏光成分がグレースケールで検出されることになる。

このようにすると、第１光検出層１２と第２光検出層１６の画素列の関係は図１５で示したのと同様となり、得られる情報も同様となる。図２１は、カラーフィルタ層１３０を第１光検出層１２の上方に配置する態様における、第１光検出層１２および第２光検出層１６の画素列の関係の別の例を示している。同図（ａ）は第１光検出層１２の２×２の画素列、（ｂ）はその下層にある第２光検出層１６の４×４の画素列（太線枠内）と、その周囲の画素列を示している。

この例では（ａ）に点線矩形で示すように、各色のカラーフィルタを第１光検出層１２の画素と同じサイズとしたうえ、当該画素の４頂点に各色のカラーフィルタの中心が位置するようにずらした配置としている。このようにすると、（ｂ）に示した第２光検出層１６の太線枠内の４×４の画素列のうち、例えば中央の２×２の画素列が全て青の偏光成分を示すとともに、当該４画素で４方位の偏光成分が全て揃うことになる。その他の領域においても同様に、２×２画素の単位で、各色の４方位の偏光成分がまとめて得られる。つまり略同一の位置で同じ色の複数方位の偏光情報が得られるため、検出位置が離れることによって実際より大きく方位依存性が出るといった誤差の発生を抑えることができる。

図２２は、カラーフィルタ層１３０を第１光検出層１２の上方に配置する態様における、第１光検出層１２および第２光検出層１６の画素列の関係の別の例を示している。同図（ａ）は第１光検出層１２の４×４の画素列、（ｂ）はその下層にある第２光検出層１６の４×４の画素列を示している。この例は、第１光検出層１２においても、画素領域を各色のカラーフィルタの領域に対応させている。すなわちカラーフィルタの各色と、第１光検出層１２の画素、第２光検出層１６の画素が全て１つずつ対応している。

この場合、第１光検出層１２による第１層検出値画像と、第２光検出層１６による第２層検出値画像の対応する画素は、直交する方位の同色の偏光成分を表すため、それらを足し合わせることにより自然光のデータが得られる。したがって加算後の画像を一般的な手法でデモザイク処理することにより、フルカラーの自然光画像が得られる。また各方位の偏光カラー画像は、第１層検出値画像と第２層検出値画像を、図１９を参照して説明したように補間してそれぞれの偏光カラー画像を生成し、同じ方位の偏光画像同士で両者を足し合わせることにより生成する。この場合、２層分の偏光情報が含まれるため、元の入射光により近いレベルの偏光カラー画像が得られることになる。

カラーフィルタ層１３０によりカラー情報を取得するのに代えて、第１光検出層１２の有機光電変換膜を、所定の波長帯の光のみを選択的に吸収する材料とすることでカラー情報を取得してもよい。図２３は、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造例を断面図で表している。なお図４で示した撮像素子２８と同じ構成には同じ符号を付し説明を省略する。撮像素子１９０は、図４で示した撮像素子２８の第１光検出層１２の有機光電変換膜を、赤、緑、青のいずれかの波長帯を選択的に吸収する材料としたものである（有機光電変換膜１９２ａ、１９２ｂ）。

例えば有機光電変換膜１９２ａ、１９２ｂが吸収する色をベイヤ配列とし、さらに所定の配列で配向軸を異ならせれば、第１光検出層１２の各画素は、偏光カラー成分を表すことになる。さらに、それを透過した光を第２光検出層１６で検出した場合、第２光検出層１６の各画素は、第１光検出層１２で検出した偏光カラー成分と同色かつ直交した偏光成分と、当該色以外の波長帯の無偏光の成分を表す。

図２４は、図２３で示した構造の撮像素子における第１光検出層１２と第２光検出層１６が吸収する光を説明するための図である。同図上段および下段は、第１光検出層１２の画素およびそれに対応する第２光検出層１６の画素が吸収する光の波長と吸収度の関係をそれぞれ例示している。図の左側に示すように、第１光検出層１２の一つの画素で緑の偏光成分（Ｇ‖）を吸収した場合、それと直交する方位の緑の偏光成分（Ｇ⊥）と、可視光の波長帯のうち緑の波長帯を除いたマゼンダ（Ｍ）の無偏光が透過するため、第２光検出層１６の対応する画素ではそれらが吸収され検出される。

一方、図の右側に示すように、第１光検出層１２の一つの画素で赤の偏光成分（Ｒ‖）を吸収した場合、それと直交する方位の赤の偏光成分（Ｒ⊥）と、可視光の波長帯のうち赤の波長帯を除いたシアン（Ｃｙ）の無偏光が透過するため、第２光検出層１６の対応する画素ではそれらが吸収され検出される。なお第１光検出層１２で青の偏光成分を吸収した場合も同様に、第２光検出層１６の対応する画素では、それと直交する青の偏光成分とイエローの無偏光が吸収され検出される。

このような構造とした場合、第１光検出層１２による第１層検出値画像は、図１２などで示したカラーフィルタ層１３０を設けた場合の第２光検出層１６による第２層検出値画像と同様となるため、適宜補間処理、デモザイク処理を施すことにより、偏光カラー画像が各方位で得られる。また、スケール調整された第１層検出値画像と、第２光検出層１６による第２層検出値画像とを、対応する画素同士で足し合わせることにより、波長帯と偏光成分が統合され、自然光の白黒の輝度画像が得られる。このようにすると、カラーフィルタを用いる場合と比較して光の損失が少ない、高感度の輝度画像が得られる。

図２５は、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造の別の例を断面図で表している。なお図２３で示した撮像素子と同じ構成には同じ符号を付し説明を省略する。撮像素子２００は、図２３で示した撮像素子１９０の第１光検出層１２を２層構造としたものである。具体的には、図２３と同様に、赤、緑、青のいずれかの波長帯を選択的に吸収する材料を所定方向に配向させた有機光電変換膜１９２ａ、１９２ｂを上層とし、当該有機光電変換膜１９２ａ、１９２ｂと同色の波長帯を選択的に吸収する非配向の材料からなる有機光電変換膜２０２ａ、２０２ｂを下層としている。

下層の有機光電変換膜２０２ａ、２０２ｂの上部電極は上層の有機光電変換膜１９２ａ、１９２ｂの下部電極を利用するとともに、下層の有機光電変換膜２０２ａ、２０２ｂには、光電変換によって生じた電荷を読み出すための下部電極２０４ａ、２０４ｂと導電性プラグ２０６ａ、２０６ｂを設ける。なお、上層の下部電極と下層の上部電極をこのように共通とした場合、上層、下層で読み出される電荷は電子と正孔で逆になるため、適宜、換算して画素値とする。

このような構成により、上層で吸収される所定色の偏光成分と直交する成分も第１光検出層１２内で吸収できるため、第２光検出層１６が検出する光を、それ以外の色の無偏光成分のみとすることができる。図２６は図２５で示した構造の撮像素子における第１光検出層１２と第２光検出層１６が吸収する光を説明するための図である。同図上段および中段は、第１光検出層１２の上層および下層の画素が吸収する光、下段はそれに対応する第２光検出層１６の画素が吸収する光の波長と吸収度の関係を例示している。

図の左側に示すように、第１光検出層１２の上層における一つの画素でイエローの偏光成分（Ｙ‖）を吸収し、下層における対応する画素でイエローの残りの成分を吸収した場合、可視光のうち当該イエローの波長帯を除いた青（Ｂ）の無偏光が透過するため、第２光検出層１６の対応する画素ではそれが吸収され検出される。なお、第１光検出層１２の下層で吸収、検出する光は、代表的には上層で吸収した偏光成分に直交する偏光成分であるが、上層の有機光電変換膜１９２ａの膜厚によって吸収率を制御し、吸収対象の偏光成分についてもある程度の割合で透過するようにすると、下層では略無偏光のイエローを検出することもできる。

また図の中央に示すように、第１光検出層１２の上層における一つの画素でマゼンダの偏光成分（Ｍ‖）を吸収し、下層における対応する画素でマゼンダの残りの成分を吸収した場合、可視光のうち当該マゼンダの波長帯を除いた緑（Ｇ）の無偏光が透過するため、第２光検出層１６の対応する画素ではそれが吸収され検出される。さらに図の右側に示すように、第１光検出層１２の上層における一つの画素でシアンの偏光成分（Ｃｙ‖）を吸収し、下層における対応する画素でシアンの残りの成分を吸収した場合、可視光のうち当該シアンの波長帯を除いた赤（Ｒ）の無偏光が透過するため、第２光検出層１６の対応する画素ではそれが吸収され検出される。

このような構成にすると、最下層の第２光検出層１６では青、緑、赤の無偏光の情報が個別に得られるため、デモザイク処理するなどしてそれ自体をフルカラーの自然光画像とし表示などに利用することができる。また第１光検出層１２の上層による検出値画像は図２４の場合と同様、適宜補間処理、デモザイク処理を施すことにより、偏光カラー画像を各方位で得られる。また、第１光検出層１２の上層および下層の検出値画像を対応する画素で足し合わせることにより各色の無偏光成分が得られるため、これに基づき無偏光カラー画像を生成することもできる。

さらに、第１光検出層１２の上層および下層による検出値画像の和と、第２光検出層１６の各色の無偏光の検出値画像を足し合わせることにより波長帯が統合され、自然光の輝度画像が得られる。これらのようにしても、カラーフィルタを用いる場合と比較して光の損失が少ない高感度の画像が得られる。

図２７は、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造の別の例を断面図で表している。なお図２５で示した撮像素子と同じ構成には同じ符号を付し説明を省略する。撮像素子２１０は、図２５で示した撮像素子２００の第２光検出層１６を、所定色の光を選択的に光電変換する無機光電変換層により構成するものである。詳細には、これまで説明した撮像素子において第１光検出層１２を透過した光を光電変換した光電変換素子５４ａ、５４ｂに代えて、透過した光のうち青色成分を検出するための無機光電変換層２１２ａ、２１２ｂ、赤色成分を検出するための無機光電変換層２１４ａ、２１４ｂを上下に設けた構成を有する。

無機光電変換層２１２ａ、２１２ｂ、２１４ａ、２１４ｂはそれぞれ、ｐｎ接合を有するフォトダイオードであり、青色または赤色の波長帯またはその一部を吸収して電荷に変換し内部に蓄積する。このような光電変換層により光の色成分を素子の縦方向で分離して検出する技術は公知であり、例えば特開２０１３−１８３０５６号公報に開示されている。一方、撮像素子２１０のうち第１光検出層１２を構成する上層の有機光電変換膜１９２ａ、１９２ｂ、および下層の有機光電変換膜２０２ａ、２０２ｂは、緑色を選択的に吸収して光電変換する有機材料とする。

図２５を参照して説明したのと同様、第１光検出層１２の上層を、所定の軸方向に配向させた膜として偏光成分を検出する膜とし、下層を非配向の膜とすることにより、第１光検出層１２において緑色の波長帯を吸収することができる。結果として、第１光検出層１２の上層からは緑色の偏光画像、第１光検出層１２の上層および下層の検出値を足し合わせることにより緑色の無偏光画像、第２光検出層１６からは青色、赤色の無偏光画像が得られる。

この場合、各方位の偏光成分については、これまでと同様、異なる配向軸の膜の配置に応じて検出値が離散的に得られるものの、緑、青、赤の色成分については、全ての画素で元から検出値が得られている。したがって補間処理は偏光画像の生成時にのみ行えばよく、無偏光のカラー画像についてはデモザイク処理が必要なくなる。また、偏光情報を１色に限定する代わりに、３色分の偏光情報を得る場合と比較し補間すべき間隔が狭まるため誤差が小さくなる。

図２８は、有機光電変換膜により偏光成分を色情報として取得するときの撮像素子の構造の別の例を断面図で表している。なお図２７で示した撮像素子と同じ構成には同じ符号を付し説明を省略する。撮像素子２２０は、図２７で示した撮像素子２１０の第１光検出層１２における２層の有機光電変換膜を、上層の有機光電変換膜１９２ａ、１９２ｂ１層のみとしたものである。この第１光検出層１２は、図２３で説明した撮像素子１９０の第１光検出層１２と同じ構造となる。ただし図２８の撮像素子２２０の場合は、第１光検出層１２の有機光電変換膜１９２ａ、１９２ｂとして、緑色を選択的に吸収する配向膜を用いる。

したがって図２４の左側に示すように、第１光検出層１２において緑の偏光成分が吸収されると、その他の成分、すなわちそれと直交する方位の緑の偏光成分と、可視光の波長帯のうち緑の波長帯を除いたマゼンダの無偏光が第２光検出層１６に到達する。第２光検出層１６では、図２７の場合と同様、無機光電変換層２１２ａ、２１２ｂ、２１４ａ、２１４ｂにより、マゼンダの光を素子の縦方向で青色、赤色の成分に分離し検出する。ただしこの場合、上層の無機光電変換層２１２ａ、２１２ｂに入射する光として、第１光検出層１２を透過した緑の偏光成分が含まれるため、青色の検出結果に誤差が生じやすい。

そこで、撮像素子２１０を搭載した撮像装置には、図１６で示した撮像装置１６０のうち、感度差調整部８５の代わりに色成分制御部を設け、青色用の無機光電変換層２１２ａ、２１２ｂによる検出値画像から緑の偏光成分の情報を除去する。図２９は、色成分制御部の機能ブロックの構成を示している。色成分制御部２５０は、感度差調整部２５２、除去対象成分推定部２５４、各色画像生成部２５６を含む。感度差調整部２５２は、第１光検出層１２における緑の検出感度と第２光検出層１６の無機光電変換層２１２ａ、２１２ｂの緑の検出感度の差に応じて、両者による検出値画像の緑成分のスケールを揃える。

具体的には第１光検出層１２の検出値Ｏｇ（ｘ，ｙ）に係数ｋｇ（ｘ，ｙ）を乗算することにより、スケールを第２光検出層１６の無機光電変換層２１２ａ、２１２ｂの感度に合わせた換算値Ｏｇ＿ｃｏｎ（ｘ，ｙ）を次のように算出する。
Ｏｇ＿ｃｏｎ（ｘ，ｙ）＝ｋｇ（ｘ，ｙ）×Ｏｇ（ｘ，ｙ）
ここで（ｘ，ｙ）は画素の２次元配列の座標である。係数ｋｇ（ｘ，ｙ）は、撮像装置の運用前または初期のキャリブレーションにより次のように決定する。

まず視野全体を占めるグレーの一様な被写体面を、無偏光の緑色の光源により光を均一に照射した状態で撮影する。この場合、入射光は緑成分のみからなるため、第２光検出層１６の無機光電変換層２１２ａ、２１２ｂで検出される対象は、第１光検出層１２を透過した緑の偏光成分のみとみなせる。したがって、そのときの第１光検出層１２の検出値の換算値が第２光検出層１６の青用の無機光電変換層２１２ａ、２１２ｂの検出値と一致するように係数ｋｇ（ｘ，ｙ）を決定する

すなわち上記条件で、第１光検出層１２による検出値Ｏｇ＿ｉｎ（ｘ，ｙ）と第２光検出層１６の青用の無機光電変換層２１２ａ、２１２ｂによる検出値Ｓｂ＿ｉｎ（ｘ，ｙ）が得られたとすると、次の式を満たすようにｋｇ（ｘ，ｙ）を算出する。
Ｓｂ＿ｉｎ（ｘ，ｙ）＝ｋｇ（ｘ，ｙ）×Ｏｇ＿ｉｎ（ｘ，ｙ）
ここで係数ｋｇ（ｘ，ｙ）が画像全体で所定範囲内にある場合は、画素の位置座標によらない定数ｋｇとしてもよい。例えば青用の無機光電変換層２１２ａ、２１２ｂによる画像全体の画素値の総和ΣＳｂ＿ｉｎ（ｘ，ｙ）を第１光検出層１２による画像全体の画素値の総和ΣＯｇ＿ｉｎ（ｘ，ｙ）で除算することにより定数ｋを決定してもよい。

感度差調整部２５２は、このようにして設定されている係数ｋｇを、第１光検出層１２から出力された、緑の偏光成分の検出値画像の各画素に乗算することによりそのスケールを調整したあと、第２光検出層１６から出力された、青色および赤色の検出値画像のデータととともに、除去対象成分推定部２５４に出力する。除去対象成分推定部２５４は、青色の検出値画像から緑の偏光成分を除去する。ここで、第１光検出層１２における有機光電変換膜１９２の各配向軸の膜の配置に依存して、青色の検出値画像に含まれる偏光成分の方位にも位置依存生が生じている。

そこで除去対象成分推定部２５４は、第１光検出層１２による検出値画像の調整後のデータを用いて、青色の検出値画像から除去すべき偏光成分の値を位置ごとに推定する。そして各色画像生成部２５６は、青色の検出値画像の各画素値から、推定された緑色の偏光成分の値を差し引くことにより、青色を含む全色で検出値画像を完成させる。結果として、第２光検出層１６の感度にスケールを合わせた緑色の偏光画像、対応する画素においてそれと直交する方位の緑色の偏光画像、青の無偏光画像、赤の無偏光画像のデータが得られる。色成分制御部２５０は、それらを欠陥検出部８８および欠陥補正部８６に出力することにより、欠陥補正やその後の出力用画像の生成処理がなされる。

図３０は、除去対象成分推定部２５４が青色の検出値画像から除去すべき緑色の偏光成分の値を推定する手法を説明するための図である。同図（ａ）は第１光検出層１２の４×４の画素列、（ｂ）はその下層にある第２光検出層１６の無機光電変換層２１２ａ、２１２ｂの４×４の画素列を示している。前者は（ａ）に実線矢印で示すような方位の緑の偏光成分を吸収、検出する。その結果、後者の画素値には、（ｂ）に点線矢印で示すような方位の緑の偏光成分が含まれるため、その量を推定する。

例えば（ｂ）のうち太線で囲まれた画素に着目すると、（ａ）に示した第１光検出層１２の対応する位置（太い破線）の周囲には、網掛けで示すように、着目画素と同じ方位の偏光成分が得られている。したがってそれらを利用すれば、（ｂ）の各画素における偏光成分の値を高い精度で推定できる。例えば（ａ）の網掛けされた画素のように、周囲の４画素の画素値の平均値を推定値としてもよいし、さらに広い範囲における同じ方位の偏光成分の値を利用し、既存の手法で補間することにより推定してもよい。

このようにして除去対象成分推定部２５４が、無機光電変換層２１２ａ、２１２ｂによる検出値画像の全画素に対し、画素値に含まれる緑の偏光成分を推定したら、各色画像生成部２５６は、当該検出値画像の各画素値から偏光成分を差し引くことにより、純粋に青色の成分のみを画素値とする画像を生成する。このとき青色から差し引いた緑の偏光成分、すなわち第１光検出層１２の検出値画像を利用した緑の偏光成分の推定値も、画像データとして生成しておく。

その後、偏光画像に対して適宜、欠陥検出、補正処理を施したうえ、自然光のカラー画像と、緑の偏光画像を生成する。自然光のカラー画像のうち緑色の画素値は、第１光検出層１２のスケール調整後の検出値画像と、除去対象成分推定部２５４が推定した緑色の偏光成分の画像を足し合わせて生成する。両者は同じ位置の画素において直交する偏光成分を表しているため、足し合わせることにより元の無偏光が復元される。青色の画素値は、無機光電変換層２１２ａ、２１２ｂによる検出値画像から緑色の偏光成分の推定値を差し引いた画像、赤色の画素値は、無機光電変換層２１４ａ、２１４ｂの検出値画像をそのまま利用できる。

緑色の偏光画像を生成する際はまず、第１光検出層１２の検出値画像において離散的に得られている各方位の偏光成分を抽出したうえ画素位置を適宜ずらすことにより、同じ位置で４方位の偏光成分を表す４つの偏光画像を生成する。この時点ではまだ画素値が離散的なため、さらに上述のように生成した無偏光の緑の画像の高周波成分を用い、その分布に基づきこれら４つの偏光画像をそれぞれ補間することにより４方位の偏光画像を完成させる。無偏光画像の高周波成分を利用することにより、補間の精度を高めることができる。

次に、これまで述べた撮像装置を用いて被写体の情報を取得する技術について例示する。偏光子や偏光板を用いて被写体表面の法線を取得する技術は、例えば国際公開第２００９／１４７８１４号などに開示されるように、従来、研究が進められている。すなわち、被写体の表面からの反射光を偏光カメラで取得し、最小輝度が観測されるときの偏光角に基づき物体表面の方位角を取得する。これを２つの視点から行うことにより、物体表面の法線を一意に決定できる。

本実施の形態の撮像素子は、同じ視点の偏光情報と自然光の情報を、画素レベルで位置合わせした状態で取得できるため、これを利用して様々な情報を取得したり取得精度を高めたりできる。図３１は本実施の形態の画像処理システムの構成例を示している。画像処理システム３００は、ステレオカメラ３１０と画像処理装置３２０を含む。なおステレオカメラ３１０と画像処理装置３２０は図示するように別の個体とし有線または無線で通信を確立してデータの送受信を行ってもよいし、両者を一体的に含む情報処理装置などの形態とし内部のバスなどによってデータの送受信を行ってもよい。

ステレオカメラ３１０は、これまで述べた撮像装置のいずれかと同じ構成の２つの撮像装置を、既知の間隔を有するように左右に配置したカメラである。画像処理装置３２０は、ステレオカメラ３１０から画像のデータを取得する画像データ取得部３６２、取得した左右の画像データ間で感度差を調整する感度差調整部３６４、左右の偏光画像に基づき法線マップを生成する法線マップ生成部３６６、左右の自然光の画像および法線マップに基づきデプスマップを生成するデプスマップ生成部３６８、出力すべきデータを生成する出力データ生成部３８０を含む。

画像データ取得部３６２は、ステレオカメラ３１０が備える撮像装置３６０ａ、３６０ｂからそれぞれ、自然光の画像および偏光成分の画像のデータを取得する。すなわち、左右の視点からの自然光の画像と、左右の視点からの４方位分の偏光画像のデータが取得される。動画撮影時には、所定のフレームレートでデータを取得し続ける。取得したデータはフレームごとなど所定の単位で図示しないメモリに一時保存し、感度差調整部３６４などが適当なタイミングで読み出せるようにする。感度差調整部３６４は、左右の視点からの自然光の画像の対と、左右の視点からの各方位の偏光画像の対で、それぞれ出力レベルを調整する。

例えば、画像ごとに平均輝度値を計算し、それが同レベルになるように一方にゲインをかける。自然光の画像でかけたゲインを、同じ視点からの偏光画像のゲインにも利用してもよい。法線マップ生成部３６６は、左右の４方位分の偏光画像を用いて、被写体表面の法線ベクトルを求め、それを画像平面にマッピングした法線マップを生成する。この処理には、ステレオ偏光カメラを用いて被写体の法線情報を取得する上述のような従来技術を適用できる。デプスマップ生成部３６８はまず、レベル調整がなされた左右の自然光の画像を用いてデプスマップを生成する。

具体的には、左右の自然光画像から対応点を検出し、その視差から三角測量の原理で当該対応点の撮像面からの距離を算出して、画像平面にマッピングすることによりデプスマップを生成する。ステレオ画像を用いてデプスマップを生成する技術は、従来のステレオカメラにおいて実用化されている。しかしながら模様やしわなどの特徴点が少ない一様な表面の被写体などでは、特徴点が検出されにくく、結果として距離の算出に誤差を多く含んだり、算出不能となりデプスマップ上でデータの抜けが生じたりすることがあった。

そこで本実施の形態のデプスマップ生成部３６８は、法線マップ生成部３６６が生成した法線マップを利用してデプスマップの精度を向上させる。具体的には、法線ベクトルの分布に基づき被写体の面の連続性を取得する。これにより、対応点検出により距離が得られた点が離散的であっても、その周囲の像が連続した同じ面を表すか否かが特定できるため、対応点が検出されない領域の距離値を法線ベクトルから算出できる。

デプスマップ生成部３６８はさらに、対応点の検出自体に偏光画像を用い、偏光画像において表れる物体表面の細かい凹凸を特徴点として利用してもよい。本実施の形態では、自然光の画像と偏光画像における像の位置が、撮影段階において画素レベルで一致しているため、両者を後から位置合わせする必要がない。結果として、一見、特徴点の少ない被写体であっても精度よくデプスマップを取得できる。

出力データ生成部３８０は、生成された法線マップ、デプスマップ、および画像データ取得部３６２が取得した自然光の画像などのデータのうち、必要なデータを外部の出力装置に出力する。あるいは、それらのデータを用いて所定の情報処理を行った結果として表示画像や音声のデータを生成し出力してもよい。出力すべきデータやなすべき情報処理は、画像処理システム３００の使用目的によって様々であってよい。

例えば、精度よく得られたデプスマップを用いて被写体の実空間での位置を特定し、それに応じて自然光のカラー画像に加工を施したり被写体の動きに反応するゲーム画面を生成したりする。そのようにして生成された画像のデータを、出力装置であるディスプレイに適切なタイミングで出力すれば、被写体の動きに応じて変化する動画を表示できる。ただし上述のとおり出力態様はこれに限らない。

以上述べた本実施の形態によれば、撮像素子において、有機光電変換材料を所定の軸方向に配向させた膜からなる第１光検出層と、それを透過した光を吸収して光電変換する素子からなる第２光検出層を積層させた構造を設ける。これにより、例えば２つの方位の偏光成分、あるいは１つの方位の偏光成分と自然光、といった、少なくとも２種類の情報を、画素レベルの同じ位置で取得することができる。さらに、有機光電変換材料の吸収波長帯を変化させたりカラーフィルタを設けたりして、偏光情報と色情報とを組み合わせた多様な情報を取得できる。

このように、画素レベルで同じ位置で、複数の情報を同時に取得できるため、それらを用いて被写体の形状や位置を取得する際、両者の位置を合わせるための処理の必要がなくなる。また特徴点の少ない被写体であっても、位置合わせに係る問題が生じない。さらに、同じ位置で複数種類の画像を取得するため、両者を相補完的に利用することにより最終的に出力する画像の詳細度や精度を高めることができる。具体的には、元の検出値の欠陥を補ったり、内部の処理上、失われた高周波成分を復元したり、不明な値を推定したりすることができる。また、同じ位置で複数種類の値を演算することで、新たな種類のデータを生成でき、結果として多様な情報を取得できる。

一般的な自然光のステレオ画像を用いたデプスマップ生成においては、対応点が抽出できず距離値が算出されない部分が生じることがあるが、同じ位置の偏光画像を取得していることにより、詳細なデプスマップを生成できる。具体的には、物体表面の細かい凹凸も偏光情報として得られるため、それを特徴点として利用できる。またそのような特徴点を対応点として得られた距離値が離散的でも、法線マップから得られる面の連続性に鑑み、より詳細なデプス情報が得られる。

また、配向のさせやすさなど製造プロセス上の要求や、求められる情報や解像度など運用上の要求に応じて、複数の光検出層の画素領域や構造、材料などを適宜選択できるため、それらの多角的な要求を総合的に鑑み適切な態様を臨機応変に選択できる。また複数の光検出層からのデータ読み出しのタイミングを独立に制御することにより、材料による感度の差や読み出しのための配線までの距離などに応じて誤差を少なく、かつ必要最低限の情報が確実に取得できるような処理体系を実現できる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態では、第１光検出層１２として、配向させた有機光電変換膜を用いたが、それに代えて、カーボンナノチューブを利用してもよい。近年、所定軸方向に配向させた二色性分子を用いる代わりに、同じ方向に緻密に配列させたカーボンナノチューブを用いた偏光素子が多く提案されている。さらに、Xiaowei. He, et al., “Photothermoelectric p-n Junction Photodetector with Intrinsic Broadband Polarimetry Based on Macroscopic Carbon Nanotube Films,” ACS Nano 7, 7271 (2013)に記載されるように、カーボンナノチューブを用いて偏光を検出する技術も研究されている。

そこで第１光検出層１２を、カーボンナノチューブを緻密に配列させた構造体とそれにより発生した電荷を読み出す電極とで構成する。カラー情報を得る場合は、図２０に示すように第１光検出層１２の上方にカラーフィルタ層を設けてもよい。カーボンナノチューブを用いることにより、本実施の形態と同様の効果が得られるとともに、画像の取得感度をさらに向上させることができる。

１０ 撮像素子、 １２ 第１光検出層、 １６ 第２光検出層、 ２８ 撮像素子、 ３６ 上部電極、 ３８ａ 有機光電変換膜、 ４４ａ 下部電極、 ５４ａ 光電変換素子、 ７０ イメージセンサ、 ８２ 第１層検出値取得部、 ８４ 第２層検出値取得部、 ８５ 感度差調整部、 ８６ 欠陥補正部、 ８８ 欠陥検出部、 ９０ 自然光画像生成部、 ９２ 偏光画像生成部、 １００ 撮像装置、 １６０ 撮像装置、 １６１ イメージセンサ、 １６２ 第２層検出値取得部、 １６４ 輝度画像生成部、 １６６ カラー画像生成部、 １６８ 偏光画像生成部、 ２５０ 色成分制御部、 ２５２ 感度差調整部、 ２５４ 除去対象成分推定部、 ２５６ 各色画像生成部。

Claims (14)

1. 光透過性を有し所定の軸方向に配向された有機光電変換膜を含む第１の光検出層と、
   前記第１の光検出層より下層にあり無機光電変換素子を含む第２の光検出層と、
   を含むことを特徴とする撮像素子。
2. 前記第１の光検出層は、前記有機光電変換膜とそれを挟む透過性を有する電極を含む構造を１画素としたうえ、異なる軸方向に配向された有機光電変換膜を含む画素を互いに隣接させてなることを特徴とする請求項１に記載の撮像素子。
3. 前記第２の光検出層は、前記第１の光検出層における複数の画素単位または１つの画素より小さい単位で、前記無機光電変換素子を画素として備えることを特徴とする請求項２に記載の撮像素子。
4. 異なる色に対応する波長帯の光を透過するカラーフィルタを隣接させてなるカラーフィルタ層を、前記第１の光検出層と前記第２の光検出層の間に備えたことを特徴とする請求項３に記載の撮像素子。
5. 異なる色に対応する波長帯の光を透過するカラーフィルタを隣接させてなるカラーフィルタ層を、前記第１の光検出層の上層に備えたことを特徴とする請求項３に記載の撮像素子。
6. 前記第１の光検出層における１画素の領域は、前記カラーフィルタ層における複数のカラーフィルタの領域に対応することを特徴とする請求項５に記載の撮像素子。
7. 前記第１の光検出層における１画素の領域は、前記カラーフィルタ層における隣接する複数のカラーフィルタのそれぞれ一部分を含む領域に対応することを特徴とする請求項５に記載の撮像素子。
8. 前記第１の光検出層に含まれる有機光電変換膜は、複数の色に対応する波長帯を含む所定の波長帯の光を光電変換する材料からなることを特徴とする請求項１から７のいずれかに記載の撮像素子。
9. 前記第１の光検出層は、所定の色に対応する波長帯の光を光電変換する材料からなり、
   前記第２の光検出層は、前記第１の光検出層における画素単位で、前記無機光電変換素子を画素として備えることを特徴とする請求項２に記載の撮像素子。
10. 前記第１の光検出層はさらに、前記有機光電変換膜を透過し、当該有機光電変換膜が吸収した光と同じ波長帯の光を光電変換する、非配向の有機光電変換膜を含むことを特徴とする請求項９に記載の撮像素子。
11. 前記第２の光検出層における前記無機光電変換素子は、異なる波長帯の光を光電変換する複数の無機光電変換層を積層させた構造を有することを特徴とする請求項１、２、９および１０のいずれかに記載の撮像素子。
12. 請求項１から１１のいずれかに記載の撮像素子をマトリクス状に配置した画素部と、
    前記画素部を構成する撮像素子を所定の順序で駆動させて電気信号を取得し、順次出力する制御部と、
    を備えたことを特徴とするイメージセンサ。
13. 請求項１２に記載のイメージセンサから、各検出層からの電気信号を画素値とした画像のデータを取得する入力部と、
    前記画像のデータが表す複数の画像のスケールを調整したうえ、対応する領域における画素値に基づき所定の演算を行うことにより、出力用の画像のデータを生成する画像生成部と、
    を備えたことを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置と、
    前記撮像装置から出力される複数種類の画像のデータを格納するメモリと、
    前記メモリに格納された画像のデータを用いて情報処理を行いその結果を表す出力データを生成する出力データ生成部と、
    を備えたことを特徴とする情報処理装置。

Images