JP2013219551A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】従来の撮像装置においてマイクロレンズの形状が互いに同一であり、かつマイクロレンズと光電変換素子との配置関係も同一であるので、視差画像を生成するための光電変換素子の一部が十分な光量を得られない場合があった。
【解決手段】撮像素子において、第１マイクロレンズおよび第２マイクロレンズの形状および配置の少なくともいずれかは、互いに異なり、第１マイクロレンズおよび第１開口マスクの開口は、入射光の断面領域内の第１部分領域からの光束を第１光電変換素子へ導くように位置づけられ、第２マイクロレンズおよび第２開口マスクの開口は、第１部分領域、または第１部分領域と異なる断面領域内の第２部分領域からの光束を第２光電変換素子へ導くように位置づけられる。
【選択図】図６

Description

本発明は、撮像素子および撮像装置に関する。

単一の撮影光学系を用いて、視差を有する２つの視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報

しかしながら、上述の撮像装置においてマイクロレンズの形状が互いに同一であり、かつマイクロレンズと光電変換素子との配置関係も同一であるので、視差画像を生成するための光電変換素子の一部が十分な光量を得られない場合があった。

本発明の第１の実施形態における撮像素子は、入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、光電変換素子のうちの第１光電変換素子および第２光電変換素子にそれぞれ対応して設けられた第１開口マスクおよび第２開口マスクと、第１開口マスクおよび第２開口マスクにそれぞれ対応して設けられた第１マイクロレンズおよび第２マイクロレンズとを備え、第１マイクロレンズおよび第２マイクロレンズの形状および配置の少なくともいずれかは、互いに異なり、第１マイクロレンズおよび第１開口マスクの開口は、入射光の断面領域内の第１部分領域からの光束を第１光電変換素子へ導くように位置づけられ、第２マイクロレンズおよび第２開口マスクの開口は、第１部分領域、または第１部分領域と異なる断面領域内の第２部分領域からの光束を第２光電変換素子へ導くように位置づけられる。

本発明の第２の実施形態における撮像装置は、上述の撮像素子と、撮像素子の出力から、互いに視差を有する複数の視差画像データと視差のない２Ｄ画像データとを生成する画像処理部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るデジタルカメラの構成を説明する図である。 本実施形態に係る撮像素子の断面を表す概略図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 視差画素のマイクロレンズの形状の調整手法を説明する図である。 視差画素のマイクロレンズの形状の他の調整手法を説明する図である。 視差画素のマイクロレンズの配置の調整手法を説明する図である。 繰り返しパターンに基づく視差画素のマイクロレンズの形状の調整手法を説明する図である。 ベイヤー配列を説明する図である。 第１実施例における繰り返しパターン１１０の配列を説明する図である。 第２実施例における繰り返しパターン１１０の配列を説明する図である。 ２Ｄ画像データとしてのＲＧＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。 各プレーンの解像度の関係を示す概念図である。 開口部の形状を説明する図である。 変形例に係る撮像素子の断面を表す概略図である。 変形例に係る反射率調整膜の構成を説明する図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本発明の実施形態に係る撮像素子１００の断面を表す概略図である。

撮像素子１００は、被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、開口マスク１０３、配線層１０５および光電変換素子１０８が配列されて構成されている。光電変換素子１０８は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１０８は、基板１０９の表面に二次元的に複数配列されている。

光電変換素子１０８により変換された画像信号、光電変換素子１０８を制御する制御信号等は、配線層１０５に設けられた配線１０６を介して送受信される。また、各光電変換素子１０８に一対一に対応して設けられた開口部１０４を有する開口マスク１０３が、配線層に接して設けられている。開口部１０４は、後述するように、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。詳しくは後述するが、この開口部１０４を備える開口マスク１０３の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。

一方、視差を生じさせない光電変換素子１０８上には、開口マスク１０３が存在しない。別言すれば、対応する光電変換素子１０８に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部１０４を有する開口マスク１０３が設けられているとも言える。視差を生じさせることはないが、実質的には配線１０６によって形成される開口１０７が入射する被写体光束を規定するので、配線１０６を、視差を生じさせない入射光束の全体を通過させる開口マスクと捉えることもできる。開口マスク１０３は、各光電変換素子１０８に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１０８に対して一括して形成しても良い。

カラーフィルタ１０２は、開口マスク１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１０８に対して特定の波長帯域を透過させるように着色された、光電変換素子１０８のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１０８へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１０８のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１０８の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１０８に導かれるようにその光軸がシフトされていることが好ましい。さらには、開口マスク１０３の開口部１０４の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。

このように、各々の光電変換素子１０８に対応して一対一に設けられる開口マスク１０３、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。特に、視差を生じさせる開口マスク１０３が設けられた画素を視差画素、視差を生じさせる開口マスク１０３が設けられていない画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

なお、裏面照射型イメージセンサの場合、配線層１０５が光電変換素子１０８とは反対側に設けられる。また、開口マスク１０３の開口部１０４に色成分を持たせれば、カラーフィルタ１０２と開口マスク１０３を一体的に形成することもできる。

本実施形態においては、開口マスク１０３と配線１０６を別体として設けているが、視差画素における開口マスク１０３の機能を配線１０６が担っても良い。すなわち、規定される開口形状を配線１０６により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１０８へ導く。この場合、開口形状を形成する配線１０６は、配線層１０５のうち最も光電変換素子１０８側であることが好ましい。

次に、開口マスク１０３の開口部１０４と、生じる視差の関係について説明する。図３は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、開口マスク１０３の開口部１０４は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの開口部１０４は互いに変位した位置に設けられている。

図の例においては、それぞれの画素に対する開口部１０４の位置として、互いに左右方向にシフトした６種類の開口マスク１０３が用意されている。そして、撮像素子１００の全体は、紙面左側から右側へ徐々にシフトする開口マスク１０３をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。なお、本実施形態において、光電変換素子群の配列パターンを繰り返しパターン１１０と称する。

図４は、視差画素と被写体の関係を説明する概念図である。特に図４（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔの光電変換素子群を示し、図４（ｂ）は周辺部分に配列されている繰り返しパターン１１０ｕの光電変換素子群を模式的に示している。図４（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図４（ｃ）は、図４（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１１０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１０８へ到達するように、開口マスク１０３の開口部１０４ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して開口部１０４ｅの位置が、部分領域Ｐｄに対応して開口部１０４ｄの位置が、部分領域Ｐｃに対応して開口部１０４ｃの位置が、部分領域Ｐｂに対応して開口部１０４ｂの位置が、部分領域Ｐａに対応して開口部１０４ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、開口部１０４ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、開口部１０４ｆを介して光電変換素子１０８が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１０８上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより開口部１０４ｅの位置が、主光線Ｒｄの傾きにより開口部１０４ｄの位置が、主光線Ｒｃの傾きにより開口部１０４ｃの位置が、主光線Ｒｂの傾きにより開口部１０４ｂの位置が、主光線Ｒａの傾きにより開口部１０４ａの位置がそれぞれ定められていると言える。

図４（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１１０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図４（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１１０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１１０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１１０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１１０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１１０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置と、周辺部分に配列されている繰り返しパターン１１０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する開口部１０４ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための開口マスクという点で、これらを同一種類の開口マスクとして扱うことができる。したがって、図４の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の開口マスクの一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１０８上ではなく他の位置で結像する。例えば、図４（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１０８よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１１０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図４（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１１０ｔ'に含まれる、開口部１０４ｄを有する光電変換素子１０８へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１１０ｔ'に含まれる光電変換素子１０８へは入射せず、他の繰り返しパターンにおける対応する開口部を有する光電変換素子１０８へ入射する。換言すると、繰り返しパターン１１０ｔ'を構成する各光電変換素子１０８へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、開口部１０４ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の開口部に対応する光電変換素子１０８へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図４（ｂ）における周辺部分に配列されている繰り返しパターン１１０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、開口部１０４ａに対応する光電変換素子１０８で捉えた被写体像Ａと、開口部１０４ｄに対応する光電変換素子１０８で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の開口部に対しても同様であるので、開口部１０４ａから１０４ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１１０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図５は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、開口部１０４ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、開口部１０４ｅの出力による視差画像データＩｍ＿ｅの生成の様子、開口部１０４ｄの出力による視差画像データＩｍ＿ｄの生成の様子、開口部１０４ｃの出力による視差画像データＩｍ＿ｃの生成の様子、開口部１０４ｂの出力による視差画像データＩｍ＿ｂの生成の様子、開口部１０４ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず開口部１０４ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１１０は、横一列に配列されている。したがって、開口部１０４ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

ここで、本実施形態における視差画素のマイクロレンズ１０１の形状および配置について説明する。上述したように、視差なし画素の開口部１０４は光電変換素子１０８以上の大きさであるので、視差なし画素の光電変換素子１０８は、撮像素子１００の有効画素領域の周辺部に位置しても、ある程度の光量を得ることができる。一方、光電変換素子１０８内には感度分布が存在するので、部分的に光を受ける場合には、同じ光量を受光しても出力が異なる場合がある。特に、光電変換素子１０８の中心部に対して周辺部は、感度が低下する傾向がある。視差画素の開口部１０４は、対応する部分領域との関係により、被写体光束を光電変換素子１０８の周辺部に導く場合が多い。また、視差画素の開口部１０４を視差なし画素の開口部１０４よりも小さく形成すれば、通過する光束も少なくなる。したがって、多くの視差画素の出力は、視差なし画素の出力に対して、小さくなると言える。すなわち、視差画素は、視差なし画素に比べて、受光光量が足りていない場合が多い。特に、撮像素子１００の有効画素領域の周辺部に位置する視差画素にこの傾向が顕著に現われる。

そこで、本実施形態において、視差画素ごとにマイクロレンズ１０１の形状および配置の少なくともいずれかが調整される。そのため、少なくとも２つの視差画素のマイクロレンズ１０１の形状および配置の少なくともいずれかは互い異なることとなる。なお、本実施形態において、対応する光電変換素子に対するマイクロレンズ１０１の相対的な配置をマイクロレンズ１０１の配置と称する。

撮影レンズ２０の瞳の同じ部分領域からの光束を受光する視差画素のマイクロレンズ１０１の形状、配置が互いに異なっても良い。また、撮影レンズ２０の瞳の異なる部分領域からの光束を受光する視差画素のマイクロレンズ１０１の形状、配置が互いに異なっても良い。

まず、視差画素のマイクロレンズ１０１の形状の調整について説明する。本実施形態において、視差画素のマイクロレンズ１０１の高さおよび直径の少なくともいずれかが、視差画素のマイクロレンズ１０１の形状として調整される。

図６は、視差画素のマイクロレンズ１０１の形状の調整手法を説明する図である。図６（ａ）は、視差画素のマイクロレンズ１０１の形状および配置を視差なし画素のマイクロレンズ１０１と同様にした場合の状況を示す。この状況において、開口部１０４に対応する撮影レンズ２０の瞳の部分領域から射出される光束の主光線Ｒは、光電変換素子１０８のうち中央部より感度の低い周辺部に到達する。

図６（ｂ）は、図６（ａ）の視差画素のマイクロレンズ１０１の高さを変更した場合の状況を示す。図示のように、視差画素のマイクロレンズ１０１の高さをｈ_０からｈ_１に変更するとともに開口部１０４のシフト量をＳ_０からＳ_１に変更する調整が行われる。マイクロレンズ１０１の高さ調整および開口部１０４の配置調整により、開口部１０４に対応する撮影レンズ２０の瞳の部分領域から射出される光束の主光線Ｒを光電変換素子１０８の中央部側に寄せることができる。

図６（ｃ）は、図６（ａ）の視差画素のマイクロレンズ１０１の直径を変更した場合の状況を示す。図示のように、視差画素のマイクロレンズ１０１の直径をＤ_０からＤ_１に変更するとともに開口部１０４のシフト量をＳ_０からＳ_２に変更する調整が行われる。マイクロレンズ１０１の直径調整および開口部１０４の配置調整により、開口部１０４に対応する撮影レンズ２０の瞳の部分領域から射出される光束の主光線Ｒを光電変換素子１０８の中央部側に寄せることができる。

なお、マイクロレンズ１０１の形状の調整は、マイクロレンズ１０１の高さおよび直径の一方のみを対象にしても双方を対象にしても良い。また、マイクロレンズ１０１の形状として調整されるパラメータは、上述した高さ、直径に限らず、曲率等の他のパラメータであってもよい。

図７は、視差画素のマイクロレンズ１０１の形状の他の調整手法を説明する図である。図７（ａ）は、撮像素子１００の一部の画素を拡大した平面図である。図７（ｂ）は、画素の配列方向における撮像素子１００の一部の画素の断面図である。図７（ｃ）は、画素の対角線方向における撮像素子１００の一部の画素の断面図である。なお、図７（ｂ）、（ｃ）の断面図において、カラーフィルタ１０２より下の部材の図示は省略する。

図７に示すとおり、マイクロレンズ１０１とカラーフィルタ１０２の間に、平坦化層１２０が形成されている。平坦化層１２０は、マイクロレンズ１０１の形成を容易にするための層である。平坦化層１２０の材料として、メタクリル樹脂とアクリルモノマーとの混合物等が用いられる。

図７（ａ）、（ｂ）に示すとおり、画素の配列方向においては、マイクロレンズ１０１は、ほぼ隙間なく配列されている。一方、図７（ａ）、（ｃ）に示すとおり、画素の対角線方向等の配列方向以外の方向においては、マイクロレンズ１０１は、互いに離れている。マイクロレンズ１０１が互いに離れている領域の平坦化層１２０に光電変換素子１０８に対する集光作用を有するレンズ面をなす凹部１２１が形成される。

図７の例において、視差画素のマイクロレンズの高さｈ_１を調整する場合はもちろん、凹部１２１の深さｈ_２を調整することにより、光電変換素子１０８の受光箇所を規定することができる。このような画素の構造においては、平坦化層１２０の凹部１２１の形状もマイクロレンズ１０１の形状として取り扱うことができる。

次に、視差画素のマイクロレンズ１０１の配置の調整について説明する。図８は、視差画素のマイクロレンズ１０１の配置の調整手法を説明する図である。図８（ａ）は、図６（ａ）と同様に、視差画素のマイクロレンズ１０１の形状および配置を視差なし画素のマイクロレンズ１０１と同様にした場合の状況を示す。図８（ｂ）は、図８（ａ）の視差画素のマイクロレンズ１０１をシフトした場合の状況を示す。図示のように、視差画素のマイクロレンズ１０１を右方向にＬだけシフトするとともに開口部１０４のシフト量をＳ_０からＳ_３に変更する調整が行われる。マイクロレンズ１０１の配置調整および開口部１０４の配置調整により、開口部１０４に対応する撮影レンズ２０の瞳の部分領域から射出される光束の主光線Ｒを光電変換素子１０８の中央部側に寄せることができる。

上述の実施形態では、開口部１０４に対応する撮影レンズ２０の瞳の部分領域から射出される光束の主光線Ｒを光電変換素子１０８の中央部側に寄せるように視差画素のマイクロレンズ１０１の形状、配置を調整したが、これに限らない。各光電変換素子１０８の感度分布にバラつきがある場合、視差画素のマイクロレンズ１０１の形状、配置を感度分布に応じて互いに異ならせても良い。例えば、開口部１０４に対応する撮影レンズ２０の瞳の部分領域から射出される光束の主光線Ｒを感度中心へ寄せるように、各視差画素のマイクロレンズ１０１の形状、配置が調整される。なお、各光電変換素子１０８の感度分布のバラつきは、実験的または統計的に予め判明しており、感度分布のバラつきの情報は、制御部２０１のシステムメモリ等に予め記録される。

上述の実施形態において、視差画素のマイクロレンズ１０１の形状、配置を、開口部１０４のシフト方向すなわち視差方向に応じて互いに異ならせても良い。例えば、図８に示すように、視差画素のマイクロレンズ１０１が、開口部１０４のシフト方向である紙面左方向と反対方向である紙面右方向にシフトされて配置される。また、上述の実施形態において、視差画素のマイクロレンズ１０１の形状、配置を、撮像素子１００の有効画素領域における視差画素の位置に応じて互いに異ならせても良い。例えば、有効画素領域の周辺部の視差画素の高さが、有効画素領域の中央部の視差画素の高さよりも大きくなるように調整される。これにより、有効画素領域の周辺部の視差画素の集光力を高められる。なお、視差画素のマイクロレンズ１０１の形状、配置の調整は、有効画素領域において予め区分された領域ごとに行われても良い。

上述の実施形態において、視差画素のマイクロレンズ１０１の形状、配置を、開口マスク１０３の配列パターンである繰り返しパターン１１０に応じて互いに異ならせても良い。図９は、繰り返しパターン１１０に基づく視差画素のマイクロレンズ１０１の形状の調整手法を説明する図である。図９の例において、繰り返しパターン１１０は、縦方向に３画素、横方向に５画素が配列された、１５画素で構成される。繰り返しパターン１１０の中央の横方向３画素には、中心から左へシフトした開口部１０４ｌを有する視差Ｌｔ画素、開口部１０４ｎを有する視差なし画素、中心から右へシフトした開口部１０４ｒを有する視差Ｒｔ画素が、左から順に配置されている。そして、当該３画素の周囲を視差なし画素が配置されている。

視差なし画素の開口部１０４ｎは、視差画素の開口部１０４ｌ、１０４ｒより大きい。そのため、視差なし画素のマイクロレンズ１０１ｎが視差画素のマイクロレンズ１０１ｌ、１０１ｒより小さくても、視差なし画素の光電変換素子１０８は十分な光量を得られる。そこで、図９の例において、視差なし画素のマイクロレンズ１０１ｎの直径は、画素の幅よりも小さく調整される一方、視差画素のマイクロレンズ１０１ｌ、１０１ｒの直径は、画素の幅より大きく調整される。

視差Ｌｔ画素のマイクロレンズ１０１ｌおよび視差Ｒｔ画素のマイクロレンズ１０１ｒの直径は、撮像素子１００の有効画素領域における繰り返しパターン１１０の位置等に応じて互いに異なる。なお、撮像素子１００の有効画素領域の中央付近では、視差Ｌｔ画素のマイクロレンズ１０１ｌおよび視差Ｒｔ画素のマイクロレンズ１０１ｒの直径が同じであってもよい。また、直径の調整とあわせて若しくは代りに、視差Ｌｔ画素のマイクロレンズ１０１ｌおよび視差Ｒｔ画素のマイクロレンズ１０１ｒの配置を互いに異ならせても良い。

上述の実施形態では、視差画素の集光力を考慮して視差画素のマイクロレンズ１０１の形状、配置が調整されたが、これに限らない。視差数を増加させるようにマイクロレンズ１０１の形状、配置が調整されてもよい。例えば、繰り返しパターン１１０において隣接する２つの視差画素の開口部１０４の形状、配置を同一にする。そして、これら２つの視差画素は、撮影レンズ２０の瞳の異なる部分領域から射出される光束を受光するように、これら２つの視差画素のマイクロレンズ１０１の配置を異ならせる。

次に、カラーフィルタ１０２と視差画像について説明する。図１０は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Ｇフィルタが左上（Ｇｂ）と右下（Ｇｒ）の２画素に、Ｒフィルタが左下の１画素に、Ｂフィルタが右上の１画素に割り当てられる配列である。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１１０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。ＲＧＢのいずれの画素に対しても視差画素を割り振れば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。

理想的には、２Ｄ画像であっても３Ｄ画像であっても、高解像度、高品質のカラー画像データが出力されることが望ましい。ところで、３Ｄ画像において観察者が視差を感じる画像領域は、図４を用いて説明した視差の発生原理からも理解されるように、同一の被写体像が互いにずれる非合焦領域である。したがって、観察者が視差を感じる画像領域は、ピントの合っている主要被写体に対して高周波成分が少ないと言える。すると、３Ｄ画像を生成するに当たっては、視差が生じている領域において、それほど高解像でない画像データが存在すれば足りることになる。

ピントの合っている画像領域については２Ｄ画像データから切り出し、ピントの合っていない画像領域については３Ｄ画像データを切り出して、それぞれの視差画像データを合成により生成することができる。あるいは、高解像データである２Ｄ画像データを基礎とし、３Ｄ画像データの各画素における相対的な比を掛け合わせて、高解像なそれぞれの視差画像データを生成することができる。このような画像処理を採用することを前提とすれば、撮像素子１００においては、視差画素の数は、視差なし画素の数よりも少なくて良い。換言すれば、視差画素が相対的に少なくても、比較的解像度の高い３Ｄ画像を生成することができると言える。

この場合、３Ｄ画像をカラー画像として生成するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、本実施形態においては、図１０を用いて説明したベイヤー配列のように、更なる高画質化のためにＲＧＢの３種類のカラーフィルタを採用する。特に、視差画素の数が相対的に少ない本実施形態においては、視差画素は、それぞれの種類の開口部１０４に対して、ＲＧＢの３種類のカラーフィルタのいずれかが設けられたすべての組み合わせを含む。例えば、開口部１０４が中心よりも左側にシフトした視差Ｌｔ画素と、同じく右側にシフトした視差Ｒｔ画素を想定すると、視差Ｌｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含み、視差Ｒｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含む。すなわち撮像素子１００は、６種類の視差画素を有する。このような撮像素子１００から出力される画像データは、いわゆる立体視を実現する鮮やかなカラー視差画像データの基礎となる。なお、２種類の開口部に対して２種類のカラーフィルタを組み合わせる場合には、撮像素子１００は、４種類の視差画素を有する。

以下に画素配列のバリエーションについて説明する。図１１は、第１実施例における繰り返しパターン１１０の配列を説明する図である。第１実施例における繰り返しパターン１１０は、４画素から成るベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。なお、繰り返しパターン１１０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。

第１実施例における視差画素は、開口部１０４が中心よりも左側にシフトした視差Ｌｔ画素と、同じく右側にシフトした視差Ｒｔ画素の２種類の開口マスク１０３のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））

他の画素は視差なし画素であり、視差なし画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差なし画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差なし画素よりも多いことが好ましい。第１実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。また、上記の通り、人間の視感特性を考慮して、Ｇフィルタを有する視差画素および視差なし画素は、他のカラーフィルタを有するそれぞれよりも多く配列されている。

図１２は、第２実施例における繰り返しパターン１１０の配列を説明する図である。第２実施例における繰り返しパターン１１０は、第１実施例と同様に、４画素から成るベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１１０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１１０を基本格子とする。

第２実施例における視差画素は、開口部１０４が中心よりも左側にシフトした視差Ｌｔ画素と、同じく右側にシフトした視差Ｒｔ画素の２種類の開口マスク１０３のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_６３…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））

他の画素は視差なし画素であり、視差なし画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差なし画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差なし画素よりも多いことが好ましい。第２実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１２個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝４個、Ｂ（Ｎ）＝１２個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝４個である。

なお、第１実施例および第２実施例の視差Ｌｔ画素Ｇ（Ｌｔ）、Ｂ（Ｌｔ）、Ｒ（Ｌｔ）および視差Ｒｔ画素Ｇ（Ｒｔ）、Ｂ（Ｒｔ）、Ｒ（Ｒｔ）のマイクロレンズ１０１の形状、配置は、上述のとおり画素ごとに調整される。視差画素のマイクロレンズ１０１の調整において、カラーフィルタの透過波長帯域が加味されても良い。

次に、２Ｄ画像データと複数の視差画像データを生成する画像処理の概念について説明する。繰り返しパターン１１０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図５を用いて説明したように、視差画素の出力をその開口部の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。以下に各プレーンデータの生成処理について、図１１を用いて説明した第１実施例の撮像素子１００からの出力を例に説明する。

図１３は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を説明する図である。上段の図は、撮像素子１００における一つの繰り返しパターン１１０およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図１１の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、同種のカラーフィルタを有する周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_４３、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_７４、Ｐ_５６、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って画像処理を行う。

図１４は、視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、繰り返しパターン１１０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

図１５は、視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_３２の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_７６の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータを生成することができる。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

図１６は、視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータである。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_２７の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１１０には、Ｐ_６３の画素値が残る。この画素値を繰り返しパターン１１０の６４画素分の代表値とする。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータを生成することができる。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度と同等である。

図１７は、各プレーンの解像度の関係を示す概念図である。２Ｄ−ＲＧＢプレーンデータは、補間処理が施されることにより、実質的に撮像素子１００の有効画素と同じ画素数分の出力値を有する。ＧＬｔプレーンデータおよびＧＲｔプレーンデータは、補間処理が施されることにより、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／１６（＝１／４×１／４）の画素数分の出力値を有する。ＢＬｔプレーンデータ、ＢＲｔプレーンデータ、ＲＬｔプレーンデータおよびＲＲｔプレーンデータは、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／６４（＝１／８×１／８）の画素数分の出力値を有する。

このような各プレーンデータ間における解像度のバランスによれば、まず、解像度の高い２Ｄ画像を出力させることができる。そして、上述のように、合焦領域については２Ｄ−ＲＧＢプレーンデータの情報を利用しつつ、非合焦領域についてはＧＬｔプレーンデータ等の視差画像データを用いて合成処理等を施せば、３Ｄ画像についても解像感のある画像として出力させることができる。なお、合焦領域の判定については、ＡＦセンサ２１１の出力を利用するほか、視差画像データの出力値を比較することによっても行うことができる。例えば、制御部２０１は、ＧＬｔプレーンデータとＧＲｔプレーンデータの対応する画素の画素値が互いに同じであれば合焦状態であると判断し、そのような画素を包含する領域を合焦領域と判定する。

上述したように、視差Ｌｔ画素および視差Ｒｔ画素のマイクロレンズ１０１の形状、配置は、画素ごとに調整される。したがって、ＧＬｔプレーンデータ、ＧＲｔプレーンデータ、ＢＬｔプレーンデータ、ＢＲｔプレーンデータ、ＲＬｔプレーンデータおよびＲＲｔプレーンデータの各々と、２Ｄ−ＲＧＢプレーンデータとの光量の差を低減することができる。

なお、図１１を用いて説明した第１実施例においては、Ｇ（Ｎ）：Ｒ（Ｎ）：Ｂ（Ｎ）＝２：１：１であり、Ｇ（Ｌｔ）：Ｒ（Ｌｔ）：Ｂ（Ｌｔ）＝１：１：１であり、Ｇ（Ｒｔ）：Ｒ（Ｒｔ）：Ｂ（Ｒｔ）＝１：１：１である。また、図１２を用いて説明した第２実施例においては、Ｇ（Ｎ）：Ｒ（Ｎ）：Ｂ（Ｎ）＝７：３：３であり、Ｇ（Ｌｔ）：Ｒ（Ｌｔ）：Ｂ（Ｌｔ）＝１：１：１であり、Ｇ（Ｒｔ）：Ｒ（Ｒｔ）：Ｂ（Ｒｔ）＝１：１：１である。このようなカラーフィルタに対する視差なし画素の配分比率、視差Ｌｔ画素の配分比率、および視差Ｒｔ画素の配分比率は任意に設定できる。第１実施例および第２実施例における配分比率以外にも、特に、視差なし画素の配分比率、視差Ｌｔ画素の配分比率、および視差Ｒｔ画素の配分比率を同一に設定することも有効である。例えば、それぞれの配分比率をすべて１：１：１に設定しても良いし、Ｇを多くして２：１：１に設定しても良い。このように配分比率を調整することにより、視差なし画像データと視差画像データ間の対応が容易になる。

なお、第１実施例および第２実施例のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力させたい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、仕様、目的等に応じた、さまざまな繰り返しパターン１１０を形成することができる。この場合、２Ｄ画像の出力と３Ｄ画像の出力に対して共に解像感を持たせるためには、撮像素子１００の基本格子の中に開口部とカラーフィルタのすべての組み合わせによる視差画素を含みつつ、視差画素よりも視差なし画素を多くすることが肝要である。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。また、上述の例では、カラーフィルタを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる３原色を採用することもできる。

また、上述の例において、視差なし画素の開口部１０４の面積が視差Ｌｔ画素の開口部１０４の面積と視差Ｒｔ画素の開口部１０４の面積の和になるように、開口部１０４を形成しても良い。図１８は、開口部１０４の形状を説明する図である。視差なし画素の開口部１０４ｎは、光電変換素子１０８と同じ大きさで形成される。視差Ｌｔ画素の開口部１０４ｌは、光電変換素子１０８の左側半分と同じ大きさで形成される。視差Ｒｔ画素の開口部１０４ｒは、光電変換素子１０８の右側半分と同じ大きさで形成される。

したがって、視差Ｌｔ画素の開口部１０４ｌの形状と、視差Ｒｔ画素の開口部１０４ｒの形状とが、視差なし画素の開口部１０４ｎの形状を中心線１３０で分割したそれぞれの形状と同一である。このように各画素の開口部１０４を形成することにより、視差なし画素の開口部１０４ｎの面積は、視差Ｌｔ画素の開口部１０４ｌの面積と視差Ｒｔ画素の開口部１０４ｒの面積の和になる。

ここで、視差なし画素の開口部１０４ｎ、視差Ｌｔ画素の開口部１０４ｌ、視差Ｒｔ画素の開口部１０４ｒのそれぞれは、開口絞りの機能を有する。したがって、開口部１０４ｌ（開口部１０４ｒ）の倍の面積を持つ開口部１０４ｎを有する視差なし画素のボケ量は、視差Ｌｔ画素と視差Ｒｔ画素のボケ量を足し合わせたボケ量と同程度となる。視差画素と視差なし画素との間のボケ量の関係がこのように規定されることにより、視差画素の画素値を用いた視差なし画素の補間処理および視差なし画素の画素値を用いた視差画素の画素値の補間処理が容易となる。

上述の実施形態では、図２で示す構造を有する開口マスク１０３が用いられたが、開口マスク１０３の構造はこれに限らない。図１９は、変形例に係る撮像素子３００の断面を表す概略図である。撮像素子３００には、上述した開口マスク１０３と同様の役割を担う反射率調整膜３１０が設けられている。なお、撮像素子３００の部材のうち撮像素子１００と同一の部材については、同一の番号を付して機能の説明を省略する。

光電変換素子１０８の受光面を含む基板１０９の表面上には、反射率調整膜３１０が形成されている。反射率調整膜３１０は、各光電変換素子１０８の受光面上の少なくとも一部に形成される第１部分３１１と、第１部分３１１以外の箇所に形成される第２部分３１２とで構成される。

第１部分３１１は、上述の開口部１０４と同様の役割を担う。第１部分３１１は、各光電変換素子１０８に一対一に対応して設けられ、入射光を反射せずに通過するように反射率が調整されている。そして、第１部分３１１は、対応する光電変換素子１０８ごとにシフトされて、相対的な位置が厳密に定められている。第２部分３１２は、入射光をほぼ全て反射するように反射率が調整されている。このように、反射率調整膜３１０において、第１部分３１１の反射率は、第２部分３１２の反射率より小さく調整されている。

第１部分３１１と第２部分３１２とで構成された反射率調整膜３１０の作用により、光電変換素子１０８が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１０８上には、入射光束の全体を通過させるように、第１部分３１１のみが形成され、第２部分３１２が存在しない。変形例において、各々の光電変換素子１０８に対応して一対一に設けられる反射率調整膜３１０、カラーフィルタ１０２およびマイクロレンズ１０１の一単位が上述の画素に相当する。

図２０は、変形例に係る反射率調整膜３１０の構成を説明する説明図である。図２０（ａ）は、１画素分の反射率調整膜３１０の平面図である。第１部分３１１は、入射光束のうちの特定の光束を通過させて、当該特定の光束を、対応する光電変換素子１０８の受光面における予め定められた特定領域へ導く。一方、第２部分３１２は、特定領域以外の光電変換素子１０８の受光面の領域へ光束が入射するのを防ぐ。この構成により、光電変換素子１０８が受光する被写体光束に視差が生じる。

図２０（ｂ）は、反射率調整膜３１０の第１部分３１１周辺の断面図である。図示のとおり、反射率調整膜３１０は、ＳｉＯ_２膜とＳｉＮ膜が順次積層された多層膜である。第１部分３１１における各膜の膜厚と、第２部分３１２における各膜の膜厚とを異ならせることにより、第１部分３１１の反射率および第２部分３１２の反射率が調整される。例えば、第１部分３１１の反射率が１０％未満、すなわち透過率が９０％以上になるように、第１部分３１１における各膜の膜厚が規定される。また、例えば、第２部分３１２の反射率が９９％以上、すなわち透過率が１％未満となるように、第２部分３１２における各膜の膜厚が規定される。

このように、反射率調整膜３１０の第１部分３１１および第２部分３１２を光電変換素子１０８の受光面上に形成することによって、光電変換素子１０８が視差を生じさせるための光束以外の不要な光束を受光するのを効率良く防ぐことができる。また、第１部分３１１の反射率を極力低減させることにより、光電変換素子１０８で受光される特定の光束の光量を反射率調整膜３１０が形成されていない場合よりも大きくすることができる。なお、第１部分３１１が存在しなくても光電変換素子１０８が十分な光量を受光できる場合には、第１部分３１１を光電変換素子１０８の受光面上に形成しなくても良い。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 開口マスク、１０４ 開口部、１０５ 配線層、１０６ 配線、１０７ 開口、１０８ 光電変換素子、１０９ 基板、１１０ 繰り返しパターン、１２０ 平坦化層、１２１ 凹部、１３０ 中心線、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、３００ 撮像素子、３１０ 反射率調整膜、３１１ 第１部分、３１２ 第２部分

Claims (8)

1. 入射光を電気信号に光電変換する、二次元的に配列された光電変換素子と、
   前記光電変換素子のうちの第１光電変換素子および第２光電変換素子にそれぞれ対応して設けられた第１開口マスクおよび第２開口マスクと、
   前記第１開口マスクおよび前記第２開口マスクにそれぞれ対応して設けられた第１マイクロレンズおよび第２マイクロレンズと
   を備え、
   前記第１マイクロレンズおよび前記第２マイクロレンズの形状および配置の少なくともいずれかは、互いに異なり、
   前記第１マイクロレンズおよび前記第１開口マスクの開口は、前記入射光の断面領域内の第１部分領域からの光束を前記第１光電変換素子へ導くように位置づけられ、
   前記第２マイクロレンズおよび前記第２開口マスクの開口は、前記第１部分領域、または前記第１部分領域と異なる前記断面領域内の第２部分領域からの光束を前記第２光電変換素子へ導くように位置づけられる撮像素子。
2. 前記第１マイクロレンズおよび前記第２マイクロレンズの形状および配置の少なくともいずれかは、前記第１光電変換素子および前記第２光電変換素子の感度分布に応じて互いに異なる請求項１に記載の撮像素子。
3. 前記第１マイクロレンズおよび前記第２マイクロレンズの形状および配置の少なくともいずれかは、前記第１開口マスクおよび前記第２開口マスクの開口部のシフト方向に応じて互いに異なる請求項１または２に記載の撮像素子。
4. 前記第１マイクロレンズおよび前記第２マイクロレンズの形状および配置の少なくともいずれかは、有効画素領域における前記第１光電変換素子および前記第２光電変換素子の位置に応じて互いに異なる請求項１から３のいずれか１項に記載の撮像素子。
5. 隣接するｎ個（ｎは２以上の整数）の前記光電変換素子を一組とする光電変換素子群は、前記第１光電変換素子および前記第２光電変換素子を含む請求項１から４のいずれか１項に記載の撮像素子。
6. 前記第１マイクロレンズおよび前記第２マイクロレンズの形状および配置の少なくともいずれかは、前記光電変換素子群の配列パターンに応じて互いに異なる請求項５に記載の撮像素子。
7. 前記光電変換素子群は、周期的かつ連続的に配列された請求項５または６に記載の撮像素子。
8. 請求項１から７のいずれか１項に記載の撮像素子と、
   前記撮像素子の出力から、互いに視差を有する複数の視差画像データと視差のない２Ｄ画像データとを生成する画像処理部と
   を備える撮像装置。

Images