JP2013219180A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】従来の撮像装置において、配線パターンが形成された導電層が光電変換素子より被写体側に設けられると、入射した光束が、光電変換素子が設けられた基板の表面と導電層との間で反射を繰り返し、視差を生じさせる部分光束以外の光束が光電変換素子に到達する場合があった。
【解決手段】撮像素子は、入射光束の第１部分光束を通過させるように位置づけられた第１開口を有する第１開口マスクと、第１光電変換素子と、第１部分光束と異なる入射光束の第２部分光束を通過させるように位置づけられた第２開口を有する第２開口マスクと、第２光電変換素子と、第１光電変換素子および第２光電変換素子の側の面に反射防止膜が形成された導電層とを備え、第１開口マスクおよび第１光電変換素子を含んで構成される第１視差画素と、第２開口マスクおよび第２光電変換素子を含んで構成される第２視差画素とを含む画素群を基本格子とする。
【選択図】図２

Description

本発明は、撮像素子および撮像装置に関する。

単一の撮影光学系を用いて、視差を有する２つの視差画像を一度の撮影で生成する撮像装置が知られている。
［先行技術文献］
［特許文献］
［特許文献１］特開２００３−７９９４号公報

上述の撮像装置において、配線パターンが形成された導電層が光電変換素子より被写体側に設けられると、入射した光束が光電変換素子を含む基板と導電層との間で反射を繰り返し、視差を生じさせる部分光束以外の光束が光電変換素子に到達する場合があった。

本発明の第１の実施形態における撮像素子は、入射光束の第１部分光束を通過させるように位置づけられた第１開口を有する第１開口マスクと、第１部分光束を電気信号に光電変換する第１光電変換素子と、第１部分光束と異なる入射光束の第２部分光束を通過させるように位置づけられた第２開口を有する第２開口マスクと、第２部分光束を電気信号に光電変換する第２光電変換素子と、第１光電変換素子および第２光電変換素子より入射光側の入射側に設けられ、第１光電変換素子および第２光電変換素子の側の面に反射防止膜が形成された導電層とを備え、第１開口マスクおよび第１光電変換素子を含んで構成される第１視差画素と、第２開口マスクおよび第２光電変換素子を含んで構成される第２視差画素とを含む画素群を基本格子とする。

本発明の第２の実施形態における撮像装置は、上述の撮像素子と、撮像素子の出力から、互いに視差を有する複数の視差画像データを少なくとも生成する画像処理部とを備える。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

本実施形態に係るデジタルカメラの構成を説明する図である。 本実施形態に係る撮像素子の断面を表す概略図である。 本実施形態に係る反射率調整膜の構成を説明する図である。 撮像素子の一部を拡大した様子を表す概略図である。 視差画素と被写体の関係を説明する概念図である。 視差画像を生成する処理を説明する概念図である。 ベイヤー配列を説明する図である。 第１実施例における繰り返しパターン１２０の配列を説明する図である。 第２実施例における繰り返しパターン１２０の配列を説明する図である。 ２Ｄ画像データとしてのＲＧＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。 視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。 各プレーンの解像度の関係を示す概念図である。 第１部分１０８の形状を説明する図である。 第１変形例に係る撮像素子の断面を表す概略図である。 第２変形例に係る撮像素子の断面を表す概略図である。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

画像処理装置および撮像装置の一形態である本実施形態に係るデジタルカメラは、１つのシーンについて複数の視点数の画像を一度の撮影により生成できるように構成されている。互いに視点の異なるそれぞれの画像を視差画像と呼ぶ。

図１は、本実施形態に係るデジタルカメラ１０の構成を説明する図である。デジタルカメラ１０は、撮影光学系としての撮影レンズ２０を備え、光軸２１に沿って入射する被写体光束を撮像素子１００へ導く。撮影レンズ２０は、デジタルカメラ１０に対して着脱できる交換式レンズであっても構わない。デジタルカメラ１０は、撮像素子１００、制御部２０１、Ａ／Ｄ変換回路２０２、メモリ２０３、駆動部２０４、画像処理部２０５、メモリカードＩＦ２０７、操作部２０８、表示部２０９、ＬＣＤ駆動回路２１０およびＡＦセンサ２１１を備える。

なお、図示するように、撮像素子１００へ向かう光軸２１に平行な方向をｚ軸プラス方向と定め、ｚ軸と直交する平面において紙面手前へ向かう方向をｘ軸プラス方向、紙面上方向をｙ軸プラス方向と定める。以降のいくつかの図においては、図１の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。

撮影レンズ２０は、複数の光学レンズ群から構成され、シーンからの被写体光束をその焦点面近傍に結像させる。なお、図１では撮影レンズ２０を説明の都合上、瞳近傍に配置された仮想的な１枚のレンズで代表して表している。撮像素子１００は、撮影レンズ２０の焦点面近傍に配置されている。撮像素子１００は、二次元的に複数の光電変換素子が配列された、例えばＣＣＤ、ＣＭＯＳセンサ等のイメージセンサである。撮像素子１００は、駆動部２０４によりタイミング制御されて、受光面上に結像された被写体像を画像信号に変換してＡ／Ｄ変換回路２０２へ出力する。

Ａ／Ｄ変換回路２０２は、撮像素子１００が出力する画像信号をデジタル画像信号に変換してメモリ２０３へ出力する。画像処理部２０５は、メモリ２０３をワークスペースとして種々の画像処理を施し、画像データを生成する。

画像処理部２０５は、他にも選択された画像フォーマットに従って画像データを調整するなどの画像処理一般の機能も担う。生成された画像データは、ＬＣＤ駆動回路２１０により表示信号に変換され、表示部２０９に表示される。また、メモリカードＩＦ２０７に装着されているメモリカード２２０に記録される。

ＡＦセンサ２１１は、被写体空間に対して複数の測距点が設定された位相差センサであり、それぞれの測距点において被写体像のデフォーカス量を検出する。一連の撮影シーケンスは、操作部２０８がユーザの操作を受け付けて、制御部２０１へ操作信号を出力することにより開始される。撮影シーケンスに付随するＡＦ，ＡＥ等の各種動作は、制御部２０１に制御されて実行される。例えば、制御部２０１は、ＡＦセンサ２１１の検出信号を解析して、撮影レンズ２０の一部を構成するフォーカスレンズを移動させる合焦制御を実行する。

次に、撮像素子１００の構成について詳細に説明する。図２は、本実施形態に係る撮像素子１００の断面を表す概略図である。

撮像素子１００は、入射光束の入射側すなわち被写体側から順に、マイクロレンズ１０１、カラーフィルタ１０２、配線層１０３、反射率調整膜１０７および光電変換素子１１０が配列されて構成されている。光電変換素子１１０は、入射する光を電気信号に変換するフォトダイオードにより構成される。光電変換素子１１０は、基板１１１の表面に二次元的に複数配列されている。

配線層１０３には、被写体側から順に、第１導電層１０４および第２導電層１０５が設けられている。第１導電層１０４および第２導電層１０５は、銅等の金属層で構成され、光電変換素子１１０により変換された画像信号、光電変換素子１１０を制御する制御信号等を送受信するための配線パターンに従って形成されている。第２導電層１０５の光電変換素子１１０側の面には、反射を低減するための反射防止膜１０６が形成されている。反射防止膜１０６は、可視光の波長帯全域の反射率を予め定められた閾値、例えば１０％未満に抑えるように調整されている。

反射防止膜１０６は、後述する反射率調整膜１０７と同様に、ＳｉＯ_２膜とＳｉＮ膜が順次積層された多層膜により形成されても良い。また、反射防止膜１０６として、可視光の波長帯全域の反射を効率良く低減する黒色膜が用いられても良い。本実施形態において、金属層である第２導電層１０５との密着性が高く、かつ黒色膜であるＴｉＮ膜が、反射防止膜１０６として用いられる。

光電変換素子１１０の受光面を含む基板１１１の表面上には、反射率調整膜１０７が形成されている。反射率調整膜１０７は、各光電変換素子１１０の受光面上の少なくとも一部に形成される第１部分１０８と、第１部分１０８以外の箇所に形成される第２部分１０９とで構成される。

第１部分１０８は、各光電変換素子１１０に一対一に対応して設けられ、入射光を反射せずに通過するように反射率が調整されている。そして、第１部分１０８は、後述するように、対応する光電変換素子１１０ごとにシフトされて、相対的な位置が厳密に定められている。第２部分１０９は、入射光をほぼ全て反射するように反射率が調整されている。このように、反射率調整膜１０７において、第１部分１０８の反射率は、第２部分１０９の反射率より小さく調整されている。

詳しくは後述するが、第１部分１０８と第２部分１０９とで構成された反射率調整膜１０７の作用により、光電変換素子１１０が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１１０上には、入射光束の全体を通過させるように、第１部分１０８が形成され、第２部分１０９が存在しない。本実施形態において、反射率調整膜１０７が、光電変換素子１１０への入射光を規制する開口マスクの役割を担い、第１部分１０８が、開口マスクにおいて入射光を通過させる開口部の役割を担う。

カラーフィルタ１０２は、配線層１０３上に設けられている。カラーフィルタ１０２は、各光電変換素子１１０に対して特定の波長帯域を透過させるように着色された、光電変換素子１１０のそれぞれに一対一に対応して設けられるフィルタである。カラー画像を出力するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、より高画質のカラー画像を取得するには３種類以上のカラーフィルタを配列すると良い。例えば赤色波長帯を透過させる赤フィルタ（Ｒフィルタ）、緑色波長帯を透過させる緑フィルタ（Ｇフィルタ）、および青色波長帯を透過させる青フィルタ（Ｂフィルタ）を格子状に配列すると良い。具体的な配列については後述する。

マイクロレンズ１０１は、カラーフィルタ１０２上に設けられている。マイクロレンズ１０１は、入射する被写体光束のより多くを光電変換素子１１０へ導くための集光レンズである。マイクロレンズ１０１は、光電変換素子１１０のそれぞれに一対一に対応して設けられている。マイクロレンズ１０１は、撮影レンズ２０の瞳中心と光電変換素子１１０の相対的な位置関係を考慮して、より多くの被写体光束が光電変換素子１１０に導かれるようにその光軸がシフトされていることが好ましい。さらには、反射率調整膜１０７の第１部分１０８の位置と共に、後述の特定の被写体光束がより多く入射するように配置位置が調整されても良い。なお、集光効率、光電変換効率が良いイメージセンサの場合は、マイクロレンズ１０１を設けなくても良い。

各々の光電変換素子１１０に対応して一対一に設けられる反射率調整膜１０７、カラーフィルタ１０２およびマイクロレンズ１０１の一単位を画素と呼ぶ。このように、画素は、光電変換素子１１０、反射率調整膜１０７、カラーフィルタ１０２、マイクロレンズ１０１を含んで構成される。本実施形態において、視差を生じさせる第１部分１０８が設けられた反射率調整膜１０７を含んで構成される画素を視差画素、視差を生じさせない第１部分１０８が設けられた反射率調整膜１０７を含んで構成される画素を視差なし画素と呼ぶ。例えば、撮像素子１００の有効画素領域が２４ｍｍ×１６ｍｍ程度の場合、画素数は１２００万程度に及ぶ。

視差画素における第２部分１０９の領域は視差なし画素に比べ広い。そのため、後述するように複数種類の視差画素を含む画素群を基本格子とする撮像素子１００においては、視差画素を含まない画素群を基本格子とする撮像素子に比べ、光電変換素子１１０の受光面を含む基板１１１の表面での反射光の光量が大きくなる。本実施形態では、第２導電層１０５における光電変換素子１１０側の面に反射防止膜１０６が形成されている。そして、反射率調整膜１０７の第２部分１０９で反射した光の反射防止膜１０６での反射が低減される。したがって、複数種類の視差画素を含む画素群を基本格子とする撮像素子１００において、迷光の発生を大幅に抑えることができる。

また、視差画素における受光領域すなわち第１部分１０８の領域は、視差なし画素に比べ狭い。そのため、同じ光量の迷光が受光領域に到達した場合、視差画素は、視差なし画素に比べ迷光の影響を受け易い。特に、視差画素の光電変換素子に対して、他の画素に入射した光束が基板１１１の表面と第２導電層１０５との間で反射を繰り返して到達すると、当該視差画素の出力にノイズが生じてしまう。そこで、本実施形態では、上述したように、反射率調整膜１０７の第２部分１０９で反射した光の反射防止膜１０６での反射を低減して迷光の発生を大幅に抑える。したがって、複数種類の視差画素を含む画素群を基本格子とする撮像素子１００における各視差画素は、視差を生じさせる部分光束を精度良く受光することができる。

なお、反射防止膜１０６は、第２導電層１０５における光電変換素子１１０側の面だけでなく、第１導電層１０４における光電変換素子１１０側の面に形成されても良い。また、導電層が３層以上存在する場合には、光電変換素子１１０に一番近い導電層を含む１層以上の導電層に反射防止膜１０６が形成されても良い。

図３は、本実施形態に係る反射率調整膜１０７の構成を説明する説明図である。図３（ａ）は、１画素分の反射率調整膜１０７の平面図である。第１部分１０８は、入射光束のうちの特定の光束を通過させて、当該特定の光束を、対応する光電変換素子１１０の受光面における予め定められた特定領域へ導く。一方、第２部分１０９は、特定領域以外の光電変換素子１１０の受光面の領域へ光束が入射するのを防ぐ。この構成により、光電変換素子１１０が受光する被写体光束に視差が生じる。

図３（ｂ）は、反射率調整膜１０７の第１部分１０８周辺の断面図である。図示のとおり、反射率調整膜１０７は、ＳｉＯ_２膜とＳｉＮ膜が順次積層された多層膜である。第１部分１０８における各膜の膜厚と、第２部分１０９における各膜の膜厚とを異ならせることにより、第１部分１０８の反射率および第２部分１０９の反射率が調整される。例えば、第１部分１０８の反射率が１０％未満、すなわち透過率が９０％以上になるように、第１部分１０８における各膜の膜厚が規定される。また、例えば、第２部分１０９の反射率が９９％以上、すなわち透過率が１％未満となるように、第２部分１０９における各膜の膜厚が規定される。

反射率調整膜１０７の形成方法について説明する。まず、光電変換素子１１０の受光面が露出された基板１１１の表面上にＳｉＯ_２膜を形成する。そして、第１部分１０８におけるＳｉＯ_２膜の膜厚が予め規定された膜厚となり、かつ第２部分１０９におけるＳｉＯ_２膜の膜厚が予め規定された膜厚となるように、フォトリソグラフィ工程およびエッチング工程を行う。例えば、第１部分１０８におけるＳｉＯ_２膜の膜厚が第２部分１０９におけるＳｉＯ_２膜の膜厚より小さく規定されている場合、第２部分１０９の膜厚でＳｉＯ_２膜を基板１１１の表面上に形成し、フォトリソグラフィ工程およびエッチング工程により第１部分１０８の箇所を部分的に除去する。

次に、形成したＳｉＯ_２膜上にＳｉＮ膜を形成する。そして、第１部分１０８におけるＳｉＮ膜の膜厚が予め規定された膜厚となり、かつ第２部分１０９におけるＳｉＮ膜の膜厚が予め規定された膜厚となるように、フォトリソグラフィ工程およびエッチング工程を行う。このようなＳｉＯ_２膜の形成およびＳｉＮ膜の形成を順次繰り返すことにより、ＳｉＯ_２膜とＳｉＮ膜が順次積層された反射率調整膜１０７が形成される。

このように、反射率調整膜１０７の第１部分１０８および第２部分１０９を光電変換素子１１０の受光面上に形成することによって、光電変換素子１１０が視差を生じさせるための光束以外の不要な光束を受光するのを効率良く防ぐことができる。また、第１部分１０８の反射率を極力低減させることにより、光電変換素子１１０で受光される特定の光束の光量を反射率調整膜１０７が形成されていない場合よりも大きくすることができる。

上述の実施形態では、第１部分１０８全体の厚さが第２部分１０９全体の厚さより小さいが、これに限らない。第１部分１０８の反射率および第２部分１０９の反射率が規定値を満たせば、第１部分１０８全体の厚さが第２部分１０９全体の厚さと同じであっても大きくても良い。

上述の実施形態では、反射率調整膜１０７を構成する膜としてＳｉＯ_２膜およびＳｉＮ膜が用いられたが、これに限らず、他の素材の膜を用いてもよい。また、第１部分１０８を構成する膜の素材と第２部分１０９を構成する膜の素材とを異ならせても良い。

上述の実施形態では、反射率調整膜１０７は、屈折率の異なる２つの部分で構成されたが、これに限らず、互いに屈折率の異なる３つ以上の部分で構成されても良い。また、反射率調整膜１０７は、第１部分１０８と第２部分１０９とを接続し、かつ屈折率が第１部分１０８の屈折率から第２部分１０９の屈折率まで連続的に変化する接続部分を含んでも良い。

上述の実施形態において、反射率調整膜１０７の構造をカラーフィルタ１０２の種類によらず一定にしても良い。また、反射率調整膜１０７の特性をカラーフィルタ１０２の種類ごとに異ならせても良い。具体的には、カラーフィルタ１０２の種類ごとに予め規定された反射率を有するように、第１部分１０８および第２部分１０９を構成する各膜の膜厚がカラーフィルタの種類ごとに調整される。例えば、Ｇフィルタに対応する反射率調整膜１０７の第１部分１０８において、緑色波長帯の光の透過性が良好となるように各膜の膜厚が調整される。また、Ｇフィルタに対応する反射率調整膜１０７の第２部分１０９において、緑色波長帯の光の反射性が良好となるように各膜の膜厚に調整される。

次に、反射率調整膜１０７の第１部分１０８と、生じる視差の関係について説明する。図４は、撮像素子１００の一部を拡大した様子を表す概略図である。ここでは、説明を簡単にすべく、カラーフィルタ１０２の配色については後に言及を再開するまで考慮しない。カラーフィルタ１０２の配色に言及しない以下の説明においては、同色のカラーフィルタ１０２を有する視差画素のみを寄せ集めたイメージセンサであると捉えることができる。したがって、以下に説明する繰り返しパターンは、同色のカラーフィルタ１０２における隣接画素として考えても良い。

図３に示すように、反射率調整膜１０７の第１部分１０８は、それぞれの画素に対して相対的にシフトして設けられている。そして、隣接する画素同士においても、それぞれの第１部分１０８は互いに変位した位置に設けられている。

図の例においては、互いに左右方向にシフトした第１部分１０８および第１部分１０８以外の箇所に第２部分１０９が形成された、６種類の画素単位の反射率調整膜１０７が用意されている。そして、撮像素子１００の全体は、第１部分１０８が紙面左側から右側へ徐々にシフトする反射率調整膜１０７をそれぞれ有する６つの視差画素を一組とする光電変換素子群が、二次元的かつ周期的に配列されている。なお、本実施形態において、光電変換素子群の配列パターンを繰り返しパターン１２０と称する。

図５は、視差画素と被写体の関係を説明する概念図である。特に図５（ａ）は撮像素子１００のうち撮影光軸２１と直交する中心に配列されている繰り返しパターン１２０ｔの光電変換素子群を示し、図５（ｂ）は周辺部分に配列されている繰り返しパターン１２０ｕの光電変換素子群を模式的に示している。図５（ａ）、（ｂ）における被写体３０は、撮影レンズ２０に対して合焦位置に存在する。図５（ｃ）は、図５（ａ）に対応して、撮影レンズ２０に対して非合焦位置に存在する被写体３１を捉えた場合の関係を模式的に示している。

まず、撮影レンズ２０が合焦状態に存在する被写体３０を捉えている場合の、視差画素と被写体の関係を説明する。被写体光束は、撮影レンズ２０の瞳を通過して撮像素子１００へ導かれるが、被写体光束が通過する全体の断面領域に対して、６つの部分領域Ｐａ〜Ｐｆが規定されている。そして、例えば繰り返しパターン１２０ｔ、１１０ｕを構成する光電変換素子群の紙面左端の画素は、拡大図からもわかるように、部分領域Ｐｆから射出された被写体光束のみが光電変換素子１１０へ到達するように、反射率調整膜１０７の第１部分１０８ｆの位置が定められている。同様に、右端の画素に向かって、部分領域Ｐｅに対応して第１部分１０８ｅの位置が、部分領域Ｐｄに対応して第１部分１０８ｄの位置が、部分領域Ｐｃに対応して第１部分１０８ｃの位置が、部分領域Ｐｂに対応して第１部分１０８ｂの位置が、部分領域Ｐａに対応して第１部分１０８ａの位置がそれぞれ定められている。

別言すれば、例えば部分領域Ｐｆと左端画素の相対的な位置関係によって定義される、部分領域Ｐｆから射出される被写体光束（部分光束）の主光線Ｒｆの傾きにより、第１部分１０８ｆの位置が定められていると言っても良い。そして、合焦位置に存在する被写体３０からの被写体光束を、第１部分１０８ｆを介して光電変換素子１１０が受光する場合、その被写体光束は、点線で図示するように、光電変換素子１１０上で結像する。同様に、右端の画素に向かって、主光線Ｒｅの傾きにより第１部分１０８ｅの位置が、主光線Ｒｄの傾きにより第１部分１０８ｄの位置が、主光線Ｒｃの傾きにより第１部分１０８ｃの位置が、主光線Ｒｂの傾きにより第１部分１０８ｂの位置が、主光線Ｒａの傾きにより第１部分１０８ａの位置がそれぞれ定められていると言える。

図５（ａ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１と交差する被写体３０上の微小領域Ｏｔから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１２０ｔを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１２０ｔを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｔから放射される光束を受光している。微小領域Ｏｔは、繰り返しパターン１２０ｔを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。同様に、図５（ｂ）で示すように、合焦位置に存在する被写体３０のうち、光軸２１から離間した被写体３０上の微小領域Ｏｕから放射される光束は、撮影レンズ２０の瞳を通過して、繰り返しパターン１２０ｕを構成する光電変換素子群の各画素に到達する。すなわち、繰り返しパターン１２０ｕを構成する光電変換素子群の各画素は、それぞれ６つの部分領域Ｐａ〜Ｐｆを介して、一つの微小領域Ｏｕから放射される光束を受光している。微小領域Ｏｕも、微小領域Ｏｔと同様に、繰り返しパターン１２０ｕを構成する光電変換素子群の各画素の位置ずれに対応する分だけの広がりを有するが、実質的には、ほぼ同一の物点と近似することができる。

つまり、被写体３０が合焦位置に存在する限りは、撮像素子１００上における繰り返しパターン１２０の位置に応じて、光電変換素子群が捉える微小領域が異なり、かつ、光電変換素子群を構成する各画素は互いに異なる部分領域を介して同一の微小領域を捉えている。そして、それぞれの繰り返しパターン１２０において、対応する画素同士は同じ部分領域からの被写体光束を受光している。つまり、図においては、例えば繰り返しパターン１２０ｔ、１１０ｕのそれぞれの左端の画素は、同じ部分領域Ｐｆからの部分光束を受光している。

撮影光軸２１と直交する中心に配列されている繰り返しパターン１２０ｔにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する第１部分１０８ｆの位置と、周辺部分に配列されている繰り返しパターン１２０ｕにおいて左端画素が部分領域Ｐｆからの被写体光束を受光する第１部分１０８ｆの位置は厳密には異なる。しかしながら、機能的な観点からは、部分領域Ｐｆからの被写体光束を受光するための反射率調整膜という点で、これらを同一種類の反射率調整膜として扱うことができる。したがって、図５の例では、撮像素子１００上に配列される視差画素のそれぞれは、６種類の反射率調整膜の一つを備えると言える。

次に、撮影レンズ２０が非合焦状態に存在する被写体３１を捉えている場合の、視差画素と被写体の関係を説明する。この場合も、非合焦位置に存在する被写体３１からの被写体光束は、撮影レンズ２０の瞳の６つの部分領域Ｐａ〜Ｐｆを通過して、撮像素子１００へ到達する。ただし、非合焦位置に存在する被写体３１からの被写体光束は、光電変換素子１１０上ではなく他の位置で結像する。例えば、図５（ｃ）に示すように、被写体３１が被写体３０よりも撮像素子１００に対して遠い位置に存在すると、被写体光束は、光電変換素子１１０よりも被写体３１側で結像する。逆に、被写体３１が被写体３０よりも撮像素子１００に対して近い位置に存在すると、被写体光束は、光電変換素子１１０よりも被写体３１とは反対側で結像する。

したがって、非合焦位置に存在する被写体３１のうち、微小領域Ｏｔ'から放射される被写体光束は、６つの部分領域Ｐａ〜Ｐｆのいずれを通過するかにより、異なる組の繰り返しパターン１２０における対応画素に到達する。例えば、部分領域Ｐｄを通過した被写体光束は、図５（ｃ）の拡大図に示すように、主光線Ｒｄ'として、繰り返しパターン１２０ｔ'に含まれる、第１部分１０８ｄを有する光電変換素子１１０へ入射する。そして、微小領域Ｏｔ'から放射された被写体光束であっても、他の部分領域を通過した被写体光束は、繰り返しパターン１２０ｔ'に含まれる光電変換素子１１０へは入射せず、他の繰り返しパターンにおける対応する第１部分１０８を有する光電変換素子１１０へ入射する。換言すると、繰り返しパターン１２０ｔ'を構成する各光電変換素子１１０へ到達する被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。すなわち、第１部分１０８ｄに対応する１０８へは主光線をＲｄ'とする被写体光束が入射し、他の第１部分１０８に対応する光電変換素子１１０へは主光線をＲａ^＋、Ｒｂ^＋、Ｒｃ^＋、Ｒｅ^＋、Ｒｆ^＋とする被写体光束が入射するが、これらの被写体光束は、被写体３１の互いに異なる微小領域から放射された被写体光束である。このような関係は、図５（ｂ）における周辺部分に配列されている繰り返しパターン１２０ｕにおいても同様である。

すると、撮像素子１００の全体で見た場合、例えば、第１部分１０８ａに対応する光電変換素子１１０で捉えた被写体像Ａと、第１部分１０８ｄに対応する光電変換素子１１０で捉えた被写体像Ｄは、合焦位置に存在する被写体に対する像であれば互いにずれが無く、非合焦位置に存在する被写体に対する像であればずれが生じることになる。そして、そのずれは、非合焦位置に存在する被写体が合焦位置に対してどちら側にどれだけずれているかにより、また、部分領域Ｐａと部分領域Ｐｄの距離により、方向と量が定まる。つまり、被写体像Ａと被写体像Ｄは、互いに視差像となる。この関係は、他の第１部分１０８に対しても同様であるので、第１部分１０８ａから第１部分１０８ｆに対応して、６つの視差像が形成されることになる。

したがって、このように構成されたそれぞれの繰り返しパターン１２０において、互いに対応する画素の出力を寄せ集めると、視差画像が得られる。つまり、６つの部分領域Ｐａ〜Ｐｆうちの特定の部分領域から射出された被写体光束を受光した画素の出力は、視差画像を形成する。

図６は、視差画像を生成する処理を説明する概念図である。図は、左列から順に、第１部分１０８ｆに対応する視差画素の出力を集めて生成される視差画像データＩｍ＿ｆの生成の様子、第１部分１０８ｅの出力による視差画像データＩｍ＿ｅの生成の様子、第１部分１０８ｄの出力による視差画像データＩｍ＿ｄの生成の様子、第１部分１０８ｃの出力による視差画像データＩｍ＿ｃの生成の様子、第１部分１０８ｂの出力による視差画像データＩｍ＿ｂの生成の様子、第１部分１０８ａの出力による視差画像データＩｍ＿ａの生成の様子を表す。まず第１部分１０８ｆの出力による視差画像データＩｍ＿ｆの生成の様子について説明する。

６つの視差画素を一組とする光電変換素子群から成る繰り返しパターン１２０は、横一列に配列されている。したがって、第１部分１０８ｆを有する視差画素は、視差なし画素を除いた仮想的な撮像素子１００上において、左右方向に６画素おき、かつ、上下方向に連続して存在する。これら各画素は、上述のようにそれぞれ異なる微小領域からの被写体光束を受光している。したがって、これらの視差画素の出力を寄せ集めて配列すると、視差画像が得られる。

しかし、本実施形態における撮像素子１００の各画素は正方画素であるので、単に寄せ集めただけでは、横方向の画素数が１／６に間引かれた結果となり、縦長の画像データが生成されてしまう。そこで、補間処理を施して横方向に６倍の画素数とすることにより、本来のアスペクト比の画像として視差画像データＩｍ＿ｆを生成する。ただし、そもそも補間処理前の視差画像データが横方向に１／６に間引かれた画像であるので、横方向の解像度は、縦方向の解像度よりも低下している。つまり、生成される視差画像データの数と、解像度の向上は相反関係にあると言える。なお、本実施形態に適用する具体的な補間処理については後述する。

同様にして、視差画像データＩｍ＿ｅ〜視差画像データＩｍ＿ａが得られる。すなわち、デジタルカメラ１０は、横方向に視差を有する６視点の視差画像を生成することができる。

上述の例において、第１部分１０８ａを、入射光束の第１部分光束を通過させるように位置づけられた第１開口として、第１部分１０８ｂを、第１部分光束と異なる入射光束の第２部分光束を通過させるように位置づけられた第２開口として扱うことができる。この場合、第１部分１０８ａを有する画素単位の反射率調整膜１０７および第１部分１０８ｂを有する画素単位の反射率調整膜１０７が、それぞれ、第１開口マスクおよび第２開口マスクとしての役割を担う。第１部分１０８ａに対応して設けられた光電変換素子１１０および第１部分１０８ｂに対応して設けられた光電変換素子１１０が、それぞれ、第１光電変換素子および第２光電変換素子としての役割を担う。

上述の繰り返しパターン１２０は、第１部分１０８ａおよび第１部分１０８ａに対応して設けられた光電変換素子１１０を含んで構成される第１視差画素と、第１部分１０８ｂおよび第１部分１０８ｂに対応して設けられた光電変換素子１１０を含んで構成される第２視差画素とを含む画素群で構成される。そして、撮像素子１００は、繰り返しパターン１２０を基本格子とする。

上述したように、反射防止膜１０６が迷光の発生を抑制することにより、第１視差画素および第２視差画素は、それぞれ、第１部分光束および第２部分光束を精度良く受光することができる。したがって、ノイズ成分が抑えられた視差画像データＩｍ＿ａおよび視差画像データＩｍ＿ｂを得ることができる。なお、上述の例のように視差を生じさせる開口の役割を担う第１部分１０８が３種類以上ある場合には、任意の２つの第１部分１０８をそれぞれ第１開口および第２開口として扱うことができる。

次に、カラーフィルタ１０２と視差画像について説明する。図７は、ベイヤー配列を説明する図である。図示するように、ベイヤー配列は、Ｇフィルタが左上（Ｇｂ）と右下（Ｇｒ）の２画素に、Ｒフィルタが左下の１画素に、Ｂフィルタが右上の１画素に割り当てられる配列である。

このようなカラーフィルタ１０２の配列に対して、視差画素と視差なし画素を、何色の画素にどのような周期で割り振っていくかにより、膨大な数の繰り返しパターン１２０が設定され得る。視差なし画素の出力を集めれば、通常の撮影画像と同じく視差のない撮影画像データを生成することができる。したがって、相対的に視差なし画素の割合を増やせば、解像度の高い２Ｄ画像を出力させることができる。この場合、視差画素は相対的に少ない割合となるので、複数の視差画像からなる３Ｄ画像としては画質が低下する。逆に、視差画素の割合を増やせば、３Ｄ画像としては画質が向上するが、視差なし画素は相対的に減少するので、解像度の低い２Ｄ画像が出力される。ＲＧＢのいずれの画素に対しても視差画素を割り振れば、３Ｄ画像でありながら、色再現性の良い高品質のカラー画像データとなる。

理想的には、２Ｄ画像であっても３Ｄ画像であっても、高解像度、高品質のカラー画像データが出力されることが望ましい。ところで、３Ｄ画像において観察者が視差を感じる画像領域は、図５を用いて説明した視差の発生原理からも理解されるように、同一の被写体像が互いにずれる非合焦領域である。したがって、観察者が視差を感じる画像領域は、ピントの合っている主要被写体に対して高周波成分が少ないと言える。すると、３Ｄ画像を生成するに当たっては、視差が生じている領域において、それほど高解像でない画像データが存在すれば足りることになる。

ピントの合っている画像領域については２Ｄ画像データから切り出し、ピントの合っていない画像領域については３Ｄ画像データを切り出して、それぞれの視差画像データを合成により生成することができる。あるいは、高解像データである２Ｄ画像データを基礎とし、３Ｄ画像データの各画素における相対的な比を掛け合わせて、高解像なそれぞれの視差画像データを生成することができる。このような画像処理を採用することを前提とすれば、撮像素子１００においては、視差画素の数は、視差なし画素の数よりも少なくて良い。換言すれば、視差画素が相対的に少なくても、比較的解像度の高い３Ｄ画像を生成することができると言える。

この場合、３Ｄ画像をカラー画像として生成するには、互いに異なる少なくとも２種類のカラーフィルタが配列されれば良いが、本実施形態においては、図７を用いて説明したベイヤー配列のように、更なる高画質化のためにＲＧＢの３種類のカラーフィルタを採用する。特に、視差画素の数が相対的に少ない本実施形態においては、視差画素は、それぞれの種類の第１部分１０８に対して、ＲＧＢの３種類のカラーフィルタのいずれかが設けられたすべての組み合わせを含む。例えば、第１部分１０８が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素を想定すると、視差Ｌｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含み、視差Ｒｔ画素は、Ｒフィルタを備えた画素、Ｇフィルタを備えた画素、Ｂフィルタを備えた画素を含む。すなわち撮像素子１００は、６種類の視差画素を有する。このような撮像素子１００から出力される画像データは、いわゆる立体視を実現する鮮やかなカラー視差画像データの基礎となる。なお、２種類の第１部分１０８に対して２種類のカラーフィルタを組み合わせる場合には、撮像素子１００は、４種類の視差画素を有する。

以下に画素配列のバリエーションについて説明する。図８は、第１実施例における繰り返しパターン１２０の配列を説明する図である。第１実施例における繰り返しパターン１２０は、４画素から成るベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１２０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１２０を基本格子とする。なお、繰り返しパターン１２０内の画素をＰ_ＩＪで表す。例えば、左上画素はＰ_１１であり、右上画素はＰ_８１である。

第１実施例における視差画素は、第１部分１０８が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の反射率調整膜１０７のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_６３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_７６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））

他の画素は視差なし画素であり、視差なし画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差なし画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に第１部分１０８とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差なし画素よりも多いことが好ましい。第１実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１４個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝２個、Ｂ（Ｎ）＝１４個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝２個である。また、上記の通り、人間の視感特性を考慮して、Ｇフィルタを有する視差画素および視差なし画素は、他のカラーフィルタを有するそれぞれよりも多く配列されている。

図９は、第２実施例における繰り返しパターン１２０の配列を説明する図である。第２実施例における繰り返しパターン１２０は、第１実施例と同様に、４画素から成るベイヤー配列を、Ｙ軸方向である縦方向に４つ、Ｘ軸方向である横方向に４つ含み、６４画素から構成される。この繰り返しパターン１２０は、６４画素から成る画素群を一組として、撮像素子１００の有効画素領域を上下左右に周期的に配列されている。すなわち、撮像素子１００は、図の太線で示す繰り返しパターン１２０を基本格子とする。

第２実施例における視差画素は、第１部分１０８が中心よりも左側に偏心した視差Ｌｔ画素と、同じく右側に偏心した視差Ｒｔ画素の２種類の反射率調整膜１０７のいずれかを有する。図に示すように、視差画素は以下のように配列されている。

Ｐ_１１…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_５１…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_３２…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_７２…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_２３…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））
Ｐ_６３…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_１５…視差Ｒｔ画素＋Ｇフィルタ（＝Ｇ（Ｒｔ））
Ｐ_５５…視差Ｌｔ画素＋Ｇフィルタ（＝Ｇ（Ｌｔ））
Ｐ_３６…視差Ｒｔ画素＋Ｂフィルタ（＝Ｂ（Ｒｔ））
Ｐ_７６…視差Ｌｔ画素＋Ｂフィルタ（＝Ｂ（Ｌｔ））
Ｐ_２７…視差Ｌｔ画素＋Ｒフィルタ（＝Ｒ（Ｌｔ））
Ｐ_６７…視差Ｒｔ画素＋Ｒフィルタ（＝Ｒ（Ｒｔ））

他の画素は視差なし画素であり、視差なし画素＋Ｒフィルタ（＝Ｒ（Ｎ））、視差なし画素＋Ｇフィルタ（＝Ｇ（Ｎ））、視差なし画素＋Ｂフィルタ（＝Ｂ（Ｎ））のいずれかである。

このように、基本格子の中に第１部分１０８とカラーフィルタのすべての組み合わせによる視差画素を含み、かつ視差画素よりも多い視差なし画素にランダム性を有して配置されている配列が好ましい。特に、各カラーフィルタ別にカウントした場合でも、視差なし画素の方が視差なし画素よりも多いことが好ましい。第２実施例の場合、Ｇ（Ｎ）＝２８個に対して、Ｇ（Ｌｔ）＋Ｇ（Ｒｔ）＝２＋２＝４個であり、Ｒ（Ｎ）＝１２個に対して、Ｒ（Ｌｔ）＋Ｒ（Ｒｔ）＝４個、Ｂ（Ｎ）＝１２個に対して、Ｂ（Ｌｔ）＋Ｂ（Ｒｔ）＝４個である。

次に、２Ｄ画像データと複数の視差画像データを生成する画像処理の概念について説明する。繰り返しパターン１２０における視差画素および視差なし画素の配列からもわかるように、撮像素子１００の出力をその画素配列に一致させてそのまま羅列しても、特定の像を表す画像データにはならない。撮像素子１００の画素出力を、同一に特徴付けられた画素グループごとに分離して寄せ集めてはじめて、その特徴に即した一つの像を表す画像データが形成される。例えば、既に図６を用いて説明したように、視差画素の出力をその第１部分１０８の種類ごとに寄せ集めると、互いに視差を有する複数の視差画像データが得られる。このように、同一に特徴付けられた画素グループごとに分離して寄せ集められたそれぞれの画像データを、プレーンデータと呼ぶ。

画像処理部２０５は、撮像素子１００の画素配列順にその出力値が羅列されたＲＡＷ元画像データを受け取り、複数のプレーンデータに分離するプレーン分離処理を実行する。以下に各プレーンデータの生成処理について、図８を用いて説明した第１実施例の撮像素子１００からの出力を例に説明する。

図１０は、２Ｄ画像データとしての２Ｄ−ＲＧＢプレーンデータの生成処理の例を説明する図である。上段の図は、撮像素子１００における一つの繰り返しパターン１２０およびその周囲の出力を、その画素配列に一致させてそのまま羅列した様子を示す。図においては、図８の例に則して画素の種類が理解されるように記載するが、実際には各画素に対応した出力値が並ぶ。

２Ｄ−ＲＧＢプレーンデータを生成するにあたり、画像処理部２０５は、まず視差画素の画素値を除去して、空格子とする。そして、空格子となった画素値を、同種のカラーフィルタを有する周辺画素の画素値を用いて補間処理により算出する。例えば、空格子Ｐ_１１の画素値は、斜め方向に隣接するＧフィルタ画素の画素値である、Ｐ_−１−１、Ｐ_２−１、Ｐ_−１２、Ｐ_２２の画素値を平均化演算して算出する。また、例えば空格子Ｐ_６３の画素値は、上下左右に１画素飛ばして隣接するＲフィルタの画素値である、Ｐ_４３、Ｐ_４３、Ｐ_８３、Ｐ_６５の画素値を平均化演算して算出する。同様に、例えば空格子Ｐ_７６の画素値は、上下左右に１画素飛ばして隣接するＢフィルタの画素値である、Ｐ_７４、Ｐ_５６、Ｐ_９６、Ｐ_７８の画素値を平均化演算して算出する。

このように補間された２Ｄ−ＲＧＢプレーンデータは、ベイヤー配列を有する通常の撮像素子の出力と同様であるので、その後は２Ｄ画像データとして各種処理を行うことができる。画像処理部２０５は、静止画データを生成する場合にはＪＰＥＧ等、動画データを生成する場合にはＭＰＥＧ等の、予め定められたフォーマットに従って画像処理を行う。

図１１は、視差画像データとしての２つのＧプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＧＬｔプレーンデータと右視差画像データとしてのＧＲｔプレーンデータである。

ＧＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１２０には、Ｐ_１１とＰ_５５の２つの画素値が残る。そこで、繰り返しパターン１２０を縦横に４等分し、左上の１６画素分をＰ_１１の出力値で代表させ、右下の１６画素分をＰ_５５の出力値で代表させる。そして、右上の１６画素分および左下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＬｔプレーンデータは、１６画素単位で一つの値を有する。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＧ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１２０には、Ｐ_５１とＰ_１５の２つの画素値が残る。そこで、繰り返しパターン１２０を縦横に４等分し、右上の１６画素分をＰ_５１の出力値で代表させ、左下の１６画素分をＰ_１５の出力値で代表させる。そして、左上の１６画素分および右下の１６画素分は、上下左右に隣接する周辺の代表値を平均化演算して補間する。すなわち、ＧＲｔプレーンデータは、１６画素単位で一つの値を有する。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＧＬｔプレーンデータとＧＲｔプレーンデータを生成することができる。

図１２は、視差画像データとしての２つのＢプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＢＬｔプレーンデータと右視差画像データとしてのＢＲｔプレーンデータである。

ＢＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１２０には、Ｐ_３２の画素値が残る。この画素値を繰り返しパターン１２０の６４画素分の代表値とする。

同様に、ＧＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＢ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１２０には、Ｐ_７６の画素値が残る。この画素値を繰り返しパターン１２０の６４画素分の代表値とする。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＢＬｔプレーンデータとＢＲｔプレーンデータを生成することができる。この場合、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低い。

図１３は、視差画像データとしての２つのＲプレーンデータの生成処理の例を説明する図である。すなわち、左視差画像データとしてのＲＬｔプレーンデータと右視差画像データとしてのＲＲｔプレーンデータである。

ＲＬｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｌｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１２０には、Ｐ_２７の画素値が残る。この画素値を繰り返しパターン１２０の６４画素分の代表値とする。

同様に、ＲＲｔプレーンデータを生成するにあたり、画像処理部２０５は、撮像素子１００の全出力値からＲ（Ｒｔ）画素の画素値以外の画素値を除去して空格子とする。すると、繰り返しパターン１２０には、Ｐ_６３の画素値が残る。この画素値を繰り返しパターン１２０の６４画素分の代表値とする。

このようにして、２Ｄ−ＲＧＢプレーンデータよりは解像度の低いＲＬｔプレーンデータとＲＲｔプレーンデータを生成することができる。この場合、ＲＬｔプレーンデータとＲＲｔプレーンデータの解像度は、ＧＬｔプレーンデータとＧＲｔプレーンデータの解像度よりも低く、ＢＬｔプレーンデータとＢＲｔプレーンデータの解像度と同等である。

図１４は、各プレーンの解像度の関係を示す概念図である。２Ｄ−ＲＧＢプレーンデータは、補間処理が施されることにより、実質的に撮像素子１００の有効画素と同じ画素数分の出力値を有する。ＧＬｔプレーンデータおよびＧＲｔプレーンデータは、補間処理が施されることにより、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／１６（＝１／４×１／４）の画素数分の出力値を有する。ＢＬｔプレーンデータ、ＢＲｔプレーンデータ、ＲＬｔプレーンデータおよびＲＲｔプレーンデータは、２Ｄ−ＲＧＢプレーンデータの画素数に対して１／６４（＝１／８×１／８）の画素数分の出力値を有する。

このような各プレーンデータ間における解像度のバランスによれば、まず、解像度の高い２Ｄ画像を出力させることができる。そして、上述のように、合焦領域については２Ｄ−ＲＧＢプレーンデータの情報を利用しつつ、非合焦領域についてはＧＬｔプレーンデータ等の視差画像データを用いて合成処理等を施せば、３Ｄ画像についても解像感のある画像として出力させることができる。なお、合焦領域の判定については、ＡＦセンサ２１１の出力を利用するほか、視差画像データの出力値を比較することによっても行うことができる。例えば、制御部２０１は、ＧＬｔプレーンデータとＧＲｔプレーンデータの対応する画素の画素値が互いに同じであれば合焦状態であると判断し、そのような画素を包含する領域を合焦領域と判定する。

なお、図８を用いて説明した第１実施例においては、Ｇ（Ｎ）：Ｒ（Ｎ）：Ｂ（Ｎ）＝２：１：１であり、Ｇ（Ｌｔ）：Ｒ（Ｌｔ）：Ｂ（Ｌｔ）＝１：１：１であり、Ｇ（Ｒｔ）：Ｒ（Ｒｔ）：Ｂ（Ｒｔ）＝１：１：１である。また、図９を用いて説明した第２実施例においては、Ｇ（Ｎ）：Ｒ（Ｎ）：Ｂ（Ｎ）＝７：３：３であり、Ｇ（Ｌｔ）：Ｒ（Ｌｔ）：Ｂ（Ｌｔ）＝１：１：１であり、Ｇ（Ｒｔ）：Ｒ（Ｒｔ）：Ｂ（Ｒｔ）＝１：１：１である。このようなカラーフィルタに対する視差なし画素の配分比率、視差Ｌｔ画素の配分比率、および視差Ｒｔ画素の配分比率は任意に設定できる。第１実施例および第２実施例における配分比率以外にも、特に、視差なし画素の配分比率、視差Ｌｔ画素の配分比率、および視差Ｒｔ画素の配分比率を同一に設定することも有効である。例えば、それぞれの配分比率をすべて１：１：１に設定しても良いし、Ｇを多くして２：１：１に設定しても良い。このように配分比率を調整することにより、視差なし画像データと視差画像データ間の対応が容易になる。

上述の第１実施例および第２実施例において、Ｇ（Ｌｔ）画素を第１視差画素として、Ｇ（Ｒｔ）画素を第２視差画素として扱うことができる。反射防止膜１０６が迷光の発生を抑制することにより、Ｇ（Ｌｔ）画素およびＧ（Ｒｔ）画素は、それぞれ、対応する部分光束を精度良く受光することができる。したがって、ノイズ成分が抑えられたＧＬｔプレーンデータおよびＧＲｔプレーンデータを得ることができる。同様に、ノイズ成分が抑えられたＢＬｔプレーンデータ、ＢＲｔプレーンデータ、ＲＬｔプレーンデータおよびＲＲｔプレーンデータを得ることができる。

なお、第１実施例および第２実施例のように視差画素の種類を２つにすれば２視点の視差画像が得られるが、もちろん視差画素の種類は、出力させたい視差画像数に合わせて様々な数を採用し得る。視点数が増えていっても、仕様、目的等に応じた、さまざまな繰り返しパターン１２０を形成することができる。この場合、２Ｄ画像の出力と３Ｄ画像の出力に対して共に解像感を持たせるためには、撮像素子１００の基本格子の中に第１部分１０８とカラーフィルタのすべての組み合わせによる視差画素を含みつつ、視差画素よりも視差なし画素を多くすることが肝要である。

上述の例では、カラーフィルタ配列としてベイヤー配列を採用した場合について説明したが、もちろん他のカラーフィルタ配列であっても差し支えない。また、上述の例では、カラーフィルタを構成する原色として、赤色、緑色および青色の３つを用いた。しかし、翠色などを加えた４つ以上を原色としても良い。また、赤色、緑色および青色に代えて、イエロー、マゼンタ、シアンの組み合わせによる３原色を採用することもできる。

また、上述の例において、視差なし画素の第１部分１０８の面積が視差Ｌｔ画素の第１部分１０８の面積と視差Ｒｔ画素の第１部分１０８の面積の和になるように、第１部分１０８を形成しても良い。図１５は、第１部分１０８の形状を説明する図である。視差なし画素の第１部分１０８ｎは、光電変換素子１１０と同じ大きさで形成される。視差Ｌｔ画素の第１部分１０８ｌは、光電変換素子１１０の左側半分と同じ大きさで形成される。視差Ｒｔ画素の第１部分１０８ｒは、光電変換素子１１０の右側半分と同じ大きさで形成される。

したがって、視差Ｌｔ画素の第１部分１０８ｌの形状と、視差Ｒｔ画素の第１部分１０８ｒの形状とが、視差なし画素の第１部分１０８ｎの形状を中心線１３０で分割したそれぞれの形状と同一である。このように各画素の第１部分１０８を形成することにより、視差なし画素の第１部分１０８ｎの面積は、視差Ｌｔ画素の第１部分１０８ｌの面積と視差Ｒｔ画素の第１部分１０８ｒの面積の和になる。

ここで、視差なし画素の第１部分１０８ｎ、視差Ｌｔ画素の第１部分１０８ｌ、視差Ｒｔ画素の第１部分１０８ｒのそれぞれは、開口絞りの機能を有する。したがって、第１部分１０８ｌ（第１部分１０８ｒ）の倍の面積を持つ第１部分１０８ｎを有する視差なし画素のボケ量は、視差Ｌｔ画素と視差Ｒｔ画素のボケ量を足し合わせたボケ量と同程度となる。視差画素と視差なし画素との間のボケ量の関係がこのように規定されることにより、視差画素の画素値を用いた視差なし画素の補間処理および視差なし画素の画素値を用いた視差画素の画素値の補間処理が容易となる。

上述の実施形態では、開口マスクとして反射率調整膜１０７が用いられたが、開口マスクの構造はこれに限らない。図１６は、第１変形例に係る撮像素子３００の断面を表す概略図である。撮像素子３００において、開口マスクとしての遮光膜３１０が、光電変換素子１１０の受光面を含む基板１１１の表面上に形成されている。なお、撮像素子３００の部材のうち撮像素子１００と同一の部材については、同一の番号を付して機能の説明を省略する。

遮光膜３１０は、上述の反射率調整膜１０７の第１部分１０８を除去した膜に相当する。したがって、遮光膜３１０は、上述の反射率調整膜１０７の第２部分１０９と同様の構成である。遮光膜３１０の開口部３１１は、第１部分１０８と同様に、対応する光電変換素子１１０ごとにシフトされて、相対的な位置が厳密に定められている。開口部３１１は、入射光束のうちの特定の光束を通過させて、当該特定の光束を、対応する光電変換素子１１０へ導く。

第１変形例において、遮光膜３１０と開口部３１１の作用により、光電変換素子１１０が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１１０上には、遮光膜３１０が存在しない。別言すれば、対応する光電変換素子１１０に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部３１１を有する遮光膜３１０が設けられているとも言える。

第１変形例においても、上述の実施形態と同様に、第２導電層１０５における光電変換素子１１０側の面に反射防止膜１０６が形成されている。そして、遮光膜３１０で反射した光の反射防止膜１０６での反射が低減される。したがって、複数種類の視差画素を含む画素群を基本格子とする撮像素子３００において、迷光の発生を大幅に抑えることができる。そして、撮像素子３００の各視差画素は、入射光束のうち対応する部分光束を精度良く受光することができる。

図１７は、第２変形例に係る撮像素子３００の断面を表す概略図である。撮像素子３００において、開口マスクとしての遮光部材４１０が、カラーフィルタ１０２と配線層１０３との間に設けられている。なお、撮像素子４００の部材のうち撮像素子１００と同一の部材については、同一の番号を付して機能の説明を省略する。

遮光部材４１０の開口部４１１は、各光電変換素子１１０に一対一に対応して設けられている。開口部４１１は、対応する光電変換素子１１０ごとにシフトされて、相対的な位置が厳密に定められている。開口部４１１は、入射光束のうちの特定の光束を通過させて、当該特定の光束を、対応する光電変換素子１１０へ導く。

第２変形例において、遮光部材４１０と開口部４１１の作用により、光電変換素子１１０が受光する被写体光束に視差が生じる。一方、視差を生じさせない光電変換素子１１０上には、遮光部材４１０が存在しない。別言すれば、対応する光電変換素子１１０に対して入射する被写体光束を制限しない、つまり入射光束の全体を通過させる開口部４１１を有する遮光部材４１０が設けられているとも言える。

第２変形例においても、上述の実施形態と同様に、第２導電層１０５における光電変換素子１１０側の面に反射防止膜１０６が形成されている。したがって、撮像素子４００の各視差画素の光電変換素子１１０に対して、光電変換素子１１０間の基板１１１の表面に入射した光束が基板１１１の表面と第２導電層１０５との間で反射を繰り返して到達することを防ぐことができる。そして、撮像素子４００の各視差画素は、入射光束のうち対応する部分光束を精度良く受光することができる。

第２変形例において、遮光部材４１０は、各光電変換素子１１０に対応して別個独立に配列しても良いし、カラーフィルタ１０２の製造プロセスと同様に複数の光電変換素子１１０に対して一括して形成されても良い。また、遮光部材４１０の開口部４１１に色成分を持たせれば、カラーフィルタ１０２と遮光部材４１０を一体的に形成することもできる。

また、第２変形例において、遮光部材４１０と、第２導電層１０５とを別体として設けているが、視差画素における遮光部材４１０の機能を第２導電層１０５が担っても良い。すなわち、規定される開口形状を第２導電層１０５により形成し、当該開口形状により入射光束を制限して特定の部分光束のみを光電変換素子１１０へ導く。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

１０ デジタルカメラ、２０ 撮影レンズ、２１ 光軸、３０、３１ 被写体、１００ 撮像素子、１０１ マイクロレンズ、１０２ カラーフィルタ、１０３ 配線層、１０４ 第１導電層、１０５ 第２導電層、１０６ 反射防止膜、１０７ 反射率調整膜、１０８ 第１部分、１０９ 第２部分、１１０ 光電変換素子、１１１ 基板、１２０ 繰り返しパターン、１３０ 中心線、２０１ 制御部、２０２ Ａ／Ｄ変換回路、２０３ メモリ、２０４ 駆動部、２０５ 画像処理部、２０７ メモリカードＩＦ、２０８ 操作部、２０９ 表示部、２１０ ＬＣＤ駆動回路、２１１ ＡＦセンサ、２２０ メモリカード、３００ 撮像素子、３１０ 遮光膜、３１１ 開口部、４００ 撮像素子、４１０ 遮光部材、４１１ 開口部

Claims (10)

1. 入射光束の第１部分光束を通過させるように位置づけられた第１開口を有する第１開口マスクと、
   前記第１部分光束を電気信号に光電変換する第１光電変換素子と、
   前記第１部分光束と異なる前記入射光束の第２部分光束を通過させるように位置づけられた第２開口を有する第２開口マスクと、
   前記第２部分光束を電気信号に光電変換する第２光電変換素子と、
   前記第１光電変換素子および前記第２光電変換素子より前記入射光側の入射側に設けられ、前記第１光電変換素子および前記第２光電変換素子の側の面に反射防止膜が形成された導電層と
   を備え、
   前記第１開口マスクおよび前記第１光電変換素子を含んで構成される第１視差画素と、前記第２開口マスクおよび前記第２光電変換素子を含んで構成される第２視差画素とを含む画素群を基本格子とする撮像素子。
2. 前記第１開口マスクは、前記第１光電変換素子の受光面に形成され、
   前記第２開口マスクは、前記第２光電変換素子の受光面に形成された請求項１に記載の撮像素子。
3. 前記第１開口マスクは、前記第１開口に対応する部分に第１反射率を有し、前記第１開口以外の部分に前記第１反射率より大きい第２反射率を有する第１反射率調整膜により形成され、
   前記第２開口マスクは、前記第２開口に対応する部分に前記第１反射率を有し、前記第２開口以外の部分に前記第２反射率を有する第２反射率調整膜により形成される請求項２に記載の撮像素子。
4. 前記第１反射率調整膜および前記第２反射率調整膜は、ＳｉＯ_２膜とＳｉＮ膜が順次積層された多層膜である請求項３に記載の撮像素子。
5. 前記反射防止膜は、黒色膜である請求項１から４のいずれか１項に記載の撮像素子。
6. 前記反射防止膜は、ＴｉＮを含んで構成される請求項５に記載の撮像素子。
7. 前記反射防止膜は、ＳｉＯ_２膜とＳｉＮ膜が順次積層された多層膜である請求項１から４のいずれか１項に記載の撮像素子。
8. 前記第１光電変換素子に対応して設けられた第１カラーフィルタと、
   前記第２光電変換素子に対応して設けられた第２カラーフィルタと
   を備え、
   前記第１視差画素は、前記第１カラーフィルタ、前記第１開口マスクおよび前記第１光電変換素子を含んで構成され、
   前記第２視差画素は、前記第２カラーフィルタ、前記第２開口マスクおよび前記第２光電変換素子を含んで構成される請求項１から７のいずれか１項に記載の撮像素子。
9. 前記入射光束を電気信号に光電変換する第３光電変換素子を備え、
   前記画素群は、前記第３光電変換素子で構成される視差なし画素をさらに含む請求項１から８のいずれか１項に記載の撮像素子。
10. 請求項１から９のいずれか１項に記載の撮像素子と、
    前記撮像素子の出力から、互いに視差を有する複数の視差画像データを少なくとも生成する画像処理部と
    を備える撮像装置。

Images