JP2022018538A - 撮像装置および撮像方法 - Google Patents

Abstract

【課題】光の利用効率が高く、ぼけのない高解像度な画像を取得可能な撮像装置を提供する。【解決手段】撮像装置１００は、光Ｌの入射側から順に撮像素子１１，１２，１３を積層してなるカラー撮像素子１０、ならびに、カラー撮像素子１０のさらに光Ｌの入射側に配置した空間光変調器８からなる符号化開口および光学系７１，７２を備える。光Ｌが空間光変調器８の微小な開口を通ることにより、カラー撮像素子１０でぼけが実質的にない像が結像し、さらに、空間光変調器８が開口パターンを切り替えてカラー撮像素子１０が開口パターン毎の画像を撮像することにより、空間解像度の高い画像が再構成される。【選択図】図１

Description

本発明は、撮像装置および撮像方法に関する。

撮像装置は、高精細化のための多画素化の一方で、小型化が要求されている。例えば、カラー撮像素子のように複数の波長域の光の情報を波長域毎に取得する撮像素子（イメージセンサ）において、ダイクロイックプリズム等で光を波長域別に光路を変えてそれぞれの撮像素子に入射する３枚式（多枚式）の撮像素子に対して、撮像素子またはその光電変換部を光軸方向に積層して小型化した垂直色分離型の撮像素子が開発されている。具体的には、長波長ほど光の進入深さが深くなるＳｉをベースとしたＳｉフォトダイオードを、Ｓｉ基板に３層に積層したカラー撮像素子が開示されている（例えば、特許文献１，２）。また、固有の波長域の光を吸収して電荷に変換し、それ以外の光を透過する光電変換材料を備えた撮像素子を積層したカラー撮像素子が開示されている（例えば、特許文献３）。同様に、カラー画像と近赤外線画像をそれぞれ撮像する撮像素子を積層したカラー撮像素子が開示されている（例えば、特許文献４）。

撮像装置はさらに、空間情報の取得、ぼけた画像の修復、画素数に対して高精細な画像を再構成する等、機能性の付加が要求されている。例えば、複数の撮像素子を光の入射方向に積層することにより、ぼけ量の異なる像を同時に取得し、レンズからそれぞれの撮像素子までの距離に基づいて、被写体の空間情報を取得する技術が知られている（例えば、特許文献５）。また、ダイクロイックミラーでカラー撮像素子までの光路長に色による差を設けて、ぼけ量の異なるＲ（赤），Ｇ（緑），Ｂ（青）の各画像を取得し、これら３枚の画像から深さ情報を推測する技術が知られている（例えば、非特許文献１）。また、ぼけを除去する手法の一つとして、撮像素子に光を導く開口（絞り）を、従来の円形ではなく符号化された開口（符号化開口）を用い、演算処理により、ぼけのない画像を復元する技術が知られている（例えば、特許文献６，７、非特許文献２）。さらに、複数の撮像素子を符号化開口から異なる距離に配置して、被写体の空間情報を取得する技術が知られている（例えば、特許文献８、非特許文献３）。また、可視光を透過して赤外線を開口以外で遮蔽する符号化開口と、カラーフィルタアレイの一部を赤外線のみを透過するフィルタとした単板式のカラー撮像素子とを用いて、可視光画像とぼけた赤外線画像とを同時に取得して、深度マップを生成する撮像装置が開示されている（例えば、特許文献９）。

特表２００２－５１３１４５号公報 特許第５５９９６１７号公報 特開２０１９－１０２６２３号公報 特開２０２０－２１８５５号公報 特許第５８４８１７７号公報 特許第５８３２３５３号公報 特許第５１７３６６５号公報 特許第２９６３９９０号公報 特許第５８３０３４８号公報

出口美樹，村田滋，田中洋介，"時系列カラー画像を用いたdepth-from-defocusによる粒子奥行き位置と変位量の同時計測"，可視化情報学会論文集，Vol. 39，No. 6，p. 19-27，２０１９年 長原一，"符号化撮像"，情報処理学会研究報告，Vol. 2010-CVIM-171，No. 14，２０１０年 日浦慎作，"符号化撮像によるぶれ・ぼけの除去"，光学，Vol. 40，No. 10，p. 522-527，２０１１年

符号化開口は、通常の画像取得に用いる円形開口（絞り）よりも開口率が低いので、撮像装置の光の利用効率が低下する。また、カラーフィルタを備えた単板式のカラー撮像素子に適用すると、Ｒ，Ｇ，Ｂそれぞれの情報が離散的にしか得られないので、演算により画像を再構成する際に画質劣化が発生するといった問題もある。

本発明は、前記問題点に鑑みてなされたものであり、光の利用効率が高く、画素数に対して高解像度な画像を取得することのできる撮像装置および撮像方法を提供することを課題とする。

本発明に係る撮像装置は、１以上の波長域の光を吸収して電荷に変換する光電変換部と前記光電変換部が変換した電荷を電気信号として出力させる読出回路とを有する複数の撮像素子を上下に積層して備え、前記複数の撮像素子の上から光を入射させて撮像する撮像装置であって、前記撮像素子の光電変換部が、当該光電変換部の下側に配置された他の前記撮像素子の光電変換部が電荷に変換する波長域の光の少なくとも一部を透過させ、前記複数の撮像素子よりも光の入射側に、複数の開口が配置された開口パターンを２以上に切り替え可能な符号化開口をさらに備えて、前記複数の開口を経由して前記複数の撮像素子に光を入射することを特徴とする。

かかる構成により、撮像装置は、ぼけのない画像を含む２以上の画像を同時に取得することができ、ぼけのない高解像度な画像を再構成して得ることができる。

本発明に係る撮像方法は、１以上の波長域の光を吸収して電荷に変換する光電変換部と前記光電変換部が変換した電荷を電気信号として出力させる読出回路とを有する複数の撮像素子、および複数の開口が配置された開口パターンを有する符号化開口を備える撮像装置により、上下に積層された前記複数の撮像素子の上から前記複数の開口を経由した光を入射させて撮像する撮像方法であって、前記符号化開口が複数の開口パターンを周期的に切り替え、前記複数の撮像素子の少なくとも１つが、前記符号化開口の開口パターン毎に露光し、前記複数の撮像素子の少なくとも１つが、前記符号化開口の２以上の開口パターンにわたって露光することを特徴とする。

かかる手順により、ぼけのない画像を含む２以上の画像を同時に取得することができ、また、光の利用効率が高くすることができる。

本発明に係る撮像装置および撮像方法によれば、光の利用効率が高く、ぼけのない高解像度な画像や、画像と共に奥行き情報を取得することができる。

本発明に係る撮像装置の構成を説明する模式図である。 本発明の第１実施形態に係る撮像装置の概念を説明する模式図であり、図１の部分拡大図である。 本発明に係る撮像装置における撮像素子の画素と符号化開口の開口パターンとの対応を説明する分解図である。 撮像装置を構成する撮像素子の１画素の等価回路図である。 撮像装置を構成する撮像素子の１画素の等価回路図である。 撮像装置を構成する撮像素子の１画素の等価回路図である。 本発明の第１実施形態に係る撮像装置の構造を模式的に説明する部分断面図である。 本発明の実施形態に係る撮像方法における符号化開口の開口パターンの模式図および切替えのタイミング、ならびに露光のタイミングを説明するタイムチャートである。 本発明の実施形態の変形例に係る撮像方法における符号化開口の開口パターンの模式図および切替えのタイミング、ならびに露光のタイミングを説明するタイムチャートである。 本発明の第２実施形態に係る撮像装置の概念を説明する模式図であり、図１の部分拡大図である。 本発明の実施形態の変形例に係る撮像方法における符号化開口の開口パターンの模式図および切替えのタイミング、ならびに露光のタイミングを説明するタイムチャートである。 本発明の第３実施形態に係る撮像装置の概念を説明する模式図であり、図１の部分拡大図である。 本発明の第４実施形態に係る撮像装置の概念を説明する模式図であり、図１の部分拡大図である。

本発明に係る撮像装置および撮像方法を実施するための形態について、図を参照して説明する。図面に示す撮像装置およびその要素は、説明を明確にするために、大きさや位置関係等を誇張していることがあり、また、形状を単純化していることがある。

〔第１実施形態〕
図１に示すように、本発明の第１実施形態に係る撮像装置１００は、光（可視光を含む光を指す）Ｌの入射側（被写体ＯＢの側）から順に、第１撮像素子１１、第２撮像素子１２、および第３撮像素子１３（適宜まとめて、撮像素子１１，１２，１３）を積層してなるカラー撮像素子１０、ならびに、カラー撮像素子１０のさらに光の入射側に配置した透過型の空間光変調器（符号化開口）８および光学系７１，７２を備える。第１撮像素子１１は、１以上の波長域の光を吸収して電荷に変換する光電変換部５１、および光電変換部５１が変換した電荷を電気信号として出力させる読出回路２１を有する。同様に、第２撮像素子１２は光電変換部５２および読出回路２２を有し、第３撮像素子１３は光電変換部５３および読出回路２３を有する。また、カラー撮像素子１０における空間光変調器８から最も遠い第３撮像素子１３以外の第１撮像素子１１および第２撮像素子１２は、入射した光の一部を光電変換部５１，５２が吸収し、その余を透過させる。撮像装置１００はさらに、撮像素子１１，１２，１３および空間光変調器８を駆動する駆動装置９１、撮像素子１１，１２，１３が出力した電気信号から画像を再構成する復号化装置９２を備える。なお、１つの波長域の光とは、撮像素子１１，１２，１３が個別に画像データの信号として出力する光であり、本実施形態においては、後記するように光の三原色の１つである。

被写体ＯＢから撮像装置１００に入射した光Ｌ（図１では、被写体ＯＢにおける一点からの光を示す）は、光学系７１によって空間光変調器８で結像し、さらに空間光変調器８に形成された複数の微小な開口（図１の白抜き部分）を透過して、光学系７２によって収束しながらカラー撮像素子１０に入射する。光Ｌは、空間光変調器８から最も近い第１撮像素子１１に入射すると、一部が光電変換部５１に吸収されて電荷に変換され、その他は透過して第２撮像素子１２に入射する。第２撮像素子１２に入射した光Ｌは、さらにその一部が光電変換部５２に吸収されて電荷に変換され、その他は透過して空間光変調器８から最も遠い第３撮像素子１３に入射し、光電変換部５３に吸収されて電荷に変換される。その結果、撮像装置１００は、光Ｌの光軸方向における位置の異なる３箇所における画像を同時に取得し、個別に電気信号に変換して出力する。以下、撮像装置１００の各構成について説明する。

（カラー撮像素子）
カラー撮像素子１０は、入射する光に含まれる青色光Ｌ_B（ピーク波長λ_B＝４５０ｎｍ）、緑色光Ｌ_G（ピーク波長λ_G＝５００～５４０ｎｍ）、および赤色光Ｌ_R（ピーク波長λ_R＝６５０ｎｍ）を、それぞれ個別に電気信号に変換して出力する。そのために、図１および図２に示すように、光の入射側に最も近い層（以下、最上層という）の第１撮像素子１１は、青色光Ｌ_B（網掛けを付した矢印で表す）を吸収して電荷に変換し、かつ緑色光Ｌ_G（白抜き矢印で表す）および赤色光Ｌ_R（黒く塗り潰した矢印で表す）を透過する光電変換膜（光電変換部）５１と、光電変換膜５１が変換した電荷を電気信号として出力させる読出回路を構成する回路層２１と、を有する。第２撮像素子１２は、緑色光Ｌ_Gを吸収して電荷に変換し、かつ赤色光Ｌ_Rを透過する光電変換膜（光電変換部）５２と、光電変換膜５２が変換した電荷を電気信号として出力させる読出回路を構成する回路層２２と、を有する。光の入射側から最も遠い層（以下、最下層という）の第３撮像素子１３は、赤色光Ｌ_Rを吸収して電荷に変換するフォトダイオード（光電変換部）５３と、フォトダイオード５３が変換した電荷を電気信号として出力させる読出回路を構成する回路部２３と、を有する。すなわち、撮像素子１１，１２，１３はそれぞれ、１つの波長域の光（単色光）の撮像素子である。なお、図２は、撮像装置１００におけるカラー撮像素子１０およびその近傍の部分拡大図であり、光の入射側を上に向けて示す。本明細書において、別途記載のない限り、形式的に、光の入射側を上と表す。

前記したように、撮像素子１１，１２，１３はそれぞれ、１つの波長域の光の撮像素子であり、図３に示すように、構造上の最小単位である画素が二次元配列されている。図３において、撮像素子１１，１２，１３に、画素間の境界を一点鎖線で付す。さらに、本実施形態では、撮像素子１１，１２，１３のそれぞれの画素が、同じピッチ（画素長）かつ同じ配列数であり、平面（光の入射面）視における位置を揃えて配列されている。図３においては、簡潔に説明するために、カラー撮像素子１０（撮像素子１１，１２，１３）は、４列×４行の１６個の画素が配列されている。また、最上層の第１撮像素子１１の読出回路２１（図１、図２参照）は、画素同士を区切るように配置した水平方向と垂直方向の信号線ＳＬ，ＯＬのみを示す。第１撮像素子１１および第２撮像素子１２は、１画素が、例えば図４または図５に示す等価回路図で表され、第３撮像素子１３は、１画素が、例えば図６に示す等価回路図で表される。そして、撮像素子１１，１２，１３は、それぞれの読出回路２１，２２，２３が、画素の配列方向に延設した信号線を備え、水平信号線が駆動装置９１の垂直走査回路に、垂直信号線が駆動装置９１の水平走査回路に、それぞれ接続される。図３では、読出回路２１について、水平方向と垂直方向に１本ずつの信号線ＳＬ，ＯＬを示すが、後記するように、読出回路２１，２２，２３の構成に応じて信号線が増加する。

図４は、フォトダイオードＰＤおよび選択トランジスタＴ１を備える最も簡易な構成の画素を示す。フォトダイオードＰＤは、撮像素子１１，１２における一対の電極３３，３４に挟まれた１画素分の光電変換膜５１，５２であり、フォトダイオードＰＤの端子が電極３３，３４である。そして、フォトダイオードＰＤの画素電極３３に接続する側が選択トランジスタＴ１のソースまたはドレインに接続される。フォトダイオードＰＤは、逆バイアスに接続されてコンデンサとして機能し、受光により電荷を蓄積する。図４では、アノードが選択トランジスタＴ１に接続され、カソードが駆動装置９１（図１参照）の共通の電源ＰＳに接続されている。前記したように、駆動装置９１の垂直走査回路に画素選択線ＳＬが、水平走査回路に読出線ＯＬが、それぞれ接続される。垂直走査回路によって画素選択線ＳＬで選択トランジスタＴ１が選択されると、蓄積した電荷が選択トランジスタＴ１を経由して読出線ＯＬに電気信号として出力される。

図５は、３つのトランジスタＴ１，Ｔ２，Ｔ３を備える１画素３Ｔ型のイメージセンサの画素を示し、選択トランジスタＴ１には増幅トランジスタＴ２が接続され、フォトダイオードＰＤが増幅トランジスタＴ２のゲートに接続されている。このような構成により、ドレイン電源Ｖ_DDから増幅トランジスタＴ２と選択トランジスタＴ１を経由して、フォトダイオードＰＤの電気信号が電圧として出力される。リセットトランジスタＴ３は、フォトダイオードＰＤに蓄積された電荷を、リセット選択線ＲＬで選択されたときに初期化する。なお、リセット電源Ｖ_RSTはドレイン電源Ｖ_DDと共通でもよい。

図６は、４つのトランジスタＴ１，Ｔ２，Ｔ３，Ｔ４を備える１画素４Ｔ型の、埋込みフォトダイオードを備える相補型金属－酸化物半導体（Complementary Metal-Oxide Semiconductor：ＣＭＯＳ）イメージセンサの画素の一例を示し、フォトダイオードＰＤは、第３撮像素子１３におけるフォトダイオード５３である。第３撮像素子１３は、図５に示す１画素３Ｔ型の第１撮像素子１１のフォトダイオードＰＤと増幅トランジスタＴ２のゲートとの間に、転送トランジスタＴ４を挿入し、フォトダイオードＰＤのアノードとカソードを入れ替えてアノードをＧＮＤに接続した構成である。転送トランジスタＴ４は、フォトダイオードＰＤの浮遊拡散層（ＦＤ）に蓄積された電荷を、転送選択線ＴＬで選択されたときに完全に転送し、これによって残留電荷による残像とノイズの発生をなくす。なお、第１撮像素子１１や第２撮像素子１２についても、１画素４Ｔ型の画素としてもよく、この場合、図５のフォトダイオードＰＤと増幅トランジスタＴ２のゲートとの間に転送トランジスタＴ４を挿入する。
以下、カラー撮像素子１０の各要素について詳細に説明する。

第１撮像素子１１および第２撮像素子１２はそれぞれ、光電変換膜５１，５２が色選択性および光電変換効率に優れた有機材料からなり、また、回路層２１，２２が、各画素におけるより広い領域で光Ｌ_B，Ｌ_G，Ｌ_Rを透過するように薄膜トランジスタ（ＴＦＴ）構造を有すると共に、電子移動度の高い半導体材料で形成される。撮像素子１１，１２は、図７に示すように、光電変換膜５１，５２それぞれの上下面に接続する画素毎に分離した画素電極３３と全面に形成された対向電極３４、および対向電極３４を被覆する保護膜（絶縁膜）４３をさらに備える。第３撮像素子１３は、裏面照射型ＣＭＯＳイメージセンサ（例えば、特許第３７５９４３５号公報、特開２０１５－５６５１８号公報参照）であり、図７に示すように、フォトダイオード５３と回路部２３のトランジスタ５４とがＳｉ基板５０に形成されている。そして、Ｓｉ基板５０の表面上（図７における下側）に回路部２３の配線３５および絶縁層４５が形成されている。

第３撮像素子１３を土台として、Ｓｉ基板５０の裏面上に絶縁膜４４を挟んで第２撮像素子１２が製造される。一方、第１撮像素子１１は、透明な基板４０を土台として製造される。そして、カラー撮像素子１０は、第１撮像素子１１と第２撮像素子１２および第３撮像素子１３とを、それぞれの最上層の絶縁膜４３同士が接合して組み立てられる（特許文献３参照）。したがって、カラー撮像素子１０において、第１撮像素子１１と第２撮像素子１２とは、積層順が逆になる。本実施形態においては、第１撮像素子１１と第２撮像素子１２とは、光電変換膜５１，５２の材料以外は同一構造であり、また、平面視で重複するように、それぞれの製造時におけるレイアウトが互いに鏡像に設計されている。すなわち、カラー撮像素子１０は、光の入射側から順に、基板４０、回路層２１、画素電極３３、光電変換膜５１、対向電極３４、絶縁膜４３、対向電極３４、光電変換膜５２、画素電極３３、回路層２２、絶縁膜４４、Ｓｉ基板５０、配線３５および絶縁層４５を備える。なお、図７に、カラー撮像素子１０の画素間の境界を一点鎖線で表す。

カラー撮像素子１０は、このような構成により、最下層の読出回路２３以外の、光を透過させる読出回路２１，２２にも、電子移動度の高い高温プロセスによる半導体材料を適用することができる。撮像素子１１，１２，１３は、応答速度が高速であることが好ましく、露光と信号出力を合わせて１フレームの１／２以内で可能とし、１／３以内で可能とすることが好ましい。それと共に、カラー撮像素子１０は、色選択性および光電変換効率に優れるが耐熱性の劣る有機材料からなる光電変換膜５１，５２、および広い分光感度を有するＳｉからなるフォトダイオード５３の計３つの光電変換部５１，５２，５３を、互いの間隔を広く設けることなく光Ｌの進行方向に積層して備えることができる。具体的には、カラー撮像素子１０は、光電変換膜５１の受光面からフォトダイオード５３の受光面までの距離（厚さ方向長）を、最短で１０μｍ以下に形成することができる。カラー撮像素子１０において、光電変換膜５１と光電変換膜５２、および光電変換膜５２とフォトダイオード５３の、それぞれの受光面同士の距離（厚さ方向長）ｄ１，ｄ２は、その合計（ｄ１＋ｄ２）が焦点深度δ以下であることが好ましい。許容錯乱円径がカラー撮像素子１０の画素長と等しいと仮定して、焦点深度δは画素長の２倍であり、それ以下に合計（ｄ１＋ｄ２）が設計されることが好ましく、光電変換膜５１の受光面からフォトダイオード５３の受光領域の最深部（例えば受光面の１μｍ下）までの距離が焦点深度δ以下であることがより好ましい。例えばカラー撮像素子１０の画素長が５μｍの場合には、光電変換膜５１の受光面からフォトダイオード５３の受光面までの距離（ｄ１＋ｄ２）が１０μｍ以下に設計されることが好ましい。

（光電変換膜）
光電変換膜５１，５２は、固有の波長域の光に感度を有してこれを吸収して電荷に変換し、その他の波長域の光を透過させる有機材料からなる。最下層（フォトダイオード５３）以外の光電変換部にこのような材料を適用することにより、光の入射側からＲ，Ｇ，Ｂの各色の光を任意の順序で受光することができる。本実施形態においては、間に配置された第２撮像素子１２の光電変換膜５２に、視感度の高い緑色光Ｌ_Gに感度を有する有機材料を適用する。また、最も光の入射側寄りに配置される光電変換膜５１に、青色光Ｌ_Bに感度を有する有機材料を適用する。光電変換膜５１，５２は、膜厚が５０ｎｍ以上であることが好ましく、光吸収極大波長での吸収率が９０％以上、すなわち吸光度Ａ（Ａ＝－ｌｏｇ(Ｉ／Ｉ₀)、（Ｉ／Ｉ₀：透過率））が１．０以上であることが好ましい。一方で、光電変換膜５１，５２は、過剰に厚いと、入射した光をすべて吸収してしまいそれ以上の効果がなく、また、透過させる光（光電変換膜５１においては赤色光Ｌ_Rおよび緑色光Ｌ_G、光電変換膜５２においては赤色光Ｌ_R）の透過率によってはこれらの光の透過量が低下する。さらに、光電変換膜５１と光電変換膜５２、および光電変換膜５２とフォトダイオード５３の、それぞれの受光面同士の距離ｄ１，ｄ２が長くなる。したがって、光電変換膜５１，５２は、それぞれの膜厚が１μｍ以下であることが好ましい。

青色光のみに感度を有し、かつ緑色光および赤色光を透過する有機材料としては、クマリン誘導体、ポルフィリン誘導体、ジナフトチエノチオフェン誘導体が挙げられる。緑色光のみに感度を有し、かつ青色光および赤色光を透過する有機材料としては、キナクリドン誘導体やペリレン誘導体が挙げられる。赤色光のみに感度を有し、かつ青色光および緑色光を透過する有機材料としては、フタロシアニン誘導体やナフタロシアニン誘導体が挙げられる。その他に、アクリジン、シアニン、スクエアリリウム、オキサジン、キサンテントリフェニルアミン、ベンジジン、ピラゾリン、スチリルアミン、ヒドラゾン、トリフェニルメタン、カルバゾール、ポリシラン、チオフェン、ポリアミン、オキサジアゾール、トリアゾール、トリアジン、キノキサリン、フェナンスロリン、フラーレン、アルミニウムキノリン、ポリパラフェニレンビニレン、ポリフルオレン、ポリビニルカルバゾール、ポリチオール、ポリピロール、ポリチオフェン、およびこれらの誘導体等を単独で、あるいはこれらに代表される有機材料を２種類以上混合または積層することにより、青色光、緑色光、または赤色光のみに感度を有する光電変換材料を調製することが可能である。

光電変換膜５１，５２は、暗電流（光が入射されていない時に出力される電流）の低減や当該光電変換膜５１，５２の量子効率向上のために、電子輸送材料、正孔輸送材料、電子注入阻止（電子ブロッキング）材料、正孔注入阻止（正孔ブロッキング）材料等を、前記有機材料（有機光電変換材料）に混合または積層して備えてもよい。電子注入阻止材料としては、トリフェニルアミン系化合物、スチリルアミン系化合物、カルバゾール系化合物等が挙げられ、正孔注入阻止材料としては、フェナンスロリン系化合物、アルミニウムキノリン系化合物、オキサジアゾール系化合物、シロール系化合物等が挙げられ、一般に有機デバイスで扱われている材料を適用することができる。電子注入阻止材料、正孔注入阻止材料についてはさらに、酸化ガリウム、酸化ニッケル等の無機材料を用いることもできる。これらの材料を備える場合、有機光電変換層の片面に電子注入阻止層または正孔注入阻止層を、あるいは上下から挟むように電子注入阻止層と正孔注入阻止層をそれぞれの面に積層することが好ましい。

（画素電極、対向電極）
画素電極３３と対向電極３４は、光電変換膜５１，５２のそれぞれの両面に接続される一対の電極である。画素電極３３は、カラー撮像素子１０の画素毎に区画、離間したパターンに形成され、回路層２１，２２のトランジスタ（図４のトランジスタＴ１、図５のトランジスタＴ３）に電気的に接続する。対向電極３４は、全面に形成され、駆動装置９１の電源やＧＮＤに接続する。画素電極３３および対向電極３４は、必要な導電性が得られる膜厚以上に形成され、具体的には、それぞれの膜厚が１～１００ｎｍであることが好ましい。

画素電極３３は、光を第３撮像素子１３のフォトダイオード５３まで到達させるために、可視光の透過率の高い透明電極材料で形成される。透明電極材料としては、インジウムスズ酸化物（ＩＴＯ）、フッ素ドープ酸化スズ（ＦＴＯ）、アンチモンドープ酸化スズ（ＡＴＯ）、酸化インジウム・酸化亜鉛（ＩＺＯ）、酸化亜鉛（ＺｎＯ）、酸化スズ（ＳｎＯ₂）等が挙げられ、また、これらの膜を２種類以上積層してもよい。あるいは、画素電極３３は、Ａｌ，Ｃｕ，Ａｕ，Ａｇ，Ｐｔ，Ｐｄ，Ｆｅ，Ｃｏ，Ｎｉ，Ｃｒ，Ｔｉ，Ｗ，Ｍｏ，Ｖ，Ｍｎ，Ｔａ，Ｒｕ等の金属やその合金のような一般的な金属電極材料で、光を十分に透過する厚さ１０ｎｍ以下の薄膜に形成されてもよい。対向電極３４は、画素電極３３と同様に光を透過するように、前記の電極材料で形成することができる。ただし、対向電極３４は、光電変換膜５１，５２の上に成膜されるため、無加熱（室温等）成膜でも比較的良好な導電性が得られるＩＴＯ，ＩＺＯ等が好適である。また、対向電極３４は、ポリアセチレン系、ポリアニリン系、ポリピロール系、ポリチオフェン系に代表される導電性高分子を用いることもできる。

光電変換膜５１，５２と対向電極３４との間にバッファ層を備えてもよい（図示せず）。バッファ層が設けられていることによって、対向電極３４が成膜される際に、光電変換膜５１，５２へのダメージを低減することができる。バッファ層は、膜厚が１０～５００ｎｍであることが好ましい。バッファ層としては、ジピラジノ[２，３－ｆ：２'，３'－ｈ]キノキサリン－２，３，６，７，１０，１１－ヘキサカルボニトリル（ＨＡＴ－ＣＮ）や、ナフタレン－１，４，５，８－テトラカルボン酸二無水物（ＮＴＣＤＡ）等を適用することができる。

（回路層）
回路層２１および回路層２２は、それぞれＴＦＴ構造を有し、公知の構造とすることができ（例えば、特許文献３，４参照）、前記した通り、レイアウトが互いに鏡像に設計されていること以外は同一構造である。回路層２１，２２はそれぞれ、一例として、図７に示すように、ゲート電極３１と、ゲート絶縁膜４１と、半導体層２と、ソース・ドレイン電極３２と、水平信号線（図４および図５に示す画素選択線ＳＬ、リセット選択線ＲＬ）および垂直信号線（図４および図５に示す読出線ＯＬ、Ｖ_DD電源配線、Ｖ_RST電源配線）と、絶縁膜４２と、を備える。回路層２１および回路層２２は、画素毎に平面視で重複する少なくとも一部の領域が、光を透過する構造とし、より高い面積率で光を透過することが好ましい。そのために、光を透過しない部材、例えば金属電極材料で形成された水平信号線および垂直信号線は、画素間に配置されることが好ましい（図３のＳＬ，ＯＬ）。また、図７では、回路層２１と回路層２２とは、それぞれの形成時におけるレイアウトが互いに鏡像に設計されている。なお、光を透過する領域の平面視で重複する部分が十分に広ければ、回路層２１と回路層２２とは、異なるレイアウト、さらには異なる回路であってもよい。なお、図７においては、撮像素子１１，１２，１３は、半導体層２等を有するＴＦＴ構造を形成された部分の断面を示す。

回路層２１，２２の各要素は、前記した通り、公知のＴＦＴ構造のものとすることができる。特に、半導体層２は、可視光（光Ｌ_R，Ｌ_G，Ｌ_B）を吸収して半導体のスイッチング応答が変化することを防止するために、３．０ｅＶ以上のバンドギャップを有する材料が好ましく、透明度の高い材料が好ましい。半導体層２はさらに、電子移動度が５ｃｍ²／Ｖ・ｓ以上が好ましく、１０ｃｍ²／Ｖ・ｓ以上がさらに好ましい。このような半導体材料として、酸化亜鉛（ＺｎＯ）やアモルファス酸化物半導体（インジウム・ガリウム・酸化亜鉛：ＩｎＧａＺｎＯ₄）等が挙げられ、電子移動度を高くするために、材料等によるが、成膜温度やアニール温度が３００～４５０℃程度で形成される。また、第２撮像素子１２の回路層２２の各要素は、第３撮像素子１３（Ｓｉ基板５０、配線３５）の耐熱温度以下で形成されるように材料を選択される。さらに回路層２２は、厚さが最大１μｍ以下であることが好ましい。

（保護膜）
保護膜４３は、対向電極３４を保護する絶縁膜であり、また、第１撮像素子１１と第２撮像素子１２との貼り合わせ前における当該保護膜４３の表面を平坦な面とするための平坦化膜である。保護膜４３は、光電変換膜５１，５２の形成後に成膜されるので、対向電極３４と同様、１５０℃以下の低温で成膜可能な、光を透過する材料で形成される。具体的には、ＳｉＯ₂，ＳｉＮ，Ａｌ₂Ｏ₃，ＴｉＯ₂等の無機材料が挙げられ、これらの材料を２種以上積層してもよい。あるいは、ポリシラン、ポリビニルカルバゾール、ポリイミド、ポリパラキシレンビニレン等の樹脂材料で形成することができる。保護膜４３は、膜厚が０．１μｍ以上であることが好ましく、成膜後にＣＭＰ（化学機械研磨：Chemical Mechanical Polishing）法で表面を平滑に加工されて形成される場合には、最小で１μｍ以上であることが好ましい。一方で、第１撮像素子１１と第２撮像素子１２との受光面間の距離ｄ１を短くするために、膜厚が最大で３μｍ以下であることが好ましく、２μｍ以下であることがより好ましい。

（Ｓｉ基板）
Ｓｉ基板５０は、回路部２３のトランジスタＴ１，Ｔ２，Ｔ３，Ｔ４（図６参照）を構成するトランジスタ５４、およびフォトダイオード５３の材料であり、これらを形成するための土台である。本実施形態では、トランジスタ５４がＭＯＳＦＥＴ（金属酸化膜半導体電界効果トランジスタ）で形成されるため、Ｓｉ基板５０は、単結晶シリコン基板を材料とすることが好ましく、ここでは、フォトダイオード５３の構成に対応して、ｐ型Ｓｉ基板（ｐ－ｓｕｂ）を適用する。また、第３撮像素子１３が裏面照射型ＣＭＯＳイメージセンサであることから、Ｓｉ基板５０は、下側（光の入射側の反対側）の表層にトランジスタ５４が形成され、裏面からの研削により厚さが数μｍ～数十μｍに薄化され、研削された裏面が上に向けられている。

（フォトダイオード）
フォトダイオード５３は、Ｓｉ基板５０に形成された埋込みフォトダイオード（Pinned Photodiode）である。Ｓｉは、可視領域を含む広い分光感度を有するので、第３撮像素子１３は、いずれの波長域の光（Ｌ_B，Ｌ_G，Ｌ_R）も電荷に変換することができる。カラー撮像素子１０においては、青色光Ｌ_Bが光電変換膜５１に吸収され、緑色光Ｌ_Gが光電変換膜５２に吸収されているので、フォトダイオード５３は赤色光Ｌ_Rを入射されて受光する。そのために、フォトダイオード５３は、Ｓｉ基板５０の上面から少なくとも３μｍ程度の深さの領域に形成される。本実施形態では、ｐ型のＳｉ基板５０において下から順に、ｎ^-エピタキシャル層（図７中、「ｎ－ｅｐｉ」）５０ｎ、ｐ^-エピタキシャル層（図７中、「ｐ－ｅｐｉ」）５０ｐが積層されたｎｐ二重エピタキシャル基板でフォトダイオード５３が形成される。また、Ｓｉ基板５０は、ｎ^-エピタキシャル層５０ｎ内に、画素毎に当該画素を囲うようにｐウェル（図７中、「ｐ－ｗｅｌｌ」）５４ｐが形成されている。フォトダイオード５３はさらに、Ｓｉ基板５０の下側表層に、ｎ^-エピタキシャル層５０ｎのｐウェル５４ｐに囲われた領域を覆うｎ⁺拡散層（図７中、「ｎ⁺」）５３ｎ、およびｎ⁺拡散層５３ｎに積層されたｐ⁺拡散層（図７中、「ｐ⁺」）５３ｐを備える。また、Ｓｉ基板５０のｐ⁺層（図７中、「ｐ－ｓｕｂ」）５０ｓは、フォトダイオード５３のアノードとして、ＧＮＤに接続されるために、カラー撮像素子１０の周縁部において、Ｓｉ基板５０の上面に接続する電極（図示省略）が形成されている。

（回路部）
トランジスタ５４は、Ｓｉ基板５０に形成されたｐウェル５４ｐ、ｐウェル５４ｐ内に形成されたｎ⁺拡散層（図７中、「ｎ⁺」）５４ｎ、およびＳｉ基板５０の下面に薄い酸化膜（ゲート酸化膜）を挟んで形成されたｐｏｌｙ－Ｓｉ膜からなるゲート５４ｇからなる。さらに、ｐウェル５４ｐ内には、ｐウェル５４ｐをＧＮＤ（０Ｖ）に電気的に接続するためのｐ⁺拡散層（図示省略）が形成されている。そして、ゲート５４ｇ、ｎ⁺拡散層５４ｎ、およびｐ⁺拡散層には、配線３５が接続される。なお、図７においては、回路部２３の一部の、ｎ型ＭＯＳ（ＮＭＯＳ）からなるトランジスタを示す。ｐ型ＭＯＳ（ＰＭＯＳ）は、ｐウェル５４ｐ内にｎウェル（ｎ－ｗｅｌｌ）を形成し、このｎウェル内にさらにｐ⁺拡散層を形成して、トランジスタのソース、ドレインとする。

配線３５は、トランジスタ５４に接続するゲート電極およびソース・ドレイン電極、ならびに回路部２３の水平信号線および垂直信号線（図６に示す画素選択線ＳＬ、読出線ＯＬ、リセット選択線ＲＬ、転送選択線ＴＬ、Ｖ_DD電源配線、Ｖ_RST電源配線）を構成し、Ｓｉ基板５０の下側に形成される。配線３５は、一般的な金属電極材料で形成することができ、特に、半導体素子の配線に一般に適用されるＡｌやＣｕが好ましく、さらに必要に応じてＴｉ，Ｗ等からなるバリア膜（バリアメタル膜）が設けられる。ここでは、配線３５は、耐熱性に比較的優れ、加工の容易なＡｌまたはＡｌ合金で形成される。このような構成により、第３撮像素子１３の耐熱温度は４５０℃程度となり、第２撮像素子１２の回路層２２（半導体層２）を高温プロセスで形成することができる。

絶縁層４５は、Ｓｉ基板５０の下面を被覆し、配線３５、トランジスタ５４間や配線３５同士等を絶縁する。絶縁層４５は、半導体装置の層間絶縁膜に適用される絶縁材料を適用することができる。具体的には、ＳｉＯ₂，ＳｉＮ，ＳｉＯＮ，Ａｌ₂Ｏ₃，ＭｇＯ，ＭｇＦ₂，ＳｉＣ（シリコンカーバイド）等の無機材料が挙げられる。ＳｉＯ₂には、ＢＰＳＧ（Boron Phosphorus Silicon Glass）、ＰＳＧ（Phosphorus Silicon Glass）も含まれる。絶縁層４５は、単一の材料でなくてよく、層や領域によって異なる材料で形成されてもよい。

（絶縁膜）
絶縁膜４４は、第２撮像素子１２の回路層２２と第３撮像素子１３のＳｉ基板５０との間に設けられる。絶縁膜４４は、上に回路層２２の半導体層２を形成されるための耐熱性を有し、また、赤色光Ｌ_Rを透過するように、絶縁層４５等と同様の無機絶縁材料で形成することができる。絶縁膜４４の膜厚は、０．１μｍ以上であることが好ましく、第２撮像素子１２と第３撮像素子１３との受光面間の距離ｄ２を短くするために、２μｍ以下であることが好ましく、１μｍ以下であることがより好ましい。

（基板）
基板４０は、第１撮像素子１１を形成するための土台であり、光の入射側と反対側の面（下面）上に第１撮像素子１１が形成される。基板４０は、カラー撮像素子１０において最上層に設けられるため、光（可視光）を透過し、さらに回路層２１（半導体層２）を形成するための耐熱温度を有する絶縁材料で形成される。具体的には、ＳｉＯ₂（酸化ケイ素、ガラス）、ＭｇＯ（酸化マグネシウム）、サファイア、ＧＧＧ（ガドリニウムガリウムガーネット）等が挙げられる。

フォトダイオード５３を構成するＳｉは、可視領域外の光（近赤外線、紫外線等）にも感度を有するので、カラー撮像素子１０は、このような光を吸収するフィルタを、Ｓｉ基板５０よりも上に、特に最上層（第１撮像素子１１上）に備えることが好ましい（図示省略）。あるいは、撮像装置１００において、カラー撮像素子１０の光の入射側にフィルタを備えてもよい。

カラー撮像素子１０は、必要に応じて、第３撮像素子１３の下に、これを支持するための土台として支持基板を備える（図示省略）。支持基板は、Ｓｉ基板５０を裏面研削で薄化する際に、表側の絶縁層４５の表面に貼り合わされる。支持基板は、第２撮像素子１２、特に半導体層２を形成されるための耐熱性を有する、公知の基板材料が適用される。

（空間光変調器）
符号化開口は、マトリクス状に配列したマスの一部が開口した開口パターンを有し、被写体ＯＢからカラー撮像素子１０の各画素に入射する光の一部を遮蔽する。本実施形態においては、明暗（白黒）２階調の空間光変調器（ＳＬＭ）８を符号化開口に適用する。空間光変調器８は、その１画素が開口パターンの１マスに対応して、「明」表示の画素を微小な開口として任意の開口パターンを電気的手段により形成し、さらに２通り以上に開口パターンを切り替えることができる。空間光変調器８は、液晶ディスプレイ（ＬＣＤ）等の透過型の液晶光変調器を適用することができる。詳しくは、空間光変調器８は、第１撮像素子１１のように透明な基板上にＴＦＴおよび画素電極が形成され、対向電極を成膜した別の基板との間に液晶材料が封入され、さらに両側の基板のそれぞれの外側に、位相差板および偏光板が配置される。ＴＦＴは、回路層２１等と同様に、画素の配列方向に延設した水平信号線（走査線）と垂直信号線（ソース線）を備え、それぞれ駆動装置９１の垂直走査回路と水平走査回路に接続される。また、空間光変調器８は、応答速度が、撮像のフレームレートの２倍以上、好ましくは３倍以上であり、そのために、応答速度が高速な強誘電性液晶（ＦＬＣ：Ferroelectric Liquid Crystal）によるものが好ましい。

空間光変調器８は、カラー撮像素子１０の各画素の一部の領域に光が入射させることが好ましく、そのために、理想的には、カラー撮像素子１０の１画素に対して２×２以上の画素を有する。しかし、空間光変調器８は、画素数に比例して大型化し、さらに、カラー撮像素子１０に対して大きくなるにしたがい合焦距離が長くなる傾向があるので、カラー撮像素子１０との間隔を長く設けて配置される必要があり、撮像装置１００が大型化する。また、空間光変調器８は、駆動方式によっては、画素数が多いと開口パターンの切替えに時間（応答時間）がかかる。そこで、本実施形態に係る撮像装置１００は、図３に示すように、カラー撮像素子１０と空間光変調器８とが、それぞれの画素が１対１で対応すると共に、空間光変調器８の「明」表示の１画素（図中、白抜きで表す）を透過した光Ｌが、カラー撮像素子１０に、水平（Ｈ）方向、垂直（Ｖ）方向それぞれにおいてカラー撮像素子１０の画素長の１／２ずれて入射するように配置される。詳しくは、水平方向、垂直方向それぞれにおいて、空間光変調器８のｋ番目の画素を透過した光Ｌは、カラー撮像素子１０の（ｋ－１）番目の画素とｋ番目の画素とにわたって入射する。ｋは、空間光変調器８、カラー撮像素子１０の、水平方向、垂直方向における画素の配列数以下の任意の自然数である。したがって、空間光変調器８の「明」表示の１画素を透過した光Ｌは、カラー撮像素子１０の２×２の４画素にわたって、それぞれの１／４（(１／２)²）の領域に入射する。言い換えると、カラー撮像素子１０の１画素に入射する光は、空間光変調器８の２×２の４画素のうちの「明」表示の画素を透過した光Ｌである。図３に、最上層の第１撮像素子１１の光電変換部５１の光の入射面（受光面）に、光Ｌが入射する領域を白抜きとして網掛けを付す。なお、図３においては、簡潔に表すために、空間光変調器８とカラー撮像素子１０との画素長（画素ピッチ）を同じとし、さらに、光学系７２を省略し、光Ｌを直進するように表す。このような構成により、空間光変調器８は、カラー撮像素子１０と同数の画素を有しつつ、カラー撮像素子１０のすべての画素に光を入射させ、かつそれぞれの画素に入射する光に符号化開口の効果を付与することができ、この効果は、カラー撮像素子１０の１画素に対して空間光変調器８が２×２の４画素を有する場合と同等となる。

図３に示すように、カラー撮像素子１０の画素数（４×４）に対して、空間光変調器８の画素数（５×５）は、水平方向および垂直方向に１ずつ多い。したがって、カラー撮像素子１０の入射面の端に配列された画素に対しても、空間光変調器８の２×２の４画素から選択された「明」表示の画素を透過した光Ｌを入射することができる。あるいは、空間光変調器８の画素数は、カラー撮像素子１０の画素数に対して同数であってもよいし、水平方向や垂直方向に１ずつ少なくてもよい。この場合には、カラー撮像素子１０の入射面の端に配列された画素に対しては、空間光変調器８の２×１または１×２の２画素のうちの「明」表示の画素を透過した光Ｌが入射し、すなわち、２×２の４画素における外側の２画素が常に非開口（「暗」表示）であることに相当する。

空間光変調器８は、前記したように撮像装置１００の大型化を抑制するために、全体の大きさ（長さ）が、カラー撮像素子１０に対して大き過ぎないことが好ましく、具体的にはカラー撮像素子１０の５倍以下であることが好ましく、２倍以下であることがさらに好ましい。空間光変調器８は、前記したようにカラー撮像素子１０と同じ画素数であるので、画素長がカラー撮像素子１０の画素長の５倍以下であることが好ましく、２倍以下であることがさらに好ましい。空間光変調器８は一方、画素が微細化すると、開口長（１画素（開口の最小単位）における開口領域の長さ）が小さくなって、カラー撮像素子１０に入射する光の光量が低下するので、画素長が１μｍ以上であることが好ましい。

（光学系）
光学系７１，７２はそれぞれ、１以上のレンズで構成され、図１では簡潔に、１枚の凸レンズで表す。光学系７１は、空間光変調器８の光の入射側に設けられて、被写体ＯＢからの光Ｌを空間光変調器８で結像させる。光学系７２は、空間光変調器８とカラー撮像素子１０との間に設けられて、空間光変調器８の開口（「明」表示の画素）から発散した光を収束させて、カラー撮像素子１０で合焦させる。光Ｌの合焦する位置を、合焦面ｆｐと称する。図１では、第２撮像素子１２の光電変換膜５２と第３撮像素子１３の光電変換部５３との間で、光が合焦している。光電変換膜５１、光電変換膜５２、および光電変換部（フォトダイオード）５３は、それぞれの受光面の合焦面ｆｐからの距離が、焦点深度δの１／２以下であることが好ましく、受光領域全体における合焦面ｆｐからの距離がδ／２以下であることがより好ましい。そのために、光学系７２は、焦点深度δが光電変換膜５１の受光面から光電変換部５３の受光面までの距離（ｄ１＋ｄ２）以上となるように、レンズのＦ値等を設計することが好ましい。そして、光学系７２は、光Ｌを、最上層の第１撮像素子１１の光電変換膜５１の受光面から最下層の第３撮像素子１３の光電変換部５３の受光面までの間で合焦させることが好ましく、撮像素子１１，１３の各受光面同士の中間または第２撮像素子１２の受光面で合焦させることがより好ましい（図２参照）。また、光学系７２は、空間光変調器８の１つの開口から出射した光を、合焦面ｆｐにおいて、前記したように、カラー撮像素子１０の１画素分（２×２の４画素の各１／４の領域）の範囲に入射させることが好ましい（図３参照）。

（駆動装置、復号化装置）
駆動装置９１は、電源、垂直走査回路、水平走査回路、およびこれらを制御する制御回路等を備えて、カラー撮像素子１０の撮像素子１１，１２，１３の各読出回路２１，２２，２３、および空間光変調器８に接続し、これらを同期させて駆動する。復号化装置９２は、読出回路２１，２２，２３から駆動装置９１を経由して電気信号を入力されて、画像を再構成する。駆動装置９１および復号化装置９２については、後記の撮像方法にて詳細に説明する。

（撮像方法）
本発明の第１実施形態に係る撮像装置による撮像方法について、図１、図２、および図８を参照して説明する。被写体ＯＢから撮像装置１００に入射した光Ｌは、空間光変調器８の開口のそれぞれから発散し、光学系７２によって収束しながらカラー撮像素子１０に入射する。光Ｌは、空間光変調器８の微小な開口を通ることにより、直接に（円形絞りのみを通って）結像するよりもぼけの小さい像をカラー撮像素子１０で結像する。そして、光Ｌから青色光Ｌ_B、緑色光Ｌ_G、赤色光Ｌ_Rの順に、撮像素子１１，１２，１３の光電変換部５１，５２，５３に吸収されて電荷に変換される。図２に示すように、合焦面ｆｐが第２撮像素子１２の受光面に合わせられているので、緑色光Ｌ_Gは、第２撮像素子１２の受光面で合焦して、ぼけのない画像（合焦画像）の信号が第２撮像素子１２によって取得される。さらに、第１撮像素子１１、第３撮像素子１３の各受光面も焦点深度内に配置されているので、青色光Ｌ_Bおよび赤色光Ｌ_Rについても、実質的にぼけのない画像の信号が撮像素子１１，１３によってそれぞれ取得される。なお、図２において、光電変換部５１，５２，５３に付した太線枠は、撮像素子１１，１２，１３の画素の開口部（有効領域）を表す。被写体ＯＢのある１点から照射された光Ｌにおいて、緑色光Ｌ_Gは、第２撮像素子１２の受光面において、隣り合う２画素の各１／２の領域に、すなわち１画素分の領域に入射する。これに対して、青色光Ｌ_Bおよび赤色光Ｌ_Rは、撮像素子１１，１３の隣り合う２画素において広がるものの、これらの外側の画素までには及ばない。

また、撮像装置１００は、駆動装置９１が、走査期間ｔ_scanにおいて、空間光変調器８の走査信号線（図８のＳＬＭ）を１本ずつ選択して、画素の１列（ライン）毎に電圧を印加する。なお、図８においては、空間光変調器８のすべての走査信号線を一つにまとめて示す。これにより、走査期間ｔ_scanの後、空間光変調器８に所望の開口パターンが形成され、被写体ＯＢからの光Ｌが各開口を透過して発散する。図３を参照して前記したように、カラー撮像素子１０の１画素に、空間光変調器８の２×２の４画素のうちの「明」表示の画素を透過した光が入射する。空間光変調器８は、カラー撮像素子１０の各画素に入射する光についてその一部を遮蔽することが好ましい。したがって、開口パターンは、空間光変調器８におけるすべての２×２の４画素のうちの１ないし３画素が「明」表示であることが好ましく、１画素または対角上の２画素が「明」表示であることがさらに好ましい。

本実施形態では、符号化開口である空間光変調器８の開口パターンの形成を１フレーム期間ｔ_F内で３回実行して、図８に示す３通りの開口パターンＣＡ１，ＣＡ２，ＣＡ３に切り替える。開口パターンＣＡ１，ＣＡ２，ＣＡ３は、互いに、カラー撮像素子１０の各画素の異なる部分を遮光することが好ましい。空間光変調器８が開口パターンを変化させることにより、撮像素子１１，１２，１３のそれぞれの受光面に入射する光Ｌ_B，Ｌ_G，Ｌ_Rは、１画素内または隣り合う画素にわたる僅かに異なる部分に入射し、その結果、僅かに異なる画像の信号が取得される。そこで、図８に示すように、撮像装置１００は、撮像時に、１フレーム期間内で、空間光変調器８を開口パターンＣＡ１，ＣＡ２，ＣＡ３に切り替えると共に、開口パターン毎に、撮像素子１１，１２，１３による露光（ＥＸＰ（１）、ＥＸＰ（２）、ＥＸＰ（３））および信号出力を実行する（図８には、露光期間ｔ_expのみを示す）。すなわち、撮像素子１１，１２，１３は、フレームレートの３倍速で駆動する。

このような駆動方法により、１フレーム期間内に、色毎に３通り、計９の画像データが取得される。開口パターンＣＡ１，ＣＡ２，ＣＡ３のぼけ関数（ＰＳＦ：Point Spread Function、点拡がり関数）をｆ₁，ｆ₂，ｆ₃、開口パターンＣＡ１，ＣＡ２，ＣＡ３をそれぞれ透過して取得した単色の画像をｙ₁，ｙ₂，ｙ₃と表すと、再構成像Ｘは、下式（１）で表される。なお、Ｆ（ｆ₁，ｆ₂，ｆ₃）、Ｙ（ｙ₁，ｙ₂，ｙ₃）である。再構成像Ｘは、例えば、圧縮センシング（平林晃，北原大地，“圧縮センシングの基礎と画像取得への応用”，一般社団法人日本光学会，光学，４６巻，１０号，ｐ．３９３～３９７，２０１７年）での演算で得られる。
Ｘ＝Ｆ^-1Ｙ ・・・（１）

空間光変調器８の開口パターン数は２以上とし、３以上が好ましく、多いほど再構成像Ｘの空間解像度が向上する。一方で、開口パターン数を多くすると、撮像素子１１，１２，１３および空間光変調器８の各応答速度や、露光期間ｔ_expの限界によっては、フレームレートを遅くする必要があり、時間解像度が低下する。

再構成像Ｘは、Ｒ，Ｇ，Ｂの各色の単色の画像であるから、これらを合成してカラー画像とする。このとき、色補正を施して再構成することが好ましく、一般的な色信号処理手法を用いることができる。例えば、まず、白い被写体を撮像した際に、白を表現する信号となるように各色の像信号のゲインを下式（２）で補正する。Ｋ_R，Ｋ_G，Ｋ_Bは補正係数である。さらに、下式（３）で、リニアマトリックス処理を施し、全体の色調を変化させて自然なカラー画像とする。Ｃは、補正係数である。

本実施形態に係る撮像装置１００においては、光軸方向の位置の異なる撮像素子１１，１２，１３が、色別に画像を取得するので、ぼけ関数Ｆは色別に求める。あるいは、各色の再構成像Ｘを光学的に補正して平行光線を得る。

（変形例）
図９に示すように、撮像素子１１，１２，１３の１つまたは２つは、図８と同様に空間光変調器８の開口パターン毎に露光し（ＥＸＰ（３））、その他は、１フレーム毎に（ＥＸＰ（１））または２つの開口パターンにわたって（ＥＸＰ（２））露光してもよい。あるいは、撮像素子１１，１２，１３の１つは、開口パターン毎に露光し（ＥＸＰ（３））、別の１つは１フレーム毎に露光し（ＥＸＰ（１））、残りの１つは２つの開口パターンにわたって露光し（ＥＸＰ（２））てもよい。例えば、第１撮像素子１１および第２撮像素子１２は、１フレーム毎に露光して、開口パターンＣＡ１，ＣＡ２，ＣＡ３の各画像ｙ₁，ｙ₂，ｙ₃を多重（三重）露光し、第３撮像素子１３は開口パターン毎に露光する。撮像素子１１，１２が撮像した青色、緑色の多重露光画像は、第３撮像素子１３が撮像した赤色の画像ｙ₁，ｙ₂，ｙ₃の差分に基づき再構成される。そして、再構成した画像を、前記実施形態と同様にさらに再構成する。

このような方法によれば、撮像素子１１，１２，１３の少なくとも１つを３倍速（２倍速以上）で駆動すればよいので、単結晶Ｓｉで形成された読出回路２３を有して高速駆動が容易な第３撮像素子１３を３倍速で駆動して、フレームレートを高速化することができ、時間解像度が向上する。あるいは、第１撮像素子１１について、基板４０に高耐熱ガラス等を適用して、高温（５００～６００℃程度）で回路層２１（半導体層２）を形成して、高速駆動可能な構成とすることもできる。その結果、空間解像度および時間解像度が共に高いカラー画像が得られる。また、短露光によって赤色の画像ｙ₁，ｙ₂，ｙ₃にちらつき（フリッカ）を生じた場合には、長露光による青色、緑色の多重露光画像によって補正することができる。

２つの開口パターンにわたって露光した場合には、開口パターンＣＡ１，ＣＡ２の各画像ｙ₁，ｙ₂、開口パターンＣＡ３，ＣＡ１の各画像ｙ₃，ｙ₁、および開口パターンＣＡ２，ＣＡ３の各画像ｙ₂，ｙ₃を、それぞれ二重露光する。奇数フレーム目においては画像ｙ₁，ｙ₂の二重露光画像が、偶数フレーム目においては、画像ｙ₃，ｙ₁および画像ｙ₂，ｙ₃の２つの二重露光画像が、それぞれ撮像される。二重露光画像についても、前記の多重露光画像と同様に、開口パターン毎に露光して撮像された画像ｙ₁，ｙ₂、画像ｙ₂，ｙ₃、および画像ｙ₃，ｙ₁の各差分に基づき再構成される。また、空間光変調器８の開口パターンをＣＡ１，ＣＡ２，ＣＡ３，ＣＡ４（図示省略）の４通りとして、第３撮像素子１３を４倍速で駆動し、撮像素子１１，１２を２倍速で駆動して、開口パターンＣＡ１，ＣＡ２の各画像ｙ₁，ｙ₂の二重露光と開口パターンＣＡ３，ＣＡ４の各画像ｙ₃，ｙ₄の二重露光とを行うこともできる。

前記したように、カラー撮像素子１０は、Ｒ，Ｇ，Ｂの各色の光を任意の順序で受光するように構成することができる。例えば、最も入射側寄りに配置されて光を高効率で入射される第１撮像素子１１の光電変換膜５１は、視感度の高い緑色光Ｌ_Gに感度を有し、かつ青色光Ｌ_Bおよび赤色光Ｌ_Rを透過する有機材料が適用されてもよい。一方、第３撮像素子１３のフォトダイオード５３は、青色光Ｌ_Bまたは緑色光Ｌ_Gを受光する構成としてもよく、青色光Ｌ_Bを受光する場合にはＳｉ基板５０の上面から３００ｎｍ程度の深さの領域に形成されるので、撮像素子１２，１３の受光面間距離ｄ２を短くすることができる。また、最下層に配置される第３撮像素子１３は、光電変換部５３に、耐熱性が高く、可視領域全体に分光感度を有する光電変換材料として、結晶セレン（ｃ－Ｓｅ）や組成ＣｕＩｎ_1-xＧａ_x(Ｓｅ_1-yＳ_y)のカルコパイライト構造の化合物半導体（ＣＩＧＳ）を適用することができる。

また、カラー撮像素子１０は、第１撮像素子１１と第２撮像素子１２の間や第２撮像素子１２と第３撮像素子１３の間に、画素毎にマイクロレンズを配列したマイクロレンズアレイを備えてもよい。マイクロレンズアレイにより、受光面間の距離ｄ１，ｄ２を光学的に短縮することができる。そこで、第３撮像素子１３を、第１撮像素子１１と同様に、有機材料からなる光電変換膜を読出回路２３上に備える構成としてもよい。第３撮像素子１３は、回路部２３のトランジスタ５４をＳｉ基板５０の表層に形成することができ、Ｓｉ基板５０上にトランジスタ５４に接続する画素電極を金属電極材料で形成し、さらにその上に光電変換膜を成膜すればよい。この場合には、第２撮像素子１２を基板４０上に形成し、必要に応じて基板４０の裏面を研削して薄肉化して、第３撮像素子１３の上にマイクロレンズアレイを形成してその上に貼り合わせる。あるいは、第３撮像素子１３は、表面照射型ＣＭＯＳイメージセンサであってもよい。マイクロレンズアレイは、第３撮像素子１３上に、画素毎にドーム状のマイクロレンズを高屈折率材料で形成し、その上に低屈折率材料で凹凸を埋めて平坦化して得られる。

Ｓｉ等の２以上の波長域にわたって分光感度を有する材料を適用した第３撮像素子１３のフォトダイオード（光電変換部）５３は、光電変換膜５１，５２が青色光Ｌ_Bや緑色光Ｌ_Gを完全に吸収せずに一部を透過すると、これらの光も吸収してしまう。このような場合には、カラー撮像素子１０は、第２撮像素子１２と第３撮像素子１３との間に、赤色光Ｌ_R以外の可視光を吸収するカラーフィルタを設けることが好ましい。カラーフィルタは、上に第２撮像素子１２（半導体層２）を形成されるために、耐熱性を有する誘電体多層膜で形成された、フォトニック結晶構造による光学フィルタを適用されることが好ましい。あるいは、顔料等を含有する有機材料からなる一般的なカラーフィルタを適用することもできる。この場合には、カラーフィルタの上または下にマイクロレンズアレイを備えて受光面間の距離ｄ２を光学的に短縮して、前記したように、基板４０上に形成した第２撮像素子１２を上に貼り合わせる。

撮像装置１００は、透過型の空間光変調器８を備えることにより、小型化をいっそう容易とするが、反射型の空間光変調器を備えることもできる。この場合、撮像装置１００は、空間光変調器の反射面（光の入出射面）側の、その法線に対して傾斜した光軸上に、光学系７２およびカラー撮像素子１０を配置する（図示省略）。反射型の空間光変調器は、例えば、ＬＣＯＳ（Liquid Crystal On Silicon）－ＳＬＭであり、透過型よりも応答速度が高速であり、また、トランジスタがＭＯＳＦＥＴで形成されているので、画素長（ピッチ）を４μｍ以下に微細化することができる。あるいは、反射型の空間光変調器は、応答速度がより高速なＤＭＤ（Digital Micromirror Device）を適用することができる。

撮像装置１００は、空間光変調器８の１つの開口から出射した光が、カラー撮像素子１０に、水平方向または垂直方向の一方のみにおいてカラー撮像素子１０の画素長の１／２ずれて入射する、すなわちカラー撮像素子１０の２×１または１×２の２画素にわたって、それぞれの１／２の領域に入射するように、カラー撮像素子１０と空間光変調器８とが配置されていてもよい。あるいはさらに、空間光変調器８は、垂直方向または水平方向の一方において、画素の配列数をカラー撮像素子１０の２倍としてもよい。詳しくは、空間光変調器８は、画素の配列数が、水平方向にカラー撮像素子１０の２倍、垂直方向にカラー撮像素子１０と同数またはその±１とする。そして、空間光変調器８の水平方向に隣り合う２つ（２×１）の画素が共に開口した状態と仮定して、この２×１の開口から出射した光が、カラー撮像素子１０の垂直方向に隣り合う２つ（１×２）の画素にわたって、それぞれの１／２の領域に入射する。このような構成によれば、空間光変調器８は、開口パターンの形成時間（応答時間）に影響する走査線（水平信号線）の本数を倍増させることなく、前記実施形態と同様に、カラー撮像素子１０の１画素に対して空間光変調器８が２×２の４画素を有する場合と同等の効果が得られる。さらに、空間光変調器８は、画素の水平方向の配列数を３倍以上（整数倍）とすることもできる。

以上のように、本発明の第１実施形態およびその変形例に係る撮像装置は、撮像素子を多画素化等、大型化することなく、画素数を超える解像度の画像を取得することができる。

〔第２実施形態〕
本発明に係る撮像装置は、カラー撮像素子が波長域毎に撮像素子を備えなくてもよく、撮像素子の数を少なくすることができると共に、最上層から最下層までの受光面間距離を短くして、画素の微細化等により焦点深度が短縮されても容易に焦点深度内に収めることができる。以下、本発明の第２実施形態に係る撮像装置について、図１０および図１を参照して説明する。第１実施形態（図１～９参照）と同一の要素については同じ符号を付し、説明を省略する。

本発明の第２実施形態に係る撮像装置１００は、図１０に示すように、光Ｌの入射側から順に、第１撮像素子１２、カラーフィルタアレイ６０、および第２撮像素子１３を積層してなるカラー撮像素子１０Ａ、ならびに、カラー撮像素子１０Ａのさらに光の入射側に配置した光学系７１，７２および空間光変調器８（図１参照）を備える。本実施形態に係る撮像装置１００は、第１実施形態のカラー撮像素子１０に代えてカラー撮像素子１０Ａを備える構成である。第１撮像素子１２、第２撮像素子１３はそれぞれ、第１実施形態における第２撮像素子１２、第３撮像素子１３と同様の構造である。すなわち、第１撮像素子１２は緑色光Ｌ_Gに感度を有する光電変換膜５２を備え、第２撮像素子１３は可視領域全体に感度を有するＳｉからなるフォトダイオード５３を備える。

カラーフィルタアレイ６０は、青色光Ｌ_Bを透過し、かつ赤色光Ｌ_Rを吸収するカラーフィルタ６ｂと、赤色光Ｌ_Rを透過し、かつ青色光Ｌ_Bを吸収するカラーフィルタ６ｒと、をカラー撮像素子１０Ａの画素に合わせて交互に配列した構造である。カラーフィルタ６ｂ，６ｒの配列は、ストライプ状または市松状とすることができる。カラーフィルタアレイ６０は、第２撮像素子１３の受光面のより近くに配置されることが好ましく、第２撮像素子１３のＳｉ基板５０の裏面上（図７における上側）に形成される。このような構成により、入射面に非垂直に入射してカラーフィルタ６ｂ，６ｒを透過した光Ｌ_B，Ｌ_Rが、第２撮像素子１３の対応する画素から大きくずれることなく入射する。カラーフィルタアレイ６０は、上に第１撮像素子１２（半導体層２）を形成されるために、耐熱性を有するフォトニック結晶構造による光学フィルタを適用されることが好ましい。カラーフィルタ６ｂ，６ｒはそれぞれ、屈折率の異なる２種類以上の膜を積層した誘電体多層膜であり、特定の波長域の光を透過し、それ以外の光を反射し、または打ち消すことができる。カラーフィルタ６ｂ，６ｒは、例えば、高屈折率層とそれよりも屈折率の低い低屈折率層とを交互に計７層、積層した構造で、中心の１層の低屈折率層（欠陥層）を透過させる光の波長に対応した膜厚とし、それ以外はカラーフィルタ６ｂ，６ｒで同じ膜厚とする。カラーフィルタアレイ６０の上には、カラーフィルタ６ｂ，６ｒの欠陥層の膜厚差による段差を平坦化するために、絶縁膜４４が設けられ、さらにその上に第１撮像素子１２の回路層２２が形成される。

本実施形態においては、第１実施形態（図２参照）と同様に、最上層の第１撮像素子１２および最下層の第２撮像素子１３の受光面間の距離ｄが、焦点深度δ以下であることが好ましく、光電変換膜５２の受光面から光電変換部（フォトダイオード）５３の受光領域の最深部までの距離が焦点深度δ以下であることがより好ましい。そして、それぞれの受光面の合焦面ｆｐからの距離がδ／２以下であることが好ましい。

（撮像方法）
本発明の第２実施形態に係る撮像装置による撮像方法について、図１、図８、図９および図１０を参照して説明する。被写体ＯＢから撮像装置１００に入射した光Ｌは、第１実施形態と同様に空間光変調器８の開口のそれぞれから発散し、光学系７２によって収束しながらカラー撮像素子１０Ａに入射する。そして、光Ｌは、まず、第１撮像素子１２に到達し、緑色光Ｌ_Gが光電変換膜５２に吸収され、青色光Ｌ_Bおよび赤色光Ｌ_Rが透過してカラーフィルタアレイ６０に到達する。そして、カラーフィルタアレイ６０のカラーフィルタ６ｂからは青色光Ｌ_Bが透過し、その直下の第２撮像素子１３の画素におけるフォトダイオード５３に吸収される。カラーフィルタ６ｒからは赤色光Ｌ_Rが透過し、その直下の第２撮像素子１３の画素におけるフォトダイオード５３に吸収される。第１実施形態（図２参照）と同様に、第１撮像素子１２、第２撮像素子１３の各受光面が焦点深度内に配置されているので、第１撮像素子１２は緑色の、第２撮像素子１３は青色および赤色の、実質的にぼけのない画像を撮像する。特に、第２撮像素子１３においては、受光面の合焦面ｆｐからの距離が短いので、青色光Ｌ_Bおよび赤色光Ｌ_Rがほとんど広がらず、隣の色の異なる画素まで及び難い。さらに、図８に示す第１実施形態と同様に、撮像素子１２，１３それぞれについて、空間光変調器８の開口パターン毎に露光して信号を出力し、開口パターン毎の画像ｙ₁，ｙ₂，ｙ₃を取得することができる。第１実施形態と同様に、Ｒ，Ｇ，Ｂの各色の画像を再構成し、さらにこれらを合成してカラー画像とする。その結果、青色光Ｌ_Bおよび赤色光Ｌ_Rの各画素が第２撮像素子１３の入射面の１／２ずつに設けられた疎な構成であっても、青色光Ｌ_Bおよび赤色光Ｌ_Rの高精度な情報を取得することができ、再構成像の劣化が抑制される。

（変形例）
本実施形態においては、図９に示すように、第１撮像素子１２は開口パターン毎に露光し（ＥＸＰ（３））、第２撮像素子１３は、１フレーム毎に（ＥＸＰ（１））または２つの開口パターンにわたって（ＥＸＰ（２））露光してもよい。第１実施形態の変形例と同様に、第２撮像素子１３が取得した多重露光画像は、青色、赤色のそれぞれの単色画像について、第１撮像素子１２が取得した緑色の画像ｙ₁，ｙ₂，ｙ₃の差分に基づき再構成される。このような方法によれば、第２撮像素子１３において青色光Ｌ_Bおよび赤色光Ｌ_Rの各画素が入射面の１／２のみに設けられた疎な構成であっても、多重露光画像とすることで、空間光変調器８の開口を透過した光Ｌ_B，Ｌ_Rがそれぞれの画素に到達し易く、再構成像を演算する際の画質の劣化が抑制されると共に、利用効率が低下しない。また、第１撮像素子１２を高速駆動可能な構成とすることにより、フレームレートを高速化することができて、空間解像度と共に時間解像度が高いカラー画像が得られる。具体的には、第１撮像素子１２に代えて第１実施形態のカラー撮像素子１０の第１撮像素子１１（図２、図７参照）を適用し、第１撮像素子１１と第２撮像素子１３とをカラーフィルタアレイ６０を挟んで貼り合わせてカラー撮像素子１０Ａを製造することにより、高耐熱の基板４０上に高温で形成した回路層２１を備えた高速駆動可能な第１撮像素子１１を備えることができる。また、短露光によって緑色の画像ｙ₁，ｙ₂，ｙ₃にちらつき（フリッカ）を生じた場合には、長露光による青色、赤色の多重露光画像によって補正することができる。

また、図１１に示すように、第１撮像素子１２は開口パターン毎に露光し（ＥＸＰ（１））、第２撮像素子１３は、各開口パターンの途中で露光を切り換えて（ＥＸＰ（２））、開口パターンＣＡ１，ＣＡ２の各画像ｙ₁，ｙ₂、開口パターンＣＡ２，ＣＡ３の各画像ｙ₂，ｙ₃、および開口パターンＣＡ３，ＣＡ１の各画像ｙ₃，ｙ₁をそれぞれ二重露光することもできる。第２撮像素子１３が撮像した二重露光画像は、図９に示す長露光による多重露光画像と同様に、第１撮像素子１２が取得した画像ｙ₁，ｙ₂，ｙ₃の差分に基づき再構成される。このような方法によれば、二重露光画像とすることで、空間光変調器８の開口を透過した光Ｌ_B，Ｌ_Rが第２撮像素子１３の入射面の１／２のみに設けられたそれぞれの画素に到達し易く、再構成像を演算する際の画質の劣化が抑制され、また、１フレーム期間内に３つの二重露光画像を撮像するので、空間解像度が向上する。

さらに別の方法として、空間光変調器８の開口パターンの１つを全面開口、すなわち通常の絞り（円形開口）としてもよく、このときに第２撮像素子１３を露光する。このような方法によれば、前記の多重露光による方法と同様に、青色光Ｌ_Bおよび赤色光Ｌ_Rの利用効率が低下せず、第１撮像素子１２が取得した緑色の画像に基づいて、青色および赤色の各再構成像を取得することができる。

本実施形態において、カラー撮像素子１０Ａは、光を高効率で入射される最上層の第１撮像素子１２が視感度の高い緑色光Ｌ_Gをすべての画素で撮像して高解像度の画像を取得し、一方、第２撮像素子１３が青色光Ｌ_Bおよび赤色光Ｌ_Rを入射面の１／２ずつの画素で撮像して単板式のカラー撮像素子よりは解像度の低下を抑制した画像を取得している。ただし、カラー撮像素子１０Ａは、Ｒ，Ｇ，Ｂの任意の１色の光を第１撮像素子１２で、その他の２色の光を第２撮像素子１３で撮像するように構成することができる。また、カラー撮像素子１０Ａにおいては、第２撮像素子１３が、光電変換部５３に結晶セレンやＣＩＧＳを適用されてもよい。また、カラー撮像素子１０Ａは、前記したように、第１撮像素子１２を第１実施形態の第１撮像素子１１（図２、図７参照）に置き換え、第２撮像素子１３の上に、基板４０を上に向けた第１撮像素子１１を、カラーフィルタアレイ６０を挟んで貼り合わせて製造されてもよい。この場合には、第２撮像素子１３の光電変換部５３やカラーフィルタアレイ６０に有機材料を適用することができる。光電変換部５３を構成する有機材料膜は、第１実施形態で説明した青色光Ｌ_Bに感度を有する有機材料と赤色光Ｌ_Rに感度を有する有機材料とを混合して得られる。また、カラーフィルタアレイ６０のカラーフィルタ６ｂ，６ｒは、公知のカラーフィルタ材料である、感光性樹脂に顔料を分散させたカラーレジスト等で形成することができる。

カラー撮像素子１０Ａは、カラーフィルタアレイ６０を第１撮像素子１２の上に配置してもよい。この場合には、カラーフィルタアレイ６０のカラーフィルタ６ｂ，６ｒはそれぞれ緑色光Ｌ_Gも透過するものとし、また、カラーフィルタアレイ６０から第２撮像素子１３の受光面までの距離を短くするために、撮像素子１２，１３の受光面間距離ｄをより短くすることが好ましい。カラーフィルタアレイ６０は、第１撮像素子１２の上に配置される場合、前記したように、感光性樹脂に顔料を分散させたカラーレジスト等で形成されてもよい。また、第１撮像素子１２と第２撮像素子１３の間に、第１実施形態の変形例と同様にマイクロレンズアレイを備えてもよく、受光面間距離ｄを光学的に短縮することができる。

以上のように、本発明の第２実施形態およびその変形例に係る撮像装置は、第１実施形態に係る撮像装置と同様に撮像素子の画素数を超える解像度の画像を取得することができ、さらに、各色の画像データを取得する撮像素子の数を色数よりも少なくして、短い焦点深度内に配置することができ、画素の微細化に対応することができる。

〔第３実施形態〕
本発明に係る撮像装置は、光軸方向の位置の異なる複数の撮像素子を備える。第１、第２実施形態に係る撮像装置は、これらすべての撮像素子について、その受光面を焦点深度内に配置することにより、ぼけのない画像を撮像しているが、一部の撮像素子を焦点深度の外に配置することにより、ぼけのない画像とぼけ画像を同時に撮像して、奥行き情報を有する画像を取得することができる。以下、本発明の第３実施形態に係る撮像装置について、図１２および図１を参照して説明する。第１、第２実施形態（図１～１１参照）と同一の要素については同じ符号を付し、説明を省略する。

本発明の第３実施形態に係る撮像装置１００は、図１２に示すように、光Ｌの入射側から順に、第１撮像素子１１Ｂ、第２撮像素子１２、カラーフィルタアレイ６０、および第３撮像素子１３を積層してなる複合撮像素子１０Ｂ、ならびに、複合撮像素子１０Ｂのさらに光の入射側に配置した光学系７１，７２および空間光変調器８（図１参照）を備える。本実施形態に係る撮像装置１００は、第１実施形態のカラー撮像素子１０に代えて複合撮像素子１０Ｂを備える構成である。また、複合撮像素子１０Ｂは、第２実施形態に係る撮像装置のカラー撮像素子１０Ａ（図１０参照）に、光の入射側に、可視領域全体の光を撮像する第１撮像素子１１Ｂを追加した構成である。

第１撮像素子１１Ｂは、可視領域全体の光に感度を有する光電変換膜５１Ｂを備えること以外は、第１実施形態の第１撮像素子１１と同様の構造である。光電変換膜５１Ｂは、第１実施形態で説明した、青色光Ｌ_B、緑色光Ｌ_G、および赤色光Ｌ_Rにそれぞれ感度を有する有機材料を混合して、可視領域全体の光に感度を有する構成とする。また、光電変換膜５１Ｂは、複合撮像素子１０Ｂに入射した光Ｌの青色光Ｌ_B、緑色光Ｌ_G、赤色光Ｌ_Rのそれぞれの一部、好ましくは１／２以下を吸収して残りを透過するように、膜厚が調整される。

撮像素子１２，１３の受光面間の距離ｄ２は、第２実施形態のカラー撮像素子１０Ａにおける受光面間の距離ｄと同様に、焦点深度δ以下であることが好ましく、光電変換膜５２の受光面から光電変換部（フォトダイオード）の受光領域の最深部までの距離が焦点深度δ以下であることがより好ましい。一方、撮像素子１１Ｂ，１２の受光面間の距離ｄ１は、δ／２よりも長いことが好ましく、焦点深度δ以上であることがより好ましい。後記するように、撮像素子１１Ｂ，１２の受光面間の距離ｄ１は、短過ぎると奥行推定が困難となり、長くなると、画像の再構成が困難になるので、例えば複合撮像素子１０Ｂの画素長が５μｍの場合には、１０００μｍ以下とすることが好ましい。撮像素子１１Ｂ，１２は、それぞれの絶縁膜４３（図７参照）の膜厚を調整し、または互いを貼り合わせる際に間に光を透過する部材を設けて、受光面間の距離ｄ１を調整することができる。そして、撮像素子１２，１３のそれぞれの受光面の合焦面ｆｐからの距離がδ／２以下であることが好ましく、一方、第１撮像素子１１Ｂの受光面の合焦面ｆｐからの距離は、δ／２超であり、δ以上であることが好ましい。

（撮像方法）
本発明の第３実施形態に係る撮像装置による撮像方法について、図１、図８、および図１２を参照して説明する。被写体ＯＢから撮像装置１００に入射した光Ｌは、第１実施形態と同様に、空間光変調器８の開口のそれぞれから発散し、光学系７２によって収束しながら複合撮像素子１０Ｂに入射する。そして、光Ｌは、まず、第１撮像素子１１Ｂに到達し、青色光Ｌ_B、緑色光Ｌ_G、および赤色光Ｌ_Rのそれぞれの一部が光電変換膜５１Ｂに吸収され、残りが第２撮像素子１２に到達する。そして、光電変換膜５１Ｂを透過した光Ｌは、第２実施形態と同様に、緑色光Ｌ_Gが光電変換膜５２に吸収され、青色光Ｌ_Bおよび赤色光Ｌ_Rがカラーフィルタアレイ６０のカラーフィルタ６ｂ，６ｒを透過してその直下の第３撮像素子１３の画素におけるフォトダイオード５３に吸収される。図１２に示すように、撮像素子１２，１３は各受光面が焦点深度内に配置されているので、第２実施形態と同様に、第２撮像素子１２は緑色光Ｌ_Gの、第３撮像素子１３は青色光Ｌ_Bおよび赤色光Ｌ_Rの、実質的にぼけのない画像を撮像する。一方、第１撮像素子１１Ｂは、受光面が焦点深度の外に配置され、合焦面ｆｐにおける光Ｌ（Ｌ_B，Ｌ_G，Ｌ_R）に対して、隣り合う２画素のさらに外側の画素に広がって光Ｌが入射するので、ぼけのある白黒の画像を撮像する。第１撮像素子１１Ｂが撮像した画像（ぼけ画像、非合焦画像）のぼけ量は、受光面の合焦面ｆｐからの距離に依存し、撮像素子１１Ｂ，１２の受光面間の距離ｄ１が焦点深度δに対して十分に長い場合には、距離ｄ１にほぼ依存する。

さらに、図８に示す第１実施形態と同様に、撮像素子１１Ｂ，１２，１３それぞれについて、空間光変調器８の開口パターン毎に露光して信号を出力して、開口パターン毎の画像を撮像することができる。特に第１撮像素子１１Ｂは、開口パターン毎にぼけ特性の異なるぼけ画像を撮像することができる。撮像素子１２，１３が撮像したＲ，Ｇ，Ｂの各色の画像を、第１実施形態と同様に再構成、合成してカラー画像とする一方、第１撮像素子１１Ｂが撮像したぼけ画像と受光面の合焦面ｆｐからの距離とに基づき、奥行き情報をカラー画像に付加することができる。また、第３撮像素子１３の入射面の１／２ずつに設けられた画素で撮像した青色光Ｌ_Bおよび赤色光Ｌ_Rの画像は、一般的な処理方法により補間することができるが、このとき、第１撮像素子１１Ｂが撮像したぼけ画像を演算処理してぼけのない白黒画像を復元して、この白黒画像を補間処理に利用することができ、色再現性を高くすることができる。

（変形例）
第２実施形態の変形例と同様、図９または図１１に示すように、第１撮像素子１１Ｂおよび第２撮像素子１２は開口パターン毎に露光し、第３撮像素子１３は、１フレーム毎や２つの開口パターンにわたって長露光し、または各開口パターンの途中で露光を切り換えて、多重露光してもよい。また、空間光変調器８の開口パターンの１つを全面開口として、このときに第３撮像素子１３を露光してもよい。これらの方法により、第３撮像素子１３の入射面の１／２ずつの画素で撮像した青色光Ｌ_Bおよび赤色光Ｌ_Rの画像データから再構成像を演算する際の画質の劣化が抑制される。

本実施形態に係る撮像装置においては、複合撮像素子１０Ｂは、第１撮像素子１１Ｂの光電変換膜５１Ｂが１つまたは２つの波長域の光の一部を吸収する構成としてもよい。ただし、撮像素子１２，１３が吸収する青色光Ｌ_B、緑色光Ｌ_G、および赤色光Ｌ_Rの光量が偏らないように、またはカラー画像の合成時に調整されるように構成する。

本実施形態に係る撮像装置においては、複合撮像素子１０Ｂは、第１実施形態のカラー撮像素子１０（図２参照）の光の入射側にさらに第１撮像素子１１Ｂを備える４板構造としてもよい。このような構成により、奥行き情報を有する高解像度のフルカラー画像を取得することができる。

また、複合撮像素子１０Ｂは、第１撮像素子１１Ｂと単板式のカラー撮像素子とからなる２板構造としてもよく、単板式のカラー撮像素子は、第２撮像素子（第３撮像素子）１３と、その光の入射側に配置した、Ｒ，Ｇ，Ｂの各色のカラーフィルタを画素に合わせてモザイク状に配列したカラーフィルタアレイとから構成される。第１撮像素子１１Ｂと第２撮像素子１３の受光面間距離は、δ／２超であることが好ましく、焦点深度δ以上であることが好ましい。そして、第２撮像素子１３の受光面の合焦面ｆｐからの距離が焦点深度δの１／２以下であることが好ましく、第１撮像素子１１Ｂの受光面の合焦面ｆｐからの距離は、δ／２超であり、焦点深度δ以上であることが好ましい。すなわち、本変形例においては、第２撮像素子１３のみが焦点深度内に配置される。ここで、例えばベイヤー方式のカラーフィルタアレイを適用した場合、特に青色光Ｌ_Bおよび赤色光Ｌ_Rの各画素は第２撮像素子１３の入射面の１／４のみに設けられた疎な構成であるので、空間光変調器８の開口を透過した光が到達する割合が低く、光の利用効率が特に低くなる。また、赤色光Ｌ_R、青色光Ｌ_Bの各情報が離散的にしか取得されないので、再構成像を演算する際に画質の劣化を生じる。そこで、第２撮像素子１３は、前記したように、図９または図１１に示すように、１フレーム毎や２つの開口パターンにわたって長露光し、または各開口パターンの途中で露光を切り換えて、多重露光することが好ましい。さらに、前記実施形態と同様に、第１撮像素子１１Ｂが撮像したぼけ画像から復元したぼけのない白黒画像を利用して、補間処理することができる。

以上のように、本発明の第３実施形態およびその変形例に係る撮像装置は、第１、第２実施形態に係る撮像装置と同様に撮像素子の画素数を超える解像度の画像を取得することができ、さらに、画像に奥行き情報を付加することができる。

〔第４実施形態〕
第３実施形態に係る撮像装置は、第１、第２実施形態と同様に、Ｒ，Ｇ，Ｂの各色の合焦画像を撮像し、合成してカラー画像を取得しているが、奥行き情報を取得するためのぼけ画像からぼけのない画像を復元することができることから、一部の波長域の光については合焦画像を撮像しなくても、ぼけのないカラー画像を奥行き情報と共に取得することができる。以下、本発明の第４実施形態に係る撮像装置について、図１３および図１を参照して説明する。第１、第２、第３実施形態（図１～１２参照）と同一の要素については同じ符号を付し、説明を省略する。

本発明の第４実施形態に係る撮像装置１００は、第１実施形態（図１、図２参照）と同様の構成であり、カラー撮像素子１０、ならびに、カラー撮像素子１０のさらに光の入射側に配置した空間光変調器８および光学系７１，７２を備える。ただし、本実施形態においては、図１３に示すように、最下層の第３撮像素子１３は受光面が焦点深度の外に配置され、第１撮像素子１１および第２撮像素子１２は受光面が焦点深度内に配置されるように構成される。そこで、本実施形態においては、カラー撮像素子１０は、第１撮像素子１１と第３撮像素子１３との受光面間距離（ｄ１＋ｄ２）が焦点深度δの１／２よりも長いことから、最上層の第１撮像素子１１の受光面で光Ｌが合焦するように構成されている。

（撮像方法）
本発明の第４実施形態に係る撮像装置による撮像方法について、図１、図８、および図１３を参照して説明する。被写体ＯＢから撮像装置１００に入射した光Ｌは、第１実施形態と同様に、空間光変調器８の開口のそれぞれから発散し、光学系７２によって収束しながらカラー撮像素子１０に入射し、青色光Ｌ_B、緑色光Ｌ_G、赤色光Ｌ_Rの順に、撮像素子１１，１２，１３の光電変換部５１，５２，５３に吸収されて電荷に変換される。本実施形態においては、図１３に示すように、第１撮像素子１１および第２撮像素子１２が各受光面を焦点深度内に配置されているので、青色光Ｌ_Bおよび緑色光Ｌ_Gは、ぼけのないまたは実質的にぼけのない画像の信号が撮像素子１１，１２によってそれぞれ取得される。これに対して、第３撮像素子１３は受光面を焦点深度内に配置されているので、赤色光Ｌ_Rは、合焦面ｆｐにおける光Ｌ（Ｌ_B，Ｌ_G，Ｌ_R）に対して、隣り合う２画素のさらに外側の画素に広がって第３撮像素子１３に入射し、第３撮像素子１３によってその受光面の合焦面ｆｐからの距離（ｄ１＋ｄ２＞δ／２）に応じたぼけ量のぼけ画像の信号が取得される。

さらに、図８に示す第１実施形態と同様に、撮像素子１１，１２，１３それぞれについて、空間光変調器８の開口パターン毎に露光して信号を出力して、開口パターン毎の画像を撮像することができる。特に第３撮像素子１３は、開口パターン毎にぼけ特性の異なるぼけ画像を撮像することができる。第３撮像素子１３が撮像した赤色のぼけ画像を演算処理してぼけのない赤色の画像を復元し、撮像素子１１，１２が撮像した青色、緑色の画像と共に、それぞれ第１実施形態と同様に再構成し、これらを合成してカラー画像とする。また、第３撮像素子１３が撮像した赤色のぼけ画像と受光面の合焦面ｆｐからの距離（ｄ１＋ｄ２）とに基づき、奥行き情報をカラー画像に付加することができる。

第１実施形態の変形例と同様、図９に示すように、撮像素子１１，１２，１３（図２参照）の１つまたは２つは開口パターン毎に露光し（ＥＸＰ（３））、その他は１フレーム毎や２つの開口パターンにわたって多重露光してもよい（ＥＸＰ（１）、ＥＸＰ（２））。特に、単結晶Ｓｉで形成された読出回路２３を有して高速駆動が容易な第３撮像素子１３は開口パターン毎に露光し、撮像素子１１，１２は１フレーム毎や２つの開口パターンにわたって露光することにより、フレームレートを高速化することができ、時間解像度が向上する。

（変形例）
本実施形態においては、合焦面ｆｐを最下層の第３撮像素子１３の受光面に合わせて、第２撮像素子１２および第３撮像素子１３が、ぼけのないまたは実質的にぼけのない緑色および赤色の画像を撮像し、最上層の第１撮像素子１１が受光面の合焦面ｆｐからの距離（ｄ１＋ｄ２）に応じたぼけ量の青色のぼけ画像を撮像してもよい。また、第１撮像素子１１または第３撮像素子１３のみが焦点深度内に配置されるように、合焦面ｆｐを調整してもよい。例えば第１撮像素子１１のみが焦点深度内に配置された場合には、撮像素子１２，１３は、それぞれの受光面の合焦面ｆｐからの距離に応じてぼけ量の異なる緑色および赤色の画像を撮像するので、より詳細な奥行き情報を取得することができる。

本実施形態においては、第１実施形態と同じ構成の撮像装置１００を用いて、カラー撮像素子１０において合焦面ｆｐをずらして最上層または最下層の撮像素子１１，１３の一方の受光面を焦点深度の外としたが、例えば撮像素子１２，１３の受光面間距離ｄ２が長い構成としてもよい。また、カラー撮像素子１０Ａを備える第２実施形態に係る撮像装置１００（図１０参照）を用いることもでき、第２撮像素子１３が受光面を焦点深度内に、第１撮像素子１２が受光面を焦点深度の外に、それぞれ配置されるように合焦面ｆｐを調整する。このような構成により、第２撮像素子１３が、ぼけのないまたは実質的にぼけのない青色および赤色の画像を撮像し、第１撮像素子１２が受光面の合焦面ｆｐからの距離に応じたぼけ量の緑色のぼけ画像を撮像する。

以上のように、本発明の第４実施形態およびその変形例に係る撮像装置は、第３実施形態に係る撮像装置と同様に、撮像素子の画素数を超える解像度の奥行き情報を有する画像を取得することができ、さらに、奥行き情報を取得しない第１、第２実施形態に係る撮像装置のカラー撮像素子を適用することができる。

以上、本発明に係る撮像装置および撮像方法を実施するための各実施形態について述べてきたが、本発明はこれらの実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。

１００ 撮像装置
１０，１０Ａ カラー撮像素子
１０Ｂ 複合撮像素子
１１，１１Ｂ 第１撮像素子
１２ 第２撮像素子、第１撮像素子
１３ 第３撮像素子、第２撮像素子
２１ 回路層（読出回路）
２２ 回路層（読出回路）
２３ 回路部（読出回路）
４０ 基板
４３，４４ 絶縁膜
５０ Ｓｉ基板
５１，５１Ｂ 光電変換膜（光電変換部）
５２，５２Ｂ 光電変換膜（光電変換部）
５３ フォトダイオード（光電変換部）
５４ トランジスタ
６０ カラーフィルタアレイ
６ｂ，６ｒ カラーフィルタ
７１，７２ 光学系
８ 空間光変調器（符号化開口）
９１ 駆動装置
９２ 復号化装置

Claims (8)

1. １以上の波長域の光を吸収して電荷に変換する光電変換部と前記光電変換部が変換した電荷を電気信号として出力させる読出回路とを有する複数の撮像素子を上下に積層して備え、前記複数の撮像素子の上から光を入射させて撮像する撮像装置であって、
   前記撮像素子の光電変換部は、当該光電変換部の下側に配置された他の前記撮像素子の光電変換部が電荷に変換する波長域の光の少なくとも一部を透過させ、
   前記複数の撮像素子よりも光の入射側に、複数の開口が配置された開口パターンを２以上に切り替え可能な符号化開口をさらに備えて、前記複数の開口を経由した光を前記複数の撮像素子に入射することを特徴とする撮像装置。
2. 前記符号化開口は、少なくとも１つの前記撮像素子の各画素に入射する光の一部を遮蔽するように、前記開口パターンに開口が配置されていることを特徴とする請求項１に記載の撮像装置。
3. 前記符号化開口は、前記開口パターンが、マトリクス状に配列したマスの一部が開口してなり、配列の行方向および列方向の一方または両方において、ｋ番目（ｋは自然数）のマスの開口を経由した光を、前記撮像素子の（ｋ－１）番目の画素とｋ番目の画素とに入射させることを特徴とする請求項２に記載の撮像装置。
4. 前記符号化開口は、空間光変調器であることを特徴とする請求項１ないし請求項３のいずれか一項に記載の撮像装置。
5. 少なくとも１つの前記撮像素子の光電変換部は、当該光電変換部の下側に配置された他の前記撮像素子の光電変換部が電荷に変換する波長域の光と同じ波長域の光を電荷に変換すると共に、前記波長域の光の一部を透過させる請求項１ないし請求項４のいずれか一項に記載の撮像装置。
6. 少なくとも１つの前記撮像素子の光電変換部は、当該光電変換部の下側に配置された他の前記撮像素子の光電変換部が電荷に変換する波長域の光とは異なる波長域の光を電荷に変換し、
   複数の波長域を含む光を前記複数の撮像素子の上から入射する請求項１ないし請求項５のいずれか一項に記載の撮像装置。
7. １以上の波長域の光を吸収して電荷に変換する光電変換部と前記光電変換部が変換した電荷を電気信号として出力させる読出回路とを有する複数の撮像素子、および複数の開口が配置された開口パターンを有する符号化開口を備える撮像装置により、上下に積層された前記複数の撮像素子の上から前記複数の開口を経由した光を入射させて撮像する撮像方法であって、
   前記符号化開口は、複数の開口パターンを周期的に切り替え、
   前記複数の撮像素子の少なくとも１つは、前記符号化開口の開口パターン毎に露光し、
   前記複数の撮像素子の少なくとも１つは、前記符号化開口の２以上の開口パターンにわたって露光することを特徴とする撮像方法。
8. 前記複数の撮像素子の少なくとも１つが、前記符号化開口の開口パターンの切替えの周期毎に１回露光することを特徴とする請求項７に記載の撮像方法。

Images