JP2019086785A - 撮像素子および撮像装置 - Google Patents

Abstract

【課題】赤外光を用いた瞳分割位相差方式の焦点検出を行い、且つ可視光画像を撮像すること。【解決手段】撮像素子は、マイクロレンズと、マイクロレンズを透過した光を光電変換して電荷を生成し第１方向に配置される複数の第１光電変換部と、複数の第１光電変換部を透過した光を光電変換して電荷を生成する第２光電変換部と、複数の第１光電変換部で生成された電荷に基づく第１信号、および第２光電変換部で生成された電荷に基づく第２信号の少なくとも一方を出力する出力部と、を備える。【選択図】図５

Description

本発明は、撮像素子および撮像装置に関する。

可視光（ＲＧＢ）を光電変換する光電変換部を有する半導体基板の上方に、赤外光を吸収して光電変換する光電変換膜が配置され、可視光画像の撮影と赤外光画像の撮影とを同時に行えるように構成された撮像素子が知られている（特許文献１参照）。

特開２０１２−１６９６７６号公報

上記従来技術では、瞳分割位相差方式による焦点検出を行うことはできなかった。

第１の態様の撮像素子は、マイクロレンズと、前記マイクロレンズを透過した光を光電変換して電荷を生成し、第１方向に配置される複数の第１光電変換部と、複数の前記第１光電変換部を透過した光を光電変換して電荷を生成する第２光電変換部と、複数の前記第１光電変換部で生成された電荷に基づく第１信号、および前記第２光電変換部で生成された電荷に基づく第２信号の少なくとも一方を出力する出力部と、を備える。
第２の態様の撮像装置は、第１の態様の撮像素子と、前記第１信号および前記第２信号の少なくとも一方に基づいて、光学系による像が前記撮像素子に合焦する合焦位置の検出を行う検出部と、を備える。

本発明によれば、赤外光を用いた瞳分割位相差方式の焦点検出を行うことができ、且つ可視光画像を撮像することができる。

デジタルカメラの構成例を説明するブロック図である。 撮像部の概要を説明する図である。 （ａ）はカラーフィルターの配置例を説明する図であり、（ｂ）は第２撮像素子の各画素の出力を説明する図であり、（ｃ）は第１撮像素子の各画素の出力を説明する図である。 第１の実施の形態において、（ａ）は撮像部の半導体レイアウトの一例を説明する図であり、（ｂ）は撮像部を切断線Ａ−Ｂで切断したときの断面図であり、（ｃ）は撮像部を切断線Ｃ−Ｄで切断したときの断面図である。 （ａ）は撮像部を切断線Ａ−Ｂで切断したときの断面図であり、（ｂ）は第２撮像素子における切断線Ａ−Ｂの画素位置を説明する図である。 （ａ）は撮像部を切断線Ｃ−Ｄで切断したときの断面図であり、（ｂ）は第２撮像素子における切断線Ｃ−Ｄの画素位置を説明する図である。 図６（ａ）の一部を拡大した図である。 撮像部における１つの画素の回路構成を例示する図である。 焦点検出処理の流れを説明するフローチャートである。 撮影処理の流れを説明するフローチャートである。 第２の実施の形態において、（ａ）は撮像部の半導体レイアウトの一例を説明する図であり、（ｂ）は撮像部を切断線Ａ−Ｂで切断したときの断面図であり、（ｃ）は撮像部を切断線Ｃ−Ｄで切断したときの断面図である。 変形例による撮像部を切断線Ｃ−Ｄで切断したときの断面図である。 変形例による撮像部の概要を説明する図である。

（第１の実施の形態）
図１は、本発明の第１の実施の形態によるデジタルカメラ１の構成を例示する図である。デジタルカメラ１は、撮影光学系１０、制御部１１、撮像部１２、操作部１３、液晶モニタ１５、およびバッファメモリ１６を有する。また、デジタルカメラ１には、メモリカード１７が装着されている。

撮影光学系１０は、複数のレンズにより構成され、撮像部１２の撮像面に被写体像を結像させる。撮影光学系１０を構成する複数のレンズには、ピント位置を調節するために光軸方向に駆動されるフォーカスレンズが含まれる。フォーカスレンズは、不図示のレンズ駆動部により光軸方向に駆動される。

制御部１１は、マイクロプロセッサおよびその周辺回路から構成され、不図示のＲＯＭに格納された制御プログラムを実行することにより、デジタルカメラ１の各種の制御を行う。また、制御部１１は、焦点検出部１１ａと、画像生成部１１ｂとを機能的に有する。これらの各機能部は、上記の制御プログラムによりソフトウェア的に実装される。なお、これらの各機能部を電子回路により構成することも可能である。

焦点検出部１１ａは、撮像部１２からの出力信号に基づき、撮影光学系１０の焦点調節状態を検出する。画像生成部１１ｂは、撮像部１２からの出力信号に基づき、カラー画像信号を生成する。

撮影光学系１０によって撮像部１２上に結像された被写体像は、撮像部１２によって光電変換される。撮像部１２からの出力信号は、不図示のＡ／Ｄ変換部でデジタル画像信号に変換され、バッファメモリ１６に格納される。

バッファメモリ１６に格納されたデジタル画像信号は、各種の画像処理が行われた後、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、デジタルカメラ１に対して着脱可能である。

操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成され、撮影者により操作される。操作部１３は、撮影者による上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。

＜撮像部の説明＞
図２は、本実施形態に係る撮像部１２の概要を示す図である。なお、図２では、撮像部１２の光入射側を上側とした状態を示している。このため、以下の説明では、撮像部１２の光入射側の方向を「上方」または「上」とし、光入射側に対して反対側の方向を「下方」または「下」とする。撮像部１２は、第１撮像素子３１と、第１撮像素子３１の光入射側（上側）で同一光路上に配置された第２撮像素子３２とを有する。第２撮像素子３２は、赤外光を吸収（光電変換）する有機光電膜で構成される。第２撮像素子３２で吸収（光電変換）されなかった可視光は、第２撮像素子３２を透過して第１撮像素子３１に入射し、第１撮像素子３１で光電変換される。第１撮像素子３１は、フォトダイオードにより光電変換を行う。第２撮像素子３２と第１撮像素子３１とは同一の半導体基板上に形成され、各画素位置は一対一に対応する。たとえば第２撮像素子３２の１行１列目の画素は、第１撮像素子３１の１行１列目の画素に対応する。

図３（ａ）は、第２撮像素子３２の上方に設けられるカラーフィルターＣＦの配置を示す。図３（ｂ）は、第２撮像素子３２の各画素の出力を示す。図３（ｃ）は、第１撮像素子３１の各画素の出力を示す。図３（ａ）〜（ｃ）において、横方向をｘ軸、縦方向をｙ軸とし、画素Ｐの座標をＰ（ｘ，ｙ）と表記する。

第２撮像素子３２の上方には、図３（ａ）に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色をそれぞれ透過するカラーフィルターＣＦがいわゆるベイヤ配列で設けられている。このカラーフィルターＣＦは、ＲＧＢいずれかの光のほか、赤外光も透過するように構成されている。なお、カラーフィルターＣＦの上方には赤外フィルターは設けられていない。具体的には、画素Ｐ（１，１）の上方に配置されたカラーフィルターＣＦ（１，１）は、Ｇの光と赤外光とを透過する。このため、第２撮像素子の画素Ｐ（１，１）にはＧの光と赤外光が入射される。同様に、画素Ｐ（２，１）の上方に配置されたカラーフィルターＣＦ（２，１）は、Ｂの光と赤外光とを透過する。このため、第２撮像素子の画素Ｐ（２，１）にはＢの光と赤外光が入射される。

図３（ｂ）に示す第２撮像素子３２では、各画素Ｐを、赤外光を光電変換する有機光電膜としている。そのため、各画素Ｐで赤外光が吸収され、可視光が透過される。たとえば、赤外光およびＧの光が入射される画素Ｐ（１，１）は、赤外光（ＩＲ）を光電変換してＧの光を透過する。同様に、赤外光およびＢの光が入射される画素Ｐ（２，１）は、赤外光（ＩＲ）を光電変換してＢの光を透過する。赤外光およびＲの光が入射される画素Ｐ（１，２）は、赤外光（ＩＲ）を光電変換してＲの光を透過する。また、詳しくは後述するが、第２撮像素子３２の各画素Ｐは、瞳分割位相差方式に対応する焦点検出用画素で構成される。

図３（ｃ）に示す第１撮像素子３１では、各画素Ｐにおいて、第２撮像素子３２を透過する可視光を光電変換する。第１撮像素子３１において、たとえばＧの光が入射される画素Ｐ（１，１）ではＧ成分の画像信号が得られる。同様に、Ｂの光が入射される画素Ｐ（２，１）ではＢ成分の画像信号、Ｒの光が入射される画素Ｐ（１，２）ではＲ成分の画像信号がそれぞれ得られる。

このように、本実施形態に係る撮像部１２では、有機光電膜で構成される第２撮像素子３２が第１撮像素子３１に対して赤外フィルターの役割を果たす。したがって、従来のデジタルカメラにおいて撮像素子の手前に設置していた赤外フィルターを省略することができる。

また、本実施形態に係る撮像部１２では、第１撮像素子３１に撮像用画素を配置し、第２撮像素子３２に焦点検出用画素を全面に均等に配置している。したがって、撮像用画素の一部に焦点検出用画素を配置する従来技術のように複雑な画素補間処理を行う必要がなく、第２撮像素子３２からは赤外光による焦点検出用信号、第１撮像素子３１からは可視光によるカラー（ＲＧＢ）画像信号をそれぞれ独立して得ることができる。なお、撮像部１２では、第１撮像素子３１と第２撮像素子３２とがそれぞれ独立に駆動できるように構成されているので、自由度の高い蓄積時間制御が可能となっている。

図４（ａ）は、撮像部１２の半導体レイアウトの一例である。尚、図４（ａ）は、先に説明した図３の各画素Ｐ（１，１）から画素Ｐ（２，２）に対応する。図４（ｂ）および図５（ａ）は、図４（ａ）の画素Ｐ（１，１）および画素（２，１）を水平方向に切断線Ａ−Ｂで切断したときの断面図である。また、図５（ｂ）は、第２撮像素子３２における切断線Ａ−Ｂの画素位置がわかり易いように描いた図である。切断線Ａ−Ｂは、光電変換部ＰＣ＿Ａ（１，１）およびＰＣ＿Ａ（２，１）の部分を切断する。図４（ｃ）および図６（ａ）は、図４（ａ）の画素Ｐ（２，１）および画素（２，２）を垂直方向に切断線Ｃ−Ｄで切断したときの断面図である。また、図６（ｂ）は、第２撮像素子３２における切断線Ｃ−Ｄの画素位置がわかり易いように描いた図である。切断線Ｃ−Ｄは、光電変換部ＰＣ＿Ａ（２，１），ＰＣ＿Ｂ（２，１），ＰＣ＿Ａ（２，２）およびＰＣ＿Ｂ（２，２）の部分を切断する。図７は、図６（ａ）の一部を拡大した図である。

図５に示すように、第１撮像素子３１は、いわゆる表面照射型の撮像素子であり、半導体基板５０の表面側に入射した光をフォトダイオードＰＤにより光電変換し、半導体基板５０の表面側に形成された配線層５１を介して光電変換信号を出力する。有機光電膜を用いた第２撮像素子３２は、第１撮像素子３１の上記表面側に積層配置される。また、第２撮像素子３２の上方（すなわち第１撮像素子３１とは反対側）には、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイが積層配置されている。第１撮像素子３１および第２撮像素子３２の各画素は、マイクロレンズＭＬの各々に対応して設けられている。また、第２撮像素子３２の各画素と各マイクロレンズＭＬとの間には、上述したカラーフィルターＣＦが配置されている。

第２撮像素子３２から出力される光電変換信号は、配線層５１を介して信号出力端５２から取り出される。信号出力端５２の両側は分離層５３，５４が配置されている。また、分離層５３，５４を隔ててフォトダイオードＰＤ（１，１）およびＰＤ（２，１）が配置されている。第１撮像素子３１の各画素Ｐは、撮像用画素であり、１つの撮像用画素に対して１つのフォトダイオードＰＤが設けられている。なお、図４〜図６では、配線層５１は３層構造になっているが２層構造であってもよい。

また、図６に示すように、第２撮像素子３２の各画素Ｐは、焦点検出用画素であり、１つの画素Ｐが図中縦方向に２分割され、１つの画素Ｐにつき２つの光電変換部ＰＣ＿ＡおよびＰＣ＿Ｂが設けられている。たとえば、画素Ｐ（２，１）には、光電変換部ＰＣ＿Ａ（２，１）と光電変換部ＰＣ＿Ｂ（２，１）が設けられている。具体的には、図７に示すように、画素Ｐ（２，１）では、共通電極ｕと部分電極ｄ＿Ａ（２，１）との間に有機光電膜ｍを挟んで光電変換部ＰＣ＿Ａ（２，１）が構成される。また、共通電極ｕと部分電極ｄ＿Ｂ（２，１）との間に有機光電膜ｍを挟んで光電変換部ＰＣ＿Ｂ（２，１）が構成される。なお、共通電極ｕはマイクロレンズＭＬ側に配置され、部分電極ｄ＿Ａ，ｄ＿Ｂは第１撮像素子３１側に配置される。また、共通電極ｕと部分電極ｄ＿Ａ，ｄ＿Ｂは透明電極である。部分電極ｄ＿Ａ（２，１）は、マイクロレンズＭＬ（２，１）の中心Ｏ（２，１）に対して図中上側に設けられ、部分電極ｄ＿Ｂ（２，１）は、マイクロレンズＭＬ（２，１）の中心Ｏ（２，１）に対して図中下側に設けられる。部分電極ｄ＿Ａ（２，１）と部分電極ｄ＿Ｂ（２，１）とは、互いに接しないように、それぞれマイクロレンズＭＬ（２，１）の中心Ｏ（２，１）から若干の間隔をおいて設けられる。他の画素Ｐについても同様に構成される。

第２撮像素子３２の各画素Ｐは、光電変換部ＰＣ＿Ａと光電変換部ＰＣ＿Ｂとにより撮影光学系１０の一対の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光し、瞳分割位相差方式により撮影光学系１０の焦点調節状態を検出するための焦点検出信号を出力する。ここで、図５（ａ）の配線層５１は、図６（ａ）において、配線層５１Ａと配線層５１Ｂとに対応する。配線層５１Ａは有機光電膜の光電変換部ＰＣ＿Ａ（２，１）の信号を信号出力端５２Ａに出力し、配線層５１Ｂは有機光電膜の光電変換部ＰＣ＿Ｂ（２，１）の信号を信号出力端５２Ｂに出力する。図５（ａ）の配線層５１では、配線層５１Ａと配線層５１Ｂとが重なっているため１つしか見えていない。

第１撮像素子３１および第２撮像素子３２の同じ位置の画素Ｐは、同一のマイクロレンズＭＬから入射する被写体光を受光する。たとえば、図５に示すように、画素Ｐ（１，１）に対応するマイクロレンズＭＬ（１，１）から入射された被写体光のうち、赤外光およびＧの光はカラーフィルターＣＦ（１，１）を透過し、ＲおよびＢの光はカラーフィルターＣＦ（１，１）により遮蔽される。第２撮像素子３２において、画素Ｐ（１，１）の光電変換部を構成する有機光電膜による光電変換部ＰＣ＿Ａ（１，１）および光電変換部ＰＣ＿Ｂ（１，１）は、カラーフィルターＣＦ（１，１）を透過した赤外光を光電変換し、Ｇの光を透過する。第１撮像素子３１において、画素Ｐ（１，１）を構成するフォトダイオードＰＤ（１，１）は、光電変換部ＰＣ（１，１）を透過したＧの光を受光して光電変換する。

また、図５に示すように、第２撮像素子３２と第１撮像素子３１との間には、第１撮像素子３１の隣接する画素間の境界部分（信号出力端５２および分離層５３，５４）の上に、配線層５１を内部に含む平坦化層５５が形成されている。さらに、第２撮像素子３２と第１撮像素子３１との間には、第１撮像素子３１の各画素ＰのフォトダイオードＰＤの上に、平坦化層５５よりも高屈折率の材料で構成された光導波路５６が形成されている。光導波路５６は、第２撮像素子３２の各画素Ｐを透過した可視光を、光導波路５６と平坦化層５５との境界面５７で全反射させ、第１撮像素子３１の各画素ＰのフォトダイオードＰＤに導光する。また、光導波路５６の第２撮像素子３２側の寸法は、第１撮像素子３１側（フォトダイオードＰＤ側）の寸法よりも大きくなっている。以上のような構成により、第２撮像素子３２の各画素を透過した光束同士でクロストークが発生して、第１撮像素子３１の１つの画素に第２撮像素子３２の複数の画素を通過した光束が入射するのを防止することができる。すなわち、第２撮像素子３２および第１撮像素子３１の同じ位置の画素が、同一のマイクロレンズＭＬからの入射光を受光することができる。

図８は、撮像部１２における１つの画素Ｐ（ｘ，ｙ）の回路構成を例示する図である。画素Ｐ（ｘ，ｙ）は、第１撮像素子３１を構成するための回路として、フォトダイオードＰＤと、転送トランジスタＴｘと、リセットトランジスタＲと、出力トランジスタＳＦと、選択トランジスタＳＥＬとを有する。フォトダイオードＰＤは、入射光の光量に応じた電荷を蓄積する。転送トランジスタＴｘは、フォトダイオードＰＤに蓄積された電荷を出力トランジスタＳＦ側の浮遊拡散領域（ＦＤ部）に転送する。出力トランジスタＳＦは選択トランジスタＳＥＬを介して電流源ＰＷとソースホロワを構成し、ＦＤ部に蓄積された電荷に応じた電気信号を出力信号ＯＵＴとして垂直信号線ＶＬＩＮＥに出力する。なお、リセットトランジスタＲは、ＦＤ部の電荷を電源電圧Ｖｃｃにリセットする。

また、画素Ｐ（ｘ，ｙ）は、第２撮像素子３２を構成するための回路として、有機光電膜による光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂと、リセットトランジスタＲ＿Ａ，Ｒ＿Ｂと、出力トランジスタＳＦ＿Ａ，ＳＦ＿Ｂと、選択トランジスタＳＥＬ＿Ａ，ＳＥＬ＿Ｂとを有する。有機光電膜による光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂは、非透過光を光量に応じた電気信号に変換し、選択トランジスタＳＥＬ＿Ａ，ＳＥＬ＿Ｂを介して電流源ＰＷ＿ＡおよびＰＷ＿Ｂとそれぞれソースホロワを構成する出力トランジスタＳＦ＿Ａ，ＳＦ＿Ｂを介して出力信号ＯＵＴ＿Ａ，ＯＵＴ＿Ｂとして垂直信号線ＶＬＩＮＥ＿Ａ，ＶＬＩＮＥ＿Ｂにそれぞれ出力する。なお、リセットトランジスタＲ＿Ａ，Ｒ＿Ｂは、光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂの出力信号をリファレンス電圧Ｖｒｅｆにリセットする。また、有機光電膜の動作用として高電圧Ｖｐｃが与えられている。各トランジスタはＭＯＳ＿ＦＥＴで構成される。

ここで、第１撮像素子３１に係る回路の動作について説明する。まず、選択信号φＳＥＬが”Ｈｉｇｈ”になると、選択トランジスタＳＥＬがオンする。次に、リセット信号φＲが”Ｈｉｇｈ”になると、ＦＤ部で電源電圧Ｖｃｃにリセットされ、出力信号ＯＵＴもリセットレベルになる。そして、リセット信号φＲが”Ｌｏｗ”になった後、転送信号φＴｘが”Ｈｉｇｈ”になり、フォトダイオードＰＤに蓄積された電荷がＦＤ部に転送され、出力信号ＯＵＴが電荷量に応じて変化し始め、安定する。そして、転送信号φＴｘが”Ｌｏｗ”になり、画素から垂直信号線ＶＬＩＮＥに読み出される出力信号ＯＵＴの信号レベルが確定する。そして、垂直信号線ＶＬＩＮＥに読み出された各画素の出力信号ＯＵＴは、不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第１撮像素子３１の各画素から信号が読み出される。

また、第２撮像素子３２に係る回路の動作について説明する。まず、選択信号φＳＥＬ＿Ａ（またはφＳＥＬ＿Ｂ）が”Ｈｉｇｈ”になると、選択トランジスタＳＥＬ＿Ａ（またはＳＥＬ＿Ｂ）がオンする。次にリセット信号φＲ＿Ａ（またはφＲ＿Ｂ）が”Ｈｉｇｈ”になり、出力信号ＯＵＴ＿Ａ（またはφＯＵＴ＿Ｂ）もリセットレベルになる。そして、リセット信号φＲ＿Ａ（またはφＲ＿Ｂ）が”Ｌｏｗ”になった直後から有機光電膜による光電変換部ＰＣ＿Ａ（またはＰＣ＿Ｂ）の電荷蓄積が開始され、電荷量に応じて出力信号ＯＵＴ＿Ａ（または出力信号ＯＵＴ＿Ｂ）が変化する。そして、出力信号ＯＵＴ＿Ａ（または出力信号ＯＵＴ＿Ｂ）が不図示の水平出力回路に行毎に一時的に保持された後、撮像部１２から出力される。このようにして、撮像部１２の第２撮像素子３２の各画素から信号が読み出される。

＜焦点検出処理＞
次に、制御部１１により実行される焦点検出処理の流れを、図９に示すフローチャートを用いて説明する。図９に示す焦点検出処理は、制御部１１が実行する制御プログラムに含まれる。撮影者により所定の焦点検出操作（例えばレリーズボタンを半押しする操作など）が行われると、制御部１１は、図９に示す焦点検出処理を開始する。

まず、ステップＳ１で撮像部１２に被写体像を撮像させる。これにより、第１撮像素子３１および第２撮像素子３２のそれぞれから光電変換信号が出力される。

ステップＳ２において、焦点検出部１１ａは、第２撮像素子３２から出力された赤外光による焦点検出信号に基づいて、瞳分割位相差方式による焦点検出処理を実行し、撮影光学系１０の焦点調節状態を示すデフォーカス量を算出する。なお、瞳分割位相差方式による焦点検出処理については周知技術であるため、詳細な説明は省略する。

ステップＳ３において、制御部１１は、ステップＳ２の焦点検出処理によってデフォーカス量が算出できたか、すなわち焦点検出できたかを判定する。焦点検出できた場合には、制御部１１は、ステップＳ３を肯定判定してステップＳ４へ進む。一方、焦点検出できなかった場合には、制御部１１は、ステップＳ３を否定判定してステップＳ６へ進む。

ステップＳ４において、焦点検出部１１ａは、ステップＳ２で算出されたデフォーカス量に基づいて、不図示のレンズ駆動部を制御して、撮影光学系１０のフォーカスレンズを駆動させ、合焦位置へ移動させる。

ステップＳ５において、制御部１１は、焦点検出処理の終了が指示されたか否かを判定する。焦点検出処理の終了が指示された場合にはステップＳ５を肯定判定して、制御部１１は、焦点検出処理を終了する。一方、焦点検出処理の終了が指示されていない場合にはステップＳ５を否定判定して、制御部１１は、ステップＳ１に戻る。

ステップＳ３が否定判定された場合に進むステップＳ６において、焦点検出部１１ａは、第２撮像素子３２の各画素Ｐにおいて、隣接する２つの光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂから出力される光電変換信号を加算して、１つの画素Ｐにつき１つの信号を生成する。これにより、第２撮像素子３２で撮像された赤外光画像を取得することができる。

ステップＳ７において、焦点検出部１１ａは、ステップＳ６で取得した赤外光画像に基づいて、コントラスト方式による焦点検出処理を実行する。具体的には、焦点検出部１１ａは、取得した赤外光画像に基づいて、焦点評価値（コントラスト値）を演算する。なお、コントラスト方式を簡単に説明すると、フォーカスレンズを駆動させながら周期的に被写体像を撮像し、フォーカスレンズの位置ごとの被写体像のコントラスト量を調べ、コントラスト量が極大となるフォーカスレンズの位置を合焦位置として特定する方式である。

ステップＳ８において、焦点検出部１１ａは、ステップＳ７で演算した焦点評価値に基づいてフォーカスレンズが合焦位置にあるか、すなわち焦点検出されたかを判定する。フォーカスレンズが合焦位置にあると判定された場合には、制御部１１は、ステップＳ８を肯定判定して、ステップＳ５へ進む。一方、フォーカスレンズが合焦位置にないと判定された場合、または、赤外光信号による焦点検出を行えないと判定された場合には、制御部１１は、ステップＳ８を否定判定して、ステップＳ９へ進む。

ステップＳ９において、焦点検出部１１ａは赤外光信号による焦点検出が可能か否かを判定する。赤外光信号で焦点検出できない、もしくは精度が足りない、もしくは可視光での焦点検出が必要であると判定された場合には、制御部１１は、ステップＳ９を否定判定してステップＳ１１へ進む。一方、赤外光信号による焦点検出が可能であると判定された場合には、制御部１１は、ステップＳ９を肯定判定してステップＳ１０へ進む。

ステップＳ１０において、焦点検出部１１ａは、いわゆる山登り動作によって合焦位置を探索するために、不図示のレンズ駆動部を制御して、フォーカスレンズを所定方向に所定量だけ駆動させて、ステップＳ６に戻る。すなわち、焦点検出部１１ａは、ステップＳ６〜Ｓ１０を繰り返して、焦点評価値が極大となるフォーカスレンズの位置、すなわち合焦位置を探索して、合焦位置にフォーカスレンズを駆動させる。

ステップＳ９が否定判定された場合に進むステップＳ１１において、焦点検出部１１ａは、第１撮像素子３１で撮像された可視光画像に基づいて、コントラスト方式による焦点検出処理を実行する。具体的には、焦点検出部１１ａは、取得した可視光画像に基づいて、焦点評価値（コントラスト値）を演算する。

ステップＳ１２において、焦点検出部１１ａは、ステップＳ１１で演算した焦点評価値に基づいて、フォーカスレンズが合焦位置にあるか、すなわち焦点検出されたかを判定する。フォーカスレンズが合焦位置にあると判定された場合には、制御部１１は、ステップＳ１２を肯定判定して、ステップＳ５へ進む。一方、フォーカスレンズが合焦位置にないと判定された場合には、制御部１１は、ステップＳ１２を否定判定して、ステップＳ１３へ進む。

ステップＳ１３において、焦点検出部１１ａは、いわゆる山登り動作によって合焦位置を探索するために、不図示のレンズ駆動部を制御して、フォーカスレンズを所定方向に所定量だけ駆動させて、ステップＳ１１に戻る。すなわち、焦点検出部１１ａは、ステップＳ１１〜Ｓ１３を繰り返して、焦点評価値が極大となるフォーカスレンズの位置、すなわち合焦位置を探索して、合焦位置にフォーカスレンズを駆動させる。

このように、本実施形態のデジタルカメラ１では、撮像部１２からの出力信号に基づいて以下の３種類の焦点検出処理を行うことができ、以下の３種類の焦点検出処理を適宜使い分けることができる。
（１）第２撮像素子３２からの赤外光信号に基づく瞳分割位相差方式による焦点検出処理
（２）第２撮像素子３２からの赤外光信号に基づくコントラスト方式による焦点検出処理
（３）第１撮像素子３１からの可視光信号に基づくコントラスト方式による焦点検出処理

＜撮影処理＞
図１０は、制御部１１が実行する撮影処理の流れを説明するフローチャートである。制御部１１は、メインスイッチがオン操作されると、撮像部１２に所定のフレームレートで光電変換を開始させ、画像信号に基づくスルー画像を液晶モニタ１５に逐次再生表示させると共に、図１０に例示した処理を実行するプログラムを起動する。なお、スルー画像は、撮影指示前に取得するモニタ用の画像である。

図１０のステップＳ２１において、制御部１１は、撮影指示が行われたか否かを判定する。制御部１１は、レリーズボタンが押下操作されると、ステップＳ２１を肯定判定してステップＳ２２へ進む。制御部１１は、レリーズボタンが押下操作されない場合には、ステップＳ２１を否定判定してステップＳ２８へ進む。

ステップＳ２８において、制御部１１は、タイムアップか否かを判定する。制御部１１は、所定時間（たとえば、５秒）を計時した場合にステップＳ２８を肯定判定して図９による処理を終了する。制御部１１は、計時時間が所定時間に満たない場合には、ステップＳ２８を否定判定してステップＳ２１へ戻る。

ステップＳ２２において、制御部１１は、ＡＥ処理およびＡＦ処理を行う。ＡＥ処理では、上記スルー画像用の画像信号のレベルに基づいて露出演算を行い、適正露出が得られるように絞り値ＡＶとシャッター速度ＴＶを決定する。ＡＦ処理は、設定されている焦点検出エリアに含まれる画素列からの出力信号列に基づいて、上述した焦点検出処理を行ってフォーカス調節をする。制御部１１は、以上のＡＥ、ＡＦ処理を行うとステップＳ２３へ進む。

ステップＳ２３において、制御部１１は撮影処理を行ってステップＳ２４へ進む。具体的には、上記ＡＶに基づいて不図示の絞りを制御し、上記ＴＶに基づく蓄積時間で撮像部１２に記録用の光電変換を行わせる。

ステップＳ２４において、制御部１１の画像生成部１１ｂは、第１撮像素子３１からの出力信号を用いて画像信号を生成する。上述したように第１撮像素子３１からはいわゆるベイヤ配列の画像信号を取得することができるので、画像生成部１１ｂは、公知の色補間処理を用いて第１撮像素子３１の出力信号からＲＧＢ３色のカラー画像信号を生成することができる。さらに画像生成部１１ｂは、生成したカラー画像信号に対して所定の画像処理（階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を行う。

ステップＳ２５において、制御部１１は、ステップＳ２４の画像処理後の撮影画像を液晶モニタ１５に表示させて、ステップＳ２６へ進む。

ステップＳ２６において、制御部１１は、ステップＳ２４の画像処理後の撮影画像を記録するための画像ファイルを生成し、ステップＳ２７へ進む。

ステップＳ２７において、制御部１１は、ステップＳ２６で生成した画像ファイルをメモリカード１７に記録して、撮影処理を終了する。

以上説明した実施形態によれば、次の作用効果が得られる。
デジタルカメラ１の撮像部１２は、半導体基板５０の表面側に入射した光を光電変換して光電変換信号を生成し、半導体基板５０の表面側に形成された配線層５１を介して光電変換信号を出力する第１撮像素子３１を備える。また、撮像部１２は、第１撮像素子３１の半導体基板５０の表面側に積層配置され、赤外光を吸収し可視光を透過する有機光電膜を用いて赤外光を光電変換して光電変換信号を生成し、配線層５１を介して光電変換信号を出力する第２撮像素子３２を備える。また、撮像部１２は、第２撮像素子３２の第１撮像素子３１とは反対側に積層配置され、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイを備える。第１撮像素子３１は、マイクロレンズＭＬの各々に対応して設けられた撮像用画素を複数有する。第２撮像素子３２は、マイクロレンズＭＬの各々に対応して設けられた焦点検出用画素を複数有する。焦点検出用画素は、瞳分割位相差方式により撮影光学系１０の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用の画素である。第２撮像素子３２と第１撮像素子３１との間には、第２撮像素子３２の焦点検出用画素を透過した可視光を第１撮像素子３１の撮像用画素に導光する光導波路５６が形成されている。このような構成により、第２撮像素子３２からの赤外光の焦点検出信号に基づいて、高速且つ高精度な瞳分割位相差方式による焦点検出を行うことができる。赤外光により焦点検出を行うので、暗視野、低輝度時にも焦点検出精度を高めることができる。さらに、第２撮像素子３２の各焦点検出用画素を透過した光束同士でクロストークが発生するのを防止することができ、第１撮像素子３１により可視光画像を適切に撮像することができる。

（第２の実施の形態）
次に、本発明の第２の実施の形態を説明する。以下の説明では、第２の実施形態における撮像部１１２について、第１の実施形態と異なっている点を主に説明し、第１の実施形態と同様の構成については説明を省略する。

図１１を用いて第２の実施の形態による撮像部１１２の構成について説明する。図１１（ａ）は、撮像部１１２の半導体レイアウトの一例である。尚、図１１（ａ）は、先に説明した図３の各画素Ｐ（１，１）から画素Ｐ（２，２）に対応する。図１１（ｂ）は、図１１（ａ）の画素Ｐ（１，１）および画素（２，１）を水平方向に切断線Ａ−Ｂで切断したときの断面図である。図１１（ｃ）は、図１１（ａ）の画素Ｐ（２，１）および画素（２，２）を垂直方向に切断線Ｃ−Ｄで切断したときの断面図である。

第１の実施の形態と異なり、第２の実施の形態における第１撮像素子１３１は、いわゆる裏面照射型の撮像素子である。したがって第１撮像素子１３１は、半導体基板１５０の裏面側に入射した光をフォトダイオードＰＤにより光電変換して光電変換信号を生成し、半導体基板１５０の表面側に形成された配線層１５１を介して上記光電変換信号を出力する。第１の実施の形態と同様の有機光電膜を用いた第２撮像素子１３２は、第１撮像素子１３１の上記裏面側に積層配置される。第１の実施の形態と同様に、第２撮像素子１３２の上方（すなわち第１撮像素子１３１とは反対側）には、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイが積層配置されている。また、第２撮像素子１３２の各画素と各マイクロレンズＭＬとの間には、第１の実施の形態と同様に、カラーフィルターＣＦが配置されている。

第１撮像素子１３１の半導体基板１５０には、第２撮像素子１３２と配線層１５１とを接続するための貫通ビア（シリコン貫通電極（TSV：Through Silicon Via））１５２が形成されている。第２撮像素子１３２から出力される光電変換信号は、貫通ビア１５２を介して配線層１５１から出力される。貫通ビア１５２は、第２撮像素子１３２の各画素Ｐの各光電変換部ＰＣ＿Ａ，ＰＣ＿Ｂ（部分電極ｄ＿Ａ，ｄ＿Ｂ）ごとに設けられている。

第２の実施の形態の撮像部１１２では、第１撮像素子１３１を裏面照射型で構成したので、第１の実施の形態と異なり、第２撮像素子１３２と第１撮像素子１３１の受光面との間に配線層が設けられていない。したがって、第２の実施の形態では、第１の実施形態と比べて第２撮像素子１３２と第１撮像素子１３１の受光面との間の距離を短くできるので、第２撮像素子１３２の各画素を透過した光束同士でクロストークが発生して、第１撮像素子３１の１つの画素に第２撮像素子１３２の複数の画素を通過した光束が入射するのを防止することができる。すなわち、第２撮像素子１３２および第１撮像素子１３１の同じ位置の画素が、同一のマイクロレンズＭＬからの入射光を受光することができる。

以上説明した実施形態によれば、次の作用効果が得られる。
撮像部１１２は、半導体基板１５０の裏面側に入射した光を光電変換して光電変換信号を生成し、半導体基板１５０の表面側に形成された配線層１５１を介して光電変換信号を出力する裏面照射型の第１撮像素子１３１を備える。また、撮像部１１２は、第１撮像素子１３１の半導体基板１５０の裏面側に積層配置され、赤外光を吸収し可視光を透過する有機光電膜を用いて赤外光を光電変換して光電変換信号を生成し、配線層１５１を介して光電変換信号を出力する第２撮像素子１３２を備える。また、撮像部１１２は、第２撮像素子１３２の第１撮像素子１３１とは反対側に積層配置され、複数のマイクロレンズＭＬが二次元状に配列されたマイクロレンズアレイを備える。第１撮像素子１３１は、マイクロレンズＭＬの各々に対応して設けられた撮像用画素を複数有する。第２撮像素子１３２は、マイクロレンズＭＬの各々に対応して設けられた焦点検出用画素を複数有する。焦点検出用画素は、瞳分割位相差方式により撮影光学系１０の焦点調節状態を検出するための焦点検出信号を出力する焦点検出用の画素である。このような構成により、第２撮像素子３２からの赤外光の焦点検出信号に基づいて、高速且つ高精度な瞳分割位相差方式による焦点検出を行うことができる。さらに、第２撮像素子３２の各焦点検出用画素を透過した光束同士でクロストークが発生するのを防止することができ、第１撮像素子３１により可視光画像を適切に撮像することができる。

（変形例１）
上述した実施の形態では、第２撮像素子３２の焦点検出用画素の各々が２つの光電変換部ＰＣ＿ＡおよびＰＣ＿Ｂを有し、光電変換部ＰＣ＿Ａが撮影光学系１０の一対の瞳領域をそれぞれ通過した一対の光束のうちの一方を受光し、光電変換部ＰＣ＿Ｂが、上記一対の光束のうちの他方を受光する例について説明した。

しかしながら、焦点検出用画素は上記のような構成に限らなくてよく、たとえば、図１２に示すように、光電変換部ＰＣ＿Ａのみを有する焦点検出用画素と、光電変換部ＰＣ＿Ｂのみを有する焦点検出用画素が交互に配置されているようにしてもよい。たとえば、画素Ｐ（２，１）は、共通電極ｕと部分電極ｄ＿Ａ（２，１）との間に有機光電膜ｍを挟んで構成された光電変換部ＰＣ＿Ａ（２，１）のみを有する。部分電極ｄ＿Ａ（２，１）は、マイクロレンズＭＬ（２，１）の中心Ｏ（２，１）に対して図中上側に設けられる。また、画素Ｐ（２，２）は、共通電極ｕと部分電極ｄ＿Ｂ（２，２）との間に有機光電膜ｍを挟んで構成された光電変換部ＰＣ＿Ｂ（２，２）のみを有する。部分電極ｄ＿Ｂ（２，２）は、マイクロレンズＭＬ（２，２）の中心Ｏ（２，２）に対して図中下側に設けられる。図１２に示す構成では、部分電極ｄ＿Ａおよび部分電極ｄ＿ＢをそれぞれマイクロレンズＭＬの中心Ｏから間隔を空けずに設けることができるので、上述した実施の形態の構成（図７）と比べて、光電変換部ＰＣ＿Ａおよび光電変換部ＰＣ＿Ｂの面積を広くすることができる。

なお、第２撮像素子３２において、各焦点検出用画素における瞳分割方向は、上述した方向に限らなくてよく、縦方向、横方向、斜め方向のいずれであってもよいし、様々な方向の焦点検出用画素が混在するようにしてもよい。

（変形例２）
上述した第２の実施の形態による撮像部１１２において、第１撮像素子１３１についても、瞳分割位相差方式の焦点検出を行えるようにしてもよい。すなわち、第１撮像素子１３１の各画素Ｐに２つのフォトダイオードＰＤ＿ＡおよびＰＤ＿Ｂを設け、２つのフォトダイオードＰＤ＿ＡおよびＰＤ＿Ｂが撮影光学系１０の一対の瞳領域をそれぞれ通過した一対の光束をそれぞれ受光するように構成してもよい。第１撮像素子１３１には赤外光がカットされた光束が入射されるため、可視光での瞳分割位相差方式の焦点検出を行うことができる。また、この場合、たとえば、図１３に示すように、第２撮像素子１３２においては各焦点検出用画素の瞳分割方向を縦方向とし、第１撮像素子１３１においては各焦点検出用画素の瞳分割方向を横方向とするなど、第２撮像素子１３２と第１撮像素子１３１とで瞳分割方向を変えるようにしてもよい。こうすることにより、たとえば、瞳分割方向が縦方向である方が焦点検出しやすい被写体の場合には第２撮像素子１３２からの出力信号を用いて焦点検出を行うことができる。一方、瞳分割方向が横方向である方が焦点検出しやすい被写体の場合には第１撮像素子１３１からの出力信号を用いて焦点検出を行うことができる。このように、第１撮像素子１３１と第２撮像素子１３２を適宜使い分けることができ、焦点検出精度を高めることができる。また、第１撮像素子１３１において瞳分割方向が縦方向の焦点検出用画素と横方向の焦点検出用画素とを混在させるようにしてもよいし、第２撮像素子１３２において瞳分割方向が縦方向の焦点検出用画素と横方向の焦点検出用画素とを混在させるようにしてもよい。

（変形例３）
上述した実施の形態のデジタルカメラ１に、赤外線投光器を設けるようにしてもよい。赤外線投光器により赤外線を投光することにより、上述した赤外光による焦点検出処理においてさらに焦点検出精度を高めることができる。赤外線投光器は一様な赤外光を照射してもよいし、照射する赤外光にパターンを持たせてもよい。照射する赤外光にパターンを持たせる場合は、焦点検出を補助するような投影像としてもよいし、グリッド状に配置した多点像を投影してもよい。グリッド状に配置した多点像を投影する場合は、投影されたグリッドの歪量を演算することで、距離検出を行うこともできる。

（変形例４）
上述した実施の形態では、第２撮像素子３２の各焦点検出用画素において隣接する光電変換部同士の光電変換信号を加算することで赤外光画像を取得し、コントラスト方式による焦点検出に用いる例について説明したが、赤外光画像をこの他の用途に用いてもよい。たとえば、第１撮像素子３１により撮像された可視光画像と第２撮像素子３２により撮像された赤外光画像とを比較して、可視光画像上ではヘッドライトなどの強い光によって隠れた人物を赤外光画像上で検出するようにしてもよい。また、赤外光は波長が長く物体の最表面よりも深部の像が得られるため、人間の顔を撮影した赤外光画像に基づいて人間の肌の内部を解析して、たとえば、肌の内部に隠れたしみなどの検出を行うこともできる。

（変形例５）
上述した実施の形態では、カラーフィルターの配置をベイヤ配列として、第１撮像素子３１からベイヤ配列の画像信号を得られる例について説明したが、カラーフィルターの配置をこの他の配置としてもよい。また、Ｒ、Ｇ、Ｂの光をそれぞれ透過するカラーフィルターを配置する例について説明したが、これに限らなくてよく、たとえば、Ｃｙ、Ｍｇ、Ｙｅの光をそれぞれ透過するカラーフィルターを配置するようにしてもよい。

上記では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。各実施形態および変形例は、適宜組合せてもよい。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。

１…デジタルカメラ、１０…撮影光学系、１１…制御部、１１ａ…焦点検出部、１１ｂ…画像生成部、１２，１１２…撮像部、３１，１３１…第１撮像素子、３２，１３２…第２撮像素子

Claims (6)

1. マイクロレンズと、
   前記マイクロレンズを透過した光を光電変換して電荷を生成し、第１方向に配置される複数の第１光電変換部と、
   複数の前記第１光電変換部を透過した光を光電変換して電荷を生成する第２光電変換部と、
   複数の前記第１光電変換部で生成された電荷に基づく第１信号、および前記第２光電変換部で生成された電荷に基づく第２信号の少なくとも一方を出力する出力部と、
   を備える撮像素子。
2. 請求項１に記載の撮像素子において、
   前記第１方向と交差する第２方向に配置される複数の前記第２光電変換部を備え、
   複数の前記第２光電変換部は、複数の前記第１光電変換部を透過した光を光電変換する撮像素子。
3. 請求項１または２に記載の撮像素子において、
   前記第１光電変換部と前記第２光電変換部とを異なる電荷蓄積時間で制御する制御部を備える撮像素子。
4. 請求項１から３のいずれか一項に記載の撮像素子において、
   前記第１光電変換部を透過した光を前記第２光電変換部に導光する導波路を備える撮像素子。
5. 請求項１から４のいずれか一項に記載の撮像素子と、
   前記第１信号および前記第２信号の少なくとも一方に基づいて、光学系による像が前記撮像素子に合焦する合焦位置の検出を行う検出部と、
   を備える撮像装置。
6. 請求項５に記載の撮像装置において、
   前記検出部は、前記第１信号に基づいて前記合焦位置が検出できないと前記第２信号に基づいて前記合焦位置を検出し、前記第２信号に基づいて前記合焦位置が検出できないと前記第１信号に基づいて前記合焦位置を検出する撮像装置。
   

Images