JP2015167363A - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP2015167363A
JP2015167363A JP2015077698A JP2015077698A JP2015167363A JP 2015167363 A JP2015167363 A JP 2015167363A JP 2015077698 A JP2015077698 A JP 2015077698A JP 2015077698 A JP2015077698 A JP 2015077698A JP 2015167363 A JP2015167363 A JP 2015167363A
Authority
JP
Japan
Prior art keywords
region
pixel
imaging
charge
pupil division
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015077698A
Other languages
English (en)
Other versions
JP5961720B2 (ja
Inventor
大槻 康夫
Yasuo Otsuki
康夫 大槻
井上 知己
Tomoki Inoue
知己 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2015077698A priority Critical patent/JP5961720B2/ja
Publication of JP2015167363A publication Critical patent/JP2015167363A/ja
Application granted granted Critical
Publication of JP5961720B2 publication Critical patent/JP5961720B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Studio Devices (AREA)

Abstract

【課題】高画質の撮影を行うことが可能な瞳分割機能を有する撮像装置を提供する。【解決手段】瞳分割用の画素部10,11のペアを複数有する撮像素子44と、全体を統括制御するCPU46と、を備える撮像装置のCPU46は、複数のペアの各々を、瞳分割用の画素部として機能させるか、撮影用の画素部として機能させるかの制御を行い、更に、撮像素子44の特定領域にあるペアを瞳分割用の画素部として機能させ(ステップS5)、当該ペアから得られた撮像画像信号を用いて位相差を検出し、この位相差に基づいて合焦位置を決定して焦点調節を行い(ステップS6)、焦点調節後の撮影条件にしたがって、各ペアを撮影用の画素部として機能させて(ステップS7)、撮像素子44により撮影を行う。【選択図】図8

Description

本発明は、撮像装置に関する。
焦点検出技術の1つとして位相差検出方式が知られている。この方式は、撮影レンズの異なる瞳領域を通過する光束を受光する一対の瞳分割用画素を設け、この一対の瞳分割用画素からの信号を用いることで、撮影レンズのデフォーカス量を検出するものである。この位相差検出方式によれば、コントラストAF方式の焦点検出技術に比べて高速に焦点調節を行うことができる。このような位相差検出方式の原理を適用した撮像装置として、特許文献1,2に記載のものが知られている。
特許文献1,2に記載の固体撮像素子は、瞳分割用画素で得られた信号は感度不足となるため、記録用の撮影を行う際には、瞳分割用画素で得られた信号を周囲の信号で補間する欠陥補正処理を行う必要がある。このため、偽色の発生の可能性があり、高画質な画像を得ることが難しい。また、信号を補間生成する演算を行う分、撮影から撮像画像データ記録までに要する時間(撮影時間)が長くなり、シャッタチャンスを逃してしまう可能性がある。
高画質かつ高速撮影を可能にするには、欠陥補正処理が不要になるよう、瞳分割用画素と通常の撮影用の画素とで同じ構造とするのが理想的であるが、これでは瞳分割を行うことができない。
特開2007−281296号公報 特開2008−312073号公報 特開2005−20024号公報 特開2008−103668号公報
本発明は、上記事情に鑑みてなされたものであり、撮影時間を短くして高画質の撮影を行うことが可能な瞳分割機能を有する撮像素子を備える撮像装置を提供することを目的とする。
本発明の撮像装置は、瞳分割用の画素部のペアを複数有する撮像素子と、全体を統括制御する中央制御部と、を備える撮像装置であって、前記中央制御部は、前記複数のペアの各々を、瞳分割用の画素部として機能させるか、撮影用の画素部として機能させるかの制御を行い、更に、前記中央制御部は、前記撮像素子の特定領域にある前記ペアを前記瞳分割用の画素部として機能させ、当該ペアから得られた撮像画像信号を用いて位相差を検出し、前記位相差に基づいて合焦位置を決定して焦点調節を行い、前記焦点調節後の撮影条件にしたがって、各ペアを前記撮影用の画素部として機能させて前記撮像素子により撮影を行うものである。
また、本発明の撮像装置は、前記特定領域は、顔が検出された領域であるものを含む。
また、本発明の撮像装置は、前記中央制御部は、前記位相差の検出、前記焦点調節、前記撮影、及び、前記撮影により前記撮像素子から出力される撮像画像信号を画像処理させて撮像画像データを生成させる制御を繰り返し行い、前記撮像画像データを表示する表示部を更に備えるものである。
本発明の撮像装置は、瞳分割用の画素部のペアを複数有する撮像素子を備える撮像装置であって、前記撮像素子に含まれる全ての画素部が、前記瞳分割用の画素部であり、前記ペアを構成する2つの瞳分割用の画素部の間には画素部同士を分離するための素子分離領域が設けられており、前記撮像素子の前方に配置されたフォーカスレンズと、前記撮像素子で撮影して得られる撮像画像信号に基づいて前記フォーカスレンズの位置を調節する焦点調節処理を行う焦点調節部とを備え、前記焦点調節処理は、前記ペアの信号を用いて位相差検出方式により焦点調節を行う位相差AF処理と、前記撮像画像信号に基づいてコントラスト検出方式により焦点調節を行うコントラストAF処理とを含み、前記撮像装置が撮影モードに設定されると、前記撮像素子によりライブビュー画像表示用の動画撮影を開始し、前記撮像素子から出力される撮像画像信号に基づいて露出値を算出し、前記算出した露出値が閾値以上の場合に前記位相差AF処理を行い、前記算出した露出値が閾値未満の場合に前記コントラストAF処理を行うものである。
本発明の撮像装置は、前記撮像素子の被写体側に配置されたメカニカルシャッタを備え、前記撮影モードが設定されると前記メカニカルシャッタを開いてライブビュー画像表示用の動画撮影を開始し、シャッタボタンが半押しされた時点で前記露出値を算出するものである。
本発明の撮像装置は、全ての前記ペアの一方の瞳分割用の画素部から得られる撮像画像信号と、全ての前記ペアの他方の瞳分割用の画素部から得られる撮像画像信号とをそれぞれ画像処理して視差のある複数の撮像画像データを生成する画像処理部を備えるものである。
本発明の撮像装置は、瞳分割用の画素部のペアを複数有する撮像素子を備える撮像装置であって、前記ペアを構成する2つの画素部は、それぞれ、半導体基板内に形成され電荷を発生する第一導電型の電荷発生領域と、前記半導体基板内で前記電荷発生領域に接して形成され前記電荷発生領域で発生した電荷を蓄積する前記電荷発生領域よりも不純物濃度の高い前記第一導電型の電荷蓄積領域と、前記電荷蓄積領域と前記電荷発生領域のうち前記電荷発生領域に接して形成された前記第一導電型と反対導電型の障壁領域と、前記障壁領域に隣接して形成された前記第一導電型の電荷排出領域とを含み、前記ペアを構成する2つの画素部の一方の画素部の前記電荷発生領域が前記障壁領域と接する部分は、当該電荷発生領域の中心よりも瞳分割方向の一方側にあり、前記ペアを構成する2つの画素部の他方の画素部の前記電荷発生領域が前記障壁領域と接する部分は、当該電荷発生領域の中心よりも瞳分割方向の他方側にあり、前記撮像素子の前方に配置されたフォーカスレンズと、前記撮像素子で撮影して得られる撮像画像信号に基づいて前記フォーカスレンズの位置を調節する焦点調節処理を行う焦点調節部とを備え、前記焦点調節処理は、前記ペアの信号を用いて位相差検出方式により焦点調節を行う位相差AF処理と、前記撮像画像信号に基づいてコントラスト検出方式により焦点調節を行うコントラストAF処理とを含み、撮影モードに設定されると、前記撮像素子によりライブビュー画像表示用の動画撮影を開始し、前記撮像素子から出力される撮像画像信号に基づいて露出値を算出し、前記算出した露出値が閾値以上の場合に前記位相差AF処理を行い、前記算出した露出値が閾値未満の場合に前記コントラストAF処理を行うものである。
本発明の撮像装置は、瞳分割用の画素部のペアを複数有する撮像素子であって、前記ペアを構成する2つの画素部は、それぞれ、半導体基板内に形成され電荷を発生する第一導電型の電荷発生領域と、前記半導体基板内で前記電荷発生領域に接して形成され前記電荷発生領域で発生した電荷を蓄積する前記電荷発生領域よりも不純物濃度の高い前記第一導電型の電荷蓄積領域と、前記電荷蓄積領域と前記電荷発生領域のうち前記電荷発生領域のみに接して形成された前記第一導電型と反対導電型の障壁領域と、前記障壁領域に隣接して形成された前記第一導電型の電荷排出領域とを含み、前記ペアを構成する2つの画素部の一方の画素部の前記電荷発生領域が前記障壁領域と接する部分は、当該電荷発生領域の中心よりも瞳分割方向の一方側にあり、前記ペアを構成する2つの画素部の他方の画素部の前記電荷発生領域が前記障壁領域と接する部分は、当該電荷発生領域の中心よりも瞳分割方向の他方側にあるものである。
この構成によれば、障壁領域で形成されるポテンシャル障壁を消滅させた場合には、電荷発生領域の障壁領域と接している部分近辺で発生した電荷が電荷排出領域に移動し、電荷発生領域の障壁領域と接していない部分で発生した電荷が電荷蓄積領域に移動する。ペアを構成する2つの画素部の電荷発生領域が障壁領域と接している部分の位置は瞳分割方向で互いに逆となっているため、ペアを構成する2つの画素部の電荷排出領域に移動する電荷は、異なる瞳領域を通過した光に対応する電荷とすることができる。この結果、ペアを構成する2つの画素部の電荷蓄積領域は、それぞれ異なる瞳領域を通過した光に対応する電荷を蓄積することが可能になり、瞳分割が可能となる。
特許文献1,2に記載された瞳分割の手法では、撮影を行う際に瞳分割用画素で得られた信号を周囲から補間生成する必要がある。これに対し、上記構成によれば、ポテンシャル障壁が形成されるようにした状態で撮影を行うことで、ペアの2つの画素部を撮影用の画素部として機能させることが可能である。このため、信号補間のための演算処理は不要となり、高画質かつ撮影時間の短縮が可能となる。また、上記構成によれば、光学的に開口を狭めて瞳分割を行わずにすむため、裏面照射型撮像素子に適用したとしても、裏面照射型撮像素子の最大の利点である高い感度を損なうことがない。また、遮光膜等を形成する工程を追加する必要がないため、製造コストの増加、混色の発生等を防ぐことができる。また、微細化にも容易に対応することができる。
本発明によれば、撮影時間を短くして高画質の撮影を行うことが可能な瞳分割機能を有する撮像素子を備える撮像装置を提供することができる。
本発明の一実施形態を説明するための撮像装置の機能ブロック図 図1に示した撮像装置における撮像素子の概略構成を示す平面模式図 図2に示した撮像素子における瞳分割用の画素部の1つのペアのA−A線断面模式図 図2に示したペアの2つの画素部を拡大した平面模式図 図2に示した撮像素子のローレベル状態での画素部のシリコン基板内のポテンシャル分布を示した図 図2に示した撮像素子のハイレベル状態での画素部のシリコン基板内のポテンシャル分布を示した図 図2に示した撮像素子の瞳分割原理を説明するための図 図1に示した撮像装置の撮影動作を説明するためのフローチャート 図1に示した撮像装置の撮影動作を説明するためのタイミングチャート 図1に示した撮像装置に3D撮影モードを搭載したときの撮影動作を説明するためのフローチャート 図1に示した撮像装置に搭載する撮像素子の第一の変形例を示す図 図1に示した撮像装置に搭載する撮像素子の第二の変形例を示す図 図12に示した画素部10,11の電荷排出領域15aに、障壁領域16によって形成されるポテンシャル障壁を消滅させるハイレベルの電圧を印加したときの状態を示した図 図1に示した撮像装置に搭載する撮像素子の第三の変形例を示す図 図14のB−B線断面模式図 図14のC−C線断面模式図 図14のD−D線断面模式図 図1に示した撮像装置に搭載する撮像素子の第四の変形例を示す図 図1に示した撮像装置に搭載する撮像素子の第五の変形例を示す図 図1に示した撮像装置に搭載する撮像素子の第六の変形例を示す図 図1に示した撮像装置に搭載する撮像素子の第七の変形例を示す図
以下、本発明の実施形態について図面を参照して説明する。
図1は、本発明の一実施形態を説明するための撮像装置100の機能ブロック図である。撮像装置100の撮像系は、撮影レンズ系41と、絞り42と、メカニカルシャッタ43と、撮像素子44と、アナログデジタル(AD)変換部45とを備える。
撮像素子44はいわゆる裏面照射型のイメージセンサであり、半導体基板としてのシリコン基板(Si基板)の一方の面(裏面)から光を受光し、当該光に応じてシリコン基板内で発生した電荷を、シリコン基板の他方の面(表面)に形成された読み出し回路を用いて読み出すものである。読み出し回路としては、CCD(Charge Coupled Device)及びアンプで構成されるCCD回路と、MOS(Metal−Oxide−Semiconductor)トランジスタで構成されるMOS回路のどちらを用いてもよいが、以下ではMOS回路を採用した場合について説明する。
撮影レンズ系41の背部には、絞り42が配置され、撮影レンズ系41と絞り42により撮影光学系を構成している。
絞り42の背部には、詳細は後述するCMOS型かつ裏面照射型の撮像素子44が配置されている。絞り42と撮像素子44の間にはメカニカルシャッタ43が配置されている。撮影レンズ系41、絞り42、及びメカニカルシャッタ43をこの順に通って撮像素子44の受光面に入射した被写体光像に対応する撮像画像信号が、AD変換部45でデジタルデータに変換され、バス56に出力される。
バス56には、この撮像装置100の全体を統括制御する中央制御部(CPU)46と、シャッタボタンを含む操作ボタン等で構成される操作部48と、DSP等で構成されCPU46の指示の基に撮像画像信号に対して周知の画像処理を施す画像処理部49と、撮像画像信号を画像処理して得られた撮像画像データを表示用のデータに変換するビデオエンコーダ50と、ビデオエンコーダ50で変換された撮像画像データを表示部52に表示するドライバ53と、メモリ51と、メディア制御部54とが接続される。メディア制御部54には着脱自在に記録媒体(メモリカード)55が装着される。
CPU46には、デバイス制御部47が接続される。デバイス制御部47は、CPU46からの指示に従い、撮像素子44の駆動制御を行い、絞り42の開口量調整制御を行い、撮影レンズ系41のフォーカスレンズの位置制御やズームレンズの位置制御を行い、メカニカルシャッタ43の開閉制御を行う。
図2は、図1に示した撮像装置100における撮像素子44の概略構成を示す平面模式図である。図2では、撮像素子44をシリコン基板の表面側から見た図を示した。
図2に示したように、撮像素子44は、複数の画素部10(細線のブロック)からなる第一グループと、複数の画素部11(太線のブロック)からなる第二グループとを備える。撮像素子44に含まれる全ての画素部は、行方向Xとこれに直交する列方向Yに二次元状(図2の例では正方格子状)に配列されている。そして、左から数えて偶数番目の列にある画素部が、画素部11となっている。
各画素部10と、各画素部10に対して同一の方向で隣接する画素部11(図2の例では各画素部10の右隣にある画素部11)は、撮影光学系の異なる瞳領域を通過する光束を受光する瞳分割用の画素部のペアを構成する。撮像素子44は、このペアを二次元状に複数配列したものということもできる。
図3は、図2に示した撮像素子44における瞳分割用の画素部のペアのA−A線断面模式図である。
画素部10のシリコン基板内には、裏面側に電荷発生領域17が形成されている。電荷発生領域17は、シリコン基板の裏面側から入射する光に応じた電荷を発生するN型不純物層からなる領域である。
画素部10のシリコン基板内の電荷発生領域17よりもシリコン基板の表面側には、電荷発生領域17に接して電荷蓄積領域13が形成されている。電荷蓄積領域13は、シリコン基板の裏面側から入射する光に応じた電荷を発生すると共に、電荷発生領域17及び電荷蓄積領域13自身で発生した電荷を蓄積する。電荷蓄積領域13は、電荷発生領域17よりも不純物濃度の高いN型不純物層からなる領域である。電荷発生領域17と電荷蓄積領域13が画素部10の光電変換領域(フォトダイオード)を構成している。
図3の例では、電荷発生領域17は画素部10の行方向Xの端から端まで形成されており、電荷蓄積領域13は、電荷発生領域17よりも行方向Xの幅が小さくなっており、かつ、その行方向Xの中心が電荷発生領域17の行方向Xの中心に対して左方向に偏心して配置されている。
画素部10のシリコン基板内の電荷蓄積領域13とシリコン基板表面との間には、電荷蓄積領域13での暗電流発生等を抑制するためのP型不純物層からなる表面P領域12が形成されている。
画素部10のシリコン基板内の電荷発生領域17よりもシリコン基板の表面側には、電荷発生領域17に接して障壁領域16が形成されている。障壁領域16は、電荷発生領域17に対してポテンシャル障壁を形成するP型不純物層からなる領域である。障壁領域16の電荷発生領域17と接する部分は、当該電荷発生領域17の行方向Xの中心よりも瞳分割方向(行方向X)の一方側(右側)にある。言い換えると、障壁領域16は、電荷発生領域17の行方向Xの端部のうちの一方の端部(図3の例では右端部)に接して形成されている。
画素部10のシリコン基板内の障壁領域16とシリコン基板表面との間には、電荷発生領域17と同じ導電型のN型不純物層からなる電荷排出領域15が形成されている。電荷排出領域15は、図3の例では、電荷蓄積領域13よりも不純物濃度の高い領域となっている。電荷排出領域15には、シリコン基板表面上方に形成された配線30が電気的に接続されており、この配線30は、図1に示したデバイス制御部47に接続されている。
画素部10のシリコン基板内の表面P領域12及び電荷蓄積領域13と、障壁領域16及び電荷排出領域15との間には、障壁領域16よりも不純物濃度の高いP型不純物層からなる素子分離領域14が形成されている。この素子分離領域14によって、表面P領域12及び電荷蓄積領域13と、障壁領域16及び電荷排出領域15とが分離されている。
画素部11の断面形状は、画素部10の断面形状を瞳分割方向(行方向X)で反転させたものとなっているだけであるため、同一機能を持つ領域には画素部10と同一の符号を付して説明を省略する。
シリコン基板内の画素部10と画素部11の間には、画素部同士を分離するためのP型不純物層からなる素子分離領域18が形成されている。また、画素部10,11の電荷発生領域17とシリコン基板の裏面との間には、高濃度のP型不純物層からなる裏面P領域19が形成されている。
図4は、図2に示したペアを構成する2つの画素部を拡大した平面模式図である。
画素部10のシリコン基板表面にある表面P領域12の隣にはフローティングディフュージョンFDが形成されている。フローティングディフュージョンFDと表面P領域12との間のシリコン基板上方には、図示しない絶縁膜を介して転送ゲート電極31が形成されている。この転送ゲート電極31に高電圧が印加されると、電荷蓄積領域13に蓄積された電荷がフローティングディフュージョンFDに転送される。
フローティングディフュージョンFDの右隣にはドレイン領域27が形成されている。ドレイン領域27には配線25が接続され、この配線25には電源電圧VDDが供給される。フローティングディフュージョンFDとドレイン領域27との間のシリコン基板上方には、図示しない絶縁膜を介してリセットゲート電極21が形成されている。リセットゲート電極21に高電圧が印加されると、フローティングディフュージョンFDの電荷がドレイン領域27へと排出されて、フローティングディフュージョンFDがリセットされる。フローティングディフュージョンFDとリセットゲート電極21とドレイン領域27が、フローティングディフュージョンFDの電荷をリセットするリセットトランジスタを構成する。
ドレイン領域27の右隣にはソース領域28が形成されている。ドレイン領域27とソース領域28の間のシリコン基板上方には、図示しない絶縁膜を介してゲート電極22が形成されている。ゲート電極22には配線24が接続され、この配線24がフローティングディフュージョンFDに電気的に接続されている。ドレイン領域27とゲート電極22とソース領域28が、フローティングディフュージョンFDの電位に応じた信号を出力する出力トランジスタを構成する。
ソース領域28の右隣にはドレイン領域29が形成されている。ソース領域28とドレイン領域29の間のシリコン基板上方には、図示しない絶縁膜を介してゲート電極23が形成されている。ドレイン領域29には信号出力線26が接続されている。ソース領域28とゲート電極23とドレイン領域29が、出力トランジスタからの出力信号を信号出力線26に選択的に出力する選択トランジスタを構成する。この選択トランジスタがオンすることで、出力トランジスタからの出力信号を信号出力線26に出力することができる。
以上のように、画素部10は、シリコン基板の表面側に周知のMOS回路(図3の例ではフローティングディフュージョンFDと3つのトランジスタからなるMOS回路)が読み出し回路として形成されている。なお、画素部11の読み出し回路の構成は、画素部10の構成を左右反転させただけであるため、その説明は省略する。また、この読み出し回路のレイアウトは一例であり、シリコン基板表面側の空いているスペースを利用して周知のMOS回路を形成することができる。
次に、このように構成された瞳分割用の画素部10,11の瞳分割の原理について説明する。
撮像装置100では、デバイス制御部47が、電荷排出領域15に接続された配線30に供給する電圧を制御することで、画素部10,11を瞳分割用画素部として機能させたり、瞳分割機能を持たない通常の撮影用の画素部として機能させたりする。具体的には、デバイス制御部47は、電荷排出領域15に接続された配線30に供給する電圧を、障壁領域16によって形成されるポテンシャル障壁を消滅させることのできるハイレベルの電圧と、当該ポテンシャル障壁を消滅させずに形成しておくことのできるローレベルの電圧とで切り替える。以下では、電荷排出領域15にローレベルの電圧を印加した状態をローレベル状態といい、電荷排出領域15にハイレベルの電圧を印加した状態をハイレベル状態という。
図5は、ローレベル状態での画素部10のシリコン基板内のポテンシャル分布を示した図である。図5において、FIG5Aは、図3に示した断面図におけるB−B線の断面ポテンシャル図であり、FIG5Bは、図3に示した断面図におけるC−C線の断面ポテンシャル図である。図6は、ハイレベル状態での画素部10のシリコン基板内のポテンシャル分布を示した図である。図6において、FIG6Aは、図3に示した断面図におけるB−B線の断面ポテンシャル図であり、FIG6Bは、図3に示した断面図におけるC−C線の断面ポテンシャル図である。
ローレベル状態では、FIG5Bに示したように、障壁領域16のポテンシャルが電荷発生領域17に対して障壁として機能する。このため、電荷発生領域17のうち、障壁領域16と接する部分の近辺で発生した電荷は、この障壁を越えられずに、FIG5Aに示した電荷蓄積領域13によって形成されるポテンシャル井戸に移動する。つまり、ローレベル状態では、電荷発生領域17で発生する全ての電荷が、電荷蓄積領域13に蓄積されることになる。
これに対し、ハイレベル状態では、FIG6Bに示したように、障壁領域16によって形成されていたポテンシャル障壁が消滅し、障壁領域16のポテンシャルが電荷発生領域17に対して障壁として機能しなくなる。このため、電荷発生領域17のうち、障壁領域16と接する部分の近辺で発生した電荷は、障壁領域16を通って電荷排出領域15に移動し、電荷蓄積領域13には蓄積されない。一方で、電荷発生領域17のうち、障壁領域16と接しない部分で発生した電荷は、FIG6Aに示した電荷蓄積領域13によって形成されるポテンシャル井戸に移動する。つまり、ハイレベル状態では、電荷発生領域17で発生する電荷のうち、電荷発生領域17の行方向Xの右端で発生する電荷以外の電荷だけが電荷蓄積領域13に蓄積されることになる。
ここまでは、画素部10についての説明であるが、画素部11については、画素部10と左右反転の構造となっているため、ハイレベル状態では、電荷発生領域17で発生する電荷のうち、電荷発生領域17の行方向Xの左端で発生する電荷以外の電荷だけが電荷蓄積領域13に蓄積され、ローレベル状態では、電荷発生領域17で発生する全ての電荷が電荷蓄積領域13に蓄積されることになる。
このように、ハイレベル状態では、画素部10と画素部11とで、電荷蓄積領域13に蓄積される電荷の成分が異なるものとなる。この結果、画素部10と画素部11とで瞳分割が可能となる。図7を用いて瞳分割の原理について更に説明する。
図7のFIG7Aは、ローレベル状態での画素部10内での電荷の移動を説明するための図である。図7のFIG7Bは、ハイレベル状態での画素部10内での電荷の移動を説明するための図である。
画素部10にシリコン基板の裏面側から入射する光には、画素部10に対して左側から入射してくる成分と、右側から入射してくる成分とが存在する。左側から入射してくる光成分は、FIG7Aに示すように、電荷発生領域17の右側の端部に入射し、ここで電荷(丸印に−を記入したもの)を発生する。逆に、右側から入射してくる光成分は、電荷発生領域17の左側の端部に入射し、ここで電荷を発生する。
ローレベル状態では、障壁領域16が電荷発生領域17に対してポテンシャル障壁を形成するため、電荷発生領域17で発生した全ての電荷は、FIG7Aの矢印で示すように、電荷蓄積領域13に移動して、ここで蓄積される。
一方、ハイレベル状態では、FIG7Bに示すように、障壁領域16のポテンシャル障壁が消滅して、斜線部分で示すように電荷排出領域15から空乏層が広がるため、左側から入射してきた光成分に応じた電荷は、この空乏層を介して電荷排出領域15に移動し、右側から入射してきた光成分に応じた電荷は、電荷蓄積領域13に移動して蓄積される。
画素部11についての電荷の流れは、図7を左右反転させたものとなる。
したがって、ハイレベル状態では、画素部10は、右側から入射してくる光成分に応じた電荷を主に蓄積し、画素部11は、左側から入射してくる光成分に応じた電荷を主に蓄積する。この結果、画素部10と画素部11とで、それぞれに入射してくる光の光路は全く変えることなく、配線30に印加する電圧を変えるという電気的な制御だけで、瞳分割を行うことができる。画素部10と画素部11は、従来の裏面照射型撮像素子に対し、主にシリコン基板内の構造を変えることで実現することができる。このため、特許文献1,2に記載のように、シリコン基板外の素子光学系(マイクロレンズや遮光膜)の構成を変えて瞳分割用画素部を作る場合と比較して、感度の低下を防ぐことができる、微細化に容易に対応することができる、製造コストの増大を防ぐことができる等の利点がある。
なお、ハイレベル状態において、電荷発生領域17のFIG7Bの斜線部分以外の領域で発生した電荷が、電荷排出領域15に積極的に流れてしまっては、瞳分割性能が劣化してしまう。このため、ハイレベル状態において、画素部10の電荷発生領域17の障壁領域16と接しない部分で発生した電荷が、電荷蓄積領域13に積極的に移動するように、電荷発生領域17と電荷蓄積領域13と障壁領域16の濃度を決めておくのが好ましい。例えば、図6に示したように、ハイレベル状態において、電荷発生領域17から電荷蓄積領域13に向かうポテンシャルの傾斜が、電荷発生領域17から障壁領域16に向かうポテンシャルの傾斜よりも大きくなるように、各領域の濃度を設定するのがよい。
上述した瞳分割方式で特に優れている点は、ローレベル状態のときは、画素部10と画素部11とで瞳分割は行われないため、瞳分割用の画素部を通常の撮影用の画素部として使用できる点である。このため、撮像装置100は、撮像画像データを記録するための本撮影時にはローレベル状態にして本撮影を行い、従来行っていた瞳分割用画素部の信号の欠陥補正処理を完全になくしている。以下では、撮像装置100の撮影時の動作について説明する。
図8は、図1に示した撮像装置100の撮影動作を説明するためのフローチャートである。図9は、図1に示した撮像装置100の撮影動作を説明するためのタイミングチャートである。なお、デバイス制御部47は、撮影モードが設定されると、電荷排出領域15にローレベルの電圧を印加する。
撮影モードに設定されるとCPU46は、デバイス制御部47を介してメカニカルシャッタ43を開にするとともに、撮像素子44によりライブビュー画像表示用の動画撮影(図9のMV)を開始する。そして、操作部48に含まれるシャッタボタンが半押しされると(ステップS1:YES)、CPU46は、半押しされた時点で撮像素子44から出力された撮像画像信号を取得し、この撮像画像信号に基づいて露出値(EV値)を算出する(ステップS2、図9の“AE”)。
次に、CPU46は、算出したEV値が閾値th以上か否かを判定し(ステップS3)、判定の結果がNOであった場合はステップS4の処理を行い、判定の結果がYESであった場合はステップS5の処理を行う。
ステップS4では、CPU46が、デバイス制御部47を介して、周知の方法により、コントラスト検出方式による焦点調節処理を実行する(図9の“AF”)。具体的には、撮影レンズ系41のフォーカスレンズを移動させながら焦点調節用の仮撮影を行い、コントラスト値がピークになったときのフォーカスレンズ位置を合焦位置として、焦点調節を行う。
ステップS5では、CPU46が、デバイス制御部47を介して、電荷排出領域15に印加する電圧をローレベルからハイレベルに変更する。
ステップS5の後、CPU46は、撮像素子44により焦点調節用の仮撮影を行い、この仮撮影で撮像素子44から出力された撮像画像信号に基づいて、周知の位相差検出方式により焦点調節を行う(ステップS6、図9の“AF”)。具体的には、撮像素子44の全ての画素部10から得られた撮像画像信号と、撮像素子44の全ての画素部11から得られた撮像画像信号との比較によって位相差を検出し、この位相差に基づいて被写体までの距離を測定して、合焦位置を決定し、焦点調節を行う。
なお、位相差検出方式により焦点調節を行う場合は、撮像素子44の全ての画素部10から得られた撮像画像信号と、撮像素子44の全ての画素部11から得られた撮像画像信号とを必ずしも用いなくてよい。例えば、撮像素子44の特定領域(例えばユーザが指定した領域、顔が検出された領域、予め決められた領域等)にある全ての画素部10から得られた撮像画像信号と当該特定領域にある全ての画素部11から得られた撮像画像信号との比較により、位相差検出を行ってもよい。
この場合、仮撮影時において全ての画素部10,11をハイレベル状態にする必要はなく、位相差検出に使用する撮像信号を出力する画素部10,11だけをハイレベル状態とし、他の画素部10,11についてはローレベル状態とすることも考えられるが、全ての画素部10,11をハイレベル状態にして仮撮影を行うことが好ましい。このようにすることで、不純物領域15の電圧を画素部毎に独立に制御できるようにするための配線30の形成が不要となり、設計が容易になる。
ステップS6で位相差検出方式による合焦位置の算出が終わると、CPU46は、デバイス制御部47を介して、電荷排出領域15に印加する電圧をハイレベルからローレベルに変更する(ステップS7)。
ステップS4,S7の処理が終わり、一定期間中にシャッタボタンの全押しがなされると(ステップS8:YES)、CPU46は、ステップS2で算出したEV値とステップS4又はステップS6で決定した合焦位置等の撮影条件にしたがって、撮像素子44により本撮影を行う(ステップS9、図9の“露光”)。一定期間中にシャッタボタンの全押しがなされなかった場合(ステップS8:NO)、CPU46は、ステップS2に戻って再びEV値の算出を行う。
CPU46は、本撮影の実行後、設定した露光時間が経過すると、メカニカルシャッタ43を閉じて本撮影を終了する。本撮影の終了後、撮像素子44の全ての画素部から撮像信号が出力され(図9の“読み出し”)、この全ての撮像信号の集合である撮像画像信号に対し、画像処理部49にて画像処理がなされて、1つの撮像画像データが生成される。この画像処理には、従来行っていた瞳分割用の画素部の感度低下に伴う欠陥補正処理は含まれない。生成された撮像画像データは、表示部52にプレビュー表示されると共に、メモリカード55に記録される。
以上のように、撮像装置100によれば、撮像素子44を搭載していることにより、電気的な制御によって、瞳分割を行った撮影と瞳分割を行わない撮影とを簡単に切り替えることができる。このため、焦点調節を行うための仮撮影時には、瞳分割を行った撮影によって位相差検出処理を実施して、焦点調節を高速に行うことができると共に、記録用の撮像画像データを得るための本撮影時には、瞳分割を行わない撮影によって、欠陥補正の必要のない撮像画像信号を得て、撮影処理終了までの時間を短縮することができる。この結果、欠陥補正処理がなくなることによって画質向上を実現できると共に、撮影時間の短縮によってシャッタチャンスを逃してしまう可能性を低くすることができる。
また、撮像装置100によれば、本撮影前に決定する露出値に応じて、コントラスト検出方式と位相差検出方式を切り替えて焦点調節を行うことができる。露出値が小さいときには、位相差検出方式よりもコントラスト検出方式の方が、焦点調節精度が高くなるため、図8に示したフローにしたがって焦点調節を行うことで、被写体に応じた最適な焦点調節を行うことができる。閾値thは、これよりも露出値が低くなると、コントラスト検出方式の焦点調節精度の方が位相差検出方式の焦点調節精度よりも高くなるときの露出値とすればよい。
なお、図8のフローチャートでは、露出値に応じてコントラスト検出方式と位相差検出方式を切り替えるものとしたが、露出値に関わらず、常に位相差検出方式を行ってもよい。つまり、図8において、ステップS3,S4を削除し、ステップS2の後にステップS5に移行するフローとしてもよい。
また、画素部10と画素部11を瞳分割用の画素部として機能させた場合、全ての画素部10から得られる撮像画像信号と、全ての画素部11から得られる撮像画像信号の間には、画素部10と画素部11の瞳分割方向(行方向X)において視差が発生する。このため、この2つの撮像画像信号を独立に画像処理して視差のある2つの撮像画像データを生成し、これらを立体表示可能な形式で記録することで、撮像装置100に3D撮影機能を持たせることもできる。
図10は、図1に示した撮像装置100に3D撮影モード(視差のある複数の撮像画像データを撮影して記録するモード)を搭載したときの撮影動作を説明するためのフローチャートである。
まず、CPU46は、撮影モードを判定し、撮影モードが3D撮影モードであった場合(ステップS21:YES)には、ステップS22以降の処理を行う。撮影モードが、3D撮影モード以外の撮影モード、例えば2D撮影モード(視差のない撮像画像データを記録するモード)であった場合(ステップS21:NO)には、図8のステップS1以降の処理を行う。
ステップS22では、CPU46が、デバイス制御部47を介して、電荷排出領域15に印加する電圧をローレベルからハイレベルに変更する。
次に、操作部48に含まれるシャッタボタンが半押しされると(ステップS23:YES)、CPU46は、撮像素子44で焦点調節用の仮撮影を行い、この仮撮影によって得られた撮像画像信号(全ての画素部10からの撮像画像信号と、全ての画素部11からの撮像画像信号との2つ)に基づいて、位相差検出方式による焦点調節処理を行う(ステップS24)。
ステップS24の処理が終わり、一定期間中にシャッタボタンの全押しがなされなかった場合(ステップS25:NO)、CPU46は、ステップS24に処理を戻す。
ステップS24の処理が終わり、一定期間中にシャッタボタンの全押しがなされると(ステップS25:YES)、CPU46は、ステップS24で決定した合焦位置等の撮影条件にしたがって、撮像素子44により本撮影を行う。この本撮影によって撮像素子44から出力された撮像画像信号(全ての画素部10からの撮像画像信号と、全ての画素部11からの撮像画像信号との2つ)は、画像処理部49によって処理され、左眼用の撮像画像データと右眼用の撮像画像データが生成される。そして、これら2つの撮像画像データが立体表示可能な形式でメモリカード55に記録される(ステップS26)。
CPU46は、本撮影の実行後、3D撮影モードを終了するかどうかを判定し、3D撮影モードを終了する場合(ステップS27:YES)には、電荷排出領域15に印加する電圧をハイレベルからローレベルに変更して、3D撮影モードを終了する。3D撮影モードを終了しない場合(ステップS27:NO)には、ステップS23に処理を戻す。
このように、図1に示した撮像装置100によれば、2D撮影モードと3D撮影モードを電気的な制御だけで簡単に切り替えることができる。しかも、このような機能を、単一の撮影光学系と単一の撮像素子44で実現することができる。このため、2D撮影と3D撮影を併用できる撮像装置をコンパクトかつ低コストで実現することができる。
また、撮像装置100によれば、2D撮影モード時には、ローレベル状態で本撮影が行われるため、全ての画素部の感度を十分に確保することができると共に、全ての画素部の数に相当する画素数の撮像画像データを作ることができる。したがって、複雑な画像処理を行うことなく、高感度かつ高解像度の撮像画像データを得ることができる。
なお、これまでの説明では、撮像素子44に含まれる全ての画素部を、瞳分割兼撮影用の画素部としているが、特許文献1,2に記載されているように、撮像素子44に含まれる全ての画素部の一部を、瞳分割兼撮影用の画素部とし、残りの画素部については、撮影専用の画素部としてもよい。
この場合、撮影専用の画素部は、画素部10と画素部11のどちらかの構成と同じにするか、又は、画素部10,11とは異なる構成(例えば画素部10において素子分離領域14、電荷排出領域15、及び障壁領域16を削除し、これらが存在していた領域に、表面P領域12と電荷蓄積領域13を広げた構成)とすればよい。撮影専用の画素部を画素部10,11とは異なる構成にした場合には、撮影専用の画素部と画素部10,11とで、ローレベル状態で行う本撮影時に若干の感度差が生じる。しかし、この感度差は、従来のような周囲からの信号補間による欠陥補正処理が必要なほどではない。このため、画素部10,11から得られる信号のゲインを調整することで簡単に揃えることが可能である。したがって、撮影専用の画素部を設ける構成であっても、撮影時間の短縮を図ることができる。ただし、このような構成にした場合は、3D撮影機能を持たせることはできない。
次に、図1に示した撮像装置100に搭載する撮像素子44の変形例について説明する。
(第一の変形例)
図11は、図1に示した撮像装置100に搭載する撮像素子44の第一の変形例を示す図であり、図3に対応する図である。
図11に示した断面構成は、電荷排出領域15及び障壁領域16が画素部10と画素部11とで共有されている点を除いては、図3に示した断面構成と同じである。
図2に例示したように、ペアを構成する画素部10,11が互いに隣接する配置の場合には、図11に示したように、電荷排出領域15を、画素部10と画素部11で共通化して1つにすることが可能である。このようにすることで、電荷排出領域15に接続する配線数を図3の場合と比較して減らすことができ、配線レイアウトの自由度を向上させることができる。また、ペアを構成する画素部10と画素部11とで、電荷排出領域15及び障壁領域16を1つにすることで、電荷排出領域15及び障壁領域16の画素部毎の製造ばらつきを吸収することができ、画質向上を図ることができる。なお、障壁領域16については共通化せずに、画素部10と画素部11で別々に持っていてもよい。
(第二の変形例)
図12は、図1に示した撮像装置100に搭載する撮像素子44の第二の変形例を示す図であり、図3に対応する図である。
図3、図11に示した例では、電荷発生領域17よりもシリコン基板の表面側に障壁領域16が形成され、障壁領域16よりもシリコン基板の表面側に電荷排出領域15が形成されている。これに対し、図12に示した構成は、電荷発生領域17と同じ層に障壁領域16を形成し、この障壁領域16の隣に、シリコン基板の表面側に伸びる電荷排出領域(15a、15b)を形成した点が、図3,11とは大きく異なる。
図12に示すように、画素部10のシリコン基板内の電荷発生領域17の行方向Xの右隣には障壁領域16が形成されている。図12に示す構成においても、電荷発生領域17と障壁領域16とが接する部分は、電荷発生領域17の行方向Xの中心よりも右側に存在している。
障壁領域16の右隣には電荷発生領域17と同じ導電型の不純物層からなる電荷排出領域15bが形成されている。
電荷排出領域15bとシリコン基板表面との間には、電荷排出領域15bと同じ導電型でかつ電荷排出領域15bよりも不純物濃度の高い不純物層からなる電荷排出領域15aが形成されている。図12の例では、電荷排出領域15bと電荷排出領域15aは、ペアを構成する画素部10,11で共有されているが、画素部10と画素部11で別々に形成しておいてもよい。電荷排出領域15aと電荷排出領域15bは、図3で説明した電荷排出領域15と同じ機能を有しており、ここに印加する電圧を制御することでここに接している障壁領域16のポテンシャルを制御することができる。
電荷蓄積領域13及び表面P領域12の行方向Xの幅は、電荷発生領域17と同じになっており、電荷蓄積領域13及び表面P領域12と電荷排出領域15aとの間には素子分離領域14が形成されている。この素子分離領域14により、電荷蓄積領域13及び表面P領域12と、電荷排出領域15b、電荷排出領域15a、及び障壁領域16とが分離されている。
電荷排出領域15aには配線30が接続されており、配線30はデバイス制御部47に接続される。
画素部11の構成は、画素部10を行方向Xで反転させたものである。
図13は、図12に示した画素部10,11の瞳分割原理を説明するための図であり、電荷排出領域15aに、障壁領域16によって形成されるポテンシャル障壁を消滅させるハイレベルの電圧を印加したときの状態を示した図である。
電荷排出領域15aにハイレベルの電圧が印加されると、電荷排出領域15b、電荷排出領域15aの電位が深くなり、これに引きずられて障壁領域16のポテンシャルも深い方向に移動して、障壁領域16によって形成されていたポテンシャル障壁が消滅する。つまり、図13の斜線で示したように電荷排出領域15bから空乏層が広がり、この斜線で示した領域で発生した電荷は、電荷蓄積領域13には移動せずに、電荷排出領域15bを介して電荷排出領域15aに移動し、ここから基板外に排出される。
このように、図12に示すような構成であっても、前述してきたのと同様の原理で瞳分割を行うことができる。
図12に示した構成によれば、電荷発生領域17、電荷蓄積領域13、及び表面P領域12を平面視において同一面積とすることができ、これらの形状が単純になる。このため、シリコン基板裏面上方に画素部対応でマイクロレンズを形成する場合にも、その設計が容易になる。
また、図12に示した構成によれば、電荷排出領域15bをシリコン基板の裏面に近い位置に形成することができるため、シリコン基板の裏面上方に配線30を形成し、シリコン基板の裏面側から配線30と電荷排出領域15bとを接続することができる。この結果、シリコン基板表面側の設計自由度を向上させることができる。また、シリコン基板の裏面上方には、混色防止等を目的に、画素部同士の境界に遮光膜を設けることも考えられるが、この遮光膜を設けた場合には、この遮光膜を配線30と兼用することも可能であり、製造工程の簡略化を図ることができる。
また、図12に示した構成は、裏面照射型に限らず、表面照射型の撮像素子にも適用することができる。図12に示した構成を表面照射型に適用する場合は、シリコン基板の表面側にカラーフィルタやマイクロレンズ等を配置して、表面側から光を入射するものとすればよい。この場合、入射光のうちの長波長の光(赤色の光)は、シリコン基板の深部にある電荷発生領域17まで到達する。このため、障壁領域16の近傍の電荷発生領域17において発生する当該長波長の光に応じた電荷については、ハイレベル状態において電荷排出領域15aからこれを排出することができる。一方、入射光のうちの短波長の光(青色、緑色の光)は、電荷発生領域17までほとんど到達せず、電荷蓄積領域13で電荷に変換されるため、ハイレベル状態であっても、電荷排出領域15aからこれを排出することはほとんどできない。したがって、表面照射型であっても、入射光のうちの長波長の光については、原理的には瞳分割を行うことができる。
(第三の変形例)
図14は、図1に示した撮像装置100に搭載する撮像素子44の第三の変形例を示す図であり、図2の画素部10をシリコン基板表面側からみたときのシリコン基板内部の構成要素の配置を示した図である。図15は、図14のB−B線断面模式図であり、図16は、図14のC−C線断面模式図であり、図17は、図14のD−D線断面模式図である。
図3、図11、図12に示した例では、電荷発生領域17よりもシリコン基板の表面側に電荷蓄積領域13が形成されている。これに対し、第三の変形例では、電荷発生領域17と同じ層に電荷蓄積領域13を形成した点が、図3,11,12とは大きく異なる。
図14及び図15に示すように、電荷発生領域17と電荷蓄積領域13は、P型のシリコン基板内において列方向Yに並べてかつ互いに接して形成されている。電荷蓄積領域13の不純物濃度は電荷発生領域17よりも高くなっているため、電荷発生領域17から電荷蓄積領域13に向かってポテンシャルスロープが形成され、電荷発生領域17で発生した電荷は、電荷蓄積領域13に移動して蓄積される。電荷発生領域17及び電荷蓄積領域13とシリコン基板表面との間には表面P層12が形成されている。
図14及び図16に示すように、電荷発生領域17の左隣にはこれに接して障壁領域16が形成されている。障壁領域16の上には絶縁膜71を介して制御電極72が形成されている。この制御電極72には、図3で説明した配線30が接続されており、この配線に供給する電圧を制御することで、障壁領域16に電荷発生領域17に対するポテンシャル障壁を形成する状態と、当該ポテンシャル障壁を消滅させる状態とを切り替えることができる。
障壁領域16の左隣には、これに接して電荷排出領域15が形成されている。電荷排出領域15は固定電源に接続されている。図14に示すように、電荷蓄積領域13と障壁領域16及び電荷排出領域15との間はP型シリコン基板によって分離されている。第三の変形例の撮像素子では、電荷発生領域17と障壁領域16と電荷排出領域15とを全て同じ層に形成している。このため、電荷排出領域15の電位を制御する代わりに、制御電極72の電圧を制御することでハイレベル状態とローレベル状態を切り替えることができる。もちろん、電荷排出領域15に配線30を接続してローレベル状態とハイレベル状態を切り替えてもよい。この場合は、制御電極72は不要である。
図17に示すように、電荷蓄積領域13の左隣には少し離間して、図4で例示したようなMOS回路70の半導体領域が形成されている。当該半導体領域のうちのフローティングディフュージョンと電荷蓄積領域13との間のシリコン基板上方には転送ゲート電極73が形成されている。転送ゲート電極73と平面視で重なるシリコン基板の領域に電荷読み出し領域40が形成されている。なお、シリコン基板の裏面上方には、電荷発生領域17及び電荷蓄積領域13以外を遮光する遮光膜を設けておくことが好ましい。
ここまでは図2に示した画素部10について説明したが、画素部11については、図14に示した平面図を行方向Xに反転させたものとなる。瞳分割用画素部は撮影にも使うため、全ての画素部10,11の光電変換領域は等間隔で二次元状に配置することが好ましい。
図16に示すように、画素部10では、電荷発生領域17の左端に障壁領域16が接しているため、画素部11では、電荷発生領域17の右端に障壁領域16が接する構成となる。このため、撮像素子をハイレベル状態で駆動することで、これまで説明してきたのと同様の原理で瞳分割を行うことが可能になる。
図14に示した構成によれば、障壁領域16の電位を制御電極72によって直接制御することができるため、素子設計が容易になる。なお、図3、図11、図12に示したように、電荷発生領域17と電荷蓄積領域13をシリコン基板内で積層した構成によれば、画素部に占める電荷発生領域の割合を図14に示す構成よりも増やすことができ、高感度化を図れるという利点がある。
なお、図14に示した画素部の構成においても、例えば、図14に示す構成を画素部11の構成とし、図14の構成を行方向Xで反転させたものを画素部10とすることで、電荷排出領域15及び読み出し回路70を、画素部10と画素部11で共有することができる。これらを共有することができれば、各画素部の電荷発生領域17及び電荷蓄積領域13の面積を大きくすることができ、高感度化を図ることができる。
また、図14に示した構成は、裏面照射型に限らず、表面照射型の撮像素子にも適用することができる。図14に示した構成を表面照射型に適用する場合は、シリコン基板の表面側にカラーフィルタやマイクロレンズ等を配置して、表面側から光を入射するものとすればよい。この場合、図15〜17に破線で示したように、シリコン基板表面上方に、電荷発生領域17及び電荷蓄積領域13以外の領域を遮光する遮光膜Wを設ける。図14の構成を表面照射型にした場合でも、電荷発生領域17及び電荷蓄積領域13が画素部の光電変換領域となる。図14に示す構成によれば、表面照射型であっても、入射光の波長によらずに、瞳分割を行うことができる。
(第四の変形例)
図18は、図1に示した撮像装置100に搭載する撮像素子44の第四の変形例を示す図であり、図2に対応する図である。図18に示す撮像素子44aは、各画素部のシリコン基板裏面(シリコン基板の光入射側の面)上方にカラーフィルタを設けた点を除いては、図2に示した撮像素子44と同じ構成である。
図18において、赤色の光を透過するRカラーフィルタを持つ画素部10,11については、ブロック内に“R”の文字を記入し、緑色の光を透過するGカラーフィルタを持つ画素部10,11については、ブロック内に“G”の文字を記入し、青色の光を透過するBカラーフィルタを持つ画素部10,11については、ブロック内に“B”の文字を記入してある。
図18に示す撮像素子44aは、全ての画素部10に含まれるカラーフィルタの配列が全体としてベイヤ配列となっており、全ての画素部11に含まれるカラーフィルタの配列も全体としてベイヤ配列となっている。そして、ペアを構成する2つの画素部10,11に含まれるカラーフィルタは同色のものとなっている。
このような構成により、カラー撮像にも対応することができる。
撮像素子44aを搭載する撮像装置100は、撮像素子44aによりローレベル状態にて本撮影を行って1つの撮像画像データを得る際には、ペア毎に、当該ペアの画素部10,11から得られた2つの撮像信号を加算して1つの撮像信号を生成し、全てのペアの数と同数の撮像信号からなる撮像画像信号に画像処理を行って1つの撮像画像データを生成し、記録すればよい。このようにすることで、信号加算によって感度を更に向上させたカラーの撮像画像データを得ることができる。
なお、撮像素子44aのペアを構成する2つの画素部の構成は、図11,12,14〜17で説明した構成であってもよい。
(第五の変形例)
図19は、図1に示した撮像装置100に搭載する撮像素子44の第五の変形例を示す図であり、図2に対応する図である。図19に示す撮像素子44bは、各画素部のシリコン基板裏面(シリコン基板の光入射側の面)上方にカラーフィルタを設けた点、各画素部の配置を変更した点を除いては、図2に示した撮像素子44と同じ構成である。
図19において、赤色の光を透過するRカラーフィルタを持つ画素部10,11については、ブロック内に“R”の文字を記入し、緑色の光を透過するGカラーフィルタを持つ画素部10,11については、ブロック内に“G”の文字を記入し、青色の光を透過するBカラーフィルタを持つ画素部10,11については、ブロック内に“B”の文字を記入してある。
図19に示す撮像素子44bの画素部10は行方向Xと列方向Yに正方格子状に配列され、画素部11は行方向Xと列方向Yに正方格子状に配列されている。画素部10と画素部11は、配列ピッチ及び総数が同じになっている。全ての画素部10に含まれるカラーフィルタの配列は全体としてベイヤ配列になっており、全ての画素部11に含まれるカラーフィルタの配列も全体としてベイヤ配列になっている。
画素部11は、全ての画素部10を斜め45°右下方向にずらした位置に配置されている。また、各画素部10に対して同じ方向(図19の例では斜め右下方向)に隣接する画素部11は、当該各画素部10に含まれるカラーフィルタと同色のカラーフィルタを含むものとなるように、画素部10と画素部11が配置されている。そして、各画素部10と、当該各画素部10に対して斜め右下方向で隣接する画素部11とが瞳分割用の画素部のペアを構成している。
図19におけるA’−A’断面は図3に示した図になる。なお、図19におけるペアを構成する2つの画素部の構成は、図11,12,14〜17で説明した構成であってもよい。
このような構成により、カラー撮像にも対応することができる。また、図18に示した構成と比較して、1つの画素部あたりの面積を大きくすることができ、更なる高感度化を図ることができる。
(第六の変形例)
図20は、図1に示した撮像装置100に搭載する撮像素子44の第六の変形例を示す図であり、図2に対応する図である。図20に示す撮像素子44cは、各画素部のシリコン基板裏面(シリコン基板の光入射側の面)上方にカラーフィルタを設けた点、各画素部の配置を変更した点を除いては、図2に示した撮像素子44と同じ構成である。
図20において、赤色の光を透過するRカラーフィルタを持つ画素部10,11については、ブロック内に“R”の文字を記入し、緑色の光を透過するGカラーフィルタを持つ画素部10,11については、ブロック内に“G”の文字を記入し、青色の光を透過するBカラーフィルタを持つ画素部10,11については、ブロック内に“B”の文字を記入してある。
図2では、奇数列の画素部を画素部10とし、偶数列の画素部を画素部11としたが、撮像素子44cでは、画素部10と画素部11を2列おきに交互に配置している。そして、全ての画素部に含まれるカラーフィルタの配列は、全体としてベイヤ配列になっている。撮像素子44cでは、図中の実線又は破線で示すように、画素部10と、これに行方向Xで最も近い位置にある当該画素部10と同色のカラーフィルタを含む画素部11とで、瞳分割用の画素部のペアを構成している。
このような構成により、カラー撮像にも対応することができる。撮像素子44cによれば、カラーフィルタ配列が全体としてベイヤ配列となっているため、ローレベル状態にて本撮影を行って1つの撮像画像データを得る場合に、画素部10と画素部11の撮像信号を加算しなくとも、ベイヤ配列の撮像画像信号を得ることができ、画像処理が容易になると共に、高解像度の撮像画像データを生成することができる。
なお、図2、図18、20に示した構成は、行方向Xに瞳分割を行う場合を例示したものであるが、瞳分割を行う方向は任意であり、例えば列方向Yとしてもよい。この場合、図2、図18、図20に示した撮像素子において、全ての画素部の配列を右又は左に90°回転させた配列とすれば、列方向Yに瞳分割機能を持った撮像素子を実現することができる。
また、図19に示した構成の場合は、行方向Xと列方向Yの各々に対して45°の方向に瞳分割を行うことができるが、例えば、画素部10の右端部(四角形ブロックの右の角部)に障壁領域16を設け、画素部11の左端部(四角形ブロックの左の角部)に障壁領域16を設けることで、行方向Xに瞳分割を行ったり、画素部10の下端部(四角形ブロックの下の角部)に障壁領域16を設け、画素部11の上端部(四角形ブロックの上の角部)に障壁領域16を設けることで、列方向Yに瞳分割を行ったりすることも可能である。
また、図2、図18、図19、図20に示した構成では、ペアを構成する画素部10,11の各々の障壁領域16の平面視における中心を、電荷発生領域13の平面視における中心に対し、瞳分割を行う方向において互いに近づく方向に偏心させているが、この各々の障壁領域16の中心は、瞳分割を行う方向において互いに遠ざかる方向に偏心させてもよい。例えば、図3の断面図において、画素部10のシリコン基板内の構造を左右反転し、画素部11のシリコン基板内の構造を左右反転した断面形状としても、同様に、行方向Xに瞳分割を行うことができる。図3のような構造にした場合には、図11に例示したように、電荷排出領域15をペアの画素部で共有できるため、好ましい。
また、瞳分割を行う方向は1方向に限らず、複数方向にしてもよい。以下では、複数方向で瞳分割を行うことが可能な撮像素子について説明する。
(第七の変形例)
図21は、図1に示した撮像装置100に搭載する撮像素子44の第七の変形例を示す図であり、図2に対応する図である。
図21に示す撮像素子44eは、複数の画素部を、図19と同様の配列で配置した構成である。図19と大きく異なるのは、互いに隣接する4つの画素部60a,60b,60c,60dを1つのグループとし、グループ内の4つの画素部の各々が有するカラーフィルタを同色としている点、各グループにおいて4つの画素部で電荷排出領域15を共有している点である。図21において、赤色の光を透過するRカラーフィルタを持つ画素部については、ブロック内に“R”の文字を記入し、緑色の光を透過するGカラーフィルタを持つ画素部については、ブロック内に“G”の文字を記入し、青色の光を透過するBカラーフィルタを持つ画素部については、ブロック内に“B”の文字を記入してある。
各グループに含まれる4つの画素部60a,60b,60c,60dのうち、画素部60bと画素部60dは、行方向Xに瞳分割を行う瞳分割用のペアを構成し、画素部60aと画素部60cは、列方向Yに瞳分割を行う瞳分割用のペアを構成している。全ての瞳分割用のペアの画素部の構成は、図3,11,12,14で説明した構成を適用できる。例えば、図21に示したa−a線断面とb−b線断面は、いずれも図11又は図12に示した断面と同じである。ただし、各画素部60a,60b,60c,60dに含まれる電荷排出領域15(15a,15b)は、グループ内に1つだけとなっており、4つの画素部60a,60b,60c,60dで共有されている。
このような構成により、2つの方向での瞳分割を行うことができる。また、この構成によれば、4つの画素部で電荷排出領域15を共有することができるため、配線30の引き回しが容易になる。
なお、撮像素子44eをローレベル状態にして本撮影を行った場合は、各グループから得られる4つの撮像信号を加算してグループの総数分の撮像信号からなる撮像画像信号を生成し、これを画像処理して1つの撮像画像データを生成して記録すればよい。また、撮像素子44eをハイレベル状態にして本撮影を行った場合は、全ての画素部60aから得られる撮像画像信号を画像処理して撮像画像データ(上)を生成し、全ての画素部60bから得られる撮像画像信号を画像処理して撮像画像データ(左)を生成し、全ての画素部60cから得られる撮像画像信号を画像処理して撮像画像データ(下)を生成し、全ての画素部60dから得られる撮像画像信号を画像処理して撮像画像データ(右)を生成し、これらを対応付けて記録すればよい。
例えば、撮像画像データ(右)と撮像画像データ(左)は、行方向Xに視差のあるデータとなっているため、これらを立体視可能に表示することができる。また、撮像画像データ(上)と撮像画像データ(下)は、列方向Yに視差のあるデータとなっているため、これらを立体視可能に表示することもできる。このように、撮像素子44eによれば、1度の撮影で、異なる方向に視差を持つ撮像画像データの組を得ることができ、同一の被写体を、様々な視点で見たときの立体画像を再現することが可能になる。
また、撮像素子44eの各画素部はカラーフィルタを搭載していなくてもよい。この場合でも、1度の撮影で、異なる方向に視差を持つモノクロの撮像画像データを得ることができる。
また、以上の説明では、電子を信号として読み出す例を示したが、正孔を信号として読み出す構成であってもよい。この場合、これまで説明してきたP型とN型を逆にすればよい。
以上のように、本明細書には次の事項が開示されている。
開示された撮像素子は、瞳分割用の画素部のペアを複数有する撮像素子であって、前記ペアを構成する2つの画素部は、それぞれ、半導体基板内に形成され電荷を発生する第一導電型の電荷発生領域と、前記半導体基板内で前記電荷発生領域に接して形成され前記電荷発生領域で発生した電荷を蓄積する前記電荷発生領域よりも不純物濃度の高い前記第一導電型の電荷蓄積領域と、前記電荷蓄積領域と前記電荷発生領域のうち前記電荷発生領域のみに接して形成された前記第一導電型と反対導電型の障壁領域と、前記障壁領域に隣接して形成された前記第一導電型の電荷排出領域とを含み、前記ペアを構成する2つの画素部の一方の画素部の前記電荷発生領域が前記障壁領域と接する部分は、当該電荷発生領域の中心よりも瞳分割方向の一方側にあり、前記ペアを構成する2つの画素部の他方の画素部の前記電荷発生領域が前記障壁領域と接する部分は、当該電荷発生領域の中心よりも瞳分割方向の他方側にあるものである。
開示された撮像素子は、前記撮像素子が、前記電荷蓄積領域に蓄積された電荷に応じた信号を、前記半導体基板の光入射側の面とは反対の面側に形成された読み出し回路により読み出す裏面照射型であるものを含む。
開示された撮像素子は、前記ペアを構成する2つの画素部の一方の画素部の前記電荷発生領域、前記電荷蓄積領域、前記障壁領域、及び前記電荷排出領域の瞳分割方向における断面形状は、前記ペアを構成する2つの画素部の他方の画素部の前記電荷発生領域、前記電荷蓄積領域、前記障壁領域、及び前記電荷排出領域の瞳分割方向における断面形状を、瞳分割方向で反転させたものとなっているものである。
この構成により、瞳分割を精度よく行うことができる。
開示された撮像素子は、前記ペアを構成する2つの画素部の各々に含まれる前記電荷発生領域が、前記半導体基板の光入射側の面側に形成され、前記ペアを構成する2つの画素部の各々に含まれる前記電荷蓄積領域が、前記半導体基板内の前記光入射側の反対の面側に形成されているものである。
開示された撮像素子は、前記障壁領域が、前記電荷発生領域よりも前記半導体基板の前記反対の面側に形成され、前記電荷排出領域が、前記障壁領域よりも前記半導体基板の前記反対の面側に形成されているものである。
開示された撮像素子は、前記障壁領域が、前記電荷発生領域と同じ層に形成され、前記電荷排出領域が、前記障壁領域の隣から前記半導体基板の前記反対の面側に伸びて形成されているものである。
開示された撮像素子は、前記電荷排出領域に接続される電圧印加用の配線を備え、前記配線が、前記半導体基板の前記光入射側の面上方に設けられているものである。
開示された撮像素子は、前記ペアを構成する2つの画素部の各々に含まれる前記電荷発生領域と前記電荷蓄積領域と前記障壁領域と前記電荷排出領域とが同じ層に形成されているものである。
開示された撮像素子は、前記撮像素子に含まれる全ての画素部が、前記瞳分割用の画素部であり、前記全ての画素部は、二次元状に配列された複数の第一の画素部と、二次元状に配列された複数の第二の画素部とで構成され、前記第一の画素部及び前記第二の画素部は、それぞれ、前記半導体基板の光入射側の面上方にカラーフィルタを備え、前記複数の第一の画素部に含まれるカラーフィルタは全体としてベイヤ配列であり、前記複数の第二の画素部に含まれるカラーフィルタは全体としてベイヤ配列であり、前記複数の第一の画素部と前記複数の第二の画素部は、各第一の画素部に対して同じ方向に隣接する位置に当該各第一の画素部に含まれるカラーフィルタと同色のカラーフィルタを含む前記第二の画素部が配置されるように配列されており、前記第一の画素部と、当該第一の画素部に前記同じ方向で隣接する前記第二の画素部とで前記ペアを構成しているものである。
開示された撮像素子は、前記撮像素子に含まれる全ての画素部が、前記瞳分割用の画素部であり、前記全ての画素部は、それぞれ、前記半導体基板の光入射側の面上方にカラーフィルタを備え、前記全ての画素部に含まれるカラーフィルタは全体としてベイヤ配列であり、前記画素部と、当該画素部に最も近い位置にある当該画素部に含まれるカラーフィルタと同色のカラーフィルタを持つ画素部とで前記ペアを構成しているものである。
開示された撮像素子は、前記ペアを構成する2つの画素部が隣接して配置され、前記電荷排出領域が、当該2つの画素部で共有されているものである。
開示された撮像素子は、前記ペアが、瞳分割方向の異なる2種類のペアを含み、前記2種類のペアを構成する4つの画素部が互いに隣接して配置され、前記電荷排出領域が、当該4つの画素部で共有されているものである。
開示された撮像素子は、前記撮像素子に含まれる全ての画素部が、前記瞳分割用の画素部であり、前記全ての画素部は、それぞれ、前記半導体基板の光入射側の面上方にカラーフィルタを備え、前記2種類のペアを構成する4つの画素部に含まれるカラーフィルタは全て同色となっているものである。
開示された撮像装置は、前記撮像素子と、前記撮像素子の前方に配置されたフォーカスレンズと、前記障壁領域によって前記電荷発生領域に対するポテンシャル障壁を形成した状態で撮影を行う第一の撮影処理と、前記ポテンシャル障壁を消滅させた状態で撮影を行う第二の撮影処理とを切り替えて行う駆動部と、前記撮像素子で仮撮影して得られる撮像画像信号に基づいて前記フォーカスレンズの位置を調節する焦点調節処理を行う焦点調節部とを備え、前記焦点調節処理は、前記第二の撮像処理で前記撮像素子から得られる撮像画像信号に基づいて、位相差検出方式により焦点調節を行う位相差AF処理を含み、前記駆動部は、前記焦点調節処理後に行う本撮影時には、前記第一の撮像処理を行うものである。
開示された撮像装置は、前記焦点調節処理は、前記第一の撮像処理で前記撮像素子から得られる撮像画像信号に基づいてコントラスト検出方式により焦点調節を行うコントラストAF処理を含み、前記焦点調節部は、前記本撮影前の撮影時に算出される露出値が閾値以上の場合に前記位相差AF処理を実行し、前記露出値が閾値未満の場合に前記コントラストAF処理を実行するものである。
開示された撮像装置は、視差のある複数の撮像画像データを撮影して記録する3D撮影モードを備え、前記3D撮影モード時には、前記駆動部が前記第二の撮像処理で前記仮撮影及び前記本撮影を行い、前記焦点調節部が前記位相差AF処理を行うものである。
開示された撮像方法は、前記撮像素子を用いた撮像方法であって、前記障壁領域によって前記電荷発生領域に対するポテンシャル障壁を形成した状態で撮影を行う第一の撮影処理と、前記ポテンシャル障壁を消滅させた状態で撮影を行う第二の撮影処理とを切り替えて行う駆動ステップと、前記撮像素子で仮撮影して得られる撮像画像信号に基づいて前記撮像素子の前方に配置されたフォーカスレンズの位置を調節する焦点調節処理を行う焦点調節ステップとを備え、前記焦点調節処理は、前記第二の撮像処理で前記撮像素子から得られる撮像画像信号に基づいて、位相差検出方式により焦点調節を行う位相差AF処理を含み、前記駆動ステップでは、前記焦点調節処理後に行う本撮影時には前記第一の撮像処理を行うものである。
開示された撮像方法は、前記焦点調節処理は、前記第一の撮像処理で前記撮像素子から得られる撮像画像信号に基づいてコントラスト検出方式により焦点調節を行うコントラストAF処理を含み、前記焦点調節ステップでは、前記本撮影前の撮影時に算出される露出値が閾値以上の場合に前記位相差AF処理を実行し、前記露出値が閾値未満の場合に前記コントラストAF処理を実行するものである。
開示された撮像方法は、視差のある複数の撮像画像データを撮影して記録する3D撮影モード時には、前記第二の撮像処理で前記仮撮影及び前記本撮影を行い、前記位相差AF処理で焦点調節を行うものである。
10,11 瞳分割用の画素部
13 電荷蓄積領域
15 電荷排出領域
16 障壁領域
17 電荷発生領域
30 配線

Claims (3)

  1. 瞳分割用の画素部のペアを複数有する撮像素子と、全体を統括制御する中央制御部と、を備える撮像装置であって、
    前記中央制御部は、前記複数のペアの各々を、瞳分割用の画素部として機能させるか、撮影用の画素部として機能させるかの制御を行い、
    更に、前記中央制御部は、前記撮像素子の特定領域にある前記ペアを前記瞳分割用の画素部として機能させ、当該ペアから得られた撮像画像信号を用いて位相差を検出し、前記位相差に基づいて合焦位置を決定して焦点調節を行い、前記焦点調節後の撮影条件にしたがって、各ペアを前記撮影用の画素部として機能させて前記撮像素子により撮影を行う撮像装置。
  2. 請求項1記載の撮像装置であって、
    前記特定領域は、顔が検出された領域である撮像装置。
  3. 請求項1又は2記載の撮像装置であって、
    前記中央制御部は、前記位相差の検出、前記焦点調節、前記撮影、及び、前記撮影により前記撮像素子から出力される撮像画像信号を画像処理させて撮像画像データを生成させる制御を繰り返し行い、
    前記撮像画像データを表示する表示部を更に備える撮像装置。
JP2015077698A 2015-04-06 2015-04-06 撮像装置 Expired - Fee Related JP5961720B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015077698A JP5961720B2 (ja) 2015-04-06 2015-04-06 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015077698A JP5961720B2 (ja) 2015-04-06 2015-04-06 撮像装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2014004871A Division JP5730419B2 (ja) 2014-01-15 2014-01-15 撮像装置

Publications (2)

Publication Number Publication Date
JP2015167363A true JP2015167363A (ja) 2015-09-24
JP5961720B2 JP5961720B2 (ja) 2016-08-02

Family

ID=54258039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015077698A Expired - Fee Related JP5961720B2 (ja) 2015-04-06 2015-04-06 撮像装置

Country Status (1)

Country Link
JP (1) JP5961720B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003156677A (ja) * 2001-11-21 2003-05-30 Canon Inc 撮像素子、撮像装置及びその制御方法、及び焦点検出方法
JP2007243744A (ja) * 2006-03-10 2007-09-20 Nikon Corp 固体撮像素子及びこれを用いた電子カメラ
JP2008193527A (ja) * 2007-02-06 2008-08-21 Nikon Corp 光電変換部の連結/分離構造、固体撮像素子及び撮像装置
JP2010128461A (ja) * 2008-12-01 2010-06-10 Nikon Corp カメラ
JP2010152161A (ja) * 2008-12-25 2010-07-08 Canon Inc 撮像装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003156677A (ja) * 2001-11-21 2003-05-30 Canon Inc 撮像素子、撮像装置及びその制御方法、及び焦点検出方法
JP2007243744A (ja) * 2006-03-10 2007-09-20 Nikon Corp 固体撮像素子及びこれを用いた電子カメラ
JP2008193527A (ja) * 2007-02-06 2008-08-21 Nikon Corp 光電変換部の連結/分離構造、固体撮像素子及び撮像装置
JP2010128461A (ja) * 2008-12-01 2010-06-10 Nikon Corp カメラ
JP2010152161A (ja) * 2008-12-25 2010-07-08 Canon Inc 撮像装置

Also Published As

Publication number Publication date
JP5961720B2 (ja) 2016-08-02

Similar Documents

Publication Publication Date Title
JP6965950B2 (ja) 撮像素子
JP6848941B2 (ja) 撮像素子および撮像装置
JP7001080B2 (ja) 撮像装置
JP5045012B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP5547349B2 (ja) デジタルカメラ
JP5422889B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP6408372B2 (ja) 固体撮像装置及びその駆動制御方法、並びに、電子機器
JP5860168B2 (ja) 固体撮像装置
JP4839990B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP4957413B2 (ja) 固体撮像素子及びこれを用いた撮像装置
JP5245370B2 (ja) 固体撮像装置、電子カメラ
JP5566457B2 (ja) 固体撮像素子及びデジタルカメラ
JP5461343B2 (ja) 撮像素子及び撮像装置
JP6066593B2 (ja) 撮像システムおよび撮像システムの駆動方法
JP2012084816A (ja) 裏面照射型撮像素子及び撮像装置
JP2014107596A (ja) 撮像素子および撮像ユニット
JP2012015819A (ja) 立体画像撮像装置
JP2012142994A (ja) 光電変換部の連結/分離構造、固体撮像素子及び撮像装置
JP2012004264A (ja) 固体撮像素子および撮影装置
JP5730419B2 (ja) 撮像装置
JP2012165070A (ja) 固体撮像素子及びこれを用いた撮像装置
JP5961720B2 (ja) 撮像装置
JP2024073964A (ja) 撮像素子及び撮像装置
JP2010193502A (ja) 撮像装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20150828

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160627

R150 Certificate of patent or registration of utility model

Ref document number: 5961720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees