JP2020205527A - 撮像装置、コンピュータプログラム及び記憶媒体 - Google Patents

Abstract

【課題】画質劣化を抑制しつつ飽和電荷量を拡大可能な２つのモードを有する撮像装置を提供する。【解決手段】撮像素子は複数の画素を有し、各画素はそれぞれ、複数の光電変換部３０１、３０２と、複数の光電変換部を分離する分離領域と、複数の光電変換部の電荷を蓄積する複数の第１の蓄積部８０３、８０４と、を有する。さらに、撮像素子は複数の光電変換部３０１、３０２と複数の第１の蓄積部８０３、８０４との間のポテンシャル障壁を、分離領域のポテンシャル障壁より低く、かつ、複数の光電変換部３０１、３０２の空乏電位よりも高くする第１のモードと、複数の光電変換部３０１、３０２と複数の第１の蓄積部８０３、８０４との間のポテンシャル障壁を、分離領域のポテンシャル障壁より高くする第２のモードと、を選択するための制御手段とを有する。【選択図】図８

Description

本発明は撮像装置等に関する。

撮像装置で行われる焦点検出方法の１つに、撮像素子に設けられた焦点検出画素からの信号を用いて、位相差方式の焦点検出を行う撮像面位相差方式がある。

特許文献１には、１つの画素に対して、１つのマイクロレンズと複数に分割された光電変換部が形成されている２次元撮像素子を用いた撮像装置が開示されている。複数の光電変換部は、１つのマイクロレンズを介して撮像レンズの射出瞳の異なる領域を受光するように構成され、瞳分割を行っている。個々の光電変換部の信号の像ずれ量から位相差信号を取得し焦点検出を行うとともに、個々の光電変換部の信号を足し合わせて表示用／記録用の画像信号を取得する。また、焦点検出に限らず、各画素の右側の光電変換部と左側の光電変換部で受光した信号を視差信号として表示することで、立体画像の表示が可能となることが開示されている。

さらに、特許文献２には、分割された光電変換部同士の分離領域を光電変換部とは異なる導電型の半導体で構成し、光電変換部をＰＮ接合により分離するようにしている。それによって、分離領域に集光した光も光電変換され、撮像信号における感度不均一性の低減が可能になることが開示されている。

また、特許文献３には、蓄積期間中に光電変換部から溢れた電荷を容量に蓄積しておき、信号読み出し時に蓄積した電荷を２つの電荷電圧変換ゲインで読み出すことで、飽和電荷量を増大することが可能な画素構成が示されている。

特開昭５８−２４１０５号公報 特開２００１−２５０９３１号公報 特開２００５−３２８４９３号公報

しかし、各画素に対し１つのマイクロレンズと複数の光電変換部を有する２次元撮像素子において、複数の光電変換部の間の領域を光電変換部とは異なる導電型の半導体にすると、そのポテンシャル障壁が小さくなる。従って、ＰＤで蓄えられる飽和電荷量が小さくなってしまう。そのため、各画素が画像信号／位相差信号を出力する撮像素子において、特許文献３の技術をそのまま用いても、画質劣化を抑制しつつ、飽和電荷量を拡大することはできない。
本発明は上記従来例の問題を解決し、モードに応じて画質劣化を抑制しつつ飽和電荷量を拡大可能な撮像装置を提供することを目的とする。

撮像装置であって、
複数の画素を有し、各画素がそれぞれ、
光学系の異なる射出瞳領域を通過した複数の光束をそれぞれ受光して光電変換し電荷を生成するための複数の光電変換部と、
前記複数の光電変換部を分離する分離領域と、
前記複数の光電変換部の電荷をそれぞれ蓄積するための前記複数の光電変換部と同数の複数の第１の蓄積部と、を有する撮像素子と、
前記複数の光電変換部と前記複数の第１の蓄積部との間のポテンシャル障壁を、前記分離領域のポテンシャル障壁より低く、かつ、前記複数の光電変換部の空乏電位よりも高くする第１のモードと、前記複数の光電変換部と前記複数の第１の蓄積部との間のポテンシャル障壁を、前記分離領域のポテンシャル障壁より高くする第２のモードと、を選択的に切り替えるための制御手段とを有することを特徴とする。

本発明によれば、モードに応じて画質劣化を抑制しつつ飽和電荷量を拡大可能な撮像装置を提供することができる。

実施例１に係る撮像素子を用いた撮像装置のブロック図である。 実施例１における撮像素子の全体構成概略図である。 実施例１における撮像素子の画素配列の概略図である。 実施例１における撮像素子の画素の概略平面図と概略断面図である。 本発明の実施例１における瞳分割の概略説明図である。 実施例１における瞳強度分布を例示する図である。 実施例１における撮影処理のフローチャートである。 実施例１における画素等価回路図である。 実施例１における位相差信号用蓄積期間中の画素の最小ポテンシャルの一例を概略的に示す図（ポテンシャルＡ１）である。 実施例１における位相差信号用蓄積期間中の画素の最小ポテンシャルと蓄積された電荷の例を概略的に示す図（ポテンシャルＡ１）である。 実施例１における画像信号用蓄積期間中の画素の最小ポテンシャルの一例を概略的に示す図（ポテンシャルＢ１）である。 実施例１における画像信号用蓄積期間中の画素の最小ポテンシャルと蓄積された電荷の例を概略的に示す図（ポテンシャルＢ１）である。 実施例１における画像信号読み出しシーケンスを概略的に示す図である。 実施例１における画素信号読み出しシーケンスを概略的に示す図である。 実施例１おける、各ノードの蓄積電荷と光量の関係を模式的に示す図（ポテンシャルＡ１）である。 実施例１おける、各ノードの蓄積電荷と光量の関係を模式的に示す図（ポテンシャルＢ１）である。 実施例１における画像信号蓄積期間中における電荷蓄積の例を概略的に示す図である。 実施例１における位相差信号の出力信号電圧・ＳＮ比と光量の関係を模式的に示す図である。 実施例１における画像信号の出力信号電圧・ＳＮ比と光量の関係を模式的に示す図である。 実施例２における画像信号用蓄積期間中の画素の最小ポテンシャルの一例を概略的に示す図（ポテンシャルＢ２）である。 実施例２おける、各ノードの蓄積電荷と光量の関係を模式的に示す図（ポテンシャルＢ２）である。 実施例３における位相差信号用蓄積期間中の画素の最小ポテンシャルの一例を概略的に示す図（ポテンシャルＡ３）である。 実施例３おける、各ノードの蓄積電荷と光量の関係を模式的に示す図（ポテンシャルＡ３）である。 実施例３における画素等価回路図である。

以下、添付図面を参照して、本発明の好適な実施の形態について実施例を用いて説明する。なお、各図において、同一の部材ないし要素については同一の参照番号を付し、重複する説明は省略ないし簡略化する。
なお、実施例においては、撮像装置としてデジタルスチルカメラに適用した例について説明するが、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、監視カメラなど撮像機能を有する電子機器を含む。
（実施例１）

図１は、本発明の実施例１に係る撮像素子を用いた撮像装置（デジタルスチルカメラ）１００のブロック図である。

第１レンズ群１０１は撮像光学系（結像光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り兼用シャッタ１０２は、静止画撮像時の露光時間を制御するためのシャッタとして機能するとともに、開口径を調節することで撮像時の光量調節を行う絞りとしても機能する。第２レンズ群１０３は、絞り兼用シャッタ１０２と一体となって光軸方向に進退し、第１レンズ群１０１との進退動作との連動により、変倍作用（ズーム機能）を実現する。

第３レンズ群１０５（フォーカスレンズ）は、光軸方向の進退により焦点調節を行う。光学ローパスフィルタ１０６は、撮影画像の偽色やモアレを軽減するための光学素子である。撮像素子１０７はＣＭＯＳイメージセンサであり、結像光学系の結像面に配置され、入射した光を電気信号に変換する。

ズームアクチュエータ１１１は、不図示のカム筒を回動することで、第１レンズ群１０１ないし第２レンズ群１０３を光軸方向に進退駆動し、変倍操作を行う。絞りシャッタアクチュエータ１１２は、絞り兼用シャッタ１０２の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。フォーカスアクチュエータ１１３は、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。

１１４は夜間撮影時の被写体照明用の電子フラッシュであり、キセノン管を用いた閃光照明装置が好適だが、連続発光するＬＥＤを備えた照明装置を用いても良い。ＡＦ補助光発光部１１５は、所定の開口パターンを有するマスクの像を、投影レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させるためのものである。

カメラ内ＣＰＵ１２１は、カメラ本体の種々の制御を司り、演算部、ＲＯＭ、ＲＡＭ、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ、通信インターフェイス回路等を有する。ＣＰＵ１２１は、ＲＯＭに記憶された所定のコンピュータプログラムに基づいて、カメラ内の各種回路を駆動し、制御手段として撮像、ＡＦ、画像処理、記録等の一連の動作を制御する。

フラッシュ制御回路１２２は、撮影動作に同期して電子フラッシュ１１４を点灯制御する。補助光駆動回路１２３は、焦点検出動作に同期してＡＦ補助光発光部１１５を点灯制御する。撮像素子駆動回路１２４は、撮像素子１０７の撮像動作を制御すると共に、撮像素子１０７から取得した画像信号をＡ／Ｄ変換してＣＰＵ１２１に送信する。画像処理回路１２５は、撮像素子１０７が取得した画像のガンマ変換、カラー補間、ＪＰＥＧ圧縮等の処理を行う。

フォーカス駆動回路１２６は、撮像素子１０７から取得した信号に基づきカメラ内ＣＰＵ１２１で焦点検出を行いその結果に基づいてフォーカスアクチュエータ１１３を駆動制御し、第３レンズ群１０５を光軸方向に進退駆動して焦点調節を行う。絞りシャッタ駆動回路１２７は、絞りシャッタアクチュエータ１１２を駆動制御して絞り兼用シャッタ１０２の開口を制御する。ズーム駆動回路１２８は、撮影者のズーム操作に応じてズームアクチュエータ１１１を駆動しズーム倍率を変更する。

表示器１３１はＬＣＤ等から構成され、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。操作スイッチ群１３２は、操作スイッチ群であり、電源スイッチ、レリーズ（撮影トリガ）スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。撮像装置１００に対して着脱可能なフラッシュメモリ１３３は、撮影済み画像を記録／再生するためのものである。
次に、本実施例における撮像素子１０７について説明する。図２は、本実施例のＣＭＯＳイメージセンサー（撮像素子）の全体構成を概略的に示す図である。

画素アレイ２０１は、光電変換部と信号読み出し回路からなる画素が、２次元状に複数配置されている。垂直選択回路２０２により所定の行が選択され、所定行に含まれる画素から信号が垂直信号線に出力される。垂直信号線は画素列毎、複数の画素列毎に一つ、もしくは画素列毎に複数設けることが可能である。列回路２０３は複数の垂直線に並列に読み出された信号が入力される。列回路２０３では、信号の増幅やノイズ除去等の処理、信号の保持を行うことが可能である。水平選択回路２０４は列回路２０３に保持された信号を順次、ランダムもしくは同時に不図示の水平出力線へ出力する。なお、撮像素子駆動回路１２４に搭載されるＡ／Ｄ変換機能を、列回路２０３の列毎に搭載しても良いし、画素毎に搭載しても良い。

また、ＣＭＯＳイメージセンサを積層型とし、画素アレイを配置した層とは異なる層内などに、前記Ａ／Ｄ変換機能やその他の信号処理回路を搭載しても良い。
図３は、画素アレイ２０１の画素配列を４列×４行の範囲で、分割された光電変換部を８列×４行の範囲で示したものである。なお、図中ｘ軸方向を行方向と呼び、ｙ軸方向を列方向と呼ぶ。
画素群３００は２行×２列の画素からなる単位であり、Ｒ（赤）の分光感度を有する画素３００Ｒが左上に、Ｇ（緑）の分光感度を有する画素３００Ｇが右上と左下に、Ｂ（青）の分光感度を有する画素３００Ｂが右下に配置されている。

さらに、各画素は２列１行に配列された光電変換部により構成されている。受光部である光電変換部は、完全電荷転送可能なフォトダイオード（ＰＤ）で構成されており、１つの画素の中で相対的にｘが小さい側（図中左側）に配置されたＰＤをＰＤ_Ａ３０１、相対的にｘが大きい側（図中右側）に配置されたＰＤをＰＤ_Ｂ３０２と呼ぶ。
図３に示した４列×４行の画素（８列×４行のＰＤ）を面上に多数配置し、撮像画像および焦点検出信号の取得を可能としている。また、画素アレイの一部には、画素を２つの光電変換部ＰＤ_Ａ、ＰＤ_Ｂに分割せずに、１つの光電変換部のみを有する画素が存在しても良い。

図３に示した画素配列の１つの画素３００Ｇを、撮像素子１０７の受光面側（＋ｚ側）から見た平面図を図４（Ａ）に示し、図４（Ａ）のａ−ａ断面を−ｙ側から見た断面図を図４（Ｂ）に示す。図４に示すように、本実施例の画素３００Ｇでは、各画素の受光側に入射光を集光するためのマイクロレンズ４０１が形成され、ｘ方向に２分割、ｙ方向には分割されていないＰＤ_ＡとＰＤ_Ｂが形成されている。各画素において、マイクロレンズ４０１と、ＰＤ_Ａ及びＰＤ_Ｂの間に、カラーフィルタ４０２が形成される。また、必要に応じて、焦点検出画素毎にカラーフィルタの分光透過率を変えても良いし、カラーフィルタを省略してもよい。

図４に示した画素３００Ｇに入射した光は、マイクロレンズ４０１により集光され、緑色のカラーフィルタ４０２で緑色が分光された後、ＰＤ_Ａ及びＰＤ_Ｂで受光される。ＰＤ_Ａ及びＰＤ_Ｂでは、受光量に応じて電子とホールの対が生成され、空乏層で分離された後、負電荷の電子は、信号電荷として収集・蓄積され、正電荷のホールは定電圧源（不図示）に接続されたｐ型半導体領域を通じて撮像素子外部へ排出される。なお、光電変換部を構成するｎ型半導体領域とｐ型半導体領域を逆にすることで、ホールを信号電荷としてもよい。

なお、図３に示す画素３００Ｒ、３００Ｂも画素３００Ｇと同様の構成を有し、画素３００Ｇと同様にして、カラーフィルタ４０２により各色に分光された光に応じた信号電荷が収集・蓄積される。

図４に示した本実施例の画素構造と瞳分割との対応関係を、図５、６を参照して説明する。図５は、図４（Ｂ）に示した本実施例の画素構造のａ−ａ断面と、結像光学系の射出瞳面との関係を示す概略図であり、図６は、射出瞳面のｘ（軸）に沿った瞳強度分布の例である。受光面と瞳領域５００は、マイクロレンズによっておおむね共役関係になっており、ＰＤ_Ａの受光領域と射出瞳領域５０１、ＰＤ_Ｂの受光領域と射出瞳領域５０２が、それぞれ、概ね、一致するように構成されている。即ち、ＰＤ_Ａの受光領域は射出瞳領域５０１を通過した光束を受光し、ＰＤ_Ｂの受光領域は射出瞳領域５０２を通過した光束を受光する。図６に示したように、ＰＤ_Ａ、ＰＤ_Ｂの瞳強度分布は、射出瞳をｘ（軸）方向に分割する。

図３に示したように、ＰＤ_Ａをｘ（軸）方向に規則的に配列し、これらＰＤ_Ａ群から取得した被写体信号をＡ像信号とする。同様に、ＰＤ_Ｂをｘ（軸）方向に規則的に配列し、これらＰＤ_Ｂ群から取得した被写体像をＢ像信号とする。Ａ像信号とＢ像信号の像ズレ量（位相差）を検出することで、ｘ（軸）方向に輝度分布を有する被写体像のデフォーカス量（合焦ずれ量）を検出することができる。
図７は、本実施例による撮像装置１００によって行われる被写体追従ＡＦ連続撮影のフローチャートであり、図７を用いて被写体追従ＡＦ連続撮影について説明する。

撮像装置１００は、操作スイッチ群１３２に含まれる撮影モードを選択するためのスイッチがユーザにより操作され、撮影モードが被写体追従ＡＦ連続撮影モードになっているものとする。前記撮影モードのときに、操作スイッチ群１３２に含まれるレリーズスイッチＳＷ２がオンとなることで撮影が開始され、ステップＳ７０１へ移行する。
ステップＳ７０１は、記録画像用の蓄積期間であり、画素内ポテンシャルを後述のポテンシャルＢ１（第２のモード）として露光・蓄積を行う。光量は、絞り兼用シャッタ１０２を用いて制御する。

ステップＳ７０２では、撮像素子駆動回路１２４を用いて、蓄積された電荷から得られる画像信号を撮像素子から読み出す。読み出し中は絞りシャッタアクチュエータ１１２で絞り兼シャッタ１０２を閉じて、撮像素子１０７に余分な電荷が蓄積されないように制御しておく。各画素内の複数の光電変換部で生成された電荷信号は最終的にＣＰＵ１２１で例えば画素単位で加算処理されて画像信号が形成される。そしてその画像信号は、記録画像としてフラッシュメモリ１３３に保存されるとともに、ＬＶ（Ｌｉｖｅ Ｖｉｅｗ）表示用画像として表示器１３１等に使用する。

ステップＳ７０３は、位相差検出用の蓄積期間であり、画素内ポテンシャルを後述のポテンシャルＡ１（第１のモード）として露光・蓄積を行う。光量は、絞り兼用シャッタ１０２を用いて制御する。
ステップＳ７０４では、各画素の複数の光電変換部でそれぞれ蓄積された視差情報を含む信号を、撮像素子駆動回路１２４を介してそれぞれ別々にＣＰＵ１２１へ読み出す。複数の光電変換部からの信号はＣＰＵ１２１でそれぞれ別々に処理され、位相差信号が生成され、デフォーカス量算出や焦点検出に用いられる。なお本実施例では本信号はデフォーカス量算出等に用いるだけでなく、ＣＰＵ１２１は上記の位相差信号をＬＶ表示用画像等にも使用し表示部で表示可能にしている。なお、ＣＰＵ１２１とは別に設けた画像処理回路１２５において、上記の加算処理や画像信号の形成等を行なっても良い。

ステップＳ７０５では、ステップＳ７０４で算出されたデフォーカス量に基づき、レンズ駆動量を算出する。
ステップＳ７０６では、ステップＳ７０５で算出したレンズ駆動量を元に、レンズを駆動する。
ステップＳ７０７では、操作スイッチ群１３２に含まれるレリーズスイッチ（ＳＷ２）がオンかオフかを判断して、オンであればステップＳ７０１に戻り連写撮影を続ける。オフであれば連写撮影を停止して撮影を終了する。

次に、画素構造とステップＳ７０１、ステップＳ７０３の蓄積動作について説明する。
図８は画素の等価回路図である。画素は、ＰＤ_Ａ３０１、ＰＤ_Ｂ３０２、ＰＤ_Ａに蓄積された電荷を転送する転送ゲートとしての転送トランジスタ（Ｔ_Ａ）８０１を有する。また、ＰＤ_Ｂに蓄積された電荷を転送する転送ゲートとしての転送トランジスタ（Ｔ_Ｂ）８０２を有する。８０３はＰＤ_Ａに蓄積された電荷が転送される第１の蓄積部（ＦＤ_Ａ）、８０４はＰＤ_Ｂに蓄積された電荷が転送される第１の蓄積部（ＦＤ_Ｂ）である。即ち、２つの光電変換部の電荷をそれぞれ蓄積するための２つの第１の蓄積部を有する。

対応して８０５はＦＤ_Ａと選択的に接続される第２の蓄積部としての蓄積容量（ＣＳ_Ａ）、８０６はＦＤ_Ｂと選択的に接続される第２の蓄積部としての蓄積容量（ＣＳ_Ｂ）である。８０７はＦＤ_ＡとＣＳ_Ａを接続するための蓄積ゲートとしての蓄積トランジスタ（Ｓ_Ａ）、８０８はＦＤ_ＢとＣＳ_Ｂを接続するための蓄積ゲートとしての蓄積トランジスタ（Ｓ_Ｂ）である。８０９はＣＳ_Ａ、ＦＤ_Ａ、ＰＤ_Ａをリセットするためのリセットトランジスタ（Ｒ_Ａ）、８１０はＣＳ_Ｂ、ＦＤ_Ｂ、ＰＤ_Ｂをリセットするためのリセットトランジスタ（Ｒ_Ｂ）である。８１１はＦＤ_Ａに接続されるノードの電圧を画素から出力する増幅トランジスタ（ＳＦ_Ａ）、８１２はＦＤ_Ｂに接続されるノードの電圧を画素から出力する増幅トランジスタ（ＳＦ_Ｂ）である。

８１３はＳＦ_Ａと出力線（ＯＵＴ_Ａ）８１５を接続するための選択トランジスタ（Ｘ_Ａ）、８１４はＳＦ_Ｂと出力線（ＯＵＴ_Ｂ）８１６を接続するための選択トランジスタ（Ｘ_Ｂ）である。なお、本実施例では２つの光電変換部を設け、それに対応して２つの第１の蓄積部、２つの第２の蓄積部を有する例を示している。しかし、光電変換部は３つ以上であってもよく、その場合には第１の蓄積部、第２の蓄積部、転送トランジスタ、蓄積トランジスタ、選択トランジスタ等を光電変換部の数に応じて同数設ければ良い。

図９は、位相差検出用の蓄積期間であるステップＳ７０３に用いられる画素内のポテンシャルＡ１（第１のモード）を模式的に示す図である。図において、ＰＤ_Ａ、ＰＤ_Ｂ、Ｔ_Ａ、Ｔ_Ｂ、ＦＤ_Ａ、ＦＤ_Ｂ、Ｓ_Ａ、Ｓ_Ｂ、ＣＳ_Ａ、ＣＳ_Ｂ、ＰＤ_ＡとＰＤ_Ｂを分離する分離部９０１の、信号電荷に対するポテンシャルを模式的に示している。また、図１０は、ステップＳ７０３における蓄積期間終了時の電荷蓄積の例を概略的に示す図である。図９、図１０に示すように、分離部９０１のポテンシャル障壁の高さ９０２を、Ｔ_Ａ、Ｔ_Ｂ部のポテンシャル障壁の高さ９０３より高くなるように、Ｔ_Ａ、Ｔ_Ｂのオフ電圧を設定（制御）している。

更に、その際にＴ_Ａ、Ｔ_Ｂ部のポテンシャル障壁の高さ９０３を、前記複数の光電変換部の空乏電位（図９のＰＤ_ＡとＰＤ_Ｂの電位の高さ）よりも高くするように制御している。これにより、図１０に示すように、ステップＳ７０３における蓄積期間中にＰＤ_Ａが飽和した場合にＴ_Ａ部のポテンシャル障壁を超えた分の電荷はＦＤ_Ａ、ＣＳ_Ａに移動し蓄積される。そして、ＰＤ_Ａが飽和した場合にＴ_Ｂ部のポテンシャル障壁を超えた分の電荷はＦＤ_Ｂ、ＣＳ_Ｂに移動し蓄積される。

図１１は、ステップＳ７０１の蓄積期間に用いられるポテンシャルＢ１（第２のモード）を模式的に示す図である。図１１において、ＰＤ_Ａ、ＰＤ_Ｂ、Ｔ_Ａ、Ｔ_Ｂ、ＦＤ_Ａ、ＦＤ_Ｂ、Ｓ_Ａ、Ｓ_Ｂ、ＣＳ_Ａ、ＣＳ_Ｂ、分離部９０１の、信号電荷に対するポテンシャルを模式的に示している。また、図１２は、ステップＳ７０１の蓄積期間終了時の電荷蓄積の例を概略的に示す図である。分離部９０１のポテンシャル障壁の高さ９０２を、Ｔ_Ａ、Ｔ_Ｂ部のポテンシャル障壁の高さ１１０１より低くなるように、Ｔ_Ａ、Ｔ_Ｂのオフ電圧を設定している。これにより、図１２に示すように、ＰＤ_Ａ及びＰＤ_Ｂに蓄積できる電荷量を増やすことができるとともに、蓄積期間中に、ＰＤ_ＡまたはＰＤ_Ｂが飽和した場合に、飽和を超えた分の電荷は、対となるＰＤに移動し蓄積される。
次に、ステップＳ７０２とステップＳ７０４の画像信号の読み出し方法について説明する。

図１３は画像信号読み出しシーケンスを概略的に示す図である。画像信号読み出しは、垂直選択回路２０２によって選択された行の画素信号を列回路２０３に読み出し、その後、水平選択回路２０４によって撮像素子１０７から読み出す動作を、繰り返すことにより行われる。
期間１３０３では、後述する信号Ｎ２_Ａと信号Ｎ２_Ｂをそれぞれ出力線８１５、８１６に行毎に順次読み出す。信号Ｎ２_Ａ、信号Ｎ２_Ｂの読み出し完了後の蓄積期間１３０４の間に、絞りシャッタアクチュエータ１１２で絞り兼用シャッタ１０２を開閉し、露光を行う。期間１３０５では、後述する各画素の信号Ｎ１_Ａ、信号Ｎ１_Ｂ、信号Ｎ１_Ａ＋Ｓ１_Ａ、信号Ｎ１_Ｂ＋Ｓ１_Ｂ、信号Ｎ２_Ａ＋Ｓ２_Ａ、信号Ｎ２_Ｂ＋Ｓ２_Ｂを読み出す。
次に、画素信号を列回路２０３に読み出す画素信号読み出し動作について説明する。

図１４は、画素駆動シーケンスの１例である。また、図１４中のｔ１〜ｔ１１は、シーケンス中の各タイミングを表している。また、φＸ_ＡはＸ_Ａのオン／オフを表しており、オン時は上側、オフ時は下側で示している。例えば、タイミングｔ１ではＸ_Ａはオンであり、タイミングｔ３ではＸ_Ａはオフである。他のトランジスタについても同様である。また、本シーケンスでは、ＰＤ_ＡとＰＤ_Ｂ、Ｘ_ＡとＸ_Ｂ、Ｒ_ＡとＲ_Ｂ、Ｓ_ＡとＳ_Ｂ、Ｔ_ＡとＴ_Ｂは同じタイミングで駆動されるため、説明において別する必要がない場合には、ＰＤ_ＡとＰＤ_ＢをＰＤ、Ｘ_ＡとＸ_ＢをＸ、Ｒ_ＡとＲ_ＢをＲ、Ｓ_ＡとＳ_ＢをＳ、Ｔ_ＡとＴ_ＢをＴと表記する。また期間１４０１〜１４０３は図１３の期間１３０３〜１３０５に対応している。

まず、期間１４０１（期間１３０３）のタイミングｔ１で、Ｘ、Ｒ、Ｓ、Ｔをオンにして、ＰＤ、ＦＤ、ＣＳのリセットを行う。その後、Ｒ、Ｔをオフにしてからタイミングｔ２でＦＤ＋ＣＳの電圧を、ＳＦを用いて画素から読み出す。これら電圧から得た信号のうち、ＯＵＴ_Ａ側の信号を信号Ｎ２_Ａ、ＯＵＴ_Ｂ側の信号を信号Ｎ２_Ｂと呼ぶ。なお、これらの信号Ｎ２_Ａ、信号Ｎ２_Ｂは固定パターンノイズ信号に相当する。

蓄積期間１４０２（期間１３０４）の後の期間１４０３（期間１３０５）において、タイミングｔ５でＸをオンにして、ＦＤの電圧を、ＳＦを用いて画素から読み出す。
これら電圧から得た信号のうち、ＯＵＴ_Ａ側の信号を信号Ｎ１_Ａ、ＯＵＴ_Ｂ側の信号を信号Ｎ１_Ｂと呼ぶ。なお、信号Ｎ１_Ａ、信号Ｎ１_Ｂはランダムノイズ及び固定パターンノイズ信号に相当する。
次にタイミングｔ６でＴをオンにして、ＰＤに蓄積した信号電荷をＦＤに転送し、Ｔをオフにした後に、タイミングｔ７でＦＤの電圧を、ＳＦを用いて画素から読み出す。これら電圧から得た信号のうち、ＯＵＴ_Ａ側の信号を信号Ｎ１_Ａ＋Ｓ１_Ａ、ＯＵＴ_Ｂ側の信号を信号Ｎ１_Ｂ＋Ｓ１_Ｂと呼ぶ。なお、信号Ｓ１_Ａ、信号Ｓ１_Ｂは蓄積期間終了時にＰＤに蓄積されていた電荷信号に相当する。

次に、蓄積トラジスタＳをオンにして、ＦＤとＣＳを接続し、ＦＤに転送されていた電荷とＣＳに蓄積した電荷を混合する。続いて、タイミングｔ８でＴをオンにしてＰＤに蓄積した電荷のうちｔ１、ｔ６で転送しきれなかった電荷が存在した場合、ＦＤとＣＳに転送する。続いて、タイミングｔ９でＴをオフにした後のＦＤ＋ＣＳの電圧を、ＳＦを用いて画素から読み出す。これら電圧から得た信号のうち、ＯＵＴ_Ａ側の信号を信号Ｎ２_Ａ＋Ｓ２_Ａ、ＯＵＴ_Ｂ側の信号を信号Ｎ２_Ｂ＋Ｓ２_Ｂと呼ぶ。ここで信号Ｓ２_Ａ、信号Ｓ２_Ｂは蓄積期間終了時にＰＤ、ＦＤ、ＣＳに蓄積されていた電荷信号に相当する。

各画素から読み出した信号を用いてＣＰＵ１２１は以下の演算処理、
（Ｎ１_Ａ＋Ｓ１_Ａ）−Ｎ１_Ａ＝Ｓ１_Ａ
（Ｎ１_Ｂ＋Ｓ１_Ｂ）−Ｎ１_Ｂ＝Ｓ１_Ｂ
（Ｎ２_Ａ＋Ｓ２_Ａ）−Ｎ２Ａ＝Ｓ２_Ａ
（Ｎ２_Ｂ＋Ｓ２_Ｂ）−Ｎ２_Ｂ＝Ｓ２_Ｂ
を行うことで、ランダムノイズ及び固定パターンノイズを除去し、信号Ｓ１_Ａ、信号Ｓ１_Ｂ、信号Ｓ２_Ａ、信号Ｓ２_Ｂを得る。前述のように、信号Ｓ１_Ａ、信号Ｓ１_Ｂは、蓄積期間終了時にＰＤに蓄積されていた電荷信号に相当する。

また信号Ｓ２_Ａ、信号Ｓ２_Ｂは蓄積期間終了時にＰＤ、ＦＤ、ＣＳに蓄積されていた電荷信号に相当する。信号Ｓ１_Ａ、信号Ｓ１_Ｂは、電荷電圧変換ゲインが大きいため、信号Ｓ２_Ａ、信号Ｓ２_Ｂと比較して信号読み出しノイズが小さく、高いＳＮ比となる。これらの信号から適切な信号を選択し組み合わせることで、最適な位相差信号、画像信号を得る。
次に、読み出した画素信号の選択方法について説明する。

図１５は、ポテンシャルＡ１（第１のモード）における、ＰＤ_Ａ、ＰＤ_Ｂ、ＦＤ_Ａ、ＦＤ_Ｂ、ＣＳ_Ａ、ＣＳ_Ｂに蓄積される信号電荷量と光量の関係の一例である。以下、光量範囲毎の信号選択について説明する。信号選択は、ＣＰＵ１２１により行われる。信号Ｓ２_Ａの出力値が所定の第１の閾値（図１８の１８０２）を越えていれば信号Ｓ２_Ａを選択し、前記閾値以下であれば信号Ｓ１_Ａを選択する。また、同様に信号Ｓ２_Ｂの出力値が前記第１の閾値を越えていれば信号Ｓ２_Ｂを選択し、前記閾値以下であれば信号Ｓ１_Ｂを選択する。このようにすることで、ＰＤ_Ａで発生した電荷は光量が例えば図１５の１５０１、１５０２の範囲では、読み出しノイズが小さい高ＳＮ比の信号Ｓ１_Ａが選択される。

一方、発生した電荷がＦＤ_Ａ、ＣＳ_Ａに溢れて蓄積されるような光量、即ち、光量が１５０３以上の範囲では高飽和電荷量である信号Ｓ２_Ａが選択される。同様に、信号Ｓ１_Ｂと信号Ｓ２_Ｂの選択については、光量が図１５の１５０１の範囲では信号Ｓ１_Ｂが選択され、光量が１５０２や１５０３以上の範囲では信号Ｓ２_Ｂが選択される。そして選択された信号はＣＰＵ１２１によって位相差信号として処理されて焦点検出に用いられる。このように構成することによって低照度下の画素におけるＳＮ比を維持しながら高照度下の画素における飽和電荷量を拡大することが可能となる。ただし、切り替え点の光量は、信号Ｓ１の飽和電荷量によって決まるため、ＰＤの飽和電荷量が小さい場合は小さい光量となり、ＰＤの飽和電荷量が大きい場合は大きい光量となる。

ポテンシャルＡ１における蓄積では、ＰＤの飽和電荷量が比較的小さいので、画像信号をＰＤで蓄積する場合に不利となる。即ち、ＰＤの飽和電荷量が比較的小さいと、切り替え点における画質劣化抑制のためには、追加容量ＣＳを小さくして信号Ｓ２のＳＮ比を大きくする必要があり、信号Ｓ２の飽和電荷量を大きくすることが困難となる。
そこで、本実施例では、表示／記録用の画像信号を生成する際には、図１６、図１７に示すように制御する。即ち、図１６はＰＤ_Ａ、ＰＤ_Ｂ、ＦＤ_Ａ、ＦＤ_Ｂ、ＣＳ_Ａ、ＣＳ_Ｂに蓄積される信号電荷量と光量の関係の一例を示す図であり、図１７は、光量が１６０１、１６０２、１６０３のそれぞれにおける電荷蓄積の例を示す図である。

光量が１６０１の範囲では、図１７（Ａ）のように、ＰＤ_Ａで発生した電荷はＰＤ_Ａに蓄積され、ＰＤ_Ｂで発生した電荷はＰＤ_Ｂで蓄積される。その際に、光量が１６０２の範囲では、図１７（Ｂ）のように、ＰＤ_Ａで発生した電荷はＰＤ_Ａで蓄積され、ＰＤ_Ｂで発生した電荷はＰＤ_ＢとＰＤ_Ａに蓄積される。光量が１６０３の範囲では、図１７（Ｃ）のように、ＰＤ_Ａ、ＰＤ_Ｂで発生した電荷がＰＤ_Ａ、ＰＤ_Ｂで蓄積される。信号選択は、信号Ｓ２_Ａ出力値と信号Ｓ２_Ｂの出力値の合計が所定の第２の閾値（図１９の１９０２）を越えていれば信号Ｓ２_Ａと信号Ｓ２_Ｂを選択し、前記第２の閾値以下であれば信号Ｓ１_Ａと信号Ｓ１_Ｂを選択する。

このように、ＰＤ_Ａ、ＰＤ_Ｂで発生した電荷が、ＰＤ_Ａ、ＰＤ_Ｂに蓄積されている、光量が１６０１、１６０２、１６０３の範囲では、信号Ｓ１_Ａと信号Ｓ１_Ｂが選択される。また、発生した電荷がＦＤ、ＣＳにも蓄積されている、光量が１６０４の範囲では、信号Ｓ２Ａ、信号Ｓ２Ｂが選択される。そしてそれらの電荷信号は最終的にＣＰＵ１２１で加算されて画像信号が形成される。
このようにして得られた出力信号電圧・ＳＮ比と光量の関係を説明する。図１８は位相差信号用のポテンシャルＡ１の場合、図１９は画像信号用のポテンシャルＢ１の場合の出力信号電圧・ＳＮ比の関係を模式的に示す図である。

画像信号では、位相差信号と比較して、信号Ｓ１の飽和電荷数が大きいため、画像信号用の第２の閾値１９０２は、位相差信号用の第１の閾値１８０２と比較して大きい値とすることができる。このようにすることで、画像信号の閾値は、ＰＤ_ＡとＰＤ_Ｂの間の分離部９０１のポテンシャル障壁９０２から決まるＰＤ飽和電荷量とは独立になる。そのため、ポテンシャル障壁を高くしにくい画像信号／位相差信号を出力する撮像素子において、画像信号の切り替え点における画質劣化を抑制しつつ、飽和電荷量を拡大することができる。

また、位相差信号は、撮像素子から信号を読み出した後で画素加算を行なうことでＳＮ比が向上することができるため、画素から出力される切り替え点を画像信号より低く設定しても、画質劣化を抑制することができる。例えば、Ｎ画素分を加算する場合、ＳＮ比は１０×ｌｏｇ（Ｎ）向上するため、切り替え点の閾値を画像信号と比較して１０×ｌｏｇ（Ｎ）だけＳＮ比が低い値に設定したとしても、画質劣化を抑制することができる。
以上のように構成することで、各画素が撮像／位相差信号を出力する撮像素子において、画質劣化なしに飽和電荷量を拡大することができる。
（実施例２）

本発明の実施例２は、全体構成、カメラ動作シーケンス等は実施例１と同じであり、ステップＳ７０１の画像信号用蓄積期間における画素のポテンシャルが実施例１のポテンシャルＢ１とは異なる。
図２０は、実施例２に係る、画像信号蓄積用の画素の最小ポテンシャルを模式的に示す図であり、本実施例中ではポテンシャルＢ２と呼ぶ。ポテンシャルＢ２においては、図１１と比べると、転送ゲートＴ_Ａのポテンシャル障壁２００１とＴ_Ｂのポテンシャル障壁２００２に差を設けたポテンシャルとなっている。このような構成とすることで、ＰＤが飽和した場合に発生した電荷はＦＤ_Ａに優先的に移動するようにしている。

図２１は、ポテンシャルＢ２の各ノードにおける蓄積電荷と光量の関係を模式的に示す図である。光量が１６０１、１６０２、１６０３の範囲では、発生した電荷はＰＤ_Ａ、ＰＤ_Ｂのみに蓄積される。光量が２１０１の範囲ではＰＤ_Ａ、ＰＤ_Ｂ、ＦＤ_Ａ、ＣＳ_Ａに蓄積され、光量が２１０２の範囲ではＰＤ_Ａ、ＰＤ_Ｂ、ＦＤ_Ａ、ＣＳ_Ａ、ＦＤ_Ｂ、ＣＳ_Ｂに蓄積される。

予め、光量の範囲が予測でき、２１０２の光量範囲を読み出す必要がないと判断した場合には、撮像素子から信号Ｓ２_Ｂを読み出さないことで、実施例１と比較して読み出し時に、低消費電力化・高速化が可能となる。
（実施例３）

本発明の実施例３は、全体構成、カメラ動作シーケンス等は実施例１と同じであり、ステップＳ７０３の位相差信号用蓄積期間における画素のポテンシャルが異なる。
図２２は、実施例３に係る、位相差信号蓄積用の画素の最小ポテンシャルを模式的に示す図であり、本実施例中ではポテンシャルＡ２と呼ぶ。ポテンシャルＡ２は第１のモードの一種である。しかし、図９と比べると、同じ画素内の蓄積容量ＣＳ_Ａと蓄積容量ＣＳ_Ｂの間の領域２２０１のポテンシャル障壁２２０３を、ＰＤ_Ａ、ＰＤ_Ｂの完全空乏化電位より低く設定したポテンシャルとなっている。即ち、同じ画素内の第２の蓄積部同士の間のポテンシャル障壁の高さを光電変換部の完全空乏化電位より低くしている。このような構成とすることで、ＣＳ_Ａが飽和した場合に電荷がＣＳ_Ｂに移動して蓄積され、ＣＳＢが飽和した場合に電荷がＣＳ_Ａに移動して蓄積される。

図２３は、ポテンシャルＡ２の各ノードにおける蓄積電荷と光量の関係を模式的に示す図である。ＰＤ_Ａで発生した電荷は、光量が１５０１、１５０２の範囲ではＰＤ_Ａに蓄積され、光量が１５０３、２３０１の範囲ではＰＤ_Ａ、ＦＤ_Ａ、ＣＳ_Ａに蓄積される。ＰＤ_Ｂで発生した電荷は、光量が１５０１の範囲ではＰＤ_Ｂに蓄積され、光量が１５０２、１５０３の範囲ではＰＤ_Ｂ、ＦＤ_Ｂ、ＣＳ_Ｂに蓄積され、光量が２３０１の範囲ではＰＤ_Ｂ、ＦＤ_Ｂ、ＣＳ_Ｂ、ＣＳ_Ａに蓄積される。

ポテンシャルＡ１では、ＣＳ_Ｂが飽和するまでの光量範囲内においてＰＤ_Ｂで発生した電荷の蓄積が可能であるのに対して、ポテンシャルＡ２では、ＣＳ_Ｂが飽和した後もＣＳ_Ａが飽和していなければＰＤ_Ｂで発生した電荷の蓄積が可能である。そのため、ポテンシャルＡ１では光量範囲が１５０３以下の場合に、位相差信号・画像信号が得られるのに対して、ポテンシャルＡ２では１５０３以下の場合に、位相差信号・画像信号が得られ、光量が２３０１の場合に画像信号が得られる。そのため、位相差信号の取得できる光量範囲は変わらずに、位相差信号をＬＶ表示に用いる際の対応光量範囲は、ポテンシャルＡ２では、ポテンシャルＡ１の場合より高照度まで対応可能である。

ＣＳ_ＡとＣＳ_Ｂの間のポテンシャル障壁は、設計時に予めＰＮ接合で作製しても良い。または、図２４に示すように、ＣＳ_ＡとＣＳ_Ｂを接続する接続ゲートとしての容量接続トランジスタ（ＭＣＳ）２４０１を設け、接続ゲートのバイアス電圧によってＣＳ_ＡとＣＳ_Ｂの間のポテンシャル障壁の高さを設定してもよい。即ち、同じ画素内の第２の蓄積部同士の間のポテンシャル障壁の高さを接続ゲートのバイアス電圧によって制御しても良い。

以上、本発明をその好適な実施例に基づいて詳述してきたが、本発明は上記実施例に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。
例えば実施例ではＰＤ_Ａ、ＰＤ_Ｂからの信号を位相差検出に用いているが、視差信号として表示することで、立体画像の表示に用いてもよい。あるいは画像内の各部分に対応した距離マップを作成するのに使っても良い。

また、本実施例における制御の一部または全部を上述した実施例の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して撮像装置に供給するようにしてもよい。そしてその撮像装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１１１ ズームアクチュエータ
１１２ 絞りシャッタアクチュエータ
１１３ フォーカスアクチュエータ
１１４ 電子フラッシュ
１１５ ＡＦ補助光発光部
１２２ フラッシュ制御回路
１２３ 補助光駆動回路
１２４ 撮像素子駆動回路
１２５ 画像処理回路
１２６ フォーカス駆動回路
１２７ 絞りシャッタ駆動回路
１２８ ズーム駆動回路
１３１ 表示器
１３２ 操作スイッチ群
１３３ フラッシュメモリ

Claims (13)

1. 複数の画素を有し、各画素がそれぞれ、
   光学系の異なる射出瞳領域を通過した複数の光束をそれぞれ受光して光電変換し電荷を生成するための複数の光電変換部と、
   前記複数の光電変換部を分離する分離領域と、
   前記複数の光電変換部の電荷をそれぞれ蓄積するための前記複数の光電変換部と同数の複数の第１の蓄積部と、を有する撮像素子と、
   前記複数の光電変換部と前記複数の第１の蓄積部との間のポテンシャル障壁を、前記分離領域のポテンシャル障壁より低く、かつ、前記複数の光電変換部の空乏電位よりも高くする第１のモードと、前記複数の光電変換部と前記複数の第１の蓄積部との間のポテンシャル障壁を、前記分離領域のポテンシャル障壁より高くする第２のモードと、を選択的に切り替えるための制御手段とを有することを特徴とする撮像装置。
2. 前記制御手段は、前記第２のモードにおいて前記複数の光電変換部でそれぞれ生成された電荷をそれぞれ前記複数の第１の蓄積部を介して加算して読み出して画像信号を形成することを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記第１のモードにおいて前記複数の光電変換部でそれぞれ生成された電荷をそれぞれ前記複数の第１の蓄積部を介して読み出して位相差信号を形成することを特徴とする請求項１に記載の撮像装置。
4. 前記制御手段は、前記第１のモードにおいて前記複数の光電変換部でそれぞれ生成された電荷をそれぞれ前記複数の第１の蓄積部を介して読み出して画像信号を形成することを特徴とする請求項３に記載の撮像装置。
5. 前記複数の蓄積部に蓄積された電荷の一部をそれぞれ蓄積するための、前記複数の第１の蓄積部と同数の複数の第２の蓄積部と、
   前記複数の第１の蓄積部と前記複数の第２の蓄積部の間のポテンシャル障壁をそれぞれ制御する複数の蓄積ゲートと、を有することを特徴とする請求項１に記載の撮像装置。
6. 前記制御手段は、前記第２のモードにおいて、同じ画素内の前記複数の光電変換部と前記複数の第１の蓄積部との間のポテンシャル障壁の高さを異ならせることを特徴とする請求項１に記載の撮像装置。
7. 前記第１のモードにおいて、前記制御手段は、同じ画素内の前記第２の蓄積部同士の間のポテンシャル障壁の高さが、前記光電変換部の完全空乏化電位より低くなるようにすることを特徴とする請求項５に記載の撮像装置。
8. 同じ画素内の前記第２の蓄積部同士の間のポテンシャル障壁の高さを制御するための接続ゲートを有することを特徴とする請求項５に記載の撮像装置。
9. 前記制御手段は、前記光電変換部で発生した電荷を前記第１の蓄積部で蓄積した第１の画素信号と、
   前記光電変換部で発生した電荷を前記第１の蓄積部と前記第２の蓄積部とを接続した状態で蓄積した第２の画素信号とを読み出し、
   前記第２の画素信号の大きさが所定の閾値より大きい場合に前記第２の画素信号を選択し、前記第２の画素信号の大きさが前記閾値より小さい場合に前記第１の画素信号を選択することを特徴とする請求項５に記載の撮像装置。
10. 前記制御手段は、前記第１のモードと前記第２のモードとで前記閾値の大きさを変更することを特徴とする請求項９に記載の撮像装置。
11. 前記複数の光電変換部と前記複数の第１の蓄積部との間のポテンシャル障壁を制御するための転送ゲートを有することを特徴とする請求項１に記載の撮像装置。
12. 請求項１〜１１のうちいずれか一項に記載の前記撮像装置の前記制御手段としてコンピュータを機能させるためのコンピュータプログラム。
13. 請求項１２に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
    

Images