JP2020077971A - 撮像装置及びその制御方法、プログラム、記憶媒体 - Google Patents

Abstract

【課題】画素並列ＡＤ変換方式において、１つの画素から２回以上連続してＡＤ変換を行う場合、連続して行うＡＤ変換のタイミングの間隔を短縮することができる撮像装置を提供する。【解決手段】２次元的に配置された複数の単位ユニット１０２を備える撮像装置であって、複数の単位ユニット１０２のそれぞれが、少なくとも１つの光電変換部を有する画素２０ａ、２０ｂ、２０ｃと、１つの画素ごとに対応して設けられ、画素の信号をＡＤ変換するＡＤ変換部と、１つの画素ごとに対応して設けられ、ＡＤ変換部からの出力データを記憶する第１のメモリ２３ａ、２３ｂ、２３ｃとをそれぞれ含む複数の単位セルと、１つの画素ごとに対応していない、少なくとも１つの第２のメモリ２３ｄとを有する。【選択図】図３

Description

本発明は、撮像装置及びその制御方法に関する。

特許文献１に開示されているように、画素毎にＡＤ変換部を設けた画素並列ＡＤ変換方式の撮像装置が提案されている。

国際公開第２０１６／１３６４４８号

１つの画素から２回以上連続して読み出した信号を特許文献１に記載されたような画素並列型ＡＤ変換方式でＡＤ変換する場合、光電変換部から１回目に読み出した信号をＡＤ変換するタイミングと、２回目以降に読み出した信号のＡＤ変換を行うタイミングの時間差（以下、ＡＤ変換の間隔）が長くなる。特に１つの画素に対して１つのメモリを設けた構成では、データ転送線により全行からＡＤ変換結果を読み出して全行のメモリを空にする必要があるため、ＡＤ変換の間隔は、全行分の信号読み出しの時間により決まる。

本発明は上述した課題に鑑みてなされたものであり、その目的は、画素並列ＡＤ変換方式で１つの画素から２回以上連続して読み出した信号のＡＤ変換を行う場合、連続して複数回行われるＡＤ変換の間隔を短縮することができる撮像装置を提供することである。

本発明に係わる撮像装置は、２次元的に配置された複数の単位ユニットを備える撮像装置であって、前記複数の単位ユニットのそれぞれが、少なくとも１つの光電変換部を有する画素と、１つの前記画素ごとに対応して設けられ、該画素の信号をＡＤ変換するＡＤ変換部と、１つの前記画素ごとに対応して設けられ、前記ＡＤ変換部からの出力データを記憶する第１のメモリとをそれぞれ含む複数の単位セルと、前記１つの画素ごとに対応していない、少なくとも１つの第２のメモリとを有する、ことを特徴とする。

本発明によれば、画素並列ＡＤ方式で１つの画素から２回以上連続して読み出した信号のＡＤ変換を行う場合に、連続して複数回行われるＡＤ変換の間隔を短縮することが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。 第１の実施形態における撮像素子の構成を示すブロック図。 撮像素子の単位ユニットの構成を示すブロック図。 撮像素子の単位ユニットの構成を示すブロック図。 撮影レンズの瞳領域と光電変換部の対応関係を示す図。 第１の実施形態における撮像素子の画素の回路図。 第１の実施形態における撮像素子の動作を示すタイミングチャート。 第１の実施形態における撮像素子の単位セルとＡＤ変換部の構成を示す図。 第２の実施形態における撮像素子の単位ユニットの構成を示すブロック図。 第２の実施形態における撮像素子の動作を示すタイミングチャート。 第２の実施形態における撮像装置の単位セルおよびＡＤ変換部の構成を示す図。 第３の実施形態における参照信号と輝度判定により参照信号を切り替える構成を示すブロック図。 第３の実施形態における撮像素子の単位セルとＡＤ変換部の構成を示す図。 第３の実施形態における撮像素子の単位セルとＡＤ変換部の構成を示す図。 第４の実施形態における撮影レンズの瞳領域と開口部の対応関係を示す図。 第４の実施形態における撮像素子の画素の回路図。 第４の実施形態における撮像素子の動作を示すタイミングチャート。 第５の実施形態における撮像素子の動作を示すタイミングチャート。 第５の実施形態における撮像素子の単位セルとＡＤ変換部の構成を示す図。 第６の実施形態における撮像素子の画素の上面図。 第６の実施形態における撮像素子の画素の配置を示す図。 第６の実施形態における撮像素子の画素の回路図。 第６の実施形態における撮像素子の単位ユニットの構成を示すブロック図。 第６の実施形態における撮像素子の単位セルとＡＤ変換部の構成を示す図。 第６の実施形態における撮像素子の動作を示すタイミングチャート。 第６の実施形態における撮像素子の動作を示すタイミングチャート。

以下、本発明の実施形態について、添付図面を参照して詳細に説明する。

＜第１の実施形態＞
図１は、本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図である。

図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラ１０００の構成を示す図である。図１において、被写体からの光は、撮影光学系１１２０を通って、撮像素子１００上に被写体像として結像される。撮影光学系１１２０には、被写体側から順に、固定されている第１群レンズ１１０１、光軸方向に移動して変倍を行うズームレンズ１１０２、光量を調整する絞り１１０３、固定されている第２群レンズ１１０４が配置されている。

また、変倍に伴う像面変動を補正する機能とフォーカス機能とを兼ね備えたフォーカスレンズ１１０５も配置されている。なお、図１では、各レンズ群が１枚のレンズで構成されているように示されているが、実際には、１枚のレンズで構成されていてもよいし、複数枚のレンズで構成されていてもよい。

撮像素子１００は、ＣＭＯＳセンサにより構成される光電変換素子であり、被写体像を光電変換したアナログ信号をデジタル信号に変換して出力する。カメラ信号処理回路１１０８は、撮像素子１００からの出力信号に対して各種の画像処理を行い、画像信号を生成する。

カメラ信号処理回路１１０８内には、ＡＦ（オートフォーカス）信号処理回路１０８１が設けられている。ＡＦ信号処理回路１０８１は、撮像素子１００から出力される焦点検出信号を用いて撮影光学系１１２０の焦点状態を表す焦点信号を生成する。

表示装置１１０９は、カメラ信号処理回路１１０８からの画像信号を表示し、記録装置１１１０はカメラ信号処理回路１１０８からの画像信号を磁気テープ、光ディスク、半導体メモリ等の記録媒体に記録する。

カメラマイクロコンピュータ（以下、カメラマイコンという）１１１１は、カメラ信号処理回路１１０８から出力される焦点信号に基づいて、後述のフォーカスレンズ駆動部１１１３を制御し、フォーカスレンズ１１０５を光軸方向に移動させる。この動作は主にカメラマイコン１１１１内に設けられたＡＦ制御部１１２１によって行われる。

また、ＡＦ制御部１１２１は、決定されたフォーカスレンズ１１０５の目標位置に従って実際にフォーカス制御を行う。さらに、変倍時（ズーム時）にはあらかじめ記憶されたズームトラッキングデータに基づいてフォーカスレンズ１１０５を移動させるズームトラッキング制御を行う。これにより、変倍に伴う像面変動（ボケ）を防止する。なお、カメラマイコン１１１１は、撮像素子１００の動作の制御も行う。

ズームレンズ駆動部１１１２は、ズームレンズ１１０２を移動させて変倍動作を行い、フォーカスレンズ駆動部１１１３はフォーカスレンズ１１０５を移動させて焦点調節を行う。ズームレンズ駆動部１１１２およびフォーカスレンズ駆動部１１１３は、ステッピングモータ、ＤＣモータ、振動型モータ、ボイスコイルモータ等の駆動源を備える。

図２は、本実施形態の撮像装置に用いられる撮像素子１００の構成を示す図である。図２において、撮像素子１００の撮像面には、それぞれが少なくとも１つの画素を有する単位ユニット１０２が２次元的に配置されている。図２では、説明を分かりやすくするために、単位ユニット１０２が縦に３ユニット、横に３ユニット配列されている状態を示しているが、実際には高精細画像を得るために数百万から数千万の単位ユニット１０２が配列されている。

それぞれの単位ユニット１０２には、参照信号線１１６を介して、参照信号生成回路１１４が接続されている。参照信号生成回路１１４は、参照信号線１１６を用いて、単位ユニット１０２内でＡＤ変換を行う際に用いる参照信号を各単位ユニット１０２に供給する。

さらに、それぞれの単位ユニット１０２には、カウンタ信号線１２０を介して、カウンタ１１８が接続されている。カウンタ１１８は、カウンタ信号線１２０を用いて、単位ユニット１０２内でＡＤ変換を行う際に用いるカウンタ信号を各単位ユニット１０２に供給する。

それぞれの単位ユニット１０２は、画素駆動回路１１０により駆動される。画素駆動回路１１０は、画素駆動信号線１０８を介して、後述の単位ユニット１０２の制御のための制御信号を、各単位ユニット１０２へと送る。

単位ユニット１０２でＡＤ変換されたデジタル信号（出力データ）は、データ転送線１０４を介して、信号処理回路１０６へ送られる。信号処理回路１０６は、各単位ユニット１０２から得られたデジタル信号の並べ替えや、加減算を行った後に、出力部１１２へとデジタル信号を転送する。

タイミングジェネレータ（ＴＧ）１２２は、各部の動作のタイミングを制御する。不図示の配線により、タイミングジェネレータ１２２は、参照信号生成回路１１４、カウンタ１１８、画素駆動回路１１０、信号処理回路１０６、単位ユニット１０２に含まれる後述する比較器２１ａ，２１ｂ，２１ｃ、選択部２２を制御する。

図３は、図２に示した単位ユニット１０２の構成を示す図である。図３において、単位ユニット１０２は、３つの画素２０ａ，２０ｂ，２０ｃを有する。画素は、後述するように、画素への入射光に応じてアナログ信号を出力する。画素２０ａ，２０ｂ，２０ｃそれぞれに対応した比較器２１ａ，２１ｂ，２１ｃが単位ユニット１０２に含まれる。

さらに、単位ユニット１０２には、比較器２１ａ，２１ｂ，２１ｃにそれぞれに対応した第１メモリ２３ａ，２３ｂ，２３ｃ，２３ｄが含まれる。画素２０ａと、比較器２１ａと、第１メモリ２３ａの組み合わせを単位セルと呼ぶ。図３では、一点鎖線により、単位セルを構成する要素を示している。

なお、図２では、カウンタ１１８が全画素共通で設けられているが、画素毎に設けてもよい。画素毎にカウンタ１１８を設けた場合、画素２０ａと、比較器２１ａと、第１メモリ２３ａと、画素毎に設けられたカウンタの組み合わせを単位セルと呼ぶ。

本実施形態では、後述の方法でＡＤ変換を行うため、ＡＤ変換にメモリが必須となる。そのため、比較器２１ａと、第１メモリ２３ａの組み合わせをＡＤ変換部と呼ぶ。図３では、破線により、ＡＤ変換部を構成する要素を示す。同様に、画素２０ｂと、比較器２１ｂと、第１メモリ２３ｂの組み合わせを単位セルと呼び、比較器２１ｂと、第１メモリ２３ｂがＡＤ変換部を構成する。また、同様に、画素２０ｃと、比較器２１ｃと、第１メモリ２３ｃの組み合わせを単位セルと呼び、比較器２１ｃと、第１メモリ２３ｃがＡＤ変換部を構成する。

単位ユニット１０２には、単位セル毎（単位セル内）に設けられた第１メモリとは別に、第２メモリ２３ｄも含まれる。図３では３つの単位セルに対して、１つの第２メモリ２３ｄが配置されている。選択部２２は、後述する方法で行われるＡＤ変換の結果をいずれかのメモリに保持するように切り替えを行うために設けられている。

図３の構成では、選択部２２は、それぞれの比較器に接続される第１メモリまたは第２メモリの切り替えを行う。これにより、切り替え後のメモリを用いてＡＤ変換を行い、切り替え後のメモリにより、ＡＤ変換結果を保持する。

また、後述するように、図３の構成では、選択部２２により、比較器に接続する第１メモリまたは第２メモリを切り替えることは、ＡＤ変換部を構成する要素を切り替えていることに相当する。このとき、単位セルを構成する要素は切り替わらない。

次に、図３に示した単位ユニット１０２におけるＡＤ変換について説明する。ここでは、画素２０ａ、比較器２１ａ、第１メモリ２３ａから構成される単位セルを用いて説明する。比較器２１ａは、画素２０ａからのアナログ信号と、参照信号線１１６から供給された参照信号を比較する。参照信号は、ランプ信号が用いられ、あるタイミングにおいて比較器２１ａで判定される大小関係が反転する。

メモリ２３ａには、カウンタ信号線１２０からカウンタ信号が供給されており、比較器２１ａで判定される大小関係が反転したタイミングでのカウンタ信号がメモリ２３ａに記録される。これにより、画素２０ａから出力されるアナログ信号がデジタル値へと変換される。

図３では、カウンタ信号線１２０が１本で示されているが、例えば、１４ビットでＡＤ変換したい場合は、１４本のカウンタ信号線１２０が各メモリに接続されている。メモリに記録されたデジタル値は、データ転送線１０４を用いて、信号処理回路１０６へと転送され、出力部１１２から出力される。

なお、選択部２２および第２メモリ２３ｄの配置は、図３に示した配置に限定されるものではない。１つ以上の画素から連続して得られた信号が、単位ユニット内で保持できる配置であればどのような配置でもよい。一例として、図４に、図３とは異なる選択部２２および第２メモリ２３ｄの配置を示す。

図３に示した配置では、比較器と、第１メモリおよび第２メモリの間に選択部２２が設けられている。そのため、選択部２２により、比較器と、第１メモリおよび第２メモリの間の接続を切り替えることは、ＡＤ変換部を構成する要素（メモリ）を切り替えることに相当する。

それに対して、図４に示した配置では、第１メモリと第２メモリの間に選択部２２が設けられている。図４の配置では、選択部２２により接続の切り替えを行っても、第２メモリ２３ｄがＡＤ変換部を構成する要素（メモリ）とはならない。第２メモリ２３ｄは、第１メモリを用いてＡＤ変換した結果を一時的に保持するために用いられる。

このように、図３と図４で選択部２２および第２メモリの配置は異なるが、どちらの配置をとっても１つ以上の画素から連続して得られた信号を保持することができる。以下では、図３の配置に基づいて説明するが、図４の配置をとっても構わない。

なお、図４の配置において、第１メモリを用いてＡＤ変換した結果を、第２メモリで保持するようにデータを転送する時間は、全単位ユニット同時に行うことができるため、データ転送線１０４を使い、信号処理回路１０６に転送する時間から比べれば十分に短い。また、同一のメモリを使ってＡＤ変換を行うため、メモリの特性や、メモリにカウンタ信号を供給するカウンタ信号線１２０の特性のばらつきの影響を無くすことができるというメリットもある。

次に、図３に示した単位ユニットが有する画素２０ａ，２０ｂ，２０ｃの構成、およびその駆動方法について説明する。本実施形態では、それぞれの画素が２つの光電変換部を有する場合について、画素２０ａ，２０ｂ，２０ｃから撮像信号を取得し、画素２０ａ（一部の画素）のみから焦点検出信号を取得する方法について説明する。

本実施形態では、画素２０ａの一方の光電変換部からの信号を第２メモリ２３ｄに格納することによって、画素２０ａの焦点検出信号のＡＤ変換のタイミングと、画素２０ａの撮像信号のＡＤ変換のタイミングの間隔を短縮する。これにより、動体に対しても、十分な精度で焦点検出を実施することができる。

また、焦点検出信号を取得する画素は、画素２０ｂ，２０ｃに切り替えが可能である。これにより、赤い被写体の場合は、赤の光を検出するＲ画素を用いて焦点検出を行うなど、被写体に応じて最適な焦点検出処理が可能となる。

さらに、数十行から任意の数行を焦点検出エリアとして選択し、切り替える構成を実現するために、図３に示されている３画素を、数十画素に増やした構成をとってもよい。その場合、第２メモリ２３ｄは、数十画素に対して、焦点検出エリアとして選択される行数分だけ設ければよい。

本実施形態における２つの光電変換部を有する画素の構成について説明する。図３では、３つの画素を示しているが、それぞれの画素の構成は全て同じである。

図５は、撮影レンズの瞳領域と光電変換部の対応関係を示している。図５では、１つの画素に設けられた２つの光電変換部２０１ａ，２０１ｂ、瞳領域２５３ａ，２５３ｂ、マイクロレンズ２５１、カラーフィルタ２５２が示されている。光電変換部２０１ａには、瞳領域２５３ａを通過した光が入射する。また、光電変換部２０１ｂには、瞳領域２５３ｂを通過した光が入射する。

これにより、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号から焦点検出を行うことができる。また、光電変換部２０１ａと、光電変換部２０１ｂから得られた信号を混合することにより、撮像信号を生成することができる。

図６は、画素の回路構成を示す図である。光電変換部２０１ａ，２０１ｂは、入射光に基づく電荷を生成する。転送トランジスタ２０２ａは、光電変換部２０１ａと浮動拡散部（以下、ＦＤ部）２０３との間、転送トランジスタ２０２ｂは、光電変換部２０１ｂとＦＤ部２０３との間の電気的経路に設けられている。

転送トランジスタ２０２ａ，２０２ｂは、光電変換部２０１ａ，２０１ｂからＦＤ部２０３への電荷の転送のオンとオフとを制御する。リセットトランジスタ２０４は、ソース端子がＦＤ部２０３に電気的に接続され、ドレイン端子には電源電圧ＶＤＤが与えられている。リセットトランジスタ２０４は、ＦＤ部２０３の電位のリセットのオンとオフとを制御する。

増幅トランジスタ２０５のゲート端子はＦＤ部２０３に電気的に接続され、ドレイン端子は電源電圧ＶＤＤが与えられ、ソース端子には、選択トランジスタ２０６のドレイン端子が電気的に接続されている。増幅トランジスタ２０５は、電流供給部２０７から供給される電流と、電源電圧ＶＤＤとによってソースフォロワ動作を行う。増幅トランジスタ２０５は、ＦＤ部２０３の電位に基づくアナログ信号を出力する。

選択トランジスタ２０６のソース端子は、電流供給部２０７と比較器に電気的に接続されている。選択トランジスタ２０６は、増幅トランジスタ２０５と比較器との導通、非導通を切り替える。転送トランジスタ２０２ａ，２０２ｂ、リセットトランジスタ２０４、選択トランジスタ２０６のゲート端子には、画素駆動回路１１０から、画素駆動信号線１０８を介して、画素駆動信号が送られ、制御される。

次に、上記のように構成される撮像素子１００の駆動方法について説明する。図７は、撮像素子の駆動タイミングを示すタイミングチャートである。

２つの光電変換部のうち、光電変換部２０１ａから得られた焦点検出用の信号をＡ信号、光電変換部２０１ｂから得られた焦点検出用の信号をＢ信号、Ａ信号とＢ信号を混合して生成した撮像信号をＡ＋Ｂ信号と表記する。本実施形態では、画素２１ａ，２１ｂ，２１ｃの３つの画素から撮像信号を、画素２１ａのみから焦点検出信号を取得する。

ここでは、期間３０１，３０２においてＡＤ変換を行い、期間３０３〜３０６においてメモリからの読み出しを行うというように、異なる期間でＡＤ変換と、読み出しを行っている。しかし、ＡＤ変換の期間と、メモリからの読み出し期間が重なっていても構わない。

例えば、期間３０１において画素２０ａのＡ信号のＡＤ変換終了後、すなわち期間３０２において、期間３０３において行うように示した第２メモリ２３ｄからのＡ信号の読み出しを開始してもよい。このとき、期間３０２において、第１メモリ２３ａ，２３ｂ，２３ｃではＡＤ変換が行われ、第２メモリ２３ｄではメモリからの読み出しが同時に行われる。

図７に示した期間３０１では、画素２０ａの光電変換部２０１ａからのＡ信号のＡＤ変換を行う。このとき、転送トランジスタ２０２ａはオン状態となり、光電変換部２０１ａに蓄積された電荷がＦＤ部２０３に転送され、増幅トランジスタ２０５から比較器２１ａにＡ信号（アナログ信号）が出力される。比較器２１ａの出力先は、選択部２２により、第２メモリ２３ｄに設定される。これにより、画素２０ａのＡ信号（デジタル信号）が第２メモリ２３ｄに保持される。

図８は、期間３０１における、単位セルおよびＡＤ変換部の接続関係を示す。図８において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。図８に示すように、期間３０１では、選択部２２により、比較器２１ａと第２メモリ２３ｄが接続されるように設定され、比較器２１ａと第２メモリ２３ｄがＡＤ変換部を構成する。

図７に示した期間３０２では、画素２０ａ，２０ｂ，２０ｃの３画素のＡ＋Ｂ信号のＡＤ変換を行う。画素２０ａでは、期間３０１で転送トランジスタ２０２ａをオン状態にしたことに加え、期間３０２では転送トランジスタ２０２ｂもオン状態にする。これにより、光電変換部２０１ａと光電変換部２０１ｂで生成された電荷がＦＤ部２０３に転送され、増幅トランジスタ２０５から比較器２１ａにＡ＋Ｂ信号（アナログ信号）が出力される。

比較器２１ａの出力先は、選択部２２により、第１メモリ２３ａに設定される。このとき、それぞれのＡＤ変換部の接続関係は、図３において破線で囲んだ構成となっている。これにより、画素２０ａのＡ＋Ｂ信号（デジタル信号）が第１メモリ２３ａに保持される。

このように、画素２０ａから得られたＡ信号、Ａ＋Ｂ信号の結果を、第２メモリ２３ｄ、第１メモリ２３ａに保持することにより、画素２０ａにおいて連続してＡＤ変換を行うことができる。仮に、Ａ信号、Ａ＋Ｂ信号を同一のメモリを用いてＡＤ変換を行った場合、Ａ信号のＡＤ変換と、Ａ＋Ｂ信号のＡＤ変換の間に、信号処理回路１０６を用いてメモリに保持されたＡ信号を読み出す時間が発生する。この時間差は、焦点検出信号の劣化につながる。

また、図７に示した期間３０２において、画素２０ｂ，２０ｃでは、転送トランジスタ２０２ａ，２０２ｂをオン状態にし、光電変換部２０１ａ，２０１ｂで生成された電荷をＦＤ部２０３に転送する。これにより、画素２０ｂ，２０ｃのＡ＋Ｂ信号（アナログ信号）が比較器２１ｂ，２１ｃにそれぞれ出力される。

比較器２１ｂ，２１ｃの出力先は、選択部２２により、それぞれ第１メモリ２３ｂ，２３ｃに設定される。これにより、画素２０ｂ，２０ｃから得られたＡ＋Ｂ信号（デジタル信号）がそれぞれ第１メモリ２３ｂ，２３ｃに保持される。

図７に示した期間３０３では、信号処理回路１０６により、第２メモリ２３ｄから画素２０ａのＡ信号を読み出す。図７では、焦点検出演算を先に開始するために、焦点検出信号の読み出しを優先して行っている。すなわち、期間３０３に示した画素２０ａのＡ信号と、期間３０４に示した画素２０ａのＡ＋Ｂ信号の読み出しを優先して行っている。なお、図３に示したデータ転送線１０４は、１本で記載されているが、データ読み出し速度を上げるために、並列に複数本設けてもよい。

図７に示した期間３０４，３０５，３０６では、信号処理回路１０６により、第１メモリ２３ａ，２３ｂ，２３ｃから、それぞれ画素２０ａ，２０ｂ，２０ｃのＡ＋Ｂ信号を読み出す。

以上の動作により、Ａ信号のＡＤ変換を行うタイミングと、Ａ＋Ｂ信号のＡＤ変換を行うタイミングの時間差を短縮し、焦点検出信号の劣化を防ぐことができ、動体に対しても適切な焦点検出を行うことが可能となる。

なお、本実施形態では、画素２０ａから焦点検出信号を取得する構成をとっているが、画素２０ｂ、画素２０ｃから焦点検出信号を取得し、第２メモリ２３ｄに保持しても構わない。画素２０ｂから焦点検出信号を取得する場合は、図７に示した期間３０１において、選択部２２により、比較器２１ｂを第２メモリ２３ｄに接続するように設定する。これにより、画素２０ｂのＡ信号（デジタル信号）が第２メモリ２３ｄに保持される。

同様に、画素２０ｃから焦点検出信号を取得する場合は、図７に示した期間３０１において、選択部２２により、比較器２１ｃを第２メモリ２３ｄに接続するように設定する。これにより、画素２０ｃのＡ信号（デジタル信号）が第２メモリ２３ｄに保持される。

また、本実施形態では、画素２０ａ，２０ｂ，２０ｃから撮像信号を取得し、画素２０ａから焦点検出信号を取得する場合について説明したが、全画素数よりも少ない画素数の信号を用いた高速なライブビュー表示と焦点検出も実施可能である。例えば、図３に示された画素２０ａ，２０ｂ，２０ｃのうち、画素２０ａのみを選択し、画素２０ｂ，２０ｃからは撮像信号、焦点検出信号の両方を読み出さないように制御する。

これにより、焦点検出信号だけでなく、撮像信号の読み出し量も減らすことができ、高速な動作が可能となる。このとき、図７の期間３０２に示した画素２０ｂ，画素２０ｃの信号読み出しおよびＡＤ変換は行わなくてよい。また、図７の期間３０５，３０６に示したデータ転送も行わなくてよい。

なお、高速な焦点検出よりも、低遅延なライブビュー表示を優先させる場合には、図７の期間３０４に示したＡ＋Ｂ信号の読み出しを、図７の期間３０３に示したＡ信号の読み出しよりも先に行うように制御する。

＜第２の実施形態＞
以下、本発明の第２の実施形態の駆動方法について説明する。第２の実施形態においても、図５および図６に示した画素構成をとる。本実施形態では、１２ビットで焦点検出信号と撮像信号を取得する第１のモードと、１６ビットで撮像信号のみを取得する第２のモードを有する場合に、モード（撮影モード）によってＡＤ変換結果を保持するメモリを切り替える駆動方法について説明する。

図９は、第２の実施形態における単位ユニット１０２の構成を示す図である。図９では説明の便宜上、図３に示した第１メモリ２３ａを、第１メモリ２３ａ１、第１メモリ２３ａ２、第１メモリ２３ａ３の３ブロックに分けて示している。

図９において、第１メモリ２３ａ１，２３ａ２，２３ａ３には、それぞれ４ビットのデジタル値が保持される。これは、図３において、第１メモリ２３ａに１２ビットのデジタル値を保持することに相当する。

また、図３に示した第１メモリ２３ｂ，２３ｃ、第２メモリ２３ｄについても同様に１２ビットを保持することができ、図９では４ビットずつ、３ブロックに分けて示している。また、図９において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。

最初に、１２ビットで焦点検出信号と撮像信号を取得する第１のモードの駆動方法について説明する。第１のモードの駆動方法は、第１の実施形態で説明した駆動方法と同じである。すなわち、図７に示したように画素２０ａのＡ信号を、比較器２１ａを用いてＡＤ変換し、その結果を第２メモリ２３ｄに保持する。

図９では、第２メモリ２３ｄ１，２３ｄ２，２３ｄ３のそれぞれに４ビットずつ保持することにより、１２ビットのＡ信号を保持する。画素２０ａのＡ信号のＡＤ変換を行った後、画素２０ａ，２０ｂ，２０ｃのＡ＋Ｂ信号のＡＤ変換を行い、それぞれの結果を第１メモリ２３ａ，２３ｂ，２３ｃに保持する。図９では、４ビットずつ３つのブロックに分けて示したそれぞれの第１メモリに１２ビットのＡ＋Ｂ信号を保持する。

次に、１６ビットで撮像信号のみを取得する第２のモードの駆動方法について説明する。第２のモードは、画素２０ａ，２０ｂ，２０ｃそれぞれから１６ビットで撮像信号、すなわちＡ＋Ｂ信号を取得するモードである。図１０は、第２のモードにおける動作タイミングを示すタイミングチャートである。

第２のモードでは、図１０の期間４０１において、画素２０ａ，２０ｂ，２０ｃのＡＤ変換を行う。このとき、１６ビットのＡ＋Ｂ信号のＡＤ変換の結果を保持するために、選択部２２により、比較器２１ａに、第１メモリ２３ａ１，２３ａ２，２３ａ３、および第２メモリ２３ｄ１を接続するように設定する。これにより、比較器２１ａと、第１メモリ２３ａ１，２３ａ２，２３ａ３から構成されるＡＤ変換部では、保持できるビット数は１２ビットに制限されるが、第２メモリ２３ｄ１を加えることで１６ビットまで保持することができる。

図１１は、期間４０１における、画素２０ａを含む単位セル、および画素２０ａのＡＤ変換に用いるＡＤ変換部の接続関係を示す。図１１において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。

図１１に示すように、期間４０１では、選択部２２により、比較器２１ａに対して、第１メモリ２３ａ１，２３ａ２，２３ａ３、および第２メモリ２３ｄ１が接続されるように設定され、ＡＤ変換部が構成されている。また、画素２０ａを含む単位セルは、画素２０ａと、比較器２１ａと、第１メモリ２３ａ１，２３ａ２，２３ａ３により構成される。
同様に、選択部２２により、比較器２１ｂに、第１メモリ２３ｂ１，２３ｂ２，２３ｂ３、および第２メモリ２３ｄ２を接続するように設定し、比較器２１ｃに、第１メモリ２３ｃ１，２３ｃ２，２３ｃ３、および第２メモリ２３ｄ３を接続するように設定する。これにより、画素２０ｂ，２０ｃにおいても、画素２０ａと同時に、１６ビットのＡ＋Ｂ信号を保持することができる。

図１０に示した期間４０２，４０３，４０４では、信号処理回路１０６により、第１メモリおよび第２メモリから画素毎にＡ＋Ｂ信号（デジタル値）を読み出す。

なお、第１メモリ、第２メモリの保持できるビット数に合わせて、それぞれ１２本並列のデータ転送線が設けられている場合、１６ビット並列読み出しができない。そのため、メモリ毎に１２ビットずつ並列読み出しを行ってもよい。その場合、信号処理回路１０６または出力部１１２の出力先で、データの並べ替えを行い、それぞれの画素から得られた１６ビットのＡ＋Ｂ信号を生成する。

また、第１メモリと第２メモリに１２本並列のデータ転送線を設けるとともに、第２メモリにはさらに別の４本並列のデータ転送線を設け、第２のモードの駆動時に画素毎に得られたＡ＋Ｂ信号を一括して１６ビット並列読み出しを行ってもよい。

＜第３の実施形態＞
以下、本発明の第３の実施形態の駆動方法について説明する。第３の実施形態では、画素からの出力値の輝度を判定し、参照信号として与えるランプ信号の傾きを変えてＡＤ変換を行う場合について説明する。

最初に、輝度を判定してランプ信号の傾きを切り替える方法について説明する。図１２は、第３の実施形態で用いる参照信号と、輝度判定により参照信号を切り替えるための構成を示す図である。

図１２（ａ）は、ランプ信号の傾きを切り替えない場合の第１の参照信号を示す。図１２（ｂ）は、輝度判定に用いるパルス信号と、図１２（ａ）とは傾きが異なるランプ信号を含む第２の参照信号Ｈを示す。図１２（ｃ）は、図１２（ａ）と傾きは同じであるが、ランプ信号のピークが低く、ＡＤ変換に要する時間が短いランプ信号を含む第２の参照信号Ｌを示す。図１２（ｄ）は、輝度判定により、参照信号を切り替えるための構成を示す。

図１２（ｄ）に示すように、図３に示した画素２０ａと比較器２１ａに加えて、参照信号線１１６として信号線１１６Ｈ，１１６Ｌの２本が設けられ、さらに参照信号切替部２４と、輝度判定部２５が設けられている。図３に示した画素２０ｂおよび画素２０ｃに対しても、同様の構成をとる。

本実施形態では、輝度判定を行わずにＡＤ変換を行う第３のモードと、輝度判定を行って参照信号を切り替える第４のモードとを有する。

以下、輝度判定を行う第４のモードを常用モードとして設定し、高輝度と判定された画素において、階調の離散化が目立つ場合に、第３のモードに切り替える方法について説明する。ここでは、第４のモードから第３のモードへ切り替えるか否か、すなわち、階調の離散化が目立つか否かを、前フレームにおいて、あるエリア内に高輝度画素数が閾値以上含まれるか否かによって判定する。また、ユーザーが任意に切り替えを行えるように切り替え用のスイッチなどを設けても良い。

以下、図１２（ｄ）、図１３および図１４を用いて第３の実施形態における駆動方法について説明する。

図１３および図１４は、第３の実施形態における単位セル、およびＡＤ変換部の接続関係を示す。図１３および図１４において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。

本実施形態では、各画素で輝度判定を行うため、図１２（ｄ）のように、参照信号線１１６Ｈ，１１６Ｌと、各比較器に対して、参照信号切替部２４、および輝度判定部２５が設けられるが、図１３および図１４では省略している。

また、図１３および図１４では説明の便宜上、図３に示した第２メモリ２３ｄを、第２メモリ２３ｄ１、第２メモリ２３ｄ２、第２メモリ２３ｄ３の３ブロックに分けて示している。第３のモードと第４のモードを切り替える上で、ＡＤ変換結果を保持するために、第４のモードでは、１４ビットのメモリを必要とし、第３のモードでは、１６ビットのメモリを必要とする。

そのため、第１メモリ２３ａ，２３ｂ，２３ｃには、１４ビットのメモリを用意し、第２メモリ２３ｄ１，２３ｄ２，２３ｄ３には、２ビットずつ３ブロック、合計６ビットのメモリを用意する。なお、同じ構成を用いて第１の実施形態および第２の実施形態も実施できるように、第２メモリ２３ｄとして、６ビットよりも多いビット数のメモリを用意しても構わない。

以下、画素２０ａを含む単位セルに注目し、図１２（ｄ）を用いて詳細な駆動について説明するが、画素２０ｂ，２０ｃを含む単位セルについても同様の駆動を行うものとする。

まず、第３のモードでは、参照信号切替部２４の入力を参照信号線１１６Ｈに設定する。参照信号生成回路１１４より生成された第１の参照信号を、参照信号線１１６Ｈを用いて参照信号切替部２４に供給する。なお、ここでは参照信号線１１６Ｈを用いているが、参照信号線１１６Ｌを用いて第１の参照信号を供給しても構わない。また、輝度判定部２５の状態は参照信号線１１６Ｈを用いる場合にはＨｉに固定し、参照信号線１１６Ｌを用いる場合にはＬｏｗに固定しておく。

参照信号切替部２４は、第１の参照信号を比較器２１ａに入力し、比較器２１ａは、画素２０ａからのアナログ信号（入力信号）と、第１の参照信号を比較することにより１６ビットでＡＤ変換を行う。このとき、第１メモリは１４ビットであるのに対し、ＡＤ変換結果は１６ビットのため、選択部２２により、比較器２１ａを第１メモリ２３ａと第２メモリ２３ｄ１に接続するように設定する。すなわち、画素２０ａを含む単位セル、および画素２０ａのＡＤ変換に用いるＡＤ変換部は、図１４に示すような構成を取る。

ここで、第１メモリ２３ａおよび第２メモリ２３ｄ１には、カウンタ信号線１２０からカウンタ信号が供給されている。そして、比較器２１ａにおいて画素２０ａからのアナログ信号と第１の参照信号の大小関係が反転したタイミングでのカウンタ信号が第１メモリ２３ａおよび第２メモリ２３ｄ１に記録される。これにより、画素２０ａから出力されるアナログ信号が１６ビットのデジタル値へと変換される。

同様に、選択部２２により、比較器２１ｂを第１メモリ２３ｂと第２メモリ２３ｄ２に接続するように設定することにより、画素２０ｂにおいて１６ビットのＡＤ変換を行う。また、選択部２２により、比較器２１ｃを第１メモリ２３ｃと第２メモリ２３ｄ３に接続するように設定することにより、画素２０ｃにおいて１６ビットのＡＤ変換を行う。

一方、第４のモードでは、図１２に示した時刻ｔ１から時刻ｔ２の期間で輝度判定を行う。すなわち、参照信号切替部２４の入力を参照信号線１１６Ｈに設定し、参照信号生成回路１１４により第１の参照信号のピークに対して１／４の強度のパルス信号を参照信号切替部２４に供給する。比較器２１ａは、画素２０ａから出力されるアナログ信号とパルス信号の大小関係を判定することにより、画素の出力信号が高輝度か低輝度かを判定する。そして、輝度判定部２５は、比較器２１ａを用いて行った輝度判定の結果を、Ｈｉ状態またはＬｏｗ状態で保持する。

参照信号切替部２４は、輝度判定部２５に保持された輝度判定結果を参照して、図１２の時刻ｔ２以降で用いる参照信号を切り替える。すなわち、高輝度であった場合には、参照信号切替部２４の入力を参照信号線１１６Ｈに設定し、参照信号生成回路１１４によりランプ信号の傾きが大きい第２の参照信号Ｈを参照信号切替部２４に供給する。

また、低輝度であった場合には、参照信号切替部２４の入力を参照信号線１１６Ｌに設定し、参照信号生成回路１１４によりランプ信号の傾きが小さい第２の参照信号Ｌを参照信号切替部２４に供給する。なお、第２の参照信号Ｈを用いてＡＤ変換する場合、同じレベルのアナログ信号を第２の参照信号Ｌを用いてＡＤ変換する場合と比べてＡＤ変換にかかる時間が１／４になる。

ここで、第１メモリ２３ａには、カウンタ信号線１２０からカウンタ信号が供給されている。そして、比較器２１ａにおいて画素２０ａからのアナログ信号と第２の参照信号Ｈまたは第２の参照信号Ｌの大小関係が反転したタイミングでのカウンタ信号が第１メモリ２３ａに記録される。これにより、画素２０ａから出力されるアナログ信号が１４ビットのデジタル値へと変換される。画素２０ｂ，２０ｃについても、同様に輝度判定を行った上で、ＡＤ変換を行う。また、単位セル、およびＡＤ変換部は図１３に示す構成をとる。

なお、低輝度側では第３のモードとＡＤ変換精度が変わらず、第３のモードと同じＡＤ変換結果になるが、低輝度側でとり得るデジタル値の最大値が第３のモードの１／４となっている。そのため、１４ビットのメモリでデジタル値を保持することができる。信号処理回路１０６は、第１メモリ２３ａからＡＤ変換結果を読み出し、上位２ビットに００を付け加えることで１６ビットとして出力部１１２に出力する。

また、高輝度側では第３のモードよりもＡＤ変換精度が１／４と粗くなり、下位に２ビットシフトした１４ビットのデジタル値が出力されるため、高輝度側のデジタル値も１４ビットのメモリで保持することができる。信号処理回路１０６は、第１メモリ２３ａからＡＤ変換結果を読み出し、上位に２ビットシフトさせることで１６ビットとして出力部１１２に出力する。いずれの場合でも、１４ビットから１６ビットへの変換は出力部１１２より先で行ってもよい。

なお、輝度判定を行う場合に、第１の参照信号に示したランプ信号のピークに対して１／４の強度のパルス信号を用いるように説明したが、パルス信号の強度はこの値に限定されるものではない。その場合、ビットシフトを用いず、信号処理回路１０６において、任意のゲインをかけて、最終的な出力値を算出してもよい。

＜第４の実施形態＞
以下、本発明の第４の実施形態の駆動方法について説明する。第４の実施形態では、単位ユニットに含まれる複数の画素のうち、焦点検出画素において２回ＡＤ変換を行う駆動方法について説明する。本実施形態では、焦点検出画素から取得した２回目のＡＤ変換結果を、第２メモリにより保持することで、焦点検出画素における１回目のＡＤ変換のタイミングと、２回目のＡＤ変換のタイミングの間隔を短縮する。

後述するように、第４の実施形態で用いる焦点検出画素は、開口部により、画素に入射する光が制限されるため、画素が取得できる光量が撮像画素と比べて少なくなる。そのため、低輝度被写体において、焦点検出画素はノイズの影響を受けやすい。第４の実施形態では、低輝度被写体に対して焦点検出を行う場合に、焦点検出画素において、２回ＡＤ変換を行って平均値を算出することにより、焦点検出信号のノイズ低減を図り、焦点検出精度を向上させる。

本実施形態では、図３に示した画素のうち、画素２０ａのみに焦点検出画素が設けられ、画素２０ｂ，２０ｃには撮像用の画素が設けられているものとする。図１５は、第４の実施形態で用いられる撮影レンズの瞳領域と、焦点検出画素における開口部の対応関係を示した図である。図５とは異なり、開口部２５４によって瞳領域２５３の形状が決定されている。焦点検出画素では、感度向上のために、カラーフィルタ２５２の透過帯域幅が撮像画素よりも広いものが用いられる。

また、瞳領域２５３を通過した光のみを検出するため、対となる画素、すなわち図１５において不図示の右側の瞳領域からの光を検出する画素を別途設けて焦点検出信号を取得する。例えば、図１５に示した構成の画素を含む単位ユニットに隣接する別の単位ユニットに、対となる画素を設けてもよい。

図１６は、焦点検出画素の回路構成を示している。図１６に示した焦点検出画素の回路構成は、撮像画素と同じである。図６との違いは、図１６では、光電変換部２０１と、転送トランジスタ２０２が１つずつしか設けられていない点である。また、対となる画素の回路構成も図１６と同じである。

次に、本実施形態における撮像素子１００の駆動方法について説明する。図１７は、本実施形態における駆動タイミングを示すタイミングチャートである。

図１７に示した期間５０１では、選択部２２により、比較器２１ａを第１メモリ２３ａに、比較器２１ｂを第１メモリ２３ｂに、比較器２１ｃを第１メモリ２３ｃに接続するように設定し、それぞれＡＤ変換を行う。これにより、第１メモリ２３ａには、画素２０ａから得られた焦点検出信号が、第１メモリ２３ｂ，２３ｃには、画素２０ｂ，２０ｃから得られた撮像信号が保持される。このとき、それぞれのＡＤ変換部の構成は、図３において破線で囲んだ構成となっている。

図１７に示した期間５０２では、選択部２２により、比較器２１ａを第２メモリ２３ｄに接続し、画素２０ａにおいて２回目のＡＤ変換を行う。これにより、第２メモリ２３ｄには、画素２０ａから得られた焦点検出信号が保持される。このとき、それぞれのＡＤ変換部の構成は、図８において破線で囲んだ構成となっている。

図１７に示した期間５０３〜５０６では、焦点検出信号を優先して、信号処理回路１０６によりメモリから順次読み出す。２回の焦点検出信号のＡＤ変換結果は、信号処理回路１０６または出力部１１２の先に接続された不図示の信号処理回路により、平均値が算出され、ノイズが低減される。なお、焦点検出画素は、画素２０ａに限らず、画素２０ｂ，２０ｃに設けてもよい。

なお、上記の説明では低輝度被写体における、焦点検出信号のノイズ低減を行ったが、撮像信号のノイズ低減を行うこともできる。例えば、赤の光を検出するＲ画素、緑の光を検出するＧ画素、青の光を検出するＢ画素から成り立つ画素配列では、赤い被写体を撮影した場合に、Ｒ画素と比べて、Ｂ画素の信号出力は著しく低下する。Ｒ、Ｇ、Ｂ画素に対して単位ユニットを設けることにより、赤い色の被写体を撮影した場合に、Ｂ画素で２回ＡＤ変換および平均化を行うことで、ノイズを低減できる。

ここで、被写体の色の判定は、前フレームの画像信号に基づいて、信号処理回路１０６または出力部１１２の先に接続された不図示の信号処理回路によって行い、選択部２２に結果をフィードバックする。同様に、青い色の被写体を撮影した場合には、Ｒ画素の信号出力が小さくなるため、Ｒ画素で２回ＡＤ変換および平均化を行うことで、ノイズを低減できる。

このように、単位ユニットに含まれる複数の画素のうち、信号出力が弱い画素において２回ＡＤ変換を行い、平均値を算出することにより、ノイズ低減を図り、焦点検出精度の改善を行ったり、ノイズによるＲＧＢ比率のばらつきを抑制したりすることができる。

＜第５の実施形態＞
以下、本発明の第５の実施形態の駆動方法について説明する。第５の実施形態では、図３に示した単位ユニットに含まれる３つの画素のうち、画素を間引いた１つの画素を選択して２回ＡＤ変換を行う駆動方法について説明する。ここでは、撮像信号を２回ＡＤ変換するだけでなく、リセットトランジスタ２０４をオンにして行うリセット動作後のリセットレベルについても２回ＡＤ変換を行う。

２回ＡＤ変換を行った結果は、平均値を算出することにより、ノイズ低減を図る。本実施形態では、間引いた画素から取得した２回目のリセットレベルのＡＤ変換結果と、撮像信号の２回のＡＤ変換結果を、第１メモリおよび第２メモリにより保持する。これにより、リセットレベルのＡＤ変換のタイミングと、撮像信号のＡＤ変換のタイミングの間隔を短縮する。

なお、単位ユニットに含まれる画素の数、および間引きの数は、特に限定されるものではなく、単位ユニットに含まれる複数の画素から間引きを行い、１つ以上の画素を選択してもよい。また、ＡＤ変換の回数は２回以上行い、平均値を算出してノイズ低減を図ってもよい。本実施形態では、図３に示した画素のうち、画素２０ａのみ撮像信号を取得する場合について考える。この場合、画素２０ｂ，２０ｃからは信号を取得しない。

図１８は、本実施形態における駆動タイミングを示すタイミングチャートである。図１８では、リセットレベルの信号をＮ信号、撮像信号をＳ信号と表記する。また、図１９に、あるタイミングにおける単位セルと、ＡＤ変換部の接続関係を示す。図１９において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。

図１８に示した期間６０１では、選択部２２により、比較器２１ａを第１メモリ２３ａに接続するように設定することで、画素２０ａのＮ信号の１回目のＡＤ変換結果を第１メモリ２３ａに保持する。この場合の、単位セルとＡＤ変換部の接続関係を、図１９（ａ）に示す。

図１８に示した期間６０２では、選択部２２により、比較器２１ａを第１メモリ２３ｂに接続するように設定することで、画素２０ａのＮ信号の２回目のＡＤ変換結果を第１メモリ２３ｂに保持する。このとき、単位セルとＡＤ変換部の接続関係を、図１９（ｂ）に示す。

図１８に示した期間６０３では、画素２０ａの転送トランジスタ２０２をオンに設定し、光電変換部２０１に蓄積された電荷をＦＤ部２０３に転送する。電荷転送後、転送トランジスタ２０２をオフ、選択トランジスタ２０６をオンに設定し、撮像信号のＡＤ変換を行える状態にする。

選択部２２により、比較器２１ａを第１メモリ２３ｃに接続するように設定することで、画素２０ａのＳ信号の１回目のＡＤ変換結果を第１メモリ２３ｃに保持する。この場合の、単位セルとＡＤ変換部の接続関係を、図１９（ｃ）に示す。

図１８に示した期間６０４では、選択部２２により、比較器２１ａを第２メモリ２３ｄに接続するように設定することで、画素２０ａのＳ信号の２回目のＡＤ変換結果を第２メモリ２３ｄに保持する。このとき、単位セルとＡＤ変換部の接続関係を、図１９（ｄ）に示す。

リセットレベル、撮像信号のＡＤ変換が完了後、図１８の期間６０５〜６０８では、信号処理回路１０６により、第１メモリおよび第２メモリからリセットレベル、撮像信号を読み出す。これにより得られたリセットレベルと、撮像信号、それぞれの２回のＡＤ変換結果は、信号処理回路１０６または出力部１１２の先に接続された不図示の信号処理回路により、それぞれ平均値が算出され、ノイズが低減される。

＜第６の実施形態＞
以下、本発明の第６の実施形態の駆動方法について説明する。第６の実施形態では、１つの画素が４つの光電変換部を有する。４つの光電変換部を有する画素を用いることにより、縦方向の瞳分割、横方向の瞳分割（瞳分割方向）を実現し、縦線と、横線のどちらの被写体であっても、焦点検出を行うことができる。

また、本実施形態では、縦方向に３画素、横方向に３画素並べた計９画素を含む単位ユニット１０２を形成し、瞳分割の方向に応じて、第２メモリの接続を切り替えることにより、任意の方向の瞳分割を実施することができる。本実施形態では、選択した画素の一方の光電変換部からの信号を第２メモリに格納することによって、選択した画素の焦点検出信号のＡＤ変換のタイミングと、撮像信号のＡＤ変換のタイミングの間隔を短縮する。これにより、動体に対しても、十分な精度で焦点検出を実施することができる。

図２０は、本実施形態における１つの画素の上面図である。図２０には、画素２０ｅが示されているが、図２１に示す画素２０ｆから２０ｍについても同じ構成を取る。図２０では、１つの画素内で光電変換部が縦方向、横方向にそれぞれ２つ配置され、計４つの光電変換部を有する。ここでは、４つの光電変換部を、光電変換部２０１ｃ，２０１ｄ，２０１ｅ，２０１ｆとする。

光電変換部２０１ｃと２０１ｅを混合、２０１ｄと２０１ｆを混合することにより、横方向に瞳分割した場合の位相差検出信号を取得することができる。また、光電変換部２０１ｃと２０１ｄを混合、２０１ｅと２０１ｆを混合することにより、縦方向に瞳分割した場合の位相差検出信号を取得することができる。

図２２は、本実施形態における画素の回路構成を示す図である。図６との違いは、図２２では、光電変換部と、転送トランジスタが４つずつ設けられ、それぞれの光電変換部から独立して信号を読み出すことができる構成となっている点である。

図２１は、単位ユニット１０２に含まれる９画素の画素配列を示す図である。図２１に示した９つの画素が、それぞれ図２０に示した４つの光電変換部を備える。図２３は、本実施形態における、単位ユニット１０２の構成を示す図である。図２３において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。

単位ユニット１０２には、図２１に示した９つの画素が含まれ、それぞれの画素に対し、比較器が設けられ、単位セルを構成している。また、それぞれの単位セルに対し、第１メモリが設けられている。また、単位ユニット１０２には、３つの第２メモリ２３ｎ，２３ｏ，２３ｐが設けられている。また、図２４に、あるタイミングにおける単位セルと、ＡＤ変換部の接続関係を示す。図２４において、一点鎖線により単位セルを構成する要素を示し、破線によりＡＤ変換部を構成する要素を示す。

次に、本実施形態における、撮像素子１００の駆動方法について説明する。本実施形態では、３行のうちの１行から横方向に瞳分割を行った焦点検出信号を取得する第５のモードと、３列のうちの１列から縦方向に瞳分割を行った焦点検出信号を取得する第６のモードを有する。図２５は、第５のモードのタイミングチャートである。また、図２６は、第６のモードのタイミングチャートである。

第５のモードでは、画素２０ｅ，２０ｆ，２０ｇから焦点検出信号を取得する。最初に、図２５に示す期間７０１の前に露光を行い、光電変換部２０１ｃ，２０１ｄ，２０１ｅ，２０１ｆそれぞれに電荷を蓄積する。

図２５に示す期間７０１では、画素２０ｅ，２０ｆ，２０ｇにおいて、図２２に示す転送トランジスタ２０２ｃ，２０２ｅをオンにして、図２０に示す画素の左側の２つの光電変換部に蓄積された電荷をＦＤ部２０３に転送する。電荷をＦＤ部２０３に転送後、転送トランジスタ２０２ｃ，２０２ｅをオフにする。その後、選択トランジスタ２０６をオンにして、ＡＤ変換を行う。

このとき、選択部２２は、比較器２１ｅを第２メモリ２３ｎに、比較器２１ｆを第２メモリ２３ｏに、比較器２１ｇを第２メモリ２３ｐに接続し、それぞれのＡＤ変換結果を第２メモリに保持する。これにより、図２１に示した画素配列のうち、１行目の３画素から横方向に瞳分割を行った焦点検出信号を取得できる。この場合の、単位セルとＡＤ変換部の接続関係を、図２４（ａ）に示す。

図２５に示す期間７０２では、画素２０ｅから２０ｍの９画素において、転送トランジスタ２０２ｃ，２０２ｄ，２０２ｅ，２０２ｆをオンにして、画素に含まれる全ての光電変換部で蓄積された電荷をＦＤ部２０３に転送する。電荷をＦＤ部２０３に転送後、転送トランジスタ２０２ｃ，２０２ｄ，２０２ｅ，２０２ｆをオフにする。

その後、選択トランジスタ２０６をオンにして、ＡＤ変換を行う。このとき、選択部２２は、図２３において、一点鎖線により示した単位セル、破線により示したＡＤ変換部の構成をとる。それぞれの単位セル毎に、比較器を第１メモリに接続し、単位セル毎に設けられた第１メモリに撮像信号を保持する。

図２５に示す期間７０３〜７０５では、第２メモリに保持された焦点検出信号を、信号処理回路１０６によって読み出す。

図２５に示す期間７０６〜７１４では、第１メモリに保持された撮像信号を、信号処理回路１０６によって読み出す。このとき、撮像信号を用いて、第２メモリに保持された焦点検出信号と対となる焦点検出信号を生成するために、焦点検出信号を取得した画素２０ｅ，２０ｆ，２０ｇの撮像信号を優先して読み出す。これにより、高速な焦点検出を実現できる。

第６のモードでは、画素２０ｅ，２０ｈ，２０ｋから焦点検出信号を取得する。最初に、図２６に示す期間８０１の前に露光を行い、光電変換部２０１ｃ，２０１ｄ，２０１ｅ，２０１ｆそれぞれに電荷を蓄積する。

図２６に示す期間８０１では、画素２０ｅ，２０ｈ，２０ｋにおいて、図２２に示す転送トランジスタ２０２ｃ，２０２ｄをオンにして、図２０に示す画素２０ｅの上側の２つの光電変換部に蓄積された電荷をＦＤ部２０３に転送する。電荷をＦＤ部２０３に転送後、転送トランジスタ２０２ｃ，２０２ｄをオフにする。その後、選択トランジスタ２０６をオンにして、ＡＤ変換を行う。

このとき、選択部２２は、比較器２１ｅを第２メモリ２３ｎに、比較器２１ｈを第２メモリ２３ｏに、比較器２１ｋを第２メモリ２３ｐに接続し、それぞれのＡＤ変換結果を第２メモリに保持する。これにより、図２１に示した画素配列のうち、１列目の３画素から縦方向に瞳分割を行った焦点検出信号を取得できる。この場合の、単位セルとＡＤ変換部の接続関係を、図２４（ｂ）に示す。

図２６に示す期間８０２では、画素２０ｅから２０ｍの９画素において、転送トランジスタ２０２ｃ，２０２ｄ，２０２ｅ，２０２ｆをオンにして、画素に含まれる全ての光電変換部で蓄積された電荷をＦＤ部２０３に転送する。電荷をＦＤ部２０３に転送後、転送トランジスタ２０２ｃ，２０２ｄ，２０２ｅ，２０２ｆをオフにする。その後、選択トランジスタ２０６をオンにして、ＡＤ変換を行う。

このとき、選択部２２は、図２３において、一点鎖線により示した単位セル、破線により示したＡＤ変換部の構成をとる。それぞれの単位セル毎に、比較器を第１メモリに接続し、単位セル毎に設けられた第１メモリに撮像信号を保持する。

図２６に示す期間８０３〜８０５では、第２メモリに保持された焦点検出信号を、信号処理回路１０６によって読み出す。

図２６に示す期間８０６〜８１４では、第１メモリに保持された撮像信号を、信号処理回路１０６によって読み出す。

なお、第５のモードでは、１行目から焦点検出信号を取得し、第６のモードでは１列目から焦点検出信号を取得しているが、接続を切替えることで、任意の行、列から焦点検出信号を取得することができる。また、数十行、数十列の画素を含むエリアに対して単位ユニットを設けることにより、被写体に応じて、焦点検出信号を取得する画素を切り替えることもできる。

特に、数十行、数十列の画素を含むエリアから任意の画素を選択することにより、焦点検出エリアの大きさ、焦点検出エリアの位置、画素を間引く割合、Ｒ，Ｇ，Ｂ画素のいずれを使うか、などのパラメータを被写体に応じて最適なものに調整することができる。パラメータの設定は、前フレームの撮像信号に基づいて、信号処理回路１０６または出力部１１２の先に接続された不図示の信号処理回路によって被写体認識を行い、パラメータを決め、選択部２２に結果をフィードバックすることで実施する。

さらに、１つの画素が４つの光電変換部を有する場合に限らず、もっと多数の光電変換部を有する場合、像高に応じて、同時に電荷を読み出す光電変換部の組み合わせを変更し、像高に応じて瞳分割の方向、形状を変えることにより最適な焦点検出を実現できる。

このように、複数の光電変換部を有する画素のエリアに対して、単位ユニットを設けることにより、少ないメモリを用いて、自由度の高い、高速な焦点検出を実現することが可能となる。

（その他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

１００：撮像素子、１０２：単位ユニット、１０４：データ転送線、１０６：信号処理回路、１０８：画素駆動信号線、１１０：画素駆動回路、１１２：出力部、１１４：参照信号生成回路、１１６：参照信号線、１１８：カウンタ、１２０：カウンタ信号線、１２２：タイミングジェネレータ（ＴＧ）

Claims (19)

1. ２次元的に配置された複数の単位ユニットを備える撮像装置であって、
   前記複数の単位ユニットのそれぞれが、
   少なくとも１つの光電変換部を有する画素と、１つの前記画素ごとに対応して設けられ、該画素の信号をＡＤ変換するＡＤ変換部と、１つの前記画素ごとに対応して設けられ、前記ＡＤ変換部からの出力データを記憶する第１のメモリとをそれぞれ含む複数の単位セルと、
   前記１つの画素ごとに対応していない、少なくとも１つの第２のメモリとを有する、
   ことを特徴とする撮像装置。
2. 前記単位ユニットは、前記ＡＤ変換部からの出力データを、該ＡＤ変換部を含む前記単位セル内の前記第１のメモリに出力する状態と、前記第２のメモリに出力する状態とを切り替える選択部をさらに有することを特徴とする請求項１に記載の撮像装置。
3. 前記単位ユニットは、前記単位ユニットに含まれる前記第１のメモリに記憶されているデータの出力先を、前記単位ユニットに含まれる前記第２のメモリに切り替える選択部をさらに有することを特徴とする請求項１に記載の撮像装置。
4. 前記選択部は、前記単位セルに含まれる前記画素から得られた第１の信号がＡＤ変換されたデータを前記第２のメモリに出力し、前記画素から前記第１の信号と連続して得られた第２の信号がＡＤ変換されたデータを前記単位セルに含まれる前記第１のメモリに出力するように切り替えることを特徴とする請求項２または３に記載の撮像装置。
5. 前記第１の信号は、前記単位ユニットに含まれる画素から選択された１つ以上の画素から取得され、前記第２の信号は、前記単位ユニットに含まれる全ての画素から取得されることを特徴とする請求項４に記載の撮像装置。
6. 前記第１の信号は、１つ以上の光電変換部から独立して読み出された信号であり、前記第２の信号は、１つの前記画素に含まれるすべての光電変換部の出力を混合した信号であることを特徴とする請求項５に記載の撮像装置。
7. 前記第１の信号と、前記第１の信号を取得した画素から得られる第２の信号は、前記第１の信号を取得しない画素から得られる第２の信号よりも先に前記単位ユニットから読み出されることを特徴とする請求項５に記載の撮像装置。
8. 前記選択部は、１つの単位セルに含まれる画素から連続して取得された信号を、前記１つの単位セルに含まれる第１のメモリと、前記１つの単位セルとは異なる単位セルに含まれる第１のメモリと、前記第２のメモリとに出力するように接続を切り替えることを特徴とする請求項２に記載の撮像装置。
9. 前記連続して取得される信号は、前記単位ユニットに含まれる一部の画素からのみ取得されることを特徴とする請求項８に記載の撮像装置。
10. 単位ユニットに含まれる前記第１のメモリまたは前記第２のメモリのうち、少なくとも１つの第１のメモリまたは第２のメモリにおいてデータの読み出しが行われるのと同時に、データの読み出しが行われていない第１のメモリまたは第２のメモリにおいて、前記ＡＤ変換部からのデータの書き込みが行われることを特徴とする請求項４または９に記載の撮像装置。
11. 前記連続して取得された信号は、焦点検出用に設けられた画素から取得された信号であることを特徴とする請求項９に記載の撮像装置。
12. 前記連続して取得される信号は、単位ユニット内の画素のうち、信号の出力値に基づいて選択された画素から取得されることを特徴とする請求項９に記載の撮像装置。
13. 前記選択部は、前記単位セルに含まれる画素からの信号に基づくデータのうち、一部のビットのデータを前記単位セルに設けられた前記第１のメモリに出力し、残りのビットのデータを前記第２のメモリに出力するように接続を切り替えることを特徴とする請求項２または３に記載の撮像装置。
14. 前記選択部は、撮影モードに応じて接続を切り替えることを特徴とする請求項２または３に記載の撮像装置。
15. 前記ＡＤ変換部は、前記画素からの入力信号の強度に応じて、ＡＤ変換を行うための参照信号を切り替えてＡＤ変換を行うモードと、前記入力信号の強度に関わらず、１つの参照信号を用いてＡＤ変換を行うモードとを備え、前記選択部は、前記ＡＤ変換部のモードに応じてメモリの接続を切り替えることを特徴とする請求項１４に記載の撮像装置。
16. 前記単位ユニットに含まれる画素は、第１の方向と、第２の方向との少なくとも２つの方向に並ぶ複数の光電変換部を備え、前記撮影モードは、焦点検出信号の瞳分割方向が前記第１の方向となるように１つ以上の光電変換部からの信号を混合して読み出すモードと、焦点検出信号の瞳分割方向が前記第２の方向となるように１つ以上の光電変換部からの信号を混合して読み出すモードとを含み、前記選択部は、前記撮影モードに応じてメモリの接続を切り替えることを特徴とする請求項１４に記載の撮像装置。
17. ２次元的に配置された複数の単位ユニットを備える撮像装置であって、前記複数の単位ユニットのそれぞれが、少なくとも１つの光電変換部を有する画素と、１つの前記画素ごとに対応して設けられ、該画素の信号をＡＤ変換するＡＤ変換部と、１つの前記画素ごとに対応して設けられ、前記ＡＤ変換部からの出力データを記憶する第１のメモリとをそれぞれ含む複数の単位セルと、前記１つの画素ごとに対応していない、少なくとも１つの第２のメモリとを有する撮像装置を制御する方法であって、
    前記ＡＤ変換部からの出力データを、該ＡＤ変換部を含む前記単位セル内の前記第１のメモリに出力する状態と、前記第２のメモリに出力する状態とを切り替える切り替え工程を有することを特徴とする撮像装置の制御方法。
18. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラム。
19. 請求項１７に記載の制御方法をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images