JP2017022578A - 撮像装置及び撮像素子の制御方法 - Google Patents

Abstract

【課題】各画素が複数の光電変換部を有する撮像素子からの読み出し時間を短縮しつつ、各フレーム内で電荷の蓄積時間に差異を生じないように撮像素子を制御する撮像装置及び撮像素子の制御方法を提供する。
【解決手段】行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子１０２と、各マイクロレンズに対応する複数の光電変換部のうち、分割読み出しを行う行と、加算読み出しを行う行とを設定する設定手段１１０と、設定手段による設定に応じて、分割読み出し及び加算読み出しを行って、予め決められたフレームレートで撮像素子から信号を読み出すように制御する読み出し制御手段１０７，１１１とを有する。読み出し制御手段は、各フレームにおいて、電荷の蓄積時間が全行において同じになるように、複数の光電変換部のリセット動作のタイミングと読み出しのタイミングを制御する。
【選択図】図１

Description

本発明は、画素毎に複数の光電変換部を有する撮像素子を用いた撮像装置及び撮像素子の制御方法に関するものである。

近年、ＣＭＯＳセンサなどの撮像素子を用いた撮像装置では多機能化が進み、静止画／動画といった撮像画像の生成だけでなく、例えば、焦点調節のような撮像装置の制御も撮像素子から得た被写体情報に基づいて行われるようになっている。

特許文献１には、撮像素子から得た撮像信号を用いて、瞳分割方式の焦点検出を行う技術が開示されている。特許文献１では、撮像素子の画素毎に１つのマイクロレンズと２つの光電変換部を備えることにより、各光電変換部は撮影レンズの異なる瞳領域を通過した光を受光する。そして、２つの光電変換部からの出力信号を比較することで、位相差方式の焦点検出が可能となると共に、これらの出力信号を画素毎に加算することで、撮像画像を生成することも可能となる。

特開２００１−１２４９８４号公報

しかしながら、特許文献１のように各画素が複数の光電変換部を有する場合、全画素から各光電変換部の信号を読み出そうとすると、読み出しに長い時間を要してしまう。そのため、予め決められた行の画素からのみ、各光電変換部の信号を読み出すことで、読み出し時間を短縮することが考えられる。しかしながら、各光電変換部の信号を読み出す行をフレーム間で変更した場合に、１フレーム内で電荷の蓄積時間に差異が生じ、画質が悪化してしまう可能性がある。

本発明は上記問題点を鑑みてなされたものであり、各画素が複数の光電変換部を有する撮像素子からの読み出し時間を短縮しつつ、各フレーム内で電荷の蓄積時間に差異を生じないように前記撮像素子を制御することを目的とする。

上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第１の読み出しを行う行と、前記一対の信号を得ずに前記複数の光電変換部の信号を加算した加算信号を得る第２の読み出しを行う行とを設定する設定手段と、前記設定手段による設定に応じて、前記第１の読み出し及び前記第２の読み出しを行って、予め決められたフレームレートで前記撮像素子から信号を読み出すように制御する読み出し制御手段とを有し、前記読み出し制御手段は、各フレームにおいて、電荷の蓄積時間が全行において同じになるように、前記複数の光電変換部のリセット動作のタイミングと読み出しのタイミングを制御する。

本発明によれば、各画素が複数の光電変換部を有する撮像素子からの読み出し時間を短縮しつつ、各フレーム内で電荷の蓄積時間に差異を生じないように前記撮像素子を制御することができる。

本発明の第１及び第２の実施形態に係る撮像装置の全体構成を示すブロック図。 第１及び第２の実施形態における撮像素子の全体構成を示す図。 第１及び第２の実施形態における撮像素子の１画素の構成を示す等価回路図。 第１及び第２の実施形態における列共通読み出し回路の構成を示す等価回路図。 第１及び第２の実施形態における撮像素子からの加算読み出し動作を示すタイミングチャート。 第１及び第２の実施形態における撮像素子からの分割読み出し動作を示すタイミングチャート。 第１及び第２の実施形態におけるリセット動作を示すタイミングチャート。 読み出し動作とリセット動作の時間的関係の一例を示す図。 第１の実施形態における読み出し動作とリセット動作の時間的関係を示す図。 第２の実施形態における読み出し動作とリセット動作の時間的関係を示す図。 第３の実施形態における撮像素子の全体構成を示す図。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
●撮像装置の構成
図１は、本発明の第１の実施形態に係る撮像装置１００の全体構成を示すブロック図である。撮像レンズ１０１は、被写体からの光を撮像素子１０２上に結像させる。撮像素子１０２は、撮像レンズ１０１により結像された被写体像を光電変換する。本実施形態では、撮像素子１０２として、ＣＭＯＳイメージセンサが使用される。撮像素子１０２は、複数の画素が行列状に配列された画素配列を有する。撮像素子１０２から出力されるアナログ画像信号は、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）１０３によりデジタル信号に変換される。

ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）１０４は、ＡＦＥ１０３から出力されるデジタル画像信号に対する各種画像処理や圧縮・伸張処理などを行う。記録媒体１０５は、ＤＳＰ１０４により処理された画像データを記録する。表示部１０６は、ＤＳＰ１０４により処理された撮影画像や各種メニュー画面などを表示し、液晶ディスプレイ（ＬＣＤ）などが使用される。

タイミングジェネレータ（ＴＧ）１０７は、撮像素子１０２に駆動信号を供給する。ＣＰＵ１０８は、ＡＦＥ１０３、ＤＳＰ１０４、ＴＧ１０７を含む撮像装置１００全体の制御を行う。ＲＡＭ１０９は、画像データなどを一時記憶し、ＤＳＰ１０４と接続されている。分割読み出し行設定部１１０は、後述するように、ＣＰＵ１０８の指示に基づいて、撮像素子１０２の画素のうち、後述する分割読み出しを行う行を制御する情報を設定する。蓄積時間設定部１１１はＴＧ１０７から受けた蓄積時間情報と、分割読み出し行設定部１１０から受けた焦点検出用信号読み出し行情報とから、撮像素子１０２の蓄積時間を制御する情報を設定する。

図２は、撮像素子１０２の全体構成を示す図である。画素領域ＰＡには、画素２００がｐ１１〜ｐｋｎのように行列状に配置されている。また、各画素２００は、それぞれフォトダイオード（ＰＤ）２０１ａ，２０１ｂを有する。また、図示しないが、画素２００の上部には、それぞれ１つのマイクロレンズが配されており、ＰＤ２０１ａ，２０１ｂには、撮像レンズ１０１の射出瞳の異なる領域を通過した光束が、マイクロレンズを通り入射する。ＰＤ２０１ａ，２０１ｂに蓄積された電荷にそれぞれ対応する信号は、公知の位相差方式の焦点検出に利用され、ＰＤ２０１ａ，２０１ｂからの信号を加算した加算信号は画像生成用に利用される。画素２００は、垂直走査回路４０１から出力される制御信号により、行単位で読み出し及びリセットが制御される。

ここで、各画素２００の構成について図３を参照して説明する。図３は、１画素の構成を示す等価回路図である。ＰＤ２０１ａ，２０１ｂは、入射した光を光電変換し、光量に応じた電荷を蓄積する。信号ｔｘａ，ｔｘｂをＨｉｇｈレベルにすることで転送ゲート２０２ａ，２０２ｂをそれぞれＯＮにすることができ、ＰＤ２０１ａ，２０１ｂに蓄積されている電荷をフローティングデフュージョン（ＦＤ）部２０３に転送することができる。ＦＤ部２０３は、増幅ＭＯＳアンプ２０４のゲートに接続されており、ＰＤ２０１ａ，２０１ｂからＦＤ部２０３に転送されてきた電荷量に応じた電圧信号を出力する。

また、信号ｒｅｓをＨｉｇｈレベルにすることでリセットスイッチ２０５がＯＮになり、ＦＤ部２０３を電圧Ｖｄｄにリセットすることができる。また、ＰＤ２０１ａ，２０１ｂの電荷をリセットする場合には、信号ｒｅｓと信号ｔｘａ，ｔｘｂとを同時にＨｉｇｈレベルにし、転送ゲート２０２ａ，２０２ｂ及びリセットスイッチ２０５をＯＮにする。これにより、ＦＤ部２０３経由でＰＤ２０１ａ，２０１ｂをリセットすることができる。画素選択スイッチ２０６は、信号ｓｅｌをＨｉｇｈレベルとすることによりＯＮし、増幅ＭＯＳアンプ２０４で電圧に変換された画素信号が画素２００の出力端子ｖｏｕｔに出力される。そして、画素２００の出力端子ｖｏｕｔから出力された画素信号は、図２に示す垂直出力線３０１を介して、各列に構成された列共通読み出し回路３００に入力する。なお、各垂直出力線３０１には、垂直出力線３０１を駆動するための定電流源３０２がそれぞれ接続される。

ここで、列共通読み出し回路３００の構成について図４を用いて説明する。図４は、列共通読み出し回路３００の構成を示す等価回路図である。第１の光信号転送スイッチ３０３ａは、垂直出力線３０１を介して画素２００から読み出された、ＰＤ２０１ａを露光して得られた光信号（以下、「Ａ信号」と呼ぶ。）を第１の光信号保持容量３０５ａに転送するためのスイッチである。信号ｔｓａ１をＨｉｇｈレベルにすることにより、第１の光信号転送スイッチ３０３ａがＯＮになり、第１の光信号転送スイッチ３０３ａを介して第１の光信号保持容量３０５ａに記憶される。

第１の光信号転送スイッチ３０３ｂ、第１の光信号保持容量３０５ｂは、それぞれ第１の光信号転送スイッチ３０３ａ、第１の光信号保持容量３０５ａと同様の構成を有する。この第１の光信号転送スイッチ３０３ｂ及び第１の光信号保持容量３０５ｂは、後述するようにＰＤ２０１ａとＰＤ２０１ｂとの加算信号（以下、「ＡＢ信号」と呼ぶ。）を転送、記憶するために使用される。

第１のノイズ信号転送スイッチ３０４は、画素２００から読み出されるノイズ信号を第１のノイズ信号保持容量３０６に転送するためのスイッチである。信号ｔｎ１をＨｉｇｈレベルにすることにより、第１のノイズ信号転送スイッチ３０４がＯＮになり、垂直出力線３０１に読み出されたノイズ信号が第１のノイズ信号転送スイッチ３０４を介して第１のノイズ信号保持容量３０６に記憶される。

ＮＭＯＳトランジスタ３０７ａと電流源３０９ａ、ＮＭＯＳトランジスタ３０７ｂと電流源３０９ｂは、それぞれソースフォロワ回路を構成する。そして、ソースフォロワ回路の入力となるＮＭＯＳトランジスタ３０７ａ、３０７ｂのゲートには、第１の光信号保持容量３０５ａ、３０５ｂがそれぞれ接続されている。また、ソースフォロワ回路の出力であるＮＭＯＳトランジスタ３０７ａ、３０７ｂのソースは、第２の光信号転送スイッチ３１１ａ、３１１ｂにそれぞれ接続される。

第２の光信号転送スイッチ３１１ａ、３１１ｂは、それぞれのソースフォロワ回路の出力を第２の光信号保持容量３１３に転送するためのスイッチである。信号ｔｓａ２、ｔｓｂ２をＨｉｇｈレベルにすると、第２の光信号転送スイッチ３１１ａ、３１１ｂをＯＮにすることができる。これにより、ＯＮとなった第２の光信号転送スイッチ３１１ａ，３１１ｂに対応する第１の光信号保持容量３０５ａ，３０５ｂに保持された信号に応じた信号が、第２の光信号転送スイッチ３１１ａ，３１１ｂを介して、第２の光信号保持容量３１３に記憶される。

また、ＮＭＯＳトランジスタ３０８と電流源３１０も、同様にソースフォロワ回路を構成し、ソースフォロワ回路の入力となるＮＭＯＳトランジスタ３０８のゲートには、第１のノイズ信号保持容量３０６が接続されている。また、ソースフォロワ回路の出力であるＮＭＯＳトランジスタ３０８のソースは、第２のノイズ信号転送スイッチ３１２に接続される。

第２のノイズ信号転送スイッチ３１２は、ソースフォロワ回路の出力を第２のノイズ信号保持容量３１４に転送するためのスイッチである。信号ｔｎ２をＨｉｇｈレベルにすることにより、第２のノイズ信号転送スイッチ３１２がＯＮになる。これにより、第１のノイズ信号保持容量３０６に保持された信号に応じた信号が、第２のノイズ信号転送スイッチ３１２を介して、第２のノイズ信号保持容量３１４に記憶される。第２の光信号保持容量３１３、第２のノイズ信号保持容量３１４は、それぞれ列共通読み出し回路３００の出力端子ｖｓ、ｖｎに接続されている。

図２に戻り、列共通読み出し回路３００の出力端子ｖｓ、ｖｎには、それぞれ水平転送スイッチ３１５，３１６が接続されている。水平転送スイッチ３１５，３１６は、水平走査回路４０２の制御信号ｈｓｒｉ（ｉは列番号）によって制御される。そして、制御信号ｈｓｒｉがＨｉｇｈレベルになることにより、水平転送スイッチ３１５，３１６がＯＮになり、第２の光信号保持容量３１３、第２のノイズ信号保持容量３１４の信号がそれぞれ水平出力線３１７，３１８へ送られる。

水平出力線３１７，３１８は、差動増幅器３１９の入力に接続されており、差動増幅器３１９では、光信号とノイズ信号の差分をとると同時に所定のゲインをかけ、最終的な画像信号として出力端子３２０へ出力する。水平出力線リセットスイッチ３２１，３２２は、信号ｃｈｒｅｓがＨｉｇｈになることによってＯＮとなり、各水平出力線３１７，３１８がリセット電圧Ｖｃｈｒｅｓにリセットされる。

●加算読み出し
次に、図５を用いて、上記構成を有する撮像素子１０２からＡＢ信号を読み出す場合の読み出し動作について説明する。以下、ＡＢ信号のみを読み出す動作を、「加算読み出し」（第２の読み出し）と呼ぶ。なお、図５に示す読み出しを開始する前に、画素２００は所定時間、露光され、ＰＤ２０１ａ及びＰＤ２０１ｂには、受光した光量に応じた電荷が蓄積されているものとする。まず、信号ｓｅｌ＿ｊ（ｊは行番号）をＨｉｇｈレベルにしてｊ行目の画素の画素選択スイッチ２０６をＯＮする。その後、信号ｒｅｓ＿ｊをＬｏｗレベルにしてリセットスイッチ２０５をＯＦＦし、ＦＤ部２０３のリセットを開放する。

次に、信号ｔｎ１をＨｉｇｈレベルにして、第１のノイズ信号転送スイッチ３０４をＯＮし、第１のノイズ信号保持容量３０６にノイズ信号を記憶する。続いて信号ｔｎ１をＬｏｗにし、第１のノイズ信号転送スイッチ３０４をＯＦＦした後、信号ｔｓｂ１をＨｉｇｈレベルにして第１の光信号転送スイッチ３０３ｂをＯＮする。これにより、第１の光信号保持容量３０５ｂへの記憶が可能になる。この状態で、信号ｔｘａ＿ｊ及びｔｘｂ＿ｊを同時にＨｉｇｈレベルにすることで転送ゲート２０２ａ及び２０２ｂをＯＮする。この動作により、選択されているｊ行目のＰＤ２０１ａ，２０１ｂに蓄積された電荷に応じた信号が、増幅ＭＯＳアンプ２０４、画素選択スイッチ２０６を介して垂直出力線３０１へ出力される。更に、第１の光信号転送スイッチ３０３ｂを介して第１の光信号保持容量３０５ｂへ記憶される。

次に、信号ｔｘａ＿ｊ及びｔｘｂ＿ｊをＬｏｗレベルにして転送ゲート２０２ａ及び２０２ｂをＯＦＦにした後、信号ｔｓｂ２をＨｉｇｈレベルにすることにより、第２の光信号転送スイッチ３１１ｂをＯＮする。これによりＮＭＯＳトランジスタ３０７ｂと電流源３０９ｂで構成されるソースフォロワ回路と第２の光信号転送スイッチ３１１ｂを経由して、第２の光信号保持容量３１３へＡＢ信号を書き込む。また、これと並行して、信号ｔｎ２をＨｉｇｈレベルにして第１のノイズ信号保持容量３０６に保持されているｊ行目のノイズ信号を第２のノイズ信号保持容量３１４へ書き込む。

その後、信号ｒｅｓ＿ｊをＨｉｇｈレベルにしてＦＤ部２０３をリセットすると共に、信号ｓｅｌ＿ｊをＬｏｗレベルにすることにより、ｊ行目の垂直転送動作を終了する。

続いて、水平走査回路４０２の動作により、第２の光信号保持容量３１３の信号、第２のノイズ信号保持容量３１４の信号が水平出力線３１７，３１８と差動増幅器３１９を介して出力端子３２０に出力される。これによりＡＢ信号が撮像素子１０２から読み出される。

●分割読み出し
次に、図６を用いてＡ信号とＡＢ信号を読み出す場合の撮像素子１０２の読み出し動作について説明する。以下、Ａ信号とＡＢ信号を読み出す動作を、「分割読み出し」と呼ぶ。まず、信号ｓｅｌ＿ｊをＨｉｇｈレベルにしてｊ行目の画素の画素選択スイッチ２０６をＯＮする。その後、信号ｒｅｓ＿ｊをＬｏｗレベルにしてリセットスイッチ２０５をＯＦＦし、ＦＤ部２０３のリセットを開放する。

次に、信号ｔｎ１をＨｉｇｈレベルにして、第１のノイズ信号転送スイッチ３０４をＯＮし、第１のノイズ信号保持容量３０６にノイズ信号を記憶する。続いて信号ｔｎ１をＬｏｗにし、第１のノイズ信号転送スイッチ３０４をＯＦＦした後、信号ｔｓａ１をＨｉｇｈレベルにして第１の光信号転送スイッチ３０３ａをＯＮすると共に、信号ｔｘａ＿ｊをＨｉｇｈレベルにすることで転送ゲート２０２ａをＯＮする。

この動作により、選択されているｊ行目のＰＤ２０１ａに蓄積されていた電荷に応じた信号が増幅ＭＯＳアンプ２０４、画素選択スイッチ２０６を介して垂直出力線３０１へ出力される。更に、第１の光信号転送スイッチ３０３ａを介して第１の光信号保持容量３０５ａへ記憶される。

次に、信号ｔｘａ＿ｊをＬｏｗレベルにして転送ゲート２０２ａをＯＦＦにした後、信号ｔｎ２をＨｉｇｈレベルにして第２のノイズ信号転送スイッチ３１２をＯＮする。これにより、第１のノイズ信号保持容量３０６に保持されているｊ行目のノイズ信号に応じた信号が第２のノイズ信号保持容量３１４へ記憶される。

また、信号ｔｎ２と同様に信号ｔｓａ２もＨｉｇｈレベルにすることにより、第２の光信号転送スイッチ３１１ａをＯＮする。このとき、第１の光信号転送スイッチ３０３ａはまだＯＮされた状態であり、第１の光信号保持容量３０５ａへの信号書き込み中である。しかし、ＮＭＯＳトランジスタ３０７ａと電流源３０９ａで構成されるソースフォロワ回路と第２の光信号転送スイッチ３１１ａを経由して、第２の光信号保持容量３１３への光信号の書き込みも同時に行う。

続いて、水平走査回路４０２の動作により、第２の光信号保持容量３１３、第２のノイズ信号保持容量３１４の信号が水平出力線３１７，３１８と差動増幅器３１９を介して出力端子３２０に出力される。これによりＡ信号が撮像素子１０２から読み出される。

次に、ＡＢ信号を第１の光信号保持容量３０５ｂに読み出す動作が行われる。まず、信号ｔｓｂ１をＨｉｇｈレベルにして第１の光信号転送スイッチ３０３ｂをＯＮする。これにより、第１の光信号保持容量３０５ｂへの記憶が可能になる。この状態で、信号ｔｘａ＿ｊ及びｔｘｂ＿ｊを同時にＨｉｇｈレベルにすることで転送ゲート２０２ａ及び２０２ｂをＯＮする。この動作により、選択されているｊ行目のＰＤ２０１ａ，２０１ｂに蓄積された電荷に応じた信号が、増幅ＭＯＳアンプ２０４、画素選択スイッチ２０６を介して垂直出力線３０１へ出力される。更に、第１の光信号転送スイッチ３０３ｂを介して第１の光信号保持容量３０５ｂへ記憶される。

次に、信号ｔｘａ＿ｊ及びｔｘｂ＿ｊをＬｏｗレベルにして転送ゲート２０２ａ及び２０２ｂをＯＦＦにした後、信号ｔｓｂ２をＨｉｇｈレベルにすることにより、第２の光信号転送スイッチ３１１ｂをＯＮする。これによりＮＭＯＳトランジスタ３０７ｂと電流源３０９ｂで構成されるソースフォロワ回路と第２の光信号転送スイッチ３１１ｂを経由して、第２の光信号保持容量３１３へＡＢ信号を書き込む。また、これと並行して、信号ｔｎ２をＨｉｇｈレベルにして第１のノイズ信号保持容量３０６に保持されているｊ行目のノイズ信号を第２のノイズ信号保持容量３１４へ再度書き込む。

その後、信号ｒｅｓ＿ｊをＨｉｇｈレベルにしてＦＤ部２０３をリセットすると共に、信号ｓｅｌ＿ｊをＬｏｗレベルにすることにより、ｊ行目の垂直転送動作を終了する。

続いて、水平走査回路４０２の動作により、第２の光信号保持容量３１３の信号、第２のノイズ信号保持容量３１４の信号が水平出力線３１７，３１８と差動増幅器３１９を介して出力端子３２０に出力される。これによりＡＢ信号が撮像素子１０２から読み出される。

なお、上述したようにして読み出したＡＢ信号からＡ信号を差し引くことで、信号Ｂを求めることができる。

また、Ａ信号とＢ信号をそれぞれ読み出して、一対の信号を求めるようにしても良く、その場合、読み出したＡ信号とＢ信号とを加算することで、ＡＢ信号を得ることができる。即ち、分割読み出し（第１の読み出し）では、視差を有する一対の信号を求めることができるように読み出せば良い。

●リセット動作
図７を用いて撮像素子１０２のリセット動作について説明する。まず、信号ｒｅｓ＿ｊをＬｏｗレベルにしてリセットスイッチ２０５をＯＮし、ＦＤ部２０３をリセット放する。次に、信号ｔｘａ＿ｊと信号ｔｘｂ＿ｊをＨｉｇｈレベルにすることで転送ゲート２０２ｂをＯＮする。これにより、転送ゲート２０２ａ，２０２ｂ及びリセットスイッチ２０５を両方ＯＮし、ＦＤ部２０３経由でＰＤ２０１ａ，２０１ｂをリセットする。これにより撮像素子１０２をリセットする。

●リセット動作と読み出し動作のタイミング
分割読み出しは、加算読み出しの約２倍の時間がかかるため、撮像素子１０２の全ての画素から分割読み出しを行うと、画面の上下で読み出しタイミングの時差が発生したり、フレームレートによっては、読み出しが間に合わない場合が生じることがある。そのため、位相差方式の焦点検出を行う行のみを選択的に分割読み出しすることが考えられる。

図８（ａ）は上述の読み出し動作とリセット動作の時間的な関係を、１行目からＮ行目まで行毎に示した図である。期間Ａは、前述のＡ信号読み出し動作期間を示し、期間ＡＢは、前述のＡＢ信号読み出し動作期間を示している。期間Ａと期間ＡＢを続けて行うことにより、分割読み出しとなり、期間ＡＢのみを行うと、加算読み出しとなる。期間Ｒは、前述のリセット動作期間を示している。ＶＤ信号から次のＶＤ信号の間の１フレーム期間の間に、１行目からＮ行目までのＡ信号読み出し及び／またはＡＢ信号読み出しが完了する。リセット動作から次のフレームのＡ信号読み出し、またはＡＢ信号読み出しまでの区間を蓄積時間とする。次のフレームのリセット動作を、前のフレームのＡ信号読み出し、またはＡＢ信号読み出しより先に行うことはできない。

図８（ａ）から分かるように、分割読み出しを行う行が１フレーム目と２フレーム目のように変わらない場合、１フレーム目において各行からＡＢ信号を読み出した直後にリセット動作を行えば、２フレーム目で各行における蓄積時間を等しくすることができる。また、最も長い蓄積時間を確保することができる。

しかしながら、分割読み出しを行う行が２フレーム目と３フレーム目のように変わる場合、２フレーム目において各行からＡＢ信号を読み出した直後にリセット動作を行うと、３フレーム目の読み出し時に蓄積時間が異なる行が発生する。図８（ａ）の例では、１〜３行目と５行目以降の蓄積時間が互いに異なっている。

このような蓄積時間の差を無くすために、垂直走査回路４０１により蓄積時間と次のフレームでの各行のＡ信号読み出しの有り無し、即ち、分割読み出しを行う行か否かに応じて、各行のリセット動作のタイミングを決定した場合を図８（ｂ）に示す。

図８（ｂ）では、１フレーム目において１〜４行目で分割読み出しを行い、２フレーム目において、３行（複数行）下の４行目から分割読み出しを行うように変更する場合の、読み出し動作とリセット動作の時間的な関係を示した図である。前述したように、次のフレームのリセット動作を前のフレームのＡ信号読み出し、またはＡＢ信号読み出しより先に行うことはできないため、蓄積時間として設定できる時間の上限が短くなる。そのため、適切な（予め決められた範囲の）レベルの画像信号を得るために、蓄積時間に応じたゲインをかけて、増幅する必要がある。

上述した制御方法に対し、図９は、１フレーム目から４フレーム目の間で、分割読み出しを行う行を１行ずつ下にシフトした場合の読み出し動作とリセット動作の時間的な関係を示した図である。図８（ｂ）のように２フレーム目で、分割読み出しを行う行を３行分下にシフトする場合と比較して、２フレーム目で１行目、３フレーム目で２行目、４フレーム目で３行目を分割読み出しから加算読み出しに変更することで、蓄積時間を長く設定できるようになる。この差は微小であるが、高フレームレート時などの蓄積時間が短くなる環境においては影響が大きい。なお、１フレーム間でシフトする行数は１行に限るものではなく、３行よりも少ない行数とすれば、フレーム間で３行、一度にシフトする場合よりも、蓄積時間を長く設定することができる。また、シフトする行数も３行に限るものではないことは言うまでもない。

このように、第１の実施形態によれば、フレーム間で分割読み出しを行う行を変更したい場合に、複数フレームかけて徐々にシフトしながら、各行における蓄積時間を等しくするように、リセット動作を行うタイミングを制御する。これにより、次のフレームで一度にシフトする場合と比較して、蓄積時間をできるだけ長く保つことができるため、ノイズの影響を抑え、画質の低下を抑えることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。上述した第１の実施形態では、焦点検出用信号を毎フレーム出力することを前提としており、その結果、フレーム間で分割読み出しを行う行を変更する場合に蓄積時間として設定できる時間の上限が短くなっている。

しかし、焦点検出用信号を毎フレーム出力する必要がない場合には、全行加算読み出しにすることで、蓄積時間を長く設定できるようになる。第２の実施形態では、このような場合の読み出し動作とリセット動作について説明する。なお、撮像装置１００の全体構成や撮像素子１０２の構成は第１の実施形態と同様であるので、説明は省略する。

図１０は１〜４行目の分割読み出しを、４〜７行目に変更する場合に、２フレーム目として全行加算読み出しのフレームを挿入した場合の読み出し動作とリセット動作の時間的な関係を示した図である。読み出し動作とリセット動作に必要な信号のタイミング制御は垂直走査回路４０１が管理する。図８（ｂ）のように２フレーム目で分割読み出しを行う行を変更する場合と比較して、蓄積時間の上限が小さいフレームが２フレーム目のみにできるようになる。

なお、２フレーム目の蓄積時間は、第１及び第３フレーム目の蓄積時間と比較して短くなるため、２フレーム目で得られた信号には、蓄積時間の比に基づくゲインにより増幅する。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。上述した第１の実施形態では、アナログ出力の撮像素子１０２を用いて説明したが、本発明は、カラムＡＤ方式のようなデジタル出力の撮像素子にも適用可能である。この場合における実施形態について、以下に説明する。

図１１に、第３の実施形態における撮像素子１０２の全体構成を示す。列共通読み出し回路３００の出力端子ｖｓ、ｖｎは、各列に配置されたＡＤ変換器（ＡＤ変換部）６０１の入力へ接続される。ＡＤ変換器６０１では、出力端子ｖｓ、ｖｎに出力される光信号とノイズ信号の差分をアナログ−デジタル変換する。

データレジスタ６０２は、各列のＡＤ変換器６０１の出力データを保持する。データレジスタ６０２に保持されたデータは、水平走査回路４０２の走査によりデータ出力部６０３へ順次転送される。データ出力部６０３は、ＬＶＤＳなどの伝送方式により、撮像素子１０２の外部へデータを出力する。

なお、図示しないが、デジタル出力の撮像素子を用いた場合、撮像装置の構成においてＡＦＥは不要となる。すなわち、図１に示す構成からＡＦＥ１０３を除いた構成となる。読み出し動作とリセット動作の時間的な関係は第１の実施形態と同じであるので、説明は省略する。

また、上述した第１〜第３の実施形態では、撮像素子１０２の各画素２００が２つのＰＤ２０１ａ，２０１ｂを有するものとして説明したが、本発明はこれに限るものではなく、３つ以上の光電変換部を有するものにも適用することができる。

１００：撮像装置、１０１：撮像レンズ、１０２：撮像素子、１０７：タイミングジェネレータ、１０８：ＣＰＵ、１１０：分割読み出し行設定部、１１１：蓄積時間制御部

Claims (8)

1. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、
   前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第１の読み出しを行う行と、前記一対の信号を得ずに前記複数の光電変換部の信号を加算した加算信号を得る第２の読み出しを行う行とを設定する設定手段と、
   前記設定手段による設定に応じて、前記第１の読み出し及び前記第２の読み出しを行って、予め決められたフレームレートで前記撮像素子から信号を読み出すように制御する読み出し制御手段とを有し、
   前記読み出し制御手段は、各フレームにおいて、電荷の蓄積時間が全行において同じになるように、前記複数の光電変換部のリセット動作のタイミングと読み出しのタイミングを制御することを特徴とする撮像装置。
2. 前記設定手段は、前記第１の読み出しを行う行を複数行、シフトする場合に、複数フレームかけてシフトするように設定することを特徴とする請求項１に記載の撮像装置。
3. 前記設定手段は、各フレーム間で、１行、シフトするように設定することを特徴とする請求項２に記載の撮像装置。
4. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子と、
   前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第１の読み出しを行う行と、前記一対の信号を得ずに前記複数の光電変換部の信号を加算した加算信号を得る第２の読み出しを行う行とを設定する設定手段と、
   予め決められた数のフレームおきに、全ての行において前記第２の読み出しを行い、その他のフレームにおいて、前記設定手段による設定に応じて、前記第１の読み出し及び前記第２の読み出しを行って、予め決められたフレームレートで前記撮像素子から信号を読み出すように制御する読み出し制御手段と、を有し、
   前記読み出し制御手段は、各フレームにおいて、電荷の蓄積時間が全行において同じになるように、前記複数の光電変換部のリセット動作のタイミングと読み出しのタイミングを制御することを特徴とする撮像装置。
5. 前記予め決められた数のフレームおきに、全ての行において第２の読み出しを行って得られた加算信号を、当該加算信号の電荷の蓄積時間と、前記その他のフレームにおける電荷の蓄積時間との比に基づいて増幅する増幅手段を更に有することを特徴とする請求項４に記載の撮像装置。
6. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子の制御方法であって、
   設定手段が、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第１の読み出しを行う行と、前記一対の信号を得ずに前記複数の光電変換部の信号を加算した加算信号を得る第２の読み出しを行う行とを設定する設定工程と、
   読み出し制御手段が、前記設定工程における設定に応じて、前記第１の読み出し及び前記第２の読み出しを行って、予め決められたフレームレートで前記撮像素子から信号を読み出すように制御する制御工程とを有し、
   前記制御工程では、各フレームにおいて、電荷の蓄積時間が全行において同じになるように、前記複数の光電変換部のリセット動作のタイミングと読み出しのタイミングを制御することを特徴とする制御方法。
7. 前記設定工程では、前記第１の読み出しにより読み出す行を複数行、シフトする場合に、複数フレームかけてシフトすることを特徴とする請求項６に記載の制御方法。
8. 行列状に配置された複数のマイクロレンズそれぞれに対して複数の光電変換部を有する撮像素子の制御方法であって、
   設定手段が、前記各マイクロレンズに対応する前記複数の光電変換部から、視差を有する一対の信号を得ることが可能な第１の読み出しを行う行と、前記一対の信号を得ずに前記複数の光電変換部の信号を加算した加算信号を得る第２の読み出しを行う行とを設定する設定工程と、
   読み出し制御手段が、予め決められた数のフレームおきに、全ての行において前記第２の読み出しを行い、その他のフレームにおいて、前記設定工程における設定に応じて、前記第１の読み出し及び前記第２の読み出しを行って、予め決められたフレームレートで前記撮像素子から信号を読み出すように制御する制御工程とを有し、
   前記制御工程では、各フレームにおいて、電荷の蓄積時間が全行において同じになるように、前記複数の光電変換部のリセット動作のタイミングと読み出しのタイミングを制御することを特徴とする制御方法。

Images