JP2017195584A - 撮像装置 - Google Patents

Abstract

【課題】 焦点検出用の画素とそれ以外の画素とで、異なる読み出し方法を用いるため、複数フレームにわたって同じ位置にある画素を焦点検出用の読み出し方を使い続ける場合に、ノイズパターンが固定し、目立ってしまう。
【解決手段】 本発明に係る撮像装置は、１つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子と、第１の領域と第２の領域を設定する第１の設定手段と、測距領域を設定する第２の設定手段と、第１の領域と第２の領域で異なる読み出し動作を行う読み出し手段を有し、複数フレームの画像を撮像する際に、第２の設定手段が複数フレームの画像間で同一の測距領域を設定した場合で、第１の設定手段はこの複数フレームの画像間で第１の領域を異なる位置に設定する。
【選択図】 図１１

Description

本発明は、複数の光電変換部を有する画素を複数備えた撮像素子を駆動する技術に関するものである。

複数のマイクロレンズが２次元に配置され、さらに１つのマイクロレンズに対して、複数の光電変換部（フォトダイオードなど）が配置されている構造の撮像素子が知られている。特許文献１には、このような撮像素子を用いて測距を行う場合に、読み出した画像信号の処理に要する演算量を減らすため、測距領域に対応する一部の画素からのみ、視差を有する画像信号を読み出す構成が開示されている。

特開２０１３−０６８７５９号公報

上記特許文献１に記載された構成によれば、撮像素子全体から画像信号を読み出すために要する時間を短くすることができる。しかしながら、一部の画素と他の画素とで画像信号の読み出し方を異ならせると、この読み出し方の違いに起因して、一部の画素と他の画素において、出力された画像信号に重畳されるノイズ信号のレベルに差が生じる。

ここで、動画の複数フレームにわたって測距領域の位置が変化しない場合には、複数フレームにわたって、同一の領域に含まれる画素から視差を有する画像信号を読み出すことになる。この場合、その領域と他の領域との間のノイズ信号のレベルの差が目立ちやすくなる可能性がある。

本発明は、１つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子と、前記撮像素子の複数の画素の一部を第１の領域として設定し、前記複数の画素の他の一部を第２の領域として設定する第１の設定手段と、前記複数の画素の少なくとも一部に対して測距領域を設定する第２の設定手段と、前記撮像素子の前記第１の領域および前記測距領域に含まれる第１の画素から、前記第１の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行うとともに、前記第２の領域および前記測距領域に含まれる第２の画素から、前記第１の読み出し動作とは異なる動作で、前記第２の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、を有し、前記撮像素子が複数フレームの画像を撮像し、前記第２の設定手段が前記複数フレームの画像において同一の測距領域を設定した場合には、前記第１の設定手段は、前記複数のフレームに含まれる第１のフレームと第２のフレームとで、前記第１の領域を異なる位置に設定することを特徴とする撮像装置を提供するものである。

本発明によれば、撮像素子の領域間のノイズ信号のレベルの差を目立ちにくくすることができる撮像装置を提供することができる。

本発明における撮像装置の構成を説明するためのブロック図である。 （ａ）は本発明における撮像装置で使用される撮像素子の構成を示す図であり、（ｂ）および（ｃ）は本発明における画素アレイの構成を示す図である。 本発明における画素の等価回路を説明するための図である。 （ａ）は本発明における撮像素子の加算読み出し動作のタイミングを説明するための図であり、（ｂ）は本発明における撮像素子の分割読み出し動作のタイミングを説明するための図である。 本発明における１フレーム読み出し時の選択的駆動制御の例を説明するための図である。 本発明における動画撮像のフローチャートである。 第１の実施形態における領域設定を行う構成を説明するためのブロック図である。 本発明における異なる領域設定の例を説明するための図である。 第１の実施形態における複数のフレームの領域設定を説明するための図である。 第２の実施形態における領域設定を行う構成を説明するためのブロック図である。 第２の実施形態における複数のフレームの領域設定を説明するための図である。 （ａ）は第３の実施形態におけるノイズ低減を説明するための図であり、（ｂ）は第３の実施形態におけるノイズ低減を行うときの平均画像計算部の処理を説明するための図である。 第３の実施形態における領域設定を行う構成を説明するためのブロック図である。 第３の実施形態におけるノイズ低減を説明するための図である。 第４の実施形態における領域設定を行うための構成を説明するためのブロック図である。

以下では、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。なお、以下の実施形態は本発明を実施するための一例にすぎず、本発明は図示された構成に限定されるものではない。

（第１の実施形態）
以下、図面を参照して、本発明における第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る撮像装置の構成を示すブロック図である。同図において、撮像素子１００は、撮像光学系で形成された被写体の光学像を電気信号に光電変換する。撮像素子１００は後述するＣＰＵ（中央処理装置）１０３等によって制御され、静止画または動画を撮像する。ＡＦＥ（アナログフロントエンド）１０１は、撮像素子１００から出力されたアナログの画像信号に対して、ゲイン調整や所定の量子化ビットに対応してデジタル変換を行う。ＴＧ（タイミングジェネレータ）１０２は、撮像素子１００及びＡＦＥ１０１の駆動タイミングを制御する。本実施形態では、撮像素子１００の外部にＡＦＥ１０１、ＴＧ１０２を配置しているが、それらは撮像素子内に内蔵される構成であってもかまわない。

上述のように、ＣＰＵ１０３は撮像素子の各部を制御するためのプログラムを実行する。操作部１０４は、撮像命令や撮像条件等の設定をＣＰＵ１０３に対して行う。表示部１０５は、撮像した静止画像や動画像およびメニュー等の表示を行う。ＲＡＭ１０６は、ＡＦＥ１０１でデジタル変換された画像データや、後述の画像処理部１０８で処理された画像データを記憶する画像データ記憶手段の機能と、ＣＰＵ１０３が動作を行う際のワークメモリの機能を兼備する。なお、本実施形態では、これらの機能を、ＲＡＭ１０６を用いて行うようにしているが、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。ＲＯＭ１０７は、ＣＰＵ１０３が各部の動作を制御するためにロードして実行するプログラムと、後述するノイズ低減回路で用いられる係数群を格納する。ここで、本実施形態では、フラッシュメモリを示すが、これは一例であり、アクセス速度が十分に速くて動作上問題のないレベルのメモリであれば、他のメモリを適用することも可能である。画像処理部１０８は、撮像された静止画または動画の補正や圧縮等の処理を行う。また、後述するＡ像データとＢ像データへの分離機能や、後述する画像の補正機能や、静止画像、動画像の生成機能を備える。

ＡＦ演算部１０９は、相関演算部１２０から出力される相関演算の結果を用いて、フォーカスレンズの駆動量を算出する。フラッシュメモリ１１０は、静止画データ及び動画データを記録するための、着脱可能なフラッシュメモリである。本実施形態では、記録媒体としてフラッシュメモリを適用しているが、その他のデータ書き込み可能な不揮発メモリでもよい。また、これらの記録媒体を内蔵した形態でもよい。

フォーカルプレーンシャッタ１１１は、静止画撮像時に露光秒時を調節する。本実施形態では、フォーカルプレーンシャッタにて撮像素子１００の露光秒時を調節する構成であるが、これに限られるものではなく、撮像素子１００が電子シャッタ機能を有し、制御パルスで露光秒時を調節する構成であってもよい。フォーカス駆動回路１１２は、光学系の焦点位置を変更するものであり、ＡＦ演算部１０９の焦点検出結果に基づいてフォーカスアクチュエータ１１４の駆動を制御し、第３レンズ１１９を光軸方向に進退駆動して焦点調節を行う。絞り駆動回路１１３は、絞りアクチュエータ１１５の駆動を制御して絞り１１７の開口径を制御する。第１レンズ１１６は、撮像光学系（共通光学系）の先端に配置され、光軸方向に進退可能に保持される。絞り１１７は、その開口径を調節することで撮像時の光量を調節する。そして、前記絞り１１７及び第２レンズ１１８は一体となって光軸方向に進退し、前記第１レンズ１１６の進退動作との連動により、変倍作用（ズーム機能）を実現する。第３レンズ１１９は、光軸方向の進退により、撮像光学系の焦点を調節する。相関演算部１２０は、撮像素子１００から出力される画素信号を用いて相関演算を行う。

次に撮像素子１００の構成を、図２を参照して説明する。図２（ａ）は、撮像素子１００の構成を示す。図２（ａ）において、撮像素子は、画素が二次元に配列された画素アレイ１００ａと、画素アレイ１００ａの画素の行を選択する垂直走査回路１００ｄ、画素アレイ１００ａの画素の列を選択する水平走査回路１００ｃを持つ。また、撮像素子１００はさらに、画素アレイ１００ａの画素のうち、垂直走査回路１００ｄ及び水平走査回路１００ｃによって選択される画素の信号を読み出すための読み出し回路１００ｂを備える。垂直走査回路１００ｄは、画素アレイ１００ａの行を選択し、ＣＰＵ１０３から出力される水平同期信号に基づいたＴＧ１０２から出力される読み出しパルスを、選択行において有効にする。読み出し回路１００ｂは列毎に設けられたアンプやメモリを有し、走査行の画素信号を、アンプを介してメモリに格納する。メモリに格納された１行分の画素信号は、水平走査回路１００ｃによって列方向に順に選択され、出力回路１００ｅを介して外部に出力される。この動作を繰り返し、すべての画素の信号を外部に出力する。

撮像素子１００の画素アレイ１００ａを図２（ｂ）に示す。図２（ｂ）において、マイクロレンズ１００ｆはマイクロレンズアレイを構成する。フォトダイオード（ＰＤ）１００ｈ、１００ｇは光電変換を行う光電変換手段として、後述するＡ像用光電変換部、Ｂ像用光電変換部を構成する。各画素は、ＰＤ２つに対して１つのマイクロレンズ１００ｆが上部に配置される構成となっている。すなわち、焦点検出用画素は、１つのマイクロレンズに対して光電変換部を複数備える。マイクロレンズ１００ｆを共有している撮像領域を１画素とした場合、画素アレイ１００ａには、この画素が水平方向にｈ画素、垂直方向にｖ画素並んで配置されている。ＰＤ１００ｈとＰＤ１００ｇで蓄積された信号は、後述する画素転送動作によって同時に、または独立に電圧に信号に変換され、前述した読出し動作によって外部に出力される。ＰＤ１００ｈとＰＤ１００ｇは、瞳分割構成となっており、互いに位相差を持った別々の像が入射される。そのため、ＰＤ１００ｈとＰＤ１００ｇの信号を独立に読み出し、前述の相関演算部１２０において相関演算処理を行い、その結果を用いて前述のＡＦ演算部１０９でフォーカスレンズの駆動量などを計算することができる。ここではＰＤ１００ｈをＡ像用光電変換部、ＰＤ１００ｇをＢ像用光電変換部とする。図２（ｂ）では、マイクロレンズ１つに対してＰＤが２つ配置される構成であるが、これに限られるものではない。マイクロレンズ１つに対してＰＤが上下または左右に複数配置される構成であっても本発明を適用することができ、または４つ以上に瞳分割することもできる。たとえば、図２（ｃ）では、ＰＤが４つ配置される例を示している。画素１００ｉは、瞳分割ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍ及びＰＤ１００ｎから構成される。ＰＤ１００ｊ、ＰＤ１００ｋ、ＰＤ１００ｍ及びＰＤ１００ｎには、夫々異なる位相の像が入射し、別々で信号を読み出すことが可能である。もしくは、状況に応じ、ＰＤ１００ｊとＰＤ１００ｋの信号を同時に読み出し、ＰＤ１００ｍとＰＤ１００ｎの信号を同時に読み出す。かくして、水平方向の位相差を相関演算部１２０での演算を経て取得することができる。または、ＰＤ１００ｊとＰＤ１００ｍの信号を同時に読み出し、ＰＤ１００ｋとＰＤ１００ｎの信号を同時に読み出す。かくして、垂直方向の位相差を相関演算部１２０での演算を経て取得することができ、ＰＤから得られた信号を位相差検出のために使うことができる。

以下においては、マイクロレンズ１つに対してＰＤが２つ配置される構成をもって実施形態を説明する。図３は、画素アレイ１００ａに設けられた複数の画素のうち、隣り合う２行（ｊ行と（ｊ＋１）行）、２列（ｉ列と（ｉ＋１）列）分の画素と、２列（ｉ列と（ｉ＋１）列）分の読み出し回路１００ｂの構成を示す等価回路図である。

ｊ行目の画素３０１の転送スイッチ３０２ａには制御信号ΦＴＸＡ（ｊ）が入力され、転送スイッチ３０２ｂのゲートには、制御信号ΦＴＸＢ（ｊ）が入力される。リセットスイッチ３０４は、リセット信号ΦＲ（ｊ）により制御される。なお、制御信号ΦＴＸＡ（ｊ）及びΦＴＸＢ（ｊ）、リセット信号ΦＲ（ｊ）、行選択信号ΦＳ（ｊ）は、垂直走査回路１００ｄにより制御される。同様に、（ｊ＋１）行目の画素３２０は、制御信号ΦＴＸＡ（ｊ＋１）及びΦＴＸＢ（ｊ＋１）、リセット信号ΦＲ（ｊ＋１）、及び行選択信号ΦＳ（ｊ＋１）により制御される。

また、画素列毎に垂直信号線３０８を設けており、各垂直信号線３０８は、各列に設けられた読み出し回路１００ｂの電流源３０７及び転送スイッチ３１０ａ、３１０ｂに接続される。

転送スイッチ３１０ａのゲートには制御信号ΦＴＮが入力し、転送スイッチ３１０ｂのゲートには制御信号ΦＴＳが入力する。また、転送スイッチ３１２ａ及び転送スイッチ３１２ｂのゲートには、水平走査回路１００ｃから出力される制御信号ΦＰＨ（ｉ）が入力される。蓄積容量部３１１ａは、転送スイッチ３１０ａがオン状態で転送スイッチ３１２ａがオフ状態にあるときに、垂直信号線３０８の出力を蓄積する。同様に、蓄積容量部３１１ｂは、転送スイッチ３１０ｂがオン状態で転送スイッチ３１２ｂがオフ状態にあるときに、垂直信号線３０８の出力をする。

水平走査回路１００ｃの列選択信号ΦＰＨ（ｉ）によりｉ列目の転送スイッチ３１２ａ及び転送スイッチ３１２ｂをオン状態にすることで、蓄積容量部３１１ａ及び蓄積容量部３１１ｂの出力がそれぞれ別の水平出力線を介して出力回路１００ｅに転送される。

上記構成を有する撮像素子１００から信号を読み出す読み出し動作として、加算読み出し動作（第１の読み出し動作）と、分割読み出し動作（第２の読み出し動作）とを選択的に行うことが可能である。以下、図３及び図６を参照して、加算読み出し動作と分割読み出し動作について説明する。なお、本実施形態では、各制御信号がＨ（ｈｉｇｈ）の状態の時に各スイッチがオンし、Ｌ（ｌｏｗ）の時にオフとなるものとして説明する。

＜加算読み出し動作＞（第１の読み出し動作）
図４（ａ）は、加算読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１において、リセット信号ΦＲ（ｊ）がＨになる。次に、時刻Ｔ２において、制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ｊ行目の画素１００ｆのＰＤ１００ｈ、１００ｇがリセットされる。

次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬになると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）がＨになると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。

次に、時刻Ｔ５でリセット信号ΦＲ（ｊ）がＬにされた後、時刻Ｔ６で制御信号ΦＴＮがＨになると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）が蓄積容量部３１１ａに転送される。

次に、時刻Ｔ７で制御信号ΦＴＮがＬにされ、蓄積容量部３１１ａにノイズ信号が保持される。その後、時刻Ｔ８で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ＰＤ１００ｈ、１００ｇの電荷がフローティングディフュージョン領域（ＦＤ領域）３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇの電荷が同じＦＤ領域３０３に転送されるので、２つのＰＤ１００ｈ、１００ｇの電荷が混合された信号（１画素分の光信号＋ノイズ信号）が垂直信号線３０８に出力される。

続いて時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬにされる。その後、時刻Ｔ１０で制御信号ΦＴＳがＨになると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳがＬにされ、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１２で行選択信号ΦＳ（ｊ）がＬにされる。

この後、水平走査回路１００ｃの列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂが順にＨにされる。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１画素分の光信号＋ノイズ信号がそれぞれ異なる水平出力線を介して出力回路１００ｅに転送される。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した加算読み出し動作により得られた信号を、「第１の加算信号」と呼ぶ。

＜分割読み出し動作＞（第２の読み出し動作）
次に、分割読み出し動作について図４（ｂ）を用いて説明する。図４（ｂ）は、分割読み出し動作により撮像素子１００のｊ行目の画素から信号を読み出す動作のタイミングを示している。時刻Ｔ１においてリセット信号ΦＲ（ｊ）がＨにされる。続いて、時刻Ｔ２においてΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＨになると、ｊ行目の画素３０１のＰＤ１００ｈ、１００ｇがリセットされる。次に、時刻Ｔ３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬになると、ＰＤ１００ｈ、１００ｇは電荷蓄積を開始する。続いて、時刻Ｔ４で行選択信号ΦＳ（ｊ）がＨとなると、行選択スイッチ３０６がオン状態となって垂直信号線３０８に接続され、ソースフォロアアンプ３０５が動作状態となる。

時刻Ｔ５でリセット信号ΦＲ（ｊ）がＬにされた後、時刻Ｔ６で制御信号ΦＴＮがＨになると、転送スイッチ３１０ａがオン状態となり、垂直信号線３０８上のリセット解除後の信号（ノイズ信号）が蓄積容量部３１１ａに転送される。

次に、時刻Ｔ７で制御信号ΦＴＮがＬにされ、蓄積容量部３１１ａにノイズ信号が保持された後、時刻Ｔ８でΦＴＸＡ（ｊ）がＨになると、ＰＤ１００ｈの電荷がＦＤ領域３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇのうち一方（ここではＰＤ１００ｈ）の電荷をＦＤ領域３０３に転送するので、ＰＤ１００ｈの電荷に応じた信号だけが垂直信号線３０８に出力される。

次に、時刻Ｔ９で制御信号ΦＴＸＡ（ｊ）がＬにされた後、時刻Ｔ１０で制御信号ΦＴＳがＨになると、転送スイッチ３１０ｂがオン状態になり、垂直信号線３０８上の信号（１ＰＤ分の光信号＋ノイズ信号）が蓄積容量部３１１ｂに転送される。次に時刻Ｔ１１で制御信号ΦＴＳがＬにされる。

この後、水平走査回路１００ｃの列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂが順にＨにされる。これにより、蓄積容量部３１１ａのノイズ信号と、３１１ｂの１ＰＤ分の光信号＋ノイズ信号がそれぞれ別の水平出力線で出力回路１００ｅに転送される。出力回路１００ｅでは、この２つの水平出力線の差分（１ＰＤ分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上述した読み出し動作により得られた信号を、「分割信号」と呼ぶ。

その後、時刻Ｔ１２でΦＴＸＡ（ｊ）及びΦＴＸＢ（ｊ）がＨとなり、先に転送したＰＤ１００ｈの電荷に加えて、更にＰＤ１００ｇの電荷と新たに発生したＰＤ１００ｈの電荷とがＦＤ領域３０３に転送される。このとき、２つのＰＤ１００ｈ、１００ｇの電荷が同じＦＤ領域３０３に転送されるので、２つのＰＤ１００ｈ、１００ｇの電荷が混合された信号（１画素分の光信号＋ノイズ信号）が垂直信号線３０８に出力される。

続いて時刻Ｔ１３で制御信号ΦＴＸＡ（ｊ）とΦＴＸＢ（ｊ）がＬにされた後、時刻Ｔ１４で制御信号ΦＴＳがＨになると、転送スイッチ３１０ｂがオン状態になる。これにより、垂直信号線３０８上の信号（１画素分の光信号＋ノイズ信号）蓄積容量部３１１ｂに転送される。

次に時刻Ｔ１５で制御信号ΦＴＳがＬにされ、蓄積容量部３１１ｂに１画素分の光信号＋ノイズ信号が保持された後、時刻Ｔ１６で行選択信号ΦＳ（ｊ）がＬにされる。

この後、水平走査回路１００ｃの列選択信号ΦＰＨによって、第１画素列から最終画素列まで転送スイッチ３１２ａ、３１２ｂが順にＨにされる。これにより、蓄積容量部３１１ａ、３１１ｂのノイズ信号と、１画素分の光信号＋ノイズ信号がそれぞれ異なる水平出力線で出力回路１００ｅに転送される。出力回路１００ｅでは、この２つの水平出力線の差分（１画素分の光信号）を算出し、これに所定ゲインを乗じた信号を出力する。以下、上記読み出し動作により得られた信号を、第１の加算信号と区別するために、「第２の加算信号」と呼ぶ。

このようにして読み出した第２の加算信号から、一方のＰＤ１００ｈに対応する分割信号を差し引くことで、他方のＰＤ１００ｇに対応する分割信号を得ることができる。このようにして得られた一対の分割信号を「焦点検出用信号」と呼ぶ。そして、得られた焦点検出用信号に対して公知の相関演算を行うことにより、信号間の位相差を算出することができる。

なお、リセット、電荷の蓄積、および、信号の読み出しという一連の動作をＰＤ１００ｈに対して行った後、同様の動作をＰＤ１００ｇに対して行うことで、１回の電荷蓄積動作に対して２つのＰＤ１００ｈ、１００ｇの信号を独立に読み出すようにしてもよい。このようにして２回に分けて読み出したＰＤ１００ｈ、１００ｇの信号は、加算することで第２の加算信号を得ることができる。また、以上にも述べたように、マイクロレンズ１つに対して２つのＰＤが配置される構成に限られるものではなく、３つ以上の複数のＰＤを複数回に分けて信号を読みだして、合成するようにしてもよい。

ここで、第２の加算信号は、第１の加算信号と比較して読み出しノイズが大きくなってしまう。たとえば、２つのＰＤ１００ｈ、１００ｇの信号を同時に読み出す場合には、第２の加算信号を取得する際に、まずはノイズ信号を読み出す。その後に、２つのＰＤ１００ｈ、１００ｇのうち一方の電荷をＦＤ領域３０３に転送して信号を読み出し、その後、ＦＤ領域３０３をリセットすることなく２つのＰＤ１００ｈ、１００ｇの信号を同時に読み出して第２の加算信号を得る。この方法では、ノイズ信号を読み出してから第２の加算信号を読み出すまでに、第１の加算信号による読み出しよりも時間がかかるため、信号間の動作周波数が低下し、フリッカ雑音が増加してしまう。

また、たとえば、ＰＤ１００ｈ、１００ｇの信号を夫々独立に読み出す場合は、単一画素を２回に分けて読みだして加算することによって画素信号を得るので、読み出しノイズが２回重畳されることになってしまう。そのため、第１の加算信号と比較すると、読み出しノイズが増加してしまう。

図５は、画素が行列状に配列された画像アレイにおける読み出し方法を説明するための図である。前述の通りスイッチ３０２ａとスイッチ３０２ｂとを制御することによって、加算読み出し動作と分割読み出し動作とを切り替えることができる。図５での白無地の領域５０１は、Ａ像用の信号とＢ像用の信号を同時に読み出す加算読み出し動作を行う領域を示す。斜線でハッチングされた領域５０２は、Ａ像用信号を読み出し、それからＡ像用の信号とＢ像用の信号を同時に読み出す分割読み出し動作を行う領域を示す。焦点検出のため、画面内に、測距領域５０３を定め、この領域に対応する被写体に対して、焦点検出を行う。ユーザの設定やタッチパネル操作などにより、測距領域の設定が行われる。ただし、測距領域が必ずしも画像の一部のみ占めるわけでもなく、被写体の状況に応じて測距領域を画面の全部を占めるように設定してもよい。また、図５では、測距領域５０３は矩形を呈するが、その限りでなく、任意の形状でもよい。

以下では、画面内において、行単位で読み出し動作を切り替える構成を例にあげて説明するが、この限りでない。たとえば、画面内を複数の矩形領域に分割し、矩形領域ごとで読み出し方法を切り替えてもよい。本来、焦点検出のために、測距領域５０３が重畳するすべての行に含まれる画素において、分割読み出し動作を行うのが好ましいが、処理負荷を考慮し、図５で示したように、その中の一部の行だけにおいて分割読み出し動作を行うものとする。分割読み出し動作を行う行の決め方は、一定のルールに従う。たとえば、分割読み出しを行う行数とその行間の距離の両方を測距領域５０３のサイズに応じて適応的に変更してもよいし、分割読み出しを行う行間の距離は固定で、測距領域５０３のサイズが大きくなるほど行数のみを増加させるようにしてもよい。いずれにせよ、測距領域５０３の位置とサイズとが決まると、各々の画素の読み出し方法も決まる。また、ここでは水平方向に伸びた行単位で読み出し動作を切り替える構成を例にあげるが、垂直方向に伸びた列単位で読み出し動作を切り替える構成としてもよい。

図６は、動画撮像のフローチャートである。動画モードにおいて操作部１０４に含まれている動画記録ボタンを押下することで動画の撮像を開始することができる。動画撮像が開始されると、ＣＰＵ１０３はステップＳ６０１でＡＦスイッチの状態を調べる。ＯＦＦ状態であればマニュアルフォーカス（ＭＦ）モードで動画の撮像を行う。ステップＳ６０１における判定の後、ステップＳ６１０へ遷移する。ステップＳ６１０では、焦点検出用信号を得るための分割読み出し動作を行う必要がないため、ＣＰＵ１０３の制御の下で、すべての画素でＡ像用の信号とＢ像用の信号を同時に読み出す加算読み出し動作を行う。その後ステップＳ６１１で読み出した画像をＲＡＭ１０６に保存する。次にステップＳ６１２に遷移し、一連のシーケンスの間に動画記録ボタンが押下されていれば動画撮像を終了し、押下されていなければ次のフレームの読み出しを開始する。

一方ステップＳ６０１の判定の際に、ＡＦスイッチがＯＮ状態で判定されると、ＣＰＵ１０３の制御の下で、動画サーボＡＦモードで動画の撮像を行う。ステップＳ６０２で、ＣＰＵ１０３は、測距領域５０３の設定を行う。測距領域５０３は、従来から知られている方法を用いて設定すればよい。例えば、ユーザによるタッチパネルやダイヤル操作を反映して測距領域５０３の位置を設定する。または、画像に含まれる被写体に対して追尾処理を行って新たなフレームにおける被写体の位置を検出し、この検出した被写体の位置やサイズに基づいて測距領域５０３を設定するようにしてもよい。ステップＳ６０３では、ステップＳ６０２で設定された測距領域５０３に応じて、ＣＰＵ１０３が分割読み出し動作を行う領域５０２を設定する。このステップＳ６０３の処理については、後ほど、図７および図８を用いて説明を行う。

ステップＳ６０４では、ステップＳ６０３で設定した読み出し方法に基づいて、ＣＰＵ１０３の制御の下で各画素の信号の読み出し動作を行う。ＣＰＵ１０３はＴＧ１０２を駆動し、垂直走査回路１００ｄとスイッチ３０２ａ及びスイッチ３０２ｂを制御し、各画素の信号を読み出す。具体的には、測距領域５０３と重畳する複数の行のうちの一部の行である領域５０２では、まずスイッチ３０２ａのみをＯＮにして、Ａ像用の信号を読み出す。それから、スイッチ３０２ａとスイッチ３０２ｂを同時にＯＮにすることで、Ａ像用の信号とＢ像用の信号を同時に読み出す。この信号とスイッチ３０２ａのみをＯＮにした場合の信号とを利用し、後述する画像処理部１０８でＢ像用の信号を算出することができる。かくして、Ａ像用の信号とＢ像用の信号を両方取得し、焦点検出用の信号とする。それ以外の行（領域５０１）ではスイッチ３０２ａとスイッチ３０２ｂを同時にＯＮにすることで、Ａ像用の信号とＢ像用の信号を同時に読み出す。

ステップＳ６０５では、ステップＳ６０４で領域５０２から読み出した信号に基づいて、相関演算部１２０が相関演算を行う。ステップＳ６０６では、ステップＳ６０５の相関演算結果に基づいてＡＦ演算部１０９がＡＦ用の演算を行う。相関演算及びＡＦ用演算の具体的な方法に関しては、ここでは省略する。そしてステップＳ６０７でＡＦ用演算の結果を、フォーカス駆動回路１１２に送り、フォーカス駆動を行う。

ステップＳ６０８では、ＣＰＵ１０３が、ステップＳ６０４で読み出された画像をＲＡＭ１０６に記録し、ステップＳ６０９に遷移する。ステップＳ６０９は一連のシーケンスの間に動画記録ボタンが押下されたかどうかを判定するステップである。動画記録ボタンが押下されていた場合は、動画撮像を終了する。押下されていなかった場合は、ステップＳ６０２に戻り、同様の動作を繰り返す。

図７は、本実施形態における領域設定を行う構成を説明するためのブロック図である。ここでいう領域設定とは、画面内のどの領域で、どの読み出し動作を行うかということに係る設定である。本実施形態では、この設定はＣＰＵ１０３の中のプログラムで実現し、ＴＧ１０２へ設定を送信する構成となっているが、この限りではない。たとえば、撮像装置の構成要素として、ＣＰＵ１０３とは別に、設定生成部と設定選択部とを設ける構成でもよい。

ＣＰＵ１０３内の設定生成部７０１は、測距領域５０３の情報を受け取って、複数の領域設定を生成する。そして、設定選択部７０２は、設定生成部７０１で生成した複数の領域設定の中から、疑似乱数発生部７０３が発生させた乱数の入力によって、１つの領域設定をランダムに選択し、ＴＧ１０２へ送信する。

図８は、設定生成部７０１で生成した領域設定の例を説明するための図である。画像８０１は、測距領域５０３に対する領域設定ａの例である。画像８０２は、測距領域５０３に対する領域設定ｂの例である。画像８０３は、測距領域５０３に対する領域設定ｃの例である。画像８０１〜８０３における測距領域５０３の位置は一致するが、分割読み出し動作を行う行を異ならせている。なお、ここの領域設定の設定パターンａ、ｂ、ｃを、設定シードと呼ぶ。本実施形態では、３フレームにおいて、設定シードａ、ｂおよびｃが１回ずつ選択された場合に、測距領域に重畳する全ての行において分割読み出し動作が１回ずつ行われるように設定されるものとする。

以下では、連続フレームの撮像において、本実施形態を適用した例について説明する。図９は、連続フレームの撮像において、本実施形態を適用した例を説明するための図である。フレーム群９０１は、通常、多重露光撮像や動画ファイル、あるいは時系列で連続する複数の画像などのような、１つのファイルとして扱われるフレーム群である。ただし、上記により限定されるものでなく、測距領域が一致する複数のフレームであればよい。フレーム９０２は、フレーム群９０１の中の１つのフレームである。符号９０３のｘは、領域設定ａ、ｂ、ｃのいずれかの符号を表しており、設定選択部７０２に入力された疑似乱数によって、ランダムに決まる。

本実施形態によれば、同じ測距領域で複数のフレームを撮像する場合においても、分割読み出し動作を行う領域を、毎フレームでランダムに切り替えることができる。ランダムに切り替えることにより、十分多くのフレームを撮像した場合に、分割読み出し動作が行われる画素が、一部の画素に偏ってしまうことを抑制することができる。そのため、撮像素子の領域間のノイズ信号のレベルの差を目立ちにくくすることができる。

（第２の実施形態）
本発明における第２の実施形態について、図１０と図１１とを用いて説明する。なお、第１の実施形態と同様な部分を省略する。

図１０は、本実施形態における領域設定を説明するための図である。１００１周期選択信号発生部で発生した周期選択信号を設定選択部７０２へ入力することにより、設定生成部７０１で生成した領域設定を周期的に選択することができる。こうした周期的に選択することにより、図１１で示すように、第１の実施形態と同様の設定シードａ、ｂおよびｃが周期的にフレーム群９０１の各々のフレームに対して設定される。

本実施形態によれば、同じ測距領域で複数のフレームを撮像する場合においても、分割読み出し動作を行う領域を、毎フレーム周期的に切り替えることができる。周期的に切り替えることにより、最短のフレーム数でどの画素も分割読み出し動作が行われることになる。そのため、撮像素子の領域間のノイズ信号のレベルの差を目立ちにくくすることができる。

（第３の実施形態）
本発明における第３の実施形態について、第２の実施形態との違いを中心に説明する。本実施形態は、以下の点で第２の実施形態と異なる。まず、画像処理部１０８が、複数フレームの画像を用いて１枚の合成画像を生成、または画像を補正する機能を備えている点で第２の実施形態と異なる。次に、画像処理で用いる複数フレーム間で分割読み出し動作の画素の重複が最も少なくなるように設定するという点で、第２の実施形態と異なる。

図１２（ａ）は、複数フレームの画像を用いて１枚の画像を補正するノイズ低減処理を説明するための図である。ここでの複数フレームの画像は、同じ被写体に対して、同じ条件で撮像した画像である。フレーム群１２０１は、このノイズ低減処理に用いる３枚のフレームである。本実施例では３枚のフレームでノイズ低減処理を行うが、この限りでない。フレーム１２０２、１２０３および１２０４は、それぞれ、ノイズ低減処理の対象フレームの前に撮像された前フレーム、ノイズ低減処理の対象フレーム、および、ノイズ低減処理の対象フレームの後に撮像された後フレームである。

図１２（ｂ）は、平均画像計算部での処理を説明するブロック図である。読み出されたフレームはＲＡＭ１０６に記憶されるとともに、平均画像計算部１２０５に入力される。平均画像計算部１２０５は、新たなフレーム１２０４が入力されると、その１つ前のフレーム１２０３と２つ前のフレーム１２０２をＲＡＭから読み出し、これら３フレームの平均化計算を行う。平均化計算の結果、真ん中のフレーム１２０３に対応する補正処理済みフレーム１２０６を得ることができる。

本実施形態におけるノイズ低減処理は、３枚の画像を用いて１枚の画像を補正する。この３枚の画像のそれぞれで同じ位置の画素を、分割読み出し動作を行った場合、前述したように分割読み出し動作を行った行にノイズが増えてしまうということが考えられる。平均化によるノイズ低減処理をより効果的に行うためには、理想的には３フレームの画像のそれぞれで分割読み出し動作を行う画素を異ならせるのが望ましい。

設定シードの数を十分に多くし、周期的に選択していくことで、これら平均化に用いる３フレームの画像を得る際に、いずれの行においても分割読み出し動作で２回読み出さないようにすることができる。具体的には、少なくとも平均化に使用する最大のフレーム数以上の数の設定シードを生成することで、どのような場合でも重複する画素を分割読み出し動作で読み出すことがなくなる。たとえば、３枚の画像を用いて画像を生成する場合、設定シードを少なくとも３個用意するとよい。このようなノイズ低減処理を実現するためには、図１３で示すような設定が必要となる。周期選択信号発生部１３０１は、画面全体でどのような行を分割読み出し動作で読み出すかを決める。セレクタ１３０２は、行設定部の信号から、周期選択信号発生部１３０１の信号を受信して選択する。条件判定部１３０３は、測距領域が重畳する行の情報と、セレクタ１３０２の設定とが一致する行を、分割読み出し動作を行う行とする。設定生成部１３０４は条件判定部１３０３の情報を受け取ってＴＧに送信する。

なお、以上で説明した方法を用いて、必ずしもどのような場合でも分割読み出し動作を行う画素を重複することなく設定できるとは限らない。例えば、３枚の画像を用いて１枚の画像を補正するノイズ低減処理を行う際に、測距領域が重畳する行のうちの半分以上で分割読み出し動作を行う場合、すべての画像で分割読み出し動作を行った画素を異ならせることは不可能である。そのような場合は、画像の生成に使用する画像間で、分割読み出し動作を行う画素の重複ができるだけ少なくなるように領域設定を制限する。

図１４は、３枚の画像を用いてノイズ低減処理を行う時に、測距領域が重畳する行のうちの半分以上で分割読み出し動作を行っている例を示す。フレーム群１４０１は、ノイズ低減処理に用いる画像である。フレーム群１４０１は、フレーム１４０２、１４０３および１４０４を含む。フレーム１４０２、１４０２および１４０３は、それぞれ、ノイズ低減処理の対象フレーム１４０３の直前に撮像された前フレーム、ノイズ低減処理の対象フレーム、および、ノイズ低減の対象フレーム１４０３の直後に撮像された後フレームである。これらのフレームで測距領域５０３は共通となっており、１フレームで測距領域５０３内の半分の行で分割読み出し動作を行っている。そのため、前フレーム１４０２と後フレーム１４０４は、全く同一の行で分割読み出し動作を行う。

このような場合、分割読み出し動作を行う画素が重複する回数に応じて、フレームまたは画素に重みづけを行って加重平均処理を行う。加重部１４０５は、ＣＰＵ１０３から取得した係数を用いて前フレーム１４０２の重みづけを行う。加重部１４０６は、ＣＰＵ１０３から取得した係数を用いて対象フレーム１４０３の重みづけを行う。加重部１４０７は、ＣＰＵ１０３から取得した係数を用いて後フレーム１４０４の重みづけを行う。ここでは前フレーム１４０２と後フレーム１４０４は、全く同一の行で分割読み出し動作を行っているため、前フレームの加重部１４０５と後フレームの加重部１４０７の係数を０．２５とし、処理対象フレーム加重部の係数を０．５とする。

平均画像計算部１４０８は、ＣＰＵ１０３から係数に関する情報を取得し、適切な方法で画像の加重平均を計算し、補正処理済みフレーム１４０９を出力する。

上述した方法を用いて、同じ被写体に対して撮像した露光値の異なる画像を取得し、多重露光撮像を行うこともできる。あるいは、上述した方法を用いて、時系列で生成された画像を用いてノイズ低減処理を行う巡回フィルタを構成することもできる。

本実施形態によれば、複数のフレームの画像を用いて１枚の画像を生成、または補正する場合、分割読み出し動作を行う画素の重複を最小にしつつ、分割読み出し動作を行う領域を周期的に切り替えることができる。また、分割読み出し動作を行う画素の重複がある場合でも、重複の影響を低減するように処理を行うことができる。

（第４の実施形態）
本発明における第４の実施形態について、図１５を用いて説明する。なお、第１の実施形態と同様な部分を省略する。

第４の実施形態は、設定選択部７０２の制御においては、第１の実施形態と異なる。第２の実施形態は、疑似乱数発生部７０３が発生させた乱数に基づいて、設定シードの選択を行う。第４の実施形態では、これに加えて、設定シードの選択に関する情報を選択情報記憶部１５０１に記憶し、次の設定シードの選択を行うときに、選択情報記憶部１５０１に記憶された情報を参照しながら、設定選択部７０２が設定シードの選択を行う。

ノイズを下げるために、できるだけ同じ設定シードを複数回使用するのを避けることが好ましい。そのため、選択情報記憶部１５０１に記憶されている設定シードの情報を用いて、すでに使用済みの設定シードを再度使用しないか、使用回数を一定に超えたら使用しないように制限する。

たとえば、所定期間内では同じ設定シードを２回使用しないと設定する場合は、設定シードａがすでに使用されたとする。この場合は、設定選択部７０２が設定シードａを選択しないように、たとえ疑似乱数発生部７０３が発生させた乱数に基づいて設定シードａが決まっても、設定シードａを使用せずにもう１回疑似乱数発生部７０３において乱数を発生させる。あるいは、疑似乱数発生部７０３のプログラムを変更し、設定シードａを演算結果から外すようにする。

また、ここでは、選択情報記憶部１５０１が設定シードを記憶する代わりに、どの行に分割読み出しを行ったのかを記憶することにしてもよい。この場合、各々の行が、一定の回数以上分割読み出しを行わないように設定するのが好ましい。

本実施形態によれば、設定シードの選択の履歴を記憶することにより、同じ設定シード、を一定の回数以上に出ない、あるいは、特定な行が一定の回数以上分割読み出しを行わないようにすることができる。そのため、撮像素子の行間のノイズ信号のレベルの差を目立ちにくくすることができる。

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を取得することができるネットワークカメラなどでもよく、撮像機能が実現できる機器、装置などであればよい。

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (20)

1. １つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子と、
   前記撮像素子の複数の画素の一部を第１の領域として設定し、前記複数の画素の他の一部を第２の領域として設定する第１の設定手段と、
   前記複数の画素の少なくとも一部に対して測距領域を設定する第２の設定手段と、
   前記撮像素子の前記第１の領域および前記測距領域に含まれる第１の画素から、前記第１の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行うとともに、前記第２の領域および前記測距領域に含まれる第２の画素から、前記第１の読み出し動作とは異なる動作で、前記第２の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出し手段と、を有し、
   前記撮像素子が複数フレームの画像を撮像し、前記第２の設定手段が前記複数フレームの画像において同一の測距領域を設定した場合には、前記第１の設定手段は、前記複数のフレームに含まれる第１のフレームと第２のフレームとで、前記第１の領域を異なる位置に設定することを特徴とする撮像装置。
2. 前記複数の画素を行列状に配置することを特徴とする請求項１に記載の撮像装置。
3. 前記読み出し手段は、前記第１の領域と前記第２の領域を、行単位で設定することを特徴とする請求項２に記載の撮像装置。
4. 前記複数フレームの画像は、時系列で連続する画像であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記複数フレームの画像は、動画を構成する画像であることを特徴とする請求項４に記載の撮像装置。
6. 前記第２の設定手段が前記複数フレームの画像において同一の測距領域を設定した場合に、前記第１の設定手段は、前記複数フレームの画像の間で、前記測距領域における前記第１の領域の位置をランダムに異ならせることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第２の設定手段が前記複数フレームの画像において同一の測距領域を設定した場合に、前記第１の設定手段は、前記複数フレームの画像の間で、前記測距領域における前記第１の領域の位置を周期的に異ならせることを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
8. 前記複数フレームの画像を用いて、合成画像を生成する合成手段を有することを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記合成手段は、異なる露光値で生成された前記複数フレームの画像を用いて前記合成画像を生成することを特徴とする請求項８に記載の撮像装置。
10. 前記合成手段は、前記複数フレームの画像のそれぞれに、重みづけ係数を与えて、重みづけ合成を行うことを特徴とする請求項８または９に記載の撮像装置。
11. 前記合成手段は、前記複数フレームの画像のそれぞれの前記第１の領域の位置に基づいて、前記複数フレームの画像のそれぞれに与える重みづけ係数を決めることを特徴とする請求項１０に記載の撮像装置。
12. 前記合成手段は、前記複数フレームの画像のそれぞれに対して、前記複数フレームの画像に含まれる、前記第１の領域の位置の設定が等しい他のフレームの画像の数に基づいて、重みづけ係数を決めることを特徴とする請求項１１に記載の撮像装置。
13. 前記第１の設定手段は、前記複数フレームの画像のそれぞれにおいて、予め用意された複数の設定パターンからいずれかを選択することで前記第１の領域を設定するものであって、同一の設定パターンを選択する回数を制限することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
14. 前記第１の設定手段は、前記複数フレームの画像のそれぞれにおいて、予め用意された複数の設定パターンからいずれかを選択することで前記第１の領域を設定するものであって、同一の測距領域に対して同一の設定パターンを選択する回数を制限することを特徴とする請求項１乃至１２のいずれか１項に記載の撮像装置。
15. 前記第１の設定手段は、前記複数フレームの画像のうちの連続する予め定められた数のフレームにおいて、予め定められたフレーム数を超えて、前記第１の領域が同じ位置に設定されないように、前記第１の領域を設定することを特徴とする請求項１乃至１４のいずれか１項に記載の撮像装置。
16. 前記第１の読み出し動作は、前記第１の領域かつ前記測距領域における画素が有する複数の光電変換部に蓄積された電荷に応じた信号を、複数に分けて読み出す動作であり、前記複数の光電変換部のうちの所定の光電変換部に蓄積された電荷に応じた信号を読み出す第１の動作と、前記所定の光電変換部に蓄積された電荷に応じた信号を読み出さずに、前記所定の光電変換部とは異なる光電変換部に蓄積された電荷に応じた信号を読み出す第２の動作を含むことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
17. 前記第１の読み出し動作は、前記第１の領域かつ前記測距領域における画像が有する複数の光電変換部の少なくとも一部の光電変換部に蓄積された電荷に応じた信号を読み出す第３の動作と、前記一部の光電変換部の内の一部の光電変換部に蓄積された電荷に応じた信号を読み出す第４の動作を含むことを特徴とする請求項１乃至１５のいずれか１項に記載の撮像装置。
18. 前記第２の読み出し動作は、前記第２の領域かつ前記測距領域における画素が有する複数の光電変換部に蓄積された電荷に応じた信号を加算して読み出す動作であることを特徴とする請求項１乃至１７のいずれか１項に記載の撮像装置。
19. １つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子を用いた撮像装置の制御方法において、
    前記撮像素子の複数の画素の一部を第１の領域として設定し、前記複数の画素の他の一部を第２の領域として設定する第１の設定ステップと、
    前記複数の画素の少なくとも一部に対して測距領域を設定する第２の設定ステップと、
    前記撮像素子の前記第１の領域および前記測距領域に含まれる第１の画素から、前記第１の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行うとともに、前記第２の領域および前記測距領域に含まれる第２の画素から、前記第１の読み出し動作とは異なる動作で、前記第２の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出しステップとを含み、
    前記撮像素子が複数フレームの画像を撮像し、前記第２の設定ステップにおいて前記複数フレームの画像において同一の測距領域を設定した場合には、前記第１の設定ステップにおいて、前記複数のフレームに含まれる第１のフレームと第２のフレームとで、前記第１の領域を異なる位置に設定することを特徴とする撮像方法。
20. １つのマイクロレンズに対して複数の光電変換部を有する画素を複数備えた撮像素子を有する撮像装置の制御方法をコンピュータに動作させるプログラムにおいて、
    前記コンピュータに、
    前記撮像素子の複数の画素の一部を第１の領域と、前記複数の画素の他の一部を第２の領域として設定する第１の設定ステップと、
    前記複数の画素の少なくとも一部に対して測距領域を設定する第２の設定ステップと、
    前記撮像素子の前記第１の領域および前記測距領域に含まれる第１の画素から、前記第１の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第１の読み出し動作を行うとともに、前記第２の領域および前記測距領域に含まれる第２の画素から、前記第１の読み出し動作とは異なる動作で、前記第２の画素の光電変換部に蓄積された電荷に応じた信号を読み出す第２の読み出し動作を行う読み出しステップとを行わせ、
    前記撮像素子が複数フレームの画像を撮像し、前記第２の設定ステップにおいて前記複数フレームの画像において同一の測距領域を設定した場合には、前記第１の設定ステップにおいて、前記複数のフレームに含まれる第１のフレームと第２のフレームとで、前記第１の領域を異なる位置に設定することを特徴とするコンピュータのプログラム。

Images