JP2023138838A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】 撮影する被写体及び読み出した画像信号の用途に応じて、焦点検出及び／またはダイナミックレンジ拡大に必要な画像信号をより短時間で読み出すこと。
【解決手段】 マイクロレンズと複数の光電変換部を含む画素を複数有する画素領域と、画素領域から出力される信号を増幅する増幅手段と、複数の光電変換部から部分信号と加算信号とを読み出すように走査する走査手段と、を有する撮像素子と、撮像素子を制御する制御手段と、ダイナミックレンジを拡大する処理手段と、位相差方式の焦点検出を行う焦点検出手段とを有する。第１のモードでは、増幅手段は複数の異なるゲインを用いて部分信号及び加算信号を増幅し、処理手段はダイナミックレンジを拡大し、焦点検出手段は焦点検出を行い、第２のモードでは、増幅手段は第１のゲインを用いて部分信号及び加算信号を増幅し、処理手段はダイナミックレンジの拡大を行わず、焦点検出手段は焦点検出を行う。
【選択図】 図８

Description

本発明は撮像装置及びその制御方法に関する。

近年、撮像素子では画素で光電変換された画像信号をただ出力するだけでなく、例えばダイナミックレンジの拡大や、被写体までの距離情報を出力する技術が提案されている。特許文献１では、撮像素子の列ごとに設けられた増幅回路の入力容量を切り替える機能を持ち、信号レベルに応じてゲインを切り替える技術が提案されている。特許文献１のようなゲインを切り替える構成により、低ゲインの信号と高ゲインの信号の画像信号を出力し、後段の画像処理でそれぞれを合成することで、高ダイナミックレンジ且つ、低ノイズな画像信号を作り出すことが可能となる。

一方、撮像素子から一対の視差を有する画像を読み出して、位相差検出方式の焦点検出を行う、いわゆる撮像面位相差方式の焦点検出方法が提案されている。撮像面位相差方式の焦点検出方法に利用可能な信号を出力する撮像装置の一例として、２次元に配列したマイクロレンズアレイを構成する各マイクロレンズに対して、１対の光電変換部を設けたものがある。特許文献２には、１つのマイクロレンズを介して光が入射される１対の光電変換部が出力する信号の加算／非加算を、１対の光電変換部毎に任意に行うことのできる撮像装置が提案されている。

特開２００５－１７５５１７号公報 特開２００１－８３４０７号公報

しかしながら、特許文献１のダイナミックレンジ拡大用の高ゲインの画像信号及び低ゲインの画像信号の読み出し方と、特許文献２の位相差検出用の画像信号の読み出し方とは異なるため、それぞれを同一フレームで読み出すことができなかった。

また、高フレームレートを維持するために、１フレーム内でダイナミックレンジ拡大用の画像信号を読み出す駆動と、位相差検出用の画像信号を読み出す駆動を、撮像素子の読み出し行単位で切り換えたとする。その場合、位相差検出用の画像信号を読み出す行ではダイナミックレンジ拡大ができない。

本発明は上記問題点を鑑みてなされたものであり、撮影する被写体及び読み出した画像信号の用途に応じて、焦点検出及び／またはダイナミックレンジ拡大に必要な画像信号をより短時間で読み出すことを目的とする。

上記目的を達成するために、本発明の撮像装置は、行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子と、前記撮像素子を制御する制御手段と、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、前記制御手段は、前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段により位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、前記処理手段によるダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段により位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御する。

本発明によれば、撮影する被写体及び読み出した画像信号の用途に応じて、焦点検出及び／またはダイナミックレンジ拡大に必要な画像信号をより短時間で読み出すことができる。

本発明の実施形態に係る撮像素子の概略構成を示す図。 （ａ）撮像素子の単位画素からＡＤ回路群までの詳細を示す図、（ｂ）列アンプの構成を示す回路図。 本発明の実施形態に係る位相差検出用の部分信号と、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプの制御を示すタイミングチャート。 本発明の実施形態に係るダイナミックレンジ拡大を行わない場合に、位相差検出用の部分信号と、画像信号とを読み出すときの列アンプの制御を示すタイミングチャート。 本発明の実施形態に係る位相差検出用の部分信号を読み出さずに、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプの制御を示すタイミングチャート。 第１の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図。 第１の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図。 第１の実施形態における撮像装置の概略構成を示すブロック図。 第１の実施形態における撮像素子の読み出し制御を示すフローチャート。 第２の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図。 第２の実施形態における撮像装置の概略構成を示すブロック図。 第２の実施形態における撮像装置内の各ブロックにおける画像データを示す図。 第３の実施形態における撮像装置の概略構成を示すブロック図。 第３の実施形態における処理を示すフローチャート。 第４の実施形態における撮像装置の概略構成を示すブロック図。 第４の実施形態における処理を示すフローチャート。 第５の実施形態における撮像素子の単位画素からＡＤ回路群までの詳細を示す図。 第５の実施形態に係る２つの光電変換素子から高ゲイン及び低ゲインで部分信号を並列に読み出すときの列アンプの制御を示すタイミングチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。

＜第１の実施形態＞
図１（ａ）は、本発明の実施形態に係るＡＤ変換器を実装した撮像素子の構成例を示す図である。画素領域１００には、光電変換用のフォトダイオードなどで形成されている複数の単位画素１０１が行列状に配置されている。単位画素１０１は位相差検出のために、後述する１つのマイクロレンズ１１１に対して光電変換部Ａ及び光電変換部Ｂで構成されており、光電変換部Ａ及び光電変換部Ｂから得られる画像信号の位相差を求めることで焦点を検出することができる。

図１（ｂ）は、単位画素１０１の断面を示す概念図であり、１つのマイクロレンズ１１１の下に、それぞれがフォトダイオードを有する２つの光電変換部Ａ及び光電変換部Ｂが構成されていることを示している。また、各単位画素１０１にはカラーフィルタ１１２が備えられている。一般的には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のいずれかが各画素に対応するベイヤー配列のＲＧＢ原色カラーフィルタであることが多いが、必ずしもこの限りではない。

垂直走査回路１０２は画素領域１００の光電変換部Ａ及び光電変換部Ｂにそれぞれ蓄積された画素信号を、１フレーム期間中に順次読み出しするためのタイミング制御を行う。一般的に、画素信号は１フレーム期間中に上部の行から下部の行にかけて、行単位で順次読み出される。本実施形態では、各単位画素１０１から、垂直走査回路１０２では光電変換部Ａの信号である部分信号（Ａ信号）と、光電変換部Ａと光電変換部Ｂの信号を加算した加算信号（Ａ＋Ｂ信号）を読み出す制御を行う。このように読み出すことで、Ａ＋Ｂ信号はそのまま画像信号として用いることができると共に、Ａ＋Ｂ信号からＡ信号を減算することでＢ信号を取得して、撮像面位相差方式の焦点検出を行うことができる。ただし、撮像面位相差方式の焦点検出を行わない場合には、Ａ＋Ｂ信号のみを読み出すこともできる。

列アンプ群１０３は、画素領域１００の各列に対して構成された、複数の列アンプから成り、画素領域１００から読み出された信号を電気的に増幅するために用いられる。列アンプ群１０３で信号を増幅することにより、後段のＡＤ回路群１０４で発生するノイズに対して、画素の信号レベルを増幅し、等価的にＳ／Ｎ比を改善させることができる。なお、列アンプ群１０３は、複数のゲインを用いて信号を増幅可能であり、本実施形態では異なるゲインで増幅された信号を合成することで、ダイナミックレンジを拡大する。各列アンプの詳細な構成については、図２（ｂ）を参照して後述する。

ＡＤ回路群１０４は、画素領域１００の各列に対して構成された、複数の回路から成り、列アンプ群１０３により増幅された信号をデジタル信号に変換する。デジタル信号に変換された画素信号は、水平転送回路１０５により順次読み出されて、信号処理部１０６に入力される。信号処理部１０６はデジタル的に信号処理を行う回路であり、デジタル処理でＦＰＮ補正などのオフセット補正を行う他に、シフト演算や乗算を行うことで、簡易にゲイン演算を行うことができる。各処理を行った後、撮像素子の外部に出力される。

メモリ１０７は、画素領域１００から読み出され、列アンプ群１０３、ＡＤ回路群１０４、信号処理部１０６により処理された、Ａ信号やＡ＋Ｂ信号などを一時的に保持しておく機能を持つ。

なお、図１（ｂ）に示す例では、各単位画素１０１において、１つのマイクロレンズ１１１に対して２つの光電変換部Ａ及び光電変換部Ｂを有する構成としているが、光電変換部の数は２つに限定されず、それ以上であってもよい。また、瞳分割方向も水平方向であっても垂直方向であっても良いし、混在していても構わない。また、マイクロレンズ１１１に対して受光部の開口位置が異なる画素を複数有するようにしてもよい。つまり、結果としてＡ信号とＢ信号といった位相差検出用の２つの信号が得られる構成であればよい。また、本発明は全ての画素が複数の光電変換部を有する構成に限らず、撮像素子を構成する通常画素内に、図２に示すような画素を離散的に設ける構成であってもよい。また、同じ撮像素子内において互いに異なる分割方法で分割された複数種類の画素が含まれてもよい。

次に、単位画素１０１からＡＤ回路群１０４までの回路構成及び信号の流れについて、図２（ａ）を用いて説明する。図１（ｂ）の光電変換部Ａに対応する光電変換素子１１０１と、図１（ｂ）の光電変換部Ｂに対応する光電変換素子１１０２は、マイクロレンズを共有しており、光電変換を行って光を電荷に変換する。転送スイッチ１１０３は光電変換素子１１０１で発生した電荷を後段の回路に転送し、転送スイッチ１１０４は光電変換素子１１０２で発生した電荷を後段の回路に転送する。電荷保持部１１０５は、転送スイッチ１１０３，１１０４がＯＮとなっている時に光電変換素子１１０１及び光電変換素子１１０２から転送された電荷を一時的に保持する。従って、電荷保持部１１０５は、光電変換素子１１０１もしくは光電変換素子１１０２のどちらかの電荷のみ、または、光電変換素子１１０１と光電変換素子１１０２の両方の電荷を加算したものを保持することが可能である。画素アンプ１１０６は、電荷保持部１１０５に保持された電荷を電圧信号に変換し、垂直出力線１１１３を通して、後段の列アンプ１０３ｉへ送信する。電流制御部１１０７は、垂直出力線１１１３の電流を制御する。

上述したように、図１に示す列アンプ群１０３は、各列毎に構成された複数の列アンプ１０３ｉから成り、各垂直出力線１１１３に出力された信号を増幅して後段のＡＤ回路群１０４に出力する。ＡＤ回路群１０４を構成する各ＡＤ回路１０４ｉは、同じ列の列アンプ１０３ｉから出力されたアナログ信号をデジタル信号に変換する。

ＡＤ回路１０４ｉにおいて、Ａ／Ｄ変換部１１０９で変換されたデジタル信号は、メモリ１１１０、メモリ１１１１に一時的に保持する。メモリ１１１０は、光電変換素子１１０１もしくは光電変換素子１１０２から読み出された画素信号と、読み出し回路部（便宜的に電荷保持部１１０５からＡ／Ｄ変換部１１０９までの回路を指す。）のノイズ信号とを保持する。一方、メモリ１１１１は読み出し回路部のノイズ信号を保持する。そして、減算部１１１２によりメモリ１１１０に保持されたデータからメモリ１１１１に保持されたデータを減算したものが、画素信号として水平転送回路１０５へ出力される。

図２（ｂ）は、列アンプ１０３ｉの構成を示す図である。列アンプ１０３ｉは、オペアンプ２０７と、入力側のコンデンサ２０２，２０３と、フィードバックコンデンサ２０５，２０６により反転増幅回路になっている。また、各スイッチ２００，２０１，２０４により、コンデンサ２０２，２０３，２０５の接続を切り替えることができる。

まず、単位画素１０１から入力された信号は、スイッチ２００，２０１をＯＮにしてコンデンサ２０２，２０３に蓄積される。そして、適正露光の画像信号の場合には、スイッチ２０１とスイッチ２０４をＯＦＦし、スイッチ２００をＯＮすることで、画像信号に高ゲインをかけて読み出す。次に、高輝度部分の画像信号を読み出す場合には、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、画像信号に低ゲインをかけて読み出す。このように、各スイッチによりコンデンサの容量を切り替えることにより、異なるゲインをかけて画像信号を読み出すことができる。このようにして読み出した画像信号を合成することで、ダイナミックレンジを拡大することを想定している。

図３は、位相差検出用の部分信号と、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプ１０３ｉの制御を示すタイミングチャートである。

まず、時刻ｔ１からｔ４の間、スイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦにしておくことで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ２で転送スイッチ１１０３をＯＮし、Ａ信号を読み出す。このとき、時刻ｔ２からｔ４の期間内で、高ゲインで読み出したＡ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

次に、時刻ｔ４からｔ５の間、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、列アンプ１０３ｉのゲインを低ゲインに設定する。このとき、時刻ｔ４からｔ５の期間内で、低ゲインで読み出したＡ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

時刻ｔ５からｔ８の間、再びスイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦすることで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ６で転送スイッチ１１０４をＯＮし、Ｂ信号を読み出す。Ａ信号とＢ信号は電荷保持部１１０５で加算され、Ａ＋Ｂ信号として出力される。このとき、時刻ｔ６からｔ８の期間内で、高ゲインで読み出したＡ＋Ｂ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

時刻ｔ８からｔ９の間、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、列アンプ１０３ｉのゲインを低ゲインに設定する。このとき、時刻ｔ８からｔ９の期間内で、低ゲインで読み出したＡ＋Ｂ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

図４は、ダイナミックレンジ拡大を行わない場合に、位相差検出用の部分信号と、画像信号とを読み出すときの列アンプ１０３ｉの制御を示すタイミングチャートである。

この制御では、時刻ｔ１１からｔ１６の間、スイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦにしておくことで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ１２で転送スイッチ１１０３をＯＮし、Ａ信号を読み出す。このとき、時刻ｔ１２からｔ１４の期間内で、高ゲインで読み出したＡ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

次に、時刻ｔ１４で転送スイッチ１１０４をＯＮし、Ｂ信号を読み出す。Ａ信号とＢ信号は電荷保持部１１０５で加算され、Ａ＋Ｂ信号として出力される。このとき、時刻ｔ１４からｔ１６の期間内で、高ゲインで読み出したＡ＋Ｂ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

図５は、位相差検出用の部分信号を読み出さずに、ダイナミックレンジ拡大用の画像信号を読み出すときの列アンプ１０３ｉの制御を示すタイミングチャートである。

この制御では、時刻ｔ２１からｔ２４の間、スイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦにしておくことで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ２２で転送スイッチ１１０３及び１１０４をＯＮし、Ａ＋Ｂ信号を読み出す。このとき、時刻ｔ２２からｔ２４の期間内で、高ゲインで読み出したＡ＋Ｂ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

次に、時刻ｔ２４からｔ２５の間、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、列アンプ１０３ｉのゲインを低ゲインに設定する。このとき、時刻ｔ２４からｔ２５の期間内で、低ゲインで読み出したＡ＋Ｂ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

図６は、第１の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図であり、図３に示す制御により各フレームで読み出される信号の概念を示している。図６において、１Ｈ伝送データとは、画素領域１００から読み出した１行分のデータのことを指す。

図６（ａ）は、１フレーム期間内に、位相差検出用の画像信号と、ダイナミックレンジを拡大するときの位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を全ラインについて読み出したときの、読み出しタイミングを示す図である。具体的には、高ゲインでＡ信号（以下、「高ゲインＡ信号」と呼ぶ。）を読み出してから、低ゲインでＡ信号（以下、「低ゲインＡ信号」と呼ぶ。）を読み出す。更に、高ゲインでＡ＋Ｂ信号（以下、「高ゲインＡ＋Ｂ信号」と呼ぶ。）を読み出してから、低ゲインでＡ＋Ｂ信号（以下、「低ゲインＡ＋Ｂ信号」と呼ぶ。）を読み出す。

このようにして読み出した高ゲインＡ信号と、高ゲインＡ＋Ｂ信号から高ゲインＡ信号を差し引いて得た高ゲインＢ信号と、低ゲインＡ信号と、低ゲインＡ＋Ｂ信号から低ゲインＡ信号を差し引いて得た低ゲインＢ信号とを用いて、位相差検出を行うことができる。また、ダイナミックレンジ拡大用の画像信号としては、高ゲインＡ＋Ｂ信号と低ゲインＡ＋Ｂ信号をそのまま用いることができる。

このように本実施形態における撮像素子の構成では、１行分のデータを読み出すときの撮像素子からの読み出し方法を変えることができるため、同一フレーム内で位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号の読み出しができる。

しかしながら、図６（ａ）に示すように位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を同一フレームで読み出そうとすると１フレームの伝送時間が長くなってしまう。そこで、例えば、静止画撮影前のシャッタ半押しの状態や、フォーカスを合わせるために画面を拡大したときなど、記録しない状況でフォーカスを素早く合わせたい場合は、位相差検出用のモードにする。

図６（ｂ）は、位相差検出用のモードで位相差検出用の画像信号のみを読み出す場合の読み出しタイミングを示す図であり、図４に示す制御により各フレームで読み出される信号の概念を示している。この制御により、高ゲインＡ信号と高ゲインＡ＋Ｂ信号とを読み出す。このように、フレームレートを上げることで、位相差検出用の情報を優先して取得することができる。

また、静止画撮影時など、予めフォーカスが決まっておりフォーカス情報が必要無い場合には、ダイナミックレンジ拡大用のモードにする。図７（ａ）は、ダイナミックレンジ拡大用のモードでダイナミックレンジ拡大用の画像信号のみを読み出す場合の読み出しタイミングを示す図であり、図５に示す制御により各フレームで読み出される信号の概念を示している。この制御により、高ゲインＡ＋Ｂ信号と低ゲインＡ＋Ｂ信号とを読み出す。このようにすることで、１フレームの撮影時間を短縮することができる。

また、高輝度側の位相差検出を必要とせず、適正露光付近の位相差検出だけでよいのであれば、フレームレートを上げるために低ゲインで読み出すＡ信号を出力しない方法も考えられる。図７（ｂ）はそのような場合の読み出しタイミングを示す図であり、高ゲインＡ信号、高ゲインＡ＋Ｂ信号、低ゲインＡ＋Ｂ信号を読み出す。このようにすることで、適正露光付近の位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号とを得ることができる。

また、上記以外にも被写体によってモードを変えてもよい。例えば図７（ａ）のダイナミックレンジ拡大用のモードであっても、撮影する被写体に高輝度被写体がなければ位相差検出用のモード（図６（ｂ））に変更し、静止画を取りつつ位相差検出を行ってもよい。

また、高ゲインＡ信号、低ゲインＡ信号、高ゲインＡ＋Ｂ信号、低ゲインＡ＋Ｂ信号を読み出す順番は、上述した例に限られるものでは無い。例えば、低ゲイン信号と高ゲイン信号を読み出す順序を逆にしたり、先に高ゲイン信号を続けて読み出してから低ゲイン信号を読み出したり、先に低ゲイン信号を続けて読み出してから高ゲイン信号を読み出すなど、適宜変更することが可能である。

図８は、本実施形態における撮像装置の構成を示すブロック図であり、本発明に直接関係のある構成要素のみを示している。以下、撮像素子４００から、図６（ａ）で説明したように位相差検出用の画像信号とダイナミックレンジ拡大用の画像信号を同一フレームで出力した場合の、信号の流れについて説明する。

撮像素子４００は、図１で説明した撮像素子であり、撮像素子４００から出力された低ゲインＡ信号、高ゲインＡ信号、低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号は、分配器４０１に入力される。分配器４０１は、画像として使用する信号（低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号）と、位相差検出に使用する信号（低ゲインＡ信号、低ゲインＡ＋Ｂ信号、高ゲインＡ信号、高ゲインＡ＋Ｂ信号）とを分けて出力する。

Ｂ信号生成部４０８は、分配器４０１から出力された高ゲインＡ＋Ｂ信号から高ゲインＡを減算し、高ゲインＢ信号を生成する。また、低ゲインＡ＋Ｂ信号から低ゲインＡ信号を減算することで低ゲインＢ信号も生成する。

位相差検出部４０３は、Ｂ信号生成部４０８から出力された位相差検出用の信号（高ゲインＡ信号、高ゲインＢ信号、低ゲインＡ信号、低ゲインＢ信号）から、位相差を検出する。フォーカス演算部４０４は、ここで検出された位相差情報とレンズのフォーカス位置に基づいて、フォーカスの演算を行う。得られたフォーカス情報をもとに、撮像装置ではピントの情報をユーザに通知したり、レンズのフォーカス制御を行う。

画像合成部４０２は、高ゲインＡ＋Ｂ信号が飽和している場合に、撮像素子から出力されたダイナミックレンジ拡大用の信号から、任意の合成方法を用いてダイナミックレンジ拡大画像に合成する。例として、被写体が暗い部分は高ゲインの画像を、明るい部分は低ゲインの画像を用いて合成を行う手法があるが、本実施形態は２枚のゲインが異なる画像から合成を行う手法であれば、その合成アルゴリズムは限定されるものではない。制御部４０５は、撮像素子４００のシャッタースピードやゲインの切換え制御、読み出し駆動の変更などを行う。

なお、上述した例では、低ゲインＡ信号、高ゲインＡ信号、低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号を読み出した場合の信号の流れについて説明したが、図６（ｂ）、図７（ａ）、図７（ｂ）で説明したように信号を読み出しても良い。その場合、分配器４０１により、位相差検出用の画像信号とダイナミックレンジ拡大用の画像信号を、必要に応じて、画像合成部４０２と位相差検出部４０３に振り分けて出力すればよい。

図９は、本第１の実施形態における制御部４０５による撮像素子４００の読み出し制御を示すフローチャートである。まず、Ｓ１００で、制御部４０５は、ダイナミックレンジの拡大が必要かどうかを判断する。なお、ここでのダイナミックレンジの拡大が必要かどうかの判断は、例えば、上述したように静止画撮影前のシャッタ半押し状態や、ユーザが設定した撮影モードに応じて行う。また、画像合成部４０２による１フレーム前の画像信号の高ゲインＡ＋Ｂ信号が飽和しているかどうかの判定結果を利用して判断しても良い。

ダイナミックレンジの拡大が必要無い場合にはＳ１１２に進んで位相差検出用の高ゲインＡ信号を読み出した後、Ｓ１１３に進んで高ゲインＡ＋Ｂ信号を読み出す。そして、Ｓ１２１において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、Ｓ１１２に戻って、読み出しを続行する。これは、図６（ｂ）に示す位相差検出用のモードでの読み出し順に相当する。

一方、ダイナミックレンジの拡大が必要な場合はＳ１０１に進み、位相差検出が必要かどうかを判断する。必要無いと判断された場合にはＳ１１０に進んで低ゲインＡ＋Ｂ信号を読み出した後、Ｓ１１１に進んで高ゲインＡ＋Ｂ信号を読み出す。そして、Ｓ１２２において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、Ｓ１１０に戻って、読み出しを続行する。これは、図７（ａ）に示すダイナミックレンジ拡大用のモードでの読み出し順に相当する。

一方、位相差検出が必要な場合はＳ１０２に進み、高輝度部の位相差検出が必要かどうかを判断する。必要無いと判断された場合にはＳ１０７において高ゲインＡ信号、Ｓ１０８において高ゲインＡ＋Ｂ信号、Ｓ１０９において低ゲインＡ＋Ｂ信号を読み出す。そして、Ｓ１２３において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、Ｓ１０７に戻って、読み出しを続行する。これは、図７（ｂ）に示す読み出し順に相当する。

高輝度部の位相差検出も必要な場合はＳ１０３に進む。そして、Ｓ１０３において高ゲインＡ信号、Ｓ１０４において高ゲインＡ＋Ｂ信号、Ｓ１０５において低ゲインＡ信号、Ｓ１０６において低ゲインＡ＋Ｂ信号をそれぞれ読み出す。そして、Ｓ１２４において、すべての行からの読み出しが終了したかどうかを判定し、終了していなければ、Ｓ１０３に戻って、読み出しを続行する。これは、図６（ａ）に示す読み出し順に相当する。

上記いずれかの読み出し方法により、１フレーム分の読み出しが終了すると、図９の処理を終了する。

上記の通り本実施形態によれば、各フレームにおいて、ダイナミックレンジ拡大に用いる画像信号と、位相差検出に用いる画像信号を得ることができる。また、不要な画像信号を読み出さないように制御することで、ダイナミックレンジ拡大に用いる画像信号と位相差検出に用いる画像信号とを各行からすべて読み出す場合と比べて、フレームレートを上げることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。なお、第２の実施形態における撮像素子は、第１の実施形態で説明したものと同様であるため、ここでは説明を省略する。

図１０は、第２の実施形態における撮像素子からの画像信号の読み出しタイミングを示す図である。図６と同様に、１Ｈ伝送データとは画素領域１００から読み出した１行分のデータのことを指す。

図１０（ａ）は、高輝度側の位相差検出を行わずに１フレーム期間内に位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を全ラインについて読み出したときの、読み出しタイミングを示しており、図７（ｂ）に示す読み出し方法である。

このように全ラインについて、通常の画像信号に加え、位相差検出用、ダイナミックレンジ拡大用の画像信号の読み出しも行うと、ダイナミックレンジ拡大及び位相差検出を行わない通常の読み出しに対してデータ量が３倍になってしまい、伝送帯域を圧迫する。そのため通常の画像信号だけを読み出す場合よりもフレームレートが遅くなってしまう。

そこで、本実施形態では、フレームレートを上げるために、図１０（ｂ）に示すように、位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を行ごとに交互に出力する。このように１フレームの画像信号のデータ量を減らすことでフレームレートを上げることができる。また図１０（ｂ）に示す読み出し方式であれば、画面内の全エリアで位相差検出が可能であるため、ユーザが任意の場所にフォーカスを合わせたい場合でも、精度良くフォーカスを制御することが可能である。

図１１は、第２の実施形態における撮像装置の概略構成を示すブロック図である。本第２の実施形態における撮像装置は、第１の実施形態で図８を参照して説明した構成に、画素補間処理部８０２を追加したものである。それ以外の構成は図８と同様であるため、同じ参照番号を付して適宜説明を省略する。

以下、図１０（ｂ）で説明したように、撮像素子４００から位相差検出用の画像信号と、ダイナミックレンジ拡大用の画像信号を行ごとに交互に読み出した場合の処理について説明する。

撮像素子４００から出力された高ゲインで読み出した高ゲインＡ信号、高ゲインで読み出したＡ＋Ｂ信号、低ゲインで読み出したＡ＋Ｂ信号は、分配器４０１に入力される。分配器４０１は、画像に使用する信号（低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号）と、位相差検出に使用する信号（高ゲインＡ信号、高ゲインＡ＋Ｂ信号）とを分けて出力する。

Ｂ信号生成部４０８は、分配器４０１から出力された高ゲインＡ＋Ｂ信号から高ゲインＡを減算し、高ゲインＢ信号を生成する。位相差検出部４０３は、Ｂ信号生成部４０８から出力された位相差検出用の信号（高ゲインＡ信号、高ゲインＢ信号）から、位相差を検出する。フォーカス演算部４０４は、ここで検出された位相差情報とレンズのフォーカス位置に基づいて、フォーカスの演算を行う。得られたフォーカス情報をもとに、撮像装置ではピントの情報をユーザに通知したり、レンズのフォーカス制御を行う。

一方、画素補間処理部８０２は、後述するように低ゲインＡ＋Ｂ信号が読み出されていないラインについて、上下のラインから画素信号を補間する。画像合成部４０２は、高ゲインＡ＋Ｂ信号が飽和している場合に、高ゲインＡ＋Ｂ信号、低ゲインＡ＋Ｂ信号から、任意の合成方法を用いてダイナミックレンジ拡大画像を合成する。

ここで、図１２に図１１で説明した各ブロックにおける画像データのイメージを示す。図１２（ａ）は、撮像素子４００から出力された画像信号を表している。図１２（ａ）に示す様に、撮像素子４００から出力された画像信号は、高ゲインＡ＋Ｂ信号の間に高ゲインＡ信号と低ゲインＡ＋Ｂ信号が交互に読み出された状態である。

図１２（ｂ）は、分配器４０１により分離され、画素補間処理部８０２に入力される画像信号である。位相差検出用で使われる高ゲインＡ信号は、ダイナミックレンジの拡大には必要無いので分配器４０１で間引かれており、位相差検出用に高ゲインＡ信号を読み出したラインでは、ダイナミックレンジ拡大用の低ゲインＡ＋Ｂ信号が無い状態である。

図１２（ｃ）は、画素補間処理部８０２から出力された画像信号を示す図である。高ゲインＡ信号を読み出したラインでは、隣接する上下の低ゲインＡ＋Ｂ信号を用いて低ゲインＡ＋Ｂ信号が補間される様子を示している。

最後に、図１２（ｄ）は、Ｂ信号生成部４０８に入力される画像信号を示す図である。位相差検出処理にダイナミックレンジ拡大用の信号は必要ないため、高ゲインＡ信号が読み出されていないラインのダイナミックレンジ拡大用の画像信号である低ゲインＡ＋Ｂ信号及び高ゲインＡ＋Ｂ信号は、分配器４０１で間引かれて出力される。

上記の通り本第２の実施形態によれば、より少ない画像信号を読み出した場合でも、画素領域全体において、ダイナミックレンジ拡大及び位相差検出を行うことが可能となる。

＜第３の実施形態＞
次に、本発明の第３の実施形態について説明する。なお、第３の実施形態における撮像素子も、第１の実施形態で説明したものと同様であるため、ここでは説明を省略する。

上述した第２の実施形態では、位相差検出用に高ゲインＡ信号を読み出したラインでは、隣接する上下の低ゲインＡ＋Ｂ信号を用いて補間することで、ダイナミック拡大用の画像信号を生成していた。しかしながら、上下から画像信号を補間すると垂直解像度が低下してしまう。そこで、本実施形態では、位相差検出用の画像信号の輝度レベルを検出し、輝度レベルが所定値以下、且つ位相差が所定値以下である場合には、補間した低ゲインＡ＋Ｂ信号ではなく位相差検出用の画像信号をダイナミックレンジ拡大用の画像信号として用いる。これにより、垂直解像度を低下させない制御を行う。

図１３は、第３の実施形態における撮像装置の概略構成を示すブロック図である。本実施形態における撮像装置は、第２の実施形態で図１１を参照して説明した構成に、輝度検出部９０２及びライン選択処理部９０３を追加したものである。また、分配器４０１の処理が、図１１に示すものと異なる。それ以外の構成は、第１の実施形態で図８を参照して説明した構成及び第２の実施形態で図１１を参照して説明した構成と同様であるため、同じ参照番号を付して適宜説明を省略する。

第３の実施形態において、分配器４０１は、画像に使用する信号として、高ゲインＡ信号、低ゲインＡ＋Ｂ信号、高ゲインＡ＋Ｂ信号の３つを出力する。分配器４０１から出力されたこれらの信号は、輝度検出部９０２に入力される。輝度検出部９０２では、高ゲインＡ信号の輝度を検出し、検出結果をライン選択処理部９０３に出力する。ライン選択処理部９０３では、輝度検出部９０２及び位相差検出部４０３の情報に基づいてダイナミックレンジ拡大用の画像信号として高ゲインＡ信号を使うかどうかを選択する。

図１４は、第３の実施形態における処理を示すフローチャートである。まず、Ｓ３００で、輝度検出部９０２は、入力されたラインの高ゲインＡ信号の輝度レベルを検出する。次にＳ３０１で、位相差検出部４０３が、高ゲインＡ信号と、高ゲインＢ信号の位相差を検出する。

Ｓ３０２では、ライン選択処理部９０３において、Ｓ３００で検出した高ゲインＡ信号の輝度レベルが、所定値Ｔｈ１以下（閾値以下）であるかどうか判断する。所定値Ｔｈ１以下であればＳ３０３に進み、所定値Ｔｈ１よりも大きければＳ３０５に進む。

Ｓ３０３では、Ｓ３０１の検出結果をもとに、高ゲインＡ信号と高ゲインＢ信号の位相差が、所定値Ｔｈ２以下であるかどうか判断する。所定値Ｔｈ２以下であれば、焦点状態が合焦状態に近いと判断してＳ３０４に進み、所定値Ｔｈ２よりも大きければＳ３０５に進む。

Ｓ３０４ではダイナミックレンジ拡大用の画像信号として、高ゲインＡ信号を選択する。一方、Ｓ３０５ではダイナミックレンジ拡大用の画像信号として、上下から補間した低ゲインＡ＋Ｂ信号を使うことを選択し、画素補間処理部８０２は、Ｓ３０６で上下補間データの生成を行う。

Ｓ３０７において、画像合成部４０２は、高ゲインＡ信号、もしくは低ゲインＡ＋Ｂ信号を用いてダイナミックレンジ拡大の処理を行う。

上記の通り本第３の実施形態によれば、高ゲインＡ信号の輝度レベルが予め決められた輝度以下、且つ、合焦状態または合焦状態に近い場合に高ゲインＡ信号を用いることにより、垂直方向の解像度を落とさずにダイナミックレンジを拡大するができる。

＜第４の実施形態＞
次に、本発明の第４の実施形態について説明する。なお、第４の実施形態における撮像素子も、第１の実施形態で説明したものと同様であるため、ここでは説明を省略する。

第４の実施形態では、第３の実施形態に加え、動画撮影時に被写体の動き量を検出し、所定の動き量以下であれば撮像素子の駆動を変更し、位相差検出用の読み出しとダイナミックレンジ拡大用の読み出しをフレームごとに入れ替える処理を実施する。また、画像合成の際には、前後のフレームの画像信号を用いることで垂直解像度の低下を防ぐ。

図１５は、第４の実施形態における撮像装置の概略構成を示すブロック図である。図１５に示す構成は、第３の実施形態において図１３を参照して説明した構成に、動きベクトル検出部９０９及びメモリ９１０を追加したものである。それ以外の構成は、図１３と同様であるため、同じ参照番号を付して、適宜説明を省略する。

動きベクトル検出部９０９では、被写体の動き量を検出し、検出した結果を画像合成部４０２及び制御部４０５に出力する。メモリ９１０は画像信号を一時的に保管することができ、前後のフレームの画像信号を使って画像合成することが可能になる。

図１６は、第４の実施形態における処理を示すフローチャートである。なお、第３の実施形態の図１４を参照して説明した処理と同様の処理には同じステップ番号を付して説明を適宜省略する。

Ｓ３０４では、ダイナミックレンジ拡大用の画像信号として、高ゲインＡ信号を選択すると、Ｓ４０７において、画像合成部４０２は、第３の実施形態で説明したように高ゲインＡ信号を使ってダイナミックレンジ拡大の処理を行う。

一方、高ゲインＡ信号を選択しない場合、Ｓ３０３からＳ４０８に進み、Ｓ４０８において、被写体の動き量が所定値Ｔｈ３以上であるかどうかを判断する。所定値Ｔｈ３以上であれば、Ｓ３０５に進んで上下の画素の低ゲインＡ＋Ｂ信号から補間した上下補間データを選択する。Ｓ３０６で、画素補間処理部８０２は上下補間データの生成を行い、Ｓ４１０において、画像合成部４０２は、低ゲインＡ＋Ｂ信号を用いてダイナミックレンジ拡大の処理を行う。

一方、被写体の動き量が所定値Ｔｈ３よりも少ない場合、Ｓ４０９で撮像素子４００の駆動を変更する。ここではフレームごとに、高ゲインＡ信号と高ゲインＡ＋Ｂ信号を読み出す場合（図６（ｂ）の読み出し方法）と、高ゲインＡ＋Ｂ信号と低ゲインＡ＋Ｂ信号を読み出す場合（図７（ａ）の読み出し方法）を交互に切り替える処理を行う。そして、Ｓ４１１において、メモリ９１０に保持しておいた前後のフレームの低ゲインＡ＋Ｂ信号から補間した信号を使って、ダイナミックレンジ拡大の処理を実施する。

上記の通り本第４の実施形態によれば、被写体の動きが少ない場合に、前後のフレームの低ゲインＡ＋Ｂ信号から補間した信号を用いてダイナミックレンジ拡大処理を行うため、垂直解像度の低下を抑えることができる。

＜第５の実施形態＞
次に、本発明の第５の実施形態について説明する。なお、第５の実施形態における撮像素子は、第１の実施形態で説明したものと同様であるため、ここでは説明を省略する。

図１７は、光電変換部Ａ及びＢそれぞれに垂直出力線や列アンプが接続された撮像素子の単位画素１０１からＡＤ回路群１０４までの詳細を示した図である。図１（ｂ）の光電変換部Ａに対応する光電変換素子１１０１、光電変換部Ｂに対応する光電変換素子１１０２の信号を、それぞれ垂直出力線１１１３、及び垂直出力線１１１５に並行して読み出すことが可能な構成である。

なお、図１７において、図２と同様の構成には同じ参照番号を付して説明を省略する。図１７に示す構成では、図２に示す構成に加えて、各画素１０１は、光電変換素子１１０２から部分信号を独立して読み出すために、電荷保持部１１０８、画素アンプ１１１４を備えると共に、垂直出力線１１１５の電流を制御するための電流制御部１１１６を有する。

また、列アンプ１０３ｉは、光電変換素子１１０１及び光電変換素子１１０２から各垂直出力線１１１３，１１１５に出力された信号をそれぞれ増幅するための２つのアンプを含み、後段のＡＤ回路群１０４に出力する。また、各ＡＤ回路１０４ｉは、図２に示す構成に加えて、光電変換素子１１０２からのアナログ信号をデジタル信号に変換するためのＡ／Ｄ変換部１１１８、及び、デジタル信号を一時的に保持するためのメモリ１１１９、メモリ１１２０を有する。

上記構成により、光電変換素子１１０１，１１０２の部分信号を並行に読み出して処理及び出力することができるため、回路規模は大きくなるが、読み出し時間を短縮することができる。

また、信号処理部１０６において読み出したＡ信号とＢ信号を加算することでＡ＋Ｂ信号を得ることができる。ただし、その場合、図８、図１１、図１３におけるＢ信号生成部４０８が必要無く、分配器４０１から画像合成部４０２までの間に、Ａ＋Ｂ信号生成部が必要となる。

図１８は、図１７に示す構成において、光電変換素子１１０１，１１０２から高ゲイン及び低ゲインで部分信号を並列に読み出すときの列アンプ１０３ｉの制御を示すタイミングチャートである。

まず、時刻ｔ５１からｔ５４の間、スイッチ２００をＯＮし、スイッチ２０１及びスイッチ２０４をＯＦＦにしておくことで、列アンプ１０３ｉのゲインを高ゲインに設定する。この状態で、時刻ｔ５２で転送スイッチ１１０３及び１１０４をＯＮし、Ａ信号、Ｂ信号をそれぞれ読み出す。このとき、時刻ｔ５２からｔ５４の期間内で、高ゲインで読み出したＡ信号、及びＢ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

次に、時刻ｔ５４からｔ５５の間、スイッチ２００をＯＦＦし、スイッチ２０１及びスイッチ２０４をＯＮすることで、列アンプ１０３ｉのゲインを低ゲインに設定する。このとき、時刻ｔ５４からｔ５５の期間内で、低ゲインで読み出したＡ信号、及びＢ信号が、ＡＤ回路１０４ｉにおいてＡ／Ｄ変換される。

読み出した高ゲインＡ信号、高ゲインＢ信号、低ゲインＡ信号、低ゲインＢ信号から、図１の信号処理部１０６で高ゲインＡ信号と高ゲインＢ信号を加算することで、高ゲインＡ＋Ｂ信号を生成して出力する。また、信号処理部１０６で低ゲインＡ信号と低ゲインＢ信号を加算することで、低ゲインＡ＋Ｂ信号を生成して出力する。

なお、図１８に示すタイミングチャートでは、高ゲイン及び低ゲインそれぞれで信号を読み出す場合について説明したが、本発明はこれに限るものでは無い。例えば、高ゲイン信号が必要無い場合や、低ゲイン信号が必要無い場合は、必要なゲインで信号を読み出すことで、読み出し速度を上げることができる。

上記の通り本第５の実施形態によれば、フレームレートを落とすことなく、各フレームにおいて、ダイナミックレンジ拡大に用いる画像信号と、位相差検出に用いる画像信号を得ることができる。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。

例えば、上下の画素の画像信号を用いて低ゲインＡ＋Ｂ信号を補間する場合も、上下の画素の補間比率は状況に応じて任意に変えても良い。

＜他の実施形態＞
なお、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、スキャナ、ビデオカメラなど）から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：画素領域、１０１：単位画素、１０３：列アンプ群、１０３ｉ：列アンプ、１１１：マイクロレンズ、１１０１，１１０２：光電変換素子、４００：撮像素子、４０１：分配器、４０２：画像合成部、４０３：位相差検出部、４０４：フォーカス演算部、４０５：制御部、４０８：Ｂ信号生成部、８０２：画素補間処理部、９０２：輝度検出部、９０３：ライン選択処理部、９０９：動きベクトル検出部、９１０：メモリ

Claims (9)

1. 行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子と、
   前記撮像素子を制御する制御手段と、
   前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、
   前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
   前記制御手段は、
   前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段により位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
   前記処理手段によるダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段により位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御する
   ことを特徴とする撮像装置。
2. 行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子を有する撮像装置の制御方法であって、
   制御手段が、前記撮像素子を制御する制御工程と、
   処理手段が、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と、
   焦点検出手段が、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
   前記制御工程では、
   前記処理手段によりダイナミックレンジを拡大し、かつ、複数の異なるゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段により位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記複数の異なるゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
   前記処理手段によるダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段により位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御する
   ことを特徴とする制御方法。
3. 行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査することが可能な走査手段と、を有する撮像素子と、
   前記撮像素子を制御する制御手段と、
   前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大する処理手段と、
   前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
   前記制御手段は、
   前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
   前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第２のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
   ことを特徴とする撮像装置。
4. 行列状に配置された複数のマイクロレンズと各マイクロレンズに対して構成された複数の光電変換部とを有する画素領域と、前記画素領域から出力される信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、前記複数の光電変換部の一部の信号である部分信号と、前記複数の光電変換部の信号を加算した加算信号とを読み出すように、前記画素領域を走査する走査手段と、を有する撮像素子を有する撮像装置の制御方法であって、
   制御手段が、前記撮像素子を制御する制御工程と、
   処理手段が、前記複数の異なるゲインを用いて増幅された前記加算信号を用いて、ダイナミックレンジを拡大するダイナミックレンジ拡大工程と、
   焦点検出手段が、前記部分信号と前記加算信号とを用いて、位相差方式の焦点検出を行う焦点検出工程と、を有し、
   前記制御工程では、
   前記処理手段によりダイナミックレンジの拡大を行わず、かつ、前記第１のゲインを用いて増幅された前記部分信号と前記加算信号とを用いて前記焦点検出手段による位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記第１のゲインを用いて前記部分信号および前記加算信号を増幅するように前記増幅手段を制御し、
   前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第２のモードが設定されている場合に、前記画素領域から、前記部分信号を読み出さないように前記走査手段を制御すると共に、前記複数の異なるゲインを用いて前記加算信号を増幅するように前記増幅手段を制御する
   ことを特徴とする制御方法。
5. コンピュータに、請求項２または４に記載の制御方法の各工程を実行させるためのプログラム。
6. 請求項５に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
7. 複数のマイクロレンズと複数の光電変換部とを有する画素を複数含む画素領域と、前記複数の画素から信号を読み出すために前記画素領域を走査する走査手段と、前記走査手段により前記複数の画素から読み出された信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、を有する撮像素子と、
   前記撮像素子を制御する制御手段と、
   前記複数の異なるゲインを用いて増幅された前記信号を用いて、ダイナミックレンジを拡大する処理手段と、
   前記複数の画素それぞれの前記複数の光電変換部から読み出された信号を用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
   前記走査手段は、前記複数の画素それぞれから、各画素の前記複数の光電変換部の信号を別々に読み出し、
   前記制御手段は、前記撮像素子を、
   前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段により位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記増幅手段が前記複数の異なるゲインを用いて前記複数の光電変換部から読み出された信号を増幅し、前記複数の異なるゲインにより増幅された前記複数の画素それぞれの前記複数の光電変換部の信号を出力し、
   前記処理手段によるダイナミックレンジの拡大を行わず、かつ、前記焦点検出手段により位相差方式の焦点検出を行う第２のモードが設定されている場合に、前記増幅手段が前記第１のゲインを用いて前記複数の光電変換部から読み出された信号を増幅し、前記第１のゲインにより増幅された前記複数の画素それぞれの前記複数の光電変換部の信号を出力する
   ように制御することを特徴とする撮像装置。
8. 複数のマイクロレンズと複数の光電変換部とを有する画素を複数含む画素領域と、前記複数の画素から信号を読み出すために前記画素領域を走査する走査手段と、前記走査手段により前記複数の画素から読み出された信号を少なくとも第１のゲインを含む複数の異なるゲインを用いて増幅可能な増幅手段と、を有する撮像素子と、
   前記撮像素子を制御する制御手段と、
   前記複数の異なるゲインを用いて増幅された前記信号を用いて、ダイナミックレンジを拡大する処理手段と、
   前記複数の画素それぞれの前記複数の光電変換部から読み出された信号を用いて、位相差方式の焦点検出を行う焦点検出手段と、を有し、
   前記走査手段は、前記複数の画素それぞれから、各画素の前記複数の光電変換部の信号を別々に読み出し、
   前記制御手段は、前記撮像素子を、
   前記処理手段によるダイナミックレンジの拡大を行わず、かつ、前記焦点検出手段により位相差方式の焦点検出を行う第１のモードが設定されている場合に、前記増幅手段が前記第１のゲインを用いて前記複数の光電変換部から読み出された信号を増幅し、前記第１のゲインにより増幅された前記複数の画素それぞれの前記複数の光電変換部の信号を出力し、
   前記処理手段によりダイナミックレンジを拡大し、かつ、前記焦点検出手段による位相差方式の焦点検出を行わない第２のモードが設定されている場合に、前記増幅手段が前記複数の異なるゲインを用いて前記複数の画素から読み出された信号を増幅し、前記複数の異なるゲインにより増幅された前記複数の画素それぞれの前記複数の光電変換部の信号を出力する
   ように制御することを特徴とする撮像装置。
9. 前記撮像素子は、前記複数の画素それぞれの前記複数の光電変換部からそれぞれ読み出された信号を加算する加算手段を更に有することを特徴とする請求項７または８に記載の撮像装置。

Images