JP2016082354A - 撮像素子、撮像装置 - Google Patents

Abstract

【課題】画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出して焦点検出を可能とする撮像素子等を提供する。
【解決手段】画像用および焦点検出用の画素信号を生成する画素部２１と、画像用の画素信号を記憶する第１メモリ部２２Ａと、焦点検出用の画素信号を記憶する第２メモリ部２２Ｂと、複数の画素信号から画像用の画素信号を合成する画素信号合成部２３と、画素信号合成部２３により合成された画像用の画素信号と第２メモリ部２２Ｂに記憶された焦点検出用の画素信号とを出力する画像信号出力部２４と、を備えた撮像素子２。
【選択図】図２

Description

本発明は、画素が行列状に配置され、画像用の画素信号と焦点検出用の画素信号とを生成する撮像素子、撮像装置に関する。

近年、画素が行列状に配置され、画像用の画素信号と焦点検出用の画素信号とを生成する撮像素子が提案されている。こうした撮像素子は、例えば、行列状に配置した画像用画素の中に焦点検出用画素を離散的に配置した構成、あるいは１つの画素中に複数のフォトダイオードを設けて１つの画素から画像用の画素信号と焦点検出用の画素信号との両方を得ることができる構成などが知られている。

また、静止画像は高解像度の画像が求められるのに対して、動画像は一定の解像度（一定の画素数）の画像を例えば３０ｆｐｓあるいは６０ｆｐｓといったフレームレートで取得することが求められている。このために、動画像取得時等には、画素加算を行って読み出す画素数を減らすことで、読み出しに要する時間を低減し、フレームレートの向上を図ることが行われている。

そして、焦点検出用画素を備える撮像素子においても、画素加算を行う技術が提案されている。

例えば、特開２０１０−２００５５号公報には、撮像素子内の複数の画素の出力を加算して読み出す加算読み出しモードにおいて、加算対象画素群が撮像用画素のみである場合は加算し、加算対象画素群に焦点検出用画素が含まれる場合には撮像用画素群の信号と焦点検出用画素の信号とが混合しないように読み出す加算読み出しモードを有する撮像装置が記載されている。

また、特開２０１３−１１０６０７号公報には、マイクロレンズを有する画素と、画素毎に配置された複数の光電変換領域と、画素毎に配置された光電変換領域の信号を加算する加算手段と、を有する撮像素子において、複数の画素が水平方向および垂直方向に２次元的に配置され、複数の画素の内、光電変換領域の信号を加算手段によって加算した信号を出力する加算読出領域と、光電変換領域の信号を加算手段によって加算しないで出力する独立読出領域とを設定し、加算読出領域と独立読出領域の水平方向の画素数を同一とする技術が記載されている。

従来より行われている画素加算について、本発明の実施形態に係る図５、図７〜図９を参照して説明する。

まず、フォトダイオードを有する画素が行列状に配列された画素部２１の構成が、例えば図７に示すように、基本的に原色ベイヤー配列（ここに、左上から右下への斜め線ハッチングは緑画素を、縦線ハッチングは赤画素を、横線ハッチングは青画素を、それぞれ示す）であり、その中に離散的に焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂが配置されているものとする。また、図５に示すように、画素部２１から読み出したアナログの画素信号をそれぞれ記憶するアナログのメモリ部２２を備え、メモリ部２２から画素信号を行毎に読み出して、列並列型ＡＤ変換器２５で１行内の複数の画素信号を同時にデジタル信号に変換するものとする。

図８はＶ２／２Ｈ２／２加算、図９はＶ１／５Ｈ３／３加算の例を示している。ここに、画素加算は同色の画素信号同士で行われ、Ｖは垂直方向、Ｈは水平方向を示し、分母が配列における同色何画素毎かを、分子が加算画素数を、それぞれ示している。

図８に示すＶ２／２Ｈ２／２加算の場合には、全画素の同色の画素信号同士が垂直方向および水平方向に２×２画素加算され、列並列型ＡＤ変換器２５によりデジタル信号に変換される。

図９に示すＶ１／５Ｈ３／３加算の場合には、５行に１行の割合で画素信号が列並列型ＡＤ変換器２５によりデジタル信号に変換され、デジタル信号に変換された同色の画素信号同士が水平方向に３画素加算される。

ところで、画像のフレームレートには列並列型ＡＤ変換器２５の動作回数が大きな影響を及ぼし、大まかにいって、画像を読み出すのに要する時間は列並列型ＡＤ変換器２５の動作回数に比例する。

すると、Ｖ２／２Ｈ２／２加算の場合には、全画素読み出しの場合と同一レベルの読出時間がかかるのに対して、Ｖ１／５Ｈ３／３加算の場合には、全画素読み出しやＶ２／２Ｈ２／２加算の場合の約１／５の読み出し時間で済むことになるために、フレームレートを概略５倍に上げることが可能である。

特開２０１０−２００５５号公報 特開２０１３−１１０６０７号公報

しかし、例えばＶ１／５Ｈ３／３加算の場合には、５行毎に４行（図９において灰色に塗りつぶした行）がデジタル信号に変換されないために、変換されなかった行に含まれる焦点検出用画素信号を焦点検出に用いることができず、図９に示す例では焦点検出用画素Ｒの信号のみしか得られないために焦点検出を行うことができない。従って、例えば動画像の取得とは別途のフレームで焦点検出用画素信号の取得を行わなければならず、フレームレートを概略５倍に上げる利点を享受することができなかった。

本発明は上記事情に鑑みてなされたものであり、画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出して焦点検出を可能とする撮像素子、撮像装置を提供することを目的としている。

本発明のある態様による撮像素子は、画素が行列状に配置されており、隣接する複数の上記画素を単位画素と見なしたときにさらに該単位画素が行列状に配置されていて、画像用の画素信号と、焦点検出用の画素信号と、を生成する画素部と、上記単位画素内の画素から生成される上記画像用の画素信号を少なくとも合成した画像用の画素信号を生成する画素信号合成部と、上記画素信号合成部が前段に配設されている場合には該画素信号合成部により生成された合成された上記画像用の画素信号、上記画素信号合成部が後段に配設されている場合には上記画素部から読み出された少なくとも上記画像用の画素信号、を記憶する第１アナログメモリと、上記焦点検出用の画素信号を記憶する第２アナログメモリと、上記画素信号合成部が上記第１アナログメモリの前段に配設されている場合には該第１アナログメモリから読み出された合成された画像用の画素信号、上記画素信号合成部が上記第１アナログメモリの後段に配設されている場合には該画素信号合成部により生成された合成された画像用の画素信号と、上記第２アナログメモリに記憶された上記焦点検出用の画素信号と、を画像信号として出力する画像信号出力部と、を備えている。

本発明のある態様による撮像装置は、上記撮像素子と、上記撮像素子に光学像を結像するものであって、焦点位置を調節可能な撮像光学系と、上記撮像素子から出力された焦点検出用の画素信号に基づき、上記撮像光学系の焦点位置を調節する焦点検出制御部と、を備えている。

本発明の撮像素子、撮像装置によれば、画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出して焦点検出を可能とすることができる。

本発明の実施形態１における撮像装置の構成を示すブロック図。 上記実施形態１における撮像素子の構成の概要を示すブロック図。 上記実施形態１において、画素部の画素から第１メモリ部のメモリピクセルへの画像用画素信号の転送の様子を示すブロック図。 上記実施形態１において、画素部の画素から第１メモリ部および第２メモリ部のメモリピクセルへの焦点検出用画素信号の転送の様子を示すブロック図。 上記実施形態１における撮像素子のより具体的な構成例を示す図。 上記実施形態１の撮像素子において基本的なグローバルシャッタ撮像動作を行ったときの各信号を示すタイミングチャート。 上記実施形態１における画素部の構成を示す図。 上記実施形態１において、第１メモリ部に記憶される画素信号の配置と、Ｖ２／２，Ｈ２／２加算読み出し時の単位画素ＰＵの例とを示す図。 上記実施形態１において、第１メモリ部に記憶される画素信号の配置と、Ｖ１／５，Ｈ３／３加算読み出し時の単位画素ＰＵｂ，ＰＵｒの例とを示す図。 上記実施形態１において、撮像素子における第１メモリ部および第２メモリ部と列並列型ＡＤ変換器の構成をより詳細に示す図。 上記実施形態１において、Ｖ２／２，Ｈ２／２加算読み出し時の第１メモリ部および第２メモリ部の画素信号の配置を示す図。 上記実施形態１において、Ｖ１／５，Ｈ３／３加算読み出し時の第１メモリ部および第２メモリ部の画素信号の配置を示す図。 上記実施形態１の撮像素子においてグローバルシャッタ撮像動作を行ったときの各信号を示す、一部拡大部分を含むタイミングチャート。 本発明の実施形態２における撮像素子の構成の概要を示すブロック図。 上記実施形態２において、画素部の画素から第１メモリ部および第２メモリ部のメモリピクセルへの画像用画素信号および焦点検出用画素信号の転送の様子を示すブロック図。 上記実施形態２において、Ｖ２／２，Ｈ２／２加算読み出し時の第１メモリ部および第２メモリ部の画素信号の配置を示す図。 上記実施形態２において、Ｖ１／５，Ｈ３／３加算読み出し時の第１メモリ部および第２メモリ部の画素信号の配置を示す図。 本発明の実施形態３における撮像素子の構成の概要を示すブロック図。 上記実施形態３における画素の構成を示す図。 上記実施形態３において、画素部の原色ベイヤーカラーフィルタ配列を示す図。 上記実施形態３において、画素部から通常の全画素読み出しを行った場合に第１メモリ部に記憶される画素信号の様子を示す図。 上記実施形態３において、画素部から全画素読み出しを行うと共に、さらに画素部から、例えば全ての緑画素に係る焦点検出用画素Ｒの画素信号および焦点検出用画素Ｌの画素信号を読み出すときのメモリ部の様子を示す図。 上記実施形態３において、ＡＦ領域を制限しながら画素部から全画素読み出しを行うときのメモリ部の様子を示す図。 上記実施形態３において、Ｖ２／２，Ｈ２／２加算読み出し時の第１メモリ部および第２メモリ部の画素信号の配置を示す図。 上記実施形態３において、Ｖ１／５，Ｈ３／３加算読み出し時の第１メモリ部および第２メモリ部の画素信号の配置を示す図。

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

図１から図１３は本発明の実施形態１を示したものであり、図１は撮像装置の構成を示すブロック図である。

この撮像装置は、図１に示すように、レンズ１と、撮像素子２と、画像処理部３と、ＡＦ（オートフォーカス）評価値演算部４と、表示部５と、手振検出部７と、手振補正部８と、露光制御部９と、フォーカス制御部１０と、カメラ操作部１１と、カメラ制御部１２と、を備えている。なお、図１にはメモリカード６も記載されているが、このメモリカード６は撮像装置に対して着脱可能に構成されているために、撮像装置に固有の構成でなくても構わない。

レンズ１は、被写体の光学像を撮像素子２の撮像領域に結像する撮像光学系である。このレンズ１は、焦点位置（ピント位置）を調節してフォーカシングを行うためのフォーカスレンズと、通過する光束の範囲を制御するための絞りと、を備え、さらに、本実施形態においては手振補正機能も備えたものとなっている。

撮像素子２は、レンズ１により結像された被写体の光学像を光電変換して画像信号として出力する。なお、本実施形態においては、撮像素子２が原色ベイヤー配列のカラーフィルタを備えたカラー撮像素子（図７参照）であるとして説明するが、もちろんその他の構成であっても構わない。そして、本実施形態の撮像素子２は、後で図７を参照して説明するように、原色ベイヤー配列の画素（画像用画素）中に、焦点検出用画素を離散的に配置して構成されている。また、撮像素子２は、レンズ１の撮影光軸に垂直な面内を移動可能に構成されていて、手振補正機能を備えたものとなっている。

画像処理部３は、撮像素子２の後述する画像用（具体的には、動画または静止画を得るための）画素から出力される画像信号に各種の画像処理を行うものである。この画像処理部３は、例えば静止画用に全画素読み出しを行う場合には、撮像素子２の後述する焦点検出用画素の画素信号を、焦点検出用画素の近傍の画像用画素の画素信号に基づいて補間演算する処理を行う。また、画像処理部３は、例えば動画用に加算読み出しを行う場合であって、画像用画素信号に加えて焦点検出用画素信号も加算する場合には、焦点検出用画素の画素開口が画像用画素よりも小さいことに起因する画素信号低下分の増幅、および非合焦位置にある焦点検出用画素に起因する画素信号変動分の補間を行う。

ＡＦ評価値演算部４は、撮像素子２から出力された画像信号に基づいてＡＦ評価値を算出し、カメラ制御部１２へ出力するものである。具体的にＡＦ評価値演算部４は、撮像素子２の焦点検出用画素から読み出された信号に基づいて位相差を算出し、ＡＦ評価値として出力するようになっている。なお、ＡＦ評価値演算部４は、さらに、撮像素子２から出力された画像信号に基づいてコントラスト値を算出し、ＡＦ評価値として出力するものであっても構わない（つまり、位相差ＡＦに加えて、さらにコントラストＡＦを行っても構わない）。

表示部５は、画像処理部３により表示用に画像処理された信号に基づき、画像を表示するものである。この表示部５は、ライブビュー表示や静止画像表示、動作再生表示等を行うとともに、この撮像装置に係る各種の情報等も表示するようになっている。

メモリカード６は、画像処理部３により記録用に画像処理された信号（静止画像信号、動画像信号など）を保存するための記録媒体である。

手振検出部７は、加速度センサや角速度センサ等を有して構成され、この撮像装置の手振れを検出してカメラ制御部１２へ出力するものである。

手振補正部８は、カメラ制御部１２の制御に基づいて、検出された手振れを相殺するようにレンズ１と撮像素子２との少なくとも一方を移動させ、撮像素子２の撮像領域上に結像される光学的な被写体像に手振れの影響が生じるのを軽減するものである。

露光制御部９は、カメラ制御部１２により決定されたシャッタ速度（露光時間）に基づいて、該カメラ制御部１２の制御の下に、撮像素子２の素子シャッタ（この素子シャッタには、グローバルシャッタやローリングシャッタが含まれている）を制御し、画像を取得させるものである。さらに、露光制御部９は、カメラ制御部１２により決定された絞り値に基づいて、レンズ１に含まれる絞りの制御等も行うようになっている。ここに、シャッタ速度および絞り値は、撮像素子２から出力された画像信号に基づいて算出された測光データと、カメラ操作部１１により設定された（またはカメラ制御部１２により自動設定された）ＩＳＯ感度と、等を用いて、例えばＡＰＥＸシステムに沿ったプログラム線図等に基づきカメラ制御部１２により決定される。また、露光制御部９は、撮像素子２の駆動情報をカメラ制御部１２へ出力するようになっている。

フォーカス制御部１０は、焦点を調節するためにレンズ１を駆動するものである。すなわち、フォーカス制御部１０は、ＡＦ評価値演算部４からＡＦ評価値を受けたカメラ制御部１２の制御に基づいて、レンズ１に含まれるフォーカスレンズを駆動し、撮像素子２に結像される被写体像が合焦に至るようにするものである。このように、ＡＦ評価値演算部４、カメラ制御部１２、およびフォーカス制御部１０は、撮像素子２の焦点検出用画素から読み出された信号に基づいて焦点状態を検出し制御する焦点検出制御部を構成し、本実施形態の撮像装置は焦点検出装置としての機能を備えている。また、フォーカス制御部１０は、レンズ位置などのレンズ駆動情報をカメラ制御部１２へ出力するようになっている。

カメラ操作部１１は、この撮像装置に対する各種の操作入力を行うための操作部である。このカメラ操作部１１には、撮像装置の電源をオン／オフするための電源スイッチ、静止画撮影、動画撮影などを指示入力するためのレリーズボタン、静止画撮影モードや動画撮影モード、ライブビューモードなどを設定するためのモードボタン等の操作部材が含まれている。

カメラ制御部１２は、フォーカス制御部１０からのレンズ駆動情報やＡＦ評価値演算部４からのＡＦ評価値、露光制御部９からの駆動情報、画像処理部３からの処理情報、手振検出部７からの手振情報、カメラ操作部１１からの操作入力などに基づいて、画像処理部３、メモリカード６、手振補正部８、露光制御部９、フォーカス制御部１０等を含むこの撮像装置全体を制御するものである。

次に、図２は、撮像素子２の構成の概要を示すブロック図である。

この撮像素子２は、画素部２１と、第１メモリ部２２Ａおよび第２メモリ部２２Ｂと、画素信号合成部２３と、画像信号出力部２４と、素子制御部２６と、を備えている。

画素部２１は、後述する画素３１（図３〜図５等参照）が行列状に配置されており、隣接する複数の画素３１を単位画素と見なしたときにさらに単位画素が行列状に配置されていて、画像用（上述したように、動画用または静止画用）の画素信号と、焦点検出用の画素信号と、を生成する。

第１メモリ部２２Ａは、本実施形態においては画素信号合成部２３が後段に配設されており、画素部２１から読み出された少なくとも画像用の画素信号を記憶する第１アナログメモリである。なお、第１メモリ部２２Ａは、後述する実施形態２，３においては画素信号合成部２３が前段に配設されており、画素信号合成部２３により生成された合成された画像用の画素信号を記憶する第１アナログメモリとなる。そして、本実施形態の第１メモリ部２２Ａは、さらに、画素部２１から読み出された焦点検出用の画素信号も記憶するものとなっている。

第２メモリ部２２Ｂは、画素部２１から読み出された焦点検出用の画素信号を記憶する第２アナログメモリである。

なお、本実施形態においては、メモリ部２２の一部が第１メモリ部２２Ａ、他の一部が第２メモリ部２２Ｂとなっている構成例を説明するが、第１メモリ部２２Ａと第２メモリ部２２Ｂとが別個に設けられている構成であっても構わない。

画素信号合成部２３は、単位画素内の画素から生成される画像用の画素信号を少なくとも合成した画像用の画素信号を生成する。ここに、本実施形態の画素信号合成部２３は、画像用の画素信号だけでなくさらに焦点検出用の画素信号を合成して画像用の画素信号を生成するものとなっており、第１メモリ部２２Ａから読み出された画素信号に基づいて合成を行う。

画像信号出力部２４は、画素信号合成部２３が第１メモリ部２２Ａの後段に配設されており、画素信号合成部２３により生成された合成された画像用の画素信号と、第２メモリ部２２Ｂに記憶された焦点検出用の画素信号と、を画像信号として出力する。

この画像信号出力部２４は、各列にＡＤ変換器であるＡＤＣ３３（図５、図１０等参照）を配置して各列の画素信号を同時的に読み出す列並列型ＡＤ変換器２５を有し、単位画素によって構成される行毎に、合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型ＡＤ変換器２５によりＡＤ変換するようになっている。

素子制御部２６は、画素部２１からの画素信号の読み出し、メモリ部２２からの画素信号の読み出し、画素信号合成部２３による画素加算モード（例えば、後述するＶ２／２，Ｈ２／２加算読出モード、あるいはＶ１／５，Ｈ３／３加算読出モード等）、画像信号出力部２４の列並列型ＡＤ変換器２５に配列されている複数のＡＤＣ（アナログ・デジタル・コンバータ）３３（図５、図１０参照）の内の、信号出力が行われないＡＤＣの動作停止、等の制御を行うものである。

図３は画素部２１の画素３１から第１メモリ部２２Ａのメモリピクセル３２への画像用画素信号の転送の様子を示すブロック図である。

画素部２１における画像用の画素３１は、第１メモリ部２２Ａのメモリピクセル３２に、例えば１対１に対応するように接続されていて、画像用の画素３１から読み出された画像用画素信号は、対応するメモリピクセル３２に記憶される。

図４は画素部２１の画素３１から第１メモリ部２２Ａおよび第２メモリ部２２Ｂのメモリピクセル３２への焦点検出用画素信号の転送の様子を示すブロック図である。

画素部２１における焦点検出用の画素３１は、第１メモリ部２２Ａのメモリピクセル３２（ただし、画像用画素信号が記憶されるメモリピクセル３２とは異なるメモリピクセル３２）と第２メモリ部２２Ｂのメモリピクセル３２とに接続されていて、焦点検出用の画素３１から読み出された焦点検出用画素信号は、第１メモリ部２２Ａのメモリピクセル３２および第２メモリ部２２Ｂのメモリピクセル３２にそれぞれ記憶される。すなわち、ある注目する焦点検出用の画素３１の出力は、第１メモリ部２２Ａのメモリピクセル３２と第２メモリ部２２Ｂのメモリピクセル３２との２個所に転送されて記憶される。

図５は、撮像素子２のより具体的な構成例を示す図である。なお、この図５に示す各回路要素の配置は、適宜に概念化して記載されていて、実際の配置と必ずしも一致するわけではない。

画素部２１は、露光量に応じた信号電荷を生成する複数の画素３１が行列状に配列された撮像領域である（図７も参照）。この画素部２１における画素３１の、行方向の配列は「行」あるいは「ライン」などと呼ばれ、列方向の配列は「列」と呼ばれる。また、行方向は水平方向、列方向は垂直方向などとも呼ばれる。

なお、画素部２１から焦点検出用の画素信号を読み出すＡＦ領域２１ａは、自動設定または手動設定により所望の領域に設定可能であるが、この図５に示す例では、画素部２１全体に対応する広い領域に設定されている。なお、ＡＦ領域２１ａの自動設定は、被写体検出等に基づいてカメラ制御部１２により行われ、ＡＦ領域２１ａの手動設定は、カメラ操作部１１を介してユーザにより行われる。従って、ＡＦ領域２１ａを選択する焦点検出用画素領域選択部は、自動設定時にはカメラ制御部１２が対応し、手動設定時にはカメラ操作部１１が対応する。

メモリ部２２は、画素部２１に配列された各画素３１の信号電荷を一時的に蓄積する記憶部である。そして本実施形態のメモリ部２２は、例えば画素部２１に配列された画像用および焦点検出用の画素３１と同一数かつ同一配列（同一行列数）のメモリピクセル３２（図８〜図１０を参照）を有する第１メモリ部２２Ａと、焦点検出用の画素３１の画素信号を記憶する第１メモリ部２２Ｂと、を有して構成されている。このメモリ部２２は、構造としては、例えば、画素部２１に対して基板厚み方向に積層された配置となっている。

上述した画像信号出力部２４は、列並列型ＡＤ変換器２５を備えると共に、さらに、水平信号線２４ａとセンスアンプ回路２４ｂとを備えている。

上述した素子制御部２６は、制御回路２６ａと、垂直走査回路２６ｂと、水平読出回路２６ｃと、ＤＡＣ（デジタル・アナログ・コンバータ）２６ｄと、を備えている。

垂直走査回路２６ｂは、シフトレジスタ等で構成されていて、制御信号線３４が行毎に接続されており、画素部２１やメモリ部２２への制御信号を行毎に独立して出力することができるようになっている。例えば、垂直走査回路２６ｂは、グローバルシャッタ動作を行うときには、画素部２１の全ての画素３１のリセット動作を同時に終了して露光を開始させ、全ての画素３１の画素信号をメモリ部２２のメモリピクセル３２へ一斉に転送することにより露光を終了させる。また、垂直走査回路２６ｂは、ローリングシャッタ動作を行うときには、画素３１のリセット終了による露光開始と、画素信号のメモリピクセル３２への転送と、を行毎に順次行う。そして、垂直走査回路２６ｂは、メモリ部２２に配列されたメモリピクセル３２を例えば行単位で読出制御する。

垂直信号線３５は、全ての画素３１およびメモリピクセル３２の列に各対応して設けられている。

列並列型ＡＤ変換器２５は、複数の垂直信号線３５に各接続された複数のＡＤＣ３３を備えている。複数の（あるいは全ての）ＡＤＣ３３は同時に動作可能であるために、複数の（あるいは全ての）垂直信号線３５を介して伝送されるアナログ信号が同時にデジタル信号に変換される。そして、列並列型ＡＤ変換器２５は、垂直信号線３５を介してメモリ部２２のメモリピクセル３２から列毎に出力された画素信号に対して、例えばノイズ除去や増幅等の信号処理を行い、さらに、アナログの画素信号をデジタル信号へ変換する処理を行う。

ＤＡＣ２６ｄは、制御回路２６ａが列並列型ＡＤ変換器２５を制御するために出力するデジタル信号を、アナログ信号に変換するものである。

水平読出回路２６ｃは、例えばシフトレジスタで構成されており、画素信号を読み出そうとする画素列に係る列並列型ＡＤ変換器２５のＡＤＣ３３を順次選択し、列並列型ＡＤ変換器２５から画素信号を順次水平信号線２４ａへ出力することにより画素信号を読み出すものである。

センスアンプ回路２４ｂは、水平信号線２４ａへ出力された画素信号に対して増幅等の信号処理を行うものである。

制御回路２６ａは、露光制御部９の制御に基づいて、動作の基準となるクロック信号や、垂直同期信号ＶＤ（図１３等参照）、水平同期信号ＨＤ（図１３等参照）等の制御信号を生成し、上述した列並列型ＡＤ変換器２５、垂直走査回路２６ｂ、水平読出回路２６ｃ、ＤＡＣ２６ｄ等を制御する制御部である。この制御回路２６ａは、後で図１０を参照して説明するように、バイアス電流制御回路３６ａ，３６ｂを介した撮像用読出回路４０ａ、焦点検出用読出回路４０ｂの垂直信号線３５のバイアス電流のオン／オフと、カウンタ制御回路３７ａ，３７ｂを介したＡＤＣ３３のカウンタ３３ｂのオン／オフと、をさらに制御するようになっている。

続いて、図６は、撮像素子２において基本的なグローバルシャッタ撮像動作を行ったときの各信号を示すタイミングチャートである。

まず、カメラ制御部１２は、測光結果に基づいて、露光時間Ｔｅｘｐを設定する。

そして、露光制御部９は、垂直同期信号ＶＤの立ち上がりタイミングから例えば露光時間Ｔｅｘｐだけ遡った時点で、予め行っていた撮像素子２の全画素の光電変換部（フォトダイオード）のリセット動作を、同時に終了する。このリセット終了時点から露光が開始され、光電変換部に信号電荷が蓄積されていく。この光電変換部による信号電荷の蓄積は、露光時間Ｔｅｘｐが経過するまで行われる。

次に、露光時間Ｔｅｘｐが経過した垂直同期信号ＶＤの立ち上がりタイミングにおいて、全画素に蓄積されている画素信号をメモリ部２２のメモリピクセル３２に一斉転送する。これにより、全画素の露光が一括して（同時に）終了する。

その後に、メモリ部２２から水平信号線２４ａへの画素信号の読み出しが、列並列型ＡＤ変換器２５により複数列の画素信号を同時にＡＤ変換しながら、１行毎に順次行われ、センスアンプ回路２４ｂにより増幅されて出力される。

このように、画素部２１からメモリ部２２への画素信号の転送は一斉に行われるためにごく短い時間で終了するが、列並列型ＡＤ変換器２５によるＡＤ変換は行毎に順次行われるために（そしてＡＤ変換自体が後述するようにクロックをカウントするという時間を要する動作であるために）、ＡＤ変換の実行回数に応じた時間を要する。こうして、画像を読み出すのに要する時間、ひいては動画のフレームレートは、大まかにいって、列並列型ＡＤ変換器２５の動作回数に比例して増大するようになっている。

図７は、画素部２１の構成を示す図である。

画素部２１における焦点検出用画素は、一例として、この図７に示すような画素配置となっている。

画素部２１に配列されている画素３１には、被写体像を撮像するための画像用画素と、位相差に基づき焦点検出を行うための焦点検出用画素と、が設けられている。画像用画素群は複数の画素が行方向および列方向に配列され、焦点検出用画素群は画像用画素群内に離散的に配置されている。

本実施形態における焦点検出用画素としては、レンズ１の瞳の、右側を通過する光線を光電変換する焦点検出用画素Ｒと、左側を通過する光線を光電変換する焦点検出用画素Ｌと、上側を通過する光線を光電変換する焦点検出用画素Ｔと、下側を通過する光線を光電変換する焦点検出用画素Ｂと、がある。

これらの内の、焦点検出用画素Ｒで得られた画像と焦点検出用画素Ｌで得られた画像とに基づいて水平方向（行方向）の位相差が検出され、焦点検出用画素Ｔで得られた画像と焦点検出用画素Ｂで得られた画像とに基づいて垂直方向（列方向）の位相差が検出される。

なお、これらに限らず、右斜め方向や左斜め方向、あるいはその他の方向の位相差を検出する焦点検出用画素を設けても構わない。こうして、水平方向だけでなく、水平方向以外の方向の位相差も検出可能とすることにより、焦点検出性能の高性能化を図っている。

これらの焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂは、画素部２１内において、上述したように、行列状に配列された複数の画素３１の中に離散的に複数配置されている。

具体的に、焦点検出用画素は、例えば図７に示すような基本配置パターンを画素部２１内に敷き詰めることにより配置されている。なお、図７において、左上から右下への斜め線によるハッチングは画像用画素における緑画素を、縦線によるハッチングは画像用画素における赤画素を、横線によるハッチングは画像用画素における青画素を、それぞれ示している。

この図７に示す基本配置パターンにおいては、焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂは、原色ベイヤー配列における緑画素の位置にのみ配置され、特にこの図７に示す例においては、赤画素と同じ行でかつ青画素と同じ列の緑画素の位置にのみ配置されている。そして、焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂの何れかが４画素に１画素の割合で配置されているラインと、焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂは何れも配置されていないラインと、が交互に存在する。

具体的に、焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂの何れかが配置されているラインのみをライン番号順に例示すれば、焦点検出用画素Ｒのみが配置されているラインｎ、ラインｎとは水平方向に２画素ずらして焦点検出用画素Ｔ，Ｂが交互に配置されているライン（ｎ＋２）、ライン（ｎ＋２）と水平方向の配置が同じライン（ｎ＋４）、ラインｎと水平方向に同じ配置で焦点検出用画素Ｌのみが配置されているライン（ｎ＋６）、ライン（ｎ＋２）とは水平方向に−２画素ずらして焦点検出用画素Ｔ，Ｂが交互に配置されているライン（ｎ＋８）、ラインｎとは水平方向に２画素ずらして焦点検出用画素Ｒのみが配置されているライン（ｎ＋１０）、ライン（ｎ＋２）と水平方向の配置が同じライン（ｎ＋１２）およびライン（ｎ＋１４）、ライン（ｎ＋１０）と水平方向に同じ配置で焦点検出用画素Ｌのみが配置されているライン（ｎ＋１６）、ライン（ｎ＋８）と水平方向の配置が同じライン（ｎ＋１８）、などとなっている。

こうして、図７に示す例では、２ラインに１ラインの割合、かつ水平４画素に１画素の割合で焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂが配置されているために、全画素に占める焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂの割合は１／８となっている。従って、例えば図７に示したような２０行３２列でなる６４０画素の内の、１／８の割合の８０画素が焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂとなっている。

図８は、第１メモリ部２２Ａに記憶される画素信号の配置と、Ｖ２／２，Ｈ２／２加算読み出し時の単位画素ＰＵの例とを示す図である。

まず、図８に示す第１メモリ部２２Ａに転送される画素信号の配置は、図７に示した画素部２１の画素配置と同一となる。

また、Ｖ２／２，Ｈ２／２加算読み出しは、次のような加算読み出しを意味している。まず、Ｖは画素信号の配置の垂直方向、Ｈは画素信号の配置の水平方向である。さらに、ＶまたはＨに付された分数は、分母が配列における同色何画素毎かを、分子が加算画素数を、それぞれ示している。従って、Ｖ２／２は垂直方向に同色２画素毎に２画素加算することを示し、Ｈ２／２は水平方向に同色２画素毎に２画素加算することを示す。

従って、図８に示す４×４画素でなる単位画素ＰＵから、２つの緑画素と焦点検出用画素Ｌと焦点検出用画素Ｔとが加算された合成後の緑画素（左上）と、４つの赤画素が加算された合成後の赤画素（右上）と、４つの青画素が加算された合成後の青画素（左下）と、４つの緑画素が加算された合成後の緑画素（右下）と、が生成される。

次に、図９は、第１メモリ部２２Ａに記憶される画素信号の配置と、Ｖ１／５，Ｈ３／３加算読み出し時の単位画素ＰＵｂ，ＰＵｒの例とを示す図である。

このＶ１／５，Ｈ３／３加算読み出しは、垂直方向に同色５画素毎に１画素を読み出す（つまり、垂直方向の加算はせずに間引き読み出しをする）ことを意味し、水平方向に同色３画素毎に３画素加算することを意味している。

従って、図９に示す緑および青に係る６×１０画素でなる単位画素ＰＵｂから、ライン（ｎ＋１０）における２つの緑画素と焦点検出用画素Ｒとが加算された合成後の緑画素（左上）と、ライン（ｎ＋１５）における３つの青画素が加算された合成後の青画素（左下）と、が生成される。

また、図９に示す緑および赤に係る６×１０画素でなる単位画素ＰＵｒから、ライン（ｎ＋１０）における３つの赤画素が加算された合成後の赤画素（右上）と、ライン（ｎ＋１５）における３つの緑画素が加算された合成後の緑画素（右下）と、が生成される。

こうして、このＶ１／５，Ｈ３／３加算読み出しにおいては、画素信号を読み出さないライン（ｎ＋１）〜（ｎ＋４），（ｎ＋６）〜（ｎ＋９），（ｎ＋１１）〜（ｎ＋１４），（ｎ＋１６）〜（ｎ＋１９）が存在する。従って、垂直方向に１／５間引き読み出しをすると、仮に水平方向の加算を行わないとしても、焦点検出用画素Ｌ，Ｔ，Ｂの画素信号は第１メモリ部２２Ａから読み出されないことになり、第１メモリ部２２Ａからの読み出しだけでは位相差ＡＦを行うことができない。

こうして、本実施形態においては、焦点検出用画素Ｒ，Ｌ，Ｔ，Ｂを別途に第２メモリ部２２Ｂに記憶して読み出すことにより、間引きを伴う加算読み出しにおいても位相差ＡＦを行うことができるようにしている。

次に図１０は、撮像素子２における第１メモリ部２２Ａおよび第２メモリ部２２Ｂと列並列型ＡＤ変換器２５の構成をより詳細に示す図である。

列並列型ＡＤ変換器２５内に列毎に対応して設けられたＡＤＣ３３は、比較器３３ａと、カウンタ３３ｂと、ラッチ３３ｃと、を備えている。

上述したＤＡＣ２６ｄは、制御回路２６ａからの制御信号に基づき、参照電圧を比較器３３ａへ出力する。ここにＤＡＣ２６ｄが出力する参照電圧は、スロープ状に変化するランプ波形の電圧となっている。

比較器３３ａは、垂直信号線３５からアナログの画素信号が入力されると、入力された画素信号の電圧を参照電圧と比較する。そして比較器３３ａは、画素信号の電圧と参照電圧との大小関係が反転すると出力信号を反転させる。ここに比較器３３ａは、例えば複数のＰＭＯＳトランジスタおよび複数のＮＭＯＳトランジスタにより構成される一般的な差動増幅器の構成を有し、動作時には電力を消費する。この比較器３３ａ内のＤＡＣ２６ｄからの信号線が接続される部分、および垂直信号線３５が接続される部分には、図示はしないが、リセットレベル（リセットノイズ）を記憶するためのコンデンサがそれぞれ接続されている。これらのコンデンサは、制御回路２６ａからの指示信号によりリセットされるようになっている。

カウンタ３３ｂは、比較器３３ａからの出力信号が反転するまでの時間、つまり、ランプ波形の参照電圧と画素信号の電圧との大小関係が反転するまでの時間（比較時間）を、例えば入力クロックの数としてデジタル的にカウントする。

ラッチ３３ｃは、カウンタ３３ｂによるカウント結果を保持するデジタルメモリとして機能し、水平信号線２４ａを介してセンスアンプ回路２４ｂに接続されている。また、ラッチ３３ｃは水平読出回路２６ｃと接続されていて、水平読出回路２６ｃにより選択されて制御信号が入力されると、保持しているデジタル信号を出力するようになっている。

このような構成において、撮像用読出回路４０ａにはバイアス電流制御回路３６ａおよびカウンタ制御回路３７ａが、焦点検出用読出回路４０ｂにはバイアス電流制御回路３６ｂおよびカウンタ制御回路３７ｂが、それぞれ設けられている。

バイアス電流制御回路３６ａは、画像用画素群に属する画素のメモリピクセル３２に転送された信号のみをソースフォロア出力するために、制御回路２６ａの制御に基づいて、撮像用読出回路４０ａ内の各垂直信号線３５のバイアス電流のオン／オフを制御する。

同様に、バイアス電流制御回路３６ｂは、焦点検出用画素群に属する画素のメモリピクセル３２に転送された信号のみをソースフォロア出力するために、制御回路２６ａの制御に基づいて、焦点検出用読出回路４０ｂ内の各垂直信号線３５のバイアス電流のオン／オフを制御する。

なお、ここでは詳細な図示は省略するが、バイアス電流制御回路３６ａ，３６ｂは、任意の垂直信号線３５のバイアス電流のオン／オフを所望に制御することができるように構成されているものとする。従って、一例を挙げれば、偶数列の垂直信号線３５のバイアス電流をオンし、奇数列の垂直信号線３５のバイアス電流をオフする、等の制御も可能である。

また、カウンタ制御回路３７ａは、制御回路２６ａの制御に基づいて、撮像用読出回路４０ａ内の各カウンタ３３ｂのオン／オフを制御する。

同様に、カウンタ制御回路３７ｂは、制御回路２６ａの制御に基づいて、焦点検出用読出回路４０ｂ内の各カウンタ３３ｂのオン／オフを制御する。

そして、カウンタ制御回路３７ａ，３７ｂは、任意の垂直信号線３５に係るカウンタ３３ｂのオン／オフを所望に制御することができるように構成されているものとする。従って、上述した例と同様に、偶数列のカウンタ３３ｂをオンし、奇数列のカウンタ３３ｂをオフする、等の制御も可能である。

ここに、ソースフォロアの回路を構成する定電流回路部と、シングルスロープ（SigleSlope）型列並列ＡＤＣ（Column parallel ADC）とは、本実施形態における撮像素子２において大きな消費電力を消費する回路部である。

そこで、上述したような構成により、ＡＤ変換に使用されない垂直信号線３５のバイアス電流をオフしＡＤＣ３３の動作を停止することで、できる限り高速で低消費電力な読み出しを行うようにしている。

図１１はＶ２／２，Ｈ２／２加算読み出し時の第１メモリ部２２Ａおよび第２メモリ部２２Ｂの画素信号の配置を示す図である。

このＶ２／２，Ｈ２／２加算読み出し時には、第１メモリ部２２Ａから読み出される画素信号は、画素信号合成部２３により垂直方向に２画素加算されるために、列並列型ＡＤ変換器２５によりＡＤ変換されるラインは１／２に減少し、フレームレートを全画素読み出しの場合の約２倍にすることができる。

そこで、このフレームレートを維持することができるように、第２メモリ部２２Ｂに記憶する焦点検出用画素信号も、２ラインに１ラインの割合とし、ダミーデータＤＹのラインは列並列型ＡＤ変換器２５へ出力しない。

具体的に、焦点検出用画素は２ラインに１ラインの割合で存在しているために、画素部２１において焦点検出用画素が存在するラインと同一ライン上の第２メモリ部２２Ｂに焦点検出用画素信号を配列している。

こうして、単位画素ＰＵによって構成される行毎に、垂直２画素加算により合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型ＡＤ変換器２５により一斉にＡＤ変換することで、フレームレートの増大が達成される。

また、Ｖ２／２，Ｈ２／２加算読み出し時には、第１メモリ部２２Ａから読み出された画素信号は水平方向にも２画素加算されるために、ＡＤＣ３３は２列に１列の割合で動作させれば足りる。このために、バイアス電流制御回路３６ａが、２列に１列の割合で垂直信号線３５のバイアス電流をオフしカウンタ制御回路３７ａがカウンタ３３ｂをオフすることで、消費電力の低減を図るようにしている。また、バイアス電流制御回路３６ｂとカウンタ制御回路３７ｂも、明示していないが、焦点検出用画素信号を読み出さない列については垂直信号線３５のバイアス電流をオフしカウンタ３３ｂをオフすることで、消費電力の更なる低減を図るようにしている。

図１２はＶ１／５，Ｈ３／３加算読み出し時の第１メモリ部２２Ａおよび第２メモリ部２２Ｂの画素信号の配置を示す図である。なお、図１２では、第２メモリ部２２ＢにおけるダミーデータＤＹのみのラインの図示を省略している。

このＶ１／５，Ｈ３／３加算読み出し時には、第１メモリ部２２Ａから読み出される画素信号は、画素信号合成部２３により垂直方向に１／５間引きされるために、列並列型ＡＤ変換器２５によりＡＤ変換されるラインは１／５に減少し、フレームレートを全画素読み出しの場合の約５倍にすることができる。

そこで、このフレームレートを維持することができるように、第２メモリ部２２Ｂに記憶する焦点検出用画素信号も、５ラインに１ラインの割合とし（従って、焦点検出用画素信号が記憶されるメモリピクセル３２の列数も図１１に示したＶ２／２，Ｈ２／２加算読み出し時の例えば５／２倍となる（ただし、図１２に示す例では、読み出すラインにもダミーデータＤＹが存在するために、５／２倍よりも大きくなっている））、図示を省略した第２メモリ部２２ＢにおけるダミーデータＤＹのみのラインは列並列型ＡＤ変換器２５へ出力しない。

具体的に、図７に示した画素配置を５ライン毎に分割したとすると、焦点検出用画素が存在するラインが３ライン含まれる場合と２ライン含まれる場合とが交互に表れる。そこで、５ライン中に焦点検出用画素が存在するラインが３ラインである場合には、これら３ライン中の全ての焦点検出用画素を読み出し対象のライン（図１２に示す例ではラインｎ，（ｎ＋１０））に配置し、５ライン中に焦点検出用画素が存在するラインが２ラインである場合には、これら２ライン中の全ての焦点検出用画素を読み出し対象のライン（図１２に示す例ではライン（ｎ＋５），（ｎ＋１５））に配置するとともに余剰となるメモリピクセル３２にダミーデータＤＹを配置している。

こうして、単位画素ＰＵｒ，ＰＵｂによって構成される行毎に、垂直１／５間引きにより合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型ＡＤ変換器２５により一斉にＡＤ変換することで、フレームレートの増大が達成される。

また、Ｖ１／５，Ｈ３／３加算読み出し時には、第１メモリ部２２Ａから読み出された画素信号は水平方向にも３画素加算されるために、ＡＤＣ３３は３列に１列の割合で動作させれば足りる。このために、バイアス電流制御回路３６ａが、３列に１列の割合で垂直信号線３５のバイアス電流をオフしカウンタ制御回路３７ａがカウンタ３３ｂをオフすることで、消費電力の低減を図るようにしている。また、バイアス電流制御回路３６ｂとカウンタ制御回路３７ｂも、明示していないが、焦点検出用画素信号を読み出さない列については垂直信号線３５のバイアス電流をオフしカウンタ３３ｂをオフすることで、消費電力の更なる低減を図るようにしている。

図１３は、撮像素子２においてグローバルシャッタ撮像動作を行ったときの各信号を示す、一部拡大部分を含むタイミングチャートである。

このときの画素部２１における露光動作、画素部２１からメモリ部２２への転送動作、メモリ部２２から順次読み出して列並列型ＡＤ変換器２５によりＡＤ変換する動作等は、図６を参照して上述したのと同様である。そして、図１３の１ＨＤ拡大部分に示したように、１つのライン読み出しにおいて、まず合成後の画像用画素信号が読み出され、その後に焦点検出用画素信号が読み出される。

また、上述したような、加算読み出しや間引き読み出しにより列並列型ＡＤ変換器２５の動作回数を減少させてフレームレートを増加させる技術は、図６や図１３に示したようなグローバルシャッタ撮像動作時のみに適用されるものではなく、ローリングシャッタ撮像動作時にも適用可能である。具体的に、垂直同期信号ＶＤの立ち上がりタイミングから露光時間Ｔｅｘｐだけ遡った時点で、例えば上端のラインから下端のラインへ向けて露光を順々に開始して行く。そして、露光時間Ｔｅｘｐが経過したラインから順に画素信号の読み出しを行い、画素信号合成部２３で画素加算等を行いながら、列並列型ＡＤ変換器２５により複数列の画素信号を同時にＡＤ変換して出力する。このとき、１つのライン読み出しにおいて、まず合成後の画像用画素信号が読み出され、その後に焦点検出用画素信号が読み出されるのは、図１３の１ＨＤ拡大部分に示したのと同様である。

このような実施形態１によれば、画素信号合成部２３により単位画素内の画素３１から合成した画像用の画素信号と、第２メモリ部２２Ｂに記憶された焦点検出用の画素信号と、を画像信号として出力するようにしたために、画像の読出時間を有効に短縮しながら、焦点検出用画素信号も読み出すことで焦点検出が可能となる。

また、画像信号出力部２４が、合成された画像用の画素信号のみが配列された画素信号群と、焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、列並列型ＡＤ変換器２５によりＡＤ変換するようにしたために、ＡＤ変換の回数が合成された画像用画素信号のライン数と同一となって増加せず、ＡＤ変換に要する時間を増大させることなくフレームレートを有効に向上することができる。

さらに、素子制御部２６の制御に基づいて、画像信号出力部２４がＡＤ変換に用いられないＡＤ変換器２５の動作を停止させるようにしたために、撮像素子２の消費電力を有効に低減することができる。このときさらに、バイアス電流制御回路３６ａが、ＡＤ変換に用いられない垂直信号線３５のバイアス電流をオフするようにしたために、より一層の低消費電力化を図ることができる。

そして、画素信号合成部２３が単位画素内の画素３１から生成される画像用の画素信号に加えて、さらに該単位画素内の画素３１から生成される焦点検出用の画素信号を合成して画像用の画素信号を生成するようにしたために、空間サンプリング情報を増やすこと、および、適切な画像処理による補正技術と合わせて、モアレ低減等の総合画質を向上することができる。

加えて、画像用の画素信号を生成する画素３１と、焦点検出用の画素信号を生成する画素３１と、が行列状に配置された構成の画素部２１に対して、上述した効果を奏することができる。

また、上述した撮像素子を備える撮像装置において、フレームレートを高いレートに維持しながら位相差ＡＦを行うことが可能となる。
［実施形態２］

図１４から図１７は本発明の実施形態２を示したものであり、図１４は撮像素子２の構成の概要を示すブロック図である。

この実施形態２において、上述の実施形態１と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１の図２では画素信号合成部２３を第１アナログメモリである第１メモリ部２２Ａの後段に配置したが、本実施形態は第１メモリ部２２Ａの前段に配置したものとなっている。

すなわち、図１４に示すように、画素部２１から出力された画像用画素信号および焦点検出用画素信号は、画素信号合成部２３に入力され、まず画素加算等により合成が行われる。従って、本実施形態において間引き読み出しを行う場合には、画素部２１からの読み出し時に行うことになる。

そして、第１メモリ部２２Ａは画素信号合成部２３により生成された合成された画像用の画素信号を記憶し、画像信号出力部２４は、第１メモリ部２２Ａから読み出された合成された画像用の画素信号と、第２メモリ部２２Ｂに記憶された焦点検出用の画素信号と、を画像信号として出力する。

次に、図１５は、画素部２１の画素３１から第１メモリ部２２Ａおよび第２メモリ部２２Ｂのメモリピクセル３２への画像用画素信号および焦点検出用画素信号の転送の様子を示すブロック図である。

画素部２１における画像用の画素３１から読み出された画像用画素信号は、画素信号合成部２３に入力される。さらに、画素部２１における焦点検出用の画素３１から読み出された焦点検出用画素信号の内の、画像用画素信号と合成される焦点検出用画素信号も画素信号合成部２３に入力される。こうして、画素信号合成部２３に入力された画像用画素信号および焦点検出用画素信号は、合成されて、第１メモリ部２２のメモリピクセル３２に記憶される。

また、画素部２１における焦点検出用の画素３１から読み出された焦点検出用画素信号は、第２メモリ部２２Ｂのメモリピクセル３２に記憶される。従って、ある注目する焦点検出用の画素３１の出力は、第１メモリ部２２Ａのメモリピクセル３２と第２メモリ部２２Ｂのメモリピクセル３２との２個所に転送されて記憶される。

ここで、画素信号合成部２３から出力される合成後の画像用画素信号は、加算や間引きが行われているために、画素部２１の全画素数よりも少ない。従って、加算や間引きのモードに応じて、第１メモリ部２２Ａが必要とするメモリ容量が変化する。

そこで本実施形態においては、第１メモリ部２２Ａおよび第２メモリ部２２Ｂをメモリ部２２の一部および他の一部として構成し、メモリ部２２において第１メモリ部２２Ａと第２メモリ部２２Ｂとを区分する区分線を可変とし、単位画素に含まれる画素数（ひいては合成後の画像用画素信号の数）に応じて、区分線を変更するようにしている。この点について、図１６および図１７を参照して説明する。

まず、図１６はＶ２／２，Ｈ２／２加算読み出し時の第１メモリ部２２Ａおよび第２メモリ部２２Ｂの画素信号の配置を示す図である。

図８に示したような４×４画素でなる単位画素ＰＵの画素信号を、同色同士でＶ２／２，Ｈ２／２加算して得られた２×２画素の画素信号が、第１メモリ部２２Ａに、例えば４行に２行の割合で順次記憶される。ここに、同色同士の加算対象位置に焦点検出用画素が含まれている場合には、上述したように、第１メモリ部２２Ａにおいて斜め線や縦線、横線のハッチングを付して示している合成後の画像用画素信号に焦点検出用画素信号も合成要素として含まれている。

このＶ２／２，Ｈ２／２加算の場合には、合成後の画像用画素信号の列数は、全画素読み出し時の画像用画素信号の列数の半分となる。従って、図８に示した３２列の画素信号は、図１６に示すように１６列となり、この１６列分が第１メモリ部２２Ａ、１７列目以降は第２メモリ部２２Ｂで、第１メモリ部２２Ａと第２メモリ部２２Ｂとの区分線が全画素読み出しのときとは変更されている。

また、焦点検出用画素信号が合成後の画像用画素信号と同一のラインに記憶され、フレームレートを全画素読み出しの場合の約２倍にすることができるのは上述と同様である。

次に、図１７はＶ１／５，Ｈ３／３加算読み出し時の第１メモリ部２２Ａおよび第２メモリ部２２Ｂの画素信号の配置を示す図である。なお、図１７では、第２メモリ部２２ＢにおけるダミーデータＤＹのみのラインの図示を省略している（以下、適宜同様）。

図９に示したような６×１０画素でなる単位画素ＰＵｂ，ＰＵｒの画素信号を、同色同士でＶ１／５，Ｈ３／３加算して得られた２×２画素の画素信号が、第１メモリ部２２Ａに、例えば１０行に２行の割合（より詳しくは、５行に１行の割合）で順次記憶される。ここに、同色同士の加算対象位置に焦点検出用画素が含まれている場合には、上述と同様に、第１メモリ部２２Ａにおいて斜め線や縦線、横線のハッチングを付して示している合成後の画像用画素信号に焦点検出用画素信号も合成要素として含まれている。このＶ１／５，Ｈ３／３加算の場合には、合成後の画像用画素信号の列数は、全画素読み出し時の画像用画素信号の列数の１／３となる。従って、図９に示した３２列の画素信号は、図１７に示すように１０列となり（単位画素ＰＵｂと単位画素ＰＵｒとは図９に示したように水平方向に２画素ずれているために、（３２−２）／３＝１０列となる）、この１０列分が第１メモリ部２２Ａ、１１列目以降は第２メモリ部２２Ｂで、第１メモリ部２２Ａと第２メモリ部２２Ｂとの区分線が全画素読み出しのときおよびＶ２／２，Ｈ２／２加算読み出しのときとは変更されている。

また、焦点検出用画素信号が合成後の画像用画素信号と同一のラインに記憶され、フレームレートを全画素読み出しの場合の約５倍にすることができるのは上述と同様である。

このような実施形態２によれば、上述した実施形態１とほぼ同様の効果を奏するとともに、画素信号合成部２３を第１メモリ部２２Ａの前段に配設して、メモリ部２２において第１メモリ部２２Ａと第２メモリ部２２Ｂとを区分する区分線を、単位画素に含まれる画素数（ひいては合成後の画像用画素信号の数）に応じて変更するようにしたために、メモリ部２２に必要なメモリ容量を有効に削減することができる。
［実施形態３］

図１８から図２５は本発明の実施形態３を示したものであり、図１８は撮像素子２の構成の概要を示すブロック図、図１９は画素３１の構成を示す図である。

この実施形態３において、上述の実施形態１，２と同様である部分については同一の符号を付すなどして説明を適宜省略し、主として異なる点についてのみ説明する。

上述した実施形態１，２は、画素部２１の画素３１に、画像用と焦点検出用との２種類があった。これに対して本実施形態は、１つの画素が画像用と焦点検出用との両方の機能を備えるものとなっている。

まず、図１９に示すように、画素３１は、レンズ１の瞳の、右側を通過する光線を光電変換するフォトダイオードＰＤＲと、左側を通過する光線を光電変換するフォトダイオードＰＤＬと、レンズ１からの光線をフォトダイオードＰＤＲ，ＰＤＬに集光するマイクロレンズＭＬと、を備えている。また、各画素３１の周辺は、金属配線ＭＷによって囲われ、画素開口の大きさが規制されている。

なお、ここでは一例として、水平方向の位相差を検出するフォトダイオードＰＤＲ，ＰＤＬを設けたが、これらに加えてさらに、レンズ１の瞳の、上側を通過する光線を光電変換するフォトダイオードおよび下側を通過する光線を光電変換するフォトダイオードを設けても良いし、これらに限らず、右斜め方向や左斜め方向、あるいはその他の方向の位相差を検出する焦点検出用画素を設けても構わない。

そして、図１８に示すように、画素部２１内には画素内合成部２１ｂが設けられている。なお、この図１８には、上述した実施形態２と同様に、画素信号合成部２３を第１メモリ部２２Ａの前段に配設する例を示しているが、実施形態１と同様に第１メモリ部２２Ａの後段に配設することも可能である。

フォトダイオードＰＤＲとフォトダイオードＰＤＬとは、電気的に独立して読み出すことができる。従って、画素３１を焦点検出用画素Ｒとして機能させる場合には、画素内合成部２１ｂは、フォトダイオードＰＤＲに蓄積された画素信号のみを読み出すように制御する。また、画素３１を焦点検出用画素Ｌとして機能させる場合には、画素内合成部２１ｂは、フォトダイオードＰＤＬに蓄積された画素信号のみを読み出すように制御する。
一方、画素３１を通常の画像用画素として機能させる場合には、フォトダイオードＰＤＲに蓄積された画素信号と、フォトダイオードＰＤＬに蓄積された画素信号と、を画素部２１内の画素内合成部２１ｂで合成して読み出すように制御することも可能である。ただし、この場合には、合成後の画素信号から焦点検出用画素Ｒの画素信号と焦点検出用画素Ｌの画素信号とを再び分離して読み出すことができない。従って、焦点検出用画素Ｒの画素信号と焦点検出用画素Ｌの画素信号とを通常の画像用画素信号として合成する必要がある場合には、画素部２１から焦点検出用画素Ｒの画素信号と焦点検出用画素Ｌの画素信号とをそれぞれ読み出した後に、図１８に示す画素信号合成部２３において合成することを基本とする。このような構成により、１つの画素３１が複数の機能を果たすようになっている。

図２０は画素部２１の原色ベイヤーカラーフィルタ配列を示す図である。

１つの画素３１がフォトダイオードＰＤＲとフォトダイオードＰＤＬとに分割されている以外は、１つの画素３１に対して赤、青、緑の何れかのカラーフィルタが配列される一般的な原色ベイヤー配列と同様である。

図２１は、画素部２１から通常の全画素読み出しを行った場合に第１メモリ部２２Ａに記憶される画素信号の様子を示す図である。この図２１に示す場合は、例えば静止画像を読み出す際などの、焦点検出用画素信号の読み出しが不要な場合を示している。従って、第２メモリ部２２Ｂへの焦点検出用画素信号の記憶は、例えば行われない。

また、図２２は、画素部２１から全画素読み出しを行うと共に、さらに画素部２１から、例えば全ての緑画素に係る焦点検出用画素Ｒの画素信号および焦点検出用画素Ｌの画素信号を読み出すときのメモリ部２２の様子を示す図である。ここでは例えば、ｎラインおよび（ｎ＋１）ラインの緑画素のフォトダイオードＰＤＲから焦点検出用画素Ｒの画素信号を読み出して第２メモリ部２２Ｂのｎラインに記憶し、ｎラインおよび（ｎ＋１）ラインの緑画素の上述したフォトダイオードＰＤＲに各対応する（つまり、各同一画素３１内の）フォトダイオードＰＤＬから焦点検出用画素Ｌの画素信号を読み出して第２メモリ部２２Ｂの（ｎ＋１）ラインに記憶する、等を行っている。従って、第１メモリ部２２Ａのメモリピクセル３２の数と第２メモリ部２２Ｂのメモリピクセル３２の数とは同一となっている。

また、図２３は、ＡＦ領域２１ａを制限しながら画素部２１から全画素読み出しを行うときのメモリ部２２の様子を示す図である。

まず、ＡＦ領域２１ａの設定（画素部２１における特定の部分領域への制限）は、上述したように、被写体検出等に基づいたカメラ制御部１２により自動で、またはカメラ操作部１１を介してユーザにより手動で、行われる。

そして、全画素読み出しされる画像用画素信号が記憶される第１メモリ部２２Ａは図２２に示した例と同様であるが、焦点検出用画素は制限されたＡＦ領域２１ａのみから読み出されているために、第１メモリ部２２Ａに記憶されている焦点検出用画素信号の数は図２２に示した例よりも大幅に減少している。

次に、図２４はＶ２／２，Ｈ２／２加算読み出し時の第１メモリ部２２Ａおよび第２メモリ部２２Ｂの画素信号の配置を示す図である。

この場合に第１メモリ部２２Ａに記憶される合成後の画像用画素信号は、上述した実施形態２の図１６に示した配列と同様である。ただし、焦点検出用画素Ｒや焦点検出用画素Ｌは遮光構造で構成したものではないために、焦点検出用画素を合成することで生じる出力低下や焦点位置ずれによる画像の乱れは発生しない。

また、焦点検出用画素信号を合成後の画像用画素信号と同一のラインに記憶するのも図１６に示した例と同様であるが、本実施形態においては全ての画素３１が焦点検出用画素となり得るために、図１６に示した例よりも第２メモリ部２２Ｂに記憶される焦点検出用画素信号の数が多くなっている。具体的に、ここでは赤画素と同一ライン上の緑画素のみから焦点検出用画素Ｒ，Ｌの各画素信号を取得するか、あるいは、対角方向に隣接する２つの緑画素のフォトダイオードＰＤＲの画素信号同士を加算したものを焦点検出用画素Ｒ、フォトダイオードＰＤＬの画素信号同士を加算したものを焦点検出用画素Ｌとするか、等を行っている。

このとき、焦点検出が、例えばライブビューや動画撮影等の合成画像用の焦点検出である場合は、画素部２１により生成される画像用の画素信号の空間周波数が、画素信号合成部２３により生成される合成された画像用の画素信号の空間周波数に減少するのに応じて、画素部２１により生成される焦点検出用の画素信号の数よりも、第２メモリ部２２Ｂに記憶される焦点検出用の画素信号の数を低減すると良い（この低減の程度を、焦点検出に必要十分な程度にするとさらに良い）。画素信号の空間周波数の減少は、素子制御部２６による画素部２１の読出制御により行われるか、もしくは画素信号合成部２３の処理により行われる。これにより、焦点検出用の画素信号の空間周波数が、画像用の画素信号の空間周波数に応じた空間周波数となって、必要以上に高精細な焦点検出用画素信号を取得するのを抑制し、第２メモリ部２２Ｂのメモリ容量を有効に低減することができる。また、動作するＡＤ変換器２５の数も減らすことができるために、撮像素子２の消費電力もより低減することができる。一方、焦点検出が静止画撮影用の焦点検出である場合（例えば、ライブビュー時であっても、静止画像を取得するために２段式操作ボタンでなるレリーズボタンの１段目が押圧された場合）には、静止画用の画素信号の空間周波数に応じた空間周波数の焦点検出用の画素信号を撮像素子２から出力することが好ましい。このような撮像素子２から出力する画素信号の空間周波数の制御は、カメラ制御部１２や露光制御部９からの指令を受けた素子制御部２６により行われる。
こうして、焦点検出用の画素信号の用途（静止画用か動画等用かなど）に応じて、画素部２１により生成される焦点検出用の画素信号の空間周波数よりも、撮像素子２から出力する焦点検出用の画素信号の空間周波数を低減すると良い。

続いて、図２５はＶ１／５，Ｈ３／３加算読み出し時の第１メモリ部２２Ａおよび第２メモリ部２２Ｂの画素信号の配置を示す図である。

この場合に第１メモリ部２２Ａに記憶される合成後の画像用画素信号は、上述した実施形態２の図１７に示した配列と同様である。ただし、焦点検出用画素Ｒや焦点検出用画素Ｌは遮光構造で構成したものではないために、焦点検出用画素を合成することで生じる出力低下や焦点位置ずれによる画像の乱れは発生しない。

また、この図２５に示す例ではＡＦ領域２１ａが制限されていて、制限されたＡＦ領域２１ａの緑画素から読み出された焦点検出用画素信号が、５ラインに１ラインの割合で第２メモリ部２２Ｂに記憶されている。

このような実施形態３によれば、上述した実施形態１，２とほぼ同様の効果を奏するとともに、用途（静止画用か動画等用かなど）に応じて撮像素子２から出力する焦点検出用の画素信号の空間周波数を低減するようにしたために、例えばライブビュー時であっても静止画像を取得するためにレリーズボタンの１段目が押圧された場合には、空間周波数が高い焦点検出用の画素信号を撮像素子２から出力することができる。そして、合成による画像用画素信号の空間周波数の減少に応じて、第２メモリ部２２Ｂに記憶する焦点検出用の画素信号の数を低減するようにしたために、第２メモリ部２２Ｂのメモリ容量を有効に低減し、撮像素子２の消費電力を低減することができる。

また、第２メモリ部２２Ｂに、選択されたＡＦ領域２１ａから読み出された焦点検出用の画素信号のみを記憶するようにしたために、同様に、第２メモリ部２２Ｂのメモリ容量を有効に低減し、撮像素子２の消費電力を低減することができる。

さらに、画像用の画素信号および焦点検出用の画素信号を生成するフォトダイオードＰＤＲ，ＰＤＬを備えた画素３１が行列状に配置された画素部２１において、上述した効果を奏することができる。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除しても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせても良い。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

１…レンズ（撮像光学系）
２…撮像素子
３…画像処理部
４…ＡＦ評価値演算部（焦点検出制御部）
５…表示部
６…メモリカード
７…手振検出部
８…手振補正部
９…露光制御部
１０…フォーカス制御部（焦点検出制御部）
１１…カメラ操作部（焦点検出用画素領域選択部）
１２…カメラ制御部（焦点検出用画素領域選択部，焦点検出制御部）
２１…画素部
２１ａ…ＡＦ領域
２１ｂ…画素内合成部
２２…メモリ部
２２Ａ…第１メモリ部（第１アナログメモリ）
２２Ｂ…第２メモリ部（第２アナログメモリ）
２３…画素信号合成部
２４…画像信号出力部
２４ａ…水平信号線
２４ｂ…センスアンプ回路
２５…列並列型ＡＤ変換器
２６…素子制御部
２６ａ…制御回路
２６ｂ…垂直走査回路
２６ｃ…水平読出回路
２６ｄ…ＤＡＣ（デジタル・アナログ・コンバータ）
３１…画素
３２…メモリピクセル
３３…ＡＤＣ（ＡＤ変換器）
３３ａ…比較器
３３ｂ…カウンタ
３３ｃ…ラッチ
３４…制御信号線
３５…垂直信号線
３６ａ，３６ｂ…バイアス電流制御回路
３７ａ，３７ｂ…カウンタ制御回路
４０ａ…撮像用読出回路
４０ｂ…焦点検出用読出回路
ＭＬ…マイクロレンズ
ＭＷ…金属配線
ＰＤＲ，ＰＤＬ…フォトダイオード
ＰＵ，ＰＵｂ，ＰＵｒ…単位画素
Ｒ，Ｌ，Ｔ，Ｂ…焦点検出用画素

Claims (11)

1. 画素が行列状に配置されており、隣接する複数の上記画素を単位画素と見なしたときにさらに該単位画素が行列状に配置されていて、画像用の画素信号と、焦点検出用の画素信号と、を生成する画素部と、
   上記単位画素内の画素から生成される上記画像用の画素信号を少なくとも合成した画像用の画素信号を生成する画素信号合成部と、
   上記画素信号合成部が前段に配設されている場合には該画素信号合成部により生成された合成された上記画像用の画素信号、上記画素信号合成部が後段に配設されている場合には上記画素部から読み出された少なくとも上記画像用の画素信号、を記憶する第１アナログメモリと、
   上記焦点検出用の画素信号を記憶する第２アナログメモリと、
   上記画素信号合成部が上記第１アナログメモリの前段に配設されている場合には該第１アナログメモリから読み出された合成された画像用の画素信号、上記画素信号合成部が上記第１アナログメモリの後段に配設されている場合には該画素信号合成部により生成された合成された画像用の画素信号と、上記第２アナログメモリに記憶された上記焦点検出用の画素信号と、を画像信号として出力する画像信号出力部と、
   を備えたことを特徴とする撮像素子。
2. 上記画像信号出力部は、画素信号を同時的に読み出す各列にＡＤ変換器を配置した列並列型ＡＤ変換器を有し、上記単位画素によって構成される行毎に、上記合成された画像用の画素信号のみが配列された画素信号群と、上記焦点検出用の画素信号のみが配列された画素信号群と、を直列に並べて、上記列並列型ＡＤ変換器によりＡＤ変換することを特徴とする請求項１に記載の撮像素子。
3. 上記第１アナログメモリおよび上記第２アナログメモリはメモリ部の一部および他の一部として構成されており、上記メモリ部において第１アナログメモリと第２アナログメモリとを区分する区分線は可変であって、
   上記画素信号合成部が上記第１アナログメモリの前段に配設されている場合には、上記単位画素に含まれる画素数に応じて、上記区分線を変更することを特徴とする請求項２に記載の撮像素子。
4. 上記焦点検出用の画素信号の用途に応じて、上記画素部により生成される上記焦点検出用の画素信号の空間周波数よりも、撮像素子から出力する上記焦点検出用の画素信号の空間周波数を低減することを特徴とする請求項２に記載の撮像素子。
5. 上記画素部により生成される画像用の画素信号の空間周波数が、上記画素信号合成部により生成される合成された画像用の画素信号の空間周波数に減少するのに応じて、上記画素部により生成される上記焦点検出用の画素信号の数よりも、上記第２アナログメモリに記憶される上記焦点検出用の画素信号の数を低減することを特徴とする請求項４に記載の撮像素子。
6. 上記画素部から上記焦点検出用の画素信号を読み出すＡＦ領域を選択する焦点検出用画素領域選択部をさらに備え、
   上記第２アナログメモリには、選択されたＡＦ領域から読み出された上記焦点検出用の画素信号のみが記憶されることを特徴とする請求項２に記載の撮像素子。
7. 上記画像信号出力部は、上記列並列型ＡＤ変換器に配置されたＡＤ変換器の内の、画素信号のＡＤ変換に用いられないＡＤ変換器の動作を停止させることを特徴とする請求項２に記載の撮像素子。
8. 上記画素信号合成部は、上記単位画素内の画素から生成される上記画像用の画素信号に加えて、さらに該単位画素内の画素から生成される上記焦点検出用の画素信号を合成して画像用の画素信号を生成し、
   上記画素信号合成部が上記第１アナログメモリの後段に配設されている場合には、該第１アナログメモリは、上記画素部から読み出された上記焦点検出用の画素信号をさらに記憶することを特徴とする請求項１に記載の撮像素子。
9. 上記画素部は、画像用の画素信号を生成する画素と、焦点検出用の画素信号を生成する画素と、が行列状に配置されていることを特徴とする請求項１に記載の撮像素子。
10. 上記画素部は、画像用の画素信号および焦点検出用の画素信号を生成する画素が行列状に配置されていることを特徴とする請求項１に記載の撮像素子。
11. 請求項１に記載の撮像素子と、
    上記撮像素子に光学像を結像するものであって、焦点位置を調節可能な撮像光学系と、
    上記撮像素子から出力された焦点検出用の画素信号に基づき、上記撮像光学系の焦点位置を調節する焦点検出制御部と、
    を備えたことを特徴とする撮像装置。