JP2017153105A - 撮像素子及び撮像装置 - Google Patents

Abstract

【課題】撮像用信号と焦点検出用信号を並列に読み出すことで高速読み出し可能な撮像素子を提供することができる。
【解決手段】撮像素子であって、複数の光電変換部を有する単位画素が複数配置された画素領域と、前記画素領域の各単位画素から信号を読み出す信号読出部と、前記信号読出部により読み出された前記単位画素内の複数の光電変換部の一部の光電変換部に基づいた第１の信号を用いて所定の演算処理を行うことで焦点検出信号を生成する焦点検出信号処理部と、前記信号読出部により読み出された前記単位画素内の全ての光電変換部に基づいた第２の信号から撮像画像信号を生成する撮像画像信号処理部と、前記焦点検出信号を出力する焦点検出信号出力部と、前記撮像画像信号を出力する撮像画像信号出力部とを備える。
【選択図】 図１

Description

本発明は、撮像素子及び撮像装置に関する。

近年、デジタルスチルカメラやデジタルビデオカメラなどの撮像装置に用いられる撮像素子の多機能化が進んでいる。

特許文献１は、撮像素子において、瞳分割方式の焦点検出が可能な技術を開示する。特許文献１では、撮像素子を構成する各画素が、２つのフォトダイオードを有し、各フォトダイオードは１つのマイクロレンズによって、撮影レンズの異なる瞳を通過した光を受光するよう構成されている。これにより、２つのフォトダイオードからの出力信号を比較して、撮影レンズでの焦点検出が可能となり、２つのフォトダイオードの加算信号からは撮影画像の信号を得ることができる。

特許文献１は、さらに、リセットレベル信号及び第１のフォトダイオードの信号の読出後に、リセットせずに第２のフォトダイオードの信号を加算して読み出し、第２のフォトダイオードの信号は加算信号から第１のフォトダイオードの信号を減算して求める方法を開示する。この方法によれば、第１、第２のフォトダイオードの信号においてリセットレベル信号を共通に使用できるため、リセットレベル信号の読み出しを１回分短縮することができる。

また、特許文献２は、第１、第２のフォトダイオードの信号を並列に読み出し、Ａ／Ｄ変換した後、デジタル加算することで撮影画像の信号を得る方法を開示する。

特開２０１３−１０６１９４号公報 特開２０１４−７２５４１号公報

１画素に２つのフォトダイオードを設けた撮像素子において、焦点検出用の信号と撮影画像用の信号を得るためには、２つのフォトダイオード個々の信号と加算信号をそれぞれ取得する必要がある。特許文献１に記載の撮像装置では、焦点検出用となる第１のフォトダイオードの信号を読み出した後に、撮影画像用となる加算信号を読み出すため、焦点検出用信号と撮影画像用信号を同時に取得することはできない。そのため、１画素に１つのフォトダイオードを有する従来の撮像素子と比較して読出時間が大幅に増加してしまうおそれがある。また、特許文献２に記載の撮像装置においても、焦点検出用となる第１、第２のフォトダイオードの信号を読み出した後に、加算処理を行わなければ、撮影画像の信号を得ることはできない。

そこで本発明は、撮像用信号と焦点検出用信号を並列に読み出すことで高速読み出し可能な撮像素子を提供する。

上記課題を解決する発明は、撮像素子であって、
複数の光電変換部を有する単位画素が複数配置された画素領域と、
前記画素領域の各単位画素から信号を読み出す信号読出部と、
前記信号読出部により読み出された前記単位画素内の複数の光電変換部の一部の光電変換部に基づいた第１の信号を用いて所定の演算処理を行うことで焦点検出信号を生成する焦点検出信号処理部と、
前記信号読出部により読み出された前記単位画素内の全ての光電変換部に基づいた第２の信号から撮像画像信号を生成する撮像画像信号処理部と、
前記焦点検出信号を出力する焦点検出信号出力部と、
前記撮像画像信号を出力する撮像画像信号出力部と、
を備えることを特徴とする。

本発明によれば、焦点検出用信号と撮像用信号を並列に読み出すことで高速読み出し可能な撮像素子を提供することができる。

発明の実施形態にかかる撮像素子における瞳分割方式による焦点検出の原理を説明するための図。 発明の実施形態に係る撮像装置の全体構成の一例を示すブロック図。 発明の実施形態１に係る撮像素子の全体構成の一例を示す回路図 発明の実施形態１に係る撮像素子の単位画素の回路構成の一例を示す図。 発明の実施形態１に係る撮像素子の保持部と読出部の構成の一例を示す図。 発明の実施形態１に係る撮像素子の駆動方法の一例を示すタイミングチャート。 発明の実施形態２に係る撮像素子における撮像および焦点検出動作を行う領域を説明するための図。 発明の実施形態２に係る撮像素子の読出部の構成の一例及び撮像素子の駆動方法のタイミングチャートの一例を示す図。 発明の実施形態２に係る撮像素子の駆動方法の他の一例を示すタイミングチャート。 発明の実施形態３に係る焦点検出読出モード時の保持部と読出部の構成の一例を示す図。 発明の実施形態３に係る通常読出モード時の保持部と読出部の構成の一例を示す図。 発明の実施形態４に係る撮像素子の全体構成の一例を示すブロック図。 発明の実施形態４に係る撮像素子の単位画素の回路構成の一例、及び、単位画素、保持部、読出部の構成の一例を示す図。

以下、図面を参考にして本発明の実施形態を詳細に説明する。

［実施形態１］
はじめに、発明の実施形態に対応する撮像装置における瞳分割方式による焦点検出の原理を説明する。

図１は、撮影レンズの射出瞳から出た光束が単位画素に入射する概念図である。単位画素１００は第１のフォトダイオード１０１Ａおよび第２のフォトダイオード１０１Ｂを有する。単位画素１００にはカラーフィルタ１１０、マイクロレンズ１１１が設けられている。

マイクロレンズ１１１を有する画素に対して、射出瞳１１２から出た光束の中心を光軸１１３とする。射出瞳１１２を通過した光は、光軸１１３を中心として単位画素１００に入射する。射出瞳１１２は、その一部に瞳領域１１４、１１５を含む。図１に示すように瞳領域１１４を通過する光束はマイクロレンズ１１１を通して、フォトダイオード１０１Ａで受光される。また、瞳領域１１５を通過する光束はマイクロレンズ１１１を通して、フォトダイオード１０１Ｂで受光される。このようにフォトダイオード１０１Ａ、１０１Ｂはそれぞれ射出瞳１１２における別々の領域の光を受光する。よって、フォトダイオード１０１Ａとフォトダイオード１０１Ｂの出力信号を比較することで位相差の検知が可能となる。

ここで、フォトダイオード１０１Ａから得られる信号をＡ像信号、フォトダイオード１０１Ｂから得られる信号をＢ像信号と定義する。また、Ａ像信号とＢ像信号とを足し合わせた信号をＡ＋Ｂ像信号と定義する。このＡ＋Ｂ像信号は撮像用信号であり、撮影画像に用いることができる。発明の実施形態に係る撮像素子では、単位画素からＡ像信号、Ｂ像信号、Ａ＋Ｂ像信号を並列に読み出すように制御する。

次に、図２を参照して発明の実施形態に係る撮像装置１０の構成例を説明する。図２の撮像装置１０につき、撮像素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。

撮像レンズ１００２は、被写体の光学像を撮像素子１０００に結像させ、レンズ駆動部１００３によってズーム制御、フォーカス制御、絞り制御などが行われる。撮像素子１０００は、単位画素が行列状に複数配置されており、撮影レンズで結像された被写体像を信号として取り込む。撮像素子１０００からは、Ａ＋Ｂ像信号、Ａ像信号、Ｂ像信号が出力される。信号処理部１００１は、撮像素子１０００から出力されるＡ＋Ｂ像信号、Ａ像信号、Ｂ像信号に各種の信号処理を行う。制御部１００４は、各種演算と撮像装置１０全体を制御する制御処理を実行し、Ａ像信号およびＢ像信号を用いて焦点検出動作も行う。メモリ１００５は、画像データを一時的に記憶し、表示制御部１００６は、各種情報や撮影画像を表示装置に表示するための表示制御を行う。記録制御部１００７は、着脱可能な半導体メモリ等の記録媒体に対し画像データの記録または読み出し等の制御を行う。操作部１００８は、ボタン、ダイヤルなどで構成され、ユーザからの操作入力を受け付ける。なお、表示装置がタッチパネルである場合には、当該タッチパネルも操作部１００８に含まれる。

次に、図３から図５を参照して発明の実施形態に対応する撮像素子１０００の構成例を説明する。図３は、撮像素子１０００の全体構成を概略的に示す図である。撮像素子１０００は、画素領域７００、保持部２００、読出部３００、垂直走査回路４００、水平走査回路５００、タイミング発生回路（ＴＧ）６００から構成される。画素領域７００には、２つのフォトダイオードを有する単位画素１００がアレイ状に配置されている。本実施形態では、説明の簡単のため４×４画素の配列を例に示してあるが、実用上はさらに多数の画素が配置される。なお、以下特に断りのない限りは、本明細書を通じて、画素領域７００の左上の単位画素１００を第１行、第１列目の画素と定義する。垂直走査回路４００は、画素領域７００の画素を１行単位で行毎に選択し、選択行の画素に対して駆動信号を送出する。

保持部２００は、画素列毎に１つずつ設けられ、単位画素１００から行単位で読み出した信号を保持する。読出部３００は、画素列毎に１つずつ設けられ、保持部２００に保持された信号を、Ａ／Ｄ変換し、水平走査回路５００からの制御信号に基づいて、撮像素子の外部に出力する信号読出部として機能する。読出部３００は、Ａ＋Ｂ像信号、Ａ像信号、Ｂ像信号を出力する。タイミング発生回路（ＴＧ）６００は、読出部３００、垂直走査回路４００、水平走査回路５００を制御するタイミング信号を送出する。

図４は、発明の実施形態に対応する撮像素子１０００の単位画素１００の回路構成例を示す回路図である。単位画素１００は、例えば、第１のフォトダイオード１０１Ａ、第２のフォトダイオード１０１Ｂ、転送スイッチ１０２Ａ、１０２Ｂ、フローティングディフュージョン１０３Ａ、１０３Ｂ、増幅部１０４Ａ、１０４Ｂ、リセットスイッチ１０５Ａ、１０５Ｂ、選択スイッチ１０６Ａ、１０６Ｂを含んで構成される。

フォトダイオード１０１Ａ、１０１Ｂは、同一のマイクロレンズを通過した光を受光し、その受光量に応じた電荷を生成する光電変換部として機能する。転送スイッチ１０２Ａ、１０２Ｂは、それぞれフォトダイオード１０１Ａ、１０１Ｂで発生した電荷をフローティングディフュージョン１０３Ａ、１０３Ｂに転送する。転送スイッチ１０２Ａ、１０２Ｂは、転送パルス信号ＰＴＸによって制御される。フローティングディフュージョン１０３Ａ、１０３Ｂは、それぞれフォトダイオード１０１Ａ、１０１Ｂから転送された電荷を一時的に保持するとともに、保持した電荷を電圧信号に変換する電荷電圧変換部として機能する。増幅部１０４Ａ、１０４Ｂは、増幅トランジスタであり、それぞれフローティングディフュージョン１０３Ａ、１０３Ｂに保持した電荷に基づく電圧信号を増幅して、画素信号として出力する。増幅トランジスタは、列出力線１０７Ａ、１０７Ｂに接続された不図示の電流源トランジスタとソースフォロアを構成している。

リセットスイッチ１０５Ａ、１０５Ｂは、リセットパルス信号ＰＲＥＳによって制御され、フローティングディフュージョン１０３Ａ、１０３Ｂの電位を基準電位ＶＤＤにリセットする。選択スイッチ１０６Ａ、１０６Ｂは、垂直選択パルス信号ＰＳＥＬによって制御され、それぞれ増幅部１０４Ａ、１０４Ｂで増幅された画素信号を列出力線１０７Ａ、１０７Ｂに出力する。

図５（ａ）は、発明の実施形態に対応する保持部２００と読出部３００の構成例を示す図であり、簡略化のため、２列分の構成のみを示してある。保持部２００と読出部３００の構成は各列で同一である。保持部２００は、３つの保持回路２０１、２０２、２０３を備える。保持回路２０１は、容量Ｃ１、Ｃ２の並列接続で構成され、容量Ｃ１、Ｃ２の一端は列出力線１０７Ａに接続され、他端は、読出部３００内の読出回路３０１に接続される。保持回路２０１は、フォトダイオード１０１Ａからの信号であるＡ像信号を保持する保持動作を行う。

保持回路２０３は、容量Ｃ５、Ｃ６の並列接続で構成され、容量Ｃ５、Ｃ６の一端は列出力線１０７Ｂに接続され、他端は、読出部３００内の読出回路３０３に接続される。保持回路２０３は、フォトダイオード１０１Ｂからの信号であるＢ像信号を保持する保持動作を行う。

保持回路２０２は、容量Ｃ３、Ｃ４との２つの容量で構成され、一方の容量Ｃ３の一端は列出力線１０７Ａに接続され、他方の容量Ｃ４の一端は列出力線１０７Ｂに接続される。容量Ｃ３、Ｃ４の他端は、読出部３００内の読出回路３０２に共通に接続される。保持回路２０２は、単位画素１００のフォトダイオード１０１Ａ、１０１Ｂ双方からの信号であるＡ＋Ｂ像信号を保持する。なお、容量Ｃ１〜６の静電容量値は同一である。

ここで、保持回路２０２においてＡ＋Ｂ像信号が得られる理由について、図５（ｂ）を用いて説明する。保持回路２０２の初期状態（リセット状態）における入力端子Ｔ１、Ｔ２の電圧がＶａ、Ｖｂ、出力端子Ｔ３の電圧がＶｏであった場合、容量Ｃ３、Ｃ４に蓄積されている電荷Ｑａ、Ｑｂは式（１）、（２）となる。ここで、容量Ｃ３の容量値をＣａ、容量Ｃ４の容量値をＣｂとしている。

Ｑａ＝Ｃａ（Ｖａ―Ｖｏ） ・・・（１）
Ｑｂ＝Ｃｂ（Ｖｂ―Ｖｏ） ・・・（２）
次に、フォトダイオード１０１Ａおよび１０１Ｂの信号を読み出した後の入力端子Ｔ１、Ｔ２の電圧がそれぞれＶａ＋ΔＶａ、Ｖｂ＋ΔＶｂに変化し、出力端子Ｔ３の電圧がＶｏ＋ΔＶｏに変化したとする。このとき、容量Ｃ３、Ｃ４に蓄積されている電荷Ｑａ'、Ｑｂ'は式（３）、（４）となる。

Ｑａ'＝Ｃａ｛（Ｖａ＋ΔＶａ）―（Ｖｏ＋ΔＶｏ）｝ ・・・（３）
Ｑｂ'＝Ｃｂ｛（Ｖｂ＋ΔＶｂ）―（Ｖｏ＋ΔＶｏ）｝ ・・・（４）
ここで、電荷保存則からＱａ＋Ｑｂ＝Ｑａ'＋Ｑｂ'の関係が成り立つため、式（１）〜（４）から式（５）が得られる。

ΔＶｏ＝（ＣａΔＶａ＋ＣｂΔＶｂ）／（Ｃａ＋Ｃｂ） ・・・（５）
また、容量Ｃ３、Ｃ４の容量値が等しい（Ｃａ＝Ｃｂ）場合、出力端子Ｔ３の電圧変化ΔＶｏは式（６）となる。

ΔＶｏ＝（ΔＶａ＋ΔＶｂ）／２ ・・・（６）
これは、フォトダイオード１０１Ａとフォトダイオード１０１Ｂの加算平均信号である。この信号に２倍のゲインを乗算すればＡ＋Ｂ像信号として取り扱うことができる。そのため、保持回路２０２に保持される信号をＡ＋Ｂ像信号として表記する。当該信号に２倍のゲインを乗算するのは、例えば、信号処理部１００１や制御部１００４等で行えばよい。

図５（ａ）の説明に戻り、読出部３００は、読出回路３０１、３０２、３０３で構成される。各読出回路の詳細構成は同一である。読出回路３０１、３０２、３０３には、それぞれ保持回路２０１、２０２、２０３に保持されたＡ像信号、Ａ＋Ｂ像信号、Ｂ像信号が入力される。読出回路３０１、３０２、３０３の各々は、Ａ／Ｄ変換回路３０４、メモリ３０５、Ｓ−Ｎ回路３０６を備えている。

Ａ／Ｄ変換回路３０４は、保持回路２０１、２０２、２０３に保持されたアナログ信号をデジタル信号に変換する。Ａ／Ｄ変換回路３０４は、例えば、不図示の比較回路とカウンタ回路で構成される。比較回路は、時間に依存して電圧値が変化するランプ信号と、保持回路２０１、２０２、２０３に保持された入力信号との比較を行い、両者の大小関係が逆転するタイミングでカウンタ回路に信号を送出する。カウンタ回路は、比較回路からの信号を受けて、計数したカウント値を保持する。このカウント値は、メモリ３０５にデジタル信号として取り込まれ保持される。

メモリ３０５は、デジタル信号を保持するためのメモリ部を２つ備える。メモリ部Ｍ１、Ｍ２には、それぞれ後述するリセット信号であるＮ信号、光信号であるＳ信号が保持される。Ｓ−Ｎ回路３０６は、メモリ部Ｍ１およびＭ２に保持されたデジタルのＮ信号およびＳ信号を取り込み、Ｓ信号からＮ信号を減算したデジタル信号を保持する。読出回路３０１、３０２、３０３のＳ−Ｎ回路３０６に保持されたデジタル信号は、それぞれ、スイッチＳＷ１、ＳＷ２、ＳＷ３を介してデジタル信号線３０７、３０８、３０９に出力される。なお、図５（ａ）において、Ａ／Ｄ変換回路３０４の前段に増幅アンプを設けて、保持回路に保持されたアナログ信号を増幅してからＡ／Ｄ変換する構成にしてもよい。

図６に、発明の実施形態に係る撮像装置１０の駆動タイミングチャートを示す。同図は垂直走査回路がある行を選択した際の読み出し時の駆動タイミングを表す。なお、同図において、図５（ａ）のスイッチＳＷ１〜６の各々の制御信号ＰＳＷ１〜６がＨレベルのときに、各スイッチＳＷ１〜６がオンとなる。なお、制御信号ＰＳＷ１〜６は、水平走査回路５００から供給される。

時刻ｔ１において、選択行の垂直選択パルス信号ＰＳＥＬがＨとなり、選択行の単位画素１００の選択スイッチ１０６Ａ、１０６Ｂがオンし、選択行の各単位画素１００は列出力線１０７Ａ、１０７Ｂに接続される。同じ時刻ｔ１においてリセットパルス信号ＰＲＥＳはＨであり、単位画素１００のリセットスイッチ１０５Ａ、１０５Ｂがオンし、フローティングディフュージョン１０３Ａ、１０３Ｂはリセットレベルになっている。したがって、列出力線１０７Ａ、１０７Ｂには、フローティングディフュージョンがリセットレベル時の画素信号が出力される。

時刻ｔ２において、リセットパルス信号ＰＲＥＳをＬとすることにより、リセットスイッチ１０５Ａ、１０５Ｂがオフする。このとき、保持回路２０１には、フローティングディフュージョン１０３Ａのリセットが解除されたときの電位が保持される。また、保持回路２０３には、フローティングディフュージョン１０３Ｂのリセットが解除されたときの電位が保持される。さらに、保持回路２０２には、フローティングディフュージョン１０３Ａ、１０３Ｂ両方のリセットが解除されたときの平均電位が保持される。この時刻ｔ２において各保持回路に保持される画素信号はリセットレベル信号であり、これをＮ信号と表記する。

時刻ｔ３〜ｔ４には、保持回路２０１、２０２、２０３にそれぞれ保持されたＮ信号が読出回路３０１，３０２、３０３の各Ａ／Ｄ変換回路３０４にてデジタル信号に変換される。変換されたデジタル信号はメモリ３０５のＭ１に保持される。時刻ｔ３〜ｔ４で行うＮ信号をデジタル信号に変換する動作をＮ変換と表記する。保持回路２０１、２０２、２０３にそれぞれ保持されたＮ信号のＮ変換は並列に行われる。

次に、時刻ｔ５において、転送パルス信号ＰＴＸをＨにする。これにより、画素の転送スイッチ１０２Ａ、１０２Ｂがオンし、フォトダイオード１０１Ａにおいて光電変換により発生した電荷はフローティングディフュージョン１０３Ａに転送され、フォトダイオード１０１Ｂにおいて光電変換により発生した電荷はフローティングディフュージョン１０３Ｂに転送される。列出力線１０７Ａには、フォトダイオード１０１Ａで発生した電荷量に応じた信号であるＡ像信号が出力され、列出力線１０７Ｂには、フォトダイオード１０１Ｂで発生した電荷量に応じた信号であるＢ像信号が出力される。時刻ｔ６では、転送パルス信号ＰＴＸをＬにすることで、転送スイッチ１０２Ａ、１０２Ｂがオフする。このとき、保持回路２０１にはＡ像信号が保持され、保持回路２０３にはＢ像信号が保持される。また、保持回路２０２には、図５（ｂ）で述べた通り、Ａ＋Ｂ像信号が保持される。

時刻ｔ７〜ｔ８には、保持回路２０１、２０３に保持されたＡ像信号、Ｂ像信号および保持回路２０２に保持されたＡ＋Ｂ像信号が各読出回路のＡ／Ｄ変換回路３０４にてデジタル信号に変換される。変換されたデジタル信号は各読出回路におけるメモリ３０５のＭ２に保持される。この時刻ｔ７〜ｔ８で行うＡ像信号をデジタル信号に変換する動作をＡ変換、Ｂ像信号をデジタル信号に変換する動作をＢ変換、Ａ＋Ｂ像信号をデジタル信号に変換する動作をＡ＋Ｂ変換とそれぞれ表記する。Ａ変換、Ｂ変換、Ａ＋Ｂ変換は並列に行われる。

次に、時刻ｔ９〜ｔ１０では、各読出回路におけるＳ−Ｎ回路３０６が、メモリ３０５のＭ１に保持されたＮ信号およびＭ２に保持された光信号（Ｓ信号）であるＡ像信号、Ｂ像信号、Ａ＋Ｂ像信号を取り込む。そして、Ａ像信号、Ｂ像信号、Ａ＋Ｂ像信号から対応するＮ信号が減算され、減算後の信号が保持される。この処理をノイズ除去処理（Ｓ−Ｎ処理）と表記する。Ｓ−Ｎ処理により、画素信号から固定パターンノイズやオフセット成分を除去することができる。

時刻ｔ１１では、制御信号ＰＳＷ１〜３がＨとなりスイッチＳＷ１〜３がオンする。これにより、１列目の読出部３００の各Ｓ−Ｎ回路３０６がデジタル信号線３０７、３０８、３０９に接続される。そして、各Ｓ−Ｎ回路に保持されたＡ像信号、Ａ＋Ｂ像信号、Ｂ像信号が、それぞれデジタル信号線３０７、３０８、３０９を介して、撮像素子１０００の外部に出力される。

次に、時刻ｔ１２では、制御信号ＰＳＷ４〜６がＨとなりスイッチＳＷ４〜６がオンする。そして、２列目の各Ｓ−Ｎ回路に保持されたＡ像信号、Ａ＋Ｂ像信号、Ｂ像信号が、それぞれデジタル信号線３０７、３０８、３０９を介して、撮像素子の外部に出力される。以降、この水平走査が最終列まで繰り返されることで、選択行のＡ像信号、Ａ＋Ｂ像信号、Ｂ像信号の出力が完了する。

以上の読み出し動作が画素領域の最終行まで繰り返される。この読み出し動作により、デジタル信号線３０７，３０８、３０９から、それぞれＡ像信号、Ａ＋Ｂ像信号、Ｂ像信号が並列に出力される。制御部１００４の制御により、出力されたＡ像信号、Ｂ像信号を用いた焦点検出動作および、Ａ＋Ｂ像信号を用いた撮影画像の生成を並列に行うことができる。その結果、高フレームレートで焦点検出動作および撮影画像生成を行うことが可能となる。

なお、図５（ａ）のＳ−Ｎ回路３０６のＳ−Ｎ処理は、撮像素子１０００外部の信号処理部１００１で行う構成にしてもよい。その場合、デジタル信号線からは、Ａ像信号、Ｂ像信号、Ａ＋Ｂ像信号と対応するＮ信号がそれぞれ出力されるように制御すればよい。また、Ａ／Ｄ変換回路３０４で行うＡ／Ｄ変換処理についても撮像素子１０００外部の信号処理部で行う構成にしてもよい。また、本実施形態では、Ａ像信号とＢ像信号の両方を撮像素子から出力させる構成としていたが、いずれか片方の像信号のみ出力させる構成にしてもよい。その場合、出力させなかった方の像信号は信号処理回路等でＡ＋Ｂ像信号から減算して生成すればよい。この場合でも、Ａ＋Ｂ像信号は、片方の像信号と並列に出力させることができるため、高フレームレートで撮影画像生成を行うことができる。

また、焦点検出処理を行うためには、前述した通り、Ａ像信号とＢ像信号が必要である。しかしながら、画素領域７００の全ての単位画素１００のＡ像信号とＢ像信号を読出部３００から撮像素子１０００の外部に出力するとなると信号伝送量が膨大になってしまう場合がある。

焦点検出のための相関演算は、色信号を輝度信号に変換してから演算することもある。そこで、撮像素子１０００から出力する前に読出部３００において各色のＡ像信号とＢ像信号を輝度信号に変換する演算処理を行うことで、信号伝送量を１／４に減らすことができる。

例えば、Ａ像信号、Ｂ像信号をそれぞれベイヤ加算して輝度値を算出し、輝度信号ＹＡ、ＹＢを生成する。なお、輝度値の演算にはベイヤ単位の信号が必要になるため、演算に必要な信号が揃うまで、読出部３００に読み出された画素信号をメモリに保持しておく。つまり、Ｒ・Ｇ行の信号が読み出された後、Ｇ・Ｂ行の信号が読み出されるので、Ｒ・Ｇ行のＡ像信号とＢ像信号はメモリに保持しておき、Ｇ・Ｂ行の信号が読み出されたら順次輝度信号ＹＡ、ＹＢを演算し、信号線を介して出力する。

以上のように、撮像素子１０００の読出部３００において、輝度信号に変換されたＡ像信号とＢ像信号を撮像素子の外部に出力する信号処理を行う。これにより、信号伝送量を減らすことができ、撮像画像データと焦点検出情報を共に高速に出力することができる。

［実施形態２］
上述の実施形態１では画素領域の全域でＡ像信号、Ｂ像信号、Ａ＋Ｂ像信号を出力するように制御していたが、Ａ像信号、Ｂ像信号に関しては、焦点検出動作を行う領域のみ出力させるように制御してもよい。そこで本実施形態２では、Ａ＋Ｂ像信号を画素領域の全域から出力する一方で、Ａ像信号、Ｂ像信号に関しては、信号を出力する対象の単位画素の画素領域における位置に応じて一部の画素領域に属する単位画素についてのみ出力する制御方法を述べる。このとき、Ａ像信号、Ｂ像信号を読み出さない領域では、図５（ａ）に示したＡ像用の読出回路３０１およびＢ像用の読出回路３０３への電源供給を停止することで消費電力を低減させることができる。

図７は、実施形態２において撮像および焦点検出動作を行う領域を説明するための図である。図７（ａ）において、撮像領域７０１では、Ａ＋Ｂ像信号のみを出力し、撮像＋焦点検出領域７０２では、Ａ＋Ｂ像信号に加えて、Ａ像信号、Ｂ像信号を出力する。なお、図７（ａ）では、撮像＋焦点検出領域７０２をひとまとまりの矩形領域として設定する場合を示しているが、図７（ｂ）に示すように所定列数ごとに一定間隔を設けて撮像＋焦点検出領域７０２を設定しても良い。

図８（ａ）に、実施形態２における読出部の構成例を示す。同図は実施形態１の図５（ａ）に示す読出部３００に対応する。図５（ａ）の読出部と同一の部分については詳細な説明は省略する。図８（ａ）において、ＰＳＡＶＥＡ信号はＡ像用の読出回路３０１のパワーセーブを行うための制御信号である。また、ＰＳＡＶＥＢ信号はＢ像用の読出回路３０３のパワーセーブを行うための制御信号である。ＰＳＡＶＥＡ信号、ＰＳＡＶＥＢ信号をＨにすると、該当する読出回路３０１、３０３のＡ／Ｄ変換回路３０４、メモリ３０５、Ｓ−Ｎ回路３０６への電源電圧または電流の供給が遮断され、パワーセーブ状態となる。ＰＳＡＶＥＡ信号、ＰＳＡＶＥＢ信号は、列毎にオン／オフ制御される。

図８（ｂ）、図９は、実施形態２における駆動タイミングチャートの一例を示す。図８（ｂ）は、撮像領域の駆動タイミングチャートであり、図９は、撮像＋焦点検出領域の駆動タイミングチャートである。図８（ｂ）、図９は実施形態１の図６に対応し、実施形態１と同一の動作をする部分については説明を省略する。

図８（ｂ）に示すように、撮像領域ではＰＳＡＶＥＡ信号およびＰＳＡＶＥＢ信号がＨとなるように制御される。これにより、Ａ像用の読出回路３０１およびＢ像用の読出回路３０３がパワーセーブ状態となり、これらの読出回路ではＮ変換およびＡ変換、Ｂ変換、Ｓ−Ｎ処理が行われない。また、この領域では時刻ｔ１１以降の水平走査において、制御信号ＰＳＷ１、ＰＳＷ３、ＰＳＷ４、ＰＳＷ６が常にＬのままであるため、Ａ像信号およびＢ像信号のデジタル信号線への出力も行われない。一方、撮像＋焦点検出領域では、図９に示すように、ＰＳＡＶＥＡ信号およびＰＳＡＶＥＢ信号がＬとなるように制御される。このときの動作は実施形態１と同一であり、デジタル信号線には、Ａ＋Ｂ像信号に加えて、Ａ像信号、Ｂ像信号が出力される。

以上、述べたように制御することで、焦点検出を行う領域のみ、Ａ像信号、Ｂ像信号を出力させることができる。さらに、Ａ像信号、Ｂ像信号を読み出さない領域では、Ａ像用の読出回路３０１およびＢ像用の読出回路３０３の電源をオフすることで消費電力を低減させることができる。また、本実施形態においても、Ａ＋Ｂ像信号と、Ａ像信号、Ｂ像信号が並列に出力されるため、撮影画像の生成および焦点検出動作を並列に行うことができる。その結果、高フレームレートで撮影画像生成および焦点検出動作を行うことが可能となる。

本実施形態２では、図７に示すように、列単位で撮像領域７０１と撮像＋焦点検出領域７０２を切り替えていたが、実施形態２の変形例として、図７（ｃ）、（ｄ）に示すように行単位で撮像領域７０１と撮像＋焦点検出領域７０２を切り替えても良い。図７（ｃ）は、撮像＋焦点検出領域７０２をひとまとまりの矩形領域として設定する場合を示し、図７（ｄ）は所定行数ごとに一定間隔を設けて撮像＋焦点検出領域７０２を設定する場合を示している。また、更に図７（ｅ）に示すように小矩形領域を散点的に配置して撮像＋焦点検出領域７０２を設定してもよい。この場合も、実施形態２と同様に撮像領域では図８（ｂ）に示す駆動を行い、撮像＋焦点検出領域では、図９に示す駆動を行えばよい。これにより、撮像領域では、Ａ＋Ｂ像信号のみを出力し、撮像＋焦点検出領域では、Ａ＋Ｂ像信号に加えて、Ａ像信号、Ｂ像信号を出力させることができる。

［実施形態３］
上述の実施形態１、２で述べた構成では、１列当り３つの読出回路を備えた読出部を設ける必要があるため、撮像素子１０００の回路規模が増大するおそれがある。そこで、実施形態３では、保持部、読出部を複数列で共有することで、回路規模の増大を抑えた構成を説明する。

本実施形態では、１列おきに３列で読出部を共有し、水平３画素の信号を加算平均しつつ、Ａ＋Ｂ像信号、Ａ像信号、Ｂ像信号を出力させる焦点検出読み出しモードと、水平３画素加算平均を行わずに、Ａ＋Ｂ像信号のみを出力させる通常読み出しモードとを有する。

本実施形態の保持部２００と読出部３００の構成例を図１０、１１に示す。同図では、簡略化のため、１〜６列目のみ示してある。図１０は焦点検出読み出しモード時の構成を示し、図１１は通常読み出しモード時の構成を示す。焦点検出読み出しモードと通常読み出しモードはスイッチＳＷ７〜３８のオン、オフで切り替えることができる。

本実施形態では、画素列３列に対し１組の保持部２００及び読出部３００を備えることとし、図１０、１１に示すように、第１、３、５列目の画素が共通の保持部２００に接続される。第２、４、６列目の画素は、第１、３、５列目の画素とは、画素領域の反対方向に読み出され、共通の保持部に接続される。即ち、奇数番目の列に属する画素は撮像素子１０００の下側に設けられた保持部２００及び読出部３００を３列毎に利用し、偶数番目の列に属する画素は撮像素子１０００の上側に設けられた保持部２００及び読出部３００を３列毎に利用する。なお、各保持部および読出部の構成は同一であるため、撮像素子１０００の上側の保持部２００と読出部３００は図示を省略してある。

保持部２００は、保持回路２０４、２０５、２０６で構成される。保持回路２０４は容量Ｃ７〜１２を備え、保持回路２０５は容量Ｃ１３〜１８を備え、保持回路２０６は容量Ｃ１９〜２４を備える。なお、Ｃ７〜Ｃ２４の静電容量値は同一である。

図１０に示す焦点検出読み出しモードでは、保持回路２０４には、１、３、５列目の画素のフォトダイオード１０１Ａの信号が入力される。したがって、図５（ｂ）で説明した場合と同様に、保持回路２０４には、１、３、５列目の画素のＡ像信号を加算平均した信号が保持される。保持回路２０６には、１、３、５列目の画素のフォトダイオード１０１Ｂの信号が入力される。したがって、保持回路２０６には、１、３、５列目の画素のＢ像信号を加算平均した信号が保持される。また、保持回路２０５には、１、３、５列目の画素のフォトダイオード１０１Ａおよび１０１Ｂの信号が入力される。したがって、保持回路２０５には、１、３、５列目の画素のフォトダイオード１０１Ａと１０１Ｂの加算平均信号が保持される。この信号に２倍のゲインを乗算すればＡ＋Ｂ像信号として取り扱うことができるため、この信号をＡ＋Ｂ像信号として表記する。したがって、保持回路２０５には、１、３、５列目の画素のＡ＋Ｂ像信号を加算平均した信号が保持されることになる。

保持回路２０４、２０５、２０６に保持されたＡ像信号、Ａ＋Ｂ像信号、Ｂ像信号は、それぞれ読出回路でＡ／Ｄ変換およびＳ−Ｎ処理が行われ、デジタル信号線３０７、３０８、３０９を介して並列に撮像素子の外部に出力される。この際の駆動タイミングは実施形態１に示したものと同様であるため、その説明は省略する。

図１１に示す通常読み出しモードでは、保持回路２０４には、１列目の画素のフォトダイオード１０１Ａおよび１０１Ｂの信号が入力される。したがって、保持回路２０４には、１列目の画素のフォトダイオード１０１Ａと１０１Ｂの加算平均信号が保持される。この信号に２倍のゲインを乗算すればＡ＋Ｂ像信号として取り扱うことができるため、この信号をＡ＋Ｂ像信号として表記する。したがって、保持回路２０４には、１列目の画素のＡ＋Ｂ像信号が保持されることになる。同様にして、保持回路２０５には、３列目の画素のフォトダイオード１０１Ａおよび１０１Ｂの信号が入力されるため、３列目の画素のＡ＋Ｂ像信号が保持される。また、保持回路２０６には、５列目の画素のフォトダイオード１０１Ａおよび１０１Ｂの信号が入力されるため、５列目の画素のＡ＋Ｂ像信号が保持される。

保持回路２０４、２０５、２０６に保持されたＡ＋Ｂ像信号は、それぞれ読出回路３０１、３０２、３０３でＡ／Ｄ変換およびＳ−Ｎ処理が行われ、デジタル信号線３０７、３０８、３０９を介して並列に撮像素子の外部に出力される。この際の駆動タイミングは実施形態１と同様であるため、その説明は省略する。

以上で述べた構成を用いれば、３列で１つの読出部を共有することができるため、回路規模の増大を抑えることができる。また、水平３画素の信号を加算平均しつつ、Ａ＋Ｂ像信号、Ａ像信号、Ｂ像信号を出力させる焦点検出読み出しモードは、例えば、焦点検出動作を行う動画モードで使用し、水平３画素加算平均を行わずに、Ａ＋Ｂ像信号のみを出力させる通常読み出しモードは、静止画撮影モードで使用すればよい。

また、本実施例においても、Ａ＋Ｂ像信号と、Ａ像信号、Ｂ像信号が並列に出力されるため、撮影画像の生成および焦点検出動作を並列に行うことができる。その結果、高フレームレートで焦点検出動作および撮影画像生成を行うことが可能となる。

［実施形態４］
上述の実施形態１から３では列毎に保持部２００、読出部３００を備え、行順次に画素信号を読み出してＡ／Ｄ変換していく構成について説明した。これに対し本実施形態では、画素毎に保持部２００、読出部３００を備えた構成を説明する。本構成では、全画素同時に画素信号を読み出してＡ／Ｄ変換することができるため、より高速な読み出しが可能となる。

図１２に実施形態４における撮像素子１０００の全体構成の一例を示す。実施形態１と同一の箇所については、詳細な説明は省略する。本実施形態の撮像素子１０００は、一例として画素領域チップ１１００、読出回路チップ１２００、信号処理チップ１３００の複数の半導体チップが互いに積層されて構成されているものとする。各チップ間の配線は、公知の基板積層化技術により、マイクロバンプ等を用いて電気的に接続される。なお、上述の実施形態１から３の撮像素子１０００においても、積層構造により構成されていてもよい。

画素領域チップ１１００は、２つのフォトダイオードを有する単位画素１２０がアレイ状に複数配置された画素領域と画素駆動回路１１０１とを有する。画素駆動回路１１０１は、画素領域の全画素に一括して駆動信号を送出する。読出回路チップ１２００は、保持部２００、読出部３００、垂直選択回路１２０１、水平選択回路１２０２を備える。保持部２００、読出部３００は単位画素毎に設けられる。各保持部２００は実施形態１と同様にＡ像信号用の保持回路２０１、Ａ＋Ｂ像信号用の保持回路２０２、Ｂ像信号用の保持回路２０３を有する。また、各読出部３００も実施形態１と同様に、Ａ像信号用の読出回路３０１、Ａ＋Ｂ像信号用の読出回路３０２、Ｂ像信号用の読出回路３０３を備える。垂直選択回路１２０１と水平選択回路１２０２とは、両者の組み合わせにより、一つの読出部３００を選択し、選択された読出部３００に保持されたＡ＋Ｂ像信号、Ａ像信号、Ｂ像信号が後述する撮像信号処理回路１３０１、焦点検出信号処理回路１３０２に出力される。

信号処理チップ１３００は、ＴＧ６００、撮像信号処理回路１３０１、焦点検出信号処理回路１３０２、撮像信号出力部１３０３、焦点検出信号出力部１３０４を有する。撮像信号処理回路１３０１は、読出部３００から出力されたＡ＋Ｂ像信号に対して、各種の信号処理を行う撮像画像信号処理部である。焦点検出信号処理回路１３０２は、読出部３００から出力されたＡ像信号、Ｂ像信号に対して、各種の信号処理を行う焦点検出信号処理部である。さらに、両信号を用いて、公知である相関演算を行い、両信号の位相差（像ずれ量）を算出する。撮像信号出力部１３０３は、撮像信号処理回路１３０１で信号処理されたＡ＋Ｂ像信号を撮像信号として、撮像素子の外部へ出力する。出力された撮像信号は、制御部１００４での撮影画像の生成に用いられる。焦点検出信号出力部１３０４は、焦点検出信号処理回路１３０２で算出した相関演算結果を撮像素子１０００の外部へ出力する。出力された相関演算結果は、制御部１００４において撮影レンズのデフォーカス量の算出に用いられ、その結果に基づいて撮影レンズの駆動量が決定される。上記の撮像信号処理と焦点検出信号処理は並列に行われる。

なお、焦点検出のための相関演算は、色信号を輝度信号に変換してから演算することもある。そこで、焦点検出信号処理回路１３０２において各色のＡ像信号とＢ像信号を輝度信号に変換する演算処理を行ってもよい。例えば、Ａ像信号、Ｂ像信号をそれぞれベイヤ加算して輝度値を算出し、輝度信号ＹＡ、ＹＢを生成する。輝度値の演算にはベイヤ単位の信号が必要になるため、演算に必要な信号が揃うまで、焦点検出信号処理回路１３０２に入力された各色のＡ像信号とＢ像信号をメモリに保持しておく。つまり、Ｒ・Ｇ行の信号が読み出された後、Ｇ・Ｂ行の信号が読み出されるので、Ｒ・Ｇ行のＡ像信号とＢ像信号はメモリに保持しておき、Ｇ・Ｂ行の信号が読み出されたら順次輝度信号ＹＡ、ＹＢを演算すればよい。そして、算出された輝度信号ＹＡ、ＹＢを用いて相関演算が行われる。

本実施形態では、画素毎にＡ＋Ｂ像信号、Ａ像信号、Ｂ像信号用の保持部、読出回路を備える構成であるが、図１２に示すように、画素領域と保持部、読出回路とを別々のチップに形成することで、画素回路の面積を確保することができ、各画素の開口率の低下を防止できる。

実施形態４の単位画素１２０の回路図を図１３（ａ）に示す。同図は実施形態１の図４に対応し、選択スイッチを有しない点以外は図４と同一であるため、詳細な説明は省略する。

次に、図１３（ｂ）は、実施形態４の単位画素１２０、保持部２００、読出部３００の構成を示す図である。同図は実施形態１の図５（ａ）に対応し、図５（ａ）と同一の箇所については、詳細な説明は省略する。図１３（ｂ）に示すように、読出回路チップ１２００は、画素領域チップ１１００の単位画素１２０毎に保持部２００、読出部３００を備えている。保持部２００は、Ａ像信号を保持する保持回路２０１、Ａ＋Ｂ像信号を保持する保持回路２０２、Ｂ像信号を保持する保持回路２０３を備える。読出部３００は、Ａ像信号用の読出回路３０１、Ａ＋Ｂ像信号用の読出回路３０２、Ｂ像信号用の読出回路３０３を備える。各読出回路でのＡ／Ｄ変換処理、Ｓ−Ｎ処理は並列に行われる。Ｓ−Ｎ処理後は、垂直選択回路１２０１と水平選択回路１２０２の組み合わせにより選択された読出部のスイッチＳＷ１〜３がオンし、Ａ＋Ｂ像信号は、デジタル信号線３０８を介して、信号処理チップ１３００の撮像信号処理回路１３０１へ出力される。Ａ像信号およびＢ像信号は、デジタル信号線３０７、３０９を介して、信号処理チップ１３００の焦点検出信号処理回路１３０２へ出力される。

なお、実施形態４の撮像装置１０の駆動タイミングチャートは図６とほぼ同様である。図６と異なる部分は、選択パルス信号ＰＳＥＬ、及びスイッチＳＷの制御信号ＰＳＷ４からＰＳＷ６がない点である。実施形態１の図６では、選択パルス信号ＰＳＥＬによって選択された行の画素に対して各駆動パルスが送出されていたが、本実施形態４では、全画素に対して同時に駆動パルスが送出される。そして、全画素で並列にＡ／Ｄ変換、Ｓ−Ｎ処理が行われる。その後は、垂直選択回路１２０１と水平選択回路１２０２の組み合わせにより選択された読出部３００のスイッチＳＷ１〜３がオンし、各画素のＡ＋Ｂ像信号、Ａ像信号、Ｂ像信号が、信号処理チップ１３００に出力される。本実施形態では、読出部３００が単位画素毎に設けられているため、スイッチＳＷ４以降のスイッチは存在しない。

以上述べたように、本実施形態では、全画素同時に画素信号を読み出してＡ／Ｄ変換することができるため、より高速な読み出しが可能となる。また、本実施形態においても、Ａ＋Ｂ像信号と、Ａ像信号、Ｂ像信号が並列に出力されるため、焦点検出動作および撮影画像の生成を並列に行うことができる。その結果、高フレームレートで焦点検出動作および撮影画像生成を行うことが可能となる。

なお、本実施形態では、画素毎にＡ＋Ｂ像信号、Ａ像信号、Ｂ像信号用の保持部、読出回路を備える構成であったが、実施形態３を応用して、複数画素で、Ａ＋Ｂ像信号、Ａ像信号、Ｂ像信号用の保持部、読出回路を共有する構成にしてもよい。

また、本実施形態１から４では単位画素内に２つの光電変換部を備える構成について説明したが、単位画素内のフォトダイオードの数はこれに限定されない。例えば、単位画素内に４つのフォトダイオードを備え、焦点検出用として保持回路、読出回路を４つずつ設け、撮像信号用として、保持回路、読出回路を１つずつ備える構成にしてもよい。即ち、単位画素内の光電変換部の数をＮとした場合、必要とされる保持回路と読出回路の数は、焦点検出用、撮像信号用を合計してそれぞれＮ+１となる。また、光電変換部の数がＮの場合、実施形態３に対応する実施形態ではＮ+１列毎に１組の保持部２００と読出部３００を設け、保持部２００と読出部３００には、それぞれＮ+１個の保持回路と読出回路が含まれることとなる。例えば、Ｎ＝４の場合、５列毎に保持部２００と読出部３００が設けられ、各保持部２００、読出部３００には５つの保持回路と読出回路が含まれる。

以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではない。

１００：単位画素、１０１Ａ：第１のフォトダイオード、１０１Ｂ：第２のフォトダイオード、１０２Ａ、１０２Ｂ：転送スイッチ、１０３Ａ、１０３Ｂ：フローティングディフュージョン、１０４Ａ、１０４Ｂ：増幅部、１０５Ａ、１０５Ｂ：リセットスイッチ、１０６Ａ、１０６Ｂ：選択スイッチ、１０７Ａ、１０７Ｂ：列出力線

Claims (6)

1. 複数の光電変換部を有する単位画素が複数配置された画素領域と、
   前記画素領域の各単位画素から信号を読み出す信号読出部と、
   前記信号読出部により読み出された前記単位画素内の複数の光電変換部の一部の光電変換部に基づいた第１の信号を用いて所定の演算処理を行うことで焦点検出信号を生成する焦点検出信号処理部と、
   前記信号読出部により読み出された前記単位画素内の全ての光電変換部に基づいた第２の信号から撮像画像信号を生成する撮像画像信号処理部と、
   前記焦点検出信号を出力する焦点検出信号出力部と、
   前記撮像画像信号を出力する撮像画像信号出力部と、
   を備えることを特徴とする撮像素子。
2. 前記焦点検出信号処理部は、前記第１の信号を輝度信号に変換してから前記所定の演算処理を行うことを特徴とする請求項１に記載の撮像素子。
3. 前記所定の演算処理は、相関演算処理を含むことを特徴とする請求項１または２に記載の撮像素子。
4. 前記画素領域が第１の半導体チップに形成されるとともに、前記撮像画像信号処理部及び前記焦点検出信号処理部が第２の半導体チップに形成され、
   前記第１の半導体チップと前記第２の半導体チップとが互いに積層されて構成されることを特徴とする請求項１乃至３のいずれか１項に記載の撮像素子。
5. さらに、前記第１の信号を保持する第１の保持部と、前記第２の信号を保持する第２の保持部とを備え、前記第１の保持部及び前記第２の保持部が第３の半導体チップに形成されることを特徴とする請求項４に記載の撮像素子。
6. 前記第２の保持部は、少なくとも２つの容量を有し、前記少なくとも２つの容量のうち、一方の容量に前記第１の信号が入力され、他方の容量に前記複数の光電変換部の他の光電変換部に基づく第３の信号が入力されることで、前記第２の信号を生成することを特徴とする請求項５に記載の撮像素子。