JP2017098903A

JP2017098903A - 撮像素子及び撮像装置

Info

Publication number: JP2017098903A
Application number: JP2015232279A
Authority: JP
Inventors: 聡熊木; Satoshi Kumaki; 顯佐々木; Akira Sasaki
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2015-11-27
Filing date: 2015-11-27
Publication date: 2017-06-01
Anticipated expiration: 2035-11-27
Also published as: JP6265962B2

Abstract

【課題】撮像素子外へ出力する画素信号の通信インターフェースを増加させることなく、フレームレートの低下を抑制し、高精度な焦点調節が可能な撮像素子を提供する。【解決手段】撮像素子は、行列状に配置され、それぞれ複数の光電変換部を有する複数の単位画素２０１を有する画素部２００と、複数の単位画素２０１の信号を基に、光学系と撮像素子との間の光軸上の相対的な距離を制御するための制御信号を生成する制御部信号処理回路２０８，デフォーカス量算出回路２１０及びフォーカス制御回路２１１とを有する。【選択図】図２

Description

本発明は、撮像素子及び撮像装置に関する。

近年、撮像素子は、機能の向上が著しく、様々なニーズに対応するべく多機能化が進んでいる。自動焦点調節（以下ＡＦという）として、撮像素子に焦点検出用の画素を配置した撮像面位相差ＡＦが知られている。撮像面位相差ＡＦとは、撮像光学系の瞳を分割して受光する複数の光電変換部を撮像素子上に配置し、その複数の光電変換部の信号によりＡＦを行う方式のことである。撮像面位相差ＡＦを実現する撮像素子の一形態として、単位画素に複数の光電変換部を配することにより、瞳の領域が分割された光をそれぞれ光電変換し出力することができる。複数の光電変換部の信号を読み出すことが可能な構成の製造は困難となるが、複数の光電変換部から読み出した信号を混合することにより通常の撮影画像としても使用することも可能である。また、撮像面位相差ＡＦを行わない際は、複数の光電変換部の信号を撮像素子内で混合し、撮影画像に用いる単位画素の信号として読み出すことが可能である。

一方、画像信号は非常にデータ量が多く、高速なインターフェースを用いたとしても時間がかかるため、フレームレートを決めるボトルネックとなっている。そのため、撮像面位相差ＡＦを行う際に、複数の光電変換部の信号をそれぞれ読み出し、それぞれの信号を撮像素子外へ出力することから、全光電変換部の信号を出力するのに必要な時間が長くなり、フレームレートが下がってしまう課題がある。この課題に対し、撮像素子内で複数の光電変換部の信号の混合を行うと共に、その混合により得られる撮影画像と、その混合によらず得られる撮像面位相差ＡＦに用いる複数の光電変換部の信号を並列に出力することが、特許文献１に開示されている。

特開２０１４−７２５４１号公報

特許文献１の撮像装置では、撮影画像用の画素信号と並列に撮像面位相差ＡＦ用の画素信号を読み出しているものの、撮像面位相差ＡＦ用の画素信号を全て読み出すと、撮影画像用の画素信号のおよそ倍の時間がかかってしまう。並列に撮像素子の外部へ読み出す際の並列数を増やすことにより高速化は可能ではあるものの、画素信号の通信インターフェース数は、受信側のデバイス等、カメラシステムにより制限されるため、容易に増やせるものではない。特許文献１では、読み出される撮像面位相差ＡＦ用の画素信号は、間引き読み出しや、特定領域のみの読み出しによりデータ量を削減する手法や、ベイヤ配列中の特定色の画素のみ複数の光電変換部を配することによりデータ量を削減する。しかし、間引き読み出しをしてしまうと、撮像面位相差ＡＦ用の信号を読み出す画素の密度が低くなってしまい、精度の高い撮像面位相差ＡＦを行うことができない。また、特定領域の読み出しも、予め読み出す領域を設定する必要があり、例えば被写体検知を用いた精度の高いＡＦが行えない。もし被写体検知を行う場合は、全ての領域の撮像面位相差ＡＦ用の信号を出力しておく必要があり、フレームレートを維持することが難しい。また、特定色の画素のみ複数の光電変換部を配する手法では、異なる色の被写体へのＡＦ精度が著しく低下する。

今後、単位画素当たりの光電変換部の数が増加し、精度の高い撮像面位相差ＡＦを行う際においては、さらに撮像面位相差ＡＦ用の信号のデータ量が増大することが予想される。その際には、撮像面位相差ＡＦ用の信号の通信に時間がかかることから、フレームレートを落とさずに精度の高い撮像面位相差ＡＦを行うことは難しい。

本発明の目的は、撮像素子外へ出力する画素信号の通信インターフェースを増加させることなく、フレームレートの低下を抑制し、高精度な焦点調節が可能な撮像素子及び撮像装置を提供することである。

本発明の撮像素子は、光学系を介して光を入射する撮像素子であって、行列状に配置され、各々が前記光学系を介して入射する光を電荷に変換する複数の光電変換部を有する複数の単位画素と、前記複数の単位画素の信号を基に、前記光学系と前記撮像素子との間の光軸上の相対的な距離を制御するための制御信号を生成する制御部とを有することを特徴とする。

本発明によれば、撮像素子外へ出力する画素信号の通信インターフェースを増加させることなく、フレームレートの低下を抑制し、高精度な焦点調節が可能となる。

第１の実施形態に係る撮像装置の構成例を示すブロック図である。第１の実施形態に係る撮像素子の構成例を示す図である。第１の実施形態に係る単位画素の構成例を示す回路図である。撮影レンズの射出瞳から出た光束が単位画素に入射する図である。第１の実施形態に係る信号処理回路の構成例を示す図である。第１の実施形態に係るフォーカス制御回路の構成例を示す図である。撮像素子の駆動方法を示すタイミングチャートである。第２の実施形態に係る単位画素の光電変換部の形状を示す図である。第２の実施形態に係る単位画素の構成例を示す回路図である。第２の実施形態に係る撮像素子の構成例を示す図である。第２の実施形態に係る信号処理回路の構成例を示す図である。撮像素子の駆動方法を示すタイミングチャートである。第３の実施形態に係る撮像装置の構成例を示すブロック図である。

（第１の実施形態）
図１は、本発明の第１の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、レンズ部１１１及びカメラ部１１２を有する。レンズ部１１１は、フォーカスレンズ１０１、フォーカスアクチュエータ１０２、レンズ位置検出部１０３、及びレンズ情報保持部１０４を有する。カメラ部１１２は、撮像素子１００、全体制御演算部１０６、メモリ部１０７、表示部１０８、記録部１０９、及び操作部１１０を有する。レンズ部１１１は、マウント１０５を介して、カメラ部１１２に接続される。フォーカスレンズ１０１を含むレンズ群は、光学像を撮像素子１００上に結像する光学系である。撮像素子１００は、光学系を介して光を入射し、光学像を画像信号（電気信号）に変換する。フォーカスアクチュエータ１０２は、撮像素子１００により制御され、フォーカスレンズ１０１を光軸ＯＡに沿って進退駆動することにより、焦点制御を行う。レンズ位置検出部１０３は、フォーカスレンズ１０１の位置を検出し、その検出したレンズ位置情報を撮像素子１００へ出力する。撮像素子１００は、検出された位置を基にフォーカスアクチュエータ１０２を高精度に制御する。レンズ情報保持部１０４は、レンズ（光学系）の種類及びレンズの絞りの状態を示すレンズ情報を保持し、撮像素子１００へ出力する。全体制御演算部１０６は、撮像素子１００を制御し、撮像素子１００から出力された画像信号に対して補正処理及び現像処理を行い、他のブロックを制御する。メモリ部１０７は、画像信号を記憶する。表示部１０８は、各種情報及び画像を表示する。記録部１０９は、画像の書き込み及び読み出しを行うための半導体メモリ等の着脱可能な記録部である。操作部１１０は、撮像装置の各種インターフェースである。全体制御演算部１０６は、操作部１１０の信号を用いて、各ブロックを制御する。

図２は、本実施形態に係る撮像素子１００の構成例を示す図である。撮像素子１００は、ＣＭＯＳ型撮像素子であり、撮像基板２１４及び信号処理基板２１５を積層することにより構成される。撮像基板２１４及び信号処理基板２１５は、例えばＴＳＶ（Through Silicon Via）を介して、相互に接続される。撮像基板２１４は、画素部２００、垂直走査回路２０２、及び列回路２０３が設けられる第１の半導体基板である。信号処理基板２１５には、タイミング制御回路２０６、列メモリ回路２０７、信号処理回路２０８、画像信号出力回路２０９、デフォーカス量算出回路２１０、フォーカス制御回路２１１、レンズ情報入力回路２１２、及び位置信号入力回路２１３が設けられる。信号処理基板２１５は第２の半導体基板であり、信号処理基板２１５上の回路は制御部である。

画素部２００は、行列状に配置された複数の単位画素２０１を有し、撮像素子１００に結像された光学像を電気信号へ変換する。垂直走査回路２０２及び列回路２０３は、画素部２００に接続される。各行の駆動信号線２０４は、各行の単位画素２０１に共通に接続される。垂直走査回路２０２は、各行の駆動信号線２０４を介して、各行の単位画素２０１を駆動する駆動信号を出力する。各列の信号線２０５は、各列の単位画素２０１に共通に接続される。複数の単位画素２０１の各々は、図３に示すように、フォーカスレンズ１０１を介して入射する光を電荷に変換する第１の光電変換部３００Ａ及び第２の光電変換部３００Ｂを有し、各列の信号線２０５に画素信号を出力する。列回路２０３は、複数の単位画素２０１の信号をアナログからデジタルに変換するアナログデジタル変換部（以下ＡＤＣという）を有する。列回路２０３は、各列の信号線２０５の信号に対し、相関二重サンプリングによる減算処理、信号増幅、アナログデジタル（ＡＤ）変換を行い、ＴＳＶを介して列メモリ回路２０７へデジタル信号を出力する。以下、単位画素２０１のリセット後の単位画素２０１の出力信号をＮ信号という。また、単位画素２０１内の第１の光電変換部３００Ａにより変換された電荷に基づく単位画素２０１の出力信号をＡ信号（第１の信号）という。また、単位画素２０１内の第２の光電変換部３００Ｂにより変換された電荷に基づく単位画素２０１の出力信号をＢ信号（第３の信号）という。また、単位画素２０１内の第１の光電変換部３００Ａと第２の光電変換部３００Ｂにより変換された電荷を混合した電荷に基づく単位画素２０１の出力信号をＡ＋Ｂ信号（第２の信号）という。単位画素２０１は、Ｎ信号とＡ信号（第１の信号）とＡ＋Ｂ信号（第２の信号）とを時分割で列回路２０３に出力する。列回路２０３は、Ｎ信号と、Ａ信号と、Ａ＋Ｂ信号に対して、ＡＤ変換を行う。その後、列回路２０３は、Ａ信号からＮ信号を減算した画素信号Ａを列メモリ回路２０７に出力し、Ａ＋Ｂ信号からＮ信号を減算した画素信号Ａ＋Ｂを列メモリ回路２０７に出力する。列メモリ回路２０７は、画素信号Ａ及び画素信号Ａ＋Ｂを保持する。

タイミング制御回路２０６は、全体制御演算部１０６から撮像素子制御信号を入力し、垂直走査回路２０２、列回路２０３、列メモリ回路２０７、及び信号処理回路２０８に制御信号を出力する。信号処理回路２０８は、列メモリ回路２０７に保持された画素信号に対し、補正処理を行い、撮影画像及び焦点検出用の信号を生成する。信号処理回路２０８は、撮影画像として用いられる画素信号Ａ＋Ｂに対して、撮像素子１００の周辺部で光量が落ちる周辺光量落ち補正や黒レベル補正等の補正処理を行い、画像信号出力回路２０９へ出力する。また、信号処理回路２０８は、画素信号Ａ＋Ｂから画素信号Ａを減算することにより、焦点検出用の信号である画素信号Ｂを生成し、画素信号Ａ及び画素信号Ｂに対して黒レベル等の補正を行い、デフォーカス量算出回路２１０へ出力する。画素信号Ｂは、第２の光電変換部３００Ｂにより変換された電荷に基づく第３の信号である。信号処理回路２０８に関しては、後に図５を用いて詳細を説明する。

画像信号出力回路２０９は、信号処理回路２０８により補正処理が施された画素信号Ａ＋Ｂを撮影画像として、全体制御演算部１０６へ出力する。デフォーカス量算出回路２１０は、デフォーカス量算出部であり、信号処理回路２０８から焦点検出用の画素信号Ａ及び画素信号Ｂを入力し、焦点検出用の画素信号Ａ及び画素信号Ｂに対して、相関演算処理を行う。そして、デフォーカス量算出回路２１０は、画素信号Ａと画素信号Ｂにおける画素ずれ量をデフォーカス量として算出してフォーカス制御回路２１１へ出力する。フォーカス制御回路２１１は、フォーカス制御部であり、その入力したデフォーカス量を基にフォーカスレンズ１０１の駆動量を算出し、フォーカスアクチュエータ１０２を駆動するためのフォーカス駆動信号を出力する。レンズ情報入力回路２１２は、レンズ部１１１のレンズ情報保持部１０４からレンズの種類及びレンズの絞りの状態を示すレンズ情報を入力し、そのレンズ情報を信号処理回路２０８及びフォーカス制御回路２１１に出力する。位置信号入力回路２１３は、位置情報入力部であり、レンズ位置検出部１０３からフォーカスレンズ１０１のレンズ位置情報（光学系の位置情報）を入力し、そのレンズ位置情報をフォーカス制御回路２１１に出力する。フォーカス制御回路２１１は、レンズ情報及びレンズ位置情報を入力し、フォーカスアクチュエータ１０２の駆動信号のフォーマットの切り替えや、レンズ位置情報をフィードバックすることにより、高精度なフォーカス制御を行う。フォーカス制御回路２１１は、フォーカスレンズ１０１と撮像素子１００との間の光軸ＯＡ上の相対的な距離を制御するためのフォーカス駆動信号（制御信号）をフォーカスアクチュエータ１０２に出力する。フォーカスアクチュエータ１０２は、フォーカス駆動信号に応じて、フォーカスレンズ１０１と撮像素子１００との間の光軸ＯＡ上の相対的な距離を制御する。

図３は、本実施形態に係る単位画素２０１の構成例を示す回路図である。単位画素２０１は、第１の光電変換部３００Ａと、第２の光電変換部３００Ｂと、５個のｎ型電界効果トランジスタ３０１Ａ，３０１Ｂ，３０３，３０４，３０５を有する。光電変換部３００Ａ及び３００Ｂは、例えばフォトダイオードであり、単位画素２０１に入射した光を電荷に変換する。第１の転送トランジスタ３０１Ａは、第１の光電変換部３００Ａの電荷をフローティングディフュージョン（以下ＦＤという）３０２へ出力する。第２の転送トランジスタ３０１Ｂは、第２の光電変換部３００Ｂの電荷をＦＤ３０２へ出力する。ＦＤ３０２は、ＦＤ３０２に接続された寄生容量により、電荷を電圧に変換する。リセットトランジスタ３０３は、ＦＤ３０２を電源電位ＶＤＤのノードに接続し、ＦＤ３０２の電位を電源電位ＶＤＤにリセットする。増幅トランジスタ３０４は、ＦＤ３０２の信号を電流増幅して出力する。選択トランジスタ３０５は、増幅トランジスタ３０４の出力ノードを信号出力線３０６に接続する。信号出力線３０６は、図２の信号線２０５に接続される。選択トランジスタ３０５をオフ／オフすることにより、行列上に配置された単位画素２０１のうち、選択された行の単位画素２０１の信号のみが出力される。転送トランジスタ３０１Ａ、３０１Ｂ、リセットトランジスタ３０３、選択トランジスタ３０５は、それぞれ、駆動信号φＴＸＡ、φＴＸＢ、φＲＳＴ、φＳＥＬによって制御される。また、行列上に配置された単位画素２０１のうち、同じ行に配置された単位画素２０１に同一の駆動信号が与えられる。

なお、本実施形態では、１つの単位画素２０１に２個の光電変換部を配する構成を一例として説明するが、さらに多数の光電変換部を配することもできる。光電変換部の数を増やすことにより、より精度の高い撮像面位相差ＡＦを行うことが可能となる。

図４は、フォーカスレンズ１０１を含む光学系の射出瞳４００から出た光束が単位画素２０１に入射する概念図である。以下、撮像装置の瞳分割方式による焦点検出の原理を説明する。単位画素２０１は、第１の光電変換部３００Ａと第２の光電変換部３００Ｂとを有する。射出瞳４００から出た光束は、光軸ＯＡを中心として、マイクロレンズ４０１とカラーフィルタ４０２を通して、単位画素２０１に入射する。複数の単位画素２０１には、それぞれ、複数のマイクロレンズ４０１が設けられる。射出瞳４００は、瞳領域４０３Ａ及び４０３Ｂを有する。瞳領域４０３Ａと４０３Ｂを通過する光束は、それぞれ、光電変換部３００Ａと３００Ｂに入射する。したがって、光電変換部３００Ａ及び３００Ｂは、それぞれ、撮影レンズの射出瞳４００の異なる瞳領域４０３Ａ及び４０３Ｂの光を受光している。これにより、第１の光電変換部３００Ａの信号と第２の光電変換部３００Ｂの信号を比較することで、位相差の検知が可能となる。上記の画素信号Ａは、第１の光電変換部３００Ａにより光電変換された信号であり、上記の画素信号Ｂは、第２の光電変換部３００Ｂにより光電変換された信号である。また、上記の画素信号Ａ＋Ｂは、画素信号Ａと画素信号ＢをＦＤ３０２にて混合した信号である。

図５は、図２の信号処理回路２０８の構成例を示す図である。信号処理回路２０８は、タイミング制御回路２０６から出力される制御信号により制御される。画像用メモリ読み出し回路５００は、列メモリ回路２０７に対して、メモリ制御信号を出力し、保持された各列の画素信号Ａ＋Ｂを順次読み出し、読み出した画素信号Ａ＋Ｂを画像補正回路５０１に出力する。この際、画素信号の読み出し速度は、撮像素子１００外へ出力する際の通信インターフェースの速度により律速される。画像補正回路５０１は、その入力した画素信号Ａ＋Ｂに対して、補正処理を行う。具体的には、画像補正回路５０１は、撮像素子１００の周辺部で光量が落ちる現象の補正である周辺光量落ち補正や、列回路２０３内の列毎に配置されるＡＤＣの特性バラツキによる列間黒レベル補正を行う。また、画像補正回路５０１は、入力されたレンズ情報を基に、絞りを変化させた時に出力が理論値からずれてしまう現象の補正であるＦナンバー補正を行う。画像補正回路５０１は、レンズ情報に応じて予め用意された補正値テーブルより選択し、補正に用いるパラメータを決定する。画像補正回路５０１は、補正された画素信号Ａ＋Ｂを画像信号として画像出力回路２０９へ出力する。

焦点検出用メモリ読み出し回路５０２は、列メモリ回路２０７に対して、メモリ制御信号を出力し、保持された各列の画素信号Ａ及び画素信号Ａ＋Ｂを順次読み出す。これらの画素信号Ａ及び画素信号Ａ＋Ｂは、並列に複数の画素信号が同時に読み出されることに加え、デバイス間の通信インターフェースにより速度が制限されない。そのため、焦点検出用メモリ読み出し回路５０２は、画像用メモリ読み出し回路５００と比べ、高速に読み出すことが可能である。焦点検出用メモリ読み出し回路５０２は、読み出した画素信号Ａ及び画素信号Ａ＋Ｂを焦点検出用信号生成回路５０３に出力する。焦点検出用信号生成回路５０３は、画素信号Ａ＋Ｂから画素信号Ａを減算することにより画素信号Ｂを生成する。そして、焦点検出用信号生成回路５０３は、生成された画素信号Ｂ及び画素信号Ａをフレームメモリ５０４に出力する。

被写体検出用メモリ読み出し回路５０５は、被写体の自動検出モード時に、列メモリ回路２０７に対して、メモリ制御信号を出力し、保持された各列の画素信号Ａ＋Ｂを順次読み出す。この時、被写体検出では、画像に用いられる程の解像度は必要ないので、被写体検出用メモリ読み出し回路５０５は、画素信号Ａ＋Ｂを間引いて読み出してよい。また、画素信号Ａ＋Ｂが間引かれることに加え、並列に複数の画素信号Ａ＋Ｂが同時に読み出されること、デバイス間の通信インターフェースにより速度が制限されない。したがって、被写体検出用メモリ読み出し回路５０５は、画像用メモリ読み出し回路５００及び焦点検出用メモリ読み出し回路５０２より早く画素信号Ａ＋Ｂの読み出しが完了する。被写体検出回路５０６は、被写体検出用メモリ読み出し回路５０５が読み出した画素信号Ａ＋Ｂを保持し、その保持した画素信号Ａ＋Ｂによる画像に対して被写体検出処理を行う。そして、被写体検出回路５０６は、被写体の画素情報が画素部２００内のどの領域にあるかを表す座標情報を領域選択回路５０７に出力する。領域選択回路５０７は、デフォーカス量の算出を行う領域情報を、フレームメモリ５０４に出力する。領域選択回路５０７は、被写体の自動検出モード時には、被写体検出回路５０６から入力される被写体の座標情報を基に領域情報を生成してフレームメモリ５０４に出力する。これに対し、領域選択回路５０７は、使用者が焦点合わせを行う位置を指定する手動設定モード時には、使用者が設定した焦点合わせを行う領域情報としての焦点制御座標情報（像高情報）を全体制御演算部１０６より入力する。そして、領域選択回路５０７は、その焦点制御座標情報を領域情報としてフレームメモリ５０４に出力する。

フレームメモリ５０４は、焦点検出量信号生成回路５０３から出力された１フレーム分の画素信号Ａ及び画素信号Ｂを保持し、領域選択回路５０７により指定された領域の画素信号Ａ及び画素信号Ｂを画素信号補正回路５０８に出力する。この際、フレームメモリ５０４は、並列に複数の画素信号を出力することにより、高速に出力することができる。画素信号補正回路５０８は、フレームメモリ５０４より入力された画素信号Ａ及び画素信号Ｂに対して補正処理を行い、デフォーカス量算出回路２１０へ出力する。具体的には、画素信号補正回路５０８は、列毎の黒レベル補正や、画素部２００内の位置によって出力が片方の画素信号に偏ってしまう現象の補正を行う。上記の偏りの補正は、レンズの絞りの状態に依存するため、レンズ情報に応じて補正に使用するパラメータを切り替える。

図６は、図２のフォーカス制御回路２１１の構成例を示す図である。Ｋ値選択回路６０１は、像高情報である焦点制御座標及びレンズ情報を入力し、予め用意された係数テーブルより、レンズの種類から定まる射出瞳距離や像高に応じて係数Ｋを選択し、乗算回路６００に出力する。焦点制御座標は、使用者により設定される焦点合わせを行う領域情報である。レンズ情報は、レンズの種類及びレンズの絞りの情報を含む。Ｋ値選択回路６０１は、係数決定部であり、レンズの種類とレンズの絞りと焦点制御座標とのうちの少なくとも１つに応じて係数Ｋを決定する。乗算回路６００は、乗算部であり、デフォーカス量算出回路２１０より出力されたデフォーカス量に対して、係数Ｋを乗算することにより、画素ずれ量であるデフォーカス量からレンズを動かすレンズ駆動量に変換してドライバ制御回路６０２へ出力する。ドライバ制御回路６０２は、レンズ位置情報、レンズ駆動量及びレンズ情報を入力し、ドライバ出力選択回路６０６を制御する。ドライバ制御回路６０２は、複数フレームのレンズ駆動量を保持し、直前の複数フレームのレンズ駆動量を基に次フレーム撮影時に被写体との距離がどの程度変化するかを算出し、その変化量を入力されたレンズ駆動量に混合する。これにより、ドライバ制御回路６０２は、次フレームの撮影時に最適なレンズ駆動量を求める。フォーカス制御回路２１１は、ＶＣＭ（Voice Coil Motor）ドライバ回路６０３、ＳＴＭ（Stepping Motor）ドライバ回路６０４、及びＵＳＭ（Ultrasonic Motor）ドライバ回路６０５を有する。ドライバ制御回路６０２は、フォーカスアクチュエータ１０２の種類（レンズ情報）に応じて、ＶＣＭドライバ回路６０３、ＳＴＭドライバ回路６０４及びＵＳＭドライバ回路６０５のうちの１つのドライバ回路を選択して使用するためにレンズ駆動量を出力する。また、ドライバ制御回路６０２は、ドライバ出力選択回路６０６を制御し、上記の選択した１つのドライバ回路のみを出力端子に接続する。また、ドライバ制御回路６０２は、フォーカスレンズ１０１のレンズ位置情報を入力し、高精度なフォーカス制御を行う。

図７は、図１の撮像素子１００の駆動方法を示すタイミングチャートである。駆動信号φＲＳＴ＿１、φＲＳＴ＿２及びφＲＳＴ＿ｎは、それぞれ、１行目、２行目及びｎ行目の単位画素２０１の駆動信号φＲＳＴである。駆動信号φＴＸＡ＿１、φＴＸＡ＿２及びφＴＸＡ＿ｎは、それぞれ、１行目、２行目及びｎ行目の単位画素２０１の駆動信号φＴＸＡである。駆動信号φＴＸＢ＿１、φＴＸＢ＿２及びφＴＸＢ＿ｎは、それぞれ、１行目、２行目及びｎ行目の単位画素２０１の駆動信号φＴＸＢである。駆動信号φＳＥＬ＿１、φＳＥＬ＿２及びφＳＥＬ＿ｎは、それぞれ、１行目、２行目及びｎ行目の単位画素２０１の駆動信号φＳＥＬである。駆動信号φＲＳＴ、φＴＸＡ、φＴＸＢ、φＳＥＬは、ハイレベル及びローレベルの何れかの状態をとるものとする。ＡＤＣは、列回路２０３内のＡＤＣにおける処理の状態を表す。Ｎはリセット後の状態を読み出したＮ信号に対してＡＤ変換を行う状態を、Ａは光電変換部３００Ａに蓄積された電荷を読み出したＡ信号に対してＡＤ変換を行う状態を表す。ＡＢは光電変換部３００Ａ及び光電変換部３００Ｂに蓄積された電荷を読み出したＡ＋Ｂ信号に対してＡＤ変換を行う状態を表す。フォーカス駆動信号は、フォーカス制御回路２１１よりフォーカス駆動信号が出力されているかどうかを示す。

タイミングｔ０〜ｔ１では、垂直同期信号と水平同期信号がハイレベルパルスとなり、全行の駆動信号φＲＳＴがハイレベルになり、光電変換部３００Ａ及び３００ｂのリセットの垂直走査が開始される。垂直走査は、水平同期信号がハイレベルになる度に同一の行に配置される単位画素２０１に対して共通の駆動を行い、その１行当たりの駆動を行数だけ繰り返すことにより行われる。具体的には、１行目から順に駆動信号φＴＸＡ及びφＴＸＢがハイレベルとなることにより、当該行の単位画素２０１の光電変換部３００Ａ及び光電変換部３００Ｂに蓄積された電荷がリセットされる。上記１行当たりの駆動を繰り返しｎ行について行い、画素部２００内のすべての光電変換部３００Ａ及び３００Ｂのリセットが終了し、光電変換部３００Ａ及び３００Ｂの光電変換により生成される電荷の蓄積が開始する。

タイミングｔ２〜ｔ６では、読み出しの垂直走査により、１行当たりの読み出しをｎ行繰り返し行うことにより、画素部２００全体の読み出しを行う。タイミングｔ２では、垂直同期信号及び水平同期信号がハイレベルパルスになり、駆動信号φＲＳＴ＿１がローレベル、駆動信号φＳＥＬ＿１がハイレベルとなる。駆動信号φＲＳＴ＿１がローレベルとなることで、１行目の単位画素２０１において、リセットトランジスタ３０３がオフとなり、ＦＤ３０２はフローティング状態となる。駆動信号φＳＥＬ＿１がハイレベルとなることで、１行目の単位画素２０１内の選択トランジスタ３０５はオンとなり、１行目の単位画素２０１は、それぞれ、Ｎ信号を信号線２０５介して列回路２０３に出力する。その後、列回路２０３内のＡＤＣは、リセット後のＦＤ３０２の電位に応じたＮ信号に対してＡＤ変換を行う。ＡＤ変換されたＮ信号は、列回路２０３内に保持される。

タイミングｔ３では、駆動信号φＴＸＡ＿１がハイレベルとなり、１行目の単位画素２０１において、転送トランジスタ３０１Ａがオンとなり、光電変換部３００Ａに蓄積された電荷がＦＤ３０２に転送される。ＦＤ３０２では、転送された電荷に応じて電位が変化する。１行目の単位画素２０１は、ＦＤ３０２の電位の変化に応じてＡ信号を列回路２０３に出力する。その後、列回路２０３内のＡＤＣは、Ａ信号に対しＡＤ変換を行う。列回路２０３は、ＡＤ変換されたＡ信号から、保持されているＮ信号を減算し、画素信号Ａを列メモリ回路２０７に記録する。

タイミングｔ４では、駆動信号φＴＸＡ＿１及びφＴＸＢ＿１がハイレベルとなり、１行目の単位画素２０１において、転送トランジスタ３０１Ａ及び３０１Ｂがオンとなり、光電変換部３００Ａ及び３００Ｂに蓄積された電荷がＦＤ３０２に転送される。ＦＤ３０２では、転送された電荷に応じて電位が変化する。１行目の単位画素２０１は、ＦＤ３０２の電位に変化に応じて、Ａ＋Ｂ信号を列回路２０３に出力する。その後、列回路２０３内のＡＤＣは、Ａ＋Ｂ信号に対してＡＤ変換を行う。列回路２０３は、ＡＤ変換されたＡ＋Ｂ信号から、保持されているＮ信号を減算し、画素信号Ａ＋Ｂを列メモリ回路２０７に記録する。その後、列メモリ回路２０７は、画素信号Ａ及び画素信号Ａ＋Ｂを順次信号処理回路２０８に出力する。そして、焦点検出用信号生成回路５０３は、画素信号Ａ＋Ｂから画素信号Ａを減算することにより、画素信号Ｂを生成し、フレームメモリ５０４に保持される。画像補正回路５０１は、画素信号Ａ＋Ｂを補正処理し、画像信号出力回路２０９を介して撮像素子１００外へ順次出力する。被写体検出回路５０６は、列メモリ回路２０７に保持された画素信号Ａ＋Ｂを間引いて読み出して保持する。

タイミングｔ５では、駆動信号φＲＳＴ＿１がハイレベル、駆動信号φＳＥＬ＿１がローレベルとなると同時に、駆動信号φＲＳＴ＿２がローレベル、駆動信号φＳＥＬ＿２がハイレベルとなる。これにより、１行目の単位画素２０１の読み出しが終了し、２行目の単位画素２０１の読み出しが開始される。駆動信号φＲＳＴ＿２がローレベルとなることで、２行目の単位画素２０１において、リセットトランジスタ３０３がオフとなり、ＦＤ３０２はフローティング状態となる。駆動信号φＳＥＬ＿２がハイレベルとなることで、２行目の単位画素２０１内の選択トランジスタ３０５はオンとなり、２行目の単位画素２０１は、それぞれ、Ｎ信号を信号線２０５介して列回路２０３に出力する。列回路２０３内のＡＤＣは、リセット後のＦＤ３０２の電位に応じたＮ信号に対してＡＤ変換を行う。

その後、駆動信号φＴＸＡ＿２がハイレベルとなり、２行目の単位画素２０１において、転送トランジスタ３０１Ａがオンとなり、光電変換部３００Ａに蓄積された電荷がＦＤ３０２に転送される。２行目の単位画素２０１は、ＦＤ３０２の電位の変化に応じてＡ信号を列回路２０３に出力する。その後、列回路２０３内のＡＤＣは、Ａ信号に対しＡＤ変換を行う。列回路２０３は、ＡＤ変換されたＡ信号から、保持されているＮ信号を減算し、画素信号Ａを列メモリ回路２０７に記録する。

その後、駆動信号φＴＸＡ＿２及びφＴＸＢ＿２がハイレベルとなり、２行目の単位画素２０１において、転送トランジスタ３０１Ａ及び３０１Ｂがオンとなり、光電変換部３００Ａ及び３００Ｂに蓄積された電荷がＦＤ３０２に転送される。２行目の単位画素２０１は、ＦＤ３０２の電位に変化に応じて、Ａ＋Ｂ信号を列回路２０３に出力する。その後、列回路２０３内のＡＤＣは、Ａ＋Ｂ信号に対してＡＤ変換を行う。列回路２０３は、ＡＤ変換されたＡ＋Ｂ信号から、保持されているＮ信号を減算し、画素信号Ａ＋Ｂを列メモリ回路２０７に記録する。その後、１行目の読み出しと同様の処理が行われる。

タイミングｔ５〜ｔ６では、タイミングｔ２〜ｔ５の駆動と同様の駆動を、２行目〜ｎ行目に対して行う。これにより、１フレームの画像の取得が行われる。また、画素信号の読み出しが行われている間に、前行の画素信号Ａ＋Ｂが画像出力として撮像素子１００外へと出力される。最終行となるｎ行目の画素信号Ａ＋Ｂが撮像素子１００外へ出力されるのと同時に、被写体検出回路５０６は、被写体検出用の画素信号Ａ＋Ｂを読み出す。被写体検出用の画素信号Ａ＋Ｂは、間引いて読み出されることに加え、複数の画素信号を並列に読み出すこと、デバイス間の通信インターフェースにより速度が制限されないことから、画像出力に比べ早く読み出しが完了し、被写体検出回路５０６が被写体検出を行う。

タイミングｔ６では、最終行となるｎ行目の画像信号の出力が完了するのと同時に、信号処理回路２０８は、焦点検出に用いる画素信号Ａ及び画素信号Ｂをデフォーカス量算出回路２１０に出力し始める。この時、画素信号Ａ及び画素信号Ｂは、撮像素子１００内の通信であり、並列に複数の画素信号を出力するため、高速な信号伝送が可能である。デフォーカス量算出回路２１０は、入力された画素信号Ａ及び画素信号Ｂから順次デフォーカス量を算出し、フォーカス制御回路２１１へ出力する。フォーカス制御回路２１１は、算出された複数行のデフォーカス量を基に、レンズ駆動量を算出し、当該フレームを含む複数のレンズ駆動量から次フレームの撮影時におけるフォーカス位置を予測し、実際に制御を行うレンズ駆動量を算出する。

タイミングｔ７〜ｔ８では、フォーカス制御回路２１１は、算出されたレンズ駆動量に応じて、フォーカス駆動信号を出力する。これにより、フォーカスレンズ１０１が移動し、焦点合わせが行われる。タイミングｔ９以降では、タイミングｔ０〜ｔ８と同様に、次フレームの駆動が繰り返される。これらの繰り返しにより、焦点の合った画像を取得することが可能となる。

図７の撮像素子の駆動方法では、被写体を自動で検出して焦点合わせを行う被写体の自動検出モードにおける駆動例を示した。使用者が焦点合わせを行う位置を指定する手動設定モード時には、予め焦点検出を行う領域が決まっているので、当該領域のＡＤ変換が終わり次第、デフォーカス量の算出を行うことができる。その場合、画像信号を出力している間に駆動量の算出を行うことができるため、ｎ行目のＡＤ変換が終わり次第、フォーカス駆動信号の出力が行われる。これにより、更に高速な焦点合わせが可能となる。

本実施形態では、撮像素子１００内部で焦点制御に必要な処理を完結できることにより、撮像素子１００外へ画素信号Ａ及び画素信号Ｂを出力する必要がない。つまり、同一の半導体基板上での伝送なので、多数の信号線により並列に画素信号を伝送することが容易である。また、画像信号を撮像素子１００外へ出力する通信のインターフェースを増やす必要もない。更に、通信インターフェースの速度に制限されることがないことから、各々の信号線による伝送も外部に出力する場合と比べ高速化が可能である。このような理由から、フレームメモリ５０４からフォーカス制御回路２１１まで信号を高速に伝送することが可能である。さらに、上記高速化が可能なことから、焦点制御の処理時間を大幅に伸ばすことなく、デフォーカス量の算出に多くの画素信号Ａ及び画素信号Ｂの信号を使用し、高精度な焦点制御を可能とすることができる。

さらに、撮像素子１００は、タイミング制御回路２０６を有するため、焦点制御のタイミングと撮像素子１００の駆動のタイミングを同調制御することが容易である。例えば、本実施形態において、フォーカス制御回路２１１がフォーカス駆動信号を出力するタイミングは、撮像素子１００の読み出し駆動の時間とは重ならないタイミングとなる。これにより、レンズ部１１１のフォーカスアクチュエータ１０２が駆動中に発する、例えば磁気ノイズの外来ノイズやドライバ回路のラッシュ電流による電源電圧の変動により、読み出し中の撮像素子１００の出力に影響を与えるとこを防ぐことが可能となる。

画素部２００を含む撮像基板２１４と、信号処理回路２０８及びフォーカス制御回路２１１等を含む信号処理基板２１５とで、別々の半導体基板上に形成し、積層する構成としたが、これに限られるものではなく、同一の半導体基板に形成してもよい。しかし、本実施形態のように、多数の信号処理を行う回路を含む構成においては、積層構造とするのが望ましい。また、本実施形態において、画素信号Ａ及び画素信号Ｂを信号処理回路２０８内のフレームメモリ５０４に保持し、被写体検出を行った後に、検出結果に基づく領域の画素信号を読み出し、デフォーカス量の算出を行った。しかし、予め画素信号Ａ及び画素信号Ｂから順次デフォーカス量の算出を行い、その結果をメモリに保持しておき、被写体検出後に使用するデフォーカス量を選択してもよい。

（第２の実施形態）
本発明の第２の実施形態による撮像装置を、図８〜図１２を参照しながら説明する。以下、本実施形態が第１の実施形態と異なる点を説明する。図８（ａ）は、第１の実施形態による単位画素２０１内のマイクロレンズ４０１、２個の光電変換部３００Ａ及び３００Ｂのレイアウト例を示す図である。図８（ｂ）は、第２の実施形態による単位画素８００内のマイクロレンズ４０１、１６個の光電変換部８０１Ａ〜８０１Ｐのレイアウト例を示す図である。図８（ａ）及び（ｂ）は、一例として、画素部の中央付近の４個の単位画素を示す。図８（ａ）では、単位画素２０１に重なるようにマイクロレンズ４０１が配置されている。図８（ａ）では、画素部２００の中央付近の単位画素２０１を示すため、単位画素２０１とマイクロレンズ４０１が重なっているが、画素部２００の中央以外の領域では、マイクロレンズ４０１は単位画素２０１に対してずれて配置される。また、単位画素２０１の内部には、２個の光電変換部３００Ａ及び光電変換部３００Ｂが単位画素２０１内の領域を水平方向に２分割するように配置されている。一方、図８（ｂ）では、単位画素８００内に１６個の光電変換部８０１Ａ〜８０１Ｐが行列状に並んで配置される。

図９は、図８の単位画素８００の構成例を示す回路図である。単位画素８００は、１６個の分割画素９００Ａ〜９００Ｐを有する。分割画素９００Ａ〜９００Ｐは、それぞれ、光電変換部８０１Ａ〜８０１Ｐを有する。分割画素９００Ａは、光電変換部８０１Ａ、転送トランジスタ９０１Ａ、ＦＤ９０２Ａ、リセットトランジスタ９０３Ａ、増幅トランジスタ９０４Ａ、及び信号出力線９０５Ａを有する。図９では、分割画素９００Ａについてその詳細を示しているが、分割画素９００Ｂ〜９００Ｐも分割画素Ａと同様の構成を有する。分割画素９００Ａ〜９００Ｐは、それぞれ、光電変換部８０１Ａ〜８０１Ｐ、転送トランジスタ９０１Ａ〜９０１Ｐ、ＦＤ９０２Ａ〜９０２Ｐ、リセットトランジスタ９０３Ａ〜９０３Ｐ、増幅トランジスタ９０４Ａ〜９０４Ｐ、出力線９０５Ａ〜９０５Ｐを有する。転送トランジスタ９０１Ａ〜９０１Ｐは共通の駆動信号φＴＸにより制御され、リセットトランジスタ９０３Ａ〜９０３Ｐは共通の駆動信号φＲＳＴにより制御される。単位画素８００は、複数の光電変化部８０１Ａ〜８０１Ｐにより変換された電荷に基づく信号を、出力線９０５Ａ〜９０５Ｐを介して、並列に出力する。

図１０は、本実施形態に係る撮像素子１００の構成例を示す図である。撮像素子１００は、撮像基板１０１１、ＡＤ基板１０１２及び信号処理基板１０１３を積層した三層構成を有する。撮像基板１０１１、ＡＤ基板１０１２及び信号処理基板１０１３は、ＴＳＶを介して接続される。撮像基板１０１１は、画素部１０００及び画素駆動回路１００１が設けられる第１の半導体基板である。ＡＤ基板１０１２は、ＡＤ変換・メモリ回路１００３及びタイミング制御回路１００４が設けられる第２の半導体基板である。信号処理基板１０１３は、信号処理回路１００５、画像信号出力回路１００６、デフォーカス量算出回路１００７、フォーカス制御回路１００８、レンズ情報入力回路１００９及び位置信号入力回路１０１０が設けられる第３の半導体基板である。なお、第１の実施形態（図２）でも、撮像基板２１４及び信号処理基板２１５とは異なるＡＤ基板に列回路２０３を設け、３つの半導体基板を積層してもよい。

画素部１０００は、行列状に配置された複数の単位画素８００を有する。画素駆動回路１００１は、駆動信号線１００２を介して、単位画素８００に駆動信号を出力する。単位画素８００は、前述した通り、分割画素９００Ａ〜９００Ｐの信号出力線９０５Ａ〜９０５Ｐを有する。分割画素９００Ａ〜９００Ｐは、それぞれ、信号出力線９０５Ａ〜９０５Ｐを介して、信号をＡＤ変換・メモリ回路１００３へ出力する。具体的には、分割画素９００Ａ〜９００Ｐは、それぞれ、ＦＤ９０２Ａ〜９０２Ｐのリセット後の状態であるＮ信号を出力する。その後、分割画素９００Ａ〜９００Ｐは、それぞれ、転送トランジスタ９０１Ａ〜９０１Ｐをオンすることにより、光電変換部８０１の電荷を転送した後の状態であるＳ信号を出力する。

ＡＤ変換・メモリ回路１００３は、ＡＤＣであり、タイミング制御回路１００４により駆動され、Ｎ信号及びＳ信号に対してそれぞれアナログからデジタルに変換する。その後、ＡＤ変換・メモリ回路１００３は、Ｓ信号からＮ信号を減算することにより、光電変換部８０１Ａ〜８０１Ｐにより変換された電荷に基づく信号を画素信号Ａ〜画素信号Ｐとして、個別にメモリに保持する。また、ＡＤ変換・メモリ回路９０３は、同一の単位画素８００の画素信号Ａ〜画素信号Ｐを混合し、画素信号ＡＬＬをメモリに保持する。

信号処理回路１００５は、タイミング制御回路１００４により駆動され、ＡＤ変換・メモリ回路１００３より画素信号ＡＬＬ及び画素信号Ａ〜画素信号Ｐを並列に読み出し、補正処理及び焦点検出用の信号の生成を行う。信号処理回路１００５は、撮影画像として用いられる画素信号ＡＬＬに対して、撮像素子１００の周辺部で光量が落ちる周辺光量落ち補正や黒レベル補正等の補正処理を行い、画像出力回路１００６へ出力する。また、信号処理回路１００５は、画素信号Ａ〜画素信号Ｐを用い、焦点検出用の信号を生成し、黒レベル等の補正を行い、デフォーカス量算出回路１００７へ出力する。出力する焦点検出用の信号は、焦点検出用垂直信号と焦点検出用水平信号の２種類の焦点検出用信号である。詳細に関しては、後に説明する。

デフォーカス量算出回路１００７は、信号処理回路１００５より出力された焦点検出用垂直信号及び焦点検出用水平信号からデフォーカス量を算出し、算出結果をフォーカス制御回路１００８へ出力する。デフォーカス量算出回路１００７は、２種類の焦点検出用信号の焦点検出信頼性の評価値に応じて、使用する焦点検出用信号の切り替えを行うか、２種類の焦点検出用信号それぞれから算出されたデフォーカス量を基にデフォーカス量を別途算出するかを切り替える。具体的には、デフォーカス量算出回路１００７は、焦点検出用水平信号及び焦点検出用垂直信号のうち、片方の信頼性が高い場合は、信頼性の高い焦点検出用信号を基にデフォーカス量を算出する。また、デフォーカス量算出回路１００７は、焦点検出用水平信号及び焦点検出用垂直信号の両方の信頼性が高い場合は、それぞれを基に算出したデフォーカス量の平均値を実際に使用するデフォーカス量とする。フォーカス制御回路１００８は、図２のフォーカス制御回路２１１と同様に、デフォーカス量を基にフォーカス駆動信号を生成する。

図１１は、図１０の信号処理回路１００５の構成例を示す図である。信号処理回路１００５は、画像信号に用いる信号を読み出す画像用メモリ読み出し回路１１００、被写体検出に用いる信号を読み出す被写体検出用メモリ読み出し回路１１０１、焦点検出用信号の生成に用いる焦点検出用メモリ読み出し回路１１０２を有する。各メモリ読み出し回路１１００〜１１０２は、タイミング制御回路１００４より入力される制御信号により制御される。画像用メモリ読み出し回路１１００は、ＡＤ変換・メモリ回路１００３内で画像信号ＡＬＬが生成された直後から、画素信号ＡＬＬを順に読み出し、画像補正回路１１０３へ出力する。この際、画像用メモリ読み出し回路１１００は、出力のフォーマットに合わせ、全ての画素信号ＡＬＬを出力するか、間引いて一部の画素信号ＡＬＬを読み出すかを適宜選択する。例えば、画像用メモリ読み出し回路１１００は、静止画撮影時は、全ての画素信号ＡＬＬを読み出し、動画撮影時は、動画フォーマットに合わせて、ある間隔で配置された画素信号ＡＬＬのみを読み出す。

被写体検出用メモリ読み出し回路１１０１は、被写体の自動検出モード時に、被写体検出に必要な単位画素８００の画素信号ＡＬＬを読み出し、被写体検出回路１１０４に出力する。被写体検出では、画像に用いられる程の解像度は必要ないので、被写体検出用メモリ読み出し回路１１０１は、画像用メモリ読み出し回路１１００に比べ、より間引いて読み出してよい。更に、画像用メモリ読み出し回路１１００は、撮像素子１００外へ出力する際におけるデバイス間の通信インターフェースにより速度が制限されるのに対し、被写体検出用メモリ読み出し回路１１０１は、それに制限されず、高速に伝送することが可能である。また、被写体検出用メモリ読み出し回路１１０１は、画像用メモリ読み出し回路１１００に比べ、１フレーム毎に読み出す画素信号ＡＬＬの数が少なく、より早く読み出しが終了する。被写体検出回路１１０４は、読み出された画素信号ＡＬＬを入力し、被写体検出を行い、被写体の座標情報を領域選択回路１１０５に出力する。領域選択回路１１０５は、デフォーカス量の算出を行う領域情報を、焦点検出用メモリ読み出し回路１１０２に出力する。被写体の自動検出モード時には、領域選択回路１１０５は、被写体検出回路１１０４から入力される被写体の座標情報を基に領域情報を生成する。また、使用者が焦点合わせを行う位置を指定する手動設定モード時には、領域選択回路１１０５は、使用者が設定した領域情報としての焦点制御座標情報を全体制御演算部１０６より入力し、その座標情報を基に領域情報を生成する。

焦点検出用メモリ読み出し回路１１０２は、領域選択回路１１０５より入力された領域情報に基づき、当該領域の画素信号Ａ〜画素信号Ｐを読み出し、焦点検出用信号生成回路１１０６に出力する。焦点検出用メモリ読み出し回路１１０２は、画像用メモリ読み出し回路１１００と異なり、デバイス間の通信インターフェースにより速度が制限されず、領域選択回路１１０５により指定された領域のみを読み出し、画素信号Ａ〜画素信号Ｐは並列に読み出される。そのため、焦点検出用メモリ読み出し回路１１０２は、画像用メモリ読み出し回路１１００に比べ、より早く読み出しが終了する。また、同時に並列に読み出される画素信号Ａ〜画素信号Ｐは、同一の単位画素８００の信号である。

焦点検出用信号生成回路１１０６は、同時に読み出した画素信号Ａ〜画素信号Ｐを基に焦点検出用の信号を生成する。生成される信号は、単一の画素信号又は複数の画素信号を混合した信号であり、混合する画素信号の組み合わせによって、縦線を検出する焦点検出用垂直信号と横線を検出する焦点検出用水平信号となる。焦点検出用信号生成回路１１０６は、複数の画素信号Ａ〜画素信号Ｐを異なる複数の組み合わせで混合する。また、焦点検出用信号生成回路１１０６は、入力されたレンズ情報であるレンズの絞り、すなわちＦナンバーの情報に応じて、混合する画素信号の組み合わせを切り替える。具体的には、Ｆナンバーが小さい状態の時は、焦点検出用垂直信号は、画素信号Ａ＋Ｅ＋Ｉ＋Ｍと画素信号Ｄ＋Ｈ＋Ｌ＋Ｐを用い、焦点検出用水平信号は、画素信号Ａ＋Ｂ＋Ｃ＋Ｄと画素信号Ｍ＋Ｎ＋Ｏ＋Ｐを用いる。このように、Ｆナンバーが小さく、撮影レンズの射出瞳径が大きい場合は、より瞳の外側の画素信号を基にデフォーカス量の算出を行うと、より精度が高い焦点制御が可能となる。それに対し、Ｆナンバーが大きく、射出瞳径が小さい場合は、単位画素８００内の外側の光電変換部８０１には、ほとんど光が入射しないので、焦点検出用垂直信号と焦点検出用水平信号の組み合わせでは、デフォーカス量の算出が困難となる。このことから、Ｆナンバーが大きい際には、焦点検出用垂直信号は、画素信号Ａ＋Ｂ＋Ｅ＋Ｆ＋Ｉ＋Ｊ＋Ｍ＋Ｎと画素信号Ｃ＋Ｄ＋Ｇ＋Ｈ＋Ｋ＋Ｌ＋Ｏ＋Ｐを用いる。同様に、焦点検出用水平信号は、画素信号Ａ＋Ｂ＋Ｃ＋Ｄ＋Ｅ＋Ｆ＋Ｇ＋Ｈと画素信号Ｉ＋Ｊ＋Ｋ＋Ｌ＋Ｍ＋Ｎ＋Ｏ＋Ｐを用いる。画素信号補正回路１１０７、このように生成された焦点検出用垂直信号及び焦点検出用水平信号を補正処理し、デフォーカス量算出回路１００７へ出力する。

図１２は、本実施形態に係る撮像素子１００の駆動方法を示すタイミングチャートである。図１２において、ＡＤＣは、ＡＤ変換・メモリ回路内１００３がＡＤ変換する信号の種類を示し、画像出力は、画像信号出力回路１００６が出力する信号の画素部１０００内の位置を示す。フォーカス駆動信号は、フォーカス制御回路１００８が出力するフォーカス駆動信号が出力されているか否かを示す。信号処理回路、デフォーカス量算出回路及びフォーカス制御回路は、それぞれの回路における動作状況を示す。

タイミングｔ０では、フレーム同期信号がハイレベルパルスになり、駆動信号φＲＳＴがハイレベルであり、タイミングｔ０〜ｔ１では、光電変換部８０１Ａ〜８０１Ｐのリセットが開始される。画素部１０００内の全ての転送トランジスタ９０１Ａ〜９０１Ｐのゲートは、駆動信号φＴＸを入力し、駆動信号φＴＸがハイレベルとなることで、画素部１０００内の全ての光電変換部８０１Ａ〜８０１Ｐに蓄積された電荷がリセットされる。

タイミングｔ１では、フレーム同期信号がハイレベルパルスになり、駆動信号φＲＳＴがローレベルとなり、ＦＤ９０２Ａ〜９０２Ｐはフローティング状態となる。分割画素９００Ａ〜９００Ｐは、それぞれ、リセット後のＦＤ９０２Ａ〜９０２Ｐの電位に応じたＮ信号をＡＤ変換・メモリ回路１００３に出力する。ＡＤ変換・メモリ回路１００３は、Ｎ信号をＡＤ変換し、メモリに保持する。

タイミングｔ２では、駆動信号φＴＸがハイレベルとなり、光電変換部８０１Ａ〜８０１Ｐに蓄積された電荷がＦＤ９０２Ａ〜９０２Ｐへ転送される。その後、駆動信号φＴＸはローレベルとなる。分割画素９００Ａ〜９００Ｐは、ＦＤ９０２Ａ〜９０２Ｐの電位に応じたＳ信号をＡＤ変換・メモリ回路１００３に出力する。ＡＤ変換・メモリ回路１００３は、Ｓ信号をＡＤ変換し、ＡＤ変換されたＳ信号からＮ信号を減算して、画素信号Ａ〜Ｐをメモリに保持する。また、ＡＤ変換・メモリ回路１００３は、単位画素８００毎に、画素信号Ａ〜Ｐを混合し、画素信号ＡＬＬをメモリに保持する。上記の駆動は、全ての単位画素８００に対して行われるので、１度のＡＤ変換駆動により、全ての画素信号のＡＤ変換が完了する。

タイミングｔ３では、信号処理回路１００５は、画素信号ＡＬＬを順に入力し、画像補正回路１１０３により補正処理し、画像信号出力部１００６を介して撮像素子１００外へ画像を出力し始める。画像の出力は、画素部１０００内の１行目に配置された単位画素８００の画素信号ＡＬＬから順に出力されていく。また、同時に、信号処理回路１００５は、被写体検出用の画素信号ＡＬＬを必要に応じて間引いて読み出す。その後、信号処理回路１００５は、被写体検出を行い、焦点検出に用いる画素信号を読み出す領域を決定する。続いて、焦点検出用信号生成回路１１０６は、決定した領域に応じた画素信号Ａ〜Ｐを基に焦点検出用垂直信号及び焦点検出用水平信号を生成し、画素信号補正回路１１０７を介して、デフォーカス量算出回路１００７へ出力する。このとき、被写体検出用の画素信号ＡＬＬ、焦点検出用の画素信号Ａ〜Ｐ、焦点検出用垂直信号及び焦点検出用水平信号は、被写体検出や精度の良い焦点制御に必要な情報のみにデータ量が削減されている。また、被写体検出用の画素信号ＡＬＬ、焦点検出用の画素信号Ａ〜Ｐ、焦点検出用垂直信号及び焦点検出用水平信号は、画像の出力と異なり、デバイス間の通信インターフェースにより速度が制限されないため、画像出力と比べ短時間で伝送することが可能である。デフォーカス量算出回路１００７は、順次入力される焦点検出用垂直信号及び焦点検出用水平信号を用いてデフォーカス量を算出し、フォーカス制御回路１００８へ出力する。デフォーカス量の算出が終わり次第、フォーカス制御回路１００８は、レンズ駆動量の算出を行う。その後、ドライバ制御回路６０２は、複数フレームのレンズ駆動量を基に、最適なレンズ駆動量を算出する。

タイミングｔ４〜ｔ５では、フォーカス制御回路１００８は、算出されたレンズ駆動量に応じて、フォーカス駆動信号を出力する。これにより、フォーカスレンズ１０１が移動し、焦点合わせが行われる。タイミングｔ６以降では、タイミングｔ０〜ｔ５の駆動と同様に、次のフレームの処理が行われる。この処理を繰り返すことにより、焦点の合った画像の取得が行われる。なお、画像出力は、タイミングｔ３以降に順次行われており、デフォーカス量の算出やフォーカス制御信号の出力は、画像出力と同時に行われる。

本実施形態は、撮像素子１００内部で焦点制御に必要な処理を完結できることにより、撮像素子１００外へ焦点検出用の信号を出力する必要がないため、画像信号を撮像素子１００外へ出力する通信のインターフェースを増やす必要がない。更に、本実施形態は、通信インターフェースの速度に制限されることがないことから、ＡＤ変換・メモリ回路１００３からフォーカス制御回路１００８まで信号を高速に伝送することが可能である。これにより、本実施形態は、精度の良い焦点制御に必要な多くの焦点検出用の信号を用いたとしても、画像信号の出力を行っている最中に焦点制御に必要な処理を完了することが可能である。つまり、本実施形態は、フレームレートを落とすことなく、高精度な焦点制御を行うことが可能となる。

本実施形態では、信号処理回路１００６が焦点検出用垂直信号及び焦点検出用水平信号の生成を行ったが、ＡＤ変換・メモリ回路１００３がそれらを生成してもよい。また、ＡＤ変換・メモリ回路１００３は、全ての単位画素８００内の光電変換部８０１Ａ〜８０１Ｐの信号に対して同時にＡＤ変換を行う構成としたが、これに限らず、複数の単位画素８００毎にＡＤ変換回路を共有し、時分割でＡＤ変換を行ってもよい。この場合においても、撮像素子１００は、焦点検出用の信号を撮像素子１００の外部へ出力する必要がないため、フレームレートを落とすことなく、精度の良い焦点制御を行うことが可能である。

（第３の実施形態）
本発明の第３の実施形態に係る撮像装置を、図１３を参照しながら説明する。以下、本実施形態が第１及び第２の実施形態と異なる点を説明する。図１３は、本発明の第３の実施形態に係る撮像装置の構成例を示すブロック図である。図１３の撮像装置は、図１の撮像装置に対して、フォーカスアクチュエータ１０２及びレンズ位置検出部１０３の代わりに、フォーカスアクチュエータ１３０２及び撮像素子位置検出部１３０３を設けたものである。第１及び第２の実施形態は、焦点制御のためにフォーカスレンズ１０１を移動させたが、本実施形態は、焦点検出のために撮像素子１００を移動させる。本実施形態では、フォーカスアクチュエータ１３０２は、撮像素子１００の制御の下、撮像素子１００を光軸ＯＡに沿って移動させる。撮像素子位置検出部１３０３は、撮像素子１００の位置を検出して撮像素子１００に出力する。撮像素子１００は、撮像素子１００の位置情報を用いて、焦点制御を精度良く行う。撮像素子１００内のフォーカス制御回路２１１は、フォーカスレンズ１０１と撮像素子１００との間の光軸ＯＡ上の相対的な距離を制御するためのフォーカス駆動信号（制御信号）をフォーカスアクチュエータ１３０２に出力する。フォーカスアクチュエータ１３０２は、フォーカス駆動信号に応じて、フォーカスレンズ１０１と撮像素子１００との間の光軸ＯＡ上の相対的な距離を制御する。本実施形態は、第１及び第２の実施形態と同様の効果を得ることができる。

なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００撮像素子、１０１フォーカスレンズ、２００画素部、２０１単位画素、２０３列回路、２０８信号処理回路、２１０デフォーカス量算出回路、２１１フォーカス制御回路

Claims

光学系を介して光を入射する撮像素子であって、
行列状に配置され、各々が前記光学系を介して入射する光を電荷に変換する複数の光電変換部を有する複数の単位画素と、
前記複数の単位画素の信号を基に、前記光学系と前記撮像素子との間の光軸上の相対的な距離を制御するための制御信号を生成する制御部と
を有することを特徴とする撮像素子。
さらに、前記複数の単位画素の信号をアナログからデジタルに変換するアナログデジタル変換部を有し、
前記制御部は、
前記アナログデジタル変換部により変換されたデジタルの信号を基に、デフォーカス量を算出するデフォーカス量算出部と、
前記デフォーカス量算出部により算出されたデフォーカス量を基に、前記光学系と前記撮像素子との間の光軸上の相対的な距離を制御するための制御信号を生成するフォーカス制御部とを有することを特徴とする請求項１記載の撮像素子。
前記制御部は、
前記光学系の種類と前記光学系の絞りと焦点合わせを行う領域情報とのうちの少なくとも１つに応じて係数を決定する係数決定部と、
前記デフォーカス量算出部により算出されたデフォーカス量に対して、前記係数決定部により決定された係数を乗算する乗算部とを有することを特徴とする請求項２記載の撮像素子。
前記制御部は、前記制御信号を出力するアクチュエータの種類に応じて、複数のドライバのうちの１つを選択して使用することを特徴とする請求項１〜３のいずれか１項に記載の撮像素子。
前記単位画素は、第１の光電変換部と第２の光電変換部を有し、前記第１の光電変換部により変換された電荷に基づく第１の信号と、前記第１の光電変換部と前記第２の光電変換部により変換された電荷を混合した電荷に基づく第２の信号とを時分割で出力し、
前記制御部は、前記第２の信号から前記第１の信号を減算することにより、前記第２の光電変換部により変換された電荷に基づく第３の信号を生成し、前記第１の信号と前記第３の信号を基に前記制御信号を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像素子。
前記単位画素は、それぞれ、前記複数の光電変換部により変換された電荷に基づく信号を並列に出力することを特徴とする請求項１〜４のいずれか１項に記載の撮像素子。
前記制御部は、前記複数の光電変換部により変換された電荷に基づく信号を異なる複数の組み合わせで混合し、前記混合の結果を基に前記制御信号を生成することを特徴とする請求項１〜４のいずれか１項に記載の撮像素子。
さらに、光学系の位置情報を入力する位置情報入力部を有することを特徴とする請求項１〜７のいずれか１項に記載の撮像素子。
前記複数の単位画素が第１の半導体基板に設けられるとともに、前記制御部が第２の半導体基板に設けられ、前記第１の半導体基板と前記第２の半導体基板は積層されていることを特徴とする請求項１〜８のいずれか１項に記載の撮像素子。
さらに、前記複数の単位画素の信号をアナログからデジタルに変換するアナログデジタル変換部を有し、
前記複数の単位画素と前記アナログデジタル変換部が第１の半導体基板に設けられるとともに、前記制御部が第２の半導体基板に設けられ、前記第１の半導体基板と前記第２の半導体基板は積層されていることを特徴とする請求項１、４〜８のいずれか１項に記載の撮像素子。
さらに、前記複数の単位画素の信号をアナログからデジタルに変換するアナログデジタル変換部を有し、
前記複数の単位画素が第１の半導体基板に設けられ、前記アナログデジタル変換部が第２の半導体基板に設けられるとともに、前記制御部が第３の半導体基板に設けられ、前記第１の半導体基板と前記第２の半導体基板と前記第３の半導体基板は積層されていることを特徴とする請求項１、４〜８のいずれか１項に記載の撮像素子。
前記複数の単位画素と前記アナログデジタル変換部が第１の半導体基板に設けられるとともに、前記制御部が第２の半導体基板に設けられ、前記第１の半導体基板と前記第２の半導体基板は積層されていることを特徴とする請求項２又は３記載の撮像素子。
前記複数の単位画素が第１の半導体基板に設けられ、前記アナログデジタル変換部が第２の半導体基板に設けられるとともに、前記制御部が第３の半導体基板に設けられ、前記第１の半導体基板と前記第２の半導体基板と前記第３の半導体基板は積層されていることを特徴とする請求項２又は３記載の撮像素子。
請求項１〜１３のいずれか１項に記載の撮像素子と、
前記光学系と、
前記光学系と前記撮像素子との間の光軸上の相対的な距離を制御するアクチュエータと
を有することを特徴とする撮像装置。