(第1の実施形態)
図1は、本発明の第1の実施形態に係る撮像装置の構成例を示すブロック図である。撮像装置は、レンズ部111及びカメラ部112を有する。レンズ部111は、フォーカスレンズ101、フォーカスアクチュエータ102、レンズ位置検出部103、及びレンズ情報保持部104を有する。カメラ部112は、撮像素子100、全体制御演算部106、メモリ部107、表示部108、記録部109、及び操作部110を有する。レンズ部111は、マウント105を介して、カメラ部112に接続される。フォーカスレンズ101を含むレンズ群は、光学像を撮像素子100上に結像する光学系である。撮像素子100は、光学系を介して光を入射し、光学像を画像信号(電気信号)に変換する。フォーカスアクチュエータ102は、撮像素子100により制御され、フォーカスレンズ101を光軸OAに沿って進退駆動することにより、焦点制御を行う。レンズ位置検出部103は、フォーカスレンズ101の位置を検出し、その検出したレンズ位置情報を撮像素子100へ出力する。撮像素子100は、検出された位置を基にフォーカスアクチュエータ102を高精度に制御する。レンズ情報保持部104は、レンズ(光学系)の種類及びレンズの絞りの状態を示すレンズ情報を保持し、撮像素子100へ出力する。全体制御演算部106は、撮像素子100を制御し、撮像素子100から出力された画像信号に対して補正処理及び現像処理を行い、他のブロックを制御する。メモリ部107は、画像信号を記憶する。表示部108は、各種情報及び画像を表示する。記録部109は、画像の書き込み及び読み出しを行うための半導体メモリ等の着脱可能な記録部である。操作部110は、撮像装置の各種インターフェースである。全体制御演算部106は、操作部110の信号を用いて、各ブロックを制御する。
図2は、本実施形態に係る撮像素子100の構成例を示す図である。撮像素子100は、CMOS型撮像素子であり、撮像基板214及び信号処理基板215を積層することにより構成される。撮像基板214及び信号処理基板215は、例えばTSV(Through Silicon Via)を介して、相互に接続される。撮像基板214は、画素部200、垂直走査
回路202、及び列回路203が設けられる第1の半導体基板である。信号処理基板215には、タイミング制御回路206、列メモリ回路207、信号処理回路208、画像信号出力回路209、デフォーカス量算出回路210、フォーカス制御回路211、レンズ情報入力回路212、及び位置信号入力回路213が設けられる。信号処理基板215は第2の半導体基板であり、信号処理基板215上の回路は制御部である。
画素部200は、行列状に配置された複数の単位画素201を有し、撮像素子100に結像された光学像を電気信号へ変換する。垂直走査回路202及び列回路203は、画素部200に接続される。各行の駆動信号線204は、各行の単位画素201に共通に接続される。垂直走査回路202は、各行の駆動信号線204を介して、各行の単位画素201を駆動する駆動信号を出力する。各列の信号線205は、各列の単位画素201に共通に接続される。複数の単位画素201の各々は、図3に示すように、フォーカスレンズ101を介して入射する光を電荷に変換する第1の光電変換部300A及び第2の光電変換部300Bを有し、各列の信号線205に画素信号を出力する。列回路203は、複数の単位画素201の信号をアナログからデジタルに変換するアナログデジタル変換部(以下ADCという)を有する。列回路203は、各列の信号線205の信号に対し、相関二重サンプリングによる減算処理、信号増幅、アナログデジタル(AD)変換を行い、TSVを介して列メモリ回路207へデジタル信号を出力する。以下、単位画素201のリセット後の単位画素201の出力信号をN信号という。また、単位画素201内の第1の光電変換部300Aにより変換された電荷に基づく単位画素201の出力信号をA信号(第1の信号)という。また、単位画素201内の第2の光電変換部300Bにより変換された電荷に基づく単位画素201の出力信号をB信号(第3の信号)という。また、単位画素201内の第1の光電変換部300Aと第2の光電変換部300Bにより変換された電荷を混合した電荷に基づく単位画素201の出力信号をA+B信号(第2の信号)という。単位画素201は、N信号とA信号(第1の信号)とA+B信号(第2の信号)とを時分割で列回路203に出力する。列回路203は、N信号と、A信号と、A+B信号に対して、AD変換を行う。その後、列回路203は、A信号からN信号を減算した画素信号Aを列メモリ回路207に出力し、A+B信号からN信号を減算した画素信号A+Bを列メモリ回路207に出力する。列メモリ回路207は、画素信号A及び画素信号A+Bを保持する。
タイミング制御回路206は、全体制御演算部106から撮像素子制御信号を入力し、垂直走査回路202、列回路203、列メモリ回路207、及び信号処理回路208に制御信号を出力する。信号処理回路208は、列メモリ回路207に保持された画素信号に対し、補正処理を行い、撮影画像及び焦点検出用の信号を生成する。信号処理回路208は、撮影画像として用いられる画素信号A+Bに対して、撮像素子100の周辺部で光量が落ちる周辺光量落ち補正や黒レベル補正等の補正処理を行い、画像信号出力回路209へ出力する。また、信号処理回路208は、画素信号A+Bから画素信号Aを減算することにより、焦点検出用の信号である画素信号Bを生成し、画素信号A及び画素信号Bに対して黒レベル等の補正を行い、デフォーカス量算出回路210へ出力する。画素信号Bは、第2の光電変換部300Bにより変換された電荷に基づく第3の信号である。信号処理回路208に関しては、後に図5を用いて詳細を説明する。
画像信号出力回路209は、信号処理回路208により補正処理が施された画素信号A+Bを撮影画像として、全体制御演算部106へ出力する。デフォーカス量算出回路210は、デフォーカス量算出部であり、信号処理回路208から焦点検出用の画素信号A及び画素信号Bを入力し、焦点検出用の画素信号A及び画素信号Bに対して、相関演算処理を行う。そして、デフォーカス量算出回路210は、画素信号Aと画素信号Bにおける画素ずれ量をデフォーカス量として算出してフォーカス制御回路211へ出力する。フォーカス制御回路211は、フォーカス制御部であり、その入力したデフォーカス量を基にフォーカスレンズ101の駆動量を算出し、フォーカスアクチュエータ102を駆動するためのフォーカス駆動信号を出力する。レンズ情報入力回路212は、レンズ部111のレンズ情報保持部104からレンズの種類及びレンズの絞りの状態を示すレンズ情報を入力し、そのレンズ情報を信号処理回路208及びフォーカス制御回路211に出力する。位置信号入力回路213は、位置情報入力部であり、レンズ位置検出部103からフォーカスレンズ101のレンズ位置情報(光学系の位置情報)を入力し、そのレンズ位置情報をフォーカス制御回路211に出力する。フォーカス制御回路211は、レンズ情報及びレンズ位置情報を入力し、フォーカスアクチュエータ102の駆動信号のフォーマットの切り替えや、レンズ位置情報をフィードバックすることにより、高精度なフォーカス制御を行う。フォーカス制御回路211は、フォーカスレンズ101と撮像素子100との間の光軸OA上の相対的な距離を制御するためのフォーカス駆動信号(制御信号)をフォーカスアクチュエータ102に出力する。フォーカスアクチュエータ102は、フォーカス駆動信号に応じて、フォーカスレンズ101と撮像素子100との間の光軸OA上の相対的な距離を制御する。
図3は、本実施形態に係る単位画素201の構成例を示す回路図である。単位画素201は、第1の光電変換部300Aと、第2の光電変換部300Bと、5個のn型電界効果トランジスタ301A,301B,303,304,305を有する。光電変換部300A及び300Bは、例えばフォトダイオードであり、単位画素201に入射した光を電荷に変換する。第1の転送トランジスタ301Aは、第1の光電変換部300Aの電荷をフローティングディフュージョン(以下FDという)302へ出力する。第2の転送トランジスタ301Bは、第2の光電変換部300Bの電荷をFD302へ出力する。FD302は、FD302に接続された寄生容量により、電荷を電圧に変換する。リセットトランジスタ303は、FD302を電源電位VDDのノードに接続し、FD302の電位を電源電位VDDにリセットする。増幅トランジスタ304は、FD302の信号を電流増幅して出力する。選択トランジスタ305は、増幅トランジスタ304の出力ノードを信号出力線306に接続する。信号出力線306は、図2の信号線205に接続される。選択トランジスタ305をオフ/オフすることにより、行列上に配置された単位画素201のうち、選択された行の単位画素201の信号のみが出力される。転送トランジスタ301A、301B、リセットトランジスタ303、選択トランジスタ305は、それぞれ、駆動信号φTXA、φTXB、φRST、φSELによって制御される。また、行列上に配置された単位画素201のうち、同じ行に配置された単位画素201に同一の駆動信号が与えられる。
なお、本実施形態では、1つの単位画素201に2個の光電変換部を配する構成を一例として説明するが、さらに多数の光電変換部を配することもできる。光電変換部の数を増やすことにより、より精度の高い撮像面位相差AFを行うことが可能となる。
図4は、フォーカスレンズ101を含む光学系の射出瞳400から出た光束が単位画素201に入射する概念図である。以下、撮像装置の瞳分割方式による焦点検出の原理を説明する。単位画素201は、第1の光電変換部300Aと第2の光電変換部300Bとを有する。射出瞳400から出た光束は、光軸OAを中心として、マイクロレンズ401とカラーフィルタ402を通して、単位画素201に入射する。複数の単位画素201には、それぞれ、複数のマイクロレンズ401が設けられる。射出瞳400は、瞳領域403A及び403Bを有する。瞳領域403Aと403Bを通過する光束は、それぞれ、光電変換部300Aと300Bに入射する。したがって、光電変換部300A及び300Bは、それぞれ、撮影レンズの射出瞳400の異なる瞳領域403A及び403Bの光を受光している。これにより、第1の光電変換部300Aの信号と第2の光電変換部300Bの信号を比較することで、位相差の検知が可能となる。上記の画素信号Aは、第1の光電変換部300Aにより光電変換された信号であり、上記の画素信号Bは、第2の光電変換部300Bにより光電変換された信号である。また、上記の画素信号A+Bは、画素信号Aと画素信号BをFD302にて混合した信号である。
図5は、図2の信号処理回路208の構成例を示す図である。信号処理回路208は、タイミング制御回路206から出力される制御信号により制御される。画像用メモリ読み出し回路500は、列メモリ回路207に対して、メモリ制御信号を出力し、保持された各列の画素信号A+Bを順次読み出し、読み出した画素信号A+Bを画像補正回路501に出力する。この際、画素信号の読み出し速度は、撮像素子100外へ出力する際の通信インターフェースの速度により律速される。画像補正回路501は、その入力した画素信号A+Bに対して、補正処理を行う。具体的には、画像補正回路501は、撮像素子100の周辺部で光量が落ちる現象の補正である周辺光量落ち補正や、列回路203内の列毎に配置されるADCの特性バラツキによる列間黒レベル補正を行う。また、画像補正回路501は、入力されたレンズ情報を基に、絞りを変化させた時に出力が理論値からずれてしまう現象の補正であるFナンバー補正を行う。画像補正回路501は、レンズ情報に応じて予め用意された補正値テーブルより選択し、補正に用いるパラメータを決定する。画像補正回路501は、補正された画素信号A+Bを画像信号として画像出力回路209へ出力する。
焦点検出用メモリ読み出し回路502は、列メモリ回路207に対して、メモリ制御信号を出力し、保持された各列の画素信号A及び画素信号A+Bを順次読み出す。これらの画素信号A及び画素信号A+Bは、並列に複数の画素信号が同時に読み出されることに加え、デバイス間の通信インターフェースにより速度が制限されない。そのため、焦点検出用メモリ読み出し回路502は、画像用メモリ読み出し回路500と比べ、高速に読み出すことが可能である。焦点検出用メモリ読み出し回路502は、読み出した画素信号A及び画素信号A+Bを焦点検出用信号生成回路503に出力する。焦点検出用信号生成回路503は、画素信号A+Bから画素信号Aを減算することにより画素信号Bを生成する。そして、焦点検出用信号生成回路503は、生成された画素信号B及び画素信号Aをフレームメモリ504に出力する。
被写体検出用メモリ読み出し回路505は、被写体の自動検出モード時に、列メモリ回路207に対して、メモリ制御信号を出力し、保持された各列の画素信号A+Bを順次読み出す。この時、被写体検出では、画像に用いられる程の解像度は必要ないので、被写体検出用メモリ読み出し回路505は、画素信号A+Bを間引いて読み出してよい。また、画素信号A+Bが間引かれることに加え、並列に複数の画素信号A+Bが同時に読み出されること、デバイス間の通信インターフェースにより速度が制限されない。したがって、被写体検出用メモリ読み出し回路505は、画像用メモリ読み出し回路500及び焦点検出用メモリ読み出し回路502より早く画素信号A+Bの読み出しが完了する。被写体検出回路506は、被写体検出用メモリ読み出し回路505が読み出した画素信号A+Bを保持し、その保持した画素信号A+Bによる画像に対して被写体検出処理を行う。そして、被写体検出回路506は、被写体の画素情報が画素部200内のどの領域にあるかを表す座標情報を領域選択回路507に出力する。領域選択回路507は、デフォーカス量の算出を行う領域情報を、フレームメモリ504に出力する。領域選択回路507は、被写体の自動検出モード時には、被写体検出回路506から入力される被写体の座標情報を基に領域情報を生成してフレームメモリ504に出力する。これに対し、領域選択回路507は、使用者が焦点合わせを行う位置を指定する手動設定モード時には、使用者が設定した焦点合わせを行う領域情報としての焦点制御座標情報(像高情報)を全体制御演算部106より入力する。そして、領域選択回路507は、その焦点制御座標情報を領域情報としてフレームメモリ504に出力する。
フレームメモリ504は、焦点検出量信号生成回路503から出力された1フレーム分の画素信号A及び画素信号Bを保持し、領域選択回路507により指定された領域の画素信号A及び画素信号Bを画素信号補正回路508に出力する。この際、フレームメモリ504は、並列に複数の画素信号を出力することにより、高速に出力することができる。画素信号補正回路508は、フレームメモリ504より入力された画素信号A及び画素信号Bに対して補正処理を行い、デフォーカス量算出回路210へ出力する。具体的には、画素信号補正回路508は、列毎の黒レベル補正や、画素部200内の位置によって出力が片方の画素信号に偏ってしまう現象の補正を行う。上記の偏りの補正は、レンズの絞りの状態に依存するため、レンズ情報に応じて補正に使用するパラメータを切り替える。
図6は、図2のフォーカス制御回路211の構成例を示す図である。K値選択回路601は、像高情報である焦点制御座標及びレンズ情報を入力し、予め用意された係数テーブルより、レンズの種類から定まる射出瞳距離や像高に応じて係数Kを選択し、乗算回路600に出力する。焦点制御座標は、使用者により設定される焦点合わせを行う領域情報である。レンズ情報は、レンズの種類及びレンズの絞りの情報を含む。K値選択回路601は、係数決定部であり、レンズの種類とレンズの絞りと焦点制御座標とのうちの少なくとも1つに応じて係数Kを決定する。乗算回路600は、乗算部であり、デフォーカス量算出回路210より出力されたデフォーカス量に対して、係数Kを乗算することにより、画素ずれ量であるデフォーカス量からレンズを動かすレンズ駆動量に変換してドライバ制御回路602へ出力する。ドライバ制御回路602は、レンズ位置情報、レンズ駆動量及びレンズ情報を入力し、ドライバ出力選択回路606を制御する。ドライバ制御回路602は、複数フレームのレンズ駆動量を保持し、直前の複数フレームのレンズ駆動量を基に次フレーム撮影時に被写体との距離がどの程度変化するかを算出し、その変化量を入力されたレンズ駆動量に混合する。これにより、ドライバ制御回路602は、次フレームの撮影時に最適なレンズ駆動量を求める。フォーカス制御回路211は、VCM(Voice Coil Motor)ドライバ回路603、STM(Stepping Motor)ドライバ回路604、及びUSM(Ultrasonic Motor)ドライバ回路605を有する。ドライバ制御回路602は、フォーカスアクチュエータ102の種類(レンズ情報)に応じて、VCMドライバ回路603、STMドライバ回路604及びUSMドライバ回路605のうちの1つのドライバ回路を選択して使用するためにレンズ駆動量を出力する。また、ドライバ制御回路602は、ドライバ出力選択回路606を制御し、上記の選択した1つのドライバ回路のみを出力端子に接続する。また、ドライバ制御回路602は、フォーカスレンズ101のレンズ位置情報を入力し、高精度なフォーカス制御を行う。
図7は、図1の撮像素子100の駆動方法を示すタイミングチャートである。駆動信号φRST_1、φRST_2及びφRST_nは、それぞれ、1行目、2行目及びn行目の単位画素201の駆動信号φRSTである。駆動信号φTXA_1、φTXA_2及びφTXA_nは、それぞれ、1行目、2行目及びn行目の単位画素201の駆動信号φTXAである。駆動信号φTXB_1、φTXB_2及びφTXB_nは、それぞれ、1行目、2行目及びn行目の単位画素201の駆動信号φTXBである。駆動信号φSEL_1、φSEL_2及びφSEL_nは、それぞれ、1行目、2行目及びn行目の単位画素201の駆動信号φSELである。駆動信号φRST、φTXA、φTXB、φSELは、ハイレベル及びローレベルの何れかの状態をとるものとする。ADCは、列回路203内のADCにおける処理の状態を表す。Nはリセット後の状態を読み出したN信号に対してAD変換を行う状態を、Aは光電変換部300Aに蓄積された電荷を読み出したA信号に対してAD変換を行う状態を表す。ABは光電変換部300A及び光電変換部300Bに蓄積された電荷を読み出したA+B信号に対してAD変換を行う状態を表す。フォーカス駆動信号は、フォーカス制御回路211よりフォーカス駆動信号が出力されているかどうかを示す。
タイミングt0〜t1では、垂直同期信号と水平同期信号がハイレベルパルスとなり、全行の駆動信号φRSTがハイレベルになり、光電変換部300A及び300bのリセットの垂直走査が開始される。垂直走査は、水平同期信号がハイレベルになる度に同一の行に配置される単位画素201に対して共通の駆動を行い、その1行当たりの駆動を行数だけ繰り返すことにより行われる。具体的には、1行目から順に駆動信号φTXA及びφTXBがハイレベルとなることにより、当該行の単位画素201の光電変換部300A及び光電変換部300Bに蓄積された電荷がリセットされる。上記1行当たりの駆動を繰り返しn行について行い、画素部200内のすべての光電変換部300A及び300Bのリセットが終了し、光電変換部300A及び300Bの光電変換により生成される電荷の蓄積が開始する。
タイミングt2〜t6では、読み出しの垂直走査により、1行当たりの読み出しをn行繰り返し行うことにより、画素部200全体の読み出しを行う。タイミングt2では、垂直同期信号及び水平同期信号がハイレベルパルスになり、駆動信号φRST_1がローレベル、駆動信号φSEL_1がハイレベルとなる。駆動信号φRST_1がローレベルとなることで、1行目の単位画素201において、リセットトランジスタ303がオフとなり、FD302はフローティング状態となる。駆動信号φSEL_1がハイレベルとなることで、1行目の単位画素201内の選択トランジスタ305はオンとなり、1行目の単位画素201は、それぞれ、N信号を信号線205介して列回路203に出力する。その後、列回路203内のADCは、リセット後のFD302の電位に応じたN信号に対してAD変換を行う。AD変換されたN信号は、列回路203内に保持される。
タイミングt3では、駆動信号φTXA_1がハイレベルとなり、1行目の単位画素201において、転送トランジスタ301Aがオンとなり、光電変換部300Aに蓄積された電荷がFD302に転送される。FD302では、転送された電荷に応じて電位が変化する。1行目の単位画素201は、FD302の電位の変化に応じてA信号を列回路203に出力する。その後、列回路203内のADCは、A信号に対しAD変換を行う。列回路203は、AD変換されたA信号から、保持されているN信号を減算し、画素信号Aを列メモリ回路207に記録する。
タイミングt4では、駆動信号φTXA_1及びφTXB_1がハイレベルとなり、1行目の単位画素201において、転送トランジスタ301A及び301Bがオンとなり、光電変換部300A及び300Bに蓄積された電荷がFD302に転送される。FD302では、転送された電荷に応じて電位が変化する。1行目の単位画素201は、FD302の電位に変化に応じて、A+B信号を列回路203に出力する。その後、列回路203内のADCは、A+B信号に対してAD変換を行う。列回路203は、AD変換されたA+B信号から、保持されているN信号を減算し、画素信号A+Bを列メモリ回路207に記録する。その後、列メモリ回路207は、画素信号A及び画素信号A+Bを順次信号処理回路208に出力する。そして、焦点検出用信号生成回路503は、画素信号A+Bから画素信号Aを減算することにより、画素信号Bを生成し、フレームメモリ504に保持される。画像補正回路501は、画素信号A+Bを補正処理し、画像信号出力回路209を介して撮像素子100外へ順次出力する。被写体検出回路506は、列メモリ回路207に保持された画素信号A+Bを間引いて読み出して保持する。
タイミングt5では、駆動信号φRST_1がハイレベル、駆動信号φSEL_1がローレベルとなると同時に、駆動信号φRST_2がローレベル、駆動信号φSEL_2がハイレベルとなる。これにより、1行目の単位画素201の読み出しが終了し、2行目の単位画素201の読み出しが開始される。駆動信号φRST_2がローレベルとなることで、2行目の単位画素201において、リセットトランジスタ303がオフとなり、FD302はフローティング状態となる。駆動信号φSEL_2がハイレベルとなることで、2行目の単位画素201内の選択トランジスタ305はオンとなり、2行目の単位画素201は、それぞれ、N信号を信号線205介して列回路203に出力する。列回路203内のADCは、リセット後のFD302の電位に応じたN信号に対してAD変換を行う。
その後、駆動信号φTXA_2がハイレベルとなり、2行目の単位画素201において、転送トランジスタ301Aがオンとなり、光電変換部300Aに蓄積された電荷がFD302に転送される。2行目の単位画素201は、FD302の電位の変化に応じてA信号を列回路203に出力する。その後、列回路203内のADCは、A信号に対しAD変換を行う。列回路203は、AD変換されたA信号から、保持されているN信号を減算し、画素信号Aを列メモリ回路207に記録する。
その後、駆動信号φTXA_2及びφTXB_2がハイレベルとなり、2行目の単位画素201において、転送トランジスタ301A及び301Bがオンとなり、光電変換部300A及び300Bに蓄積された電荷がFD302に転送される。2行目の単位画素201は、FD302の電位に変化に応じて、A+B信号を列回路203に出力する。その後、列回路203内のADCは、A+B信号に対してAD変換を行う。列回路203は、AD変換されたA+B信号から、保持されているN信号を減算し、画素信号A+Bを列メモリ回路207に記録する。その後、1行目の読み出しと同様の処理が行われる。
タイミングt5〜t6では、タイミングt2〜t5の駆動と同様の駆動を、2行目〜n行目に対して行う。これにより、1フレームの画像の取得が行われる。また、画素信号の読み出しが行われている間に、前行の画素信号A+Bが画像出力として撮像素子100外へと出力される。最終行となるn行目の画素信号A+Bが撮像素子100外へ出力されるのと同時に、被写体検出回路506は、被写体検出用の画素信号A+Bを読み出す。被写体検出用の画素信号A+Bは、間引いて読み出されることに加え、複数の画素信号を並列に読み出すこと、デバイス間の通信インターフェースにより速度が制限されないことから、画像出力に比べ早く読み出しが完了し、被写体検出回路506が被写体検出を行う。
タイミングt6では、最終行となるn行目の画像信号の出力が完了するのと同時に、信号処理回路208は、焦点検出に用いる画素信号A及び画素信号Bをデフォーカス量算出回路210に出力し始める。この時、画素信号A及び画素信号Bは、撮像素子100内の通信であり、並列に複数の画素信号を出力するため、高速な信号伝送が可能である。デフォーカス量算出回路210は、入力された画素信号A及び画素信号Bから順次デフォーカス量を算出し、フォーカス制御回路211へ出力する。フォーカス制御回路211は、算出された複数行のデフォーカス量を基に、レンズ駆動量を算出し、当該フレームを含む複数のレンズ駆動量から次フレームの撮影時におけるフォーカス位置を予測し、実際に制御を行うレンズ駆動量を算出する。
タイミングt7〜t8では、フォーカス制御回路211は、算出されたレンズ駆動量に応じて、フォーカス駆動信号を出力する。これにより、フォーカスレンズ101が移動し、焦点合わせが行われる。タイミングt9以降では、タイミングt0〜t8と同様に、次フレームの駆動が繰り返される。これらの繰り返しにより、焦点の合った画像を取得することが可能となる。
図7の撮像素子の駆動方法では、被写体を自動で検出して焦点合わせを行う被写体の自動検出モードにおける駆動例を示した。使用者が焦点合わせを行う位置を指定する手動設定モード時には、予め焦点検出を行う領域が決まっているので、当該領域のAD変換が終わり次第、デフォーカス量の算出を行うことができる。その場合、画像信号を出力している間に駆動量の算出を行うことができるため、n行目のAD変換が終わり次第、フォーカス駆動信号の出力が行われる。これにより、更に高速な焦点合わせが可能となる。
本実施形態では、撮像素子100内部で焦点制御に必要な処理を完結できることにより、撮像素子100外へ画素信号A及び画素信号Bを出力する必要がない。つまり、同一の半導体基板上での伝送なので、多数の信号線により並列に画素信号を伝送することが容易である。また、画像信号を撮像素子100外へ出力する通信のインターフェースを増やす必要もない。更に、通信インターフェースの速度に制限されることがないことから、各々の信号線による伝送も外部に出力する場合と比べ高速化が可能である。このような理由から、フレームメモリ504からフォーカス制御回路211まで信号を高速に伝送することが可能である。さらに、上記高速化が可能なことから、焦点制御の処理時間を大幅に伸ばすことなく、デフォーカス量の算出に多くの画素信号A及び画素信号Bの信号を使用し、高精度な焦点制御を可能とすることができる。
さらに、撮像素子100は、タイミング制御回路206を有するため、焦点制御のタイミングと撮像素子100の駆動のタイミングを同調制御することが容易である。例えば、本実施形態において、フォーカス制御回路211がフォーカス駆動信号を出力するタイミングは、撮像素子100の読み出し駆動の時間とは重ならないタイミングとなる。これにより、レンズ部111のフォーカスアクチュエータ102が駆動中に発する、例えば磁気ノイズの外来ノイズやドライバ回路のラッシュ電流による電源電圧の変動により、読み出し中の撮像素子100の出力に影響を与えるとこを防ぐことが可能となる。
画素部200を含む撮像基板214と、信号処理回路208及びフォーカス制御回路211等を含む信号処理基板215とで、別々の半導体基板上に形成し、積層する構成としたが、これに限られるものではなく、同一の半導体基板に形成してもよい。しかし、本実施形態のように、多数の信号処理を行う回路を含む構成においては、積層構造とするのが望ましい。また、本実施形態において、画素信号A及び画素信号Bを信号処理回路208内のフレームメモリ504に保持し、被写体検出を行った後に、検出結果に基づく領域の画素信号を読み出し、デフォーカス量の算出を行った。しかし、予め画素信号A及び画素信号Bから順次デフォーカス量の算出を行い、その結果をメモリに保持しておき、被写体検出後に使用するデフォーカス量を選択してもよい。
(第2の実施形態)
本発明の第2の実施形態による撮像装置を、図8〜図12を参照しながら説明する。以下、本実施形態が第1の実施形態と異なる点を説明する。図8(a)は、第1の実施形態による単位画素201内のマイクロレンズ401、2個の光電変換部300A及び300Bのレイアウト例を示す図である。図8(b)は、第2の実施形態による単位画素800内のマイクロレンズ401、16個の光電変換部801A〜801Pのレイアウト例を示す図である。図8(a)及び(b)は、一例として、画素部の中央付近の4個の単位画素を示す。図8(a)では、単位画素201に重なるようにマイクロレンズ401が配置されている。図8(a)では、画素部200の中央付近の単位画素201を示すため、単位画素201とマイクロレンズ401が重なっているが、画素部200の中央以外の領域では、マイクロレンズ401は単位画素201に対してずれて配置される。また、単位画素201の内部には、2個の光電変換部300A及び光電変換部300Bが単位画素201内の領域を水平方向に2分割するように配置されている。一方、図8(b)では、単位画素800内に16個の光電変換部801A〜801Pが行列状に並んで配置される。
図9は、図8の単位画素800の構成例を示す回路図である。単位画素800は、16個の分割画素900A〜900Pを有する。分割画素900A〜900Pは、それぞれ、光電変換部801A〜801Pを有する。分割画素900Aは、光電変換部801A、転送トランジスタ901A、FD902A、リセットトランジスタ903A、増幅トランジスタ904A、及び信号出力線905Aを有する。図9では、分割画素900Aについてその詳細を示しているが、分割画素900B〜900Pも分割画素Aと同様の構成を有する。分割画素900A〜900Pは、それぞれ、光電変換部801A〜801P、転送トランジスタ901A〜901P、FD902A〜902P、リセットトランジスタ903A〜903P、増幅トランジスタ904A〜904P、出力線905A〜905Pを有する。転送トランジスタ901A〜901Pは共通の駆動信号φTXにより制御され、リセットトランジスタ903A〜903Pは共通の駆動信号φRSTにより制御される。単位画素800は、複数の光電変化部801A〜801Pにより変換された電荷に基づく信号を、出力線905A〜905Pを介して、並列に出力する。
図10は、本実施形態に係る撮像素子100の構成例を示す図である。撮像素子100は、撮像基板1011、AD基板1012及び信号処理基板1013を積層した三層構成を有する。撮像基板1011、AD基板1012及び信号処理基板1013は、TSVを介して接続される。撮像基板1011は、画素部1000及び画素駆動回路1001が設けられる第1の半導体基板である。AD基板1012は、AD変換・メモリ回路1003及びタイミング制御回路1004が設けられる第2の半導体基板である。信号処理基板1013は、信号処理回路1005、画像信号出力回路1006、デフォーカス量算出回路1007、フォーカス制御回路1008、レンズ情報入力回路1009及び位置信号入力回路1010が設けられる第3の半導体基板である。なお、第1の実施形態(図2)でも、撮像基板214及び信号処理基板215とは異なるAD基板に列回路203を設け、3つの半導体基板を積層してもよい。
画素部1000は、行列状に配置された複数の単位画素800を有する。画素駆動回路1001は、駆動信号線1002を介して、単位画素800に駆動信号を出力する。単位画素800は、前述した通り、分割画素900A〜900Pの信号出力線905A〜905Pを有する。分割画素900A〜900Pは、それぞれ、信号出力線905A〜905Pを介して、信号をAD変換・メモリ回路1003へ出力する。具体的には、分割画素900A〜900Pは、それぞれ、FD902A〜902Pのリセット後の状態であるN信号を出力する。その後、分割画素900A〜900Pは、それぞれ、転送トランジスタ901A〜901Pをオンすることにより、光電変換部801の電荷を転送した後の状態であるS信号を出力する。
AD変換・メモリ回路1003は、ADCであり、タイミング制御回路1004により駆動され、N信号及びS信号に対してそれぞれアナログからデジタルに変換する。その後、AD変換・メモリ回路1003は、S信号からN信号を減算することにより、光電変換部801A〜801Pにより変換された電荷に基づく信号を画素信号A〜画素信号Pとして、個別にメモリに保持する。また、AD変換・メモリ回路903は、同一の単位画素800の画素信号A〜画素信号Pを混合し、画素信号ALLをメモリに保持する。
信号処理回路1005は、タイミング制御回路1004により駆動され、AD変換・メモリ回路1003より画素信号ALL及び画素信号A〜画素信号Pを並列に読み出し、補正処理及び焦点検出用の信号の生成を行う。信号処理回路1005は、撮影画像として用いられる画素信号ALLに対して、撮像素子100の周辺部で光量が落ちる周辺光量落ち補正や黒レベル補正等の補正処理を行い、画像出力回路1006へ出力する。また、信号処理回路1005は、画素信号A〜画素信号Pを用い、焦点検出用の信号を生成し、黒レベル等の補正を行い、デフォーカス量算出回路1007へ出力する。出力する焦点検出用の信号は、焦点検出用垂直信号と焦点検出用水平信号の2種類の焦点検出用信号である。詳細に関しては、後に説明する。
デフォーカス量算出回路1007は、信号処理回路1005より出力された焦点検出用垂直信号及び焦点検出用水平信号からデフォーカス量を算出し、算出結果をフォーカス制御回路1008へ出力する。デフォーカス量算出回路1007は、2種類の焦点検出用信号の焦点検出信頼性の評価値に応じて、使用する焦点検出用信号の切り替えを行うか、2種類の焦点検出用信号それぞれから算出されたデフォーカス量を基にデフォーカス量を別途算出するかを切り替える。具体的には、デフォーカス量算出回路1007は、焦点検出用水平信号及び焦点検出用垂直信号のうち、片方の信頼性が高い場合は、信頼性の高い焦点検出用信号を基にデフォーカス量を算出する。また、デフォーカス量算出回路1007は、焦点検出用水平信号及び焦点検出用垂直信号の両方の信頼性が高い場合は、それぞれを基に算出したデフォーカス量の平均値を実際に使用するデフォーカス量とする。フォーカス制御回路1008は、図2のフォーカス制御回路211と同様に、デフォーカス量を基にフォーカス駆動信号を生成する。
図11は、図10の信号処理回路1005の構成例を示す図である。信号処理回路1005は、画像信号に用いる信号を読み出す画像用メモリ読み出し回路1100、被写体検出に用いる信号を読み出す被写体検出用メモリ読み出し回路1101、焦点検出用信号の生成に用いる焦点検出用メモリ読み出し回路1102を有する。各メモリ読み出し回路1100〜1102は、タイミング制御回路1004より入力される制御信号により制御される。画像用メモリ読み出し回路1100は、AD変換・メモリ回路1003内で画像信号ALLが生成された直後から、画素信号ALLを順に読み出し、画像補正回路1103へ出力する。この際、画像用メモリ読み出し回路1100は、出力のフォーマットに合わせ、全ての画素信号ALLを出力するか、間引いて一部の画素信号ALLを読み出すかを適宜選択する。例えば、画像用メモリ読み出し回路1100は、静止画撮影時は、全ての画素信号ALLを読み出し、動画撮影時は、動画フォーマットに合わせて、ある間隔で配置された画素信号ALLのみを読み出す。
被写体検出用メモリ読み出し回路1101は、被写体の自動検出モード時に、被写体検出に必要な単位画素800の画素信号ALLを読み出し、被写体検出回路1104に出力する。被写体検出では、画像に用いられる程の解像度は必要ないので、被写体検出用メモリ読み出し回路1101は、画像用メモリ読み出し回路1100に比べ、より間引いて読み出してよい。更に、画像用メモリ読み出し回路1100は、撮像素子100外へ出力する際におけるデバイス間の通信インターフェースにより速度が制限されるのに対し、被写体検出用メモリ読み出し回路1101は、それに制限されず、高速に伝送することが可能である。また、被写体検出用メモリ読み出し回路1101は、画像用メモリ読み出し回路1100に比べ、1フレーム毎に読み出す画素信号ALLの数が少なく、より早く読み出しが終了する。被写体検出回路1104は、読み出された画素信号ALLを入力し、被写体検出を行い、被写体の座標情報を領域選択回路1105に出力する。領域選択回路1105は、デフォーカス量の算出を行う領域情報を、焦点検出用メモリ読み出し回路1102に出力する。被写体の自動検出モード時には、領域選択回路1105は、被写体検出回路1104から入力される被写体の座標情報を基に領域情報を生成する。また、使用者が焦点合わせを行う位置を指定する手動設定モード時には、領域選択回路1105は、使用者が設定した領域情報としての焦点制御座標情報を全体制御演算部106より入力し、その座標情報を基に領域情報を生成する。
焦点検出用メモリ読み出し回路1102は、領域選択回路1105より入力された領域情報に基づき、当該領域の画素信号A〜画素信号Pを読み出し、焦点検出用信号生成回路1106に出力する。焦点検出用メモリ読み出し回路1102は、画像用メモリ読み出し回路1100と異なり、デバイス間の通信インターフェースにより速度が制限されず、領域選択回路1105により指定された領域のみを読み出し、画素信号A〜画素信号Pは並列に読み出される。そのため、焦点検出用メモリ読み出し回路1102は、画像用メモリ読み出し回路1100に比べ、より早く読み出しが終了する。また、同時に並列に読み出される画素信号A〜画素信号Pは、同一の単位画素800の信号である。
焦点検出用信号生成回路1106は、同時に読み出した画素信号A〜画素信号Pを基に焦点検出用の信号を生成する。生成される信号は、単一の画素信号又は複数の画素信号を混合した信号であり、混合する画素信号の組み合わせによって、縦線を検出する焦点検出用垂直信号と横線を検出する焦点検出用水平信号となる。焦点検出用信号生成回路1106は、複数の画素信号A〜画素信号Pを異なる複数の組み合わせで混合する。また、焦点検出用信号生成回路1106は、入力されたレンズ情報であるレンズの絞り、すなわちFナンバーの情報に応じて、混合する画素信号の組み合わせを切り替える。具体的には、Fナンバーが小さい状態の時は、焦点検出用垂直信号は、画素信号A+E+I+Mと画素信号D+H+L+Pを用い、焦点検出用水平信号は、画素信号A+B+C+Dと画素信号M+N+O+Pを用いる。このように、Fナンバーが小さく、撮影レンズの射出瞳径が大きい場合は、より瞳の外側の画素信号を基にデフォーカス量の算出を行うと、より精度が高い焦点制御が可能となる。それに対し、Fナンバーが大きく、射出瞳径が小さい場合は、単位画素800内の外側の光電変換部801には、ほとんど光が入射しないので、焦点検出用垂直信号と焦点検出用水平信号の組み合わせでは、デフォーカス量の算出が困難となる。このことから、Fナンバーが大きい際には、焦点検出用垂直信号は、画素信号A+B+E+F+I+J+M+Nと画素信号C+D+G+H+K+L+O+Pを用いる。同様に、焦点検出用水平信号は、画素信号A+B+C+D+E+F+G+Hと画素信号I+J+K+L+M+N+O+Pを用いる。画素信号補正回路1107、このように生成された焦点検出用垂直信号及び焦点検出用水平信号を補正処理し、デフォーカス量算出回路1007へ出力する。
図12は、本実施形態に係る撮像素子100の駆動方法を示すタイミングチャートである。図12において、ADCは、AD変換・メモリ回路内1003がAD変換する信号の種類を示し、画像出力は、画像信号出力回路1006が出力する信号の画素部1000内の位置を示す。フォーカス駆動信号は、フォーカス制御回路1008が出力するフォーカス駆動信号が出力されているか否かを示す。信号処理回路、デフォーカス量算出回路及びフォーカス制御回路は、それぞれの回路における動作状況を示す。
タイミングt0では、フレーム同期信号がハイレベルパルスになり、駆動信号φRSTがハイレベルであり、タイミングt0〜t1では、光電変換部801A〜801Pのリセットが開始される。画素部1000内の全ての転送トランジスタ901A〜901Pのゲートは、駆動信号φTXを入力し、駆動信号φTXがハイレベルとなることで、画素部1000内の全ての光電変換部801A〜801Pに蓄積された電荷がリセットされる。
タイミングt1では、フレーム同期信号がハイレベルパルスになり、駆動信号φRSTがローレベルとなり、FD902A〜902Pはフローティング状態となる。分割画素900A〜900Pは、それぞれ、リセット後のFD902A〜902Pの電位に応じたN信号をAD変換・メモリ回路1003に出力する。AD変換・メモリ回路1003は、N信号をAD変換し、メモリに保持する。
タイミングt2では、駆動信号φTXがハイレベルとなり、光電変換部801A〜801Pに蓄積された電荷がFD902A〜902Pへ転送される。その後、駆動信号φTXはローレベルとなる。分割画素900A〜900Pは、FD902A〜902Pの電位に応じたS信号をAD変換・メモリ回路1003に出力する。AD変換・メモリ回路1003は、S信号をAD変換し、AD変換されたS信号からN信号を減算して、画素信号A〜Pをメモリに保持する。また、AD変換・メモリ回路1003は、単位画素800毎に、画素信号A〜Pを混合し、画素信号ALLをメモリに保持する。上記の駆動は、全ての単位画素800に対して行われるので、1度のAD変換駆動により、全ての画素信号のAD変換が完了する。
タイミングt3では、信号処理回路1005は、画素信号ALLを順に入力し、画像補正回路1103により補正処理し、画像信号出力部1006を介して撮像素子100外へ画像を出力し始める。画像の出力は、画素部1000内の1行目に配置された単位画素800の画素信号ALLから順に出力されていく。また、同時に、信号処理回路1005は、被写体検出用の画素信号ALLを必要に応じて間引いて読み出す。その後、信号処理回路1005は、被写体検出を行い、焦点検出に用いる画素信号を読み出す領域を決定する。続いて、焦点検出用信号生成回路1106は、決定した領域に応じた画素信号A〜Pを基に焦点検出用垂直信号及び焦点検出用水平信号を生成し、画素信号補正回路1107を介して、デフォーカス量算出回路1007へ出力する。このとき、被写体検出用の画素信号ALL、焦点検出用の画素信号A〜P、焦点検出用垂直信号及び焦点検出用水平信号は、被写体検出や精度の良い焦点制御に必要な情報のみにデータ量が削減されている。また、被写体検出用の画素信号ALL、焦点検出用の画素信号A〜P、焦点検出用垂直信号及び焦点検出用水平信号は、画像の出力と異なり、デバイス間の通信インターフェースにより速度が制限されないため、画像出力と比べ短時間で伝送することが可能である。デフォーカス量算出回路1007は、順次入力される焦点検出用垂直信号及び焦点検出用水平信号を用いてデフォーカス量を算出し、フォーカス制御回路1008へ出力する。デフォーカス量の算出が終わり次第、フォーカス制御回路1008は、レンズ駆動量の算出を行う。その後、ドライバ制御回路602は、複数フレームのレンズ駆動量を基に、最適なレンズ駆動量を算出する。
タイミングt4〜t5では、フォーカス制御回路1008は、算出されたレンズ駆動量に応じて、フォーカス駆動信号を出力する。これにより、フォーカスレンズ101が移動し、焦点合わせが行われる。タイミングt6以降では、タイミングt0〜t5の駆動と同様に、次のフレームの処理が行われる。この処理を繰り返すことにより、焦点の合った画像の取得が行われる。なお、画像出力は、タイミングt3以降に順次行われており、デフォーカス量の算出やフォーカス制御信号の出力は、画像出力と同時に行われる。
本実施形態は、撮像素子100内部で焦点制御に必要な処理を完結できることにより、撮像素子100外へ焦点検出用の信号を出力する必要がないため、画像信号を撮像素子100外へ出力する通信のインターフェースを増やす必要がない。更に、本実施形態は、通信インターフェースの速度に制限されることがないことから、AD変換・メモリ回路1003からフォーカス制御回路1008まで信号を高速に伝送することが可能である。これにより、本実施形態は、精度の良い焦点制御に必要な多くの焦点検出用の信号を用いたとしても、画像信号の出力を行っている最中に焦点制御に必要な処理を完了することが可能である。つまり、本実施形態は、フレームレートを落とすことなく、高精度な焦点制御を行うことが可能となる。
本実施形態では、信号処理回路1006が焦点検出用垂直信号及び焦点検出用水平信号の生成を行ったが、AD変換・メモリ回路1003がそれらを生成してもよい。また、AD変換・メモリ回路1003は、全ての単位画素800内の光電変換部801A〜801Pの信号に対して同時にAD変換を行う構成としたが、これに限らず、複数の単位画素800毎にAD変換回路を共有し、時分割でAD変換を行ってもよい。この場合においても、撮像素子100は、焦点検出用の信号を撮像素子100の外部へ出力する必要がないため、フレームレートを落とすことなく、精度の良い焦点制御を行うことが可能である。
(第3の実施形態)
本発明の第3の実施形態に係る撮像装置を、図13を参照しながら説明する。以下、本実施形態が第1及び第2の実施形態と異なる点を説明する。図13は、本発明の第3の実施形態に係る撮像装置の構成例を示すブロック図である。図13の撮像装置は、図1の撮像装置に対して、フォーカスアクチュエータ102及びレンズ位置検出部103の代わりに、フォーカスアクチュエータ1302及び撮像素子位置検出部1303を設けたものである。第1及び第2の実施形態は、焦点制御のためにフォーカスレンズ101を移動させたが、本実施形態は、焦点検出のために撮像素子100を移動させる。本実施形態では、フォーカスアクチュエータ1302は、撮像素子100の制御の下、撮像素子100を光軸OAに沿って移動させる。撮像素子位置検出部1303は、撮像素子100の位置を検出して撮像素子100に出力する。撮像素子100は、撮像素子100の位置情報を用いて、焦点制御を精度良く行う。撮像素子100内のフォーカス制御回路211は、フォーカスレンズ101と撮像素子100との間の光軸OA上の相対的な距離を制御するためのフォーカス駆動信号(制御信号)をフォーカスアクチュエータ1302に出力する。フォーカスアクチュエータ1302は、フォーカス駆動信号に応じて、フォーカスレンズ101と撮像素子100との間の光軸OA上の相対的な距離を制御する。本実施形態は、第1及び第2の実施形態と同様の効果を得ることができる。
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。