以下、本発明の好適な一実施形態について図面を参照しながら説明する。図1は本発明の一実施形態に係わるカメラ(撮像装置)の構成図で、撮像素子を有したカメラ本体と撮影レンズが一体となった電子カメラを示している。図1において、101は撮影光学系(結像光学系)の先端に配置された第1レンズ群で、光軸方向に進退可能に保持される。102は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行なうほか、静止画撮影時には露光秒時調節用シャッタとしても機能する。103は第2レンズ群である。そして絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。
105は第3レンズ群で、光軸方向の進退により、焦点調節を行なう。106は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。107はCMOSセンサーとその周辺回路で構成された撮像素子である。撮像素子107には、横方向m画素、縦方向n画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された2次元単板カラーセンサが用いられる。
111はズームアクチュエータで、不図示のカム筒を回動することで、第1レンズ群101ないし第2レンズ群103を光軸方向に進退駆動して変倍操作を行う。112は絞りシャッタアクチュエータで、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行なう。114はフォーカスアクチュエータで、第3レンズ群105を光軸方向に進退駆動して焦点調節を行なう。
115は撮影時の被写体照明用の電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いても良い。116はAF補助光装置で、所定の開口パターンを有したマスクの像を投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
121はカメラ本体の種々の制御を司るカメラ内CPUであり、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有している。ROMに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動し、AF、撮影、画像処理、記録等の一連の動作を実行する。
122は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ115を点灯制御する。123は補助光駆動回路で、焦点検出動作に同期してAF補助光装置116を点灯制御する。124は撮像素子駆動回路で、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してCPU121に送信する。125は画像処理回路で、撮像素子107が取得した画像の補正処理、γ変換、カラー補間、JPEG圧縮等の処理を行う。
126はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCD等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像、撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群で、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
図2は、本実施形態における撮像素子のブロック図を示している。なお、図2のブロック図は、後述の読み出し動作が説明できる最低限の構成を示しており、画素リセット信号などが省略されている。図2において、201は、光電変換部(以下、PDmnと略す。mはX方向アドレスであり、m=0,1,…,m−1、nはY方向アドレスであり、n=0,1,…,n−1である。)であり、フォトダイオード、画素アンプ、リセット用のスイッチなどで構成されている。また、本実施形態の撮像素子は、m×nの光電変換部が2次元状に配置されている。符号は、煩雑になるので、左上の光電変換部PD00のみに付記した。
202は、光電変換部PDmnの出力を選択するスイッチであり、後述の垂直操作回路208により、一行ごとに選択される。203は、光電変換部PDmn(201)の出力を一時的に記憶するためのラインメモリであり、垂直走査回路により選択された、一行分の光電変換部の出力を記憶するものである。通常は、コンデンサが使用される。204は、水平出力線に接続されて、水平出力線を所定の電位VHRTにリセットするためのスイッチであり、信号HRTにより制御される。205は、前述のラインメモリ203に記憶された光電変換部PDmnの出力を水平出力線に順次出力するためのスイッチである。H0からHm-1のスイッチを後述の水平走査回路206により、順次走査することにより、一行分の光電変換部の出力が読み出される。
206は、水平走査回路であり、ラインメモリ203に記憶された光電変換部の出力を順次走査して、水平出力線に出力させる。信号PHSTは、水平走査回路206のデータ入力、PH1、PH2は、シフトクロック入力であり、PH1=Hでデータがセットされ、PH2でデータがラッチされる構成となっている。PH1、PH2にシフトクロックを入力することにより、PHSTを順次シフトさせて、H0からHm-1のスイッチを順次オンさせることができる。SKIPは、後述の間引き読み出し時に設定を行なわせる制御端子入力である。SKIP端子をHレベルに設定することにより、水平走査回路を所定間隔でスキップさせることが可能になる。読み出し動作に関する詳細は、後述する。
207は、垂直走査回路であり、順次走査して、V0からVn-1を出力することにより、光電変換部PDmnの選択スイッチ202を選択することができる。制御信号は、水平走査回路206と同様に、データ入力PVST、シフトクロックPV1、PV2、間引き読み設定SKIPにより制御される。動作に関しては、水平走査回路と同様であるので詳細説明は省略する。また、図中では、上記の制御信号は、不図示とした。
図3は、図2の撮像素子の全画素を読み出す場合の説明図である。図3(a)は、m×nの光電変換部の配置を示した部である。図3(a)に付記されたR,G,Bの記号は、光電変換部に塗布されたカラーフィルタを表わしている。本実施形態の説明においては、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置したベイヤー配列で説明する。図中の上側および左側に付記された番号は、X方向およびY方向のアドレス番号である。斜線の引かれた画素部が、読み出し対象である(全画素読み出しなのですべて斜線が書かれている)。また、撮像素子には、通常、黒レベルを検出する遮光されたOB(オプティカルブラック)画素なども配置され、OB画素も読み出されるが、本実施形態では、説明を分かりやすくするために省略する。
図3(b)は、撮像素子の全画素のデータを読み出す場合のタイミングチャートを示しており、CPU121で、撮像素子駆動回路124を制御して、撮像素子にパルスを送ることにより制御される。図3(b)を用いて、全画素読み出し動作について説明する。
まず、垂直走査回路を駆動して、V0をアクティブにする。このとき、0行目の画素の出力が、垂直出力線にそれぞれ出力される。この状態で、MEM信号をアクティブにして、各画素のデータをラインメモリ203にサンプルホールドする。次に、PHSTをアクティブして、PH1、PH2のシフトクロックを入力して、順次H0からHm-1をアクティブにして、水平出力線に画素信号を出力する。出力された画素信号は、アンプ207を介して、VOUTとして出力され、図示しないAD変換器でデジタルデータに変換され、画像処理回路125で所定の画像処理が施される。次に、垂直走査回路は、V1がアクティブになり、1行目の画素信号が、垂直出力線に出力され、同様にMEM信号によりラインメモリ203に、画素信号が一旦メモリされる。PHSTをアクティブにして、PH1、PH2のシフトクロックを入力して、順次H0からHm-1をアクティブにして、水平出力線に画素信号を出力する動作は同じである。以上のように、n−1行目までの読み出しを順次行う。
図4は、図2の撮像素子の間引き読み出しの一例を説明する図である。図4(a)は、m×nの光電変換部の配置を示した部であり、図3(a)と同一撮像素子である。斜線の引かれた画素部が、間引き読み出し時の読み出し対象画素である。本実施形態では、X方向、Y方向ともに1/3の間引きの読み出しとしている。
図4(b)は、間引き読み出し時のタイミングチャートを示しており、図4(b)のタイミングチャートを用いて、間引き読み出しの動作説明を行う。間引き読み出しの設定は、水平走査回路206及び垂直走査回路208の制御端子、SKIP端子を、アクティブにすることで行なう。SKIP端子をアクティブにすることで、水平、垂直走査回路は、1画素ごとの順次走査から3画素ごとの順次走査に動作が変更される。具体的方法に関しては、公知の技術なので詳細は省略する。
間引き時の動作は、まず、垂直走査回路208を駆動して、V0をアクティブにする。このとき、0行目の画素の出力が、垂直出力線にそれぞれ出力される。この状態で、MEM信号をアクティブにして、各画素のデータをラインメモリ203にサンプルホールドする。次に、PHSTをアクティブにして、PH1、PH2のシフトクロックを入力する。このとき、SKIP端子をアクティブ設定にすることにより、シフトレジスタの経路が変更され、順次H0、H3、H6、…、Hm-3のように、3画素ごとに水平出力線に画素信号が出力される。出力された画素信号は、アンプ207を介して、VOUTとして出力され、図示しないAD変換器でデジタルデータに変換され、画像処理回路125で所定の画像処理が施される。次に、垂直走査回路208は、水平走査回路206と同様に、V1、V2、をスキップさせて、V3をアクティブにして、3行目の画素信号を、垂直出力線に出力する。その後、MEM信号によりラインメモリ203に、画素信号が一旦メモリされる。PHSTをアクティブにして、PH1、PH2のシフトクロックを入力して、順次H0、H3、H6、…、Hm-3をアクティブにして、水平出力線に画素信号を出力する動作は同じである。以上のように、n−3行目までの読み出しを順次行なう。以上のように、水平、垂直ともに1/3の間引き読み出しが行われる。
図5、図6は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置したベイヤー配列が採用されている。そして、このベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
図5に撮像用画素の配置と構造を示す。図5(a)は2行×2列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置される。そしてこの2行×2列の構造が繰り返し配置される。図5(a)の断面A−Aを図5(b)に示す。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(赤色)のカラーフィルタ、CFGはG(緑色)のカラーフィルタである。PDは図3で説明したCMOSセンサーの光電変換部を模式的に示したもの、CLはCMOSセンサー内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影光学系を模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図5(b)ではR画素の入射光束について説明したが、G画素及びB(青色)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
図6に撮影レンズの水平方向(横方向)に瞳分割を行うための焦点検出用画素の配置と構造を示す。図6(a)は、焦点検出用画素を含む2行×2列の画素の平面図である。撮像信号を得る場合、G画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認められやすい。一方でRもしくはB画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBの画素の一部を焦点検出用画素としている。これを図6(a)においてSA及びSBで示す。
図6(a)の断面A−Aを図6(b)に示す。マイクロレンズMLと、光電変換部PDは図5(b)に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行なうため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向に偏倚している。具体的には、画素SAおよび、その開口部OPHAは右側に偏倚しているため、撮影レンズTLの左側の射出瞳EPHAを通過した光束を受光する。同様に、画素SBの開口部OPHBは左側に偏倚しているため、撮影レンズTLの右側の射出瞳EPHBを通過した光束を受光する。よって、画素SAを水平方向に規則的に配列し、これらの画素群で取得した被写体像をA像とする。また、画素SBも水平方向に規則的に配列し、これらの画素群で取得した被写体像をB像とすると、A像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。また、垂直方向(縦方向)のピントずれ量を検出したい場合には、SAおよび、その開口部OPHAを上側に、SBおよび、その開口部OPHBを下側に偏倚させて構成すればよい。
図7は、本実施形態における撮像用画素および焦点検出用画素の配置を示した画素配置図である。図7において、Gは、緑フィルターを塗布された画素、Rは、赤フィルターを塗布された画素、Bは、青フィルターを塗布された画素である。また、図中のSAは、画素部の開口を水平方向に偏倚させて形成された焦点検出用の画素であり、後述のSB画素群との水平方向の像ずれ量を検出するための基準画素群である。また、SBは、画素の開口部をSA画素とは、逆方向に偏倚させて形成された画素であり、SA画素群との水平方向の像ずれ量を検出するための参照画素群である。SA、SB画素の斜線部が、偏倚した画素の開口部を示している。ここで、基準画素SA1に対応する参照画素をSB1とし、同様にSA2とSB2、SA3とSB3がそれぞれ像ずれ量を検出するための画素ペアである。
また、焦点検出用画素の画素配置であるが、本実施形態では垂直1/3間引きに対応した画素配置の例を示しており、像ずれ量を検出するための画素ペアは、同じ間引き位相になるように配置されている。より詳しく説明すると、図7のVMk(kは間引き位相番号で1以上間引き周期以下の整数とする)は、ある位相で垂直1/3間引きで読み出しを行った際に読み出される行の組み合わせを示す間引き位相周期を示している。間引き位相周期VM1を読み出した場合、SA1とSB1の画素ペアが読み出され、同様に、間引き位相周期VM2を読み出した場合は、SA2とSB2の画素ペア、間引き位相周期VM3を読み出した場合は、SA3とSB3の画素ペアが読み出されるように画素配置されている。
また、焦点検出用画素群が、撮像用に使用できないことを考慮して、本実施形態では、X、Y方向にある程度の間隔をおいて、離散的に配置されるように構成される。また、画像の劣化が、目立ちにくいように、G画素部分には、配置しないことが望ましい。本実施形態では、図7で示した12行×12列の画素のブロック内に、SA画素、SB画素の3ペアを配置するようにしており、1ブロックで画素配置パターンが完結するように構成している。また、全撮像画面への拡張は、ブロック単位で、撮像素子の任意の位置に適宜配置すればよい。
図8は、本実施形態の撮像素子107の一部に配設された焦点検出用画素の撮影レンズの瞳上での設計上の受光分布説明図である。図8(a)は、図7の画素配置図に示した焦点検出用画素SA1の、撮影レンズの瞳上での設計上の受光分布を示している。焦点検出用画素SA1の電極131_1と電極131_2とで決まる開口の中心は画素の中心に対して+x方向に大きく偏位している。そのため、焦点検出用画素SA1の光電変換部の受光可能な領域PA1の中心は、撮影レンズの射出瞳上の図中x軸上で光軸(図中x軸とy軸の交点)に対して距離−XA1偏位している。
図8(b)は、図7の画素配置図に示した焦点検出用画素SB1の、撮影レンズの瞳上での設計上の受光分布を示している。焦点検出用画素SB1の電極131_3と電極131_4とで決まる開口の中心は画素の中心と略一致している。そのため、焦点検出用画素SB1の光電変換部の受光可能な領域PB1の中心は、撮影レンズの射出瞳上の図中x軸上で光軸(図中x軸とy軸の交点)と略一致している。
図8(c)は、図7の画素配置図に示した焦点検出用画素SA2の、撮影レンズの瞳上での設計上の受光分布を示している。焦点検出用画素SA2の電極131_9と電極131_10とで決まる開口の中心は画素の中心に対して+x方向に所定量偏位している。そのため、焦点検出用画素SA2の光電変換部の受光可能な領域PA2の中心は、撮影レンズの射出瞳上の図中x軸上で光軸(図中x軸とy軸の交点)に対して距離−XA2偏位している。
図8(d)は、図7の画素配置図に示した焦点検出用画素SB2の、撮影レンズの瞳上での設計上の受光分布を示している。焦点検出用画素SB2の電極131_11と電極131_12とで決まる開口の中心は画素の中心に対して−x方向に所定量偏位している。そのため、焦点検出用画素SB2の光電変換部の受光可能な領域PB2の中心は、撮影レンズの射出瞳上の図中x軸上で光軸(図中x軸とy軸の交点)に対して距離XB2偏位している。
図8(e)は、図7の画素配置図に示した焦点検出用画素SA3の、撮影レンズの瞳上での設計上の受光分布を示している。焦点検出用画素SA3の電極131_17と電極131_18とで決まる開口の中心は画素の中心と略一致している。そのため、焦点検出用画素SA3の光電変換部の受光可能な領域PA3の中心は、撮影レンズの射出瞳上の図中x軸上で光軸(図中x軸とy軸の交点)と略一致している。ここで、焦点検出用画素SA3の撮影レンズの瞳上での設計上の受光分布は、焦点検出用画素SB1の撮影レンズの瞳上での設計上の受光分布と略一致している。
図8(f)は、図7の画素配置図に示した焦点検出用画素SB3の、撮影レンズの瞳上での設計上の受光分布を示している。焦点検出用画素SB3の電極131_19と電極131_20とで決まる開口の中心は画素の中心に対して−x方向に大きく偏位している。そのため、焦点検出用画素SB3の光電変換部の受光可能な領域PB3の中心は、撮影レンズの射出瞳上の図中x軸上で光軸(図中x軸とy軸の交点)に対して距離XB3偏位している。
図8(g)は、図7の画素配置図に示した通常撮像用画素の、撮影レンズの瞳上での設計上の受光分布を示している。通常撮像用画素の電極131は光電変換部を遮光しないように構成されているため、通常撮像用画素の光電変換部は、撮影レンズの全瞳領域Prを受光可能である。このとき通常撮像用画素の受光可能な領域Prの中心は、撮影レンズの射出瞳上の光軸(図中x軸とy軸の交点)と略一致している。
以上のように、本実施形態の撮像素子107は、受光分布の中心がx軸上の異なる位置に存在する6種類の焦点検出用画素群を備えて構成されている。
図9は、各画素の最前面に配置されたオンチップマイクロレンズと電極131との相対位置関係が設計値に対して−x方向に位置ずれした撮像素子107における受光分布を表している。図9は撮影画面の中心に対して−x方向に位置する焦点検出用画素の撮影レンズの瞳上での受光分布説明図である。図10は、焦点検出用画素群で生成される線像分布図である。
電極131に対してマイクロレンズが設計値よりも−x方向に位置ずれした場合、撮像素子107の焦点検出用画素の受光分布は、撮影レンズの瞳上で一律−x方向に偏位する。また、撮像素子107の中心に対して−x方向に位置する焦点検出用画素群では、撮影レンズのレンズ枠により図中−x方向側から光束がけられてしまう。
図9(a)は、図7の画素配置図に示した焦点検出用画素SA1の、撮影レンズの瞳上での受光分布を示している。電極131_1と電極131_2とで決まる開口の中心が画素の中心に対して+x方向に大きく偏位している。そのため、焦点検出用画素SA1の光電変換部の受光可能な領域PA1’の中心は、撮影レンズの射出瞳上で光軸(図中x軸とy軸の交点)に対してさらに−x方向に偏位した距離−XA1’となる。さらに、撮影レンズのレンズ枠により図中−x方向側から光束がけられてしまうため、焦点検出用画素PA1’の受光可能な領域は狭くなる。
図9(b)は、図7の画素配置図に示した焦点検出用画素PB1の、撮影レンズの瞳上での受光分布を示している。電極131_3と電極131_4とで決まる開口の中心が画素の中心と略一致している焦点検出用画素SB1の光電変換部の受光可能な領域PB1’の中心は、撮影レンズの射出瞳上で光軸(図中x軸とy軸の交点)に対してさらに−x方向に偏位した距離−XB1’となる。
図10(a)は、焦点検出用画素SA1で代表される焦点検出用画素群にて生成される線像分布Iα1及び焦点検出用画素SB1で代表される焦点検出用画素群にて生成される線像分布Iβ1を示している。焦点検出用画素SA1の撮影レンズの瞳上の受光領域PA1’の面積と焦点検出用画素SB1の撮影レンズの瞳上の受光領域PB1’の面積は大きく異なるため、線像分布Iα1と線像分布Iβ1の出力差が大きくなる。その結果、焦点検出用画素SA1で代表される焦点検出用画素群にて生成される焦点検出像と焦点検出用画素SB1で代表される焦点検出用画素群で生成される焦点検出像を用いて撮影レンズの焦点状態の検出を行っても、精度の高い焦点検出はできない。
図9(c)は、図7の画素配置図に示した焦点検出用画素SA2の、撮影レンズの瞳上での受光分布を示している。電極131_9と電極131_10とで決まる開口の中心が画素の中心に対して+x方向に所定量偏位している。そのため、焦点検出用画素SA2の光電変換部の受光可能な領域PA2’の中心は、撮影レンズの射出瞳上で光軸(図中x軸とy軸の交点)に対してさらに−x方向に偏位した距離−XA2’となる。さらに、撮影レンズのレンズ枠により図中−x方向側から光束がけられてしまうため、焦点検出用画素SA2の受光可能な領域は狭くなる。
図9(d)は、図7の画素配置図に示した焦点検出用画素SB2の、撮影レンズの瞳上での受光分布を示している。電極131_11と電極131_12とで決まる開口の中心が画素の中心に対して−x方向に所定量偏位している。そのため、焦点検出用画素SB2の光電変換部の受光可能な領域PB’の中心は、撮影レンズの射出瞳上で光軸(図中x軸とy軸の交点)に対してさらに−x方向に偏位した距離XB2’となる。
図10(b)は、焦点検出用画素SA2で代表される焦点検出用画素群にて生成される線像分布Iα2及び焦点検出用画素SB2で代表される焦点検出用画素群にて生成される線像分布Iβ2を示している。焦点検出用画素SA2の撮影レンズの瞳上の受光領域PA2’の面積と焦点検出用画素SB2の撮影レンズの瞳上の受光領域PB2’の面積は若干異なるため、線像分布Iα2と線像分布Iβ2に若干の出力差が生じる。その結果、焦点検出用画素SA2で代表される焦点検出用画素群にて生成される焦点検出像と焦点検出用画素SB2で代表される焦点検出用画素群で生成される焦点検出像を用いて撮影レンズの焦点状態の検出を行うと焦点検出結果に若干誤差が発生することになる。
図9(e)は、図7の画素配置図に示した焦点検出用画素SA3の、撮影レンズの瞳上での受光分布を示している。電極131_17と電極131_18とで決まる開口の中心が画素の中心と略一致している焦点検出用画素SA3の光電変換部の受光可能な領域PA3PA3’の中心は、撮影レンズの射出瞳上で光軸(図中x軸とy軸の交点)に対してさらに−x方向に偏位した距離−XA3’となる。さらに、撮影レンズのレンズ枠により図中−x方向側から光束がけられてしまうため、焦点検出用画素SA3の受光可能な領域は狭くなる。ここで、焦点検出用画素SA3の撮影レンズの瞳上での受光分布は、焦点検出用画素SB1の撮影レンズの瞳上での受光分布と略一致している。
図9(f)は、図7の画素配置図に示した焦点検出用画素SB3の、撮影レンズの瞳上での受光分布を示している。電極131_19と電極131_20とで決まる開口の中心が画素の中心に対して−x方向に大きく偏位している。そのため、焦点検出用画素SB3の光電変換部の受光可能な領域PB3’の中心は、撮影レンズの射出瞳上で光軸(図中x軸とy軸の交点)に対してさらに−x方向に偏位した距離XB3’となる。
図10(c)は、焦点検出用画素SA3で代表される焦点検出用画素群にて生成される線像分布Iα3及び焦点検出用画素SB3で代表される焦点検出用画素群にて生成される線像分布Iβ3を示している。焦点検出用画素SA3の撮影レンズの瞳上の受光領域PA3’の面積と焦点検出用画素SB3の撮影レンズの瞳上の受光領域PB3’の面積は略同一のため、線像分布Iα3と線像分布Iβ3の出力は略同じになる。その結果、焦点検出用画素SA3で代表される焦点検出用画素群にて生成される焦点検出像と焦点検出用画素SB3で代表される焦点検出用画素群で生成される焦点検出像を用いて撮影レンズの焦点状態の検出を行うことで精度の高い焦点検出が可能になる。
図9(g)は、図7の画素配置図に示した通常撮像用画素の、撮影レンズの瞳上での受光分布を示している。通常撮像用画素の電極131は光電変換部を遮光しないように構成されているため、通常撮像用画素の光電変換部は、撮影レンズの全瞳領域Pr’を受光可能である。但し、撮影レンズのレンズ枠により図中−x方向側から光束がけられてしまうため、受光可能な領域は狭くなる。
図11は、本実施形態における測距領域の配置図、及び、測距領域と間引き読み出し位相の選択テーブルである。
図11(a)に示すように、撮像素子107の中央領域及び左右領域に測距エリアが設けられている。それぞれの領域には、図7の画素配置図に示した12×12画素で構成される基本ブロックが水平及び垂直方向に適宜配置され、像ずれ量を検出するための信号を焦点検出用画素群により得ることができる。
図11(b)は、各測距エリアにおいて選択する間引き読み出し位相の対応を示す選択テーブルである。上記の選択テーブルは、複数種類の受光分布を有する焦点検出用画素群が配置されている間引き位相のうち、最も良好な焦点検出用の像信号が得られる画素ペアが配置された間引き位相が対応付けられている。最も良好な像を判断する方法としては、例えば、各画素ペアから得られる像信号の出力差が最も小さいものを選択すればよい。また、上記選択テーブルは、本実施例の撮像装置のCPU121のRAMに記憶され、適宜読み出される。
以上のように構成されたシステムにおいて、本実施形態の撮像装置の動作を図12、図13を用いて説明する。
図12のステップS101で、カメラの電源が投入されるとCPU121にプログラムがロードされ、カメラ動作に必要な初期化処理、及び、各制御パラメータの初期化が行われ、ステップS102に移行する。また、この初期化処理により、測距エリアは中央領域の測距エリア2が設定される。
ステップS102では、後述するライブビュー動作時の間引き読み出し処理を行う際の間引き読み出し位相が選択される。間引き読み出し位相は、前述したCPU121のRAMに記憶されている間引き位相選択テーブルを参照することにより、対応する間引き位相が設定される。本実施形態では、ステップS101の初期化処理により測距エリア2が設定されているため、間引き読み出し位相は、良好な焦点検出象が得られる焦点検出用画素SA3、SB3が配置されているラインが読み出される間引き読み出し位相VM3が選択される。逆に言えば、焦点検出用画素SA1、SB1、SA2、SB2が配置されたラインは読み出されないため、不要な焦点検出用画素を読み出すことによる画質の劣化が抑制される。
ステップS103では、撮像素子から連続的に信号を読み出し逐次表示や記録を行う、いわゆるライブビュー動作が開始される。ここで、ライブビュー動作、及び、動画記録の画像信号の読み出し制御について説明する。
図13は、本実施形態のライブビュー時の撮像動作シーケンスの概要を説明するタイミングチャートである。図13に示すように、撮像素子107は、露光動作が行われた後、撮像素子107内の各画素の蓄積電荷が画像信号として読み出される。この読み出し動作は、制御パルス垂直同期信号VD、および不図示の水平同期信号HDに同期して行われる。VD信号は、撮像の1フレームをあらわす信号であり、本実施形態では、たとえば1/30秒ごとにCPU121からのコマンドを受けて、撮像素子駆動回路124より、撮像素子107へ送られる。また、制御パルスHDは、撮像素子107の水平同期信号であり、1フレームの期間に水平ラインのライン数に応じたパルス数が所定間隔で送出され、水平ラインの制御を行う。また、水平パルスHDに同期して、設定された蓄積時間となるように水平ライン毎に画素リセットが行われる(図中に点線で示す)。
VD、HD信号により、蓄積読み出しが実行されると、VD信号が、送出され、次フレームの蓄積動作が開始される。また、読み出された画像信号は、画像処理回路125へ転送され、欠陥画素補正などを行い、画像処理が実行され、カメラの背面などに設置された表示器131へ送られる。以上のライブビュー動作は、公知の技術であるので、これ以上の説明は省略する。また、動画記録に関しては、同様にして読み出した信号を画像処理した後、CPU121のRAMへ送られ逐次記録される。
また、本実施形態の撮像素子107には、撮像用画素のほかに一部の画素群に瞳分割機能を付与して、いわゆる位相差式AFが可能なように構成されている。この焦点検出用画素も欠陥画素とみなして、欠陥補正を行い、画像処理され、表示回路に転送される。
また、通常ライブビューを行う場合、目的のフレームレートを実現するために、撮像素子から信号を間引いて高速に読み出す必要がある。詳しくは既に説明しているためここでは省略するが、ステップS102で選択された間引き読み出し位相となるラインがシフトレジスタによって選択され読み出される。一方、他の間引き読み出し位相に配置された焦点検出用画素は読み出されないため、得られる画像信号に含まれず画質劣化を抑制することが可能である。
ステップS104では、操作スイッチ群132により測距エリアの変更があるか否かの判定を行う。測距エリアが変更された場合はステップS105に移行し、変更がない場合はステップS106に移行する。ステップS105では、ステップS102同様、間引き読み出し位相選択テーブルを参照して対応する間引き読み出し位相が設定されライブビュー時に読み出しされるラインが選択される。
ステップS106では、ライブビュー時の間引き読み出しによって得られる画像データ内に含まれる焦点検出用画素のデータをピックアップして、撮影レンズの焦点状態を検出するための像信号が抽出される。なお、ここで抽出される像信号は、撮像素子107に配置されている複数種類の受光分布の焦点検出用画素のうち、焦点検出を行う上で最も良好な像信号となっているため、高い焦点検出精度を得ることが可能である。
ステップS107では、ステップS106で読み出された像信号が画像処理回路125内の不図示の位相差検出ブロックへ転送され、この回路ブロックで、瞳分割されたSA画素群、およびSB画素群の相関演算を行い、位相差AF評価値を算出する。ステップS108では、操作スイッチ群132によりAF動作が指示されたか否かの判定を行う。AF駆動が指示された場合は、ステップS109へ移行し、AF駆動の指示がない場合はステップS112に移行する。
ステップS109では、ステップS107で算出した位相差AF評価値に基づき合焦状態であるか否かの判定が行われ、合焦状態と判定された場合は、ステップS110に移行して、表示器131に合焦状態を示す表示が行われる。また、合焦状態と判定されない場合は、CPU121は、フォーカス駆動回路126を制御して、フォーカスアクチュエータ114を動作させて、撮影レンズの焦点調節を行う。
ステップS112では、操作スイッチ群132により静止画の撮影動作が指示されたか否かの判定が行われ、静止画撮影が指示された場合は、ステップS113に移行し静止画撮影が行われて不図示の記録媒体に画像が記録される。静止画撮影後は、再びライブビュー動作に戻りステップS114へ移行する。
ステップS114では、操作スイッチ群132によりライブビュー動作の終了が指示されたか否かの判定を行い、指示された場合は、カメラの終了処理を行った後パワーオフされる。一方、終了の指示がない場合はステップS104に戻りライブビュー動作が継続される。
以上述べた通り、固体撮像素子の製造工程において光電変換部とマイクロレンズの位置ずれによって発生する設計上の受光分布との誤差を有する場合においても、異なる受光分布の焦点検出用画素からなる焦点検出用画素群を配置し、複数種類の画素ペアのうちから最も良好な焦点検出画像が得られる画素ペアを選択して読み出すことで、良好な焦点検出用の像信号を得ることが可能となる。
すなわち、上記複数種類の画素ペアを異なる間引き読み出し位相に配置し、最も良好な像信号が得られる焦点検出用画素が読み出される間引き位相を選択することで、画像信号に含まれる焦点検出用画素信号の割合を下げて画質劣化を抑制することが可能となる。