以下、図1〜図22を参照して、本発明の一実施形態の撮像装置について説明する。
図1は本発明の撮像装置の一実施形態であるカメラの構成を示す図である。図1において、101は撮影光学系(結像光学系)の先端に配置された第1レンズ群で、光軸方向に進退可能に保持される。102は絞り兼用シャッタで、その開口径を調節することで撮影時の光量調節を行うほか、静止画撮影時には露光秒時調節用シャッタとしての機能も備える。103は第2レンズ群である。そして絞り兼用シャッタ102及び第2レンズ群103は一体となって光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。
105は第3レンズ群で、光軸方向の進退により、焦点調節を行う。106は光学的ローパスフィルタで、撮影画像の偽色やモアレを軽減するための光学素子である。107は、光電変換手段であるC−MOSセンサとその周辺回路で構成された撮像素子である。撮像素子107には、横方向m画素、縦方向n画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された、2次元単板カラーセンサが用いられる。
111はズームアクチュエータで、不図示のカム筒を回動することで、第1レンズ群111乃至第3レンズ群105を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータで、絞り兼用シャッタ102の開口径を制御して撮影光量を調節すると共に、静止画撮影時の露光時間制御を行う。114はフォーカスアクチュエータで、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。
115は撮影時の被写体照明用の電子フラッシュで、キセノン管を用いた閃光照明装置が好適であるが、連続発光するLEDを備えた照明装置を用いても良い。116はAF補助光装置で、所定の開口パターンを有したマスクの像を、投光レンズを介して被写界に投影し、暗い被写体あるいは低コントラスト被写体に対する焦点検出能力を向上させる。
121は、カメラ本体の種々の制御を司るカメラ内CPUで、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、通信インターフェイス回路等を有し、ROMに記憶された所定のプログラムに基づいて、カメラが有する各種回路を駆動する。そして、AF、撮影、画像処理、記録等の一連の動作を実行する。カメラ内CPU121は本発明の焦点検出手段、光量補正手段、光束規定情報補正手段である。
122は電子フラッシュ制御回路で、撮影動作に同期して電子フラッシュ115を点灯制御する。123は補助光駆動回路で、焦点検出動作に同期してAF補助光装置116を点灯制御する。124は撮像素子駆動回路で、撮像素子107の撮像動作を制御するとともに、取得した画像信号をA/D変換してカメラ内CPU121に送信する。125は画像処理回路で、撮像素子107が取得した画像のγ変換、カラー補間、JPEG圧縮等の処理を行う。
126はフォーカス駆動回路で、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路で、絞りシャッタアクチュエータ112を駆動制御して絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路で、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCD等の表示器で、カメラの撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像等を表示する。132は操作スイッチ群で、電源スイッチ、レリーズ(撮影トリガ)スイッチ、ズーム操作スイッチ、撮影モード選択スイッチ等で構成される。133は着脱可能なフラッシュメモリで、撮影済み画像を記録する。
図2は本実施形態における撮像素子の概略的回路構成を示した図で、特開平09−046596号報等に開示された技術が好適である。図2は2次元C−MOSエリアセンサの2列×4行画素の範囲を示したものであるが、撮像素子として利用する場合は、当図に示した画素を多数配置し、高解像度画像の取得を可能としている。本実施形態においては、画素ピッチが2μm、有効画素数が横3000列×縦2000行=600万画素、撮像画面サイズが横6mm×縦4mmの撮像素子として説明を行う。
図2において、1はMOSトランジスタゲートとゲート下の空乏層からなる光電変換素子の光電変換部、2はフォトゲート、3は転送スイッチMOSトランジスタ、4はリセット用MOSトランジスタ、5はソースフォロワアンプMOSトランジスタである。6は水平選択スイッチMOSトランジスタ、7はソースフォロワの負荷MOSトランジスタ、8は暗出力転送MOSトランジスタ、9は明出力転送MOSトランジスタ、10は暗出力蓄積容量CTN、11は明出力蓄積容量CTSである。12は水平転送MOSトランジスタ、13は水平出力線リセットMOSトランジスタ、14は差動出力アンプ、15は水平走査回路、16は垂直走査回路である。
図3は本実施形態における撮像素子の画素部の断面図である。図3において、17はP型ウェル、18はゲート酸化膜、19は一層目ポリSi、20は二層目ポリSi、21はn+ フローティングディフュージョン部(FD)である。FD部21は別の転送MOSトランジスタを介して別の光電変換部と接続される。図3において、2つの転送MOSトランジスタ3のドレインとFD部21を共通化して微細化とFD部21の容量低減による感度向上を図っているが、Al配線でFD部21を接続しても良い。
次に、図4のタイミングチャートを用いて動作を説明する。このタイミングチャートは全画素独立出力の場合である。
まず垂直走査回路16からのタイミング出力によって、制御パルスφLをハイとして垂直出力線をリセットする。また制御パルスφR0,φPG00,φPGe0をハイとし、リセット用MOSトランジスタ4をオンとし、フォトゲート2の一層目ポリSi19をハイとしておく。時刻T0において、制御パルスφS0をハイとし、選択スイッチMOSトランジスタ6をオンさせ、第1,第2ラインの画素部を選択する。次に制御パルスφR0をロウとし、FD部21のリセットを止め、FD部21をフローティング状態とし、ソースフォロワアンプMOSトランジスタ5のゲート・ソース間をスルーとする。その後、時刻T1において制御パルスφTNをハイとし、FD部21の暗電圧をソースフォロワ動作で蓄積容量CTN10に出力させる。
次に、第1ラインの画素の光電変換出力を行うため、第1ラインの制御パルスφTX00をハイとして転送スイッチMOSトランジスタ3を導通した後、時刻T2 において制御パルスφPG00をローとして下げる。この時フォトゲート2の下に拡がっていたポテンシャル井戸を上げて、光発生キャリアをFD部21に完全転送させるような電圧関係が好ましい。従って完全転送が可能であれば制御パルスφTXはパルスではなくある固定電位でもかまわない。
時刻T2 でフォトダイオードの光電変換部1からの電荷がFD部21に転送されることにより、FD部21の電位が光に応じて変化することになる。この時ソースフォロワアンプMOSトランジスタ5がフローティング状態であるので、FD部21の電位を時刻T3 において制御パルスφTs をハイとして蓄積容量CTS11に出力する。この時点で第1ラインの画素の暗出力と光出力はそれぞれ蓄積容量CTN10とCTS11に蓄積されており、時刻T4 の制御パルスφHCを一時ハイとして水平出力線リセットMOSトランジスタ13を導通して水平出力線をリセットする。そして、水平転送期間において水平走査回路15の走査タイミング信号により水平出力線に画素の暗出力と光出力が出力される。この時、蓄積容量CTN10とCTS11の差動増幅器14によって、差動出力VOUTを取れば、画素のランダムノイズ、固定パターンノイズを除去したS/Nの良い信号が得られる。また画素30−12、30−22の光電荷は画素30−11、30−21と同時に夫々の蓄積容量CTN10とCTS11に蓄積されるが、その読み出しは水平走査回路15からのタイミングパルスを1画素分遅らして水平出力線に読み出して差動増幅器14から出力される。
本実施形態では、差動出力VOUTをチップ内で行う構成を示しているが、チップ内に含めず、外部で従来のCDS(Correlated Double Sampling:相関二重サンプリング)回路を用いても同様の効果が得られる。
蓄積容量CTS11に明出力を出力した後、制御パルスφR0をハイとしてリセット用MOSトランジスタ4を導通しFD部21を電源VDDにリセットする。第1ラインの水平転送が終了した後、第2ラインの読み出しを行う。第2ラインの読み出しは、制御パルスφTXe0,制御パルスφPGe0を同様に駆動させ、制御パルスφTN、φTSに夫々ハイパルスを供給して、蓄積容量CTN10とCTS11に夫々光電荷を蓄積し、暗出力及び明出力を取り出す。以上の駆動により、第1,第2ラインの読み出しが夫々独立に行える。この後、垂直走査回路を走査させ、同様に第2n+1,第2n+2(n=1,2,…)の読み出しを行えば全画素独立出力が行える。即ち、n=1の場合は、まず制御パルスφS1をハイとし、次にφR1をローとし、続いて制御パルスφTN、φTX01をハイとし、制御パルスφPG01をロー、制御パルスφTSをハイ、制御パルスφHCを一時ハイとして画素30−31,30−32の画素信号を読み出す。続いて、制御パルスφTXe1,φPGe1及び上記と同様に制御パルスを印加して、画素30−41,30−42の画素信号を読み出す。
図5乃至図7は、撮像用画素と焦点検出用画素の構造を説明する図である。本実施形態においては、2行×2列の4画素のうち、対角2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にR(赤色)とB(青色)の分光感度を有する画素を各1個配置した、ベイヤー配列が採用されている。そして、ベイヤー配列の間に、後述する構造の焦点検出用画素が所定の規則にて分散配置される。
図5は、撮像用画素の平面図と断面図である。図5(a)は撮像素子中央に位置する2行×2列の撮像用画素の平面図である。周知のごとく、ベイヤー配列では対角方向にG画素が、他の2画素にRとBの画素が配置される。そして2行×2列の構造が繰り返し配置される。
図5(a)の断面A−Aを図5(b)に示す。MLは各画素の最前面に配置されたオンチップマイクロレンズ、CFRはR(Red)のカラーフィルタ、CFGはG(Green)のカラーフィルタである。PDは図3で説明したC−MOSセンサの光電変換部を模式的に示したもの、CLはC−MOSセンサ内の各種信号を伝達する信号線を形成するための配線層である。TLは撮影光学系を模式的に示したものである。
ここで、撮像用画素のオンチップマイクロレンズMLと光電変換部PDは、撮影光学系MLを通過した光束を可能な限り有効に取り込むように構成されている。換言すると、撮影光学系TLの射出瞳EPと光電変換部PDは、マイクロレンズMLにより共役関係にあり、かつ光電変換部の有効面積は大面積に設計される。また、図5(b)ではR画素の入射光束について説明したが、G画素及びB(Blue)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
図6は、撮影レンズの図中x方向に瞳分割を行うための焦点検出用画素の平面図と断面図である。図6(a)は、撮像素子中央に位置する焦点検出用画素を含む2行×2列の画素の平面図である。撮像信号を得る場合、G画素は輝度情報の主成分をなす。そして人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認められやすい。一方でRもしくはB画素は、色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで本実施形態においては、2行×2列の画素のうち、G画素は撮像用画素として残し、RとBに相当する位置の画素に、ある割合で焦点検出用画素を配列している。これを図6(a)においてSHA及びSHBで示す。
図6(a)の断面B−Bを図6(b)に示す。マイクロレンズMLと、光電変換部PDは図5(b)に示した撮像用画素と同一構造である。本実施形態においては、焦点検出用画素の信号は画像創生には用いないため、色分離用カラーフィルタの代わりに透明膜CFW(White)が配置される。また、撮像素子で瞳分割を行うため、配線層CLの開口部はマイクロレンズMLの中心線に対してx方向に偏倚している。具体的には、画素SHAの開口部OPHAは−x方向に偏倚しているため、撮影レンズTLの左側の射出瞳EPHA(第1の瞳領域)を通過した光束を受光する。同様に、画素SHBの開口部OPHBは+x方向に偏倚しているため、撮影レンズTLの右側の射出瞳EPHB(第2の瞳領域)を通過した光束を受光する。よって、画素SHAをx方向に規則的に配列し、これらの画素群(本発明の第1の画素群に相当)で取得した被写体像をA像とし、画素SHBもx方向に規則的に配列し、これらの画素群(本発明の第2の画素群に相当)で取得した被写体像をB像とすると、A像とB像の相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)が検出できる。
なお、上記の画素SHA及びSHBでは、撮影画面のx方向に輝度分布を有した被写体、例えばy方向の線に対しては焦点検出可能だが、y方向に輝度分布を有するx方向の線は焦点検出不能である。そこで本実施形態では、後者についても焦点検出できるよう、撮影レンズのy方向にも瞳分割を行う画素も備えている。
図7は、撮影レンズの図中y方向に瞳分割を行うための焦点検出用画素の平面図と断面図である。図7(a)は、撮像素子中央に位置する焦点検出用画素を含む2行×2列の画素の平面図で、図6(a)と同様に、G画素は撮像用画素として残し、RとBに相当する位置の画素に、ある割合で焦点検出用画素を配列している。これを図7(a)においてSVC及びSVDで示す。
図7(a)の断面C−Cを図7(b)に示すが、図6(b)の画素がx方向に瞳分離する構造であるのに対して、図7(b)の画素は瞳分離方向がy方向になっているだけで、画素の構造としては変わらない。すなわち、画素SVCの開口部OPVCは−y方向に偏倚しているため、撮影レンズTLの+y方向の射出瞳EPVCを通過した光束を受光する。同様に、画素SVDの開口部OPVDは+y方向に偏倚しているため、撮影レンズTLの−y方向の射出瞳EPVDを通過した光束を受光する。よって、画素SVCをy方向に規則的に配列し、これらの画素群で取得した被写体像をC像とし、画素SVDもy方向に規則的に配列し、これらの画素群で取得した被写体像をD像とすると、C像とD像の相対位置を検出することで、y方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)が検出できる。
図8は、本実施形態における撮像素子の瞳分割状況を概念的に説明する図である。TLは撮影レンズ、107は撮像素子、OBJは被写体、IMGは被写体像である。
撮像用画素は図5の撮像素子の撮像用画素の平面図と断面図で説明したように、撮影レンズの射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は図6のx方向に瞳分割を行うための焦点検出用画素の平面図と断面図及び図7のy方向に瞳分割を行うための焦点検出用画素の平面図と断面図で説明したように、瞳分割機能を有している。具体的には、図6の画素SHAは+X方向の側の瞳を通過した光束、すなわち図8の瞳EPHAを通過した光束を受光する。同様に画素SHB、SVC及びSVDはそれぞれ瞳EPHB、EPVC及びEPVDを通過した光束を受光する。そして、焦点検出用画素を、撮像素子107の全領域に渡って分布させることで、撮像領域全域で焦点検出を可能とさせている。
図9は、焦点検出時に取得した画像と焦点検出領域を説明する図である。図9において、撮像面に形成された被写体像には、中央に人物、左側に近景の樹木、右側に遠景の山並みが写っている。そして本実施形態においては、焦点検出用画素は、x方向ずれ検出用の画素ペアSHA及びSHBと、y方向ずれ検出用の画素ペアSVC及びSVDが、撮像領域全域に渡って均等な密度で配置されている。そしてx方向ずれ検出の際には、x方向ずれ検出用の画素ペアSHA及びSHBから得られる一対の画像信号を、位相差演算のためのAF画素信号として使用する。また、y方向ずれ検出の際には、y方向ずれ検出用の画素ペアSVC及びSVDから得られる一対の画像信号を、位相差演算のためのAF画素信号として使用する。よって、撮像領域の任意位置において、x方向ずれ検出及びy方向ずれ検出のための測距領域を設定可能である。
図9においては、画面中央に人物の顔が存在している。そこで公知の顔認識技術によって顔の存在が検出されると、顔領域を中心にx方向ずれ検知のための焦点検出領域AFARh(x1,y1)と、y方向ずれ検知のための焦点検出領域AFARv(x3,y3)が設定される。ここで添え字のhはx方向を表わし、(x1,y1)及び(x3,y3)は焦点検出領域の左上隅の座標を表わす。そして、焦点検出領域AFARh(x1,y1)の各セクション内に含まれるx方向ずれ検出用の焦点検出画素SHAを30セクションに渡って連結した位相差検出用のA像信号がAFSIGh(A1)である。また、同様に各セクションのx方向ずれ検出用の焦点検出画素SHBを30セクションに渡って連結した位相差検出用のB像信号がAFSIGh(B1)である。そして、A像信号AFSIGh(A1)とB像信号AFSIGh(B1)の相対的なx方向ずれ量を公知の相関演算によって計算することで、撮影レンズの焦点ずれ量(デフォーカス量、焦点状態))を求めることができる。
焦点検出領域AFARv(x3,y3)についても同様に焦点ずれ量を求める。そして、x方向ずれ及びy方向ずれの焦点検出領域で検出した2つの焦点ずれ量を比較し、信頼性の高い値を採用すればよい。
一方、画面左側の樹木の幹部は、y方向成分が主体、すなわちx方向に輝度分布を有しているため、x方向ずれ検知に適した被写体と判断され、x方向ずれ検知のための焦点検出領域AFARh(x2,y2)が設定される。また、画面右側の山並み稜線部は、x方向成分が主体、すなわちy方向に輝度分布を有しているため、y方向ずれ検知に適した被写体と判断され、y方向ずれ検知のための焦点検出領域AFARv(x4,y4)が設定される。
以上のごとく本実施形態においては、x方向ずれ及びy方向ずれ検出のための焦点検出領域が画面の任意位置に設定可能なため、被写体の投影位置や輝度分布の方向性が様々であっても、常に焦点検出が可能である。なお、原理はx方向ずれとy方向ずれとでは方向が異なること以外は同じであるため、以下はx方向ずれの検出のための説明とし、y方向ずれ検出の説明は省略する。
図10は撮像素子中央の焦点検出用画素の入射角特性を表した模式図であり、図10(a)は画素SHA、図10(b)は画素SHBの特性を示している。図10中x軸、y軸はそれぞれ画素のx方向、y方向の入射角度を表している。図10では、色が濃くなるほど受光強度が高いことを示している。図6では説明を分かりやすくするため、画素SHAの射出瞳をEPHA、画素SHBの射出瞳をEPHBと、それぞれ分離して表した。しかし、図10に示すように、実際には、開口部OPHA及び開口部OPHBの開口部による回折の影響を低減させたり、SNを向上させるために画素SHAと画素SHBの射出瞳は一部領域の重なる部分がある。図11は焦点検出用画素の入射角特性を1次元で表した図である。横軸は入射角を、縦軸は図10のθy方向の受光感度を加算したものを表しており、原点が光軸である。図11に示すように、撮像素子中央の焦点検出用画素では、画素SHAと画素SHBの入射角特性は光軸に対して略対称となる。
図12は光束のケラレを説明する図である。図12(a)は撮像素子中央の画素に入射する光束を示し、図12(b)は撮像素子の中央から像高を持った位置の画素に入射する光束を示している。撮像素子には撮影レンズのレンズ保持枠や絞り102などいくつかの構成部材によって外縁を制限された光束が入射する。ここでは説明を分かりやすくするため、あらゆる像高において光束を制限する部材が2つあるとして説明する。
Iw1、Iw2は光束を制限する部材を窓として、光束はこの内側を通過する。MeはマイクロレンズMLの構成によって設定された瞳面を表している。図12(a)を用いて、撮像素子中央の画素に入射する光束のケラレを説明する。L1rc、L1lcは窓Iw1の射出光束の外周を表しており、L1rcは図12中右端、L1lcは図12中左端を示している。L2rc、L2lcは窓Iw2の射出光束をマイクロレンズMLの瞳位置まで投影したものの外周を表しており、L2rcは図12中右端、L2lcは図12中左端を示している。図12(a)に示すように、撮像素子中央画素に入射する光束の瞳面Meでの瞳領域はL2lcとL2rcを外周とする光束、つまり、矢印Area1で示される。次に、図12(b)を用いて、撮像素子の中央から像高を持った位置の画素に入射する光束のケラレを説明する。L1rh、L1lhは窓Iw1の射出光束の外周を表しており、L1rhは図12中右端、L1lhは図12中左端を示している。L2rh、L2lhは窓Iw2の射出光束をマイクロレンズMLの瞳位置まで投影したものの外周を表しており、L2rhは図12中右端、L2lhは図12中左端を示している。図12(b)に示すように、撮像素子の中央から像高を持った位置の画素に入射する光束の瞳面Me上での瞳領域はL1lhとL2rhを外周とする光束、つまり、矢印Area2で示される。
図13は瞳面Me上での瞳領域を示した図である。図13(a)は撮像素子中央の画素の瞳領域を示し、図13(b)は撮像素子の中央から像高を持った位置の画素の瞳領域を示している。図12で説明したように、撮像素子中央の画素は同一窓Iw2のみによって制限された光束が入射するため、図13(a)に示すように瞳領域Area1は窓Iw2の形状がそのまま投影される。光束を制限する窓は円形状であるため、瞳領域Area1の形状も円形状となる。一方、撮像素子の中央から像高を持った位置の画素はIw1とIw2によって制限された光束が入射するため、瞳領域Area2は図13(b)に示したような形状となる。
図14は焦点検出用画素の瞳強度分布を示す図である。これは、図10に示した撮像素子中央の焦点検出用画素の入射角特性をマイクロレンズMLの瞳上に投影したものに等しく、図14の縦軸および横軸は瞳上の座標に展開したものである。この瞳強度分布は、撮像素子の中央から像高を持った位置の画素についても同じ特性をもっている。なぜならば、撮像素子の中央から像高を持った位置の画素のマイクロレンズMLは光軸中心がマイクロレンズMLの瞳の中心を通過するように偏芯して作製されているためである。
図15は撮像素子中央の焦点検出用画素の瞳面Me上でのケラレを示した図である。図15(a)は画素SHA、図15(b)は画素SHBの特性を示している。図15は図13(a)と図14を重ね合わせたものであり、画素SHA及び画素SHBにはArea1で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。図16は撮像素子中央の焦点検出用画素の瞳面Me上での入射光束の瞳強度分布を2次元で表した図である。横軸は瞳面Me上のx方向の座標を表し、縦軸は各座標の強度を表している。各座標の強度は図15のy方向の瞳強度を加算したものである。画素SHAと画素SHBの瞳面Me上での入射光束の瞳強度分布はEsdAc、EsdBcで示している。図15に示すように、画素SHA及び画素SHBの瞳面Me上の瞳強度分布は、撮影レンズのレンズ枠や絞りなどの光束を制限する部材によってケラレが生じている。
図17は撮像素子の中央から像高を持った位置の画素の瞳面Me上でのケラレを示した図である。図17(a)は画素SHA、図17(b)は画素SHBの特性を示している。図17は図13(b)と図14を重ね合わせたものであり、画素SHA及び画素SHBにはArea2で示した形状の内側を透過した光束が図示した瞳強度分布で入射する。図18は撮像素子の中央から像高を持った位置の画素の瞳面Me上での入射光束の瞳強度分布を2次元で表した図である。横軸は瞳面Me上のx方向の座標を表し、縦軸は各座標の強度を表している。各座標の強度は図17のy方向の瞳強度を瞳分離方向と直交する方向に加算したものである。図18中、画素SHAと画素SHBの瞳面Me上での入射光束の瞳強度分布はEsdAh、EsdBhで示している。
前述したように、画素SHAをx方向に規則的に配列し、これらの画素群で取得した被写体像A像と、画素SHBもx方向に規則的に配列し、これらの画素群で取得した被写体像B像との相対位置を検出することで、被写体像のピントずれ量(デフォーカス量)を検出している。
いま被写体の光量分布をf(x,y)、被写体像の光量分布をg(x,y)とするとき、
の関係(たたみこみ積分;convolution)が成立する。ここでh(x,y)は被写体が画像形成システムにおいて劣化する状態を表す伝達関数で、点像分布関数(point spread function)と呼ばれる。従って、焦点検出に用いる1対の被写体像を知るには、点像分布関数を知る必要がある。ここで、位相差方式焦点検出においては、1対の被写体像の1次元方向に注目し、その位相ずれを検出するため、点像分布関数の代わりに1次元の関数である線像分布関数(line spread function)により、焦点検出に関する画像システムを評価することができる。そこで、被写体の光量分布をf(x)、被写体像の光量分布をg(x)と置き換えると、上記式(1)は線像分布関数L(a)を用いて以下のように書き換えられる。
従って、式(2)より任意のデフォーカス時の位相ずれ方向における通過する瞳領域が異なる光束により生成される1対の線像分布関数を知ることにより、1対の被写体像を知ることができる。1対の被写体像がわかれば、それぞれの被写体像の重心間隔から基線長を求め、1対の被写体像の像ズレ量と基線長からデフォーカス量を算出することができる。基線長は以下の(3)〜(5)式により求めることができる。被写体像の重心をGA、GB、基線長をGとすると、
…(3),(4),(5)
次に本実施形態の焦点検出動作について図19のフローチャートを用いて説明する。なお、図19のフローチャートにおける動作は本発明の焦点検出手段、光量補正手段、光束規定情報補正手段であるCPU121によって実行される。
ステップS1ではケラレ状態を知るためのレンズ情報が読み出され、ステップS2へと進む。レンズ情報の詳細は後述するが、撮影条件であるF値やズームステートの他、、本実施形態における枠情報や、絞りの累積駆動回数がレンズ情報に含まれる。
ステップS2では使用者が設定した測距位置や範囲などの測距点情報が読み出される。完了後ステップS3へと進む。
ステップS3では、レンズ光束を規定する枠を算出する。詳細は後述するが、レンズ光束を規定する枠は、ステップ1で読み出されたレンズ情報に含まれる枠情報から、ステップS2で取得した測距点情報に対応する像高の枠情報(位置、半径、枠識別情報)を読み出し、光束規定情報補正手段によって、製造誤差補正と耐久補正を実施して算出される。
ステップS4では各焦点検出用画素においてCPU121内のROMに保管されている瞳強度分布を読み出し、ステップS3で得られた光束規定枠と合わせて線像分布関数を算出する。完了後、ステップS5へと進む。
ステップS5では、ステップS4で得られた線像分布関数の重心を算出し、基線長を求める。ここでの基線長の算出方法の詳細は後述する。完了すると、ステップS6へと進む。ステップS6では、ステップS2で読み出された測距位置での焦点検出用画素の画像信号を読み出し、被写体A像、被写体B像が形成される。完了後、ステップS7へと進む。
ステップS7では、ステップS3で算出した光束規定枠から被写体像A像と被写体像B像の光束のケラレ量を予測し、A像B像の光量比を調節する光量補正を行う。光量補正後、ステップS8へと進む。
ステップS8では、焦点検出手段はステップS7で得られた光量補正後の被写体像A像、被写体像B像を用いて公知の相関演算方法により像ズレ量を求め、デフォーカス量を求める。デフォーカス量算出後、ステップS9へと進む。
ステップS9では、算出されたデフォーカス量が、合焦か否かの判定がされる。合焦だと判定されなかった場合には、ステップS10へと進む。合焦だと判定された場合には、ステップS11へと進む。
ステップS10では、算出されたデフォーカス演算結果に応じて、第3レンズ群105を進退させる。そして、ステップS6へと戻る。ステップS11にて、一連の焦点検出フローが終了する。
次に、ステップS1で取得されるレンズ情報について、図20〜図22を用いて詳細に説明する。レンズ情報には、現在の撮影条件のF値、ズームステート、絞りの累積駆動回数、枠情報が含まれる。ズームステートとは、ズームレンズにおいて、Tele端からWide端までを例えば2分割や50分割などに分割した際の、どの位置にいるかである。また枠情報には、光束規定情報である、枠の位置、半径の情報と、枠識別情報が含まれる。
図20は、レンズ枠の位置や半径と、撮像素子107のある像高でのレンズ光束を模式的に示した断面図である。また、図21は、あるF値、あるズームステートにおいて保有される枠情報のデータテーブルの例である。これと同様の情報が各F値、各ズームステートで保有されている。ここでは例として、像高0,1,2を挙げているが、選択される測距点に対応できるよう、実際は更に細かいピッチで、高い像高までのデータが保有されている。
図20において、像高0の状態では、レンズの絞りである枠Bのみでレンズ光束が遮られている。それに対して、例えば像高1の状態では、レンズの後枠である枠Cと絞りである枠Bの2つの枠によって、レンズ光束が遮られているのがわかる。
このような状況に従って、図21に示すとおり、各像高ごとに、レンズ光束を遮る枠を枠1、枠2として、それぞれについて、位置、半径、種類の情報を保有している。位置は、撮像素子の画素からレンズを介して見た、レンズ光束を遮る枠の光軸方向の位置である。半径は、撮像素子の画素からレンズを介して見た、レンズ光束を遮る枠の半径である。種類は、レンズ光束を遮る枠の種類を識別するための枠識別情報で、例えば図20の例では、前枠である枠Aか、絞りである枠Bか、後枠である枠Cかを識別するための情報である。
例えばレンズ後枠は、実際の物としては一つの枠であっても、撮像素子の画素から結像光学系を介して見ると、像高によって位置や半径が異なって見える。そのため、光束規定情報は、実際の物の位置や半径ではなく、撮像素子の画素から見てどう見えるかの情報を、各像高ごとに保有している。但し、実際の物として同一の枠であれば、同一であると認識する(グループ化する)ために、枠の種類を識別するための枠識別情報を保有している。
図22は、枠識別情報によって識別された枠の素性を示すデータテーブルである。製造誤差は、実際の枠半径の、設計値に対する倍率を示している。耐久補正は、絞り駆動回数に対する、枠半径変化量の係数を示している。
光束規定情報は、線像分布関数を求める際に、レンズの射出瞳面に投影して用いる。その際、撮像素子に近い位置にある枠は、位置や半径に僅かでも誤差があると、レンズの射出瞳位置では大きな誤差となる。それに対して、撮像素子から遠い位置にある枠は、位置や半径に誤差があっても、レンズの射出瞳位置に投影した際の位置変動は少ない。そこで、本実施形態では、撮像素子から遠い位置にある枠Cに関しては製造誤差情報を保有していない。
また、光束を規定する枠のうち、枠Aや枠Bのようにレンズ鏡筒によるものは、絞りの駆動回数に依らず一定であるが、絞りによるものは、絞りの累積駆動回数によって半径が変化することがある。例えば、繰返し絞り駆動を行うことで、絞りこみ位置を決める軸が磨耗し、繰返し駆動前よりも絞りこみ時の半径が変化することがある。そこで絞りである枠Bのみが、耐久補正の係数を保有している。
以上がレンズ情報の説明である。これらのレンズ情報は、ステップS3の光束規定枠決定に用いられ、更にその情報を用いて、ステップS4の線像作成や、ステップS7の光量補正が行われる。
次に、ステップS3の光束規定枠の決定について詳細に説明する。
まず、ステップS1で読み出されたレンズ情報に含まれる光束規定情報から、現在の撮影条件のF値、ズームステート、測距点情報に対応する像高の枠情報(位置、半径、枠識別情報)を読み出す。次に、光束規定情報補正手段によって、製造誤差補正と耐久補正が行われる。
製造誤差補正と耐久補正は、枠情報に含まれる枠識別情報に従って行われる。具体的には、補正後の枠の半径Rhは、補正前の枠の半径R、製造誤差Fer、耐久補正係数Uer、絞り駆動回数Ndを用いて、下記のように表される。
Rh=R×Fer+(1+Nd×Uer)
このように、光束を規定する枠の半径について、製造誤差量を補正するので、より正確に光束を規定する枠を求めることができる。また、絞りの累積駆動回数に応じて枠の半径を変化させるので、絞りの駆動によって、枠の半径が変化しても、より正確に光束を規定する枠を求めることができる。
また、前述のとおり、実際の物としては一つの枠であっても、光束規定情報は、各像高ごとに異なる値を保有している。本実施形態では、枠情報が枠識別情報を保有するので、実際の物の製造誤差や耐久補正値が得られると、それを全ての光束規定情報に容易に反映することが可能となる。具体的には、光束規定情報として、像高によって異なる半径や位置を保有して一見異なる枠に見える情報も、枠識別情報を参照することで、同一の枠によって形成される枠は、全て同じ製造誤差情報を適用することが可能となる。また、或は、様々な枠によって規定されている光束規定情報の中から、絞りによって規定されている枠情報のみに、耐久補正をかけることが可能となる。
また、撮像素子に近い位置にある枠の光束規定情報は、撮像素子から遠い位置にある枠の光束規定情報よりも精度が高いので、より少ないデータ量で、より精度良く補正を行うことができる。
次に、ステップS5の基線長算出方法について詳細に説明する。
まず、被写体像A像に対応した線像(以下、線像A)と被写体像B像に対応した線像(以下、線像B)の重心を合わせるように移動させる。移動させた線像A、線像Bをそれぞれ線像A0、線像B0とすると、線像Aに線像B0を畳み込み積分した修正線像Aと、線像Bに線像A0を畳み込み積分した修正線像Bの重心間隔により、修正基線長を算出する。これを式で表すと以下のようになる。
修正線像Aを求める式は、修正線像AをMA(x)、線像AをLA(x)、線像B0をLB’(x)とすると、
…(6)
よって、修正線像Aの重心をGA’とすると、
…(7)
となる。
同様に、修正線像Bを求める式は、修正線像BをMB(x)、線像BをLB(x)、線像A0をLA’(x)とすると、
…(8)
よって、修正線像Bの重心をGB’とすると、
…(9)
となる。
よって、求める基線長をG’とすると、
…(10)
以上の計算により、基線長が算出される。
以上のような構成により、レンズ枠や絞りなどの、光束を制限する部材によって生じるケラレをより精度良く修復することが可能になり、より精度良く焦点検出を行うことが可能となる。
詳細に説明すると、ステップS3において、光束を規定する枠の半径について、設計値に対して、製造誤差量を補正するので、より正確に光束を規定する枠を求めることができる。また、ステップS3において、絞りの累積駆動回数に応じて枠の半径を変化させるので、絞りの駆動によって、枠の半径が変化しても、より正確に光束を規定する枠を求めることができる。
また、枠情報が枠識別情報を保有するので、実際の物の製造誤差や耐久補正情報を容易に光束規定情報に反映することができる。また、撮像素子に近い位置にある枠の光束規定情報は、撮像素子から遠い位置にある枠の光束規定情報よりも精度が高いので、より少ないデータ量で、より精度良く光束を規定する枠を求めることができる。
なお、本実施形態では、相関演算に公知の像ズレ方式を用いたが、他の方法を用いたとしても同様の結果が得られる。
また、本実施形態では光電変換手段としてC−MOSセンサとその周辺回路で構成された撮像素子を利用した焦点演算方法を例に説明したが、光電変換手段としてラインセンサを用いた従来の一眼レフカメラの瞳分割方式の焦点検出装置においても有効である。
また、本実施形態では説明を分かりやすくするため、ある像高の撮像画素からは、最大2つの枠が同時に見えるモデルとして説明したが、実際は3つ以上の枠が同時に見えるモデルとして、枠3、枠4などの位置、半径、枠識別情報を保有しても良い。
また、本実施形態では説明を分かりやすくするため、レンズ光束を遮る枠は円であるとして、光束規定情報を位置と半径の2つのパラメータで表した。しかし、例えば、光束規定情報として、楕円や多角形を想定して、更に他のパラメータを持っても良い。
また、本実施形態では、撮像素子から遠い位置にある後枠Cに関しては、製造誤差情報を保有しないことで、データ量を削減したが、例えば、製造誤差情報を保有はしても、前枠Aに対しては精度を落として保有するなどの構成としても良い。
また、本実施形態では、光束規定情報の補正の例として、製造誤差補正、耐久補正ともに、枠の半径を補正することを例に説明したが、枠位置を補正しても良い。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。