まず、図1を参照して、本発明の実施例1における撮像装置について説明する。図1は、撮像装置100(撮像システム)の構成図である。撮像装置100は、撮像素子107を備えた撮像装置本体(カメラ本体)と撮影光学系(撮影レンズ)とが一体的に構成されている。ただし本実施形態は、これに限定されるものではなく、撮像装置本体と撮像装置本体に着脱可能なレンズ装置(撮影光学系)とを備えて構成される撮像システムにも適用可能である。また撮像装置100は、動画および静止画を記録可能である。
図1において、101は第1レンズ群である。第1レンズ群101は、撮影光学系(結像光学系)の先端に配置されており、光軸OAの方向(光軸方向)に進退可能に保持されている。102は絞り兼用シャッタである。絞り兼用シャッタ102(絞り手段)は、その開口径を調節することにより、撮影時の光量調節を行う。また絞り兼用シャッタ102は、静止画撮影の際に露光秒時調節用シャッタとしての機能を有する。103は撮影光学系を構成する第2レンズ群である。絞り兼用シャッタ102および第2レンズ群103は、一体的に光軸方向に進退し、第1レンズ群101の進退動作との連動により、変倍作用(ズーム機能)をなす。105は撮影光学系を構成する第3レンズ群である。第3レンズ群105は、光軸方向に進退することにより、焦点調節を行う。106は光学的ローパスフィルタである。光学的ローパスフィルタ106は、撮影画像の偽色やモアレを軽減するための光学素子である。
107は撮像素子である。撮像素子107は、撮影光学系を介して得られた被写体像(光学像)を光電変換して像信号を出力する。撮像素子107は、C−MOSセンサとその周辺回路とを備えて構成されている。本実施例の撮像素子107は、横方向にm画素、縦方向にn画素の受光ピクセル上に、ベイヤー配列の原色カラーモザイクフィルタがオンチップで形成された2次元単板カラーセンサである。
111はズームアクチュエータである。ズームアクチュエータ111は、不図示のカム筒を回動することにより、第1レンズ群101、第2レンズ群103、および、第3レンズ群105を光軸方向に進退駆動し、変倍操作を行う。112は絞りシャッタアクチュエータである。絞りシャッタアクチュエータ112は、絞り兼用シャッタ102の開口径を制御して撮影光量を調節するとともに、静止画撮影の際に露光時間制御を行う。114はフォーカスアクチュエータである。フォーカスアクチュエータ114は、第3レンズ群105(フォーカスレンズ)を光軸方向に進退駆動して焦点調節を行う。
115は無線式通信手段(通信手段)である。無線式通信手段115は、インターネットなどのネットワークを通じてサーバ(コンピュータ)と通信するためのアンテナおよび信号処理回路を備えて構成される。116は撮像装置100(カメラ本体)の姿勢検知手段である。姿勢検知手段116は、撮像装置100の撮影姿勢、すなわち横位置撮影または縦位置撮影のいずれであるかを判定するための電子水準器を備えて構成される。
121はCPU(制御装置)である。CPU121は、カメラ本体の種々の制御を司るカメラCPU(カメラ制御部)であり、演算部、ROM、RAM、A/Dコンバータ、D/Aコンバータ、および、通信インターフェイス回路などを有する。CPU121は、ROMに記憶された所定のプログラムに基づいて、カメラ本体の各種回路を駆動し、AF、撮影、画像処理、および、記録などの一連の動作を実行する。また本実施形態において、CPU121は、撮像素子107からの出力信号に基づいて焦点検出を行う焦点検出手段として機能する。
122は通信制御回路である。通信制御回路122は、無線式通信手段115を介して、撮像装置100から撮影画像をサーバ(コンピュータ)に送信し、または、サーバ(コンピュータ)から画像や各種情報を受信する。123は姿勢検知回路である。姿勢検知回路123は、姿勢検知手段116の出力信号に基づいて撮像装置100の姿勢を判定する。124は撮像素子駆動回路である。撮像素子駆動回路124は、撮像素子107の撮像動作を制御するとともに、撮像素子107から出力された像信号をA/D変換してCPU121に送信する。125は画像処理回路である。画像処理回路125は、撮像素子107から得られた像信号に対して、γ変換、カラー補間、および、JPEG圧縮などの画像処理を行う。
126はフォーカス駆動回路である。フォーカス駆動回路126は、焦点検出結果に基づいてフォーカスアクチュエータ114を駆動制御し、第3レンズ群105を光軸方向に進退駆動して焦点調節を行う。128は絞りシャッタ駆動回路である。絞りシャッタ駆動回路128は、絞りシャッタアクチュエータ112を駆動制御して、絞り兼用シャッタ102の開口を制御する。129はズーム駆動回路である。ズーム駆動回路129は、撮影者のズーム操作に応じてズームアクチュエータ111を駆動する。
131はLCDなどの表示器である。表示器131は、カメラ本体の撮影モードに関する情報、撮影前のプレビュー画像と撮影後の確認用画像、焦点検出時の合焦状態表示画像などを表示する。132は操作スイッチ群である。操作スイッチ群132は、電源スイッチ、撮影開始スイッチ、ズーム操作スイッチ、および、撮影モード選択スイッチなどにより構成される。133は着脱可能なフラッシュメモリである。フラッシュメモリ133は、撮影済み画像を記録する。
続いて、図2を参照して、本実施例における撮像素子107の画素配列について説明する。図2は、撮像素子107の画素配列図であり、例えば、本出願人による特開平09−046596号公報に記載されている技術を用いて製造される。
図2は、2次元C−MOSエリアセンサの縦(Y方向)6行と横(X方向)6列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列であり、奇数行(行番号1、3、5)の画素には、左から順に緑(G:Green)および赤(R:Red)のカラーフィルタが交互に設けられている。また、偶数行(行番号2、4、6)の画素には、左から順に青(B:Blue)および緑(G:Green)のカラーフィルタが交互に設けられている。各画素の円はオンチップマイクロレンズを示している。オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ、光電変換部を示している。本実施例の撮像素子107において、全ての画素の光電変換部は2つの領域に分割されている。ただし、その分割パターン(分割画素の大きさや形状)は全画素で一様ではなく、分割パターンが互いに異なる複数の画素群から構成される。以下、これらの画素群(画素)の特徴について説明する。
図2に示されるように、行番号1、2の画素群は、複数の画素211で構成されている。複数の画素211からなる画素群において、各画素内の2つの光電変換部211a、211bの分割位置(光電変換部211a、211bの境界位置)は、画素中心に対して左方向に偏倚している。行番号3、4の画素群は、複数の画素212で構成されている。複数の画素212からなる画素群において、各画素内の光電変換部212a、212bの分割位置(光電変換部212a、212bの境界位置)は、画素中心に一致している。行番号5、6の画素群は、複数の画素213で構成されている。複数の画素213からなる画素群において、各画素内の光電変換部213a、213bの分割位置(光電変換部213a、213bの境界位置)は、画素中心に対して左方向に偏倚している。なお、図2に示される領域の外側には、行番号1〜6と同じ配列の画素群が繰り返し配置されている。
続いて、図3を参照して、撮像素子107の読み出し回路の構成について説明する。図3は、撮像素子107の読み出し回路の構成図である。図3において、151は水平走査回路、153は垂直走査回路である。各画素の境界部には、水平走査ライン152a、152b、および、垂直走査ライン154a、154bが配線されている。光電変換部211a、211b〜213a、213bの出力は、各走査ライン(水平走査ライン、垂直走査ライン)を介して、撮像素子107の外部に読み出される。
本実施例の撮像素子107は、以下の2種類の読み出しモード(第1の読み出しモード、第2の読み出しモード)を有する。第1の読み出しモードは、全画素読み出しモードと称され、高精細静止画を撮像するためのモードである。この場合、全画素の信号が読み出される。一方、第2の読み出しモードは、間引き読み出しモードと称され、動画記録、または撮影準備中のプレビュー画像表示(ライブビュー表示)を行うためのモードである。この場合に必要な画素数は、全画素よりも少ない。このため、撮像素子107の画素群に関しては、X方向およびY方向ともに所定比率で間引かれた一部の画素の信号のみが読み出される。
続いて、図4を参照して、撮影光学系の射出瞳と、撮像素子107の画素(光電変換部)の位置との関係について説明する。図4は、撮影光学系の射出瞳と、撮像素子の光電変換部との位置関係の説明図である。図4(a)は、図2に示した行番号1、2に含まれる画素群のうち、撮像素子の中央部(光軸近傍)と周辺部(画面端部)に位置する2個の画素と撮影光学系との光学的な関係を示している。同様に図4(b)は、図2に示した行番号3、4に含まれる画素群のうち、撮像素子の中央部と周辺部に位置する2個の画素と撮影光学系との光学的な関係を示している。同じく図4(c)は、図2に示した行番号5、6に含まれる画素群のうち、撮像素子の中央部と周辺部に位置する2個の画素と撮影光学系との光学的な関係を示している。
撮像素子107を用いた位相差方式の焦点検出(撮像面位相差方式の焦点検出)を行う場合、撮影光学系の射出瞳面と、撮像素子107の光電変換部とを、光学的に共役関係となるように配置する必要がある。図4において、撮影光学系の射出瞳は、光量調節用の虹彩絞りの配置面と一致するものと見なしている。一方、撮像素子107のオンチップマイクロレンズと光電変換部との間の距離は、撮像素子107のプロセスにより実質的に決定される。このため、オンチップマイクロレンズの光学パワーを適切に設計することにより、撮影光学系の射出瞳面と光電変換部との共役関係が実現される。
また、撮像領域の周辺部、すなわち像高が大きい領域では、撮影光束の主光線が撮像素子107(撮像面)の法線に対して傾いて入射するため、画素の受光効率が低下する。そこで、オンチップマイクロレンズを光軸OAと直交する方向に微小量だけシフトさせることにより、画素の受光条件が撮像領域の中央部と実質的に同一になるように構成する。
図4(a)は、画素211と撮影光学系との共役関係を示す図である。図4(a)において、撮影光学系のレンズ群は省略されている。102aは絞り開放時の開口径を規定する開口板、102bは絞り込み時の開口径を調節するための絞り羽根である。撮影光学系の射出瞳位置は、絞り兼用シャッタ102(絞り手段)の配置位置と一致しているものと見なし、像面からの距離をDとする。
画素211は、最下層より、二分割された光電変換部211a、211b、配線層211e〜211g、カラーフィルタ211h、および、オンチップマイクロレンズ211iの各部材で構成される。中央部の画素に関し、オンチップマイクロレンズ211iの光軸OAは、画素の中心と一致している。一方、周辺部の画素に関し、オンチップマイクロレンズ211iの光軸OAは、画素の中心よりも撮像領域の中心側にシフトしている。このような構成により、光電変換部211a、211bと、撮影光学系の射出瞳は、オンチップマイクロレンズ211iにより共役関係となっている。この共役関係は、像高に依存せずに成立する。図4(a)において、EP1a、EP1bは、撮影光学系の射出瞳面上に投影した光電変換部211a、211bの投影瞳(投影像)である。投影瞳EP1a、EP1bは、撮影光学系(位相差方式の焦点検出系)において一対の光束が通過する瞳領域(分割瞳領域)に相当する。
画素211の光電変換部211a、211bの境界部は、画素中心に対して左方向に偏倚している。このため、投影瞳EP1a、EP1bの境界部は、光軸OAに対して右方向に偏倚している。線分CL1aは光電変換部211aの中心と投影瞳EP1aの中心とを結ぶ線、線分CL1bは光電変換部211bの中心と投影瞳EP1bの中心とを結ぶ線である。線分CL1a、CL1bは、一対の光束(焦点検出用の光束)の主光線に相当する。
図4(b)は、画素212と撮影光学系との共役関係を示す図である。画素212の光電変換部212a、212bは、画素中心に対して対称形状となっている。このため、光電変換部212a、212bに対応するそれぞれの投影瞳EP2a、EP2bは、射出瞳上において左右対称形状(光軸OAに関して対称)となっている。図4(c)は、画素213と撮影光学系との共役関係を示す図である。画素213の光電変換部213a、213bの境界部は、画素中心に対して右方向に偏倚している。このため、光電変換部213a、213bに対応するそれぞれの投影瞳EP3a、EP3bの境界部は、光軸OAに対して左方向に偏倚している。
続いて、図5を参照して、撮影光学系の射出瞳面上に投影された光電変換部の投影像(投影瞳)の形状について説明する。図5は、射出瞳面上における投影瞳の形状の説明図である。
図5(a)は、画素211の光電変換部211a、211bに対応する投影瞳EP1a、EP1bの平面図である。TL(F2.8)は、F値(絞り値)がF2.8の撮影光学系における射出瞳である。TL(F5.6)は、F値をF5.6に絞った場合の射出瞳である。EP1a、EP1bは、画素211の光電変換部211a、211bに対応する投影瞳(投影像)である。図4(a)を参照して説明したように、画素211の光電変換部211a、211bの境界は、画素中心に対して左側に偏倚しているため、投影瞳EP1a、EP1bの境界部は、射出瞳TLの中心に対して右側に偏倚している。
図5(b)は、画素212の光電変換部212a、212bに対応する投影瞳EP2a、EP2bの平面図である。一対の投影瞳EP2a、EP2bの境界部は、撮影光学系の射出瞳TLの中心(射出瞳TLの中心を通る線の位置)と一致している。図5(c)は、画素213の光電変換部213a、213bに対応する投影瞳EP3a、EP3bの平面図である。一対の投影瞳EP3a、EP3bの境界部は、撮影光学系の射出瞳TLの中心に対して左方向に偏倚している。
次に、投影瞳と焦点検出特性との関係について説明する。一対の投影瞳を撮影光学系の射出瞳の範囲内で切り出し、切り出した個々の領域のX軸方向における重心離間量が、位相差方式の焦点検出システムにおける基線長に相当する。ここでは基線長を、撮影光学系の瞳面上での重心離間量(単位:mm)を瞳距離(単位:mm)で除した角度θ(単位:ラジアン)として定義する。そして、焦点検出の際における一対の2像の横ずれ量をu(単位:mm)、そのときのデフォーカス量をDEF(単位:mm)とする。このとき、これらの関係は以下の式(1)のように表わされる。
θ×DEF=u … (1)
すなわち、基線長θが大きいほど、単位デフォーカス量に対する一対2像の横ずれ量uは大きくなる。このため、基線長θが大きいほど、焦点検出分解能が高くなり、高精度な焦点検出が可能となる。
続いて、焦点検出用の一対2像のボケ量について考える。個々の投影瞳を撮影光学系の射出瞳の範囲内で切り出し、切り出された投影瞳のX軸方向における幅が、個々の焦点検出像のボケ幅を規定する。ここでは個々の投影瞳の幅を、撮影光学系の瞳面上での投影瞳の幅(単位:mm)を瞳距離(単位:mm)で除した角度α(単位:ラジアン)として定義する。そして、焦点検出の際の各像のボケ幅をw(単位:mm)、そのときのデフォーカス量をDEF(単位:mm)とする。このとき、これらの関係は、以下の式(2)のように表わされる。
α×DEF=w … (2)
すなわち、投影瞳の幅αが大きいほど、単位デフォーカス量に対する焦点検出用の各像のボケ幅が大きくなる。このため、デフォーカス量が大きい場合、焦点検出像のコントラストが低下し、焦点検出不能になりやすい。
図6は、撮像素子107における各画素群の焦点検出信号の説明図であり、焦点検出の際における画素211〜213の出力波形を、3種類のデフォーカス量について示している。図6において、横軸は焦点検出領域における画素の座標(X座標)であり、この焦点検出領域内にはX軸方向において画素211〜213が各々100個程度含まれると仮定する。縦軸は焦点検出領域内に位置する画素の出力信号(画素出力)をそれぞれ示している。撮影光学系のF値はF2.8、被写体は黒地に2本の白い細線が描かれたものを想定し、左側に位置する細線の輝度は低く、右側に位置する細線は輝度が高い。
図6(a)は、画素211から出力される波形(画素出力)であり、上から順に、デフォーカス量が0mm、4mm、10mmの焦点検出信号の波形を示している。まず、デフォーカス量が0mmの波形について説明する。太線の出力波形AF1aは光電変換部211a(光電変換部群)の出力を、細線の出力波形AF1bは光電変換部211b(光電変換部群)の出力をそれぞれ示している。デフォーカス量が0mmであるため、両波形の相対的な横ずれ量はゼロ、すなわち位相は一致する。また、被写体像は合焦しているため、一対の2像の出力波形にはボケが生じておらず、細線信号のエッジは急峻に切り立っている。一方、撮影光学系の射出瞳で切り出された画素211の投影瞳EP1aに関しては、図5(a)に示されるように、光電変換部211aに対応する投影瞳EP1aよりも光電変換部211bに対応する投影瞳EP1bのほうが大きい。すなわち、光電変換部211aの感度に対して光電変換部211bの感度のほうが高いため、出力波形AF1aよりも出力波形AF1bの方が高出力となる。
デフォーカス量が4mmに増加すると、2像の間には横ずれ量u(像ずれ量)が発生するとともに、2像のボケ量も増加する。この状態ではまだ各波形のコントラストが比較的高いため、所定の位相差検出演算を行うことで2像の横ずれ量を検出することができる。デフォーカス量が10mmになると、2像の横ずれ量uが更に増加するとともに、2像のコントラストは一層低下し、焦点検出が不能となる確率が高くなる。
図6(b)は、画素212から出力される波形(画素出力)であり、太線の出力波形AF2aは光電変換部212a(光電変換部群)の出力を、細線の出力波形AF2bは光電変換部212b(光電変換部群)の出力をそれぞれ示している。図6(b)において、各デフォーカス量(DEF=0、4、10mm)における一対の2像の出力波形の横ずれ量やコントラストの低下状況は、実質的に図6(a)の場合と同様である。一方、撮影光学系の射出瞳で切り出された画素212の投影瞳EP2a、EP2bに関しては、図5(b)に示されるように、投影瞳EP2a、EP2bは互いに左右対称で大きさも等しい。すなわち、光電変換部212a(光電変換部群)と光電変換部212b(光電変換部群)との感度は互いに等しいため、出力波形AF2a、AF2bの出力レベルも互いに等しい。
図6(c)は、画素213から出力される波形(画素出力)であり、太線の出力波形AF3aは光電変換部213a(光電変換部群)の出力を、細線の出力波形AF2bは光電変換部213b(光電変換部群)の出力をそれぞれ示している。図6(c)において、各デフォーカス量(DEF=0、4、10mm)における一対の2像の出力波形の横ずれ量やコントラストの低下状況は、実質的に図6(a)、(b)の場合と同様である。一方、撮影光学系の射出瞳で切り出された画素213の投影瞳EP3a、EP3bに関しては、図5(c)に示されるように、投影瞳EP3bよりも投影瞳EP3aのほうが大きい。すなわち、光電変換部213b(光電変換部群)の感度に対して光電変換部213a(光電変換部群)の感度のほうが高いため、出力波形AF3bよりも出力波形AF3aのほうが高出力となる。
以上のとおり、各光電変換部の出力を結合(合成)することなく独立して焦点検出信号を生成する場合、各画素群(画素211〜213)による焦点検出系における投影瞳の幅が広く、かつ基線長が大きいため、合焦近傍での焦点検出精度に優れる。しかし、大デフォーカス時には、焦点検出ができなくなる可能性がある。
次に、図7乃至図9を参照して、互いに異なる画素群間で光電変換部の合成処理を行ってから焦点検出演算を行う場合について説明する。図7は、光電変換部の出力信号の合成方法の説明図であり、図2に示される撮像素子107の画素配列において、互いに異なる画素群間での光電変換部の出力を合成し、仮想の投影瞳(合成投影瞳)に対応する画素群を生成する場合の概念図を示している。図2には、6行6列の範囲の画素が表記されているが、そのうちの特定列、例えば左端の1列目の6画素を抜き出したものが、図7の左側に表記されている。これらの6画素は、上から順に、緑(G)および青(B)の画素211、緑(G)および青(B)の画素212、および、緑(G)および青(B)の画素213である。
ここでは、各画素群の緑(G)画素、すなわち行番号1、3、5の計3種類のG画素からの出力信号の合成方法について説明する。3種類の緑(G)画素(画素211〜213)は、合計6個の光電変換部211a〜213bを有する。そこで、6個の光電変換部211a〜213bの出力から2個を取り出して以下の式(3)による合成(減算)を行い、図7の中央に示されるような仮想的な4個の光電変換部221s〜224sの出力信号を生成する。
S221s=S212a−S211a … (3)
S222s=S211b−S212b … (4)
S223s=S213a−S212a … (5)
S224s=S212b−S213b … (6)
式(3)〜(6)において、S211a〜S213bは、光電変換部211a〜213bのそれぞれの出力信号を示す。また、S221s〜S224sは、仮想的な光電変換部221s〜224sの出力信号をそれぞれ示す。
続いて、仮想的な4個の光電変換部221s〜224sの出力信号S221s〜S224sから2個の出力信号を取り出し、以下の組み合わせ操作を行う。これにより、図7の右側に示されるような仮想的な3種の画素群(仮想画素群:画素214〜216)が得られる。まず、画素231は、仮想的な光電変換部221s、222sで構成される。画素232は、仮想的な光電変換部221s、224sで構成される。画素233は、仮想的な光電変換部223s、224sで構成される。そして、同様の操作が3列目および5列目の緑(G)画素についても行われ、図7の右側に示されるようなマトリクス状の3種の画素群(画素214〜216)が得られる。また、緑(G)以外の赤(R)および青(B)の画素についても同様の操作が行われるが、ここでの説明は省略する。
図8は、撮影光学系の射出瞳面上に投影された仮想画素群(画素214〜216)の投影瞳の説明図である。図8(a)は、図7に示される仮想的な画素214の光電変換部214a、214bに対応する投影瞳EP4a、EP4bの平面図である。
TL(F2.8)は、F値(絞り値)をF2.8に設定した場合の撮影光学系における射出瞳、TL(F5.6)はF5.6に絞った場合の射出瞳である。EP4a、EP4bは、画素214の光電変換部214a、214bに対応する投影瞳である。図7に示されるように、画素214の光電変換部214a、214bのX方向の寸法は小さく、両者は互いに近接しているとともに、その境界は画素中心に対して左側に偏倚している。このため、これらの光電変換部214a、214bに対応する投影瞳EP4a、EP4bの幅、すなわちX方向の寸法も小さく、一対の2個の投影瞳EP4a、EP4bは互いに近接するとともに、その境界部は射出瞳TLの中心に対して右側に偏倚している。
図8(b)は、仮想的な画素215の光電変換部215a、215bに対応する投影瞳EP5a、EP5bの平面図である。一対の投影瞳EP5a、EP5bの幅は狭いが、投影瞳EP5a、EP5bの間隔すなわち基線長は大きく、各投影瞳の重心は射出瞳TLの中心から等距離に位置する。図8(c)は、仮想的な画素216の光電変換部216a、216bに対応する投影瞳EP6a、EP6bの平面図である。一対の投影瞳EP6a、EP6bの境界部は、射出瞳の中心に対して左方向に偏倚している。
図9は、各仮想画素群の焦点検出信号の説明図であり、焦点検出の際における画素群(画素214〜216)の出力波形を、3種類のデフォーカス量について示している。図9において、横軸は画素の座標(X座標)、縦軸は画素の出力信号(画素出力)をそれぞれ示している。撮影光学系のF値はF2.8、被写体は黒地に2本の白い細線が描かれたものを想定し、左側に位置する細線の輝度は低く、右側に位置する細線は輝度が高い。
図9(a)は、複数の画素214から出力される波形(画素出力)であり、上から順に、デフォーカス量が0mm、4mm、10mmの焦点検出信号の波形を示している。まず、デフォーカス量が0mmの波形について説明する。太線の出力波形AF4aは仮想的な光電変換部214a(光電変換部群)の出力を、細線の出力波形AF4bは仮想的な光電変換部214b(光電変換部群)の出力をそれぞれ示している。デフォーカス量が0mmであるため、両波形の相対的な横ずれ量はゼロであり、一対の投影瞳EP4a、EP4bの面積も同一であるため、出力波形AF4a、AF4bの位相および強度は互いに一致している。
デフォーカス量が4mmに増加すると、2像には横ずれ量uが発生するとともに、2像のボケ量も増加する。しかし、図6(a)に示される同一条件での波形に比べて、画素214に関しては投影瞳EP4a、EP4bの幅が細く、かつ基線長も短い。このため、2像のボケ状況は軽微であり、横ずれ量uも小さい。デフォーカス量が10mmになると、2像の横ずれ量uが更に増加するとともに、2像のコントラストも低下する。しかし、2本の細線に対応する2つのピークは十分に残っているため、焦点検出が不能となることはない。
図9(b)は、複数の画素215から出力される波形(画素出力)であり、太線の出力波形AF5aは仮想的な光電変換部215a(光電変換部群)の出力を、細線の出力波形AF5bは仮想的な光電変換部215b(光電変換部群)の出力をそれぞれ示している。図9(c)は、複数の画素216から出力される波形(画素出力)であり、太線の出力波形AF6aは仮想的な光電変換部216a(光電変換部群)の出力を、細線の出力波形AF6bは仮想的な光電変換部216b(光電変換部群)の出力をそれぞれ示している。
ここで、図8(a)〜(c)および図9(a)〜(c)を参照して、投影瞳の性質および焦点検出特性について説明する。図8(a)〜(c)に示されるように、仮想画素群(仮想的な画素214〜216)の各投影瞳の幅は略等しい。一方、各仮想画素群の投影瞳の基線長は、画素214、216において小さく、画素215においては大きい。図9(a)〜(c)の波形を比較すると、各デフォーカス量における一対の2像の出力波形のコントラストの低下状況は、図9(a)〜(c)のいずれの場合においても実質的に同一である。しかし、相対的な横ずれ量uは、図9(a)および図9(c)の場合において小さく、図9(b)において大きい。すなわち、画素214、216を用いた焦点検出特性は、所定のデフォーカス量に対する一対の2像の横ずれ量uが小さいため、焦点検出分解能は低いが、より大きなデフォーカス量まで焦点検出が可能である。一方、画素215を用いた焦点検出特性は、所定のデフォーカス量に対する一対の2像の横ずれ量uが大きいため、合焦点近傍での焦点検出分解能は高いが、大デフォーカス時には焦点検出ができなくなる可能性がある。従って、デフォーカス量の大小に応じて最適な画素群を用いることにより、デフォーカス量が大きい場合も焦点検出が可能となり、合焦点近傍では高精度な焦点検出を達成することができる。
表1は、各画素群における焦点検出特性の比較表である。表1において、画素群1〜6は、画素211〜216にそれぞれ対応している。デフォーカス量が大きい場合、焦点検出像のボケや横ずれ量が少ない、仮想的な画素群4〜6が好適に用いられる。一方、合焦近傍では、基線長が長く感度も高い画素群1〜3が好適に用いられる。
次に、図10乃至図12を参照して、本実施例における撮像装置100の焦点検出処理を含む撮影処理(撮像装置の制御方法)について説明する。図10は、本実施例における撮影処理を示すフローチャート(メイン制御フロー)である。図10の各ステップは、主に、撮像装置100のCPU121の指令に基づいて撮像装置100の各部により実行される。
まずステップS101において、撮影者が撮像装置100の電源スイッチをオン操作すると、ステップS102に進む。ステップS102において、CPU121は、撮像装置100の各アクチュエータや撮像素子107の動作確認を行い、メモリ内容や実行プログラムの初期化を行うとともに、撮影準備動作を実行する(初期状態確認)。続いてステップS103において、CPU121は、撮影条件の設定受付けを行う。具体的には、CPU121は、撮影者による露出調節モード、焦点調節モード、画質(記録画素数や圧縮率)、ホワイトバランスモードなどの設定を受け付ける。そしてステップS104において、CPU121は、絞り値(F値)を指定値に制御する。ここで指定値とは、絞り優先AEでは撮影者が選択した絞り値、シャッタ優先AEやプログラムAEでは予め設定された露出制御プログラムに基づく絞り値である。
続いてステップS105において、CPU121は、レンズ状態、すなわち撮影光学系のズーム状態、フォーカスレンズ状態、および、絞り状態を検出し、射出瞳の大きさや射出瞳距離などの情報を記憶手段から読み出す。記憶手段は、例えばCPU121の内部メモリ(ROM)である。そしてステップS106において、CPU121は、撮像素子駆動回路124を用いて撮像素子107の撮像動作を開始し、撮像素子107から出力された画素信号を読み出す。本実施例では、撮像素子107の各画素の光電変換部は、互いに独立した2つの領域から構成されている。このためCPU121は、各光電変換部から出力された画素信号を独立に読み出す。そしてステップS107において、CPU121は、読み出した画素信号から表示用プレビュー画像を生成し、この画像を撮像装置100の背面(カメラ背面)に設けられた表示器131に表示する。このときCPU121は、各画素の一対の2個の光電変換部の出力信号を加算して撮像信号に変換し、更に表示器131の画素数に応じて画像の縮小を行う。
続いてステップS131において、CPU121は、焦点検出処理(フォーカス制御)を行い、第3レンズ群105(フォーカスレンズ)の駆動量(レンズ駆動量)を算出する。焦点検出処理の詳細については後述する。そしてステップS151において、CPU121は、ステップS131にて算出されたレンズ駆動量が所定値以下であるか否かを判定する。レンズ駆動量が所定値以下の場合、CPU121は合焦状態であると判定し、ステップS153に進む。一方、レンズ駆動量が所定値よりも大きい場合、CPU121は合焦状態でないと判定し、ステップS152に進む。ステップS152において、CPU121は、フォーカス駆動回路126およびフォーカスアクチュエータ114を用いてフォーカスレンズ(第3レンズ群105)を駆動し、ステップS153に進む。
ステップS153において、CPU121は、撮影者により撮影スイッチがオン操作されたか否かを判定する。撮影スイッチがオン操作されていない場合、ステップS155に進む。一方、撮影スイッチがオン操作された場合、ステップS154において、CPU121は撮影画像をフラッシュメモリ133などに記録し、ステップS155に進む。ステップS155において、CPU121は、メインスイッチの状態を判定する。メインスイッチがオフされていない場合、すなわちオン状態が維持されている場合、ステップS102に戻り、ステップS102〜S154を繰り返す。一方、ステップS155にてメインスイッチがオフされている場合、ステップS156に進み、撮影を終了する。
続いて、図11を参照して、本実施例における焦点検出処理(図10のステップS131)について詳述する。図11は、焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図11の各ステップは、主に、CPU121の指令に基づいて実行される。
図10(メインルーチン)のステップS131に進むと、まず図11のステップS132において、CPU121は、プレビュー画像から被写体パターンを認識し、顔画像の判定や、撮影画面全体のコントラスト分析などを行う。そしてステップS133において、CPU121は、ステップS132にて行われた被写体パターン認識の結果に基づいて、焦点を合わせるべき主被写体(主被写体領域)を決定する。
続いてステップS134において、CPU121は、図10のステップS105にて取得したレンズ情報に基づいて、撮影光学系の射出瞳情報を算出する(射出瞳計算)。続いてステップS135において、CPU121は、ステップS133にて決定された主被写体領域において、図2に示される画素211〜213の各光電変換部の信号を抽出し、図6に示される一対の2像の焦点検出信号を所定の行数分だけ生成する。そしてステップS136において、CPU121は、図7を参照して説明した手順で、各光電変換部の出力信号を合成(減算)し、仮想的な画素214〜216(仮想画素群)に対応する信号(画素信号)を算出する。CPU121は、図9に示される一対の2像の焦点検出信号を所定の行数分だけ生成する。
続いてステップS137において、CPU121は、ステップS135、S136にて生成された各焦点検出信号に対して、ステップS134にて計算した射出瞳情報を用いて、各信号の光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、一対の2像間の強度差が軽減され、焦点検出精度が向上する。続いてステップS138において、CPU121は、シェーディング補正が施された各焦点検出信号の全てに対して、横ずれ量uを算出するための相関演算を行う。そしてステップS139において、CPU121は、ステップS138にて算出された横ずれ量uに対して、投影瞳の基線長に応じた比例定数を乗じてデフォーカス量を算出する。
続いてステップS141において、CPU121は、ステップS139にて算出された6種のデフォーカス量のうち、基線長が小さい画素214におけるデフォーカス量Defと、2種類の閾値DEF1、DEF2(DEF1<DEF2)とを比較する。例えば閾値DEF1(第1のデフォーカス量)として4mm、閾値DEF2(第2のデフォーカス量)として10mmがそれぞれ設定されている。そして、検出したデフォーカス量Defが閾値DEF2よりも大きい場合、ステップS142に移行し、CPU121は、画素214、216の焦点検出信号に基づいて検出されたデフォーカス量を採用する。一方、検出したデフォーカス量Defが閾値DEF2以下であって、かつ、閾値DEF1よりも大きい場合、ステップS143に移行し、CPU121は、画素215の焦点検出信号に基づいて検出されたデフォーカス量を採用する。また、検出したデフォーカス量Defが閾値DEF1以下の場合、ステップS144に移行し、CPU121は、画素211〜213の焦点検出信号に基づいて検出されたデフォーカス量を採用する。なお、ステップS142、S144では、複数の焦点検出結果(複数の焦点検出信号)が採用されるため、CPU121は、複数の焦点検出結果を平均化するなどして最終的なデフォーカス量を算出する。続いてステップS145において、CPU121は、決定されたデフォーカス量をフォーカスレンズの駆動量(レンズ駆動量)に変換する。そしてステップS146において、図10のメインルーチンにリターンする。
本実施例によれば、各画素の光電変換部の分割数を増加させることなく、種々の焦点状態に適した焦点検出特性を得ることができる。具体的には、全ての画素の光電変換部の分割数を2に設定されているため、撮像素子107の構造の複雑化が回避される。また、デフォーカス量が小さい場合、実在する画素群の光電変換部の出力を合成せずに用いるため、位相差検出のための基線長が長く、合焦精度が高く保たれる。一方、デフォーカス量が大きい場合、実在する異なる画素群間で光電変換部の出力を合成して仮想画素群を生成して焦点検出を行う。この場合、投影瞳の幅が狭く、基線長が短い仮想的な投影瞳対が生成されるため、焦点検出不能となる確率が減り、デフォーカス検出範囲を広げることができる。すなわち、デフォーカスが大きい場合にはデフォーカス量とデフォーカス方向を間違うことなく検出可能であり、合焦点近傍まで素早くフォーカスレンズを駆動することができる。一方、デフォーカス量が小さい合焦近傍では、焦点検出精度を高くすることができるため、焦点状態がどのような場合でも高速かつ高精度にピントの合った高精細画像を得ることが可能となる。
続いて、図12を参照して、本実施例の変形例としての焦点検出処理(図10のステップS131)について詳述する。図12は、変形例としての焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図11の各ステップは、主に、CPU121の指令に基づいて実行される。なお、図12のステップS132〜S139は、図11の対応するステップとそれぞれ共通するため、それらの説明は省略する。
図12のステップS139にてCPU121がデフォーカス量を算出すると、ステップS161に進む。ステップS161において、CPU121は、ステップS138にて行われた相関演算に関し、相関信頼性を判定する。ここで相関信頼性とは、一対の2像の信号(焦点検出信号)の一致度であり、信号の一致度が高いということは焦点検出結果の信頼性や精度が高いことを意味する。
続いてステップS162において、CPU121は、ステップS139にて算出された6種のデフォーカス量から、相関信頼性の高いデフォーカス量(焦点検出結果)を選択する。ここで、選択すべきデフォーカス量の個数は1個でも複数でも構わない。複数のデフォーカス量を選択する場合、CPU121は、選択した複数のデフォーカス量の平均値などを用いればよい。そしてステップS163において、CPU121は、決定されたデフォーカス量をフォーカスレンズの駆動量(レンズ駆動量)に変換し、ステップS164において図10のメインルーチンにリターンする。
以上の変形例によれば、算出された複数の焦点検出結果から信頼性の高い焦点検出結果を選択する。このため、デフォーカス量の大小にかかわらず、最適な結果を選択することができ、高速かつ高精度な焦点調節が可能となる。
このように本実施例において、撮像素子107は、第1のパターンで分割された第1の画素(画素211〜213の一つ)を有する第1の画素群を含む。また撮像素子107は、第1のパターンとは異なる第2のパターンで分割された第2の画素(画素211〜213の他の一つ)を有する第2の画素群を含む。焦点検出手段(CPU121)は、第1の画素の出力信号および第2の画素の出力信号に基づいて焦点検出を行う。
好ましくは、焦点検出手段は、第1の画素の出力信号と第2の画素の出力信号とを合成して(加算、減算、または、組み合わせにより)焦点検出信号を生成し、焦点検出信号に基づいてフォーカス制御を行う。より好ましくは、焦点検出手段は、所定の条件に応じて、第1の画素信号または第2の画素信号の一方に基づいて、フォーカス制御を行う。第1の画素信号は、第1の画素の出力信号または第2の画素の出力信号から独立して得られた画素信号(光電変換部211a〜213bからの信号)である。第2の画素信号は、第1の画素の出力信号と第2の画素の出力信号とを合成した画素信号(光電変換部214a〜216bからの信号)である。
好ましくは、焦点検出手段は、算出されたデフォーカス量Defが所定のデフォーカス量以下である場合、第1の画素信号に基づいてフォーカス制御を行う。また焦点検出手段は、算出されたデフォーカス量Defが所定のデフォーカス量よりも大きい場合、第2の画素信号に基づいてフォーカス制御を行う。すなわち、焦点ずれ状態に応じてフォーカス制御に用いる画素信号(焦点検出信号)を変更する。
また好ましくは、焦点検出手段は、第1の画素信号の相関信頼性と第2の画素信号の相関信頼性との比較結果に応じて、第1の画素信号または第2の画素信号の一方に基づいてフォーカス制御を行う。ここで、第1の画素信号および第2の画素信号はそれぞれ一対の像信号であり、相関信頼性は一対の像信号の一致度である。
好ましくは、第1の画素信号は、撮影光学系の第1の瞳領域(投影瞳EP1a〜EP3bの少なくとも一つ)を通過する光束に基づく信号である。第2の画素信号は、撮影光学系の第2の瞳領域(投影瞳EP4a〜EP6bの少なくとも一つ)を通過する光束に基づく信号である。より好ましくは、第1の瞳領域は、瞳分割方向(一対の投影瞳の分割方向である図5中の左右方向)において、第2の瞳領域よりも長い。また好ましくは、第1の瞳領域の基線長は、第2の瞳領域の基線長よりも大きい。
好ましくは、撮像素子107は、更に、第3のパターンで分割された第3の画素(画素211〜213のうち残りの一つ)を有する第3の画素群を含む。第1の画素(例えば画素211)は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第1の光電変換部(光電変換部211a)および第2の光電変換部(光電変換部211b)を有する。第2の画素(例えば画素212)は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第3の光電変換部(光電変換部212a)および第4の光電変換部(光電変換部212b)を有する。第3の画素(例えば画素213)は、撮影光学系の互いに異なる瞳領域を通過する光束をそれぞれ受光する第5の光電変換部(光電変換部213a)および第6の光電変換部(光電変換部213b)を有する。
好ましくは、焦点検出手段は、第1の光電変換部および第2の光電変換部の出力信号から第1の焦点検出信号を生成する。また、第3の光電変換部および第4の光電変換部の出力信号から第2の焦点検出信号を生成する。また、第5の光電変換部および第6の光電変換部の出力信号から第3の焦点検出信号を生成する。また、第3の光電変換部と第1の光電変換部の出力信号との差分である第1の差分信号(S221s)、および、第2の光電変換部と第4の光電変換部の出力信号との差分である第2の差分信号(S222s)を組み合わせて第4の焦点検出信号を生成する。また、第1の差分信号、および、第4の光電変換部と第6の光電変換部の出力信号との差分である第3の差分信号(S224s)を組み合わせて第5の焦点検出信号を生成する。また、第3の差分信号、および、第5の光電変換部と第3の光電変換部の出力信号との差分である第4の差分信号(S223s)を組み合わせて第6の焦点検出信号を生成する。
好ましくは、焦点検出手段は、算出されたデフォーカス量が第1のデフォーカス量以下(DEF1≧Def)である場合、第1の焦点検出信号、第2の焦点検出信号、および、第3の焦点検出信号の少なくとも一つに基づいてフォーカス制御を行う。デフォーカス量が第1のデフォーカス量よりも大きく、かつ、第2のデフォーカス量以下である場合(DEF2≧Def>DEF1)、第5の焦点検出信号に基づいてフォーカス制御を行う。デフォーカス量が第2のデフォーカス量よりも大きい場合(Def>DEF2)、第4の焦点検出信号および第6の焦点検出信号の少なくとも一つに基づいてフォーカス制御を行う。
好ましくは、焦点検出手段は、第1の焦点検出信号、第2の焦点検出信号、第3の焦点検出信号、第4の焦点検出信号、第5の焦点検出信号、および、第6の焦点検出信号のそれぞれの相関信頼性に応じて選択された焦点検出信号に基づいて、フォーカス制御を行う。
次に、本発明の実施例2について説明する。実施例1は、所定の基線長を備えた画素群(画素211〜213)の信号に基づいて、基線長が互いに異なる仮想画素群(画素214〜216)の信号を生成し、デフォーカス量に応じてこれらの信号を選択している。一方、本実施例は、互いに異なる瞳分割特性を備えた画素群の信号に基づいて、瞳分割方向が互いに異なる仮想的画素群の信号を生成し、被写体の任意方向における明暗パターンに対して焦点検出を行う。
まず、図13を参照して、本実施例における撮像素子の画素構成について説明する。図13は、本実施例における撮像素子の画素配列図であり、実施例1と同様に、2次元C−MOSエリアセンサの縦(Y方向)6行と横(X方向)6列の範囲を、撮影光学系側から観察した状態を示している。カラーフィルタはベイヤー配列が適用され、奇数行の画素には、左から順に緑(G:Green)と赤(R:Red)のカラーフィルタが交互に設けられている。また、偶数行の画素には、左から順に青(B:Blue)と緑(G:Green)のカラーフィルタが交互に設けられている。各画素の円はオンチップマイクロレンズ、オンチップマイクロレンズの内側に配置された複数の矩形はそれぞれ光電変換部を示している。本実施例においても、全ての画素の光電変換部は2つの領域に分割されているが、その分割形態は全画素で一様ではなく、分割形態の異なる複数の画素群から構成される。以下、本実施例の画素群の特徴について説明する。
図13において、行番号1、2は複数の画素311からなる画素群で構成され、各画素内の一方の光電変換部311aは、正方領域内の左上4分の1の領域を占め、他方の光電変換部311bは残り4分の3の領域を占める。行番号3、4は複数の画素312からなる画素群で構成され、各画素内の光電変換部312a、312bはX方向に2等分されている。行番号5、6は複数の画素313からなる画素群で構成され、各画素内の一方の光電変換部313bは、正方領域内の右上4分の1の領域を占め、他方の光電変換部313aは残り4分の3の領域を占める。なお、図13に示される領域の外側には、行番号1〜6と同じ配列の画素が繰り返し配置されている。
光電変換部の分割形態と位相差検出における投影瞳との対応は、実施例1の図2、図4、および、図5を参照して説明したとおりであるため、詳細な説明は省略するが、図13における投影瞳の特性は、以下のようになる。画素311の瞳分割方向は、X軸を時計回りに45度回転した方向(−45度)であるため、この方向に明暗パターンを有する被写体に好適である。また、一対の光電変換部の面積は1対3であるため、一対の焦点検出信号に対しては、この比に応じたゲイン補正を施す。画素312の瞳分割方向は、X軸に沿った方向(0度)であるため、この方向に明暗パターンを有する被写体に好適である。また、一対の光電変換部の面積は互いに等しいため、ゲイン補正は不要である。画素313の瞳分割方向は、X軸を反時計回りに45度回転した方向(+45度)であるため、この方向に明暗パターンを有する被写体に好適である。また、一対の光電変換部の面積は3対1であるため、一対の焦点検出信号に対しては、この比に応じたゲイン補正を施す。
続いて、図14を参照して、本実施例における光電変換部の出力信号の合成方法について説明する。図14は、光電変換部の出力信号の合成方法の説明図であり、図13の撮像素子の画素配列において、互いに異なる画素群間での光電変換部の出力信号を合成(減算)し、仮想の投影瞳に対応する画素群を生成する場合の概念図である。図13には、6行6列の範囲の画素が表記されているが、そのうちの特定列、例えば左端の1列目の6画素を抜き出したものが、図14の左側に表記されている。これらの6画素は、上から順に、緑(G)および青(B)の画素311、緑(G)および青(B)の画素312、緑(G)および青(B)の画素313である。そして図14では、各画素群の緑(G)画素、すなわち行番号1、3、5の計3種類の画素に基づく出力信号の合成方法を説明している。
3種類の緑(G)画素(画素311〜313)は、合計6個の光電変換部311a、311b、312a、312b、313a、313bを有する。本実施例では、これらの6個の光電変換部311a〜313bの出力信号から2個の出力信号を取り出して以下の式(7)〜(10)による合成(減算)を行う。そして、その右側に示されるような4個の仮想的な光電変換部321s〜324sの出力信号S321s〜S324sを得る。
S321s=S311a … (7)
S322s=S311b−S312b … (8)
S323s=S313a−S312a … (9)
S324s=S313b … (10)
ここで、S311a、S311b、S312a、S312b、S313a、S313bは、光電変換部311a、311b、312a、312b、313a、313bのそれぞれの出力信号である。S321s、S322s、S323s、S324sは、仮想的な光電変換部321s、322s、323s、324sのそれぞれの出力信号である。すなわち、仮想的な4個の光電変換部321s〜324sは、瞳分割機能を有しない画素の光電変換部をX方向およびY方向に2分割した合計4個の光電変換部の出力信号に相当する。
本実施例では、4個の光電変換部321s〜324sの出力信号から2個の出力信号を取り出し、以下の組み合わせ操作を行うことで、図14の右側に示されるような仮想的な画素314、315(仮想画素群)を得る。まず、仮想的な光電変換部321s、322sの出力信号の加算値を314a、仮想的な光電変換部323s、324sの出力信号の加算値を314bとすることで、仮想的な画素314(仮想画素群)を得る。画素314の投影瞳は、X方向(横方向)に分割されている。同様に、仮想的な光電変換部321s、323sの出力信号の加算値を315a、仮想的な光電変換部322s、324sの出力信号の加算値を315bとし、仮想的な画素315(仮想画素群)を得る。画素314の投影瞳は、Y方向(縦方向)に分割されている。そして、他の緑(G)画素、赤(R)、および、青(B)の画素についても同様の操作が行われ、2次元マトリクス状に配列した仮想的な画素314、315を得ることができる。なお、仮想的に生成した全ての画素を記載すると図が煩雑になるため、図14の右側には、画素314については1行分のみ、画素315については1列分のみを記載している。
続いて、図15を参照して、焦点検出対象の被写体像と選択画素群との関係について説明する。図15は、焦点検出対象の被写体像と選択画素群(焦点検出領域)との関係図であり、焦点検出対象としての4種類の被写体像と、各被写体像において選択される画素群(焦点検出領域)との関係を説明する図である。図15において、401は撮像領域、411〜414は4種類の被写体像、421〜424は4種類の焦点検出領域である。角度は、X軸を基準として反時計方向を正、時計方向を負とする。
411は、白と黒の縦線が交互に並んだ被写体像、すなわちX軸方向に明暗差を有する被写体像である。このような被写体像411に対して位相差方式の焦点検出を行う場合、X方向に瞳分割された画素を用いる必要がある。そこで、図13の画素312および図14の画素314を用いて焦点検出を行う。具体的には、被写体像411の位置にX方向に延伸した焦点検出領域421を設定し、焦点検出領域421内に含まれる画素312および仮想的な画素314を用いて、焦点検出を行う。なお、画素312、画素314は、投影瞳の基線長などの焦点検出特性が互いに異なる。このため、画素群ごとに独立して焦点検出演算を行い、算出された複数の結果に対して単純平均、または、結果の信頼性に基づいた重み付け平均などの処理を行い、最終的には1つのデフォーカス量として出力することが好ましい。
412は、+45度方向に延伸する白と黒の縦線が交互に並んだ被写体像、すなわち−45度方向に明暗差を有する被写体像である。この場合、−45度方向に瞳分割された画素を用いる必要があるため、図13の画素311を用いて焦点検出を行う。具体的には、被写体像412の位置に−45度方向に延伸した焦点検出領域422を設定し、焦点検出領域422内に含まれる画素311を用いて焦点検出を行う。
413は、−45度方向に延伸する白と黒の縦線が交互に並んだ被写体像、すなわち+45度方向に明暗差を有する被写体像である。この場合、+45度方向に瞳分割された画素を用いる必要があるため、図13の画素313を用いて焦点検出を行う。具体的には、被写体像413の位置に+45度方向に延伸した焦点検出領域423を設定し、焦点検出領域423内に含まれる画素313を用いて焦点検出を行う。
414は、白と黒の横線が交互に並んだ被写体像、すなわちY軸方向に明暗差を有する被写体像である。このような被写体像414に対して位相差方式の焦点検出を行う場合、Y方向に瞳分割された画素を用いる必要がある。そこで、図14の仮想的な画素315を用いて焦点検出を行う。具体的には、被写体像414の位置にY方向に延伸した焦点検出領域424を設定し、焦点検出領域424内に含まれる仮想的な画素315を用いて焦点検出を行う。
次に、図16を参照して、本実施例における焦点検出処理(図10のステップS131)について詳述する。図16は、焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図16の各ステップは、主に、CPU121の指令に基づいて実行される。なお、メインフローは実施例1の図10と同一であるため、その説明は省略する。
図10(メインルーチン)のステップS131に進むと、まず図16のステップS232において、CPU121は、プレビュー画像から被写体パターンを認識し、顔画像の判定や、撮影画面全体のコントラスト分析などを行う。そしてステップS233において、CPU121は、ステップS232での被写体パターン認識の結果に基づいて、焦点を合わせるべき主被写体(主被写体領域)を決定する。
続いてステップS234において、CPU121は、主被写体領域の明暗情報の方向依存性(被写体パターンの方向性)を判定する。すなわちCPU121は、焦点検出すべき被写体像が、図15を参照して説明した被写体像411〜414のいずれに類似しているかを判定する。そしてステップS235において、CPU121は、図10のステップS105にて取得したレンズ情報に基づいて、撮影光学系の射出瞳情報を算出する(射出瞳計算)。
続いてステップS236において、CPU121は、ステップS233にて決定された主被写体領域、および、ステップS234の判定結果に基づいて、適合画素群を選定し、焦点検出信号を生成する。具体的には、CPU121は、画素311〜315から、焦点検出に適合した(焦点検出により適切な)画素群を選定する。そしてCPU121は、選定された画素群の出力信号から、一対の2像の焦点検出信号を所定の行数分だけ生成する。
続いてステップS237において、CPU121は、ステップS235にて算出された射出瞳情報を用いて、ステップS236にて生成された各焦点検出信号の光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、一対の2像間の強度差が軽減され、焦点検出精度が向上する。続いてステップS238において、CPU121は、シェーディング補正が施された焦点検出信号に対して、横ずれ量uを算出するための相関演算を行う。そしてステップS239において、CPU121は、ステップS238にて算出された横ずれ量uに対して、投影瞳の基線長に応じた比例定数を乗じてデフォーカス量を算出する。そしてステップS240において、ステップS239にて算出されたデフォーカス量をフォーカスレンズ駆動量に変換し、ステップS241にてメインルーチンにリターンする。
本実施例によれば、各画素の光電変換部の分割数を増加させることなく、種々の被写体パターンに対して適した焦点検出特性を得ることができる。具体的には、全ての画素の光電変換部の分割数を2に設定しているため、撮像素子の構造が複雑化することが回避される。そして、被写体像の明暗パターン方向が実在する画素群の瞳分割方向と一致する場合、画素群の出力を合成せずに焦点検出を行う。また、被写体像の明暗パターン方向が実在する画素群の瞳分割方向と一致しない場合、瞳分割形態の異なる複数の画素群間で光電変換部の出力を合成し、実在する画素群の瞳分割方向とは異なる方向に瞳分割された仮想的な投影瞳を生成する。これにより、任意の明暗パターンに対して焦点検出が可能になる。
続いて、図17を参照して、本実施例の変形例としての焦点検出処理(図10のステップS131)について詳述する。図17は、変形例としての焦点検出処理(焦点検出サブルーチン)を示すフローチャートである。図17の各ステップは、主に、CPU121の指令に基づいて実行される。なお、図17のステップS232、S233、S235は、図16の対応するステップとそれぞれ共通するため、それらの説明は省略する。
ステップS233にて主被写体(主被写体領域)が決定されると、ステップS235において、CPU121は、図10のステップS105にて取得したレンズ情報に基づいて、撮影光学系の射出瞳情報を算出する(射出瞳計算)。
続いてステップS251において、CPU121は、ステップS233にて決定された主被写体領域において、画素311〜313における一対の2像の焦点検出信号を生成する。そしてステップS252において、CPU121は、主被写体領域において、仮想的な画素314、315(仮想画素群)における一対の2像の焦点検出信号を生成する。
続いてステップS253において、CPU121は、ステップS235にて算出された射出瞳情報を用いて、生成された各焦点検出信号の各々の光量アンバランスを軽減する、いわゆるシェーディング補正を施す。これにより、一対の2像間の強度差が軽減され、焦点検出精度が向上する。そしてステップS254において、CPU121は、シェーディング補正が施された各焦点検出信号の全てに対して、横ずれ量uを算出するための相関演算を行う。そしてステップS255において、CPU121は、算出された横ずれ量uに対して、投影瞳の基線長に応じた比例定数を乗じてデフォーカス量を算出する。
続いてステップS256において、CPU121は、ステップS254にて実行された相関演算に関し、相関信頼性を判定する。ここで相関信頼性とは、一対の2像の信号の一致度であり、一致度が高いということは焦点検出結果の信頼性や精度が高いことを意味する。続いてステップS257において、CPU121は、ステップS255にて算出された5種のデフォーカス量の算出結果から、相関信頼性の高い結果(デフォーカス量)を選択する。ここで、選択する個数は1個でも複数でも構わない。複数の場合、それらを平均化した値を用いればよい。そしてステップS258において、CPU121は、決定されたデフォーカス量をフォーカスレンズ駆動量に変換し、ステップS259においてメインルーチンにリターンする。
以上の変形例によれば、算出された複数の焦点検出結果から信頼性の高い結果を選択することにより、被写体像の明暗パターンの方向特性に応じた適切な結果を選択することができる。このため、高速かつ高精度な焦点調節が可能となる。
このように本実施例において、撮像素子107は、第1のパターンで分割された第1の画素(画素311〜313の一つ)を有する第1の画素群を含む。また撮像素子107は、第1のパターンとは異なる第2のパターンで分割された第2の画素(画素311〜313の他の一つ)を有する第2の画素群を含む。焦点検出手段(CPU121)は、第1の画素の出力信号および第2の画素の出力信号に基づいて焦点検出を行う。好ましくは、焦点検出手段は、被写体像の明暗分布情報(明暗パターン)に応じて、第1の画素信号または第2の画素信号の一方に基づいてフォーカス制御を行う。また好ましくは、第1の瞳領域および第2の瞳領域の瞳分割方向は互いに異なる。
[その他の実施形態]
本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウエア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムを読み出して実行する処理である。この場合、撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラムおよびそのプログラムを記憶した記憶媒体は本発明を構成する。
各実施例によれば、高画素数、高画質、高感度、高速読み出しなどの撮像性能を犠牲にすることなく、大デフォーカス状態や特定方向のみに明暗パターンが存在するような状況でも焦点検出可能であって、合焦近傍での焦点検出精度が高い撮像装置を提供可能である。このため各実施例によれば、所望の撮像性能を満たしつつ、種々の状況において高精度な焦点検出が可能な撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体を提供することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。