以下、実施形態を図面に基づいて説明する。
《第1実施形態》
図1は、実施形態に係るデジタルカメラ1を示す要部構成図である。本実施形態のデジタルカメラ1(以下、単にカメラ1という。)は、カメラ本体2とレンズ鏡筒3から構成され、これらカメラ本体2とレンズ鏡筒3はマウント部4により着脱可能に結合されている。
レンズ鏡筒3は、カメラ本体2に着脱可能な交換レンズである。図1に示すように、レンズ鏡筒3には、レンズ31,32,33、および絞り34を含む撮影光学系が内蔵されている。
レンズ32は、フォーカスレンズであり、光軸L1方向に移動することで、撮影光学系の焦点状態を調節可能となっている。フォーカスレンズ32は、レンズ鏡筒3の光軸L1に沿って移動可能に設けられ、エンコーダ35によってその位置が検出されつつフォーカスレンズ駆動モータ36によってその位置が調節される。
絞り34は、上記撮影光学系を通過して撮像素子22に至る光束の光量を制限するとともにボケ量を調整するために、光軸L1を中心にした開口径が調節可能に構成されている。絞り34による開口径の調節は、たとえば自動露出モードにおいて演算された適切な開口径が、カメラ制御部21からレンズ制御部37を介して送出されることにより行われる。また、カメラ本体2に設けられた操作部28によるマニュアル操作により、設定された開口径がカメラ制御部21からレンズ制御部37に入力される。絞り34の開口径は図示しない絞り開口センサにより検出され、レンズ制御部37で現在の開口径が認識される。
レンズ制御部37は、カメラ制御部21からの指令に基づいて、フォーカスレンズ32の駆動、絞り34による開口径の調節などレンズ鏡筒3全体の制御を実行する。
一方、カメラ本体2には、上記撮影光学系からの光束を受光する撮像素子22が、撮影光学系の予定焦点面に設けられ、その前面にシャッター23が設けられている。撮像素子22はCCDやCMOSなどのデバイスから構成され、受光した光信号を電気信号に変換してカメラ制御部21に送出する。カメラ制御部21に送出された撮影画像情報は、逐次、液晶駆動回路25に送出されて観察光学系の電子ビューファインダ(EVF)26に表示されるとともに、操作部28に備えられたレリーズボタン(不図示)が全押しされた場合には、その撮影画像情報が、記録媒体であるメモリ24に記録される。なお、メモリ24は着脱可能なカード型メモリや内蔵型メモリの何れをも用いることができる。また、撮像素子22の構造の詳細は後述する。
カメラ本体2には、撮像素子22で撮像される像を観察するための観察光学系が設けられている。本実施形態の観察光学系は、液晶表示素子からなる電子ビューファインダ(EVF)26と、これを駆動する液晶駆動回路25と、接眼レンズ27とを備えている。液晶駆動回路25は、撮像素子22で撮像され、カメラ制御部21へ送出された撮影画像情報を読み込み、これに基づいて電子ビューファインダ26を駆動する。これにより、ユーザは、接眼レンズ27を通して現在の撮影画像を観察することができる。なお、光軸L2による上記観察光学系に代えて、または、これに加えて、液晶ディスプレイをカメラ本体2の背面等に設け、この液晶ディスプレイに撮影画像を表示させることもできる。
カメラ本体2にはカメラ制御部21が設けられている。カメラ制御部21は、各種レンズ情報を受信するとともに、レンズ制御部37へデフォーカス量や絞り開口径などの情報を送信する。また、カメラ制御部21は、上述したように撮像素子22から画素出力を読み出すとともに、読み出した画素出力について、必要に応じて所定の情報処理を施すことにより画像情報を生成し、生成した画像情報を、電子ビューファインダ26の液晶駆動回路25やメモリ24に出力する。また、カメラ制御部21は、撮像素子22からの画像情報の補正やレンズ鏡筒3の焦点調節状態、絞り調節状態などを検出するなど、カメラ1全体の制御を司る。
また、カメラ制御部21は、上記に加えて、撮像素子22から読み出した画素データに基づき、位相検出方式による撮影光学系の焦点状態の検出、およびコントラスト検出方式による撮影光学系の焦点状態の検出を行う。なお、具体的な焦点状態の検出方法については後述する。
操作部28は、シャッターレリーズボタンなどの撮影者がカメラ1の各種動作モードを設定するための入力スイッチであり、オートフォーカスモード/マニュアルフォーカスモードの切換が行えるようになっている。この操作部28により設定された各種モードはカメラ制御部21へ送出され、当該カメラ制御部21によりカメラ1全体の動作が制御される。また、シャッターレリーズボタンは、ボタンの半押しでONとなる第1スイッチSW1と、ボタンの全押しでONとなる第2スイッチSW2とを含む。
次に、本実施形態に係る撮像素子22について説明する。
図2は、撮像素子22の撮像面を示す正面図、図3は、図2のIII部を拡大して撮像画素221、焦点検出画素222a,222bの配列を模式的に示す正面図である。
本実施形態の撮像素子22は、図3に示すように、複数の撮像画素221が、撮像面の平面上に二次元的に配列され、緑色の波長領域を透過するカラーフィルタを有する緑画素Gと、赤色の波長領域を透過するカラーフィルタを有する赤画素Rと、青色の波長領域を透過するカラーフィルタを有する青画素Bがいわゆるベイヤー配列(Bayer Arrangement)されたものである。すなわち、隣接する4つの画素群223(稠密正方格子配列)において一方の対角線上に2つの緑画素が配列され、他方の対角線上に赤画素と青画素が1つずつ配列されている。このベイヤー配列された画素群223を単位として、当該画素群223を撮像素子22の撮像面に二次元状に繰り返し配列することで撮像素子22が構成されている。なお、本実施形態においては、この4つの画素群223により、1画素を構成することとなる。
なお、単位画素群223の配列は、図示する稠密正方格子以外にも、たとえば稠密六方格子配列にすることもできる。また、カラーフィルタの構成や配列はこれに限定されることはなく、補色フィルタ(緑:G、イエロー:Ye、マゼンタ:Mg,シアン:Cy)の配列を採用することもできる。
図4(A)は、撮像画素221の一つを拡大して示す正面図、図4(D)は断面図である。一つの撮像画素221は、マイクロレンズ2211と、光電変換部2212と、図示しないカラーフィルタから構成され、図4(D)の断面図に示すように、撮像素子22の半導体回路基板2213の表面に光電変換部2212が造り込まれ、その表面にマイクロレンズ2211が形成されている。光電変換部2212は、マイクロレンズ2211により撮影光学系31の射出瞳(たとえばF1.0)を通過する撮像光束を受光する形状とされ、撮像光束を受光する。
また、図2に示すように、撮像素子22の撮像面の中心、および中心から左右対称位置と、それらの上下対称位置の計9箇所には、上述した撮像画素221に代えて、焦点検出画素222a,222bが配列された焦点検出画素列群22a~22iが設けられている。そして、図3に示すように、各焦点検出画素列群は、4つの焦点検出画素列L1~L4から構成されており、各焦点検出画素列L1~L4は、複数の第1焦点検出画素222aおよび第2焦点検出画素222bが、互いに隣接して交互に、横一列に配列されて構成されている。また、図3に示すように、本実施形態では、焦点検出画素列L1,L3と焦点検出画素列L2,L4とにおいて、焦点検出画素222aおよび焦点検出画素222bがX軸方向において逆になるように配置されている。さらに、本実施形態では、図3に示すように、第1焦点検出画素222aおよび第2焦点検出画素222bが、ベイヤー配列された撮像画素221の緑画素Gと青画素Bとの位置にギャップを設けることなく密に配列されている。
なお、図2に示す焦点検出画素列群22a~22iの位置は図示する位置に限定されず、何れか1箇所または2~8箇所等にすることもでき、また、10箇所以上の位置に配置することもできる。また、実際の焦点検出に際しては、複数配置された焦点検出画素列群22a~22iの中から、撮影者が操作部28を手動操作することにより所望の焦点検出画素群を、焦点調節を行うための焦点検出エリアAFPとして選択することもできる。
図4(B)は、第1焦点検出画素222aの一つを拡大して示す正面図、図4(E)は、第1焦点検出画素222aの断面図である。また、図4(C)は、第2焦点検出画素222bの一つを拡大して示す正面図、図4(F)は、第2焦点検出画素222bの断面図である。第1焦点検出画素222aは、図4(B)に示すように、マイクロレンズ2221aと、矩形状の光電変換部2222aとから構成され、図4(E)の断面図に示すように、撮像素子22の半導体回路基板2213の表面に光電変換部2222aが造り込まれ、その表面にマイクロレンズ2221aが形成されている。また、第2焦点検出画素222bは、図4(C)に示すように、マイクロレンズ2221bと、光電変換部2222bとから構成され、図4(F)の断面図に示すように、撮像素子22の半導体回路基板2213の表面に光電変換部2222bが造り込まれ、その表面にマイクロレンズ2221bが形成されている。そして、これら焦点検出画素222aおよび222bは、図3に示すように、互いに隣接して交互に、横一列に配列されることにより、各焦点検出画素列L1~L4を構成する。
なお、第1焦点検出画素222a、第2焦点検出画素222bの光電変換部2222a,2222bは、マイクロレンズ2221a,2221bにより撮影光学系の射出瞳の所定の領域(たとえばF2.8)を通過する光束を受光するような形状とされる。また、第1焦点検出画素222a、第2焦点検出画素222bにはカラーフィルタは設けられておらず、その分光特性は、光電変換を行うフォトダイオードの分光特性と、図示しない赤外カットフィルタの分光特性を総合したものとなっている。ただし、撮像画素221と同じカラーフィルタのうちの一つ、たとえば緑フィルタを備えるように構成することもできる。
また、図4(B)、図4(C)に示す第1焦点検出画素222a、第2焦点検出画素222bの光電変換部2222a,2222bは矩形状としたが、光電変換部2222a,2222bの形状はこれに限定されず、他の形状、たとえば、半円形状、楕円形状、多角形状とすることもできる。
次いで、上述した焦点検出画素222a,222bの画素出力に基づいて撮影光学系の焦点状態を検出する、いわゆる位相差検出方式について説明する。
図5は、図3のV-V線に沿う断面図であり、撮影光軸L1近傍に配置され、互いに隣接する焦点検出画素222a-1,222b-1,222a-2,222b-2が、射出瞳350の測距瞳351,352から照射される光束AB1-1,AB2-1,AB1-2,AB2-2をそれぞれ受光していることを示している。なお、図5においては、複数の焦点検出画素222a,222bのうち、撮影光軸L1近傍に位置するもののみを例示して示したが、図5に示す焦点検出画素以外のその他の焦点検出画素についても、同様に、一対の測距瞳351,352から照射される光束をそれぞれ受光するように構成されている。
ここで、射出瞳350とは、撮影光学系の予定焦点面に配置された焦点検出画素222a,222bのマイクロレンズ2221a,2221bの前方の距離Dの位置に設定された像である。距離Dは、マイクロレンズの曲率、屈折率、マイクロレンズと光電変換部との距離などに応じて一義的に決まる値であって、この距離Dを測距瞳距離と称する。また、測距瞳351,352とは、焦点検出画素222a,222bのマイクロレンズ2221a,2221bにより、それぞれ投影された光電変換部2222a,2222bの像をいう。
なお、図5において焦点検出画素222a-1,222b-1,222a-2,222b-2の配列方向は一対の測距瞳351,352の並び方向と一致している。
また、図5に示すように、焦点検出画素222a-1,222b-1,222a-2,222b-2のマイクロレンズ2221a-1,2221b-1,2221a-2,2221b-2は、撮影光学系の予定焦点面近傍に配置されている。そして、マイクロレンズ2221a-1,2221b-1,2221a-2,2221b-2の背後に配置された各光電変換部2222a-1,2222b-1,2222a-2,2222b-2の形状が、各マイクロレンズ2221a-1,2221b-1,2221a-2,2221b-2から測距距離Dだけ離れた射出瞳350上に投影され、その投影形状は測距瞳351,352を形成する。
すなわち、測距距離Dにある射出瞳350上で、各焦点検出画素の光電変換部の投影形状(測距瞳351,352)が一致するように、各焦点検出画素におけるマイクロレンズと光電変換部の相対的位置関係が定められ、それにより各焦点検出画素における光電変換部の投影方向が決定されている。
図5に示すように、第1焦点検出画素222a-1の光電変換部2222a-1は、測距瞳351を通過し、マイクロレンズ2221a-1に向う光束AB1-1によりマイクロレンズ2221a-1上に形成される像の強度に対応した信号を出力する。同様に、第1焦点検出画素222a-2の光電変換部2222a-2は測距瞳351を通過し、マイクロレンズ2221a-2に向う光束AB1-2によりマイクロレンズ2221a-2上に形成される像の強度に対応した信号を出力する。
また、第2焦点検出画素222b-1の光電変換部2222b-1は測距瞳352を通過し、マイクロレンズ2221b-1に向う光束AB2-1によりマイクロレンズ2221b-1上に形成される像の強度に対応した信号を出力する。同様に、第2焦点検出画素222b-2の光電変換部2222b-2は測距瞳352を通過し、マイクロレンズ2221b-2に向う光束AB2-2によりマイクロレンズ2221b-2上に形成される像の強度に対応した信号を出力する。
そして、上述した焦点検出画素222a,222bの光電変換部2222a,2222bの出力を、測距瞳351と測距瞳352とのそれぞれに対応した出力グループにまとめることにより、測距瞳351と測距瞳352とのそれぞれを通過する焦点検出光束が焦点検出画素列上に形成する一対の像の強度分布に関するデータを得る。
そして、カメラ制御部21は、一対の像の強度分布に関するデータ列、すなわち、焦点検出画素列のうち第1焦点検出画素222aに基づくデータ列と、第2焦点検出画素222bに基づくデータ列とを、一次元状に相対的にシフトさせながら、下記式(1)に示す相関演算を行う。
C(k)=Σ|IA(n+k)-IB(n)| …(1)
なお、上記式(1)において、Σ演算はnについての累積演算(総和演算)を示し、像ずらし量kに応じてIA(n+k)、IB(n)のデータが存在する範囲に限定される。また、像ずらし量kは整数であり、各焦点検出画素222a,222bの画素間隔を単位としたシフト量である。なお、上記式(1)の演算結果においては、一対の像データの相関が高いシフト量において、相関量C(k)は極小(小さいほど相関度が高い)になる。
そして、上記式(1)に従って、相関量C(k)の算出を行い、相関量の極小値C(x)が得られるシフト量xに基づいて、下記式(2)に従い、デフォーカス量dfを算出する。なお、上記式(2)において、kは、相関量の極小値C(x)が得られるシフト量xをデフォーカス量に変換するための変換係数(kファクター)である。
df=x・k …(2)
さらに、本実施形態において、カメラ制御部21は、複数の焦点検出画素列L1~L4の出力から、コントラスト情報を検出し、検出したコントラスト情報に基づいて、デフォーカス量の演算に用いる焦点検出画素列を、特定焦点検出画素列として決定する。
具体的には、カメラ制御部21は、各焦点検出画素列L1~L4の出力を撮像素子22から取得し、取得した焦点検出画素列L1~L4の出力を、高周波透過フィルタでフィルタ処理することで、焦点検出画素列L1~L4の出力から高周波成分を抽出する。そして、カメラ制御部21は、各焦点検出画素列L1~L4の高周波成分を比較し、比較の結果に基づいて、複数の焦点検出画素列L1~L4のうち、コントラストが最も大きい被写体に対応する焦点検出画素列を、特定焦点検出画素列として決定する。また、カメラ制御部21は、上記比較結果に基づいて、複数の焦点検出画素列L1~L4のうち、出力に高周波成分が最も多く含まれる焦点検出画素列を、特定焦点検出画素列として決定する構成としてもよい。
なお、本実施形態では、カメラ制御部21が、撮像素子22から複数の焦点検出画素列L1~L4の出力を取得することで、複数の焦点検出画素列L1~L4の中から、特定焦点検出画素列を決定する構成を例示して説明したが、この構成に限定されず、たとえば、撮像素子22が備える演算部により、各焦点検出画素列L1~L4の出力に基づいて、点検出画素列L1~L4ごとに、コントラスト情報を検出し、検出したコントラスト情報に基づいて、複数の焦点検出画素列L1~L4の中から、特定焦点検出画素列を決定し、決定した特定焦点検出画素列の情報を、カメラ制御部21に送信する構成としてもよい。
そして、カメラ制御部21は、決定した特定焦点検出画素列の出力に基づいて、デフォーカス量を演算する。このように、本実施形態では、複数の焦点検出画素列L1~L4のうち、特定焦点出画素列として決定された焦点検出画素列の出力のみに基づいて、デフォーカス量の演算が行われるため、デフォーカス量の演算にかかる時間を短縮することができる。
すなわち、従来では、焦点検出画素列が複数ある場合に、全ての焦点検出画素列についてデフォーカス量の演算が行われ、算出した複数のデフォーカス量の中から、フォーカスレンズ32の駆動に用いるデフォーカス量を選択していた。そのため、従来では、選択されたデフォーカス量以外のデフォーカス量についての演算が無駄になるだけではなく、複数の焦点検出画素列L1~L4の全てについてデフォーカス量を演算するため、デフォーカス量の演算時間が長くなってしまうという問題があった。これに対して、本実施形態では、特定焦点出画素列として決定された焦点検出画素列の出力のみに基づいて、デフォーカス量の演算が行われるため、デフォーカス量の算出にかかる時間を短縮することができ、その結果、焦点検出にかかる時間を短縮することができる。
なお、本実施形態では、撮像素子22の焦点検出画素列群22a~22iに対応して、撮影光学系の撮影画面内に、複数の焦点検出エリアAFPが設定されており、撮影者は、操作部28を介して、焦点調節に用いる焦点検出エリアAFPを設定することができる。たとえば、撮影者が、焦点調節に用いる焦点検出エリアAFPとして、焦点検出画素列群22aに対応する焦点検出エリアAFPを選択した場合には、カメラ制御部21は、焦点検出画素列群22aに含まれる焦点検出画素列L1~L4の出力に基づいて、デフォーカス量を算出する。また、焦点検出エリアAFPを設定する方法は、撮影者が選択する方法に限定されず、たとえば、カメラ制御部21が、撮像素子22から出力される画像データに基づいて顔認識処理を行うことで、被写体の顔部に対応する焦点検出エリアAFPを、焦点調節に用いる焦点検出エリアAFPとして設定する構成としてもよい。あるいは、撮影画面内に設定されている全ての焦点検出エリアAFPにおける焦点検出画素列L1~L4の出力を取得し、取得した焦点検出画素列L1~L4の出力に基づいて、焦点調節に用いる焦点検出エリアAFPを設定する構成としてもよい。
また、本実施形態において、カメラ制御部21は、上述した位相差検出方式による焦点検出に加えて、コントラスト検出方式による焦点検出も行う。具体的には、カメラ制御部21は、撮像素子22の撮像画素221の出力を読み出し、読み出した画素出力に基づき、焦点評価値の演算を行う。この焦点評価値は、たとえば撮像素子22の撮像画素221からの画像出力の高周波成分を、高周波透過フィルタを用いて抽出し、これを積算することで求めることができる。また、遮断周波数が異なる2つの高周波透過フィルタを用いて高周波成分を抽出し、それぞれを積算することでも求めることができる。
そして、カメラ制御部21は、レンズ制御部37に制御信号を送出してフォーカスレンズ32を所定のサンプリング間隔(距離)で駆動させ、それぞれの位置における焦点評価値を求め、該焦点評価値が最大となるフォーカスレンズ32の位置を合焦位置として求める。なお、この合焦位置は、たとえば、フォーカスレンズ32を駆動させながら焦点評価値を算出した場合に、焦点評価値が、2回上昇した後、さらに、2回下降して推移した場合に、これらの焦点評価値を用いて、内挿法などの演算を行うことで求めることができる。
次いで、本実施形態におけるカメラ1の動作例を、図6に示すフローチャートに沿って説明する。
まず、ステップS101では、撮像素子22により、撮像画素221、ならびに複数の焦点検出画素列L1~L4を構成する各第1焦点検出画素222aおよび第2焦点検出画素222bの出力データの取得が行われる。
ステップS102では、カメラ制御部21により、焦点調節に用いるための焦点検出エリアAFPの選択が行われる。たとえば、撮影者が、操作部28を介して、焦点調節に用いる焦点検出エリアAFPを設定した場合には、カメラ制御部21は、撮影者が設定した焦点検出エリアAFPを、焦点調節に用いる焦点検出エリアAFPとして選択することができる。また、カメラ制御部21は、撮像素子22から出力された画像データに対して顔認識処理を行うことで、被写体の顔部に対応する焦点検出エリアAFPを、焦点調節に用いる焦点検出エリアAFPとして選択する構成としてもよい。あるいは、カメラ制御部21は、撮影画面内に設定されている全ての焦点検出エリアAFPの焦点検出画素列L1~L4の出力を解析することで、焦点調節に用いる焦点検出エリアAFPを選択する構成としてもよい。
ステップS103では、カメラ制御部21により、各焦点検出画素列L1~L4の出力に基づいて、焦点検出画素列L1~L4ごとに、コントラスト情報の検出が行われる。具体的には、カメラ制御部21は、ステップS102で選択した焦点検出エリアAFPに対応する複数の焦点検出画素列L1~L4の出力を、高周波透過フィルタによりフィルタ処理することで、焦点検出画素列L1~L4の画素出力から高周波成分を抽出する。そして、カメラ制御部21は、焦点検出画素列L1~L4ごとに、抽出した高周波成分の量や強度を含む情報を、コントラスト情報として検出する。
ステップS104では、カメラ制御部21により、特定焦点検出画素列の決定が行われる。具体的には、カメラ制御部21は、ステップS103で検出した焦点検出画素列L1~L4ごとのコントラスト情報に基づいて、複数の焦点検出画素列L1~L4のうち、コントラストが最も大きい被写体に対応する焦点検出画素列、あるいは、画素出力に高周波成分が最も多く含まれる焦点検出画素列を、特定焦点検出画素列として決定する。
そして、ステップS105では、カメラ制御部21により、ステップS104で決定した特定焦点検出画素列の出力に基づいて、デフォーカス量の算出が行われる。そして、ステップS106では、ステップS105で算出したデフォーカス量に基づいて、フォーカスレンズ32の駆動量の算出およびフォーカスレンズ32の駆動が行われる。
以上のようにして、第1実施形態に係る光学系の焦点検出が行われる。
次に、本実施形態に係るカメラ1の動作例を、図7に基づいて説明する。図7は、本実施形態に係るカメラ1の動作例を説明するための図である。また、図7では、横軸に時間を示しており、時刻t5においてシャッターレリーズボタンの半押しが行われた場面を示している。たとえば、図7に示す例では、時刻t1において、撮像素子22の焦点検出画素222a,222bにより、入射光に応じた電荷の蓄積が開始される。また、本実施形態において、焦点検出画素222a,222bは、例えばCMOSイメージセンサーであり、電荷の蓄積と並行して、時刻t1以降に蓄積された電荷の量に応じた画素信号の転送が開始される。そして、時刻t3では、時刻t2で開始された画素信号の転送が終了し、コントラスト情報の検出と、特定焦点検出画素列の決定とが行われる(ステップS103,S104)。そして、時刻t4では、決定した特定焦点検出画素列の出力に基づいて、デフォーカス量の演算が開始される(ステップS105)。これにより、レンズ駆動量の演算が行われ、レンズ駆動量の演算後、時刻t6において、レンズ駆動の指示が、レンズ鏡筒3に送信され、フォーカスレンズ32の駆動が行われる。ここで、図7に示す例では、レンズ駆動の指示が行われる前の時刻t5において、シャッターレリーズボタンの半押しが行われているため、時刻t6におけるレンズ駆動の指示に基づいて、フォーカスレンズ32の駆動が開始される。
また、本実施形態では、シャッターレリーズボタンが半押しされた後も、撮像素子22のフレームレートに応じて、デフォーカス量の算出が繰り返し行われ、算出されたデフォーカス量に基づいて、フォーカスレンズ32の駆動指示が繰り返し行われる。たとえば、図7に示す例では、時刻t2において、2フレーム目の電荷の蓄積が開始され、その結果、時刻t7において、2フレーム目のデフォーカス量の算出が行われ、時刻t8において、2フレーム目の焦点検出画素列L1~L4の出力結果に基づく、フォーカスレンズ32の駆動指示が行われる。同様に、3フレーム目以降においても、フレームごとに、焦点検出画素列L1~L4の出力に基づいて、デフォーカス量の算出と、デフォーカス量に基づくフォーカスレンズ32の駆動とが繰り返される。
このように、本実施形態では、撮像素子22のフレームレートに応じたフレームごとに、デフォーカス量の算出と、デフォーカス量に基づくフォーカスレンズ32の駆動とが繰り返される。このように、フレームごとに、デフォーカス量を算出し、フォーカスレンズ32の駆動を指示するためには、デフォーカス量の演算からフォーカスレンズ32の駆動指示までを、1フレームの時間内に行う必要がある。この点、本実施形態では、コントラスト情報に基づいて1の特定焦点検出画素列を決定し、この特定焦点検出画素列の出力のみについてデフォーカス量を算出することで、図7に示すように、デフォーカス量の算出に要する時間を短くすることができるため、1フレームの時間内に、デフォーカス量を算出し、算出したデフォーカス量に基づいてフォーカスレンズ32を駆動させることができる。
一方、図8は、従来のカメラの動作例を説明するための図であり、図7と同様に、横軸に時間を示している。図8に示す例では、比較的時間がかかるデフォーカス量の演算を、全ての焦点検出画素列L1~L4について行うため、図7に示す本実施形態と比べて、デフォーカス量の演算時間が長くなる。その結果、図8に示す例では、図7に示す本実施形態と比べて、デフォーカス量の演算からレンズ駆動指示までの所要時間が、フレームレートの1フレーム分の時間よりも長くなってしまい、レンズ駆動指示をフレームごとに行うことができなくなってしまう場合があった。具体的には、図8に示す例では、1フレーム分の時間内に、デフォーカス量の演算からレンズ駆動指示までを行うことができないため、図7に示す本実施形態のタイムラグT1と比べて、電荷の蓄積からフォーカスレンズ32の駆動指示までのタイムラグT2が2倍の大きさとなっている。
その結果、図8に示す例では、時刻12において、時刻t11における光学系の焦点状態に基づいて、フォーカスレンズ32の駆動が指示されるため、フォーカスレンズ32が合焦位置を大きく超えた位置まで駆動してしまう場合や、被写体への追従性が低下してしまう場合があった。これに対して、本実施形態では、図7に示すように、時刻t9での光学系の焦点状態に基づいて、タイムラグの少ない時刻t10において、フォーカスレンズ32の駆動指示を行うことができるため、図8に示す従来例と比べて、フォーカスレンズ32を合焦位置まで適切に駆動することができる。
以上のように、第1実施形態では、焦点検出エリアAFP内の各焦点検出画素列L1~L4の出力に基づいて、焦点検出画素列L1~L4ごとに、コントラスト情報を検出する。そして、検出したコントラスト情報に基づいて、焦点検出に用いる焦点検出画素列を決定する。すなわち、複数の焦点検出画素列L1~L4のうち、コントラストが最も大きい被写体に対応する焦点検出画素列、あるいは、画素出力に高周波成分が最も多く含まれている焦点検出画素列を、特定焦点検出画素列として決定し、この特定焦点検出画素列のみについて、デフォーカス量を決定する。これにより、コントラストが最も大きい被写体、あるいは、高周波成分が最も多い被写体に対する、光学系の焦点状態を検出することができるとともに、従来のように、複数の焦点検出画素列L1~L4の全てについてデフォーカス量を算出する場合と比べて、デフォーカス量の演算にかかる時間を短縮することができ、焦点状態の検出を適切なタイミングで繰り返し行うことができる。
また、第1実施形態では、複数の焦点検出画素列L1~L4の出力のうち、1つの焦点検出画素列の出力に基づいて、デフォーカス量を算出する構成のため、複数の焦点検出画素列L1~L4の出力を加算または平均化する場合と比べて、以下のような効果を奏することができる。すなわち、被写体が撮像画素221の斜め方向にコントラストを有する場合、複数の焦点検出画素列L1~L4の出力を加算または平均化してしまうと、却って、コントラストが低下してしまう場合があり、被写体を適切に検出できない場合がある。これに対して、本実施形態では、1つの特定焦点検出画素列の出力に基づいて、デフォーカス量を算出するため、このような場合でも、コントラストの低下を防止することができ、被写体を適切に検出することができるという効果を奏することができる。
《第2実施形態》
次いで、第2実施形態について説明する。第2実施形態では、図1に示すカメラ1において、以下に説明するように動作すること以外は、上述した第1実施形態と同様の構成を有するものである。
第2実施形態において、カメラ制御部21は、異なる周波数帯域の周波数成分を透過する複数のフィルタを備えており、各焦点検出画素列L1~L4の出力から異なる複数の周波数帯域の周波数成分を抽出し、抽出した複数の周波数成分に基づいて、焦点検出画素列L1~L4ごとに、複数のコントラスト情報を検出する。たとえば、カメラ制御部21が異なる3つの周波数帯域の周波数成分を抽出する3つのフィルタを備えている場合には、カメラ制御部21は、1つの焦点検出画素列の出力から3つのコントラスト情報を検出することができる。なお、第2実施形態で抽出される周波数成分の周波数帯域は、特に限定されず、低周波帯域から高周波帯域までの任意の周波数帯域とすることができる。
そして、カメラ制御部21は、複数のコントラスト情報に基づいて、複数の焦点検出画素列L1~L4の中から、焦点検出に用いる1または複数の焦点検出画素列L1~L4を、特定焦点検出画素列として検出する。たとえば、カメラ制御部21は、複数の焦点検出画素列L1~L4の中から、対応する被写体のコントラストの大きさが所定値以上である1または複数の焦点検出画素列を、特定焦点検出画素列として検出することができる。あるいは、カメラ制御部21は、出力に含まれる高周波成分の量が所定値以上である1または複数の焦点検出画素列を、特定焦点検出画素列として検出することができる。
なお、カメラ制御部21は、特定焦点検出画素列を決定する場合には、特定焦点検出画素列の数が、焦点検出エリアAFPに対応する焦点検出画素列L1~L4の数よりも少なくなるように、特定焦点検出画素列を決定する。たとえば、本実施形態では、焦点検出エリアAFPに4つの焦点検出画素列L1~L4が配置されているため、カメラ制御部21は、少なくとも、特定焦点検出画素列の数が3つ以下となるように、特定焦点検出画素列を決定する。
そして、カメラ制御部21は、複数の焦点検出画素列を特定焦点検出画素列として決定した場合には、複数の特定焦点検出画素列の出力を加算または平均化し、加算または平均化した複数の特定焦点検出画素列の出力に基づいて、デフォーカス量を算出する。ここで、図9は、図3に示す撮像素子22の撮像面から撮像画素221を除き、4つの焦点検出画素列L1~L4を構成する第1焦点検出画素222aおよび第2焦点検出画素222bのみを模式的に示した図である。たとえば、カメラ制御部21は、複数の特定焦点検出画素列の出力を加算する場合には、図9に示す第1焦点検出画素列L1の画素A1L1の出力と、これと同じ測距瞳を通過する焦点検出光束を受光する、第2焦点検出画素列L2の画素A1L2の出力と、第3焦点検出画素列L3の画素A1L3の出力と、第4焦点検出画素列L4の画素A1L4の出力とを加算し、画素加算出力IA1を得る。同様に、第1焦点検出画素列L1の画素B1L1の出力と、これと同じ測距瞳を通過する焦点検出光束を受光する、第2焦点検出画素列L2の画素B1L2の出力と、第3焦点検出画素列L3の画素B1L3の出力と、第4焦点検出画素列L4の画素B1L4の出力とを加算し、画素加算出力IB1を得る。以下、同様に、A2L1とA2L2とA2L3とA2L4との出力からIA2を、B2L1とB2L2とB2L3とB2L4との出力からIB2を、A3L1とA3L2とA3L3とA3L4との出力からIA3を、B3L1とB3L2とB3L3とB3L4との出力からIB3を得る。
そして、カメラ制御部21は、得られた画素加算出力を用いて、第1焦点検出画素222aに基づくデータ列、すなわち、第1像データ列IA1,IA2,IA3,...,IAnと、第2焦点検出画素222bに基づくデータ列、すなわち、第2像データ列IB1,IB2,IB3,...,IBnとを、一次元状に相対的にシフトさせながら、上記式(1)に示す相関演算を行う。
ここで、図3に示すように、焦点検出画素列L1~L4においては、第1焦点検出画素222aと、第2焦点検出画素222bとが、それぞれ0.5画素分ずれた位置に配置されている。従来では、本実施形態の第1焦点検出画素列L1および第2焦点検出画素列L2のうちいずれか一方のみを、焦点検出画素列として用いるものであるため、第1焦点検出画素222aと、第2焦点検出画素222bとが互いに0.5画素ずれた位置に存在し、これらの焦点検出画素を用いて得られる第1像データ列IA1,IA2,IA3,...,IAnと、第2像データ列IB1,IB2,IB3,...,IBnとは、互いに0.5画素ずれたデータとなってしまっていた。そのため、相関演算を行った場合には、図10(B)に示すように、相関量C(k)の極小値も0.5画素分ずれた位置となってしまうこととなる。このような場合に、相関量C(k)が極小値を示すシフト量およびデフォーカス量を算出するためには、内挿演算等を用いる必要があり、結果として、焦点検出精度が低下してしまう場合があった。特に、焦点検出画素で検出された出力のコントラストレベルが低い場合に、このような問題が顕著になる傾向にあった。
これに対して、本実施形態においては、焦点検出画素列L1,L3と、焦点検出画素列L2,L4とにおいて、第1焦点検出画素222aおよび第2焦点検出画素222bがX軸方向において0.5画素分ずらした位置に配置されているため、画素出力を加算することにより得られる画素加算出力を用いた場合に、図10(A)に示すように、合焦状態(デフォーカス量がゼロの状態)において、相関量C(k)が極小値を与えるシフト量を正確に求めることができ、これにより、焦点検出精度を適切に高めることができる。
次に、図11を参照して、第2実施形態に係るカメラ1の動作を説明する。図11は、第2実施形態に係るカメラ1の動作例を示すフローチャートである。
ステップS201では、第1実施形態のステップS101と同様に、撮像素子22により、撮像画素221、ならびに複数の焦点検出画素列L1~L4を構成する各第1焦点検出画素222aおよび第2焦点検出画素222bの出力データの取得が行われる。また、ステップS202では、第1実施形態のステップS102と同様に、カメラ制御部21により、焦点調節に用いるための焦点検出エリアAFPの選択が行われる。
そして、ステップS203では、カメラ制御部21により、コントラスト情報の検出が行われる。第2実施形態において、カメラ制御部21は、異なる周波数帯域の周波数成分を抽出する複数のフィルタを用いて、各焦点検出画素列L1~L4の出力にフィルタ処理を施すことで、各焦点検出画素列L1~L4のそれぞれの出力から複数の周波数成分を抽出する。そして、カメラ制御部21は、抽出した周波数成分の量や強度を含む情報を、コントラスト情報として検出する。
ステップS204では、カメラ制御部21により、ステップS203で検出した複数のコントラスト情報に基づいて、特定焦点検出画素列の決定が行われる。具体的には、カメラ制御部21は、ステップS203で検出したコントラスト情報に基づいて、複数の焦点検出画素列L1~L4のうち、対応する被写体のコントラストが所定値以上である1または複数の焦点検出画素列を、特定焦点検出画素列として決定する。あるいは、カメラ制御部21は、ステップS203で検出した複数のコントラスト情報に基づいて、複数の焦点検出画素列L1~L4のうち、出力に含まれる高周波成分の量が所定値以上となる1または複数の焦点検出画素列を、特定焦点検出画素列として決定する。
そして、ステップS205では、カメラ制御部21により、ステップS204で決定された1または複数の特定焦点検出画素列に基づいて、フォーカスレンズ32の駆動に用いるデフォーカス量の算出が行われる。たとえば、カメラ制御部21は、複数の焦点検出画素列を特定焦点検出画素列として決定した場合には、複数の特定焦点検出画素列の出力を加算あるいは平均化することで、1の出力を算出し、この出力に基づいて、フォーカスレンズ32の駆動に用いるデフォーカス量を算出することができる。
ステップS206では、第1実施形態のステップS106と同様に、ステップS205で算出されたデフォーカス量に基づいて、フォーカスレンズ32の駆動量の算出およびフォーカスレンズ32の駆動が行われる。
以上のようにして、第2実施形態に係る光学系の焦点検出が行われる。
このように、第2実施形態では、焦点検出画素列L1~L4ごとに、焦点検出画素列L1~L4の出力に基づいて、異なる周波数帯域の周波数成分を抽出し、抽出した複数の周波数成分に基づいて、複数のコントラスト情報を検出する。そして、複数のコントラスト情報に基づいて、焦点検出画素列L1~L4の中から、1または複数の特定焦点検出画素列を決定し、決定した特定焦点検出画素列の画素出力に基づいて、デフォーカス量を決定する。このように、第2実施形態では、全ての焦点検出画素列L1~L4についてデフォーカス量を算出するのではなく、焦点検出画素列L1~L4の数よりも少ない数の特定焦点検出画素列についてデフォーカス量の演算を行うことで、デフォーカス量の演算時間を短くすることができ、その結果、焦点状態の検出を適切なタイミングで繰り返し行うことが可能となる。
《第3実施形態》
次いで、第3実施形態について説明する。第3実施形態では、図1に示すカメラ1において、以下に説明するように動作すること以外は、上述した第1実施形態と同様の構成を有するものである。
第3実施形態において、カメラ制御部21は、光学系の焦点状態を検出する際に、撮像素子22から取得した焦点検出画素列L1~L4の出力に対して、所定のバンドパスフィルタを用いたフィルタ処理を施すことで、焦点検出画素列L1~L4の出力から被写体に対応する周波数成分を抽出する。たとえば、カメラ制御部21は、焦点検出画素列L1~L4の出力を、フーリエ変換を用いて変換することで、焦点検出画素列L1~L4の出力に含まれる周波数成分の中から、背景などに起因する低周波成分やノイズに相当する高周波成分を除去し、被写体に対応する周波数成分を抽出する。そして、カメラ制御部21は、図12に示すように、焦点検出画素列L1~L4の出力をフィルタ処理して得られたデータを、焦点検出画素列L1~L4の出力に含まれる周波数成分を表すコントラスト情報として検出する。なお、図12は、焦点検出画素列L1~L4の出力から抽出された周波数成分の一例を示すグラフである。
さらに、カメラ制御部21は、検出した周波数成分のコントラスト情報に基づいて、当該周波数成分において連続する出力値の差の総和を求めることで、焦点検出画素列L1~L4の出力に含まれる周波数成分の量や強度を表す情報を、周波数成分のコントラスト量として算出する。具体的には、カメラ制御部21は、下記式(3)に基づいて、周波数成分のコントラスト量を算出する。
コントラスト量=Σ|am-am-1| …(3)
なお、上記式(3)において、amは、m番目(焦点検出画素列の並び方向においてm番目)に位置する焦点検出画素222a,222bの出力に対応する周波数成分の出力値であり、am-1は、m-1番目に位置する焦点検出画素222a,222bの出力に対応する周波数成分の出力値である。
すなわち、焦点検出画素列L1~L4の出力は、横方向(X方向)に配列された複数の焦点検出画素222a,222bの出力から構成される列データであり、焦点検出画素列L1~L4の出力に含まれる周波数成分も、図12に示すように、焦点検出画素列L1~L4を構成する焦点検出画素222a,222bの出力にそれぞれ対応した出力値を有する。そのため、カメラ制御部21は、上記式(3)に示すように、焦点検出画素列L1~L4において2番目に位置する焦点検出画素222a,222bの出力に対応する周波数成分の出力値と、1番目に位置する焦点検出画素222a,222bの出力に対応する周波数成分の出力値との差を算出することができ、同様に、連続する焦点検出画素222a,222bの出力に対応する周波数成分の出力値am,am-1(以下、周波数成分において連続する出力値ともいう)の差を算出することができる。そして、周波数成分において連続する出力値am,am-1の差の総和を求めることで、焦点検出画素列L1~L4の出力に含まれる周波数成分のコントラスト量を算出することができる。
なお、周波数成分のコントラスト量は、周波数成分の強度(振幅)が大きいほど大きくなり、また、周波数成分の量(周波数)が多いほど大きくなる。たとえば、焦点検出画素列に対応する被写体のコントラストが高く、図13(A)に示すように、周波数成分の中央付近における出力値の強度が大きくなる場合には、図13(B)に示すように、周波数成分の中央付近において連続する出力値の差も大きくなり、その結果、周波数成分のコントラスト量も大きくなる。また、周波数成分の量が多いほど(たとえば、図12に示す例では、焦点検出画素列L1と比べて、焦点検出画素列L3の方が周波数成分の量が多い)、周波数成分の出力値が変動する頻度は高くなるため、周波数成分において連続する出力値の差の総和である、周波数成分のコントラスト量も大きくなる。このように、周波数成分において連続する出力値の差の総和を周波数成分のコントラスト量として算出することで、周波数成分のコントラスト量を、周波数成分の量および強度を表す値として算出することができる。なお、図13(A)は、焦点検出画素列の出力に含まれる周波数成分の出力値の一例を示す図であり、また、図13(B)は、図13(A)に示す周波数成分において連続する出力値の差を示すグラフである。
このように、カメラ制御部21は、焦点検出画素列L1~L4の出力から被写体に対応する所定の周波数成分をそれぞれ抽出し、抽出した周波数成分のコントラスト量を、焦点検出画素列L1~L4ごとに算出する。そして、カメラ制御部21は、焦点検出画素列L1~L4のうち、コントラスト量が最も高い焦点検出画素列を、特定焦点検出画素列として決定する。たとえば、図12に示す例では、焦点検出画素列L1~L4のうち、焦点検出画素列L3の出力に含まれる周波数成分の量および強度が最も大きく、その結果、焦点検出画素列L3の出力に含まれる周波数成分のコントラスト量が最も高くなるため、焦点検出画素列L3が特定焦点検出画素列として決定される。そして、カメラ制御部21は、決定した特定焦点検出画素列の出力に基づいて、デフォーカス量を算出する。
このように、第3実施形態では、上記式(3)に示すように、焦点検出画素列L1~L4において、並び方向に連続する焦点検出画素222a,222bの出力に対応する周波数成分の出力値の差の総和を、焦点検出画素列L1~L4の出力に含まれる周波数成分のコントラスト量として算出することで、被写体に起因する周波数成分の量や強度に応じて、周波数成分のコントラスト量を適切に算出することができる。そして、コントラスト量が最も大きい焦点検出画素列の出力に基づいてデフォーカス量を算出することで、被写体に対応する可能性の高い焦点検出画素列の出力に基づいて焦点検出を行うことができ、これにより、被写体に対する光学系の焦点調節状態をより高い精度で検出することができる。
《第4実施形態》
次いで、第4実施形態について説明する。図14は、第4実施形態に係るカメラ1aの構成を示す図である。第4実施形態では、図14に示すカメラ1aにおいて、以下に説明するように動作すること以外は、上述した第1実施形態と同様の構成を有するものである。
まず、第4実施形態に係るカメラ1aについて説明する。カメラ1aは、カメラ本体2aとレンズ鏡筒3とを有する。カメラ本体2aは、一眼レフデジタルカメラであり、被写体からの光束を撮像素子220、光学ファインダ235、測光センサ237および焦点検出モジュール261へ導くためのミラー系250を備えている。ミラー系250は、回転軸253を中心にして被写体の観察位置と撮像位置との間で所定角度だけ回転するクイックリターンミラー251と、このクイックリターンミラー251に軸支されてクイックリターンミラー251の回動に合わせて回転するサブミラー252とを備える。図14においては、ミラー系250が被写体の観察位置にある状態を実線で示し、被写体の撮像位置にある状態を二点鎖線で示す。
ミラー系250は、被写体の観察位置にある状態では光軸L1の光路上に挿入される一方で、被写体の撮像位置にある状態では光軸L1の光路から退避するように回転する。
クイックリターンミラー251はハーフミラーで構成され、被写体の観察位置にある状態では、被写体からの光束(光軸L1)の一部の光束(光軸L2,L3)を当該クイックリターンミラー251で反射して光学ファインダ235および測光センサ237に導き、一部の光束(光軸L4)を透過させてサブミラー252へ導く。これに対して、サブミラー252は全反射ミラーで構成され、クイックリターンミラー251を透過した光束(光軸L4)を焦点検出モジュール261へ導く。
したがって、ミラー系250が観察位置にある場合は、被写体からの光束(光軸L1)は光学ファインダ235、測光センサ237および焦点検出モジュール261へ導かれ、撮影者により被写体が観察されるとともに、露出演算や、焦点検出モジュール261によるフォーカスレンズ32の焦点調節状態の検出が実行される。そして、撮影者がレリーズボタンを全押しするとミラー系250が撮影位置に回動し、被写体からの光束(光軸L1)は全て撮像素子220へと導かれ、撮像された画像データがカメラメモリ24に保存される。
クイックリターンミラー251で反射された被写体からの光束(光軸L2)は、撮像素子220と光学的に等価な面に配置された焦点板231に結像し、ペンタプリズム233と接眼レンズ27とを介して観察可能になっている。このとき、透過型液晶表示器232は、焦点板231上の被写体像に焦点検出エリアマークなどを重畳して表示するとともに、被写体像外のエリアにシャッター速度、絞り値、撮影枚数などの撮影に関する情報を表示する。これにより、撮影者は、撮影準備状態において、光学ファインダ235を通して被写体およびその背景ならびに撮影関連情報などを観察することができる。
測光センサ237は、二次元カラーCCDイメージセンサーなどで構成され、撮影の際の露出値を演算するため、撮影画面を複数の領域に分割して領域ごとの輝度に応じた測光信号を出力する。測光センサ237で検出された信号はカメラ制御部21へ出力され、自動露出制御や特定被写体の認識(たとえば顔認識)などに用いられる。
焦点検出モジュール261は、位相差検出方式による自動合焦制御を実行する専用の焦点検出素子であり、サブミラー252で反射した光束(光軸L4)の、撮像素子220の撮像面と光学的に等価な位置に固定されている。
図15は、図14に示す焦点検出モジュール261の構成例を示す図である。本実施形態の焦点検出モジュール261は、コンデンサレンズ261a、一対の開口が形成された絞りマスク261b、一対の再結像レンズ261cおよび一対のラインセンサ261dを有する。また、図示していないが、本実施形態のラインセンサ261dは、撮像光学系の予定焦点面近傍に配置されたマイクロレンズと、このマイクロレンズに対して配置された光電変換部とを有する画素が複数配列された画素列を備えている。フォーカスレンズ32の射出瞳の異なる一対の領域を通る一対の光束を、一対のラインセンサ261dに配列された各画素で受光することで、一対の像信号を取得することができる。そして、一対のラインセンサ261dで取得した一対の像信号の位相ずれを、後述する相関演算によって求めることにより焦点調節状態を検出することができる。
たとえば、図15に示すように、被写体Pが撮像素子220の等価面(予定結像面)261eで結像すると合焦状態となるが、フォーカスレンズ32が光軸L1方向に移動することで、結像点が等価面261eより被写体側にずれたり(前ピンと称される)、カメラボディ側にずれたりすると(後ピンと称される)、ピントずれの状態となる。
続いて、第4実施形態に係る撮像素子220について説明する。図16は、第4実施形態に係る撮像素子220を示す正面図であり、図17は、図16に示す焦点検出領域224の一つを拡大して示す正面図である。第4実施形態に係る撮像素子220には、図16に示すように、撮影画面に設定された焦点検出エリアAFPに対応した位置、すなわち、撮像素子220の撮像面の中心、および中心から左右対称位置と、それらの上下対称位置の計9箇所に、焦点検出を行うための焦点検出領域224a~224iが設定されている。
焦点検出領域224a~224iには、図17に示すように、撮像面の平面上に、複数の撮像画素221aが二次元状に配列されている。撮像画素221aには、緑色の波長領域を透過するカラーフィルタを有する緑画素Gと、赤色の波長領域を透過するカラーフィルタを有する赤画素Rと、青色の波長領域を透過するカラーフィルタを有する青画素Bとがあり、それぞれの画素がベイヤー配列により配列している。
次に、撮像画素221aの構成について説明する。図18(A)は、撮像画素221aの一つを拡大して示す正面図、図18(B)は断面図である。撮像画素221aは、図18(A)に示すように、マイクロレンズ2211と、一対の光電変換部2214,2215と、図示しないカラーフィルタから構成され、図18(B)の断面図に示すように、撮像素子220の半導体回路基板2213の表面に光電変換部2214,2215が造り込まれ、その表面にマイクロレンズ2211が形成されている。一対の光電変換部2214,2215は、同じ大きさで、かつマイクロレンズ2211の光軸に対して左右対称に配置されている。また、一対の光電変換部2214,2215はそれぞれ、マイクロレンズ2211により撮影光学系31の射出瞳(たとえばF1.0)を通過する撮像光束を受光する形状とされている。図18(B)に示すように、撮像画素221aの一方の光電変換部2215は一方の光束AB1を受光する一方で、撮像画素221aの他方の光電変換部2214は、マイクロレンズ2211の光軸に対して光束AB1と対称となる光束AB2を受光する。
そして、各撮像画素221aの光電変換部2214,2215は、一対の光束AB1,AB2を受光することで、受光する光束AB1,AB2の強度に応じた一対の像信号を出力する。言い換えれば、光電変換部2214,2215は、光束AB1,AB2によりマイクロレンズ2211上に形成される像の強度に応じた一対の像信号を出力する。そして、本実施形態では、撮像画素221aの光電変換部2214,2215から出力された一対の像信号を加算することで、撮像画素221aの画素信号が生成され、複数の撮像画素221aの画素信号から画像データが生成される。
なお、図18(A)に示す光電変換部2214,2215は矩形状としたが、光電変換部2214,2215の形状はこれに限定されず、他の形状、たとえば、楕円形状、半円形状、多角形状にすることもできる。
次に、撮像画素221aの光電変換部2214,2215から出力された一対の像信号を用いた位相差方式の焦点検出(以下、像面位相差検出ともいう)について説明する。なお、以下においては、図17に示すように、横方向(X方向)に配列された複数の撮像画素221aを撮像画素列225とし、後述するように、撮像画素列225を構成する各撮像画素221aの光電変換部2214,2215の出力をそれぞれまとめることで、1つの撮像画素列225から一対の像データを生成し、生成した一対の像データに基づいて、デフォーカス量を算出する。
図19は、図17のXIX-XIX線に沿う断面図であり、撮影光軸L上に配置された撮像画素221a-1と、これに隣接する撮像画素221a-2が、射出瞳340の測距瞳341,342から照射される光束AB1-1,AB1-2,AB2-1,AB2-2を受光することを示す。ただし、図示していないが、その他の撮像画素についても、一対の光電変換部が一対の測距瞳341,342から照射される一対の光束を受光している。なお、図19において、撮像画素221aの光電変換部2214-1,2225-1,2214-2,2215-2の配列方向は一対の測距瞳351,352の並び方向と一致している。
撮像画素221a-1の光電変換部2214-1は、一方の測距瞳341を通過しマイクロレンズ2211-1に向かう一方のAB1-1により、マイクロレンズ2211-1上に形成される像の強度に対応した信号を出力する。これに対して、光電変換部2215-1は、他方の測距瞳342を通過しマイクロレンズ2211-1に向かう他方の光束AB2-1により、マイクロレンズ2211-1上に形成される像の強度に対応した信号を出力する。
同様に、撮像画素221a-2の光電変換部2214-2は、一方の測距瞳341を通過しマイクロレンズ2211-2に向かう一方の光束AB1-2により、マイクロレンズ2211-2上に形成される像の強度に対応した信号を出力する。これに対して、光電変換部2215-2は、他方の測距瞳342を通過しマイクロレンズ2211-2に向かう他方の光束AB2-2により、マイクロレンズ2211-2上に形成される像の強度に対応した信号を出力する。
そして、撮像画素列225を構成する各撮像画素221aの光電変換部2214,2215の出力を、測距瞳341と測距瞳342のそれぞれに対応した出力グループにまとめることにより、測距瞳341と測距瞳342のそれぞれを通過する光束AB1,AB2が撮像画素列225上に形成する一対の像の強度分布に関するデータ、すなわち、一対の像データを得ることができる。たとえば、図17に示す例では、8以上の撮像画素列225が設定されており、カメラ制御部21は、それぞれの撮像画素列225から一対の像データを得ることができる。
そして、カメラ制御部21は、各撮像画素列225から得られた一対の像データに対して、相関演算処理又は位相差検出処理などの像ズレ検出演算処理を施すことにより、瞳分割位相差検出方式による像ズレ量を検出することができる。そして、カメラ制御部21は、得られた像ズレ量に、一対の測距瞳の重心間隔に応じた変換演算を施すことにより、デフォーカス量を求めることができる。
このように、カメラ制御部21は、各撮像画素列225から得られた一対の像データに基づいて、デフォーカス量を撮像画素列225ごとに算出することが可能である。しかしながら、第4実施形態において、カメラ制御部21は、焦点検出に要する時間を短縮し焦点検出を適切なタイミングで行うために、焦点検出に用いる撮像画素列225を特定し、特定した撮像画素列225の出力のみに基づいて、デフォーカス量を算出する。
具体的には、カメラ制御部21は、まず、各撮像画素列225の出力から被写体に対応する周波数成分を抽出し、抽出した周波数成分に関する情報を、コントラスト情報として検出する。たとえば、カメラ制御部21は、第3実施形態と同様に、各撮像画素列225の出力に対して、所定のバンドパスフィルタを用いてフィルタ処理を施すことで、撮像画素列225の出力に含まれる周波数成分の中から、背景などに起因する低周波成分やノイズに相当する高周波成分を除去し、被写体に対応する周波数成分を抽出する。そして、カメラ制御部21は、たとえば、撮像画素列225の出力をフィルタ処理して得られたデータを、撮像画素列225の出力に含まれる周波数成分のコントラスト情報として検出することができる。
また、カメラ制御部21は、抽出した周波数成分のコントラスト情報に基づいて、周波数成分の量や強度を表すコントラスト量を算出する。ここで、図20は、図17と同様に、図16に示す焦点検出領域224a~224iの一つを拡大して示す正面図であり、図21は、図20に示す第1グループLAの撮像画素221aを模式的に示す図である。なお、図20および図21においては、撮像画素列225を、それぞれ撮像画素列A1~A5,B1~B5,C1~C5,D1~D5,およびE1~E5として表す。また、図21(A)および図21(B)に示す例では、各撮像画素列が12の撮像画素221aを有するものとして説明する。
まず、カメラ制御部21は、焦点検出領域224内に設定された複数の撮像画素列225を、所定数の撮像画素列225(たとえば、5つの撮像画素列225)ごとにグループ化する。たとえば、図20に示す例において、カメラ制御部21は、縦方向(Y方向)に連続する5つの撮像画素列225ごとに、撮像画素列A1~A5からなる第1グループLA、撮像画素列B1~B5からなる第2グループLB、撮像画素列C1~C5からなる第3グループLC、撮像画素列D1~D5からなる第4グループLD、撮像画素列E1~E5からなる第5グループLEのように、各撮像画素列225をグループ化する。なお、グループ化する撮像画素列225の数は5列に限定されず、適宜設定することができる。
そして、カメラ制御部21は、同じグループに属する撮像画素列225の出力に含まれる各周波数成分の出力値を、グループごとに加算することで、各グループにおける周波数成分の出力値を算出し、各グループにおける周波数成分のコントラスト情報として検出する。たとえば、図21(A)に示す例において、カメラ制御部21は、撮像画素列A1~A5においてそれぞれ1番目の撮像画素221aの出力に対応する周波数成分の出力値を加算することで、出力値a1を算出する。同様に、カメラ制御部21は、撮像画素列A1~A5においてそれぞれ2番目の撮像画素221aの出力に対応する周波数成分の出力値を加算することで、出力値a2を算出する。同様に、カメラ制御部21は、撮像画素列A1~A5においてそれぞれ3番目以降の撮像画素221aについても、横方向(X方向)において同じ位置に配置された撮像画素221aの出力に対応する周波数成分の出力値を加算することで、出力値a3,a4,・・・,a12を算出する。これにより、カメラ制御部21は、a1,a2,a3,・・・,a12からなる出力値を、第1グループLAにおける周波数成分のコントラスト情報として検出することができる。
また、カメラ制御部21は、第1グループLAと同様に、第2グループLB,第3グループLC,第4グループLD,・・・における周波数成分のコントラスト情報も検出する。そして、カメラ制御部21は、各グループの周波数成分のコントラスト情報に基づいて、各グループにおける周波数成分のコントラスト量を算出する。たとえば、図21(A)に示す例において、カメラ制御部21は、上記式(3)に示すように、第1グループLAにおける周波数成分の出力値a1,a2,a3,・・・,a12を用いて、a1とa2との差、a2とa3との差、・・・,a11とa12との差の総和を求めることで、第1グループLAにおける周波数成分のコントラスト量を算出することができる。
なお、上述した例では、横方向(X方向)において同じ位置に配置された撮像画素221aの出力に対応する周波数成分の出力値を加算することで、各グループにおける周波数成分の出力値を算出する構成を例示したが、この構成に限定されず、たとえば、横方向(X方向)において同じ位置に配置された撮像画素221aの出力に対応する周波数成分の出力値を平均化することで、各グループにおける周波数成分の出力値を算出する構成としてもよい。たとえば、被写体の輝度やコントラストが比較的低い場合には、撮像画素221aの出力に対応する周波数成分の出力値を加算して、各グループにおける周波数成分の出力値を算出し、被写体の輝度やコントラストが比較的高い場合には、撮像画素221aの出力に対応する周波数成分の出力値を平均化して、各グループにおける周波数成分の出力値を算出する構成とすることができる。
また、図21(B)に示すように、横方向(X方向)において同じ位置に配置された光電変換部2214,2215の出力のそれぞれに対応する周波数成分の出力値を加算または平均化することで、各グループにおける周波数成分の出力値を算出する構成としてもよい。すなわち、カメラ制御部21は、図21(B)に示すように、各撮像画素列A1~A5においてそれぞれ1番目の撮像画素221aが有する光電変換部2214の出力に対応する周波数成分の出力値を加算または平均化することで、出力値b1を算出する。同様に、カメラ制御部21は、各画素列A1~A5においてそれぞれ1番目の撮像画素221aが有する光電変換部2215の出力に対応する周波数成分の出力値を加算または平均化することで、出力値c1を算出する。同様に、カメラ制御部21は、2番目以降の撮像画素221aが有する光電変換部2214および光電変換部2215についても、各画素列A1~A5においてそれぞれ横方向(X方向)において同じ位置に配置された光電変換部2214,2215の出力に対応する周波数成分の出力値を加算または平均化することで、出力値b2,c2,b3,c3,・・・,b12,c12を算出する。これにより、カメラ制御部21は、第1グループLAにおける周波数成分のコントラスト情報として、b1,c1,b2,c2,b3,c3,・・・,b12,c12からなる出力値を取得することができる。同様に、カメラ制御部21は、図22に示すように、グループLB,LC,LD,LE,・・・における周波数成分のコントラスト情報を取得する。なお、図22は、図20に示す各グループLA,LB,・・・LEにおける周波数成分の一例を示す図である。
そして、カメラ制御部21は、各グループにおける周波数成分のコントラスト情報に基づいて、各グループにおける周波数成分のコントラスト量を算出する。たとえば、図21(B)に示す例において、カメラ制御部21は、上記式(3)に示すように、第1グループLAにおける周波数成分の出力値b1,c1,b2,c2,b3,c3,・・・,b12,c12のうち、連続する出力値の差の総和を、周波数成分のコントラスト量として算出することができる。また、カメラ制御部21は、出力値b1とc1,b2とc2,b3とc3,・・・,b12とc12とをそれぞれ加算した列データを算出し、算出した列データにおいて連続する値の差の総和を、周波数成分のコントラスト量として算出する構成としてもよい。あるいは、カメラ制御部21は、出力値b1,c1,b2,c2,b3,c3,・・・,b12,c12を、出力値b1,b2,b3,・・・,b12からなる列データと、出力値c1,c2,c3,・・・,c12からなる列データとに分けて、それぞれの列データにおける周波数成分のコントラスト量を算出し、値が大きい方のコントラスト量あるいは値が小さいほうのコントラスト量を、各グループにおける周波数成分のコントラスト量として算出する構成としてもよい。
さらに、上述した例では、同じグループに属する全ての撮像画素列225の出力に含まれる全ての周波数成分を加算または平均化することで、各グループにおける周波数成分のコントラスト情報を検出する構成を例示したが、この構成に限定されず、たとえば、被写界の明るさ、画像の輝度、あるいは画像のコントラストなどに基づいて、加算または平均化する周波数成分の数を変更する構成としてもよい。たとえば、被写界の明るさ、画像の輝度、あるいは画像のコントラストが高いほど、加算する周波数成分の数を少なくし、被写界の明るさ、画像の輝度、あるいは画像のコントラストが低いほど、加算する周波数成分の数を多くする構成とすることができる。
そして、カメラ制御部21は、グループごとに算出した周波数成分のコントラスト量のうち、コントラスト量が最も大きいグループを特定グループとして決定し、特定グループに含まれる撮像画素221aの出力に基づいて、デフォーカス量を算出する。たとえば、図22に示す例においては、第3グループLCにおける周波数成分の量および強度が大きいため、グループLA~LEのうち、第3グループLCにおける周波数成分のコントラスト量が最も大きくなる。この場合、カメラ制御部21は、第3グループLCを特定グループとして特定し、第3グループに含まれる撮像画素221aの出力に基づいて、デフォーカス量を算出する。
たとえば、カメラ制御部21は、図21(B)に示すように、特定グループに含まれる光電変換部2214,2215の出力のうち、横方向(X方向)において同じ位置に配置された光電変換部2214,2215の出力を加算または平均化することで、一対の像データ(出力値b1,b2,b3,・・・からなる像データと、出力値c1,c2,c3,・・・からなる像データと)を算出する。そして、カメラ制御部21は、上記式(1)に示すように、算出した一対の像データを相対的にシフトさせながら相関演算を行うことで、一対の像データの相関量C(k)を算出し、算出した相関量C(k)に基づいて、上記式(2)に示すように、デフォーカス量を算出することができる。そして、カメラ制御部21は、算出したデフォーカス量に基づいて、フォーカスレンズ32を駆動させることで、光学系の焦点調節を行うことができる。
なお、第4実施形態において、カメラ制御部21は、焦点検出モジュール261により算出されたデフォーカス量に基づいて、フォーカスレンズ32の駆動を制御することもでき、また、撮像素子220の出力に基づいて算出したデフォーカス量に基づいて、フォーカスレンズ32の駆動を制御することもできる。たとえば、カメラ制御部21は、撮像素子220で受光する光の明るさが低い場合には、焦点検出モジュール261により算出されたデフォーカス量に基づいて、フォーカスレンズ32の駆動を制御することができる。焦点検出モジュール261のラインセンサ261dを構成する各画素のサイズは、撮像画素221aと比べて大きく設計されているため、光束の光の強さが比較的弱い場合でも、比較的高い精度で焦点検出を行うことができるためである。一方、たとえば動画撮影時には、撮像素子220の出力に基づいて算出したデフォーカス量に基づいて、フォーカスレンズ32の駆動を制御することができる。撮像素子220の出力に基づく像面位相差検出では、動画撮影時においても、撮像素子220で画像を撮像しながら、光学系の焦点検出を行うことができるためである。
次に、第4実施形態に係るカメラ1aの動作を説明する。図23は、第4実施形態に係るカメラ1aの動作例を示すフローチャートである。なお、図23に示すカメラ1aの動作例においては、カメラ制御部21が、撮像素子220の出力に基づいて、焦点検出を行う場面を例示して説明する。
まず、ステップS401では、撮像素子220により、撮像画素221a(撮像画素221aの光電変換部2214,2215)の出力データの取得が行われる。また、ステップS402では、カメラ制御部21により、焦点調節に用いるための焦点検出エリアAFPの選択が行われる。たとえば、撮影者は、操作部28を手動操作することにより、焦点調節を行うための焦点検出エリアAFPを選択することができる。これにより、カメラ制御部21は、選択された焦点検出エリアAFPに対応する焦点検出領域224を、焦点検出を行うための焦点検出領域224として決定する。
そして、ステップS403では、カメラ制御部21により、ステップS402で決定された焦点検出領域224において、横方向(X方向)に一次元状に配列した複数の撮像画素221aが撮像画素列225として設定され、各撮像画素列225の出力に含まれる周波数成分のコントラスト情報が検出される。
そして、ステップS404では、カメラ制御部21により、焦点検出領域224における複数の撮像画素列225が、所定数の撮像画素列225ごとにグループ化される。たとえば、図20に示すように、カメラ制御部21は、複数の撮像画素列225を、5つの撮像画素列ごとに、グループLA,LB,LC,LD,LE,・・・にグループ化することができる。
ステップS405では、カメラ制御部21により、同じグループに属する撮像画素列225の出力に含まれる周波数成分の出力値が加算され、これにより、各グループにおける周波数成分のコントラスト情報が検出される。具体的には、カメラ制御部21は、図21(A)に示すように、同じグループに属する複数の撮像画素列225において、それぞれ横方向(X方向)において同じ位置に配置する撮像画素221aの出力に対応する周波数成分の出力値を加算することで、各グループにおける周波数成分のコントラスト情報を検出する。
そして、ステップS406では、カメラ制御部21により、ステップS405で検出された各グループにおける周波数成分のコントラスト情報に基づいて、各グループにおける周波数成分のコントラスト量が算出される。たとえば、カメラ制御部21は、上記式(3)に基づいて、各グループにおける周波数成分の出力値から、各グループにおける周波数成分のコントラスト量を算出することができる。
ステップS407では、カメラ制御部21により、ステップS406においてグループごとに算出された周波数成分のコントラスト量の比較が行われ、コントラスト量が最も高いグループが、焦点検出を行う特定グループとして決定される。そして、ステップS408では、カメラ制御部21により、ステップS407で決定された特定グループに含まれる撮像画素221aの出力に基づいて、デフォーカス量の算出が行われる。たとえば、カメラ制御部21は、図21(B)に示すように、特定グループ内の各撮像画素列225において、それぞれ横方向(X方向)において同じ位置に配置された光電変換部2214,2215の出力を加算することで、一対の像データを算出する。そして、カメラ制御部21は、算出した一対の像データの相関演算を行い、当該演算結果に基づいて、デフォーカス量を算出する。そして、ステップS409では、カメラ制御部21により、ステップS408で算出されたデフォーカス量に基づいて、フォーカスレンズ32の駆動が行われる。
以上のようにして、第4実施形態に係る光学系の焦点検出が行われる。
このように、第4実施形態では、図17に示すように、撮像素子220に、一対の光電変換部2214,2215を有する複数の撮像画素221aが二次元状に配列されている。そして、複数の撮像画素221aのうち、横方向(X方向)に配列された複数の撮像画素221aを撮像画素列225として設定し、各撮像画素列225を構成する撮像画素221aの光電変換部2214,2215の出力を、測距瞳351と測距瞳352とに対応した出力グループにまとめて一対の像データを取得し、取得した一対の像データに基づいてデフォーカス量を算出する、像面位相差検出を行う。これにより、第4実施形態では、たとえば動画撮影中などでも、光学系の焦点状態を適切に検出することができる。
また、第4実施形態では、各撮像画素列225を、所定数の撮像画素列225ごとにグループ化し、同じグループに属する撮像画素列225の出力に含まれる各周波数成分の出力値を、グループごとに加算することで、各グループにおける周波数成分のコントラスト情報を検出する。そして、各グループにおける周波数成分のコントラスト情報に基づいて、各グループにおける周波数成分のコントラスト量を算出し、コントラスト量が最も高いグループを特定グループとして決定し、特定グループにおける撮像画素221aの出力に基づいて、焦点検出を行う。これにより、第4実施形態では、高周波成分を多く含み、被写体が存在する可能性の高いグループにおいて焦点検出を行うことができるため、被写体に対する光学系の焦点状態をより適切に検出することができる。また、第4実施形態では、コントラスト量が最も高いグループを特定グループとして決定し、特定グループにおける撮像画素221aの出力に基づいて像面位相差検出を行うことで、全ての撮像画素221aの出力に基づいてデフォーカス量を算出する場合と比べて、デフォーカス量の算出に要する時間を短縮することができ、これにより、適切なタイミングで焦点検出を行うことができる。
《第5実施形態》
次いで、第5実施形態について説明する。第5実施形態では、図14に示すカメラ1aにおいて、以下に説明するように動作すること以外は、上述した第4実施形態と同様の構成を有するものである。
第5実施形態に係る撮像素子220は、第4実施形態と同様に、撮像素子220に、一対の光電変換部2214,2215を有する撮像画素221aが二次元状に配列されている。そして、第5実施形態において、カメラ制御部21は、人物の顔などの特定被写体を検出し、特定被写体に対応する撮像画素221aの出力を、特定被写体を示す色に応じた比率で抽出することで、特定被写体に応じた周波数成分を抽出する。
具体的には、カメラ制御部21は、まず、人物の顔などのテンプレート画像を用いてテンプレートマッチングを行うことで、人物の顔などの特定被写体を検出する。そして、カメラ制御部21は、特定被写体に対応する撮像素子220の領域を対象領域として特定する。なお、カメラ制御部21は、焦点検出領域224a~224i内において対象領域を特定する構成としてもよいし、あるいは、撮像素子220全体において対象領域を特定する構成としてもよい。
そして、カメラ制御部21は、ユーザまたはカメラ制御部21により選択された焦点検出領域224において、対象領域が存在するか否かを検出する。すなわち、カメラ制御部21は、ユーザまたはカメラ制御部21により焦点調節を行うための焦点検出エリアAFPが選択された場合に、当該焦点検出エリアに対応する焦点検出領域224を決定し、当該焦点検出領域224に対象領域が存在するかを判断する。そして、カメラ制御部21は、焦点検出領域224に対象領域が存在する場合には、焦点検出領域224において対象領域に対応する画素群223を特定する。さらに、カメラ制御部21は、対象領域に対応する画素群223を含む画素群列226を設定する。たとえば、カメラ制御部21は、図24に示すように、対象領域に対応する画素群223を含む複数の画素群223が横方向(X方向)に一次元状に配列された列を画素群列226として設定することができる。なお、図24は、図20に示す第1グループLAの撮像画素221aを模式的に示した図である。また、図24に示す例では、画素列226が6つの画素群223を有するものとして説明する。
そして、カメラ制御部21は、画素群列226の出力から、画素群列226に対応する周波数成分を抽出し、抽出した周波数成分に関するコントラスト情報を検出する。具体的には、カメラ制御部21は、まず、画素群223を構成する4つの撮像画素221a(R画素、G画素、B画素を含む)の出力値を、人物の顔などの特定被写体を示す色(たとえば、特定被写体の肌色)に応じた比率で抽出する。たとえば、カメラ制御部21は、特定被写体の肌色に応じた比率となるように、R画素、G画素の出力値を、B画素の出力よりも高く抽出することができる。そして、カメラ制御部21は、画素群223を構成する4つの撮像画素221a(R画素、G画素、B画素)から抽出した出力値を加算または平均化することで、画素群223の出力値を検出する。さらに、カメラ制御部21は、各画素群列226を構成する画素群223の出力値を、画素群223の並び方向に沿って検出することで、複数の画素群223からなる画素群列226の出力を検出する。そして、カメラ制御部21は、画素群列226の出力に対して、所定のバンドパスフィルタを用いたフィルタ処理を行うことで、画素群列226の出力から被写体に対応する周波数成分を抽出し、抽出した周波数成分のコントラスト情報を検出する。
さらに、カメラ制御部21は、対象領域に対応する複数の画素群列226を、所定数の画素群列226ごとにグループ化し、同じグループに属する画素群列226の出力に対応する周波数成分を加算することで、各グループにおける周波数成分のコントラスト情報を検出する。たとえば、図24に示す例においては、同じグループに属する画素群列226をA1’~A3’で表している。この場合、カメラ制御部21は、各画素群列A1’~A3’において1番目の画素群223の出力に対応する周波数成分の出力値を加算することで、出力値d1を取得する。同様に、カメラ制御部21は、各画素群列A1’~A3’において2番目の画素群223の出力に対応する周波数成分の出力値を加算することで、出力値d2を取得する。同様に、カメラ制御部21は、左から3番目以降の画素群223についても、それぞれの画素群223の出力に対応する周波数成分の出力値を加算することで、出力値d3,d4,d5,d6を取得して、取得した出力値d1,d2,d3,d4,d5,d6を、グループにおける周波数成分のコントラスト情報として検出することができる。なお、カメラ制御部21は、横方向(X方向)において同じ位置に配置された画素群223の出力に対応する周波数成分の出力値を平均化することで、各グループにおける周波数成分のコントラスト情報を検出する構成としてもよい。
そして、カメラ制御部21は、各グループにおける周波数成分のコントラスト情報に基づいて、各グループにおける周波数成分のコントラスト量を算出する。また、カメラ制御部21は、焦点検出領域224内に、対象領域に対応する複数のグループが存在する場合には、他のグループにおいても同様に周波数成分のコントラスト量を算出する。そして、カメラ制御部21は、コントラスト量を算出したグループのうち、コントラスト量が最も高いグループを特定グループとして決定し、特定グループにおける撮像画素221aの出力に基づいて、デフォーカス量を算出する。なお、特定グループにおけるデフォーカス量の算出方法については、第4実施形態と同様に行うことができる。
次いで、図25を参照して、第5実施形態に係るカメラ1の動作を説明する。なお、図25は、第5実施形態に係るカメラ1の動作例を示すフローチャートである。
まず、ステップS501では、カメラ制御部21により、特定被写体に対応する対象領域の検出が行われる。たとえば、カメラ制御部21は、人物の顔などの特定被写体のテンプレート画像を用いてテンプレートマッチングを行うことで、特定被写体を検出し、検出された特定被写体に対応する撮像素子220の領域を対象領域として検出することができる。
そして、ステップS502では、第4実施形態のステップS402と同様に、焦点調節に用いるための焦点検出エリアAFPの選択が行われ、これにより、選択された焦点検出エリアAFPに対応する焦点検出領域224が、焦点検出を行うための焦点検出領域224として決定される。
ステップS503では、カメラ制御部21により、ステップS502で選択された焦点検出領域224内に、ステップS501で検出された対象領域が存在するか否かの判断が行われる。焦点検出領域224内に対象領域が存在する場合には、ステップS504に進み、一方、焦点検出領域224内に対象領域が存在しない場合には、ステップS513に進む。なお、ステップS513~S515では、第4実施形態のステップS403~S405と同様に、焦点検出領域224に設定された撮像画素列225のコントラスト情報が検出され(ステップS513)、各撮像画素列225が所定数の撮像画素列ごとにグループ分けされ(ステップS514)、同じグループに属する撮像画素列225の出力に含まれる周波数成分の出力値がグループごとに加算されることで、各グループにおける周波数成分のコントラスト情報が検出される。(ステップS515)。
一方、ステップS503において、焦点検出領域224内で対象領域が検出された場合には(ステップS503=Yes)、ステップS504に進む。ステップS504では、カメラ制御部21により、対象領域において各画素群223を構成する4つの撮像画素221aの出力値が、特定被写体を示す色(たとえば特定被写体の肌色)に応じた比率で抽出される。そして、ステップS505では、カメラ制御部21により、ステップS504で抽出された撮像画素221aの出力に基づいて、対象領域に含まれる各画素群223の出力が検出され、複数の画素群223からなる各画素群列226の出力が検出される。すなわち、カメラ制御部21は、特定被写体を示す色に応じた比率で抽出した撮像画素221aの出力値を、画素群223単位で加算または平均化することで、特定被写体の肌色に応じた画素群223の出力値を検出する。そして、カメラ制御部21は、画素群列226を構成する複数の画素群223の出力値を、画素群列226における画素群223の並び方向に沿って検出することで、画素群列226の出力を検出する。
さらに、ステップS506では、カメラ制御部21により、ステップS505で検出された画素群列226の出力に基づいて、画素群列226の出力に含まれる周波数成分のコントラスト情報が検出される。たとえば、カメラ制御部21は、画素群列226の出力に対して所定のフィルタ処理を施すことで、画素群列226の出力から被写体に対応する周波数成分を抽出し、抽出した周波数成分のコントラスト情報を検出する。
ステップS507では、カメラ制御部21により、対象領域に対応する画素群列226が、所定数の画素群列226ごとにグループ化される。そして、ステップS508では、カメラ制御部21により、同じグループに属する画素群列226の出力に含まれる周波数成分の出力値を加算することで、各グループにおける周波数成分のコントラスト情報が検出される。
ステップS509では、カメラ制御部21により、ステップS509またはステップS515で検出された各グループにおける周波数成分のコントラスト情報に基づいて、たとえば上記式(3)に示すように、各グループにおける周波数成分のコントラスト量が算出される。
そして、ステップS510~S512では、第4実施形態のS407~S409と同様にコントラスト量が最も高いグループが特定グループとして決定され(ステップS510)、特定グループに含まれる撮像画素221aの出力に基づいて、デフォーカス量が算出される(ステップS511)。そして、算出したデフォーカス量に基づいて、フォーカスレンズ32の駆動が行われる(ステップS512)。
このように、第5実施形態では、各撮像画素221aの出力を特定被写体を示す色に応じた比率で抽出することで、人物の顔などの特定被写体に起因する周波数成分をより高い精度で抽出することができる。そして、このように抽出した周波数成分に基づいて、焦点検出を行うグループを決定し、当該グループにおける撮像画素221aの出力に基づいて焦点検出を行うことで、特定被写体に対する光学系の焦点状態をより適切に検出することが可能となる。
以上、実施形態について説明したが、上述した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
たとえば、上述した第1実施形態から第3実施形態では、1つの焦点検出エリアAFPに対して4つの焦点検出画素列L1~L4を備える構成を例示したが、焦点検出画素列の数はこれに限定されるものではなく、1つの焦点検出エリアにおける焦点検出画素列の数を、2または3としてもよいし、あるいは5以上としてもよい。また、上述した第4実施形態および第5実施形態では、焦点検出領域224a~224iにおいて、一対の光電変換部2214,2215を有する撮像画素221が配列された構成を例示したが、たとえば、撮像素子220全体に撮像画素221が配列される構成とすることもできる。
また、上述した第1実施形態から第3実施形態では、撮像素子22に焦点検出画素列L1~L4を備え、焦点検出画素列L1~L4の出力に基づいて、デフォーカス量を算出する構成を例示したが、この構成に限定されず、たとえば、撮像素子22とは別に、位相差式AF検出モジュールを備え、この位相差式AF検出モジュールで受光した受光信号に基づいて、デフォーカス量を算出する構成としてもよい。具体的には、位相差式AF検出モジュールは、光学系を通過する光束を受光する一対のラインセンサを複数有しており、ラインセンサごとにコントラスト情報を検出し、検出したコントラスト情報に基づいて、複数のラインセンサの中から、焦点検出に用いる一対のラインセンサを決定する構成としてもよい。なお、焦点検出に用いる一対のラインセンサを決定する場合には、位相差検出モジュールが備える演算部により、焦点検出に用いる一対のラインセンサを決定する構成としてもよいし、あるいは、カメラ制御部21が、各一対のラインセンサの出力を取得することで、焦点検出に用いる一対のラインセンサを決定する構成としてもよい。
このように、「受光素子群」は、例えば、焦点検出画素列L1~L4であってもよいし、上述した一対のラインセンサであってもよい。また、「焦点検出装置」は、例えば、撮像素子22,220またはそれを備えるカメラ1であってもよいし、もしくは、位相差式AF検出モジュールまたはそれを備えるカメラ1であってもよい。
さらに、上述した第1実施形態から第3実施形態では、焦点検出画素列L1,L3と焦点検出画素列L2,L4とにおいて、第1焦点検出画素222aおよび第2焦点検出画素222bがX軸方向において逆となるように配置されているが、この構成に限定されず、たとえば、図26に示すように、焦点検出画素列L1a~L4aを構成する焦点検出画素222a,222bをX軸方向において同じ位置となるように配置する構成としてもよい。
また、図27の焦点検出画素列L1b,L2bに示すように、各焦点検出画素222a,222bが一対の光電変換部2222a,2222bを備える構成としてもよい。具体的には、図27に示すように、各焦点検出画素222a,222bにおいて、一対の光電変換部2222a,2222bがX軸方向に配列され、測距瞳351から照射される光束が、一対の光電変換部2222a,2222bのうち一方の光電変換部で受光され、測距瞳352から照射される光束が、他方の光電変換部で受光される。これにより、各焦点検出画素列L1b,L2bにおいて、一対の像データ列をそれぞれ出力することができる。なお、図27においては、測距瞳351から照射される光束を受光する光電変換部を灰色で表し、測距瞳352から照射される光束を受光する光電変換部を白塗りで表している。また、図27に示す例においては、焦点検出画素列L1b,L2bを2列ずつ有する構成を例示したが、この構成に限定されず、たとえば、焦点検出画素列L1b,L2bを1列のみ有する構成としてもよいし、あるいは、3列以上有する構成としてもよい。
さらに、各焦点検出画素列を構成する第1焦点検出画素222aおよび第2焦点検出画素222bの配列は、これらが少なくとも、同じ列上において交互に配列されたものであればよく、たとえば、図28に示す焦点検出画素列L1c~L4cのように、焦点検出画素列中に、通常の撮像画素221が含まれるような構成としてもよい。
また、上述した実施形態に加えて、被写体のコントラスト(あるいは被写体の輝度)が所定値以上である場合には、第1実施形態に示すように、焦点検出画素列L1~L4のうち、コントラストが最も大きい被写体に対応する焦点検出画素列、または、出力に高周波成分が最も多く含まれる焦点検出画素列を、特定焦点検出画素列として決定し、一方、被写体のコントラスト(あるいは被写体の輝度)が所定値未満である場合には、第2実施形態に示したように、焦点検出画素列L1~L4のうち、対応する被写体のコントラストが所定値以上となる1または複数の焦点検出画素列、または、出力に含まれる高周波成分の量が所定値以上となる1または複数の焦点検出画素列を、特定焦点検出画素列として決定する構成としてもよい。
さらに、上述した第4実施形態では、各撮像画素列225の出力に対応する周波数成分をグループごとに加算することで、周波数成分のコントラスト量をグループごとに算出し、コントラスト量が最も高いグループに含まれる撮像画素221aの出力に基づいて、デフォーカス量を算出する構成を例示したが、この構成に限定されるものではなく、以下のように構成することができる。すなわち、撮像画素列225に対応する周波数成分から当該周波数成分のコントラスト量を撮像画素列225ごとに算出し、同じグループに含まれる複数の撮像画素列225の中から、コントラスト量が最も高い撮像画素列225をグループごとに特定する。そして、コントラスト量が最も高い撮像画素列225に含まれる撮像画素221aの出力に基づいて、デフォーカス量をグループごとに算出し、これらデフォーカス量に基づいて、光学系の焦点調節を行う構成とすることもできる。また、撮像画素列225ごとに周波数成分のコントラスト量を算出するとともに、撮像画素列225ごとにデフォーカス量を算出し、コントラスト量が最も高い撮像画素列225のデフォーカス量に基づいて、光学系の焦点調節を行う構成としてもよい。
また、上述した第4実施形態および第5実施形態では、周波数成分のコントラスト量が最も高いグループに含まれる撮像画素221aの出力に基づいて、デフォーカス量を算出する構成を例示したが、この構成に限定されず、たとえば、各グループにおける周波数成分のコントラスト量の大きさに基づいて、各グループにおける撮像画素221aの出力に重み付けを行い、重み付けした撮像画素221aの出力に基づいて、デフォーカス量を算出する構成とすることができる。この場合、カメラ制御部21は、グループにおける周波数成分のコントラスト量が大きいほど、当該グループにおける撮像画素221aの出力の重みを大きくすることができる。また、カメラ制御部21は、グループごとにデフォーカス量を算出し、算出したデフォーカス量を、各グループにおける周波数成分のコントラスト量に応じて重み付けして、焦点調節に用いるデフォーカス量を算出する構成とすることもできる。
さらに、上述した第4実施形態および第5実施形態では、各焦点検出領域224a~224iにおいて複数の撮像画素221aを二次元状に配列した構成を例示したが、この構成に限定されず、たとえば、焦点検出領域224a~224iに、単一の撮像画素列225のみを有する構成としてもよいし、または、離散あるいは連続する2以上の撮像画素列225を有する構成としてもよい。さらに、上述した第1実施形態~第3実施形態では、焦点検出画素列L1~L4において、焦点検出画素222a,222bを横方向(X方向)に配列する構成を例示したが、この構成に限定されず、たとえば、焦点検出画素222a,222bを縦方向(Y方向)に配列する構成とすることができる。また、上述した第4実施形態および第5実施形態においても、縦方向(Y方向)に配列した複数の撮像画素221aを撮像画素列225とする構成としてもよい。この場合、同一のグループに属する各撮像画素列225において、縦方向(Y方向)において同じ位置に配置された撮像画素221aの出力に対応する周波数成分の出力値を加算することで、各グループにおける周波数成分の出力値を算出することができる。
加えて、上述した第4実施形態および第5実施形態では、撮像素子220を備える一眼レフデジタルカメラ1aを例示して説明したが、この構成に限定されず、たとえば、図1に示すデジタルカメラ1において、撮像素子220を備える構成としてもよい。この場合も、第4実施形態および第5実施形態と同様に焦点検出を行うことができる。