以下、本発明の実施の形態による焦点検出装置の一例について図面を参照して説明する。
[第1の実施形態]
図1は、本発明の第1の実施形態による焦点検出装置を備える撮像装置の一例についてその構成を示す図である。
図示の撮像装置は、撮像レンズユニット(以下単に撮像レンズと呼ぶ)が交換可能なデジタル一眼レフカメラ(以下単にカメラと呼ぶ)。
撮像レンズ(レンズ本体ともいう)1は対物レンズである撮像光学系2を有しており、撮像レンズ1はカメラ本体8に対して交換可能に取り付けられている。撮像光学系2は1つ又は複数のレンズ群から構成され、レンズの全て又は一部をレンズ駆動部3によって光軸17に沿って移動させると、焦点距離およびフォーカスを変化させることができる。
レンズ状態検出部4は、レンズ駆動部3に接続され、撮像光学系2の焦点距離、つまり、撮像光学系2のズーム状態又はフォーカス状態を検出する。フォーカス制御部5は、例えば、CPUであり、レンズ状態検出部4を介してレンズ駆動部3を駆動制御する。つまり、フォーカス制御部5は撮像レンズ1の制御を司ることになる。
カメラ本体8には、CCD又はCMOSイメージセンサなどの撮像素子11が備えられており、撮像光学系2を通過した光学像(被写体像)が撮像素子11の撮像面に結像する。そして、撮像素子11は光学像に応じた画像信号を出力する。
さらに、カメラ本体8には、液晶パネル30および接眼光学系29が備えられており、撮像素子11によって得られた画像信号に応じた画像およびその他の情報が液晶パネル30に表示され、接眼光学系29を介してユーザは画像および情報を目視することができる。これら液晶パネル30および接眼光学系29によって電子ファインダー系が構成される。
また、カメラ本体8には、光分割部として用いられるペリクルミラー−(光分離手段)19が配置され、このペリクルミラー19で反射された反射光が第1の焦点検出部12に与えられる。第1の焦点検出部12は、例えば、位相差検出方式を用いて焦点検出を行う。ペリクルミラー19を透過した透過光が撮像素子11の撮像面に導かれる。そして、カメラ本体8には、カメラ本体8全体の制御を司るCPUなどのカメラ制御部13が設けられている。
図示のように、撮像素子11および第1の焦点検出部12にはそれぞれ信号検出部11aおよび12aが接続されており、これら信号検出部11aおよび12aの出力は演算装置14に与えられる。演算装置14は連続性判断部14aおよび14cと演算部14bとを有しており、演算装置14は後述する演算処理を行うとともに、ピント移動(つまり、焦点移動)の連続性を判定する。そして、演算装置14の出力はカメラ制御部13に与えられる。
図2は、図1に示す第1の焦点検出部12の構成を説明するための縦断面図である。なお、図2に示す例では、ペリクルミラー−19が省略されている。
第1の焦点検出部12には撮像光学系(対物レンズ)2の予定焦点面が規定され、この予定焦点面(つまり、撮像素子11と共役な面)の近傍には視野マスク51が配置されている。さらに、当該予定焦点面の近傍にはフィールドレンズ52が配置され、フィールドレンズ52の後段には2次結像系54が配置されている。この2次結像系54は2つのレンズ54aおよび54bを有している。
図示のように、2次結像系54によって光学像が焦点検出センサ56に結像する。焦点検出用センサ56は2つのセンサ列56aおよび56bを有しており、センサ列56aおよび56bはそれぞれレンズ54aおよび54bに対応している。
なお、フィードレンズ52と2次結像系54との間には絞り53が配置され、この絞り53にはレンズ54aおよび54bに対応する開口部53aおよび53bが形成されている。また、対物レンズ2には2つの領域70aおよび70bを含む射出瞳70が規定されている。
フィールドレンズ52は、射出瞳70の領域70aおよび70bを通過した光束を絞り53の開口部53aおよび53bの近傍に結像させる。これによって、射出瞳70の領域70aおよび70bを通過した光束50aおよび50bはそれぞれセンサ列55aおよび55bにそれぞれ入射する。ここでは、1次結像光学系60によって2次結像光学系61に光束が入射する。
センサ列55aおよび55b上の光量分布のずれ量は対物レンズ2のデフォーカス量(つまり、焦点ずれ量)と所定の関数関係にあるので、当該ずれ量を求めれば対物レンズ2の焦点ずれの方向およびその量を検出することができる。ここでは、撮影画角内の複数の測距点位置に対応して2次結像光学系を構成して、撮影画角内に複数の測距点を設ける。
図3は、図1に示す第1の焦点検出部12における測距点の配置を説明するための図である。そして、図3(a)は測距点の配置を示す図であり、図3(b)は測距視野の方向を示す図である。
いま、中央に位置する測距点をC、測距点Cに対してそれぞれ上および下に位置する測距点をTおよびBとする。さらに、測距点Cに対してそれぞれ左右に位置する測距点をLおよびRとし、測距点Cに対して対角に位置する測距点をTL、TR、BL、およびBRとする。
図3(b)に示すように、中央の測距点Cが、縦目および横目のクロス測距が可能であり、測距点TおよびBでは横目の測距が可能である。また、測距点L、R、TL、TR、BL、およびBRは縦目の測距点となっている。一般に横目の測距点は縦の模様に対して測距が可能であり、横の模様は苦手被写体となる。一方、縦目の測距点は横の模様に対して測距が可能であり、縦の模様は苦手な被写体となる。
図4は、図1に示す撮像素子11における撮像用画素の構造を説明するための図である。そして、図4(a)は平面図であり、図4(b)は図4(a)に示すA−A線に沿った断面図である。
図4(a)に示す例では、2行×2列の4画素のうち、対角の2画素にG(緑色)の分光感度を有する画素を配置し、他の2画素にそれぞれR(赤色)とB(青色)の分光感度を有する画素を配置したベイヤー配列が用いられている。そして、ベイヤー配列の間に、後述する構造の複数の焦点検出用画素が所定の規則で分散配置され、前述の2行×2列の画素構造が繰り返して配列される。
図4(b)において、各画素の最前面にはオンチップマイクロレンズMLが配置されている。そして、マイクロレンズMLの後には、R(赤)のカラーフィルタCFRおよびG(緑)のカラーフィルタCFGが配置されている。なお、PD(フォトダイオード)は、撮像素子11(例えば、CMOSイメージセンサ)の光電変換素子を模式的に示したものであり、CL(Contact Layer)はは撮像素子11における各種信号を伝達する信号線を形成するための配線層である。また、TL(Taking Lens)は撮像光学系を模式的に示したものである。
ここで、撮像用画素のマイクロレンズMLと光電変換素子PDとは、撮像光学系TLを通過した光束を可能な限り有効に取り込むように構成されている。撮像光学系TLの射出瞳EP(Exit Pupil:瞳領域ともいう)と光電変換素子PDとは、マイクロレンズMLによって共役関係にあり、かつ光電変換素子PDの有効面積は大面積に設計される。
また、図4(b)においては、R画素の入射光束について説明したが、G画素およびB(青)画素も同一の構造となっている。従って、撮像用のRGB各画素に対応した射出瞳EPは大径となり、被写体からの光束を効率よく取り込んで画像信号のS/Nを向上させている。
図5は、図1に示す撮像素子11において縦線検出のための焦点検出用画素の構造を説明するための図である。そして、図5(a)は平面図であり、図5(b)は図5(a)に示すB−B線に沿った断面図である。
図5においては、撮像光学系の水平方向(左右方向又は横方向)に瞳分割を行うための焦点検出用画素の配置および構造が示されており、ここで、水平方向とは、撮像光学系の光軸と撮像領域の長辺とが地面に平行となるようにカメラを構えた際、光軸と直交し、かつ水平方向に延びる直線に沿った方向をいう。
図5(a)において、2行×2列の撮像用画素のうちG画素を残してR画素およびB画素に相当する位置に所定の割合で焦点検出用画素が配列される。SHAおよびSHBはその分割形態が異なる焦点検出用画素である。つまり、これら焦点検出用画素SHAおよびSHBはベイヤー配列の間に所定の規則によって分散配置される。
具体的には、画像信号を得る際には、人間の画像認識特性は輝度情報に敏感であるため、G画素が欠損すると画質劣化が認められやすい。このため、G画素は輝度情報の主成分をなす。一方、R又はB画素は色情報を取得する画素であるが、人間は色情報には鈍感であるため、色情報を取得する画素は多少の欠損が生じても画質劣化に気づきにくい。そこで、2行×2列の画素のうちG画素は撮像用画素として残し、RとBに相当する位置の一部の画素に所定の割合で焦点検出用画素SHAおよびSHBを配列する。
マイクロレンズMLと光電変換素子PDとは図4(b)に示す撮像用画素と同一構造である。ここでは、焦点検出用画素の信号は画像生成には用いないので、色分離用カラーフィルタの代わりに透明膜CFW(無色)が配置される。また、撮像素子11で瞳分割を行うため、配線層CLの開口部はマイクロレンズMLの中心線に対して一方向(ここでは、水平方向)に偏心している。
具体的には、焦点検出用画素SHAの開口部OPHAは右側に偏心しているので、焦点検出用画素SHAは撮影光学系TLの左側の射出瞳EPHAを通過した光束を受光する。同様に、焦点検出用画素SHBの開口部OPHBは左側に偏心しているので、焦点検出用画素SHBは撮影光学系TLの右側の射出瞳EPHBを通過した光束を受光する。
ここで、焦点検出用画素SHAを水平方向に規則的に配列し、これらの焦点検出用画素群SHAで取得した被写体像(像信号)をA像(A像信号)とする。同様に、焦点検出用画素SHBも水平方向に規則的に配列して、これらの焦点検出用画素群SHBで取得した被写体像をB像(B像信号)とする。これらA像とB像の相対的位置(つまり、像ずれ量)を検出することで、水平方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)を検出することができる。
なお、画素SHAおよびSHBでは、撮像領域の横方向に輝度分布を有する被写体、例えば、縦線については焦点検出が可能であるが、縦方向に輝度分布を有する横線については焦点検出が不能である。そこで、ここでは、横線についても焦点検出を行うことができるように、撮像光学系の垂直方向(縦方向)に瞳分割を行う画素を備えている。
図6は、図1に示す撮像素子11において横線検出のための焦点検出用画素の構造を説明するための図である。そして、図6(a)は平面図であり、図6(b)は図6(a)に示すC−C線に沿った断面図である。
図6においては、撮像光学系の垂直方向(上下方向又は縦方向)に瞳分割を行うための焦点検出用画素の配置および構造が示されており、ここで、垂直方向とは、撮像光学系の光軸と撮像領域の長辺とが地面に平行となるようにカメラを構えた際、光軸と直交し、かつ鉛直方向に延びる直線に沿った方向をいう。
図6(a)において、2行×2列の撮像用画素のうちG画素を残してR画素およびB画素に相当する位置に所定の割合で焦点検出用画素が配列される。SVCおよびSVDはその分割形態が異なる焦点検出用画素である。つまり、これら焦点検出用画素SVCおよびSVDはベイヤー配列の間に所定の規則によって分散配置される。
図5(b)に示す例では画素が横方向に瞳分離する構造であるが、図6(b)に示す例では画素の瞳分離方向が縦方向になっている点が異なるのみで、その他の画素の構造は図5(b)に示す例と同様である。焦点検出用画素SVCの開口部OPVCは下側に偏心して撮影光学系TLの上側の射出瞳EPVCを通過した光束を受光する。同様に、焦点検出用画素SVDの開口部OPVDは上側に偏心して撮像光学系TLの下側の射出瞳EPVDを通過した光束を受光する。
ここで、焦点検出用画素SVCを垂直方向に規則的に配列し、これらの焦点検出用画素群SVCで取得した被写体像(像信号)をC像(C像信号)とする。同様に、焦点検出用画素SVDも垂直方向に規則的に配列して、これらの焦点検出用画素群SVDで取得した被写体像をD像(D像信号)とする。これらC像とD像の相対的位置(つまり、像ずれ量)を検出することで、垂直方向に輝度分布を有する被写体像のピントずれ量(デフォーカス量)を検出することができる。
図7は、図1に示す撮像素子11において撮像用画素の間に焦点検出用画素を離散的に配置する際の最小単位の配置規則を説明するための図である。
図7において、いま、10行×10列=100画素の正方形領域を1つのブロックとする。左上のブロックBLK(1,1)において、左下のR画素およびB画素を、水平方向に瞳分割を行う1組の焦点検出用画素SHAおよびSHBで置き換える。ブロックBLK(1,1)の右隣りのブロックBLK(1,2)においては、同様に左下のR画素およびB画素を、垂直方向に瞳分割を行う1組の焦点検出用画素SVCおよびSVDで置き換える。
さらに、ブロックBLK(1,1)の下側に隣接するブロックBLK(2,1)の画素配列をブロックBLK(1、2)と同様にする。そして、ブロックBLK(2,1)の右隣りに位置するブロックBLK(2,2)の画素配列をブロックBLK(1,1)と同様にする。
この配置規則を一般化すると、ブロックBLK(i,j)において、(i+j)が偶数であれば、当該ブロックBLK(i,j)に水平瞳分割用の焦点検出用画素を配置する。一方、(i+j)が奇数であれば、当該ブロックBLK(i,j)に垂直瞳分割用の焦点検出用画素を配置することになる。そして、図7に示す2×2=4ブロック、つまり、20行×20列=400画素の領域をブロックの上位の配列単位であるクラスタとする。
図8は、図7で説明したクラスタを単位とする配置規則を説明するための図である。
図8において、20行×20列=400画素で構成されたクラスタについて左上のクラスタをCST(u,w)=CST(1,1)とする。クラスタCST(1,1)においては、各ブロックの左下のR画素およびB画素が焦点検出用画素SHAおよびSHB又はSVCおよびSVDで書き換えられる。
クラスタCST(1,1)の右隣りに位置するクラスタCST(1,2)においては、ブロックに配置される焦点検出用画素を、クラスタCST(1,1)に対して上方向に2画素分シフトした位置に配置する。また、クラスタCST(1,1)の下側に隣接するクラスタCST(2,1)においては、ブロックに配置される焦点検出用画素を、クラスタCST(1,1)に対して右方向に2画素分シフトした位置に配置する。このような規則によって焦点検出用画素を配置すると図8に示すような配置が得られる。
上記の配置規則を一般化すると以下のようになる。なお、焦点検出用画素の座標は、図5又は図6に示すG画素を含む4画素を一つの単位(ペア)として、当該ペアのうちの左上の画素の座標を用いて規定される。また、各ブロックにおける座標は左上を(1、1)として、下方向と右方向を正とする。
クラスタCST(u,w)において、各ブロックにおける焦点検出用画素ペアの水平座標は(2×u−1)となり、垂直座標は(11−2×w)となる。そして、図8に示す5×5=25クラスタ、つまり、100行×100列=1万画素の領域を、クラスタの上位の配列単位であるフィールドとする。
図9は、図8で説明したフィールドを単位とする配置規則を説明するための図である。
図9において、100行×100列=1万画素で構成された左上のフィールドをFLD(q,r)=FLD(1,1)とする。そして、全てのフィールドFLD(q,r)はフィールドFLD(1,1)と同様の配列となっている。
フィールドFLD(q,r)を水平方向に45個、垂直方向に30個配列すると、3000行×4500列=1350万画素の撮像領域は1350個のフィールドFLD(q,r)で構成される。そして、撮像領域全面に亘って焦点検出用画素が均一に分布される。
図10は、図1に示す撮像素子11に備えられた焦点検出用画素である第2の焦点検出部における瞳分割機能を概念的に説明する図である。
図10において、撮影光学系TLを介して被写体OBJの像が撮像素子11に結像し、撮像素子11は当該像(光学像)に応じた像信号IMGを出力する。撮像素子11において、撮像用画素は、図4で説明したように、撮影光学系TLの射出瞳全域EPを通過した光束を受光する。一方、焦点検出用画素は、図5および図6で説明した瞳分割機能を有している。
つまり、撮像素子11において、図5で説明した画素SHAは撮像面からレンズ後端をみて左側の瞳領域を通過した光束LHA、つまり、図10に示す瞳領域EPHAを通過した光束を受光する。同様して、画素SHB、SVC、およびSVDはそれぞれ瞳領域EPHB、EPVC、およびEPVDを通過した光束LHB、LHC、およびLHDを受光する。そして、焦点検出用画素は、撮像素子11の全領域に亘って配列されているので、撮像領域全域において焦点検出を行うことができる。
図11は、図1に示す撮像素子11で得られた画像と焦点検出領域とを説明するための図である。
図11において、撮像素子11の撮像面に結像した被写体像(光学像)では、その中央に人物、左側に近景の樹木、そして、右側に遠景の山並みが存在する。前述のように、撮像素子11においては、焦点検出用画素として横ずれ検出用の画素ペアSHAおよびSHBと縦ずれ検出用の画素ペアSVCおよびSVDとが撮像領域全域に亘って均等な密度で配置されている。
横ずれ検出の際には、後述するように、位相差演算のためのAF画素信号がグループ化処理される。また、縦ずれ検出の際には、位相差演算のためのAF画素信号がグループ化処理される。これによって、撮像領域の任意位置において横ずれ検出および縦ずれ検出のための測距領域を設定することができる。
図11においては、画像の中央に人物の顔が存在している。そこで、既知の顔認識手法によって顔の存在を検出すると、顔領域を中心として横ずれ検知のための焦点検出領域AFARh(x1,y1)と縦ずれ検知のための焦点検出領域AFARv(x3,y3)とが設定される。ここで、hは水平方向を表し、(x1,y1)および(x3,y3)は焦点検出領域の左上隅の座標を表す。
焦点検出領域AFARh(x1,y1)の各セクションに含まれる5個の焦点検出画素用SHAを加算して、その加算結果を30セクションに亘って連結した位相差検出用のA像信号がAFSIGh(A1)である。同様に、各セクションの5個の焦点検出画素用SHBを加算して、その加算結果を30セクションに亘って連結した位相差検出用のB像信号がAFSIGh(B1)である。
そして、A像信号AFSIGh(A1)とB像信号AFSIGh(B1)の相対的な横ずれ量を既知の相関演算によって求めれば、被写体の焦点ずれ量(デフォーカス量)を得ることができる。
焦点検出領域AFARv(x3,y3)についても同様にして焦点ずれ量を求める。そして、横ずれおよび縦ずれの焦点検出領域で検出した2つの焦点ずれ量を比較して、信頼性の高い値を採用する。
一方、画像の左側に位置する樹木の幹部は縦線成分が主体であるので、つまり、横方向に輝度分布を有しているので、横ずれ検知に適した被写体と判定されて、横ずれ検知のための焦点検出領域AFARh(x2,y2)が設定される。また、画像の右側に位置する山並み稜線部は横線成分が主体であるので、つまり、縦方向に輝度分布を有しているので、縦ずれ検知に適した被写体と判定されて、縦ずれ検知のための焦点検出領域AFARv(x4,y4)が設定される。
上述のように、第2の焦点検出部においては、横ずれおよび縦ずれ検出のための焦点検出領域が画像の任意位置に設定可能であるので、被写体の投影位置および輝度分布の方向性が様々であっても、常に正確に焦点検出を行うことができる。
図12は、図1に示すカメラにおける撮影処理を説明するためのフローチャートである。なお、図示のフローチャートに係る処理はカメラ制御部13の制御下で行われる。
いま、ユーザがカメラの電源スイッチ(メインスイッチ)をオン操作すると、カメラ制御部13はレンズ駆動部3などのアクチュエータおよび撮像素子11の作確認を行って、内蔵メモリおよび実行プログラムの初期化を行う(ステップS102)。続いて、カメラ制御部13はフォーカス制御部5を介して撮像光学系2のズーム位置およびフォーカス位置などの撮像光学系状態を検出して、レンズ情報を得る(ステップS103)。
次に、カメラ制御部13はユーザ操作による撮影条件設定を受付けて(ステップS104)、焦点検出および撮影の準備を終了する。そして、カメラ制御部13は前述のようにして測距点を選択して(ステップS105)、レリーズスイッチ(図示せず)が半押されてスイッチがオンしたか否かを判定する(ステップS106)。
レリーズ半押しによるスイッチのオンがないと(ステップS106において、NO)、カメラ制御部13は待機する。一方、レリーズ半押しによってスイッチがオンすると(ステップS106において、YES)、カメラ制御部13は、撮影条件設定によって動体予測モードがオンとされたか否かを判定する(ステップS107)。
動体予測モードがオフであると(ステップS107において、NO)、カメラ制御部13は後述する第1の焦点検出サブルーチンを実行する(ステップS201)。そして、カメラ制御部13は第1の焦点検出サブルーチンの実行によって得られた第1の焦点検出結果が合焦(合焦状態)を示しているか否かを判定する合焦判定を行う(ステップS108)。
合焦判定の結果が合焦でないと(ステップS108において、NO)、カメラ制御部13は、第1の焦点検出結果に応じてフォーカス制御部5を制御してレンズ駆動部3によってフォーカスレンズを光軸17に沿って駆動する(ステップS109)。そして、カメラ制御部13はステップS201の処理に戻って再度第1の焦点検出サブルーチンを実行する。
一方、合焦判定の結果が合焦であると(ステップS108において、YES)、カメラ制御部13は液晶パネル30に合焦された旨の合焦表示を行う(ステップS110)。そして、カメラ制御部13は撮影開始スイッチ(図示せず)がオンしたか否かを判定する(ステップS111)。
撮影開始スイッチがオフであると(ステップS111において、NO)、カメラ制御部13は待機する。撮影開始スイッチがオンとなると(ステップS111において、YES)、カメラ制御部13は、後述する撮影サブルーチンを実行する(ステップS501)。そして、カメラ制御部13は撮影処理を終了する。
ステップS107において、動体予測モードがオンであると(ステップS107において、YES)、カメラ制御部13は、後述する動体予測サブルーチンを実行する(ステップS401)。そして、カメラ制御部13は動体予測サブルーチンの実行によって得られた焦点検出結果(以下第2の焦点検出結果と呼ぶ)に応じてフォーカスレンズを光軸に沿って駆動する(ステップS113)。
続いて、カメラ制御部13は撮影開始スイッチがオンしたか否かを判定する(ステップS114)。撮影開始スイッチがオフであると(ステップS114において、NO)、カメラ制御部13はステップS106の処理に戻って、レリーズスイッチが半押しされたか否かを判定する。
一方、撮影開始スイッチがオンとなると(ステップS114において、YES)、カメラ制御部13は、ステップS501の撮影サブルーチンを実行して、ステップS106の処理に戻って、レリーズスイッチが半押しされたか否かを判定する。
図13は、図12に示す第1の焦点検出サブルーチンを説明するためのフローチャートである。なお、第1の焦点検出サブルーチンでは第1の焦点検出部12による焦点検出結果に応じた演算装置14による演算結果に基づいて、カメラ制御部13は測距動作を行うことになる。
第1の焦点検出サブルーチンが開始されると、カメラ制御部13は、前述のステップS105で選択した測距点に応じて測距点範囲を設定する(ステップS202)。これによって、第1の焦点検出部12から測距点範囲にある焦点検出画素から像信号が出力されて(ステップS203)、演算装置14がカメラ制御部13の制御下で像信号に応じて相関演算を行う(ステップS204)。そして、カメラ制御部13は相関演算結果に基づいて相関信頼性判定を行う(ステップS205)。
相関信頼性判定の結果がNGであると(ステップS205において、NO)、カメラ制御部13はステップS202の処理に戻って再度測距点範囲の設定を行う。一方、相関信頼性判定の結果がOKであると(ステップS205において、YES)、カメラ制御部13は像信号に応じて焦点ズレ量を算出して(ステップS206)、第1の焦点検出サブルーチンを終了する。
図14は、図12に示す動体予測サブルーチンを説明するためのフローチャートである。
動体予測サブルーチンが開始されると、カメラ制御部13は内蔵メモリに記録された動体予測曲線を読み込む(ステップS402)。そして、カメラ制御部13はステップS201で説明した第1の焦点検出サブルーチンを実行する。
第1の焦点検出サブルーチンを終了すると、カメラ制御部13は動体予測曲線と焦点ずれ量とを比較して第1の動体予測演算を行う(ステップS403)。続いて、カメラ制御部13は演算装置14を制御して動体予測曲線の連続性を判定して第1の連続性判定結果を得る(ステップS404)。第1の連続性判定結果に応じて動体予測曲線の連続性判定がOKであると(ステップS404において、YES)、カメラ制御部13は動体が状態Aであると判定する(ステップS405)。
一方、動体予測曲線の連続性判定がNGであると(ステップS404において、NO)、カメラ制御部13は、後述する第2の焦点検出サブルーチンを実行する(ステップS301)。そして、カメラ制御部13は動体予測曲線と焦点ずれ量とを比較して第2の動体予測演算を実行する(ステップS406)。
次に、カメラ制御部13は演算装置14を制御して動体予測曲線の連続性を判定して第2の連続性判定結果を得る(ステップS407)。第2の連続性判定結果に応じて動体予測曲線の連続性判定がOKであると(ステップS407において、YES)、カメラ制御部13は動体が状態Bであると判定する(ステップS408)。
一方、動体予測曲線の連続性判定がNGであると(ステップS407において、NO)、カメラ制御部13は動体が状態Cであると判定する(ステップS409)。
ステップS405、S408、又はS409の処理の後、カメラ制御部13は状態A、B、又はCに応じて動体予測(つまり、移動予測)の再補間処理を行って(ステップS410)、動体予測サブルーチンを終了する。
図15は、図14に示す第2の焦点検出サブルーチンを説明するためのフローチャートである。
第2の焦点検出サブルーチンが開始されると、カメラ制御部13は前述のステップS105で選択した測距点に基づいて焦点検出範囲を設定する(ステップS302)。そして、カメラ制御部13は演算装置14を制御して焦点検出範囲にある撮像用画素および焦点検出用画素から像信号(つまり、画素信号)を読み出す(ステップS303)。
続いて、カメラ制御部13は撮像用画素信号に基づいて被写体のパターン認識を行う(ステップS304)。そして、カメラ制御部13は認識した被写体領域に基づいて、像ズレ検出方向を選択する(ステップS305)。次に、カメラ制御部13は図7又は図9で説明したセクション構造に基づいて、各セクションにおける焦点検出用画素信号を加算してAF画素信号を得る(ステップS306)。
続いて、カメラ制御部13はAF画素信号に基づいて相関演算用の2像信号を得る(ステップS307)。具体的には、カメラ制御部13は、図11に示すAFSIGh(A1)とAFSIGh(B1)、又はAFSIGv(C3)とAFSIGv(D3)などの対の信号を生成する。
その後、カメラ制御部13の制御下で演算装置14は2像の相関演算を行って、2像の相対的な位置ずれ量を求める(ステップS308)。そして、カメラ制御部13は相関演算結果の信頼性を判定する(ステップS309)。ここで、信頼性とは、2像の一致度をいい、例えば、一致度が所定の閾値以上である場合には、2像の一致度が良いとされ、焦点検出結果の信頼性が高い。このため、複数の焦点検出領域が選択されている場合には、信頼性の高い領域が優先的に用いられる。
信頼性がNGであると(ステップS309において、NO)、カメラ制御部13はステップS302の処理に戻って、再度焦点検出範囲を設定する。一方、信頼性がOKであると(ステップS309において、YES)、カメラ制御部13は演算装置14を制御して焦点検出結果に応じて焦点ずれ量を求める(ステップS310)。そして、カメラ制御部13は第2の焦点検出サブルーチンを終了する。
図16は、図12に示す撮影サブルーチンを説明するためのフローチャートである。
撮影サブルーチンが開始されると、カメラ制御部13は光量調節絞り(図示せず)を駆動するとともに、露光時間を規定するメカニカルシャッタの開口制御を行う(ステップS502)。そして、カメラ制御部13の制御下で、演算装置14は静止画撮影のための画素読み出しを行う(ステップS503)。つまり、撮像素子11の全画素の読み出しが行われる。
演算装置14は画素読み出しの結果得られた画像信号について欠損画素補間を行う(ステップS504)。ここでは、焦点検出用画素の出力は撮像のためのRGBカラー情報を有していないので、画像を得る際には欠陥画素に相当する。よって、演算装置14は当該欠陥画素の周囲に位置する撮像用画素の画素信号に応じて補間処理を行ってより画像信号を生成する。
続いて、演算装置14は画像信号についてγ補正およびエッジ強調などの画像処理を行う(ステップS505)。そして、カメラ制御部13は画像処理後の画像信号である画像データを図示しないフラッシュメモリに撮影画像として記録する(ステップS506)。その後、カメラ制御部13はLCDなどの表示部(図示せず)に画像データに応じた画像を表示して(ステップS507)、撮影サブルーチンを終了する。
このように、本発明の第2の実施形態では、撮像素子11に横ずれおよび縦ずれ検出のための焦点検出領域を全領域に亘って設定するようにしたので、被写体の投影位置および輝度分布の方向性が様々であっても、第2の焦点検出部によって撮像領域全域で撮像面位相差AFによる焦点検出を行うことができる。
図17は、図1に示す第1の焦点検出部12と第2の焦点検出部である撮像素子11におけるデフォーカス検出結果を示す図である。
図17においては、デフォーカス検出結果が時間(横軸)に対するピント位置(縦軸)で表されている。図中、白四角の点は第1の焦点検出部12で得られたピント位置の検出結果を示し、黒四角の点は第1の焦点検出部12による測距結果が不安定な状態を示す。一方、白丸の点は第2の焦点検出部で得られたピント位置の検出結果を示し、黒丸の点は第2の焦点検出部による測距結果が不安定な状態を示す。
図18は、図17に示すデフォーカス検出結果に応じた動体予測曲線の一例を示す図である。
図18では、図17に示すデフォーカス検出結果に基づいて、第1の焦点検出部12および第2の焦点検出部による動体予測曲線が示されている。図示のように、移動する被写体(動体)について撮影を行う際には事前に被写体に対するピントを予測してフォーカス制御を行う必要がある。
図19は、図1に示す第1の焦点検出部12における測距点移動を説明するための図である。そして、図19(a)〜図19(f)はそれぞれ図17に示す区間(a)〜(f)に対応する測距点を示す図である。
また、図20は図1に示す第2の焦点検出部として用いられる撮像素子11における測距点移動を説明するための図である。そして、図20(a)〜図20(f)はそれぞれ図18に示す区間(a)〜(f)に対応する測距点を示す図である。
図17〜図20を参照して、測距点の乗り移りの際には、第1の焦点検出部12においてはピント検出の誤差が大きくなるか又は測距不能となる。測距不能の際には、直前の移動トレンドをメモリなどに保存しておけばよいが、誤差が大きい焦点検出結果を反映させてしまうと、その直後の被写体ピント予測が大きくズレてしまうことになる。
前述のように、ここでは、撮像素子11を第2の焦点検出部として用い、撮影画角全面に焦点検出画素が配置されているので、第1の焦点検出部12における焦点検出で誤差を生じる場合であっても、第2の焦点検出部によってピントの移動を検出することが可能となる。
図19(a)および図20(a)においては、主被写体が測距点Cで捉えられているので、第1および第2の焦点検出部のいずれを用いても動体予測を行うことができる。但し、第2の焦点検出部においては、その検出精度が第1の焦点検出部と比較して若干悪いので、第2の焦点検出部では焦点検出結果がばらつく現象が起こりやすい。
この場合には、第1の焦点検出部による焦点検出結果を用いて動体予測曲線が算出される。この状態は図14に示すステップS404およびS405による連続性判定結果によって得られる状態Aに相当する。
図19(b)および図20(b)においては、主被写体が測距点Cからズレているので、第1の焦点検出部を用いた際には誤検出が生じやすい。一方、第2の焦点検出部を用いた場合には検出枠を主被写体に捉えた状態であるので、検出精度を確保する確率が第1の焦点検出部よりも高くなる。この場合には、第2の焦点検出部による焦点検出結果に基づいて動体予測曲線が算出される。この状態は図14に示すステップS407およびS408による連続性判定によって得られる状態Bに相当する。
図19(c)および図20(c)においては、主被写体が測距点TRによって捉えられているので、第1および第2の焦点検出部のいずれを用いても動体予測を行うことができる。この場合も、図19(a)および図20(a)と同様に第1の焦点検出部による焦点検出結果に応じて動体予測曲線が算出される。この状態は図14に示すステップS404およびS405による連続性判定結果によって得られる状態Aに相当する。
図19(d)および図20(d)においては、主被写体が測距点CおよびTRからズレているので、第1の焦点検出部を用いた際には誤検出が生じやすい。ここでは、第2の焦点検出部を用いた際においても検出精度が低下する。
この場合には、第1の焦点検出部による直前までの検出結果に応じて動体予測曲線が算出される。この状態は図14に示すステップS407およびS409による連続性判定によって得られる状態Cに相当する。
図19(e)および(f)と図20(e)および(f)においては、図19(a)および図20(a)と同様に主被写体が測距点Cにより捉えられているので、第1の焦点検出部による焦点検出結果に基づいて動体予測曲線が算出される。この状態は図14に示すステップS404およびS405による連続性判定結果によって得られる状態Aに相当する。
ところで、カメラを出荷する際には、第1の焦点検出部および第2の焦点検出部は同一の焦点検出結果が得られるように調整されている。しかしながら、実際にカメラを用いて撮影を行う際には、被写体、環境、および背景光などに起因して、必ずしも第1および第2の焦点検出結果による焦点検出結果が一致せず、平均値がオフセットすることがある。
図17および図18にはオフセットが発生した状態が示されており、このような場合には、第1の焦点検出部および第2の焦点検出部による焦点検出結果が安定していると判定した際の差分を補正値としてメモリなどに保存しておけばよい。
図1に示すカメラにおいては、図17〜図20で説明したようにして、図14に示すステップS410の動体予測再補間演算が行われることになる。
このようにして、本発明の第1の実施形態では、カメラが第1および第2の位相差AFを備えているので、被写体が移動した際の合焦を精度よく行うことができる。そして、第1の焦点検出部によって焦点検出を行うことが苦手なシーンになった際にのみ、第2の焦点検出部を用いて焦点検出を行うようにすれば、焦点ズレが大きく飛ぶという現象を回避することができる。
なお、ここでは、動体予測がオフの際には、第1の焦点検出部のみを用いる例について説明したが、第1および第2の焦点検出部を用いる所謂ハイブリッドAFを行うようにしてもよい。
[第2の実施形態]
続いて、本発明の第2の実施形態による焦点検出装置を備えるカメラの一例ついて説明する。
図21は、本発明の第2の実施形態による焦点検出装置のカメラの一例についてその構成を示す図である。なお、図21に示すカメラにおいて、図1に示すカメラと同一の構成要素については同一の参照番号を付して説明を省略する。
前述の第1の実施形態においては、第1および第2の焦点検出部ともにTTL位相差検出方式が用いられているが、図21に示すカメラでは第2の焦点検出部として外測AF部40が設けられている。このため、図21に示すカメラでは撮像素子11は位相差AFが可能となる焦点検出用画素を備える必要がない。
上記の外測AF部40は撮像光学系を通過しない光(つまり、外光)を用いて被写体までの距離を検出して、当該検出距離に基づいてフォーカスレンズの焦点状態を検出する。例えば、外測AF部40は一対のラインセンサを備えており、演算装置14はカメラ制御部13の制御下でラインセンサから得られる2像の相関演算を行ってその位相ずれ量を算出して、三角測距の原理を用いて被写体までの距離を測定する。そして、カメラ制御部13はフォーカス制御部5によって当該検出距離に基づいてフォーカスレンズの焦点位置を制御する。
図21に示すカメラでは、第1の焦点検出部12と外測AF部40(第2の焦点検出部)とは視差が生じるが、第1の実施形態と同様にして第1の焦点検出部と第2の焦点検出部との移動曲線の連続性を確認するによって、第1の焦点検出部と第2の焦点検出部で得られた被写体像が同一であるか否かを判別することができる。そして、同一の被写体像であることを確認した後、第1の焦点検出部12による焦点検出結果の連続性が崩れた場合に、第2の焦点検出部で得られた動体予測曲線による補間演算を行う。
このように、本発明の第2の実施形態においてもカメラが第1および第2の位相差AFを備えているので、被写体が移動した際の合焦を精度よく行うことができる。そして、第1の焦点検出部によって焦点検出を行うことが苦手なシーンになった際にのみ、第2の焦点検出部を用いて焦点検出を行うようにすれば、焦点ズレが大きく飛ぶという現象を回避することができる。
なお、撮像素子11が、位相差AFが可能となる焦点検出用画素を備えている場合には、2つのTTL位相差AF部と外測AF部の3つの位相差AF部が存在することになる。この際には、これら3つの位相差AF部による焦点検出結果の連続性を判定して、動体予測の連続性を確保するようにしてもよい。
[第3の実施形態]
続いて、本発明の第3の実施形態による焦点検出装置を備えるカメラの一例ついて説明する。
図22は、本発明の第3の実施形態による焦点検出装置のカメラの一例についてその構成を示す図である。なお、図22に示すカメラにおいて、図1に示すカメラと同一の構成要素については同一の参照番号を付して説明を省略する。
図22に示すカメラでは、外測AF部40が第1の焦点検出部として用いられ、撮像素子11が第2の焦点検出部として用いられる。よって、図22に示す例では、ペリクルミラー19および2次結像タイプの第1の焦点検出部(位相差AF部)12が存在しない。
図22に示すカメラにおいても、位相差AFが2つ存在するので、焦点検出結果の連続性を判定すれば、2つの位相差AFによって互いに補完することができる。
上述の説明から明らかなように、図1に示す例においては、第1の焦点検出部12、信号検出部12a、演算装置14、およびカメラ制御部13が第1の焦点検出手段として機能する。また、撮像素子11、信号検出部12a、演算装置14、およびカメラ制御部13が第2の焦点検出手段として機能する。
さらに、演算装置14およびカメラ制御部13は判定手段および選択手段として機能する。そして、演算装置14およびカメラ制御部13は予測手段としても機能する。加えて、フォーカス制御部5、レンズ状態検出部4、およびレンズ駆動部3は駆動制御手段として機能する。
なお、図1に示す例では、少なくとも撮像素子11、第1の焦点検出部12、信号検出部12aおよび11a、演算装置14、およびカメラ制御部13が焦点検出装置を構成する。
以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。
例えば、上記の実施の形態の機能を制御方法として、この制御方法を焦点検出装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを焦点検出装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。
上記の制御方法および制御プログラムの各々は、少なくとも第1の焦点検出ステップ、第2の焦点検出ステップ、判定ステップ、および選択ステップを有している。
また、本発明は、以下の処理を実行することによっても実現される。つまり、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種の記録媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPUなど)がプログラムを読み出して実行する処理である。