本発明の一実施の形態における焦点検出装置およびその焦点検出装置を含む撮像装置について、図を用いて説明する。図1は、本実施の形態における焦点検出装置50を含む撮像装置100の構成を示す図である。撮像装置100は、焦点検出装置50と、液晶表示素子1と、撮像素子2と、撮影光学系4と、レンズ駆動用モータ5と、ハーフミラー7と、焦点調節装置8と、記憶装置15とを含む。焦点検出装置50は、焦点検出センサ6と、マイクロレンズアレイ9と、制御装置3とを含む。
撮影光学系4は、被写体像を結像面上に結像させるための光学系である。撮影光学系4は複数のレンズや絞りを含み、それら複数のレンズのうち、焦点調節レンズが、レンズ駆動用モータ5によって、撮影光学系4の光軸10の方向に移動可能である。
ハーフミラー7は、例えばペリクルミラーのような薄いミラーであって、図1に示すように光軸10に沿った光路中に位置し、撮影光学系4を通過した入射光束の一部を光軸10aの方向、すなわちマイクロレンズアレイ9の方へ反射させるとともに、その入射光束のうちの反射されなかった残りを透過させる。ハーフミラー7によって反射された反射光束は、複数のマイクロレンズが2次元的に配列されることによって構成されたマイクロレンズアレイ9を透過し、焦点検出センサ6へ入射する。ハーフミラー7を透過した透過光束は、撮像素子2へ入射する。マイクロレンズアレイ9は撮影光学系4の結像面に配置され、その位置は撮像素子2の撮像面の位置と等価である。
焦点検出センサ6には、受光した光束に応じて電気的な焦点検出信号を生成する複数の焦点検出画素が配列される。それら複数の焦点検出画素のうち、焦点検出エリア内の一部の焦点検出画素によって構成される一対の焦点検出画素グループが、マイクロレンズアレイ9を介して焦点検出センサ6へ入射する光束のうちの一対の光束を受光して光電変換処理を行うことによって、被写体像に対応する電気的な一対の焦点検出信号列が生成される。詳細について、図3を用いて後述する。焦点検出エリアは、液晶表示素子1が、撮像素子2によって出力される後述する複数の撮像信号に基づくスルー画像を画面表示する際に、そのスルー画像に重畳して画面表示されることとしてもよい。複数の焦点検出エリアが液晶表示素子1に画面表示され、それら表示された複数の焦点検出エリアのうちから1つを、使用者が液晶表示素子1の画面を見ながら指定することとしてもよい。
上述した一対の焦点検出信号列生成の際には、焦点検出センサ6の光電変換制御として、例えば複数の焦点検出画素の露光制御、複数の焦点検出信号の読み出し制御、および/または読み出した複数の焦点検出信号の増幅制御等が、制御装置3によって行われる。焦点検出センサ6によって生成された一対の焦点検出信号列は、制御装置3へ出力される。
制御装置3は、焦点検出センサ6によって出力された一対の焦点検出信号列に基づいて、瞳分割型位相差検出方式により撮影光学系4の焦点検出を行う。制御装置3は、焦点検出により得られる焦点検出用パラメータとして一対の焦点検出信号列の位相差量を検出する。あるいは、その位相差量に応じた焦点検出用パラメータとしてデフォーカス量を演算する。制御装置3は、それらの位相差量またはデフォーカス量に基づいて焦点調節用パラメータを決定し、その決定した焦点調節用パラメータに基づいて、撮影光学系4の焦点調節レンズのレンズ駆動量を演算し、そのレンズ駆動量を焦点調節装置8に送信する。そのレンズ駆動量を受信した焦点調節装置8は、レンズ駆動用モータ5を介して撮影光学系4の焦点調節レンズのレンズ駆動をそのレンズ駆動量だけ行う。制御装置3によって行われる焦点検出処理の詳細については、図4および図6を用いて後述する。
撮影処理の際、ハーフミラー7は、焦点検出センサ6を覆うように跳ね上がることによって、光路から退避するため、撮影光学系4を通過した入射光束のすべてが撮像素子2に入射し、撮像素子2の受光面上に被写体像を結像する。撮像素子2には、複数の撮像画素が2次元状に配列されており、複数の撮像画素がその入射光束を受光し、光電変換を行うことによって、撮影光学系4によって結像された被写体像に対応する電気的な複数の撮像信号を生成する。生成された複数の撮像信号が、撮像素子2によって出力される。
制御装置3は、撮像素子2によって出力された複数の撮像信号に基づいて画像を生成し、その生成した画像を、液晶表示素子1にスルー画像として表示させるとともに、使用者による撮像指示に応じて実行する撮像処理の際に記憶装置15に記録する。制御装置3によって行われる撮像処理の詳細については、図12を用いて後述する。
図2は、焦点検出センサ6および焦点検出センサ6を覆うマイクロレンズアレイ9を示す図である。図2(a)は、図1に示した光軸10a近傍における焦点検出センサ6およびマイクロレンズアレイ9を拡大表示した様子を示している。焦点検出センサ6には複数の焦点検出画素60が2次元状に配列される。マイクロレンズアレイ9には複数のマイクロレンズ90が2次元状に(ハニカム状に)、100μm以下のピッチで配列されている。マイクロレンズ90の形状を球形で図示しているが、ハニカム状の配列に合わせて六角形であってもよい。
図2(b)は、マイクロレンズアレイ9の直上から見たときの、マイクロレンズアレイ9およびその向こう側の焦点検出センサ6を重ねて表した図である。図2(b)の例では、各マイクロレンズ90に垂直方向5画素×水平方向5画素からなる複数の焦点検出画素60が対応している。図1に示した撮影光学系4を通過した入射光束の一部がハーフミラー7によって反射されて到来する反射光束は、マイクロレンズアレイ9を透過して焦点検出センサ6へ入射する。図3を用いて後述するように、各マイクロレンズ90を透過した光束は、各マイクロレンズ90に対応する垂直方向5画素×水平方向5画素の合計25画素からなる複数の焦点検出画素60によって受光され、光電変換により電気的な焦点検出信号に変換される。各マイクロレンズ90に対応する複数の焦点検出画素60は、垂直方向5画素×水平方向5画素の合計25画素に限られない。
図3は、複数の焦点検出画素60とマイクロレンズ90との対応関係を示す図である。図3(a)および図3(b)は、複数の焦点検出画素60およびマイクロレンズ90の平面図である。図3(a)および図3(b)に示す例では、各マイクロレンズ90に対応する複数の焦点検出画素60は、垂直方向5画素×水平方向5画素の合計25画素である。それら25画素の焦点検出画素60のうちから、上述した一対の焦点検出画素グループが規定される。図3(a)に示す各マイクロレンズ90に対応する垂直方向5画素×水平方向5画素の合計25画素の焦点検出画素60の例では、水平方向の両端に位置する2つの垂直方向の焦点検出画素列のそれぞれに含まれる5つずつの焦点検出画素のうち、中央の3つずつの焦点検出画素が、一対の焦点検出画素グループ610aおよび610bとして、ハッチングされて示されている。
図3(b)に示す各マイクロレンズ90に対応する垂直方向5画素×水平方向5画素の合計25画素の焦点検出画素60の例では、水平方向の紙面に向かって左端に位置する垂直方向の焦点検出画素列と、それに隣接する垂直方向の焦点検出画素列とのそれぞれに含まれる5つずつの焦点検出画素のうち、中央の3つずつの焦点検出画素が、一対の焦点検出画素グループ620aおよび620bのうちの一方の焦点検出画素グループ620aとして、ハッチングされて示されている。水平方向の紙面に向かって右端に位置する垂直方向の焦点検出画素列と、それに隣接する垂直方向の焦点検出画素列とのそれぞれに含まれる5つずつの焦点検出画素のうち、中央の3つずつの焦点検出画素が、一対の焦点検出画素グループ620aおよび620bのうちの他方の焦点検出画素グループ620bとして、ハッチングされて示されている。図3(b)に示すように、一対の焦点検出画素グループ620aおよび620bの各々は、垂直方向に並ぶ3つの焦点検出画素が水平方向に2列隣接して並ぶことによって、合計6個の焦点検出画素を含む。
図3(c)および図3(d)は、それぞれ図3(a)および図3(b)に示す垂直方向5画素×水平方向5画素の合計25画素の焦点検出画素60およびマイクロレンズ90の平面図を、25画素の焦点検出画素60の中心に位置する焦点検出画素を通って水平方向に延びる一点鎖線S1およびS2で切ったときの断面図である。図3(c)において、一対の焦点検出画素グループ610aおよび610bは、撮影光学系4の一対の瞳領域およびマイクロレンズ90を通過する一対の光束11および12を受光し、光電変換により電気的な一対の焦点検出信号を生成する。図3(a)には、25画素の焦点検出画素60およびマイクロレンズ90の組合せが5組、例示されている。したがって、5つの焦点検出画素グループ610aによって生成される5つの焦点検出信号を含む焦点検出信号列と、5つの焦点検出画素グループ610bによって生成される5つの焦点検出信号を含む焦点検出信号列とが得られ、それら2つの焦点検出信号列が一対の焦点検出信号列を形成する。同様に、図3(d)において、一対の焦点検出画素グループ620aおよび620bは、撮影光学系4の一対の瞳領域およびマイクロレンズ90を通過する一対の光束13および14を受光し、光電変換により電気的な一対の焦点検出信号を生成する。図3(b)には、25画素の焦点検出画素60およびマイクロレンズ90の組合せが5組、例示されている。したがって、5つの焦点検出画素グループ620aによって生成される5つの焦点検出信号列と、5つの焦点検出画素グループ620bによって生成される5つの焦点検出信号列とが得られ、それら2つの焦点検出信号列が一対の焦点検出信号列を形成する。
こうして得られた一対の焦点検出信号列の位相差、あるいは位相差に基づいて演算されるデフォーカス量に基づいて、撮影光学系4の焦点調節を行うことができる。なお、図3(c)に示す一対の焦点検出画素グループ610aおよび610b相互間の距離は、図3(d)に示す一対の焦点検出画素グループ620aおよび620b相互間の距離よりも大きい。したがって、図3(c)に示す一対の光束11および12が成す開き角の大きさは、図3(d)に示す一対の光束13および14が成す開き角の大きさよりも大きい。いずれの場合であっても本発明を適用することは可能であるが、開き角の大きさが大きい方が、後述する遠近競合に起因する焦点検出信号値の変化の違いが検出されやすいため、図3(c)に示すような開き角の大きな構成が採用できる場合に本発明を適用することが好ましい。
図4は、制御装置3によって行われる焦点検出処理のフローチャートである。制御装置3は、例えばCPUおよびメモリによって構成されるコンピュータである。そのCPUがメモリに格納されたコンピュータプログラムを実行することによって、図4に示す焦点検出処理を構成する各ステップの処理が行われる。
図4に示す焦点検出処理を構成する各ステップの処理について、図5に示す撮影画面250の例を用いて説明する。図5において、撮影画面250には、撮影光学系4によって結像される2つの被写体像、すなわち樹木を含む背景の被写体像210と、人物の被写体像220とが含まれている。撮影画面250には、焦点検出エリア200も表示されており、その焦点検出エリア200の中にも、撮像装置100から遠くに位置する樹木を含む背景の被写体像210と、近くに位置する人物の被写体像220とが含まれている。撮影画面250には、通常は複数の焦点検出エリア200が表示されるが、図5の撮影画面250においては、後述する図4のステップS101で使用者によって指定された1個の焦点検出エリア200だけを例示している。
ステップS101において、制御装置3は、使用者によって不図示の操作部材を介して本焦点検出処理が開始されるとともに焦点検出エリア200が指定されたか否かを判定する。否定判定の場合は、肯定判定がなされるまでステップS101の処理が繰り返される。肯定判定の場合、制御装置3は、指定された焦点検出エリア200を対象とした本処理をステップS102へ進める。上述した操作部材は例えば自動焦点検出起動スイッチであって、本処理は、その自動焦点検出起動スイッチがオンに設定されることによって開始される。あるいは、その操作部材はシャッターレリーズボタンであって、本処理は、そのシャッターレリーズボタンが半押し状態に設定されることによって開始される。
ステップS102において、制御装置3は、焦点検出センサ6の光電変換制御を行う。焦点検出センサ6の光電変換制御としては、例えば、焦点検出センサ6に配置された複数の焦点検出画素60の露光制御、複数の焦点検出信号の読み出し制御、および/または読み出した複数の焦点検出信号の増幅制御等が行われる。
ステップS103において、制御装置3は、ステップS102で読み出された複数の焦点検出信号に基づいて、一対の焦点検出信号列を取得する。
ステップS104において、制御装置3は、焦点調節用デフォーカス量を決定するためのデフォーカス量決定処理を行う。デフォーカス量決定処理の詳細については、図6を用いて後述する。
ステップS105において、制御装置3は、ステップS104で決定された焦点調節用デフォーカス量がほぼ0であるか否かに基づいて、撮影光学系4が合焦位置にあるか否かを判定する。肯定判定の場合、本処理は終了する。否定判定の場合、本処理はステップS106へ進む。なお、ステップS104で決定された焦点調節用デフォーカス量の信頼性判定を制御装置3が行うことによって、信頼性が低く、焦点検出可能でないと判定された場合はスキャン動作をすることとしてもよい。既に焦点調節レンズ駆動開始後に被写体像が焦点検出エリア200内から消えた場合には、直近に検出されていた焦点調節用デフォーカス量に基づいて焦点調節レンズのレンズ駆動を行ってから本処理を終了させてもよい。
ステップS106において、制御装置3は、ステップS104で決定された焦点調節用デフォーカス量に基づいて、撮影光学系4のレンズ駆動量を演算する。
ステップS107において、制御装置3は、ステップS106で演算されたレンズ駆動量を焦点調節装置8に送信し、焦点調節装置8にレンズ駆動用モータ5を介した撮影光学系4のレンズ駆動を行わせるように、焦点調節装置8を制御する。ステップS107の処理が完了すると、本処理はステップS101へ戻る。
図6は、図4のステップS104で制御装置3によって行われるデフォーカス量決定処理の詳細を示すフローチャートである。図4のステップS103で取得された一対の焦点検出信号列{a[i]}および{b[j]}とする。一対の焦点検出信号列{a[i]}および{b[j]}の相対的な位相シフト量kの初期値は0である。一対の焦点検出信号列{a[i]}および{b[j]}の位相差量に上記位相シフト量kの大きさを近づければ近づけるほど、一対の焦点検出信号列{a[i]}および{b[j]}の相関は高くなる(k=i−j)。一対の焦点検出信号列{a[i]}および{b[j]}の相関が最も高いとき、次式(1)で表される一対の焦点検出信号列{a[i]}および{b[j]}の相関値C(k)は最小値を示す。式(1)の右辺の積算は、一対の焦点検出信号列{a[i]}および{b[j]}の信号数分だけ行われる。
C(k)=Σ|a[i]−b[j]| (1)
ステップS201において、制御装置3は、図4のステップS103で取得された一対の焦点検出信号列{a[i]}および{b[j]}の位相を相対的に所定シフト量ずつシフトさせながら相関量C(k)を順次演算することによって、相関量C(k)の最小値C(k)_minを特定する。制御装置3は、その最小値を与える一対の焦点検出信号列{a[i]}および{b[j]}の特定のシフト量X0を取得し、その特定のシフト量X0に基づいて焦点検出量パラメータとしてのデフォーカス量D0を演算する。
ステップS202において、制御装置3は、ステップS201で特定された相関量C(k)の最小値C(k)_minが、所定閾値C(k)_thよりも小さいか否かを判定する。肯定判定の場合、制御装置3は、本処理をステップS208へ進める。図5に示すように、焦点検出エリア200の中に遠くの被写体像と近くの被写体像とが含まれているような場合は、相関量C(k)の最小値C(k)_minを与える特定のシフト量分(X0)だけ一対の焦点検出信号列{a[i]}および{b[j]}の相対的な位相をシフトさせても、一対の焦点検出信号列{a[i]}および{b[j]}が焦点検出エリア内全体にわたって一致することとはならず、部分的に一致しない区間が生じる(図8を用いて後述する)。したがって、相関量C(k)の最小値C(k)_minは0から離れる。逆に、焦点検出エリア200の中に遠くの被写体像と近くの被写体像との混在が生じていない場合や、遠くの被写体像と近くの被写体像との距離差が僅かである場合は、相関量C(k)の最小値C(k)_minは0に近づく。このような場合には本発明を適用する必要が無いため、ステップS202で否定判定がなされた場合、制御装置3は、本処理をステップS203へ進める。
ステップS203において、制御装置3は、樹木を含む背景の被写体像210および人物の被写体像220を含む被写体像の明るさが、図4のステップS101で指定された焦点検出エリア200内で、所定の明るさよりも暗いか否かを判定する。肯定判定の場合、すなわち被写体像の明るさが所定の明るさよりも暗い場合、図4のステップS102で大きな増幅度で増幅制御が行われている可能性がある。大きな増幅度で増幅制御が行われると、焦点検出信号に重畳されるノイズも増幅されてしまう。このような場合には、ステップS204の説明で後述する焦点検出信号どうしの差の算出に誤差が生じやすくなるため、本発明の適用を行わないこととするため、制御装置3は、本処理をステップS208へ進める。ステップS203で否定判定がなされる場合、制御装置3は、本処理をステップS204へ進める。
図6のステップS203における明るさの判定指標としては、例えば図4のステップS102で行われる増幅制御の増幅度の大きさを用いる。その増幅度が所定値未満のとき、制御装置3は、被写体像全体の明るさが所定の明るさよりも暗くないと判定し、すなわちステップS203で否定判定がなされる。
ステップS204において、制御装置3は、ステップS201で取得された特定のシフト量X0だけ相対的にシフトさせた一対の焦点検出信号列{a[i]}および{b[j]}、すなわち相関が最も高い状態にシフトされた一対の焦点検出信号列{a[i]}および{b[j]}における対応する焦点検出信号どうしの差の絶対値|a[i]−b[j]|を順次算出することによって、複数の差を得る。
ステップS205において、制御装置3は、ステップS201で取得された特定のシフト量X0だけ相対的にシフトさせた一対の焦点検出信号列{a[i]}および{b[j]}を、遠くの被写体像(樹木を含む背景の被写体像210)に対応する一対の部分信号列および近くの被写体像(人物の被写体像220)に対応する一対の部分信号列という二対の部分信号列に分割する。例えば、制御装置3は、ステップS204で差の絶対値|a[i]−b[j]|が順次算出されることによって得られた複数の差の各々が、それら複数の差の平均値以上か否かに基づいて、ステップS205における分割処理を行う。詳細については、図9を用いて後述する。
ステップS206において、制御装置3は、ステップS205で得られた二対の部分信号列の各対の部分信号列間の位相差量を算出する。こうして算出される二対の部分信号列のそれぞれに対応する2つの位相差量X1およびX2は、焦点検出用パラメータの一種である。したがって、これら2つの位相差量X1およびX2に基づいてステップS207以降の処理を行うことも可能だが、ここではさらに、制御装置3は、それら2つの位相差量X1およびX2に基づいて2つのデフォーカス量D1およびD2を演算する。二対の部分信号列のそれぞれに対応する2つのデフォーカス量D1およびD2もまた、焦点検出用パラメータの一種である。
ステップS207において、制御装置3は、ステップS206において演算された2つのデフォーカス量D1およびD2のうち、至近側のデフォーカス量を、焦点調節用デフォーカス量として決定する。撮像装置100から最も至近の被写体に対する撮影光学系4の合焦位置は、撮影光学系4から最も離れた位置に位置するという点に基づき、至近側のデフォーカス量は特定される。ステップS206において演算された2つのデフォーカス量D1およびD2のうち、近くの被写体像(人物の被写体像220)に対応するデフォーカス量が至近側のデフォーカス量である。ステップS207の処理が完了すると本処理は終了し、制御装置3は、図4の焦点検出処理をS105へ進める。
ステップS202またはS203で肯定判定がなされた場合に行われるステップS208において、制御装置3は、ステップS201で取得された一対の焦点検出信号列{a[i]}および{b[j]}の特定のシフト量X0に基づいて演算されたデフォーカス量D0を焦点調節用デフォーカス量として決定する。ステップS208の処理が完了すると本処理は終了し、制御装置3は、図4の焦点検出処理をS105へ進める。
図7は、図5に示す撮影画面250の例に対応し、水平方向に50画素程度の長さを有する焦点検出エリア200内での焦点検出画素位置に対する一対の焦点検出信号列{a[i]}および{b[j]}の焦点検出信号値の変化を表す図である。図7に示す一対の焦点検出信号列{a[i]}および{b[j]}である一対の焦点検出信号列655aおよび655bは、図4のステップS103で取得された一対の焦点検出信号列に対応する。図7において、焦点検出エリア200内での水平方向の焦点検出画素位置1〜13の区間310は、図5に示す撮像装置100から近い位置の人物の被写体像220に対応し、この区間では、一対の焦点検出信号列655aおよび655bのうちの一方の焦点検出信号列655aの位相が、他方の焦点検出信号列655bの位相よりも進んでいる。図7において、焦点検出エリア200内での水平方向の焦点検出画素位置14〜46の区間320は、図5に示す撮像装置100から遠い位置の樹木を含む背景の被写体像210に対応し、この区間では、一対の焦点検出信号列655aおよび655bのうちの一方の焦点検出信号列655aの位相が、他方の焦点検出信号列655bの位相よりも遅れている。一対の焦点検出信号列655aおよび655bに対して、図6のステップS201において行われる特定のシフト量分(X0)の位相の相対的なシフトによって相関量C(k)が最小値C(k)_minを示したときの一対の焦点検出信号列{a[i]}および{b[j]}である一対の焦点検出信号列660aおよび660bは、図8に例示される。
図8は、一対の焦点検出信号列{a[i]}および{b[j]}の相関量C(k)の最小値C(k)_minを与える特定のシフト量X0だけ相対的に図7の一対の焦点検出信号列{a[i]}および{b[j]}をシフトさせた状態を表す図である。図7に示す人物の被写体像220に対応する区間310よりも樹木を含む背景の被写体像210に対応する区間320において、コントラストが、より高いために、一対の焦点検出信号列655aおよび655bの相関が、より高いとする。その場合、図6のステップS201において取得される特定のシフト量X0は、樹木を含む背景の被写体像210の影響を大きく受ける場合があるため、特定のシフト量X0だけ相対的に図7の一対の焦点検出信号列{a[i]}および{b[j]}をシフトさせると、図8に示すように、樹木を含む背景の被写体像210に対応する焦点検出エリア200内での水平方向の焦点検出画素位置14〜46の区間320では、一対の焦点検出信号列660aおよび660bは一致した状態に近くなる場合がある。図8に示すように、人物の被写体像220に対応する焦点検出エリア200内での水平方向の焦点検出画素位置1〜13の区間310では、一対の焦点検出信号列660aおよび660bの間には位相差が生じている。焦点検出エリア200の水平方向での全体の区間300を、焦点検出画素位置13と14との間において、上述した人物の被写体像220に対応する区間310と、樹木を含む背景の被写体像210に対応する区間320とに分断する境界350の特定方法を、図9を用いて説明する。
図9は、図7に示す一対の焦点検出信号列{a[i]}および{b[j]}の分割処理を説明するための図であって、図6のステップS204の処理に対応する。図9は、特定のシフト量X0だけ相対的に図7の一対の焦点検出信号列{a[i]}および{b[j]}をシフトさせた図8の状態において、一対の焦点検出信号列660aおよび660bにおける対応する焦点検出信号どうしの差の絶対値|a[i]−b[j]|を順次算出することによって、焦点検出エリア200内での水平方向の焦点検出画素位置毎に得られた複数の差671の変動を表している。
焦点検出エリア200の水平方向での全体の区間300の中で、上述した樹木を含む背景の被写体像210に対応する区間320では、焦点検出エリア200内での水平方向の焦点検出画素位置の変化に対する差の絶対値|a[i]−b[j]|の変動は概ね小さい。上述した人物の被写体像220に対応する区間310では、焦点検出エリア200内での水平方向の焦点検出画素位置が1画素ずつ増加するたびに差の絶対値|a[i]−b[j]|が激しく増減している。焦点検出エリア200の水平方向での全体の区間300にわたる複数の差671の平均値を求めると、樹木を含む背景の被写体像210に対応する区間320では、平均値以上の値を示す差の絶対値|a[i]−b[j]|は存在しないが、人物の被写体像220に対応する区間310では、平均値以上の値を示す差の絶対値|a[i]−b[j]|が多い。したがって、図9において、焦点検出エリア200内での水平方向の焦点検出画素位置の変化に対して、複数の差671の各々が、それら複数の差671の平均値未満で推移する区間、すなわち焦点検出画素位置14〜46の区間を区間320として特定することができるとともに、焦点検出画素位置13および14の間に境界350が位置するというように境界350を特定することができる。全体の区間300のうち、境界350を挟んで区間320とは反対側の区間である焦点検出画素位置1〜13の区間を区間310として特定することができる。この結果に基づき、図6のステップS205において、現在の焦点状態を表す図7に示す一対の焦点検出信号列655aおよび655bを、人物の被写体像220に対応する焦点検出画素位置1〜13の区間310の一対の部分信号列と、樹木を含む背景の被写体像210に対応する焦点検出画素位置14〜46の区間320の一対の部分信号列とに分割することができる。
図10は、人物の被写体像220に対応する焦点検出画素位置1〜13の区間の一対の部分信号列における相関量が最小値をとる際の、一対の部分信号列661aおよび661bの焦点検出信号値の変化を表す図である。上述したように、図6のステップS205において、図7に示す一対の焦点検出信号列655aおよび655bを分割することによって、人物の被写体像220に対応する焦点検出画素位置1〜13の区間の一対の部分信号列が得られる。人物の被写体像220に対応する焦点検出画素位置1〜13の区間の一対の部分信号列の位相をシフトしながら相関演算を行うことによって、一対の部分信号列の位相差量X1が得られる。人物の被写体像220に対応する焦点検出画素位置1〜13の区間の一対の部分信号列を位相差量X1だけ相対的にシフトさせた様子を示したのが図10である。図6のステップS206では、その位相差量X1に基づいてデフォーカス量D1が演算される。
図11は、樹木を含む背景の被写体像210に対応する焦点検出画素位置14〜46の区間の一対の部分信号列における相関量が最小値をとる際の、一対の部分信号列662aおよび662bの焦点検出信号値の変化を表す図である。上述したように、図6のステップS205において、図7に示す一対の焦点検出信号列655aおよび655bを分割することによって、樹木を含む背景の被写体像210に対応する焦点検出画素位置14〜46の区間の一対の部分信号列が得られる。樹木を含む背景の被写体像210に対応する焦点検出画素位置14〜46の区間の一対の部分信号列の位相をシフトしながら相関演算を行うことによって、一対の部分信号列の位相差量X2が得られる。樹木を含む背景の被写体像210に対応する焦点検出画素位置14〜46の区間の一対の部分信号列を位相差量X2だけ相対的にシフトさせた様子を示したのが図11である。図6のステップS206では、その位相差量X2に基づいてデフォーカス量D2が演算される。
図12は、制御装置3によって行われる撮像処理のフローチャートである。上述したように、制御装置3は、例えばCPUおよびメモリによって構成されるコンピュータである。そのCPUがメモリに格納されたコンピュータプログラムを実行することによって、図12に示す撮像処理を構成する各ステップの処理が行われる。
ステップS501において、制御装置3は、使用者によって操作部材を介して撮像指示があったか否かを判定する。否定判定の場合は、肯定判定がなされるまでステップS501の処理が繰り返される。肯定判定の場合、制御装置3は、本処理をステップS502へ進める。操作部材は、例えばシャッターレリーズボタンであって、そのシャッターレリーズボタンが全押し状態に設定されると、ステップS501で肯定判定がなされる。
ステップS502において、制御装置3は、撮像素子2の光電変換制御を行う。撮像素子2の光電変換制御としては、例えば、撮像素子2に配置された複数の撮像画素の露光制御、複数の撮像信号の読み出し制御、および/または読み出した複数の撮像信号の増幅制御等が行われる。
ステップS503において、制御装置3は、ステップS502で読み出され、かつ増幅制御が行われた複数の撮像信号を取得する。
ステップS504において、制御装置3は、ステップS503で取得された複数の撮像信号に基づいて画像を生成する。
ステップS505において、制御装置3は、ステップS504で生成された画像を記憶装置15に記録する。ステップS505の処理が完了すると、本処理は終了する。
本実施の形態における焦点検出装置50は、上述したように焦点検出センサ6と、制御装置3とを含む。焦点検出センサ6は、撮影光学系4の一対の瞳領域を通過した一対の光束を受光し、それぞれ複数の焦点検出信号からなる一対の焦点検出信号列655aおよび655bを出力する。制御装置3は、一対の焦点検出信号列655aおよび655bにおいて対応する焦点検出信号どうしの差の絶対値|a[i]−b[j]|を順次算出することによって、複数の差671を得る。制御装置3は、得られた複数の差671に基づいて、一対の焦点検出信号列655aおよび655bを、撮像装置100から近くに位置する人物の被写体像220に対応する一対の部分信号列、および撮像装置100から遠くに位置する樹木を含む背景の被写体像210に対応する一対の部分信号列の、少なくとも2つの一対の部分信号列に分割する。制御装置3は、人物の被写体像220に対応する一対の部分信号列の位相差量X1に応じたデフォーカス量D1と、樹木を含む背景の被写体像210に対応する一対の部分信号列の位相差量X2に応じたデフォーカス量D2とを演算する。制御装置3は、デフォーカス量D1およびD2のうちのいずれか一つを、焦点調節に用いられる焦点調節用デフォーカス量として決定する。したがって、撮像装置100から遠くに位置する樹木を含む背景の被写体像210および撮像装置100から近くに位置する人物の被写体像220のいずれか一方にピントを合わせることができる。
制御装置3は、デフォーカス量D1およびD2をそれぞれ演算し、デフォーカス量D1およびD2のうちの至近側のデフォーカス量を、焦点調節用デフォーカス量として決定する。したがって、撮像装置100から近くに位置する人物の被写体像220にピントを合わせることができる。
−−−変形例−−−
(1)上述した実施の形態においては、図5に示すように、焦点検出エリア200に2つの被写体像が含まれる例に本発明を適用したが、焦点検出エリア200に3つ以上の被写体像が含まれる場合であっても本発明を適用することができる。これについて、図13を用いて説明する。
図13は、撮影画面250内の焦点検出エリア200に3つの被写体像210、220および230が含まれる一例を示す図である。撮影画面250および焦点検出エリア200には、樹木を含む背景の被写体像210と、人物の被写体像220と、もう一人の人物の被写体像230とが含まれている。撮影画面250には、通常は複数の焦点検出エリア200が表示されるが、図13の撮影画面250においては、使用者によって指定された1個の焦点検出エリア200だけを例示している。図13に示す例をもとに、制御装置18による焦点検出処理を、図14〜図19を用いて説明する。
図14は、図13に示す撮影画面250の例に対応し、水平方向に50画素程度の長さを有する焦点検出エリア200内での焦点検出画素位置に対する一対の焦点検出信号列{a[i]}および{b[j]}の焦点検出信号値の変化を表す図である。図14に示す一対の焦点検出信号列{a[i]}および{b[j]}である一対の焦点検出信号列655aおよび655bは、図4のステップS103に準じる処理で取得される一対の焦点検出信号列に対応する。図14において、焦点検出エリア200内での水平方向の焦点検出画素位置1〜12の区間310は、図13に示す撮像装置100から近い位置の人物の被写体像220に対応し、この区間では、一対の焦点検出信号列655aおよび655bのうちの一方の焦点検出信号列655aの位相が、他方の焦点検出信号列655bの位相よりも遅れている。図14において、焦点検出エリア200内での水平方向の焦点検出画素位置13〜28の区間320は、図13に示す撮像装置100から遠い位置の樹木を含む背景の被写体像210に対応し、この区間では、一対の焦点検出信号列655aおよび655bのうちの一方の焦点検出信号列655aの位相が、他方の焦点検出信号列655bの位相よりも進んでいる。図14において、焦点検出エリア200内での水平方向の焦点検出画素位置29〜46の区間330は、図13に示す撮像装置100から最も近い位置のもう一人の人物の被写体像230に対応し、この区間では、一対の焦点検出信号列655aおよび655bのうちの一方の焦点検出信号列655aの位相が、他方の焦点検出信号列655bの位相よりも大きく遅れている。一対の焦点検出信号列655aおよび655bに対して、図6のステップS201に準じた処理において行われる特定のシフト量分(X0)の位相の相対的なシフトによって相関量C(k)が最小値C(k)_minを示したときの一対の焦点検出信号列{a[i]}および{b[j]}である一対の焦点検出信号列660aおよび660bは、図15に例示される。
図15は、一対の焦点検出信号列{a[i]}および{b[j]}の相関量C(k)の最小値C(k)_minを与える特定のシフト量X0だけ相対的に図14の一対の焦点検出信号列{a[i]}および{b[j]}をシフトさせた状態を表す図である。図13において、焦点検出エリア200の水平方向において、紙面に向かって焦点検出エリア200の左側に人物の被写体像220が位置し、中央に樹木を含む背景の被写体像210が位置し、右側にもう一人の人物の被写体像230が位置する。図14に示す人物の被写体像220に対応する区間310およびもう一人の人物の被写体像230に対応する区間330よりも樹木を含む背景の被写体像210に対応する区間320において、コントラストが、より高いために、一対の焦点検出信号列655aおよび655bの相関が、より高いとする。その場合、図6のステップS201に準じた処理において取得される特定のシフト量X0は、樹木を含む背景の被写体像210の影響を大きく受ける場合がある。その場合、特定のシフト量X0だけ相対的に図14の一対の焦点検出信号列{a[i]}および{b[j]}をシフトさせると、図15に示すように、樹木を含む背景の被写体像210に対応する焦点検出エリア200内での水平方向の焦点検出画素位置13〜28の区間320において、一対の焦点検出信号列660aおよび660bが一致した状態に近くなる場合がある。
図15に示すように、人物の被写体像220に対応する焦点検出エリア200内での水平方向の焦点検出画素位置1〜12の区間310では、一対の焦点検出信号列660aおよび660bの間には位相差が生じている。図15に示すように、もう一人の人物の被写体像230に対応する焦点検出エリア200内での水平方向の焦点検出画素位置29〜46の区間330では、一対の焦点検出信号列660aおよび660bの間には位相差が生じている。焦点検出エリア200の水平方向での全体の区間300を、焦点検出画素位置12と13との間において、上述した人物の被写体像220に対応する区間310と、樹木を含む背景の被写体像210に対応する区間320とに分断する境界350と、樹木を含む背景の被写体像210に対応する区間320と、もう一人の人物の被写体像230に対応する区間330とに分断する境界360との特定方法を、図16を用いて説明する。
図16は、図14に示す一対の焦点検出信号列{a[i]}および{b[j]}の分割処理を説明するための図であって、図6のステップS204に準じた処理に対応する。図16は、特定のシフト量X0だけ相対的に図14の一対の焦点検出信号列{a[i]}および{b[j]}をシフトさせた図15の状態において、一対の焦点検出信号列660aおよび660bにおける対応する焦点検出信号どうしの差の絶対値|a[i]−b[j]|を順次算出することによって、焦点検出エリア200内での水平方向の焦点検出画素位置毎に得られた複数の差671の変動を表している。焦点検出エリア200の水平方向での全体の区間300の中で、上述した樹木を含む背景の被写体像210に対応する区間320では、焦点検出エリア200内での水平方向の焦点検出画素位置の変化に対する差の絶対値|a[i]−b[j]|の変動は概ね小さい。
上述した人物の被写体像220に対応する区間310およびもう一人の人物の被写体像230に対応する区間330では、焦点検出エリア200内での水平方向の焦点検出画素位置が1画素ずつ増加するたびに差の絶対値|a[i]−b[j]|が激しく増減している。焦点検出エリア200の水平方向での全体の区間300にわたる複数の差671の平均値を求めると、樹木を含む背景の被写体像210に対応する区間320では、平均値以上の値を示す差の絶対値|a[i]−b[j]|は存在しないが、人物の被写体像220に対応する区間310およびもう一人の人物の被写体像230に対応する区間330では、平均値以上の値を示す差の絶対値|a[i]−b[j]|が多い。したがって、図16において、焦点検出エリア200内での水平方向の焦点検出画素位置の変化に対して、複数の差671の各々が、それら複数の差671の平均値未満で推移する区間、すなわち焦点検出画素位置13〜28の区間を区間320として特定することができるとともに、焦点検出画素位置12および13の間に境界350が位置し、かつ焦点検出画素位置28および29の間に境界360が位置するというように境界350および360を特定することができる。全体の区間300のうち、境界350を挟んで区間320とは反対側の区間である焦点検出画素位置1〜12の区間を区間310として特定し、境界360を挟んで区間320とは反対側の区間である焦点検出画素位置29〜46の区間を区間330として特定することができる。この結果に基づき、図6のステップS205に準じて行うことが可能な三分割の処理において、現在の焦点状態を表す図14に示す一対の焦点検出信号列655aおよび655bを、人物の被写体像220に対応する焦点検出画素位置1〜12の区間の一対の部分信号列と、樹木を含む背景の被写体像210に対応する焦点検出画素位置13〜28の区間の一対の部分信号列と、もう一人の人物の被写体像230に対応する焦点検出画素位置29〜46の区間の一対の部分信号列とに分割することができる。
図17は、人物の被写体像220に対応する焦点検出画素位置1〜12の区間の一対の部分信号列における相関量が最小値をとる際の、一対の部分信号列661aおよび661bの焦点検出信号値の変化を表す図である。上述したように、図6のステップS205に準じて行うことが可能な三分割の処理において、図14に示す一対の焦点検出信号列655aおよび655bを分割することによって、人物の被写体像220に対応する焦点検出画素位置1〜12の区間の一対の部分信号列が得られる。人物の被写体像220に対応する焦点検出画素位置1〜12の区間の一対の部分信号列の位相をシフトしながら相関演算を行うことによって、一対の部分信号列の位相差量X1が得られる。人物の被写体像220に対応する焦点検出画素位置1〜12の区間の一対の部分信号列を位相差量X1だけ相対的にシフトさせた様子を示したのが図17である。図6のステップS206に準じた処理において、その位相差量X1に基づいてデフォーカス量D1が演算される。
図18は、樹木を含む背景の被写体像210に対応する焦点検出画素位置13〜28の区間の一対の部分信号列における相関量が最小値をとる際の、一対の部分信号列662aおよび662bの焦点検出信号値の変化を表す図である。上述したように、図6のステップS205に準じて行うことが可能な三分割の処理において、図14に示す一対の焦点検出信号列655aおよび655bを分割することによって、樹木を含む背景の被写体像210に対応する焦点検出画素位置13〜28の区間の一対の部分信号列が得られる。樹木を含む背景の被写体像210に対応する焦点検出画素位置13〜28の区間の一対の部分信号列の位相をシフトしながら相関演算を行うことによって、一対の部分信号列の位相差量X2が得られる。樹木を含む背景の被写体像210に対応する焦点検出画素位置13〜28の区間の一対の部分信号列を位相差量X2だけ相対的にシフトさせた様子を示したのが図18である。図6のステップS206に準じた処理において、その位相差量X2に基づいてデフォーカス量D2が演算される。
図19は、もう一人の人物の被写体像230に対応する焦点検出画素位置29〜46の区間の一対の部分信号列における相関量が最小値をとる際の、一対の部分信号列663aおよび663bの焦点検出信号値の変化を表す図である。上述したように、図6のステップS205に準じて行うことが可能な三分割の処理において、図14に示す一対の焦点検出信号列655aおよび655bを分割することによって、もう一人の人物の被写体像230に対応する焦点検出画素位置29〜46の区間の一対の部分信号列が得られる。そのもう一人の人物の被写体像230に対応する焦点検出画素位置29〜46の区間の一対の部分信号列の位相をシフトしながら相関演算を行うことによって、一対の部分信号列の位相差量X3が得られる。そのもう一人の人物の被写体像230に対応する焦点検出画素位置29〜46の区間の一対の部分信号列を位相差量X3だけ相対的にシフトさせた様子を示したのが図19である。図6のステップS206に準じた処理において、その位相差量X3に基づいてデフォーカス量D3が演算される。
(2)上述した一実施の形態の図6のステップS205において、制御装置3は、ステップS204で差の絶対値|a[i]−b[j]|が順次算出されることによって図9に示すように得られた複数の差671の各々が、それら複数の差671の平均値以上か否かに基づいて、ステップS205における分割処理を行う。しかし、他の方法を用いてもよい。例えば、制御装置3は、複数の差671の微分値を計算する。微分値は、焦点検出エリア200内での水平方向の焦点検出画素位置が互いに隣接する2つの差の絶対値|a[i]−b[j]|どうしの差をとる計算を、焦点検出画素位置1〜46の全範囲にわたって行うことによって得られる。
上述したように、図9を参照すると、焦点検出エリア200の水平方向での全体の区間300の中で、上述した樹木を含む背景の被写体像210に対応する区間320では、焦点検出エリア200内での水平方向の焦点検出画素位置の変化に対する差の絶対値|a[i]−b[j]|の変動は概ね小さい。したがって、この区間320における微分値の大きさは0に近い所定値未満である。上述した人物の被写体像220に対応する区間310では、焦点検出エリア200内での水平方向の焦点検出画素位置が1画素ずつ増加するたびに差の絶対値|a[i]−b[j]|が激しく増減している。したがって、この区間310における微分値の大きさは上述した所定値以上である。すなわち、図6のステップS205において、制御装置3は、ステップS204で得られた複数の差671において互いに隣接する差の絶対値|a[i]−b[j]|どうしの差である微分値の大きさが所定値未満であるか否かに基づいて、一対の焦点検出信号列655aおよび655bを、撮像装置100から近くに位置する人物の被写体像220に対応する一対の部分信号列、および撮像装置100から遠くに位置する樹木を含む背景の被写体像210に対応する一対の部分信号列に分割することとしてもよい。
(3)上述した一実施の形態の図6のステップS203において、制御装置3は、樹木を含む背景の被写体像210および人物の被写体像220を含む被写体像全体の明るさが所定の明るさよりも暗いか否かを判定する。上述したように、被写体像全体の明るさが所定の明るさよりも暗い場合においては、焦点検出信号に重畳されるノイズも増幅されてしまうため、ステップS203の処理を行わずにステップS204において複数の差が得られると、図9における樹木を含む背景の被写体像210に対応する焦点検出画素位置14〜46の区間においても、平均値以上の値を示す差の絶対値|a[i]−b[j]|が含まれることとなる。したがって、制御装置3は、ステップS203の処理を行わずに、ステップS204において、焦点検出エリア200の水平方向での区間300全体にわたって平均値以上の値を示す差の絶対値|a[i]−b[j]|が存在すると判定した場合に、本処理をステップS208へ進めることとしてもよい。
(4)上述した実施の形態においては、図6のステップS206およびS207において、制御装置3は、二対の部分信号列のそれぞれに対応する2つの位相差量X1およびX2に基づいて演算される2つのデフォーカス量D1およびD2のうち、至近側のデフォーカス量を、焦点調節用デフォーカス量として決定する。しかし、制御装置3は、二対の部分信号列のそれぞれに対応する2つの位相差量X1およびX2のうちの至近側の位相差量に基づいて演算される1つのデフォーカス量を、焦点調節用デフォーカス量として決定してもよい。
(5)上述した実施の形態においては、図4のステップS105において、制御装置3は、ステップS104で決定された焦点調節用デフォーカス量がほぼ0であるか否かに基づいて、撮影光学系4が合焦位置にあるか否かを判定する。しかし、ステップS106を先に行って、ステップS106で演算された撮影光学系4のレンズ駆動量がほぼ0であるか否かに基づいて、撮影光学系4が合焦位置にあるか否かを判定することとしてもよい。
(6)上述した実施の形態においては、図4のステップS106およびS107において、制御装置3は、焦点調節用デフォーカス量に基づき、撮影光学系4のレンズ駆動による焦点調節制御を行っている。しかし、制御装置3は、焦点調節用デフォーカス量に基づき、撮像素子2を駆動することによって焦点調節制御を行ってもよい。
(7)本発明は、図1に示したマイクロレンズアレイ9に覆われた焦点検出センサ6を有する焦点検出装置50だけでなく、ハーフミラー7を透過後にさらにサブミラー70に反射されて再結像光学系17を通過した光束を受光する焦点検出センサ16を有する焦点検出装置50や、マイクロレンズアレイ19に覆われた焦点検出センサを含む撮像素子2を有する焦点検出装置50に対しても適用することができる。図20は、ハーフミラー7を透過後にさらにサブミラー70に反射されて再結像光学系17を通過した光束を受光する複数の焦点検出画素が配列された焦点検出センサ16を有する焦点検出装置50を有する撮像装置100の構成を示す図である。図21は、マイクロレンズアレイ19に覆われた焦点検出センサを含む撮像素子2を有する焦点検出装置50を有する撮像装置100の構成を示す図である。すなわち、マイクロレンズアレイ19に覆われた撮像素子2には、複数の焦点検出信号を生成する複数の焦点検出画素と、複数の撮像信号を生成する複数の撮像画素とが、混在して配列されている。図20および図21において、図1と共通する符号が付された部分については、図1に示す撮像装置100と同様であるため、説明を省略する。
図21に示す撮像装置100においては、図6のステップS203における明るさの判定指標として、撮像素子2による撮像処理の際のISO感度の大きさを用いることとしてもよい。そのISO感度が所定値未満のとき、制御装置3は、被写体像全体の明るさが所定の明るさよりも暗くないと判定し、すなわちステップS203で否定判定がなされる。
上述した実施の形態および変形例を組み合わせてもよい。本発明の特徴を損なわない限り、本発明は上記実施の形態および変形例に限定されるものではなく、本発明の技術的思想の範囲内で考えられるその他の形態も、本発明の範囲内に含まれる。