JP2004061722A - 撮像装置 - Google Patents
撮像装置 Download PDFInfo
- Publication number
- JP2004061722A JP2004061722A JP2002218116A JP2002218116A JP2004061722A JP 2004061722 A JP2004061722 A JP 2004061722A JP 2002218116 A JP2002218116 A JP 2002218116A JP 2002218116 A JP2002218116 A JP 2002218116A JP 2004061722 A JP2004061722 A JP 2004061722A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- evaluation
- movement
- focus
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Automatic Focus Adjustment (AREA)
- Studio Devices (AREA)
- Focusing (AREA)
Abstract
【課題】撮像装置において、オートフォーカス用の評価値を用いて効率的かつ正確な被写体の移動検出を可能にすること。
【解決手段】合焦評価領域設定部31は複数のブロックを含む合焦評価領域Rを画像信号に対して設定し、評価値演算部32はCCD撮像素子11から得られる画像信号に基づいて被写体の合焦度合いを評価するための評価値を各ブロックについて求める。移動検出部33は、互いに隣接するブロックについて得られる評価値を差分することにより、合焦評価領域Rの周辺部分について被写体の移動を検出するための指標値を求め、その指標値に基づいて被写体の移動を検出する。
【選択図】 図1
【解決手段】合焦評価領域設定部31は複数のブロックを含む合焦評価領域Rを画像信号に対して設定し、評価値演算部32はCCD撮像素子11から得られる画像信号に基づいて被写体の合焦度合いを評価するための評価値を各ブロックについて求める。移動検出部33は、互いに隣接するブロックについて得られる評価値を差分することにより、合焦評価領域Rの周辺部分について被写体の移動を検出するための指標値を求め、その指標値に基づいて被写体の移動を検出する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置に関する。
【0002】
【従来の技術】
従来、デジタルカメラ等の撮像装置におけるオートフォーカス(自動合焦)技術として、画像のある領域に着目し、その領域からコントラスト等の評価値を求めることにより、被写体の合焦度合いを評価するものが知られている。この場合、撮影レンズを段階的に駆動して、評価値が最大になるレンズ位置を検出することにより、被写体像が合焦状態となるレンズ位置を特定してオートフォーカスを行うように構成される。
【0003】
また、オートフォーカスを行う場合、手ぶれや被写体ぶれ等によってオートフォーカスの動作中に被写体が画像平面内で移動する場合がある。このため従来は、画像平面内において評価値が最大値を示す領域の移動を検知することにより、被写体の移動を検知することも行われている。この場合、画像平面内において評価値が最大となる位置が変化することによって被写体が画像平面内においてどのように移動したかを検知することができ、その移動検出結果に基づいて被写体の合焦度合いを評価するための領域を変更するように構成される。
【0004】
【発明が解決しようとする課題】
しかし、上述した移動検出は、単に評価値が最大値を示す領域に追従するものであるため、例えばその領域内で被写体が移動した場合にはそれを検知することができず、正確な追従を行うことができないという問題がある。
【0005】
これを防止するために、オートフォーカス用の評価値を用いることなく、被写体像の特徴量等を演算によって求めることで被写体の移動を検出することも考えられるが、そのような構成にすると、演算に多大な時間を要し、効率的な移動検出は望めない。
【0006】
そこで、本発明は、上記課題に鑑みてなされたものであって、オートフォーカス用の評価値を用いて効率的かつ正確な被写体の移動検出を可能にする撮像装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の発明は、撮像手段から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズを駆動することにより、被写体の合焦状態を実現する撮像装置であって、前記画像信号に基づいて、複数の領域のそれぞれについて、被写体の合焦度合いを評価するための評価値を求める評価値演算手段と、前記評価値を用いて被写体の合焦度合いを評価し、前記撮影レンズを駆動する合焦制御手段と、前記複数の領域のうち、互いに隣接する領域について得られる前記評価値を差分することによって被写体の移動に関する指標値を求め、当該指標値に基づいて被写体の相対的な移動を検出する移動検出手段と、を備えて構成される。
【0008】
請求項2に記載の発明は、請求項1に記載の撮像装置において、前記複数の領域のそれぞれが、一部において重複した領域を有するように配置されることを特徴としている。
【0009】
請求項3に記載の発明は、撮像手段から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズを駆動することにより、被写体の合焦状態を実現する撮像装置であって、前記画像信号に基づいて、中央部分と周辺部分とによって規定される合焦評価領域に関する評価値を求める評価値演算手段と、前記評価値演算手段によって得られる評価値を用いて被写体の合焦度合いを評価し、前記撮影レンズを駆動する合焦制御手段と、前記合焦評価領域の前記周辺部分について得られる評価値に基づいて、被写体の相対的な移動を検出する移動検出手段と、を備えて構成される。
【0010】
請求項4に記載の発明は、請求項3に記載の撮像装置において、前記合焦評価領域が、前記中央部分に対応して設けられるメイン領域と、前記周辺部分に対応して設けられる複数のサブ領域とを有し、前記移動検出手段が、前記複数のサブ領域のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されることを特徴としている。
【0011】
請求項5に記載の発明は、請求項3に記載の撮像装置において、前記合焦評価領域が、前記中央部分に対応する部分で重複する同一サイズの複数の領域を有し、前記移動検出手段が、前記複数の領域のうちの互いに隣接する領域について得られる評価値を差分することによって、前記合焦評価領域の前記周辺部分についての評価値を取得して被写体の相対的な移動を検出することを特徴としている。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【0013】
<1.第1の実施の形態>
図1は本実施形態にかかるデジタルカメラ1の構成を示すブロック図である。デジタルカメラ1は、撮影レンズ10、CCD撮像素子11、画像メモリ12、画像処理部13、表示部14、記録媒体15、レンズ駆動部16、シャッタボタン18aを含む操作部18、制御部20、及び自動合焦制御部30を備えて構成される。
【0014】
被写体からの光は撮影レンズ10を介してCCD撮像素子11に結像される。撮影レンズ10はレンズ駆動部16によって光軸Lに沿って駆動され、CCD撮像素子11に結像される被写体像の合焦度合いを変化させるように構成される。
【0015】
CCD撮像素子11は撮影レンズ10を介して入射する被写体像を光電変換することにより、被写体に関する画像信号を生成する。この画像信号は、図示しない信号処理部によってデジタルデータに変換され、画像メモリ12に格納される。
【0016】
デジタルカメラ1において記録用の画像を撮影するための撮影処理が行われる場合には、CCD撮像素子11から得られる画像信号は、画像メモリ12を介して画像処理部13に与えられ、画像処理部13において所定の画像処理が施された後、表示部14又は記録媒体15に出力される。表示部14は液晶ディスプレイ等で構成され、表示部14に画像表示が行われることにより、撮影処理によって得られた画像の確認を行うことができる。また、記録媒体15はメモリカード等で構成され、記録媒体15に画像記録が行われることにより、撮影処理によって得られた画像の保存を行うことができる。
【0017】
これに対し、デジタルカメラ1において自動合焦(オートフォーカス)制御が行われる際には、CCD撮像素子11から得られる画像信号は画像メモリ12を介して自動合焦制御部30に与えられる。
【0018】
自動合焦制御部30は、合焦評価領域設定部31、評価値演算部32、移動検出部33、移動予測部34、合焦位置検出部35、及びレンズ制御部36を備えて構成され、いわゆる山登り方式により、被写体像の合焦状態を実現する。すなわち、自動合焦制御部30は、撮影レンズ10を合焦位置近傍において所定ピッチで例えば6回駆動し、各レンズ位置においてCCD撮像素子11から得られる画像信号から自動合焦用の評価値を算出する。そして評価値が最大値を示すレンズ位置を合焦位置として特定し、撮影レンズ10をその合焦位置に駆動することによって、被写体像の合焦状態を実現するように構成される。また、自動合焦制御部30においては画像平面内における被写体の移動を検知するように構成され、被写体が画像平面内で移動した場合に被写体の動きに対応させて合焦評価領域を設定するように構成される。
【0019】
また、自動合焦制御部30によって行われる自動合焦制御には、合焦位置を特定した後に撮影レンズ10を駆動して被写体像の合焦状態を実現し、その後はレンズ駆動を行わない動作モード(ワンショットAFモード)と、被写体像の合焦状態を実現した後も、撮影レンズ10の駆動と合焦位置の検出とを繰り返し実行することによって、動的な被写体に対しても対応可能とする動作モード(コンティニュアスAFモード)とがある。これらのうち、いずれの動作モードで自動合焦制御を行うかは、ユーザによる設定状況に応じて決定される。
【0020】
なお、上記の自動合焦制御は、例えば、シャッタボタン18aがユーザによって半押し状態とされたときに開始される。ワンショットAFモードの場合は1回の自動合焦制御によって撮影レンズ10が固定されるのに対し、コンティニュアスAFモードの場合はシャッタボタン18aが半押し状態とされている間、繰り返し自動合焦制御が実行される。そしてシャッタボタン18aがユーザによって全押し状態とされたときに、画像を記録するための撮影処理が行われる。
【0021】
以下、自動合焦制御部30における具体的な動作について説明する。
【0022】
合焦評価領域設定部31は、CCD撮像素子11から得られる画像に対して合焦評価領域を設定し、その合焦評価領域に対応する画像成分を抽出する。図2は、CCD撮像素子11から得られる画像100を示す図である。CCD撮像素子11から得られる画像100は、CCD撮像素子11の画素数に対応した画像サイズとなっている。この画像100に対して、合焦評価領域設定部31は、画像100に含まれる主被写体の合焦状態を評価するための合焦評価領域Rを設定する。合焦評価領域Rは初期状態においては画像100のほぼ中央部分に設定される。また、画像平面内における被写体の移動が検出され、合焦評価領域Rを移動させる必要が生じた場合には、被写体の移動量に応じて合焦評価領域Rが設定される。
【0023】
そして合焦評価領域Rは、画像平面内における被写体の移動を検出するために、複数のブロックに分割された構成となっている。図3は合焦評価領域Rの一構成例を示す図である。
【0024】
図3に示す合焦評価領域Rは、同一のサイズを有する複数のブロックB1〜B5が水平方向に所定画素数ずつずらされた状態で配置される。例えば、各ブロックB1〜B5は幅324画素×高さ200画素のサイズを有し、水平方向に16画素ずつずらされて配置される。このため、各ブロックB1〜B5の一部が重ね合わされた状態となり、換言すれば複数のブロックB1〜B5が合焦評価領域Rの中央部で重複するような配置状態となる。
【0025】
被写体が初期状態から移動しない場合、合焦度合いを評価する際の評価対象領域は、ブロックB3によって規定される領域となる。その状態から被写体が右方向に16画素移動したことが検出された場合には、評価対象領域はブロックB4によって規定される領域となり、評価対象領域が右方向に16画素移動する。これに対し、初期状態から被写体が左方向に16画素移動したことが検出された場合には、評価対象領域はブロックB2によって規定される領域となり、評価対象領域が左方向に16画素移動する。
【0026】
合焦評価領域設定部31は、CCD撮像素子11から得られる画像から各ブロックB1〜B5に対応する画像成分を抽出し、それを評価値演算部32に対して出力する。
【0027】
評価値演算部32は各ブロックB1〜B5の画像成分から合焦度合いを評価するための評価値を求める。このとき、評価値演算部32は、合焦位置近傍において撮影レンズ10の駆動に伴う変化度合いが小さい第1の評価値VAと、第1の評価値よりも撮影レンズの駆動に伴う変化度合いが大きい第2の評価値VBと、の2つの評価値を求める。
【0028】
例えば、評価値演算部32は各ブロックB1〜B5における画像成分の高周波成分を抽出することにより、合焦位置において最大値を示す評価値を求めるように構成され、上記2つの評価値を求めるために、周波数帯域の広い第1のバンドパスフィルタと、第1のバンドパスフィルタよりも周波数帯域の狭い第2のバンドパスフィルタと、の2種類のフィルタを適用して各ブロックB1〜B5の画像成分に対してフィルタ処理を行う。
【0029】
図4は、第1のバンドパスフィルタBPF1と第2のバンドパスフィルタBPF2との周波数特性を示す図である。図4に示すように、第1のバンドパスフィルタBPF1は第2のバンドパスフィルタBPF2よりも低周波成分をより多く検出することになる。このため、第1のバンドパスフィルタBPF1によりフィルタ処理を行って得られる評価値VAは、第2のバンドパスフィルタBPF2によりフィルタ処理を行って得られる評価値VBよりも合焦位置近傍において撮影レンズ10の駆動に伴う変化度合いが小さくなる。
【0030】
図5は合焦位置近傍における第1及び第2の評価値を示す図である。撮影レンズ10を合焦位置FPの近傍において6回駆動し、各レンズ位置P1〜P6にて得られる第1の評価値VA及び第2の評価値VBは図5に示すようになる。つまり、合焦位置FPの近傍においては、第1の評価値VAはレンズ駆動に伴う評価値の変化度合いが小さくなるのに対し、第2の評価値VBはレンズ駆動に伴う評価値の変化度合いが大きくなる。
【0031】
このため、撮影レンズ10を所定ピッチで駆動しつつ、各レンズ位置P1〜P6において得られる評価値から合焦位置FPを正確に特定するためには、第2の評価値VBを用いて求める方が好ましい。
【0032】
ところが、図5に示すように撮影レンズ10のレンズ位置が合焦位置FPから一定値以上離れると、撮影レンズ10の駆動に伴う変化度合いは逆転する。つまり、撮影レンズ10が合焦位置FPから一定以上離れると、撮影レンズの駆動に伴う変化度合いは、第1の評価値VAが方が第2の評価値VBよりも大きくなる。したがって、一般に自動合焦制御では、上記のような2種類の評価値VA,VBを求め、撮影レンズ10が合焦位置FPから遠い位置にある場合に、第1の評価値VAを用いて合焦位置FPの方向を特定することが行われ、撮影レンズ10が合焦位置FPの近傍位置にある場合に、第2の評価値VBを用いて合焦位置FPの位置を高精度に特定することが行われる。
【0033】
また、上記のように周波数特性の異なるバンドパスフィルタBPF1,BPF2を用いる以外の方法であっても、第1及び第2の評価値VA,VBを求めることができる。例えば、評価値演算部32は各ブロックB1〜B5における画像成分から、近接画素間での差分絶対値及び差分二乗値を求め、各ブロックB1〜B5についてそれらを積分(累積加算)することにより、上記2つの評価値VA,VBを求めてもよい。この場合、各ブロックB1〜B5の画像成分において、例えば水平方向に3画素離れた2画素間での画素値の差分をとり、その差分値の絶対値及び二乗値を求める。これを各ブロックに含まれる全ての画素について行い、差分絶対値を累積加算(積分)することによって合焦位置FPの近傍においてレンズ駆動に伴う変化度合いが小さい第1の評価値VAを求め、差分二乗値を累積加算(積分)することによってレンズ駆動に伴う変化度合いが大きい第2の評価値VBを求めるようにしてもよい。
【0034】
また、これら以外の方法によって上記第1及び第2の評価値VA,VBを求めるようにしてもよい。
【0035】
評価値演算部32は上記のようにして各ブロックB1〜B5について各ブロックB1〜B5の画像成分から合焦度合いを評価するための、2種類の評価値VA,VBを求め、それを移動検出部33に与える。
【0036】
移動検出部33は各レンズ位置P1〜P6においてCCD撮像素子11から得られる画像に基づいて算出された2種類の評価値VA,VBを入力すると、撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAを用いて被写体の画像平面内での移動を検出する。つまり、撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAを用いて被写体の画像平面内での移動を検出するように構成されることで、被写体の移動を誤検出する可能性を低減するように構成される。
【0037】
以下、この移動検出部33の動作について詳細に説明する。
【0038】
撮影レンズ10が各レンズ位置P1〜P6にあるとき、移動検出部33にはブロックB1〜B5のそれぞれについて求められた評価値が入力される。移動検出部33は前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とを比較することにより、画像平面内における被写体の移動を検出するように構成される。
【0039】
ここで、ブロックB1について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(B1)とし、今回のレンズ位置において得られるものを評価値VA2(B1)とする。ブロックB2について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(B2)とし、今回のレンズ位置において得られるものを評価値VA2(B2)とする。以下同様に、ブロックB3〜B5のそれぞれについて得られる前回及び今回のレンズ位置において得られる評価値を規定する。
【0040】
移動検出部33は、各ブロックB1〜B5より前回得られた評価値VA1(B1)〜VA1(B5)と、今回得られた評価値VA2(B1)〜VA2(B5)とに基づいて、合焦評価領域Rにおいて中央部分を除いた周辺部分について被写体の移動を検出する。
【0041】
各レンズ位置において得られた評価値VAを隣接するブロック間で差分をとると、合焦評価領域Rの中央部分による影響がほぼ相殺されることになり、合焦評価領域R内の周辺部分に関する評価値Hが得られる。すなわち、前回のレンズ位置において得られた評価値VA1に対しては、
【0042】
【数1】
【0043】
なる演算を行うことにより、前回のレンズ位置において得られた評価値VA1から周辺部分の評価値H11〜H14を求めることができる。
【0044】
図6は合焦評価領域Rを示す図であり、上記演算によって求められる周辺部の領域を示す図である。図6(a)における斜線領域は評価値H11に対応する領域であり、図6(b)における斜線領域は評価値H12に対応する領域であり、図6(c)における斜線領域は評価値H13に対応する領域であり、図6(d)における斜線領域は評価値H14に対応する領域である。
【0045】
同様に、今回のレンズ位置において得られた評価値VA2に対しても、
【0046】
【数2】
【0047】
なる演算を行うことにより、今回のレンズ位置において得られた評価値VA2から周辺部分の評価値H21〜H24を求めることができる。この場合も、図6(a)における斜線領域は評価値H21に対応する領域であり、図6(b)における斜線領域は評価値H22に対応する領域であり、図6(c)における斜線領域は評価値H23に対応する領域であり、図6(d)における斜線領域は評価値H24に対応する領域である。
【0048】
移動検出部33は上記数1及び数2のような演算を行うことにより、前回のレンズ位置について得られた評価値VA1と、今回のレンズ位置について得られた評価値VA2とのそれぞれについて、合焦評価領域Rにおいて中央部分を除いた周辺部分の評価値を求める。そして、前回のレンズ位置について求められる周辺部評価値H11〜H14と、今回のレンズ位置について求められる周辺部評価値H21〜H24とを、画像平面内における被写体の移動を評価するための指標値として用いる。
【0049】
図7は前回のレンズ位置と今回のレンズ位置との比較対象画像において合焦評価領域Rにおける被写体が右方向に移動した場合を示す図であり、図における円形、三角形、四角形は被写体像を模式的に表したものである。図7に示すように、画像G1とG2との間で被写体が右方向にずれると、合焦評価領域Rに含まれる被写体のうち、周辺部分の被写体が各周辺部評価値に対応する領域を移動することになる。この場合、前回のレンズ位置において採用された評価対象領域を、今回のレンズ位置においても同様に採用すると、被写体の移動によって評価値が変化することになる。
【0050】
これに対し、合焦評価領域Rに含まれる被写体のうち、中央部分の被写体(三角形)は移動前後においても中央部分に含まれる。このため、合焦評価領域Rの中央部分については被写体が移動しても評価対象領域の評価値の変化は生じない。
【0051】
被写体の合焦度合いを評価する際に、ピント差以外に評価値を変化させる要因として、評価対象領域に新たな被写体が進入した場合や被写体が評価対象領域に含まれなくなる場合が考えられるが、そのような場合には合焦評価領域Rの周辺部分において被写体の移動が現れる。
【0052】
そこで、本実施形態においては、合焦評価領域Rにおいて中央部分を除いた周辺部分の評価値を、合焦評価領域Rに対する被写体の入出動作を評価するための指標値として採用し、合焦評価領域Rの周辺部の評価値を評価することで適切に被写体の移動を検出するように構成される。つまり、前回のレンズ位置における周辺部評価値H11〜H14と、今回のレンズ位置における周辺部評価値H21〜H24との相関値を求めることによって、合焦評価領域R内の周辺部における被写体がどのように移動したかを検出する。
【0053】
被写体の移動を検出するための相関値として、移動検出部33は、右方向への移動を検出するための相関値MR1と、移動がなかったことを検出するための相関値MV0と、左方向への移動を検出するための相関値ML1とを演算により求める。
【0054】
つまり、移動検出部33は、
【0055】
【数3】
【0056】
の演算を行うことにより、相関値MR1,MV0,ML1のそれぞれを算出する。相関値MR1は被写体が右方向に16画素分移動したことを検出するための相関値であり、相関値ML1は被写体が左方向に16画素分移動したことを検出するための相関値である。また、相関値MV0は被写体の移動がないことを検出するための相関値である。
【0057】
図7に示すように、前回のレンズ位置と今回のレンズ位置との間で被写体が右方向におよそ16画素移動すると相関値MR1は最小になる。これに対し、前回のレンズ位置と今回のレンズ位置との間で被写体の移動がなかった場合(あるいは移動量が8画素未満の場合)には相関値MV0が最小になり、前回のレンズ位置と今回のレンズ位置との間で被写体が左方向におよそ16画素移動した場合には相関値ML1が最小になる。
【0058】
つまり、移動検出部33は上記数3の演算によって得られる相関値MR1,MV0,ML1を比較し、最小値を示す相関値を特定することで被写体の移動を検出するように構成される。
【0059】
そして、移動検出部33は、相関値MR1が最小であることを検出した場合には、被写体が画像平面内で右方向に移動し、その移動量が16画素であることを検出する。なお、移動量が16画素になる理由は、各ブロックの配置が水平方向に16画素ずつずらされていることに起因するものであるので、例えば各ブロックの配置が水平方向にN画素(ただし、Nは任意の整数)ずつずらされた構成となっている場合には、被写体の移動量はN画素となる。
【0060】
また、移動検出部33は、相関値ML1が最小であることを検出した場合には、被写体が画像平面内で左方向に移動し、その移動量が16画素であることを検出する。さらに移動検出部33は、相関値MV0が最小であることを検出した場合には、被写体が画像平面内で移動しなかったことを検出する。
【0061】
なお、上述した説明では、前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とに基づいて被写体の移動を検出する場合を示しているが、上記のようにCCD撮像素子11から時間的に連続して得られる2つの画像間で被写体の移動を検出することにより、2つの比較対照画像間での撮影レンズ10の移動量が最小の状態で被写体の移動検出を行うことができるので、比較対照画像間でのピント差が最小になり、移動検出の際の誤検出の可能性を低減することが可能である。
【0062】
また、上述した説明では、説明を簡単にするために、評価値VA1,VA2から周辺部評価値H11〜H14,H21〜H24を算出する場合を例示したが、移動検出部33において上記数3の式に数1及び数2の式を代入した演算式を登録しておけば、移動検出部33において、評価値演算部32から入力する評価値から直接的に相関値MR1,MV0,ML1を求めることが可能である。
【0063】
次に、移動検出部33には信頼性評価部331が設けられており、信頼性評価部331は上記のようにして検出された被写体の移動が正確であるか否かを検証する。
【0064】
上記のように、2種類の評価値のうち、被写体の移動検出時には、レンズ駆動に伴う変化度合いが小さい評価値が用いられることにより、移動検出時における誤検出の低減を図ることができるが、合焦評価領域Rの周辺部分に空間周波数およびコントラストが極めて高い画像成分が含まれていると、それらの撮影レンズ10の駆動に伴う評価値の変化によって被写体の移動を誤検出する可能性が存在する。
【0065】
また、合焦評価領域Rの周辺部分に、それぞれ異なる動きを示す複数の被写体が含まれている場合や、白壁や空等のコントラストが著しく低い画像が含まれている場合等にも、被写体の移動を誤検出する可能性が存在する。
【0066】
そこで信頼性評価部331は、上記のような誤検出を防止するために、上記のようにして検出された被写体の移動が正確であるか否かを検証する。具体的には、移動検出部33によって被写体が右方向又は左方向に16画素移動したことが検出された場合に、信頼性評価部331は、公知の手法である急傾斜延長法による補間演算を行い、それによって得られるパラメータC値及びYM値により、信頼性の評価を行う。
【0067】
急傾斜延長法による補間演算を行うために、信頼性評価部331は被写体の移動を検出するための相関値を再演算する。
【0068】
まず、移動検出部33によって被写体が右方向に16画素移動したことが検出された場合について説明する。被写体が右方向に16画素移動した場合には、信頼性評価部331は、
【0069】
【数4】
【0070】
に基づく演算を行うことにより、相関値MV0’,MR1’,MR2を求める。相関値MR2は32画素分の移動量を検出するための相関値であり、相関値MR1’及びMV0’は相関値MR2と比較可能な状態にするために再演算される。
【0071】
数4の式に基づく再演算により、相関値MV0’と相関値MR1’との関係が、MV0’<MR1’なる関係になった場合、移動検出部33において検出されたMR1<MV0なる関係と逆の関係になる。このため、被写体の移動量は右方向に約8画素であると考えられるが、本実施形態においては、これを切り捨てて移動量を0とする。つまり、移動検出部33において、相関値MR1が最小であることが検出されたにもかかわらず、信頼性評価部331において相関値の再演算を行った結果、MV0’<MR1’なる関係が得られた場合には、被写体の移動はなかったものとして、移動量が0に確定される。
【0072】
また、相関値の再演算によって相関値の関係に逆転現象が生じない場合、すなわち、MV0’>MR1’なる関係が得られた場合には、急傾斜延長法による補間演算を行って信頼性の評価を行う。
【0073】
図8は移動検出部33によって被写体が右方向に16画素移動したことが検出された場合の相関値と移動量との関係を示す図である。MV0’>MR1’なる関係が得られる場合、相関値MV0’,MR1’,MR2は、「MR1’<MV0’<MR2」なる関係を示す場合と、「MR1’<MV0’かつMR2<MV0’」なる関係を示す場合とがある。図8(b)は「MR1’<MV0’<MR2」なる関係を示す場合を示しており、図8(a)は「MR1’<MV0’かつMR2<MV0’」なる関係を示す場合の一例を示している。
【0074】
再演算によって得られる相関値MV0’,MR1’,MR2が図8(a)に示すような状態になる場合、急傾斜延長法によってパラメータC及びYMを算出する。急傾斜延長法は、3点のうちの2点を通る最も急傾斜となる直線と、他の1点を通り、その急傾斜直線と傾きの符号が異なる直線とを設定し、それら2直線の交点を求める手法である。すなわち、図8(a)に示すように、相関値MV0’と相関値MR1’とを通る直線110を設定し、直線110の傾きと符号の異なる傾きを有する直線111を、相関値MR2を通るように設定する。このときの、相関値MV0’と相関値MR1’との差分がパラメータCであり、直線110と直線111との交点の高さがパラメータYMとなる。図8(a)の場合には、パラメータC及びYMは、
【0075】
【数5】
【0076】
によって求めることができる。
【0077】
また、再演算によって得られる相関値MV0’,MR1’,MR2が図8(b)に示すような状態になる場合にも、急傾斜延長法によってパラメータC及びYMを算出する。すなわち、図8(b)に示すように相関値MR1’と相関値MR2とを通る直線121を設定し、直線121の傾きと符号の異なる傾きを有する直線120を相関値MV0’を通るように設定する。このときの、相関値MR2と相関値MR1’との差分がパラメータCであり、直線120と直線121との交点の高さがパラメータYMとなる。図8(b)の場合には、パラメータC及びYMは、
【0078】
【数6】
【0079】
によって求めることができる。
【0080】
そして信頼性評価部331は、上記のようにして求められるパラメータC及びYMを用いて、被写体が右方向に16画素移動したことに関する信頼性を評価する。具体的には、パラメータCが所定値TH1よりも大きく、かつ、パラメータYM/Cが所定値TH2より小さい場合には被写体の移動検出結果の信頼性が高いものと決定する。したがって、C>TH1かつYM/C<TH2なる関係は信頼性が高いと判断されるための評価条件となり、評価条件が満たされる場合には、画像平面内において被写体が右方向に移動し、その移動量は16画素であることが確定される。
【0081】
なお、評価条件が満たされない場合には、被写体の移動検出結果の信頼性が低いものと決定し、被写体の移動はないものとされて、移動量は0に確定される。また、相関値MR2が最小になる場合にも、被写体の移動検出結果の信頼性が低いものと決定し、移動量を0に確定してもよい。
【0082】
次に、移動検出部33によって被写体が左方向に16画素移動したことが検出された場合について説明する。被写体が左方向に16画素移動した場合には、信頼性評価部331は、
【0083】
【数7】
【0084】
に基づく演算を行うことにより、相関値ML2,ML1’,MV0’を求める。相関値ML2は32画素分の移動量を検出するための相関値であり、相関値ML1’及びMV0’は相関値MR2と比較可能な状態にするために再演算される。
【0085】
数7の式に基づく再演算により、相関値MV0’と相関値ML1’との関係が、MV0’<ML1’なる関係になった場合、移動検出部33において検出されたML1<MV0なる関係と逆の関係になる。このため、被写体の移動量は左方向に約8画素であると考えられるが、本実施形態においては、これを切り捨てて移動量を0とする。つまり、移動検出部33において、相関値ML1が最小であることが検出されたにもかかわらず、信頼性評価部331において相関値の再演算を行った結果、MV0’<ML1’なる関係が得られた場合には、被写体の移動はなかったものとして、移動量が0に確定される。
【0086】
また、相関値の再演算によって相関値の関係に逆転現象が生じない場合、すなわち、MV0’>ML1’なる関係が得られた場合には、急傾斜延長法による補間演算を行って信頼性の評価を行う。
【0087】
図9は移動検出部33によって被写体が左方向に16画素移動したことが検出された場合の相関値と移動量との関係を示す図である。MV0’>ML1’なる関係が得られる場合、相関値MV0’,ML1’,ML2は、「ML1’<MV0’<ML2」なる関係を示す場合と、「ML1’<MV0’かつML2<MV0’」なる関係を示す場合とがある。図9(a)は「ML1’<MV0’<ML2」なる関係を示す場合を示しており、図9(b)は「ML1’<MV0’かつML2<MV0’」なる関係を示す場合の一例を示している。
【0088】
再演算によって得られる相関値MV0’,ML1’,ML2が図9(a)に示すような状態になる場合、急傾斜延長法によってパラメータC及びYMを算出する。すなわち、図9(a)に示すように、相関値ML2と相関値ML1’とを通る直線130を設定し、直線130の傾きと符号の異なる傾きを有する直線131を相関値MV0’を通るように設定する。このときの、相関値ML2と相関値ML1’との差分がパラメータCであり、直線130と直線131との交点の高さがパラメータYMとなる。図9(a)の場合には、パラメータC及びYMは、
【0089】
【数8】
【0090】
によって求めることができる。
【0091】
また、再演算によって得られる相関値MV0’,ML1’,ML2が図9(b)に示すような状態になる場合にも、急傾斜延長法によってパラメータC及びYMを算出する。すなわち、図9(b)に示すように相関値ML1’と相関値MV0’とを通る直線141を設定し、直線141の傾きと符号の異なる傾きを有する直線140を、相関値ML2を通るように設定する。このときの、相関値MV0’と相関値ML1’との差分がパラメータCであり、直線140と直線141との交点の高さがパラメータYMとなる。図9(b)の場合には、パラメータC及びYMは、
【0092】
【数9】
【0093】
によって求めることができる。
【0094】
そして信頼性評価部331は、上記のようにして求められるパラメータC及びYMを用いて、被写体が左方向に16画素移動したことに関する信頼性を評価する。具体的には、右方向への移動が検出された場合と同様に、パラメータCが所定値TH1よりも大きく、かつ、パラメータYM/Cが所定値TH2より小さい場合には被写体の移動検出結果の信頼性が高いものと決定する。したがって、C>TH1かつYM/C<TH2なる評価条件が満たされる場合には、画像平面内において被写体が左方向に移動し、その移動量は16画素であることが確定される。
【0095】
なお、評価条件が満たされない場合には、被写体の移動検出結果の信頼性が低いものと決定し、被写体の移動はないものとされて、移動量は0に確定される。また、相関値ML2が最小になる場合にも、被写体の移動検出結果の信頼性が低いものと決定し、移動量を0に確定してもよい。
【0096】
以上のように、信頼性評価部331は、移動検出部33において被写体の移動が検出された場合、急傾斜延長法によって相関値の変化度合いを評価することで移動検出結果の信頼性を評価するように構成され、信頼性が低いと判定した場合には移動検出部33における検出結果は誤検出であるとしてそれを無視することになる。これに対し、信頼性が高いと判定した場合には移動検出部33における検出結果は正確であるとして移動検出部33における検出結果を有効に確定させる。このような信頼性判定が行われることにより、画像平面内における被写体の移動検出結果が誤検出である場合にその検出結果が利用されることを良好に防止することができる。
【0097】
そして信頼性評価部331によって移動検出結果が確定され、被写体が右方向又は左方向に16画素移動したことが検出された場合には、移動検出部33が合焦評価領域設定部31に対して被写体の移動量等に関する情報を送出する。これにより、合焦評価領域設定部31は、図2に示す画像100における合焦評価領域Rの位置を変更することが可能である。
【0098】
また、移動検出部33は信頼性評価部331によって確定された移動量を移動予測部34に与えるように構成されるとともに、各ブロックB1〜B5のうちで移動後の被写体が含まれるブロックを特定し、合焦位置検出部35に指示するように構成される。
【0099】
合焦位置検出部35は、移動検出部33によって指示されるブロックの評価値VA,VBを取得し、各レンズ位置において求められた評価値VA,VBを記憶していく。そして、撮影レンズ10が6回駆動されて全てのレンズ位置における評価値が得られると、それらの評価値に基づいて合焦位置検出演算が行われ、合焦位置FPが特定される。
【0100】
なお、合焦位置近傍においてはレンズ駆動に伴う評価値の変化度合いが大きい第2の評価値VBを用いて合焦位置FPが特定されるが、第2の評価値VBを用いて合焦位置FPを特定することが困難な場合には、合焦位置FPは比較的遠い位置に存在することになるため、例えば、第1の評価値VAを用いて撮影レンズ10の高速駆動等が行われる。
【0101】
そして合焦位置FPが特定されると、そのレンズ位置がレンズ制御部36に対して指示され、レンズ制御部36はレンズ駆動部16を介して撮影レンズ10を合焦位置FPに移動させることになる。これにより、被写体像の合焦状態が実現される。
【0102】
また、レンズ制御部36は、自動合焦制御において撮影レンズ10を所定ピッチで6回駆動させるために、レンズ駆動部16に対して所定タイミングで制御信号を送出する。
【0103】
以上のような動作をタイミングチャートで示すと図10に示すようになる。撮影レンズ10は所定のタイミングで駆動され、各レンズ駆動によってレンズ位置がP1からP6まで段階的に駆動される(図5参照)。
【0104】
1回目レンズ駆動が終了すると、撮影レンズ10はレンズ位置P1に移動し、そこで1回目の撮像処理が行われる。CCD撮像素子11の撮像処理が終了すると、CCD撮像素子11から画像が読み出される。このとき、自動合焦制御部30は画像メモリ12を介して合焦評価領域Rの画像成分を入力し、画像読み出し動作と並行して評価値の演算を開始する。そして評価値の演算が終了すると、移動検出部33及び合焦位置検出部35がその評価値を取得する。
【0105】
また、1回目の撮像処理が終了すると、2回目のレンズ駆動が行われ、撮影レンズ10がレンズ位置P2に移動した状態で2回目の撮像処理が行われる。したがって、2回目のレンズ駆動及び撮像処理は、1回目の撮像処理によって得られた画像の読み出し動作及び評価値演算動作と並行して行われることになる。
【0106】
そして2回目の撮像処理によって得られた画像に基づく評価値の取得が完了すると、移動検出部33において1回目の画像と2回目の画像との間における移動検出が行われる。この移動検出による検出結果は、4回目の画像に基づく評価値演算にフィードバックされ、4回目の画像に基づく評価値演算の際に適用される合焦評価領域Rの設定変更が行われる。
【0107】
以下同様に、6回目のレンズ駆動に伴う各動作が終了した時点で、合焦位置検出部36が機能し、6回分の評価値に基づいて合焦位置FPを検出するための処理が実行される。
【0108】
そして上記のような動作を行うことにより、各レンズ位置において合焦位置FPを検出するためのブロックの位置を被写体の移動に追従させることが可能になる。図11は被写体の移動検出に伴う合焦評価領域Rの状態を示す図である。ただし、図11においては、画像平面内において被写体が右方向に移動する場合を例示している。
【0109】
図11に示す各画像101〜106は、撮影レンズ10のレンズ位置をP1〜P6まで段階的に移動させた場合(図5参照)の合焦評価領域Rに含まれる画像を示している。画像101では、合焦位置検出部35が合焦度合いを評価する際の評価対象領域がブロックB3となっている。そして画像101と画像102との間の移動検出により、被写体は右方向に16画素移動したことが検出される。このため、画像102における評価対象領域はブロックB4として設定される。
【0110】
また、画像102と画像103との間の移動検出により、被写体はさらに右方向に16画素移動したことが検出される。このため、画像103における評価対象領域はブロックB5として設定される。
【0111】
ところで、画像101と画像102との間の移動検出の完了時には、画像103に基づく各ブロックの評価値演算と、画像104の撮像処理とが行われている。このため、画像104をCCD撮像素子11より読み出して評価値演算を行う際には、画像101と画像102との間の移動検出に基づいて合焦評価領域Rを右方向に16画素移動させて設定することにより、被写体の移動に追従して合焦評価領域Rの位置を変更する。
【0112】
以下同様に、画像102と画像103との間の移動検出に基づいて画像105の合焦評価領域Rを右方向に16画素移動させて設定し、画像103と画像104との間の移動検出に基づいて画像106の合焦評価領域Rを右方向に16画素移動させて設定する。
【0113】
このように被写体の移動に伴って合焦評価領域Rの位置を移動させることにより、合焦評価領域Rに設定するブロックの数を増加させることなく、被写体の動きに追従することができる。また、ブロックの数を増加させる必要がないことから、評価値演算の負担を軽減することも可能である。
【0114】
次に、移動予測部34は、例えばコンティニュアスAFモード時において機能し、繰り返し自動合焦制御が実行される場合に、前回の自動合焦制御と次回の自動合焦制御との間での被写体の移動量を予測するように構成される。
【0115】
コンティニュアスAFモードにおいても前回の自動合焦制御における最後の画像と、その次の自動合焦制御における最初の画像との間で移動検出を行えば、合焦評価領域Rを被写体の移動に追従させることが可能である。
【0116】
しかし、コンティニュアスAFモードでは、前回の自動合焦制御とその次の自動合焦動作との間に、被写体の輝度変化に対応するために、測光動作等を行って露出制御を行う必要がある。このため、繰り返し行われる自動合焦制御動作の間に露出制御が介在すると、前回の自動合焦制御における最後の画像と、その次の自動合焦制御における最初の画像との撮像タイミングの差が拡大し、その間に被写体が16画素以上移動する可能性が高いと考えられる。
【0117】
そこで、移動予測部34は、自動合焦制御の際に、各タイミングで移動検出部33から入力する移動量に基づいて被写体の移動速度を求め、前回の自動合焦制御とその次の自動合焦制御とのタイミング差に基づいて、前回の自動合焦制御の最後に決定された合焦評価領域Rの位置及び評価対象領域として決定されたブロックからの被写体の移動量を決定する。そしてその移動量に基づいて、移動予測部34は、次回の自動合焦制御の開始時における合焦評価領域Rの位置を合焦評価領域設定部31に対してフィードバックするように構成される。
【0118】
図12は、コンティニュアスAFモードにおける被写体の移動検出に伴う合焦評価領域Rの状態を示す図である。ただし、図12においては、画像平面内において被写体が右方向に移動する場合を例示しており、画像101〜106は図11に示した画像と同様である。
【0119】
移動予測部34は、前回の自動合焦制御時における被写体の移動量を、画像101を基準とした画像106の被写体位置により算出する。図12の場合は、各画像において被写体が16画素ずつ右方向に移動するので、前回の自動合焦制御時における被写体の移動量は、16×5=80画素となる。これを画像101の撮像タイミングと画像106の撮像タイミングとの差t1で除算し、前回の自動合焦時における被写体の移動速度v=80/t1を算出する。
【0120】
また、移動予測部34は、前回の自動合焦制御とその次の自動合焦制御とのタイミング差t2を求め、そのタイミング差t2と上記移動速度vから、次回の自動合焦制御時の最初の画像201を撮像するタイミングでの被写体の移動量を求める。つまり、図12の場合は、80×t2/t1により、前回の自動合焦制御とその次の自動合焦制御との間で被写体が移動した移動量を求めることができる。移動予測部34は、上記のようにして求められる移動量を、前回の自動合焦制御の最後の画像106について設定された合焦評価領域Rの位置に加算することで、次回の自動合焦制御時の最初の画像201に対する合焦評価領域Rを設定する。このとき、合焦評価領域Rにおける評価対象領域は中央部のブロックB3となるように合焦評価領域Rの位置を設定する。このように繰り返し自動合焦制御が行われる場合、移動予測部34が次回の自動合焦制御時における被写体の位置を予測するように構成されるため、各自動合焦制御動作の間に露出制御等の他の動作が行われる場合であっても、合焦評価領域Rを良好に被写体の移動に追従させることが可能である。
【0121】
次に、上記のように構成されたデジタルカメラ1において、自動合焦制御を行う際の処理シーケンスについて説明する。図13乃至図16は、コンティニュアスAFモードにおいて自動合焦制御を行う際の処理シーケンスを示すフローチャートであり、図10のタイミングチャートをフローチャートで示したものである。
【0122】
図13に示すように、自動合焦制御が開始されると、レンズ制御部36は、前回の合焦位置を中心に、撮影レンズ10を段階的に移動させる際の各レンズ位置を等間隔で設定する。そしてレンズ制御部36はレンズ駆動部16を制御して撮影レンズ10を最初の撮像ポイントであるレンズ位置P1に移動させる(ステップS100)。そしてCCD撮像素子11における撮像処理を開始させる(ステップS101)。
【0123】
撮像処理が終了すると、合焦評価領域設定部31は、被写体がブロックB3に含まれるように合焦評価領域Rを設定するとともに(ステップS102)、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS103)。
【0124】
また、1回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を2回目の撮像ポイントであるレンズ位置P2に移動させる(ステップS104)。
【0125】
評価値演算部32は、1回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS102で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS105)。
【0126】
そしてCCD撮像素子11における2回目の撮像処理が開始される(ステップS106)。
【0127】
撮像処理が終了すると、合焦評価領域設定部31は、合焦評価領域Rを設定するとともに(ステップS107)、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS108)。
【0128】
また、2回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を3回目の撮像ポイントであるレンズ位置P3に移動させる(ステップS109)。また、このとき、合焦位置検出部35は、ブロックB3を評価対象領域とし、1回目の画像から求められるブロックB3についての評価値を取得して、それを一時的に記憶しておく(ステップS110)。
【0129】
評価値演算部32は、2回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS107で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS111)。
【0130】
そしてCCD撮像素子11における3回目の撮像処理が開始される(ステップS112)。撮像処理が終了すると、合焦評価領域設定部31は、合焦評価領域Rを設定するとともに(ステップS113)、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS114)。
【0131】
図14のフローチャートに移り、3回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を4回目の撮像ポイントであるレンズ位置P4に移動させる(ステップS115)。これと同時に、評価値演算部32は、3回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS113で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS116)。
【0132】
そして移動検出部33が機能し、1回目及び2回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS117)。つまり、このときにレンズ位置P1で撮影した画像と、レンズ位置P2で撮影した画像との間に被写体が画像平面内で移動したか否かを検出するのである。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS118)。
【0133】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、2回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS119)。例えば、ステップS117において被写体が右方向に16画素移動したことが検出され、ステップS118においてその検出結果の信頼性が高いと判断された場合には、ブロックB4が評価対象領域として選択されることになる(図11の画像102参照)。
【0134】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、評価対象領域となるブロックは変更されない。すなわち、1回目の評価対象領域であるブロックB3が選択され、その選択されたブロックについて算出された、2回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS119)。
【0135】
そしてCCD撮像素子11における4回目の撮像処理が開始される(ステップS120)。撮像処理が終了すると、合焦評価領域設定部31は、前回の移動検出結果に基づいて合焦評価領域Rを設定する(ステップS121)。例えば、ステップS117において被写体が右方向に16画素移動したことが検出され、ステップS118においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Rは前回の位置から右方向に16画素移動した位置に設定される(図11の画像104参照)。
【0136】
4回目の撮像処理が終了すると、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS122)。また、4回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を5回目の撮像ポイントであるレンズ位置P5に移動させる(ステップS123)。これと同時に、評価値演算部32は、4回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS121で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS124)。
【0137】
そして移動検出部33が機能し、2回目及び3回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS125)。つまり、このときにレンズ位置P2で撮影した画像と、レンズ位置P3で撮影した画像との間に被写体が画像平面内で移動したか否かを検出するのである。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS126)。
【0138】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、3回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS127)。例えば、ステップS117,S118において被写体が右方向に16画素移動したことが検出され、さらに、ステップS125,S126において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像103参照)。
【0139】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、評価対象領域となるブロックは変更されない。すなわち、2回目の評価対象領域であるブロックが選択され、その選択されたブロックについて算出された、3回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS127)。
【0140】
そしてCCD撮像素子11における5回目の撮像処理が開始される(ステップS128)。撮像処理が終了すると、合焦評価領域設定部31は、前回の移動検出結果に基づいて合焦評価領域Rを設定する(ステップS129)。例えば、ステップS125において被写体が右方向に16画素移動したことが検出され、ステップS126においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Rは前回の位置から右方向に16画素移動した位置に設定される(図11の画像105参照)。
【0141】
5回目の撮像処理が終了すると、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS130)。
【0142】
また、5回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を6回目の撮像ポイントであるレンズ位置P6に移動させる(図15のフローチャート:ステップS131)。これと同時に、評価値演算部32は、5回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS129で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS132)。
【0143】
そして移動検出部33が機能し、3回目及び4回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS133)。このとき、レンズ位置P3で撮影した画像と、レンズ位置P4で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS134)。
【0144】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、4回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS135)。例えば、ステップS117,S118及びS125,S126において被写体が右方向に16画素移動したことが検出され、さらに、ステップS133,S134において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像104参照)。
【0145】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、3回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、4回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS135)。
【0146】
そしてCCD撮像素子11における6回目の撮像処理が開始される(ステップS136)。撮像処理が終了すると、合焦評価領域設定部31は、前回の移動検出結果に基づいて合焦評価領域Rを設定する(ステップS137)。例えば、ステップS133において被写体が右方向に16画素移動したことが検出され、ステップS134においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Rは前回の位置から右方向に16画素移動した位置に設定される(図11の画像106参照)。
【0147】
6回目の撮像処理が終了すると、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS138)。評価値演算部32は、6回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS137で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS139)。
【0148】
そして移動検出部33が機能し、4回目及び5回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS140)。このとき、レンズ位置P4で撮影した画像と、レンズ位置P5で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS141)。
【0149】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、5回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS142)。例えば、これまでの移動検出において被写体が右方向に16画素移動したことが検出され、さらに、ステップS140,S141において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像105参照)。
【0150】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、4回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、5回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS142)。
【0151】
そしてステップS139で開始した評価値演算が終了すると、移動検出部33が機能し、5回目及び6回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS143)。このとき、レンズ位置P5で撮影した画像と、レンズ位置P6で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS144)。
【0152】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、6回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS145)。例えば、これまでの移動検出において被写体が右方向に16画素移動したことが検出され、さらに、ステップS143,S144において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像106参照)。
【0153】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、5回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、6回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS145)。
【0154】
次に、図16のフローチャートに進み、合焦位置検出部35が各レンズ位置において得られる評価値のうち、評価対象領域として選択されたブロックの評価値を取得し、補間演算等を行うことによって合焦位置FPを特定する(ステップS146)。このとき、合焦位置近傍では、レンズ駆動に伴う変化度合いが大きい評価値VBが用いられ、合焦位置FPの特定が高精度に行われる。
【0155】
そしてレンズ制御部36がレンズ駆動部16を制御し、撮影レンズ10を合焦位置FPに移動させる(ステップS147)。この結果、CCD撮像素子11に結像される被写体像の合焦状態が実現される。
【0156】
そして、移動予測部34は、これまでの移動検出において検出された被写体の移動量に基づいて、被写体速度を算出し(ステップS148)、次回のステップS102が行われる際に最適な合焦評価領域Rの位置を予測する(ステップS149)。その後、ステップS100に戻り、繰り返し自動合焦制御が実行される。
【0157】
なお、ワンショットAFモードの場合には、上記のステップS147が終了した後、自動合焦制御が終了する。
【0158】
以上のように、本実施形態のデジタルカメラ1は、CCD撮像素子11から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズ10を駆動することにより、被写体の合焦状態を実現するように構成されており、さらに、被写体の合焦度合いを評価するために求められる、撮影レンズ10の駆動に伴う変化度合いが小さい第1の評価値を用いて、撮影レンズ10の駆動前後における画像平面での被写体の移動を検出するように構成されている。そのため、被写体の移動検出における誤検出を低減することができ、被写体の移動を正確に把握することが可能になる。
【0159】
また、信頼性評価部331が被写体の移動検出結果の信頼を評価するように構成されている。そのため、被写体の移動検出における誤検出をさらに低減することができ、被写体の移動をより正確に把握することが可能になる。
【0160】
そして、被写体の合焦度合いを評価するために、画像信号から合焦評価領域Rの画像成分を抽出し、その合焦評価領域Rの画像成分から、第1及び第2の評価値を求めるように構成されており、移動検出部33における検出結果に基づいて画像信号に対する合焦評価領域Rの設定位置が変更される。したがって、図2に示す画像100において被写体が移動した場合でも、その移動を追従しつつ合焦度合いの評価を行うことができるように実現される。
【0161】
また、本実施形態のデジタルカメラ1は、CCD撮像素子11から得られる画像信号に基づいて、複数のブロックB1〜B5のそれぞれについて、被写体の合焦度合いを評価するための評価値を求め、それらの評価値を用いて被写体の合焦度合いを評価し、撮影レンズ10を合焦位置FPに駆動するように構成される。そして、複数のブロックB1〜B5のうち、互いに隣接するブロックB1〜B5について得られる評価値を差分することによって、合焦評価領域Rの周辺部分についての被写体の移動に関する指標値を求め、その指標値に基づいて被写体の相対的な移動を検出するように構成される。
【0162】
したがって、被写体の移動検出は、複数のブロックB1〜B5について同一演算によって求められる評価値に基づいて行われるので、演算処理の簡単化及び効率化を図ることができる。そして、被写体の移動検出を高速に行うことが可能になり、デジタルカメラ1のコスト低廉を図ることが可能である。
【0163】
また、同一サイズを有する複数のブロックB1〜B5のそれぞれが、所定方向にずれた配置とされ、一部において重複した領域を有するように配置されることで、上記の差分演算によって、合焦評価領域Rの周辺部分についての被写体の移動を評価することが可能である。
【0164】
またデジタルカメラ1は、CCD撮像素子11から得られる画像信号に基づいて、中央部分と周辺部分とによって規定される合焦評価領域Rに関する評価値を求めるように構成され、移動検出部33は、合焦評価領域Rの周辺部分について得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるので、評価対象領域の評価値に影響を与える被写体の移動を良好に検出することが可能である。
【0165】
また、本実施形態においては、合焦評価領域Rの中心部分において複数のブロックB1〜B5が重複するように配置され、かつ各ブロックが所定画素ずつずらされた配置されており、各ブロックについて同一の評価値演算が適用されるので、演算処理の効率化を図ることが可能である。
【0166】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。上記第1の実施の形態では、合焦評価領域Rにおける複数のブロックB1〜B5が、一部重ね合わされた状態で配置される場合を例示したが、本実施形態では、第1の実施の形態とは異なる合焦評価領域の設定について説明する。なお、デジタルカメラ1の構成は第1の実施の形態で説明したものと同様である。
【0167】
図17は本実施形態における合焦評価領域Rの構成を示す図である。本実施形態においても、合焦評価領域Rは、図2に示すように画像100に含まれる主被写体の合焦状態を評価するために、画像100に対して設定される。そして本実施形態においても、合焦評価領域Rは、画像平面内における被写体の移動を検出するために、複数のブロックに分割された構成となっている。
【0168】
図17に示す合焦評価領域Rは、中央部分にメインブロックBMが設けられ、メインブロックBMの左右両方向に各4個ずつのサブブロックBS1〜BS4及びBS5〜BS8が設けられる。例えば、メインブロックBMは、幅240画素×高さ200画素の画像成分を含むように構成され、各サブブロックBS1〜BS8は幅16画素×高さ200画素の画像成分を含むように構成される。
【0169】
図17の合焦評価領域Rでは、被写体が初期状態から移動しない場合、合焦度合いを評価する際の評価対象領域が、メインブロックBMと4個のサブブロックBS3,BS4,BS5,BS6とによって規定される領域となる。その状態から被写体が右方向に16画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS4,BS5,BS6,BS7とによって規定される領域となる。さらに、初期状態から被写体が右方向に32画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS5,BS6,BS7,BS8とによって規定される領域となる。
【0170】
これに対し、初期状態から被写体が左方向に16画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS2,BS3,BS4,BS5とによって規定される領域となる。さらに、初期状態から被写体が左方向に32画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS1,BS2,BS3,BS4とによって規定される領域となる。
【0171】
そして評価値演算部32は被写体の合焦度合いを評価するために、上記のようにして決定される評価対象領域について評価値を算出する。また、評価値演算部32は各サブブロックBS1〜BS8のそれぞれについて、被写体の移動検出を行うための評価値を算出する。
【0172】
評価値演算部32は、評価対象領域について評価値を算出する際には、合焦位置近傍において撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAと、撮影レンズ10の駆動に伴う変化度合いが大きい評価値VBとの双方を求める。これにより、合焦位置検出部35は、合焦位置FPに対する撮影レンズ10の位置関係に応じて最適な評価値を参照して合焦度合いを評価することが可能である。
【0173】
また、評価値演算部32は、各サブブロックBS1〜BS8について、被写体の移動に関する評価値を求める際には、撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAのみを求めればよい。それにより、合焦評価領域Rにおいて中心部分を除いた周辺部分の評価値を得ることができ、第1の実施の形態で説明したのと同様の手法によって被写体の移動を検出することが可能である。なお、各サブブロックBS1〜BS8については、同一演算が適用されて評価値が算出される。
【0174】
ここで、サブブロックBS1について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(BS1)とし、今回のレンズ位置において得られるものを評価値VA2(BS1)とする。サブブロックBS2について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(BS2)とし、今回のレンズ位置において得られるものを評価値VA2(BS2)とする。以下同様に、サブブロックBS3〜BS8のそれぞれについて得られる前回及び今回のレンズ位置において得られる評価値を規定する。
【0175】
移動検出部33は、各ブロックBS1〜BS8より前回得られた評価値VA1(BS1)〜VA1(BS8)と、今回得られた評価値VA2(BS1)〜VA2(BS8)とに基づいて、合焦評価領域Rにおいて中央部分を除いた周辺部分について被写体の移動を検出する。
【0176】
各レンズ位置において得られる評価値VAを隣接するサブブロック間で差分をとると、合焦評価領域R内の周辺部分における評価値の移動が検出可能である。つまり、各レンズ位置において得られる評価値VAを隣接するサブブロック間で差分することにより得られる差分値が、合焦評価領域Rの周辺部分についての被写体の移動に関する指標値となり、その指標値に基づいて被写体の相対的な移動が検出される。
【0177】
例えば、評価値VA1(BS1)とVA2(BS2)との差分が小さくなれば、前回のレンズ位置においてサブブロックBS1に含まれていた被写体は今回のレンズ位置においてサブブロックBS2に含まれることになり、被写体が右方向に16画素移動したことになる。また、評価値VA1(BS2)とVA2(BS1)との差分が小さくなれば、前回のレンズ位置においてサブブロックBS2に含まれていた被写体は今回のレンズ位置においてサブブロックBS1に含まれることになり、被写体が左方向に16画素移動したことになる。さらに、評価値VA1(BS1)とVA2(BS1)との差分が小さくなれば、前回のレンズ位置においてサブブロックBS1に含まれていた被写体は今回のレンズ位置においてもサブブロックBS1に含まれることになり、レンズ駆動の間における被写体の移動はなかったものと考えられる。
【0178】
同様に他の隣接サブブロック間でも同様のことが言えるため、移動検出部33は、
【0179】
【数10】
【0180】
の演算を行うことにより、第1の実施の形態で説明したものと同様の特性を示す相関値MR1,MV0,ML1のそれぞれを算出することができる。
【0181】
すなわち、相関値MR1は被写体が右方向に16画素分移動したことを検出するための相関値であり、相関値ML1は被写体が左方向に16画素分移動したことを検出するための相関値である。また、相関値MV0は被写体の移動がないことを検出するための相関値である。そして、本実施形態のように合焦評価領域Rの中央部分となるメインブロックBMの周辺部に、サブブロックBS1〜BS8を設定することにより、合焦評価領域Rの周辺部分について、中央部分の右側と左側とを個別に評価することのできる相関値MR1,MV0,ML1を得ることができる。
【0182】
図18は前回のレンズ位置と今回のレンズ位置との比較対象画像において合焦評価領域Rにおける被写体が右方向に移動した場合を示す図であり、図における円形、三角形、四角形は被写体像を模式的に表したものである。図18に示すように、画像G1とG2との間で被写体が右方向にずれると、合焦評価領域Rに含まれる被写体のうち、周辺部分の被写体が各サブブロックに対応する領域を移動することになる。したがって、前回のレンズ位置におけるサブブロックBS1〜BS8の評価値VA1(BS1)〜VA1(BS8)と、今回のレンズ位置におけるサブブロックBS1〜BS8の評価値VA2(BS1)〜VA2(BS8)との相関値を求めることにより、合焦評価領域R内の周辺部における被写体がどのように移動したかを検出することができる。
【0183】
そして上記数10に示すように、合焦評価領域Rのサブブロックについてのみ相関値演算を行うことで、合焦評価領域Rの周辺部に含まれる被写体の移動のみを評価することができる。このため、移動前後においても中央部分に含まれ、16画素程度移動しても合焦度合いを評価するための評価値に影響を与えない中央部分の被写体(三角形)は、移動検出の対象から排除されるようになっている。
【0184】
そして図18に示すように、前回のレンズ位置と今回のレンズ位置との間で被写体が右方向におよそ16画素移動すると相関値MR1は最小になる。これに対し、前回のレンズ位置と今回のレンズ位置との間で被写体の移動がなかった場合(あるいは移動量が8画素未満の場合)には相関値MV0が最小になり、前回のレンズ位置と今回のレンズ位置との間で被写体が左方向におよそ16画素移動した場合には相関値ML1が最小になる。
【0185】
つまり、移動検出部33は上記数10の演算によって得られる相関値MR1,MV0,ML1を比較し、最小値を示す相関値を特定することで被写体の移動を検出するように構成される。
【0186】
そして、移動検出部33は、相関値MR1が最小であることを検出した場合には、被写体が画像平面内で右方向に移動し、その移動量が16画素であることを検出する。なお、移動量が16画素になる理由は、各サブブロックBS1〜BS8の幅が16画素であることに起因するものであるので、例えば各サブブロックの幅がN画素(ただし、Nは任意の整数)である場合には、被写体の移動量はN画素となる。
【0187】
また、移動検出部33は、相関値ML1が最小であることを検出した場合には、被写体が画像平面内で左方向に移動し、その移動量が16画素であることを検出する。さらに移動検出部33は、相関値MV0が最小であることを検出した場合には、被写体が画像平面内で移動しなかったことを検出する。
【0188】
なお、上述した説明では、前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とに基づいて被写体の移動を検出する場合を示しているが、上記のようにCCD撮像素子11から時間的に連続して得られる2つの画像間で被写体の移動を検出することにより、2つの比較対照画像間での撮影レンズ10の移動量が最小の状態で被写体の移動検出を行うことができるので、比較対照画像間でのピント差が最小になり、移動検出の際の誤検出の可能性を低減することが可能である。
【0189】
また、本実施の形態においても、信頼性評価部331が機能し、移動検出部33において上記のようにして検出された被写体の移動が正確であるか否かを検証するように構成される。つまり、移動検出部33によって被写体が右方向又は左方向に16画素移動したことが検出された場合、信頼性評価部331は、第1の実施の形態で説明した演算と同様の演算手法によって、相関値MV0’,MR1’,MR2又はMV0’,ML1’,ML2を再演算し、公知の手法である急傾斜延長法による補間演算を行い、それによって得られるパラメータC値及びYM値により、信頼性の評価を行うように構成される。
【0190】
そして第1の実施の形態と同様に、信頼性の評価が行われることにより、被写体の移動検出における誤検出を低減することができ、正確に被写体の移動を把握することが可能になる。
【0191】
なお、その他の動作は第1の実施の形態で説明したものと同様であり、例えばコンティニュアスAFモードでは被写体の移動に追従して合焦評価領域Rが設定されるように構成される。
【0192】
本実施形態のように、合焦評価領域Rを構成しても、第1の実施の形態で説明した効果と同様の効果を得ることができる。
【0193】
また、第1の実施の形態では、複数のブロックが同一サイズであることから、各ブロックについて評価値を求める際には同一演算を適用できるのに対し、本実施形態では各サブブロックBS1〜BS8のサイズと、合焦度合いを評価するための評価対象領域のサイズとは異なるサイズであるので、同一演算を適用することはできない。しかし、本実施形態では、評価値を算出するブロック数が第1の実施の形態に比べて増えるが、合焦評価領域Rの周辺部分について、中央部分の右側と左側とを個別に判断することにより、第1の実施の形態で説明した複数ブロックB1〜B5を採用する場合よりも被写体の移動検出を正確に行うことができる。
【0194】
すなわち、本実施形態においては、合焦評価領域Rが、中央部分に対応して設けられるメインブロックBMと、周辺部分に対応して設けられる複数のサブブロックBS1〜BS8とを有しており、移動検出部33が、複数のサブブロックBS1〜BS8のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるので、評価対象領域の評価値に影響を与える被写体の移動を正確に検出することができる。その結果、自動合焦制御において良好に被写体の動きを追従することができ、高精度な自動合焦制御が実現される。
【0195】
<3.変形例>
以上、本発明の実施の形態について説明したが、本発明は上記説明した内容のものに限定されるものではない。
【0196】
例えば、上記各実施形態においては、画像平面の水平方向に対する被写体の移動検出を行う場合を例示したが、これに限定されるものではない。すなわち、第1の実施の形態における複数ブロックの配置方向を縦方向(垂直方向)としたり、第2の実施の形態における複数のサブブロックの配置方向を縦方向(垂直方向)とすることにより、画像平面において被写体が縦方向に移動した場合にそれを検出することが可能である。
【0197】
さらに、第1の実施の形態における複数ブロックを縦横の双方に2次元配置したり、第2の実施の形態における複数のサブブロックを縦横の双方に2次元配置することにより、画像平面において被写体がどのように移動してもそれを追従することが可能になる。
【0198】
図19は、第1の実施の形態のように同一サイズのブロックを複数配置する場合の配置例を示す図であり、各ブロックの中心点の配置のみを示している。
【0199】
図19(a)は第1の実施の形態にて説明したものであり、横方向に5つのブロックB1〜B5が所定画素数ずつずらされて配置される。このため、図19(a)のブロック配置によれば、被写体が横方向に移動した場合にそれを検出することができる。この場合、各ブロックB1〜B5の隣接するブロック間で評価値の差分を用いて水平方向の被写体の移動を検出し、評価対象領域を被写体の移動に追従させるとともに、合焦評価領域Rの位置を移動させることが可能である。
【0200】
図19(b)は5つのブロックB1〜B5が所定画素数ずつずらされて垂直方向に配置される場合を示している。この場合、各ブロックB1〜B5の隣接するブロック間で評価値の差分を用いて垂直方向の被写体の移動を検出し、評価対象領域を被写体の移動に追従させるとともに、合焦評価領域Rの位置を移動させることが可能である。
【0201】
さらに、図19(c)は13個のブロックB1〜B13が所定画素数ずつずらされて2次元配置される場合を示している。この場合、水平方向に配置される5つのブロックB1〜B5の隣接するブロック間で評価値の差分を用いて水平方向の被写体の移動を検出することができるとともに、垂直方向に配置される5つのブロックB6,B7,B3,B8,B9の隣接するブロック間で評価値の差分を用いて垂直方向の被写体の移動を検出することができる。そして、画像平面において被写体が斜め方向に移動すると、水平方向及び垂直方向の双方で同時に被写体の移動が検出される。この場合、被写体の移動方向に応じて、中心ブロックB3からみて斜めの位置にあるブロックB10〜B13のうちのいずれかを評価対象領域として選択することで、被写体の移動に追従させることができる。また、被写体の移動方向に応じて、合焦評価領域Rの位置を斜めに移動させることで、被写体を追従することも可能である。
【0202】
なお、上記においては、デジタルカメラを例示して説明したが、上述した技術はデジタルスチルカメラ及びデジタルビデオカメラのいずれに対しても適用可能である。また、デジタルカメラ以外の撮像装置でも、電気的画像信号を取得することが可能なものであれば、上述した技術を適用することが可能である。
【0203】
【発明の効果】
以上説明したように、請求項1に記載の発明によれば、複数の領域について被写体の合焦度合いを評価するために得られる評価値のうち、互いに隣接する領域について得られる評価値を差分することによって被写体の移動に関する指標値を求め、その指標値に基づいて被写体の相対的な移動を検出するように構成されるため、複数の領域について同一演算によって求められる評価値の差分をとるだけで移動検出を行うための指標値を求めることができるので、演算処理の簡単化及び効率化を図ることができる。また、複数の領域について得られる評価値を差分することで実際の被写体の動きを適切に検出することができる。この結果、被写体の移動検出を高精度かつ高速に行うことが可能になり、撮像装置のコスト低廉を図ることも可能である。
【0204】
請求項2に記載の発明によれば、複数の領域のそれぞれが、一部において重複した領域を有するように配置されるため、評価値の差分演算によって重複部分を除いた領域で被写体の移動検出を行うことができる。
【0205】
請求項3に記載の発明によれば、中央部分と周辺部分とによって規定される合焦評価領域について求められる評価値のうち、周辺部分についての評価値に基づいて、被写体の相対的な移動を検出するように構成されるため、合焦度合いを評価する際の評価値に影響を与える被写体の移動を適切に検出することが可能である。
【0206】
請求項4に記載の発明によれば、複数のサブ領域のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるため、合焦度合いを評価する際の評価値に影響を与える被写体の移動をより正確に検出することが可能である。
【0207】
請求項5に記載の発明によれば、複数の領域のうちの互いに隣接する領域について得られる評価値を差分することによって、合焦評価領域の周辺部分についての評価値を取得して被写体の相対的な移動を検出するように構成されるため、比較的簡単な演算処理により、合焦度合いを評価する際の評価値に影響を与える部分の被写体の移動を検出することができる。
【図面の簡単な説明】
【図1】デジタルカメラの構成を示すブロック図である。
【図2】CCD撮像素子から得られる画像を示す図である。
【図3】合焦評価領域の一構成例を示す図である。
【図4】バンドパスフィルタの周波数特性を示す図である。
【図5】合焦位置近傍における第1及び第2の評価値を示す図である。
【図6】合焦評価領域の周辺部の領域を示す図である。
【図7】第1の実施の形態において被写体が右方向に移動した場合を示す図である。
【図8】被写体が右方向に移動したことが検出された場合の相関値と移動量との関係を示す図である。
【図9】被写体が左方向に移動したことが検出された場合の相関値と移動量との関係を示す図である。
【図10】デジタルカメラの内部動作におけるタイミングチャートである。
【図11】被写体の移動検出に伴う合焦評価領域の状態を示す図である。
【図12】コンティニュアスAFモードにおける合焦評価領域の状態を示す図である。
【図13】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図14】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図15】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図16】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図17】第2の実施の形態における合焦評価領域の構成を示す図である。
【図18】第2の実施の形態において被写体が右方向に移動した場合を示す図である。
【図19】複数ブロックの配置に関する変形例を示す図である。
【符号の説明】
1 デジタルカメラ(撮像装置)
10 撮影レンズ
11 CCD撮像素子(撮像手段)
30 自動合焦制御部
31 合焦評価領域設定部
32 評価値演算部(評価値演算手段)
33 移動検出部(移動検出手段)
34 移動予測部
35 合焦位置検出部
36 レンズ制御部
331 信頼性評価部(信頼性評価手段)
R 合焦評価領域
B1〜B5 ブロック
BM メインブロック
BS1〜BS8 サブブロック
【発明の属する技術分野】
本発明は、デジタルカメラ等の撮像装置に関する。
【0002】
【従来の技術】
従来、デジタルカメラ等の撮像装置におけるオートフォーカス(自動合焦)技術として、画像のある領域に着目し、その領域からコントラスト等の評価値を求めることにより、被写体の合焦度合いを評価するものが知られている。この場合、撮影レンズを段階的に駆動して、評価値が最大になるレンズ位置を検出することにより、被写体像が合焦状態となるレンズ位置を特定してオートフォーカスを行うように構成される。
【0003】
また、オートフォーカスを行う場合、手ぶれや被写体ぶれ等によってオートフォーカスの動作中に被写体が画像平面内で移動する場合がある。このため従来は、画像平面内において評価値が最大値を示す領域の移動を検知することにより、被写体の移動を検知することも行われている。この場合、画像平面内において評価値が最大となる位置が変化することによって被写体が画像平面内においてどのように移動したかを検知することができ、その移動検出結果に基づいて被写体の合焦度合いを評価するための領域を変更するように構成される。
【0004】
【発明が解決しようとする課題】
しかし、上述した移動検出は、単に評価値が最大値を示す領域に追従するものであるため、例えばその領域内で被写体が移動した場合にはそれを検知することができず、正確な追従を行うことができないという問題がある。
【0005】
これを防止するために、オートフォーカス用の評価値を用いることなく、被写体像の特徴量等を演算によって求めることで被写体の移動を検出することも考えられるが、そのような構成にすると、演算に多大な時間を要し、効率的な移動検出は望めない。
【0006】
そこで、本発明は、上記課題に鑑みてなされたものであって、オートフォーカス用の評価値を用いて効率的かつ正確な被写体の移動検出を可能にする撮像装置を提供することを目的とする。
【0007】
【課題を解決するための手段】
上記目的を達成するために、請求項1に記載の発明は、撮像手段から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズを駆動することにより、被写体の合焦状態を実現する撮像装置であって、前記画像信号に基づいて、複数の領域のそれぞれについて、被写体の合焦度合いを評価するための評価値を求める評価値演算手段と、前記評価値を用いて被写体の合焦度合いを評価し、前記撮影レンズを駆動する合焦制御手段と、前記複数の領域のうち、互いに隣接する領域について得られる前記評価値を差分することによって被写体の移動に関する指標値を求め、当該指標値に基づいて被写体の相対的な移動を検出する移動検出手段と、を備えて構成される。
【0008】
請求項2に記載の発明は、請求項1に記載の撮像装置において、前記複数の領域のそれぞれが、一部において重複した領域を有するように配置されることを特徴としている。
【0009】
請求項3に記載の発明は、撮像手段から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズを駆動することにより、被写体の合焦状態を実現する撮像装置であって、前記画像信号に基づいて、中央部分と周辺部分とによって規定される合焦評価領域に関する評価値を求める評価値演算手段と、前記評価値演算手段によって得られる評価値を用いて被写体の合焦度合いを評価し、前記撮影レンズを駆動する合焦制御手段と、前記合焦評価領域の前記周辺部分について得られる評価値に基づいて、被写体の相対的な移動を検出する移動検出手段と、を備えて構成される。
【0010】
請求項4に記載の発明は、請求項3に記載の撮像装置において、前記合焦評価領域が、前記中央部分に対応して設けられるメイン領域と、前記周辺部分に対応して設けられる複数のサブ領域とを有し、前記移動検出手段が、前記複数のサブ領域のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されることを特徴としている。
【0011】
請求項5に記載の発明は、請求項3に記載の撮像装置において、前記合焦評価領域が、前記中央部分に対応する部分で重複する同一サイズの複数の領域を有し、前記移動検出手段が、前記複数の領域のうちの互いに隣接する領域について得られる評価値を差分することによって、前記合焦評価領域の前記周辺部分についての評価値を取得して被写体の相対的な移動を検出することを特徴としている。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しつつ詳細に説明する。
【0013】
<1.第1の実施の形態>
図1は本実施形態にかかるデジタルカメラ1の構成を示すブロック図である。デジタルカメラ1は、撮影レンズ10、CCD撮像素子11、画像メモリ12、画像処理部13、表示部14、記録媒体15、レンズ駆動部16、シャッタボタン18aを含む操作部18、制御部20、及び自動合焦制御部30を備えて構成される。
【0014】
被写体からの光は撮影レンズ10を介してCCD撮像素子11に結像される。撮影レンズ10はレンズ駆動部16によって光軸Lに沿って駆動され、CCD撮像素子11に結像される被写体像の合焦度合いを変化させるように構成される。
【0015】
CCD撮像素子11は撮影レンズ10を介して入射する被写体像を光電変換することにより、被写体に関する画像信号を生成する。この画像信号は、図示しない信号処理部によってデジタルデータに変換され、画像メモリ12に格納される。
【0016】
デジタルカメラ1において記録用の画像を撮影するための撮影処理が行われる場合には、CCD撮像素子11から得られる画像信号は、画像メモリ12を介して画像処理部13に与えられ、画像処理部13において所定の画像処理が施された後、表示部14又は記録媒体15に出力される。表示部14は液晶ディスプレイ等で構成され、表示部14に画像表示が行われることにより、撮影処理によって得られた画像の確認を行うことができる。また、記録媒体15はメモリカード等で構成され、記録媒体15に画像記録が行われることにより、撮影処理によって得られた画像の保存を行うことができる。
【0017】
これに対し、デジタルカメラ1において自動合焦(オートフォーカス)制御が行われる際には、CCD撮像素子11から得られる画像信号は画像メモリ12を介して自動合焦制御部30に与えられる。
【0018】
自動合焦制御部30は、合焦評価領域設定部31、評価値演算部32、移動検出部33、移動予測部34、合焦位置検出部35、及びレンズ制御部36を備えて構成され、いわゆる山登り方式により、被写体像の合焦状態を実現する。すなわち、自動合焦制御部30は、撮影レンズ10を合焦位置近傍において所定ピッチで例えば6回駆動し、各レンズ位置においてCCD撮像素子11から得られる画像信号から自動合焦用の評価値を算出する。そして評価値が最大値を示すレンズ位置を合焦位置として特定し、撮影レンズ10をその合焦位置に駆動することによって、被写体像の合焦状態を実現するように構成される。また、自動合焦制御部30においては画像平面内における被写体の移動を検知するように構成され、被写体が画像平面内で移動した場合に被写体の動きに対応させて合焦評価領域を設定するように構成される。
【0019】
また、自動合焦制御部30によって行われる自動合焦制御には、合焦位置を特定した後に撮影レンズ10を駆動して被写体像の合焦状態を実現し、その後はレンズ駆動を行わない動作モード(ワンショットAFモード)と、被写体像の合焦状態を実現した後も、撮影レンズ10の駆動と合焦位置の検出とを繰り返し実行することによって、動的な被写体に対しても対応可能とする動作モード(コンティニュアスAFモード)とがある。これらのうち、いずれの動作モードで自動合焦制御を行うかは、ユーザによる設定状況に応じて決定される。
【0020】
なお、上記の自動合焦制御は、例えば、シャッタボタン18aがユーザによって半押し状態とされたときに開始される。ワンショットAFモードの場合は1回の自動合焦制御によって撮影レンズ10が固定されるのに対し、コンティニュアスAFモードの場合はシャッタボタン18aが半押し状態とされている間、繰り返し自動合焦制御が実行される。そしてシャッタボタン18aがユーザによって全押し状態とされたときに、画像を記録するための撮影処理が行われる。
【0021】
以下、自動合焦制御部30における具体的な動作について説明する。
【0022】
合焦評価領域設定部31は、CCD撮像素子11から得られる画像に対して合焦評価領域を設定し、その合焦評価領域に対応する画像成分を抽出する。図2は、CCD撮像素子11から得られる画像100を示す図である。CCD撮像素子11から得られる画像100は、CCD撮像素子11の画素数に対応した画像サイズとなっている。この画像100に対して、合焦評価領域設定部31は、画像100に含まれる主被写体の合焦状態を評価するための合焦評価領域Rを設定する。合焦評価領域Rは初期状態においては画像100のほぼ中央部分に設定される。また、画像平面内における被写体の移動が検出され、合焦評価領域Rを移動させる必要が生じた場合には、被写体の移動量に応じて合焦評価領域Rが設定される。
【0023】
そして合焦評価領域Rは、画像平面内における被写体の移動を検出するために、複数のブロックに分割された構成となっている。図3は合焦評価領域Rの一構成例を示す図である。
【0024】
図3に示す合焦評価領域Rは、同一のサイズを有する複数のブロックB1〜B5が水平方向に所定画素数ずつずらされた状態で配置される。例えば、各ブロックB1〜B5は幅324画素×高さ200画素のサイズを有し、水平方向に16画素ずつずらされて配置される。このため、各ブロックB1〜B5の一部が重ね合わされた状態となり、換言すれば複数のブロックB1〜B5が合焦評価領域Rの中央部で重複するような配置状態となる。
【0025】
被写体が初期状態から移動しない場合、合焦度合いを評価する際の評価対象領域は、ブロックB3によって規定される領域となる。その状態から被写体が右方向に16画素移動したことが検出された場合には、評価対象領域はブロックB4によって規定される領域となり、評価対象領域が右方向に16画素移動する。これに対し、初期状態から被写体が左方向に16画素移動したことが検出された場合には、評価対象領域はブロックB2によって規定される領域となり、評価対象領域が左方向に16画素移動する。
【0026】
合焦評価領域設定部31は、CCD撮像素子11から得られる画像から各ブロックB1〜B5に対応する画像成分を抽出し、それを評価値演算部32に対して出力する。
【0027】
評価値演算部32は各ブロックB1〜B5の画像成分から合焦度合いを評価するための評価値を求める。このとき、評価値演算部32は、合焦位置近傍において撮影レンズ10の駆動に伴う変化度合いが小さい第1の評価値VAと、第1の評価値よりも撮影レンズの駆動に伴う変化度合いが大きい第2の評価値VBと、の2つの評価値を求める。
【0028】
例えば、評価値演算部32は各ブロックB1〜B5における画像成分の高周波成分を抽出することにより、合焦位置において最大値を示す評価値を求めるように構成され、上記2つの評価値を求めるために、周波数帯域の広い第1のバンドパスフィルタと、第1のバンドパスフィルタよりも周波数帯域の狭い第2のバンドパスフィルタと、の2種類のフィルタを適用して各ブロックB1〜B5の画像成分に対してフィルタ処理を行う。
【0029】
図4は、第1のバンドパスフィルタBPF1と第2のバンドパスフィルタBPF2との周波数特性を示す図である。図4に示すように、第1のバンドパスフィルタBPF1は第2のバンドパスフィルタBPF2よりも低周波成分をより多く検出することになる。このため、第1のバンドパスフィルタBPF1によりフィルタ処理を行って得られる評価値VAは、第2のバンドパスフィルタBPF2によりフィルタ処理を行って得られる評価値VBよりも合焦位置近傍において撮影レンズ10の駆動に伴う変化度合いが小さくなる。
【0030】
図5は合焦位置近傍における第1及び第2の評価値を示す図である。撮影レンズ10を合焦位置FPの近傍において6回駆動し、各レンズ位置P1〜P6にて得られる第1の評価値VA及び第2の評価値VBは図5に示すようになる。つまり、合焦位置FPの近傍においては、第1の評価値VAはレンズ駆動に伴う評価値の変化度合いが小さくなるのに対し、第2の評価値VBはレンズ駆動に伴う評価値の変化度合いが大きくなる。
【0031】
このため、撮影レンズ10を所定ピッチで駆動しつつ、各レンズ位置P1〜P6において得られる評価値から合焦位置FPを正確に特定するためには、第2の評価値VBを用いて求める方が好ましい。
【0032】
ところが、図5に示すように撮影レンズ10のレンズ位置が合焦位置FPから一定値以上離れると、撮影レンズ10の駆動に伴う変化度合いは逆転する。つまり、撮影レンズ10が合焦位置FPから一定以上離れると、撮影レンズの駆動に伴う変化度合いは、第1の評価値VAが方が第2の評価値VBよりも大きくなる。したがって、一般に自動合焦制御では、上記のような2種類の評価値VA,VBを求め、撮影レンズ10が合焦位置FPから遠い位置にある場合に、第1の評価値VAを用いて合焦位置FPの方向を特定することが行われ、撮影レンズ10が合焦位置FPの近傍位置にある場合に、第2の評価値VBを用いて合焦位置FPの位置を高精度に特定することが行われる。
【0033】
また、上記のように周波数特性の異なるバンドパスフィルタBPF1,BPF2を用いる以外の方法であっても、第1及び第2の評価値VA,VBを求めることができる。例えば、評価値演算部32は各ブロックB1〜B5における画像成分から、近接画素間での差分絶対値及び差分二乗値を求め、各ブロックB1〜B5についてそれらを積分(累積加算)することにより、上記2つの評価値VA,VBを求めてもよい。この場合、各ブロックB1〜B5の画像成分において、例えば水平方向に3画素離れた2画素間での画素値の差分をとり、その差分値の絶対値及び二乗値を求める。これを各ブロックに含まれる全ての画素について行い、差分絶対値を累積加算(積分)することによって合焦位置FPの近傍においてレンズ駆動に伴う変化度合いが小さい第1の評価値VAを求め、差分二乗値を累積加算(積分)することによってレンズ駆動に伴う変化度合いが大きい第2の評価値VBを求めるようにしてもよい。
【0034】
また、これら以外の方法によって上記第1及び第2の評価値VA,VBを求めるようにしてもよい。
【0035】
評価値演算部32は上記のようにして各ブロックB1〜B5について各ブロックB1〜B5の画像成分から合焦度合いを評価するための、2種類の評価値VA,VBを求め、それを移動検出部33に与える。
【0036】
移動検出部33は各レンズ位置P1〜P6においてCCD撮像素子11から得られる画像に基づいて算出された2種類の評価値VA,VBを入力すると、撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAを用いて被写体の画像平面内での移動を検出する。つまり、撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAを用いて被写体の画像平面内での移動を検出するように構成されることで、被写体の移動を誤検出する可能性を低減するように構成される。
【0037】
以下、この移動検出部33の動作について詳細に説明する。
【0038】
撮影レンズ10が各レンズ位置P1〜P6にあるとき、移動検出部33にはブロックB1〜B5のそれぞれについて求められた評価値が入力される。移動検出部33は前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とを比較することにより、画像平面内における被写体の移動を検出するように構成される。
【0039】
ここで、ブロックB1について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(B1)とし、今回のレンズ位置において得られるものを評価値VA2(B1)とする。ブロックB2について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(B2)とし、今回のレンズ位置において得られるものを評価値VA2(B2)とする。以下同様に、ブロックB3〜B5のそれぞれについて得られる前回及び今回のレンズ位置において得られる評価値を規定する。
【0040】
移動検出部33は、各ブロックB1〜B5より前回得られた評価値VA1(B1)〜VA1(B5)と、今回得られた評価値VA2(B1)〜VA2(B5)とに基づいて、合焦評価領域Rにおいて中央部分を除いた周辺部分について被写体の移動を検出する。
【0041】
各レンズ位置において得られた評価値VAを隣接するブロック間で差分をとると、合焦評価領域Rの中央部分による影響がほぼ相殺されることになり、合焦評価領域R内の周辺部分に関する評価値Hが得られる。すなわち、前回のレンズ位置において得られた評価値VA1に対しては、
【0042】
【数1】
【0043】
なる演算を行うことにより、前回のレンズ位置において得られた評価値VA1から周辺部分の評価値H11〜H14を求めることができる。
【0044】
図6は合焦評価領域Rを示す図であり、上記演算によって求められる周辺部の領域を示す図である。図6(a)における斜線領域は評価値H11に対応する領域であり、図6(b)における斜線領域は評価値H12に対応する領域であり、図6(c)における斜線領域は評価値H13に対応する領域であり、図6(d)における斜線領域は評価値H14に対応する領域である。
【0045】
同様に、今回のレンズ位置において得られた評価値VA2に対しても、
【0046】
【数2】
【0047】
なる演算を行うことにより、今回のレンズ位置において得られた評価値VA2から周辺部分の評価値H21〜H24を求めることができる。この場合も、図6(a)における斜線領域は評価値H21に対応する領域であり、図6(b)における斜線領域は評価値H22に対応する領域であり、図6(c)における斜線領域は評価値H23に対応する領域であり、図6(d)における斜線領域は評価値H24に対応する領域である。
【0048】
移動検出部33は上記数1及び数2のような演算を行うことにより、前回のレンズ位置について得られた評価値VA1と、今回のレンズ位置について得られた評価値VA2とのそれぞれについて、合焦評価領域Rにおいて中央部分を除いた周辺部分の評価値を求める。そして、前回のレンズ位置について求められる周辺部評価値H11〜H14と、今回のレンズ位置について求められる周辺部評価値H21〜H24とを、画像平面内における被写体の移動を評価するための指標値として用いる。
【0049】
図7は前回のレンズ位置と今回のレンズ位置との比較対象画像において合焦評価領域Rにおける被写体が右方向に移動した場合を示す図であり、図における円形、三角形、四角形は被写体像を模式的に表したものである。図7に示すように、画像G1とG2との間で被写体が右方向にずれると、合焦評価領域Rに含まれる被写体のうち、周辺部分の被写体が各周辺部評価値に対応する領域を移動することになる。この場合、前回のレンズ位置において採用された評価対象領域を、今回のレンズ位置においても同様に採用すると、被写体の移動によって評価値が変化することになる。
【0050】
これに対し、合焦評価領域Rに含まれる被写体のうち、中央部分の被写体(三角形)は移動前後においても中央部分に含まれる。このため、合焦評価領域Rの中央部分については被写体が移動しても評価対象領域の評価値の変化は生じない。
【0051】
被写体の合焦度合いを評価する際に、ピント差以外に評価値を変化させる要因として、評価対象領域に新たな被写体が進入した場合や被写体が評価対象領域に含まれなくなる場合が考えられるが、そのような場合には合焦評価領域Rの周辺部分において被写体の移動が現れる。
【0052】
そこで、本実施形態においては、合焦評価領域Rにおいて中央部分を除いた周辺部分の評価値を、合焦評価領域Rに対する被写体の入出動作を評価するための指標値として採用し、合焦評価領域Rの周辺部の評価値を評価することで適切に被写体の移動を検出するように構成される。つまり、前回のレンズ位置における周辺部評価値H11〜H14と、今回のレンズ位置における周辺部評価値H21〜H24との相関値を求めることによって、合焦評価領域R内の周辺部における被写体がどのように移動したかを検出する。
【0053】
被写体の移動を検出するための相関値として、移動検出部33は、右方向への移動を検出するための相関値MR1と、移動がなかったことを検出するための相関値MV0と、左方向への移動を検出するための相関値ML1とを演算により求める。
【0054】
つまり、移動検出部33は、
【0055】
【数3】
【0056】
の演算を行うことにより、相関値MR1,MV0,ML1のそれぞれを算出する。相関値MR1は被写体が右方向に16画素分移動したことを検出するための相関値であり、相関値ML1は被写体が左方向に16画素分移動したことを検出するための相関値である。また、相関値MV0は被写体の移動がないことを検出するための相関値である。
【0057】
図7に示すように、前回のレンズ位置と今回のレンズ位置との間で被写体が右方向におよそ16画素移動すると相関値MR1は最小になる。これに対し、前回のレンズ位置と今回のレンズ位置との間で被写体の移動がなかった場合(あるいは移動量が8画素未満の場合)には相関値MV0が最小になり、前回のレンズ位置と今回のレンズ位置との間で被写体が左方向におよそ16画素移動した場合には相関値ML1が最小になる。
【0058】
つまり、移動検出部33は上記数3の演算によって得られる相関値MR1,MV0,ML1を比較し、最小値を示す相関値を特定することで被写体の移動を検出するように構成される。
【0059】
そして、移動検出部33は、相関値MR1が最小であることを検出した場合には、被写体が画像平面内で右方向に移動し、その移動量が16画素であることを検出する。なお、移動量が16画素になる理由は、各ブロックの配置が水平方向に16画素ずつずらされていることに起因するものであるので、例えば各ブロックの配置が水平方向にN画素(ただし、Nは任意の整数)ずつずらされた構成となっている場合には、被写体の移動量はN画素となる。
【0060】
また、移動検出部33は、相関値ML1が最小であることを検出した場合には、被写体が画像平面内で左方向に移動し、その移動量が16画素であることを検出する。さらに移動検出部33は、相関値MV0が最小であることを検出した場合には、被写体が画像平面内で移動しなかったことを検出する。
【0061】
なお、上述した説明では、前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とに基づいて被写体の移動を検出する場合を示しているが、上記のようにCCD撮像素子11から時間的に連続して得られる2つの画像間で被写体の移動を検出することにより、2つの比較対照画像間での撮影レンズ10の移動量が最小の状態で被写体の移動検出を行うことができるので、比較対照画像間でのピント差が最小になり、移動検出の際の誤検出の可能性を低減することが可能である。
【0062】
また、上述した説明では、説明を簡単にするために、評価値VA1,VA2から周辺部評価値H11〜H14,H21〜H24を算出する場合を例示したが、移動検出部33において上記数3の式に数1及び数2の式を代入した演算式を登録しておけば、移動検出部33において、評価値演算部32から入力する評価値から直接的に相関値MR1,MV0,ML1を求めることが可能である。
【0063】
次に、移動検出部33には信頼性評価部331が設けられており、信頼性評価部331は上記のようにして検出された被写体の移動が正確であるか否かを検証する。
【0064】
上記のように、2種類の評価値のうち、被写体の移動検出時には、レンズ駆動に伴う変化度合いが小さい評価値が用いられることにより、移動検出時における誤検出の低減を図ることができるが、合焦評価領域Rの周辺部分に空間周波数およびコントラストが極めて高い画像成分が含まれていると、それらの撮影レンズ10の駆動に伴う評価値の変化によって被写体の移動を誤検出する可能性が存在する。
【0065】
また、合焦評価領域Rの周辺部分に、それぞれ異なる動きを示す複数の被写体が含まれている場合や、白壁や空等のコントラストが著しく低い画像が含まれている場合等にも、被写体の移動を誤検出する可能性が存在する。
【0066】
そこで信頼性評価部331は、上記のような誤検出を防止するために、上記のようにして検出された被写体の移動が正確であるか否かを検証する。具体的には、移動検出部33によって被写体が右方向又は左方向に16画素移動したことが検出された場合に、信頼性評価部331は、公知の手法である急傾斜延長法による補間演算を行い、それによって得られるパラメータC値及びYM値により、信頼性の評価を行う。
【0067】
急傾斜延長法による補間演算を行うために、信頼性評価部331は被写体の移動を検出するための相関値を再演算する。
【0068】
まず、移動検出部33によって被写体が右方向に16画素移動したことが検出された場合について説明する。被写体が右方向に16画素移動した場合には、信頼性評価部331は、
【0069】
【数4】
【0070】
に基づく演算を行うことにより、相関値MV0’,MR1’,MR2を求める。相関値MR2は32画素分の移動量を検出するための相関値であり、相関値MR1’及びMV0’は相関値MR2と比較可能な状態にするために再演算される。
【0071】
数4の式に基づく再演算により、相関値MV0’と相関値MR1’との関係が、MV0’<MR1’なる関係になった場合、移動検出部33において検出されたMR1<MV0なる関係と逆の関係になる。このため、被写体の移動量は右方向に約8画素であると考えられるが、本実施形態においては、これを切り捨てて移動量を0とする。つまり、移動検出部33において、相関値MR1が最小であることが検出されたにもかかわらず、信頼性評価部331において相関値の再演算を行った結果、MV0’<MR1’なる関係が得られた場合には、被写体の移動はなかったものとして、移動量が0に確定される。
【0072】
また、相関値の再演算によって相関値の関係に逆転現象が生じない場合、すなわち、MV0’>MR1’なる関係が得られた場合には、急傾斜延長法による補間演算を行って信頼性の評価を行う。
【0073】
図8は移動検出部33によって被写体が右方向に16画素移動したことが検出された場合の相関値と移動量との関係を示す図である。MV0’>MR1’なる関係が得られる場合、相関値MV0’,MR1’,MR2は、「MR1’<MV0’<MR2」なる関係を示す場合と、「MR1’<MV0’かつMR2<MV0’」なる関係を示す場合とがある。図8(b)は「MR1’<MV0’<MR2」なる関係を示す場合を示しており、図8(a)は「MR1’<MV0’かつMR2<MV0’」なる関係を示す場合の一例を示している。
【0074】
再演算によって得られる相関値MV0’,MR1’,MR2が図8(a)に示すような状態になる場合、急傾斜延長法によってパラメータC及びYMを算出する。急傾斜延長法は、3点のうちの2点を通る最も急傾斜となる直線と、他の1点を通り、その急傾斜直線と傾きの符号が異なる直線とを設定し、それら2直線の交点を求める手法である。すなわち、図8(a)に示すように、相関値MV0’と相関値MR1’とを通る直線110を設定し、直線110の傾きと符号の異なる傾きを有する直線111を、相関値MR2を通るように設定する。このときの、相関値MV0’と相関値MR1’との差分がパラメータCであり、直線110と直線111との交点の高さがパラメータYMとなる。図8(a)の場合には、パラメータC及びYMは、
【0075】
【数5】
【0076】
によって求めることができる。
【0077】
また、再演算によって得られる相関値MV0’,MR1’,MR2が図8(b)に示すような状態になる場合にも、急傾斜延長法によってパラメータC及びYMを算出する。すなわち、図8(b)に示すように相関値MR1’と相関値MR2とを通る直線121を設定し、直線121の傾きと符号の異なる傾きを有する直線120を相関値MV0’を通るように設定する。このときの、相関値MR2と相関値MR1’との差分がパラメータCであり、直線120と直線121との交点の高さがパラメータYMとなる。図8(b)の場合には、パラメータC及びYMは、
【0078】
【数6】
【0079】
によって求めることができる。
【0080】
そして信頼性評価部331は、上記のようにして求められるパラメータC及びYMを用いて、被写体が右方向に16画素移動したことに関する信頼性を評価する。具体的には、パラメータCが所定値TH1よりも大きく、かつ、パラメータYM/Cが所定値TH2より小さい場合には被写体の移動検出結果の信頼性が高いものと決定する。したがって、C>TH1かつYM/C<TH2なる関係は信頼性が高いと判断されるための評価条件となり、評価条件が満たされる場合には、画像平面内において被写体が右方向に移動し、その移動量は16画素であることが確定される。
【0081】
なお、評価条件が満たされない場合には、被写体の移動検出結果の信頼性が低いものと決定し、被写体の移動はないものとされて、移動量は0に確定される。また、相関値MR2が最小になる場合にも、被写体の移動検出結果の信頼性が低いものと決定し、移動量を0に確定してもよい。
【0082】
次に、移動検出部33によって被写体が左方向に16画素移動したことが検出された場合について説明する。被写体が左方向に16画素移動した場合には、信頼性評価部331は、
【0083】
【数7】
【0084】
に基づく演算を行うことにより、相関値ML2,ML1’,MV0’を求める。相関値ML2は32画素分の移動量を検出するための相関値であり、相関値ML1’及びMV0’は相関値MR2と比較可能な状態にするために再演算される。
【0085】
数7の式に基づく再演算により、相関値MV0’と相関値ML1’との関係が、MV0’<ML1’なる関係になった場合、移動検出部33において検出されたML1<MV0なる関係と逆の関係になる。このため、被写体の移動量は左方向に約8画素であると考えられるが、本実施形態においては、これを切り捨てて移動量を0とする。つまり、移動検出部33において、相関値ML1が最小であることが検出されたにもかかわらず、信頼性評価部331において相関値の再演算を行った結果、MV0’<ML1’なる関係が得られた場合には、被写体の移動はなかったものとして、移動量が0に確定される。
【0086】
また、相関値の再演算によって相関値の関係に逆転現象が生じない場合、すなわち、MV0’>ML1’なる関係が得られた場合には、急傾斜延長法による補間演算を行って信頼性の評価を行う。
【0087】
図9は移動検出部33によって被写体が左方向に16画素移動したことが検出された場合の相関値と移動量との関係を示す図である。MV0’>ML1’なる関係が得られる場合、相関値MV0’,ML1’,ML2は、「ML1’<MV0’<ML2」なる関係を示す場合と、「ML1’<MV0’かつML2<MV0’」なる関係を示す場合とがある。図9(a)は「ML1’<MV0’<ML2」なる関係を示す場合を示しており、図9(b)は「ML1’<MV0’かつML2<MV0’」なる関係を示す場合の一例を示している。
【0088】
再演算によって得られる相関値MV0’,ML1’,ML2が図9(a)に示すような状態になる場合、急傾斜延長法によってパラメータC及びYMを算出する。すなわち、図9(a)に示すように、相関値ML2と相関値ML1’とを通る直線130を設定し、直線130の傾きと符号の異なる傾きを有する直線131を相関値MV0’を通るように設定する。このときの、相関値ML2と相関値ML1’との差分がパラメータCであり、直線130と直線131との交点の高さがパラメータYMとなる。図9(a)の場合には、パラメータC及びYMは、
【0089】
【数8】
【0090】
によって求めることができる。
【0091】
また、再演算によって得られる相関値MV0’,ML1’,ML2が図9(b)に示すような状態になる場合にも、急傾斜延長法によってパラメータC及びYMを算出する。すなわち、図9(b)に示すように相関値ML1’と相関値MV0’とを通る直線141を設定し、直線141の傾きと符号の異なる傾きを有する直線140を、相関値ML2を通るように設定する。このときの、相関値MV0’と相関値ML1’との差分がパラメータCであり、直線140と直線141との交点の高さがパラメータYMとなる。図9(b)の場合には、パラメータC及びYMは、
【0092】
【数9】
【0093】
によって求めることができる。
【0094】
そして信頼性評価部331は、上記のようにして求められるパラメータC及びYMを用いて、被写体が左方向に16画素移動したことに関する信頼性を評価する。具体的には、右方向への移動が検出された場合と同様に、パラメータCが所定値TH1よりも大きく、かつ、パラメータYM/Cが所定値TH2より小さい場合には被写体の移動検出結果の信頼性が高いものと決定する。したがって、C>TH1かつYM/C<TH2なる評価条件が満たされる場合には、画像平面内において被写体が左方向に移動し、その移動量は16画素であることが確定される。
【0095】
なお、評価条件が満たされない場合には、被写体の移動検出結果の信頼性が低いものと決定し、被写体の移動はないものとされて、移動量は0に確定される。また、相関値ML2が最小になる場合にも、被写体の移動検出結果の信頼性が低いものと決定し、移動量を0に確定してもよい。
【0096】
以上のように、信頼性評価部331は、移動検出部33において被写体の移動が検出された場合、急傾斜延長法によって相関値の変化度合いを評価することで移動検出結果の信頼性を評価するように構成され、信頼性が低いと判定した場合には移動検出部33における検出結果は誤検出であるとしてそれを無視することになる。これに対し、信頼性が高いと判定した場合には移動検出部33における検出結果は正確であるとして移動検出部33における検出結果を有効に確定させる。このような信頼性判定が行われることにより、画像平面内における被写体の移動検出結果が誤検出である場合にその検出結果が利用されることを良好に防止することができる。
【0097】
そして信頼性評価部331によって移動検出結果が確定され、被写体が右方向又は左方向に16画素移動したことが検出された場合には、移動検出部33が合焦評価領域設定部31に対して被写体の移動量等に関する情報を送出する。これにより、合焦評価領域設定部31は、図2に示す画像100における合焦評価領域Rの位置を変更することが可能である。
【0098】
また、移動検出部33は信頼性評価部331によって確定された移動量を移動予測部34に与えるように構成されるとともに、各ブロックB1〜B5のうちで移動後の被写体が含まれるブロックを特定し、合焦位置検出部35に指示するように構成される。
【0099】
合焦位置検出部35は、移動検出部33によって指示されるブロックの評価値VA,VBを取得し、各レンズ位置において求められた評価値VA,VBを記憶していく。そして、撮影レンズ10が6回駆動されて全てのレンズ位置における評価値が得られると、それらの評価値に基づいて合焦位置検出演算が行われ、合焦位置FPが特定される。
【0100】
なお、合焦位置近傍においてはレンズ駆動に伴う評価値の変化度合いが大きい第2の評価値VBを用いて合焦位置FPが特定されるが、第2の評価値VBを用いて合焦位置FPを特定することが困難な場合には、合焦位置FPは比較的遠い位置に存在することになるため、例えば、第1の評価値VAを用いて撮影レンズ10の高速駆動等が行われる。
【0101】
そして合焦位置FPが特定されると、そのレンズ位置がレンズ制御部36に対して指示され、レンズ制御部36はレンズ駆動部16を介して撮影レンズ10を合焦位置FPに移動させることになる。これにより、被写体像の合焦状態が実現される。
【0102】
また、レンズ制御部36は、自動合焦制御において撮影レンズ10を所定ピッチで6回駆動させるために、レンズ駆動部16に対して所定タイミングで制御信号を送出する。
【0103】
以上のような動作をタイミングチャートで示すと図10に示すようになる。撮影レンズ10は所定のタイミングで駆動され、各レンズ駆動によってレンズ位置がP1からP6まで段階的に駆動される(図5参照)。
【0104】
1回目レンズ駆動が終了すると、撮影レンズ10はレンズ位置P1に移動し、そこで1回目の撮像処理が行われる。CCD撮像素子11の撮像処理が終了すると、CCD撮像素子11から画像が読み出される。このとき、自動合焦制御部30は画像メモリ12を介して合焦評価領域Rの画像成分を入力し、画像読み出し動作と並行して評価値の演算を開始する。そして評価値の演算が終了すると、移動検出部33及び合焦位置検出部35がその評価値を取得する。
【0105】
また、1回目の撮像処理が終了すると、2回目のレンズ駆動が行われ、撮影レンズ10がレンズ位置P2に移動した状態で2回目の撮像処理が行われる。したがって、2回目のレンズ駆動及び撮像処理は、1回目の撮像処理によって得られた画像の読み出し動作及び評価値演算動作と並行して行われることになる。
【0106】
そして2回目の撮像処理によって得られた画像に基づく評価値の取得が完了すると、移動検出部33において1回目の画像と2回目の画像との間における移動検出が行われる。この移動検出による検出結果は、4回目の画像に基づく評価値演算にフィードバックされ、4回目の画像に基づく評価値演算の際に適用される合焦評価領域Rの設定変更が行われる。
【0107】
以下同様に、6回目のレンズ駆動に伴う各動作が終了した時点で、合焦位置検出部36が機能し、6回分の評価値に基づいて合焦位置FPを検出するための処理が実行される。
【0108】
そして上記のような動作を行うことにより、各レンズ位置において合焦位置FPを検出するためのブロックの位置を被写体の移動に追従させることが可能になる。図11は被写体の移動検出に伴う合焦評価領域Rの状態を示す図である。ただし、図11においては、画像平面内において被写体が右方向に移動する場合を例示している。
【0109】
図11に示す各画像101〜106は、撮影レンズ10のレンズ位置をP1〜P6まで段階的に移動させた場合(図5参照)の合焦評価領域Rに含まれる画像を示している。画像101では、合焦位置検出部35が合焦度合いを評価する際の評価対象領域がブロックB3となっている。そして画像101と画像102との間の移動検出により、被写体は右方向に16画素移動したことが検出される。このため、画像102における評価対象領域はブロックB4として設定される。
【0110】
また、画像102と画像103との間の移動検出により、被写体はさらに右方向に16画素移動したことが検出される。このため、画像103における評価対象領域はブロックB5として設定される。
【0111】
ところで、画像101と画像102との間の移動検出の完了時には、画像103に基づく各ブロックの評価値演算と、画像104の撮像処理とが行われている。このため、画像104をCCD撮像素子11より読み出して評価値演算を行う際には、画像101と画像102との間の移動検出に基づいて合焦評価領域Rを右方向に16画素移動させて設定することにより、被写体の移動に追従して合焦評価領域Rの位置を変更する。
【0112】
以下同様に、画像102と画像103との間の移動検出に基づいて画像105の合焦評価領域Rを右方向に16画素移動させて設定し、画像103と画像104との間の移動検出に基づいて画像106の合焦評価領域Rを右方向に16画素移動させて設定する。
【0113】
このように被写体の移動に伴って合焦評価領域Rの位置を移動させることにより、合焦評価領域Rに設定するブロックの数を増加させることなく、被写体の動きに追従することができる。また、ブロックの数を増加させる必要がないことから、評価値演算の負担を軽減することも可能である。
【0114】
次に、移動予測部34は、例えばコンティニュアスAFモード時において機能し、繰り返し自動合焦制御が実行される場合に、前回の自動合焦制御と次回の自動合焦制御との間での被写体の移動量を予測するように構成される。
【0115】
コンティニュアスAFモードにおいても前回の自動合焦制御における最後の画像と、その次の自動合焦制御における最初の画像との間で移動検出を行えば、合焦評価領域Rを被写体の移動に追従させることが可能である。
【0116】
しかし、コンティニュアスAFモードでは、前回の自動合焦制御とその次の自動合焦動作との間に、被写体の輝度変化に対応するために、測光動作等を行って露出制御を行う必要がある。このため、繰り返し行われる自動合焦制御動作の間に露出制御が介在すると、前回の自動合焦制御における最後の画像と、その次の自動合焦制御における最初の画像との撮像タイミングの差が拡大し、その間に被写体が16画素以上移動する可能性が高いと考えられる。
【0117】
そこで、移動予測部34は、自動合焦制御の際に、各タイミングで移動検出部33から入力する移動量に基づいて被写体の移動速度を求め、前回の自動合焦制御とその次の自動合焦制御とのタイミング差に基づいて、前回の自動合焦制御の最後に決定された合焦評価領域Rの位置及び評価対象領域として決定されたブロックからの被写体の移動量を決定する。そしてその移動量に基づいて、移動予測部34は、次回の自動合焦制御の開始時における合焦評価領域Rの位置を合焦評価領域設定部31に対してフィードバックするように構成される。
【0118】
図12は、コンティニュアスAFモードにおける被写体の移動検出に伴う合焦評価領域Rの状態を示す図である。ただし、図12においては、画像平面内において被写体が右方向に移動する場合を例示しており、画像101〜106は図11に示した画像と同様である。
【0119】
移動予測部34は、前回の自動合焦制御時における被写体の移動量を、画像101を基準とした画像106の被写体位置により算出する。図12の場合は、各画像において被写体が16画素ずつ右方向に移動するので、前回の自動合焦制御時における被写体の移動量は、16×5=80画素となる。これを画像101の撮像タイミングと画像106の撮像タイミングとの差t1で除算し、前回の自動合焦時における被写体の移動速度v=80/t1を算出する。
【0120】
また、移動予測部34は、前回の自動合焦制御とその次の自動合焦制御とのタイミング差t2を求め、そのタイミング差t2と上記移動速度vから、次回の自動合焦制御時の最初の画像201を撮像するタイミングでの被写体の移動量を求める。つまり、図12の場合は、80×t2/t1により、前回の自動合焦制御とその次の自動合焦制御との間で被写体が移動した移動量を求めることができる。移動予測部34は、上記のようにして求められる移動量を、前回の自動合焦制御の最後の画像106について設定された合焦評価領域Rの位置に加算することで、次回の自動合焦制御時の最初の画像201に対する合焦評価領域Rを設定する。このとき、合焦評価領域Rにおける評価対象領域は中央部のブロックB3となるように合焦評価領域Rの位置を設定する。このように繰り返し自動合焦制御が行われる場合、移動予測部34が次回の自動合焦制御時における被写体の位置を予測するように構成されるため、各自動合焦制御動作の間に露出制御等の他の動作が行われる場合であっても、合焦評価領域Rを良好に被写体の移動に追従させることが可能である。
【0121】
次に、上記のように構成されたデジタルカメラ1において、自動合焦制御を行う際の処理シーケンスについて説明する。図13乃至図16は、コンティニュアスAFモードにおいて自動合焦制御を行う際の処理シーケンスを示すフローチャートであり、図10のタイミングチャートをフローチャートで示したものである。
【0122】
図13に示すように、自動合焦制御が開始されると、レンズ制御部36は、前回の合焦位置を中心に、撮影レンズ10を段階的に移動させる際の各レンズ位置を等間隔で設定する。そしてレンズ制御部36はレンズ駆動部16を制御して撮影レンズ10を最初の撮像ポイントであるレンズ位置P1に移動させる(ステップS100)。そしてCCD撮像素子11における撮像処理を開始させる(ステップS101)。
【0123】
撮像処理が終了すると、合焦評価領域設定部31は、被写体がブロックB3に含まれるように合焦評価領域Rを設定するとともに(ステップS102)、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS103)。
【0124】
また、1回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を2回目の撮像ポイントであるレンズ位置P2に移動させる(ステップS104)。
【0125】
評価値演算部32は、1回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS102で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS105)。
【0126】
そしてCCD撮像素子11における2回目の撮像処理が開始される(ステップS106)。
【0127】
撮像処理が終了すると、合焦評価領域設定部31は、合焦評価領域Rを設定するとともに(ステップS107)、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS108)。
【0128】
また、2回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を3回目の撮像ポイントであるレンズ位置P3に移動させる(ステップS109)。また、このとき、合焦位置検出部35は、ブロックB3を評価対象領域とし、1回目の画像から求められるブロックB3についての評価値を取得して、それを一時的に記憶しておく(ステップS110)。
【0129】
評価値演算部32は、2回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS107で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS111)。
【0130】
そしてCCD撮像素子11における3回目の撮像処理が開始される(ステップS112)。撮像処理が終了すると、合焦評価領域設定部31は、合焦評価領域Rを設定するとともに(ステップS113)、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS114)。
【0131】
図14のフローチャートに移り、3回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を4回目の撮像ポイントであるレンズ位置P4に移動させる(ステップS115)。これと同時に、評価値演算部32は、3回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS113で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS116)。
【0132】
そして移動検出部33が機能し、1回目及び2回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS117)。つまり、このときにレンズ位置P1で撮影した画像と、レンズ位置P2で撮影した画像との間に被写体が画像平面内で移動したか否かを検出するのである。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS118)。
【0133】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、2回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS119)。例えば、ステップS117において被写体が右方向に16画素移動したことが検出され、ステップS118においてその検出結果の信頼性が高いと判断された場合には、ブロックB4が評価対象領域として選択されることになる(図11の画像102参照)。
【0134】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、評価対象領域となるブロックは変更されない。すなわち、1回目の評価対象領域であるブロックB3が選択され、その選択されたブロックについて算出された、2回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS119)。
【0135】
そしてCCD撮像素子11における4回目の撮像処理が開始される(ステップS120)。撮像処理が終了すると、合焦評価領域設定部31は、前回の移動検出結果に基づいて合焦評価領域Rを設定する(ステップS121)。例えば、ステップS117において被写体が右方向に16画素移動したことが検出され、ステップS118においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Rは前回の位置から右方向に16画素移動した位置に設定される(図11の画像104参照)。
【0136】
4回目の撮像処理が終了すると、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS122)。また、4回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を5回目の撮像ポイントであるレンズ位置P5に移動させる(ステップS123)。これと同時に、評価値演算部32は、4回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS121で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS124)。
【0137】
そして移動検出部33が機能し、2回目及び3回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS125)。つまり、このときにレンズ位置P2で撮影した画像と、レンズ位置P3で撮影した画像との間に被写体が画像平面内で移動したか否かを検出するのである。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS126)。
【0138】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、3回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS127)。例えば、ステップS117,S118において被写体が右方向に16画素移動したことが検出され、さらに、ステップS125,S126において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像103参照)。
【0139】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、評価対象領域となるブロックは変更されない。すなわち、2回目の評価対象領域であるブロックが選択され、その選択されたブロックについて算出された、3回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS127)。
【0140】
そしてCCD撮像素子11における5回目の撮像処理が開始される(ステップS128)。撮像処理が終了すると、合焦評価領域設定部31は、前回の移動検出結果に基づいて合焦評価領域Rを設定する(ステップS129)。例えば、ステップS125において被写体が右方向に16画素移動したことが検出され、ステップS126においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Rは前回の位置から右方向に16画素移動した位置に設定される(図11の画像105参照)。
【0141】
5回目の撮像処理が終了すると、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS130)。
【0142】
また、5回目の撮像処理が終了すると、レンズ制御部36はレンズ駆動部16を制御し、撮影レンズ10を6回目の撮像ポイントであるレンズ位置P6に移動させる(図15のフローチャート:ステップS131)。これと同時に、評価値演算部32は、5回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS129で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS132)。
【0143】
そして移動検出部33が機能し、3回目及び4回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS133)。このとき、レンズ位置P3で撮影した画像と、レンズ位置P4で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS134)。
【0144】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、4回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS135)。例えば、ステップS117,S118及びS125,S126において被写体が右方向に16画素移動したことが検出され、さらに、ステップS133,S134において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像104参照)。
【0145】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、3回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、4回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS135)。
【0146】
そしてCCD撮像素子11における6回目の撮像処理が開始される(ステップS136)。撮像処理が終了すると、合焦評価領域設定部31は、前回の移動検出結果に基づいて合焦評価領域Rを設定する(ステップS137)。例えば、ステップS133において被写体が右方向に16画素移動したことが検出され、ステップS134においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Rは前回の位置から右方向に16画素移動した位置に設定される(図11の画像106参照)。
【0147】
6回目の撮像処理が終了すると、CCD撮像素子11からの画像読み出しを開始し、画像メモリ12に対して一時的に格納する(ステップS138)。評価値演算部32は、6回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップS137で設定された合焦評価領域RのブロックB1〜B5のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値VAと、レンズ駆動に伴う変化度合いが大きい評価値VBとの2種類の評価値を算出するための演算処理を開始する(ステップS139)。
【0148】
そして移動検出部33が機能し、4回目及び5回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS140)。このとき、レンズ位置P4で撮影した画像と、レンズ位置P5で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS141)。
【0149】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、5回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS142)。例えば、これまでの移動検出において被写体が右方向に16画素移動したことが検出され、さらに、ステップS140,S141において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像105参照)。
【0150】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、4回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、5回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS142)。
【0151】
そしてステップS139で開始した評価値演算が終了すると、移動検出部33が機能し、5回目及び6回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う(ステップS143)。このとき、レンズ位置P5で撮影した画像と、レンズ位置P6で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部331が機能して、被写体の移動検出結果の信頼性が評価される(ステップS144)。
【0152】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、6回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS145)。例えば、これまでの移動検出において被写体が右方向に16画素移動したことが検出され、さらに、ステップS143,S144において被写体が右方向に16画素移動したことが検出された場合には、ブロックB5が評価対象領域として選択されることになる(図11の画像106参照)。
【0153】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は0と判断されるので、5回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、6回目の画像についての評価値が合焦位置検出部35にて記憶されることになる(ステップS145)。
【0154】
次に、図16のフローチャートに進み、合焦位置検出部35が各レンズ位置において得られる評価値のうち、評価対象領域として選択されたブロックの評価値を取得し、補間演算等を行うことによって合焦位置FPを特定する(ステップS146)。このとき、合焦位置近傍では、レンズ駆動に伴う変化度合いが大きい評価値VBが用いられ、合焦位置FPの特定が高精度に行われる。
【0155】
そしてレンズ制御部36がレンズ駆動部16を制御し、撮影レンズ10を合焦位置FPに移動させる(ステップS147)。この結果、CCD撮像素子11に結像される被写体像の合焦状態が実現される。
【0156】
そして、移動予測部34は、これまでの移動検出において検出された被写体の移動量に基づいて、被写体速度を算出し(ステップS148)、次回のステップS102が行われる際に最適な合焦評価領域Rの位置を予測する(ステップS149)。その後、ステップS100に戻り、繰り返し自動合焦制御が実行される。
【0157】
なお、ワンショットAFモードの場合には、上記のステップS147が終了した後、自動合焦制御が終了する。
【0158】
以上のように、本実施形態のデジタルカメラ1は、CCD撮像素子11から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズ10を駆動することにより、被写体の合焦状態を実現するように構成されており、さらに、被写体の合焦度合いを評価するために求められる、撮影レンズ10の駆動に伴う変化度合いが小さい第1の評価値を用いて、撮影レンズ10の駆動前後における画像平面での被写体の移動を検出するように構成されている。そのため、被写体の移動検出における誤検出を低減することができ、被写体の移動を正確に把握することが可能になる。
【0159】
また、信頼性評価部331が被写体の移動検出結果の信頼を評価するように構成されている。そのため、被写体の移動検出における誤検出をさらに低減することができ、被写体の移動をより正確に把握することが可能になる。
【0160】
そして、被写体の合焦度合いを評価するために、画像信号から合焦評価領域Rの画像成分を抽出し、その合焦評価領域Rの画像成分から、第1及び第2の評価値を求めるように構成されており、移動検出部33における検出結果に基づいて画像信号に対する合焦評価領域Rの設定位置が変更される。したがって、図2に示す画像100において被写体が移動した場合でも、その移動を追従しつつ合焦度合いの評価を行うことができるように実現される。
【0161】
また、本実施形態のデジタルカメラ1は、CCD撮像素子11から得られる画像信号に基づいて、複数のブロックB1〜B5のそれぞれについて、被写体の合焦度合いを評価するための評価値を求め、それらの評価値を用いて被写体の合焦度合いを評価し、撮影レンズ10を合焦位置FPに駆動するように構成される。そして、複数のブロックB1〜B5のうち、互いに隣接するブロックB1〜B5について得られる評価値を差分することによって、合焦評価領域Rの周辺部分についての被写体の移動に関する指標値を求め、その指標値に基づいて被写体の相対的な移動を検出するように構成される。
【0162】
したがって、被写体の移動検出は、複数のブロックB1〜B5について同一演算によって求められる評価値に基づいて行われるので、演算処理の簡単化及び効率化を図ることができる。そして、被写体の移動検出を高速に行うことが可能になり、デジタルカメラ1のコスト低廉を図ることが可能である。
【0163】
また、同一サイズを有する複数のブロックB1〜B5のそれぞれが、所定方向にずれた配置とされ、一部において重複した領域を有するように配置されることで、上記の差分演算によって、合焦評価領域Rの周辺部分についての被写体の移動を評価することが可能である。
【0164】
またデジタルカメラ1は、CCD撮像素子11から得られる画像信号に基づいて、中央部分と周辺部分とによって規定される合焦評価領域Rに関する評価値を求めるように構成され、移動検出部33は、合焦評価領域Rの周辺部分について得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるので、評価対象領域の評価値に影響を与える被写体の移動を良好に検出することが可能である。
【0165】
また、本実施形態においては、合焦評価領域Rの中心部分において複数のブロックB1〜B5が重複するように配置され、かつ各ブロックが所定画素ずつずらされた配置されており、各ブロックについて同一の評価値演算が適用されるので、演算処理の効率化を図ることが可能である。
【0166】
<2.第2の実施の形態>
次に、第2の実施の形態について説明する。上記第1の実施の形態では、合焦評価領域Rにおける複数のブロックB1〜B5が、一部重ね合わされた状態で配置される場合を例示したが、本実施形態では、第1の実施の形態とは異なる合焦評価領域の設定について説明する。なお、デジタルカメラ1の構成は第1の実施の形態で説明したものと同様である。
【0167】
図17は本実施形態における合焦評価領域Rの構成を示す図である。本実施形態においても、合焦評価領域Rは、図2に示すように画像100に含まれる主被写体の合焦状態を評価するために、画像100に対して設定される。そして本実施形態においても、合焦評価領域Rは、画像平面内における被写体の移動を検出するために、複数のブロックに分割された構成となっている。
【0168】
図17に示す合焦評価領域Rは、中央部分にメインブロックBMが設けられ、メインブロックBMの左右両方向に各4個ずつのサブブロックBS1〜BS4及びBS5〜BS8が設けられる。例えば、メインブロックBMは、幅240画素×高さ200画素の画像成分を含むように構成され、各サブブロックBS1〜BS8は幅16画素×高さ200画素の画像成分を含むように構成される。
【0169】
図17の合焦評価領域Rでは、被写体が初期状態から移動しない場合、合焦度合いを評価する際の評価対象領域が、メインブロックBMと4個のサブブロックBS3,BS4,BS5,BS6とによって規定される領域となる。その状態から被写体が右方向に16画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS4,BS5,BS6,BS7とによって規定される領域となる。さらに、初期状態から被写体が右方向に32画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS5,BS6,BS7,BS8とによって規定される領域となる。
【0170】
これに対し、初期状態から被写体が左方向に16画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS2,BS3,BS4,BS5とによって規定される領域となる。さらに、初期状態から被写体が左方向に32画素移動したことが検出された場合には、評価対象領域はメインブロックBMと4個のサブブロックBS1,BS2,BS3,BS4とによって規定される領域となる。
【0171】
そして評価値演算部32は被写体の合焦度合いを評価するために、上記のようにして決定される評価対象領域について評価値を算出する。また、評価値演算部32は各サブブロックBS1〜BS8のそれぞれについて、被写体の移動検出を行うための評価値を算出する。
【0172】
評価値演算部32は、評価対象領域について評価値を算出する際には、合焦位置近傍において撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAと、撮影レンズ10の駆動に伴う変化度合いが大きい評価値VBとの双方を求める。これにより、合焦位置検出部35は、合焦位置FPに対する撮影レンズ10の位置関係に応じて最適な評価値を参照して合焦度合いを評価することが可能である。
【0173】
また、評価値演算部32は、各サブブロックBS1〜BS8について、被写体の移動に関する評価値を求める際には、撮影レンズ10の駆動に伴う変化度合いが小さい評価値VAのみを求めればよい。それにより、合焦評価領域Rにおいて中心部分を除いた周辺部分の評価値を得ることができ、第1の実施の形態で説明したのと同様の手法によって被写体の移動を検出することが可能である。なお、各サブブロックBS1〜BS8については、同一演算が適用されて評価値が算出される。
【0174】
ここで、サブブロックBS1について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(BS1)とし、今回のレンズ位置において得られるものを評価値VA2(BS1)とする。サブブロックBS2について得られる評価値VAのうち、前回のレンズ位置において得られるものを評価値VA1(BS2)とし、今回のレンズ位置において得られるものを評価値VA2(BS2)とする。以下同様に、サブブロックBS3〜BS8のそれぞれについて得られる前回及び今回のレンズ位置において得られる評価値を規定する。
【0175】
移動検出部33は、各ブロックBS1〜BS8より前回得られた評価値VA1(BS1)〜VA1(BS8)と、今回得られた評価値VA2(BS1)〜VA2(BS8)とに基づいて、合焦評価領域Rにおいて中央部分を除いた周辺部分について被写体の移動を検出する。
【0176】
各レンズ位置において得られる評価値VAを隣接するサブブロック間で差分をとると、合焦評価領域R内の周辺部分における評価値の移動が検出可能である。つまり、各レンズ位置において得られる評価値VAを隣接するサブブロック間で差分することにより得られる差分値が、合焦評価領域Rの周辺部分についての被写体の移動に関する指標値となり、その指標値に基づいて被写体の相対的な移動が検出される。
【0177】
例えば、評価値VA1(BS1)とVA2(BS2)との差分が小さくなれば、前回のレンズ位置においてサブブロックBS1に含まれていた被写体は今回のレンズ位置においてサブブロックBS2に含まれることになり、被写体が右方向に16画素移動したことになる。また、評価値VA1(BS2)とVA2(BS1)との差分が小さくなれば、前回のレンズ位置においてサブブロックBS2に含まれていた被写体は今回のレンズ位置においてサブブロックBS1に含まれることになり、被写体が左方向に16画素移動したことになる。さらに、評価値VA1(BS1)とVA2(BS1)との差分が小さくなれば、前回のレンズ位置においてサブブロックBS1に含まれていた被写体は今回のレンズ位置においてもサブブロックBS1に含まれることになり、レンズ駆動の間における被写体の移動はなかったものと考えられる。
【0178】
同様に他の隣接サブブロック間でも同様のことが言えるため、移動検出部33は、
【0179】
【数10】
【0180】
の演算を行うことにより、第1の実施の形態で説明したものと同様の特性を示す相関値MR1,MV0,ML1のそれぞれを算出することができる。
【0181】
すなわち、相関値MR1は被写体が右方向に16画素分移動したことを検出するための相関値であり、相関値ML1は被写体が左方向に16画素分移動したことを検出するための相関値である。また、相関値MV0は被写体の移動がないことを検出するための相関値である。そして、本実施形態のように合焦評価領域Rの中央部分となるメインブロックBMの周辺部に、サブブロックBS1〜BS8を設定することにより、合焦評価領域Rの周辺部分について、中央部分の右側と左側とを個別に評価することのできる相関値MR1,MV0,ML1を得ることができる。
【0182】
図18は前回のレンズ位置と今回のレンズ位置との比較対象画像において合焦評価領域Rにおける被写体が右方向に移動した場合を示す図であり、図における円形、三角形、四角形は被写体像を模式的に表したものである。図18に示すように、画像G1とG2との間で被写体が右方向にずれると、合焦評価領域Rに含まれる被写体のうち、周辺部分の被写体が各サブブロックに対応する領域を移動することになる。したがって、前回のレンズ位置におけるサブブロックBS1〜BS8の評価値VA1(BS1)〜VA1(BS8)と、今回のレンズ位置におけるサブブロックBS1〜BS8の評価値VA2(BS1)〜VA2(BS8)との相関値を求めることにより、合焦評価領域R内の周辺部における被写体がどのように移動したかを検出することができる。
【0183】
そして上記数10に示すように、合焦評価領域Rのサブブロックについてのみ相関値演算を行うことで、合焦評価領域Rの周辺部に含まれる被写体の移動のみを評価することができる。このため、移動前後においても中央部分に含まれ、16画素程度移動しても合焦度合いを評価するための評価値に影響を与えない中央部分の被写体(三角形)は、移動検出の対象から排除されるようになっている。
【0184】
そして図18に示すように、前回のレンズ位置と今回のレンズ位置との間で被写体が右方向におよそ16画素移動すると相関値MR1は最小になる。これに対し、前回のレンズ位置と今回のレンズ位置との間で被写体の移動がなかった場合(あるいは移動量が8画素未満の場合)には相関値MV0が最小になり、前回のレンズ位置と今回のレンズ位置との間で被写体が左方向におよそ16画素移動した場合には相関値ML1が最小になる。
【0185】
つまり、移動検出部33は上記数10の演算によって得られる相関値MR1,MV0,ML1を比較し、最小値を示す相関値を特定することで被写体の移動を検出するように構成される。
【0186】
そして、移動検出部33は、相関値MR1が最小であることを検出した場合には、被写体が画像平面内で右方向に移動し、その移動量が16画素であることを検出する。なお、移動量が16画素になる理由は、各サブブロックBS1〜BS8の幅が16画素であることに起因するものであるので、例えば各サブブロックの幅がN画素(ただし、Nは任意の整数)である場合には、被写体の移動量はN画素となる。
【0187】
また、移動検出部33は、相関値ML1が最小であることを検出した場合には、被写体が画像平面内で左方向に移動し、その移動量が16画素であることを検出する。さらに移動検出部33は、相関値MV0が最小であることを検出した場合には、被写体が画像平面内で移動しなかったことを検出する。
【0188】
なお、上述した説明では、前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とに基づいて被写体の移動を検出する場合を示しているが、上記のようにCCD撮像素子11から時間的に連続して得られる2つの画像間で被写体の移動を検出することにより、2つの比較対照画像間での撮影レンズ10の移動量が最小の状態で被写体の移動検出を行うことができるので、比較対照画像間でのピント差が最小になり、移動検出の際の誤検出の可能性を低減することが可能である。
【0189】
また、本実施の形態においても、信頼性評価部331が機能し、移動検出部33において上記のようにして検出された被写体の移動が正確であるか否かを検証するように構成される。つまり、移動検出部33によって被写体が右方向又は左方向に16画素移動したことが検出された場合、信頼性評価部331は、第1の実施の形態で説明した演算と同様の演算手法によって、相関値MV0’,MR1’,MR2又はMV0’,ML1’,ML2を再演算し、公知の手法である急傾斜延長法による補間演算を行い、それによって得られるパラメータC値及びYM値により、信頼性の評価を行うように構成される。
【0190】
そして第1の実施の形態と同様に、信頼性の評価が行われることにより、被写体の移動検出における誤検出を低減することができ、正確に被写体の移動を把握することが可能になる。
【0191】
なお、その他の動作は第1の実施の形態で説明したものと同様であり、例えばコンティニュアスAFモードでは被写体の移動に追従して合焦評価領域Rが設定されるように構成される。
【0192】
本実施形態のように、合焦評価領域Rを構成しても、第1の実施の形態で説明した効果と同様の効果を得ることができる。
【0193】
また、第1の実施の形態では、複数のブロックが同一サイズであることから、各ブロックについて評価値を求める際には同一演算を適用できるのに対し、本実施形態では各サブブロックBS1〜BS8のサイズと、合焦度合いを評価するための評価対象領域のサイズとは異なるサイズであるので、同一演算を適用することはできない。しかし、本実施形態では、評価値を算出するブロック数が第1の実施の形態に比べて増えるが、合焦評価領域Rの周辺部分について、中央部分の右側と左側とを個別に判断することにより、第1の実施の形態で説明した複数ブロックB1〜B5を採用する場合よりも被写体の移動検出を正確に行うことができる。
【0194】
すなわち、本実施形態においては、合焦評価領域Rが、中央部分に対応して設けられるメインブロックBMと、周辺部分に対応して設けられる複数のサブブロックBS1〜BS8とを有しており、移動検出部33が、複数のサブブロックBS1〜BS8のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるので、評価対象領域の評価値に影響を与える被写体の移動を正確に検出することができる。その結果、自動合焦制御において良好に被写体の動きを追従することができ、高精度な自動合焦制御が実現される。
【0195】
<3.変形例>
以上、本発明の実施の形態について説明したが、本発明は上記説明した内容のものに限定されるものではない。
【0196】
例えば、上記各実施形態においては、画像平面の水平方向に対する被写体の移動検出を行う場合を例示したが、これに限定されるものではない。すなわち、第1の実施の形態における複数ブロックの配置方向を縦方向(垂直方向)としたり、第2の実施の形態における複数のサブブロックの配置方向を縦方向(垂直方向)とすることにより、画像平面において被写体が縦方向に移動した場合にそれを検出することが可能である。
【0197】
さらに、第1の実施の形態における複数ブロックを縦横の双方に2次元配置したり、第2の実施の形態における複数のサブブロックを縦横の双方に2次元配置することにより、画像平面において被写体がどのように移動してもそれを追従することが可能になる。
【0198】
図19は、第1の実施の形態のように同一サイズのブロックを複数配置する場合の配置例を示す図であり、各ブロックの中心点の配置のみを示している。
【0199】
図19(a)は第1の実施の形態にて説明したものであり、横方向に5つのブロックB1〜B5が所定画素数ずつずらされて配置される。このため、図19(a)のブロック配置によれば、被写体が横方向に移動した場合にそれを検出することができる。この場合、各ブロックB1〜B5の隣接するブロック間で評価値の差分を用いて水平方向の被写体の移動を検出し、評価対象領域を被写体の移動に追従させるとともに、合焦評価領域Rの位置を移動させることが可能である。
【0200】
図19(b)は5つのブロックB1〜B5が所定画素数ずつずらされて垂直方向に配置される場合を示している。この場合、各ブロックB1〜B5の隣接するブロック間で評価値の差分を用いて垂直方向の被写体の移動を検出し、評価対象領域を被写体の移動に追従させるとともに、合焦評価領域Rの位置を移動させることが可能である。
【0201】
さらに、図19(c)は13個のブロックB1〜B13が所定画素数ずつずらされて2次元配置される場合を示している。この場合、水平方向に配置される5つのブロックB1〜B5の隣接するブロック間で評価値の差分を用いて水平方向の被写体の移動を検出することができるとともに、垂直方向に配置される5つのブロックB6,B7,B3,B8,B9の隣接するブロック間で評価値の差分を用いて垂直方向の被写体の移動を検出することができる。そして、画像平面において被写体が斜め方向に移動すると、水平方向及び垂直方向の双方で同時に被写体の移動が検出される。この場合、被写体の移動方向に応じて、中心ブロックB3からみて斜めの位置にあるブロックB10〜B13のうちのいずれかを評価対象領域として選択することで、被写体の移動に追従させることができる。また、被写体の移動方向に応じて、合焦評価領域Rの位置を斜めに移動させることで、被写体を追従することも可能である。
【0202】
なお、上記においては、デジタルカメラを例示して説明したが、上述した技術はデジタルスチルカメラ及びデジタルビデオカメラのいずれに対しても適用可能である。また、デジタルカメラ以外の撮像装置でも、電気的画像信号を取得することが可能なものであれば、上述した技術を適用することが可能である。
【0203】
【発明の効果】
以上説明したように、請求項1に記載の発明によれば、複数の領域について被写体の合焦度合いを評価するために得られる評価値のうち、互いに隣接する領域について得られる評価値を差分することによって被写体の移動に関する指標値を求め、その指標値に基づいて被写体の相対的な移動を検出するように構成されるため、複数の領域について同一演算によって求められる評価値の差分をとるだけで移動検出を行うための指標値を求めることができるので、演算処理の簡単化及び効率化を図ることができる。また、複数の領域について得られる評価値を差分することで実際の被写体の動きを適切に検出することができる。この結果、被写体の移動検出を高精度かつ高速に行うことが可能になり、撮像装置のコスト低廉を図ることも可能である。
【0204】
請求項2に記載の発明によれば、複数の領域のそれぞれが、一部において重複した領域を有するように配置されるため、評価値の差分演算によって重複部分を除いた領域で被写体の移動検出を行うことができる。
【0205】
請求項3に記載の発明によれば、中央部分と周辺部分とによって規定される合焦評価領域について求められる評価値のうち、周辺部分についての評価値に基づいて、被写体の相対的な移動を検出するように構成されるため、合焦度合いを評価する際の評価値に影響を与える被写体の移動を適切に検出することが可能である。
【0206】
請求項4に記載の発明によれば、複数のサブ領域のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるため、合焦度合いを評価する際の評価値に影響を与える被写体の移動をより正確に検出することが可能である。
【0207】
請求項5に記載の発明によれば、複数の領域のうちの互いに隣接する領域について得られる評価値を差分することによって、合焦評価領域の周辺部分についての評価値を取得して被写体の相対的な移動を検出するように構成されるため、比較的簡単な演算処理により、合焦度合いを評価する際の評価値に影響を与える部分の被写体の移動を検出することができる。
【図面の簡単な説明】
【図1】デジタルカメラの構成を示すブロック図である。
【図2】CCD撮像素子から得られる画像を示す図である。
【図3】合焦評価領域の一構成例を示す図である。
【図4】バンドパスフィルタの周波数特性を示す図である。
【図5】合焦位置近傍における第1及び第2の評価値を示す図である。
【図6】合焦評価領域の周辺部の領域を示す図である。
【図7】第1の実施の形態において被写体が右方向に移動した場合を示す図である。
【図8】被写体が右方向に移動したことが検出された場合の相関値と移動量との関係を示す図である。
【図9】被写体が左方向に移動したことが検出された場合の相関値と移動量との関係を示す図である。
【図10】デジタルカメラの内部動作におけるタイミングチャートである。
【図11】被写体の移動検出に伴う合焦評価領域の状態を示す図である。
【図12】コンティニュアスAFモードにおける合焦評価領域の状態を示す図である。
【図13】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図14】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図15】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図16】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図17】第2の実施の形態における合焦評価領域の構成を示す図である。
【図18】第2の実施の形態において被写体が右方向に移動した場合を示す図である。
【図19】複数ブロックの配置に関する変形例を示す図である。
【符号の説明】
1 デジタルカメラ(撮像装置)
10 撮影レンズ
11 CCD撮像素子(撮像手段)
30 自動合焦制御部
31 合焦評価領域設定部
32 評価値演算部(評価値演算手段)
33 移動検出部(移動検出手段)
34 移動予測部
35 合焦位置検出部
36 レンズ制御部
331 信頼性評価部(信頼性評価手段)
R 合焦評価領域
B1〜B5 ブロック
BM メインブロック
BS1〜BS8 サブブロック
Claims (5)
- 撮像手段から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズを駆動することにより、被写体の合焦状態を実現する撮像装置であって、
前記画像信号に基づいて、複数の領域のそれぞれについて、被写体の合焦度合いを評価するための評価値を求める評価値演算手段と、
前記評価値を用いて被写体の合焦度合いを評価し、前記撮影レンズを駆動する合焦制御手段と、
前記複数の領域のうち、互いに隣接する領域について得られる前記評価値を差分することによって被写体の移動に関する指標値を求め、当該指標値に基づいて被写体の相対的な移動を検出する移動検出手段と、
を備える撮像装置。 - 請求項1に記載の撮像装置において、
前記複数の領域のそれぞれは、一部において重複した領域を有するように配置されることを特徴とする撮像装置。 - 撮像手段から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズを駆動することにより、被写体の合焦状態を実現する撮像装置であって、
前記画像信号に基づいて、中央部分と周辺部分とによって規定される合焦評価領域に関する評価値を求める評価値演算手段と、
前記評価値演算手段によって得られる評価値を用いて被写体の合焦度合いを評価し、前記撮影レンズを駆動する合焦制御手段と、
前記合焦評価領域の前記周辺部分について得られる評価値に基づいて、被写体の相対的な移動を検出する移動検出手段と、
を備える撮像装置。 - 請求項3に記載の撮像装置において、
前記合焦評価領域は、前記中央部分に対応して設けられるメイン領域と、前記周辺部分に対応して設けられる複数のサブ領域とを有し、
前記移動検出手段は、前記複数のサブ領域のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されることを特徴とする撮像装置。 - 請求項3に記載の撮像装置において、
前記合焦評価領域は、前記中央部分に対応する部分で重複する同一サイズの複数の領域を有し、
前記移動検出手段は、前記複数の領域のうちの互いに隣接する領域について得られる評価値を差分することによって、前記合焦評価領域の前記周辺部分についての評価値を取得して被写体の相対的な移動を検出することを特徴とする撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002218116A JP2004061722A (ja) | 2002-07-26 | 2002-07-26 | 撮像装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2002218116A JP2004061722A (ja) | 2002-07-26 | 2002-07-26 | 撮像装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004061722A true JP2004061722A (ja) | 2004-02-26 |
Family
ID=31939400
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2002218116A Pending JP2004061722A (ja) | 2002-07-26 | 2002-07-26 | 撮像装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004061722A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293196A (ja) * | 2005-04-14 | 2006-10-26 | Olympus Corp | 焦点検出装置 |
JP2007228007A (ja) * | 2006-02-21 | 2007-09-06 | Casio Comput Co Ltd | デジタルカメラ |
JP2013015638A (ja) * | 2011-07-01 | 2013-01-24 | Canon Inc | 防振制御装置、光学機器、撮像装置、及び防振制御方法 |
-
2002
- 2002-07-26 JP JP2002218116A patent/JP2004061722A/ja active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006293196A (ja) * | 2005-04-14 | 2006-10-26 | Olympus Corp | 焦点検出装置 |
JP4633525B2 (ja) * | 2005-04-14 | 2011-02-16 | オリンパス株式会社 | 焦点検出装置 |
JP2007228007A (ja) * | 2006-02-21 | 2007-09-06 | Casio Comput Co Ltd | デジタルカメラ |
JP2013015638A (ja) * | 2011-07-01 | 2013-01-24 | Canon Inc | 防振制御装置、光学機器、撮像装置、及び防振制御方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5868183B2 (ja) | 撮像装置及び撮像方法 | |
JP2009031760A (ja) | 撮像装置及びオートフォーカス制御方法 | |
JP2004077959A (ja) | 焦点調節方法およびカメラ | |
JP2009543124A (ja) | 静止画像及びビデオ画像のオートフォーカシング | |
KR20090028255A (ko) | 영상 획득 장치의 자동초점조절 방법 및 장치 | |
JP5322995B2 (ja) | 撮像装置及びその制御方法 | |
JP2004325517A (ja) | 撮像装置 | |
JP2017129788A (ja) | 焦点検出装置及び方法、及び撮像装置 | |
JP2004361484A (ja) | オートフォーカスカメラ | |
WO2013171840A1 (ja) | 撮像装置及び撮像装置の制御方法 | |
JP7152557B2 (ja) | 撮像装置、撮像方法、プログラム、及び記録媒体 | |
JP2015055635A (ja) | 撮像装置及びその制御方法 | |
JP4334784B2 (ja) | オートフォーカス装置及びそれを用いた撮像装置 | |
JP2013076823A (ja) | 画像処理装置、内視鏡システム、画像処理方法及びプログラム | |
WO2013069279A1 (ja) | 撮像装置 | |
JP5454392B2 (ja) | 測距装置及び撮像装置 | |
JP2004061722A (ja) | 撮像装置 | |
JP2009042555A (ja) | 電子カメラ | |
JPH07270674A (ja) | 合焦検出装置 | |
JP2004061721A (ja) | 撮像装置 | |
JP2014119622A (ja) | 焦点調節装置及び方法、及び撮像装置 | |
JP4085720B2 (ja) | デジタルカメラ | |
JP5965654B2 (ja) | 追尾装置及び撮像装置、撮像装置に用いる追尾方法 | |
JP2012142729A (ja) | カメラ | |
JP4197865B2 (ja) | カメラ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20050615 |