JP2004061721A - Imaging device - Google Patents

Abstract

<P>PROBLEM TO BE SOLVED: To detect movement with small misdetection by detecting an object movement with an evaluation value for automatic focusing. <P>SOLUTION: An evaluation value arithmetic part 32 finds a 1st evaluation value which has a smaller degree of variation due to the driving of a photographic lens 10 and a 2nd evaluation value which has a larger degree of variation due to the driving of the photographic lens 10 on the basis of an image signal obtained from a CCD imaging element 11. A focusing position detection part 35 evaluates the degree of focusing of the object by using the 1st and 2nd evaluation values and drives the photographic lens 10 to a focusing position FP. A movement detection part 33 detects the object movement on an image plane before and after the photographic lens 10 is driven by using the 1st evaluation value to reduce the influence of variation in defocusing quantity, thereby detecting the object movement with high precision. <P>COPYRIGHT: (C)2004,JPO

Description

【００４２】
なる演算を行うことにより、前回のレンズ位置において得られた評価値ＶＡ１から周辺部分の評価値Ｈ１１〜Ｈ１４を求めることができる。
【００４３】
図６は合焦評価領域Ｒを示す図であり、上記演算によって求められる周辺部の領域を示す図である。図６（ａ）における斜線領域は評価値Ｈ１１に対応する領域であり、図６（ｂ）における斜線領域は評価値Ｈ１２に対応する領域であり、図６（ｃ）における斜線領域は評価値Ｈ１３に対応する領域であり、図６（ｄ）における斜線領域は評価値Ｈ１４に対応する領域である。
【００４４】
同様に、今回のレンズ位置において得られた評価値ＶＡ２に対しても、
【００４５】
【数２】

【００４６】
なる演算を行うことにより、今回のレンズ位置において得られた評価値ＶＡ２から周辺部分の評価値Ｈ２１〜Ｈ２４を求めることができる。この場合も、図６（ａ）における斜線領域は評価値Ｈ２１に対応する領域であり、図６（ｂ）における斜線領域は評価値Ｈ２２に対応する領域であり、図６（ｃ）における斜線領域は評価値Ｈ２３に対応する領域であり、図６（ｄ）における斜線領域は評価値Ｈ２４に対応する領域である。
【００４７】
移動検出部３３は上記数１及び数２のような演算を行うことにより、前回のレンズ位置について得られた評価値ＶＡ１と、今回のレンズ位置について得られた評価値ＶＡ２とのそれぞれについて、合焦評価領域Ｒにおいて中央部分を除いた周辺部分の評価値を求める。そして、前回のレンズ位置について求められる周辺部評価値Ｈ１１〜Ｈ１４と、今回のレンズ位置について求められる周辺部評価値Ｈ２１〜Ｈ２４とを、画像平面内における被写体の移動を評価するための指標値として用いる。
【００４８】
図７は前回のレンズ位置と今回のレンズ位置との比較対象画像において合焦評価領域Ｒにおける被写体が右方向に移動した場合を示す図であり、図における円形、三角形、四角形は被写体像を模式的に表したものである。図７に示すように、画像Ｇ１とＧ２との間で被写体が右方向にずれると、合焦評価領域Ｒに含まれる被写体のうち、周辺部分の被写体が各周辺部評価値に対応する領域を移動することになる。この場合、前回のレンズ位置において採用された評価対象領域を、今回のレンズ位置においても同様に採用すると、被写体の移動によって評価値が変化することになる。
【００４９】
これに対し、合焦評価領域Ｒに含まれる被写体のうち、中央部分の被写体（三角形）は移動前後においても中央部分に含まれる。このため、合焦評価領域Ｒの中央部分については被写体が移動しても評価対象領域の評価値の変化は生じない。
【００５０】
被写体の合焦度合いを評価する際に、ピント差以外に評価値を変化させる要因として、評価対象領域に新たな被写体が進入した場合や被写体が評価対象領域に含まれなくなる場合が考えられるが、そのような場合には合焦評価領域Ｒの周辺部分において被写体の移動が現れる。
【００５１】
そこで、本実施形態においては、合焦評価領域Ｒにおいて中央部分を除いた周辺部分の評価値を、合焦評価領域Ｒに対する被写体の入出動作を評価するための指標値として採用し、合焦評価領域Ｒの周辺部の評価値を評価することで適切に被写体の移動を検出するように構成される。つまり、前回のレンズ位置における周辺部評価値Ｈ１１〜Ｈ１４と、今回のレンズ位置における周辺部評価値Ｈ２１〜Ｈ２４との相関値を求めることによって、合焦評価領域Ｒ内の周辺部における被写体がどのように移動したかを検出する。
【００５２】
被写体の移動を検出するための相関値として、移動検出部３３は、右方向への移動を検出するための相関値ＭＲ１と、移動がなかったことを検出するための相関値ＭＶ０と、左方向への移動を検出するための相関値ＭＬ１とを演算により求める。
【００５３】
つまり、移動検出部３３は、
【００５４】
【数３】

【００５５】
の演算を行うことにより、相関値ＭＲ１，ＭＶ０，ＭＬ１のそれぞれを算出する。相関値ＭＲ１は被写体が右方向に１６画素分移動したことを検出するための相関値であり、相関値ＭＬ１は被写体が左方向に１６画素分移動したことを検出するための相関値である。また、相関値ＭＶ０は被写体の移動がないことを検出するための相関値である。
【００５６】
図７に示すように、前回のレンズ位置と今回のレンズ位置との間で被写体が右方向におよそ１６画素移動すると相関値ＭＲ１は最小になる。これに対し、前回のレンズ位置と今回のレンズ位置との間で被写体の移動がなかった場合（あるいは移動量が８画素未満の場合）には相関値ＭＶ０が最小になり、前回のレンズ位置と今回のレンズ位置との間で被写体が左方向におよそ１６画素移動した場合には相関値ＭＬ１が最小になる。
【００５７】
つまり、移動検出部３３は上記数３の演算によって得られる相関値ＭＲ１，ＭＶ０，ＭＬ１を比較し、最小値を示す相関値を特定することで被写体の移動を検出するように構成される。
【００５８】
そして、移動検出部３３は、相関値ＭＲ１が最小であることを検出した場合には、被写体が画像平面内で右方向に移動し、その移動量が１６画素であることを検出する。なお、移動量が１６画素になる理由は、各ブロックの配置が水平方向に１６画素ずつずらされていることに起因するものであるので、例えば各ブロックの配置が水平方向にＮ画素（ただし、Ｎは任意の整数）ずつずらされた構成となっている場合には、被写体の移動量はＮ画素となる。
【００５９】
また、移動検出部３３は、相関値ＭＬ１が最小であることを検出した場合には、被写体が画像平面内で左方向に移動し、その移動量が１６画素であることを検出する。さらに移動検出部３３は、相関値ＭＶ０が最小であることを検出した場合には、被写体が画像平面内で移動しなかったことを検出する。
【００６０】
なお、上述した説明では、前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とに基づいて被写体の移動を検出する場合を示しているが、上記のようにＣＣＤ撮像素子１１から時間的に連続して得られる２つの画像間で被写体の移動を検出することにより、２つの比較対照画像間での撮影レンズ１０の移動量が最小の状態で被写体の移動検出を行うことができるので、比較対照画像間でのピント差が最小になり、移動検出の際の誤検出の可能性を低減することが可能である。
【００６１】
また、上述した説明では、説明を簡単にするために、評価値ＶＡ１，ＶＡ２から周辺部評価値Ｈ１１〜Ｈ１４，Ｈ２１〜Ｈ２４を算出する場合を例示したが、移動検出部３３において上記数３の式に数１及び数２の式を代入した演算式を登録しておけば、移動検出部３３において、評価値演算部３２から入力する評価値から直接的に相関値ＭＲ１，ＭＶ０，ＭＬ１を求めることが可能である。
【００６２】
次に、移動検出部３３には信頼性評価部３３１が設けられており、信頼性評価部３３１は上記のようにして検出された被写体の移動が正確であるか否かを検証する。
【００６３】
上記のように、２種類の評価値のうち、被写体の移動検出時には、レンズ駆動に伴う変化度合いが小さい評価値が用いられることにより、移動検出時における誤検出の低減を図ることができるが、合焦評価領域Ｒの周辺部分に空間周波数およびコントラストが極めて高い画像成分が含まれていると、それらの撮影レンズ１０の駆動に伴う評価値の変化によって被写体の移動を誤検出する可能性が存在する。
【００６４】
また、合焦評価領域Ｒの周辺部分に、それぞれ異なる動きを示す複数の被写体が含まれている場合や、白壁や空等のコントラストが著しく低い画像が含まれている場合等にも、被写体の移動を誤検出する可能性が存在する。
【００６５】
そこで信頼性評価部３３１は、上記のような誤検出を防止するために、上記のようにして検出された被写体の移動が正確であるか否かを検証する。具体的には、移動検出部３３によって被写体が右方向又は左方向に１６画素移動したことが検出された場合に、信頼性評価部３３１は、公知の手法である急傾斜延長法による補間演算を行い、それによって得られるパラメータＣ値及びＹＭ値により、信頼性の評価を行う。
【００６６】
急傾斜延長法による補間演算を行うために、信頼性評価部３３１は被写体の移動を検出するための相関値を再演算する。
【００６７】
まず、移動検出部３３によって被写体が右方向に１６画素移動したことが検出された場合について説明する。被写体が右方向に１６画素移動した場合には、信頼性評価部３３１は、
【００６８】
【数４】

【００６９】
に基づく演算を行うことにより、相関値ＭＶ０’，ＭＲ１’，ＭＲ２を求める。相関値ＭＲ２は３２画素分の移動量を検出するための相関値であり、相関値ＭＲ１’及びＭＶ０’は相関値ＭＲ２と比較可能な状態にするために再演算される。
【００７０】
数４の式に基づく再演算により、相関値ＭＶ０’と相関値ＭＲ１’との関係が、ＭＶ０’＜ＭＲ１’なる関係になった場合、移動検出部３３において検出されたＭＲ１＜ＭＶ０なる関係と逆の関係になる。このため、被写体の移動量は右方向に約８画素であると考えられるが、本実施形態においては、これを切り捨てて移動量を０とする。つまり、移動検出部３３において、相関値ＭＲ１が最小であることが検出されたにもかかわらず、信頼性評価部３３１において相関値の再演算を行った結果、ＭＶ０’＜ＭＲ１’なる関係が得られた場合には、被写体の移動はなかったものとして、移動量が０に確定される。
【００７１】
また、相関値の再演算によって相関値の関係に逆転現象が生じない場合、すなわち、ＭＶ０’＞ＭＲ１’なる関係が得られた場合には、急傾斜延長法による補間演算を行って信頼性の評価を行う。
【００７２】
図８は移動検出部３３によって被写体が右方向に１６画素移動したことが検出された場合の相関値と移動量との関係を示す図である。ＭＶ０’＞ＭＲ１’なる関係が得られる場合、相関値ＭＶ０’，ＭＲ１’，ＭＲ２は、「ＭＲ１’＜ＭＶ０’＜ＭＲ２」なる関係を示す場合と、「ＭＲ１’＜ＭＶ０’かつＭＲ２＜ＭＶ０’」なる関係を示す場合とがある。図８（ｂ）は「ＭＲ１’＜ＭＶ０’＜ＭＲ２」なる関係を示す場合を示しており、図８（ａ）は「ＭＲ１’＜ＭＶ０’かつＭＲ２＜ＭＶ０’」なる関係を示す場合の一例を示している。
【００７３】
再演算によって得られる相関値ＭＶ０’，ＭＲ１’，ＭＲ２が図８（ａ）に示すような状態になる場合、急傾斜延長法によってパラメータＣ及びＹＭを算出する。急傾斜延長法は、３点のうちの２点を通る最も急傾斜となる直線と、他の１点を通り、その急傾斜直線と傾きの符号が異なる直線とを設定し、それら２直線の交点を求める手法である。すなわち、図８（ａ）に示すように、相関値ＭＶ０’と相関値ＭＲ１’とを通る直線１１０を設定し、直線１１０の傾きと符号の異なる傾きを有する直線１１１を、相関値ＭＲ２を通るように設定する。このときの、相関値ＭＶ０’と相関値ＭＲ１’との差分がパラメータＣであり、直線１１０と直線１１１との交点の高さがパラメータＹＭとなる。図８（ａ）の場合には、パラメータＣ及びＹＭは、
【００７４】
【数５】

【００７５】
によって求めることができる。
【００７６】
また、再演算によって得られる相関値ＭＶ０’，ＭＲ１’，ＭＲ２が図８（ｂ）に示すような状態になる場合にも、急傾斜延長法によってパラメータＣ及びＹＭを算出する。すなわち、図８（ｂ）に示すように相関値ＭＲ１’と相関値ＭＲ２とを通る直線１２１を設定し、直線１２１の傾きと符号の異なる傾きを有する直線１２０を相関値ＭＶ０’を通るように設定する。このときの、相関値ＭＲ２と相関値ＭＲ１’との差分がパラメータＣであり、直線１２０と直線１２１との交点の高さがパラメータＹＭとなる。図８（ｂ）の場合には、パラメータＣ及びＹＭは、
【００７７】
【数６】

【００７８】
によって求めることができる。
【００７９】
そして信頼性評価部３３１は、上記のようにして求められるパラメータＣ及びＹＭを用いて、被写体が右方向に１６画素移動したことに関する信頼性を評価する。具体的には、パラメータＣが所定値ＴＨ１よりも大きく、かつ、パラメータＹＭ／Ｃが所定値ＴＨ２より小さい場合には被写体の移動検出結果の信頼性が高いものと決定する。したがって、Ｃ＞ＴＨ１かつＹＭ／Ｃ＜ＴＨ２なる関係は信頼性が高いと判断されるための評価条件となり、評価条件が満たされる場合には、画像平面内において被写体が右方向に移動し、その移動量は１６画素であることが確定される。
【００８０】
なお、評価条件が満たされない場合には、被写体の移動検出結果の信頼性が低いものと決定し、被写体の移動はないものとされて、移動量は０に確定される。また、相関値ＭＲ２が最小になる場合にも、被写体の移動検出結果の信頼性が低いものと決定し、移動量を０に確定してもよい。
【００８１】
次に、移動検出部３３によって被写体が左方向に１６画素移動したことが検出された場合について説明する。被写体が左方向に１６画素移動した場合には、信頼性評価部３３１は、
【００８２】
【数７】

【００８３】
に基づく演算を行うことにより、相関値ＭＬ２，ＭＬ１’，ＭＶ０’を求める。相関値ＭＬ２は３２画素分の移動量を検出するための相関値であり、相関値ＭＬ１’及びＭＶ０’は相関値ＭＲ２と比較可能な状態にするために再演算される。
【００８４】
数７の式に基づく再演算により、相関値ＭＶ０’と相関値ＭＬ１’との関係が、ＭＶ０’＜ＭＬ１’なる関係になった場合、移動検出部３３において検出されたＭＬ１＜ＭＶ０なる関係と逆の関係になる。このため、被写体の移動量は左方向に約８画素であると考えられるが、本実施形態においては、これを切り捨てて移動量を０とする。つまり、移動検出部３３において、相関値ＭＬ１が最小であることが検出されたにもかかわらず、信頼性評価部３３１において相関値の再演算を行った結果、ＭＶ０’＜ＭＬ１’なる関係が得られた場合には、被写体の移動はなかったものとして、移動量が０に確定される。
【００８５】
また、相関値の再演算によって相関値の関係に逆転現象が生じない場合、すなわち、ＭＶ０’＞ＭＬ１’なる関係が得られた場合には、急傾斜延長法による補間演算を行って信頼性の評価を行う。
【００８６】
図９は移動検出部３３によって被写体が左方向に１６画素移動したことが検出された場合の相関値と移動量との関係を示す図である。ＭＶ０’＞ＭＬ１’なる関係が得られる場合、相関値ＭＶ０’，ＭＬ１’，ＭＬ２は、「ＭＬ１’＜ＭＶ０’＜ＭＬ２」なる関係を示す場合と、「ＭＬ１’＜ＭＶ０’かつＭＬ２＜ＭＶ０’」なる関係を示す場合とがある。図９（ａ）は「ＭＬ１’＜ＭＶ０’＜ＭＬ２」なる関係を示す場合を示しており、図９（ｂ）は「ＭＬ１’＜ＭＶ０’かつＭＬ２＜ＭＶ０’」なる関係を示す場合の一例を示している。
【００８７】
再演算によって得られる相関値ＭＶ０’，ＭＬ１’，ＭＬ２が図９（ａ）に示すような状態になる場合、急傾斜延長法によってパラメータＣ及びＹＭを算出する。すなわち、図９（ａ）に示すように、相関値ＭＬ２と相関値ＭＬ１’とを通る直線１３０を設定し、直線１３０の傾きと符号の異なる傾きを有する直線１３１を相関値ＭＶ０’を通るように設定する。このときの、相関値ＭＬ２と相関値ＭＬ１’との差分がパラメータＣであり、直線１３０と直線１３１との交点の高さがパラメータＹＭとなる。図９（ａ）の場合には、パラメータＣ及びＹＭは、
【００８８】
【数８】

【００８９】
によって求めることができる。
【００９０】
また、再演算によって得られる相関値ＭＶ０’，ＭＬ１’，ＭＬ２が図９（ｂ）に示すような状態になる場合にも、急傾斜延長法によってパラメータＣ及びＹＭを算出する。すなわち、図９（ｂ）に示すように相関値ＭＬ１’と相関値ＭＶ０’とを通る直線１４１を設定し、直線１４１の傾きと符号の異なる傾きを有する直線１４０を、相関値ＭＬ２を通るように設定する。このときの、相関値ＭＶ０’と相関値ＭＬ１’との差分がパラメータＣであり、直線１４０と直線１４１との交点の高さがパラメータＹＭとなる。図９（ｂ）の場合には、パラメータＣ及びＹＭは、
【００９１】
【数９】

【００９２】
によって求めることができる。
【００９３】
そして信頼性評価部３３１は、上記のようにして求められるパラメータＣ及びＹＭを用いて、被写体が左方向に１６画素移動したことに関する信頼性を評価する。具体的には、右方向への移動が検出された場合と同様に、パラメータＣが所定値ＴＨ１よりも大きく、かつ、パラメータＹＭ／Ｃが所定値ＴＨ２より小さい場合には被写体の移動検出結果の信頼性が高いものと決定する。したがって、Ｃ＞ＴＨ１かつＹＭ／Ｃ＜ＴＨ２なる評価条件が満たされる場合には、画像平面内において被写体が左方向に移動し、その移動量は１６画素であることが確定される。
【００９４】
なお、評価条件が満たされない場合には、被写体の移動検出結果の信頼性が低いものと決定し、被写体の移動はないものとされて、移動量は０に確定される。また、相関値ＭＬ２が最小になる場合にも、被写体の移動検出結果の信頼性が低いものと決定し、移動量を０に確定してもよい。
【００９５】
以上のように、信頼性評価部３３１は、移動検出部３３において被写体の移動が検出された場合、急傾斜延長法によって相関値の変化度合いを評価することで移動検出結果の信頼性を評価するように構成され、信頼性が低いと判定した場合には移動検出部３３における検出結果は誤検出であるとしてそれを無視することになる。これに対し、信頼性が高いと判定した場合には移動検出部３３における検出結果は正確であるとして移動検出部３３における検出結果を有効に確定させる。このような信頼性判定が行われることにより、画像平面内における被写体の移動検出結果が誤検出である場合にその検出結果が利用されることを良好に防止することができる。
【００９６】
そして信頼性評価部３３１によって移動検出結果が確定され、被写体が右方向又は左方向に１６画素移動したことが検出された場合には、移動検出部３３が合焦評価領域設定部３１に対して被写体の移動量等に関する情報を送出する。これにより、合焦評価領域設定部３１は、図２に示す画像１００における合焦評価領域Ｒの位置を変更することが可能である。
【００９７】
また、移動検出部３３は信頼性評価部３３１によって確定された移動量を移動予測部３４に与えるように構成されるとともに、各ブロックＢ１〜Ｂ５のうちで移動後の被写体が含まれるブロックを特定し、合焦位置検出部３５に指示するように構成される。
【００９８】
合焦位置検出部３５は、移動検出部３３によって指示されるブロックの評価値ＶＡ，ＶＢを取得し、各レンズ位置において求められた評価値ＶＡ，ＶＢを記憶していく。そして、撮影レンズ１０が６回駆動されて全てのレンズ位置における評価値が得られると、それらの評価値に基づいて合焦位置検出演算が行われ、合焦位置ＦＰが特定される。
【００９９】
なお、合焦位置近傍においてはレンズ駆動に伴う評価値の変化度合いが大きい第２の評価値ＶＢを用いて合焦位置ＦＰが特定されるが、第２の評価値ＶＢを用いて合焦位置ＦＰを特定することが困難な場合には、合焦位置ＦＰは比較的遠い位置に存在することになるため、例えば、第１の評価値ＶＡを用いて撮影レンズ１０の高速駆動等が行われる。
【０１００】
そして合焦位置ＦＰが特定されると、そのレンズ位置がレンズ制御部３６に対して指示され、レンズ制御部３６はレンズ駆動部１６を介して撮影レンズ１０を合焦位置ＦＰに移動させることになる。これにより、被写体像の合焦状態が実現される。
【０１０１】
また、レンズ制御部３６は、自動合焦制御において撮影レンズ１０を所定ピッチで６回駆動させるために、レンズ駆動部１６に対して所定タイミングで制御信号を送出する。
【０１０２】
以上のような動作をタイミングチャートで示すと図１０に示すようになる。撮影レンズ１０は所定のタイミングで駆動され、各レンズ駆動によってレンズ位置がＰ１からＰ６まで段階的に駆動される（図５参照）。
【０１０３】
１回目レンズ駆動が終了すると、撮影レンズ１０はレンズ位置Ｐ１に移動し、そこで１回目の撮像処理が行われる。ＣＣＤ撮像素子１１の撮像処理が終了すると、ＣＣＤ撮像素子１１から画像が読み出される。このとき、自動合焦制御部３０は画像メモリ１２を介して合焦評価領域Ｒの画像成分を入力し、画像読み出し動作と並行して評価値の演算を開始する。そして評価値の演算が終了すると、移動検出部３３及び合焦位置検出部３５がその評価値を取得する。
【０１０４】
また、１回目の撮像処理が終了すると、２回目のレンズ駆動が行われ、撮影レンズ１０がレンズ位置Ｐ２に移動した状態で２回目の撮像処理が行われる。したがって、２回目のレンズ駆動及び撮像処理は、１回目の撮像処理によって得られた画像の読み出し動作及び評価値演算動作と並行して行われることになる。
【０１０５】
そして２回目の撮像処理によって得られた画像に基づく評価値の取得が完了すると、移動検出部３３において１回目の画像と２回目の画像との間における移動検出が行われる。この移動検出による検出結果は、４回目の画像に基づく評価値演算にフィードバックされ、４回目の画像に基づく評価値演算の際に適用される合焦評価領域Ｒの設定変更が行われる。
【０１０６】
以下同様に、６回目のレンズ駆動に伴う各動作が終了した時点で、合焦位置検出部３６が機能し、６回分の評価値に基づいて合焦位置ＦＰを検出するための処理が実行される。
【０１０７】
そして上記のような動作を行うことにより、各レンズ位置において合焦位置ＦＰを検出するためのブロックの位置を被写体の移動に追従させることが可能になる。図１１は被写体の移動検出に伴う合焦評価領域Ｒの状態を示す図である。ただし、図１１においては、画像平面内において被写体が右方向に移動する場合を例示している。
【０１０８】
図１１に示す各画像１０１〜１０６は、撮影レンズ１０のレンズ位置をＰ１〜Ｐ６まで段階的に移動させた場合（図５参照）の合焦評価領域Ｒに含まれる画像を示している。画像１０１では、合焦位置検出部３５が合焦度合いを評価する際の評価対象領域がブロックＢ３となっている。そして画像１０１と画像１０２との間の移動検出により、被写体は右方向に１６画素移動したことが検出される。このため、画像１０２における評価対象領域はブロックＢ４として設定される。
【０１０９】
また、画像１０２と画像１０３との間の移動検出により、被写体はさらに右方向に１６画素移動したことが検出される。このため、画像１０３における評価対象領域はブロックＢ５として設定される。
【０１１０】
ところで、画像１０１と画像１０２との間の移動検出の完了時には、画像１０３に基づく各ブロックの評価値演算と、画像１０４の撮像処理とが行われている。このため、画像１０４をＣＣＤ撮像素子１１より読み出して評価値演算を行う際には、画像１０１と画像１０２との間の移動検出に基づいて合焦評価領域Ｒを右方向に１６画素移動させて設定することにより、被写体の移動に追従して合焦評価領域Ｒの位置を変更する。
【０１１１】
以下同様に、画像１０２と画像１０３との間の移動検出に基づいて画像１０５の合焦評価領域Ｒを右方向に１６画素移動させて設定し、画像１０３と画像１０４との間の移動検出に基づいて画像１０６の合焦評価領域Ｒを右方向に１６画素移動させて設定する。
【０１１２】
このように被写体の移動に伴って合焦評価領域Ｒの位置を移動させることにより、合焦評価領域Ｒに設定するブロックの数を増加させることなく、被写体の動きに追従することができる。また、ブロックの数を増加させる必要がないことから、評価値演算の負担を軽減することも可能である。
【０１１３】
次に、移動予測部３４は、例えばコンティニュアスＡＦモード時において機能し、繰り返し自動合焦制御が実行される場合に、前回の自動合焦制御と次回の自動合焦制御との間での被写体の移動量を予測するように構成される。
【０１１４】
コンティニュアスＡＦモードにおいても前回の自動合焦制御における最後の画像と、その次の自動合焦制御における最初の画像との間で移動検出を行えば、合焦評価領域Ｒを被写体の移動に追従させることが可能である。
【０１１５】
しかし、コンティニュアスＡＦモードでは、前回の自動合焦制御とその次の自動合焦動作との間に、被写体の輝度変化に対応するために、測光動作等を行って露出制御を行う必要がある。このため、繰り返し行われる自動合焦制御動作の間に露出制御が介在すると、前回の自動合焦制御における最後の画像と、その次の自動合焦制御における最初の画像との撮像タイミングの差が拡大し、その間に被写体が１６画素以上移動する可能性が高いと考えられる。
【０１１６】
そこで、移動予測部３４は、自動合焦制御の際に、各タイミングで移動検出部３３から入力する移動量に基づいて被写体の移動速度を求め、前回の自動合焦制御とその次の自動合焦制御とのタイミング差に基づいて、前回の自動合焦制御の最後に決定された合焦評価領域Ｒの位置及び評価対象領域として決定されたブロックからの被写体の移動量を決定する。そしてその移動量に基づいて、移動予測部３４は、次回の自動合焦制御の開始時における合焦評価領域Ｒの位置を合焦評価領域設定部３１に対してフィードバックするように構成される。
【０１１７】
図１２は、コンティニュアスＡＦモードにおける被写体の移動検出に伴う合焦評価領域Ｒの状態を示す図である。ただし、図１２においては、画像平面内において被写体が右方向に移動する場合を例示しており、画像１０１〜１０６は図１１に示した画像と同様である。
【０１１８】
移動予測部３４は、前回の自動合焦制御時における被写体の移動量を、画像１０１を基準とした画像１０６の被写体位置により算出する。図１２の場合は、各画像において被写体が１６画素ずつ右方向に移動するので、前回の自動合焦制御時における被写体の移動量は、１６×５＝８０画素となる。これを画像１０１の撮像タイミングと画像１０６の撮像タイミングとの差ｔ１で除算し、前回の自動合焦時における被写体の移動速度ｖ＝８０／ｔ１を算出する。
【０１１９】
また、移動予測部３４は、前回の自動合焦制御とその次の自動合焦制御とのタイミング差ｔ２を求め、そのタイミング差ｔ２と上記移動速度ｖから、次回の自動合焦制御時の最初の画像２０１を撮像するタイミングでの被写体の移動量を求める。つまり、図１２の場合は、８０×ｔ２／ｔ１により、前回の自動合焦制御とその次の自動合焦制御との間で被写体が移動した移動量を求めることができる。移動予測部３４は、上記のようにして求められる移動量を、前回の自動合焦制御の最後の画像１０６について設定された合焦評価領域Ｒの位置に加算することで、次回の自動合焦制御時の最初の画像２０１に対する合焦評価領域Ｒを設定する。このとき、合焦評価領域Ｒにおける評価対象領域は中央部のブロックＢ３となるように合焦評価領域Ｒの位置を設定する。このように繰り返し自動合焦制御が行われる場合、移動予測部３４が次回の自動合焦制御時における被写体の位置を予測するように構成されるため、各自動合焦制御動作の間に露出制御等の他の動作が行われる場合であっても、合焦評価領域Ｒを良好に被写体の移動に追従させることが可能である。
【０１２０】
次に、上記のように構成されたデジタルカメラ１において、自動合焦制御を行う際の処理シーケンスについて説明する。図１３乃至図１６は、コンティニュアスＡＦモードにおいて自動合焦制御を行う際の処理シーケンスを示すフローチャートであり、図１０のタイミングチャートをフローチャートで示したものである。
【０１２１】
図１３に示すように、自動合焦制御が開始されると、レンズ制御部３６は、前回の合焦位置を中心に、撮影レンズ１０を段階的に移動させる際の各レンズ位置を等間隔で設定する。そしてレンズ制御部３６はレンズ駆動部１６を制御して撮影レンズ１０を最初の撮像ポイントであるレンズ位置Ｐ１に移動させる（ステップＳ１００）。そしてＣＣＤ撮像素子１１における撮像処理を開始させる（ステップＳ１０１）。
【０１２２】
撮像処理が終了すると、合焦評価領域設定部３１は、被写体がブロックＢ３に含まれるように合焦評価領域Ｒを設定するとともに（ステップＳ１０２）、ＣＣＤ撮像素子１１からの画像読み出しを開始し、画像メモリ１２に対して一時的に格納する（ステップＳ１０３）。
【０１２３】
また、１回目の撮像処理が終了すると、レンズ制御部３６はレンズ駆動部１６を制御し、撮影レンズ１０を２回目の撮像ポイントであるレンズ位置Ｐ２に移動させる（ステップＳ１０４）。
【０１２４】
評価値演算部３２は、１回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップＳ１０２で設定された合焦評価領域ＲのブロックＢ１〜Ｂ５のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値ＶＡと、レンズ駆動に伴う変化度合いが大きい評価値ＶＢとの２種類の評価値を算出するための演算処理を開始する（ステップＳ１０５）。
【０１２５】
そしてＣＣＤ撮像素子１１における２回目の撮像処理が開始される（ステップＳ１０６）。
【０１２６】
撮像処理が終了すると、合焦評価領域設定部３１は、合焦評価領域Ｒを設定するとともに（ステップＳ１０７）、ＣＣＤ撮像素子１１からの画像読み出しを開始し、画像メモリ１２に対して一時的に格納する（ステップＳ１０８）。
【０１２７】
また、２回目の撮像処理が終了すると、レンズ制御部３６はレンズ駆動部１６を制御し、撮影レンズ１０を３回目の撮像ポイントであるレンズ位置Ｐ３に移動させる（ステップＳ１０９）。また、このとき、合焦位置検出部３５は、ブロックＢ３を評価対象領域とし、１回目の画像から求められるブロックＢ３についての評価値を取得して、それを一時的に記憶しておく（ステップＳ１１０）。
【０１２８】
評価値演算部３２は、２回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップＳ１０７で設定された合焦評価領域ＲのブロックＢ１〜Ｂ５のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値ＶＡと、レンズ駆動に伴う変化度合いが大きい評価値ＶＢとの２種類の評価値を算出するための演算処理を開始する（ステップＳ１１１）。
【０１２９】
そしてＣＣＤ撮像素子１１における３回目の撮像処理が開始される（ステップＳ１１２）。撮像処理が終了すると、合焦評価領域設定部３１は、合焦評価領域Ｒを設定するとともに（ステップＳ１１３）、ＣＣＤ撮像素子１１からの画像読み出しを開始し、画像メモリ１２に対して一時的に格納する（ステップＳ１１４）。
【０１３０】
図１４のフローチャートに移り、３回目の撮像処理が終了すると、レンズ制御部３６はレンズ駆動部１６を制御し、撮影レンズ１０を４回目の撮像ポイントであるレンズ位置Ｐ４に移動させる（ステップＳ１１５）。これと同時に、評価値演算部３２は、３回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップＳ１１３で設定された合焦評価領域ＲのブロックＢ１〜Ｂ５のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値ＶＡと、レンズ駆動に伴う変化度合いが大きい評価値ＶＢとの２種類の評価値を算出するための演算処理を開始する（ステップＳ１１６）。
【０１３１】
そして移動検出部３３が機能し、１回目及び２回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う（ステップＳ１１７）。つまり、このときにレンズ位置Ｐ１で撮影した画像と、レンズ位置Ｐ２で撮影した画像との間に被写体が画像平面内で移動したか否かを検出するのである。ここで被写体の移動が検出された場合には、信頼性評価部３３１が機能して、被写体の移動検出結果の信頼性が評価される（ステップＳ１１８）。
【０１３２】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、２回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１１９）。例えば、ステップＳ１１７において被写体が右方向に１６画素移動したことが検出され、ステップＳ１１８においてその検出結果の信頼性が高いと判断された場合には、ブロックＢ４が評価対象領域として選択されることになる（図１１の画像１０２参照）。
【０１３３】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は０と判断されるので、評価対象領域となるブロックは変更されない。すなわち、１回目の評価対象領域であるブロックＢ３が選択され、その選択されたブロックについて算出された、２回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１１９）。
【０１３４】
そしてＣＣＤ撮像素子１１における４回目の撮像処理が開始される（ステップＳ１２０）。撮像処理が終了すると、合焦評価領域設定部３１は、前回の移動検出結果に基づいて合焦評価領域Ｒを設定する（ステップＳ１２１）。例えば、ステップＳ１１７において被写体が右方向に１６画素移動したことが検出され、ステップＳ１１８においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Ｒは前回の位置から右方向に１６画素移動した位置に設定される（図１１の画像１０４参照）。
【０１３５】
４回目の撮像処理が終了すると、ＣＣＤ撮像素子１１からの画像読み出しを開始し、画像メモリ１２に対して一時的に格納する（ステップＳ１２２）。また、４回目の撮像処理が終了すると、レンズ制御部３６はレンズ駆動部１６を制御し、撮影レンズ１０を５回目の撮像ポイントであるレンズ位置Ｐ５に移動させる（ステップＳ１２３）。これと同時に、評価値演算部３２は、４回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップＳ１２１で設定された合焦評価領域ＲのブロックＢ１〜Ｂ５のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値ＶＡと、レンズ駆動に伴う変化度合いが大きい評価値ＶＢとの２種類の評価値を算出するための演算処理を開始する（ステップＳ１２４）。
【０１３６】
そして移動検出部３３が機能し、２回目及び３回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う（ステップＳ１２５）。つまり、このときにレンズ位置Ｐ２で撮影した画像と、レンズ位置Ｐ３で撮影した画像との間に被写体が画像平面内で移動したか否かを検出するのである。ここで被写体の移動が検出された場合には、信頼性評価部３３１が機能して、被写体の移動検出結果の信頼性が評価される（ステップＳ１２６）。
【０１３７】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、３回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１２７）。例えば、ステップＳ１１７，Ｓ１１８において被写体が右方向に１６画素移動したことが検出され、さらに、ステップＳ１２５，Ｓ１２６において被写体が右方向に１６画素移動したことが検出された場合には、ブロックＢ５が評価対象領域として選択されることになる（図１１の画像１０３参照）。
【０１３８】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は０と判断されるので、評価対象領域となるブロックは変更されない。すなわち、２回目の評価対象領域であるブロックが選択され、その選択されたブロックについて算出された、３回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１２７）。
【０１３９】
そしてＣＣＤ撮像素子１１における５回目の撮像処理が開始される（ステップＳ１２８）。撮像処理が終了すると、合焦評価領域設定部３１は、前回の移動検出結果に基づいて合焦評価領域Ｒを設定する（ステップＳ１２９）。例えば、ステップＳ１２５において被写体が右方向に１６画素移動したことが検出され、ステップＳ１２６においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Ｒは前回の位置から右方向に１６画素移動した位置に設定される（図１１の画像１０５参照）。
【０１４０】
５回目の撮像処理が終了すると、ＣＣＤ撮像素子１１からの画像読み出しを開始し、画像メモリ１２に対して一時的に格納する（ステップＳ１３０）。
【０１４１】
また、５回目の撮像処理が終了すると、レンズ制御部３６はレンズ駆動部１６を制御し、撮影レンズ１０を６回目の撮像ポイントであるレンズ位置Ｐ６に移動させる（図１５のフローチャート：ステップＳ１３１）。これと同時に、評価値演算部３２は、５回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップＳ１２９で設定された合焦評価領域ＲのブロックＢ１〜Ｂ５のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値ＶＡと、レンズ駆動に伴う変化度合いが大きい評価値ＶＢとの２種類の評価値を算出するための演算処理を開始する（ステップＳ１３２）。
【０１４２】
そして移動検出部３３が機能し、３回目及び４回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う（ステップＳ１３３）。このとき、レンズ位置Ｐ３で撮影した画像と、レンズ位置Ｐ４で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部３３１が機能して、被写体の移動検出結果の信頼性が評価される（ステップＳ１３４）。
【０１４３】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、４回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１３５）。例えば、ステップＳ１１７，Ｓ１１８及びＳ１２５，Ｓ１２６において被写体が右方向に１６画素移動したことが検出され、さらに、ステップＳ１３３，Ｓ１３４において被写体が右方向に１６画素移動したことが検出された場合には、ブロックＢ５が評価対象領域として選択されることになる（図１１の画像１０４参照）。
【０１４４】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は０と判断されるので、３回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、４回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１３５）。
【０１４５】
そしてＣＣＤ撮像素子１１における６回目の撮像処理が開始される（ステップＳ１３６）。撮像処理が終了すると、合焦評価領域設定部３１は、前回の移動検出結果に基づいて合焦評価領域Ｒを設定する（ステップＳ１３７）。例えば、ステップＳ１３３において被写体が右方向に１６画素移動したことが検出され、ステップＳ１３４においてその検出結果の信頼性が高いと判断された場合には、合焦評価領域Ｒは前回の位置から右方向に１６画素移動した位置に設定される（図１１の画像１０６参照）。
【０１４６】
６回目の撮像処理が終了すると、ＣＣＤ撮像素子１１からの画像読み出しを開始し、画像メモリ１２に対して一時的に格納する（ステップＳ１３８）。評価値演算部３２は、６回目の撮像処理によって得られた画像の読み出し処理と並行して、ステップＳ１３７で設定された合焦評価領域ＲのブロックＢ１〜Ｂ５のそれぞれについて、レンズ駆動に伴う変化度合いが小さい評価値ＶＡと、レンズ駆動に伴う変化度合いが大きい評価値ＶＢとの２種類の評価値を算出するための演算処理を開始する（ステップＳ１３９）。
【０１４７】
そして移動検出部３３が機能し、４回目及び５回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う（ステップＳ１４０）。このとき、レンズ位置Ｐ４で撮影した画像と、レンズ位置Ｐ５で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部３３１が機能して、被写体の移動検出結果の信頼性が評価される（ステップＳ１４１）。
【０１４８】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、５回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１４２）。例えば、これまでの移動検出において被写体が右方向に１６画素移動したことが検出され、さらに、ステップＳ１４０，Ｓ１４１において被写体が右方向に１６画素移動したことが検出された場合には、ブロックＢ５が評価対象領域として選択されることになる（図１１の画像１０５参照）。
【０１４９】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は０と判断されるので、４回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、５回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１４２）。
【０１５０】
そしてステップＳ１３９で開始した評価値演算が終了すると、移動検出部３３が機能し、５回目及び６回目の画像から求められる評価値のうち、レンズ駆動に伴う変化度合いが小さい評価値を用いて、被写体の移動検出を行う（ステップＳ１４３）。このとき、レンズ位置Ｐ５で撮影した画像と、レンズ位置Ｐ６で撮影した画像との間に被写体が画像平面内で移動したか否かが検出される。ここで被写体の移動が検出された場合には、信頼性評価部３３１が機能して、被写体の移動検出結果の信頼性が評価される（ステップＳ１４４）。
【０１５１】
信頼性評価の結果、移動検出結果の信頼性が高いと判断された場合には、被写体の移動量に基づいて評価対象領域となるブロックを選択し、その選択されたブロックについて算出された、６回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１４５）。例えば、これまでの移動検出において被写体が右方向に１６画素移動したことが検出され、さらに、ステップＳ１４３，Ｓ１４４において被写体が右方向に１６画素移動したことが検出された場合には、ブロックＢ５が評価対象領域として選択されることになる（図１１の画像１０６参照）。
【０１５２】
これに対し、移動検出結果の信頼性が低いと判断された場合には、被写体の移動量は０と判断されるので、５回目の評価対象であるブロックと同じ位置にあるブロックが選択され、その選択されたブロックについて算出された、６回目の画像についての評価値が合焦位置検出部３５にて記憶されることになる（ステップＳ１４５）。
【０１５３】
次に、図１６のフローチャートに進み、合焦位置検出部３５が各レンズ位置において得られる評価値のうち、評価対象領域として選択されたブロックの評価値を取得し、補間演算等を行うことによって合焦位置ＦＰを特定する（ステップＳ１４６）。このとき、合焦位置近傍では、レンズ駆動に伴う変化度合いが大きい評価値ＶＢが用いられ、合焦位置ＦＰの特定が高精度に行われる。
【０１５４】
そしてレンズ制御部３６がレンズ駆動部１６を制御し、撮影レンズ１０を合焦位置ＦＰに移動させる（ステップＳ１４７）。この結果、ＣＣＤ撮像素子１１に結像される被写体像の合焦状態が実現される。
【０１５５】
そして、移動予測部３４は、これまでの移動検出において検出された被写体の移動量に基づいて、被写体速度を算出し（ステップＳ１４８）、次回のステップＳ１０２が行われる際に最適な合焦評価領域Ｒの位置を予測する（ステップＳ１４９）。その後、ステップＳ１００に戻り、繰り返し自動合焦制御が実行される。
【０１５６】
なお、ワンショットＡＦモードの場合には、上記のステップＳ１４７が終了した後、自動合焦制御が終了する。
【０１５７】
以上のように、本実施形態のデジタルカメラ１は、ＣＣＤ撮像素子１１から得られる画像信号に基づいて被写体の合焦度合いを評価し、撮影レンズ１０を駆動することにより、被写体の合焦状態を実現するように構成されており、さらに、被写体の合焦度合いを評価するために求められる、撮影レンズ１０の駆動に伴う変化度合いが小さい第１の評価値を用いて、撮影レンズ１０の駆動前後における画像平面での被写体の移動を検出するように構成されている。そのため、被写体の移動検出における誤検出を低減することができ、被写体の移動を正確に把握することが可能になる。
【０１５８】
また、信頼性評価部３３１が被写体の移動検出結果の信頼を評価するように構成されている。そのため、被写体の移動検出における誤検出をさらに低減することができ、被写体の移動をより正確に把握することが可能になる。
【０１５９】
そして、被写体の合焦度合いを評価するために、画像信号から合焦評価領域Ｒの画像成分を抽出し、その合焦評価領域Ｒの画像成分から、第１及び第２の評価値を求めるように構成されており、移動検出部３３における検出結果に基づいて画像信号に対する合焦評価領域Ｒの設定位置が変更される。したがって、図２に示す画像１００において被写体が移動した場合でも、その移動を追従しつつ合焦度合いの評価を行うことができるように実現される。
【０１６０】
また、本実施形態のデジタルカメラ１は、ＣＣＤ撮像素子１１から得られる画像信号に基づいて、複数のブロックＢ１〜Ｂ５のそれぞれについて、被写体の合焦度合いを評価するための評価値を求め、それらの評価値を用いて被写体の合焦度合いを評価し、撮影レンズ１０を合焦位置ＦＰに駆動するように構成される。そして、複数のブロックＢ１〜Ｂ５のうち、互いに隣接するブロックＢ１〜Ｂ５について得られる評価値を差分することによって、合焦評価領域Ｒの周辺部分についての被写体の移動に関する指標値を求め、その指標値に基づいて被写体の相対的な移動を検出するように構成される。
【０１６１】
したがって、被写体の移動検出は、複数のブロックＢ１〜Ｂ５について同一演算によって求められる評価値に基づいて行われるので、演算処理の簡単化及び効率化を図ることができる。そして、被写体の移動検出を高速に行うことが可能になり、デジタルカメラ１のコスト低廉を図ることが可能である。
【０１６２】
また、同一サイズを有する複数のブロックＢ１〜Ｂ５のそれぞれが、所定方向にずれた配置とされ、一部において重複した領域を有するように配置されることで、上記の差分演算によって、合焦評価領域Ｒの周辺部分についての被写体の移動を評価することが可能である。
【０１６３】
またデジタルカメラ１は、ＣＣＤ撮像素子１１から得られる画像信号に基づいて、中央部分と周辺部分とによって規定される合焦評価領域Ｒに関する評価値を求めるように構成され、移動検出部３３は、合焦評価領域Ｒの周辺部分について得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるので、評価対象領域の評価値に影響を与える被写体の移動を良好に検出することが可能である。
【０１６４】
また、本実施形態においては、合焦評価領域Ｒの中心部分において複数のブロックＢ１〜Ｂ５が重複するように配置され、かつ各ブロックが所定画素ずつずらされた配置されており、各ブロックについて同一の評価値演算が適用されるので、演算処理の効率化を図ることが可能である。
【０１６５】
＜２．第２の実施の形態＞
次に、第２の実施の形態について説明する。上記第１の実施の形態では、合焦評価領域Ｒにおける複数のブロックＢ１〜Ｂ５が、一部重ね合わされた状態で配置される場合を例示したが、本実施形態では、第１の実施の形態とは異なる合焦評価領域の設定について説明する。なお、デジタルカメラ１の構成は第１の実施の形態で説明したものと同様である。
【０１６６】
図１７は本実施形態における合焦評価領域Ｒの構成を示す図である。本実施形態においても、合焦評価領域Ｒは、図２に示すように画像１００に含まれる主被写体の合焦状態を評価するために、画像１００に対して設定される。そして本実施形態においても、合焦評価領域Ｒは、画像平面内における被写体の移動を検出するために、複数のブロックに分割された構成となっている。
【０１６７】
図１７に示す合焦評価領域Ｒは、中央部分にメインブロックＢＭが設けられ、メインブロックＢＭの左右両方向に各４個ずつのサブブロックＢＳ１〜ＢＳ４及びＢＳ５〜ＢＳ８が設けられる。例えば、メインブロックＢＭは、幅２４０画素×高さ２００画素の画像成分を含むように構成され、各サブブロックＢＳ１〜ＢＳ８は幅１６画素×高さ２００画素の画像成分を含むように構成される。
【０１６８】
図１７の合焦評価領域Ｒでは、被写体が初期状態から移動しない場合、合焦度合いを評価する際の評価対象領域が、メインブロックＢＭと４個のサブブロックＢＳ３，ＢＳ４，ＢＳ５，ＢＳ６とによって規定される領域となる。その状態から被写体が右方向に１６画素移動したことが検出された場合には、評価対象領域はメインブロックＢＭと４個のサブブロックＢＳ４，ＢＳ５，ＢＳ６，ＢＳ７とによって規定される領域となる。さらに、初期状態から被写体が右方向に３２画素移動したことが検出された場合には、評価対象領域はメインブロックＢＭと４個のサブブロックＢＳ５，ＢＳ６，ＢＳ７，ＢＳ８とによって規定される領域となる。
【０１６９】
これに対し、初期状態から被写体が左方向に１６画素移動したことが検出された場合には、評価対象領域はメインブロックＢＭと４個のサブブロックＢＳ２，ＢＳ３，ＢＳ４，ＢＳ５とによって規定される領域となる。さらに、初期状態から被写体が左方向に３２画素移動したことが検出された場合には、評価対象領域はメインブロックＢＭと４個のサブブロックＢＳ１，ＢＳ２，ＢＳ３，ＢＳ４とによって規定される領域となる。
【０１７０】
そして評価値演算部３２は被写体の合焦度合いを評価するために、上記のようにして決定される評価対象領域について評価値を算出する。また、評価値演算部３２は各サブブロックＢＳ１〜ＢＳ８のそれぞれについて、被写体の移動検出を行うための評価値を算出する。
【０１７１】
評価値演算部３２は、評価対象領域について評価値を算出する際には、合焦位置近傍において撮影レンズ１０の駆動に伴う変化度合いが小さい評価値ＶＡと、撮影レンズ１０の駆動に伴う変化度合いが大きい評価値ＶＢとの双方を求める。これにより、合焦位置検出部３５は、合焦位置ＦＰに対する撮影レンズ１０の位置関係に応じて最適な評価値を参照して合焦度合いを評価することが可能である。
【０１７２】
また、評価値演算部３２は、各サブブロックＢＳ１〜ＢＳ８について、被写体の移動に関する評価値を求める際には、撮影レンズ１０の駆動に伴う変化度合いが小さい評価値ＶＡのみを求めればよい。それにより、合焦評価領域Ｒにおいて中心部分を除いた周辺部分の評価値を得ることができ、第１の実施の形態で説明したのと同様の手法によって被写体の移動を検出することが可能である。なお、各サブブロックＢＳ１〜ＢＳ８については、同一演算が適用されて評価値が算出される。
【０１７３】
ここで、サブブロックＢＳ１について得られる評価値ＶＡのうち、前回のレンズ位置において得られるものを評価値ＶＡ１（ＢＳ１）とし、今回のレンズ位置において得られるものを評価値ＶＡ２（ＢＳ１）とする。サブブロックＢＳ２について得られる評価値ＶＡのうち、前回のレンズ位置において得られるものを評価値ＶＡ１（ＢＳ２）とし、今回のレンズ位置において得られるものを評価値ＶＡ２（ＢＳ２）とする。以下同様に、サブブロックＢＳ３〜ＢＳ８のそれぞれについて得られる前回及び今回のレンズ位置において得られる評価値を規定する。
【０１７４】
移動検出部３３は、各ブロックＢＳ１〜ＢＳ８より前回得られた評価値ＶＡ１（ＢＳ１）〜ＶＡ１（ＢＳ８）と、今回得られた評価値ＶＡ２（ＢＳ１）〜ＶＡ２（ＢＳ８）とに基づいて、合焦評価領域Ｒにおいて中央部分を除いた周辺部分について被写体の移動を検出する。
【０１７５】
各レンズ位置において得られる評価値ＶＡを隣接するサブブロック間で差分をとると、合焦評価領域Ｒ内の周辺部分における評価値の移動が検出可能である。つまり、各レンズ位置において得られる評価値ＶＡを隣接するサブブロック間で差分することにより得られる差分値が、合焦評価領域Ｒの周辺部分についての被写体の移動に関する指標値となり、その指標値に基づいて被写体の相対的な移動が検出される。
【０１７６】
例えば、評価値ＶＡ１（ＢＳ１）とＶＡ２（ＢＳ２）との差分が小さくなれば、前回のレンズ位置においてサブブロックＢＳ１に含まれていた被写体は今回のレンズ位置においてサブブロックＢＳ２に含まれることになり、被写体が右方向に１６画素移動したことになる。また、評価値ＶＡ１（ＢＳ２）とＶＡ２（ＢＳ１）との差分が小さくなれば、前回のレンズ位置においてサブブロックＢＳ２に含まれていた被写体は今回のレンズ位置においてサブブロックＢＳ１に含まれることになり、被写体が左方向に１６画素移動したことになる。さらに、評価値ＶＡ１（ＢＳ１）とＶＡ２（ＢＳ１）との差分が小さくなれば、前回のレンズ位置においてサブブロックＢＳ１に含まれていた被写体は今回のレンズ位置においてもサブブロックＢＳ１に含まれることになり、レンズ駆動の間における被写体の移動はなかったものと考えられる。
【０１７７】
同様に他の隣接サブブロック間でも同様のことが言えるため、移動検出部３３は、
【０１７８】
【数１０】

【０１７９】
の演算を行うことにより、第１の実施の形態で説明したものと同様の特性を示す相関値ＭＲ１，ＭＶ０，ＭＬ１のそれぞれを算出することができる。
【０１８０】
すなわち、相関値ＭＲ１は被写体が右方向に１６画素分移動したことを検出するための相関値であり、相関値ＭＬ１は被写体が左方向に１６画素分移動したことを検出するための相関値である。また、相関値ＭＶ０は被写体の移動がないことを検出するための相関値である。そして、本実施形態のように合焦評価領域Ｒの中央部分となるメインブロックＢＭの周辺部に、サブブロックＢＳ１〜ＢＳ８を設定することにより、合焦評価領域Ｒの周辺部分について、中央部分の右側と左側とを個別に評価することのできる相関値ＭＲ１，ＭＶ０，ＭＬ１を得ることができる。
【０１８１】
図１８は前回のレンズ位置と今回のレンズ位置との比較対象画像において合焦評価領域Ｒにおける被写体が右方向に移動した場合を示す図であり、図における円形、三角形、四角形は被写体像を模式的に表したものである。図１８に示すように、画像Ｇ１とＧ２との間で被写体が右方向にずれると、合焦評価領域Ｒに含まれる被写体のうち、周辺部分の被写体が各サブブロックに対応する領域を移動することになる。したがって、前回のレンズ位置におけるサブブロックＢＳ１〜ＢＳ８の評価値ＶＡ１（ＢＳ１）〜ＶＡ１（ＢＳ８）と、今回のレンズ位置におけるサブブロックＢＳ１〜ＢＳ８の評価値ＶＡ２（ＢＳ１）〜ＶＡ２（ＢＳ８）との相関値を求めることにより、合焦評価領域Ｒ内の周辺部における被写体がどのように移動したかを検出することができる。
【０１８２】
そして上記数１０に示すように、合焦評価領域Ｒのサブブロックについてのみ相関値演算を行うことで、合焦評価領域Ｒの周辺部に含まれる被写体の移動のみを評価することができる。このため、移動前後においても中央部分に含まれ、１６画素程度移動しても合焦度合いを評価するための評価値に影響を与えない中央部分の被写体（三角形）は、移動検出の対象から排除されるようになっている。
【０１８３】
そして図１８に示すように、前回のレンズ位置と今回のレンズ位置との間で被写体が右方向におよそ１６画素移動すると相関値ＭＲ１は最小になる。これに対し、前回のレンズ位置と今回のレンズ位置との間で被写体の移動がなかった場合（あるいは移動量が８画素未満の場合）には相関値ＭＶ０が最小になり、前回のレンズ位置と今回のレンズ位置との間で被写体が左方向におよそ１６画素移動した場合には相関値ＭＬ１が最小になる。
【０１８４】
つまり、移動検出部３３は上記数１０の演算によって得られる相関値ＭＲ１，ＭＶ０，ＭＬ１を比較し、最小値を示す相関値を特定することで被写体の移動を検出するように構成される。
【０１８５】
そして、移動検出部３３は、相関値ＭＲ１が最小であることを検出した場合には、被写体が画像平面内で右方向に移動し、その移動量が１６画素であることを検出する。なお、移動量が１６画素になる理由は、各サブブロックＢＳ１〜ＢＳ８の幅が１６画素であることに起因するものであるので、例えば各サブブロックの幅がＮ画素（ただし、Ｎは任意の整数）である場合には、被写体の移動量はＮ画素となる。
【０１８６】
また、移動検出部３３は、相関値ＭＬ１が最小であることを検出した場合には、被写体が画像平面内で左方向に移動し、その移動量が１６画素であることを検出する。さらに移動検出部３３は、相関値ＭＶ０が最小であることを検出した場合には、被写体が画像平面内で移動しなかったことを検出する。
【０１８７】
なお、上述した説明では、前回のレンズ位置において得られた評価値と今回のレンズ位置において得られた評価値とに基づいて被写体の移動を検出する場合を示しているが、上記のようにＣＣＤ撮像素子１１から時間的に連続して得られる２つの画像間で被写体の移動を検出することにより、２つの比較対照画像間での撮影レンズ１０の移動量が最小の状態で被写体の移動検出を行うことができるので、比較対照画像間でのピント差が最小になり、移動検出の際の誤検出の可能性を低減することが可能である。
【０１８８】
また、本実施の形態においても、信頼性評価部３３１が機能し、移動検出部３３において上記のようにして検出された被写体の移動が正確であるか否かを検証するように構成される。つまり、移動検出部３３によって被写体が右方向又は左方向に１６画素移動したことが検出された場合、信頼性評価部３３１は、第１の実施の形態で説明した演算と同様の演算手法によって、相関値ＭＶ０’，ＭＲ１’，ＭＲ２又はＭＶ０’，ＭＬ１’，ＭＬ２を再演算し、公知の手法である急傾斜延長法による補間演算を行い、それによって得られるパラメータＣ値及びＹＭ値により、信頼性の評価を行うように構成される。
【０１８９】
そして第１の実施の形態と同様に、信頼性の評価が行われることにより、被写体の移動検出における誤検出を低減することができ、正確に被写体の移動を把握することが可能になる。
【０１９０】
なお、その他の動作は第１の実施の形態で説明したものと同様であり、例えばコンティニュアスＡＦモードでは被写体の移動に追従して合焦評価領域Ｒが設定されるように構成される。
【０１９１】
本実施形態のように、合焦評価領域Ｒを構成しても、第１の実施の形態で説明した効果と同様の効果を得ることができる。
【０１９２】
また、第１の実施の形態では、複数のブロックが同一サイズであることから、各ブロックについて評価値を求める際には同一演算を適用できるのに対し、本実施形態では各サブブロックＢＳ１〜ＢＳ８のサイズと、合焦度合いを評価するための評価対象領域のサイズとは異なるサイズであるので、同一演算を適用することはできない。しかし、本実施形態では、評価値を算出するブロック数が第１の実施の形態に比べて増えるが、合焦評価領域Ｒの周辺部分について、中央部分の右側と左側とを個別に判断することにより、第１の実施の形態で説明した複数ブロックＢ１〜Ｂ５を採用する場合よりも被写体の移動検出を正確に行うことができる。
【０１９３】
すなわち、本実施形態においては、合焦評価領域Ｒが、中央部分に対応して設けられるメインブロックＢＭと、周辺部分に対応して設けられる複数のサブブロックＢＳ１〜ＢＳ８とを有しており、移動検出部３３が、複数のサブブロックＢＳ１〜ＢＳ８のそれぞれについて得られる評価値に基づいて、被写体の相対的な移動を検出するように構成されるので、評価対象領域の評価値に影響を与える被写体の移動を正確に検出することができる。その結果、自動合焦制御において良好に被写体の動きを追従することができ、高精度な自動合焦制御が実現される。
【０１９４】
＜３．変形例＞
以上、本発明の実施の形態について説明したが、本発明は上記説明した内容のものに限定されるものではない。
【０１９５】
例えば、上記各実施形態においては、画像平面の水平方向に対する被写体の移動検出を行う場合を例示したが、これに限定されるものではない。すなわち、第１の実施の形態における複数ブロックの配置方向を縦方向（垂直方向）としたり、第２の実施の形態における複数のサブブロックの配置方向を縦方向（垂直方向）とすることにより、画像平面において被写体が縦方向に移動した場合にそれを検出することが可能である。
【０１９６】
さらに、第１の実施の形態における複数ブロックを縦横の双方に２次元配置したり、第２の実施の形態における複数のサブブロックを縦横の双方に２次元配置することにより、画像平面において被写体がどのように移動してもそれを追従することが可能になる。
【０１９７】
図１９は、第１の実施の形態のように同一サイズのブロックを複数配置する場合の配置例を示す図であり、各ブロックの中心点の配置のみを示している。
【０１９８】
図１９（ａ）は第１の実施の形態にて説明したものであり、横方向に５つのブロックＢ１〜Ｂ５が所定画素数ずつずらされて配置される。このため、図１９（ａ）のブロック配置によれば、被写体が横方向に移動した場合にそれを検出することができる。この場合、各ブロックＢ１〜Ｂ５の隣接するブロック間で評価値の差分を用いて水平方向の被写体の移動を検出し、評価対象領域を被写体の移動に追従させるとともに、合焦評価領域Ｒの位置を移動させることが可能である。
【０１９９】
図１９（ｂ）は５つのブロックＢ１〜Ｂ５が所定画素数ずつずらされて垂直方向に配置される場合を示している。この場合、各ブロックＢ１〜Ｂ５の隣接するブロック間で評価値の差分を用いて垂直方向の被写体の移動を検出し、評価対象領域を被写体の移動に追従させるとともに、合焦評価領域Ｒの位置を移動させることが可能である。
【０２００】
さらに、図１９（ｃ）は１３個のブロックＢ１〜Ｂ１３が所定画素数ずつずらされて２次元配置される場合を示している。この場合、水平方向に配置される５つのブロックＢ１〜Ｂ５の隣接するブロック間で評価値の差分を用いて水平方向の被写体の移動を検出することができるとともに、垂直方向に配置される５つのブロックＢ６，Ｂ７，Ｂ３，Ｂ８，Ｂ９の隣接するブロック間で評価値の差分を用いて垂直方向の被写体の移動を検出することができる。そして、画像平面において被写体が斜め方向に移動すると、水平方向及び垂直方向の双方で同時に被写体の移動が検出される。この場合、被写体の移動方向に応じて、中心ブロックＢ３からみて斜めの位置にあるブロックＢ１０〜Ｂ１３のうちのいずれかを評価対象領域として選択することで、被写体の移動に追従させることができる。また、被写体の移動方向に応じて、合焦評価領域Ｒの位置を斜めに移動させることで、被写体を追従することも可能である。
【０２０１】
なお、上記においては、デジタルカメラを例示して説明したが、上述した技術はデジタルスチルカメラ及びデジタルビデオカメラのいずれに対しても適用可能である。また、デジタルカメラ以外の撮像装置でも、電気的画像信号を取得することが可能なものであれば、上述した技術を適用することが可能である。
【０２０２】
【発明の効果】
以上説明したように、請求項１に記載の発明によれば、被写体の合焦度合いを評価するために、撮影レンズの駆動に伴う変化度合いが小さい第１の評価値と、第１の評価値よりも撮影レンズの駆動に伴う変化度合いが大きい第２の評価値とが求められ、そのうち第１の評価値を用いて、撮影レンズの駆動前後における画像平面での被写体の移動を検出するように構成されるので、撮影レンズの駆動前後におけるデフォーカス量の変化が小さい状態で、被写体の移動を検出することができる。その結果、被写体の移動検出における誤検出を低減することが可能である。
【０２０３】
請求項２に記載の発明によれば、第１の評価値が、画像信号に対してそれぞれ異なる特性を有する複数のバンドパスフィルタが適用されて得られる値のうち、最も広い周波数帯域を示すバンドパスフィルタが適用されて得られる値であるので、被写体の移動検出における誤検出を少なくすることが可能である。
【０２０４】
請求項３に記載の発明によれば、第１の評価値が、画像信号から近接画素間での差分絶対値が求められ、差分絶対値が画像信号の所定領域について積分された値であるので、被写体の移動検出における誤検出を少なくすることが可能である。
【０２０５】
請求項４に記載の発明によれば、被写体の移動検出結果についての信頼性を評価するように構成され、その信頼性が低いと判断される場合には、被写体の移動はないものと判定されるので、誤検出をさらに適切に防止することができる。
【０２０６】
請求項５に記載の発明によれば、被写体の移動検出結果に基づいて画像信号に対する合焦評価領域を変更するように構成されるため、被写体の合焦度合いの評価は、被写体の移動に追従して行われることとなり、常に適切な自動合焦制御が実現される。
【図面の簡単な説明】
【図１】デジタルカメラの構成を示すブロック図である。
【図２】ＣＣＤ撮像素子から得られる画像を示す図である。
【図３】合焦評価領域の一構成例を示す図である。
【図４】バンドパスフィルタの周波数特性を示す図である。
【図５】合焦位置近傍における第１及び第２の評価値を示す図である。
【図６】合焦評価領域の周辺部の領域を示す図である。
【図７】第１の実施の形態において被写体が右方向に移動した場合を示す図である。
【図８】被写体が右方向に移動したことが検出された場合の相関値と移動量との関係を示す図である。
【図９】被写体が左方向に移動したことが検出された場合の相関値と移動量との関係を示す図である。
【図１０】デジタルカメラの内部動作におけるタイミングチャートである。
【図１１】被写体の移動検出に伴う合焦評価領域の状態を示す図である。
【図１２】コンティニュアスＡＦモードにおける合焦評価領域の状態を示す図である。
【図１３】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図１４】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図１５】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図１６】自動合焦制御を行う際の処理シーケンスを示すフローチャートである。
【図１７】第２の実施の形態における合焦評価領域の構成を示す図である。
【図１８】第２の実施の形態において被写体が右方向に移動した場合を示す図である。
【図１９】複数ブロックの配置に関する変形例を示す図である。
【符号の説明】
１　デジタルカメラ（撮像装置）
１０　撮影レンズ
１１　ＣＣＤ撮像素子（撮像手段）
３０　自動合焦制御部
３１　合焦評価領域設定部
３２　評価値演算部（評価値演算手段）
３３　移動検出部（移動検出手段）
３４　移動予測部
３５　合焦位置検出部
３６　レンズ制御部
３３１　信頼性評価部（信頼性評価手段）
Ｒ　合焦評価領域
Ｂ１〜Ｂ５　ブロック
ＢＭ　メインブロック
ＢＳ１〜ＢＳ８　サブブロック[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an imaging device such as a digital camera.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, as an auto-focusing (auto-focusing) technique in an imaging device such as a digital camera, there is a technology that focuses on an area of an image and obtains an evaluation value such as contrast from the area to evaluate the degree of focusing of a subject. Are known. In this case, the photographing lens is driven stepwise to detect the lens position at which the evaluation value becomes maximum, thereby specifying the lens position at which the subject image is in focus and performing autofocus. . In such a technique, in order to accurately evaluate the in-focus state of the subject, it is desired to use an evaluation value having a relatively large degree of change accompanying the driving of the taking lens.
[0003]
When performing autofocus, the subject may move in the image plane during the autofocus operation due to camera shake, subject shake, or the like. For this reason, conventionally, the movement of the subject is also detected by detecting the movement of the area where the evaluation value shows the maximum value in the image plane. In the movement detection using the evaluation value for autofocus, in order to accurately detect the movement of the subject in the image plane, the movement detection is performed between images for evaluating the movement of the subject due to factors other than the movement of the subject. It is desired that the image change is small.
[0004]
[Problems to be solved by the invention]
However, since the above-described movement detection is configured to detect the movement of the subject in the image plane using the evaluation value for autofocus, the driving of the photographing lens is performed between the images for evaluating the movement of the subject. That is, the movement of the subject is detected with images having different defocus amounts. Therefore, in the conventional movement detection, a large change in the evaluation value due to a change in the defocus amount occurs as a factor other than the movement of the subject, and there is a problem that the movement of the subject is likely to be erroneously detected.
[0005]
The present invention has been made in view of the above problems, and has as its object to provide an imaging apparatus that detects a movement of a subject using an evaluation value for autofocus and that has a small number of erroneous detections. .
[0006]
[Means for Solving the Problems]
In order to achieve the above object, the invention according to claim 1 evaluates the degree of focusing of a subject based on an image signal obtained from an imaging unit, and drives a shooting lens to change the focusing state of the subject. An imaging apparatus to be realized, wherein a first evaluation value having a small degree of change associated with driving of the imaging lens is larger than a first evaluation value, the degree of change associated with driving of the imaging lens being larger than the first evaluation value. Evaluation value calculating means for obtaining a second evaluation value; focusing control means for evaluating the degree of focusing of a subject using the first and second evaluation values to drive the photographing lens; Movement detecting means for detecting the movement of the subject on the image plane before and after the driving of the taking lens using the evaluation value of
[0007]
According to a second aspect of the present invention, in the imaging device according to the first aspect, the first evaluation value is a value obtained by applying a plurality of band-pass filters having different characteristics to the image signal. Among them, the value is obtained by applying a band-pass filter indicating the widest frequency band.
[0008]
According to a third aspect of the present invention, in the imaging device according to the first aspect, the first evaluation value is a difference absolute value between adjacent pixels from the image signal, and the difference absolute value is the image value. It is characterized in that it is a value integrated over a predetermined area of the signal.
[0009]
According to a fourth aspect of the present invention, in the imaging device according to any one of the first to third aspects, the image capturing apparatus further includes a reliability evaluation unit that evaluates reliability of a subject movement detection result by the movement detection unit. When the gender evaluation unit determines that the reliability of the subject movement detection result is low, the movement detection unit determines that the subject does not move.
[0010]
According to a fifth aspect of the present invention, in the imaging apparatus according to any one of the first to fourth aspects, the evaluation value calculation unit extracts an image component of a focus evaluation area from the image signal and performs the focus evaluation. The apparatus is configured to obtain the first and second evaluation values from an image component of an area, and changes the focus evaluation area for the image signal based on a detection result of the movement detection unit. I have.
[0011]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0012]
<1. First Embodiment>
FIG. 1 is a block diagram illustrating a configuration of a digital camera 1 according to the present embodiment. The digital camera 1 includes a photographing lens 10, a CCD image sensor 11, an image memory 12, an image processing unit 13, a display unit 14, a recording medium 15, a lens driving unit 16, an operation unit 18 including a shutter button 18a, a control unit 20, and An automatic focusing control unit 30 is provided.
[0013]
Light from a subject is imaged on a CCD image sensor 11 via a photographing lens 10. The photographing lens 10 is driven along the optical axis L by the lens driving unit 16 and is configured to change the degree of focusing of a subject image formed on the CCD image sensor 11.
[0014]
The CCD image sensor 11 generates an image signal relating to the subject by photoelectrically converting the subject image incident via the photographing lens 10. This image signal is converted into digital data by a signal processing unit (not shown) and stored in the image memory 12.
[0015]
When a photographing process for photographing an image for recording is performed in the digital camera 1, an image signal obtained from the CCD image pickup device 11 is given to an image processing unit 13 via an image memory 12, and the image processing unit After a predetermined image processing is performed in 13, the image is output to the display unit 14 or the recording medium 15. The display unit 14 is configured by a liquid crystal display or the like, and by displaying an image on the display unit 14, an image obtained by the photographing process can be confirmed. Further, the recording medium 15 is configured by a memory card or the like, and by recording an image on the recording medium 15, an image obtained by the photographing process can be stored.
[0016]
On the other hand, when automatic focusing (autofocus) control is performed in the digital camera 1, an image signal obtained from the CCD imaging device 11 is given to the automatic focusing control unit 30 via the image memory 12.
[0017]
The automatic focus control unit 30 includes a focus evaluation area setting unit 31, an evaluation value calculation unit 32, a movement detection unit 33, a movement prediction unit 34, a focus position detection unit 35, and a lens control unit 36. A so-called hill-climbing method realizes a focused state of the subject image. That is, the automatic focusing control unit 30 drives the photographing lens 10 at a predetermined pitch, for example, six times in the vicinity of the focusing position, and calculates an evaluation value for automatic focusing from an image signal obtained from the CCD image sensor 11 at each lens position. calculate. Then, the lens position at which the evaluation value indicates the maximum value is specified as the in-focus position, and the photographing lens 10 is driven to the in-focus position, thereby realizing the in-focus state of the subject image. In addition, the automatic focusing control unit 30 is configured to detect the movement of the subject in the image plane, and to set the focus evaluation area in accordance with the movement of the subject when the subject moves in the image plane. Is composed of
[0018]
The automatic focusing control performed by the automatic focusing control unit 30 includes an operation of driving the photographing lens 10 after specifying the in-focus position to realize the in-focus state of the subject image, and thereafter performing no lens driving. Even after realizing the mode (one-shot AF mode) and the in-focus state of the subject image, it is possible to cope with a dynamic subject by repeatedly executing the driving of the photographing lens 10 and the detection of the focus position. Operation mode (continuous AF mode). Which of these operation modes performs the automatic focusing control is determined according to the setting by the user.
[0019]
The automatic focusing control is started, for example, when the shutter button 18a is half-pressed by the user. In the one-shot AF mode, the photographing lens 10 is fixed by one automatic focusing control, whereas in the continuous AF mode, the automatic focusing is repeatedly performed while the shutter button 18a is half-pressed. Focus control is performed. Then, when the shutter button 18a is fully pressed by the user, a shooting process for recording an image is performed.
[0020]
Hereinafter, a specific operation in the automatic focusing control unit 30 will be described.
[0021]
The focus evaluation area setting unit 31 sets a focus evaluation area for an image obtained from the CCD image sensor 11, and extracts an image component corresponding to the focus evaluation area. FIG. 2 is a diagram showing an image 100 obtained from the CCD image sensor 11. The image 100 obtained from the CCD image sensor 11 has an image size corresponding to the number of pixels of the CCD image sensor 11. For this image 100, the focus evaluation area setting unit 31 sets a focus evaluation area R for evaluating the focus state of the main subject included in the image 100. In the initial state, the focus evaluation area R is set substantially at the center of the image 100. When the movement of the subject in the image plane is detected and the focus evaluation area R needs to be moved, the focus evaluation area R is set according to the moving amount of the subject.
[0022]
The focus evaluation area R is configured to be divided into a plurality of blocks in order to detect the movement of the subject in the image plane. FIG. 3 is a diagram illustrating a configuration example of the focus evaluation area R.
[0023]
In the focus evaluation area R shown in FIG. 3, a plurality of blocks B1 to B5 having the same size are arranged in a state shifted by a predetermined number of pixels in the horizontal direction. For example, each of the blocks B1 to B5 has a size of 324 pixels in width × 200 pixels in height, and is displaced by 16 pixels in the horizontal direction. Therefore, the blocks B1 to B5 are partially overlapped, in other words, the arrangement is such that the blocks B1 to B5 overlap at the center of the focus evaluation area R.
[0024]
When the subject does not move from the initial state, the evaluation target area when evaluating the degree of focusing is the area defined by the block B3. If it is detected from this state that the subject has moved 16 pixels to the right, the evaluation target area becomes the area defined by the block B4, and the evaluation target area moves 16 pixels to the right. On the other hand, when it is detected that the subject has moved leftward by 16 pixels from the initial state, the evaluation target area becomes the area defined by the block B2, and the evaluation target area moves leftward by 16 pixels.
[0025]
The focus evaluation area setting unit 31 extracts the image components corresponding to the blocks B1 to B5 from the image obtained from the CCD image sensor 11, and outputs the extracted image components to the evaluation value calculation unit 32.
[0026]
The evaluation value calculation unit 32 obtains an evaluation value for evaluating the degree of focusing from the image components of the blocks B1 to B5. At this time, the evaluation value calculation unit 32 determines that the first evaluation value VA having a small degree of change accompanying the driving of the imaging lens 10 near the in-focus position and the degree of change associated with the driving of the imaging lens being smaller than the first evaluation value. A large second evaluation value VB is obtained.
[0027]
For example, the evaluation value calculation unit 32 is configured to extract the high-frequency components of the image components in each of the blocks B1 to B5, thereby obtaining an evaluation value indicating the maximum value at the in-focus position. To the blocks B1 to B5 by applying two types of filters, a first bandpass filter having a wide frequency band and a second bandpass filter having a narrower frequency band than the first bandpass filter. Filter the components.
[0028]
FIG. 4 is a diagram illustrating frequency characteristics of the first bandpass filter BPF1 and the second bandpass filter BPF2. As shown in FIG. 4, the first bandpass filter BPF1 detects more low frequency components than the second bandpass filter BPF2. Therefore, the evaluation value VA obtained by performing the filter processing by the first band-pass filter BPF1 is closer to the focusing position than the evaluation value VB obtained by performing the filter processing by the second band-pass filter BPF2. The degree of change accompanying the driving of No. 10 is reduced.
[0029]
FIG. 5 is a diagram showing first and second evaluation values near the focus position. The photographing lens 10 is driven six times near the focusing position FP, and the first evaluation value VA and the second evaluation value VB obtained at each of the lens positions P1 to P6 are as shown in FIG. That is, in the vicinity of the focus position FP, the first evaluation value VA has a smaller degree of change in the evaluation value associated with lens driving, whereas the second evaluation value VB has a degree of change in the evaluation value associated with lens driving. Becomes larger.
[0030]
Therefore, in order to accurately specify the focus position FP from the evaluation values obtained at the respective lens positions P1 to P6 while driving the photographing lens 10 at a predetermined pitch, it is necessary to use the second evaluation value VB. Is preferred.
[0031]
However, as shown in FIG. 5, when the lens position of the taking lens 10 is away from the in-focus position FP by a certain value or more, the degree of change accompanying the driving of the taking lens 10 is reversed. That is, when the photographing lens 10 is separated from the in-focus position FP by a certain amount or more, the degree of change accompanying the driving of the photographing lens is larger for the first evaluation value VA than for the second evaluation value VB. Therefore, in general, in the automatic focusing control, the two types of evaluation values VA and VB as described above are obtained, and when the photographic lens 10 is located far from the focusing position FP, the focusing is performed using the first evaluation value VA. The direction of the focus position FP is specified, and when the photographing lens 10 is located near the focus position FP, the position of the focus position FP is specified with high accuracy using the second evaluation value VB. Is done.
[0032]
Also, the first and second evaluation values VA and VB can be obtained by a method other than using the band-pass filters BPF1 and BPF2 having different frequency characteristics as described above. For example, the evaluation value calculation unit 32 obtains a difference absolute value and a difference square value between adjacent pixels from the image components in each of the blocks B1 to B5, and integrates (accumulates and adds) the blocks B1 to B5. The two evaluation values VA and VB may be obtained. In this case, in the image components of each of the blocks B1 to B5, for example, a difference in pixel value between two pixels separated by 3 pixels in the horizontal direction is obtained, and an absolute value and a square value of the difference value are obtained. This is performed for all the pixels included in each block, and the absolute value of the difference is cumulatively added (integrated) to obtain a first evaluation value VA with a small degree of change due to lens driving near the focus position FP. The second evaluation value VB having a large degree of change due to lens driving may be obtained by cumulatively adding (integrating) the square values.
[0033]
Further, the first and second evaluation values VA and VB may be obtained by a method other than these.
[0034]
The evaluation value calculation unit 32 obtains two types of evaluation values VA and VB for evaluating the degree of focusing from the image components of the blocks B1 to B5 for each of the blocks B1 to B5 as described above and detects the movement. To the unit 33.
[0035]
When the movement detection unit 33 inputs two types of evaluation values VA and VB calculated based on the image obtained from the CCD image sensor 11 at each of the lens positions P1 to P6, the evaluation that the degree of change accompanying the driving of the photographing lens 10 is small. The movement of the subject in the image plane is detected using the value VA. That is, since the movement of the subject in the image plane is detected using the evaluation value VA having a small degree of change due to the driving of the photographing lens 10, the possibility of erroneously detecting the movement of the subject is reduced. It is configured as follows.
[0036]
Hereinafter, the operation of the movement detection unit 33 will be described in detail.
[0037]
When the photographic lens 10 is at each of the lens positions P1 to P6, the movement detection unit 33 receives an evaluation value obtained for each of the blocks B1 to B5. The movement detection unit 33 is configured to detect the movement of the subject in the image plane by comparing the evaluation value obtained at the previous lens position with the evaluation value obtained at the current lens position.
[0038]
Here, among the evaluation values VA obtained for the block B1, those obtained at the previous lens position are referred to as evaluation values VA1 (B1), and those obtained at the current lens position are referred to as evaluation values VA2 (B1). Of the evaluation values VA obtained for the block B2, those obtained at the previous lens position are referred to as evaluation values VA1 (B2), and those obtained at the current lens position are referred to as evaluation values VA2 (B2). Similarly, evaluation values obtained at the previous and current lens positions obtained for each of the blocks B3 to B5 are similarly defined.
[0039]
The movement detection unit 33 calculates a sum based on the evaluation values VA1 (B1) to VA1 (B5) obtained last time from the blocks B1 to B5 and the evaluation values VA2 (B1) to VA2 (B5) obtained this time. In the focus evaluation area R, the movement of the subject is detected in a peripheral part excluding the central part.
[0040]
If the difference between the evaluation values VA obtained at each lens position is calculated between adjacent blocks, the influence of the central portion of the focus evaluation region R is almost canceled, and the peripheral portion within the focus evaluation region R is removed. The evaluation value H is obtained. That is, for the evaluation value VA1 obtained at the previous lens position,
[0041]
(Equation 1)

[0042]
By performing the following calculation, the evaluation values H11 to H14 of the peripheral portion can be obtained from the evaluation value VA1 obtained at the previous lens position.
[0043]
FIG. 6 is a diagram illustrating the focus evaluation region R, and is a diagram illustrating a peripheral region obtained by the above calculation. 6A is a region corresponding to the evaluation value H11, a hatched region in FIG. 6B is a region corresponding to the evaluation value H12, and a hatched region in FIG. 6C is the evaluation value H13. , And the shaded area in FIG. 6D is an area corresponding to the evaluation value H14.
[0044]
Similarly, for the evaluation value VA2 obtained at the current lens position,
[0045]
(Equation 2)

[0046]
By performing the following calculation, the evaluation values H21 to H24 of the peripheral portion can be obtained from the evaluation value VA2 obtained at the current lens position. Also in this case, the hatched area in FIG. 6A is an area corresponding to the evaluation value H21, the hatched area in FIG. 6B is an area corresponding to the evaluation value H22, and the hatched area in FIG. Is an area corresponding to the evaluation value H23, and a hatched area in FIG. 6D is an area corresponding to the evaluation value H24.
[0047]
The movement detection unit 33 performs the calculation as shown in the above equations 1 and 2 to obtain the total of the evaluation value VA1 obtained for the previous lens position and the evaluation value VA2 obtained for the current lens position. In the focus evaluation area R, an evaluation value of a peripheral part excluding a central part is obtained. Then, the peripheral part evaluation values H11 to H14 obtained for the previous lens position and the peripheral part evaluation values H21 to H24 obtained for the current lens position are used as index values for evaluating the movement of the subject in the image plane. Used.
[0048]
FIG. 7 is a diagram showing a case where the subject in the focus evaluation area R moves rightward in the image to be compared between the previous lens position and the current lens position, and circles, triangles, and squares in the figure schematically represent the subject image. It is a representation. As shown in FIG. 7, when the subject shifts rightward between the images G1 and G2, among the subjects included in the focus evaluation area R, the peripheral subject is set to an area corresponding to each peripheral evaluation value. Will move. In this case, if the evaluation target area adopted at the previous lens position is also adopted at the current lens position, the evaluation value will change due to the movement of the subject.
[0049]
On the other hand, among the subjects included in the focus evaluation area R, the subject (triangle) at the center is included in the center before and after the movement. For this reason, in the central part of the focus evaluation area R, the evaluation value of the evaluation target area does not change even if the subject moves.
[0050]
When evaluating the degree of focus of the subject, factors that change the evaluation value other than the focus difference include a case where a new subject enters the evaluation target area and a case where the subject is not included in the evaluation target area. In such a case, the movement of the subject appears around the focus evaluation area R.
[0051]
Therefore, in the present embodiment, the evaluation value of the peripheral portion excluding the central portion in the focus evaluation area R is adopted as an index value for evaluating the moving-in / out operation of the subject with respect to the focus evaluation area R, and the focus evaluation area R is used. It is configured to appropriately detect the movement of the subject by evaluating the evaluation value of the peripheral portion of the region R. In other words, by determining a correlation value between the peripheral evaluation values H11 to H14 at the previous lens position and the peripheral evaluation values H21 to H24 at the current lens position, the subject in the peripheral evaluation within the focus evaluation area R is determined. So that it has moved.
[0052]
As a correlation value for detecting the movement of the subject, the movement detection unit 33 includes a correlation value MR1 for detecting movement in the right direction, a correlation value MV0 for detecting that there is no movement, and a left direction. And a correlation value ML1 for detecting the movement to are calculated.
[0053]
That is, the movement detection unit 33
[0054]
[Equation 3]

[0055]
, The respective correlation values MR1, MV0, ML1 are calculated. The correlation value MR1 is a correlation value for detecting that the subject has moved 16 pixels to the right, and the correlation value ML1 is a correlation value for detecting that the subject has moved 16 pixels to the left. Further, the correlation value MV0 is a correlation value for detecting that the subject does not move.
[0056]
As shown in FIG. 7, when the subject moves approximately 16 pixels to the right between the previous lens position and the current lens position, the correlation value MR1 becomes minimum. On the other hand, if the subject has not moved between the previous lens position and the current lens position (or the movement amount is less than 8 pixels), the correlation value MV0 becomes minimum, and When the subject moves by about 16 pixels to the left between the current lens position, the correlation value ML1 becomes minimum.
[0057]
That is, the movement detection unit 33 is configured to detect the movement of the subject by comparing the correlation values MR1, MV0, and ML1 obtained by the calculation of Expression 3 and specifying the correlation value indicating the minimum value.
[0058]
Then, when detecting that the correlation value MR1 is the minimum, the movement detection unit 33 detects that the subject moves rightward in the image plane and that the movement amount is 16 pixels. The movement amount is 16 pixels because the arrangement of each block is shifted by 16 pixels in the horizontal direction. For example, the arrangement of each block is N pixels in the horizontal direction (however, In the case of a configuration shifted by N (an arbitrary integer), the movement amount of the subject is N pixels.
[0059]
When detecting that the correlation value ML1 is minimum, the movement detection unit 33 detects that the subject moves leftward in the image plane and that the movement amount is 16 pixels. Further, when detecting that the correlation value MV0 is the minimum, the movement detection unit 33 detects that the subject has not moved in the image plane.
[0060]
In the above description, the case where the movement of the subject is detected based on the evaluation value obtained at the previous lens position and the evaluation value obtained at the current lens position is shown. By detecting the movement of the subject between two images obtained successively in time from the image sensor 11, the movement of the subject can be detected in a state where the movement amount of the taking lens 10 between the two comparative images is minimum. Since it can be performed, the focus difference between the comparative images is minimized, and the possibility of erroneous detection during movement detection can be reduced.
[0061]
Further, in the above description, for simplicity of description, the case where peripheral portion evaluation values H11 to H14 and H21 to H24 are calculated from the evaluation values VA1 and VA2 has been exemplified. If an arithmetic expression obtained by substituting Expressions 1 and 2 into the expression is registered, the movement detection unit 33 directly obtains the correlation values MR1, MV0, and ML1 from the evaluation value input from the evaluation value operation unit 32. It is possible.
[0062]
Next, the movement detection unit 33 is provided with a reliability evaluation unit 331, and the reliability evaluation unit 331 verifies whether the movement of the subject detected as described above is accurate.
[0063]
As described above, among the two types of evaluation values, when the movement of the subject is detected, the evaluation value having a small degree of change due to lens driving is used, so that erroneous detection during movement detection can be reduced. If an image component having a very high spatial frequency and contrast is included in the peripheral portion of the focus evaluation area R, there is a possibility that the movement of the subject is erroneously detected due to a change in the evaluation value accompanying the driving of the photographing lens 10. I do.
[0064]
Also, when a plurality of subjects each showing a different motion are included in the peripheral portion of the focus evaluation area R, or when an image with a very low contrast such as a white wall or the sky is included, the subject is not affected. There is a possibility of erroneously detecting movement.
[0065]
Therefore, the reliability evaluation unit 331 verifies whether or not the movement of the subject detected as described above is accurate in order to prevent the erroneous detection as described above. Specifically, when the movement detection unit 33 detects that the subject has moved 16 pixels in the right or left direction, the reliability evaluation unit 331 performs an interpolation operation using a known steep extension method. Then, the reliability is evaluated based on the parameter C value and the YM value obtained thereby.
[0066]
In order to perform the interpolation calculation by the steep extension method, the reliability evaluation unit 331 recalculates the correlation value for detecting the movement of the subject.
[0067]
First, a case where the movement detection unit 33 detects that the subject has moved 16 pixels to the right will be described. If the subject has moved 16 pixels to the right, the reliability evaluation unit 331 determines
[0068]
(Equation 4)

[0069]
The correlation values MV0 ', MR1', and MR2 are obtained by performing an operation based on. The correlation value MR2 is a correlation value for detecting a movement amount for 32 pixels, and the correlation values MR1 'and MV0' are recalculated to make them comparable with the correlation value MR2.
[0070]
When the relationship between the correlation value MV0 ′ and the correlation value MR1 ′ becomes a relationship of MV0 ′ <MR1 ′ by the recalculation based on the expression of Expression 4, the relationship of MR1 <MV0 detected by the movement detection unit 33 is satisfied. The relationship is reversed. For this reason, the moving amount of the subject is considered to be about 8 pixels in the right direction. In the present embodiment, this is rounded down to zero. That is, despite the fact that the correlation value MR1 is detected to be the smallest in the movement detection unit 33, the reliability evaluation unit 331 recalculates the correlation value. As a result, the relationship MV0 '<MR1' is obtained. In this case, it is determined that the subject has not moved, and the moving amount is determined to be 0.
[0071]
Further, when the correlation value recalculation does not cause an inversion phenomenon in the correlation value relationship, that is, when the relationship of MV0 ′> MR1 ′ is obtained, the interpolation calculation by the steep extension method is performed to improve the reliability. Perform an evaluation.
[0072]
FIG. 8 is a diagram illustrating a relationship between the correlation value and the movement amount when the movement detection unit 33 detects that the subject has moved 16 pixels to the right. When the relationship of MV0 '>MR1' is obtained, the correlation values MV0 ', MR1', and MR2 are different from those of the relationship "MR1 '<MV0'<MR2" and those of "MR1 '<MV0' and MR2 <MV0 '. In some cases. FIG. 8B shows a case where a relationship “MR1 ′ <MV0 ′ <MR2” is shown, and FIG. 8A shows an example where a relationship “MR1 ′ <MV0 ′ and MR2 <MV0 ′” is shown. Is shown.
[0073]
When the correlation values MV0 ', MR1', and MR2 obtained by the recalculation are in the state shown in FIG. 8A, the parameters C and YM are calculated by the steep extension method. The steep extension method sets a steepest straight line passing through two of the three points and a straight line passing through another point and having a sign different from that of the steep straight line. This is a method to find the intersection. That is, as shown in FIG. 8A, a straight line 110 passing through the correlation value MV0 ′ and the correlation value MR1 ′ is set, and a straight line 111 having a slope different in sign from the slope of the straight line 110 passes through the correlation value MR2. Set as follows. At this time, the difference between the correlation value MV0 'and the correlation value MR1' is the parameter C, and the height of the intersection between the straight line 110 and the straight line 111 is the parameter YM. In the case of FIG. 8A, the parameters C and YM are
[0074]
(Equation 5)

[0075]
Can be determined by:
[0076]
Also, when the correlation values MV0 ', MR1', and MR2 obtained by the recalculation are in the state shown in FIG. 8B, the parameters C and YM are calculated by the steep extension method. That is, as shown in FIG. 8B, a straight line 121 passing through the correlation value MR1 ′ and the correlation value MR2 is set, and a straight line 120 having a slope different from the slope of the straight line 121 and the sign passes through the correlation value MV0 ′. Set. At this time, the difference between the correlation value MR2 and the correlation value MR1 'is the parameter C, and the height of the intersection between the straight line 120 and the straight line 121 is the parameter YM. In the case of FIG. 8B, the parameters C and YM are
[0077]
(Equation 6)

[0078]
Can be determined by:
[0079]
Then, the reliability evaluation unit 331 evaluates the reliability of the subject having moved 16 pixels to the right using the parameters C and YM obtained as described above. Specifically, when the parameter C is larger than the predetermined value TH1 and the parameter YM / C is smaller than the predetermined value TH2, it is determined that the reliability of the movement detection result of the subject is high. Therefore, the relationship of C> TH1 and YM / C <TH2 is an evaluation condition for determining that the reliability is high. When the evaluation condition is satisfied, the subject moves rightward in the image plane, and It is determined that the movement amount is 16 pixels.
[0080]
If the evaluation condition is not satisfied, it is determined that the reliability of the detection result of the movement of the subject is low, the movement of the subject is determined not to be performed, and the movement amount is determined to be zero. Further, even when the correlation value MR2 is minimized, the reliability of the detection result of the movement of the subject may be determined to be low, and the movement amount may be determined to be zero.
[0081]
Next, a case will be described in which the movement detection unit 33 detects that the subject has moved 16 pixels to the left. When the subject moves 16 pixels to the left, the reliability evaluation unit 331 determines
[0082]
(Equation 7)

[0083]
, The correlation values ML2, ML1 ', MV0' are obtained. The correlation value ML2 is a correlation value for detecting the amount of movement of 32 pixels, and the correlation values ML1 'and MV0' are recalculated to make them comparable with the correlation value MR2.
[0084]
When the relationship between the correlation value MV0 ′ and the correlation value ML1 ′ becomes a relationship MV0 ′ <ML1 ′ by the recalculation based on the equation of Expression 7, the relationship ML1 <MV0 detected by the movement detection unit 33 is satisfied. The relationship is reversed. For this reason, the moving amount of the subject is considered to be about 8 pixels to the left, but in the present embodiment, this is rounded down to 0. That is, despite the fact that the correlation value ML1 is detected to be the smallest in the movement detection unit 33, the re-calculation of the correlation value is performed in the reliability evaluation unit 331. As a result, the relationship MV0 '<ML1' is obtained. In this case, it is determined that the subject has not moved, and the moving amount is determined to be 0.
[0085]
Further, when the correlation value recalculation does not cause a reversal phenomenon in the correlation value relationship, that is, when the relationship of MV0 ′> ML1 ′ is obtained, the interpolation calculation by the steep extension method is performed to improve the reliability. Perform an evaluation.
[0086]
FIG. 9 is a diagram illustrating a relationship between a correlation value and a movement amount when the movement detection unit 33 detects that the subject has moved leftward by 16 pixels. When the relationship of MV0 '>ML1' is obtained, the correlation values MV0 ', ML1', and ML2 are different from those of the relationship of "ML1 '<MV0'<ML2" and those of "ML1 '<MV0' and ML2 <MV0 '. In some cases. FIG. 9A shows a case where the relationship “ML1 ′ <MV0 ′ <ML2” is shown, and FIG. 9B shows an example where a relationship “ML1 ′ <MV0 ′ and ML2 <MV0 ′” is shown. Is shown.
[0087]
When the correlation values MV0 ', ML1', ML2 obtained by the recalculation are in the state as shown in FIG. 9A, the parameters C and YM are calculated by the steep extension method. That is, as shown in FIG. 9A, a straight line 130 passing through the correlation value ML2 and the correlation value ML1 ′ is set, and a straight line 131 having a different sign from the slope of the straight line 130 passes through the correlation value MV0 ′. Set to. At this time, the difference between the correlation value ML2 and the correlation value ML1 'is the parameter C, and the height of the intersection between the straight line 130 and the straight line 131 is the parameter YM. In the case of FIG. 9A, the parameters C and YM are
[0088]
(Equation 8)

[0089]
Can be determined by:
[0090]
Even when the correlation values MV0 ', ML1', and ML2 obtained by the recalculation are in the state shown in FIG. 9B, the parameters C and YM are calculated by the steep extension method. That is, as shown in FIG. 9B, a straight line 141 passing through the correlation value ML1 ′ and the correlation value MV0 ′ is set, and a straight line 140 having a slope different in sign from the slope of the straight line 141 passes through the correlation value ML2. Set to. At this time, the difference between the correlation value MV0 'and the correlation value ML1' is the parameter C, and the height of the intersection between the straight line 140 and the straight line 141 is the parameter YM. In the case of FIG. 9B, the parameters C and YM are
[0091]
(Equation 9)

[0092]
Can be determined by:
[0093]
Then, the reliability evaluation unit 331 evaluates the reliability of the subject having moved leftward by 16 pixels using the parameters C and YM obtained as described above. Specifically, similarly to the case where the rightward movement is detected, when the parameter C is larger than the predetermined value TH1 and the parameter YM / C is smaller than the predetermined value TH2, the result of the movement detection of the subject is determined. It is determined that the reliability is high. Therefore, when the evaluation conditions of C> TH1 and YM / C <TH2 are satisfied, the subject moves to the left in the image plane, and it is determined that the movement amount is 16 pixels.
[0094]
If the evaluation condition is not satisfied, it is determined that the reliability of the detection result of the movement of the subject is low, the movement of the subject is determined not to be performed, and the movement amount is determined to be zero. Further, even when the correlation value ML2 is minimized, the reliability of the detection result of the movement of the subject may be determined to be low, and the movement amount may be determined to be zero.
[0095]
As described above, when the movement detection unit 33 detects the movement of the subject, the reliability evaluation unit 331 evaluates the degree of change in the correlation value by the steep extension method to evaluate the reliability of the movement detection result. When it is determined that the reliability is low, the detection result of the movement detection unit 33 is erroneously detected and is ignored. On the other hand, when it is determined that the reliability is high, the detection result in the movement detection unit 33 is determined to be accurate, and the detection result in the movement detection unit 33 is effectively determined. By performing such a reliability determination, it is possible to satisfactorily prevent the use of the detection result when the movement detection result of the subject in the image plane is erroneous detection.
[0096]
When the reliability evaluation unit 331 determines the movement detection result and detects that the subject has moved 16 pixels in the right or left direction, the movement detection unit 33 sends the focus detection area setting unit 31 The information about the movement amount of the subject is transmitted. Thereby, the focus evaluation area setting unit 31 can change the position of the focus evaluation area R in the image 100 shown in FIG.
[0097]
The movement detection unit 33 is configured to provide the movement amount determined by the reliability evaluation unit 331 to the movement prediction unit 34, and specifies a block including the moved subject among the blocks B1 to B5. Then, it is configured to instruct the focus position detection unit 35.
[0098]
The focus position detection unit 35 acquires the evaluation values VA and VB of the block specified by the movement detection unit 33, and stores the evaluation values VA and VB obtained at each lens position. Then, when the photographing lens 10 is driven six times to obtain evaluation values at all lens positions, a focus position detection calculation is performed based on those evaluation values, and the focus position FP is specified.
[0099]
In the vicinity of the in-focus position, the in-focus position FP is specified using the second evaluation value VB whose degree of change in the evaluation value accompanying the lens driving is large, but the in-focus position is determined using the second evaluation value VB. When it is difficult to specify the FP, the focus position FP is located at a relatively distant position. For example, high-speed driving of the imaging lens 10 is performed using the first evaluation value VA. .
[0100]
When the focus position FP is specified, the lens position is instructed to the lens control unit 36, and the lens control unit 36 moves the photographing lens 10 to the focus position FP via the lens drive unit 16. Become. Thereby, the in-focus state of the subject image is realized.
[0101]
Further, the lens control unit 36 sends a control signal to the lens driving unit 16 at a predetermined timing in order to drive the photographing lens 10 six times at a predetermined pitch in the automatic focusing control.
[0102]
FIG. 10 is a timing chart showing the above operation. The photographing lens 10 is driven at a predetermined timing, and the lens position is driven stepwise from P1 to P6 by driving each lens (see FIG. 5).
[0103]
When the first lens driving is completed, the photographing lens 10 moves to the lens position P1, where the first imaging processing is performed. When the imaging process of the CCD image sensor 11 is completed, an image is read from the CCD image sensor 11. At this time, the automatic focus control unit 30 inputs the image components of the focus evaluation area R via the image memory 12, and starts calculating the evaluation value in parallel with the image reading operation. When the calculation of the evaluation value is completed, the movement detection unit 33 and the focus position detection unit 35 obtain the evaluation value.
[0104]
When the first imaging process is completed, the second lens driving is performed, and the second imaging process is performed with the imaging lens 10 moved to the lens position P2. Therefore, the second lens driving and imaging processing is performed in parallel with the operation of reading the image obtained by the first imaging processing and the operation of calculating the evaluation value.
[0105]
When the acquisition of the evaluation value based on the image obtained by the second imaging process is completed, the movement detection unit 33 detects the movement between the first image and the second image. The detection result of the movement detection is fed back to the evaluation value calculation based on the fourth image, and the setting of the focus evaluation area R applied at the time of the evaluation value calculation based on the fourth image is changed.
[0106]
Similarly, at the time when the respective operations associated with the sixth lens drive are completed, the focus position detection unit 36 functions, and a process for detecting the focus position FP based on the six evaluation values is executed. You.
[0107]
By performing the above operation, it is possible to cause the position of the block for detecting the focus position FP at each lens position to follow the movement of the subject. FIG. 11 is a diagram showing a state of a focus evaluation area R accompanying detection of movement of a subject. However, FIG. 11 illustrates a case where the subject moves rightward in the image plane.
[0108]
Each image 101 to 106 shown in FIG. 11 shows an image included in the focus evaluation area R when the lens position of the photographing lens 10 is moved stepwise from P1 to P6 (see FIG. 5). In the image 101, the evaluation target area when the focus position detection unit 35 evaluates the degree of focus is the block B3. Then, by detecting the movement between the image 101 and the image 102, it is detected that the subject has moved 16 pixels to the right. Therefore, the evaluation target area in the image 102 is set as the block B4.
[0109]
Further, by detecting the movement between the image 102 and the image 103, it is detected that the subject has moved further 16 pixels to the right. Therefore, the evaluation target area in the image 103 is set as the block B5.
[0110]
By the way, when the detection of the movement between the image 101 and the image 102 is completed, the calculation of the evaluation value of each block based on the image 103 and the imaging process of the image 104 are performed. For this reason, when the image 104 is read from the CCD image sensor 11 and the evaluation value is calculated, the focus evaluation area R is moved 16 pixels to the right based on the detection of the movement between the image 101 and the image 102. By setting, the position of the focus evaluation area R is changed following the movement of the subject.
[0111]
Similarly, based on the detection of the movement between the image 102 and the image 103, the focus evaluation area R of the image 105 is set by moving the pixel by 16 pixels to the right, and is used to detect the movement between the image 103 and the image 104. Based on this, the focus evaluation area R of the image 106 is set by moving it 16 pixels to the right.
[0112]
In this way, by moving the position of the focus evaluation area R with the movement of the subject, it is possible to follow the movement of the subject without increasing the number of blocks set in the focus evaluation area R. Further, since it is not necessary to increase the number of blocks, it is possible to reduce the load of the evaluation value calculation.
[0113]
Next, the movement predicting unit 34 functions, for example, in the continuous AF mode, and when the automatic focusing control is repeatedly performed, the movement predicting unit 34 switches between the previous automatic focusing control and the next automatic focusing control. The moving amount of the subject is predicted.
[0114]
Even in the continuous AF mode, if the movement detection is performed between the last image in the previous automatic focusing control and the first image in the next automatic focusing control, the focus evaluation area R can be used to move the subject. It is possible to follow.
[0115]
However, in the continuous AF mode, between the previous automatic focusing control and the next automatic focusing operation, it is necessary to perform exposure control by performing a photometric operation or the like in order to cope with a change in the brightness of the subject. is there. For this reason, if the exposure control is interposed between the repeated automatic focusing control operations, the difference in the imaging timing between the last image in the previous automatic focusing control and the first image in the next automatic focusing control becomes large. It is considered that there is a high possibility that the subject will move by 16 pixels or more during the enlargement.
[0116]
Therefore, at the time of the automatic focusing control, the movement predicting unit 34 calculates the moving speed of the subject based on the moving amount input from the movement detecting unit 33 at each timing, and performs the previous automatic focusing control and the next automatic focusing control. Based on the timing difference from the focus control, the position of the focus evaluation area R determined at the end of the previous automatic focus control and the amount of movement of the subject from the block determined as the evaluation target area are determined. Then, based on the movement amount, the movement prediction unit 34 is configured to feed back the position of the focus evaluation region R at the start of the next automatic focusing control to the focus evaluation region setting unit 31.
[0117]
FIG. 12 is a diagram illustrating a state of the focus evaluation area R accompanying the detection of the movement of the subject in the continuous AF mode. However, FIG. 12 illustrates a case where the subject moves rightward in the image plane, and images 101 to 106 are the same as the images illustrated in FIG. 11.
[0118]
The movement prediction unit 34 calculates the amount of movement of the subject during the previous automatic focusing control, based on the position of the subject in the image 106 with reference to the image 101. In the case of FIG. 12, since the subject moves in the right direction by 16 pixels in each image, the moving amount of the subject during the previous automatic focusing control is 16 × 5 = 80 pixels. This is divided by the difference t1 between the imaging timing of the image 101 and the imaging timing of the image 106, and the moving speed v = 80 / t1 of the subject at the time of the previous automatic focusing is calculated.
[0119]
Further, the movement predicting unit 34 calculates a timing difference t2 between the previous automatic focusing control and the next automatic focusing control, and calculates the first difference in the next automatic focusing control from the timing difference t2 and the moving speed v. Of the subject at the timing of capturing the image 201 is obtained. That is, in the case of FIG. 12, the movement amount of the subject between the previous automatic focusing control and the next automatic focusing control can be obtained from 80 × t2 / t1. The movement predicting unit 34 adds the movement amount obtained as described above to the position of the focus evaluation area R set for the last image 106 of the previous automatic focusing control, so that the next automatic focusing A focus evaluation area R for the first image 201 at the time of control is set. At this time, the position of the focus evaluation area R is set so that the evaluation target area in the focus evaluation area R is the central block B3. When the automatic focus control is repeatedly performed as described above, the movement prediction unit 34 is configured to predict the position of the subject at the time of the next automatic focus control. Even when other operations such as are performed, the focus evaluation area R can be favorably made to follow the movement of the subject.
[0120]
Next, a processing sequence when performing the automatic focusing control in the digital camera 1 configured as described above will be described. 13 to 16 are flowcharts showing a processing sequence when performing automatic focusing control in the continuous AF mode, and show the timing chart of FIG. 10 as a flowchart.
[0121]
As shown in FIG. 13, when the automatic focusing control is started, the lens control unit 36 sets the lens positions when the photographing lens 10 is moved stepwise around the previous focusing position at regular intervals. Set. Then, the lens control unit 36 controls the lens driving unit 16 to move the photographing lens 10 to the lens position P1, which is the first imaging point (Step S100). Then, the imaging process in the CCD imaging device 11 is started (step S101).
[0122]
When the imaging processing is completed, the focus evaluation area setting unit 31 sets the focus evaluation area R so that the subject is included in the block B3 (step S102), and starts reading an image from the CCD image sensor 11, The image data is temporarily stored in the image memory 12 (step S103).
[0123]
When the first imaging process is completed, the lens control unit 36 controls the lens driving unit 16 to move the photographing lens 10 to the lens position P2, which is the second imaging point (Step S104).
[0124]
The evaluation value calculation unit 32 performs a change associated with lens driving for each of the blocks B1 to B5 of the focus evaluation area R set in step S102 in parallel with the readout processing of the image obtained by the first imaging processing. Calculation processing for calculating two types of evaluation values, an evaluation value VA having a small degree and an evaluation value VB having a large degree of change due to lens driving, is started (step S105).
[0125]
Then, the second imaging process in the CCD imaging device 11 is started (step S106).
[0126]
When the imaging process is completed, the focus evaluation area setting unit 31 sets the focus evaluation area R (step S107), starts reading an image from the CCD image sensor 11, and temporarily stores the image in the image memory 12. It is stored (step S108).
[0127]
When the second imaging process is completed, the lens control unit 36 controls the lens driving unit 16 to move the photographing lens 10 to the lens position P3, which is the third imaging point (Step S109). At this time, the focus position detection unit 35 sets the block B3 as an evaluation target area, acquires an evaluation value for the block B3 obtained from the first image, and temporarily stores the evaluation value (step S3). S110).
[0128]
The evaluation value calculation unit 32 performs a change in each of the blocks B1 to B5 of the focus evaluation area R set in step S107 due to the lens driving in parallel with the readout processing of the image obtained by the second imaging processing. Calculation processing for calculating two types of evaluation values, an evaluation value VA having a small degree and an evaluation value VB having a large degree of change due to lens driving, is started (step S111).
[0129]
Then, the third imaging process in the CCD imaging device 11 is started (step S112). When the imaging process is completed, the focus evaluation area setting unit 31 sets the focus evaluation area R (step S113), starts reading an image from the CCD image sensor 11, and temporarily stores the image in the image memory 12. It is stored (step S114).
[0130]
Referring to the flowchart of FIG. 14, when the third imaging process is completed, the lens control unit 36 controls the lens driving unit 16 to move the photographing lens 10 to the lens position P4, which is the fourth imaging point (step S115). . At the same time, the evaluation value calculation unit 32 performs the lens reading for each of the blocks B1 to B5 of the focusing evaluation area R set in step S113 in parallel with the reading processing of the image obtained by the third imaging processing. Calculation processing for calculating two types of evaluation values, an evaluation value VA having a small degree of change due to driving and an evaluation value VB having a large degree of change due to lens driving, is started (step S116).
[0131]
Then, the movement detection unit 33 functions to detect the movement of the subject by using an evaluation value having a small degree of change due to lens driving among evaluation values obtained from the first and second images (step S117). That is, at this time, it is detected whether or not the subject has moved within the image plane between the image photographed at the lens position P1 and the image photographed at the lens position P2. Here, when the movement of the subject is detected, the reliability evaluation unit 331 functions to evaluate the reliability of the detection result of the movement of the subject (Step S118).
[0132]
As a result of the reliability evaluation, when it is determined that the reliability of the movement detection result is high, a block serving as an evaluation target area is selected based on the amount of movement of the subject, and the block calculated for the selected block is calculated. The evaluation value for the second image is stored in the focus position detection unit 35 (Step S119). For example, if it is detected in step S117 that the subject has moved rightward by 16 pixels, and if it is determined in step S118 that the reliability of the detection result is high, the block B4 is selected as the evaluation target area. (See image 102 in FIG. 11).
[0133]
On the other hand, when it is determined that the reliability of the movement detection result is low, the movement amount of the subject is determined to be 0, and thus the block serving as the evaluation target area is not changed. That is, the block B3, which is the first evaluation target area, is selected, and the evaluation value for the second image calculated for the selected block is stored in the focus position detection unit 35 ( Step S119).
[0134]
Then, the fourth imaging process in the CCD imaging device 11 is started (step S120). When the imaging processing ends, the focus evaluation area setting unit 31 sets the focus evaluation area R based on the previous movement detection result (Step S121). For example, if it is detected in step S117 that the subject has moved 16 pixels to the right, and if it is determined in step S118 that the reliability of the detection result is high, the focus evaluation area R is shifted rightward from the previous position. Is set to a position shifted by 16 pixels (see image 104 in FIG. 11).
[0135]
When the fourth imaging process is completed, image reading from the CCD image sensor 11 is started and temporarily stored in the image memory 12 (step S122). When the fourth imaging process is completed, the lens control unit 36 controls the lens driving unit 16 to move the photographing lens 10 to the lens position P5, which is the fifth imaging point (Step S123). At the same time, the evaluation value calculation unit 32 performs the lens reading process for each of the blocks B1 to B5 of the focus evaluation area R set in step S121 in parallel with the reading process of the image obtained by the fourth imaging process. An arithmetic process for calculating two types of evaluation values, an evaluation value VA having a small degree of change due to driving and an evaluation value VB having a large degree of change due to lens driving, is started (step S124).
[0136]
Then, the movement detection unit 33 functions to detect the movement of the subject by using an evaluation value having a small degree of change due to lens driving among evaluation values obtained from the second and third images (step S125). That is, at this time, it is detected whether or not the subject has moved in the image plane between the image photographed at the lens position P2 and the image photographed at the lens position P3. Here, when the movement of the subject is detected, the reliability evaluation unit 331 functions to evaluate the reliability of the detection result of the movement of the subject (Step S126).
[0137]
As a result of the reliability evaluation, if it is determined that the reliability of the movement detection result is high, a block to be an evaluation target area is selected based on the amount of movement of the subject, and the block calculated for the selected block is calculated. The evaluation value for the second image is stored in the focus position detection unit 35 (step S127). For example, if it is detected in steps S117 and S118 that the subject has moved 16 pixels to the right, and if it is detected in steps S125 and S126 that the subject has moved 16 pixels to the right, block B5 is evaluated. It will be selected as the target area (see image 103 in FIG. 11).
[0138]
On the other hand, when it is determined that the reliability of the movement detection result is low, the movement amount of the subject is determined to be 0, and thus the block serving as the evaluation target area is not changed. In other words, a block that is a second evaluation target area is selected, and the evaluation value for the third image calculated for the selected block is stored in the in-focus position detection unit 35 (step). S127).
[0139]
Then, the fifth imaging process in the CCD imaging device 11 is started (step S128). When the imaging processing ends, the focus evaluation area setting unit 31 sets the focus evaluation area R based on the previous movement detection result (Step S129). For example, if it is detected in step S125 that the subject has moved rightward by 16 pixels, and if it is determined in step S126 that the reliability of the detection result is high, the focus evaluation area R is shifted rightward from the previous position. Is set to a position shifted by 16 pixels (see image 105 in FIG. 11).
[0140]
When the fifth imaging process is completed, image reading from the CCD imaging device 11 is started and temporarily stored in the image memory 12 (step S130).
[0141]
When the fifth imaging process is completed, the lens control unit 36 controls the lens driving unit 16 to move the photographing lens 10 to the lens position P6, which is the sixth imaging point (the flowchart of FIG. 15: step S131). . At the same time, in parallel with the readout process of the image obtained by the fifth imaging process, the evaluation value calculation unit 32 performs the lens evaluation for each of the blocks B1 to B5 of the focus evaluation area R set in step S129. Calculation processing for calculating two types of evaluation values, an evaluation value VA having a small degree of change due to driving and an evaluation value VB having a large degree of change due to lens driving, is started (step S132).
[0142]
Then, the movement detection unit 33 functions to detect the movement of the subject by using an evaluation value having a small degree of change due to lens driving among evaluation values obtained from the third and fourth images (step S133). At this time, it is detected whether or not the subject has moved in the image plane between the image shot at the lens position P3 and the image shot at the lens position P4. Here, when the movement of the subject is detected, the reliability evaluation unit 331 functions to evaluate the reliability of the result of the detection of the movement of the subject (Step S134).
[0143]
As a result of the reliability evaluation, if it is determined that the reliability of the movement detection result is high, a block to be an evaluation target area is selected based on the amount of movement of the subject, and the block calculated for the selected block is calculated. The evaluation value for the second image is stored in the in-focus position detection unit 35 (step S135). For example, if it is detected in steps S117 and S118 and S125 and S126 that the subject has moved 16 pixels to the right, and if it is detected in steps S133 and S134 that the subject has moved 16 pixels to the right, The block B5 is selected as the evaluation target area (see the image 104 in FIG. 11).
[0144]
On the other hand, if it is determined that the reliability of the movement detection result is low, the movement amount of the subject is determined to be 0, so that a block located at the same position as the block to be evaluated for the third time is selected, The evaluation value for the fourth image calculated for the selected block is stored in the focus position detection unit 35 (step S135).
[0145]
Then, the sixth imaging process in the CCD imaging device 11 is started (step S136). When the imaging processing ends, the focus evaluation area setting unit 31 sets the focus evaluation area R based on the previous movement detection result (Step S137). For example, if it is detected in step S133 that the subject has moved 16 pixels to the right, and if it is determined in step S134 that the reliability of the detection result is high, the focus evaluation area R is shifted rightward from the previous position. Is set to a position shifted by 16 pixels (see image 106 in FIG. 11).
[0146]
When the sixth imaging process is completed, image reading from the CCD imaging device 11 is started and temporarily stored in the image memory 12 (step S138). The evaluation value calculation unit 32 performs, in parallel with the reading process of the image obtained by the sixth imaging process, the change in each of the blocks B1 to B5 of the focus evaluation area R set in step S137 due to the lens driving. Calculation processing for calculating two types of evaluation values, an evaluation value VA having a small degree and an evaluation value VB having a large degree of change due to lens driving, is started (step S139).
[0147]
Then, the movement detection unit 33 functions to detect the movement of the subject by using an evaluation value having a small degree of change due to lens driving among evaluation values obtained from the fourth and fifth images (step S140). At this time, it is detected whether or not the subject has moved in the image plane between the image shot at the lens position P4 and the image shot at the lens position P5. Here, when the movement of the subject is detected, the reliability evaluation unit 331 functions to evaluate the reliability of the detection result of the movement of the subject (step S141).
[0148]
As a result of the reliability evaluation, when it is determined that the reliability of the movement detection result is high, a block to be an evaluation target area is selected based on the amount of movement of the subject, and 5 The evaluation value for the second image is stored in the focus position detection unit 35 (step S142). For example, if it is detected in the movement detection so far that the subject has moved 16 pixels to the right, and if it is detected in steps S140 and S141 that the subject has moved 16 pixels to the right, block B5 is executed. This is selected as the evaluation target area (see image 105 in FIG. 11).
[0149]
On the other hand, when it is determined that the reliability of the movement detection result is low, the movement amount of the subject is determined to be 0, so that the block located at the same position as the block to be evaluated for the fourth time is selected, The evaluation value for the fifth image calculated for the selected block is stored in the in-focus position detection unit 35 (step S142).
[0150]
When the evaluation value calculation started in step S139 ends, the movement detection unit 33 functions, and among the evaluation values obtained from the fifth and sixth images, the evaluation value having a small degree of change due to lens driving is used. The movement of the subject is detected (step S143). At this time, it is detected whether or not the subject has moved in the image plane between the image photographed at the lens position P5 and the image photographed at the lens position P6. Here, when the movement of the subject is detected, the reliability evaluation unit 331 functions to evaluate the reliability of the detection result of the movement of the subject (step S144).
[0151]
As a result of the reliability evaluation, when it is determined that the reliability of the movement detection result is high, a block to be an evaluation target area is selected based on the amount of movement of the subject, and 6 is calculated for the selected block. The evaluation value for the second image is stored in the focus position detection unit 35 (Step S145). For example, if it is detected that the subject has moved 16 pixels to the right in the previous movement detection, and if it is detected in steps S143 and S144 that the subject has moved 16 pixels to the right, block B5 is executed. This is selected as the evaluation target area (see image 106 in FIG. 11).
[0152]
On the other hand, if it is determined that the reliability of the movement detection result is low, the movement amount of the subject is determined to be 0, so that the block located at the same position as the block to be evaluated for the fifth time is selected. The evaluation value for the sixth image calculated for the selected block is stored in the in-focus position detection unit 35 (step S145).
[0153]
Next, proceeding to the flowchart of FIG. 16, the focus position detection unit 35 acquires the evaluation value of the block selected as the evaluation target area among the evaluation values obtained at each lens position, and performs an interpolation operation and the like. The in-focus position FP is specified (Step S146). At this time, in the vicinity of the focus position, the evaluation value VB having a large degree of change due to lens driving is used, and the focus position FP is specified with high accuracy.
[0154]
Then, the lens control unit 36 controls the lens driving unit 16 to move the taking lens 10 to the focus position FP (Step S147). As a result, a focused state of the subject image formed on the CCD image sensor 11 is realized.
[0155]
Then, the movement estimating unit 34 calculates the object speed based on the amount of movement of the object detected in the movement detection so far (step S148), and determines the optimal focus evaluation area when the next step S102 is performed. The position of R is predicted (step S149). Thereafter, the process returns to step S100, and the automatic focusing control is repeatedly performed.
[0156]
In the case of the one-shot AF mode, after the above-described step S147 is completed, the automatic focusing control ends.
[0157]
As described above, the digital camera 1 of the present embodiment evaluates the degree of focusing of the subject based on the image signal obtained from the CCD image sensor 11 and drives the photographing lens 10 to change the focusing state of the subject. Further, before and after the driving of the photographing lens 10, the first evaluation value, which is required to evaluate the degree of focusing of the subject and has a small degree of change accompanying the driving of the photographing lens 10, is used. Is configured to detect the movement of the subject on the image plane in. Therefore, erroneous detection in the detection of the movement of the subject can be reduced, and the movement of the subject can be accurately grasped.
[0158]
Further, the reliability evaluation unit 331 is configured to evaluate the reliability of the detection result of the movement of the subject. Therefore, erroneous detection in the detection of the movement of the subject can be further reduced, and the movement of the subject can be grasped more accurately.
[0159]
Then, in order to evaluate the degree of focus of the subject, an image component of the focus evaluation area R is extracted from the image signal, and first and second evaluation values are obtained from the image component of the focus evaluation area R. The setting position of the focus evaluation area R with respect to the image signal is changed based on the detection result of the movement detection unit 33. Therefore, even when the subject moves in the image 100 shown in FIG. 2, the focus degree can be evaluated while following the movement.
[0160]
Further, the digital camera 1 of the present embodiment obtains an evaluation value for evaluating the degree of focusing of the subject on each of the plurality of blocks B1 to B5 based on the image signal obtained from the CCD image sensor 11, The degree of focusing of the subject is evaluated using the evaluation value of, and the photographing lens 10 is driven to the focusing position FP. Then, by differentiating the evaluation values obtained for the blocks B1 to B5 adjacent to each other among the plurality of blocks B1 to B5, an index value relating to the movement of the subject in the peripheral portion of the focus evaluation area R is obtained. It is configured to detect a relative movement of the subject based on the value.
[0161]
Therefore, the detection of the movement of the subject is performed based on the evaluation values obtained by the same calculation for the plurality of blocks B1 to B5, so that the calculation processing can be simplified and the efficiency can be improved. Then, the movement of the subject can be detected at high speed, and the cost of the digital camera 1 can be reduced.
[0162]
Further, each of the plurality of blocks B1 to B5 having the same size is arranged so as to be shifted in a predetermined direction, and is arranged so as to partially overlap each other. It is possible to evaluate the movement of the subject in the peripheral portion of the region R.
[0163]
Further, the digital camera 1 is configured to obtain an evaluation value related to a focus evaluation area R defined by a central part and a peripheral part based on an image signal obtained from the CCD image sensor 11, and the movement detection unit 33 includes: Since the relative movement of the subject is detected based on the evaluation value obtained for the peripheral portion of the focus evaluation area R, the movement of the subject that affects the evaluation value of the evaluation target area is detected well. It is possible to do.
[0164]
In the present embodiment, a plurality of blocks B1 to B5 are arranged so as to overlap in the center portion of the focus evaluation area R, and the blocks are arranged so as to be shifted by a predetermined pixel. Is applied, it is possible to increase the efficiency of the arithmetic processing.
[0165]
<2. Second Embodiment>
Next, a second embodiment will be described. In the first embodiment, the case where the plurality of blocks B <b> 1 to B <b> 5 in the focus evaluation area R are arranged so as to be partially overlapped is illustrated. However, in the present embodiment, the first embodiment is used. The setting of the focus evaluation area different from the above will be described. Note that the configuration of the digital camera 1 is the same as that described in the first embodiment.
[0166]
FIG. 17 is a diagram showing the configuration of the focus evaluation area R in the present embodiment. Also in the present embodiment, the focus evaluation area R is set for the image 100 in order to evaluate the focus state of the main subject included in the image 100 as shown in FIG. In this embodiment, the focus evaluation area R is also divided into a plurality of blocks in order to detect the movement of the subject in the image plane.
[0167]
In the focus evaluation area R shown in FIG. 17, a main block BM is provided in the center portion, and four sub blocks BS1 to BS4 and BS5 to BS8 are provided in each of the left and right directions of the main block BM. For example, the main block BM is configured to include an image component of width 240 pixels × height 200 pixels, and each of the sub blocks BS1 to BS8 is configured to include an image component of width 16 pixels × height 200 pixels. .
[0168]
In the focus evaluation area R of FIG. 17, when the subject does not move from the initial state, the evaluation target area when evaluating the degree of focus is determined by the main block BM and the four sub blocks BS3, BS4, BS5, and BS6. It is a defined area. When it is detected that the subject has moved 16 pixels to the right from that state, the evaluation target area is an area defined by the main block BM and the four sub blocks BS4, BS5, BS6, and BS7. Further, when it is detected that the subject has moved 32 pixels to the right from the initial state, the evaluation target area is an area defined by the main block BM and the four sub-blocks BS5, BS6, BS7, and BS8. Become.
[0169]
On the other hand, when it is detected that the subject has moved leftward by 16 pixels from the initial state, the evaluation target area is defined by the main block BM and the four sub blocks BS2, BS3, BS4, and BS5. Area. Further, when it is detected that the subject has moved leftward by 32 pixels from the initial state, the evaluation target area is an area defined by the main block BM and the four sub blocks BS1, BS2, BS3, and BS4. Become.
[0170]
Then, the evaluation value calculation unit 32 calculates an evaluation value for the evaluation target area determined as described above in order to evaluate the degree of focusing of the subject. Further, the evaluation value calculation unit 32 calculates an evaluation value for detecting the movement of the subject for each of the sub-blocks BS1 to BS8.
[0171]
When calculating the evaluation value for the evaluation target area, the evaluation value calculation unit 32 evaluates the evaluation value VA having a small degree of change accompanying the driving of the photographing lens 10 near the in-focus position and the degree of change accompanying the driving of the photographing lens 10. Are both obtained with the evaluation value VB having a large value. Thereby, the focus position detection unit 35 can evaluate the degree of focus by referring to the optimum evaluation value according to the positional relationship of the photographing lens 10 with respect to the focus position FP.
[0172]
When calculating the evaluation value regarding the movement of the subject for each of the sub-blocks BS1 to BS8, the evaluation value calculation unit 32 only needs to calculate only the evaluation value VA having a small degree of change accompanying the driving of the photographing lens 10. As a result, it is possible to obtain the evaluation value of the peripheral portion excluding the central portion in the focus evaluation region R, and it is possible to detect the movement of the subject by the same method as described in the first embodiment. is there. Note that the same calculation is applied to each of the sub-blocks BS1 to BS8 to calculate an evaluation value.
[0173]
Here, of the evaluation values VA obtained for the sub-block BS1, those obtained at the previous lens position are referred to as evaluation values VA1 (BS1), and those obtained at the current lens position are referred to as evaluation values VA2 (BS1). Of the evaluation values VA obtained for the sub-block BS2, those obtained at the previous lens position are referred to as evaluation values VA1 (BS2), and those obtained at the current lens position are referred to as evaluation values VA2 (BS2). Similarly, evaluation values obtained at the previous and current lens positions obtained for each of the sub-blocks BS3 to BS8 are similarly defined.
[0174]
The movement detection unit 33 calculates a sum based on the evaluation values VA1 (BS1) to VA1 (BS8) obtained last time from the blocks BS1 to BS8 and the evaluation values VA2 (BS1) to VA2 (BS8) obtained this time. In the focus evaluation area R, the movement of the subject is detected in a peripheral part excluding the central part.
[0175]
If the difference between the evaluation values VA obtained at each lens position between adjacent sub-blocks is obtained, it is possible to detect the movement of the evaluation values in the peripheral portion in the focus evaluation area R. That is, a difference value obtained by subtracting the evaluation value VA obtained at each lens position between adjacent sub-blocks becomes an index value relating to the movement of the subject in the peripheral portion of the focus evaluation area R, and the index value is used as the index value. The relative movement of the subject is detected based on the result.
[0176]
For example, if the difference between the evaluation values VA1 (BS1) and VA2 (BS2) is small, the subject included in the sub-block BS1 at the previous lens position is included in the sub-block BS2 at the current lens position. That is, the subject has moved 16 pixels to the right. If the difference between the evaluation values VA1 (BS2) and VA2 (BS1) becomes small, the subject included in the sub-block BS2 at the previous lens position is included in the sub-block BS1 at the current lens position. That is, the subject has moved 16 pixels to the left. Furthermore, if the difference between the evaluation values VA1 (BS1) and VA2 (BS1) becomes smaller, the subject included in the sub-block BS1 at the previous lens position will be included in the sub-block BS1 even at the current lens position. That is, it is considered that the subject did not move during driving of the lens.
[0177]
Similarly, since the same can be said between other adjacent sub-blocks, the movement detection unit 33
[0178]
(Equation 10)

[0179]
By performing the above calculation, it is possible to calculate each of the correlation values MR1, MV0, and ML1 exhibiting the same characteristics as those described in the first embodiment.
[0180]
That is, the correlation value MR1 is a correlation value for detecting that the subject has moved 16 pixels to the right, and the correlation value ML1 is a correlation value for detecting that the subject has moved 16 pixels to the left. is there. Further, the correlation value MV0 is a correlation value for detecting that the subject does not move. Then, by setting the sub-blocks BS1 to BS8 in the peripheral portion of the main block BM which is the central portion of the focus evaluation region R as in the present embodiment, the peripheral portion of the focus evaluation region R is shifted to the central portion. Correlation values MR1, MV0, and ML1 that can evaluate the right side and the left side individually can be obtained.
[0181]
FIG. 18 is a diagram showing a case where the subject in the focus evaluation area R moves rightward in the image to be compared between the previous lens position and the current lens position, and circles, triangles, and squares in the figure schematically represent the subject image. It is a representation. As shown in FIG. 18, when the subject shifts rightward between the images G1 and G2, among the subjects included in the focus evaluation area R, the peripheral subject moves in the area corresponding to each sub-block. Will be. Therefore, the evaluation values VA1 (BS1) to VA1 (BS8) of the sub-blocks BS1 to BS8 at the previous lens position and the evaluation values VA2 (BS1) to VA2 (BS8) of the sub-blocks BS1 to BS8 at the current lens position are obtained. By calculating the correlation value, it is possible to detect how the subject in the peripheral portion in the focus evaluation area R has moved.
[0182]
Then, as shown in Expression 10, by performing the correlation value calculation only on the sub-blocks of the focus evaluation area R, only the movement of the subject included in the peripheral part of the focus evaluation area R can be evaluated. For this reason, the subject (triangle) in the center portion, which is included in the center portion before and after the movement and does not affect the evaluation value for evaluating the degree of focusing even when moved by about 16 pixels, is excluded from the movement detection targets. It is supposed to be.
[0183]
Then, as shown in FIG. 18, when the subject moves approximately 16 pixels to the right between the previous lens position and the current lens position, the correlation value MR1 becomes minimum. On the other hand, if the subject has not moved between the previous lens position and the current lens position (or the movement amount is less than 8 pixels), the correlation value MV0 becomes minimum, and When the subject moves by about 16 pixels to the left between the current lens position, the correlation value ML1 becomes minimum.
[0184]
That is, the movement detection unit 33 is configured to detect the movement of the subject by comparing the correlation values MR1, MV0, and ML1 obtained by the calculation of Expression 10 and identifying the correlation value indicating the minimum value.
[0185]
Then, when detecting that the correlation value MR1 is the minimum, the movement detection unit 33 detects that the subject moves rightward in the image plane and that the movement amount is 16 pixels. The movement amount is 16 pixels because the width of each of the sub-blocks BS1 to BS8 is 16 pixels. For example, the width of each sub-block is N pixels (where N is an arbitrary number). In the case of (integer), the moving amount of the subject is N pixels.
[0186]
When detecting that the correlation value ML1 is minimum, the movement detection unit 33 detects that the subject moves leftward in the image plane and that the movement amount is 16 pixels. Further, when detecting that the correlation value MV0 is the minimum, the movement detection unit 33 detects that the subject has not moved in the image plane.
[0187]
In the above description, the case where the movement of the subject is detected based on the evaluation value obtained at the previous lens position and the evaluation value obtained at the current lens position is shown. By detecting the movement of the subject between two images obtained successively in time from the image sensor 11, the movement of the subject can be detected in a state where the movement amount of the taking lens 10 between the two comparative images is minimum. Since it can be performed, the focus difference between the comparative images is minimized, and the possibility of erroneous detection during movement detection can be reduced.
[0188]
Also in the present embodiment, the reliability evaluation unit 331 functions to verify whether or not the movement of the subject detected by the movement detection unit 33 as described above is accurate. That is, when the movement detection unit 33 detects that the subject has moved 16 pixels in the right or left direction, the reliability evaluation unit 331 performs the same calculation method as the calculation described in the first embodiment. The correlation values MV0 ', MR1', MR2 or MV0 ', ML1', ML2 are recalculated, interpolation is performed by a steep slope extension method, which is a known method, and the parameters C and YM obtained by the calculation are used to obtain the reliability. It is configured to evaluate gender.
[0189]
Then, similarly to the first embodiment, by performing the reliability evaluation, erroneous detection in the movement detection of the subject can be reduced, and the movement of the subject can be accurately grasped.
[0190]
Other operations are the same as those described in the first embodiment. For example, in the continuous AF mode, the focus evaluation area R is set to follow the movement of the subject.
[0191]
Even when the focus evaluation area R is configured as in the present embodiment, the same effect as the effect described in the first embodiment can be obtained.
[0192]
Further, in the first embodiment, since a plurality of blocks have the same size, the same operation can be applied when obtaining an evaluation value for each block. On the other hand, in the present embodiment, each sub-block BS1 to BS8 And the size of the evaluation target area for evaluating the degree of focus are different sizes, so that the same operation cannot be applied. However, in the present embodiment, the number of blocks for calculating the evaluation value is increased as compared with the first embodiment. However, for the peripheral portion of the focus evaluation area R, the right and left sides of the central portion are individually determined. Thereby, the movement of the subject can be detected more accurately than when the plurality of blocks B1 to B5 described in the first embodiment are employed.
[0193]
That is, in the present embodiment, the focus evaluation area R has a main block BM provided corresponding to the central portion, and a plurality of sub-blocks BS1 to BS8 provided corresponding to the peripheral portion. Since the movement detection unit 33 is configured to detect the relative movement of the subject based on the evaluation values obtained for each of the plurality of sub-blocks BS1 to BS8, the movement detection unit 33 affects the evaluation value of the evaluation target area. The movement of the subject can be accurately detected. As a result, the movement of the subject can be favorably followed in the automatic focusing control, and high-accuracy automatic focusing control is realized.
[0194]
<3. Modification>
Although the embodiments of the present invention have been described above, the present invention is not limited to the above-described contents.
[0195]
For example, in each of the above embodiments, the case where the movement of the subject in the horizontal direction of the image plane is detected has been described, but the present invention is not limited to this. That is, the arrangement direction of the plurality of blocks in the first embodiment is set to the vertical direction (vertical direction), and the arrangement direction of the plurality of sub-blocks in the second embodiment is set to the vertical direction (vertical direction). When the subject moves in the vertical direction on the image plane, it can be detected.
[0196]
Further, by arranging a plurality of blocks in the first embodiment two-dimensionally both vertically and horizontally, and arranging a plurality of sub-blocks two-dimensionally both vertically and horizontally in the second embodiment, the subject can be positioned on the image plane. No matter how you move, you can follow it.
[0197]
FIG. 19 is a diagram showing an example of the arrangement when a plurality of blocks of the same size are arranged as in the first embodiment, and shows only the arrangement of the center point of each block.
[0198]
FIG. 19A describes the first embodiment, and five blocks B1 to B5 are arranged in the horizontal direction so as to be shifted by a predetermined number of pixels. For this reason, according to the block arrangement of FIG. 19A, when the subject moves in the horizontal direction, it can be detected. In this case, the movement of the subject in the horizontal direction is detected using the difference between the evaluation values between the blocks adjacent to each of the blocks B1 to B5, and the evaluation target area follows the movement of the subject. Can be moved.
[0199]
FIG. 19B shows a case where five blocks B1 to B5 are arranged in the vertical direction while being shifted by a predetermined number of pixels. In this case, the movement of the subject in the vertical direction is detected by using the difference between the evaluation values between the adjacent blocks of the blocks B1 to B5, and the evaluation target area follows the movement of the subject. Can be moved.
[0200]
Further, FIG. 19C shows a case where 13 blocks B1 to B13 are two-dimensionally arranged by being shifted by a predetermined number of pixels. In this case, the movement of the subject in the horizontal direction can be detected using the difference in the evaluation value between the adjacent blocks of the five blocks B1 to B5 arranged in the horizontal direction. The movement of the subject in the vertical direction can be detected by using the difference between the evaluation values between the blocks B6, B7, B3, B8, and B9. When the subject moves in the oblique direction on the image plane, the movement of the subject is detected simultaneously in both the horizontal direction and the vertical direction. In this case, it is possible to follow the movement of the subject by selecting any of the blocks B10 to B13 obliquely viewed from the center block B3 as the evaluation target area according to the moving direction of the subject. In addition, the subject can be followed by moving the position of the focus evaluation area R obliquely according to the moving direction of the subject.
[0201]
In the above description, a digital camera has been described as an example, but the above-described technique is applicable to both a digital still camera and a digital video camera. In addition, the above-described technology can be applied to an imaging device other than a digital camera as long as it can acquire an electric image signal.
[0202]
【The invention's effect】
As described above, according to the first aspect of the present invention, in order to evaluate the degree of focusing of a subject, the first evaluation value and the first evaluation value having a small degree of change accompanying the driving of the taking lens are evaluated. And a second evaluation value having a greater degree of change due to driving of the photographing lens than the first evaluation value. The first evaluation value is used to detect the movement of the subject on the image plane before and after driving the photographing lens. With this configuration, the movement of the subject can be detected in a state where the change in the defocus amount before and after driving the photographing lens is small. As a result, it is possible to reduce erroneous detection in the movement detection of the subject.
[0203]
According to the second aspect of the present invention, the first evaluation value is a band indicating the widest frequency band among values obtained by applying a plurality of band-pass filters having different characteristics to the image signal. Since the value is obtained by applying the pass filter, it is possible to reduce erroneous detection in detecting the movement of the subject.
[0204]
According to the third aspect of the present invention, the first evaluation value is a value obtained by calculating the absolute value of the difference between adjacent pixels from the image signal and integrating the absolute value of the difference over a predetermined area of the image signal. In addition, it is possible to reduce erroneous detection in detecting the movement of the subject.
[0205]
According to the fourth aspect of the present invention, the reliability of the detection result of the movement of the subject is evaluated, and when the reliability is determined to be low, it is determined that the subject does not move. Therefore, erroneous detection can be prevented more appropriately.
[0206]
According to the fifth aspect of the present invention, since the focus evaluation area for the image signal is changed based on the detection result of the movement of the subject, the evaluation of the degree of focus of the subject follows the movement of the subject. In this way, appropriate automatic focusing control is always realized.
[Brief description of the drawings]
FIG. 1 is a block diagram illustrating a configuration of a digital camera.
FIG. 2 is a diagram showing an image obtained from a CCD image sensor.
FIG. 3 is a diagram illustrating a configuration example of a focus evaluation area.
FIG. 4 is a diagram illustrating frequency characteristics of a bandpass filter.
FIG. 5 is a diagram showing first and second evaluation values near a focus position.
FIG. 6 is a diagram illustrating an area around a focus evaluation area.
FIG. 7 is a diagram illustrating a case where a subject has moved rightward in the first embodiment.
FIG. 8 is a diagram illustrating a relationship between a correlation value and a movement amount when it is detected that the subject has moved rightward.
FIG. 9 is a diagram illustrating a relationship between a correlation value and a movement amount when it is detected that the subject has moved leftward.
FIG. 10 is a timing chart in an internal operation of the digital camera.
FIG. 11 is a diagram showing a state of a focus evaluation area accompanying detection of movement of a subject.
FIG. 12 is a diagram showing a state of a focus evaluation area in a continuous AF mode.
FIG. 13 is a flowchart illustrating a processing sequence when performing automatic focusing control.
FIG. 14 is a flowchart illustrating a processing sequence when performing automatic focusing control.
FIG. 15 is a flowchart illustrating a processing sequence when performing automatic focusing control.
FIG. 16 is a flowchart illustrating a processing sequence when performing automatic focusing control.
FIG. 17 is a diagram illustrating a configuration of a focus evaluation area according to the second embodiment.
FIG. 18 is a diagram illustrating a case where a subject has moved rightward in the second embodiment.
FIG. 19 is a diagram showing a modified example regarding the arrangement of a plurality of blocks.
[Explanation of symbols]
1 Digital camera (imaging device)
10 Shooting lens
11 CCD imaging device (imaging means)
30 Automatic focusing control unit
31 Focus evaluation area setting section
32 evaluation value calculation unit (evaluation value calculation means)
33 Movement detection unit (movement detection means)
34 Movement prediction unit
35 Focus position detector
36 Lens controller
331 Reliability Evaluation Unit (Reliability Evaluation Means)
R Focus evaluation area
B1 to B5 block
BM main block
BS1 to BS8 sub block

Claims (5)

An imaging apparatus that evaluates a degree of focusing of a subject based on an image signal obtained from an imaging unit and drives a shooting lens to realize a focused state of the subject,
From the image signal, a first evaluation value having a smaller degree of change due to driving of the photographing lens and a second evaluation value having a larger degree of change due to driving of the photographing lens than the first evaluation value are obtained. Evaluation value calculating means;
Focusing control means for evaluating the degree of focusing of the subject using the first and second evaluation values and driving the photographing lens;
Movement detection means for detecting movement of a subject on an image plane before and after driving the photographing lens, using the first evaluation value;
An imaging device comprising: The imaging device according to claim 1,
The first evaluation value is a value obtained by applying a band-pass filter indicating the widest frequency band among values obtained by applying a plurality of band-pass filters having different characteristics to the image signal. An imaging device, characterized in that: The imaging device according to claim 1,
The imaging device according to claim 1, wherein the first evaluation value is a value obtained by calculating an absolute value of a difference between adjacent pixels from the image signal, and the absolute value of the difference is integrated over a predetermined area of the image signal. The imaging device according to any one of claims 1 to 3,
Reliability evaluation means for evaluating the reliability of the subject movement detection result in the movement detection means, further comprising:
When the reliability evaluation unit determines that the reliability of the subject movement detection result is low, the movement detection unit determines that the subject does not move. The imaging device according to any one of claims 1 to 4,
The evaluation value calculation unit is configured to extract an image component of a focus evaluation area from the image signal, and obtain the first and second evaluation values from the image component of the focus evaluation area, An imaging apparatus, wherein the focus evaluation area for the image signal is changed based on a detection result of the movement detection means.

Images