JP2013228541A

JP2013228541A - Imaging apparatus

Info

Publication number: JP2013228541A
Application number: JP2012100106A
Authority: JP
Inventors: Kenichi Kikuchi; 健一菊地
Original assignee: Xacti Corp
Current assignee: Xacti Corp
Priority date: 2012-04-25
Filing date: 2012-04-25
Publication date: 2013-11-07

Abstract

PROBLEM TO BE SOLVED: To correctly focus on a main object, without continuously focusing on an object in front or in back of the main object, even when focusing on the object in front or in back of the main object.SOLUTION: In AF operation, an AF evaluation value corresponding to the high region frequency component of a luminance signal in the AF evaluation area of a photographed image is obtained to detect the position of a focus lens where the AF evaluation value is maximized as a focused lens position and then, the focus lens is fixed to the focused lens position (time t). After that, when fluctuation of a constant value (TH) or more is observed in the AF evaluation value, the AF operation is restarted. Differently from this, the temporal changes of a luminance distribution and a color distribution in the AF evaluation area are monitored and when an index (bor c) indicating the change of the luminance distribution or the color distribution reaches a constant value (VR) or more, as well (time t), the AF operation is restarted.

Description

本発明は、デジタルカメラ等の撮像装置に関する。 The present invention relates to an imaging apparatus such as a digital camera.

撮像装置で実行されるＡＦ（オートフォーカス）動作として、コントラスト検出方式のＡＦ動作がある。コントラスト検出方式のＡＦ動作では、撮影画像の輝度信号における高域周波数成分を積算することでＡＦ評価値（焦点評価値）を求め、いわゆる山登り制御を用いて、ＡＦ評価値が最大化させるフォーカスレンズの位置を合焦レンズ位置として求める。そして、合焦レンズ位置の検出後、フォーカスレンズを合焦レンズ位置に固定することで撮影対象物に対する合焦状態を維持する。この後、撮像装置に対してパンニングやチルティングが成された場合や、撮影対象物及び撮影装置間の距離が変化する方向に撮影対象物が移動した場合には、撮影対象物に対する合焦状態（ピントが合った状態）が崩れるが、この際、ＡＦ評価値に減少が観測される。従って、一度合焦状態が達成された後においてＡＦ評価値に一定値以上の減少が観測された場合には、ＡＦ動作を再起動させ、新たな合焦レンズ位置を再び探索するといった処理が行われる。 As an AF (autofocus) operation executed by the imaging apparatus, there is a contrast detection AF operation. In the contrast detection AF operation, a focus lens that obtains an AF evaluation value (focus evaluation value) by integrating high frequency components in a luminance signal of a captured image and maximizes the AF evaluation value using so-called hill-climbing control. Is determined as the focusing lens position. Then, after the focus lens position is detected, the focus lens is fixed at the focus lens position to maintain the focused state with respect to the object to be photographed. After this, when panning or tilting is performed on the imaging apparatus, or when the imaging object moves in a direction in which the distance between the imaging object and the imaging apparatus changes, the in-focus state with respect to the imaging object Although the (in-focus state) is lost, a decrease in the AF evaluation value is observed at this time. Therefore, after a focus state has been achieved once, if a decrease of a certain value or more is observed in the AF evaluation value, a process of restarting the AF operation and searching for a new focus lens position is performed. Is called.

特開２００５−２０２０６４号公報Japanese Patent Laid-Open No. 2005-202064 特開２００４−３０９７２２号公報JP 2004-309722 A

一方、主要被写体（撮影者が撮影を望む主たる被写体）と撮像装置との間に金網のような阻害物がある撮影環境において、金網に一度ピントがあうと、金網にピントがあった状況から中々抜け出せないこともある。金網にピントがあっている状況では主要被写体にピントがあっていないため、主要被写体が動いてもＡＦ評価値にあまり変化が生じず、結果、上記の再起動も有効に機能しにくい。主要被写体の後方側（遠方側）にコントラストの強い背景被写体が存在する場合においても同様のことが言える。 On the other hand, in a shooting environment where there is an obstacle such as a wire mesh between the main subject (the main subject the photographer wants to shoot) and the imaging device, once the wire mesh is in focus, the wire mesh is in focus. Sometimes you can't get out. In a situation where the wire mesh is in focus, since the main subject is not in focus, even if the main subject moves, the AF evaluation value does not change so much, and as a result, the above-described restart is difficult to function effectively. The same can be said when there is a background subject with strong contrast on the rear side (far side) of the main subject.

尚、特許文献１及び２には、主要被写体の前方や後方に位置する物体への合焦（これを誤合焦という）を防止しようとした技術が開示されている。これらの技術が誤合焦の発生防止に寄与する可能性もあるが、その防止策をすりぬけて誤合焦が一度発生してしまうと、誤合焦状態が維持されて主要被写体の合焦状態が達成され難いことに変わりはない。 Patent Documents 1 and 2 disclose techniques for preventing focusing on an object located in front of or behind a main subject (this is called erroneous focusing). Although these technologies may contribute to the prevention of the occurrence of misfocusing, once the misfocusing occurs once the prevention measures have been taken, the misfocused state is maintained and the focus state of the main subject is maintained. Remains difficult to achieve.

そこで本発明は、望ましくない合焦状態の維持を回避して望ましい合焦状態の実現に寄与する撮像装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an imaging apparatus that contributes to the realization of a desired in-focus state by avoiding the maintenance of an undesired in-focus state.

本発明に係る撮像装置は、フォーカスレンズと、前記フォーカスレンズを介して撮像面に受光した被写体の光学像に対応する撮影画像の画像信号を繰り返し生成する撮像素子と、前記撮影画像の画像信号に基づき焦点評価値を生成する焦点評価値生成部と、前記焦点評価値に基づき前記フォーカスレンズと前記撮像素子との相対位置を調節する合焦調節部と、前記焦点評価値の変動量を監視する焦点評価値監視部と、前記撮影画像上における被写体の動きを検出する動き検出部と、前記合焦調節部による調節動作を再起動させる再起動部と、を備え、前記再起動部は、前記焦点評価値監視部による監視結果と前記動き検出部の検出結果に基づいて前記調節動作を再起動させることを特徴とする。 An imaging apparatus according to the present invention includes a focus lens, an imaging element that repeatedly generates an image signal of a captured image corresponding to an optical image of a subject received on an imaging surface via the focus lens, and an image signal of the captured image. A focus evaluation value generation unit that generates a focus evaluation value based on the focus evaluation unit; a focus adjustment unit that adjusts a relative position between the focus lens and the image sensor based on the focus evaluation value; and a variation amount of the focus evaluation value. A focus evaluation value monitoring unit, a motion detection unit that detects the movement of the subject on the captured image, and a restart unit that restarts the adjustment operation by the focus adjustment unit, the restart unit The adjustment operation is restarted based on a monitoring result from the focus evaluation value monitoring unit and a detection result from the motion detection unit.

これにより、主たる被写体の前方や後方に位置する合焦が望まれない物体にピントがあった場合でも、被写体の動きに応じて調節動作の再起動が成されるため、合焦が望まれない物体にピントが合い続けることなく、主たる被写体にピントを合わせることが可能になる。 As a result, even when an object that is not desired to be focused in front of or behind the main subject is in focus, the adjustment operation is restarted according to the movement of the subject, and thus focusing is not desired. It is possible to focus on the main subject without continuously focusing on the object.

本発明によれば、望ましくない合焦状態の維持を回避して望ましい合焦状態の実現に寄与する撮像装置を提供することが可能である。 According to the present invention, it is possible to provide an imaging apparatus that contributes to the realization of a desired in-focus state by avoiding the maintenance of an undesired in-focus state.

本発明の第１実施形態に係る撮像装置の概略全体ブロック図である。1 is a schematic overall block diagram of an imaging apparatus according to a first embodiment of the present invention. 撮像装置の撮影によって取得される入力画像と、入力画像上のＡＦ評価領域を示す図である。It is a figure which shows the AF evaluation area | region on the input image acquired by imaging | photography of an imaging device, and an input image. ＡＦ評価領域が複数の領域に分割される様子を示す図である。It is a figure which shows a mode that AF evaluation area | region is divided | segmented into a some area | region. フォーカスレンズの全可動範囲を示す図である。It is a figure which shows the whole movable range of a focus lens. ＡＦ評価値のレンズ位置依存性の例を示す図である。It is a figure which shows the example of the lens position dependence of AF evaluation value. 本発明の第１実施形態に係るＡＦ動作及びＡＦ動作の再起動の動作フローチャートである。4 is an operation flowchart of AF operation and AF operation restart according to the first embodiment of the present invention. 本発明の第１実施形態に係るＡＦ動作及びＡＦ動作の再起動の動作フローチャートである。4 is an operation flowchart of AF operation and AF operation restart according to the first embodiment of the present invention. 本発明の第１実施形態に係り、ＡＦ評価値の時間変化と、輝度変化領域数（ｂ_NUM）又は色変化領域数（ｃ_NUM）の時間変化を示す図である。It is a figure which concerns on 1st Embodiment of this invention and shows the time change of AF evaluation value, and the time change of a brightness _| luminance change area number ( _bNUM ) or a color change area number ( _cNUM ). 輝度変化領域数のカウント処理のフローチャートである。It is a flowchart of the count process of the number of luminance change areas. 色変化領域数のカウント処理のフローチャートである。It is a flowchart of the count process of the number of color change areas. 本発明の第２実施形態に係り、ＡＦ動作の再起動に関わるＡＦ評価値の時間変化を示す図である。It is a figure which shows the time change of AF evaluation value in connection with 2nd Embodiment of this invention in connection with restart of AF operation | movement. 本発明の第６実施形態に係る撮像装置の部分的な機能ブロック図である。It is a partial functional block diagram of the imaging device concerning a 6th embodiment of the present invention.

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。 Hereinafter, an example of an embodiment of the present invention will be specifically described with reference to the drawings. In each of the drawings to be referred to, the same part is denoted by the same reference numeral, and redundant description regarding the same part is omitted in principle. In this specification, for simplification of description, a symbol or reference that refers to information, signal, physical quantity, state quantity, member, or the like is written to indicate information, signal, physical quantity, state quantity or Names of members and the like may be omitted or abbreviated.

＜＜第１実施形態＞＞
本発明の第１実施形態を説明する。図１は、本発明の第１実施形態に係る撮像装置１００の概略全体ブロック図である。撮像装置１００は、静止画像及び動画像を撮影及び記録可能なデジタルビデオカメラ又は静止画像のみを撮影及び記録可能なデジタルスチルカメラである。撮像装置１００は、符号１〜１８によって参照される各部位を備える。 << First Embodiment >>
A first embodiment of the present invention will be described. FIG. 1 is a schematic overall block diagram of an imaging apparatus 100 according to the first embodiment of the present invention. The imaging apparatus 100 is a digital video camera capable of capturing and recording still images and moving images, or a digital still camera capable of capturing and recording only still images. The imaging apparatus 100 includes each part referred to by reference numerals 1 to 18.

撮像装置１００には、焦点を調節するためのフォーカスレンズ１を含む光学系が設けられている。被写体からの入射光がフォーカスレンズ１を含む光学系を介して撮像素子２の撮像面にて受光される。撮像素子２は、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る固体撮像素子である。撮像素子２は、上記光学系を介して入射した光（即ち被写体の光学像）を光電変換し、該光電変換によってアナログの撮像信号を生成する。撮像素子２にて生成されたアナログの撮像信号はＡ／Ｄ変換器３にてデジタルの撮像信号に変換されてから信号処理回路４に送られる。 The imaging apparatus 100 is provided with an optical system including a focus lens 1 for adjusting the focus. Incident light from the subject is received by the imaging surface of the imaging device 2 through an optical system including the focus lens 1. The image sensor 2 is a solid-state image sensor composed of a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) image sensor. The image sensor 2 photoelectrically converts light (that is, an optical image of a subject) incident through the optical system, and generates an analog image signal by the photoelectric conversion. The analog imaging signal generated by the imaging device 2 is converted into a digital imaging signal by the A / D converter 3 and then sent to the signal processing circuit 4.

信号処理回路４は、Ａ／Ｄ変換器３から入力されたデジタルの撮像信号に対して、所定の信号処理（例えば、ホワイトバランス補正及びガンマ補正用の信号処理）を施し、撮像信号のフィールドごとに画像データを順次生成してＤＲＡＭ（Dynamic Random Access Memory）５に与える。ＤＲＡＭ５は、フィールド単位で入力される画像データを順次記憶し、記憶したフィールドごとの画像データを処理回路６及び第１ゲート回路８に与える。処理回路６は、ＤＲＡＭ５からフィールド単位で供給される画像データに対し、所定の信号を施した後、更に画像データを圧縮してフラッシュメモリ７に格納する。フラッシュメモリ７に格納された圧縮画像データは、図示されない信号処理回路によって読み出されて伸張処理が施され、図示されないモニタ（液晶モニタ等）に表示される。撮像素子２は輝度情報及び色情報を含む撮像信号を生成する。撮像素子２が所謂単板方式のイメージセンサである場合、処理回路６の信号処理には、色分離処理とも呼ばれるデモザイキング処理が含まれる。 The signal processing circuit 4 performs predetermined signal processing (for example, signal processing for white balance correction and gamma correction) on the digital image pickup signal input from the A / D converter 3, for each field of the image pickup signal. Image data is sequentially generated and supplied to a DRAM (Dynamic Random Access Memory) 5. The DRAM 5 sequentially stores image data input in units of fields, and supplies the stored image data for each field to the processing circuit 6 and the first gate circuit 8. The processing circuit 6 applies a predetermined signal to the image data supplied in units of fields from the DRAM 5, and further compresses the image data and stores it in the flash memory 7. The compressed image data stored in the flash memory 7 is read out by a signal processing circuit (not shown), subjected to expansion processing, and displayed on a monitor (liquid crystal monitor or the like) not shown. The image pickup device 2 generates an image pickup signal including luminance information and color information. When the image pickup device 2 is a so-called single-plate image sensor, the signal processing of the processing circuit 6 includes demosaicing processing also called color separation processing.

上述の撮像信号も画像データも、被写体の撮影画像の画像信号の一種である。第１ゲート回路８に与えられる１フィールド分の画像データにより表される画像を、以下、便宜上、入力画像と呼ぶ。入力画像は被写体の撮影画像の一種であることは言うまでも無い。以下に述べる画像データ及び画像信号とは、特に記述なき限り入力画像の画像データ及び画像信号を指す。 Both the above-described imaging signal and image data are a kind of image signal of a captured image of a subject. The image represented by the image data for one field supplied to the first gate circuit 8 is hereinafter referred to as an input image for convenience. Needless to say, the input image is a kind of photographed image of the subject. Image data and image signals described below refer to image data and image signals of an input image unless otherwise specified.

図２の符号３００は、１枚の入力画像を表している。ＣＰＵ（Central Processing Unit）１２は、入力画像３００上にＡＦ評価領域（フォーカスエリア）３１０を設定する。図２の例において、ＡＦ評価領域３１０は、入力画像３００の中央付近に配置された、入力画像３００の一部の矩形領域である。但し、入力画像３００上の任意の位置にＡＦ評価領域３１０が設定されても良いし、入力画像３００上の全体がＡＦ評価領域３１０に設定されても良いし、ＡＦ評価領域３１０の形状は矩形以外であっても良い。 Reference numeral 300 in FIG. 2 represents one input image. A CPU (Central Processing Unit) 12 sets an AF evaluation area (focus area) 310 on the input image 300. In the example of FIG. 2, the AF evaluation area 310 is a part of the rectangular area of the input image 300 arranged near the center of the input image 300. However, the AF evaluation area 310 may be set at an arbitrary position on the input image 300, or the entire input image 300 may be set as the AF evaluation area 310. The shape of the AF evaluation area 310 is rectangular. Other than that.

第１ゲート回路８は、入力画像ごとに、ＡＦ評価領域３１０内の画像データを抽出して第１輝度信号生成回路９に与える。生成回路９は、与えられた画像データから輝度信号を生成し、生成した輝度信号をＨＰＦ（ハイパスフィルタ）１０に与える。ＨＰＦ１０は、空間フィルタリング等を用いて、生成回路９から与えられた輝度信号の中から所定の高域周波数成分を抽出する。第１積算器１１は、ＨＰＦ１０によって抽出された１フィールド分の高域周波数成分（即ち、１枚の入力画像３００のＡＦ評価領域３１０から抽出された高域周波数成分）の絶対値を積算し、積算値をＡＦ評価値（焦点評価値）として生成及び出力する。ＡＦ評価値は、ＡＦ評価領域内の画像のコントラスト量（エッジ量）に概ね比例し、該コントラスト量が増大するにつれて増大する。生成回路９、ＨＰＦ１０及び積算器１１から成るＡＦ評価値生成部（焦点評価値生成部）は、上述のようなＡＦ評価値の導出処理を入力画像ごとに実行することで、入力画像ごとにＡＦ評価値を求めることができる。 The first gate circuit 8 extracts the image data in the AF evaluation area 310 for each input image and supplies it to the first luminance signal generation circuit 9. The generation circuit 9 generates a luminance signal from the given image data and supplies the generated luminance signal to an HPF (High Pass Filter) 10. The HPF 10 extracts a predetermined high frequency component from the luminance signal given from the generation circuit 9 by using spatial filtering or the like. The first accumulator 11 accumulates the absolute values of the high frequency components for one field extracted by the HPF 10 (that is, the high frequency components extracted from the AF evaluation area 310 of one input image 300), The integrated value is generated and output as an AF evaluation value (focus evaluation value). The AF evaluation value is approximately proportional to the contrast amount (edge amount) of the image in the AF evaluation area, and increases as the contrast amount increases. The AF evaluation value generation unit (focus evaluation value generation unit) including the generation circuit 9, the HPF 10, and the integrator 11 performs the AF evaluation value derivation process as described above for each input image, thereby performing AF for each input image. An evaluation value can be obtained.

第１ゲート回路８にて入力画像ごとに抽出されたＡＦ評価領域３１０内の画像データは、第２ゲート回路１４にも与えられる。第２ゲート回路１４は、ＡＦ評価領域３１０を複数の領域に分割する。ここでは、例として、図３に示す如く、第２ゲート回路１４がＡＦ評価領域３１０を水平及び垂直方向の夫々に８等分することで、ＡＦ評価領域３１０を計６４個の領域ａ［１］〜ａ［６４］に分割する。第２ゲート回路１４の分割によって生成される領域を特に分割領域と呼ぶ。分割領域の個数は２以上であれば幾つでも良い。第２ゲート回路１４は、分割領域ａ［１］〜ａ［６４］の画像データを第２輝度信号生成回路１５及び色信号生成回路１７に与える。 The image data in the AF evaluation area 310 extracted for each input image by the first gate circuit 8 is also given to the second gate circuit 14. The second gate circuit 14 divides the AF evaluation area 310 into a plurality of areas. Here, as an example, as shown in FIG. 3, the second gate circuit 14 divides the AF evaluation area 310 into eight equal parts in the horizontal and vertical directions, so that a total of 64 areas a [1 ] To a [64]. A region generated by dividing the second gate circuit 14 is particularly called a divided region. Any number of divided regions may be used as long as it is two or more. The second gate circuit 14 supplies the image data of the divided areas a [1] to a [64] to the second luminance signal generation circuit 15 and the color signal generation circuit 17.

第２輝度信号生成回路１５は、与えられた画像データから輝度信号を生成し、生成した輝度信号を第２積算器１６に与える。第２積算器１６は、生成回路１５から与えられた輝度信号を、フィールドごと且つ分割領域ごとに積算して、積算値を輝度評価値として生成及び出力する。分割領域ａ［ｉ］に対応する輝度評価値を記号ｂ［ｉ］にて表す（ｉは整数）。入力画像３００に対する輝度評価値ｂ［ｉ］は、入力画像３００における分割領域ａ［ｉ］内の輝度信号の積算値である。但し、入力画像３００に対する輝度評価値ｂ［ｉ］は、入力画像３００における分割領域ａ［ｉ］内の輝度信号の平均値であっても良い。 The second luminance signal generation circuit 15 generates a luminance signal from the given image data, and supplies the generated luminance signal to the second integrator 16. The second integrator 16 integrates the luminance signal given from the generation circuit 15 for each field and for each divided region, and generates and outputs an integrated value as a luminance evaluation value. A luminance evaluation value corresponding to the divided area a [i] is represented by a symbol b [i] (i is an integer). The luminance evaluation value b [i] for the input image 300 is an integrated value of luminance signals in the divided area a [i] in the input image 300. However, the luminance evaluation value b [i] for the input image 300 may be an average value of luminance signals in the divided area a [i] in the input image 300.

色信号生成回路１７は、与えられた画像データから色信号を生成し、生成した色信号を第３積算器１８に与える。第３積算器１８は、生成回路１７から与えられた色信号を、フィールドごと且つ分割領域ごとに積算して、積算値を色評価値として生成及び出力する。分割領域ａ［ｉ］に対応する色評価値を記号ｃ［ｉ］にて表す。入力画像３００に対する色評価値ｃ［ｉ］は、入力画像３００における分割領域ａ［ｉ］内の色信号の積算値である。但し、入力画像３００に対する色評価値ｃ［ｉ］は、入力画像３００における分割領域ａ［ｉ］内の色信号の平均値であっても良い。色信号は、入力画像３００の色の情報を表す信号である。色信号は、画像データの赤、緑又は青の強度を表すＲ信号、Ｇ信号又はＢ信号であっても良いし、Ｒ信号、Ｇ信号及びＢ信号の内の２以上の信号を含んでいても良いし、ＹＵＶ形式の画像データにおける色差信号であっても良い。 The color signal generation circuit 17 generates a color signal from the supplied image data and supplies the generated color signal to the third integrator 18. The third accumulator 18 integrates the color signal given from the generation circuit 17 for each field and for each divided region, and generates and outputs the integrated value as a color evaluation value. The color evaluation value corresponding to the divided area a [i] is represented by the symbol c [i]. The color evaluation value c [i] for the input image 300 is an integrated value of the color signals in the divided area a [i] in the input image 300. However, the color evaluation value c [i] for the input image 300 may be an average value of the color signals in the divided area a [i] in the input image 300. The color signal is a signal representing color information of the input image 300. The color signal may be an R signal, a G signal, or a B signal representing the red, green, or blue intensity of the image data, and includes two or more signals among the R signal, the G signal, and the B signal. Alternatively, it may be a color difference signal in YUV format image data.

積算器１１、１６及び１８は、フィールドごとに求めた（即ち入力画像ごとに求めた）ＡＦ評価値、輝度評価値ｂ［１］〜ｂ［６４］及び色評価値ｃ［１］〜ｃ［６４］をＣＰＵ１２に与える。 The integrators 11, 16, and 18 calculate the AF evaluation value, luminance evaluation values b [1] to b [64], and color evaluation values c [1] to c [calculated for each field (that is, calculated for each input image). 64] to the CPU 12.

撮像素子２は所定周期にて順次撮影を行うことができ、これにより、時系列で並ぶ複数の入力画像が撮像装置１００にて得られる。ＣＰＵ１２は、フォーカスレンズ１を移動させるためのＡＦモータ１３を用いて、ＡＦ評価値に基づき撮影対象物が合焦するようにフォーカスレンズ１の位置を調節する（即ち、撮影対象物の光学像が撮像素子２上において結像するようにフォーカスレンズ１の位置を調節する）。この調節を行う動作をＡＦ動作（オートフォーカス動作）と呼ぶ。撮影対象物は、ＡＦ評価領域内に位置する被写体の一種である。 The image sensor 2 can sequentially capture images at a predetermined cycle, whereby a plurality of input images arranged in time series are obtained by the image capturing apparatus 100. The CPU 12 uses the AF motor 13 for moving the focus lens 1 and adjusts the position of the focus lens 1 based on the AF evaluation value so that the subject is in focus (that is, the optical image of the subject is captured). The position of the focus lens 1 is adjusted so that an image is formed on the image sensor 2). The operation for performing this adjustment is called an AF operation (autofocus operation). The photographing object is a kind of subject located in the AF evaluation area.

以下、フォーカスレンズ１の位置を単にレンズ位置と呼ぶ。フォーカスレンズ１は、フォーカスレンズ１を含む光学系の光軸方向に沿って移動可能であり、光軸方向は、更に至近方向と無限遠方向に細分化される（図４参照）。フォーカスレンズ１の全可動範囲の一端及び他端を至近端及び無限遠端と呼ぶ。即ち、図４に示す如く、フォーカスレンズ１の全可動範囲は、所定の至近端と所定の無限遠端との間の範囲である。至近端から無限遠端へ向かう方向が無限遠方向であり、その逆方向が至近方向である。レンズ位置が至近端と一致している時、ピントが合う被写体の被写体距離は最小となり、レンズ位置が無限遠端と一致している時、ピントが合う被写体の被写体距離は最大となる。そして、フォーカスレンズ１が至近端から無限遠端に移動するにつれて、ピントが合う被写体の被写体距離は大きくなる。ここで、或る被写体についての被写体距離とは、該被写体と撮像装置１００との間の、実空間上の距離を意味する。 Hereinafter, the position of the focus lens 1 is simply referred to as a lens position. The focus lens 1 is movable along the optical axis direction of the optical system including the focus lens 1, and the optical axis direction is further subdivided into a close direction and an infinite direction (see FIG. 4). One end and the other end of the entire movable range of the focus lens 1 are referred to as a near end and an infinite end. That is, as shown in FIG. 4, the entire movable range of the focus lens 1 is a range between a predetermined close end and a predetermined infinity end. The direction from the closest end to the infinity end is the infinity direction, and the opposite direction is the close direction. When the lens position is coincident with the closest end, the subject distance of the subject in focus is minimum, and when the lens position is coincident with the infinity end, the subject distance of the subject in focus is maximum. As the focus lens 1 moves from the closest end to the infinity end, the subject distance of the subject in focus increases. Here, the subject distance for a certain subject means the distance in real space between the subject and the imaging apparatus 100.

ＡＦ動作において、ＣＰＵ１２は、ＡＦモータ１３を用い、定められた探索範囲内でフォーカスレンズ１を移動させながら最新のＡＦ評価値を積算器１１から次々と取得し、探索範囲内でＡＦ評価値に極大値を与えるレンズ位置を合焦レンズ位置として検出する。そして、ＣＰＵ１２は、レンズ位置を合焦レンズ位置に配置することで撮影対象物に対する合焦を実現する。図５にＡＦ評価値とレンズ位置との関係例を示す。探索範囲は、合焦レンズ位置を探索するためにフォーカスレンズ１が配置されることになるレンズ位置の範囲である。ＣＰＵ１２は、全可動範囲を探索範囲に設定しても良いし、全可動範囲より狭い範囲を探索範囲に設定することもできる。図５の例では、ＡＦ評価値が１つの極大値のみをとっているが、被写体距離の異なる複数の被写体がＡＦ評価領域内に収まっている場合には、複数のレンズ位置の夫々においてＡＦ評価値が極大値をとることもある。 In the AF operation, the CPU 12 uses the AF motor 13 to acquire the latest AF evaluation values from the integrator 11 one after another while moving the focus lens 1 within the determined search range, and sets the AF evaluation value within the search range. The lens position giving the maximum value is detected as the focusing lens position. And CPU12 implement | achieves the focusing with respect to a to-be-photographed object by arrange | positioning a lens position to a focusing lens position. FIG. 5 shows an example of the relationship between the AF evaluation value and the lens position. The search range is a range of lens positions where the focus lens 1 is to be placed in order to search for the focus lens position. The CPU 12 may set the entire movable range as the search range, or may set a range narrower than the total movable range as the search range. In the example of FIG. 5, the AF evaluation value takes only one maximum value. However, when a plurality of subjects having different subject distances are within the AF evaluation region, the AF evaluation is performed at each of the plurality of lens positions. The value may be a local maximum.

図６〜図８を参照して、ＡＦ動作の手順を説明すると共にＡＦ動作の再起動の手順を説明する。図６及び図７は、ＡＦ動作及びＡＦ動作の再起動の動作フローチャートである。図８において、曲線３２０はＡＦ評価値の時間変化を表している。曲線３３０については後述する。 With reference to FIGS. 6 to 8, the procedure of the AF operation will be described, and the procedure of restarting the AF operation will be described. 6 and 7 are flowcharts of the AF operation and the restart of the AF operation. In FIG. 8, a curve 320 represents a time change of the AF evaluation value. The curve 330 will be described later.

図６及び図７に示される各ステップの処理は、ＣＰＵ１２にて実行される。ＣＰＵ１２は、ＡＦモードを定義し、ＡＦモードを初期化モード、方向判別モード、山登りモード、合焦点復帰モード及び被写体監視モードの何れかに設定する。初期化モード、方向判別モード、山登りモード、合焦点復帰モード及び被写体監視モードの何れのモードにおいても、処理の最初に、ＣＰＵ１２は積算器１１から最新のＡＦ評価値を取得し、最新のＡＦ評価値を用いて各モードの処理を行う。 The processing of each step shown in FIGS. 6 and 7 is executed by the CPU 12. The CPU 12 defines an AF mode, and sets the AF mode to any one of an initialization mode, a direction determination mode, a hill-climbing mode, a focus return mode, and a subject monitoring mode. In any of the initialization mode, the direction discrimination mode, the hill-climbing mode, the in-focus return mode, and the subject monitoring mode, the CPU 12 acquires the latest AF evaluation value from the accumulator 11 at the beginning of processing, and the latest AF evaluation. Each mode is processed using the value.

撮像装置１００の電源起動や、撮像装置１００の動作モードの撮影モードへの移行などによって、ＡＦ動作が起動する。ＡＦ動作が起動すると、ステップＳ１において、ＣＰＵ１２は最新のＡＦ評価値を積算器１１から取得する。ステップＳ１に続くステップＳ２において、ＣＰＵ１２は、現在のＡＦモードが何であるかを確認し、その確認結果に応じて、ステップＳ１１、Ｓ２１、Ｓ３１、Ｓ４１及びＳ５１の何れかへの移行を発生させる。ＣＰＵ１２は、現在のＡＦモードが初期化モードである場合にはステップＳ１１〜Ｓ１３の処理から成る初期化処理を実行し、現在のＡＦモードが方向判別モードである場合にはステップＳ２１〜Ｓ２４の処理から成る方向判別処理を実行し、現在のＡＦモードが山登りモードである場合にはステップＳ３１〜Ｓ３５の処理から成る山登り処理を実行し、現在のＡＦモードが合焦点復帰モードである場合にはステップＳ４１〜Ｓ４５の処理から成る合焦点復帰処理を実行し、現在のＡＦモードが被写体監視モードである場合にはステップＳ５１〜Ｓ５８の処理から成る被写体監視処理を実行する。 The AF operation is activated when the power of the imaging device 100 is activated or when the operation mode of the imaging device 100 is shifted to the shooting mode. When the AF operation is started, the CPU 12 acquires the latest AF evaluation value from the integrator 11 in step S1. In step S2 following step S1, the CPU 12 confirms what the current AF mode is, and causes a transition to one of steps S11, S21, S31, S41, and S51 according to the confirmation result. When the current AF mode is the initialization mode, the CPU 12 executes an initialization process including the processes of steps S11 to S13. When the current AF mode is the direction determination mode, the CPU 12 performs processes of steps S21 to S24. When the current AF mode is the hill-climbing mode, the hill-climbing process including steps S31 to S35 is performed. When the current AF mode is the in-focus return mode, the step is performed. A focus return process including the processes of S41 to S45 is executed. If the current AF mode is the object monitoring mode, a subject monitoring process including the processes of steps S51 to S58 is executed.

初期化処理において、ＣＰＵ１２は、まずステップＳ１１にて最新のＡＦ評価値を基準値に設定し、続くステップＳ１２にてＡＦモータ１３を所定の駆動方向に駆動させることでフォーカスレンズ１を所定の移動方向に所定量だけ移動させる。その後、ステップＳ１３において、ＣＰＵ１２はＡＦモードを方向判別モードに変更してから、処理をステップＳ１に戻す。ＡＦモータ１３の駆動方向には、第１回転方向と、第１回転方向とは逆の第２回転方向がある。ＡＦモータ１３の駆動方向を第１回転方向に設定した状態でＡＦモータ１３を駆動させるとフォーカスレンズ１は至近方向に移動し、ＡＦモータ１３の駆動方向を第２回転方向に設定した状態でＡＦモータ１３を駆動させるとフォーカスレンズ１は無限遠方向に移動する。ＣＰＵ１２は、ＡＦモータ１３の駆動方向を第１回転方向及び第２回転方向のどちらかに設定することで、フォーカスレンズ１の移動方向を至近方向及び無限遠方向のどちらかに設定する。ステップＳ１２におけるＡＦモータ１３の駆動方向（以下、モータ駆動方向ともいう）はどちらでもよいが、図６の例では、ステップＳ１２におけるモータ駆動方向は、第１回転方向である。以下、フォーカスレンズの移動方向をレンズ移動方向とも呼ぶ。 In the initialization process, the CPU 12 first sets the latest AF evaluation value as a reference value in step S11, and drives the AF motor 13 in a predetermined drive direction in step S12, thereby moving the focus lens 1 by a predetermined amount. Move in the direction by a predetermined amount. Thereafter, in step S13, the CPU 12 changes the AF mode to the direction determination mode, and then returns the process to step S1. The driving direction of the AF motor 13 includes a first rotation direction and a second rotation direction opposite to the first rotation direction. When the AF motor 13 is driven in a state where the driving direction of the AF motor 13 is set to the first rotation direction, the focus lens 1 moves in the closest direction, and the AF motor 13 is set to the second rotation direction in the state where the driving direction of the AF motor 13 is set to the second rotation direction. When the motor 13 is driven, the focus lens 1 moves in the infinity direction. The CPU 12 sets the movement direction of the focus lens 1 to either the closest direction or the infinity direction by setting the driving direction of the AF motor 13 to either the first rotation direction or the second rotation direction. The driving direction of the AF motor 13 in step S12 (hereinafter also referred to as motor driving direction) may be any, but in the example of FIG. 6, the motor driving direction in step S12 is the first rotation direction. Hereinafter, the moving direction of the focus lens is also referred to as a lens moving direction.

方向判別処理において、ＣＰＵ１２は、まずステップＳ２１にて最新のＡＦ評価値を上記の基準値と比較することで、ＡＦ評価値の極大値が存在する方向（即ち合焦レンズ位置が存在する方向）を推定する。現在のＡＦ評価値（最新のＡＦ評価値）が基準値よりも大きい場合（ステップＳ２１のＹ）、ＣＰＵ１２は、現在のレンズ位置から見て合焦レンズ位置は現在のレンズ移動方向に存在すると推定し、モータ駆動方向を変更することなく、ステップＳ２３にて現在のＡＦ評価値を暫定最大値に代入し、且つ、ステップＳ２４にてＡＦモードを山登りモードに変更してから処理をステップＳ１に戻す。一方、現在のＡＦ評価値（最新のＡＦ評価値）が基準値よりも小さい場合（ステップＳ２１のＮ）、ＣＰＵ１２は、現在のレンズ位置から見て合焦レンズ位置は現在のレンズ移動方向の逆方向に存在すると推定し、ステップＳ２２にてモータ駆動方向を反転させ、且つ、ステップＳ２３にて現在のＡＦ評価値を暫定最大値に代入し、且つ、ステップＳ２４にてＡＦモードを山登りモードに変更してから処理をステップＳ１に戻す。暫定最大値は、山登りモードにて探索されるべきＡＦ評価値の最大値の暫定値である。ＡＦ評価値の最大値は、ＡＦ評価値の極大値の一種である。尚、ステップＳ２１において、現在のＡＦ評価値（最新のＡＦ評価値）が基準値と等しい場合、ＡＦ評価値及び基準値の一方が他方よりも大きくなることが確認されるまで、ＡＦモードを方向判別モードに維持してＡＦモータ１３を駆動し続ける。また、ステップＳ２１において現在のＡＦ評価値（最新のＡＦ評価値）が基準値よりも小さい場合（ステップＳ２１のＮ）、ステップＳ２３にて基準値を暫定最大値に代入しても良い。 In the direction determination process, the CPU 12 first compares the latest AF evaluation value with the above-described reference value in step S21, so that the maximum value of the AF evaluation value exists (that is, the direction where the in-focus lens position exists). Is estimated. When the current AF evaluation value (latest AF evaluation value) is larger than the reference value (Y in step S21), the CPU 12 estimates that the in-focus lens position exists in the current lens movement direction when viewed from the current lens position. Without changing the motor drive direction, the current AF evaluation value is substituted into the provisional maximum value in step S23, and the process returns to step S1 after the AF mode is changed to the hill-climbing mode in step S24. . On the other hand, when the current AF evaluation value (latest AF evaluation value) is smaller than the reference value (N in step S21), the CPU 12 determines that the in-focus lens position is the reverse of the current lens movement direction when viewed from the current lens position. In step S22, the motor driving direction is reversed, the current AF evaluation value is substituted into the provisional maximum value in step S23, and the AF mode is changed to the hill-climbing mode in step S24. Then, the process returns to step S1. The provisional maximum value is a provisional value of the maximum value of the AF evaluation value to be searched in the mountain climbing mode. The maximum value of the AF evaluation value is a kind of maximum value of the AF evaluation value. In step S21, when the current AF evaluation value (latest AF evaluation value) is equal to the reference value, the AF mode is changed until it is confirmed that one of the AF evaluation value and the reference value is larger than the other. The AF motor 13 is continuously driven while maintaining the discrimination mode. If the current AF evaluation value (latest AF evaluation value) is smaller than the reference value in Step S21 (N in Step S21), the reference value may be substituted for the provisional maximum value in Step S23.

山登り処理において、ＣＰＵ１２は、ＡＦ評価値の真の最大値（極大値）が検出されるまでＡＦモータ１３を設定した駆動方向に駆動し続ける。具体的には、山登り処理において、ＣＰＵ１２は、設定した駆動方向にＡＦモータ１３を駆動しつつ、前フィールドの入力画像のＡＦ評価値を暫定最大値に設定し、ステップＳ３１にて該暫定最大値と現フィールドの入力画像のＡＦ評価値を比較する。現フィールドの入力画像のＡＦ評価値、即ち、最新のＡＦ評価値が暫定最大値以上である場合（ステップＳ３１のＹ）、ＣＰＵ１２は、ステップＳ３２にて暫定最大値を最新のＡＦ評価値で更新してから、処理をステップＳ１に戻す（この場合、ＡＦモードは山登りモードに維持される）。一方、現フィールドの入力画像のＡＦ評価値、即ち、最新のＡＦ評価値が暫定最大値よりも小さい場合（ステップＳ３１のＮ）、ＣＰＵ１２は、ステップＳ３３及びＳ３４にて暫定最大値を真の最大値ＭＡＸとして保持すると共にモータ駆動方向を反転させ、且つ、ステップＳ３５にてＡＦモードを合焦点復帰モードに変更してから処理をステップＳ１に戻す。 In the hill climbing process, the CPU 12 continues to drive the AF motor 13 in the set driving direction until the true maximum value (maximum value) of the AF evaluation value is detected. Specifically, in the hill climbing process, the CPU 12 sets the AF evaluation value of the input image in the previous field to the provisional maximum value while driving the AF motor 13 in the set driving direction, and the provisional maximum value in step S31. And the AF evaluation value of the input image in the current field are compared. If the AF evaluation value of the input image in the current field, that is, the latest AF evaluation value is greater than or equal to the provisional maximum value (Y in step S31), the CPU 12 updates the provisional maximum value with the latest AF evaluation value in step S32. Then, the process returns to step S1 (in this case, the AF mode is maintained in the hill-climbing mode). On the other hand, if the AF evaluation value of the input image in the current field, that is, the latest AF evaluation value is smaller than the provisional maximum value (N in step S31), the CPU 12 sets the provisional maximum value to the true maximum in steps S33 and S34. The value MAX is held, the motor driving direction is reversed, and the process returns to step S1 after the AF mode is changed to the in-focus return mode in step S35.

合焦点復帰処理において、ＣＰＵ１２は、最新のＡＦ評価値が保持した最大値ＭＡＸに戻るまでＡＦモータ１３を駆動する。具体的には、ステップＳ４１において、ＣＰＵ１２は、最新のＡＦ評価値と最大値ＭＡＸを比較し、最新のＡＦ評価値と最大値ＭＡＸとの差が所定値以下である場合には、ステップＳ４２〜Ｓ４５の処理を行ってから処理をステップＳ１に戻す。その差が所定値以下でない場合には、ステップＳ４２〜Ｓ４５の処理を行うことなく処理をステップＳ１に戻す（この場合、ＡＦモードは合焦点復帰モードに維持される）。ＣＰＵ１２は、ステップＳ４２及びＳ４３において、ＡＦモータ１３を停止させ、即ちフォーカスレンズ１の移動を停止させ（ここにおけるフォーカスレンズ１の停止位置が合焦レンズ位置である）、且つ、最新のＡＦ評価値を合焦値として記憶する。 In the in-focus return process, the CPU 12 drives the AF motor 13 until the latest AF evaluation value returns to the maximum value MAX held. Specifically, in step S41, the CPU 12 compares the latest AF evaluation value with the maximum value MAX, and if the difference between the latest AF evaluation value and the maximum value MAX is equal to or less than a predetermined value, step S42 to step S42. After performing the process of S45, the process returns to step S1. If the difference is not less than the predetermined value, the process returns to step S1 without performing the processes of steps S42 to S45 (in this case, the AF mode is maintained in the in-focus return mode). In steps S42 and S43, the CPU 12 stops the AF motor 13, that is, stops the movement of the focus lens 1 (the stop position of the focus lens 1 here is the focus lens position), and the latest AF evaluation value. Is stored as an in-focus value.

ＣＰＵ１２は、ステップＳ４４において、最新の入力画像についての輝度評価値ｂ［１］〜ｂ［６４］及び色評価値ｃ［１］〜ｃ［６４］を、基準の輝度評価値ｂ_REF［１］〜ｂ_REF［６４］及び基準の色評価値ｃ_REF［１］〜ｃ_REF［６４］として記憶する。その後、ＣＰＵ１２は、ステップＳ４５にてＡＦモードを被写体監視モードに変更してから処理をステップＳ１に戻す。合焦値、輝度評価値ｂ_REF［１］〜ｂ_REF［６４］及び色評価値ｃ_REF［１］〜ｃ_REF［６４］は、合焦レンズ位置の検出後であって且つ被写体監視処理の実行前の時刻ｔ_A（図８参照）において、フォーカスレンズ１を合焦レンズ位置に配置した状態で撮影された入力画像のＡＦ評価値、輝度評価値及び色評価値である。 In step S44, the CPU 12 uses the luminance evaluation values b [1] to b [64] and the color evaluation values c [1] to c [64] for the latest input image as reference luminance evaluation values b _REF [1]. ˜b _REF [64] and reference color evaluation values c _REF [1] to c _REF [64]. Thereafter, the CPU 12 changes the AF mode to the subject monitoring mode in step S45, and then returns the process to step S1. The in-focus value, the luminance evaluation value b _REF [1] to b _REF [64], and the color evaluation value c _REF [1] to c _REF [64] are after the detection of the in-focus lens position and for subject monitoring processing. The AF evaluation value, the luminance evaluation value, and the color evaluation value of the input image taken with the focus lens 1 placed at the focus lens position at time t _A (see FIG. 8) before execution.

被写体監視処理において、ＣＰＵ１２は、被写体の合焦状態に変化があるか否かを継続的に監視する。具体的には、ステップＳ５１において、ＣＰＵ１２は、合焦値と最新のＡＦ評価値との差の絶対値を求め、その絶対値を所定の閾値ＴＨと比較する（ＴＨ＞０）。そして、その差の絶対値が所定の閾値ＴＨ以上である場合、ＣＰＵ１２は、被写体の合焦状態に変化があったと判断し、ステップＳ５２にてＡＦモードを初期化モードに変更してから処理をステップＳ１に戻す。ＡＦモードを被写体監視モードから初期化モードに変更する処理は、初期化処理、方向判別処理、山登り処理及び合焦点復帰処理を含むＡＦ動作を再起動する処理に相当する。ステップＳ５２に至る状態は、例えば、撮像装置１００のパンニングやチルティングによって撮影対象物が他の被写体に切り替わってピントが外れた状態や、撮影対象物としての被写体の被写体距離が変化してピントが外れた状態に対応する。 In the subject monitoring process, the CPU 12 continuously monitors whether there is a change in the in-focus state of the subject. Specifically, in step S51, the CPU 12 calculates an absolute value of a difference between the in-focus value and the latest AF evaluation value, and compares the absolute value with a predetermined threshold value TH (TH> 0). If the absolute value of the difference is equal to or greater than the predetermined threshold value TH, the CPU 12 determines that the in-focus state of the subject has changed, and changes the AF mode to the initialization mode in step S52 before processing. Return to step S1. The process of changing the AF mode from the subject monitoring mode to the initialization mode corresponds to a process of restarting the AF operation including the initialization process, the direction determination process, the hill climbing process, and the focus return process. The state leading to step S52 is, for example, a state in which the subject to be photographed is switched to another subject due to panning or tilting of the imaging apparatus 100, or a subject distance of the subject as the subject to be photographed is changed to focus. Corresponds to the detached state.

合焦値と最新のＡＦ評価値との差の絶対値が閾値ＴＨ未満である場合、ＣＰＵ１２は、ステップＳ５１の次にステップＳ５３及びＳ５４の処理を実行する。ここで、説明の具体化のため、被写体監視処理の実行期間中の時刻を時刻ｔ_Qと呼ぶと共に、時刻ｔ_Qの入力画像について求められた輝度評価値ｂ［１］〜ｂ［６４］及び色評価値ｃ［１］〜ｃ［６４］を、輝度評価値ｂ_Q［１］〜ｂ_Q［６４］及び色評価値ｃ_Q［１］〜ｃ_Q［６４］と呼ぶ。当然であるが、時刻ｔ_Qは時刻ｔ_Aよりも後の時刻である。図８では、時刻ｔ_Qが後述の時刻ｔ_Bと一致していないが、時刻ｔ_Qは時刻ｔ_Bと一致しうる。 When the absolute value of the difference between the in-focus value and the latest AF evaluation value is less than the threshold value TH, the CPU 12 executes steps S53 and S54 after step S51. Here, for concrete description, along with the time during the execution of an object monitoring process is referred to as time t _Q, the luminance evaluation value b [1] determined for the input image at time t _Q ~b [64] and The color evaluation values c [1] to c [64] are referred to as luminance evaluation values b _Q [1] to b _Q [64] and color evaluation values c _Q [1] to c _Q [64]. Of course, the time t _Q is a time later than the time t _A. In FIG. 8, the time t _Q does not coincide with the time t _B described below, the time t _Q may coincide with the time t _B.

ステップＳ５３において、ＣＰＵ１２は、最新の輝度評価値として輝度評価値ｂ_Q［１］〜ｂ_Q［６４］を積算器１６から取得して、分割領域ごとに輝度評価値ｂ_Q［１］〜ｂ_Q［６４］を基準の輝度評価値ｂ_REF［１］〜ｂ_REF［６４］と比較し、１以上６４以下の整数ｉの夫々に対し式“ｂ_DIF［ｉ］＝｜ｂ_REF［ｉ］−ｂ_Q［ｉ］｜”に従って輝度差分値ｂ_DIF［ｉ］を求める。そして、ＣＰＵ１２は、輝度差分値ｂ_DIF［１］〜ｂ_DIF［６４］の内、所定の基準値ｂ_TH以上の値を持つ輝度差分値の個数を、輝度変化領域数ｂ_NUMとして求める（ｂ_TH＞０）。図９に、ステップＳ５３の処理の詳細フローチャートを示す。ステップＳ５３により、時刻ｔ_Aの入力画像を基準として最新の入力画像に輝度変化が生じているか否かが分割領域ごとに評価され、輝度変化が生じている分割領域の個数が輝度変化領域数ｂ_NUMとして求められる。 In step S53, the CPU 12 acquires the luminance evaluation values b _Q [1] to b _Q [64] as the latest luminance evaluation values from the accumulator 16, and the luminance evaluation values b _Q [1] to b for each divided region. _Q [64] is compared with the reference luminance evaluation values b _REF [1] to b _REF [64], and the expression “b _DIF [i] = | b _REF [i] The luminance difference value b _DIF [i] is obtained according to −b _Q [i] | ”. Then, the CPU 12 obtains the number of luminance difference values having a value equal to or _larger than a predetermined reference value b _TH among the luminance difference values b _DIF [1] to b _DIF [64] as the luminance change area number b _NUM (b _TH > 0). FIG. 9 shows a detailed flowchart of the process in step S53. In step S53, whether or not a luminance change has occurred in the latest input image with respect to the input image at time t _A is evaluated for each divided region, and the number of divided regions in which the luminance change has occurred is the number b of luminance changing regions b. _Calculated as _NUM .

ステップＳ５４において、ＣＰＵ１２は、最新の色評価値として色評価値ｃ_Q［１］〜ｃ_Q［６４］を積算器１８から取得して、分割領域ごとに色評価値ｃ_Q［１］〜ｃ_Q［６４］を基準の色評価値ｃ_REF［１］〜ｃ_REF［６４］と比較し、１以上６４以下の整数ｉの夫々に対し式“ｃ_DIF［ｉ］＝｜ｃ_REF［ｉ］−ｃ_Q［ｉ］｜”に従って色差分値ｃ_DIF［ｉ］を求める。そして、ＣＰＵ１２は、色差分値ｃ_DIF［１］〜ｃ_DIF［６４］の内、所定の基準値ｃ_TH以上の値を持つ色差分値の個数を、色変化領域数ｃ_NUMとして求める（ｃ_TH＞０）。図１０に、ステップＳ５４の処理の詳細フローチャートを示す。ステップＳ５４により、時刻ｔ_Aの入力画像を基準として最新の入力画像に色変化が生じているか否かが分割領域ごとに評価され、色変化が生じている分割領域の個数が色変化領域数ｃ_NUMとして求められる。 In step S54, the CPU 12 acquires the color evaluation values c _Q [1] to c _Q [64] as the latest color evaluation values from the accumulator 18, and the color evaluation values c _Q [1] to c for each divided region. _Q [64] is compared with reference color evaluation values c _REF [1] to c _REF [64], and the expression “c _DIF [i] = | c _REF [i] Find the color difference value c _DIF [i] according to −c _Q [i] | ”. Then, the CPU 12 obtains the number of color difference values having a value equal to or _larger than a predetermined reference value c _TH among the color difference values c _DIF [1] to c _DIF [64] as the color change area number c _NUM (c _TH > 0). FIG. 10 shows a detailed flowchart of the process in step S54. In step S54, it is evaluated for each divided area whether or not a color change has occurred in the latest input image with reference to the input image at time t _{A, and} the number of divided areas in which the color change has occurred is the number of color change areas c. _Calculated as _NUM .

ステップＳ５３及びＳ５４に続くステップＳ５５及びＳ５６において、ＣＰＵ１２は、輝度変化領域数ｂ_NUM及び色変化領域数ｃ_NUMの夫々を所定数ＶＲ_LIMと比較し、領域数ｂ_NUM及びｃ_NUMの内の少なくとも一方が該所定数ＶＲ_LIM以上であるならば、ＡＦ評価領域３１０内の被写体に動きがあったと判断してステップＳ５７への移行を発生させる一方、領域数ｂ_NUM及びｃ_NUMの双方が所定数ＶＲ_LIM未満であるならば、ＡＦ評価領域３１０内の被写体に動きは無いと判断して処理をステップＳ１に戻す（この場合、ＡＦモードは被写体監視モードに維持される）。ＶＲ_LIMは１以上の整数である。 In steps S55 and S56 following steps S53 and S54, the CPU 12 compares each of the luminance change region number b _NUM and the color change region number c _NUM with a predetermined number VR _LIM, and at least the region numbers b _NUM and c _NUM are included. If one is equal to or greater than the predetermined number VR _LIM, it is determined that the subject in the AF evaluation area 310 has moved and a transition to step S57 occurs, while both the number of areas b _NUM and c _NUM are the predetermined number. If it is less than VR _LIM, it is determined that there is no movement in the subject in the AF evaluation area 310, and the process returns to step S1 (in this case, the AF mode is maintained in the subject monitoring mode). VR _LIM is an integer of 1 or more.

ステップＳ５７において、ＣＰＵ１２は、ＡＦモータ１３を用いてフォーカスレンズ１を無限遠端に移動させ、その移動完了後、ステップＳ５８にてＡＦモードを初期化モードに変更してから処理をステップＳ１に戻す。即ち、ＡＦ動作を再起動する。 In step S57, the CPU 12 uses the AF motor 13 to move the focus lens 1 to the infinity end. After the movement is completed, the AF mode is changed to the initialization mode in step S58, and then the process returns to step S1. . That is, the AF operation is restarted.

図８において、曲線３３０は、領域数ｂ_NUM又はｃ_NUMの時間変化の例を表している。時刻ｔ_Qの例である時刻ｔ_Bにおいて、合焦値と最新のＡＦ評価値との差の絶対値は閾値ＴＨ未満であるが、領域数ｂ_NUM又はｃ_NUMが所定数ＶＲ_LIM以上になっているため、ＡＦ動作が再起動されている。 In FIG. 8, a curve 330 represents an example of a time change of the number of regions b _NUM or c _NUM . At time t _{B as} an example of time t _Q , the absolute value of the difference between the in-focus value and the latest AF evaluation value is less than the threshold value TH, but the number of regions b _NUM or c _NUM is greater than or equal to the predetermined number VR _LIM. Therefore, the AF operation is restarted.

主要被写体（撮影者が撮影を望む主たる被写体）と撮像装置との間に金網のようなＡＦ動作にとっての阻害物がある撮影環境において、金網に一度ピントがあうと、金網にピントがあった状況から中々抜け出せないこともある。金網にピントがあっている状況では主要被写体（例えば金網の遠方に位置する野球選手）にピントがあっていないため、主要被写体が動いてもＡＦ評価値にあまり変化が生じず、結果、ステップＳ５１からステップＳ５２への移行が発生し難い。しかし、金網にピントがあっている状況下においても、ＡＦ評価領域内で主要被写体が動けば輝度分布又は色分布に変化が生じる。本実施形態では、被写体監視モードにおいて、輝度分布又は色分布を監視することでＡＦ評価領域内の被写体の動きを監視し、被写体に動きがあったと判断される場合には、ＡＦ評価値に変化が見られなくともＡＦ動作を再起動する。この再起動の際、フォーカスレンズ１の初期位置を無限遠端にすることで（ステップＳ５７）、金網よりも遠くに位置する主要被写体にピントを合わせることが可能になる。即ち、主要被写体と撮像装置との間に金網のようなＡＦ動作にとっての阻害物があるでも、阻害物にピントが合い続けることなく、主要被写体にピントを合わせることが可能になる。 In a shooting environment where there is an obstacle to AF operation such as a wire mesh between the main subject (the main subject that the photographer wants to shoot) and the imaging device, the wire mesh is in focus once the wire mesh is in focus Sometimes you can't get out of it. In a situation where the wire mesh is in focus, the main subject (for example, a baseball player located far from the wire mesh) is not in focus, so even if the main subject moves, the AF evaluation value does not change much, and as a result, step S51. To step S52 hardly occurs. However, even when the wire mesh is in focus, if the main subject moves within the AF evaluation area, the luminance distribution or the color distribution changes. In the present embodiment, in the subject monitoring mode, the movement of the subject in the AF evaluation area is monitored by monitoring the luminance distribution or the color distribution. If it is determined that the subject has moved, the AF evaluation value is changed. The AF operation is restarted even if no is seen. At the time of restarting, by setting the initial position of the focus lens 1 to the infinity end (step S57), it becomes possible to focus on the main subject located farther than the wire mesh. In other words, even if there is an obstacle to the AF operation such as a wire mesh between the main subject and the imaging device, it is possible to focus on the main subject without continuing to focus on the obstacle.

＜＜第２実施形態＞＞
本発明の第２実施形態を説明する。第２実施形態及び後述の第３〜第６実施形態は、第１実施形態を基礎とする実施形態であり、第２〜第６実施形態において特に述べない事項に関しては、矛盾なき限り、第１実施形態の記載が第２〜第６実施形態にも適用される。任意の複数の実施形態を組み合わせることも可能である。 << Second Embodiment >>
A second embodiment of the present invention will be described. The second embodiment and the third to sixth embodiments to be described later are embodiments based on the first embodiment. The matters not particularly described in the second to sixth embodiments are the first unless otherwise contradicted. The description of the embodiment is also applied to the second to sixth embodiments. Arbitrary multiple embodiments can be combined.

第２実施形態では、図７のステップＳ５７において、フォーカスレンズ１を無限遠端に移動させない。即ち、ステップＳ５７において、ＣＰＵ１２は、フォーカスレンズ１を合焦レンズ位置に配置したままでＡＦモータ１３の駆動方向を無限遠方向に対応する第２回転方向に設定する。この場合、ＣＰＵ１２は、ステップＳ５８にてＡＦモードを山登りモードに変更してから処理をステップＳ１に戻す。ＡＦモードを被写体監視モードから山登りモードに変更する処理も、ＡＦ動作を再起動する処理に相当する。 In the second embodiment, the focus lens 1 is not moved to the infinity end in step S57 of FIG. That is, in step S57, the CPU 12 sets the driving direction of the AF motor 13 to the second rotation direction corresponding to the infinity direction while the focus lens 1 is disposed at the focusing lens position. In this case, the CPU 12 changes the AF mode to the hill climbing mode in step S58, and then returns the process to step S1. The process of changing the AF mode from the subject monitoring mode to the hill climbing mode also corresponds to the process of restarting the AF operation.

再起動後、ＡＦモータ１３の駆動方向を第２回転方向に維持してＡＦモータ１３の駆動を継続すると、図１１に示す如く、ＡＦ評価値は、金網等の阻害物に対応する第１極大値から一旦減少した後、増加に転じて主要被写体に対応する第２極大値をとることになる。従って、第２実施形態では、ＡＦ動作の再起動後、ＣＰＵ１２は、図６のステップＳ３１〜Ｓ３５の処理の代わりに、第２極大値が検出されるまでＡＦモータ１３の駆動方向を第２回転方向に維持してＡＦモータ１３を駆動させる処理（即ち第２極大値が検出されるまでフォーカスレンズ１を無限遠方向に移動させる処理）と、第２極大値の検出後にＡＦモードを合焦点復帰モードに変更する処理とを行えば良く、その後、第２極大値を最大値ＭＡＸとみなした上で合焦点復帰処理を行えば良い。第２実施形態でも、第１実施形態と同様の効果が得られる。また、第１実施形態では必要となる、ステップＳ５７でのレンズ移動の時間分、再合焦までの時間が短縮されうる。 After the restart, when the driving direction of the AF motor 13 is maintained in the second rotation direction and the driving of the AF motor 13 is continued, as shown in FIG. 11, the AF evaluation value is the first maximum corresponding to an obstacle such as a wire mesh. After once decreasing from the value, it turns to increase and takes the second maximum value corresponding to the main subject. Therefore, in the second embodiment, after restarting the AF operation, the CPU 12 rotates the driving direction of the AF motor 13 for the second rotation until the second maximum value is detected instead of the processing of steps S31 to S35 in FIG. The process of driving the AF motor 13 while maintaining the direction (that is, the process of moving the focus lens 1 in the direction of infinity until the second maximum value is detected), and the AF mode is returned to the in-focus state after the second maximum value is detected. Processing to change to the mode may be performed, and then the focus return processing may be performed after the second maximum value is regarded as the maximum value MAX. In the second embodiment, the same effect as in the first embodiment can be obtained. In addition, the time required for refocusing can be shortened by the time required for lens movement in step S57, which is necessary in the first embodiment.

＜＜第３実施形態＞＞
本発明の第３実施形態を説明する。撮像装置から見て、主要被写体の遠方側にコントラストの強い背景被写体が存在することもあり、そのような場合において、背景被写体に一度ピントがあうと、背景被写体にピントがあった状況から中々抜け出せないこともある。これを考慮し、第３実施形態では、図７のステップＳ５７において、ＡＦモータ１３を用いてフォーカスレンズ１を至近端に移動させ、その移動完了後、ステップＳ５８にてＡＦモードを初期化モードに変更してから処理をステップＳ１に戻す。この場合、ステップＳ１２におけるＡＦモータ１３の駆動方向は、無限遠方向に対応する第２方向とされる。第３実施形態によれば、背景被写体にピントが合い続けることなく主要被写体へのピント合わせが可能になる。 << Third Embodiment >>
A third embodiment of the present invention will be described. In some cases, a background subject with strong contrast exists on the far side of the main subject as viewed from the imaging device.In such a case, once the background subject is in focus, it is possible to get out of the situation where the background subject is in focus. Sometimes not. Considering this, in the third embodiment, the focus lens 1 is moved to the closest end using the AF motor 13 in step S57 of FIG. 7, and after the movement is completed, the AF mode is changed to the initialization mode in step S58. Then, the process returns to step S1. In this case, the driving direction of the AF motor 13 in step S12 is the second direction corresponding to the infinity direction. According to the third embodiment, the main subject can be focused without continuously focusing on the background subject.

＜＜第４実施形態＞＞
本発明の第４実施形態を説明する。第４実施形態では、第３実施形態で述べたような環境下において、第２実施形態で述べた技術を適用する。即ち、図７のステップＳ５７において、ＣＰＵ１２は、フォーカスレンズ１を合焦レンズ位置に配置したままでＡＦモータ１３の駆動方向を至近方向に対応する第１回転方向に設定する。この場合、ＣＰＵ１２は、ステップＳ５８にてＡＦモードを山登りモードに変更してから処理をステップＳ１に戻す。ＡＦモードを被写体監視モードから山登りモードに変更する処理も、ＡＦ動作を再起動する処理に相当する。 << Fourth Embodiment >>
A fourth embodiment of the present invention will be described. In the fourth embodiment, the technique described in the second embodiment is applied under the environment described in the third embodiment. That is, in step S57 of FIG. 7, the CPU 12 sets the driving direction of the AF motor 13 to the first rotation direction corresponding to the closest direction while the focus lens 1 is disposed at the in-focus lens position. In this case, the CPU 12 changes the AF mode to the hill climbing mode in step S58, and then returns the process to step S1. The process of changing the AF mode from the subject monitoring mode to the hill climbing mode also corresponds to the process of restarting the AF operation.

再起動後、ＡＦモータ１３の駆動方向を第１回転方向に維持してＡＦモータ１３の駆動を継続すると、ＡＦ評価値は、背景被写体に対応する第１極大値から一旦減少した後、増加に転じて主要被写体に対応する第２極大値をとることになる（ここにおける第１及び第２極大値は、第２実施形態における第１及び第２極大値と異なる）。従って、第４実施形態では、ＡＦ動作の再起動後、ＣＰＵ１２は、図６のステップＳ３１〜Ｓ３５の処理の代わりに、第２極大値が検出されるまでＡＦモータ１３の駆動方向を第１回転方向に維持してＡＦモータ１３を駆動させる処理（即ち第２極大値が検出されるまでフォーカスレンズ１を至近方向に移動させる処理）と、第２極大値の検出後にＡＦモードを合焦点復帰モードに変更する処理とを行えば良く、その後、第２極大値を最大値ＭＡＸとみなした上で合焦点復帰処理を行えば良い。第４実施形態でも、第３実施形態と同様の効果が得られる。また、第３実施形態では必要となる、ステップＳ５７でのレンズ移動の時間分、再合焦までの時間が短縮されうる。 After restarting, if the driving direction of the AF motor 13 is maintained in the first rotation direction and the driving of the AF motor 13 is continued, the AF evaluation value once decreases from the first maximum value corresponding to the background subject and then increases. In turn, the second maximum value corresponding to the main subject is taken (the first and second maximum values here are different from the first and second maximum values in the second embodiment). Therefore, in the fourth embodiment, after restarting the AF operation, the CPU 12 performs the first rotation of the driving direction of the AF motor 13 until the second maximum value is detected instead of the processing of steps S31 to S35 in FIG. A process of driving the AF motor 13 while maintaining the direction (that is, a process of moving the focus lens 1 in the closest direction until the second maximum value is detected), and the AF mode is changed to the in-focus return mode after the detection of the second maximum value. The focusing process may be performed after the second maximum value is regarded as the maximum value MAX. In the fourth embodiment, the same effect as in the third embodiment can be obtained. Further, the time required for refocusing can be shortened by the time required for moving the lens in step S57, which is necessary in the third embodiment.

＜＜第５実施形態＞＞
本発明の第５実施形態を説明する。第１〜第４実施形態では、フォーカスレンズ１が駆動対象として取り扱われ、フォーカスレンズ１の位置調節を介してフォーカスレンズ１及び撮像素子２間の距離調節（相対的位置関係の調節）が行われているが、該距離調節を撮像素子２の位置調節にて実現するようにしても良い。即ち、ＣＰＵ１２及びＡＦモータ１３は、フォーカスレンズ１の代わりに撮像素子２を駆動対象として駆動しても良く、これによってフォーカスレンズ１の位置調節を行ったときと同等の作用を得るようにしても良い。 << Fifth Embodiment >>
A fifth embodiment of the present invention will be described. In the first to fourth embodiments, the focus lens 1 is handled as a driving target, and the distance adjustment (adjustment of the relative positional relationship) between the focus lens 1 and the image sensor 2 is performed via the position adjustment of the focus lens 1. However, the distance adjustment may be realized by adjusting the position of the image sensor 2. That is, the CPU 12 and the AF motor 13 may be driven with the image pickup device 2 as a driving target instead of the focus lens 1, thereby obtaining the same effect as when the position of the focus lens 1 is adjusted. good.

この場合、フォーカスレンズ１の移動及び位置等に関する、上述の各説明文において、フォーカスレンズ１を駆動対象に読み替えた後、駆動対象が撮像素子２であると考えれば良い。但し、この際、フォーカスレンズ１の位置に関する用語を撮像素子２の位置に関する用語に読み替えると良い。例えば、上述のレンズ位置及び合焦レンズ位置を、夫々、素子位置（撮像素子２の位置）及び合焦素子位置（ＡＦ評価値に極大値を与える撮像素子２の位置）に読み替えると良い。尚、ＣＰＵ１２及びＡＦモータ１３は、フォーカスレンズ１及び撮像素子２の双方を駆動対象として移動させても良い。何れにせよ、ＡＦモータ１３の駆動を介して、フォーカスレンズ１及び撮像素子２間の相対位置が調節される。フォーカスレンズ１及び撮像素子２間の相対位置は、フォーカスレンズ１の位置から見た撮像素子２の相対位置であると解釈しても良いし、撮像素子２の位置から見たフォーカスレンズ１の相対位置であると解釈しても良い。 In this case, after the focus lens 1 is read as the driving target in the above-described explanations regarding the movement and position of the focus lens 1, the driving target may be considered to be the imaging element 2. However, at this time, the term relating to the position of the focus lens 1 may be read as the term relating to the position of the image sensor 2. For example, the above-described lens position and focusing lens position may be read as an element position (position of the imaging element 2) and a focusing element position (position of the imaging element 2 that gives a maximum value to the AF evaluation value), respectively. Note that the CPU 12 and the AF motor 13 may move both the focus lens 1 and the image sensor 2 as driving targets. In any case, the relative position between the focus lens 1 and the image sensor 2 is adjusted through the driving of the AF motor 13. The relative position between the focus lens 1 and the image sensor 2 may be interpreted as the relative position of the image sensor 2 viewed from the position of the focus lens 1, or the relative position of the focus lens 1 viewed from the position of the image sensor 2. It may be interpreted as a position.

＜＜第６実施形態＞＞
本発明の第６実施形態を説明する。図１２（ａ）及び（ｂ）は、ＡＦ動作及びＡＦ動作の再起動動作に特に注目した、撮像装置１００の部分的な機能ブロック図である。 << Sixth Embodiment >>
A sixth embodiment of the present invention will be described. 12A and 12B are partial functional block diagrams of the imaging apparatus 100 with particular attention paid to the AF operation and the restart operation of the AF operation.

撮像装置１００は、フォーカスレンズ１又は撮像素子２である駆動対象を移動させる駆動部５１と、入力画像上にＡＦ評価領域（フォーカス評価領域）を設定するＡＦ評価領域設定部（フォーカス評価領域設定部）５２と、入力画像上のＡＦ評価領域内の画像信号に基づきＡＦ評価値（焦点評価値）を生成するＡＦ評価値生成部（焦点評価値生成部）５３と、ＡＦ評価値を最大化させる駆動対象の位置である合焦位置（合焦レンズ位置又は合焦素子位置）を検出して該合焦位置に駆動対象を移動させるＡＦ動作（フォーカス動作）を、駆動部５１を用いて実行するＡＦ動作実行部（フォーカス動作実行部）５４と、合焦位置の検出後にＡＦ動作を再起動させる再起動部５５と、ＡＦ評価領域内の被写体の動きを検出する動き検出部５６と、合焦位置の検出後、駆動対象を合焦位置に配置した状態で得られた、第１タイミングのＡＦ評価値を合焦値として記憶する記憶部５７と、合焦位置の検出後、ＡＦ評価値の変動量を監視するＡＦ評価値監視部５８と、を備える。第１タイミングは、図８の時刻ｔ_Aに相当する。記憶部５７は、第１タイミングの輝度評価値及び色評価値（即ち、ｂ_REF［１］〜ｂ_REF［６４］及びｃ_REF［１］〜ｃ_REF［６４］）をも記憶する。 The imaging apparatus 100 includes a drive unit 51 that moves a drive target that is the focus lens 1 or the image sensor 2, and an AF evaluation region setting unit (focus evaluation region setting unit) that sets an AF evaluation region (focus evaluation region) on the input image. ) 52, an AF evaluation value generation unit (focus evaluation value generation unit) 53 that generates an AF evaluation value (focus evaluation value) based on an image signal in the AF evaluation region on the input image, and an AF evaluation value is maximized An AF operation (focus operation) for detecting a focus position (focus lens position or focus element position) that is a position of the drive target and moving the drive target to the focus position is executed using the drive unit 51. An AF operation execution unit (focus operation execution unit) 54, a restart unit 55 that restarts the AF operation after detection of the in-focus position, a motion detection unit 56 that detects the movement of the subject in the AF evaluation area, After the position is detected, the storage unit 57 that stores the AF evaluation value at the first timing obtained as the focus target at the in-focus position, and the AF evaluation value after the detection of the in-focus position. And an AF evaluation value monitoring unit 58 that monitors the amount of variation. The first timing corresponds to time t _A in FIG. The storage unit 57 also stores the luminance evaluation value and the color evaluation value (that is, b _REF [1] to b _REF [64] and c _REF [1] to c _REF [64]) at the first timing.

図１の構成例において、駆動部５１はＡＦモータ１３にて形成され、ＡＦ評価領域設定部５２、ＡＦ動作実行部５４、再起動部５５、記憶部５７及びＡＦ評価値監視部５８はＣＰＵ１２にて実現され、ＡＦ評価値生成部５３は、生成回路９、ＨＰＦ１０及び積算器１１にて形成され、動き検出部５６は、回路１４、１５及び１７並びに積算器１６及び１８にて形成される。上述してきた説明から明らかなように、フォーカスレンズ１及び撮像素子２間の相対位置の調節動作としてのＡＦ動作は、合焦調節部とも言うべきＡＦ動作実行部５４にて実現される。ＡＦ評価値監視部５８が監視すべき変動量には、図７のステップＳ５１にて閾値ＴＨと比較されるべき“合焦値と最新のＡＦ評価値との差の絶対値”が含まれる。 In the configuration example of FIG. 1, the drive unit 51 is formed by the AF motor 13, and the AF evaluation region setting unit 52, the AF operation execution unit 54, the restart unit 55, the storage unit 57, and the AF evaluation value monitoring unit 58 are included in the CPU 12. The AF evaluation value generation unit 53 is formed by the generation circuit 9, the HPF 10 and the integrator 11, and the motion detection unit 56 is formed by the circuits 14, 15 and 17 and the integrators 16 and 18. As is clear from the above description, the AF operation as the adjustment operation of the relative position between the focus lens 1 and the image sensor 2 is realized by the AF operation execution unit 54 that can be called a focus adjustment unit. The variation amount to be monitored by the AF evaluation value monitoring unit 58 includes “the absolute value of the difference between the in-focus value and the latest AF evaluation value” to be compared with the threshold value TH in step S51 of FIG.

時刻ｔ_Qを含む被写体監視処理の実行期間中、ＡＦ動作実行部５４は、駆動対象の位置を合焦位置に保持し、再起動部５５は、時刻ｔ_Qで得られたＡＦ評価値と合焦値との差（詳細には、その差の絶対値）が所定の閾値ＴＨ以上であるときにＡＦ動作の再起動を行う（図７のステップＳ５１及びＳ５２）。更に、再起動部５５は、その差が閾値ＴＨ未満であったとしても、動き検出部５６によりＡＦ評価領域内の被写体に動きがあると検出されたときにおいては、ＡＦ動作の再起動を行う（図７のステップＳ５３〜Ｓ５８）。 During execution of an object monitoring process, including the time t _Q, the AF operation execution unit 54, and holds the position of the driven object in-focus position, restart unit 55, AF evaluation value obtained at time t _Q and covering When the difference from the focal value (specifically, the absolute value of the difference) is equal to or greater than a predetermined threshold TH, the AF operation is restarted (steps S51 and S52 in FIG. 7). Furthermore, even if the difference is less than the threshold value TH, the restarting unit 55 restarts the AF operation when the motion detecting unit 56 detects that the subject in the AF evaluation area is moving. (Steps S53 to S58 in FIG. 7).

例えば、動き検出部５６は、第１実施形態で示したように、時刻ｔ_Qの輝度評価値ｂ_Q［１］〜ｂ_Q［６４］を基準の輝度評価値ｂ_REF［１］〜ｂ_REF［６４］と比較することでＡＦ評価領域内の輝度分布の時間的な変化を検出し、その変化に基づきＡＦ評価領域内の被写体の動きの有無を検出する、或いは、時刻ｔ_Qの色評価値ｃ_Q［１］〜ｃ_Q［６４］を基準の色評価値ｃ_REF［１］〜ｃ_REF［６４］と比較することでＡＦ評価領域内の色分布の時間的な変化を検出し、その変化に基づきＡＦ評価領域内の被写体の動きの有無を検出する。動き検出部５６によって動きが検出される被写体は、実空間内で移動しうる動物体（例えば、人物又は動物）である。 For example, as shown in the first embodiment, the motion detection unit 56 uses the luminance evaluation values b _Q [1] to b _Q [64] at the time t _Q as reference luminance evaluation values b _REF [1] to b _REF. detecting a temporal change in the luminance distribution of the AF evaluation area by comparing the [64], to detect the presence or absence of motion of the subject in the AF evaluation area on the basis of the change, or color evaluation time t _Q By comparing the values c _Q [1] to c _Q [64] with the reference color evaluation values c _REF [1] to c _REF [64], a temporal change in the color distribution in the AF evaluation area is detected. Based on the change, the presence or absence of movement of the subject in the AF evaluation area is detected. The subject whose motion is detected by the motion detection unit 56 is a moving object (for example, a person or an animal) that can move in the real space.

動き検出部５６は、別の方法を用いて、ＡＦ評価領域内の被写体の動きの有無を検出しても良い。例えば、動き検出部５６は、時間的に隣接する２枚の入力画像の画像信号に基づき当該２枚の入力画像間のオプティカルフローを導出し、そのオプティカルフローに基づきＡＦ評価領域内の被写体の動きの有無を検出しても良い。ここにおける２枚の入力画像は、被写体監視処理の実行期間中に撮影された２枚の入力画像である。ここにおけるオプティカルフローは、当該２枚の入力画像のＡＦ評価領域内の画像信号に基づくオプティカルフローであり、ＡＦ評価領域内の被写体の動きを表す動きベクトルを含む。動き検出部５６は、導出したオプティカルフローの中に、所定の大きさ以上の大きさを有する動きベクトルが含まれている場合に、ＡＦ評価領域内の被写体に動きがあると検出することができ、そうでない場合に、ＡＦ評価領域内の被写体に動きが無いと検出することができる。 The motion detection unit 56 may detect the presence or absence of motion of the subject in the AF evaluation area using another method. For example, the motion detection unit 56 derives an optical flow between the two input images based on the image signals of the two input images that are temporally adjacent to each other, and the motion of the subject in the AF evaluation area based on the optical flow. The presence or absence of may be detected. The two input images in this case are two input images taken during the subject monitoring process. The optical flow here is an optical flow based on the image signal in the AF evaluation area of the two input images, and includes a motion vector representing the motion of the subject in the AF evaluation area. The motion detection unit 56 can detect that there is a motion in the subject in the AF evaluation area when the derived optical flow includes a motion vector having a size greater than or equal to a predetermined size. Otherwise, it can be detected that there is no movement in the subject in the AF evaluation area.

或いは例えば、入力画像の画像信号に基づき入力画像上の特定種類の物体を検出する物体検出部６１を動き検出部５６に設けておいても良い（図１２（ｂ）参照）。物体検出部６１は、入力画像ごとに、入力画像上における特定種類の物体の位置（例えば、中心位置又は重心位置）を検出することができる。特定種類の物体は、例えば人物の顔である。但し、特定種類の物体は、物体検出部６１が認識可能な任意の物体であって良い。物体検出部６１は、特に、入力画像のＡＦ評価領域内の画像信号に基づき、入力画像のＡＦ評価領域内に存在しうる特定種類の物体を、その位置と共に検出する。時刻ｔ_A（図８参照）に撮影された入力画像のＡＦ評価領域内において特定種類の物体が検出されたことを考える。この場合、動き検出部５６は、時刻ｔ_Aに撮影された入力画像上における特定種類の物体の位置を基準位置として記憶しておく。その後の被写体監視処理の実行期間中において、物体検出部６１は、入力画像ごとに特定種類の物体の位置を検出し、動き検出部５６は、基準位置から検出位置（時刻ｔ_Qに撮影された入力画像上における特定種類の物体の位置）に向かうベクトルＶＥＣを求める。ベクトルＶＥＣは、特定種類の物体の位置変化ベクトルに相当する。そして、動き検出部５６は、特定種類の物体の位置変化の有無に基づきＡＦ評価領域内の被写体の動きの有無を検出しても良い。つまり例えば、動き検出部５６は、上記ベクトルＶＥＣの大きさが所定大きさ以上であるとき、ＡＦ評価領域内の被写体に動きがあると検出してもよく、そうでない場合に、ＡＦ評価領域内の被写体に動きが無いと検出してもよい。 Alternatively, for example, an object detection unit 61 that detects a specific type of object on the input image based on the image signal of the input image may be provided in the motion detection unit 56 (see FIG. 12B). The object detection unit 61 can detect the position (for example, the center position or the center of gravity position) of a specific type of object on the input image for each input image. The specific type of object is, for example, a human face. However, the specific type of object may be any object that can be recognized by the object detection unit 61. In particular, the object detection unit 61 detects a specific type of object that can exist in the AF evaluation area of the input image along with its position based on the image signal in the AF evaluation area of the input image. Consider that a specific type of object has been detected in the AF evaluation area of the input image taken at time t _A (see FIG. 8). In this case, the motion detection unit 56 stores the position of a specific type of object on the input image taken at time t _A as a reference position. In subsequent during execution of an object monitoring process, the object detection unit 61 detects the position of a specific type of object for each input image, the motion detecting unit 56 was taken to the detection position (the time t _Q from the reference position A vector VEC directed to the position of a specific type of object on the input image is obtained. The vector VEC corresponds to a position change vector of a specific type of object. Then, the motion detection unit 56 may detect the presence or absence of the motion of the subject in the AF evaluation area based on the presence or absence of the position change of the specific type of object. That is, for example, when the magnitude of the vector VEC is equal to or greater than a predetermined magnitude, the motion detection unit 56 may detect that the subject in the AF evaluation area is moving, and otherwise, It may be detected that there is no movement in the subject.

尚、動き検出部５６は、入力画像の画像信号以外の情報を用いて（例えばレーダを用いて）、ＡＦ評価領域内の被写体の動きの有無を検出しても良い。 Note that the motion detection unit 56 may detect the presence or absence of motion of the subject in the AF evaluation area using information other than the image signal of the input image (for example, using a radar).

再起動されたＡＦ動作において、駆動対象の初期位置は、第１又は第３実施形態の如く、無限遠端又は至近端であっても良いし、第２又は第４実施形態の如く、再起動前の合焦位置（時刻ｔ_Aの合焦位置）であっても良い。 In the restarted AF operation, the initial position of the object to be driven may be the infinity end or the close end as in the first or third embodiment, or the initial position of the driving object may be restarted as in the second or fourth embodiment. It may be the in-focus position before activation (the in-focus position at time t _A ).

＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。 << Deformation, etc. >>
The embodiment of the present invention can be appropriately modified in various ways within the scope of the technical idea shown in the claims. The above embodiment is merely an example of the embodiment of the present invention, and the meaning of the term of the present invention or each constituent element is not limited to that described in the above embodiment. The specific numerical values shown in the above description are merely examples, and as a matter of course, they can be changed to various numerical values. As annotations applicable to the above-described embodiment, notes 1 to 3 are described below. The contents described in each comment can be arbitrarily combined as long as there is no contradiction.

［注釈１］
周知の如く、フレームは２つのフィールドによって形成されている。上述の各実施形態では、フィールド単位でＡＦ動作を含む各処理を実行しているが、フレーム単位でＡＦ動作を含む各処理を実行しても良い。この場合、第１ゲート回路８に与えられる１フレーム分の画像データにより表される画像を入力画像と考えればよい。 [Note 1]
As is well known, the frame is formed by two fields. In each of the embodiments described above, each process including the AF operation is performed in units of fields. However, each process including the AF operation may be performed in units of frames. In this case, an image represented by one frame of image data given to the first gate circuit 8 may be considered as an input image.

［注釈２］
撮像装置１００は、任意の機器（携帯電話機や情報端末装置）に搭載されるものであっても良い。 [Note 2]
The imaging device 100 may be mounted on an arbitrary device (a mobile phone or an information terminal device).

［注釈３］
撮像装置１００を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。撮像装置１００で実現されるべき機能の全部又は一部をプログラムとして記述して、該プログラムを撮像装置１００に搭載可能なフラッシュメモリに保存しておき、該プログラムをプログラム実行装置（例えば、ＣＰＵ１２）上で実行することによって、その機能の全部又は一部を実現するようにしてもよい。 [Note 3]
The imaging apparatus 100 can be configured by hardware or a combination of hardware and software. All or part of functions to be realized by the imaging apparatus 100 are described as a program, the program is stored in a flash memory that can be mounted on the imaging apparatus 100, and the program is executed by a program execution device (for example, the CPU 12). By executing the above, all or part of the functions may be realized.

１フォーカスレンズ
２撮像素子
５１駆動部
５２ＡＦ評価領域設定部
５３ＡＦ評価値生成部
５４ＡＦ動作実行部
５５再起動部
５６動き検出部
５７記憶部
１００撮像装置
３００入力画像
３１０ＡＦ評価領域
ａ［１］〜ａ［６４］分割領域 DESCRIPTION OF SYMBOLS 1 Focus lens 2 Image pick-up element 51 Drive part 52 AF evaluation area | region setting part 53 AF evaluation value production | generation part 54 AF operation | movement execution part 55 Restart part 56 Motion detection part 57 Memory | storage part 100 Imaging device 300 Input image 310 AF evaluation area a [1 ] To a [64] divided areas

Claims

A focus lens,
An image sensor that repeatedly generates an image signal of a captured image corresponding to an optical image of a subject received on the imaging surface via the focus lens;
A focus evaluation value generating unit that generates a focus evaluation value based on an image signal of the captured image;
A focus adjustment unit that adjusts a relative position between the focus lens and the image sensor based on the focus evaluation value;
A focus evaluation value monitoring unit for monitoring a fluctuation amount of the focus evaluation value;
A motion detector that detects the motion of the subject on the captured image;
A restarting unit for restarting the adjustment operation by the focus adjustment unit,
The restarting unit restarts the adjustment operation based on a monitoring result from the focus evaluation value monitoring unit and a detection result from the motion detection unit.

The focus evaluation value generation unit generates the focus evaluation value based on an image signal of a subject in a focus evaluation area corresponding to a predetermined area on the captured image,
The restarting unit restarts the adjustment operation when a variation amount of the focus evaluation value is equal to or less than a predetermined threshold and a subject in the focus evaluation area moves. Item 2. The imaging device according to Item 1.

3. The motion detection unit detects presence or absence of the motion based on a change in at least one of a luminance distribution and a color distribution in the focus evaluation region based on an image signal in the focus evaluation region. The imaging device described in 1.

The imaging apparatus according to claim 2, wherein the motion detection unit detects the presence or absence of the motion based on an optical flow based on an image signal in the focus evaluation area.

The motion detection unit includes an object detection unit that detects a position of a specific type of object in the focus evaluation region based on an image signal in the focus evaluation region, and based on a change in a detection position by the object detection unit, The imaging apparatus according to claim 2, wherein presence or absence of movement is detected.

A storage unit that stores a focus evaluation value generated based on the image signal acquired at the first timing after the adjustment operation by the focus adjustment unit as a focus value;
The focus evaluation value monitoring unit uses a difference between the focus evaluation value generated based on the image signal acquired at the second timing which is a timing after the first timing and the focus value, The imaging apparatus according to claim 2, wherein the fluctuation amount is monitored.

The focus adjustment unit adjusts the relative position by driving at least one of the focus lens and the image sensor as a driving target;
The imaging apparatus according to claim 1, wherein, in the restarted adjustment operation, the initial position of the drive target is an end of the entire movable range of the drive target.

The focus adjustment unit adjusts the relative position by driving at least one of the focus lens and the image sensor as a driving target;
In the restarted adjustment operation, the initial position of the drive target is a focus position before the restart,
The imaging apparatus according to claim 1, wherein the in-focus position is a position of the drive target that maximizes the focus evaluation value.