JP2009175442A - Imaging apparatus - Google Patents

Imaging apparatus Download PDF

Info

Publication number
JP2009175442A
JP2009175442A JP2008014060A JP2008014060A JP2009175442A JP 2009175442 A JP2009175442 A JP 2009175442A JP 2008014060 A JP2008014060 A JP 2008014060A JP 2008014060 A JP2008014060 A JP 2008014060A JP 2009175442 A JP2009175442 A JP 2009175442A
Authority
JP
Japan
Prior art keywords
unit
tracking
tracking target
imaging
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008014060A
Other languages
Japanese (ja)
Other versions
JP5217451B2 (en
Inventor
Yukikazu Iwane
幸和 岩根
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008014060A priority Critical patent/JP5217451B2/en
Publication of JP2009175442A publication Critical patent/JP2009175442A/en
Application granted granted Critical
Publication of JP5217451B2 publication Critical patent/JP5217451B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a means for detecting a tracking target more speedily when resuming a subject tracking process. <P>SOLUTION: The imaging apparatus includes: an imaging section; a template storage section; a subject tracking section; a position storage section; a focusing section; and a control section. The imaging section picks up a subject image in a photographing screen and creates image data. The template storage section stores a template indicating the feature of a tracking target. On the basis of the correlation between the template and the subject included in the image, the subject tracking section continuously detects the tracking target from the photographing screen. The position storage section stores the position where the tracking target is detected. With the subject in the position of the tracking target as an object, the focus adjusting section adjusts the focal point of an imaging optical system. The control section controls the start and end of the detection of the tracking target by the subject tracking section. When the detection of the tracking target is started again after stopping the detection of the tracking target, the subject tracking section searches for the tracking target, with a point where the tracking point is detected last as a staring point. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、被写体の追尾機能を有する撮像装置に関する。   The present invention relates to an imaging apparatus having a subject tracking function.

従来から、動きのある主要被写体に追従してフォーカス調整や露光条件の演算などを行うために、被写体追尾機能を備えた撮像装置が種々提案されている。一例として、特許文献１には、入力画像に対してテンプレートマッチング処理を施して被写体追尾を行う撮像装置が開示されている。
特開２００１−６０２６９号公報 Conventionally, various imaging apparatuses having a subject tracking function have been proposed in order to perform focus adjustment, calculation of exposure conditions, and the like following a moving main subject. As an example, Patent Document 1 discloses an imaging apparatus that performs subject tracking by performing template matching processing on an input image.
JP 2001-60269 A

ところで、被写体追尾機能を有する撮像装置では、静止画像の撮影などで一時的に中断した被写体追尾処理を再開するときにも、より迅速に追尾対象を検出することが要請されている。   By the way, an imaging apparatus having a subject tracking function is required to detect a tracking target more quickly when resuming subject tracking processing temporarily interrupted by taking a still image or the like.

そこで、本発明は、被写体の追尾機能を有する撮像装置において、被写体追尾処理を再開するときに、より迅速に追尾対象を検出するための手段を提供することを目的とする。   Accordingly, an object of the present invention is to provide a means for detecting a tracking target more quickly when the subject tracking process is resumed in an imaging apparatus having a subject tracking function.

一の形態の撮像装置は、撮像部と、テンプレート記憶部と、被写体追尾部と、位置記憶部と、焦点調節部と、制御部とを備える。撮像部は、撮影画面内の被写体像を撮像して画像のデータを生成する。テンプレート記憶部は、追尾対象の特徴を示すテンプレートを記憶する。被写体追尾部は、画像に含まれる被写体とテンプレートとの相関に基づいて、撮影画面から追尾対象を継続的に検出する。位置記憶部は、追尾対象を検出した位置を記憶する。焦点調節部は、追尾対象の位置の被写体を対象として撮像光学系の焦点調節を行う。制御部は、被写体追尾部による追尾対象の検出の開始および停止を制御する。そして、被写体追尾部は、追尾対象の検出を停止した後で追尾対象の検出を開始するときに、追尾対象を最後に検出した位置を起点として追尾対象を探索する。   An imaging apparatus according to one aspect includes an imaging unit, a template storage unit, a subject tracking unit, a position storage unit, a focus adjustment unit, and a control unit. The imaging unit captures a subject image in the shooting screen and generates image data. The template storage unit stores a template indicating the characteristics of the tracking target. The subject tracking unit continuously detects the tracking target from the shooting screen based on the correlation between the subject included in the image and the template. The position storage unit stores the position where the tracking target is detected. The focus adjustment unit adjusts the focus of the imaging optical system with respect to the subject at the tracking target position. The control unit controls the start and stop of detection of the tracking target by the subject tracking unit. Then, the subject tracking unit searches for the tracking target from the position where the tracking target was last detected when starting detection of the tracking target after stopping the detection of the tracking target.

上記の一の形態において、撮像装置は、操作部材をさらに備えていてもよい。この操作部材は、焦点調節部に焦点調節の実行を指示するＡＦ指示操作と、撮像部に記録用の静止画像の撮像を指示する撮像指示操作とをそれぞれ受け付ける。そして、制御部は、ＡＦ指示操作または撮像指示操作に応じて追尾対象の検出を停止させるとともに、ＡＦ指示操作の解除または静止画像の撮像終了によって追尾対象の検出を再び開始させてもよい。   In the one aspect described above, the imaging device may further include an operation member. The operation member receives an AF instruction operation for instructing the focus adjustment unit to perform focus adjustment and an imaging instruction operation for instructing the imaging unit to capture a still image for recording. Then, the control unit may stop detection of the tracking target in response to the AF instruction operation or the imaging instruction operation, and may start detection of the tracking target again by releasing the AF instruction operation or ending the imaging of the still image.

上記の一の形態において、撮像装置は、撮像指示部と、追尾指示部とをさらに備えていてもよい。撮像指示部は、撮像部に記録用の静止画像の撮像を指示する撮像指示操作を受け付ける。追尾指示部は、追尾対象の検出を開始させる追尾開始操作を受け付ける。そして、制御部は、追尾開始操作に応じて追尾対象の検出を開始させるとともに、撮像指示操作に応じて追尾対象の検出を停止させてもよい。   In the one aspect described above, the imaging apparatus may further include an imaging instruction unit and a tracking instruction unit. The imaging instruction unit receives an imaging instruction operation that instructs the imaging unit to capture a still image for recording. The tracking instruction unit receives a tracking start operation for starting detection of a tracking target. The control unit may start detection of the tracking target according to the tracking start operation and stop detection of the tracking target according to the imaging instruction operation.

上記の一の形態において、被写体追尾部は、追尾対象の検出を停止した後で追尾対象の検出を開始するときに、追尾対象を最後に検出した位置に基づいて、撮影画面のうちで追尾対象を探索する探索範囲を設定してもよい。   In the one mode described above, the subject tracking unit detects the tracking target on the shooting screen based on the position where the tracking target was last detected when the tracking target is started after the tracking target detection is stopped. You may set the search range which searches.

上記の一の形態において、被写体追尾部は、追尾対象の検出を停止した後で追尾対象の検出を開始するときに、追尾対象を最後に検出したときの相関の値に応じて探索範囲のサイズを変化させてもよい。   In the one form described above, the subject tracking unit detects the size of the search range according to the correlation value when the tracking target is last detected when the tracking target is started after the tracking target detection is stopped. May be changed.

上記の一の形態において、撮像装置は、パラメータ設定部と、撮像制御部とをさらに備えていてもよい。パラメータ設定部は、撮像部に入射する単位時間当たりの光量を調整する手段、撮像部で画像を撮像するときのシャッタスピード、撮像部の感度設定のうちの少なくとも１つのパラメータを設定する。また、撮像制御部は、パラメータに基づいて撮像部を制御する。また、撮像制御部は、追尾対象の検出を再開するときには、各々のパラメータの状態を追尾対象を最後に検出したときと同一に設定する。   In the one aspect, the imaging apparatus may further include a parameter setting unit and an imaging control unit. The parameter setting unit sets at least one parameter among means for adjusting the amount of light per unit time incident on the imaging unit, a shutter speed when an image is captured by the imaging unit, and sensitivity setting of the imaging unit. The imaging control unit controls the imaging unit based on the parameters. In addition, when resuming the tracking target detection, the imaging control unit sets the state of each parameter to be the same as when the tracking target was last detected.

上記の一の形態において、撮像装置は、パラメータ設定部と、撮像制御部とをさらに備えていてもよい。パラメータ設定部は、画像のホワイトバランスを調整するためのホワイトバランス調整値を設定する。撮像制御部は、ホワイトバランス調整値に基づいて撮像部を制御する。また、撮像制御部は、追尾対象の検出を再開するときには、ホワイトバランス調整値を追尾対象を最後に検出したときと同一に設定する。   In the one aspect, the imaging apparatus may further include a parameter setting unit and an imaging control unit. The parameter setting unit sets a white balance adjustment value for adjusting the white balance of the image. The imaging control unit controls the imaging unit based on the white balance adjustment value. In addition, when resuming the tracking target detection, the imaging control unit sets the white balance adjustment value the same as when the tracking target was last detected.

本発明では、追尾対象の検出を再開するときに、追尾対象を最後に検出した位置を起点として追尾対象を探索し、より迅速に追尾対象を検出することができる。   In the present invention, when the detection of the tracking target is resumed, the tracking target is searched from the position where the tracking target was last detected, and the tracking target can be detected more quickly.

＜電子カメラの構成の説明＞
図１は本実施形態の電子カメラの構成を説明するブロック図である。また、図２は、本実施形態の電子カメラの背面側外観図である。ここで、本実施形態の電子カメラは、撮影モードの一つとして、被写体追尾モードを有している。なお、被写体追尾モードでは、時系列に取得される複数の画像から追尾対象の被写体を電子カメラが継続的に検出することができる。なお、上記の被写体追尾モードは、例えば、子供の撮影に適したキッズモードなどの一機能として電子カメラに実装されるものであってもよい。 <Description of the configuration of the electronic camera>
FIG. 1 is a block diagram illustrating the configuration of the electronic camera of this embodiment. FIG. 2 is an external view of the back side of the electronic camera of this embodiment. Here, the electronic camera of the present embodiment has a subject tracking mode as one of the shooting modes. In the subject tracking mode, the electronic camera can continuously detect the subject to be tracked from a plurality of images acquired in time series. Note that the subject tracking mode described above may be implemented in an electronic camera as one function such as a kids mode suitable for photographing children.

電子カメラは、撮像光学系１１およびレンズ駆動部１２と、絞り１３および絞り駆動部１４と、撮像素子１５と、ＡＦＥ１６と、画像処理部１７と、第１メモリ１８と、記録Ｉ／Ｆ（インターフェース）１９と、モニタ２０と、操作部材２１と、振動センサ２２と、ＣＰＵ２３と、第２メモリ２４と、バス２５とを有している。   The electronic camera includes an imaging optical system 11 and a lens driving unit 12, an aperture 13 and an aperture driving unit 14, an imaging device 15, an AFE 16, an image processing unit 17, a first memory 18, and a recording I / F (interface). ) 19, a monitor 20, an operation member 21, a vibration sensor 22, a CPU 23, a second memory 24, and a bus 25.

ここで、上記の構成部品は、全体形状が薄箱状の筐体２６に格納されている。また、画像処理部１７、第１メモリ１８、記録Ｉ／Ｆ１９、モニタ２０、ＣＰＵ２３および第２メモリ２４は、バス２５を介してそれぞれ接続されている。さらに、レンズ駆動部１２、絞り駆動部１４、撮像素子１５、ＡＦＥ１６、操作部材２１および振動センサ２２は、それぞれＣＰＵ２３に接続されている。   Here, the above-described component parts are stored in a casing 26 having a thin box shape as a whole. Further, the image processing unit 17, the first memory 18, the recording I / F 19, the monitor 20, the CPU 23, and the second memory 24 are respectively connected via a bus 25. Further, the lens driving unit 12, the diaphragm driving unit 14, the image sensor 15, the AFE 16, the operation member 21, and the vibration sensor 22 are each connected to the CPU 23.

撮像光学系１１は、ズームレンズ、フォーカシングレンズ、ブレ補正レンズを含む複数のレンズ群で構成されている。撮像光学系１１のうちでズームレンズやフォーカシングレンズのレンズ位置は、レンズ駆動部１２によって光軸方向に調整される。また、レンズ駆動部１２は、撮像光学系１１のブレ補正レンズを光軸に対して直角方向に揺動させる。これにより、被写体像の結像位置がシフトして、撮像素子１５の受光面における被写体の像ブレが抑制される。なお、簡単のため、図１では撮像光学系１１を１枚のレンズとして図示する。   The imaging optical system 11 includes a plurality of lens groups including a zoom lens, a focusing lens, and a shake correction lens. The lens positions of the zoom lens and the focusing lens in the imaging optical system 11 are adjusted by the lens driving unit 12 in the optical axis direction. The lens driving unit 12 swings the blur correction lens of the imaging optical system 11 in a direction perpendicular to the optical axis. Thereby, the imaging position of the subject image is shifted, and the image blur of the subject on the light receiving surface of the image sensor 15 is suppressed. For simplicity, the imaging optical system 11 is illustrated as a single lens in FIG.

絞り１３は、撮像素子１５に入射する単位時間当たりの光量を調節する。この絞り１３の開口量は、ＣＰＵ２３の指示に応じて絞り駆動部１４が調整する。   The diaphragm 13 adjusts the amount of light per unit time incident on the image sensor 15. The aperture of the aperture 13 is adjusted by the aperture drive unit 14 in accordance with an instruction from the CPU 23.

撮像素子１５は、撮像光学系１１および絞り１３を通過した光束による被写体像を光電変換してアナログの画像信号を生成する。この撮像素子１５の出力はＡＦＥ１６に接続されている。なお、撮像素子１５の電荷蓄積時間および信号読みだしは、ＣＰＵ２３によって制御される。   The image sensor 15 photoelectrically converts a subject image formed by a light beam that has passed through the imaging optical system 11 and the diaphragm 13 to generate an analog image signal. The output of the image sensor 15 is connected to the AFE 16. The charge accumulation time and signal reading of the image sensor 15 are controlled by the CPU 23.

ここで、電子カメラの撮影モードにおいて、撮像素子１５は後述のレリーズ釦３０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子１５は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ２０での動画像表示やＣＰＵ２３による各種の演算処理に使用される。なお、各々のスルー画像の解像度は、本画像よりも低く設定されている。   Here, in the shooting mode of the electronic camera, the imaging device 15 captures a still image (main image) for recording in response to a full pressing operation of a release button 30 described later. Further, the imaging element 15 in the shooting mode continuously takes images for observation (through images) at predetermined intervals even during standby for shooting. Here, the data of the through image acquired in time series is used for moving image display on the monitor 20 and various arithmetic processes by the CPU 23. Note that the resolution of each through image is set lower than that of the main image.

ＡＦＥ１６は、撮像素子１５の出力に対してアナログ信号処理を施すアナログフロントエンド回路である。このＡＦＥ１６は、相関二重サンプリングや、画像信号のゲインの調整や、画像信号のＡ／Ｄ変換を行う。そして、ＡＦＥ１６の出力は画像処理部１７に接続されている。なお、ＣＰＵ２３は、ＡＦＥ１６において画像信号のゲインを調整することで、ＩＳＯ感度に相当する撮像感度を調整できる。   The AFE 16 is an analog front end circuit that performs analog signal processing on the output of the image sensor 15. The AFE 16 performs correlated double sampling, image signal gain adjustment, and image signal A / D conversion. The output of the AFE 16 is connected to the image processing unit 17. The CPU 23 can adjust the imaging sensitivity corresponding to the ISO sensitivity by adjusting the gain of the image signal in the AFE 16.

画像処理部１７は、デジタルの画像信号に対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整など）を施す。また、画像処理部１７は、本画像のデータの圧縮伸長処理も実行する。   The image processing unit 17 performs various types of image processing (color interpolation processing, gradation conversion processing, contour enhancement processing, white balance adjustment, etc.) on the digital image signal. The image processing unit 17 also executes compression / decompression processing of the main image data.

また、画像処理部１７は、画像の解像度変換（画素数変換）を実行する。一例として、撮影モードでの撮影待機時には、画像処理部１７は、スルー画像に解像度変換を施してモニタ表示用のビュー画像を生成する。   The image processing unit 17 performs image resolution conversion (pixel number conversion). As an example, at the time of shooting standby in the shooting mode, the image processing unit 17 performs resolution conversion on the through image and generates a view image for monitor display.

第１メモリ１８は、画像処理部１７による画像処理の前工程や後工程で画像のデータを一時的に記憶するバッファメモリである。この第１メモリ１８は揮発性の記憶媒体であるＳＤＲＡＭにより構成される。   The first memory 18 is a buffer memory that temporarily stores image data in the pre-process and post-process of image processing by the image processing unit 17. The first memory 18 is constituted by an SDRAM which is a volatile storage medium.

記録Ｉ／Ｆ１９には、不揮発性の記憶媒体２７を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ１９は、コネクタに接続された記憶媒体２７に対してデータの書き込み／読み込みを実行する。上記の記憶媒体２７は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１では記憶媒体２７の一例としてメモリカードを図示する。   The recording I / F 19 is formed with a connector for connecting a nonvolatile storage medium 27. Then, the recording I / F 19 executes data writing / reading with respect to the storage medium 27 connected to the connector. The storage medium 27 is composed of a hard disk, a memory card incorporating a semiconductor memory, or the like. In FIG. 1, a memory card is illustrated as an example of the storage medium 27.

モニタ２０は、ＣＰＵ２３の指示に応じて各種画像を表示する。本実施形態の例では、筐体２６の背面に配置された液晶表示パネルによってモニタ２０が構成される（図２参照）。なお、モニタ２０は、筐体２６の背面からみて左側（図２の左側）に寄せて配置されている。   The monitor 20 displays various images according to instructions from the CPU 23. In the example of the present embodiment, the monitor 20 is configured by a liquid crystal display panel disposed on the back surface of the housing 26 (see FIG. 2). The monitor 20 is arranged close to the left side (left side in FIG. 2) when viewed from the back of the housing 26.

また、撮影モードでの撮影待機時において、モニタ２０には、ＣＰＵ２３の制御により上記のビュー画像が動画表示される。このとき、ＣＰＵ２３は、撮影に必要となる各種情報をモニタ２０のビュー画像上にオーバーレイ表示させることもできる。また、ＣＰＵ２３は、各種の設定項目の入力が可能なメニュー画面をモニタ２０に表示させることもできる。   Further, during the shooting standby in the shooting mode, the view image is displayed as a moving image on the monitor 20 under the control of the CPU 23. At this time, the CPU 23 can also display various information necessary for shooting on the view image of the monitor 20 in an overlay manner. Further, the CPU 23 can also display on the monitor 20 a menu screen on which various setting items can be input.

操作部材２１は、ユーザーの操作を受け付ける複数のスイッチを有している。具体的には、本実施形態の操作部材２１には、レリーズ釦３０、ズームスイッチ３１と、モード選択釦３２と、再生釦３３と、メニュー釦３４と、削除釦３５と、多機能操作スイッチ３６とが含まれる。   The operation member 21 has a plurality of switches that accept user operations. Specifically, the operation member 21 of the present embodiment includes a release button 30, a zoom switch 31, a mode selection button 32, a playback button 33, a menu button 34, a delete button 35, and a multi-function operation switch 36. And are included.

ここで、レリーズ釦３０は、半押し操作による撮影前のオートフォーカス（ＡＦ）動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザーから受け付ける。   Here, the release button 30 receives from the user an instruction input for starting an autofocus (AF) operation before photographing by a half-press operation and an instruction input for starting an imaging operation by a full-press operation.

ズームスイッチ３１は、ズームレンズの移動による光学的なズーム操作や、ビュー画像の解像度変更による電子的なズーム操作をユーザーから受け付ける。   The zoom switch 31 receives an optical zoom operation by moving the zoom lens and an electronic zoom operation by changing the resolution of the view image from the user.

モード選択釦３２は、電子カメラの動作モードを選択するための操作をユーザーから受け付ける。再生釦３３は、本画像の再生表示を行う再生モードへの移行操作をユーザーから受け付ける。メニュー釦３４は、メニュー画面を立ち上げるための操作をユーザーから受け付ける。削除釦３５は、上記の再生モードにおいて、表示中の再生画像に対応する本画像のデータを消去する操作をユーザーから受け付ける。   The mode selection button 32 receives an operation for selecting an operation mode of the electronic camera from the user. The playback button 33 receives from the user an operation of shifting to a playback mode for performing playback display of the main image. The menu button 34 receives an operation for starting up the menu screen from the user. The delete button 35 receives, from the user, an operation for erasing the main image data corresponding to the displayed reproduction image in the reproduction mode.

多機能操作スイッチ３６の上面には、決定釦３７およびダイヤル３８が配置されている。ダイヤル３８の全体形状は環状であって、ダイヤル３８の内周側には決定釦３７が配置されている。そして、ダイヤル３８では、例えばメニュー画面等での項目選択の入力をユーザーから受け付ける。また、決定釦３７では、メニュー画面等での項目決定の入力をユーザーから受け付ける。さらに、多機能操作スイッチ３６の本体部分は、上下左右の４方向の入力を受け付ける十字キーとして機能する。なお、被写体追尾モードでは、被写体追尾の開始および停止に関する操作が上記の決定釦３７に割り当てられている。   An enter button 37 and a dial 38 are arranged on the upper surface of the multi-function operation switch 36. The overall shape of the dial 38 is annular, and a determination button 37 is disposed on the inner peripheral side of the dial 38. The dial 38 receives an input for selecting an item on a menu screen, for example, from the user. The decision button 37 accepts an item decision input on the menu screen or the like from the user. Furthermore, the main body portion of the multi-function operation switch 36 functions as a cross key that accepts input in four directions, up, down, left, and right. In the subject tracking mode, operations related to the start and stop of subject tracking are assigned to the determination button 37 described above.

また、図２に示すように、操作部材２１の各スイッチは、筐体２６の背面からみて右側（図２の右側）に寄せて配置されている。そのため、操作部材２１の各スイッチは、ユーザーが簡単に片手操作できるようになっている。また、ズームスイッチ３１、モード選択釦３２、再生釦３３、メニュー釦３４、削除釦３５および多機能操作スイッチ３６はそれぞれ筐体２６の背面に配置される一方で、レリーズ釦３０は筐体２６の上面に配置されている。そのため、ユーザーは、レリーズ釦３０と他のスイッチとを容易に識別することができる。   As shown in FIG. 2, each switch of the operation member 21 is arranged close to the right side (the right side in FIG. 2) when viewed from the back of the housing 26. Therefore, each switch of the operation member 21 can be easily operated by the user with one hand. The zoom switch 31, the mode selection button 32, the playback button 33, the menu button 34, the delete button 35, and the multi-function operation switch 36 are respectively arranged on the back of the housing 26, while the release button 30 is provided on the housing 26. Arranged on the top surface. Therefore, the user can easily identify the release button 30 and other switches.

振動センサ２２は、電子カメラに対する振動の方向および大きさを検知する。本実施形態での振動センサ２２は、電子カメラの縦揺れを検出する縦方向角速度センサと、電子カメラの横揺れを検出する横方向角速度センサとを備えている。上記の各々の角速度センサには、例えば回転によるコリオリ力を検出する圧電振動式角速度センサなどが用いられる。   The vibration sensor 22 detects the direction and magnitude of vibration with respect to the electronic camera. The vibration sensor 22 in the present embodiment includes a vertical angular velocity sensor that detects the pitch of the electronic camera and a horizontal angular velocity sensor that detects the roll of the electronic camera. As each of the above angular velocity sensors, for example, a piezoelectric vibration type angular velocity sensor that detects Coriolis force due to rotation is used.

ＣＰＵ２３は、電子カメラの動作を統括的に制御するプロセッサである。例えば、ＣＰＵ２３は、振動センサ２２の出力に基づいてブレ補正レンズを駆動させて、光学的なブレ補正を実行する。また、ＣＰＵ２３は、第２メモリ２４に格納されたプログラムの実行により、パラメータ設定部４０、焦点調節部４１、テンプレート生成部４２、被写体追尾部４３として機能する。   The CPU 23 is a processor that comprehensively controls the operation of the electronic camera. For example, the CPU 23 drives the blur correction lens based on the output of the vibration sensor 22 and executes optical blur correction. Further, the CPU 23 functions as a parameter setting unit 40, a focus adjustment unit 41, a template generation unit 42, and a subject tracking unit 43 by executing a program stored in the second memory 24.

パラメータ設定部４０では、スルー画像のデータを用いて公知の自動露出（ＡＥ）演算を実行する。そして、パラメータ設定部４０は、絞り１３の絞り値、撮像素子１５での電荷蓄積時間（シャッタスピード）、ＡＦＥ１６のゲイン（撮像感度）の各パラメータをそれぞれ設定する。なお、ＣＰＵ２３は、上記のパラメータに基づいて電子カメラの各部を制御し、スルー画像や本画像の撮像を実行することとなる。   The parameter setting unit 40 executes a known automatic exposure (AE) calculation using the live view image data. The parameter setting unit 40 sets parameters for the aperture value of the aperture 13, the charge accumulation time (shutter speed) in the image sensor 15, and the gain (imaging sensitivity) of the AFE 16. Note that the CPU 23 controls each part of the electronic camera based on the above parameters, and executes the through image and the main image.

また、パラメータ設定部４０は、スルー画像のデータや本画像のデータを用いてホワイトバランス演算を実行する。   Further, the parameter setting unit 40 performs white balance calculation using the data of the through image and the data of the main image.

具体的には、パラメータ設定部４０は、画像のデータをＲ（赤），Ｇ（緑），Ｂ（青）成分に分解し、各色成分の階調の平均値Ｒａｖｅ，Ｇａｖｅ，Ｂａｖｅをそれぞれ求める。そして、パラメータ設定部４０は、画像のホワイトバランスを調整するためのホワイトバランス調整値（Ｇｒｄ，Ｇｂｄ）を求める。Ｒのレベルを補正するためのホワイトバランス調整値Ｇｒｄは、Ｇａｖｅ／Ｒａｖｅから求めることができる。また、Ｂのレベルを補正するためのホワイトバランス調整値Ｇｂｄは、Ｇａｖｅ／Ｂａｖｅから求めることができる。なお、画像処理部１７は、上記のホワイトバランス調整値（Ｇｒｄ，Ｇｂｄ）を適用してホワイトバランス調整を実行する。   Specifically, the parameter setting unit 40 decomposes the image data into R (red), G (green), and B (blue) components, and obtains average values Rave, Gave, and Bave of each color component, respectively. . Then, the parameter setting unit 40 obtains white balance adjustment values (Grd, Gbd) for adjusting the white balance of the image. The white balance adjustment value Grd for correcting the R level can be obtained from Gave / Rave. The white balance adjustment value Gbd for correcting the B level can be obtained from Gave / Bave. The image processing unit 17 executes white balance adjustment by applying the white balance adjustment values (Grd, Gbd) described above.

焦点調節部４１は、スルー画像のデータを用いて、公知のコントラスト検出によるＡＦ制御を実行する。   The focus adjustment unit 41 executes AF control by known contrast detection using the through image data.

テンプレート生成部４２は、入力された画像から追尾対象の物体を識別するためのテンプレートのデータを生成する。本実施形態の電子カメラでは、人間、動物、建築物、乗物などを含むあらゆる物体を追尾対象としてテンプレートを生成することが可能である。   The template generation unit 42 generates template data for identifying the tracking target object from the input image. In the electronic camera of this embodiment, it is possible to generate a template with any object including a human, an animal, a building, a vehicle, etc. as a tracking target.

一例として、テンプレート生成部４２は、撮影画面内に設定されているテンプレート生成範囲のスルー画像を用いてテンプレートのデータを生成する。なお、上記のテンプレートのデータには、ＹＣｂＣｒの各チャンネルのデータ（被写体の輝度情報、色差情報）が含まれる。   As an example, the template generation unit 42 generates template data using a through image of the template generation range set in the shooting screen. The template data includes YCbCr channel data (subject luminance information and color difference information).

被写体追尾部４３は、上記のテンプレートを用いて、撮影画面内における追尾対象の被写体の位置を継続的に検出する。これにより、焦点調節部４１では、テンプレートに対応する被写体の動きに追従してＡＦ制御を行うことができる。また、ＣＰＵ２３は、テンプレートに対応する被写体の位置を示すマークをモニタ２０のビュー画像上に重畳表示させることもできる。   The subject tracking unit 43 continuously detects the position of the subject to be tracked in the shooting screen using the template. Accordingly, the focus adjustment unit 41 can perform AF control following the movement of the subject corresponding to the template. The CPU 23 can also superimpose and display a mark indicating the position of the subject corresponding to the template on the view image of the monitor 20.

第２メモリ２４は、フラッシュメモリ等の不揮発性の記憶媒体で構成される。この第２メモリ２４には、上記のテンプレートのデータや、被写体追尾処理での各種データ（撮影画面内での追尾対象の位置や、後述の類似度など）がそれぞれ記憶される。なお、第２メモリ２４には、ＣＰＵ２３によって実行されるプログラムも記憶される。このプログラムによる被写体追尾モードでの動作例については後述する。   The second memory 24 is configured by a nonvolatile storage medium such as a flash memory. The second memory 24 stores the above-described template data and various data in the subject tracking process (the position of the tracking target in the shooting screen, the similarity described later, etc.). Note that the second memory 24 also stores a program executed by the CPU 23. An example of the operation in the subject tracking mode by this program will be described later.

＜電子カメラの動作説明＞
以下、本実施形態の電子カメラにおける被写体追尾モードを説明する。まず、被写体追尾モードの起動方法の一例を説明する。 <Description of electronic camera operation>
Hereinafter, the subject tracking mode in the electronic camera of this embodiment will be described. First, an example of a method for starting the subject tracking mode will be described.

ユーザーによるモード選択釦３２の入力があると、ＣＰＵ２３は撮影モードの選択画面（不図示）をモニタ２０に表示する。この撮影モードの選択画面ではＧＵＩ形式のダイヤルがモニタ２０に表示され、ユーザーは「通常撮影モード」、「シーンモード」などの選択入力を行うことができる。そして、撮影モードの選択画面でシーンモードを選択する入力を受け付けると、ＣＰＵ２３はシーンモードに含まれる撮影モード（例えば、夜景撮影モード、風景撮影モード、被写体追尾モードなど）のうちのいずれかを立ち上げる。このとき、シーンモードにおけるデフォルトの撮影モードが「被写体追尾モード」である場合には、ＣＰＵ２３は被写体追尾モードで電子カメラを起動させる。   When the user inputs the mode selection button 32, the CPU 23 displays a shooting mode selection screen (not shown) on the monitor 20. In this shooting mode selection screen, a GUI-type dial is displayed on the monitor 20, and the user can select and input "normal shooting mode", "scene mode", and the like. Then, upon receiving an input for selecting a scene mode on the shooting mode selection screen, the CPU 23 sets one of shooting modes included in the scene mode (for example, night view shooting mode, landscape shooting mode, subject tracking mode, etc.). increase. At this time, if the default shooting mode in the scene mode is the “subject tracking mode”, the CPU 23 activates the electronic camera in the subject tracking mode.

また、シーンモードでの動作時にユーザーがメニュー釦３４を押圧すると、ＣＰＵ２３はシーンモードにおけるメニュー画面（不図示）をモニタ２０に表示する。このメニュー画面では、シーンモードに含まれる各撮影モードの切り替えをユーザーが実行できる。そして、メニュー画面で「被写体追尾モード」を選択する入力を受け付けると、ＣＰＵ２３は被写体追尾モードで電子カメラを起動させる。   When the user presses the menu button 34 during operation in the scene mode, the CPU 23 displays a menu screen (not shown) in the scene mode on the monitor 20. On this menu screen, the user can switch between shooting modes included in the scene mode. When receiving an input for selecting the “subject tracking mode” on the menu screen, the CPU 23 activates the electronic camera in the subject tracking mode.

次に、図３，図４の流れ図を参照しつつ、被写体追尾モードでの動作例を詳述する。なお、被写体追尾モードでの電子カメラの動作は、ＣＰＵ２３の実行するプログラムによって制御される。   Next, an example of the operation in the subject tracking mode will be described in detail with reference to the flowcharts of FIGS. The operation of the electronic camera in the subject tracking mode is controlled by a program executed by the CPU 23.

ステップＳ１０１：ＣＰＵ２３は、撮像素子１５を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。また、ＣＰＵ２３は、スルー画像から生成されたビュー画像をモニタ２０に動画表示させる。したがって、ユーザーは、モニタ２０のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。   Step S101: The CPU 23 drives the image sensor 15 to start capturing a through image. Thereafter, the through images are sequentially generated at predetermined intervals. Further, the CPU 23 causes the monitor 20 to display a moving image of the view image generated from the through image. Therefore, the user can perform framing for determining the shooting composition with reference to the view image on the monitor 20.

また、Ｓ１０１でのＣＰＵ２３は、撮影画面内のテンプレート生成範囲を示すガイドマーク（矩形の枠表示）をビュー画像に重畳させる（図５参照）。上記の枠表示は、ＣＰＵ２３の制御によって撮影画面の中央部に白色で表示される。なお、上記の枠表示の中に追尾対象の被写体を収めた状態でユーザーが決定釦３７を押圧すると、ＣＰＵ２３は被写体追尾処理を開始する。   In S101, the CPU 23 superimposes a guide mark (rectangular frame display) indicating the template generation range in the shooting screen on the view image (see FIG. 5). The frame display is displayed in white at the center of the shooting screen under the control of the CPU 23. When the user presses the enter button 37 with the subject to be tracked contained in the frame display, the CPU 23 starts subject tracking processing.

ステップＳ１０２：ＣＰＵ２３は、多機能操作スイッチ３６の決定釦３７が押圧されたか否かを判定する。決定釦３７が押圧された場合（ＹＥＳ側）にはＳ１０３に移行する。一方、決定釦３７が押圧されていない場合（ＮＯ側）にはＳ１２８に移行する。   Step S102: The CPU 23 determines whether or not the determination button 37 of the multi-function operation switch 36 has been pressed. When the determination button 37 is pressed (YES side), the process proceeds to S103. On the other hand, when the determination button 37 is not pressed (NO side), the process proceeds to S128.

ステップＳ１０３：焦点調節部４１は、撮影画面の中央部（Ｓ１０１での枠表示の位置）を焦点検出エリアとしてＡＦ制御を実行する。また、パラメータ設定部４０は、スルー画像のデータを用いてＡＥ演算およびホワイトバランス演算を実行する。   Step S103: The focus adjustment unit 41 executes AF control with the central portion of the shooting screen (the frame display position in S101) as the focus detection area. The parameter setting unit 40 performs AE calculation and white balance calculation using the data of the through image.

ステップＳ１０４：被写体追尾部４３は、撮影画面のうちで追尾対象を探索する部分領域（探索エリア）の設定を初期化する。図６は、本実施形態における探索エリアの初期状態の一例を示した図である。Ｓ１０４での被写体追尾部４３は、３×３の配列をなすように撮影画面を９つに等分割した領域のうちで、画面中央の部分領域を探索エリアに指定する。   Step S104: The subject tracking unit 43 initializes the setting of a partial area (search area) for searching for a tracking target in the shooting screen. FIG. 6 is a diagram showing an example of the initial state of the search area in the present embodiment. The subject tracking unit 43 in S104 designates a partial area at the center of the screen as a search area among the areas obtained by equally dividing the shooting screen into nine so as to form a 3 × 3 array.

ステップＳ１０５：ＣＰＵ２３は、Ｓ１０３でのＡＦ制御によって、焦点検出エリアにおけるフォーカスレンズの合焦位置を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１０７に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１０６に移行する。   Step S105: The CPU 23 determines whether or not the focus position of the focus lens in the focus detection area has been detected by the AF control in S103. If the above requirement is satisfied (YES side), the process proceeds to S107. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to S106.

ステップＳ１０６：ＣＰＵ２３は、テンプレート生成範囲（枠表示に対応する範囲）の被写体が非合焦状態であることを示すＮＧ処理を実行する。一例として、ＣＰＵ２３は、モニタ２０の枠表示を一時的に赤色に変更するとともに、スピーカー（不図示）から非合焦時の警告音を出力する。   Step S106: The CPU 23 executes an NG process indicating that the subject in the template generation range (range corresponding to the frame display) is out of focus. As an example, the CPU 23 temporarily changes the frame display of the monitor 20 to red, and outputs a warning sound when out of focus from a speaker (not shown).

その後、ＣＰＵ２３は、枠表示を再び白色に変更するとともにＳ１０２に戻って上記動作を繰り返す。なお、Ｓ１０６の場合には、テンプレート生成範囲のスルー画像から適正なテンプレートを生成できないため、電子カメラが被写体追尾処理を実行することはない。   Thereafter, the CPU 23 changes the frame display to white again and returns to S102 to repeat the above operation. In the case of S106, since an appropriate template cannot be generated from the through image in the template generation range, the electronic camera does not execute the subject tracking process.

ステップＳ１０７：テンプレート生成部４２は、ＡＦ後に撮像されたスルー画像を用いて追尾対象のテンプレートを生成する。一例として、テンプレート生成部４２は、上記のスルー画像のうちからテンプレート生成範囲の部分画像を切り出す。そして、テンプレート生成部４２は、部分画像のＹ成分を参照して追尾対象の輝度情報（Ｙ）のテンプレートを生成するとともに、部分画像のＣｂＣｒ成分を参照して追尾対象の色差情報（Ｃｂ，Ｃｒ）のテンプレートをそれぞれ生成する。なお、上記の各テンプレートのデータは、ＣＰＵ２３によって第２メモリ２４に記録される。   Step S107: The template generation unit 42 generates a tracking target template using a through image captured after AF. As an example, the template generation unit 42 cuts out a partial image in the template generation range from the above through images. Then, the template generation unit 42 generates a template of tracking target luminance information (Y) with reference to the Y component of the partial image, and also references the CbCr component of the partial image with the color difference information (Cb, Cr) of the tracking target. ) Templates are generated. Note that the data of each template is recorded in the second memory 24 by the CPU 23.

その後、被写体追尾部４３は、上記のテンプレートを用いて被写体追尾処理を開始する。なお、本実施形態において、被写体追尾処理は決定釦３７の押圧（Ｓ１０２）をトリガとして開始するが、その後に決定釦３７の押圧操作が継続されていない状態（被写体追尾処理の開始後にユーザーが決定釦３７の押圧を解除した状態）でも、被写体追尾部４３は被写体追尾処理を継続する。   Thereafter, the subject tracking unit 43 starts subject tracking processing using the template. In the present embodiment, the subject tracking process is started with the pressing of the determination button 37 (S102) as a trigger, but after that, the pressing operation of the determination button 37 is not continued (the user determines after the subject tracking process starts). Even when the button 37 is released, the subject tracking unit 43 continues the subject tracking process.

また、被写体追尾処理が開始されたときには、ＣＰＵ２３は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ２０に出力する。一例として、ＣＰＵ２３は、ガイドマークの枠表示（Ｓ１０１）を白色から黄色に変更する。これにより、ユーザーはテンプレートの生成完了と、被写体追尾が開始されたこととをモニタ２０で確認できる（被写体追尾マークの表示画面は図５とほぼ同様であるため図示を省略する）。   When the subject tracking process is started, the CPU 23 outputs a display (subject tracking mark) indicating the subject tracking execution state to the monitor 20. As an example, the CPU 23 changes the guide mark frame display (S101) from white to yellow. Thus, the user can confirm the completion of template generation and the start of subject tracking on the monitor 20 (the subject tracking mark display screen is substantially the same as in FIG. 5 and is not shown).

ステップＳ１０８：ＣＰＵ２３は、被写体追尾処理の開始に応じて、焦点調節部４１によるＡＦ制御を停止させる。これにより、被写体追尾処理のときに電子カメラの演算負荷が軽減される。   Step S108: The CPU 23 stops the AF control by the focus adjustment unit 41 in response to the start of the subject tracking process. Thereby, the calculation load of the electronic camera is reduced during the subject tracking process.

また、ＣＰＵ２３は、被写体追尾処理の開始に応じて、パラメータ設定部４０によるＡＥ演算およびホワイトバランス演算を停止させる。したがって、被写体追尾処理の実行時には、ＡＥ演算に基づく各パラメータ（絞り値、シャッタスピード、撮像感度）およびホワイトバランス調整値は、テンプレート生成時の設定値（Ｓ１０３で求めたもの）に固定される。これにより、被写体追尾処理のときには、各々のスルー画像における追尾対象の明るさや色差の状態が各テンプレートとほぼ同様となるので、追尾対象の検出精度をより向上させることができる。   Further, the CPU 23 stops the AE calculation and the white balance calculation by the parameter setting unit 40 in response to the start of the subject tracking process. Therefore, when the subject tracking process is executed, each parameter (aperture value, shutter speed, imaging sensitivity) and white balance adjustment value based on the AE calculation are fixed to the setting values (calculated in S103) at the time of template generation. Thereby, in the subject tracking process, the brightness and color difference state of the tracking target in each through image are substantially the same as those of each template, so that the detection accuracy of the tracking target can be further improved.

ステップＳ１０９：ＣＰＵ２３は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ１１０に移行する。一方、判定フレームが撮像されていない場合（ＮＯ側）には、ＣＰＵ２３は判定フレームの撮像を待機する。   Step S109: The CPU 23 determines whether or not a determination frame for determining subject tracking is captured in the through image. When the determination frame is captured (YES side), the process proceeds to S110. On the other hand, when the determination frame is not captured (NO side), the CPU 23 waits for the determination frame to be captured.

ステップＳ１１０：被写体追尾部４３は、判定フレーム（Ｓ１０９）に含まれる被写体とテンプレート（Ｓ１０７）との類似度を求めるマッチング処理を実行する。このＳ１１０のマッチング処理では、被写体追尾部４３は、以下の（イ）から（ハ）の処理を実行する。なお、以下の各処理は、各テンプレートごとにそれぞれ行われるものとする。   Step S110: The subject tracking unit 43 executes a matching process for obtaining the similarity between the subject included in the determination frame (S109) and the template (S107). In the matching process of S110, the subject tracking unit 43 executes the following processes (A) to (C). Note that the following processing is performed for each template.

（イ）被写体追尾部４３は、判定フレームのうちの探索エリアに対応する範囲から、テンプレートとのマッチングを行う対象領域を決定する。この対象領域のサイズは、テンプレートの生成範囲と同じサイズに設定される。   (A) The subject tracking unit 43 determines a target region to be matched with the template from a range corresponding to the search area in the determination frame. The size of the target area is set to the same size as the template generation range.

（ロ）次に、被写体追尾部４３は、上記（イ）で設定された対象領域の画像とテンプレートとでそれぞれ対応位置にある注目画素間の階調差を求める。そして、被写体追尾部４３は、上記の対象領域での類似度を以下の式（１）によって求める。なお、類似度の値は、被写体追尾部４３によって第２メモリ２４に記録される。   (B) Next, the subject tracking unit 43 obtains the gradation difference between the target pixels at the corresponding positions in the image and the template of the target area set in (a) above. Then, the subject tracking unit 43 obtains the similarity in the above target area by the following equation (1). Note that the similarity value is recorded in the second memory 24 by the subject tracking unit 43.

Figure 2009175442
Figure 2009175442

ここで、式（１）において、Ｉ1はテンプレートに対応し、Ｉ2は対象領域の画像に対応する。そして、Ｉ1およびＩ2の注目画素は、テンプレートおよび対象領域の画像でそれぞれ対応位置にある画素を示す。また、式（１）では、テンプレートおよび判定フレームでの階調がともに８ｂｉｔ（０〜２５５の階調値）であることを前提とする。なお、上記の類似度の単位は％である。すなわち、上記の式（１）では、対応画素の階調差の絶対値を合計して類似度を求めている。そして、式（１）では、階調差の絶対値の総和が大きくなるほど類似度の値が小さくなる。 Here, in Expression (1), I 1 corresponds to a template, and I 2 corresponds to an image of the target area. The target pixels of I 1 and I 2 indicate pixels at corresponding positions in the template and the image of the target area, respectively. Further, in the formula (1), it is assumed that the gradation in the template and the determination frame is 8 bits (gradation value of 0 to 255). Note that the unit of similarity is%. That is, in the above equation (1), the absolute value of the gradation difference of the corresponding pixels is summed to obtain the similarity. In equation (1), the similarity value decreases as the sum of the absolute values of the gradation differences increases.

（ハ）被写体追尾部４３は、対象領域をシフトさせて上記（ロ）の処理を繰り返す。これにより、被写体追尾部４３は、探索エリア内の各位置でテンプレートとの類似度をそれぞれ求めることとなる。   (C) The subject tracking unit 43 shifts the target area and repeats the process (B). As a result, the subject tracking unit 43 obtains the similarity to the template at each position in the search area.

ステップＳ１１１：被写体追尾部４３は、追尾対象をロストしたか否かを判定する。具体的には、被写体追尾部４３は、マッチング処理（Ｓ１１０）で求めた類似度がいずれもロスト判定用の第１閾値未満であるか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ１１３に移行する。なお、この場合（Ｓ１１１のＹＥＳ側）には、ＣＰＵ２３は、追尾対象をロストしたことを示すロスト表示をモニタ２０に出力するようにしてもよい。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１１２に移行する。   Step S111: The subject tracking unit 43 determines whether or not the tracking target has been lost. Specifically, the subject tracking unit 43 determines whether or not all the similarities obtained in the matching process (S110) are less than the first threshold value for lost determination. If the above requirement is satisfied (YES side), the process proceeds to S113. In this case (YES side of S111), the CPU 23 may output a lost display indicating that the tracking target has been lost to the monitor 20. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to S112.

ステップＳ１１２：ＣＰＵ２３は、被写体追尾処理の停止操作をユーザーから受け付けたか否かを判定する。具体的には、本実施形態でのＣＰＵ２３は、Ｓ１０２の後に２回目の決定釦３７の押圧があったときに、被写体追尾処理の停止操作があったものと判定する。被写体追尾処理の停止操作があった場合（ＹＥＳ側）にはＳ１１３に移行する。一方、被写体追尾処理の停止操作がない場合（ＮＯ側）にはＳ１１４に移行する。   Step S112: The CPU 23 determines whether or not an operation for stopping the subject tracking process has been received from the user. Specifically, the CPU 23 in this embodiment determines that the subject tracking process has been stopped when the determination button 37 is pressed for the second time after S102. If the subject tracking process is stopped (YES side), the process proceeds to S113. On the other hand, if the subject tracking process is not stopped (NO side), the process proceeds to S114.

ステップＳ１１３：ＣＰＵ２３は、被写体追尾処理を終了するとともに、ビュー画像の被写体追尾マークを消灯する。その後、ＣＰＵ２３は、テンプレート生成範囲を示すガイドマーク（Ｓ１０１）をビュー画像の中央に再び重畳表示してＳ１０２に戻る。   Step S113: The CPU 23 ends the subject tracking process and turns off the subject tracking mark of the view image. Thereafter, the CPU 23 superimposes again the guide mark (S101) indicating the template generation range on the center of the view image, and returns to S102.

したがって、例えば、追尾対象の被写体をロストしたときには、電子カメラが被写体追尾処理を行う前の初期状態に戻るため、追尾対象と異なる被写体を誤って追尾するおそれが低減する。   Therefore, for example, when the subject to be tracked is lost, the electronic camera returns to the initial state before subject tracking processing, so that the possibility of accidentally tracking a subject different from the tracking target is reduced.

ステップＳ１１４：被写体追尾部４３は、判定フレーム内での類似度の最大値（最大類似度）を抽出する。そして、被写体追尾部４３は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。   Step S114: The subject tracking unit 43 extracts the maximum value (maximum similarity) of the similarity in the determination frame. Then, the subject tracking unit 43 determines the position of the target area indicating the maximum similarity in the determination frame as the position of the tracking target.

そして、被写体追尾部４３は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。その結果、モニタ２０上での枠表示の位置は追尾対象の被写体の動きに追従してシフトすることとなる。これにより、ユーザーは追尾対象の検出結果をモニタ２０で確認できる。   Then, the subject tracking unit 43 updates the display position of the subject tracking mark superimposed on the view image in accordance with the position of the tracking target. As a result, the position of the frame display on the monitor 20 shifts following the movement of the subject to be tracked. As a result, the user can check the detection result of the tracking target on the monitor 20.

ステップＳ１１５：被写体追尾部４３は、追尾対象の位置および最大類似度の値（それぞれＳ１１４で求めたもの）を第２メモリ２４に記録する。なお、被写体追尾部４３は、追尾対象の検出を行うごとに、第２メモリ２４に記憶された追尾対象の位置および最大類似度のデータを逐次更新してゆく。   Step S115: The subject tracking unit 43 records the position of the tracking target and the value of the maximum similarity (each obtained in S114) in the second memory 24. Note that the subject tracking unit 43 sequentially updates the tracking target position and maximum similarity data stored in the second memory 24 each time the tracking target is detected.

ステップＳ１１６：ＣＰＵ２３は、レリーズ釦３０が半押しされたか否かを判定する。レリーズ釦３０が半押しされた場合（ＹＥＳ側）にはＳ１１８に移行する。一方、レリーズ釦３０が半押しされていない場合（ＮＯ側）にはＳ１１７に移行する。   Step S116: The CPU 23 determines whether or not the release button 30 is half-pressed. When the release button 30 is half-pressed (YES side), the process proceeds to S118. On the other hand, when the release button 30 is not half-pressed (NO side), the process proceeds to S117.

ステップＳ１１７：ＣＰＵ２３は、被写体追尾モードの終了指示をユーザーから受け付けたか否かを判定する。一例として、本実施形態でのＣＰＵ２３は、他の動作モードへの切替操作があったときや、電子カメラの電源オフ操作があったときに、被写体追尾モードの終了指示があったものと判定する。   Step S117: The CPU 23 determines whether or not an instruction to end the subject tracking mode has been received from the user. As an example, the CPU 23 in the present embodiment determines that there has been an instruction to end the subject tracking mode when there is a switching operation to another operation mode or when the electronic camera is turned off. .

上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２３は、被写体追尾モードの一連の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ１２２に移行する。   If the above requirement is satisfied (YES side), the CPU 23 ends the series of processes in the subject tracking mode. On the other hand, when the above requirement is not satisfied (NO side), the process proceeds to S122.

ステップＳ１１８：この場合には、ＣＰＵ２３は、被写体追尾部４３による被写体追尾処理を一時停止させる。そして、焦点調節部４１は、被写体追尾処理で最後に検出された追尾対象の位置（第２メモリ２４に記憶されている追尾対象の位置）を焦点検出エリアとしてＡＦ制御を実行する。その後、焦点調節部４１は、本画像の撮像が行われるか、あるいはレリーズ釦３０の半押し操作が解除されるまでＡＦ制御を停止し、フォーカスレンズの焦点位置を固定する。   Step S118: In this case, the CPU 23 temporarily stops the subject tracking process by the subject tracking unit 43. The focus adjustment unit 41 performs AF control using the position of the tracking target last detected in the subject tracking process (the position of the tracking target stored in the second memory 24) as a focus detection area. Thereafter, the focus adjustment unit 41 stops the AF control until the main image is captured or the half-press operation of the release button 30 is released, and the focus position of the focus lens is fixed.

ステップＳ１１９：ＣＰＵ２３は、レリーズ釦３０の半押しが解除されたか否かを判定する。レリーズ釦３０の半押しが解除された場合（ＹＥＳ側）にはＳ１２２に移行する。なお、この場合（Ｓ１１９のＹＥＳ側）において、ＣＰＵ２３は、後述のＳ１２２からＳ１２７の処理を実行してから、被写体追尾部４３に被写体追尾処理を再開させる。一方、レリーズ釦３０の半押しが継続している場合（ＮＯ側）にはＳ１２０に移行する。   Step S119: The CPU 23 determines whether or not the half-press of the release button 30 has been released. When the half-press of the release button 30 is released (YES side), the process proceeds to S122. In this case (YES side of S119), the CPU 23 executes the processing of S122 to S127, which will be described later, and then causes the subject tracking unit 43 to restart the subject tracking processing. On the other hand, when the half-press of the release button 30 is continued (NO side), the process proceeds to S120.

ステップＳ１２０：ＣＰＵ２３は、レリーズ釦３０が全押しされたか否かを判定する。レリーズ釦３０が全押しされた場合（ＹＥＳ側）にはＳ１２１に移行する。一方、レリーズ釦３０が全押しされていない場合（ＮＯ側）には、ＣＰＵ２３はＳ１１９に戻って上記動作を繰り返す。   Step S120: The CPU 23 determines whether or not the release button 30 has been fully pressed. When the release button 30 is fully pressed (YES side), the process proceeds to S121. On the other hand, when the release button 30 is not fully pressed (NO side), the CPU 23 returns to S119 and repeats the above operation.

ステップＳ１２１：ＣＰＵ２３は、撮像素子１５を駆動させて本画像の撮像処理を実行する。本画像のデータは、ＡＦＥ１６および画像処理部１７で所定の処理が施された後に、記録Ｉ／Ｆ１９を介して記憶媒体２７に記録される。なお、Ｓ１２１での画像処理部１７は、パラメータ設定部４０が本画像のデータから求めたホワイトバランス調整値を用いてホワイトバランス調整を行う。また、ＣＰＵ２３は、本画像の撮像処理において、複数フレーム分の本画像を連写撮影するようにしてもよい。そして、Ｓ１２１の終了後に、ＣＰＵ２３は、後述のＳ１２２からＳ１２７の処理を実行してから、被写体追尾部４３に被写体追尾処理を再開させる。   Step S121: The CPU 23 drives the image pickup device 15 to execute an image pickup process for the main image. The data of the main image is recorded in the storage medium 27 via the recording I / F 19 after predetermined processing is performed by the AFE 16 and the image processing unit 17. Note that the image processing unit 17 in S121 performs white balance adjustment using the white balance adjustment value obtained by the parameter setting unit 40 from the data of the main image. In addition, the CPU 23 may continuously shoot a plurality of frames of main images in the main image capturing process. Then, after the end of S121, the CPU 23 executes a process from S122 to S127 described later, and then causes the subject tracking unit 43 to restart the subject tracking process.

ステップＳ１２２：被写体追尾部４３は、追尾対象の位置のデータを第２メモリ２４から読み出す。そして、被写体追尾部４３は、撮影画面内で追尾対象を最後に検出した位置を、追尾対象の探索開始位置に設定する。   Step S122: The subject tracking unit 43 reads the data of the tracking target position from the second memory 24. Then, the subject tracking unit 43 sets the position at which the tracking target was last detected in the shooting screen as the tracking target search start position.

なお、被写体追尾部４３は、被写体追尾処理を再開したときのマッチング処理において、上記の探索開始位置を起点として対象領域の位置を指定する。例えば、被写体追尾部４３は、次回のマッチング処理での対象領域として、追尾対象を最後に検出した位置を最初に指定する。被写体追尾処理を連続して行うときや、本画像の撮像後に被写体追尾処理を再開するときには、撮影画面内のほぼ同じ位置に追尾対象が存在する可能性が高い。そのため、上記の処理によって、被写体追尾処理のときに、電子カメラは比較的容易に追尾対象を検出できるようになる。   Note that the subject tracking unit 43 specifies the position of the target region from the search start position as a starting point in the matching process when the subject tracking process is resumed. For example, the subject tracking unit 43 first designates the position where the tracking target is last detected as the target region in the next matching process. When subject tracking processing is performed continuously, or when subject tracking processing is resumed after the main image is captured, there is a high possibility that the tracking target exists at substantially the same position in the shooting screen. For this reason, the electronic camera can detect the tracking target relatively easily during the subject tracking process.

ステップＳ１２３：被写体追尾部４３は、さらに最大類似度のデータを第２メモリ２４から読み出す。そして、被写体追尾部４３は、第２メモリ２４から取得した最大類似度に基づいて、探索エリアのサイズを決定する。具体的には、被写体追尾部４３は、上記の最大類似度が以下のいずれの範囲に属するかを判定する。   Step S123: The subject tracking unit 43 further reads out data of maximum similarity from the second memory 24. Then, the subject tracking unit 43 determines the size of the search area based on the maximum similarity acquired from the second memory 24. Specifically, the subject tracking unit 43 determines to which of the following ranges the above maximum similarity belongs.

最大類似度が第１閾値（ロスト判定用の閾値）以上で第２閾値未満の場合（ＣＡＳＥ１）にはＳ１２４に移行する。最大類似度が第２閾値以上で第３閾値未満の場合（ＣＡＳＥ２）にはＳ１２５に移行する。最大類似度が第３閾値以上の場合（ＣＡＳＥ３）にはＳ１２６に移行する。   If the maximum similarity is greater than or equal to the first threshold (lost determination threshold) and less than the second threshold (CASE 1), the process proceeds to S124. If the maximum similarity is greater than or equal to the second threshold and less than the third threshold (CASE2), the process proceeds to S125. If the maximum similarity is greater than or equal to the third threshold (CASE 3), the process proceeds to S126.

ここで、最大類似度を判定する上記の閾値は、第１閾値、第２閾値、第３閾値の順に大きな値となるように設定されている。そのため、上記のＣＡＳＥ１に該当する場合には最大類似度の値が小さいので、追尾対象の検出結果の信頼性は低くなる。一方、上記のＣＡＳＥ３に該当する場合には最大類似度の値が大きいので、追尾対象の検出結果の信頼性は高くなる。   Here, the above-described threshold value for determining the maximum similarity is set so as to increase in the order of the first threshold value, the second threshold value, and the third threshold value. For this reason, the value of the maximum similarity is small when the case corresponds to the above CASE 1, and the reliability of the detection result of the tracking target is low. On the other hand, since the value of the maximum similarity is large when corresponding to the above CASE 3, the reliability of the detection result of the tracking target is high.

ステップＳ１２４：被写体追尾部４３は、探索エリアのサイズを初期状態よりも大きなサイズに設定する。その結果、次回の判定のときには電子カメラが追尾対象をより検出しやすくなる。なお、図７においてＳ１２４での探索エリアのサイズを符号Ａで示す。   Step S124: The subject tracking unit 43 sets the size of the search area to be larger than the initial state. As a result, the electronic camera can more easily detect the tracking target in the next determination. In FIG. 7, the size of the search area in S <b> 124 is indicated by symbol A.

また、Ｓ１２４での被写体追尾部４３は、被写体追尾マークの枠表示の色を赤色に変化させる等の方法で、検出されている追尾対象の信頼性が低い旨をユーザーに通知するようにしてもよい。その後、ＣＰＵ２３は、Ｓ１２７に処理を移行する。   In addition, the subject tracking unit 43 in S124 may notify the user that the reliability of the detected tracking target is low, for example, by changing the frame display color of the subject tracking mark to red. Good. Thereafter, the CPU 23 shifts the process to S127.

ステップＳ１２５：被写体追尾部４３は、探索エリアのサイズを初期状態と同じサイズに設定する。なお、図７においてＳ１２５での探索エリアのサイズを符号Ｂで示す。その後、ＣＰＵ２３は、Ｓ１２７に処理を移行する。   Step S125: The subject tracking unit 43 sets the size of the search area to the same size as the initial state. In FIG. 7, the size of the search area in S125 is indicated by a symbol B. Thereafter, the CPU 23 shifts the process to S127.

ステップＳ１２６：被写体追尾部４３は、探索エリアのサイズを初期状態よりも小さなサイズに設定する。Ｓ１２６の場合には検出されている追尾対象の信頼性が高いので、次回の判定のときに追尾対象の位置が大きく変化している可能性は低い。そのため、Ｓ１２６での被写体追尾部４３は探索エリアのサイズを小さくして、被写体追尾処理のときの演算負荷を小さくする。なお、図７においてＳ１２６での探索エリアのサイズを符号Ｃで示す。   Step S126: The subject tracking unit 43 sets the size of the search area to be smaller than the initial state. In the case of S126, since the reliability of the detected tracking target is high, it is unlikely that the position of the tracking target has changed greatly in the next determination. For this reason, the subject tracking unit 43 in S126 reduces the size of the search area to reduce the calculation load during the subject tracking process. In FIG. 7, the size of the search area in S126 is denoted by reference symbol C.

ステップＳ１２７：被写体追尾部４３は、追尾対象の探索開始位置（Ｓ１２２）が探索エリアの中央と重なるように、撮影画面内における探索エリア（Ｓ１２４からＳ１２６）の位置を設定する（なお、追尾対象の移動に伴う探索エリアのシフトの状態を図７に示す）。これにより、追尾対象の動きに合わせて探索エリアが移動するため、電子カメラが追尾対象をロストする確率が低減する。その後、ＣＰＵ２３は、Ｓ１０９に戻って上記動作を繰り返す。   Step S127: The subject tracking unit 43 sets the position of the search area (S124 to S126) in the shooting screen so that the search start position (S122) of the tracking target overlaps the center of the search area (note that the tracking target FIG. 7 shows the shift state of the search area accompanying movement. Thereby, since the search area moves in accordance with the movement of the tracking target, the probability that the electronic camera loses the tracking target is reduced. Thereafter, the CPU 23 returns to S109 and repeats the above operation.

ステップＳ１２８：ＣＰＵ２３は、レリーズ釦３０が半押しされたか否かを判定する。レリーズ釦３０が半押しされた場合（ＹＥＳ側）にはＳ１２９に移行する。一方、レリーズ釦３０が半押しされていない場合（ＮＯ側）にはＳ１３３に移行する。   Step S128: The CPU 23 determines whether or not the release button 30 is half-pressed. If the release button 30 is half-pressed (YES side), the flow proceeds to S129. On the other hand, when the release button 30 is not half-pressed (NO side), the process proceeds to S133.

ステップＳ１２９：焦点調節部４１は、例えば、中央優先または至近優先のアルゴリズムで通常のＡＦ制御を実行する。その後、焦点調節部４１は、本画像の撮像が行われるか、あるいはレリーズ釦３０の半押し操作が解除されるまでＡＦ制御を停止し、フォーカスレンズの焦点位置を固定する。また、Ｓ１２９でのＣＰＵ２３はパラメータ設定部４０にＡＥ演算を実行させて、本画像の撮像時に適用する絞り値、シャッタスピード、撮像感度をそれぞれ求める。   Step S129: The focus adjustment unit 41 executes normal AF control using, for example, a center priority or close priority algorithm. Thereafter, the focus adjustment unit 41 stops the AF control until the main image is captured or the half-press operation of the release button 30 is released, and the focus position of the focus lens is fixed. In S129, the CPU 23 causes the parameter setting unit 40 to execute AE calculation, and obtains an aperture value, a shutter speed, and an imaging sensitivity to be applied when the main image is captured.

ステップＳ１３０：ＣＰＵ２３は、レリーズ釦３０の半押しが解除されたか否かを判定する。レリーズ釦３０の半押しが解除された場合（ＹＥＳ側）には、ＣＰＵ２３はＳ１０２に戻って上記動作を繰り返す。一方、レリーズ釦３０の半押しが継続している場合（ＮＯ側）にはＳ１３１に移行する。   Step S130: The CPU 23 determines whether or not the half-press of the release button 30 has been released. When the half-press of the release button 30 is released (YES side), the CPU 23 returns to S102 and repeats the above operation. On the other hand, when the half-press of the release button 30 is continued (NO side), the process proceeds to S131.

ステップＳ１３１：ＣＰＵ２３は、レリーズ釦３０が全押しされたか否かを判定する。レリーズ釦３０が全押しされた場合（ＹＥＳ側）にはＳ１３２に移行する。一方、レリーズ釦３０が全押しされていない場合（ＮＯ側）には、ＣＰＵ２３はＳ１３０に戻って上記動作を繰り返す。   Step S131: The CPU 23 determines whether or not the release button 30 has been fully pressed. When the release button 30 is fully pressed (YES side), the process proceeds to S132. On the other hand, when the release button 30 is not fully pressed (NO side), the CPU 23 returns to S130 and repeats the above operation.

ステップＳ１３２：ＣＰＵ２３は、撮像素子１５を駆動させて本画像の撮像処理を実行する。このＳ１３２での処理は上記のＳ１２１と共通するため、重複説明を省略する。その後、ＣＰＵ２３は、Ｓ１０２に戻って上記動作を繰り返す。   Step S132: The CPU 23 drives the image pickup device 15 to execute an image pickup process for the main image. Since the process in S132 is the same as that in S121, a duplicate description is omitted. Thereafter, the CPU 23 returns to S102 and repeats the above operation.

ステップＳ１３３：ＣＰＵ２３は、被写体追尾モードの終了指示をユーザーから受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、ＣＰＵ２３は被写体追尾モードの一連の処理を終了する。一方、上記要件を満たさない場合（ＮＯ側）には、ＣＰＵ２３はＳ１０２に戻って上記動作を繰り返す。以上で、図３，図４の流れ図の説明を終了する。   Step S133: The CPU 23 determines whether or not an instruction to end the subject tracking mode has been received from the user. If the above requirement is satisfied (YES side), the CPU 23 ends the series of processes in the subject tracking mode. On the other hand, if the above requirement is not satisfied (NO side), the CPU 23 returns to S102 and repeats the above operation. Above, description of the flowchart of FIG. 3, FIG. 4 is complete | finished.

以下、本実施形態での作用効果を述べる。本実施形態の電子カメラは、被写体追尾処理で追尾対象を継続的に検出するときや、静止画像の撮影などで一時的に中断した被写体追尾処理を再開するときには、追尾対象を最後に検出した位置を起点として追尾対象を探索する（Ｓ１２２）。   Hereinafter, the operational effects of this embodiment will be described. The electronic camera according to the present embodiment detects the tracking target last when the tracking target is continuously detected in the subject tracking process or when the subject tracking process temporarily interrupted by shooting a still image is resumed. The tracking target is searched from the starting point (S122).

また、本実施形態の電子カメラは、追尾対象の探索開始位置を基準として探索エリアの位置が設定される（Ｓ１２７）とともに、追尾対象を最後に検出したときの最大類似度に基づいて探索エリアのサイズが調整される（Ｓ１２３からＳ１２６）。これらの処理により、被写体追尾処理で追尾対象を継続的に検出するときや、被写体追尾処理を一時的に停止した後に再開したときに、電子カメラは比較的容易に追尾対象を検出することが可能となる。   In the electronic camera of this embodiment, the position of the search area is set based on the search start position of the tracking target (S127), and the search area of the search area is determined based on the maximum similarity when the tracking target is detected last. The size is adjusted (S123 to S126). With these processes, the electronic camera can detect the tracking target relatively easily when the tracking target is continuously detected in the subject tracking process, or when the subject tracking process is temporarily stopped and then restarted. It becomes.

また、本実施形態の電子カメラは、被写体追尾処理のときにＡＦ制御を停止する（Ｓ１０８）。これにより、被写体追尾処理のときの電子カメラの演算負荷が軽減されて、被写体追尾処理の精度を高めることが容易となる。   Further, the electronic camera of the present embodiment stops AF control during subject tracking processing (S108). As a result, the calculation load of the electronic camera during the subject tracking process is reduced, and the accuracy of the subject tracking process can be easily increased.

また、本実施形態の電子カメラは、被写体追尾処理のときにＡＥ演算に基づく各パラメータおよびホワイトバランス調整値を、テンプレート生成時の設定値に固定する（Ｓ１０８）。これにより、被写体追尾処理のときには、スルー画像における追尾対象の明るさや色差の状態が各テンプレートとほぼ同様となるので、追尾対象の検出精度をより向上させることができる。   Further, the electronic camera of the present embodiment fixes each parameter and white balance adjustment value based on the AE calculation at the time of subject tracking processing to the setting values at the time of template generation (S108). Thereby, in the subject tracking process, the brightness and color difference state of the tracking target in the through image are almost the same as those of each template, so that the detection accuracy of the tracking target can be further improved.

＜被写体追尾モードの変形例＞
次に、図８，図９の流れ図を参照しつつ、被写体追尾モードの変形例を説明する。この変形例における電子カメラの構成は、図１と共通するので重複説明は省略する。 <Modification of subject tracking mode>
Next, a modified example of the subject tracking mode will be described with reference to the flowcharts of FIGS. Since the configuration of the electronic camera in this modified example is the same as that in FIG.

この変形例では、電子カメラがスルー画像の撮像を行っている状態で、ユーザーからレリーズ釦３０の半押し操作を受け付けると、ＣＰＵ２３が図８，図９に示すシーケンスを開始する。そして、被写体追尾部４３は、レリーズ釦３０が半押しされている間は被写体追尾処理を継続するとともに、レリーズ釦３０の半押しが解除されると被写体追尾処理を停止する。   In this modification, when a half-press operation of the release button 30 is received from the user while the electronic camera is capturing a through image, the CPU 23 starts the sequence illustrated in FIGS. The subject tracking unit 43 continues the subject tracking process while the release button 30 is half-pressed, and stops the subject tracking process when the half-press of the release button 30 is released.

ステップＳ２０１：被写体追尾部４３は、前回の被写体追尾処理の結果に基づいて、撮影画面内のテンプレート生成範囲を設定する。具体的には、被写体追尾部４３は、第２メモリ２４に記憶されている追尾対象の位置（前回の被写体追尾処理で追尾対象を最後に検出した位置）をテンプレート生成範囲に設定する。一方、第２メモリ２４に追尾対象の位置が記憶されていない場合には、被写体追尾部４３は、撮影画面の中央部をテンプレート生成範囲に設定する。   Step S201: The subject tracking unit 43 sets a template generation range in the shooting screen based on the result of the previous subject tracking process. Specifically, the subject tracking unit 43 sets the position of the tracking target (position where the tracking target was last detected in the previous subject tracking process) stored in the second memory 24 as the template generation range. On the other hand, if the tracking target position is not stored in the second memory 24, the subject tracking unit 43 sets the center of the shooting screen as the template generation range.

また、Ｓ２０１での被写体追尾部４３は、上記のテンプレート生成範囲の位置が探索エリアの中央と重なるように、撮影画面内における探索エリアの初期位置を設定する。なお、Ｓ２０１での被写体追尾部４３は、探索エリアのサイズを初期状態のサイズに設定するものとする。   In addition, the subject tracking unit 43 in S201 sets the initial position of the search area in the shooting screen so that the position of the template generation range overlaps the center of the search area. Note that the subject tracking unit 43 in S201 sets the size of the search area to the initial size.

そして、Ｓ２０１でのＣＰＵ２３は、撮影画面内のテンプレート生成範囲を示すガイドマーク（矩形の枠表示）をビュー画像に重畳させる。   In step S <b> 201, the CPU 23 superimposes a guide mark (rectangular frame display) indicating the template generation range in the shooting screen on the view image.

ステップＳ２０２：焦点調節部４１は、撮影画面のテンプレート生成範囲（Ｓ２０１での枠表示の位置）を焦点検出エリアとしてＡＦ制御を実行する。また、パラメータ設定部４０は、スルー画像のデータを用いてＡＥ演算およびホワイトバランス演算を実行する。   Step S202: The focus adjustment unit 41 performs AF control using the template generation range (the position of the frame display in S201) of the shooting screen as a focus detection area. The parameter setting unit 40 performs AE calculation and white balance calculation using the data of the through image.

ステップＳ２０３：ＣＰＵ２３は、Ｓ２０２でのＡＦ制御によって、焦点検出エリアにおけるフォーカスレンズの合焦位置を検出できたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０５に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０４に移行する。   Step S203: The CPU 23 determines whether or not the focus position of the focus lens in the focus detection area has been detected by the AF control in S202. If the above requirement is satisfied (YES side), the process proceeds to S205. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to S204.

ステップＳ２０４：ＣＰＵ２３は、テンプレート生成範囲（枠表示に対応する範囲）の被写体が非合焦状態であることを示すＮＧ処理を実行する。その後、ＣＰＵ２３はＳ２２４に処理を移行する。   Step S204: The CPU 23 executes an NG process indicating that the subject in the template generation range (range corresponding to the frame display) is out of focus. Thereafter, the CPU 23 shifts the process to S224.

ステップＳ２０５：テンプレート生成部４２は、ＡＦ後に撮像されたスルー画像を用いて追尾対象のテンプレートを生成する。   Step S205: The template generating unit 42 generates a tracking target template using a through image captured after AF.

その後、被写体追尾部４３は、上記のテンプレートを用いて被写体追尾処理を開始する。また、被写体追尾処理が開始されたときには、ＣＰＵ２３は、被写体追尾の実行状態を示す表示（被写体追尾マーク）をモニタ２０に出力する。なお、Ｓ２０５でのテンプレートの生成処理や被写体追尾マークの表示処理は、上記のＳ１０７と共通するので重複説明は省略する。   Thereafter, the subject tracking unit 43 starts subject tracking processing using the template. When the subject tracking process is started, the CPU 23 outputs a display (subject tracking mark) indicating the subject tracking execution state to the monitor 20. Note that the template generation process and the subject tracking mark display process in S205 are the same as in S107 described above, and a duplicate description is omitted.

ステップＳ２０６：ＣＰＵ２３は、被写体追尾処理の開始に応じて、パラメータ設定部４０によるＡＥ演算およびホワイトバランス演算を停止させる。これにより、被写体追尾処理のときには、スルー画像における追尾対象の明るさや色差の状態が各テンプレートとほぼ同様となるので、追尾対象の検出精度をより向上させることができる。   Step S206: The CPU 23 stops the AE calculation and the white balance calculation by the parameter setting unit 40 in response to the start of the subject tracking process. Thereby, in the subject tracking process, the brightness and color difference state of the tracking target in the through image are almost the same as those of each template, so that the detection accuracy of the tracking target can be further improved.

ステップＳ２０７：ＣＰＵ２３は、スルー画像のうちで被写体追尾の判定を行う判定フレームが撮像されたか否かを判定する。判定フレームが撮像された場合（ＹＥＳ側）にはＳ２０８に移行する。一方、判定フレームが撮像されていない場合には、ＣＰＵ２３は判定フレームの撮像を待機する。   Step S207: The CPU 23 determines whether or not a determination frame for determining subject tracking is captured in the through image. When the determination frame is captured (YES side), the process proceeds to S208. On the other hand, when the determination frame is not captured, the CPU 23 waits for the determination frame to be captured.

ステップＳ２０８：焦点調節部４１は、第２メモリ２４に記憶されている前回の追尾対象の位置を焦点検出エリアに設定してＡＦ制御を実行する。なお、追尾対象の検出がまだ行われていない場合には、焦点調節部４１はＳ２０８の処理を省略する。   Step S208: The focus adjustment unit 41 sets the previous tracking target position stored in the second memory 24 as the focus detection area, and executes AF control. If the tracking target has not been detected yet, the focus adjustment unit 41 omits the process of S208.

ステップＳ２０９：被写体追尾部４３は、判定フレーム（Ｓ２０７）に含まれる被写体とテンプレート（Ｓ２０５）との類似度を求めるマッチング処理を実行する。なお、Ｓ２０９での処理は上記のＳ１１０と共通するので重複説明は省略する。   Step S209: The subject tracking unit 43 executes a matching process for obtaining the similarity between the subject included in the determination frame (S207) and the template (S205). Note that the processing in S209 is the same as that in S110 described above, and thus a duplicate description is omitted.

ステップＳ２１０：被写体追尾部４３は、追尾対象をロストしたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２１１に移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２１２に移行する。なお、Ｓ２１０での処理は上記のＳ１１１と共通するので重複説明は省略する。   Step S210: The subject tracking unit 43 determines whether or not the tracking target has been lost. If the above requirement is satisfied (YES side), the process proceeds to S211. On the other hand, if the above requirement is not satisfied (NO side), the process proceeds to S212. Note that the processing in S210 is the same as that in S111 described above, and thus a duplicate description is omitted.

ステップＳ２１１：ＣＰＵ２３は、被写体追尾処理を終了するとともに、ビュー画像の被写体追尾マークを消灯する。その後、ＣＰＵ２３はＳ２２４に処理を移行する。   Step S211: The CPU 23 ends the subject tracking process and turns off the subject tracking mark of the view image. Thereafter, the CPU 23 shifts the process to S224.

ステップＳ２１２：被写体追尾部４３は、判定フレーム内での類似度の最大値（最大類似度）を抽出する。そして、被写体追尾部４３は、判定フレーム内で最大類似度を示す対象領域の位置を追尾対象の位置として決定する。   Step S212: The subject tracking unit 43 extracts the maximum value (maximum similarity) of the similarity in the determination frame. Then, the subject tracking unit 43 determines the position of the target area indicating the maximum similarity in the determination frame as the position of the tracking target.

そして、被写体追尾部４３は、この追尾対象の位置に合わせて、ビュー画像に重畳する被写体追尾マークの表示位置を更新する。   Then, the subject tracking unit 43 updates the display position of the subject tracking mark superimposed on the view image in accordance with the position of the tracking target.

ステップＳ２１３：被写体追尾部４３は、追尾対象の位置および最大類似度の値（それぞれＳ２１２で求めたもの）を第２メモリ２４に記録する。なお、被写体追尾部４３は、追尾対象の検出を行うごとに、第２メモリ２４に記憶された追尾対象の位置および最大類似度のデータを逐次更新してゆく。   Step S213: The subject tracking unit 43 records the position of the tracking target and the value of the maximum similarity (each obtained in S212) in the second memory 24. Note that the subject tracking unit 43 sequentially updates the tracking target position and maximum similarity data stored in the second memory 24 each time the tracking target is detected.

ステップＳ２１４：ＣＰＵ２３は、レリーズ釦３０が全押しされたか否かを判定する。レリーズ釦３０が全押しされた場合（ＹＥＳ側）にはＳ２１５に移行する。一方、レリーズ釦３０が全押しされていない場合（ＮＯ側）には、ＣＰＵ２３はＳ２１７に移行する。   Step S214: The CPU 23 determines whether or not the release button 30 has been fully pressed. When the release button 30 is fully pressed (YES side), the process proceeds to S215. On the other hand, when the release button 30 is not fully pressed (NO side), the CPU 23 proceeds to S217.

ステップＳ２１５：この場合には、ＣＰＵ２３は、被写体追尾部４３による被写体追尾処理を一時停止させる。   Step S215: In this case, the CPU 23 temporarily stops the subject tracking process by the subject tracking unit 43.

ステップＳ２１６：ＣＰＵ２３は、撮像素子１５を駆動させて本画像の撮像処理を実行する。その後、ＣＰＵ２３は、図８，図９の一連の処理を終了する。なお、Ｓ２１６での処理は上記のＳ１２１と共通するので重複説明は省略する。   Step S216: The CPU 23 drives the image pickup device 15 to execute an image pickup process for the main image. Thereafter, the CPU 23 ends the series of processes in FIGS. In addition, since the process in S216 is the same as that in S121 described above, a duplicate description is omitted.

ここで、Ｓ２１６でのＣＰＵ２３は、第２メモリ２４に記憶されている追尾対象の位置（Ｓ２１３）を消去することなく処理を終了する。そのため、Ｓ２１６の処理後にユーザーが再び半押し操作を行ったときには、上記のＳ２０１での被写体追尾部４３は、追尾対象を最後に検出した位置を基準としてテンプレート生成範囲を設定する。   Here, the CPU 23 in S216 ends the process without deleting the tracking target position (S213) stored in the second memory 24. Therefore, when the user performs a half-press operation again after the process of S216, the subject tracking unit 43 in S201 described above sets the template generation range based on the position where the tracking target was last detected.

ステップＳ２１７：ＣＰＵ２３は、レリーズ釦３０の半押しが解除されたか否かを判定する。レリーズ釦３０の半押しが解除された場合（ＹＥＳ側）にはＳ２２４に移行する。一方、レリーズ釦３０の半押しが継続している場合（ＮＯ側）にはＳ２１８に移行する。   Step S217: The CPU 23 determines whether or not the half-press of the release button 30 has been released. When the half-press of the release button 30 is released (YES side), the process proceeds to S224. On the other hand, when the half-press of the release button 30 is continued (NO side), the process proceeds to S218.

ステップＳ２１８：被写体追尾部４３は、追尾対象の位置のデータを第２メモリ２４から読み出す。そして、被写体追尾部４３は、撮影画面内で追尾対象を最後に検出した位置を、追尾対象の探索開始位置に設定する。   Step S <b> 218: The subject tracking unit 43 reads the data of the tracking target position from the second memory 24. Then, the subject tracking unit 43 sets the position at which the tracking target was last detected in the shooting screen as the tracking target search start position.

ステップＳ２１９：被写体追尾部４３は、さらに最大類似度のデータを第２メモリ２４から読み出す。そして、被写体追尾部４３は、第２メモリ２４から取得した最大類似度に基づいて、探索エリアのサイズを決定する。具体的には、被写体追尾部４３は、上記の最大類似度が以下のいずれの範囲に属するかを判定する。   Step S219: The subject tracking unit 43 further reads out data of maximum similarity from the second memory 24. Then, the subject tracking unit 43 determines the size of the search area based on the maximum similarity acquired from the second memory 24. Specifically, the subject tracking unit 43 determines to which of the following ranges the above maximum similarity belongs.

最大類似度が第１閾値（ロスト判定用の閾値）以上で第２閾値未満の場合（ＣＡＳＥ１）にはＳ２２０に移行する。最大類似度が第２閾値以上で第３閾値未満の場合（ＣＡＳＥ２）にはＳ２２１に移行する。最大類似度が第３閾値以上の場合（ＣＡＳＥ３）にはＳ２２２に移行する。   If the maximum similarity is greater than or equal to the first threshold (lost determination threshold) and less than the second threshold (CASE 1), the process proceeds to S220. If the maximum similarity is greater than or equal to the second threshold and less than the third threshold (CASE2), the process proceeds to S221. When the maximum similarity is equal to or greater than the third threshold (CASE 3), the process proceeds to S222.

ステップＳ２２０：被写体追尾部４３は、探索エリアのサイズを初期状態よりも大きなサイズに設定する。その後、ＣＰＵ２３は、Ｓ２２３に処理を移行する。   Step S220: The subject tracking unit 43 sets the size of the search area to a size larger than the initial state. Thereafter, the CPU 23 shifts the process to S223.

ステップＳ２２１：被写体追尾部４３は、探索エリアのサイズを初期状態と同じサイズに設定する。その後、ＣＰＵ２３は、Ｓ２２３に処理を移行する。   Step S221: The subject tracking unit 43 sets the size of the search area to the same size as the initial state. Thereafter, the CPU 23 shifts the process to S223.

ステップＳ２２２：被写体追尾部４３は、探索エリアのサイズを初期状態よりも小さなサイズに設定する。   Step S222: The subject tracking unit 43 sets the size of the search area to be smaller than the initial state.

ステップＳ２２３：被写体追尾部４３は、追尾対象の探索開始位置（Ｓ２１８）が探索エリアの中央と重なるように、撮影画面内における探索エリア（Ｓ２１９からＳ２２２）の位置を設定する。その後、ＣＰＵ２３は、Ｓ２０７に戻って上記動作を繰り返す。   Step S223: The subject tracking unit 43 sets the position of the search area (S219 to S222) in the shooting screen so that the search start position (S218) to be tracked overlaps the center of the search area. Thereafter, the CPU 23 returns to S207 and repeats the above operation.

これにより、被写体追尾部４３は、被写体追尾処理で追尾対象を継続的に検出するときには、追尾対象を最後に検出した位置を起点として追尾対象を探索することとなる（Ｓ２１８）。被写体追尾部４３は、追尾対象の探索開始位置を基準として探索エリアの位置を設定する（Ｓ２２３）とともに、追尾対象を最後に検出したときの最大類似度に基づいて探索エリアのサイズを調整する（Ｓ２１９からＳ２２２）。これらの処理により、被写体追尾処理で追尾対象を継続的に検出するときに、電子カメラは比較的容易に追尾対象を検出することが可能となる。   Thus, when the subject tracking unit 43 continuously detects the tracking target in the subject tracking process, the subject tracking unit 43 searches for the tracking target from the position where the tracking target was last detected (S218). The subject tracking unit 43 sets the position of the search area based on the search start position of the tracking target (S223) and adjusts the size of the search area based on the maximum similarity when the tracking target is detected last ( S219 to S222). By these processes, the electronic camera can detect the tracking target relatively easily when the tracking target is continuously detected in the subject tracking process.

ステップＳ２２４：ＣＰＵ２３は、第２メモリ２４に記憶されている追尾対象の位置および最大類似度の値をリセットする。その後、ＣＰＵ２３は、図８，図９の一連の処理を終了する。なお、Ｓ２２４の処理後にユーザーが再び半押し操作を行ったときには、第２メモリ２４に追尾対象の位置が記憶されていない状態にあるので、上記のＳ２０１での被写体追尾部４３は、撮影画面の中央部にテンプレート生成範囲を設定する。以上で、図８，図９の流れ図の説明を終了する。   Step S224: The CPU 23 resets the tracking target position and the maximum similarity value stored in the second memory 24. Thereafter, the CPU 23 ends the series of processes in FIGS. Note that when the user performs a half-press operation again after the processing of S224, the tracking target position in S201 is not displayed in the second memory 24, so the subject tracking unit 43 in S201 described above Set the template generation range in the center. Above, description of the flowchart of FIG. 8, FIG. 9 is complete | finished.

上記の変形例の電子カメラでは、静止画像の撮影後に再び被写体追尾処理を開始する場合には、前回の被写体追尾処理において追尾対象を最後に検出した位置を起点としてテンプレート生成範囲や探索エリアの位置が設定される（Ｓ２０１）。そのため、ユーザーは所望の被写体を追尾対象とすることが比較的に容易となる。   In the electronic camera of the above modification, when the subject tracking process is started again after the still image is captured, the position of the template generation range or search area starting from the position where the tracking target was last detected in the previous subject tracking process Is set (S201). This makes it relatively easy for the user to target a desired subject.

＜実施形態の補足事項＞
（１）上記実施形態では、簡単のため、最初に生成されたテンプレートのみを用いて被写体追尾処理を行う例を説明した。しかし、本発明のテンプレート生成部４２は、追尾対象の検出に成功したときに逐次テンプレートを生成して、テンプレートの蓄積または更新を行うようにしてもよい。 <Supplementary items of the embodiment>
(1) For the sake of simplicity, the above embodiment has described an example in which subject tracking processing is performed using only the template generated first. However, the template generation unit 42 of the present invention may generate templates sequentially when the tracking target is successfully detected, and accumulate or update the templates.

また、図３，図４に示す動作例において、レリーズ釦３０の半押しが解除されたとき（Ｓ１１９のＹＥＳ側）または本画像の撮像処理が行われたとき（Ｓ１２１）に、ＣＰＵ２３はＳ１０３に移行してテンプレートを生成するようにしてもよい。   3 and 4, when the half-press of the release button 30 is released (YES side of S119) or when the main image is captured (S121), the CPU 23 proceeds to S103. A template may be generated by migrating.

（２）図３，図４に示す動作例において、Ｓ１２２での被写体追尾部４３は、レリーズ釦３０の半押しが解除されたとき（Ｓ１１９のＹＥＳ側）のみ、第２メモリ２４に記憶されている追尾対象の位置を追尾対象の探索開始位置に設定するようにしてもよい。同様に、Ｓ１２２での被写体追尾部４３は、本画像の撮像処理が行われたとき（Ｓ１２１）のみ、第２メモリ２４に記憶されている追尾対象の位置を追尾対象の探索開始位置に設定するようにしてもよい。   (2) In the operation example shown in FIGS. 3 and 4, the subject tracking unit 43 in S122 is stored in the second memory 24 only when the half-press of the release button 30 is released (YES side in S119). The tracking target position may be set as the tracking target search start position. Similarly, the subject tracking unit 43 in S122 sets the tracking target position stored in the second memory 24 as the tracking target search start position only when the main image is captured (S121). You may do it.

（３）図３，図４に示す動作例において、Ｓ１１８でのＣＰＵ２３はパラメータ設定部４０にＡＥ演算を実行させて、本画像の撮像時に適用する絞り値、シャッタスピード、撮像感度をそれぞれ求めてもよい。   (3) In the operation examples shown in FIGS. 3 and 4, the CPU 23 in S118 causes the parameter setting unit 40 to execute the AE calculation to obtain the aperture value, shutter speed, and imaging sensitivity to be applied when the main image is captured. Also good.

（４）上記実施形態では、追尾対象の輝度情報および色差情報のテンプレートをそれぞれ生成する例を説明した。しかし、上記実施形態はあくまで一例にすぎず、本発明の撮像装置では、上記の輝度情報、色差情報のテンプレートのいずれかを選択的に生成するものであってもよい。また、被写体追尾部４３は、例えば、画像のＲＧＢの階調値、画像の輪郭成分または画像のコントラスト比の情報などを用いて、スルー画像から追尾対象を検出してもよい。   (4) In the above-described embodiment, an example in which templates of luminance information and color difference information to be tracked are generated has been described. However, the above embodiment is merely an example, and the imaging apparatus according to the present invention may selectively generate any one of the templates of the luminance information and the color difference information. In addition, the subject tracking unit 43 may detect the tracking target from the through image using, for example, information on the RGB gradation values of the image, the contour component of the image, or the contrast ratio of the image.

（５）上記実施形態では、被写体追尾処理のときにＡＦ、ＡＥおよびホワイトバランス演算をすべて停止させる例を説明した。しかし、本発明の撮像装置では、被写体追尾処理のときに、ＡＦ、ＡＥおよびホワイトバランス演算のいずれか１つまたは２つを任意に停止させてもよい。   (5) In the above embodiment, an example in which AF, AE, and white balance calculation are all stopped during the subject tracking process has been described. However, in the imaging apparatus of the present invention, any one or two of AF, AE, and white balance calculation may be arbitrarily stopped during the subject tracking process.

一例として、ＣＰＵ２３は、被写体追尾処理のときにＡＦ制御を停止し、Ｓ１０９とＳ１１０との間にＡＥ演算およびホワイトバランス演算を実行するようにしてもよい。また、ＣＰＵ２３は、被写体追尾処理のときにＡＥ演算およびホワイトバランス演算を停止し、Ｓ１０９とＳ１１０との間にＡＦ制御を実行するようにしてもよい。   As an example, the CPU 23 may stop the AF control during the subject tracking process and execute an AE calculation and a white balance calculation between S109 and S110. Further, the CPU 23 may stop the AE calculation and the white balance calculation during the subject tracking process and execute the AF control between S109 and S110.

また、ＣＰＵ２３は、被写体追尾処理のときにＡＥ演算のみを停止し、Ｓ１０９とＳ１１０との間（変形例の場合にはＳ２０８のとき）にＡＦ制御およびホワイトバランス演算を実行するようにしてもよい。なお、この例は、被写体追尾部４３が輝度情報のテンプレートのみを用いて被写体追尾処理を行う場合に適用しうる。   Further, the CPU 23 may stop only the AE calculation during the subject tracking process and execute the AF control and the white balance calculation between S109 and S110 (in the case of the modification, at S208). . This example can be applied when the subject tracking unit 43 performs the subject tracking processing using only the template of the luminance information.

また、ＣＰＵ２３は、被写体追尾処理のときにホワイトバランス演算のみを停止し、Ｓ１０９とＳ１１０との間（変形例の場合にはＳ２０８のとき）にＡＦ制御およびＡＥ演算を実行するようにしてもよい。なお、この例は、被写体追尾部４３が色差情報のテンプレートのみを用いて被写体追尾処理を行う場合に適用しうる。   Further, the CPU 23 may stop only the white balance calculation during the subject tracking process, and execute the AF control and the AE calculation between S109 and S110 (at the time of S208 in the modified example). . This example can be applied when the subject tracking unit 43 performs the subject tracking process using only the color difference information template.

（６）上記実施形態において、被写体追尾部４３は、探索エリアのサイズの種類を４段階以上としてもよい。そして、被写体追尾部４３は、最大類似度がＣＡＳＥ１からＣＡＳＥ３のいずれに属するかに応じて、探索エリアのサイズを以下のように変更するようにしてもよい。なお、この場合には、探索エリアのサイズを第２メモリ２４に逐次記憶しておく必要がある。   (6) In the above embodiment, the subject tracking unit 43 may set the size of the search area to four or more levels. Then, the subject tracking unit 43 may change the size of the search area as follows according to whether the maximum similarity belongs to CASE1 to CASE3. In this case, it is necessary to sequentially store the size of the search area in the second memory 24.

一例として、被写体追尾部４３は、最大類似度が第１閾値以上で第２閾値未満の場合（ＣＡＳＥ１）には探索エリアのサイズを１段階小さくする。もっとも、ＣＡＳＥ１のときに探索エリアのサイズが既に最小の場合には、被写体追尾部４３は探索エリアのサイズをそのまま維持する。また、被写体追尾部４３は、最大類似度が第２閾値以上で第３閾値未満の場合（ＣＡＳＥ２）には探索エリアのサイズをそのまま維持する。また、被写体追尾部４３は、最大類似度が第３閾値以上の場合（ＣＡＳＥ３）には探索エリアのサイズを１段階大きくする。もっとも、ＣＡＳＥ３のときに探索エリアのサイズが既に最大の場合には、被写体追尾部４３は探索エリアのサイズをそのまま維持する。   As an example, the subject tracking unit 43 reduces the size of the search area by one step when the maximum similarity is greater than or equal to the first threshold and less than the second threshold (CASE 1). However, if the size of the search area is already the smallest at CASE 1, the subject tracking unit 43 maintains the size of the search area as it is. In addition, the subject tracking unit 43 maintains the size of the search area as it is when the maximum similarity is greater than or equal to the second threshold and less than the third threshold (CASE 2). Further, the subject tracking unit 43 increases the size of the search area by one step when the maximum similarity is equal to or greater than the third threshold (CASE 3). However, if the size of the search area is already the maximum at CASE 3, the subject tracking unit 43 maintains the size of the search area as it is.

（７）本発明において、被写体追尾処理の開始および終了の操作を行うスイッチは、多機能操作スイッチ３６の決定釦３７やレリーズ釦３０に限定されるものではない。そのため、被写体追尾処理に関する操作をその他のスイッチに割り当ててもよい。   (7) In the present invention, the switch for starting and ending the subject tracking process is not limited to the determination button 37 and the release button 30 of the multi-function operation switch 36. Therefore, operations related to subject tracking processing may be assigned to other switches.

（８）図３，図４に示す動作例では、１回目の決定釦３７の押圧に応じて電子カメラが被写体追尾処理を開始するとともに、２回目の決定釦３７の押圧に応じて電子カメラが被写体追尾処理を終了する例を説明した。しかし、本発明の電子カメラは、上記Ｓ１０２のＹＥＳ側から決定釦３７の押圧が継続している期間は被写体追尾処理を継続し、上記Ｓ１１２にて決定釦３７の押圧が解除されたときに被写体追尾処理を終了するようにしてもよい。   (8) In the operation example shown in FIGS. 3 and 4, the electronic camera starts subject tracking processing in response to the first press of the determination button 37 and the electronic camera in response to the second press of the determination button 37. An example of ending the subject tracking process has been described. However, the electronic camera of the present invention continues the subject tracking process during the period in which the determination button 37 is continuously pressed from the YES side in S102, and the subject when the determination button 37 is released in S112. You may make it complete | finish a tracking process.

また、上記Ｓ１１２において、ＣＰＵ２３は、ズームスイッチ３１の操作があった場合には被写体追尾処理を停止させて、ズームレンズの移動などを行うようにしてもよい。   In S112, when the zoom switch 31 is operated, the CPU 23 may stop the subject tracking process and move the zoom lens.

（９）上記実施形態では、パラメータ設定部４０、焦点調節部４１、テンプレート生成部４２、被写体追尾部４３などの機能をプログラムによってソフトウエア的に実現する例を説明したが、これらの構成をＡＳＩＣを用いてハードウエア的に実現しても勿論かまわない。   (9) In the above embodiment, the example in which the functions of the parameter setting unit 40, the focus adjustment unit 41, the template generation unit 42, the subject tracking unit 43, and the like are realized by software is described. Of course, it may be realized in hardware using

（１０）上記実施形態では、コンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが勿論可能である。なお、本発明を一眼レフレックス型の電子カメラに適用する場合には、本画像を撮像する撮像素子によってスルー画像を撮像してもよく、また、本画像を撮像する撮像素子とは別にスルー画像を撮像するための撮像素子を設けるようにしてもよい。   (10) In the above embodiment, the configuration example of the compact electronic camera has been described. However, the imaging apparatus of the present invention can of course be applied to a single-lens reflex type electronic camera in which lenses can be exchanged. Note that when the present invention is applied to a single-lens reflex electronic camera, a through image may be captured by an image sensor that captures the main image, and the through image is separate from the image sensor that captures the main image. You may make it provide the image pick-up element for imaging.

また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。   The imaging device of the present invention can also be applied to a camera module built in an electronic device such as a mobile phone.

（１１）上記実施形態において、電子カメラの絞りは、開口を有する絞り板を光路に挿抜して単位時間当たりの入射光量を調整する構成であってもよい。   (11) In the above-described embodiment, the diaphragm of the electronic camera may be configured to adjust the amount of incident light per unit time by inserting and removing a diaphragm plate having an opening in the optical path.

（１２）上記実施形態および変形例の構成はあくまで一例にすぎない。そのため、本発明の撮像装置を実施するときには、上述の実施形態および変形例に示す構成やその処理の順序についてあらゆる組み合わせをとることができる。例えば、この実施形態の補足事項で説明した事項は、図８，図９で示した動作例にも適用することができる。   (12) The configurations of the above embodiment and the modification are merely examples. Therefore, when implementing the imaging apparatus of the present invention, all combinations of the configurations and the processing order shown in the above-described embodiments and modifications can be taken. For example, the items described in the supplementary items of this embodiment can be applied to the operation examples shown in FIGS.

なお、本発明は、その精神またはその主要な特徴から逸脱することなく他の様々な形で実施することができる。そのため、上述した実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明は、特許請求の範囲によって示されるものであって、本発明は明細書本文にはなんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内である。   It should be noted that the present invention can be implemented in various other forms without departing from the spirit or main features thereof. Therefore, the above-described embodiment is merely an example in all respects and should not be interpreted in a limited manner. The present invention is defined by the claims, and the present invention is not limited to the text of the specification. Further, all modifications and changes belonging to the equivalent scope of the claims are within the scope of the present invention.

本実施形態の電子カメラの構成を説明するブロック図A block diagram for explaining a configuration of an electronic camera of the present embodiment 本実施形態の電子カメラの背面側外観図Rear view of the electronic camera of the present embodiment 被写体追尾モードでの動作例を示す流れ図Flow chart showing an example of operation in subject tracking mode 図３の続きの流れ図Flowchart continued from FIG. ガイドマークの重畳されたビュー画像の表示例を示す図The figure which shows the example of a display of the view image on which the guide mark was superimposed 本実施形態の探索エリアの初期状態を示した図The figure which showed the initial state of the search area of this embodiment 追尾対象の動きに伴う探索エリアのシフトを示す図The figure which shows the shift of the search area with the movement of the tracking object 図３，図４に示す被写体追尾モードの変形例を示す流れ図3 is a flowchart showing a modification of the subject tracking mode shown in FIGS. 図８の続きの流れ図Flow chart continued from FIG.

符号の説明Explanation of symbols

１１…撮像光学系、１２…レンズ駆動部、１３…絞り、１４…絞り駆動部、１５…撮像素子、１６…ＡＦＥ、１７…画像処理部、２０…モニタ、２１…操作部材、２３…ＣＰＵ、２４…第２メモリ、３０…レリーズ釦、３６…多機能操作スイッチ、３７…決定釦、４０…パラメータ設定部、４１…焦点調節部、４２…テンプレート生成部、４３…被写体追尾部
DESCRIPTION OF SYMBOLS 11 ... Imaging optical system, 12 ... Lens drive part, 13 ... Diaphragm, 14 ... Diaphragm drive part, 15 ... Imaging element, 16 ... AFE, 17 ... Image processing part, 20 ... Monitor, 21 ... Operation member, 23 ... CPU, 24 ... second memory, 30 ... release button, 36 ... multi-function operation switch, 37 ... decision button, 40 ... parameter setting unit, 41 ... focus adjustment unit, 42 ... template generation unit, 43 ... subject tracking unit

Claims (7)

撮影画面内の被写体像を撮像して画像のデータを生成する撮像部と、
追尾対象の特徴を示すテンプレートを記憶するテンプレート記憶部と、
前記画像に含まれる被写体と前記テンプレートとの相関に基づいて、前記撮影画面から前記追尾対象を継続的に検出する被写体追尾部と、
前記追尾対象を検出した位置を記憶する位置記憶部と、
前記追尾対象の位置の被写体を対象として撮像光学系の焦点調節を行う焦点調節部と、
前記被写体追尾部による前記追尾対象の検出の開始および停止を制御する制御部と、を備え、
前記被写体追尾部は、前記追尾対象の検出を停止した後で前記追尾対象の検出を開始するときに、前記追尾対象を最後に検出した位置を起点として前記追尾対象を探索することを特徴とする撮像装置。 An imaging unit that captures a subject image in a shooting screen and generates image data;
A template storage unit for storing a template indicating the characteristics of the tracking target;
A subject tracking unit that continuously detects the tracking target from the shooting screen based on the correlation between the subject included in the image and the template;
A position storage unit for storing a position where the tracking target is detected;
A focus adjustment unit that adjusts the focus of the imaging optical system for the subject at the position of the tracking target;
A control unit that controls start and stop of detection of the tracking target by the subject tracking unit,
The subject tracking unit searches for the tracking target from a position where the tracking target was last detected when starting detection of the tracking target after stopping detection of the tracking target. Imaging device. 請求項１に記載の撮像装置において、
前記焦点調節部に焦点調節の実行を指示するＡＦ指示操作と、前記撮像部に記録用の静止画像の撮像を指示する撮像指示操作とをそれぞれ受け付ける操作部材をさらに備え、
前記制御部は、前記ＡＦ指示操作または前記撮像指示操作に応じて前記追尾対象の検出を停止させるとともに、前記ＡＦ指示操作の解除または前記静止画像の撮像終了によって前記追尾対象の検出を再び開始させることを特徴とする撮像装置。 The imaging apparatus according to claim 1,
An operation member for receiving an AF instruction operation for instructing the focus adjustment unit to execute focus adjustment and an imaging instruction operation for instructing the imaging unit to capture a still image for recording;
The control unit stops detection of the tracking target in response to the AF instruction operation or the imaging instruction operation, and restarts detection of the tracking target upon cancellation of the AF instruction operation or completion of imaging of the still image. An imaging apparatus characterized by that. 請求項１に記載の撮像装置において、
前記撮像部に記録用の静止画像の撮像を指示する撮像指示操作を受け付ける撮像指示部と、
前記被写体追尾部に前記追尾対象の検出を開始させる追尾開始操作を受け付ける追尾指示部と、をさらに備え、
前記制御部は、前記追尾開始操作に応じて前記追尾対象の検出を開始させるとともに、前記撮像指示操作に応じて前記追尾対象の検出を停止させることを特徴とする撮像装置。 The imaging apparatus according to claim 1,
An imaging instruction unit that receives an imaging instruction operation for instructing the imaging unit to capture a still image for recording;
A tracking instruction unit that receives a tracking start operation for causing the subject tracking unit to start detection of the tracking target;
The control unit starts detection of the tracking target in response to the tracking start operation, and stops detection of the tracking target in response to the imaging instruction operation. 請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記被写体追尾部は、前記追尾対象の検出を停止した後で前記追尾対象の検出を開始するときに、前記追尾対象を最後に検出した位置に基づいて、前記撮影画面のうちで前記追尾対象を探索する探索範囲を設定することを特徴とする撮像装置。 In the imaging device according to any one of claims 1 to 3,
When the subject tracking unit starts detecting the tracking target after stopping detection of the tracking target, the subject tracking unit detects the tracking target in the shooting screen based on the position where the tracking target was last detected. An imaging apparatus characterized by setting a search range to be searched. 請求項４に記載の撮像装置において、
前記被写体追尾部は、前記追尾対象の検出を停止した後で前記追尾対象の検出を開始するときに、前記追尾対象を最後に検出したときの前記相関の値に応じて前記探索範囲のサイズを変化させることを特徴とする撮像装置。 The imaging apparatus according to claim 4,
When the subject tracking unit starts detecting the tracking target after stopping the tracking target detection, the subject tracking unit sets the size of the search range according to the correlation value when the tracking target is detected last. An imaging apparatus characterized by being changed. 請求項１または請求項２に記載の撮像装置において、
前記撮像部に入射する単位時間当たりの光量を調整する手段、前記撮像部で前記画像を撮像するときのシャッタスピード、前記撮像部の感度設定のうちの少なくとも１つのパラメータを設定するパラメータ設定部と、
前記パラメータに基づいて前記撮像部を制御するとともに、前記追尾対象の検出を再開するときには、各々の前記パラメータの状態を前記追尾対象を最後に検出したときと同一に設定する撮像制御部と、
をさらに備えることを特徴とする撮像装置。 In the imaging device according to claim 1 or 2,
A parameter setting unit that sets at least one parameter among means for adjusting the amount of light per unit time incident on the imaging unit, shutter speed when the image is captured by the imaging unit, and sensitivity setting of the imaging unit; ,
An imaging control unit that controls the imaging unit based on the parameter and sets the state of each of the parameters to be the same as when the tracking target was last detected when resuming detection of the tracking target;
An image pickup apparatus further comprising: 請求項１または請求項２に記載の撮像装置において、
前記画像のホワイトバランスを調整するためのホワイトバランス調整値を設定するパラメータ設定部と、
前記ホワイトバランス調整値に基づいて前記撮像部を制御するとともに、前記追尾対象の検出を再開するときには、前記ホワイトバランス調整値を前記追尾対象を最後に検出したときと同一に設定する撮像制御部と、
をさらに備えることを特徴とする撮像装置。
In the imaging device according to claim 1 or 2,
A parameter setting unit for setting a white balance adjustment value for adjusting the white balance of the image;
An imaging control unit that controls the imaging unit based on the white balance adjustment value and sets the white balance adjustment value to be the same as when the tracking target was last detected when the detection of the tracking target is resumed. ,
An image pickup apparatus further comprising:
JP2008014060A 2008-01-24 2008-01-24 Imaging device Expired - Fee Related JP5217451B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008014060A JP5217451B2 (en) 2008-01-24 2008-01-24 Imaging device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008014060A JP5217451B2 (en) 2008-01-24 2008-01-24 Imaging device

Publications (2)

Publication Number Publication Date
JP2009175442A true JP2009175442A (en) 2009-08-06
JP5217451B2 JP5217451B2 (en) 2013-06-19

Family

ID=41030598

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008014060A Expired - Fee Related JP5217451B2 (en) 2008-01-24 2008-01-24 Imaging device

Country Status (1)

Country Link
JP (1) JP5217451B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012063455A (en) * 2010-09-14 2012-03-29 Nikon Corp Image tracking device and imaging apparatus
JP2012215665A (en) * 2011-03-31 2012-11-08 Canon Inc Imaging apparatus and control method thereof
JP2012252389A (en) * 2011-05-31 2012-12-20 Nikon Corp Region extraction device, imaging apparatus, and region extraction program
US8724981B2 (en) 2010-06-15 2014-05-13 Ricoh Company, Limited Imaging apparatus, focus position detecting method, and computer program product
JP2014170173A (en) * 2013-03-05 2014-09-18 Olympus Imaging Corp Image processor
JP2018037807A (en) * 2016-08-30 2018-03-08 キヤノン株式会社 Imaging apparatus, control method, program, and storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129271A (en) * 2004-10-29 2006-05-18 Olympus Corp Camera, image processing apparatus and image processing method, and image processing program
JP2007225808A (en) * 2006-02-22 2007-09-06 Pentax Corp Autofocus unit and digital camera

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006129271A (en) * 2004-10-29 2006-05-18 Olympus Corp Camera, image processing apparatus and image processing method, and image processing program
JP2007225808A (en) * 2006-02-22 2007-09-06 Pentax Corp Autofocus unit and digital camera

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8724981B2 (en) 2010-06-15 2014-05-13 Ricoh Company, Limited Imaging apparatus, focus position detecting method, and computer program product
JP2012063455A (en) * 2010-09-14 2012-03-29 Nikon Corp Image tracking device and imaging apparatus
JP2012215665A (en) * 2011-03-31 2012-11-08 Canon Inc Imaging apparatus and control method thereof
JP2012252389A (en) * 2011-05-31 2012-12-20 Nikon Corp Region extraction device, imaging apparatus, and region extraction program
JP2014170173A (en) * 2013-03-05 2014-09-18 Olympus Imaging Corp Image processor
JP2018037807A (en) * 2016-08-30 2018-03-08 キヤノン株式会社 Imaging apparatus, control method, program, and storage medium

Also Published As

Publication number Publication date
JP5217451B2 (en) 2013-06-19

Similar Documents

Publication Publication Date Title
JP5115210B2 (en) Imaging device
JP4761146B2 (en) Imaging apparatus and program thereof
JP6474693B2 (en) Focus detection apparatus, focus detection method, and recording medium
US20080025604A1 (en) System for and method of taking image and computer program
JP6518452B2 (en) Imaging apparatus and imaging method
JP2009225072A (en) Imaging apparatus
JP2014081420A (en) Tracking device and method thereof
JP4645413B2 (en) Imaging device
JP5217451B2 (en) Imaging device
JP4614143B2 (en) Imaging apparatus and program thereof
JP6391304B2 (en) Imaging apparatus, control method, and program
JP2009111716A (en) Imaging apparatus, program and template generating method
JP2007052061A (en) Imaging device, focusing operation control method, and electronic information apparatus
JP4807582B2 (en) Image processing apparatus, imaging apparatus, and program thereof
JP6758950B2 (en) Imaging device, its control method and program
JP5371474B2 (en) Imaging apparatus, control method, and program
JP5062095B2 (en) Imaging device
JP5070856B2 (en) Imaging device
JP5169542B2 (en) Electronic camera
JP5040669B2 (en) Imaging device
JP2009017093A (en) Image recognizing device, focus adjusting device and imaging apparatus
JP2006243609A (en) Autofocus device
JP6465553B2 (en) Imaging apparatus and control method thereof
JP5644180B2 (en) Imaging apparatus, imaging method, and program
JP2003270521A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110624

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130218

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160315

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5217451

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees