JP2015111226A - Subject tracking device and control method of the same, imaging device, program, and storage medium - Google Patents

Subject tracking device and control method of the same, imaging device, program, and storage medium Download PDF

Info

Publication number
JP2015111226A
JP2015111226A JP2013253615A JP2013253615A JP2015111226A JP 2015111226 A JP2015111226 A JP 2015111226A JP 2013253615 A JP2013253615 A JP 2013253615A JP 2013253615 A JP2013253615 A JP 2013253615A JP 2015111226 A JP2015111226 A JP 2015111226A
Authority
JP
Japan
Prior art keywords
subject
tracking
unit
focus detection
defocus amount
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013253615A
Other languages
Japanese (ja)
Inventor
巧 竹原
Takumi Takehara
巧 竹原
Original Assignee
キヤノン株式会社
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by キヤノン株式会社, Canon Inc filed Critical キヤノン株式会社
Priority to JP2013253615A priority Critical patent/JP2015111226A/en
Publication of JP2015111226A publication Critical patent/JP2015111226A/en
Pending legal-status Critical Current

Links

Images

Abstract

PROBLEM TO BE SOLVED: To achieve a subject tracking technology that enables the accurate re-tracking of a subject to be tracked, even when the subject to be tracked has been shielded and appeared again.SOLUTION: A subject tracking device includes: subject detection means for detecting the number of subjects and feature information on each of the subjects from an image; subject tracking means for determining a tracking area of a subject to be tracked on the basis of the feature information detected by the subject detection means; focus detection means for detecting the amount of defocus in a focus detection area; and tracking change determination means for determining, when the number of the subjects detected by the subject detection means has increased, whether or not to change the tracking area determined by the subject tracking means.

Description

本発明は、特定の被写体を追跡する技術に関するものである。   The present invention relates to a technique for tracking a specific subject.

従来の撮像装置における焦点検出では、複数の焦点検出領域の中から1つの焦点検出領域を選択し、選択された焦点検出領域から検出されたデフォーカス量に基づいて撮影レンズを駆動させる方法が一般的である。また、被写体追跡機能を備える撮像装置では、被写体の輝度情報から被写体追跡のための特徴情報を検出し、連続して撮像される画像ごとの特徴情報から被写体の追跡領域を特定し、これに対応する焦点検出領域を選択する方法が一般的である。   In focus detection in a conventional imaging apparatus, a method of selecting one focus detection area from a plurality of focus detection areas and driving a photographing lens based on a defocus amount detected from the selected focus detection area is generally used. Is. In addition, in an imaging device having a subject tracking function, feature information for subject tracking is detected from the luminance information of the subject, and the subject tracking area is identified from the feature information for each continuously captured image, and this is supported. A method of selecting a focus detection area to be used is general.

しかしながら、追跡対象の被写体が他の人物や物体等の遮蔽物により遮蔽されると、追跡対象の被写体を見失ったり、遮蔽物を追跡対象の被写体として誤判定してしまうことがある。これに対して、焦点検出領域における前回と今回のデフォーカス量の差の変化が大きい場合には追跡対象の被写体が遮蔽されたと見なし、レンズの駆動を禁止するなどして追跡対象の被写体の誤判定を防ぐ方法が広く知られている。   However, when the subject to be tracked is shielded by a shield such as another person or object, the subject to be tracked may be lost, or the shield may be erroneously determined as the subject to be tracked. In contrast, if the change in the difference between the previous and current defocus amounts in the focus detection area is large, it is considered that the subject to be tracked is shielded, and the subject to be tracked is mistaken by prohibiting lens driving. A method for preventing the determination is widely known.

特許文献1ではデフォーカス量の差に加えて、追跡対象の被写体の色情報からテンプレートを作成し、パターンマッチング法により被写体の画像平面上における位置を追跡している。被写体の色情報による追跡に失敗し、且つ検出デフォーカス量の差が大きかった場合に被写体が遮蔽されたことを検出してレンズの駆動を一定時間禁止する。被写体の色情報による追跡に成功し、且つ検出デフォーカス量が遮蔽の検出前のデフォーカス量に対して閾値以内の場合に、再びレンズの駆動を許可し、被写体を追跡する方法が開示されている。   In Patent Document 1, in addition to the defocus amount difference, a template is created from the color information of the subject to be tracked, and the position of the subject on the image plane is tracked by the pattern matching method. When tracking based on the color information of the subject fails and the difference in the detected defocus amount is large, it is detected that the subject is blocked and lens driving is prohibited for a certain period of time. Disclosed is a method for allowing the lens to be driven again and tracking the subject when the tracking by the color information of the subject is successful and the detected defocus amount is within the threshold with respect to the defocus amount before the detection of the occlusion. Yes.

特開2008−113423号公報JP 2008-113423 A

上記特許文献1では、被写体の肌の色などで被写体を追跡するため、追跡対象の被写体と他の人物の肌の色の区別が付かず、特に追跡対象の被写体と他の人物の奥行き方向の距離が比較的近い場合に、他の人物を追跡対象の被写体と誤判定してしまうことがある。また、追跡している被写体がカメラに対して急激に近づいているシーン等では、他の人物に遮蔽される前と後で追跡していた被写体の奥行き位置、つまりデフォーカス量が大きく変化してしまうため、再度出現した被写体を精度よく特定できないこともある。   In the above-mentioned patent document 1, since the subject is tracked by the skin color of the subject or the like, the subject to be tracked and the skin color of another person cannot be distinguished, and in particular the depth direction of the subject to be tracked and the other person's When the distance is relatively close, another person may be erroneously determined as the subject to be tracked. Also, in a scene where the tracked subject is approaching the camera rapidly, the depth position of the tracked subject before and after being blocked by another person, that is, the defocus amount changes greatly. Therefore, the subject that has appeared again may not be accurately identified.

本発明は、上記課題に鑑みてなされ、その目的は、追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる被写体追跡技術を実現することである。   The present invention has been made in view of the above problems, and an object thereof is to realize a subject tracking technique capable of accurately retracking a tracking target subject even when the tracking target subject is blocked and reappears. That is.

上記課題を解決し、目的を達成するために、本発明の被写体追跡装置は、被写体追跡装置は、画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出手段と、前記被写体検出手段により検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡手段と、焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、前記被写体検出手段により検出された被写体の数が増加した場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定する追跡変更判定手段と、を有する。   In order to solve the above problems and achieve the object, the subject tracking device of the present invention includes a subject detection unit that detects the number of subjects and feature information for each subject from an image, and the subject detection unit. Subject tracking means for determining the tracking area of the subject to be tracked based on the detected feature information, focus detection means for detecting the defocus amount in the focus detection area, and the number of objects detected by the object detection means. Tracking change determination means for determining whether or not to change the tracking area by the subject tracking means when the number increases.

本発明によれば、追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる。   According to the present invention, even when the tracking target subject is blocked and reappears, the tracking target subject can be retracked with high accuracy.

本実施形態の被写体追跡装置の機能ブロック図。FIG. 3 is a functional block diagram of the subject tracking device of the present embodiment. 本実施形態のカメラの構成を示すブロック図。The block diagram which shows the structure of the camera of this embodiment. 本実施形態の被写体追跡処理を示すフローチャート。6 is a flowchart showing subject tracking processing of the present embodiment. 本実施形態のカメラの焦点検出領域を示す図。The figure which shows the focus detection area | region of the camera of this embodiment. 被写体のデフォーカス量を予測する方法を説明する図。The figure explaining the method of estimating the defocus amount of a to-be-photographed object. 図3の被写体遮蔽判定処理を示すフローチャート。FIG. 4 is a flowchart illustrating subject occlusion determination processing in FIG. 3. FIG. 図3の追跡変更処理を示すフローチャート。The flowchart which shows the tracking change process of FIG. 予測した座標位置と焦点検出を行う焦点検出領域を例示する図。The figure which illustrates the predicted coordinate position and the focus detection area which performs focus detection. 本実施形態の被写体追跡処理による効果を説明する図。The figure explaining the effect by the subject tracking process of this embodiment.

以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成しても良い。   Hereinafter, embodiments for carrying out the present invention will be described in detail. The embodiment described below is an example for realizing the present invention, and should be appropriately modified or changed according to the configuration and various conditions of the apparatus to which the present invention is applied. It is not limited to the embodiment. Moreover, you may comprise combining suitably one part of each embodiment mentioned later.

[実施形態1]本発明の被写体追跡装置を一眼レフデジタルカメラ(以下、カメラ)により実現した例について説明するが、コンパクトデジタルカメラあるいはカメラ機能を搭載するスマートフォンやタブレット端末等の携帯型電子機器にも適用可能である。   [Embodiment 1] An example in which the subject tracking device of the present invention is realized by a single-lens reflex digital camera (hereinafter referred to as a camera) will be described. However, it is applied to a portable digital device such as a compact digital camera or a smartphone or tablet terminal equipped with a camera function. Is also applicable.

<被写体追跡装置の説明>図1を参照して、本実施形態の被写体追跡装置の構成および機能について説明する。なお、図示の機能は、図2で後述するカメラのマイクロコンピュータ(以下、マイコン)221の制御により、図2に示すハードウェアとソフトウェアの協働により実現される。   <Description of Subject Tracking Device> The configuration and function of the subject tracking device of this embodiment will be described with reference to FIG. The functions shown in the figure are realized by the cooperation of hardware and software shown in FIG. 2 under the control of a microcomputer (hereinafter referred to as microcomputer) 221 of a camera, which will be described later with reference to FIG.

図1に示すように、被写体検出部101は、撮影レンズを通過した被写体の輝度情報から、被写体の特徴情報である色や顔に関する情報を検出する。   As shown in FIG. 1, the subject detection unit 101 detects information about the color and face, which is feature information of the subject, from the luminance information of the subject that has passed through the taking lens.

被写体追跡部102は、被写体検出部101により検出された被写体ごとの色情報に基づいて特定の被写体を追跡し、被写体の画像平面上における位置を特定する。さらに、被写体追跡部102は、後述する遮蔽中と判定されるまでの過去の複数回分の被写体の座標位置を記憶する。   The subject tracking unit 102 tracks a specific subject based on the color information for each subject detected by the subject detection unit 101, and specifies the position of the subject on the image plane. Further, the subject tracking unit 102 stores the coordinate positions of the subject for a plurality of past times until it is determined that the shielding is in progress, which will be described later.

焦点検出部103は、焦点検出領域において焦点検出を行い、デフォーカス量を算出する。さらに、焦点検出部103は、後述する遮蔽中と判定されるまでの過去の複数回分のデフォーカス量を記憶する。   The focus detection unit 103 performs focus detection in the focus detection area and calculates a defocus amount. Furthermore, the focus detection unit 103 stores the past defocus amounts for a plurality of times until it is determined to be in a shielding state, which will be described later.

被写体遮蔽判定部104は、被写体検出部101により検出される顔の数の増減および焦点検出部103により検出されるデフォーカス量の変化に基づいて、追跡している被写体が他の人物や物体等の遮蔽物により遮蔽されたか否かを判定する。   The subject occlusion determination unit 104 determines whether the tracked subject is another person or object based on the increase or decrease in the number of faces detected by the subject detection unit 101 and the change in the defocus amount detected by the focus detection unit 103. It is determined whether or not it is shielded by the shield.

追跡候補領域決定部105は、被写体遮蔽判定部104により追跡している被写体が遮蔽されていると判定された時点で、被写体追跡部102および焦点検出部103がそれぞれ記憶している過去の座標位置やデフォーカス量に基づいて、追跡していた被写体の画像平面上における現在の座標位置やデフォーカス量を予測する。   The tracking candidate area determination unit 105 stores past coordinate positions stored in the subject tracking unit 102 and the focus detection unit 103 at the time when the subject tracking determination unit 104 determines that the subject being tracked is blocked. And the current coordinate position and defocus amount of the tracked subject on the image plane are predicted based on the defocus amount.

追跡変更判定部106は、被写体検出部101により検出される顔の数が増加した場合に、被写体追跡部102が追跡対象とする被写体の追跡領域を、追跡候補領域決定部105により予測された候補領域に変更するか否かを判定する。   When the number of faces detected by the subject detection unit 101 increases, the tracking change determination unit 106 selects the tracking region of the subject to be tracked by the subject tracking unit 102 as a candidate predicted by the tracking candidate region determination unit 105. It is determined whether or not to change to an area.

焦点調節部107は、被写体追跡部102が追跡対象とする被写体の追跡領域の画像平面上の位置の近傍に設定された焦点検出領域において、焦点検出部103により検出されたデフォーカス量に基づいてレンズの焦点調節を行う。   The focus adjustment unit 107 is based on the defocus amount detected by the focus detection unit 103 in the focus detection region set in the vicinity of the position on the image plane of the subject tracking region to be tracked by the subject tracking unit 102. Adjust the focus of the lens.

<カメラの説明>次に、図2を参照して、本実施形態の一眼レフデジタルカメラの構成および機能について説明する。   <Explanation of Camera> Next, the configuration and function of the single-lens reflex digital camera of this embodiment will be described with reference to FIG.

図2において、撮影レンズ201はズームレンズやフォーカスレンズを含み、レンズユニットとしてカメラ本体に内蔵又は着脱可能とされる。AF(オートフォーカス)駆動回路202は、例えばDCモータや超音波モータを備え、マイコン221の制御指令に応じてフォーカスレンズ位置を変化させることによりピントを合わせる。   In FIG. 2, a photographic lens 201 includes a zoom lens and a focus lens, and is incorporated in or removable from the camera body as a lens unit. The AF (autofocus) drive circuit 202 includes, for example, a DC motor or an ultrasonic motor, and focuses by changing the focus lens position in accordance with a control command from the microcomputer 221.

203は絞りであり、絞り駆動回路204は、マイコン221の制御指令に応じて絞り203を駆動し、光学的な絞り値を変化させる。絞り203の光学的な絞り値はマイコン221によって算出される。   Reference numeral 203 denotes an aperture, and an aperture drive circuit 204 drives the aperture 203 in accordance with a control command from the microcomputer 221 to change an optical aperture value. The optical aperture value of the aperture 203 is calculated by the microcomputer 221.

主ミラー205は、撮影レンズ201から入射した光束をファインダ側又は撮像素子側へ導く光路を切り替える。主ミラー205は常にファインダ側へと光束を導くミラーダウン位置にあるように付勢されているが、撮影時やライブビュー時には、不図示のミラー駆動回路により撮像素子側へ光束を導くように上方に跳ね上がり光軸中から待避したミラーアップ位置に変化する。主ミラー205で反射した光束の一部は、測光用のAEセンサを有する測光回路226に導かれ、被写体の輝度情報などが検出される。また、主ミラー205はその中央部が光束の一部を透過できるようにハーフミラーとなっており、光束の一部を焦点検出を行うためのAFセンサに入射する。なお、AFセンサは、焦点検出回路210内に配置されている。サブミラー206は主ミラー205から透過した光束をAFセンサ側へ反射させる。   The main mirror 205 switches the optical path for guiding the light beam incident from the photographing lens 201 to the viewfinder side or the image sensor side. The main mirror 205 is always urged so as to be in the mirror down position for guiding the light beam toward the viewfinder side. It jumps up to the mirror-up position where it is saved from the optical axis. A part of the light beam reflected by the main mirror 205 is guided to a photometry circuit 226 having an AE sensor for photometry, and the luminance information of the subject is detected. The main mirror 205 is a half mirror so that the central portion can transmit a part of the light beam, and a part of the light beam is incident on an AF sensor for focus detection. Note that the AF sensor is disposed in the focus detection circuit 210. The sub mirror 206 reflects the light beam transmitted from the main mirror 205 to the AF sensor side.

焦点検出回路210は、例えばレンズを通して結像された2つの像の位相差により焦点検出を行うもので、本例では一対のAFセンサを含むものとする。主ミラー205の中央部を透過し、サブミラー206で反射された光束は、焦点検出回路210の内部に配置された光電変換を行うための一対のAFセンサに到達する。被写体に対する撮影レンズ201の焦点調節状態を示すデフォーカス量は、一対のAFセンサの出力を演算することによって求められる。本例では、焦点検出回路210を独立した構成としているが、撮像素子213および映像信号処理回路217に焦点検出機能を搭載しても良い。   The focus detection circuit 210 performs focus detection based on the phase difference between two images formed through a lens, for example, and includes a pair of AF sensors in this example. The light beam transmitted through the central portion of the main mirror 205 and reflected by the sub-mirror 206 reaches a pair of AF sensors for performing photoelectric conversion disposed inside the focus detection circuit 210. The defocus amount indicating the focus adjustment state of the photographing lens 201 with respect to the subject is obtained by calculating the outputs of the pair of AF sensors. In this example, the focus detection circuit 210 has an independent configuration, but the image sensor 213 and the video signal processing circuit 217 may be equipped with a focus detection function.

ファインダは、ペンタプリズム207、ピント板208、およびアイピースレンズ209等を備え、主ミラー205により反射された光束が入射され、ファインダへ導く。   The viewfinder includes a pentaprism 207, a focus plate 208, an eyepiece lens 209, and the like, and a light beam reflected by the main mirror 205 is incident and guided to the viewfinder.

マイコン221は、AFセンサを用いた演算結果を評価してAF駆動回路202に制御指令を出力し、フォーカスレンズを駆動させる。   The microcomputer 221 evaluates the calculation result using the AF sensor and outputs a control command to the AF drive circuit 202 to drive the focus lens.

211はフォーカルプレーンシャッタであり、シャッタ駆動回路212は、マイコン221の制御指令に応じたシャッタ速度で、フォーカルプレーンシャッタ211を駆動する。   Reference numeral 211 denotes a focal plane shutter, and a shutter drive circuit 212 drives the focal plane shutter 211 at a shutter speed according to a control command from the microcomputer 221.

撮像素子213は、CCDやCMOS等の光電変換素子を用いたイメージセンサであり、撮影レンズ201によって結像された被写体像を光電変換して、アナログ画像信号を生成する。   The image sensor 213 is an image sensor using a photoelectric conversion element such as a CCD or CMOS, and photoelectrically converts the subject image formed by the photographing lens 201 to generate an analog image signal.

クランプ回路214およびAGC回路215は、撮像素子213から得られるアナログ画像信号に対して基本的なアナログ信号処理を行い、マイコン221により、クランプレベルやAGC基準レベルの変更が行われる。   The clamp circuit 214 and the AGC circuit 215 perform basic analog signal processing on the analog image signal obtained from the image sensor 213, and the clamp level and the AGC reference level are changed by the microcomputer 221.

AD変換器216は、撮像素子213から得られアナログ信号処理後のアナログ画像信号をデジタル信号に変換し、映像信号処理回路217へ出力する。   The AD converter 216 converts the analog image signal after the analog signal processing obtained from the image sensor 213 into a digital signal and outputs the digital signal to the video signal processing circuit 217.

映像信号処理回路217は、ゲートアレイ等のロジックデバイスにより実現される。
映像信号処理回路217は、AD変換器216からのデジタル画像信号、またはメモリ219から読み出した画像データに対して、フィルタ処理、色変換処理、ガンマ処理を施すと共に、JPEGなどの圧縮処理を行い、メモリコントローラ218に出力する。メモリコントローラ218はメモリ219やバッファメモリ220と映像信号処理回路217との間で画像データの書き込みや読み出しを行う。
The video signal processing circuit 217 is realized by a logic device such as a gate array.
The video signal processing circuit 217 performs filter processing, color conversion processing, gamma processing, and compression processing such as JPEG on the digital image signal from the AD converter 216 or the image data read from the memory 219, Output to the memory controller 218. The memory controller 218 writes and reads image data between the memory 219 and the buffer memory 220 and the video signal processing circuit 217.

また、映像信号処理回路217は、必要に応じて撮像素子213から得られた画像信号を用いて露出(AE)やホワイトバランス(WB)等の情報を演算し、演算結果をマイコン221に出力する。マイコン221は、その演算結果に基づいてホワイトバランスやゲイン調整を行う。   Further, the video signal processing circuit 217 calculates information such as exposure (AE) and white balance (WB) using the image signal obtained from the image sensor 213 as necessary, and outputs the calculation result to the microcomputer 221. . The microcomputer 221 performs white balance and gain adjustment based on the calculation result.

連続撮影時には、一旦、未処理画像のままバッファメモリ220に画像信号を格納し、メモリコントローラ218を介して未処理の画像信号を読み出し、映像信号処理回路217にて画像処理や圧縮処理を行う。連続撮影枚数はバッファメモリ220の容量に左右される。   At the time of continuous shooting, an image signal is temporarily stored in the buffer memory 220 as an unprocessed image, an unprocessed image signal is read out via the memory controller 218, and image processing and compression processing are performed by the video signal processing circuit 217. The number of continuous shots depends on the capacity of the buffer memory 220.

メモリコントローラ218は、映像信号処理回路217から入力された未処理のデジタル画像信号をバッファメモリ220に格納し、処理済みのデジタル画像信号をメモリ219に格納する。また、メモリコントローラ218は、バッファメモリ220やメモリ219から読み出した画像データを映像信号処理回路217へ出力する。メモリ219は装置本体に対して取り外し可能である場合もある。   The memory controller 218 stores the unprocessed digital image signal input from the video signal processing circuit 217 in the buffer memory 220 and stores the processed digital image signal in the memory 219. Further, the memory controller 218 outputs the image data read from the buffer memory 220 or the memory 219 to the video signal processing circuit 217. The memory 219 may be removable from the apparatus main body.

操作部材222は、ユーザ操作を受け付けるボタンやダイヤル、タッチパネル等を含む。マイコン221は、操作部材222の状態変化に応じて各部を制御する。   The operation member 222 includes a button, a dial, a touch panel, and the like that accept user operations. The microcomputer 221 controls each part in accordance with the state change of the operation member 222.

また、操作部材222は、レリーズボタンの操作でオンオフする第1スイッチ223及び第2スイッチ224を含む。   The operation member 222 includes a first switch 223 and a second switch 224 that are turned on and off by operating a release button.

第1スイッチ223は、カメラに設けられたレリーズボタンの操作途中、いわゆる半押し(撮影準備指示)でオンとなり第1スイッチ信号SW1を発生する。マイコン221は、第1スイッチ信号SW1により、AF処理、AE処理、WB処理等の動作を開始する。   The first switch 223 is turned on when a release button provided on the camera is being operated, so-called half-press (shooting preparation instruction), and generates a first switch signal SW1. The microcomputer 221 starts operations such as AF processing, AE processing, and WB processing in response to the first switch signal SW1.

第2スイッチ224は、シャッターボタンの操作完了、いわゆる全押し(撮影指示)でオンとなり、第2スイッチ信号SW2を発生する。マイコン221は、第2スイッチ信号SW2により、撮像素子213からの信号読み出しからメモリ219に画像データを書き込むまでの一連の撮影処理の動作を開始する。   The second switch 224 is turned on when the operation of the shutter button is completed, that is, when it is fully pressed (shooting instruction), and generates a second switch signal SW2. The microcomputer 221 starts a series of photographing processing operations from reading a signal from the image sensor 213 to writing image data in the memory 219 by the second switch signal SW2.

また、第1スイッチ信号SW1および第2スイッチ信号SW2が共にオンし続けている間は、連続撮影動作が行われる。   Further, the continuous shooting operation is performed while both the first switch signal SW1 and the second switch signal SW2 are kept on.

操作部材222には、他に、メインスイッチ、撮影モードダイアル、ISO設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニューや再生画像移動のための移動+(プラス)ボタン、移動−(マイナス)ボタン、露出補正ボタン、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、絞りボタン、消去ボタン、撮影や再生に関する情報表示ボタンなどを含む。   In addition, the operation member 222 includes a main switch, a shooting mode dial, an ISO setting button, a menu button, a set button, a flash setting button, a single shooting / continuous shooting / self-timer switching button, a movement for moving a menu and a playback image. A + (plus) button, a move-(minus) button, an exposure correction button, a display image enlargement button, a display image reduction button, a playback switch, an aperture button, an erase button, an information display button related to shooting and playback, and the like.

電源部225は、各ICや駆動系に必要な電力を供給する。   The power supply unit 225 supplies power necessary for each IC and drive system.

本実施形態のカメラは、上述した構成を備えることにより、追跡対象の被写体が遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することができる。   The camera according to the present embodiment has the above-described configuration, so that the tracking target subject can be accurately re-tracked even when the tracking target subject is blocked and reappears.

<被写体追跡処理>次に、図3から図7を参照して、本実施形態のカメラによる被写体追跡処理について説明する。なお、図3、図6および図7の処理は、レリーズボタンが半押しされ第1スイッチSW1がオンになると開始され、マイコン221が被写体追跡処理のプログラムを実行することにより実現される。   <Subject Tracking Process> Next, the subject tracking process by the camera of this embodiment will be described with reference to FIGS. 3, 6, and 7 are started when the release button is pressed halfway and the first switch SW <b> 1 is turned on, and the microcomputer 221 executes the subject tracking processing program.

ステップS301では、被写体検出部101は、測光回路226から出力された被写体の輝度情報から、被写体の特徴情報である色情報や、顔の数や画像平面上における顔の位置などの顔情報を検出し保持する。以下、画像平面上における水平方向のX位置および垂直方向のY位置で表される位置を座標位置と呼ぶ。   In step S301, the subject detection unit 101 detects face information such as color information, which is feature information of the subject, the number of faces, and the position of the face on the image plane, from the luminance information of the subject output from the photometry circuit 226. And hold. Hereinafter, the position represented by the X position in the horizontal direction and the Y position in the vertical direction on the image plane is referred to as a coordinate position.

ステップS302では、被写体追跡部102は、被写体検出部101により検出された被写体の色情報に基づいて追跡対象の被写体を特定し、その座標位置を検出し、追跡領域として保持する。   In step S302, the subject tracking unit 102 identifies a subject to be tracked based on the color information of the subject detected by the subject detection unit 101, detects its coordinate position, and holds it as a tracking region.

なお、ステップS301における輝度情報からの被写体の特徴色の抽出や人物の顔の検出方法、あるいはステップS302における被写体の特徴色による被写体領域の追跡方法として様々な周知の方法が適用できるが、本実施形態での詳細な説明は省略する。   Note that various well-known methods can be applied as the method for extracting the feature color of the subject from the luminance information in step S301, the method for detecting the face of the person, or the method for tracking the subject region based on the feature color of the subject in step S302. Detailed description in the form is omitted.

ステップS303では、焦点検出部103は、被写体追跡部102により特定された追跡領域の近傍の焦点検出領域において、焦点検出回路210によりデフォーカス量を算出する。   In step S <b> 303, the focus detection unit 103 calculates the defocus amount by the focus detection circuit 210 in the focus detection region in the vicinity of the tracking region specified by the subject tracking unit 102.

図4は、焦点検出部103の焦点検出領域を例示している。図中に四角で示された焦点検出領域に配置された不図示のラインセンサにより2像の像ずれ量が検出され、デフォーカス量が算出される。   FIG. 4 illustrates the focus detection area of the focus detection unit 103. The amount of image shift between the two images is detected by a line sensor (not shown) arranged in a focus detection area indicated by a square in the figure, and a defocus amount is calculated.

ステップS304では、被写体遮蔽判定部104は、被写体追跡部102が追跡対象とする被写体が他の人物や物体等の遮蔽物により遮蔽されたか否かを判定するためのサブルーチンのプログラムを実行する。この被写体遮蔽判定処理の詳細については図6を用いて後述する。   In step S304, the subject occlusion determination unit 104 executes a subroutine program for determining whether or not the subject to be tracked by the object tracking unit 102 is occluded by an obstruction such as another person or object. Details of the subject occlusion determination process will be described later with reference to FIG.

ステップS305では、マイコン221は、ステップS304で被写体遮蔽判定部104により被写体が遮蔽中ではないと判定された場合はステップS306へ進み、遮蔽中であると判定された場合はステップS308に進む。   In step S305, the microcomputer 221 proceeds to step S306 if the subject shielding determination unit 104 determines that the subject is not shielded in step S304, and proceeds to step S308 if it is determined that the subject is shielded.

ステップS306では、被写体追跡部102は、追跡している被写体の座標位置を保存する。   In step S306, the subject tracking unit 102 stores the coordinate position of the tracked subject.

ステップS307では、焦点検出部103は、追跡している被写体のデフォーカス量を保存し、ステップS312へ進む。   In step S307, the focus detection unit 103 stores the defocus amount of the tracked subject, and the process proceeds to step S312.

ステップS308では、追跡候補領域決定部105は、遮蔽中であると判定される前に保存された過去の複数回分の被写体の座標位置から、追跡していた被写体の現在の座標位置を予測する。   In step S308, the tracking candidate area determination unit 105 predicts the current coordinate position of the tracked subject from the past coordinate positions of the subject that have been stored a plurality of times before it is determined to be occluded.

ステップS309では、追跡候補領域決定部105は、遮蔽中であると判定される前に保存された過去の複数回分のデフォーカス量から、遮蔽中であると判定される前に追跡していた被写体に対して焦点検出した場合の、現在のデフォーカス量を予測する。   In step S309, the tracking candidate area determination unit 105 determines the subject that has been tracked before being determined to be occluded from the past defocus amounts stored multiple times before being determined to be occluded. The current defocus amount when the focus is detected is predicted.

なお、ステップS308において過去の複数回分の被写体の座標位置から現在の被写体の座標位置を予測する方法としては様々な周知の方法が適用できるが、本実施形態での詳細な説明は省略する。また、ステップS309において過去の複数回分のデフォーカス量から現在の被写体のデフォーカス量を予測する方法にも様々な周知の方法が適用でき、例えば被写体が等速直線運動をすると見なして予測を行う方法がある。   Note that various well-known methods can be applied as a method of predicting the current coordinate position of the subject from the past multiple coordinate positions of the subject in step S308, but detailed description thereof will be omitted. In addition, various well-known methods can be applied to the method of predicting the current defocus amount of the current subject from the past defocus amounts in step S309. For example, the prediction is performed assuming that the subject performs a constant linear motion. There is a way.

ここで、時刻Tと被写体の像面位置Z(画像平面と直交する奥行き位置)の関係を表す図5を参照して、デフォーカス量の予測方法について簡単に説明する。   Here, a method for predicting the defocus amount will be briefly described with reference to FIG. 5 showing the relationship between the time T and the image plane position Z of the subject (depth position orthogonal to the image plane).

図5において、時刻T0は、被写体の追跡を開始した時刻である。時刻T2は、追跡していた被写体が他の人物や物体などにより遮蔽された時刻であり、被写体遮蔽判定部104により遮蔽中であると判定される。したがって、時刻T0から時刻T1までのデフォーカス量は焦点検出部103により保存されるが、時刻T2以後のデフォーカス量は保存されない。そして、時刻T3では、被写体検出部101により検出される顔の数が増加したと仮定する。このような状況で、追跡候補領域決定部105は、時刻T0からT1までに保存された被写体のデフォーカス量を像面位置Zに変換し、図中に501で示す複数回の像面位置に基づいて、図中に示す曲線502のように追跡していた被写体の像面位置を予測する。時刻T3での被写体の像面位置は図中に503で示される。これを再びデフォーカス量に変換し、時刻T3において予測される被写体のデフォーカス量とする。このようにして、遮蔽中であると判定された後、被写体の数が増加した時刻における追跡していた被写体のデフォーカス量を予測する。   In FIG. 5, time T0 is the time when tracking of the subject is started. Time T2 is a time when the tracked subject is shielded by another person or object, and the subject shielding determination unit 104 determines that the subject is being shielded. Therefore, the defocus amount from time T0 to time T1 is stored by the focus detection unit 103, but the defocus amount after time T2 is not stored. Then, it is assumed that the number of faces detected by the subject detection unit 101 has increased at time T3. Under such circumstances, the tracking candidate area determination unit 105 converts the defocus amount of the subject saved from time T0 to T1 into the image plane position Z, and sets the image plane position to a plurality of image plane positions indicated by 501 in the drawing. Based on this, the image plane position of the subject tracked as shown by a curve 502 shown in the figure is predicted. The image plane position of the subject at time T3 is indicated by 503 in the figure. This is converted again into the defocus amount, and is set as the defocus amount of the subject predicted at time T3. In this way, after it is determined that the subject is being shielded, the defocus amount of the tracked subject at the time when the number of subjects increases is predicted.

ステップS310では、マイコン221は、ステップS308およびステップS309にて追跡候補領域決定部105が被写体の座標位置およびデフォーカス量が適切に予測できたか否かを判定する。判定の結果、予測が適切に行われていない場合はステップS312へ進み、適切に行われている場合はステップS311へ進む。予測が適切に行われたか否かは、例えば、ステップS306やステップS307において保存されたデータ数が予測を行う上で十分であるか否かに基づいて判定したり、ステップS308にて予測された座標位置が焦点検出部103により焦点検出が可能な焦点検出領域内に含まれているか否かに基づいて判定できる。   In step S310, the microcomputer 221 determines whether or not the tracking candidate area determination unit 105 has appropriately predicted the coordinate position and defocus amount of the subject in steps S308 and S309. As a result of the determination, if the prediction is not properly performed, the process proceeds to step S312. If the prediction is appropriately performed, the process proceeds to step S311. Whether or not the prediction is properly performed is determined based on whether or not the number of data stored in step S306 and step S307 is sufficient for the prediction, or predicted in step S308. The determination can be made based on whether or not the coordinate position is included in a focus detection area where the focus detection unit 103 can detect the focus.

ステップS311では、追跡変更判定部106は、追跡候補領域決定部105により予測された現在の被写体の座標位置およびデフォーカス量に基づいて焦点検出部103による焦点検出を行い、被写体追跡部102の追跡領域を変更するか否かを判定するサブルーチンのプログラムを実行する。この追跡変更判定処理の詳細については図7を用いて後述する。   In step S <b> 311, the tracking change determination unit 106 performs focus detection by the focus detection unit 103 based on the current coordinate position and defocus amount of the subject predicted by the tracking candidate region determination unit 105, and the tracking of the subject tracking unit 102. A subroutine program for determining whether or not to change the area is executed. Details of the tracking change determination process will be described later with reference to FIG.

ステップS312では、焦点調節部107は、被写体追跡部102が追跡領域とする近傍の焦点検出領域において焦点検出部103により検出されたデフォーカス量に基づいて撮影レンズ201を駆動させる。   In step S <b> 312, the focus adjustment unit 107 drives the photographing lens 201 based on the defocus amount detected by the focus detection unit 103 in a nearby focus detection region that the subject tracking unit 102 uses as the tracking region.

ステップS313では、マイコン221は、第1スイッチSW1がオンされているか否かを判定し、オンされている場合はステップS301に戻り、第1スイッチSW1がオフされるまで処理を繰り返す。また、ステップS313において第1スイッチSW1がオンされていないと判定されると、本処理を終了する。   In step S313, the microcomputer 221 determines whether or not the first switch SW1 is turned on. If the first switch SW1 is turned on, the microcomputer 221 returns to step S301 and repeats the process until the first switch SW1 is turned off. If it is determined in step S313 that the first switch SW1 is not turned on, the present process is terminated.

なお、上述した処理では、ステップS312において、被写体遮蔽判定部104の判定結果にかかわらず、被写体追跡部102の追跡領域における焦点検出部103で検出されたデフォーカス量に基づいて撮影レンズ201を駆動させているが、被写体遮蔽判定部104により遮蔽中であると判定された場合には撮影レンズ201の駆動を禁止する、あるいは遮蔽と判定される前にステップS307で保存されたデフォーカス量を用いてレンズ位置を予測した上で駆動しても良い。   In the above-described processing, in step S312, the photographing lens 201 is driven based on the defocus amount detected by the focus detection unit 103 in the tracking region of the subject tracking unit 102 regardless of the determination result of the subject blocking determination unit 104. However, if the subject occlusion determination unit 104 determines that it is occluded, the driving of the photographic lens 201 is prohibited, or the defocus amount stored in step S307 is used before the omission is determined to be occluded. Then, the lens position may be predicted and driven.

<被写体遮蔽判定処理>次に、図6を参照して、図3のステップS304にて被写体遮蔽判定部104により実行される被写体遮蔽判定処理について詳細に説明する。   <Subject shielding determination processing> Next, with reference to FIG. 6, the subject shielding determination processing executed by the subject shielding determination unit 104 in step S304 of FIG. 3 will be described in detail.

ステップS601では、被写体遮蔽判定部104は、遮蔽中にのみカウントを更新するタイマが所定の時間を超過したか否かを判定する。判定の結果、タイマが超過していないと判定された場合はステップS602へ進み、タイマが経過したと判定された場合はステップS607へ進む。   In step S601, the subject occlusion determination unit 104 determines whether a timer for updating the count only during occlusion has exceeded a predetermined time. As a result of the determination, when it is determined that the timer has not exceeded, the process proceeds to step S602, and when it is determined that the timer has elapsed, the process proceeds to step S607.

ステップS602では、被写体遮蔽判定部104は、既に被写体が遮蔽中であると判定されているか否かを判定する。判定の結果、遮蔽中であると判定されていない場合はステップS603へ進み、遮蔽中であると判定されている場合は、本処理を終了し、ステップS305へ戻る。   In step S602, the subject occlusion determination unit 104 determines whether it is already determined that the subject is occluded. As a result of the determination, if it is not determined that it is shielded, the process proceeds to step S603. If it is determined that it is shielded, this process ends, and the process returns to step S305.

ステップS603では、被写体遮蔽判定部104は、被写体検出部101により検出された画面内の顔の数が前回と比べて減少したか否かを判定する。判定の結果、顔の数が減少した場合はステップS604へ進み、減少していない場合は本処理を終了し、ステップS305へ戻る。   In step S603, the subject occlusion determination unit 104 determines whether or not the number of faces in the screen detected by the subject detection unit 101 has decreased compared to the previous time. As a result of the determination, if the number of faces has decreased, the process proceeds to step S604. If not, the process ends, and the process returns to step S305.

ステップS604では、被写体遮蔽判定部104は、画面内の顔の数が減少する前後に焦点検出部103により検出されたデフォーカス量の差が所定の閾値以上であるか否かを判定する。ここでのデフォーカス量とは、設定されている追跡領域に対応する焦点検出領域のデフォーカス量である。判定の結果、デフォーカス量の差が閾値以上の場合はステップS605へ進み、閾値未満であれば本処理を終了し、ステップS305へ戻る。   In step S604, the subject occlusion determination unit 104 determines whether or not the difference in the defocus amount detected by the focus detection unit 103 before and after the number of faces in the screen decreases is greater than or equal to a predetermined threshold value. The defocus amount here is the defocus amount of the focus detection area corresponding to the set tracking area. If the result of determination is that the difference in defocus amount is greater than or equal to a threshold value, the process proceeds to step S605.

ステップS605では、被写体遮蔽判定部104は、顔の数が減少し、減少する前後のデフォーカス量の差が大きく変化したことにより、被写体が遮蔽中であると判定する。   In step S605, the subject occlusion determination unit 104 determines that the subject is occluded because the number of faces has decreased and the difference in defocus amount before and after the decrease has changed significantly.

ステップS606では、被写体遮蔽判定部104は、タイマのカウントを開始し、遮蔽中であると判定されてからの経過時間を計測する。   In step S606, the subject occlusion determination unit 104 starts a timer count and measures the elapsed time since it is determined that occlusion is being performed.

ステップS607では、被写体遮蔽判定部104は、遮蔽中であるとの判定を破棄し、ステップS608では、タイマを停止する。その後、本処理を終了し、ステップS305へ戻る。   In step S607, the subject occlusion determination unit 104 discards the determination that the object is occluded, and in step S608, stops the timer. Then, this process is complete | finished and it returns to step S305.

なお、上述した処理では、ステップS603において被写体検出部101により検出された画面内の顔の数をカウントしているが、被写体追跡部102の追跡領域の周囲の所定の領域に限定して顔の数をカウントしても良い。このようにすることで、特に画面内に人物の出入りが頻繁に発生する場合等に好適となり、被写体と遮蔽物となる人物以外の顔の数の増減が本処理に影響を与えないという効果が得られる。   In the above-described processing, the number of faces in the screen detected by the subject detection unit 101 in step S603 is counted. However, the number of faces is limited to a predetermined region around the tracking region of the subject tracking unit 102. You may count the number. By doing so, it is particularly suitable when a person enters and exits frequently on the screen, and the effect that the increase or decrease in the number of faces other than the subject and the person acting as a shield does not affect this process. can get.

また、ステップS603において顔の数の減少に具体的な人数を設定しても良い。これは後述する顔の数の増加を判定する場合にも同様である。   In step S603, a specific number of people may be set to reduce the number of faces. The same applies to the determination of an increase in the number of faces described later.

<追跡変更判定処理>次に、図7および図8を参照して、図3のステップS311にて追跡変更判定部106により実行される追跡変更判定処理について詳細に説明する。   <Tracking Change Determination Process> Next, with reference to FIGS. 7 and 8, the tracking change determination process executed by the tracking change determination unit 106 in step S311 of FIG. 3 will be described in detail.

ステップS701では、追跡変更判定部106は、被写体検出部101により検出された画面内の顔の数が、被写体遮蔽判定部104により被写体が遮蔽中であると判定された時点の顔の数と比べて増加しているか否かを判定する。判定の結果、増加している場合はステップS702へ進み、増加していない場合は本処理を終了し、ステップS712へ戻る。   In step S701, the tracking change determination unit 106 compares the number of faces in the screen detected by the subject detection unit 101 with the number of faces at the time when the subject shielding determination unit 104 determines that the subject is being shielded. It is determined whether or not it has increased. As a result of the determination, if it has increased, the process proceeds to step S702. If it has not increased, this process ends, and the process returns to step S712.

ステップS702では、追跡変更判定部106は、ステップS308にて予測された現在の被写体の座標位置の近傍の焦点検出領域において焦点検出を行うように焦点検出部103に指示する。焦点検出部103は各々の焦点検出領域においてデフォーカス量を検出する。   In step S702, the tracking change determination unit 106 instructs the focus detection unit 103 to perform focus detection in a focus detection region in the vicinity of the current coordinate position of the subject predicted in step S308. The focus detection unit 103 detects the defocus amount in each focus detection region.

なお、焦点検出部103による焦点検出領域は、図8(a)に示すように、予測座標位置800に最も近い1点aのみの焦点検出領域801でも良い。また、図8(b)に示すように、予測座標位置800に最も近い1点aとその周囲の1点b〜eを拡張した焦点検出領域802としても良い。また、図8(c)に示すように、遮蔽中であると判定される前に被写体が画像中を右側に移動していたことが過去の座標位置から判断できる場合には、予測座標位置800から右側に拡張した焦点検出領域803としても良い。これらに限らず、予測座標位置800を起点として種々の拡張が可能である。さらに、被写体の過去の複数回分の座標位置から予測した移動速度に基づいて焦点検出領域を指定しても良い。   Note that the focus detection area by the focus detection unit 103 may be a focus detection area 801 of only one point a closest to the predicted coordinate position 800 as shown in FIG. Further, as shown in FIG. 8B, a focus detection region 802 may be obtained by extending one point a closest to the predicted coordinate position 800 and the surrounding points b to e. Further, as shown in FIG. 8C, when it can be determined from the past coordinate position that the subject has moved to the right side in the image before it is determined to be occluded, the predicted coordinate position 800 is determined. Alternatively, the focus detection area 803 may be extended to the right side. Not limited to these, various expansions are possible starting from the predicted coordinate position 800. Furthermore, the focus detection area may be designated based on the moving speed predicted from the coordinate positions of the past multiple times of the subject.

ステップS703では、追跡変更判定部106は、ステップS702において検出されたデフォーカス量が、ステップS709にて予測された現在の被写体のデフォーカス量に対して閾値以内か否かを判定する。判定の結果、閾値以内ならばその焦点検出領域を選択し、ステップS704へ進む。このとき、閾値以内のデフォーカス量を検出した焦点検出領域が複数ある場合は、ステップS709にて予測されたデフォーカス量に最も近い焦点検出領域を選択する。なお、閾値を超えている場合は本処理を終了し、ステップS312へ戻る。   In step S703, the tracking change determination unit 106 determines whether the defocus amount detected in step S702 is within a threshold with respect to the current subject defocus amount predicted in step S709. As a result of the determination, if it is within the threshold value, the focus detection area is selected, and the process proceeds to step S704. At this time, if there are a plurality of focus detection areas in which the defocus amount within the threshold is detected, the focus detection area closest to the defocus amount predicted in step S709 is selected. If the threshold value is exceeded, the process is terminated and the process returns to step S312.

ステップS704では、追跡変更判定部106は、ステップS703で選択された焦点検出領域を被写体追跡部102の追跡領域として設定する。これに伴い、被写体検出部101により検出される、被写体追跡部102が特定の被写体を追跡し続けるために利用する特徴情報を更新する。なお、選択された焦点検出領域に基づいて追跡領域が設定されたならば本実施形態の範囲内であり、追跡領域と焦点検出領域の形状やサイズが必ずしも一致していなくても良い。   In step S704, the tracking change determination unit 106 sets the focus detection area selected in step S703 as the tracking area of the subject tracking unit 102. Accordingly, the feature information used by the subject tracking unit 102 to continue tracking a specific subject, which is detected by the subject detection unit 101, is updated. Note that if the tracking area is set based on the selected focus detection area, it is within the range of the present embodiment, and the shape and size of the tracking area and the focus detection area do not necessarily have to match.

ステップS705では、追跡変更判定部106は、被写体遮蔽判定部104による遮蔽中であるとの判定を解除し、ステップS706において遮蔽時間を計測するタイマを停止して、本処理を終了し、ステップS312へ戻る。   In step S705, the tracking change determination unit 106 cancels the determination that the subject occlusion determination unit 104 is occluding, stops the timer that measures the occlusion time in step S706, ends the processing, and ends step S312. Return to.

上述した処理によれば、遮蔽中であると判定される前に保存された被写体の座標位置やデフォーカス量に基づいて現在の被写体の位置やデフォーカス量を予測する。このようにして、追跡対象の被写体が他の人物や物体等の遮蔽物により遮蔽され再度出現した場合であっても、追跡対象の被写体を精度よく再追跡することが可能となる。   According to the above-described processing, the current position and defocus amount of the subject are predicted based on the coordinate position and defocus amount of the subject stored before it is determined that the subject is being shielded. In this way, even when the subject to be tracked is covered again by a shield such as another person or object and reappears, the subject to be tracked can be retraced with high accuracy.

なお、本実施形態では、ステップS308における被写体の座標位置の予測およびステップS309におけるデフォーカス量の予測の両方を行う場合について説明したが、いずれか一方のみを行っても良い。被写体の座標位置の予測のみを行う場合、ステップS311の追跡変更判定処理において、予測した座標位置の近傍の領域(最も近くにある領域)を追跡領域に設定する。一方、デフォーカス量の予測のみを行う場合、ステップS311の追跡変更判定処理において、全焦点検出領域で焦点検出を行い、予測したデフォーカス量との差が閾値以内となるデフォーカス量の焦点検出領域を追跡領域に設定する。デフォーカス量の差が閾値以内となる焦点検出領域が複数あった場合には、最も差が小さい焦点検出領域を追跡領域に設定する。   In this embodiment, the case where both the prediction of the coordinate position of the subject in step S308 and the prediction of the defocus amount in step S309 have been described, but either one may be performed. When only the prediction of the coordinate position of the subject is performed, in the tracking change determination process in step S311, an area in the vicinity of the predicted coordinate position (the closest area) is set as the tracking area. On the other hand, when only defocus amount prediction is performed, focus detection is performed in the all focus detection region in the tracking change determination process in step S311, and focus detection of a defocus amount whose difference from the predicted defocus amount is within a threshold value. Set the area as the tracking area. When there are a plurality of focus detection areas where the difference in defocus amount is within the threshold, the focus detection area with the smallest difference is set as the tracking area.

<効果の説明>以下に、本実施形態の被写体追跡処理が有効となるシーンについて具体的に説明する。   <Explanation of Effect> Hereinafter, a scene in which the subject tracking process of this embodiment is effective will be described in detail.

遮蔽判定を行う場合、デフォーカス量の変化に対して閾値を設定するのが一般的であるが、閾値が小さいと被写体がカメラに対して急激に近づいたときなどに被写体を見失ったと誤判定することがあるため、比較的大きい値が閾値として設定されることが多い。ここで、追跡している被写体がカメラに対して急激に近づきながら遮蔽される場合に、カメラから見た被写体と他の人物の間の奥行き方向の距離が比較的小さいとする。この場合、遮蔽と判定される前後におけるデフォーカス量はそれほど大きく変化しないため、遮蔽物である他の人物のことを追跡対象の被写体であると誤判定してしまうことがある。人物の肌の色情報による被写体追跡を行っていた場合にも、追跡対象の被写体と他の人物の肌の色情報を区別することは容易ではないので、同様に他の人物を追跡対象の被写体と誤判定してしまうことがある。   When performing occlusion determination, it is common to set a threshold value for changes in the defocus amount. However, if the threshold value is small, it is erroneously determined that the subject has lost sight when the subject approaches the camera rapidly. Therefore, a relatively large value is often set as the threshold value. Here, it is assumed that the distance in the depth direction between the subject viewed from the camera and another person is relatively small when the subject being tracked is blocked while approaching the camera rapidly. In this case, since the defocus amount before and after being determined to be occluded does not change so much, other persons who are occluded objects may be erroneously determined to be the subject to be tracked. Even when tracking a subject based on the skin color information of a person, it is not easy to distinguish between the tracked subject and the skin color information of another person. May be misjudged.

これに対して、本実施形態によれば、人物の顔の数を利用することにより、遮蔽判定を行うためのデフォーカス量の変化に対する閾値を小さめに設定したとしても、例えば追跡対象の被写体がカメラに対して急激に近づいてきた場合でも顔の数が変化しなければ、追跡対象の被写体を見失ったと誤判定することはない。また、被写体の肌の色情報などで被写体を追跡する場合には、遮蔽されたときに顔の数が減少するので、たとえ追跡対象の被写体と他の人物の肌の色情報が区別できなくとも遮蔽判定を行うことができる。このようにして、遮蔽中であると判定される前に保存した被写体の座標位置やデフォーカス量から被写体の出現する座標位置とデフォーカス量を予測して追跡対象の被写体を再追跡することが可能である。   On the other hand, according to the present embodiment, even if the threshold for the defocus amount change for performing the occlusion determination is set to be small by using the number of human faces, for example, the subject to be tracked is If the number of faces does not change even when approaching the camera abruptly, it is not erroneously determined that the subject to be tracked has been lost. In addition, when tracking a subject using skin color information of the subject, the number of faces decreases when the subject is blocked, so even if the subject's skin color information cannot be distinguished from the tracked subject. Shielding determination can be performed. In this way, it is possible to retrace the subject to be tracked by predicting the coordinate position and defocus amount where the subject appears from the coordinate position and defocus amount of the subject stored before it is determined to be occluded. Is possible.

図9は本実施形態による被写体追跡処理の様子を説明する図であり、四角形の枠で示した領域が被写体追跡部102による追跡領域を表すものとする。さらに、被写体検出部101により検出された画面内の顔の数と、追跡領域における焦点検出部103により検出されたデフォーカス量を示している
図9(a)において、人物Aを追跡対象の被写体として、人物Aの顔の肌色情報を利用して追跡しているとする。また、人物Aは図中を右側に、カメラに対して近づきながら移動しており、人物Bは図中に静止し、人物Aよりもカメラに近い方向に存在するものとする。この時点の画面内の顔の数は2人であり、人物Aに対して焦点検出を行っているのでデフォーカス量は小さい。また、遮蔽中ではないため、この時点の被写体の座標位置およびデフォーカス量が保存される。
FIG. 9 is a diagram for explaining the state of subject tracking processing according to the present embodiment. It is assumed that a region indicated by a rectangular frame represents a tracking region by the subject tracking unit 102. Further, the number of faces in the screen detected by the subject detection unit 101 and the defocus amount detected by the focus detection unit 103 in the tracking area are shown in FIG. Assume that tracking is performed using the skin color information of the face of the person A. In addition, it is assumed that the person A moves to the right side in the figure while approaching the camera, and the person B is stationary in the figure and exists in a direction closer to the camera than the person A. At this time, the number of faces in the screen is two, and since focus detection is performed on the person A, the defocus amount is small. In addition, since the object is not being shielded, the coordinate position and the defocus amount of the subject at this time are stored.

図9(b)では、人物Aは少し図中右側に移動している。この時点でも画面内の顔の数は2人であり、人物Aに対して焦点検出を行っているのでデフォーカス量は小さい。また、遮蔽中ではないため、この時点の被写体の座標位置およびデフォーカス量が保存される。   In FIG. 9B, the person A has moved slightly to the right side in the figure. Even at this time, the number of faces in the screen is two, and since focus detection is performed on the person A, the defocus amount is small. In addition, since the object is not being shielded, the coordinate position and the defocus amount of the subject at this time are stored.

図9(c)では、追跡対象の人物Aが人物Bにより遮蔽される。この場合、人物Aが人物Bの少し後ろを通過すると、遮蔽の前後でデフォーカス量はそれほど大きく変化しないため、一般的に設定される閾値では人物Bを追跡対象の被写体として誤判定してしまうことがある。これに対して、本実施形態では閾値を小さい値に設定することにより、このようなシーンであってもデフォーカス量が閾値以上変化したことが観測される。図9(c)では、デフォーカス量が閾値を超えて大きくなることが観測されるものとする。また、この時点の画面内の顔の数は1人であり、図9(b)に比べて1人減少したことと合わせて、追跡対象の被写体が遮蔽中であると判定される。遮蔽中であるため、この時点の人物Aの座標位置およびデフォーカス量は保存されない。これにより、人物Aの座標位置やデフォーカス量を予測する際に、人物Bの座標位置やデフォーカス量により影響を及ぼすことを防ぐことができる。この時点でも人物Aの座標位置やデフォーカス量は予測されるものの、顔の数が増加していないため、予測に基づく焦点検出等は行われない。   In FIG. 9C, the person A to be tracked is shielded by the person B. In this case, if the person A passes slightly behind the person B, the defocus amount does not change so much before and after the occlusion, so that the person B is erroneously determined as a subject to be tracked with a generally set threshold. Sometimes. In contrast, in the present embodiment, by setting the threshold value to a small value, it is observed that the defocus amount has changed more than the threshold value even in such a scene. In FIG. 9C, it is assumed that the defocus amount increases beyond the threshold value. In addition, the number of faces in the screen at this time is one, and it is determined that the subject to be tracked is being shielded together with a decrease of one person as compared with FIG. 9B. Since the camera is being shielded, the coordinate position and the defocus amount of the person A at this time are not stored. Thereby, when predicting the coordinate position and the defocus amount of the person A, it is possible to prevent the influence of the coordinate position and the defocus amount of the person B from being influenced. Even at this time, although the coordinate position and defocus amount of the person A are predicted, since the number of faces has not increased, focus detection based on the prediction is not performed.

図9(d)では、画面内の顔の数は2人であり、図9(c)の遮蔽時点と比べて1人増加している。遮蔽中であると判定される前に人物Aは図中を右側に移動していたので、遮蔽前に保存された座標位置から、人物Aは人物Bの少し右に出現することが予測され、予測した座標位置の近傍の焦点検出領域で焦点検出が行われる。遮蔽中であると判定されている間、人物Bを追跡していたとすると、その焦点検出領域で検出されるデフォーカス量は大きいことが予想される。そこで、本実施形態では、遮蔽中であると判定されるまでに保存された人物Aのデフォーカス量から、現在の人物Aのデフォーカス量を予測する。そして、予測されたデフォーカス量と、その焦点検出領域におけるデフォーカス量の差が閾値以内であればその焦点検出領域の座標位置を人物Aの追跡領域として設定する。   In FIG. 9 (d), the number of faces in the screen is two, which is one more than that at the time of shielding in FIG. 9 (c). Since person A had moved to the right in the figure before being determined to be occluded, it is predicted that person A will appear slightly to the right of person B from the coordinate position stored before occlusion, Focus detection is performed in a focus detection region in the vicinity of the predicted coordinate position. If it is determined that the person B is being tracked while it is determined that it is being shielded, the defocus amount detected in the focus detection area is expected to be large. Therefore, in the present embodiment, the current defocus amount of the person A is predicted from the defocus amount of the person A that is stored until it is determined that the subject is being shielded. If the difference between the predicted defocus amount and the defocus amount in the focus detection area is within the threshold, the coordinate position of the focus detection area is set as the tracking area of the person A.

以上説明したように、本実施形態によれば、追跡対象の被写体である人物Aが人物Bに遮蔽された後、再度出現した時点で人物Aを精度よく再追跡することが可能である。   As described above, according to the present embodiment, it is possible to accurately retrace the person A when the person A, who is the subject to be tracked, appears again after being blocked by the person B.

なお、図9では静止する人物Bの後ろを追跡対象の被写体である人物Aが通過するシーンについて説明したが、遮蔽物となる人物が静止しているとは限らない。また、遮蔽物となる人物の顔が必ずしも検出される必要はない。さらに、遮蔽物は人物に限らず物体等であっても良い。   In FIG. 9, the scene in which the person A, which is the subject to be tracked, passes behind the person B that is stationary has been described, but the person who becomes the shield is not necessarily stationary. Further, it is not always necessary to detect the face of a person who becomes a shield. Further, the shielding object is not limited to a person but may be an object or the like.

[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち上述した実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。   [Other Embodiments] The present invention is also realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, etc.) of the system or apparatus reads and executes the program code. It is processing to do. In this case, the program and the storage medium storing the program constitute the present invention.

Claims (17)

画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出手段と、
前記被写体検出手段により検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡手段と、
焦点検出領域におけるデフォーカス量を検出する焦点検出手段と、
前記被写体検出手段により検出された被写体の数が増加した場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定する追跡変更判定手段と、を有することを特徴とする被写体追跡装置。
Subject detection means for detecting the number of subjects and feature information for each subject from the image;
Subject tracking means for determining a tracking area of a subject to be tracked based on feature information detected by the subject detection means;
Focus detection means for detecting the defocus amount in the focus detection area;
An object tracking apparatus comprising: a tracking change determination unit that determines whether or not to change a tracking area by the object tracking unit when the number of subjects detected by the subject detection unit increases.
前記追跡変更判定手段は、前記被写体検出手段により検出された被写体の数が増加した場合に、当該被写体の数が増加する前後に検出された、前記追跡領域に対応する焦点検出領域におけるデフォーカス量の差に基づいて、前記被写体追跡手段による追跡領域を変更するか否かを判定することを特徴とする請求項1に記載の被写体追跡装置。   The tracking change determination unit detects a defocus amount in a focus detection region corresponding to the tracking region detected before and after the number of subjects increases when the number of subjects detected by the subject detection unit increases. The subject tracking device according to claim 1, wherein it is determined whether to change a tracking area by the subject tracking unit based on a difference between the subject tracking unit and the subject tracking unit. 前記追跡対象の被写体が遮蔽中であるか否かを判定する遮蔽判定手段をさらに有し、
前記追跡変更判定手段は、前記遮蔽判定手段により追跡対象の被写体が遮蔽中であると判定されている場合に、前記被写体追跡手段による追跡領域を変更するか否かを判定することを特徴とする請求項1または2に記載の被写体追跡装置。
O further comprising occlusion determination means for determining whether or not the subject to be tracked is occluded;
The tracking change determining unit determines whether or not to change the tracking area by the subject tracking unit when the tracking target unit determines that the subject to be tracked is blocked. The subject tracking device according to claim 1 or 2.
前記被写体追跡手段は、過去に追跡対象とした被写体の追跡領域を記憶し、
前記焦点検出手段は、前記追跡対象の被写体が遮蔽中であると判定されていない場合に、前記過去に追跡対象とした被写体の追跡領域に対応する焦点検出領域において検出されたデフォーカス量を記憶することを特徴とする請求項3に記載の被写体追跡装置。
The subject tracking means stores a tracking area of a subject that has been tracked in the past,
The focus detection unit stores a defocus amount detected in a focus detection area corresponding to the tracking area of the subject that is the tracking target in the past when the tracking target object is not determined to be blocked. The subject tracking device according to claim 3, wherein:
前記遮蔽判定手段は、前記被写体検出手段により検出された被写体の数が減少し、当該被写体の数が減少する前後に検出された、前記追跡領域に対応する焦点検出領域におけるデフォーカス量の差が閾値以上の場合に、前記追跡対象の被写体が遮蔽中であると判定することを特徴とする請求項4に記載の被写体追跡装置。   The occlusion determination unit is configured to reduce a defocus amount difference in a focus detection region corresponding to the tracking region detected before and after the number of subjects detected by the subject detection unit decreases and the number of subjects decreases. The subject tracking device according to claim 4, wherein when the threshold is equal to or greater than the threshold, the subject to be tracked is determined to be blocked. 前記遮蔽判定手段により前記追跡対象の被写体が遮蔽中であると判定された場合に、過去の追跡領域の情報に基づいて、前記追跡対象の被写体の現在の位置およびデフォーカス量の少なくともいずれかを予測する追跡候補領域決定手段をさらに有することを特徴とする請求項4または5に記載の被写体追跡装置。   When it is determined that the subject to be tracked is being shielded by the shielding determination unit, at least one of the current position and the defocus amount of the subject to be tracked is determined based on the past tracking area information. The subject tracking apparatus according to claim 4, further comprising a tracking candidate area determination unit to predict. 前記追跡候補領域決定手段は、遮蔽中であると判定される前に記憶された過去の追跡領域に対応する焦点検出領域のデフォーカス量に基づいて、前記追跡対象の被写体の現在のデフォーカス量を予測し、
前記追跡変更判定手段は、前記追跡候補領域決定手段により予測されたデフォーカス量と前記焦点検出手段により検出されたデフォーカス量の差が閾値以内となる焦点検出領域を前記被写体追跡手段による追跡領域に設定することを特徴とする請求項6に記載の被写体追跡装置。
The tracking candidate area determining unit is configured to determine a current defocus amount of the subject to be tracked based on a defocus amount of a focus detection area corresponding to a past tracking area stored before being determined to be occluded. Predict
The tracking change determination unit is configured to determine a focus detection region in which a difference between a defocus amount predicted by the tracking candidate region determination unit and a defocus amount detected by the focus detection unit is within a threshold, by the subject tracking unit. The subject tracking device according to claim 6, wherein
前記追跡変更判定手段は、前記追跡候補領域決定手段により予測された追跡対象の被写体の現在の位置の近傍の焦点検出領域を前記被写体追跡手段の追跡領域に設定することを特徴とする請求項6に記載の被写体追跡装置。   The tracking change determination unit sets a focus detection region in the vicinity of the current position of the subject to be tracked predicted by the tracking candidate region determination unit as a tracking region of the subject tracking unit. The subject tracking device according to claim 1. 前記追跡変更判定手段は、前記追跡候補領域決定手段により予測された追跡対象の被写体の現在の位置の近傍の焦点検出領域において前記焦点検出手段により検出されたデフォーカス量と、前記追跡候補領域決定手段により予測されたデフォーカス量との差が閾値以内となる場合に、当該焦点検出領域を前記被写体追跡装置による追跡領域に設定することを特徴とする請求項6に記載の被写体追跡装置。   The tracking change determination unit is configured to determine the defocus amount detected by the focus detection unit in the focus detection region near the current position of the subject to be tracked predicted by the tracking candidate region determination unit, and the tracking candidate region determination. 7. The subject tracking device according to claim 6, wherein when the difference from the defocus amount predicted by the means is within a threshold value, the focus detection region is set as a tracking region by the subject tracking device. 前記被写体追跡手段の追跡領域に対応する焦点検出領域において、前記焦点検出手段により検出されたデフォーカス量に基づいてレンズの焦点調節を行う焦点調節手段をさらに有することを特徴とする請求項8に記載の被写体追跡装置。   The focus adjustment unit that adjusts the focus of the lens based on the defocus amount detected by the focus detection unit in a focus detection region corresponding to the tracking region of the subject tracking unit. The subject tracking device described. 前記特徴情報は、被写体としての人物の顔および肌の色に関する情報であることを特徴とする請求項1ないし10のいずれか1項に記載の被写体追跡装置。   11. The subject tracking apparatus according to claim 1, wherein the feature information is information related to a person's face and skin color as a subject. 前記焦点検出手段は、レンズを通して結像された2つの像の位相差によりデフォーカス量を検出することを特徴とする請求項1ないし11のいずれか1項に記載の被写体追跡装置。   The subject tracking apparatus according to claim 1, wherein the focus detection unit detects a defocus amount based on a phase difference between two images formed through a lens. 前記被写体検出手段は、前記追跡対象の被写体の周囲の領域においてのみ顔の数を検出することを特徴とする請求項1ないし12のいずれか1項に記載の被写体追跡装置。   13. The subject tracking apparatus according to claim 1, wherein the subject detection unit detects the number of faces only in a region around the subject to be tracked. 被写体追跡装置の制御方法であって、
画像から被写体の数および被写体ごとの特徴情報を検出する被写体検出ステップと、
前記被写体検出ステップにより検出された特徴情報に基づいて追跡対象の被写体の追跡領域を決定する被写体追跡ステップと、
焦点検出領域におけるデフォーカス量を検出する焦点検出ステップと、
前記被写体検出ステップにより検出された被写体の数が増加した場合に、前記被写体追跡ステップにおける追跡領域を変更するか否かを判定する追跡変更判定ステップと、を有することを特徴とする方法。
A method for controlling a subject tracking device, comprising:
A subject detection step for detecting the number of subjects and feature information for each subject from the image;
A subject tracking step for determining a tracking region of a subject to be tracked based on the feature information detected by the subject detection step;
A focus detection step for detecting a defocus amount in the focus detection region;
And a tracking change determination step for determining whether or not to change the tracking area in the subject tracking step when the number of subjects detected in the subject detection step increases.
請求項1ないし13のいずれか1項に記載された被写体追跡装置と、
前記焦点検出手段により検出されたデフォーカス量に基づいてレンズの焦点調節を行う焦点調節手段と、を有することを特徴とする撮像装置。
A subject tracking device according to any one of claims 1 to 13,
An image pickup apparatus comprising: a focus adjustment unit that performs lens focus adjustment based on a defocus amount detected by the focus detection unit.
コンピュータを、請求項1ないし13のいずれか1項に記載された被写体追跡装置の各手段として機能させるプログラム。   A program that causes a computer to function as each unit of the subject tracking device according to any one of claims 1 to 13. コンピュータを、請求項1ないし13のいずれか1項に記載された被写体追跡装置の各手段として機能させるプログラムを格納した記憶媒体。   A storage medium storing a program that causes a computer to function as each unit of the subject tracking device according to any one of claims 1 to 13.
JP2013253615A 2013-12-06 2013-12-06 Subject tracking device and control method of the same, imaging device, program, and storage medium Pending JP2015111226A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013253615A JP2015111226A (en) 2013-12-06 2013-12-06 Subject tracking device and control method of the same, imaging device, program, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013253615A JP2015111226A (en) 2013-12-06 2013-12-06 Subject tracking device and control method of the same, imaging device, program, and storage medium

Publications (1)

Publication Number Publication Date
JP2015111226A true JP2015111226A (en) 2015-06-18

Family

ID=53526069

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013253615A Pending JP2015111226A (en) 2013-12-06 2013-12-06 Subject tracking device and control method of the same, imaging device, program, and storage medium

Country Status (1)

Country Link
JP (1) JP2015111226A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143431A (en) * 2016-02-10 2017-08-17 キヤノン株式会社 Imaging device, control method and program therefor and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017143431A (en) * 2016-02-10 2017-08-17 キヤノン株式会社 Imaging device, control method and program therefor and storage medium

Similar Documents

Publication Publication Date Title
US9992421B2 (en) Image pickup apparatus having FA zoom function, method for controlling the apparatus, and recording medium
TWI419552B (en) Imaging apparatus, subject tracking method and storage medium
EP1956831B1 (en) Focus adjusting device, image pickup apparatus, and focus adjustment method
US10419683B2 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
US20190215462A1 (en) Zoom control device, imaging apparatus, control method of zoom control device, and recording medium
US10270978B2 (en) Zoom control device with scene composition selection, and imaging apparatus, control method of zoom control device, and recording medium therewith
CN106470317B (en) Image pickup apparatus and control method thereof
JP6184189B2 (en) SUBJECT DETECTING DEVICE AND ITS CONTROL METHOD, IMAGING DEVICE, SUBJECT DETECTING DEVICE CONTROL PROGRAM, AND STORAGE MEDIUM
US10708503B2 (en) Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium
JP6702746B2 (en) Imaging device, control method thereof, program, and storage medium
US10057478B2 (en) Focus detecting apparatus and method of controlling the same
JP6140945B2 (en) Focus adjustment device and imaging device
US10477101B2 (en) Focus detection apparatus, control method and storage medium
JP2008107657A (en) Imaging apparatus, its control method, program, and recording medium
JP2005227447A (en) Autofocus camera
JP2004361431A (en) Imaging unit
JP2018022115A (en) Imaging apparatus, control method thereof, program, and storage medium
JP2015111226A (en) Subject tracking device and control method of the same, imaging device, program, and storage medium
JP2013242408A (en) Imaging device and control method of the same
US10218896B2 (en) Focus adjustment device, focus adjustment method, and non-transitory storage medium storing focus adjustment program
JP5947489B2 (en) Focus adjustment device and focus adjustment method
JP5832618B2 (en) Imaging apparatus, control method thereof, and program
JP5938268B2 (en) Imaging apparatus and control method thereof
JP6858065B2 (en) Imaging device and its control method
JP2015052799A (en) Focus adjustment device and imaging apparatus