JP2009188480A - Subject tracing program, subject tracing device, and camera - Google Patents
Subject tracing program, subject tracing device, and camera Download PDFInfo
- Publication number
- JP2009188480A JP2009188480A JP2008023529A JP2008023529A JP2009188480A JP 2009188480 A JP2009188480 A JP 2009188480A JP 2008023529 A JP2008023529 A JP 2008023529A JP 2008023529 A JP2008023529 A JP 2008023529A JP 2009188480 A JP2009188480 A JP 2009188480A
- Authority
- JP
- Japan
- Prior art keywords
- subject
- template
- image
- images
- tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数フレーム間で被写体を追跡するための被写体追跡プログラム、被写体追跡装置、およびカメラに関する。 The present invention relates to a subject tracking program, a subject tracking device, and a camera for tracking a subject between a plurality of frames.
次のようなデジタルカメラが知られている。このデジタルカメラは、現在画像信号と以前画像信号との差分に基づいて、両画像信号間での動き変化量を算出する。そして、算出した動き変化量に基づいて、シャッタースピードを決定する（例えば、特許文献１）。 The following digital cameras are known. This digital camera calculates a motion change amount between both image signals based on a difference between the current image signal and the previous image signal. Then, the shutter speed is determined based on the calculated motion change amount (for example, Patent Document 1).
しかしながら、従来のデジタルカメラでは、現在画像信号と以前画像信号との差分に基づいて動き変化量を算出するため、被写体が動いたのかカメラが動いたのかを判別することができず、被写体の動静状態を正確に検出することはできなかった。 However, in the conventional digital camera, since the amount of movement change is calculated based on the difference between the current image signal and the previous image signal, it cannot be determined whether the subject has moved or the camera has moved. The condition could not be detected accurately.
本発明による被写体追跡プログラムは、時系列で入力される複数の入力画像間で被写体の動きを追跡するための被写体追跡プログラムであって、コンピュータに、入力画像と、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出するテンプレートマッチング手順と、テンプレートマッチング手順によって抽出された合致領域内の画像について、複数の入力画像間での動きを追跡することによって、複数の入力画像間で被写体の動きを追跡する被写体追跡手順と、テンプレートマッチング手順によって、各テンプレート画像が選択テンプレート画像として選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する動静状態判定手順とを実行させることを特徴とする。
複数のテンプレート画像は、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像であることが好ましい。
動静状態判定手順による判定結果に基づいて、被写体追跡中における自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行タイミングを決定する制御手順をさらに備えるようにしてもよい。
制御手順は、被写体追跡の開始時点に自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、被写体追跡中は、所定時間間隔で動静状態判定手順による判定結果を監視し、動静状態判定手順によって被写体が動状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、動静状態判定手順によって被写体が静状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行を停止するようにしてもよい。
本発明による被写体追跡装置は、上記いずれかの被写体追跡プログラムを実行する実行手段を備えることを特徴とする、
本発明によるカメラは、画像を撮像する撮像手段と、上記いずれかの被写体追跡プログラムを実行する実行手段とを備え、実行手段は、撮像手段で撮像され、時系列で入力される複数の入力画像間で被写体の動きを追跡して、被写体の動静状態を判定することを特徴とする。
A subject tracking program according to the present invention is a subject tracking program for tracking the movement of a subject between a plurality of input images input in time series, and the computer performs template matching between an input image and a plurality of template images. A template matching procedure for selecting a template image having the highest similarity to an image in a predetermined area of the input image from among a plurality of template images as a selection template, and extracting the predetermined area of the input image as a matching area; In the matching region extracted by the template matching procedure, by tracking the movement between a plurality of input images by tracking the movement between the plurality of input images, the subject tracking procedure and the template matching procedure , Each template image and selected template image Based on the number of times the selected Te, subject which is characterized in that to execute the movements state determination procedure for determining whether there on whether static state is in dynamic state.
The plurality of template images are preferably images obtained by extracting a range including the subject from each of a plurality of images obtained by photographing the subject to be tracked at different times.
A control procedure for determining the execution timing of the automatic focus adjustment process, the automatic exposure adjustment process, and the automatic white balance adjustment process during subject tracking may be further provided based on the determination result of the moving and static state determination procedure.
The control procedure executes an automatic focus adjustment process, an automatic exposure adjustment process, and an automatic white balance adjustment process at the start of subject tracking, and during the subject tracking, monitors the determination result by the moving state determination procedure at predetermined time intervals, When it is determined that the subject is in the moving state by the moving / static state determining procedure, the automatic focus adjustment processing, the automatic exposure adjustment processing, and the automatic white balance adjustment processing are executed, and the subject is in the static state by the moving / static state determining procedure. When it is determined that the automatic focus adjustment process, the automatic exposure adjustment process, and the automatic white balance adjustment process are stopped, the execution may be stopped.
A subject tracking apparatus according to the present invention includes an execution unit that executes any one of the subject tracking programs.
The camera according to the present invention includes an imaging unit that captures an image and an execution unit that executes any one of the subject tracking programs. The execution unit captures a plurality of input images that are captured by the imaging unit and input in time series. It is characterized in that the movement of the subject is tracked between them to determine the state of movement of the subject.
本発明によれば、被写体の動静状態を正確に検出することができる。 According to the present invention, it is possible to accurately detect a moving state of a subject.
図１は、本実施の形態における被写体追跡装置としてカメラを使用した場合の一実施の形態の構成を示すブロック図である。カメラ１００は、入力スイッチ１０１と、レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。
FIG. 1 is a block diagram showing a configuration of an embodiment when a camera is used as the subject tracking device in the present embodiment. The
入力スイッチ１０１は、使用者によって操作される種々の入力部材を含んでいる。例えば、この入力スイッチ１０１には、レリーズボタンやデジタルカメラ１００を操作するための種々の操作ボタンが含まれる。
The
レンズ１０２は、複数の光学レンズ群から構成されるが、図１では代表して１枚のレンズで表している。撮像素子１０３は、例えばＣＣＤやＣＭＯＳであり、レンズ１０２を通して入力される被写体像を撮像して、撮像した画像データを制御装置１０４へ出力する。なお、本実施の形態におけるカメラ１００においては、撮像素子１０３は、使用者による入力スイッチ１０１に含まれるレリーズボタンが押下されることにより被写体像の撮像を行う。このとき、レリーズボタンが押下された時点の１フレームの画像を静止画像として撮像することもでき、また、レリーズボタンが押下されてから次にレリーズボタンが押下されるまでの間、被写体像を所定の時間間隔で連続して複数フレーム撮像することによって、動画像を撮影することもできる。
The
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、撮像素子１０３から入力される画像データ（静止画像データまたは動画像データ）をモニタ１０６に出力して表示し、さらにメモリカードスロット１０５に挿入されているメモリカード内に記憶する。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
The control device 104 includes a CPU, a memory, and other peripheral circuits. The control device 104 outputs and displays image data (still image data or moving image data) input from the
制御装置１０４はまた、テンプレートマッチング部１０４ａと、テンプレート更新部１０４ｂと、被写体追跡部１０４ｃと、被写体動静状態判定部１０４ｄとを機能的に有している。そして、これらの各部による処理によって、撮像素子１０３から動画像データが入力された場合に、動画像データを構成する各フレームの画像内に存在する被写体をフレーム間で追跡することができる。以下、撮像素子１０３から動画像データが入力された場合のフレーム間での被写体追跡処理について説明する。
The control device 104 also functionally includes a
テンプレートマッチング部１０４ａは、テンプレートマッチング処理の基準となる複数のテンプレート画像と、撮像素子１０３から時系列で入力される各フレームの画像データ（ターゲット画像）とのマッチング演算を行う。テンプレートマッチングの手法は公知であるため詳細な説明は省略するが、例えば相互相関法や残差逐次検定法などの手法を用いればよい。
The
すなわち、テンプレートマッチング部１０４ａは、ターゲット画像上にテンプレート画像とのマッチングを行うための矩形枠をターゲット領域として設定し、ターゲット領域の位置をターゲット画像内で所定量ずつ、例えば１画素ずつ移動させながらそれぞれの位置におけるターゲット領域内の画像とテンプレート画像との類似度を算出する。そして、テンプレートマッチング部１０４ａは、ターゲット画像全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像内でテンプレート画像との類似度が最も高い所定領域、すなわち矩形枠を抽出する。
That is, the
テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、テンプレート画像を更新する。
The
被写体追跡部１０４ｃは、テンプレートマッチング部１０４ａによって抽出された領域をフレーム間で追跡することによって、撮像素子１０３から入力される動画像データ内での追跡対象の被写体を追跡する。
The
被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、追跡対象の被写体の動静状態、すなわち、被写体が激しく動いている状態（動状態）にあるか、静止している状態、または動きが少ない状態（静状態）にあるかを判定する。なお、制御装置１０４が備える各要素による処理の詳細については、後述する。
Based on the result of the template matching process by the
本実施の形態では、テンプレート画像として、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像を用いる。この追跡対象とする被写体を含む画像は使用者によってあらかじめ撮影されて準備されているものとする。具体的には撮像素子１０３から入力される動画像内に含まれる主要被写体の画像として、人物の顔の画像や特定の物体の画像などを異なる時間に撮影した画像が準備される。
In the present embodiment, as a template image, an image obtained by extracting the range including the subject from each of a plurality of images obtained by photographing the subject to be tracked at different times is used. It is assumed that the image including the subject to be tracked is previously prepared by the user. Specifically, as images of main subjects included in a moving image input from the
例えば、図２に示すように、ターゲット画像２ａ内の電車の動きをフレーム間で追跡する場合には、使用者は被写体としての電車を異なる時刻に撮影した３枚の画像２ｂ〜２ｄをテンプレート画像としてあらかじめ準備しておく。このとき、異なる時刻に撮影されたテンプレート画像２ｂ〜２ｄのうち、最も古い時刻に撮影されたテンプレート画像２ｂを「ＯＬＤ」、その次の古い時刻に撮影されたテンプレート画像２ｃを「ＣＵＲＲＥＮＴ」、最新の時刻に撮影されたテンプレート画像２ｄを「ＮＥＷ」と設定する。
For example, as shown in FIG. 2, when the movement of the train in the
なお、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」は、後述するテンプレート更新部１０４ｂによるテンプレート更新処理において、更新を行う対象を明確にするために便宜的に付与した名称であり、各テンプレート画像の名称は必ずしもこれに限定されるものではない。また、テンプレート更新処理における「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の役割については、後述する。
Note that “OLD”, “CURRENT”, and “NEW” are names given for convenience in order to clarify the target to be updated in the template update process by the
テンプレート画像として被写体を異なる時刻に撮影した複数枚の画像をあらかじめ用意することができない場合には、被写体を撮影した１枚の画像を用いて複数枚のテンプレート画像を擬似的に作成してもよい。例えば、被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成してもよく、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成してもよい。 If a plurality of images obtained by photographing a subject at different times cannot be prepared in advance as template images, a plurality of template images may be created in a pseudo manner using a single image obtained by photographing the subject. . For example, a plurality of template images may be created in a pseudo manner by enlarging / reducing one image obtained by photographing the subject, and a plurality of images can be obtained by changing the density of one image obtained by photographing the subject. A template image may be created in a pseudo manner.
被写体を撮影した１枚の画像を拡大・縮小することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものを「ＣＵＲＲＥＮＴ」とし、「ＣＵＲＲＥＮＴ」を所定の倍率で拡大または縮小した画像を「ＯＬＤ」とし、「ＯＬＤ」とは異なる倍率で「ＣＵＲＲＥＮＴ」を拡大または縮小した画像を「ＮＥＷ」とすればよい。 When a plurality of template images are created in a pseudo manner by enlarging / reducing a single image of a subject, the single image of the subject is itself “CURRENT”, and “CURRENT” is a predetermined value. An image enlarged or reduced at a magnification of “OLD” may be referred to as “OLD”, and an image obtained by enlarging or reducing “CURRENT” at a magnification different from “OLD” may be referred to as “NEW”.
また、被写体を撮影した１枚の画像の濃度を変更することにより複数枚のテンプレート画像を擬似的に作成する場合には、被写体を撮影した１枚の画像そのものを「ＣＵＲＲＥＮＴ」とし、「ＣＵＲＲＥＮＴ」を明るくした画像を「ＯＬＤ」、「ＣＵＲＲＥＮＴ」を暗くした画像を「ＮＥＷ」とするなどすればよい。また、これ以外の方法により複数枚のテンプレート画像を擬似的に作成してもよい。 Further, when a plurality of template images are created in a pseudo manner by changing the density of one image obtained by photographing the subject, the single image obtained by photographing the subject is referred to as “CURRENT” and “CURRENT”. For example, “OLD” may be used for the image that brightens the image, and “NEW” may be used for the image that darkens the “CURRENT”. Further, a plurality of template images may be created in a pseudo manner by other methods.
テンプレートマッチング部１０４ａは、撮像素子１０３から動画像データの入力が開始されると、各フレームの画像をターゲット画像２ａとし、このターゲット画像２ａと「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の３枚のテンプレート画像のそれぞれとをマッチング処理してテンプレートマッチングを行う。例えば、ターゲット領域が図２に示すターゲット領域Ａに示す位置にある場合には、そのときのターゲット領域Ａ内の画像と、「ＯＬＤ」２ｂ、「ＣＵＲＲＥＮＴ」２ｃ、および「ＮＥＷ」２ｄとをテンプレートマッチング処理する。
When the input of moving image data from the
そして、テンプレートマッチング部１０４ａは、ターゲット画像２ａ全体に対してテンプレートマッチング処理を実行した結果、ターゲット画像２ａ内で「ＯＬＤ」２ｂとの類似度が最も高いターゲット領域、「ＣＵＲＲＥＮＴ」２ｃとの類似度が最も高いターゲット領域、および「ＮＥＷ」２ｄとの類似度が最も高いターゲット領域をそれぞれ検出する。そして、これらの中でターゲット領域との類似度が最も高いテンプレート画像を選択テンプレート画像として選択し、そのときのターゲット領域を合致領域として抽出する。
Then, the
このとき、動画像データに含まれる追跡対象の被写体が動いている場合には、被写体の形状がフレーム間で変化することとなり、あらかじめ準備したテンプレート画像をそのまま使用した場合には、被写体形状の変化に伴って各テンプレート画像とターゲット領域内の画像との類似度が次第に低下していくことになる。このため、被写体追跡部１０４ｃによる被写体追跡の精度が次第に低下していく可能性が高い。
At this time, when the subject to be tracked included in the moving image data is moving, the shape of the subject changes between frames. When the template image prepared in advance is used as it is, the change of the subject shape is changed. Along with this, the similarity between each template image and the image in the target area gradually decreases. For this reason, there is a high possibility that the accuracy of subject tracking by the
したがって、テンプレート更新部１０４ｂは、被写体の動きに応じてテンプレート画像を逐次更新することによって、被写体の形状が時々刻々変化する場合でもテンプレートマッチング部１０４ａによるテンプレートマッチングの精度を向上させて、被写体追跡部１０４ｃが精度高く物体の追跡を行えるようにする。具体的にはテンプレート更新部１０４ｂは、次のようなテンプレート更新処理を実行する。
Therefore, the
すなわち、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果に基づいて、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の内、少なくとも１枚を更新する。なお、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像は、処理開始時には上述したようにあらかじめ撮影された画像、または擬似的に作成された画像が設定されているが、テンプレート更新処理が実行されることによって、次の（Ａ）〜（Ｃ）に示すテンプレート画像に置き換えられ、逐次更新されていくことになる。
That is, the
（Ａ）「ＣＵＲＲＥＮＴ」（現テンプレート画像）
「ＣＵＲＲＥＮＴ」としては、直近のテンプレート更新時に選択された選択テンプレート画像が設定される。
（Ｂ）「ＯＬＤ」（旧選択テンプレート画像）
「ＯＬＤ」としては、直近のテンプレート更新時に（Ａ）の「ＣＵＲＲＥＮＴ」が設定されるまでの間「ＣＵＲＲＥＮＴ」に設定されていたテンプレート画像が設定される。すなわち、一世代前の「ＣＵＲＲＥＮＴ」が「ＯＬＤ」として設定される。
（Ｃ）「ＮＥＷ」（新テンプレート画像）
「ＮＥＷ」としては、直近のテンプレート更新時に、ターゲット画像２ａ上で「ＣＵＲＲＥＮＴ」に設定されたテンプレート画像と最も類似度が高いと判定されたターゲット領域内の画像、すなわち上述した合致領域内の画像が取り込まれて設定される。
(A) “CURRENT” (current template image)
As “CURRENT”, a selected template image selected at the latest template update is set.
(B) "OLD" (old selection template image)
As “OLD”, a template image set to “CURRENT” until “CURRENT” in (A) is set at the time of the latest template update is set. That is, “CURRENT” one generation before is set as “OLD”.
(C) “NEW” (new template image)
“NEW” is an image in the target area that is determined to have the highest similarity to the template image set to “CURRENT” on the
テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果が、以下に説明する所定の条件を満たす場合にのみ、（Ａ）〜（Ｃ）の条件に合致する画像を各テンプレート画像として更新する。具体的には次の（ａ）〜（ｃ）に示すようにテンプレート画像の更新処理を行う。
The
（ａ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＣＵＲＲＥＮＴ」との類似度が最も高いターゲット領域が上述した合致領域として抽出された場合の処理（選択テンプレート画像として「ＣＵＲＲＥＮＴ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、テンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。すなわち、前回のテンプレート更新時に最も類似度が高いと判定されたテンプレート画像が現在も最も類似度が高いと判定されていることから、被写体の動きが少なくテンプレート画像の更新の必要はないと判断して、テンプレート画像の更新は行わない。
(A) Processing when the target region having the highest similarity to “CURRENT” in the
In this case, the
（ｂ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＯＬＤ」との類似度が最も高いターゲット領域が合致領域として抽出された場合の処理（選択テンプレート画像として「ＯＬＤ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＯＬＤ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば、一致を表す類似度が１であり、不一致を示す類似度が０である場合には、類似度の平均が０．８以上であるか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。
(B) Processing when a target region having the highest similarity to “OLD” in the
In this case, the
これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定する。これによって、最も類似度が高いと判定されたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、一世代前の「ＣＵＲＲＥＮＴ」を「ＯＬＤ」として設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＯＬＤ」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。
In contrast, if the
（ｃ）テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、ターゲット画像２ａ内で「ＮＥＷ」との類似度が最も高いターゲット領域が合致領域として選択された場合の処理（選択テンプレート画像として「ＮＥＷ」が選択された場合の処理）
この場合には、テンプレート更新部１０４ｂは、所定回数以上、例えば７回以上「ＮＥＷ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるか否かを判断する。そして、テンプレート更新部１０４ｂは、上記更新条件を満たさないと判断した場合には、今までのテンプレート画像の更新は行わずに、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像の設定を維持する。
(C) Processing when the target region having the highest similarity to “NEW” in the
In this case, the
これに対して、テンプレート更新部１０４ｂは、上記更新条件を満たすと判断した場合には、次のようにテンプレート画像を更新する。すなわち、今まで「ＮＥＷ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定する。これによって、最も類似度が高いと判定されたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、一世代前の「ＣＵＲＲＥＮＴ」を「ＯＬＤ」として設定することができる。同時にテンプレート更新部１０４ｂは、このときにターゲット画像２ａ上で更新前の「ＮＥＷ」との類似度が最も高いと判定されたターゲット領域内の画像、すなわち合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。
In contrast, if the
このようにテンプレート画像を更新することによって、被写体の動きに応じた形状の変化に対応して、精度の高いテンプレートマッチング処理を行うことができる。また、「ＯＬＤ」または「ＮＥＷ」が所定回数以上連続して選択され、かつその間の類似度の平均が所定の類似度以上である場合にのみテンプレート画像の更新を行うようにしたので、フレームごとにテンプレート画像の更新を行う従来の手法と比較して、テンプレート画像の更新頻度を抑えて安定したテンプレートマッチング処理を行うことができる。 By updating the template image in this way, highly accurate template matching processing can be performed in response to a change in shape according to the movement of the subject. Also, the template image is updated only when “OLD” or “NEW” is continuously selected a predetermined number of times or more and the average similarity between them is equal to or higher than the predetermined similarity. Compared with the conventional method of updating the template image, the template matching update frequency can be suppressed and stable template matching processing can be performed.
例えば、６００フレームの静止画で構成される動画像を従来の手法により各フレームごとにテンプレート画像を更新した場合には、６００回のテンプレート画像の更新が発生するが、本実施の形態による手法を使用することにより、テンプレート画像の更新回数を３０回程度まで減らすことが可能となり、処理の負荷を低減することができる。 For example, if a template image is updated for each frame of a moving image composed of 600 frames of still images using the conventional method, the template image is updated 600 times. By using it, the number of times of updating the template image can be reduced to about 30, and the processing load can be reduced.
被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理によって、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、「ＮＥＷ」の各テンプレート画像がそれぞれ何回ずつ選択されたかをカウントする。例えば、被写体動静状態判定部１０４ｄは、テンプレートマッチング処理が開始される前に、各テンプレート画像の選択回数をカウントするためのカウンタを制御装置１０４が備えるＳＤＲＡＭ内に生成し、各カウンタのカウント値の初期値を０としておく。そして、被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによっていずれかのテンプレート画像が選択される度に、選択されたテンプレート画像用に生成したカウンタのカウンタ値に１を加算する。
The subject moving
すなわち、被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、「ＯＬＤ」が選択された場合には、「ＯＬＤ」用のカウンタ（ＯＬＤカウンタ）のカウンタ値に１を加算する。被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、「ＣＵＲＲＥＮＴ」が選択された場合には、「ＣＵＲＲＥＮＴ」用のカウンタ（ＣＵＲＲＥＮＴカウンタ）のカウンタ値に１を加算する。被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、「ＮＥＷ」が選択された場合には、「ＮＥＷ」用のカウンタ（ＮＥＷカウンタ）のカウンタ値に１を加算する。
That is, the subject moving
そして、被写体動静状態判定部１０４ｄは、所定のタイミングで、上記カウント値に基づいて被写体の動静状態を判定する。ここでいう「所定のタイミング」については、後述する。被写体動静状態判定部１０４ｄは、具体的には、次式（１）により算出される動静係数を用いて、被写体の動静状態を判定する。
動静係数 ＝ （ＯＬＤカウンタのカウント値＋ＮＥＷカウンタのカウント値）／ＣＵＲＲＥＮＴカウンタのカウンタ値 ・・・（１）
The subject moving
Dynamic coefficient = (OLD counter count value + NEW counter count value) / CURRENT counter count value (1)
被写体の動状態にある場合には、テンプレート更新部１０４ｂによるテンプレートの更新頻度が多くなり、結果として「ＮＥＷ」または「ＯＬＤ」が選択される回数が増える。よって、被写体動静状態判定部１０４ｄは、動静係数の算出結果が所定値以上、例えば１以上である場合に、被写体の動静状態は動状態であると判定する。これに対して、被写体が静状態にある場合には、テンプレート更新部１０４ｂによるテンプレートの更新が発生せず、結果として「ＣＵＲＲＥＮＴ」ばかりが選択されることになる。よって、被写体動静状態判定部１０４ｄは、動静係数の算出結果が所定値未満、例えば１未満である場合に、被写体の動静状態は静状態であると判定する。
When the subject is in a moving state, the template update frequency by the
例えば、図３に示すように、テンプレート更新部１０４ｂによって「ＯＬＤ」が１１５回、「ＣＵＲＲＥＮＴ」が１０８回、「ＮＥＷ」が９９回選択された場合には、式（１）により、動静係数＝（１１５＋９９）／１０８＝１．９８となる。この算出結果は、１以上であるため被写体動静状態判定部１０４ｄは、被写体の動静状態は動状態であると判定する。これに対して、図４に示すように、テンプレート更新部１０４ｂによって「ＯＬＤ」が１６回、「ＣＵＲＲＥＮＴ」が１４０回、「ＮＥＷ」が４６回選択された場合には、式（１）により、動静係数＝（１６＋４６）／１４０＝０．４４３となる。この算出結果は、１未満であるため被写体動静状態判定部１０４ｄは、被写体の動静状態は静状態であると判定する。
For example, as shown in FIG. 3, when “OLD” is selected 115 times, “CURRENT” is selected 108 times, and “NEW” is 99 times selected by the
制御装置１０４は、被写体動静状態判定部１０４ｄによる判定結果を撮影のために用いる。本実施の形態では、被写体動静状態判定部１０４ｄによる判定結果を、被写体追跡中におけるＡＦ（Ａｕｔｏ Ｆｏｃｕｓ／自動焦点調整）処理、ＡＥ（Ａｕｔｏｍａｔｉｃ Ｅｘｐｏｓｕｒｅ／自動露出調整）処理、ＡＷＢ（Ａｕｔｏ ＷｈｉｔｅＢａｌａｎｃｅ／自動ホワイトバランス調整）処理の実行タイミングを決定するために用いる例について説明する。
The control device 104 uses the determination result by the subject moving
制御装置１０４は、使用者によってカメラ１００のモードが撮影を行うためのモード（撮影モード）に設定されると、所定時間間隔で撮像素子１０３から入力される画像を画像処理して表示用画像データを生成し、モニタ１０６へ出力する。これによって、モニタ１０６にはスルー画が表示される。その後、使用者によって入力スイッチ１０１に含まれるレリーズボタンが半押しされると、制御装置１０４は、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行して、焦点調整、露出調整、およびホワイトバランス調整を行う。
When the mode of the
テンプレートマッチング部１０４ａは、撮像素子１０３から入力されたスルー画の各コマを対象として、上述したテンプレートマッチング処理を行って、画像内の被写体を特定する。テンプレート更新部１０４ｂは、上述したように、テンプレートマッチング部１０４ａによるテンプレート画像の選択状況に応じて、テンプレート画像を更新する。そして、被写体追跡部１０４ｃは、スルー画の各コマ間で被写体を追跡する。
The
被写体動静状態判定部１０４ｄは、被写体追跡部１０４ｃが被写体追跡を開始した後には、各フレームごとに被写体の動静状態を判定する。そして、制御装置１０４は、被写体追跡中に所定時間間隔で被写体動静状態判定部１０４ｄによる判定結果を監視する。
The subject moving
制御装置１０４は、被写体動静状態判定部１０４ｄが被写体が動状態にあると判定した場合には、被写体の状態が変化したことにより、再度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行する必要があると判定し、これらの処理を行う。これに対して、制御装置１０４は、被写体動静状態判定部１０４ｄが被写体が静状態にあると判定した場合には、被写体の状態はそれほど変化しておらず、前回のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の結果を用いることができるため、再度のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行は不要であると判定し、これらの処理を行わない（停止する）。
When the subject moving
このように、被写体の動静状態を判定し、その判定結果に基づいてＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行タイミングを決定することにより、被写体が静状態にあるとき、すなわち被写体の動きが少ない場合には、前回のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の結果を用いて撮影を行うことができるため、再度のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行を省くことができ、撮影処理を高速化することができる。また、ＣＰＵの負荷を低減することにより節電効果も期待できる。これに対して、被写体が動状態にあるときには、その都度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行することによって、被写体の変化に応じた焦点調整、露出調整、およびホワイトバランス調整を行うことができる。 In this way, by determining the moving state of the subject and determining the execution timing of the AF process, the AE process, and the AWB process based on the determination result, the subject is in a stationary state, that is, the subject moves less. In this case, since shooting can be performed using the results of the previous AF process, AE process, and AWB process, the execution of the AF process, AE process, and AWB process can be omitted, and the shooting process can be performed. The speed can be increased. In addition, a power saving effect can be expected by reducing the load on the CPU. On the other hand, when the subject is in a moving state, the focus adjustment, the exposure adjustment, and the white balance adjustment corresponding to the change of the subject are performed by executing the AF process, the AE process, and the AWB process each time. Can do.
図５は、本実施の形態におけるカメラ１００の処理を示すフローチャートである。図５に示す処理は、使用者によってレリーズボタンが半押しされると起動するプログラムとして、制御装置１０４によって実行される。
FIG. 5 is a flowchart showing processing of the
ステップＳ１において、制御装置１０４は、上述したように、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行して、焦点調整、露出調整、およびホワイトバランス調整を行う。その後、ステップＳ１０へ進み、テンプレートマッチング部１０４ａは、上述したようにターゲット画像２ａ内でターゲット領域を移動させながら、ターゲット領域内の画像と、「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のそれぞれのテンプレート画像とをテンプレートマッチング処理した結果、最も類似度が高いテンプレート画像を選択テンプレートとして選択する。テンプレートマッチング部１０４ａは、さらにターゲット画像２ａ内おける選択テンプレートと最も類似度が高いターゲット領域を合致領域として抽出する。その後、ステップＳ２０へ進む。
In step S1, as described above, the control device 104 performs AF processing, AE processing, and AWB processing to perform focus adjustment, exposure adjustment, and white balance adjustment. After that, the process proceeds to step S10, and the
ステップＳ２０では、物体追跡部１０４ｂは、動画像の前フレームにおける合致領域と現フレームにおける合致領域とに基づいて被写体の追跡を行って、ステップＳ３０へ進む。ステップＳ３０では、テンプレート更新部１０４ｂは、テンプレートマッチング部１０４ａによるテンプレートマッチング処理の結果、選択されたテンプレート画像が「ＯＬＤ」、「ＣＵＲＲＥＮＴ」、および「ＮＥＷ」のいずれであるかを判断する。選択されたテンプレート画像が「ＣＵＲＲＥＮＴ」であると判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ５５へ進む。
In step S20, the
これに対して、選択されたテンプレート画像が「ＯＬＤ」であると判断された場合には、ステップＳ４０へ進む。ステップＳ４０では、テンプレート更新部１０４ｂは、上述したように、所定回数以上、例えば７回以上「ＯＬＤ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ５５へ進む。
On the other hand, if it is determined that the selected template image is “OLD”, the process proceeds to step S40. In step S40, as described above, the
一方、更新条件を満たすと判断した場合には、ステップＳ４１へ進み、テンプレート更新部１０４ｂは、今まで「ＯＬＤ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。その後、ステップＳ５５へ進む。
On the other hand, if it is determined that the update condition is satisfied, the process proceeds to step S41, and the
また、選択されたテンプレート画像が「ＮＥＷ」であると判断された場合には、ステップＳ５０へ進む。ステップＳ５０では、テンプレート更新部１０４ｂは、上述したように、所定回数以上、例えば７回以上「ＮＥＷ」が連続して選択され、かつその間の類似度の平均が所定の類似度以上、例えば０．８以上であるという更新条件を満たすか否かを判断する。更新条件を満たさないと判断した場合には、テンプレート画像の更新を行わず、後述するステップＳ５５へ進む。
If it is determined that the selected template image is “NEW”, the process proceeds to step S50. In step S50, as described above, the
一方、更新条件を満たすと判断した場合には、ステップＳ５１へ進み、テンプレート更新部１０４ｂは、今まで「ＮＥＷ」として設定されていたテンプレート画像を「ＣＵＲＲＥＮＴ」に設定し、今まで「ＣＵＲＲＥＮＴ」として設定されていたテンプレート画像を「ＯＬＤ」に設定し、合致領域内の画像を取り込んで新たに「ＮＥＷ」に設定する。その後、ステップＳ５５へ進む。
On the other hand, if it is determined that the update condition is satisfied, the process proceeds to step S51, where the
ステップＳ５５では、被写体動静状態判定部１０４ｄは、上述したように、テンプレート更新部１０４ｂによる各テンプレート画像の選択回数に基づいて、式（１）を用いて動静係数を算出することによって、被写体の動静状態を判定する。その後、ステップＳ６０へ進む。ステップＳ６０では、制御装置１０４は、撮像素子１０３からの動画像データ（スルー画）の入力が終了したか否かを判断する。動画像データの入力が終了したと判断した場合には処理を終了する。
In step S55, the subject motion
これに対して、動画像データの入力が終了していないと判断した場合にはステップＳ７０へ進む。ステップＳ７０では、制御装置１０４は、被写体動静状態判定部１０４ｄによって、被写体が動状態であると判定されたか否かを判断する。肯定判断した場合には、ステップＳ１へ戻り、再度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行した後、ステップＳ１０以降の処理を繰り返す。これに対して、ステップＳ７０で否定判断した場合には、ステップＳ１０へ戻る。すなわち、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行することなく、ステップＳ１０以降の処理を繰り返す。
On the other hand, if it is determined that the input of moving image data has not ended, the process proceeds to step S70. In step S70, the control device 104 determines whether or not the subject moving
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）テンプレートマッチング部１０４ａは、入力画像の各フレームと、複数のテンプレート画像とのテンプレートマッチングを行って、複数のテンプレート画像の中から入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、入力画像の所定領域を合致領域として抽出する。被写体追跡部１０４ｃは、テンプレートマッチング部１０４ａによって抽出された合致領域内の画像について、フレーム間での動きを追跡することによって、複数フレームの画像間で被写体の動きを追跡する。被写体動静状態判定部１０４ｄは、テンプレートマッチング部１０４ａによって、各テンプレート画像が選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する。これによって、被写体の動静状態を精度高く判定することができる。
According to the present embodiment described above, the following operational effects can be obtained.
(1) The
（２）複数のテンプレート画像としては、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像を用いるようにした。これによって、被写体が動いた場合であっても、いずれかのテンプレート画像とマッチする可能性が高くなり、被写体追跡の精度を維持することができる。 (2) As the plurality of template images, images obtained by extracting the range including the subject from each of the plurality of images obtained by photographing the subject to be tracked at different times are used. As a result, even when the subject moves, the possibility of matching with any one of the template images increases, and the accuracy of subject tracking can be maintained.
（３）制御装置１０４は、被写体動静状態判定部１０４ｄによる判定結果に基づいて、被写体追跡中における自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行タイミングを決定するようにした。これによって、被写体の動静状態に応じた最適なタイミングで自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行することが可能になる。
(3) The control device 104 determines the execution timing of the automatic focus adjustment process, the automatic exposure adjustment process, and the automatic white balance adjustment process during subject tracking based on the determination result by the subject moving
（４）制御装置１０４は、被写体追跡の開始時点（レリーズボタン半押し時）に自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、被写体追跡中は、所定時間間隔で被写体動静状態判定部１０４ｄによる判定結果を監視するようにした。そして、制御装置１０４は、被写体が動状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理を実行し、被写体が静状態であると判定された場合には、自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行を停止するようにした。これによって、被写体の動きが少ない場合には、前回のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の結果を用いて撮影を行うことができるため、再度のＡＦ処理、ＡＥ処理、およびＡＷＢ処理の実行を省くことができ、撮影処理を高速化することができる。また、ＣＰＵの負荷を低減することにより節電効果も期待できる。これに対して、被写体が動状態にあるときには、その都度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行することによって、被写体の変化に応じた焦点調整、露出調整、およびホワイトバランス調整を行うことができる。
(4) The control device 104 performs automatic focus adjustment processing, automatic exposure adjustment processing, and automatic white balance adjustment processing at the start of subject tracking (when the release button is half-pressed). The determination result by the subject moving
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、制御装置１０４は、被写体動静状態判定部１０４ｄによる判定結果をスルー画表示中におけるＡＦ処理、ＡＥ処理、およびＡＷＢ処理のタイミングを決定するために用いる例について説明した。しかしながら、被写体動静状態判定部１０４ｄによる判定結果を他の目的で使用するようにしてもよい。例えば、制御装置１０４は、上述した実施の形態と同様に、使用者によってレリーズボタンが半押しされたときに、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行する。そして、制御装置１０４は、使用者によってレリーズボタンが全押しされたときに、被写体動静状態判定部１０４ｄによる判定結果に基づいて、再度、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行する必要があるか否かを判定するようにしてもよい。
-Modification-
The camera according to the above-described embodiment can be modified as follows.
(1) In the embodiment described above, the control device 104 describes an example in which the determination result by the subject moving
すなわち、制御装置１０４は、使用者によってレリーズボタンが全押しされた場合には、その時に入力されたフレームにおける被写体の動静状態に基づいて、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行するか否かを判定する。そして、被写体の状態が動状態であると判定した場合には、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行してから画像の取得を行ない、被写体の状態が静状態であると判定した場合には、ＡＦ処理、ＡＥ処理、およびＡＷＢ処理を実行せずに画像の取得を行なう。これによって、被写体が動いているときには、最新の被写体の状態に応じた焦点調整、露出調整、およびホワイトバランス調整を行うことができる。一方、被写体の動きが少ない場合には、画像取得時のＡＦ処理、ＡＥ処理、およびＡＷＢ処理を省略して、レリーズタイムラグを短縮することができる。 That is, when the release button is fully pressed by the user, the control device 104 determines whether to execute the AF process, the AE process, and the AWB process based on the moving state of the subject in the frame input at that time. Determine whether. When it is determined that the subject is in a moving state, images are acquired after performing AF processing, AE processing, and AWB processing, and when it is determined that the subject is in a static state. Performs image acquisition without executing AF processing, AE processing, and AWB processing. Thus, when the subject is moving, focus adjustment, exposure adjustment, and white balance adjustment according to the latest subject state can be performed. On the other hand, when the movement of the subject is small, the release time lag can be shortened by omitting the AF processing, AE processing, and AWB processing at the time of image acquisition.
（２）上述した実施の形態では、被写体追跡装置としてカメラ１００を使用する例について説明した。しかしながら、本発明は、撮影機能を備えた他の機器、例えばカメラ付き携帯電話やビデオカメラに適用することも可能である。
(2) In the above-described embodiment, the example in which the
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。 Note that the present invention is not limited to the configurations in the above-described embodiments as long as the characteristic functions of the present invention are not impaired. Moreover, it is good also as a structure which combined the above-mentioned embodiment and a some modification.
１００ カメラ、１０１ 入力スイッチ、１０２ レンズ、１０３ 撮像素子、１０４ 制御装置、１０４ａ テンプレートマッチング部、１０４ｂ テンプレート更新部、１０４ｃ 被写体追跡部、１０４ｄ 被写体動静状態判定部、１０５ メモリカードスロット、１０６ モニタ
DESCRIPTION OF
Claims (6)
コンピュータに、
前記入力画像と、複数のテンプレート画像とのテンプレートマッチングを行って、前記複数のテンプレート画像の中から前記入力画像の所定領域内の画像との類似度が最も高いテンプレート画像を選択テンプレートとして選択し、前記入力画像の前記所定領域を合致領域として抽出するテンプレートマッチング手順と、
前記テンプレートマッチング手順によって抽出された前記合致領域内の画像について、複数の前記入力画像間での動きを追跡することによって、複数の前記入力画像間で被写体の動きを追跡する被写体追跡手順と、
前記テンプレートマッチング手順によって、各テンプレート画像が前記選択テンプレート画像として選択された回数に基づいて、被写体が動状態にあるか静状態にあるかを判定する動静状態判定手順とを実行させるための被写体追跡プログラム。 A subject tracking program for tracking the movement of a subject between a plurality of input images input in time series,
On the computer,
Template matching between the input image and a plurality of template images is performed, and a template image having the highest similarity with an image in a predetermined area of the input image is selected as a selection template from the plurality of template images. A template matching procedure for extracting the predetermined area of the input image as a matching area;
A subject tracking procedure for tracking the motion of the subject between the plurality of input images by tracking the motion between the plurality of input images for the image in the matching region extracted by the template matching procedure;
Subject tracking for executing a moving / static state determination procedure for determining whether the subject is in a moving state or a static state based on the number of times each template image is selected as the selected template image by the template matching procedure. program.
前記複数のテンプレート画像は、追跡対象とする被写体を異なる時刻に撮影した複数の画像のそれぞれから被写体を含む範囲内を抽出した画像であることを特徴とする被写体追跡プログラム。 The subject tracking program according to claim 1,
The subject tracking program, wherein the plurality of template images are images obtained by extracting a range including a subject from a plurality of images obtained by photographing the subject to be tracked at different times.
前記動静状態判定手順による判定結果に基づいて、被写体追跡中における自動焦点調整処理、自動露出調整処理、および自動ホワイトバランス調整処理の実行タイミングを決定する制御手順をさらに備えることを特徴とする被写体追跡プログラム。 In the subject tracking program according to claim 1 or 2,
A subject tracking further comprising a control procedure for determining execution timing of an automatic focus adjustment process, an automatic exposure adjustment process, and an automatic white balance adjustment process during subject tracking based on a determination result obtained by the moving state determination procedure. program.
前記制御手順は、被写体追跡の開始時点に前記自動焦点調整処理、前記自動露出調整処理、および前記自動ホワイトバランス調整処理を実行し、被写体追跡中は、所定時間間隔で前記動静状態判定手順による判定結果を監視し、前記動静状態判定手順によって被写体が動状態であると判定された場合には、前記自動焦点調整処理、前記自動露出調整処理、および前記自動ホワイトバランス調整処理を実行し、前記動静状態判定手順によって被写体が静状態であると判定された場合には、前記自動焦点調整処理、前記自動露出調整処理、および前記自動ホワイトバランス調整処理の実行を停止することを特徴とする被写体追跡プログラム。 In the subject tracking program according to claim 3,
In the control procedure, the automatic focus adjustment process, the automatic exposure adjustment process, and the automatic white balance adjustment process are executed at the start of subject tracking. During the subject tracking, the determination by the moving state determination procedure is performed at predetermined time intervals. The result is monitored, and when the subject is determined to be in the moving state by the moving / static state determination procedure, the automatic focus adjustment processing, the automatic exposure adjustment processing, and the automatic white balance adjustment processing are executed, An object tracking program that stops execution of the automatic focus adjustment process, the automatic exposure adjustment process, and the automatic white balance adjustment process when it is determined by the state determination procedure that the object is still. .
請求項１〜４のいずれか一項に記載の被写体追跡プログラムを実行する実行手段とを備え、
前記実行手段は、前記撮像手段で撮像され、時系列で入力される複数の入力画像間で被写体の動きを追跡して、被写体の動静状態を判定することを特徴とするカメラ。 An imaging means for capturing an image;
Execution means for executing the subject tracking program according to any one of claims 1 to 4,
The camera according to claim 1, wherein the execution means tracks the movement of the subject between a plurality of input images picked up by the imaging means and input in time series, and determines the moving state of the subject.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008023529A JP2009188480A (en) | 2008-02-04 | 2008-02-04 | Subject tracing program, subject tracing device, and camera |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008023529A JP2009188480A (en) | 2008-02-04 | 2008-02-04 | Subject tracing program, subject tracing device, and camera |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2009188480A true JP2009188480A (en) | 2009-08-20 |
Family
ID=41071348
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008023529A Pending JP2009188480A (en) | 2008-02-04 | 2008-02-04 | Subject tracing program, subject tracing device, and camera |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2009188480A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011130384A (en) * | 2009-12-21 | 2011-06-30 | Canon Inc | Subject tracking apparatus and control method thereof |
| JP2013021726A (en) * | 2012-10-18 | 2013-01-31 | Canon Inc | Subject tracking apparatus and control method thereof |
| JP2014203837A (en) * | 2013-04-01 | 2014-10-27 | 株式会社ディスコ | Key pattern detection method and alignment method |
-
2008
- 2008-02-04 JP JP2008023529A patent/JP2009188480A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011130384A (en) * | 2009-12-21 | 2011-06-30 | Canon Inc | Subject tracking apparatus and control method thereof |
| JP2013021726A (en) * | 2012-10-18 | 2013-01-31 | Canon Inc | Subject tracking apparatus and control method thereof |
| JP2014203837A (en) * | 2013-04-01 | 2014-10-27 | 株式会社ディスコ | Key pattern detection method and alignment method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5018767B2 (en) | Subject tracking program, subject tracking device, and camera | |
| JP4961965B2 (en) | Subject tracking program, subject tracking device, and camera | |
| US8355048B2 (en) | Subject tracking computer program product, subject tracking device and camera | |
| JP5507014B2 (en) | Moving object detection apparatus and method | |
| EP2273450A2 (en) | Target tracking apparatus, image tracking apparatus, methods of controlling operation of same, and digital camera | |
| JP5699432B2 (en) | Image processing device | |
| JP6218378B2 (en) | Image processing apparatus and image processing method | |
| JP2011244046A (en) | Imaging apparatus, image processing method, and program storage medium | |
| JP2009141475A (en) | Camera | |
| JP2009111716A (en) | Imaging apparatus, program and template generating method | |
| JP2009213114A (en) | Imaging device and program | |
| JP5482148B2 (en) | Autofocus adjustment circuit and imaging apparatus | |
| JP2009188480A (en) | Subject tracing program, subject tracing device, and camera | |
| JP2011151482A (en) | Imaging apparatus and method for controlling the same | |
| JP2013190735A (en) | Photographing instrument and control method for photographing instrument | |
| JP6257186B2 (en) | Imaging apparatus, imaging method, and program | |
| JP2010062825A (en) | Imaging device and method of controlling imaging | |
| JP2011182341A (en) | Imaging device and method of controlling imaging device | |
| JP2010157792A (en) | Photographed object tracing device | |
| JP2009077321A (en) | Image recording device and image recording processing method | |
| US20220292692A1 (en) | Image processing apparatus and method of processing image | |
| JP2011071671A (en) | Image recognition device and imaging apparatus | |
| JP2008172368A (en) | Imaging apparatus, control method thereof, program and storage medium | |
| JP2018116723A (en) | Image processing system | |
| JP2015082801A (en) | Image processing apparatus, imaging apparatus and image processing program |