JP2008113071A - Automatic tracking device - Google Patents
Automatic tracking device Download PDFInfo
- Publication number
- JP2008113071A JP2008113071A JP2006293078A JP2006293078A JP2008113071A JP 2008113071 A JP2008113071 A JP 2008113071A JP 2006293078 A JP2006293078 A JP 2006293078A JP 2006293078 A JP2006293078 A JP 2006293078A JP 2008113071 A JP2008113071 A JP 2008113071A
- Authority
- JP
- Japan
- Prior art keywords
- moving
- image
- template
- contour image
- moving contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮影した画像中の特定の物体を自動的に追尾(追跡)する自動追尾装置に関するものである。 The present invention relates to an automatic tracking device that automatically tracks (tracks) a specific object in a captured image.
近年、その利便性から、カメラ装置等の撮像手段により追尾対象及びその周辺の範囲を撮像し、この撮像した画像を利用する自動追尾装置が多くの分野で利用されている。 2. Description of the Related Art In recent years, automatic tracking devices that capture an image of a tracking target and its surrounding area by an image capturing unit such as a camera device and use the captured image are used in many fields because of its convenience.
従来の自動追尾装置としては、撮像したフレーム(画像)間の差分により差分領域を求め、この差分領域の中心を移動体の中心とし、差分領域の中心をズームして画像表示することで移動体の追尾を行うものや、差分領域の中心が画像の中心に位置するように、カメラ装置の向き(パン、チルト等)を機械的に制御することで移動体の追尾を行うもの等がある。 As a conventional automatic tracking device, a difference area is obtained from a difference between captured frames (images), the center of the difference area is set as the center of the moving body, and the center of the difference area is zoomed to display an image. For example, and for tracking the moving object by mechanically controlling the direction of the camera device (pan, tilt, etc.) so that the center of the difference area is located at the center of the image.
しかしながら、フレーム間の差分により抽出される差分領域のサイズは、追尾対象の移動体の移動速度によって変化してしまう(移動速度が速ければ、差分領域のサイズが大きくなり、移動速度が遅ければ、差分領域のサイズが小さくなる)。そのため、前者のように差分領域の中心をズームして表示するものでは、移動体の移動速度が速い場合には、追尾対象の移動体を精度良く表示することができない場合が多々あった。 However, the size of the difference area extracted by the difference between the frames changes depending on the moving speed of the tracking target moving body (if the moving speed is fast, the size of the difference area becomes large, and if the moving speed is slow, The size of the difference area is reduced). Therefore, in the case where the center of the difference area is zoomed and displayed as in the former case, there are many cases where the tracking target moving body cannot be displayed with high accuracy when the moving speed of the moving body is high.
特に、後者のようにカメラ装置の向き等(パン、チルト等)を機械的に制御するものでは、カメラ装置の向きの変化に伴って、背景画像が変化してしまうため、フレーム間の差分を求めた際には、撮像した画像全体に亘って差分領域が抽出されてしまい、これが追尾精度を下げる原因となっていた。 In particular, in the latter case in which the camera device orientation (pan, tilt, etc.) is mechanically controlled, the background image changes as the camera device orientation changes. When obtained, a difference area is extracted over the entire captured image, which causes a decrease in tracking accuracy.
そこで、フレーム間の差分ではなく、動きベクトル(オプティカルフロー)を使用して追尾を行う自動追尾装置が提供されている(例えば、非特許文献1)。 Therefore, an automatic tracking device that performs tracking using a motion vector (optical flow) instead of a difference between frames is provided (for example, Non-Patent Document 1).
上記非特許文献1では、背景差分により移動体を検出した際には、この移動体を囲む検出枠を設定し、以後、検出枠外の背景の動きベクトルと、検出枠内の追尾対象の移動体の動きベクトルとをそれぞれ求めることで、移動体と背景とを区別し、これにより移動体の検出を行っている。このような動きベクトルは、複数の画素(例えば8×8のサイズ)からなるブロックを用いてブロックマッチングを行うことにより求められ、非特許文献1の場合、検出枠内と検出枠外に、それぞれ所定個数のブロックを設定し、各ブロックの動きベクトルを求めることで、移動体と背景とを区別するようにしている。
しかしながら、非特許文献1のように動きベクトルのみを用いて移動体を検出するものでは、同様な動きベクトルを有する他の移動体が存在した場合には、追尾対象の移動体と、他の移動体とを区別することが難しく、精度が高い追尾結果を得ることができなかった。 However, in the case of detecting a moving object using only a motion vector as in Non-Patent Document 1, if there is another moving object having a similar motion vector, the tracking target moving object and another moving object are detected. It was difficult to distinguish between the body and the tracking result with high accuracy could not be obtained.
そこで、追尾精度を向上するためには、追尾対象の移動体の画像を用いてテンプレートマッチングを行うことが考えられるが、動きベクトルを用いて移動体を抽出する手法では、移動体は、同じ動きベクトルを有するブロックの集合体として現されるので、移動体の形状が正確に反映されず、形状精度が粗い移動体の画像が得られることになる。そして、このような形状精度が粗い移動体の画像を用いてテンプレートマッチングを行ったとしても、良好な結果は得られない。 Therefore, in order to improve tracking accuracy, it is conceivable to perform template matching using an image of a moving object to be tracked. However, in the method of extracting a moving object using a motion vector, the moving object has the same motion. Since it is expressed as an aggregate of blocks having vectors, the shape of the moving object is not accurately reflected, and an image of the moving object having a rough shape accuracy is obtained. Even if template matching is performed using an image of such a moving body having a rough shape accuracy, a good result cannot be obtained.
以上述べたように、従来の自動追尾装置では、良好な追尾精度が得られなかった。 As described above, the conventional automatic tracking device cannot obtain good tracking accuracy.
本発明は上述の点に鑑みて為されたもので、その目的は、追尾精度を向上できる自動追尾装置を提供することにある。 The present invention has been made in view of the above points, and an object thereof is to provide an automatic tracking device capable of improving tracking accuracy.
上記の課題を解決するために、請求項1の発明では、撮像手段で撮像した画像を記憶する画像記憶手段と、画像記憶手段に記憶された画像群から時間的な変化を元に移動体の輪郭を抽出して移動輪郭画像を生成する移動輪郭画像生成手段と、移動輪郭画像生成手段により得られる移動輪郭画像を元に生成される追尾対象の移動体のテンプレートが記憶されるテンプレート記憶手段と、テンプレート記憶手段に記憶されたテンプレートを用いてテンプレートマッチングを行い前記移動輪郭画像から追尾対象の移動体の検出を行うテンプレートマッチング手段と、テンプレート記憶手段に記憶されているテンプレートをテンプレートマッチング手段によって検出された今回の追尾対象の移動体の移動輪郭画像と過去の追尾対象の移動体の移動輪郭画像とを合成して作成した新たなテンプレートに置き換えることでテンプレートの更新を行うテンプレート更新手段とを備えていることを特徴とする。 In order to solve the above-described problems, in the invention of claim 1, an image storage unit that stores an image captured by the imaging unit, and a moving object based on a temporal change from an image group stored in the image storage unit. A moving contour image generating means for extracting a contour and generating a moving contour image; a template storage means for storing a template of a moving object to be tracked generated based on the moving contour image obtained by the moving contour image generating means; Template matching means for performing template matching using a template stored in the template storage means and detecting a moving object to be tracked from the moving contour image, and detecting a template stored in the template storage means by the template matching means. The moving contour image of the moving object to be tracked this time and the moving contour of the moving object to be tracked in the past Characterized in that it comprises a template updating means for updating the template by replacing a new template created by synthesizing the image.
請求項1の発明によれば、過去の追尾対象の移動体の移動輪郭画像と、今回のテンプレートマッチング手段により検出した追尾対象の移動体の移動輪郭画像とを合成することでテンプレートを作成しているので、いずれかの移動輪郭画像に欠けている部位があったとしても他の移動輪郭画像により欠けている部位が補完されて、追尾対象の移動体の形状を正確に捉えたテンプレートを得ることができ、これにより追尾精度が向上するという効果を奏し、しかも追尾対象の移動体において形状が安定な部位(移動体の移動に伴う動きが緩やかな部位、人であれば頭部や肩等)はコントラストが高くなり、形状が不安定な部位(移動体の移動に伴う動きが激しい部位、人であれば手や足等)はコントラストが低くなるので、追尾対象の移動体の形状の変化にロバストな(影響を受け難い)テンプレートマッチングを行うことができて、これによっても追尾精度を向上できるという効果を奏する。 According to the first aspect of the present invention, a template is created by synthesizing a moving contour image of a moving object to be tracked in the past and a moving contour image of a moving object to be tracked detected by the current template matching means. Therefore, even if there is a missing part in any moving contour image, the missing part is complemented by another moving contour image, and a template that accurately captures the shape of the moving object to be tracked is obtained. This has the effect of improving the tracking accuracy, and has a stable shape in the tracking target mobile body (part where the movement of the mobile body moves slowly, such as the head and shoulders for humans) Since the contrast is high and the part whose shape is unstable (the part where the movement accompanying the movement of the moving body is intense, such as a hand or a foot in the case of a person) has a low contrast, the shape of the moving body to be tracked And it is a change to perform template matching (not susceptible to influence) robust, also exhibits the effect of improving the tracking accuracy thereby.
請求項2の発明では、請求項1の発明において、移動輪郭画像生成手段は、2値画像からなる移動輪郭画像を生成するように構成されていることを特徴とする。 According to a second aspect of the present invention, in the first aspect of the present invention, the moving contour image generating means is configured to generate a moving contour image composed of a binary image.
請求項2の発明によれば、移動輪郭画像を2値画像としているので、移動輪郭画像の記憶に必要な容量を小さくすることができ、これによりメモリを節約できるという効果を奏する。 According to the second aspect of the present invention, since the moving contour image is a binary image, the capacity required for storing the moving contour image can be reduced, and the memory can be saved.
請求項3の発明では、請求項1の発明において、移動輪郭画像生成手段は、濃淡画像からなる移動輪郭画像を生成するように構成されていることを特徴とする。 According to a third aspect of the present invention, in the first aspect of the present invention, the moving contour image generating means is configured to generate a moving contour image composed of a grayscale image.
請求項3の発明によれば、移動輪郭画像を濃淡画像としているので、より詳細で正確なテンプレートを得ることができ、追尾精度を向上できるという効果を奏する。 According to the invention of claim 3, since the moving contour image is a grayscale image, a more detailed and accurate template can be obtained, and the tracking accuracy can be improved.
請求項4の発明では、請求項1の発明において、移動輪郭画像生成手段は、テンプレートのコントラストが低いかどうかを判定し、コントラストが低くなければ、2値画像からなる移動輪郭画像を生成し、コントラストが低ければ、濃淡画像からなる移動輪郭画像を生成するように構成されていることを特徴とする。 In the invention of claim 4, in the invention of claim 1, the moving contour image generation means determines whether or not the contrast of the template is low, and if the contrast is not low, generates a moving contour image consisting of a binary image, If the contrast is low, a moving contour image composed of a gray image is generated.
請求項4の発明によれば、テンプレートのコントラストが高く、2値画像でも十分なテンプレートマッチングが行える場合は、移動輪郭画像を2値画像としているので、移動輪郭画像の記憶に必要な容量を小さくすることができてメモリを節約でき、テンプレートのコントラストが低く、2値画像では十分なテンプレートマッチングが行い難い場合は、移動輪郭画像を濃淡画像としているので、より詳細で正確なテンプレートを得ることができ、追尾精度を向上できるという効果を奏する。 According to the fourth aspect of the present invention, when the template has a high contrast and sufficient template matching can be performed even with a binary image, the moving contour image is a binary image, so the capacity required for storing the moving contour image is reduced. If the template contrast is low and sufficient template matching cannot be performed with a binary image, the moving contour image is a gray image, so that a more detailed and accurate template can be obtained. The tracking accuracy can be improved.
請求項5の発明では、請求項4の発明において、移動輪郭画像生成手段は、テンプレートを複数の領域に分割し、前記複数の領域毎に0ではない画素値の平均値を算出し、前記画素値の平均値が所定の閾値未満となる領域又は他の領域に比べて所定値以上低い領域が存在する場合に、前記テンプレートのコントラストが低いと判定するように構成されていることを特徴とする。 In the invention of claim 5, in the invention of claim 4, the moving contour image generation means divides the template into a plurality of regions, calculates an average value of pixel values other than 0 for each of the plurality of regions, and It is configured to determine that the contrast of the template is low when there is a region whose average value is less than a predetermined threshold or a region lower than a predetermined value compared to other regions. .
請求項5の発明によれば、テンプレートのコントラストが高く、2値画像でも十分なテンプレートマッチングが行える場合は、移動輪郭画像を2値画像としているので、移動輪郭画像の記憶に必要な容量を小さくすることができてメモリを節約でき、テンプレートのコントラストが低く、2値画像では十分なテンプレートマッチングが行い難い場合は、移動輪郭画像を濃淡画像としているので、より詳細で正確なテンプレートを得ることができ、追尾精度を向上できるという効果を奏する。 According to the fifth aspect of the present invention, when the template has a high contrast and sufficient template matching can be performed even with a binary image, the moving contour image is a binary image, so the capacity required for storing the moving contour image is reduced. If the template contrast is low and sufficient template matching cannot be performed with a binary image, the moving contour image is a gray image, so that a more detailed and accurate template can be obtained. The tracking accuracy can be improved.
請求項6の発明では、請求項2又は4又は5の発明において、移動輪郭画像生成手段は、テンプレートの画素値に応じて2値化用の閾値を変更するように構成されていることを特徴とする。 The invention of claim 6 is characterized in that, in the invention of claim 2, 4 or 5, the moving contour image generating means is configured to change the threshold for binarization according to the pixel value of the template. And
請求項6の発明によれば、テンプレートの画素値(コントラスト)に応じて2値化用の閾値を変更するので、テンプレートの画素値が低い場合でも移動輪郭画像における移動体の輪郭を得ることが可能になるから、常に2値化用の閾値を一定とする場合に比べて、追尾精度の向上を図ることができるという効果を奏する。 According to the invention of claim 6, since the binarization threshold value is changed according to the pixel value (contrast) of the template, the contour of the moving object in the moving contour image can be obtained even when the pixel value of the template is low. As a result, the tracking accuracy can be improved as compared with the case where the binarization threshold is always constant.
請求項7の発明では、請求項6の発明において、移動輪郭画像生成手段は、テンプレートの画素値の平均値を算出し、前記画素値の平均値が所定の閾値以下である場合には、2値化用の閾値を低くするように構成されていることを特徴とする。 In the invention of claim 7, in the invention of claim 6, the moving contour image generation means calculates an average value of the pixel values of the template, and when the average value of the pixel values is equal to or less than a predetermined threshold, 2 The present invention is characterized in that the threshold value for valuation is lowered.
請求項7の発明によれば、テンプレートのコントラストが低い場合に、2値化用の閾値を低くすることで、移動輪郭画像における移動体の輪郭(エッジ)を太くしているから、テンプレートのコントラストが低い場合であってもテンプレートマッチングを行い易くなり、結果として、追尾精度の向上を図ることができるという効果を奏する。 According to the seventh aspect of the present invention, when the contrast of the template is low, the threshold value for binarization is lowered to thicken the contour (edge) of the moving object in the moving contour image. Template matching is facilitated even when the value is low, and as a result, the tracking accuracy can be improved.
請求項8の発明では、請求項1〜7のいずれか1項の発明において、テンプレート更新手段は、時系列順に並んだ所定枚数の過去の追尾対象の移動体の移動輪郭画像と今回のテンプレートマッチング手段により検出した追尾対象の移動体の移動輪郭画像とを合成してテンプレートを作成するように構成されていることを特徴とする。 In the invention of claim 8, in the invention of any one of claims 1 to 7, the template updating means includes a moving contour image of a predetermined number of past tracking target moving bodies arranged in time series and the current template matching. A template is created by combining the moving contour image of the tracking target moving body detected by the means.
請求項8の発明によれば、過去の追尾対象の移動体の移動輪郭画像と、今回のテンプレートマッチング手段により検出した追尾対象の移動体の移動輪郭画像とを重みをつけて合成することが可能となるから、追尾対象の移動体の形状の変化に徐々に追従することができるという効果を奏する。 According to the invention of claim 8, it is possible to combine the moving contour image of the tracking target moving body in the past with the moving contour image of the tracking target moving body detected by the current template matching means. Therefore, there is an effect that it is possible to gradually follow a change in the shape of the tracking target moving body.
請求項9の発明では、請求項1〜7のいずれか1項の発明において、テンプレート更新手段は、時系列順に並んだ追尾対象の移動体の移動輪郭画像を新しいほうから所定枚数選出して合成してテンプレートを作成し、この後に前記所定枚数分だけ移動輪郭画像が蓄積される毎に、新たに蓄積された所定枚数の移動輪郭画像を合成してテンプレートを作成するように構成されていることを特徴とする。 In the invention of claim 9, in the invention of any one of claims 1 to 7, the template updating means selects and synthesizes a predetermined number of moving contour images of the tracking target moving bodies arranged in chronological order from the newest one. A template is created, and each time a predetermined number of moving contour images are accumulated thereafter, a template is created by synthesizing the newly accumulated predetermined number of moving contour images. It is characterized by.
請求項9の発明によれば、時系列順に並んだ追尾対象の移動体の移動輪郭画像を所定枚数ずつ合成することで作成した合成画像を用いるから、追尾対象の移動体の形状が瞬間的に大きく変化した場合であっても、このような移動輪郭画像の影響を小さくできて、追尾精度の向上を図ることができるという効果を奏する。 According to the ninth aspect of the invention, since the synthesized image created by synthesizing a predetermined number of moving outline images of the tracking target moving bodies arranged in time series is used, the shape of the tracking target moving body is instantaneously Even if it changes greatly, there is an effect that the influence of such a moving contour image can be reduced and the tracking accuracy can be improved.
請求項10の発明では、請求項8又は9の発明において、テンプレート更新手段は、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、不要な画像を間引くように構成されていることを特徴とする。 In the invention of claim 10, in the invention of claim 8 or 9, the template updating means is configured to thin out unnecessary images from the moving contour image of the tracking target moving body arranged in time series. Features.
請求項10の発明によれば、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、テンプレートに悪影響を及ぼすような不要な画像を間引くようにしているので、追尾精度の向上を図ることができるという効果を奏する。 According to the tenth aspect of the present invention, since unnecessary images that adversely affect the template are thinned out from the moving contour images of the tracking target moving bodies arranged in time series, the tracking accuracy can be improved. There is an effect that can be.
請求項11の発明では、請求項10の発明において、テンプレート更新手段は、移動輪郭画像から画素値が0ではない画素の数をカウントし、前記画素の数が、前記移動輪郭画像より前の移動輪郭画像に比べて所定値以上増減していれば、前記移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を、前記不要な画像とみなすように構成されていることを特徴とする。 In the invention of claim 11, in the invention of claim 10, the template updating means counts the number of pixels whose pixel value is not 0 from the moving contour image, and the number of the pixels is moved before the moving contour image. The moving contour image of the tracking target moving body obtained from the moving contour image is regarded as the unnecessary image as long as it is increased or decreased by a predetermined value or more compared to the contour image. .
請求項11の発明によれば、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、テンプレートに悪影響を及ぼすような不要な画像を間引くようにしているので、追尾精度の向上を図ることができるという効果を奏する。 According to the eleventh aspect of the present invention, unnecessary images that adversely affect the template are thinned out from the moving contour images of the tracking target moving bodies arranged in time series order, so that the tracking accuracy can be improved. There is an effect that can be.
請求項12の発明では、請求項10の発明において、テンプレート更新手段は、移動輪郭画像、又は当該移動輪郭画像の元になった撮像手段の画像の画素値の標準偏差を算出し、前記画素値の標準偏差が、前記移動輪郭画像より前の移動輪郭画像、又は当該前の移動輪郭画像の元になった撮像手段の画像に比べて所定値以上増減していれば、前記移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を前記不要な画像とみなすように構成されていることを特徴とする。 In the invention of claim 12, in the invention of claim 10, the template updating means calculates a standard deviation of the pixel value of the moving contour image or the image of the imaging means that is the basis of the moving contour image, and the pixel value Is obtained from the moving contour image if the standard deviation of the moving contour image has increased or decreased by a predetermined value or more compared to the moving contour image before the moving contour image or the image of the imaging means that is the source of the previous moving contour image. The moving contour image of the tracking target moving body is regarded as the unnecessary image.
請求項12の発明によれば、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、テンプレートに悪影響を及ぼすような不要な画像を間引くようにしているので、追尾精度の向上を図ることができるという効果を奏する。 According to the twelfth aspect of the present invention, unnecessary images that adversely affect the template are thinned out from the moving contour images of the tracking target moving bodies arranged in time series order, so that the tracking accuracy can be improved. There is an effect that can be.
請求項13の発明では、請求項10の発明において、テンプレート更新手段は、移動輪郭画像中の移動体の輪郭部分の画素数が、前記移動輪郭画像の前の移動輪郭画像に比べて所定値以上増減していれば、前記移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を前記不要な画像とみなすように構成されていることを特徴とする。 According to a thirteenth aspect of the present invention, in the tenth aspect of the present invention, the template updating means is configured such that the number of pixels of the contour portion of the moving body in the moving contour image is greater than or equal to a predetermined value compared to the moving contour image before the moving contour image. If it is increased or decreased, the moving contour image of the tracking target moving body obtained from the moving contour image is regarded as the unnecessary image.
請求項13の発明によれば、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、テンプレートに悪影響を及ぼすような不要な画像を間引くようにしているので、追尾精度の向上を図ることができるという効果を奏する。 According to the thirteenth aspect of the present invention, unnecessary images that adversely affect the template are thinned out from the moving contour images of the tracking target moving bodies arranged in time series order, thereby improving the tracking accuracy. There is an effect that can be.
本発明は、過去の追尾対象の移動体の移動輪郭画像と、今回のテンプレートマッチング手段により検出した追尾対象の移動体の移動輪郭画像とを合成することでテンプレートを作成しているので、いずれかの移動輪郭画像に欠けている部位があったとしても他の移動輪郭画像により欠けている部位が補完されて、追尾対象の移動体の形状を正確に捉えたテンプレートを得ることができるから、追尾精度が向上するという効果を奏し、しかも追尾対象の移動体において形状が安定な部位(移動体の移動に伴う動きが緩やかな部位、人であれば頭部や肩等)はコントラストが高くなり、形状が不安定な部位(移動体の移動に伴う動きが激しい部位、人であれば手や足等)はコントラストが低くなるので、追尾対象の移動体の形状の変化にロバストな(影響を受け難い)テンプレートマッチングを行うことができるから、さらに追尾精度を向上できるという効果を奏する。 In the present invention, a template is created by synthesizing a moving contour image of a moving object to be tracked in the past and a moving contour image of a moving object to be tracked detected by the template matching unit this time. Even if there is a missing part in the moving contour image, the missing part is complemented by other moving contour images, and a template that accurately captures the shape of the moving object to be tracked can be obtained. There is an effect that the accuracy is improved, and the portion of the tracking target moving body whose shape is stable (the portion where the movement accompanying the movement of the moving body is slow, such as the head or shoulder in the case of a person) has a high contrast, Robustness to changes in the shape of the moving body to be tracked, since the contrast is low for parts with unstable shapes (parts where the movement of the moving body is intense, such as hands and feet if humans) Since it is possible to perform template matching (influence not susceptible to), an effect that can be further improved tracking accuracy.
(実施形態1)
本実施形態の自動追尾装置は、図1(a)に示すように、撮像手段1と、撮像手段1で撮像した画像(入力画像)をA/D変換するA/D変換手段2と、撮像手段1で撮像した画像群が記憶される画像記憶手段3と、画像記憶手段3に記憶された画像群から時間的な変化を元に移動体の輪郭を抽出して移動輪郭画像を生成する移動輪郭画像生成手段4と、移動輪郭画像生成手段4により得られる移動輪郭画像を元に生成される追尾対象の移動体のテンプレートが記憶されるテンプレート記憶手段5と、テンプレート記憶手段5に記憶されたテンプレートを用いてテンプレートマッチング(パターンマッチング)を行い、移動輪郭画像から追尾対象の移動体の検出を行うテンプレートマッチング手段6と、テンプレートマッチング手段6の結果を元に、前記移動輪郭画像の元になった撮像手段1の画像から追尾対象の移動体の画像を切り出す(抽出する)切出手段7と、テンプレート記憶手段5に記憶されているテンプレートを更新するテンプレート更新手段8と、これらを制御する制御手段9と、切出手段7で切り出された画像を表示する画像表示手段10とを備え、テンプレート更新手段8は、図1(b)に示すように、過去の追尾対象の移動体の移動輪郭画像P1〜P4と、今回のテンプレートマッチング手段6により検出した追尾対象の移動体の移動輪郭画像P5とを合成して新たなテンプレートTを作成し、テンプレート記憶手段5に記憶されているテンプレートを新たなテンプレートTに置き換えることでテンプレートの更新を行うように構成されている。
(Embodiment 1)
As shown in FIG. 1A, the automatic tracking device of the present embodiment includes an imaging unit 1, an A / D conversion unit 2 that performs A / D conversion on an image (input image) captured by the imaging unit 1, and an imaging unit. An image storage unit 3 in which the image group captured by the unit 1 is stored, and a movement that extracts a contour of the moving body from the image group stored in the image storage unit 3 based on temporal changes and generates a moving contour image The contour image generating means 4, the template storage means 5 for storing the template of the tracking target moving body generated based on the moving contour image obtained by the moving contour image generating means 4, and the template storage means 5. Template matching unit 6 that performs template matching (pattern matching) using a template and detects a moving object to be tracked from a moving contour image, and results of template matching unit 6 Based on the image of the imaging unit 1 that is the basis of the moving contour image, the cutting unit 7 that extracts (extracts) an image of the tracking target moving body and the template stored in the template storage unit 5 are updated. A template updating means 8, a control means 9 for controlling these, and an image display means 10 for displaying an image cut out by the cutting means 7 are provided. The template updating means 8 is shown in FIG. The moving outline images P1 to P4 of the moving object to be tracked in the past and the moving outline image P5 of the moving object to be tracked detected by the template matching means 6 this time are combined to create a new template T. The template is updated by replacing the template stored in the storage means 5 with a new template T.
撮像手段1は、例えば、所定領域を時系列で連続して撮像する撮像素子(図示せず)を備え、画像(画像データ)をアナログ信号として出力するカメラ装置である。尚、撮像手段1としては、一般的なCMOSカメラのようにデバイス自体が画像をデジタル信号として出力するものを用いてもよく、この場合はA/D変換手段2を設けなくてもよい。A/D変換手段2は、撮像手段1が出力するアナログ信号をデジタル信号に変換するためのものであり、A/D変換手段2により変換されたデジタル信号は、画像記憶手段3に出力される。 The imaging means 1 is, for example, a camera device that includes an imaging element (not shown) that continuously images a predetermined area in time series and outputs an image (image data) as an analog signal. As the image pickup means 1, a device that outputs an image as a digital signal, such as a general CMOS camera, may be used. In this case, the A / D conversion means 2 may not be provided. The A / D conversion means 2 is for converting an analog signal output from the imaging means 1 into a digital signal, and the digital signal converted by the A / D conversion means 2 is output to the image storage means 3. .
画像記憶手段3は、RAM等の記憶装置であり、撮像手段1で撮像した画像を記憶するために用いられる。撮像手段1で撮像した画像は、所定の解像度の画像として画像記憶手段3に記憶される。ここで、画像記憶手段3に記憶させる画像の情報としては、移動体の追尾という点のみを考慮すれば、モノクロの濃淡画像で十分であるが、画像表示手段10にて画像表示を行うため、色情報も記憶するようにしている。また、画像記憶手段3には、移動輪郭画像生成手段4で生成された移動輪郭画像も記憶される。 The image storage unit 3 is a storage device such as a RAM, and is used for storing an image captured by the imaging unit 1. The image captured by the imaging unit 1 is stored in the image storage unit 3 as an image having a predetermined resolution. Here, as the image information to be stored in the image storage unit 3, a monochrome grayscale image is sufficient considering only the tracking of the moving object, but the image display unit 10 displays an image. Color information is also stored. The image storage unit 3 also stores the moving contour image generated by the moving contour image generation unit 4.
移動輪郭画像生成手段4は、画像記憶手段3に記憶されている画像群(時系列順に並んだ画像群)を元にして、2値画像からなる移動輪郭画像を生成するように構成されており、例えば、2値化手段と、輪郭抽出手段と、移動輪郭抽出手段と、移動領域検出手段とを有している。 The moving contour image generation unit 4 is configured to generate a moving contour image composed of binary images based on the image group (image group arranged in time series) stored in the image storage unit 3. For example, it has a binarizing means, a contour extracting means, a moving contour extracting means, and a moving area detecting means.
2値化手段は、画像記憶手段3に記憶されている濃淡画像から2値画像を生成するように構成されている。具体的には、濃淡画像の画素毎の画素値(輝度値)と、所定の2値化用の閾値とを比較し、画素値が2値化用の閾値以上であるか否かによって、画素を白と黒に分け、これにより2値画像の生成を行うように構成されている。輪郭抽出手段は、上記2値化手段により得られた2値画像を元に、一般的に知られたSOBELフィルタ(SOBELオペレータ)等を使用して微分処理して輪郭(エッジ)の抽出を行うことで、輪郭画像(エッジ画像)を作成するように構成されている。移動輪郭抽出手段は、輪郭抽出手段により作成された輪郭画像を用いて論理合成を行い、移動体の輪郭のみを抽出した移動輪郭画像を作成するように構成されている。移動領域検出手段は、移動輪郭抽出手段で作成した移動輪郭画像をラベリングして移動体に相当する領域(以下、「移動領域」と称する)を検出するように構成されている。ここで、移動領域は、移動体の輪郭に外接する矩形状の領域で表すようにしてあり、このようにすれば、データ量が減って計算が容易となる。 The binarization unit is configured to generate a binary image from the grayscale image stored in the image storage unit 3. Specifically, the pixel value (luminance value) for each pixel of the grayscale image is compared with a predetermined binarization threshold value, and the pixel value is determined depending on whether the pixel value is equal to or greater than the binarization threshold value. Are divided into white and black, thereby generating a binary image. The contour extraction unit extracts a contour (edge) by performing a differentiation process using a generally known SOBEL filter (SOBEL operator) based on the binary image obtained by the binarization unit. Thus, a contour image (edge image) is created. The moving contour extracting unit is configured to perform logical synthesis using the contour image created by the contour extracting unit and create a moving contour image in which only the contour of the moving object is extracted. The moving area detecting means is configured to label a moving outline image created by the moving outline extracting means and detect an area corresponding to a moving body (hereinafter referred to as “moving area”). Here, the moving area is represented by a rectangular area circumscribing the outline of the moving body. By doing so, the amount of data is reduced and the calculation is facilitated.
したがって、以上述べた移動輪郭画像生成手段4によれば、図2(a)に示すように、移動体の輪郭部分Eを示す画素の画素値が1であるような2値画像からなる移動輪郭画像Dが得られ、このようにして得られた移動輪郭画像Dは、画像記憶手段3に記憶される。 Therefore, according to the moving contour image generating means 4 described above, as shown in FIG. 2A, the moving contour formed of a binary image in which the pixel value of the pixel indicating the contour portion E of the moving body is 1. An image D is obtained, and the moving contour image D thus obtained is stored in the image storage means 3.
テンプレート記憶手段5は、RAM等の記憶装置であり、テンプレートマッチング手段6において使用するテンプレートT(図1(b)参照)を記憶するために用いられる。 The template storage unit 5 is a storage device such as a RAM, and is used for storing a template T (see FIG. 1B) used in the template matching unit 6.
テンプレートマッチング手段6は、テンプレート記憶手段5に記憶されたテンプレートを用いてテンプレートマッチング(パターンマッチング)を行い、画像記憶手段3に記憶されている移動輪郭画像から追尾対象の移動体を検出する(移動輪郭画像から追尾対象の移動体に相当する画像、すなわち追尾対象の移動体の移動輪郭画像を抽出する)ためのものであり、テンプレートマッチングの結果(相関値の情報)を制御手段9に出力するように構成されている。 The template matching unit 6 performs template matching (pattern matching) using the template stored in the template storage unit 5, and detects a tracking target moving body from the moving contour image stored in the image storage unit 3 (movement). The image corresponding to the tracking target moving body, ie, the moving contour image of the tracking target moving body is extracted from the contour image), and the template matching result (correlation value information) is output to the control means 9. It is configured as follows.
切出手段7は、画像記憶手段3に記憶されている画像(撮像手段1より得られた入力画像)又は移動輪郭画像生成手段4により生成された移動輪郭画像の一部を切り出し(抽出し)、場合によっては拡大し、画像表示手段10又はテンプレート更新手段8に出力するように構成されている。 The cutout unit 7 cuts out (extracts) an image stored in the image storage unit 3 (an input image obtained from the image pickup unit 1) or a part of the moving contour image generated by the moving contour image generation unit 4. In some cases, the image is enlarged and output to the image display means 10 or the template update means 8.
テンプレート更新手段8は、テンプレートマッチング手段6によって検出された今回の追尾対象の移動体の移動輪郭画像(最新の追尾対象の移動体の移動輪郭画像)と過去の追尾対象の移動体の移動輪郭画像とを合成して新たなテンプレートを作成し、テンプレート記憶手段5に記憶されているテンプレートを前記新たなテンプレートに置き換えることでテンプレートの更新を行うように構成されている。尚、過去の追尾対象の移動体の移動輪郭画像がない場合は、切出手段7で切り出された追尾対象の移動体の移動輪郭画像をそのままテンプレートとしてテンプレート記憶手段5に記憶させるように構成されている。 The template update unit 8 includes a moving contour image of the moving object to be tracked this time detected by the template matching unit 6 (a moving contour image of the moving object to be tracked latest) and a moving contour image of the moving object to be tracked in the past. Are combined to create a new template, and the template is updated by replacing the template stored in the template storage means 5 with the new template. When there is no moving contour image of the tracking target moving body in the past, the moving contour image of the tracking target moving body cut out by the cutting means 7 is stored in the template storage means 5 as a template as it is. ing.
以下に、テンプレート更新手段8における新たなテンプレートの作成方法について図1(b)及び図2(b),(c)を参照して詳細に説明する。尚、以下の説明では、追尾対象の移動体の移動輪郭画像を、追尾移動輪郭画像と略称する。 Hereinafter, a method for creating a new template in the template updating unit 8 will be described in detail with reference to FIGS. 1B, 2B, and 2C. In the following description, a moving contour image of a tracking target moving body is abbreviated as a tracking moving contour image.
本実施形態のテンプレート更新手段8では、時系列順に並んだ過去の追尾移動輪郭画像の新しいほうから所定枚数(本実施形態では4枚)の過去の追尾移動輪郭画像P1〜P4と、最新の追尾移動輪郭画像P5とを合成して、新たなテンプレートTを作成するように構成されており、テンプレートTは、過去の追尾移動輪郭画像P1〜P4を合成して図2(b)に示すような合成画像Ptを作成した後に、当該合成画像Ptに図2(c)に示すような追尾移動輪郭画像P5を合成することで作成される。尚、追尾移動輪郭画像P5は、図2(c)では、簡略化して図示している。 In the template update unit 8 of the present embodiment, a predetermined number (four in the present embodiment) of the past tracking movement contour images P1 to P4 from the newest of the past tracking movement contour images arranged in chronological order, and the latest tracking. The moving contour image P5 is combined to create a new template T, and the template T combines the past tracking moving contour images P1 to P4 as shown in FIG. After the composite image Pt is created, it is created by synthesizing the tracking movement contour image P5 as shown in FIG. 2C with the composite image Pt. The tracking movement contour image P5 is shown in a simplified manner in FIG.
過去の追尾移動輪郭画像P1〜P4の合成は、各追尾移動輪郭画像P1〜P4を位置合わせした後に、それぞれ対応する画素の画素値を積算することにより行われ、その結果、図2(b)に示すような合成画像Ptが得られる。過去の追尾移動輪郭画像P1〜P4は上述したように2値画像であるが、合成画像Ptは画素値が過去の追尾移動輪郭画像P1〜P4の画素値の積算で与えられるから、図2(b)に示すように、2値画像ではなく濃淡画像となる。 The past tracking outline images P1 to P4 are synthesized by aligning the tracking movement outline images P1 to P4, and then integrating the pixel values of the corresponding pixels. As a result, FIG. A composite image Pt as shown in FIG. Although the past tracking movement contour images P1 to P4 are binary images as described above, the synthesized image Pt has a pixel value obtained by integrating the pixel values of the past tracking movement contour images P1 to P4. As shown in b), the image is not a binary image but a grayscale image.
ここで、追尾移動輪郭画像P1〜P4の位置合わせは、例えばパターンマッチングにより相関値が最も高くなる位置に合わせる、又は追尾移動輪郭画像P1〜P4の互いの中心(重心)を位置合わせすることによって行う。この点は、合成画像Ptと最新の追尾移動輪郭画像P5との位置合わせについても同様である。尚、過去の追尾移動輪郭画像の枚数が、上記の所定枚数に満たない場合は、過去の追尾移動輪郭画像を全て用いるようにしている(つまり、過去の追尾移動輪郭画像が3枚であれば、3枚全てを用いる)。 Here, the tracking movement contour images P1 to P4 are aligned by, for example, matching the position where the correlation value is the highest by pattern matching or by aligning the centers (centers of gravity) of the tracking movement contour images P1 to P4. Do. This also applies to the alignment between the composite image Pt and the latest tracking movement contour image P5. When the number of past tracking movement contour images is less than the predetermined number, all past tracking movement contour images are used (that is, if there are three past tracking movement contour images). Use all three).
合成画像Ptを作成した後には、合成画像Ptと最新の追尾移動輪郭画像P5とを位置合わせし、それぞれ対応する画素の画素値を積算することによってテンプレートTの作成が行われる。ここで、合成画像Ptと最新の追尾移動輪郭画像とを合成する際には重み関数Kを用いており、例えば、合成画像Ptの画素値をVp(x,y)、最新の追尾移動輪郭画像P5の画素値Vn(x,y)とした場合に、テンプレートTの画素値Vt(x,y)を、K・Vn(x,y)+(1−K)・Vp(x,y)で与えるようにしている。 After the composite image Pt is created, the template T is created by aligning the composite image Pt and the latest tracking movement outline image P5 and integrating the pixel values of the corresponding pixels. Here, when the synthesized image Pt and the latest tracking movement contour image are synthesized, the weighting function K is used. For example, the pixel value of the synthesized image Pt is Vp (x, y), and the latest tracking movement contour image. When the pixel value Vn (x, y) of P5 is set, the pixel value Vt (x, y) of the template T is expressed by K · Vn (x, y) + (1−K) · Vp (x, y). To give.
このようにすれば、最新の追尾移動輪郭画像P5と過去の追尾移動輪郭画像P1〜P4からなる合成画像Ptのどちらを重視するかを、Kの値によって選択することが可能となる。例えば、Kの値を大きくすれば、図2(c)に示すような2値画像である最新の追尾移動輪郭画像P5がテンプレートTに強く反映され、Kを小さくすれば、図2(b)に示すような濃淡画像である合成画像Ptの影響がテンプレートTに強く反映されることになる。尚、重み関数を用いずに、単に合成画像Ptの画素値に最新の追尾移動輪郭画像P5の画素値を積算するようにしてもよく、この場合、テンプレートTの作成は、各追尾移動輪郭画像P1〜P5を位置合わせした後に、それぞれ対応する画素の画素値を積算することにより行えばよい。 In this way, it is possible to select which of the latest tracking movement contour image P5 and the synthesized image Pt composed of the past tracking movement contour images P1 to P4 is to be emphasized according to the value of K. For example, if the value of K is increased, the latest tracking moving contour image P5, which is a binary image as shown in FIG. 2C, is strongly reflected in the template T, and if K is decreased, FIG. The influence of the composite image Pt, which is a grayscale image as shown in FIG. Instead of using the weight function, the pixel value of the latest tracking movement contour image P5 may be simply added to the pixel value of the composite image Pt. In this case, the template T is created by each tracking movement contour image. After aligning P1 to P5, the pixel values of the corresponding pixels may be integrated.
以上述べたようにテンプレート更新手段8は、追尾移動輪郭画像を累積することで、新たなテンプレートTを作成する。追尾移動輪郭画像は、上述したように2値画像であるが、テンプレートTの各画素の画素値は、追尾移動輪郭画像P1〜P5の各画素の画素値の積算で与えられるから、テンプレートTは、図1(b)に示すように、濃淡画像となる。 As described above, the template update unit 8 creates a new template T by accumulating the tracking movement outline images. As described above, the tracking movement contour image is a binary image, but the pixel value of each pixel of the template T is given by the integration of the pixel values of the pixels of the tracking movement contour images P1 to P5. As shown in FIG. 1B, a gray image is obtained.
以上により得られるテンプレートTでは、従来のように追尾移動輪郭画像を切り出してなるテンプレートに比べて次のような利点がある。すなわち、従来のテンプレートは、移動輪郭画像が移動体のうち移動した輪郭部分のみを表示する画像であるので、移動体のうち移動していない輪郭部分は画像に反映されず、移動体の形状を正確に捉えることができないが、上記のテンプレートTでは、いずれかの追尾移動輪郭画像P1〜P5の輪郭部分に欠けている部位があったとしても、他の追尾移動輪郭画像により輪郭部分の欠けている部位が補完されるため、追尾対象の移動体の形状を正確に捉えたテンプレートを得ることができる。 The template T obtained as described above has the following advantages over the template obtained by cutting out the tracking movement outline image as in the prior art. That is, since the conventional template is an image in which the moving contour image displays only the moved contour portion of the moving body, the non-moving contour portion of the moving body is not reflected in the image, and the shape of the moving body is changed. Although it cannot be accurately captured, in the above-described template T, even if there is a portion lacking in the contour portion of any of the tracking movement contour images P1 to P5, the contour portion is missing due to another tracking movement contour image. Since the existing part is complemented, a template that accurately captures the shape of the tracking target moving body can be obtained.
しかも、テンプレートTでは、図1(b)に示すように、追尾対象の移動体において形状が安定な部位(移動体の移動に伴う動きが緩やかな部位、人であれば頭部や肩等)はコントラストが高くなり(画素値が大きくなり)、形状が不安定な部位(移動体の移動に伴う動きが激しい部位、人であれば手や足等)はコントラストが低くなる(画素値が小さくなる)から、追尾対象の移動体の形状の変化にロバストな(影響を受け難い)テンプレートマッチングを行うことが可能となる。 In addition, in the template T, as shown in FIG. 1B, a site whose shape is stable in the tracking target mobile body (a site where the movement accompanying the movement of the mobile body is slow, a human head or shoulder, etc.) The contrast becomes high (pixel value becomes large), and the part where the shape is unstable (the part where the movement accompanying the movement of the moving body is intense, such as hands and feet in the case of humans) has low contrast (the pixel value becomes small). Therefore, it is possible to perform template matching that is robust (unaffected) by changes in the shape of the tracking target moving body.
以上述べたようにテンプレート更新手段8は新たなテンプレートTを作成し、テンプレート記憶手段5に記憶されたテンプレート(追尾移動輪郭画像P5を得るために使用されたテンプレート)を、新たなテンプレートTに置き換える。そして、新たなテンプレートTはテンプレートマッチング手段6によって次の移動輪郭画像とのテンプレートマッチングに用いられる。 As described above, the template updating unit 8 creates a new template T, and replaces the template stored in the template storage unit 5 (the template used to obtain the tracking movement outline image P5) with the new template T. . The new template T is used for template matching with the next moving contour image by the template matching means 6.
そして、テンプレートマッチング手段6において新たなテンプレートTを用いてテンプレートマッチングが行われた結果、追尾移動輪郭画像P6が得られ、テンプレート更新手段8が新たな追尾移動輪郭画像P6を取得した際には、テンプレート更新手段8では、時系列順に並んだ過去の追尾移動輪郭画像の新しいほうから所定枚数(本実施形態では4枚)の過去の追尾移動輪郭画像P2〜P5と、最新の追尾移動輪郭画像P6とを合成することによってテンプレートの作成が行われる。そして、テンプレート記憶手段5に記憶されているテンプレート(追尾移動輪郭画像P1〜P5を合成してなるテンプレート)Tが、新たに作成されたテンプレート(追尾移動輪郭画像P2〜P6を合成してなるテンプレート)に置き換えられ、置き換えたテンプレートが次回のテンプレートマッチングに使用される。 Then, as a result of template matching using the new template T in the template matching means 6, a tracking movement contour image P6 is obtained, and when the template updating means 8 acquires a new tracking movement contour image P6, In the template updating means 8, a predetermined number (four in this embodiment) of the past tracking movement contour images P2 to P5 and the latest tracking movement contour image P6 from the newest of the past tracking movement contour images arranged in time series. Are combined to create a template. Then, a template (a template formed by combining the tracking movement contour images P1 to P5) T stored in the template storage unit 5 is a newly generated template (a template formed by combining the tracking movement contour images P2 to P6). ) And the replaced template is used for the next template matching.
制御手段9は、テンプレートマッチング手段6と切出手段7とテンプレート更新手段8の動作を制御するためのものであって、例えばCPU等を備えるマイクロコンピュータ(マイコン)からなり、追尾対象指定手段と、追尾対象表示手段と、位置予測手段とを有している。また、制御手段9には、追尾対象指定手段で用いられるコンソール等が設けられる。 The control means 9 is for controlling the operations of the template matching means 6, the cutting means 7, and the template updating means 8, and is composed of, for example, a microcomputer having a CPU or the like, and includes a tracking target designating means, Tracking target display means and position prediction means are provided. Further, the control means 9 is provided with a console or the like used in the tracking target specifying means.
追尾対象指定手段は、追尾対象の移動体を指定する前の初期状態において、画像表示手段10に表示される撮像手段1の画像から追尾対象の移動体を選択するためのものであり、切出手段7を制御して画像記憶手段3に記憶されている画像を切出処理等することなく画像表示手段10に出力するように構成されている。また、追尾対象指定手段は、コンソール等のユーザインターフェースからの入力によって撮像手段1の画像から追尾対象の移動体を指定することができるように構成されている。尚、コンソール等により画像の所定領域を指定する構成は、周知のものを採用できるから説明を省略する。 The tracking target specifying means is for selecting a tracking target moving body from the image of the imaging means 1 displayed on the image display means 10 in the initial state before specifying the tracking target moving body. It is configured to control the means 7 to output the image stored in the image storage means 3 to the image display means 10 without performing a cutting process or the like. The tracking target designating unit is configured to be able to designate a tracking target moving body from the image of the imaging unit 1 by an input from a user interface such as a console. Note that a configuration for designating a predetermined area of an image by a console or the like can be a well-known configuration and will not be described.
また、追尾対象指定手段は、撮像手段1の画像から追尾対象の移動体が指定された際に、切出手段7を制御することによって前記撮像手段1の画像より得られた移動輪郭画像から前記追尾対象の移動体に相当する移動体の移動輪郭画像を取得し、この画像をテンプレート更新手段8によりテンプレートとしてテンプレート記憶手段5に記憶させるように構成されている。 Further, the tracking target designating unit controls the clipping unit 7 when the tracking target moving body is designated from the image of the imaging unit 1, and the tracking target designation unit calculates the tracking target image from the moving contour image obtained from the image of the imaging unit 1. A moving contour image of a moving body corresponding to the tracking target moving body is acquired, and this image is stored in the template storage means 5 by the template update means 8 as a template.
ところで、制御手段9では、このような追尾対象指定手段によらずに、移動体を検出した際には自動的にその移動体の移動輪郭画像をテンプレートに設定し、以後、その移動体を追尾するように構成してもよい。このような構成は従来周知のものであるから詳細な説明は省略する。 By the way, the control means 9 automatically sets the moving contour image of the moving object in the template when detecting the moving object, and does not follow the tracking target designating means. You may comprise. Since such a configuration is well known in the art, a detailed description thereof will be omitted.
追尾対象表示手段は、テンプレートマッチング手段6から受け取ったテンプレートマッチングの結果を元に、移動輪郭画像において最も相関値が高い位置を追尾対象の移動体の位置として採用し、この位置を中心(又は重心)とする所定範囲の領域(例えば移動領域)の移動輪郭画像を、追尾対象の移動体の移動輪郭画像として切出手段7により切り出し(場合によっては切り出して拡大し)、切出手段7からテンプレート更新手段8に出力させるように構成されている。 The tracking target display means adopts the position having the highest correlation value in the moving contour image as the position of the tracking target moving body based on the result of template matching received from the template matching means 6, and uses this position as the center (or center of gravity). ) And a moving contour image of a predetermined range area (for example, a moving area) is cut out by the cutting unit 7 as a moving contour image of the tracking target moving body (in some cases, cut out and enlarged), and the template is extracted from the cutting unit 7. The updating means 8 is configured to output.
また、追尾対象表示手段は、移動輪郭画像の元になった画像(入力画像)から上記の追尾対象の移動体の位置を中心(又は重心)とする所定範囲の領域(例えば移動領域)の画像を切出手段7により切り出して拡大した後に、画像表示手段10に出力させ、画像表示手段10に色情報を付して表示させるように構成されている。また、追尾対象の移動体を画像表示手段10に表示する際に、移動体のどの部分を拡大して表示させるかを選択できるようにしてもよい。例えば、移動体が人である際に移動体の顔を拡大して表示するようにしてもよい。 Further, the tracking target display means is an image of an area (for example, a moving area) in a predetermined range centered on (or centroid of) the position of the tracking target moving body from the image (input image) that is the basis of the moving contour image. After being cut out by the cutout means 7 and enlarged, it is output to the image display means 10 and displayed with color information on the image display means 10. In addition, when displaying the tracking target moving body on the image display means 10, it may be possible to select which part of the moving body is enlarged and displayed. For example, when the moving body is a person, the face of the moving body may be enlarged and displayed.
位置予測手段は、過去の追尾対象の移動体の位置(前回の追尾対象の移動体の位置と、前々回の追尾対象の移動体の位置)を元にして追尾対象の移動体の位置を予測することで、処理時間(主にテンプレートマッチング手段6での処理時間)の短縮を図るためのものであり、位置予測過程と探索範囲設定過程とを実行するように構成されている。 The position prediction means predicts the position of the tracking target moving body based on the position of the tracking target moving body in the past (the previous tracking target moving body position and the previous tracking target moving body position). Thus, the processing time (mainly the processing time in the template matching means 6) is shortened, and the position prediction process and the search range setting process are executed.
位置予測過程は、前回の画像における追尾対象の移動体の位置と前々回の画像における追尾対象の移動体の位置を元にして追尾対象の移動体の移動ベクトルを算出し、算出した移動ベクトルと前回の追尾対象の移動体の位置とを元にして今回の画像における追尾対象の移動体の位置(以下、「予測位置」と称する)を求める過程である。 The position prediction process calculates the movement vector of the tracking target moving object based on the position of the tracking target moving object in the previous image and the position of the tracking target moving object in the previous image. This is a process for obtaining the position of the tracking target moving body in the current image (hereinafter referred to as “predicted position”) based on the position of the tracking target moving body.
例えば、本実施形態の位置予測過程では、撮像手段1で撮像される時系列順の画像間の時間のような短い時間では追尾対象の移動体の移動ベクトルがほとんど変化していないと仮定して、前回の追尾対象の移動体の位置P2から移動ベクトルだけ移動した位置を予測位置として得るように構成されている。尚、予測位置の算出方法は上記の方法に限られるものではなく、さらに様々な条件を考慮して算出するようにしてもよい。また、予測位置を算出する際に、前々回の位置と前回の位置に加えて過去の位置の履歴を参照して予測を行うようにしてもよく、またニューラルネットワーク等を用いて予測を行うようにしてもよい。 For example, in the position prediction process of the present embodiment, it is assumed that the movement vector of the tracking target moving body hardly changes in a short time such as the time between images in time-series order captured by the imaging unit 1. The position moved by the movement vector from the position P2 of the previous tracking target moving body is obtained as the predicted position. The calculation method of the predicted position is not limited to the above method, and may be calculated in consideration of various conditions. In addition, when calculating the predicted position, the prediction may be performed by referring to the history of the past position in addition to the previous position and the previous position, or the prediction may be performed using a neural network or the like. May be.
探索範囲設定過程は、移動輪郭画像から検出した移動領域のうち位置予測過程により得た予測位置を含む予測移動範囲と重複する移動領域を全て囲う最小範囲(換言すれば、予測移動範囲にかかる移動領域を統合した範囲)を、移動輪郭画像における追尾対象の移動体の探索範囲として設定するように構成されている。ここで、予測移動範囲は予測位置を中心とする矩形状の領域としてあり、そのサイズは移動体の移動速度等を考慮して設定される。このようにして得られた探索範囲の情報はテンプレートマッチング手段6に送られ、探索範囲の情報を受け取ったテンプレートマッチング手段6ではその探索範囲内でテンプレートマッチングが行われる。 The search range setting process is a minimum range that encloses all the movement areas that overlap with the prediction movement range including the prediction position obtained by the position prediction process among the movement areas detected from the movement outline image (in other words, movement related to the prediction movement range). The range obtained by integrating the regions) is set as the search range of the tracking target moving body in the moving contour image. Here, the predicted movement range is a rectangular area centered on the predicted position, and the size thereof is set in consideration of the moving speed of the moving body. The search range information thus obtained is sent to the template matching means 6, and the template matching means 6 that has received the search range information performs template matching within the search range.
以下に、本実施形態の自動追尾装置の動作について説明する。まず、追尾対象が設定される前の初期状態では、制御手段9の追尾対処指定手段によって撮像手段1により得られる画像が画像記憶手段3に記憶されるとともに画像表示手段10に表示される。すなわち、初期状態では、撮像手段1で得られる画像がそのまま画像表示手段10に表示される。 Below, operation | movement of the automatic tracking apparatus of this embodiment is demonstrated. First, in an initial state before the tracking target is set, an image obtained by the imaging unit 1 is stored in the image storage unit 3 and displayed on the image display unit 10 by the tracking countermeasure designating unit of the control unit 9. That is, in the initial state, the image obtained by the imaging unit 1 is displayed on the image display unit 10 as it is.
この初期状態において、コンソールを用いて画像表示手段10に表示される画像から追尾対象が指定されると、制御手段9の追尾対象指定手段により切出手段7が制御されて、移動輪郭画像生成手段4により撮像手段1の画像を元に生成された移動輪郭画像から追尾対象の移動体の移動輪郭画像が切り出され、このようにして切り出された追尾対象の移動体の移動輪郭画像がテンプレート更新手段8によりテンプレートとしてテンプレート記憶手段5に記憶される。このとき、過去の移動輪郭画像がないため、テンプレート更新手段8は切出手段7で切り出された追尾移動輪郭画像をそのままテンプレートとしてテンプレート記憶手段5に記憶させる。 In this initial state, when the tracking target is designated from the image displayed on the image display means 10 using the console, the clipping means 7 is controlled by the tracking target designation means of the control means 9, and the moving contour image generating means is controlled. 4, the moving contour image of the tracking target moving body is cut out from the moving contour image generated based on the image of the imaging means 1, and the moving contour image of the tracking target moving body cut out in this way is used as the template updating means. 8 is stored in the template storage means 5 as a template. At this time, since there is no past moving contour image, the template updating unit 8 stores the tracking moving contour image cut out by the cutting unit 7 in the template storage unit 5 as a template as it is.
次に、テンプレート記憶手段5にテンプレートが記憶された後の自動追尾装置の動作を、図3に示すフローチャートを参照して説明する。 Next, the operation of the automatic tracking device after the template is stored in the template storage means 5 will be described with reference to the flowchart shown in FIG.
まず、撮像手段1から画像が入力されると(ステップS1)、移動輪郭画像生成手段4により移動輪郭画像の生成が行われる(ステップS2)。そして、制御手段9の位置予測手段により移動輪郭画像における追尾対象の移動体の予測位置が求められ(ステップS3)、この予測位置を元にしてテンプレートマッチングを行う探索範囲が設定される(ステップS4)。但し、追尾対象が指定された直後は過去の追尾対象の移動体の位置データが足りないためにステップS3,S4が省略され、後述するステップS5では移動輪郭画像全体に対してテンプレートマッチングが行われる。 First, when an image is input from the imaging unit 1 (step S1), a moving contour image is generated by the moving contour image generation unit 4 (step S2). Then, the predicted position of the tracking target moving body in the moving contour image is obtained by the position predicting means of the control means 9 (step S3), and a search range for performing template matching is set based on the predicted position (step S4). ). However, immediately after the tracking target is designated, the position data of the past tracking target moving body is insufficient, so steps S3 and S4 are omitted. In step S5 described later, template matching is performed on the entire moving contour image. .
この後に、テンプレートマッチング手段6では、ステップS4で設定された移動輪郭画像の探索範囲に対してテンプレート記憶手段5に記憶されたテンプレートを用いてテンプレートマッチングが行われ、この結果が制御手段9に出力される(ステップS5)。 Thereafter, the template matching unit 6 performs template matching on the search range of the moving contour image set in step S 4 using the template stored in the template storage unit 5, and outputs the result to the control unit 9. (Step S5).
制御手段9の追尾対象表示手段では、テンプレートマッチング手段6より得た結果を元に、画像(テンプレートマッチングが行われた移動輪郭画像)において最も相関値が高い位置を追尾対象の移動体の位置として採用し、この位置を中心(又は重心)とする所定範囲の領域の画像を切出手段7により拡大して切り出し、切り出した画像をテンプレート更新手段8に送る。そして、テンプレート更新手段8では上述したように新たなテンプレートTが作成されて、テンプレート記憶手段5に記憶されているテンプレートが、上記テンプレートTに更新される(ステップS6)。 In the tracking target display means of the control means 9, based on the result obtained from the template matching means 6, the position having the highest correlation value in the image (moving contour image subjected to template matching) is set as the position of the tracking target moving body. The image in a predetermined range centered on this position (or the center of gravity) is enlarged and cut out by the cutout means 7, and the cut out image is sent to the template update means 8. Then, the template update means 8 creates a new template T as described above, and the template stored in the template storage means 5 is updated to the template T (step S6).
また、制御手段9の追尾対象表示手段では、制御手段9の移動輪郭画像の元になった画像から上記の追尾対象の移動体の位置を中心(又は重心)とする所定範囲の領域(例えば移動領域)の画像を切出手段7により切り出して拡大して、画像表示手段10に出力させ、画像表示手段10に色情報を付して表示させる(ステップS7)。 Further, the tracking target display means of the control means 9 is a region within a predetermined range (for example, moving) from the image that is the origin of the moving contour image of the control means 9 with the position of the tracking target moving body as the center (or center of gravity). The image of the area) is cut out and enlarged by the cutout means 7, output to the image display means 10, and displayed with color information on the image display means 10 (step S 7).
以後、ステップS1〜S7が繰り返し行われることで、追尾対象の移動体の追尾が継続されていくことになる。 Thereafter, the tracking of the tracking target moving body is continued by repeating steps S1 to S7.
以上述べた本実施形態の自動追尾装置によれば、過去の移動輪郭画像P1〜P4と、最新の移動輪郭画像P5とを合成することで新たなテンプレートTを作成しているので、いずれかの移動輪郭画像P1〜P5に欠けている部位があったとしても他の移動輪郭画像により欠けている部位が補完されて、追尾対象の移動体の形状を正確に捉えたテンプレートTを得ることができ、これにより追尾精度が向上するという効果を奏する。 According to the automatic tracking device of the present embodiment described above, a new template T is created by combining the past moving contour images P1 to P4 and the latest moving contour image P5. Even if there is a missing part in the moving contour images P1 to P5, the missing part is complemented by other moving contour images, and a template T that accurately captures the shape of the tracking target moving body can be obtained. As a result, the tracking accuracy is improved.
しかも、追尾対象の移動体において形状が安定な部位(移動体の移動に伴う動きが緩やかな部位、人であれば頭部や肩等)はコントラストが高くなり、形状が不安定な部位(移動体の移動に伴う動きが激しい部位、人であれば手や足等)はコントラストが低くなるので、追尾対象の移動体の形状の変化にロバストな(影響を受け難い)テンプレートマッチングを行うことができて、これによっても追尾精度を向上できるという効果を奏する。 In addition, in the tracking target moving body, the part having a stable shape (the part where the movement accompanying the movement of the moving body is slow, such as the head and shoulders in the case of a person) has a high contrast, and the part whose movement is unstable (the movement Since parts of the body that move with the movement of the body, such as human hands and feet, have a low contrast, template matching that is robust (insensitive to changes) in the shape of the tracking target moving body can be performed. This also has the effect of improving the tracking accuracy.
また、移動輪郭画像として濃淡画像を2値化処理してなる2値画像を用いているので、移動輪郭画像の記憶に必要な容量を小さくすることができるから、メモリを節約できるという効果を奏する。 In addition, since a binary image obtained by binarizing the grayscale image is used as the moving contour image, the capacity necessary for storing the moving contour image can be reduced, so that the memory can be saved. .
さらに、テンプレート更新手段8は、時系列順に並んだ所定枚数の過去の追尾対象の移動体の移動輪郭画像と、今回のテンプレートマッチング手段により検出した追尾対象の移動体の移動輪郭画像とを合成して、新たなテンプレートを作成するように構成されているので、過去の追尾対象の移動体の移動輪郭画像と、今回のテンプレートマッチング手段により検出した追尾対象の移動体の移動輪郭画像とを重みをつけて合成することが可能となり、これにより追尾対象の移動体の形状の変化に徐々に追従することができるという効果を奏する。 Further, the template updating unit 8 synthesizes a predetermined number of moving outline images of the tracking target moving body arranged in time series and the moving outline image of the tracking target moving object detected by the current template matching unit. Thus, a new template is created, so that the moving contour image of the moving object to be tracked in the past and the moving contour image of the moving object to be tracked detected by the current template matching means are weighted. It is possible to add and combine them, and this has the effect of gradually following the change in the shape of the tracking target moving body.
ところで、上記の移動輪郭画像生成手段4はテンプレートの画素値に応じて2値化用の閾値を変更するように構成されていてもよい。このようにすれば、テンプレートの画素値(コントラスト)に応じて2値化用の閾値を変更するので、テンプレートの画素値が低い場合でも移動輪郭画像における移動体の輪郭を得ることが可能になるから、常に2値化用の閾値を一定とする場合に比べて、追尾精度の向上を図ることができるという効果を奏する。 By the way, the moving contour image generating means 4 may be configured to change the binarization threshold according to the pixel value of the template. In this way, the threshold for binarization is changed according to the pixel value (contrast) of the template, so that it is possible to obtain the contour of the moving object in the moving contour image even when the pixel value of the template is low. Therefore, the tracking accuracy can be improved as compared with the case where the binarization threshold is always constant.
具体例としては、移動輪郭抽画像生成手段4で、テンプレートの画素値の平均値を算出し、前記画素値の平均値が所定の閾値以下である場合には、2値化用の閾値を低くするように構成する例が挙げられる。この場合、テンプレートのコントラストが低い場合に、2値化用の閾値を低くすることで、移動輪郭画像における移動体の輪郭(エッジ)を太くしているから、テンプレートのコントラストが低い場合であってもテンプレートマッチングを行い易くなり、結果として、追尾精度の向上を図ることができるという効果を奏する。 As a specific example, the moving contour extracted image generating means 4 calculates the average value of the pixel values of the template, and when the average value of the pixel values is equal to or less than a predetermined threshold value, the threshold value for binarization is lowered. An example of such a configuration is given. In this case, when the contrast of the template is low, the threshold value for binarization is lowered to thicken the contour (edge) of the moving object in the moving contour image. As a result, it is easy to perform template matching, and as a result, the tracking accuracy can be improved.
一方、上記の移動輪郭画像生成手段4では、濃淡画像を2値化することで、2値画像からなる移動輪郭画像を生成するようにしており、これによりメモリを節約できるというメリットが得られている。しかしながら、2値化処理した際には、移動体の輪郭部分を表示している画素であってもコントラストが低ければ切り捨てられてしまうため、やや正確さにかけるきらいがあった。そこで、濃淡画像を2値化せずにそのまま使用し、濃淡画像からなる移動輪郭画像を生成するようにしてもよい。このようにすれば、より詳細で正確なテンプレートを得ることができるから、追尾精度を向上できるという効果を奏する。 On the other hand, the moving contour image generation means 4 generates a moving contour image consisting of a binary image by binarizing the grayscale image, thereby obtaining a merit that memory can be saved. Yes. However, when the binarization process is performed, even if the pixel displaying the outline portion of the moving body is cut off if the contrast is low, there is a tendency to be somewhat accurate. Therefore, the grayscale image may be used as it is without being binarized, and a moving contour image composed of the grayscale image may be generated. In this way, a more detailed and accurate template can be obtained, so that the tracking accuracy can be improved.
また、移動輪郭画像を、2値画像とするか、濃淡画像とするかを、状況に応じて選択するようにしてもよい。例えば、移動輪郭画像生成手段4で、テンプレートのコントラストが低いかどうかを判定し、コントラストが低くなければ、2値画像からなる移動輪郭画像を生成し、コントラストが低ければ、濃淡画像からなる移動輪郭画像を生成するように構成してもよい。 Further, whether the moving contour image is a binary image or a gray image may be selected depending on the situation. For example, the moving contour image generating means 4 determines whether or not the contrast of the template is low. If the contrast is not low, a moving contour image consisting of a binary image is generated. If the contrast is low, a moving contour consisting of a gray image is generated. You may comprise so that an image may be produced | generated.
ここで、移動輪郭画像生成手段4においてテンプレートのコントラストを判定する方法としては、例えば、テンプレートを複数の領域に分割し、前記複数の領域毎に0ではない画素値の平均値を算出し、前記画素値の平均値が所定の閾値未満となる領域又は他の領域に比べて所定値以上低い領域が存在する場合に、前記テンプレートはコントラストが低いと判定する方法が挙げられる。尚、上記の閾値は使用者が任意の値に設定するか、撮像手段1で撮像した画像のコントラストを参照して調整するようにすればよい。 Here, as a method for determining the contrast of the template in the moving contour image generation means 4, for example, the template is divided into a plurality of regions, an average value of pixel values other than 0 is calculated for each of the plurality of regions, There is a method of determining that the template has a low contrast when there is a region where the average pixel value is less than a predetermined threshold or when there is a region lower than a predetermined value by a predetermined value or more. The threshold value may be set to an arbitrary value by the user or adjusted with reference to the contrast of the image captured by the imaging unit 1.
このようにすれば、テンプレートのコントラストが高く2値画像でも十分なテンプレートマッチングが行える場合は、移動輪郭画像を2値画像とすることで移動輪郭画像の記憶に必要な容量を小さくすることができてメモリを節約できる。一方、テンプレートのコントラストが低く2値画像では十分なテンプレートマッチングが行い難い場合は、移動輪郭画像を濃淡画像とすることで、追尾精度の向上を図ることができるという効果を奏する。 In this way, when the template contrast is high and sufficient template matching can be performed even with a binary image, the capacity necessary for storing the moving contour image can be reduced by making the moving contour image a binary image. Can save memory. On the other hand, when the template contrast is low and it is difficult to perform sufficient template matching with a binary image, the moving contour image is made to be a grayscale image, so that the tracking accuracy can be improved.
ところで、上述したテンプレート更新手段8は、時系列順に並んだ過去の追尾移動輪郭画像の新しいほうから所定枚数(本実施形態では4枚)の追尾移動輪郭画像P1〜P4と、最新の追尾移動輪郭画像P5とを合成して新たなテンプレートTを作成し、この後に新たな追尾移動輪郭画像P6を得た際には、時系列順に並んだ過去の追尾移動輪郭画像の新しいほうから4枚の追尾移動輪郭画像P2〜P5と、最新の追尾移動輪郭画像P6とを合成して新たなテンプレートTを作成していく、すなわち最新の追尾移動輪郭画像を得る度にテンプレートTを構成する追尾移動輪郭画像から最も古い追尾移動輪郭画像を除くことでテンプレートTを更新していくように構成されているが、テンプレート更新手段8は次のようなものであってもよい。 By the way, the template updating means 8 described above, the newest tracking movement outline images P1 to P4 (four in this embodiment) from the newest of the past tracking movement outline images arranged in time series, and the latest tracking movement outline. When a new template T is created by combining the image P5 and a new tracking movement contour image P6 is obtained thereafter, the four tracking tracks from the newest of the past tracking movement contour images arranged in chronological order are used. The movement outline images P2 to P5 and the latest tracking movement outline image P6 are synthesized to create a new template T, that is, the tracking movement outline image that forms the template T every time the latest tracking movement outline image is obtained. The template T is updated by removing the oldest tracking movement contour image from the template, but the template update means 8 may be as follows.
テンプレート更新手段8は、時系列順に並んだ追尾移動輪郭画像を新しいほうから所定枚数選出して合成してテンプレートを作成し、この後に前記所定枚数分だけ追尾移動輪郭画像が蓄積される毎に、新たに蓄積された所定枚数の追尾移動輪郭画像を合成してテンプレートを作成するように構成されたものであってもよい。尚、テンプレートの合成方法としては、上述したように位置合わせした後にそれぞれ対応する画素の画素値を積算することによって行うようにしている。 The template update means 8 creates a template by selecting and synthesizing a predetermined number of tracking movement contour images arranged in chronological order, and each time the tracking movement contour image is accumulated by the predetermined number, A template may be created by synthesizing a predetermined number of tracking movement outline images newly accumulated. As a template synthesis method, the pixel values of the corresponding pixels are integrated after alignment as described above.
例えば、追尾移動輪郭画像が10枚存在する場合、テンプレート更新手段8は、追尾移動輪郭画像を新しいほうから所定枚数(例えば5枚)選出して合成してテンプレートを作成し、このテンプレートをテンプレート記憶手段5に記憶させる。この後に、テンプレートマッチング手段6によりテンプレートマッチングが行われ、新しい追尾移動輪郭画像が得られた際に、上記の例では新しい追尾移動輪郭画像を得るたびに新たなテンプレートを作成するようにしていたが、本例では、すぐさまテンプレートの作成は行わず、追尾移動輪郭画像が所定枚数(例えば5枚)得られた際に、これらを合成してテンプレートを作成するように構成されているのである。 For example, when there are 10 tracking movement contour images, the template update unit 8 creates a template by selecting and synthesizing a predetermined number (for example, five) of the tracking movement contour images from the newest one, and stores the template as a template. The data is stored in the means 5. Thereafter, when template matching is performed by the template matching means 6 and a new tracking movement contour image is obtained, a new template is created every time a new tracking movement contour image is obtained in the above example. In this example, the template is not immediately created, and when a predetermined number (for example, 5) of tracking movement contour images is obtained, these are combined to create a template.
このように本例のテンプレート更新手段では、時系列順に並んだ追尾移動輪郭画像を所定枚数ずつ合成することで作成した合成画像を用いているので、上記の例のように、次々に新しい追尾移動輪郭画像を取り入れてテンプレートを更新するものとは異なり、追尾移動輪郭画像がある程度蓄積されるまでは、同一のテンプレートを使用するので、追尾対象の移動体の形状が瞬間的に大きく変化した場合であっても、このような移動輪郭画像の影響を小さくできて、追尾精度の向上を図ることができるという効果を奏する。 As described above, in the template update means of this example, since a synthesized image created by synthesizing a predetermined number of tracking movement contour images arranged in time series is used, new tracking movements are successively performed as in the above example. Unlike the case where the template is updated by incorporating the contour image, the same template is used until the tracking movement contour image is accumulated to some extent, so that the shape of the tracking target moving body changes greatly. Even if it exists, there exists an effect that the influence of such a movement outline image can be made small and the improvement of a tracking precision can be aimed at.
この他、テンプレート更新手段8としては、時系列順に並んだ過去の追尾移動輪郭画像P1〜P4と最新の追尾移動輪郭画像P5とを合成して新たなテンプレートTを作成し、この後に新たな追尾移動輪郭画像P6を得た際には、テンプレートTと追尾移動輪郭画像P6とを合成することでテンプレートを更新していく、すなわち最新の追尾移動輪郭画像を得る毎に今回使用したテンプレートTと最新の追尾移動輪郭画像とを合成することで次回使用するテンプレートTを作成する(つまりは追尾移動輪郭画像を次々と累積していくことでテンプレートTを作成する)ように構成されたものであってもよい。尚、最新の追尾移動輪郭画像と当該最新の追尾移動輪郭画像を得るために使用したテンプレートTとを合成する際に、上述した重み関数を用いるようにしてもよい。 In addition, the template update means 8 creates a new template T by synthesizing the past tracking movement contour images P1 to P4 arranged in chronological order and the latest tracking movement contour image P5, and thereafter a new tracking T is performed. When the moving contour image P6 is obtained, the template T is updated by synthesizing the template T and the tracking moving contour image P6. That is, every time the latest tracking moving contour image is obtained, the template T used this time and the latest The template T to be used next time is created by synthesizing with the tracking movement outline image (that is, the template T is created by accumulating the tracking movement outline images one after another). Also good. Note that the weight function described above may be used when the latest tracking movement contour image and the template T used to obtain the latest tracking movement contour image are combined.
尚、上記の例では、エッジ画像を用いて移動体を検出する例について述べたが、濃淡画像の時間的変化によって移動体を検出するようにしてもよいし、その他の様々な周知の方法を用いるようにしてもよい。 In the above example, an example in which a moving object is detected using an edge image has been described. However, a moving object may be detected by a temporal change in a grayscale image, and various other known methods may be used. You may make it use.
(実施形態2)
本実施形態の自動追尾装置は、上記実施形態1と同様に図1(a)に示す構成を有しているが、テンプレート更新手段8の構成が異なっている。尚、その他の構成は、上記実施形態1と同様であるから説明を省略する。
(Embodiment 2)
The automatic tracking device of the present embodiment has the configuration shown in FIG. 1A as in the first embodiment, but the configuration of the template update unit 8 is different. Since other configurations are the same as those of the first embodiment, description thereof is omitted.
すなわち、テンプレート更新手段8は、移動輪郭画像生成手段4で生成された移動輪郭画像から画素値が0ではない画素の数をカウントし、前記画素の数が、前記移動輪郭画像より前の(時系列が前の)移動輪郭画像に比べて所定値以上増減していれば、前記移動輪郭画像にはノイズ等が多く含まれていると判断し、当該移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を、時系列順に並んだ追尾対象の移動体の移動輪郭画像から間引くように構成されている。尚、上記所定値は任意の値に設定できるようにしてもよい。 That is, the template update unit 8 counts the number of pixels whose pixel values are not 0 from the moving contour image generated by the moving contour image generation unit 4, and the number of the pixels is earlier (time) than the moving contour image. If the sequence has increased or decreased by a predetermined value or more compared to the previous moving contour image, it is determined that the moving contour image contains a lot of noise and the tracking target movement obtained from the moving contour image is determined. The moving contour image of the body is configured to be thinned out from the moving contour image of the tracking target moving body arranged in time series. The predetermined value may be set to an arbitrary value.
このようなテンプレート更新手段8では、前記画素の数が、前記移動輪郭画像より前の移動輪郭画像に比べて所定値以上増減していた際には、その移動輪郭画像にノイズ等により急激な変化が生じていると判断して、このような急激な変化が生じている移動輪郭画像より得られる追尾対象の移動体の移動輪郭画像を、不要な画像とみなして、時系列順に並んだ追尾対象の移動体の移動輪郭画像から間引くという動作が行われる。 In such a template updating unit 8, when the number of pixels has increased or decreased by a predetermined value or more compared to the moving contour image before the moving contour image, the moving contour image is rapidly changed due to noise or the like. Tracking objects that are obtained from a moving contour image that has undergone such a sudden change are regarded as unnecessary images and are tracked in chronological order. The operation of thinning out the moving contour image of the moving body is performed.
したがって、本実施形態の自動追尾装置によれば、テンプレート更新手段8は、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、テンプレートに悪影響を及ぼすような不要な画像を間引くように構成されているので、追尾精度の向上を図ることができるという効果を奏する。ここで、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、間引く不要な画像の枚数を、任意の枚数に設定できるように構成してもよく、これにより間引く不要な画像の枚数に制限を設けて、間引きすぎを防止する等の種々の設定が可能となる。 Therefore, according to the automatic tracking device of the present embodiment, the template updating unit 8 is configured to thin out unnecessary images that adversely affect the template from the moving contour image of the tracking target moving body arranged in time series. As a result, the tracking accuracy can be improved. Here, it may be configured such that the number of unnecessary images to be thinned out can be set to an arbitrary number from the moving contour images of the tracking target moving objects arranged in time series order, thereby reducing the number of unnecessary images to be thinned out. Various settings such as limiting and preventing excessive thinning are possible.
ところで、本実施形態のテンプレート更新手段8の他例としては、次に示すものが挙げられる。例えば、テンプレート更新手段8は、移動輪郭画像又は当該移動輪郭画像の元になった撮像手段の画像の画素値の標準偏差を算出し、前記画素値の標準偏差が前記移動輪郭画像より前の移動輪郭画像又は当該前の移動輪郭画像の元になった撮像手段の画像に比べて所定値以上増減していれば、前記移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を前記不要な画像とみなすように構成されていてもよい。 By the way, as another example of the template update means 8 of this embodiment, the following can be cited. For example, the template update unit 8 calculates the standard deviation of the pixel value of the moving contour image or the image of the imaging unit that is the basis of the moving contour image, and the standard deviation of the pixel value is the movement before the moving contour image. If the contour image or the image of the imaging means that is the source of the previous moving contour image is increased or decreased by a predetermined value or more, the moving contour image of the tracking target moving body obtained from the moving contour image is not necessary. It may be configured to be regarded as a correct image.
また、テンプレート更新手段8は、移動輪郭画像中の移動体の輪郭部分の画素数(又は複数の画素からなる領域の数である領域数)が、前記移動輪郭画像の前の移動輪郭画像に比べて所定値以上増減していれば、前記移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を前記不要な画像とみなすように構成されていてもよい。 Further, the template updating means 8 has a pixel number of the contour portion of the moving body in the moving contour image (or the number of regions which is the number of regions composed of a plurality of pixels) compared to the moving contour image before the moving contour image. The moving contour image of the tracking target moving body obtained from the moving contour image may be regarded as the unnecessary image as long as it is increased or decreased by a predetermined value or more.
すなわち、移動輪郭画像又は当該移動輪郭画像の元になった撮像手段の画像の画素値の標準偏差を算出し、前記画素値の標準偏差が前記移動輪郭画像より前の移動輪郭画像又は当該前の移動輪郭画像の元になった撮像手段の画像に比べて所定値以上増減していた際、又は、移動輪郭画像中の移動体の輪郭部分の画素数(又は領域数)が、前記移動輪郭画像の前の移動輪郭画像に比べて所定値以上増減していた際には、撮像手段の画像には多量のノイズが発生しているとみなして、前記移動輪郭画像より得られた追尾対象の移動体の移動輪郭画像を前記不要な画像として扱うのである。 That is, the standard deviation of the pixel value of the moving contour image or the image of the imaging means that is the basis of the moving contour image is calculated, and the standard deviation of the pixel value is the moving contour image before the moving contour image or the previous one When the number of pixels (or the number of areas) of the contour portion of the moving body in the moving contour image is increased or decreased by a predetermined value or more compared to the image of the imaging means that is the source of the moving contour image, the moving contour image When the moving contour image has increased or decreased by a predetermined value or more compared to the previous moving contour image, it is considered that a large amount of noise has occurred in the image of the imaging means, and the movement of the tracking target obtained from the moving contour image The moving contour image of the body is handled as the unnecessary image.
以上述べたようなテンプレート更新手段によっても、時系列順に並んだ追尾対象の移動体の移動輪郭画像から、テンプレートに悪影響を及ぼすような不要な画像を間引くことができ、同様に追尾精度の向上を図ることができるという効果を奏する。 Even with the template updating means as described above, unnecessary images that adversely affect the template can be thinned out from the moving contour image of the tracking target moving body arranged in chronological order, and the tracking accuracy can be similarly improved. There is an effect that it can be achieved.
1 撮像手段
3 画像記憶手段
4 移動輪郭画像生成手段
5 テンプレート記憶手段
6 テンプレートマッチング手段
8 テンプレート更新手段
P1〜P5 追尾対象の移動体の移動輪郭画像
T テンプレート
DESCRIPTION OF SYMBOLS 1 Image pickup means 3 Image storage means 4 Moving outline image generation means 5 Template storage means 6 Template matching means 8 Template update means P1-P5 Moving outline image of moving object to be tracked T template
Claims (13)
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006293078A JP4915655B2 (en) | 2006-10-27 | 2006-10-27 | Automatic tracking device |
EP07015988A EP1916538A3 (en) | 2006-10-27 | 2007-08-14 | Target moving object tracking device |
TW096130528A TWI375173B (en) | 2006-10-27 | 2007-08-17 | Target moving object tracking device |
CN2007101425988A CN101170683B (en) | 2006-10-27 | 2007-08-29 | Target moving object tracking device |
US11/896,345 US8194134B2 (en) | 2006-10-27 | 2007-08-31 | Target moving object tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006293078A JP4915655B2 (en) | 2006-10-27 | 2006-10-27 | Automatic tracking device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008113071A true JP2008113071A (en) | 2008-05-15 |
JP4915655B2 JP4915655B2 (en) | 2012-04-11 |
Family
ID=39391118
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006293078A Expired - Fee Related JP4915655B2 (en) | 2006-10-27 | 2006-10-27 | Automatic tracking device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4915655B2 (en) |
CN (1) | CN101170683B (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010034885A (en) * | 2008-07-29 | 2010-02-12 | Fujitsu Ltd | Imaging apparatus |
JP2010135872A (en) * | 2008-12-02 | 2010-06-17 | Univ Of Tokyo | Imaging apparatus and imaging method |
JP2010134915A (en) * | 2008-11-04 | 2010-06-17 | Omron Corp | Image processing device |
CN101872480A (en) * | 2010-06-09 | 2010-10-27 | 河南理工大学 | The position of speckled characteristic and size automatic testing method in the digital picture |
JP2012114678A (en) * | 2010-11-25 | 2012-06-14 | Casio Comput Co Ltd | Subject detection device, subject detection method and program |
US8509543B2 (en) | 2009-06-08 | 2013-08-13 | Nikon Corporation | Subject tracking device and camera |
JP2016110384A (en) * | 2014-12-05 | 2016-06-20 | 富士通株式会社 | Entity detection method, entity detection program, and entity detection system |
WO2018230016A1 (en) * | 2017-06-13 | 2018-12-20 | 株式会社Ihi | Mobile body observation method |
Families Citing this family (29)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4513039B2 (en) * | 2008-05-30 | 2010-07-28 | ソニー株式会社 | Image processing apparatus, image processing method, and program |
CN101646066B (en) * | 2008-08-08 | 2011-05-04 | 鸿富锦精密工业(深圳)有限公司 | Video monitoring system and method |
CN101751549B (en) * | 2008-12-03 | 2014-03-26 | 财团法人工业技术研究院 | Method for tracking moving object |
JP2010166256A (en) * | 2009-01-14 | 2010-07-29 | Sony Corp | Information processor, information processing method, and program |
JP4788798B2 (en) * | 2009-04-23 | 2011-10-05 | トヨタ自動車株式会社 | Object detection device |
CN101739692B (en) * | 2009-12-29 | 2012-05-30 | 天津市亚安科技股份有限公司 | Fast correlation tracking method for real-time video target |
CN102223473A (en) * | 2010-04-16 | 2011-10-19 | 鸿富锦精密工业(深圳)有限公司 | Camera device and method for dynamic tracking of specific object by using camera device |
CN102158689B (en) * | 2011-05-17 | 2013-12-18 | 无锡中星微电子有限公司 | Video monitoring system and method |
JP5746937B2 (en) * | 2011-09-01 | 2015-07-08 | ルネサスエレクトロニクス株式会社 | Object tracking device |
CN102445681B (en) * | 2011-09-30 | 2013-07-03 | 深圳市九洲电器有限公司 | Indoor positioning method and indoor positioning system of movable device |
CN102663777A (en) * | 2012-04-26 | 2012-09-12 | 安科智慧城市技术(中国)有限公司 | Target tracking method and system based on multi-view video |
EP2974831B1 (en) * | 2012-06-12 | 2021-04-07 | Snap-On Incorporated | An inventory control system having advanced functionalities |
US10705631B2 (en) * | 2012-11-06 | 2020-07-07 | Hewlett-Packard Development Company, L.P. | Interactive display |
CN103106667B (en) * | 2013-02-01 | 2016-01-20 | 山东科技大学 | A kind of towards blocking the Moving Objects method for tracing with scene change |
BR112015020989A2 (en) * | 2013-03-29 | 2017-07-18 | Nec Corp | target object identification device, target object identification method, and target object identification program |
CN104778677B (en) * | 2014-01-13 | 2019-02-05 | 联想(北京)有限公司 | A kind of localization method, device and equipment |
CN104065878B (en) * | 2014-06-03 | 2016-02-24 | 小米科技有限责任公司 | Filming control method, device and terminal |
US9584725B2 (en) | 2014-06-03 | 2017-02-28 | Xiaomi Inc. | Method and terminal device for shooting control |
CN104065932B (en) * | 2014-06-30 | 2019-08-13 | 东南大学 | A kind of non-overlapping visual field target matching method based on amendment weighting bigraph (bipartite graph) |
CN105979209A (en) * | 2016-05-31 | 2016-09-28 | 浙江大华技术股份有限公司 | Monitoring video display method and monitoring video display device |
CN106339725A (en) * | 2016-08-31 | 2017-01-18 | 天津大学 | Pedestrian detection method based on scale constant characteristic and position experience |
WO2018058531A1 (en) * | 2016-09-30 | 2018-04-05 | 富士通株式会社 | Target tracking method and device, and image processing apparatus |
CN106683308A (en) * | 2017-01-06 | 2017-05-17 | 天津大学 | Event recognition photoelectric information fusion perception device and method |
JP2019017867A (en) * | 2017-07-20 | 2019-02-07 | 株式会社東芝 | Information processing apparatus, information processing system, and program |
CN118509635A (en) * | 2017-08-30 | 2024-08-16 | Vid拓展公司 | Tracking video scaling |
CN107562203A (en) * | 2017-09-14 | 2018-01-09 | 北京奇艺世纪科技有限公司 | A kind of input method and device |
CN110324690A (en) * | 2018-03-30 | 2019-10-11 | 青岛海信电器股份有限公司 | A kind of method of displaying target object, display device and display equipment |
CN110503662A (en) * | 2019-07-09 | 2019-11-26 | 科大讯飞(苏州)科技有限公司 | Tracking and Related product |
CN110866486B (en) | 2019-11-12 | 2022-06-10 | Oppo广东移动通信有限公司 | Subject detection method and apparatus, electronic device, and computer-readable storage medium |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0630417A (en) * | 1992-07-13 | 1994-02-04 | Hitachi Ltd | Device for recognizing vehicle and method for recognizing mobile object |
JPH1186004A (en) * | 1997-09-11 | 1999-03-30 | Fujitsu Ltd | Moving body tracking device |
JPH11252587A (en) * | 1998-03-03 | 1999-09-17 | Matsushita Electric Ind Co Ltd | Object tracking device |
JP2002259976A (en) * | 2001-03-06 | 2002-09-13 | Mixed Reality Systems Laboratory Inc | Method and device for detecting specific point |
JP2002354248A (en) * | 2001-05-23 | 2002-12-06 | Ricoh Co Ltd | Method, device and program for binarizing image |
JP2003111063A (en) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | Intruded object tracing method and intruded object supervisory system |
JP2006246014A (en) * | 2005-03-03 | 2006-09-14 | Nikon Corp | Digital camera and image processing method thereof |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6426718B1 (en) * | 2000-03-14 | 2002-07-30 | The Boeing Company | Subaperture processing for clutter reduction in synthetic aperture radar images of ground moving targets |
CN1274146C (en) * | 2002-10-10 | 2006-09-06 | 北京中星微电子有限公司 | Sports image detecting method |
FR2861204B1 (en) * | 2003-10-21 | 2009-01-16 | Egregore Ii | METHOD FOR AUTOMATICALLY CONTROLLING THE DIRECTION OF THE OPTICAL AXIS AND THE ANGULAR FIELD OF AN ELECTRONIC CAMERA, IN PARTICULAR FOR AUTOMATIC TRACKING VIDEOSURVEILLANCE |
JP2006258944A (en) * | 2005-03-15 | 2006-09-28 | Fujinon Corp | Autofocus system |
CN100437145C (en) * | 2005-12-19 | 2008-11-26 | 北京威亚视讯科技有限公司 | Position posture tracing system |
-
2006
- 2006-10-27 JP JP2006293078A patent/JP4915655B2/en not_active Expired - Fee Related
-
2007
- 2007-08-29 CN CN2007101425988A patent/CN101170683B/en not_active Expired - Fee Related
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0630417A (en) * | 1992-07-13 | 1994-02-04 | Hitachi Ltd | Device for recognizing vehicle and method for recognizing mobile object |
JPH1186004A (en) * | 1997-09-11 | 1999-03-30 | Fujitsu Ltd | Moving body tracking device |
JPH11252587A (en) * | 1998-03-03 | 1999-09-17 | Matsushita Electric Ind Co Ltd | Object tracking device |
JP2002259976A (en) * | 2001-03-06 | 2002-09-13 | Mixed Reality Systems Laboratory Inc | Method and device for detecting specific point |
JP2002354248A (en) * | 2001-05-23 | 2002-12-06 | Ricoh Co Ltd | Method, device and program for binarizing image |
JP2003111063A (en) * | 2001-10-02 | 2003-04-11 | Hitachi Kokusai Electric Inc | Intruded object tracing method and intruded object supervisory system |
JP2006246014A (en) * | 2005-03-03 | 2006-09-14 | Nikon Corp | Digital camera and image processing method thereof |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010034885A (en) * | 2008-07-29 | 2010-02-12 | Fujitsu Ltd | Imaging apparatus |
JP2010134915A (en) * | 2008-11-04 | 2010-06-17 | Omron Corp | Image processing device |
JP2010135872A (en) * | 2008-12-02 | 2010-06-17 | Univ Of Tokyo | Imaging apparatus and imaging method |
US8509543B2 (en) | 2009-06-08 | 2013-08-13 | Nikon Corporation | Subject tracking device and camera |
CN101872480A (en) * | 2010-06-09 | 2010-10-27 | 河南理工大学 | The position of speckled characteristic and size automatic testing method in the digital picture |
JP2012114678A (en) * | 2010-11-25 | 2012-06-14 | Casio Comput Co Ltd | Subject detection device, subject detection method and program |
JP2016110384A (en) * | 2014-12-05 | 2016-06-20 | 富士通株式会社 | Entity detection method, entity detection program, and entity detection system |
WO2018230016A1 (en) * | 2017-06-13 | 2018-12-20 | 株式会社Ihi | Mobile body observation method |
JPWO2018230016A1 (en) * | 2017-06-13 | 2020-04-09 | 株式会社Ihi | Mobile observation method |
RU2737193C1 (en) * | 2017-06-13 | 2020-11-25 | АйЭйчАй КОРПОРЕЙШН | Method of monitoring moving body |
Also Published As
Publication number | Publication date |
---|---|
CN101170683B (en) | 2010-09-08 |
CN101170683A (en) | 2008-04-30 |
JP4915655B2 (en) | 2012-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4915655B2 (en) | Automatic tracking device | |
JP4575829B2 (en) | Display screen position analysis device and display screen position analysis program | |
JP5272886B2 (en) | Moving object detection apparatus, moving object detection method, and computer program | |
CN110008795B (en) | Image target tracking method and system and computer readable recording medium | |
WO2011074049A1 (en) | Image selection device and image selection method | |
JP3440916B2 (en) | Automatic tracking device, automatic tracking method, and recording medium recording automatic tracking program | |
JP4373840B2 (en) | Moving object tracking method, moving object tracking program and recording medium thereof, and moving object tracking apparatus | |
KR101703515B1 (en) | Apparatus and method for target tracking of image | |
KR20090037275A (en) | Detecting apparatus of human component and method of the same | |
JPWO2012127618A1 (en) | Moving object detection apparatus, moving object detection method, moving object detection program, moving object tracking apparatus, moving object tracking method, and moving object tracking program | |
JP2016081251A (en) | Image processor and image processing method | |
JP2011234314A (en) | Image processing apparatus, image processing method and program | |
JP5155110B2 (en) | Monitoring device | |
JP2008288684A (en) | Person detection device and program | |
JP6851163B2 (en) | Image processing equipment, image processing methods, and programs | |
US20160267356A1 (en) | Image processing apparatus and image processing method of performing image segmentation | |
JP2008026999A (en) | Obstacle detection system and obstacle detection method | |
KR101290517B1 (en) | Photographing apparatus for tracking object and method thereof | |
JP2016081252A (en) | Image processor and image processing method | |
JP2009163498A (en) | Image processor, image processing method, and image processing program | |
JP2020098114A (en) | Self-position estimation device, self-position estimation method, and program | |
CN115393962A (en) | Motion recognition method, head-mounted display device, and storage medium | |
JP2016081095A (en) | Subject tracking device, control method thereof, image-capturing device, display device, and program | |
JP5451364B2 (en) | Subject tracking device and control method thereof | |
JP2004295416A (en) | Image processing apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090420 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20100826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101209 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111220 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20120111 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120113 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |