JPH10111946A - Image tracking device - Google Patents

Image tracking device

Info

Publication number
JPH10111946A
JPH10111946A JP8264919A JP26491996A JPH10111946A JP H10111946 A JPH10111946 A JP H10111946A JP 8264919 A JP8264919 A JP 8264919A JP 26491996 A JP26491996 A JP 26491996A JP H10111946 A JPH10111946 A JP H10111946A
Authority
JP
Japan
Prior art keywords
area
image
distance
calculating
image frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8264919A
Other languages
Japanese (ja)
Inventor
Mitsuaki Inaba
葉 光 昭 稲
Kenji Nagao
尾 健 司 長
Yuichi Kobayakawa
早 川 雄 一 小
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP8264919A priority Critical patent/JPH10111946A/en
Publication of JPH10111946A publication Critical patent/JPH10111946A/en
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image tracking device which can prevent the tracking failure to a non-rigid body or an object whose size varies and also can perform the fast arithmetic processing. SOLUTION: An area division means 403 divides a tracking object area into plural small areas, and an object model enlargement/reduction means 406 performs an enlargement/reduction operation to each divided area. Thus, a model is obtained. Then a partial Hausdorff distance calculation means 407 and a distance normalization 408 calculate the evaluation function value and then the moving destination and the enlargement/reduction ratio of every part of a tracking object against the model. At the same time, the color image data whose resolution is deteriorated compared with a series of color image frames which undergo no edge extraction nor binarization yet are stored in a low resolution image storage means 411. A color histogram calculation means 412 roughly calculates the moving destination of the tracking object based on the low resolution image data. A search area limitation means 413 limits a searching area and performs its processing at a high speed.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【産業上の利用分野】本発明は、ビデオカメラなどで撮
影した動画像中の指定した物体を追跡する画像追跡装置
に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image tracking device for tracking a specified object in a moving image captured by a video camera or the like.

【0002】[0002]

【従来の技術】動画像中の物体を追跡する方法について
は、例えばProceding of IEE ICCV93、第93頁から第
101頁に発表されている。以下、従来の画像追跡装置
について図5を用いて説明する。図5において、501
はエッジ画像格納手段、502は追跡物体入力手段、5
03は物体領域格納手段、504は物体モデル格納手
段、505は部分Hausdorff 距離算定手段、506は物
体移動先算定手段、507は物体領域更新手段である。
2. Description of the Related Art A method of tracking an object in a moving image is disclosed in, for example, Proceding of IEE ICCV93, pp. 93-101. Hereinafter, a conventional image tracking device will be described with reference to FIG. In FIG.
Is an edge image storage means, 502 is a tracking object input means, 5
03 is an object area storage means, 504 is an object model storage means, 505 is a partial Hausdorff distance calculation means, 506 is an object destination calculation means, and 507 is an object area update means.

【0003】以上のように構成された画像追跡装置につ
いて、以下その動作について説明する。まず、ユーザ
は、追跡物体入力手段502によりエッジ画像格納手段
501に格納されている追跡対象物体の映った一連の2
値画像フレームから1番目の画像フレームを呼び出し、
追跡を行なう物体を囲む矩形領域を指定し、物体領域格
納手段503に格納する。
[0003] The operation of the image tracking apparatus configured as described above will be described below. First, the user uses the tracking object input unit 502 to store a series of 2D images of the tracking target object stored in the edge image storage unit 501.
Call the first image frame from the value image frame,
A rectangular area surrounding the object to be tracked is designated and stored in the object area storage means 503.

【0004】さらに、nを自然数として以下の処理を繰
り返すことで物体の追跡を行う。物体モデル格納手段5
04は、物体領域格納手段503に格納されている領域
内に存在するn番目の2値画像フレームI(n)のエッ
ジ点の座標の集合を物体モデルMとして格納する。部分
Hausdorff 距離算定手段505では、物体のn+1番目
の画像フレームI(n+1)における移動先を求めるた
めの評価関数である部分Hausdorff 距離を計算する。各
物体モデルMに対し、探索範囲内全ての位置でのn+1
番目の画像フレームI(n+1)との部分Hausdorff 距
離hK(M,I(n+1))を算出する。ここで、集合
Pと集合Qの部分Hausdorff 距離hK(P,Q)とは以
下の式で定義される。
Further, the object is tracked by repeating the following processing with n being a natural number. Object model storage means 5
Reference numeral 04 stores, as the object model M, a set of coordinates of the edge points of the n-th binary image frame I (n) existing in the area stored in the object area storage means 503. part
The Hausdorff distance calculating means 505 calculates a partial Hausdorff distance which is an evaluation function for obtaining a destination in the (n + 1) th image frame I (n + 1) of the object. For each object model M, n + 1 at all positions within the search range
A partial Hausdorff distance hK (M, I (n + 1)) from the image frame I (n + 1) is calculated. Here, the partial Hausdorff distance hK (P, Q) of the sets P and Q is defined by the following equation.

【0005】[0005]

【数1】 (Equation 1)

【0006】物体移動先算定手段506では、このよう
にして求められた部分Hausdorff 距離のうち最小値を与
える位置をもって、n+1番目の画像フレームI(n+
1)での物体モデルMの移動先とし、物体領域更新手段
507に出力をする。
The object destination calculating means 506 determines the (n + 1) th image frame I (n + n) by using the position giving the minimum value among the partial Hausdorff distances thus obtained.
The destination of the object model M in 1) is output to the object area updating means 507.

【0007】物体領域更新手段507は、物体移動先算
定手段506から得られたn+1番目の画像フレームI
(n+1)における物体モデルMの移動先により、物体
領域格納手段504の内容を更新する。
[0007] The object area updating means 507 outputs the (n + 1) th image frame I obtained from the object moving destination estimating means 506.
The content of the object area storage means 504 is updated according to the destination of the object model M in (n + 1).

【0008】[0008]

【発明が解決しようとする課題】しかしながら上記の従
来の構成では、追跡対象を指定する領域は単一であるた
め、追跡対象物体が非剛体である場合や、追跡対象物体
の画像内での大きさが変化する場合には、追跡が失敗し
やすいという課題を有していた。また、追跡対象物体の
移動先を求める際に、現在の位置から全ての方向に均等
に探索するために演算量が多くなり、処理時間が多くか
かってしまうという課題を有していた。
However, in the conventional configuration described above, since the tracking target is designated by a single area, the tracking target may be non-rigid or may have a large size in the image of the tracking target. However, there is a problem that the tracking is likely to fail when the data changes. In addition, there is a problem in that when calculating the destination of the tracking target object, the amount of calculation is increased in order to uniformly search in all directions from the current position, and the processing time is increased.

【0009】本発明は、上記従来技術の課題を解決する
ものであり、追跡対象物体が非剛体である場合や、画像
内での大きさが変化する場合でも、追跡を成功させるこ
とができ、高速な演算処理を可能にする画像追跡装置を
提供することを目的とする。
The present invention solves the above-mentioned problems of the prior art, and enables tracking to be successful even when the object to be tracked is non-rigid or its size in an image changes. An object of the present invention is to provide an image tracking device that enables high-speed arithmetic processing.

【0010】[0010]

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像追跡装置は、領域分割手段が追跡対象
物体領域を複数の小領域に分割し、各小領域毎に物体モ
デル拡大縮小手段が拡大縮小操作を行ったモデルに対
し、部分Hausdorff 距離算定手段と距離正規化手段が、
評価関数値を求めて物体各部の移動先と拡大縮小率を算
定するようにしたものであり、これにより、非剛体や大
きさが変化する物体に対する追跡の失敗を防ぐことがで
きる。また、カラーヒストグラム算定手段により、低解
像度画像を用いて物体移動先を大まかに求め、探索領域
限定手段が探索の範囲を限定することにより、処理の高
速化を図ることができる。
In order to achieve the above object, according to an image tracking apparatus of the present invention, an area dividing means divides an object area to be tracked into a plurality of small areas and enlarges an object model for each of the small areas. For the model in which the reduction means performed the scaling operation, the partial Hausdorff distance calculation means and the distance normalization means
The moving destination and the enlargement / reduction ratio of each part of the object are calculated by calculating the evaluation function value, whereby it is possible to prevent a failure in tracking a non-rigid body or an object whose size changes. Further, the color histogram calculating means roughly determines the destination of the object using the low-resolution image, and the search area limiting means limits the range of the search, so that the processing speed can be increased.

【0011】[0011]

【発明の実施の形態】本発明の請求項1に記載の発明
は、エッジ抽出処理を施した一連の2値画像フレームを
格納するエッジ画像格納手段と、前記エッジ画像格納手
段から1番目の画像フレームを取り出して追跡対象物体
を含む領域を指定するための追跡物体入力手段と、n番
目の画像フレームについて、nが1の場合は前記追跡物
体入力手段で得られた領域を格納し、nが2以上の自然
数の場合は物体領域更新手段で得られた領域を格納する
物体領域格納手段と、前記物体領域格納手段に格納され
ている領域内の画像情報を物体モデルとして格納する物
体モデル格納手段と、前記物体モデル格納手段に格納さ
れている物体モデルを拡大縮小する物体モデル拡大縮小
手段と、前記物体モデル拡大縮小手段で得られた各物体
モデルとn+1番目の画像フレームのある領域との部分
Hausdorff 距離を計算する部分Hausdorff 距離算定手段
と、前記部分Hausdorff 距離算定手段で得られた部分Ha
usdorff 距離を拡大縮小率により正規化する距離正規化
手段と、前記距離正規化手段で計算された距離が最小値
をとるn+1番目の画像フレームの領域を算出する物体
移動先算定手段と、前記物体移動先算定手段で得られた
n+1番目の画像フレームの領域を前記物体領域格納手
段へ出力する物体領域更新手段とを備えたものであり、
物体モデル拡大縮小手段を設け、物体モデルを何段階か
に拡大縮小したテンプレートと次の画像フレームを比較
することにより、対象物体の平行移動量と拡大縮小率を
求めるため、対象物体の大きさが変化した場合にも追跡
の失敗を防ぐことができる。その際、距離正規化手段に
よって拡大縮小操作による距離の変化をなくし、正しい
移動先を算出することができる。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS According to the first aspect of the present invention, there is provided an edge image storing means for storing a series of binary image frames subjected to edge extraction processing, and a first image from the edge image storing means. A tracking object input unit for extracting a frame and specifying an area including a tracking target object; and for an n-th image frame, when n is 1, the area obtained by the tracking object input unit is stored. In the case of a natural number of 2 or more, an object area storing means for storing an area obtained by the object area updating means, and an object model storing means for storing image information in the area stored in the object area storing means as an object model Object model scaling means for scaling the object model stored in the object model storage means, and each object model obtained by the object model scaling means and (n + 1) th Portion of the region of the image frame
A Hausdorff distance calculating means for calculating a Hausdorff distance, and a partial Ha obtained by the partial Hausdorff distance calculating means.
usdorff distance normalizing means for normalizing the distance by a scaling factor, object moving destination calculating means for calculating an area of the (n + 1) th image frame in which the distance calculated by the distance normalizing means takes a minimum value, and the object Object area updating means for outputting the area of the (n + 1) th image frame obtained by the movement destination calculating means to the object area storing means,
Object model scaling means is provided, and by comparing the next image frame with a template in which the object model is scaled in several stages, the parallel movement amount and the scaling ratio of the target object are obtained. Even if it changes, tracking failure can be prevented. At this time, the distance normalization means eliminates a change in the distance due to the scaling operation, and the correct destination can be calculated.

【0012】また本発明の請求項2に記載の発明は、エ
ッジ抽出処理を施した一連の2値画像フレームを格納す
るエッジ画像格納手段と、前記エッジ画像格納手段から
1番目の画像フレームを取り出して追跡対象物体を含む
領域を指定するための追跡物体入力手段と、前記追跡物
体入力手段で得られた領域を複数の小領域に分割する領
域分割手段と、n番目の画像フレームについて、nが1
の場合は前記領域分割手段で得られた領域を格納し、n
が2以上の自然数の場合は物体領域更新手段で得られた
領域を格納する物体領域格納手段と、前記物体領域格納
手段に格納されている領域内の画像情報を物体モデルと
して格納する物体モデル格納手段と、前記物体モデル格
納手段で得られた各物体モデルとn+1番目の画像フレ
ームのある領域との部分Hausdorff 距離を計算する部分
Hausdorff 距離算定手段と、前記部分Hausdorff 距離算
定手段で計算された距離が最小値をとるn+1番目の画
像フレームの領域を算出する物体移動先算定手段と、前
記物体移動先算定手段で得られたn+1番目の画像フレ
ームの領域を前記物体領域格納手段へ出力する物体領域
更新手段とを備えた画像追跡装置であり、領域分割手段
を設け、追跡対象領域を複数の小領域に分割することに
より、追跡対象物体が非剛体である場合でも、これを複
数の剛体の集合とみなし、それぞれの剛体を追跡させる
ことで、追跡の失敗を防ぐことができる。
According to a second aspect of the present invention, there is provided an edge image storing means for storing a series of binary image frames subjected to edge extraction processing, and a first image frame is taken out from the edge image storing means. Tracking object input means for designating an area including the tracking target object, area dividing means for dividing the area obtained by the tracking object input means into a plurality of small areas, and n for an n-th image frame. 1
In the case of, the area obtained by the area dividing means is stored, and n
Is a natural number of 2 or more, an object area storing means for storing the area obtained by the object area updating means, and an object model storing for storing image information in the area stored in the object area storing means as an object model Means for calculating a Hausdorff distance between each object model obtained by the object model storage means and a certain area of the (n + 1) th image frame
Hausdorff distance calculation means, object movement destination calculation means for calculating the area of the (n + 1) th image frame in which the distance calculated by the partial Hausdorff distance calculation means takes a minimum value, and n + 1 obtained by the object movement destination calculation means An object area updating means for outputting an area of a second image frame to said object area storing means, provided with an area dividing means, and dividing a tracking target area into a plurality of small areas to perform tracking. Even when the target object is a non-rigid body, it is regarded as a set of a plurality of rigid bodies, and tracking of each rigid body can prevent tracking failure.

【0013】また本発明の請求項3に記載の発明は、エ
ッジ抽出処理を施した一連の2値画像フレームを格納す
るエッジ画像格納手段と、前記エッジ画像格納手段から
1番目の画像フレームを取り出して追跡対象物体を含む
領域を指定するための追跡物体入力手段と、前記追跡物
体入力手段で得られた領域を複数の小領域に分割する領
域分割手段と、n番目の画像フレームについて、nが1
の場合は前記領域分割手段で得られた領域を格納し、n
が2以上の自然数の場合は物体領域更新手段で得られた
領域を格納する物体領域格納手段と、前記物体領域格納
手段に格納されている領域内の画像情報を物体モデルと
して格納する物体モデル格納手段と、前記物体モデル格
納手段に格納されている物体モデルを拡大縮小する物体
モデル拡大縮小手段と、前記物体モデル拡大縮小手段で
得られた各物体モデルとn+1番目の画像フレームのあ
る領域との部分Hausdorff 距離を計算する部分Hausdorf
f距離算定手段と、前記部分Hausdorff 距離算定手段で
得られた部分Hausdorff 距離を拡大縮小率により正規化
する距離正規化手段と、前記距離正規化手段で計算され
た距離が最小値をとるn+1番目の画像フレームの領域
を算出する物体移動先算定手段と、前記物体移動先算定
手段で得られたn+1番目の画像フレームの領域を前記
物体領域格納手段へ出力する物体領域更新手段とを備え
た画像追跡装置であり、領域分割手段を設け、追跡対象
領域を複数の小領域に分割することにより、追跡対象物
体が非剛体である場合でも、これを複数の剛体の集合と
みなし、それぞれの剛体を追跡させることで、追跡の失
敗を防ぐことができる。また、物体モデル拡大縮小手段
を設け、物体モデルを何段階かに拡大縮小したテンプレ
ートと次の画像フレームを比較することにより、対象物
体の平行移動量と拡大縮小率を求めるため、対象物体の
大きさが変化した場合にも追跡の失敗を防ぐことができ
る。その際、距離正規化手段によって拡大縮小操作によ
る距離の変化をなくし、正しい移動先を算出することが
できる。
According to a third aspect of the present invention, there is provided an edge image storing means for storing a series of binary image frames subjected to an edge extracting process, and extracting a first image frame from the edge image storing means. Tracking object input means for designating an area including the tracking target object, area dividing means for dividing the area obtained by the tracking object input means into a plurality of small areas, and n for an n-th image frame. 1
In the case of, the area obtained by the area dividing means is stored, and n
Is a natural number of 2 or more, an object area storing means for storing the area obtained by the object area updating means, and an object model storing for storing image information in the area stored in the object area storing means as an object model Means, an object model enlargement / reduction means for enlarging / reducing the object model stored in the object model storage means, and each object model obtained by the object model enlargement / reduction means and a certain area of the (n + 1) th image frame. Partial Hausdorff partial Hausdorf to calculate distance
f distance calculating means, distance normalizing means for normalizing the partial Hausdorff distance obtained by the partial Hausdorff distance calculating means by a scaling factor, and the (n + 1) th distance at which the distance calculated by the distance normalizing means takes a minimum value. An object moving destination calculating means for calculating the area of the image frame of the above, and an object area updating means for outputting the (n + 1) th image frame area obtained by the object moving destination calculating means to the object area storing means It is a tracking device, provided with a region dividing means, by dividing the tracking target region into a plurality of small regions, even if the tracking target object is a non-rigid body, consider this as a set of a plurality of rigid bodies, and each rigid body Tracking can prevent tracking failure. In addition, an object model scaling unit is provided, and by comparing the next image frame with a template obtained by scaling the object model in several stages, the translation amount and the scaling ratio of the target object are obtained. In the case of a change, tracking failure can be prevented. At this time, the distance normalization means eliminates a change in the distance due to the scaling operation, and the correct destination can be calculated.

【0014】また本発明の請求項4に記載の発明は、エ
ッジ抽出処理および2値化処理を施す前の一連のカラー
画像フレームに対し、解像度を落したカラー画像データ
を格納する低解像度画像格納手段と、n番目の低解像度
画像フレームに対して物体領域格納手段に格納された領
域内のカラーヒストグラムを算定し、n+1番目の低解
像度画像フレームに対して物体領域格納手段に格納され
た領域から一定範囲内の領域のカラーヒストグラムを算
出するカラーヒストグラム算定手段と、前記カラーヒス
トグラム算定手段で得られたカラーヒストグラムを比較
することによって物体移動先を大まかに算出する探索範
囲限定手段とを備え、部分Hausdorff 距離算出手段が、
前記物体移動範囲限定手段から出力された探索範囲に限
定して部分Hausdorff 距離を算出することを特徴とする
請求項1または2または3記載の画像追跡装置であり、
カラーヒストグラム算定手段と探索範囲限定手段を設
け、カラーヒストグラム算定手段が、低解像度画像格納
手段に格納された空間解像度を落したn番目のカラー画
像フレームの物体領域のカラーヒストグラムと、n+1
番目のある領域のカラーヒストグラムを算出し、探索領
域限定手段が、物体領域のカラーヒストグラムと最も近
いカラーヒストグラムを持つ領域を物体の大まかな移動
先を求め、その周辺に限定して部分Hausdorff 距離算定
手段が部分Hausdorff 距離を求めることにより、演算量
を削減し、処理の高速化を図ることができる。
According to a fourth aspect of the present invention, there is provided a low-resolution image storage for storing color image data with reduced resolution for a series of color image frames before performing edge extraction processing and binarization processing. Means for calculating a color histogram in the area stored in the object area storage means for the nth low resolution image frame, and calculating the color histogram from the area stored in the object area storage means for the (n + 1) th low resolution image frame. A color histogram calculating means for calculating a color histogram of an area within a certain range; and a search range limiting means for roughly calculating an object moving destination by comparing the color histograms obtained by the color histogram calculating means. Hausdorff distance calculation means,
The image tracking apparatus according to claim 1, wherein a partial Hausdorff distance is calculated by limiting the search range output from the object movement range limiting unit.
A color histogram calculating means and a search range limiting means, wherein the color histogram calculating means comprises: a color histogram of an object region of an nth color image frame having a reduced spatial resolution stored in the low resolution image storing means;
The color histogram of a certain area is calculated, and the search area limiting means obtains the approximate destination of the object in the area having the color histogram closest to the color histogram of the object area, and restricts it to the surrounding area to calculate the partial Hausdorff distance. Since the means obtains the partial Hausdorff distance, the amount of calculation can be reduced and the processing speed can be increased.

【0015】(実施の形態1)以下、本発明の実施の形
態について、図面を参照しながら説明する。図1は本発
明の第1の実施の形態における画像追跡装置のブロック
図である。図1において、101はエッジ画像格納手
段、102は追跡物体入力手段、103は物体領域格納
手段、104は物体モデル格納手段、105は物体モデ
ル拡大縮小手段、106は部分Hausdorff 距離算定手
段、107は距離正規化手段、108は物体移動先算定
手段、109は物体領域更新手段である。
Embodiment 1 Hereinafter, an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram of the image tracking device according to the first embodiment of the present invention. In FIG. 1, 101 is an edge image storage means, 102 is a tracking object input means, 103 is an object area storage means, 104 is an object model storage means, 105 is an object model enlargement / reduction means, 106 is a partial Hausdorff distance calculation means, 107 is Distance normalizing means, 108 is an object moving destination calculating means, and 109 is an object area updating means.

【0016】以上のように構成された画像追跡装置につ
いて、その動作を説明する。エッジ画像格納手段101
には、追跡対象物体の映っている動画像にエッジ抽出処
理および2値化処理を施した一連の2値画像フレームが
格納されている。ユーザは、追跡物体入力手段102に
より1番目の2値画像フレームI(1)から追跡を行な
う物体を囲む矩形領域を指定する。物体領域格納手段1
03は、n番目の画像フレームについて、nが1の場合
は前記追跡物体入力手段102で得られた領域を格納
し、nが2以上の自然数の場合は物体領域更新手段10
9で得られた領域を格納する。
The operation of the image tracking device configured as described above will be described. Edge image storage means 101
Stores a series of binary image frames obtained by performing an edge extraction process and a binarization process on a moving image in which a tracking target object appears. The user specifies a rectangular area surrounding the object to be tracked from the first binary image frame I (1) by the tracked object input unit 102. Object area storage means 1
03 stores the area obtained by the tracking object input means 102 when n is 1 for the n-th image frame, and stores the object area updating means 10 when n is a natural number of 2 or more.
The area obtained in step 9 is stored.

【0017】物体モデル格納手段104は、物体領域格
納手段103に格納されているn番目の2値画像フレー
ムI(n)のエッジ点の座標の集合を物体モデルMiと
して格納する。物体モデル拡大縮小手段105では、物
体モデルの座標値を拡大(縮小)する。例えばx方向の
拡大率Sx、y方向の拡大率Syを独立に{0.9、
1.0、1.1}のようにとり、計9種類の物体モデル
Mi[Sx,Sy]を生成する。
The object model storage means 104 stores a set of coordinates of the edge points of the n-th binary image frame I (n) stored in the object area storage means 103 as an object model Mi. The object model enlargement / reduction unit 105 enlarges (reduces) the coordinate values of the object model. For example, the enlargement ratio Sx in the x direction and the enlargement ratio Sy in the y direction are independently set to 0.9,
1.0, 1.1}, a total of nine types of object models Mi [Sx, Sy] are generated.

【0018】部分Hausdorff 距離算定手段106では、
物体のn+1番目の画像フレームI(n+1)における
移動先と拡大縮小率を求めるための評価関数である式
(1)で定義される部分Hausdorff 距離を計算する。各
物体モデルMi[Sx,Sy]に対し、探索範囲内全て
の位置でのn+1番目の画像フレームI(n+1)との
部分Hausdorff 距離hK(Mi[Sx,Sy],I(n
+1))を算出する。
In the partial Hausdorff distance calculating means 106,
A partial Hausdorff distance defined by Expression (1), which is an evaluation function for obtaining a destination and an enlargement / reduction ratio in the (n + 1) th image frame I (n + 1) of the object, is calculated. For each object model Mi [Sx, Sy], a partial Hausdorff distance hK (Mi [Sx, Sy], I (n) to the (n + 1) th image frame I (n + 1) at all positions within the search range.
+1)).

【0019】ただし、拡大縮小操作によって2点間の距
離ベクトルの単位ベクトルが異なっているため、そのま
までは不都合なので、距離正規化手段107により距離
の正規化を行なう。距離の正規化は、当該2点間の距離
ベクトルのx成分とy成分をそれぞれSx、Syで除す
ることで行なわれる。部分Hausdorff 距離算定手段10
6では、この正規化された距離ベクトルをもとに部分Ha
usdorff 距離を算出する。
However, since the unit vector of the distance vector between the two points is different due to the enlargement / reduction operation, it is inconvenient as it is. Therefore, the distance normalization means 107 normalizes the distance. The normalization of the distance is performed by dividing the x component and the y component of the distance vector between the two points by Sx and Sy, respectively. Partial Hausdorff distance calculation means 10
In section 6, based on this normalized distance vector,
Calculate usdorff distance.

【0020】物体移動先算定手段108では、このよう
にして求められた部分Hausdorff 距離のうち最小値を与
える位置と拡大縮小率をもって、n+1番目の画像フレ
ームI(n+1)での物体モデルMiの移動先および拡
大縮小率とし、物体領域更新手段109に出力をする。
The object movement destination calculation means 108 calculates the movement of the object model Mi in the (n + 1) th image frame I (n + 1) based on the position giving the minimum value and the enlargement / reduction ratio among the partial Hausdorff distances thus obtained. The data is output to the object area updating unit 109 as the destination and the enlargement / reduction ratio.

【0021】物体領域更新手段109は、物体移動先算
定手段108から得られたn+1番目の画像フレームI
(n+1)における物体モデルMiの移動先および拡大
縮小率により、物体領域格納手段103の内容を更新す
る。
The object area updating means 109 outputs the (n + 1) th image frame I obtained from the object moving destination calculating means 108.
The content of the object area storage unit 103 is updated based on the destination and the enlargement / reduction ratio of the object model Mi in (n + 1).

【0022】以上のように、本実施の形態によれば、物
体モデル拡大縮小手段105を設け、物体モデルを何段
階かに拡大縮小したテンプレートと次の画像フレームを
比較することにより、対象物体の平行移動量と拡大縮小
率を求めるため、対象物体の大きさが変化した場合にも
追跡の失敗を防ぐことができる。その際、距離正規化手
段107によって拡大縮小操作による距離の変化をなく
し、正しい移動先を算出することができる。
As described above, according to the present embodiment, the object model enlarging / reducing means 105 is provided, and the template obtained by enlarging / reducing the object model in several stages is compared with the next image frame, whereby the object Since the translation amount and the enlargement / reduction ratio are obtained, tracking failure can be prevented even when the size of the target object changes. At this time, the distance normalizing unit 107 can eliminate a change in distance due to the scaling operation, and can calculate a correct destination.

【0023】(実施の形態2)図2は本発明の第2の実
施の形態における画像追跡装置のブロック図である。図
2において、201はエッジ画像格納手段、202は追
跡物体入力手段、203は領域分割手段、204は物体
領域格納手段、205は物体モデル格納手段、206は
部分Hausdorff 距離算定手段、207は物体移動先算定
手段、208は物体領域更新手段である。
(Embodiment 2) FIG. 2 is a block diagram of an image tracking apparatus according to a second embodiment of the present invention. In FIG. 2, 201 is an edge image storage means, 202 is a tracking object input means, 203 is an area dividing means, 204 is an object area storage means, 205 is an object model storage means, 206 is a partial Hausdorff distance calculation means, and 207 is an object movement. The first calculating means 208 is an object area updating means.

【0024】以上のように構成された画像追跡装置につ
いて、その動作を説明する。エッジ画像格納手段201
には、追跡対象物体の映っている動画像にエッジ抽出処
理および2値化処理を施した一連の2値画像フレームが
格納されている。ユーザは、追跡物体入力手段202に
より1番目の2値画像フレームI(1)から追跡を行な
う物体を囲む矩形領域を指定する。領域分割手段203
は、追跡物体入力手段202によって得られた矩形領域
をある大きさを超えないような複数の小領域に分割し
(その分割数をmとする)、各小領域Ri(i=1,
2,…,m)の2頂点の座標を物体領域格納手段204
に格納する。
The operation of the image tracking device configured as described above will be described. Edge image storage means 201
Stores a series of binary image frames obtained by performing an edge extraction process and a binarization process on a moving image in which a tracking target object appears. The user specifies a rectangular area surrounding the object to be tracked from the first binary image frame I (1) using the tracked object input unit 202. Region dividing means 203
Divides a rectangular area obtained by the tracking object input means 202 into a plurality of small areas not exceeding a certain size (the number of divisions is m), and each small area Ri (i = 1,
The coordinates of the two vertices (2,..., M) are stored in the object area storage unit 204.
To be stored.

【0025】さらに、nを自然数として以下の処理を繰
り返すことで物体の追跡を行なう。物体モデル格納手段
205は、物体領域格納手段204に格納されている小
領域Ri内に存在するn番目の2値画像フレームI
(n)のエッジ点の座標の集合を物体モデルMiとして
格納する。
Further, the object is tracked by repeating the following processing with n being a natural number. The object model storage unit 205 stores the n-th binary image frame I existing in the small region Ri stored in the object region storage unit 204.
A set of coordinates of the edge point (n) is stored as the object model Mi.

【0026】部分Hausdorff 距離算定手段206では、
物体のn+1番目の画像フレームI(n+1)における
移動先を求めるための評価関数である式(1)で定義さ
れる部分Hausdorff 距離を計算する。各物体モデルMi
[x,y]に対し、探索範囲内全ての位置でのn+1番
目の画像フレームI(n+1)との部分Hausdorff 距離
hK(Mi[x,y],I(n+1))を算出する。
In the partial Hausdorff distance calculating means 206,
A partial Hausdorff distance defined by Expression (1), which is an evaluation function for obtaining a destination in the (n + 1) th image frame I (n + 1) of the object, is calculated. Each object model Mi
For [x, y], a partial Hausdorff distance hK (Mi [x, y], I (n + 1)) from the (n + 1) th image frame I (n + 1) at all positions within the search range is calculated.

【0027】物体移動先算定手段207では、このよう
にして求められた部分Hausdorff 距離のうち最小値を与
える位置をもって、n+1番目の画像フレームI(n+
1)での物体モデルMiの移動先とし、物体領域更新手
段208に出力をする。
The object movement destination calculating means 207 determines the (n + 1) th image frame I (n + n) with the position giving the minimum value among the partial Hausdorff distances thus obtained.
The destination of the object model Mi in 1) is output to the object area updating means 208.

【0028】物体領域更新手段208は、物体移動先算
定手段207から得られたn+1番目の画像フレームI
(n+1)における物体モデルMiの移動先により、物
体領域格納手段204の内容を更新する。
The object area updating means 208 outputs the (n + 1) th image frame I obtained from the object moving destination calculating means 207.
The contents of the object area storage means 204 are updated according to the destination of the object model Mi in (n + 1).

【0029】以上のように、本実施の形態によれば、領
域分割手段203を設け、追跡対象領域を複数の小領域
に分割することによって、追跡対象物体が非剛体である
場合でも、これを複数の剛体の集合とみなし、それぞれ
の剛体を追跡させることで、追跡の失敗を防ぐことがで
きる。
As described above, according to the present embodiment, the area dividing means 203 is provided to divide the area to be tracked into a plurality of small areas, so that even if the object to be tracked is non-rigid, By considering each rigid body as a set of a plurality of rigid bodies, tracking failure can be prevented.

【0030】(実施の形態3)図3は本発明の第3の実
施の形態における画像追跡装置のブロック図である。図
3において、301はエッジ画像格納手段、302は追
跡物体入力手段、303は領域分割手段、304は物体
領域格納手段、305は物体モデル格納手段、306は
物体モデル拡大縮小手段、307は部分Hausdorff 距離
算定手段、308は距離正規化手段、309は物体移動
先算定手段、310は物体領域更新手段である。
(Embodiment 3) FIG. 3 is a block diagram of an image tracking apparatus according to a third embodiment of the present invention. 3, reference numeral 301 denotes an edge image storage unit, 302 denotes a tracking object input unit, 303 denotes a region dividing unit, 304 denotes an object region storage unit, 305 denotes an object model storage unit, 306 denotes an object model scaling unit, and 307 denotes a partial Hausdorff. A distance calculating unit 308 is a distance normalizing unit, 309 is an object moving destination calculating unit, and 310 is an object area updating unit.

【0031】以上のように構成された画像追跡装置につ
いて、その動作を説明する。エッジ画像格納手段301
には、追跡対象物体の映っている動画像にエッジ抽出処
理および2値化処理を施した一連の2値画像フレームが
格納されている。ユーザは、追跡物体入力手段302に
より1番目の2値画像フレームI(1)から追跡を行な
う物体を囲む矩形領域を指定する。領域分割手段303
は、追跡物体入力手段302によって得られた矩形領域
をある大きさを超えないような複数の小領域に分割し
(その分割数をmとする)、各小領域Ri(i=1,
2,…,m)の2頂点の座標を物体領域格納手段304
に格納する。
The operation of the image tracking device configured as described above will be described. Edge image storage means 301
Stores a series of binary image frames obtained by performing an edge extraction process and a binarization process on a moving image in which a tracking target object appears. The user specifies a rectangular area surrounding the object to be tracked from the first binary image frame I (1) by the tracked object input unit 302. Area dividing means 303
Divides the rectangular area obtained by the tracking object input means 302 into a plurality of small areas not exceeding a certain size (the number of divisions is set to m), and each small area Ri (i = 1,
The coordinates of the two vertices (2,..., M) are stored in the object area storage unit 304.
To be stored.

【0032】さらに、nを自然数として以下の処理を繰
り返すことで物体の追跡を行なう。物体モデル格納手段
305は、物体領域格納手段304に格納されている小
領域Ri内に存在するn番目の2値画像フレームI
(n)のエッジ点の座標の集合を物体モデルMiとして
格納する。物体モデル拡大縮小手段306では、各小領
域の左上の頂点を中心として物体モデルの座標値を拡大
(縮小)する。例えばx方向の拡大率Sx、y方向の拡
大率Syを独立に{0.9、1.0、1.1}のように
とり、計9種類の物体モデルMi[Sx,Sy]を生成
する。
Further, the object is tracked by repeating the following processing with n being a natural number. The object model storage unit 305 stores the n-th binary image frame I existing in the small region Ri stored in the object region storage unit 304.
A set of coordinates of the edge point (n) is stored as the object model Mi. The object model enlargement / reduction unit 306 enlarges (reduces) the coordinate value of the object model around the upper left vertex of each small area. For example, the enlargement ratio Sx in the x direction and the enlargement ratio Sy in the y direction are independently set as {0.9, 1.0, 1.1} to generate a total of nine types of object models Mi [Sx, Sy].

【0033】部分Hausdorff 距離算定手段307では、
物体のn+1番目の画像フレームI(n+1)における
移動先と拡大縮小率を求めるための評価関数である式
(1)で定義される部分Hausdorff 距離を計算する。各
物体モデルMi[Sx,Sy]に対し、探索範囲内全て
の位置でのn+1番目の画像フレームI(n+1)との
部分Hausdorff 距離hK(Mi[Sx,Sy],I(n
+1))を算出する。
In the partial Hausdorff distance calculating means 307,
A partial Hausdorff distance defined by Expression (1), which is an evaluation function for obtaining a destination and an enlargement / reduction ratio in the (n + 1) th image frame I (n + 1) of the object, is calculated. For each object model Mi [Sx, Sy], a partial Hausdorff distance hK (Mi [Sx, Sy], I (n) to the (n + 1) th image frame I (n + 1) at all positions within the search range.
+1)).

【0034】ただし、拡大縮小操作によって2点間の距
離ベクトルの単位ベクトルが異なっているため、そのま
までは不都合なので、距離正規化手段308により距離
の正規化を行なう。距離の正規化は、当該2点間の距離
ベクトルのx成分、y成分をそれぞれSx、Syで除す
ることで行なわれる。部分Hausdorff 距離算定手段30
7では、この正規化された距離ベクトルをもとに部分Ha
usdorff 距離を算出する。
However, since the unit vector of the distance vector between the two points is different due to the enlargement / reduction operation, it is inconvenient as it is. Therefore, the distance normalization means 308 normalizes the distance. The normalization of the distance is performed by dividing the x and y components of the distance vector between the two points by Sx and Sy, respectively. Partial Hausdorff distance calculation means 30
7, a partial Ha based on the normalized distance vector
Calculate usdorff distance.

【0035】物体移動先算定手段309では、このよう
にして求められた部分Hausdorff 距離のうち最小値を与
える位置と拡大縮小率をもって、n+1番目の画像フレ
ームI(n+1)での物体モデルMiの移動先および拡
大縮小率とし、物体領域更新手段310に出力をする。
The object movement destination estimating means 309 calculates the movement of the object model Mi in the (n + 1) th image frame I (n + 1) based on the position giving the minimum value and the enlargement / reduction ratio among the partial Hausdorff distances thus obtained. The data is output to the object area updating unit 310 as the destination and the enlargement / reduction ratio.

【0036】物体領域更新手段310は、物体移動先算
定手段309から得られたn+1番目の画像フレームI
(n+1)における物体モデルMiの移動先および拡大
縮小率により、物体領域格納手段304の内容を更新す
る。
The object area updating means 310 calculates the (n + 1) th image frame I obtained from the object moving destination calculating means 309.
The content of the object area storage unit 304 is updated based on the destination and the enlargement / reduction ratio of the object model Mi in (n + 1).

【0037】以上のように、本実施の形態によれば、領
域分割手段303を設け、追跡対象領域を複数の小領域
に分割することによって、追跡対象物体が非剛体である
場合でも、これを複数の剛体の集合とみなし、それぞれ
の剛体を追跡させることで、追跡の失敗を防ぐことがで
きる。また、物体モデル拡大縮小手段306を設け、物
体モデルを何段階かに拡大縮小したテンプレートと次の
画像フレームを比較することにより、対象物体の平行移
動量と拡大縮小率を求めるため、対象物体の大きさが変
化した場合にも追跡の失敗を防ぐことができる。その
際、距離正規化手段308によって拡大縮小操作による
距離の変化をなくし、正しい移動先を算出することがで
きる。
As described above, according to the present embodiment, the area dividing means 303 is provided to divide the area to be tracked into a plurality of small areas so that even if the object to be tracked is non-rigid, By considering each rigid body as a set of a plurality of rigid bodies, tracking failure can be prevented. In addition, an object model scaling unit 306 is provided to compare the template obtained by scaling the object model in several stages with the next image frame, thereby obtaining the translation amount and the scaling ratio of the target object. Even when the size changes, tracking failure can be prevented. At this time, the distance normalizing means 308 eliminates a change in distance due to the scaling operation, and can calculate a correct destination.

【0038】(実施の形態4)図4は本発明の第4の実
施の形態における画像追跡装置のブロック図である。図
4において、401はエッジ画像格納手段、402は追
跡物体入力手段、403は領域分割手段、404は物体
領域格納手段、405は物体モデル格納手段、406は
物体モデル拡大縮小手段、407は部分Hausdorff 距離
算定手段、408は距離正規化手段、409は物体移動
先算定手段、410は物体領域更新手段であり、ここま
での構成は図3に示した301から310までの構成と
同じである。411は低解像度画像格納手段、412は
カラーヒストグラム算定手段、413は探索範囲限定手
段であり、これらは図3に示した実施の形態3とは異な
る部分である。
(Embodiment 4) FIG. 4 is a block diagram of an image tracking apparatus according to a fourth embodiment of the present invention. 4, reference numeral 401 denotes an edge image storage means, 402 denotes a tracking object input means, 403 denotes an area dividing means, 404 denotes an object area storage means, 405 denotes an object model storage means, 406 denotes an object model enlargement / reduction means, and 407 denotes a partial Hausdorff. Distance calculating means, 408 is distance normalizing means, 409 is an object moving destination calculating means, and 410 is an object area updating means. The configuration up to this point is the same as the configuration from 301 to 310 shown in FIG. Reference numeral 411 denotes a low-resolution image storage unit, 412 denotes a color histogram calculation unit, and 413 denotes a search range limiting unit, which are different from the third embodiment shown in FIG.

【0039】以上のように構成された画像追跡装置につ
いて、図3に示した実施の形態3とは異なる点を中心に
その動作を説明する。低解像度画像格納手段411に
は、エッジ抽出処理および2値化処理を施す前の一連の
カラー画像フレームに対し、空間解像度を落した低解像
度画像フレームが格納されている。実施の形態3と同様
に、物体領域格納手段404には分割された小領域Ri
が格納されている。カラーヒストグラム算定手段412
は、物体領域格納手段404に格納された各小領域Ri
のn番目の低解像度画像フレームL(n)のカラーヒス
トグラム、および探索範囲内の位置全てにおけるn+1
番目の低解像度画像フレームL(n+1)のカラーヒス
トグラムを算出する。探索範囲限定手段413は、カラ
ーヒストグラム算定手段412の出力からL(n)にお
けるRiのカラーヒストグラムに最も近いカラーヒスト
グラムを持つL(n+1)の領域を求める。これにより
物体領域の移動先を大まかに求めることができる。部分
Hausdorff 距離算定手段407は、探索範囲限定手段4
13で得られた大おまかな物体移動先の周辺に限定して
部分Hausdorff 距離を算出する。
The operation of the image tracking apparatus configured as described above will be described focusing on differences from the third embodiment shown in FIG. The low-resolution image storage unit 411 stores a low-resolution image frame having a reduced spatial resolution with respect to a series of color image frames before performing the edge extraction processing and the binarization processing. As in the third embodiment, the divided small area Ri is stored in the object area storage unit 404.
Is stored. Color histogram calculation means 412
Represents each small region Ri stored in the object region storage means 404.
, The color histogram of the nth low-resolution image frame L (n), and n + 1 at all positions within the search range
The color histogram of the low-resolution image frame L (n + 1) is calculated. The search range limiting unit 413 obtains an L (n + 1) region having a color histogram closest to the Ri color histogram in L (n) from the output of the color histogram calculating unit 412. As a result, the destination of the object area can be roughly obtained. part
The Hausdorff distance calculating means 407 is a search range limiting means 4
The partial Hausdorff distance is calculated limited to the vicinity of the rough object movement destination obtained in step S13.

【0040】以上のように、本実施の形態によれば、低
解像度画像格納手段411とカラーヒストグラム算定手
段412と探索範囲限定手段413を設け、カラーヒス
トグラム算定手段412が、低解像度画像格納手段41
1に格納された空間解像度を落したn番目のカラー画像
フレームの物体領域のカラーヒストグラムと、n+1番
目のある領域のカラーヒストグラムを算出し、探索領域
限定手段413が、物体領域のカラーヒストグラムと最
も近いカラーヒストグラムを持つ領域を物体の大まかな
移動先を求め、その周辺に限定して部分Hausdorff 距離
算定手段407が部分Hausdorff 距離を求めることによ
り、演算量を削減し、処理の高速化を図ることができ
る。
As described above, according to this embodiment, the low-resolution image storing means 411, the color histogram calculating means 412, and the search range limiting means 413 are provided.
Then, the color histogram of the object region of the n-th color image frame whose spatial resolution is stored and the color histogram of the (n + 1) -th certain region are calculated. A region having a close color histogram is obtained as a rough destination of the object, and the partial Hausdorff distance calculating means 407 obtains a partial Hausdorff distance by limiting the region to the approximate destination, thereby reducing the amount of calculation and speeding up the processing. Can be.

【0041】なお、本実施の形態は、図3に示した実施
の形態3との組み合わせのみならず、図1または図2に
示した実施の形態1または2との組み合わせによっても
実施することができる。
This embodiment can be implemented not only in combination with the third embodiment shown in FIG. 3 but also in combination with the first or second embodiment shown in FIG. 1 or FIG. it can.

【0042】[0042]

【発明の効果】以上のように、本発明は、物体モデル拡
大縮小手段を設け、物体モデルを何段階かに拡大縮小し
たテンプレートを作成して物体の平行移動量だけでなく
拡大縮小率を求め、対象物体の大きさが変化した場合に
も追跡の失敗を防ぐとともに、距離正規化手段を設け、
拡大縮小による部分Hausdorff 距離の変化を無くすこと
により、正確な追跡を可能とする優れた画像追跡装置を
実現できるものである。
As described above, according to the present invention, the object model enlarging / reducing means is provided, and a template in which the object model is enlarged or reduced in several steps is prepared to obtain not only the translation amount of the object but also the enlarging / reducing ratio. , Preventing the failure of tracking even when the size of the target object changes, and providing a distance normalizing means,
By eliminating the change in the partial Hausdorff distance due to scaling, an excellent image tracking device capable of accurate tracking can be realized.

【0043】また本発明は、領域分割手段を設け、追跡
対象領域を複数の小領域に分割することによって、追跡
対象物体が非剛体である場合でも、これを複数の剛体の
集合とみなし、それぞれの剛体を追跡させることで、追
跡の失敗を防ぐことができる優れた画像追跡装置を実現
できるものである。
Further, according to the present invention, even if the object to be tracked is a non-rigid body, this is regarded as a set of a plurality of rigid bodies by dividing the area to be tracked into a plurality of small areas by providing the area to be tracked. By tracking the rigid body, it is possible to realize an excellent image tracking device that can prevent tracking failure.

【0044】また本発明は、領域分割手段と物体モデル
拡大縮小手段と距離正規化手段とを設けることによっ
て、追跡対象物体が非剛体である場合でも、対象物体の
大きさが変化した場合にも、追跡の失敗を防ぐことがで
きるだけでなく、正確な追跡を可能とする優れた画像追
跡装置を実現できるものである。
Also, the present invention provides the area dividing means, the object model enlarging / reducing means and the distance normalizing means, so that the object to be tracked can be non-rigid or the size of the object can be changed. In addition, it is possible to realize an excellent image tracking device that not only can prevent tracking failure, but also enables accurate tracking.

【0045】また本発明は、カラーヒストグラム算定手
段低解像度画像格納手段に格納された解像度を落したn
番目とn+1番目のカラー画像フレームに対し、カラー
ヒストグラム算定手段がある領域のカラーヒストグラム
を算出し、物体領域のカラーヒストグラムと最も近いカ
ラーヒストグラムを持つ領域を物体の大まかな移動先で
あるとして、その周辺に限定して部分Hausdorff 距離算
定手段が部分Hausdorff 距離を求めることにより、演算
量を削減し処理の高速化が可能となる優れた画像追跡装
置を実現できるものである。
Further, according to the present invention, the color histogram calculating means and the low-resolution image storing means are used to reduce the resolution.
For the nth and (n + 1) th color image frames, the color histogram calculating means calculates a color histogram of a certain region, and determines a region having a color histogram closest to the color histogram of the object region as a rough destination of the object. By obtaining the partial Hausdorff distance by the partial Hausdorff distance calculation means limited to the periphery, it is possible to realize an excellent image tracking device capable of reducing the amount of calculation and increasing the processing speed.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1の実施の形態における画像追跡装
置の構成を示すブロック図
FIG. 1 is a block diagram showing a configuration of an image tracking device according to a first embodiment of the present invention.

【図2】本発明の第2の実施の形態における画像追跡装
置の構成を示すブロック図
FIG. 2 is a block diagram illustrating a configuration of an image tracking device according to a second embodiment of the present invention.

【図3】本発明の第3の実施の形態における画像追跡装
置の構成を示すブロック図
FIG. 3 is a block diagram illustrating a configuration of an image tracking device according to a third embodiment of the present invention.

【図4】本発明の第4の実施の形態における画像追跡装
置の構成を示すブロック図
FIG. 4 is a block diagram showing a configuration of an image tracking device according to a fourth embodiment of the present invention.

【図5】従来の画像追跡装置の構成を示すブロック図FIG. 5 is a block diagram showing a configuration of a conventional image tracking device.

【符号の説明】[Explanation of symbols]

101、201、301、401、501 エッジ画像
格納手段 102、202、302、402、502 追跡物体入
力手段 203、303、403 領域分割手段 103、204、304、404、503 物体領域格
納手段 104、205、305、405、504 物体モデル
格納手段 105、306、406 物体モデル拡大縮小手段 106、206、307、407、505 部分Hausdo
rff 距離算定手段 107、308、408 距離正規化手段 108、207、309、409、506 物体移動先
算定手段 109、208、310、410、507 物体領域更
新手段
101, 201, 301, 401, 501 Edge image storage means 102, 202, 302, 402, 502 Tracking object input means 203, 303, 403 Area division means 103, 204, 304, 404, 503 Object area storage means 104, 205 , 305, 405, 504 Object model storage means 105, 306, 406 Object model scaling means 106, 206, 307, 407, 505 Partial Hausdo
rff distance calculating means 107, 308, 408 distance normalizing means 108, 207, 309, 409, 506 object moving destination calculating means 109, 208, 310, 410, 507 object area updating means

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 エッジ抽出処理を施した一連の2値画像
フレームを格納するエッジ画像格納手段と、前記エッジ
画像格納手段から1番目の画像フレームを取り出して追
跡対象物体を含む領域を指定するための追跡物体入力手
段と、n番目の画像フレームについて、nが1の場合は
前記追跡物体入力手段で得られた領域を格納し、nが2
以上の自然数の場合は物体領域更新手段で得られた領域
を格納する物体領域格納手段と、前記物体領域格納手段
に格納されている領域内の画像情報を物体モデルとして
格納する物体モデル格納手段と、前記物体モデル格納手
段に格納されている物体モデルを拡大縮小する物体モデ
ル拡大縮小手段と、前記物体モデル拡大縮小手段で得ら
れた各物体モデルとn+1番目の画像フレームのある領
域との部分Hausdorff 距離を計算する部分Hausdorff 距
離算定手段と、前記部分Hausdorff 距離算定手段で得ら
れた部分Hausdorff 距離を拡大縮小率により正規化する
距離正規化手段と、前記距離正規化手段で計算された距
離が最小値をとるn+1番目の画像フレームの領域を算
出する物体移動先算定手段と、前記物体移動先算定手段
で得られたn+1番目の画像フレームの領域を前記物体
領域格納手段へ出力する物体領域更新手段とを備えた画
像追跡装置。
1. An edge image storage means for storing a series of binary image frames subjected to edge extraction processing, and a first image frame taken out of the edge image storage means to specify a region including a tracking target object. And for the nth image frame, if n is 1, store the area obtained by the tracking object input means, and n is 2
In the case of the above natural numbers, an object area storing means for storing an area obtained by the object area updating means, and an object model storing means for storing image information in the area stored in the object area storing means as an object model. Object model scaling means for scaling the object model stored in the object model storage means, and a part Hausdorff of each object model obtained by the object model scaling means and a certain area of the (n + 1) th image frame A partial Hausdorff distance calculating means for calculating the distance, a distance normalizing means for normalizing the partial Hausdorff distance obtained by the partial Hausdorff distance calculating means by a scaling factor, and a distance calculated by the distance normalizing means being the minimum. Object moving destination calculating means for calculating a region of the (n + 1) th image frame taking a value, and the (n + 1) th image frame obtained by the moving object calculating means. An image tracking apparatus comprising: an object region updating unit that outputs a region of a game to the object region storage unit.
【請求項2】 エッジ抽出処理を施した一連の2値画像
フレームを格納するエッジ画像格納手段と、前記エッジ
画像格納手段から1番目の画像フレームを取り出して追
跡対象物体を含む領域を指定するための追跡物体入力手
段と、前記追跡物体入力手段で得られた領域を複数の小
領域に分割する領域分割手段と、n番目の画像フレーム
について、nが1の場合は前記領域分割手段で得られた
領域を格納し、nが2以上の自然数の場合は物体領域更
新手段で得られた領域を格納する物体領域格納手段と、
前記物体領域格納手段に格納されている領域内の画像情
報を物体モデルとして格納する物体モデル格納手段と、
前記物体モデル格納手段で得られた各物体モデルとn+
1番目の画像フレームのある領域との部分Hausdorff 距
離を計算する部分Hausdorff 距離算定手段と、前記部分
Hausdorff 距離算定手段で計算された距離が最小値をと
るn+1番目の画像フレームの領域を算出する物体移動
先算定手段と、前記物体移動先算定手段で得られたn+
1番目の画像フレームの領域を前記物体領域格納手段へ
出力する物体領域更新手段とを備えた画像追跡装置。
2. An edge image storage means for storing a series of binary image frames subjected to an edge extraction processing, and a first image frame from the edge image storage means for specifying a region including a tracking target object. Tracking object input means, area dividing means for dividing the area obtained by the tracking object input means into a plurality of small areas, and for the n-th image frame, when n is 1, the n is obtained by the area dividing means. Object area storing means for storing the area obtained by the object area updating means when n is a natural number of 2 or more;
Object model storage means for storing the image information in the area stored in the object area storage means as an object model,
Each object model obtained by the object model storage means and n +
A Hausdorff distance calculating means for calculating a Hausdorff distance from a certain region of the first image frame;
Hausdorff object moving destination calculating means for calculating an area of the (n + 1) th image frame in which the distance calculated by the distance calculating means has a minimum value, and n + obtained by the moving object calculating means
An image tracking apparatus comprising: an object area updating unit that outputs an area of a first image frame to the object area storage unit.
【請求項3】 エッジ抽出処理を施した一連の2値画像
フレームを格納するエッジ画像格納手段と、前記エッジ
画像格納手段から1番目の画像フレームを取り出して追
跡対象物体を含む領域を指定するための追跡物体入力手
段と、前記追跡物体入力手段で得られた領域を複数の小
領域に分割する領域分割手段と、n番目の画像フレーム
について、nが1の場合は前記領域分割手段で得られた
領域を格納し、nが2以上の自然数の場合は物体領域更
新手段で得られた領域を格納する物体領域格納手段と、
前記物体領域格納手段に格納されている領域内の画像情
報を物体モデルとして格納する物体モデル格納手段と、
前記物体モデル格納手段に格納されている物体モデルを
拡大縮小する物体モデル拡大縮小手段と、前記物体モデ
ル拡大縮小手段で得られた各物体モデルとn+1番目の
画像フレームのある領域との部分Hausdorff 距離を計算
する部分Hausdorff 距離算定手段と、前記部分Hausdorf
f 距離算定手段で得られた部分Hausdorff 距離を拡大縮
小率により正規化する距離正規化手段と、前記距離正規
化手段で計算された距離が最小値をとるn+1番目の画
像フレームの領域を算出する物体移動先算定手段と、前
記物体移動先算定手段で得られたn+1番目の画像フレ
ームの領域を前記物体領域格納手段へ出力する物体領域
更新手段とを備えた画像追跡装置。
3. An edge image storage means for storing a series of binary image frames subjected to edge extraction processing, and a first image frame is taken out from the edge image storage means to specify a region including a tracking target object. Tracking object input means, area dividing means for dividing the area obtained by the tracking object input means into a plurality of small areas, and for the n-th image frame, when n is 1, the n is obtained by the area dividing means. Object area storing means for storing the area obtained by the object area updating means when n is a natural number of 2 or more;
Object model storage means for storing the image information in the area stored in the object area storage means as an object model,
Object model scaling means for scaling the object model stored in the object model storage means, and a partial Hausdorff distance between each object model obtained by the object model scaling means and a region of the (n + 1) th image frame. Hausdorff distance calculating means for calculating
f The distance Hausdorff obtained by the distance calculating means The distance normalizing means for normalizing the distance by the scaling factor, and the area of the (n + 1) th image frame in which the distance calculated by the distance normalizing means takes the minimum value is calculated. An image tracking apparatus comprising: an object moving destination calculating unit; and an object region updating unit that outputs an (n + 1) -th image frame region obtained by the object moving destination calculating unit to the object region storing unit.
【請求項4】 エッジ抽出処理および2値化処理を施す
前の一連のカラー画像フレームに対し、解像度を落した
カラー画像データを格納する低解像度画像格納手段と、
n番目の低解像度画像フレームに対して物体領域格納手
段に格納された領域内のカラーヒストグラムを算定し、
n+1番目の低解像度画像フレームに対して物体領域格
納手段に格納された領域から一定範囲内の領域のカラー
ヒストグラムを算出するカラーヒストグラム算定手段
と、前記カラーヒストグラム算定手段で得られたカラー
ヒストグラムを比較することによって物体移動先を大ま
かに算出する探索範囲限定手段とを備え、部分Hausdorf
f 距離算出手段が、前記物体移動範囲限定手段から出力
された探索範囲に限定して部分Hausdorff 距離を算出す
ることを特徴とする請求項1または2または3記載の画
像追跡装置。
4. A low-resolution image storage unit for storing color image data with reduced resolution for a series of color image frames before performing an edge extraction process and a binarization process;
calculating a color histogram in the region stored in the object region storage means for the nth low resolution image frame;
Compare the color histogram calculation means for calculating the color histogram of an area within a certain range from the area stored in the object area storage means with respect to the (n + 1) th low resolution image frame, and the color histogram obtained by the color histogram calculation means Search range limiting means for roughly calculating the object destination by performing
4. The image tracking apparatus according to claim 1, wherein the distance calculating means calculates a partial Hausdorff distance limited to the search range output from the object moving range limiting means.
JP8264919A 1996-10-04 1996-10-04 Image tracking device Pending JPH10111946A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8264919A JPH10111946A (en) 1996-10-04 1996-10-04 Image tracking device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8264919A JPH10111946A (en) 1996-10-04 1996-10-04 Image tracking device

Publications (1)

Publication Number Publication Date
JPH10111946A true JPH10111946A (en) 1998-04-28

Family

ID=17410029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8264919A Pending JPH10111946A (en) 1996-10-04 1996-10-04 Image tracking device

Country Status (1)

Country Link
JP (1) JPH10111946A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010057810A (en) * 1999-12-23 2001-07-05 오길록 Apparatus and method for model-based object tracking
JP2002329207A (en) * 2001-05-02 2002-11-15 Riosu Corp:Kk Moving body tracking display system
WO2007055999A1 (en) * 2005-11-02 2007-05-18 Microsoft Corporation Robust online face tracking
JP2007257358A (en) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd Object detecting device
JP2008269258A (en) * 2007-04-19 2008-11-06 Matsushita Electric Works Ltd Template matching device
US8194134B2 (en) 2006-10-27 2012-06-05 Panasonic Corporation Target moving object tracking device
CN103945171A (en) * 2013-01-17 2014-07-23 上海快视信息技术有限公司 Criminal investigation video analyzing system and method
CN109702739A (en) * 2018-11-30 2019-05-03 广东电网有限责任公司 A kind of conducting wire method for tracing and device based on scalar space control strategy
WO2020116983A1 (en) * 2018-12-07 2020-06-11 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
JP2023096653A (en) * 2021-12-27 2023-07-07 株式会社a-LINK Object tracking method, program, system and recording medium

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010057810A (en) * 1999-12-23 2001-07-05 오길록 Apparatus and method for model-based object tracking
JP2002329207A (en) * 2001-05-02 2002-11-15 Riosu Corp:Kk Moving body tracking display system
WO2007055999A1 (en) * 2005-11-02 2007-05-18 Microsoft Corporation Robust online face tracking
US8098885B2 (en) 2005-11-02 2012-01-17 Microsoft Corporation Robust online face tracking
JP2007257358A (en) * 2006-03-23 2007-10-04 Sanyo Electric Co Ltd Object detecting device
JP4498296B2 (en) * 2006-03-23 2010-07-07 三洋電機株式会社 Object detection device
US8194134B2 (en) 2006-10-27 2012-06-05 Panasonic Corporation Target moving object tracking device
JP2008269258A (en) * 2007-04-19 2008-11-06 Matsushita Electric Works Ltd Template matching device
CN103945171A (en) * 2013-01-17 2014-07-23 上海快视信息技术有限公司 Criminal investigation video analyzing system and method
CN103945171B (en) * 2013-01-17 2017-10-10 上海快视信息技术有限公司 A kind of criminal investigation video analytic system and method
CN109702739A (en) * 2018-11-30 2019-05-03 广东电网有限责任公司 A kind of conducting wire method for tracing and device based on scalar space control strategy
CN109702739B (en) * 2018-11-30 2020-11-17 广东电网有限责任公司 Wire tracking method and device based on non-vector space control strategy
CN109702739B9 (en) * 2018-11-30 2023-11-14 广东电网有限责任公司 Lead tracking method and device based on non-vector space control strategy
WO2020116983A1 (en) * 2018-12-07 2020-06-11 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
KR20200075069A (en) * 2018-12-07 2020-06-26 삼성전자주식회사 Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
US11558545B2 (en) 2018-12-07 2023-01-17 Samsung Electronics Co., Ltd. Electronic apparatus, controlling method of electronic apparatus, and computer readable medium
JP2023096653A (en) * 2021-12-27 2023-07-07 株式会社a-LINK Object tracking method, program, system and recording medium

Similar Documents

Publication Publication Date Title
JP4348353B2 (en) Pattern recognition apparatus, pattern recognition method, and recording medium storing program realizing the method
JP6044134B2 (en) Image area dividing apparatus, method, and program according to optimum image size
EP3104331A1 (en) Digital image manipulation
US20130195351A1 (en) Image processor, image processing method, learning device, learning method and program
CN107610153B (en) Electronic device and camera
JP2006331460A (en) Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
US20190066311A1 (en) Object tracking
JPH10111946A (en) Image tracking device
JP6116765B1 (en) Object detection apparatus and object detection method
JP2005071344A (en) Image processing method, image processor and recording medium recording image processing program
CN111149101A (en) Target pattern searching method and computer readable storage medium
JPH05181411A (en) Map information collation and update system
CN111179287A (en) Portrait instance segmentation method, device, equipment and storage medium
JPH08137908A (en) Method and device for retrieving picture
JPH08335268A (en) Area extracting method
JP2017201454A (en) Image processing device and program
JP2017004052A (en) Learning device, method, and program
JP2018036901A (en) Image processor, image processing method and image processing program
JP2006031392A (en) Template matching device and method
JP4396328B2 (en) Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
JPH11120351A (en) Image matching device and storage medium to store image matching program
CN113313646B (en) Image processing method and device, electronic equipment and computer readable storage medium
JP2004178210A (en) Image processing method, image recognition method, and program for performing the method by computer
US11343526B2 (en) Method of video processing for calibrating motion vectors
Lee et al. Real-time Object Segmentation based on GPU