JP2008042808A - Target detecting and tracking apparatus - Google Patents
Target detecting and tracking apparatus Download PDFInfo
- Publication number
- JP2008042808A JP2008042808A JP2006217992A JP2006217992A JP2008042808A JP 2008042808 A JP2008042808 A JP 2008042808A JP 2006217992 A JP2006217992 A JP 2006217992A JP 2006217992 A JP2006217992 A JP 2006217992A JP 2008042808 A JP2008042808 A JP 2008042808A
- Authority
- JP
- Japan
- Prior art keywords
- object image
- processing unit
- target
- unit
- feature amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Studio Devices (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、テレビカメラや赤外線撮像装置などの撮像装置から供給される映像信号から画像処理を行い、連続する2つの画像内における物体画像の特徴量又は位置関係から追跡目標を判定し、撮像装置の向きを制御することによりに追跡目標を追跡する目標検出追随装置関する。 The present invention performs image processing from a video signal supplied from an imaging device such as a television camera or an infrared imaging device, determines a tracking target from the feature amount or positional relationship of an object image in two consecutive images, and the imaging device This invention relates to a target detection and tracking device that tracks a tracking target by controlling the orientation of the target.
誘導弾の誘導は高い精度が求められている。従来、誘導弾の誘導には撮像装置によって撮像された画像データを用いて追跡目標を追随する目標検出追随装置が用いられてきた。 High accuracy is required for guiding bullets. Conventionally, a target detection tracking device that tracks a tracking target using image data captured by an imaging device has been used for guiding a guided bullet.
この目標検出追随装置は、具体的には、テレビカメラや赤外線撮像装置などの撮像装置から供給される画像信号をデジタル信号に変換し、画像内の物体画像を検出し、物体画像毎にラベルを付与し、ラベルテーブルを作成し、ラベル毎に物体画像から、例えば濃度の最大値、最小値、座標、面積などの特徴を抽出し、これらの情報に基づいて撮像装置の方向を制御し、追跡目標を追随する。 Specifically, this target detection tracking device converts an image signal supplied from an imaging device such as a television camera or an infrared imaging device into a digital signal, detects an object image in the image, and labels each object image. Assign, create a label table, extract features such as the maximum value, minimum value, coordinates, area, etc. from the object image for each label, and control the direction of the imaging device based on these information and track Follow the goal.
従来の目標検出追随装置においては、前記ラベルテーブルは撮像されたフレーム毎に独立して作成されるため、同一の追跡目標の画像でも異なるフレームでは同じラベルが付されているとは限らず、時間的に連続した追跡目標の運動を示すデータとして用いることができなかった。 In the conventional target detection and tracking device, the label table is created independently for each captured frame, so even in the same tracking target image, the same label is not always attached to different frames, and time Cannot be used as data indicating the movement of a continuous tracking target.
特許文献1にはフレーム毎に物体画像に一度ラベルを付し、その後複数フレーム間において追跡目標の候補画像に同一ラベルが付されるようにリラベリングを行うことによりこの点を解決する旨が記載されている。
しかし、特許文献1記載の技術においては前回フレームの追跡目標に今回フレームの複数の追跡目標の候補が重なっている場合や、まったく重なりが無い場合は今回フレームにおいて追跡目標の判定が困難となるという問題点があった。
However, in the technique described in
本発明は上記のような従来の問題点に鑑みてなされたものであり、前回フレームの追跡目標に今回フレームの複数の追跡目標の候補が重なっている場合や、まったく重なりが無い場合においても追跡目標を判定することが可能である目的物検出追随装置を提供することを目的とする。 The present invention has been made in view of the above-described conventional problems, and tracking is performed even when a plurality of tracking target candidates of the current frame overlap the tracking target of the previous frame or when there is no overlap at all. It is an object of the present invention to provide an object detection and tracking device capable of determining a target.
前記目的を達成するために、請求項1の発明は、撮像処理部により得られた映像信号をフレーム毎のデジタル信号の画像信号に変換するAD変換部と、前記AD変換部が変換した画像内の物体画像の面積を算出し、記憶する面積計算記憶部と、前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の位置関係を検出する連結調査処理部と、前記面積計算記憶部が算出した前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の面積の相関関係及び前記連結調査処理部が検出した位置関係から、今回フレームにおける追跡目標の物体画像を判定する目標判断部と、前記目標判定部が判定した追跡目標の位置に基づいて、撮像処理部の方向を制御するジンバル機構部と、を有することを特徴とする。
In order to achieve the object, the invention of
本発明によれば、前回フレームの追跡目標に今回フレームの複数の追跡目標の候補が重なっている場合や、まったく重なりが無い場合においても追跡目標を判定することが可能となる効果が得られる。 According to the present invention, it is possible to determine a tracking target even when a plurality of tracking target candidates in the current frame overlap the tracking target in the previous frame or when there is no overlap at all.
以下、本発明による目標検出追随装置の実施形態について図面を用いて説明する。 Hereinafter, embodiments of a target detection tracking device according to the present invention will be described with reference to the drawings.
<実施形態1>
図1に本発明の第1の実施形態における構成を示す。この目標検出追随装置は、撮影視野を所定のフレームレートにて撮影し、撮影フレームを順次出力する撮像処理部101と、この撮像処理部101の出力信号をデジタル信号に変換するAD変換部102と、このAD変換部102においてデジタル化された映像信号を受けて必要な前処理を行う前処理部103と、画像の輪郭を強調する特徴強調部104と、輪郭が強調された信号を2値化して画像の強調された部分を抽出する2値化処理部105と、この2値化処理部105において抽出された部分である物体画像毎にラベルを付与するラベリング処理部107と、特徴強調部104の出力とラベリング処理部107の出力からラベルが付与された物体画像毎の特徴量を計算し、記憶する特徴量計算記憶部106と、ラベルが付与された前回と今回の物体画像の重なりなどの位置関係を調査する連結調査処理部108と、特徴量計算記憶部106が算出した各物体画像の特徴量と前記連結調査処理部108が検出した各物体の位置関係から追跡目標を判定する目標判断部109と、目標判断部109の出力から目標に対する情報を作成する追跡処理部110と、追跡処理部110出力の情報に基づいて撮像装置の方向を制御するジンバル機構部111とを有する。
<
FIG. 1 shows the configuration of the first embodiment of the present invention. The target detection and tracking device captures an imaging field of view at a predetermined frame rate, sequentially outputs the imaging frames, and an
ラベリング処理部107では、2値化処理部105において、得られた物体画像に順にラベルを付け、連結調査処理部108では、ラベリング処理部107においてラベルが付与された前回フレームの物体画像と今回フレームの物体画像の座標から、両物体画像の重なりなどの位置関係を調査する。
In the
ここで、位置関係とは例えば物体画像の重なりが挙げられるが、これに限らずある物体画像を基準とした相対的位置関係をも含む。 Here, the positional relationship includes, for example, overlapping of object images, but is not limited to this and includes a relative positional relationship based on a certain object image.
一方、特徴強調部104で特徴強調された物体画像の特徴量は特徴量計算記憶部106において計算され記憶される。ここで、特徴強調とは例えば輪郭の補正が挙げられるがこれに限られるものではない。目標判断部109では、特徴量計算記憶部106が算出した前回フレームにおける物体画像と今回フレームにおける物体画像の特徴量の値や連結調査処理部108が検出した物体画像間の位置関係から、今回フレームにおける追跡目標の物体画像を判定する。
On the other hand, the feature amount of the object image feature-enhanced by the feature enhancement unit 104 is calculated and stored in the feature amount calculation storage unit 106. Here, the feature enhancement includes, for example, contour correction, but is not limited thereto. The
次にこの目標検出追随装置の各部における処理を、更に具体的に説明する。 Next, the processing in each part of the target detection tracking device will be described more specifically.
ラベリング処理部107におけるラベリング処理のフローチャートを図2に示す。ステップS201では、ラベリング処理部107は2値化処理部105からの1フレームの画像の入力を監視している。
A flowchart of the labeling process in the
ラベリング処理部107に2値化処理部105から1フレームの入力があった場合、ステップS202では、ラベリング処理部107はそのフレームにおける物体画像を検知し、ステップS203において、ラベリング処理部107はそのフレームの検知された物体画像に順次ラベルを付与する。そして、ステップS204において、ラベリング処理部107はラベルと位置を物体画像テーブルに格納する。
When one frame is input from the
次に、ステップS205において、ラベリング処理部107は上記フレーム中にラベルが付与されていない物体画像があるかを判定する。ラベルが付与されていない物体画像がある場合には、ステップ202に戻る。無い場合には、ステップS206においてラベルと位置が格納されている上記物体画像テーブルを特徴量計算記憶部106と連結調査処理部108に送る。この実施形態では、特徴量計算記憶部106では具体的には物体画像の面積を計算する面積計算記憶部である。
In step S205, the
次に、特徴量計算記憶部106における処理を、図3に示すフローチャートを用いて説明する。 Next, processing in the feature quantity calculation storage unit 106 will be described using the flowchart shown in FIG.
特徴量計算記憶部106は、ステップS301において特徴強調部104とラベリング処理部107からの入力を監視している。特徴強調部104およびラベリング処理部107から入力があった場合、ステップS302において特徴量計算記憶部106は、ラベリング処理部107から入力されたラベルと位置が格納されている前記物体画像テーブルから、ラベルと位置を読み込む。次のステップS303では、特徴量計算処理部106は、その読み込んだ位置に存在する物体画像の面積を計算する。本実施例においては、特徴量は面積である。特徴量テーブルに関しては後述する。
The feature quantity calculation storage unit 106 monitors inputs from the feature enhancement unit 104 and the
なお、位置とは具体的には例えば座標や緯度,経度などが挙げられるが、これらに限られるものではない。 Specific examples of the position include, but are not limited to, coordinates, latitude, longitude, and the like.
次のステップS304において、特徴量が計算されていない物体画像があるか判定される。特徴量が計算されていない物体画像がある場合、即ち物体画像テーブルにおいてラベルが付されているが特徴量が計算されていない物体画像がある場合、即ちステップS304でyesの場合には、ステップS302に戻って物体画像テーブルにおいてまだ特徴量が計算されていない物体画像のラベルと位置を読み込み、この物体画像の各特徴量を計算し特徴量テーブルにそれらの特徴量を格納する。 In the next step S304, it is determined whether or not there is an object image whose feature value has not been calculated. If there is an object image for which the feature amount has not been calculated, that is, if there is an object image that has been labeled in the object image table but has not been calculated for the feature amount, that is, if yes in step S304, step S302 is performed. Returning to FIG. 5, the label and position of an object image whose feature values have not yet been calculated in the object image table are read, each feature value of this object image is calculated, and those feature values are stored in the feature value table.
一方、ラベリング処理部107から入力されたラベルと位置が格納されている前記物体画像テーブルに格納されている全てのラベルについて、特徴量である面積の計算と特徴量テーブルへの格納が終了した場合、すなわちステップS304でNoの場合、ステップS305において、完成した特徴量テーブルを目標判断部109へ送る。
On the other hand, for all labels stored in the object image table in which the label and position input from the
連結調査処理部108は、ラベリング処理部107の出力を受信して、図4に示すフローチャートに従った処理を行う。
The connection
連結調査処理部108は、ステップS401においてラベリング処理部107からの入力を常時、監視している。ラベリング処理部107から前記物体画像テーブルの入力があった場合、ステップS402において前記物体画像テーブルからラベルと位置を順次読み込む。
The connection
次に、ステップS403において、連結調査処理部108は読み込んだ今回のフレームの物体画像に対応するラベルの位置を基に、今回のフレームの物体画像が前回フレームの追跡目標に重なっているか判定する。追跡目標が重なっていなければステップS402に戻り、次の物体画像についてラベルと位置を読み込む。今回フレームと前回フレームにおいて物体画像が重なっている場合には、ステップS404において、その重なっている物体画像の前回フレームと今回フレームのラベルと位置をメモリ(図示せず)に格納する。
Next, in step S403, the connection
次のステップS405では、判定していないラベル、すなわち物体画像があるか調べる。判断していないラベルがある場合にはステップS402に戻ってそのラベルと位置を読み込み、ステップS403においてその物体画像が重なっているかを調べる。 In the next step S405, it is checked whether there is an unjudged label, that is, an object image. If there is a label that has not been determined, the process returns to step S402, the label and position are read, and it is checked in step S403 whether the object images overlap.
一方、今回フレームと前回フレームでの重なり状態を判断していない物体画像がなくなっていれば、次のステップS406に移り、重なり状態の情報を目標判断部109に送った後、ステップS401に戻って次のラベリング処理部107からの入力に備える。
On the other hand, if there are no object images for which the overlap state between the current frame and the previous frame has not been determined, the process proceeds to the next step S406, and the overlap state information is sent to the
目標判断部109は、特徴量計算記憶部106から入力される個々の物体画像の特徴量と、連結調査処理部108から入力される物体画像の重なり状態の情報に基づいて、図5に示すフローチャートに従って追跡目標の連続性を判断する。なお、図7は前回フレームの追跡目標と今回フレームの物体画像の関係を例示した図である。
The
目標判断部109は、ステップS501において特徴量計算記憶部106と連結調査処理部108から送られてくる入力を常時、監視している。特徴量計算記憶部106と連結調査処理部108から入力があった場合、ステップS501において、目標判断処理部109は連結調査処理部108からの入力を読み込む。
The
次にステップS502において、目標判断部109は前回フレームにおいて追跡目標があるかどうかを判定する。ない場合にはステップS503に進み、ある場合にはステップS504に進む。
In step S502, the
ステップS503において、目標判断部109は連結調査処理部108から入力した今回フレームにつき、あらかじめ記憶している追跡目標の特徴量に相関の高い特徴量を持つ物体画像があるか、又は3フレーム以上前のフレームにおいて存在し、前回フレームにおいて消滅した追跡目標につき、消滅前の追跡目標の特徴量と相関の高い特徴量を持つ物体画像があるか判定する(図7ケース1)。ない場合にはステップS501に戻り、ある場合にはステップS505において、目標判断部109は今回フレームの相関の高い物体画像を追跡目標とし、ステップS511に進む。
In step S503, the
ここで、実施形態1においては、特徴量は物体の面積とする。従って、特徴量の相関が高いとは、面積が等しいか近似することを意味する。 Here, in the first embodiment, the feature amount is the area of the object. Therefore, a high correlation between feature amounts means that the areas are equal or approximate.
ステップS504において、目標判断部109は今回フレームにおいて前回フレームの追跡目標に重なっている物体画像があるか判定する。ある場合にはステップS506に進み、ない場合にはステップS509に進む。
In step S504, the
ステップS506において、目標判断部109は前回フレームの追跡目標に重なっている今回フレームの物体画像が2個以上あるか判定する。重なっている物体画像が2個以上ない場合、すなわち重なっている物体画像が一つの場合にはステップS508に進む。ステップS508において、目標判断部109は重なっている今回フレームの物体画像を追跡目標とし、ステップS511に進む。
In step S506, the
この場合には例えば次のようなケースがある。前回フレームに物体画像が追跡目標一つだけであり、今回フレームにおいても物体画像が一つだけの場合(図7ケース2)。前回フレームにおいて追跡目標の他に物体画像が一つ以上あり、今回フレームにおいてこれらの物体画像がすべて一つに結合した場合(図7ケース5)。
In this case, for example, there are the following cases. The case where there is only one object image in the previous frame and there is only one object image in the current frame (
重なっている物体画像が2個以上ある場合、ステップS507に進む。ステップS507において、目標判断部109は重なっている今回フレームの物体画像のうち前回フレームの追跡目標の特徴量と相関の高い特徴量を持つ物体画像を追跡目標とし、ステップS511に進む。この場合には例えば次のようなケースがある。前回フレームに物体画像が追跡目標一つだけであり、今回フレームにおいてその追跡目標が二つ以上に分離した場合(図7ケース3)。前回フレームにおいて追跡目標の他に物体画像が一つ以上あり、今回フレームにおいてこれらの物体画像のうち一部が結合するとともに一部が分離した場合(図7ケース4)。
If there are two or more overlapping object images, the process proceeds to step S507. In step S507, the
ステップ509において、目標判断部109は前回フレームにおいて存在した追跡目標が今回フレームにおいて消滅し、前回フレームの追跡目標の位置から一定距離内において物体画像が発生したか判定する。発生していない場合はステップS501に戻る。発生した場合はステップS510に進み、目標判断部109は発生した物体画像のうち前回フレームの追跡目標の特徴量と相関の高い特徴量を持つ物体画像を追跡目標とし(図7ケース6)、ステップS511に進む。
In
ステップS511において、目標判断部109は今回フレームの追跡目標のラベルと位置を追跡処理部110に送る。
In step S511, the
以上述べたように、実施形態1においては目標判断部109において、特徴量計算記憶部106により計算された各物体画像の面積と連結調査処理部108において判定された前回フレームの追跡目標との重なりとから今回フレームの追跡目標を判定するため、より精度の高い追跡が可能となる。
As described above, in the first embodiment, the
<実施形態2>
実施形態2の構成は実施形態1の構成と同様である。実施形態2においては、特徴量が物体画像の面積、最大輝度、重心座標、移動方向のうちから一種類以上選ばれるが、特徴量はこれらに限られるものではない。
<
The configuration of the second embodiment is the same as the configuration of the first embodiment. In the second embodiment, one or more types of feature amounts are selected from the area of the object image, the maximum luminance, the barycentric coordinates, and the movement direction, but the feature amounts are not limited to these.
特徴量計算記憶部106における処理を、図6に示すフローチャートを用いて説明する。 Processing in the feature quantity calculation storage unit 106 will be described with reference to the flowchart shown in FIG.
特徴量計算記憶部106は、ステップS701において特徴強調部104とラベリング処理部107からの入力を監視している。特徴強調部104およびラベリング処理部107から入力があった場合、ステップS702において特徴量計算記憶部106は、ラベリング処理部107から入力されたラベルと位置が格納されている前記物体画像テーブルから、ラベルと位置を読み込む。次のステップS703では、特徴量計算処理部106は、その読み込んだ位置に存在する物体画像の特徴量の1つである面積を計算する。
The feature quantity calculation storage unit 106 monitors inputs from the feature enhancement unit 104 and the
次のステップS704では当該物体画像の特徴量の1つである輝度が計算され、ステップS705ではその物体画像の特徴量の1つである重心が計算され、ステップS706ではその物体画像の特徴量の1つである移動方向が計算される。計算されたこれらの特徴量(面積、輝度、重心、移動方向)は、ステップS707において、物体画像に付けられたラベルに対応する特徴量テーブルに格納される。なお、計算する特徴量の順序はどのような順でもよい。 In the next step S704, the luminance, which is one of the feature values of the object image, is calculated. In step S705, the center of gravity, which is one of the feature values of the object image, is calculated. In step S706, the feature value of the object image is calculated. One moving direction is calculated. These calculated feature amounts (area, luminance, center of gravity, moving direction) are stored in a feature amount table corresponding to the label attached to the object image in step S707. Note that the order of the feature quantities to be calculated may be any order.
次のステップS708において、特徴量が計算されていない物体画像があるか判定される。特徴量が計算されていない物体画像がある場合、即ち物体画像テーブルにおいてラベルが付されているが特徴量が計算されていない物体画像がある場合、即ちステップS708でyesの場合には、ステップS702に戻って物体画像テーブルにおいてまだ特徴量が計算されていない物体画像のラベルと位置を読み込み、この物体画像の各特徴量を計算し特徴量テーブルにそれらの特徴量を格納する。 In the next step S708, it is determined whether or not there is an object image whose feature value has not been calculated. If there is an object image for which the feature amount has not been calculated, that is, if there is an object image that has been labeled in the object image table but has not been calculated for the feature amount, that is, if yes in step S708, step S702 is performed. Returning to FIG. 5, the label and position of an object image whose feature values have not yet been calculated in the object image table are read, each feature value of this object image is calculated, and those feature values are stored in the feature value table.
一方、ラベリング処理部107から入力されたラベルと位置が格納されている前記物体画像テーブルに格納されている全てのラベルについて、面積を初めとする特徴量の計算と特徴量テーブルへの格納が終了した場合、すなわちステップS708でNoの場合、ステップS709において、完成した特徴量テーブルを目標判断部109へ送る。
On the other hand, for all the labels stored in the object image table in which the label and position input from the
図8は代表的な特徴量と各特徴量における追跡目標の判定方法をまとめたものである。いずれの特徴量においても、前回フレームにおける追跡目標の特徴量と、今回フレームの物体画像の特徴量において、相関が高い物体画像が追跡目標とされる。 FIG. 8 summarizes representative feature amounts and methods for determining a tracking target for each feature amount. In any feature amount, an object image having a high correlation between the feature amount of the tracking target in the previous frame and the feature amount of the object image in the current frame is set as the tracking target.
面積は、物体画像内のドット数又はピクセル数から求めることができる。例えば、前回フレームにおいて面積が10であり、今回フレームにおいて面積が5の物体画像と面積が11の物体画像が検知された場合、面積が11の物体画像を追跡目標とする。 The area can be obtained from the number of dots or the number of pixels in the object image. For example, when an object image having an area of 10 in the previous frame and an object image having an area of 11 and an object image having an area of 11 are detected in the current frame, the object image having an area of 11 is set as the tracking target.
輝度は、例えばRGBのようなデジタルデータにAD変換部102において変換されているため、容易に求めることができる。今回フレームにおいて複数の物体画像がある場合、前回フレームにおける追跡目標最大輝度に近い最大輝度を持つ物体画像を追跡とする。
The luminance can be easily obtained because it is converted into digital data such as RGB by the
重心は公知の方法により求めることができる。今回フレームにおいて複数の物体画像がある場合、前回フレームにおける重心位置に近い重心位置を持つ物体画像を追跡目標とする。なお、重心位置とは具体的には例えば重心の座標や緯度,経度などが挙げられるがこれに限られるものではない。 The center of gravity can be obtained by a known method. When there are a plurality of object images in the current frame, an object image having a centroid position close to the centroid position in the previous frame is set as a tracking target. Specific examples of the position of the center of gravity include, but are not limited to, coordinates of the center of gravity, latitude, and longitude.
動きは、例えば物体画像の重心位置を前回フレームと今回フレームとを比較することにより求めることができる。ここで動きとは例えば移動方向を挙げられるがこれに限られるものではない。今回フレームにおいて複数の物体画像がある場合、前回フレームにおける動きと同一または近似する動きを示す物体画像を追跡目標とする。 For example, the movement can be obtained by comparing the center of gravity position of the object image with the previous frame and the current frame. Here, the movement may be, for example, a moving direction, but is not limited thereto. When there are a plurality of object images in the current frame, an object image showing a motion that is the same as or similar to the motion in the previous frame is set as a tracking target.
各部の処理フローも実施形態1と同様であるが、特徴量を上記のように増やしたことにより、特徴量計算処理部106が作成する特徴量テーブルは図8のようになる。特徴量テーブルはフレーム毎に作成される。 The processing flow of each unit is the same as that in the first embodiment, but the feature amount table created by the feature amount calculation processing unit 106 is as shown in FIG. 8 by increasing the feature amount as described above. A feature table is created for each frame.
図9(a)は第1フレーム(前回フレーム)の例である。ラベルの欄にはラベリング処理部107が付与したラベルが格納される。ラベル毎に特徴量である、面積、輝度、重心位置、移動方向などが計算され、格納される。各ラベルのデータの例は、ラベルがF1L1、面積が10、輝度が20、重心位置が(50,150)、方向が0である。図8(b)は第2フレーム(今回フレーム)の例である。各ラベルのデータの例は、ラベルがF2L1の物体画像の場合、面積が11、輝度が19、重心位置が(52,149)、方向が3である。また、ラベルがF2L2の物体画像の場合、面積が5、輝度が11、重心位置が(90,45)、方向が85である。特徴量テーブルはメモリに格納しても良いし、磁気ディスクドライブのような外部記憶装置に格納しても良い。
FIG. 9A shows an example of the first frame (previous frame). The label assigned by the
なお、特徴量の相関が高いとは特徴量が同一ないし近似していることを意味する。例えば、図9(a)のラベルF1L1が追跡目標であるとすると、上述したデータの例を参照すれば、図9(b)においてラベルF2L1の方がラベルF2L2よりも特徴量の相関が高いことが分かる。 Note that a high correlation between feature amounts means that the feature amounts are the same or approximate. For example, assuming that the label F1L1 in FIG. 9A is a tracking target, referring to the above-described example of data, the label F2L1 in FIG. 9B has a higher correlation of feature amounts than the label F2L2. I understand.
相関の高さを計算する際に、特徴量に係数を掛けて特定の特徴量を特に重視するように構成してもよい。 When calculating the level of correlation, the feature amount may be multiplied by a coefficient so that a particular feature amount is particularly emphasized.
以上述べたように、上記実施形態2において、物体画像の面積と輝度など他の特徴量との組み合わせを用いれば、より精度の高い追跡が可能となる利点がある。 As described above, the second embodiment has an advantage that tracking can be performed with higher accuracy by using a combination of the area of the object image and another feature amount such as luminance.
本発明において、物体画像の面積、最大輝度、重心座標、移動方向のうちから一種類、或いは2以上を特徴量として計算することは可能である。 In the present invention, it is possible to calculate one type or two or more of the area, maximum luminance, barycentric coordinates, and moving direction of the object image as the feature amount.
101:撮像処理部、
102:AD変換部、
103:前処理部、
104:特徴強調部、
105:2値化処理部、
106:特徴量計算記憶部、
107:ラベリング処理部、
108:連結調査処理部、
109:目標判断部、
110:追跡処理部、
111:ジンバル機構部。
101: an imaging processing unit,
102: AD converter,
103: Pre-processing unit,
104: Feature enhancement unit,
105: binarization processing unit,
106: feature amount calculation storage unit,
107: Labeling processor
108: Consolidated investigation processing unit,
109: Target determination unit,
110: Tracking processing unit,
111: Gimbal mechanism.
Claims (4)
前記AD変換部が変換した画像内の物体画像の面積を算出し、記憶する面積計算記憶部と、
前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の位置関係を検出する連結調査処理部と、
前記面積計算記憶部が算出した前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の面積の相関関係及び前記連結調査処理部が検出した位置関係から、今回フレームにおける追跡目標の物体画像を判定する目標判断部と、
前記目標判定部が判定した追跡目標の位置に基づいて、撮像処理部の方向を制御するジンバル機構部と、
を有することを特徴とする目標検出追随装置。 An AD conversion unit that converts the video signal obtained by the imaging processing unit into an image signal of a digital signal for each frame;
An area calculation storage unit for calculating and storing the area of the object image in the image converted by the AD conversion unit;
A connection investigation processing unit for detecting a positional relationship between the object image in the previous frame and the object image in the current frame;
The tracking target object image in the current frame is determined from the correlation between the area of the object image in the previous frame calculated by the area calculation storage unit and the area of the object image in the current frame and the positional relationship detected by the connection investigation processing unit. A goal determination unit;
Based on the position of the tracking target determined by the target determination unit, a gimbal mechanism unit that controls the direction of the imaging processing unit,
A target detection tracking device characterized by comprising:
前記AD変換部が変換した画像内の物体画像の特徴量を算出し、記憶する特徴量計算記憶部と、
前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の位置関係を検出する連結調査処理部と、
前記特徴量計算記憶部が算出した前回フレームにおける前記物体画像と今回フレームにおける前記物体画像の特徴量の相関関係又は前記連結調査処理部が検出した位置関係から、今回フレームにおける追跡目標の物体画像を判定する目標判断部と、
前記目標判定部が判定した追跡目標の位置に基づいて、撮像処理部の方向を制御するジンバル機構部と、
を有することを特徴とする目標検出追随装置。 An AD conversion unit that converts the video signal obtained by the imaging processing unit into an image signal of a digital signal for each frame;
A feature amount calculation storage unit that calculates and stores the feature amount of the object image in the image converted by the AD conversion unit;
A connection investigation processing unit for detecting a positional relationship between the object image in the previous frame and the object image in the current frame;
Based on the correlation between the object image in the previous frame calculated by the feature amount calculation storage unit and the feature amount of the object image in the current frame or the positional relationship detected by the connection investigation processing unit, the object image of the tracking target in the current frame is calculated. A target judging unit for judging;
Based on the position of the tracking target determined by the target determination unit, a gimbal mechanism unit that controls the direction of the imaging processing unit,
A target detection tracking device characterized by comprising:
The target detection tracking device according to claim 2, wherein the feature amount is a combination of any one of an area of an object image, maximum luminance, barycentric coordinates, and a moving direction.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006217992A JP4768544B2 (en) | 2006-08-10 | 2006-08-10 | Target detection tracking device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006217992A JP4768544B2 (en) | 2006-08-10 | 2006-08-10 | Target detection tracking device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008042808A true JP2008042808A (en) | 2008-02-21 |
JP4768544B2 JP4768544B2 (en) | 2011-09-07 |
Family
ID=39177295
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006217992A Active JP4768544B2 (en) | 2006-08-10 | 2006-08-10 | Target detection tracking device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4768544B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008117196A (en) * | 2006-11-06 | 2008-05-22 | Toshiba Corp | Moving image processor for guidance device, target tracing system for guidance device, and target tracing method in moving image processor of guidance device |
JP2011158409A (en) * | 2010-02-03 | 2011-08-18 | Mitsubishi Electric Corp | Target tracking device, computer program, and target tracking method |
JP2014071902A (en) * | 2012-09-28 | 2014-04-21 | Boeing Co | Method and system for using fingerprints to track moving objects in video |
CN111340840A (en) * | 2020-02-28 | 2020-06-26 | 浙江大华技术股份有限公司 | Method, equipment and device for determining relative movement speed of target object |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07154666A (en) * | 1993-11-26 | 1995-06-16 | Victor Co Of Japan Ltd | Video camera |
JP2002245560A (en) * | 2001-02-19 | 2002-08-30 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP3668092B2 (en) * | 2000-03-22 | 2005-07-06 | 株式会社東芝 | Image processing apparatus and target detection tracking apparatus using the same |
JP2005260633A (en) * | 2004-03-12 | 2005-09-22 | Fujitsu Ltd | Multimode tracking system |
-
2006
- 2006-08-10 JP JP2006217992A patent/JP4768544B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07154666A (en) * | 1993-11-26 | 1995-06-16 | Victor Co Of Japan Ltd | Video camera |
JP3668092B2 (en) * | 2000-03-22 | 2005-07-06 | 株式会社東芝 | Image processing apparatus and target detection tracking apparatus using the same |
JP2002245560A (en) * | 2001-02-19 | 2002-08-30 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP2005260633A (en) * | 2004-03-12 | 2005-09-22 | Fujitsu Ltd | Multimode tracking system |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008117196A (en) * | 2006-11-06 | 2008-05-22 | Toshiba Corp | Moving image processor for guidance device, target tracing system for guidance device, and target tracing method in moving image processor of guidance device |
JP2011158409A (en) * | 2010-02-03 | 2011-08-18 | Mitsubishi Electric Corp | Target tracking device, computer program, and target tracking method |
JP2014071902A (en) * | 2012-09-28 | 2014-04-21 | Boeing Co | Method and system for using fingerprints to track moving objects in video |
CN111340840A (en) * | 2020-02-28 | 2020-06-26 | 浙江大华技术股份有限公司 | Method, equipment and device for determining relative movement speed of target object |
Also Published As
Publication number | Publication date |
---|---|
JP4768544B2 (en) | 2011-09-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10574943B2 (en) | Information processing system, information processing method, and program | |
JP7003628B2 (en) | Object tracking program, object tracking device, and object tracking method | |
EP3420530B1 (en) | A device and method for determining a pose of a camera | |
JP6525453B2 (en) | Object position estimation system and program thereof | |
US9321173B2 (en) | Tracking and following people with a mobile robotic device | |
US10223595B2 (en) | Methods, devices and computer programs for tracking targets using independent tracking modules associated with cameras | |
JP6806188B2 (en) | Information processing system, information processing method and program | |
JP6347211B2 (en) | Information processing system, information processing method, and program | |
JP4768544B2 (en) | Target detection tracking device | |
US20110164821A1 (en) | Designating corridors to provide estimates of structures | |
JP2008250772A (en) | Mobile object tracking device | |
US11587240B2 (en) | Moving body detecting device, moving body detecting method, and moving body detecting program | |
JP2006318064A (en) | Image sensor | |
JP2006004435A (en) | Line tracing algorithm using sector retrieval window | |
TWI503790B (en) | Method of Real-Time Multi-Object Identification and tracking | |
JP7232663B2 (en) | Image processing device and image processing method | |
JP2003346159A (en) | Person tracking method and person tracking device | |
US11704815B2 (en) | Tracking device, tracking method, and tracking system | |
WO2018220824A1 (en) | Image discrimination device | |
JPH0863602A (en) | Object tracking device | |
CN112396631A (en) | Object tracking method and computer system thereof | |
KR102544972B1 (en) | Method for tracking sports participants, device for tracking sports participants, and system for tracking sports participants | |
JP2005286643A (en) | Automatic moving object tracking method and its system | |
CN102968611A (en) | Information processor and information processing method | |
JP2008079007A (en) | Image processor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080704 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20100526 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100713 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100902 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4768544 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |