JP2007188268A - On-image mobile object tracking method and device - Google Patents
On-image mobile object tracking method and device Download PDFInfo
- Publication number
- JP2007188268A JP2007188268A JP2006005447A JP2006005447A JP2007188268A JP 2007188268 A JP2007188268 A JP 2007188268A JP 2006005447 A JP2006005447 A JP 2006005447A JP 2006005447 A JP2006005447 A JP 2006005447A JP 2007188268 A JP2007188268 A JP 2007188268A
- Authority
- JP
- Japan
- Prior art keywords
- moving object
- image
- cluster
- sampling time
- object tracking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
本発明は、記憶手段に格納された時系列画像上の移動物体を画像処理により認識して追跡する画像上移動物体追跡方法及び装置に係り、特に道路上の車輌が画像上で重なり合って移動している場合に好適な画像上移動物体追跡方法及び装置に関する。 The present invention relates to an on-image moving object tracking method and apparatus for recognizing and tracking a moving object on a time-series image stored in a storage means by image processing, and in particular, a vehicle on a road moves overlapping on the image. It is related with the moving object tracking method and apparatus on a suitable image.
ビデオカメラで移動物体を撮像し、画像処理して画像上の移動物体を追跡することにより、交通状態や交通事故の検出等を自動的に行うことができる。 By capturing a moving object with a video camera, performing image processing, and tracking the moving object on the image, it is possible to automatically detect a traffic state or a traffic accident.
画像上の移動物体を追跡する方法として、例えば480×640画素のフレーム画像を8×8画素のブロックに分割して60×80ブロックの画像とし、各ブロックの画像を背景画像の対応するブロックの画像と比較して、ブロック単位で移動物体を検出し、時刻t−1とtのフレーム画像の時空相関に基づいてブロック単位で移動物体の識別符号(ID)及び動きベクトル(MV)を求める方法がある(例えば下記特許文献1)。これにより、同一移動物体と認められるブロックには同一IDが付与される。
As a method of tracking a moving object on an image, for example, a frame image of 480 × 640 pixels is divided into 8 × 8 pixel blocks to form 60 × 80 block images, and the image of each block is changed to the corresponding block of the background image. A method of detecting a moving object in units of blocks as compared to an image and obtaining an identification code (ID) and a motion vector (MV) of the moving object in units of blocks based on the space-time correlation of frame images at times t-1 and t (For example,
また、2つの移動物体が画像上で重なり合って1つのクラスタを形成していても、ある時点でそれらの間に速度差が所定値以上あれば、これに基づいてクラスタを分割し、上記時空相関に基づいて時間を進め又は遡ることにより、相対速度が殆ど無くても、正又は負の時間軸方向に存在する移動物体を分割して認識することができる。
しかしながら、移動物体がフレーム内に現れてからフレーム外に消失するまでの間に、画像上で重なり合った移動物体間の相対速度が殆どゼロであれば、両移動物体を分割して認識することができない。 However, if the relative speed between moving objects overlapping on the image is almost zero between the time when the moving object appears in the frame and disappears outside the frame, both moving objects can be divided and recognized. Can not.
本発明の目的は、このような問題点に鑑み、複数の移動物体が画像上で互いに重なり合い、それらの間の相対速度が殆どゼロであっても、分割された複数の移動物体として認識することが可能な画像上移動物体追跡方法及び装置を提供することにある。 In view of such a problem, the object of the present invention is to recognize a plurality of moving objects as a plurality of divided moving objects even if they overlap each other on the image and the relative velocity between them is almost zero. An object of the present invention is to provide a moving object tracking method and apparatus on an image.
本発明の第1態様では、記憶手段に格納された時系列画像上の移動物体を画像処理により認識して追跡する画像上移動物体追跡方法において、
(a)1つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、
(b)肯定判定した場合には、クラスタ内のエッジの分布を調べ、
(c)該分布に基づいて該クラスタを複数の移動物体領域に分割する、
ステップを有する。
In the first aspect of the present invention, in the moving object tracking method on the image for recognizing and tracking the moving object on the time-series image stored in the storage unit by image processing,
(A) determining whether the cluster size of the moving object recognized as one is larger than a set value;
(B) If the determination is affirmative, examine the distribution of edges in the cluster,
(C) dividing the cluster into a plurality of moving object regions based on the distribution;
Having steps.
本発明による画像上移動物体追跡方法の第2態様では、第1態様において、
該画像上移動物体追跡方法は、サンプリング時刻t1のフレーム画像と、該サンプリング時刻t1と隣り合うサンプリング時刻t2のフレーム画像との相関関係と、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻t2のフレーム画像に含まれる移動物体を識別するものであり、
該ステップ(c)により分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れる。
In the second aspect of the moving object tracking method on the image according to the present invention, in the first aspect,
The moving object tracking method on the image includes a correlation between a frame image at a sampling time t1 and a frame image at a sampling time t2 adjacent to the sampling time t1, and identification of a moving object included in the frame image at the sampling time t1. Based on the result, the moving object included in the frame image at the sampling time t2 is identified,
The plurality of moving object regions divided in step (c) are taken as part of the identification result of the moving object included in the frame image at the sampling time t1.
本発明による画像上移動物体追跡方法の第3態様では、第2態様において、
画像フレームに対応したエリア内に、進入する移動物体の有無を判定し肯定判定した場合に該移動物体にIDを付与するための領域又は線を予め設定しておき、
該クラスタが該領域又は線と所定の関係にあるか否かを判定し、
該所定の関係にあると判定した場合に、該ステップ(a)へ進む。
In the third aspect of the moving object tracking method on the image according to the present invention, in the second aspect,
In the area corresponding to the image frame, if the presence or absence of an entering moving object is determined and an affirmative determination is made, an area or a line for giving an ID to the moving object is set in advance,
Determine whether the cluster is in a predetermined relationship with the region or line;
When it is determined that the predetermined relationship exists, the process proceeds to step (a).
本発明による画像上移動物体追跡方法の第4態様では、第1乃至3態様のいずれか1つにおいて、
該ステップ(a)の該クラスタサイズは、該クラスタの略進路方向と略直角な略横断方向の長さであり、
該ステップ(b)では、該クラスタ内において、該略進路方向と略直角な移動物体略横断方向の複数の位置の各々につき、該略進路方向に沿ってエッジをカウントし、
該ステップ(c)では、該略横断方向に隣り合う位置についてのカウントの差に基づき、該略横断方向に隣り合う位置の間における略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割する。
In the fourth aspect of the on-image moving object tracking method according to the present invention, in any one of the first to third aspects,
The cluster size in the step (a) is a length in a substantially transverse direction that is substantially perpendicular to a substantially course direction of the cluster;
In the step (b), for each of a plurality of positions in a substantially transverse direction of the moving object substantially perpendicular to the path direction in the cluster, an edge is counted along the path direction.
In the step (c), based on the difference in the counts of the positions adjacent to each other in the substantially transverse direction, the cluster is moved to a plurality of moving objects along a line in the substantially course direction between the positions adjacent to the substantially transverse direction. Divide into areas.
本発明による画像上移動物体追跡方法の第5態様では、第1乃至4態様のいずれか1つにおいて、
該ステップ(a)の該クラスタサイズは、該略進路方向の長さであり、
該ステップ(b)では、該クラスタ内において、該略進路方向に沿ったエッジの間隔を計測し、該間隔の位置における画像縮小率に比例した値で該間隔を除して実間隔を求め、
該ステップ(c)では、一連の該実間隔の数列パターンの一部を参照数列パターンと比較し、両者が一致していると判定した場合には、該一部の一端に対応したエッジに基づいて、該略横断方向の線に沿って該クラスタを複数の移動物体領域に分割する。
In a fifth aspect of the moving object tracking method on an image according to the present invention, in any one of the first to fourth aspects,
The cluster size of the step (a) is a length in the substantially course direction,
In the step (b), in the cluster, an edge interval along the approximate path direction is measured, and an actual interval is obtained by dividing the interval by a value proportional to an image reduction rate at the position of the interval.
In the step (c), a part of the series sequence of the actual interval is compared with the reference number sequence pattern, and when it is determined that they match each other, based on the edge corresponding to one end of the part. Then, the cluster is divided into a plurality of moving object regions along the substantially transverse line.
上記第1態様の構成によれば、1つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、肯定判定した場合には、クラスタ内のエッジの分布を調べ、該分布に基づいて該クラスタを複数の移動物体領域に分割するので、画像上で複数の移動物体が重なり合い、これらの間の相対速度が殆どゼロであっても、重なり合った移動物体を分割して認識することができるという効果を奏する。 According to the configuration of the first aspect, it is determined whether or not the cluster size of the moving object recognized as one is larger than the set value. If the determination is affirmative, the distribution of edges in the cluster is examined, Since the cluster is divided into multiple moving object regions based on the distribution, multiple moving objects overlap on the image, and even if the relative speed between them is almost zero, the overlapping moving objects are divided and recognized. There is an effect that can be done.
上記第2態様の構成によれば、サンプリング時刻t1のフレーム画像と、該サンプリング時刻t1と隣り合うサンプリング時刻t2のフレーム画像との相関関係と、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻t2のフレーム画像に含まれる移動物体を識別するので、該ステップ(c)により分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れることにより、任意の1つのクラスタについて該分割を1回行うだけで、移動物体間の相対速度によらずその後も分割を維持することができる。 According to the configuration of the second aspect, the correlation between the frame image at the sampling time t1 and the frame image at the sampling time t2 adjacent to the sampling time t1, and the moving object included in the frame image at the sampling time t1. Since the moving object included in the frame image at the sampling time t2 is identified based on the identification result, the plurality of moving object regions divided by the step (c) are included in the frame image at the sampling time t1. By incorporating it as a part of the identification result of the moving object, it is possible to maintain the division only after performing the division once for any one cluster regardless of the relative speed between the moving objects.
上記第3態様の構成によれば、画像フレームに対応したエリア内に、進入する移動物体の有無を判定し肯定判定した場合に該移動物体にIDを付与するための領域又は線を予め設定しておき、該クラスタが該領域又は線と所定の関係にあるか否かを判定し、該所定の関係にあると判定した場合に、該ステップ(a)へ進むので、該関係が成立した後は、移動物体が重なっていても継続して該分割を維持することが可能となる。 According to the configuration of the third aspect, an area or a line for assigning an ID to a moving object when an affirmative determination is made in the area corresponding to the image frame is determined in advance. It is determined whether or not the cluster is in a predetermined relationship with the region or line, and if it is determined that the cluster is in the predetermined relationship, the process proceeds to step (a). Can maintain the division continuously even if the moving objects overlap.
上記第4態様の構成によれば、比較的簡単な処理で、略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割することができる。 According to the configuration of the fourth aspect, it is possible to divide the cluster into a plurality of moving object regions along a line substantially in the course direction by a relatively simple process.
上記第5態様の構成によれば、比較的簡単な処理で、略横断方向の線に沿って、該クラスタを複数の移動物体領域に分割することができる。 According to the configuration of the fifth aspect, it is possible to divide the cluster into a plurality of moving object regions along a substantially transverse line by a relatively simple process.
本発明の他の目的、構成及び効果は以下の説明から明らかになる。 Other objects, configurations and effects of the present invention will become apparent from the following description.
以下、図面に基づいて本発明の実施例を説明する。図面において、同一又は類似の要素には、同一又は類似の符号を付している。 Embodiments of the present invention will be described below with reference to the drawings. In the drawings, the same or similar elements are denoted by the same or similar reference numerals.
図1は、ビデオカメラ(例えばITVカメラ)10で撮像された画像を処理して移動物体を追跡する、本発明の実施例1の画像上移動物体追跡装置20の概略機能ブロック図である。
FIG. 1 is a schematic functional block diagram of an on-image moving
この装置20のうち記憶部以外は、コンピュータソフトウェア、専用のハードウェア又はコンピュータソフトウェアと専用のハードウェアの組み合わせで構成することができる。
The
ビデオカメラ10で撮影された時系列画像は、例えば30フレーム/秒のレートで、画像メモリ21に格納され、最も古いフレーム画像が新しいフレーム画像で書き換えられる。
The time-series images captured by the
本発明は、画像メモリ21に格納された画像データを構成要素23〜26によりリアルタイムで処理する場合のみならず、不図示の外部記憶装置に格納しておき、必要な部分のみ後で処理する場合にも適用できる。
In the present invention, not only when the image data stored in the
また、画像メモリ21に格納された画像(原画像)を直接、構成要素23〜26で処理しても、ラプラシアンフィルタ等のフィルタをかけて空間的差分フレーム画像に変換したもの又は2次元フーリエ変換し所定周波数以上の成分を強調した後に逆フーリエ変換したもの(エッジが強調された変換画像)を、ブロック23〜27で処理する構成であってもよい。但し、原画像を処理する場合には、ブロック26において該変換を行い、変換画像に対して後述の処理を行う。以下、「画像」とは原画像又は変換画像を意味する。
Further, even if the image (original image) stored in the
背景画像生成部22は、記憶部と処理部とを備え、処理部は、画像メモリ21をアクセスし、例えば過去1分間の全ての又は間引かれたもののフレーム画像の対応する画素について画素値のヒストグラムを作成し、その最頻値(モード)をその画素の画素値とする画像を、移動物体が存在しない背景画像として生成し、これを該記憶部に格納する。背景画像は、この処理が定期的に行われて更新される。
The background
ID生成/消滅部23には、図3に示す如く、フレーム画像30内に配置される移動物体入り口スリット31A、31B及び移動物体出口スリット32A、32Bの領域を示すデータが、予め設定されている。これらスリットの境界は、後述のブロックの境界に一致している(図3ではスリット間の境界を示すために、一部の辺をブロックの境界からわざと外して示している)。
As shown in FIG. 3, data indicating the areas of the moving object entrance slits 31 </ b> A and 31 </ b> B and the moving object exit slits 32 </ b> A and 32 </ b> B arranged in the
この設定は、マウス等のポインティングデバイス又はキーボード等の入力装置INと、設定を確認する表示装置OUTと、ID生成/消滅部23に含まれる入力処理プログラムとを含む設定手段により、人の操作に基づいて行われる。
This setting is performed by a user by a setting means including a pointing device such as a mouse or an input device IN such as a keyboard, a display device OUT for confirming the setting, and an input processing program included in the ID generation /
図3中のメッシュはブロックの境界線であり、1ブロックは例えば8×8画素である。スリット31A、32A、31B及び32Bの移動物体通過方向の幅は、1ブロック幅の整数倍であればよい。
The mesh in FIG. 3 is a block boundary line, and one block is, for example, 8 × 8 pixels. The width of the
ID生成/消滅部23は、画像メモリ21から入り口スリット31A及び31B内の画像データを読み込み、これらの内側に移動物体が存在するかどうかをブロック単位で判定する。あるブロックに移動物体が存在するかどうかは、このブロック内の各画素と背景画像の対応する画素との差の絶対値の総和が所定値以上であるかどうかにより判定する。
The ID generation /
ID生成/消滅部23は、ブロック内に移動物体が存在すると判定すると、このブロックに新たな移動物体識別符号(ID)を付与する。ID生成/消滅部23は、ID付与済ブロックと隣接しているブロックに移動物体が存在すると判定すると、この隣接ブロックに付与済ブロックと同一のIDを付与する。このID付与済ブロックは、スリットに隣接しているブロックも含まれる。以下、IDが付与されたブロックの塊をクラスタと称する。
When the ID generation /
IDの付与は、記憶部24内のオブジェクトマップの対応するブロックに対して行われる。オブジェクトマップは、上述の場合60×80ブロックの各ブロックの移動物体情報を記憶するためのものであり、移動物体情報は、IDが付与されているかどうかを示すフラグと、IDが付与されていることを示している場合にはID及びブロックの動きベクトル(MV)を含む。この情報は配列M(i,j,n)で表すことができる。ここに(i,j)は第i行第j列のブロックを示し、n=0、n=1及びn=2はそれぞれMがフラグ、ID及びMVであることを示す。なお、該フラグを用いずに、ID=0のときIDが付与されていないと判定してもよい。また、IDの最上位ビットをフラグとしてもよい。ブロックマッチングでMVが求まらないブロックのMVは例えば、その回りの同一IDのブロックのMVの平均値に等しくする。
The ID is assigned to the corresponding block of the object map in the
入り口スリット31A又は31Bを通過したクラスタに対しては、移動物体追跡部25により公知の方法で追跡処理が行われる。例えば、高速処理のため、時刻t−1(フレーム番号)でのMVに基づいて時刻tでのクラスタの概略移動範囲が推定され、この範囲内で上述の移動物体存否判定がブロック毎に行われ、移動方向側のブロックに対するIDの付与及び移動と反対方向側のブロックに対するIDの消滅が行われて、時刻tでのクラスタが決定される。また、時刻t−1とtのフレーム画像間のブロックマッチングにより、時刻tでIDが付与されているブロックのMVが求められる。高速処理のため、ブロックマッチングを行う範囲は、時刻t−1でのMVに基づいて定められる。各ブロックのIDとMVは、評価関数を用いて同時に決定することもできる(例えば上記特許文献1)。ID及びMVの更新は、記憶部24内のオブジェクトマップに対して行われる。
The cluster that has passed through the entrance slit 31 </ b> A or 31 </ b> B is tracked by the moving
移動物体追跡部25による追跡処理は、各クラスタについて出口スリット内まで行われる。
The tracking processing by the moving
ID生成/消滅部23はさらに、記憶部24内のオブジェクトマップに基づき出口スリット32A及び32B内のブロックにIDが付与されているかどうかを調べ、付与されていれば、クラスタが出口スリットを通過したときにそのIDを消滅させる。
The ID generation /
図4は、IDのオブジェクトマップ33に、理解を容易にするため図3中の移動物体を重ね合わせ、且つ、クラスタの境界を太線で示したものである。 FIG. 4 is a diagram in which the moving object in FIG. 3 is superimposed on the ID object map 33 for easy understanding, and the boundaries of the clusters are indicated by bold lines.
本実施例1の特徴は、ID生成/消滅部23とクラスタ分割線決定部26との関係と、クラスタ分割線決定部26による処理と、クラスタ分割線決定部26と移動物体追跡部25との関係とにあり、以下にこれらを詳説する。
The features of the first embodiment are the relationship between the ID generation /
まず、図3に示すように、略進路方向をY方向、これと直角な方向をX方向とする。なお、以下の説明から明らかなように、道路に対するビデオカメラ10の配置と向きによっては、Y方向を略進路方向とし、X方向を画像上で該Y方向と略直角な方向としてもよい。
First, as shown in FIG. 3, a substantially course direction is a Y direction, and a direction perpendicular thereto is an X direction. As will be apparent from the following description, depending on the arrangement and orientation of the
ID生成/消滅部23は、図3及び図4において、クラスタ34の後端341が入口スリット31Aの後端31A1を完全に通過したと判定すると、これをクラスタ分割線決定部26に通知する。
When the ID generation /
クラスタ分割線決定部26はこれに応答して、図2に示す処理を開始する。以下、括弧内は図2中のステップ識別符号である。
In response to this, the cluster dividing
(S0)クラスタ34が内接する矩形のX方向及びY方向の長さNW及びNLをそれぞれ、クラスタ34のX方向及びY方向の長さとして計測する。NW及びNLの単位はブロックの一辺の長さであり、IDオブジェクトマップ33上でクラスタ34のX方向及びY方向のブロックをカウントしそれぞれの最大値を求めることにより、NW及びNLを計測することができる。
(S0) The lengths NW and NL in the X direction and Y direction of the rectangle inscribed by the
(S1)NWが、予め設定された値NW0より大きければステップS2へ進み、そうでなければステップS3へ進む。図4はNW>NW0の場合を示す。 (S1) If NW is larger than a preset value NW0, the process proceeds to step S2, and if not, the process proceeds to step S3. FIG. 4 shows a case where NW> NW0.
(S2)後述のようにクラスタ34の領域内の画像のエッジ分布(エッジの個数又は最大間隔の変化)に基づいて、Y方向の分割線を決定し、その情報を移動物体追跡部25へ与える。移動物体追跡部25はこれに応答して、クラスタ34を分割する。
(S2) As described later, based on the edge distribution (change in the number of edges or the maximum interval) of the image in the region of the
(S3)NLが、予め設定された値NL0より大きければステップS4へ進み、そうでなければこのクラスタ34に対する処理を終了する。図9はNL>NL0の場合を示す。
(S3) If NL is larger than the preset value NL0, the process proceeds to step S4, and if not, the process for this
(S4)後述のようにクラスタ34の領域内画像のエッジ分布(参照数列に対する一連のエッジ間隔の数列)に基づいてX方向の分割線を決定し、その情報を移動物体追跡部25へ与える。移動物体追跡部25はこれに応答して、クラスタ34を分割する
このようにして分割されIDが付与された各ブロックは、移動物体追跡部25により上述の時空間相関に基づいて追跡される。従って、本実施例によれば、複数の移動物体が画像上で互いに重なり合い、それらの間の相対速度が殆どゼロであっても、分割された複数の移動物体として認識することが可能となる。
(S4) As described later, the dividing line in the X direction is determined based on the edge distribution of the in-region image of the cluster 34 (a sequence of a series of edge intervals with respect to the reference sequence), and the information is given to the moving
次に、図5(A)を参照して、上記ステップS2での処理を説明する。 Next, with reference to FIG. 5A, the processing in step S2 will be described.
フレーム画像30内の、クラスタ34に対応した領域の上記エッジ強調画像について、X方向の各ブロックの中間点につき、Y方向に走査しながらエッジをカウントする。但し、クラスタ34内におけるX方向両サイドのブロック中間点については、Y方向に走査せず、図5(A)ではX=4.5、5.5、6.5及び6.5の各々についてY方向に走査する。エッジは、図7に示すように、エッジが強調された濃淡画像のピークに対応しており、閾値THよりも大きいピークの数をエッジの数として求める。図5(A)中の上部の数字は、Y方向の線に沿ったエッジの数を示している。図5(A)ではエッジカウントが6,3,5,5となる。
For the edge-enhanced image in the region corresponding to the
このエッジカウント列において、隣り合うカウントの差が最大となるXの値4.5と5.5の間の整数値(ブロック境界に対応する値)XB=5を、クラスタ分割線情報として移動物体追跡部25へ供給する。移動物体追跡部25はこれに応答して、図5(B)に示すように、クラスタ34を分割する。すなわち、移動物体追跡部25は、クラスタ34内の、分割線X=XBの一方側の各ブロックに、新たなIDを付与する。
In this edge count sequence, an integer value (value corresponding to a block boundary) XB = 5 between X values 4.5 and 5.5 at which the difference between adjacent counts is maximum is used as cluster dividing line information as a moving object. Supply to the
なお、分割線候補が2以上あり、且つ、分割線候補間の距離が設定値以内であれば、予め定めたルールに従ってそのうちの1つを分割線として選択する。 If there are two or more dividing line candidates and the distance between the dividing line candidates is within the set value, one of them is selected as a dividing line according to a predetermined rule.
また、Y方向に沿ってエッジをカウントする代わりに、図6に示す如く、上記の各Xの値について、エッジのY方向間隔の最大値をクラスタ34内で求め、その数列(図6では6,14,20,20)において、隣り合う値の差が最大となるXの値4.5と5.5の間の整数値XB=5を求め、その後は上記同様にして分割線を決定してもよい。
Further, instead of counting the edges along the Y direction, as shown in FIG. 6, the maximum value of the Y direction interval of the edges is obtained in the
次に、図8〜12を参照して、上記ステップS4での処理を説明する。 Next, the processing in step S4 will be described with reference to FIGS.
図8に示すように、フレーム画像30A上で移動物体が進路方向(略Y方向)に重なる場合には、図9に示すようなIDオブジェクトマップ33A内のクラスタ34Aに対応する、図8のフレーム画像30A内の領域について、進路の幅の中央線又は略中央線(図10では直線X=6)に沿って、エッジの間隔(図7のピーク間距離又はピークで区切られた閾値直線THの線分の長さ)を計測する。図8ではブロックサイズが比較的大きいので、エッジ間隔を画素単位で計測する。
As shown in FIG. 8, when the moving object overlaps the course direction (substantially Y direction) on the
Y方向位置により縮尺率が異なり、フレーム画像30A内で移動物体がY方向に重なっている場合にはこれを無視できないので、次に、画像上のエッジ間隔を縮尺率で除することにより、実間隔に変換する。この縮尺率は、ビデオカメラ10の高さと光軸の俯角とフレーム画像30A内の位置とに基づいて幾何学的に算出することができる。図10の右側の数列は、実エッジ間隔を示す。
If the scale factor differs depending on the position in the Y direction and moving objects overlap in the Y direction in the
クラスタ分割線決定部26は、参照パターン記憶部を備え、これには、図11に示すような車両の実エッジ間隔のパターンが格納されている。各参照パターンの一連のエッジ間隔の各々には範囲がある。例えば、パターン1はエッジ間隔列L1〜L4であり、L1=7〜9、L2=20〜25、L3=6〜10、L4=5〜10である。
The cluster dividing
各参照パターン(n個の数列)を、図10(A)に示す実エッジ間隔列8,23,8,6,3,7、5,10,7の先頭からn個の数列と比較し、参照パターンと一致する(参照パターンに含まれる)か否かを調べる。一致する場合には、その実パターンが1つの移動物体に対応していると判定し、その最後のエッジ間隔に対応する端のエッジを画像上分割線と決定し、この分割線に最も近いブロック境界のYの値YBを求め、Y=YBをクラスタ分割線と決定する。
Each reference pattern (n number sequences) is compared with n number sequences from the beginning of the real
図10(A)の場合、先頭からの数列8,23,8,6がパターン1と一致するので、エッジ間隔6と、次のエッジ間隔3との間のエッジを、画像上分割線と決定する。
In the case of FIG. 10 (A), since the
次に、実パターンの残りの数列について同様に、参照パターンと一致するか否かを調べる。但し、実パターンの残りの数列の先頭の数値については、移動物体間の重なりによるエッジ間隔減少を考慮し、参照パターンのそれより小さい場合には一致するとみなす。図10(A)の場合、数列3,7、5,10,7は、図11の参照パターン2と一致すると判定される。さらに残りの数列はないので、クラスタ34Aに対するクラスタ分割線決定部26の処理は終了する。
Next, the remaining number sequences of the actual pattern are similarly checked whether or not they match the reference pattern. However, the numerical values at the beginning of the remaining number sequences of the actual pattern are considered to match if they are smaller than that of the reference pattern in consideration of a decrease in edge interval due to overlap between moving objects. In the case of FIG. 10A, it is determined that the
クラスタ分割線決定部26は、このようにして求めたクラスタ決定線の情報を移動物体追跡部25に与える。移動物体追跡部25はこれに応答して、クラスタ34A内の、分割線Y=YBの一方側の各ブロックに、新たなIDを付与する。
The cluster dividing
なお、図12に示すように、フレーム画像上で多数の移動物体が進路方向に重なっている場合、Y方向ではなく、矢印で示す進路方向に走査してエッジ間隔を計測する。 As shown in FIG. 12, when a large number of moving objects overlap in the course direction on the frame image, the edge interval is measured by scanning in the course direction indicated by an arrow instead of the Y direction.
図1に戻って、代表点追跡部27は、オブジェクトマップ記憶部24に格納された時刻tのオブジェクトマップに基づいて、時刻tにおける各移動物体(クラスタ又は分割されたクラスタ)の代表点の座標、例えば幾何学的重心を求める。
Returning to FIG. 1, the representative
なお、本発明には外にも種々の変形例が含まれる。 Note that the present invention includes various other modifications.
例えば、上記実施例ではクラスタ内のエッジの分布を調べ、その結果に基づいてクラスタを分割する場合を説明したが、例えば図3において、クラスタを車線区分線35に対応した線(ブロック境界に対応する線)に基づいて複数の移動物体領域に分割し、他の構成については上記実施例と同様に処理する構成であってもよい。 For example, in the above embodiment, the case where the distribution of the edges in the cluster is examined and the cluster is divided based on the result is described. For example, in FIG. 3, the cluster corresponds to the lane line 35 (corresponding to the block boundary). May be divided into a plurality of moving object regions on the basis of the line to be processed, and the other components may be processed in the same manner as in the above embodiment.
また、クラスタが車線区分線35の両側に跨っている場合、又は、隣り合う車線の一方及び他方の中央線上のブロックをクラスタが含む場合、クラスタの横断方向長さ計測値が設定値以上であると判定してもよい。 In addition, when the cluster straddles both sides of the lane marking 35, or when the cluster includes blocks on one and the other center line of the adjacent lanes, the measured value in the transverse direction of the cluster is equal to or greater than the set value. May be determined.
さらに、例えば図3において、ビデオカメラ10から遠方の入口スリット31B側でクラスタを分割するよりも近くの出口スリット32B側でクラスタを分割した方が精度が高くなるので、出口スリット32B側でクラスタを分割し、上記特許文献1に記載のように時間を遡って、分割後の移動物体を追跡する構成であってもよく、これは、過去のビデオの解析のようにリアルタイム処理が要求されない場合に有効である。
Further, in FIG. 3, for example, the cluster is divided on the exit slit 32B side closer to the exit slit 32B side than the cluster on the entrance slit 31B side far from the
また、代表点追跡部27での処理開始時点は、設定したラインが移動物体(クラスタ)と所定の関係になった時点、例えば、移動物体の先端部、後端部又は代表点が該ラインと一致し又は該ラインを通過した時点であってもよい。なぜならば、ラインをどの位置に設定するかで該所定の関係を変えることができ、また、時間を遡って入口スリットに入る前の移動物体軌跡を求めることができるからである。このラインは領域の辺であってもよい。
Also, the processing start time at the representative
また、本発明の画像上移動物体追跡装置は、移動物体追跡機能を備えていればよく、例えば移動物体追跡結果に基づいて事故等を検出する装置も本発明に含まれることは勿論である。 The moving object tracking apparatus on the image of the present invention only needs to have a moving object tracking function. For example, an apparatus for detecting an accident or the like based on the moving object tracking result is also included in the present invention.
10 ビデオカメラ
20 画像上移動物体追跡装置
21 画像メモリ
22 背景画像生成部
23 ID生成/消滅部
24 オブジェクトマップ記憶部
25 移動物体追跡部
26 クラスタ分割線決定部
27 代表点追跡部
IN 入力装置
OUT 表示装置
30、30A フレーム画像
31A、31B 入口スリット
31A1、341 後端
32A、32B 出口スリット
33、33A IDオブジェクトマップ
34、34A クラスタ
DESCRIPTION OF
Claims (11)
(a)認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、
(b)肯定判定した場合には、クラスタ内のエッジの分布を調べ、
(c)該分布に基づいて該クラスタを複数の移動物体領域に分割する、
ステップを有することを特徴とする画像上移動物体追跡方法。 In a moving object tracking method on an image for recognizing and tracking a moving object on a time-series image stored in a storage means by image processing,
(A) determining whether the cluster size of the recognized moving object is larger than a set value;
(B) If the determination is affirmative, examine the distribution of edges in the cluster,
(C) dividing the cluster into a plurality of moving object regions based on the distribution;
A moving object tracking method on an image, comprising a step.
該ステップ(c)により分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れる、
ことを特徴とする請求項1に記載の画像上移動物体追跡方法。 The moving object tracking method on the image includes a correlation between a frame image at a sampling time t1 and a frame image at a sampling time t2 adjacent to the sampling time t1, and identification of a moving object included in the frame image at the sampling time t1. Based on the result, the moving object included in the frame image at the sampling time t2 is identified,
A plurality of moving object regions divided in step (c) are taken in as a part of the moving object identification result included in the frame image at the sampling time t1;
The on-image moving object tracking method according to claim 1.
該クラスタが該領域又は線と所定の関係にあるか否かを判定し、
該所定の関係にあると判定した場合に、該ステップ(a)へ進む、
ことを特徴とする請求項2に記載の画像上移動物体追跡方法。 In the area corresponding to the image frame, if the presence or absence of an entering moving object is determined and an affirmative determination is made, an area or a line for giving an ID to the moving object is set in advance,
Determine whether the cluster is in a predetermined relationship with the region or line;
When it is determined that the predetermined relationship is established, the process proceeds to step (a).
The on-image moving object tracking method according to claim 2.
該ステップ(b)では、該クラスタ内において、該略進路方向と略直角な移動物体略横断方向の複数の位置の各々につき、該略進路方向に沿ってエッジをカウントし、
該ステップ(c)では、該略横断方向に隣り合う位置についてのカウントの差に基づき、該略横断方向に隣り合う位置の間における略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割する、
ことを特徴とする請求項1乃至3のいずれか1つに記載の画像上移動物体追跡方法。 The cluster size in the step (a) is a length in a substantially transverse direction that is substantially perpendicular to a substantially course direction of the cluster;
In the step (b), for each of a plurality of positions in a substantially transverse direction of the moving object substantially perpendicular to the path direction in the cluster, an edge is counted along the path direction.
In the step (c), based on the difference in the counts of the positions adjacent to each other in the substantially transverse direction, the cluster is moved to a plurality of moving objects along a line in the substantially course direction between the positions adjacent to the substantially transverse direction. Dividing into regions,
The on-image moving object tracking method according to any one of claims 1 to 3.
該ステップ(b)では、該クラスタ内において、該略進路方向に沿ったエッジの間隔を計測し、該間隔の位置における画像縮小率に比例した値で該間隔を除して実間隔を求め、
該ステップ(c)では、一連の該実間隔の数列パターンの一部を参照数列パターンと比較し、両者が一致していると判定した場合には、該一部の一端に対応したエッジに基づいて、該略横断方向の線に沿って該クラスタを複数の移動物体領域に分割する、
ことを特徴とする請求項1乃至4のいずれか1つに記載の画像上移動物体追跡方法。 The cluster size of the step (a) is a length in the substantially course direction,
In the step (b), in the cluster, an edge interval along the approximate path direction is measured, and an actual interval is obtained by dividing the interval by a value proportional to an image reduction rate at the position of the interval.
In the step (c), a part of the series sequence of the actual interval is compared with the reference number sequence pattern, and when it is determined that they match each other, based on the edge corresponding to one end of the part. Dividing the cluster into a plurality of moving object regions along the substantially transverse line;
5. The moving object tracking method on an image according to any one of claims 1 to 4.
該格納された時系列画像上の移動物体を画像処理により認識して追跡する画像処理手段と、
を有する画像上移動物体追跡装置において、該画像処理手段は、
(a)1つとして認識された移動物体のクラスタサイズが設定値より大きいか否かを判定し、
(b)肯定判定した場合には、クラスタ内のエッジの分布を調べ、
(c)該分布に基づいて該クラスタを複数の移動物体領域に分割する、
ステップの処理を行うことを特徴とする画像上移動物体追跡装置。 Image storage means for storing time-series images;
Image processing means for recognizing and tracking a moving object on the stored time-series image by image processing;
In the moving object tracking apparatus on an image having:
(A) determining whether the cluster size of the moving object recognized as one is larger than a set value;
(B) If the determination is affirmative, examine the distribution of edges in the cluster,
(C) dividing the cluster into a plurality of moving object regions based on the distribution;
An on-image moving object tracking device characterized by performing step processing.
該画像処理手段は、該ステップ(c)により分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れる、
ことを特徴とする請求項6に記載の画像上移動物体追跡装置。 The image processing means uses the correlation between the frame image at the sampling time t1, the frame image at the sampling time t2 adjacent to the sampling time t1, and the identification result of the moving object included in the frame image at the sampling time t1. Based on this, the moving object included in the frame image at the sampling time t2 is identified,
The image processing means incorporates the plurality of moving object regions divided in step (c) as a part of the identification result of the moving object included in the frame image at the sampling time t1.
The on-image moving object tracking device according to claim 6.
該クラスタが該領域又は線と所定の関係にあるか否かを判定し、
該所定の関係にあると判定した場合に、該ステップ(a)へ進む、
ことを特徴とする請求項7に記載の画像上移動物体追跡装置。 In the area corresponding to the image frame, if the presence or absence of an entering moving object is determined and an affirmative determination is made, an area or a line for giving an ID to the moving object is set in advance,
Determine whether the cluster is in a predetermined relationship with the region or line;
When it is determined that the predetermined relationship is established, the process proceeds to step (a).
The on-image moving object tracking device according to claim 7.
該ステップ(b)では、該クラスタ内において、該略進路方向と略直角な移動物体略横断方向の複数の位置の各々につき、該略進路方向に沿ってエッジをカウントし、
該ステップ(c)では、該略横断方向に隣り合う位置についてのカウントの差に基づき、該略横断方向に隣り合う位置の間における略進路方向の線に沿って、該クラスタを複数の移動物体領域に分割する、
ことを特徴とする請求項6乃至8のいずれか1つに記載の画像上移動物体追跡装置。 The cluster size in the step (a) is a length in a substantially transverse direction that is substantially perpendicular to a substantially course direction of the cluster;
In the step (b), for each of a plurality of positions in a substantially transverse direction of the moving object substantially perpendicular to the path direction in the cluster, an edge is counted along the path direction.
In the step (c), based on the difference in the counts of the positions adjacent to each other in the substantially transverse direction, the cluster is moved to a plurality of moving objects along a line in the substantially course direction between the positions adjacent to the substantially transverse direction. Dividing into regions,
The on-image moving object tracking device according to any one of claims 6 to 8.
該ステップ(b)では、該クラスタ内において、該略進路方向に沿ったエッジの間隔を計測し、該間隔の位置における画像縮小率に比例した値で該間隔を除して実間隔を求め、
該ステップ(c)では、一連の該実間隔の数列パターンの一部を参照数列パターンと比較し、両者が一致していると判定した場合には、該一部の一端に対応したエッジに基づいて、該略横断方向の線に沿って該クラスタを複数の移動物体領域に分割する、
ことを特徴とする請求項6乃至9のいずれか1つに記載の画像上移動物体追跡装置。 The cluster size of the step (a) is a length in the substantially course direction,
In the step (b), in the cluster, an edge interval along the approximate path direction is measured, and an actual interval is obtained by dividing the interval by a value proportional to an image reduction rate at the position of the interval.
In the step (c), a part of the series sequence of the actual interval is compared with the reference number sequence pattern, and when it is determined that they match each other, based on the edge corresponding to one end of the part. Dividing the cluster into a plurality of moving object regions along the substantially transverse line;
The on-image moving object tracking device according to any one of claims 6 to 9.
サンプリング時刻t1のフレーム画像と、該サンプリング時刻t1と隣り合うサンプリング時刻t2のフレーム画像との相関関係と、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果とに基づいて、該サンプリング時刻t2のフレーム画像に含まれる移動物体を識別する画像上移動物体追跡方法において、
(a)1つとして認識された移動物体のクラスタの進路方向と略直角な幅が設定値より大きいか否かを判定し、
(b)肯定判定した場合には、該クラスタを、車線区分線に対応した線に基づいて複数の移動物体領域に分割し、
該分割された複数の移動物体領域を、該サンプリング時刻t1のフレーム画像に含まれる移動物体の識別結果の一部として取り入れる、
ことを特徴とする画像上移動物体追跡方法。 Store the sampled time-series frame image in the storage means,
Based on the correlation between the frame image at the sampling time t1 and the frame image at the sampling time t2 adjacent to the sampling time t1, and the identification result of the moving object included in the frame image at the sampling time t1, the sampling time In the moving object tracking method on the image for identifying the moving object included in the frame image at t2,
(A) It is determined whether or not a width substantially perpendicular to the direction of the path of the cluster of moving objects recognized as one is larger than a set value,
(B) If an affirmative determination is made, the cluster is divided into a plurality of moving object regions based on lines corresponding to lane markings;
Incorporating the plurality of divided moving object areas as part of the identification result of the moving object included in the frame image at the sampling time t1,
A moving object tracking method on an image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006005447A JP4714872B2 (en) | 2006-01-12 | 2006-01-12 | Method and apparatus for dividing moving object superimposed on image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006005447A JP4714872B2 (en) | 2006-01-12 | 2006-01-12 | Method and apparatus for dividing moving object superimposed on image |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007188268A true JP2007188268A (en) | 2007-07-26 |
JP4714872B2 JP4714872B2 (en) | 2011-06-29 |
Family
ID=38343401
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006005447A Active JP4714872B2 (en) | 2006-01-12 | 2006-01-12 | Method and apparatus for dividing moving object superimposed on image |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4714872B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014187484A (en) * | 2013-03-22 | 2014-10-02 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
JP2014191400A (en) * | 2013-03-26 | 2014-10-06 | Mega Chips Corp | Image detection apparatus, control program, and image detection method |
CN113642453A (en) * | 2021-08-11 | 2021-11-12 | 北京京东乾石科技有限公司 | Obstacle detection method, device and system |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08221549A (en) * | 1995-02-09 | 1996-08-30 | Oki Electric Ind Co Ltd | Intrusion object recognizing device |
JP2001277369A (en) * | 2000-03-28 | 2001-10-09 | Matsushita Electric Works Ltd | Method and apparatus for preparing data for photo- fabrication machine |
JP2003263626A (en) * | 2002-03-07 | 2003-09-19 | Fujitsu Ltd | Traveling object tracking method and device for image |
JP2004038624A (en) * | 2002-07-04 | 2004-02-05 | Nissan Motor Co Ltd | Vehicle recognition method, vehicle recognition device and vehicle recognition program |
JP2004207786A (en) * | 2002-12-20 | 2004-07-22 | Foundation For The Promotion Of Industrial Science | Tracing method and apparatus for mobile object in image |
-
2006
- 2006-01-12 JP JP2006005447A patent/JP4714872B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08221549A (en) * | 1995-02-09 | 1996-08-30 | Oki Electric Ind Co Ltd | Intrusion object recognizing device |
JP2001277369A (en) * | 2000-03-28 | 2001-10-09 | Matsushita Electric Works Ltd | Method and apparatus for preparing data for photo- fabrication machine |
JP2003263626A (en) * | 2002-03-07 | 2003-09-19 | Fujitsu Ltd | Traveling object tracking method and device for image |
JP2004038624A (en) * | 2002-07-04 | 2004-02-05 | Nissan Motor Co Ltd | Vehicle recognition method, vehicle recognition device and vehicle recognition program |
JP2004207786A (en) * | 2002-12-20 | 2004-07-22 | Foundation For The Promotion Of Industrial Science | Tracing method and apparatus for mobile object in image |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014187484A (en) * | 2013-03-22 | 2014-10-02 | Casio Comput Co Ltd | Image processing apparatus, image processing method, and program |
JP2014191400A (en) * | 2013-03-26 | 2014-10-06 | Mega Chips Corp | Image detection apparatus, control program, and image detection method |
CN113642453A (en) * | 2021-08-11 | 2021-11-12 | 北京京东乾石科技有限公司 | Obstacle detection method, device and system |
Also Published As
Publication number | Publication date |
---|---|
JP4714872B2 (en) | 2011-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI448977B (en) | Method and apparatus for video analytics based object counting | |
JP4793324B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
US8184859B2 (en) | Road marking recognition apparatus and method | |
JP6226368B2 (en) | Vehicle monitoring apparatus and vehicle monitoring method | |
CN104282020A (en) | Vehicle speed detection method based on target motion track | |
JP5799784B2 (en) | Road shape estimation apparatus and program | |
KR101178507B1 (en) | Pavement marking recogniton system and method | |
JP2008046903A (en) | Apparatus and method for detecting number of objects | |
JP2005258846A (en) | Traffic lane boundary decision device | |
CN111149131B (en) | Dividing line recognition device | |
JP6021689B2 (en) | Vehicle specification measurement processing apparatus, vehicle specification measurement method, and program | |
JPH11252587A (en) | Object tracking device | |
CN111798487A (en) | Target tracking method, device and computer readable storage medium | |
Meshram et al. | Traffic surveillance by counting and classification of vehicles from video using image processing | |
KR20190059894A (en) | Detecting objects from camera images | |
KR20180033552A (en) | Image processing apparatus and image processing method | |
JP4714872B2 (en) | Method and apparatus for dividing moving object superimposed on image | |
KR101723536B1 (en) | Method and Apparatus for detecting lane of road | |
JP4783898B2 (en) | Abnormal event detection method at intersections by image processing | |
JP2007188269A (en) | On-image mobile object tracking method and device | |
JP2012150595A (en) | Stop line detection device and program | |
JP3879874B2 (en) | Logistics measuring device | |
CN111488762A (en) | Lane-level positioning method and device and positioning equipment | |
JP4628712B2 (en) | Method and apparatus for recognizing moving object on image | |
JPH0997335A (en) | Vehicle recognition device and traffic flow measuring instrument |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060123 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060131 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080909 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080909 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101207 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110207 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110301 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |