JP2015041166A - Object tracking method and object tracking system - Google Patents

Object tracking method and object tracking system Download PDF

Info

Publication number
JP2015041166A
JP2015041166A JP2013170871A JP2013170871A JP2015041166A JP 2015041166 A JP2015041166 A JP 2015041166A JP 2013170871 A JP2013170871 A JP 2013170871A JP 2013170871 A JP2013170871 A JP 2013170871A JP 2015041166 A JP2015041166 A JP 2015041166A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
object
tracking
frame
clustering
means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013170871A
Other languages
Japanese (ja)
Other versions
JP6265370B2 (en )
Inventor
戸田 英樹
Hideki Toda
英樹 戸田
貴大 内山
Takahiro Uchiyama
貴大 内山
Original Assignee
国立大学法人富山大学
Toyama Univ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Images

Abstract

PROBLEM TO BE SOLVED: To provide an object tracking method capable of discriminating an object from the other objects even when the object moves or stops in a screen and an object tracking system capable of automatically tracking the object.SOLUTION: A moving image having distance information is photographed by photographing means, and fetched in a computer, and predetermined clustering processing is performed to each frame configuring the moving image, and the frame subjected to the clustering processing is successively stored in storage means as a storage template, and the pattern matching of the latest frame among the successively stored frames with the clustering processing object frame is performed to specify an object, and the specified object is tracked by tracking means.

Description

本発明は、対象物追跡方法及び対象物追跡システムに関する。 The present invention relates to an object tracking method and an object tracking system.

コンピュータを用いた画像処理技術の発達によって、対象物を認識し追跡する技術がいくつか提案されている。 The image processing development of technology using a computer, a technique for tracking recognizing objects have been proposed.

特許文献1には、画像特徴量抽出システムに関し、例示画像に含まれるオブジェクト領域を抽出するオブジェクト領域抽出部と、該オブジェクト領域抽出部によって抽出された前記オブジェクト領域を構成している代表色を求め、該求めた代表色の色特徴量を抽出する色特徴量抽出部と、該色特徴量抽出部によって抽出された前記色特徴量のクラスタリングを行ったのち、各クラスタの色特徴量を抽出する色特徴量クラスタリング部と、前記オブジェクト領域抽出部によって抽出された前記オブジェクト領域の大まかな形状特徴量および詳細な形状特徴量を抽出する形状特徴量抽出部と、該形状特徴量抽出部によって抽出された前記詳細な形状特徴量のクラスタリングを行ったのち、各クラスタの詳細な形状特徴量を抽出する形状特徴量クラ Patent Document 1 relates to an image feature amount extraction system determines the representative colors that make up the object area extracting unit that extracts an object area included in the example image, the object area extracted by the object area extracting unit , extracts the color feature extracting unit which extracts a color feature of the representative colors determined the After performing clustering of the color feature extracted by the color feature extracting unit, a color feature of each cluster a color feature clustering unit, and the shape feature extraction unit which extracts a rough shape feature and detailed shape feature value of the object area extracted by the object area extracting unit, extracted by the shape feature extraction unit wherein after performing the clustering detailed shape feature amount, shape feature class to extract detailed shape feature of each cluster タリング部とを備え、前記オブジェクト領域抽出部が、前記抽出したオブジェクト領域内の画像を表すオブジェクト画像データを前記色特徴量抽出部に出力し、前記色特徴量抽出部が、前記オブジェクト画像データによって表される前記オブジェクト領域内の画像を構成している代表色を求め、該求めた代表色の色相,彩度および輝度の値の範囲を色特徴量として抽出する、ことが記載されている。 And a Taringu portion, the object area extracting unit outputs the object image data representing an image of the extracted object region on the color feature extraction unit, said color characteristic amount extraction unit, by said object image data calculated representative colors that make up the image of the object within the area represented, extracts the determined representative color hue, the range of values ​​of saturation and luminance as the color feature amount, it has been described. 特許文献1では、k-means法によりクラスタリングを行った、との記述がある。 In Patent Document 1, were clustered by the k-means method, there is a description that.

特許文献2には、移動型電子機器に利用される人間追跡装置に関し、第1カメラにより撮影された上体映像から人間の少なくとも1つの上体位置情報を検出する上体位置情報検出モジュールと、第2カメラにより撮影された足映像から前記人間の少なくとも1つの足位置情報を検出する足位置情報検出モジュールと、前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報とを基に、追跡対象を選択する追跡対象選択モジュールと、前記追跡対象選択モジュールで選択された追跡対象を追跡するための、前記移動型電子機器の追跡速度及び方向を計算する追跡速度及び方向計算部と、前記移動型電子機器を駆動するモータと、前記追跡速度及び方向計算部で計算された結果を基に、前記モータを制御するモータ制御部と、を備 Patent Document 2 relates to a human tracking device used in mobile electronic devices, and body position information detection module for detecting at least one body position information of the human from the upper body image photographed by the first camera, based and feet position information detection module for detecting at least one foot position information of the human from the photographed foot image, and said at least one body position information and the at least one foot position information by the second camera, a tracking object selecting module for selecting a target object, and the tracking object selection module for tracking the selected tracked target in said mobile tracking speed and direction calculating unit calculates the tracking speed and direction of the electronic device, wherein Bei a motor for driving the movable electronic equipment, based on the results of the calculated follow-up speed and direction calculating unit, and a motor controller controlling the motor, the 、前記追跡対象選択モジュールは、前記少なくとも1つの上体位置情報と前記少なくとも1つの足位置情報のうちから、所定の探索範囲に含まれる上体位置情報と足位置情報とを追跡候補情報として検出する追跡候補検出部と、前記追跡候補検出部で検出された追跡候補情報に含まれている足位置情報が複数個ならば、前記追跡候補情報に含まれている上体位置情報に近接した足位置情報を追跡対象情報として選択する追跡対象選択部とを備え、前記追跡候補検出部は、前記所定の探索範囲を、以前フレームで追跡対象として選択された足候補の位置を中心座標とし、成人男女の前に歩く場合と横に歩く場合の平均歩幅、平均速度、及び前記移動型電子機器の反応速度を基に決定すること、前記足位置情報検出モジュールは、レーザを発振 The tracking object selecting module, said at least from one body position information of the at least one foot position information, detecting the body position information and feet position information included in a predetermined search range as the tracking candidate information foot and tracking candidate detecting section, the foot position information contained in the detected tracking candidate information tracking candidate detection unit if a plurality, in close proximity to the body position information contained in the tracking candidate information and a tracking object selecting unit that selects the position information as an object of tracking information, the tracking candidate detection section, the predetermined search range, centered coordinates the position of the selected leg candidates as the tracking target in the previous frame, adult average stride when walking when the horizontal walk in front of the men and women, average speed, and determining based on the reaction rate of the mobile electronic device, the foot position information detection module oscillates laser せるレーザ発振部と、前記レーザ発振部から発生したレーザラインを撮像する前記第2カメラと、前記第2カメラを介して撮像されたレーザライン映像を足映像として取得する足映像取得部と、前記足映像取得部で取得された足映像から、前記少なくとも1つの足位置情報を足候補として検出する足候補検出部とを備えること、が開示されている。 A laser oscillation unit that, with the second camera that captures the laser line generated from said laser oscillating unit, and foot image acquisition unit that acquires a laser line image captured through the second camera as a foot image, the from the obtained feet video foot image acquisition unit, further comprising a foot candidate detection unit for detecting the at least one foot location as the foot candidate, it is disclosed.

特許文献3には、撮像手段で撮影された画像の各フレーム画像の差分画像から周辺画素に対して動きベクトルの大きさおよび方向の異なる画素を検出し、前記各フレーム画像を分割した小領域のうち前記画素を含む小領域を検出し、該小領域の座標位置を記憶する動き抑制手段と、前記各フレーム画像を分割して前記小領域より大きい大領域及び該大領域より小さい領域である中領域を作成し、前記検出された前記小領域の前記動きベクトルの絶対値の加算値が大きい順番に前記大領域を順位付けし、該順位付けがされた前記大領域に対して前記順位付けに従って優先的に、前記大領域内の前記中領域とその周辺の複数の中領域との画素の色の値若しくは色相若しくは彩度若しくは明度若しくはこれらの組み合わせのヒストグラムの差のうち Patent Document 3, from the difference image of each frame image of the image photographed by the imaging means to detect the different pixels of the magnitude and direction of the motion vector with respect to surrounding pixels, the small area of ​​which divides each frame image detecting a small region including the inner said pixel, a motion suppression device for storing the coordinates of the small area, in the a large region and smaller region than the large area larger than the small region by dividing each frame image create a region, the sequentially added value is larger of the absolute value of the motion vector of the detected said small regions ranks large area, in accordance with the ranking with respect to the large area that order position relationship has been preferentially, the one color value or hue or saturation or lightness or histogram difference of these combinations of pixels in said region and more of its peripheral region in the large region 小値を色差とすると共に該色差の大きい順に予め設定された数の前記大領域を検出し、該大領域の座標位置を記録する色抑制手段と、前記大領域に予め記憶装置に記憶された移動体が撮影されているか否かをパターン認識により判定する移動体判定手段としてコンピュータを機能させることが開示されている。 Detecting a preset the large region of several were in descending order of the color difference with the color difference a small value, and color suppression means for recording coordinate positions of the large area, stored in advance in the storage device to the large region that the mobile causes the computer to function whether it is captured as a moving object determination unit for determining the pattern recognition is disclosed.

特開2006−221520号公報 JP 2006-221520 JP 特開2006−221610号公報 JP 2006-221610 JP 特開2007−188294号公報 JP 2007-188294 JP

特許文献1の手法では、統計処理の性質上、複雑環境下では対象物の特定ができないという欠点がある。 The method of Patent Document 1, the nature of the statistical processing, the disadvantage that under complex environment can not locate the object.
特許文献2では、特定人の追跡手法であり、「人間としての特徴」例えば足の形や足パターンを特徴量として画像などから取り出し追跡するという手法である。 In Patent Document 2, a tracking method for a particular person, a technique of tracking removed from an image, for example, the foot shape and foot pattern "characterized as a human" as the feature quantity. しかしながらこの手法では画面内に特定人の足以外の物体や他の人が入ってきた場合、コンピュータは特定人とそれ以外の物体や他の人の違いが判断し難く、追跡対象を見失うという問題がある。 However, if the incoming an object and others other than the specific person's foot on the screen in this method, the computer difficult to determine the difference of the specific person and other objects and others, the problem of losing the tracked there is.
特許文献3では、常に動いている物体に特化することで、画像全体での追跡対象を探す困難な画像処理の問題を回避している。 In Patent Document 3, always to specialize in a moving object, thereby avoiding the difficult image processing problem to find a tracked throughout the image. しかし,追跡対象が常に動いているとは限らず、画面内で止まってしまった場合、結局は認識出来なくなってしまうという不具合がある。 However, not always tracked is always moving, if you've stopped at the screen, there is a problem that eventually no longer be recognized. この不具合は思いの外頻繁に発生する。 This bug unexpectedly frequent occurrence. 加えて、対象物以外の人や自動車の移動や、風などにより木や箱などが移動する場合も誤認識してしまうため、対象物以外の物体が移動する空間においては対処できない。 In addition, the movement and the human and automobile other than the object, since the result in even erroneous recognition when moving the like trees or a box or the like wind, can not be addressed in the space where the object other than the object moves.

そこで、本願発明の目的は、対象物が画面内で動いたり止まったりしても対象物と他の物体との判別が可能な対象物追跡方法、並びに対象物を自動追跡可能な対象物追跡システムを提供することにある。 An object of the present invention, the object tracking method which can be distinguished between the object and the other objects even object or stop or move in the screen and the object can automatically track the object tracking system, It is to provide a.

本発明の対象物追跡方法は、距離情報を有する動画像を撮像手段にて撮影してコンピュータに取り込み、前記動画像を構成する各フレームに対して所定のクラスタリング処理を行い、前記クラスタリング処理されたフレームを記憶テンプレートとして記憶手段に逐次蓄積するとともに、逐次蓄積されたフレームのうち直近のフレームと前記クラスタリング処理対象のフレームとをパターンマッチングさせて対象物を特定し、特定された対象物を追跡手段にて追跡することを特徴とする。 Object tracking method of the present invention takes the computer a moving image having distance information captured by the image pickup unit performs a predetermined clustering process for each frame constituting the moving image, has been the clustering process sequentially with accumulated in the storage unit frames as stored template, sequentially accumulated and last frame and the clustering process target frame among the frames by pattern matching to identify the object, tracking means the identified object wherein the track at.

本発明の対象物追跡システムは、距離情報を有する動画像を撮影する撮像手段と、前記動画像を取り込んでデータ処理するコンピュータと、対象物を追跡する追跡手段を備え、前記コンピュータによって、前記動画像を構成する各フレームに対して所定のクラスタリング処理がなされ、前記クラスタリング処理されたフレームが記憶テンプレートとして記憶手段に逐次蓄積されるとともに、逐次蓄積されたフレームのうち直近のフレームと前記クラスタリング処理対象のフレームとがパターンマッチングされて対象物が特定され、特定された対象物が追跡手段にて追跡されることを特徴とする。 Object tracking system of the present invention includes imaging means for capturing a moving image having distance information, a computer for data processing captures the moving image, a tracking means for tracking an object, by the computer, the video predetermined clustering process is performed for each frame constituting an image, with sequentially stored in the storage means as the clustering processing frame is stored template, the clustering process target nearest frame of the sequential storage frame and frames are identified object is pattern matching, the object identified, characterized in that it is tracked by the tracking means.

本発明によれば、距離情報を用いて前記動画像を構成する各フレームに対して所定のクラスタリング処理を行い、記憶テンプレートとして逐次蓄積されたフレームのうち直近のフレームと前記クラスタリング処理対象のフレームとをパターンマッチングさせることで、対象物が画面内で動いたり止まったりしても対象物と他の物体との判別が可能となる。 According to the present invention, it performs a predetermined clustering process for each frame constituting the moving images using the distance information, the most recent frame and the clustering process target frame of the sequentially stored frames as stored template the be to pattern matching, the object is possible to distinguish between the object and the other objects even or stop or move in the screen.

本発明は、前記クラスタリング処理は、前記動画像を構成するフレームを走査しながら前記距離情報に基づいて各画素毎にクラスタ番号を付与するステップと、クラスタ番号が付与されたフレームを再度走査しながら走査画素における距離情報と、当該走査画素に隣接している隣接画素における距離情報とを比較し、両者の距離情報の差の絶対値が所定の閾値よりも小さい場合には前記隣接画素のクラスタ番号と同じクラスタ番号を前記走査画素のクラスタ番号とするステップを有し、前記対象物を領域分けすることを特徴とする。 The present invention, the clustering process comprising the steps of applying a cluster number for each pixel on the basis of the distance information while scanning the frames constituting the moving image, while scanning the frame to cluster number is assigned again and distance information in the scanning pixel, by comparing the distance information of adjacent pixels adjacent to the scanning pixel, when the absolute value of the difference between the distance information is smaller than a predetermined threshold the cluster number of the adjacent pixels comprising the step of the cluster number of the same cluster number the scanning pixel and, wherein the region dividing said object.

本発明によれば、クラスタリング結果が安定し、より正確に対象物を特定することができる。 According to the present invention, it is possible clustering result is stable, to identify more accurately the object.

本発明の対象物追跡方法、又は本発明の対象物追跡システムによれば、対象物を特定するための領域分けを高速処理することができ、さらに、記憶テンプレートとして逐次蓄積されたフレームのうち直近のフレームと前記クラスタリング処理対象のフレームとをパターンマッチングさせることで、対象物が画面内で動いたり止まったりしても対象物と他の物体との判別が可能となる。 Object tracking method of the present invention, or according to the object tracking system of the present invention, the area division for specifying an object can speed processing, further, the most recent of sequentially stored frames as stored template frame and the frame the clustering processing target be to pattern matching, the object is possible to distinguish between the object and the other objects even or stop or move in the screen.

本発明の実施形態の対象物追跡手順を説明するフローチャート図である。 Is a flow chart illustrating an object tracking procedure of the embodiment of the present invention. 本発明に係るクラスタリング手順を説明する遷移図である。 It is a transition diagram for explaining a clustering procedure according to the present invention. 既知の電子カメラを用いて人物が歩く様子をコマ送りで撮影した図である。 It is a view taken by a frame advance how to walk a person using a known electronic camera. 本発明に係るクラスタリングを行って人物のみを抽出した結果を例示する図である。 Is a diagram illustrating the result of extracting only the person performing clustering according to the present invention. 本発明に係るモーフィングパターンマッチング法により対象物を追跡する手順を説明するための状態遷移図である。 It is a state transition diagram for explaining a procedure for tracking an object by morphing pattern matching method according to the present invention. 既知の電子カメラを用いて人物が椅子とくっついたり離れたりする様子をコマ送りで撮影した図である。 Diagrams person has taken a manner of and away from stick chair frame by frame using known electronic camera. 本発明の対象物追跡方法によって得られたデータと、比較例としてクラスタリングのみ行って得られたデータとを示すグラフ図である。 And data obtained by the object tracking method of the present invention, is a graph showing the data obtained by performing only clustering as a comparative example. 本発明の対象物追跡システムを示す構成図である。 Is a block diagram illustrating an object tracking system of the present invention. 本発明の対象物追跡システムによって人物のみを追跡させた場合の追跡結果を示す図である。 The object tracking system of the present invention is a diagram showing the tracking results that are obtained by tracking only person. 本発明の対象物追跡システムが人物を見ている図である。 Object tracking system of the present invention is a diagram looking at the person. 本発明の対象物追跡システムが人物を見ている際のクラスタリング結果を示す図である。 Object tracking system of the present invention is a diagram showing the clustering results when viewing the person. 原画像を示す図である。 Is a diagram showing the original image. 前記原画像を距離画像として示す図である。 Wherein is a diagram illustrating an original image as a distance image. k-means法によりクラスタリングを行った場合の実行結果を例示する図である。 It is a diagram illustrating the execution result in the case of performing clustering by the k-means method. スキャンラインクラスタリング法によりクラスタリングを行った場合の実行結果を例示する図である。 Is a diagram illustrating the execution result in the case of performing clustering by scanline clustering method.

(クラスタリング) (Clustering)
図12は、距離計測可能な機能を有する既知の電子カメラを用いて撮影した原画像である。 Figure 12 is a photographic original image by using a known electronic camera having a distance measurement function capable. 図13は、前記原画像を距離画像としたものである。 13 is obtained by the original image and the distance image. 図12の原画像では、二人の人物201と202が写っている。 The original image of FIG. 12, is reflected two persons 201 and 202. 向かって右側の人物201が電子カメラから近い距離(画面の手前側)に写っており、向かって左側の人物202が電子カメラから遠い距離(画面の奥側)に写っている(図12、図13)。 Right side of the person 201 are captured in close distance (near side of the screen) from the electronic camera, the left side of the person 202 is photographed in the distance from the electronic camera (the back side of the screen) (FIG. 12, FIG. 13). 図13の距離画像では、距離の度合いに応じて色分け表示しており、電子カメラから遠い距離(画面の奥側)が赤色に近い色で着色されており、電子カメラから近い距離(画面の手前側)が青色に近い色で着色されている。 In the distance image in FIG. 13, the distance depending on the degree of have been color coded, distance from the electronic camera (the back side of the screen) is colored in a color close to red, before the close range (screen from the electronic camera side) is colored in a color close to blue.

図14(a)(b)(c)は、k-means法によりクラスタリングを行った場合の実行結果を例示する画像である。 Figure 14 (a) (b) (c) is an image illustrating the execution result in the case of performing clustering by the k-means method. 図14(a)では、人物201と人物202とが接合されてしまい、個々の人物を特定できていない。 In FIG. 14 (a), will be joined with the person 201 and the person 202 has not able to identify the individual person. 図14(b)では、人物201と人物202を特定できている。 In FIG. 14 (b), the are able to identify the person 201 and the person 202. 図14(c)では、人物201と人物202の下半分とが接合されてしまい、個々の人物を特定できていない。 In FIG. 14 (c), the a lower half of the person 201 and the person 202 will be bonded, not able to identify the individual person. k-means法によりクラスタリングを行った場合は、実行結果が不安定になり易いという課題がある。 If you have made a clustering by the k-means method, there is a problem that it is easy execution result is unstable.

上記課題に鑑みて、図15(a)(b)(c)は、スキャンラインクラスタリング法によりクラスタリングを行った場合の実行結果を例示する図である。 In view of the above problems, FIG. 15 (a) (b) (c) is a diagram illustrating the execution result in the case of performing clustering by scanline clustering method. 図15(a)、図15(b)、及び図15(c)のいずれの場合においても、人物201と人物202を特定できている。 FIG. 15 (a), the FIG. 15 (b), the and also in the case 15 in any of (c), are able to identify the person 201 and the person 202. スキャンラインクラスタリング法によりクラスタリングを行った場合は、実行結果が安定しており、個々の人物を特定できている。 If you make clustering by scanline clustering method, the execution result is stable, which can identify individual persons.

(本発明の対象物追跡方法) (Object tracking method of the present invention)
図1は、本発明の実施形態の対象物追跡手順を説明するフローチャート図である。 Figure 1 is a flow chart illustrating an object tracking procedure of the embodiment of the present invention. 図2(a)(b)(c)(d)(e)(f)は、スキャンラインクラスタリング法によりクラスタリングを行う手順を説明するための状態遷移図である。 Figure 2 (a) (b) (c) (d) (e) (f) is a state transition diagram illustrating the steps of performing clustering by scanline clustering method. 説明し易くするために、図2では、画素数が4×4ドットの距離画像を四角マスの集合として例示している。 For ease of explanation, is illustrated in FIG. 2, the number of pixels is a distance image of 4 × 4 dots as a set of square mass. 前記距離画像において、行方向は座標xであり、列方向は座標yである。 In the distance image, the row direction are the coordinates x, column are coordinates y. 図1に示すフローチャートに沿って、本発明の手順を以下に説明する。 In accordance with the flowchart shown in FIG. 1, the procedure of the present invention are described below.

まず、カメラ座標(x,y)において、レーザレンジファインダー等の距離画像センサによって、距離情報L(x,y)を得て、距離画像を作成し、初期化する(符号S1、図2(a))。 First, the camera coordinate (x, y), by the distance image sensor such as a laser range finder, with the distance information L (x, y), creates a distance image, initializes (code S1, FIG. 2 (a )). ここでは、距離が変化するとそれに対応して各座標の画素(マス目)の色が変化するとして説明する。 Here, the distance is correspondingly when changes described as the color of the pixel (squares) of each coordinate is changed. 各画素(マス目)のクラスタ番号を符号cとする。 The cluster number of each pixel (squares) and code c. まず、走査前の距離画像に対して、各マス目のクラスタ番号cをc=1として初期化する(符号S1、図2(a))。 First, the pre-scan of the distance image, initializes the cluster number c of each square as c = 1 (reference numeral S1, FIG. 2 (a)).

次に、カメラ座標(x,y)の左上から右に向かって第1回目の走査を行う(符号S2、図2(b))。 Then, the camera coordinate (x, y) is the upper left first scan to the right from the (code S2, Figure 2 (b)). 走査方向を符号a1で示す。 It shows a scanning direction by the reference numeral a1. このとき、次の数式(1)の条件が満たされないときにクラスタ番号cをひとつ増加させる。 At this time, one increases the cluster number c when the condition of Equation (1) is not satisfied. 尚且つ、画像右端に到着してひとつ下の行に移るときにクラスタ番号cをひとつ増加させる。 Besides, one increases the cluster number c when moving on the line under one arrived at the image right end. この手続きを画素左上から右下まで実行すると図2(c)の状態となる。 When this procedure is performed from a pixel upper left to the lower right in the state of FIG. 2 (c).

上記数式(1)において、符号βは所定の閾値であり、図2の例では一定以上の色の差異レベルを閾値としている。 In the above equation (1), the code β is a predetermined threshold value, in the example of FIG. 2 is a threshold difference level above a certain color. つまり、前記閾値内であれば、距離が同じであるとみなしている。 In other words, as long as it is within the threshold distance it is regarded to be the same.

次に、画素左上から右下に向かって、第2回目の走査を行う(符号S3、図2(d))。 Then, toward the lower right from the pixel upper left, a second round of scanning (code S3, Figure 2 (d)). 走査方向を符号a2で示す。 It shows a scanning direction by the reference numeral a2. このとき、走査している画素(x,y)の上下左右(図2(d)にて符号b2で示す緑色の枠)を見て、上記数式(1)を満たす場合、緑色枠b2のクラスタ番号を、現在走査中の画素(x,y)のクラスタ番号に入れ替える。 At this time, looking at the vertical and horizontal scanning to that pixel (x, y) (the frame of green indicated by the reference numeral b2 in FIG. 2 (d)), if it meets the equation (1), the green frame b2 cluster the number replaces the pixel currently being scanned (x, y) to the cluster numbers. 図2(d)では、緑色枠b2の中心の注目している画素(2,1)から見て、画素(2,2)はクラスタ番号4を持っているが、上記式(1)を満たしているので画素(2,1)のクラスタ番号1に置き換えている。 In FIG. 2 (d), viewed from the pixel (2,1) of interest in the center of the green frame b2, although the pixel (2,2) has a cluster number 4, satisfying the above formula (1) It is replaced by a cluster number 1 of the pixel (2,1) since the are.

図2(e)は、符号S3で示す第2回目の走査を行った直後の状態である。 Figure 2 (e) is a state of immediately after the second scan indicated at S3. 画素左上から右下まで第2回目の走査が終了した時点では、右上の白色の枠内のクラスタ番号が2のままになっていることがわかる。 At the time of the second round of scanning from the pixel upper left to the lower right is finished, it can be seen that the cluster number in the upper right corner of the white frame is left 2. このクラスタ番号は3であるべきなので、この状態では偏りがある。 Since the cluster number is such should be 3, there is a bias in this state. そこで、画素左下から右上に向かって、第3回目の走査を行う(符号S4、図2(f))。 Accordingly, toward the upper right from the pixel lower left, a third round of scanning (code S4, FIG. 2 (f)). 走査方向を符号a3で示す。 It shows a scanning direction by a symbol a3. このとき、走査している画素(x,y)の上下左右(図2(f)にて符号b3で示す緑色の枠)を見て、上記数式(1)を満たす場合、緑色枠b3のクラスタ番号を、現在走査中の画素(x,y)のクラスタ番号に入れ替える。 At this time, looking at the vertical and horizontal scanning to that pixel (x, y) (the frame of green indicated by the reference numeral b3 in Fig. 2 (f)), if it meets the equation (1), the green frame b3 cluster the number replaces the pixel currently being scanned (x, y) to the cluster numbers. この作業により、白色の枠内のクラスタ番号をすべて3に置き替えている(図2(f))。 This work, which replaced the cluster number in the white frame to all three (Figure 2 (f)).

図3(a)(b)(c)(d)(e)は、距離計測可能な機能を有する既知の電子カメラを用いて人物201が歩く様子をコマ送りで撮影した原画像である。 Figure 3 (a) (b) (c) (d) (e) is an original image picturing a state of walking a person 201 frame by frame by using a known electronic camera having a distance measurement function capable. 図4(a)(b)(c)(d)(e)は、本発明に係るスキャンラインクラスタリング法によりクラスタリングを行って人物201のみを抽出した場合の実行結果を例示する画像である。 Figure 4 (a) (b) (c) (d) (e) is an image illustrating the execution result of the case of extracting only the person 201 performs clustering by scanline clustering method according to the present invention. 図4(a)(b)(c)(d)(e)に示すように、短い時間間隔で見ると、対象物の形状はあまり変化しないとみなせる。 As shown in FIG. 4 (a) (b) (c) (d) (e), when viewed in short time intervals, the shape of the object is considered to not change much. 本発明が提案する手法は、時刻の変遷にしたがって、追跡対象としている対象物のパターン形状を逐次コンピュータ内部で更新し続けることで、追跡対象としている対象物のパターン形状が徐々に変化していっても対象物を追跡し続けるという手法である。 Method proposed by the present invention, in accordance with transition of time by continuing to update the pattern shape of the object being tracked sequentially inside the computer, the pattern shape of the object being tracked is gradually changed it is a method that keeps track of objects even. 記憶パターンが逐次更新されることから、以下これをモーフィングパターンマッチング法と称する。 Since the storage pattern is sequentially updated, which is referred to as morphing pattern matching method below.

図5(a)(b)(c)は、本発明に係るモーフィングパターンマッチング法により対象物を追跡する手順を説明するための状態遷移図である。 Figure 5 (a) (b) (c) is a state transition diagram for explaining a procedure for tracking an object by morphing pattern matching method according to the present invention. 説明し易くするために、図5では、人物201と机301を追跡対象物としている。 For ease of description, in FIG. 5, a person 201 and desk 301 are tracked object. 本発明に係るモーフィングパターンマッチング法では、次の数式(2)、数式(3)を用いる。 The morphing pattern matching method according to the present invention, the following formula (2), using equation (3).

上記数式(2)において、T n,t (w,h)を、画素(x+w,y+h)における時刻t、クラスタ番号nの記憶テンプレートとして、S (x,y)をスキャンラインクラスタリング法によりクラスタリングを行って得られたクラスタ結果とする。 Clustering In the above equation (2), T n, t a (w, h), the pixel (x + w, y + h ) time in t, as memory template cluster number n, by S n (x, y) scan lines clustering method and cluster the results obtained by performing. ここでは、クラスタ番号nに対して画素(x,y)がそのクラスタに所属していれば1、それ以外では−1となる変数とする。 Here, the pixel to the cluster number n (x, y) is 1 if the belong to the cluster, the variables of -1 otherwise.

上記数式(3)において、M(x,y,n,t)はコスト関数であり、w(n)をクラスタ番号nの記憶テンプレートの横幅とし、h(n)をクラスタ番号nのテンプレートの縦幅とする。 In the above equation (3), M is (x, y, n, t) is the cost function, w (n) is the horizontal width of the storage template cluster number n, vertical h (n) the cluster number n of templates and width. このコスト関数M(x,y,n,t)を使って、画像S (x,y)上に記憶テンプレートT n,t (w,h)が存在するか否かを調べる。 The cost function M using (x, y, n, t ) and examine images S n (x, y) stored template T n on, t (w, h) whether there. 基本的には、コスト関数M(x,y,n,t)の値が小さいほど、記憶テンプレートT n,t (w,h)がその場所に存在している可能性が高くなる。 Basically, the cost function M (x, y, n, t) as the value is small, the storage template T n, t (w, h ) possibly exists in that location increases.

記憶テンプレートT n,t (w,h)の検索方法としては、直前のフレームに存在していた記憶テンプレートの座標を中心にして、その周辺を検索するという手法を利用している。 Storing template T n, as a search method of t (w, h) is about the coordinates of the memory templates that existed immediately prior to the frame, utilizing the technique of searching its periphery. これは、記憶テンプレートが突然別の場所に瞬間移動することはないと判断していることによる。 This is due to the fact that the storage template is determined that suddenly it is not to teleport to another location. 通常は、図5(a)の状況(T=1)となり、記憶しているテンプレート205と305をクラスタリング領域の変形に対応して逐次更新し、対象物201と301の追跡を行う。 Normally, FIG status of 5 (a) (T = 1), and the sequentially updated for the template 205 and 305 stored in the deformation of the clustering regions, to track the object 201 and 301.

次に、図5(b)の状況(T=2)となり、人物201が机301に接触して、クラスタリングした結果、同一の物体として認識された場合について検討する。 Next, conditions (T = 2) next to FIG. 5 (b), the person 201 is in contact with the desk 301, the result of clustering, consider the case where it is recognized as the same object. この場合、人物201と机301とが接続された新しいパターン209は、それまでの記憶パターンには該当しないので、まずは現時点まで追跡を続けている追跡対象パターン205と305を使用して、直前のフレームで追跡していた人物201と机305との接合として検索を開始する。 In this case, a new pattern 209 and the person 201 and the desk 301 is connected, so far does not correspond to the memory patterns, first to use the tracked pattern 205 and 305 that keep track current, just before the start searching as the bonding between the person 201 and the desk 305 are tracked in the frame. 評価関数は上記の数式(3)を用いる。 Evaluation function using the above equation (3).

次に、図5(c)の状況(T=3)となり、人物201が机301から離れた場合には、T=1の時点まで戻ってクラスタの追跡を行う。 Then, if the situation (T = 3) next to FIG. 5 (c), the person 201 is separated from the desk 301, to track the cluster back to the point of T = 1. 検索が失敗したパターンに関しては、新たなパターンとして登録し、追跡を開始することにする。 For the search fails pattern, registered as a new pattern and to start tracking. このとき、どれくらいの時刻までさかのぼってマッチングを行うかによって計算時間が増大するため、ここでは、100フレーム程度の情報を保持することにした。 At this time, since the computation time by back to how much time or for matching is increased, here, it was decided to retain about 100 frame information.

図6(a)(b)(c)(d)は、距離計測可能な機能を有する既知の電子カメラを用いて人物201が椅子301とくっついたり離れたりする様子をコマ送りで撮影した原画像である。 FIG 6 (a) (b) (c) (d) is a person 201 using known electronic camera having a distance measurement function capable have taken a manner of and away from stick chair 301 frame by frame original image it is. 図7は、本発明の対象物追跡方法によって得られたデータと、比較例としてクラスタリングのみ行って得られたデータとを示すグラフ図である。 Figure 7 is a graph showing the data obtained by the object tracking method of the present invention, the data obtained by performing only clustering as a comparative example. 図7のグラフ図は、横軸が時刻t[sec]を表しており、縦軸が画像の横軸におけるクラスタの重心座標値x[dot]である。 Graph of Figure 7, the horizontal axis represents the time t [sec], the vertical axis is the cluster center of gravity coordinate value x in the horizontal axis of the image [dot]. ここでは、青色の線が単にクラスタリングされた結果だけの重心座標をプロットした比較例であり,椅子と接合された時座標値が動き,時折切断されるため重心座標が戻ってきたりしている。 Here, a comparative example obtained by plotting only the centroid coordinates results blue line is simply clustering coordinates movement when joined with a chair, and or come back barycentric coordinates to be occasionally cut. ここでは、赤色の線は、本発明に係るモーフィングパターンマッチングを利用した結果であり、クラスタが接合されたり切断されたりしても安定して人物の重心座標を捉えていることが分かる。 Here, red line is the result of using morphing pattern matching according to the present invention, it is seen that capturing the barycentric coordinates of the person cluster stably be or disconnected joined.

(本発明の対象物追跡システム) (Object tracking system of the present invention)
図8は、本発明に係るアルゴリズムを実装した対象物追跡システム1(自律移動ロボット)を示す構成図である。 Figure 8 is a block diagram showing an object that implements an algorithm according to the present invention the tracking system 1 (autonomous mobile robots). 本実施形態で使用する画像編集用コンピュータ3の構成は、いわゆる個人向けのパーソナルコンピュータで足りる。 Configuration of image editing computer 3 used in this embodiment, sufficient for personal computers of the so-called personal. ここでは、画像編集用コンピュータ3には、データ入力を受け付ける入力手段81と、入力されたデータに演算処理を行うCPU4と、演算処理後のデータを蓄積保存するデータベース5とデータ処理前後のデータを画面表示するディスプレイ82が備わっており、画像編集用コンピュータ3上で画像編集プログラム2が動作する。 Here, the image editing computer 3, an input unit 81 for accepting data input, the CPU4 that performs arithmetic processing on the input data, the data before and after the database 5 and the data processing for storing save data after processing and equipped with a display 82 to the screen display, an image editing program 2 is operated on the image editing computer 3. 入力手段81は、キーボード、マウス、タッチパネル等である。 Input means 81 may include a keyboard, a mouse, and a touch panel. 符号700は、距離計測可能な機能を有する既知の電子カメラ(ビデオカメラ)である。 Reference numeral 700 is a distance known electronic camera having a measurable function (video camera). 符号350は、搬送車体や歩行ロボットなどの既知の移動手段である。 Reference numeral 350 is a known moving means such as a transport vehicle or walking robot. 図9(a)(b)(c)(d)は、本発明の対象物追跡システム1によって人物のみを追跡させた場合の追跡結果を示す画像である。 Figure 9 (a) (b) (c) (d) is an image showing the tracking result in the case where the object tracking system 1 of the present invention was only track the person. ここでは、人物201は、歩行の後、椅子301に座り,その後、椅子301から立ち上がって離れる動作をしている。 Here, the person 201, after walking, sitting in a chair 301, then, is an operation that leaves rises from the chair 301. 図10(a)(b)(c)(d)(e)(f)は、本発明の対象物追跡システム1が人物201を見ている画面である。 Figure 10 (a) (b) (c) (d) (e) (f) is a screen object tracking system 1 of the present invention is watching a person 201. 図11(a)(b)(c)(d)(e)(f)は、本発明の対象物追跡システム1が人物201を見ている際のクラスタリング結果を示す画像である。 Figure 11 (a) (b) (c) (d) (e) (f), the object tracking system 1 of the present invention is an image showing the clustering results when viewing the person 201. 本実施形態によれば、追跡対象の人物201が椅子301に座ってから立ち上がって去るという動作を追従していることが分る。 According to this embodiment, it is understood that the person 201 tracked is following the operation of leaving rises from sitting in a chair 301. このことは、従来提案されているアルゴリズムでは不可能であった実験である。 This is was impossible experiments in conventional proposed algorithm.

本発明は、上述した実施の形態に限定されるものではない。 The present invention is not limited to the embodiments described above. 前記対象物は人物に限定されず、車両、生産ロボット、ラインによって生産される生産物など各種移動体に適用することができる。 The object is not limited to a person, vehicle, production robot can be applied to various mobile objects such as products produced by the line. また、前記距離情報を用いて各フレームに対して領域を分けるクラスタリングであれば、上述のスキャンラインクラスタリング法には限定されない。 Further, if the clustering divides the area for each frame by using the distance information, to the scan lines clustering method described above it is not limited. このように、本発明は、その趣旨を逸脱しない範囲で適宜変更が可能であることは言うまでもない。 Thus, the present invention is of course can be appropriately changed without departing from the scope thereof.

上述の本発明は、高齢者の見守りシステムや、子供などの安全管理、混雑環境下での物体の認識、車などへの安全機構、生産ラインへの応用、警備システムへの適用など、広く適用することができる。 Above invention, and watch the elderly systems, safety management, such as children, the recognition of an object under crowded environment, safety mechanism to cars, application to the production line, such as application to security systems, widely applicable can do.

1 本発明に係るアルゴリズムを実装した対象物追跡システム、 Object tracking system that implements an algorithm according to one invention,
201、202 人物、 201 and 202 persons,
301 椅子、 301 chairs,
700 既知の電子カメラ 700 known electronic camera

Claims (3)

  1. 距離情報を有する動画像を撮像手段にて撮影してコンピュータに取り込み、前記動画像を構成する各フレームに対して所定のクラスタリング処理を行い、前記クラスタリング処理されたフレームを記憶テンプレートとして記憶手段に逐次蓄積するとともに、逐次蓄積されたフレームのうち直近のフレームと前記クラスタリング処理対象のフレームとをパターンマッチングさせて対象物を特定し、特定された対象物を追跡手段にて追跡することを特徴とする対象物追跡方法。 A moving image having distance information captured by the image pickup means captures a computer, performs a predetermined clustering process for each frame constituting the moving image, the sequential storage means the clustering process frames as stored template with accumulated sequentially accumulated and last frame and the clustering process target frame among the frames by pattern matching to identify the object, characterized in that tracking the specified object by tracking means object tracking method.
  2. 前記クラスタリング処理は、前記動画像を構成するフレームを走査しながら前記距離情報に基づいて各画素毎にクラスタ番号を付与するステップと、クラスタ番号が付与されたフレームを再度走査しながら走査画素における距離情報と、当該走査画素に隣接している隣接画素における距離情報とを比較し、両者の距離情報の差の絶対値が所定の閾値よりも小さい場合には前記隣接画素のクラスタ番号と同じクラスタ番号を前記走査画素のクラスタ番号とするステップを有し、前記対象物を領域分けすることを特徴とする請求項1記載の対象物追跡方法。 The clustering process, the distance in steps and again scanned while scanning pixel frames cluster number is assigned to grant cluster number for each pixel on the basis of the distance information while scanning the frames constituting the moving image information and compares the distance information in adjacent pixels adjacent to the scanning pixel, when the absolute value of the difference between the distance information is smaller than a predetermined threshold value are the same cluster number to the cluster number of the adjacent pixels the comprising the steps of: a cluster number of the scanning pixels, the object tracking method of claim 1, wherein the region dividing said object.
  3. 距離情報を有する動画像を撮影する撮像手段と、前記動画像を取り込んでデータ処理するコンピュータと、対象物を追跡する追跡手段を備え、前記コンピュータによって、前記動画像を構成する各フレームに対して所定のクラスタリング処理がなされ、前記クラスタリング処理されたフレームが記憶テンプレートとして記憶手段に逐次蓄積されるとともに、逐次蓄積されたフレームのうち直近のフレームと前記クラスタリング処理対象のフレームとがパターンマッチングされて対象物が特定され、特定された対象物が追跡手段にて追跡されることを特徴とする対象物追跡システム。 Imaging means for capturing a moving image having distance information, a computer for data processing captures the moving image, comprising a tracking means for tracking an object, by the computer, for each frame constituting the moving picture predetermined clustering process is performed, the conjunction sequentially stored clustering processed frame storage means as a storage template is a pattern matching and the clustering processing target nearest frame frames of sequential storage frames targeted object tracking system, characterized in that the object is identified, the object identified is tracked by the tracking means.
JP2013170871A 2013-08-21 2013-08-21 Object tracking method and an object tracking system Active JP6265370B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013170871A JP6265370B2 (en) 2013-08-21 2013-08-21 Object tracking method and an object tracking system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013170871A JP6265370B2 (en) 2013-08-21 2013-08-21 Object tracking method and an object tracking system

Publications (2)

Publication Number Publication Date
JP2015041166A true true JP2015041166A (en) 2015-03-02
JP6265370B2 JP6265370B2 (en) 2018-01-24

Family

ID=52695313

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013170871A Active JP6265370B2 (en) 2013-08-21 2013-08-21 Object tracking method and an object tracking system

Country Status (1)

Country Link
JP (1) JP6265370B2 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339456A (en) * 1999-03-19 2000-12-08 Japan Radio Co Ltd Picture processing method
JP2011039792A (en) * 2009-08-11 2011-02-24 Hitachi Kokusai Electric Inc Counter for the number of persons
WO2013056016A1 (en) * 2011-10-14 2013-04-18 Omron Corporation A method and apparatus for projective volume monitoring

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000339456A (en) * 1999-03-19 2000-12-08 Japan Radio Co Ltd Picture processing method
JP2011039792A (en) * 2009-08-11 2011-02-24 Hitachi Kokusai Electric Inc Counter for the number of persons
WO2013056016A1 (en) * 2011-10-14 2013-04-18 Omron Corporation A method and apparatus for projective volume monitoring

Also Published As

Publication number Publication date Type
JP6265370B2 (en) 2018-01-24 grant

Similar Documents

Publication Publication Date Title
Zhao et al. Stereo-and neural network-based pedestrian detection
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
Van den Bergh et al. Real-time 3D hand gesture interaction with a robot for understanding directions from humans
Luber et al. People tracking in rgb-d data with on-line boosted target models
US7916944B2 (en) System and method for feature level foreground segmentation
US20110221974A1 (en) System and method for hand gesture recognition for remote control of an internet protocol tv
US20050069208A1 (en) Object detector, object detecting method and robot
Muñoz-Salinas et al. People detection and tracking using stereo vision and color
US20110317871A1 (en) Skeletal joint recognition and tracking system
US20100208038A1 (en) Method and system for gesture recognition
US20090290758A1 (en) Rectangular Table Detection Using Hybrid RGB and Depth Camera Sensors
US20110190055A1 (en) Visual based identitiy tracking
US20120163723A1 (en) Classification of posture states
US20140211991A1 (en) Systems and methods for initializing motion tracking of human hands
US8396252B2 (en) Systems and related methods for three dimensional gesture recognition in vehicles
US9330307B2 (en) Learning based estimation of hand and finger pose
US8787663B2 (en) Tracking body parts by combined color image and depth processing
US7308112B2 (en) Sign based human-machine interaction
US20090153655A1 (en) Gesture recognition apparatus and method thereof
US20130342671A1 (en) Systems and methods for tracking human hands using parts based template matching within bounded regions
US20120195471A1 (en) Moving Object Segmentation Using Depth Images
US20100295783A1 (en) Gesture recognition systems and related methods
US20120068917A1 (en) System and method for dynamic gesture recognition using geometric classification
US20120269384A1 (en) Object Detection in Depth Images
US20050084141A1 (en) Action recognition apparatus and apparatus for recognizing attitude of object

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170613

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170808

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171213

R150 Certificate of patent or registration of utility model

Ref document number: 6265370

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150