JP2008134939A - Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein - Google Patents

Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein Download PDF

Info

Publication number
JP2008134939A
JP2008134939A JP2006322048A JP2006322048A JP2008134939A JP 2008134939 A JP2008134939 A JP 2008134939A JP 2006322048 A JP2006322048 A JP 2006322048A JP 2006322048 A JP2006322048 A JP 2006322048A JP 2008134939 A JP2008134939 A JP 2008134939A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
target state
means
distribution
state
moving object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006322048A
Other languages
Japanese (ja)
Inventor
Hiroyuki Arai
Tatsuya Osawa
Kyoko Sudo
Xiaojun Wu
Takayuki Yasuno
小軍 ウ
達哉 大澤
貴之 安野
恭子 数藤
啓之 新井
Original Assignee
Nippon Telegr & Teleph Corp <Ntt>
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

<P>PROBLEM TO BE SOLVED: To stably track respective moving objects by integrating images sent from one or more imaging apparatuses for imaging a plurality of moving objects. <P>SOLUTION: A plurality of moving objects are tracked by using: a means 11 for predicting the target states of the plurality of moving objects at each time on the basis of a plurality of image data obtained by photographing the moving objects by using one or more imaging apparatuses; a means 12 for acquiring the image data; a means 13 for generating silhouette images obtained by extracting areas including respective moving objects; a means 14 for estimating target state distribution on the basis of the silhouette images, the three-dimensional structure of a real world, and an internal parameter and an external parameter of the imaging apparatus, a change type, and probability distribution updating frequency; a means 15 for calculating change vectors based on a target state having maximum probability at present time and a target state having maximum probability at previous time; a means 21 for storing the three-dimensional structure of the real world, the internal parameter and the external parameter; a means 22 for storing the probability distribution of the target states; and a means 22 for storing the change vectors. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、1又は複数の画像入力装置(例えば、カメラ等)を用いて、動体(物体、動物、人間を含む動体)の三次元位置や大きさなどの状態を追跡する技術に関するものである。 The present invention, one or more image input device (e.g., a camera, etc.) using, to a technique for tracking the state, such as the three-dimensional position and size of the moving object (moving object including an object, an animal, a human being) .

コンピュータビジョン分野では、複数のカメラの情報を利用して人物などの動く対象の追跡に関する研究が多く行われている。 Computer vision field have been made many studies on tracking target moves, such as a person using the information of the plurality of cameras. 例えば、次のような研究成果が、実現されている。 For example, research results, such as the following, has been realized.

複数の視点から対象を観測し、画像上における対象の領域(即ち、シルエット)を抽出したシルエット画像を用意する。 Observing an object from a plurality of viewpoints, the target area on the image (i.e., silhouette) providing a silhouette image extracting. さらに、予め追跡を行う空間の三次元構造(以下、三次元環境情報と呼ぶ)と、追跡に利用する全てのカメラの内部パラメータ及び外部パラメータ(カメラパラメータともいう)と、を予め計測して求めておく。 Furthermore, pre-three-dimensional structure of the space to track and (hereinafter, referred to as a three-dimensional environment information), and the internal parameters and external parameters of all cameras used for tracking (also referred to as camera parameters) determined in advance measured to keep.

なお、シルエット画像とは、撮影した画像に対して背景差分法やフレーム間差分法を施し、撮影した画像の対象が写っている領域の輝度値を「1」、他の領域の輝度値を「0」で表現した2値画像である(即ち、実差分画像である)。 Note that the silhouette image, subjected to difference method between background subtraction and frame to captured images, the luminance values ​​of the area subject is captured in the captured image "1", the luminance values ​​of the other regions, " 0 ", which is a binary image expressed in (that is, is a real difference image). また、カメラの内部パラメータの校正,三次元位置と姿勢を求めるためのカメラキャリブレーション方法も広く知られている(例えば、非特許文献1参照)。 Further, calibration of the intrinsic parameters of the camera are also known camera calibration method for determining the three-dimensional position and orientation (e.g., see Non-Patent Document 1).

そして、その三次元環境中に人物モデルを配置し、先に算出したカメラの内部パラメータと外部パラメータを有する仮想カメラ(例えば、ソフトウェアで構築された仮想撮像装置)で、その人物モデルが配置されたシーンを撮影することによって、シルエット画像のシミュレーションを行うことができる。 Then, place the human model in its three-dimensional environment, the virtual camera with internal parameters and external parameters of the camera calculated earlier (e.g., constructed by the software virtual imaging device), the the person model is arranged by photographing the scene, it can be simulated silhouette image.

また、人物モデルに楕円体を用いて、生成したシミュレーション画像とシルエット画像を比較することで一般的な環境の下でも人物の追跡を行う方法(以下、楕円体モデル追跡方法と呼ぶ)が提案されている(例えば、非特許文献2参照)。 Further, by using the ellipsoid human model, methods by comparing the generated simulation image and silhouette images to track the person even under common environments (hereinafter referred to as ellipsoidal model tracking method) is proposed and are (for example, see non-Patent Document 2).

前述のように、カメラによって取得した情報に基づいて対象を追跡する方法において、複数の人物を追跡する場合、人物同士の接近などによって、カメラで撮影された画像上で人物同士が重なってしまう現象(即ち、オクルージョン)が問題にされている。 As described above, in the method for tracking an object based on the information obtained by a camera, when tracking a plurality of persons, such as by proximity between the person, overlaps a person together on captured images in the camera behavior (ie, occlusion) is a problem.

そのオクルージョン問題は、複数の視点から得られた情報を統合することによって、軽減できる。 Its occlusion problem by integrating information obtained from a plurality of viewpoints can be reduced. しかし、前記の楕円体モデル追跡方法では、複数のカメラが独立に追跡を行っているため、複数カメラの情報統合が行われておらず、人物同士が接近すると追跡が不可能となる問題を有している。 However, in the ellipsoidal model tracking method, perforated for multiple cameras is performing tracking independently information integration of multiple cameras is not performed, a person with each other approaches a problem that tracking becomes impossible are doing.

また、前記の楕円体モデル追跡方法では、追跡する人数を初めから固定しているため、追跡空間からの人物の退出、出現に対応することができないという問題を有している。 In the above of the ellipsoidal model tracking method, since that secure the number of tracking from the beginning, there is a problem that tracking person exit from the space, can not correspond to the appearance.

さらに、追跡人数に比例した処理量が必要であるため、一度に追跡する人数が増えると処理コストが増大し、追跡処理の実時間性が失われるといった問題を有している。 Furthermore, since it is necessary to process the amount proportional to the track number, the processing cost number increases to track increases at a time, real-time tracking process has a problem lost.

そして、シミュレーション画像生成に用いる楕円体モデルに固定の高さ,固定の半径を与えているため、人物の大きさの個人差に対応することが不可能である。 The ellipsoidal model of the fixed height is used in the simulation image generating, for giving the radius of the fixed, it is impossible to correspond to the individual difference of the size of the human. 即ち、この楕円体モデルの大きさと著しく異なる大きさの体を持つ人物を追跡する際には、測定値に大きな誤差を発生し、結果として追跡にも失敗してしまうという問題をも有している。 That is, when tracking a person having a size and significantly different body size of the ellipsoidal model, generates a large error in the measurement value, as a result also has a problem that fail to track there.

本発明は、前記課題に基づいてなされたものであって、複数の動体を撮像する1又は複数の撮像装置から送られる画像から、三次元空間中に存在する複数の動体の各時刻における位置、大きさを表す対象状態を逐次的に推定し、各動体の動きを安定して追跡する動体追跡装置,動体追跡方法,その方法を記述した動体追跡プログラム及びそのプログラムを格納した記録媒体を提供することにある。 The present invention was made based on the problem, the images sent from a plurality of elements for imaging one or more imaging devices, the position at each time of the plurality of elements present in the three-dimensional space, the target state representing the magnitude and sequentially estimated moving object tracking device that tracks the movement of each moving object stably, moving object tracking method, to provide a recording medium which stores a moving object tracking program and the program describing the method It lies in the fact.

前記課題の解決を図るために、請求項1記載の発明は、動体の三次元位置及び大きさを該動体の対象状態と見做し、1又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、各時刻に複数の前記動体の対象状態を予測する対象状態予測手段と、前記画像データを取得する画像取得手段と、前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存 In order to solve the above problems, a first aspect of the present invention, the three-dimensional position and size of the moving object is regarded as the target state of the animal body, one or a plurality of imaging devices specific to the animal body using captured in time when a time interval, based on the plurality image data obtained by the imaging, a moving object tracking apparatus for tracking the animal body, subject state to predict the target state of the plurality of the moving object in each time prediction means, an image acquisition means for acquiring the image data, and the silhouette image forming means for forming a silhouette image obtained by extracting a region copy the moving object from the image data, the target state obtained by the target state prediction means regarded as the initial state, the silhouette image generated by the silhouette image creating device, a three-dimensional structure of the real world that is stored in the three-dimensional environment information managing means, stored in the three-dimensional environment information managing means れた前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶 The using an internal and external parameters of the imaging device, to estimate the target state distribution, updates the target state distribution at the previous time stored in the target state distribution storage unit in the target state distribution at the present time a target state distribution estimating means, on the basis of the target state distribution at the present time that have been saved in the state distribution storage means, calculates the target state with a maximum probability, the maximum probability to become target state before the time at that current time the change vectors calculated based on the target state with a maximum probability, the calculated and target state calculation means for storing the target state storage means a change vector, wherein the pre-measured had been a real world three-dimensional structure imaging a three-dimensional environment information managing means for storing internal and external parameters of the device, the target state distribution storage for storing a probability distribution of the target state of being estimated in each time 段と、各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、を備え、前記対象状態分布推定手段が、前記対象状態分布記憶手段に対する最初の確率分布更新回数Bと対象状態に対する最後の確率分布更新回数Nを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、前記変化タイプを適応して変化させる動体を選択する手段と、前記選択された変化タイプ及び前記確率分布更新回数Bと前記確率分布更新回数Nの比較結果に基づいて、選択された動体の対象状態を変化させる手段と、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレ Stage and a target state storage means for storing the change vectors for each time, wherein the target state distribution estimating means, the last chance for the first probability distribution update count B and the target state for the target state distribution storage means comparing the distribution number of updates N, means for selecting on the basis of the comparison result, means for selecting a variation type in accordance with any probability from a prepared variation type, a moving object which changes adaptively the change type, based on the comparison result of the selected variation type and the probability distribution update count B and the probability distribution update count N, a means for changing the target states of the selected elements, the same external and intrinsic parameters and the imaging apparatus a virtual image pickup means having an image created by projecting a target state of being said change, to simulate the silhouette image simulation ーション画像と見做す手段と、前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第2条件尤度と、前記シルエット画像とシミュレーション画像の比較に基づく第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた暫定対象状態の尤度と見做す手段と、前記暫定対象状態が採用されたか否かの結果に応じて、n回目に予測された対象状態を決定する手段と、更新回数が前記確率分布計算回数Bと等しい場合、該B回の更新で得られた対象状態に基づいて状態分布を計算する手段と、前記B回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が0と等しいか否かを判定す And Shon image regarded to means, and stochastic first condition likelihood of the subject state based on the condition of prior knowledge about the three-dimensional structure, the probability of the target state based on the condition of prior knowledge overlap elements between specific second condition likelihood, the silhouette image and the third condition likelihood based on a comparison of simulated images, the calculate the product of the first through third condition likelihood provisional target while being said change the likelihood regarded to means, according to the provisional target state is whether it is adopted the results, means for determining a predicted target state n th, and number of updates the probability distribution calculated number B equal, means for calculating a state distribution on the basis of a target state obtained by updating the B times, based on the distribution of states based on the target state obtained by the B-time update, the currently tracked to determine whether the number of elements is equal to 0 手段と、前記動体数が0と等しくなかった場合、かつ、更新回数が記確率分布更新回数Bに前記確率分布更新回数Nを加算した回数を超えていた場合、最後のN回の更新で保存されたN個の対象状態全てが等確率に起こりうると考え、n回目に予測された対象状態を対象状態分布と見做す手段と、を有する、ことを特徴とする。 Means, when said moving body number is not equal to zero, and, if the number of updates exceeds the number obtained by adding the probability distribution update count N in serial probability distribution update count B, stored at last N updates all n states of interest been considered possible in equal probability, with a n-th with the predicted target state target state distribution regarded to means, and it is characterized.

請求項2記載の発明は、請求項1に記載の発明において、前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さh、で表し、それらパラメータx,y,r,hの値の組み合わせを複数記憶する、ことを特徴とする。 According to a second aspect of the invention, in the invention described in claim 1, the target state of said moving object is regarded as a set of ellipsoidal model, the position of each moving object position on an arbitrary plane (x, y), radius r and height h of the size of the ellipse body model of the moving object, in stands, they parameters x, y, r, stores a plurality of combinations of values ​​of h, characterized in that.

請求項3記載の発明は、予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、を備え、動体の三次元位置及び大きさを該動体の対象状態と見做し、1又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する装置に使用される動体追跡方法であって、各時刻に複数の前記動体の対象状態を予測する対象状態予測ステップと、前記画像データを取得する画像取得ステップと、前記画像データから前記動体を写した領域を抽出したシ According to a third aspect of the invention, a three-dimensional environment information managing means for storing in advance measured actual had been world three-dimensional structure of the internal parameters and external parameters of the imaging device, the condition of the subject estimated in each time and the target state distribution storage means for storing a probability distribution, and the target state storage means for storing the change vectors for each time, with a three-dimensional position and size of the moving object is regarded as the target state of the animal body, captured in time spaced certain time intervals the animals body using one or more imaging devices, based on the plurality image data obtained by the imaging, the moving body tracking method for use in apparatus for tracking the animal body a is a target state prediction step of predicting a subject state of a plurality of said elements each time an image acquisition step of acquiring the image data, and extracts a region in which copy the moving object from the image data エット画像を作成するシルエット画像作成ステップと、対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その Silhouette image creation step of creating a jet image, the target state obtained by the target state prediction means regarded as an initial state, the silhouette image generated by the silhouette image creating means is stored in the three-dimensional environment information managing means and real world three-dimensional structure, and the internal parameters and external parameters of the imaging device that is stored in the three-dimensional environment information managing means, was used to estimate the target state distribution, stored in the target state distribution storage means calculating a target state distribution estimating step, the target state with a maximum probability on the basis of the target state distribution at the present time that have been saved in the state distribution storage means for updating the target state distribution at the previous time to the target state distribution of current time are and, the change vector calculated based on the target state with a maximum probability in the subject state and the previous time as the maximum probability at its current time, the 算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、を有し、前記対象状態分布推定ステップが、前記対象状態分布記憶手段に対する最初の確率分布更新回数Bと対象状態に対する最後の確率分布更新回数Nを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、前記変化タイプを適応して変化させる動体を選択するステップと、前記選択された変化タイプ及び前記確率分布更新回数Bと前記確率分布更新回数Nの比較結果に基づいて、選択された動体の対象状態を変化させるステップと、前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット Anda target state calculation step of storing the target state storage means calculated by the change vector, the target state distribution estimating step, the last for the first probability distribution update count B and the target state for the target state distribution storage means step of comparing the probability distribution update count N, based on the comparison result, selects selecting a variation type in accordance with any probability from a prepared variation type, a moving object which changes adaptively the change type If, on the basis of the selected and changed type and the probability distribution update frequency B the probability distribution update count N comparison result, the step of changing the target states of the selected moving object, the image pickup device and and the same external parameters a virtual image pickup means having an internal parameter, the image created by projecting a target state of being the change, the silhouettes 画像をシミュレートしたシミュレーション画像と見做すステップと、前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第2条件尤度と、前記シルエット画像とシミュレーション画像の比較に基づく第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた暫定対象状態の尤度と見做すステップと、前記暫定対象状態が採用されたか否かの結果に応じて、n回目に予測された対象状態を決定するステップと、更新回数が前記確率分布計算回数Bと等しい場合、該B回の更新で得られた対象状態に基づいて状態分布を計算するステップと、前記B回の更新で得られた対象状態に基づいて状態分布に基づいて、現 A simulation image regarded to step simulates the image, and stochastic first condition likelihood of the subject state based on the condition of prior knowledge about the three-dimensional structure, based on the condition of prior knowledge overlap elements between and a stochastic second condition likelihood of the target state, and a third condition likelihood based on a comparison of the silhouette image and the simulated image, was calculated, the product of the first through third condition likelihood, said change the likelihood regarded to step provisional target state of being, depending on the whether the provisional target state is adopted the results, and determining the predicted target state n-th, the number of updates is the probability equal to the distribution number of calculations B, based on the distribution of states based computing a state distribution on the basis of a target state obtained by updating the B times, the target state obtained by the B single update, current 追跡している動体数が0と等しいか否かを判定するステップと、前記動体数が0と等しくなかった場合、かつ、更新回数が記確率分布更新回数Bに前記確率分布更新回数Nを加算した回数を超えていた場合、最後のN回の更新で保存されたN個の対象状態全てが等確率に起こりうると考え、n回目に予測された対象状態を対象状態分布と見做すステップと、を有する、ことを特徴とする。 Determining whether the number of elements being tracked is equal to 0, when the moving body number is not equal to zero, and adds the probability distribution update count N number of updates to the serial probability distribution update count B if it exceeds the number of times, the last n times all n states of the object stored in the update considered can occur in equal probability, the predicted target state distribution regarded to step the target state has in the n-th having, when it is characterized.

請求項4記載の発明は、請求項3に記載の発明において、前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さh、で表し、それらパラメータx,y,r,hの値の組み合わせを複数記憶する、ことを特徴とする。 Invention of claim 4, in the invention described in claim 3, the target state of said moving object is regarded as a set of ellipsoidal model, the position of each moving object position on an arbitrary plane (x, y), radius r and height h of the size of the ellipse body model of the moving object, in stands, they parameters x, y, r, stores a plurality of combinations of values ​​of h, characterized in that.

請求項5記載の発明は、動体追跡プログラムであって、請求項3または4に記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする。 Fifth aspect of the present invention, a moving object tracking program, a moving object tracking method of claim 3 or 4, characterized by being described as a computer program executable by a computer.
特徴とする。 And features.

請求項6記載の発明は、記録媒体であって、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする。 The invention of claim 6, wherein, there is provided a recording medium, described as a computer program executable by a computer, characterized in that the computer program recorded thereon.

前記の請求項1,3の発明によれば、複数の動体の対象状態分布を取得し、さらに、それら対象状態分布に基づいて、動体の変化ベクトルを取得できる。 According to the invention of the claims 1, 3, and acquires the target state distribution of a plurality of elements, further, on the basis of their target state distribution can be obtained a change vector of the moving object. 三次元構造に関する事前知識に基づいた対象状態の確率的尤度,動体同士の重なりに関する事前知識に基づいた対象状態の確率的尤度,前記シルエット画像とシミュレーション画像の比較による尤度を取得できる。 Probabilistic likelihoods of states of interest based on a prior knowledge of the three-dimensional structure, probabilistic likelihoods of states of interest based on a prior knowledge of the overlap of the moving object between the likelihood by comparison of the silhouette image and the simulated image can be acquired.

前記の請求項2,4の発明によれば、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さhを記憶できる。 According to the invention of the claim 2 and 4, the position of each moving object position on an arbitrary plane (x, y), the size of the moving object can be stored radius r and height h of the ellipse body model.

前記の請求項5の発明によれば、請求項3または4に記載の動体追跡方法をコンピュータプログラムとして記載できる。 According to the invention of the claim 5, it describes a moving object tracking method of claim 3 or 4 as a computer program.

前記の請求項6の発明によれば、請求項3または4に記載の動体追跡方法を実装したコンピュータプログラムを記録媒体に記録できる。 According to the invention of claim 6, a computer program that implements a moving object tracking method of claim 3 or 4 can be recorded on the recording medium.

以上示したように請求項1,3の発明によれば、1または複数の撮像装置から取得した画像に基づいて動体の変化ベクトルを計算し、その動体の変化ベクトルに基づいて複数の動物体の動きを安定に追跡できる。 According to the invention of claim 1 and 3 as shown above, the change vector of the moving object is calculated based on the image acquired from one or more imaging devices, a plurality of moving objects based on a change vector of the moving object motion can be stably tracked. 確率的尤度とシルエット画像とシミュレーション画像の比較による尤度(即ち、複数の撮像装置からの画像情報を統合した結果)を用いて、動体同士が非常に接近するような状況下においても、動体を安定して追跡できる。 Likelihood by comparison of the stochastic likelihood and silhouette image and the simulated image using the (ie, image information result of integrating from a plurality of imaging devices), even under conditions such as body each other very close, body the can be stably tracked.

請求項2,4の発明によれば、x,y,r,hを記憶できるため、大きさの異なる複数の動体や動的に追跡する動体数の変化に応じた追跡を行うことができる。 According to the invention of claim 2,4, x, y, r, because that can store h, it is possible to perform tracking in accordance with the change of the moving object number to track the size of different elements and dynamically. また、大きさの異なる複数の動体や動的に追跡する動体数の変化に応じた追跡を行っても、処理時間を一定に保ち実時間性を確保できる。 Further, even if the tracking according to the moving body number of changes to track the size of different elements and dynamically, can be secured real time maintaining the processing time constant.

請求項5の発明によれば、動体追跡方法を実装したコンピュータプログラムを提供できる。 According to the invention of claim 5, it is possible to provide a computer program that implements a moving object tracking method.

請求項6の発明によれば、動体追跡方法を実装したコンピュータプログラムを記録した記録媒体を提供できる。 According to the invention of claim 6, it is possible to provide a recording medium which records a computer program that implements a moving object tracking method.

これらを以ってコンピュータビジョン分野に貢献できる。 These can contribute to computer vision field I or more.

本実施形態における動体追跡装置を図1に基づいて説明する。 The moving object tracking apparatus according to the present embodiment will be described with reference to FIG.

動体追跡装置は、対象状態予測手段11,画像取得手段12,シルエット画像作成手段13,対象状態分布推定手段14,対象状態計算手段15,三次元環境情報管理手段(例えば、三次元環境情報を管理するデータベース)21,対象状態分布記憶手段22,対象状態記憶手段23から構成される。 Body tracker target state prediction means 11, the image acquiring unit 12, the silhouette image creation unit 13, the target state distribution estimating means 14, the target state calculation unit 15, the three-dimensional environment information managing means (for example, manages the three-dimensional environment information database) 21, object-state distribution storage unit 22, and a target state storage means 23.

対象状態予測手段11は、前時刻に得られた追跡対象の状態(以後、単に対象状態という;追跡対象の三次元位置、大きさ)および対象状態の変化ベクトルを用いて現時刻の対象状態を予測する。 Target state prediction means 11, the state of the tracked obtained before the time (hereinafter, simply referred to as the target state; three-dimensional position of the tracking target, the size) of the target state at the current time with the change vectors in and target state Predict.

画像取得手段12は、各時刻に撮影された画像データを取得する手段であり、例えば、デジタルカメラやビデオカメラ等の撮像装置などを備えている。 Image acquiring means 12 is a means for obtaining image data captured in each time, for example, a an imaging apparatus such as a digital camera or a video camera. 本実施形態における動体追跡装置は、1又は複数の撮像装置を備えていても良い。 Body tracking apparatus of this embodiment may include one or more imaging devices. また、画像データは、各時刻に撮影された画像データを格納した情報管理手段(例えば、データベース)から取得しても良い。 The image data may be acquired from the information management means for storing image data captured in each time (e.g., a database).

シルエット画像作成手段13は、前記取得された画像データから対象の写っている領域のみを抽出したシルエット画像を作成する。 Silhouette image creating unit 13 creates a silhouette image obtained by extracting only an area that is reflected of the object from the acquired image data.

対象状態分布推定手段14は、対象状態予測手段11によって得られた対象状態を初期状態と見做し、シルエット画像作成手段13によって作成されたシルエット画像と三次元環境情報管理手段21を用いて対象状態の確率的分布を推定し、対象状態分布記憶手段22に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する。 Target state distribution estimating means 14, a target state obtained by the target state prediction means 11 regarded as an initial state, a subject with a silhouette image and a three-dimensional environment information managing means 21 created by the silhouette image creating device 13 estimating the probability distribution of the state, to update the target state distribution at the previous time stored in the target state distribution storage unit 22 to the target state distribution at the present time.

対象状態計算手段15は、現時刻の対象状態分布が保存された対象状態分布記憶手段22を用いて、最大確率となる対象状態を計算するとともに、前時刻の対象状態からの変化ベクトルを計算し、対象状態記憶手段23に保存されている対象状態からの変化ベクトルを更新する。 Target status computing means 15 uses the target state distribution storage unit 22 the target state distribution at the present time is stored, as well as calculate the target state with a maximum probability, and calculates the change vector from the target state before time , and updates the change vector from the target state is stored in the target state storage means 23.

三次元環境情報管理手段21は、予め計測しておいた実世界の三次元構造情報と、設置されている画像取得手段12(例えば、デジタルカメラ、以下、単にカメラという)の内部パラメータ(例えば、焦点距離,画像中心などのパラメータ)と、その画像取得手段12の外部パラメータ(例えば、カメラ自体の三次元位置及び姿勢情報)と、を保存する。 Three-dimensional environment information managing means 21, and the three-dimensional structure information of the real world which has been measured in advance, the image acquisition unit 12 which is installed (for example, a digital camera, hereinafter, simply referred to as camera) internal parameters (e.g., focal length, and image parameters such as the center), and external parameters of the image acquisition unit 12 (e.g., three-dimensional position and orientation information of the camera itself), and stores the. 例えば、三次元環境情報管理手段21は、三次元構造情報,内部パラメータ,外部パラメータを保存するデータベースを含んでいても良い。 For example, the three-dimensional environment information managing means 21, the three-dimensional structure information, the internal parameters may include a database that stores external parameters. また、三次元環境情報管理手段21は、記憶部(例えば、ハードディスク装置や不揮発性メモリ)に三次元構造情報,内部パラメータ,外部パラメータを記憶してよい。 Further, the three-dimensional environment information managing means 21, the storage unit (e.g., a hard disk drive or a nonvolatile memory) in the three-dimensional structure information, the internal parameters may be stored external parameters.

対象状態分布記憶手段22は、対象状態分布推定手段14によって推定された対象状態の確率的分布を記憶する。 Object-state distribution storage unit 22 stores a probability distribution of the target state estimated by the target state distribution estimating means 14. 例えば、対象状態分布記憶手段22に含まれるメモリ(または、記憶領域)やハードディスク装置に、推定された対象状態の確率的分布を記憶しても良い。 For example, a memory included in the target state distribution storage unit 22 (or the storage area) to the or a hard disk device may store the probability distribution of the estimated target state.

対象状態記憶手段23は、対象状態計算手段15によって計算された最大確率を取る対象状態および前時刻の対象状態との変化ベクトルを記憶する。 Object state storage means 23 stores the change vectors for the target state of the target state and before time taking the maximum probability calculated by the target state calculation unit 15. 例えば、対象状態記憶手段23に含まれるメモリ(または、記憶領域)やハードディスク装置に前記変化ベクトルは記憶しても良い。 For example, a memory included in the target state storage means 23 (or storage area) the change vector and the hard disk drive may be stored.

本実施形態における動体追跡装置に関する条件を図2に基づいて説明する。 Conditions on the moving object tracking apparatus according to the present embodiment will be described with reference to FIG. なお、以下の説明で図1中の符号と同じものの説明は省略する。 Incidentally, the description thereof will not be following described as same as the reference numerals in FIG.

図2は、平面上を歩行する複数の人物(図2中では、人物H1,H2…Hk)を追跡対象(即ち、動体)とし、p台の位置と姿勢を固定されたビデオカメラ(即ち、カメラC1,C2…Cp)を用いて追跡を行う例について示すものである。 Figure 2 is a plurality of persons to walk on the plane (in FIG. 2, the person H1, H2 ... Hk) the tracking object (i.e., moving object), and a video camera which is fixed the p base position and orientation (i.e., It illustrates an example of performing tracking using a camera C1, C2 ... Cp). また、カメラC1〜Cpは、同じ撮影間隔で同期して画像の取得を行うものとする。 The camera C1~Cp shall perform the acquisition of the image in synchronism with the same shooting distance. なお、同じ撮影間隔で同期して画像の取得を行う際に、例えば、カメラC1〜Cpに同期装置を接続または搭載しても良い。 Incidentally, in synchronization with the same shooting distance when performing image acquisition, for example, it may be connected or mounted synchronizer camera C1~Cp.

一般に、空間中には追跡対象でない非対象物体(図2中では、非対象物体B)が存在しており、この非対象物体の三次元構造データは、手作業によるCAD(Computer−Aided Design)データの作成やレンジファインダの利用し、または、カメラ映像からの三次元復元などを利用して、予め計測して取得できる。 In general, the non-target object is not a tracking target (in FIG. 2, the non-target object B) in the space are present, the three-dimensional structure data of the non-target object, CAD manual (Computer-Aided Design) utilizing create and rangefinder data, or the like by using a three-dimensional reconstruction from the camera image can be obtained in advance measured by. この三次元構造データは、XY平面を床面と一致させ、高さ方向をZ軸と一致させる座標系に変換するものとする。 The three-dimensional structure data, the XY plane is coincident with the floor surface, the height direction and to convert to the coordinate system match the Z-axis.

また、配置された全て(p台)のカメラの内部パラメータの校正と三次元位置(x,y,z)と姿勢(φ,θ,γ)とを前記取得した三次元構造データと同じ座標系で求める(例えば、非特許文献1参照)。 Also, calibration and three-dimensional position of the internal parameters of the camera placed all (p stand) (x, y, z) and orientation (phi, theta, gamma) and the same coordinate system as the three-dimensional structure data described above acquires determined by (for example, see non-Patent Document 1). これら三次元構造データと全てのカメラの三次元位置および姿勢を、三次元環境情報管理手段21に予め記憶しておくことにする。 These three-dimensional structure data and the three-dimensional position and orientation of all the cameras, will be stored in advance in the three-dimensional environment information managing means 21.

本実施形態における人物(動体)の形状モデルを図3に基づいて説明する。 A shape model of a person (moving object) in the present embodiment will be described with reference to FIG.

なお、以下の説明における時刻は、特定のサンプリング間隔Δtでサンプリングした回数(または順序数)を示す。 The time in the following description indicates the number of times (or the number of order) sampled at a particular sampling interval Delta] t. そして、初期時刻t 0は、動体追跡を開始した時刻(即ち、時刻tが「0」の時点)を示す。 The initial time t 0, the time that initiated the moving object tracking (i.e., time t is the time of "0") indicating the. 前時刻は、初期時刻t 0から現在時刻(即ち現時刻)間の時刻であって、現時刻(即ち、処理中の時刻;例えば、t)の直前に動体追跡を行った時刻(即ち、t−1)となる。 Before time is a time between the current time (i.e. current time) from the initial time t 0, the current time (i.e., time during the process; e.g., t) the time of performing a moving object tracking just before (i.e., t -1) and a.

図3では、楕円体eを人物の形状を近似したモデルと考え、人物の位置を床平面上の二次元座標値(x,y)、人物の大きさを楕円体eの半径rと高さhで表す。 In Figure 3, consider a model in which the ellipsoid e approximates the shape of a person, the two-dimensional coordinates on the floor plane the position of the person (x, y), the radius r and the height of the ellipsoid e the size of the human represented by h. さらに、対象状態分布推定手段14には、確率統計的状態分布推定法の一種であるMCMC(Markov Chain Monte Carlo)法を用いる。 Further, the target state distribution estimating means 14, which is a kind of stochastic state distribution estimation MCMC (Markov Chain Monte Carlo) method is used.

複数の人物の状態を表す対象状態Sは、各人物の位置,大きさを表すベクトルM(即ち、人物モデル)を並べたものによって表される。 Target state S representing a state of a plurality of persons, positions of each person is represented by an ordered vector M representing the magnitude (i.e., human model). 対象状態Sの次元数は、最大追跡可能人数Kによって定まる。 The number of dimensions of the target state S is determined by the maximum tracking Occupancy K. すなわち、ベクトルMが四次元ベクトルであるため、4K次元ベクトルとなる。 That is, since the vector M is four-dimensional vector, a 4K-dimensional vector. 例えば、時刻tにおける状態S tは以下の式で表される。 For example, state S t at time t is expressed by the following equation.

また、状態分布Sを構成する人物iの位置、大きさ、形を表す人物モデルM iは、以下の式で表される四次元ベクトルである。 The position of the person i constituting the state distribution S, size, the human model M i representing the shape is a four-dimensional vector represented by the following formula.

ただし、ここでx iおよびy iは床平面状での人物iの位置を示す二次元座標値(x,y)であり、r iおよびh iは人物を楕円体で近似した際の楕円体のパラメータ半径rおよび高さhを表す。 However, where x i and y i is a two-dimensional coordinate value indicating the position of the person i in the floor plane (x, y), ellipsoid when r i and h i are obtained by approximating a person ellipsoidal It represents the parameters radius r and height h. なお、x i ,y i ,r i ,h iは、例えば、動体追跡装置に備えられた記憶部(図示省略、例えば、メモリや外部記憶装置)に保存され、アクセスされても良い。 Incidentally, x i, y i, r i, h i , for example, the storage unit provided in the body tracking device (not shown, for example, a memory or external storage device) are stored in, may be accessed.

以上のように、本実施形態は、三次元空間中に存在する各時刻tにおける対象状態S t (複数の物体や人物の各時刻tにおける位置、大きさを表す対象状態)を推定することによって、複数の物体や人物の状態を逐次推定し、追跡を行うものである。 As described above, the present embodiment, by estimating the target state at each time t that is present in three-dimensional space S t (the position at each time t of the plurality of objects and people, subject state representing the magnitude) , sequentially estimating the states of a plurality of objects and people, and performs tracking.

本実施形態の動体追跡方法の処理手順を図4中のフローチャートに基づいて説明する。 The processing procedure of a moving object tracking method of the present embodiment will be described with reference to the flow chart in FIG. なお、以下の説明で、図1中の符号と同じものの説明は省略する。 In the following description, description of the same as the reference numerals in FIG. 1 will be omitted.

まず、処理は、初期時刻t 0 (時刻t=0)に開始され、開始時に対象状態Sおよび対象状態の変化ベクトルVを0ベクトルに初期化する(S300)。 First, processing is started at an initial time t 0 (time t = 0), is initialized to 0 vector change vector V of the target state S and the target state at the beginning (S300).

次に、対象状態予測手段11により、現時刻での対象状態の予測が行われる(S301)。 Then, the target state prediction means 11, the target state at the current time prediction is performed (S301). これは前時刻で計算された対象状態と対象状態の変化ベクトルを用いて行われる線形予測処理である。 This is a linear prediction processing performed using the change vector of the target state and the target state calculated in the previous time. 前時刻で求められた対象状態をS t-1 、変化ベクトルを4K次元のベクトルV t-1とすると、現時刻の対象状態の予測値S' t,0は、次の式によって表すことができる。 S t-1 target state determined in the previous time, when the change vector and the vector V t-1 of 4K dimension, the predicted value S 't, 0 the condition of the subject of the current time, be represented by the following formula it can.

ただし、S'のインデックスのtは時刻tを表す。 However, t the index of S 'represents the time t. 「0」の部分は、予測値の更新回数が「0」であることを示す。 Portion of "0" indicates that the number of updates of the predicted value is "0". 後述する対象状態分布の推定(S304)においては、予測値をS' t,0を初期値と見做して、その後、複数回の更新を行って対象状態の分布を求める。 In the estimation of the target state distribution which will be described later (S304), the predictive value is regarded as the initial value S 't, 0, then determine the distribution of the target state by performing multiple updates. すなわち、インデックスの「0」は更新回数が「0」である初期値であることを示す。 That is, "0" in the index indicates that the number of updates is the initial value is "0".

なお、動体追跡の開始(初期時刻t 0 )直後には前時刻の対象状態、対象状態の変化ベクトルは未知であるため、全てのM iの要素を「0」にしてS 0の初期化を行う。 The start of the moving body tracking (initial time t 0) the target state at the time before immediately, because the change vector of the target state is unknown, the initialization of S 0 and the elements of all M i to "0" do.

次に、画像取得手段12を用いて、同期撮影された画像データIm 1 ,Im 2 ,…Im pをカメラC1,C2…Cpから取得する(S302)。 Next, using the image acquisition unit 12, the synchronous photography image data Im 1, Im 2, acquires ... Im p from the camera C1, C2 ... Cp (S302) .

次に、シルエット画像作成手段13を用いて、前記カメラC1,C2…Cpから取得した画像データIm 1 ,Im 2 ,…Im pに対し、それぞれのシルエット画像Sil 1 ,Sil 2 ,…Sil pを作成する(S303)。 Next, using a silhouette image creation unit 13, the camera C1, C2 ... image data Im 1 obtained from Cp, Im 2, ... with respect to Im p, each silhouette image Sil 1, Sil 2, a ... Sil p to create (S303). なお、シルエット画像とは、図5のように撮影した画像の対象を写した領域の輝度値が「1」、他の領域が「0」である2値画像のことであって、画像501は入力画像、画像502が作成されたシルエット画像の一例である。 Note that the silhouette image, "1" as the luminance value of the region in which copy the target captured images are shown in FIG. 5, the method comprising other regions of the binary image is "0", the image 501 the input image, which is an example of a silhouette image image 502 is created. このような画像は、背景差分法やフレーム間差分法などのよく知られた方法を利用することによって簡単に生成できる。 Such images can be easily generated by utilizing the well known methods such as the background subtraction method or a frame difference method.

次に、ステップS301で予測された対象状態S' t,0を対象状態の初期値とし、S'を逐次更新していくことによって、対象状態の確率的分布を推定する(S304)。 Then, the target state S is predicted in step S301 'the t, 0 as the initial value of the target state, S' by going sequentially updated, to estimate the probability distribution of the target state (S304).

ここで、図6に基づいて対象状態の確率的分布を推定する処理手順を説明する。 Here will be described a procedure for estimating the probability distribution of the target state based on FIG.

対象状態の確率分布の推定は複数回(即ち、(B+N)回)の状態更新処理(前記対象状態分布記憶手段に対する状態更新処理)によって行われる。 Estimation of probability distribution of the target state multiple times (i.e., (B + N) times) carried out by the state updating process (state update processing for the target state distribution storage means). 最初のB回の更新では人物の監視エリアへの増減、各人物の位置の大まかな対象状態の確率分布を求め、最後のN回の更新では、最初のB回の更新で得られた大まかな対象状態から人物の増減を行わずに、各人物の位置、大きさに関し、より詳細な対象状態の確率分布を求める。 Increase or decrease of the first B single update to the monitoring area of ​​the person, determined the probability distribution of rough target state position of each person, the last N updates, rough obtained in the first B single update from the target state without increase or decrease of a person, the position of each person, relates size, obtaining the probability distribution of the more detailed subject state. この二段階の推定処理により、頑健に複数人物の状態を推定できる。 The estimation process of the two-step, can robustly estimate the state of the plurality of persons.

最後のN回で得られた状態を状態分布として保存し、このN個の状態は全て等確率で起こりうると考える。 Save state from the last N times as state distribution, the N states are considered possible in all equal probability. これは最初のB回の更新で得られた状態が初期値に依存すると考えられるために、最後のN回の更新で得られた状態だけを採用する処理(一般にBurn−inと呼ばれる処理)であり、BとNの比率は経験的に自由に設定できる。 To this first B times in the state obtained by the update is considered to depend on the initial value, only the state obtained in the last N updates in the adoption processes (commonly referred to as Burn-in process) Yes, the ratio of B and N can be set empirically freely.

まず、更新回数nを「0」に初期設定して処理が開始される。 First, the initial setting and the process is started a number of updates n to "0".

ステップS401では変化タイプの選択を行う。 In step S401 to select a variation type. なお、変化タイプとは、状態を変化させる処理のタイプを表すものであって、4種類(第1タイプは人物の追加,第2タイプは人物の消去,第3タイプは人物の位置変更,第4タイプは人物の大きさ変更)から成る。 Note that the variation type, a representative of a type of processing for changing the state, four types (first type additional person, second type erasing of the person, the third type is repositioning of the person, the 4 type consists resizing) of the person. なお、それぞれの変化タイプの選択は更新回数によって以下のように異なってくる。 The selection of each change type differs as follows by the number of updates.

更新回数n≦Bの場合は、次の通りである。 For updates count n ≦ B, it is as follows.
まず、現在の状態として誰も人物を追跡していない場合(全てのMが「0」ベクトル)には必ず(第1タイプ:人物の追加)が選択される。 First, if no one tracks the person as the current state (all M is "0" vector) to always (first type: additional person) is selected. それ以外の(少なくとも一人の人物を追跡している)場合には各タイプが選ばれる確率を予め任意に設定しておき、確率的に4つのタイプから選択を行う。 Otherwise if (at least is tracking one person) in advance arbitrarily set the probability of each type is selected, make a selection from the stochastically four types.

更新回数n>Bの場合は、次の通りである。 In the case of the number of updates n> B, it is as follows.
後述するように最初のB回の更新において、誰も追跡していないと判定された場合には、更新処理は終了となる。 In the first B times updated as described later, no one if it is determined not to be tracked, the update processing is terminated. 追跡人物数が「0」でない場合には、変化タイプとして(第3タイプ:人物の位置変更)もしくは、(第4タイプ:人物の大きさ変更)が予め決められた確率で選択される。 If the number of tracking a person is not "0", the change type as: or (3 type repositioning of the person),: it is selected in the predetermined probability (Fourth type size changes of the person).

次に、ステップS402では、変化させる対象を選択する。 In step S402, selects the target to be changed. いま、更新回数をn回目とすると、n−1回目に更新された対象状態S' t,n-1を用いて、暫定的な変化状態S *を計算する。 Now, if the number of updates to the n-th, n-1 th to the updated target state S 't, using the n-1, to calculate the tentative change state S *.

このときに、一度の更新処理で全ての対象の状態を変化させずに、毎回の更新処理で一つの対象の状態のみを変化させる。 In this case, without changing the state of all objects in a single update process, changing only the state of one object at every update processing. まず、変化タイプが人物の追加である場合には、現在「0」ベクトルとなっているM i (即ち、追跡されていないM i )の中からランダムに選択を行う。 First, if the change type is additional person, M i which is currently "0" vector (ie, M i which is not tracked) performing selected at random from. それ以外の場合には「0」ベクトルとなっていないM i (即ち、追跡されているM i )の中からランダムに選択を行う。 M i (i.e., M i being tracked) not "0" vector otherwise performing randomly selected from a.

次に、ステップS403では、選択された人物モデルM iから選択された第1〜第4タイプの各処理に従って暫定的な人物モデルM' iを計算する。 Next, in step S403, calculates a provisional human model M 'i according to the processes of the first to fourth type selected from human model M i selected. 以下に、タイプ別の処理を説明する。 The following is a description of each type of processing.

第1タイプ(人物の追加)では、次のような処理を行う。 In the first type (additional person), the following processing is performed.

人物モデルM iが「0」ベクトルのため、人物モデルM iに新たに値の設定を行う必要がある。 For human model M i is "0" vector, it is necessary to set the new value to the person model M i. 例えば、以下のようにして値を設定できる。 For example, you set the value in the following manner.

三次元環境情報管理手段21によって、人物の空間上で取り得る位置の範囲が既知であるものと仮定し、この範囲を次のように定義する。 By the three-dimensional environment information managing means 21, assuming a range of positions which can be taken in the space of the person is known, defines the range as follows.

また、人物を近似する楕円体の大きさを表すパラメータrおよびhに関しては、人物の大きさに関する経験的な事前知識(例えば、3m(メートル)を超える身長の人はいない、など)に基づいて、取り得る値の範囲を同様に制限することができる。 With respect to the parameters r and h represents the magnitude of the ellipsoid that approximates a person, based on empirical prior knowledge of the size of the person (e.g., person's height exceeding 3m (m) is not, etc.) it can be similarly limit the range of possible values. ここでは、この範囲を次のように定義する。 Here, we define the range as follows.

以上のような条件下で、楕円体に関するx,y,r,hのそれぞれのパラメータに関して一様乱数を発生させることによって、M' iを生成することができる。 Under conditions as described above, x relates ellipsoid, y, r, by generating a uniform random number for each of the parameters of h, it is possible to generate M 'i.

なお、第1タイプ(人物の追加)の処理は、人物が新たに追跡範囲に入ってきたことを表している。 The processing of the first type (additional person) is a person indicates that the newly entered tracking range. また、追跡範囲内において、予め入退室する場所(例えば、ドアの場所など)の情報が得られていれば、その近辺だけを入退室エリアと見做すことも同様に可能である。 Also within the tracking range, location (e.g., such as the location of the door) to advance the entry and exit if information is obtained, it is likewise possible be regarded as only the entry and exit area vicinity.

第2タイプ(人物の消去)では、次のような処理を行う。 In the second type (deletion of a person), the following processing is performed.

全ての要素を「0」と考え、M' iを「0」ベクトルとする。 All the elements considered to be "0", the M 'i to "0" vector. 即ち、第2タイプ(人物の消去)は、追跡していた人物が追跡範囲から消えたことを表している。 That is, the second type (deletion of a person) is a person which has been tracked represents that disappeared from the tracking range.

第3タイプ(人物の位置変更)では、次のような処理を行う。 In the third type (position change of the person), the following processing is performed.

選択されたM iの要素の内、人物の二次元平面上での位置(x i ,y i )に基づいて、更新回数がn≦Bの場合には式4、更新回数がn>Bの場合には式5に従って変化させた暫定的な位置(x' i ,y' i )を計算する。 Among the elements of the selected M i, positions on the two-dimensional plane of a person (x i, y i) on the basis of the equation 4 when updating count is n ≦ B, number of updates n> of B It calculates the change is allowed provisional position (x 'i, y' i ) in accordance with equation 5 when.

ただし、W x ,W yはそれぞれ一次元の白色ノイズであり、そのパラメータは実験的に任意の値に決めることができる。 However, W x, W y is the one-dimensional white noise, respectively, the parameters can be determined to any value experimentally.

ただし、δ x ,δ yはそれぞれ一次元のガウスノイズであり、そのδ x ,δ yは実験的に任意の値に決めることができる。 However, [delta] x, [delta] y is one-dimensional Gaussian noise, respectively, the [delta] x, [delta] y can be determined to any value experimentally. この暫定的な位置(x' i ,y' i )を用いて、以下の式のようにM' iを定義する。 The provisional position (x 'i, y' i ) is used to define the M 'i by the following equation.

第4タイプ(人物の大きさ変更)では、次のような処理を行う。 In the fourth type (change the size of the person), the following processing is performed.

選択されたM iの要素の内、人物を近似する楕円体の半径rおよび高さhを表す(r i ,h i )から更新回数がn≦Bの場合には式7、更新回数がn>Bの場合には式8に従って変化させた暫定的な形、大きさパラメータ(r' i ,h' i )を計算する。 Among the elements of the selected M i, represents the radius r and height h of the ellipsoid approximating the person (r i, h i) Equation 7 When the number of updates of the n ≦ B, the number of updates is n > tentative shape is varied according to equation 8 in the case of B, the size parameter (r 'i, h' i ) is calculated.

ただし、W r ,W hはそれぞれ一次元の白色ノイズであり、そのパラメータは実験的に任意の値に決めることができる。 However, W r, W h is one-dimensional white noise, respectively, the parameters can be determined to any value experimentally.

ただし、δ r ,δ hはそれぞれ一次元のガウスノイズであり、そのδ r ,δ hは実験的に任意の値に決めることができる。 However, [delta] r, [delta] h is the one-dimensional Gaussian noise, respectively, the [delta] r, [delta] h can be determined to any value experimentally. この楕円体の暫定的な形、大きさパラメータ(r' i ,h' i )を用いて、次の式によってM' iを定義する。 Tentative shape of the ellipsoid, the size parameter (r 'i, h' i ) is used to define the M 'i by the following equation.

以上の各タイプで生成されたM' iを用いて、暫定的に変化させた対象状態S *を生成する。 With M 'i generated in each type of above, to produce a temporarily altered so the target state S *. 例えば、S *は、現在時刻tで更新回数をn回目とすれば、n−1回目の更新で得られた状態S' t,n-1のうち選択された人物モデルM iを変化させて生成したM' iに置き換えたものになる。 For example, S *, if the update number of times as the n-th in the present time t, the state S 't obtained in n-1 th update, by changing the human model M i a selected one of n-1 It is replaced by the generated M 'i.

次に、暫定的に変化させた対象状態S *を用いて、シルエット画像の作成(S303)で作成されたシルエット画像Sil 1 ,Sil 2 ,…Sil pをシミュレートした画像(即ち、シミュレーション画像Sim 1 ,Sim 2 ,…Sim p )を作成する(S404)。 Next, using the tentatively altered so the target state S *, silhouettes Sil 1 created by the creation of the silhouette image (S303), Sil 2, ... Sil p a simulated image (i.e., the simulation image Sim 1, Sim 2, ... Sim p ) to create a (S404). そのシミュレーション画像の作成(S404)方法は、次の通りである。 Its creation of a simulation image (S404) method is as follows.

まず、三次元環境情報管理手段21と対象状態を組み合わせることによって、実世界をシミュレートした仮想シーンを構築する。 First, by combining target state and a three-dimensional environment information managing unit 21 constructs a virtual scene to real world simulated. なお、三次元環境情報管理手段21には、実世界の三次元構造の情報が、床面がXY平面、高さ方向がZ軸となるような座標系を有する三次元の点群(もしくは、ポリゴンデータ)として保存されているものとする。 Incidentally, the three-dimensional environment information managing means 21, the actual information of the three-dimensional structure of the world, floor XY plane, the height direction is the three-dimensional point group having a coordinate system such that the Z-axis (or, It assumed to be stored as polygon data). この三次元構造内にステップS403で計算された暫定的な対象状態S *に基づいた楕円体の三次元モデルを複数配置できる。 The three-dimensional model of the ellipsoid based on the three-dimensional structure tentative target state calculated at step S403 in the S * can more placement.

次に、実世界上に配置されたカメラの内部パラメータ(例えば、焦点距離,画像中心など)と外部パラメータ(カメラの三次元位置と姿勢)を用いて、仮想シーンを仮想カメラで投影処理することによって、シミュレーション画像を作成する。 Next, the internal parameters of the cameras arranged in the real world (e.g., focal length, image center, etc.) and using an external parameter (three-dimensional position and orientation of the camera), projecting handles virtual scene with a virtual camera by, to create a simulation image. なお、前記内部パラメータと外部パラメータは、三次元環境情報管理手段21に保存されているものとする。 Incidentally, the internal parameters and external parameters shall be stored in the three-dimensional environment information managing unit 21.

前記投影処理は、一例として非特許文献2に記載の方法を用いて一意に行うことができる。 The projection processing may be performed uniquely using the method described in Non-Patent Document 2 as an example. なお、投影処理の際、画像上の楕円体領域の値を「1」、それ以外の領域の値を「0」とする2値画像とすることによって、シルエット画像Sil 1 ,Sil 2 ,…Sil pをシミュレートしたシミュレーション画像Sim 1 ,Sim 2 ,…Sim pを作成できる。 At the time of the projection process, the value of the ellipsoid region on the image "1", the value of the other areas by a binary image as "0", the silhouette image Sil 1, Sil 2, ... Sil simulation image Sim 1, Sim 2 simulates the p, can create a ... Sim p.

以上が、シミュレーション画像の作成方法である。 The above is the method of making a simulation image.

次に、この暫定的な対象状態S *が、どのくらい尤もらしいかを判断するために、尤度を計算する(S405)。 Then, this tentative target state S * is, in order to determine how much plausible, to calculate the likelihood (S405). 尤度の計算は、事前知識による対象状態自体の確からしさの判定及びステップS303で作成されたシルエット画像Sil 1 ,Sil 2 ,…Sil pとステップS404で生成されたシミュレーション画像Sim 1 ,Sim 2 ,…Sim pの比較に基づいて計算する。 Calculation of likelihood, prior knowledge silhouette image created in the determination and step S303 of certainty of the subject state itself by Sil 1, Sil 2, ... simulated generated by Sil p and step S404 image Sim 1, Sim 2, ... it is calculated on the basis of a comparison of Sim p.

事前知識の条件による対象状態自体の尤もらしさの判定(即ち、条件に基づく確率的な尤度(即ち、条件尤度)の計算)には、次の2種類の判定が考えられる。 Prior knowledge condition determination of likelihood of the target state itself by the (i.e., stochastic likelihood based on condition (i.e., calculation conditions likelihood)), the considered two types of judgment.

第1判定は、三次元環境に基づく制限を用いた判定である。 The first determination is a determination using the restriction based on the three-dimensional environment. 三次元環境情報管理手段21を用いて、人物状態の位置(x,y)に応じて、存在確率に重みをつけることができる。 Using a three-dimensional environment information managing unit 21, in accordance with the position of the person state (x, y), it may be weighted to existence probability. なお、本実施形態では、人物は床平面上に存在していることを仮定しており、空間中で対象以外に存在している静止物体の上によじ昇ったりすることはない、という条件を仮定している。 In the present embodiment, a person is assumed to be present on the floor plane, never or rising leisure tasks on a stationary object is present in addition to the subject in space, a condition that hypothetical. その仮定の下に、例えば、人物の存在している位置(x,y)における三次元構造の高さに反比例する以下の式で表されるペナルティ関数P(S * )を用意することで、存在確率に重みを付けることが可能である。 Under that assumption, for example, by preparing the existing set of position of the person (x, y) a penalty is expressed by the following equation which is inversely proportional to the height of the three-dimensional structure in a function P (S *), it is possible to assign a weight to the existence probability.

ただし、h(M i )はM iの要素中の位置(x i ,y i )における三次元構造のZ値、αは定数であって実験的に任意に設定可能な値である。 However, h (M i) is the Z value, alpha is arbitrarily set values experimentally a constant three-dimensional structure in the position (x i, y i) in the element of M i.

第2判定は、追跡している人物同士が三次元空間上で重なることがない、という条件に基づいた判定である。 Second determination, persons each other are tracking will not overlap with a three-dimensional space, it is a determination based on the condition that. 即ち、人物を楕円体で近似しているため、個々の楕円体が重ならない条件(すなわち、異なる二つの楕円体の中心間の距離)が、二つの楕円体の半径の和より大きいことを満たす必要がある。 That is, because it approximates the person in ellipsoid satisfies the conditions the individual ellipsoid do not overlap (i.e., the distance between the centers of two different ellipsoid) is greater than the sum of the radii of the two ellipsoidal There is a need.

二人の人物同士が三次元空間上で重ならないようにするために、次の式で表された距離R、二人の人物を表す楕円体の中心同士の距離に応じたペナルティ関数E(S * )を設定する。 For two persons each other so as not to overlap in the three-dimensional space, the distance represented by the following formula R, penalty function E corresponding to the distance between the centers of the ellipsoid representing the two persons (S *) to set the.

ただし、x n ,y nは人物nの位置x座標、y座標を示す。 However, x n, y n indicate the position x-coordinate, y-coordinate of the person n.

楕円体の距離が近くなるとペナルティを与える関数Eは、例えば、以下の式のように設定できる。 If the distance ellipsoid close function E penalize, for example, it can be set by the following equation.

ただし、βは定数で、実験的に任意に設定可能である。 However, beta is a constant, it can be arbitrarily set experimentally.

次に、シルエット画像の作成(S303)によって作成されたシルエット画像Sil 1 ,Sil 2 ,…Sil pとシミュレーション画像Sim 1 ,Sim 2 ,…Sim pの比較について説明する。 Then, silhouette images Sil 1 created by the creation of the silhouette image (S303), Sil 2, ... Sil p and simulation image Sim 1, Sim 2, ... comparison of Sim p will be described. 例えば、以下の評価式によって計算できる(即ち、条件尤度を計算する)。 For example, it can be calculated by the following evaluation formula (i.e., calculating the condition likelihood).

ただし、(k,l)は、画像のk行l列成分(画素)を示す。 However, indicating the (k, l) is, k row l column component of the image (pixels).

上記の式では、p台のカメラ全ての情報統合を行っており、複数の視点の情報を使って評価を行っている。 The above in formula has been p cameras all information integration, are evaluated using the information of a plurality of viewpoints.

最終的に、暫定状態S *の尤度Lは、以下の式のような積演算によって計算される。 Finally, the provisional state S * of the likelihood L is calculated by the product calculation such as the following equation.

以上の処理が、尤度の計算(S405)である。 The above processing is the calculation of likelihood (S405).

次に、ステップS406では、ステップS405で計算された尤度を用いて、暫定状態S *を受け入れて更新するか、もしくは拒否するかを判定する。 Next, it is determined in step S406, using the calculated likelihood in step S405, to update accept provisional state S *, or whether to reject. この判定は、受け入れ拒否判断確率Aの計算に基づいて判定する。 This determination determines based on the calculation of the receiving refusal decision probability A. 受け入れ拒否判断確率Aは、例えば、以下の式により計算できる。 Accept reject judgment probabilities A, for example, can be calculated by the following equation.

ここで、現在n回目の更新とすると、尤度L'はn−1回目に更新されたS' t,n-1の尤度を表す。 Here, representing the current and the n-th update, the likelihood L 'is updated to n-1 th S' t, the likelihood of n-1. つまり、前回の状態よりも今回の状態の方が尤度が高ければ必ず受け入れ、そうでなければ、L/L'の確率(即ち、受け入れ拒否判断確率A)で暫定状態S *を採用する。 In other words, be sure to accept the higher the likelihood is better even of this state than the previous state, otherwise, the probability of the L / L '(ie, acceptance refusal decision probability A) to adopt a provisional state S * in.

さらに、暫定状態S *が採用されれば、S' t,nがS *と等しい(S' t,n =S * )ものと見做し、採用が拒否されれば、S' t,nがS' t,n-1と等しい(S' t,n =S' t,n-1 )ものと見做して、ステップS407の条件判断ステップへ進む。 Further, if the provisional state S * is adopted, S 't, n is S * equals (S' t, n = S *) was regarded as, if adopted rejected, S 't, n There S 't, equal to n-1 (S' t, n = S 't, n-1) are regarded as the process proceeds to condition determination step of step S407.

ステップS407では、更新回数nがBと等しいか否かの判断を行う。 In step S407, a determination is made whether the number of updates n is equal to B. 更新回数nがB等しくない場合には、ステップS410の条件判断ステップへと進む。 When the update number n is not equal B, the process advances to condition determination step of step S410. 更新回数nがBと等しい場合には、ステップS408の状態分布計算ステップへ進む。 When the update number n is equal to B goes to state distribution calculation step of step S408.

ステップS408では、これまでのB回の更新で得られた状態に基づいて、大まかな推定として、状態分布の計算を行う。 In step S408, based on the state obtained in B single update so far, as a rough estimate, the calculation of state distribution. 得られているB個の状態は、その全てが追跡している人物数や前時刻まで追跡していた人物を引き続き追跡しているか否か、といった情報が異なる可能性を有している。 Obtained by B-number is the state, whether or not all of which continue to track the person has been tracked to the person and the number before time being tracked, information such has the potential to vary.

以下のK次元ベクトルkを用いて追跡人物数、追跡の引き継ぎの情報を表すことができる。 The following K-dimensional vector k the number of tracking a person using, can represent information of takeover tracking.

各I iはそれぞれ人物モデルの状態M iに対応しており、「0」,「1」,「2」のいずれかの値を取る。 Each I i corresponds to a state M i of the person model respectively, "0", "1", take one of the values "2". そのI iのそれぞれの値は、次のように定義される。 Each value of the I i is defined as follows.

iが「0」である場合には、対応するMがゼロベクトルであり、追跡を行っていないこと。 If I i is "0", it corresponds to M are zero vector, that has not been tracked.

iが「1」である場合には、前時刻で追跡していた人物を引き継ぎ追跡していること。 If I i is "1", that is tracking the takeover of a person that has been tracked in the previous time.

iが「2」である場合には、新たに現時刻の更新処理で対応するMに人物が追加されたこと。 If I i is "2", that person is added to the M corresponding to the update process of the new current time.

前記kベクトルが同じとなっている(kベクトルと等しい)状態をカウントし、最も多い得票数を得たkベクトルが現在の追跡人物数、追跡の引き継ぎを表していると考え、最も得票数の多かったkベクトルを保持している状態を用いて大まかな状態分布を計算する。 Wherein (equal to k-vector) k vectors have the same count status, highest k vectors the number of votes obtained current count tracking person considered to represent the takeover of tracking, the most number of votes calculating the rough state distribution using the state holding the frequent k vector.

例えば、最大得票数がCであり、最大得票数を得た状態をS' t,iとすると、状態分布S t'を以下の式で計算する。 For example, the maximum number of votes is C, and the state with the maximum number of votes obtained S 't, When i, state distribution S t' calculates the following equation. ただし(i=1,2,・・・,C)とし、最も得票数の多かったkベクトルを保持している状態で、更新回数が若かった順にインデックスiをつけることとする。 However (i = 1,2, ···, C) and then, while holding the frequent k vectors most number of votes, and be indexed i to the number of updates was younger order.

次に、条件判断ステップS409では、ステップS408得られた状態分布において、現在追跡している人数が「0」か否かを判定する。 Next, the condition decision step S409, the in state distribution obtained step S408, determines whether the number of people currently tracked is "0". 追跡人物数が「0」である場合には状態更新処理を終了する。 To end the state update processing if the number of tracking a person is "0". 一人でも追跡している人物がいる(追跡人物数が「0」でない)場合にはn回目に更新された状態を状態分布S t'として、条件判断ステップS410へと進む。 As there is a person being tracked even one person (the number of follow-up person is not "0") state distribution of the state that have been updated in the n-th in the case S t ', the process proceeds to a condition determination step S410.

ステップS410では、更新処理が規定の回数行われたか否かの判断が行われる。 In step S410, determination of whether update processing has been performed a specified number of takes place. 更新回数nが任意に決定できる定数BとNの和で表される回数(B+N回)を超えていれば処理を終了する。 Update number n, thereby terminating the process if more times than (B + N times), which is expressed by the sum of arbitrarily determinable constants B and N. さらに、状態S' t,nを対象状態分布記憶手段22に保存しておく。 Furthermore, keep the state S 't, the n in the target state distribution storage unit 22. 最後のN回の更新で保存されたN個の状態全てが等確率に起こりうると考え、これを対象状態分布とする。 All considered last N N states saved updates may occur in equal probability, and this target state distribution. また、B+N回を超えていなければ、更新回数nを1増分させ、ステップS401へ戻る。 Furthermore, does not exceed the B + N times, the number of updates n is incremented by one, the flow returns to step S401.

以上、述べた処理がS304である。 Above, the process described is S304.

次に、ステップS305では、ステップS304で得られた対象状態分布から最大確率を持つ対象状態の計算を行う。 Next, in step S305, the calculation of the target state with maximum probability from the target state distribution obtained in step S304. ただし、ステップS304において、追跡人物数を「0」と判断された場合には、対象状態が「0」ベクトルとなるため、この計算を行わない。 However, in step S304, the number of tracking the person if it is determined that "0", since the target state is "0" vector, does not perform this calculation. 対象状態分布を構成するN個の対象状態は全て等確率で起こると仮定しているため、最大確率を持つ対象状態S tは以下の式によって計算できる。 Since it is assumed that N pieces of object state constituting the target state distribution occurs at all equal probability, the target state S t with the maximum probability it can be calculated by the following equation.

また、対象状態予測手段11により、次の時刻の対象状態を予測するために、4K次元の変化ベクトルVを以下の式によって求める。 Further, the target state prediction means 11, in order to predict the target state for the next time, determined by the following equation change vector V of 4K dimension.

ただし、初期時刻t 0においては、上式を計算できないので、Vの全ての要素を「0」とする。 However, in the initial time t 0, can not calculate the above equation, all the elements of V is set to "0". このようにして計算したS tおよびVを対象状態記憶手段23に保存する。 Save S t and V were calculated in this manner to the target state storage means 23.

そして、ステップS306では追跡を終了するか否かをチェックする。 Then, it is checked whether or not to end the tracking step S306. 追跡が終了なら処理を終了とし、まだ追跡を続けるのならば、次の時刻の状態の予測(S301)の処理を行う。 Tracking and ends the process if completed, if still continue to track to process the prediction of the state of the next time (S301). 例えば、時刻tが予め設定された所定値を超えたか否かをチェックし、所定値を超えていれば、追跡を終了する。 For example, the time t is checked whether more than a preset predetermined value, if greater than a predetermined value, and terminates the track. 所定値を超えていなければ、追跡を続行するために、ステップS301に戻る。 Does not exceed the predetermined value, to continue the tracking, the process returns to step S301. また、追跡を終了するか否かをチェックするために、追跡停止指示手段(例えば、動体追跡装置に備えられたキーボード装置)を備え、その追跡停止指示手段からの追跡停止指示があった場合に、追跡を停止しても良い。 Further, in order to check whether or not to end the tracking, tracking stop instruction means (e.g., a keyboard device provided in the moving object tracking device) provided with, when a tracking stop instruction from the tracking stop instruction means it may stop tracking.

以上のように、本実施形態における処理を繰り返すことによって、動的に人数の変化する複数の人物の状態を逐次推定できる。 As described above, by repeating the processing in the present embodiment can sequentially estimates the state of a plurality of persons of varying dynamically number.

即ち、本実施形態は、上述のような従来技術の問題点を解決するためになされたものであり、複数のカメラ情報を統合し、対象同士が接近しても安定して追跡を行うことができる。 That is, the present embodiment has been made to solve the problems of conventional techniques as described above, integrating a plurality of camera information, you can perform the tracking stably even close the target with each other it can.

また、追跡人数の動的な増減に対応し、二段階の確率分布推定を行うことで、新たに追跡空間に出現した人物や、追跡空間から退出した人物を安定して追跡することができる。 In response to dynamic changes in track number, by performing a two-stage probability distribution estimation can be tracked person or that appeared newly track space, the person who left the track space stably.

また、一度に追跡する人数が増えても全体の処理量を一定に保つことができ、追跡処理の実時間性を保つことが出来る。 Further, even if the number is number of tracking can be maintained the entire processing amount constant at a time, it is possible to maintain the real-time tracking process.

また、対象の位置と同時に対象の大きさも推定することで、個人差に対応した追跡を行うことができる。 In addition, by also simultaneously estimated eligible size and position of the object, it is possible to perform tracking corresponding to individual differences.

なお、本実施形態では、ステップS405の処理において、一例としてシルエット画像とシミュレーション画像の比較に関して式11を用いたが、画像間の類似度を取る評価関数(例えば、単純な積演算)を利用しても同様に実現できる。 In the present embodiment, in the process of step S405, the silhouette image and has been using the equation 11 with respect to the comparison of simulated images, using the evaluation function takes a similarity between images (e.g., a simple product operation) as an example It can be implemented in the same way also.

また、本実施形態では、ステップS405の処理において、一例として環境のペナルティ関数として高さ方向で重みを付けた式10を用いたが、人物の存在位置の重みを表現できる関数を別途に利用できることは当然である。 Further, in the present embodiment, in the process of step S405, although using Equation 10 with weighted in the height direction as a penalty function environment as an example, the availability of functions that can express the weight of the location of a person separately it is a matter of course.

そして、本実施形態では、ステップS405の処理において、一例として人物の接近に関するペナルティ関数として式11を用いたが、人物が重なった際にペナルティを与えられる任意の関数を利用できることは当然である。 In the present embodiment, in the process of step S405, although using Equation 11 as a penalty function for the proximity of a person as an example, it is obvious that can utilize any function given a penalty when the person overlap.

なお、図1で示した装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、図4、図6で示した処理の手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばFD(Floppy(登録商標) Disk)や、MO(Magneto−Optical disk)、ROM(Read Only Memory)、メモリカード、CD(Compact Disk)、DVD(Digital Versatile Disk)、リムーバブルディスク Incidentally, to be able to constitute a part or all of the functions of the respective means in the apparatus shown in FIG. 1 by computer program to implement the invention performed using the computer program, Figure 4, Figure 6 procedure of the process constituted by the computer program shown in, not to mention that it is possible to execute the program in a computer, a program for realizing the functions in a computer readable recording medium is the computer, for example, FD (Floppy (registered trademark) disk) and, MO (Magneto-Optical disk), ROM (Read Only memory), a memory card, CD (Compact disk), DVD (Digital Versatile disk), a removable disk などに記録して、保存したり、配布したりすることが可能である。 Recorded in the like, or save, it is possible to or distribute. また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。 Also, the program such as the Internet or e-mail, can be provided through a network.

さらに、上述の動体追跡装置に関する方法を記述したコンピュータプログラムを、動体追跡装置に関する方法に必要とされる入出力データを格納したメモリや外部記憶装置等にアクセスするように実装してもよい。 Furthermore, the computer program describing the method relates to the aforementioned moving object tracking device, it may be implemented to access the memory or an external storage device which stores input and output data required for the method for moving object tracking device.

[実施例] [Example]
本実施例では、上述の動体追跡装置を用いて、二台のビデオカメラ(カメラC1およびカメラC2)から得られた映像を処理して、追跡範囲に一人ずつ侵入してくる2人の人物を追跡した結果を図4に示した処理フローに基づいて説明する。 In this embodiment, by using the above-described moving object tracking device, to process the image obtained from the two video cameras (camera C1 and the camera C2), the two people coming in one by one entering the tracking range It will be described with reference the results of tracking to the processing flow shown in FIG.

まず、処理は、初期時刻t 0 (時刻t=0)に開始され、開始時に対象状態Sおよび対象状態の変化ベクトルVを0ベクトルに初期化する(S300)。 First, processing is started at an initial time t 0 (time t = 0), is initialized to 0 vector change vector V of the target state S and the target state at the beginning (S300).

次に、対象状態を線形予測する(S301)。 Then, the target state to linear prediction (S301).

次に、カメラから画像を取得する(S302)。 Then, to acquire the image from the camera (S302). なお、図7は、二台のカメラから取得した画像列の一部であり、上段がカメラC1から取得した画像701〜706、下段がカメラC2から取得した画像707〜712である。 Note that FIG. 7 is a part of the image sequence acquired from two cameras, images 701 to 706 upper has obtained from the camera C1, an image 707-712 of the lower part obtained from the camera C2.

次に、得られた画像からシルエット画像を作成する(S303)。 Next, create a silhouette image from the obtained image (S303). 背景差分法を用いて作成したシルエット画像を図8に示す。 The silhouette images created using the background subtraction method shown in FIG. 図7と同じように、上段がカメラC1から取得した画像から作成したシルエット画像801〜806、下段がカメラC2から取得した画像から作成したシルエット807〜812である。 As with FIG. 7, the silhouette image 801 to 806 upper created from an image obtained from the camera C1, a silhouette 807-812 of lower created from an image obtained from the camera C2. なお、図8の各シルエット画像は、図7において同じ位置に示されている各画像と対応している。 Each silhouette image of FIG. 8 correspond to each image shown in the same position in FIG.

次に、ステップS304にて対象状態分布の推定を行う。 Next, to estimate the target state distribution at step S304. 即ち、ステップS304では、状態を逐次更新させながらその状態をシミュレートしたシミュレーション画像の作成を行って、そのシミュレーション画像の評価を行う。 That is, in step S304, performs creation of a simulation image simulating the state while sequentially updating the state, the evaluation of the simulation image.

図9において、上段はシルエット画像901、下段は上段のシルエット画像をシミュレートしたシミュレーション画像の一部(符号902から904で示されるシミュレーション画像)である。 9, the upper part silhouette image 901, the lower is the part of the simulation image simulating the upper silhouette image (simulation image indicated by the reference numeral 902 904). このように様々な状態に変化させながらシミュレーション画像を作成し、尤度の計算、受け入れ拒否演算により対象状態分布を作成する。 Thus creating a simulation image while changing the various states, the calculation of likelihood, to create the target state distribution by receiving reject operation.

ステップS305では、ステップS304で計算された対象状態分布より、現在、最大確率を取る対象状態を求め、これを現時刻での対象状態として出力する。 In step S305, from the calculated target state distribution at step S304, the current, obtains a target state having the maximum probability, and outputs it as a target state at the current time. また、同時に、前時刻と現時刻での対象状態の変化ベクトルを求める。 At the same time, we obtain the change vector of the target state at the previous time and the present time.

図10に計算された最大確率を取る対象状態を表現した画像を示す。 It shows the image representing the target state having the maximum probability calculated in Figure 10. 図10は、それぞれ上段がカメラからの画像1001〜1006、中段が最大確率を取る対象状態をシミュレートした画像1007〜1012、下段が俯瞰図として天井にカメラが設置されているとして最大確率を取る対象状態をシミュレートした画像1013〜1018である。 Figure 10 is an image of the upper, respectively the camera 1001-1006, images 1007-1012 middle is simulated target state having the maximum probability, taking the maximum probability as lower is the camera is installed on a ceiling as a bird's eye view it is an image 1013-1018 simulating the target state.

人物H1と人物H2が少し時間を置いて追跡範囲に侵入した後に、すれ違い、最後にまた追跡範囲から退出する様子を明確に追跡できていることを示している。 After a person H1 and a person H2 are entered the tracking range after a short time, indicating that the can clearly track how exiting from or tracking range passing, at the end. また、追跡する人数が0人→1人→2人→0人のように動的に変化しているが人物の出現と消失を行いながら安定して追跡していることが確認できる。 In addition, it can be confirmed that although the number of people to track is dynamically changed as 0 people → 1 person → 2 people → 0 people are tracking stable while the disappearance and appearance of a person.

ステップS306では、現時刻までで、追跡を終了とする場合には、処理を終了とし、そうでない場合には、ステップS301の対象状態の予測へ戻る。 In step S306, until the present time, when the end of the tracking process was terminated, otherwise, the procedure returns to the prediction of the target state in step S301.

以上の実施例における処理を繰り返すことによって、2人の人物が接近してすれ違うシーンにおいても安定した追跡を行うことができる。 By repeating the process in the above embodiment, it is possible to two people performed even stable tracking in the scene pass each other in close proximity. 即ち、これは複数のカメラの情報が統合されていることを示している。 That is, this indicates that information of a plurality of cameras are integrated.

また、追跡する人数が動的に変化しているが、人物の出現と消失に対応し、追跡が行えていることを示している。 Although number of tracking is changing dynamically, in response to the disappearance and appearance of a person, it indicates that the tracking is performed.

さらに、このように動的に追跡する人物の人数が変化しても全体の処理量が増えるといった問題がなく、実時間性を確保している。 Further, thus dynamically without problem processing amount of the whole even number changes of the person it is increased to track so as to ensure real-time properties.

そして、2人の体型の違う人物に対しても、予めパラメータを与えることなく、安定した追跡を可能にしている。 Then, even for persons of different two forms, without giving advance parameter, which enables a stable tracking.

これらの特徴は、複数のカメラの情報を統合し、体の大きさまで推定できるためである。 These features integrate information from multiple cameras, it is because it can be estimated to body size.

なお、実施例では、複数のカメラから取得した情報を対象にしていたが、単数のカメラから取得した情報を対象にしても同様の結果を得ることができる。 In the embodiment, although intended for the information obtained from the plurality of cameras can be directed to the information obtained from the single camera achieve similar results.

以上、本発明の実施形態について説明したが、本発明は説明した実施形態に限定されるものでなく、各請求項に記載した範囲において各種の変形を行うことが可能である。 Having described embodiments of the present invention, the present invention is not limited to the embodiments described, it is possible to perform various modifications within the scope described in the claims.

例えば、本実施形態の変形として、実験的に任意に設定可能な値(例えば、上述のB,N,W x ,W y ,W r ,W h ,δ x ,δ y ,δ r ,δ h ,α,βの値)を入力できる入力手段を備え、その入力手段からの入力値に基づいて、上述の動体追跡に関する処理を行っても良い。 For example, as a modification of this embodiment, it can be arbitrarily set experimentally value (e.g., the above-mentioned B, N, W x, W y, W r, W h, δ x, δ y, δ r, δ h , alpha, comprising an input means for inputting a value) of beta, based on the input value from the input unit may perform a process relating to the moving object tracking discussed above. 即ち、キーボード装置などを含む入力手段によって、値を動体追跡装置に入力し、その入力された値に基づいて、上述の動体追跡に関する処理を行うものである。 That is, the input means including a keyboard device, and enter a value in the moving object tracking device, based on the input value, and performs processing relating to the moving object tracking discussed above.

本実施形態における動体追跡装置の構成図。 Diagram of the moving object tracking apparatus according to the present embodiment. 本実施形態における動体追跡装置に関する条件を示す図。 It shows a condition relating to the moving object tracking apparatus according to the present embodiment. 本実施形態における動体追跡装置で用いる三次元モデル図。 Three-dimensional model diagram used in the moving object tracking device of the present embodiment. 本実施形態における動体追跡方法の処理手順を示すフローチャート。 Flowchart illustrating a processing procedure of a moving object tracking method in the present embodiment. 本実施形態における入力画像に対応するシルエット画像を示す図。 It shows a silhouette image corresponding to the input image in the present embodiment. 本実施形態における対象状態分布の推定に関する処理手順を示すフローチャート。 Flowchart illustrating a processing procedure for estimating the target state distribution in the present embodiment. 本実施例におけるカメラから取得した画像列の一部を示した図。 It shows a part of the image sequence acquired from the camera in this embodiment. 本実施例におけるカメラから取得した画像列の一部から作成したシルエット画像を示した図。 It shows the silhouette image created from a part of the image sequence acquired from the camera in this embodiment. 本実施例においてシルエット画像および予測結果に基づいてシルエット画像をシミュレートした画像の一部を示した図。 Figure silhouette image based on the silhouette image and the prediction results in this example showing a portion of a simulated image. 本実施例において入力画像の一部および入力画像から計算した対象状態をシミュレートした画像とそれを俯瞰した画像を示した図。 It shows an image overhead portion and the image and it simulates the target state calculated from the input image of the input image in this embodiment.

符号の説明 DESCRIPTION OF SYMBOLS

11…対象状態予測手段 12…画像取得手段 13…シルエット画像作成手段 14…対象状態分布推定手段 15…対象状態計算手段 21…三次元環境情報管理手段 22…対象状態分布記憶手段 23…対象状態記憶手段 501…入力画像 502,801〜812,901…シルエット画像 701〜712,1001〜1006…カメラからの画像 902〜904…シミュレーション画像 1007〜1018…対象状態をシミュレートした画像 B…非対象物体 C1,C2,Cp…カメラ H1,H2,Hk…人物 e…楕円体 11 ... target state prediction unit 12 ... image acquisition unit 13 ... silhouette image creating device 14 ... target state distribution estimating means 15 ... target state calculation unit 21 ... three-dimensional environment information managing means 22 ... target state distribution storage unit 23 ... target state storage means 501 ... input image 502,801~812,901 ... silhouettes 701~712,1001~1006 ... image from the camera 902 to 904 ... simulation images 1007-1018 ... image B ... non-target object C1 simulating the target state , C2, Cp ... camera H1, H2, Hk ... People e ... ellipsoid

Claims (6)

  1. 動体の三次元位置及び大きさを該動体の対象状態と見做し、1又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する動体追跡装置であって、 A plurality of three-dimensional position and size of the moving object is regarded as the target state of the animal body, captured in time spaced certain time intervals the animals body using one or more imaging devices, obtained by the imaging based on the image data, a moving object tracking apparatus for tracking the animal body,
    各時刻に複数の前記動体の対象状態を予測する対象状態予測手段と、 A target state prediction means for predicting a target state of the plurality of the moving object in each time,
    前記画像データを取得する画像取得手段と、 An image acquisition means for acquiring the image data,
    前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成手段と、 Silhouette image forming means for forming a silhouette image obtained by extracting a region copy the moving object from the image data,
    対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定手段と、 The target state obtained by the target state prediction means regarded as an initial state, the silhouette image generated by the silhouette image creating device, a three-dimensional structure of the real world that is stored in the three-dimensional environment information managing means, three-dimensional the internal and external parameters of the imaging device which is stored in the environment information managing means, was used to estimate the target state distribution, the target state distribution at the previous time stored in the target state distribution storage means at the present time a target state distribution estimating means for updating the target state distribution,
    対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて、最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算手段と、 Based on the object-state distribution of the current time stored in the target state distribution storage means, to calculate the target state of maximum probability, the target state with a maximum probability at the maximum probability to become target state before the time at that current time based variation vector calculated, the target state calculation means for storing the calculated change vector in the target state storage means,
    予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、 A three-dimensional environment information managing means for storing previously measured had been a real world three-dimensional structure of the internal parameters and external parameters of the imaging device,
    各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、 And the target state distribution storage means for storing a probability distribution of the target state of being estimated in each time,
    各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、 A target state storage means for storing the change vectors for each time,
    を備え、 Equipped with a,
    前記対象状態分布推定手段が、 The target state distribution estimating means,
    前記対象状態分布記憶手段に対する最初の確率分布更新回数Bと対象状態に対する最後の確率分布更新回数Nを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択する手段と、 Comparing the last probability distribution update count N for the first probability distribution update count B and the target state for the target state distribution storage means, based on the comparison result, the variation type in accordance with any probability from a prepared variation type and means for selecting,
    前記変化タイプを適応して変化させる動体を選択する手段と、 It means for selecting a moving object which changes adaptively the change type,
    前記選択された変化タイプ及び前記確率分布更新回数Bと前記確率分布更新回数Nの比較結果に基づいて、選択された動体の対象状態を変化させる手段と、 Based on the comparison result of the selected variation type and the probability distribution update count B and the probability distribution update count N, a means for changing the target states of the selected moving body,
    前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做す手段と、 A virtual image pickup means having the same external and intrinsic parameters and the imaging device, an image generated by projecting a target state of being the change, and the simulation image and considered to means of simulating the silhouette image,
    前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第2条件尤度と、 And stochastic first condition likelihood of the subject state based on the condition of prior knowledge about the three-dimensional structure, and stochastic second condition likelihood of the subject state based on the condition of prior knowledge overlap elements together,
    前記シルエット画像とシミュレーション画像の比較に基づく第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた暫定対象状態の尤度と見做す手段と、 The silhouette and third condition likelihood based on the comparison of the image and the simulated image, was calculated, the product of the first through third condition likelihood, the likelihoods regarded to means interim target while being said change ,
    前記暫定対象状態が採用されたか否かの結果に応じて、n回目に予測された対象状態を決定する手段と、 Depending on the whether the provisional target state is adopted the results, means for determining a predicted target state n th,
    更新回数が前記確率分布計算回数Bと等しい場合、該B回の更新で得られた対象状態に基づいて状態分布を計算する手段と、 If the number of updates is equal to the probability distribution calculated number B, it means for calculating a state distribution on the basis of a target state obtained by updating the B times,
    前記B回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が0と等しいか否かを判定する手段と、 Based on the state distribution on the basis of a target state obtained by the B-time updating, and means for determining whether the moving body number currently tracked equal to 0,
    前記動体数が0と等しくなかった場合、かつ、更新回数が記確率分布更新回数Bに前記確率分布更新回数Nを加算した回数を超えていた場合、最後のN回の更新で保存されたN個の対象状態全てが等確率に起こりうると考え、n回目に予測された対象状態を対象状態分布と見做す手段と、 When the moving body number is not equal to zero, and, if the number of updates exceeds the number obtained by adding the probability distribution update count N in serial probability distribution update times B, and stored at last N updates N number of the all-object-state can occur in equal probability considered, the target state distribution regarded to means the predicted target state n th,
    を有する、 Having,
    ことを特徴とする動体追跡装置。 Body tracking device, characterized in that.
  2. 請求項1に記載の動体追跡装置において、 In the moving object tracking apparatus according to claim 1,
    前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さh、で表し、 The target state of the body regarded as a set of ellipsoidal model, the position of each moving object position on an arbitrary plane (x, y), the radius r and height h of the ellipse body model the size of the moving object, expressed in,
    それらパラメータx,y,r,hの値の組み合わせを複数記憶する、 They parameters x, y, r, the combination of the values ​​of h stores plural,
    ことを特徴とする動体追跡装置。 Body tracking device, characterized in that.
  3. 予め計測しておいた実世界の三次元構造と前記撮像装置の内部パラメータ及び外部パラメータを保存する三次元環境情報管理手段と、 A three-dimensional environment information managing means for storing previously measured had been a real world three-dimensional structure of the internal parameters and external parameters of the imaging device,
    各時刻に推定された対象状態の確率的分布を記憶する対象状態分布記憶手段と、 And the target state distribution storage means for storing a probability distribution of the target state of being estimated in each time,
    各時刻の前記変化ベクトルを記憶する対象状態記憶手段と、 A target state storage means for storing the change vectors for each time,
    を備え、 Equipped with a,
    動体の三次元位置及び大きさを該動体の対象状態と見做し、1又は複数の撮像装置を用いて該動体を特定の時間間隔をあけた時刻に撮像し、その撮像によって得られた複数画像データに基づいて、該動体を追跡する装置に使用される動体追跡方法であって、 A plurality of three-dimensional position and size of the moving object is regarded as the target state of the animal body, captured in time spaced certain time intervals the animals body using one or more imaging devices, obtained by the imaging based on the image data, a moving object tracking method for use in apparatus for tracking the animal body,
    各時刻に複数の前記動体の対象状態を予測する対象状態予測ステップと、 A target state prediction step of predicting a subject state of the plurality of the moving object in each time,
    前記画像データを取得する画像取得ステップと、 An image acquisition step of acquiring the image data,
    前記画像データから前記動体を写した領域を抽出したシルエット画像を作成するシルエット画像作成ステップと、 Silhouette image creation step of creating a silhouette image obtained by extracting a region copy the moving object from the image data,
    対象状態予測手段によって得られた対象状態を初期状態と見做し、シルエット画像作成手段によって作成されたシルエット画像と、三次元環境情報管理手段に保存された実世界の三次元構造と、三次元環境情報管理手段に保存された前記撮像装置の内部パラメータ及び外部パラメータと、を用いて、対象状態分布を推定し、 The target state obtained by the target state prediction means regarded as an initial state, the silhouette image generated by the silhouette image creating device, a three-dimensional structure of the real world that is stored in the three-dimensional environment information managing means, three-dimensional the internal and external parameters of the imaging device which is stored in the environment information managing means, was used to estimate the target state distribution,
    対象状態分布記憶手段に保存されている前時刻の対象状態分布を現時刻の対象状態分布に更新する対象状態分布推定ステップと、 A target state distribution estimating step of updating the target state distribution at the previous time stored in the target state distribution storage unit in the target state distribution at the present time,
    対象状態分布記憶手段に保存された現時刻の対象状態分布に基づいて最大確率となる対象状態を計算し、その現時刻において最大確率となる対象状態と前時刻において最大確率となる対象状態に基づいて変化ベクトルを計算し、その計算された変化ベクトルを対象状態記憶手段に記憶させる対象状態計算ステップと、 Calculate the target state with a maximum probability on the basis of the target state distribution at the present time that have been saved in the state distribution storage means, based on the target state with a maximum probability at the maximum probability to become target state before the time at that current time the change vectors calculated Te, and the target state calculation step of storing the calculated change vector in the target state storage means,
    を有し、 Have,
    前記対象状態分布推定ステップが、 The target state distribution estimating step,
    前記対象状態分布記憶手段に対する最初の確率分布更新回数Bと対象状態に対する最後の確率分布更新回数Nを比較し、その比較結果に基づいて、予め用意された変化タイプから任意の確率に従って変化タイプを選択するステップと、 Comparing the last probability distribution update count N for the first probability distribution update count B and the target state for the target state distribution storage means, based on the comparison result, the variation type in accordance with any probability from a prepared variation type and a step of selecting,
    前記変化タイプを適応して変化させる動体を選択するステップと、 Selecting a moving object which changes adaptively the change type,
    前記選択された変化タイプ及び前記確率分布更新回数Bと前記確率分布更新回数Nの比較結果に基づいて、選択された動体の対象状態を変化させるステップと、 A step of, based on the comparison result of the selected variation type and the probability distribution update count B and the probability distribution update count N, changes the target state of the selected moving body,
    前記撮像装置と同じ外部パラメータ及び内部パラメータを有する仮想撮像手段で、前記変化させた対象状態を投影して作成された画像を、前記シルエット画像をシミュレートしたシミュレーション画像と見做すステップと、 A virtual image pickup means having the same external and intrinsic parameters and the imaging device, an image generated by projecting a target state of being the change, and the simulation image regarded to step simulates the silhouette image,
    前記三次元構造に関する事前知識の条件に基づいた対象状態の確率的な第1条件尤度と、動体同士の重なりに関する事前知識の条件に基づいた対象状態の確率的な第2条件尤度と、 And stochastic first condition likelihood of the subject state based on the condition of prior knowledge about the three-dimensional structure, and stochastic second condition likelihood of the subject state based on the condition of prior knowledge overlap elements together,
    前記シルエット画像とシミュレーション画像の比較に基づく第3条件尤度と、を計算し、その第1乃至第3条件尤度の積を、前記変化させた暫定対象状態の尤度と見做すステップと、 The silhouette and third condition likelihood based on the comparison of the image and the simulated image, was calculated, the product of the first through third condition likelihood, the likelihoods regarded to step provisional target state that is the change ,
    前記暫定対象状態が採用されたか否かの結果に応じて、n回目に予測された対象状態を決定するステップと、 Depending on the whether the provisional target state is adopted the results, and determining the predicted target state n th,
    更新回数が前記確率分布計算回数Bと等しい場合、該B回の更新で得られた対象状態に基づいて状態分布を計算するステップと、 If the number of updates is equal to the probability distribution calculated number B, and calculating the state distribution on the basis of a target state obtained by the B single update,
    前記B回の更新で得られた対象状態に基づいて状態分布に基づいて、現在追跡している動体数が0と等しいか否かを判定するステップと、 Based on the state distribution on the basis of a target state obtained by the B-time update, determining whether the number of elements that are currently tracked is equal to 0,
    前記動体数が0と等しくなかった場合、かつ、更新回数が記確率分布更新回数Bに前記確率分布更新回数Nを加算した回数を超えていた場合、最後のN回の更新で保存されたN個の対象状態全てが等確率に起こりうると考え、n回目に予測された対象状態を対象状態分布と見做すステップと、 When the moving body number is not equal to zero, and, if the number of updates exceeds the number obtained by adding the probability distribution update count N in serial probability distribution update times B, and stored at last N updates N number of the all-object-state can occur in equal probability thinking, and the predicted target state distribution regarded to step the target state has in the n-th,
    を有する、 Having,
    ことを特徴とする動体追跡方法。 Motion tracking method, characterized in that.
  4. 請求項3に記載の動体追跡方法において、 In the moving object tracking method of claim 3,
    前記動体の対象状態を楕円体モデルの集合と見做し、各動体の位置を任意の平面上の位置(x,y)、動体の大きさを該楕円体モデルの半径rと高さh、で表し、 The target state of the body regarded as a set of ellipsoidal model, the position of each moving object position on an arbitrary plane (x, y), the radius r and height h of the ellipse body model the size of the moving object, expressed in,
    それらパラメータx,y,r,hの値の組み合わせを複数記憶する、 They parameters x, y, r, the combination of the values ​​of h stores plural,
    ことを特徴とする動体追跡方法。 Motion tracking method, characterized in that.
  5. 請求項3または4に記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述したことを特徴とする動体追跡プログラム。 A moving object tracking method of claim 3 or 4, moving object tracking program characterized by describing as a computer program executable by a computer.
  6. 請求項3または4に記載の動体追跡方法を、コンピュータで実行可能なコンピュータプログラムとして記述し、そのコンピュータプログラムを記録したことを特徴とする記録媒体。 Recording medium a moving object tracking method of claim 3 or 4, described as a computer program executable by a computer, characterized in that the computer program recorded thereon.
JP2006322048A 2006-11-29 2006-11-29 Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein Pending JP2008134939A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006322048A JP2008134939A (en) 2006-11-29 2006-11-29 Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006322048A JP2008134939A (en) 2006-11-29 2006-11-29 Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein

Publications (1)

Publication Number Publication Date
JP2008134939A true true JP2008134939A (en) 2008-06-12

Family

ID=39559744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006322048A Pending JP2008134939A (en) 2006-11-29 2006-11-29 Moving object tracking apparatus, moving object tracking method, moving object tracking program with the method described therein, and recording medium with the program stored therein

Country Status (1)

Country Link
JP (1) JP2008134939A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245207A (en) * 2008-03-31 2009-10-22 Fujifilm Corp Probability distribution constructing method, probability distribution constructing device, probability distribution constructing program, photographic subject detecting method, photographic subject detecting device and photographic subject detecting program
JP2010141668A (en) * 2008-12-12 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> Moving object tracking apparatus, moving object tracking method, and moving object tracking program
JP2010211386A (en) * 2009-03-09 2010-09-24 Oki Electric Ind Co Ltd Image processor and image processing method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216951A (en) * 2001-12-03 2003-07-31 Microsoft Corp Method and system for automatic detection and tracking of multiple individuals using multiple cues
JP2005044352A (en) * 2003-07-10 2005-02-17 Advanced Telecommunication Research Institute International Estimation device, estimation method, and estimation program
JP2005165688A (en) * 2003-12-02 2005-06-23 Fuji Xerox Co Ltd Multiple objects tracking method and system
JP2007249885A (en) * 2006-03-20 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> Moving object-tracking device, moving object-tracking method, and recording medium stored with program having realized the method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003216951A (en) * 2001-12-03 2003-07-31 Microsoft Corp Method and system for automatic detection and tracking of multiple individuals using multiple cues
JP2005044352A (en) * 2003-07-10 2005-02-17 Advanced Telecommunication Research Institute International Estimation device, estimation method, and estimation program
JP2005165688A (en) * 2003-12-02 2005-06-23 Fuji Xerox Co Ltd Multiple objects tracking method and system
JP2007249885A (en) * 2006-03-20 2007-09-27 Nippon Telegr & Teleph Corp <Ntt> Moving object-tracking device, moving object-tracking method, and recording medium stored with program having realized the method

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009245207A (en) * 2008-03-31 2009-10-22 Fujifilm Corp Probability distribution constructing method, probability distribution constructing device, probability distribution constructing program, photographic subject detecting method, photographic subject detecting device and photographic subject detecting program
JP2010141668A (en) * 2008-12-12 2010-06-24 Nippon Telegr & Teleph Corp <Ntt> Moving object tracking apparatus, moving object tracking method, and moving object tracking program
JP2010211386A (en) * 2009-03-09 2010-09-24 Oki Electric Ind Co Ltd Image processor and image processing method

Similar Documents

Publication Publication Date Title
Terzopoulos et al. Physically‐based facial modelling, analysis, and animation
Van Den Berg et al. Interactive navigation of multiple agents in crowded environments
Dockstader et al. Multiple camera tracking of interacting and occluded human motion
Khan et al. MCMC data association and sparse factorization updating for real time multitarget tracking with merged and multiple measurements
Chen et al. Jpdaf based hmm or real-time contour tracking
US6380934B1 (en) Estimating targets using statistical properties of observations of known targets
Duetscher et al. Articulated body motion capture by annealed particle filtering
Kowalczuk et al. Real-time stereo matching on CUDA using an iterative refinement method for adaptive support-weight correspondences
US20100128927A1 (en) Image processing apparatus and image processing method
US20070052711A1 (en) Reconstruction render farm used in motion capture
US20120307075A1 (en) Structured light projection for motion detection in augmented reality
Secord et al. Perceptual models of viewpoint preference
US8810779B1 (en) Shape matching automatic recognition methods, systems, and articles of manufacture
US20080063236A1 (en) Object Tracker for Visually Tracking Object Motion
US20100322474A1 (en) Detecting multiple moving objects in crowded environments with coherent motion regions
US20130250050A1 (en) Video surveillance systems, devices and methods with improved 3d human pose and shape modeling
US20130335635A1 (en) Video Analysis Based on Sparse Registration and Multiple Domain Tracking
Brown et al. A framework for 3D model-based visual tracking using a GPU-accelerated particle filter
Maggio et al. Learning scene context for multiple object tracking
Seer et al. Kinects and human kinetics: A new approach for studying pedestrian behavior
Tsai et al. Real-time indoor scene understanding using bayesian filtering with motion cues
JP2004220292A (en) Object tracking method and device, program for object tracking method, and recording medium with its program recorded
Chang et al. Matterport3d: Learning from rgb-d data in indoor environments
CN103150559A (en) Kinect three-dimensional depth image-based head identification and tracking method
Kwon et al. Wang-Landau Monte Carlo-based tracking methods for abrupt motions

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090121

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20090610

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20100521

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110215

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110705