JP2019133332A - Association device, object tracking device, and program - Google Patents
Association device, object tracking device, and program Download PDFInfo
- Publication number
- JP2019133332A JP2019133332A JP2018013941A JP2018013941A JP2019133332A JP 2019133332 A JP2019133332 A JP 2019133332A JP 2018013941 A JP2018013941 A JP 2018013941A JP 2018013941 A JP2018013941 A JP 2018013941A JP 2019133332 A JP2019133332 A JP 2019133332A
- Authority
- JP
- Japan
- Prior art keywords
- detection results
- association
- state quantity
- state quantities
- hypothesis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 claims abstract description 156
- 238000009826 distribution Methods 0.000 claims description 22
- 238000001914 filtration Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 4
- 238000012545 processing Methods 0.000 abstract description 25
- 238000000034 method Methods 0.000 description 57
- 230000008569 process Effects 0.000 description 40
- 239000011159 matrix material Substances 0.000 description 32
- 238000010586 diagram Methods 0.000 description 18
- 238000007476 Maximum Likelihood Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 8
- 238000005070 sampling Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 230000010354 integration Effects 0.000 description 5
- 230000008707 rearrangement Effects 0.000 description 3
- 238000012952 Resampling Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000002245 particle Substances 0.000 description 2
- 241001168730 Simo Species 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
Abstract
Description
本発明は、対応付け装置、物体追跡装置、及びプログラムに関する。 The present invention relates to an associating device, an object tracking device, and a program.
非特許文献１には、複数対象を追跡するためのＲＢＰＦ（Rao-Blackwellized Particle Filter）が記載されている。 Non-Patent Document 1 describes an RBPF (Rao-Blackwellized Particle Filter) for tracking a plurality of objects.
非特許文献２には、m-bestの対応付けを整数計画法による最適化により求める、改良されたＪＰＤＡＦ（Joint Probabilistic Data Association Filter)が記載されている。 Non-Patent Document 2 describes an improved JPDAF (Joint Probabilistic Data Association Filter) that finds m-best correspondence by optimization using integer programming.
非特許文献１に記載の手法では、サンプリングにより対応付けの仮説を生成するが、対応付けにおける排他性が保持されていないため、実行不可能な仮説が多く生成されてしまい、非効率的である。 In the method described in Non-Patent Document 1, a hypothesis for association is generated by sampling. However, since the exclusiveness in the association is not maintained, many infeasible hypotheses are generated, which is inefficient.
非特許文献２に記載の手法では、整数計画法による最適化に計算時間が長くなる。 In the method described in Non-Patent Document 2, the calculation time is long for optimization by integer programming.
本発明は上記事情に鑑みなされたものであり、本発明の目的は、複数の検出結果と複数の対象（予測状態量や他の検出結果）とを対応付ける場合に、複数の対応付けを高速かつ高精度に取得することができる、対応付け装置、物体追跡装置、及びプログラムを提供することにある。 The present invention has been made in view of the above circumstances, and an object of the present invention is to associate a plurality of associations at a high speed when associating a plurality of detection results with a plurality of objects (predicted state quantities and other detection results). An object is to provide an associating device, an object tracking device, and a program that can be obtained with high accuracy.
上記目的を達成するために、本発明の対応付け装置は、少なくとも１つの検出器により検出された検出結果であって、各検出器に対して相対移動する複数の物体を検出した検出結果を受け取る結果獲得手段と、前記複数の物体各々について、前の時刻の複数の状態量を用いて次の時刻の複数の予測状態量を取得する予測手段と、前記複数の物体に応じた複数の検出結果と、検出結果を受け取った時刻に応じた複数の予測状態量との対応付けを、複数個生成する対応付け手段と、を含み、前記対応付け手段は、ランダムに配列された前記複数の検出結果の各々を、配列順に、前記複数の予測状態量のうちで他の検出結果が割り当てられていない何れか１つの予測状態量に割り当てて、対応付けを生成することを繰り返す、対応付け装置である。 In order to achieve the above object, the associating device of the present invention receives a detection result detected by at least one detector and detecting a plurality of objects moving relative to each detector. For each of the plurality of objects, a result acquisition unit, a prediction unit that acquires a plurality of predicted state quantities at a next time using a plurality of state quantities at a previous time, and a plurality of detection results corresponding to the plurality of objects And association means for generating a plurality of associations with a plurality of predicted state quantities according to the time when the detection results are received, wherein the association means are the plurality of detection results arranged at random. Are assigned to any one predicted state quantity to which no other detection result is assigned among the plurality of predicted state quantities in the order of arrangement, and the association apparatus repeatedly generates a correspondence. .
本発明のもう１つの対応付け装置は、少なくとも１つの検出器により検出された検出結果であって、各検出器に対して相対移動する複数の物体を検出した検出結果を受け取る結果獲得手段と、１つの検出器により検出された複数の第１検出結果と、同じ検出器により異なる時刻に検出された、または、他の検出器により検出された複数の第２検出結果との対応付けを、複数個生成する対応付け手段と、を含み、前記対応付け手段は、ランダムに配列された前記複数の第１検出結果の各々を、配列順に、前記複数の第２検出結果のうちで他の第１検出結果が割り当てられていない何れか１つの第２検出結果に割り当てて、対応付けを生成することを繰り返す、対応付け装置である。 Another associating device of the present invention is a result acquisition means for receiving detection results detected by at least one detector and detecting a plurality of objects that move relative to each detector; A plurality of correspondences between a plurality of first detection results detected by one detector and a plurality of second detection results detected at different times by the same detector or detected by other detectors. Each of the plurality of first detection results arranged at random is arranged in the order of arrangement with the other first of the plurality of second detection results. It is an associating device that repeatedly assigns any one second detection result to which no detection result is assigned and generates a correspondence.
本発明の物体追跡装置は、複数の物体を追跡する物体追跡装置において、前記複数の物体の各々について状態量を記憶する記憶手段と、少なくとも１つの検出器により検出された検出結果であって、各検出器に対して相対移動する複数の物体を検出した検出結果を受け取る結果獲得手段と、前記複数の物体各々について、前の時刻の複数の状態量を用いて次の時刻の複数の予測状態量を取得する予測手段と、前記複数の物体に応じた複数の検出結果と、検出結果を受け取った時刻に応じた複数の予測状態量との対応付けを、複数個生成する対応付け手段と、複数の対応付けの各々に重みを付与する重み付与手段と、前記複数の検出結果、前記複数の予測状態量、前記複数の対応付け、及び前記複数の対応付けの重みを用いて、前記記憶手段に格納された状態量を更新する更新手段と、を含み、前記対応付け手段は、ランダムに配列された前記複数の検出結果の各々を、配列順に、前記複数の予測状態量のうちで他の検出結果が割り当てられていない何れか１つの予測状態量に割り当てて、対応付けを生成することを繰り返す、物体追跡装置である。 The object tracking device of the present invention is a detection result detected by at least one detector, and a storage means for storing a state quantity for each of the plurality of objects in an object tracking device that tracks a plurality of objects, Result obtaining means for receiving detection results of detecting a plurality of objects that move relative to each detector, and a plurality of predicted states at the next time using a plurality of state quantities at the previous time for each of the plurality of objects Prediction means for acquiring a quantity, a plurality of detection results according to the plurality of objects, and a correspondence means for generating a plurality of correspondences with a plurality of predicted state quantities according to the time when the detection results are received; Weight storage means for assigning a weight to each of a plurality of associations, the storage means using the plurality of detection results, the plurality of predicted state quantities, the plurality of associations, and the weights of the plurality of associations In Updating means for updating the stored state quantity, wherein the associating means detects each of the plurality of detection results arranged in a random order from the plurality of predicted state quantities in the order of arrangement. This is an object tracking device that repeatedly assigns to any one of the predicted state quantities to which no result is assigned, and repeatedly generates a correspondence.
本発明のプログラムは、コンピュータを、本発明の対応付け装置の各手段として機能させるためのプログラムである。 The program of this invention is a program for functioning a computer as each means of the matching apparatus of this invention.
本発明のもう１つのプログラムは、コンピュータを、本発明の物体追跡装置の各手段として機能させるためのプログラムである。 Another program of the present invention is a program for causing a computer to function as each means of the object tracking device of the present invention.
本発明によれば、複数の検出結果と複数の対象とを対応付ける場合に、複数の対応付けを高速かつ高精度に取得することができる。 According to the present invention, when associating a plurality of detection results with a plurality of objects, a plurality of associations can be acquired at high speed and with high accuracy.
以下、図面を参照して、本発明の実施の形態について説明する。 Embodiments of the present invention will be described below with reference to the drawings.
［第１の実施の形態］
本実施の形態では、移動物である歩行者を追跡対象として、歩行者を追跡する「歩行者追跡装置」に本発明を適用した場合を例に説明する。本実施の形態では、車両に搭載された歩行者の検出器やインフラセンサとしての歩行者の検出器の検出結果を統合して、時間毎に変化する複数の歩行者の状態量を推定する。本実施の形態では、ＪＰＤＡＦを改良した方法で歩行者の追跡を行う。
[First Embodiment]
In the present embodiment, a case where the present invention is applied to a “pedestrian tracking device” that tracks a pedestrian with a pedestrian that is a moving object as a tracking target will be described as an example. In this embodiment, detection results of a pedestrian detector mounted on a vehicle and a pedestrian detector as an infrastructure sensor are integrated to estimate a plurality of pedestrian state quantities that change with time. In the present embodiment, pedestrians are tracked by a method improved from JPDAF.
＜歩行者追跡システムのシステム構成＞
図１は本発明の第１の実施の形態に係る歩行者追跡システムの構成を示すブロック図である。図１に示すように、第１の実施の形態に係る歩行者追跡システム１００は、歩行者追跡装置１０と、基地局５０と、複数の車両に搭載された複数の検出器６０と、インフラセンサとしての検出器６２とを備え、基地局５０と歩行者追跡装置１０とは、インターネットなどのネットワーク７０で接続されており、基地局５０と検出器６０、６２とは、無線通信により接続されている。
<System configuration of pedestrian tracking system>
FIG. 1 is a block diagram showing the configuration of the pedestrian tracking system according to the first embodiment of the present invention. As shown in FIG. 1, a pedestrian tracking system 100 according to the first embodiment includes a pedestrian tracking device 10, a base station 50, a plurality of detectors 60 mounted on a plurality of vehicles, and an infrastructure sensor. The base station 50 and the pedestrian tracking apparatus 10 are connected by a network 70 such as the Internet, and the base station 50 and the detectors 60 and 62 are connected by wireless communication. Yes.
検出器６０、６２は、カメラやレーダを用いて歩行者を随時検出し、検出する度に、検出結果を、基地局５０を介して、歩行者追跡装置１０へ送信する。 The detectors 60 and 62 detect a pedestrian at any time using a camera or a radar, and transmit a detection result to the pedestrian tracking device 10 via the base station 50 each time it is detected.
例えば、検出器６０は、自車両の前方を撮像するカメラによって撮像された前方の道路画像から、スライディングウィンドウ毎に、画像特徴量（ＳＩＦＴ，ＦＩＮＤ、ＨＯＧなど）を抽出し、スライディングウィンドウ毎の画像特徴量と、歩行者検出モデル（ＳＶＭ、ＡｄａＢｏｏｓｔ）とを用いて、歩行者を検出し、検出された歩行者位置を表す画像座標を求める。また、検出器６０は、歩行者位置を表す画像座標を、３次元位置に変換する。この際に、検出された歩行者の高さに応じて誤差分散行列を求める。また、検出器６０は、自車両に搭載されたＧＰＳにより計測された自車両の絶対座標と、求められた３次元位置とに基づいて、歩行者の絶対的な３次元位置を求める。 For example, the detector 60 extracts image feature quantities (SIFT, FIND, HOG, etc.) for each sliding window from the road image in front captured by a camera that images the front of the host vehicle, and images for each sliding window. A pedestrian is detected using the feature amount and a pedestrian detection model (SVM, AdaBoost), and image coordinates representing the detected pedestrian position are obtained. In addition, the detector 60 converts the image coordinates representing the pedestrian position into a three-dimensional position. At this time, an error variance matrix is obtained according to the detected height of the pedestrian. Moreover, the detector 60 calculates | requires the absolute three-dimensional position of a pedestrian based on the absolute coordinate of the own vehicle measured by GPS mounted in the own vehicle, and the calculated | required three-dimensional position.
本実施の形態では、上記の歩行者の３次元位置及び誤差分散行列を、検出された歩行者毎に求める。また、本実施の形態では、複数の歩行者についての検出結果を得ることを「観測」という。具体的には、観測Ｏは、複数の歩行者についての検出結果として、歩行者の３次元位置のセットＹ＝｛ｙ１，…ｙｎ｝と、観測誤差分散行列のセットＲ＝｛ｒ１，…，ｒｎ｝とを含む。 In the present embodiment, the three-dimensional position and error variance matrix of the above pedestrian are obtained for each detected pedestrian. In the present embodiment, obtaining detection results for a plurality of pedestrians is referred to as “observation”. Specifically, the observation O is a detection result for a plurality of pedestrians, and a pedestrian's three-dimensional position set Y = {y 1 ,... Y n } and an observation error variance matrix set R = {r 1 ,..., R n }.
検出器６０は、検出した歩行者の３次元位置のセットＹと、観測誤差分散行列のセットＲとからなる観測Ｏを、観測毎に、歩行者追跡装置１０へ送信する。 The detector 60 transmits, to each pedestrian tracking device 10, an observation O that includes the detected three-dimensional position set Y of the pedestrian and the set R of the observation error variance matrix.
検出器６２は、検出器６０と同様に、検出した歩行者の３次元位置のセットＹと、観測誤差分散行列のセットＲとからなる観測Ｏを、観測毎に、歩行者追跡装置１０へ送信する。 Similarly to the detector 60, the detector 62 transmits an observation O including the detected three-dimensional position set Y of the pedestrian and the set R of the observation error variance matrix to the pedestrian tracking device 10 for each observation. To do.
複数の検出器６０、６２は、非同期に、歩行者を検出している。また、複数の検出器６０は、各々異なる車両に搭載されているため、歩行者追跡装置１０へ観測を送信する検出器６０、６２の数は、不定となる。 The plurality of detectors 60 and 62 detect pedestrians asynchronously. Further, since the plurality of detectors 60 are mounted on different vehicles, the number of detectors 60 and 62 that transmit observations to the pedestrian tracking apparatus 10 is indefinite.
歩行者追跡装置１０は、例えば、サーバ等のコンピュータで構成される。歩行者追跡装置１０は、ＣＰＵと、ＲＡＭと、後述する「歩行者追跡処理」ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。 The pedestrian tracking device 10 is configured by a computer such as a server, for example. The pedestrian tracking device 10 includes a CPU, a RAM, and a ROM that stores a program for executing a “pedestrian tracking process” routine described later, and is functionally configured as follows.
図２は本発明の第１の実施の形態に係る歩行者追跡装置の構成を示すブロック図である。図２に示すように、歩行者追跡装置１０は、通信部１２と、センシング結果獲得部１４と、状態量記憶部１６と、状態量予測部１８と、状態量対応付け部２０と、状態量更新部２２とを備えている。 FIG. 2 is a block diagram showing the configuration of the pedestrian tracking apparatus according to the first embodiment of the present invention. As shown in FIG. 2, the pedestrian tracking device 10 includes a communication unit 12, a sensing result acquisition unit 14, a state quantity storage unit 16, a state quantity prediction unit 18, a state quantity association unit 20, and a state quantity. And an update unit 22.
センシング結果獲得部１４は、検出器６０、６２の何れかから送信された観測Ｏを、通信部１２により受信する毎に、最新データとして、歩行者の３次元位置のセットＹ＝｛ｙ１，…ｙｎ｝と、観測誤差分散行列のセットＲ＝｛ｒ１，…，ｒｎ｝とを取得する。 Each time the sensing result acquisition unit 14 receives the observation O transmitted from any of the detectors 60 and 62 by the communication unit 12, the set of three-dimensional positions of the pedestrian Y = {y 1 , ... y n } and the set of observation error variance matrix R = {r 1 ,..., R n }.
状態量記憶部１６は、観測された複数の歩行者それぞれの、状態量更新部２２により更新された状態量（歩行者の位置及び速度）、及び最後に観測した時刻を記憶する。 The state quantity storage unit 16 stores the state quantity (position and speed of the pedestrian) updated by the state quantity update unit 22 and the last observed time for each of the observed pedestrians.
状態量予測部１８は、最新データを取得した時刻に合わせて、複数の歩行者それぞれについて、状態量記憶部１６に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、最新データを取得した時刻における予測状態量を取得する。以下では、最新データを取得した時刻を「現時刻」という。 The state quantity prediction unit 18 predicts the state quantity of the pedestrian at the next time using the state quantity stored in the state quantity storage unit 16 for each of a plurality of pedestrians according to the time when the latest data is acquired. This is repeated, and the predicted state quantity at the time when the latest data is acquired is acquired. Hereinafter, the time when the latest data is acquired is referred to as “current time”.
具体的には、状態量予測部１８は、現時刻における複数の歩行者それぞれの予測状態量のセットＸ＝｛ｘ１，…，ｘｍ｝、および、予測状態量の分散共分散行列のセットＶ＝｛ｖ１，…，ｖｍ｝を取得する。複数の歩行者の状態量は、例えば、カルマンフィルタの予測ステップ、等速予測などにより予測する。 Specifically, the state quantity prediction unit 18 sets a set of predicted state quantities X = {x 1 ,..., X m } for each of a plurality of pedestrians at the current time, and a set of variance-covariance matrices of the predicted state quantities. V = {v 1 ,..., V m } is acquired. The state quantities of a plurality of pedestrians are predicted by, for example, a Kalman filter prediction step, constant speed prediction, or the like.
状態量対応付け部２０は、センシング結果獲得部１４により最新のデータを取得する度に、複数の歩行者それぞれについて予測された予測状態量と、最新のデータが表す複数の歩行者それぞれの検出結果との対応付けを行う。 Each time the state quantity association unit 20 acquires the latest data by the sensing result acquisition unit 14, the predicted state quantity predicted for each of the plurality of pedestrians and the detection result of each of the plurality of pedestrians represented by the latest data. Is associated.
具体的には、現時刻における複数の歩行者それぞれの予測状態量のセットＸ＝｛ｘ１，…，ｘｍ｝と、最新のデータに含まれる複数の歩行者それぞれの３次元位置のセットＹ＝｛ｙ１，…，ｙｎ｝との対応付けを行う。 Specifically, a set X = {x 1 ,..., X m } of predicted state quantities of a plurality of pedestrians at the current time, and a set Y of a three-dimensional position of each of the plurality of pedestrians included in the latest data. = {Y 1 ,..., Y n } is associated.
図３は複数の検出結果と複数の予測状態量との全部の対応付けを示す模式図である。図３に示す例では、１つの観測には検出結果１〜４が含まれる。検出結果１〜４の各々は、確率に応じて選択された予測状態量ａ〜ｄのいずれかに対応付けられる。 FIG. 3 is a schematic diagram showing all associations between a plurality of detection results and a plurality of predicted state quantities. In the example shown in FIG. 3, one observation includes detection results 1 to 4. Each of the detection results 1 to 4 is associated with one of the predicted state quantities a to d selected according to the probability.
図４（Ａ）〜（Ｄ）は本発明の第１の実施の形態に係る対応付け手順を説明するための模式図である。まず、図４（Ａ）に示すように、１つの観測に含まれる複数の検出結果をランダムに並べ替える。図示した例では、検出結果１〜４が３→１→４→２の順に並べ替えられているが、この配列はランダムに決定されたものである。 4A to 4D are schematic diagrams for explaining the association procedure according to the first embodiment of the present invention. First, as shown in FIG. 4A, a plurality of detection results included in one observation are rearranged randomly. In the illustrated example, the detection results 1 to 4 are rearranged in the order of 3 → 1 → 4 → 2, but this arrangement is determined at random.
次に、図４（Ｂ）及び図４（Ｃ）に示すように、複数の検出結果を配列順に１つ選択する。選択された検出結果を、他の検出結果が割り当てられていない予測状態量の中から、確率に応じて選択された１つの予測状態量に割り当てる。以下では、他の検出結果が割り当てられていない予測状態量を「割当候補の予測状態量」という。確率は下記式（１）で表される。図４（Ｄ）に示すように、複数の検出結果各々の割当先が決まると、１つの対応付けが完成する。 Next, as shown in FIGS. 4B and 4C, a plurality of detection results are selected in the order of arrangement. The selected detection result is assigned to one prediction state quantity selected according to the probability from among the prediction state quantities to which no other detection result is assigned. In the following, a predicted state quantity to which no other detection result is assigned is referred to as a “predicted state quantity of an allocation candidate”. The probability is expressed by the following formula (1). As shown in FIG. 4D, when the allocation destination of each of the plurality of detection results is determined, one association is completed.
上記式（１）では、検出結果ｙの個数をＮ個、割当候補の予測状態量ｘの個数をＭ個とする。１つの検出結果ｙｉ（ｉ＝１〜Ｎ）が１つの予測状態量ｘｊ（ｊ＝１〜Ｍ）に割り当てられる確率は、ｐ（ｙｉ｜ｘｊ）である。１つの検出結果ｙｉが、Ｍ個の予測状態量ｘｊのいずれかに割り当てられる確率は、Ｍ個の予測状態量ｘｊについての確率ｐ（ｙｉ｜ｘｊ）の和Σｊｐ（ｙｉ｜ｘｊ）である。式（１）に示すように確率は、確率ｐ（ｙｉ｜ｘｊ）のΣｊｐ（ｙｉ｜ｘｊ）に対する割合と定義される。 In the above formula (1), the number of detection results y is N, and the number of allocation candidate prediction state quantities x is M. The probability that one detection result y i (i = 1 to N) is assigned to one predicted state quantity x j (j = 1 to M) is p (y i | x j ). One detection result y i is the probability assigned to one of the M predicted state amount x j is the probability for the M predicted state amount x j p (y i | x j) sum Shigumajp (y i of | X j ). As shown in Equation (1), the probability is defined as the ratio of the probability p (y i | x j ) to Σ j p (y i | x j ).
図示した例では、まず検出結果３が選択される。割当候補は予測状態量ａ〜ｄである。例えば、検出結果３と予測状態量ａとの確率は５０％、予測状態量ｂとの確率は３０％、予測状態量ｃとの確率は１０％、予測状態量ｄとの確率は１０％とする。検出結果３は、これらの確率に応じて選択された予測状態量ａに割り当てられる。 In the illustrated example, the detection result 3 is first selected. The allocation candidates are predicted state quantities a to d. For example, the probability of the detection result 3 and the predicted state quantity a is 50%, the probability of the predicted state quantity b is 30%, the probability of the predicted state quantity c is 10%, and the probability of the predicted state quantity d is 10%. To do. The detection result 3 is assigned to the predicted state quantity a selected according to these probabilities.
図示した例では、配列順に従って次に検出結果１が選択される。予測状態量ａには検出結果３が割り当てられたので、割当候補は予測状態量ｂ〜ｄである。検出結果１は、割当候補の中から確率に応じて選択された予測状態量ｄに割り当てられる。同様に、次に選択された検出結果４は、予測状態量ｂに割り当てられ、次に選択された検出結果２は、残った予測状態量ｃに割り当てられる。 In the illustrated example, the detection result 1 is selected next in accordance with the arrangement order. Since the detection result 3 is assigned to the predicted state quantity a, the allocation candidates are the predicted state quantities b to d. The detection result 1 is assigned to the predicted state quantity d selected according to the probability from the assignment candidates. Similarly, the next selected detection result 4 is assigned to the predicted state quantity b, and the next selected detection result 2 is assigned to the remaining predicted state quantity c.
状態量対応付け部２０は、上記の手法で、ランダムな並べ替えを繰り返し行い、複数の対応付けを生成する。複数の対応付けは、同じパターンの対応付けを含んでいてもよい。 The state quantity associating unit 20 repeatedly performs random rearrangement by the above method to generate a plurality of associations. The plurality of associations may include associations of the same pattern.
生成する対応付けの個数は、例えば１００個など、予め定めた個数とする。通常のＪＰＤＡＦを利用する追跡では、複数の検出結果と複数の予測状態量との対応付けのすべてのパターンについて計算が行われている。対応付けの個数を「予め定めた個数」とすることで、歩行者数が増え、検出結果の個数が増えた場合であっても、計算量を増やさずに済み、高速に追跡を行うことができる。対応付けパターンの総数に応じて、対応付けの個数を対応付けパターンの総数より少ない個数としてもよい。 The number of associations to be generated is a predetermined number such as 100, for example. In tracking using ordinary JPDAF, calculation is performed for all patterns of association between a plurality of detection results and a plurality of predicted state quantities. By setting the number of associations to a “predetermined number”, even if the number of pedestrians increases and the number of detection results increases, it is not necessary to increase the amount of calculation, and tracking can be performed at high speed. it can. Depending on the total number of association patterns, the number of associations may be smaller than the total number of association patterns.
状態量対応付け部２０は、対応付け毎に、対応付けの重みｗを計算する。状態量対応付け部２０は、計算された重みｗを対応付けに付与する。確率に応じて対応付けた場合、対応付けの重みｗは下記式（２）で与えられる。 The state quantity association unit 20 calculates the association weight w for each association. The state quantity association unit 20 assigns the calculated weight w to the association. When the association is performed according to the probability, the association weight w is given by the following equation (2).
上記式（２）では、１つの検出結果ｙｉについて得られた、Ｍ個の予測状態量ｘｊに対する確率ｐ（ｙｉ｜ｘｊ）の和Σｊｐ（ｙｉ｜ｘｊ）が、Ｎ個の検出結果について掛け合わされている。但し、図４（Ｂ）及び図４（Ｃ）に例示した通り、１つの検出結果について、割当候補となる予測状態量の個数Ｍは、割当の度に１個減少する。例えば、図４（Ｂ）に示す１回目の割当では、割当候補となる予測状態量は４個であるが、図４（Ｃ）に示す２回目の割当では、割当候補となる予測状態量は３個である。 In the above formula (2), the sum Σ j p (y i | x j ) of probabilities p (y i | x j ) for M predicted state quantities x j obtained for one detection result y i is N detection results are multiplied. However, as illustrated in FIG. 4B and FIG. 4C, the number M of predicted state quantities that are candidates for allocation for one detection result is decreased by one for each allocation. For example, in the first allocation shown in FIG. 4B, there are four prediction state quantities that are allocation candidates, but in the second allocation shown in FIG. 4C, the prediction state quantities that are allocation candidates are There are three.
本実施の形態では、複数の対応付けを、重みｗに基づき重み付け平均をとることで、複数の検出結果が各予測状態量に確率的に対応付けられる。歩行者の予測状態量の各々には、最新のデータが表す複数の歩行者それぞれの検出結果が重み付けされて対応付けられる。 In the present embodiment, a plurality of association results are stochastically associated with each predicted state quantity by taking a weighted average based on the weight w. Each predicted state quantity of a pedestrian is associated with a weighted detection result of each of a plurality of pedestrians represented by the latest data.
状態量更新部２２は、検出結果毎に、複数の歩行者それぞれについて、３次元位置を観測値として、対応する観測誤差分散行列と、予測ステップで得られた予測状態量及び分散共分散行列とを用いて、フィルタリングを行う。フィルタリングは、例えば、カルマンフィルタのフィルタリングステップにより行う。 For each detection result, the state quantity update unit 22 uses a three-dimensional position as an observed value for each of a plurality of pedestrians, a corresponding observation error variance matrix, a predicted state quantity and a variance covariance matrix obtained in the prediction step, and Filter using. The filtering is performed by, for example, a Kalman filter filtering step.
状態量更新部２２は、複数の歩行者それぞれについて、フィルタリング後の複数の状態量を統合する。具体的には、対応付けの重みｗを用いて、検出結果毎に、フィルタリングにより得られた複数の状態量の統合分布を計算し、その平均値と分散共分散行列とを計算する。 The state quantity update unit 22 integrates a plurality of state quantities after filtering for each of a plurality of pedestrians. Specifically, the integrated distribution of a plurality of state quantities obtained by filtering is calculated for each detection result using the association weight w, and the average value and the variance-covariance matrix are calculated.
状態量更新部２２は、計算された重み付け平均値と分散共分散行列とで、状態量記憶部１６に記憶された状態量を更新すると共に、最後に観測した時刻を更新する。 The state quantity update unit 22 updates the state quantity stored in the state quantity storage unit 16 with the calculated weighted average value and the variance-covariance matrix, and updates the last observed time.
図３、図４（Ａ）〜（Ｄ）では、検出結果１〜４の各々が、予測状態量ａ〜ｄのいずれかに対応付けられる例について説明したが、実際には、予測状態量と対応付かない検出結果や、検出結果が割り当てられない予測状態量が発生する。これ等が発生する場合は、例えば、以下のように対応する。 3 and 4 (A) to (D), the example in which each of the detection results 1 to 4 is associated with one of the predicted state quantities a to d has been described. A detection result that does not correspond or a predicted state quantity to which no detection result is assigned occurs. When these occur, for example, the following measures are taken.
状態量更新部２２は、対応付けの結果に基づいて、最新のデータの検出結果のうち、予測状態量と対応付かなかった歩行者の検出結果から、新たな状態量ｘを生成し、最後に観測した時刻として、現在時刻を、状態量記憶部１６に格納する。なお、新たな状態量ｘは観測された歩行者の３次元位置ｙと同じ座標、誤差分散行列を持つこととする。 Based on the association result, the state quantity update unit 22 generates a new state quantity x from the detection result of the pedestrian that did not correspond to the predicted state quantity among the detection results of the latest data, and finally The current time is stored in the state quantity storage unit 16 as the observed time. The new state quantity x has the same coordinates and error variance matrix as the observed three-dimensional position y of the pedestrian.
例えば、状態量対応付け部２０は、対応付けない確率を設定値として与え、この設定値より小さい確率の組み合わせは、対応付けないようにしてもよい。この場合は、図４（Ｂ）に示す例で、検出結果３と各予測状態量との確率がいずれも設定値以下の場合は、検出結果３は、いずれの予測状態量にも割り当てられないことになる。 For example, the state quantity associating unit 20 may give a probability of not associating as a set value, and a combination of probabilities smaller than this set value may not be associated. In this case, in the example illustrated in FIG. 4B, when the probabilities of the detection result 3 and each predicted state quantity are not more than the set value, the detection result 3 is not assigned to any predicted state quantity. It will be.
また、例えば、ダミーの予測状態量を用意しておいてもよい。各検出結果とダミーの予測状態量との間の確率を設定値として与える。この場合は、図４（Ｂ）に示す例で、予測状態量ｄをダミーであると仮定すると、確率に応じて検出結果１がダミーの予測状態量に割り当てられたことになる。 Further, for example, a dummy predicted state quantity may be prepared. The probability between each detection result and the dummy predicted state quantity is given as a set value. In this case, in the example shown in FIG. 4B, assuming that the predicted state quantity d is a dummy, the detection result 1 is assigned to the dummy predicted state quantity according to the probability.
また、状態量更新部２２は、検出結果と対応付かなった歩行者の状態量のうち、最後に観測した時刻から一定時間以上経過している歩行者の状態量を、状態量記憶部１６から消去する。 In addition, the state quantity update unit 22 determines, from the state quantity storage unit 16, the state quantity of the pedestrian that has passed for a certain period of time from the last observed time among the state quantities of the pedestrian associated with the detection result. to erase.
歩行者追跡装置１０は、上記の一連の処理により更新された状態量のセットを、歩行者の検出結果の統合結果として出力する。 The pedestrian tracking device 10 outputs a set of state quantities updated by the above-described series of processes as an integrated result of the pedestrian detection results.
（変形例/最尤法による対応付け）
なお、上記では、「確率に基づいて」検出結果と予測状態量との対応付けを行う例について説明したが、「最尤法」により対応付けを行ってもよい。最尤法では、複数の検出結果を配列順に１つ選択して、選択された検出結果を、他の検出結果が割り当てられていない予測状態量の中で、結合確率が最も高い予測状態量に割り当てる。最尤法により対応付けを行う場合は、同じパターンの対応付けを含まないように、複数の対応付けを生成する。
(Modification / Association by maximum likelihood method)
In the above description, the example in which the detection result and the predicted state quantity are associated with each other based on the probability has been described. However, the association may be performed by the “maximum likelihood method”. In the maximum likelihood method, a plurality of detection results are selected in the order of arrangement, and the selected detection result is set to a prediction state amount having the highest combination probability among prediction state amounts to which no other detection result is assigned. assign. When the association is performed by the maximum likelihood method, a plurality of associations are generated so as not to include the association of the same pattern.
最尤法により検出結果を予測状態量に対応付けた場合は、対応付けの重みは、下記式（３）で与えられる。 When the detection result is associated with the predicted state quantity by the maximum likelihood method, the association weight is given by the following equation (3).
上記式（３）では、１つの検出結果ｙｉについて得られた最尤の予測状態量ｘｊに対する確率ｍａｘ(ｐ（ｙｉ｜ｘｊ））が、Ｎ個の検出結果について掛け合わされている。 In the above equation (3), the probability max (p (y i | x j )) for the maximum likelihood predicted state quantity x j obtained for one detection result y i is multiplied for N detection results. .
＜歩行者追跡システムの動作＞
次に、第１の実施の形態に係る歩行者追跡システム１００の動作について説明する。
複数の車両に搭載された複数の検出器６０、及びインフラセンサとしての検出器６２の各々によって、歩行者が逐次検出され、検出される毎に、検出結果が「観測」として、基地局５０を介して、歩行者追跡装置１０に送信される。観測が送信されているときに、歩行者追跡装置１０においては「歩行者追跡処理」の処理ルーチンが実行される。
<Operation of pedestrian tracking system>
Next, the operation of the pedestrian tracking system 100 according to the first embodiment will be described.
Each of a plurality of detectors 60 mounted on a plurality of vehicles and a detector 62 as an infrastructure sensor sequentially detects a pedestrian, and each time a pedestrian is detected, the detection result is “observation” and the base station 50 is Via the pedestrian tracking device 10. When the observation is transmitted, the pedestrian tracking device 10 executes a processing routine of “pedestrian tracking process”.
まず、「歩行者追跡処理」の処理ルーチンについて説明する。図５は本発明の第１の実施の形態に係る「歩行者追跡処理」の処理ルーチンの内容を示すフローチャートである。 First, the processing routine of “pedestrian tracking processing” will be described. FIG. 5 is a flowchart showing the contents of the processing routine of the “pedestrian tracking process” according to the first embodiment of the present invention.
ステップＳ１００において、複数の検出器６０及び検出器６２の何れかから、観測を受信すると、ステップＳ１０２へ進む。観測が受信されると最新データが取得される。具体的には、歩行者の３次元位置のセットＹと、観測誤差分散行列のセットＲとを含む観測Ｏが受信される。 In step S100, when an observation is received from any of the plurality of detectors 60 and 62, the process proceeds to step S102. When observations are received, the latest data is acquired. Specifically, the observation O including the set Y of the three-dimensional position of the pedestrian and the set R of the observation error variance matrix is received.
ステップＳ１０２では、上記ステップＳ１００で最新データが取得した時刻（現時刻）に合わせて、複数の歩行者それぞれについて、状態量記憶部１６に記憶された状態量を用いて現時刻の歩行者の状態量を予測する。具体的には、現時刻における複数の歩行者それぞれの予測状態量のセットＸ、および、予測状態量の分散共分散行列のセットＶを取得する。 In step S102, the state of the pedestrian at the current time is used for each of a plurality of pedestrians using the state quantities stored in the state quantity storage unit 16 in accordance with the time (current time) at which the latest data is acquired in step S100. Predict the amount. Specifically, a set X of predicted state quantities for each of a plurality of pedestrians at the current time and a set V of a variance-covariance matrix of predicted state quantities are acquired.
ステップＳ１０４では、上記ステップＳ１０２で複数の歩行者それぞれについて予測された予測状態量と、上記ステップＳ１００で受信した観測に含まれる複数の検出結果とを対応付ける「対応付け処理」を実行する。具体的には、現時刻における複数の歩行者それぞれの予測状態量のセットＸと、最新のデータに含まれる複数の歩行者それぞれの３次元位置のセットＹとの対応付けを行う。 In step S104, the “association process” is executed to associate the predicted state quantities predicted for each of the plurality of pedestrians in step S102 with the plurality of detection results included in the observation received in step S100. Specifically, a set X of predicted state quantities of a plurality of pedestrians at the current time is associated with a set Y of three-dimensional positions of a plurality of pedestrians included in the latest data.
（対応付け処理）
図６は「対応付け処理」の処理ルーチンの内容を示すフローチャートである。図７は「割り当て処理」の処理ルーチンの内容を示すフローチャートである。
(Association process)
FIG. 6 is a flowchart showing the contents of the processing routine of “association processing”. FIG. 7 is a flowchart showing the contents of the “allocation process” process routine.
図６に示すように、「対応付け処理」では、まず、ステップ２００で、図７に示す「割り当て処理」を実行して、観測に含まれる複数の検出結果と、複数の歩行者に応じた複数の予測状態量との１つの対応付けを生成する。後述する通り、生成された対応付けについては、「対応付けの重みｗ」が計算される。 As shown in FIG. 6, in the “association process”, first, in step 200, the “assignment process” shown in FIG. 7 is executed to respond to a plurality of detection results included in the observation and a plurality of pedestrians. One association with a plurality of predicted state quantities is generated. As will be described later, “association weight w” is calculated for the generated association.
次に、ステップ２０２で、対応付けと対応付けの重みｗとを記憶する。次に、ステップ２０４で、対応付けが目標個数だけ生成されたか否かを判断する。対応付けの個数が目標個数に到達した場合は、ルーチンを終了する。対応付けの個数が目標個数未満の場合は、ステップ２００に戻って、「割り当て処理」を繰り返し行う。 Next, in step 202, the association and the association weight w are stored. Next, in step 204, it is determined whether or not the number of associations has been generated. When the number of associations reaches the target number, the routine ends. If the number of associations is less than the target number, the process returns to step 200 and the “assignment process” is repeated.
図７に示す「割り当て処理」では、まず、ステップ３００で、１つの観測に含まれる複数の検出結果をランダムに並べ替える。次に、ステップ３０２で、配列順に１つの検出結果を選択する。並べ替えられた複数の検出結果は、配列順に先頭から順番に選択される。次に、ステップ３０４で、選択された検出結果と割当候補の予測状態量との間の確率を計算する。 In the “assignment process” shown in FIG. 7, first, in step 300, a plurality of detection results included in one observation are randomly rearranged. Next, in step 302, one detection result is selected in the order of arrangement. The plurality of sorted detection results are selected in order from the top in the order of arrangement. Next, in step 304, the probability between the selected detection result and the predicted state quantity of the allocation candidate is calculated.
次に、ステップ３０６で、選択された検出結果を、確率に応じて選択された予測状態量に割り当てる。次に、ステップ３０８で、予測状態量に割り当てられていない検出結果があるか否かを判断する。未割当の検出結果がない場合は、ステップ３１０に進む。複数の検出結果の各々が、何れかの予測状態量に割り当てられると１つの対応付けが定まる。未割当の検出結果がある場合は、ステップ３０２に戻って、配列順に次の検出結果を選択する。 Next, in step 306, the selected detection result is assigned to the predicted state quantity selected according to the probability. Next, in step 308, it is determined whether there is a detection result that is not assigned to the predicted state quantity. If there is no unassigned detection result, the process proceeds to step 310. When each of the plurality of detection results is assigned to any predicted state quantity, one association is determined. If there is an unassigned detection result, the process returns to step 302 to select the next detection result in the order of arrangement.
次に、ステップ３１０で、定まった１つの対応付けについて「対応付けの重み」を計算して、ルーチンを終了する。対応付けの重みは、上記式（２）または上記式（３）で与えられる。 Next, in step 310, “association weight” is calculated for one fixed association, and the routine is terminated. The association weight is given by the above formula (2) or the above formula (3).
本実施の形態では、複数の検出結果と複数の予測状態量とを対応付ける場合に、複数の対応付けパターンを高速かつ高精度に取得することができる。また、後述する「定理」に基づいて重み対応付けを行うので、結合確率分布に比例する確率分布に基づいて対応付けを行う場合と同等の確率で、複数の対応付けパターンを取得することができる。また、１つの対応付け内では、各検出結果が１つの予測状態量に割り当てられるので、１つの予測状態に複数の検出結果が割り当てられる等の「重複」がない。 In the present embodiment, when associating a plurality of detection results with a plurality of predicted state quantities, a plurality of association patterns can be acquired at high speed and with high accuracy. In addition, since weight association is performed based on a “theorem” described later, a plurality of association patterns can be obtained with a probability equivalent to that in the case of performing association based on a probability distribution proportional to the joint probability distribution. . Further, since each detection result is assigned to one prediction state quantity within one association, there is no “overlap” such that a plurality of detection results are assigned to one prediction state.
「対応付け処理」が終了すると、図５のステップＳ１０５に進む。ステップＳ１０５では、重みｗに基づいて「対応付けの重み付け平均値」を計算する。 When the “association process” ends, the process proceeds to step S105 in FIG. In step S105, the “corresponding weighted average value” is calculated based on the weight w.
次に、ステップＳ１０６で、検出結果毎に、フィルタリングを行う。具体的には、複数の歩行者それぞれについて、対応する３次元位置を観測値として、対応する観測誤差分散行列と、予測ステップで得られた予測状態量及び分散共分散行列とを用いて、フィルタリングを行う。 Next, in step S106, filtering is performed for each detection result. Specifically, for each of a plurality of pedestrians, filtering is performed using the corresponding three-dimensional position as an observation value, the corresponding observation error variance matrix, and the predicted state quantity and variance covariance matrix obtained in the prediction step. I do.
次に、ステップＳ１０８では、ステップＳ１０５で計算した「対応付けの重み付け平均値」を用いて、フィルタリングにより得られた複数の状態量の統合分布の平均値と、分散共分散行列とを計算する。そして、計算された値で、状態量記憶部１６に記憶された状態量を更新すると共に、最後に観測した時刻を更新する。 Next, in step S108, the average value of the integrated distribution of the plurality of state quantities obtained by filtering and the variance-covariance matrix are calculated using the “weighted average value of association” calculated in step S105. Then, the state quantity stored in the state quantity storage unit 16 is updated with the calculated value, and the last observed time is updated.
例えば、図３、図４（Ａ）〜（Ｄ）に示す例では、歩行者Ａの予測状態量ａは検出結果１〜４のいずれかに対応付けられる。ここでの「対応付け」は、検出結果と予測状態量との１対１の対応付けである。１対１の対応付けと区別するために、ここでは、検出結果１〜４の各々と予測状態量ａ〜ｄとの組合せは「対応付けサンプル」と称する。 For example, in the example illustrated in FIGS. 3 and 4A to 4D, the predicted state quantity a of the pedestrian A is associated with one of the detection results 1 to 4. Here, “association” is a one-to-one association between a detection result and a predicted state quantity. In order to distinguish from the one-to-one association, here, the combination of each of the detection results 1 to 4 and the predicted state quantities a to d is referred to as “association sample”.
予測状態量ａと検出結果３との対応付けを、対応付け（ａ-３）とする。複数の対応付けサンプルのうち、対応付け（ａ-３）を含む対応付けサンプルが３つあり、それらの対応付けの重みをｗ１、ｗ２、ｗ３とする。対応付け（ａ-３）の「対応付けの重み付け平均値」を「ｗａ３」とする。対応付けの重み付け平均値ｗａ３は、下記式（Ａ）に示すように、重みｗ１、ｗ２、ｗ３の和を全てのサンプルの重みの和で除した値となる。 The association between the predicted state quantity a and the detection result 3 is defined as association (a-3). Among the plurality of association samples, there are three association samples including association (a-3), and the weights of these associations are w 1 , w 2 , and w 3 . The “weighted average value of association” of the association (a-3) is “w a3 ”. The association weighted average value w a3 is a value obtained by dividing the sum of the weights w 1 , w 2 , and w 3 by the sum of the weights of all the samples, as shown in the following formula (A).
歩行者Ａの状態量の分布の平均をＸａ、分散共分散行列をＶａ、とする。検出結果１〜４の各々についてフィルタリングを行い、下記に示すフィルタリング結果が得られる。フィルタリング結果は、対応付け、状態量、分散共分散行列、及び対応付けの重み付け平均値を含む。フィルタリング結果の重みは、上記の「対応付けの重み付け平均値」に応じて計算される。 Let X a be the average of the distribution of state quantities of pedestrian A, and V a be the variance-covariance matrix. Filtering is performed on each of the detection results 1 to 4, and the following filtering results are obtained. The filtering result includes association, state quantity, variance-covariance matrix, and association weighted average value. The weight of the filtering result is calculated according to the “corresponding weighted average value”.
対応付け（ａ-１） 状態量Ｘａ１ 分散共分散行列Ｖａ１ 対応付けの重み付け平均値ｗａ１
対応付け（ａ-２） 状態量Ｘａ２ 分散共分散行列Ｖａ２ 対応付けの重み付け平均値ｗａ２
対応付け（ａ-３） 状態量Ｘａ３ 分散共分散行列Ｖａ３ 対応付けの重み付け平均値ｗａ３
対応付け（ａ-４） 状態量Ｘａ４ 分散共分散行列Ｖａ４ 対応付けの重み付け平均値ｗａ４
Association (a-1) State quantity X a1 variance-covariance matrix V a1 association weighted average value w a1
Correspondence (a-2) State quantity X a2 variance-covariance matrix V a2 Corresponding weighted average value w a2
Association (a-3) State quantity X a3 variance-covariance matrix V a3 association weighted average value w a3
Correspondence (a-4) State quantity X a4 variance-covariance matrix V a4 Corresponding weighted average value w a4
これらの分布を統合することで、最終的な歩行者Ａの状態量の分布が計算される。統合後の状態量の分布の平均Ｘ'ａと分散 Ｖ'ａとは、下記式（Ｂ）及び下記式（Ｃ）により計算される。なお、Ｔは転置行列を表す。 By integrating these distributions, the final distribution of the state quantity of the pedestrian A is calculated. The average X ′ a and the variance V ′ a of the state quantity distribution after integration are calculated by the following formula (B) and the following formula (C). T represents a transposed matrix.
歩行者Ｂ〜Ｄについても同様に、統合後の状態量の分布の平均と分散共分散行列とが計算されて、計算された値により記憶された状態量が更新される。 Similarly, for the pedestrians B to D, the average of the distribution of state quantities after integration and the variance-covariance matrix are calculated, and the stored state quantities are updated with the calculated values.
また、上記ステップＳ１００で受信した検出結果のうち、状態量と対応付かなかった歩行者の検出結果に基づき、新たな状態量ｘを生成し、最後に観測した時刻として、現在時刻を、状態量記憶部１６に格納する。 Moreover, based on the detection result of the pedestrian that did not correspond to the state quantity among the detection results received in step S100, a new state quantity x is generated, and the current time is used as the last observed time. Store in the storage unit 16.
次に、ステップＳ１１０では、複数の歩行者の各々について計算された、複数の状態量の統合分布の平均値を、歩行者の検出結果の統合結果として出力し、上記ステップＳ１００へ戻る。 Next, in step S110, the average value of the integrated distribution of the plurality of state quantities calculated for each of the plurality of pedestrians is output as the integration result of the detection results of the pedestrians, and the process returns to step S100.
［第２の実施の形態］
第２の実施の形態では、観測された複数の歩行者それぞれの更新された状態量（歩行者の位置及び速度）を、重み付けされた複数の仮説として保持している。各仮説は、複数の歩行者に応じた複数の状態量を有している。仮説毎に、複数の予測状態量が取得され、１つの観測に含まれる複数の検出結果と複数の予測状態量との対応付けが行われ、フィルタリングにより複数の状態量が更新される点が、第１の実施の形態とは相違している。本実施の形態では、ＲＢＰＦを改良した方法で歩行者の追跡を行う。
[Second Embodiment]
In the second embodiment, the updated state quantities (position and speed of the pedestrian) of each of the observed pedestrians are held as a plurality of weighted hypotheses. Each hypothesis has a plurality of state quantities corresponding to a plurality of pedestrians. For each hypothesis, a plurality of predicted state quantities are acquired, a plurality of detection results included in one observation are associated with a plurality of predicted state quantities, and a plurality of state quantities are updated by filtering. This is different from the first embodiment. In this embodiment, pedestrians are tracked by an improved RBPF method.
仮説の個数は、例えば１００個など、予め定めた個数とする。仮説の個数を「予め定めた個数」とすることで、歩行者数が増え、検出結果の個数が増えても、計算量を増やさずに済み、高速に追跡を行うことができる。 The number of hypotheses is a predetermined number such as 100. By setting the number of hypotheses to a “predetermined number”, even if the number of pedestrians increases and the number of detection results increases, it is not necessary to increase the amount of calculation and tracking can be performed at high speed.
図８は本発明の第２の実施の形態に係る歩行者追跡装置の構成を示すブロック図である。図８に示すように、歩行者追跡装置１０は、通信部１２と、センシング結果獲得部１４と、仮説記憶部３０と、仮説内状態量予測部３２と、仮説内状態量対応付け部３４と、仮説重み更新部３６と、仮説更新部３８と、仮説内状態量更新部４０と、重み付け平均計算部４２とを備えている。 FIG. 8 is a block diagram showing the configuration of the pedestrian tracking apparatus according to the second embodiment of the present invention. As shown in FIG. 8, the pedestrian tracking device 10 includes a communication unit 12, a sensing result acquisition unit 14, a hypothesis storage unit 30, a hypothesis state quantity prediction unit 32, and a hypothesis state quantity association unit 34. The hypothesis weight update unit 36, the hypothesis update unit 38, the in-hypothesis state quantity update unit 40, and the weighted average calculation unit 42 are provided.
センシング結果獲得部１４は、検出器６０、６２の何れかから送信された観測Ｏを、通信部１２により受信する毎に、最新データとして、歩行者の３次元位置のセットＹ＝｛ｙ１，…ｙｎ｝と、観測誤差分散行列のセットＲ＝｛ｒ１，…，ｒｎ｝とを取得する。 Each time the sensing result acquisition unit 14 receives the observation O transmitted from any of the detectors 60 and 62 by the communication unit 12, the set of three-dimensional positions of the pedestrian Y = {y 1 , ... y n } and the set of observation error variance matrix R = {r 1 ,..., R n }.
仮説記憶部３０は、観測された複数の歩行者それぞれの、仮説更新部３８により更新された状態量（歩行者の位置及び速度）、及び最後に観測した時刻を、仮説毎に記憶する。 The hypothesis memory | storage part 30 memorize | stores the state quantity (position and speed of a pedestrian) updated by the hypothesis update part 38 of each of several observed pedestrians, and the last observed time for every hypothesis.
具体的には、仮説毎に、歩行者の状態量のセットＸ＝｛ｘ１，…ｘｍ｝、および、状態量の分散共分散行列Ｖ＝｛ｖ１，…，ｖｍ｝と、最後に観測した時刻のセットＴ＝｛ｔ１，…ｔｍ｝とを記憶している。 More specifically, for each hypothesis, a set of pedestrian state quantity X = {x 1, ... x m}, and variance-covariance matrix V = {v 1, ..., v m} state quantity and, finally A set of observed times T = {t 1 ,... T m } is stored.
なお、本実施の形態では、
を、信念空間上の仮説と呼び、仮説の構成要素
を「追跡器」と呼ぶこととする。追跡器は、各歩行者について得られた一連の状態量のセットであり、追跡する歩行者を選定するのに使用される。追跡する歩行者について「追跡器」が設定される。
In this embodiment,
Is called a hypothesis in the belief space, and the components of the hypothesis
Is called a “tracker”. The tracker is a set of state quantities obtained for each pedestrian and is used to select the pedestrian to be tracked. A “tracker” is set for a pedestrian to be tracked.
仮説内状態量予測部３２は、現時刻に合わせて、仮説毎に、仮説で追跡している複数の歩行者それぞれについて、例えばカルマンフィルタの予測ステップにより、仮説記憶部３０に記憶された状態量を用いて次の時刻の歩行者の状態量を予測することを繰り返し、現時刻の歩行者の状態量を予測する。「追跡器」が設定された歩行者について予測状態量が取得される。 The in-hypothesis state quantity prediction unit 32 calculates the state quantity stored in the hypothesis storage unit 30 by, for example, the Kalman filter prediction step for each of a plurality of pedestrians tracked in the hypothesis for each hypothesis in accordance with the current time. It repeats using this to predict the state quantity of the pedestrian of the next time, and predicts the state quantity of the pedestrian of the present time. A predicted state quantity is acquired for a pedestrian for which “tracker” is set.
具体的には、仮説内状態量予測部３２は、現時刻における複数の歩行者それぞれの予測状態量のセットＸ＝｛ｘ１，…，ｘｍ｝、および、予測状態量の分散共分散行列Ｖ＝｛ｖ１，…，ｖｍ｝を求める。 Specifically, the intra-hypothesis state quantity prediction unit 32 sets the set of predicted state quantities X = {x 1 ,..., X m } for each of a plurality of pedestrians at the current time, and the variance-covariance matrix of the predicted state quantities V = {v 1 ,..., V m } is obtained.
本実施の形態では、仮説
に対して、現時刻の状態に関する予測
を生成する。
In this embodiment, hypothesis
For the current time state
Is generated.
仮説内状態量対応付け部３４は、センシング結果獲得部１４により最新のデータを取得する度に、仮説毎に、現時刻に対応して複数の歩行者それぞれについて予測された予測状態量と、最新のデータが表す複数の歩行者それぞれの検出結果との対応付けを行う。 Each time the latest amount of data is acquired by the sensing result acquisition unit 14, the in-hypothesis state quantity association unit 34, for each hypothesis, the predicted state quantity predicted for each of a plurality of pedestrians corresponding to the current time, and the latest Are associated with the detection results of the plurality of pedestrians represented by the data.
具体的には、仮説毎に、現時刻における複数の歩行者それぞれの予測状態量のセットＸ＝｛ｘ１，…，ｘｍ｝と、最新のデータに含まれる複数の歩行者それぞれの３次元位置のセットＹ＝｛ｙ１，…ｙｎ｝との対応付けを行う。換言すれば、複数の追跡器と、複数の３次元位置とが対応付けられる。 Specifically, for each hypothesis, a set X = {x 1 ,..., X m } of predicted state quantities of a plurality of pedestrians at the current time and the three-dimensional of each of the plurality of pedestrians included in the latest data. Associating with a set of positions Y = {y 1 ,... Y n }. In other words, a plurality of trackers are associated with a plurality of three-dimensional positions.
仮説内状態量対応付け部３４は、仮説毎に、第１の実施の形態と同様の手順で対応付けを行い、仮説の個数分だけ対応付けを生成する。仮説内状態量対応付け部３４は、仮説毎に、複数の検出結果をランダムに並べ替え、配列順に、確率に応じて選択される予測状態量に割り当てる。１つの仮説について１つの対応付けが生成される。「最尤法」による対応付けは行わない。 The in-hypothesis state quantity associating unit 34 associates each hypothesis by the same procedure as in the first embodiment, and generates as many associations as the number of hypotheses. The in-hypothesis state quantity association unit 34 rearranges a plurality of detection results at random for each hypothesis, and assigns them to the predicted state quantity selected according to the probability in the order of arrangement. One association is generated for one hypothesis. No association by “maximum likelihood method” is performed.
仮説内状態量対応付け部３４は、仮説毎に、上記式（２）に従って対応付けの重みｗを計算する。計算された対応付けの重みｗが、対応する仮説に付与される。 The intra-hypothesis state quantity association unit 34 calculates the association weight w for each hypothesis according to the above equation (2). The calculated association weight w is assigned to the corresponding hypothesis.
仮説内状態量更新部４０は、仮説毎に、状態量の更新を行う。仮説内状態量更新部４０は、対応付けの定まった仮説内の複数の追跡器の各々について、対応する３次元位置を観測値として、対応する観測誤差分散行列と、予測ステップで得られた予測状態量及び分散共分散行列の各々とを用いて、フィルタリングを行い、仮説記憶部３０に記憶された状態量を更新すると共に、最後に観測した時刻を更新する。フィルタリングは、例えば、カルマンフィルタのフィルタリングステップにより行う。 The in-hypothesis state quantity update unit 40 updates the state quantity for each hypothesis. The in-hypothesis state quantity update unit 40 uses the corresponding three-dimensional position as an observation value for each of the plurality of trackers in the hypothesis with which the association is determined, and the corresponding observation error variance matrix and the prediction obtained in the prediction step. Filtering is performed using each of the state quantity and the variance-covariance matrix, and the state quantity stored in the hypothesis storage unit 30 is updated and the last observed time is updated. The filtering is performed by, for example, a Kalman filter filtering step.
仮説内状態量更新部４０は、対応付けの結果に基づいて、最新のデータの検出結果のうち、予測状態量と対応付かなかった歩行者の検出結果から、新たな状態量ｘを含む追跡器を生成し、最後に観測した時刻として、現在時刻を、仮説記憶部３０に格納する。なお、新たな状態量ｘを含む追跡器は、観測された歩行者の３次元位置と同じ座標、誤差分散行列を持つこととする。 The intra-hypothesis state quantity update unit 40 includes a new state quantity x based on the detection result of the pedestrian that has not been associated with the predicted state quantity among the detection results of the latest data based on the association result. And the current time is stored in the hypothesis storage unit 30 as the last observed time. The tracker including the new state quantity x has the same coordinates and error variance matrix as the observed three-dimensional position of the pedestrian.
また、仮説内状態量更新部４０は、検出結果と対応付かなった歩行者の状態量を含む追跡器のうち、最後に観測した時刻から一定時間以上経過している歩行者の状態量を含む追跡器を、仮説記憶部３０から消去する。 The hypothetical state quantity update unit 40 includes a pedestrian's state quantity that has passed a certain time or more from the last observed time among the trackers that include the pedestrian's state quantity that has not been associated with the detection result. The tracker is deleted from the hypothesis storage unit 30.
仮説重み更新部３６は、仮説毎に、元の仮説の重みと「対応付けの重み」との積により、仮説の重みを更新する。例えば、元の仮説の重みをＷ１、対応付けの重みをｗ１とすると、仮説の重みはそれらの積（Ｗ１×ｗ１）に更新される。更新後の重みをＷαとする。 The hypothesis weight updating unit 36 updates the hypothesis weight for each hypothesis by the product of the original hypothesis weight and the “association weight”. For example, the weight of the original hypothesis W1, when the weight of correspondence and w 1, the weights of the hypotheses is updated to their product (W 1 × w 1). The weight of the post-update and W α.
本実施の形態では、最新のデータが表す複数の歩行者それぞれの検出結果を用いて、各仮説内の状態量が更新される。複数の追跡器の各々について、仮説毎に更新された複数の状態量が、仮説毎の重みＷαと共に得られる。 In the present embodiment, the state quantity in each hypothesis is updated using the detection results of each of the plurality of pedestrians represented by the latest data. For each of the plurality of trackers, a plurality of state quantities updated for each hypothesis are obtained together with a weight W α for each hypothesis.
例えば、仮説１〜３の各々が追跡器Ａ〜Ｄを含むと仮定する。仮説１では、追跡器Ａ〜Ｄについて、歩行者の状態量のセットＸ＝｛ｘａ１，ｘｂ１，ｘｃ１，ｘｄ１｝が重みＷα１と共に得られる。仮説２では、追跡器Ａ〜Ｄについて、歩行者の状態量のセットＸ＝｛ｘａ２，ｘｂ２，ｘｃ２，ｘｄ２｝が重みＷα２と共に得られる。仮説３では、追跡器Ａ〜Ｄについては、歩行者の状態量のセットＸ＝｛ｘａ３，ｘｂ３，ｘｃ３，ｘｄ３｝が重みＷα３と共に得られる。 For example, assume that each of hypotheses 1-3 includes trackers A-D. In Hypothesis 1, for the trackers A to D, a set of pedestrian state quantities X = {x a1 , x b1 , x c1 , x d1 } is obtained together with a weight W α1 . In hypothesis 2, for the trackers A to D, a set of pedestrian state quantities X = {x a2 , x b2 , x c2 , x d2 } is obtained together with the weight W α2 . In Hypothesis 3, for the trackers A to D, a set of pedestrian state quantities X = {x a3 , x b3 , x c3 , x d3 } is obtained together with the weight W α3 .
重み付け平均計算部４２は、複数の追跡器の各々について、仮説毎に更新された歩行者の状態量と、仮説毎の重みとに基づいて、状態量の重み付け平均値を計算する。具体的には、例えば、追跡器Ａについて、更新された複数の状態量｛ｘａ１，ｘａ２，ｘａ３｝の重み付け平均値を計算する。 The weighted average calculation unit 42 calculates a weighted average value of state quantities based on the pedestrian state quantities updated for each hypothesis and the weights for each hypothesis for each of the plurality of trackers. Specifically, for example, for the tracker A, a weighted average value of a plurality of updated state quantities {x a1 , x a2 , x a3 } is calculated.
仮説更新部３８は、仮説重み更新部３６により更新された仮説の重みＷαに基づいて、リサンプリングにより複数の仮説を更新する。例えば、重みが大きい仮説は複製され、重みが小さい仮説は消滅する。 The hypothesis updating unit 38 updates a plurality of hypotheses by resampling based on the hypothesis weight Wα updated by the hypothesis weight updating unit 36. For example, hypotheses with large weights are duplicated and hypotheses with small weights disappear.
歩行者追跡装置１０は、重み付け平均計算部４２により求めた、複数の追跡器の各々についての状態量の重み付け平均値を、歩行者の検出結果の統合結果として出力する。 The pedestrian tracking device 10 outputs the weighted average value of the state quantities for each of the plurality of trackers obtained by the weighted average calculation unit 42 as an integrated result of the detection results of the pedestrians.
＜歩行者追跡システムの動作＞
次に、第２の実施の形態に係る歩行者追跡システム１００の動作について説明する。
まず、「歩行者追跡処理」の処理ルーチンについて説明する。図９は本発明の第２の実施の形態に係る「歩行者追跡処理」の処理ルーチンの内容を示すフローチャートである。
<Operation of pedestrian tracking system>
Next, the operation of the pedestrian tracking system 100 according to the second embodiment will be described.
First, the processing routine of “pedestrian tracking processing” will be described. FIG. 9 is a flowchart showing the contents of the processing routine of the “pedestrian tracking process” according to the second embodiment of the present invention.
ステップＳ４００において、複数の検出器６０及び検出器６２の何れかから、観測を受信すると、ステップＳ４０２へ進む。観測が受信されると最新データが取得される。具体的には、歩行者の３次元位置のセットＹと、観測誤差分散行列のセットＲとを含む観測Ｏが受信される。 In step S400, when observation is received from any of the plurality of detectors 60 and 62, the process proceeds to step S402. When observations are received, the latest data is acquired. Specifically, the observation O including the set Y of the three-dimensional position of the pedestrian and the set R of the observation error variance matrix is received.
ステップＳ４０２では、上記ステップＳ４００で最新データが取得した時刻（現時刻）に合わせて、仮説毎に、追跡器が設定された複数の歩行者それぞれについて、仮説記憶部３０に記憶された状態量を用いて現時刻の歩行者の状態量を予測する。具体的には、仮説毎に、現時刻における複数の歩行者それぞれの予測状態量のセットＸ、および、予測状態量の分散共分散行列のセットＶを取得する。 In step S402, the state quantity stored in the hypothesis storage unit 30 for each of a plurality of pedestrians for which a tracker is set for each hypothesis in accordance with the time (current time) when the latest data is acquired in step S400. Used to predict the pedestrian state quantity at the current time. Specifically, for each hypothesis, a set X of predicted state quantities for each of a plurality of pedestrians at the current time and a set V of variance / covariance matrices of predicted state quantities are acquired.
ステップＳ４０４では、仮説毎に、上記ステップＳ４０２で複数の歩行者それぞれについて予測された予測状態量と、上記ステップＳ１００で受信した観測に含まれる複数の検出結果とを対応付ける「対応付け処理」を実行する。具体的には、仮説毎に、複数の追跡器と、最新データに含まれる歩行者の３次元位置のセットＹとの対応付けを行う。 In step S404, for each hypothesis, an “association process” is performed for associating the predicted state quantities predicted for each of the plurality of pedestrians in step S402 with the plurality of detection results included in the observation received in step S100. To do. Specifically, for each hypothesis, a plurality of trackers are associated with a set Y of three-dimensional positions of pedestrians included in the latest data.
（仮説内対応付け処理）
仮説内の対応付けは、第１の実施の形態と同様の手法で実施する。
図１０は「仮説内対応付け処理」の処理ルーチンの内容を示すフローチャートである。図１０に示すように、「仮説内対応付け処理」では、まず、ステップ５００で、複数の仮説の中から、１つの仮説を選択する。
(Intrahypothesis matching process)
The association within the hypothesis is performed by the same method as in the first embodiment.
FIG. 10 is a flowchart showing the contents of the processing routine of “in-hypothesis association processing”. As shown in FIG. 10, in the “intra-hypothesis association process”, first, in step 500, one hypothesis is selected from a plurality of hypotheses.
次に、ステップ５０２で、図７に示す「割り当て処理」を実行して、１つの観測に含まれる複数の検出結果と、複数の歩行者に応じた複数の予測状態量との１つの対応付けを生成する。生成された対応付けについては、「対応付けの重みｗ」が計算される。対応付けの重みは、上記式（２）で与えられる。 Next, in step 502, the “assignment process” shown in FIG. 7 is executed, and one association between a plurality of detection results included in one observation and a plurality of predicted state quantities corresponding to a plurality of pedestrians. Is generated. For the generated association, “association weight w” is calculated. The association weight is given by the above equation (2).
次に、ステップ５０４で、仮説毎に、対応付けと対応付けの重みｗとを記憶する。次に、ステップ５０６で、まだ対応付けが行われていない仮説があるか否かを判断する。対応付けが行われていない仮説が無い場合は、ルーチンを終了する。対応付けが行われていない仮説がある場合は、ステップ５００に戻って、次の仮説を選択して「割り当て処理」を繰り返し行う。 Next, in step 504, the association and the association weight w are stored for each hypothesis. Next, in step 506, it is determined whether there is a hypothesis that is not yet associated. If there is no hypothesis that is not associated, the routine is terminated. If there is a hypothesis that has not been associated, the process returns to step 500 to select the next hypothesis and repeat the “assignment process”.
本実施の形態では、複数の仮説の各々について、複数の検出結果と複数の予測状態量とを対応付ける場合に、仮説毎の対応付けパターンを高速かつ高精度に取得することができる。また、後述する「定理」に基づいて重み対応付けを行うので、結合確率分布に比例する確率分布に基づいて対応付けを行う場合と同等の確率で、複数の対応付けパターンを取得することができる。また、１つの対応付け内では、各検出結果が１つの予測状態量に割り当てられるので、１つの予測状態に複数の検出結果が割り当てられる等の「重複」がない。 In the present embodiment, when a plurality of detection results and a plurality of predicted state quantities are associated with each of a plurality of hypotheses, an association pattern for each hypothesis can be acquired at high speed and with high accuracy. In addition, since weight association is performed based on a “theorem” described later, a plurality of association patterns can be obtained with a probability equivalent to that in the case of performing association based on a probability distribution proportional to the joint probability distribution. . Further, since each detection result is assigned to one prediction state quantity within one association, there is no “overlap” such that a plurality of detection results are assigned to one prediction state.
「仮説内対応付け処理」が終了すると、図９のステップＳ４０６に進む。ステップ４０６では、仮説毎に、仮説内の複数の追跡器の各々について、対応する３次元位置を観測値として、対応する観測誤差分散行列と、予測ステップで得られた予測状態量及び分散共分散行列の各々とを用いて、フィルタリングを行い、仮説記憶部３０に記憶された状態量を更新すると共に、最後に観測した時刻を更新する。 When the “in-hypothesis association process” is completed, the process proceeds to step S406 in FIG. In step 406, for each hypothesis, for each of the plurality of trackers in the hypothesis, the corresponding three-dimensional position is used as an observation value, the corresponding observation error variance matrix, the predicted state quantity and the variance covariance obtained in the prediction step. Filtering is performed using each of the matrices, and the state quantity stored in the hypothesis storage unit 30 is updated, and the last observed time is updated.
次に、ステップＳ４０８で、仮説毎に、仮説の重みをＷαに更新する。仮説の重みＷαは、元の仮説の重みをＷと、対応付けの重みｗとの積（Ｗ×ｗ）である。 In step S408, the weight of the hypothesis is updated to W α for each hypothesis. The hypothesis weight W α is the product (W × w) of the original hypothesis weight W and the association weight w.
次に、ステップＳ４１０で、複数の追跡器の各々について、仮説毎に更新された歩行者の状態量と、仮説毎の重みとに基づいて、状態量の重み付け平均値を計算する。次に、ステップＳ４１２で、複数の追跡器の各々についての状態量の重み付け平均値を、歩行者の検出結果の統合結果として出力する。 Next, in step S410, for each of the plurality of trackers, a weighted average value of the state quantities is calculated based on the pedestrian state quantity updated for each hypothesis and the weight for each hypothesis. Next, in step S412, the weighted average value of the state quantities for each of the plurality of trackers is output as an integrated result of the pedestrian detection results.
次に、ステップＳ４１４で、リサンプリングにより複数の仮説を更新して、上記ステップ４００に戻る。 Next, in step S414, a plurality of hypotheses are updated by resampling, and the process returns to step 400.
［重み付き対応付けの確率的な意義］
ここで、重み付き対応付けの確率的な意義について説明する。
上記第１及び第２の実施の形態では、以下の定理に基づき、複数の対応付けを生成しているため、結合確率分布からのサンプリングが近似できている。ここでは、対応付けを生成することを「サンプリング」という。なお、ＪＰＤＡを利用する場合など、統計量を計算する手法では、確率に応じた対応付けを行う部分で最尤を選択しても経験的にうまくいくことが分かっている。
[Probabilistic significance of weighted mapping]
Here, the probabilistic significance of the weighted association will be described.
In the first and second embodiments, since a plurality of associations are generated based on the following theorem, sampling from the joint probability distribution can be approximated. Here, generating the association is referred to as “sampling”. It should be noted that the method for calculating the statistic, such as when using JPDA, has been found to work empirically even if the maximum likelihood is selected in the part that performs the matching according to the probability.
−定理−
図４（Ａ）〜（Ｄ）に示すように、ランダムな順に並べ替えて、確率に応じて対応付けを行い、上記式（２）または（３）に従って重み付けを行うことは、対応付けの結合確率分布の確率に応じてサンプリングしているのと等価である。
-Theorem-
As shown in FIGS. 4A to 4D, rearrangement is performed in random order, association is performed according to probability, and weighting is performed according to the above formula (2) or (3). This is equivalent to sampling according to the probability of the probability distribution.
−証明−
結合確率分布ｐ（θ）は、下記式（４）で記述できる。
-Proof-
The joint probability distribution p (θ) can be described by the following equation (4).
ここで、θはある対応付けを表す。［Ｍ］、［Ｎ］は対応付ける対象数を表す。
は、対応付けを表す変数であり、ｒとｋが対応づいていれば「１」 、ｒとｋが対応づいていなければ「０」となる。
は、
の確率分布を表す。対応付け処理で説明したｐ（ｙｉ｜ｘｊ）に相当する。
Here, θ represents a certain association. [M] and [N] represent the number of objects to be associated.
Is a variable representing correspondence, and is “1” if r and k are associated with each other, and “0” if r and k are not associated.
Is
Represents the probability distribution. This corresponds to p (y i | x j ) described in the association process.
ここで、定理の手順を見直していくと、まず、ランダムな順に並べ替えることにより、その並べ替えパターンに対して等確率にサンプリングを行ったことと等価になるため、その確率ｐ１は、下記式（５）で表される。 Here, when the procedure of the theorem is reviewed, first, by rearranging in the random order, it becomes equivalent to sampling with equal probability with respect to the rearrangement pattern. Therefore, the probability p 1 is It is represented by Formula (5).
ここでは、［Ｎ］を並べ替えている。次に、［Ｎ］を並べ替えた順に対応付ける。各々に対応付ける確率としては、下記式（６）で表される確率ｐ２を用いる。 Here, [N] is rearranged. Next, [N] are associated in the rearranged order. The probability p 2 represented by the following equation (6) is used as the probability associated with each.
上記式（６）の分母を、対応付けの重みｗとしてｐ２に乗じると、下記式（７）が得られる。 When the denominator of the above equation (6) is multiplied by p 2 as the association weight w, the following equation (7) is obtained.
つまり、各サンプルの確率ｐ３は、下記式（８）で表される。 That is, the probability p 3 of each sample is expressed by the following formula (8).
これを変形すると、下記式（９）が得られる。 When this is modified, the following equation (9) is obtained.
上記式（９）から分かるように、本定理に基づいて重み付けサンプリングを行うことは、結合確率分布に比例する確率分布に基づいてサンプリングしているのと等価になる。 As can be seen from the above equation (9), performing weighted sampling based on this theorem is equivalent to sampling based on a probability distribution proportional to the joint probability distribution.
換言すれば、複数の対応付けの重みの和が、複数の検出結果と複数の予測状態量との全部の対応付けにおける検出結果と予測状態量との結合確率の和を近似するように、複数の対応付けの各々に重みが付与されている。 In other words, the sum of the weights of the plurality of associations is set so as to approximate the sum of the combined probabilities of the detection results and the predicted state amounts in all the associations of the plurality of detection results and the plurality of predicted state amounts. A weight is assigned to each of the associations.
従って、本実施の形態では、結合確率分布に比例する確率分布に基づいて対応付けを行う場合と同等の確率で、結合確率の高い複数の対応付けを取得することができる。 Therefore, in this embodiment, it is possible to acquire a plurality of associations having a high coupling probability with the same probability as that in the case of performing the association based on a probability distribution proportional to the coupling probability distribution.
［変形例］
なお、上記実施の形態で説明した物体追跡装置及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。
[Modification]
Note that the configurations of the object tracking apparatus and the program described in the above embodiment are merely examples, and it goes without saying that the configurations may be changed without departing from the gist of the present invention.
本発明の対応付け処理は、各種確率的対応付けに有効に利用できる。
以下に具体例を例示する。上記の実施の形態で説明した例を具体例１とし、他の具体例２から具体例６までについて説明する。
The association process of the present invention can be effectively used for various types of probabilistic associations.
Specific examples are illustrated below. The example described in the above embodiment is referred to as a specific example 1, and other specific examples 2 to 6 will be described.
図１１は本発明の対応付け処理を適用した具体例２を示す模式図である。具体例２では、単眼カメラを搭載した車両が１台ある。単眼カメラは、車両と共に移動する。具体例２では、単眼カメラに基づく静止物体の位置推定に基づく車両の自己位置推定において、単眼カメラから観測した静止物体の位置と、過去に観測した静止物体の位置とを対応付けるのに、本発明の対応付け処理を利用する。 FIG. 11 is a schematic diagram showing a specific example 2 to which the association processing of the present invention is applied. In specific example 2, there is one vehicle equipped with a monocular camera. The monocular camera moves with the vehicle. In the second specific example, in the self-position estimation of the vehicle based on the position estimation of the stationary object based on the monocular camera, the present invention associates the position of the stationary object observed from the monocular camera with the position of the stationary object observed in the past. Is used.
図１２は本発明の対応付け処理を適用した具体例３を示す模式図である。具体例３では、単眼カメラを搭載した車両が複数ある。具体例３では、複数のカメラによる静止物体の位置推定に基づくマップ生成において、１つのカメラから観測した静止物体の位置と、他のカメラから観測した静止物体の位置とを対応付けるのに、本発明の対応付け処理を利用する。 FIG. 12 is a schematic diagram showing a specific example 3 to which the association processing of the present invention is applied. In specific example 3, there are a plurality of vehicles equipped with a monocular camera. In specific example 3, in the map generation based on the estimation of the position of a stationary object by a plurality of cameras, the position of a stationary object observed from one camera is associated with the position of a stationary object observed from another camera. Is used.
図１３は本発明の対応付け処理を適用した具体例４を示す模式図である。具体例４では、単眼カメラを搭載した複数の車両と、インフラセンサを備えたインフラ側のサーバとがある。インフラ側のサーバが、物体追跡装置に相当する。具体例４では、複数のセンサの検出結果の統合に基づく動的地図の生成において、インフラ側のサーバが、１つのカメラから観測した物体（静止物体、移動物体）の位置と、他のカメラから観測した物体の位置とを対応付けるのに、本発明の対応付け処理を利用する。物体の検出結果の統合結果として得られる動的地図は、各車両にフィードバックされる。 FIG. 13 is a schematic diagram showing a specific example 4 to which the association processing of the present invention is applied. In the fourth specific example, there are a plurality of vehicles equipped with a monocular camera and an infrastructure-side server equipped with an infrastructure sensor. The server on the infrastructure side corresponds to an object tracking device. In specific example 4, in the generation of a dynamic map based on the integration of detection results of a plurality of sensors, the server on the infrastructure side detects the position of an object (stationary object, moving object) observed from one camera and the other camera. The association processing of the present invention is used to associate the position of the observed object with each other. A dynamic map obtained as an integration result of the object detection results is fed back to each vehicle.
図１４は本発明の対応付け処理を適用した具体例５を示す模式図である。具体例５では、単眼カメラを搭載した１台の車両と、インフラセンサとがある。具体例５では、物体追跡装置は、車両に搭載されている。具体例５では、インフラセンサにより道路上の移動物体（車両）を認識し、その情報を車両に送信する。 FIG. 14 is a schematic diagram showing a specific example 5 to which the association processing of the present invention is applied. Specific example 5 includes one vehicle equipped with a monocular camera and an infrastructure sensor. In Specific Example 5, the object tracking device is mounted on a vehicle. In Specific Example 5, a moving object (vehicle) on the road is recognized by the infrastructure sensor, and the information is transmitted to the vehicle.
車両に搭載された物体追跡装置は、インフラセンサにより観測した移動物体の位置と、単眼カメラにより観測した移動物体の位置、または、移動物体の予測状態量とを対応付けるのに、本発明の対応付け処理を利用する。インフラ情報を利用した車載システムにおける車両の認識範囲が拡大する。 The object tracking device mounted on the vehicle uses the association of the present invention to associate the position of the moving object observed by the infrastructure sensor with the position of the moving object observed by the monocular camera or the predicted state quantity of the moving object. Use processing. The recognition range of vehicles in an in-vehicle system using infrastructure information is expanded.
具体例６では、複数種類のセンサ（例えば、カメラとレーザレーダ）を搭載した車両が１台ある。単一の車両におけるセンサフュージョンにおいて、複数種類のセンサの認識結果を互いに対応付けして統合するのに、本発明の対応付け処理を利用する。 In the specific example 6, there is one vehicle equipped with a plurality of types of sensors (for example, a camera and a laser radar). In the sensor fusion in a single vehicle, the association processing of the present invention is used to integrate and recognize the recognition results of a plurality of types of sensors.
１０ 歩行者追跡装置
１２ 通信部
１４ センシング結果獲得部
１６ 状態量記憶部
１８ 状態量予測部
２０ 状態量対応付け部
２２ 状態量更新部
３０ 仮説記憶部
３２ 仮説内状態量予測部
３４ 仮説内状態量対応付け部
３６ 仮説重み更新部
３８ 仮説更新部
４０ 仮説内状態量更新部
４２ 重み付け平均計算部
５０ 基地局
６０ 検出器
６２ 検出器
７０ ネットワーク
１００ 歩行者追跡システム
DESCRIPTION OF SYMBOLS 10 Pedestrian tracking apparatus 12 Communication part 14 Sensing result acquisition part 16 State quantity memory | storage part 18 State quantity prediction part 20 State quantity matching part 22 State quantity update part 30 Hypothesis storage part 32 Hypothesis state quantity prediction part 34 Hypothesis state quantity Association unit 36 Hypothesis weight update unit 38 Hypothesis update unit 40 Hypothesis state quantity update unit 42 Weighted average calculation unit 50 Base station 60 Detector 62 Detector 70 Network 100 Pedestrian tracking system
Claims (16)
前記複数の物体各々について、前の時刻の複数の状態量を用いて次の時刻の複数の予測状態量を取得する予測手段と、
前記複数の物体に応じた複数の検出結果と、検出結果を受け取った時刻に応じた複数の予測状態量との対応付けを、複数個生成する対応付け手段と、
を含み、
前記対応付け手段は、
ランダムに配列された前記複数の検出結果の各々を、配列順に、前記複数の予測状態量のうちで他の検出結果が割り当てられていない何れか１つの予測状態量に割り当てて、対応付けを生成することを繰り返す、
対応付け装置。 A result acquisition means for receiving detection results detected by at least one detector and detecting a plurality of objects that move relative to each detector;
For each of the plurality of objects, a prediction unit that acquires a plurality of predicted state quantities at a next time using a plurality of state quantities at a previous time;
Association means for generating a plurality of associations between the plurality of detection results according to the plurality of objects and the plurality of predicted state quantities according to the time at which the detection results are received;
Including
The association means includes
Each of the plurality of detection results arranged at random is assigned to any one prediction state quantity to which no other detection result is assigned among the plurality of prediction state quantities in the arrangement order to generate a correspondence. To repeat,
Association device.
１つの検出器により検出された複数の第１検出結果と、同じ検出器により異なる時刻に検出された、または、他の検出器により検出された複数の第２検出結果との対応付けを、複数個生成する対応付け手段と、
を含み、
前記対応付け手段は、
ランダムに配列された前記複数の第１検出結果の各々を、配列順に、前記複数の第２検出結果のうちで他の第１検出結果が割り当てられていない何れか１つの第２検出結果に割り当てて、対応付けを生成することを繰り返す、
対応付け装置。 A result acquisition means for receiving detection results detected by at least one detector and detecting a plurality of objects that move relative to each detector;
A plurality of correspondences between a plurality of first detection results detected by one detector and a plurality of second detection results detected at different times by the same detector or detected by other detectors. Association means for generating
Including
The association means includes
Each of the plurality of first detection results arranged at random is assigned to any one second detection result to which no other first detection result is assigned among the plurality of second detection results in the arrangement order. Repeat the generation of the mapping,
Association device.
前記複数の物体の各々について状態量を記憶する記憶手段と、
少なくとも１つの検出器により検出された検出結果であって、各検出器に対して相対移動する複数の物体を検出した検出結果を受け取る結果獲得手段と、
前記複数の物体各々について、前の時刻の複数の状態量を用いて次の時刻の複数の予測状態量を取得する予測手段と、
前記複数の物体に応じた複数の検出結果と、検出結果を受け取った時刻に応じた複数の予測状態量との対応付けを、複数個生成する対応付け手段と、
複数の対応付けの各々に重みを付与する重み付与手段と、
前記複数の検出結果、前記複数の予測状態量、前記複数の対応付け、及び前記複数の対応付けの重みを用いて、前記記憶手段に格納された状態量を更新する更新手段と、
を含み、
前記対応付け手段は、
ランダムに配列された前記複数の検出結果の各々を、配列順に、前記複数の予測状態量のうちで他の検出結果が割り当てられていない何れか１つの予測状態量に割り当てて、対応付けを生成することを繰り返す、
物体追跡装置。 In an object tracking device that tracks a plurality of objects,
Storage means for storing a state quantity for each of the plurality of objects;
A result acquisition means for receiving detection results detected by at least one detector and detecting a plurality of objects that move relative to each detector;
For each of the plurality of objects, a prediction unit that acquires a plurality of predicted state quantities at a next time using a plurality of state quantities at a previous time;
Association means for generating a plurality of associations between the plurality of detection results according to the plurality of objects and the plurality of predicted state quantities according to the time at which the detection results are received;
A weight assigning means for assigning a weight to each of a plurality of associations;
Update means for updating the state quantity stored in the storage means using the plurality of detection results, the plurality of predicted state quantities, the plurality of associations, and the plurality of association weights;
Including
The association means includes
Each of the plurality of detection results arranged at random is assigned to any one prediction state quantity to which no other detection result is assigned among the plurality of prediction state quantities in the arrangement order to generate a correspondence. To repeat,
Object tracking device.
請求項３に記載の物体追跡装置。 Assigning each of the plurality of detection results to any one prediction state quantity to which no other detection result is assigned among the plurality of prediction state quantities, based on the probability for the prediction state quantity;
The object tracking device according to claim 3.
請求項３または請求項４に記載の物体追跡装置。 Assigning each of the plurality of detection results to one predicted state quantity having a larger probability than other predicted state quantities;
The object tracking device according to claim 3 or 4.
請求項３から請求項５までのいずれか１項に記載の物体追跡装置。 The number of the plurality of associations is a predetermined number.
The object tracking device according to any one of claims 3 to 5.
請求項３から請求項６までのいずれか１項に記載の物体追跡装置。 The number of the plurality of associations is a number smaller than the total number of associations between the plurality of detection results and the plurality of predicted state quantities.
The object tracking device according to any one of claims 3 to 6.
請求項３から請求項７までのいずれか１項に記載の物体追跡装置。 The plurality of associations such that the sum of the weights of the plurality of associations approximates the sum of the joint probabilities of the detection results and the prediction state quantities in all associations between the plurality of detection results and the plurality of prediction state quantities. Assign a weight to each of the mappings
The object tracking device according to any one of claims 3 to 7.
前記複数の検出結果の各々について、前記複数の予測状態量のうちで他の検出結果が割り当てられていない各予測状態量に対する確率を求め、
前記検出結果毎に得られる各予測状態量に対する確率の和を、前記複数の検出結果分を掛け合わせた値とする、
請求項３から請求項８までのいずれか１項に記載の物体追跡装置。 The weight of the mapping is
For each of the plurality of detection results, a probability for each prediction state quantity to which no other detection result is assigned among the plurality of prediction state quantities is obtained.
The sum of the probabilities for each predicted state quantity obtained for each detection result is a value obtained by multiplying the plurality of detection results.
The object tracking device according to any one of claims 3 to 8.
複数の検出結果各々について、各予測状態量に対応付けられた検出結果を用いてフィルタリングし、
複数の対応付けの重み付け平均値に応じて、フィルタリング後の複数の統合分布を取得し、
前記統合分布を用いて前記記憶手段に格納された状態量を更新する、
請求項３から請求項９までのいずれか１項に記載の物体追跡装置。 The updating means includes
For each of a plurality of detection results, filtering using the detection results associated with each predicted state quantity,
According to the weighted average value of multiple correspondences, obtain multiple integrated distributions after filtering,
Updating the state quantity stored in the storage means using the integrated distribution;
The object tracking device according to any one of claims 3 to 9.
前記予測手段は、仮説毎に、次の時刻の複数の予測状態量を取得し、
前記対応付け手段は、仮説毎に、前記複数の検出結果と前記複数の予測状態量との対応付けを生成し、
前記更新手段は、
仮説毎に、対応付けられた検出結果を用いて前記仮説内の複数の状態量を更新し、
仮説毎に、仮説の重みに対応付けの重みを乗じて仮説の重みを更新し、
更新後の仮説の重みに応じて、前記複数の仮説の更新後の状態量の重み付け平均値を出力し、
更新後の仮説の重みに応じて複数の仮説を増減する、
請求項３から請求項１０までのいずれか１項に記載の物体追跡装置。 When the storage means stores a plurality of state quantities for each of a plurality of weighted hypotheses,
The prediction means acquires a plurality of predicted state quantities at the next time for each hypothesis,
The association means generates an association between the plurality of detection results and the plurality of predicted state quantities for each hypothesis,
The updating means includes
For each hypothesis, update the plurality of state quantities in the hypothesis using the associated detection results,
For each hypothesis, update the hypothesis weight by multiplying the hypothesis weight by the association weight,
According to the weight of the updated hypothesis, output a weighted average value of the updated state quantities of the plurality of hypotheses,
Increase or decrease multiple hypotheses according to the updated hypothesis weight,
The object tracking device according to any one of claims 3 to 10.
請求項３から請求項１１までのいずれか１項に記載の物体追跡装置。 Each of the at least one detector is at least one of a fixed detector and a movable detector;
The object tracking device according to any one of claims 3 to 11.
請求項３から請求項１２までのいずれか１項に記載の物体追跡装置。 Each of the plurality of objects is at least one of a stationary object and a moving object.
The object tracking device according to any one of claims 3 to 12.
前記少なくとも１つの検出器は、自車両に搭載された検出器及び車両外に配置された検出器の少なくとも一方である、
請求項３から請求項１３までのいずれか１項に記載の物体追跡装置。 The object tracking device is mounted on a vehicle,
The at least one detector is at least one of a detector mounted on the host vehicle and a detector disposed outside the vehicle.
The object tracking device according to any one of claims 3 to 13.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018013941A JP6747461B2 (en) | 2018-01-30 | 2018-01-30 | Correlation device, object tracking device, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018013941A JP6747461B2 (en) | 2018-01-30 | 2018-01-30 | Correlation device, object tracking device, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019133332A true JP2019133332A (en) | 2019-08-08 |
| JP6747461B2 JP6747461B2 (en) | 2020-08-26 |
Family
ID=67546209
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018013941A Expired - Fee Related JP6747461B2 (en) | 2018-01-30 | 2018-01-30 | Correlation device, object tracking device, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6747461B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102308752B1 (en) * | 2021-02-22 | 2021-10-05 | 주식회사 에스아이에이 | Method and apparatus for tracking object |
| WO2023276840A1 (en) * | 2021-07-01 | 2023-01-05 | 住友電気工業株式会社 | Vehicle-mounted device, identifying method, computer program, and vehicle-mounted system |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004037262A (en) * | 2002-07-03 | 2004-02-05 | Mitsubishi Electric Corp | Target tracking system |
| JP2005031955A (en) * | 2003-07-11 | 2005-02-03 | Kddi Corp | Mobile body tracking system |
| JP2012225752A (en) * | 2011-04-19 | 2012-11-15 | Toyota Central R&D Labs Inc | Mobile body tracking apparatus and mobile body tracking method |
| JP2013025490A (en) * | 2011-07-19 | 2013-02-04 | Nec Informatec Systems Ltd | Information processor, object tracking method, and information processing program |
| JP2014219403A (en) * | 2013-04-30 | 2014-11-20 | バゼラブス ゲゼルシャフトミット ベシュレンクテル ハフツング | Method and device for tracking two or more object |
| JP2016071830A (en) * | 2014-09-26 | 2016-05-09 | 日本電気株式会社 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
-
2018
- 2018-01-30 JP JP2018013941A patent/JP6747461B2/en not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004037262A (en) * | 2002-07-03 | 2004-02-05 | Mitsubishi Electric Corp | Target tracking system |
| JP2005031955A (en) * | 2003-07-11 | 2005-02-03 | Kddi Corp | Mobile body tracking system |
| JP2012225752A (en) * | 2011-04-19 | 2012-11-15 | Toyota Central R&D Labs Inc | Mobile body tracking apparatus and mobile body tracking method |
| JP2013025490A (en) * | 2011-07-19 | 2013-02-04 | Nec Informatec Systems Ltd | Information processor, object tracking method, and information processing program |
| JP2014219403A (en) * | 2013-04-30 | 2014-11-20 | バゼラブス ゲゼルシャフトミット ベシュレンクテル ハフツング | Method and device for tracking two or more object |
| JP2016071830A (en) * | 2014-09-26 | 2016-05-09 | 日本電気株式会社 | Object tracking device, object tracking system, object tracking method, display control device, object detection device, program, and recording medium |
Non-Patent Citations (1)
| Title |
|---|
| 伊藤 誠吾 他: "雑音対応付けを考慮したＲａｏ−Ｂｌａｃｋｗｅｌｌｉｚｅｄ Ｐａｒｔｉｃｌｅ Ｆｉｌｔｅｒによる複数移", 情報処理学会研究報告 ２０１１（平成２３）年度 ユビキタスコンピューティングシステム（ＵＢＩ） Ｎ, JPN6020013458, 4 January 2012 (2012-01-04), pages 1 - 8, ISSN: 0004249321 * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102308752B1 (en) * | 2021-02-22 | 2021-10-05 | 주식회사 에스아이에이 | Method and apparatus for tracking object |
| US11669565B2 (en) | 2021-02-22 | 2023-06-06 | Si Analytics Co., Ltd. | Method and apparatus for tracking object |
| WO2023276840A1 (en) * | 2021-07-01 | 2023-01-05 | 住友電気工業株式会社 | Vehicle-mounted device, identifying method, computer program, and vehicle-mounted system |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6747461B2 (en) | 2020-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111429574B (en) | Mobile robot positioning method and system based on three-dimensional point cloud and vision fusion | |
| JP7440013B2 (en) | Vehicle environment mapping method and corresponding systems, vehicles and computer programs | |
| JP5800494B2 (en) | Specific area selection device, specific area selection method, and program | |
| CN111444767B (en) | Pedestrian detection and tracking method based on laser radar | |
| US20200233061A1 (en) | Method and system for creating an inverse sensor model and method for detecting obstacles | |
| JP2014219403A (en) | Method and device for tracking two or more object | |
| CN113330279A (en) | Method and system for determining the position of a vehicle | |
| CN110378360B (en) | Target calibration method and device, electronic equipment and readable storage medium | |
| US20230228593A1 (en) | Method, device and system for perceiving multi-site roadbed network and terminal | |
| CN111587430A (en) | Method for detecting an object | |
| CN112731371B (en) | Laser radar and vision fusion integrated target tracking system and method | |
| JP2017526083A (en) | Positioning and mapping apparatus and method | |
| JP6747461B2 (en) | Correlation device, object tracking device, and program | |
| CN112368593B (en) | Method for detecting a stationary radar target by means of a radar sensor for a motor vehicle | |
| KR102180036B1 (en) | Method for generating predicted path data of objects, apparatus therefor, and unmanned ground vehicle | |
| CN104182747A (en) | Object detection and tracking method and device based on multiple stereo cameras | |
| KR20120112293A (en) | Apparatus and method for detecting position of moving unit | |
| CN114035187A (en) | Perception fusion method of automatic driving system | |
| CN110781730B (en) | Intelligent driving sensing method and sensing device | |
| US20200258379A1 (en) | Determination of movement information with surroundings sensors | |
| JP7117878B2 (en) | processor and program | |
| CN112652006A (en) | Method of sensing objects in the surroundings of a vehicle, data processing device, computer program product and computer-readable data medium | |
| EP4220224A1 (en) | Method and device for detecting and tracking objects and driver assistance system | |
| US11651583B2 (en) | Multi-channel object matching | |
| US20230118390A1 (en) | Method and device for providing tracking data for recognizing the movement of persons and hands for controlling at least one function of a technical system, and sensor system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200228 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200407 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200529 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200707 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200720 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6747461 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |