JP2011070384A - Pedestrian movement estimation device and method - Google Patents
Pedestrian movement estimation device and method Download PDFInfo
- Publication number
- JP2011070384A JP2011070384A JP2009220644A JP2009220644A JP2011070384A JP 2011070384 A JP2011070384 A JP 2011070384A JP 2009220644 A JP2009220644 A JP 2009220644A JP 2009220644 A JP2009220644 A JP 2009220644A JP 2011070384 A JP2011070384 A JP 2011070384A
- Authority
- JP
- Japan
- Prior art keywords
- pedestrian
- movement
- information
- distance
- pedestrians
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title abstract description 18
- 230000009471 action Effects 0.000 claims abstract description 8
- 239000013598 vector Substances 0.000 abstract description 26
- 230000006399 behavior Effects 0.000 description 24
- 230000006870 function Effects 0.000 description 14
- 238000001514 detection method Methods 0.000 description 6
- 230000003542 behavioural effect Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005315 distribution function Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000002068 genetic effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 206010013082 Discomfort Diseases 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000011273 social behavior Effects 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
- Image Processing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
本発明は、歩行者の移動行動を推定する歩行者移動推定装置及び方法に関するものである。 The present invention relates to a pedestrian movement estimation apparatus and method for estimating movement behavior of a pedestrian.
従来の歩行者移動推定装置及び方法としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載のものでは、移動物体の画素パターンの情報等から歩行者を検出し、当該歩行者の両脚支持時間及び最大歩幅を求め、これらの情報に基づいて歩行者が停止するかどうかを判断し、その判断結果も用いて歩行者の将来位置を予測して当該歩行者が存在し得る範囲を特定する。
As a conventional pedestrian movement estimation apparatus and method, those described in
しかしながら、上記従来技術においては、以下の問題点が存在する。即ち、歩行者の多い市街地等では、歩行者は車両等と比較して急激に動くことが多い。このため、歩行者の直前の動きから線形的に歩行者の移動行動を推定する手法では、推定精度を上げることができない。 However, the following problems exist in the prior art. That is, in an urban area with many pedestrians, pedestrians often move more rapidly than vehicles. For this reason, the estimation accuracy cannot be increased by the method of linearly estimating the movement behavior of the pedestrian from the movement immediately before the pedestrian.
本発明の目的は、歩行者の移動行動を高精度に推定することができる歩行者移動推定装置及び方法を提供することである。 The objective of this invention is providing the pedestrian movement estimation apparatus and method which can estimate the movement action of a pedestrian with high precision.
本発明の歩行者移動推定装置は、歩行者の移動情報及び歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得する移動情報取得手段と、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得する距離関連情報取得手段と、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定する推定手段とを備えることを特徴とするものである。 The pedestrian movement estimation apparatus of the present invention includes movement information acquisition means for acquiring movement information of a pedestrian and movement information of at least one moving body existing around the pedestrian, movement information of the pedestrian, and movement of the moving body. Distance-related information acquisition means for acquiring information on the distance between the pedestrian and the moving body based on the information, and estimation means for estimating the movement behavior of the pedestrian using information on the distance between the pedestrian and the moving body; It is characterized by providing.
一般に歩行者は、他の歩行者等の移動体との距離を一定以上に保つという習性をもっている。そこで、歩行者の移動情報及び当該歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得し、これらの移動情報に基づいて歩行者と移動体との距離に関する情報を取得し、歩行者と移動体との距離に関する情報を用いて歩行者の移動行動を推定することにより、例えば歩行者の動きが他の歩行者等の移動体に反応して急激に変化する場合でも、歩行者の移動行動を適切に推定することができる。これにより、歩行者の移動行動の推定精度を向上させることができる。 In general, a pedestrian has a habit of keeping a distance from a moving body such as another pedestrian at a certain level or more. Therefore, the movement information of the pedestrian and the movement information of at least one moving body existing in the vicinity of the pedestrian are acquired, information on the distance between the pedestrian and the moving body is acquired based on the movement information, and the walking By estimating the pedestrian's movement behavior using information on the distance between the pedestrian and the moving body, for example, even when the pedestrian's movement changes rapidly in response to a moving body such as another pedestrian Can be estimated appropriately. Thereby, the estimation precision of a pedestrian's movement action can be improved.
好ましくは、歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を更に備え、推定手段は、歩行者と移動体との距離に関する情報と歩行者の歩行速度に関する情報とを用いて、歩行者の移動行動を推定する。歩行者は、通常は現在の歩行速度をそのまま維持しようとする。従って、歩行者の移動行動を推定する際に、歩行者の歩行速度に関する情報を考慮することで、歩行者の移動行動をより精度良く推定することができる。 Preferably, the information processing device further includes speed-related information acquisition means for acquiring information related to the walking speed of the pedestrian, and the estimation means uses the information related to the distance between the pedestrian and the moving body and the information related to the walking speed of the pedestrian. The movement behavior of a person. A pedestrian usually tries to maintain the current walking speed. Therefore, when estimating the pedestrian's moving behavior, it is possible to estimate the pedestrian's moving behavior more accurately by taking into account information regarding the walking speed of the pedestrian.
また、好ましくは、歩行者の目的地に関する情報を取得する目的地関連情報取得手段を更に備え、推定手段は、歩行者と移動体との距離に関する情報と歩行者の目的地に関する情報とを用いて、歩行者の移動行動を推定する。歩行者は、通常は目的地への進行方向をそのまま維持しようとする。従って、歩行者の移動行動を推定する際に、歩行者の目的地に関する情報を考慮することで、歩行者の移動行動をより精度良く推定することができる。 Preferably, the information processing device further includes destination related information acquisition means for acquiring information related to the destination of the pedestrian, and the estimation means uses information related to the distance between the pedestrian and the moving body and information related to the destination of the pedestrian. Thus, the movement behavior of the pedestrian is estimated. Pedestrians usually try to keep the direction of travel to their destination. Therefore, when estimating the movement behavior of the pedestrian, the movement behavior of the pedestrian can be estimated with higher accuracy by considering information on the destination of the pedestrian.
本発明の歩行者移動推定方法は、歩行者の移動情報及び歩行者の周辺に存在する少なくとも１つの移動体の移動情報を取得するステップと、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得するステップと、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定するステップとを含むことを特徴とするものである。 The pedestrian movement estimation method of the present invention is based on the step of acquiring movement information of a pedestrian and movement information of at least one moving body existing around the pedestrian, and the movement information of the pedestrian and movement information of the moving body. A step of acquiring information on the distance between the pedestrian and the moving body, and a step of estimating the movement behavior of the pedestrian using the information on the distance between the pedestrian and the moving body. It is.
このような歩行者移動推定方法を実施することにより、上述したように歩行者の動きが他の歩行者等の移動体に反応して急激に変化する場合でも、歩行者の移動行動を適切に推定することができる。これにより、歩行者の移動行動の推定精度を向上させることができる。 By implementing such a pedestrian movement estimation method, as described above, even when the movement of a pedestrian changes rapidly in response to a moving body such as another pedestrian, the movement behavior of the pedestrian is appropriately Can be estimated. Thereby, the estimation precision of a pedestrian's movement action can be improved.
本発明によれば、歩行者の移動行動を高精度に推定することができる。これにより、例えば歩行者の移動行動の推定技術を用いて歩行者の追跡を行う場合に、追跡性能を向上させることが可能となる。 According to the present invention, it is possible to estimate the movement behavior of a pedestrian with high accuracy. Thereby, for example, when tracking a pedestrian using a pedestrian's moving behavior estimation technique, the tracking performance can be improved.
以下、本発明に係わる歩行者移動推定装置及び方法の好適な実施形態について、図面を参照して詳細に説明する。 Preferred embodiments of a pedestrian movement estimation apparatus and method according to the present invention will be described below in detail with reference to the drawings.
図１は、本発明に係わる歩行者移動推定装置の一実施形態の概略構成を示すブロック図である。同図において、本実施形態の歩行者移動推定装置１は、画像認識により歩行者を検出し、歩行者の移動進路を予測して歩行者を追跡する装置である。
FIG. 1 is a block diagram showing a schematic configuration of an embodiment of a pedestrian movement estimation apparatus according to the present invention. In the figure, a pedestrian
歩行者移動推定装置１は、歩行者を撮像するカメラ２と、このカメラ２と接続されたＥＣＵ（Electronic Control Unit）３とを備えている。カメラ２は、ビル等の高所に固定設置されていても良いし、車両等の移動体に搭載されていても良い。
The pedestrian
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、画像処理部４と、記憶部５と、歩行者移動推定部６とを有している。
The
画像処理部４は、カメラ２により取得された歩行者の撮像画像に対してフィルタ処理、２値化処理、特徴抽出処理等の画像処理を施し、画像フレーム（画像データ）を生成する。記憶部５には、歩行者移動推定部６による演算処理に使用されるパラメータ等が記憶されている。
The image processing unit 4 performs image processing such as filter processing, binarization processing, and feature extraction processing on the captured image of the pedestrian acquired by the
歩行者移動推定部６は、画像処理部４で生成された画像フレームに基づいて所定の演算処理を行って歩行者の進路を予測し、更に歩行者の追跡を実行する。このとき、歩行者移動推定部６は、歩行者の行動を規定するモデルを用いて、歩行者の進路予測及び追跡を行う。 The pedestrian movement estimation unit 6 performs a predetermined calculation process based on the image frame generated by the image processing unit 4 to predict the path of the pedestrian, and further tracks the pedestrian. At this time, the pedestrian movement estimation unit 6 performs the course prediction and tracking of the pedestrian using a model that defines the behavior of the pedestrian.
まず、歩行者の行動を規定するモデルについて説明する。歩行者の進路を予測するポイントは、歩行者の行動を、歩行者の次の一歩を求めるためのエネルギー関数として定式化したことにある。 First, a model that defines pedestrian behavior will be described. The point of predicting the path of the pedestrian is that the behavior of the pedestrian is formulated as an energy function for obtaining the next step of the pedestrian.
歩行者の次の一歩は、現在の歩行者の位置を起点とした速度ベクトルｖで表現される。速度ベクトルｖは、速度及び方向の情報を含む。その速度ベクトルｖで単位時間ｔｓ秒だけ進んだ歩行者の位置が、単位時間ｔｓ後の歩行者の予測位置となる。単位時間ｔｓは、歩行者の動きを直進運動であると仮定できる十分短い時間であり、例えば０．４秒である。単位時間ｔｓ後の歩行者の位置を予測し、その予測した歩行者の位置を基点として更に単位時間ｔｓ秒の位置を予測するといったことを繰り返すことで、任意の時間先までの歩行者の移動進路を予測することができる。 The next step of the pedestrian is represented by a velocity vector v starting from the current pedestrian position. The velocity vector v includes speed and direction information. The velocity vector v in the unit time t s seconds only advanced pedestrian position becomes the predicted position of the pedestrian after the unit time t s. Unit time t s is the movement of pedestrians is short enough that can be assumed to be a linear motion, for example, 0.4 seconds. It predicts the pedestrian position after the unit time t s, by repeating the like to predict the position of the further unit time t s s the position of the predicted pedestrian as a base point, a pedestrian to an arbitrary time later Can be predicted.
歩行者の動きは、二次元平面上での動きとして表現することができる。このため、歩行者の速度ベクトルｖは、ｘ−ｙ平面上の速度ｖｘ，ｖｙの２つの要素で表現される。ここで、ｉ番目の歩行者をＰｉとすると、歩行者Ｐｉの速度ベクトルｖｉは、次のように表現される。ただし、ｖｉｘ，ｖｉｙは、歩行者Ｐｉのｘ軸上及びｙ軸上の速度である。
ｖｉ＝［ｖｉｘ，ｖｉｙ］Ｔ
The movement of a pedestrian can be expressed as a movement on a two-dimensional plane. Therefore, the velocity vector v of the pedestrian, the speed v x on the x-y plane is represented by two elements of v y. Here, the i-th pedestrian and P i, the velocity vector v i of the pedestrian P i is expressed as follows. Here, v ix and v iy are the velocities of the pedestrian P i on the x axis and the y axis.
v i = [v ix , v iy ] T
さて、歩行者Ｐｉの次の一歩の速度ベクトルをｖｉ’とし、歩行者Ｐｉの次の一歩を求めるためのエネルギー関数を以下のように定義する。
Ｅｉ(ｖｉ’)＝λ０Ｉｉ(ｖｉ’)＋λ１Ｓｉ(ｖｉ’)＋λ２Ｄｉ(ｖｉ’) …（Ａ）
Now, let the velocity vector of the next step of the pedestrian P i be v i ′, and define an energy function for obtaining the next step of the pedestrian P i as follows.
E i (v i ′) = λ 0 I i (v i ′) + λ 1 S i (v i ′) + λ 2 D i (v i ′) (A)
エネルギー関数Ｅｉは、３つのエネルギー項Ｉｉ，Ｓｉ，Ｄｉの重み付け線形和である。各エネルギー項の重み係数は、λ０，λ１，λ２である。かかるエネルギー関数Ｅｉを最小にするような速度ベクトルｖｉ’を求めることが、歩行者Ｐｉの次の一歩を求めることになる。 The energy function E i is a weighted linear sum of three energy terms I i , S i , D i . The weighting coefficient of each energy term is λ 0 , λ 1 , λ 2 . Determining the velocity vector v i ′ that minimizes the energy function E i determines the next step of the pedestrian P i .
次いで、関数Ｉｉ，Ｓｉ，Ｄｉについて詳細に説明する。ここでは、歩行者の行動を決める条件として、以下の３つを仮定している。 Next, functions I i , S i and D i will be described in detail. Here, the following three conditions are assumed as conditions for determining pedestrian behavior.
（１）歩行者同士の距離は一定以上に保たれる
一般に歩行者は、他の歩行者との距離が近すぎると不快に感じるため、他の歩行者との間にある程度以上の距離を保とうとする。歩行者同士が密着しているとき（各歩行者間の距離がゼロのとき）が最も不快感が高く、各歩行者間の距離が離れるにつれて不快感は急速に減少していき、ある程度以上の距離になると殆ど不快感は感じなくなる。
(1) The distance between pedestrians is kept above a certain level In general, pedestrians feel uncomfortable if they are too close to other pedestrians, so keep a certain distance between them. At last. Discomfort is highest when pedestrians are in close contact (when the distance between each pedestrian is zero), and the discomfort decreases rapidly as the distance between the pedestrians increases. When it comes to the distance, almost no discomfort is felt.
歩行者Ｐｉと他の歩行者Ｐｊとの距離をｄｉｊとし、不快感（不快度数）をＦｉｊとすると、歩行者Ｐｉ，Ｐｊ間の距離ｄｉｊと不快感Ｆｉｊとの関係は、図２に示すように、正規分布関数として表現される。この時の正規分布関数は、例えば次式のように表現することができる。
Ｆｉｊ＝ｅ＾（−（ｄｉｊ ２／２σｄ ２））
If the distance between the pedestrian P i and another pedestrian P j is d ij and the discomfort (number of discomforts) is F ij , the distance d ij between the pedestrians P i and P j and the discomfort F ij The relationship is expressed as a normal distribution function as shown in FIG. The normal distribution function at this time can be expressed as follows, for example.
F ij = e ^ (− (d ij 2 / 2σ d 2 ))
ここで、σｄは、分布の広がりを示すパラメータであり、歩行者の性質や場所等に応じて適切に設定可能である。例えば、朝夕の駅のように混雑した場所であれば、歩行者同士の距離を長くとることができず、歩行者同士の距離が近くても許容せざるを得ないため、σｄを小さく設定すべきである。広い場所で歩行者の数が少ない場合には、σｄを大きく設定すべきである。また、σｄは、人種や民族の特性を反映することも可能である。 Here, σ d is a parameter indicating the spread of the distribution, and can be appropriately set according to the nature and location of the pedestrian. For example, if it is a crowded place such as a station in the morning and evening, the distance between pedestrians cannot be increased, and even if the distance between pedestrians is close, it must be allowed, so σ d is set small. Should. When the number of pedestrians is small in a wide place, σ d should be set large. Σ d can also reflect the characteristics of race and ethnicity.
なお、歩行者Ｐｉ，Ｐｊ間の距離ｄｉｊと不快感Ｆｉｊとの関係に適用される関数としては、特に上記のような正規分布関数に限定することは無く、図３（ａ）に示すような非線形の関数としても良いし、図３（ｂ）に示すような線形の関数としても良い。 Note that the function applied to the relationship between the distance d ij between the pedestrians P i and P j and the discomfort F ij is not particularly limited to the normal distribution function as described above, and FIG. It may be a non-linear function as shown in FIG. 3 or a linear function as shown in FIG.
以上は１組の歩行者（歩行者Ｐｉと歩行者Ｐｊ）の関係のみについてであるが、実際には歩行者Ｐｉに対して周囲の全ての歩行者との関係を考慮する必要がある。そこで、歩行者Ｐｉ以外の他の歩行者をＰｒ（ｒ≠ｉ）とし、歩行者Ｐｉと他の全ての歩行者Ｐｒとの間に生じる不快感Ｆｉｒの和を、以下のように定義する。
ただし、ｗｒ（ｉ）は、歩行者Ｐｉに対する歩行者Ｐｒの不快感を調節するためのパラメータである。ｗｒ（ｉ）は、全ての歩行者に対して一定の値（例えば１）を設定しても良いし、二者の距離や進行方向の角度差等を考慮して設定しても良い。距離及び進行方向の角度差を考慮する場合は、例えば以下のように定義する。
ｗｒ（ｉ）＝ｗｒ ｄ（ｉ）＊ｗｒ φ（ｉ）
ｗｒ ｄ（ｉ）＝ｅ＾（−（ｄｉｒ ２／２σｗ ２））
ｗｒ φ（ｉ）＝（（１＋ｃｏｓφ）／２）β
However, w r (i) is a parameter for adjusting the discomfort of the pedestrian P r with respect to the pedestrian P i . W r (i) may be set to a constant value (for example, 1) for all pedestrians, or may be set in consideration of the distance between the two persons, the angle difference in the traveling direction, or the like. When considering the distance and the angle difference in the traveling direction, for example, the definition is as follows.
w r (i) = w r d (i) * w r φ (i)
w r d (i) = e ^ (- (d
w r φ (i) = ((1 + cos φ) / 2) β
ここで、ｄｉｒは、歩行者Ｐｉ，Ｐｒ間の距離であり、φは、歩行者Ｐｉ，Ｐｒの進行方向の角度差を表している。上記式は、１組の歩行者について、お互いの距離が近いほど、またお互い近い方向を向いているほど、重み係数であるｗｒ（ｉ）が大きくなることを示している。現在の二人の距離が既に短い場合は、不快感の増大が予想されるため、次の一歩では更に近づく方向には行かないと考えられ、また二人がほぼ同じ方向を向いている場合は、同様に不快感の増大が予想されるため、次の一歩ではその方向には行かないと考えられるからである。 Here, d ir is the distance between the pedestrians P i and P r , and φ represents the angular difference in the traveling direction of the pedestrians P i and P r . The above formula shows that for a set of pedestrians, the weight coefficient w r (i) increases as the distance from each other is closer and toward each other. If the distance between the two people is already short, an increase in discomfort is expected, so it is considered that the next step will not go further, and if the two people are facing the same direction This is because, similarly, an increase in discomfort is expected, and it is considered that the next step will not go in that direction.
以上により、エネルギー項Ｉｉは、歩行者Ｐｉとその周囲の歩行者Ｐｒとの間に生じる不快感の総和を意味することになる。そして、このエネルギー項Ｉｉが最も小さくなるように歩行者Ｐｉの次の一歩の速度ベクトルｖｉ’を決めるというモデルが構築されることになる。なお、エネルギー項Ｉｉは、速度ベクトルｖｉ’によって変化する関数であるため、正しくは上記（Ａ）式のようにＩｉ(ｖｉ’)と記述される。また、ｄｉｊは、次の一歩となる単位時間ｔｓ秒後の歩行者Ｐｉ，Ｐｊ間の距離である。 Thus, energy term I i will mean the sum of the discomfort that occurs between the pedestrian P i and the pedestrian P r of the surrounding. Then, a model is established in which the speed vector v i ′ for the next step of the pedestrian P i is determined so that the energy term I i is minimized. Since the energy term I i is a function that varies depending on the velocity vector v i ′, it is correctly described as I i (v i ′) as in the above equation (A). Further, d ij is a distance between the pedestrians P i and P j after a unit time t s seconds as the next step.
以上のようなエネルギー項Ｉｉ(ｖｉ’)を定義することにより、歩行者と周囲の他の歩行者との距離が近いことで生じる不快感を最小限にするという、人間の社会行動特性に当てはまる数学モデルを構築することができる。また、歩行者は、車両と異なり、接触しながら（肩が触れ合う等）の歩行もあり得る。エネルギー項Ｉｉ(ｖｉ’)は、歩行者同士の接触も許容可能なモデルであるため、混雑度等に応じてσｄ等のパラメータを調整することで、実際の歩行者の挙動に近いモデルを提供することができる。さらに、場所の特性に応じてσｄ等のパラメータを調整することで、例えば細い道と広場といった歩行者の行動の傾向が異なるような場合でも、適用可能である。 By defining the energy term I i (v i ′) as described above, human social behavior characteristics that minimize discomfort caused by the distance between the pedestrian and other pedestrians in the vicinity. You can build a mathematical model that fits In addition, unlike a vehicle, a pedestrian may walk while touching (such as a shoulder touching). Since the energy term I i (v i ′) is a model that can also allow contact between pedestrians, it is close to the actual pedestrian behavior by adjusting parameters such as σ d according to the degree of congestion, etc. A model can be provided. Furthermore, by adjusting parameters such as σ d according to the characteristics of the place, the present invention is applicable even when the tendency of pedestrian behavior such as a narrow road and a plaza is different.
（２）歩行者は一定の速度を保とうとする
一般に歩行者は、一定の歩行速度を維持しようとする性質を有し、その歩行速度からのズレが大きいほど不快を感じるものである。歩行者Ｐｉの好みの歩行速度をｕｉとすると、不快度数Ｓｉ(ｖｉ’)は、以下のように定義される。
ここで、歩行者Ｐｉの好みの歩行速度ｕｉは、環境に応じて予め計測した複数の歩行者の平均速度にしても良いし、歩行者Ｐｉの直前の速度にしても良いし、過去の数秒間の平均速度にしても良いし、周囲の歩行者の平均速度にしても良い。 Here, the favorite walking speed u i of the pedestrian P i may be an average speed of a plurality of pedestrians measured in advance according to the environment, or may be a speed immediately before the pedestrian P i , The average speed for the past several seconds may be used, or the average speed of surrounding pedestrians may be used.
以上のようなエネルギー項Ｓｉ(ｖｉ’)を定義することにより、歩行者が自分の歩行ペースを保とうとする、人間の行動特性を反映したモデルを構築することができる。また、歩行者の歩行速度は、車両のように周囲のオブジェクトの速度に影響されることは少ない。このため、上記のエネルギー項Ｉｉ(ｖｉ’)と独立したエネルギー項Ｓｉ(ｖｉ’)を設定することで、現実の動きに近いモデルを構築することができる。 By defining the energy term S i (v i ′) as described above, it is possible to construct a model that reflects human behavioral characteristics in which a pedestrian tries to maintain his / her walking pace. Moreover, the walking speed of a pedestrian is hardly influenced by the speed of surrounding objects like a vehicle. For this reason, by setting the energy term S i (v i ′) independent of the energy term I i (v i ′), a model close to the actual movement can be constructed.
（３）歩行者は目的地に向かって進もうとする
一般に歩行者は、特定の目的地に向かって進もうとし、目的地からずれるほど不快感が増すものである。歩行者Ｐｉの目的地をｚｉ、歩行者Ｐｉの現在の位置をｋｉとすると、不快度数Ｄｉ(ｖｉ’)は、以下のように定義される。
ここで、目的地ｚｉは、環境に応じて設定しても良いし、これまで歩行者Ｐｉが歩いてきた方向の延長線上に設定しても良い。目的地ｚｉを環境に応じて設定する場合は、例えば近くに建物の入口があれば、その入口を目的地ｚｉと設定する。また、横断歩道では、横断歩道の端を目的地ｚｉと設定する。この場合、地図情報を用いることで、目的地ｚｉをより正しく設定することができる。 Here, the destination z i may be set according to the environment, or may be set on an extension line in the direction in which the pedestrian P i has been walking. When the destination z i is set according to the environment, for example, if there is a building entrance nearby, the entrance is set as the destination z i . Further, at the pedestrian crossing, the end of the pedestrian crossing is set as the destination z i . In this case, the destination z i can be set more correctly by using the map information.
以上のようなエネルギー項Ｄｉ(ｖｉ’)を定義することにより、歩行者が目的地に向かって進む、という歩行者の基本的な行動特性を反映したモデルを構築することができる。また、目的地ｚｉは自由に定義可能であるから、道路上を走行する必要があったり交通ルールを守る必要があるといった制約がある車両の予測モデルに比べ、実際の歩行者の動きに近いモデルを構築することができる。 By defining the energy term D i (v i ′) as described above, a model reflecting the pedestrian's basic behavioral characteristic that the pedestrian moves toward the destination can be constructed. In addition, since the destination z i can be freely defined, it is closer to the actual pedestrian movement compared to a vehicle prediction model that has restrictions such as driving on the road or obeying traffic rules. A model can be built.
以上の（１）〜（３）項において定義されたエネルギー項Ｉｉ(ｖｉ’)，Ｓｉ(ｖｉ’)，Ｄｉ(ｖｉ’)の重み付けの線形和であるエネルギー関数Ｅｉ(ｖｉ’)が、歩行者の進路予測のためのモデルになる。エネルギー関数Ｅｉ(ｖｉ’)は、上記（Ａ）式で表される。 An energy function E i that is a linear sum of weights of the energy terms I i (v i ′), S i (v i ′), and D i (v i ′) defined in the above items (1) to (3). (v i ′) is a model for predicting a pedestrian's course. The energy function E i (v i ′) is expressed by the above equation (A).
上記（Ａ）式において、重み係数λ０〜λ２のパラメータは、経験的にアルゴリズムの設計者が決めても良いが、実際の歩行者の動きから学習によって求めることも可能である。特に据付カメラを用いる場合は環境が一定であり、歩行者の行動は過去の観測結果と同等であると推測されるため、学習による効果は大きい。 In the above equation (A), the parameters of the weighting coefficients λ 0 to λ 2 may be determined empirically by the algorithm designer, but can also be obtained by learning from the actual pedestrian movement. In particular, when using a stationary camera, the environment is constant, and the pedestrian's behavior is assumed to be equivalent to past observation results, so that the effect of learning is great.
学習によりパラメータを決定する場合は、据付カメラにより複数の歩行者の撮像画像を取得する。図４は、一例としてビルの上階の窓から下方のビル入り口付近を撮影して得られたものであり、複数の歩行者が映っている。据付カメラにより得られた撮像画像において、手作業あるいは背景差分等の方法を用いて、各歩行者の位置を特定し、各歩行者の移動情報を取得する。図４中の丸印は、各歩行者Ｐの現在位置を示し、図４中の線は、各歩行者Ｐの移動軌跡を示している。このようにして取得した各歩行者Ｐの移動情報を基にしてパラメータを学習する。 When determining a parameter by learning, captured images of a plurality of pedestrians are acquired by an installation camera. As an example, FIG. 4 is obtained by photographing the vicinity of the lower building entrance from a window on the upper floor of the building, and shows a plurality of pedestrians. In the captured image obtained by the installation camera, the position of each pedestrian is specified using a method such as manual operation or background difference, and movement information of each pedestrian is acquired. 4 indicates the current position of each pedestrian P, and the line in FIG. 4 indicates the movement trajectory of each pedestrian P. Parameters are learned based on the movement information of each pedestrian P acquired in this way.
具体的には、まず１人の歩行者（歩行者ＰＡとする）について、上述した進路予測モデルを用いてｔ秒後の位置を予測する。このとき、パラメータとしては任意の値を設定する。歩行者ＰＡの実際の動きは上記の通り分かっているため、任意のパラメータで予測された歩行者ＰＡの位置と歩行者ＰＡの実際の位置との距離差を計算する。この距離差としては、距離の二乗等の値を用いる。 Specifically, the first one of the pedestrian (a pedestrian P A), to predict the position after t seconds using a course prediction model described above. At this time, an arbitrary value is set as the parameter. The actual movement of the pedestrian P A because it has been found as described above, calculates the distance difference between the actual position of the pedestrian P A the position of the pedestrian P A predicted in any parameter. A value such as the square of the distance is used as this distance difference.
別の歩行者についても、同様に予測された位置と実際の位置との距離差を計算する。このとき、パラメータ値としては、歩行者ＰＡについての距離差計算時に使用したものと同じものを使用する。このようにして、全ての歩行者について同じパラメータ値を用い、それぞれの距離差を求める。そして、全ての歩行者についての距離差の合計を求める。 For another pedestrian, the distance difference between the predicted position and the actual position is calculated in the same manner. In this case, as a parameter value, use the same as used when the distance difference calculation for the pedestrian P A. In this way, the same parameter value is used for all pedestrians, and the respective distance differences are obtained. And the sum of the distance difference about all the pedestrians is calculated | required.
ここで、使用するパラメータの値を変えると、歩行者の予測位置が変化し、これに伴って予測位置と実際の位置との距離差も変化する。このため、全ての歩行者についての距離差の合計も変化する。従って、この距離差の合計が小さくなるように、例えば最急降下法等の手法を用いてパラメータ値を繰り返し修正していく。そして、距離差の合計が変化しなくなったら、その時のパラメータ値を採用することに決定する。 Here, when the value of the parameter to be used is changed, the predicted position of the pedestrian changes, and accordingly, the distance difference between the predicted position and the actual position also changes. For this reason, the total distance difference for all pedestrians also changes. Therefore, the parameter value is repeatedly corrected using a method such as the steepest descent method so that the total distance difference becomes small. Then, when the total distance difference does not change, it is decided to adopt the parameter value at that time.
複数のパラメータの最適な組み合わせを求めるのは、パラメータ数が多くなると難しくなってくる。そこで、例えば遺伝的アルゴリズムを用い、任意に設定された複数のパラメータの組を同時に評価して演算し、時々パラメータを任意に設定し直す（遺伝的アルゴリズムにおける突然変異）ようにして、最適なパラメータを求めても良い。 Finding an optimal combination of a plurality of parameters becomes difficult as the number of parameters increases. Therefore, for example, using a genetic algorithm, a set of parameters that are set arbitrarily is evaluated and calculated at the same time, and the parameters are set arbitrarily (mutations in the genetic algorithm) from time to time. You may ask for.
このようにして求めたパラメータは、実際の歩行者の行動を基に設定されたものであるため、予測の精度が高く、歩行者の追跡の精度向上に寄与することができる。 Since the parameters determined in this way are set based on actual pedestrian behavior, the accuracy of prediction is high, and it is possible to contribute to improving the accuracy of pedestrian tracking.
また、カメラが車両に搭載されている場合には、カメラが移動するため、予め学習することはできない。この場合には、場所の性質に応じてパラメータの値を適宜切り換えることで対応可能となる。場所の性質は、例えばＧＰＳのような位置情報取得装置と地図情報から得ることができる。例えば、場所が横断歩道上である場合には、歩行者は横断歩道の端を目的地として移動することが殆どであるため、λ２を大きくして、目的地へ向かって移動するという制約を強くしたモデルで進路を予測する。非常に混雑した状況では、歩行者同士の距離が短くても許容せざるを得ないため、λ０を小さくして、歩行者同士の距離の制約を弱めるモデルで進路を予測する。 In addition, when the camera is mounted on a vehicle, the camera moves and cannot be learned in advance. This case can be dealt with by appropriately switching the parameter values according to the nature of the place. The nature of the place can be obtained from a position information acquisition device such as GPS and map information. For example, when the place is on a pedestrian crossing, pedestrians usually move with the end of the pedestrian crossing as their destination, so the restriction of moving to the destination by increasing λ 2 is limited. Predict the course with a stronger model. In a very congested situation, since allowable inevitable even if the distance is short of pedestrians each other to reduce the lambda 0, the model predicts the course in weakening the limitation of the distance of the pedestrian between.
以上のようにして得られる上記（Ａ）式の総不快度数Ｅｉ(ｖｉ’)は、歩行者Ｐｉが次の一歩をどのように踏み出すかで変化するものである。ここでは、上述したように総不快度数Ｅｉ(ｖｉ’)を最小とするような速度ベクトルｖｉ’を求めることで、歩行者Ｐｉの次の一歩を予測する。 The total discomfort degree E i (v i ′) in the above equation (A) obtained as described above changes depending on how the pedestrian P i takes the next step. Here, as described above, the next step of the pedestrian P i is predicted by obtaining the speed vector v i ′ that minimizes the total number of discomfort degrees E i (v i ′).
図５は、歩行者Ｐｉの次の一歩の速度ベクトルｖｉ’を変化させた時の不快度数の一例を示したものである。図５において、Ｐ１，Ｐ２は、それぞれ歩行者を示している。白点Ａ１は、歩行者Ｐ１が現在の速度及び方向を維持して進んだ場合の次の一歩の速度ベクトルｖｉ’を示し、白点Ａ２は、歩行者Ｐ２が現在の速度及び方向を維持して進んだ場合の次の一歩の速度ベクトルｖｉ’を示している。 FIG. 5 shows an example of the number of discomfort levels when the speed vector v i ′ of the next step of the pedestrian P i is changed. In FIG. 5, P 1 and P 2 indicate pedestrians, respectively. A white point A 1 indicates a speed vector v i ′ of the next step when the pedestrian P 1 proceeds while maintaining the current speed and direction, and a white point A 2 indicates that the pedestrian P 2 has the current speed. In addition, the velocity vector v i ′ of the next step when the vehicle proceeds while maintaining the direction is shown.
ここでは、点Ａ１，Ａ２で示す方向に対して左右６０度を１０度刻みで変化させ、更に点Ａ１，Ａ２で示す速度に対して前後０．３ｍ／ｓ変化させた場合の不快度数を表している。このとき、黒塗り部分、ハッチング部分、ドット部分、白抜き部分の順に、不快度が低くなっている。 Here, 60 degrees on the left and right with respect to the direction indicated by points A 1 and A 2 are changed in increments of 10 degrees, and further, 0.3 m / s before and after the speed indicated by points A 1 and A 2 is changed. Indicates the number of discomfort. At this time, the degree of discomfort is lower in the order of the black portion, hatched portion, dot portion, and white portion.
歩行者Ｐ１については、上記（１）〜（３）項の条件を満足する黒点Ｂ１で示す速度ベクトルｖｉ’において不快度が最も低くなるため、その速度ベクトルｖｉ’が次の一歩として選択される。歩行者Ｐ２については、同様に上記（１）〜（３）項の条件を満足する黒点Ｂ２で示す速度ベクトルｖｉ’において不快度が最も低くなるため、その速度ベクトルｖｉ’が次の一歩として選択される。 For the pedestrian P 1 , the discomfort is the lowest at the speed vector v i ′ indicated by the black point B 1 that satisfies the conditions of the above items (1) to (3), so that the speed vector v i ′ is the next step. Selected as. Pedestrian P 2 is likewise above (1) to (3) 'for unpleasantness in is lowest, its velocity vector v i' velocity vector v i shown by black dots B 2 that satisfies the conditions of the terms following Selected as a step.
上述した歩行者の予測進路モデルは、歩行者の様々な行動特性に適用可能なモデルとなっており、制約の多い車両の予測進路モデルに比べて、実際の歩行者の動きを高精度に予測可能とするものである。例えば、多数の歩行者が密集しているような場合には、お互いの歩行者が近づきながらも一定の距離を保つように予測され、歩行者が少ない場合には、歩行者が目的地に向かって最短の距離で進むように予測される。 The predicted pedestrian course model described above is a model that can be applied to various behavioral characteristics of pedestrians, and predicts the actual movement of pedestrians more accurately than the predicted course model of vehicles with many restrictions. It is possible. For example, when a large number of pedestrians are crowded, it is predicted that the pedestrians will keep a certain distance while approaching each other. When there are few pedestrians, the pedestrians will head toward the destination. It is predicted to proceed in the shortest distance.
また、パラメータλ０〜λ２の値を調整することで、歩行者同士の一定距離を保つエネルギー、歩行者の歩行速度を維持するエネルギー、歩行者が目的地に最短距離で進もうとするエネルギーのうち、いずれを重視するかを調整することができ、場所や集団の特性を反映した予測進路モデルを柔軟に構築することが可能となる。 In addition, by adjusting the values of the parameters λ 0 to λ 2 , energy for maintaining a constant distance between pedestrians, energy for maintaining the walking speed of pedestrians, energy for the pedestrians to travel to the destination at the shortest distance It is possible to adjust which one of them is emphasized, and it is possible to flexibly construct a predicted course model that reflects the characteristics of the place and the group.
さらに、上述した予測進路モデルを用いることにより、歩行者の次の一歩の予測を指定ステップ分だけ繰り返すことで、任意の未来時間における歩行者の進路予測を行い、歩行者の追跡を実施することができる。 Furthermore, by using the predicted course model described above, the pedestrian's course is predicted at an arbitrary future time by repeating the prediction of the next step of the pedestrian by the designated step, and the pedestrian is tracked. Can do.
図６は、画像認識により検出された歩行者の移動経路の一例を示した図である。なお、歩行者の検出方法としては、例えばＨＯＧ（Histograms of Oriented Gradients）やＳＶＭ（Support Vector Machine）が用いられる。 FIG. 6 is a diagram illustrating an example of a movement path of a pedestrian detected by image recognition. As a pedestrian detection method, for example, HOG (Histograms of Oriented Gradients) or SVM (Support Vector Machine) is used.
図６において、ある画像フレームで点Ｑ１の位置に歩行者が検出された場合には、その前の画像フレームの検出位置Ｑ０及び現在の検出位置Ｑ１から、現在の検出位置Ｑ１での速度ベクトルが求められる。そして、上述した方法により当該速度ベクトルを基にして歩行者の進路を予測したときに、次の時間ステップにおいて位置Ｑ２に歩行者が来るものと予測されたとする。 6, when the pedestrian is detected at the position of the point Q 1 in a certain image frame, from the detection position Q 0 and the current detection position to Q 1 the previous image frame, at the current detection position Q 1 The velocity vector is obtained. When the predicted path of a pedestrian based on the velocity vector by the method described above, and is expected to pedestrian comes to a position Q 2 at the next time step.
このとき、予測誤差を考慮しても、位置Ｑ２から一定の範囲Ｒ内に歩行者が存在すると仮定し、その範囲Ｒ内のみ画像認識処理を行うようにする。これにより、関係ない背景を歩行者と間違えて検出してしまうこと（誤検出）を低減することができる。なお、範囲Ｒは、図示のような矩形に限らず、円や楕円等でも良い。 At this time, even in consideration of the prediction error, assuming that there is a pedestrian from the position Q 2 within a predetermined range R, to perform the image recognition processing only within the range R. As a result, it is possible to reduce the detection of irrelevant background as a pedestrian (false detection). Note that the range R is not limited to a rectangle as illustrated, but may be a circle, an ellipse, or the like.
また、位置Ｑ１での認識に用いたＨＯＧ特徴量と位置Ｑ２での認識に用いたＨＯＧ特徴量とが近い値である場合は、位置Ｑ１の歩行者と位置Ｑ２の歩行者とが同一であるとみなすことができる。従って、実際にはＱ０→Ｑ１→Ｑ２→Ｑ３→Ｑ４の経路で移動する歩行者とＱ１０→Ｑ１１→Ｑ１２→Ｑ１３→Ｑ１４の経路で移動する歩行者とが接近して通過する場合に、一方の歩行者がＱ０→Ｑ１→Ｑ２→Ｑ１３→Ｑ１４の経路で移動し、他方の歩行者がＱ１０→Ｑ１１→Ｑ１２→Ｑ３→Ｑ４の経路で移動するものと間違えてしまうことが防止される。 Further, when the value is close to the HOG features used for recognition in HOG features and position Q 2 to which was used in the recognition in the position Q 1 is a pedestrian position Q 1, pedestrian position Q 2 Can be considered the same. Therefore, in reality, there are pedestrians moving along the route of Q 0 → Q 1 → Q 2 → Q 3 → Q 4 and pedestrians moving along the route of Q 10 → Q 11 → Q 12 → Q 13 → Q 14. When passing close, one pedestrian moves along the route Q 0 → Q 1 → Q 2 → Q 13 → Q 14 and the other pedestrian Q 10 → Q 11 → Q 12 → Q 3 → It is prevented from resulting in mistaken as to move in a path Q 4.
このように上述した予測進路モデルを用いることで、複数の歩行者の追跡を正確に行うことができる。このとき、歩行者の進路予測の確からしさが上がるほど、歩行者の追跡をより正確に行うことが可能となる。 By using the predicted course model described above, a plurality of pedestrians can be tracked accurately. At this time, the pedestrian can be tracked more accurately as the probability of the pedestrian's course prediction increases.
図１に戻り、歩行者移動推定部６は、上述した予測進路モデルを用いて歩行者の進路を予測し、歩行者の追跡を行う。この歩行者移動推定部６による歩行者移動推定処理の手順を図７に示す。 Returning to FIG. 1, the pedestrian movement estimation unit 6 predicts the path of the pedestrian using the predicted path model described above, and tracks the pedestrian. The procedure of the pedestrian movement estimation process by the pedestrian movement estimation unit 6 is shown in FIG.
図７において、まず画像処理部４により得られた画像データを入力する（ステップＳ１１）。続いて、その画像データから全ての歩行者を検出する（ステップＳ１２）。そして、各歩行者の現在の位置及び速度ベクトルから、各歩行者のｔ秒後の位置及び速度ベクトルを求める（ステップＳ１３）。 In FIG. 7, first, the image data obtained by the image processing unit 4 is input (step S11). Subsequently, all pedestrians are detected from the image data (step S12). Then, the position and speed vector of each pedestrian after t seconds are obtained from the current position and speed vector of each pedestrian (step S13).
次いで、ある歩行者（特定歩行者とする）と特定歩行者の周囲に存在する他の歩行者との距離に関するエネルギー項Ｉｉを求める（ステップＳ１４）。また、特定歩行者の歩行速度に関するエネルギー項Ｓｉを求める（ステップＳ１５）。さらに、特定歩行者の目的地に関するエネルギー項Ｄｉを求める（ステップＳ１６）。そして、各エネルギー項Ｉｉ，Ｓｉ，Ｄｉと記憶部５に記憶された重み係数λ０〜λ２とを用いて、特定歩行者についてのエネルギー関数Ｅｉを求める（ステップＳ１７）。 Next, an energy term I i relating to the distance between a certain pedestrian (referred to as a specific pedestrian) and other pedestrians existing around the specific pedestrian is obtained (step S14). Also, determine the energy term S i about walking speed of a particular pedestrian (Step S15). Moreover, determining the energy term D i related to destinations of a particular pedestrian (Step S16). Each energy term I i, by using the S i, D i and the storage unit 5 weight coefficient lambda 0 is stored in the to [lambda] 2, obtains the energy function E i for a particular pedestrian (Step S17).
次いで、そのエネルギー関数Ｅｉに基づいて特定歩行者の進路を予測する（ステップＳ１８）。具体的には、特定歩行者のｔ秒後の速度ベクトルのうちエネルギー関数Ｅｉが最小値となる速度ベクトルを特定歩行者の次の一歩とする。そして、歩行者の進路予測結果に基づいて歩行者の追跡を行う（ステップＳ１９）。 Next, the course of the specific pedestrian is predicted based on the energy function E i (step S18). Specifically, a speed vector having a minimum energy function E i among the speed vectors after t seconds of the specific pedestrian is set as the next step of the specific pedestrian. And a pedestrian is tracked based on a pedestrian's course prediction result (step S19).
以上において、カメラ２とＥＣＵ３の画像処理部４と同歩行者移動推定部６のステップＳ１１〜Ｓ１３は、歩行者の移動情報及び歩行者の周辺に存在する移動体の移動情報を取得する移動情報取得手段を構成する。歩行者移動推定部６のステップＳ１４は、歩行者の移動情報及び移動体の移動情報に基づいて、歩行者と移動体との距離に関する情報を取得する距離関連情報取得手段を構成する。ＥＣＵ３の記憶部５と同歩行者移動推定部６のステップＳ１７〜Ｓ１９とは、歩行者と移動体との距離に関する情報を用いて、歩行者の移動行動を推定する推定手段を構成する。
In the above, steps S11 to S13 of the
また、歩行者移動推定部６のステップＳ１５は、歩行者の歩行速度に関する情報を取得する速度関連情報取得手段を構成する。歩行者移動推定部６のステップＳ１６は、歩行者の目的地に関する情報を取得する目的地関連情報取得手段を構成する。 Moreover, step S15 of the pedestrian movement estimation part 6 comprises the speed related information acquisition means which acquires the information regarding the walking speed of a pedestrian. Step S16 of the pedestrian movement estimation unit 6 constitutes destination related information acquisition means for acquiring information related to the destination of the pedestrian.
以上のように本実施形態にあっては、歩行者は他の歩行者との距離を一定以上に保とうとする性質を考慮したエネルギー項Ｉｉを用いて、歩行者の総不快度数を表すエネルギー関数Ｅｉを求め、そのエネルギー関数Ｅｉに基づいて歩行者の進路を予測するようにしたので、例えば歩行者が他の歩行者から離れようとして急に動く場合でも、歩行者の進路を適切に予測することができる。 As described above, in the present embodiment, the pedestrian uses the energy term I i considering the property of keeping the distance from other pedestrians at a certain level or higher, and represents the pedestrian's total discomfort degree energy. Since the function E i is obtained and the path of the pedestrian is predicted based on the energy function E i , for example, even when the pedestrian moves suddenly away from another pedestrian, the path of the pedestrian is appropriately set. Can be predicted.
また、歩行者の進路を予測する際には、そのようなエネルギー項Ｉｉに加えて、歩行者が一定の速度を保とうとする性質を考慮したエネルギー項Ｓｉ及び歩行者が特定の目的地に向かって進もうとする性質を考慮したエネルギー項Ｄｉをも用いるので、歩行者の進路をより適切に予測することができる。 In addition, when predicting the path of a pedestrian, in addition to such an energy term I i , the energy term S i taking into account the property that the pedestrian wants to maintain a constant speed and the pedestrian must be in a specific destination. Since the energy term D i taking into account the property of traveling toward the vehicle is also used, the path of the pedestrian can be predicted more appropriately.
これにより、歩行者の移動行動を高精度に推定し、歩行者の追跡性能を向上させることが可能となる。 Thereby, it becomes possible to estimate the movement behavior of the pedestrian with high accuracy and improve the tracking performance of the pedestrian.
なお、本発明は、上記実施形態に限定されるものではない。例えば上記実施形態では、歩行者と他の歩行者との距離の情報を取得しているが、歩行者同士の距離の情報だけでなく、歩行者と自転車等の移動体との距離の情報も取得して、歩行者の移動行動を推定しても良い。 The present invention is not limited to the above embodiment. For example, in the above embodiment, information on the distance between the pedestrian and another pedestrian is acquired, but not only information on the distance between the pedestrians, but also information on the distance between the pedestrian and a moving body such as a bicycle. You may acquire and estimate the movement action of a pedestrian.
また、上記実施形態では、カメラ２により取得した撮像画像から歩行者を検出しているが、これ以外にも、レーザレーダやミリ波レーダ等のセンサにより歩行者を検出しても良い。
Moreover, in the said embodiment, although the pedestrian is detected from the captured image acquired with the
１…歩行者移動推定装置、２…カメラ（移動情報取得手段）、３…ＥＣＵ、４…画像処理部（移動情報取得手段）、５…記憶部（推定手段）、６…歩行者移動推定部（移動情報取得手段、距離関連情報取得手段、速度関連情報取得手段、目的地関連情報取得手段、推定手段）。
DESCRIPTION OF
Claims (4)
前記歩行者の移動情報及び前記移動体の移動情報に基づいて、前記歩行者と前記移動体との距離に関する情報を取得する距離関連情報取得手段と、
前記歩行者と前記移動体との距離に関する情報を用いて、前記歩行者の移動行動を推定する推定手段とを備えることを特徴とする歩行者移動推定装置。 Movement information acquisition means for acquiring movement information of a pedestrian and movement information of at least one moving body existing around the pedestrian,
Based on the movement information of the pedestrian and the movement information of the moving body, distance-related information acquisition means for acquiring information on the distance between the pedestrian and the moving body;
A pedestrian movement estimation apparatus comprising: estimation means for estimating the movement behavior of the pedestrian using information related to a distance between the pedestrian and the moving body.
前記推定手段は、前記歩行者と前記移動体との距離に関する情報と前記歩行者の歩行速度に関する情報とを用いて、前記歩行者の移動行動を推定することを特徴とする請求項１記載の歩行者移動推定装置。 Further comprising speed-related information acquisition means for acquiring information on the walking speed of the pedestrian,
The said estimation means estimates the movement action of the said pedestrian using the information regarding the distance of the said pedestrian and the said mobile body, and the information regarding the walking speed of the said pedestrian. Pedestrian movement estimation device.
前記推定手段は、前記歩行者と前記移動体との距離に関する情報と前記歩行者の目的地に関する情報とを用いて、前記歩行者の移動行動を推定することを特徴とする請求項１記載の歩行者移動推定装置。 Further comprising destination related information acquisition means for acquiring information on the destination of the pedestrian,
The said estimation means estimates the movement action of the said pedestrian using the information regarding the distance of the said pedestrian and the said mobile body, and the information regarding the destination of the said pedestrian. Pedestrian movement estimation device.
前記歩行者の移動情報及び前記移動体の移動情報に基づいて、前記歩行者と前記移動体との距離に関する情報を取得するステップと、
前記歩行者と前記移動体との距離に関する情報を用いて、前記歩行者の移動行動を推定するステップとを含むことを特徴とする歩行者移動推定方法。
Obtaining movement information of a pedestrian and movement information of at least one moving body existing around the pedestrian;
Based on the movement information of the pedestrian and the movement information of the moving body, obtaining information on the distance between the pedestrian and the moving body;
Estimating the movement behavior of the pedestrian using information on the distance between the pedestrian and the moving body.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009220644A JP5563796B2 (en) | 2009-09-25 | 2009-09-25 | Pedestrian movement estimation apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2009220644A JP5563796B2 (en) | 2009-09-25 | 2009-09-25 | Pedestrian movement estimation apparatus and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2011070384A true JP2011070384A (en) | 2011-04-07 |
| JP5563796B2 JP5563796B2 (en) | 2014-07-30 |
Family
ID=44015620
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2009220644A Active JP5563796B2 (en) | 2009-09-25 | 2009-09-25 | Pedestrian movement estimation apparatus and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5563796B2 (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130118116A (en) * | 2012-04-19 | 2013-10-29 | 현대모비스 주식회사 | Apparatus and method avoiding collision with moving obstacles in automatic parking assistance system |
| JP2013246794A (en) * | 2012-05-29 | 2013-12-09 | Toyota Motor Corp | Object change detection device and object change detection method |
| CN104915628A (en) * | 2014-03-14 | 2015-09-16 | 株式会社理光 | Pedestrian movement prediction method and device by carrying out scene modeling based on vehicle-mounted camera |
| JP2015230567A (en) * | 2014-06-04 | 2015-12-21 | トヨタ自動車株式会社 | Drive assist system |
| JP5939357B2 (en) * | 2013-05-31 | 2016-06-22 | トヨタ自動車株式会社 | Moving track prediction apparatus and moving track prediction method |
| CN108604419A (en) * | 2016-01-29 | 2018-09-28 | 日产自动车株式会社 | The travel control method of vehicle and the travel controlling system of vehicle |
| CN109615140A (en) * | 2018-12-14 | 2019-04-12 | 中国科学技术大学 | A kind of method and device for predicting pedestrian movement |
| WO2020100784A1 (en) * | 2018-11-13 | 2020-05-22 | 国立大学法人東京大学 | Road surface profile estimating device, road surface profile estimating system, road surface profile estimating method, and road surface profile estimating program |
| JP2021135705A (en) * | 2020-02-26 | 2021-09-13 | トヨタテクニカルディベロップメント株式会社 | Information processing device, information processing method and information processing program |
| US11447129B2 (en) | 2020-02-11 | 2022-09-20 | Toyota Research Institute, Inc. | System and method for predicting the movement of pedestrians |
| US11878684B2 (en) | 2020-03-18 | 2024-01-23 | Toyota Research Institute, Inc. | System and method for trajectory prediction using a predicted endpoint conditioned network |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008186170A (en) * | 2007-01-29 | 2008-08-14 | Fujitsu Ten Ltd | Driving support system and driving support method |
| JP2009193549A (en) * | 2008-02-18 | 2009-08-27 | Secom Co Ltd | Evacuation route finding device and evacuation route finding method |
| JP2009217448A (en) * | 2008-03-10 | 2009-09-24 | Mitsubishi Electric Corp | Human tracking system using image information |
-
2009
- 2009-09-25 JP JP2009220644A patent/JP5563796B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008186170A (en) * | 2007-01-29 | 2008-08-14 | Fujitsu Ten Ltd | Driving support system and driving support method |
| JP2009193549A (en) * | 2008-02-18 | 2009-08-27 | Secom Co Ltd | Evacuation route finding device and evacuation route finding method |
| JP2009217448A (en) * | 2008-03-10 | 2009-09-24 | Mitsubishi Electric Corp | Human tracking system using image information |
Non-Patent Citations (2)
| Title |
|---|
| CSNC201308013001; 田村雄介・淺間一: '人間共存環境におけるロボットからの歩行者意図の推定' ロボティクス・メカトロニクス講演会 '０９ 講演論文集 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ , 20090524, ｐｐ．７０３-７０４, 社団法人日本機械学会 * |
| JPN6014021389; 田村雄介・淺間一: '人間共存環境におけるロボットからの歩行者意図の推定' ロボティクス・メカトロニクス講演会 '０９ 講演論文集 Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ２ , 20090524, ｐｐ．７０３-７０４, 社団法人日本機械学会 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130118116A (en) * | 2012-04-19 | 2013-10-29 | 현대모비스 주식회사 | Apparatus and method avoiding collision with moving obstacles in automatic parking assistance system |
| JP2013246794A (en) * | 2012-05-29 | 2013-12-09 | Toyota Motor Corp | Object change detection device and object change detection method |
| JP5939357B2 (en) * | 2013-05-31 | 2016-06-22 | トヨタ自動車株式会社 | Moving track prediction apparatus and moving track prediction method |
| CN104915628A (en) * | 2014-03-14 | 2015-09-16 | 株式会社理光 | Pedestrian movement prediction method and device by carrying out scene modeling based on vehicle-mounted camera |
| CN104915628B (en) * | 2014-03-14 | 2018-09-25 | 株式会社理光 | The method and apparatus that scene modeling based on in-vehicle camera carries out movement pedestrian's prediction |
| JP2015230567A (en) * | 2014-06-04 | 2015-12-21 | トヨタ自動車株式会社 | Drive assist system |
| US9463796B2 (en) | 2014-06-04 | 2016-10-11 | Toyota Jidosha Kabushiki Kaisha | Driving assistance apparatus |
| CN108604419A (en) * | 2016-01-29 | 2018-09-28 | 日产自动车株式会社 | The travel control method of vehicle and the travel controlling system of vehicle |
| US11124163B2 (en) | 2016-01-29 | 2021-09-21 | Nissan Motor Co., Ltd. | Method for controlling travel of vehicle, and device for controlling travel of vehicle |
| CN112997225A (en) * | 2018-11-13 | 2021-06-18 | 国立大学法人东京大学 | Road surface vertical section estimation device, road surface vertical section estimation system, road surface vertical section estimation method, and road surface vertical section estimation program |
| WO2020100784A1 (en) * | 2018-11-13 | 2020-05-22 | 国立大学法人東京大学 | Road surface profile estimating device, road surface profile estimating system, road surface profile estimating method, and road surface profile estimating program |
| JPWO2020100784A1 (en) * | 2018-11-13 | 2021-09-30 | 国立大学法人 東京大学 | Road profile estimation device, road surface profile estimation system, road surface profile estimation method and road surface profile estimation program |
| CN112997225B (en) * | 2018-11-13 | 2023-02-03 | 国立大学法人东京大学 | Road surface vertical section estimation device, road surface vertical section estimation system, road surface vertical section estimation method, and storage medium |
| JP7390731B2 (en) | 2018-11-13 | 2023-12-04 | 国立大学法人 東京大学 | Road surface profile estimation device, road surface profile estimation system, road surface profile estimation method, and road surface profile estimation program |
| CN109615140A (en) * | 2018-12-14 | 2019-04-12 | 中国科学技术大学 | A kind of method and device for predicting pedestrian movement |
| CN109615140B (en) * | 2018-12-14 | 2024-01-09 | 中国科学技术大学 | Method and device for predicting pedestrian movement |
| US11447129B2 (en) | 2020-02-11 | 2022-09-20 | Toyota Research Institute, Inc. | System and method for predicting the movement of pedestrians |
| JP2021135705A (en) * | 2020-02-26 | 2021-09-13 | トヨタテクニカルディベロップメント株式会社 | Information processing device, information processing method and information processing program |
| JP7314080B2 (en) | 2020-02-26 | 2023-07-25 | トヨタテクニカルディベロップメント株式会社 | Information processing device, information processing method and information processing program |
| US11878684B2 (en) | 2020-03-18 | 2024-01-23 | Toyota Research Institute, Inc. | System and method for trajectory prediction using a predicted endpoint conditioned network |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5563796B2 (en) | 2014-07-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5563796B2 (en) | Pedestrian movement estimation apparatus and method | |
| CN112840350B (en) | Autonomous vehicle planning and prediction | |
| US11610477B2 (en) | Traffic assistance system, server, and vehicle-mounted device | |
| JP7052663B2 (en) | Object detection device, object detection method and computer program for object detection | |
| KR101907548B1 (en) | Moving and searching method of mobile robot for following human | |
| WO2013042205A1 (en) | Pedestrian action prediction device and pedestrian action prediction method | |
| EP2960829A2 (en) | Lane boundary estimation device and lane boundary estimation method | |
| JP4171510B2 (en) | MOBILE DEVICE, ITS CONTROL SYSTEM, CONTROL PROGRAM, AND SUPERVISION SYSTEM | |
| JP5065449B2 (en) | Vanishing point estimation device and program | |
| JP2020052695A (en) | Object detection apparatus, object detection method, and computer program for object detection | |
| RU2770230C1 (en) | Method and device for predicting the movement of another vehicle | |
| JP2014204375A (en) | Image processing system, image processing apparatus, control method therefor, and program | |
| CN112445222B (en) | Navigation method, navigation device, storage medium and terminal | |
| US11400942B2 (en) | Vehicle lane trajectory probability prediction utilizing kalman filtering with neural network derived noise | |
| JP4937844B2 (en) | Pedestrian detection device | |
| JP2020042553A (en) | Mobile body support system and mobile body support method | |
| JP2006202047A (en) | Moving-object detection device and method | |
| JP2019220054A (en) | Action prediction device and automatic driving device | |
| WO2012029878A1 (en) | Device and method for creating environment map and device and method for action prediction | |
| WO2021084731A1 (en) | Information processing device, information processing system, information processing method, and information processing program | |
| WO2015155867A1 (en) | Movement estimation device | |
| CN116434156A (en) | Target detection method, storage medium, road side equipment and automatic driving system | |
| JP2023090539A (en) | Autonomous body movement control system, control device, and control method | |
| JP5531734B2 (en) | Obstacle recognition device | |
| JP6643294B2 (en) | Mobility device speed limit determination system, mobility device, and speed limit determination method in these devices |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120829 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140403 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140527 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140613 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 5563796 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |