JP2011196749A - Object detecting device - Google Patents
Object detecting device Download PDFInfo
- Publication number
- JP2011196749A JP2011196749A JP2010062054A JP2010062054A JP2011196749A JP 2011196749 A JP2011196749 A JP 2011196749A JP 2010062054 A JP2010062054 A JP 2010062054A JP 2010062054 A JP2010062054 A JP 2010062054A JP 2011196749 A JP2011196749 A JP 2011196749A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- unit
- measurement
- distance
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Geophysics And Detection Of Objects (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
本発明は、物体を検出する物体検出装置に関する。 The present invention relates to an object detection apparatus that detects an object.
距離計測センサ(例えば、レーザレンジファインダ等)を利用して物体を検出する物体検出装置が開発されている。物体検出装置に係る従来技術が、例えば、特許文献1〜3に開示されている。 An object detection apparatus that detects an object using a distance measurement sensor (for example, a laser range finder) has been developed. For example, Patent Documents 1 to 3 disclose conventional techniques related to an object detection device.
物体検出装置では、距離計測センサの出力から物体を検出し、その検出した物体を追跡する。しかしながら、従来の技術では、物体を精度良く検出できない場合があり、その結果、物体を追跡できない場合が生じるという問題があった。 The object detection device detects an object from the output of the distance measurement sensor and tracks the detected object. However, in the conventional technology, there is a case where the object cannot be detected with high accuracy, and as a result, there is a problem that the object cannot be tracked.
本発明は、上記した実情に鑑みてなされたものであり、物体を精度良く検出することができる物体検出装置を提供する。 The present invention has been made in view of the above circumstances, and provides an object detection apparatus capable of detecting an object with high accuracy.
本願の第1の物体検出装置は、距離計測センサがセンサ正面を計測するときの距離計測方向を水平面に対して斜め上方を向くように設定することで、物体を精度良く検出することを可能とする。すなわち、この種の物体検出装置では、設置スペースの問題等から、距離計測センサを床面の近傍の高さに設置することが多い。例えば、物体検出装置で歩行者を検出する場合、歩行者は本質的に床面に足を付けて移動するため、歩行者を検出し損なうことを防止するためには、距離計測センサで足元の高さを計測することが多い。また、車輌に物体検出装置を装備する場合、構造的もしくは機能的な理由によって、距離計測センサを車体下部に取付けざるを得ないことがある。さらに、小型のロボットに物体検出装置を装備する場合、そもそも低い位置にしか距離計測センサを取付けられない。従来の技術では、距離計測センサがセンサ正面を計測するときの距離計測方向を水平面と平行としていた(すなわち、水平面内で物体の検出を行っていた。)。このため、距離計測センサで人体を計測すると、距離計測センサは人体の足元を計測することとなる。足元は胴体に比べて細く、また、距離計測センサは、センサから遠方になるほど計測点の間隔が広くなる。このため、従来の技術では、距離計測センサから遠方にある人体(物体)を検出し難いという問題があった。 The first object detection device of the present application can detect an object with high accuracy by setting the distance measurement direction when the distance measurement sensor measures the front of the sensor so as to face obliquely upward with respect to the horizontal plane. To do. That is, in this type of object detection apparatus, the distance measurement sensor is often installed at a height near the floor surface due to the problem of installation space. For example, when detecting a pedestrian with an object detection device, since the pedestrian essentially moves with a foot on the floor, in order to prevent the detection of the pedestrian, the distance measurement sensor The height is often measured. When the vehicle is equipped with an object detection device, the distance measurement sensor may be attached to the lower part of the vehicle body for structural or functional reasons. Further, when an object detection device is equipped on a small robot, a distance measuring sensor can be attached only to a low position in the first place. In the conventional technique, the distance measurement direction when the distance measurement sensor measures the front surface of the sensor is parallel to the horizontal plane (that is, an object is detected in the horizontal plane). For this reason, when a human body is measured by the distance measurement sensor, the distance measurement sensor measures the feet of the human body. The feet are thinner than the torso, and the distance measurement sensor has a wider interval between measurement points as it is farther from the sensor. For this reason, the conventional technique has a problem that it is difficult to detect a human body (object) located far from the distance measurement sensor.
そこで、本願の第1の物体検出装置は、2次元走査型の距離計測センサと、距離計測センサの出力に基づいて物体を検出する演算装置を備える。そして、距離計測センサが、計測対象となる物体に応じて設定された測定高さより低い位置に設置され、かつ、距離計測センサがセンサ正面を計測するときの距離計測方向が水平面に対して斜め上方を向くように設置される。 Therefore, the first object detection device of the present application includes a two-dimensional scanning type distance measurement sensor and an arithmetic device that detects an object based on the output of the distance measurement sensor. The distance measurement sensor is installed at a position lower than the measurement height set according to the object to be measured, and the distance measurement direction when the distance measurement sensor measures the front of the sensor is obliquely above the horizontal plane. It is installed to face.
この物体検出装置では、距離計測センサがセンサ正面を計測するときの距離計測方向が水平面に対して斜め上方を向く。このため、距離計測センサからの距離が離れるのに伴って床面から高い位置にある部位が計測される。したがって、この物体検出装置で人体を検出すると、距離計測センサからの距離が離れるのに伴って胴体に近い部分が計測されることとなる。その結果、人体のような物体を検出し易くなり、物体の検出精度を向上することができる。 In this object detection device, the distance measurement direction when the distance measurement sensor measures the front side of the sensor faces obliquely upward with respect to the horizontal plane. For this reason, as the distance from the distance measurement sensor increases, the part located at a higher position from the floor surface is measured. Therefore, when a human body is detected by this object detection device, a portion close to the trunk is measured as the distance from the distance measurement sensor increases. As a result, an object such as a human body can be easily detected, and the object detection accuracy can be improved.
上記の物体検出装置においては、距離計測センサがセンサ正面を計測するときの距離計測方向が水平面に対して斜め上方を向くため、距離計測センサで計測される部位が距離計測センサからの距離によって変わる。例えば、人体を検出する場合、距離計測センサの近傍では足元が計測され、距離計測センサの遠方では胴体に近い部分が計測される。このため、同一の物体(人体)であっても、計測された部位が足元であると、1個又は2個の計測点群(クラスタ)として測定され、計測された部位が腰付近であると、1個の胴体を示す計測点群(クラスタ)として測定されたり、胴体と腕などが2個又は3個の計測点群(クラスタ)として測定されたりして、状況によって、計測点群の数は不定となる。 In the above object detection device, the distance measurement direction when the distance measurement sensor measures the front of the sensor is obliquely upward with respect to the horizontal plane, and therefore the part measured by the distance measurement sensor varies depending on the distance from the distance measurement sensor. . For example, when detecting a human body, a foot is measured in the vicinity of the distance measurement sensor, and a portion close to the trunk is measured in the distance from the distance measurement sensor. For this reason, even if it is the same object (human body), if the measured part is a foot, it is measured as one or two measurement point groups (clusters), and the measured part is near the waist Depending on the situation, the number of measurement point groups may be measured as a measurement point group (cluster) representing one torso, or the torso and arms are measured as two or three measurement point groups (clusters). Is undefined.
そこで、上記の物体検出装置においては、演算装置が、物体記憶部と、特徴抽出部と、対応付け部を有することが好ましい。物体記憶部は、距離計測センサの出力に基づいて検出された物体を記憶する。特徴抽出部は、距離計測センサの出力から近接する計測点群(クラスタ)を抽出する。対応付け部は、物体記憶部に記憶されている物体毎に、抽出された計測点群のうち当該物体の推定存在領域内に存在する1又は複数の計測点群を組み合わせて生成される計測点群の組合せの中から、当該物体と対応付ける1又は複数の計測点群を特定する。 Therefore, in the object detection device described above, it is preferable that the arithmetic device includes an object storage unit, a feature extraction unit, and an association unit. The object storage unit stores an object detected based on the output of the distance measurement sensor. The feature extraction unit extracts an adjacent measurement point group (cluster) from the output of the distance measurement sensor. The associating unit is a measurement point generated by combining one or a plurality of measurement point groups existing in the estimated existence area of the object among the extracted measurement point groups for each object stored in the object storage unit. One or a plurality of measurement point groups associated with the object are identified from the group combination.
このような構成によると、物体記憶部に記憶されている各物体に対して、その物体の推定存在領域内に存在する1又は複数の計測点群(クラスタ)を種々に組合せ、それら組合せの中から物体と対応する計測点群(クラスタ)を特定する。このため、物体から検出される計測点群(クラスタ)の数が変化(例えば、1個→2個,2個→1個)しても、その変化に対応することができる。 According to such a configuration, for each object stored in the object storage unit, one or a plurality of measurement point groups (clusters) existing in the estimated existence area of the object are variously combined. The measurement point group (cluster) corresponding to the object is identified from the above. Therefore, even if the number of measurement point groups (clusters) detected from the object changes (for example, 1 → 2 and 2 → 1), the change can be dealt with.
上記の物体検出装置においては、演算装置は、特徴抽出部によって抽出された計測点群であって、対応付け部によって物体記憶部に記憶されている物体と対応付けられなかった計測点群を、新規の物体として物体記憶部に記憶させるファイル登録部をさらに有することが好ましい。このような構成によると、新規に検出された計測点群が新たな物体として物体記憶部に登録され、その物体のその後の追跡が可能となる。 In the object detection device, the arithmetic unit is a measurement point group extracted by the feature extraction unit, and a measurement point group that is not associated with the object stored in the object storage unit by the association unit. It is preferable to further include a file registration unit that is stored in the object storage unit as a new object. According to such a configuration, a newly detected measurement point group is registered as a new object in the object storage unit, and subsequent tracking of the object becomes possible.
上記の物体検出装置においては、演算装置は、物体記憶部に記憶されている物体毎に、当該物体に対応付けられた計測点群の位置を用いて、当該物体の運動状態(物体の位置や速度)を推定する運動推定部をさらに有することが好ましい。 In the object detection device, the arithmetic device uses the position of the measurement point group associated with the object for each object stored in the object storage unit, and the motion state of the object (the position of the object or It is preferable to further include a motion estimator for estimating (speed).
また、上記の物体検出装置においては、距離計測センサは、周期的に1走査範囲の距離計測を行い、演算装置は、距離計測センサの計測周期毎に、特徴抽出部による処理と、対応付け部による処理と、運動推定部による処理を実行するように構成することができる。この場合に、対応付け部は、物体記憶部に記憶されている物体毎に、直前の計測周期で運動推定部によって推定された当該物体の運動状態を用いて、当該物体の推定存在領域を算出することが好ましい。このような構成によると、直前の計測周期で得られた計測結果から現在の物体の推定存在領域を算出するため、物体を好適に追跡することができる。 In the object detection device, the distance measurement sensor periodically measures the distance of one scanning range, and the arithmetic device performs processing by the feature extraction unit and an association unit for each measurement cycle of the distance measurement sensor. And the processing by the motion estimator can be executed. In this case, for each object stored in the object storage unit, the associating unit calculates an estimated existence region of the object using the motion state of the object estimated by the motion estimation unit in the immediately preceding measurement cycle. It is preferable to do. According to such a configuration, since the estimated presence area of the current object is calculated from the measurement result obtained in the immediately preceding measurement cycle, the object can be suitably tracked.
上記の第1の物体検出装置においては、対応付け部は、運動推定部によって推定される当該物体の速度を平均化した速度を用いて、当該物体の推定存在領域を算出することが好ましい。物体によっては、その移動速度が周期的に振動するものがある。例えば、人が歩行する場合、人の歩行速度は周期的に振動する。かかる場合に、周期的に振動する速度をそのまま用いて物体の推定存在領域を算出すると、算出された推定存在領域が実際の存在領域から大きくずれることがある。このため、推定される物体の速度を平均化した速度を用いて推定存在領域を算出することで、物体(人体)を精度良く追跡することができる。 In the first object detection apparatus, the association unit preferably calculates an estimated existence region of the object using a speed obtained by averaging the speeds of the object estimated by the motion estimation unit. Some objects have their movement speed periodically oscillating. For example, when a person walks, the walking speed of the person vibrates periodically. In such a case, if the estimated existence area of the object is calculated using the speed of periodically vibrating as it is, the calculated estimated existence area may be greatly deviated from the actual existence area. For this reason, the object (human body) can be accurately tracked by calculating the estimated presence area using the speed obtained by averaging the speeds of the estimated objects.
また、本願の第2の物体検出装置は、距離計測センサで計測される物体の計測点群(クラスタ)の数が変化する場合であっても、好適に物体を追跡することができる技術を提供する。すなわち、上述したように、観測する物体によっては、距離計測センサが計測する部位が変化すると、計測される計測点群(クラスタ)の数が変化することがある。従来の技術では、計測対象を「脚」や「胴」などの特定の部位でモデル化しているため、物体の計測する部位が途中で変化すると、物体を認識できなくなることがある。 In addition, the second object detection device of the present application provides a technique capable of suitably tracking an object even when the number of measurement point groups (clusters) of the object measured by the distance measurement sensor changes. To do. That is, as described above, depending on the object to be observed, the number of measurement point groups (clusters) to be measured may change when the part measured by the distance measurement sensor changes. In the conventional technique, since the measurement target is modeled by a specific part such as “leg” or “trunk”, the object may not be recognized if the part to be measured changes in the middle.
そこで、本願の第2の物体検出装置は、走査型の距離計測センサ(二次元走査型に限定されない。)と、距離計測センサの出力に基づいて検出された物体を記憶する物体記憶部と、距離計測センサの出力から近接する計測点群を抽出する特徴抽出部と、物体記憶部に記憶されている物体毎に、抽出された計測点群のうち当該物体の推定存在領域内に存在する1又は複数の計測点群を組み合わせて生成される計測点群の組合せの中から、当該物体と対応付ける1又は複数の計測点群を特定する対応付け部を有する。 Therefore, a second object detection device of the present application includes a scanning distance measurement sensor (not limited to a two-dimensional scanning type), an object storage unit that stores an object detected based on an output of the distance measurement sensor, For each object stored in the object storage unit, a feature extraction unit that extracts a nearby measurement point group from the output of the distance measurement sensor, one of the extracted measurement point groups exists in the estimated existence region of the object 1 Alternatively, the image processing apparatus includes an association unit that identifies one or a plurality of measurement point groups associated with the object from a combination of measurement point groups generated by combining a plurality of measurement point groups.
この物体検出装置では、物体記憶部に記憶されている物体に対して、その物体の推定存在領域内に存在する1又は複数の計測点群を種々に組合せ、それら組合せの中から物体と対応する計測点群を特定する。このため、物体から検出される計測点群(クラスタ)の数が変化しても、その変化に対応することができる。 In this object detection device, various combinations of one or a plurality of measurement point groups existing in the estimated presence area of the object stored in the object storage unit and corresponding to the object from among these combinations Specify the measurement point cloud. For this reason, even if the number of measurement point groups (clusters) detected from an object changes, it can respond to the change.
また、本願の第3の物体検出装置は、観測される物体の移動速度が周期的に振動する場合であっても、その物体を精度良く追跡することを可能とする。すなわち、観測される物体を追跡するためには、直前の計測周期で得られた物体の速度から、現在の物体の位置を推定する必要がある。人が歩行するときのように、計測される物体の移動速度が周期的に振動している場合、直前の計測周期で得られた速度をそのまま用いて物体の位置を推定すると、推定された位置が実際の位置から大きく異なることになる。 In addition, the third object detection apparatus of the present application can accurately track an object even when the observed moving speed of the object vibrates periodically. That is, in order to track the observed object, it is necessary to estimate the current position of the object from the velocity of the object obtained in the immediately preceding measurement cycle. When the moving speed of the measured object is periodically oscillating, such as when a person walks, the estimated position is obtained by estimating the position of the object using the speed obtained in the immediately preceding measurement period as it is. Is significantly different from the actual position.
そこで、本願の第3の物体検出装置は、走査型の距離計測センサ(二次元走査型に限定されない。)と、物体記憶部と、特徴抽出部と、対応付け部と、運動推定部を有している。物体記憶部は、距離計測センサの出力に基づいて検出された物体を記憶する。特徴抽出部は、距離計測センサの出力から近接する計測点群を抽出する。対応付け部は、物体記憶部に記憶されている物体毎に、抽出された計測点群の中から、当該物体と対応付ける1又は複数の計測点群を特定する。運動推定部は、物体記憶部に記憶されている物体毎に、当該物体に対応付けられた計測点群の位置から、当該物体の運動状態を推定する。距離計測センサは、周期的に1走査範囲の距離計測を行う。特徴抽出部と対応付け部と運動推定部は、計測周期毎に各処理を実行する。対応付け部は、物体記憶部に記憶されている物体毎に、直前の計測周期で運動推定部によって推定された当該物体の速度の平均値を用いて、当該物体の推定存在領域を算出する。 Therefore, the third object detection apparatus of the present application includes a scanning distance measurement sensor (not limited to the two-dimensional scanning type), an object storage unit, a feature extraction unit, an association unit, and a motion estimation unit. is doing. The object storage unit stores an object detected based on the output of the distance measurement sensor. The feature extraction unit extracts adjacent measurement point groups from the output of the distance measurement sensor. For each object stored in the object storage unit, the associating unit specifies one or a plurality of measurement point groups associated with the object from the extracted measurement point group. For each object stored in the object storage unit, the motion estimation unit estimates the motion state of the object from the position of the measurement point group associated with the object. The distance measurement sensor periodically measures the distance of one scanning range. The feature extraction unit, the association unit, and the motion estimation unit execute each process for each measurement cycle. For each object stored in the object storage unit, the associating unit calculates an estimated existence region of the object using the average value of the speed of the object estimated by the motion estimation unit in the immediately preceding measurement cycle.
この物体検出装置では、直前の計測周期で運動推定部によって推定された当該物体の速度の平均値を用いて、物体の推定存在領域を算出する。このため、計測される物体の移動速度が周期的に振動していても、その物体を精度良く追跡することができる。 In this object detection apparatus, the estimated existence area of the object is calculated using the average value of the speed of the object estimated by the motion estimation unit in the immediately preceding measurement cycle. For this reason, even if the moving speed of the measured object is periodically oscillating, the object can be accurately tracked.
上述した物体検出装置は、移動体(例えば、車両、移動ロボット、移動台車等)に装備することができる。これによって、移動体は障害物等を検出しながら安全に移動することができる。 The object detection device described above can be installed in a mobile body (for example, a vehicle, a mobile robot, a mobile carriage, etc.). Accordingly, the moving body can move safely while detecting an obstacle or the like.
本発明の一実施例に係る物体検出装置10について、図面を参照しながら説明する。図1に示すように、本実施例の物体検出装置10は、レーザレンジファインダ(以下、LRFという)12と、演算装置20によって構成されている。LRF12と演算装置20は、通信線によって接続されており、LRF12から出力される信号が演算装置20に入力されるようになっている。
An
LRF12は、2次元走査型の距離計測センサである。LRF12は、レーザ発光部を回転させ、レーザ発光部から照射されるレーザ光が横切る平面(計測面)上に存在する物体との距離を測定する。具体的には、LRF12は、照射したレーザ光の反射光を検出し、レーザ光を照射してから反射光を検出するまでの時間で物体との距離を計測する。レーザ光を照射する平面(計測面)は一定とされ、レーザ光を照射する方向は設定された角度範囲内を一定の角速度で変化する。従って、LRF12は、計測面内の設定された角度範囲を所定の角度間隔で距離計測を行う。このため、LRF12からの距離が近いと隣接する計測点間の間隔は短く(計測密度が高く)、LRF12からの距離が遠くなると計測点間の間隔は長くなる(計測密度が低くなる)。このようなLRF12としては、例えば、SICK社製のLMS200や、北陽電機株式会社製のUTM−30LXを用いることができる。
The
図7に示すように、LRF12は、計測対象36を計測するのに適した高さH0(測定高さ)よりも低い高さHLに設置される。測定高さH0は、計測対象36に応じて設定される。例えば、計測対象36が人である場合、LRF12で人を計測した時に多くの計測点が得られる高さ(例えば、胴部、胸部、肩部等)に測定高さH0が設定される。また、LRF12がその正面を計測するときの計測方向Sが水平面Pに対して上向きの角度θ(計測面Sと水平面Pとのなす角(以下、取付角度という))となるようにLRF12が設置される。取付角度θは、tanθ=(H0−HL)/Lを満足するように設定することができる。ここで、Lは、LRF12で測定したい最長測定距離(<LRF12の測定可能距離)である。このため、LRF12の取付角度θは、設置高さHLが決まると、測定対象36の測定高さH0と、LRF12で測定したい最長測定距離Lにより決定することができる。
As shown in FIG. 7, the
演算装置20は、LRF12の出力に基づいて、物体を検出する処理を実行する。演算装置20は、例えば、CPU,ROM,RAM等を備えたコンピュータによって構成することができる。演算装置20は、取付位置情報30と、クラスタ記憶部32と、物体記憶部34を記憶している。取付位置情報30は、LRF12の絶対座標系における取付位置(x,y,z)及び取付角度θを記憶している。クラスタ記憶部32は、LRF12を1走査することによって得られた計測点群の中から抽出された物体候補となる計測点群(以下、クラスタという)の絶対座標系の位置(x,y)を記憶する。物体記憶部34は、検出された物体の位置(x,y)と大きさd0と速度(vx,vy)を記憶する。
The
また、演算装置20は、座標変換部22と、特徴抽出部24と、対応付け部26と、運動推定部28を備えている。座標変換部22は、LRF12で計測された計測点までの距離と、記憶されている取付位置情報30に基づいて、計測点の絶対座標系の位置(x,y)を算出する。特徴抽出部24は、LRF12を1走査することによって得られた計測点群の中から、近接する計測点の塊りである「クラスタ」を抽出する。対応付け部26は、特徴抽出部24で抽出されたクラスタを、物体記憶部34に記憶されている物体と対応付ける。運動推定部28は、物体と対応付けられたクラスタの位置(x,y)を用いて、物体の速度(vx,vy)を推定する。なお、演算装置20で得られた検出結果は、外部装置に出力することができるようになっている。上述した演算装置20の各部22,24,26,28の処理については、後で詳述する。
The
次に、上述した物体検出装置10で行われる処理を、図2〜6のフローチャートに従って説明する。物体検出装置10は、所定の計測周期毎に、図2に示すステップS10〜S16の処理を繰り返し実行する。これによって、観測領域内にある物体の検出と、検出された物体の追跡が行われる。
Next, the process performed by the
図2に示すように、物体検出装置10は、まず、LRF12を1走査することで、計測面内に存在する物体までの距離を計測する(ステップS10)。すなわち、計測面内に物体が存在する場合は、その物体から反射されたレーザ光をLRF12で検出し、LRF12からその物体までの距離を計測する(すなわち、計測点までの距離を取得する。)。一方、計測面内に物体が存在しない場合は、反射光をLRF12で検出することができず、そのレーザ光を照射した方向については計測点なしとする。LRF12で計測された距離データは、演算装置20の座標変換部22に入力される。座標変換部22は、LRF12から入力された距離データと、取付位置情報30に記憶されている情報(すなわち、LRF12の絶対座標系における取付位置(x,y,z)及び取付角度θ)とから、LRF12で計測された計測点の絶対座標系における位置(x,y)を算出する。なお、本実施例では、計測点の位置を2次元データ(x,y)に変換することで、その後の計算量を少なくしている。
As shown in FIG. 2, the
次に、演算装置20は、ステップS10の処理で得られた計測点のデータから、物体の候補となるクラスタを抽出する(ステップS12)。クラスタを抽出する処理の一例を、図8を参照して説明する。図8に示すようなLRF12の走査によって計測点38a〜38gが得られた場合を考える。この場合、計測点38bと計測点38cとの距離と、計測点38eと計測点38fとの距離は、他の隣接する計測点間の距離(例えば、計測点38aと計測点38bとの距離等)よりも極めて大きい。このため、計測点38bと計測点38cの間に物体の境界があり、計測点38eと計測点38fの間に物体の境界があると判断することができる。その一方、他の計測点間の間には物体の境界がないと判断することができる。このため、計測点38a,38bで1つのクラスタと判断され、計測点38c〜38eで1つのクラスタと判断され、計測点38f,38gで1つのクラスタと判断される。なお、このようなクラスタ抽出処理は、例えば、「Local Minima法」などの名称で知られている。上記のクラスタ抽出処理をステップS10で得られた計測点群に対して行うことで、LRF12を1走査することによって得られた計測点群の中から、計測面内に存在する物体の候補となるクラスタが抽出される。抽出されたクラスタは、クラスタ記憶部32に記憶される。クラスタ記憶部32には、クラスタ毎に、そのクラスタを構成する各計測点の位置(x,y)が記憶される。
Next, the
クラスタが抽出されると、演算装置20は、抽出したクラスタと、物体記憶部34に記憶されている物体との対応付け処理を行う(ステップS14)。対応付け処理の詳細を、図3〜6に基づいて説明する。
When the cluster is extracted, the
図3に示すように、演算装置20は、物体記憶部34に記憶されている物体の中から1つの物体を選択する(ステップS20)。すなわち、物体記憶部34には、前回の計測周期(ステップ)までの処理(図2のステップS10〜S18)によって検出されている物体が記憶されている。このため、ステップS20の処理では、物体記憶部34に記憶されている物体の中から一の物体を選択する。
As shown in FIG. 3, the
次に、演算装置20は、ステップS20で選択した物体と対応付ける候補となる近接クラスタ候補を抽出する処理を実行する(ステップS22)。ステップS22の近接クラスタ候補の抽出処理の詳細を、図4を参照して説明する。
Next, the
図4に示すように、演算装置20は、まず、ステップS20で選択した物体の推定存在領域を算出する(ステップS30)。すなわち、物体記憶部34には、直前の計測周期(ステップ)において推定した物体の位置(x,y)と速度(vx,vy)と大きさd0が記憶されている。ステップS30では、これらの情報を用いて、今回の計測周期で物体が存在すると推定される存在領域を算出する。図9を参照して具体的に説明する。図9に示す例では、直前の計測周期において、物体が円形状領域40に存在し、その大きさはd0であり、速度ベクトルvを有している。かかる場合に、現在の物体は、領域40を速度ベクトルvの方向に速度ベクトルvの大きさに応じた距離だけシフトした位置43を中心とし、その位置43の前後左右にある程度の幅を持った領域に存在していると考えられる。また、物体の位置は、進行方向に大きくぶれる可能性がある一方で、進行方向に垂直な方向のぶれは小さいと考えられる。このため、本実施例では、推定存在領域42は、速度ベクトルvと平行な方向に長軸dLを有する楕円形状として算出される。すなわち、推定存在領域42は、物体の進行方向に大きな幅dLを有する一方で、進行方向と垂直な方向に小さな幅dSを有する。
As shown in FIG. 4, the
推定存在領域42を算出する具体的な方法としては、物体の速度ベクトルを用いてアドホックに楕円の大きさを決定する方法や、物体の速度とそのばらつき(すなわち、標準偏差)を用いて楕円を生成する方法がある。標準偏差を用いて推定存在領域42を決定する場合は、例えば、図9の長軸dLをd0+2×rm+S×SDvxと決定し、短軸dSをd0+2×rm+S×SDvyと決定することができる。ここで、d0は物体の直径であり、rmは推定存在領域を拡張するためのマージンを含んだ半径であり、Sは係数、SDvxは物体の進行方向の速度の標準偏差であり、SDvyは物体の進行方向と直交する方向の速度の標準偏差である。
Specific methods for calculating the estimated
次に、演算装置20は、ステップS12で抽出したクラスタ(物体候補)の中から、一のクラスタを選択する(ステップS32)。すなわち、クラスタ記憶部23に記憶されているクラスタの中から、一のクラスタを選択する。
Next, the
一のクラスタを選択すると、演算装置20は、選択したクラスタの大きさが適切か否かを判断する(ステップS34)。すなわち、選択したクラスタが物体として適切な大きさでない場合(例えば、LRF12で壁が検出されている場合)は、そのクラスタを物体候補とすることは適切ではない。このため、まず、選択したクラスタの大きさを算出し、その算出した大きさからクラスタが過大であるかないかを判断する。クラスタの大きさの指標には、例えば、クラスタを構成する各計測点が包含される円領域又は楕円領域を決定し、その円領域の直径や楕円領域の長軸の長さを用いることができる。そして、これらの数値が設定値を超えているか否かで判断することができる。あるいは、クラスタを構成する各計測点が包含される円領域の直径又は楕円領域の長軸と、ステップS20で選択した物体の大きさとを比較し、その差が設定値を超える場合を、クラスタの大きさが適切でないと判断するようにしてもよい。
When one cluster is selected, the
選択したクラスタが大き過ぎる場合(ステップS34でNO)はステップS40に進み、選択したクラスタが大き過ぎない場合(ステップS34でYES)は、演算装置20は、ステップS30で算出した推定存在領域に、ステップS32で選択したクラスタの中心が位置するか否かを判断する(ステップS36)。すなわち、選択したクラスタを構成する各計測点が包含される円領域又は楕円領域の中心が、ステップS30で算出した推定存在領域内に位置するか否かを判断する。
If the selected cluster is too large (NO in step S34), the process proceeds to step S40. If the selected cluster is not too large (YES in step S34), the
選択したクラスタの中心が推定存在領域内に位置しない場合(ステップS36でNO)は、その選択したクラスタはステップS20で選択した物体とは関係ないと判断されるため、対応付け部26はそのままステップS40に進む。一方、選択したクラスタの中心が推定存在領域内に位置する場合(ステップS36でYES)は、選択したクラスタがステップS20で選択した物体である可能性がある。このため、その選択したクラスタを、ステップS20で選択した物体の近接クラスタ候補として記憶する(ステップS38)。
If the center of the selected cluster is not located within the estimated presence area (NO in step S36), the selected cluster is determined not to be related to the object selected in step S20, so that the associating
ステップS40に進むと、演算装置20は、ステップS12で抽出した全てのクラスタについて、上述したステップS34〜ステップS38までの処理を実行したか否かを判定する(ステップS40)。ステップS12で抽出した全てのクラスタについてステップS34〜ステップS38までの処理を実行していない場合(ステップS40でYES)は、ステップS32に戻ってステップS32からの処理を繰り返す。これによって、ステップS20で選択した物体に対して、ステップS12で抽出された全てのクラスタとの関連性が評価され、ステップS20で選択された物体である可能性のあるクラスタが抽出される。一方、ステップS12で抽出した全てのクラスタについてステップS34〜ステップS38までの処理を実行している場合(ステップS40でYES)は、そのままクラスタ候補抽出処理を終了し、図3のステップS24に進む。
When the processing proceeds to step S40, the
ステップS24に進むと、演算装置20は、ステップS22の処理で抽出された近接クラスタ候補の中から、ステップS20で選択された物体と対応付けられる可能性の高いクラスタ又はクラスタの組合せによる候補(すなわち、当該物体をLRF12によって観測した部位である可能性の高いクラスタ又はクラスタの組合せ)を抽出する処理を実行する。ステップS24の対応付けクラスタ候補抽出処理の詳細を、図5を参照して説明する。
When the processing proceeds to step S24, the
図5に示すように、まず、演算装置20は、ステップS20で選択された物体について、近接クラスタ候補が記憶されているか否かを判断する(ステップS50)。上述したステップS22の処理で近接クラスタ候補が抽出されていない場合(ステップS50でNO)は、演算装置20は、ステップS20で選択された物体が今回の計測周期(ステップ)で計測されなかったと判断し、ステップS66に進む。ステップS66では、演算装置20は、対応付けられるクラスタが複数周期に亘って検出されていなかったか否かを判断する。対応付けられるクラスタが検出されていないことが複数周期に亘って連続していない場合(ステップS66でNO)は、そのまま対応付けクラスタ候補抽出処理を終了する。対応付けられるクラスタが検出されていないことが複数周期に亘って連続する場合(ステップS66でYES)は、ステップS20で選択された物体がLRF12の観測領域から消えたと判断し、物体記憶部34よりその物体を削除し(ステップS68)、対応付けクラスタ候補抽出処理を終了する。これによって、LRF12の観測領域から消えた物体が、いつまでも物体記憶部34に記憶され続けることが防止される。
As shown in FIG. 5, first, the
一方、上述したステップS22の処理で近接クラスタ候補が抽出されている場合(ステップS50でYES)は、その抽出されている近接クラスタを種々に組合せて近接クラスタ組合せ候補を作成する(S52)。例えば、3個の近接クラスタが抽出されている場合、1個の近接クラスタによって構成される3通りの組合せと、2個の近接クラスタによって構成される3通りの組合せと、3個の近接クラスタによって構成される1通りの組合せを作成する。なお、近接クラスタ組合せ候補を作成する際には、各組合せ候補を構成する近接クラスタの最大値を制限しておくことができる。例えば、人の脚と胴を検出する場合であれば、最大値を2とすることができる。この場合は、1個の近接クラスタによって構成される組合せと、2個の近接クラスタによって構成される組合せが作成される。 On the other hand, when the proximity cluster candidate is extracted in the process of step S22 described above (YES in step S50), the proximity cluster combination candidate is created by variously combining the extracted proximity clusters (S52). For example, when three adjacent clusters are extracted, three combinations constituted by one adjacent cluster, three combinations constituted by two adjacent clusters, and three adjacent clusters Create one combination that is configured. When creating adjacent cluster combination candidates, it is possible to limit the maximum value of adjacent clusters constituting each combination candidate. For example, the maximum value can be set to 2 when detecting a human leg and torso. In this case, a combination constituted by one adjacent cluster and a combination constituted by two adjacent clusters are created.
次いで、演算装置20は、ステップS52で作成した近接クラスタ組合せ候補の中から、一の近接クラスタ組合せ候補を選択する(S54)。そして、選択した近接クラスタ組合せ候補の大きさが適切か否かを判断する(S56)。すなわち、選択した近接クラスタ組合せ候補を構成する各クラスタを包含する円を決定し、その円の直径が設定値を超えるか否かで判断する。具体的には、図10に示すように、近接クラスタ組合せ候補が2つのクラスタ44,46で構成されている場合は、これらのクラスタ44,46を包含する円48を決定し、この円48の直径が設定値を超えるか否かを判断する。
Next, the
なお、本実施例では、近接クラスタ組合せ候補の大きさと設定値とを比較して、近接クラスタ組合せ候補の大きさが適切か否かを判断したが、これ以外の方法によって、近接クラスタ候補の大きさが適切か否かを判断するようにしてもよい。例えば、近接クラスタ組合せ候補の大きさと物体の大きさとを比較し、両者の差が大きい場合には、近接クラスタ組合せ候補の大きさが適切でないと判断するようにしてもよい。このような判断をすることで、誤った近接クラスタ組合せ候補が物体に対応付けられることを防止することができる。 In this embodiment, the size of the proximity cluster combination candidate is compared with the set value to determine whether or not the size of the proximity cluster combination candidate is appropriate. However, the size of the proximity cluster candidate is determined by other methods. It may be determined whether or not the length is appropriate. For example, the size of the proximity cluster combination candidate and the size of the object may be compared, and if the difference between the two is large, it may be determined that the size of the proximity cluster combination candidate is not appropriate. By making such a determination, it is possible to prevent an erroneous proximity cluster combination candidate from being associated with an object.
選択した近接クラスタ組合せ候補の大きさが適切でない場合(ステップS56でNO)は、ステップS60に進む。選択した近接クラスタ組合せ候補の大きさが適切である場合(ステップS56でYES)は、演算装置20は、ステップS20で選択した物体の推定存在領域の中心(図9に示す例では、楕円42の中心43)と、近接クラスタ組合せ候補の中心(図10に示す例では、円48の中心49)との距離(すなわち、評価指標)を算出する(ステップS58)。
If the size of the selected proximity cluster combination candidate is not appropriate (NO in step S56), the process proceeds to step S60. When the size of the selected proximity cluster combination candidate is appropriate (YES in step S56), the
ステップS60に進むと、ステップS52で作成された全ての近接クラスタ組合せ候補について、上述したステップS56又はS58の処理(距離算出)を行っているか否かを判断する。そして、全ての近接クラスタ組合せ候補についてS56又はS58の処理を行っていない場合(ステップS60でNO)は、ステップS54に戻って、ステップS54からの処理を繰り返す。これによって、作成された全ての近接クラスタ組合せ候補に対して、その大きさが評価され、大きさが適切なものについては中心間の距離が算出される。 In step S60, it is determined whether or not the processing (distance calculation) in step S56 or S58 described above has been performed for all adjacent cluster combination candidates created in step S52. Then, when the process of S56 or S58 is not performed for all adjacent cluster combination candidates (NO in step S60), the process returns to step S54 and the processes from step S54 are repeated. As a result, the sizes of all the created proximity cluster combination candidates are evaluated, and the distance between the centers is calculated for the appropriate size.
全ての近接クラスタ組合せ候補についてS56又はS58の処理を行っている場合(ステップS60でYES)は、演算装置20は、ステップS58で算出した距離が最も小さくなる近接クラスタ組合せ候補を物体と対応付ける(ステップS62)。これによって、対応付けクラスタ候補抽出処理が終了する。
When the processing of S56 or S58 is performed for all the proximity cluster combination candidates (YES in step S60), the
なお、ステップS58及びS62の処理を行う際は、物体の速度ベクトルの分散の逆数を考慮して、対応付ける近接クラスタ組合せ候補を決めることができる。すなわち、物体の速度は、進行方向に対してはバラツキが大きく、進行方向と直交する方向に対してはバラツキが小さいことが多い。このため、進行方向の距離については、進行方向の速度の分散(バラツキ)の逆数を考慮することで、その値を小さく評価する。一方、進行方向と直交する方向の距離については、進行方向の速度の分散(バラツキ)の逆数を考慮することで、その値を大きく評価する。そして、両者を足し合わせて、その値がもっとも小さくなるものを選択すればよい。例えば、図13(a)は、歩行者の推定位置(楕円の中心)の前方に、踏み出した歩行者の足を計測したクラスタ68bが存在し、側方に何らかの障害物を計測したクラスタ68aが存在している状況を示している。この場合に、物体(歩行者)の速度ベクトルの分散を考慮しないと、物体66に対応付けるクラスタはクラスタ68aとなる。一方、図13(b)に示すように、物体の速度ベクトルの分散の逆数を考慮すると、物体66に対応付けるクラスタはクラスタ68bとなる。移動中の歩行者の速度を、観測されたクラスタの位置から求める場合、脚の踏み出し、踏み下ろしなどによって、進行方向の速度のバラツキが大きい。このため、このバラツキを考慮することで、ステップS58及びS62の判定精度を高めることができる。
Note that when performing the processing of steps S58 and S62, the adjacent cluster combination candidate to be associated can be determined in consideration of the inverse of the variance of the velocity vector of the object. In other words, the speed of the object often varies greatly with respect to the traveling direction, and the variation with respect to the direction orthogonal to the traveling direction is often small. For this reason, the distance in the traveling direction is evaluated to be small by considering the reciprocal of the dispersion (variation) of the speed in the traveling direction. On the other hand, the distance in the direction orthogonal to the traveling direction is greatly evaluated by considering the reciprocal of the dispersion (variation) of the speed in the traveling direction. Then, by adding the two together, the one with the smallest value may be selected. For example, in FIG. 13A, a
また、物体の大きさと近接クラスタ組合せ候補の大きさの相違を評価関数の一つに入れるようにしてもよい。すなわち、近接クラスタ組合せ候補を構成するクラスタの組合せによっては、推定存在領域の中心との距離が短くなる場合があり、その結果、誤った近接クラスタ組合せ候補が対応付けられることがある。このため、物体の大きさと近接クラスタ組合せ候補の大きさの相違を評価関数の一つに入れることで、誤った対応付けを防止することができる。 Further, the difference between the size of the object and the size of the adjacent cluster combination candidate may be included in one of the evaluation functions. In other words, depending on the combination of clusters constituting the adjacent cluster combination candidate, the distance from the center of the estimated existence region may be shortened, and as a result, an incorrect adjacent cluster combination candidate may be associated. For this reason, it is possible to prevent erroneous association by putting the difference between the size of the object and the size of the adjacent cluster combination candidate into one of the evaluation functions.
ここで、図11,12を用いて、対応付けクラスタ候補の抽出処理を具体的に説明する。図11は、二人の人間がすれ違うときにLRF12で計測される計測点の状態を示している。図中、物体(歩行者)50,52は前回のステップで検出されたものであり、領域53内の4つのクラスタは今回のステップで検出されたものである。また、領域54は物体50の推定存在領域であり、領域56は物体52の推定存在領域である。
Here, the association cluster candidate extraction process will be described in detail with reference to FIGS. FIG. 11 shows a state of measurement points measured by the
図12に示すように、演算装置20は、物体50の推定存在領域54に存在する近接クラスタ候補から、近接クラスタ組合せ候補を作成する。推定存在領域54には3つの近接クラスタ候補が存在するため、近接クラスタ組合せ候補は(a)〜(g)の7通りとなる。近接クラスタ組合せ候補が作成されると、次いで、(a)〜(g)のそれぞれについて、その近接クラスタ候補の中心と推定存在領域54の中心との距離dが計算される。そして、最も距離dが小さくなる近接クラス組合せ候補(f)が物体50と対応付けられる。物体52については、物体50と同様に処理することができる。
As illustrated in FIG. 12, the
なお、上述した説明から明らかなように、物体50は、前回のステップでは1つのクラスタとして検出されているが、今回のステップでは2つのクラスタとして検出される。本実施例では、推定存在領域54内に存在する近接クラスタ候補からそれらの組合せを作成し、作成した組合せのそれぞれについて評価する。このため、物体から計測されるクラスタの数が変化しても、その変化に対応することができる。
As is clear from the above description, the
対応付けクラスタ候補抽出処理が終了すると、図3のステップS26に進んで、物体記憶部34に記憶されている物体の全てについて、ステップS22(近接クラスタ候補抽出処理)とステップS24(対応付けクラスタ候補抽出処理)を実行しているか否かを判定する(ステップS26)。全ての物体について処理を実行していない場合(ステップS26でNO)は、ステップS20に戻って、ステップS20からの処理が実行される。これによって、全ての物体について、対応付けられる近接クラスタ組合せ候補が存在するか否かが判定されることとなる。全ての物体について処理を実行している場合(ステップS26でYES)は、対応付けクラスタ決定処理を実行する(ステップS28)。
When the association cluster candidate extraction process ends, the process proceeds to step S26 in FIG. 3, and step S22 (proximity cluster candidate extraction process) and step S24 (association cluster candidate extraction process) are performed for all the objects stored in the
ステップS28の対応付けクラスタ決定処理を、図6を参照して説明する。図6に示すように、まず、ステップS12でクラスタ記憶部32に記憶されたクラスタの中から1のクラスタを選択する(ステップS70)。次いで、ステップ70で選択したクラスタに、ステップS14の処理により対応付けられた物体が存在するか否かを判定する(ステップS72)。対応付けられた物体が存在しない場合(ステップS72でNO)は、ステップS70で選択されたクラスタを、新規の物体として物体記憶部34に登録し(ステップS76)、ステップS80に進む。
The association cluster determination process in step S28 will be described with reference to FIG. As shown in FIG. 6, first, one cluster is selected from the clusters stored in the
一方、対応付けられた物体が存在する場合(ステップS72でYES)は、ステップS70で選択したクラスタに対応付けられている物体のリストを作成する(ステップS73)。すなわち、ステップS12,S14では、物体を選択して、その選択した物体にクラスタを対応付けていくため、一のクラスタが複数の物体に対応付けられている場合がある。このため、まず、クラスタ毎に、そのクラスタが対応付けられている物体をリストアップする。 On the other hand, if there is an associated object (YES in step S72), a list of objects associated with the cluster selected in step S70 is created (step S73). That is, in steps S12 and S14, since an object is selected and a cluster is associated with the selected object, one cluster may be associated with a plurality of objects. For this reason, first, for each cluster, an object associated with the cluster is listed.
次いで、演算装置20は、リストアップされた物体の中から一の物体を、最終的に対応付ける物体として決定する(ステップS74)。対応付ける物体を最終的に決定する方法としては、例えば、リストアップされた物体に移動物体と固定物体とが含まれている場合、移動物体の方を、最終的に対応付ける物体として決定する。あるいは、対応付けられている物体がともに移動物体である場合は、長時間観測されている移動物体の方を、最終的に対応付ける物体として決定する。
Next, the
ステップS80に進むと、演算装置20は、クラスタ記憶部32に記憶されている全てのクラスタについて、ステップS72〜S78の処理を実行したか否かを判定する(ステップS80)。全てのクラスタについてステップS72〜S78の処理を実行していない場合(ステップS80でNO)は、ステップS70に戻って、ステップS70からの処理を繰り返す。これによって、全てのクラスタについて、物体記憶部34に記憶されている1の物体に対応付けられるか、新規に物体記憶部34に登録されることとなる。一方、全てのクラスタについてステップS72〜S78の処理を実行している場合(ステップS80でYES)は、対応付けクラスタ決定処理を終了し、図2のステップS16に進む。
In step S80, the
図2のステップS16に進むと、演算装置20は、物体記憶部34に記憶されている物体毎に、その物体と対応付けられたクラスタの位置(すなわち、計測された物体の現在の位置)と、その物体の前回のステップで推定された速度に基づいて、現在の物体の位置と速度を推定する(ステップS18)。そして、対応付けられたクラスタから決定される物体の大きさと、推定された物体の位置及び速度を、物体記憶部34に記憶する。これによって物体記憶部34が更新され、物体検出装置10で行われる1ステップ(1計測)の処理が終了する。以後は、ステップS10〜S18までの処理が繰り返される。
When the processing proceeds to step S16 in FIG. 2, the
なお、上記のステップS18の処理には、公知のカルマンフィルタやパーティクルフィルタを用いることができる。カルマンフィルタ等を用いて現在の物体の位置と速度を推定するのは、計測された位置のみを用いると正確な位置が得られない場合があるためである。例えば、脚を計測する場合、一方の脚が他方の脚に遮蔽される場合があり、このような場合は、計測された脚の位置の実に基づいて物体の位置を推定すると、物体の正確な位置を推定することができない。したがって、現在の計測された位置と、過去の推定された速度を用いて、現在の位置と速度を推定することで、物体の位置と速度を精度良く推定することができる。 In addition, a well-known Kalman filter and a particle filter can be used for the process of said step S18. The reason why the current object position and velocity are estimated using a Kalman filter or the like is that an accurate position may not be obtained if only the measured position is used. For example, when measuring a leg, one leg may be shielded by the other leg. In such a case, if the position of the object is estimated based on the actual position of the leg, The position cannot be estimated. Therefore, the position and speed of the object can be accurately estimated by estimating the current position and speed using the current measured position and the past estimated speed.
なお、ステップS18で推定される物体の速度は、次回のステップで物体の推定存在領域を決定するのに用いられる。このため、本実施例では、カルマンフィルタ等で推定された物体の速度を平均化し、その平均化した速度を次回のステップの推定存在領域の決定に利用する。すなわち、物体の中には、その移動速度が周期的に振動するものがある。例えば、人が歩行すると、その歩行速度は歩行メカニズムに起因して周期的に振動する。このような移動速度の振動(揺れ)をカルマンフィルタによって除去するためには、複雑なモデルの適用が必要となり、容易ではない。
仮に、移動速度の揺れを除去しないで、次回の物体の存在領域を推定すると、推定存在領域が移動速度の揺れと同期して揺れることとなる。その結果、誤ったクラスタと対応付けられる場合が生じる。例えば、物体(歩行者)の近傍に存在する壁や柱などから得られたクラスタと対応付けられる場合が生じる。その結果、物体の追跡に失敗してしまう。
このため、本実施例では、カルマンフィルタ等で推定された速度をさらに平均化して移動速度の揺れを除去し、その平均化した速度を次回のステップに用いる。これによって、次回のステップにおいて、物体の存在領域を精度良く推定することができる。その結果、クラスタとの対応付けを精度良く行うことができ、物体を精度良く追跡することが可能となる。
Note that the speed of the object estimated in step S18 is used to determine the estimated presence area of the object in the next step. For this reason, in this embodiment, the speed of the object estimated by the Kalman filter or the like is averaged, and the averaged speed is used for determining the estimated existence area in the next step. That is, some objects have their movement speed periodically oscillating. For example, when a person walks, the walking speed periodically oscillates due to the walking mechanism. In order to remove such movement speed vibration (sway) by the Kalman filter, it is necessary to apply a complicated model, which is not easy.
If the next region where the object exists is estimated without removing the fluctuation in the moving speed, the estimated existing region shakes in synchronization with the fluctuation in the moving speed. As a result, it may be associated with an incorrect cluster. For example, there is a case in which it is associated with a cluster obtained from a wall or a pillar existing in the vicinity of an object (pedestrian). As a result, tracking of the object fails.
For this reason, in this embodiment, the speed estimated by the Kalman filter or the like is further averaged to remove the fluctuation of the moving speed, and the averaged speed is used in the next step. Thereby, in the next step, the existence region of the object can be accurately estimated. As a result, the association with the cluster can be performed with high accuracy, and the object can be tracked with high accuracy.
また、平均化した速度を用いて物体の存在領域を推定することで、物体が一時的に遮蔽状態となっても、途切れることなく物体を追跡することができる。すなわち、物体が遮蔽状態となったときは、遮蔽前の物体の速度を用いて物体の位置を推定しなければならない。物体の速度が振動している場合において、遮蔽前の推定された物体の速度が偏っていると、偏った速度を用いて物体の位置を推定することとなる。その結果、誤ったクラスタと対応付けられてしまう場合が生じる。しかしながら、本実施例では、平均化した速度を用いて物体の存在領域を推定するため、物体とクラスタの対応付けを精度良く行うことができ、物体を途切れることなく追跡することができる。多くの物体が存在する環境下では、物体の一時的な遮蔽は避けられないため、本実施例の物体検出装置は、物体の一時的な遮蔽に対して頑健なシステムとすることができる。 In addition, by estimating the existence area of the object using the averaged speed, the object can be tracked without interruption even if the object is temporarily in a shielding state. That is, when an object is in a shielding state, the position of the object must be estimated using the velocity of the object before shielding. In the case where the speed of the object is vibrating, if the estimated speed of the object before shielding is biased, the position of the object is estimated using the biased speed. As a result, it may be associated with an incorrect cluster. However, in this embodiment, since the existence area of the object is estimated using the averaged speed, the object and the cluster can be accurately associated with each other, and the object can be tracked without interruption. In an environment where there are many objects, temporary shielding of the objects is inevitable. Therefore, the object detection apparatus of this embodiment can be a system that is robust against temporary shielding of objects.
なお、速度の平均化には、ローパスフィルタや移動平均法等を用いることができる。図15は、人が歩行しているところをLRF12で測定(図14に示す状態)し、その測定結果をカルマンフィルタで処理することで得られた速度と、その速度をさらにローパスフィルタで処理した速度を示している。また、図16は、図15と同様、カルマンフィルタによって処理することで得られた速度と、その速度を移動平均法によって平均化した速度を示している。いずれの場合も、カルマンフィルタで処理された速度の揺れが除去されている。 Note that a low-pass filter, a moving average method, or the like can be used for speed averaging. FIG. 15 shows a speed obtained by measuring a place where a person is walking with the LRF 12 (the state shown in FIG. 14) and processing the measurement result with a Kalman filter, and a speed obtained by further processing the speed with a low-pass filter. Is shown. FIG. 16 shows the speed obtained by processing with the Kalman filter and the speed obtained by averaging the speed by the moving average method, as in FIG. In either case, the fluctuation of speed processed by the Kalman filter is removed.
上述した説明から明らかなように、本実施例の物体検出装置10では、LRF12を水平面に対して斜め上方に向けて設置するため、LRF12から遠方の物体の検出を容易化することができる。また、本実施例の物体検出装置10では、計測対象のモデル形態を特定せず、物体の推定存在領域内にあるクラスタの組合せのそれぞれについて、当該物体と対応付けるか否かを評価する。このため、物体から計測されるクラスタの数が変化する場合(例えば、物体の一部が遮蔽される場合、物体の計測部位が変化する場合等)にも対応することができる。さらに、本実施例の物体検出装置10では、物体の推定速度を平均化し、その平均化した速度を用いて物体の推定存在領域を算出する。このため、精度良く物体の対応付けを行うことができ、また、物体が一時的に遮蔽状態となっても、物体と計測されたクラスタとの対応付けを行うことができる。これらによって、本実施例の物体検出装置10は、物体を精度良く検出することができ、また、検出した物体を精度良く追跡することができる。
As is apparent from the above description, in the
なお、上述した実施例では、物体検出装置10を所定の位置に設置(固定)する例について説明したが、本願の技術はこのような例に限られない。例えば、上述した物体検出装置10を移動体(例えば、車両、移動ロボット等)に設置し、移動体の進行方向に存在する障害物を検出するようにしてもよい。この場合、移動体の位置を検出するセンサ(例えば、オドメトリ)と移動体の姿勢を検出するセンサ(例えば、ジャイロセンサ)を移動体に装備し、これらのセンサの値からLRF12の絶対位置と計測方向を計算すればよい。これによって、LRF12で計測された計測点の絶対座標系における位置を算出することができる。なお、移動体の絶対位置を検出するセンサとして、GPSセンサを用いることもできる。車両等の移動体に物体検出装置を搭載する場合、移動体のピッチング等により計測対象物(例えば、人)の計測部位が変化し、計測されるクラスタの個数が変化することがある。このため、車両等の移動体に本実施例の物体検出装置10を搭載することによって、このような事態に対応することができる。また、計測対象のモデル形態を特定していないため、人間だけでなく自転車等も、同一のアルゴリズムで検出することができる。
In the above-described embodiment, the example in which the
また、上述した実施例では、LRF12の距離計測方向が水平面に対して斜め上方に向くようにLRF12を設置したが、本願の技術はこのような形態に限られない。例えば、物体の推定存在領域内にあるクラスタの組合せのそれぞれについて物体と対応付けるか否かを評価する技術、物体の速度を平均化して物体の存在領域を推定する技術等は、LRFの取付角度に関係なく実施することができる。また、LRFの距離計測方式も、レーザ光に限られず、公知の種々の方式(例えば、電磁波等)を用いることができる。 Moreover, in the Example mentioned above, although LRF12 was installed so that the distance measurement direction of LRF12 might face diagonally upward with respect to a horizontal surface, the technique of this application is not restricted to such a form. For example, a technique for evaluating whether or not each combination of clusters in the estimated existence area of the object is associated with the object, a technique for estimating the existence area of the object by averaging the speed of the object, It can be implemented regardless. Also, the LRF distance measurement method is not limited to laser light, and various known methods (for example, electromagnetic waves) can be used.
以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、特許請求の範囲を限定するものではない。特許請求の範囲に記載の技術には、以上に例示した具体例をさまざまに変形、変更したものが含まれる。
本明細書または図面に説明した技術要素は、単独であるいは各種の組み合わせによって技術的有用性を発揮するものであり、出願時請求項記載の組み合わせに限定されるものではない。また、本明細書または図面に例示した技術は複数目的を同時に達成するものであり、そのうちの一つの目的を達成すること自体で技術的有用性を持つものである。
Specific examples of the present invention have been described in detail above, but these are merely examples and do not limit the scope of the claims. The technology described in the claims includes various modifications and changes of the specific examples illustrated above.
The technical elements described in this specification or the drawings exhibit technical usefulness alone or in various combinations, and are not limited to the combinations described in the claims at the time of filing. In addition, the technology illustrated in the present specification or the drawings achieves a plurality of objects at the same time, and has technical utility by achieving one of the objects.
10:物体検出装置
12:LRF
20:演算装置
22:座標変換部
24:特徴抽出部
26:対応付け部
28:運動推定部
30:取付位置情報
32:クラスタ記憶部
34:物体記憶部
10: Object detection device 12: LRF
20: arithmetic unit 22: coordinate conversion unit 24: feature extraction unit 26: association unit 28: motion estimation unit 30: attachment position information 32: cluster storage unit 34: object storage unit
Claims (7)
距離計測センサの出力に基づいて物体を検出する演算装置と、を備えており、
距離計測センサが、計測対象となる物体に応じて設定された測定高さより低い位置に設置され、かつ、距離計測センサがセンサ正面を計測するときの距離計測方向が水平面に対して斜め上方を向くように設置されることを特徴とする物体検出装置。 A two-dimensional scanning distance measuring sensor;
An arithmetic device that detects an object based on the output of the distance measurement sensor,
The distance measurement sensor is installed at a position lower than the measurement height set according to the object to be measured, and the distance measurement direction when the distance measurement sensor measures the front of the sensor is obliquely upward with respect to the horizontal plane An object detection device characterized by being installed as described above.
距離計測センサの出力に基づいて検出された物体を記憶する物体記憶部と、
距離計測センサの出力から近接する計測点群を抽出する特徴抽出部と、
物体記憶部に記憶されている物体毎に、抽出された計測点群のうち当該物体の推定存在領域内に存在する1又は複数の計測点群を組み合わせて生成される計測点群の組合せの中から、当該物体と対応付ける1又は複数の計測点群を特定する対応付け部と、
を有することを特徴とする請求項1に記載の物体検出装置。 The arithmetic unit is
An object storage unit for storing an object detected based on the output of the distance measurement sensor;
A feature extraction unit for extracting adjacent measurement points from the output of the distance measurement sensor;
Among the combinations of measurement point groups generated by combining one or a plurality of measurement point groups existing in the estimated existence area of the object among the extracted measurement point groups for each object stored in the object storage unit An association unit that identifies one or more measurement point groups associated with the object;
The object detection device according to claim 1, comprising:
演算装置は、距離計測センサの計測周期毎に、特徴抽出部による処理と、対応付け部による処理と、運動推定部による処理を実行し、
対応付け部は、物体記憶部に記憶されている物体毎に、直前の計測周期で運動推定部によって推定された当該物体の運動状態を用いて、当該物体の推定存在領域を算出することを特徴とする請求項4に記載の物体検出装置。 The distance measurement sensor periodically measures the distance of one scanning range,
The arithmetic unit executes processing by the feature extraction unit, processing by the association unit, and processing by the motion estimation unit for each measurement cycle of the distance measurement sensor,
The associating unit calculates, for each object stored in the object storage unit, an estimated existence region of the object using the motion state of the object estimated by the motion estimation unit in the immediately preceding measurement cycle. The object detection apparatus according to claim 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010062054A JP5728815B2 (en) | 2010-03-18 | 2010-03-18 | Object detection device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010062054A JP5728815B2 (en) | 2010-03-18 | 2010-03-18 | Object detection device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011196749A true JP2011196749A (en) | 2011-10-06 |
JP5728815B2 JP5728815B2 (en) | 2015-06-03 |
Family
ID=44875179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010062054A Expired - Fee Related JP5728815B2 (en) | 2010-03-18 | 2010-03-18 | Object detection device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5728815B2 (en) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012145444A (en) * | 2011-01-12 | 2012-08-02 | Toyota Motor Corp | Pedestrian detection device |
EP2573613A1 (en) | 2011-09-09 | 2013-03-27 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
JP2013228259A (en) * | 2012-04-25 | 2013-11-07 | Toyota Motor Corp | Object identification device and object identification method |
JP2016130703A (en) * | 2015-01-15 | 2016-07-21 | 株式会社Ihi | Measurement data processing apparatus and measurement data processing method |
JP2017116445A (en) * | 2015-12-25 | 2017-06-29 | トヨタ自動車株式会社 | Object detection device |
WO2017130770A1 (en) * | 2016-01-29 | 2017-08-03 | 学校法人明治大学 | Laser scanning system, laser scanning method, moving laser scanning system, and program |
WO2017141767A1 (en) * | 2016-02-16 | 2017-08-24 | 株式会社バンダイナムコエンターテインメント | Gaming device |
JP2018066702A (en) * | 2016-10-21 | 2018-04-26 | 株式会社デンソーテン | Radar device and target grouping method |
JP2019518932A (en) * | 2016-03-31 | 2019-07-04 | エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー | How to predict the motion of an object |
JP2020091235A (en) * | 2018-12-07 | 2020-06-11 | 学校法人早稲田大学 | Speed detection system for mobile object, speed detector, and program therefor |
WO2020152816A1 (en) * | 2019-01-24 | 2020-07-30 | 三菱電機株式会社 | Tracking device and tracking method |
JP2021175951A (en) * | 2020-05-01 | 2021-11-04 | 株式会社Soken | Object detection apparatus |
WO2021240623A1 (en) * | 2020-05-26 | 2021-12-02 | 三菱電機株式会社 | Predictive tracking device, predictive tracking method, and predictive tracking program |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007193495A (en) * | 2006-01-18 | 2007-08-02 | Matsushita Electric Works Ltd | Mobile vehicle |
JP2008186375A (en) * | 2007-01-31 | 2008-08-14 | Univ Of Tokyo | Object measuring system |
JP2009110124A (en) * | 2007-10-26 | 2009-05-21 | Optex Co Ltd | Target detecting device, target detecting method, and target detecting program |
JP2010151788A (en) * | 2008-11-28 | 2010-07-08 | Denso Wave Inc | Laser radar device |
-
2010
- 2010-03-18 JP JP2010062054A patent/JP5728815B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007193495A (en) * | 2006-01-18 | 2007-08-02 | Matsushita Electric Works Ltd | Mobile vehicle |
JP2008186375A (en) * | 2007-01-31 | 2008-08-14 | Univ Of Tokyo | Object measuring system |
JP2009110124A (en) * | 2007-10-26 | 2009-05-21 | Optex Co Ltd | Target detecting device, target detecting method, and target detecting program |
JP2010151788A (en) * | 2008-11-28 | 2010-07-08 | Denso Wave Inc | Laser radar device |
Cited By (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012145444A (en) * | 2011-01-12 | 2012-08-02 | Toyota Motor Corp | Pedestrian detection device |
EP2573613A1 (en) | 2011-09-09 | 2013-03-27 | Sony Corporation | Information processing apparatus, information processing method, program, and information processing system |
JP2013228259A (en) * | 2012-04-25 | 2013-11-07 | Toyota Motor Corp | Object identification device and object identification method |
JP2016130703A (en) * | 2015-01-15 | 2016-07-21 | 株式会社Ihi | Measurement data processing apparatus and measurement data processing method |
JP2017116445A (en) * | 2015-12-25 | 2017-06-29 | トヨタ自動車株式会社 | Object detection device |
KR20210152036A (en) * | 2016-01-29 | 2021-12-14 | 각코호진 메이지다이가쿠 | The laser scan system, the laser scan method, and the movement laser scan system and program |
WO2017130770A1 (en) * | 2016-01-29 | 2017-08-03 | 学校法人明治大学 | Laser scanning system, laser scanning method, moving laser scanning system, and program |
JPWO2017130770A1 (en) * | 2016-01-29 | 2018-02-22 | 学校法人明治大学 | Laser scanning system mounted on moving body, laser scanning method and program for laser scanner mounted on moving body |
KR102460225B1 (en) * | 2016-01-29 | 2022-10-31 | 각코호진 메이지다이가쿠 | The laser scan system, the laser scan method, and the movement laser scan system and program |
JP2018124283A (en) * | 2016-01-29 | 2018-08-09 | 学校法人明治大学 | Laser scan system, laser scan method, moving laser scan system, and program |
KR20180098360A (en) * | 2016-01-29 | 2018-09-03 | 각코호진 메이지다이가쿠 | Laser scanning system, laser scanning method, moving laser scanning system and program |
CN108603936A (en) * | 2016-01-29 | 2018-09-28 | 学校法人明治大学 | Laser scanning system, Laser Scanning, mobile laser scanning system and program |
TWI764322B (en) * | 2016-01-29 | 2022-05-11 | 學校法人明治大學 | Laser scanning system atteched on moving object, laser scanning method for laser scanner atteched on moving object, and laser scanning program |
US11187790B2 (en) | 2016-01-29 | 2021-11-30 | Meiji University | Laser scanning system, laser scanning method, movable laser scanning system, and program |
KR102159376B1 (en) * | 2016-01-29 | 2020-09-23 | 각코호진 메이지다이가쿠 | Laser scanning system, laser scanning method, mobile laser scanning system and program |
WO2017141767A1 (en) * | 2016-02-16 | 2017-08-24 | 株式会社バンダイナムコエンターテインメント | Gaming device |
JP2019518932A (en) * | 2016-03-31 | 2019-07-04 | エヌイーシー ラボラトリーズ ヨーロッパ ゲーエムベーハー | How to predict the motion of an object |
US11300663B2 (en) | 2016-03-31 | 2022-04-12 | Nec Corporation | Method for predicting a motion of an object |
JP2018066702A (en) * | 2016-10-21 | 2018-04-26 | 株式会社デンソーテン | Radar device and target grouping method |
JP2020091235A (en) * | 2018-12-07 | 2020-06-11 | 学校法人早稲田大学 | Speed detection system for mobile object, speed detector, and program therefor |
JP7186414B2 (en) | 2018-12-07 | 2022-12-09 | 学校法人早稲田大学 | Speed detection system for moving object, speed detection device and its program |
WO2020152816A1 (en) * | 2019-01-24 | 2020-07-30 | 三菱電機株式会社 | Tracking device and tracking method |
JPWO2020152816A1 (en) * | 2019-01-24 | 2021-02-18 | 三菱電機株式会社 | Tracking device and tracking method |
JP2021175951A (en) * | 2020-05-01 | 2021-11-04 | 株式会社Soken | Object detection apparatus |
JP7409959B2 (en) | 2020-05-01 | 2024-01-09 | 株式会社Soken | object detection device |
JPWO2021240623A1 (en) * | 2020-05-26 | 2021-12-02 | ||
WO2021240623A1 (en) * | 2020-05-26 | 2021-12-02 | 三菱電機株式会社 | Predictive tracking device, predictive tracking method, and predictive tracking program |
JP7126633B2 (en) | 2020-05-26 | 2022-08-26 | 三菱電機株式会社 | Predictive tracking device, predictive tracking method and predictive tracking program |
Also Published As
Publication number | Publication date |
---|---|
JP5728815B2 (en) | 2015-06-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5728815B2 (en) | Object detection device | |
KR101778028B1 (en) | Robot and method for planning path of the same | |
KR102172602B1 (en) | Method and Apparatus for Localization and Mapping Using LIDAR | |
KR101619076B1 (en) | Method of detecting and tracking moving object for mobile platform | |
Lan et al. | Using smart-phones and floor plans for indoor location tracking-Withdrawn | |
US11885900B2 (en) | Method and system for tracking a mobile device | |
JP6608456B2 (en) | Estimation apparatus, control method, program, and storage medium | |
KR101572851B1 (en) | Method for building map of mobile platform in dynamic environment | |
Ali et al. | Tightly coupling fusion of UWB ranging and IMU pedestrian dead reckoning for indoor localization | |
KR20190064311A (en) | Method and apparatus for building map using LiDAR | |
CN109509210A (en) | Barrier tracking and device | |
KR20120046974A (en) | Moving robot and simultaneous localization and map-buliding method thereof | |
JP2017072422A (en) | Information processing device, control method, program, and storage medium | |
KR20150144727A (en) | Apparatus for recognizing location mobile robot using edge based refinement and method thereof | |
US10533874B2 (en) | Inertial positioning and navigation device featuring a novel walk detection method | |
CN109643116A (en) | System and method for positioning mobile object | |
Nguyen-Huu et al. | An indoor positioning system using pedestrian dead reckoning with WiFi and map-matching aided | |
Zhou et al. | A lidar odometry for outdoor mobile robots using ndt based scan matching in gps-denied environments | |
JP2017072423A (en) | Estimation device, control method, program, and storage medium | |
Soni et al. | A survey of step length estimation models based on inertial sensors for indoor navigation systems | |
JP6523196B2 (en) | Estimation apparatus, method and program | |
JP5866682B2 (en) | Measuring system and measuring method | |
JP6742157B2 (en) | Object detection device, object detection system, object detection method, and program | |
JP2009178782A (en) | Mobile object, and apparatus and method for creating environmental map | |
Awai et al. | Hog-based person following and autonomous returning using generated map by mobile robot equipped with camera and laser range finder |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130117 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20131127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140131 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140826 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150310 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150323 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5728815 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |