JP2012145444A - Pedestrian detection device - Google Patents

Pedestrian detection device Download PDF

Info

Publication number
JP2012145444A
JP2012145444A JP2011004022A JP2011004022A JP2012145444A JP 2012145444 A JP2012145444 A JP 2012145444A JP 2011004022 A JP2011004022 A JP 2011004022A JP 2011004022 A JP2011004022 A JP 2011004022A JP 2012145444 A JP2012145444 A JP 2012145444A
Authority
JP
Japan
Prior art keywords
point group
pedestrian
detection
detection point
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2011004022A
Other languages
Japanese (ja)
Other versions
JP5664252B2 (en
Inventor
Norihiro Takahashi
典宏 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2011004022A priority Critical patent/JP5664252B2/en
Publication of JP2012145444A publication Critical patent/JP2012145444A/en
Application granted granted Critical
Publication of JP5664252B2 publication Critical patent/JP5664252B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a pedestrian detection device which detects a pedestrian from detection point groups with a high degree of accuracy.SOLUTION: A pedestrian detection device which groups detection points detected by detection means into a plurality of detection point groups D4 and detects a pedestrian from the same comprises: moving direction calculation means S5 to detect a moving direction (corresponding to the direction of a velocity vector D5) of each of the detection point groups D4; distribution information calculation means S7 to calculate distribution information D7 on distribution of each of the detection point groups D4 with respect to the moving direction; and determination means S9 to determine whether or not a temporal change in the distribution information D7 on each of the detection point groups D4 with respect to the moving direction has periodicity and to specify the detection point group having the periodicity as the pedestrian.

Description

本発明は、検出手段によって検出された検出点を複数の検出点群としてグループ化し、それらの検出点群から歩行者を検出する歩行者検出装置に関する。   The present invention relates to a pedestrian detection apparatus that groups detection points detected by detection means as a plurality of detection point groups and detects a pedestrian from these detection point groups.

車両の運転者は、走行中、車両周辺に存在する歩行者等に注意を払わなければならない。そのような運転者の負担を軽減するために、車両周辺の歩行者を検出するための装置が開発されている。歩行者検出装置としては、例えば、特許文献1では、レーザレーダによって取得された車両周辺の検出点の三次元位置情報の時系列データを用いて、時系列に沿った平面上の点群の分布変化の周期性を解析し、周期性がある点群を歩行者として検出する。また、特許文献1では、点群として歩行者の脚部付近に相当する高さの検出点を取得するとともに平面上の点群のサイズが一定範囲内に収まるものを歩行者候補の点群とし、精度向上を図っている。   The driver of the vehicle must pay attention to pedestrians and the like existing around the vehicle while traveling. In order to reduce such a burden on the driver, an apparatus for detecting a pedestrian around the vehicle has been developed. As a pedestrian detection device, for example, in Patent Document 1, using a time-series data of three-dimensional position information of detection points around a vehicle acquired by a laser radar, a distribution of point groups on a plane along the time series The periodicity of the change is analyzed, and a point cloud with periodicity is detected as a pedestrian. Moreover, in patent document 1, the detection point of the height equivalent to the leg part vicinity of a pedestrian is acquired as a point cloud, and the size of the point cloud on a plane falls within a fixed range is set as a pedestrian candidate point cloud. To improve accuracy.

特開2010−205042号公報JP 2010-205042 A 特開2009−288099号公報JP 2009-288099 A 特開2004−185363号公報JP 2004-185363 A

特許文献1の歩行者検出装置の場合、歩行者の動き以外に起因して周期性を持つ物体も歩行者と誤検出するおそれがある。例えば、レーザレーダの計測誤差等によって点群に周期的な分布変化が起こると、その点群を歩行者と誤検出するおそれがある。また、点群の分布変化が歩行者と同様の周期性を持つ他の移動体(例えば、自転車)の場合、歩行者と誤検出するおそれがある。また、周期的な動きを有する静止物体(例えば、風で揺らぐのぼり旗や木)の場合、歩行者と誤検出するおそれがある。さらに、特許文献1の歩行者検出装置の場合、歩行者が走ったときには歩幅が大きくなるので、点群のサイズが大きくなり、そのサイズが一定範囲を超えると、その点群が歩行者候補から除外され、歩行者として検出できない。   In the case of the pedestrian detection device of Patent Document 1, an object having periodicity may be erroneously detected as a pedestrian due to other than the movement of the pedestrian. For example, if a periodic distribution change occurs in a point cloud due to a laser radar measurement error or the like, the point cloud may be erroneously detected as a pedestrian. Further, in the case of another moving body (for example, a bicycle) in which the distribution change of the point cloud has the same periodicity as that of a pedestrian, there is a possibility that it is erroneously detected as a pedestrian. In addition, in the case of a stationary object having a periodic movement (for example, a banner or a tree that swings in the wind), it may be erroneously detected as a pedestrian. Furthermore, in the case of the pedestrian detection device of Patent Document 1, since the stride increases when the pedestrian runs, the size of the point cloud increases, and when the size exceeds a certain range, the point cloud is detected from the pedestrian candidate. It is excluded and cannot be detected as a pedestrian.

そこで、本発明は、検出点群から歩行者を高精度に検出する歩行者検出装置を提供することを課題とする。   Then, this invention makes it a subject to provide the pedestrian detection apparatus which detects a pedestrian from a detection point group with high precision.

本発明に係る歩行者検出装置は、検出手段によって検出された検出点を複数の検出点群としてグループ化し、それらの検出点群から歩行者を検出する歩行者検出装置であって、検出点群毎に検出点群の移動方向を算出する移動方向算出手段と、検出点群毎に移動方向算出手段で算出された移動方向に対する検出点群の分布情報を算出する分布情報算出手段と、検出点群毎に分布情報算出手段で算出された移動方向に対する検出点群の分布情報の時間変化に周期性があるか否かを判定し、周期性がある検出点群を歩行者と判定する判定手段とを備えることを特徴とする。   A pedestrian detection device according to the present invention is a pedestrian detection device that groups detection points detected by a detection unit as a plurality of detection point groups and detects a pedestrian from these detection point groups, the detection point group A moving direction calculating unit that calculates a moving direction of the detection point group for each detection point; a distribution information calculating unit that calculates distribution information of the detection point group with respect to the moving direction calculated by the moving direction calculating unit for each detection point group; Determining means for determining whether the temporal change of the distribution information of the detection point group with respect to the moving direction calculated by the distribution information calculating means for each group has periodicity, and determining the detection point group having periodicity as a pedestrian It is characterized by providing.

この歩行者検出装置では、検出手段によって物体に対する各検出点を取得し、その取得された検出点をグループ化して複数の検出点群に分け、その複数の検出点群から歩行者を検出する。特に、歩行者検出装置では、検出点群毎に、移動方向算出手段によって検出点群の移動方向を算出し、分布情報算出手段によって検出点群の移動方向に対する分布情報(例えば、検出点群の移動方向のサイズ、検出点群の移動方向の分散値)を算出する。歩行者の場合、任意の方向にある程度継続して移動するので、脚の動きに起因する周期性も移動方向に沿って有することによる。そこで、歩行者検出装置では、検出点群毎に、判定手段によって検出点群の移動方向に対する分布情報の時間変化に周期性があるか否かを判定し、移動方向に対する分布情報の時間変化に周期性がある検出点群を歩行者と判定する。このように、歩行者検出装置では、検出点群の移動方向に対する分布情報の時間変化に周期性があるか否かを判定することにより、歩行者を高精度に検出することができる。これによって、歩行者の動き以外に起因して周期性を持つ物体についての検出点群を誤検出することを低減できる。   In this pedestrian detection device, each detection point for an object is acquired by a detection means, the acquired detection points are grouped and divided into a plurality of detection point groups, and a pedestrian is detected from the plurality of detection point groups. In particular, in the pedestrian detection device, for each detection point group, the movement direction calculation unit calculates the movement direction of the detection point group, and the distribution information calculation unit calculates distribution information (for example, the detection point group) of the detection point group. The size in the moving direction and the dispersion value in the moving direction of the detection point group) are calculated. In the case of a pedestrian, since it moves to some extent in a certain direction, it is because it also has periodicity due to the movement of the legs along the moving direction. Therefore, in the pedestrian detection device, for each detection point group, the determination unit determines whether or not the temporal change of the distribution information with respect to the movement direction of the detection point group has periodicity, and the temporal change of the distribution information with respect to the movement direction. A detection point group having periodicity is determined as a pedestrian. Thus, in the pedestrian detection apparatus, it is possible to detect a pedestrian with high accuracy by determining whether or not the temporal change of the distribution information with respect to the moving direction of the detection point group has periodicity. Thereby, it is possible to reduce erroneous detection of a detection point group for an object having periodicity due to other than the movement of a pedestrian.

本発明の上記歩行者検出装置では、判定手段は、検出点群の移動速度と移動方向に対する分布情報に歩行者特有の相関関係がある場合に該検出点群を歩行者と判定すると好適である。   In the pedestrian detection device of the present invention, it is preferable that the determination unit determines that the detection point group is a pedestrian when there is a correlation specific to the pedestrian in the distribution information with respect to the movement speed and the movement direction of the detection point group. .

歩行者の場合、歩いているとき(速度が遅いとき)には歩幅が小さく、走っているとき(速度が速いとき)には歩幅が大きくなる。このように、歩行者の速度と歩幅とには相関関係がある。そこで、この歩行者検出装置では、判定手段によって、検出点群の移動速度と移動方向に対する分布情報(移動方向に対する分布情報は歩幅に依存する)に歩行者特有の相関関係がある場合にその検出点群を歩行者と判定する。このように、歩行者検出装置では、検出点群の移動速度と移動方向に対する分布情報に歩行者特有の相関関係があるか否かを判定することにより、歩行者をより高精度に検出することができる。例えば、検出手段の検出誤差等によって検出点群の分布に周期的な変化が起こったとしても、その検出点群については移動速度と移動方向に対する分布情報に歩行者特有の相関関係がある可能性は極めて低いので、その検出点群を誤検出することを低減できる。また、検出点群の分布情報の時間変化が歩行者と同様の周期性を持つ他の移動体(例えば、自転車)の場合、速度が遅いときでも速いときでも移動方向に対する分布情報が変わらないので、そのような移動体を誤検出することを低減できる。また、歩行者が歩いているときでも走っているときでも、歩行者として検出できる。   In the case of a pedestrian, the stride is small when walking (when the speed is slow), and the stride is large when running (when the speed is fast). Thus, there is a correlation between the pedestrian speed and the stride. Therefore, in this pedestrian detection device, the determination means detects when there is a pedestrian-specific correlation between the movement speed of the detection point group and the distribution information for the movement direction (the distribution information for the movement direction depends on the stride). The point cloud is determined as a pedestrian. Thus, in the pedestrian detection device, it is possible to detect a pedestrian with higher accuracy by determining whether or not there is a correlation specific to the pedestrian in the distribution information with respect to the moving speed and the moving direction of the detection point group. Can do. For example, even if a periodic change occurs in the distribution of detection point groups due to detection errors of the detection means, etc., there is a possibility that there is a pedestrian-specific correlation in the distribution information for the movement speed and movement direction for the detection point group. Is extremely low, and it is possible to reduce erroneous detection of the detection point group. In addition, in the case of other moving bodies (for example, bicycles) whose temporal changes in the distribution information of the detection point group have the same periodicity as pedestrians, the distribution information for the moving direction does not change even when the speed is low or high. It is possible to reduce erroneous detection of such a moving body. Moreover, even when a pedestrian is walking or running, it can be detected as a pedestrian.

本発明の上記歩行者検出装置では、判定手段は、検出点群毎に検出点群の移動情報を蓄積し、該蓄積されている検出点群の移動情報に基づいて検出点群が一定時間安定して移動していると判断した場合に該検出点群を歩行者と判定すると好適である。   In the pedestrian detection device of the present invention, the determination unit accumulates movement information of the detection point group for each detection point group, and the detection point group is stable for a certain period of time based on the accumulated movement information of the detection point group. If it is determined that the detected point group is moving, it is preferable to determine the detected point group as a pedestrian.

歩行者は、所定の方向に、所定の速度である程度継続して移動し、移動方向や移動速度等の時間変化が少ない。そこで、この歩行者検出装置では、検出点群毎に検出点群の移動情報(例えば、移動方向、移動速度、位置)を時系列で蓄積する。そして、歩行者検出装置では、判定手段によって、検出点群の所定時間分の移動情報に基づいて検出点群が一定時間安定した移動(つまり、移動情報について変化が少ない移動)をしていると判断した場合にその検出点群を歩行者と判定する。このように、歩行者検出装置では、検出点群が一定時間安定した移動をしているか否か判定することにより、歩行者をより高精度に検出することができる。例えば、周期的な動きを有する静止物体(例えば、風で揺らぐのぼり旗や木)の場合、その移動方向や移動速度は短時間の間にランダムに変化するので、そのような静止動体を誤検出することを低減できる。   The pedestrian moves continuously in a predetermined direction at a predetermined speed to some extent, and changes with time such as a moving direction and a moving speed are small. Therefore, in this pedestrian detection device, movement information (for example, movement direction, movement speed, and position) of the detection point group is accumulated in time series for each detection point group. In the pedestrian detection device, the determination unit moves the detection point group stably for a predetermined time based on the movement information of the detection point group for a predetermined time (that is, movement with little change in the movement information). When it is determined, the detected point group is determined as a pedestrian. Thus, in the pedestrian detection device, it is possible to detect the pedestrian with higher accuracy by determining whether or not the detection point group moves stably for a certain period of time. For example, in the case of a stationary object with periodic motion (for example, a flag or tree that swings in the wind), its moving direction and speed change randomly in a short time, so such a stationary moving object is erroneously detected. Can be reduced.

本発明によれば、検出点群の移動方向に対する分布情報の時間変化に周期性があるか否かを判定することにより、歩行者を高精度に検出することができる。   According to the present invention, it is possible to detect a pedestrian with high accuracy by determining whether or not the temporal change of the distribution information with respect to the moving direction of the detection point group has periodicity.

本実施の形態に係る歩行者検出装置の構成図である。It is a block diagram of the pedestrian detection apparatus which concerns on this Embodiment. 本実施の形態に係るクラスタリング点群の時間変化の一例であり、(a)が正面方向から直進する車両に対するクラスタリング点群であり、(b)が正面方向から左折する車両に対するクラスタリング点群であり、(c)が正面方向から直進する歩行者に対するクラスタリング点群である。It is an example of the time change of the clustering point group which concerns on this Embodiment, (a) is a clustering point group with respect to the vehicle which goes straight from the front direction, (b) is a clustering point group with respect to the vehicle which turns left from the front direction. (C) is a clustering point group for a pedestrian who goes straight from the front direction. 本実施の形態に係る歩行者検出のメイン処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the main process of the pedestrian detection which concerns on this Embodiment. 本実施の形態に係る点群移動情報判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the point cloud movement information determination process which concerns on this Embodiment. 本実施の形態に係るバラツキ量正規化処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the variation amount normalization process which concerns on this Embodiment. 本実施の形態に係る周期性判定処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the periodicity determination process which concerns on this Embodiment.

以下、図面を参照して、本発明に係る歩行者検出装置の実施の形態を説明する。なお、各図において同一又は相当する要素については同一の符号を付し、重複する説明を省略する。   Hereinafter, an embodiment of a pedestrian detection device according to the present invention will be described with reference to the drawings. In addition, the same code | symbol is attached | subjected about the element which is the same or it corresponds in each figure, and the overlapping description is abbreviate | omitted.

本実施の形態では、本発明に係る歩行者検出装置を、車両に搭載される歩行者検出装置に適用する。本実施の形態に係る歩行者検出装置は、レーザレーダによって車両周辺を計測し、計測された検出点の三次元情報を取得し、その検出点の三次元情報を用いて複数の移動体属性(例えば、歩行者、車両(乗用車、大型車等)、自転車、オートバイ)の中から歩行者を識別する。歩行者検出装置で検出された歩行者の情報は、歩行者情報を必要とする運転支援装置等で用いられる。   In the present embodiment, the pedestrian detection device according to the present invention is applied to a pedestrian detection device mounted on a vehicle. The pedestrian detection apparatus according to the present embodiment measures a vehicle periphery by using a laser radar, acquires three-dimensional information of the measured detection points, and uses a plurality of moving body attributes (three-dimensional information using the detection points). For example, pedestrians are identified from among pedestrians, vehicles (passenger cars, large vehicles, etc.), bicycles, motorcycles). Information on the pedestrian detected by the pedestrian detection device is used in a driving support device that requires pedestrian information.

図1及び図2を参照して、本実施の形態に係る歩行者検出装置1について説明する。図1は、本実施の形態に係る歩行者検出装置の構成図である。図2は、本実施の形態に係るクラスタリング点群の時間変化の一例であり、(a)が正面方向から直進する車両に対するクラスタリング点群であり、(b)が正面方向から左折する車両に対するクラスタリング点群であり、(c)が正面方向から直進する歩行者に対するクラスタリング点群である。   With reference to FIG.1 and FIG.2, the pedestrian detection apparatus 1 which concerns on this Embodiment is demonstrated. FIG. 1 is a configuration diagram of a pedestrian detection device according to the present embodiment. FIG. 2 is an example of a time change of the clustering point group according to the present embodiment, where (a) is a clustering point group for a vehicle going straight from the front direction, and (b) is a clustering for a vehicle turning left from the front direction. It is a point cloud, and (c) is a clustering point cloud for a pedestrian who goes straight from the front direction.

歩行者検出装置1では、レーザレーダによって計測された検出点の三次元点群から立体物を分離し、立体物の点群をクラスタリングし、クラスタリングされた点群毎に歩行者か否かを識別する。この歩行者の識別では、クラスタリング点群毎に、点群の時系列データを用いて点群を追跡して速度ベクトルを算出し、点群の移動方向(速度ベクトルの方向)に対するバラツキ量を算出し、このバラツキ量の時系列データに基づいてバラツキ量の時間変化の周期性の有無を判定して歩行者を識別する。特に、点群の移動情報の蓄積データに基づいて点群が一定時間安定した移動をしているか否かを判定するとともに、バラツキ量を移動速度(速度ベクトルの速度)に応じて正規化した正規化バラツキ量を用いて周期性を判定する。なお、クラスタリング点群毎(すなわち、検出点群毎)とは、全ての検出点群である場合であっても又は(サイズが大きすぎる検出点群を除去するなどして)一部の検出点群である場合であってもどちらでもよい。   The pedestrian detection apparatus 1 separates a three-dimensional object from a three-dimensional point group of detection points measured by a laser radar, clusters the point group of the three-dimensional object, and identifies whether the person is a pedestrian for each clustered point group. To do. In this pedestrian identification, for each clustering point cloud, the point cloud is tracked using the time series data to calculate the velocity vector, and the amount of variation with respect to the movement direction of the point cloud (the direction of the velocity vector) is calculated. Then, based on the time series data of the variation amount, the presence / absence of periodicity of the variation amount in time is determined to identify the pedestrian. In particular, it is determined whether or not the point cloud has moved stably for a certain period of time based on the accumulated data of the point cloud movement information, and the amount of variation is normalized according to the moving speed (speed of the speed vector) The periodicity is determined using the variation amount. Note that each clustering point group (that is, each detection point group) refers to all detection point groups or some detection points (for example, by removing detection point groups that are too large). Even if it is a group, either may be sufficient.

そのために、歩行者検出装置1は、レーザレーダ2とECU[Electronic Control Unit]3を備えている。なお、本実施の形態では、レーザレーダ2が特許請求の範囲に記載する検出手段に相当する。   For this purpose, the pedestrian detection device 1 includes a laser radar 2 and an ECU [Electronic Control Unit] 3. In the present embodiment, the laser radar 2 corresponds to detection means described in the claims.

ここで、図2を参照して、クラスタリング点群のバラツキ量の時間変化について説明しておく。図2では、黒丸で2次元平面上に投影された検出点を示しており、太い矢印でクラスタリング点群の移動方向を示している。また、図2では、連続する時間t1,t2,t3,t4でのクラスタリング点群と移動方向を示している。   Here, with reference to FIG. 2, the time change of the variation amount of the clustering point group will be described. In FIG. 2, detection points projected on a two-dimensional plane are indicated by black circles, and a moving direction of the clustering point group is indicated by a thick arrow. Further, FIG. 2 shows clustering point groups and moving directions at successive times t1, t2, t3, and t4.

図2(a)には、自車両の正面方向から直進してくる車両に対する検出点からなるクラスタリング点群の時間変化を示している。この場合、その車両の各時間t1,t2,t3,t4での移動方向D11,D12,D13,D14に対する点群の各時間t1,t2,t3,t4でのバラツキ量(この例では、移動方向の点群の長さL11,L12,L13,L14)は、時間が変化しても、殆ど変化しない。   FIG. 2A shows a time change of a clustering point group composed of detection points for a vehicle traveling straight from the front direction of the host vehicle. In this case, the amount of variation at each time t1, t2, t3, t4 of the point group with respect to the movement direction D11, D12, D13, D14 at each time t1, t2, t3, t4 of the vehicle (in this example, the movement direction The lengths L11, L12, L13, and L14) of the point cloud hardly change even if the time changes.

図2(b)には、自車両の正面方向で左折している車両に対する検出点からなるクラスタリング点群の時間変化を示している。この場合、その車両の各時間t1,t2,t3,t4での移動方向D21,D22,D23,D24に対する点群の各時間t1,t2,t3,t4でのバラツキ量(移動方向の点群の長さL21,L22,L23,L24)は、時間の変化に伴って、単調増加している。   FIG. 2B shows a time change of a clustering point group including detection points for a vehicle turning left in the front direction of the host vehicle. In this case, the amount of variation at each time t1, t2, t3, t4 of the point cloud with respect to the moving direction D21, D22, D23, D24 at each time t1, t2, t3, t4 of the vehicle (of the point group in the moving direction). The lengths L21, L22, L23, and L24) monotonously increase with time.

図2(c)には、自車両の正面方向から直進してくる歩行者に対する検出点からなるクラスタリング点群の時間変化を示している。この場合、その歩行者の各時間t1,t2,t3,t4での移動方向D31,D32,D33,D34に対する点群の各時間t1,t2,t3,t4でのバラツキ量(移動方向の点群の長さL31,L32,L33,L34)は、歩行者の脚及び手(特に、脚)の動きにより、周期的に変化している。つまり、左右の脚のうち一方が前方に他方が後方になっているとき又は一方が後方に他方が前方になっているときには移動方向の点群の長さL32,L34が長くなり、前方にあった脚が後方に移行しかつ後方にあった脚が前方に移行するときに移動方向の点群の長さL31,L33が短くなる。さらに、歩行者の場合、歩いているときには歩幅が小さいので、移動方向の点群の長さが短くなり、走っているときには歩幅が大きくなるので、移動方向の点群の長さが長くなる。   FIG. 2C shows a time change of the clustering point group composed of detection points for a pedestrian who goes straight from the front direction of the host vehicle. In this case, the amount of variation at each time t1, t2, t3, t4 of the point cloud with respect to the movement direction D31, D32, D33, D34 of the pedestrian at each time t1, t2, t3, t4 (point cloud in the movement direction). The lengths L31, L32, L33, and L34) periodically change due to the movement of the legs and hands (particularly legs) of the pedestrian. In other words, when one of the left and right legs is forward and the other is rearward, or when one is rearward and the other is forward, the lengths L32 and L34 of the moving direction point group become longer and forward. The lengths L31 and L33 of the point cloud in the moving direction are shortened when the leg that has moved back and the leg that has been behind moved forward. Further, in the case of a pedestrian, since the stride is small when walking, the length of the point cloud in the moving direction is shortened, and when the user is running, the stride is large, so the length of the point cloud in the moving direction is long.

レーザレーダ2は、レーザ光を利用して物体を検出する走査型のレーダである。レーザレーダ2は、車両周辺を検出するために、車両の所定の位置に取り付けられる。車両周辺の検出方向としては、少なくとも車両の前方であり、必要に応じた他の方向も検出する。レーザレーダ2では、一定時間毎に、水平方向を検出するために、発光部と受光部を水平方向に回転させ、レーザ光を水平方向の各走査角度で出射し、反射してきたレーザ光を受光する。また、レーザレーダ2では、一定時間毎に、鉛直方向を検出するために、発光部と受光部を鉛直方向に回転させ、レーザ光を鉛直方向の各走査角度で出射し、反射してきたレーザ光を受光する。そして、レーザレーダ2では、受光できた各反射点(検出点)についての情報(水平方向の走査角度、鉛直方向の走査角度、出射時刻、受光時刻、受光強度(反射強度)等)からなるレーダ信号をECU3に送信する。なお、鉛直方向あるいは水平方向に複数個のレーザレーダを設け、各レーザレーダで水平方向あるいは鉛直方向の一方向だけを走査するような構成でもよい。   The laser radar 2 is a scanning radar that detects an object using laser light. The laser radar 2 is attached to a predetermined position of the vehicle in order to detect the periphery of the vehicle. The detection direction around the vehicle is at least the front of the vehicle and detects other directions as necessary. In the laser radar 2, in order to detect the horizontal direction at regular intervals, the light emitting unit and the light receiving unit are rotated in the horizontal direction, the laser beam is emitted at each horizontal scanning angle, and the reflected laser beam is received. To do. Further, in the laser radar 2, in order to detect the vertical direction at regular intervals, the light emitting unit and the light receiving unit are rotated in the vertical direction, the laser beam is emitted at each scanning angle in the vertical direction, and is reflected. Is received. In the laser radar 2, a radar including information (horizontal scanning angle, vertical scanning angle, emission time, light reception time, light reception intensity (reflection intensity), etc.) about each reflection point (detection point) that can be received. A signal is transmitted to ECU3. A configuration in which a plurality of laser radars are provided in the vertical direction or the horizontal direction and each laser radar scans only one direction in the horizontal direction or the vertical direction may be employed.

ECU3は、CPU[CentralProcessing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]等からなる電子制御ユニットであり、歩行者検出装置1を統括制御する。ECU3では、ROMに記憶されている歩行者検出装置1用のアプリケーションをRAMにロードしてCPUで実行することにより、距離計測処理、道路平面推定処理、立体物分離処理、クラスタリング処理、点群追跡処理、点群移動情報判定処理、バラツキ量算出処理、バラツキ量正規化処理、周期性判定処理を行う。なお、本実施の形態では、し、点群追跡処理が特許請求の範囲に記載する移動方向算出手段に相当し、バラツキ量算出処理が特許請求の範囲に記載する分布情報算出手段に相当し、点群移動情報判定処理、バラツキ量正規化処理、周期性判定処理が特許請求の範囲に記載する判定手段に相当する。   The ECU 3 is an electronic control unit including a CPU [Central Processing Unit], a ROM [Read Only Memory], a RAM [Random Access Memory], and the like, and comprehensively controls the pedestrian detection device 1. The ECU 3 loads the application for the pedestrian detection device 1 stored in the ROM into the RAM and executes it by the CPU, thereby performing distance measurement processing, road plane estimation processing, three-dimensional object separation processing, clustering processing, and point cloud tracking. Processing, point cloud movement information determination processing, variation amount calculation processing, variation amount normalization processing, and periodicity determination processing are performed. In the present embodiment, the point cloud tracking process corresponds to the moving direction calculating means described in the claims, and the variation amount calculating process corresponds to the distribution information calculating means described in the claims. Point cloud movement information determination processing, variation amount normalization processing, and periodicity determination processing correspond to the determination means described in the claims.

距離計測処理では、レーザレーダ2で検出できた検出点毎に、検出点についてのレーダ光の出射から受光までの時間に基づいて検出点までの相対距離を算出し、さらに、その検出点についての水平方向の走査角度及び鉛直方向の走査角度と相対距離に基づいて自車両の基準点(例えば、レーザレーダ2の取り付け位置、車両の重心位置)に対する三次元位置(前後方向の位置、横方向の位置、高さ方向の位置)を算出する。そして、距離計測処理では、レーザレーダ2で検出できた全ての検出点の三次元位置情報からなる三次元点群を取得する。さらに、必要に応じて、各検出点の相対速度等の他の情報も算出する。   In the distance measurement processing, for each detection point that can be detected by the laser radar 2, a relative distance to the detection point is calculated based on the time from the emission of the radar light to the reception of the detection point, and further, the detection point is detected. Based on the horizontal scanning angle and the vertical scanning angle and relative distance, a three-dimensional position (front-rear direction position, lateral direction position) relative to the reference point of the vehicle (for example, the position where the laser radar 2 is attached, the center of gravity position of the vehicle). Position, height position). In the distance measurement process, a three-dimensional point group including three-dimensional position information of all detection points detected by the laser radar 2 is acquired. Furthermore, other information such as the relative speed of each detection point is also calculated as necessary.

道路平面推定処理では、三次元点群の検出点の中から道路平面についての検出点を推定する。この推定方法としては、例えば、検出点の高さ位置に基づいて道路平面か否かを判定する。そして、道路平面推定処理では、道路平面の検出点の三次元位置情報からなる道路平面点群を取得する。   In the road plane estimation process, the detection point for the road plane is estimated from the detection points of the three-dimensional point group. As this estimation method, for example, it is determined whether or not the road plane is based on the height position of the detection point. Then, in the road plane estimation process, a road plane point group made up of three-dimensional position information of detection points on the road plane is acquired.

立体物分離処理では、三次元点群の検出点から道路平面点群の検出点を除外することにより、立体物についての検出点を分離する。立体物分離処理では、全ての立体物の検出点の三次元位置情報からなる立体物点群を取得する。   In the three-dimensional object separation process, the detection points of the three-dimensional object are separated by excluding the detection points of the road plane point group from the detection points of the three-dimensional point group. In the three-dimensional object separation process, a three-dimensional object point group including three-dimensional position information of detection points of all three-dimensional objects is acquired.

クラスタリング処理では、立体物点群の検出点の三次元位置を比較するなどして1つの物体をみなせる検出点を結合し、立体物点群に含まれる検出点をクラスタリングする。クラスタリング処理では、クラスタリングで分けられた複数の検出点の三次元位置情報からなるクラスタリング点群を取得する。   In the clustering process, detection points that can be regarded as one object are combined by comparing the three-dimensional positions of the detection points of the three-dimensional object point group, and the detection points included in the three-dimensional object point group are clustered. In the clustering process, a clustering point group including three-dimensional position information of a plurality of detection points divided by clustering is acquired.

点群追跡処理では、クラスタリング点群の時系列蓄積データを用いて、クラスタリング点群毎に、同じ物体に対するクラスタリング点群を追跡し、追跡できたクラスタリング点群の速度ベクトルを算出する。例えば、同じ物体に対するクラスタリング点群の各時間での重心位置(三次元位置)を算出し、その各時間の重心位置から速度ベクトルを算出する。クラスタリング点群の速度ベクトルには、クラスタリング点群の移動方向と移動速度の情報が含まれる。   In the point cloud tracking process, the clustering point cloud for the same object is tracked for each clustering point cloud using the time series accumulation data of the clustering point cloud, and the velocity vector of the clustering point cloud that can be tracked is calculated. For example, the centroid position (three-dimensional position) at each time of the clustering point group for the same object is calculated, and the velocity vector is calculated from the centroid position at each time. The speed vector of the clustering point group includes information on the moving direction and moving speed of the clustering point group.

点群移動情報判定処理では、クラスタリング点群毎に、点群追跡処理で算出されたクラスタリング点群の移動情報(速度ベクトル、重心位置情報等)を時系列で所定時間分(クラスタリング点群の移動状況が判る程度の時間分)蓄積する。そして、点群移動情報判定処理では、クラスタリング点群毎に、蓄積されているクラスタリング点群の移動情報に基づいて、クラスタリング点群が一定時間安定した移動を続けている(変化の少ない移動を継続している)か否かを判定する。この判定では、例えば、一定時間の間、移動速度の時間変化量が閾値以下かつ移動方向の時間変化量が閾値以下かを判定したり、重心位置間の距離の時間変化量が閾値以下かを判定する。これらの閾値や一定時間については、実験等によって設定する。   In the point cloud movement information determination process, for each clustering point cloud, the movement information (velocity vector, centroid position information, etc.) of the clustering point cloud calculated by the point cloud tracking process is time-sequential (the movement of the clustering point cloud). Accumulate time). In the point cloud movement information determination process, for each clustering point group, the clustering point group continues to move stably for a certain period of time based on the accumulated movement information of the clustering point group (continues movement with little change). Or not). In this determination, for example, it is determined whether the time change amount of the moving speed is less than the threshold value and the time change amount in the moving direction is less than the threshold value for a certain time, or whether the time change amount of the distance between the center of gravity positions is less than the threshold value. judge. These threshold values and fixed time are set by experiments or the like.

風によって揺らぐ木やのぼり旗等は、周期的に揺らぐ場合があるが、その移動速度や移動方向は短い時間間隔でランダムに変化する。一方、歩行者は、所定の方向に、所定の速度である程度継続して移動し、その移動方向や移動速度の時間変化は少ない。そこで、点群移動情報判定処理では、一定時間安定した移動を続けていないと判定したクラスタリング点群については揺らぎを持つ静止物体と判断し、処理対象のクラスタリング点群から除外する。   Trees and banners that fluctuate due to the wind may fluctuate periodically, but their moving speed and direction change randomly at short time intervals. On the other hand, a pedestrian continuously moves to a predetermined direction at a predetermined speed to some extent, and changes in the moving direction and moving speed with time are small. Therefore, in the point cloud movement information determination process, the clustering point group determined not to continue moving stably for a certain time is determined as a stationary object having fluctuations and excluded from the clustering point group to be processed.

バラツキ量算出処理では、点群移動情報判定処理で一定時間安定した移動を続けていると判定されたクラスタリング点群毎に、クラスタリング点群の移動方向(点群追跡処理で算出された速度ベクトルの方向)に対するバラツキ量を算出する。移動方向に対するバラツキ量としては、例えば、クラスタリング点群の移動方向の長さ、クラスタリング点群の移動方向の分散値がある。   In the variation amount calculation process, the movement direction of the clustering point group (the velocity vector calculated by the point group tracking process) is determined for each clustering point group that is determined to have continued stable movement for a certain period of time in the point group movement information determination process. The amount of variation with respect to (direction) is calculated. Examples of the variation amount with respect to the moving direction include the length of the clustering point group in the moving direction and the variance value of the moving direction of the clustering point group.

バラツキ量正規化処理では、クラスタリング点群毎に、バラツキ量算出処理で算出されたバラツキ量をクラスタリング点群の移動速度(点群追跡処理で算出された速度ベクトルの速度)に応じて正規化する。バラツキ量の移動速度に応じた正規化としては、例えば、バラツキ量を移動速度で除算する。   In the variation amount normalization processing, for each clustering point group, the variation amount calculated in the variation amount calculation processing is normalized according to the moving speed of the clustering point group (speed of the velocity vector calculated in the point group tracking processing). . As normalization according to the movement speed of the variation amount, for example, the variation amount is divided by the movement speed.

歩行者の場合、歩いているとき(速度が遅いとき)には歩幅が小さいので、移動方向に対するバラツキ量が小さくなり、走っているとき(速度が速いとき)には歩幅が大きくなるので、移動方向に対するバラツキ量が大きくなる。つまり、歩行者の場合、クラスタリング点群の速度と移動方向に対するバラツキ量には歩行者特有の相関関係があり、速度が変化しても正規化バラツキ量の変化は少ない。その結果、正規化バラツキ量を用いて周期性判定を行うことより、歩行者の速度が変化した場合でも、歩行者を精度良く識別することができる。しかし、自転車の場合、乗っている人の脚の動きによって移動方向に対するバラツキ量の時間変化に周期性を持つ場合があるが、速度が遅いときでも速いときでも移動方向に対するバラツキ量が変わらない。したがって、自転車の場合、速度が変化すると正規化バラツキ量も変化する。また、レーザレーダ2の計測誤差等によってバラツキ量の時間変化に周期性を持つ場合があったとしても、速度と移動方向に対するバラツキ量に相関関係がない。   For pedestrians, the stride is small when walking (when the speed is slow), so the amount of variation in the direction of movement is small, and the stride is large when running (when the speed is fast). The amount of variation with respect to the direction increases. That is, in the case of a pedestrian, the speed of the clustering point group and the amount of variation with respect to the moving direction have a correlation specific to the pedestrian, and even if the speed changes, the change in normalized variation is small. As a result, by performing periodicity determination using the normalized variation amount, even when the pedestrian speed changes, the pedestrian can be accurately identified. However, in the case of a bicycle, the variation in the amount of variation with respect to the direction of movement may have periodicity depending on the movement of the person's legs, but the amount of variation in the direction of movement does not change even when the speed is slow or fast. Therefore, in the case of a bicycle, when the speed changes, the normalized variation also changes. Further, even if there is a case where the variation of the variation amount with time has periodicity due to a measurement error of the laser radar 2, there is no correlation between the variation amount with respect to the speed and the moving direction.

周期性判定処理では、クラスタリング点群毎に、バラツキ量正規化処理で算出された正規化バラツキ量を時系列で所定時間分(移動方向に対するバラツキ量の周期性を判定するために十分な時間分)蓄積する。そして、周期性判定処理では、クラスタリング点群毎に、蓄積された正規化バラツキ量蓄積データを用いて、正規化バラツキ量の時間変化の周期性を算出する。正規化バラツキ量の時間変化の周期性の算出では、例えば、任意の時間tで算出された正規化バラツキ量とその前時間t−1で算出された正規化バラツキ量との差を算出する。さらに、周期性判定処理では、クラスタリング点群毎に、正規化バラツキ量の時間変化の周期性に基づいて正規化バラツキ量の時間変化に周期性があるか否かを判定する。周期性がある場合、周期性判定処理では、そのクラスタリング点群の属性を歩行者と識別し、そのクラスタリング点群から三次元位置情報、移動方向、移動速度等の情報を取得する。一方、周期性がない場合、周期性判定処理では、そのクラスタリング点群の属性を歩行者以外と識別する。   In the periodicity determination process, for each clustering point group, the normalized variation amount calculated in the variation amount normalization process is time-sequential for a predetermined time (a sufficient amount of time to determine the periodicity of the variation amount in the moving direction). )accumulate. In the periodicity determination processing, the periodicity of the temporal variation of the normalized variation amount is calculated for each clustering point group using the accumulated normalized variation amount accumulated data. In calculating the periodicity of the temporal variation of the normalized variation amount, for example, the difference between the normalized variation amount calculated at an arbitrary time t and the normalized variation amount calculated at the previous time t−1 is calculated. Further, in the periodicity determination process, for each clustering point group, it is determined whether the temporal variation of the normalized variation amount is periodic based on the periodicity of the temporal variation of the normalized variation amount. When there is periodicity, in the periodicity determination process, the attribute of the clustering point group is identified as a pedestrian, and information such as three-dimensional position information, moving direction, and moving speed is acquired from the clustering point group. On the other hand, when there is no periodicity, in the periodicity determination process, the attribute of the clustering point group is identified as other than a pedestrian.

例えば、図2(c)に示す例の場合、時間t1、t2、t3、t4における移動速度が同じ速度でvとし、正規化バラツキ量をL31/v,L32/v,L33/v,L34/vとする。この例の場合、時間t2とt1の間では正規化バラツキ量の差が(L32−L31)/vとなり、時間t3とt2の間では正規化バラツキ量の差が(L33−L32)/vとなり、時間t4とt3の間では正規化バラツキ量の差が(L34−L33)/vとなる。そして、(L32−L31)/vがプラス値、(L33−L32)/vがマイナス値、(L34−L33)/vがプラス値となり、各値の絶対値がほぼ同じ値となるので、正規化バラツキ量の時間変化に周期性を有することになる。   For example, in the case of the example shown in FIG. 2C, the moving speeds at the times t1, t2, t3, and t4 are set to v at the same speed, and the normalized variation amounts are L31 / v, L32 / v, L33 / v, L34 / v. In this example, the difference in normalized variation is (L32−L31) / v between times t2 and t1, and the difference in normalized variation is (L33−L32) / v between times t3 and t2. The difference in normalized variation between times t4 and t3 is (L34−L33) / v. Since (L32-L31) / v is a positive value, (L33-L32) / v is a negative value, and (L34-L33) / v is a positive value, the absolute values of the values are almost the same. The periodic variation in the amount of variation will be periodic.

図1を参照して、歩行者検出装置1における動作について説明する。特に、ECU3の処理について図3〜図6のフローチャートに沿って説明する。図3は、本実施の形態に係る歩行者検出のメイン処理の流れを示すフローチャートである。図4は、本実施の形態に係る点群移動情報判定処理の流れを示すフローチャートである。図5は、本実施の形態に係るバラツキ量正規化処理の流れを示すフローチャートである。図6は、本実施の形態に係る周期性判定処理の流れを示すフローチャートである。   With reference to FIG. 1, the operation | movement in the pedestrian detection apparatus 1 is demonstrated. In particular, the processing of the ECU 3 will be described along the flowcharts of FIGS. FIG. 3 is a flowchart showing a flow of main processing of pedestrian detection according to the present embodiment. FIG. 4 is a flowchart showing a flow of point cloud movement information determination processing according to the present embodiment. FIG. 5 is a flowchart showing a flow of variation amount normalization processing according to the present embodiment. FIG. 6 is a flowchart showing a flow of periodicity determination processing according to the present embodiment.

レーザレーダ2では、一定時間毎に、水平方向及び/又は鉛直方向に走査し、各走査角度においてレーザ光を出射するとともにその反射光を受光する。そして、レーザレーダ2では、受光できた各検出点についての情報をレーダ信号としてECU3に送信する。   The laser radar 2 scans in a horizontal direction and / or a vertical direction at regular time intervals, emits laser light at each scanning angle, and receives reflected light. Then, the laser radar 2 transmits information about each detected point that can be received as a radar signal to the ECU 3.

各時間でのレーダ信号を受信する毎に、ECU3では、検出点毎に、レーダ信号に含まれる検出点の情報から検出点までの相対距離を算出し、三次元位置を算出する(S1)。ここで、今回の時間でレーザレーダ2によって検出された全ての検出点からなる三次元点群D1が得られる。   Every time a radar signal at each time is received, the ECU 3 calculates a relative distance to the detection point from information on the detection point included in the radar signal for each detection point, and calculates a three-dimensional position (S1). Here, a three-dimensional point group D1 composed of all detection points detected by the laser radar 2 at the current time is obtained.

ECU3では、三次元点群D1に含まれる検出点の中から道路平面に対する検出点を推定する(S2)。ここで、今回の時間で検出された道路平面に対する検出点からなる道路平面点群D2が得られる。さらに、ECU3では、三次元点群D1に含まれる検出点から道路平面点群D2に含まれる検出点を除外し、立体物に対する検出点を分離する(S3)。ここで、今回の時間で検出された全ての立体物に対する検出点からなる立体物点群D3が得られる。さらに、ECU3では、立体物点群D3に含まれる検出点をクラスタリングする(S4)。ここで、今回の時間での複数の検出点からなるクラスタリング点群D4が得られる。   The ECU 3 estimates detection points for the road plane from detection points included in the three-dimensional point group D1 (S2). Here, a road plane point group D2 including detection points for the road plane detected at the current time is obtained. Furthermore, the ECU 3 excludes detection points included in the road plane point group D2 from detection points included in the three-dimensional point group D1, and separates detection points for the three-dimensional object (S3). Here, a solid object point group D3 including detection points for all the solid objects detected at the current time is obtained. Further, the ECU 3 clusters the detection points included in the three-dimensional object point group D3 (S4). Here, a clustering point group D4 composed of a plurality of detection points at the current time is obtained.

ECU3では、クラスタリング点群D4の時系列蓄積データを用いて、クラスタリング点群D4毎に、クラスタリング点群D4を追跡し、そのクラスタリング点群D4の速度ベクトルを算出する(S5)。ここで、今回の時間での各クラスタリング点群D4についての速度ベクトルD5が得られる。   The ECU 3 tracks the clustering point group D4 for each clustering point group D4 using the time series accumulation data of the clustering point group D4, and calculates the velocity vector of the clustering point group D4 (S5). Here, the velocity vector D5 for each clustering point group D4 at the current time is obtained.

次に、ECU3では、点群移動情報判定処理に移行する(S6)。点群移動情報判定処理に移行すると、ECU3では、クラスタリング点群D4毎に、クラスタリング点群D4の移動情報(速度ベクトルD5等)を時系列で所定時間分蓄積する(S60)。ここで、今回の時間までの所定時間分のクラスタリング点群D4毎の移動情報蓄積データD6が得られる。そして、ECU3では、クラスタリング点群D4毎に、移動情報蓄積データD6に基づいて、クラスタリング点群D4が一定時間安定して移動しているか否かを判定する(S61)。S61にてあるクラスタリング点群D4について安定して移動していないと判定した場合、ECU3では、そのクラスタリング点群D4を揺らぎを持つ静止物体と識別し、そのクラスタリング点群D4に対しては以降の処理を行わない(S62)。   Next, the ECU 3 shifts to a point cloud movement information determination process (S6). When shifting to the point group movement information determination process, the ECU 3 accumulates movement information (speed vector D5, etc.) of the clustering point group D4 for a predetermined time in time series for each clustering point group D4 (S60). Here, movement information accumulation data D6 for each clustering point group D4 for a predetermined time until this time is obtained. Then, the ECU 3 determines, for each clustering point group D4, whether or not the clustering point group D4 is stably moving for a predetermined time based on the movement information accumulation data D6 (S61). When it is determined in S61 that the clustering point group D4 has not moved stably, the ECU 3 identifies the clustering point group D4 as a stationary object having fluctuations, and the clustering point group D4 is subsequently processed with respect to the clustering point group D4. Processing is not performed (S62).

S61にて安定して移動していると判定されたクラスタリング点群D4毎に、ECU3では、クラスタリング点群D4の移動方向(速度ベクトルD5の方向)に対するバラツキ量を算出する(S7)。ここで、今回の時間での各クラスタリング点群D4についてのバラツキ量D7が得られる。   For each clustering point group D4 determined to be stably moving in S61, the ECU 3 calculates a variation amount with respect to the moving direction of the clustering point group D4 (the direction of the velocity vector D5) (S7). Here, a variation amount D7 for each clustering point group D4 at the current time is obtained.

次に、ECU3では、バラツキ量正規化処理に移行する(S8)。バラツキ量正規化処理に移行すると、ECU3では、クラスタリング点群D4毎に、バラツキ量D7をクラスタリング点群D4の移動速度(速度ベクトルD5の速度)に応じて正規化する(S80)。ここで、今回の時間での各クラスタリング点群D4についての正規化バラツキ量D8が得られる。   Next, the ECU 3 proceeds to a variation amount normalization process (S8). When shifting to the variation amount normalization process, the ECU 3 normalizes the variation amount D7 for each clustering point group D4 according to the moving speed of the clustering point group D4 (speed of the speed vector D5) (S80). Here, the normalized variation amount D8 for each clustering point group D4 at the current time is obtained.

次に、ECU3では、周期性判定処理に移行する(S9)。周期性判定処理に移行すると、ECU3では、クラスタリング点群D4毎に、正規化バラツキ量D8を時系列で所定時間分蓄積する(S90)。ここで、今回の時間までの所定時間分のクラスタリング点群D4毎の正規化バラツキ量蓄積データD9が得られる。そして、ECU3では、クラスタリング点群D4毎に、正規化バラツキ量蓄積データD9を用いて、正規化バラツキ量の時間変化の周期性を算出する(S91)。さらに、ECU3では、クラスタリング点群D4毎に、正規化バラツキ量の時間変化の周期性に基づいて、正規化バラツキ量の時間変化に周期性があるか否かを判定する(S92)。S92にて周期性があると判定した場合、ECU3では、そのクラスタリング点群D4の属性を歩行者と識別し、そのクラスタリング点群D4から三次元位置情報等の情報を取得する(S93)。一方、S92にて周期性がないと判定した場合、ECU3では、そのクラスタリング点群D4の属性を歩行者以外と識別する(S94)。   Next, the ECU 3 proceeds to a periodicity determination process (S9). When shifting to the periodicity determination process, the ECU 3 accumulates the normalized variation amount D8 for a predetermined time in time series for each clustering point group D4 (S90). Here, normalized variation accumulation data D9 for each clustering point group D4 for a predetermined time until the current time is obtained. Then, the ECU 3 calculates the periodicity of the temporal variation of the normalized variation amount for each clustering point group D4 using the normalized variation amount accumulation data D9 (S91). Further, the ECU 3 determines, for each clustering point group D4, whether or not the temporal variation of the normalized variation amount is periodic based on the periodicity of the temporal variation of the normalized variation amount (S92). When it is determined that there is periodicity in S92, the ECU 3 identifies the attribute of the clustering point group D4 as a pedestrian and acquires information such as three-dimensional position information from the clustering point group D4 (S93). On the other hand, if it is determined in S92 that there is no periodicity, the ECU 3 identifies the attribute of the clustering point group D4 as other than a pedestrian (S94).

ECU3では、今回の時間の処理で歩行者を識別できた場合、その歩行者についての情報を運転支援装置等に出力する。   In ECU3, when a pedestrian can be identified by the process of this time, the information about the pedestrian is output to a driving assistance apparatus etc.

この歩行者検出装置1によれば、クラスタリング点群の移動方向に対するバラツキ量の時間変化に周期性があるか否かで歩行者を識別することにより、歩行者を高精度に識別することができる。これによって、歩行者の動き以外に起因して周期性を持つ物体についてのクラスタリング点群を誤検出することを低減できる。もちろん、周期性を持たない物体についてのクラスタリング点群を誤検出することはない。さらに、一般的な交通環境に存在する普通車や大型車等の車両、オートバイ、自転車等の歩行者以外の移動体と歩行者とを高精度に識別できる。したがって、一般的な交通環境全体を対象として、歩行者を高精度に検出することができる。   According to this pedestrian detection device 1, a pedestrian can be identified with high accuracy by identifying a pedestrian based on whether or not there is periodicity in the variation in the amount of variation with respect to the moving direction of the clustering point group. . This can reduce erroneous detection of a clustering point group for an object having periodicity due to other than pedestrian movement. Of course, a clustering point group for an object having no periodicity is not erroneously detected. Furthermore, it is possible to identify a moving object other than a pedestrian such as a normal vehicle or a large vehicle, a motorcycle, a bicycle, or the like that exists in a general traffic environment with high accuracy. Therefore, a pedestrian can be detected with high accuracy for the entire general traffic environment.

また、歩行者検出装置1によれば、クラスタリング点群のバラツキ量を移動速度に応じて正規化した正規化バラツキ量を用いることにより、クラスタリング点群の移動速度と移動方向に対するバラツキ量に歩行者特有の相関関係があるか否かを精度良く判定することができ、歩行者をより高精度に検出することができる。例えば、レーザレーダ2の計測誤差等によってクラスタリング点群のバラツキ量に周期的な時間変化があったとしても、そのクラスタリング点群については移動速度と移動方向に対するバラツキ量に歩行者特有の相関関係がある可能性は極めて低いので、そのクラスタリング点群を誤検出することを低減できる。また、バラツキ量の時間変化が歩行者と同様の周期性を持つ他の移動体(例えば、自転車)の場合、移動速度が変化しても移動方向に対するバラツキ量が変わらないので、歩行者特有の相関関係を有しておらず、そのような移動体を誤検出することを低減できる。また、歩行者が歩いているときでも走っているときでも、移動速度に関係なく歩行者として精度良く識別できる。   Moreover, according to the pedestrian detection apparatus 1, by using the normalized variation amount obtained by normalizing the variation amount of the clustering point group in accordance with the movement speed, the pedestrian can be obtained from the movement speed of the clustering point group and the variation amount with respect to the movement direction. Whether or not there is a specific correlation can be determined with high accuracy, and a pedestrian can be detected with higher accuracy. For example, even if the variation amount of the clustering point group varies periodically due to the measurement error of the laser radar 2, the pedestrian-specific correlation exists between the movement speed and the variation amount with respect to the movement direction for the clustering point group. Since the possibility is very low, it is possible to reduce erroneous detection of the clustering point group. In addition, in the case of other moving bodies (for example, bicycles) whose variation in time varies with the periodicity similar to that of pedestrians, even if the moving speed changes, the amount of variation in the moving direction does not change. There is no correlation, and erroneous detection of such a moving object can be reduced. Moreover, even when a pedestrian is walking or running, it can be accurately identified as a pedestrian regardless of the moving speed.

また、歩行者検出装置1によれば、クラスタリング点群が一定時間安定して移動しているか否か判定することにより、歩行者をより高精度に検出することができる。例えば、周期的な動きを有する静止物体(例えば、風で揺らぐのぼり旗や木)の場合、その移動方向や移動速度は短時間の間にランダムに変化するので、そのような静止動体を誤検出することを低減できる。   Moreover, according to the pedestrian detection apparatus 1, it is possible to detect a pedestrian with higher accuracy by determining whether or not the clustering point group is moving stably for a certain period of time. For example, in the case of a stationary object with periodic motion (for example, a flag or tree that swings in the wind), its moving direction and speed change randomly in a short time, so such a stationary moving object is erroneously detected. Can be reduced.

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。   As mentioned above, although embodiment which concerns on this invention was described, this invention is implemented in various forms, without being limited to the said embodiment.

例えば、本実施の形態では車両に搭載される歩行者検出装置に適用したが、車両以外で用いられる歩行者検出装置にも適用可能である。   For example, although applied to the pedestrian detection apparatus mounted in a vehicle in this Embodiment, it is applicable also to the pedestrian detection apparatus used other than a vehicle.

また、本実施の形態では検出手段としてはレーザレーダとしたが、ミリ波レーダ、超音波レーダ、ステレオカメラ等の他の手段でもよい。また、本実施の形態では検出点の情報として三次元位置情報を取得し、三次元位置情報を用いて各処理を行う構成としたが、検出点の情報としては二次元位置情報(高さ情報無し)でも可能である。   In the present embodiment, the detection means is a laser radar, but other means such as a millimeter wave radar, an ultrasonic radar, and a stereo camera may be used. In the present embodiment, three-dimensional position information is acquired as detection point information, and each process is performed using the three-dimensional position information. However, detection point information includes two-dimensional position information (height information). None) is possible.

また、本実施の形態ではレーザレーダで検出された全ての検出点からクラスタリング点群を抽出するために、距離計測処理、道路平面推定処理、立体物分離処理、クラスタリング処理による従来の手法の1つを適用したが、クラスタリング点群を抽出する手法としてはどのような手法を適用してもよい。また、本実施の形態では検出点を複数の検出点群にグループ化するために、クラスタリングを用いたが、他の手法でグループ化を行ってもよい。   In this embodiment, in order to extract a clustering point group from all detection points detected by the laser radar, one of the conventional methods using distance measurement processing, road plane estimation processing, three-dimensional object separation processing, and clustering processing is used. However, any method may be applied as a method for extracting the clustering point group. In this embodiment, clustering is used to group detection points into a plurality of detection point groups. However, grouping may be performed by other methods.

また、本実施の形態ではクラスタリング点群の移動速度と移動方向に対するバラツキ量に歩行者特有の相関関係があるか否かを判断するために、バラツキ量を移動速度に応じて正規化した正規化バラツキ量を用いる構成としたが、正規化バラツキ量以外のパラメータを求めて移動速度と移動方向に対するバラツキ量に歩行者特有の相関関係があるか否かを判断してもよい。   Further, in this embodiment, in order to determine whether or not there is a pedestrian-specific correlation between the movement speed of the clustering point group and the fluctuation quantity with respect to the movement direction, normalization is performed by normalizing the fluctuation quantity according to the movement speed. Although the variation amount is used, a parameter other than the normalized variation amount may be obtained to determine whether or not there is a pedestrian-specific correlation between the movement speed and the variation amount with respect to the movement direction.

また、本実施の形態では点群移動情報判定処理及びバラツキ量正規化処理を行う構成としたが、いずれか一方の処理あるいは両方の処理を行わない構成としてもよい。   In this embodiment, the point cloud movement information determination process and the variation amount normalization process are performed. However, either one process or both processes may not be performed.

また、歩行者を識別する場合、脚の動きに起因した周期性に着目しているので、歩行者の下半身に特徴がある。そこで、クラスタリング点群を高さ情報に基づいて上部の点群と下部の点群に更に分け、下部の点群だけを用いて各処理を行ってもよい。このような上下分離処理を行うことにより、レーザレーダによる計測誤差等によるノイズを抑制でき、検出精度を更に向上できる。   In addition, when identifying a pedestrian, attention is paid to the periodicity caused by the movement of the legs, and thus the lower body of the pedestrian is characteristic. Therefore, the clustering point group may be further divided into an upper point group and a lower point group based on the height information, and each process may be performed using only the lower point group. By performing such a vertical separation process, noise due to a measurement error by a laser radar or the like can be suppressed, and detection accuracy can be further improved.

また、歩行者と車両との大きさを比較すると車両の方が明らかに大きく、歩行者と車両との速度を比較すると車両の方が明らかに速い。他の移動体についても、大きさや速度について歩行者と異なる。そこで、クラスタリング点群の中でサイズが明らかに大きいもの(歩行者と明らかにみなせないサイズのもの)を除外したり、クラスタリング点群の中から速度が明らかに速いもの(歩行者と明らかにみなせない速度のもの)を除外したりすることにより、歩行者らいし属性のクラスタリング点群に絞り込み、絞り込んだクラスタリング点群だけを用いて各処理を行ってもよい。このような属性絞り込み処理を行うことにより、処理負荷を軽減できるとともに(処理時間を短縮)、バラツキ量蓄積データのデータ量を削減できる(メモリ量を低減)。   Further, the vehicle is clearly larger when comparing the size of the pedestrian and the vehicle, and the vehicle is clearly faster when comparing the speed of the pedestrian and the vehicle. Other mobile objects also differ from pedestrians in size and speed. Therefore, the clustering point cloud that has a clearly large size (size that cannot be clearly regarded as a pedestrian) is excluded, or the clustering point cloud that has a clearly fast speed (can be regarded as a pedestrian clearly). For example, it may be possible to narrow down the clustering point group of the pedestrian attribute and perform each processing using only the narrowed clustering point group. By performing such an attribute narrowing process, the processing load can be reduced (the processing time is shortened), and the data amount of the variation accumulation data can be reduced (the memory amount is reduced).

1…歩行者検出装置、2…レーザレーダ、3…ECU。   DESCRIPTION OF SYMBOLS 1 ... Pedestrian detection apparatus, 2 ... Laser radar, 3 ... ECU.

Claims (3)

検出手段によって検出された検出点を複数の検出点群としてグループ化し、それらの検出点群から歩行者を検出する歩行者検出装置であって、
検出点群毎に検出点群の移動方向を算出する移動方向算出手段と、
検出点群毎に前記移動方向算出手段で算出された移動方向に対する検出点群の分布情報を算出する分布情報算出手段と、
検出点群毎に前記分布情報算出手段で算出された移動方向に対する検出点群の分布情報の時間変化に周期性があるか否かを判定し、周期性がある検出点群を歩行者と判定する判定手段と、
を備えることを特徴とする歩行者検出装置。
The detection points detected by the detection means are grouped as a plurality of detection point groups, and a pedestrian detection device that detects pedestrians from these detection point groups,
A moving direction calculating means for calculating the moving direction of the detected point group for each detected point group;
Distribution information calculation means for calculating distribution information of the detection point group with respect to the movement direction calculated by the movement direction calculation means for each detection point group;
For each detection point group, it is determined whether the temporal change in the distribution information of the detection point group with respect to the moving direction calculated by the distribution information calculation means is periodic, and the detection point group having periodicity is determined as a pedestrian Determination means to perform,
A pedestrian detection device comprising:
前記判定手段は、検出点群の移動速度と移動方向に対する分布情報に歩行者特有の相関関係がある場合に該検出点群を歩行者と判定することを特徴とする請求項1に記載の歩行者検出装置。   2. The walking according to claim 1, wherein the determination unit determines the detection point group as a pedestrian when there is a correlation specific to the pedestrian in the distribution information with respect to the movement speed and the movement direction of the detection point group. Person detection device. 前記判定手段は、検出点群毎に検出点群の移動情報を蓄積し、該蓄積されている検出点群の移動情報に基づいて検出点群が一定時間安定して移動していると判断した場合に該検出点群を歩行者と判定することを特徴とする請求項1又は請求項2に記載の歩行者検出装置。   The determination means accumulates the movement information of the detection point group for each detection point group, and determines that the detection point group is moving stably for a predetermined time based on the accumulated movement information of the detection point group. The pedestrian detection device according to claim 1 or 2, wherein the detection point group is determined to be a pedestrian.
JP2011004022A 2011-01-12 2011-01-12 Pedestrian detection device Active JP5664252B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011004022A JP5664252B2 (en) 2011-01-12 2011-01-12 Pedestrian detection device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011004022A JP5664252B2 (en) 2011-01-12 2011-01-12 Pedestrian detection device

Publications (2)

Publication Number Publication Date
JP2012145444A true JP2012145444A (en) 2012-08-02
JP5664252B2 JP5664252B2 (en) 2015-02-04

Family

ID=46789147

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011004022A Active JP5664252B2 (en) 2011-01-12 2011-01-12 Pedestrian detection device

Country Status (1)

Country Link
JP (1) JP5664252B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238182A (en) * 2011-05-12 2012-12-06 Honda Motor Co Ltd Object detection device for vehicle
JP2014071012A (en) * 2012-09-28 2014-04-21 Daimler Ag Control object detection device and emergency automatic braking system
JP2015072224A (en) * 2013-10-03 2015-04-16 株式会社豊田中央研究所 Radar system
JP2015075388A (en) * 2013-10-09 2015-04-20 住友電気工業株式会社 Electric wave sensor and detection method
JP2015152319A (en) * 2014-02-10 2015-08-24 株式会社デンソー Object identification method and object identification device
JP2018040642A (en) * 2016-09-06 2018-03-15 株式会社Ihi Device and method for recognizing moving objects
JP2018048949A (en) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 Object recognition device
CN112651266A (en) * 2019-10-11 2021-04-13 北京百度网讯科技有限公司 Pedestrian detection method and device
DE102020208544A1 (en) 2020-07-08 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Hybrid evaluation of radar data for the classification of objects
JP2022539917A (en) * 2019-06-07 2022-09-13 テルース ユー ケア インコーポレーション Non-contact identification of gait dynamics, patterns and abnormalities for elderly care
US11538252B2 (en) 2019-08-22 2022-12-27 Toyota Jidosha Kabushiki Kaisha Object recognition device
WO2023032600A1 (en) * 2021-08-30 2023-03-09 京セラ株式会社 Electronic device, method for controlling electronic device, and program
JP7359706B2 (en) 2020-01-24 2023-10-11 Jrcモビリティ株式会社 Object marking device
WO2023194761A1 (en) * 2022-04-08 2023-10-12 日産自動車株式会社 Information processing method and information processing device
WO2023210333A1 (en) * 2022-04-27 2023-11-02 株式会社アイシン Occupant detection device and occupant detection method
WO2024004113A1 (en) * 2022-06-30 2024-01-04 三菱電機株式会社 Target tracking device, target tracking method, and target tracking program

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018059884A (en) * 2016-10-07 2018-04-12 日本無線株式会社 Target discrimination device, program, and method

Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003499A (en) * 1998-06-16 2000-01-07 Daihatsu Motor Co Ltd Walker detection system and its controlling method
JP2001028050A (en) * 1999-05-10 2001-01-30 Honda Motor Co Ltd Walker detecting device
JP2004185363A (en) * 2002-12-04 2004-07-02 Ishikawajima Harima Heavy Ind Co Ltd Object distinction method by area sensor
JP2004191095A (en) * 2002-12-09 2004-07-08 Foundation For The Promotion Of Industrial Science Passenger track extraction device and system
JP2008020203A (en) * 2006-07-10 2008-01-31 Omron Corp Radar system
JP2008027170A (en) * 2006-07-20 2008-02-07 Sumitomo Electric Ind Ltd Detection device for walking object and collision prevention support system
JP2008186416A (en) * 2007-01-31 2008-08-14 Nippon Soken Inc Object detector, communication system and inter-vehicle communication apparatus
JP2009110185A (en) * 2007-10-29 2009-05-21 East Japan Railway Co Passerby behavior analyzer, passerby behavior analysis method, and its program
JP2009192430A (en) * 2008-02-15 2009-08-27 Honda Motor Co Ltd Object type determining apparatus, object type determining method, and object type determining program
JP2009288099A (en) * 2008-05-29 2009-12-10 Omron Corp Object detector
JP2010044698A (en) * 2008-08-18 2010-02-25 Seiko Precision Inc Pedestrian detector and program
JP2010205042A (en) * 2009-03-04 2010-09-16 Daihatsu Motor Co Ltd Pedestrian detection device
JP2011196749A (en) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc Object detecting device

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003499A (en) * 1998-06-16 2000-01-07 Daihatsu Motor Co Ltd Walker detection system and its controlling method
JP2001028050A (en) * 1999-05-10 2001-01-30 Honda Motor Co Ltd Walker detecting device
JP2004185363A (en) * 2002-12-04 2004-07-02 Ishikawajima Harima Heavy Ind Co Ltd Object distinction method by area sensor
JP2004191095A (en) * 2002-12-09 2004-07-08 Foundation For The Promotion Of Industrial Science Passenger track extraction device and system
JP2008020203A (en) * 2006-07-10 2008-01-31 Omron Corp Radar system
JP2008027170A (en) * 2006-07-20 2008-02-07 Sumitomo Electric Ind Ltd Detection device for walking object and collision prevention support system
JP2008186416A (en) * 2007-01-31 2008-08-14 Nippon Soken Inc Object detector, communication system and inter-vehicle communication apparatus
JP2009110185A (en) * 2007-10-29 2009-05-21 East Japan Railway Co Passerby behavior analyzer, passerby behavior analysis method, and its program
JP2009192430A (en) * 2008-02-15 2009-08-27 Honda Motor Co Ltd Object type determining apparatus, object type determining method, and object type determining program
JP2009288099A (en) * 2008-05-29 2009-12-10 Omron Corp Object detector
JP2010044698A (en) * 2008-08-18 2010-02-25 Seiko Precision Inc Pedestrian detector and program
JP2010205042A (en) * 2009-03-04 2010-09-16 Daihatsu Motor Co Ltd Pedestrian detection device
JP2011196749A (en) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc Object detecting device

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012238182A (en) * 2011-05-12 2012-12-06 Honda Motor Co Ltd Object detection device for vehicle
JP2014071012A (en) * 2012-09-28 2014-04-21 Daimler Ag Control object detection device and emergency automatic braking system
JP2015072224A (en) * 2013-10-03 2015-04-16 株式会社豊田中央研究所 Radar system
US9696415B2 (en) 2013-10-03 2017-07-04 Toyota Jidosha Kabushiki Kaisha Radar apparatus
JP2015075388A (en) * 2013-10-09 2015-04-20 住友電気工業株式会社 Electric wave sensor and detection method
JP2015152319A (en) * 2014-02-10 2015-08-24 株式会社デンソー Object identification method and object identification device
JP2018040642A (en) * 2016-09-06 2018-03-15 株式会社Ihi Device and method for recognizing moving objects
JP2018048949A (en) * 2016-09-23 2018-03-29 トヨタ自動車株式会社 Object recognition device
JP2022539917A (en) * 2019-06-07 2022-09-13 テルース ユー ケア インコーポレーション Non-contact identification of gait dynamics, patterns and abnormalities for elderly care
US11538252B2 (en) 2019-08-22 2022-12-27 Toyota Jidosha Kabushiki Kaisha Object recognition device
JP2021064349A (en) * 2019-10-11 2021-04-22 ベイジン バイドゥ ネットコム サイエンス アンド テクノロジー カンパニー リミテッド Method and apparatus for detecting pedestrian
US20210107531A1 (en) * 2019-10-11 2021-04-15 Beijing Baidu Netcom Science And Technology Co., Ltd. Method and apparatus for detecting pedestrian
JP7189908B2 (en) 2019-10-11 2022-12-14 アポロ インテリジェント ドライビング テクノロジー(ペキン)カンパニー リミテッド Pedestrian detection method and device
CN112651266A (en) * 2019-10-11 2021-04-13 北京百度网讯科技有限公司 Pedestrian detection method and device
US11724721B2 (en) 2019-10-11 2023-08-15 Apollo Intelligent Driving Technology (Beijing) Co., Ltd. Method and apparatus for detecting pedestrian
JP7359706B2 (en) 2020-01-24 2023-10-11 Jrcモビリティ株式会社 Object marking device
DE102020208544A1 (en) 2020-07-08 2022-01-13 Robert Bosch Gesellschaft mit beschränkter Haftung Hybrid evaluation of radar data for the classification of objects
WO2023032600A1 (en) * 2021-08-30 2023-03-09 京セラ株式会社 Electronic device, method for controlling electronic device, and program
WO2023194761A1 (en) * 2022-04-08 2023-10-12 日産自動車株式会社 Information processing method and information processing device
WO2023210333A1 (en) * 2022-04-27 2023-11-02 株式会社アイシン Occupant detection device and occupant detection method
WO2024004113A1 (en) * 2022-06-30 2024-01-04 三菱電機株式会社 Target tracking device, target tracking method, and target tracking program

Also Published As

Publication number Publication date
JP5664252B2 (en) 2015-02-04

Similar Documents

Publication Publication Date Title
JP5664252B2 (en) Pedestrian detection device
EP3229041B1 (en) Object detection using radar and vision defined image detection zone
US11209284B2 (en) System and method for creating driving route of vehicle
US9836657B2 (en) System and method for periodic lane marker identification and tracking
US20180045811A1 (en) Radar-installation-angle calculating device, radar apparatus, and radar-installation-angle calculating method
US11113545B2 (en) Road detection using traffic sign information
US9524643B2 (en) Orientation sensitive traffic collision warning system
KR20130007243A (en) Method and system for warning forward collision using camera
JP6450294B2 (en) Object detection apparatus, object detection method, and program
CN104793202A (en) Object fusion system of multiple radar imaging sensors
US20070265777A1 (en) On-Vehicle Road Configuration Identifying Device
JP5178276B2 (en) Image recognition device
JP2011150633A (en) Object detection device and program
CN109017776B (en) Driving assistance system mounted in vehicle
CN111615641B (en) Method and apparatus for detecting critical lateral movement
JP2019002769A (en) Target determination device and operation supporting system
JP2011048641A (en) Object detection device and driving support device
US11598877B2 (en) Object recognition device and vehicle control system
CN110940982B (en) Vehicle front destination identification method and corresponding device
AU2020428822A1 (en) Method, apparatus, server, and computer program for collision accident prevention
CN111497741A (en) Collision early warning method and device
JP2010072947A (en) Obstacle detection device
JP2010205042A (en) Pedestrian detection device
CN110940981B (en) Method for judging whether position of object in front of vehicle is in own lane
Wittmann et al. Improving lidar data evaluation for object detection and tracking using a priori knowledge and sensorfusion

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130516

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140324

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140401

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140909

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141024

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

R151 Written notification of patent or utility model registration

Ref document number: 5664252

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151