JP2015215201A - 物体認識装置 - Google Patents

物体認識装置 Download PDF

Info

Publication number
JP2015215201A
JP2015215201A JP2014097381A JP2014097381A JP2015215201A JP 2015215201 A JP2015215201 A JP 2015215201A JP 2014097381 A JP2014097381 A JP 2014097381A JP 2014097381 A JP2014097381 A JP 2014097381A JP 2015215201 A JP2015215201 A JP 2015215201A
Authority
JP
Japan
Prior art keywords
recognized
time
recognition
identification number
recognition means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014097381A
Other languages
English (en)
Other versions
JP6330160B2 (ja
Inventor
克也 水谷
Katsuya Mizutani
克也 水谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2014097381A priority Critical patent/JP6330160B2/ja
Priority to CN201510226519.6A priority patent/CN105083161B/zh
Priority to US14/706,066 priority patent/US9778352B2/en
Priority to DE102015208599.6A priority patent/DE102015208599A1/de
Publication of JP2015215201A publication Critical patent/JP2015215201A/ja
Application granted granted Critical
Publication of JP6330160B2 publication Critical patent/JP6330160B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867Combination of radar systems with cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66Radar-tracking systems; Analogous systems
    • G01S13/72Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G01S13/726Multiple target tracking
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/932Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles using own vehicle data, e.g. ground speed, steering wheel direction
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261Obstacle

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】複数の物体認識手段を備え、自車の周囲に存在する物体を継続して認識する物体認識装置において、前回と今回とで、それぞれ異なる認識手段のみによって物体を認識した場合にあっても、継続して物体を認識することができるようにした物体認識装置を提供する。
【解決手段】複数の認識手段(第1、第2認識手段)のうちいずれかによって前回認識された物体の位置から所定範囲内に、前記物体を前回認識した認識手段と異なる認識手段によって今回認識された物体が存在する場合(S22またはS34でYES)、前記前回認識された物体と今回認識された物体とが同一の物体であると認識し、前記物体が継続して認識されていると判断する(S24またはS36)。
【選択図】図3

Description

この発明は物体認識装置に関し、より具体的には、複数の物体認識手段を備え、自車の周囲に存在する物体を継続して認識する装置に関する。
従来から、複数の物体認識手段を備え、自車の周囲に存在する先行車などの物体を継続して認識する装置が知られている。例えば、特許文献1記載の技術にあっては、カメラからの画像情報とレーザレーダ等からのレーダ情報とを用い、検出された先行車にID番号を付与することで前回検出された先行車と今回検出された先行車とが同一か否か判断し、よって先行車を継続して認識することを可能にしている。
特開2004−347471号公報
ところで、特許文献1記載の技術にあっては、カメラとレーダが各々検出(認識)した物体に対して独自のID番号を付与し、各ID番号が前回のID番号と一致する場合に検出された物体を同一物体と判断するようにしている。このため、例えば、前回カメラのみで物体を検出し、今回はレーダのみで同一物体を検出したような場合にあっては、当該物体を継続的に検出することができない(前回カメラで検出された物体と今回レーダで検出された物体とを関連付けることができない)という不都合があった。
なお、特許文献1にあっては、カメラが一時的に物体を見失ってしまった場合、記憶させておいた過去のID番号を用いて補間する旨の示唆もある。しかしながら、かかる場合も、レーダ側では継続して物体を検出できていることが前提となる。したがって、ある時点においてカメラとレーダのうちいずれか一方のみが物体を検出し、次の時点において他方のみが物体を検出したような場合にまで物体を継続して検出することを可能とするものではない。
この発明は上記した不都合に鑑みてなされたものであり、その目的は、複数の物体認識手段を備え、自車の周囲に存在する物体を継続して認識する物体認識装置において、前回と今回とで、それぞれ異なる認識手段のみによって物体を認識した場合にあっても、継続して物体を認識することができるようにした物体認識装置を提供することにある。
上記した課題を解決するために、請求項1にあっては、自車の周囲に存在する物体を周期的に認識する複数の認識手段と、前記複数の認識手段によって認識された物体が継続して認識されているか否か判断する継続性判断手段とを備えた物体認識装置において、前記継続性判断手段は、前記複数の認識手段のうちいずれかによって前回認識された物体の位置から所定範囲内に、前記複数の認識手段のうち前記物体を前回認識した認識手段と異なる認識手段によって今回認識された物体が存在する場合、前記前回認識された物体と今回認識された物体とが同一の物体であると認定し、よって前記物体が継続して認識されていると判断する如く構成した。
請求項2に係る物体認識装置にあっては、前記複数の認識手段のうち少なくともいずれかによって前記物体が認識された場合、前記認識された物体に前記複数の認識手段で共通して使用する共通識別番号を付与する共通識別番号付与手段を有する如く構成した。
請求項3に係る物体認識装置にあっては、前記複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与する個別識別番号付与手段を備えると共に、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記個別識別番号とが同一である一方、前回認識された物体と今回認識された物体とに付与した前記共通識別番号が異なる場合、今回認識された物体に付与した前記共通識別番号を変更する如く構成した。
請求項4に係る物体認識装置にあっては、前記複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与する個別識別番号付与手段を備えると共に、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記個別識別番号が同一である一方、前回認識された物体と今回認識された物体とに付与した前記共通識別番号が異なる場合であって、かつ、前回認識された物体と今回認識された物体との相対速度が所定値以上であるとき、今回認識された物体に付与した前記共通識別番号を変更する如く構成した。
請求項5に係る物体認識装置にあっては、前記複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与する個別識別番号付与手段を備えると共に、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記個別識別番号が同一である一方、前回認識された物体と今回認識された物体とに付与した前記共通識別番号が異なる場合であって、かつ、自車と前回認識された物体との相対速度と、自車と今回認識された物体との相対速度との相対速度差が規定値以上であるとき、今回認識された物体に付与した前記共通識別番号を変更する如く構成した。
請求項6に係る物体認識装置にあっては、前記共通識別番号付与手段は、前回認識された物体と今回認識された物体との相対速度を算出すると共に、前記算出された相対速度に基づいて前回認識された物体と今回認識された物体との距離を補正する距離補正手段を備える如く構成した。
請求項7に係る物体認識装置にあっては、前記複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与する個別識別番号付与手段を備えると共に、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体との間で、前記付与された前記個別識別番号および前記付与した共通識別番号が不一致である場合、前記距離補正手段によって補正した距離に基づいて今回認識された物体に付与した前記共通識別番号を変更する如く構成した。
請求項8に係る物体認識装置にあっては、前記継続性判断手段は、前記複数の認識手段のうち前記物体を認識した認識手段の特性に応じて前記所定範囲を設定する如く構成した。
請求項9に係る物体認識装置にあっては、前記複数の認識手段は、レーダからなる第1認識手段と、撮像機器からなる第2認識手段とからなり、前記継続性判断手段は、前回前記物体を認識した認識手段が前記第1認識手段であり、かつ、今回前記物体を認識した認識手段が前記第2認識手段である場合、自車の進行方向における前記所定範囲を拡大するように設定する一方、前回前記物体を認識した認識手段が前記第2認識手段であり、かつ、今回前記物体を認識した認識手段が前記第1認識手段である場合、自車の車幅方向における前記所定範囲を拡大する如く構成した。
請求項1にあっては、自車の周囲に存在する物体を周期的に認識する複数の認識手段によって認識された物体が継続して認識されているか否か判断する物体認識装置において、いずれかの認識手段によって前回認識された物体の位置から所定範囲内に、異なる認識手段によって今回認識された物体が存在する場合、前回認識された物体と今回認識された物体とが同一の物体であると認定し、よって物体が継続して認識されていると判断するように構成した。従って、前回と今回とで、それぞれ異なる認識手段のみによって物体を認識した場合にあっても、前回一方の認識手段によって認識された物体と、今回他方の認識手段によって認識された物体とが同一の物体であると認定することができ、物体を継続して認識することが可能となる。
請求項2に係る物体認識装置にあっては、少なくともいずれかの認識手段によって物体が認識された場合、複数の認識手段で共通して使用する共通識別番号を付与するように構成、即ち、いずれかの認識手段によって一度でも認識された物体には共通識別番号を付与するように構成した。従って、上記した効果に加え、複数の認識手段において物体を一括管理することができ、物体をより一層確実に継続して認識することが可能となる。
請求項3に係る物体認識装置にあっては、複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与すると共に、前回認識された物体と今回認識された物体の個別識別番号が同一である一方、これらの共通識別番号が異なる場合、今回認識された物体に付与した共通識別番号を変更するように構成した。従って、上記した効果に加え、同一の物体に付与した共通識別番号が前回と今回とで異なる場合にあっても、個別識別番号に基づいて共通識別番号を変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
請求項4に係る物体認識装置にあっては、前回認識された物体と今回認識された物体の共通識別番号が同一である場合であって、かつ、前回認識された物体と今回認識された物体との相対速度が所定値以上であるとき、今回認識された物体に付与した共通識別番号を変更するように構成した。従って、上記した効果に加え、今回認識された物体に付与した共通識別番号の妥当性を判断することができると共に、付与した共通識別番号が妥当でないと判断できる場合、共通識別番号を適宜変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
請求項5に係る物体認識装置にあっては、前回認識された物体と今回認識された物体の共通識別番号が同一である場合であって、かつ、自車と前回認識された物体との相対速度と、自車と今回認識された物体との相対速度との相対速度差が規定値以上であるとき、今回認識された物体に付与した共通識別番号を変更するように構成した。従って、上記同様、今回認識された物体に付与した共通識別番号の妥当性を判断することができると共に、付与した共通識別番号が妥当でないと判断できる場合、共通識別番号を適宜変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
請求項6に係る物体認識装置にあっては、前回認識された物体と今回認識された物体との相対速度を算出し、算出された相対速度に基づいて前回認識された物体と今回認識された物体との距離を補正するように構成した。従って、上記した効果に加え、今回認識された物体に対し共通識別番号を適切に付与することができ、よって物体をより一層確実に継続して認識することが可能となる。
請求項7に係る物体認識装置にあっては、複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与し、前回認識された物体と今回認識された物体との間で、個別識別番号および共通識別番号が不一致である場合、補正した距離に基づいて今回認識された物体に付与した共通識別番号を変更するように構成した。従って、上記した効果に加え、今回認識された物体に付与した共通識別番号の妥当性をより一層正確に判断できると共に、付与した共通識別番号が妥当でないと判断できる場合、共通識別番号を適宜変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
請求項8に係る物体認識装置にあっては、複数の認識手段のうち物体を認識した認識手段の特性に応じて所定範囲を設定するように構成した。従って、上記した効果に加え、前回物体を認識した手段と今回物体を認識した手段とが異なる場合であっても、物体の同一性を判断する基準となる範囲(所定範囲)を適宜設定(補正)することができ、物体をより一層確実に継続して認識することが可能となる。
請求項9に係る物体認識装置にあっては、複数の認識手段は、レーダからなる第1認識手段と、撮像機器からなる第2認識手段とからなり、前回物体を認識した認識手段が第1認識手段であり、かつ、今回物体を認識した認識手段が第2認識手段である場合、自車の進行方向における所定範囲を拡大するように設定する一方、前回物体を認識した認識手段が第2認識手段であり、かつ、今回物体を認識した認識手段が第1認識手段である場合、自車の車幅方向における所定範囲を拡大するように構成した。従って、上記した効果に加え、前回物体を認識した手段と今回物体を認識した手段とが異なる場合であっても、物体の同一性を判断する基準となる範囲(所定範囲)を、認識手段の特性に応じて適宜設定(補正)することができ、物体をより一層確実に継続して認識することが可能となる。
この発明の第1実施例に係る物体認識装置を全体的に示す概略図である。 図1に示す物体認識装置による継続性判断処理を説明するための説明図である。 図2に示す、物体認識装置による継続性判断処理を示すフロー・チャートである。 図1に示す物体認識装置による共通識別番号付与処理を説明するための説明図である。 図1に示す物体認識装置による共通識別番号付与処理を説明するための説明図である。 図4,5に示す物体認識装置による共通識別番号付与処理を示すフロー・チャートである。 図6同様、図5に示す物体認識装置による共通識別番号付与処理を示すフロー・チャートである。 図1に示す物体認識装置による物体認識のための所定範囲を拡大する処理を説明するための説明図である。 この発明の第2実施例に係る物体認識装置による共通識別番号付与処理を示すフロー・チャートである。
以下、添付図面に即してこの発明に係る物体認識装置を実施するための形態について説明する。
図1はこの発明の第1実施例に係る物体認識装置を全体的に示す概略図である。
図1において、符号10は車両(自車)を示し、その前部にはエンジン(内燃機関。図1で「ENG」と示す)12が搭載される。エンジン12の出力は変速機(図1で「T/M」と示す)14で適宜変速されて車輪16に伝えられ、自車10を走行させる。
自車10の運転席に設けられたステアリングホイール20の付近にはステアリングホイール20を介して入力される操舵角度に応じた信号を出力する操舵角センサ22が設けられると共に、ステアリングホイール20を介して入力された操舵力(操舵トルク)の方向と大きさに応じた信号を出力するトルクセンサ24が設けられる。
前輪付近には運転者の操舵をアシスト(支援)する電動モータ26が配置される。即ち、ステアリングシャフトなどから伝達されるステアリングホイール20の回転運動をピニオン(図示せず)を介してラックの往復運動に変換し、タイロッド(図示せず)を介し前輪を転舵させる機構において、そのラック上に電動モータ26が配置される。
車両10はブレーキ油圧機構(図1で「BRK」と示す)28を備え、車両10の運転席床面に配置されたブレーキペダル(図示せず)を介して入力される運転者のブレーキ操作に応じたブレーキ力(減速力)を各車輪16に与える。また自車10の運転席にはオーディオスピーカとインディケータ等からなる警報装置30が設けられ、音声と視覚によって運転者に警報を行う。
各車輪16の付近には車速センサ32がそれぞれ配置され、各車輪の所定回転角度ごとに自車10の車速Vの値に応じたパルス信号を出力する。
車両10の前部など適宜位置にはレーダ装置(第1認識手段)34が設けられる。レーダ装置34は、車両10のフロントボディのノーズ部などに配置されるレーダ34aからミリ波などの電磁波を車両10の進行方向に発信すると共に、進行方向に存在する物体(先行車などの障害物)からの反射波を受信・処理することにより物体を検知する。
受信された物体からの反射波はマイクロコンピュータからなるレーダ出力処理部34bに送られる。レーダ出力処理部34bでは、ミリ波を発射してから反射波を受信するまでの時間が測定されて他車までの相対距離が算出され、さらに相対距離を微分することで物体との相対速度が求められる。また、反射波の入射方向から物体の方位を検知することにより、その物体の位置・速度情報等を得る。
さらに、自車10は撮影装置(第2認識手段)36を備える。撮影装置36は、CCDカメラやC−MOSカメラなどからなるカメラ36a(単眼カメラ。撮像機器)と画像処理部36bからなる。カメラ36aは少なくとも自車10の前方を撮影するように配置され、画像処理部36bはカメラ36aで撮影して得た画像に対しフィルタリングや二値化などの既知の画像処理を行って画像データを生成することにより、レーダ装置同様、自車10の進行方向に存在する物体の位置・速度情報等を得る。
レーダ装置34および撮影装置36によって得られた物体の情報は、ECU(電子制御ユニット。物体認識装置)40に送られる。また、上記したセンサ群(操舵角センサ22、トルクセンサ24、車速センサ32)の出力もECU40に送られる。なお、図示は省略するが、ECU40は、CPU,RAM,ROM、入出力回路などからなるマイクロコンピュータから構成される。
ECU40は、レーダ装置34および撮影装置36によって得られた物体の情報に基づき、認識された物体の継続性を判断する。より具体的には、レーダ装置34および撮影装置36によって連続的に得られる物体の認識情報に基づき、前回認識された物体と今回認識された物体とが同一の物体か否かを判断(認定)し、よって当該物体が継続して認識されているか否かを判断する。
走行制御ユニット42は、ECU40からの信号を受けて、運転者によって行われるステアリングホイール20の操舵支援(操舵アシスト制御)や、レーダ装置34および撮影装置36によって認識された物体との接触を回避するための接触回避アシスト制御、先行車に追従するための追従走行制御といった既知の走行支援制御を行う。なお、上記した接触回避アシスト制御には、ステアリングホイール20の操舵やエンジン12および変速機14の動作を制御することに加え、ブレーキ油圧機構28を介したブレーキ制御、さらにはアクセル制御などを含むものであっても良いことは言うまでもない。
さらに、自車10にはナビゲーションユニット44が搭載される。なお、後述する説明では省略するが、ECU40は、レーダ装置34や撮影装置36からの情報に加えて、ナビゲーションユニット44を介して得られる情報に基づいて、自車10の進行方向に存在する物体の位置・速度情報を得るようにしても良い。
また、これ以上の説明は省略するが、自車10の進行方向に存在する物体の認識手段は上記した例に限定されるものではなく、例えば、車両10が走行する道路に設置されるインフラ設備から得られる情報を利用するものであっても良い。
図2はECU40による継続性判断処理を説明するための説明図、より詳しくは、自車10の進行方向に存在する物体を継続して認識するための処理を説明するための説明図、図3はその継続性判断処理を示すフロー・チャートである。
図2(a)は、N−1時点(前回)における物体の認識(検知)状態を示す。図示するように、前回では、自車10の進行方向に存在する物体(先行車)100(N-1),102(N-1)のうち、先行車100(N-1)はレーダ装置34のみで、先行車102(N-1)は撮影装置36のみで認識され、それぞれミリ波物標、カメラ物標としてECU40に記憶される。なお、この明細書において「前回(N−1時点)」「今回(N時点)」とは、ECU40によって連続して実行される処理(プログラム)が前回実行された時点と今回実行された時点を指すものとする。また、先行車の符号に付す(N-1)(N)などの文字は、物体が認識された時点を示すための添え字である。
図2(b)は、N時点(今回)における物体の認識状態を示す。図示するように、今回では、先行車100(N),102(N)はいずれも撮影装置36のみで認識され、それぞれカメラ物標として記憶される。
上記したように、かかる場合、従来の技術にあっては、先行車100を継続して認識することができない。即ち、先行車100は、前回と今回とでそれぞれ異なる認識手段(レーダ装置34、撮影装置36)によって認識され、前回時点ではミリ波物標としてのみ記憶される一方、今回時点ではカメラ物標としてのみ記憶されることから、従来の技術にあっては、ECU40は、先行車100が前回と今回とで継続して自車10の進行方向前方に存在していると判断することができない。
この発明は、上記した不都合に鑑みてされたものであり、この実施例にあっては、前回と今回とで異なる認識手段によって物体を認識したような場合であっても、先行車100が継続して自車10の進行方向前方に存在していると判断することができるようにした。
なお、先行車102にあっては、前回と今回のいずれにおいても撮影装置36によって認識されてカメラ物標としてECU40に記憶されることから、従来の技術にあっても、ECU40は、先行車102が前回と今回とで継続して自車10の進行方向前方に存在していると判断することができる。
図3は上記した先行車100,102の継続性判断処理を示す説明図である。以下説明すると、S10において、ECU40は、レーダ装置34および撮影装置36で取得されたデータを得る(サンプリングする)。なお、図3や後述する図6,7において、SはECU40による処理ステップを意味する。
次いでプログラムはS12に進み、今回のプログラムループにおいて自車10の進行方向前方に物体(先行車100,102や看板など)を検出(認識)していたか否か判断する。S12で否定される場合、即ち、自車10の前方に物体がないと判断される場合、プログラムは以下の処理をスキップする一方、S12で肯定される場合、プログラムはS14に進む。
S14では、前回のプログラムループにおいて自車10の前方に物体を検出(認識)していたか否か判断する。S14で否定される場合はS16に進み、今回認識された物体に対して新たに識別番号(ID。後述)を付与してプログラムを終了する。一方、S14で肯定される場合、プログラムはS18に進む。
S18では、前回のプログラムループにおいてレーダ装置34(第1認識手段)および撮影装置36(第2認識手段)の両方によって自車10の前方に存在する物体を認識していたか否か判断する。S18で肯定される場合、プログラムはS20に進み、従来制御に基づいて認識された物体の継続性を判断する。即ち、S18で肯定される場合、レーダ装置34と撮影装置36のうち、少なくともいずれか一方は前回と今回とで連続して自車10の前方に存在する物体を認識している。従って、従来制御にあっても、ECU40は自車10の前方に存在する物体を見失うことはなく、その継続性を正確に判断することができる。
他方、S18で否定される場合はS22に進み、今回のプログラムループにおいて、レーダ装置34(第1認識手段)および撮影装置36(第2認識手段)の両方によって自車10の前方に存在する物体を認識しているか否か判断する。S22で肯定される場合、レーダ装置34と撮影装置36のうち、少なくともいずれか一方は前回と今回で連続して自車10の前方に存在する物体を認識している。従って、S22で肯定される場合も、プログラムはS20に進み、従来制御に基づいて認識された物体の継続性を判断する。
一方、S22で否定される場合、プログラムはS24に進み、今回自車10の前方に存在する物体を認識したのがレーダ装置34(第1認識手段)のみか否か判断する。S24で否定される場合、即ち、自車10の前方に存在する物体を撮影装置36(第2認識手段)のみによって認識していると判断した場合、プログラムはS26に進む。
S26では、前回のプログラムループにおいても撮影装置36(第2認識手段)によって自車10の前方に存在する物体を認識していたか否か判断する。S26で肯定される場合、プログラムはS20に進み、従来制御に基づいて物体の継続性を判断する。即ち、S26で肯定される場合、少なくとも撮影装置36は前回と今回で連続して自車10の前方に存在する物体を認識している。従って、従来制御にあっても、ECU40は自車10の前方に存在する物体を見失うことはなく、その継続性を正確に判断することができる。
他方、S26で否定される場合、即ち、前回はレーダ装置34(第1認識手段)のみによって自車10の前方に存在する物体を認識していたものの、今回はレーダ装置34ではなく、撮影装置36(第2認識手段)のみによって自車10の前方に存在する物体を認識していると判断できる場合、プログラムはS28に進む。
S28では、前回レーダ装置34のみによって認識された物体の位置から所定範囲内に、今回撮影装置36のみによって認識された物体が存在するか否か判断する。なお、所定範囲は、前回認識された物体と今回認識された物体とが同一物体であると判断できる範囲に設定される。
従って、S28で肯定される場合、プログラムはS30に進み、前回レーダ装置34のみによって認識された物体と、今回撮影装置36のみによって認識された物体とが、同一の物体であると判断(認定)、換言すれば、自車10の前方に存在する物体が、前回と今回とで継続して認識されていると判断し、プログラムを終了する。
一方、S28で否定される場合、即ち、今回撮影装置36によって認識された物体が前回認識された物体とは異なる物体であると判断できる場合、プログラムはS16に進み、今回認識された物体に対して新たに識別番号(ID)を付与してプログラムを終了する。
なお、この明細書において、「物体を認識しない」とは、自車10の前方に何ら物体が存在していないという意味ではなく、レーダ装置34や撮影装置36の処理能力に基づいて設定される、物体を安定して認識(検出)できる範囲内に物体が存在していないことを意味する。
また、S24で否定される場合、即ち、今回、自車10の前方に存在する物体をレーダ装置34のみによって認識したと判断できる場合、プログラムはS32に進む。
S32では、前回のプログラムループにおいてもレーダ装置34(第1認識手段)によって自車10の前方に存在する物体を認識していたか否か判断する。S32で肯定される場合、プログラムはS34に進み、従来制御に基づいて物体の継続性を判断する。即ち、S32で肯定される場合、少なくともレーダ装置34は前回と今回で連続して自車10の前方に存在する物体を認識している。従って、従来制御にあっても、ECU40は自車10の前方に存在する物体を見失うことはなく、その継続性を正確に判断することができる。
他方、S32で否定される場合、即ち、前回は撮影装置36(第2認識手段)のみによって自車10の前方に存在する物体を認識したものの、今回はレーダ装置34(第1認識手段)のみによって自車10の前方に存在する物体を認識していると判断できる場合、プログラムはS36に進む。
S36では、前回撮影装置36のみによって認識された物体の位置から所定範囲内に、今回レーダ装置34のみによって認識された物体が存在するか否か判断する。なお、S36における所定範囲は、S28における所定範囲と同一のものでも良く、また、後述する如く、異なる範囲に設定しても良い。
S36で肯定される場合、プログラムはS38に進み、前回撮影装置36のみによって認識された物体と、今回レーダ装置34のみによって認識された物体とが、同一の物体であると判断(認定)、換言すれば、自車10の前方に存在する物体が、前回と今回とで継続して認識されていると判断し、プログラムを終了する。
一方、S36で否定される場合、即ち、今回レーダ装置34によって認識された物体が前回認識された物体とは異なる物体であると判断できる場合、プログラムはS40に進み、今回認識された物体に対して新たに識別番号(ID)を付与してプログラムを終了する。
以上説明した如く、この実施例にあっては、複数の認識手段(レーダ装置34(第1認識手段)、撮影装置36(第2認識手段))のうちいずれかによって前回認識された物体の位置から所定範囲内に、前回物体を認識した認識手段と異なる認識手段によって今回認識された物体が存在する場合、前回認識された物体と今回認識された物体とが同一の物体であると認定し、よって当該物体が継続して認識されていると判断するようにした。
さらに、この実施例にあっては、物体が継続して認識されていることをより確実に判断するため、複数の認識手段(より具体的には、第1、第2認識手段)のうち、少なくともいずれかによって物体が認識された場合、当該認識された物体に対し、複数の認識手段で共通して使用する共通識別番号(GID)を付与することとした。
図4はその共通識別番号(GID)付与処理を説明するための説明図である。
以下、自車10の進行方向前方に、物体100a(先行車)、102a(先行車)、104a(人)が存在する場合を例にとって説明する。
図4に良く示す如く、物体100aは、レーダ装置34のレーダ34aから発信されるミリ波によって検知されるミリ波検知エリア内に存在するものの、撮影装置36のカメラ36aによって検知されるカメラ検知エリア内には存在しない。従って、物体100aに対しては、ミリ波物標として、例えば、ミリ波ID(個別識別番号。個別ID)=4が付与される一方、カメラ物標としてのカメラID(個別識別番号。個別ID)は付与されない。
また、物体102aは、カメラ検知エリア内には存在するものの、ミリ波検知エリア内には存在しない。従って、物体102aに対しては、カメラ物標として、例えば、カメラID=5が付与される一方、ミリ波物標としてのミリ波IDは付与されない。
他方、物体104aは、ミリ波検知エリアおよびカメラ検知エリアの重複するエリア内に存在することから、例えば、ミリ波物標としてミリ波ID=2、カメラ物標としてカメラID=1がそれぞれ付与される。
ここで、従来の技術にあっては、ミリ波物標とカメラ物標とを共通して管理することがなかった。従って、次回処理時に、例えば、撮影装置36によって物体100aが認識され、これをカメラ物標として新たにカメラIDが付与されたとしても、物体100aとして前回記憶したミリ波物標(ミリ波ID=4)と、今回記憶したカメラ物標とを関連付けられない虞があった。
これに対し、この実施例にあっては、少なくともいずれかの認識手段によって一度でも認識された物体(100a,102a,104a)に対し、従来のミリ波IDとカメラIDに加え、共通識別番号(GID)を付与するように構成し、よって複数の認識手段において物体を一括管理できるように構成した。
より具体的には、図4に示す如く、どの認識手段によって認識されたかにかかわらず、例えば、物体100aに対してGID=0、物体102aに対してGID=1、物体104aに対してGID=2をそれぞれ付与する。
この結果、この実施例にあっては、次回処理時に、撮影装置36のみによって物体100aが認識され、カメラ物標として新たにカメラIDが付与される場合も、共通識別番号(GID=0)を用いて物体100aを一括管理することができ、物体100aを継続して認識していると判断することが可能となる。
図5は共通識別番号(GID)付与処理を説明するための説明図、より具体的には、共通識別番号(GID)を適切に付与するための処理をするための説明図、図6は図5の処理を示すフロー・チャートである。
上記した如く、この実施例にあっては、認識手段(レーダ装置34、撮影装置36)ごとに付与される個別ID(ミリ波ID、カメラID)とは別に共通識別番号(GID)を付与することとした。しかし、自車10の前方に存在する物体を認識する状況によっては、個別ID(ミリ波ID、カメラID)と共通識別番号(GID)とが相互に一致しない、即ち、誤った識別番号が付与される可能性がある。
具体的に説明すると、個別ID(ミリ波ID、カメラID)は、各認識手段(レーダ装置34、撮影装置36)の認識結果に基づいてそれぞれ付与される。このため、同一の認識手段によって物体を継続して認識できる場合、当該物体に対しては同一の個別IDが用いられる。一方、共通識別番号(GID)は、いずれかの識別手段によって物体が認識されると付与されるものであり、原則として、前回認識された物体の位置およびその移動速度と移動方向等に基づいて同一の共通識別番号を付与するか否か判断される。このため、自車10の周囲の環境によっては、個別IDと共通識別番号(GID)とが途中で一致しなくなる虞がある。
例えば、図5に示す如く、前回(N−1時点)、レーダ装置34によって先行車100b(N-1)のみが認識された後、今回(N時点)において、同じくレーダ装置34によって複数の先行車100b(N),102b(N)が認識された場合を考える。
かかる場合、ECU40は、個別ID(ミリ波ID)として、レーダ装置34の認識結果に基づき、今回認識された先行車100b(N)に対して前回認識された先行車100b(N-1)と同一のミリ波ID(例えば、ミリ波ID=3)を付与する。
一方、ECU40は、共通識別番号(GID)として、前回認識された先行車100b(N-1)の位置と、今回認識された先行車100b(N),102b(N)の位置とをそれぞれ比較した結果に基づき、前回認識された先行車100b(N-1)の位置により近い、先行車102b(N)に対して同一のGID(例えば、GID=1)を付与し、先行車100b(N)に対しては、新たに別のGID(例えば、GID=2)を付与する。
この結果、個別ID(ミリ波ID)としては、前回認識された先行車100b(N-1)と今回認識された先行車100b(N)に対して同一のID(例えば、ミリ波ID=3)が付与されているのにかかわらず、共通識別番号(GID)としては、前回認識された先行車100b(N-1)と今回認識された先行車100b(N)とで異なるGID(例えば、GID=1,GID=2)が付与されることとなってしまう。
特に、このような現象は、道路中に設置されている標識(看板)や電柱、植林などと先行車100bとの距離が近づいた場合に起こり易い。そこで、この発明の実施例においては、図6に示す処理に基づき、GIDを適宜補正(変更)できるようにした。
以下説明すると、S100において、ECU40はレーダ装置34および撮影装置36による認識結果を取得(データサンプリング)する。次いで、プログラムはS102に進み、S100で取得した認識結果に基づき、認識された物体に対してそれぞれ個別ID(ミリ波ID、カメラID)を付与する。
さらにプログラムはS104に進み、認識された物体に対してGIDを付与する。なお、この時点におけるGIDの付与は、上記した如く、前回のプログラムループにおいて認識された物体の位置およびその移動速度と移動方向等に基づいて、前回認識された物体と最も近いと判断される物体に対し、前回と同一のGIDを付与すると共に、それ以外の物体に対しては新たなGIDを付与する。
次いで、プログラムはS106に進み、認識されているある物体について、S102で付与した個別IDが、前回と今回とで同一か否か判断する。上述したように、同一の認識手段(レーダ装置34、撮影装置36)によって継続して同一物体を認識している場合、個別IDが途中で変更されることはない。従って、少なくともいずれかの認識手段によって物体を継続して認識している場合、S106の判断は肯定され、プログラムはS108に進む。
S108では、S106で判断の対象となった物体について、S104で付与したGIDが、前回と今回とで異なる(非同一)か否か判断する。S108で否定される場合、当該物体に対して付与した個別IDとGIDとが同一であり、GIDを補正(変更)する必要はないことから、以下の処理をスキップしてプログラムを終了する。
他方、S108で肯定される場合、即ち、当該物体に付与した個別IDとGIDとが異なる、より正確には、同一の個別IDを付与した物体に対し、前回と今回とで異なるGIDを付与したと判断できる場合、プログラムはS110に進む。
S110では、S104で付与したGIDを変更する。より具体的には、S110の処理は当該物体に付与した個別IDが前回と今回とで同一であることを前提として実行されることから、個別IDに基づき、GIDを前回と同一の番号に変更し、その後プログラムを終了する。
上記した処理を図5に示す場合を例にとって説明すると、上述したように、ECU40は今回認識された先行車100b(N),102b(N)のうち、前回認識された先行車100b(N-1)とより位置の近い先行車102b(N)に対して、先行車100b(N-1)と同一のGID(GID=1)を付与する。
一方、レーダ装置34は継続して先行車100bを認識していることから、ミリ波IDとしては、前回認識された先行車100b(N-1)と今回認識された先行車100b(N)に対して同一の個別ID(ミリ波ID=3)を付与し、先行車102b(N)に対しては、別途ミリ波ID=1を付与することとなる。
かかる場合であっても、前回認識された先行車100b(N-1)と今回認識された先行車100b(N)について図6に示す処理を実行することにより、今回認識された先行車100b(N)に付与されたGIDの番号(GID=2)を、前回認識された先行車100b(N-1)に付与された番号(GID=1)へと変更することができる。
以上のように、この実施例にあっては、同一の物体に付与したGIDが前回と今回とで異なる場合、個別IDに基づいてGIDを適宜変更する(付与し直す)ことができる。この結果、物体をより一層確実に継続して認識することが可能となる。
図7は、図6に示す処理の変形例を示すフロー・チャートである。
図7に示す変形例では、本来は異なる物体であるにもかかわらず、前回認識された物体と今回認識された物体とで同一のGIDを付与してしまった場合に、それを適宜変更できるようにした。
以下説明すると、S200からS204までは、図6のS100からS104と同様の処理を行う。即ち、図5に示す場合を例にとれば、前回認識された先行車100b(N-1)に対してミリ波ID=3,GID=1を、今回認識された先行車100b(N),102b(N)に対してミリ波ID=3,GID=2およびミリ波ID=1,GID=1をそれぞれ付与する。
次いでプログラムはS206に進み、今回認識された物体に対してS204で付与したGIDが、前回と今回とで同一か否か判断する。S206で肯定される場合はS208に進み、同一のGIDが正確に同一の物体に対して付与されているか否かを判断する。具体的には、同一のGIDを付与した物体について、前回認識された時点の速度と今回認識された時点における速度の速度差、換言すれば、前回認識された物体と今回認識された物体の相対速度が所定値以上か否か判断する。
S208で否定される場合、前回認識された物体と今回認識された物体とは同一の物体である可能性が高いことから、この時点ではGIDを変更せず、プログラムを終了する。他方、S208で肯定される場合、前回認識された物体と今回認識された物体とが異なる物体であると判断できることから、プログラムはS210に進み、今回認識された物体に対し、S204で付与したGIDとは異なるGIDを付与し、プログラムを終了する。
なお、S206で否定される場合、即ち、前回認識された物体と今回認識された物体とで異なるGIDが付与されている場合にあっては、上記したこの変形例における問題は発生していないことから、この時点ではGIDを変更せず、プログラムを終了する。
また、S210では、前回認識された物体の位置およびその移動速度と移動方向等に基づいて、前回認識された物体との距離が次に近い物体に対し、前回と同一のGIDを付与する。あるいは、例えば完全にランダムな形で抽出した物体に対して前回と同一のGIDを付与するようにし、上述した処理を繰り返すことで適切にGIDを付与できるようにしても良い。
また、上記した実施例では、S208の処理として、前回認識された物体と今回認識された物体の相対速度に基づき、S204で付与したGIDの適否を判断することとしたが、これに代えて、自車10と認識された物体との相対速度差に基づき、付与したGIDの適否を判断するようにしても良い。
即ち、自車10と前回認識された物体との相対速度と、自車10と今回認識された物体との相対速度との相対速度差が規定値以上か否か判断し、規定値以上であると判断される場合、S210においてGIDを変更するようにしても良い。
図7に示す処理について図5に示す場合を例にとって説明すると、図5に示す例では、今回認識された先行車100b(N),102b(N)のうち、先行車102b(N)と前回認識された先行車100b(N-1)とは実際には異なる物体であるにもかかわらず、両者に同一のGID(GID=1)が付与されている。
かかる場合、ECU40は前回認識された先行車100b(N-1)の速度と、今回認識された先行車102b(N)の速度をそれぞれ算出(検出)し、その速度差(相対速度)が所定値以上か否か判断する(S208)。
前回認識された先行車100b(N-1)と今回認識された先行車102b(N)とは実際には異なる物体であることから、算出された速度差(相対速度)もある程度異なることが想定される。特に、今回初めて認識された先行車102b(N)については、路上の障害物(標識や電柱、植林など)を誤認識した可能性が高いことから、算出された速度差もある程度大きくなる。従って、上記した処理を実行することにより、本来は異なる物体である先行車102b(N)に対して誤って付与してしまったGIDを適宜変更することができる。
以上のように、図7に示す変形例においても、図6における処理同様、同一の物体に付与したGIDが前回と今回とで異なる場合、GIDを適宜変更することができ、物体をより一層確実に継続して認識することが可能となる。
図8はECU40による物体認識のための所定範囲を拡大する処理を説明するための説明図である。
上記したように、この実施例にあっては、第1認識手段としてレーダ装置34を用いる一方、第2認識手段として撮影装置36を用いる。従来から良く知られるように、レーダ装置34の如くレーダ34aから発せられるミリ波を用いて物体を認識する場合、ミリ波を発信する方向(自車10の進行方向)に対する認識精度は比較的高い一方、これと直交する方向(自車10の車幅方向)に対する認識精度はあまり高くない。また、撮影装置36の如くカメラ36a(特に、単眼カメラ)を用いて物体を認識する場合、自車10の進行方向に対する認識精度はあまり高くない一方、自車10の車幅方向に対する認識精度は比較的高い。
このように、異なる特性を有する複数の認識手段を備える物体認識装置において、前回と今回とで異なる認識手段によって物体を認識したような場合、認識手段の特性に応じ、前回認識された物体と今回認識された物体とを関連付ける対象とすべきか否かを判断する範囲、別言すれば、前回認識された物体と今回認識された物体とが同一の物体である可能性があると判断できる範囲(所定範囲)を適宜変更することが望ましい。
従って、この実施例にあっては、物体を認識した認識手段の特性に応じて所定範囲を変更(拡大)するようにした。具体的には、前回レーダ装置34(第1認識手段)によって物体が認識され、今回撮影装置36(第2認識手段)によって物体が認識された場合、今回物体を認識した撮影装置36は自車10の進行方向に対する認識精度が比較的低いことから、自車10の進行方向における所定範囲を拡大するようにした。
また、前回撮影装置36(第2認識手段)によって物体が認識され、今回レーダ装置34(第1認識手段)によって物体が認識された場合、今回物体を認識したレーダ装置36は自車10の車幅方向における認識精度が比較的低いことから、自車10の車幅方向における所定範囲を拡大するようにした。
なお、前回と今回とで物体を認識した認識手段が同一である場合、当該所定範囲は従来技術と同様の範囲、換言すれば、認識手段の性能に基づいて定められる初期値に設定される。
以上のように、この実施例にあっては、前回物体を認識した手段と今回物体を認識した手段とが異なる場合であっても、物体の同一性を判断する基準となる範囲(所定範囲)を、認識手段の特性に応じて適宜設定(補正)することができ、物体をより一層確実に継続して認識することが可能となる。
図9はこの発明の第2実施例に係る物体認識装置による共通識別番号(GID)付与処理を示すフロー・チャートである。
以下説明すると、S300からS304までは、第1実施例の場合(S100からS104,S200からS204)と同様の処理を行い、S306に進み、今回認識された物体に付与された個別IDおよびGIDと、前回認識された物体に付与された個別IDおよびGIDとが不一致か否か判断する。図5に示す例であれば、今回認識された先行車100b(N),102b(N)に付与された個別IDおよびGIDと、前回認識された先行車100b(N-1)に付与された個別IDおよびGIDの組み合わせがそれぞれ異なるか否か判断する。
S306で否定される場合、即ち、前回認識された物体と今回認識された物体との間で個別IDおよびGIDが一致すると判断される場合、前回認識された物体と今回認識された物体とを誤認識してはいないと考えられるため、以下の処理をスキップしてプログラムを終了する。
他方、S306で肯定される場合はS308に進み、前回認識された物体と今回認識された各物体との相対速度を算出する。図5に示す例であれば、前回認識された先行車100b(N-1)と、今回認識された先行車102b(N-1),102b(N)との相対速度をそれぞれ算出する。
次いでプログラムはS310に進み、S308で算出された相対速度に基づいて、前回認識された物体と今回認識された各物体との距離を補正する。即ち、算出された相対速度が大きい場合、前回認識された物体と今回認識された物体との距離は、相体速度が小さい場合に比して大きくなることから、前回認識された物体と今回認識された各物体との距離を単純に比較したのでは、物体を正確に認識できない虞がある。そこで、第2実施例にあっては、かかる違いを考慮し、相対速度が大きい場合、前回認識された物体と今回認識された物体との見かけ上の距離を大きく補正する一方、相対速度が小さい場合は当該距離を小さく補正するようにした。
さらにプログラムはS312に進み、前回認識された物体と今回認識された各物体との補正後の距離をそれぞれ比較し、前回認識された物体との距離が最も小さいと判断される物体が前回認識された物体と同一の物体であると判断して当該物体のGIDを前回認識された物体のGIDと同一の番号に変更する。
また、図示は省略するが第2実施例においては、上記処理によって一旦GIDが変更された場合、その後の処理(プログラムループ)においても当該物体が前回認識された物体と同一の物体であると認識され易くなる。例えば、当該物体については、同一の物体であると判断するための許容量(しきい値)が他の物体に比して大きくなるようにしたり、前回位置との距離を小さく補正したりすることもできる。この結果、物体をより安定して継続的に認識することが可能となる。
なお、上記においては、前回認識された物体と今回認識された物体との相対速度に基づき、前回認識された物体と今回認識された物体との距離を補正することとしたが、これに代えて(あるいは、これに加えて)、今回認識された物体の速度や、自車10との距離に基づいて補正を行うようにしても良い。即ち、今回認識された物体の位置が自車10と近いほど、今回認識された物体と前回認識された物体とが同一の物体であると判断され易いように当該距離を補正するようにしても良い。
上記した如く、この発明の第1、第2実施例にあっては、自車10の周囲に存在する物体を周期的に認識する複数の認識手段(レーダ装置34、撮影装置36)と、前記複数の認識手段によって認識された物体が継続して認識されているか否か判断する継続性判断手段(ECU40)とを備えた物体認識装置において、前記継続性判断手段は、前記複数の認識手段のうちいずれかによって前回認識された物体の位置から所定範囲内に、前記複数の認識手段のうち前記物体を前回認識した認識手段と異なる認識手段によって今回認識された物体が存在する場合(ECU40。S28またはS36でYES)、前記前回認識された物体と今回認識された物体とが同一の物体であると認定(ECU40。S30またはS38)し、よって前記物体が継続して認識されていると判断するように構成した。従って、前回と今回とで、それぞれ異なる認識手段のみによって物体を認識した場合にあっても、前回一方の認識手段によって認識された物体と、今回他方の認識手段によって認識された物体とが同一の物体であると認定することができ、物体を継続して認識することが可能となる。
また、前記複数の認識手段のうち少なくともいずれかによって前記物体が認識された場合、前記認識された物体に前記複数の認識手段で共通して使用する共通識別番号(GID)を付与する共通識別番号付与手段を有するように構成、即ち、いずれかの認識手段によって一度でも認識された物体にはGIDを付与するように構成した。従って、上記した効果に加え、複数の認識手段において物体を一括管理することができ、物体をより一層確実に継続して認識することが可能となる。
また、前記複数の認識手段によって認識された物体にそれぞれ個別識別番号(個別ID)を付与する個別識別番号付与手段を備えると共に、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与された前記個別IDが同一である一方、前回認識された物体と今回認識された物体とに付与した前記GIDが異なる場合、今回認識された物体に付与した前記GIDを変更する(S102からS110)ように構成した。従って、上記した効果に加え、同一の物体に付与したGIDが前回と今回とで異なる場合にあっても、個別IDに基づいてGIDを変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
また、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記GIDが同一である場合であって、かつ、前回認識された物体と今回認識された物体との相対速度が所定値以上であるとき、今回認識された物体に付与した前記共通識別番号を変更する(S206からS210)ように構成した。従って、上記した効果に加え、今回認識された物体に付与したGIDの妥当性を判断することができると共に、付与したGIDが妥当でないと判断できる場合、GIDを適宜変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
また、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記GIDが同一である場合であって、かつ、自車10と前回認識された物体との相対速度と、自車10と今回認識された物体との相対速度との相対速度差が規定値以上であるとき、今回認識された物体に付与した前記GIDを変更する(S206からS210)ように構成した。従って、上記同様、今回認識された物体に付与してGIDの妥当性を判断することができると共に、付与したGIDが妥当でないと判断できる場合、GIDを適宜変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
また、前記共通識別番号付与手段は、前回認識された物体と今回認識された各物体との相対速度を算出する(S308)と共に、前記算出された相対速度に基づいて前回認識された物体と今回認識された物体との距離を補正する距離補正手段(S310)を備えるように構成した。従って、上記した効果に加え、今回認識された物体に対しGIDを適切に付与することができ、よって物体をより一層確実に継続して認識することが可能となる。
また、前記複数の認識手段によって認識された物体にそれぞれ個別識別番号(個別ID)を付与する個別識別番号付与手段を備えると共に、前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体の間で、前記付与された前記個別IDおよび前記付与した前記GIDが不一致である場合、前記距離補正手段によって補正した距離に基づいて今回認識された物体に付与した前記共通識別番号を変更する(S302からS312)ように構成した。従って、上記した効果に加え、今回認識された物体に付与したGIDの妥当性をより一層正確に判断できると共に、付与したGIDが妥当でないと判断できる場合、GIDを適宜変更する(付与し直す)ことができ、よって物体をより一層確実に継続して認識することが可能となる。
また、前記継続性判断手段は、前記複数の認識手段のうち前記物体を認識した認識手段の特性に応じて前記所定範囲を設定するように構成した。従って、上記した効果に加え、前回物体を認識した手段と今回物体を認識した手段とが異なる場合であっても、物体の同一性を判断する基準となる範囲(所定範囲)を適宜設定(補正)することができ、物体をより一層確実に継続して認識することが可能となる。
また、前記複数の認識手段は、レーダ34aからなるレーダ装置34と、撮像機器(カメラ)36aからなる撮影装置36とからなり、前記継続性判断手段は、前回前記物体を認識した認識手段が前記レーダ装置34であり、かつ、今回前記物体を認識した認識手段が前記撮影装置36である場合、自車10の進行方向における前記所定範囲を拡大するように設定する一方、前回前記物体を認識した認識手段が前記撮影装置36であり、かつ、今回前記物体を認識した認識手段が前記レーダ装置34である場合、自車10の車幅方向における前記所定範囲を拡大するように構成した。従って、上記した効果に加え、前回物体を認識した手段と今回物体を認識した手段とが異なる場合であっても、物体の同一性を判断する基準となる範囲(所定範囲)を、認識手段の特性に応じて適宜設定(補正)することができ、物体をより一層確実に継続して認識することが可能となる。
なお、上記した実施例において、第1認識手段としてレーダ装置34を示し、ミリ波によって自車10の前方に存在する物体を認識する旨を説明したが、第1認識手段はこれに限られるものではなく、ミリ波に代えて、レーザや赤外線等によって自車10の前方に存在する物体を認識するようにしても良い。
また、撮影装置36として単眼カメラ36aを例にとって説明したが、これに限られるものではなく、複数のカメラ36aを用いて自車10の前方に存在する物体を認識するようにしても良い。かかる場合、三角測量法を用いて物体を認識することが可能となるため、単眼カメラの場合に比して自車10の進行方向に対する物体の認識精度を向上することが可能となる。
また、上記した実施例において、複数の認識手段としてレーダ装置34と撮影装置36を例にとって説明したが、これに加え、ナビゲーションユニット44により得られる情報や、ナビゲーションユニット44の有する無線通信手段等を介して得られるインフラ設備からの情報等を第3、第4の認識手段として用いても良い。
10 自車、26 電動モータ、28 ブレーキ油圧機構、30 警報装置、34 レーダ装置(第1認識手段)、34a レーダ、36 撮影装置(第2認識手段)、36a カメラ、40 ECU(物体認識装置)、42 走行制御ユニット

Claims (9)

  1. 自車の周囲に存在する物体を周期的に認識する複数の認識手段と、前記複数の認識手段によって認識された物体が継続して認識されているか否か判断する継続性判断手段とを備えた物体認識装置において、
    前記継続性判断手段は、前記複数の認識手段のうちいずれかによって前回認識された物体の位置から所定範囲内に、前記複数の認識手段のうち前記物体を前回認識した認識手段と異なる認識手段によって今回認識された物体が存在する場合、前記前回認識された物体と今回認識された物体とが同一の物体であると認定し、よって前記物体が継続して認識されていると判断することを特徴とする物体認識装置。
  2. 前記複数の認識手段のうち少なくともいずれかによって前記物体が認識された場合、前記認識された物体に前記複数の認識手段で共通して使用する共通識別番号を付与する共通識別番号付与手段を有することを特徴とする請求項1記載の物体認識装置。
  3. 前記複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与する個別識別番号付与手段を備えると共に、
    前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与された前記個別識別番号が同一である一方、前回認識された物体と今回認識された物体とに付与した前記共通識別番号が異なる場合、今回認識された物体に付与した前記共通識別番号を変更することを特徴とする請求項2記載の物体認識装置。
  4. 前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記共通識別番号が同一である場合であって、かつ、前回認識された物体と今回認識された物体との相対速度が所定値以上であるとき、今回認識された物体に付与した前記共通識別番号を変更することを特徴とする請求項2または3記載の物体認識装置。
  5. 前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体とに付与した前記共通識別番号が同一である場合であって、かつ、自車と前回認識された物体との相対速度と、自車と今回認識された物体との相対速度との相対速度差が規定値以上であるとき、今回認識された物体に付与した前記共通識別番号を変更することを特徴とする請求項2または3記載の物体認識装置。
  6. 前記共通識別番号付与手段は、前回認識された物体と今回認識された物体との相対速度を算出すると共に、前記算出された相対速度に基づいて前回認識された物体と今回認識された物体との距離を補正する距離補正手段を備えることを特徴とする請求項2から5のいずれかに記載の物体認識装置。
  7. 前記複数の認識手段によって認識された物体にそれぞれ個別識別番号を付与する個別識別番号付与手段を備えると共に、
    前記共通識別番号付与手段は、前記複数の認識手段のいずれかによって前回認識された物体と今回認識された物体との間で、前記付与された前記個別識別番号および前記付与した共通識別番号が不一致である場合、前記距離補正手段によって補正した距離に基づいて今回認識された物体に付与した前記共通識別番号を変更することを特徴とする請求項6記載の物体認識装置。
  8. 前記継続性判断手段は、前記複数の認識手段のうち前記物体を認識した認識手段の特性に応じて前記所定範囲を設定することを特徴とする請求項1から7のいずれかに記載の物体認識装置。
  9. 前記複数の認識手段は、レーダからなる第1認識手段と、撮像機器からなる第2認識手段とからなり、
    前記継続性判断手段は、前回前記物体を認識した認識手段が前記第1認識手段であり、かつ、今回前記物体を認識した認識手段が前記第2認識手段である場合、自車の進行方向における前記所定範囲を拡大するように設定する一方、前回前記物体を認識した認識手段が前記第2認識手段であり、かつ、今回前記物体を認識した認識手段が前記第1認識手段である場合、自車の車幅方向における前記所定範囲を拡大するように設定することを特徴とする請求項1から8のいずれかに記載の物体認識装置。
JP2014097381A 2014-05-09 2014-05-09 物体認識装置 Expired - Fee Related JP6330160B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2014097381A JP6330160B2 (ja) 2014-05-09 2014-05-09 物体認識装置
CN201510226519.6A CN105083161B (zh) 2014-05-09 2015-05-06 物体识别装置以及物体识别方法
US14/706,066 US9778352B2 (en) 2014-05-09 2015-05-07 Object recognition apparatus
DE102015208599.6A DE102015208599A1 (de) 2014-05-09 2015-05-08 Objekterkennungsvorrichtung

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014097381A JP6330160B2 (ja) 2014-05-09 2014-05-09 物体認識装置

Publications (2)

Publication Number Publication Date
JP2015215201A true JP2015215201A (ja) 2015-12-03
JP6330160B2 JP6330160B2 (ja) 2018-05-30

Family

ID=54336812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014097381A Expired - Fee Related JP6330160B2 (ja) 2014-05-09 2014-05-09 物体認識装置

Country Status (4)

Country Link
US (1) US9778352B2 (ja)
JP (1) JP6330160B2 (ja)
CN (1) CN105083161B (ja)
DE (1) DE102015208599A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017017766A1 (ja) * 2015-07-27 2018-06-28 日産自動車株式会社 物体検出方法及び物体検出装置
CN108983247A (zh) * 2017-05-31 2018-12-11 本田技研工业株式会社 物体目标识别系统、物体目标识别方法及存储介质
JP2019059450A (ja) * 2017-09-28 2019-04-18 トヨタ自動車株式会社 車両運転支援装置
WO2019159494A1 (ja) * 2018-02-13 2019-08-22 住友電気工業株式会社 情報生成装置、情報生成方法、コンピュータプログラムおよび車載装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180072139A (ko) * 2016-12-21 2018-06-29 현대자동차주식회사 차량 및 그 제어 방법
JP6686988B2 (ja) * 2017-08-28 2020-04-22 株式会社Soken 映像出力装置及び映像生成プログラム
JP7045155B2 (ja) * 2017-09-14 2022-03-31 株式会社デンソー 物標認識装置、物標認識方法及び車両制御システム
US11514594B2 (en) 2019-10-30 2022-11-29 Vergence Automation, Inc. Composite imaging systems using a focal plane array with in-pixel analog storage elements
CN113330331A (zh) * 2019-12-04 2021-08-31 华为技术有限公司 用于交通场景中收集和自动标记测量数据的装置和方法
US11774582B2 (en) 2020-01-28 2023-10-03 Aptiv Technologies Limited Imaging and radar fusion for multiple-object tracking
US11618480B2 (en) 2020-11-18 2023-04-04 Aptiv Technologies Limited Kurtosis based pruning for sensor-fusion systems
US12080072B2 (en) 2021-03-18 2024-09-03 Aptiv Technologies AG History-based identification of incompatible tracks
US20230410490A1 (en) * 2022-05-11 2023-12-21 Aptiv Technologies Limited Deep Association for Sensor Fusion

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2002222487A (ja) * 2001-01-26 2002-08-09 Mitsubishi Electric Corp 道路監視システム
JP2007226680A (ja) * 2006-02-24 2007-09-06 Toyota Motor Corp 物体検出装置
JP2007272441A (ja) * 2006-03-30 2007-10-18 Denso Corp 物体検出装置
JP2008021069A (ja) * 2006-07-12 2008-01-31 Alpine Electronics Inc 周辺監視システム
US20100209881A1 (en) * 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on behavioral diagnosis
JP2012064026A (ja) * 2010-09-16 2012-03-29 Toyota Motor Corp 車両用対象物検出装置、およびその方法
JP2012189445A (ja) * 2011-03-10 2012-10-04 Panasonic Corp 物体検出装置及び物体検出方法
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001213254A (ja) * 2000-01-31 2001-08-07 Yazaki Corp 車両用側方監視装置
US6535114B1 (en) * 2000-03-22 2003-03-18 Toyota Jidosha Kabushiki Kaisha Method and apparatus for environment recognition
JP3645177B2 (ja) * 2000-11-29 2005-05-11 三菱電機株式会社 車両周辺監視装置
JP4265931B2 (ja) * 2003-05-22 2009-05-20 富士重工業株式会社 先行車両検出装置
JP4055656B2 (ja) * 2003-05-30 2008-03-05 トヨタ自動車株式会社 衝突予測装置
JP4396400B2 (ja) * 2004-06-02 2010-01-13 トヨタ自動車株式会社 障害物認識装置
EP1912157A1 (en) * 2006-10-09 2008-04-16 MAGNETI MARELLI SISTEMI ELETTRONICI S.p.A. Digital image processing system for automatically representing surrounding scenes to the driver of a vehicle for driving assistance, and corresponding operating method
DE102008013366B4 (de) 2008-03-10 2021-06-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Bereitstellung von Information für Fahrerassistenzsysteme
JP4788798B2 (ja) * 2009-04-23 2011-10-05 トヨタ自動車株式会社 物体検出装置
JP5716343B2 (ja) * 2010-10-01 2015-05-13 トヨタ自動車株式会社 車両の物体認識システム
TWI526959B (zh) * 2011-08-03 2016-03-21 國立臺北科技大學 高安全性之車輛交通系統及其操作方法
US8705797B2 (en) 2012-03-07 2014-04-22 GM Global Technology Operations LLC Enhanced data association of fusion using weighted Bayesian filtering
DE102013003117A1 (de) 2013-02-25 2013-08-29 Daimler Ag Verfahren zur Selbstlokalisation eines Fahrzeugs und zur Detektion von Objekten in einer Umgebung des Fahrzeugs
JP6440115B2 (ja) * 2014-03-06 2018-12-19 パナソニックIpマネジメント株式会社 表示制御装置、表示制御方法、および表示制御プログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06230115A (ja) * 1993-02-01 1994-08-19 Toyota Motor Corp 車間距離検出装置
JP2002222487A (ja) * 2001-01-26 2002-08-09 Mitsubishi Electric Corp 道路監視システム
JP2007226680A (ja) * 2006-02-24 2007-09-06 Toyota Motor Corp 物体検出装置
JP2007272441A (ja) * 2006-03-30 2007-10-18 Denso Corp 物体検出装置
JP2008021069A (ja) * 2006-07-12 2008-01-31 Alpine Electronics Inc 周辺監視システム
US20100209881A1 (en) * 2009-02-18 2010-08-19 Gm Global Technology Operations, Inc. Driving skill recognition based on behavioral diagnosis
JP2012064026A (ja) * 2010-09-16 2012-03-29 Toyota Motor Corp 車両用対象物検出装置、およびその方法
JP2012189445A (ja) * 2011-03-10 2012-10-04 Panasonic Corp 物体検出装置及び物体検出方法
JP2013002927A (ja) * 2011-06-15 2013-01-07 Honda Elesys Co Ltd 障害物検知装置及びコンピュータプログラム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017017766A1 (ja) * 2015-07-27 2018-06-28 日産自動車株式会社 物体検出方法及び物体検出装置
CN108983247A (zh) * 2017-05-31 2018-12-11 本田技研工业株式会社 物体目标识别系统、物体目标识别方法及存储介质
CN108983247B (zh) * 2017-05-31 2022-08-23 本田技研工业株式会社 物体目标识别系统、物体目标识别方法及存储介质
JP2019059450A (ja) * 2017-09-28 2019-04-18 トヨタ自動車株式会社 車両運転支援装置
WO2019159494A1 (ja) * 2018-02-13 2019-08-22 住友電気工業株式会社 情報生成装置、情報生成方法、コンピュータプログラムおよび車載装置
JPWO2019159494A1 (ja) * 2018-02-13 2020-05-28 住友電気工業株式会社 情報生成装置、情報生成方法、コンピュータプログラムおよび無線通信システム
US11010612B2 (en) 2018-02-13 2021-05-18 Sumitomo Electric Industries, Ltd. Information generation device, information generation method, computer program, and in-vehicle device

Also Published As

Publication number Publication date
CN105083161A (zh) 2015-11-25
DE102015208599A1 (de) 2015-11-12
JP6330160B2 (ja) 2018-05-30
US9778352B2 (en) 2017-10-03
US20150324652A1 (en) 2015-11-12
CN105083161B (zh) 2017-10-20

Similar Documents

Publication Publication Date Title
JP6330160B2 (ja) 物体認識装置
CN109017791B (zh) 车道变更辅助装置
US10688997B2 (en) Lane merging determination apparatus
US10345443B2 (en) Vehicle cruise control apparatus and vehicle cruise control method
JP6536521B2 (ja) 物体検知装置及び物体検知方法
US9778356B2 (en) Autonomous emergency braking system and method for recognizing pedestrian therein
JP6507839B2 (ja) 車両の走行制御装置
JP4211809B2 (ja) 物体検出装置
JP2019059450A (ja) 車両運転支援装置
US10471961B2 (en) Cruise control device and cruise control method for vehicles
US11003924B2 (en) System and method for detecting close cut-in vehicle based on free space signal
US20190080187A1 (en) Target recognition apparatus, target recognition method, and vehicle control system
JP2019012323A (ja) 車両制御装置
JP6825528B2 (ja) 車両運転支援装置
JP6380232B2 (ja) 物体検出装置、及び物体検出方法
JP6354659B2 (ja) 走行支援装置
JP6429360B2 (ja) 物体検出装置
JP2011164989A (ja) ふらつき判定装置
US10406977B2 (en) Vehicle driving assistance apparatus and vehicle driving assistance method
US10864852B2 (en) Out-of-vehicle notification device
US10068142B2 (en) Detection apparatus, detection method, driving assistance apparatus, and driving assistance method
JP6828602B2 (ja) 物標検出装置
US11403494B2 (en) Obstacle recognition assistance device, obstacle recognition assistance method, and storage medium
WO2016158491A1 (ja) 衝突回避支援装置
JP6699568B2 (ja) 車両制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180329

R150 Certificate of patent or registration of utility model

Ref document number: 6330160

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees