JP2019096038A - 車両の物標検出装置 - Google Patents

車両の物標検出装置 Download PDF

Info

Publication number
JP2019096038A
JP2019096038A JP2017224670A JP2017224670A JP2019096038A JP 2019096038 A JP2019096038 A JP 2019096038A JP 2017224670 A JP2017224670 A JP 2017224670A JP 2017224670 A JP2017224670 A JP 2017224670A JP 2019096038 A JP2019096038 A JP 2019096038A
Authority
JP
Japan
Prior art keywords
target
vehicle
area
control unit
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017224670A
Other languages
English (en)
Other versions
JP6642556B2 (ja
Inventor
優 川端
Masaru Kawabata
優 川端
孝仁 池之内
Takahito Ikenouchi
孝仁 池之内
貫一 古山
Kanichi Furuyama
貫一 古山
貴行 森谷
Takayuki Moriya
貴行 森谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2017224670A priority Critical patent/JP6642556B2/ja
Priority to PCT/JP2018/042421 priority patent/WO2019102938A1/ja
Priority to US16/764,497 priority patent/US20200353919A1/en
Priority to CN201880075343.0A priority patent/CN111373460B/zh
Priority to EP18880262.3A priority patent/EP3709279A4/en
Publication of JP2019096038A publication Critical patent/JP2019096038A/ja
Application granted granted Critical
Publication of JP6642556B2 publication Critical patent/JP6642556B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14Adaptive cruise control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/93185Controlling the brakes
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9319Controlling the accelerator
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9321Velocity regulation, e.g. cruise control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323Alternative operation using light waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324Alternative operation using ultrasonic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93271Sensor installation details in the front of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93272Sensor installation details in the back of the vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327Sensor installation details
    • G01S2013/93274Sensor installation details on the side of the vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

【課題】重要な分割領域の物標のデータを得つつ、それ以外の分割領域の物標のデータが得られない事態を可能な限り抑制する車両の物標検出装置を提供する。【解決手段】車両10に設けられた物標検出装置は、車両の周辺領域に存在する物標を検出する検出部(カメラ100〜130、ソナー140、ミリ波レーダ150)と、検出された物標のうち予め定められた基準で選定した物標に関する物標データを出力する検出制御部(CPU201〜251)と、出力された物標データに基づき、車両を制御する中央制御部(CPU301)と、周辺領域を予め分割して生成された複数の分割領域を表す分割領域情報を記憶する記憶部(メモリ202〜252)と、車両の運転を支援する制御を行う運転支援制御部(運転支援CPU310)と、を備る。検出制御部は、複数の分割領域のうちの特定分割領域で検出された物標である特定物標を、優先して選定する。【選択図】図1

Description

ここに開示された技術は、車両の周辺領域に存在する物標を検出する車両の物標検出装置に関するものである。
従来、車両の周辺領域に存在する人、物などの物標を検出する検出部が設けられた車両が知られている(例えば、特許文献1参照)。このような車両では、一般に、検出部ごとに設けられた検出制御部により、検出された物標の位置、車両に対する相対速度などが算出される。そして、算出された物標の位置、相対速度を含む物標データが、検出制御部から車両全体を制御する中央制御部に送信されるように構成されている。
検出部は、例えば、車両が走行する車線を規定する白線、車両の走行車線および隣接車線を走行する他車、歩道を歩く歩行者、道路脇に設置された交通標識など、多数の物標を検出する。このため、検出制御部から中央制御部に送信される物標データは、膨大なデータ量になることから、中央制御部の処理負荷が増大する。そこで、特許文献1に記載の車両では、車両前方における物標の検出範囲を複数の分割領域に分割し、車速及び操舵角に応じて物標を検出する検出対象に設定する分割領域を変更している。これによって、中央制御部に送信される物標データの量を制限し、中央制御部の処理負荷を軽減している。
特開2009−58316号公報
しかし、車速及び操舵角に応じて物標を検出する検出対象に設定する分割領域を変更してしまうと、物標の検出対象として設定されていない分割領域に検出すべき物標が存在した場合、中央制御部は、この物標のデータを得ることができない。
ここに開示された技術は、重要な分割領域の物標のデータを得つつ、それ以外の分割領域の物標のデータが得られない事態を可能な限り抑制することを目的とする。
上述の課題を解決するために、ここに開示された技術の一態様は、
車両に設けられた物標検出装置であって、
前記車両の周辺領域に存在する物標を検出する検出部と、
前記検出部により検出された前記物標のうち予め定められた基準で選定した前記物標に関する物標データを出力する検出制御部と、
前記検出制御部から出力された前記物標データに基づき、前記車両を制御する中央制御部と、
前記周辺領域を予め分割して生成された複数の分割領域を表す分割領域情報を記憶する記憶部と、
運転者による前記車両の運転を支援する制御を行う運転支援制御部と、
を備え、
前記検出制御部は、前記運転支援制御部の作動状況に応じて設定された、前記複数の分割領域のうちの1以上の特定分割領域で検出された前記物標である特定物標を、前記1以上の特定分割領域以外の分割領域で検出された前記物標である非特定物標より優先して選定するものである。
この態様によれば、運転支援制御部の作動状況に応じて車両の制御に必要な物標が存在する分割領域が特定分割領域に設定されると、中央制御部は、車両の制御に必要な物標データを優先して得ることができる。また、非特定物標は、特定物標に比べて優先して選定されないだけであり、非特定物標が選定されることはあり得る。このため、中央制御部が、非特定物標に関する物標データを得られないという事態を抑制することができる。
上記態様において、例えば、前記中央制御部が、前記運転支援制御部の作動状況に応じて、前記複数の分割領域のうち1以上の分割領域を特定分割領域として設定してもよい。上記態様において、例えば、前記検出制御部が、前記運転支援制御部の作動状況に応じて、前記複数の分割領域のうち1以上の分割領域を特定分割領域として設定してもよい。
上記態様において、例えば、前記検出制御部は、前記1以上の特定分割領域のそれぞれに対して予め設定された物標設定数の合計数より多い値に予め定められた上限個数以下の前記物標を選定してもよく、前記1以上の特定分割領域のそれぞれにおいて検出された前記特定物標の個数が、それぞれの前記物標設定数を超えていれば前記物標設定数の前記特定物標を選定してもよく、それぞれの前記物標設定数以下であれば全ての前記特定物標を選定してもよく、前記上限個数から前記特定物標の選定個数を減算した差に相当する個数を、前記非特定物標及び未選定の前記特定物標のなかから選定してもよい。
この態様によれば、上限個数以下の物標が選定されるので、検出制御部から出力される物標データの量が過大になるのを避けることができる。また、特定分割領域で検出された特定物標は、物標設定数以下の個数が必ず選定されるため、中央制御部は、物標設定数以下の特定物標に関する物標データを確実に得ることができる。また、上限個数から特定物標の選定個数を減算した差に相当する個数が、非特定物標及び未選定の特定物標のなかから選定されるため、中央制御部が、非特定物標に関する物標データを得られないという事態を可能な限り抑制することができる。
上記態様において、例えば、前記中央制御部が、前記1以上の特定分割領域のそれぞれに対して、予め定められた物標設定数を設定してもよい。上記態様において、例えば、前記検出制御部が、前記1以上の特定分割領域のそれぞれに対して、予め定められた物標設定数を設定してもよい。
上記態様において、例えば、前記記憶部は、前記分割領域情報として、前記周辺領域のうち前記車両の前方に近接して生成された分割領域である衝突回避領域を表す情報と、前記衝突回避領域の前方に生成された分割領域である追従走行領域を表す情報と、を記憶してもよく、前記運転支援制御部は、前記車両に先行して走行する先行車両に追従して前記車両を走行させる追従走行制御を行うことが可能に構成されてもよく、前記運転支援制御部が前記追従走行制御を行っていないときは、前記衝突回避領域が前記特定分割領域として設定されてもよい。
この態様によれば、中央制御部は、追従走行制御が行われていないときは、車両の前方に近接して生成された衝突回避領域に存在する物標に関する物標データを、優先して得ることができる。したがって、車両に近接する物標を考慮して、車両の制御を行うことが可能になる。
上記態様において、例えば、前記運転支援制御部が前記追従走行制御を行っていないときは、前記中央制御部が、前記衝突回避領域を前記特定分割領域として設定してもよい。上記態様において、例えば、前記運転支援制御部が前記追従走行制御を行っていないときは、前記検出制御部が、前記衝突回避領域を前記特定分割領域として設定してもよい。
上記態様において、例えば、前記運転支援制御部が前記追従走行制御を行っているときは、前記追従走行領域が前記特定分割領域として設定されてもよい。
この態様によれば、中央制御部は、追従走行制御が行われているときは、衝突回避領域の前方に生成された追従走行領域に存在する物標に関する物標データを、優先して得ることができる。したがって、追従走行領域に存在する先行車両に追従する追従走行制御を、適切に行うことが可能になる。
上記態様において、例えば、前記運転支援制御部が前記追従走行制御を行っているときは、前記中央制御部が、前記追従走行領域を前記特定分割領域として設定してもよい。上記態様において、例えば、前記運転支援制御部が前記追従走行制御を行っているときは、前記検出制御部が、前記追従走行領域を前記特定分割領域として設定してもよい。
上記態様において、例えば、前記記憶部は、前記分割領域情報として、前記車両の後側方に生成された分割領域である後側方領域を表す情報を記憶してもよく、前記運転支援制御部は、前記車両が走行する車線を維持させる車線維持支援制御を行うことが可能に構成されてもよく、前記運転支援制御部が前記車線維持支援制御を行っているときは、前記後側方領域が前記特定分割領域として設定されてもよい。
この態様によれば、中央制御部は、車両の後側方に生成された後側方領域に存在する物標に関する物標データを、優先して得ることができる。したがって、車両の後方から追い付いてくる後続車両を考慮して、車線維持支援制御を適切に行うことが可能になる。
上記態様において、例えば、前記運転支援制御部が前記車線維持支援制御を行っているときは、前記中央制御部が、前記後側方領域を前記特定分割領域として設定してもよい。上記態様において、例えば、前記運転支援制御部が前記車線維持支援制御を行っているときは、前記検出制御部が、前記後側方領域を前記特定分割領域として設定してもよい。
この車両の物標検出装置によれば、運転支援制御部の作動状況に応じて、車両の制御に必要な物標データを優先して得ることができる。
物標検出装置を備える車両の構成を概略的に示すブロック図である。 分割領域の一例を概略的に示す図である。 各分割領域に設定された領域スコアの一例を概略的に示す図である。 特定分割領域情報の一例を概略的に示す図である。 特定分割領域の設定手順例を概略的に示すフローチャートである。 図5のサブルーチンを概略的に示すフローチャートである。 図5のサブルーチンを概略的に示すフローチャートである。 図5のサブルーチンを概略的に示すフローチャートである。 図5のサブルーチンを概略的に示すフローチャートである。 各センサECUのCPUの動作手順の一例を概略的に示すフローチャートである。 統合ECUのCPUの動作手順例を概略的に示すフローチャートである。 統合ECUとセンサECUとにおけるデータ送受信の手順を概略的に示すシーケンス図である。
(本開示に係る一態様の着眼点)
まず、本開示に係る一態様の着眼点が説明される。上述のように、上記特許文献1に記載の車両では、車両前方における物標の検出範囲を複数の分割領域に分割し、車速及び操舵角に応じて物標を検出する分割領域を変更している。このため、上述のように、物標を検出しない分割領域に検出すべき物標が存在したとしても、中央制御部は、この物標を認識することができない。
また、物標を検出する分割領域を変更したとしても、物標を検出する分割領域に多数の物標が存在するときは、検出制御部から中央制御部に送信される物標データは、やはり膨大なデータ量になる。よって、この場合には、中央制御部の処理負荷を軽減することができない。
また、検出制御部から中央制御部に膨大な量の物標データを送信することを考慮すると、検出制御部から中央制御部までの通信ケーブルが十分な通信容量を有するように構成する必要がある。その結果、装置のコストが上昇してしまうこととなる。
以上に鑑みて、本発明者は、必要な物標の物標データを確実に得て、検出制御部から中央制御部に送信される物標データのデータ量を制限し、かつ、装置のコストが上昇しない車両の物標検出装置を想到した。
(実施形態)
以下、図面を参照しつつ、本開示の実施形態が説明される。なお、各図では、同様の要素には同様の符号が付され、適宜、説明が省略される。
(構成)
図1は、本実施形態の物標検出装置を備える車両10の構成を概略的に示すブロック図である。車両10は、本実施形態では例えば、4輪自動車である。車両10は、図1に示されるように、前方カメラ100、後方カメラ110、右後側方カメラ120、左後側方カメラ130、ソナー140、ミリ波レーダ150と、それぞれに電気的に接続されたセンサ電子制御ユニット(センサECU)200,210,220,230,240,250と、を備える。センサECU200は、中央演算処理装置(CPU)201と、メモリ202と、を含む。センサECU210,220,230,240,250も、センサECU200と同様に構成され、それぞれ、CPU201,・・・,251と、メモリ202,・・・,252と、を含む。
車両10は、図1に示されるように、さらに、アダプティブクルーズコントロール(ACC)スイッチ160、レーンキープアシストシステム(LAS)スイッチ170、車線逸脱警報システム(LDWS)スイッチ180、車輪速センサ190、統合ECU300、運転支援CPU310、前方衝突警報CPU400、後方衝突警報CPU410、側方車両接近警報CPU420、操舵回避CPU430、ブレーキCPU440を備える。
センサECU200,210,220は、それぞれ、センサケーブル600,610,620と、車内バス500とを介して、統合ECU300に接続されている。センサECU230,240,250は、それぞれ、センサケーブル630,640,650と、車内バス510とを介して、統合ECU300に接続されている。統合ECU300と、各CPU310,400,410,420,430,440とは、車内バス520を介して、互いに接続されている。なお、図1では、車内バス500,510,520は、互いに別のラインとして示されているが、1本のバスラインとして構成されていてもよい。
センサECU200,・・・,250のメモリ202,・・・,252は、それぞれ、例えば半導体メモリ等により構成され、例えばリードオンリメモリ(ROM)、ランダムアクセスメモリ(RAM)、電気的に消去書き換え可能なROM(EEPROM)などを含む。メモリ202,・・・,252のROMは、それぞれ、CPU201,・・・,251を動作させる制御プログラムを記憶する。
前方カメラ100は、車両10の前面中央(例えばフロントガラスの上部中央)に、前方カメラ100の光軸が車両10の前方を向くように取り付けられている。後方カメラ110は、車両10の後面中央(例えばリアナンバープレートの近傍)に、後方カメラ110の光軸が車両10の後方を向くように取り付けられている。右後側方カメラ120は、車両10の後面右(例えばリアバンパの右端)に、右後側方カメラ120の光軸が車両10の右後側方を向くように取り付けられている。左後側方カメラ130は、車両10の後面左(例えばリアバンパの左端)に、左後側方カメラ130の光軸が車両10の左後側方を向くように取り付けられている。
カメラ100〜130は、それぞれ、光軸を中心とする扇形の撮像範囲の画像を、所定時間(例えば1/60秒)毎に撮像する。カメラ100〜130は、それぞれ、撮像した画像データを、所定時間(例えば1/60秒)毎にセンサECU200〜230に出力する。センサECU200〜230のCPU201〜231は、それぞれ、カメラ100〜130から出力される画像データに基づき、例えばテンプレートマッチングによって、撮像範囲に存在する物標、例えば、車両10の周辺領域を走行する他車、走行車線の近傍を歩行する歩行者、道路に描かれた車線の境界を表す境界線(例えば断続的に描かれた白線)、道路脇に設置された交通標識などを検出する。カメラ100〜130は、その視野角が比較的広く、その有効距離が数百mと長いため、比較的広範囲の物標を検出することができる。
ソナー140は、音波を出射し、出射した音波が物標で反射した反射波を受信することにより、物標を検出する。ソナー140は、車両10の後面中央(例えばリアウィンドウの下部中央)に、音波の出射方向が車両10の後方を向くように取り付けられている。ソナー140の有効距離は短いため、近接した物標を検出するのに適している。
ミリ波レーダ150は、波長が1〜10mmの電波であるミリ波を出射し、出射したミリ波が物標で反射した反射波を受信することにより、物標を検出する。ミリ波レーダ150は、車両10の前面中央(例えばフロントグリルの中央)に、ミリ波の出射方向が車両10の前方を向くように取り付けられている。ミリ波レーダ150の有効距離は、200m以上と長いため、比較的遠くの物標を検出することができる。
センサECU200〜250のCPU201〜251は、それぞれ、カメラ100〜130、ソナー140、ミリ波レーダ150の動作を制御する。カメラ100〜130、ソナー140、ミリ波レーダ150は、それぞれ、車両10の周辺領域に存在する物標を検出して、検出信号をセンサECU200〜250に出力する。センサECU200〜250のCPU201〜251は、それぞれ、カメラ100〜130、ソナー140、ミリ波レーダ150から入力された検出信号に基づき、検出された物標に関する物標データを生成する。CPU201〜251の機能は、さらに後述される。
本実施形態において、カメラ100〜130、ソナー140、ミリ波レーダ150は、検出部の一例に相当し、CPU201〜251は、検出制御部の一例に相当する。なお、物標を検出する検出部は、カメラ、ソナー、ミリ波レーダに限られない。例えば、レーザ光を出射し、出射したレーザ光が物標で反射した反射波を受信することにより物標を検出するレーザレーダ等の他の検出部を備えてもよい。その場合、検出部ごとに、センサECUを設ければよい。
スイッチ160,170,180は、車両10の乗員によって操作されるスイッチであり、それぞれ、スイッチのオンオフ状態を表す信号を統合ECU300に出力する。車輪速センサ190は、車両10の車輪の回転速度を検出し、検出した車輪の回転速度を表す車輪速情報を統合ECU300に出力する。
統合ECU300は、車両10の各部を制御する。統合ECU300は、CPU301(中央制御部の一例に相当)と、メモリ302とを含む。メモリ302は、例えば半導体メモリ等により構成され、例えばROM、RAM、EEPROMなどを含む。メモリ302のROMは、CPU301を動作させる車両10の全体制御プログラムを記憶する。CPU301は、メモリ302に記憶された全体制御プログラムに従って動作して、車両10の各部を制御する。
前方衝突警報CPU400は、車両10が前方の物標に衝突するおそれがあると統合ECU300のCPU301が判断すると、警報装置401を作動させる。後方衝突警報CPU410は、車両10が後方の物標に衝突するおそれがあるとCPU301が判断すると、警報装置411を作動させる。後側方車両接近警報CPU420は、車両10の後側方に物標が接近したとCPU301が判断すると、警報装置421を作動させる。警報装置401,411,421は、例えば電子ブザーで構成されてもよく、その場合には、車両10の乗員に対して音により警告を報知する。
操舵回避CPU430は、CPU301からの指令信号に従ってステアリングアクチュエータ431を制御して車両10の進行方向を変更することにより、車両10が前方の物標に衝突するのを回避させる。ブレーキCPU440は、CPU301からの指令信号に従ってブレーキアクチュエータ441を制御して車両10を減速させることにより、車両10が前方の物標に衝突するのを回避させる。
統合ECU300は、スイッチ160,170,180のオンオフ状態を運転支援CPU310に通知する。運転支援CPU310(運転支援制御部の一例に相当)は、統合ECU300から通知されたスイッチ160,170,180のオンオフ状態に従って、スロットル311、警報装置312、ステアリングアクチュエータ431、ブレーキアクチュエータ441を制御して、運転者による車両10の運転を支援する。
例えば、ACCスイッチ160がオンのときは、運転支援CPU310は、車両10の前方を車両10に先行して走行する先行車両に、車両10を追従させるアダプティブクルーズコントロール(以下、「追従走行制御」と称される)を行う。例えば、LASスイッチ170がオンのときは、運転支援CPU310は、車両10が走行する車線を維持させる車線維持支援制御を行う。例えば、LDWSスイッチ180がオンのときは、運転支援CPU310は、車両10が走行している車線から逸脱すると、警報装置312を作動させる車線逸脱警報制御を行う。本実施形態では、LDWSスイッチ180は、LASスイッチ170がオンのときにのみ、オンにされることが可能なように構成されている。
上述のように、センサECU200〜250のCPU201〜251は、それぞれ、カメラ100〜130、ソナー140、ミリ波レーダ150から入力された検出信号に基づき、検出された物標に関する物標データを生成する。CPU201〜231は、物標データを本実施形態では例えば50msecごとに生成する。CPU241,251は、物標データを本実施形態では例えば10msecごとに生成する。センサECU200〜250のCPU201〜251は、物標データ生成の周期以外は同様に機能する。そこで、以下では、センサECU200のCPU201について説明される。
CPU201は、識別情報(ID)、位置、相対速度を含む物標データを生成する。すなわち、CPU201は、カメラ100により検出された各物標を識別できるように、各物標に固有のIDを付与する。CPU201は、各物標の位置を算出する。CPU201は、物標の位置を、後述の図2に示されるように、車両10の中心10Cを原点とし、車両10の前後方向に平行で車両10の前方を正とするX軸と、車両10の幅方向に平行で車両10の左方を正とするY軸と、で形成されるXY平面上の座標として算出する。
CPU201は、今回算出された各物標の位置に対する、前回(本実施形態では50msec前)算出された各物標の位置からの移動量に基づき、各物標の車両10に対する相対速度をそれぞれ算出する。CPU201は、車両10に接近する物標の相対速度を正の値とし、車両10から遠ざかる物標の相対速度を負の値とする。さらに、CPU201は、各物標の位置の確からしさを表す信頼度を算出する。
CPU201は、算出した物標の位置に基づき、当該物標が存在する分割領域を判定する。ここで、図2を参照して、分割領域が説明される。
図2は、車両10の周辺領域SAを分割して設定された分割領域の一例を概略的に示す図である。本実施形態では、図2に示されるように、車両10の周辺領域SAが、第1分割領域DA1〜第11分割領域DA11の11個の分割領域に分割されている。11個の分割領域を合せた車両10の周辺領域SAは、車両10の前後方向に長い矩形形状を有している。11個の分割領域は、車両10の中心10Cを通るX軸方向の直進ライン10Lに関して、線対称に設定されている。
第1分割領域DA1〜第3分割領域DA3は、車両10の中心10Cから前方に設定された車両10に近接する領域である。第1分割領域DA1〜第3分割領域DA3の3つを合せた領域は、車両10の幅方向(つまりY軸方向)に長い矩形形状を有している。第1分割領域DA1は、車両10の中心10Cを頂点とし、直進ライン10Lに関して線対称の二等辺三角形の形状を有している。二等辺三角形である第1分割領域DA1の底辺の半分に相当する幅W1は、例えば30[m]程度の比較的短い距離に設定されている。
第2分割領域DA2及び第3分割領域DA3は、それぞれ、矩形形状から第1分割領域DA1を除いた台形形状を有し、直進ライン10Lに関して互いに線対称に形成されている。台形である第2分割領域DA2の下底に相当する幅W2は、例えば100[m]程度の比較的長い距離に設定されている。なお、第2分割領域DA2及び第3分割領域DA3は、上述のように直進ライン10Lに関して互いに線対称に形成されているので、第3分割領域DA3の下底に相当する幅W3は、W3=W2である。
第1分割領域DA1〜第3分割領域DA3の長さL1は、車両10の停止時には、例えば10[m]程度の比較的短い距離に設定されている。なお、長さL1は、車両10の速度が高くなると、遠くの物体を物標として検出するために、長くなるように設定されている。車両10が、例えば100[km/h]の高速で走行しているときは、長さL1は、例えば60[m]程度に設定される。
第4分割領域DA4〜第8分割領域DA8は、車両10から見て第1分割領域DA1〜第3分割領域DA3の前方に設定された領域であり、これら5つの分割領域を合せた領域は、第1分割領域DA1〜第3分割領域DA3を合せた領域と同様に、矩形形状を有し、幅が同じ長さになっている。
第4分割領域DA4〜第6分割領域DA6を合せた領域は、矩形形状を有している。第5分割領域DA5及び第6分割領域DA6は、直進ライン10Lに関して互いに線対称に形成され、それぞれ、直角三角形の形状を有している。第4分割領域DA4は、矩形形状から第5分割領域DA5及び第6分割領域DA6を除いた台形形状を有し、直進ライン10Lに関して線対称に形成されている。第7分割領域DA7及び第8分割領域DA8は、それぞれ、矩形形状を有している。
第4分割領域DA4〜第8分割領域DA8の長さL4は、例えば200[m]程度の比較的長い距離に設定されている。第4分割領域DA4の前方側の底辺の半分に相当する幅W4は、例えば5[m]程度の比較的短い距離に設定されている。直角三角形である第5分割領域DA5及び第6分割領域DA6は、それぞれ、直角三角形の斜辺を延長した線が車両10の中心10Cを通るように、設定されている。
第9分割領域DA9〜第11分割領域DA11は、車両10の中心10Cから後方に設定された車両10に近接する領域であり、これら3つの分割領域を合せた領域は、第1分割領域DA1〜第3分割領域DA3を合せた領域と同様に、矩形形状を有し、幅が同じ長さになっている。
第9分割領域DA9は、車両10の直ぐ後方の領域であり、直進ライン10Lに関して線対称に形成された矩形形状の領域である。第10分割領域DA10は、第9分割領域DA9を囲むように形成された領域であり、直進ライン10Lに関して線対称に形成されたU字形状の領域である。第11分割領域DA11は、さらに第10分割領域DA10を囲むように形成された領域であり、直進ライン10Lに関して線対称に形成されたU字形状の領域である。
第9分割領域DA9の長さL9は、例えば10[m]程度の比較的短い距離に設定されており、第9分割領域DA9の幅の半分である幅W9は、例えば10[m]程度の比較的短い距離に設定されている。第10分割領域DA10の長さL10は、例えば15[m]程度の比較的短い距離に設定されており、第10分割領域DA10の幅の半分である幅W10は、例えば15[m]程度の比較的短い距離に設定されている。第11分割領域DA11の長さL11は、例えば25[m]程度の比較的短い距離に設定されている。
第1分割領域DA1〜第11分割領域DA11を表す境界値は、長さL1等の距離及び幅W1等の距離を用いて、車両10の中心10Cを原点とするXY平面上の座標として予め算出され、メモリ202〜252に保存されている。境界値としては、例えば各領域の頂点の座標が採用できる。したがって、CPU201は、算出した物標の位置を表す座標と、メモリ202に保存されている各分割領域の境界値とに基づき、当該物標が存在する分割領域を判定することができる。本実施形態において、メモリ202〜252は、それぞれ、記憶部の一例に相当する。
各分割領域の意味が簡単に説明される。車両10に最も近接する、第1分割領域DA1〜第3分割領域DA3、第9分割領域DA9は、これらの領域に存在する物標に対して車両10が衝突することを回避しなければならない衝突回避領域である。
第4分割領域DA4は、車両10が走行している車線に相当する領域である。第5分割領域DA5は、車両10が走行している車線の左隣の車線に相当する領域である。第6分割領域DA6は、車両10が走行している車線の右隣の車線に相当する領域である。第4分割領域DA4〜第6分割領域DA6は、これらの領域に存在する物標に対して車両10が衝突する虞を警報すべき衝突警報領域である。また、第4分割領域DA4〜第6分割領域DA6は、これらの領域に存在する先行車両に対して車両10が追従して走行する追従走行領域でもある。
第7分割領域DA7は、左隣の車線(第5分割領域DA5)の左側に相当する領域である。第8分割領域DA8は、右隣の車線(第6分割領域DA6)の右側に相当する領域である。第7分割領域DA7、第8分割領域DA8は、横断者その他の危険を予測すべき領域である。
第10分割領域DA10は、この領域に存在する物標に対して車両10が衝突する虞を警報すべき衝突警報領域である。第11分割領域DA11は、横断者その他の危険を予測すべき領域である。
図1に戻って、センサECU200のCPU201は、優先的に考慮すべき物標を判断するために、物標の優先度スコアを算出する。CPU201は、例えば式(1)を用いて、優先度スコアPを算出する。
P=Sa+Sd+Sv (1)
ここで、符号Saは領域スコアを表し、符号Sdは距離スコアを表し、符号Svは相対速度スコアを表す。
図3は、図2に示される各分割領域に設定された領域スコアSaの一例を概略的に示す図である。領域スコアSaは、図3に示されるように、第1分割領域DA1〜第11分割領域DA11の分割領域ごとに、車両10が前進する場合と後進する場合とに分けて設定されている。例えば車両10が前進しているときは、車両10の直ぐ前方の第1分割領域DA1の領域スコアが最も高い値AS4に設定され、車両10に近接する第2、第3、第9分割領域DA2,DA3,DA9の領域スコアが次に高い値AS3に設定され、車両10の後方の第10、第11分割領域DA10,DA11の領域スコアはゼロに設定されている。
例えば車両10が後進しているときは、車両10の直ぐ後方の第9分割領域DA9の領域スコアが最も高い値AS4に設定され、車両10に近接する第1〜第3、第10分割領域DA1〜DA3,DA10の領域スコアが次に高い値AS3に設定され、車両10から離れた前方の第4〜第8分割領域DA4〜DA8の領域スコアはゼロに設定されている。
式(1)の距離スコアSdは、車両10の中心10Cから物標の最も近い最近接点までの距離をL[m]とすると、例えば式(2)で表される。
Sd=α/L (2)
式(2)から分かるように、距離スコアSdは、物標が、車両10に、より近い位置に存在するほど、高い値となる。パラメータαは、正の値であり、本実施形態では例えば、α=1[m]である。L<αのときは、L=αとして処理される。よって、距離スコアSdは、L≦αのときに、最大値Sd=1となる。なお、パラメータαの数値は、変更できるように構成されてもよい。
式(1)の相対速度スコアSvは、物標の最近接点の車両10に対する相対速度をV[m/s]とすると、例えば式(3)で表される。
Sv=β×V (3)
相対速度Vは、物標が車両10に向かって接近する場合にはV>0となり、優先度スコアPを算出する式(1)において相対速度スコアSvが加算される。一方、物標が車両10から離れる場合は、V<0となり、優先度スコアPを算出する式(1)において相対速度スコアSvが減算される。式(3)から分かるように、相対速度スコアSvは、物標が、車両10に向かって高速で接近するほど、高い値となる。
パラメータβは、正の値であり、本実施形態では例えば、β=0.03[h/km]である。よって、相対速度V=33[km/h]のときに相対速度スコアSvは、Sv=1となる。そして、相対速度Vが33[km/h]を超えると、相対速度スコアSvは、Sv=1で制限される。すなわち、相対速度スコアSvは、Sv=1が上限値として設定されている。なお、パラメータβの数値は、変更できるように構成されてもよい。
CPU201は、さらに、物標に関する物標データを、センサケーブル600及び車内バス500を介して、統合ECU300に送信する。ここで、車内バス500,510,520は、十分な通信容量を有するため、送信されるデータ量に制限は無いが、センサケーブル600,・・・,650は、通信容量に制限があるため、CPU201は、所定個数(本実施形態では例えば12個)の物標データしか送信できない。これに対して、CPU201は、物標の優先度スコアPが高い方から順番に所定個数(本実施形態では例えば12個)の物標を選定して、統合ECU300に送信することが考えられる。しかし、その場合、車両10に対して、より近接する分割領域に存在して、より重要と考えられる物標の情報が、統合ECU300に送信されないこともあり得る。
そこで、本実施形態では、第1分割領域DA1〜第11分割領域DA11のうち、運転支援CPU310による運転支援制御の作動状況に応じて、特定分割領域が予め設定されている。特定分割領域には、物標設定数が予め設定されており、物標設定数までの物標データが、確実に統合ECU300に送信されるように構成されている。
図4は、メモリ302に予め記憶されている特定分割領域情報20の一例を概略的に示す図である。特定分割領域情報20は、図4に示されるように、運転支援制御の作動状況を表す欄21、特定分割領域を表す欄22、物標設定数を表す欄23を含む。運転支援CPU310による運転支援制御の作動状況として、図4の欄21には、ACCスイッチ160とLASスイッチ170との両方がオフ(つまり運転支援制御が無し)、一方のみがオン、両方がオンの全部で4種類が示されている。なお、本実施形態では、運転支援CPU310は、LDWSスイッチ180がオンのときには、LASスイッチ170のときと同じ制御を行う。
統合ECU300のCPU301は、メモリ302に記憶されている特定分割領域情報20から、ACCスイッチ160、LASスイッチ170のオンオフ状態に対応する特定分割領域、及び、物標設定数を読み出す。車両10の走行開始時には、CPU301は、ACCスイッチ160とLASスイッチ170との両方がオフ(つまり運転支援制御が無し)に対応する特定分割領域、及び、物標設定数を読み出してもよい。CPU301は、読み出した特定分割領域、及び、物標設定数を表す情報をセンサECU200〜250に通知する。センサECU200〜250のCPU201〜251は、それぞれ、CPU301から通知された情報に基づき、特定分割領域及び物標設定数の設定を行う。
ACCスイッチ160がオフ、かつLASスイッチ170がオフの場合(つまり運転支援制御が無しの場合)には、車両10に近い領域が重要である。そこで、図4に示されるように、車両10に近接する第1〜第3、第9分割領域DA1〜DA3,DA9が、特定分割領域に設定されている。そして、第1分割領域DA1の物標設定数は、「4」に設定されている。すなわち、第1分割領域DA1に存在する物標の優先度スコアPが、他の分割領域に存在する物標の優先度スコアPより低い値であっても、第1分割領域DA1に物標が4個以下存在する場合には、全ての物標の物標データが統合ECU300に送信される。なお、第1分割領域DA1に物標が5個以上存在する場合には、物標設定数である4個の物標の物標データが統合ECU300に送信される。
また、第2,3,9分割領域DA2,DA3,DA9の物標設定数は、それぞれ「1」に設定されている。すなわち、第2,3,9分割領域DA2,DA3,DA9に存在する物標の優先度スコアPが、それぞれ、他の分割領域に存在する物標の優先度スコアPより低い値であっても、第2,3,9分割領域DA2,DA3,DA9に物標が存在する場合には、それぞれ、少なくとも1個の物標の物標データが統合ECU300に送信される。
ACCスイッチ160がオン、かつLASスイッチ170がオフの場合(つまり運転支援制御として、追従走行制御が作動し、レーンキープアシストシステムが作動していない場合)には、先行車両に適切に追従することが重要である。そこで、図4に示されるように、追従走行領域である第4〜第6分割領域DA4〜DA6が特定分割領域に設定され、それぞれの物標設定数が「1」に設定されている。すなわち、第4〜第6分割領域DA4〜DA6に存在する物標の優先度スコアPが、それぞれ、他の分割領域に存在する物標の優先度スコアPより低い値であっても、第4〜第6分割領域DA4〜DA6に物標が存在する場合には、それぞれ、少なくとも1個の物標の物標データが、統合ECU300に送信される。
ACCスイッチ160がオフ、かつLASスイッチ170がオンの場合(つまり運転支援制御として、追従走行制御が作動せず、レーンキープアシストシステムが作動している場合)には、走行している車線を適切に維持するために、後方から追い付いてくる車両を検出することが重要である。そこで、図4に示されるように、第9分割領域DA9が特定分割領域に設定され、その物標設定数が「1」に設定されている。すなわち、第9分割領域DA9に存在する物標の優先度スコアPが、他の分割領域に存在する物標の優先度スコアPより低い値であっても、第9分割領域DA9に物標が存在する場合には、少なくとも1個の物標の物標データが、統合ECU300に送信される。
ACCスイッチ160がオン、かつLASスイッチ170がオンの場合(つまり運転支援制御として、追従走行制御とレーンキープアシストシステムとの両方が作動している場合)には、図4に示されるように、第4〜第6、第9分割領域DA4〜DA6,DA9が特定分割領域に設定され、それぞれの物標設定数が「1」に設定されている。すなわち、第4〜第6、第9分割領域DA4〜DA6,DA9に存在する物標の優先度スコアPが、それぞれ、他の分割領域に存在する物標の優先度スコアPより低い値であっても、第4〜第6、第9分割領域DA4〜DA6,DA9に物標が存在する場合には、それぞれ、少なくとも1個の物標の物標データが、統合ECU300に送信される。
図1に戻って、統合ECU300のCPU301は、センサECU200〜250からそれぞれ送信された物標データに基づき、車両10の周辺領域SAに存在する物標を認識する。なお、カメラ100〜130、ソナー140、ミリ波レーダ150による物標の検出範囲が互いに重なることがあり得る。例えば、前方カメラ100とミリ波レーダ150とは、両方とも、車両10の前方に存在する物標を検出する。このため、センサECU200とセンサECU250とから、それぞれ、同じ物標の物標データが送信されてくることもあり得る。これに対し、統合ECU300のCPU301は、物標の位置及び相対速度等に基づき、それぞれから送信された物標データを、同じ物標の物標データであると認識する。
(動作)
図5は、特定分割領域の設定手順例を概略的に示すフローチャートである。図6〜図9は、それぞれ、図5のサブルーチンを概略的に示すフローチャートである。統合ECU300のCPU301は、例えば10msec毎に、図5の動作を実行する。
図5のステップS100において、CPU301は、ACCスイッチ160がオフ、かつLASスイッチ170がオフ(つまり運転支援制御が無し)であるか否かを判定する。ACCスイッチ160がオフ、かつLASスイッチ170がオフであれば(ステップS100でYES)、処理はステップS105に進む。ACCスイッチ160がオフ、かつLASスイッチ170がオフでなければ(ステップS100でNO)、処理はステップS110に進む。
ステップS105において、CPU301は、第1設定処理サブルーチン(図6)を実行する。図6のステップS200において、CPU301は、メモリ302に記憶されている特定分割領域情報20から、欄21の「無し」に対応する、欄22の特定分割領域と欄23の物標設定数とを読み出して、第1分割領域DA1の物標設定数を「4」に設定し、第2、第3、第9分割領域DA2,DA3,DA9の物標設定数をそれぞれ「1」に設定する。ステップS200でサブルーチンは終了し、図5に戻って、処理はステップS140に進む。
ステップS110において、CPU301は、ACCスイッチ160がオン、かつLASスイッチ170がオフであるか否かを判定する。ACCスイッチ160がオン、かつLASスイッチ170がオフであれば(ステップS110でYES)、処理はステップS115に進む。ACCスイッチ160がオン、かつLASスイッチ170がオフでなければ(ステップS110でNO)、処理はステップS120に進む。
ステップS115において、CPU301は、第2設定処理サブルーチン(図7)を実行する。図7のステップS300において、CPU301は、メモリ302に記憶されている特定分割領域情報20から、欄21の「ACCオンLASオフ」に対応する、欄22の特定分割領域と欄23の物標設定数とを読み出して、第4、第5、第6分割領域DA4,DA5,DA6の物標設定数をそれぞれ「1」に設定する。ステップS300でサブルーチンは終了し、図5に戻って、処理はステップS140に進む。
ステップS120において、CPU301は、ACCスイッチ160がオフ、かつLASスイッチ170がオンであるか否かを判定する。ACCスイッチ160がオフ、かつLASスイッチ170がオンであれば(ステップS120でYES)、処理はステップS125に進む。ACCスイッチ160がオフ、かつLASスイッチ170がオンでなければ(ステップS120でNO)、処理はステップS130に進む。
ステップS125において、CPU301は、第3設定処理サブルーチン(図8)を実行する。図8のステップS400において、CPU301は、メモリ302に記憶されている特定分割領域情報20から、欄21の「ACCオフLASオン」に対応する、欄22の特定分割領域と欄23の物標設定数とを読み出して、第9分割領域DA9の物標設定数を「1」に設定する。ステップS400でサブルーチンは終了し、図5に戻って、処理はステップS140に進む。
ステップS130において、CPU301は、ACCスイッチ160がオン、かつLASスイッチ170がオンであるか否かを判定する。ACCスイッチ160がオン、かつLASスイッチ170がオンであれば(ステップS130でYES)、処理はステップS135に進む。ACCスイッチ160がオン、かつLASスイッチ170がオンでなければ(ステップS130でNO)、処理はステップS145に進む。
ステップS135において、CPU301は、第4設定処理サブルーチン(図9)を実行する。図9のステップS500において、CPU301は、メモリ302に記憶されている特定分割領域情報20から、欄21の「ACCオンLASオン」に対応する、欄22の特定分割領域と欄23の物標設定数とを読み出して、第4、第5、第6、第9分割領域DA4,DA5,DA6,DA9の物標設定数をそれぞれ「1」に設定する。ステップS500でサブルーチンは終了し、図5に戻って、処理はステップS140に進む。
ステップS140において、CPU301は、特定分割領域として設定された分割領域の情報と、それらの分割領域に設定された物標設定数の情報とを、各センサECU200〜250に送信する。その後、図5の処理は終了する。なお、各センサECU200〜250に送信された内容は、各センサECU200〜250のCPU201〜251によって、それぞれ、メモリ202〜252に保存される。
ステップS145において、CPU301は、所定のエラー処理を実行し、その後、図5の処理は終了する。すなわち、ステップS100,S110,S120,S130の全てがNOということはあり得ないので、ステップS145では、所定のエラー処理が行われる。
図10は、各センサECUのCPUの動作手順の一例を概略的に示すフローチャートである。センサECU200〜230のCPU201〜231は、それぞれ、例えば50msec毎に、図10の動作を実行する。センサECU240,250のCPU241,251は、それぞれ、例えば10msec毎に、図10の動作を実行する。センサECU200〜250のCPU201〜251は、図10の動作の実行周期以外は、同様に機能する。そこで、図10では、センサECU200のCPU201の動作が説明される。
ステップS600において、CPU201は、前方カメラ100から、物標の検出データを取得する。ステップS605において、CPU201は、取得した検出データを処理して、物標データを生成する。すなわち、CPU201は、検出された各物標にIDをそれぞれ付与し、検出された各物標の位置、相対速度、信頼度をそれぞれ算出して、物標データを生成する。
ステップS610において、CPU201は、算出された各物標の位置と、メモリ202に保存されている各分割領域の境界値とに基づき、各物標が存在する分割領域を判定する。ステップS615において、CPU201は、式(1)を用いて、各物標の優先度スコアを算出する。ステップS620において、CPU201は、物標設定数が設定された特定分割領域をメモリ202から読み出す。上述のように、運転支援CPU310による運転支援制御の有無及び種類がいずれの場合であっても、第1〜第11分割領域DA1〜DA11のいずれかの分割領域が、特定分割領域として物標設定数が設定されてメモリ202に保存されている。したがって、CPU201は、ステップS620において、これをメモリ202から読み出す。
ステップS625において、CPU201は、各特定分割領域に存在する物標を、それぞれ優先度スコアの順に物標設定数まで選定し、選定した物標のIDをメモリ202に一時的に保存する。ステップS630において、CPU201は、メモリ202にIDが保存された選定済みの物標の個数を算出する。ステップS635において、CPU201は、選定済みの物標以外の物標を、優先度スコアの順に、選定済みの個数と合せて所定個数(本実施形態では例えば12個)まで選定する。
ステップS640において、CPU201は、選定されていない物標があれば(つまり、ステップS600において所定個数を超える物標の検出データを取得していれば)、その物標データを削除する。ステップS645において、CPU201は、選定された物標の物標データを、統合ECU300に送信する。
図10の動作により、センサECU200〜250からセンサケーブル600〜650に出力される物標データの個数は、それぞれ、所定個数(本実施形態では例えば12個)以下になる。その結果、データ量がセンサケーブル600〜650の通信容量を超えないので、好適にデータ送信を行うことができる。
図11は、統合ECU300のCPU301の動作手順例を概略的に示すフローチャートである。統合ECU300のCPU301は、本実施形態では例えば、20msec毎に図11の動作を実行する。
ステップS700において、CPU301は、各センサECUからのデータの受信を開始し、受信した物標データをメモリ302に保存する。ステップS705において、CPU301は、物標データに含まれる各物標の信頼度を確認し、信頼度が予め定められた閾値以下の物標データを削除する。
ステップS710において、CPU301は、車輪速センサ190から車両10の車輪速情報を取得する。CPU301は、センサECU200〜250から取得した各物標の物標データと、車両10の車輪速情報と、に基づき、各物標の衝突時間(TTC)を算出し、衝突時間が最短の物標を最優先物標として選定する。衝突時間(TTC)は、ブレーキアクチュエータ441の作動による制動と、ステアリングアクチュエータ431の作動による操舵とによって、衝突を回避できる限界の時間と定義される。
ステップS715において、CPU301は、運転支援CPU310、操舵回避CPU430、ブレーキCPU440等に指令信号を出力して、ステアリングアクチュエータ431、ブレーキアクチュエータ441等の車両10の各部を、最優先物標の物標データに応じて作動させて、最優先物標との衝突を回避する。ステップS720において、CPU301は、最優先物標のIDを各センサECU200〜250にフィードバックする。
図12は、統合ECUとセンサECUとにおけるデータ送受信の手順を概略的に示すシーケンス図である。図12において、図10、図11と同じステップには、同じ符号が付されている。
センサECU200〜230では、50msecごとに、検出データを取得し(ステップS600)、データを処理し(ステップS605〜S640)、物標データを統合ECU300に送信している(ステップS645)。センサECU240,250では、10msecごとに、検出データを取得し(ステップS600)、データを処理し(ステップS605〜S640)、物標データを統合ECU300に送信している(ステップS645)。統合ECU300では、20msecごとに、データを受信して処理を行い(ステップS700〜S715)、最優先物標のIDを各センサECU200〜250にフィードバックしている(ステップS720)。
(効果)
以上説明されたように、本実施形態では、車両10の周辺領域SAを分割した第1分割領域DA1〜第11分割領域DA11のうちで特定分割領域を設定し、特定分割領域に物標設定数を設定している。そして、特定分割領域に物標が存在する場合には、物標設定数以下の個数の物標データを統合ECU300に送信する。したがって、本実施形態によれば、特定分割領域に存在する物標の物標データを、統合ECU300に向けて確実に送信することができる。
また、本実施形態では、センサECU200〜250は、それぞれ、所定個数(本実施形態では例えば12個)以下の物標データを統合ECU300に向けて送信している。したがって、本実施形態によれば、センサケーブル600〜650において送信されるデータ量を抑制することができる。その結果、センサケーブル600〜650の通信容量が小さくて済むため、センサケーブル600〜650のコスト上昇を防ぐことができる。
また、本実施形態では、第1分割領域DA1〜第11分割領域DA11のうちで、運転支援CPU310による運転支援制御の作動状況に応じた分割領域が、特定分割領域として設定されている。例えば運転支援制御が無しのときは、第1〜第3、第9分割領域DA1〜DA3,DA9が特定分割領域に設定されている。例えば追従走行制御が行われ、かつ車線維持支援制御が行われていないときは、第4〜第6分割領域DA4〜DA6が特定分割領域に設定されている。例えば車線維持支援制御が行われ、かつ追従走行制御が行われていないときは、第9分割領域DA9が特定分割領域に設定されている。例えば追従走行制御が行われ、かつ車線維持支援制御が行われているときは、第4〜第6、第9分割領域DA4〜DA6,DA9が特定分割領域に設定されている。したがって、本実施形態によれば、追従走行制御、車線維持支援制御などの運転支援制御に必要な物標データを、統合ECU300に向けて確実に送信することができる。
(変形された実施形態)
上記実施形態では、特定分割領域情報20(図4)は、統合ECU300のメモリ302に記憶されているが、これに限られず、センサECU200〜250のメモリ202〜252に、それぞれ記憶されていてもよい。この場合、統合ECU300のCPU301は、ACCスイッチ160、LASスイッチ170のオンオフ状態を表す情報を、センサECU200〜250に通知してもよい。センサECU200〜250のCPU201〜251は、それぞれ、CPU301から通知された情報と、メモリ202〜252に記憶されている特定分割領域情報20(図4)とに基づき、特定分割領域及び物標設定数の設定を行ってもよい。
10 車両
100 前方カメラ
110 後方カメラ
120 右後側方カメラ
130 左後側方カメラ
140 ソナー
150 ミリ波レーダ
200,210,220,230,240,250 センサECU
201,211,221,231,241,251 CPU
202,212,222,232,242,252 メモリ
300 統合ECU
301 CPU
302 メモリ
310 運転支援CPU

Claims (5)

  1. 車両に設けられた物標検出装置であって、
    前記車両の周辺領域に存在する物標を検出する検出部と、
    前記検出部により検出された前記物標のうち予め定められた基準で選定した前記物標に関する物標データを出力する検出制御部と、
    前記検出制御部から出力された前記物標データに基づき、前記車両を制御する中央制御部と、
    前記周辺領域を予め分割して生成された複数の分割領域を表す分割領域情報を記憶する記憶部と、
    運転者による前記車両の運転を支援する制御を行う運転支援制御部と、
    を備え、
    前記検出制御部は、前記運転支援制御部の作動状況に応じて設定された、前記複数の分割領域のうちの1以上の特定分割領域で検出された前記物標である特定物標を、前記1以上の特定分割領域以外の分割領域で検出された前記物標である非特定物標より優先して選定する、
    車両の物標検出装置。
  2. 前記検出制御部は、
    前記1以上の特定分割領域のそれぞれに対して予め設定された物標設定数の合計数より多い値に予め定められた上限個数以下の前記物標を選定し、
    前記1以上の特定分割領域のそれぞれにおいて検出された前記特定物標の個数が、それぞれの前記物標設定数を超えていれば前記物標設定数の前記特定物標を選定し、それぞれの前記物標設定数以下であれば全ての前記特定物標を選定し、
    前記上限個数から前記特定物標の選定個数を減算した差に相当する個数を、前記非特定物標及び未選定の前記特定物標のなかから選定する、
    請求項1に記載の車両の物標検出装置。
  3. 前記記憶部は、前記分割領域情報として、前記周辺領域のうち前記車両の前方に近接して生成された分割領域である衝突回避領域を表す情報と、前記衝突回避領域の前方に生成された分割領域である追従走行領域を表す情報と、を記憶し、
    前記運転支援制御部は、前記車両に先行して走行する先行車両に追従して前記車両を走行させる追従走行制御を行うことが可能に構成され、
    前記運転支援制御部が前記追従走行制御を行っていないときは、前記衝突回避領域が前記特定分割領域として設定される、
    請求項1又は2に記載の車両の物標検出装置。
  4. 前記運転支援制御部が前記追従走行制御を行っているときは、前記追従走行領域が前記特定分割領域として設定される、
    請求項3に記載の車両の物標検出装置。
  5. 前記記憶部は、前記分割領域情報として、前記車両の後側方に生成された分割領域である後側方領域を表す情報を記憶し、
    前記運転支援制御部は、前記車両が走行する車線を維持させる車線維持支援制御を行うことが可能に構成され、
    前記運転支援制御部が前記車線維持支援制御を行っているときは、前記後側方領域が前記特定分割領域として設定される、
    請求項1〜4のいずれか1項に記載の車両の物標検出装置。
JP2017224670A 2017-11-22 2017-11-22 車両の物標検出装置 Active JP6642556B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2017224670A JP6642556B2 (ja) 2017-11-22 2017-11-22 車両の物標検出装置
PCT/JP2018/042421 WO2019102938A1 (ja) 2017-11-22 2018-11-16 車両の物標検出装置
US16/764,497 US20200353919A1 (en) 2017-11-22 2018-11-16 Target detection device for vehicle
CN201880075343.0A CN111373460B (zh) 2017-11-22 2018-11-16 车辆的物标检测装置
EP18880262.3A EP3709279A4 (en) 2017-11-22 2018-11-16 AIMING DEVICE FOR A VEHICLE

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017224670A JP6642556B2 (ja) 2017-11-22 2017-11-22 車両の物標検出装置

Publications (2)

Publication Number Publication Date
JP2019096038A true JP2019096038A (ja) 2019-06-20
JP6642556B2 JP6642556B2 (ja) 2020-02-05

Family

ID=66630935

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017224670A Active JP6642556B2 (ja) 2017-11-22 2017-11-22 車両の物標検出装置

Country Status (5)

Country Link
US (1) US20200353919A1 (ja)
EP (1) EP3709279A4 (ja)
JP (1) JP6642556B2 (ja)
CN (1) CN111373460B (ja)
WO (1) WO2019102938A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7238707B2 (ja) * 2019-09-09 2023-03-14 トヨタ自動車株式会社 車両運転支援装置
JP2021099331A (ja) * 2019-12-20 2021-07-01 株式会社デンソー レーダ装置
JP7318600B2 (ja) * 2020-07-06 2023-08-01 トヨタ自動車株式会社 車両及び他車両の認識方法
EP4140842A1 (en) * 2021-08-26 2023-03-01 Aptiv Technologies Limited Methods and systems for controlling a vehicle

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
JPH05203737A (ja) * 1992-01-29 1993-08-10 Mazda Motor Corp 車両の障害物検出装置
JP3800992B2 (ja) * 2001-06-06 2006-07-26 日産自動車株式会社 車線追従走行制御装置
JP3521892B2 (ja) * 2001-08-14 2004-04-26 株式会社デンソー 障害物検知装置
EP1417512B1 (en) * 2001-08-16 2019-01-23 Valeo Radar Systems, Inc. Near object detection system
JP4628683B2 (ja) * 2004-02-13 2011-02-09 富士重工業株式会社 歩行者検出装置、及び、その歩行者検出装置を備えた車両用運転支援装置
CN100465041C (zh) * 2004-08-20 2009-03-04 爱信精机株式会社 用于车辆的驾驶辅助装置和方法
JP4554551B2 (ja) * 2006-04-28 2010-09-29 本田技研工業株式会社 車両用走行制御装置
JP4717742B2 (ja) * 2006-08-02 2011-07-06 本田技研工業株式会社 車両用物体検知装置
JP2009058316A (ja) 2007-08-31 2009-03-19 Fujitsu Ten Ltd レーダ装置、物体検出方法、及び車両
JP5203737B2 (ja) * 2008-02-07 2013-06-05 株式会社日本自動車部品総合研究所 車両駆動装置
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
US8571786B2 (en) * 2009-06-02 2013-10-29 Toyota Jidosha Kabushiki Kaisha Vehicular peripheral surveillance device
JP5462609B2 (ja) * 2009-12-09 2014-04-02 富士重工業株式会社 停止線認識装置
KR20130065005A (ko) * 2011-12-09 2013-06-19 주식회사 만도 레이더 장치 및 안테나 장치
JP5926069B2 (ja) * 2012-02-20 2016-05-25 トヨタ自動車株式会社 障害物判定装置
GB2500581B (en) * 2012-03-23 2014-08-20 Jaguar Land Rover Ltd Method and system for controlling the output of information to a driver based on an estimated driver workload
DE102015226443A1 (de) * 2015-12-22 2017-06-22 Robert Bosch Gmbh Radarsensor, entsprechendes Betriebsverfahren und Fahrzeug
WO2018105136A1 (ja) * 2016-12-06 2018-06-14 本田技研工業株式会社 車両周辺情報取得装置および車両
JP6332383B2 (ja) * 2016-09-29 2018-05-30 マツダ株式会社 車両用物標検出システム
JP6853746B2 (ja) * 2017-07-25 2021-03-31 日立Astemo株式会社 車両制御装置

Also Published As

Publication number Publication date
JP6642556B2 (ja) 2020-02-05
CN111373460B (zh) 2022-06-28
WO2019102938A1 (ja) 2019-05-31
EP3709279A1 (en) 2020-09-16
CN111373460A (zh) 2020-07-03
US20200353919A1 (en) 2020-11-12
EP3709279A4 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
KR102572784B1 (ko) 운전자 보조 시스템 및 그 제어방법
EP3208165B1 (en) Vehicle safety assist system
JP4615038B2 (ja) 画像処理装置
EP2302412B1 (en) System and method for evaluation of an automotive vehicle forward collision threat
JP5345350B2 (ja) 車両の運転支援装置
WO2019102938A1 (ja) 車両の物標検出装置
WO2016159288A1 (ja) 物標存在判定方法及び装置
JP6332384B2 (ja) 車両用物標検出システム
KR20180072139A (ko) 차량 및 그 제어 방법
CN113060141A (zh) 高级驾驶员辅助系统、具有其的车辆及控制车辆的方法
CN107408346B (zh) 车辆控制装置以及车辆控制方法
JP6384534B2 (ja) 車両用物標検出システム
US10906542B2 (en) Vehicle detection system which classifies valid or invalid vehicles
JP7413935B2 (ja) 車載センサシステム
JP7059786B2 (ja) 車外報知装置
KR102352464B1 (ko) 운전자 보조 시스템 및 그 제어 방법
JP2008037361A (ja) 障害物認識装置
JP2017068461A (ja) 車両の運転支援装置
JP6720954B2 (ja) 車両の物標検出装置
US20180158336A1 (en) Method and device for operating a vehicle
JP4294450B2 (ja) 車両用運転支援装置
KR20210080717A (ko) 운전자 보조 장치 및 운전자 보조 방법
JP4807753B2 (ja) 車両の運転支援装置
WO2021176825A1 (ja) センシングシステム
CN115214670A (zh) 用于辅助驾驶的设备及其方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190212

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6642556

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150