JP2019026201A - 車外報知装置 - Google Patents

車外報知装置 Download PDF

Info

Publication number
JP2019026201A
JP2019026201A JP2017150799A JP2017150799A JP2019026201A JP 2019026201 A JP2019026201 A JP 2019026201A JP 2017150799 A JP2017150799 A JP 2017150799A JP 2017150799 A JP2017150799 A JP 2017150799A JP 2019026201 A JP2019026201 A JP 2019026201A
Authority
JP
Japan
Prior art keywords
pedestrian
action
unit
notification
proposed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017150799A
Other languages
English (en)
Other versions
JP6690612B2 (ja
Inventor
純一 森村
Junichi Morimura
純一 森村
淳也 渡辺
Junya Watanabe
淳也 渡辺
盛司 荒川
Seiji Arakawa
盛司 荒川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017150799A priority Critical patent/JP6690612B2/ja
Priority to US16/010,618 priority patent/US10600323B2/en
Priority to CN201810864835.XA priority patent/CN109383367B/zh
Publication of JP2019026201A publication Critical patent/JP2019026201A/ja
Application granted granted Critical
Publication of JP6690612B2 publication Critical patent/JP6690612B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/005—Traffic control systems for road vehicles including pedestrian guidance indicator
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/46—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for giving flashing caution signals during drive, other than signalling change of direction, e.g. flashing the headlights or hazard lights
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/543—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other states or conditions of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725—Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/164—Centralised systems, e.g. external to vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Abstract

【課題】移動体の行動が自動運転中の自車両により認識されていることを移動体に報知することができる車外報知装置を提供する。
【解決手段】車外報知装置１００は、自動運転中の自車両Ｖの周囲の歩行者に対して情報を報知する。車外報知装置１００は、車外に情報を報知する報知部４と、歩行者へ提案する行動を決定する提案行動決定部１１と、歩行者に対して歩行者へ提案する行動に関する情報を報知部４に報知させる報知制御部１２と、歩行者の行動を検知する行動検知部１３と、行動検知部１３により検知された歩行者の行動が歩行者へ提案した行動であるか否かを判定する行動判定部１４と、を備える。報知制御部１２は、行動判定部１４により歩行者の行動が歩行者へ提案した行動であると判定された場合、歩行者に対して歩行者の行動が提案通りの行動であることを示す情報を報知部４に報知させる。
【選択図】図１

Description

本開示は、車外報知装置に関する。
特許文献１に記載された車載装置は、自動運転中の自車両への接近者を検知した場合に、自車両と接近者との位置関係に基づいて自動運転の内容を決定し、決定した自動運転の内容に応じた情報を接近者に対して報知する。例えば、この車載装置は、自車両が接近者に道を譲るように自動運転の内容を決定した場合には、接近者に対して「お先にどうぞ」との音声案内を報知する。
特開２０１６−１６６０１３号公報
上述したような車載装置では、接近者等の移動体が自車両からの報知の内容に従って行動する場合であっても、接近者は、報知の内容に従って行動していることを自車両により認識されているか知ることができない。このため、接近者は、このまま当該行動を続けてよいか不安に感じるおそれがある。特に、自車両の運転者と接近者とが互いにコミュニケーションを図ることが容易な手動運転の場合と比較して、自車両が自動運転中である場合には、接近者は、このような不安を感じやすい。
そこで、本技術分野では、移動体の行動が自動運転中の自車両により認識されていることを移動体に報知することができる車外報知装置が望まれている。
本開示の一態様に係る車外報知装置は、自動運転中の自車両の周囲の移動体に対して情報を報知する車外報知装置であって、車外に情報を報知する報知部と、移動体を検出する移動体検出部と、移動体検出部により検出された移動体へ提案する行動を決定する提案行動決定部と、移動体検出部により検出された移動体に対して移動体へ提案する行動に関する情報を報知部に報知させる報知制御部と、移動体検出部により検出された移動体の行動を検知する行動検知部と、行動検知部により検知された移動体の行動が移動体へ提案した行動であるか否かを判定する行動判定部と、を備え、報知制御部は、行動判定部により移動体の行動が移動体へ提案した行動であると判定された場合、移動体に対して移動体の行動が提案通りの行動であることを示す情報を報知部に報知させる。
この車外報知装置によれば、検出された移動体へ提案する行動が決定され、決定された行動に関する情報が移動体に対して報知される。そして、その後の移動体の行動が当該移動体へ提案した行動であると判定された場合、移動体に対して移動体の行動が提案通りの行動であることを示す情報が報知される。これにより、この装置は、自車両による提案通りに移動体が行動していることを移動体に知らせることで、このまま当該行動を続けてよいことを移動体に知らせることができる。よって、この装置は、移動体の行動が自動運転中の自車両により認識されていることを移動体に報知することができる。
本開示の一態様に係る車外報知装置では、報知制御部は、移動体検出部により検出された移動体に対して移動体へ提案する行動に関する情報を報知部に第１態様で報知させた後に、行動判定部により移動体の行動が移動体へ提案した行動でないと判定された場合、移動体に対して移動体へ提案する行動に関する情報を報知部に第１態様よりも強調された第２態様で報知させてもよい。これによれば、この装置は、自車両による提案通りに移動体が行動していない場合に、移動体の行動が自車両による提案通りではないことを移動体に容易に気付かせることができる。
本開示の種々の態様によれば、移動体の行動が自動運転中の自車両により認識されていることを移動体に報知することが可能となる。
図１は、本実施形態に係る車外報知装置を示すブロック図である。 図２は、自車両の正面図である。 図３は、自車両の側面図である。 図４は、歩行者が自車両の前方の横断歩道付近に位置している状況を示す平面図である。 図５は、報知の処理を示すフローチャートである。
以下、図面を参照して、例示的な実施形態について説明する。なお、各図において同一又は相当部分には同一符号を付し、重複する説明を省略する。
図１は、本実施形態に係る車外報知装置１００を示すブロック図である。図１に示されるように、車外報知装置１００は、自動運転が可能な乗用車等の自車両Ｖに搭載され、自動運転中の自車両Ｖの周囲の移動体に対して情報を報知する装置である。自動運転とは、予め設定された目標ルートに沿って自車両Ｖを自動で走行させる車両制御である。自動運転では、運転者が運転操作を行う必要がなく、自車両Ｖが自動で走行する。本実施形態では、車外報知装置１００は、情報を車外から視覚的に認識可能に表示する。
車外報知装置１００は、装置を統括的に制御するＥＣＵ［Electronic Control Unit］１０と、ＥＣＵ１０に接続された外部センサ（移動体検出部）１及び報知部４と、を備えている。ＥＣＵ１０には、内部センサ２及び自動運転ＥＣＵ３が更に接続されている。ＥＣＵ１０は、ＣＰＵ［Central Processing Unit］、ＲＯＭ［Read OnlyMemory］、ＲＡＭ［Random Access Memory］、ＣＡＮ［Controller Area Network］通信回路等を有する電子制御ユニットである。
ＥＣＵ１０は、例えばＣＡＮ通信回路を用いて通信するネットワークに接続され、自車両Ｖの各構成要素と通信可能に接続されている。つまり、ＥＣＵ１０は、外部センサ１及び内部センサ２の検出結果、自動運転ＥＣＵ３において生成された自車両Ｖの走行計画を参照することができる。ＥＣＵ１０は、報知部４に信号を出力することができる。
ＥＣＵ１０は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、後述する車外報知の各機能を実現する。ＥＣＵ１０は、複数のＥＣＵから構成されていてもよい。
外部センサ１は、自車両Ｖに搭載され、自車両Ｖの周辺の状況を検出する検出機器である。外部センサ１は、例えば、自車両Ｖの周囲の移動体を検出する。外部センサ１は、カメラ及びレーダセンサのうちの少なくとも一つを含んでいる。移動体には、例えば歩行者、自転車、二輪車等が含まれる。以下、移動体として歩行者を例示して説明する。
カメラは、自車両Ｖの外部状況を撮像する撮像機器である。カメラは、自車両Ｖの外部状況に関する撮像情報をＥＣＵ１０に送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。ステレオカメラは、両眼視差を再現するように配置された二つの撮像部を有している。ステレオカメラの撮像情報には、撮像画像の奥行き方向の情報（距離情報）も含まれている。
レーダセンサは、電波（例えばミリ波）又は光を利用して自車両Ｖの周辺の障害物を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー［LIDAR: Light Detection and Ranging］が含まれる。レーダセンサは、電波又は光を自車両Ｖの周辺に送信し、障害物で反射された電波又は光を受信することで障害物を検出する。レーダセンサは、検出した障害物情報をＥＣＵ１０に送信する。障害物には、移動障害物である歩行者等の移動体の他、固定障害物であるガードレール、建物等が含まれる。
内部センサ２は、自車両Ｖの走行状態及び車両状態を検出する検出機器である。内部センサ２は、例えば、車速センサを含んでいる。
車速センサは、自車両Ｖの車速を検出する検出器である。車速センサとしては、例えば、自車両Ｖの車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、車輪の回転速度を検出する車輪速センサが用いられる。車速センサは、検出した車速情報をＥＣＵ１０に送信する。
自動運転ＥＣＵ３は、自車両Ｖの自動運転を実行する。自動運転ＥＣＵ３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＣＡＮ通信回路等を有する電子制御ユニットである。自動運転ＥＣＵ３は、地図情報を記憶する地図データベース、ＧＰＳ［Global Positioning System］により自車両Ｖの地図上の位置を測位する測位部、自車両Ｖを走行させるための各種アクチュエータ、及び各種センサと接続されている。
自動運転ＥＣＵ３は、例えばＣＡＮ通信回路を用いて通信するネットワークに接続され、自車両Ｖの各構成要素と通信可能に接続されている。つまり、自動運転ＥＣＵ３は、地図データベースの地図情報、測位部の測位した自車両Ｖの地図上の位置情報、及び、各種センサの検出結果を参照することができる。ＥＣＵ１０は、各種アクチュエータに信号を出力することができる。
自動運転ＥＣＵ３は、例えば、ＲＯＭに記憶されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより、自車両Ｖに搭載された自動運転システムの各機能を実現する。自動運転ＥＣＵ３は、複数のＥＣＵから構成されていてもよい。
地図データベースの地図情報には、例えば、道路の位置情報（車線毎の位置情報）、道路形状の情報（例えばカーブ又は直線部の種別、カーブの曲率等の情報）、道路幅の情報（車線幅の情報）、道路の勾配の情報、道路のカント角の情報、道路における制限車速の情報、及び道路に設けられた横断歩道等の道路標示の情報が含まれる。各種アクチュエータには、自車両Ｖの操舵角を制御する操舵アクチュエータ、自車両Ｖのブレーキシステムを制御するブレーキアクチュエータ、自車両Ｖのエンジン（又は電気自動車のモータ）を制御するエンジンアクチュエータが含まれる。
自動運転ＥＣＵ３は、地図データベースの地図情報と測位部の測位した自車両Ｖの地図上の位置情報と予め設定された目的地とに基づいて、自車両Ｖの現在の位置から目的地に至る目標ルートを探索する。自動運転ＥＣＵ３は、目標ルートに沿って自車両Ｖを走行させる走行計画を生成する。走行計画には、例えば、移動経路及び移動速度が含まれる。自動運転ＥＣＵ３は、周知の手法により自車両Ｖの走行計画を生成する。自動運転ＥＣＵ３は、測位部の測位した自車両Ｖの地図上の位置情報に基づいて、走行計画に沿った自車両Ｖの自動運転を実行する。また、自動運転ＥＣＵ３は、生成した走行計画をＥＣＵ１０に送信する。自動運転ＥＣＵ３は、各種アクチュエータに制御信号を送信することで自車両Ｖを制御して自動運転を実行する。
図２は、自車両Ｖの正面図である。図３は、自車両Ｖの側面図である。図２及び図３に示される報知部４は、車外に情報を報知するための装置である。具体的には、報知部４は、情報を車外から視覚的に認識可能に表示する表示装置である。報知部４は、第１報知部４ａ及び第２報知部４ｂを有している。
第１報知部４ａは、情報を自車両Ｖの前方から視覚的に認識可能に表示する表示装置である。第１報知部４ａは、自車両Ｖの前面に設けられている。より詳細には、第１報知部４ａは、自車両Ｖの前面のグリル（フロントグリル）の外縁に沿って、複数のＬＥＤ［Light Emitting Diode］が自車両Ｖの幅方向に一列に配置されて構成されている。第１報知部４ａは、表示の色、点滅の周期等を変更可能である。なお、第１報知部４ａは、図２に示される態様に限定されない。
第２報知部４ｂは、情報を自車両Ｖの側方から視覚的に認識可能に表示する表示装置である。第２報知部４ｂは、自車両Ｖの側面に設けられている。より詳細には、第２報知部４ｂは、自車両Ｖの側面に沿って、複数のＬＥＤが自車両Ｖの前後方向に一列に配置されて構成されている。第２報知部４ｂは、図３に示される自車両Ｖの左側面の他、自車両Ｖの右側面にも設けられている。第２報知部４ｂは、表示の色、点滅の周期等を変更可能である。なお、第２報知部４ｂは、図３に示される態様に限定されない。
次に、ＥＣＵ１０の機能的構成について、図４に示される状況を例示しつつ説明する。
図４は、歩行者Ｐが自車両Ｖの前方の横断歩道Ｚ付近に位置している状況を示す平面図である。図４には、道路Ｒを走行する自車両Ｖが示されている。道路Ｒには、自車両Ｖが走行して向かう先に横断歩道Ｚが設けられている。また、道路Ｒに併設された路側帯において、歩行者Ｐが横断歩道Ｚ付近に立ち止まっている。
図１に示されるように、ＥＣＵ１０は、提案行動決定部１１、報知制御部１２、行動検知部１３、及び行動判定部１４を有している。なお、ＥＣＵ１０の機能の一部は、自車両Ｖと通信可能な情報管理センター等の施設のコンピュータで実行されてもよく、自車両Ｖと通信可能な携帯情報端末で実行されてもよい。
図１及び図４に示されるように、提案行動決定部１１は、外部センサ１により検出された歩行者Ｐへ提案する行動を決定する。より詳細には、提案行動決定部１１は、外部センサ１から受信した情報（撮像情報、障害物情報）、自動運転ＥＣＵ３により生成された自車両Ｖの走行計画、地図データベースの地図情報、及び測位部の測位した自車両Ｖの地図上の位置情報に基づいて、歩行者Ｐの今後の行動を予測するとともに、予測された行動を歩行者Ｐが実行可能となるように歩行者Ｐへ提案する行動を決定する。「歩行者Ｐへ提案する行動」とは、例えば、交通ルール、歩行者Ｐの予測された行動、及び自車両Ｖの走行計画に基づいて、歩行者Ｐの予測された行動を歩行者Ｐが安全且つ円滑に実行することができるような行動であってもよい。
ここでは、提案行動決定部１１は、歩行者Ｐが横断歩道Ｚ付近の路側帯に位置していることから、歩行者Ｐの今後の行動を、横断歩道Ｚを横断するという行動であると予測する。また、提案行動決定部１１は、例えば自車両Ｖの移動速度及び自車両Ｖと横断歩道Ｚとの間の距離に基づいて、自車両Ｖが横断歩道Ｚの手前で安全に停止可能且つ歩行者Ｐが横断歩道Ｚを安全に横断可能であると判定する。これにより、提案行動決定部１１は、歩行者Ｐへ提案する行動を、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動に決定する。
報知制御部１２は、外部センサ１により検出された歩行者Ｐに対して、歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様で報知させる。「第１態様」とは、歩行者Ｐへ提案する行動に関する情報を、後述する第２態様よりも強調せずに報知する態様である。報知制御部１２は、第１態様での報知として、例えば報知部４を所定の色で表示させ、或いは、所定周期で所定回数だけ点滅させてもよい。より具体的な例としては、報知制御部１２は、歩行者Ｐに安心感を与えやすい色である緑色又は青色で報知部４を点灯させてもよい。
また、報知制御部１２は、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様で報知させた後に、後述するように行動判定部１４により歩行者Ｐの行動が歩行者Ｐへ提案した行動であると判定された場合、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報を報知部４に報知させる。この場合、報知制御部１２は、例えば報知部４を所定の色で表示させ、或いは、所定周期で所定回数だけ点滅させてもよい。より具体的な例としては、報知制御部１２は、歩行者Ｐに安心感を与えやすい色である緑色又は青色で、報知部４を低速（例えば、１秒間に１回）で２回又は３回だけ点滅させてもよい。
また、報知制御部１２は、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様で報知させた後に、後述するように行動判定部１４により歩行者Ｐの行動が歩行者Ｐへ提案した行動でないと判定された場合、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第２態様で報知させる。「第２態様」とは、歩行者Ｐへ提案する行動に関する情報を、第１態様よりも強調して報知する態様である。報知制御部１２は、第２態様での報知として、例えば報知部４を所定の色で表示させ、或いは、所定周期で所定回数だけ点滅させてもよい。より具体的な例としては、報知制御部１２は、歩行者Ｐから気付かれやすい色である赤色又黄色で報知部４を表示させてもよく、或いは、報知部４を高速（例えば、１秒間に２回）で点滅させ続けてもよい。
行動検知部１３は、外部センサ１により検出された歩行者Ｐの行動を検知する。特に、行動検知部１３は、報知部４により歩行者Ｐへ提案する行動に関する情報を報知された当該歩行者Ｐの行動を検知する。より詳細には、行動検知部１３は、外部センサ１から受信した情報（撮像情報、障害物情報）に基づいて、歩行者Ｐの移動ベクトルを取得する。そして、行動検知部１３は、所定時間（例えば１秒又は２秒）における移動ベクトルの変化量に基づいて、歩行者Ｐの行動を検知する。一例として、行動検知部１３は、移動ベクトルの変化量と予め設定された所定値とを比較することで、歩行者Ｐの行動を検知してもよい。図４に示される状況では、歩行者Ｐは、路側帯における横断歩道Ｚ付近に立ち止まっている。このため、行動検知部１３は、横断歩道Ｚを横断する方向への移動ベクトルの変化量が所定値以上である場合に、歩行者Ｐが横断歩道Ｚの横断を開始したと検知してもよく、また、横断歩道Ｚを横断する方向への移動ベクトルの変化量が所定値未満である場合に、歩行者Ｐが横断歩道Ｚの横断を開始していないと検知してもよい。
行動判定部１４は、行動検知部１３により検知された歩行者Ｐの行動が、歩行者Ｐへ提案した行動であるか否かを判定する。図４に示される状況では、行動判定部１４は、行動検知部１３により検知された歩行者Ｐの行動が、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動であるか否かを判定する。
以下、車外報知装置１００による情報の報知の処理について、図４の状況を参照しながら説明する。図５は、報知の処理を示すフローチャートである。図５のフローチャートは、自車両Ｖが自動運転中である場合に実行される。
図５に示されるように、ステップＳ１０において、車外報知装置１００は、外部センサ１により、自車両Ｖの周囲の歩行者Ｐを検出する。図４では、自車両Ｖの前方の横断歩道Ｚ付近の路側帯に歩行者Ｐが検出される。その後、車外報知装置１００は、ステップＳ１２に移行する。
ステップＳ１２において、車外報知装置１００のＥＣＵ１０は、提案行動決定部１１により、歩行者Ｐの今後の行動を予測し、歩行者Ｐへ提案する行動を決定する。図４では、提案行動決定部１１は、歩行者Ｐの今後の行動を、横断歩道Ｚを横断するという行動であると予測する。そして、提案行動決定部１１は、歩行者Ｐへ提案する行動を、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動に決定する。その後、車外報知装置１００は、ステップＳ１４に移行する。
ステップＳ１４において、車外報知装置１００のＥＣＵ１０は、報知制御部１２により、歩行者Ｐに対して、歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様で報知させる。これにより、車外報知装置１００は、歩行者Ｐに対して、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動を提案する。その後、車外報知装置１００は、ステップＳ１６に移行する。
ステップＳ１６において、車外報知装置１００のＥＣＵ１０は、行動検知部１３により、歩行者Ｐの行動を検知する。行動検知部１３は、外部センサ１から受信した情報に基づいて、歩行者Ｐの移動ベクトルを取得する。そして、行動検知部１３は、所定時間における移動ベクトルの変化量に基づいて、歩行者Ｐの行動を検知する。図４では、例えば、行動検知部１３は、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚの横断を開始したと検知する場合があり、歩行者Ｐが横断歩道Ｚの横断を開始していないと検知する場合があり、歩行者Ｐが横断歩道Ｚの横断を開始した後に横断歩道Ｚの途中で引き返したと検知する場合がある。その後、車外報知装置１００は、ステップＳ１８に移行する。
ステップＳ１８において、車外報知装置１００のＥＣＵ１０は、行動判定部１４により、歩行者Ｐの行動が、歩行者Ｐへ提案した行動であるか否かを判定する。図４では、行動判定部１４は、歩行者Ｐの行動が、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動であるか否かを判定する。車外報知装置１００は、歩行者Ｐの行動が、歩行者Ｐへ提案した行動であると判定された場合（ステップＳ１８：ＹＥＳ）、ステップＳ２０に移行する。一方、車外報知装置１００は、歩行者Ｐの行動が、歩行者Ｐへ提案した行動でないと判定された場合（ステップＳ１８：ＮＯ）、ステップＳ２２に移行する。
ステップＳ２０において、車外報知装置１００のＥＣＵ１０は、報知制御部１２により、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報を報知部４に報知させる。これにより、車外報知装置１００は、自車両Ｖによる提案通りに歩行者Ｐが行動していることを歩行者Ｐに知らせることで、このまま当該行動を続けてよいことを歩行者Ｐに知らせることができる。報知制御部１２は、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報を例えば所定時間だけ報知部４に報知させて、当該報知を終了させる。車外報知装置１００は、報知制御部１２により、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報を報知部４に報知させることを終了させると、今回の処理を終了する。その後、車外報知装置１００は、再びステップＳ１０から処理を繰り返す。
ステップＳ２２において、車外報知装置１００のＥＣＵ１０は、報知制御部１２により、歩行者Ｐに対して、歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様よりも強調された第２態様で報知させる。これにより、車外報知装置１００は、歩行者Ｐの行動が自車両Ｖによる提案通りではないことを歩行者Ｐに気付かせやすくする。報知制御部１２は、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動でないことを示す情報を例えば所定時間だけ報知部４に報知させて、当該報知を終了させる。車外報知装置１００は、報知制御部１２により、歩行者Ｐに対して、歩行者Ｐへ提案する行動に関する情報を報知部４に報知させることを終了させると、今回の処理を終了する。その後、車外報知装置１００は、再びステップＳ１０から処理を繰り返す。なお、図５のフローチャートは、例えば自車両Ｖの自動運転が終了された場合にも終了する。
以上説明したように、車外報知装置１００によれば、検出された歩行者Ｐへ提案する行動が決定され、決定された行動に関する情報が歩行者Ｐに対して報知される。そして、その後の歩行者Ｐの行動が当該歩行者Ｐへ提案した行動であると判定された場合、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報が報知される。これにより、車外報知装置１００は、自車両Ｖによる提案通りに歩行者Ｐが行動していることを歩行者Ｐに知らせることで、このまま当該行動を続けてよいことを歩行者Ｐに知らせることができる。よって、車外報知装置１００は、歩行者Ｐの行動が自動運転中の自車両Ｖにより認識されていることを歩行者Ｐに報知することができる。その結果、自車両Ｖは、車外報知装置１００により歩行者Ｐとのコミュニケーションを図ることが可能となり、歩行者Ｐに感じさせる不安を低減させることができる。
車外報知装置１００では、報知制御部１２は、外部センサ１により検出された歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様で報知させた後に、行動判定部１４により歩行者Ｐの行動が歩行者Ｐへ提案した行動でないと判定された場合、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様よりも強調された第２態様で報知させる。これにより、車外報知装置１００は、自車両Ｖによる提案通りに歩行者Ｐが行動していない場合に、歩行者Ｐの行動が自車両Ｖによる提案通りではないことを歩行者Ｐに容易に気付かせることができる。
上述した実施形態は、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
例えば、提案行動決定部１１は、歩行者Ｐが横断歩道Ｚ付近の路側帯に位置していること以外の情報に基づいて、歩行者Ｐの今後の行動を予測してもよい。例えば、提案行動決定部１１は、歩行者Ｐの顔の向き、体の向き、又は動作（ジェスチャー）等に基づいて、歩行者Ｐの今後の行動を予測してもよい。或いは、提案行動決定部１１は、例えば交通ルール等を前提とした確率論に基づいて、歩行者Ｐの今後の行動を予測してもよく、具体的には、提案行動決定部１１は、モンテカルロ法を用いたパーティクルフィルタ、カルマンフィルタ等を用いて歩行者Ｐの今後の行動を予測してもよい。また、提案行動決定部１１は、上述した予測の手段のうちのいくつかを組み合わせて、歩行者Ｐの今後の行動を予測してもよい。
また、上記実施形態では、提案行動決定部１１は、歩行者Ｐへ提案する行動を、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動に決定した。しかし、提案行動決定部１１は、例えば交通の状況等によって、歩行者Ｐへ提案する行動を適宜決定してよい。例えば、提案行動決定部１１は、歩行者Ｐへ提案する行動を、自車両Ｖが横断歩道Ｚを通過するまで歩行者Ｐが待機し、自車両Ｖが横断歩道Ｚを通過した後に歩行者Ｐが横断歩道Ｚを横断するという行動に決定してもよい。
また、報知部４は、自車両Ｖの前面又は側面に一列に配置された複数のＬＥＤに限定されない。例えば、報知部４は、文字情報を表示可能なディスプレイであってもよい。この場合、報知部４は、歩行者Ｐへ提案する行動が、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動である場合には、「お先にどうぞ」との文字情報を表示してもよい。報知部４は、歩行者Ｐへ提案する行動が、自車両Ｖが横断歩道Ｚを通過するまで歩行者Ｐが待機し、自車両Ｖが横断歩道Ｚを通過した後に歩行者Ｐが横断歩道Ｚを横断するという行動である場合には、「先に通過します」との文字情報を表示してもよい。報知部４は、これらの文字情報を第１態様で表示する場合には、これらの文字情報を点滅させずに（すなわち、点灯させて）表示させ、第２態様で報知する場合には、これらの文字情報を点滅させて表示させてもよい。また、報知部４は、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報を報知する場合には、「ご協力ありがとうございます」との文字情報を表示してもよい。或いは、報知部４は、これらの文字情報の内容を図形的に表現した画像情報を表示してもよい。
また、報知部４は、情報を車外から視覚的に認識可能に表示する表示装置に限らず、例えば、情報を車外から聴覚的に認識可能に音声を出力する音声出力装置であってもよい。具体的には、報知部４は、車外に向けて音声を出力するスピーカであってもよい。例えば、報知部４は、歩行者Ｐへ提案する行動が、自車両Ｖが横断歩道Ｚを通過する前に歩行者Ｐが横断歩道Ｚを横断するという行動である場合には、「お先にどうぞ」との音声を出力してもよい。報知部４は、歩行者Ｐへ提案する行動が、自車両Ｖが横断歩道Ｚを通過するまで歩行者Ｐが待機し、自車両Ｖが横断歩道Ｚを通過した後に歩行者Ｐが横断歩道Ｚを横断するという行動である場合には、「先に通過します」との音声を出力してもよい。報知部４は、これらの音声を第１態様で出力する場合には、これらの音声を第２態様よりも小さい音量で出力し、第２態様で報知する場合には、これらの音声を第１態様よりも大きい音量で出力してもよい。また、報知部４は、歩行者Ｐに対して歩行者Ｐの行動が提案通りの行動であることを示す情報を報知する場合には、「ご協力ありがとうございます」との音声を出力してもよい。
また、報知部４は、表示装置と音声出力装置との両方を備えていてもよい。この場合、報知部４は、例えば第１態様での報知を表示装置のみで行い、第２態様での報知を表示装置と音声出力装置との両方で行ってもよい。
また、報知制御部１２は、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様で報知させた後に、行動判定部１４により歩行者Ｐの行動が歩行者Ｐへ提案した行動でないと判定された場合、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第２態様で報知させなくてもよい。例えば、この場合、報知制御部１２は、歩行者Ｐに対して歩行者Ｐへ提案する行動に関する情報を報知部４に第１態様のままで報知させてもよい。
１…外部センサ（移動体検出部）、４…報知部、１１…提案行動決定部、１２…報知制御部、１３…行動検知部、１４…行動判定部、１００…車外報知装置、Ｐ…歩行者（移動体）、Ｖ…自車両。

Claims (2)

  1. 自動運転中の自車両の周囲の移動体に対して情報を報知する車外報知装置であって、
    車外に情報を報知する報知部と、
    前記移動体を検出する移動体検出部と、
    前記移動体検出部により検出された前記移動体へ提案する行動を決定する提案行動決定部と、
    前記移動体検出部により検出された前記移動体に対して前記移動体へ提案する行動に関する情報を前記報知部に報知させる報知制御部と、
    前記移動体検出部により検出された前記移動体の行動を検知する行動検知部と、
    前記行動検知部により検知された前記移動体の行動が前記移動体へ提案した行動であるか否かを判定する行動判定部と、を備え、
    前記報知制御部は、前記行動判定部により前記移動体の行動が前記移動体へ提案した行動であると判定された場合、前記移動体に対して前記移動体の行動が提案通りの行動であることを示す情報を前記報知部に報知させる、車外報知装置。
  2. 前記報知制御部は、前記移動体検出部により検出された前記移動体に対して前記移動体へ提案する行動に関する情報を前記報知部に第１態様で報知させた後に、前記行動判定部により前記移動体の行動が前記移動体へ提案した行動でないと判定された場合、前記移動体に対して前記移動体へ提案する行動に関する情報を前記報知部に前記第１態様よりも強調された第２態様で報知させる、請求項１に記載の車外報知装置。
JP2017150799A 2017-08-03 2017-08-03 車外報知装置 Active JP6690612B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017150799A JP6690612B2 (ja) 2017-08-03 2017-08-03 車外報知装置
US16/010,618 US10600323B2 (en) 2017-08-03 2018-06-18 Vehicle external notification device
CN201810864835.XA CN109383367B (zh) 2017-08-03 2018-08-01 车辆外部通知装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017150799A JP6690612B2 (ja) 2017-08-03 2017-08-03 車外報知装置

Publications (2)

Publication Number Publication Date
JP2019026201A true JP2019026201A (ja) 2019-02-21
JP6690612B2 JP6690612B2 (ja) 2020-04-28

Family

ID=65229731

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017150799A Active JP6690612B2 (ja) 2017-08-03 2017-08-03 車外報知装置

Country Status (3)

Country Link
US (1) US10600323B2 (ja)
JP (1) JP6690612B2 (ja)
CN (1) CN109383367B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179577A1 (ja) * 2019-03-01 2020-09-10 株式会社小糸製作所 車両用エンブレムシステム、車両用エンブレムユニット、車両用エンブレム取付ユニット
JP2021149256A (ja) * 2020-03-17 2021-09-27 いすゞ自動車株式会社 警告装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112236805B (zh) * 2018-06-08 2022-08-09 三菱电机株式会社 行驶计划信息分发系统
US11756426B2 (en) * 2018-07-23 2023-09-12 Newtrax Holdings Inc Method and system for acknowledging presence in a context-aware environment
JP7115184B2 (ja) 2018-09-26 2022-08-09 トヨタ自動車株式会社 自動運転システム
US10627819B1 (en) * 2018-10-11 2020-04-21 Pony Ai Inc. On-site notification from autonomous vehicle for traffic safety
JP2020104738A (ja) 2018-12-27 2020-07-09 トヨタ自動車株式会社 報知装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015178288A (ja) * 2014-03-18 2015-10-08 株式会社デンソー 車両接近通知装置、車両接近通知方法
JP2016166013A (ja) * 2016-05-23 2016-09-15 株式会社デンソー 車載装置
JP2017088975A (ja) * 2015-11-13 2017-05-25 日新製鋼株式会社 セパレートプレート用冷延鋼板
JP2018184151A (ja) * 2017-04-27 2018-11-22 パナソニックＩｐマネジメント株式会社 情報提示システム、移動体、情報提示方法及びプログラム

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5299688B2 (ja) * 2009-06-03 2013-09-25 アイシン精機株式会社 車両周辺監視方法及び車両周辺監視装置
WO2013042205A1 (ja) * 2011-09-20 2013-03-28 トヨタ自動車株式会社 歩行者行動予測装置および歩行者行動予測方法
JP5548667B2 (ja) * 2011-11-24 2014-07-16 富士重工業株式会社 車外環境認識装置
JP5696701B2 (ja) * 2012-08-31 2015-04-08 株式会社デンソー 対歩行者報知装置
US9196164B1 (en) * 2012-09-27 2015-11-24 Google Inc. Pedestrian notifications
JPWO2014192369A1 (ja) * 2013-05-31 2017-02-23 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
JP6137001B2 (ja) * 2014-03-14 2017-05-31 株式会社デンソー 車載装置
US20150329043A1 (en) * 2014-05-13 2015-11-19 Continental Automotive Systems, Inc. Warning to a Pedestrian in Dangerous Situation
JP6746270B2 (ja) * 2014-09-08 2020-08-26 株式会社小糸製作所 車両用表示システム
US20170359565A1 (en) * 2015-02-20 2017-12-14 Sony Corporation Image pickup device and image pickup method
US9786177B2 (en) * 2015-04-10 2017-10-10 Honda Motor Co., Ltd. Pedestrian path predictions
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックＩｐマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
KR20170058188A (ko) * 2015-11-18 2017-05-26 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015178288A (ja) * 2014-03-18 2015-10-08 株式会社デンソー 車両接近通知装置、車両接近通知方法
JP2017088975A (ja) * 2015-11-13 2017-05-25 日新製鋼株式会社 セパレートプレート用冷延鋼板
JP2016166013A (ja) * 2016-05-23 2016-09-15 株式会社デンソー 車載装置
JP2018184151A (ja) * 2017-04-27 2018-11-22 パナソニックＩｐマネジメント株式会社 情報提示システム、移動体、情報提示方法及びプログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020179577A1 (ja) * 2019-03-01 2020-09-10 株式会社小糸製作所 車両用エンブレムシステム、車両用エンブレムユニット、車両用エンブレム取付ユニット
JP2021149256A (ja) * 2020-03-17 2021-09-27 いすゞ自動車株式会社 警告装置
JP7310667B2 (ja) 2020-03-17 2023-07-19 いすゞ自動車株式会社 警告装置

Also Published As

Publication number Publication date
US10600323B2 (en) 2020-03-24
JP6690612B2 (ja) 2020-04-28
US20190043363A1 (en) 2019-02-07
CN109383367A (zh) 2019-02-26
CN109383367B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
JP6690612B2 (ja) 車外報知装置
JP6470346B2 (ja) 車両用危険報知制御装置
US20180144636A1 (en) Distracted driver detection, classification, warning, avoidance system
CN108140314B (zh) 停车辅助方法及停车辅助装置
US10643474B2 (en) Vehicle control device, vehicle control method, and recording medium
WO2017060978A1 (ja) 自動運転制御装置および自動運転制御方法
US11180164B2 (en) Vehicle control apparatus, vehicle, and control method
JP4765566B2 (ja) 運転行動評価装置
US10930153B2 (en) Vehicle external notification device
WO2017042089A1 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
JPWO2013145274A1 (ja) 運転支援装置
CN110456758B (zh) 车外报告装置
JP2014041556A (ja) 運転支援装置
JP5751423B2 (ja) 運転支援装置
JP2017068461A (ja) 車両の運転支援装置
JP2009116753A (ja) 衝突防止システム
JPWO2018220851A1 (ja) 自動運転車の制御のための車両制御装置及び方法
JP2019106050A (ja) 運転支援装置
US10946791B2 (en) Out-of-vehicle notification device
JP5416193B2 (ja) 障害物監視装置
US10926778B2 (en) Autonomous vehicle control device
JP6984118B2 (ja) 運転支援装置
JP6520691B2 (ja) 車線逸脱警報装置及び車線逸脱警報方法
JP5200990B2 (ja) 運転支援装置
JP2022126274A (ja) 煽り運転防止装置、煽り運転防止方法及び煽り運転防止プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191001

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200310

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200323

R151 Written notification of patent or utility model registration

Ref document number: 6690612

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151