JP2019120994A - 表示制御装置および表示制御方法 - Google Patents

表示制御装置および表示制御方法 Download PDF

Info

Publication number
JP2019120994A
JP2019120994A JP2017253279A JP2017253279A JP2019120994A JP 2019120994 A JP2019120994 A JP 2019120994A JP 2017253279 A JP2017253279 A JP 2017253279A JP 2017253279 A JP2017253279 A JP 2017253279A JP 2019120994 A JP2019120994 A JP 2019120994A
Authority
JP
Japan
Prior art keywords
image
vehicle
specific object
control unit
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017253279A
Other languages
English (en)
Other versions
JP7077616B2 (ja
Inventor
理恵 村井
Rie Murai
理恵 村井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017253279A priority Critical patent/JP7077616B2/ja
Priority to CN201811510339.0A priority patent/CN110015247B/zh
Priority to US16/221,805 priority patent/US10866416B2/en
Publication of JP2019120994A publication Critical patent/JP2019120994A/ja
Application granted granted Critical
Publication of JP7077616B2 publication Critical patent/JP7077616B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/191—Highlight information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20—Optical features of instruments
    • B60K2360/33—Illumination features
    • B60K2360/334—Projection means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Multimedia (AREA)

Abstract

【課題】運転者に特定の対象物を早く認識させる技術を提供する。【解決手段】運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御装置において、制御部は、車載カメラを含む車両用センサの出力にもとづく車両の走行状況に関する走行状況情報から検出された車両前方にある特定の対象物によって走行に緊急を要する状況が生じている場合に、特定の対象物を強調する強調画像を表示させる。【選択図】図２

Description

本発明は、各種情報の表示を制御する表示制御装置および表示制御方法に関する。
特許文献１には、自車両の進行を妨げる物体がある場合に、物体の存在を知らせるキャラクターをヘッドアップディスプレイにより投影させる車両用表示装置が開示されている。
特開２００９−９４４６号公報
特許文献１の技術では、キャラクターにより物体の存在を知らせるが、運転者はキャラクターを視認した後、視線を物体に移動させて物体を認識するため、物体を認識するまでに時間がかかるおそれがある。
本発明はこうした状況に鑑みてなされたものであり、その目的は、運転者に特定の対象物を早く認識させる技術を提供することにある。
上記課題を解決するために、本発明のある態様は、運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御装置であって、車載カメラを含む車両用センサの出力にもとづく車両の走行状況に関する走行状況情報、をもとに検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御部と、を備える。
この態様によると、走行に緊急を要する状況が生じている場合に実景にある特定の対象物を強調する強調画像を表示させることで、運転者に特定の対象物の存在を素早く認識させることができる。
制御部は、強調画像を特定の対象物に重ねてまたは近傍に表示させてもよい。また、制御部は、強調画像を特定の対象物から特定の対象物の進行方向にずらした位置に表示させてもよい。また、制御部は、特定の対象物に応じた形状である強調画像を表示させてもよい。
制御部は、走行状況情報にもとづいて緊急度を導出し、緊急度に応じて強調画像を変化させてもよい。また、制御部は、緊急度が高いほど特定の対象物を目立たせる強調画像を表示させてもよい。
本発明の別の態様は、表示制御方法である。この方法は、運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御方法であって、車載カメラを含む車両用センサの出力にもとづき車両の走行状況に関する走行状況情報を取得する取得ステップと、走行状況情報から検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御ステップと、を含む。
この態様によると、走行に緊急を要する状況が生じている場合に実景にある特定の対象物を強調する強調画像を表示させることで、運転者に特定の対象物の存在を素早く認識させることができる。
本発明によれば、運転者に特定の対象物を早く認識させる技術を提供できる。
実施例の表示システムの機能構成を説明するための図である。 運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図である。 運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、緊急度に応じて変化させる強調画像を示す図である。 運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、対象物の進行方向に応じた強調画像を示す図である。
図１は、実施例の表示システム１の機能構成を説明するための図である。表示システム１は、表示制御装置１０、車両用センサ１２およびヘッドアップディスプレイ（以下、「ＨＵＤ」と呼ぶ場合がある）１４を備える。表示システム１は、車両走行中に車両前方に注意喚起すべき対象物を検出したときに、その対象物を目立たせて運転者に早く認識させるようにＨＵＤ１４の表示を制御する。
図１に示す表示制御装置１０において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
車両用センサ１２は、例えば、車外状況を検出するセンサであり、少なくとも車両前方を撮像する車載カメラを含み、他にはミリ波レーダ、音波センサ、赤外線レーザなどを含む。車両用センサ１２の検出結果により、自車両の前方の壁、建物、看板、車両、人などの特定の対象物を検出できる。
また、車両用センサ１２は、車両の走行状況を検出するセンサ、例えば、車速検出センサや操舵量検出センサを含んでよく、車両の進行を予測できる情報を検出する。
ＨＵＤ１４は、運転者の前方に画像を投影することにより虚像である表示画像を実景に重畳して表示する。具体的に、ＨＵＤ１４は、自車両の車室内に搭載され、表示制御装置１０から出力された制御信号にもとづいて、自車両のフロントガラスに各種情報の画像を投影する。この画像は、虚像である。フロントガラスに投影された虚像は、フロントガラスでは結像せず、運転者には車外に表示されているように認識され、ＨＵＤ１４の表示に奥行きがあるように見せる。よって、虚像は、車両前方の実像に重なるように表示される。そのため、運転者は、車両の走行中に視線をほとんど動かすことなく虚像の情報を得ることができる。
表示制御装置１０は、ＨＵＤ１４に制御信号を出力し、ＨＵＤ１４を制御して、車両前方の対象物に重畳する画像を表示させる。表示制御装置１０は、取得部１６、検出部１８、制御部２０および強調画像保持部２２を備える。
取得部１６は、車両用センサ１２の出力にもとづいて車両の走行状況に関する走行状況情報を取得する。走行状況情報は、車両前方の撮像画像やミリ波レーダや音波センサなどの検出結果を含む。
検出部１８は、走行状況情報から車両前方にある特定の対象物を検出し、特定の対象物によって走行に緊急を要する状況が生じていることを検出する。検出部１８の検出結果により、特定の対象物の存在を運転者に警告すべきか判定できる。検出部１８は、車両前方を撮像した撮像画像を解析して、自車両の前方の壁、建物、標識、他車両、人などの対象物を抽出して、対象物の位置および対象物の種類を示す情報を取得する。対象物の位置情報は、撮像画像上の２次元の位置情報だけでなく、対象物と自車両との距離を示す情報も含む。また、検出部１８は、対象物と自車両との距離および自車両から対象物の方角を示す情報を、ミリ波レーダや音波センサなどの検出結果から取得してよい。なお、撮像画像から特定の対象物を抽出する処理、および／またはミリ波レーダや音波センサなどが対象物を検出する処理は、表示制御装置１０ではなく、車両用センサ１２で実行してもよい。いずれにしても、検出部１８は車両前方にある対象物の位置情報など対象物に関する情報を取得する。
検出部１８は、検出した特定の対象物を追跡して、特定の対象物の進行方向を検出する。検出部１８は、特定の対象物の変化によって進行方向を検出し、特定の対象物が車両左右方向のいずれに進行しているか、または、特定の対象物が車両進行方向の中心線に向かって進行しているか検出する。特定の対象物が車両進行方向の中心線に向かって進行していると、車両の走行の障害になる可能性がある。車両進行方向の中心線は、自車両の中心を通るように設定され、自車両の前後方向に延びる。
検出部１８は、検出した特定の対象物によって走行に緊急を要する状況が生じているか検出する。走行に緊急を要する状況には、対象物が自車両の走行の障害になる可能性が高いこと、交通違反をする可能性が高まっていること、交通違反をしていることなどが含まれる。
対象物が自車両の走行の障害になる可能性が高く、走行に緊急を要する状況が生じているかを、検出部１８は、特定の対象物と自車両との位置情報にもとづいて検出する。検出部１８は、特定の対象物と車両進行方向に延びる中心線との距離、特定の対象物と自車両との距離、および特定の対象物の進行方向にもとづいて、走行に緊急を要する状況であることを検出する。例えば、特定の対象物が自車両の車両進行方向に延びる中心線に向かって進行しており、自車両との距離が５メートル以内であれば、検出部１８は、走行に緊急を要する状況が生じていることを検出する。また、検出部１８は、特定の対象物と自車両の位置情報に加えて、特定の対象物と自車両の相対速度にもとづいて、走行に緊急を要する状況が生じているか検出する。
交通違反をする可能性が高く、または交通違反をしており、走行に緊急を要する状況が生じているかを、検出部１８は、特定の対象物から取得した情報にもとづいて検出する。例えば、検出部１８は、撮像画像から、右折禁止を示す標識、進入禁止を示す標識、制限速度を示す標識などの交通標識に示す情報を取得し、交通標識に示す情報と自車両の走行状況にもとづいて走行に緊急を要する状況であることを検出する。検出部１８は、走行に緊急を要する状況を生じていることを検出すると、注意喚起すべき特定の対象物の情報を制御部２０に送る。
制御部２０は、車両前方にある特定の対象物によって走行に緊急を要する状況が生じている場合に、すなわち、特定の対象物の存在を運転者に警告する場合に、車両前方の実景にある特定の対象物を強調する強調画像を、特定の対象物に重ねてまたは近傍に表示させる制御を実行する。制御部２０は、検出部１８から注意喚起すべき特定の対象物の情報を受け取ると、実景にある特定の対象物に重ねてまたは近傍に表示させるよう強調画像をＨＵＤ１４に投影させる。走行に緊急を要する状況が生じていることが検出部１８に検出されなければ、強調画像は表示されない。特定の対象物の近傍とは、特定の対象物に重なってはいないものの近接しており、運転者が強調画像を視認すれば、特定の対象物も視認される位置をいう。
制御部２０は、自車両前方にある注意喚起すべき特定の対象物に対して強調画像を重ねてまたは近傍に表示させることで、実景にある特定の対象物を目立たせて運転者に認識させる。運転者は、実景にあるように見える強調画像を視認すれば、それに重なるまたは近傍にある特定の対象物を素早く認識できる。走行に緊急を要する状況が生じている場合にのみ強調画像を投影することで、運転者に効果的に注意喚起できる。
強調画像保持部２２は、強調画像として、特定の対象物を囲む枠体の画像や、自動車、自転車および人の形状をした画像、注意を促すテキストの画像を保持する。
制御部２０は、特定の対象物が移動しない地物である場合、その地物を強調する強調画像として地物を囲む枠体を表示させ、特定の対象物が人や車両の移動体である場合、その移動体に応じた形状の強調画像を表示させてよい。つまり、制御部２０は、特定の対象物の種類に応じて強調画像の種類を替えてよい。
図２は、運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す。図２では、対象物である歩行者２８が車両前方に飛び出す状況を示す。
検出部１８は、車両用センサ１２の出力結果にもとづき歩行者２８を検出し、歩行者２８と自車両の位置および歩行者２８の進行方向を取得し、自車両の走行に緊急を要する状況が生じているか判定する。検出部１８が歩行者２８により自車両の走行に緊急を要する状況が生じていると判定し、制御部２０が、検出部１８から注意喚起すべき歩行者２８の情報を受け取ると、歩行者２８を目立たせる第１強調画像３０ａおよび第２強調画像３０ｂをＨＵＤ１４に投影させる。運転者は、第１強調画像３０ａおよび第２強調画像３０ｂを視認すると同時に歩行者２８を認識し、車速を低下させるなどの対応をとることができる。
第１強調画像３０ａは、歩行者２８およびその周囲に重なるように表示され、半透明の状態である。第２強調画像３０ｂは、歩行者２８の上方近傍にテキストで表示される。第１強調画像３０ａが歩行者２８の形状に応じた形状で表示されることで、運転者は注意喚起すべき対象物が歩行者２８であることを認識しやすくなる。注意喚起すべき対象物が自転車や自動車であれば、強調画像が自転車の形状や自動車の形状に応じた形状で表示されてよい。
図３は、運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、緊急度に応じて変化させる強調画像を示す図である。図３（ａ）に示す歩行者３２ａより、図３（ｂ）に示す歩行者３２ｂが緊急度が高い状態にある。
制御部２０は、走行状況情報にもとづいて緊急度を導出し、緊急度に応じて強調画像を変化させる。例えば、制御部２０は、自車両と対象物の距離と、対象物の進行方向と、車両進行方向に延びる中心線に対する対象物の距離とにもとづいて、緊急度を算出する。自車両と対象物の衝突の可能性が高いほど、緊急度が高くなるように算出される。また、制御部２０は、交通標識に示す情報にもとづいて緊急度を算出する。自車両が交通違反をしている場合は、自車両が交通違反をしていない場合より緊急度が高くなるように算出される。
図３（ａ）では、歩行者３２ａが車両前方に位置するが、車両進行が予測される軌跡にほとんど重なっていない位置にあり、図３（ｂ）では、歩行者３２ｂが歩行者３２ａより車両進行方向に延びる中心線に近い位置にある。そのため、図３（ｂ）に示す歩行者３２ｂは、図３（ａ）に示す歩行者３２ａより緊急度が高い。
図３（ａ）に示す第３強調画像３４ａと、図３（ｂ）に示す第４強調画像３４ｂは、ともに歩行者を囲む形状であるが、第４強調画像３４ｂが第３強調画像３４ａより大きく、歩行者３２ｂが目立つように強調して表示させる。つまり、制御部２０は、緊急度が高いほど特定の対象物を目立たせる強調画像を表示させる制御を実行する。これにより、緊急度が高いほど運転者が特定の対象物を認識しやすくなる。また、緊急度が高いほど強調画像を大きく表示させることで、運転者に対象物が近くにあるように感じさせ、奥行きのある強調画像を表示させることができる。
図３では、制御部２０が緊急度が高いほど、強調画像を大きく表示させる態様を示したが、この態様に限られない。例えば、制御部２０は、緊急度に応じて強調画像の画素値を変化させてよく、緊急度が高くなるほど、強調画像が青色から赤色になるように変化させてよい。
また、制御部２０は、緊急度に応じて強調画像の輝度を変化させてよく、緊急度が高くなるほど、強調画像を暗くしてよい。制御部２０は、半透明な強調画像を特定の対象物に重ねて表示させるとともに、特定の対象物を実景より暗くさせることで、運転者に特定の対象物が近くにあると感じさせる。
また、制御部２０は、緊急度に応じて強調画像が位置する高さを変化させてよく、緊急度が高くなるほど、強調画像が位置する高さを低くしてよい。強調画像が位置する高さは、ＨＵＤ１４により投影したフロントガラスの鉛直方向の高さであってよく、運転者に視認される実景での鉛直方向の高さであってよい。制御部２０が強調画像を特定の対象物に重ねつつ、特定の対象物より低くなるように位置ずれさせることで、運転者に特定の対象物が近くにあると感じさせることができる。
また、制御部２０は、緊急度に応じて強調画像にぼかし処理を施してよく、緊急度が高いほど、強調画像を鮮明に表示してよい。これにより、緊急度が高いほど運転者に強調画像を近くにあると感じさせることができる。
また、制御部２０は、デフォルトの強調画像を実景での鉛直方向に対して傾斜させてよく、実景上の消失点と特定の対象物を結ぶ直線の傾斜に沿ってデフォルトの強調画像を傾斜させて表示させてよい。実景上の消失点の位置情報は、撮像カメラの位置および撮像方向によって設定され、予め表示制御装置１０に記憶される。また、制御部２０は、特定の対象物の基準位置、例えば中心位置を撮像画像に表示された特定の対象物から算出し、特定の対象物の基準位置と消失点の位置を結ぶ直線を算出し、その直線の傾きに沿って強調画像を傾斜させる。これにより、強調画像に奥行き感を持たせて、運転者に特定の対象物の距離感を把握しやすくできる。
図４は、運転者が視認する車両前方の実景と、実景に重ねて表示される強調画像とを示す図であって、対象物の進行方向に応じた強調画像を示す図である。第５強調画像４０は、歩行者３６に応じて人の形状であり、第６強調画像４２は、車両３８に応じて車両の部分形状であり、いずれの強調画像も特定の対象物の形状に模した形状である。
検出部１８は、車両用センサ１２の検出結果から歩行者３６が右方向に向かって移動し、車両３８が左方向に移動していることを検出する。制御部２０は、第５強調画像４０を歩行者３６から歩行者３６の進行方向にずらした位置に表示させ、第６強調画像４２を車両３８から車両３８の進行方向にずれた位置に表示させる。つまり、制御部２０は、強調画像を特定の対象物の進行方向に位置ずれさせて表示させる制御を実行する。なお、第５強調画像４０および第６強調画像４２は一部が対象物と重なっており、運転者が強調画像から視線をほとんど動かすことなく対象物を認識することができる。
強調画像を対象物からずらして表示させることで、実像（対象物）と虚像（強調画像）が結像して強調画像が目立たなくなることを抑えることができる。また、強調画像を進行方向に位置ずれさせて表示させることで、運転者が対象物の進行方向を認識しやすくなる。
また、制御部２０は、特定の対象物の基準位置と消失点の位置を結ぶ直線に沿って、強調画像を特定の対象物からずらして表示させてよい。また、制御部２０は、緊急度に応じて強調画像と特定の対象物の位置ずれ量を変化させてよい。制御部２０が強調画像を特定の対象物に重ねてまたは近傍に表示させつつ、強調画像を消失点に向かう直線に沿って位置ずれさせることで、強調画像に奥行き感を持たせて、運転者が特定の対象物の距離感を把握しやすくできる。
制御部２０は、強調画像と特定の対象物の位置ずれ量を、特定の対象物の速度にもとづいて設定してよい。位置ずれ量を設定するための特定の対象物の速度は、車両左右方向の速度であって、自車両と特定の対象物の相対的な速度であってよく、車両用センサ１２の検出結果をもとに算出される。制御部２０は、強調画像と特定の対象物の位置ずれ量を、特定の対象物の速度が速いほど大きくなるように設定する。すなわち、制御部２０は、強調画像と特定の対象物の位置ずれ量を、特定の対象物の速度が比較的速い場合に、特定の対象物の速度が比較的遅い場合より大きくなるように設定する。これにより、運転者が特定の対象物と強調画像の位置関係から特定の対象物の動きを予測することができる。
制御部２０は、特定の対象物が車両進行方向に延びる中心線に接近している場合に、強調画像を特定の対象物の移動方向にずらして表示させてよい。一方で、制御部２０は、特定の対象物が車両進行方向に延びる中心線に接近していない場合には、強調画像を特定の対象物に合わせて、つまり強調画像が特定の対象物から位置ずれしないように表示させてよい。また、制御部２０は、特定の対象物が車両進行方向に延びる中心線に接近している場合に、特定の対象物が車両進行方向に延びる中心線に接近していない場合より、強調画像と特定の対象物の位置ずれ量が大きくなるように強調画像を表示してよい。これにより、強調画像の位置ずれによって特定の対象物が車両進行方向に延びる中心線に接近しているか運転者に示すことができる。
制御部２０は、特定の対象物の種類に応じて異なる色の強調画像を設定してよい。例えば、歩行者、自転車、自動車などの特定の対象物の種類毎にそれぞれ異なる色、すなわち異なる画素値の強調画像を設定する。これにより、運転者が強調画像の色を認識することで特定の対象物の種類を認識することができる。
以上、実施の形態をもとに本発明を説明した。実施の形態はあくまでも例示であり、各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
１ 表示システム、 １０ 表示制御装置、 １２ 車両用センサ、 １４ ＨＵＤ、 １６ 取得部、 １８ 検出部、 ２０ 制御部、 ２２ 強調画像保持部。

Claims (7)

  1. 運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御装置であって、
    車載カメラを含む車両用センサの出力にもとづく車両の走行状況に関する走行状況情報、をもとに検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御部と、を備えることを特徴とする表示制御装置。
  2. 前記制御部は、強調画像を特定の対象物に重ねてまたは近傍に表示させることを特徴とする請求項１に記載の表示制御装置。
  3. 前記制御部は、強調画像を特定の対象物から特定の対象物の進行方向にずらした位置に表示させることを特徴とする請求項２に記載の表示制御装置。
  4. 前記制御部は、特定の対象物に応じた形状をもつ強調画像を表示させることを特徴とする請求項２または３に記載の表示制御装置。
  5. 前記制御部は、走行状況情報にもとづいて緊急度を導出し、緊急度に応じて強調画像を変化させることを特徴とする請求項１から４のいずれかに記載の表示制御装置。
  6. 前記制御部は、緊急度が高いほど特定の対象物を目立たせる強調画像を表示させる請求項５に記載の表示制御装置。
  7. 運転者の前方に画像を投影することにより虚像である画像を実景に重畳して表示するヘッドアップディスプレイを制御する表示制御方法であって、
    車載カメラを含む車両用センサの出力にもとづき車両の走行状況に関する走行状況情報を取得する取得ステップと、
    走行状況情報から検出された車両前方にある特定の対象物を運転者に警告する場合に、特定の対象物を強調する強調画像を表示させる制御ステップと、を含むことを特徴とする表示制御方法。
JP2017253279A 2017-12-28 2017-12-28 表示制御装置および表示制御方法 Active JP7077616B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017253279A JP7077616B2 (ja) 2017-12-28 2017-12-28 表示制御装置および表示制御方法
CN201811510339.0A CN110015247B (zh) 2017-12-28 2018-12-11 显示控制装置和显示控制方法
US16/221,805 US10866416B2 (en) 2017-12-28 2018-12-17 Display control device and display control method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017253279A JP7077616B2 (ja) 2017-12-28 2017-12-28 表示制御装置および表示制御方法

Publications (2)

Publication Number Publication Date
JP2019120994A true JP2019120994A (ja) 2019-07-22
JP7077616B2 JP7077616B2 (ja) 2022-05-31

Family

ID=67058851

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017253279A Active JP7077616B2 (ja) 2017-12-28 2017-12-28 表示制御装置および表示制御方法

Country Status (3)

Country Link
US (1) US10866416B2 (ja)
JP (1) JP7077616B2 (ja)
CN (1) CN110015247B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114454832A (zh) * 2022-03-14 2022-05-10 陈潇潇 智能驾驶发生意外的独立证据和完整事实的记录方法
WO2023089105A1 (en) * 2021-11-19 2023-05-25 Wayray Ag System and method

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7006235B2 (ja) * 2017-12-18 2022-01-24 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
US10882398B2 (en) * 2019-02-13 2021-01-05 Xevo Inc. System and method for correlating user attention direction and outside view
EP4081420A1 (en) * 2019-12-26 2022-11-02 Ricoh Company, Ltd. In-vehicle display device and program
US20220242433A1 (en) * 2021-02-02 2022-08-04 GM Global Technology Operations LLC Saliency-based presentation of objects in an image
CN118288783A (zh) * 2023-01-03 2024-07-05 深圳市中兴微电子技术有限公司 图像处理方法、电子设备、计算机可读介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276291A (ja) * 2007-04-25 2008-11-13 Calsonic Kansei Corp 標識認識情報の提示方法及び装置
JP2009020089A (ja) * 2007-06-12 2009-01-29 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2015009676A (ja) * 2013-06-28 2015-01-19 株式会社デンソー 情報提供装置および情報提供方法
WO2016002006A1 (ja) * 2014-07-01 2016-01-07 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2016172469A (ja) * 2015-03-16 2016-09-29 株式会社デンソー 画像生成装置
JPWO2015152304A1 (ja) * 2014-03-31 2017-04-13 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
JP2017532644A (ja) * 2014-10-06 2017-11-02 トヨタ自動車株式会社 路上物体をヘッドアップディスプレイ上で強調する安全システム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2462103C (en) * 2001-10-01 2009-09-15 Dave Gross Emergency vehicle traffic signal pre-emption and collision avoidance system
JP2005228139A (ja) * 2004-02-13 2005-08-25 Nissan Motor Co Ltd 車両用表示装置
CN100429101C (zh) * 2005-09-09 2008-10-29 中国科学院自动化研究所 汽车行驶安全监控系统及监控方法
CN1967147B (zh) * 2005-11-09 2011-08-17 日产自动车株式会社 车辆用驾驶操作辅助装置及具有该装置的车辆
JP2009009446A (ja) * 2007-06-29 2009-01-15 Denso Corp 車両用情報表示装置
DE102008054041B3 (de) * 2008-10-31 2010-06-10 Audi Ag Verfahren zur kombinierten Ausgabe eines Bildes und einer ein Verkehrszeichen betreffenden Information, sowie Kraftfahrzeug hierfür
JP5338273B2 (ja) * 2008-11-24 2013-11-13 株式会社デンソー 画像生成装置、ヘッドアップディスプレイ装置および車両用表示装置
JP4553071B1 (ja) * 2009-03-31 2010-09-29 コニカミノルタホールディングス株式会社 ３次元情報表示装置および３次元情報表示方法
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
CN102378998B (zh) * 2009-12-10 2014-12-10 松下电器产业株式会社 信息显示设备和信息显示方法
CN102782740B (zh) * 2010-03-01 2015-04-15 本田技研工业株式会社 车辆周围监测装置
US8686872B2 (en) * 2010-12-29 2014-04-01 GM Global Technology Operations LLC Roadway condition warning on full windshield head-up display
EP2653349B1 (en) * 2011-03-31 2015-09-16 Honda Motor Co., Ltd. Driving assistance device
US20140236483A1 (en) * 2013-02-19 2014-08-21 Navteq B.V. Method and apparatus for determining travel path geometry based on mapping information
CN105163972B (zh) * 2013-09-13 2017-12-05 日立麦克赛尔株式会社 信息显示系统以及信息显示装置
JP6208036B2 (ja) 2014-02-10 2017-10-04 メタウォーター株式会社 バイオ水質監視装置、水質監視システムおよび水質監視方法
JP6388205B2 (ja) * 2014-02-25 2018-09-12 パナソニックＩｐマネジメント株式会社 表示制御プログラム、表示制御装置、および表示装置
CN112839169B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及摄像装置
JP2016024778A (ja) * 2014-07-24 2016-02-08 株式会社デンソー 車両用報知システム、報知制御装置、及び報知装置
JP6307383B2 (ja) * 2014-08-07 2018-04-04 日立オートモティブシステムズ株式会社 行動計画装置
KR102270578B1 (ko) * 2014-11-18 2021-06-29 현대모비스 주식회사 차량의 전방 정보 표시 제어 장치 및 방법
DE102014223744A1 (de) * 2014-11-20 2016-05-25 Conti Temic Microelectronic Gmbh Assistenzsystem zur Detektion von in der Umgebung eines Fahrzeuges auftretenden Fahrhindernissen
JP6561616B2 (ja) * 2015-06-19 2019-08-21 日本精機株式会社 車載ヘッドアップディスプレイ装置及び車載表示システム
DE102015213979B4 (de) * 2015-07-23 2023-08-17 Audi Ag Anzeigesystem für Verkehrsschildinformationen
GB2543560A (en) * 2015-10-22 2017-04-26 Ford Global Tech Llc A head up display
JP6805716B2 (ja) * 2016-01-25 2020-12-23 株式会社Ｊｖｃケンウッド 表示装置、表示方法、プログラム
JP6429035B2 (ja) * 2016-04-19 2018-11-28 トヨタ自動車株式会社 車両用表示装置
US20190071014A1 (en) * 2017-09-01 2019-03-07 Honda Motor Co., Ltd System for object indication on a vehicle display and method thereof

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276291A (ja) * 2007-04-25 2008-11-13 Calsonic Kansei Corp 標識認識情報の提示方法及び装置
JP2009020089A (ja) * 2007-06-12 2009-01-29 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
JP2015009676A (ja) * 2013-06-28 2015-01-19 株式会社デンソー 情報提供装置および情報提供方法
JPWO2015152304A1 (ja) * 2014-03-31 2017-04-13 エイディシーテクノロジー株式会社 運転支援装置、及び運転支援システム
WO2016002006A1 (ja) * 2014-07-01 2016-01-07 日産自動車株式会社 車両用表示装置及び車両用表示方法
JP2017532644A (ja) * 2014-10-06 2017-11-02 トヨタ自動車株式会社 路上物体をヘッドアップディスプレイ上で強調する安全システム
JP2016172469A (ja) * 2015-03-16 2016-09-29 株式会社デンソー 画像生成装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023089105A1 (en) * 2021-11-19 2023-05-25 Wayray Ag System and method
CN114454832A (zh) * 2022-03-14 2022-05-10 陈潇潇 智能驾驶发生意外的独立证据和完整事实的记录方法

Also Published As

Publication number Publication date
US20190204598A1 (en) 2019-07-04
CN110015247B (zh) 2022-06-28
US10866416B2 (en) 2020-12-15
JP7077616B2 (ja) 2022-05-31
CN110015247A (zh) 2019-07-16

Similar Documents

Publication Publication Date Title
JP2019120994A (ja) 表示制御装置および表示制御方法
EP2487906B1 (en) Control device and vehicle surrounding monitoring device
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
JP5503728B2 (ja) 車両の周辺監視装置
WO2015163205A1 (ja) 車両用表示システム
JP2016020876A (ja) 車両用表示装置
JP6375816B2 (ja) 車両用周辺情報表示システム及び表示装置
JP4259368B2 (ja) ノーズビューモニタ装置
JP2009040108A (ja) 画像表示制御装置及び画像表示制御システム
JP2009231938A (ja) 車両用周囲監視装置
JP2010044561A (ja) 乗物搭載用監視装置
JP7047586B2 (ja) 車両用表示制御装置
JP2019188855A (ja) 車両用視認装置
JP2016175549A (ja) 安全確認支援装置、安全確認支援方法
JP5825713B2 (ja) 車両用危険場面再現装置
JP4986070B2 (ja) 車両用周囲監視装置
JP6769073B2 (ja) 車両用表示方法及び車両用表示装置
JP2005038225A (ja) 車線追従装置
JP5192007B2 (ja) 車両の周辺監視装置
JP6429069B2 (ja) 運転支援情報表示システム
JP4823753B2 (ja) 車両の周辺監視装置
KR20210113661A (ko) 헤드업 디스플레이 시스템
JP2007334763A (ja) 車両周辺監視システム、車両、車両周辺監視プログラム、車両周辺監視システムの構成方法、およびサーバ
JP2016024004A (ja) 車両用表示装置
JP2010087861A (ja) 死角画像表示装置および死角画像表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210610

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210805

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220502

R151 Written notification of patent or utility model registration

Ref document number: 7077616

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151