JP2020159953A - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
JP2020159953A
JP2020159953A JP2019061464A JP2019061464A JP2020159953A JP 2020159953 A JP2020159953 A JP 2020159953A JP 2019061464 A JP2019061464 A JP 2019061464A JP 2019061464 A JP2019061464 A JP 2019061464A JP 2020159953 A JP2020159953 A JP 2020159953A
Authority
JP
Japan
Prior art keywords
route
vehicle
node
section
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019061464A
Other languages
English (en)
Other versions
JP7365594B2 (ja
Inventor
田中 彰
Akira Tanaka
彰 田中
森 俊也
Toshiya Mori
俊也 森
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019061464A priority Critical patent/JP7365594B2/ja
Priority to US16/829,504 priority patent/US11514785B2/en
Priority to CN202010221208.1A priority patent/CN111750893A/zh
Priority to DE102020108343.2A priority patent/DE102020108343B4/de
Publication of JP2020159953A publication Critical patent/JP2020159953A/ja
Application granted granted Critical
Publication of JP7365594B2 publication Critical patent/JP7365594B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/096855Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver
    • G08G1/096861Systems involving transmission of navigation instructions to the vehicle where the output is provided in a suitable form to the driver where the immediate route instructions are output to the driver, e.g. arrow signs for next turn
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/18Stabilised platforms, e.g. by gyroscope
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/09626Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages where the origin of the information is within the own vehicle, e.g. a local storage device, digital map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Navigation (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】自車の走行予定ルートの形状に適合した違和感の無いARルートを表示可能な表示装置を提供すること。【解決手段】本開示の表示システムは、道路地図データに含まれるノード情報を車線情報に基づいて自車が走行予定の車線側にシフトさせることでARルートを形成したので、交差点や分岐点などの複数の道路が交わる位置においてARルートが走行予定ルートから大きくずれるといった不都合を解消して、自車の走行予定ルートの形状に適合した違和感の無いARルートを表示できる。【選択図】図13

Description

本開示は、例えば車載用として使用される表示システムに関する。
表示装置として、ヘッドアップディスプレイ(Head‐Up Display、以下、HUDとも表記する)が知られている。HUDは、透光性の表示媒体に画像を投影し、この画像を、表示媒体越しに見える物に重畳するようユーザーに提示して、いわゆるAR(Augmented Reality)を実現することができる。
そして車載用のHUDには、運転を支援する情報などを、ウインドシールドの前方に、現実の景色と重畳して見える虚像として運転者に提示するものがある。この種の表示装置は、例えば特許文献1、2などで開示されている。
車載用のHUDのなかには、虚像としてARルートを表示するものがある。ARルートの表示については、例えば特許文献3などで開示されている。ARルートは、運転者の進むべき方向が道路上に帯状に表示されたものである。
特開平7−257228号公報 特開2018−045103号公報 特開2018−140714号公報
ところで、実際上、AR(Augmented Reality)ルートは、ナビゲーションシステムの地図情報を用いて作成される。具体的には、先ず、ナビゲーションシステムが、目的地までのルートを検索し、地図情報に含まれる道路座標(ノード、リンク)の中からそのルートに対応する座標(ノード、リンク)を選択する。すると、表示装置は、選択されたノード、リンクの情報に基づいてARルートを形成し、形成したARルートをフロントガラスに虚像として投影する。
ここで、ノードやリンクに含まれる座標情報は、道路の中央の座標である場合が多いため、その情報をそのまま用いてARルートを形成すると、違和感のあるARルートが表示されることがある。特に、交差点や分岐点などの複数の道路が交わる位置において、違和感のあるARルートが表示される可能性が高い。
本開示は、以上の点を考慮してなされたものであり、自車の走行予定ルートの形状に適合した違和感の無いARルートを表示可能な表示システムを提供する。
本開示の表示装置の一つの態様は、
ユーザーから見える実像に重なるように虚像であるARルートを表示するための表示システムであって、
前記ARルートを形成するARルート形成部と、
前記ARルートを虚像として表示させる表示部と、
を備え、
前記ARルート形成部は、
道路地図データに含まれるノード座標を、車線情報に基づいて自車が走行予定の車線側にシフトさせることで、前記ARルートを形成する。
本開示によれば、自車の走行予定ルートの形状に適合した違和感の無いARルートを表示できる。
実施の形態に係る表示装置の車両への搭載例を示す図 実施の形態における表示装置によって光が投射される領域の一例を示す図 前景に重なるように虚像を表示した一例を示す図 表示装置の構成例を示すブロック図 図5A−図5Cは、実施の形態のARルートの形成の説明に供する図 実施の形態の直線補正処理を適用しない場合のARルートの表示例を示す図 実施の形態の直線補正処理を適用した場合のARルートの表示例を示す図 実施の形態のARルートの直線補正処理の流れを示すフローチャート 実施の形態による曲線補間の例を示す図 実施の形態の曲線補間処理を適用しない場合のARルートの表示例を示す図 実施の形態の曲線補間処理を適用した場合のARルートの表示例を示す図 従来行われているARルートの表示の説明に供する図であり、図12Aはノード位置を示す図、図12BはARルートを示す図 実施の形態によるARルートの表示の説明に供する図であり、図13Aはノード位置のシフトを示す図、図13BはシフトされたARルートを示す図 図14AはARルートをシフトさせない例を示す図であり、図14Bは実施の形態のARルートのシフト処理を適用した例を示す図
以下、本発明の実施の形態を、図面を参照して説明する。
<1>表示装置の概略構成
図1は、本開示の実施の形態に係る表示装置100の車両200への搭載例を示す図である。
本実施の形態における表示装置100は、車載用のヘッドアップディスプレイ(HUD)として具現化されている。表示装置100は、車両200のダッシュボード220の上面付近に取り付けられる。
表示装置100は、ウインドシールド(いわゆるフロントガラス)210における、一点鎖線で示される運転手の視界内にある領域D10に光を投射する。投射された光の一部はウインドシールド210を透過するが、他の一部はウインドシールド210に反射される。この反射光は、運転者の目に向かう。運転者は、目に入ったその反射光を、ウインドシールド210越しに見える実在の物体を背景に、ウインドシールド210を挟んで反対側(車両200の外側)にある物体の像のように見える虚像Viとして知覚する。
図2は、本実施の形態における表示装置100によって光が投射される領域である領域D10の一例を示す図である。
領域D10は、例えば図2に破線で囲まれた領域として示されるように、ウインドシールド210の運転席側の下寄りに位置する。ダッシュボード220に取り付けられた表示装置100は、図1に示されるように領域D10に光を投射することでウインドシールド210に画像を投影する。これにより運転者からは車両200の外側にある物体の像のように見える虚像Viが生成される。
なお、ウインドシールド210に投影された画像は、その領域D10内の上下位置によって、虚像Viにおいて運転者から異なる距離にあるように知覚され得る。例えば図1及び図2の例では、領域D10は運転者の目の高さよりも下に位置するため、領域D10でより低い位置にある画像は、虚像Viにおいては運転者からより近い位置に、領域D10に投影された画像内でより高い位置にある物は、虚像Viにおいては運転者からより遠い位置にある物として知覚され得る。このように知覚される原理は、幾何学的な遠近法の一種(上下遠近法)によって説明される。
図3は、本実施の形態における表示装置100によって生成される虚像の一例、及びこの虚像と、走行中の車両200の運転者から見た車両200前方の景色との重畳の一例を示す図である。
図3全体は、車両200を運転中の運転者(図示なし)の視界内の景色の一部を模式的に示す。ただし表示装置100から画像が投影される領域D10を示す破線の枠は、本実施の形態の説明の便宜上示されるものであり、存在して運転者に知覚されるものではない。参照符号200が示すのは、車両200の一部であるボンネットである。また、参照符号V10が付された矢印の像は、表示装置100によって生成されて運転者に知覚されている虚像Viの例であるAR(Augmented Reality)ルートである。
図3に示されるように、虚像であるARルートV10は、運転者の視界内で実際に見える景色に重畳するように表示される。実際上、ARルートV10は、道路上に重畳して表示される。これにより、運転者はARルートV10で示される帯状の領域上を走行するように誘導される。
図4は、表示装置100の構成例を示すブロック図である。
表示装置100は、地図情報取得部101、位置検出部102、レーダー103、車両挙動検出部104、視点検出部105、画像形成部110、表示制御部120及びHUD130を有する。
地図情報取得部101は、地形や道路形状等を絶対座標系の座標で表した情報が含まれた地図情報を取得する。地図情報取得部101により取得される地図情報は、車両200に搭載された地図情報記憶媒体に記憶されているものであってもよいし、外部装置との通信により取得されるものであってもよい。本実施の形態の場合、地図情報取得部101は、いわゆるナビゲーションシステムであり、現在地から目的地までの経路を取得する。地図情報取得部101は、地図情報及び経路情報を画像形成部110に出力する。
位置検出部102は、GPS受信機や、ジャイロスコープ、車速センサーなどによって具現化され、自車両200の現在地を検出する。
レーダー103は、自車両200の前方領域に向けて電波やレーザ光を発信し、その反射波を受信することにより、対象物の有無や対象物までの距離を検出する。なお、表示装置100は、周辺領域の対象物を検出するために、レーダー103に加えて、カメラや赤外線センサーなどの他の検出装置を備えていてもよい。
車両挙動検出部104は、ジャイロスコープ、サスペンションストロークセンサー、車高センサー、車速センサー、加速度センサーなどによって具現化され、車両の挙動を示す物理量を検出する。
視点検出部105は、例えば赤外線カメラにより運転者の眼を撮像し、撮像した眼の画像から画像処理により、車両座標系における運転者の眼の位置の座標を測定する。視点検出部105による検出結果は、表示制御部120に出力される。
画像形成部110は、地図情報取得部101、位置検出部102、レーダー103及び車両挙動検出部104からの入力信号に基づいて、虚像Viの基になる画像を形成する。画像形成部110には、ARルート形成部111が含まれている。ARルート形成部111は、地図情報取得部101及び位置検出部102からの入力信号に基づいて虚像であるARルートの基になる画像を形成する。
表示制御部120は、画像形成部110によって形成された画像と、視点情報とに基づいて、HUD130を構成する光源部、走査部、スクリーン駆動部などを制御することにより、ウインドシールドの領域D10に虚像Viを表示する。
<2>ARルートの形成
本実施の形態による特徴的なARルートの形成処理を説明する前に、地図情報を用いた一般的なルート形成について説明する。
なお、以下で述べるARルート形成部111の機能は、CPUが、記憶装置に記憶されたプログラムをRAMにコピーし、そのプログラムに含まれる命令をRAMから順次読み出して実行することにより、実現される。換言すれば、以下で述べるARルート形成部111の処理はプログラムによって実現される。
ARルート形成部111は、地図情報取得部101から道路地図データを入力する。道路地図データにおいては、道路区間を表す最小単位はリンクと呼ばれている。すなわち、各道路は所定の道路区間ごとに設定された複数のリンクによって構成されている。リンク同士を接続している点はノードと呼ばれ、このノードはそれぞれに位置情報(座標情報)を有している。また、リンク内にはノードとノードの間に形状補間点と呼ばれる点が設定されていることもある。形状補間点もノードと同じく、それぞれに位置情報(座標情報)を有している。このノードと形状補間点の位置情報によって、リンク形状、すなわち道路の形状が決定される。
ノードは、交差点、分岐点、合流点などであり、ARルート形成部111は、この交差点、分岐点、合流点などの座標情報をノードの情報として入力する。また、上述したように形状補間点の座標情報も入力する。
各リンクは、その属性情報として、リンクの長さを示すリンク長、リンクの形状情報、リンクの始端及び終端ノード座標(緯度・経度)、道路名称、道路種別、道路幅員、道路属性、一方通行属性、車線数、右折・左折専用車線の有無とその専用車線の数などの各データから構成される。
次に、本実施の形態のARルート形成部111によるARルートの形成処理について説明する。ARルート形成部111には、上述したような自車の走行ルートを示す、ノード及びリンクの情報が入力される。
<2−1>直線の補正
図5は、本実施の形態のARルートの形成の説明に供する図である。図中の符号N1−N5は、ルート区間内のノードを示す。よって、従来のARルートの形成処理では、N1→N2→N3→N4→N5を順に繋ぐARルートが形成される。
これに対して、本実施の形態のARルートの形成処理では、先ず、N1−N5の区間が直線区間であるか否かを判断し、直線区間であると判断した場合には、区間の開始ノードN1と終了ノードN5を結ぶ直線L0を、ARルートとして形成して表示させる。これに対して、直線区間でないと判断した場合には、後述する分割処理やカーブ補正処理を行う。
具体的に説明する。本実施の形態のARルートの形成処理では、先ず、図5Aに示したように、直線区間か否かの判断対象であるルート区間内の区間開始ノードN1と区間終了ノードN5とを結ぶ直線L0を形成する。
次に、直線L0と、ルート区間内に含まれる他のノードN2、N3、N4との距離h2、h3、h4を算出する。
次に、ARルート作成部111は、距離h2、h3、h4を所定の閾値と比較する。距離h2、h3、h4が全て閾値以下の場合、ARルート作成部111は、ノードN1−N5の区間を、1つの直線L0で結んでARルートを作成する。これに対して、ARルート作成部111は、距離h2、h3、h4の中に閾値より大きいものが含まれている場合、最も距離が大きいノードを分割点としてルート区間を分割する。図5の例の場合、ノードN3までの距離h3が最も大きいので、ノードN3を分割点としてルート区間を分割する。
次に、図5Bに示されているように、分割点を区間の終了ポイント及び開始ポイントとして、上述したのと同様に、直線区間か否かの判断処理を繰り返す。具体的には、ルート区間内の区間開始ノードN1と区間終了ノードN3とを結ぶ直線L1を形成する。同様に、ルート区間内の区間開始ノードN3と区間終了ノードN5とを結ぶ直線L2を形成する。次に、直線L1と、ルート区間内に含まれる他のノードN2との距離h2を算出する。同様に、直線L2と、ルート区間内に含まれる他のノードN4との距離h4を算出する。次に、距離h2を閾値と比較する。同様に、距離h4を閾値と比較する。図の例では、距離h2が閾値よりも小さいので、図5Cに示されているように、ノードN1−N3の区間を、1つの直線L1で結んでARルートを作成する。同様に、距離h4が閾値よりも小さいので、図5Cに示されているように、ノードN3−N5の区間を、1つの直線L2で結んでARルートを作成する。
要するに、本実施の形態の直線の補正処理は、区間の開始ノードと終了ノードを結ぶ直線から大きく逸脱していないノードを除外して(無視して)直線を作成する処理である。このようにすることで、ノードの座標の設定の仕方に起因する不自然なARルートの折れ曲がりを防止することができる。例えば、実際には直線道路であるにもかかわらず、ノードの座標が交差点中央の座標に設定されていることに起因する、交差点毎にARルートが若干折れ曲がるといった不都合を防止できる。
図6は、本実施の形態の直線補正処理を適用しない場合のARルートの表示例を示す。この図から、直線道路であるにもかかわらず、ARルートが交差点において若干折れ曲がっていることが分かる。図7は、本実施の形態の直線補正処理を適用した場合のARルートの表示例を示す。この図から、交差点でのARルートの折れ曲がりが解消されていることが分かる。
図8は、本実施の形態のARルートの直線補正処理の流れを示すフローチャートである。
ARルート作成部111は、先ず、ステップS1において、開始ノードと終了ノードとを結ぶ直線と、区間内に含まれる他のノードとの距離hを算出する。つまり、図5Aの例における、区間開始ノードN1と区間終了ノードN5とを結ぶ直線L0と、区間内に含まれる他のノードN2、N3、N4との距離h2、h3、h4を算出する。
ARルート作成部111は、続くステップS2において、全ての距離h2、h3、4が閾値以内か否か算出する。ステップS2において肯定結果を得た場合(ステップS2;YES)には、ステップS3に移って、当該区間を直線区間と判断し、ARルートを形成する。つまり、図5Aの例で考えると、直線L0をARルートとする。
これに対して、ステップS2において否定結果を得た場合(ステップS2;NO)には、ステップS4に移って、距離hが最も大きいノードを分割点として区間を分割する。つまり、図5Bの例で考えると、ノードN3を分割点としてルート区間を分割する。ARルート作成部111は、ステップS4の処理の後に、再びステップS1に戻る。このステップS1の処理は、図5Bの例における距離h2、h4を算出する処理に相当する。
このように、ARルート作成部111は、ステップS1−S2−S4−S1の処理を、ステップS2で肯定結果が得られるまで再帰的に繰り返すことにより、閾値以上に距離が大きいノードが無くなるまで区間を分割していく。そして、やがてそのようなノードが存在しなくなったときにその区間を直線区間であると判断して、ステップS3の処理を行って直線区間内で一直線のARルートを形成する。
<2−2>曲線補間
本実施の形態のARルート作成部111は、直線区間でないと判断したルート区間に対して曲線補間を行う。
例えば、項目<2−1>で説明したような直線の補正(直線の平滑化と言ってもよい)を行った後の直線区間でない区間に対して、図9に示したような曲線補間を行う。図9の例では、直線L1と直線L2は分割点であるノードN3を介して折れ曲がって接続されているので、N1−N3−N5の区間は直線区間ではない。実際上、N1−N3−N5の区間は、折れ曲がった道路ではなく、カーブであることがほとんどである。これを考慮して、ARルート作成部111は、N1−N3−N5の区間に対して曲線補間を行うことで曲線L10を形成し、この曲線L10をARルートとして出力する。
このとき、ARルート作成部111は、当該区間に含まれるノードを制御点として曲線補間を行う。図9の例では、ノードN1、N3、N5を制御点とした曲線補間を行うことで曲線L10を形成する。
ここで、ノードは綺麗な曲線となるように配置されているとは限らず、全てのノードを通るような曲線補間を行うと歪みのある曲線形状となることがある。これを考慮して、本実施の形態では、B−スプライン曲線による補間を行うことで、歪みのない曲線L10を形成するようになっている。ただし、曲線補間は、B−スプライン曲線による補間に限らない。
なお、ここでは、項目<2−1>で説明したような直線の補正を行った後の直線区間でない区間に対して曲線補間を行う場合について述べたが、これに限らず、要は、直線区間でないと判断したルート区間に対して当該区間に含まれるノードを制御点として曲線補間を行い、曲線補間後の曲線をARルートとして出力すればよい。
図10は、本実施の形態の曲線補間処理を適用しない場合のARルートの表示例を示す。この図から、実際の道路はカーブしているにもかかわらず、ARルートは折れ線になっていることが分かる。図11は、本実施の形態の曲線補間処理を適用した場合のARルートの表示例を示す。この図から、カーブに沿った曲線形状からなるARルートを表示できることが分かる。
<2−3>車線情報に基づくARルートのシフト処理
上述したように、ARルートは、道路地図データに含まれるノードやリンクに基づいて作成される。しかし、発明が解決する課題の項目でも述べたように、ノードやリンクに含まれる座標情報は、道路の中央の座標である場合が多いため、その情報をそのまま用いてARルートを形成すると、違和感のあるARルートが表示されることがある。特に、交差点や分岐点などの複数の道路が交わる位置において、違和感のあるARルートが表示される可能性が高い。
これを考慮して、本実施の形態においては、道路地図データに含まれるノード座標を車線情報に基づいて自車が走行予定の車線側にシフトさせることでARルートを形成する。これにより、車線情報に基づいて、自車が走行する車線側にシフトされた、違和感のないARルートを表示させることができるようになる。ちなみに、ARルートはノードを結んで形成されるので、ノード座標をシフトさせることは、ARルートをシフトさせることに等しい。よって、以下の記述において、ノード座標をシフトさせるとはARルートをシフトさせると読み換えてもよく、逆に、ARルートをシフトさせるとはノード座標をシフトさせると読み換えてもよい。
図12は、従来行われているARルートの表示の説明に供するものである。図12Aに示すように、自車が、センターラインを有する片側一車線の道路を走行しており、前方の交差点で右折する場合を想定する。このとき、ノードN1−N4の座標はセンターライン上の座標とされている。
図12Bは、図12AのノードN1−N4を基に形成され表示されるARルートを示した図である。図12Bから分かるように、従来のARルートは、開始点が自車の走行位置に合わせ込まれるので、自車の前方では違和感なく表示されるが、交差点通過後はセンターライン上に乗ってしまう。つまり、ARルートが実際の走行予定の車線からセンターライン方向にずれてしまうことになる。
図13は、本実施の形態によるARルートの表示の説明に供するものである。本実施の形態では、図13Aに示すように、センターライン上のノードN1、N2、N3、N4の座標を自車が走行予定の車線側にシフトさせることでノードN1’、N2’、N3’、N4’を算出し、このノードN1’、N2’、N3’、N4’を用いてARルートを形成し表示する。
図13Bは、図13AのノードN1’、N2’、N3’、N4’を基に形成され表示されるARルートを示した図である。図13Bから分かるように、本実施の形態のARルートは、交差点通過後も自車の走行予定の車線上に表示される。この結果、違和感のないARルートを表示できる。
ここで、本実施の形態による具体的なARルートのシフトの例を挙げる。
片側3車線、かつ、走行予定の車線が1地番左の車線である場合には、[車線幅(例えば3.25m)×(車線数(この例では3)−0.5)]だけノード位置を自車の車線側にシフトさせる。この処理は、センターライン上にノードが設定されていることに対応しての処理である。
このように本実施の形態のARルートのシフト処理では、道路の中央に設定されているノードを、自車が走行予定の車線側にシフトさせる。本実施の形態では、ARルートを、自車が走行予定の車線の中央にシフトさせている。
本実施の形態のARルートのシフト処理では、特に、左折又は右折先の道路の車線情報、又は、分岐先の道路の車線情報に基づいて、左折先、右折先又は分岐先のARルートをシフトさせているので、左折先、右折先又は分岐先でのARルートの違和感を低減できる。
次に、図14を用いて、本実施の形態によるARルートのシフト処理による効果について説明する。
図14は、前方の交差点において、左折する場合のARルート表示を示す図である。図14AはARルートをシフトさせない例を示し、図14Bは本実施の形態のARルートのシフト処理を適用した例を示す。これらの図を比較すれば明らかなように、図14AのARルートは交差点通過後に自車が走行予定でない道路の中央付近に表示されているのに対して、図14BのARルートは交差点通過後も自車が走行予定の車線に違和感なく表示されている。
このように、本実施の形態のARルートのシフト処理を行えば、交差点のノード位置が走行車線の延長線上から左右にずれて配置されていても、走行予定の車線に沿った違和感のないARルートを表示させることができるようになる。
<3>まとめ
以上説明したように、本実施の形態によれば、項目<2−3>で説明したように、道路地図データに含まれるノード情報を車線情報に基づいて自車が走行予定の車線側にシフトさせることでARルートを形成したので、交差点や分岐点などの複数の道路が交わる位置においてARルートが走行予定ルートから大きくずれるといった不都合を解消して、自車の走行予定ルートの形状に適合した違和感の無いARルートを表示できる。
上述の実施の形態は、本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその要旨、またはその主要な特徴から逸脱することの無い範囲で、様々な形で実施することができる。
上述の実施の形態では、本開示の表示装置を車載用のHUDに適用した場合について述べたが、これに限らず、要はユーザーから見える実像に重なるように虚像であるARルートを表示する表示システム及び装置に広く適用可能である。
本発明の表示システムは、例えば車載用のHUDを備えたシステムに好適である。
100 表示装置
101 地図情報取得部
102 位置検出部
103 レーダー
104 車両挙動検出部
105 視点検出部
110 画像形成部
111 ARルート形成部
120 表示制御部
130 HUD(ヘッドアップディスプレイ)
200 車両
210 ウインドシールド
220 ダッシュボード
N1、N2、N3、N4、N5 ノード
h2、h3、h4 距離
L0、L1、L2 直線
L10 曲線
Vi 虚像

Claims (5)

  1. ユーザーから見える実像に重なるように虚像であるARルートを表示するための表示システムであって、
    前記ARルートを形成するARルート形成部と、
    前記ARルートを虚像として表示させる表示部と、
    を備え、
    前記ARルート形成部は、
    道路地図データに含まれるノード座標を、車線情報に基づいて自車が走行予定の車線側にシフトさせることで、前記ARルートを形成する、
    表示システム。
  2. 前記車線情報は、車線数の情報であり、
    前記ARルート形成部は、車線数に応じて前記ノード座標のシフト量を変更する、
    請求項1に記載の表示システム。
  3. 前記ARルート形成部は、さらに、一方通行の道路か否かに応じて前記ノード座標のシフト量を変更する、
    請求項1又は2に記載の表示システム。
  4. 前記ARルート形成部は、さらに、左折又は右折先の道路の車線情報、又は、分岐先の道路の車線情報に基づいて、前記ノード座標をシフトさせる、
    請求項1から3のいずれか一項に記載の表示システム。
  5. 請求項1から4のいずれか1項に記載の表示システムを備えた、表示装置。
JP2019061464A 2019-03-27 2019-03-27 表示システム Active JP7365594B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019061464A JP7365594B2 (ja) 2019-03-27 2019-03-27 表示システム
US16/829,504 US11514785B2 (en) 2019-03-27 2020-03-25 Display system
CN202010221208.1A CN111750893A (zh) 2019-03-27 2020-03-26 显示系统及显示装置
DE102020108343.2A DE102020108343B4 (de) 2019-03-27 2020-03-26 Anzeigesystem und Head-up Display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019061464A JP7365594B2 (ja) 2019-03-27 2019-03-27 表示システム

Publications (2)

Publication Number Publication Date
JP2020159953A true JP2020159953A (ja) 2020-10-01
JP7365594B2 JP7365594B2 (ja) 2023-10-20

Family

ID=72606195

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019061464A Active JP7365594B2 (ja) 2019-03-27 2019-03-27 表示システム

Country Status (4)

Country Link
US (1) US11514785B2 (ja)
JP (1) JP7365594B2 (ja)
CN (1) CN111750893A (ja)
DE (1) DE102020108343B4 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7447842B2 (ja) 2021-02-15 2024-03-12 株式会社Soken 車両用表示制御装置、車両用表示制御方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019164514A1 (en) * 2018-02-23 2019-08-29 Google Llc Transitioning between map view and augmented reality view
US11555711B2 (en) * 2020-04-11 2023-01-17 Harman Becker Automotive Systems Gmbh Systems and methods for augmented reality in a vehicle
US11845429B2 (en) * 2021-09-30 2023-12-19 GM Global Technology Operations LLC Localizing and updating a map using interpolated lane edge data
US11987251B2 (en) 2021-11-15 2024-05-21 GM Global Technology Operations LLC Adaptive rationalizer for vehicle perception systems toward robust automated driving control

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090344A (ja) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07257228A (ja) 1994-03-18 1995-10-09 Nissan Motor Co Ltd 車両用表示装置
JP4994256B2 (ja) * 2008-01-28 2012-08-08 株式会社ジオ技術研究所 経路案内データベースのデータ構造
KR20150054022A (ko) * 2013-11-08 2015-05-20 현대오트론 주식회사 헤드업 디스플레이를 이용한 차선변경 정보 표시 장치 및 방법
US9677898B2 (en) * 2014-06-17 2017-06-13 Think Ware Corporation Electronic apparatus and control method thereof
KR102123844B1 (ko) 2014-07-18 2020-06-18 팅크웨어(주) 전자 장치, 전자 장치의 제어 방법 및 컴퓨터 판독 가능한 기록 매체
JP6569999B2 (ja) 2016-09-14 2019-09-04 パナソニックIpマネジメント株式会社 表示装置
CN108318049A (zh) * 2017-01-16 2018-07-24 安波福电子(苏州)有限公司 一种车载高精度车道导航系统
JP6699646B2 (ja) * 2017-02-08 2020-05-27 株式会社デンソー 車両用表示制御装置
JP6601441B2 (ja) 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
US20200307576A1 (en) * 2017-09-08 2020-10-01 Mitsubishi Electric Corporation Driver assistance apparatus and driver assistance method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016090344A (ja) * 2014-10-31 2016-05-23 アイシン・エィ・ダブリュ株式会社 ナビゲーション装置、及びナビゲーションプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7447842B2 (ja) 2021-02-15 2024-03-12 株式会社Soken 車両用表示制御装置、車両用表示制御方法

Also Published As

Publication number Publication date
CN111750893A (zh) 2020-10-09
US20200312146A1 (en) 2020-10-01
DE102020108343A1 (de) 2020-10-15
US11514785B2 (en) 2022-11-29
DE102020108343B4 (de) 2024-05-29
JP7365594B2 (ja) 2023-10-20

Similar Documents

Publication Publication Date Title
JP7365594B2 (ja) 表示システム
JP5810842B2 (ja) レーン案内表示システム、方法およびプログラム
JP5708449B2 (ja) レーン案内表示システム、方法およびプログラム
JP5397373B2 (ja) 車両用画像処理装置、車両用画像処理方法
JP5810843B2 (ja) レーン案内表示システム、方法およびプログラム
US9964413B2 (en) Navigation device for a movable object and method for generating a display signal for a navigation device for a movable object
JP2013117515A (ja) レーン案内表示システム、方法およびプログラム
JP6695049B2 (ja) 表示装置及び表示制御方法
RU2677122C1 (ru) Устройство отображения транспортного средства
JP6347326B2 (ja) 表示制御装置、表示制御方法、表示制御プログラム、および投影装置
JP6089506B2 (ja) レーン案内表示システム、方法およびプログラム
JP7253720B2 (ja) 表示システム及びプログラム
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP5906988B2 (ja) 道路形状案内システム、方法およびプログラム
CN109470261B (zh) 平视显示系统
JP2017116279A (ja) 案内装置、制御方法、プログラム、及び記憶媒体
JP5733196B2 (ja) レーン案内表示システム、方法およびプログラム
JP5772571B2 (ja) レーン案内表示システム、方法およびプログラム
WO2021200913A1 (ja) 表示制御装置、画像表示装置、及び方法
JP7379946B2 (ja) 表示装置
WO2020045330A1 (ja) 車両用表示装置、方法、及びコンピュータ・プログラム
JP2006244217A (ja) 三次元地図表示方法、三次元地図表示プログラムおよび三次元地図表示装置
JP4858017B2 (ja) 運転支援装置
JP2021160409A (ja) 表示制御装置、画像表示装置、及び方法
JP2019215600A (ja) 地図表示システム、地図表示プログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190625

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20191021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211018

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221018

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230912

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230926

R151 Written notification of patent or utility model registration

Ref document number: 7365594

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03