JP2020024561A - 表示装置、表示制御方法、およびプログラム - Google Patents

表示装置、表示制御方法、およびプログラム Download PDF

Info

Publication number
JP2020024561A
JP2020024561A JP2018148550A JP2018148550A JP2020024561A JP 2020024561 A JP2020024561 A JP 2020024561A JP 2018148550 A JP2018148550 A JP 2018148550A JP 2018148550 A JP2018148550 A JP 2018148550A JP 2020024561 A JP2020024561 A JP 2020024561A
Authority
JP
Japan
Prior art keywords
target
image
vehicle
light
projection area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2018148550A
Other languages
English (en)
Inventor
匡史 東山
Tadashi Higashiyama
匡史 東山
卓也 木村
Takuya Kimura
卓也 木村
慎司 川上
Shinji Kawakami
慎司 川上
達也 岩佐
Tatsuya Iwasa
達也 岩佐
悠司 桑島
Yuji Kuwajima
悠司 桑島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2018148550A priority Critical patent/JP2020024561A/ja
Priority to US16/529,832 priority patent/US20200047686A1/en
Priority to CN201910715954.3A priority patent/CN110816409A/zh
Publication of JP2020024561A publication Critical patent/JP2020024561A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/001Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles integrated in the windows, e.g. Fresnel lenses
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0026Windows, e.g. windscreen
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0149Head-up displays characterised by mechanical features
    • G02B2027/0154Head-up displays characterised by mechanical features with movable elements
    • G02B2027/0159Head-up displays characterised by mechanical features with movable elements with mechanical means other than scaning means for positioning the whole image

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Instrument Panels (AREA)
  • Navigation (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】AR表示の領域外の世界を好適にカバーすること。【解決手段】車両に搭載される表示装置(100)であって、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置(110)と、前記車両の周辺に存在する物標の少なくとも位置を取得する物標情報取得装置と、前記画像生成装置を制御する制御装置(150)とを、備え、前記制御装置は、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、表示装置。【選択図】図3

Description

本発明は、表示装置、表示制御方法、およびプログラムに関する。
従来、フロントウインドシールドに運転者向けの基本的な情報に関する画像を表示するヘッドアップディスプレイ装置(以下、HUD(Head Up Display)装置と称する)が知られている(例えば、特許文献1参照)。このHUD装置を用いて、障害物や注意喚起、進行方向を示す各種マークを車両前方の風景と重ねて表示させることで、運転者は、運転時の視線の方向を前方に維持しながら、表示される各種情報を把握することができる。
特開2017−91115号公報
HUD装置は、光の反射を利用するものであるため、投光装置の置き場所が完全に自由でなければ、反射体上のどこにでも画像を表示できるというものではない。従来の技術では、反射体における限られた領域に表示可能であることと、現実世界の広がりとをどのように繋げば良いのかについて、十分に検討がなされていなかった。
本発明は、このような事情を考慮してなされたものであり、AR(Augmented Reality)表示の領域外の世界を好適にカバーすることができる表示装置、表示制御方法、およびプログラムを提供することを目的の一つとする。
この発明に係る表示装置は、以下の構成を採用した。
(1):この発明の一態様に係る表示装置は、車両に搭載される表示装置であって、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、前記車両の周辺に存在する物標の少なくとも位置を取得する物標情報取得装置と、前記画像生成装置を制御する制御装置とを、備え、前記制御装置は、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させるものである。
(2):上記(1)の態様において、前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入するか否かを判定し、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入すると判定した場合に、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させるものである。
(3):上記(1)または(2)の態様において、前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が前記投射領域において最初に現れる位置を推定し、前記推定した位置に、前記物標の存在を知らせる画像光が投射されるように、前記画像生成装置を制御するものである。
(4):上記(1)から(3)のうちいずれかの態様において、前記制御装置は、前記車両と前記物標との相対位置変化に基づいて計算される前記物標が前記空間領域に進入するまでの時間に基づいて、前記物標の存在を知らせる画像光の表示態様を変更するように前記画像生成装置を制御するものである。
(5):上記(1)から(4)のうちいずれかの態様において、前記制御装置は、前記物標の存在を知らせる画像光を、前記物標の位置に重畳するように見える画像光に比して環境色に近い色の光とするように前記画像生成装置を制御するものである。
(6):上記(1)から(5)のうちいずれかの態様において、前記画像生成装置は、画像を含む光を投射する投光装置と、前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、前記光学機構における前記距離を調節する第1アクチュエータと、前記凹面鏡の反射角度を調節する第2アクチュエータと、を備えるものである。
(7):本発明の他の態様に係る表示制御方法は、車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置が、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、表示制御方法である。
(8):本発明の他の態様に係るプログラムは、車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置に、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定させ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させることを行わせ、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させることを行わせる、プログラムである。
(1)〜(8)によれば、AR表示の領域外の世界を好適にカバーすることができる。
(2)によれば、不要な表示がなされるのを抑制し、乗員が煩わしさを覚えないようにすることができる。
(3)によれば、物標の存在を直感的に乗員に伝えることができる。
(4)によれば、物標の接近具合を直感的に乗員に伝えることができる。
実施形態に係る表示装置100が搭載された車両Mの車室内の構成を例示した図である。 実施形態の操作スイッチ130について説明するための図である。 表示装置100の部分構成図である。 表示制御装置150を中心とした表示装置100の構成例を示す図である。 領域判定部154の判定手法について説明するための図である。 AR画像の一例を示す図である。 存在通知画像の一例を示す図である。 固定物標に対する存在通知画像を例示した図である。 固定物標に対するAR画像を例示した図である。 存在通知画像の変化の一例を示す図である。 表示制御装置150により実行される処理の流れの一例を示すフローチャートである。
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。
以下、図面を参照し、本発明の表示装置、表示制御方法、およびプログラムの実施形態について説明する。実施形態の表示装置は、例えば、車両(以下、車両Mと称する)に搭載され、風景に重畳させて画像を視認させる装置である。表示装置は、HUD装置と称することができる。一例として、表示装置は、車両Mのフロントウインドシールドに画像を含む光を投光することで、観者に虚像を視認させる装置である。観者は、例えば運転者であるが、運転者以外の乗員であってもよい。
以下の説明において、適宜、XYZ座標系を用いて位置関係等を説明する。
[全体構成]
図1は、実施形態に係る表示装置100が搭載された車両Mの車室内の構成を例示した図である。車両Mには、例えば、車両Mの操舵を制御するステアリングホイール10と、車外と車室内とを区分するフロントウインドシールド20と、インストルメントパネル30とが設けられる。フロントウインドシールド20は、光透過性を有する部材である。表示装置100は、例えば、運転席40の前方のフロントウインドシールド20の一部に設けられる表示可能領域(投射領域)A1に画像を含む光を投射する(投光する)ことで、運転席に着座した運転者に虚像VIを視認させる。
表示装置100は、例えば、運転者の運転を支援するための情報を画像化した像(以下、運転支援画像)を、虚像VIとして運転者に視認させる。運転者の運転を支援するための情報には、例えば、車両Mの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態、シフト位置、標識認識結果、交差点位置等の情報が含まれる。運転支援機能には、例えば、予め設定された目的地まで車両Mを誘導するための方向指示機能、ACC(Adaptive Cruise Control)、LKAS(Lane Keep Assist System)、CMBS(Collision Mitigation Brake System)、およびトラフィックジャムアシスト機能等が含まれる。また、運転支援機能には、例えば、車両Mに搭載された電話の着信や発信、通話を管理する電話機能が含まれてもよい。
また、表示装置100は、車両Mの周辺に存在する物標の位置を示す画像(AR画像、または存在通知画像)を、虚像VIとして運転者に視認させる。物標とは、他車両、自転車、歩行者、障害物などの物標、或いは交差点などの固定物標、その他の実体(エンティティ)である。
また、車両Mには、表示装置100の他に、第1表示部50−1や第2表示部50−2が設けられてよい。第1表示部50−1は、例えば、インストルメントパネル30における運転席40の正面付近に設けられ、運転者がステアリングホイール10の間隙から、或いはステアリングホイール10越しに視認可能な表示装置である。また、第2表示部50−2は、例えば、インストルメントパネル30の中央部に取り付けられる。第2表示部50−2は、例えば、車両Mに搭載されるナビゲーション装置(不図示)により実行されるナビゲーション処理に対応する画像、またはテレビ電話における相手の映像等を表示する。また、第2表示部50−2は、テレビ番組を表示したり、DVDを再生したり、ダウンロードされた映画等のコンテンツを表示してもよい。
また、車両Mには、表示装置100による表示のオン/オフの切り替え指示や、虚像VIの位置を調節する指示を受け付ける操作スイッチ130が設けられる。操作スイッチ130は、例えば、運転席40に着座した運転者が大きく体勢を変えることなく操作可能な位置に取り付けられている。操作スイッチ130は、例えば、第1表示部50−1の前方に設けられていてもよく、ステアリングホイール10のボス部に設けられていてもよく、ステアリングホイール10とインストルメントパネル30とを連結するスポークに設けられていてもよい。
図2は、実施形態の操作スイッチ130について説明するための図である。操作スイッチ130は、例えば、メインスイッチ132と、調節スイッチ134および136とを含む。メインスイッチ132は、表示装置100のオン/オフを切り替えるスイッチである。
調節スイッチ134は、例えば、運転者の視線位置P1から表示可能領域A1を透過した空間にあるように視認される虚像VIの位置を、鉛直方向Zに関して上側(以下、上方向と称する)に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ134を押し続けることで、表示可能領域A1内で虚像VIの視認位置を上方向に継続して移動させることができる。
調節スイッチ136は、前述した虚像VIの位置を鉛直方向Zに関して下側(以下、下方向と称する)に移動させる指示を受け付けるためのスイッチである。運転者は、調節スイッチ136を押し続けることで、表示可能領域A1内で虚像VIの視認位置を下方向に継続して移動させることができる。
また、調節スイッチ134は、虚像VIの位置を上方向に移動させるのに代えて(または加えて)、視認される虚像VIの輝度を上げるためのスイッチであってもよい。また、調節スイッチ136は、虚像VIの位置を下方向に移動するのに代えて(または加えて)、視認される虚像VIの輝度を下げるためのスイッチであってもよい。調節スイッチ134、136が受け付ける指示の内容は、何らかの操作に基づいて切り替えられてもよい。何らかの操作とは、例えば、メインスイッチ132の長押し操作である。また、操作スイッチ130は、図2に示す各スイッチに加えて、例えば、表示内容を選択するスイッチや、専ら表示される虚像の輝度を調節するスイッチを含んでよい。
図3は、表示装置100の部分構成図である。表示装置100は、例えば、表示器(画像生成装置の一例)110と、表示制御装置(制御装置の一例)150とを備える。表示器110は、例えば、筐体115内に、投光装置120と、光学機構122と、平面鏡124と、凹面鏡126と、透光カバー128とを収納する。これらの他、表示装置100は、各種センサやアクチュエータを備えるが、これらについては後述する。また、表示器には、光学機構122がない構成であってもよい。
投光装置120は、例えば、光源120Aと、表示素子120Bとを備える。光源120Aは、例えば、冷陰極管であり、運転者に視認させる虚像VIに対応する可視光を出力する。表示素子120Bは、光源120Aからの可視光の透過を制御する。表示素子120Bは、例えば、薄膜トランジスタ(TFT)型の液晶表示装置(LCD)である。また、表示素子120Bは、複数の画素のそれぞれを制御して、光源120Aからの可視光の色要素ごとの透過程度を制御することで、虚像VIに画像要素を含ませ、虚像VIの形態(見え方)を決定付ける。以下では、表示素子120Bを透過し画像が含まれた可視光を画像光ILという。なお、表示素子120Bは、有機EL(Electro-Luminescence)ディスプレイであってもよく、この場合、光源120Aは省略されてよい。
光学機構122は、例えば、一以上のレンズを含む。各レンズの位置は、例えば光軸方向に調節可能となっている。光学機構122は、例えば、投光装置120が出力する画像光ILの経路上に設けられ、投光装置120から入射した画像光ILを通過させて、フロントウインドシールド20に向けて出射する。光学機構122は、例えば、レンズの位置を変更することで、運転者の視線位置P1から、画像光ILが虚像として形成される形成位置P2までの距離(以下、虚像視認距離Dと称する)を調節することができる。運転者の視線位置P1は、凹面鏡126およびフロントウインドシールド20によって反射され画像光ILが集光される位置であり、この位置に運転者の目が存在することが想定される位置である。虚像視認距離Dは、厳密には上下方向の傾きを持つ線分の距離であるが、以下の説明において「虚像視認距離Dが7[m]」などと表現する場合、その距離は水平方向の距離を意味してもよい。
また、以下の説明において、俯角θを、運転者の視線位置P1を通る水平面と、運転者の視線位置P1から形成位置P2までの線分とがなす角度と定義する。虚像VIが下方に形成されているほど、すなわち、運転者が虚像VIを見る視線方向が下向きであるほど、俯角θは大きくなる。俯角θは、凹面鏡126の反射角度φと、表示素子120Bにおける元画像の表示位置とに基づいて決定される。反射角度φは、平面鏡124により反射された画像光ILが凹面鏡126に入射する入射方向と、凹面鏡126が画像光ILを出射する出射方向とのなす角である。
平面鏡124は、光源120Aにより出射され表示素子120Bを通過した可視光(すなわち、画像光IL)を凹面鏡126の方向に反射させる。
凹面鏡126は、平面鏡124から入射した画像光ILを反射し、フロントウインドシールド20に向かって出射する。凹面鏡126は、車両Mの幅方向の軸であるY軸回りに回転(回動)可能に支持される。
透光カバー128は、凹面鏡126からの画像光ILを透過させてフロントウインドシールド20に到達させると共に、筐体115内に埃や塵、水滴などの異物が入り込むことを抑制する。透光カバー128は、筐体115の上側部材に形成された開口部に設けられる。また、インストルメントパネル30にも開口部あるいは光透過性部材が設けられ、画像光ILは、透光カバー128とインストルメントパネル30の開口部或いは光透過性部材を透過してフロントウインドシールド20に到達する。
フロントウインドシールド20に入射した画像光ILは、フロントウインドシールド20によって反射され、運転者の視線位置P1に集光する。このとき、運転者の視線位置P1に運転者の眼が位置していた場合、運転者は、画像光ILによって写し出される画像が車両Mの前方に表示されているように感じる。
表示制御装置150は、運転者に視認させる虚像VIの表示を制御する。図4は、表示制御装置150を中心とした表示装置100の構成例を示す図である。図4の例では、表示制御装置150に加えて、投光装置120と、操作スイッチ130と、レンズ位置センサ162と、凹面鏡角度センサ164と、光学系コントローラ170と、ディスプレイコントローラ172と、レンズアクチュエータ(第1アクチュエータの一例)180と、凹面鏡アクチュエータ(第2アクチュエータの一例)182と、車両制御装置200と、物標情報210とを示している。先に表示制御装置150以外の各構成について説明する。
レンズ位置センサ162は、光学機構122に含まれる一以上のレンズの位置を検出する。凹面鏡角度センサ164は、凹面鏡126のY軸回りの回転角度を検出する。
光学系コントローラ170は、表示制御装置150により出力された制御信号に基づいて、レンズアクチュエータ180を駆動して、虚像視認距離Dを調節する。虚像視認距離Dは、例えば、数[m]から十数[m](或いは数十[m])の範囲内で調節可能となっている。また、光学系コントローラ170は、表示制御装置150により出力された制御信号に基づいて凹面鏡アクチュエータ182を駆動して、凹面鏡の反射角度φを調節する。
ディスプレイコントローラ172は、表示制御装置150から供給される信号に基づく画像を含む光を、投光装置120に投射させる。
レンズアクチュエータ180は、光学系コントローラ170からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて光学機構122に含まれる一以上のレンズの位置を移動する。これにより、虚像視認距離Dが調節される。
凹面鏡アクチュエータ182は、光学系コントローラ170からの駆動信号を取得し、取得した駆動信号に基づいて、モータ等を駆動させて凹面鏡アクチュエータ182をY軸回りに回転させて、凹面鏡126の反射角度φを調節する。これにより、俯角θが調節される。
車両制御装置200は、エンジンやモータなどの走行駆動装置を制御するエンジンECU(Electronic Control Unit)、ステアリング装置(操舵装置)を制御するステアリングECUなどである。一例として、車両制御装置200は、車両Mの速度やエンジン回転数、方向指示器の作動状態、ステアリング操舵角、ヨー角速度などの情報を表示制御装置150に出力する。
物標情報取得装置210は、例えば、車両Mの前方を撮像するカメラおよび撮像画像を解析する画像解析装置、レーダ装置、LIDAR(Light Detection and Ranging)、これらの装置の出力に基づいて物標の種類を特定する物体認識装置、或いは物標の情報を受けて運転支援制御を行う運転支援装置などのうち一部または全部を含む。また、物標情報取得装置210は、地図情報とGPS(Global Positioning System)等の測位装置を利用して固定物標の情報を取得してもよい。更に、物標情報取得装置210は、ナビゲーション装置を含み、車両Mが右左折、分岐、合流等すべき地点の情報を、固定物標の情報として取得してもよい。以下の説明において、物標情報取得装置210は、物標の種類を特定し、種類を示す情報と、物標の位置および相対速度ベクトルとを表示制御装置150に出力するものとする。
以下、表示制御装置150について説明する。表示制御装置150は、例えば、距離制御部151と、俯角制御部152と、運転支援画像生成部153と、領域判定部154と、AR画像生成部155と、進入判定部156と、存在通知画像生成部157と、を備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。表示制御装置150の構成要素の区分は、あくまで便宜的なものであり、ソフトウェアやハードウェアが図示するように明確に分かれていることを意味するものではない。
距離制御部151は、虚像視認距離Dを調節するための制御信号を光学系コントローラ170に出力する。例えば、距離制御部151は、車両Mの速度が大きくなるほど虚像視認距離Dを大きくし、車両Mの速度が小さくなるほど虚像視認距離Dを小さくする。これは、速度が大きいほど運転者は遠方を視認する傾向があることに合わせたものである。
俯角制御部152は、凹面鏡126の反射角度φを調節するための制御信号を光学系コントローラ170に出力する。例えば、俯角制御部152は、操作スイッチ130に対する操作に基づいて、反射角度φを調節する。また、俯角制御部152は、虚像視認距離Dが大きくなるほど、反射角度φを小さくし、俯角θを小さくする。
運転支援画像生成部153は、表示装置100が虚像VIとして提供する画像(以下、これを単に画像と称する)のうち、物標に関連しない、比較的定常的に表示される運転支援画像を生成し、ディスプレイコントローラ172を介して投光装置120に画像光を投射させる。運転支援画像は、例えば、車両Mの速度、駆動力配分比率、エンジン回転数、運転支援機能の動作状態、シフト位置などを表示する画像である。
領域判定部154は、物標情報取得装置210から入力される物標が、車両の乗員(本実施形態の例では運転者)から見て、表示可能領域A1を通過した先の空間領域内にあるか否かを判定する。図5は、領域判定部154の判定手法について説明するための図である。領域判定部154は、物標が、空間領域を路面に射影した路面領域RA1上にある場合、物標が空間領域内にあると判定する。空間領域は、俯角θによって変動するため、領域判定部154は、俯角θに応じた路面領域RA1のマップを記憶部から読み出し、読み出したマップに基づいて路面領域RA1を特定する。そして、領域判定部154は、路面領域RA1内に、物標情報取得装置210から入力される物標の位置が収まる場合に、物標が空間領域内にあると判定する。
AR画像生成部155は、物標が上記の空間領域内にあると判定された場合、物標に重畳するように見える画像光を投光装置120に投射させることで、物標に重畳するように見える画像(AR画像)を生成する。
図6は、AR画像の一例を示す図である。図示する例では、車両Mの前方において道路を横断する歩行者Pが空間領域内にあると判定され、その結果、歩行者Pを囲むようなAR画像IM_AR1が生成されている。なお、「生成する」とは便宜的な表現であり、単に記憶装置から画像データを読み出してディスプレイコントローラ172に出力し、表示器110に表示させる動作を指してもよい。図6の例では、運転支援画像IM_ADがAR画像IM_AR1と共に表示されている。
進入判定部156は、領域判定部154により空間領域内に無いと判定された物標について、物標情報取得装置210から入力された物標の位置および相対速度ベクトルに基づいて、所定時間以内に(或いは車両Mの走行距離に関して所定距離以内に)空間領域内に進入するか否かを判定する。進入判定部156は、例えば、領域判定部154が使用するマップを援用し、物標が現在の相対速度ベクトルを一定に維持すると仮定し、所定時間後の位置が路面領域RA1内であるか否かを判定し、所定時間後の位置が路面領域RA1内である場合に、「所定時間以内に空間領域内に進入する」と判定する。なお、相対速度ベクトルを一定と仮定するのに代えて、加速度またはジャークを一定と仮定して上記判定を行ってもよい。
存在通知画像生成部157は、進入判定部156により所定時間以内に空間領域内に進入すると判定された物標について、物標の存在を知らせる画像光を投光装置120に投射させることで、まだ表示可能領域A1の先の空間には無い物標の存在を通知する存在通知画像を生成する。
図7は、存在通知画像の一例を示す図である。図示する例では、車両Mの前方において道路を横断する歩行者Pが所定時間以内に空間領域内に進入すると判定され、歩行者Pの接近を通知する存在通知画像IM_WN1が生成されている。ここで、存在通知画像生成部157は、物標の相対速度ベクトルを考慮し、物標が表示可能領域A1のどこに最初に現れるかを計算し、最初に現れる箇所(運転者から見た物標が表示可能領域A1に進入する箇所)の付近に存在通知画像IM_WN1を表示してよい。図中、Vは歩行者Pの車両Mに対する相対速度ベクトルを路面上に射影したものである。存在通知画像生成部157は、相対速度ベクトルを路面上に射影したVを延伸させた線が空間領域を路面に射影した路面領域RA1と交わる点を求め、この点を路面空間からフロントウインドシールドの平面に射影(変換)することで、表示箇所を計算する。そして、計算した表示箇所に存在通知画像IM_WN1が表示されるように画像を生成する。これによって、表示装置100は、物標の接近および接近方向を直感的に運転者に伝えることができる。
存在通知画像は、AR画像に比して緊急性の低いものであるため、AR画像に比して環境色に近い(アンビエントな)画像にすると好適である。存在通知画像生成部157は、例えば、車載カメラ(不図示)の撮像画像を解析し、環境色に近い色成分を抽出し、抽出した色成分で存在通知画像を生成してよい。
表示の対象である物標は、歩行者などの「保護対象物」ないし「障害物」に該当するものに限らず、左折地点などの固定物標であってもよい。左折地点などの情報は、例えば、ナビゲーション装置(不図示)などから取得される。図8および図9は、固定物標に対する存在通知画像とAR画像をそれぞれ例示した図である。
図8に示す例では、車両Mの前方において、ナビゲーション装置が生成した経路によれば左折すべき地点が存在する。但し、左折する先の道路は、表示可能領域A1よりも前方に存在しており、直接的に左折先の道路を指し示すのは困難である。この場合、存在通知画像生成部157は、例えば、ナビゲーション装置が提供するナビ画像と同様の存在通知画像IM_WN2を生成する。
図9に示す例は、図8の場面から時間が経過した場面を示している。この時点において、左折先の道路は表示可能領域A1の側方まで到達している。この場合、存在通知画像生成部157は、例えば、路面上に矢印を重畳させて示し、左折すべきである旨の情報を付したAR画像IM_AR2を生成する。これによって、固定物標の接近および接近方向を直感的に運転者に伝えることができる。
なお、進入判定部156の処理を省略し、表示装置100は、全ての物標、あるいは進入判定部156とは異なる手法で絞り込まれた物標について、存在通知画像を表示してもよい。
存在通知画像生成部157は、物標が所定時間以内に空間領域内に進入する場合において、進入するまでの時間に応じて、存在通知画像IM_WNの表示態様を変更してもよい。進入するまでの時間は、相対速度ベクトルと、物標と路面領域RA1との距離とに基づいて計算される。図10は、存在通知画像の変化の一例を示す図である。図示するように、存在通知画像生成部157は、進入するまでの時間が短くなるのに応じて、存在通知画像IM_WNを、誘目性の高い画像に変更してもよい。より誘目性の高い画像とは、例えば、表示領域または表示要素(図形や文字)のサイズがより大きい、色彩が原色に近い、或いは意味表現が緊急性を感じさせる画像である。これによって、表示装置100は、物標の接近を更に直感的に運転者に伝えることができる。
図11は、表示制御装置150により実行される処理の流れの一例を示すフローチャートである。表示制御装置150は、物標情報取得装置210から物標に関する情報が取得されたか否かを判定する(ステップS100)。物標に関する情報が取得されていない場合、運転支援画像生成部153が、運転支援画像を生成して表示する(ステップS102)。
物標に関する情報が取得された場合、領域判定部154は、物標が運転者から見て、表示可能領域A1を通過した先の空間領域内にあるか否かを判定する(ステップS104)。空間領域内にあると判定された場合、AR画像生成部155が、当該物標に関するAR画像を生成して表示する(ステップS106)。このとき、運転支援画像も併せて表示されてよいし、表示されなくてもよい。
空間領域内にないと判定された場合、進入判定部156は、物標が所定時間以内に空間領域内に進入するか否かを判定する(ステップS108)。物標が所定時間以内に空間領域内に進入すると判定された場合、存在通知画像生成部157は、存在通知画像を生成して表示する(ステップS110)。このとき、運転支援画像も併せて表示されてよいし、表示されなくてもよい。物標が所定時間以内に空間領域内に進入しないと判定された場合、運転支援画像生成部153が、運転支援画像を生成して表示する(ステップS102)。
以上説明した実施形態の表示装置100によれば、物標が、車両の乗員(運転者)から見て表示可能領域A1を通過した先の空間領域内にあるか否かを判定し、空間領域内にある場合、AR画像を表示し、空間領域内に無い場合、存在通知画像を表示することで、AR表示の領域外の世界を好適にカバーすることができる。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
10…ステアリングホイール、20…フロントウインドシールド、30…インストルメントパネル、40…運転席、50−1…第1表示部、50−2…第2表示部、62…第2地図情報、100…表示装置、110…表示器、115…筐体、120…投光装置、120A…光源、120B…表示素子、122…光学機構、124…平面鏡、126…凹面鏡、128…透光カバー、130…操作スイッチ、132…メインスイッチ、134…調節スイッチ、136…調節スイッチ、150…表示制御装置、151…距離制御部、152…俯角制御部、153…運転支援画像生成部、154…領域判定部、155…AR画像生成部、156…進入判定部、157…存在通知画像生成部、162…レンズ位置センサ、164…凹面鏡角度センサ、170…光学系コントローラ、172…ディスプレイコントローラ、180…レンズアクチュエータ、182…凹面鏡アクチュエータ、200…車両制御装置、210…物標情報取得装置、A1…表示可能領域、IL…画像光、VI…虚像

Claims (8)

  1. 車両に搭載される表示装置であって、
    画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、
    前記車両の周辺に存在する物標の少なくとも位置を取得する物標情報取得装置と、
    前記画像生成装置を制御する制御装置とを、備え、
    前記制御装置は、前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、
    表示装置。
  2. 前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入するか否かを判定し、前記物標が所定時間以内または所定走行距離以内に前記空間領域に進入すると判定した場合に、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、
    請求項1記載の表示装置。
  3. 前記制御装置は、前記車両と前記物標との相対位置変化に基づいて、前記物標が前記投射領域において最初に現れる位置を推定し、前記推定した位置に、前記物標の存在を知らせる画像光が投射されるように、前記画像生成装置を制御する、
    請求項1または2記載の表示装置。
  4. 前記制御装置は、前記車両と前記物標との相対位置変化に基づいて計算される前記物標が前記空間領域に進入するまでの時間に基づいて、前記物標の存在を知らせる画像光の表示態様を変更するように前記画像生成装置を制御する、
    請求項1から3のうちいずれか1項記載の表示装置。
  5. 前記制御装置は、前記物標の存在を知らせる画像光を、前記物標の位置に重畳するように見える画像光に比して環境色に近い色の光とするように前記画像生成装置を制御する、
    請求項1から4のうちいずれか1項記載の表示装置。
  6. 前記画像生成装置は、
    画像を含む光を投射する投光装置と、
    前記光の経路上に設けられ、所定の位置から前記光が虚像として形成される位置までの距離を調節可能な光学機構と、
    前記光学機構を通過した光を反射体に向けて反射する凹面鏡と、
    前記光学機構における前記距離を調節する第1アクチュエータと、
    前記凹面鏡の反射角度を調節する第2アクチュエータと、
    を備える請求項1から5のうちいずれか1項記載の表示装置。
  7. 車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置が、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定し、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させ、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させる、
    表示制御方法。
  8. 車両に搭載され、画像を含む光である画像光を、フロントウインドシールドにおける投射領域に向けて投射する画像生成装置と、周辺に存在する物標の少なくとも位置を取得する物標情報取得装置とを備える表示装置の制御装置に、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にあるか否かを判定させ、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内にある場合、前記物標の位置に重畳するように見える画像光を前記画像生成装置に投射させることを行わせ、
    前記物標が、前記車両の乗員から見て前記投射領域を通過した先の空間領域内に無い場合、前記投射領域内において前記物標の存在を知らせる画像光を前記画像生成装置に投射させることを行わせる、
    プログラム。
JP2018148550A 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム Pending JP2020024561A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018148550A JP2020024561A (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム
US16/529,832 US20200047686A1 (en) 2018-08-07 2019-08-02 Display device, display control method, and storage medium
CN201910715954.3A CN110816409A (zh) 2018-08-07 2019-08-02 显示装置、显示控制方法及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018148550A JP2020024561A (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2020024561A true JP2020024561A (ja) 2020-02-13

Family

ID=69405429

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018148550A Pending JP2020024561A (ja) 2018-08-07 2018-08-07 表示装置、表示制御方法、およびプログラム

Country Status (3)

Country Link
US (1) US20200047686A1 (ja)
JP (1) JP2020024561A (ja)
CN (1) CN110816409A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7512961B2 (ja) * 2021-06-23 2024-07-09 トヨタ自動車株式会社 表示制御装置、表示方法及び表示プログラム
CN113655618A (zh) * 2021-08-04 2021-11-16 杭州炽云科技有限公司 一种基于双目视觉的arhud图像显示方法和装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015803A (ja) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd 車両用表示装置、および車両用表示装置を搭載した車両
JP2016062368A (ja) * 2014-09-18 2016-04-25 日本精機株式会社 車両用周辺情報表示システム及び表示装置
WO2016132618A1 (ja) * 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4062353B1 (ja) * 2006-11-10 2008-03-19 トヨタ自動車株式会社 障害物進路予測方法、装置、およびプログラム
US8344894B2 (en) * 2009-04-02 2013-01-01 GM Global Technology Operations LLC Driver drowsy alert on full-windshield head-up display
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
KR101824982B1 (ko) * 2015-10-07 2018-02-02 엘지전자 주식회사 차량 및 그 제어방법
WO2017134861A1 (ja) * 2016-02-05 2017-08-10 日立マクセル株式会社 ヘッドアップディスプレイ装置
US10551690B2 (en) * 2017-09-18 2020-02-04 E-Vision Smart Optics, Inc. Electro-active lens with resistive arcs
US10803743B2 (en) * 2018-05-02 2020-10-13 Lyft, Inc. Monitoring ambient light for object detection

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006015803A (ja) * 2004-06-30 2006-01-19 Nissan Motor Co Ltd 車両用表示装置、および車両用表示装置を搭載した車両
JP2016062368A (ja) * 2014-09-18 2016-04-25 日本精機株式会社 車両用周辺情報表示システム及び表示装置
WO2016132618A1 (ja) * 2015-02-18 2016-08-25 アルプス電気株式会社 情報表示装置
JP2017039373A (ja) * 2015-08-19 2017-02-23 トヨタ自動車株式会社 車両用映像表示システム

Also Published As

Publication number Publication date
US20200047686A1 (en) 2020-02-13
CN110816409A (zh) 2020-02-21

Similar Documents

Publication Publication Date Title
JP7121583B2 (ja) 表示装置、表示制御方法、およびプログラム
CN110955045B (zh) 显示装置、显示控制方法及存储介质
CN110955044B (zh) 显示装置、显示控制方法及存储介质
CN110967834A (zh) 显示装置、显示控制方法及存储介质
JP6734340B2 (ja) 表示装置、表示制御方法、およびプログラム
JP7310560B2 (ja) 表示制御装置及び表示制御プログラム
US10928632B2 (en) Display device, display control method, and storage medium
US20200047686A1 (en) Display device, display control method, and storage medium
CN110816266B (zh) 显示装置及显示控制方法
JP7165532B2 (ja) 表示装置、表示制御方法、およびプログラム
CN110816268B (zh) 显示装置、显示控制方法及存储介质
CN110816267B (zh) 显示装置、显示控制方法及存储介质
CN110816269B (zh) 显示装置、显示控制方法及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211223

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220412