JP2022013827A - 支援システムのユーザを支援する方法、支援システム、およびそのようなシステムを備えた車両 - Google Patents
支援システムのユーザを支援する方法、支援システム、およびそのようなシステムを備えた車両 Download PDFInfo
- Publication number
- JP2022013827A JP2022013827A JP2021106853A JP2021106853A JP2022013827A JP 2022013827 A JP2022013827 A JP 2022013827A JP 2021106853 A JP2021106853 A JP 2021106853A JP 2021106853 A JP2021106853 A JP 2021106853A JP 2022013827 A JP2022013827 A JP 2022013827A
- Authority
- JP
- Japan
- Prior art keywords
- display
- determined
- environment
- displayed
- objects
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 239000013598 vector Substances 0.000 claims description 16
- 238000012545 processing Methods 0.000 claims description 11
- 238000010586 diagram Methods 0.000 description 4
- 230000007613 environmental effect Effects 0.000 description 4
- 239000003550 marker Substances 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002547 anomalous effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000001627 detrimental effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
- B60K35/22—Display screens
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
- B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/11—Instrument graphical user interfaces or menu aspects
- B60K2360/119—Icons
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/166—Navigation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/177—Augmented reality
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/16—Type of output information
- B60K2360/179—Distances to obstacles or vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/186—Displaying information according to relevancy
- B60K2360/1868—Displaying information according to relevancy according to driving situations
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/18—Information management
- B60K2360/191—Highlight information
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
- B60K2360/40—Hardware adaptations for dashboards or instruments
- B60K2360/48—Sensors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
- B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
- B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
- B60W2554/40—Dynamic objects, e.g. animals, windblown objects
Landscapes
- Engineering & Computer Science (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Chemical & Material Sciences (AREA)
- Combustion & Propulsion (AREA)
- Automation & Control Theory (AREA)
- Human Computer Interaction (AREA)
- Traffic Control Systems (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】支援システムと、ディスプレイ(1)の環境内にある1つまたは複数のオブジェクト(3、4、5)の表現を表示するディスプレイ(1)を含むそのような支援システムのユーザを支援する方法とを提供すること。【解決手段】第1のステップで、ディスプレイの環境についての情報が判定され(S1)、環境内のオブジェクトの存在が判定される(S2)。次いで、環境内で判定されたオブジェクト(3)の表現を含む環境の表現が生成される。判定されて表示されたオブジェクト(3’)のうち少なくとも1つについて、前記ディスプレイに対するオブジェクトの方向から、指示線(8)の開始点(7)が計算され(1;S5)、決定された開始点(7)ごとに、開始点(7)と現実世界のオブジェクトの表示された表現(3’)とを連結する指示線(8)が描かれる(S6)。【選択図】図1
Description
本発明は、支援システムのユーザが環境を知覚するのを支援する方法、およびそれぞれの支援システム、特に車両の先進運転者支援システムに関する。
交通参加者の安全性を向上させるために、過去何年かにわたり各種の支援システムが開発されている。それらのシステムは通常、システムの環境、例えば車両の環境、を物理的に感知するためのセンサを使用する。ユーザを支援するために、そのようなシステムは環境の表現を生成する。多くの場合、そのようなシステムは、その表現に基づいて挙動の提案を生成するように設計される。他の手法は、ユーザによる環境の知覚を向上させることのみを目的とする。それらのシステムは、ディスプレイの環境内で感知されるオブジェクトを表示することによって環境表現を表示し、ディスプレイは、ユーザによって保持されるか、またはユーザによって操作される車両に搭載される。しばしば、感知されたオブジェクトまたは関連する情報が、拡張現実ディスプレイを使用して表示される。そのような手法は、例えば、米国特許第9,690,104号またはEP 3570225 A1から知られている。
知られているシステムの問題の1つは、システムが完全に自動化された運転用に設計されていなければ、ユーザが依然として環境を自身で観察する必要があることである。レベル2の自動化システムであっても、運転者は依然として、異常な状況に備えて車両の周囲および状態を観察する必要がある。よって、ユーザがいずれにせよ環境内で知覚する必要のあるものに追加的な情報を追加することは、情報量の増大につながる。混雑した交通などの動的な環境に安全に関わるための正しい決定をするのに必要とされる環境の詳細を知覚することは、困難な作業である。よって、ユーザによって追加的に知覚される必要のある情報を単に追加することは、ユーザの注意散漫すら生じさせる可能性があり、よって、安全性を向上させるという要求される効果に対してむしろ害になり得る。
この問題は、運転者が現実世界をディスプレイ上の表現と必ず位置合わせする必要のある支援システムに限られないことが留意されるべきである。イベントナビゲーションシステムは、感知された外部情報を使用して現実感のある印象を強化することがあり、それが自動的に、運転者、またはそのようなシステムのユーザ一般が、現実世界のオブジェクトをディスプレイ上の対応する表現と同一視しようとすることにつながる。よって、本発明の目的は、支援システム内で使用される表現の中にアイコンとして含まれる、支援されるユーザの環境内にあるオブジェクト(現実世界のオブジェクト)同士の対応関係を示すことにより、ユーザの環境の知覚を軽減することである。
この目的は、本発明による方法、支援システム、およびそのような支援システムを含む対応する車両によって達成される。
本発明によれば、ディスプレイの環境内にあるオブジェクト(またはその画像)に対応する1つまたは複数のアイコンを表示するディスプレイを含む、支援システムのユーザを支援する方法は、初めにディスプレイの環境についての情報を取得し、ディスプレイの環境は、ディスプレイが車両に搭載されている場合には車両の環境である。環境内のオブジェクトの存在はセンサを使用して判定され、環境内で判定されたオブジェクトを含む環境の表現がディスプレイに表示される。そして、判定されて表示されたオブジェクトのうち少なくとも1つについて、ディスプレイに対するオブジェクトの方向から、指示線の開始点が決定される。最後に、決定された開始点ごとに、開始点と表示されたオブジェクトとを連結する指示線が表示される。本発明の支援システムは、ディスプレイと、それぞれのセンサと、上記で説明された方法ステップを実行するように構成された処理ユニットとを備える。
本発明の全般的な概念は、支援システムのユーザが、ディスプレイの環境内のオブジェクトを、ディスプレイ上のそれらオブジェクトの表現であるそれぞれのアイコン(画像)と容易に同一視することができるときに、ディスプレイに表示された環境についての情報を容易に認識するであろうというものである。その結果、環境を観察することから直接知覚した情報と、ディスプレイによって与えられる情報とを位置合わせするためにユーザによって必要とされる時間が短縮される。この結果、ユーザによる全体的な状況の理解が向上し、最終的には、ユーザが犯す誤りが減る。そのような支援システムが、例えばそのような支援システムが搭載された車両を操作するときに交通に参加する人を支援するのに専用である場合、これは向上した安全性につながる。
従属請求項は、この方法および支援システムの有利な実施形態を定める。
好ましい一実施形態によれば、開始点は、ディスプレイの外側縁部と、ディスプレイの基準点を通る垂直軸から延び、基準点から指示線が表示されるべき現実世界のオブジェクトの方を指す方向ベクトルを含む表面エリアとの間の交差点として計算される。開始点を特定して、上記で説明されたように指示線を表示すると、ユーザは、車両の環境内の現実世界にあるオブジェクトを、ディスプレイ上の対応するオブジェクト表現(アイコン、画像)と直感的に同一視することができる。開始点を非常に直感的な形でディスプレイの縁部に位置させることは、現実世界のオブジェクトをディスプレイ上の表現と組み合わせる。よって、ユーザが現実世界のオブジェクトを、ディスプレイ上の対応するアイコンまたは簡略化されたオブジェクト表現と同一視することが容易に可能となる。
支援システムの現実世界環境内のオブジェクトをディスプレイ上の表現されたオブジェクトと同一視することは、方向ベクトルが、ディスプレイ内の基準点から、判定されたオブジェクトの中心を指すように計算されるときにさらに向上される。
判定されて表示された少なくとも1つのオブジェクトについて、判定されたオブジェクトの知覚可能な水平方向の範囲に対応する指示バーがディスプレイの外側縁部に沿って表示され、指示バーが開始点を含む場合に、さらなる向上が達成される。これは、現実世界に複数のオブジェクトがあるために指示線自体が曖昧になり得る場合に特に有用である。指示バーは、現実世界内のオブジェクトの水平方向の寸法を直接認識することを可能にし、これは、支援システムのユーザに、現実世界のオブジェクトとディスプレイ上のその表現との間の対応関係についてのさらなる指示を与える。
好ましくは、指示バーは、ディスプレイの縁部と第1の境界表面エリアとの第1の交差点から、ディスプレイの縁部と第2の境界表面エリアとの第2の交差点まで延び、第1の境界表面エリアは、基準点を通る垂直軸から延び、基準点から水平方向における判定されたオブジェクトの第1の最も外側の知覚可能な境界の方を指す第1の方向ベクトルを含み、第2の境界表面エリアは、基準点を通る垂直軸から延び、基準点から、水平方向における判定されたオブジェクトの、反対側の第2の最も外側の知覚可能な境界の方を指す第2の方向ベクトルを含む。指示バーの端部は、開始点と同様にして決定される第1の交差点および第2の交差点によって定められるため、ディスプレイ上への現実世界のオブジェクトの投影のように、ユーザによって直感的に認識される。
有利な態様によれば、2つの判定されたオブジェクトの境界表面エリアが一致する場合、区別可能な特性を使用して、直に隣接する指示バーが表示される。よって、ディスプレイまたは支援システムの環境内のオブジェクトの1つが別のオブジェクトによって部分的に隠されており、両方のオブジェクトが表現内に表示されている場合でも、区別可能な特性を有する指示バーの配置により、どちらの指示バーがどちらの現実世界のオブジェクトに属しているのかを容易に判定することが可能となる。隠されたオブジェクトの水平方向の範囲は、隠しているオブジェクトの水平方向の範囲によって制限されると仮定されることが留意されるべきである。よって、必然的に、部分的に隠されたオブジェクトの場合は、一方のオブジェクトの最も右の表面エリアが他方のオブジェクトの最も左の表面エリアと一致するか、またはその逆となる。特性は、特に、指示バーの色、明るさ、またはパターンであってよい。
本発明による支援システムは、処理ユニットによって制御されるディスプレイを備え、処理ユニットは、センサによって感知されたディスプレイの環境に関する情報を取得し、環境内のオブジェクトの存在を判定し、ディスプレイに、環境内で判定されたオブジェクトを含む環境の表現を表示させ、判定されて表示されたオブジェクトのうち少なくとも1つについて、ディスプレイに対するオブジェクトの方向から指示線の開始点を決定し、ディスプレイに、決定された開始点ごとに、開始点とオブジェクトの表現とを連結する指示線を表示させるように構成される。
追加的に指示バーが表示される場合、処理ユニットは、ディスプレイに、判定されて表示された少なくとも1つのオブジェクトについて、判定されたオブジェクトの知覚可能な水平方向の範囲に対応する指示バーを、ディスプレイの外側縁部に沿って表示させるようにさらに構成され、指示バーは開始点を含む。
次いで、さらなる態様および詳細が添付図面を参照して説明される。
図1にディスプレイ1を示し、そこにはディスプレイ1の環境の表現が表示されている。ディスプレイ1の環境は、1つまたは複数のセンサによって感知される。それに基づいて、処理ユニットが、表示すべき表現をセンサ信号から計算する。通例、そのようなディスプレイ1は車両に搭載され、車両の運転者は、環境を知覚すること、よって、車両を安全に運転するために正しい決定を取ることを支援される。以下の説明では、ディスプレイ1は、そのような車両に搭載され、先進運転者支援システムの一部であるものとする。
そのようなディスプレイを含む運転者支援システムを備えた車両は当技術分野でよく知られているため、図面の簡素化のために、車両のディスプレイ1のみが示される。
本発明の方法および支援システムの機能を説明するために使用される図1に示される状況では、複数の車両がディスプレイ1の環境内で感知され得る。図1から、ディスプレイ1が搭載されている車両は、道路のある車線を走行しており、車線は左右の車線マーカ2で隣接車線から区切られていることが分かる。
右の隣接車線では、車両3が識別され、さらに車両3に後続するトラック5が識別され得る。加えて、自車線では、さらに他の車両4が先行車として走行している。センサによって感知され、すべてのセンサ信号を事後処理することによってセンサ信号から判定されるオブジェクトは、無論、車両に限られない。センサ信号から複数の種々のオブジェクトを識別することが可能な多くのシステムが市場で入手可能である。センサは、例えば、レーダセンサ、LIDARセンサ、超音波センサ等であってよい。そのため、それぞれのセンサから受信された信号中のオブジェクトの識別は当技術分野で知られており、その説明は簡潔性の理由から省略するものとする。
以降で与える説明は、自車両と同じ車線を走行している車両のみに決して制限しないようにするために、車両3を参照する。しかし、与えられる説明は、ディスプレイ1の環境内で判定され得るどのようなオブジェクトに対しても全く同様に有効である。特に、ここでは有利な態様が直ちに明らかになるため、以下の説明はすべて車両を参照することが留意されるべきである。交通参加者の環境内で動くオブジェクトを知覚することは、静的な要素の識別よりも困難である。それでも、本発明は、ディスプレイ1の環境内で判定され得るすべてのオブジェクトに適用可能である。
図1には示されないセンサが、車両の環境、よってディスプレイ1の環境を物理的に感知する。センサ出力から、プロセッサが、座標系内での判定されたオブジェクトの位置を計算し、この座標系はディスプレイ1に対して固定された関係を有する。ディスプレイ1およびセンサの互いとの固定された関係は、システムの設計から分かっている。よって、どの座標系内で環境内のオブジェクトの位置が計算されても、位置は、ディスプレイ1の座標系に変換され得る。これについては、図2および図3を参照して詳細に説明する。
センサ出力から、ディスプレイ1の環境の表現が計算される。センサ出力から判定され得るオブジェクトが、対応するアイコンとしてディスプレイ1に表示される。ディスプレイ1の解像度およびシステム全体の処理性能に応じて、アイコンの代わりに現実世界のオブジェクトを表す画像を使用することも可能である。図1に示される例では、車両3、4およびトラック5が、グレーの表面3’、4’、および5’として示されている。また、車線マーカ2’が示されて、自車両(および車両4も)が走行している車線を示している。自車両の位置は、自車両の走行方向を示すために矢印を含むさらなるアイコン6によって示される。
本発明によれば、支援システムのユーザは、ディスプレイ1の外側の現実世界で知覚可能なオブジェクトと、ディスプレイ1に表示されたそれらに対応するアイコンとの間の対応関係を識別するのを支援される。本例では、これは、車両3を例として参照しながら説明される。
センサ出力に基づき、開始点7がプロセッサ(図1には図示せず)によって計算される。開始点7は、ディスプレイ1の縁部10上に位置するように計算される。開始点7は、次いで、指示線8を描くことにより、現実世界のオブジェクト、すなわち車両3、に対応するアイコン3’と連結される。開始点7とアイコン3’との間の指示線8は、好ましくはその端部がアイコン3’のグレーエリアの内部で終わる矢印であることが好ましい。
以後でさらに説明されるように、ディスプレイ1の縁部10上の開始点7の位置は、指示線8が、現実世界の車両3から対応するアイコン3’への直接の連結に似るように決定される。上記で簡単に解説したように、ディスプレイ1に対する車両3の相対位置である、ディスプレイ装置1の座標系内での現実世界の車両3の位置は分かっている。
指示線8に加えて、好ましい実施形態では、指示バー9がディスプレイ1に表示される。指示バー9は、ディスプレイ1の外側縁部10に沿って延びる。ディスプレイ1の縁部10に沿った延びの長さは、この寸法が支援システムのユーザによって知覚可能であるため、対応する現実世界のオブジェクトの水平方向の寸法に対応する。これは、ディスプレイ1までの距離がより大きいオブジェクトには、短い指示バー9のみがディスプレイ1に表示されることを意味する。同じオブジェクトがディスプレイ1により近ければ、より長い延びを有する指示バー9によって表される。
ディスプレイ1に対する現実世界のオブジェクトの相対位置によっては、指示バー9は、例えば長方形形状を有し得るディスプレイ1の複数の縁部10にわたって延びることもある。図示される実施形態では、これは、トラック5を表す、ディスプレイ1の右上の隅にある指示バーによって見て取ることができる。しかし、以下の説明から明らかになるように、指示バー9の開始点7および終点を決定するすべての計算は、ディスプレイ1上の同じ基準点を参照する。この基準点は、アイコン6の中心であり、座標系のすべての軸が交差する点である。ディスプレイ1の座標系の絶対的向きは、次の2つの条件が満たされる限り、開始点7および指示バー9の計算には関係しない。
a)1つの軸は、その他の2つが水平面にわたるように、垂直方向に延びなければならない。
b)座標系の向きは静的である。
a)1つの軸は、その他の2つが水平面にわたるように、垂直方向に延びなければならない。
b)座標系の向きは静的である。
本発明の方法の第1の説明のために、次いで図2を参照する。上記で述べたように、説明は、センサによって感知される単一の環境オブジェクト、すなわち車両3、に限定される。無論、図2の表示される環境の表現は、アイコン3’および車線マーカ2’のみが示されるように適合される。
図2で見て取れるように、指示線8がアイコン3’の表面の真ん中まで延びることは絶対に必要という訳ではなく、ユーザがアイコン3’をそれぞれの現実世界の車両3と同一視できるようにするために、曖昧さなくアイコン3’の方を指していれば十分である。
ディスプレイ1が図2に示されるような画面を出力できるようになるには、ディスプレイ1の縁部10上の開始点7の位置を決定することが必要である。この手法は、図2の上部および図3の拡大部分を参照して説明される。
車両3は、自車両の環境内のオブジェクトが位置している方向を決定することを可能にする少なくとも1つのセンサを含む、本発明の支援システムを搭載している。位置の決定は、第1の座標系内で行われ得、これは、この場合には車両3の走行方向を向いている矢印によって示される。この座標系を基準として、角度αが決定される。一般に、ディスプレイ1の位置および向きと、車両3の位置を決定するために使用される座標系とは、固定された関係を有し、よって、ディスプレイ1の座標系内での車両3の位置は容易に判定することができる。本発明の理解のためには、センサの座標系とディスプレイ1の座標系とが一致すると仮定すれば十分である。この仮定は容易な理解のためにのみなされ、一般性を制限しないことが留意される。
上述したように、ディスプレイ1の座標系は、座標系の3つの軸すべてが、座標系の原点であるディスプレイ1上での自車両の位置に対応する基準点を通るように配置される。
ディスプレイ1に対して車両3がある方向が分かると、ディスプレイ1の基準点を通る垂直軸yから延び、車両3の方を指す方向ベクトルdを含む、表面エリアS0が決定される。
この表面エリアS0は、ディスプレイ1と交差し、よってディスプレイ1の1つの縁部10との交差点を有する。表面エリアS0が第2の交差点を有することを回避するために、表面エリアS0は、垂直軸yから、現実世界のオブジェクトである車両3の方を指す方向ベクトルdの方向のみに延びる。満たされなければならない唯一の要件は、ディスプレイ1と垂直軸yとが1点で交差することであり、これは、垂直軸がディスプレイ1の平面内に位置しないことを意味する。
アイコン3’の位置はあらかじめ分かっており、またこの時点ではディスプレイ1の縁部10上での開始点7の位置を判定しているので、指示線8を描くことができる。指示線8の第2の終点(矢印の端部)を選択するために、複数の異なる手法が可能である。第1に、指示線8が、開始点7とアイコン3’のエリアの中心とを連結することができる。第2に、指示線8が、表面エリアS0とディスプレイ1との交差線に沿って延びることができる。この交差線は、必ず、開始点7からディスプレイ1の座標系の原点に向かって延びる。支援システムのユーザが、自分自身の位置を、自車両を示すアイコン6と、よってディスプレイ1上の基準点の位置と直感的に同一視すると仮定すると、これは、現実世界のオブジェクトおよびディスプレイ1の環境をそれに対応するアイコンで容易に識別するための最も自然な手法を与える。しかし、指示線8の長さは、例えば他のオブジェクトを隠すことを回避するための設計上の考慮事項に基づいて選択されてよい。よって、指示線8は、アイコンの中心まで延びていても、またはアイコンエリアの境界の方を指しているだけでもよい。
方向ベクトルdを決定するために、よく知られている画像処理技術が適用されてよいことが留意されるべきである。例えば、センサから受け取ったデータから、環境表現内の現実世界のオブジェクトの画像の輪郭を生成することができ、その輪郭のエリアの中心にある座標を、方向ベクトルの端部として選択することができる。他の代替法も考えられ得る。
図4に、有利な実施形態が示される。指示線8に加えて、判定されて表示された各オブジェクト、例えば、ディスプレイ1上の環境の表現内に表示された車両3に対して、指示バー9が表示される。説明のために、指示線8ならびに開始点7を計算するために使用される表面エリアS0は、図面では省略している。
指示バー9の第1の終点および第2の終点を決定するために、第1の表面エリアSL、第2の表面エリアSRの交差点11、12が決定される。ディスプレイ1の縁部10との第1の表面エリアSLおよび第2の表面エリアSRの交差点11、12の計算は、図2および図3を参照して説明した開始点7の計算と同様である。ここでも、表面エリアSL、SRは、ディスプレイ1の座標系の垂直軸yおよび方向ベクトルdL、dRに基づいて決定される。このとき、方向ベクトルdL、dRは、ディスプレイ1の座標系の原点から、現実世界のオブジェクトの輪郭の最も左の点および最も右の点の方を指す。よって、その結果生じる指示バー9は、水平方向における現実世界のオブジェクトの範囲に対応する。
図5は、本発明の支援システム15の主要構成要素としてのディスプレイ1、1つまたは複数のセンサ13、およびプロセッサ14を有する簡略ブロック図を示す。支援システム15は、通常、車両に搭載され、そのような車両の他の支援システムから利用可能であるセンサ13は、種々の支援システムに対して共通に使用され得る。
センサ出力はプロセッサ14に供給され、プロセッサ14は、センサ信号に含まれる情報に基づいて、表現生成ユニット16で環境の表現を計算する。本発明によれば、センサ出力にも基づいて、表面計算ユニット17が、上記で説明したように1つまたは複数の表面エリアS0、SL、SRを計算し、それら表面に関する情報を開始点/終点計算ユニット18に供給する。
ユニット16、17および18は、ソフトウェアモジュールとして実現されてよく、ソフトウェアは同じプロセッサ14で処理されることが留意されるべきである。「プロセッサ」14は、組み合わされて一つの処理ユニットにされる複数の個々のプロセッサから成ってもよい。さらに、ディスプレイ1の座標系内でのディスプレイ1の座標は分かっており、支援システム15に記憶されている。よって、表面計算ユニット17で定義される表面エリアS0、SL、SRに基づいて、これら表面エリアS0、SL、SRとディスプレイ1の表面との間の交差(交差点ならびに交差線)を容易に計算することができる。本発明に関して与えられる説明が「ディスプレイ1」に言及するときは常に、ユーザが見ることのできるディスプレイ表面が意味され、ディスプレイ装置全体を意味するのではないことが留意されるべきである。
先にすでに説明したように、座標変換は、ディスプレイ1の環境がセンサ13によって感知された後に前処理ステップで行われてよい。そのような座標変換は、センサ13(よって現実世界にあるオブジェクトの相対位置の判定)のために使用される座標系と、ディスプレイ1の座標系とが同じでない場合にのみ必要である。センサ13の位置とディスプレイ1とが非常に近い場合は、同じ座標系が使用されてよく、座標の変換は不要になる。
図6は、上記で詳細に説明された本発明による主要な方法ステップを説明する簡略フローチャートを示す。
初めに、センサを使用して、ステップS1でディスプレイ1の環境が感知される。次に、ステップS2で、センサ出力から環境内のオブジェクトが判定される。ステップS3で、オブジェクトの中心の方を、または、例えば交通オブジェクの最も左および最も右の境界を識別する水平方向の極値の方を指す、方向ベクトルd、dL、dRが計算される。
ステップS4で、決定された方向ベクトルd、dL、dRの各々に対する表面エリアS0、SL、SRが決定される。これらの表面エリアは、次いで、ステップ5でディスプレイ1の外側縁部10上に位置する交差点を計算するために使用される。最後に、ステップS6で、計算された開始点7ごとに、指示線8が表示される。第1の終点と第2の終点との対がそれぞれの表面エリアSL、SRから計算される場合は、対応する指示バー9が表示される。
本発明によれば、ディスプレイ1のユーザが、現実世界のオブジェクトを、ディスプレイ1に表示された現実世界のオブジェクトの対応するアイコンまたは他の図示と同一視することが非常に容易である。よって、例えば動的な環境における交通状況をうまく、正確に推定するのにすべての関連する情報を検討するためにユーザによって必要とされる時間が大幅に短縮される。それにより、追加的な情報を提供することの好ましくない影響が回避される。
好ましい応用分野は、先進運転者支援システム、またはより一般的に、車両で使用される支援システムへの組み込みである。そのようなシステムは、車載の搭載センサおよびディスプレイを使用している可能性がある。しかし、スタンドアロンの解決法も考えられ得る。例えば、ナビゲーションに使用される手持ち型デバイスが、そのようなスタンドアロンデバイスでも本発明を利用できるようにそれぞれのセンサを備え得る。後者は、未知の目的地に向かってナビゲートしているときにモバイルデバイスを見がちな歩行者にとって安全性の大きな向上となり得る。本発明によれば、目の隅で知覚されるオブジェクトが、ディスプレイ上の対応するアイコンと容易に同一視され得る。現実世界にあるこの特定のオブジェクトに関する完全な情報を得るために見上げなくとも、歩行者は、少なくともそれぞれの現実世界のオブジェクトの関連性に関する基本的な推定をすることができる。
具体的には、指示線と指示バーとの組み合わせにより、現実世界のオブジェクトを一目で識別することが可能になる。詳細に説明したように、すべてがディスプレイ1の座標系の原点を通る、よってディスプレイ1の基準点を通る、表面エリアを計算すると、結果的に、指示バーを使用して「仮想世界」と「現実世界」との間の境界として直感的に知覚されるディスプレイ1の縁部にある現実世界のオブジェクトの寸法がスケーリングされる。
Claims (9)
- ディスプレイ(1)の環境内にある1つまたは複数のオブジェクト(3、4、5)の表現を表示する前記ディスプレイ(1)を含む支援システムのユーザを支援する方法であって、
- 前記ディスプレイの環境についての情報を取得する方法ステップ(S1)と、
- 前記環境内のオブジェクトの存在を判定する方法ステップ(S2)と、
- 前記環境内で判定された前記オブジェクト(3)を含む前記環境の表現を表示する方法ステップと、
- 前記判定されて表示されたオブジェクト(3’)のうち少なくとも1つについて、前記ディスプレイ(1)に対する前記オブジェクトの方向から、指示線(8)の開始点(7)を決定する方法ステップ(S5)と、
- 決定された開始点(7)ごとに、前記開始点(7)と現実世界のオブジェクトの前記表示された表現(3’)とを連結する前記指示線(8)を表示する方法ステップ(S6)と、を含む方法。 - 前記開始点(7)は、前記ディスプレイ(1)の外側縁部(10)と、前記ディスプレイ(1)の基準点を通る垂直軸yから延び、前記基準点から前記指示線(8)が表示されるべき前記オブジェクト(3)の方を指す方向ベクトルdを含む表面エリア(S0)との間の交差点として計算される、
請求項1に記載の方法。 - 前記方向ベクトルdは、前記ディスプレイ(1)内の前記基準点から前記判定されたオブジェクト(3)の中心を指すものとして計算される、
請求項2に記載の方法。 - 判定されて表示された少なくとも1つのオブジェクト(3’)について、前記判定されたオブジェクト(3)のスケーリングされた水平方向の範囲に対応する指示バー(9)が、前記ディスプレイ(1)の前記外側縁部(10)に沿って表示され、前記指示バー(9)は前記開始点(7)を含む、
請求項1から3のいずれか一項に記載の方法。 - 前記指示バー(9)は、前記ディスプレイ(1)の前記縁部(10)と第1の境界表面エリア(SL)との交差点(11)から、前記ディスプレイ(1)の前記縁部(10)と第2の境界表面エリア(SR)との交差点(12)まで延び、前記第1の境界表面エリアSLは、基準点を通る垂直軸yから延び、前記基準点から前記水平方向における前記判定されたオブジェクト(3)の第1の最も外側の知覚可能な境界の方を指す方向ベクトルdLを含み、前記第2の境界表面エリア(SR)は、前記基準点を通る前記垂直軸から延び、前記基準点から、前記水平方向における前記判定されたオブジェクトの、反対側の第2の最も外側の知覚可能な境界の方を指す方向ベクトルを含む、
請求項4に記載の方法。 - 2つの判定されたオブジェクトの境界表面エリアSL、Srが一致する場合、区別可能な特性を使用して、直に隣接する指示バー(9)が表示される、
請求項5に記載の方法。 - 処理ユニット(14)によって制御されるディスプレイ(1)を備えた支援システムであって、前記処理ユニット(14)は、前記ディスプレイ(1)の環境に関する情報を取得し、前記環境内のオブジェクト(3、4、5)の存在を判定し、前記ディスプレイ(1)に、前記環境内で判定されたオブジェクト(2、3、4、5)を含む前記環境の表現を表示させ、前記判定されて表示されたオブジェクト(3’)のうち少なくとも1つについて、前記ディスプレイ(1)に対する前記オブジェクト(3)の方向から、指示線(8)の開始点(7)を決定し、前記ディスプレイ(1)に、決定された開始点(7)ごとに、前記開始点(7)と前記オブジェクト(3’)の前記表示された表現(3’)とを連結する前記指示線(8)を表示させるように構成される、支援システム。
- 前記処理ユニットが、前記ディスプレイ(1)に、判定されて表示された少なくとも1つのオブジェクト(3)について、前記判定されたオブジェクト(3)の知覚可能な水平方向の範囲に対応する指示バー(9)を、前記ディスプレイ(1)の外側縁部(10)に沿って表示させるようにさらに構成され、前記指示バー(9)が前記開始点(7)を含む、請求項7に記載の支援システム。
- 請求項7または8に記載の支援システム(15)を備えた車両。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP20183897.6 | 2020-07-03 | ||
EP20183897.6A EP3932719B1 (en) | 2020-07-03 | 2020-07-03 | Method for assisting a user of an assistance system, assistance system and vehicle comprising such a system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022013827A true JP2022013827A (ja) | 2022-01-18 |
Family
ID=71514929
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021106853A Pending JP2022013827A (ja) | 2020-07-03 | 2021-06-28 | 支援システムのユーザを支援する方法、支援システム、およびそのようなシステムを備えた車両 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20220001889A1 (ja) |
EP (1) | EP3932719B1 (ja) |
JP (1) | JP2022013827A (ja) |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
NZ514119A (en) * | 2001-09-11 | 2004-06-25 | Deep Video Imaging Ltd | Improvement to instrumentation |
JP2015172548A (ja) * | 2014-03-12 | 2015-10-01 | パイオニア株式会社 | 表示制御装置、制御方法、プログラム、及び記憶媒体 |
US9690104B2 (en) | 2014-12-08 | 2017-06-27 | Hyundai Motor Company | Augmented reality HUD display method and device for vehicle |
CA2999961C (en) * | 2015-09-28 | 2018-09-18 | Nissan Motor Co., Ltd. | Vehicular display device and vehicular display method |
KR102581359B1 (ko) * | 2016-09-02 | 2023-09-20 | 엘지전자 주식회사 | 차량용 사용자 인터페이스 장치 및 차량 |
DE102016225346A1 (de) * | 2016-12-16 | 2018-06-21 | Robert Bosch Gmbh | Verfahren zum Ermitteln eines Anzeigebereichs mindestens eines Elements auf einer Anzeigevorrichtung |
JP6500887B2 (ja) * | 2016-12-26 | 2019-04-17 | トヨタ自動車株式会社 | 車両用注意喚起装置 |
JP6909151B2 (ja) * | 2017-12-28 | 2021-07-28 | アルパイン株式会社 | 車載システム |
DE102018207440A1 (de) | 2018-05-14 | 2019-11-14 | Volkswagen Aktiengesellschaft | Verfahren zur Berechnung einer "augmented reality"-Einblendung für die Darstellung einer Navigationsroute auf einer AR-Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm |
-
2020
- 2020-07-03 EP EP20183897.6A patent/EP3932719B1/en active Active
-
2021
- 2021-06-28 JP JP2021106853A patent/JP2022013827A/ja active Pending
- 2021-07-01 US US17/365,983 patent/US20220001889A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
EP3932719B1 (en) | 2024-04-24 |
US20220001889A1 (en) | 2022-01-06 |
EP3932719A1 (en) | 2022-01-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10029700B2 (en) | Infotainment system with head-up display for symbol projection | |
US6411898B2 (en) | Navigation device | |
JP6775188B2 (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
US20120224060A1 (en) | Reducing Driver Distraction Using a Heads-Up Display | |
EP2511137A1 (en) | Vehicle Surround View System | |
CN109367536B (zh) | 用于道路车辆驾驶员辅助的设备及方法 | |
RU2677999C1 (ru) | Устройство отображения транспортного средства | |
US20120249794A1 (en) | Image display system | |
JP6459205B2 (ja) | 車両用表示システム | |
CN210139859U (zh) | 汽车碰撞预警系统、导航系统及汽车 | |
CN102782739A (zh) | 能光学地显示出所检测到的物体的驾驶员辅助设备 | |
KR102531888B1 (ko) | 자동차에서 디스플레이 장치를 작동하기 위한 방법 | |
CN111094898B (zh) | 控制机动车辆增强现实抬头显示设备的显示的方法和设备 | |
JP2007315861A (ja) | 車両用画像処理装置 | |
CN114503008A (zh) | 车辆驾驶辅助的方法和系统 | |
JP6328366B2 (ja) | ヘッドアップディスプレイの表示制御装置および表示制御方法 | |
JP3557642B2 (ja) | ナビゲーション装置 | |
JP6448806B2 (ja) | 表示制御装置、表示装置及び表示制御方法 | |
JP2022013827A (ja) | 支援システムのユーザを支援する方法、支援システム、およびそのようなシステムを備えた車両 | |
JP4468076B2 (ja) | 地図表示装置 | |
JP6597128B2 (ja) | 車両用表示装置 | |
CN114901506A (zh) | 用于通过抬头显示器显示系统来显示对象的方法以及抬头显示器显示系统 | |
JP2018158664A (ja) | 運転支援装置、運転支援方法およびプログラム | |
JP3428194B2 (ja) | 車両用経路誘導装置 | |
CN113954856B (zh) | 一种自动驾驶信息显示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240306 |