JP2022521881A - 車両のアクションの予測を取得するためのシステムおよび対応する方法 - Google Patents
車両のアクションの予測を取得するためのシステムおよび対応する方法 Download PDFInfo
- Publication number
- JP2022521881A JP2022521881A JP2021538257A JP2021538257A JP2022521881A JP 2022521881 A JP2022521881 A JP 2022521881A JP 2021538257 A JP2021538257 A JP 2021538257A JP 2021538257 A JP2021538257 A JP 2021538257A JP 2022521881 A JP2022521881 A JP 2022521881A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- neural network
- time step
- action
- recurrent neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000009471 action Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims description 21
- 230000000007 visual effect Effects 0.000 claims abstract description 34
- 238000013528 artificial neural network Methods 0.000 claims abstract description 26
- 230000000306 recurrent effect Effects 0.000 claims abstract description 23
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims description 4
- 230000006870 function Effects 0.000 description 10
- 210000002569 neuron Anatomy 0.000 description 5
- 230000003542 behavioural effect Effects 0.000 description 3
- 230000011514 reflex Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 210000004205 output neuron Anatomy 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/0097—Predicting future conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/001—Planning or execution of driving tasks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0001—Details of the control system
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2710/00—Output or target parameters relating to a particular sub-units
- B60W2710/20—Steering systems
- B60W2710/207—Steering angle of wheels
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2720/00—Output or target parameters relating to overall vehicle dynamics
- B60W2720/12—Lateral speed
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Automation & Control Theory (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Steering Control In Accordance With Driving Conditions (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
車両によって観察された、特に車両の前方のシーンダイナミクスの一連のイメージを取得するためのカメラと、
上記車両によって観察された上記シーンダイナミクスの上記一連のイメージ中の、各時間ステップにおけるそれぞれの取得されたイメージについて、対応するビジュアル特徴ベクトルを取得するよう構成された畳み込みニューラルネットワークビジュアルエンコーダと、
同一の時間ステップにおける、車両の位置(st)を取得するよう構成された1または複数のセンサと、
上記時間ステップにおける、上記ビジュアル特徴ベクトルおよび車両の位置を受信して、車両のアクションの予測を生成するよう構成された再帰型ニューラルネットワーク、特にLSTMネットワークを含む。
再帰型ニューラルネットワークは、複数の再帰型ニューラルネットワーク分岐を有し、各分岐は、上記制御コマンドのセットにおける制御コマンドに対応し、
上記システムは、制御コマンドを受信すると、上記再帰型ニューラルネットワークの対応する分岐を選択するよう構成されたコマンド条件スイッチを備え、
よって、上記システムは、上記選択された対応する分岐を操作して、上記時間ステップにおける上記ビジュアル特徴ベクトルおよび車両の位置を処理し、車両のアクションの上記予測を取得するよう構成される。
Claims (11)
- 車両のアクションの予測を取得するためのシステムであって、
前記車両によって観察された、特に前記車両の前方のシーンダイナミクスの一連のイメージを取得するためのカメラと、
前記車両によって観察された前記シーンダイナミクスの前記一連のイメージにおける、各時間ステップにおけるそれぞれの取得されたイメージについて、対応するビジュアル特徴ベクトルを取得するよう構成された畳み込みニューラルネットワークビジュアルエンコーダと、
同一の時間ステップにおける前記車両の位置を取得するよう構成された1または複数のセンサと、
前記同一の時間ステップにおける、前記ビジュアル特徴ベクトルおよび前記車両の位置を受信して、前の隠れ状態を考慮して、前記車両の前記アクションの前記予測を生成するよう構成された再帰型ニューラルネットワーク、特に、LSTMネットワークと、を備え、
前記システムは、前記車両の操縦を表わす制御コマンドのセットを入力として受信するよう構成され、
前記再帰型ニューラルネットワークは、複数の再帰型ニューラルネットワークの分岐を有し、各分岐は、前記制御コマンドのセットにおける制御コマンドに対応し、
前記システムは、制御コマンドを受信すると、前記再帰型ニューラルネットワークの前記対応する分岐を選択するよう構成されたコマンド条件スイッチを備え、
よって、前記システムは、前記選択された対応する分岐を操作して、前記時間ステップにおける前記ビジュアル特徴ベクトルおよび前記車両の位置を処理して、前記車両の前記アクションの前記予測を取得するよう構成されている、システム。 - 前記再帰型ニューラルネットワークは、LSTMネットワークを含む、請求項1に記載のシステム。
- 前記畳み込みニューラルネットワークビジュアルエンコーダは、ダイレート全畳み込みニューラルネットワーク(dilated fully convolutional neural network)ビジュアルエンコーダである、請求項1に記載のシステム。
- 前記システムは、前記対応する分岐を操作して、前記車両の前記アクションの前記予測を、同一の特定の時間ステップにおける、前記取得されたイメージ、前記車両の位置および制御コマンドのマップとして取得するよう構成されている、請求項1に記載のシステム。
- 前記操縦は、前記車両のナビゲーションパスに含まれ、特にナビゲーションシステムによって提供される、請求項1に記載のシステム。
- 前記アクションは、ステアリング角および車両速度を含む、請求項1に記載のシステム。
- 前記システムは、前記車両の自律運転のためのシステムに含まれる、請求項1から6のいずれか一項に記載のシステム。
- 車両のアクションを予測する方法であって、
前記車両によって観察される、特に前記車両の前方のシーンダイナミクスの一連のイメージを取得する段階と、
畳み込みニューラルネットワーク、特にダイレート完全畳み込みニューラルネットワークビジュアルエンコーダを、対応する取得されたイメージに適用することで、各時間ステップにおけるビジュアル特徴ベクトルを取得する段階と、
同一の時間ステップにおける前記車両の位置を取得する段階と、
前記同一の時間ステップにおける、前記ビジュアル特徴ベクトルおよび前記車両の位置を、再帰型ニューラルネットワーク、特に、LSTMネットワークに供給する段階と、を備え、前記方法は、さらに、
前記車両の操縦を表わす制御コマンドのセットを判定する段階と、
前記再帰型ニューラルネットワークの複数の分岐を提供する段階であって、各分岐は、前記制御コマンドのセットにおける制御コマンドに対応する、段階と、
制御コマンドが発行されるとき、前記再帰型ニューラルネットワークの前記対応する分岐を選択し、且つ、前記時間ステップにおける前記ビジュアル特徴ベクトルおよび前記車両の位置を、前記対応する分岐に供給する段階と、
前記対応する分岐を操作して、前記車両の前記アクションの前記予測を取得する段階と、を備える、方法。 - 前記対応する分岐を操作して、前記車両の前記アクションの前記予測を取得する前記段階は、前記対応する分岐を操作して、同一の特定の時間ステップにおける、前記取得されたイメージ、前記車両の位置および制御コマンドのマップとして、前記車両の前記アクションの前記予測を取得する段階を含む、請求項8に記載の方法。
- 前記操縦は、前記車両のナビゲーションパスに含まれる、請求項8に記載の方法。
- 前記アクションは、ステアリング角および車両速度を含む、請求項8に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
IT102019000002853 | 2019-02-27 | ||
IT102019000002853A IT201900002853A1 (it) | 2019-02-27 | 2019-02-27 | "Sistema per ottenere la predizione di un’azione di un veicolo e procedimento corrispondente" |
PCT/IB2020/051422 WO2020174327A1 (en) | 2019-02-27 | 2020-02-20 | System for obtaining a prediction of an action of a vehicle and corresponding method |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022521881A true JP2022521881A (ja) | 2022-04-13 |
Family
ID=66589808
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021538257A Pending JP2022521881A (ja) | 2019-02-27 | 2020-02-20 | 車両のアクションの予測を取得するためのシステムおよび対応する方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11970175B2 (ja) |
EP (1) | EP3931058A1 (ja) |
JP (1) | JP2022521881A (ja) |
CN (1) | CN113382908A (ja) |
IT (1) | IT201900002853A1 (ja) |
WO (1) | WO2020174327A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20220331962A1 (en) * | 2019-09-15 | 2022-10-20 | Google Llc | Determining environment-conditioned action sequences for robotic tasks |
US20200324794A1 (en) * | 2020-06-25 | 2020-10-15 | Intel Corporation | Technology to apply driving norms for automated vehicle behavior prediction |
CN115826627A (zh) * | 2023-02-21 | 2023-03-21 | 白杨时代(北京)科技有限公司 | 一种编队指令的确定方法、系统、设备及存储介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220197A (ja) * | 2016-06-12 | 2017-12-14 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 車両制御方法と装置及び判断モジュールの獲得方法と装置 |
JP2018199473A (ja) * | 2017-05-30 | 2018-12-20 | 株式会社Soken | 操舵角決定装置、自動運転車 |
WO2019005547A1 (en) * | 2017-06-28 | 2019-01-03 | Panasonic Intellectual Property Corporation Of America | MOBILE BODY CONTROL APPARATUS, MOBILE BODY CONTROL METHOD, AND LEARNING METHOD |
JP2019028616A (ja) * | 2017-07-27 | 2019-02-21 | トヨタ自動車株式会社 | 識別装置 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE10322829A1 (de) * | 2003-05-19 | 2004-12-09 | Daimlerchrysler Ag | Steuerungssystem für ein Fahrzeug |
WO2010096783A1 (en) * | 2009-02-20 | 2010-08-26 | The Trustees Of Columbia University In The City Of New York | Dynamic contingency avoidance and mitigation system |
US8229866B2 (en) * | 2009-09-04 | 2012-07-24 | Alex Alaniz | Method and system for detecting correlation in data sets |
US20160202670A1 (en) * | 2015-01-08 | 2016-07-14 | Northwestern University | System and method for sequential action control for nonlinear systems |
DE102016220945A1 (de) * | 2015-11-06 | 2017-05-11 | Ford Global Technologies, Llc | Verfahren und Vorrichtung zum Unterstützen eines Manövriervorganges eines Kraftfahrzeuges |
US9760806B1 (en) | 2016-05-11 | 2017-09-12 | TCL Research America Inc. | Method and system for vision-centric deep-learning-based road situation analysis |
US10402687B2 (en) * | 2017-07-05 | 2019-09-03 | Perceptive Automata, Inc. | System and method of predicting human interaction with vehicles |
US10578456B2 (en) | 2018-03-28 | 2020-03-03 | Intel Corporation | Safety enhanced computer assisted driving method and apparatus |
-
2019
- 2019-02-27 IT IT102019000002853A patent/IT201900002853A1/it unknown
-
2020
- 2020-02-20 EP EP20707526.8A patent/EP3931058A1/en active Pending
- 2020-02-20 WO PCT/IB2020/051422 patent/WO2020174327A1/en unknown
- 2020-02-20 US US17/433,191 patent/US11970175B2/en active Active
- 2020-02-20 CN CN202080011839.9A patent/CN113382908A/zh active Pending
- 2020-02-20 JP JP2021538257A patent/JP2022521881A/ja active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017220197A (ja) * | 2016-06-12 | 2017-12-14 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 車両制御方法と装置及び判断モジュールの獲得方法と装置 |
JP2018199473A (ja) * | 2017-05-30 | 2018-12-20 | 株式会社Soken | 操舵角決定装置、自動運転車 |
WO2019005547A1 (en) * | 2017-06-28 | 2019-01-03 | Panasonic Intellectual Property Corporation Of America | MOBILE BODY CONTROL APPARATUS, MOBILE BODY CONTROL METHOD, AND LEARNING METHOD |
JP2019028616A (ja) * | 2017-07-27 | 2019-02-21 | トヨタ自動車株式会社 | 識別装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2020174327A1 (en) | 2020-09-03 |
US11970175B2 (en) | 2024-04-30 |
EP3931058A1 (en) | 2022-01-05 |
IT201900002853A1 (it) | 2020-08-27 |
US20220126844A1 (en) | 2022-04-28 |
CN113382908A (zh) | 2021-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Xiao et al. | Multimodal end-to-end autonomous driving | |
CN111137292B (zh) | 经执行器-评价网络架构学习车道变换策略的方法和系统 | |
US20180157972A1 (en) | Partially shared neural networks for multiple tasks | |
JP2022521881A (ja) | 車両のアクションの予測を取得するためのシステムおよび対応する方法 | |
US11636348B1 (en) | Adaptive training of neural network models at model deployment destinations | |
Wang et al. | End-to-end self-driving using deep neural networks with multi-auxiliary tasks | |
Shreyas et al. | Self-driving cars: An overview of various autonomous driving systems | |
EP3752955A1 (en) | Image segmentation | |
CN113409194B (zh) | 泊车信息获取方法及装置、泊车方法及装置 | |
Elkholy et al. | Path planning of a self driving vehicle using artificial intelligence techniques and machine vision | |
WO2020187625A1 (en) | Method for representing an environment of a mobile platform | |
Kim et al. | Multi-task learning with future states for vision-based autonomous driving | |
US20230154198A1 (en) | Computer-implemented method for multimodal egocentric future prediction | |
Forczmański et al. | Deep learning approach to detection of preceding vehicle in advanced driver assistance | |
CN115705717A (zh) | 预测载具的邻近区域的多个对象的特性的方法和系统 | |
GB2605636A (en) | A method for predicting at least one motion of at least one object in the surroundings of a motor vehicle as well as a corresponding detection system | |
Khosroshahi | Learning, classification and prediction of maneuvers of surround vehicles at intersections using lstms | |
Munger et al. | How many features is an image worth? multi-channel cnn for steering angle prediction in autonomous vehicles | |
Ferencz et al. | End-to-end autonomous vehicle lateral control with deep learning | |
Samal et al. | Machine Learning Components for Autonomous Navigation Systems | |
Zhang et al. | A single-pathway biomimetic model for potential collision prediction | |
López Campos et al. | Following and overtaking: a policy for autonomous car driving | |
US20230410469A1 (en) | Systems and methods for image classification using a neural network combined with a correlation structure | |
Kottath et al. | Independent Learning of Motion Parameters for Deep Visual Odometry | |
Supeno et al. | Deep Imitation Learning Behavior Fusion Algorithm for Visual Based Autonomous Driving Scenario |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231130 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240301 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240521 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240816 |