JP2022095341A - 自動運転システム、自動運転車の制御方法 - Google Patents

自動運転システム、自動運転車の制御方法 Download PDF

Info

Publication number
JP2022095341A
JP2022095341A JP2020208612A JP2020208612A JP2022095341A JP 2022095341 A JP2022095341 A JP 2022095341A JP 2020208612 A JP2020208612 A JP 2020208612A JP 2020208612 A JP2020208612 A JP 2020208612A JP 2022095341 A JP2022095341 A JP 2022095341A
Authority
JP
Japan
Prior art keywords
operator
request
control
vehicle
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020208612A
Other languages
English (en)
Other versions
JP7363756B2 (ja
Inventor
和希 根本
Kazuki Nemoto
信 田中
Shin Tanaka
慧 中村
Kei Nakamura
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020208612A priority Critical patent/JP7363756B2/ja
Priority to US17/518,102 priority patent/US20220185335A1/en
Priority to CN202111528757.4A priority patent/CN114633763A/zh
Publication of JP2022095341A publication Critical patent/JP2022095341A/ja
Application granted granted Critical
Publication of JP7363756B2 publication Critical patent/JP7363756B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/087Interaction between the driver and the control system where the control system corrects or modifies a request from the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0059Estimation of the risk associated with autonomous or manual driving, e.g. situation too complex, sensor failure or driver incapacity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/007Emergency override
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/045Occupant permissions

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Human Computer Interaction (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】車両の走行を自動で制御する自律走行制御を行う自動運転システムであって、制御の設定変更や運転操作系の操作といった注意を要する操作が、自律走行制御を実行中に、自動運転車のオペレータ等の適格者以外のいたずらや誤りにより行われることを防止することが可能な自動運転システムを提案する。【解決手段】この自動運転システムは、制御装置と、要求入力装置と、を備える。制御装置は、自律走行制御を含む車両に係る一又は複数の制御を実行する。要求入力装置は、人が操作することにより制御装置に対して種々の要求を与える。制御装置は、自律走行制御を実行している場合、要求入力装置を操作する操作者が適格であるか否かを判定する処理を実行する。そして、操作者が適格である場合、要求を許可し、操作者が適格でない場合、要求を不許可とする。【選択図】図3

Description

本発明は、自動運転システムの安全技術に関する。
特許文献1には、誤操作による自動運転の終了を、自動運転のレベルに準じて防止する車両制御装置が提案されている。この車両制御装置は、自動運転を終了させるためのドライバーの操作又は操作に対する判定が、自動運転のレベルに準じて異なるように設定されている。
特表2019-155956号公報
車両の制御(自律走行制御の他、車両安全制御や車両安定制御等も含む)の設定変更を行うことは、車両の安全性に影響する。このため、設定変更の操作が行われたことは、自動運転車のオペレータ等の適格者により行われることが望ましい。また、自動運転車に備える運転操作系(ステアリングホイール、アクセルペダル、ブレーキペダル等)を操作することにより、手動で運転を行う操作も、オペレータ等の適格者により行われることが望ましい。
しかしながら、自動運転のレベルが上がるにつれて、自律走行制御を実行中、オペレータが設定変更を行うための装置や運転操作系を監視しなくなることが考えられる(例えば、レベル4以上の自動運転車等)。このため、オペレータ等の適格者ではない第三者が、いたずらや誤りにより、設定変更の操作や運転操作系を操作することに対する虞が大きい。これは、自律走行制御を実行中のオペレータの状況によっては、このような操作に対するオペレータの認知が遅れる、あるいは認知されないために、車両の安全性が保てなくなる虞があるからである。
一方で、自律走行制御を実行中であっても、オペレータ等の適格者は、制御の設定変更を行いたいと考える場合や、手動運転を行いたいと考える場合が想定される。また、オペレータ等の適格者にとっては、設定変更の操作や運転操作系の操作をより簡易に行うことができる形態であることが望ましい。このため、自律走行制御を実行中はあらゆる操作を受け付けなくすることや、操作を行うための手順や装置を複雑化することは望ましくない。
本発明は、上記の課題を鑑みてなされたもので、制御の設定変更や運転操作系の操作といった注意を要する操作が、自律走行制御を実行中に、自動運転車のオペレータ等の適格者以外のいたずらや誤りにより行われることを防止する自動運転システム、及び方法を提案することを目的とする。
本開示の一態様に係る自動運転システムは、車両の走行を自動で制御する自律走行制御を行う自動運転システムであって、制御装置と、要求入力装置と、を備える。制御装置は、自律走行制御を含む車両に係る一又は複数の制御を実行する。要求入力装置は、人が操作することにより制御装置に対して種々の要求を与える。
制御装置は、自律走行制御を実行している場合、要求入力装置を操作する操作者が適格者であるか否かを判定する操作者判定処理を実行する。そして、操作者が適格者である場合、要求を許可し、操作者が適格者でない場合、要求を不許可とする。
この自動運転システムは、さらに操作者を認識して操作者に関する情報である操作者情報を出力する操作者認識装置を備えていても良い。そして、制御装置は、操作者判定処理において、操作者情報に基づいて操作者が適格者であるか否かを判定しても良い。
この自動運転システムの制御装置は、車両に備えるセンサから取得する運転環境情報に基づいて、車両の安全性に係るリスクを示す安全リスクを算出する処理と、制御装置が実行する制御の信頼性を示すシステム自信度を算出する処理と、を実行しても良い。そして、制御装置は、安全リスクが所定のリスク閾値以上、かつシステム自信度が所定の第1閾値以上である場合、操作者が適格者であるか否かに関わらず要求を不許可としても良い。また、安全リスクが所定のリスク閾値以上、かつシステム自信度が所定の第2閾値未満である場合、操作者が適格者であるか否かに関わらず要求を許可しても良い。
本開示の一態様に係る制御方法は、自動運転車の制御方法であって、制御装置による自律走行制御の実行時に自動運転車の制御に関する要求が制御装置に与えられた場合、要求を与えた操作者が適格者であるか否かを判定し、操作者が適格者である場合、要求を許可し、操作者が適格者でない場合、要求を不許可とする自動運転車の制御方法である。
この制御方法は、自動運転車の運転環境を示す運転環境情報に基づいて、自動運転車の安全性に係るリスクを示す安全リスクと、制御装置が実行する制御の信頼性を示すシステム自信度と、を算出し、安全リスクが所定のリスク閾値以上、かつシステム自信度が所定の第1閾値以上である場合、操作者が適格者であるか否かに関わらず、要求を不許可としても良い。また、安全リスクが所定のリスク閾値以上、かつシステム自信度が第1閾値よりも小さく所定の第2閾値未満である場合、操作者が適格者であるか否かに関わらず、要求を許可しても良い。
本開示によれば、制御装置に対する要求を、自律走行制御を実行中でない場合、又は自律走行制御を実行中であっても操作者が適格者である場合に限り許可する。これにより、制御設定の変更や運転操作系の操作といった注意を要する操作が、自律走行制御を実行中に、自動運転車のオペレータ等の適格者以外のいたずらや誤りにより行われることを防止することができる。
さらに、安全リスク及びシステム自信度を算出し、安全リスクが所定のリスク閾値以上、かつシステム自信度が所定の第1閾値以上である場合は、操作者が適格者であるか否かに関わらず要求を不許可としても良い。これにより、安全性に係るリスクが一定程度高くなっている場合に、設定変更等の影響を受けることなく、信頼性の高い自動運転システムの制御に車両の運転等を委ねることができる。延いては、車両の安全性を高めることができる。
またさらに、安全リスクが所定のリスク閾値以上、かつシステム自信度が所定の第2閾値未満である場合は、操作者が適格者であるか否かに関わらず要求を許可しても良い。これにより、安全性に係るリスクが一定程度高くなっているにもかかわらず、自動運転システムの制御の信頼性が低い場合には、適格者以外であっても要求入力装置の操作を許可し、車両の運転等の判断を委ねることができる。
車両がHMI装置及び運転装置を備える場合の運転席付近の例を示す概念図である。 第1の実施の形態に係る運転システムの構成例を示すブロック図である。 第1の実施の形態に係る要求許可判定部の処理を示すフローチャートである。 第1の実施の形態の変形例に係る運転システムの構成例を示すブロック図である。 第2の実施の形態に係る運転システムの構成例を示すブロック図である。 第2の実施の形態に係る要求許可判定部の処理を示すフローチャートである。 第2の実施の形態に係る要求許可判定部の処理を示すフローチャートである。 図6及び図7に示す処理により実現される安全リスク及びシステム自信度に応じた要求の可否を示す概念図である。
以下、図面を参照して本発明の実施の形態について説明する。ただし、以下に示す実施の形態において各要素の個数、数量、量、範囲などの数に言及した場合、特に明示した場合や原理的に明らかにその数が特定される場合を除いて、その言及した数に、この発明が限定されるものではない。また、以下に示す実施の形態において説明する構造などは、特に明示した場合や明らかに原理的にそれに特定される場合を除いて、この発明に必ずしも必須のものではない。なお、各図中、同一又は相当する部分には同一の符号を付しており、その重複説明は適宜に簡略化ないし省略する。
1.概要
自律走行が可能な自動運転車は、普通、車両の状態情報(車速、加速度、ヨーレート等)や周辺環境(先行車両、周囲の物標、車線等)の情報等の運転環境情報を検出する複数のセンサと、自律走行制御を行う制御装置と、を備えている。制御装置は、典型的には、ECU(Electronic Control Unit)である。自律走行制御に係るECUは、運転環境情報に基づいて、自律走行制御に係る処理を実行する。そして、走行経路に沿って走行を行うための制御信号を、車両のアクチュエータに対して出力する。
自動運転車が備えるECUは、自律走行制御だけでなく、車両安全制御(衝突被害軽減ブレーキ、車線逸脱防止支援制御、踏み間違い防止制御、ブラインドスポットモニタ、その他の予防安全制御等)や車両安定制御(横すべり防止制御、トラクションコントロール等)等も実行する場合がある。ただし、それぞれの制御がいくつかの別個のECUにより実行される場合も含む。
自律走行制御を含むこれらの制御は、普通、設定変更が可能な項目を有している。例えば、それぞれの制御の作動感度や、それぞれの制御機能のオンオフ等である。このような設定変更は、典型的には、車両に備えるHMI(Human Machine Interface)装置を人が操作することにより行うことができる。制御の設定変更は、車両の安全性に影響するため、自動運転車のオペレータ等の適格者により認知されていることが望ましい。
また、自動運転車には、人が操作することで手動運転を行うことが可能な運転操作系(ステアリングホイール、アクセルペダル、ブレーキペダル等)が備えられる場合がある。運転操作系は、典型的には、運転席とする座席付近に備えられる。
図1は、自動運転車である車両が、HMI装置としてタッチパネルPNLを備え、運転操作系としてステアリングホイールSTRを備える場合の車両の運転席付近の例を示す概念図である。図1に示す例では、タッチパネルPNLを操作することで、制御の設定変更を行うことができる。また、ステアリングホイールSTRを操作することで、車両の操舵に係る運転操作を行うことができる。
このような運転席が、自家用車や公共バス等の、様々な形態及び目的の自動運転車に適用される場合が考えられる。一方で、自動運転のレベルが上がるにつれて、自動運転車のオペレータは、HMI装置や運転操作系を監視しなくなることが考えられる。さらには、オペレータが運転席から離れた位置にいることが考えられる。例えば、自家用車において、自律走行制御を実行中にオペレータが読書を行うような場合、公共バスにおいて、車内業務のため、自律走行制御を実行中にオペレータが運転席を離れる場合等である。
このため、オペレータ等の適格者ではない第三者のいたずらや誤りによるHMI装置や運転操作系の操作に対する虞が大きい。例えば、自家用車において、助手席に座る人が不意にHMI装置や運転操作系を操作する場合や、公共バスにおいて、乗客がいたずらでHMI装置や運転操作系を操作する場合である。この場合、オペレータの状況によっては、その操作への認知が遅れる、あるいは認知できずに、車両の安全性が保てなくなる虞がある。
一方で、自律走行制御を実行中であっても、オペレータは、制御の設定変更を行いたいと考える場合や、手動運転を行いたいと考える場合が想定される。例えば、走行経路上の周囲環境のために不必要に衝突被害軽減ブレーキが作動してしまう場合や、自分で運転を楽しみたいと考える場合である。
そこで、本実施の形態に係る自動運転システムは、自律走行制御を実行中は、HMI装置や運転操作系を操作する操作者が、オペレータ等の適格者であるか否かを判定する。そして、自律走行制御を実行中は、操作者が適格者である場合に限り、操作による制御装置に対する要求を許可する。これにより、制御の設定変更や運転操作系の操作といった注意を要する操作が、自律走行制御を実行中に車両のオペレータ等の適格者以外のいたずらや誤りにより行われることを防止する。
2.第1の実施の形態
2-1.構成
図2は、第1の実施の形態に係る自動運転システム100の構成例を示すブロック図である。自動運転システム100は、ECU10と、要求入力装置20と、認識カメラ30と、センサ40と、通信装置50と、アクチュエータ60と、を備えている。ECU10は、要求入力装置20、認識カメラ30、センサ40、通信装置50、及びアクチュエータ60と、電気的に又は無線で接続されており、情報を伝達することができるように構成されている。
要求入力装置20は、人(操作者PS)が操作することにより、ECU10に対して種々の要求を与える装置である。図1に示す構成例では、要求入力装置20として、HMI装置21と、運転操作系22が示されている。ただし、いずれか一方のみを要求入力装置20としても良いし、ECU10に対して要求を与えるその他の装置を要求入力装置20としても良い。
HMI装置21は、例えば、車両に備えるスイッチや、タッチパネル、カーナビゲーション等である。操作者PSは、HMI装置21を操作することにより、ECU10が実行する制御の設定変更を行うことができる。このとき、HMI装置21は、ECU10に対して設定変更要求を与える。設定変更要求は、設定変更を行う項目について要求する変更値を示す設定変更値を含んでいる。
運転操作系22は、例えば、車両に備えるステアリングホイール、アクセルペダル、ブレーキペダル等である。操作者PSは、運転操作系22を操作することにより、車両の運転操作を行うことができる。つまり、操作者PSは、運転操作系22を操作して手動運転を行うことができる。このとき、運転操作系22は、ECU10に対して運転要求を与える。運転要求は、運転操作系22の操作量(ステアリングホールの操舵角、アクセルペダルの踏込量等)を含んでいる。
認識カメラ30(操作者認識装置)は、操作者PSを撮像し、画像認識処理により操作者PSの顔や服装に関する情報を操作者情報として出力する。あるいは、操作者PSの顔や服装に関する情報から、さらに操作者PSが適格者であるか否かを判定する処理を実行し、適格者であるか否かについての情報を操作者情報として出力しても良い。この場合、認識カメラ30には、適格者であるか否かを判定するための基準(適格者の顔や服装のデータ等)があらかじめ与えられている。
認識カメラ30は、操作者PSに対する操作者情報を取得することができる程度に、操作者PSを撮像可能な位置に配置される。例えば、要求入力装置20の付近であって、操作者PSと対面するように配置する。あるいは、車両の天井に備えられ、車内全体を撮像することができるように配置する。なお認識カメラ30は、車両に複数備えられ、それぞれが異なる操作者情報を出力するように構成されていても良い。
センサ40は、運転環境情報を検出して出力する。センサ40は、例えば、車両の状態の情報を検出するものとして、車輪速センサ、Gセンサ、ヨーレートセンサ等である。車両の周辺環境の情報を検出するものとして、カメラ、レーダー、LIDAR(Light Detection and Ranging)等である。
通信装置50は、車両及び車両の外部と通信を行うことで情報(通信情報)を取得して出力する装置である。通信装置50は、例えば、GPS(Global Positioning System)装置である。通信情報は、例えば、地図情報及び地図上の車両の位置の情報である。
ECU10は、取得する情報に基づいて、車両の制御に係る種々の処理を実行し、制御信号を生成する。そして、制御信号をアクチュエータ60に対して出力する。操作者PSに情報を伝える目的で、HMI装置21に対して制御信号を出力しても良い。
ECU10は、典型的には、メモリと、プロセッサとを備えている。メモリは、データを一時的に記憶するRAM(Random Access Memory)と、プロセッサで実行可能な制御プログラムや制御プログラムに係る種々のデータを記憶するROM(Read Only Memory)と、を含んでいる。プロセッサは、メモリからプログラムを読み出し、メモリから読み出す種々のデータに基づいて、プログラムに従う処理を実行する。
ECU10は、要求許可判定部11と、制御部12と、を含んでいる。要求許可判定部11は、要求入力装置20からECU10に対して与えられる要求の可否を判定する処理を実行する。要求許可判定部11は、要求を許可すると判定する場合に、制御部12に対して要求を伝達する。要求許可判定部11が実行する処理の詳細については後述する。
制御部12は、自律走行制御を含む複数の制御に係る処理を実行し、制御信号を生成する。また制御部12は要求許可判定部11から伝達される要求に応じた処理を実行する。設定変更要求が伝達される場合、制御部12は、設定変更値となるように制御の設定変更を行う。より具体的には、プロセッサが、メモリに記憶する制御プログラムの制御の設定に係る値を変更する。運転要求が伝達される場合、制御部12は、自律走行制御をキャンセルし、操作量に応じた走行となるように制御信号を生成する。つまり、操作者PSによる手動運転が実現される。
制御部12は、要求許可判定部11に対して、自律走行制御を実行中である場合は1、自律走行制御を実行中でない場合は0となる自律走行制御実行フラグを出力する。これにより、要求許可判定部11は、制御部12が自律走行制御を実行しているか否かを判断することができる。
なお、要求許可判定部11と制御部12は、それぞれが制御プログラムにおける処理の部分として実現されていても良いし、それぞれが別個のプロセッサとして実現されていても良い。
あるいは、要求許可判定部11と制御部12はそれぞれ別個のECUにより構成されていても良い。さらに、制御部12が、複数の制御のそれぞれ又は一群の制御毎に別個のECUにより構成されていても良い。この場合、ECU10は、複数のECUにより構成される。このとき、それぞれのECUは、処理の実行に際して必要なデータを取得することができる程度に、互いに情報を伝達することができるように接続される。少なくとも、要求許可判定部11に係るECUは、制御部12を構成するそれぞれのECUに対して情報を伝達することができるように接続される。そして、要求許可判定部11が要求を許可する場合、その要求が対象とする制御に係るECUに対して、その要求を伝達する。また、自律走行制御に係るECUは、自律走行制御実行フラグを要求許可判定部11に対して伝達する。
アクチュエータ60は、機能に応じて種々のアクチュエータにより構成され、それぞれのアクチュエータが車両の適当な位置に配置される。アクチュエータ60は、ECU10から与えられる制御信号に従って動作する。これにより、ECU10による制御が実現される。
例えば、ECU10が、自律走行制御に係る処理を実行し、加速、減速、操舵に関する制御信号がアクチュエータ60に出力される。そして、制御信号に従ってアクチュエータ60が動作することにより、走行経路に沿うように車両の自律走行が行われる。
ECU10が、HMI装置21に対して制御信号を出力する場合、HMI装置21は、制御信号に従って動作する。例えば、ECU10が処理を実行し、要求が不許可となった場合や手動運転が開始された場合に、それらを通知する表示を行う制御信号をHMI装置21に出力する。そして、HMI装置21は、表示信号に従って表示を行うことで、操作者PSに情報を伝えることができる。その他、HMI装置21として車両にスピーカーが備えられ、ECU10が、音による通知を行う制御信号をスピーカーに対して出力しても良い。
2-2.要求許可判定部の処理
図3は、第1の実施の形態に係る要求許可判定部11の処理を示すフローチャートである。第1の実施の形態において、図3に示す処理は、操作者PSが要求入力装置20を操作し、ECU10に対して要求が与えられた時に実行が開始される。
ステップS100において、要求許可判定部11は、制御部12が自律走行制御を実行中であるか否かを判定する。これは、制御部12から取得する自律走行制御実行中フラグにより判定することができる。自律走行制御を実行中である場合(ステップS100;Yes)、処理はステップS110に進む。自律走行制御を実行中でない場合(ステップS100;No)、処理はステップS120に進み、要求を許可する。
ステップS110(操作者判定処理)において、要求許可判定部11は、操作者PSが適格者であるか否かを判定する。これは、認識カメラ30から取得する操作者情報に基づいて行われる。例えば、操作者情報として与えられる操作者PSの顔や服装の情報と、あらかじめ制御プログラムに与えられる適格者であるか否かを判定するための基準となるデータと、を照合することにより行う。あるいは、認識カメラ30から操作者情報として、操作者PSが適格者であるか否かについての情報が与えられ、その情報に従って判定する。操作者PSが適格者である場合(ステップS110;Yes)、処理はステップS120に進み、要求を許可する。操作者PSが適格者でない場合(ステップS110;No)、処理はステップS130に進み、要求は不許可となる。
要求を許可する場合(ステップS120)、要求許可判定部11は、制御部12に対して要求を伝達する。要求を不許可とする場合(ステップS130)、要求は制御部12に伝達されない。
以上説明した処理により、操作者PSによる要求入力装置20の操作に係る要求は、自律走行制御を実行中でない場合(手動運転を行っている場合)、又は自律走行制御を実行中であっても操作者PSが適格者である場合に限り許可される。これにより、制御設定の変更や運転操作系22の操作といった注意を要する操作が、自律走行制御を実行中に、適格者以外のいたずらや誤りにより行われることを防止することができる。
2-3.変形例
第1の実施の形態に係る自動運転システム100は、以下のように変形した態様を採用しても良い。
2-3-1.変形例1
操作者情報は、操作者PSが操作することで操作者PSの認証を行う認証装置により与えられていても良い。この場合、操作者認識装置として、認証装置が認識カメラ30の代替として備えられる。あるいは、認証装置が認識カメラ30に追加して備えられる。
認証装置は、例えば、カードリーダーや文字入力装置である。適格者である者が所持するカードや、適格者である者に知らされる暗号、合言葉等により操作者PSの認証を行う。この場合、操作者情報として、操作者PSが適格者であるか否かの情報が出力される。別の例として、認証装置は、指紋認証や顔認証等の操作者PSの生体情報により認証を行う装置であっても良い。この場合、操作者情報として、操作者PSの生体情報が出力される。あるいは、操作者PSの生体情報から、さらに操作者PSが適格者であるか否かを判定する処理を実行し、適格者であるか否かについての情報を操作者情報として出力しても良い。
操作者認識装置として認証装置が与えられる場合、認証装置による操作者PSの認証は、図3に示す要求許可判定部11の処理の実行開始前に行われても、実行開始後に行われても良い。実行開始前に行われる場合、操作者PSが認証装置による認証を行った後、処理の実行が開始され、要求が許可された場合(ステップS120)に、操作者PSは要求入力装置を操作する。あるいは、操作者PSが認証装置による認証を行った後、操作者PSは要求入力装置を操作し、その後処理の実行が開始され、要求の許可(ステップS120)又は不許可(ステップS130)が判定される。実行開始後に行われる場合、ステップS110の処理が実行される前、又は実行される時に、操作者PSは認証装置による認証を行い、ステップS110の処理が実行され、要求の許可(ステップS120)又は不許可(ステップS130)が判定される。
2-3-2.変形例2
ECU10は、要求許可判定部11において、図3に示す処理を所定の周期毎に実行し、要求を許可する場合(ステップS120)は、要求入力装置20を操作することができる状態とし、要求を不許可する場合(ステップS130)は、要求入力装置20を操作することができない状態とするように制御信号を生成して出力するように構成されていても良い。
図4は、第1の実施の形態の変形例2に係る自動運転システム100の構成例を示すブロック図である。ECU10は、要求許可判定部11の処理に応じて、要求入力装置20に対して制御信号を出力する。ECU10は、要求許可判定部11の処理により要求を許可する場合、要求入力装置20を操作することができる状態とする制御信号を出力する。要求許可判定部11の処理により要求を不許可とする場合、要求入力装置20を操作することができない状態とする制御信号を出力する。
例えば、HMI装置21がタッチパネルであるとき、要求を不許可とする場合、要求を入力するための表示が行われなくなるように制御信号を出力する。そして、要求を許可する場合、要求を入力するための表示が行われるように制御信号を出力する。運転操作系22に対しては、要求を不許可とする場合、運転操作系22を操作することができないように固定する制御信号を出力する。そして、要求を許可する場合、運転操作系22の固定を解除する制御信号を出力する。この場合、ECU10は、運転操作系22に備えるアクチュエータ60を介して運転操作系22を固定しても良い。
なお、変形例2に係る自動運転システム100においては、制御部12は、要求許可判定部11を介することなく、要求入力装置20から伝達される要求を取得することができても良い。
3.第2の実施の形態
第2の実施の形態に係る自動運転システム100は、ECU10が運転環境情報に基づいて、車両の安全性に係るリスクを示す安全リスクを算出する安全リスク算出処理と、ECU10が実行する制御の信頼性を示すシステム自信度を算出するシステム自信度算出処理と、を実行する。そして、要求許可判定部11は、さらに安全リスク及びシステム自信度を考慮して、要求の可否を判定する。以下、前述した内容において既に説明した事項については適宜省略し、第2の実施の形態に係る自動運転システム100について説明する。
3-1.構成
図5は、第2の実施の形態に係る自動運転システム100の構成例を示すブロック図である。自動運転システム100は、ECU10と、要求入力装置20と、認識カメラ30と、センサ40と、通信装置50と、アクチュエータ60と、を備えている。ECU10は、要求入力装置20、認識カメラ30、センサ40、通信装置50、及びアクチュエータ60と、電気的に又は無線で接続されており、情報を伝達することができるように構成されている。
要求入力装置20、認識カメラ30、センサ40、通信装置50、及びアクチュエータ60は、第1の実施の形態において説明したものと同等である。ECU10は、第1の実施の形態と比較して、さらに安全リスク算出部13及びシステム自信度算出部14を含んでいる。
安全リスク算出部13は、安全リスク算出処理を実行し、算出した安全リスクを出力する。安全リスクは、要求許可判定部11に伝達される。
安全リスクが示す車両の安全性に係るリスクは、例えば、車両の周囲の顕在物標との衝突可能性である。この場合、安全リスクは、衝突余裕時間(TTC;Time To Collision)や衝突回避に必要な減速度に基づいて算出される。つまり、TTCが短いほど、また減速度が大きいほど、大きな値となるように安全リスクが算出される。
システム自信度算出部14は、システム自信度算出処理を実行し、算出したシステム自信度を出力する。システム自信度は、要求許可判定部11に伝達される。
システム自信度は、例えば、制御に係る情報の正確さ、センサ40の動作状態、制御の作動状態、又は車両外部の環境等、あるいはこれらの組み合わせを指標として与えられる。
制御に係る情報の正確さを指標とする場合として、以下が例示される。画像認識処理により与えられる情報に関して、パターン認識のマッチングの度合いが高いほどシステム自信度を大きな値とする。車両が走行している区域の地図情報の精度が高いほどシステム自信度を大きな値とする。センサ40が検出する情報に外れ値が多く含まれるほど、システム自信度を小さな値とする。地図情報にあらかじめ与えられる情報(物体の位置、形状、又は色彩等)とセンサ40が検出する情報を比較し、情報の差異が大きいほど、システム自信度を小さな値とする。
センサ40の動作状態を指標とする場合として、以下が例示される。車両の周辺環境の情報を検出するセンサに関して、建物や障害物等によりセンサが検出可能な範囲が狭くなるほど、システム自信度を小さな値とする。
制御の作動状態を指標とする場合として、以下が例示される。制御に係る処理の実行時間が長くなるほど、システム自信度を小さな値とする。自律走行制御において、生成した走行経路と、実際に走行する経路との乖離が大きいほど、システム自信度を小さな値とする。
車両外部の環境を指標とする場合として、以下が例示される。雨や雪等の悪天候である場合、晴天などの場合と比較してシステム自信度を小さな値とする。舗装されていない路面や、ぬかるんだ路面等の走行が困難な道を走行している場合、舗装されている路面や乾いた路面を走行する場合と比較してシステム自信度を小さな値とする。車両周囲の物標が多くなるほど、システム自信度を小さな値とする。
なお、安全リスク算出部13及びシステム自信度算出部14は、制御プログラムにおける処理の部分として実現されていても良いし、プロセッサとして実現されていても良い。あるいは、ECUとして実現されていても良い。
3-2.要求許可判定部の処理
図6及び図7は、第2の実施の形態に係る要求許可判定部11の処理を示すフローチャートである。図6及び図7に示すAは、図6と図7の間で対応しており、図6及び図7は1つのフローチャートを示している。第2の実施の形態において、図6及び図7に示す処理は、操作者PSが要求入力装置20を操作し、ECU10に対して要求が与えられた時に実行が開始される。ステップS100、ステップS110、ステップS120、及びステップS130の処理は、第1の実施の形態において説明したものと同等である。
第2の実施の形態に係る要求許可判定部11の処理は、図3に示す第1の実施の形態に係る要求許可判定部11の処理と比較して、ステップS200、ステップS210、及びステップS220の処理が追加されている。ステップS200の処理は、ステップS100の処理において自律走行制御が実行中であると判定される場合(ステップS100;Yes)に実行される。
ステップS200において、要求許可判定部11は、安全リスクが所定のリスク閾値以上となるか否かを判定する。ここで、リスク閾値は、制御プログラムにあらかじめ与えられる値である。リスク閾値は、車両の安全性を確保するために、制御の作動を要する安全リスクの程度を示す。例えば、安全リスクが衝突可能性を示す場合、車両安全制御が作動しなければ、衝突回避が容易ではなくなる安全リスクの程度である。これは、典型的には、自動運転システム100を適用する車両の車両適合等を行うことにより、実験的に最適に与えられる。
安全リスクがリスク閾値以上となる場合(ステップS200;Yes)、処理はステップS210に進む。安全リスクがリスク閾値未満となる場合(ステップS200;No)、処理はステップS110に進み、操作者が適格者であるか否かによって要求の可否を判定する。
ステップS210において、要求許可判定部11は、システム自信度が所定の第1閾値以上となるか否かを判定する。ここで、第1閾値は、制御プログラムにあらかじめ与えられる値である。第1閾値は、車両の安全性に係る制御が、十分な性能を発揮することができるシステム自信度の程度を示す。これは、自動運転システム100を適用する車両の適合等を行うことにより、実験的に最適に与えられる。
システム自信度が第1閾値以上となる場合(ステップS210;Yes)、処理はステップS130に進み、要求を不許可とする。システム自信度が第1閾値未満となる場合(ステップS210;No)、処理はステップS220に進む。
ステップS220において、要求許可判定部11は、システム自信度が所定の第2閾値未満となるか否かを判定する。ここで、第2閾値は、制御プログラムにあらかじめ与えられる値である。第2閾値は、車両の安全性に係る制御が、十分な性能を発揮することができない虞のあるシステム自信度の程度を示す。これは、自動運転システム100を適用する車両の適合等を行うことにより、実験的に最適に与えられる。なお第2閾値は、第1閾値よりも小さな値となる。
システム自信度が第2閾値未満となる場合(ステップS220;Yes)、処理はステップS120に進み、要求を許可する。システム自信度が第2閾値以上となる場合(ステップS220;No)、処理はステップS110に進み、操作者が適格者であるか否かによって要求の可否を判定する。
以上説明した処理により、安全リスク及びシステム自信度を考慮して、要求の可否を判定する。図8は、第2の実施の形態に係る処理により実現される安全リスク及びシステム自信度に応じた要求の可否を示す概念図である。なお図8は、自律走行制御が実行中である場合を示している。
第2の実施の形態では、安全リスクがリスク閾値未満である場合は、第1の実施の形態と同様に、操作者が適格者である場合のみ要求が許可される。一方で、安全リスクがリスク閾値以上となる場合は、システム自信度に応じて要求の可否が判定される。図8に示すように、システム自信度が第1閾値以上となる場合、操作者が適格者であるか否かに関わらず要求は不許可となる。また、システム自信度が第1閾値未満かつ第2閾値以上となる場合、操作者が適格者である場合のみ要求が許可される。そして、システム自信度が第2閾値未満となる場合、操作者が適格者であるか否かに関わらず要求が許可される。
これにより、安全性に係るリスクが一定程度高くなり車両の制御を要する場合は、システム自信度に応じて要求の可否を判定することで、車両の安全性を高めることができる。つまり、システム自信度が一定程度高い場合は、設定変更等の影響を受けることなく、信頼性の高い自動運転システム100の制御に車両の運転等を委ねることができる。一方で、システム自信度が一定程度低くなっている場合は、適格者以外であっても要求入力装置の操作を許可し、車両の運転等の判断を委ねることができる。
3-3.変形例
第2の実施の形態に係る自動運転システム100は、以下のような変形した態様を採用しても良い。
3-3-1.変形例1
操作者情報は、操作者PSが操作することで操作者PSの認証を行う認証装置により与えられていても良い。認証装置は、第1の実施の形態の変形例1において説明したものと同等である。
3-3-2.変形例2
ECU10は、要求許可判定部11において、図6及び図7に示す処理を所定の周期毎に実行し、要求を許可する場合(ステップS120)は、要求入力装置20を操作することができる状態とし、要求を不許可とする場合(ステップS130)は、要求入力装置20を操作することができない状態とするように制御信号を生成して出力するように構成されていても良い。
4.効果
以上説明したように、本実施の形態に係る自動運転システム100は、ECU10に対する要求を、自律走行制御を実行中でない場合、又は自律走行制御を実行中であっても操作者が適格者である場合に限り許可する。これにより、制御設定の変更や運転操作系の操作といった注意を要する操作が、自律走行制御を実行中に、自動運転車のオペレータ等の適格者以外のいたずらや誤りにより行われることを防止することができる。
また、本実施の形態に係る自動運転システム100は、様々な形態及び目的の自動運転車に好適に実装することにより、上記の効果を得ることができる。例えば、車両が遠隔運転可能な自動運転車であって、HMI装置21及び運転操作系22が車両から距離を隔てた場所に位置する場合は、ECU10とHMI装置21及び運転操作系22との情報の伝達を無線で行うように構成することで、好適に実装することができる。
11 要求許可判定部
12 制御部
13 安全リスク算出部
20 要求入力装置
30 認識カメラ
40 センサ
50 通信装置
60 アクチュエータ
100 自動運転システム
PS 操作者

Claims (7)

  1. 車両の走行を自動で制御する自律走行制御を行う自動運転システムであって、
    前記自律走行制御を含む前記車両に係る一又は複数の制御を実行する制御装置と、
    人が操作することにより前記制御装置に対して種々の要求を与える要求入力装置と、
    を備え、
    前記制御装置は、
    前記自律走行制御を実行している場合、
    前記要求入力装置を操作する操作者が適格者であるか否かを判定する操作者判定処理を実行し、
    前記操作者が適格者である場合、
    前記要求を許可し、
    前記操作者が適格者でない場合、
    前記要求を不許可とする
    ことを特徴とする自動運転システム。
  2. 請求項1に記載の自動運転システムであって、
    前記操作者を認識して前記操作者に関する情報である操作者情報を出力する操作者認識装置を備え、
    前記制御装置は、前記操作者判定処理において、
    前記操作者情報に基づいて前記操作者が適格者であるか否かを判定する
    ことを特徴とする自動運転システム。
  3. 請求項1又は2に記載の自動運転システムであって、
    前記車両の運転環境を示す運転環境情報を取得するセンサを備え、
    前記制御装置は、
    前記運転環境情報に基づいて、
    前記車両の安全性に係るリスクを示す安全リスクを算出する処理と、
    前記制御装置が実行する制御の信頼性を示すシステム自信度を算出する処理と、
    を実行し、
    前記安全リスクが所定のリスク閾値以上、かつ前記システム自信度が所定の第1閾値以上である場合、
    前記操作者が適格者であるか否かに関わらず、前記要求を不許可とする
    ことを特徴とする自動運転システム。
  4. 請求項3に記載の自動運転システムであって、
    前記制御装置は、
    前記安全リスクが所定のリスク閾値以上、かつ前記システム自信度が前記第1閾値より小さい所定の第2閾値未満である場合、
    前記操作者が適格者であるか否かに関わらず、前記要求を許可する
    ことを特徴とする自動運転システム。
  5. 制御装置による自動運転車の制御方法であって、
    前記制御装置による自律走行制御の実行時に前記自動運転車の制御に関する要求が前記制御装置に与えられた場合、
    前記要求を与えた操作者が適格者であるか否かを判定し、
    前記操作者が適格者である場合、前記要求を許可し、前記操作者が適格者でない場合、前記要求を不許可とする
    ことを特徴とする自動運転車の制御方法。
  6. 請求項5に記載の自動運転車の制御方法であって、
    前記自動運転車の運転環境を示す運転環境情報に基づいて、前記自動運転車の安全性に係るリスクを示す安全リスクと、前記制御装置が実行する制御の信頼性を示すシステム自信度とを算出し、
    前記安全リスクが所定のリスク閾値以上、かつ前記システム自信度が所定の第1閾値以上である場合、前記操作者が適格者であるか否かに関わらず、前記要求を不許可とする
    ことを特徴とする自動運転車の制御方法。
  7. 請求項6に記載の自動運転車の制御方法であって、
    前記安全リスクが所定のリスク閾値以上、かつ前記システム自信度が前記第1閾値よりも小さい所定の第2閾値未満である場合、前記操作者が適格者であるか否かに関わらず、前記要求を許可する
    ことを特徴とする自動運転車の制御方法。
JP2020208612A 2020-12-16 2020-12-16 自動運転システム、自動運転車の制御方法 Active JP7363756B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020208612A JP7363756B2 (ja) 2020-12-16 2020-12-16 自動運転システム、自動運転車の制御方法
US17/518,102 US20220185335A1 (en) 2020-12-16 2021-11-03 Autonomous driving system and control method of autonomously driven vehicle
CN202111528757.4A CN114633763A (zh) 2020-12-16 2021-12-14 自动驾驶系统、自动驾驶车的控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020208612A JP7363756B2 (ja) 2020-12-16 2020-12-16 自動運転システム、自動運転車の制御方法

Publications (2)

Publication Number Publication Date
JP2022095341A true JP2022095341A (ja) 2022-06-28
JP7363756B2 JP7363756B2 (ja) 2023-10-18

Family

ID=81943125

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020208612A Active JP7363756B2 (ja) 2020-12-16 2020-12-16 自動運転システム、自動運転車の制御方法

Country Status (3)

Country Link
US (1) US20220185335A1 (ja)
JP (1) JP7363756B2 (ja)
CN (1) CN114633763A (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020602A1 (ja) * 2016-07-27 2018-02-01 三菱電機株式会社 車載装置、制御権管理方法及び制御権管理プログラム
JP2020158006A (ja) * 2019-03-27 2020-10-01 日産自動車株式会社 運転支援方法及び運転支援装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9365213B2 (en) * 2014-04-30 2016-06-14 Here Global B.V. Mode transition for an autonomous vehicle
US9834224B2 (en) * 2015-10-15 2017-12-05 International Business Machines Corporation Controlling driving modes of self-driving vehicles
US10037031B2 (en) * 2016-02-05 2018-07-31 Ford Global Technologies, Llc Vehicle operation states
US9989963B2 (en) * 2016-02-25 2018-06-05 Ford Global Technologies, Llc Autonomous confidence control
US10384683B2 (en) * 2017-03-23 2019-08-20 Ford Global Technologies, Llc Retractable vehicle control
US20190064800A1 (en) * 2017-08-28 2019-02-28 nuTonomy Inc. Mixed-mode driving of a vehicle having autonomous driving capabilities
US10838421B2 (en) * 2018-02-09 2020-11-17 Denso Corporation Autonomous drive system
WO2020205655A1 (en) * 2019-03-29 2020-10-08 Intel Corporation Autonomous vehicle system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018020602A1 (ja) * 2016-07-27 2018-02-01 三菱電機株式会社 車載装置、制御権管理方法及び制御権管理プログラム
JP2020158006A (ja) * 2019-03-27 2020-10-01 日産自動車株式会社 運転支援方法及び運転支援装置

Also Published As

Publication number Publication date
JP7363756B2 (ja) 2023-10-18
US20220185335A1 (en) 2022-06-16
CN114633763A (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
US11718313B2 (en) Autonomous driving system and control method of autonomous driving system
JP6917827B2 (ja) 車両制御装置、車両、車両制御方法およびプログラム
CN110001649B (zh) 车辆控制系统、车辆控制方法及存储介质
US20180074490A1 (en) Apparatus and method for vehicle remote controlling and remote driving system
US10689005B2 (en) Traveling assist device
US20150051780A1 (en) Driver assistance system and method for operating a driver assistance system
JP4775177B2 (ja) 走行制御装置
JP2011240816A (ja) 自律走行制御装置
KR102438336B1 (ko) 자동 주차 시스템 및 서버
KR20190040550A (ko) 차량에서의 장애물 검출장치 및 그 제어방법
CN112706759A (zh) 自动驻车系统
CN111824175A (zh) 车辆控制系统
JP2020021315A (ja) 車両制御装置
CN111746510B (zh) 车辆控制系统
JP7363756B2 (ja) 自動運転システム、自動運転車の制御方法
JP7521490B2 (ja) 情報処理サーバ、情報処理サーバの処理方法、プログラム
JP2020029140A (ja) 車両制御装置、車両制御方法及び車両制御システム
JP2008195231A (ja) 車両用不慣れ検出装置
US10633026B2 (en) Vehicle system and vehicle controller for controlling vehicle
US20240329970A1 (en) Control device and vehicle
JP7371647B2 (ja) 車両の制御装置、制御方法、制御プログラム
JP7540457B2 (ja) 移動体制御方法、移動体制御システム、及び移動体制御プログラム
JP2022075396A (ja) 管制装置、管制システム、管制装置の制御方法及びプログラム
KR20210114301A (ko) 차량의 도난 방지 시스템 및 방법
CN118234653A (zh) 用于对机动车辆进行至少部分自动化驾驶的方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220617

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230327

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230509

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230918

R151 Written notification of patent or utility model registration

Ref document number: 7363756

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151