JP2021037955A - 車両制御装置および車両制御システム - Google Patents

車両制御装置および車両制御システム Download PDF

Info

Publication number
JP2021037955A
JP2021037955A JP2020196571A JP2020196571A JP2021037955A JP 2021037955 A JP2021037955 A JP 2021037955A JP 2020196571 A JP2020196571 A JP 2020196571A JP 2020196571 A JP2020196571 A JP 2020196571A JP 2021037955 A JP2021037955 A JP 2021037955A
Authority
JP
Japan
Prior art keywords
information
vehicle
relative
control
abnormality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020196571A
Other languages
English (en)
Other versions
JP7187521B2 (ja
JP2021037955A5 (ja
Inventor
敏史 大塚
Toshifumi Otsuka
敏史 大塚
櫻井 康平
Kohei Sakurai
康平 櫻井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Automotive Systems Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Automotive Systems Ltd filed Critical Hitachi Automotive Systems Ltd
Priority to JP2020196571A priority Critical patent/JP7187521B2/ja
Publication of JP2021037955A publication Critical patent/JP2021037955A/ja
Publication of JP2021037955A5 publication Critical patent/JP2021037955A5/ja
Application granted granted Critical
Publication of JP7187521B2 publication Critical patent/JP7187521B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】自動運転システムを有効活用しつつも、自動運転システムの信頼性を異なる制御システムによって良好に補完できるシステムを提供すること。【解決手段】自動運転制御情報に基づいて生成される第一の制御信号と自車と周辺物体との相対情報に基づいて生成される第二の制御信号との何れか一方を駆動装置に出力し、前記自動運転制御情報に異常が検出された場合には、前記第一の制御信号に代えて、前記第二の制御信号を前記駆動装置に出力する【選択図】 図1

Description

本発明は、車両制御装置および車両制御システムに関する
本技術分野の背景技術として、特開平8−34326号公報(特許文献1)がある。この公報には、「操作緊急度を評価し適切な自動ブレーキの制御を行う。」ことを目的とし、解決手段として、「本装置では、車速、相対速度、車間距離等から物理的な衝突危険度を算出する(S2)。そして、アクセルからブレーキへの踏み替え時間や、ブレーキの所定の強さまでの踏み込みに要する時間や、ステアリングの操作スピード等から操作緊急度を演算する(S3)。そして、衝突危険度が所定以上であり、操作緊急度が所定以上であった場合に自動ブレーキを作動させる(S8)。従って、単なる衝突危険度の判断による自動ブレーキの作動に比べ、運転者の運転状況に応じた判断が加わるためより精度の良い危険状態の判定を行うことができ、効果的な自動ブレーキの作動制御を行うことができる。」と記載されている。
また別の背景技術として、特開2014−191597号公報(特許文献2)がある。この公報には、「運転支援の誤作動を防ぎつつ、運転支援をより適切なタイミングで開始させる。」ことを課題とし、解決手段として、「運転支援装置は、カメラやレーダにより自車両前方の歩行者や他の車両等の対象物の位置を検出すると共に、ヨーレート或いは舵角と車速とに基づき自車両の進路を予測する。そして、対象物の位置と予測進路とに基づき自車両と対象物との衝突危険性を判定し、衝突危険性が高い場合には衝突回避のための運転支援を行
う。また、運転支援装置は、走行予定道路の曲率を測定し、該曲率の変化が小さく、正確な進路予測が可能な場合には、衝突危険性の判定感度を高くして運転支援が開始され易くし(S120)、該曲率の変化が大きく、正確な進路予測が困難な場合には、衝突危険性の判定感度を低くして運転支援が開始され難くする(S115)。」と記載されている。
特開平8−34326号公報 特開2014−191597号公報
特許文献2に関連し、近年、外界認識情報や自己位置情報を基に、自車両の将来の位置を表わす軌道(自動運転制御情報)を生成し、この軌道に基づいて車両を制御する自動運転システムが提案されている。また、特許文献1に関し外界認識情報を基に、周囲の物体との相対的な情報を算出し、ユーザをアシストする自動制御システムがある。
自動運転システムは、実現できる車両挙動の幅は大きい(自由度が高い)が、種々の情報に基づいて軌道を生成するものであるため、自動制御システムに比べると信頼性を向上させるのが困難となりがちである。他方、自動制御システムは、実現できる車両挙動の幅は小さい(自由度は低い)が、情報量が少ない分、信頼性を高めやすい。しかしながら、これらのシステムは、単独で用いる発明については種々検討されているが、相互に補完するシステムについては検討の余地が残されている。
そこで、本発明は、自動運転システムを有効活用しつつも、自動運転システムの信頼性を自動制御システムによって良好に補完できるシステムを提供することを目的とする。
上記課題を解決するために、本発明の一実施の態様は、例えば特許請求の範囲に記載されている技術的思想を用いればよい。
本発明によれば、自動運転システムを有効活用しつつも、自動運転システムの信頼性を自動制御システムによって良好に補完することが可能となる。
車両制御システムにおける異常検出時の切り替え処理を表すフローチャートである。 システムの例である。 車両制御システム構成の例である。 コントローラの構成例である。 コントローラのソフトウェアモジュール構成の例である。 車両制御システムの構成例である。 車両制御システム機能の配置例である。 外界認識の例である。 外界認識マップの座標系の例である。 外界認識マップにオブジェクトを配置した例である。 外界認識マップのリスト型の例である。 外界認識マップ情報を基にした軌道生成の例である。 相対位置情報の例である。 相対位置情報(リスト型)の例である。 自動運転制御情報と相対情報による判定の例である 本発明の第3の実施例にかかる自動運転制御情報と相対情報の例である 本発明の第4の実施例にかかる車両制御システム構成の例である。 本発明の第4の実施例にかかる異常検出時の切り替え処理を表すフローチャートである。 ユーザによる切り替え処理を表すフローチャートである。
以下、本発明に好適な実施形態の例(実施例)を説明する。なお、実施例は、主には車両システムにおける車両制御システム、および車両制御装置について説明しており、車両システムにおける実施に好適であるが、車両システム以外への適用を妨げるものではない。
<車両制御システムの構成>
図2は本実施例の車両制御システムおよび車両制御装置を有する車両システムの概要である。1は自動車など内部に車両制御システムを有する車両システム、2は例えば車載ネットワーク(CAN:Controller Area Network、CANFD:CAN with Flexible Data−rate、Ethernet(登録商標)、等)とコントローラ(ECU:Electronic Control Unit等)により構成される車両制御システム、3は、車両システム1の外部と無線通信(例えば携帯電話の通信、無線LAN、WAN、C2X(Car to X:車両対車両または車両対インフラ通信)等のプロトコルを使用した通信、またはGPS:Global Positioning Systemを用いた通信)を行い、外界(インフラ、他車、地図)の情報または自車に関する情報を取得・送信などの無線通信を実施、または診断端子(OBD)やEthernet端子、外部記録媒体(例えばUSBメモリ、SDカード、等)端子などを有し、車両制御システム2と通信を実施する通信装置である。4は、例えば2と異なる、または、同一のプロトコルを用いたネットワークにより構成される車両制御システム、5は、車両制御システム2の制御に従い、車両運動を制御する機械および電気装置(例えばエンジン、トランスミッション、ホイール、ブレーキ、操舵装置等)の駆動を行うアクチュエータ等の駆動装置、6は、外界から入力される情報を取得し、後述する外界認識情報を生成するための情報を出力する、カメラ、レーダ、LIDAR、超音波センサなどの外界センサ、および、車両システム1の状態(運動状態、位置情報、加速度、車輪速度等)を認識する力学系センサにより構成される認識装置である。7は、ネットワークシステムに有線または無線で接続され、ネットワークシステムから送出されるデータを受信し、メッセージ情報(例えば映像、音)など必要な情報を表示または出力する、液晶ディスプレイ、警告灯、スピーカなどの出力装置、8は、ユーザが車両制御システム2に対して、操作の意図や指示を入力する入力信号を生成するための、例えばステアリング、ペダル、ボタン、レバー、タッチパネル、等の入力装置である。そして、9は、車両システム1が外界に対して、車両の状態等を通知するための、ランプ、LED、スピーカ等の通知装置、を示している。
車両制御システム2は、その他の車両制御システム4、通信装置3、駆動装置5、認識装置6、出力装置7、入力装置8、通知装置9と接続され、それぞれ情報の送受信を行う。
図3は、車両制御システム2のH/W(Hardware)構成例を示している。301は車載ネットワーク上のネットワーク装置を接続するネットワークリンクであり、例えばCANバスなどのネットワークリンク、302はネットワークリンク301および駆動装置5や認識装置6や301以外のネットワークリンク(専用線含む)に接続され、駆動装置5や認識装置6の制御および情報取得、ネットワークとのデータ送受信を行うECU(Electronic Control Unit:電子制御ユニット)、303は複数のネットワークリンク301を接続し、それぞれのネットワークリンク301とデータの送受信を行うゲートウェイ(以下GW)、を示している。
ネットワークトポロジの例は、図3に示す2つのバス(ネットワークリンク301)に複数のECU302が接続されているバス型の例以外にも、複数のECUが直接GWに接続されるスター型や、ECUが一連のリンクにリング状に接続されているリンク型、それぞれの型が混在し複数のネットワークにより構成される混在型、等がある。GW303とECU302については、それぞれGW機能を有するECU、または、ECUの機能を有するGWと、がある。
ECU302はネットワークから受信したデータをもとに、駆動装置5への制御信号の出力、認識装置6からの情報の取得、ネットワークへの制御信号および情報の出力、内部状態の変更、などの制御処理を行う。
図4は、本実施例にかかるネットワーク装置であるECU302またはGW303の内部構成の一例である。401はキャッシュやレジスタなどの記憶素子を持ち、制御を実行するCPUなどのプロセッサ、402はネットワークリンク301またはネットワークや専用線で接続された駆動装置5または/および認識装置6に対してデータの送受信を行うI/O(Input/Output)、403は図示しないクロックなどを使用し、時間および時刻の管理を行うタイマ、404はプログラムおよび不揮発性のデータを保存するROM(Read Only Memory)、405は揮発性のデータを保存するRAM(Random Access Memory)、406はECU内部での通信に用いられる内部バス、を示している。
次に、プロセッサ401で動作するソフトウェアモジュールの構成について図5に示す。502は、I/O402の動作および状態を管理し、内部バス406を介しI/O402に指示を行う通信管理部、503は、タイマ403を管理し、時間に関する情報取得や制御を行う時間管理部、501はI/O402から取得したデータの解析や、ソフトウェアモジュール全体の制御を行う制御部、504は後述する外界認識マップなどの情報を保持するデータテーブル、505は一時的にデータを保持するバッファ、を表している。
これら図5の構成についてはプロセッサ401上の動作概念を示したものであり、動作時に必要な情報はROM404およびRAM405から適宜取得、またはROM404およびRAM405に適宜書き込み、を行い動作する。後述する車両制御システムの各機能は、制御部501にて実行される。
<車両制御システムの機能構成例>
車両制御システムの機能構成例について図6に示す。601は車両制御システム全体を示している。602は複数の認識装置6および通信装置3から出力される外界認識情報を統合し、後述する外界認識マップを作成する統合認識部、603は統合認識部602により生成された外界認識マップおよびユーザ入力部604から入力されたユーザ入力により、自動運転制御情報(軌道等)の生成および出力、出力管理部605への出力指示、および通知管理部606への通知指示を行う自動運転制御部、604は入力装置8からの入力に従い、ユーザの指示情報を生成するユーザ入力部、605は自動運転制御部603および異常検出部609および相対情報制御部608の出力に応じ出力装置7への出力指示を行う出力管理部、606は自動運転制御部603および異常検出部609および相対情報制御部608の出力に応じ通知装置9への通知指示を行う通知管理部、607は認識装置6から出力される情報および統合認識部602から入力される情報を基に、後述する相対情報を作成する相対情報認識部、608は相対情報認識部607で作成される相対情報および認識装置6から出力される情報から運動制御情報を作成する相対情報制御部、609は相対情報認識部607で作成される相対情報と自動運転制御603から出力される自動運転制御情報、および統合認識部602の出力結果から異常を検出する異常検出部、610は異常検出部609の異常検出結果を基に、運動制御部611に対する出力を自動運転制御部603からの入力または相対情報制御部608からの入力に切替える切替部、611は切替部610からの軌道情報または運動制御情報、認識装置6から取得する車両システム1の状態、および駆動装置5からの応答、に従い複数の駆動装置5に対して制御を行う運動制御部、を示している。
運動制御情報とは、例えば加速度やヨーレート等の運動制御パラメータの目標値や、各駆動装置5への制御指令値、およびそれらの時系列での連続値を示す。
車両制御システムには、通信装置3、駆動装置5、認識装置6、出力装置7、入力装置8、通知装置9の一部またはすべてが含まれる場合もある。また車両制御装置は、前記車両制御システムにおける一部またはすべての機能を有する装置を指す。
車両制御システム601は複数の機能から構成されており、図3に示すH/Wへの機能配置は複数のパターンが存在する。配置の一例について図7に示す。機能の配置はこれに限らず、それぞれの機能は記載と別のECUに配置されていても良い。例えば統合認識部602、および自動運転制御部603と、相対情報認識部607および相対情報制御部608とを別のECU、またはマイコンに機能を配置することにより、H/W故障による共通原因故障のリスクからそれぞれの機能を守り、高信頼化を実現することが可能となる。
<外界認識方法>
認識装置6の種類は前記車両制御システムの構成で述べた通りであり、それぞれの認識装置の種類に応じた動作原理により、後述する外界認識情報を取得する。例えば、認識装置6が有するセンサを用いて外界の測定を行い、測定値に対して特定のアルゴリズム(例えば、取得した画像に対する画像認識アルゴリズム)を適用し、外界認識情報を取得する。
認識装置ごとに、それぞれ測定可能な範囲は事前に決定(例えばカメラであれば、撮影方向と縦・横の角度、画素数による遠方距離の認識限界、レーダであれば電波の放射角度と受信角度、距離)、または、環境に応じた変化に対して調整(キャリブレーション)を行って測定可能な範囲を測定し、決定する。それぞれの認識装置の取得した外界認識情報を組み合わせることにより、車両システム2の周辺状況が確認可能となる。
外界認識の例を図8に示す。ここでは車両システム1の四方向の認識装置6が外界情報を取得している例を示している。認識装置6から出力される外界認識情報により、統合認識部602は周辺にどのようなオブジェクトが存在しているかを確認することが可能となる。
通信装置3からも同様に外界認識情報を取得することが可能となる。通信装置3からの取得情報は、前記認識装置6で観測不可能な、例えば物陰など遮蔽物の向こう側に存在するオブジェクトの外界認識情報を位置情報と共に取得し、オブジェクトの存在位置を確認することが可能である。
また通信装置3が取得する外界認識情報は、周辺の地図情報(地形、道路、車線情報)、および道路交通状況(交通密度、工事中、等)も含む。
<外界認識情報>
外界認識情報とは、認識装置6により観測されたオブジェクトまたは通信装置3により受信したオブジェクトを表現する情報となる。外界認識情報の例として、オブジェクト種別(静止オブジェクト(壁、白線、信号、分離帯、木、等)、動的オブジェクト(歩行者、車、二輪車、自転車等)、走行(領域侵入)可能か否か、その他属性情報)、オブジェクトの相対位置情報(方向・距離)、オブジェクトおよび自己の絶対位置情報(座標等)、オブジェクトの速度、向き(移動方向、顔の向き)、加速度、存在確率(確からしさ)、地図情報、道路交通状況、外界認識情報を測定した時間、測定を実施した認識装置のID、等が挙げられる。
<外界認識マップ>
統合認識部602は、複数の認識装置が出力する外界認識情報を統合した統合認識情報(例:外界認識マップ)を作成する。外界認識マップの例を図9に示す。ここでは直交する座標系(グリッド)(図9(a))に対し、それぞれの領域についてオブジェクト情報を配置した例について図9(b)に示す。オブジェクト情報は、例えば上記外界認識情報の例から位置情報を除いた内容であり、それぞれのグリッドに配置される。
外界認識マップの別の表現としては、グリッドによる表記の他に、認識しているオブジェクトごとにリスト化するリスト型方式も存在する。リスト型表記の例を図10に示す。1001はリスト表示による外界認識マップ全体を示している。このようにリスト型で外界認識マップを保持することにより、グリッド型に比べてデータ量を削減することが可能となる。
<行動予測>
外界認識マップは、現在認識された外界認識情報を用いるのみではなく、過去の外界認識情報から予測(行動予測)して作成することも可能である。例えば一定時間経過後に、静止オブジェクトであれば同じ位置(車両との相対位置では無く、路面上の同位置)に存在している可能性が高く、また動的オブジェクトであれば直前の位置、速度、加速度等から、一定時間後の位置を予測することが可能となる。このように予測した外界認識情報を用いることにより、現在認識不可能な位置の情報についての予測を行うことが可能である。
行動予測は、統合認識部602が外界認識マップを基に実施することも可能であるが、例えば認識装置6が、外界認識情報に今後の予測情報を付加して送信し、統合認識部602に通知しても良い。その場合には各認識装置6が予測を行うことになり、統合認識部602の行動予測に関連する演算量を低減することが可能となる。また別の方式では、自動運転制御部603が、現在の外界認識マップから、必要なオブジェクトの行動予測を行っても良い。そのようにすることにより、統合認識部602から自動運転制御部603への通信負荷が低減でき、さらに軌道生成および判断に必要なオブジェクトのみの行動予測を行うことも可能となる。
<自動運転制御情報(軌道)>
外界認識マップに基づく自動運転制御情報の生成方法について、自動運転制御情報の一例である軌道を用いた例について説明する。軌道は、車両システムが安全に走行可能(例:他の障害物に衝突する可能性が低い)である安全性制約、車両システムが実現可能な加速度・減速度、ヨーレート、などの運動制約、を満たすように生成する。
軌道とは、例えば一定時間間隔ごとの自車位置の座標の集合により表わされる。また別の例では、一定時間間隔ごとの運動制御値(目標加速度・ヨーレート)の集合、一定時間間隔ごとの自車両のベクトル値(方向・速度)、一定距離を進むための時間間隔、等で表すことが可能である。
図9(b)の例の外界認識マップにおいて、自車両が右車線に移動する軌道生成例について図11を用いて説明する。ここでは右車線に走行車両が存在しているが、自車両の方が速度が速く、車線変更可能な例を示している。まず自車両は、運動制約を満たし、右車線に移動する軌道(図11の1101)を生成する。運動制約を満たすとは、前記の通り車両システムが実現可能な加速度・減速度、ヨーレート、などの上限値または下限値を超えないことを示す。その後、生成した軌道1101について、他の動的物体の予測軌道(例えば現在速度、および想定される加速度での一定時間後の位置)と、自車両の軌道により衝突が発生しないかを計算する。衝突が発生しないと計算された場合には、前記自車両の軌道を基に車両の制御を行う。衝突が発生すると計算された場合には、一定時間待機後、再計算、または、運動制約を満たす別の軌道を生成し、同様に安全性制約を計算する。
安全性制約の計算方法は、上記の通り動的オブジェクトの現在速度および想定加減速度から想定されるエリアを進入禁止領域とする方法(進入禁止領域法)の他に、各オブジェクトの種別・速度・進行方向から、各エリアのリスクを計算し、リスクポテンシャルを算出するがある。この方式ではを用いる場合には、生成されたポテンシャルマップの中で、最もポテンシャルが低く、一定値以上のポテンシャルエリアに進入しない軌道を生成し、かつ自車両の運動制約を満たす軌道を、生成軌道とする。
進入禁止領域については、動的オブジェクトの行動予測が必要になる。行動予測については、現在の速度・加速度および方向で移動した点を中心とした一定領域を進入禁止領域にする方法がある。このように一定領域を進入禁止領域とすることにより、複雑な予測による演算が不要となる。
このように、車両が移動する方向、運動制約、安全性制約を基に軌道を作成し、生成された軌道を基に、自動運転制御部603は運動制御部611に切替部610を介して軌道情報を送信し、運動制御部611は前記軌道情報を基に駆動装置5を制御し、車両システムを制御する。
<自動運転制御情報に基づく制御>
運動制御部611は、切替部610が出力した自動運転制御情報または運動制御情報を実現するように駆動装置5の制御を行う。
自動運転制御情報による制御は、例えば自動運転制御情報が軌道である場合、前記軌道に追従可能なように、認識装置6から取得した車両システム1のシステム状態(現在速度、加速度、ヨーレート等)を反映し、車両システム1の目標速度およびヨーレート等を算出する。これら目標速度およびヨーレートを実現するため、それぞれ必要な駆動装置5の制御を行う。これにより目標である軌道に追従可能な車両制御を実現する。
また、運動制御情報による制御を実現するためには、目標の速度を実現するために、エンジントルクの出力を増加させる、減速を行うためにブレーキを制御する、目標ヨーレートを実現するためにステアを転舵させる、または車輪速が不均等になるように車輪個別に制動・加速の制御を行う。また、運動制御情報が駆動装置5の制御値である場合には前記制御値を用いて駆動装置5の制御を行う。このようにして目標の運動制御を実現する。
<相対情報認識>
相対情報とは、前記外界認識情報のうち、特に認識装置6から取得可能な情報であり、周辺オブジェクトと自車両との相対位置および相対速度、相対加速度、およびそれら値から演算可能な値、のいずれかの情報の組み合わせである。
相対情報の例を図12に示す。ここでは他車両を認識している例を示している。図12(a)では前方に車両が存在しており、相対位置として距離がlaおよび自車水平右方向を0度とした角度がθa、相対速度がdvaの例を示している。
相対速度は自車と該当オブジェクトが近づく、または離れる速度を示している。例えば図12(a)の例では自車から他車への方向と双方の進行方向が同一のため、前方車両と自車両の速度の差分で表現できる。図12(b)の様に自車から他車への方向と双方の進行方向が同一で無い場合には、それぞれの速度を自車から他車への方向の直線に射影し、差分を計算することにより、相対速度dvbを求めることが可能である。ここでは相対速度が正の場合には自車から遠ざかっており、負の場合には自車に近づいていることを示す。図示していないが、相対加速度については相対速度の時間変化であるため、観測した速度の変化から計算することが可能である。
相対位置の表現方法は、相対距離と角度の表現の他に、自車を原点とした座標系での表現もある。例としては図の自車を原点とし、自車の前後方向をy座標かつ前方を正、左右方向をx座標かつ右を正とし、(rxa、rxy)という表現も可能である。
また認識装置6が認識可能な場合には、該当するオブジェクト種別(車両、歩行者等)、および該当オブジェクトの幅(図のdxa)、奥行き(図のdya)も相対情報として含む。
相対情報を管理する相対情報テーブルの例について図13に示す。ここでは相対位置として座標系の表現を用いている例を示している。このように相対情報を作成し管理を行う。
<相対情報に基づく制御>
相対情報に基づく制御例について説明する。相対情報制御部608は、相対情報認識部607が出力する相対情報および認識装置6から取得する自車の状態に基づいて運動制御情報を作成する。
前方にオブジェクト(車両)が存在している場合の例について説明する。前方に車両が存在し、相対情報における相対位置(距離)が一定値を下回った場合には自車両に対して減速の制御を行う。そのために、相対情報制御部608は前記相対情報および認識装置6から取得する自車の状態を判定し、減速を行うための運動制御情報を切替部610に対して出力する。また逆に相対位置が一定値を上回る場合には、同様にして自車両に対して加速の制御を行うための運動制御情報を出力する。このようにして前方車両に対して相対位置が一定量を上回るまたは一定量を下回ることの無いように、加速・減速の制御を行う。後方にオブジェクトが存在している場合にも同様に、相対位置が一定量を上回る、一定量を下回ることの無いように制御を行う。
また、相対位置のみでなく、相対速度および相対加速度にも基づき判定を行うことも可能である。例えば前方に車両が存在しており、相対位置が同様でも相対速度および相対加速度により自車に接近する可能性が高い場合には減速の制御を行う。上記判断のためのリスク値の計算式は、リスク値をR、相対距離をdl、相対速度をdv、相対加速度をda、として以下の通りとなる。ここでA,B,Cは定数である。
Figure 2021037955
リスク値を用いた計算でも相対位置による判定と同様に、リスク値が一定量を上回ることの無いように加速・減速の制御を行う。このように相対速度と相対加速度を用いて判定を行うことにより、同一相対位置でもよりリスクが高い状況(他車両が自車両に接近等)を発生することを抑制し、安全を確保することが可能となる。
これら判定および加減速の制御により、相対情報に基づいた制御が可能となる。
また、前後に同時に車両が存在する場合には、相対位置が近い方から離れるように制御を行う。例えば前方車両の方が近接している場合には減速、または後方車両の方が近接している場合には加速の制御を行う。
また、前後方向のみでなく、左右方向についても、相対位置から認識し、オブジェクトが存在していない方向に操舵を行い、例えば前後方向への衝突を回避する制御を行う。そのための目標ヨーレートについても上記運動制御情報に含み、相対情報制御部608が切替部610に対して出力を行う。
また、上記相対位置およびリスク値の一定量の判定においては、多数用いても良い。例えば一定量αを超えた場合にはユーザへの警告、一定量βを超えた場合には弱い加減速、一定量γを超えた場合には強い加減速としても良い。これにより、異常が発生した時の状況に応じて、ユーザに対する段階的な警告および車両制御が可能となる。
<異常検出>
異常の検出方法について説明する。異常とは、ハードウェア故障やソフトウェアの不具合、想定外の入力等を原因として発生する通常時想定している状態とは異なる状態を示している。車両制御システム2の各部は、ネットワークまたは専用線等の通信経路を介して通信を行っており、通信の異常については、通信が行えない(通信処理がエラー応答、信号線の電位が異常)、通信の信号値が異常、等が発生する。これら通信の異常について、電気回路での異常検知(電位検出等)、定期的な生存確認(ハートビート)、CRC等の誤り検出符号のエラー検出、することにより、通信の異常が検出可能である。
また、演算装置の故障については、同じ演算を行った結果の検算(演算結果の比較)により異常検出可能であり、メモリの故障については前記RAMやROMにアクセスした場合の誤り検出等により検出可能である。
また、ソフトウェアの不具合については、前記同じ演算を行った結果の比較以外にも、出力結果の範囲異常により検出することも可能である。
これら異常を異常検出部609は自ら検出、または各部からの異常を検出した通知を受信することにより異常を検出する。例えば、自動運転制御部603は、認識装置6、通信装置3、統合認識部602、およびそれらの間の通信のいずれかの部分で異常が発生していることを自動運転制御情報に情報として付与して送信し、異常検出部609は前記情報を受信し異常発生を検出する。異常を検出した結果により後述する切り替え処理を実施する。
また、異常検出部609は、出力管理部605または/および通知管理部606に対して異常を検知したことを通知する。これにより、出力管理部605または/および通知管理部606は後述する車両状態のユーザへの出力または/および車外への通知を実施する。
これにより、本システムで異常を検出し、自動運転制御部603による制御から、相対情報制御部609による制御に切り替えるなど、安全性を向上させることが可能となる。
<切替処理>
切替部610で実施する制御の切替処理について図1を用いて説明する。まず切替部610は、異常検出部609から異常検出結果を受信する(S101)。異常検出結果が異常なしの場合(S102のno)、自動運転制御部603から出力された自動運転制御情報を基に作成された運動制御情報を出力する様に切り替えを行う(S103)。異常検出結果が異常ありの場合(S102のyes)、相対情報制御部608から出力された運動制御情報を出力する様に切り替えを行う(S104)。このようにして異常検出時の制御切り替えを実施する。これにより異常が発生している自動運転制御部603の出力を用いず、相対情報制御部608を用いた制御に切り替え、安全性を向上させることが可能となる。
一方で、相対情報認識部607で異常が発生したことを異常検出部609が検出した場合には、前記相対情報制御部608から出力された運動制御情報には切り替えを行わない。この場合には、異常検出部609は切替部610に対して自動運転制御部603から出力された自動運転制御情報を基に作成された運動制御情報を出力する様に指示し、かつ下記車両状態のユーザへの出力・車外への通知により警告動作を実施する。これにより相対情報を用いた制御機能に異常が発生した場合でも、ユーザに警告を行って引き継ぎを促し、かつ異常が発生していない自動運転制御部603の制御により動作継続を行い、安全性を向上させることが可能となる。
<車両状態のユーザへの出力・車外への通知>
図2に示されるように、車両制御システム2は、現在の車両の状態について、出力装置7を介してユーザに、または車両の外部に対して通知装置9または通信装置3を介して出力する。例えば車両システム1のいずれかの部分に異常が発生した場合に、出力装置7を介してユーザに対して警告等の点灯、もしくは音による警告を実施する。または通知装置9または通信装置3を介して車両外部に、ランプによる警告状態の出力や、スピーカによる警告音、異常に関する情報等の出力等を実施する。
上記異常検出部609で異常を検出した場合には、ユーザに対して異常が発生したことを、警告等や音で通知し、さらに異常の内容(異常が発生した各部、通信経路)についても出力装置7が有するディスプレイや警告灯で表示するなどを行う。これにより発生した異常をユーザが認識し、操作の引き継ぎを行うことが可能となる。
また車外への通知についても同様に、異常が発生したことと、異常が発生した範囲、または軌道の方向等を通知装置9または通信装置3を介して通知する。このようにすることにより、後続車などが、異常が発生した車両システム1の行動を予測可能となり、衝突などを回避することが可能となる。
<ユーザ引き継ぎ制御>
自動運転制御情報に基づく制御、または相対情報に基づく制御から、ユーザによる制御について切り替える例について図18を基に説明する。自動運転制御情報または相対情報による制御を行っている(S1801)間に、ユーザ入力部604は入力装置8を介したユーザの運転操作開始動作(例えばペダルを踏む、ステアを操作する、自動運転終了のボタンを押す、等)を検出した場合(S1802のyes)、切替部610に通知する。切替部610は、ユーザの運転操作開始動作の通知を受け、自動運転制御情報および相対情報に基づく制御を中止し、ユーザの運転操作に切り替える(S1803)。このようにして、自動運転制御および相対情報に基づく制御からユーザの運転操作に切り替えを実施し、自動運転制御情報または/および相対情報に誤りがあった場合にもユーザに制御を引き継ぎ安全性を維持する。
異常検出の方法として、相対情報と自動運転制御情報を用いる例について説明する。実施例1と異なる点は、異常検出部609の処理である。
自動運転制御情報の異常検出を相対情報のみを用いて検出する方法として、相対情報の各値が一定値以上もしくは一定値以下、もしくは前記リスク値が一定値以上となったことにより異常と判定する。これは、自動運転制御情報は上記相対情報の各値および前記リスク値が一定値以上もしくは一定値以下にならないように制御を行う前提であるため、前記状況は異常と判断し、相対情報制御を用いた制御に切り替える。これにより自動運転制御情報に異常が発生した場合でも、相対情報を用いた安全な制御に切り替えることが可能となる。
また別の判定方法として、異常検出部609は、自動運転制御情報と相対情報から推測される将来の自車および他オブジェクトの位置が接触・近接することにより異常を判定する。異常検出部609での相対情報と自動運転制御情報の判定例について図14に示す。ここでは、自車の自動運転制御情報(軌道)を丸および点線、相対位置情報を図12の例を用いて記載している。
軌道は各時間における自車の将来位置を示しているため、相対情報についても将来の位置を予測する。具体的には相対情報の相対位置、相対速度、相対加速度より類推する。計算式は、一次元の位置を例に示すと、t秒後の位置をy(t)、現在の位置をy(0)、相対速度をvy、相対加速度をayとすると以下の様に表すことが可能である。ここで、例えば加速度の項は演算量を低減させるために省略可能である。
Figure 2021037955
2次元の場合でも同様に演算を行い推測し、相対情報による未来の相対位置を予測する。この予測結果と軌道情報を比較し、一定時間後に軌道情報と相対情報による未来の相対位置が接触、もしくは相対距離が一定値以下になることにより異常と検出する。
上記異常を検出後は、相対情報を用いた制御を行う他にも、前記車両状態のユーザへの出力・車外への通知を行うことにより、早期なユーザへの引継開始の促しや、車外に対して異常発生を通知することにより、車外の車両等が余裕をもって回避動作を行うことが可能になる。
上記では自動運転制御情報が軌道の例を示したが、連続した制御値の場合でも同様に、一定時間後の自車両の位置を同様に推定することにより、同様に判定可能である。
また別の方法では、相対情報と統合認識部602の出力結果の比較により異常を検出する。例えば、相対情報により他オブジェクトが存在していると判定されたにも関わらず、前記他オブジェクトが統合認識部602の出力結果に含まれていない場合など、相対情報と統合認識部602の出力結果の比較により異常を検出可能である。
検出の方法は前記オブジェクトの存在有無の他にも、それぞれの出力結果を比較し、他オブジェクトの位置や速度、存在確率が設計した誤差の範囲を超えた場合に異常と検出する。これにより統合認識部602、認識装置6、相対情報認識部607で発生した故障を検出することが可能となる。
本実施例では上記判定により、相対情報を用いて自動運転制御情報の異常を検出することが可能となる。また、自動運転制御情報が出力された段階で異常を検出することができ、早期に相対情報を用いた制御への切り替え、もしくはユーザ・周囲への警告を実施することが可能となる。これにより、例えば、将来の軌道情報の異常を、その軌道情報が用いられる走行制御が行われる前に検知でき、早期にアクチュエータの制御をより信頼度の高い自動制御システムに受け渡すことができる。そのため、異常な軌道情報に基づいて実際にアクチュエータが制御されるのを未然に防止しつつ、信頼性の高い走行制御を実現することができる。結果として、自動運転システムを有効活用しつつも、自動運転システムの信頼性を自動制御システムによって良好に補完することが可能となる。
次に、自動運転制御情報の誤りにより誤制動を回避する制御の例について説明する。車両制御システムの構成については実施例2の場合と同様である。
図15に、自車両が走行している後方に他車両が存在している状況で、誤って制動を行う自動運転制御情報が自動運転制御部603から出力された例を示している。
ここで異常検出部609は前記自動運転制御情報を自動運転制御部603から受信し、前記状況における相対情報を相対情報認識部607から受信する。その後、異常検出部609は実施例2に記載の異常検出により自動運転制御情報の異常を判定し、切替部610に相対情報に基づく制御に切り替える様に指示を行う。これにより、異常な自動運転制御情報による誤った制動を実施する以前に、相対情報に基づく制御に切り替えることが可能となる。
ここで図6では、異常検出部609は自動運転制御部603と切替部610の通信と並行した処理として記載しているが、異常検出部609を自動運転制御部603と切替部610との間に配置し、異常検出部609は、異常が検出されていない自動運転制御情報のみを切替部610に出力する構成としても良い。このようにすることにより、異常が検出された自動運転制御情報による制御を確実に抑制可能となる。
また、図6の構成においても、自動運転制御情報にIDを付与し、切替部610は異常検出部609からの該当IDをもつ運動制御情報が正常である、または異常でないという通知を受信した後に、該当する自動運転制御情報の運動制御情報を出力する様にすることにより、同様に異常が検出された自動運転制御情報による制御を確実に抑制可能となる。
このように、後方車両が存在する場合に、誤って制動を行い後方車両に衝突する自動運転制御情報が演算された場合にも、相対情報に基づき誤った制動を行わないことが可能となり信頼性の高い走行制御を実現することができる。
本実施例においては、自動運転制御情報を保持しておき、必要に応じて出力を行う自動運転制御情報保持部612を追加している。本実施例における車両制御システム2の構成例を図16に示す。
自動運転制御部603において、自動運転制御情報を演算するとともに、異常が発生した場合に最低限安全を確保可能な自動運転制御情報(例えば、車線に沿って走行、車線に沿って走行して緩やかな減速、路肩へ退避して停止等、以下、「保持制御情報」と称す。)も併せて演算する。そして、自動運転制御部603で演算した保持制御情報を自動運転制御情報保持部612に送信する。自動運転制御情報保持部612は、自動運転制御部603から送信された保持制御情報を保持しておき、異常発生時に保持していた保持制御情報に切り替えるためのものである。
なお、自動運転制御部603で演算した保持制御情報を自動運転制御情報保持部612に送信する際に併せて異常検出部609へも保持制御情報を送信し、異常検出部609で保持制御情報についての異常の有無を検出する。
切替部610は、自動運転制御部603、相対情報制御部608、自動運転制御情報保持部612からの制御情報を切り替えて運動制御部611に出力する。
判定方法について図17に示す。まず、異常検出部609が自動運転制御情報、保持制御情報、相対情報を受信し、異常を判定し、その結果が相対情報のみで異常を検出したか、保持制御情報に異常を検出したか、自動運転制御情報に異常を検出したかを切替部610に通知する。異常検出の方法は、実施例1の異常検出に記載の方法で検出された情報が、前記それぞれの情報に含まれている、または実施例2に記載の異常検出方法により、自動運転制御情報と相対情報を比較し異常を検出する、保持制御情報の異常検出については、自動運転制御情報と同様の方法で異常検出を行う。
切替部610は、相対情報のみで異常を検出したと通知を受けた場合(S1701のyes)、相対情報に基づく制御を行う(S1702)。保持制御情報で異常を検出したと通知を受けた場合(S1703のyes)、相対情報に基づく制御を行う(S1702)。自動運転制御情報で異常を検出したと通知を受けた場合(S1704のyes)、保持制御情報に基づく制御を行う(S1705)。いずれの異常も通知されなかった場合(S1704のno)には、自動運転制御情報による制御を行う(S1706)。
このようにすることにより、自動運転制御情報で異常が発生した場合にも、一定時間は保持していた安全を維持可能かつ異常が検出されていない保持制御情報で制御を行うことが可能となり、なおかつその後相対情報で異常が検出された場合に、安全に相対情報による制御に切り替えることが可能となる。これにより信頼性の高い走行制御を実現することができる。
以上説明した実施例によれば、自動運転制御情報に異常が発生した場合に、異常を検出し相対情報に基づく制御に切り替えることにより安全性を確保することが可能となる。
また別の実施例によれば、自動運転制御情報に基づく制御を実施する以前に、相対情報と自動運転制御情報から自動運転制御情報の異常を検知し、相対情報に基づく制御に切り替える、もしくはユーザや外部に対する警告により、異常に対応した動作を早期に行うことが可能となる。
また別の実施例によれば、異常を検出した自動運転制御情報に基づく制御の実施を抑制し、相対情報に基づく制御の実施が可能となる。
さらに別の実施例によれば、保持制御情報を用いることにより、自動運転制御情報で異常が発生した場合にも、一定時間は保持していた安全を維持可能かつ異常が検出されていない保持制御情報で機能を維持することが可能となり、なおかつその後相対情報で異常が検出された場合に、安全に相対情報による制御に切り替えることが可能となる。
1 車両システム
2 車両制御システム
3 通信装置
4 車両制御システム
5 駆動装置
6 認識装置
7 出力装置
8 入力装置
9 通知装置
301 ネットワークリンク
302 ECU
303 GW
401 プロセッサ
402 I/O
403 タイマ
404 ROM
405 RAM
406 内部バス
501 制御部
502 通信管理部
503 時間管理部
504 データテーブル
505 バッファ
601 車両制御システム
602 統合認識部
603 自動運転制御部
604 ユーザ入力部
605 出力管理部
606 通知管理部
607 相対情報認識部
608 相対情報制御部
609 異常検出部
610 切替部
611 運動制御部
612 自動運転制御情報保持部
1001 外界認識マップ
1301 相対情報テーブル

Claims (13)

  1. 自動運転制御情報に基づいて生成される第一の制御信号と自車と周辺物体との相対情報に基づいて生成される第二の制御信号との何れか一方を駆動装置に出力し、
    前記自動運転制御情報に異常が検出された場合には、前記第一の制御信号に代えて、前記第二の制御信号を前記駆動装置に出力することを特徴とする車両制御装置。
  2. 前記自動運転制御情報の入力となる情報は、前記相対情報の入力となる情報より多いことを特徴とする請求項1に記載の車両制御装置。
  3. 前記自動運転制御情報の入力となる情報は、認識装置と通信装置とから出力される情報であり、
    前記相対情報の入力となる情報は、認識装置から出力される情報であることを特徴とする請求項1に記載の車両制御装置。
  4. 前記自動運転制御情報に異常が検出された場合に、前記相対情報のうち相対位置が所定値以下とならないように走行制御を行う請求項1に記載の車両制御装置。
  5. 前記自動運転制御情報に異常が検出された場合に、前記相対情報に基づくリスク値が所定値以下とならないように走行制御を行う請求項1に記載の車両制御装置。
  6. 前記相対情報から算出されるリスク値が所定値以下となった場合に、前記自動運転制御情報が異常と判断する請求項1乃至5の何れかに記載の車両制御装置。
  7. 前記自動運転制御情報と前記相対情報のうち相対位置情報とを比較し、
    前記自動運転制御情報が前記相対位置情報における周辺物体へのリスク値が所定値以上となる場合に、前記自動運転制御情報が異常と判断する請求項1乃至5の何れかに記載の車両制御装置。
  8. 保持用自動運転制御情報を保持する自動運転制御情報保持部を有し、
    前記自動運転制御情報に異常が検出された場合には、第一の制御信号に代えて、前記保持用自動運転制御情報に基づく第三の制御信号をアクチュエータに出力し、
    前記保持用自動運転制御情報に異常が検知された場合には、第二の制御信号をアクチュエータに出力することを特徴とする請求項1乃至5の何れかに記載の車両制御装置。
  9. 前記自動運転制御情報と前記相対情報のうち相対位置情報とを比較し、
    前記自動運転制御情報が前記相対位置情報における周辺物体へのリスク値が所定値以上となる場合に、前記自動運転制御情報が異常と判断する請求項8に記載の車両制御装置。
  10. 前記自動運転制御情報が異常の場合に、外部へ報知を行う請求項1乃至5の何れかに記載の車両制御装置。
  11. 前記第一の制御信号および前記第二の制御信号を前記駆動装置に出力する切替部と、
    前記自動運転制御情報および前記相対情報とを比較して異常を検出する異常検出部と、を有し、
    前記自動運転制御情報は、前記異常検出部および前記切替部に入力される請求項1に記載の車両制御装置。
  12. 前記自動運転制御情報の異常が検出されない場合にのみ前記自動運転制御情報を前記切替部に出力する請求項11に記載の車両制御装置。
  13. 認識装置および通信装置の出力情報を統合した統合認識情報と前記相対情報とを比較して前記統合認情報の異常を検出する請求項1に記載の車両制御装置。
JP2020196571A 2020-11-27 2020-11-27 車両制御装置および車両制御システム Active JP7187521B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020196571A JP7187521B2 (ja) 2020-11-27 2020-11-27 車両制御装置および車両制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020196571A JP7187521B2 (ja) 2020-11-27 2020-11-27 車両制御装置および車両制御システム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2015169979A Division JP6803657B2 (ja) 2015-08-31 2015-08-31 車両制御装置および車両制御システム

Publications (3)

Publication Number Publication Date
JP2021037955A true JP2021037955A (ja) 2021-03-11
JP2021037955A5 JP2021037955A5 (ja) 2021-10-21
JP7187521B2 JP7187521B2 (ja) 2022-12-12

Family

ID=74848873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020196571A Active JP7187521B2 (ja) 2020-11-27 2020-11-27 車両制御装置および車両制御システム

Country Status (1)

Country Link
JP (1) JP7187521B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153202A (zh) * 2021-11-08 2022-03-08 北京三快在线科技有限公司 一种无人设备的控制方法及控制装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282599A (ja) * 1996-04-17 1997-10-31 Toyota Motor Corp 車両用走行制御装置
JP2000322689A (ja) * 1999-05-07 2000-11-24 Honda Motor Co Ltd 自動追従走行システム
JP2009078735A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 走行支援装置
JP2012035821A (ja) * 2010-08-11 2012-02-23 Toyota Motor Corp 車両制御装置
JP2014089691A (ja) * 2012-10-30 2014-05-15 Google Inc 車両横方向レーン位置決め制御
WO2014079440A1 (de) * 2012-11-20 2014-05-30 Conti Temic Microelectronic Gmbh Verfahren für eine fahrerassistenzanwendung
JP2015058890A (ja) * 2013-09-20 2015-03-30 株式会社デンソー 走行軌道生成装置、および走行軌道生成プログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09282599A (ja) * 1996-04-17 1997-10-31 Toyota Motor Corp 車両用走行制御装置
JP2000322689A (ja) * 1999-05-07 2000-11-24 Honda Motor Co Ltd 自動追従走行システム
JP2009078735A (ja) * 2007-09-27 2009-04-16 Hitachi Ltd 走行支援装置
JP2012035821A (ja) * 2010-08-11 2012-02-23 Toyota Motor Corp 車両制御装置
JP2014089691A (ja) * 2012-10-30 2014-05-15 Google Inc 車両横方向レーン位置決め制御
WO2014079440A1 (de) * 2012-11-20 2014-05-30 Conti Temic Microelectronic Gmbh Verfahren für eine fahrerassistenzanwendung
JP2015058890A (ja) * 2013-09-20 2015-03-30 株式会社デンソー 走行軌道生成装置、および走行軌道生成プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114153202A (zh) * 2021-11-08 2022-03-08 北京三快在线科技有限公司 一种无人设备的控制方法及控制装置
CN114153202B (zh) * 2021-11-08 2024-02-27 北京三快在线科技有限公司 一种无人设备的控制方法及控制装置

Also Published As

Publication number Publication date
JP7187521B2 (ja) 2022-12-12

Similar Documents

Publication Publication Date Title
JP6803657B2 (ja) 車両制御装置および車両制御システム
US10725474B2 (en) Action planning device having a trajectory generation and determination unit that prevents entry into a failure occurrence range
US10890908B2 (en) Vehicle control system and action plan system provided with same
US8977435B2 (en) Vehicle control apparatus
US10933883B2 (en) Driving control apparatus and method for vehicle
US11613254B2 (en) Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
JP6454799B2 (ja) 行動計画装置
JP7187521B2 (ja) 車両制御装置および車両制御システム
WO2020158342A1 (ja) 車両制御装置および車両制御システム
JP6997118B2 (ja) 車両制御システム
WO2022080018A1 (ja) 自律走行制御システム
US20230129168A1 (en) Controller, control method, and non-transitory computer readable media
US20230020415A1 (en) Vehicle control system, vehicle integrated control device, electronic control device, network communication device, vehicle control method and computer readable medium
JP7479271B2 (ja) 自律走行制御システム
US20230211824A1 (en) Driving Assistance Device
WO2020044891A1 (ja) 車両制御装置及び車両制御システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201127

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201204

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210118

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20210122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221026

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221130

R150 Certificate of patent or registration of utility model

Ref document number: 7187521

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150