JP2020040651A - 自律型システム内の組み込みリアルタイム制約付き最適制御問題に対する平滑化及び正則化されたfischer−burmeister解決法 - Google Patents

自律型システム内の組み込みリアルタイム制約付き最適制御問題に対する平滑化及び正則化されたfischer−burmeister解決法 Download PDF

Info

Publication number
JP2020040651A
JP2020040651A JP2019146279A JP2019146279A JP2020040651A JP 2020040651 A JP2020040651 A JP 2020040651A JP 2019146279 A JP2019146279 A JP 2019146279A JP 2019146279 A JP2019146279 A JP 2019146279A JP 2020040651 A JP2020040651 A JP 2020040651A
Authority
JP
Japan
Prior art keywords
vehicle
sensor
sensor value
constraint
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019146279A
Other languages
English (en)
Other versions
JP7088886B2 (ja
JP2020040651A5 (ja
Inventor
エム.リャオ−マクファーソン ドミニク
M Liao-Mcpherson Dominic
エム.リャオ−マクファーソン ドミニク
エックス.ファン マイク
X Huang Mike
エックス.ファン マイク
エム.ザセック ケビン
M Zaseck Kevin
エム.ザセック ケビン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Engineering and Manufacturing North America Inc
Original Assignee
Toyota Motor Engineering and Manufacturing North America Inc
Toyota Engineering and Manufacturing North America Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Engineering and Manufacturing North America Inc, Toyota Engineering and Manufacturing North America Inc filed Critical Toyota Motor Engineering and Manufacturing North America Inc
Publication of JP2020040651A publication Critical patent/JP2020040651A/ja
Publication of JP2020040651A5 publication Critical patent/JP2020040651A5/ja
Application granted granted Critical
Publication of JP7088886B2 publication Critical patent/JP7088886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/11Complex mathematical operations for solving equations, e.g. nonlinear equations, general mathematical optimization problems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/042Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators in which a parameter or coefficient is automatically adjusted to optimise the performance
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/15Correlation function computation including computation of convolution operations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0019Control system elements or transfer functions

Abstract

【課題】自律車両を制御するためのシステムを提供する。【解決手段】自律車両を制御するためのシステムは有する。システムは制御装置を含む。各サンプリング時間において、制御装置は、センサ値と、センサ値及び動的モデルに基づいて計算された推定値とを入力して、センサ値及び推定値を制御装置のメモリに記録する。制御装置は、センサ値及び推定値を、制約付き最適制御問題に付随する最適性の条件に組み込み、最適性の条件を、Fischer−Burmeister関数を用いて非平滑システムにマッピングし、非平滑システムを近似する平滑化されたシステムにニュートン法反復を行って解に収束し、車両動作中にアクチュエータを制御するコマンドを出す。【選択図】図7

Description

関連出願
本出願は、出願番号第15/705,934号(2017年9月15日に出願)及び出願番号第15/866,767号(2018年1月10日に出願)に関連する。なお、これらの文献の全体の内容は参照により本明細書に組み込まれている。
本開示は全般的に、自律システムに対する方法及び制御に関し、より詳細には、自律車両を制御する(車両安全性限界を表すアクチュエータ限界に関する制約を受ける経路追従誤差を最小限にすることを含む)ための方法に関する。本方法及び制御では、正則化及び平滑化されたFischer-Burmeister技術を適用して、目標経路からの車両の距離をモデリングしてリアルタイムで最小限にする。
車両のアクチュエータがセンサからの入力を用いて制御装置によって制御される自律車両が開発されている。現在、車両サブシステムの制御の改善が行われている。たとえば、典型的に1つまたは複数の制御装置をエンジン制御ユニット(ECU)に組み込んで、センサが車両性能を検出することに応じて種々の自動車用アクチュエータを制御して、車両エンジンの制御を最適化する場合がある。車両性能を検出するためのセンサには、エンジン速度及び車両速度を検出するセンサが含まれている場合がある。他のセンサ(たとえば、カメラ及び種々のタイプのレーダー)がドライバーアシストシステムの一部として車両内にますます搭載されている。車両がバックしている間に車両の後方からの視野を得るためにビデオカメラが用いられている。レーダーアンテナは近くの物体の表示を得る働きをする。車両とともに用いるためにさらなるタイプのセンサ技術が開発されている。さらなるセンサ技術の例はLIDARである。これはレーザー光線を用いて目標物を照らすものである。LIDARは物体までの距離を測定することができ、障害物検出用に使用される場合がある。LIDARは、能動的なドライバーアシスト技術(たとえば、ステアリング及び加速度補償)の一部として用いられている。たとえば、ステアリング及び加速度補償は、車両が別の車両のすぐ後ろに続いている場合に、または車両が別のレーン内または道路の端近くに方向を変えているときに実施される場合がある。
車両制御は、単純なルールから本格的な最適化プロセスまで、多くの形態を取り得る。最適化問題を解くことによって制御を行うと、時間及び必要な計算能力が多大になる可能性がある。言い換えれば、最適化問題の解を得るには多大な計算能力が必要となる場合があり、リアルタイムで行うことはできない場合がある。それでも、最適化問題の解をリアルタイムで得る問題に対処する研究が行われている。
リアルタイムの組み込み最適化問題の重要な例はモデル予測制御(MPC)である。モデル予測制御では、各サンプリング時間の間に、後退ホライズン(receding horizon)に対する最適制御問題が解かれる。以下を参照のこと。L.Grune及びJ.nnekの「Nonlinear model predictive control」(Nonlinear Model Predictive Control, pp.43-66, Springer,2011)、J. B. Rawlings及びD. Q. Mayneの「Model predictive control: Theory and design」(Nob Hill Pub., 2009)及びG. C. Goodwin, M. M. Seron及びJ. A. De Donaの「Constrained control and estimation: an optimisation approach」(Springer Science & Business Media, 2006)。それぞれその全体が参照により本明細書に組み込まれている。離散時間線形二次MPC定式化に対する最適制御問題を、凸二次計画(QP)と表現することができる。さらに、凸QPは、非線形モデル予測制御(NMPC)たとえば逐次二次計画法(SQP)またはリアルタイム反復方式(時間ステップあたり1つのQPだけを解く)で用いる多くのアルゴリズムに対する基礎を形成する。以下を参照のこと。P. T. Boggs及びJ. W. Tolleの「Sequential quadratic programming」(Acta numerica, vol.4, pp.1-51, 1995、S. Gros、M. Zanon、R. Quirynen、A. Bemporad及びM. Diehlの「From linear to nonlinear mpc: bridging the gap via the real-time iteration」(International Journal of Control、pp. 1-19、2016)、及びM. Diehl、H. G. Bock、J. P. Schloder、R. Findeisen、Z. Nagy及びF. Allgowerの「Real-time optimization and nonlinear model predictive control of processes governed by differential-algebraic equations」(Journal of Process Control、vol. 12、No.4、pp.577-585、2002)。それぞれその全体が参照により本明細書に組み込まれている。
車両サブシステムにモデル予測制御(MPC)が適用されている(たとえばエンジン制御)。たとえば、レートベースのMPCアプローチは、予測制御モデルにさらなる一体状態を加えることによって、一体型動作を組み込んでゼロ定常偏差を保証する。MPCモデルでは、多くの異なるエンジン動作範囲(燃料比及びエンジン速度)を用いて、各範囲に対して制御装置を形成してエンジンアクチュエータを制御する。
ディーゼルエンジンエアフローに適用するモデル予測制御の具体例では、エンジン内のフローの制御を、可変ジオメトリータービン(VGT)、EGRスロットル、及びEGRバルブアクチュエータを用いて行う。これらのシステムは強く結合されており、高度に非線形である。
しかし、組み込まれた自動車応用における制約付き最適制御に対する既存の方法では、必要な時間内で必要な計算を実行することができていない。ディーゼルエンジンに対する制御システム例では、エンジン制御ユニット(ECU)は入力信号をサンプリングして、センサからの測定値を記録し、計算を実行して、コマンドを出す。これらの動作はすべて、入力信号サンプリング時間内に行わなければならない。詳細には、ECUには、すべての必要な計算を終了するために、サンプリング時間の固定割合が割り当てられる(計算の予算と言う)。
近年、QP及びより一般的な最適化問題の両方をオンラインで解くための速くて信頼性の高いアルゴリズムの開発に関する数多くの研究により、従来技術が著しく進歩した。しかし、オンライン最適化アルゴリズムの計算負担を管理することは、依然として問題である。
自律車両動作を、すべての必要な計算を計算の予算内で遂行するのに十分に速い時間で制御する(特に、アクチュエータを車両安全性限界内に制御する)ためのモデル予測制御装置を提供することが望ましい。
前述の「背景技術」の説明は、本開示の文脈を全般的に示すためのものである。この背景技術セクションで説明した範囲までの発明者の業績、ならびに本来は出願時における従来技術として適格ではあり得ない説明の側面は、本発明に対する従来技術として明示的にも黙示的にも認められない。
本開示及びその付随する優位点の多くをより完全に理解することは、これらが以下の詳細な説明を添付図面と共に考慮して参照することでより良好に理解されるため、容易になされる。
自律車両の概略図である。 図1の自律車両に対する制御構造である。 本開示の典型的な態様による経路追従モデルを例示する図である。 MPC最適化問題に対するメイン関数を示す図である。 MPC最適化問題に関連する方程式を取得する方法に対するフローチャートである。 正則化平滑化Fischer-Burmeister法に対するフローチャートである。 自律車両のリアルタイム制御に対するフローチャートである。 本開示の典型的な態様によるステアリング制御の例に対するフローチャートである。 典型的な制御装置に対するブロック図である。
本明細書で用いる場合、「一実施形態」または「いくつかの実施形態」または「実施形態」に言及することは、実施形態と共に説明される特定の要素、特徴、構造、または特性が少なくとも1つの実施形態に含まれることを意味する。明細書のいろいろな場所に語句「一実施形態では」が現れるが、必ずしもすべてが同じ実施形態に言及しているわけではない。本明細書で用いる条件付き言語、たとえば、とりわけ「can」「could」「might」「may」「e.g.」などは、特に記載のない限り、または使用した文脈内で他の方法で理解される場合を除いて、全般的に、ある特徴、要素及び/またはステップがある実施形態には含まれ、他の実施形態には含まれないと伝えることが意図されている。加えて、冠詞「a」及び「an」は、本出願及び添付の請求項で用いる場合、他に特に規定がない限り、「1つ以上の」または「少なくとも1つの」を意味すると解釈すべきである。
次に図面(いくつかの図の全体にわたって同様の参照数字は同一または対応部分を示す)を参照して、以下の説明は、自律車両内の組み込みモデル予測制御に適用される制約付き最適化に対する技術に関する。
自律車両は、カスタム車両または変更された従来車両という形を取ってもよい。自律車両には、センサ、アクチュエータ、ソフトウェア実施のアルゴリズム、及びソフトウェアを実行するための少なくとも1つのプロセッサの組み合わせが含まれていてもよい。ナビゲーション及びガイダンス、運転及び安全性、ならびに性能を得るために、サブシステム内でセンサ及びアクチュエータを用いてもよい。ナビゲーション及びガイダンスに対するサブシステムはグローバルポジショニングシステム(GPS)である。GPSは人工衛星から受信した信号に基づいて現在位置を計算する。
運転及び安全性に対するサブシステムには典型的に、ビデオカメラのアレイが含まれる。ビデオカメラは、レーンの場所を検出し、物体を検出し、マーカーを検出するために使用し得る画像を取り込んでもよい。物体を検知するための別のタイプのデバイスはLIDARシステムである。LIDARシステムによって周囲環境についての正確な3D情報が得られる。このデータを用いて、プロセッサは、物体識別、動きベクトル決定、衝突予測、及び回避方略を実施する。LIDARユニットによって、自動車の頂部にある回転スキャニングミラーアセンブリを用いることによって360°視野が得られる。
車両性能を制御するためのサブシステムには、電力制御に関係するセンサ及びアクチュエータが含まれていてもよい。電力制御には、所要電力を測定及び管理することが含まれていてもよい。車両性能の制御には、内燃機関に対する制御が伴っていてもよい。
本開示では、車両ダイナミクス(車両の加速及びステアリングを考慮する)と、経路の運動学(時間に対する経路フレームの動きを考慮して、道路に沿っての車両の距離と目標経路とを最小限にする)とを用いる。この距離の原因は、車両の動きと経路フレームの動きとの間の不一致であり得る。本開示では、経路は曲率によって規定し、ある点での位置、速度、及び加速度を含む運動学的特徴によって表す場合がある。軌跡は、所与の速度における時間に対する動きの経路として規定する。車両ダイナミクスは、力の作用の下での車両の動きの普通の意味を取る。
本開示では、車両安全性を、アクチュエータ範囲及びレートと障害物衝突包絡線とによって規定する。アクチュエータ範囲は、アクチュエータの動きの範囲に対する限定によって規定する。アクチュエータレートは、アクチュエータが反応するレート(または遅延)に対する限定によって規定する。車両制御は、制御システムがアクチュエータに出すコマンドによる。障害物衝突包絡線は、潜在的障害物までの距離の範囲である。
図1を参照して、車両401(以後、自律車両の例として記載する)には、センサ403のアレイが含まれる。センサは車両の屋根に搭載してもよいし、車両の本体内に含めてもよいし、またはそれらの組み合わせであってもよい。自律車両内に搭載してもよいセンサのタイプとしては、LIDAR、ビデオカメラ、レーダーアンテナ、ソーナアンテナを挙げてもよい。自律車両は、車両の種々の状態(たとえば、ステアリング角及び車両速度)をモニタするための内部センサが含まれていてもよい。
図2を参照して、自律車両制御システムに対する制御構造には、車両モデル予測制御装置(MPC)201、車両アクチュエータ203、及び推定装置205が含まれていてもよい。MPC201は、車両の速度、加速度、及びステアリング角(タイヤの角度)についての入力情報を車両センサ203から受け取る。推定装置205はパラメータ(目標経路の弧長、車両の中心と目標経路との間のずれ、方位誤差、及び目標経路の曲率を含む)を計算してもよい。また推定装置205は障害物包絡線を検出することができてもよい。種々の信号入力及び推定パラメータが与えられたら、MPC201は、速度コマンド及びステアリングコマンド(タイヤ角度コマンド)を車両アクチュエータ203に出力してもよい。これらのアクチュエータに関連する車両アクチュエータには、ステアリングアクチュエータ及びエンジン速度アクチュエータが含まれていてもよい。
MPC201は車両アクチュエータ203(たとえば、ステアリングアクチュエータ及びエンジン速度アクチュエータ)を制御する。その際に、アクチュエータの駆動範囲を安全を得るために限定してもよい。一実施形態では、アクチュエータ限界はハード制約(違反することができない制約)として実施される。アクチュエータ限界は、アクチュエータ範囲(制限された移動範囲)及びアクチュエータレート(アクチュエータが反応する制限されたレート/遅延)によって特徴付けられてもよい。一実施形態では、タイヤ角度コマンドを−30〜+30度の範囲に限定してもよい。
加えて、自律車両の場合、衝突回避を目的としてアクチュエータ限界を規定してもよい。自律車両は、任意の所与時間において障害物から固定距離にあると考えることができる。その後に、アクチュエータ限界(たとえば、ステアリング角及び加速限界)を、所与の速度においてオペレータが人間の応答時間内で衝突を阻止できる解析最大値として規定してもよい。一実施形態では、車両速度の関数としてのアクチュエータ限界を、ルックアップテーブルとして事前に記憶してもよい。
障害物から必要な距離を障害物衝突包絡線として規定してもよい。一実施形態では、障害物(たとえば、別の車両)が衝突包絡線内に入り得ることを車両センサが検出することを、MPC201によって回避されるハード制約として実施してもよい。
ハード不等式制約を、人間の応答時間内の十分短い時間で計算することは難しい。本開示で取り入れたアプローチは、不等式制約を等式制約として再定式化することである。以下でより十分に説明するように、再定式化した等式制約によって、ニュートン法を用いた高速解法が可能になる。
またMPC201は、ソフト制約に基づいて車両アクチュエータ203を制御してもよい。ソフト制約は、解析的に違反することができる制約である。ソフト制約の違反は、制御コスト関数におけるペナルティとして(外部ペナルティとしてかまたはさらなる最適化パラメータとして)扱われる。その後、制御コスト関数は、望ましくない状態から離れる傾向がある。一実施形態では、ソフト制約を快適さ関連駆動と言ってもよいものに適用する。ソフト制約の種類は、加加速快適さ(加加速度は加速度の微分)、加速快適さ(所定閾値よりも大きい加速度にペナルティを課す)、横加速度、ロール(長手軸の周りの回転量)、及び牽引/スリップ制約(たとえば濡れた道路状態に起因する牽引の欠如またはスリップを伴う)を含んでもよい。
自律車両のステアリング及び加速を、エンジン制御ユニット(ECU)に組み込まれたシステム(典型的に小さいマイクロ制御装置)を用いて所定の時間内で制御してもよい。詳細には、効果的であるために、MPC制御装置201、及び推定装置205が行う制御動作を、センサ読み取りが行われる各サンプリング時間の間に行うべきである。
一実施形態では、ECUは約100x/秒でサンプリングしてもよい。サンプリング時間の間、ECUはセンサからの測定値を記録し、最適化計算を実行し、コマンドを出す。こうして、ECUは好ましくは、その必要な動作を、サンプリング時間の固定割合(計算の予算と言う)内で実行する。
全般的に、制御動作は、制約を受ける最適化問題の解と考えてもよい。離散時間線形二次MPC定式化に対する最適制御問題を表現する1つの方法は、凸二次計画(QP)としてである。
本開示の態様は、各サンプリング時間の間に最適制御問題を解くMPCである。
本開示の態様は、凸QPを解くことにFischer-Burnmeister(FB)関数及びニュートン法を適用するMPCである。以下ではこれを、Fischer-Burmeister正則化平滑化(FBRS)アプローチと言う。FBRSには、組み込み最適化に対して魅力的であるいくつかの特性がある。第1に、FBRSは解に対するグローバル線形収束及び二次漸近収束(それがその性質から減速一般化ニュートン法として引き継ぐ特性)を表示する。第2に、簡単に実施できる。最後に、関連するQPのシーケンスを解くときに効果的にウォームスタートさせることができる。
図3に例示するのは、本開示の典型的な態様による経路追従モデル(path tracking model)の要素である。本開示では、MPCは、固定されたグローバル位置の代わりに動的な経路フレームに基づくモデルを用いる。このモデルを用いるのは、MPCが目標経路からの車両の距離を最小限にしようとするからである。そうするために、モデルは、ずれL311ならびにずれLの微分をモニタする。ずれLは、車両が動く場合(すなわち、経路はまっすぐ進んで、車両が方向を変える)または経路が動く場合(すなわち、経路が方向を変えて、車両はまっすぐ進む)の両方の場合に変化する。したがって、モデルは動的な経路フレームを用いる。
図3に見られるように、グローバルフレーム(X,Y)301は、定常点の場所(たとえば、建物または何らかの他の固定構造物の場所)を表す。車両の中心303はグローバルフレーム301に対する点である。車両に垂直で車両の中心303を通っているライン305は、目標経路309上で点307と交差する。目標経路の交点における点307は投影位置である。その点307で、目標経路309は経路方位313を有する。投影位置及び経路方位313によって、経路フレーム(X,Y)が規定される。車両が速度方向327に移動すると、車両方向方位と、目標経路接線317と平行な方向との間に方位誤差315が生じ得る。目標経路309に沿っての投影位置307までの距離を、弧長321によって規定する。投影位置307における曲線は半径323を有する。MPCは車両ステアリング(タイヤ角度325)を調整して目標経路からの車両の距離を最小限にする。
経路追従モデルでは、MPC制御装置201は、車両加速度a、車両速度V、及び実際のタイヤ角度δ、ならびに推定装置205から得られる推定値に基づいて、力コマンドFcmd及びタイヤ角度コマンドδcmdを生成する。推定値には弧長s、ずれl、及び方位誤差θが含まれる。動的な経路フレームを、点車両加速度a、車両速度V、弧長s、目標経路からのずれl、方位誤差θ及びタイヤ角度δによって表してもよい。モデルは、タイヤ角度コマンドδcmd及び加速度コマンドFcmdに対するアクチュエータレート制約を考慮してもよい。また、モデルは、横速度がなく、車両に対する力及び車両加速度が車両の長手方向にあるようなものであってもよい。しかし、経路追従モデルでは横速度及び横加速度も考慮に入れてもよい。動的な経路フレームの代替表現は、曲率k、曲率対弧長の変化∂k/∂s、基準速度及び加速度によるものであってもよい。
図4に関して、MPC最適化問題に対するメイン関数を示す。MPCは、曲率kにおける速度追従誤差(Vk−Vktgt(s)、ずれ距離(l)、方位誤差(θ)、ステアリングレート(Δδ cmd−Δδ ff)、及び加速率(ΔF cmd−ΔF ff)の関数としての、ステアリングレートΔδcmd及び加速率ΔFcmdを最小限にしようとする403。曲率kは典型的に、半径の逆数として規定され、弧長sの関数である。メイン関数は、ステアリングレートΔδcmd及び加速率ΔFcmdに対するハード制約を受け得る。一実施形態では、スリップを、経路方位からのずれ−(方位+スリップ角)に対してペナルティを課すことによって考慮してもよい。
図5に関して、MPC最適化問題を解くために、S501において、図4のメイン関数を最適化すべきコスト関数として設定する。S503において、制約を適用すべき制約として設定する。S505において、コスト関数及び制約を線形近似を用いて変換して、二次計画(QP)を得る。これをS507においてFBRSを用いて解くことになる。S505におけるQP例は次の形式である。
min(z)zHz+fz(Az≦bという条件で)
ここで、H∈Sはヘッセ行列であり、
である。簡単にするために、QPは等式制約がない場合に対してであってもよい。当業者であれば分かるように、等式及び不等式制約問題に拡張することは簡単である。この例の場合、QPに対するKarush-Kuhn-Tucker(KKT)条件は以下の通りである。
Hz+f+Av=0
y=0
v≧0,y≧0
変数zは制御動作、特にコスト関数を最小限にする制御動作を表す。変数vは感度を表す。感度は、コスト関数が制約の影響をどれほど受けやすいかを定量化するシステムで計算された内部変数である。変数y=b−Azは制約マージンを表す。yが正ならば、制約を満足している。yが負ならば、制約を満足していない。
FB関数を用いて最適性の条件を解くために(S507)、FB変換を用いて条件を関数F(x)と書き換える。たとえば、相補性条件v≧0、y≧0、yv=0をFB方程式φ(y,v)と置換する。ここで、x=(z,v)及びy=b−Azである。FB関数を相補性条件に適用して、以下の非線形マッピングを得る。
FB関数の特性のために、関数F(x)は、xがKKT条件を満たすときに限りF(x)=0であるという特性を有する。
FBRSアルゴリズムは、減少シーケンスε→0に対するニュートン法を用いて一連の問題Fεj(x)=0を近似的に解くことによって機能し、このようにして、他のホモトピー方法(たとえば、内点法(IPM))と同様である。しかし、内点法とは異なり、部分問題はε→0のときに不良条件にもならず解くのが困難にもならず、実際には、有限数のホモトピーステップの後にεを正確にゼロに設定することができる。
マッピングF(x)は一価ではあるが連続微分可能ではない。しかしF(x)は半平滑であるため、半平滑ニュートン法を求根問題F(x)=0に適用することができる。Fが平滑化されていると(ε>0)、Fε(x)は連続微分可能であるため、(正規の)ニュートン法を適用することができる。
図6に関して、F(x)=0を解くために、半平滑ニュートン法を適用して、以下の反復が得られる。
ここで、V∈∂εk(x)であり、t∈(0,1]は、S603において、解から遠い場合に収束を適用するために直線探索によって選択されたステップ長である。反復行列またはヤコビアンVは任意のε>0に対して常に非特異であるが、εが小さい場合に不良条件になる場合がある。状況を改善するために、S601において、近接正則化項を加えて、数値調整の制御を助ける。正則化及び平滑化方程式は以下のように規定される。
ここでδ≧0は正則化を制御する。したがって、修正ニュートン反復(S605)は以下のようになる。
ここで、K=V+∇R(x,δ)をVの代わりに用いる。
FBRSに対するアルゴリズムを以下のアルゴリズム1にまとめる。アルゴリズムでは、直線探索及びホモトピーを用いてグローバル化された半平滑ニュートン法を表している。アルゴリズムの各ステップをグローバル化するために用いるメリット関数を以下のように規定する。
パラメータσ∈(0,0.5)は、メリット関数においてどのくらいの減少が必要であるかをエンコードする。所望の許容範囲をτと示し、β∈(0,1)はバックトラッキング直線探索における減少を制御する。tを計算するためのより高性能なアルゴリズム(たとえば、多項式補間)を、バックトラッキング直線探索の代わりに用いることができるが、実際には、この単純なアルゴリズムが効果的である。C.T.Kelley,Iterative methods for optimization.SIAM,1999を参照のこと。この文献はその全体において参照により本明細書に組み込まれている。固定パラメータに対する典型的な値はσ≒10−4及びβ≒0.7である。
前述の説明の特徴を含むシステムによって多くの優位点が得られる。詳細には、本明細書で説明するMPCは、目標経路からの車両の距離を、各センササンプリング時間においてリアルタイムで最適化して最小限にすることができる。図7に示すのは、車両最適制御の反復解法をリアルタイムで行うためのフローチャートである。S701及びS703に関して、適用すべきコスト関数及び制約(たとえば、図4における)を、車両が出荷される前にオフラインで規定してもよい。S705において、センサ読み取り値をサンプリングして推定値を計算して、現在の車両アクチュエータ状態を測定する。S707において、測定したシステム状態を制約付き最適制御問題に付随する最適性の条件に組み込む。S709において、Fischer-Burmeister関数変換を通して最適性条件を方程式に変換する。S711において、修正ニュートン法を用いて反復を行って、S713において制御値を取得する。一実施形態では、サンプリング時間の間に修正ニュートン法を1回の反復に対して行う。コスト関数によってサンプリング時間の必要な時間の十分範囲内である十分な解が形成されると決定された。S715において、制御値を送信して車両を制御する。残りの時間を、S717において、次のサイクルが始まるまで待つことに使う。車両最適制御を、各センササンプリング時間において、組み込みリアルタイム制御問題解決法を用いてオンラインで行ってもよい。
図8に示すのは、本開示の典型的な態様によるステアリング制御の例に対するフローチャートである。ステアリング制御は、車両センサ(タイヤ角度)から現在のステアリング状態を決定することによって行われ、将来における多くの点(たとえば、120点)として表される所定の予測水平線に対して、ステアリング角をこれらの将来の点に対して、将来のある時間に対して予測する。
詳細には、S801において、車両の現在の状態を検出する(測定された位置、速度、タイヤ角度、ずれ、方位)。S803において、5秒以下の時間の間に目標経路に基づいて経路フレームを予測する。S805において、候補制御動作の組(たとえば、ステアリングを1秒、2秒、3秒…5秒で行う)(ハード制約を満たす良好な解)を決定する。S807において、各候補に対する予測を行う。S809において、予測と所望(ターゲット)とを比べて誤差を取得し、最適化を行って、予測解をターゲットに近づける制御動作を得る。S811において、ステアリングアクチュエータに制御コマンドを出す。
コンピュータ−ベースの制御システム201は、マイクロ制御装置に基づいていてもよい。マイクロ制御装置には、1つ以上のプロセッサコア(CPU)とともにメモリ(揮発性及び不揮発性)及びプログラム可能な入出力周辺機器が含まれていてもよい。フラッシュ、ROM、EPROM、またはEEPROMの形態のプログラムメモリがチップ上に、ならびにデータ記憶装置用のセカンダリRAM上に含まれていることが多い。一実施形態では、図9に関して、コンピュータ−ベースのシステム201は、マイクロ制御装置910を伴う集積回路基板901である。基板には、デジタルI/O915、アナログ入力917、及びハードウェアシリアルポート913が含まれていてもよい。
一実施形態では、マイクロ制御装置は、8ビットのRISCベースのマイクロ制御装置であって、フラッシュメモリ903、SRAM907、EEPROM905、汎用I/Oライン、32個の汎用レジスタ、リアルタイムカウンタ、6個のフレキシブルタイマ/カウンタ、及びA/Dコンバータ909を有している。マイクロ制御装置は単一のSOCであってもよい。当然のことながら、種々のタイプのマイクロ制御装置を用いてもよい。マイクロ制御装置は、処理コアの数、不揮発性メモリのサイズ、データメモリのサイズに基づいて、ならびにそれらにA/DコンバータまたはD/Aコンバータが含まれているか否かに基づいて変わる。
前述した教示を考慮すれば、多くの変更及び変形が可能である。したがって、添付の請求項の範囲内で、本発明を本明細書で具体的に述べたこと以外で実施してもよいことを理解されたい。
したがって、前述の説明では単に本発明の典型的な実施形態を開示して説明している。当業者であれば分かるように、本発明を、その趣旨または本質的特徴から逸脱することなく他の具体的な形式で具体化してもよい。したがって、本発明の本開示は例示的であることが意図されており、本発明ならびに他の請求項の範囲を限定してはいない。本開示(本明細書で教示した内容の容易に認められる任意の変形を含む)では、本発明の主題が何ら公衆に提供されることがないように前述のクレーム用語の範囲を部分的に規定している。

Claims (20)

  1. 自律車両を制御するシステムであって、
    制御装置を含み、前記制御装置は、
    各サンプリング時間において、
    センサ値と、前記センサ値及び動的モデルに基づいて計算された推定値とを入力して、前記センサ値及び前記推定値を前記制御装置のメモリに記録することと、
    前記センサ値及び前記推定値を、制約付き最適制御問題に付随する最適性の条件に組み込むことと、
    前記最適性の条件を、Fischer-Burmeister関数を用いて非平滑システムにマッピングすることと、
    前記非平滑システムを平滑化し、前記平滑化されたシステムにニュートン法反復を適用して解に収束することと、
    前記自律車両のアクチュエータを制御するコマンドを出すことと、を行うように構成されている、前記システム。
  2. 平滑化された前記ニュートン法には正則化及び直線探索が含まれる請求項1に記載のシステム。
  3. 前記制約付き最適制御問題に付随する前記最適性の条件には、最適化すべきコスト関数と適用すべきハード制約とが含まれる請求項1に記載のシステム。
  4. タイヤ角度センサ及び車両速度センサをさらに含み、
    前記センサ値には、前記タイヤ角度センサから取得されたタイヤ角度と前記車両速度センサから取得された車両速度とのうちの1つ以上が含まれる請求項1に記載のシステム。
  5. 前記ハード制約は前記アクチュエータに対する制約であり、最大ステアリングと最大車両加速度とのうちの1つ以上が含まれる請求項3に記載のシステム。
  6. 障害物センサをさらに含み、
    前記センサ値には障害物の情報が含まれ、
    前記ハード制約は、前記障害物の情報に基づいて決定された障害物共謀包絡線である請求項3に記載のシステム。
  7. 前記コスト関数にはソフト制約の形態のペナルティが含まれる請求項3に記載のシステム。
  8. 前記ソフト制約には、加加速快適さ、加速快適さ、横加速度、牽引制約、及びロールのうちの1つ以上が含まれる請求項7に記載のシステム。
  9. 制御装置を有する自律車両を制御する方法であって、
    各サンプリング時間において、前記制御装置は、
    センサ値と、前記センサ値及び動的モデルに基づいて計算された推定値とを入力して、前記センサ値及び前記推定値を前記制御装置のメモリに記録することと、
    前記センサ値及び前記推定値を、制約付き最適制御問題に付随する最適性の条件に組み込むことと、
    前記最適性の条件を、Fischer-Burmeister関数を用いて非平滑システムにマッピングすることと、
    前記非平滑システムを近似する一連の平滑化されたシステムにニュートン法反復を行って、解に収束することと、
    前記自律車両のアクチュエータを制御するコマンドを出すことと、を行う、前記方法。
  10. 平滑化された前記ニュートン法には正則化及び直線探索が含まれる請求項9に記載の方法。
  11. 前記制約付き最適制御問題に付随する前記最適性の条件には、最適化すべきコスト関数と適用すべきハード制約とが含まれる請求項9に記載の方法。
  12. 前記センサ値を入力することには、タイヤ角度センサからタイヤ角度を取得することと、車両速度センサから車両速度を取得することとが含まれる請求項9に記載の方法。
  13. 前記ハード制約は前記アクチュエータに対する制約であり、最大ステアリングと最大加速度とのうちの1つ以上が含まれる請求項11に記載の方法。
  14. 前記センサ値を入力することには、障害物センサから障害物の情報を取得することが含まれ、前記方法にはさらに、
    前記ハード制約として前記障害物の情報に基づいて障害物共謀包絡線を決定することが含まれる請求項11に記載の方法。
  15. 前記コスト関数に付随する前記最適性の条件には、ソフト制約の形態のペナルティが含まれる請求項11に記載の方法。
  16. 前記ソフト制約には、加加速快適さ、加速快適さ、横加速度、牽引制約、及びロールのうちの1つ以上が含まれる請求項15に記載の方法。
  17. 自律車両を制御する制御装置であって、
    各サンプリング時間において、
    センサ値と、前記センサ値及び動的モデルに基づいて計算された推定値とを入力して、前記センサ値及び前記推定値を前記制御装置のメモリに記録することと、
    前記センサ値及び前記推定値を、制約付き最適制御問題に付随する最適性の条件に組み込むことと、
    前記最適性の条件をFischer-Burmeister関数を用いて非平滑システムにマッピングすることと、
    前記非平滑システムを平滑化し、前記平滑化されたシステムにニュートン法反復を適用して解に収束することと、
    前記自律車両内のアクチュエータの動作を制御するコマンドを出すことと、を行うように構成されている、前記制御装置。
  18. 平滑化された前記ニュートン法には正則化及び直線探索が含まれる請求項17に記載の制御装置。
  19. 前記制約付き最適制御問題には、最適化すべきコスト関数と適用すべきハード制約とが含まれる請求項17に記載の制御装置。
  20. 前記ハード制約は前記アクチュエータに対する制約であり、最大ステアリングと最大加速度とのうちの1つ以上が含まれる請求項19に記載の制御装置。
JP2019146279A 2018-08-08 2019-08-08 自律型システム内の組み込みリアルタイム制約付き最適制御問題に対する平滑化及び正則化されたfischer-burmeister解決法 Active JP7088886B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/058,831 US10739768B2 (en) 2018-08-08 2018-08-08 Smoothed and regularized Fischer-Burmeister solver for embedded real-time constrained optimal control problems in autonomous systems
US16/058,831 2018-08-08

Publications (3)

Publication Number Publication Date
JP2020040651A true JP2020040651A (ja) 2020-03-19
JP2020040651A5 JP2020040651A5 (ja) 2020-10-22
JP7088886B2 JP7088886B2 (ja) 2022-06-21

Family

ID=69406750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019146279A Active JP7088886B2 (ja) 2018-08-08 2019-08-08 自律型システム内の組み込みリアルタイム制約付き最適制御問題に対する平滑化及び正則化されたfischer-burmeister解決法

Country Status (3)

Country Link
US (1) US10739768B2 (ja)
JP (1) JP7088886B2 (ja)
CN (1) CN110816528B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580859B1 (en) * 2017-09-28 2023-02-14 Apple Inc. Vehicle lane change
US11699207B2 (en) * 2018-08-20 2023-07-11 Waymo Llc Camera assessment techniques for autonomous vehicles
US20210064031A1 (en) * 2019-08-28 2021-03-04 Zenuity Ab Path planning for autonomous and semi-autonomous vehicles
US11378967B2 (en) * 2019-09-25 2022-07-05 Baidu Usa Llc Enumeration based failure prevention QP smoother for autonomous vehicles
US20210094569A1 (en) * 2019-09-27 2021-04-01 Honda Motor Co., Ltd. System and method for providing accurate trajectory following for automated vehicles in dynamic environments
US11479265B2 (en) * 2020-03-25 2022-10-25 Baidu Usa Llc Incremental lateral control system using feedbacks for autonomous driving vehicles
JP7449144B2 (ja) * 2020-04-06 2024-03-13 株式会社Subaru 自動操舵制御装置
CN111959500B (zh) * 2020-08-07 2022-11-11 长春工业大学 一种基于轮胎力分配的汽车路径跟踪性能提升方法
CN112364561B (zh) * 2020-10-26 2022-07-26 上海感探号信息科技有限公司 控车动作修正方法、装置、电子设备和存储介质
CN114516342B (zh) * 2020-11-19 2024-05-03 上海汽车集团股份有限公司 一种车辆控制方法、装置及车辆
CN113346500B (zh) * 2021-04-26 2023-06-02 西安交通大学 一种支持微电网全自治控制的柔性切换变流器及控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143269A (ja) * 2006-12-07 2008-06-26 Toyota Motor Corp 車両用制御装置
DE102013214225A1 (de) * 2013-07-19 2015-01-22 Bayerische Motoren Werke Aktiengesellschaft Dynamische Neuplanung einer Fahrtrajektorie mittels LQ-Regelung für einen Ausweichassistenten
CN104590259A (zh) * 2015-01-07 2015-05-06 福州华鹰重工机械有限公司 一种轨迹搜寻方法和系统
WO2018084324A1 (en) * 2016-11-03 2018-05-11 Mitsubishi Electric Corporation Method and system for controlling vehicle
JP2019073177A (ja) * 2017-10-17 2019-05-16 日立オートモティブシステムズ株式会社 予測制御装置及び方法
JP2019113926A (ja) * 2017-12-21 2019-07-11 株式会社Ihi モデル予測制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070079605A1 (en) 2005-10-07 2007-04-12 Eaton Corporation Exhaust aftertreatment system with transmission control
WO2008000071A1 (en) 2006-06-26 2008-01-03 Azur Dynamics Inc. Method, apparatus , signals , and media, for selecting operating conditions of a genset
US8504175B2 (en) * 2010-06-02 2013-08-06 Honeywell International Inc. Using model predictive control to optimize variable trajectories and system control
US8924331B2 (en) * 2010-09-03 2014-12-30 Honeywell International Inc. System and method for solving quadratic programming problems with bound constraints utilizing a semi-explicit quadratic programming solver
DE102012201767A1 (de) 2012-02-07 2013-08-08 Robert Bosch Gmbh Verfahren und Vorrichtung zur Dynamiküberwachung von Gas-Sensoren
CN103448716B (zh) * 2013-09-12 2015-10-07 清华大学 分布式电驱动车辆纵-横-垂向力协同控制方法
US10030602B2 (en) 2014-07-22 2018-07-24 The Regents Of The University Of Michigan Adaptive machine learning method to predict and control engine combustion
CN104977933B (zh) * 2015-07-01 2017-11-14 吉林大学 一种自主驾驶车辆的区域型路径跟踪控制方法
EP3125052B1 (en) * 2015-07-31 2020-09-02 Garrett Transportation I Inc. Quadratic program solver for mpc using variable ordering
US10293485B2 (en) * 2017-03-30 2019-05-21 Brain Corporation Systems and methods for robotic path planning

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143269A (ja) * 2006-12-07 2008-06-26 Toyota Motor Corp 車両用制御装置
DE102013214225A1 (de) * 2013-07-19 2015-01-22 Bayerische Motoren Werke Aktiengesellschaft Dynamische Neuplanung einer Fahrtrajektorie mittels LQ-Regelung für einen Ausweichassistenten
CN104590259A (zh) * 2015-01-07 2015-05-06 福州华鹰重工机械有限公司 一种轨迹搜寻方法和系统
WO2018084324A1 (en) * 2016-11-03 2018-05-11 Mitsubishi Electric Corporation Method and system for controlling vehicle
JP2019073177A (ja) * 2017-10-17 2019-05-16 日立オートモティブシステムズ株式会社 予測制御装置及び方法
JP2019113926A (ja) * 2017-12-21 2019-07-11 株式会社Ihi モデル予測制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
鈴木 脩平 KOHEI SUZUKI: "状態拘束のあるモデル予測制御に対するセミスムーズニュートン法を用いた高速解法 Fast Model Predictive", 計測自動制御学会論文集 第50巻 第4号 TRANSACTIONS OF THE SOCIETY OF INSTRUMENT AND CONTROL ENGI, vol. 第50巻第4号, JPN6021038225, JP, pages 348 - 355, ISSN: 0004608164 *

Also Published As

Publication number Publication date
CN110816528B (zh) 2023-06-13
JP7088886B2 (ja) 2022-06-21
CN110816528A (zh) 2020-02-21
US10739768B2 (en) 2020-08-11
US20200050196A1 (en) 2020-02-13

Similar Documents

Publication Publication Date Title
JP7088886B2 (ja) 自律型システム内の組み込みリアルタイム制約付き最適制御問題に対する平滑化及び正則化されたfischer-burmeister解決法
CN110398969B (zh) 自动驾驶车辆自适应预测时域转向控制方法及装置
Xu et al. Preview path tracking control with delay compensation for autonomous vehicles
US11753023B2 (en) Adaptive control of autonomous or semi-autonomous vehicle
US10829149B1 (en) Steering control for vehicles
Kapania et al. A sequential two-step algorithm for fast generation of vehicle racing trajectories
CN109196432B (zh) 用于自动驾驶车辆的速度控制参数估计方法、介质和系统
Suh et al. Design and evaluation of a model predictive vehicle control algorithm for automated driving using a vehicle traffic simulator
JP2019505423A (ja) 比例、積分及び微分(pid)コントローラを用いた自律走行車のステアリング制御方法及びシステム
CN112180925B (zh) Agv轨迹跟随方法、装置及处理设备
CN110609539B (zh) 路径跟踪控制方法、装置和系统及存储介质
El Hajjami et al. Robust adaptive non-singular fast terminal sliding-mode lateral control for an uncertain ego vehicle at the lane-change maneuver subjected to abrupt change
Zhang et al. Low-level control technology of micro autonomous underwater vehicle based on intelligent computing
Lee et al. Automated driving control in safe driving envelope based on probabilistic prediction of surrounding vehicle behaviors
CN114502450A (zh) 机动车辆横向和纵向引导中的死区时间补偿技术
Vörös et al. Lane keeping control using finite spectrum assignment with modeling errors
CN115617052B (zh) 流速下的无人船入库方法、装置、计算机设备及存储介质
Lombard et al. Lateral control of an unmaned car using GNSS positionning in the context of connected vehicles
CN115525054A (zh) 大型工业园区无人清扫车沿边路径跟踪控制方法及系统
CN115542899A (zh) 车辆路径跟踪的方法、装置、车辆、电子设备及介质
EP4056441A1 (en) Back propagation planning for adas/ad motion planning and control
WO2022153500A1 (ja) 遠隔制御装置
Hu et al. A model predictive control based path tracker in mixed-domain
Klomp et al. Non-linear steering control for limit handling conditions using preview path curvature
Kumar et al. An optimal lateral trajectory stabilization of vehicle using differential dynamic programming

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200910

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200910

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211005

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220609

R150 Certificate of patent or registration of utility model

Ref document number: 7088886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350