JP2022033640A - 車両応答予測装置、学習装置、方法、及びプログラム - Google Patents

車両応答予測装置、学習装置、方法、及びプログラム Download PDF

Info

Publication number
JP2022033640A
JP2022033640A JP2020137639A JP2020137639A JP2022033640A JP 2022033640 A JP2022033640 A JP 2022033640A JP 2020137639 A JP2020137639 A JP 2020137639A JP 2020137639 A JP2020137639 A JP 2020137639A JP 2022033640 A JP2022033640 A JP 2022033640A
Authority
JP
Japan
Prior art keywords
vehicle
response
time series
learning
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020137639A
Other languages
English (en)
Other versions
JP7351814B2 (ja
Inventor
浩平 新谷
Kohei Shintani
裕 佐々木
Yutaka Sasaki
誠 三輪
Makoto Miwa
晃平 牧野
Kohei Makino
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Toyota Gauken
Original Assignee
Toyota Motor Corp
Toyota Gauken
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, Toyota Gauken filed Critical Toyota Motor Corp
Priority to JP2020137639A priority Critical patent/JP7351814B2/ja
Priority to CN202110936594.7A priority patent/CN114077769A/zh
Priority to US17/403,499 priority patent/US20220050944A1/en
Publication of JP2022033640A publication Critical patent/JP2022033640A/ja
Application granted granted Critical
Publication of JP7351814B2 publication Critical patent/JP7351814B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/10—Geometric CAD
    • G06F30/15—Vehicle, aircraft or watercraft design
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation
    • G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2119/00—Details relating to the type or aim of the analysis or the optimisation
    • G06F2119/02—Reliability analysis or reliability optimisation; Failure analysis, e.g. worst case scenario performance, failure mode and effects analysis [FMEA]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Geometry (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】車両に対する入力の時系列に対する車両の応答を精度よく予測可能な車両応答予測装置を提供する。【解決手段】予測部２０が、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための畳み込みニューラルネットワークモデルを用いて予測対象の車両の応答を予測する。このとき、畳み込みニューラルネットワークモデルにおいて、車両に対する入力の時系列と、前記車両の特性とを表す入力データに対して畳み込み処理が行われる。【選択図】図２

Description

本発明は、車両応答予測装置、学習装置、方法、及びプログラムに関する。
車両開発においては、車体の諸元から、コンピュータによるシミュレーションであるＣＡＥ（ｃｏｍｐｕｔｅｒ ａｉｄｅｄ ｅｎｇｉｎｅｅｒｉｎｇ）を用いて車両の走行時の挙動を推定し、当該推定に基づいて車両の性能を予測する研究が進められている。
また、ＣＡＥの代替モデルとして機械学習を用いるアプローチが知られており、例えば、非特許文献１には、ランダムフォレストを用いた手法が開示されている。
L'ubor Ladick'y, SoHyeon Jeong, Barbara Solenthaler, Marc Pollefeys, and Markus Gross. Data-driven fluid simulations using regression forests. ACM Trans. Graph., Vol. 34, No. 6, pp. 199:1-199:9, October 2015.
しかしながら、上記非特許文献１に記載のアプローチでは、時系列全体を考慮するようなモデルを用いておらず、車両運動性能のＣＡＥ解析のように一続きの時系列を考慮する必要がある対象への適用が困難である。
本発明は、上記事実を考慮し、車両に対する入力の時系列に対する車両の応答を精度よく予測可能な車両応答予測装置、学習装置、方法、及びプログラムを提供することを目的とする。
請求項１に記載の車両応答予測装置は、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための予め学習された畳み込みニューラルネットワークモデルを用いて、予測対象の車両に対する入力の時系列と、前記予測対象の車両の特性とを表す入力データから、前記予測対象の車両の応答を予測する予測部を含む。ここで、車両の特性とは、車両の物理的構造に関するパラメータである。
請求項１に記載の車両応答予測装置によれば、予測部が、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための畳み込みニューラルネットワークモデルを用いて予測対象の車両の応答を予測する。このとき、畳み込みニューラルネットワークモデルにおいて、車両に対する入力の時系列と、前記車両の特性とを表す入力データに対して畳み込み処理が行われる。これにより、車両に対する入力の時系列に対する車両の応答を精度よく予測することができる。
なお、請求項２に記載の車両応答予測装置のように、前記畳み込みニューラルネットワークモデルの少なくとも一つの畳み込み層は、一つ前の層の出力に基づく畳み込み結果と、一つ前の層の出力との和に、活性化関数を適用したものを出力としてもよい。これにより、畳み込みニューラルネットワークモデルを効率的に学習することができる。
また、請求項３に記載の車両応答予測装置のように、前記入力データを、前記車両に対する入力と前記車両の特性とを表すベクトルを、時系列順に並べた行列としてもよい。これにより、畳み込みニューラルネットワークモデルにおける畳み込み処理により、車両に対する入力の時系列を考慮して、車両の応答を予測することができる。
また、請求項４に記載の車両応答予測装置のように、前記畳み込み層のフィルタは、前記フィルタにより畳み込まれる値の時系列方向の間隔が異なる複数のフィルタを含むようにしてもよい。これにより、畳み込みニューラルネットワークモデルにおいて、異なる時間の粒度で、畳み込み処理を行うことができる。
また、請求項５に記載の学習装置は、車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成する作成部と、前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する学習部と、を含む。
請求項５に記載の学習装置によれば、作成部が、車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成する。学習部が、前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する。畳み込みニューラルネットワークモデルでは、車両に対する入力の時系列と、前記車両の特性とを表す入力データに対して畳み込み処理が行われる。これにより、車両に対する入力の時系列に対する車両の応答を精度よく予測することができる。
なお、請求項６に記載の学習装置のように、前記作成部は、車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた、前記車両の状態の時系列及び前記車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、前記車両の状態の時系列、及び前記車両の応答を表す学習用データを作成し、前記学習部は、前記畳み込みニューラルネットワークモデルの中間出力が、前記学習用データの前記車両の状態の時系列に対応し、かつ、前記畳み込みニューラルネットワークの最終出力が、前記学習用データの前記車両の応答に対応するように、前記畳み込みニューラルネットワークモデルを学習するようにしてもよい。これにより、シミュレーション結果として得られた、前記車両の状態の時系列を考慮した、畳み込みニューラルネットワークモデルを学習することができる。ここで、車両の状態の時系列とは、車両の位置、姿勢、又は走行状態の時系列である。
請求項７に記載の車両応答予測方法は、予測部が、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための予め学習された畳み込みニューラルネットワークモデルを用いて、予測対象の車両に対する入力の時系列と、前記予測対象の車両の特性とを表す入力データから、前記予測対象の車両の応答を予測する。
請求項８に記載の学習方法は、作成部が、車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成し、学習部が、前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する。
請求項９に記載の車両応答予測プログラムは、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための予め学習された畳み込みニューラルネットワークモデルを用いて、予測対象の車両に対する入力の時系列と、前記予測対象の車両の特性とを表す入力データから、前記予測対象の車両の応答を予測することをコンピュータに実行させるためのプログラムである。
請求項１０に記載の学習プログラムは、車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成し、前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習することをコンピュータに実行させるためのプログラムである。
以上説明したように、本発明に係る車両応答予測装置、学習装置、方法、及びプログラムによれば、車両に対する入力の時系列に対する車両の応答を精度よく予測することができる。
本発明の実施の形態に係る車両応答予測装置の具体的な構成の一例を示すブロック図である。 本発明の実施の形態に係るコンピュータの機能的な構成の一例を示すブロック図である。 畳み込みニューラルネットワークモデルの一例を示した概略図である。 畳み込みニューラルネットワークモデルのフィルタの一例を示した図である。 本発明の実施の形態に係るコンピュータによる学習処理を示すフローチャートである。 本発明の実施の形態に係るコンピュータによる予測処理を示すフローチャートである。 車両のロール安定性をテストするＮＣＡＰ ｆｉｓｈｈｏｏｋ試験の走行軌跡の一例を示した概略図である。
以下、図１を用いて、本実施の形態に係る車両応答予測装置について説明する。図１は、本発明の実施の形態に係る車両応答予測装置１０の具体的な構成の一例を示すブロック図である。
車両応答予測装置１０は、コンピュータ３０を含んで構成されている。コンピュータ３０は、ＣＰＵ３２、ＲＯＭ３４、ＲＡＭ３６、及び入出力ポート３８を備える。一例としてコンピュータ３０は、エンジニアリングワークステーション、又はスーパーコンピュータ等の、高度な演算処理を高速で実行できる機種であることが望ましい。
コンピュータ３０では、ＣＰＵ３２、ＲＯＭ３４、ＲＡＭ３６、及び入出力ポート３８がアドレスバス、データバス、及び制御バス等の各種バスを介して互いに接続されている。入出力ポート３８には、各種の入出力機器として、ディスプレイ４０、マウス４２、キーボード４４、ハードディスク（ＨＤＤ）４６、及び各種ディスク（例えば、ＣＤ－ＲＯＭやＤＶＤ等）４８から情報の読み出しを行うディスクドライブ５０が各々接続されている。
また、入出力ポート３８には、ネットワーク５２が接続されており、ネットワーク５２に接続された各種機器と情報の授受が可能とされている。本実施の形態では、ネットワーク５２には、データベース（ＤＢ）５４が接続されたデータサーバ５６が接続されており、ＤＢ５４に対して情報の授受が可能とされている。データサーバ５６及びＤＢ５４は、コンピュータ３０が兼ねてもよい。
ＤＢ５４には、車両応答予測の対象となる車両の３Ｄ（三次元）モデルのデータ及び車両応答予測に係るＣＡＥによるシミュレーション結果のデータ等が予め記憶される。ＤＢ５４への情報の記憶は、コンピュータ３０やデータサーバ５６を介したデータの格納でもよいし、ネットワーク５２に接続された他の機器を介したデータの格納でもよい。ＤＢ５４に格納される３Ｄモデルのデータは、ＣＡＤ（コンピュータ支援設計）による車両のデータでよいが、演算処理が容易なように、ジオメトリが予め調整されたデータでもよい。
ＤＢ５４に格納されるシミュレーション結果のデータは、車両応答予測に係るＣＡＥによるシミュレーションが行われた車両の特性と、車両に対する入力の時系列と、車両の特性及び入力の時系列に基づくシミュレーション結果として得られた車両の状態の時系列及び車両の応答とを含むデータである。
本実施の形態では、データサーバ５６に接続されたＤＢ５４に、車両応答予測の対象となる車両の３Ｄモデルのデータ、車両応答予測に係るＣＡＥによるシミュレーション結果のデータ等が記憶されるものとして説明するが、コンピュータ３０に内蔵されたＨＤＤ４６や外付けのハードディスク等の外部記憶装置にＤＢ５４の情報を記憶するようにしてもよい。
コンピュータ３０のＨＤＤ４６には、車両応答を予測する畳み込みニューラルネットワークモデルを学習するための学習プログラム４６Ａ及び車両応答を予測するための車両応答予測プログラム４６Ｂがインストールされている。本実施の形態では、ＣＰＵ３２が学習プログラム４６Ａを実行することにより、車両応答を予測するための畳み込みニューラルネットワークモデルを学習する。また、ＣＰＵ３２が車両応答予測プログラム４６Ｂを実行することにより、車両応答を予測する。また、ＣＰＵ３２は、予測結果をディスプレイ４０に表示させる。なお、本実施の形態の学習プログラム４６Ａ及び車両応答予測プログラム４６Ｂをコンピュータ３０にインストールするには、幾つかの方法があるが、例えば、学習プログラム及び車両応答予測プログラムをＣＤ－ＲＯＭやＤＶＤ等に記憶しておき、ディスクドライブ５０にディスク４８をセットし、ＣＰＵ３２に対してセットアッププログラムを実行することによりＨＤＤ４６に学習プログラム４６Ａ及び車両応答予測プログラム４６Ｂをインストールする。または、公衆電話回線やネットワーク５２を介してコンピュータ３０と接続される他の情報処理機器と通信することで、ＨＤＤ４６に学習プログラム４６Ａ及び車両応答予測プログラム４６Ｂをインストールするようにしてもよい。
次に、コンピュータ３０の機能構成について説明する。図２は、コンピュータ３０の機能構成の例を示すブロック図である。
図２に示すように、コンピュータ３０は、学習用データ作成部１２、学習部１４、モデル記憶部１６、入力データ作成部１８、及び予測部２０を備える。
学習用データ作成部１２は、ＤＢ５４に格納されるシミュレーション結果のデータから、車両に対する入力の時系列と車両の特性とを表す入力データ、車両の状態の時系列、及び車両の応答を表す学習用データを作成する。例えば、車両に対する入力としてのステアリング角の時系列と車両の特性とを表す入力データ、車両の位置やロール角などの状態の時系列、及びロール角最大値などの車両の応答を表す学習用データを作成する。
学習部１４は、学習用データに基づいて、入力データを入力とし、車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する。具体的には、学習部１４は、畳み込みニューラルネットワークモデルの中間出力が、学習用データの車両の状態の時系列に対応し、かつ、畳み込みニューラルネットワークモデルの最終出力が、学習用データの車両の応答に対応するように、畳み込みニューラルネットワークモデルを学習する。
ここで、畳み込みニューラルネットワークモデル（以下、ＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）モデルと称する。）について説明する。図３に示すように、ＣＮＮモデル６０は、入力部６０Ａ、シミュレータ部６０Ｂ、及び演算部６０Ｃを含んで構成されている。
入力部６０Ａは、車両に対する入力と車両の特性ベクトルとを表すベクトルを、時系列順に並べた行列を、入力データとして受け付ける。
具体的には、車両に対する入力であるステリング角度＾δｔと車両の特性ベクトルｐとを表すベクトルｘｔを、時系列順に並べた行列ｘを入力データとして受け付ける。各時刻ｔのベクトルｘｔに含まれる特性ベクトルは、時間に応じて変化しないため、各時刻ｔで共通となっている。
例えば、ステリング角度δｔ（ｔ＝１，・・・，Ｔ）と、車両の特性ベクトルｐと、ベクトルｘｔと、行列ｘとが以下のように表される。なお、＾Ｘは数式中では、記号Ｘ上に“＾”であることを示す。
Figure 2022033640000002
Figure 2022033640000003

Figure 2022033640000004
上記の例では、車両の特性ベクトルｐがＮ次元の要素を有し、ベクトルｘｔが、２０次元の要素を有し、行列ｘが、２０×Ｔの要素を有している。
シミュレータ部６０Ｂは、入力部６０Ａにより受け付けた入力データから、車両の状態の時系列を予測する。シミュレータ部６０Ｂは、結合層と畳み込み層とを含んで構成される。まず、結合層によって入力データから特徴量を抽出する。その後の畳み込み層で特徴量を時系列方向に畳み込む。これにより、それぞれの時刻における特徴を抽出する。結合層をＦＣｉｎ（ｘ）とし、Ｌ層の畳み込み層のうち、畳み込み幅Ｈのｌ番目の畳み込み層をＣｏｎｖｓｅｑ （ｌ）とし、ｌ番目の重みを
Figure 2022033640000005

とおくと、ｌ層目の畳み込み層で畳み込んだ時の時刻ｔに対応する出力
Figure 2022033640000006

は以下のように表される。
Figure 2022033640000007
・・・（１）
Figure 2022033640000008

・・・（２）
ただし、
Figure 2022033640000009

はアダマール積であり、ｚ［ｔ－Ｈ：ｔ］＝［ｚｔ－Ｈ，ｚｔ－Ｈ＋１，・・・ｚｔ］であり、ＲｅＬＵ（ｘ）＝ｍａｘ（０，ｘ）は要素ごとに演算する関数である。式（２）で１つ前の層から出力された特徴を足しているのは、残差接続（Ｒｅｓｉｄｕａｌ Ｃｏｎｎｅｃｔｉｏｎ）で、勾配を伝えるためである（参考文献１参照）。また、この畳み込み層をＤｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎとすることで、異なる時間の粒度での畳み込みができる（参考文献２参照）。例えば、２つの畳み込み層による畳み込み処理を畳み込み幅２で行い、それぞれのフィルタで畳み込まれる値の間隔であるＤｉｌａｔｉｏｎを１と２に設定しているので、合計では３ステップ前の時刻まで考慮してモデル化できる。
［参考文献１］Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun. Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition, pp. 770-778, 2016.
［参考文献２］Fisher Yu and Vladlen Koltun. Multi-scale context aggregation by dilated convolutions. In International Conference on Learning Representations (ICLR), May 2016.
最後の畳み込み層の出力ｚｔ（Ｌ）を、結合層ＦＣｓｅｑ（ｘ）に入力して、以下の式（３）に従って、時刻ｔの車両の状態の予測結果＾ｓｔを予測することにより、車両の状態の時系列＾ｓを予測する。
Figure 2022033640000010
・・・（３）
Figure 2022033640000011
演算部６０Ｃは、予測された車両の状態の時系列＾ｓから車両の応答を抽出する。
具体的には、演算部６０Ｃは、シミュレータ部６０Ｂで得られた車両の状態の時系列＾ｓから、畳み込み層と最大値プーリング層を用いて、車両の状態の時系列＾ｓを表す特徴量を抽出し、その特徴量から結合層を用いて車両の応答を計算する。
このとき、プーリングは一括に行わずに、それぞれＭ層の畳み込みと最大値プーリングによって徐々に車両の状態の時系列＾ｓの特徴を抽出する。複数の畳み込み層のうちのｍ層目の畳み込み層をＣｏｎｖｐｏｏｌ （ｍ）（ｘ）、複数の最大値プーリング層のうちのｍ層目の最大値プーリングをＭａｘＰｏｏｌ（ｍ）（ｘ）とすると、ｍ層目の最大値プーリング層の出力である中間表現ｈ（ｍ）は以下のように表せる。
Figure 2022033640000012
・・・（４）
Figure 2022033640000013

・・・（５）
抽出した時系列の特徴
Figure 2022033640000014

から、結合層ＦＣｏｕｔ（ｘ）を用いて最終的な応答
Figure 2022033640000015

を予測する。
Figure 2022033640000016
・・・（６）
上記式（１）、（２）に示したとおり、本実施の形態では、ＣＮＮモデルの少なくとも一つの畳み込み層は、一つ前の層の出力に基づく畳み込み結果と、一つ前の層の出力との和に、活性化関数を適用したものを出力とする。このように、一つ前の層の出力を追加することで、モデル学習時の課題である勾配消失及び勾配爆発を回避することができる。その結果、モデル学習を効率化することができる為、モデルの予測精度を向上させることができる。
また、シミュレータ部６０Ｂにおいて畳み込み演算を行うことで特徴量を抽出するとき、Ｄｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎを用いて、異なる時間粒度の畳み込みを行う。具体的には、図４に示すように、畳み込み層のフィルタは、フィルタにより畳み込む値の時系列方向の間隔が異なる。図４では、斜線の領域が、フィルタにより時系列方向に畳み込む値を示している。
その結果、車両の状態量として得られる「変位」の情報に加えて、「速度」、「加速度」、「加速度勾配（ジャーク）」の情報に着目した特徴量を得ることができるようになる。上記図４では、フィルタＦ０（Ｄｉｌａｔｉｏｎ＝０）が、現在の時刻と一つ前の時刻と一つ後の時刻との各々に対応する値に対して畳み込み処理をする例を示している。このフィルタにより、速度を考慮した特徴量を得ることができる。また、フィルタＦ１（Ｄｉｌａｔｉｏｎ＝１）が、現在の時刻と２時刻前と２時刻後との各々に対応する値に対して畳み込み処理をする例を示している。フィルタＦ２（Ｄｉｌａｔｉｏｎ＝２）が、現在の時刻と３時刻前と３時刻後との各々の値に対して畳み込み処理をする例を示している。このように、フィルタＦ１（Ｄｉｌａｔｉｏｎ＝１）、フィルタＦ２（Ｄｉｌａｔｉｏｎ＝２）において、畳み込む値の間隔を広げているため、加速度や加速度勾配（ジャーク）などの情報を考慮した特徴量を得ることができる。このような物理的な意味のある情報を特徴量として考慮することで、モデルの予測精度を向上させる。
上述したＣＮＮモデルの中間出力＾ｓが、以下に示す学習用データの車両の状態の時系列ｓに対応し、かつ、畳み込みニューラルネットワークの最終出力ｏが、学習用データの車両の応答に対応するように、ＣＮＮモデルが学習される。
Figure 2022033640000017
モデル記憶部１６は、学習部１４によって学習されたＣＮＮモデルに関するパラメータを記憶する。
入力データ作成部１８は、ＤＢ５４に格納された、車両応答予測の対象となる車両の３Ｄモデルのデータから、車両応答予測の対象となる車両の特性を取得する。
入力データ作成部１８は、予め設定された車両に対する入力の時系列と、取得した車両の特性とを表す入力データを作成する。具体的には、予め設定された、車両に対する入力であるステリング角度＾δｔと、取得した車両の特性ベクトルｐとを表すベクトルｘｔを、時系列順に並べた行列ｘを、ＣＮＮモデルに対する入力データとして作成する。
予測部２０は、学習部１４によって学習されたＣＮＮモデルを用いて、入力データ作成部１８によって作成された入力データから、予測対象の車両の応答を予測する。
具体的には、学習部１４によって学習されたＣＮＮモデル６０の入力部６０Ａに、入力データ作成部１８によって作成された入力データを入力し、ＣＮＮモデル６０の演算部６０Ｃの出力を、予測対象の車両の応答の予測結果とし、ディスプレイ４０により出力する。
＜車両応答予測装置１０の動作＞
次に、本発明の実施の形態に係る車両応答予測装置１０の動作について説明する。
まず、データサーバ５６に接続されたＤＢ５４に、車両応答予測に係るＣＡＥによるシミュレーション結果のデータが格納される。また、データサーバ５６に接続されたＤＢ５４に、車両応答予測の対象となる車両の３Ｄモデルのデータが格納される。
そして、コンピュータ３０によって、図５に示す学習処理ルーチンが実行される。
まず、ステップＳ１００において、学習用データ作成部１２は、ＤＢ５４に格納されているシミュレーション結果のデータを取得する。学習用データ作成部１２は、取得したシミュレーション結果のデータから、車両に対する入力の時系列と、車両の特性とを表す入力データ、車両の状態の時系列、及び車両の応答を表す学習用データを作成する。
ステップＳ１０２において、学習部１４は、学習用データに基づいて、入力データを入力とし、車両の応答を予測するためのＣＮＮモデルを学習し、学習されたＣＮＮモデルに関するパラメータを記憶する。
そして、コンピュータ３０によって、図６に示す予測処理ルーチンが実行される。
まず、ステップＳ１１０において、入力データ作成部１８は、ＤＢ５４に格納されている、車両応答予測の対象となる車両の３Ｄモデルのデータを取得する。入力データ作成部１８は、取得した車両応答予測の対象となる車両の３Ｄモデルのデータから、車両応答予測の対象となる車両の特性を取得する。そして、入力データ作成部１８は、予め設定された車両に対する入力の時系列と、取得した車両の特性とを表す入力データを作成する。
ステップＳ１１２において、予測部２０は、学習部１４によって学習されたＣＮＮモデルを用いて、入力データ作成部１８によって作成された入力データから、予測対象の車両の応答を予測する。
＜実施例＞
次に、上記の実施の形態で説明したＣＮＮモデルを用いた車両応答予測方法の実施例について説明する。
図７は、車両のロール安定性をテストするＮＣＡＰ ｆｉｓｈｈｏｏｋ試験の走行軌跡の一例を示した概略図である。図７の試験では、車速が一定時に、左右方向にステアリング操作した旋回時の車両の最大横加速度を予測した。教師データは、ＤＯＥ（Ｄｅｓｉｇｎ ｏｆ ｅｘｐｅｒｉｍｅｎｔｓ）を用いて７５２デザインを生成し、一例として、車両走行のシミュレータであるＣａｒＭａｋｅｒ（登録商標）を用いた。
また、上記の実施の形態で説明したＣＮＮモデルを用いた予測方法と、参考文献３に記載のＲＮＮモデルを用いた予測方法を比較し、検証をする。実験で用いたプログラムは、プログラム言語Ｐｙｔｈｏｎ ｖｅｒｓｉｏｎ３．６．９を用いて実装した。用いた機械学習フレームワークはＰｙＴｏｒｃｈ ｖｅｒｓｉｏｎ１．３である。
［参考文献３］牧野晃平，三輪誠，新谷浩平，阿部充治，佐々木裕．「深層学習を用いた車両運動性能の代理モデルの開発」，日本機械学会第２９回設計工学・システム部門講演会，２０１９．
データセットは、入力データと、ＣＡＥ解析の途中で計算される車両の状態の時系列と、車両の応答とからなる。一つのデータは、例えば、１９次元の車両の特性を表すパラメータｐ、車両に対する入力の時系列におけるステアリング角の最大値δｍａｘ、ＣＡＥ解析の途中に計算される位置やロール角などの３１次元の車両の状態の時系列、及びその時系列から最大値や最小値などの演算をして得られる最終的な５次元の応答から構成される。また、データセットの構成は、表２の通りである。
Figure 2022033640000018
ＣＮＮモデルの詳細を、表３に示す。
Figure 2022033640000019
表３のように、シミュレータ部６０Ｂの畳み込み層はＤｉｌａｔｅｄ Ｃｏｎｖｏｌｕｔｉｏｎを用いている。これは、上述したように、異なる時間の粒度での畳み込みを行うためである。また、ＩＤ８の最大値プーリングについて、畳み込み幅などが定義されていないのは、時系列全体を対象としてプーリングするためである。
比較対象となる参考文献１に記載のＲＮＮを用いたモデルは、上記の実施の形態のＣＮＮモデルの畳み込み層を、ＲＮＮの一種であるＬｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙに置換したものである。
ＣＮＮモデルを用いた予測方法及びＲＮＮモデルを用いた予測方法の精度は、平均平方誤差（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅ Ｅｒｒｏｒ ： ＲＭＳＥ）を用いて評価した。ＲＭＳＥは、下記の式で表される。下記式中のＤはデータの数である。
Figure 2022033640000020
それぞれの応答パラメータにおける誤差ｅｉ（ｉ＝１，２，・・・，５）は
Figure 2022033640000021

となる。この誤差をそれぞれの評価値を対等に評価するためのスケーリングとして、訓練データの応答の平均μｉと分散σｉを用いて以下のように正規化した。
Figure 2022033640000022
実験手順は、構築したモデルの重みをＰｙＴｏｒｃｈの初期乱数で初期化し、学習した後にテストを行う。スコアは、１エポック毎に求め、応答の誤差の平均
Figure 2022033640000023

が最も小さくなったときのスコアをその試行に対するスコアとし、５回試行した平均でスコアを定める。誤差は標準誤差を用いた。
上記の実施の形態で説明したＣＮＮモデルを用いた予測方法による精度の向上の確認のため、参考文献１のＲＮＮモデルを用いた予測方法と比較する。結果を表４に示した。表４の下線付きの数値の方が、誤差を少なく、精度よく推定できているということである。表４を見ると、応答ｏ１，ｏ２の予測については、ＣＮＮモデルの方が大幅に高い性能を示しているといえる。また、応答ｏ３の予測については大きな差はなく、応答ｏ４，ｏ５の予測については、ＲＮＮモデルの方が有効に予測できているといえる。以上の結果から、ＣＮＮモデルとＲＮＮモデルでそれぞれ得意とするタスクが異なっていることが予測できる。ただし、平均をみるとＣＮＮモデルの方が予測誤差が小さいことから、ＣＮＮモデルの方が効果的にモデル化できているといえる。
Figure 2022033640000024
以上説明したように、本実施の形態によれば、車両応答予測装置の予測部が、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するためのＣＮＮモデルを用いて予測対象の車両の応答を予測する。このとき、ＣＮＮモデルにおいて、車両に対する入力の時系列と、前記車両の特性とを表す入力データに対して畳み込み処理が行われる。これにより、車両に対する入力の時系列に対する車両の応答を精度よく予測することができる。
また、ＣＡＥシミュレータから得られる時系列の入出力結果から学習用データを作成し、ＣＮＮモデルを学習する。これにより、これまでＣＡＥの専任者が工数・計算コストをかけて利用していたＣＡＥシミュレーションを、誰もが時間やコストをかけることなく利用することが可能である。
また、ＣＮＮモデルを用いることにより、ＲＮＮモデルと比較して、並列化による高速な計算が可能となる。また、ＲＮＮモデルと比較して時系列全体よりも一部に着目してモデル化するという特徴がある。
また、ＣＮＮモデルのシミュレータ部により、時々刻々の状態量（変位など）を考慮することができる。また、開始時刻から終了時刻までの特徴量も考慮した下で、車両の応答を予測することができるため、予測精度が向上する。
＜変形例＞
上記の実施の形態では、予測処理と学習処理とを１つの装置で実現する場合を例に説明したが、これに限定されるものではなく、予測処理を行う車両応答予測装置と学習処理を行う学習装置とに分けて構成してもよい。この場合には、学習装置は、学習用データ作成部１２、学習部１４、及びモデル記憶部１６を備える。車両応答予測装置は、入力データ作成部１８、予測部２０、及びモデル記憶部１６を備える。
また、上記実施形態でＣＰＵ３２がソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した学習処理及び予測処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、学習プログラム４６Ａ及び車両応答予測プログラム４６Ｂは、ＨＤＤ４６に予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
上記実施形態で説明した処理の流れも、一例であり、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよい。
１０ 車両応答予測装置（学習装置）
１２ 学習用データ作成部（作成部）
１４ 学習部
１６ モデル記憶部
１８ 入力データ作成部
２０ 予測部
３０ コンピュータ
４６Ａ 学習プログラム
４６Ｂ 車両応答予測プログラム
６０ 畳み込みニューラルネットワークモデル
６０Ａ 入力部
６０Ｂ シミュレータ部
６０Ｃ 演算部

Claims (10)

  1. 車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための予め学習された畳み込みニューラルネットワークモデルを用いて、
    予測対象の車両に対する入力の時系列と、前記予測対象の車両の特性とを表す入力データから、前記予測対象の車両の応答を予測する予測部
    を含む車両応答予測装置。
  2. 前記畳み込みニューラルネットワークモデルの少なくとも一つの畳み込み層は、一つ前の層の出力に基づく畳み込み結果と、一つ前の層の出力との和に、活性化関数を適用したものを出力とする請求項１記載の車両応答予測装置。
  3. 前記入力データは、前記車両に対する入力と前記車両の特性とを表すベクトルを、時系列順に並べた行列である請求項１又は２記載の車両応答予測装置。
  4. 前記畳み込み層のフィルタは、前記フィルタにより畳み込まれる値の時系列方向の間隔が異なる複数のフィルタを含む請求項１～請求項３の何れか１項記載の車両応答予測装置。
  5. 車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成する作成部と、
    前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する学習部と、
    を含む学習装置。
  6. 前記作成部は、
    車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた、前記車両の状態の時系列及び前記車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、前記車両の状態の時系列、及び前記車両の応答を表す学習用データを作成し、
    前記学習部は、前記畳み込みニューラルネットワークモデルの中間出力が、前記学習用データの前記車両の状態の時系列に対応し、かつ、前記畳み込みニューラルネットワークの最終出力が、前記学習用データの前記車両の応答に対応するように、前記畳み込みニューラルネットワークモデルを学習する請求項５記載の学習装置。
  7. 予測部が、車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための予め学習された畳み込みニューラルネットワークモデルを用いて、
    予測対象の車両に対する入力の時系列と、前記予測対象の車両の特性とを表す入力データから、前記予測対象の車両の応答を予測する
    車両応答予測方法。
  8. 作成部が、車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成し、
    学習部が、前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する
    学習方法。
  9. 車両に対する入力の時系列と、前記車両の特性とを表す入力データを入力とし、車両の応答を予測するための予め学習された畳み込みニューラルネットワークモデルを用いて、
    予測対象の車両に対する入力の時系列と、前記予測対象の車両の特性とを表す入力データから、前記予測対象の車両の応答を予測する
    ことをコンピュータに実行させるための車両応答予測プログラム。
  10. 車両に対する入力の時系列と前記車両の特性とに基づくシミュレーション結果として得られた車両の応答から、車両に対する入力の時系列と、前記車両の特性とを表す入力データ、及び車両の応答を表す学習用データを作成し、
    前記学習用データに基づいて、前記入力データを入力とし、前記車両の応答を予測するための畳み込みニューラルネットワークモデルを学習する
    ことをコンピュータに実行させるための学習プログラム。
JP2020137639A 2020-08-17 2020-08-17 車両応答予測装置、学習装置、方法、及びプログラム Active JP7351814B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020137639A JP7351814B2 (ja) 2020-08-17 2020-08-17 車両応答予測装置、学習装置、方法、及びプログラム
CN202110936594.7A CN114077769A (zh) 2020-08-17 2021-08-16 车辆应答预测装置、学习装置及方法
US17/403,499 US20220050944A1 (en) 2020-08-17 2021-08-16 Vehicle response predicting device, training device, method and recording medium on which a program is recorded

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020137639A JP7351814B2 (ja) 2020-08-17 2020-08-17 車両応答予測装置、学習装置、方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP2022033640A true JP2022033640A (ja) 2022-03-02
JP7351814B2 JP7351814B2 (ja) 2023-09-27

Family

ID=80223674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020137639A Active JP7351814B2 (ja) 2020-08-17 2020-08-17 車両応答予測装置、学習装置、方法、及びプログラム

Country Status (3)

Country Link
US (1) US20220050944A1 (ja)
JP (1) JP7351814B2 (ja)
CN (1) CN114077769A (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091104A (ja) * 2005-09-29 2007-04-12 Fuji Heavy Ind Ltd 車両挙動推定予測装置および車両安定化制御システム
WO2018163790A1 (ja) * 2017-03-06 2018-09-13 ソニー株式会社 情報処理装置
JP2018195029A (ja) * 2017-05-16 2018-12-06 富士通株式会社 推定プログラム、推定方法および推定装置
US20190050711A1 (en) * 2017-08-08 2019-02-14 Neusoft Corporation Method, storage medium and electronic device for detecting vehicle crashes
JP2019153246A (ja) * 2018-03-06 2019-09-12 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019220692A1 (ja) * 2018-05-15 2019-11-21 三菱電機株式会社 演算装置
JP2019214249A (ja) * 2018-06-11 2019-12-19 住友電気工業株式会社 検知装置、コンピュータプログラム、検知方法及び学習モデル
JP2020043270A (ja) * 2018-09-12 2020-03-19 東京エレクトロン株式会社 学習装置、推論装置及び学習済みモデル

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11966838B2 (en) * 2018-06-19 2024-04-23 Nvidia Corporation Behavior-guided path planning in autonomous machine applications

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091104A (ja) * 2005-09-29 2007-04-12 Fuji Heavy Ind Ltd 車両挙動推定予測装置および車両安定化制御システム
WO2018163790A1 (ja) * 2017-03-06 2018-09-13 ソニー株式会社 情報処理装置
JP2018195029A (ja) * 2017-05-16 2018-12-06 富士通株式会社 推定プログラム、推定方法および推定装置
US20190050711A1 (en) * 2017-08-08 2019-02-14 Neusoft Corporation Method, storage medium and electronic device for detecting vehicle crashes
JP2019153246A (ja) * 2018-03-06 2019-09-12 オムロン株式会社 情報処理装置、情報処理方法、及びプログラム
WO2019220692A1 (ja) * 2018-05-15 2019-11-21 三菱電機株式会社 演算装置
JP2019214249A (ja) * 2018-06-11 2019-12-19 住友電気工業株式会社 検知装置、コンピュータプログラム、検知方法及び学習モデル
JP2020043270A (ja) * 2018-09-12 2020-03-19 東京エレクトロン株式会社 学習装置、推論装置及び学習済みモデル

Also Published As

Publication number Publication date
JP7351814B2 (ja) 2023-09-27
US20220050944A1 (en) 2022-02-17
CN114077769A (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
JP6771645B2 (ja) ドメイン分離ニューラルネットワーク
AU2019373211B2 (en) Techniques for recommending items to users
US20180130203A1 (en) Automated skin lesion segmentation using deep side layers
US8504331B2 (en) Aerodynamic model identification process for aircraft simulation process
KR101934372B1 (ko) 시각적 질의응답을 위해 원소단위곱과 다중모달 잔차 학습을 이용한 데이터 처리 방법 및 시스템
JP2016146169A5 (ja)
CN111899594A (zh) 用于自动驾驶车辆的动态模型的自动化训练数据提取方法
JP6911798B2 (ja) ロボットの動作制御装置
US20210295167A1 (en) Generative networks for physics based simulations
JP2018529298A (ja) 環境コンテキストにおいて人間のような制御行動をシミュレーションするためのシステム及びコンピュータに基づく方法。
CN113272829A (zh) 迁移学习的硬件加速器扩展—将训练扩展/完成到边缘
Danglade et al. A priori evaluation of simulation models preparation processes using artificial intelligence techniques
CN115840971A (zh) 用于3d形状优化的深度参数化
Shi et al. Temporal-spatial causal interpretations for vision-based reinforcement learning
JP7351814B2 (ja) 車両応答予測装置、学習装置、方法、及びプログラム
US20210319312A1 (en) Deep learning acceleration of physics-based modeling
Wang et al. Probabilistic graph based spatial assembly relation inference for programming of assembly task by demonstration
Ardilla et al. Multi-Scale Batch-Learning Growing Neural Gas Efficiently for Dynamic Data Distributions
Xu et al. Human Behavior Learning and Transfer
US10650581B1 (en) Sketch-based 3D fluid volume generation using a machine learning system
CN112230618A (zh) 一种从全局任务自动合成多机器人分布式控制器的方法
Cunningham et al. A Validation Neural Network (VNN) metamodel for predicting the performance of deep generative designs
JP7403340B2 (ja) 物体認識モデルの流用可否を判定するシステム。
US20230325712A1 (en) System and method for imitation learning
WO2021215261A1 (ja) 情報処理方法、情報処理装置、及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220513

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230322

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230814

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230914

R151 Written notification of patent or utility model registration

Ref document number: 7351814

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151