JP2022097262A - 推定装置、推定方法、推定プログラム、及び学習モデル生成装置 - Google Patents

推定装置、推定方法、推定プログラム、及び学習モデル生成装置 Download PDF

Info

Publication number
JP2022097262A
JP2022097262A JP2020210737A JP2020210737A JP2022097262A JP 2022097262 A JP2022097262 A JP 2022097262A JP 2020210737 A JP2020210737 A JP 2020210737A JP 2020210737 A JP2020210737 A JP 2020210737A JP 2022097262 A JP2022097262 A JP 2022097262A
Authority
JP
Japan
Prior art keywords
flexible material
estimation
electrical characteristics
shape
learning model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020210737A
Other languages
English (en)
Other versions
JP7487887B2 (ja
Inventor
泰通 若尾
Yasumichi Wakao
良 櫻井
Makoto Sakurai
浩平 中嶋
Kohei Nakajima
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bridgestone Corp
University of Tokyo NUC
Original Assignee
Bridgestone Corp
University of Tokyo NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bridgestone Corp, University of Tokyo NUC filed Critical Bridgestone Corp
Priority to JP2020210737A priority Critical patent/JP7487887B2/ja
Priority to PCT/JP2021/045417 priority patent/WO2022131138A1/ja
Priority to US18/257,101 priority patent/US20240104374A1/en
Priority to CN202180084131.0A priority patent/CN116583710A/zh
Priority to EP21906501.8A priority patent/EP4265999A1/en
Publication of JP2022097262A publication Critical patent/JP2022097262A/ja
Application granted granted Critical
Publication of JP7487887B2 publication Critical patent/JP7487887B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/16Measuring arrangements characterised by the use of electric or magnetic techniques for measuring the deformation in a solid, e.g. by resistance strain gauge
    • G01B7/18Measuring arrangements characterised by the use of electric or magnetic techniques for measuring the deformation in a solid, e.g. by resistance strain gauge using change in resistance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/28Measuring arrangements characterised by the use of electric or magnetic techniques for measuring contours or curvatures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/20Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • G01L1/22Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress using resistance strain gauges
    • G01L1/225Measuring circuits therefor
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00Measuring force or stress, in general
    • G01L1/20Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress
    • G01L1/22Measuring force or stress, in general by measuring variations in ohmic resistance of solid materials or of electrically-conductive fluids; by making use of electrokinetic cells, i.e. liquid-containing cells wherein an electrical potential is produced or varied upon the application of stress using resistance strain gauges
    • G01L1/2268Arrangements for correcting or for compensating unwanted effects

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)
  • Measurement Of Length, Angles, Or The Like Using Electric Or Magnetic Means (AREA)

Abstract

Figure 2022097262000001
【課題】特殊な検出装置を用いることなく、導電性を有する柔軟材料の変形時における電気特性を利用して、圧力刺激の形状情報を推定する。
【解決手段】推定装置(1)は、導電性を有する柔軟材料(2)における複数の検出点の間の電気特性を検出部で検出する。推定部(5)は、柔軟材料(2)学習モデル(51)を用いて柔軟材料(2)の電気特性に基づき推定対象物の形状を推定する。学習モデル(51)は、柔軟材料(2)の変形に応じて時系列に変化する電気特性と、柔軟材料に変形を与える圧力刺激の前記柔軟材料における形状を示す形状情報(3)とを学習用データとして用いて、電気特性を入力(4)とし、形状情報を出力するように学習される。
【選択図】図1

Description

本発明は、推定装置、推定方法、推定プログラム、及び学習モデル生成装置に関する。
従来より、ウレタン部材等の柔軟材料の変形検出が行われている。ウレタン部材等の柔軟材料では、変形を阻害せずに変形を検出することは困難である。また、金属変形等の剛体の検出に用いられる歪センサは柔軟材料に利用困難なため、柔軟材料の変形を検出するためには、特殊な検出装置が要求される。例えば、カメラによる物体の変位と振動を測定して、変形画像を取得し、変形量を抽出する技術が知られている(例えば、特許文献1参照)。また、光の透過量から変形量を推定する柔軟触覚センサに関する技術も知られている(例えば、特許文献2参照)。
国際公開2017029905号のパンフレット 特開2013-101096公報
しかしながら、例えば、カメラ及び画像解析手法を用いて物体の変位等の変形量を検出する手法を用いて柔軟材料の変形を検出する場合、カメラ及び画像解析等を含むシステムは、大規模なものとなり、装置の大型化を招くので好ましくはない。また、カメラを用いた光学手法ではカメラに撮像されない隠れた部分の計測は出来ない。従って、柔軟材料の変形を検出するのには改善の余地がある。
本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料の変形時における電気特性を利用して、圧力刺激の形状情報を推定することができる推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供することを目的とする。
上記目的を達成するために、第1態様は、
導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部と、
前記柔軟材料の変形に応じて時系列に変化する電気特性と、前記柔軟材料に変形を与える圧力刺激の前記柔軟材料における形状を示す形状情報とを学習用データとして用いて、前記電気特性を入力とし、前記形状情報を出力するように学習された学習モデルに対して、推定対象物の前記検出部で検出された電気特性を入力し、前記推定対象物の形状情報を推定する推定部と、
を含む推定装置である。
第2態様は、第1態様の推定装置において、
前記柔軟材料は、前記変形に応じて電気特性が変化する材料であり、
前記学習モデルは、検出された電気特性に対応する形状情報を出力するように学習される。
第3態様は、第1態様又は第2態様の推定装置において、
前記柔軟材料の電気特性は、体積抵抗である。
第4態様は、第1態様から第3態様の何れか1態様の推定装置において、
前記柔軟材料は、繊維状の骨格を有する構造、又は内部に微小な空気泡が複数散在する構造のウレタン材に導電性が付与された材料である。
第5態様は、第1態様から第4態様の何れか1態様の推定装置において、
前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルである。
第6態様は、
コンピュータが
導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部からの前記電気特性を取得し、
前記柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性と、前記柔軟材料に変形を与える圧力刺激の形状情報とを学習用データとして用いて、前記電気特性を入力とし、前記形状情報を出力するように学習された学習モデルに対して、推定対象物の前記取得された電気特性を入力し、前記推定対象物の形状情報を推定する、
推定方法である。
第7態様は、
コンピュータに
導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部からの前記電気特性を取得し、
前記柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性と、前記柔軟材料に変形を与える圧力刺激の形状情報とを学習用データとして用いて、前記電気特性を入力とし、前記形状情報を出力するように学習された学習モデルに対して、推定対象物の前記取得された電気特性を入力し、前記推定対象物の形状情報を推定する、
処理を実行させるための推定プログラムである。
第8態様は、
導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、前記柔軟材料に変形を与える圧力刺激の形状情報と、を取得する取得部と、
前記取得部の取得結果に基づいて、前記柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性を入力とし、対象物の形状情報を出力するように学習された学習モデルを生成する学習モデル生成部と、
を含む学習モデル生成装置である。
本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料の変形時における電気特性を利用して、圧力刺激の形状情報を推定することができる、という効果を有する。
実施形態に係る柔軟材料の形状推定装置の構成の一例を示す図である。 実施形態に係る柔軟材料の電気経路の概念を示す図である。 実施形態に係る学習処理に関する図である。 実施形態に係る測定装置の一例を示す図である。 実施形態に係る押圧部材の一例を示す図である。 実施形態に係る柔軟材料における検出点の一例を示す図である。 実施形態に係る学習データ収集処理の一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る学習処理の流れの一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る柔軟材料の形状推定装置の構成の一例を示す図である。 実施形態に係る推定処理の流れの一例を示すフローチャートである。 実施形態に係る圧力刺激及び柔軟材料の電気特性に関する時間特性を示す図であり、(A)は圧力値、(B)は柔軟材料の深さ、(C)は電気抵抗値、(D)は電気抵抗値の変化量を示す。 実施形態に係る形状推定に関する検証結果を示す図である。 実施形態に係る形状推定に関する検証結果を示す図である。 実施形態に係る形状推定に関する検証結果を示す図である。 実施形態に係る柔軟材料の電気特性に関する時間特性を示す図であり、(A)は電気抵抗値、(B)は電気抵抗値の変化量を示す。 実施形態に係る電気特性の分析結果を示す図であり、(A)は複数の押圧部材の結果を示し、(B)は一部の押圧部材の結果を示す。 実施形態に係る形状推定に関する検証結果を示す図である。 実施形態に係る形状推定に関する検証結果を示す図である。 実施形態に係る電気特性の分析結果を示す図であり、(A)は電気抵抗値の結果を示し、(B)は(A)を異なる方向から参照した結果を示す。
以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。
なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。また、本開示は、以下の実施形態に何ら限定されるものではなく、本開示の目的の範囲内において、適宜変更を加えて実施することができる。また、本開示では、主として非線形に変形する部材に対する物理量の推定を説明するが、線形に変形する部材に対する物理量の推定に適用可能であることは言うまでもない。
本開示において「柔軟材料」とは、外部力が与えられることによって少なくとも一部が撓み等のように変形可能な材料を含む概念であり、ゴム材料等の柔らかい弾性体、繊維状の骨格を有する構造体、及び内部に微小な空気泡が複数散在する構造体を含む。外部力の一例には圧力が挙げられる。繊維状の骨格を有する構造体、及び内部に微小な空気泡が複数散在する構造体の一例には、ウレタン材などの高分子材料が挙げられる。「導電性が付与された柔軟材料」とは、導電性を有する材料を含む概念であり、導電性を付与するために導電材を柔軟材料に付与した材料、及び柔軟材料が導電性を有する材料を含む。また、導電性が付与された柔軟材料は、変形に応じて電気特性が変化する機能を有する。なお、変形に応じて電気特性が変化する機能を生じさせる物理量の一例には圧力刺激による圧力値が挙げられる。柔軟材料を変形させる場合、圧力刺激の形状を伴って柔軟材料を変形させることが可能である。また、変形に応じて変化する電気特性を表す物理量の一例には、電気抵抗値が挙げられる。この電気抵抗値は、柔軟材料の体積抵抗値と捉えることが可能である。
柔軟材料は、導電性を与えることで、変形に応じた電気特性が現れる。すなわち、導電性が付与された柔軟材料は、図2に示すように、電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりする。また、電気経路が一時的に切断される挙動、及び以前と異なる接続が生じる挙動を示す場合もある。従って、柔軟材料は、予め定められた距離を隔てた位置(例えば検出点)の間では、与えられた力(例えば圧力刺激)に応じて異なる電気特性を有する挙動を示す。このため、柔軟材料の形状変化の観点では、柔軟材料に与えられた力(例えば圧力刺激)及び柔軟材料に与えられた力の形状に応じて電気特性が変化すると考えられる。
本開示の推定装置は、柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性と、柔軟材料に変形を与える圧力刺激の形状情報とを学習用データとして用いて、電気特性を入力とし、形状情報を出力するように学習された学習モデルを用いる。推定装置は、学習モデルに対して、推定対象物である柔軟材料における電気特性を入力し、その出力を、推定対象物の形状情報として推定する。
なお、本開示では、弾性体における物理量を把握するために、柔軟材料の一例として、ウレタン部材に導電材料を浸潤させた部材(以下、導電性柔軟部材という。)を適用した場合を説明する。また、柔軟材料を変形させる物理量に、予め定めた形状の付与部材による圧力刺激を適用し、柔軟材料の変形に応じて変化する物理量に、電気抵抗値を適用した場合を説明する。
図1に、本開示の推定装置としての柔軟材料の形状推定装置1の構成の一例を示す。
柔軟材料の形状推定装置1における推定処理は、導電性柔軟部材2に与えられた圧力刺激をラベルとする付与データ(少なくとも形状値)及び導電性柔軟部材2の電気抵抗データ(すなわち、電気抵抗値)を入力として学習を行った学習済みの学習モデルを用いて、導電性柔軟部材2に与えられた未知の圧力刺激の形状データを推定し、出力する。
すなわち、柔軟材料の形状推定装置1は、柔軟材料に与えられた圧力刺激により形状変化した柔軟材料における電気特性から、柔軟材料に与えられた圧力刺激の形状を推定する。これにより、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、柔軟材料に与えられた圧力刺激の形状を同定することが可能となる。
本実施形態では、導電性柔軟部材2は、検出部として適用される。すなわち、図1に示すように、柔軟材料の形状推定装置1は、推定部5を備えている。推定部5には、導電性柔軟部材2に与えられた圧力刺激3に対応する電気抵抗の大きさ(電気抵抗値)を表す入力データ4が入力される。また、推定部5は、推定結果の導電性柔軟部材2に与えられた圧力刺激3の物理量(形状値)を表す出力データ6を出力する。推定部5は、学習済みの学習モデル51を含んでいる。
学習モデル51は、圧力刺激3が与えられた導電性柔軟部材2の電気抵抗(入力データ4)から、導電性柔軟部材2に与えられた圧力刺激の形状(出力データ6)を導出する学習を済ませたモデルである。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。
学習モデル51は、学習処理部52(図3)の学習処理により生成される。学習処理部52は、圧力刺激3が与えられた導電性柔軟部材2における時系列な電気抵抗(入力データ4)を用いて学習処理を行う。すなわち、圧力刺激3の形状をラベルとして導電性柔軟部材2における予め定めた距離を隔てた検出点の間の電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応する圧力刺激3の形状を示す情報(出力データ6)と、のセットを大量に含む。ここでは、例えば、導電性柔軟部材2の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、導電性柔軟部材2に圧力刺激が与えられた場合における逐次の電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。
次に、学習処理部52が行う学習処理について説明する。
まず、学習処理に用いる学習データについて説明する。
図4に、導電性柔軟部材2における物理量を測定する測定装置7の一例を示す。
測定装置7は、基台71に固定された固定部72に、導電性柔軟部材2に圧力刺激(導電性柔軟部材2を変形させる物理量)を与えるための圧力付与部73が取り付けられる。圧力付与部73は、圧力付与本体73A、圧力付与本体73Aから伸縮可能なアーム73B、及びアーム73Bの先端に取り付けられた先端部73Cを備えている。圧力付与部73では、圧力付与本体73Aが固定部72に固定され、入力信号に応じてアーム73Bが伸縮されて、先端部73Cが所定方向(矢印F方向)に移動される。
導電性柔軟部材2は基台71に設置され、圧力付与部73の先端部73Cと導電性柔軟部材2との間には、所定形状の押圧部材74が配置される。なお、本実施形態では、所定形状の押圧部材74の一例として、図5に示す押圧部材74A~74Eを用いる。押圧部材74Aは導電性柔軟部材2に対して円形状に圧力刺激を与える押圧部材であり、押圧部材74Bは四角形形状に圧力刺激を与える押圧部材であり、押圧部材74Cは三角形形状に圧力刺激を与える押圧部材である。なお、本実施形態では、押圧部材74の向きを考慮して、押圧部材74Bとは異なる向きで圧力刺激を与える押圧部材を押圧部材74Dとし、押圧部材74Cとは異なる向きで圧力刺激を与える押圧部材を押圧部材74Eとした。
圧力付与部73は、アーム73Bが伸長することによって、先端部73Cが押圧部材74を導電性柔軟部材2に押し込むように作動する。導電性柔軟部材2の基台71側の面には、電気特性(すなわち導電性柔軟部材2の電気特性を示す物理量であり、ここでは電気抵抗値)を検出するための検出点75を備える。検出点75は、導電性柔軟部材2の電気抵抗値を検出するために、所定距離を隔てた異なる複数の位置に配置される。
本実施形態では、導電性柔軟部材2における検出点75の一例として、図6に示す格子状に配置された複数(図6では8個)の検出点75を適用する。これら複数の検出点75のうちの何れか2個の検出点75を選択することで、導電性柔軟部材2における電気抵抗値(例えば、体積抵抗値)を検出することが可能となる。図6では8個の検出点75の各々として検出点75を示す図形(円図形)内に第1から第8の各々を示す符号を表記した。また、図6に示す例では、第1の検出点75と第2の検出点75とにより電気抵抗値を検出する第1の検出セット#1が示されている。第2の検出点75と第3の検出点75とは第2の検出セット#2を示し、第3の検出点75と第4の検出点75とは第3の検出セット#3を示し、第4の検出点75と第1の検出点75とは第4の検出セット#4を示す。第5の検出点75と第7の検出点75とは第5の検出セット#5を示し、第6の検出点75と第8の検出点75とは第6の検出セット#6を示す。第2の検出点75と第4の検出点75とは第7の検出セット#7を示し、第1の検出点75と第3の検出点75とは第8の検出セット#8を示す。
なお、本実施形態では、上述した検出セットの何れか1つの検出セットで導電性柔軟部材2の電気特性(電気抵抗値)を検出する場合を説明する。
測定装置7は、検出点75に接続して電気特性(すなわち電気抵抗値)を検出する電気特性検出部76を備える。測定装置7は、圧力付与部73、及び電気特性検出部76に接続されたコントローラ70を備えている。コントローラ70は、圧力付与部73の制御を行い、導電性柔軟部材2に対して圧力刺激を与え、導電性柔軟部材2への圧力刺激による電気抵抗値を取得し、記憶する。なお、記憶される電気抵抗値には、導電性柔軟部材2への圧力刺激の形状、すなわち押圧部材74の形状を示す情報が対応付けられる。
測定装置7は、押圧部材74の押圧制御において、押圧部材74の形状に対して、導電性柔軟部材2における電気抵抗値のデータセットを時系列に複数取得可能となる。
コントローラ70は、図示しないCPUを含むコンピュータを含んで構成可能であり、学習データ収集処理を実行するようになっている。図7に学習データ収集処理の一例を示す。コントローラは、ステップS100で、導電性柔軟部材2に対して押圧部材74による圧力刺激の指示を行い、ステップS102で、導電性柔軟部材2における電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値に押圧部材74の形状をラベルとして付与して、記憶する。コントローラ70は、これらの押圧部材74の形状、及び導電性柔軟部材2の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。
従って、コントローラ70は、導電性柔軟部材2への押圧部材74による圧力刺激の押圧制御を行うことによって、押圧部材74の形状毎に、導電性柔軟部材2における電気抵抗値を時系列に取得し、記憶することが可能となる。このコントローラ70に記憶された押圧部材74の形状毎の時系列な導電性柔軟部材2の電気抵抗値のセットが学習データとなる。
次に、図8を参照して、学習処理部52について説明する。
学習処理部52は、生成器54と演算器56とを含む。生成器54は、入力である時系列に取得された電気抵抗値の前後関係を考慮して出力を生成する機能を有する。
また、学習処理部52は、学習用データとして、測定装置7で測定した入力データ4(電気抵抗値)と、圧力刺激として導電性柔軟部材2に与えた押圧部材74に関するデータである出力データ6(形状)とのセットを多数保持している。
図8に示す例では、生成器54は、入力層540、中間層542、および出力層544を含んで、公知のニューラルネットワーク(NN:Neural Network)を構成している。ニューラルネットワーク自体は公知の技術であるため詳細な説明は省略するが、中間層542は、ノード間結合およびフィードバック結合を有するノード群(ニューロン群)を多数含む。その中間層542には、入力層540からのデータが入力され、中間層542の演算結果のデータは、出力層544へ出力される。
生成器54は、入力された入力データ4(電気抵抗)から押圧部材74の形状を表す生成出力データ6Aを生成するニューラルネットワークである。生成出力データ6Aは、入力データ4(電気抵抗)から導電性柔軟部材2に圧力刺激が与えられた押圧部材74の形状を推定したデータである。生成器54は、時系列に入力された入力データ4(電気抵抗)から、導電性柔軟部材2に圧力刺激が与えられた押圧部材74の形状に近い形状を示す生成出力データを生成する。生成器54は、多数の入力データ4(電気抵抗)を用いて学習することで、より導電性柔軟部材に圧力刺激が与えられた押圧部材74の形状に近い生成出力データ6Aを生成できるようになる。
演算器56は、生成出力データ6Aと、学習データの出力データ6とを比較し、その比較結果の誤差を演算する演算器である。学習処理部52は、生成出力データ6A、および学習データの出力データ6を演算器56に入力する。これに応じて、演算器56は、生成出力データ6Aと、学習データの出力データ6との誤差を演算し、その演算結果を示す信号を出力する。
学習処理部52は、演算器56で演算された誤差に基づいて、ノード間の結合の重みパラメータをチューニングする、生成器54の学習を行う。具体的には、生成器54における入力層540と中間層542とのノード間の結合の重みパラメータ、中間層542内のノード間の結合の重みパラメータ、および中間層542と出力層544とのノード間の結合の重みパラメータの各々を例えば勾配降下法や誤差逆伝搬法等の手法を用いて、生成器54にフィードバックする。すなわち、学習データの出力データ6を目標として、生成出力データ6Aと学習データの出力データ6との誤差を最小化するように全てのノード間の結合を最適化する。
学習モデル51は、学習処理部52の学習処理により生成される。学習モデル51は、学習処理部52による学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現される。
学習処理部52は、図示しないCPUを含むコンピュータを含んで構成し、学習処理を実行することが可能である。例えば、図9に学習処理の一例を示すように、学習処理部52は、ステップS110で、時系列に測定した結果の学習データである、押圧部材74の形状を示す情報をラベルとした入力データ4(電気抵抗)を取得する。学習処理部52は、ステップS112で、時系列に測定した結果の学習データを用いて学習モデル51を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、ステップS114で、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51として記憶する。
なお、生成器54は、時系列入力の前後関係を考慮して出力を生成する機能を有する再帰型ニューラルネットワークを用いてもよく、他の手法を用いてもよい。
そして、上記柔軟材料の形状推定装置1では、以上に例示した手法により生成した学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、導電性柔軟部材2に対して押圧部材74による圧力刺激における時系列な電気抵抗値から導電性柔軟部材2に押圧された押圧部材74の形状を同定することも不可能ではない。
なお、学習処理部52による処理は、本開示の学習モデル生成装置の処理の一例である。また、柔軟材料の形状推定装置1は、本開示の推定部および推定装置の一例である。
ところで、上述したように、導電性柔軟部材2は、電気経路が複雑に連携し(例えば、図2参照)、変形に応じた電気経路の伸縮、膨縮、一時的な切断、及び新たな接続が生じる等の挙動を示し、結果的に、与えられた力(例えば圧力刺激)に応じて異なる電気特性を有する挙動を示す。このことは、導電性柔軟部材2を、導電性柔軟部材2の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、柔軟材料の形状推定装置1は、物理的なリザーバコンピューティング(PRC:Physical Reservoir Computing)と呼ばれるネットワークモデル(以下、PRCNという。)に、導電性柔軟部材2を適用することが可能である。PRCおよびPRCN自体は公知の技術であるため、詳細な説明を省略するが、すなわち、PRC、及びPRCNは、導電性柔軟部材2の変形に関する情報の推定に好適に適用可能である。
図10に、導電性柔軟部材2を、導電性柔軟部材2の変形に関するデータを貯留するリザーバとして扱って学習する学習処理部52の一例を示す。導電性柔軟部材2は、多様な圧力刺激の各々に応じた電気特性(電気抵抗値)となり、電気抵抗値を入力する入力層として機能し、また、導電性柔軟部材2の変形に関するデータを貯留するリザーバ層として機能する。導電性柔軟部材2は、与えられた圧力刺激3(押圧部材の形状)に応じて異なる電気特性(入力データ4)を出力するので、推定層で、導電性柔軟部材2の電気抵抗値から与えられた圧力刺激3(押圧部材の形状)を推定することが可能である。従って、学習処理では、推定層を学習すればよい。
上述の柔軟材料の形状推定装置1は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。
図11に、柔軟材料の形状推定装置1の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで構成した場合の一例を示す。
図8に示す柔軟材料の形状推定装置1として機能するコンピュータは、図11に示すコンピュータ本体100を備えている。コンピュータ本体100は、CPU102、揮発性メモリ等のRAM104、ROM106、ハードディスク装置(HDD)等の補助記憶装置108、及び入出力インターフェース(I/O)110を備えている。これらのCPU102、RAM104、ROM106、補助記憶装置108、及び入出力I/O110は、相互にデータ及びコマンドを授受可能にバス112を介して接続された構成である。また、入出力I/O110には、外部装置と通信するための通信部114、及びディスプレイやキーボード等の操作表示部116が接続されている。通信部114は、導電性柔軟部材2との間で、入力データ4(電気抵抗)を取得する機能する。すなわち、通信部114は、検出部である、導電性柔軟部材2を含み、導電性柔軟部材2における検出点75に接続された電気特性検出部76から入力データ4(電気抵抗)を取得することが可能である。
補助記憶装置108には、コンピュータ本体100を本開示の推定装置の一例として柔軟材料の形状推定装置1として機能させるための制御プログラム108Pが記憶される。CPU102は、制御プログラム108Pを補助記憶装置108から読み出してRAM104に展開して処理を実行する。これにより、制御プログラム108Pを実行したコンピュータ本体100は、本開示の推定装置の一例として柔軟材料の形状推定装置1として動作する。
なお、補助記憶装置108には、学習モデル51を含む学習モデル108M、及び各種データを含むデータ108Dが記憶される。制御プログラム108Pは、CD-ROM等の記録媒体により提供するようにしても良い。
次に、コンピュータにより実現された柔軟材料の形状推定装置1における推定処理について説明する。
図12に、コンピュータ本体100において、実行される制御プログラム108Pによる推定処理の流れの一例を示す。
図12に示す推定処理は、コンピュータ本体100に電源投入されると、CPU102により実行される。すなわち、CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。
まず、CPU102は、ステップS200で、補助記憶装置108の学習モデル108Mから学習モデル51を読み出し、RAM104に展開することで、学習モデル51を取得する。具体的には、学習モデル51として表現された重みパラメータによるノード間の結合となるネットワークモデルを、RAM104に展開する。よって、重みパラメータによるノード間の結合が実現された学習モデル51が構築される。
次に、CPU102は、ステップS202で、導電性柔軟部材2に与えられた圧力刺激による押圧部材の形状を推定する対象となる未知の入力データ4(電気抵抗)を、通信部114を介して時系列に取得する。
次に、CPU102は、ステップS204で、ステップS200で取得した学習モデル51を用いて、ステップS202において取得した入力データ4(電気抵抗)に対応する出力データ6(未知の推定対象物の形状)を推定する。
そして、次のステップS206で、推定結果の出力データ6(推定対象物の形状)を、通信部114を介して出力して、本処理ルーチンを終了する。
なお、図12に示す推定処理は、本開示の推定方法で実行される処理の一例である。
以上説明したように、本開示によれば、導電性柔軟部材2に対して、与えられた圧力刺激3に応じて変化する入力データ4(電気抵抗)から、導電性柔軟部材2に圧力刺激を与えた対象物の形状を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、柔軟部材に与えられた圧力刺激、例えば推定対象物の形状を推定することが可能となる。
次に、上述した柔軟材料の形状推定装置1において、導電性柔軟部材2に対して対象物を押圧した場合における対象物の形状推定に関して検証した検証結果を説明する。
図13には、導電性柔軟部材2に対して押圧部材74によって圧力刺激を与えた場合の圧力刺激及び導電性柔軟部材2の電気特性(電気抵抗値)の特性が示されている。図13(A)には、導電性柔軟部材2に与えた圧力刺激である圧力値の時間特性が示されている。図13(B)には、図13(A)に示す圧力値が導電性柔軟部材2に与えられた場合における導電性柔軟部材2の変形量のうちの深さの時間特性が示されている。図13(C)には、図13(A)に示す圧力値が導電性柔軟部材2に与えられた場合に、検出セット#1における導電性柔軟部材2の電気抵抗値の時間特性が示されている。図13(D)には、導電性柔軟部材2への圧力刺激開始、すなわち、押圧開始からの電気抵抗値の変化量に関する時間特性が示されている。この電気抵抗値の変化量に関する時間特性の一例には、差分の時間特性が挙げられる。
図13に示すように、導電性柔軟部材2に対して圧力刺激が与えられた場合、圧力刺激に対応して導電性柔軟部材2の電気抵抗値(体積抵抗値)が変化する特性を示すことが確認できる。また、押圧開始からの電気抵抗値の変化量に関する時間特性(例えば、差分を示す差分時間特性)からも、柔軟材料の変形に応じて時系列に変化する電気抵抗値になることを確認できる。
次に、導電性柔軟部材2に圧力刺激を与える押圧部材74の形状の相違による推定結果を検証した。
図14には、導電性柔軟部材2に圧力刺激を与える押圧部材74の形状の相違による推定結果を検証した検証結果が示されている。この検証では、押圧部材74について、異なる形状の押圧部材74A~74Eの各々について、40回の押圧試験を行い、各々の時系列に変化した電気抵抗値を学習データとして収集した。そして、収集した学習データで学習された学習モデルを構築し、その学習モデルを用いて、30回の形状推定試験を実施した。なお、図14では、押圧部材74AをCと表記し、押圧部材74BをSと表記し、押圧部材74CをTと表記し、押圧部材74DをT90と表記し、押圧部材74EをS45と表記している。推定結果は押圧部材74の押圧時における推定部材の形状に対する推定回数を示す。
図14に示すように、上述した柔軟材料の形状推定装置1によれば、導電性柔軟部材2に対して異なる形状の押圧部材74によって圧力刺激を与えた場合であっても、形状を推定可能であることを確認できる。
図15には、異なる検出セットで押圧部材74の形状の推定結果を検証した検証結果が示されている。この検証では、同一の押圧部材74について、異なる検出セット#1~#8の各々について、40回の押圧試験を行い、各々の時系列に変化した電気抵抗値を学習データとして収集した。そして、収集した学習データで学習された学習モデルを構築し、その学習モデルを用いて、30回の形状推定試験を実施した。
図15に示すように、上述した柔軟材料の形状推定装置1によれば、検出セット、すなわち、検出位置を設定することで(例えば検出セット#1)、1つの検出セットであっても、形状を良好に推定可能であることを確認できる。
図16には、異なる複数の検出セットの組み合わせによって押圧部材74の形状の推定結果を検証した検証結果が示されている。この検証でも、上述した40回の押圧試験を行い、収集した学習データで学習された学習モデルを用いて、30回の形状推定試験を実施した。
図16に示すように、上述した柔軟材料の形状推定装置1によれば、複数の検出セットを組み合わせることで、何れの位置の検出セットであっても、形状を良好に推定可能であることを確認できる。
図17には、複数の押圧部材74の各々によって導電性柔軟部材2に圧力刺激が与えられた場合の導電性柔軟部材2の電気特性(電気抵抗値)に関する時間特性が示されている。図17(A)には、押圧部材74A~74Eの各々で圧力刺激を導電性柔軟部材2に与えた場合における導電性柔軟部材2の電気抵抗値の時間特性が示されている。図17(B)には、圧力刺激開始、すなわち、押圧開始からの電気抵抗値の変化量を、押圧部材74A~74Eの各々について示されている。
図17に示すように、異なる形状の押圧部材74A~74Eの各々について、導電性柔軟部材2の電気抵抗値(体積抵抗値)が変化する特性が相違することを確認できる。
図18には、図17に示す電気特性に関して、主成分分析した結果を3次元表示した結果が示されている。図18(A)には押圧部材74A~74Eの各々に関する主成分分析結果が示され、図18(B)には押圧部材74D、及び74Eに関する主成分分析結果が示されている。
図18に示すように、異なる形状の押圧部材74A~74Eの各々について、分離された構造となり、異なる形状の押圧部材74A~74Eの各々が相違することを確認できる。
次に、学習済みの学習モデルを用いて学習時とは異なる条件で導電性柔軟部材2に圧力刺激を与えた場合の推定結果を検証した。
図19には、押圧部材74の大きさ及び押圧位置の相違による推定結果を検証した検証結果が示されている。図19では、円形の押圧部材74Aについて学習した位置から所定距離(例えば5mm)だけ離間させた位置の条件による押圧部材74AをCと表記し、さらに離間(例えば10mm)離間させた位置の条件による押圧部材74AをCと表記した。また、学習したときの押圧部材74Aの大きさ(例えば直径50mm)から小さくした条件(例えば直径40mm)による押圧部材74AをCと表記し、さらに小さくした条件(例えば直径30mm)による押圧部材74AをCと表記している。四角形の押圧部材74Bでは、学習した位置から所定距離(例えば5mm)だけ離間させた位置の条件による押圧部材74BをSと表記し、さらに離間(例えば10mm)離間させた位置の条件による押圧部材74BをSと表記した。三角形の押圧部材74Cでも、学習した位置から所定距離(例えば5mm)だけ離間させた位置の条件による押圧部材74CをTと表記し、さらに離間(例えば10mm)離間させた位置の条件による押圧部材74CをTと表記した。
図19に示すように、押圧部材74の形状の相違等の条件が、推定結果に影響することを確認できる。よって、学習時の条件と相違する条件では推定処理が相違する場合があることが確認された。
そこで、押圧部材74の形状の相違等の条件を網羅するように学習された学習モデルを用いた形状の推定結果を検証した。
図20には、上述した押圧部材74の大きさ及び押圧位置の相違による様々な条件下で学習された学習モデルを用いた推定結果を検証した検証結果が示されている。図20に示すように、ほぼ全ての条件について、形状を良好に推定可能であることが確認できる。
図21には、図20に示す検証結果について、主成分分析した結果を3次元表示した結果が示されている。図21(A)には検出セット#1で電気抵抗値を検出した結果が示され、図21(B)には図21(A)を異なる方向から参照した結果が示されている。
図21に示すように、様々な条件下であっても、各々が学習された学習モデルを用いることで、押圧部材74A~74Eの各々の形状に関する結果が分離された構造となり、異なる形状の押圧部材74A~74Eの各々を判別できる。
上述したように、本開示では、柔軟部材の一例として導電性柔軟部材を適用した場合を説明したが、柔軟部材は導電性柔軟部材に限定されないことは勿論である。
また、本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。
また、上記実施形態では、検査処理を、フローチャートを用いた処理によるソフトウエア構成によって実現した場合について説明したが、これに限定されるものではなく、例えば各処理をハードウェア構成により実現する形態としてもよい。
また、推定装置の一部、例えば学習モデル等のニューラルネットワークを、ハードウェア回路として構成してもよい。
1 形状推定装置
2 導電性柔軟部材
3 圧力刺激
4 入力データ
5 推定部
6 出力データ
6A 生成出力データ
7 測定装置
51 学習モデル
52 学習処理部
54 生成器
56 演算器
70 コントローラ
71 基台
72 固定部
73 圧力付与部
74 押圧部材
75 検出点
76 電気特性検出部

Claims (8)

  1. 導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部と、
    前記柔軟材料の変形に応じて時系列に変化する電気特性と、前記柔軟材料に変形を与える圧力刺激の前記柔軟材料における形状を示す形状情報とを学習用データとして用いて、前記電気特性を入力とし、前記形状情報を出力するように学習された学習モデルに対して、推定対象物の前記検出部で検出された電気特性を入力し、前記推定対象物の形状情報を推定する推定部と、
    を含む推定装置。
  2. 前記柔軟材料は、前記変形に応じて電気特性が変化する材料であり、
    前記学習モデルは、検出された電気特性に対応する形状情報を出力するように学習される
    請求項1に記載の推定装置。
  3. 前記柔軟材料の電気特性は、体積抵抗である、
    請求項1又は請求項2に記載の推定装置。
  4. 前記柔軟材料は、繊維状の骨格を有する構造、又は内部に微小な空気泡が複数散在する構造のウレタン材に導電性が付与された材料である、
    請求項1から請求項3の何れか1項に記載の推定装置。
  5. 前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルである
    請求項1から請求項4の何れか1項に記載の推定装置。
  6. コンピュータが
    導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部からの前記電気特性を取得し、
    前記柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性と、前記柔軟材料に変形を与える圧力刺激の形状情報とを学習用データとして用いて、前記電気特性を入力とし、前記形状情報を出力するように学習された学習モデルに対して、推定対象物の前記取得された電気特性を入力し、前記推定対象物の形状情報を推定する、
    推定方法。
  7. コンピュータに
    導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部からの前記電気特性を取得し、
    前記柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性と、前記柔軟材料に変形を与える圧力刺激の形状情報とを学習用データとして用いて、前記電気特性を入力とし、前記形状情報を出力するように学習された学習モデルに対して、推定対象物の前記取得された電気特性を入力し、前記推定対象物の形状情報を推定する、
    処理を実行させるための推定プログラム。
  8. 導電性を有する柔軟材料における複数の検出点の間の電気特性を検出する検出部からの前記電気特性と、前記柔軟材料に変形を与える圧力刺激の形状情報と、を取得する取得部と、
    前記取得部の取得結果に基づいて、前記柔軟材料の変形に応じて変化する時系列情報が対応付けられた電気特性を入力とし、対象物の形状情報を出力するように学習された学習モデルを生成する学習モデル生成部と、
    を含む学習モデル生成装置。
JP2020210737A 2020-12-18 2020-12-18 推定装置、推定方法、推定プログラム、及び学習モデル生成装置 Active JP7487887B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020210737A JP7487887B2 (ja) 2020-12-18 2020-12-18 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
PCT/JP2021/045417 WO2022131138A1 (ja) 2020-12-18 2021-12-09 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
US18/257,101 US20240104374A1 (en) 2020-12-18 2021-12-09 Estimation device, estimation method, estimation program, and learning model generation device
CN202180084131.0A CN116583710A (zh) 2020-12-18 2021-12-09 估计装置、估计方法、估计程序以及学习模型生成装置
EP21906501.8A EP4265999A1 (en) 2020-12-18 2021-12-09 Estimation device, estimation method, estimation program, and learning model generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020210737A JP7487887B2 (ja) 2020-12-18 2020-12-18 推定装置、推定方法、推定プログラム、及び学習モデル生成装置

Publications (2)

Publication Number Publication Date
JP2022097262A true JP2022097262A (ja) 2022-06-30
JP7487887B2 JP7487887B2 (ja) 2024-05-21

Family

ID=82059150

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020210737A Active JP7487887B2 (ja) 2020-12-18 2020-12-18 推定装置、推定方法、推定プログラム、及び学習モデル生成装置

Country Status (5)

Country Link
US (1) US20240104374A1 (ja)
EP (1) EP4265999A1 (ja)
JP (1) JP7487887B2 (ja)
CN (1) CN116583710A (ja)
WO (1) WO2022131138A1 (ja)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5722259B2 (ja) 2011-10-11 2015-05-20 タッチエンス株式会社 柔軟触覚センサ
JP2014228507A (ja) 2013-05-27 2014-12-08 日本電信電話株式会社 伸長センサおよび測定装置
AU2016308995B2 (en) 2015-08-19 2019-02-14 National Institute Of Advanced Industrial Science And Technology Method, device, and program for measuring displacement and vibration of object by single camera

Also Published As

Publication number Publication date
WO2022131138A1 (ja) 2022-06-23
CN116583710A (zh) 2023-08-11
US20240104374A1 (en) 2024-03-28
JP7487887B2 (ja) 2024-05-21
EP4265999A1 (en) 2023-10-25

Similar Documents

Publication Publication Date Title
US10664754B2 (en) Information processing apparatus
Abdeljaber et al. Nonparametric structural damage detection algorithm for ambient vibration response: utilizing artificial neural networks and self-organizing maps
JP7432201B2 (ja) 推定装置、推定方法、プログラム、及び学習モデル生成装置
JP6680750B2 (ja) 制御装置及び機械学習装置
JP6232273B2 (ja) 指先接触状態測定装置
Sarego et al. Artificial neural networks for impact force reconstruction on composite plates and relevant uncertainty propagation
Ruppel et al. Simulation of the SynTouch BioTac sensor
JP2017096782A (ja) 触感検知システム及び触感検知体
WO2022131138A1 (ja) 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
CN108803690A (zh) 数值控制装置
Gurung et al. Self-sensing SMA actuator using extended Kalman filter and artificial neural network
JP2022174667A (ja) 推定装置、推定方法、及びプログラム
JP7339691B2 (ja) 検出装置及びセンサのキャリブレーション方法
JP2007114061A (ja) ひずみ測定方法およびひずみ測定装置
Khalil et al. Sensor measurements only with transmissibility operators for fault detection in flexible beams
CN113704085A (zh) 用于检查技术系统的方法和设备
JP2023017635A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
Yan et al. Computational framework for dense sensor network evaluation based on model-assisted probability of detection
WO2023112368A1 (ja) 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
Sladek et al. The dynamic response of a tactile sensor
JP2023088197A (ja) 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
JP2023088171A (ja) 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
Cirella et al. System Identification of Beam-Like Structures Using Residual Indicators Derived from Stochastic Subspace Analysis
Delo et al. Using the inverse finite‐element method to harmonise classical modal analysis with fibre‐optic strain data for robust population‐based structural health monitoring
Yousif et al. Parameter Identification in Elasto-Plastic Plates using Neural Networks

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230731

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240426

R150 Certificate of patent or registration of utility model

Ref document number: 7487887

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150