JP2023017592A - 推定装置、推定方法、推定プログラム、及び学習モデル生成装置 - Google Patents

推定装置、推定方法、推定プログラム、及び学習モデル生成装置 Download PDF

Info

Publication number
JP2023017592A
JP2023017592A JP2021121942A JP2021121942A JP2023017592A JP 2023017592 A JP2023017592 A JP 2023017592A JP 2021121942 A JP2021121942 A JP 2021121942A JP 2021121942 A JP2021121942 A JP 2021121942A JP 2023017592 A JP2023017592 A JP 2023017592A
Authority
JP
Japan
Prior art keywords
state
flexible material
electrical characteristics
pressure
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021121942A
Other languages
English (en)
Inventor
創 北野
So Kitano
泰通 若尾
Yasumichi Wakao
仁 安井
Hitoshi Yasui
真広 山口
Masahiro Yamaguchi
浩人 杉野
Hiroto Sugino
祐輔 藤沢
Yusuke FUJISAWA
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bridgestone Corp
Original Assignee
Bridgestone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bridgestone Corp filed Critical Bridgestone Corp
Priority to JP2021121942A priority Critical patent/JP2023017592A/ja
Priority to EP22849254.2A priority patent/EP4378639A1/en
Priority to PCT/JP2022/027486 priority patent/WO2023008190A1/ja
Publication of JP2023017592A publication Critical patent/JP2023017592A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

【課題】特殊な検出装置を用いることなく、導電性を有する柔軟材料を備えたロボットの電気特性を利用して、柔軟材料に圧力を与える人物の付与刺激状態を推定する。【解決手段】推定装置(1)は導電性を有し、かつ付与された圧力の変化に応じて電気特性が変化する柔軟材料を備えたロボットハンド(2)における複数の検出点の間の電気特性を検出部で検出する。推定部(5)は、学習モデル(51)を用いてロボットハンド(2)の電気特性から付与刺激状態を推定する。柔軟材料に圧力を与えた際の電気特性と、ロボット(2)の柔軟材料に圧力を与える付与刺激状態とを学習用データとして用いて、その電気特性を入力とし、付与刺激状態を出力するように学習された学習モデルに対して、電気特性を入力し、入力した電気特性に対応する付与刺激状態を出力するように学習される。【選択図】図1

Description

本開示は、推定装置、推定方法、推定プログラム、及び学習モデル生成装置に関する。
従来より、ユーザの作業や動作を支援するロボットに関する技術開発が盛んに行われている。ロボットは、人や物との緩衝を考慮するため、多数の特殊な接触センサを備えて、ロボットに対する人や物の接触を検出する技術が知られている(例えば、特許文献1参照)。
また、ロボットに対する人や物の接触を検出するために、ロボットの外郭に生じる形状変化を検出することが考えられるが、形状変化を検出する側面で、変形を検出するためには、特殊な検出装置が要求される。例えば、カメラによる物体の変位と振動を測定して、変形画像を取得し、変形量を抽出する技術が知られている(例えば、特許文献2参照)。また、光の透過量から変形量を推定する柔軟触覚センサに関する技術も知られている(例えば、特許文献3参照)。
特開2011-056619号公報 国際公開2017029905号公報 特開2013-101096号公報
しかしながら、多数の特殊な接触センサを備えて接触を検出する側面では、接触を検出するための各部位に接触センサを備えることが要求され、センサ数が膨大となって、ロボットの大型化を招くので好ましくはない。また、多数の特殊な接触センサ自体がロボットの接触状態を阻害する虞もある。
また、形状変化を検出する側面では、変形量を検出するためにカメラや光の透過量を検出するセンサとセンサ出力を解析する解析装置等を含むシステムは、大規模なものとなり、ロボットの大型化を招くので好ましくはない。また、変形量を検出するためにロボットの全ての部位に対して変形量を検出するセンサを配置することが要求され、好ましくはない。
本開示は、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、柔軟材料に圧力を与える付与刺激状態を推定することができる推定装置、推定方法、推定プログラム、及び学習モデル生成装置を提供することを目的とする。
上記目的を達成するために、第1態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部と、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する推定部と、
を含む推定装置である。
第2態様は、第1態様の推定装置において、
前記電気特性は、体積抵抗であり、
胴体部を前記基体とし、前記胴体部に連結される手部及び脚部の少なくとも一方を前記突出部とするロボットを前記可動体とし、
前記柔軟材料は、前記ロボットの手部及び脚部の少なくとも一方の骨格の周囲に配置される。
第3態様は、第1態様又は第2態様の推定装置において、
前記柔軟材料は、前記突出部の外側に装着可能な外部部材に配置される。
第4態様は、第1態様から第3態様の何れか1態様の推定装置において、
前記付与刺激状態は、人体及び物体の少なくとも一方について、表面形状を示す状態、表面材質を示す状態、重さを示す状態、及び硬さを示す状態の少なくとも1状態を含む。
第5態様は、第1態様から第4態様の何れか1態様の推定装置において、
前記柔軟材料は、繊維状及び網目状の少なくとも一方の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む。
第6態様は、第5態様の推定装置において、
前記柔軟材料は、表面から前記突出部の内部に向かうに従って硬さが硬くなる材料で形成されるか、又は表面から前記突出部の内部に向かうに従って硬さが硬くなるように硬さが異なる複数の材料を積層して形成される。
第7態様は、第1態様から第6態様の何れか1態様の推定装置において、
前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む。
第8態様は、
コンピュータが
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記取得された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
推定方法である。
第9態様は、
コンピュータに
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記取得された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
処理を実行させるための推定プログラムである。
第10態様は、
導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部で検出された前記電気特性を入力とし、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報を出力する学習モデルを生成する学習モデル生成部
を含む学習モデル生成装置である。
本開示によれば、特殊な検出装置を用いることなく、導電性を有する柔軟材料の電気特性を利用して、柔軟材料に圧力を与える付与刺激状態を推定することができる、という効果を有する。
実施形態に係る状態推定装置の構成の一例を示す図である。 実施形態に係るロボットに関する図である。 実施形態に係るロボットの腕部に関する図である。 実施形態に係るロボットの外郭部に関する図である。 実施形態に係るロボットの外郭部の硬さに関する図である。 実施形態に係るロボットに関する図である。 実施形態に係るロボットに関する図である。 実施形態に係る導電性を有する部材の検出点に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る導電性を有する部材に関する図である。 実施形態に係る学習処理に関する図である。 実施形態に係る学習データ収集処理の一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る学習処理の流れの一例を示すフローチャートである。 実施形態に係る学習処理部における学習処理に関する図である。 実施形態に係る状態推定装置の構成の一例を示す図である。 実施形態に係る推定処理の流れの一例を示すフローチャートである。 実施形態に係るロボットに関係する特性を示す図である。 実施形態に係る手袋の一例を示す図である。
以下、図面を参照して本開示の技術を実現する実施形態を詳細に説明する。
なお、作用、機能が同じ働きを担う構成要素及び処理には、全図面を通して同じ符合を付与し、重複する説明を適宜省略する場合がある。また、本開示は、以下の実施形態に何ら限定されるものではなく、本開示の目的の範囲内において、適宜変更を加えて実施することができる。また、本開示では、主として非線形に変形する部材に対する物理量の推定を説明するが、線形に変形する部材に対する物理量の推定に適用可能であることは言うまでもない。
本開示において「柔軟材料」とは、外部力が与えられることによって少なくとも一部が撓み等のように変形可能な材料を含む概念であり、ゴム材料等の柔らかい弾性体、繊維状及び網目状の少なくとも一方の構造体、及び内部に微小な空気泡が複数散在する構造体を含む。繊維状及び網目状の少なくとも一方の構造体は、繊維状及び網目状の少なくとも一方を骨格として有する構造体でもよい。外部力の一例には圧力が挙げられる。繊維状及び網目状の少なくとも一方の構造体、及び内部に微小な空気泡が複数散在する構造体の一例には、ウレタン材などの高分子材料が挙げられる。「導電性が付与された柔軟材料」とは、導電性を有する材料を含む概念であり、導電性を付与するために導電材を柔軟材料に付与した材料、及び柔軟材料が導電性を有する材料を含む。また、導電性が付与された柔軟材料は、変形に応じて電気特性が変化する機能を有する。なお、変形に応じて電気特性が変化する機能を生じさせる物理量の一例には柔軟材料に与えられる圧力による刺激(以下、圧力刺激という。)を示す圧力値が挙げられる。柔軟材料の変形に応じて変化する電気特性を表す物理量の一例には、電気抵抗値が挙げられる。また、他例には、電圧値、又は電流値が挙げられる。電気抵抗値は、柔軟材料の体積抵抗値と捉えることが可能である。
柔軟材料は、導電性を与えることで、圧力による変形に応じた電気特性が現れる。すなわち、導電性が付与された柔軟材料は、電気経路が複雑に連携し、変形に応じて電気経路が伸縮したり膨縮したりする。また、電気経路が一時的に切断される挙動、及び以前と異なる接続が生じる挙動を示す場合もある。従って、柔軟材料は、所定距離を隔てた位置(例えば電極が配置された検出点の位置)の間では、与えられた力(例えば圧力刺激)の大きさや分布に応じて異なる電気特性を有する挙動を示す。このため、柔軟材料に与えられた力(例えば圧力刺激)の大きさや分布に応じて電気特性が変化する。
なお、導電性が付与された柔軟材料を用いるため、人体及び物体等によって柔軟材料に圧力が与えられる箇所の全てに電極等の検出点を設ける必要はない。柔軟材料の圧力が与えられる箇所を挟む任意の少なくとも2箇所に電極等の検出点が設けられていればよい。
本開示において可動体とは、1パーツによる可動体または一部のパーツが可動可能な複数のパーツが連携して構成されるロボットを含む概念である。また、可動体は、人体の一部の部位に適用可能である。突出部は、ロボット等を構成する基体(例えば、ボデーや胴体)から突出し、かつ当該基体に対して相対的に移動可能な頭部、腕部及び脚部等のパーツや部位を含む概念である。なお、突出部は、例えば、腕部における指や指を備える手部等のように部分体を備えることが可能である。突出部には、柔軟材料が配置される。
また、本開示において付与刺激状態とは、柔軟材料に可動体以外の外部から圧力を与える外部の人体及び物体の少なくとも一方の状態を含む概念である。つまり、付与刺激状態は、外部の人体の状態、外部の物体の状態、並びに、外部の人体及び物体の状態を含む。なお、以下の説明では、柔軟材料に可動体以外の外部から圧力を与える外部の人体及び物体の少なくとも一方を区別することなく、ヒトとモノとを含む概念として人物と総称して説明する。具体的には、人体及び物体のそれぞれの単体、及び人体と物体の組み合わせを人物と称する。例えば、付与刺激状態は、接触状態、形状状態、及び物理状態の少なくとも1状態を含む。接触状態は、柔軟材料と外部の人物とが接触される状態を含む。なお、接触状態は、柔軟材料と外部の人物との間に予め定められた部材が介在する場合を含む。例えば、接触状態は、予め定められた部材を介して柔軟材料と外部の人物との間に相対的にエネルギの授受が生じて柔軟部材が変形する状態であればよい。形状状態は、人物の表面形状、表面の質感及び表面の触感の何れかを示す状態を含む。物理状態は、人物に関する物理的な状態であり、人物からの圧力、人物の重さ、及び人物の硬さを示す状態を含む。
なお、付与刺激状態は、可動体における能動形態を示す状態(以下、能動形態状態という。)及び受動形態を示す状態(以下、受動形態状態という。)の何れかの状態下において表れる。能動形態状態は、柔軟材料が配置された可動体によって示される可動体の立ち振る舞い、及び動き等の動的な形態を示す状態を含む概念である。受動形態状態は、可動体の姿勢等の柔軟材料に外部から圧力等のエネルギが与えられる際の静的な形態を示す状態を含む概念である。能動形態を示す状態の一例には、可動体の動きを示す挙動状態が挙げられる。受動形態を示す状態の一例には、可動体の姿勢を示す姿勢状態が挙げられる。
本開示の推定装置は、学習済みの学習モデルを用いて、可動体に配置された導電性を有する柔軟材料における電気特性から付与刺激状態を推定する。柔軟材料は、可動体(例えば、ロボット等)の基体(例えば、胴体)と相対的に移動可能に基体から突出した突出部(例えば、頭部、手部及び脚部等の何れか)の少なくとも一部を覆うように配置される。学習モデルは、導電性を有する柔軟材料に圧力を与えた際の時系列の電気特性と、その柔軟材料に圧力を与える人物の付与刺激状態を示す付与刺激状態情報とを学習用データとして用いる。学習モデルは、時系列の電気特性を入力とし、その時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を出力するように学習される。
本実施形態では、可動体としてロボットを適用した場合を説明する。また、導電性を有する柔軟材料としてウレタン部材の全部または少なくとも一部に導電材料が浸潤されたシート部材(以下、導電性ウレタンという。)が、ロボットの少なくとも一部の外郭部に配置された場合を説明する。また、導電性ウレタンを変形させる物理量としてはロボット、すなわち柔軟材料に与えられる圧力刺激を示す値(圧力値)を適用する。なお、圧力刺激に応じて変化する物理量としては、導電性ウレタンの電気抵抗値を適用した場合を説明する。
図1に、本開示の推定装置としての状態推定装置1の構成の一例を示す。
状態推定装置1における推定処理は、学習済みの学習モデル51を用いて、ロボットに配置された導電性ウレタン22における電気特性から、未知の人物の付与刺激状態として、ロボット外部の人物の表面形状、表面の質感及び表面の触感等の状態、並びに外部の人物の接触状態の何れかを推定し、出力する。これにより、特殊な装置や大型の装置を用いて計測することなく、ロボットに圧力を与える人物の表面形状、表面の質感及び表面の触感等の状態、並びに外部の人物の接触状態等の人物の付与刺激状態を推定することが可能となる。学習モデル51は、付与刺激状態(例えば、付与刺激状態を示す状態値)をラベルとし、当該付与刺激状態における導電性ウレタンの電気特性(例えば、電気抵抗値)を入力として学習される。学習モデル51の学習については後述する。
ここで、本開示の技術に関係するロボットの構造を説明する。図2に、ロボットの構造例として、人型に模した人型ロボット200の構造を示す。
図2に示す人型ロボット200は、頭部210、胴体部220、腕部230(上腕232、前腕234、手236)、脚部240(大腿242、下腿244、足246)の各々のパーツが骨格21によって連結される。人型ロボット200は、骨格21の周囲に導電性ウレタン22を配置することで、人型ロボット200の外側である外郭に導電性ウレタン22が配置される。人型ロボット200に配置された導電性ウレタン22は、電極等の検出点75を介して電気特性検出部76(図8)に接続される。
例えば、図3に上腕232の概略構造の一例を断面図で示すように、上腕232の骨格21の周囲に、人工筋肉などの構造物を含む内部層25が配置され、内部層25の周囲に表皮としても機能する外郭部27が配置される。なお、骨格21の周囲に表皮として機能する外郭部27を配置してもよい。
導電性ウレタン22は、骨格21の周囲に配置する材料、すなわち外郭部27の少なくとも一部に配置すればよく、内部に配置してもよいし外部に配置してもよい(図4)。具体的な一例には、外郭部27のA-A断面を外郭断面27-1として示すように、外郭部27の内部を全て導電性ウレタン22で構成しても良い。また、外郭断面27-2に示すように、外郭部27の外側(表面側)の一部に導電性ウレタン22を形成しても良く、外郭断面27-3に示すように、外郭部27の内側(骨格側)に導電性ウレタン22を形成しても良い。さらに、外郭断面27-4に示すように、外郭部27の内部の一部に導電性ウレタン22を形成しても良い。また、外郭断面27-5に示すように、外郭部27を構成する柔軟性を有する材料27Aの外側に導電性ウレタン22を配置しても良く、外郭断面27-6に示すように、外郭部27の内側(骨格側)の外部に導電性ウレタン22を配置しても良い。導電性ウレタン22を外郭部27を構成する材料27Aの外部に配置する場合、導電性ウレタン22と外郭部27を構成する材料とを積層するのみでもよく、導電性ウレタン22と外郭部27を構成する材料とを接着等により一体化してもよい。なお、導電性ウレタン22を外郭部27を構成する材料の外部に配置する場合であっても、導電性ウレタン22が導電性を有するウレタン部材であるため、外郭部27を構成する材料の柔軟性は阻害されない。
また、導電性ウレタン22は、所定の硬さの柔軟性を有するように形成してもよく、例えば、図5に示すように、深さに応じて硬さが変化する柔軟性を有するように形成してもよい。図5はロボットの外郭部の硬さに関する概念図であり、紙面左側に導電性ウレタン22の構造に関する概念図を示し、紙面右側に導電性ウレタン22の深さと硬さの関係の概念図を示す。図5に示す例では、外郭断面27-7として示す外郭部27を導電性ウレタン22で構成する場合、外郭部27の外側(表面側)から内側(骨格側)に向かうに従って、すなわち深さが深くなるのに従って徐々に硬さが硬くなるように導電性ウレタン22を形成することが可能である。また、外郭断面27-8に示すように、硬さが異なる複数の導電性ウレタン22(硬さ:22X<22Y<22Z)を配置しても良い。導電性ウレタン22を含む外郭部27の硬さ(柔軟性)を深さに応じて変化するように構成することで、人体の表皮部分に近い触感を提供することが可能である。
以降では、説明を簡単にするため、本開示のロボットの一例として、図6に示す簡易型のロボットハンドをロボットハンド2として適用した場合を説明する。図6に示すロボットハンド2は図2に示すロボットの腕部230に含まれる手236のパーツに対応する。
図6に示すように、ロボットハンド2は、ベース部237及びベース部237に連結された複数(図3に示す例では、3つ)の指部238を含んでロボットハンドを構成する。各指部238は、流体供給等により屈曲可能な構成となっており(詳細は後述)、屈曲の度合いに応じた指形態を形成する。図6では、各指部238の先端が所定の初期間隔で位置する指形態236-1、各指部238の先端が接近する指形態236-2、及び各指部238の先端が離間する指形態236-3が一例として示されている。
図6に示すロボットハンド2では、指部238の各々の外側に導電性ウレタン22を含む外郭部27が配置される。すなわち、ロボットハンド2の指部238の各々は、骨格21を含み、骨格21の周囲に外郭として導電性ウレタン22を配置して外郭部27を形成する。なお、ベース部237は骨格としても機能する。各指部238の外郭部27は、導電性ウレタン22を含む1枚のシートで構成して配置してもよく、少なくとも1つに導電性ウレタン22を含む複数のシートを配置してもよい。複数シートにより外郭部27を形成する場合、シートの一部が重複するように配置してもよい。導電性ウレタン22は、電極等の検出点75を介して電気特性検出部76(図8)に接続される。
指部238は、ベース部237を支点として、屈曲可能に形成される。指部238を屈曲可能に形成する構成には、線形又は非線形に変形する弾性体を含む部材が適用可能であり、付与された物理量(例えば圧力や流体の供給)により所定方向に収縮力を発生する弾性収縮体が一例として挙げられる。弾性収縮体の一例には、公知技術のエアバッグタイプの部材を適用可能である(例えば、特公昭52-40378号参照)。エアバッグタイプの弾性収縮体(例えば、ラバーアクチュエータ)は、ゴム部材等の柔らかい弾性体で構成される管状体の外周を、有機又は無機高張力繊維、例えば芳香族ポリアミド繊維の編組み補強構造により被覆した本体を有し、両端開口を閉塞部材によって封止したものである。ラバーアクチュエータは、その閉塞部材に設けられた接続口を介して内部空洞に加圧流体が供給されることによって膨径変形し、軸線方向に沿って収縮力が発生するようになっている。このラバーアクチュエータは、膨径変形によって、ラバーアクチュエータの長さが変化する。ただし、ラバーアクチュエータを適用対象とするのはあくまで一例に過ぎず、本開示の推定装置はラバーアクチュエータ以外の部材、例えば人口筋肉にも適用可能である。
ロボットハンド2は、図示しない弾性収縮体の駆動によって、図6に指形態236-1~236-3として示すように、指部238が屈曲する。指部238の作動(屈曲)によって、人物を把持したり、把持を解除する人体の手を模擬することが可能となる。図6に示す例は、指形態236-1が初期形態、指形態236-2が把持形態、そして指形態236-3が把持を解除する開放形態の一例である。
また、ロボットハンド2は、ベース部237に、ロボットハンド2の制御を行う制御装置250が備えられている(図17)。制御装置250は、状態推定装置1として動作する機能部を含む。
なお、ロボットハンド2は、パーツである各指部238を、流体供給等によって屈曲するための駆動部119(図17)を備えている。駆動部119(図17)の駆動によって、各指部238が屈曲し、各種の指形態を形成することが可能となる。よって、ロボットハンド2を備えたロボットは、自立型ロボットシステムとして動作する。
本実施形態では、ロボットハンド2として、ベース部237に連結された3つの指部238によりロボットハンドを構成する一例を説明するが、指部238は3つに限定されるものではなく、2つであってもよく、4つ以上であってもよい。また、各指部238は、同一形状であることに限定されない。例えば、人体の指を模して異なる形状に形成してもよいことは勿論である。
また、本実施形態では、各指部238が骨格21の周囲に導電性ウレタン22を配置して外郭部27を形成するロボットハンド2を説明するが(図6)、ロボットハンド2の構成は各指部238の周囲に導電性ウレタン22を配置ことに限定されない。例えば、図7にロボットハンド2Aとして示すように、ベース部237に連結され、骨格21を備えた複数の指部238Aの周囲に導電性ウレタン22を配置して手236の外郭部27を形成してもよい。また、ロボットハンド2は、複数の指部238を備えることに限定されない。例えば、図7にロボットハンド2Bとして示すように、骨格21を備えた指部238Bからなる手の周囲に導電性ウレタン22を配置して手236の外郭部27を形成してもよい。ロボットハンド2Bでは、握った状態の手を模擬することが可能となる。一方、ロボットハンド2は、曲面を備えることに限定されない。例えば、図7にロボットハンド2Cとして示すように、骨格21を備えた指部238Bからなる平坦な手の周囲に導電性ウレタン22を配置して手236の外郭部27を形成してもよい。ロボットハンド2Cでは、掌や甲を模擬することが可能となる。
ところで、状態推定装置1は、付与刺激状態を推定するために、ロボットハンド2に配置された導電性ウレタン22における電気特性を検出する。
図8に示すように、距離を隔てて配置された複数(図8では2個)の検出点75からの信号によって、導電性ウレタン22の電気特性(すなわち、電気抵抗値である体積抵抗値)を検出することが可能である。図8は、外郭部27の一部として配置された導電性ウレタン22を平面展開した場合を例示した。また、図8では、導電性ウレタン22上の側辺部分に検出点75を偏らせて、導電性ウレタン22上で距離を隔てて対角位置に配置された複数の検出点75からの信号により電気抵抗値を検出する検出セット#1が示されている。なお、複数の検出点75の配置は、図8に示す位置に限定されるものではなく、導電性ウレタン22の電気特性を検出可能な位置であれば何れの位置でもよい。例えば、複数の検出点75を離間して配置すればよく、側辺部分への配置に限定されず、中央部であってもよく、側辺部分と中央部分との組み合わせであってもよい。また、導電性ウレタン22の電気特性は、電気特性(すなわち、電気抵抗値である体積抵抗値)の検出する電気特性検出部76を検出点75に接続し、その出力を用いればよい。
外郭部27に導電性ウレタン22を備えて構成されるロボットハンド2において検出される電気抵抗値は、ロボットハンド2の外郭部27に圧力刺激が与えられる等の導電性ウレタン22の変形によって、その変形の前後で変化する。よって、時系列の電気抵抗値の検出、すなわち、ロボットハンド2に圧力刺激が与えられていない状態からの電気抵抗値の変化を検出(例えば予め定めた閾値を超えた電気抵抗値を検出)することで、ロボットハンド2に圧力を与える人物の付与刺激状態を検出することが可能となる。具体的には、ロボットハンド2に対する人物の付与刺激状態は、ロボットハンド2に対する人物の接触であっても圧力刺激を伴うため、接触状態を含む。よって、ロボットハンド2に導電性ウレタン22を配置することで、ロボットハンド2に対する人物の接触を含む付与刺激状態を検出可能となる。また、ロボットハンド2に与えられた圧力刺激の位置や分布、及び大きさの何れか1つが変化しても電気抵抗値は変化する。従って、時系列に変化した電気抵抗値から、ロボットハンド2に対する人物の接触位置を含む付与刺激状態を検出することも不可能ではない。
ロボットハンド2に配置される導電性ウレタン22を含む外郭部27は、ロボットハンド2の外側を一体構造として導電性ウレタン22を含む外郭部27を形成してもよく、指部等のパーツ毎に独立した導電性ウレタン22を含む外郭部27を形成してもよい。
なお、1つの導電性ウレタン22の電気特性の検出精度を向上するため、図8に示す検出点(2個)より多くの検出点を用いてもよい。
一例としては、各々検出点が配置された複数の導電性ウレタン片からなる列を1列または複数列並べて導電性ウレタン22を形成し、複数の導電性ウレタン片毎に電気特性を検出してもよい。例えば、導電性ウレタン片23(図9)を、配列して導電性ウレタン22を構成してもよい(図10、図11)。図9に示す例は、距離を隔てて対角位置に配置された検出点75Aからの信号により電気抵抗値を検出する第1の検出セット#1と、他の対角位置に配列された検出点75Bからの信号により電気抵抗値を検出する第2の検出セット#2とを示している。また、図10に示す例では、導電性ウレタン片23(図9)を、外郭部27の長手方向に配列(4x1)して導電性ウレタン22を構成し、順に、第1の検出セット#1から第8の検出セット#8を構成することを示している。さらに、図11に示す例では、導電性ウレタン片23(図9)において各々第1の検出セット#1を採用し、外郭部27の長手方向及び幅方向に配列(4x2)して導電性ウレタン22を構成し、第1の検出セット#1から第8の検出セット#8を構成することを示している。
また、他例としては、導電性ウレタン22上における検出範囲を分割して分割した検出範囲毎に検出点を設けて検出範囲毎に電気特性を検出してもよい。例えば、図10及び図11に示す導電性ウレタン片23の大きさに相当する領域を検出範囲として導電性ウレタン22に設定し、設定した検出範囲毎に検出点を配置して、検出範囲毎に電気特性を検出すればよい。
図1に示すように、状態推定装置1は、推定部5を備えている。推定部5には、導電性ウレタン22における電気抵抗の大きさ(電気抵抗値)を表す時系列の電気特性である入力データ4が入力される。具体的には、導電性ウレタン22の検出点75に接続された電気特性検出部76から出力される電気特性(すなわち、電気抵抗値である体積抵抗値)が入力される。入力データ4は、ロボットハンド2の付与刺激状態3に対応する。また、推定部5は、推定結果として付与刺激状態3を示す物理量(付与刺激状態値)を表す出力である出力データ6を出力する。なお、推定部5は、学習済みの学習モデル51を含む。
学習モデル51は、付与刺激状態3に応じた圧力刺激により変化する導電性ウレタン22の電気抵抗(入力データ4)から、付与刺激状態、すなわちロボットハンド2における能動形態状態又は受動形態状態(出力データ6)を導出する学習を済ませたモデルである。学習モデル51は、例えば、学習済みのニューラルネットワークを規定するモデルであり、ニューラルネットワークを構成するノード(ニューロン)同士の間の結合の重み(強度)の情報の集合として表現される。
学習モデル51は、学習処理部52(図12)の学習処理により生成される。学習処理部52は、付与刺激状態3により生じる圧力刺激で変化する導電性ウレタン22における電気特性(入力データ4)を用いて学習処理を行う。すなわち、付与刺激状態3をラベルとして導電性ウレタン22における電気抵抗を時系列に測定した大量のデータを学習データとする。具体的には、学習データは、電気抵抗値(入力データ4)を含んだ入力データと、その入力データに対応する付与刺激状態3を示す情報(出力データ6)と、のセットを大量に含む。ここでは、導電性ウレタン22の電気抵抗値(入力データ4)の各々に測定時刻を示す情報を付与することで時系列情報が対応付けられる。この場合、付与刺激状態3として定まる期間について、導電性ウレタン22における時系列の電気抵抗値のセットに測定時刻を示す情報を付与して時系列情報を対応付けてもよい。
次に、学習処理部52について説明する。
学習処理部52が行う学習処理では、上述した導電性ウレタン22が配置されたロボットハンド2の外郭部27が検出部として適用され、付与刺激状態3、及び導電性ウレタン22による電気抵抗値(入力データ4)が学習データとして用いられる。
例えば、能動形態状態及び受動形態状態における付与刺激状態を示すデータを学習データとする。具体的には、ロボットハンド2の少なくとも一部のパーツによる所定の姿勢や動き等の挙動となるように駆動部119の駆動制御を行い、そのときの電気抵抗値を検出して、付与刺激状態(付与刺激状態値)と対応付けて学習データとする。
能動形態状態では、ロボットハンド2は、動き等によって外郭部27が変形して、導電性ウレタン22の電気抵抗値が変化する。従って、能動形態状態における時系列の電気抵抗値には、付与刺激状態の特徴を示すデータが含まれる。よって、時系列の電気抵抗値を検出して、付与刺激状態(付与刺激状態値)と対応付けて学習データとすればよい。なお、能動形態状態における時系列の電気抵抗値の成分を分離する場合は、付与刺激状態が存在しない状態、例えば無負荷の状態による能動形態状態での時系列の電気抵抗値と、当該能動形態状態における付与刺激状態での時系列の電気抵抗値との相違成分(例えば差分)を、付与刺激状態と対応付けて学習データとしてもよい。
一方、受動形態状態では、ロボットハンド2の少なくとも一部のパーツによる所定の姿勢となるように駆動部119の駆動制御を行い、そのときの電気抵抗値を検出して、付与刺激状態(付与刺激状態値)と対応付けて学習データとすればよい。具体的には、所定姿勢のロボットハンド2に対して、人物を接触させたり、人物を押圧したりする付与刺激状態を生じさせ、そのときの電気抵抗値を検出して、付与刺激状態と対応付けて学習データとする。
学習処理部52は、図示しないCPUを含むコンピュータを含んで構成可能であり、学習データ収集処理及び学習処理を実行する。図13に、図示しないCPUが実行する学習データ収集処理の一例を示す。学習処理部52は、ステップS100で、ロボットハンド2の状態(能動形態状態又は受動形態状態)でロボットハンド2に圧力を与え、ステップS102で、付与刺激状態に応じて変化する導電性ウレタン22の電気抵抗値を時系列に取得する。次のステップS104では、取得した時系列の電気抵抗値に付与刺激状態3を示す付与刺激状態値をラベルとして付与して、記憶する。学習処理部52は、これら付与刺激状態値、及び導電性ウレタン22の電気抵抗値のセットが予め定めた所定数、又は予め定めた所定時間に達するまで(ステップS106で、肯定判断されるまで否定判断し)、上記処理を繰り返す。これにより、学習処理部52は、付与刺激状態3毎に、導電性ウレタン22における電気抵抗値を時系列に取得し、記憶することが可能となり、記憶された付与刺激状態毎の時系列の導電性ウレタン22の電気抵抗値のセットが学習データとなる。
ところで、ロボットハンド2に対する人物の接触等では、人物が外郭部27に接触する付勢力(押圧力)が大きくなるのに従って、電気特性(電気抵抗値)が大きく変化する。従って、時系列の電気特性が接触検出用に予め定めた閾値を超えること検出することで、少なくとも人物が外郭部27に接触したことを示す付与刺激状態を検出可能である。よって、少なくとも人物が外郭部27に接触した付与刺激状態を推定可能に学習処理を実行するのであれば、接触を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとすればよい。
図19に、ロボットハンド2における電気特性の一例を示す。図19は、ロボットハンド2の先端部を、異なる付勢力(ピーク値P1~P8の押圧力)によって人物が押圧した際の導電性ウレタン22の電気特性を示す。また、ピーク値P1~P7は、人物が接触に至らない付与刺激状態とし、ピーク値P8は、人物が接触したときの付与刺激状態とする。
図19に示すように、導電性ウレタン22の時系列の電気特性(各ピーク値P1~P8を含む前後の電気特性)の各々が、付勢力(押圧力)に応じて接触し、付与刺激状態における特徴パターンである。すなわち、ロボットハンド2が人物により押圧されると、電気抵抗値が急激に上昇し、押圧が解除(ユーザの手が離間)されると電気抵抗値が徐々に低下するパターンが、特徴パターンとして現れている。図19に示す例では、ピーク値P1~P7に比べて、ピーク値P8が大きい電気抵抗値となっている。このため、ピーク値P1~P7を超える電気抵抗値を閾値thに定めることで、人物が外郭部27に接触した付与刺激状態を検出可能である。よって、学習処理部52は、接触した付与刺激状態を特定する付勢力(押圧力)に対応する時系列の電気特性を学習データとして学習する。
一方、接触検出に限定しない付与刺激状態は、ロボットハンド2における各パーツの位置、又は複数のパーツの相対的な位置関係、各パーツにおける圧力刺激の分布、大きさ、及び頻度等の各物理量により同定可能である。従って、導電性ウレタン22の時系列の電気特性には、付与刺激状態を示す時系列の物理量の特徴が含まれる。本実施形態では、導電性ウレタン22を用いることで、これらの物理量が反映された電気特性(体積抵抗)を時系列に検出することが可能である。
従って、付与刺激状態に応じてロボットハンド2における圧力刺激が変化し、その圧力刺激の変化に対応する電気特性を時系列に取得することで、付与刺激状態に時系列の電気特性を対応付けて記憶することが可能となる。当該時系列の電気特性および付与刺激状態を示す付与刺激状態値とのセットを学習データとすることが可能となる。
次に、上述した学習データの一例を表で示す。表1は、付与刺激状態に関する学習データとして、時系列の電気抵抗値データ(r)と付与刺激状態能動形態状態値とを対応付たデータの一例である。表2は、ロボットハンド2における部位ごとの時系列の電気抵抗値データ(R)を示すデータの一例である。表3は、ロボットハンド2における各指部で検出された時系列の電気抵抗値を示す特性データ(J)のセットと、付与刺激状態値とを対応付たデータの一例である。
表1に示す例は、付与刺激状態に含まれる接触状態、形状状態、及び物理状態の各状態について、対象となる人物の部位、及び性質を適用とし、当該状態に対応する触感、質感、物理量を示す値を対応付けた学習データである。
Figure 2023017592000002
表2に示す例は、ロボットハンド2に与えられる圧力を検出する部位として、指先、指腹、付け根、及び掌、甲、側面を含む。表2に示すデータは、表1に示すデータの各々に含むようにしてもよい。例えば、r11=(R111、R112、R113、・・・、R11m:n=m)とすることが可能である。
Figure 2023017592000003
表3に示す例は、ロボットハンド2における各パーツが連携することを考慮して、各パーツで検出された時系列の電気抵抗値を示す特性データ(J)のセットと、付与刺激状態値とを対応付た学習データである。ロボットハンド2では、各セットに含まれる何れかの特性データ(J)に付与刺激状態の特徴、すなわち、特徴パターンが含まれる。よって、各特性データ(J)は、全て学習データとして用いることが可能である。例えば、ロボットハンド2を構成する3つの指部236の各々で検出された電気抵抗値の変動を含む特性データ(J)の組み合わせから付与刺激状態を同定可能である。例えば3つの指部236において2以上の部位で電気抵抗値が押圧方向に変動したことで「物を把持」を同定可能であり、2以上の部位で閾値以内の電気抵抗値の変動から急激に変化する場合に「握りそこね」や「把持解除」を同定可能である。また、閾値以内の電気抵抗値の変動からの変動幅の大きさから人物の把持に人物の位置がずれる「すべり」を同定可能である。
Figure 2023017592000004
次に、学習処理部52における学習処理ついて説明する。図14は、学習処理において学習処理部52の図示しないCPUにおける機能を示す図である。
学習処理部52の図示しないCPUは、生成器54及び演算器56の機能部を含む。生成器54は、入力である時系列に取得された電気抵抗値の前後関係を考慮して出力を生成する機能を有する。
また、学習処理部52は、学習用データとして、上述した入力データ4(電気抵抗値)と、入力データ4(電気抵抗値)に対応する付与刺激状態3である出力データ6とのセットを多数保持している。
生成器54は、入力層540、中間層542、および出力層544を含んで、公知のニューラルネットワーク(NN:Neural Network)を構成する。ニューラルネットワーク自体は公知の技術であるため詳細な説明は省略するが、中間層542は、ノード間結合およびフィードバック結合を有するノード群(ニューロン群)を多数含む。その中間層542には、入力層540からのデータが入力され、中間層542の演算結果のデータは、出力層544へ出力される。
生成器54は、入力された入力データ4(電気抵抗)から付与刺激状態を表す生成出力データ6Aを生成するニューラルネットワークである。生成出力データ6Aは、入力データ4(電気抵抗)から付与刺激状態を推定したデータである。生成器54は、時系列に入力された入力データ4(電気抵抗)から、付与刺激状態に近い状態を示す生成出力データを生成する。生成器54は、多数の入力データ4(電気抵抗)を用いて学習することで、ロボットハンド2すなわち導電性ウレタン22に圧力刺激が与えられる付与刺激状態に近い生成出力データ6Aを生成できるようになる。他の側面では、時系列に入力された入力データ4である電気特性をパターンとして捉え、当該パターンを学習することで、ロボットハンド2すなわち導電性ウレタン22に圧力刺激が与えられる付与刺激状態に近い生成出力データ6Aを生成できるようになる。
演算器56は、生成出力データ6Aと、学習データの出力データ6とを比較し、その比較結果の誤差を演算する演算器である。学習処理部52は、生成出力データ6A、および学習データの出力データ6を演算器56に入力する。これに応じて、演算器56は、生成出力データ6Aと、学習データの出力データ6との誤差を演算し、その演算結果を示す信号を出力する。
学習処理部52は、演算器56で演算された誤差に基づいて、ノード間の結合の重みパラメータをチューニングする、生成器54の学習を行う。具体的には、生成器54における入力層540と中間層542とのノード間の結合の重みパラメータ、中間層542内のノード間の結合の重みパラメータ、および中間層542と出力層544とのノード間の結合の重みパラメータの各々を例えば勾配降下法や誤差逆伝搬法等の手法を用いて、生成器54にフィードバックする。すなわち、学習データの出力データ6を目標として、生成出力データ6Aと学習データの出力データ6との誤差を最小化するように全てのノード間の結合を最適化する。
学習モデル51は、学習処理部52の学習処理により生成される。学習モデル51は、学習処理部52による学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現される。
図15に学習処理の流れの一例を示す。学習処理部52は、ステップS110で、時系列に測定した結果の学習データである、付与刺激状態を示す情報をラベルとした入力データ4(電気抵抗)を取得する。学習処理部52は、ステップS112で、時系列に測定した結果の学習データを用いて学習モデル51を生成する。すなわち、上記のようにして多数の学習データを用いて学習した学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合を得る。そして、ステップS114で、学習結果のノード間の結合の重みパラメータ(重み又は強度)の情報の集合として表現されるデータを学習モデル51として記憶する。
なお、生成器54は、時系列入力の前後関係を考慮して出力を生成する機能を有する再帰型ニューラルネットワークを用いてもよく、他の手法を用いてもよい。
そして、上記状態推定装置1では、以上に例示した手法により生成した学習済みの生成器54(すなわち、学習結果のノード間の結合の重みパラメータの情報の集合として表現されるデータ)を学習モデル51として用いる。十分に学習した学習モデル51を用いれば、ロボットハンド2、すなわち外郭部27に配置された導電性ウレタン22における時系列の電気抵抗値から付与刺激状態を同定することも不可能ではない。
なお、学習処理部52による処理は、本開示の学習モデル生成装置の処理の一例である。また、状態推定装置1は、本開示の推定部および推定装置の一例である。付与刺激状態3を示す情報である出力データ6は、本開示の付与刺激状態情報の一例である。
ところで、上述したように、導電性ウレタン22は、上述したように電気経路が複雑に連携し、変形に応じた電気経路の伸縮、膨縮、一時的な切断、及び新たな接続が生じる等の挙動を示し、結果的に、与えられた力(例えば圧力刺激)に応じて異なる電気特性を有する挙動を示す。このことは、導電性ウレタン22を、導電性ウレタン22の変形に関するデータを貯留するリザーバとして扱うことが可能である。すなわち、状態推定装置1は、物理的なリザーバコンピューティング(PRC:Physical Reservoir Computing)と呼ばれるネットワークモデル(以下、PRCNという。)に、導電性ウレタン22を適用することが可能である。PRCおよびPRCN自体は公知の技術であるため、詳細な説明を省略するが、すなわち、PRC、及びPRCNは、導電性ウレタン22の変形に関する情報の推定に好適に適用可能である。
図16に、導電性ウレタン22を含むロボットハンド2を、導電性ウレタン22を含むロボットハンド2の変形に関するデータを貯留するリザーバとして扱って学習する学習処理部52の一例を示す。導電性ウレタン22は、多様な圧力刺激の各々に応じた電気特性(電気抵抗値)となり、電気抵抗値を入力する入力層として機能し、また、導電性ウレタン22の変形に関するデータを貯留するリザーバ層として機能する。導電性ウレタン22は、付与刺激状態3により与えられた圧力刺激に応じて異なる電気特性(入力データ4)を出力するので、推定層で、導電性ウレタン22の電気抵抗値から付与刺激状態3を推定することが可能である。従って、学習処理では、推定層を学習すればよい。
上述の状態推定装置1は、例えば、コンピュータに上述の各機能を表すプログラムを実行させることにより実現可能である。
図17に、状態推定装置1の各種機能を実現する処理を実行する実行装置としてコンピュータを含んで構成した制御装置250の一例を示す。
状態推定装置1として機能する制御装置250は、図17に示すコンピュータ本体100を備えている。コンピュータ本体100は、CPU102、揮発性メモリ等のRAM104、ROM106、ハードディスク装置(HDD)等の補助記憶装置108、及び入出力インターフェース(I/O)110を備えている。これらのCPU102、RAM104、ROM106、補助記憶装置108、及び入出力I/O110は、相互にデータ及びコマンドを授受可能にバス112を介して接続された構成である。また、入出力I/O110には、外部装置と通信するための通信部114が接続されている。通信部114は、導電性ウレタン22を含むロボットハンド2との間で、入力データ4(電気抵抗)を取得する機能する。すなわち、通信部114は、検出部である、ロボットハンド2に配置された導電性ウレタン22における検出点75に接続された電気特性検出部76から入力データ4(電気抵抗)を取得することが可能である。
また、入出力I/O110には、キーボード等の操作部115、ディスプレイ等の表示部211、音声入力のためのマイク117、音声出力のためのスピーカ118、及び駆動部119が接続可能になっている。駆動部119は、ロボットハンド2の各パーツを移動可能に駆動するように配置される(図6)。
補助記憶装置108には、コンピュータ本体100を本開示の推定装置の一例として状態推定装置1として機能させるための制御プログラム108Pが記憶される。CPU102は、制御プログラム108Pを補助記憶装置108から読み出してRAM104に展開して処理を実行する。これにより、制御プログラム108Pを実行したコンピュータ本体100は、本開示の推定装置の一例として状態推定装置1として動作する。
なお、補助記憶装置108には、学習モデル51を含む学習モデル108M、及び各種データを含むデータ108Dが記憶される。制御プログラム108Pは、CD-ROM等の記録媒体により提供するようにしても良い。
次に、コンピュータにより実現された状態推定装置1における推定処理について説明する。
図18に、コンピュータ本体100において、実行される制御プログラム108Pによる推定処理の流れの一例を示す。
図18に示す推定処理は、コンピュータ本体100に電源投入されると、CPU102により実行される。すなわち、CPU102は、制御プログラム108Pを補助記憶装置108から読み出し、RAM104に展開して処理を実行する。
まず、CPU102は、ステップS200で、補助記憶装置108の学習モデル108Mから学習モデル51を読み出し、RAM104に展開することで、学習モデル51を取得する。具体的には、学習モデル51として表現された重みパラメータによるノード間の結合となるネットワークモデル(図14、図16参照)を、RAM104に展開する。よって、重みパラメータによるノード間の結合が実現された学習モデル51が構築される。
次に、CPU102は、ステップS202で、導電性ウレタン22に与えられた圧力刺激による付与刺激状態を推定する対象となる未知の入力データ4(電気抵抗)を、通信部114を介して時系列に取得する。
次に、CPU102は、ステップS204で、ステップS200で取得した学習モデル51を用いて、ステップS202において取得した入力データ4(電気抵抗)に対応する出力データ6(未知の付与刺激状態)を推定する。
そして、次のステップS206で、推定結果の出力データ6(付与刺激状態)を、通信部114を介して出力したり、スピーカ118から音を発するようにデータを出力したり、表示部211に表示するようにデータを出力して、本処理ルーチンを終了する。
なお、図18に示す推定処理は、本開示の推定方法で実行される処理の一例である。
以上説明したように、本開示によれば、導電性ウレタン22に対して、付与刺激状態3における圧力刺激に応じて変化する入力データ4(電気抵抗)から、付与刺激状態を推定することが可能となる。すなわち、特殊な装置や大型の装置を用いたり柔軟部材の変形を直接計測することなく、未知の付与刺激状態を推定することが可能となる。
また、付与刺激状態に応じて電気特性が変化し、当該電気特性(時系列の電気抵抗)に付与刺激状態の特徴が反映されるので、導電性ウレタン22において時系列に変化する電気抵抗値から付与刺激状態を推定可能である。すなわち、ロボットハンド2に対して人物によって圧力が与えれる各種の付与刺激状態であっても、上述した学習モデルを用いることで、適切な付与刺激状態を推定できる。
本実施形態に係る状態推定装置1では、上述した学習処理によって学習された学習モデル51を用いることによって、導電性ウレタン22の電気特性を入力することで、電気特性に対応した様々な付与刺激状態を推定できることを確認した。
<他の実施形態>
上述した状態推定装置1は、各種の装置への応用が可能である。
上述した状態推定装置1は、複数の場所において付与刺激状態を共有する場合に有効に機能する。例えば、状態推定装置1は、ロボットハンド2を遠隔地に配置される遠隔装置の一部として機能させることで、ロボットハンド2の配置先から離間した場所において、ロボットハンド2により検出される人物の未知の付与刺激状態を把握することが可能である。遠隔地において、人物の未知の付与刺激状態を把握するためには、上述した推定結果である付与刺激状態を示す付与刺激状態値をデータとして、通信部114を介して予め定めた遠隔地の送信先に送信する処理を追加すればよい。
また、上述した実施形態では、上述した学習処理によって学習された学習モデル51を用いて、導電性ウレタン22の電気特性に対応した様々な付与刺激状態を推定する場合を説明した。この場合、付与刺激状態として人物が外郭部27に接触した接触状態を検出することに注目する場合、状態推定装置1を、時系列の電気特性が接触検出用に予め定めた閾値を超えること検出する機能部分は、人物の接触を検出する接触検出装置として適用可能である。
上述した実施形態では、本開示の技術を導電性ウレタン22が外殻部に配置されたロボットに適用した場合を説明したが、本開示の技術は、ロボットへの適用に限定されない。例えば、導電性ウレタン22を含む部材を、ロボットの周囲に配置されるカバー部に配置したり、人体の一部に装着される袋体(例えば、帽子、手袋及び足袋等)に配置してもよい。すなわち、導電性ウレタンを配置する可動体は、ロボットや人体等の導電性ウレタン22に付与刺激状態に応じて圧力を与えるための基体及び突出部を有する人物であればよい。
図20に、本開示の技術を適用した導電性ウレタン22が配置された手袋29を示す。手袋29は、人体の手の外部に装着する部材であり、内部又は外部の少なくとも一部に導電性ウレタン22が配置される。
ここでは、説明を簡単にするため、人体の手の外部に装着する部材を導電性ウレタン22で形成した手袋29を説明する(図4参照)。図20に示すように手袋20は、親指を覆う第1指部20-1、人差し指を覆う第2指部20-2、中指を覆う第3指部20-3、薬指を覆う第4指部20-4、及び小指を覆う第5指部20-5を備え、各々掌(甲)を覆う掌部20-6に連結される。なお、手袋20は、図2に示すロボットの手236を覆うものであってもよい。
また、手袋20は、各部位毎に、すなわち、第1指部20-1から第5指部20-5及び掌部20-6の各々における電気特性を検出するために、各部位の導電性ウレタン22に電極等の検出点75が配置される。手袋20では、導電性ウレタン22は、電気特性検出部76(図8)を備えた制御装置250Aに接続される。制御装置250Aは、図6に示す制御装置250と同様の構成であるため、説明を省略する。
なお、図20に示す手袋20における電極等の検出点75の配置は一例であって、図20に示す配置に限定されるものではない。例えば、手袋20に少なくとも一対の電極等の検出点75を配置すればよく、検出精度向上のために、複数の検出点を配置してもよい。
導電性ウレタン22を配置した手袋20は、ロボット又は人の手の能動形態状態及び受動形態状態に応じた人物の付与刺激状態を推定できる。よって、導電性ウレタン22を含む部材を、ロボットの周囲に配置されるカバー部に配置したり、人体の一部に装着される袋体(例えば、帽子、手袋及び足袋等)に配置することにより、大規模なセンサシステムを備えることなく、簡単に人物の付与刺激状態を推定可能となる。
なお、上述した実施形態では、柔軟部材の一例として導電性ウレタンを適用した場合を説明したが、柔軟部材は導電性を有する材料であればよく、導電性ウレタンに限定されないことは勿論である。
本開示の技術的範囲は上記実施形態に記載の範囲には限定されない。要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、当該変更または改良を加えた形態も本開示の技術的範囲に含まれる。
また、上記実施形態では、推定処理及び学習処理を、フローチャートを用いた処理によるソフトウエア構成によって実現した場合について説明したが、これに限定されるものではなく、例えば各処理をハードウェア構成により実現する形態としてもよい。
また、推定装置の一部、例えば学習モデル等のニューラルネットワークを、ハードウェア回路として構成してもよい。
1 状態推定装置
2 ロボットハンド
3 付与刺激状態
4 入力データ
5 推定部
6 出力データ
6A 生成出力データ
20 手袋
22 導電性ウレタン
23 導電性ウレタン片
51 学習モデル
52 学習処理部
54 生成器
56 演算器
75 検出点
76 電気特性検出部

Claims (10)

  1. 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部と、
    前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記検出部で検出された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する推定部と、
    を含む推定装置。
  2. 前記電気特性は、体積抵抗であり、
    胴体部を前記基体とし、前記胴体部に連結される手部及び脚部の少なくとも一方を前記突出部とするロボットを前記可動体とし、
    前記柔軟材料は、前記ロボットの手部及び脚部の少なくとも一方の骨格の周囲に配置される
    請求項1に記載の推定装置。
  3. 前記柔軟材料は、前記突出部の外側に装着可能な外部部材に配置される
    請求項1又は請求項2に記載の推定装置。
  4. 前記付与刺激状態は、人体及び物体の少なくとも一方について、表面形状を示す状態、表面材質を示す状態、重さを示す状態、及び硬さを示す状態の少なくとも1状態を含む
    請求項1から請求項3の何れか1項に記載の推定装置。
  5. 前記柔軟材料は、繊維状及び網目状の少なくとも一方の構造、又は内部に微小な空気泡が複数散在する構造のウレタン材の少なくとも一部に導電性が付与された材料を含む
    請求項1から請求項4の何れか1項に記載の推定装置。
  6. 前記柔軟材料は、表面から前記突出部の内部に向かうに従って硬さが硬くなる材料で形成されるか、又は表面から前記突出部の内部に向かうに従って硬さが硬くなるように硬さが異なる複数の材料を積層して形成される
    請求項5に記載の推定装置。
  7. 前記学習モデルは、前記柔軟材料をリザーバとして当該リザーバを用いたリザーバコンピューティングによるネットワークを用いて学習させることで生成されたモデルを含む
    請求項1から請求項6の何れか1項に記載の推定装置。
  8. コンピュータが
    導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
    前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、取得された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
    推定方法。
  9. コンピュータに
    導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部から前記電気特性を取得し、
    前記柔軟材料に圧力を与えた際の時系列の電気特性と、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報とを学習用データとして用いて、前記時系列の電気特性を入力とし、前記付与刺激状態情報を出力するように学習された学習モデルに対して、前記取得された時系列の電気特性を入力し、入力した時系列の電気特性に対応する付与刺激状態を示す付与刺激状態情報を推定する
    処理を実行させるための推定プログラム。
  10. 導電性を有し、かつ与えられた圧力の変化に応じて電気特性が変化する柔軟材料であって、可動体の基体から屈曲可能な突出部の少なくとも一部を覆って配置されるかまたは覆うことが可能な前記柔軟材料に予め定められた複数の検出点間の電気特性を検出する検出部で検出された前記電気特性を入力とし、前記柔軟材料に圧力を与える付与刺激状態を示す付与刺激状態情報を出力する学習モデルを生成する学習モデル生成部
    を含む学習モデル生成装置。
JP2021121942A 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、及び学習モデル生成装置 Pending JP2023017592A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021121942A JP2023017592A (ja) 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
EP22849254.2A EP4378639A1 (en) 2021-07-26 2022-07-12 Estimation device, estimation method, and estimation program
PCT/JP2022/027486 WO2023008190A1 (ja) 2021-07-26 2022-07-12 推定装置、推定方法、及び推定プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021121942A JP2023017592A (ja) 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、及び学習モデル生成装置

Publications (1)

Publication Number Publication Date
JP2023017592A true JP2023017592A (ja) 2023-02-07

Family

ID=85157987

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021121942A Pending JP2023017592A (ja) 2021-07-26 2021-07-26 推定装置、推定方法、推定プログラム、及び学習モデル生成装置

Country Status (1)

Country Link
JP (1) JP2023017592A (ja)

Similar Documents

Publication Publication Date Title
Wang et al. Toward whole-hand kinesthetic feedback: A survey of force feedback gloves
Wirekoh et al. Sensorized, flat, pneumatic artificial muscle embedded with biomimetic microfluidic sensors for proprioceptive feedback
Mattar A survey of bio-inspired robotics hands implementation: New directions in dexterous manipulation
Zollo et al. Biomechatronic design and control of an anthropomorphic artificial hand for prosthetic and robotic applications
US6059506A (en) Force feedback and texture simulating interface device
Su et al. Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty
Van Volkinburg et al. Development of a wearable controller for gesture-recognition-based applications using polyvinylidene fluoride
Deng et al. Design of a soft gripper with improved microfluidic tactile sensors for classification of deformable objects
Zubrycki et al. Novel haptic glove-based interface using jamming principle
Park et al. WeHAPTIC: a wearable haptic interface for accurate position tracking and interactive force control
Li et al. Design and performance characterization of a soft robot hand with fingertip haptic feedback for teleoperation
Prasad et al. Advances in human-robot handshaking
Wang et al. Massaging human feet by a redundant manipulator equipped with a tactile sensor
Luo Intelligent Textiles for Physical Human-Environment Interactions
JP2023017592A (ja) 推定装置、推定方法、推定プログラム、及び学習モデル生成装置
Begalinova et al. Self-supervised learning of object slippage: An LSTM model trained on low-cost tactile sensors
WO2023008190A1 (ja) 推定装置、推定方法、及び推定プログラム
Ha et al. Use of deep learning for position estimation and control of soft glove
JP2023017580A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2023017591A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2023017636A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
Faisal et al. Underactuated digital twin's robotic hands with tactile sensing capabilities for well-being
Das Adaptive physical human-robot interaction (PHRI) with a robotic nursing assistant.
JP2023017579A (ja) 推定装置、推定方法、推定プログラム、ロボットシステム及び学習モデル生成装置
JP2023017593A (ja) ロボット制御装置、ロボット制御方法、ロボット制御プログラム、及びロボットシステム