JP2021084210A - ロボット、エンドエフェクタ、システム、方法及びプログラム - Google Patents

ロボット、エンドエフェクタ、システム、方法及びプログラム Download PDF

Info

Publication number
JP2021084210A
JP2021084210A JP2019216745A JP2019216745A JP2021084210A JP 2021084210 A JP2021084210 A JP 2021084210A JP 2019216745 A JP2019216745 A JP 2019216745A JP 2019216745 A JP2019216745 A JP 2019216745A JP 2021084210 A JP2021084210 A JP 2021084210A
Authority
JP
Japan
Prior art keywords
end effector
state
deformation state
gripping
tactile sensor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2019216745A
Other languages
English (en)
Inventor
義弘 坂本
Yoshihiro Sakamoto
義弘 坂本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Robotics Inc
Original Assignee
Tokyo Robotics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Robotics Inc filed Critical Tokyo Robotics Inc
Priority to JP2019216745A priority Critical patent/JP2021084210A/ja
Publication of JP2021084210A publication Critical patent/JP2021084210A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Manipulator (AREA)

Abstract

【課題】未知の物体であっても変形させたり破損させることなく安定的に把持することが可能なエンドエフェクタ等を提供すること【解決手段】把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタを備えたロボットであって、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えたロボットが提供される。【選択図】図５

Description

この発明は、例えば、物体の把持等を行うエンドエフェクタ又はそのようなエンドエフェクタを備えたロボット等に関する。
近年、倉庫や店舗等の様々な現場において、商品の移動や陳列にロボットを活用することが検討されている。この種のロボットには、様々な硬さ、表面性状又は形状等を有する多様な商品を、変形又は破損させたり若しくはその美粧性を損なうことがないよう安定的に把持することが要求される。
従前、この種の安定的な把持等の動作を実現するためには、把持しようとする物体毎に物体特性を予め実験等により測定し、当該特性に合わせて指やエンドエフェクタ等を制御することが行われていた。例えば、特許文献１には、物体の持ち上げの際に、予め実験により求めた外力と出力重心の移動量の対応関係をデータベース化して滑り判定を行い把持力を制御するロボットが開示されている。
特開２００６−２９７５４２号公報
しかしながら、従前の構成においては、把持対象となる物体毎に物体特性を予め求める必要があった。従って、未知の物体の把持には十分に対応出来ないおそれがあった。
また、特許文献１で示したような構成においては、把持対象となる物体のすべりに対する考慮は行われていても変形に関しては十分な配慮が行われていなかった。そのため、把持にあたって物体に変形を生じさせてしまうおそれがあった。
本発明は、上述の技術的課題を解決するためになされたものであり、その目的とするところは、未知の物体であっても変形させたり破損させることなく安定的に把持することが可能なエンドエフェクタ等を提供することにある。
上述の技術的課題は、以下の構成を有するロボット等により解決することができる。
すなわち、本発明に係るロボットは、把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタを備えたロボットであって、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えている。
このような構成によれば、機械学習のもつ汎化作用により、様々な硬さ、表面性状や形状を持つ未知の物体であっても変形させたり破損させたりすることなく安定的に把持することができるエンドエフェクタを備えたロボットを提供することができる。これにより、多様な商品の移動や陳列を可能なロボットを提供することができる。
前記把持用エンドエフェクタ制御部は、さらに、前記変形状態に基づいて、前記物体が変形していると推定された場合には、前記エンドエフェクタにおける把持量を調整する制御を行い、前記物体と接触しかつ変形が生じていないと推定された場合には、前記エンドエフェクタにおける把持量を維持する制御を行う、把持調整部を備える、ものであってもよい。
なお、ここで把持量とは、エンドエフェクタによる把持を制御するためのあらゆる制御量を含み、例えば、把持に用いられる把持体の位置や間隔、作動量であってもよいし、駆動力や駆動トルク等であってもよい。
前記推定処理部は、さらに、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体のすべり状態との関係について機械学習を行うことにより得られたすべり状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持物体のすべり状態を推定する、すべり状態推定処理部を含み、前記ロボットは、推定された前記すべり状態に基づいて前記ロボットにおける動作制御を行う、すべり用動作制御部を備える、ものであってもよい。
前記すべり用動作制御部は、さらに、推定された前記すべり状態に基づいて前記エンドエフェクタを制御する、すべり用エンドエフェクタ制御部を含む、ものであってもよい。
前記すべり用エンドエフェクタ制御部は、さらに、前記すべり状態に基づいて、前記物体と前記エンドエフェクタとの間にすべりが生じていると推定された場合には、前記エンドエフェクタにおける把持量の制御を行う、ものであってもよい。
前記すべり用動作制御部は、さらに、推定された前記すべり状態に基づいて把持動作の中止信号を生成する、中止信号生成部を備える、ものであってもよい。
前記ロボットは、さらに、前記物体を把持する動作を行う場合には、前記変形状態推定処理部と前記把持用エンドエフェクタ制御部を用いて把持制御を行い、前記把持の後に前記物体を持ち上げる場合には、すべり状態推定処理部と前記すべり用動作制御部を用いて持ち上げ制御を行う、切替部を備える、ものであってもよい。
前記変形状態推定用学習済モデルは、前記分布型触覚センサから取得されるセンサ情報を入力とし、物体との接触有りかつ物体の変形無しを表すラベルと、物体との接触有りかつ物体の変形有りを表すラベルを教師データとして機械学習を行うことにより得られたものであってもよい。
前記すべり状態推定用学習済モデルは、前記分布型触覚センサから取得されるセンサ情報の時系列データを入力とし、物体と前記エンドエフェクタとの間ですべりが生じていない状態を表すラベルと、物体と前記エンドエフェクタとの間ですべりが生じている状態を表すラベルを教師データとして機械学習を行うことにより得られたものであってもよい。
前記分布型触覚センサは、前記接触面と水平な２軸と、前記接触面に垂直な１軸を含む３軸成分を検出可能に構成されている、ものであってもよい。
前記エンドエフェクタは、一対の板状部材を互いに平行に配置して成り、各板状部材の対向面に、一対の前記分布型触覚センサが配置されているグリッパであってもよい。
前記エンドエフェクタは、複数の指形状部材から成り、各指の先端部に前記分布型触覚センサが配置されているハンドであってもよい。
本発明は、エンドエフェクタとしても観念することができる。すなわち、本発明に係るエンドエフェクタは、把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタであって、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えている。
本発明は、システムとしても観念することができる。すなわち、本発明に係るシステムは、把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタを含むシステムであって、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えている。
本発明は、方法としても観念することができる。すなわち、本発明に係る方法は、把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタの制御方法であって、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理ステップを含む、推定処理ステップと、推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御ステップと、を備えている。
本発明は、プログラムとしても観念することができる。すなわち、本発明に係るプログラムは、把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタの制御プログラムであって、前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理ステップを含む、推定処理ステップと、推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御ステップと、を備えている。
本発明によれば、未知の物体であっても変形させたり破損させたりすることなく安定的に把持することができるエンドエフェクタ等を提供することができる。これにより、多様な商品の移動や陳列を可能なロボット等を提供することができる。
図１は、ロボットの概略構成図である。 図２は、グリッパ及びグリッパ制御部の詳細構成に関するブロック図である。 図３は、グリッパの断面図である。 図４は、分布型３軸触覚センサの概略構成図である。 図５は、グリッパ制御に関する機能ブロック図である。 図６は、ロボットの動作に関するゼネラルフローチャートについて示す図である。 図７は、把持動作処理に関する詳細フローチャートについて示す図である。 図８は、把持動作に関する説明図である。 図９は、持ち上げ動作処理に関する詳細フローチャートについて示す図である。
以下、本発明の好適な実施の形態について添付の図１〜図９を参照しつつ詳細に説明する。
（１．第１の実施形態）
（１．１ 構成）
図１〜図５を参照しつつ、本実施形態に係るロボットの構成について説明する。本実施形態に係るロボットは、アーム７を有し、アーム先端にはエンドエフェクタの一種として後述するグリッパ５が連結されている。
図１は、把持動作又は持ち上げ動作を行うロボットの内部システムの一部の構成について示した概略構成図である。同図から明らかな通り、ロボットシステムは、少なくとも、ロボット制御部１、グリッパ制御部３及びアーム制御部６を備え、それらは互いにバスを介して接続されている。また、グリッパ制御部３は制御対象となるグリッパ５と、また、アーム制御部６は制御対象となるアーム７と、それぞれ接続されている。
ロボット制御部１は、ロボットの全体制御を行うためのプログラムやデータ等を格納した記憶部、プログラムを実行する制御部等を備えている。グリッパ制御部３は、後述するように、グリッパ５の制御やグリッパ５に取り付けらえているセンサから取得される情報の処理に必要な回路基板等を備えている。アーム制御部６は、持ち上げ動作等実行の際のアーム７の制御やアーム７に取り付けられているセンサから取得される情報の処理に必要な回路基板等を備えている。
図２は、グリッパ制御部３及びグリッパ５の詳細構成に関するブロック図である。同図から明らかな通り、グリッパ制御部３は、ＣＰＵ等の制御部３１、ＲＯＭ又はＲＡＭ等から成る記憶部３２、センサ信号処理回路を含むセンサ信号処理部３３及びアクチュエータ駆動回路を含むアクチュエータ駆動部３４を備え、それらは互いにバスにより接続されている。
グリッパ５は、一対の把持部材５６Ｌ、５６Ｒの対向面に備え付けられる一対の分布型３軸触覚センサ５３Ｌ、５３Ｒを含み、触覚センサ５３Ｌ、５３Ｒから取得されたセンサ信号はセンサ信号処理部３３へと提供される。また、グリッパ５は、物体の把持やリリースに伴う開閉動作を行うためのアクチュエータ５１を備えており、アクチュエータ５１は、アクチュエータ駆動部３４からの制御指令に応じて動作する。
図３は、グリッパ５の断面図である。グリッパ５は、本実施形態においては、平行開閉式グリッパである。すなわち、グリッパ５は、基部５８と、左右一対の把持部材５６Ｌ、５６Ｒ、及び左右一対の触覚センサ５３Ｌ、５３Ｒとから構成されている。
基部５８は、上述のアクチュエータ５１や回路基板等を内包し、アーム７先端と連結されている。把持部材５６Ｌ、５６Ｒは、基部５８の先端面に互いに平行に備え付けられる一対の平面板状部材である。把持部材５６Ｌ、５６Ｒ間の距離は、アクチュエータ５１の出力に応じて制御され、すなわち、把持量が制御される。触覚センサ５３Ｌ、５３Ｒは、分布型の３軸触覚センサであり、把持部材５６Ｌ、５６Ｒの内側の対向面に面状に配置されている。
なお、本実施形態においては、物体を挟持して保持する物体挟持型のエンドエフェクタの一種としてグリッパ５を用い、特に、平行開閉式グリッパを採用したが、本発明はこのような構成に限定されない。従って、例えば、複数の指形状の把持体を用いて対象物を把持するハンド等を用いてもよい。
図４は、触覚センサ５３Ｌ、５３Ｒの概略構成図である。本実施形態においては、触覚センサ５３Ｌ、５３Ｒは、分布型の３軸触覚センサであり、より詳細には磁気式の３軸触覚センサである
図４（ａ）は、触覚センサ５３Ｌ、５３Ｒの説明図である。同図から明らかな通り、触覚センサ５３Ｌ、５３Ｒは、表面に柔軟部材５３１を備え、柔軟部材５３１内には縦横に規則的に検出素子５３３が配置されている。物体等を把持すると柔軟部材５３１が変形し、この変形に伴い検出素子５３３が変位する。この変位による磁場の変化を図示しない読取素子により検出し、３次元的な触覚検知を行う。
図４（ｂ）は、検出対象成分の方向に関する説明図である。同図から明らかな通り、触覚センサ５３Ｌ、５３Ｒによれば、触覚センサ５３Ｌ、５３Ｒの接線方向（ｘ、ｙ軸）と法線方向（ｚ軸）への柔軟部材５３１の変形量が検出され、それにより、接戦方向と法線方向の力成分等をそれぞれ検出することができる。
なお、本実施形態においては分布型３軸触覚センサとして磁気式センサを採用した。しかしながら、本発明はこのような構成に限定されない。従って、例えば、光学式や所定のＭＥＭＳを用いた方式など、他の方式を採用したセンサであってもよい。また、３軸を取得可能としなくともよい。すなわち、例えば、接線方向の軸については鉛直軸方向の１軸のみを検出可能として、法線方向と合わせて２軸を検出する構成としてもよい。
また、分布型触覚センサ５３Ｌ、５３Ｒについては、左右一対としなくてもよい。従って、例えば、一方のみに分布型触覚センサを設けてもよい。
図５は、グリッパ制御に関する機能ブロック図である。同図から明らかな通り、グリッパ５の左右の触覚センサ５３Ｌ、５３Ｒの各検出素子５３３の変位により検出された３軸のセンサ情報は、センサ情報取得部３１７により取得され、変形推定部３１３並びにすべり推定部３１５へと提供される。変形推定部３１３及びすべり推定部３１５は、機械学習を通じて得られた学習済モデルから成り、それぞれ把持対象となる物体の変形状態と、物体とグリッパ５との間のすべり状態を推定して出力する。
変形推定部３１３の学習済モデルは、様々な硬さ、表面性状又は形状を有する物体を把持した際のセンサ情報と、その時の物体の変形状態との対応関係を機械学習することにより獲得される。教示の際に用いられる物体は、硬さや表面性状、形状等において多様であることが望ましい。例えば、おにぎりやサンドイッチ、紙コップやペットボトル、ガラスのコップ等、様々な物品を把持させることにより広範な汎化作用が期待できる。また、教師あり学習のラベルは、物体と接触センサ５３Ｌ、５３Ｒとが接触状態にない場合を表す「未接触」、物体と接触センサ５３Ｌ、５３Ｒが接触状態にあるがその物体の変形量が無いか又は微小である場合を表す「接触ありかつ変形なし」、及び、物体と接触センサ５３Ｌ、５３Ｒが接触状態にありその物体の変形量が一定量以上である場合を表す「接触ありかつ変形あり」とすることができ、物体の変形状態は例えば画像や目視等により確認できる。なお、本実施形態においては、学習モデルは人工ニューラルネットワークが採用される。
すべり推定部３１５の学習済モデルは、様々な硬さ、表面性状又は形状を有する物体を把持した際の時系列のセンサ情報と、その時の物体のすべり状態との対応関係を機械学習することにより獲得される。また、教師あり学習のラベルは、物体とグリッパ５との間においてすべりが生じていない場合を表す「すべり無し」、及び、物体とグリッパ５との間においてすべりが生じている場合を表す「すべり有り」とすることができ、物体のすべり状態は動画像や目視により確認できる。なお、本実施形態においては、学習モデルは人工ニューラルネットワークが採用される。
なお、変形推定部３１３に関する学習モデルとすべり推定部３１５に関する学習モデルとを１つの学習モデルとして実現してもよい。
また、学習モデルは人工ニューラルネットワークに限定されない。従って、例えば、ｋ平均法及びｋ近傍法、サポートベクターマシーン（ＳＶＭ）等他のあらゆる学習手法を利用可能である。
さらに、ラベルは上述の構成に限定されない。従って、例えば、「接触ありかつ微小な変形あり（弱い把持）」、「接触ありかつ所定割合以上の変形あり（強い把持）」等のように他のラベルを用いた学習としてもよい。また、ラベルを用いずに、例えば、出力を把持状態に関する連続値として構成してもよい。
変形推定部３１３の出力は動作指令情報生成部３１９へと提供される。また、すべり推定部３１５の出力はエラー処理部３１８へと提供される。動作指令情報生成部３１９からは、後述するように、把持物体の推定される変形状態又は推定されるすべり状態に応じてグリッパ５に備えられたアクチュエータ５１を制御する。
なお、ロボットの構成は本実施形態の構成に限定されるものではない。従って、機能ブロックの一部をロボット外部へと配置してもよいし、複数の機能ブロックを統合する等してもよい。
（１．２ 動作）
次に、上述の構成を備えたロボットにおける把持動作及び持ち上げ動作について説明する。
図６は、ロボットの動作に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、グリッパ制御部３は、ロボット制御部１等から物体把持動作指令を受信するまで待機状態となる（Ｓ１ＮＯ）。物体把持動作指令を受信すると（Ｓ１ＹＥＳ）、グリッパ制御部３において把持動作処理が開始する（Ｓ３）。
図７は、把持動作処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、把持動作を行うため、所定量だけグリッパ５を閉じる指令が、アクチュエータ駆動部３４を介してグリッパ５に対して送信される（Ｓ３１）。この指令に応じて、グリッパ５は、アクチュエータ５１を駆動させ、把持部材５６Ｌ、５６Ｒを近付ける（閉じる）動作を行い把持動作を実現する。
その後、センサ情報取得部３１７は、左右の触覚センサ５３Ｌ、５３Ｒのセンサ信号を取得する処理を行い、変形推定部３１３へと提供する（Ｓ３２）。センサ信号を受信した変形推定部３１３は、センサ信号と学習済モデルに基づいて、把持対象物体の変形状態を推定する処理を行う（Ｓ３３）。より詳細には、センサ信号に基づいて「未接触」、「接触ありかつ変形なし」又は「接触ありかつ変形あり」のいずれかのラベルを出力する。
この推定出力処理の後、所定の条件判定が行われる（Ｓ３４）。すなわち、推定出力が「未接触」の場合、グリッパ制御部３は、把持動作続行のため、グリッパ５に対してグリッパ５を閉じる指令を行う（Ｓ３６）。推定出力が「接触ありかつ変形なし」の場合、グリッパ制御部３は、把持動作を停止するため、グリッパ５に対してグリッパ５を停止させる指令を行う（Ｓ３７）。推定出力が「接触ありかつ変形あり」の場合、グリッパ制御部３は、把持を緩めるため、グリッパ５に対してグリッパ５を開く指令を行う（Ｓ３８）。すなわち、推定出力が「未接触」又は「接触ありかつ変形あり」の場合、把持制御を継続するため、再度一連の把持処理（Ｓ３２〜Ｓ３４）が行われる。
図８は、把持動作の概念図であり、同図においては、一例として、グリッパ５を用いて紙コップ等の円筒状の把持対象物１００を把持する過程が描写されている。図８（ａ）に示す通り、左右の触覚センサ５３Ｌ、５３Ｒと把持対象物１００が未接触の状態においては、グリッパ５を閉じる動作が行われる（Ｓ３２〜Ｓ３４、Ｓ３６）。その後、図８（ｂ）に示す通り、左右の触覚センサ５３Ｌ、５３Ｒと把持対象物１００が接触しかつ把持対象物１００が変形なしの状態においては、グリッパ５の開閉動作を停止する処理が行われる（Ｓ３２〜Ｓ３４、Ｓ３７）。また、図８（ｃ）に示す通り、左右の触覚センサ５３Ｌ、５３Ｒと把持対象物１００が接触しかつ把持対象物１００が左右からの力に応じて変形した状態においては、グリッパ５を開く動作が行われる（Ｓ３２〜Ｓ３４、Ｓ３８）。
すなわち、このような構成によれば、把持対象物を変形させない程度の適切な把持量で安定的に把持を行うことができる。
グリッパ５を停止させる指令が行われた場合（Ｓ３７）、把持完了信号をロボット制御部１に対して送信して（Ｓ３９）、処理を終了する。
ロボット制御部１は、この把持完了信号を受信すると把持が完了したこと検出する。ロボット制御部１は、この把持完了を検出すると、次にアーム７による持ち上げ動作を開始するためのアーム動作開始信号をアーム動作制御部６及びグリッパ制御部３へと送信する。アーム動作開始信号を受けて、アーム動作制御部６は、持ち上げ動作を実行し、グリッパ制御部３は、後述の処理を行う。
このような構成によれば、機械学習のもつ汎化作用により、様々な硬さ、表面性状や形状を持つ未知の物体であっても変形させたり破損させたりすることなく安定的に把持することができるグリッパを備えたロボットを提供することができる。これにより、多様な商品の移動や陳列を可能なロボットを提供することができる。
図６に戻り、把持動作処理の後、アーム動作開始信号を受信するまで待機状態（Ｓ５ＮＯ）にあったグリッパ制御部３は、アーム動作開始信号を受信すると（Ｓ５ＹＥＳ）、持ち上げ動作処理を開始する（Ｓ７）。この持ち上げ動作処理の後、処理は終了する。
図９は、持ち上げ動作処理に関する詳細フローチャートである。同図から明らかな通り、処理が開始すると、センサ情報取得部３１７は、左右の触覚センサ５３Ｌ、５３Ｒからセンサ情報を取得する処理を行う（Ｓ７１）。センサ情報取得部３１７は、取得したセンサ情報をすべり推定部３１５へと提供する。
すべり推定部３１５は、学習済モデルと取得したセンサ情報に基づいて推定処理を行う（Ｓ７２）。より詳細には、センサ信号に基づいて「すべりあり」又は「すべりなし」のいずれかのラベルを出力する。出力ラベルは、エラー処理部３１８へと提供する。
「すべりあり」というラベルが出力された場合（Ｓ７３ＹＥＳ）、エラー処理部３１８は、エラー処理（Ｓ７６）を行う。すなわち、エラー処理部３１８は、エラー信号を生成してロボット制御部１へと送信すると同時に、動作指令情報生成部３１９を介してグリッパ５に対してグリッパ５を閉じる指令を行う（Ｓ７６）。このエラー信号を受けて、ロボット制御部１は、アーム制御部６等と協働して、持ち上げ動作を中止して停止するか又はアーム７を初期姿勢等の所定姿勢へと移行させる処理を行う。エラー処理の後、処理は終了する。
このような構成によれば、把持対象物との間ですべりが生じたことにより持ち上げ動作を継続することができないことを検出できると共に、すべりを解消するためにグリッパ５を閉じるように把持量を調整するので、安全に把持動作等を行うことができる。
「すべりなし」というラベルが出力された場合（Ｓ７３ＮＯ）、アーム動作完了信号がロボット制御部１等から提供されているか否かを確認する（Ｓ７４）。アーム動作完了信号が提供されていない場合（Ｓ７４ＮＯ）、再び一連のすべり推定処理（Ｓ７１〜Ｓ７３）が行われる。アーム動作完了信号が提供されている場合（Ｓ７４ＹＥＳ）、処理は終了する。
このような構成によれば、機械学習のもつ汎化作用により、様々な硬さ、表面性状や形状を持つ未知の物体であってもすべりにより落下させたりすることなく安定的に把持することができるグリッパを備えたロボットを提供することができる。これにより、多様な商品の移動や陳列を可能なロボットを提供することができる。
（２．変形例）
上述の実施形態では、エラー処理（Ｓ７６）の後、処理は終了するものとした。しかしながら、本発明はこのような構成に限定されない。従って、把持を継続するような構成としてもよい。従って、例えば、すべりが生じた後に、すべりなしと判定されるまでグリッパ５を閉じる処理を行い、すべりなし状態となった後は、すべり判定を行いつつ、再度、変形推定部３１３による変形推定を行う構成としてもよい。
上述の実施形態においては、変形推定処理とすべり推定処理を、それぞれ把持動作処理と持ち上げ動作に合わせて順に実行する構成とした。しかしながら、本発明はこのような構成に限定されない。従って、例えば、いずれの動作段階にあっても、変形推定処理及びすべり推定処理を実行するような構成としてもよくそれらの処理を並行して実行してもよい。
上述の構成においては、実際にすべりが生じた後にエラー処理を行う構成とした。しかしながら、本発明はこのような構成に限定されない。従って、例えば、すべり推定処理部を用いてすべりが生じることを事前に予測して、グリッパ５を閉じる制御等を行ってもよい。
本発明は、少なくともエンドエフェクタ又はエンドエフェクタを備えたロボット又はシステム等を製造する産業において利用可能である。
１ ロボット制御部
３ グリッパ制御部
３１ 制御部
３１３ 変形推定部
３１５ すべり推定部
３１７ センサ情報取得部
３１８ エラー処理部
３１９ 動作指令情報生成部
３２ 記憶部
３３ センサ信号処理部
３４ アクチュエータ駆動部
５ グリッパ
５１ アクチュエータ
５３ 触覚センサ
５３１ 柔軟部材
５３３ 検出素子
５６ 把持部材
５８ 基部
６ アーム制御部
７ アーム
１００ 把持対象物

Claims (16)

  1. 把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタを備えたロボットであって、
    前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、
    推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えたロボット。
  2. 前記把持用エンドエフェクタ制御部は、さらに、
    前記変形状態に基づいて、前記物体が変形していると推定された場合には、前記エンドエフェクタにおける把持量を調整する制御を行い、前記物体と接触しかつ変形が生じていないと推定された場合には、前記エンドエフェクタにおける把持量を維持する制御を行う、把持調整部を備える、請求項１に記載のロボット。
  3. 前記推定処理部は、さらに、
    前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体のすべり状態との関係について機械学習を行うことにより得られたすべり状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持物体のすべり状態を推定する、すべり状態推定処理部を含み、
    前記ロボットは、
    推定された前記すべり状態に基づいて前記ロボットにおける動作制御を行う、すべり用動作制御部を備える、請求項１に記載のロボット。
  4. 前記すべり用動作制御部は、さらに、
    推定された前記すべり状態に基づいて前記エンドエフェクタを制御する、すべり用エンドエフェクタ制御部を含む、請求項３に記載のロボット。
  5. 前記すべり用エンドエフェクタ制御部は、さらに、
    前記すべり状態に基づいて、前記物体と前記エンドエフェクタとの間にすべりが生じていると推定された場合には、前記エンドエフェクタにおける把持量の制御を行う、請求項４に記載のロボット。
  6. 前記すべり用動作制御部は、さらに、
    推定された前記すべり状態に基づいて把持動作の中止信号を生成する、中止信号生成部を備える、請求項１に記載のロボット。
  7. 前記ロボットは、さらに、
    前記物体を把持する動作を行う場合には、前記変形状態推定処理部と前記把持用エンドエフェクタ制御部を用いて把持制御を行い、前記把持の後に前記物体を持ち上げる場合には、すべり状態推定処理部と前記すべり用動作制御部を用いて持ち上げ制御を行う、切替部を備える、請求項３に記載のロボット。
  8. 前記変形状態推定用学習済モデルは、前記分布型触覚センサから取得されるセンサ情報を入力とし、物体との接触有りかつ物体の変形無しを表すラベルと、物体との接触有りかつ物体の変形有りを表すラベルを教師データとして機械学習を行うことにより得られたものである、請求項１に記載のロボット。
  9. 前記すべり状態推定用学習済モデルは、前記分布型触覚センサから取得されるセンサ情報の時系列データを入力とし、物体と前記エンドエフェクタとの間ですべりが生じていない状態を表すラベルと、物体と前記エンドエフェクタとの間ですべりが生じている状態を表すラベルを教師データとして機械学習を行うことにより得られたものである、請求項１に記載のロボット。
  10. 前記分布型触覚センサは、前記接触面と水平な２軸と、前記接触面に垂直な１軸を含む３軸成分を検出可能に構成されている、請求項１に記載のロボット。
  11. 前記エンドエフェクタは、一対の板状部材を互いに平行に配置して成り、各板状部材の対向面に、一対の前記分布型触覚センサが配置されているグリッパである、請求項１に記載のロボット。
  12. 前記エンドエフェクタは、複数の指形状部材から成り、各指の先端部に前記分布型触覚センサが配置されているハンドである、請求項１に記載のロボット。
  13. 把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタであって、
    前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、
    推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えたエンドエフェクタ。
  14. 把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタを含むシステムであって、
    前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理部を含む、推定処理部と、
    推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御部と、を備えたシステム。
  15. 把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタの制御方法であって、
    前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理ステップを含む、推定処理ステップと、
    推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御ステップと、を備えた制御方法。
  16. 把持対象となる物体との接触面に分布型触覚センサを備えた挟持型のエンドエフェクタの制御プログラムであって、
    前記分布型触覚センサから取得されるセンサ情報と把持対象となる物体の変形状態との関係について機械学習を行うことにより得られた変形状態推定用学習済モデルと、前記分布型触覚センサから取得されたセンサ情報に基づき、把持しようとする物体の変形状態を推定する変形状態推定処理ステップを含む、推定処理ステップと、
    推定された前記変形状態に基づいて前記エンドエフェクタの制御を行う、把持用エンドエフェクタ制御ステップと、を備えた制御プログラム。
JP2019216745A 2019-11-29 2019-11-29 ロボット、エンドエフェクタ、システム、方法及びプログラム Pending JP2021084210A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019216745A JP2021084210A (ja) 2019-11-29 2019-11-29 ロボット、エンドエフェクタ、システム、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019216745A JP2021084210A (ja) 2019-11-29 2019-11-29 ロボット、エンドエフェクタ、システム、方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2021084210A true JP2021084210A (ja) 2021-06-03

Family

ID=76086519

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019216745A Pending JP2021084210A (ja) 2019-11-29 2019-11-29 ロボット、エンドエフェクタ、システム、方法及びプログラム

Country Status (1)

Country Link
JP (1) JP2021084210A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023008160A1 (ja) * 2021-07-26 2023-02-02 株式会社ブリヂストン 推定装置、推定方法、推定プログラム、及びロボットシステム
WO2023167003A1 (ja) * 2022-03-02 2023-09-07 オムロン株式会社 制御装置、制御方法、及び制御プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023008160A1 (ja) * 2021-07-26 2023-02-02 株式会社ブリヂストン 推定装置、推定方法、推定プログラム、及びロボットシステム
WO2023167003A1 (ja) * 2022-03-02 2023-09-07 オムロン株式会社 制御装置、制御方法、及び制御プログラム

Similar Documents

Publication Publication Date Title
Homberg et al. Robust proprioceptive grasping with a soft robot hand
EP3869464B1 (en) Learning apparatus and learning method
US20200331709A1 (en) Object Grasp System and Method
Chan et al. A human-inspired object handover controller
TWI827907B (zh) 機器人的控制裝置、控制方法、機器人及其系統、學習裝置、方法及電腦程式產品
Lee et al. Assembly process monitoring algorithm using force data and deformation data
JP2021084210A (ja) ロボット、エンドエフェクタ、システム、方法及びプログラム
Calli et al. Learning modes of within-hand manipulation
Namiki et al. Origami folding by multifingered hands with motion primitives
Wan et al. Variability and predictability in tactile sensing during grasping
Su et al. Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty
US8706299B2 (en) Method and system for controlling a dexterous robot execution sequence using state classification
Marvel et al. Best practices and performance metrics using force control for robotic assembly
Saen et al. Action-intention-based grasp control with fine finger-force adjustment using combined optical-mechanical tactile sensor
Kolamuri et al. Improving grasp stability with rotation measurement from tactile sensing
JP2023086924A (ja) 制御方法、制御システム及びプログラム
Mazhitov et al. Human–robot handover with prior-to-pass soft/rigid object classification via tactile glove
WO2021029205A1 (ja) 情報処理装置、情報処理方法、プログラム、およびロボット
Fujimoto et al. Picking up dishes based on active groping with multisensory robot hand
Thompson et al. Cognitive Grasping and Manipulation of Unknown Object with Control Grip Force using Cyber Physical System Approach
Kiyokawa et al. Generation of a tactile-based pouring motion using fingertip force sensors
Weiner et al. Detecting grasp phases and adaption of object-hand interaction forces of a soft humanoid hand based on tactile feedback
Wang et al. Human intention estimation with tactile sensors in human-robot collaboration
Matsuoka et al. A dexterous manipulation system with error detection and recovery by a multi-fingered robotic hand
Ganguly et al. Grasping in the dark: Zero-shot object grasping using tactile feedback

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20191129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220824

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230621

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230712

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20240117