JP2022045772A - ロボットシステム及びピッキング方法 - Google Patents
ロボットシステム及びピッキング方法 Download PDFInfo
- Publication number
- JP2022045772A JP2022045772A JP2020151539A JP2020151539A JP2022045772A JP 2022045772 A JP2022045772 A JP 2022045772A JP 2020151539 A JP2020151539 A JP 2020151539A JP 2020151539 A JP2020151539 A JP 2020151539A JP 2022045772 A JP2022045772 A JP 2022045772A
- Authority
- JP
- Japan
- Prior art keywords
- work
- fingers
- works
- gripped
- robot mechanism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 44
- 230000007246 mechanism Effects 0.000 claims abstract description 64
- 238000009826 distribution Methods 0.000 claims description 65
- 238000001514 detection method Methods 0.000 claims description 29
- 238000002620 method output Methods 0.000 claims description 7
- 230000036544 posture Effects 0.000 abstract 1
- 230000008569 process Effects 0.000 description 14
- 230000004048 modification Effects 0.000 description 10
- 238000012986 modification Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000015654 memory Effects 0.000 description 4
- 210000002435 tendon Anatomy 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
- B25J13/081—Touching devices, e.g. pressure-sensitive
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1612—Programme controls characterised by the hand, wrist, grip control
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
- B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/40—Robotics, robotics mapping to robotics vision
- G05B2219/40053—Pick 3-D object from pile of objects
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B2219/00—Program-control systems
- G05B2219/30—Nc systems
- G05B2219/45—Nc applications
- G05B2219/45063—Pick and place manipulator
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Orthopedic Medicine & Surgery (AREA)
- Manipulator (AREA)
Abstract
【課題】ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができる。【解決手段】ロボットシステムは、ワークを把持する指F1、F2を備えたロボット機構と、指F1、F2によるワークWの把持状態を検出する検出部と、検出部の検出結果に基づいて指F1、F2に把持されたワークの数を認識する認識部と、ロボット機構にワークが複数載置されている載置場所からワークを把持する動作をさせた後に、認識部により認識されたワークの数が予め指定された指定数と異なる場合、把持されたワークの数が指定数となるようにロボット機構の運動を制御する制御部と、を備え、指F1、F2の少なくとも1つは、可撓性を有し、制御部は、指F1、F2でワークを把持した状態において、少なくとも1つの指の位置が変化するようにロボット機構の運動を制御する。【選択図】図5
Description
本発明は、ロボットシステム及びピッキング方法に関する。
特許文献1~3には、ばら積みされたワークの撮影画像に基づいてピッキング可能なワークを認識してワークをピッキングする技術が開示されている。
しかしながら、上記従来技術では、特にねじ等のような小さいワーク、金属のワーク、光沢があるワークの場合、画像センサや深度センサによるワークの位置や姿勢を確実に検出するのが困難である結果、1つのワークのピッキングを確実に行うのが困難である。また、周辺の干渉物とのクリアランスの推定や、把持可能性の計算を失敗することによってもピッキングの失敗を招く。さらに、1つのワークをピッキングすることによりその周囲のワークの配置が変わってしまうことが多いので、毎回のピッキング動作の前にワークの位置や姿勢を検出するための時間も要する。
本発明は、上記の点に鑑みてなされたものであり、ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができるロボットシステム及びピッキング方法を提供することを目的とする。
開示の第1態様は、ロボットシステムであって、ワークを把持する複数の指を備えたロボット機構と、前記複数の指による前記ワークの把持状態を検出する検出部と、前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、を備え、前記複数の指の少なくとも1つは、可撓性を有し、前記制御部は、前記複数の指で前記ワークを把持した状態において、少なくとも1つの指の位置が変化するように前記ロボット機構の運動を制御する。
上記第1態様において、前記複数の指の少なくとも1つが弾性部材で構成されていてもよい。
開示の第2態様は、ワークを把持する複数の指を備えたロボット機構と、前記複数の指による前記ワークの把持状態を検出する検出部と、前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、を備え、前記検出部は、少なくとも1つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、前記認識部は、前記検出部により検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、前記制御部は、前記圧力分布及び前記複数の指を駆動する駆動部の駆動状態を入力とし、前記複数の指で把持した前記ワークの個数と、前記ワークの数を前記指定数とするための前記駆動部の駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する。
上記第2態様において、前記圧力分布センサ上に弾性部材が設けられている構成としてもよい。
上記第1態様において、前記制御部は、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも1つを、把持のための運動方向である第1方向、前記第1方向及び前記指の長手方向と交差する第2方向、前記指の長手方向である第3方向、及び前記第3方向を回転軸として回転する回転方向の少なくとも1つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御するようにしてもよい。
上記第1態様において、前記検出部は、前記複数の指の相対的な位置関係が互いに異なる状態で前記把持状態を複数回検出し、前記認識部は、前記把持状態を複数回検出した結果に基づいて前記ワークの個数を認識するようにしてもよい。
開示の第3態様は、ピッキング方法であって、ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、前記複数の指の少なくとも1つは、可撓性を有し、前記複数の指で前記ワークを把持した状態において、少なくとも1つの指の位置が変化するように前記ロボット機構の運動を制御する。
開示の第4態様は、ピッキング方法であって、ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、少なくとも1つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、前記圧力分布を入力とし、前記複数の指で把持した前記ワークの個数と、前記複数の指の少なくとも1つの指の駆動方法であって前記ワークの数を前記指定数とするための駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する。
本発明によれば、ワークの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークをピッキングすることができる。
以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法比率は、説明の都合上誇張されている場合があり、実際の比率とは異なる場合がある。
<第1実施形態>
図1は、第1実施形態に係るロボットシステム10の構成図である。図1に示すように、ロボットシステム10は、ロボット機構20、制御装置30、及び撮影部40を備える。ロボットシステム10は、本実施形態では、ワークWをピッキングするピッキング装置として機能する。
ロボット機構20は、ピッキング動作を行う際の運動制御の対象である機構部分としてのロボットアームARと、ロボットアームARの先端に取り付けられたロボットハンドHと、を含む。ロボットハンドHは、ワークWが複数載置されている載置場所の一例としての箱50からワークWを把持する。ロボットハンドHは、把持部の一例である。なお、本実施形態では、ワークWは、一例としてネジ等のロボットハンドHで複数のワークWを把持できる程度の比較的小さい部品である場合について説明するが、ワークWはこれに限られるものではない、
ロボットハンドHは、複数の指、本実施形態では一例として2つの指F1、F2を備えるが、指の数は2つに限られるものではない。また、指F1、F2は、本実施形態では一例として板状の部材で構成されるが、指F1、F2の形状はこれに限られるものではない。
また、ロボットハンドHは、指F1、F2でワークWを把持した状態において、指F1の位置が変化するように駆動する駆動部22-1と、指F1、F2でワークWを把持した状態において、指F2の位置が変化するように駆動する駆動部22-2と、を備える。なお、本実施形態では、指F1、F2の両方に駆動部が設けられた場合について説明するが、指F1、F2の何れかに駆動部を設けた構成としてもよい。
また、指F1の把持面には、ワークWが接触する把持面の圧力分布を検出する圧力分布センサ24-1が設けられている。同様に、指F2の把持面には、ワークWが接触する把持面の圧力分布を検出する圧力分布センサ24-2が設けられている。ここで、圧力分布センサ24-1、24-2は、指F1、F2によるワークWの把持状態を検出する検出部の一例である。
なお、本実施形態では、指F1、F2の両方の把持面の各々に圧力分布センサが設けられた場合について説明するが、指F1、F2の何れかの指の把持面に圧力分布センサを設けた構成としてもよい。
ロボット機構20は、一例として自由度が6の垂直多関節ロボット、水平多関節ロボット等が用いられるが、ロボットの自由度及び種類はこれらに限られるものではない。
制御装置30は、ロボット機構20を制御する。図2に示すように、制御装置30は、機能的には、認識部32及び制御部34を含む。
認識部32は、圧力分布センサ24-1、24-2の検出結果、すなわち圧力分布に基づいて、指F1、F2に把持されたワークWの個数を認識する。認識部32は、本実施形態では一例として、圧力分布センサ24-1、24-2で検出された圧力分布の各々を入力とし、ワークWの数を出力として学習された学習済みモデル、例えばニューラルネットワークを用いた学習済みモデルを用いて、指F1、F2で把持されたワークWの個数を認識する。
制御部34は、ロボット機構20に箱50からワークWを把持する動作をさせた後に、認識部32により認識されたワークの個数が予め指定された指定数と異なる場合、把持されたワークWの数が指定数となるようにロボット機構20の運動を制御する。なお、本実施形態では、指定数が1の場合について説明する。すなわち、認識部32により認識されたワークの個数が複数の場合は、認識部32により認識されたワークの個数が1つになるまで、ワークWが落下するようにロボット機構20の運動を制御する。
具体的には、制御部34は、例えば指F1、F2でワークWを把持した把持状態を変化させるため、指F1、F2の少なくとも一方が移動するように、駆動部22-1、22-2の少なくとも一方を制御する。すなわち、指F1、F2の相対位置が変化するように、指F1、F2の少なくとも一方をずらす。これにより、指F1、F2で把持しているワークWの把持状態が変化し、ワークWを落下させることができる。
撮影部40は、箱50の上方から箱50内のワークWを撮影可能な位置に設置され、制御装置30の指示によって箱50内のワークWを撮影した撮影画像を制御装置30に出力する。
次に、制御装置30のハードウェア構成を示すブロック図である。
図3に示すように、制御装置30は、CPU(Central Processing Unit)30A、ROM(Read Only Memory)30B、RAM(Random Access Memory)30C、ストレージ30D、入力部30E、モニタ30F、光ディスク駆動装置30G及び通信インタフェース30Hを有する。各構成は、バス30Iを介して相互に通信可能に接続されている。
本実施形態では、ストレージ30Dには、ピッキングプログラムが格納されている。CPU30Aは、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、CPU30Aは、ストレージ30Dからプログラムを読み出し、RAM30Cを作業領域としてプログラムを実行する。CPU30Aは、ストレージ30Dに記録されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。
ROM30Bは、各種プログラム及び各種データを格納する。RAM30Cは、作業領域として一時的にプログラム又はデータを記憶する。ストレージ30Dは、HDD(Hard Disk Drive)又はSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。
入力部30Eは、キーボード30E1、及びマウス30E2等のポインティングデバイスを含み、各種の入力を行うために使用される。モニタ30Fは、例えば、液晶ディスプレイであり、ワークWの把持状態等の各種の情報を表示する。モニタ30Fは、タッチパネル方式を採用して、入力部30Eとして機能してもよい。光ディスク駆動装置30Gは、各種の記録媒体(CD-ROM又はブルーレイディスクなど)に記憶されたデータの読み込みや、記録媒体に対するデータの書き込み等を行う。
通信インタフェース30Hは、他の機器と通信するためのインタフェースであり、例えば、イーサネット(登録商標)、FDDI又はWi-Fi(登録商標)等の規格が用いられる。
図2に示した制御装置30の各機能構成は、CPU30Aがストレージ30Dに記憶されたピッキングプログラムを読み出し、RAM30Cに展開して実行することにより実現される。
次に、ロボットシステム10の作用について説明する。
図4は、ロボットシステム10によるピッキング処理の流れを示すフローチャートである。ユーザーが入力部30Eを操作してピッキング処理の実行を指示すると、CPU30Aがストレージ30Dからピッキングプログラムを読み出して、RAM30Cに展開し実行することにより、ピッキング処理が実行される。
ステップS100では、CPU30Aが、制御部34として、ロボットハンドHにより箱50内のワークWを把持するようロボット機構20を制御する。具体的には、例えば撮影部40に撮影を指示して箱50内のワークWを撮影した撮影画像を取得し、取得した撮影画像を画像解析することによりワークWの存在する場所を特定する。このとき、把持すべきワークWの位置や姿勢を特定する必要はなく、ワークWが存在する場所を特定するだけでよい。そして、ワークWが存在する場所にロボットハンドHが移動するようにロボットアームARを制御し、その後、指F1、F2でワークWを把持するように駆動部22-1、22-2を制御する。あるいは、撮像部40による撮影を行うことなく、箱50内の何れかの位置で指F1、F2を閉じる動作を行い、その結果として、ある確率でワークWが把持されるようにしてもよい。特に、箱50内に多数のワークWが残存している場合には、事前にワークWが存在する場所の特定すらしなくても、高い確率でワークWを把持することができる。
ステップS102では、CPU30Aが、認識部32として、圧力分布センサ24-1、24-2から指F1、F2の把持面の圧力分布を各々取得する。そして、取得した指F1、F2の把持面の圧力分布から指F1、F2によって把持されたワークWの個数を認識する。
ステップS104では、CPU30Aが、制御部34として、ステップS102で認識したワークWの個数が0であるか否かを判定する。そして、認識したワークWの個数が0ではない場合、すなわち、少なくとも1つ以上のワークWを把持している場合はステップS106へ移行する。一方、認識したワークの個数が0の場合はステップS100へ戻ってワークWを把持し直す。
ステップS106では、CPU30Aが、制御部34として、ステップS102で認識したワークWの個数が指定数であるか否か、すなわち認識したワークWの個数が1つであるか否かを判定する。そして、認識したワークWの個数が1の場合はステップS108へ移行する。一方、認識したワークWの個数が1ではない場合、すなわち複数の場合は、ステップS110へ移行する。
ステップS108では、CPU30Aが、制御部34として、ロボットハンドHで把持したワークWを所定の場所に移動して載置するようにロボット機構20を制御する。
ステップS110では、CPU30Aが、制御部34として、指F1、F2の少なくとも一方をずらすように、駆動部22-1、22-2の少なくとも一方を制御する。例えば、ずらす指、方向、及び移動量を予め定めておいてもよいし、ステップS102で取得した指F1、F2の把持面の圧力分布に基づいて、ずらす指、方向、及び移動量を決定してもよい。これにより、指F1、F2で把持しているワークWの把持状態が変化し、ワークWが落下しやすくなる。
ステップS112では、CPU30Aが、制御部34として、箱50内のワークWを全てピッキングしたか否かを判定する。すなわち、箱50内が空になっているか否かを判定する。具体的には、例えば撮影部40で撮影された撮影画像を画像解析して、箱50内にワークWが残っているか否かを判定する。そして、箱50内にワークWが残っていない場合は、本ルーチンを終了する。一方、箱50内にワークWが残っている場合はステップS100へ戻り、ワークWを全てピッキングするまで上記と同様の処理を繰り返す。
このように、本実施形態では、把持すべきワークWの位置や姿勢を事前に検出してからワークWを把持するのではなく、まずはワークWを把持してから、把持したワークWの個数が指定数になるまで指F1、F2の少なくとも一方をずらす運動を行う。これにより、ワークWの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークWをピッキングすることができる。
(変形例1)
次に、第1実施形態の変形例1について説明する。
把持したワークWの数を認識する場合に、例えば、指F1、F2の各々の把持面におけるワークWの接触面積に基づいて、把持したワークWの個数を認識してもよい。例えば、圧力分布センサ24-1、24-2で検出された圧力分布の各々に基づいて、指F1、F2の各々の把持面におけるワークWの接触面積を各々算出する。そして、例えば各接触面積と把持したワークの個数との対応関係を表すテーブルデータ又は数式等を用いて、把持したワークWの個数を認識してもよい。例えばワークWが球体の場合には、弾性を有する把持面が1個のワークWで押されることにより形成される接触面積は比較的安定しているので、このようにして個数を認識することが可能である。
(変形例2)
次に、第1実施形態の変形例2について説明する。
把持したワークWの数を認識する場合に、例えば、検出部の一例としての撮影部40で指F1、F2でワークWを把持した状態を撮影し、撮影部40で撮影された撮影画像に基づいて、把持したワークWの個数を認識するようにしてもよい。この場合、制御部34は、指F1、F2で把持されたワークWを撮影部40で撮影可能な位置、すなわち、指F1、F2によってワークWが隠れない位置で撮影されるように、ロボットハンドHを移動させてもよい。また、撮影部40の移動機構を更に備えた構成とし、撮影部40をロボットハンドHの位置に移動させるようにしてもよい。また、ロボットハンドH及び撮影部40の両方を移動させてもよい。
(変形例3)
次に、第1実施形態の変形例3について説明する。
把持したワークWの数を認識する場合に、例えば、指F1、F2でワークWを把持した状態の指F1、F2にかかる力を検出する検出部の一例としての6軸力覚センサを備えた構成とし、認識部32は、力覚センサにより検出された力の鉛直方向成分が把持前に対して把持後に増加した量、すなわちワークWの総重量に基づいて、ワークWの個数を認識するようにしてもよい。この場合、例えばワークWの総重量と、ワークWの1個当たりの重量と、に基づいて、ワークWの個数を認識するようにしてもよい。すなわち、力覚センサにより検出された力から算出したワークWの総重量をワークWの1個当たりの重量で除算することによりワークWの個数を算出してもよい。
(変形例4)
次に、第1実施形態の変形例4について説明する。
制御部34は、認識部32により認識されたワークWの数が指定数と異なる場合、例えば指定数より少ない場合、箱50からワークWを把持し直すようにロボット機構20の運動を制御するようにしてもよい。すなわち、箱50上で指F1、F2を開く動作をさせることにより、一旦把持したワークWを箱50上に戻してから、再度箱50内のワークWを把持するようにロボット機構20を制御してもよい。
(変形例5)
次に、第1実施形態の変形例5について説明する。
制御部34は、認識部32により認識されたワークWの数が指定数より多い場合、指F1、F2で把持しているワークの少なくとも一部に外力を加えて落下させるようにロボット機構20を制御するようにしてもよい。例えば、棒状の固定の治具にワークWを衝突させるようにロボット機構20を制御して、ワークWを落下させるようにしてもよい。また、例えば棒状部材によってワークWに外力を加える外力機構を更に設けた構成とし、当該外力機構を制御して棒状部材をワークWに衝突させることでワークWを落下させるようにしてもよい。
<第2実施形態>
次に、第2実施形態について説明する。なお、第1実施形態と同一部分については同一符号を付し、詳細な説明は省略する。
第2実施形態では、指F1、F2の少なくとも1つが可撓性を有する構成の場合について説明する。第2実施形態では、指F1、F2の両方が可撓性を有する場合について説明するが、指F1、F2の一方が可撓性を有する構成であってもよい。
図5に示すように、第2実施形態に係る指F1は、指F1の長手方向がZ軸方向、すなわち重力方向に沿っている場合において、X軸方向に可撓性を有する蛇腹F1Aを備えている。このため、指F1は、図5においてX軸方向に可撓性を有する。
指F2は、X軸方向に可撓性を有する蛇腹F2Aを備えている。このため、指F1は、図5においてX軸方向に可撓性を有する。更に、指F2は、Y軸方向に可撓性を有する蛇腹F2Bを備えている。このため、指F2は、図5においてY軸方向にも可撓性を有する。
駆動部22-1は、図5においてZ軸方向を回転軸として矢印A方向に指F1が回転するよう駆動する回転用モータを備える。この回転用モータを駆動することにより、図6(A)に示すように指F1、F2を下方から見た場合においてワークWを把持した状態から、図6(B)に示すように、Z軸方向を回転軸として矢印A方向に指F1をずらすことができる。
また、指F2の指先と駆動部22-2とは、例えば紐状の第1の腱(図示省略)によって接続されている。そして、駆動部22-2は、第1の腱を引っ張るように駆動する第1の引っ張り用モータを備えている。この第1の引っ張り用モータを駆動することにより、図7(A)に示す状態から、図7(B)に示すように指F2をX軸方向に動かすことができる。なお、指F1は、X軸方向に可撓性を有する蛇腹F1Aを備えているため、指F2の動きに追従してX軸方向に移動する。
また、指F2の指先と駆動部22-2とは、例えば紐状の第2の腱(図示省略)によって接続されている。そして、駆動部22-2は、第2の腱を引っ張るように駆動する第2の引っ張り用モータを備えている。この第2の引っ張り用モータを駆動することにより、図8(A)に示す状態から、図8(B)に示すように指F2をY軸方向に動かすことができる。なお、指F1は、Y軸方向に可撓性を有しないため、指F2の動きに追従してY軸方向に移動することはない。
また、図1では図示は省略したが、指F1の指先のワークWの把持面には、図9に示すように、圧力分布センサ24-1が貼り付けられており、更にその上から弾性部材26-1が貼り付けられている。指F2も同様に、指先のワークWの把持面には、圧力分布センサ24-2が貼り付けられており、更にその上から弾性部材26-1と同様の弾性部材が貼り付けられている。
圧力分布センサ24-1、24-2は、m×n(m、nは整数)個の圧力検出素子で構成される。例えばm=6、n=4等とすることができるが、m、nの値はこれに限られるものではない。
例えば図10(A)に示すように、圧力分布センサ24-1上に弾性部材26-1が設けられていない場合、ワークWを把持した際には、ワークWを2カ所の接点S1、S2のみでしか検知できないため、ワークWを精度良く認識できない虞がある。これに対し、図10(B)に示すように、圧力分布センサ24-1上に弾性部材26-1を設けた構成の場合、図10(B)において矢印で示すように、把持されたワークWの圧力が圧力分布センサ24-1に対して面で伝わることとなり、ワークWを精度良く認識することができる。
なお、指F1、F2が弾性部材で構成されてもよい。すなわち、弾性部材を別個に設けるのではなく、指F1、F2の指先自体が弾性部材で構成されていてもよい。
認識部32は、第2実施形態では一例として、圧力分布センサ24-1、24-2により検出された圧力分布を入力とし、指F1、F2で把持したワークWの個数を出力として学習された把持数認識モデルによりワークWの個数を認識する。
把持数認識モデルとしては、例えば畳み込みニューラルネットワーク(Convolutional Neural Network:CNN)を用いた学習モデルを学習した学習済みモデルを用いることができるが、これに限られるものではない。
ワークWの個数を認識するための圧力分布検出は、指F1、F2の相対位置関係を変えて複数回行ってもよい。その場合、制御部34では、指F1、F2の少なくとも1つを予め定めた方向へ移動させる制御を行うことにより、圧力分布センサ24-1、24-2において、ワークWの把持状態を複数回検出させる。例えば、指F1を押すように、指F2をX軸方向へ移動させながら圧力分布センサ24-1、24-2において複数回圧力分布を検出させる。すなわち、時系列で指F1、F2の把持面の圧力分布を検出させる。
認識部32は、圧力分布センサ24-1、24-2の各々で複数回検出した結果、すなわち、複数回検出した指F1、F2の圧力分布の各々を把持数認識モデルに入力する。このように、複数の圧力分布を把持数認識モデルに入力することにより、精度良くワークWの個数を認識することができる。
なお、例えば指F1のX軸方向への反りの度合いを検出するストレッチセンサーを指F1に設け、このストレッチセンサーの出力値を把持数認識モデルに更に入力するようにしてもよい。
制御部34は、指F1、F2でワークWを把持した状態において、指F1、F2のうち少なくとも1つの指の位置が変化するようにロボット機構20の運動を制御する。
具体的には、指F1、F2によりワークWを把持した状態で、指F1、F2の少なくとも1つを、予め定めた第1方向、第1方向と交差する第2方向、第1方向及び第2方向と交差する第3方向、及び第3方向を回転軸として回転する回転方向の少なくとも1つの方向に移動させるように、ロボット機構20の運動を制御する。例えば、図5においてX軸方向を第1方向とした場合、Y軸方向が第2方向、Z軸方向が第3方向となり、矢印A方向が回転方向となる。
ずらす指、方向、及び移動量については、第1実施形態で説明したように、例えばステップS102で取得した指F1、F2の把持面の圧力分布に基づいて決定してもよい。
また、制御部34は、圧力分布センサ24-1、24-2で検出された圧力分布及び駆動部22-1、22-2の駆動状態を入力とし、指F、F2で把持したワークWの個数と、ワークWの数を指定数とするための駆動部22-1、22-2の駆動方法と、を出力として学習された駆動方法モデルから出力された駆動方法に基づいてロボット機構20の運動を制御してもよい。ここでいう「駆動方法」は、例えば駆動命令又は駆動命令生成の元となる情報のような駆動に関わる情報であり、機械学習でいう「行動」、制御理論でいう「制御入力」に相当するものを意味する。第2実施形態では、駆動方法モデルから出力された駆動方法に基づいてロボット機構20の運動を制御する場合について説明する。
ここで、駆動部22-1の駆動状態とは、駆動部22-1の回転用モータの回転角であり、指F1の矢印A方向の初期状態からの移動量に相当する。また、駆動部22-2の駆動状態とは、駆動部22-2の第1の引っ張り用モータの回転角及び第2の引っ張り用モータの回転角であり、それぞれ指F2のX軸方向の初期状態からの移動量及びY軸方向の初期状態からの移動量に相当する。
駆動方法モデルは、第2実施形態では一例として再帰型ニューラルネットワーク(Recurrent Neural Network:RNN)の一種であるLSTM(Long Short-Term Memory)ベースの学習モデル及び/又は強化学習モデルを含む学習済みモデルを用いた構成とする。
このような駆動方法モデルでは、LSTMベースの学習モデルに圧力分布センサ24-1、24-2で検出された圧力分布及び駆動部22-1、22-2の駆動状態が入力され、把持しているワークWの個数を求める。そして、求めたワークWの個数、圧力分布センサ24-1、24-2で検出された圧力分布、及び駆動部22-1、22-2の駆動状態を状態情報として強化学習モデルに入力する。強化学習モデルは、入力された状態情報に対応する行動として、駆動部22-1、22-2の駆動方法を出力する。すなわち、駆動部22-1の回転用モータの回転角、駆動部22-2の第1の引っ張り用モータの回転角及び第2の引っ張り用モータの回転角を出力する。制御部34は、駆動方法モデルから出力された駆動方法に従って駆動部22-1、22-2を駆動し、指F1、F2の少なくとも一方を移動させる。なお、ストレッチセンサーの出力値を状態情報に含め、駆動方法モデルに更に入力するようにしてもよい。
次に、ロボットシステム10の作用について説明する。
第2実施形態に係るロボットシステム10によるピッキング処理の基本的な流れは、第1実施形態で説明した図4に示すフローチャートで示す処理と同様である。以下、第2実施形態において特徴的な処理について説明する。
図4のステップS102では、CPU30Aが、制御部34として、指F1、F2でワークWを把持した状態において、指F2をX軸方向に移動させながら、認識部32として、圧力分布センサ24-1、24-2から指F1、F2の把持面の圧力分布を時系列で各々取得する。そして、時系列取得した指F1、F2の把持面の圧力分布を把持数認識モデルに入力することにより、指F1、F2によって把持されたワークWの個数を認識する。
ステップS110では、CPU30Aが、制御部34として、圧力分布センサ24-1、24-2で検出された圧力分布及び駆動部22-1、22-2の駆動状態を駆動方法モデルに入力し、駆動方法モデルから出力された駆動方法に従って駆動部22-1、22-2を駆動することで指F1、F2の少なくとも一方をずらすように移動させ、ワークWの把持状態を変化させる。これにより、ワークWが落下しやすくなる。
このように、第2実施形態では、把持数認識モデルを用いてワークWの把持数を認識し、駆動方法モデルを用いて指F1、F2の動作を制御する。これにより、ワークWの位置や姿勢を毎回事前に検出しなくても、高い確度で、ワークWをピッキングすることができる。
なお、上記各実施形態でCPUがソフトウェア(プログラム)を読み込んで実行したピッキング処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、ピッキング処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
また、上記各実施形態では、ピッキングプログラムがストレージ30D又はROM30Bに予め記憶(インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、及びUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
10 ロボットシステム
20 ロボット機構
22-1、22-2 駆動部
24-1、24-2 圧力分布センサ
26-1 弾性部材
30 制御装置
32 認識部
34 制御部
40 撮影部
50 箱
F1、F2 指
F1A、F2A、F2B 蛇腹
AR ロボットアーム
H ロボットハンド
W ワーク
20 ロボット機構
22-1、22-2 駆動部
24-1、24-2 圧力分布センサ
26-1 弾性部材
30 制御装置
32 認識部
34 制御部
40 撮影部
50 箱
F1、F2 指
F1A、F2A、F2B 蛇腹
AR ロボットアーム
H ロボットハンド
W ワーク
Claims (8)
- ワークを把持する複数の指を備えたロボット機構と、
前記複数の指による前記ワークの把持状態を検出する検出部と、
前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、
を備え、
前記複数の指の少なくとも1つは、可撓性を有し、
前記制御部は、前記複数の指で前記ワークを把持した状態において、少なくとも1つの指の位置が変化するように前記ロボット機構の運動を制御する
ロボットシステム。 - 前記複数の指の少なくとも1つが弾性部材で構成されている
請求項1記載のロボットシステム。 - ワークを把持する複数の指を備えたロボット機構と、
前記複数の指による前記ワークの把持状態を検出する検出部と、
前記検出部の検出結果に基づいて前記複数の指に把持されたワークの数を認識する認識部と、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、前記認識部により認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御する制御部と、
を備え、
前記検出部は、少なくとも1つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、
前記認識部は、前記検出部により検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、
前記制御部は、前記圧力分布及び前記複数の指を駆動する駆動部の駆動状態を入力とし、前記複数の指で把持した前記ワークの個数と、前記ワークの数を前記指定数とするための前記駆動部の駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する
ロボットシステム。 - 前記圧力分布センサ上に弾性部材が設けられている
請求項3記載のロボットシステム。 - 前記制御部は、前記認識部により認識された前記ワークの数が前記指定数となるまで、前記複数の指により前記ワークを把持した状態で、前記複数の指の少なくとも1つを、把持のための運動方向である第1方向、前記第1方向及び前記指の長手方向と交差する第2方向、前記指の長手方向である第3方向、及び前記第3方向を回転軸として回転する回転方向の少なくとも1つの方向に移動させることが繰り返されるように、前記ロボット機構の運動を制御する
請求項1~4の何れか1項に記載のロボットシステム。 - 前記検出部は、前記複数の指の相対的な位置関係が互いに異なる状態で前記把持状態を複数回検出し、
前記認識部は、前記把持状態を複数回検出した結果に基づいて前記ワークの個数を認識する
請求項1~5の何れか1項に記載のロボットシステム。 - ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、
前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、
前記複数の指の少なくとも1つは、可撓性を有し、
前記複数の指で前記ワークを把持した状態において、少なくとも1つの指の位置が変化するように前記ロボット機構の運動を制御する
ピッキング方法。 - ワークを把持する複数の指を備えたロボット機構の前記複数の指による前記ワークの把持状態を検出し、
前記ワークの把持状態の検出結果に基づいて前記複数の指に把持されたワークの数を認識し、
前記ロボット機構に前記ワークが複数載置されている載置場所から前記ワークを把持する動作をさせた後に、認識された前記ワークの数が予め指定された指定数と異なる場合、把持された前記ワークの数が前記指定数となるように前記ロボット機構の運動を制御し、
少なくとも1つの指の把持面に設けられ、前記ワークが接触する前記把持面の圧力分布を検出する圧力分布センサを含み、
検出された圧力分布を入力とし、前記複数の指で把持した前記ワークの個数を出力として学習された把持数認識モデルにより前記ワークの個数を認識し、
前記圧力分布を入力とし、前記複数の指で把持した前記ワークの個数と、前記複数の指の少なくとも1つの指の駆動方法であって前記ワークの数を前記指定数とするための駆動方法と、を出力として学習された駆動方法モデルから出力された前記駆動方法に基づいて前記ロボット機構の運動を制御する
ピッキング方法。
Priority Applications (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020151539A JP2022045772A (ja) | 2020-09-09 | 2020-09-09 | ロボットシステム及びピッキング方法 |
CN202180050579.0A CN115916483A (zh) | 2020-09-09 | 2021-08-17 | 机器人系统及拾取方法 |
EP21866465.4A EP4212291A1 (en) | 2020-09-09 | 2021-08-17 | Robot system and picking method |
PCT/JP2021/030017 WO2022054505A1 (ja) | 2020-09-09 | 2021-08-17 | ロボットシステム及びピッキング方法 |
US18/021,268 US20230294278A1 (en) | 2020-09-09 | 2021-08-17 | Robot System and Picking Method |
TW110132776A TWI784700B (zh) | 2020-09-09 | 2021-09-03 | 機器人系統及拾取方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020151539A JP2022045772A (ja) | 2020-09-09 | 2020-09-09 | ロボットシステム及びピッキング方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022045772A true JP2022045772A (ja) | 2022-03-22 |
Family
ID=80631542
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151539A Pending JP2022045772A (ja) | 2020-09-09 | 2020-09-09 | ロボットシステム及びピッキング方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230294278A1 (ja) |
EP (1) | EP4212291A1 (ja) |
JP (1) | JP2022045772A (ja) |
CN (1) | CN115916483A (ja) |
TW (1) | TWI784700B (ja) |
WO (1) | WO2022054505A1 (ja) |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5196156B2 (ja) | 2008-09-16 | 2013-05-15 | 株式会社Ihi | バラ積みピッキング装置におけるワークピッキング方法 |
JP5767464B2 (ja) | 2010-12-15 | 2015-08-19 | キヤノン株式会社 | 情報処理装置、情報処理装置の制御方法、およびプログラム |
WO2016141266A1 (en) * | 2015-03-05 | 2016-09-09 | President And Fellows Of Harvard College | Compliant adaptive robot grasper |
JP2017042859A (ja) | 2015-08-25 | 2017-03-02 | キヤノン株式会社 | ピッキングシステム、並びに、そのための処理装置、方法及びプログラム |
WO2019065426A1 (ja) * | 2017-09-26 | 2019-04-04 | 倉敷紡績株式会社 | ロボットハンドおよびロボットハンド制御方法 |
JP6671694B1 (ja) * | 2018-11-30 | 2020-03-25 | 株式会社クロスコンパス | 機械学習装置、機械学習システム、データ処理システム及び機械学習方法 |
JP6870764B2 (ja) | 2020-06-23 | 2021-05-12 | 株式会社三洋物産 | 遊技機 |
-
2020
- 2020-09-09 JP JP2020151539A patent/JP2022045772A/ja active Pending
-
2021
- 2021-08-17 WO PCT/JP2021/030017 patent/WO2022054505A1/ja unknown
- 2021-08-17 CN CN202180050579.0A patent/CN115916483A/zh active Pending
- 2021-08-17 EP EP21866465.4A patent/EP4212291A1/en active Pending
- 2021-08-17 US US18/021,268 patent/US20230294278A1/en active Pending
- 2021-09-03 TW TW110132776A patent/TWI784700B/zh active
Also Published As
Publication number | Publication date |
---|---|
TW202210253A (zh) | 2022-03-16 |
EP4212291A1 (en) | 2023-07-19 |
US20230294278A1 (en) | 2023-09-21 |
WO2022054505A1 (ja) | 2022-03-17 |
CN115916483A (zh) | 2023-04-04 |
TWI784700B (zh) | 2022-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6450960B2 (ja) | ロボット、ロボットシステム及び教示方法 | |
JP6931457B2 (ja) | モーション生成方法、モーション生成装置、システム及びコンピュータプログラム | |
US11745338B2 (en) | Control apparatus, robot, learning apparatus, robot system, and method | |
JP2017177294A (ja) | ロボット制御装置、ロボット制御方法、ロボットシステムおよびコンピュータプログラム | |
Su et al. | Robust grasping for an under-actuated anthropomorphic hand under object position uncertainty | |
JP2015186834A (ja) | ロボット制御装置、把持部制御装置、ロボット、把持部、ロボット制御方法、及びプログラム | |
Jha et al. | Imitation and supervised learning of compliance for robotic assembly | |
da Fonseca et al. | In-hand telemanipulation using a robotic hand and biology-inspired haptic sensing | |
WO2022054505A1 (ja) | ロボットシステム及びピッキング方法 | |
WO2021195916A1 (zh) | 动态手部仿真方法、装置和系统 | |
JP2022090902A (ja) | ロボット、把持力制御装置、把持力制御方法、及び把持力制御プログラム | |
JP6322948B2 (ja) | ロボット制御装置、ロボットシステム、ロボット、ロボット制御方法、及びプログラム | |
WO2022054506A1 (ja) | ロボットシステム及びピッキング方法 | |
WO2021250923A1 (ja) | ロボットシステム、制御装置、及び制御方法 | |
US20190389052A1 (en) | Control apparatus, robot, and robot system | |
Yuan et al. | Task-orientated robot teleoperation using wearable IMUs | |
US20240131699A1 (en) | Robot system, learning apparatus, information processing apparatus, learned model, control method, information processing method, method for manufacturing product, and recording medium | |
US20230234231A1 (en) | Teleoperation assist device, teleoperation assist method, and storage medium | |
WO2022080132A1 (ja) | 軌道生成装置、軌道生成方法、及び軌道生成プログラム | |
WO2024009408A1 (ja) | ロボットシステム、ロボット制御方法及びロボット制御プログラム | |
WO2022102403A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
TWI734055B (zh) | 自動控制方法以及自動控制裝置 | |
Tegin et al. | Real life grasping using an under-actuated robot hand-Simulation and experiments | |
Kahl et al. | Virtual robot programming for deformable linear objects: System concept and prototype implementation | |
Sarabandi et al. | In-Hand Manipulation with Soft Fingertips |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230712 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240206 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240401 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |