JP2021160081A - ビンピッキングのための適応把持計画 - Google Patents

Abstract

【課題】ビンピッキングのために適応できるロボットの把持の計画法を提供する。【解決手段】ランダムな位置及び姿勢を持つ容器の中のワークは、ロボットによって把持されて、目標の位置及び姿勢に置かれる。複数の強固な把持の選択肢を識別するためにワークの形状が分析され、把持の各選択肢は位置及び向きを有する。ワークの形状は、複数の安定的な中間姿勢を判定するためにも分析される。容器の中の個々のワークは、実行可能な把持のセットを識別するために評価され、ワークは、目標姿勢までの直接的な移動が可能であれば目標姿勢まで移動される。直接的な移動が可能でなければ、探索問題が策定され、この場合に、各安定的な中間姿勢はノードである。探索問題は、ノードの間の各リンクの実行可能性及び最適性を評価することによって解決される。各リンクの実行可能性は、衝突回避制限及びロボットの関節の動作制限に関して評価される。【選択図】図６

Description

本開示は、工業用ロボットの動作制御の分野、特に予め定められた配置姿勢に基づいてロボットのグリッパの把持姿勢を計画する技法に関するものであり、部品はピッキング容器の中でランダムな姿勢で存在し、ロボットの動作は、ロボットが容器と衝突するのを避け、ロボットの関節の動作限界内に留まりながら、容器から部品を取出し、これを単一の動作で可能であれば再把持なしに、又は最小限の再把持の連続的動作で、部品を定められた配置位置及び姿勢まで移動することが分かる。

多様な製造、組立及び材料の移動作業を実施するために工業用ロボットを使用することは周知である。このような１つの用途は、ピックアンドプレース作業であり、この場合に、ロボットは、容器から個々の部品を取出して、各部品をコンベア上に置く。この用途の１つの例は、成形又は機械加工された部品が容器の中へ落とされて、ランダムな場所及び向きに置かれていて、ロボットは、各部品を取出して、梱包又は更なる加工のために部品を輸送するコンベア上に各部品を予め定められた向きに（姿勢で）置く仕事を課せられる。容器の中の部品が重なって置かれる程度に応じて、ロボットツールとしてフィンガタイプの把持器又は吸引タイプのグリッパを使用できる。典型的に、視覚システム（１台又は複数台のカメラ）が、容器の中の個々の部品の位置及び姿勢を識別するために使用される。

ロボットの関節の動作の物理的限界を守りロボット又は部品が容器又はその他の障害物と衝突するのを避けながら、上述のピックアンドプレース用途のロボットの動作を計画するシステムは存在する。但し、先行技術のシステムは、吸引グリッパが到達できる部品の特に好ましい面又は表面を探すために典型的にハードコード化される。好ましい面がアクセス可能である場合に、ロボットは、１つの動作で、部品を把持し、これをコンベア上に置く。部品の好ましい面がアクセス可能ではない場合に、ロボットは、予め定められた別のグリップ面を見つけ、部品を予め定められた中間姿勢まで移動し、好ましい面を使用して部品を再把持し、その後部品をコンベア上に置く。

上述のタイプの先行技術システムは、単一の動作で部品をピックアンドプレースする機会を失う可能性があり、かつ中間姿勢を含む動作シーケンスを選択する可能性もあり、中間姿勢は、ロボットの行程距離及び関節の動作を必要以上に大きくする。

上述の状況を考えると、最も効率的な部品のグリップ及び動作シーケンスを適応的に識別するロボットの把持の計画法が必要とされる。

本開示の教示に従って、適応できるロボットの把持及び動作の計画法を開示する。ランダムな位置及び姿勢に置かれた容器の中のワークは、ロボットによって把持されて、最終的な位置及び姿勢に置かれる。ワークの形状は、複数の強固な把持の選択肢を識別するために分析され、各把持の選択肢は位置及び向きを有する。ワークの形状は、複数の安定的な中間姿勢を判定するためにも分析される。容器の中の個々の各ワークは、実行可能な把持のセットを識別するために評価され、ワークは、直接的な移動が可能であれば、最終的な位置及び姿勢まで移動される。直接的な移動が可能ではない場合に、探索問題が策定される。各実行可能な把持及び各安定的な中間姿勢はノードである。探索問題は、ノードの間の各リンクの実行可能性及び最適性を評価することによって解決される。各ロボット移動の実行可能性は、衝突回避制限及びロボットの関節の動作制限の点で評価される。探索問題の最適な解決法が見つかったとき、ロボットの動作コマンドが計算されて、ロボットに供給され、容器の中の別の部品が評価される。

コンベア上など事前に定められた目標の位置及び姿勢に置くことが求められる容器の中のワークの図である。 技術上既知の技法に従った、直接的な変化を経て又は予め定められた中間状態を経て予め定められた目標の位置及び姿勢まで移動される容器の中のワークの図である。 本開示の実施形態に従った、複数のサンプル把持が示され、各把持が強固であるか否かが評価されるワークの図である。 本開示の実施形態に従った、複数の安定的なワークの姿勢が示されたワークの図である。 本開示の実施形態に従った、初期のワークの姿勢から１段階の中間姿勢を経て目標姿勢までの複数の経路の実行可能性及び最適性を評価するために策定された探索問題の説明図である。 本開示の実施形態に従った、初期のワークの姿勢から２段階又はそれ以上の段階の中間姿勢を経て目標姿勢までの複数の経路の実行可能性及び最適性を評価するために策定された探索問題の説明図である。 本開示の実施形態に従った、ロボットの動作を最適化するための複数の把持及び中間姿勢の評価を含む、適応できるロボットの把持及び動作の計画の方法のフローチャートである。

適応できるロボットの把持及び動作の計画法に関する本開示の実施形態の下記の説明は、単に性質上好ましいものであって、開示する装置及び技法又はその応用又は使用を限定することを意図しない。

多様な製造、組立及び材料の移動作業に工業用ロボットを使用することは周知である。このような作業のいくつかのタイプにおいて、ロボットは、１つの作業と次の作業とでは異なる出発点及び／又は目的（目標）点を持つ経路に沿って移動するようにプログラムしなければならない。例えば、取出し、移動、および配置の作業において、ランダムな位置及び向きを持つ容器の中の部品をロボットによって取出して、予め定められた姿勢（向き）にしてコンベア上に移動しなければならない。部品は、ランダムな位置及び向きで到来するコンベアに到着する場合があり、この場合にも、個々の各部品について固有の取出し／移動／配置の順の計算が必要になる。その他の多くの応用の例があり、ロボットの個々の各タスクまたは作業のために新たな経路を計算しなければならない。

更に、多くのロボット作業環境において、障害物が存在し、これがロボットの動作の経路上に在る可能性がある。即ち、１つ又は複数の障害物が、出発点と目標点との間に、より概略的に言うと、ロボットの現在位置とロボットの目的位置との間に存在する可能性がある。部品が容器の中に入れて与えられる場合に、容器自体が、部品を拾い上げるときのロボットの障害物になる。

図１は、コンベア上など予め定められた目標の位置及び姿勢に置く必要のある容器内のワークの図である。図１は、上に説明するタイプの状況において取出し、移動、および配置の作業を実施する工業用ロボットを示す。この状況において、容器の中の個々の各ワークは、固有のグリップ解決法を必要とし、順に、固有の移動、再指向及び配置の解決法を必要とする。ロボットは、確実に取出し／移動／配置の作業を実施しなければならず（全ての部品がコンベア上に適切な姿勢で置かれ、落下する部品がないこと）、作業は、１００％衝突なし（ロボットアームと容器との間など）でなければならない。更に、最大の部品処理量が重要なので、取出し／移動／配置の作業の効率が重要である。

グリッパ１０２を有するロボット１００は、作業場１０４内で作動する。ロボット１００の動作は、制御装置１１０によって制御され、制御装置は、典型的に、ケーブル１１２を介してロボット１００と通信する。制御装置１１０は、ロボット１００に関節の動作コマンドを与え、技術上既知のようにロボット１００の関節の中のエンコーダから関節位置データを受け取る。制御装置１１０は、また、グリッパ１０２の動作を制御するためのコマンドも与える。図１の取出し、移動、および配置の状況は、単なる例示であり典型的なものである。

本開示の適応できる把持及び動作の計画法は、不規則な姿勢の部品を把持して動かさなければならない任意のタイプのロボット作業に応用可能であり、吸引カップグリッパ１０２は、別のタイプのグリッパ（フィンガー型など）と置き換えられても良い。

カメラ１２０は、制御装置１１０と通信して、ワーク１０４の画像を提供する。特に、カメラ１２０からの画像は、ロボット１００によって操作されるワークの位置及び向きを識別するために使用される。いくつかの実施形態において、カメラ１２０からの画像は、ワークがロボット１００によって置かれる位置を識別するため又は作業場１０４の中の移動する又は一時的な障害物を識別するために使用できる。カメラ１２０は、ロボット１００によって動かされるワークの位置及び向きを識別するためのいくつかの他の手段（例えば、他のタイプの物体センサ−レーダー、ＬｉＤＡＲ、超音波など）と置き換えることができる。

複数のワーク１３０は、容器１４０の中に入れられる。ロボット１００の仕事は、個々のワーク１３０を容器１４０から取出して、ワーク１３０を移動して、予め定められた姿勢（向き）でコンベア１５０上にワークを置き、そして、次のワークについて作業を繰り返すことである。カメラ１２０は、容器１４０の中のワーク１３０の画像を提供する。例えば、容器１４０の底面よりも上のワーク中心の高さ、容器１４０内の集中位置又は好ましいピック面のアクセス可能性などに基づいて、次の取出し作業のために個々のワーク１３０を識別するために、アルゴリズムが使用される。

ワーク１３０は、コンベア１５０上に置かれたとき、全て同じ向きを向く。コンベア１５０上のいくつかのワーク１３０は、図１において僅かに異なる向きを持つように見えるが、これは、単に遠近法効果による。コンベア１５０上のワーク１３０の向き（目標向きとして知られる）は、その後の処理ステップ（梱包、塗装、機械加工又はその他の作業があり得る）の最適の効率のために予め定められる。

容器１４０の中の各ワーク１３０について、新規の経路を、制御装置１１０によって（又は、別のコンピュータによって計算した後に制御装置１１０に提供される）計算しなければならず、これにより、ロボット１００に、グリッパ１０２を、適切な把持点及び向きを使用してワーク１３０を取出すためにホーム又は接近位置から移動させて、容器１４０の側面などの障害物を避けながらワーク１３０を経路に沿って目標の位置及び向きまで移動し、その後に、次のワーク１３０の準備のためにグリッパ１０２をホーム又は接近位置へ戻させる。いくつかの事例において、中間停止が必要な場合があり、この場合に、ロボット１００は、ワーク１３０を面上に載置して、ワーク１３０の別の位置を再びグリップして、ワーク１３０を目標まで移動する。経路の計算は、出来る限り速くロボット１００が１つのワーク１３０を移動し、次のワークを取出すように、リアルタイムで実施されなければならないので、各ワークの把持点及び経路は、制御装置１１０によって非常に速やかに計算されなければならない。

図２は、技術上既知の技法に従った、直接的な変更を経て又は予め定められた中間状態を経て、予め定められた目標の位置及び姿勢に移動される、容器の中のワークの説明である。図１に示す取出し、移動、および配置の作業を実施するためのシステムが開発されてきた。これらの既存のシステムは、典型的に、ワークをどこで把持し、予め定められた目標姿勢でワークを置くために中間ストップが必要か否かを判定するためにハードコード化された固定ロジックを使用する。

図２において、ワーク２３０は、この場合にも不規則な位置及び向きで容器２４０の中に在る。カメラ又はその他のセンサ（図示せず）は、この場合にも個々のワーク２３０を選択し、その位置及び向きを識別するために使用される。理想的な場合に、選択されたワーク２３０は、強固なグリップに好ましい位置で把持（又はグリップ）して、ロボットによる単一動作で目標点まで移動され、再指向できる。このケースは、ワーク２３０Ａが経路２５０に沿って直接的に目標の位置及び向きに移動されるケースである。

多関節ロボットはロボットの柔軟性を制限する関節動作の限界を持つことが良く知られる。したがって、多くの場合、ワーク２３０を、単一動作で、直接的に目標の位置及び向きまで動かすことは可能ではない。例えば、ワーク２３０が、容器２４０の中で１つの面のみがアクセス可能であるように置かれ、その面を把持することが、ロボットがワーク２３０を目標向きまで移動することを不可能にする場合に、少なくとも１つの中間ステップが必要とされる。このケースは、ワーク２３０Ｂが経路２６０に沿って中間状態まで移動されるケースである。ワーク２３０Ｂは、中間状態で面上に置かれ、ロボットはこれを手放す。ワーク２３０Ｂは、ロボットによってその後異なる点を再グリップされて、経路２６２に沿って目標の位置及び向きまで移動される。

先行技術システムにおいて、ワーク２３０上の可能な初期の把持点、中間状態でのワークの向き及びワーク２３０の可能な再把持点は、全て、固定されたロジックを使用してハードコード化される。このタイプのハードコード化ロジックは、各応用（ワーク設計、容器のサイズ／形状、目標向きなど）のために時間が掛かる分析及びプログラミングを必要とする。更に、このタイプの固定ロジックは、複雑なワークの形状について定めるのが難しく、その結果、ワーク上に好ましい初期のグリップ位置が１つしか定められず、好ましい初期のグリップ位置が容器の中のワークの多くにおいてアクセス可能ではない場合がある。更に、把持点の選択肢が限定され、中間状態の姿勢が１つである場合に、過剰なロボットの関節動作を生じさせ、目標の向きに到達するために第２の中間状態及び第２の再グリップを必要とする可能性がある。

本開示の把持及び動作の計画法は、目標点までワークを直接的に移動させるようにする任意の実行可能な初期の把持点を選択することによって、又は直接的な単一段階の移動が可能ではない場合に、ロボットの動作を最小限に抑える初期の把持点及び中間姿勢を選択することによって、取出し／移動／配置の作業の効率を最適化するように設計される。

図３は、本開示の実施形態に従った、識別された複数のサンプルの把持を有するワーク３１０の図であり、各把持は、強固であるか否かが評価される。本開示の方法の第１ステップは、ワーク３１０について強固な把持位置のセットＧを生成することである。ワーク３１０がソリッド又は３Ｄサーフェスモデルであるとすると、ワーク３１０の表面上のランダムなサンプル把持点のセットＮは、適切な任意の技法を使用して定められる。セットＮは、数百の点を含むことができるが、図３においては、明確化のために数十個しか示されない。セットＮにおけるサンプル把持点の各々は、局所エリアの表面の平坦性に基づいて把持点としてその適切さを判定するために分析される。特定の点の周りに適切なサイズ及び平坦性（吸引カップグリッパによって確実に把持するため）のエリアが存在することが分かった場合に、その点は、強固な把持位置のセットＧに含まれる。強固な把持位置のセットＧの点は、図３において小さい丸で示される。特定の点の周りに適切なサイズ及び平坦性のエリアが存在しないことが明らかになる場合に、その点は、強固な把持位置のセットＧの中に含まれず、図において小さいｘで示される。セットＮは、把持のために強固であるか否かに関わりなく、全てのサンプル点を含み、セットＧは、強固な把持点のみを含む。

強固な把持位置のセットＧの各点について、把持の向きも局所的な表面の接平面に対して垂直（直交）として定められる。把持の向きは、ワーク３１０を把持する際のロボットのグリッパツールの接近方向を定めるために使用される。他のファクタも、どの点が強固な把持位置のセットＧに含まれるかを判定する際に考慮できる。例えば、特定の把持の位置及び向きについて、ロボットのグリッパツールの中心線からのワーク３１０の質量中心のオフセット距離を計算できる。特定の把持点がワーク３１０の周囲位置に在り、グリッパツールの中心線がワークの質量中心から離れて通る場合に、この把持点は、吸引カップグリッパに大きな曲げモーメントを生じるので、強固な把持位置のセットＧから拒絶されるだろう。強固な把持位置のセットＧを生成するためのワーク３１０の分析（特定の部品設計の場合）は、最初に実施され、その後、容器の中の個々の各ワークの把持及び動作の計画計算に使用される。

図４は、本開示の実施形態に従ったワーク３１０の説明であり、複数の安定的なワークの姿勢が識別される。本開示の適応可能な把持計画方法において、容器の中のワークの目標姿勢までの直接的な変化が可能ではない場合に、初期の把持と中間姿勢の多様な組み合わせが、実行可能性及び最適性について分析される。この分析を実施するために、事前にワーク３１０の安定的な姿勢を全て知る必要がある。安定的な姿勢は、ワーク３１０が、傾くことなく平坦な面上（又は点、線および面の組合せ上）で静止する向きである。

ワークの安定的な姿勢を識別する１つの技法は、ワークの周りに数学的に凸包（四面体又は八面体など）を生成することであり、凸包の面は、全て異なるサイズを持ち、凸包の周りにその中心としてワークの質量中心を有するバウンディングボールを数学的に生成する。凸包の各面は、バウンディングボールに投射されて、面積Ｓを得る。凸包の各面によって表される面におけるワークの安定的な配置の可能性は、この面の面積Ｓをバウンディングボールの表面積で割ったものに比例する。直観的に、これは、安定的な配置の可能性は、凸包の面が大きい方が大きいことを意味する。

ワークの安定的な姿勢を識別するための別の技法は、ワークに関する人の体験で、安定的な配置が可能な様々な姿勢を見つけて、その後ＣＡＤソリッドモデリングシステムにおいてこの姿勢を複製することである。

図４において、ワーク３１０の４つの異なる安定的な姿勢を有するセットＰを枠４２０の中に示す。４つの安定的な姿勢の各々は、固有である。即ち、安定的な姿勢の各々においてワーク３１０は相互に異なる面上に静止する。安定的な姿勢のセットＰを識別するためのワーク３１０の分析は、最初に実施され、その後、容器の中の個々の各ワークについての把持及び動作の計画計算において使用される。

図３及び図４を参照して論じたように、本開示の方法は、まず、ワークについて強固な把持のセットＧ及び安定的な姿勢のセットＰを計算する。これらの計算は、ワークの形状の関数でしかなく、個々のワークがどのように容器の中に置かれているかには関係がない。ロボットによって置かれた後のワークの目標の位置及び向きを含む最終（目標）姿勢Ｂも与えられる。その後、多数の実際のワークが入った容器が与えられ、ワークの画像が分析される。特定のワークが移動のために選ばれて、選ばれたワークの初期姿勢Ａがカメラ画像から識別される。

その後、容器の中の個々のワークについて、容器の中の部品の向き及び露出する面に基づいて強固な把持のセットＧの中のどの把持点が可能かを判定するために分析が行われる。その後、可能な強固な把持のいずれかがワークを単一動作で目標姿勢Ｂまで直接的に移動させるか否かが判定される。可能な強固な把持のいずれかがワークを単一動作で目標姿勢Ｂまで直接的に移動させるようにする場合に、ロボット制御装置は、逆運動学を使用してロボットの動作を計画し、可能性のある衝突（ロボットアーム又はツールと容器の側壁との衝突など）及びロボットの動作制限をチェックする。可能な強固な把持のいずれかがワークを単一動作で最終姿勢Ｂまで衝突なくかつロボットの動作の制限内で、直接的に移動させるようにする場合に、ロボット制御装置は、次に、ワークを移動するために計画されたロボットの動作指令を実行する。複数の可能な強固な把持がワークを単一動作で目標姿勢Ｂまで直接的に移動させる場合に、把持及び動作は、把持の強固さ、動作の効率又はその他のファクタに基づいて選択できる。

評価される個々のワークについて、どの可能な強固な把持もワークを単一動作で目標姿勢Ｂまで直接的に移動できない場合に、ワークが一時的に置かれ、その後に再把持されるための１つ又は複数の中間状態を含む最良の把持及び動作を見つけるための分析が行われる。これについて、下で論じる。

図５Ａは、本開示の実施形態に従った、初期のワークの姿勢から１段階の中間姿勢を経て目標姿勢まで複数の経路の実行可能性及び最適性を評価するための策定された探索問題の説明図である。ワーク５１０は、前述のようにロボットによって取り出されて置かれる予定の容器の中の多くのワークの１つである。ワーク５１０は、図３及び図４に関して前に論じたように、強固な把持のセットＧ及び安定的な姿勢のセットＰを判定するために既に分析されている。更に、目標の位置及び向きを含めて最終（目標）姿勢Ｂも定められている。

図５Ａにおいて、特定のワーク５１０は、すでに評価されており、ワーク５１０を初期姿勢Ａから目標姿勢Ｂまで単一動作で移動するようにするどの強固な把持点もアクセス可能ではないと判定された。この状況において、探索問題は、把持点及び安定的な中間姿勢の全ての可能な組合せを考慮して策定される。ワーク５１０の安定的な姿勢のセットＰは、枠５２０の中に示される。セットＰの中の各安定的な姿勢は、検索問題におけるノードである。目標姿勢Ｂのワーク５１０は５３０において示される。探索問題は、ワーク５１０の初期姿勢から枠５２０の中の安定的な姿勢の各々までの経路５４０及び枠５２０の中の安定的な姿勢の各々から５３０で示される目標姿勢Ｂまでの経路５５０を考慮するために策定される。

探索問題は、下記の通りに評価される。中間姿勢５２２に関しては、ロボットがワーク５１０を中間姿勢５２２まで移動するようにするワークの初期姿勢であれば、ワーク５１０上の少なくとも１つの把持点がアクセス可能であるか否かが判定される。このような移動が可能である場合に、ロボットがワーク５１０を５３０で示される目標姿勢Ｂまで移動するようにするワークの中間姿勢であれば、ワーク５１０上の少なくとも１つの点がアクセス可能であるか否かが判定される。この分析は、中間姿勢５２４（経路５４４及び５５４）、中間姿勢５２６（経路５４６及び５５６）等についても実施される。初期姿勢から目標姿勢まで１つの経路しか実行可能でない場合に、この実行可能な経路が選択され、ロボットの動作が計画される。複数の経路が実行可能である場合に、最小のロボットの関節動作及び／又はグリッパツールの行程距離を目的関数として使用して、最適な経路が選択される。選択された経路は、初期姿勢Ａから中間姿勢Ｍまでのワーク５１０の移動、ロボットによるワークの再グリップ、及びワーク５１０の中間姿勢Ｍから目標姿勢Ｂまでの移動を含む。

前述のように、ワーク５１０を物理的に移動するためのコマンドをロボットに発する前に、ロボット制御装置は、逆運動学を使用してロボットの動作を計画し、可能性のある衝突（ロボットアーム又はツールと容器の側壁との衝突）及びロボットの動作制限についてチェックしなければならない。ロボット動作の計画は、ロボットの関節動作の選択において考慮できるように、最適経路が選択される前に実施できる。更に、ワーク５１０を初期姿勢から中間姿勢５２２などの特定の中間状態まで移動するために複数の強固な把持が実行可能である可能性がある。複数の実行可能な把持が、実質的に相互に異なる場合（例えば、ワーク５１０の異なる面の把持点が４５°以上異なる向きの角度を持つ場合）、異なる実行可能な各把持が探索において経路として考慮される。即ち、経路５４２は、複数の変形を有する。

図５Ａを要約すると、ワーク５１０の初期姿勢から安定的な中間姿勢５２０の各々までの経路５４０の実行可能性が評価される。到達可能な中間姿勢５２０から目標姿勢５３０までの経路５５０の実行可能性が評価される。複数の完全な経路が実行可能である場合に、実行可能な完全経路の最適性が評価される。最適経路が選ばれ、ロボットは、ワーク５１０を初期姿勢から選択された中間姿勢Ｍまで移動し、ワーク５１０を再グリップして目標姿勢５３０まで移動するためのコマンドがロボットに発せられる。図５Ａに示されるように実行される分析において、実行可能な完全な経路が全くない可能性がある。これは、ワークが容器のコーナーに載置される、又は、ワークが強固な把持点をほとんど持たない不規則な設計の場合に生じる。単一の中間姿勢Ｍを使用して初期姿勢から目標姿勢までのワークの移動が可能ではない場合に、探索問題が、第２段階の中間姿勢を含めて再策定される。以下で、これについて論じる。

図５Ｂは、本開示の実施形態に従った、ワークの初期姿勢から２つ又はそれ以上の中間姿勢の段階を経て目標姿勢までの複数の経路の実行可能性及び最適性を評価するために策定された探索問題の説明図である。図５Ｂにおいて、この場合にも初期姿勢のワーク５１０を左側に示す。安定的な姿勢は、この場合も、初期姿勢から安定的な姿勢の各々までの経路５４０と一緒に枠５２０に示す。但し、この場合に、枠５２０の安定的な姿勢は、第１段階の中間姿勢を表し、第２段階の中間姿勢を、枠５６０に示す。枠５６０の中の第２段階の中間姿勢は、枠５２０と同じように安定的な姿勢のセットＰを含む。中間姿勢の各段階において、ワーク５１０は、作業面上に置かれ、ロボットのグリッパから解放され、強固な把持のセットＧの中の把持の別の１つを使用して再グリップされる。

探索問題の策定は、下記のように続く。経路５７０のセットは、セットＧの任意の強固な把持を使用して枠５２０（第１段階）の各到達可能な中間姿勢から枠５６０（第２段階）の各中間姿勢までの１つの経路が評価されるように、定められる。その後に、セットＧの任意の強固な把持を使用して経路５７０の１つ又はそれ以上によって到達可能な枠５６０（第２段階）の各姿勢から目標姿勢５３０までの経路５８０のセットが評価される。図５Ｂに示す検索問題は、図５Ａの探索問題より多くの経路及び組合せを持つことが分かるはずである。完全な端から端までの経路が、２つの中間姿勢Ｍ１及びＭ２と一緒にセット５４０、５７０、及び５８０の各々から１つの経路を含むものとして、例えば、ワーク５１０の初期姿勢から第１段階の中間姿勢５２２まで、第２段階の中間姿勢５６２まで、目標姿勢５３０まで含むものとして定められる。端から端までの完全経路の実行可能性が評価され、その後、実行可能な端から端までの経路の最適性が評価される。

上述の分析から、最適経路が選ばれて、ロボットは、ワーク５１０を初期姿勢Ａから選択された第１段階の中間姿勢Ｍ１まで移動し、ワーク５１０を再グリップし、選択された第２段階の中間姿勢Ｍ２まで移動し、ワーク５１０を再グリップして、目標姿勢５３０まで移動するようにコマンドを受ける。図５Ｂの２段階の中間姿勢を使用して実行可能な端から端までの経路が見つからないと言う異常な場合に、３段階の中間姿勢を使用する探索問題が策定され、評価され、以下同様に進められる。

図６は、本開示の実施形態に従った、ロボットの動作を最適化するための複数の把持及び中間姿勢を含む適応できるロボットの把持及び動作の計画の方法のフローチャート６００である。枠６０２において、強固な把持のセットＧ及び安定的な姿勢のセットＰは、図３及び４に示し、前に論じたように、ワークごとに計算される。これらの計算はワークの形状の関数のみであり、個々のワークが容器にどのように置かれているかには関係ない。

枠６０４において、多くの実際のワークが入っている容器が与えられ、ワークのカメラ画像（又はセンサデータ）が与えられる。枠６０６において、個々のワークが移動のために選ばれて、選ばれたワークの初期姿勢Ａがカメラの画像から判定される。枠６０８において、ロボットによって置かれた後のワークの目標の位置及び向きを含む目標姿勢Ｂも与えられる。最終姿勢Ｂは、容器の中の全てのワークについて同じ場合もあり、また、最終姿勢Ｂが１つのワークと次のワークで異なる可能性もある。

枠６１０において、実行不可能な把持が強固な把持のセットＧから取り除かれる。実行不可能な把持は、把持することが不可能か又はワークを単一動作で目標姿勢Ｂまで直接的に移動することができない把持である。まず、選ばれたワークの初期姿勢Ａに基づいて可能ではないセットＧからの把持は、除外される。即ち、露出して開放空間に面するワークの面において強固な把持点のみが、セットＧに残ることができる。その後、残った把持のうち、初期姿勢Ａから目標姿勢Ｂまでの直接動作を可能にしないものが除外される。

判定菱形枠６１２において、実行不可能な把持を除外した後にセットＧが空であるか否かが判定される。セットＧが空の場合に、枠６１４において、中間状態Ｍが安定的な姿勢のセットＰから選ばれ、枠６１６において、初期姿勢Ａから中間状態Ｍまで及び中間状態Ｍから目標姿勢Ｂまでのワークの把持及び動作が計画される。中間状態Ｍの選択及びＡからＭまでとＢまでとの把持及び動作の計画については、上で図５Ａに関連して詳細に説明した。Ａから単一の中間状態Ｍまで、さらにＢまで実行可能な経路がない場合に、上述のように２つ又はそれ以上の段階の中間姿勢（Ｍ１及びＭ２など）を選択できる。

判定菱形枠６１２において、セットＧが空ではない場合に、枠６１８において、初期姿勢Ａから連続的な目標姿勢Ｂまでのワークの把持及び動作が計画される。枠６２０において、ロボットの動作コマンドが、制御装置からロボットへ与えられ、ロボットに物理的にワークを把持させ初期姿勢Ａから目標姿勢Ｂまで移動する。初期姿勢Ａから目標姿勢Ｂまでのワークの把持及び動作は、可能であれば直接的であるか（枠６１８から）、又はそうでなれば１つ又は複数の中間状態Ｍを使用する（枠６１４及び６１６から）。

判定菱形枠６２２において、カメラ画像から現在の容器が空であるか否かが判定される。現在の容器が空ではない場合に、プロセスのループは、枠６０６へ戻って、次のワークを識別し、その初期姿勢Ａを判定する。判定菱形枠６２２において現在の容器が空である場合に、枠６２４において、プロセスは、次のワークの容器が装填されるのを待ち（枠６０４へ戻り）、ワークの次の容器が来ない場合に、プロセスは終了する。

以上の論証において、各種のコンピュータ及び制御装置が、開示される方法のステップに関連して説明され、示唆される。これらのコンピュータ及び制御装置のソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つ又は複数のコンピュータ機器上で実行されることが分かるはずである。特に、これは、上で論じたように図１のロボット制御装置１１０の中のプロセッサを含む。具体的には、制御装置１１０の中のプロセッサは、上記の開示全体、特にフローチャート６００において説明するように、ワークの把持及び動作を適応して計画するように構成される。又、別のコンピュータが把持及び動作の計画のいくつか又は全てを実施し、計算された経路を制御装置１１０へ与えることも可能である。この場合に、制御装置１１０は、単にロボット１００を制御し、他のコンピュータは、把持及び動作の計画計算を実施するように構成される。

上述のように、適応可能なロボットの把持及び動作の計画の開示される技法は、ロボットの把持及び経路の計画の速度及び信頼性を向上する。開示する技法は、ワークを把持して単一動作で目標姿勢まで動かすための先行技術より多い選択肢を与え、開示される技法は、又、ワークの中間状態の配置が目標姿勢までの途中で必要な場合に、最適な把持及び動作の計画解決法を見つける。開示される方法は、複雑なワークに応用可能であり、静止グリップ及び姿勢の事前のプログラミングを排除し、最も適切なワークの一時的な配置を考慮して把持の強固さを最大限とし、かつロボットの行程距離を最小限にする把持を選ぶ。

適応可能なロボットの把持及び動作の計画法の多数の好ましい形態及び実施形態について、上で論じたが、当業者は、その修正、順列、追加、及び部分的な組合せが分かるだろう。したがって、下記の特許請求の範囲は、これらの修正、順列、追加、及び部分的な組合せが全てその真の主旨及び範囲内にあるものとして解釈される。

Claims (20)

1. 工業用ロボットのための把持計画方法であって、
   ワークの形状について強固な把持のセット及び安定的な姿勢のセットを判定することと、
   ワークの初期姿勢を判定することと、
   前記ワークの目標姿勢を提供することと、
   前記強固な把持のセットから実行不可能な把持を除外し、実行可能な把持を選択し、前記ワークを把持して前記初期姿勢から前記目標姿勢まで直接的に移動するためにロボットの動作を計画することと、
   実行可能な把持が存在しない場合に、前記安定的な姿勢のセットから中間姿勢を選択し、前記ワークを把持して前記初期姿勢から選択された前記中間姿勢まで移動し、前記ワークを再把持して前記目標姿勢まで移動するためにロボットの動作を計画することと、
   計画された前記ロボットの動作を使用して前記ロボットが前記ワークを移動するためのコマンドをロボット制御装置から前記ロボットへ送ることと、を含む、方法。
2. 前記初期姿勢、前記目標姿勢、及び前記中間姿勢は、各々、単一の共通座標系又は既知の相対的な位置及び向きの変更を有する複数の座標系において定められた位置及び向きを含む、請求項１に記載の方法。
3. ワークの初期姿勢を判定することは、容器の中の複数のワークのカメラの画像又はセンサのデータを分析することを含み、前記ワークが前記ワークの形状を有する、請求項１に記載の方法。
4. 計画された前記ロボットの動作を使用して前記ワークを移動した後に、前記容器の中の別のワークの初期姿勢を判定することに戻ることを含む、請求項３に記載の方法。
5. 前記強固な把持のセットを判定することは、前記ワークの形状の三次元モデル上の複数のサンプル点を定めることと、予め定められた基準を満たすサイズ及び表面の平坦性を持つ周囲のエリアを有する各サンプル点を選択することと、各々表面の接平面に対して垂直な配向ベクトルを有する選択された前記サンプル点を前記強固な把持のセットの中に含めることと、を含む、請求項１に記載の方法。
6. 前記安定的な姿勢のセットを判定することは、前記ワークの形状を安定的な状態で平坦な面上に置くことができる各固有の姿勢を識別することを含む、請求項１に記載の方法。
7. 前記強固な把持のセットから実行不可能な把持を除外することは、前記ワークの初期姿勢に基づいて前記ロボットによってアクセス可能ではない把持を除外することと、前記ロボットが前記ワークを前記初期姿勢から前記目標姿勢まで直接的に移動することが不可能な把持を除外することと、を含む、請求項１に記載の方法。
8. 前記ワークを把持して移動するためにロボットの動作を計画することは、前記ロボットのグリッパツールに前記ワークを把持して移動するロボットの関節の動作を計算するために逆運動学計算を使用することを含み、更に、前記ロボット及び前記ワークの動きのための衝突回避計算を実施することを含む、請求項１に記載の方法。
9. 前記安定的な姿勢のセットから前記中間姿勢を選択することは、前記初期姿勢から前記安定的な姿勢の各々までの経路及び前記安定的な姿勢の各々から前記目標姿勢までの経路を含む探索問題を策定することを含む、請求項１に記載の方法。
10. 前記初期姿勢から前記安定的な姿勢の１つまで及び前記目標姿勢までの実行可能かつ最適の経路を見つけるために前記探索問題を解決することによって前記中間姿勢を選択することを更に含み、ワークの行程距離、ワークの向きの変化、ロボットの関節の行程角度又はこれらの組合せを含む目的関数によって最適性が判定される、請求項９に記載の方法。
11. 実行可能な経路を持つ中間姿勢が見つからない場合に、２つ又はそれ以上の中間姿勢を含むように前記探索問題を再策定することを更に含む、請求項１０に記載の方法。
12. 工業用ロボットのための把持計画システムであって、
    ワークの初期姿勢を判定するための手段と、
    ロボットと通信するロボット制御装置と、を備え、
    前記ロボット制御装置は、前記ワークの強固な把持のセットから実行不可能な把持を除外し、実行可能な把持を選択し、前記ワークを把持して前記初期姿勢から目標姿勢まで直接的に移動するためのロボットの動作を計画し、
    実行可能な把持が存在しない場合に、前記ワークの安定的な姿勢のセットから中間姿勢を選択し、前記ワークを把持して前記初期姿勢から選択された前記中間姿勢まで移動し、前記ワークを再把持して前記目標姿勢まで移動するためのロボットの動作を計画し、
    計画された前記ロボットの動作を使用して、前記ロボットが前記ワークを移動するコマンドを前記ロボットへ送る、ように構成されたプロセッサ及びメモリを有する、把持計画システム。
13. 前記初期姿勢、前記目標姿勢、及び前記中間姿勢は、各々位置及び向きを含む、請求項１２に記載のシステム。
14. ワークの初期姿勢を判定するための前記手段は、容器の中の複数のワークについてのデータを前記制御装置に提供するカメラ又はセンサを含む、請求項１２に記載のシステム。
15. 前記強固な把持のセットは、前記ワークの形状の三次元モデル上に複数のサンプル点を定め、予め定められた基準を満たすサイズ及び表面の平坦性を持つ周囲のエリアを有する各サンプル点を選択し、各々が表面の接平面に対して垂直な配向ベクトルを有する選択された前記サンプル点を前記強固な把持のセットに含めることによって、判定される、請求項１２に記載のシステム。
16. 前記安定的な姿勢のセットは、前記ワークの形状を安定的な状態で平坦な面上に置くことができるそれぞれの固有の姿勢を識別することによって判定される、請求項１２に記載のシステム。
17. 前記強固な把持のセットから実行不可能な把持を除外することは、前記ワークの前記初期姿勢に基づいて前記ロボットによってアクセス可能ではない把持を除外することと、前記ロボットが前記ワークを前記初期姿勢から前記目標姿勢まで直接的に移動することが不可能な把持を除外することと、を含む、請求項１２に記載のシステム。
18. 前記ワークを把持して移動するためにロボットの動作を計画することは、前記ロボットのグリッパツールに前記ワークを把持して移動するロボットの関節の動作を計算するために逆運動学計算を使用することを含み、更に、前記ロボット及び前記ワークの移動のために衝突回避計算を実施することを含む、請求項１２に記載のシステム。
19. 前記安定的な姿勢のセットから中間姿勢を選択することは、前記初期姿勢から前記安定的な姿勢の各々までの経路及び前記安定的な姿勢の各々から前記目標姿勢までの経路を含む探索問題を策定することを含む、請求項１２に記載のシステム。
20. 前記初期姿勢から前記安定的な姿勢の１つまで及び前記目標姿勢までの実行可能かつ最適な経路を見つけるために前記探索問題を解決することによって前記中間姿勢を選択することを更に含み、最適性は、ワークの行程距離、ワークの向きの変化、及びロボットの関節の行程角度の加重組合せを含む目的関数によって判定され、更に、実行可能な経路を持つ中間姿勢が見つからない場合に、２つ又はそれ以上の中間姿勢を含む前記探索問題を再策定することを含む、請求項１９に記載のシステム。

Images