JP2023081311A - 把持生成の衝突処理方法 - Google Patents

Abstract

【課題】手作業による教示なしに高品質の把持候補を計算し、把持を不必要に除外しないロボット把持生成技術を実現する。【解決手段】部品と把持部の形状はＣＡＤファイルからの入力として提供される。把持部の運動学も入力として定義される。任意の既知の予備把持生成ツールを使用して候補把持のセットが提供される。部品の点モデルとクリアランスマージンを備えた把持部接触面のモデルとを候補把持のそれぞれに適用された最適化計算で使用し、調整済み把持データベースが得られる。調整済み把持は、仮想把持部表面を使用して把持品質を最適化し、実際の把持部表面を部品から少し離して位置決めする。調整済みグリップのそれぞれに対して符号付きディスタンスフィールドの計算を実施し、把持部と部品との間に何らかの衝突があるものは破棄される。把持データベースはロボット部品のピックアンドプレース操作で使用するための高品質の衝突のない把持を含む。【選択図】図２

Description

本開示は、部品のロボット把持のための良質の把持データを生成するための方法に概ね関し、さらに詳細には、特定の部品及び把持部のための把持候補のセットから開始し、把持の微調整を可能にする仮想把持部表面を使用して各把持候補を最適化し、次に、符号付きディスタンスフィールド計算を使用して、調整された把持を分析して、あらゆる衝突を除外するロボット把持生成のための方法に関する。

産業用ロボットを使用して、さまざまな製造、組み立て及び材料移動操作を実施することが周知である。そのような用途の１つに、ロボットが個々の部品を取り出し、各部品を所定の場所に載置して、さらに処理するか包装するピックアンドプレース操作が挙げられる。ピックアンドプレース操作の例には、容器から部品を抜き出して、次の操作のために部品を搬送するコンベアに部品を載置するステップと、容器から部品を抜き出して、その部品を工作機械の固定具に設置するステップと、次に、その後、工作機械から部品を取り外し、加工した部品をコンベアに載置するステップが挙げられる。

上記のような用途では、容器内の個々の部品の位置と向きを識別するために、典型的には、視覚システム（ｖｉｓｏｎ ｓｙｓｔｅｍ）（１つまたは複数のカメラ）が使用される。次に、特定の部品形状及び特定の把持部形状に対して生成された、事前に計算された把持のデータベースから把持を選択され得る、選択された部品に使用される特定のロボットによる把持が識別される。

あらゆるロボットによる把持操作では、良質の把持のデータベースが必要である。多数の把持候補を自動的に生成することができる把持生成技術が知られている。しかし、このような既存の技術には、計算コストが非常に高く、処理速度が遅いか、あるいは単純化を実施するため、計算された把持品質が低くなるなどの欠点がある。さらに、一部の既存の把持生成技術では、実際には、そのような多くの把持では、把持中に部品がわずかに動くと思われるため、現実の世界では完全にうまく機能するであろうことから、質の高い把持につながる場合に、把持部と部品との間にごくわずかな衝突があると予測される把持候補を除外する。

上記の状況に照らして、手作業による教示なしに高品質の把持候補を計算し、計算効率が高く、現実世界の把持部と部品によって容易に補償されるであろう予測衝突に基づいて把持を不必要に除外しないロボット把持生成技術が必要である。

本開示の教示に従って、ロボットによる把持生成技術を提示する。部品と把持部の形状を、典型的には、ＣＡＤファイルからの入力として提供する。このほか、把持部の運動学を入力として定義する。既知の予備把持生成ツールを使用して、候補把持のセットを提供する。部品の点モデルと、クリアランスマージンを備えた把持部接触面のモデルとを、候補把持のそれぞれに適用される最適化計算で使用すると、調整済み把持データベースが得られる。調整済み把持は、仮想把持部表面を使用して把持品質を最適化し、実際の把持部表面を部品から少し離して位置決めする。次に、調整済み把持のそれぞれに対して符号付きディスタンスフィールドの計算が実施され、把持部と部品との間に何らかの衝突があるものは破棄される。結果として得られる把持データベースには、ロボット部品のピックアンドプレース操作で使用するための高品質の衝突のない把持が含まれる。

現在開示している方法の追加の特徴が、添付の図面と併せて、以下の説明及び添付の特許請求の範囲から明らかになるであろう。

図１は、産業用ロボットが容器から部品を抜き出し、その部品をコンベアまたは機械加工ステーションに載置してさらに処理するロボットによるピックアンドプレースシステムの図である。 図２は、本開示の一実施形態による、図１のロボットによるピックアンドプレースシステムで使用される衝突のない把持データベースを作成するために使用される把持生成プロセスに含まれるステップの例示的なフローチャート図である。 図３は、本開示の一実施形態による、部品に対する所望の把持部位置決めを達成するために仮想把持部表面を使用する把持調整最適化ステップを含む、図２の把持生成プロセスのいくつかのステップの詳細を示す図である。 図４は、当技術分野で知られている、第１の物体と第２の物体との間の干渉を示す、一般的な符号付きディスタンスフィールド計算技術の図である。 図５は、本開示の一実施形態による、把持調整後に部品把持部干渉を有する把持を排除するために、図２及び図３の把持生成プロセスで使用される符号付きディスタンスフィールド衝突検査技法の詳細を示す図である。

ロボットによる把持生成の衝突処理方法を対象とする本開示の実施形態の以下の考察は、本質的に単なる例示であり、開示した技術またはその用途または使用を決して限定することを意図するものではない。

供給源から部品を抜き出し、目的地に載置するために産業用ロボットを使用することは周知である。典型的なピックアンドプレース操作では、部品の供給器を、部品をその容器内のランダムな姿勢から取り出し、目的地の場所にて特定の姿勢で載置する必要がある、鋳造されるか、成形されるか、部分的に組み立てられたばかりの部品のランダムな山を含む容器などの容器に設ける。

図１は、産業用ロボット１００が把持部１２０を使用して容器１１０から部品を取り出し、その部品を機械加工ステーション１３０またはコンベヤ１４０のいずれかに載置して、さらに加工するか包装するロボットピックアンドプレースシステムの図である。把持部１２０は、ロボット１００によって処理される部品の形状に基づいて選択される指の形状と共に設計されてもよい。把持部指の形状については、以下でさらに考察する。

ロボット１００の運動を、典型的には、ケーブルを介してロボット１００と通信するコントローラ１５０によって制御する。コントローラ１５０は、当技術分野で知られているように、関節運動コマンドをロボット１００に提供し、ロボット１００の関節内のエンコーダから関節位置データを受信する。コントローラ１５０はこのほか、把持部１２０の動作を制御するためのコマンド（把持／非把持コマンド及び幅）を提供する。

コンピュータ１６０がコントローラ１５０と通信する。コンピュータ１６０は、プロセッサ及びメモリ／ストレージを備え、少なくとも１つのカメラ１７０からの画像及びデータに基づいて容器１１０内の部品の高品質把持を計算するように構成されたアルゴリズムを実施する。カメラ１７０は、典型的には、カラー画像データと画素深度図データの両方を提供する３次元（３Ｄ）カメラであるが、容器１１０内の部品の姿勢（位置及び向き）を判定するのに適したデータを提供する他のタイプの３Ｄセンサであってもよい。カメラ１７０はこのほか、２つ以上の２Ｄカメラまたは３Ｄカメラを含むマルチカメラシステムであることがあり得る。

いくつかの用途では、容器１１０は、任意の位置及び向きにあり得る１つの部品のみを収容してもよい。これは、部品が容器１１０に到着するのと同じ速度で機械加工ステーション１３０によって処理される場合に当てはまるであろう。これとは別に、容器１１０は、（図１に示すように）いくつかの部品または山のような部品を収容してもよい。いずれにせよ、最高品質の把持候補を、カメラ１７０からの画像データを事前計算された安定した把持のデータベースと照合することによって判定する。

コンピュータ１６０は、目標把持データをコントローラ１５０に提供し、コントローラ１５０は、ロボット１００及び把持部１２０を制御して、容器１１０からの部品を把持する。目標把持データは、把持目標点（ｘ／ｙ／ｚ座標）、把持部１２０の追従角度、把持部の回転角度と幅を含む。把持データを使用して、コントローラ１５０は、把持部１２０に部品を把持させ、機械加工ステーション１３０またはコンベヤ１４０上に部品を載置させるロボット運動命令を計算することができる。これとは別に、カメラ１７０は、部品把持を直接計算するであろうコントローラ１５０に画像を提供してもよい。いずれにせよ、把持生成（多くの異なる安定把持のデータベースを提供すること）が事前に実施される。把持データベースの生成は、本開示の主題であり、以下で詳細に考察する。

部品でいっぱいになった容器の中の個々の部品をリアルタイムで認識し、把持するようにロボットに教示することは、常に困難であった。ロボットによる部品抜き出し操作の速度と信頼性を向上させるために、特定の部品をさまざまな姿勢で把持する指定された把持部の把持を事前に計算することが知られている。この把持の事前計算は、把持生成として知られており、図１を参照して上記で考察したように、事前計算された（生成された）把持は、次に、ロボットによる部品の抜き出し操作中にリアルタイムで決定を下すために使用される。

歴史的に、把持生成方法には、物体の既知の３Ｄ特徴上の抜き出し点を手動で挟持するステップが含まれていた。このような方法では、最適な把持姿勢を特定するために経験則による設計にかなりの時間を費やす必要があり、このような手動で設計された発見的手法では、適切な数の高品質の把持が得られない場合がある。経験則による教示を使用することの難しさのために、自動把持生成方法が開発されてきた。

しかし、既存の自動把持生成方法にも欠点がある。既知の学習ベースの技術の１つでは、数学的に厳密な把持品質を使用して、把持候補を検索してから、このような候補を畳み込みニューラルネットワーク（ＣＮＮ）分類器に供給するが、計算コストが高く、計算で使用される単純化のために現実の状況では解が最適ではない可能性がある。別の把持生成方法では、経験的試行を使用してデータを収集し、現実的な把持を生成するが、この方法では、複雑な力制御を実施するために何万時間ものロボット時間が必要になる場合があり、把持部に何らかの変更を施すにはプロセス全体を繰り返す必要がある。さらに別のコンピュータベースの把持生成方法では、「衝突」のために多くの把持が除外される。この衝突は、実際には、把持部の指の接触面での通常の部品と把持部の接触にすぎない。一般に、既存の自動把持生成方法は、現実世界の条件でうまく機能する適切な数の高品質の把持を未だ提供してはいない。

本開示では、把持部設計と部品設計の任意の組み合わせに自動的に適用することができ、多数の現実的で高品質の把持を効率的に生成する把持生成技術について説明する。開示した把持生成方法では、把持中のわずかな接触を補償するために候補把持を調整する仮想把持部表面による最適化計算を使用し、続いて、調整済み把持の符号付きディスタンスフィールド衝突検査を使用する。結果として得られる把持データベースは、従来技術によって不必要に排除されるであろう把持を含むが、把持データベースは、実際の干渉または衝突状態を伴う把持を含まない。良質な把持のデータベースを事前に生成することにより、コンピュータ１６０またはコントローラ１５０は、実際のロボットによるピックアンドプレース操作中にリアルタイムの把持計算を迅速かつ効率的に実施することができる。

図２は、本開示の一実施形態による、図１のロボットによるピックアンドプレースシステムで使用される衝突のない把持データベースを作成するために使用される把持生成プロセスに含まれるステップの図解入りフローチャート図２００である。

まず、特定の部品及び把持部を選択する。図２以降の図に示す把持部モデルは、２本指の平行把持部であるが、指を開いて物体を把持する把持部など、他の種類の把持部を使用してもよい。把持指は、ロボットが把持している部品（水道管バルブ）に対応するように選択された凹形状を有する指先端部を備える。すなわち、指先端部は、ハンドル、結合本体、バルブステムスロートなど、送水バルブの多数のさまざまな部品を安定して把持することができる。把持する部品の形状に基づいて、指先端部の設計が異なる把持部を採用してもよい。

ボックス２１０では、所与の部品（ワークピース）及び把持部設計について、予備把持生成ツールを使用して多数の把持候補が提供される。予備把持生成ツールは、例えば、サンプリングベースのツールまたは学習ベースのツールであってもよい。把持候補のセット内の各把持は、部品／ワークピースの座標フレーム内の把持部（Ｔ_{ｇｒｉｐｐｅｒ}）の姿勢を定義する。好ましい実施形態では、各把持ｉは、位置ベクトルｐ_ｉ、回転ベクトルＲ_ｉ及び把持部幅値ｗ_ｉを含む。

把持候補のセット内の把持は、部品上の把持部の多数の異なる位置及び向きを含む。例えば、図に示し、本出願で考察する把持部は、アクチュエータと、互いに正反対に開閉する２つの把持部指とを含むハウジング本体を備えた平行指把持部であり、把持部幅値ｗ_ｉをもたらす。図に示し、本出願で考察する部品は、本体から延びる対向する円筒状の開口部を有する本体と、ネック及びシャフトを介して本体に結合されたハンドルとを有する送水バルブである。把持候補のセットの把持は、好ましくは、多くの異なる角度からハンドルの縁を把持したり、多くの異なる向きで本体を把持したり、各円筒端を把持したり、バルブのネックを把持したりする把持指を含む。候補把持の数はＮとして識別される。

把持候補のセット内の把持は、典型的には、把持品質または衝突検査のために分析されることはなく、候補把持は、部品に対する把持部の理論上の姿勢にすぎない。ロボットの操作中にロボットコントローラが把持候補のセットを直接使用した場合、把持品質が低いか、部品把持部の干渉が原因で、試行された把持の一部が機能しなくなるであろう。このため、図２の残りの部分に示すように、把持を改善し、衝突を排除するには、追加のステップが必要である。

ボックス２２０では、「クリアランスマージン（ｃｌｅａｒａｎｃｅ ｍａｒｇｉｎ）」または仮想把持部表面を使用して現実世界のグリッピングを現実的にシミュレートする一方で、干渉として解釈されることがあり得る部品と把持部の接触を回避する把持最適化技術が採用される。把持最適化技術は、仮想把持部表面モデルを使用して各把持を調整する。これにより、各把持が把持品質のために最適化されると同時に、把持部閉鎖によって容易に適応されるであろう部品把持部クリアランスマージンが残され、現実世界の把持ではわずかな部品芯出し動作が可能になる。ボックス２２０の把持最適化技術は、調整済み把持

を含む調整済み把持データベース２３０をもたらす。すなわち、調整済み把持データベース２３０は、把持候補のセットと同じ数（Ｎ）の把持を含み、データベース２３０内の各把持は、上記で考察したようにわずかに調整される。

ボックス２４０では、調整済み把持データベース２３０内の各把持に対して符号付きディスタンスフィールド衝突検査が実施される。符号付きディスタンスフィールド衝突検査は、データベース２３０内の調整済み把持での任意の衝突を迅速に識別する。上述のように、ボックス２２０での把持の最適化は、把持部接触面と部品との接触を最適化するように把持を調整し、最適化計算で使用される仮想把持部表面は、結果として得られる把持が、把持部と部品との間にわずかな隙間を含むようにする。しかし、データベース２３０内の調整済み把持のいくつかは、把持部接触面から離れた衝突または干渉を依然として含み、衝突または干渉は、そのような把持が実際のロボット部品把持動作で使用されることを妨げる可能性がある。符号付きディスタンスフィールド衝突検査により、そのような干渉のある把持が排除され、衝突のない把持データベース２５０が得られる。衝突のない把持データベース２５０は、把持

を含む。すなわち、衝突のない把持データベース２５０は、調整済み把持データベース２３０からの把持のサブセット（Ｍ）を含む。

ボックス２２０の把持最適化技術及びボックス２４０の符号付きディスタンスフィールド衝突検査をそれぞれ、図３及び図５に関連して以下で詳細に考察する。

図３は、本開示の一実施形態による、部品に対する所望の把持部位置決めを達成するために仮想把持部表面を使用する把持調整最適化ステップを含む、図２の把持生成プロセスのいくつかのステップの詳細を示す図である。ボックス３００では、把持部３０２及び部品（ワークピース）３０４のＣＡＤモデルが提供される。ＣＡＤモデルは典型的には立体モデルであるが、当業者には理解されるであろうように、完全な３Ｄ表面形状を含む表面モデルであってもよい。ボックス３００では、把持部３０２の機械化運動学も提供される。平行指把持部の場合、これには、把持部幅ｗに関して把持部３０２の指要素の位置／形状を定義することが含まれる。

ボックス３１０では、把持候補｛ｐ_ｉ，Ｒ_ｉ，ｗ_ｉ｝_{ｉ=１，Ｎ}が提供される。これは、上記で考察した図２のボックス２１０で提供される把持候補のセットである。把持候補のセットは、典型的には、数百または数千の把持候補を含む。各候補把持ｉ（ｉ=１，Ｎ）には、把持部幅ｗ_ｉと共に、部品３０４に対する把持部３０２の位置ベクトルｐ_ｉ（３つの位置；ｘ、ｙ、ｚ）と回転ベクトルＲ_ｉ（ヨー、ピッチ、ロールなどの３つの回転）が含まれる。ボックス３１０では、部品３０４は、それぞれの把持にて点群として示される。部品３０４の点群表現は、当業者には理解されるように、ＣＡＤ立体モデルから容易に作成することができる。

ボックス３２０では、把持部３０２の接触面に対して「クリアランスマージン」が作成される。クリアランスマージンの目的は、部品表面との実際の接触に必要な幅よりもわずかに広く把持部が開くように、各把持を調整することである。これは、結果として得られる把持が、後のステップで部品と把持部の干渉がある（ひいては、破棄される）と識別されないように実施される。クリアランスマージンは、以下の考察で説明するように、実際の把持部接触面に対して１～２ｍｍほどのわずかな厚さだけ「パッドを付けられた」仮想把持部表面を定義することによって達成される。

ボックス３２０では、部品３３０及び把持部指３４０Ａ／３４０Ｂの２Ｄ断面図を示している。部品３３０及び把持部指接触面３４０Ａ／３４０Ｂは、ボックス３００内の部品及び把持部を表す。図を明確にするために、この図３のボックス３２０以降では、単純化された２Ｄ断面形状を使用する。把持部指接触面３４０Ａ／３４０Ｂは、ボックス３００の平行指把持部の２つの対向する指の接触面である。（実際の把持部指接触面である）把持部指接触面３４０Ａ／３４０Ｂに加えて、把持部仮想接触面３４２Ａ／３４２Ｂを示す。把持部仮想接触面３４２Ａ／３４２Ｂは、上記で考察したように、例えば、把持部指接触面３４０Ａ／３４０Ｂから１～２ｍｍの値を有し得るクリアランスマージンを使用して形成される。クリアランスマージンは、物体を把持するときに把持部指が移動する方向にある。把持部仮想接触面３４２Ａ／３４２Ｂはこのほか、（開閉方向だけでなく）把持部指を横切る横方向にクリアランスマージンを作成するために、把持部指接触面３４０Ａ／３４０Ｂよりもわずかに長くなるように形成されてもよい。

ボックス３５０では、把持部仮想接触面３４２Ａ／３４２Ｂを使用して把持最適化計算を実施する。各把持の最適化計算の結果は、把持部と部品との間に小さなクリアランスマージンを提供しながら最適化された把持品質を有する調整済み把持であり、その結果、把持が後の符号付きディスタンスフィールド計算にて衝突があるとして誤って除外されることがない。

図解３６０では、部品３３０の断面を、把持部指接触面３４０Ａ及び把持部仮想接触面３４２Ａと共に示している。簡単にするために、把持部指のうちの１つだけ（左側）に対する実際の接触面及び仮想接触面を図解３６０に示す。反対側の把持部指にも同じ概念が適用される。把持部指接触面３４０Ａ及び把持部仮想接触面３４２Ａは、図解３６０にてその「初期」位置または構成で示される。すなわち、把持部指接触面３４０Ａは、最適化対象のボックス３１０からの候補把持によって定義されるように、部品３３０に対して把持位置にある。

初期構成は、ボックス３１０に示す例のいずれか１つまたは何百もの他の候補把持のいずれかであり得る。図解３６０に示す初期構成から始めて、部品３３０上の把持部の把持を調整するために最適化計算を実施する。（以下で考察する）最適化計算により、把持が調整される。

最適化計算では、把持部の仮想接触面３４２Ａ／３４２Ｂを使用して把持部を表し、これにより、把持品質が最適化され、把持部指接触面３４０Ａ／３４０Ｂが部品３３０から離れる方向に「押される」。把持部仮想接触面３４２Ａ／３４２Ｂのクリアランスマージンは、把持部指接触面３４０Ａ／３４０Ｂと部品３３０との間に侵入も接触もないことを確実なものにし、その結果、調整済み把持が、後のステップにて、誤検出の部品と把持部の干渉によってフラグ付けされることはない。

以下は、ボックス３５０で使用され得る把持最適化計算の一例の考察である。当業者には理解されるであろうように、把持部接触面と部品との間の安定した把持を計算することができる他の把持最適化の定式化を使用してもよい。把持最適化計算は、部品／ワークピース３３０の座標フレーム内の把持部の姿勢（Ｔ_{ｇｒｉｐｐｅｒ}）である候補把持のうちの１つから始まる。座標フレームには、把持部幅ｗと共に、部品３３０に対する把持部指接触面３４０Ａ／３４０Ｂの位置ｐ及び向きＲが含まれる。最適化計算は、把持部指接触面３４０Ａ／３４０Ｂの代わりに把持部仮想接触面３４２Ａ／３４２Ｂを使用する。ボックス３５０内の図解３６０に示すように、把持部仮想接触面３４２Ａ／３４２Ｂは、最初に部品３３０を貫通する（干渉する）ことになる。

把持部仮想接触面３４２Ａ／３４２Ｂの面上に、任意の適切なサンプリング密度を使用して、点ｐｔ_ｉのセットを定義する。把持部仮想接触面３４２Ａ上のサンプリング点ｐｔ_ｉのうちの１つを、図解３６０の３６６に示す。このほか、部品３３０の表面上にサンプリング点を定義する。図３は、わかりやすくするために２Ｄ断面として示している。しかし、実際の最適化計算では、把持部仮想接触面３４２Ａ／３４２Ｂと部品３３０の表面とはいずれも、サンプリング点ｐｔ_ｉの座標と同じように、３次元である。

把持部仮想接触面３４２Ａ／３４２Ｂ上の点ｐｔ_ｉのそれぞれについて、部品３３０の表面上の最近傍点を判定する。最近傍点は、当技術分野で知られている方法で、点ｐｔ_ｉから部品３３０の表面上のサンプリング点までの最短３Ｄ距離を計算することによって判定される。把持部仮想接触面３４２Ａ／３４２Ｂ上の点ｐｔ_ｉ及び対応する最近傍点から、最適化ループを使用して把持部の移動、回転及び開口幅を更新し、その結果、把持品質が向上し、干渉が減少する。把持部仮想接触面３４２Ａ／３４２Ｂは最初に部品３３０に侵入する（干渉する）ことになるため、最適化計算の最初の反復は、部品３３０から離れる方向に把持部仮想接触面３４２Ａ／３４２Ｂを、特に把持部幅ｗを開くことによって、「押す」制約ペナルティをもたらす。

安定した把持を計算するために、（点ｐｔ_ｉとその最近傍点を使用する）表面接触と厳密な数学的品質が最適化モデリングに採用される。把持部と部品の衝突は、前述のように、貫通を回避するための最適化にてペナルティが科せられる。最適化計算の考察全体を通して、点ｐｔ_ｉによって定義される把持部仮想接触面３４２Ａ／３４２ＢをＳ^ｆと呼び、部品（または「物体」）表面（全サンプリング点、具体的には最近傍点）をＳ^ｏと呼ぶ。

最適化計算の各反復は、並進変換Δｐ、回転変換ΔＲ及び把持部幅変換Δｗを含む変換Ｔに関して定義される把持部仮想接触面３４２Ａ／３４２Ｂの移動をもたらす。例えば、最初の反復により、把持部仮想接触面３４２Ａ／３４２Ｂは、３６０で示す初期構成から、部品３３０上の最近傍点が再び判定され、別の最適化の反復が実施される後続の（図示しない）中間構成に移動する。

最適化の定式化について、式（１ａ）～（１ｄ）として以下に提供し、次の段落で考察する。

最適化の定式化には、把持品質Ｑ_ｇを最大化するように定義された目的関数（式１ａ）が含まれる。ここで、把持品質Ｑ_ｇは、接触面Ｓ^ｆ及びＳ^ｏの関数である。把持品質Ｑ_ｇは、任意の適切な方法で定義されてもよい。代表的な実施形態では、把持品質Ｑ_ｇは、把持部仮想接触面Ｓ^ｆ上の点ｐｔ_ｉと物体表面Ｓ^ｏ上の一致する最近傍点ＮＮとの間の総距離の負の値である。実際には、良質の把持が安定しており、把持部内の部品３３０の任意の小さな移動が、摩擦力及び／または法線力によって迅速に停止し、把持の喪失につながることはない。

最適化の定式化は、変換（Δｐ、ΔＲ、Δｗ）に関して把持部仮想接触面Ｓ^ｆを定義する制約関数（式１ｂ）を含む。制約関数（式１ｃ）が、変換された仮想接触面（Ｔ（∂Ｆ；Δｐ，ΔＲ，Δｗ））が物体Ｏを貫通してはならないことを示す。すなわち、距離はゼロ以上である必要がある。この制約により、上述のように、把持部仮想接触面３４２Ａ／３４２Ｂが部品３３０から離れる方向に「押される」。最後に、式（１ｄ）は、変換Ｔ（Δｐ，ΔＲ，Δｗ）が変換の実施可能なセットＸの要素であることを示す（一実施形態では、ΔｐとΔＲは事前定義された範囲内の任意の値を有してもよく、Δｗは、ボックス３００からの把持部モデルで定義された把持範囲によって制限される）。

上記の式（１ｂ）～（１ｃ）の制約関数は、制約違反が把持品質計算でのコスト関数として扱われるペナルティ法によって考慮される。すなわち、制約違反が大きいほど、コスト関数が大きくなり、把持品質が低下する。把持品質に対するコストに制約を加えることにより、最適化の定式化を最小二乗法で解くことができる。

式（１ａ）～（１ｄ）の最適化の定式化に対して１ステップの最小二乗線形代数計算を実施して、部品３３０との把持部仮想接触面３４２Ａ／３４２Ｂの貫通を低減／排除しながら把持品質を向上させる方向に把持部指を移動させる変換Ｔ（Δｐ、ΔＲ、Δｗ）を識別する。このプロセスは、把持位置が、部品３３０との把持部仮想接触面３４２Ａ／３４２Ｂの貫通を最小化するか排除した極大把持品質に収束するまで繰り返される。

図解３６２では、部品３３０の断面は、把持部指接触面３４０Ａ及び把持部仮想接触面３４２Ａと共に示される。ここでは、把持部指接触面３４０Ａ及び把持部仮想接触面３４２Ａは、図解３６２の最適化収束後の「調整済み」位置で示される。すなわち、把持部指接触面３４０Ａは、把持品質を最適化すると共に把持部指接触面３４０Ａを部品３３０から離れる方向に「押す」最適化計算の後、部品３３０に対して把持位置にある。把持部仮想接触面３４２Ａのクリアランスマージンは、把持部指接触面３４０Ａと部品３３０との間に侵入も点対点接触もないことを確実なものにし、その結果、調整済み把持が後のステップで（少なくとも把持部接触面のエリアで）衝突なしであると判定され得るようになる。

把持候補のうちの１つに対する品質調整済み把持に収束した後、プロセスは新たな初期構成（すなわち、把持候補のうちの別の１つ）で最初からやり直される。この把持最適化計算は、ボックス３１０からの候補把持のそれぞれに対して実施され、ボックス３７０にて調整済み把持のセットが得られる。ボックス３７０の調整済み把持のセットは、図２に関してこれまでに考察したように、

として表される。ここで、「プライム記号」（´）は、各把持ｉが調整済みであることを示す。なお、調整済み把持の数Ｎは、候補把持の数と同じである。すなわち、ボックス３５０の最適化プロセスでは把持が除去されることはない。

ボックス３８０では、ボックス３７０内のＮ個の調整済み把持のそれぞれに対して符号付きディスタンスフィールド衝突検査を実施する。符号付きディスタンスフィールド衝突検査は、把持が調整された後、部品と把持部との間に何らかの衝突があるかどうかを判定する。符号付きディスタンスフィールド衝突検査は、把持部指接触面だけでなく、部品３３０全体と把持部の任意の部分との間の衝突を検査する。それぞれの調整済み把持は、符号付きディスタンスフィールド計算を使用して評価される。衝突のない把持（ボックス３９０にてレで指定）は保持され、部品と把持部の衝突がある把持（×で指定）は破棄される。

ボックス３９０では、廃棄される１つの調整済み把持（×で指定）は、把持部指表面から離れた干渉を有する。具体的には、バルブハンドルは、把持部アクチュエータ本体に近い場所で把持部指の一部と干渉する。この干渉は、ボックス３５０の最適化計算では、その最適化は把持部指接触面のみを考慮するため、考慮されない。ボックス３８０にて符号付きディスタンスフィールド衝突検査が使用されるのは、まさにこの理由からである。その結果、最適化計算により、把持部指接触面と部品との間に小さなクリアランスマージンを提供しながら、把持品質を最適化することができ、その後、符号付きディスタンスフィールド計算により、全体的な把持姿勢によって引き起こされる干渉を検出することができる。

ボックス３９０では、衝突のない把持の最終セットを提供する。ボックス３８０の符号付きディスタンスフィールド衝突検査の詳細は、図５を参照して後に考察する。ボックス３９０内の衝突のない把持の最終セットは、図２に関してこれまでに考察したように、

として表される。ここで、図３のボックス３９０に示すように、一部の把持が破棄されているため、衝突のない把持の数Ｍは、調整済み把持の数Ｎよりも少ないことに留意されたい。

図３に示す把持生成方法の利点は次のとおりである。
・ボックス３５０の最適化計算では、把持部指接触面のみを考慮する。これにより、最適化計算が、従来技術と同じように把持部指と本体の全体が考慮された場合よりもはるかに速く、調整済み把持を計算することができる。
・最適化計算では、把持部仮想接触面３４２Ａ／３４２Ｂを使用する。これにより、実際の把持部指接触面３４０Ａ／３４０Ｂと部品３３０との間の小さなクリアランスマージンを伴う調整済み把持が得られる。
・ボックス３８０の符号付きディスタンスフィールド衝突検査（詳細は以下で考察）は、把持部（その全体）と部品３３０との間の干渉を伴う任意の調整済み把持を識別して破棄するきわめて効率的な計算である。
・符号付きディスタンスフィールド衝突検査では、調整済み把持には小さなクリアランスマージンが含まれているため、把持部指接触面のエリアで衝突が誤検出されることはないことになる。

図４は、当技術分野で知られている、第１の物体と第２の物体との間の干渉を示す一般的な符号付きディスタンスフィールド計算技術の図である。左側の図解４００では、符号付きディスタンスフィールドグリッド４１０Ａ及び４１０Ｂが、この考察の文脈での左右の把持部指を表す。物体４２０が、把持部指によって把持される部品を表す。ここで、物体４２０は表面点メッシュで定義される。符号付きディスタンスフィールドグリッド４１０Ａ及び４１０Ｂ並びに物体４２０は、符号付きディスタンスフィールドグリッド４１０Ａ及び４１０Ｂが特定の把持に従って物体４２０に対して位置決めされる構成で示される。図４は、図をわかりやすくするために２Ｄの図解であるが、実際の符号付きディスタンスフィールド衝突検査計算では、物体４２０の表面点メッシュと符号付きディスタンスフィールドグリッド４１０Ａ及び４１０Ｂはいずれも３次元であることを理解されたい。

右側の図解４３０では、符号付きディスタンスフィールドグリッド４１０Ａ及び４１０Ｂは、物体４２０のない状態で示される。符号付きディスタンスフィールドグリッド４１０Ａ及び４１０Ｂは、物体４２０によるグリッドセルの占有を示すために（ハッチ線で）影を付けられている。参照番号４３２が、物体４２０によって占有されている６つの（影付き）グリッドセルの一群を示す。物体４２０のいくつかの部分（表面点メッシュの１つまたは複数の点）が４３２で示す６つのグリッドセル内にあることは、左側の図解４００で容易に理解することができる。同じように、参照番号４３４が、物体４２０（ウサギの鼻の部分）によって占有される１１個の（影付き）グリッドセルの一群を示し、参照番号４３６が、物体４２０（ウサギの耳の一方）によって占有される７個の（影付き）グリッドセルの一群を示す。

各グリッドセルの占有を判定する（はい／いいえ）ために、各グリッドセルから物体４２０上の最も近い点までの距離を計算する。距離がゼロを上回るグリッドセルは占有されておらず（図４３０では影が付けられていない）、距離がゼロ以下のグリッドセルは占有されている（影が付けられている）。図４の単純な視覚的例では、図３のボックス３８０で使用され、以下で詳細に説明する、符号付きディスタンスフィールドグリッド呼び出し占有率の概念を示している。

図５は、本開示の一実施形態による、把持調整後に部品と把持部の干渉を有する把持を排除するために、図２及び図３の把持生成プロセスで使用される符号付きディスタンスフィールド衝突検査技術の詳細を示す図である。上記で考察したように、符号付きディスタンスフィールド衝突検査は、ボックス３７０からの調整済み把持のそれぞれについて、ボックス３８０にて実施される。このプロセスについて、図５の考察で１つの特定の把持に対して説明する。

ボックス５１０では、ボックス３７０からの調整済み把持のうちの１つを提供する。把持部５１２をＣＡＤモデル形式で示し、物体または部品５１４を点群形式で示す。把持は、部品５１４の座標フレーム内の把持部５１２（Ｔ_{ｇｒｉｐｐｅｒ}）の姿勢として定義される。ボックス５２０では、把持部５１２の符号付きディスタンスフィールドグリッド５２２を生成する。符号付きディスタンスフィールドグリッド５２２の生成を、オフラインプロセスにて、評価対象の調整済み把持のセット全体に対して１回だけ実施する。換言すると、符号付きディスタンスフィールドグリッド５２２を生成しても、ボックス３７０からのあらゆる調整済み把持を評価するのにかかる計算時間に影響を及ぼすことない。符号付きディスタンスフィールドグリッド５２２は、六面体などの体積要素の３Ｄグリッドであり、レンガ形状または立方体であってもよい。グリッド要素のサイズは、把持部の本体／アクチュエータ部分のグリッド接線サイズが３ｍｍであり、把持部指のグリッド接線サイズが０．３ｍｍである場合など、精度要件に合わせて場所によって異なる場合がある。

ボックス５３０では、特定の把持に対する符号付きディスタンスフィールド衝突検査の第１のステップを実施する。部品５３４をＣＡＤモデル形式で示す。ボックス５３０では、部品５３４は、把持Ｔ_{ｇｒｉｐｐｅｒ}の逆数を使用することによって、把持部座標フレームに転置される。すなわち、部分５３４は

によって転置され、把持部座標フレーム内の（再び点群形式で示す）部品５４４になる。

ボックス５５０では、特定の把持に対する符号付きディスタンスフィールド衝突検査の第２のステップを実施する。ここでは、把持部座標フレーム内の部品５４４が、把持部５１２の符号付きディスタンスフィールドグリッド５２２と共に使用される。符号付きディスタンスフィールドグリッド５２２は、３Ｄグリッド空間（ｉ，ｊ，ｋ）に関して定義される。部品５４４の（特に部品の表面上に数千の点が含まれる場合がある）点群内の各点５４４_ｎについて、点のデカルト座標がグリッド空間（ｉ，ｊ，ｋ）に変換される。点５４４_ｎが符号付きディスタンスフィールドグリッド５２２の完全に外側にあるグリッドインデックス（ｉ、ｊ、ｋ）を有する場合、点５４４_ｎは把持部５１２から遠く離れており、プロセスは、部品５４４の点群の次の点５４４_ｍを検査するために移動する。

点５４４_ｎが、符号付きディスタンスフィールドグリッド５２２の境界全体の内側に入るグリッドインデックス（ｉ，ｊ，ｋ）を有する場合、点５４４_ｎは、把持部５１２の近くにあるか、把持部５１２と干渉することが知られている。この場合、既知の３Ｄ距離計算を使用して、最も近いグリッド（ＳＤＦ（ｉ，ｊ，ｋ））までの距離の符号が検査される。ＳＤＦ（ｉ，ｊ，ｋ）＞０の場合、点５４４_ｎは把持部５１２との衝突がなく、プロセスは次の点５４４_ｍの検査に移る。ＳＤＦ（ｉ，ｊ，ｋ）＜０の場合、点５４４_ｎは把持部５１２と衝突する。これは、部品５１４が把持部５１２と干渉することを意味する。

（ボックス３７０の調整済み把持からの）特定の把持について、部品５４４の点群内のあらゆる点がゼロより大きい符号付きディスタンスフィールド値を有する場合、その把持は衝突なしであると判定され、把持は、ボックス３９０の最終的な衝突のない把持セットに入れられる。

特定の把持について、部品５４４の点群内の点のいずれかが０未満の符号付きディスタンスフィールド値を有する場合、その把持は、部品と把持部の干渉を有すると判定され、把持はボックス３９０の最終的な衝突のない把持セットに入れられることはない。この場合、最小距離値（最大侵入）がリストされ、部品と把持部の干渉により特定の把持が破棄された理由をユーザが理解するように、対応する物体点が視覚的に表示される。

図５に示し、上記で説明したプロセスは、ボックス３７０の調整済み把持での把持のそれぞれに対して実施され、ボックス３９０での把持の最終セットは、衝突がないと判定されたそのような調整済み把持のみを含む。ボックス３９０内の把持の最終セットは、図１に示すように、ロボットがピックアンドプレース操作に使用することができるようになる。

図２、図３及び図５に示す把持生成技術は、さまざまな実世界の部品で実証されており、高品質の把持データベースを生成する。このデータベースには、部品上のさまざまな把持位置と把持接近方向が含まれるのに対し、把持部と部品の干渉が排除される。計算された把持データベースではこのほか、図１に示すタイプのロボットによる把持システムで迅速かつ効果的な把持識別を可能にすることが実証されている。

上記で考察した把持生成技術は、既存の方法に対していくつかの利点を提供する。開示した方法は、不確実性及び外乱に対して堅固な、表面接触による高品質の全自由度把持を提供する。把持生成方法は、把持部接触面のみでモデル化された把持最適化を含むため、全体的な形状の従来技術の最適化方法よりもはるかに高速な計算を提供する。開示した方法は、仮想把持部表面を使用して把持の最適化を実施してクリアランスマージンを提供し、その結果、その後の符号付きディスタンスフィールド計算での誤った衝突警告が排除される。さらに、符号付きディスタンスフィールド衝突検査により、意図した把持部接触面と部品との相互作用から離れた場所で発生する実際の部品と把持部の干渉状態が迅速かつ効率的に検出される。

これまでの考察を通じて、さまざまなコンピュータとコントローラを説明し、暗示している。このようなコンピュータ及びコントローラのソフトウェアアプリケーション及びモジュールは、プロセッサ及びメモリモジュールを有する１つまたは複数の計算装置上で実行されることを理解されたい。特に、これは、物体把持を実施するロボット１００を制御するロボットコントローラ１５０内のプロセッサと、把持生成計算を実施するコンピュータ１６０内のプロセッサとを含む。これまでに考察したように、コントローラ１５０またはコンピュータ１６０のいずれかを、リアルタイム操作で把持する物体を識別するように構成してもよい。

ロボットによる把持生成での衝突処理方法の多数の例示的な態様及び実施形態について上記で考察したが、当業者は、その修正、置換、追加及び部分的な組み合わせを認識するであろう。このため、以下の添付の特許請求の範囲と、その後に導入される特許請求の範囲は、その真の精神及び範囲内にあるようなあらゆる修正、置換、追加及び部分的な組み合わせを含むと解釈されることが意図されている。

Claims (20)

1. ロボットによる把持システムによって使用される衝突のない把持データベースを生成する方法であって、前記方法は、
   把持対象の物体の３次元（３Ｄ）形状データを含む物体モデルと、把持部の３Ｄ形状データと指の運動学とを含む把持部モデルと、を提供するステップと、
   前記物体上の前記把持部の候補把持のデータベースを提供するステップと、
   所定のクリアランスマージンに基づいて、前記把持部の各指上の把持部指接触面から外れた把持部仮想接触面を定義するステップと、
   プロセッサ及びメモリを有するコンピュータを使用して、調整済み把持のデータベースを生成するために、前記候補把持のそれぞれに対して把持の最適化を実施するステップであって、前記把持の最適化は、前記把持部仮想接触面と、前記物体モデルの点群表現とを使用して、把持品質値を最大化する、ステップと、
   前記物体モデルの前記点群表現と前記把持部の符号付きディスタンスフィールドグリッドとを使用して、前記調整済み把持のそれぞれに対して符号付きディスタンスフィールド衝突検査を実施するステップと、
   前記符号付きディスタンスフィールド衝突検査で衝突がないと判定された前記調整済み把持のそれぞれを含む前記衝突のない把持データベースを提供するステップと、を含む方法。
2. 前記把持部仮想接触面は、物体を把持するときに各把持部指が移動する方向に前記把持部指接触面から外れている、請求項１に記載の方法。
3. 作動中のロボットの操作中に衝突のない把持データベースを使用して、物体の容器から把持する目標物体を識別するステップであって、前記衝突のない把持データベースからの把持を、カメラまたはセンサデータから推定された物体の姿勢にマッピングすることによって前記目標物体を識別するステップと、前記把持部を取り付けたロボットに前記目標物体を把持するように指示するロボットコントローラに目標物体把持データを提供するステップと、を含むステップを、さらに含む、請求項１に記載の方法。
4. 候補把持、調整済み把持及び衝突のない把持がそれぞれ、前記物体の座標フレームでの前記把持部の姿勢を定義する、請求項１に記載の方法。
5. 前記物体の前記座標フレームでの前記把持部の前記姿勢は、３つの位置及び３つの回転並びに把持部幅を含む、請求項４に記載の方法。
6. 前記把持最適化は、前記把持部仮想接触面上のサンプリング点と、前記把持部仮想接触面上の前記サンプリング点のそれぞれに対応する前記物体上の最近傍点を含む前記物体モデルの前記点群表現と、を定義することによって定式化される、請求項１に記載の方法。
7. 前記把持最適化は、前記把持部仮想接触面上の各サンプリング点と、その前記物体上の対応する最近傍点との間の総距離に基づいて定義される局所的に最適な把持品質に収束する目的関数を含み、前記物体への前記把持部仮想接触面の侵入にペナルティを科す拘束方程式を含む、請求項１に記載の方法。
8. 前記把持部仮想接触面を使用する前記把持最適化は、前記把持部指接触面が前記クリアランスマージンによって前記物体から離間される調整済み把持をもたらす、請求項７に記載の方法。
9. 前記符号付きディスタンスフィールド衝突検査を実施するステップは、前記物体モデルの前記点群表現を、前記調整済み把持を定義する姿勢の逆数を使用して、前記把持部の前記符号付きディスタンスフィールドグリッドの座標フレームに変換するステップを含む、請求項１に記載の方法。
10. 前記符号付きディスタンスフィールド衝突検査を実施するステップは、前記物体モデルの前記点群表現内の点が前記把持部の前記符号付きディスタンスフィールドグリッドのグリッドセル内にない場合、前記調整済み把持が衝突なしであると判定するステップを含む、請求項９に記載の方法。
11. 前記候補把持のデータベースは多数の把持を含み、それぞれの把持は、前記物体に対する前記把持部の異なる位置及び向きを定義し、把持品質または物体と把持部の干渉について評価されていない、請求項１に記載の方法。
12. 衝突のない把持データベースを生成する方法であって、前記方法は、
    把持対象の物体の３次元（３Ｄ）モデルと、把持部の３Ｄモデルとを提供するステップと、
    前記物体上の前記把持部の候補把持のデータベースを提供するステップと、
    プロセッサ及びメモリを有するコンピュータを使用して、調整済み把持のデータベースを生成するために、前記候補把持のそれぞれに対して把持最適化を実施するステップであって、前記把持最適化は、前記把持部の各指上の把持部指接触面と、前記物体モデルの点群表現とから外れた把持部仮想接触面を使用して把持品質値を最大化する、ステップと、
    前記符号付きディスタンスフィールド衝突検査にて衝突がないと判定された前記調整済み把持のそれぞれを含む前記衝突のない把持データベースを提供するために、前記調整済み把持のそれぞれに対して符号付きディスタンスフィールド衝突検査を実施するステップと、を含む方法。
13. プロセッサ及びメモリを有するコンピュータを具備する、ロボットによる把持生成システムであって、前記コンピュータは、
    衝突のない把持データベースを生成するステップであって、
    把持対象の物体の３次元（３Ｄ）形状データを含む物体モデルと、把持部の３Ｄ形状データと指の運動学とを含む把持部モデルとを提供するステップと、
    前記物体上の前記把持部の候補把持のデータベースを提供するステップと、
    所定のクリアランスマージンに基づいて、前記把持部の各指上の把持部指接触面から外れた把持部仮想接触面を定義するステップと、
    前記候補把持のそれぞれに対して把持最適化を実施して、調整済み把持のデータベースを生成するステップであって、前記把持最適化は、前記把持部仮想接触面と前記物体モデルの点群表現とを使用して把持品質値を最大化する、ステップと、
    前記物体モデルの前記点群表現と前記把持部の符号付きディスタンスフィールドグリッドとを使用して、前記調整済み把持のそれぞれに対して符号付きディスタンスフィールド衝突検査を実施するステップと、
    前記符号付きディスタンスフィールド衝突検査にて衝突がないと判定された前記調整済み把持のそれぞれを含む前記衝突のない把持データベースを提供するステップと、を含むステップ、を実施するように構成される、システム。
14. 作動中のロボットの操作中に物体の容器の前記コンピュータに奥行き画像を提供する３Ｄカメラであって、前記コンピュータは、前記衝突のない把持データベースからの把持を、前記奥行き画像から推定された物体の姿勢にマッピングすることにより、物体の容器から把持する目標物体を識別する、３Ｄカメラと、
    前記コンピュータと通信し、前記目標物体に関する把持データを受信するロボットコントローラと、
    前記コントローラからのコマンドに基づいて、前記目標物体を把持して移動させる前記把持部を搭載したロボットと、をさらに具備する、請求項１３に記載のシステム。
15. 前記把持部仮想接触面は、物体を把持するときに各把持部指が移動する方向に前記把持部指接触面から外れている、請求項１３に記載のシステム。
16. 候補把持、調整済み把持及び衝突のない把持はそれぞれ、３つの位置及び３つの回転並びに把持部幅を含む、前記物体の座標フレームでの前記把持部の姿勢を定義する、請求項１３に記載のシステム。
17. 前記把持最適化は、前記把持部仮想接触面上のサンプリング点と、前記把持部仮想接触面上の前記サンプリング点のそれぞれに対応する前記物体上の最近傍点を含む前記物体モデルの前記点群表現と、を定義することによって定式化される、請求項１３に記載のシステム。
18. 前記把持最適化は、前記把持部仮想接触面上の各サンプリング点と、その前記物体上の対応する最近傍点との間の総距離に基づいて定義される局所的に最適な把持品質に収束する目的関数を含み、前記物体への前記把持部仮想接触面の侵入にペナルティを科す拘束方程式を含む、請求項１３に記載のシステム。
19. 前記把持部仮想接触面を使用する前記把持最適化は、前記把持部指接触面が前記クリアランスマージンによって前記物体から離間される調整済み把持をもたらす、請求項１７に記載のシステム。
20. 前記符号付きディスタンスフィールド衝突検査を実施するステップは、前記物体モデルの前記点群表現内の点が前記把持部の前記符号付きディスタンスフィールドグリッドのグリッドセル内にない場合、前記調整済み把持が衝突のないものであると判定するステップを含む、請求項１３に記載のシステム。

Images