JP2022527869A - ゾーングリッパーを使用した箱の操作 - Google Patents

Abstract

【課題】 様々なサイズ、形状、および／または向きの個々の箱を確実にピッキングすることである。【解決手段】 箱（２２）を操作する方法は、壁に囲まれたコンテナ（３０）内に配置されたサイズが異なる複数の箱の、最小箱サイズを受け取ることを含む。この方法は、さらにグリッパー（２００）のグリップ領域を複数のゾーン（Ｚ）に分割することを含む。この方法は、視覚センサー（１２０）からの画像に基づいて、候補箱（２４、２４Ｔ）のセットを配置することをさらに含む。各ゾーンについて、この方法は、候補箱のセットに対し、１つ以上の隣接する箱（２６）とのそれぞれのゾーンの重なりを決定することをさらに含む。この方法はまた、壁に囲まれたコンテナの１つ以上の壁（３０ｗ）を回避するターゲット候補箱（２４Ｔ）用の把持ポーズ（ＰＧ）を決定することを含む。この方法はさらに、グリッパーによってターゲット候補箱を持ち上げるため把持ポーズを実行することを含み、グリッパーは、ターゲット候補箱にそれぞれの隣接する箱（２６）と重ならない複数のゾーンの各ゾーンをアクティブ化する。【選択図】図１

Description

本開示は、ゾーングリッパーを使用して箱を操作することを対象としている。

箱状のオブジェクトは、産業、製造、ロジスティクス、および商業環境でピッキング（つまり、パレットまたは保持コンテナから取りはずす）が必要なオブジェクトの大部分を表している。典型的には、箱状のオブジェクトは、少なくとも１つの実質的に平面のピッキング面によって特徴付けられる。従来、ロボットによるピッキングでは、ピッキングロボットが、構造化されたパレット上に均一に配置された既知のサイズ、数、およびタイプの箱を操作する。一部の現在のシステムは、機械治具を使用して、ロボットが事前にプログラムされた既知の場所から箱を選ぶことができるように、箱のパレットを事前に配置する。箱のサイズ、箱の数、または箱の位置のいずれかで、この既知の構造から逸脱すると、システムに障害が発生する。残念ながら、コンピュータビジョンベースのシステムは、境界にはっきりと縁がある箱に依存することが多く、広告、印刷された文字、印刷されたロゴ、写真、色、またはその他の質感がある箱のサイズや位置を正確に判断できない。このような箱の面には視覚的な縁がある（つまり、箱の実際の物理的な境界に対応しない縁）。現在のコンピュータビジョンベースのシステムでは、２つの異なる箱の物理的な縁を、箱の面の他の視覚的な縁と区別できないため、これらのシステムは、箱のサイズと位置を誤って判断する傾向がある。問題なのは、システムがサイズと場所を誤って判断した箱をピッキングして移動すると、箱がロボットのグリップから外れたり、ロボットが１つの箱のみをピックする必要がある場所で２つ以上の箱をピックする場合がある。

本開示の一態様は、ゾーングリッパーを使用して箱を操作する方法を提供する。この方法は、制御システムで、サイズが異なる複数の箱の最小箱サイズを受け取ることを含む。ここで、複数の箱は、壁に囲まれたコンテナ内に配置されている。ロボットには、複数の真空吸引カップを備えたグリッパーが含まれている。また、この方法は、制御システムによって、グリッパーのグリップ領域を最小箱サイズに基づいて複数のゾーンへ分割することも含む。さらに、この方法は、制御システムによって、視覚センサーからの画像に基づいて、複数の箱の候補箱のセットを配置することを含む。複数のゾーンの各ゾーンについて、この方法は、制御システムによって、視覚センサーからの画像によって特定される隣接する箱が、候補箱のセットに対する１つ以上の隣接する箱とのそれぞれのゾーンの重なりを決定することをさらに含む。この方法はまた、制御システムによって、壁に囲まれたコンテナの１つ以上の壁を回避する複数の候補箱のセットの、ターゲット候補箱の把持ポーズを決定することを含む。この方法は、制御システムによって、グリッパーでターゲット候補箱を持ち上げるための把持ポーズを実行することをさらに含み、グリッパーは、ターゲット候補箱にそれぞれの隣接する箱と重ならない複数のゾーンのそれぞれをアクティブ化する。

本開示の実装形態は、以下の任意選択の特徴のうちの１つ以上を含み得る。また、一部の実装形態では、この方法は、制御システムによって、把持ポーズがターゲット候補箱の最小範囲を含み、最小範囲がターゲット候補箱を持ち上げるのに十分な吸引力を提供する領域に対応することを決定することを含む。いくつかの例では、この方法はさらに、制御システムによって、部品有無センサーがターゲット候補箱と十分なマージンで重なっていることを決定することを含み、十分なマージンが部品有無センサーをトリガーしてターゲット候補箱の存在を伝達する。ターゲット候補箱の把持ポーズを決定することは、壁に囲まれたコンテナの１つ以上の壁の位置に基づいて把持ポーズをオフセットすることを含み得る。いくつかの構成では、この方法はまた、制御システムによって、グリッパーがターゲット候補箱を閾値高さまで持ち上げたことを決定し、制御システムによって、グリッパーのすべてのゾーンをアクティブ化することを含む。いくつかの例では、この方法は、制御システムによって、壁に囲まれたコンテナからターゲット候補箱を削除中に回避するために、壁に囲まれたコンテナの特徴を特定すること、制御システムによって、壁に囲まれたコンテナからターゲット候補箱を削除するための動作パスを決定することをさらに含み、動作パスは壁に囲まれたコンテナの特定された特徴を回避する。

任意で、複数のゾーンは、グリッパーの複数の真空吸引カップを横切って連鎖させることができる。サイズが異なる複数の箱は、直線状のオブジェクトに対応し得る。いくつかの例では、サイズが異なる複数の箱は、高さが異なる複数の箱に対応する。把持ポーズは、ターゲット候補箱の上面に重なる複数の真空吸引カップのうちの真空吸引カップのセットによって定義されるグリッパーの位置に対応し得る。

本開示の別の態様は、ゾーングリッパーを使用して箱を操作するロボットを提供する。ロボットは、視覚センサー、グリッパー、および制御システムを含む。把持部は複数の真空吸引カップを含み、制御システムは操作を実行するように構成されている。操作は、サイズが異なる複数の箱と、壁に囲まれたコンテナ内に配置された複数の箱の最小箱サイズを受け取ることを含む。操作には、グリッパーのグリップ領域を最小箱サイズに基づいて複数のゾーンに分割することも含まれる。この操作はさらに、視覚センサーからの画像に基づいて、複数の箱の候補箱のセットを配置することを含む。複数のゾーンの各ゾーンについて、この操作は、候補箱のセットに対し、１つ以上の隣接する箱とのそれぞれのゾーンの重なりを決定することをさらに含み、隣接する箱は、視覚センサーからの画像によって特定される。また、この操作は、壁に囲まれたコンテナの１つ以上の壁を回避する候補箱のセットのターゲット候補箱の把持ポーズを決定することを含む。この操作はさらに、グリッパーによってターゲット候補箱を制御システムに持ち上げるため把持ポーズを実行することを含み、把持ポーズは、それぞれの隣接する箱をターゲット候補箱に重ならない複数のゾーンの各ゾーンをアクティブ化する。

本態様は、以下の任意選択の機能のうちの１つ以上を含んでもよい。一部の実装形態では、この操作は、把持ポーズがターゲット候補箱の最小範囲を含むことを決定することを含み、最小範囲は、ターゲット候補箱を持ち上げるのに十分な吸引力を提供する領域に対応する。いくつかの例では、この操作は、部品有無センサーがターゲット候補箱と十分なマージンで重なっていることを決定することを含み、十分なマージンが部品有無センサーをトリガーしてターゲット候補箱の存在を伝達する。ターゲット候補箱の把持ポーズを決定することは、壁に囲まれたコンテナの１つ以上の壁の位置に基づいて把持ポーズをオフセットすることを含み得る。また、いくつかの構成では、この操作は、グリッパーがターゲット候補箱を閾値高さまで持ち上げたことを決定し、制御システムによって、グリッパーのすべてのゾーンをアクティブ化することを含む。いくつかの例では、この操作は、壁に囲まれたコンテナからターゲット候補箱を削除中に回避するために、壁に囲まれたコンテナの特徴を特定し、壁に囲まれたコンテナからターゲット候補箱を削除するための動作パスを決定することをさらに含み、動作パスは壁に囲まれたコンテナの特定された特徴を回避する。

本開示の１つ以上の実装例の詳細が、添付図面および以下の説明において記述される。他の態様、特徴、および利点は、説明および図面から、ならびに請求の範囲から明らかになり得る。

箱のある環境でゾーングリッパーを備えたロボット例の概略図である。 グリッパーの従来の配置例の概略図である。 図１のゾーングリッパーのゾーン例の概略図である。 図１のゾーングリッパーのゾーン例の概略図である。 図１のゾーングリッパーのゾーン例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱の把持ポーズ例の概略図である。 ターゲット候補箱に対するゾーングリッパーの作動例の概略図である。 ターゲット候補箱に対するゾーングリッパーの作動例の概略図である。 ターゲット候補箱に対するゾーングリッパーの作動例の概略図である。 ターゲット候補箱に対するゾーングリッパーの作動例の概略図である。 コンテナ内から箱を取りはずすための移動パスの例を示すコンテナの断面図である。 コンテナ内から箱を取りはずすための移動パスの例を示すコンテナの断面図である。 コンベヤを備えたピッキング環境例の概略図である。 ゾーングリッパーを使用してターゲット候補箱を把持および移動する操作方法の配置例についてのフローチャートである。

様々な図面中の同様の参照符号は、同様の要素を示す。

ここでの実装形態は、１つ以上の側面に壁がある密閉されたパレットまたはコンテナから、様々なサイズ、形状、および／または向きの個々の箱を確実にピッキングできるロボットピッキングソフトウェアソリューションおよびゾーングリッパーを対象としている。米国特許公開第２０１７／０２４６７４４号には、混合在庫最小管理単位（ＳＫＵ）パレット（例えば、異なるサイズの箱を備えたパレット）からピッキングできるシステムが記載されているが、混合ＳＫＵ（つまり、異なるサイズの箱を含む少なくとも１つの壁を持つコンテナ）からピッキングしようとすると、追加の問題が発生する。ロボットによるピッキングプロセスの一部は、混合ＳＫＵのピッキングの側面を利用するため、米国特許公開第２０１７／０２４６７４４号は、参照によりその全体が本明細書に組み込まれる。

産業および／またはロジスティクス環境でのロボットによる箱のピッキングは、通常、固定サイズのシングルゾーングリッパーを使用して実行される。ここで、箱の固定サイズが異なる場合は、バキュームグリッパーの位置を調整して、ピッキングする箱のみと重なるようにすることができる。一般に、ピッキングされる箱の重量とサイズ、および箱を移動するために必要な速度によって、真空グリッパーのサイズが決まる。例えば、米国特許公開第２０１７／０２４６７４４号には、オープンパレットから混合ＳＫＵ箱をピッキングするためのプロセスの例が含まれている。

壁のあるコンテナまたは構造物から個々の箱をピッキングするには、壁との衝突を回避し、コンテナの他の内容物への影響を最小限に抑えて一つの箱をピッキングするピッキングロボットが必要である。このシナリオでは、様々なサイズの箱をピッキングするときに、コンテナの壁に衝突せずに、グリッパーを１つの箱と重なるように配置できないことがよくある。

図１に示されるように、環境１０は、コンテナ３０を支持するパレット２０を含み、コンテナ３０は、複数の混合ＳＫＵ箱２２、２２ａ～ｎを含む。点線の隠線で示されるように、箱２２のサイズ（例えば、寸法）は異なってもよい。ここで、コンテナ３０は、４つの壁３０ｗ_１－４と、パレット２０の反対側の壁３０ｗ_１－４の上部の周りのリップ３２とを含む。リップ３２は、積み重ねられた箱２２の中心に向かって延びるように示されている。積み重ねられた箱２２は、１つ以上の階層（例えば、３つの階層として示す）を有してもよく、一番上の階層において、箱２２の上面は、ロボット１００の一部（すなわち、ロボット１００のグリッパー２００）に面する。コンテナ３０は、複数の壁３０ｗで示されているが、コンテナ３０は、環境１０内の箱２２をピッキングするときにロボット１００が回避すべき少なくとも１つの壁を有する任意の容器（例えば、ビン、容量の大きいビン、滑材の箱、八角形の箱、容量の大きい箱、ケージ、木箱、トラックの荷台、トレーラー、輸送コンテナ、小部屋など）であってもよい。

環境１０はまた、制御システム１１０を備えたロボット１００、視覚センサー１２０、およびグリッパー２００を備えたアーム１３０を含む。ロボット１００は静止ロボット１００として示されているが、ロボット１００は、本開示の範囲から逸脱することなく移動ロボットを含むことができる。制御システム１１０は、例えば、環境内の箱２２を操作するためのグリッパー２００の動作によって、ロボット１００を制御するように構成される。制御システム１１０は、計算装置４０と通信するように構成される。図１に示されるように、計算装置４０は、制御システム１１０の一部であってもよく、制御システム１１０の外部（例えば、制御システム１１０から離れた場所）であってもよい。計算装置４０は、制御システム１１０との通信を介してロボット１００の自動制御を可能にすることができる。また、計算装置４０は、オペレーターがロボット１００とやり取りし、または操作／制御するための１つ以上のユーザインターフェースを提供してもよい。計算装置４０は、様々な計算装置４０のいずれかであってもよく、制御システム１１０に直接接続、または介在するデバイスおよびネットワークを介して制御システム１１０と通信してもよい。

本明細書における特定のコンピューティングパラダイムおよびソフトウェアツールへの言及にもかかわらず、様々な実装の基礎となるコンピュータプログラム命令は、多種多様なプログラミング言語、ソフトウェアツールおよびデータフォーマットのいずれかに対応し得、任意のタイプの持続性コンピュータ可読ストレージメディアまたはメモリデバイスに格納されてもよく、例えば、クライアント／サーバーモデル、ピアツーピアモデル、スタンドアロン計算装置、または様々な機能が異なる場所で実行または使用される分散型計算モデルを含む様々な計算モデルに従って実行されてもよい。当業者に知られている適切な代替物を使用することができる。

視覚センサー１２０は、ロボット１００によってピッキングされる箱２２を観察する場所に配置されている。例えば、図１に示すように、視覚センサー１２０は、グリッパー２００上またはその近くに取り付けられて、箱２２を上から観察する（例えば、箱２２に対して上から見下ろす視点）。示される例では、視覚センサー１２０は、グリッパー２００に取り付けられているが、視覚センサー１２０は、センサー１２０が固定プラットフォームに取り付けられている場合、グリッパー２００またはロボットアーム１３０の他の部分に取り付けられている場合、またはロボットアーム１３０も取り付けられている移動プラットフォーム（移動ロボット）に取り付けられている場合を含む、複数のセンサー配置構成に適用することができる。他のバリエーションは当業者には明らかであろう。

図２Ａを参照すると、ゾーン真空グリッパーは、グリッパーが他の吸引カップゾーンＺとは独立して必要なときに各ゾーンＺをオンまたはオフにできるように個々に制御できる複数の吸引カップゾーンＺを含み得る。例えば、図２Ａは、６つのゾーンＺ、Ｚ_１－６（異なる灰色の色合いで示されている）を示しており、各ゾーンＺは、９つの吸引カップを含む。パレット２０から箱２２をピックアップするために、ゾーングリッパーは、主に箱のサイズが事前に分かる単一のＳＫＵパレットからピックアップするために使用されてきた。箱のサイズを事前に知ることにより、ゾーンＺは、パレット２０上の箱２２のサイズに一致するように明示的に設計され得る。単一のＳＫＵパレット２０から箱２２を輸送する場合、ゾーングリッパー２００のすべてのゾーンＺをアクティブ化（例えば、オン）して、グリッパー２００と重なる複数の箱をピッキングできるようにしてもよい。次に、個々のゾーンＺは、コンベヤ５０（図６）上に個々の箱２２を降ろすために、順番に非アクティブ化（例えば、スイッチオフ）してもよい。

残念ながら、混合ＳＫＵパレット２０の場合、混合ＳＫＵパレット２０上の箱２２の異なるサイズおよび／または配置の混合について利用可能な事前情報は、通常ほとんど、もしくはまったくない。さらに、その性質上、混合ＳＫＵパレット２０は、箱２２の混合層を有し、同じ層内に異なる高さの箱２２を含み得る。このシナリオでゾーングリッパー２００を配置するには、（ａ）同じ層のうち、数の箱からピックアップするために適切／正確な箱２２を選択／選別する、（ｂ）選択した箱２２をピッキングするためにオンにする必要があるゾーンＺを正しく選択する、（ｃ）壁３０ｗおよび／または他の箱２２との接触／干渉を回避しながら、選択された箱２２をコンテナ３０から削除することを可能にするパス５００を計画および／または実行する、ことが必要な場合がある。

堅牢性のために、グリッパー２００は、箱２２をピッキングした後に箱２２の有無を検出するため、グリッパー２００に組み込まれる市販の部品有無センサー２２０（例えば、光学センサー）を含むことが多い。これにより、ロボット１００による把持の成功または失敗の確認が可能になる。混合ＳＫＵ箱のピッキングの場合、部品有無センサー２２０は、部品有無センサー２２０が箱２２の有無に適切に反応するように、ピッキングされる箱２２に対して正しく配置される必要がある。

対象ここでの実装形態は、ロボット１００を使用して、コンテナ３０、ケージ、または少なくとも１つの壁３０ｗ、特徴、もしくは箱２２をピッキングしている間、ロボット１００の動きを妨害する可能性が潜在的にある他の構成要素、を有する任意の種類の構造内にある箱２２の混合ＳＫＵの集まりから、個々の箱２２をピッキングすることを対象としている。

いくつかの実装形態では、システム（例えば、制御システム１１０）が利用可能な唯一の事前情報は、ピッキングされる箱２２の最小および最大サイズである。ゾーングリッパー２００は、ゾーンＺの連鎖されたセットとして構成されてもよい（例えば、最小および最大サイズに基づく）。例えば、図２Ｂ～２Ｄは、３つのゾーンＺ、Ｚ_１－３を含み、ゾーンＺの連鎖されたセットを形成するゾーングリッパー２００を示す。より具体的には、図２Ｂは、図２Ｂの図に関連する、グリッパー２００の左上角でオンにされた３行および３列の吸引カップ２１０を含む、連鎖されたゾーンＺのセットの第１のゾーンＺ、Ｚ_１を示す。図２Ｃは、グリッパー２００の第２のゾーンＺ、Ｚ_２は、次の行と列をオンにするグリッパー２００の吸引カップ２１０を含むＬ字型構成を含むことによって第１のゾーンＺ_１とは異なる寸法を含む。図２Ｄは、図２Ｃと同様に、グリッパー２００の吸引カップ２１０の次の行および列をオンにすることにより、第３のゾーンＺ、Ｚ_３が、前のゾーンＺから吸引カップ２１０をオンすることを含まず、第２のゾーンＺ_２よりも大きいＬ字型構成を含む。

いくつかの例では、グリッパー２００の全体的なサイズは、ピッキングされる最大の箱２２のサイズによって決定される。例えば、図２Ｂ～２Ｄのグリッパー２００は、最大の箱２２が、吸引カップ２１０の５×５の配置以下のサイズを有するため、吸引カップの５×５の配置を含む。グリッパー２００を構成することができる最小のゾーンＺは、ピッキングされる最小の箱２２のサイズに基づいていてもよい。

追加の実装形態では、制御システム１１０は、コンテナ３０の上に（例えば、頭上および／またはロボット１００自体に）取り付けられた視覚センサー１２０から得られたデータを使用して、候補箱２４、２４_ｓｅｔのセット（例えば、図１を参照）を積み重ねられた箱２２の最上部に設置する。箱２２は、サイズ、視覚的外観（例えば、色、質感、デザインなど）が異なってもよく、また、各層において異なる高さを有してもよい。さらに、箱２２および／またはそれらのそれぞれの表面は、３次元空間内で様々な方向にあり得る（例えば、必ずしもコンテナ内に平らに配置された直線状のオブジェクトに限定されない）。

図３Ａ～３Ｊを参照すると、制御システム１１０および／または計算装置４０は、各候補箱２４の把持ポーズＰ_Ｇのセットを計算してもよい。把持ポーズＰ_Ｇは、サブセットまたはピッキングされるオブジェクトの上面に（部分的または完全に）重なるグリッパー２００上のすべての吸引カップ２１０のグリッパー２００の位置である。例えば、複数の把持ポーズＰ_Ｇは、ピッキングされる箱２４の各コーナーの上に配置されたグリッパー２００の一つのコーナーとの完全な重なりから各ボックス２４について計算され得るが、ピッキングされる箱２４の一部が、吸引カップ２１０によって覆われる部分的な重なりも含む。例えば、図３Ａおよび図３Ｂは、把持ポーズＰ_Ｇが小さいターゲット候補箱２４、２４Ｔに完全に重なる場合、ターゲット候補箱２４、２４Ｔのための単一の把持ポーズＰ_Ｇを示す。ここで、把持ポーズＰ_Ｇは、図３Ａでは、ターゲット候補箱２４、２４Ｔの上端と左端に位置合わせし、図３Ｂでは、ターゲット候補箱２４、２４Ｔの下端および右端と位置合わせをする。部品有無センサー２２０は、円形のマークで（例えば、基準登録ターゲットと同様）図３Ａ～３Ｊの全体に示されている。いくつかの実装形態では、図３Ｃのように、制御システム１１０および／または計算装置４０は、ターゲット候補箱２４、２４Ｔを持ち上げるための代替把持ポーズＰ_Ｇとして、オフセット把持ポーズＰ_Ｇｏｆｆを生成する（例えば、把持ポーズＰ_Ｇに基づく）。例えば、図３Ｃは、２つのオフセット把持ポーズＰ_{Ｇｏｆｆ，１-２}を示している。図３Ｃおよび３Ｄにおいて、どちらの把持ポーズＰ_Ｇも完全にはターゲット候補箱２４、２４Ｔに重なっておらず、つまり、これらの把持ポーズＰ_Ｇは、部分的に把握ポーズＰ_Ｇと重なっている。

いくつかの例では、ターゲット候補箱２４、２４Ｔが、図３Ｅに示されるように、グリッパー２００およびコンテナ３０の内部よりも小さい場合、制御システム１１０および／または計算装置４０は、複数の把持ポーズＰ_Ｇ（例えば、オフセット把持ポーズＰ_Ｇｏｆｆを含む）を生成するように構成されている。例えば、複数の把持ポーズＰ_Ｇの生成は、各候補把持ポーズＰ_Ｇにオフセット把持ポーズＰ_Ｇｏｆｆを生成することを含んでもよい（例えば、図３Ｅは３つの把握ポーズＰ_Ｇ１－３をともなう３つの候補把持ポーズＰ_{Ｇｏｆｆ１－３}を示している）。複数の把持ポーズＰ_Ｇおよび／またはオフセット把持ポーズＰ_Ｇｏｆｆを有することによって、グリッパー２００は、ターゲット候補箱２４Ｔをピッキング中にコンテナ３０との衝突や妨害を回避するためのオプションを有してもよい。

また、実行可能な把持ポーズＰ_Ｇの計算は、コンテナ３０の壁３０ｗの存在を考慮する。グリッパー２００が、実行可能な把持ポーズＰ_Ｇである場合、壁３０ｗ（または他の箱２２）と衝突しないことが好ましい。把持ポーズＰ_Ｇはまた、箱２２の向きとコンテナ３０の向きから、向きがオフセットされてもよい（例えば、図３Ｅ）。図３Ｅとは対照的に、図３Ｆはグリッパー２００がターゲット候補箱２４Ｔよりも小さい例（すなわち、ターゲット候補箱２４、２４Ｔがグリッパー２００よりも大きい）を示す。ここで、制御システム１１０および／または計算装置４０は、ターゲット候補箱２４、２４Ｔを持ち上げるのに十分な、複数もしくはセットの把持ポーズＰ_Ｇ（例えば、４つの候補把握ポーズＰ_Ｇ１－４として示される）を生成するように構成されている。図３Ｆはまた、コンテナ３０内の箱２２を操作するときのグリッパー２００の潜在的な障害物を示すために、コンテナ３０のリップ３２を示している。

同様に、図３Ｇ～３Ｊは、グリッパー２００がターゲット候補箱２４Ｔよりも小さい例を示している。これらの例は、部品有無センサー２２０の位置は、例えば、把持ポーズＰ_Ｇまたはターゲット候補箱２４、２４Ｔの大きさに応じて変更し得ることを示している。各把持ポーズＰ_Ｇの部品感センサー２２０の位置を変えても、計算装置４０および／または制御システム１１０は、部品有無センサー２２０が十分なマージンで箱２４Ｔと重なっているかをチェックするように構成されている。ここで、箱２４Ｔと十分なマージンで重なることにより、箱がセンサー２２０に近いときに部品有無センサー２２０をトリガーすることができる。

図３Ａから３Ｊに戻り参照すると、候補把握ポーズＰ_Ｇの結果の数値に関係なく、すべての把持ポーズＰ_Ｇは、箱２２をピッキングするのに十分な吸引力があることを確実にするために、ピッキングされる箱２４、２４Ｔの最小の範囲を有するように制限され得る。さらに、またはもしくは、各把持ポーズＰ_Ｇのため、制御システム１１０および／または計算装置４０は、ピッキングされる箱２４、２４Ｔと各種グリッパーゾーンＺとの重なりを計算してもよい。いくつかの実装形態では、ロボット１００のシステム（制御システム１１０および／または計算装置４０）は、ピッキングの候補ではない隣接する箱２６と各グリッパーゾーンＺとの重なりを計算する。例えば、各把持ポーズＰ_Ｇのため、システムは、ピッキングの候補ではない隣接する箱２６と各グリッパーゾーンＺとの重なりを計算するために、視覚コンポーネント１２０によって提供された箱２２のリストを使用する。

ピッキングの候補ではない隣接する箱２６と、グリッパーゾーンＺとの間に重なりがない場合、真空グリッパー２００内のすべてのゾーンＺは、特定の候補箱２４、２４Ｔのピッキングプロセス中はアクティブ化（例えば、スイッチオン）されてもよい。例えば、図４Ａ～４Ｃは、図２Ｂ～２ＤのゾーンＺ、Ｚ_１－３の連鎖されたセットをアクティブ化する単一のターゲット候補箱２４、２４Ｔを示す。例えば、図４Ａのターゲット候補箱２４、２４Ｔは、第１のゾーンＺ_１のみのアクティブ化を必要とするサイズを含む。図４Ｂのターゲット候補箱２４、２４Ｔでは、ターゲット候補箱２４、２４Ｔを持ち上げるために第１のゾーンＺ_１および第２のゾーンＺ_２の両方のアクティブ化を必要とするより大きなサイズを含む。図４Ｃでは、ターゲット候補箱２４、２４Ｔは、図４Ａおよび図４Ｂのサイズよりも大きいため、ターゲット候補箱２４、２４Ｔを持ち上げるために、すべてのゾーンＺ_１－３のアクティブ化を必要とする。ピッキングの候補ではない隣接する箱２６との重なりのトラッキングは、混合ＳＫＵの集まり内の個々の箱２４ごとに、グリッパーに最大のピッキング範囲を有利に提供する。

ゾーンＺとピッキングの候補ではない隣接する箱２６との間に重なりがある場合、隣接する箱２６と重なるゾーンＺは、個々の箱２２をピッキングするときに最初はアクティブ化されない。ターゲット候補箱２４Ｔと重なる最小のゾーンＺは、ターゲット候補箱２４Ｔを最初に把持すると、常にアクティブ化（例えば、オン）される。個々のターゲット候補箱２４Ｔがピッキングされ、短い距離（例えば、ある閾値距離）だけ動かされると、追加（～すべて）のゾーンＺがオンになってもよく、それにより箱２４Ｔを把持するための最大の範囲を確実にする。図４Ｄを参照すると、いくつかの実装形態では、隣接する箱２６が、ターゲット候補箱２４Ｔのサイズに基づいて最大のピッキング範囲を提供するために必要とされるグリッパー２００の１つ以上のゾーンＺ（例えば、第２のゾーンＺ_２および第３のゾーンＺ_３）と重なる場合、制御システム１１０および／または計算装置４０は、第１および第２のゾーンＺ_２ 、Ｚ_３を非アクティブのままにしながら、最初は第１のゾーンＺ_１のみをアクティブにして、ターゲット候補箱２４Ｔを把持する。ここで、グリッパー２００が、第１のゾーンＺ_１のみがアクティブ化された状態でターゲット候補箱２４Ｔを特定の高さまで持ち上げると、制御システム１１０および／または計算装置４０は、次に、すべてのゾーンＺをアクティブ化（例えば、第１のゾーンＺ_１のアクティブ化を維持）し、第２と第３のゾーンＺ_２、Ｚ_３をオンにしてもよい。特定の高さは、重なり合うゾーンＺのアクティブ化する時に、１つ以上の隣接する箱２６の把持を妨げる閾値高さを含み得る。

把持計画フェーズが完了（すなわち、各把持ポーズとＰ_Ｇが計算され、特定の箱２４Ｔのためにアクティブ化されるゾーンＺの選択が決定）したとき、システム（例えば、制御システム１１０または計算装置４０）はパス計画段階に進む。図５Ａおよび５Ｂは、サイズの異なる箱２４、２６を保持するコンテナ３０の断面図を示す例示的なロボット環境１０を示す。パス計画段階では、システムはパス５００を計算して、オブジェクト（すなわち、箱２２）をコンテナ３０から取り出して、ターゲット位置に輸送する。例えば、ロボット１００は、パレット３０からターゲット候補箱２４Ｔを取り出して、ターゲット候補箱２４Ｔをコンベヤ５０（図６）上に配置してもよい。いくつかの例では、パス５００を計算するとき、システムはピッキングされるターゲット候補箱２４Ｔのサイズを考慮する（その高さを固定された最大高さであると仮定するいくつかの実装形態による）。

計算されたパス５００の第１の部分は、箱２４Ｔの直線または直線運動のセットであり、それは、コンテナ３０内の他の箱２２から、および／またはコンテナ壁３０ｗから離れて移動する。この動きは、コンテナ３０の性質を考慮に入れて計算される。例えば、いくつかの容器は、「リップ」３２または壁３０ｗの突起を有する。ターゲット候補箱２４Ｔを移動している間にコンテナ３０の特徴と衝突する可能性を低減するために、システムは、コンテナ３０の特徴との衝突を回避するために、ターゲット候補箱２４Ｔの動きを計算する。例えば、リップ３２の場合（例えば、図５Ａおよび５Ｂに示されるように）、ピッキングされた箱２４Ｔの計算された動きは、少なくともリップ３２の幅よりも大きい（または等しい）距離だけ、コンテナ３０の中心に向かって内側に移動し、コンテナ３０の上部に向かって上昇する可能性がある。上向きの動きの量は、図５Ａおよび５Ｂの間に比較して示されるように、コンテナ３０内の箱２４Ｔの位置に基づいて調整されてもよい。例えば、図５Ａは、リップ３２に近い箱２４Ｔが、リップ３２を通過するためにほとんど横方向に移動することを示している（例えば、図５Ａ）。一方で、図５Ｂは、コンテナ３０の底部近くに配置された箱２２、２４Ｔが、コンテナ３０の上部中央に向かって上方および内側に移動することを示している（例えば、図５Ｂ）。ここで、ロボット１００は、リップ３２などのコンテナ３０の特徴を回避するときに、箱２４Ｔをコンテナ３０から取り出すために箱２４Ｔと共に移動するのに必要な高さを考慮する。この例では、ロボット１００は、箱２４Ｔを２つの軸に沿って同時に移動させ、コンテナ３０の特徴を回避するときに突然の動きを潜在的に最小化してもよい。いくつかの実装形態では、各箱２４Ｔを移動するための移動パス５００は、コンテナ３０の上部中央に内側に移動し、リップ３２および／または壁３０ｗを通過する前に、まず箱２４Ｔを移動（例えば、真上に）して他の箱２２（例えば、隣接する箱２６）を通過する。さらに、またはもしくは、一度ロボット１００が箱２４Ｔをコンテナ３０から移動させると、ロボット１００は、箱２４Ｔを目標位置（例えば、コンベヤ５０）に移動することができる。

図６を参照すると、コンベヤセンサー３００（例えば、レーザー距離センサーなどの距離／位置センサー）は、コンベヤ５０の下に取り付けられ、グリッパー２００が、箱２４Ｔをコンベヤ５０に移動させたとき、コンベヤセンサー３００に対する箱２４Ｔの底面の高さＨを測定するように構成される。ここで、高さＨは、箱２４Ｔの底面とコンベヤ５０の支持面（例えば、コンベヤベルト）との間の距離を指す。高さＨを伝達するこのデータは、その時点でのロボット１００の位置に関する情報と同期されている。例えば、制御システム１１０は、箱２４Ｔの上面の位置および／または配置を認識している。より具体的には、ロボット１００は、把握ポーズＰ_Ｇ（例えば、視覚センサー１２０を使用）に応じ箱２４Ｔを持ち上げるため、箱２４Ｔ上の位置を認識する。いくつかの構成では、コンベヤセンサー３００からの高さＨ、箱２４Ｔの上面に係合するグリッパー２００の位置、および箱２４Ｔの移動のための制御座標（例えば、パス５００および／またはコンベヤ５０沿う）により、ロボット１００（例えば、制御システム１１０または計算装置４０）は、箱２４Ｔ_ｈの高さｈを決定する。言い換えれば、システムは、ロボット１００に関するコンベヤセンサー３００および他の制御データ（例えば、運動学および／または動力学）との関係に基づいて、箱２４Ｔの高さ２４Ｔ_ｈをおおよそ推測する。ロボット１００は、高さＨおよび／または箱高さ２４Ｔ_ｈを使用して、ロボット１００がグリッパー２００の１つ以上のゾーンＺを非アクティブ化して箱２４Ｔをリリースする、コンベヤ５０上の落下高さを最小化してもよく、それにより、箱２４Ｔのソフトランディングを生成する。落下高さを最小化することにより、ロボット１００は、箱２４Ｔおよび／または箱２４Ｔ内に含まれるアイテムへの損傷を防ぎ得る。ここで、落下高さは、高さＨと同等であり得、これは、コンベヤ５０の表面に対するコンベヤセンサー３００の取り付け位置を考慮するオフセット距離を含んでも、含まなくてもよい。いくつかの例では、制御システム１１０および／または計算装置４０は、箱２４Ｔをコンベヤ５０上に配置するためのパス５００を変更して、各箱２２がコンベヤ５０からほぼ同じ距離でリリースされるようにする。図６は、コンベヤ５０に関するソフトランディング技術を示しているが、この概念は、ロボット１００が箱２４Ｔを把持からリリースしようとする任意の配置面に転換されてもよい。いくつかの実装形態では、コンベヤセンサー３００は、超音波センサー、３Ｄカメラ、ステレオビジョン、または他の任意の距離測定装置を含む。

図７は、ゾーングリッパー２００を使用してターゲット候補箱２４Ｔを把持および移動する方法７００の動作の配置例についてのフローチャートである。動作７０２において、方法７００は、ロボット１００のシステム（例えば、制御システム１１０または計算装置４０）において、壁に囲まれたコンテナ３０内に配置されているサイズが異なる複数の箱２２の最小箱サイズを受け取る。ここで、ロボット１００は、複数の真空吸引カップ２１０を備えたグリッパー２００を含む。動作７０４において、方法７００は、グリッパー２００のグリップ領域を、最小箱サイズに基づいて複数のゾーンＺに分割する。動作７０６において、方法７００は、視覚センサー１２０からの画像に基づいて、複数の箱２２の候補箱２４のセットを配置する。複数のゾーンＺの各ゾーンＺについて、動作７０８において、方法７００は、候補箱２４のセットに対して、１つ以上の隣接する箱２６とそれぞれのゾーンＺとの重なりを決定する。ここで、隣接する箱２６は、視覚センサー１２０からの画像によって特定される。操作７１０において、方法７００は、壁に囲まれたコンテナ３０の１つ以上の壁３０ｗを回避する候補箱２４のセットのターゲット候補箱２４Ｔ用の把持ポーズＰ_Ｇを決定する。操作７１２において、方法７００は、グリッパー２００によってターゲット候補箱２４Ｔを持ち上げる把持ポーズＰ_Ｇを実行する。ここで、グリッパー２００は、それぞれの隣接する箱２６とターゲット候補箱２４Ｔとが重ならない複数のゾーンＺの各ゾーンＺをアクティブ化させる。

ロボット１００は、コンテナに対して様々な向きのいずれかであってもよく、場合によっては移動可能でもよい実装形態が検討されていることに留意されたい。異なるロボット１００のタイプを使用することもできる（例えば、シリアルアームロボット、パラレルまたは「デルタ」ロボットなど）。

本明細書に記載の実装形態の形式および詳細の変更は、本開示の範囲から逸脱することなく行うことができることが当業者によって理解されるであろう。さらに、様々な利点、態様、およびオブジェクトが様々な実装形態を参照して説明されてきたが、本開示の範囲は、そのような利点、態様、およびオブジェクトの参照に限定されるべきではない。

多数の実装例が説明されてきた。それでもなお、本発明の趣旨および範囲から逸脱することなく、様々な修正が行われ得ることが理解されよう。したがって、他の実装は、以下の特許請求の範囲内にある。

Claims (20)

1. 制御システム（１１０）において、壁に囲まれたコンテナ（３０）内に配置されたサイズが異なる複数の箱（２２）の最小箱サイズを受け取る工程であって、ここで、前記ロボット（１００）は、複数の真空吸引カップ（２１０）を有するグリッパー（２００）を備える、前記最小箱サイズを受け取る工程と、
   前記制御システム（１１０）によって、前記グリッパー（２００）のグリップ領域を、前記最小箱サイズに基づいて複数のゾーンに分割する工程と、
   前記制御システム（１１０）によって、視覚センサー（１２０）からの画像に基づいて、前記複数の箱（２２）の候補箱（２４）のセットを配置する工程と、
   前記複数のゾーン（Ｚ）の各ゾーン（Ｚ）について、前記制御システム（１１０）によって、前記候補箱（２４）のセットに対し、前記視覚センサー（１２０）からの前記画像によって特定された１つ以上の隣接する箱（２６）とそれぞれのゾーン（Ｚ）との重なりを決定する工程と、
   前記制御システム（１１０）によって、前記壁に囲まれたコンテナ（３０）の１つ以上の壁（３０ｗ）を回避する前記候補箱（２４）のセットの、ターゲット候補箱（２４Ｔ）の把持ポーズ（Ｐ_Ｇ）を決定する工程と、
   前記制御システム（１１０）によって、前記ターゲット候補箱（２４Ｔ）にそれぞれの隣接する箱（２６）と重ならない前記複数のゾーン（Ｚ）の各ゾーン（Ｚ）をアクティブ化する前記グリッパー（２００）が、前記ターゲット候補箱（２４Ｔ）を持ち上げるため前記把持ポーズ（Ｐ_Ｇ）を実行する工程と、
   を備えることを特徴とする方法（７００）。
2. 前記制御システム（１１０）によって、前記把持ポーズ（Ｐ_Ｇ）が、前記ターゲット候補箱（２４Ｔ）を持ち上げるのに十分な吸引力を提供する領域に対応する、前記ターゲット候補箱（２４Ｔ）の最小の範囲を含むことを決定する工程をさらに備える、請求項１に記載の方法（７００）。
3. 前記制御システム（１１０）によって、部品有無センサー（２２０）が前記ターゲット候補箱（２６Ｔ）と十分なマージンで重なり、前記十分なマージンは、前記部品有無センサー（２２０）をトリガーして、前記ターゲット候補箱（２４Ｔ）の存在を伝達することを決定する工程をさらに備える、請求項１または２に記載の方法（７００）。
4. 前記ターゲット候補箱（２４Ｔ）の前記把持ポーズ（Ｐ_Ｇ）を決定する工程は、前記壁に囲まれたコンテナ（３０）の前記１つ以上の壁（３０ｗ）の位置に基づいて、前記把持ポーズ（Ｐ_Ｇ）をオフセットすることを含む、請求項１から３のいずれか一項に記載の方法（７００）。
5. 前記制御システム（１１０）によって、前記グリッパー（２００）が前記ターゲット候補箱（２４Ｔ）を閾値高さまで持ち上げたことを決定する工程と、
   前記制御システム（１１０）によって、前記グリッパー（２００）のすべてのゾーン（Ｚ）をアクティブ化する工程をさらに備える、請求項１から４のいずれか一項に記載の方法（７００）。
6. 前記制御システム（１１０）によって、前記壁に囲まれたコンテナ（３０）からの前記ターゲット候補箱（２４Ｔ）を取り出す間、回避する前記壁に囲まれたコンテナ（３０）の特徴を特定する工程と、
   前記制御システム（１１０）によって、前記壁に囲まれたコンテナ（３０）から前記ターゲット候補箱（２４Ｔ）を取り出すため、前記壁に囲まれたコンテナ（３０）の前記特定された特徴を回避する動作パス（５００）を決定する工程と、
   をさらに備える、請求項１から５のいずれか一項に記載の方法（７００）。
7. 前記複数のゾーン（Ｚ）は、前記グリッパー（２００）の前記複数の真空吸引カップ（２１０）を横切って連鎖させる、請求項１から６のいずれか一項に記載の方法（７００）。
8. サイズが異なる前記複数の箱（２２）は直線状のオブジェクトに対応する、請求項１から７のいずれか一項に記載の方法（７００）。
9. サイズが異なる前記複数の箱（２２）は、高さが異なる前記複数の箱（２２）に対応する、請求項１から８のいずれか一項に記載の方法（７００）。
10. 前記把持ポーズ（Ｐ_Ｇ）は、ターゲット候補箱（２４Ｔ）の上面に重なっている前記複数の真空吸引カップ（２１０）のうちの真空吸引カップ（２１０）のセットによって定義される前記グリッパー（２００）の位置に対応する、請求項１から９のいずれか一項に記載の方法（７００）。
11. 視覚センサー（１２０）と、
    複数の真空吸引カップ（２１０）を含むグリッパー（２００）と、
    壁に囲まれたコンテナ（３０）内に配置されたサイズが異なる複数の箱（２２）の最小箱サイズを受け取り、
    前記グリッパー（２００）のグリップ領域を、前記最小箱サイズに基づいて複数のゾーン（Ｚ）に分割し、
    視覚センサー（１２０）からの画像に基づいて、前記複数の箱（２２）の候補箱（２４、２４Ｔ）のセットを配置し、
    前記複数のゾーン（Ｚ）の各ゾーン（Ｚ）について、前記候補箱（２４、２４Ｔ）のセットに対し、前記視覚センサー（１２０）からの前記画像によって特定された１つ以上の隣接する箱（２６）とそれぞれのゾーン（Ｚ）との重なりを決定し、
    前記壁に囲まれた前記コンテナ（３０）の１つ以上の壁（３０ｗ）を回避する前記候補箱（２４）のセットの、ターゲット候補箱（２４Ｔ）の把持ポーズを決定し、
    前記制御システム（１１０）に対し、前記グリッパー（２００）が、前記ターゲット候補箱（２４Ｔ）を持ち上げるため、前記ターゲット候補箱（２４Ｔ）にそれぞれの隣接する箱（２６）と重ならない前記複数のゾーンの各ゾーンをアクティブ化する前記把持ポーズ（Ｐ_Ｇ）を実行すること、を含む動作を行うように構成された
    制御システム（１１０）と、
    を備えるロボット（１００）。
12. 前記動作は、前記把持ポーズ（Ｐ_Ｇ）が、前記ターゲット候補箱（２４Ｔ）の、前記ターゲット候補箱（２４Ｔ）を持ち上げるのに十分な吸引力を提供する領域に対応する最小範囲を含むことを決定することをさらに含む、請求項１１に記載のロボット（１００）。
13. 前記動作は、部品有無センサー（２２０）をトリガーして、前記ターゲット候補箱（２４Ｔ）の存在を伝達する十分なマージンによって、前記部品有無センサー（２２０）が前記ターゲット候補箱（２４Ｔ）と重なることを決定することをさらに含む、請求項１１または１２に記載のロボット（１００）。
14. 前記ターゲット候補箱（２４Ｔ）の前記把持ポーズ（Ｐ_Ｇ）を決定することは、前記壁に囲まれた前記コンテナ（３０）の前記１つ以上の壁（３０ｗ）の位置に基づいて、前記把持ポーズ（Ｐ_Ｇ）をオフセットすることを含む、請求項１１から１３のいずれか一項に記載のロボット（１００）。
15. 前記制御システム（１１０）は、
    前記ターゲット候補箱（２４Ｔ）を閾値高さまで持ち上げ、
    前記グリッパー（２００）のすべてのゾーン（Ｚ）をアクティブ化にするようにさらに構成される、請求項１１から１４のいずれか一項に記載のロボット（１００）。
16. 前記操作は、
    前記壁に囲まれた前記コンテナ（３０）から前記ターゲット候補箱（２４Ｔ）を取り出す間、回避する前記壁に囲まれた前記コンテナ（３０）の特徴を特定する工程と、
    前記壁に囲まれた前記コンテナ（３０）から前記ターゲット候補箱（２４Ｔ）を取り出すため、前記壁に囲まれたコンテナ（３０）の前記特定された特徴を回避する動作パスを決定する工程と、
    をさらに含む、請求項１１から１５のいずれか一項に記載のロボット（１００）。
17. 前記複数のゾーン（Ｚ）は、前記グリッパー（２００）の前記複数の真空吸引カップ（２１０）を横切って連鎖させる、請求項１１から１６のいずれか一項に記載のロボット（１００）。
18. サイズが異なる前記複数の箱（２２）は直線状のオブジェクトに対応する、請求項１から１７のいずれか一項に記載のロボット（１００）。
19. サイズが異なる前記複数の箱（２２）は、高さが異なる前記複数の箱（２２）に対応する、請求項１から１８のいずれか一項に記載のロボット（１００）。
20. 前記把持ポーズ（Ｐ_Ｇ）は、ターゲット候補箱（２４Ｔ）の上面に重なる前記複数の真空吸引カップ（２１０）のうちの真空吸引カップ（２１０）のセットによって定義される前記グリッパー（２００）の位置に対応する、請求項１から１９のいずれか一項に記載のロボット（１００）。
    

Images