JP2022521001A - 非剛体パッケージ内における軟質製品のロボットハンドリング - Google Patents

Abstract

【解決手段】非剛体パッケージ内の軟質製品のロボットハンドリングを実行するための技術が開示されている。様々な実施形態において、作業空間に関連付けられているセンサデータが受信される。１または複数のロボット要素を用いて作業空間内で実行されるアクションが決定され、そのアクションは、ロボット要素の内の１つの要素のエンドエフェクタを、把持されるアイテムに近接する位置へ比較的速く移動させ、アイテムおよびそのパッケージの一方または両方への損傷の最小限のリスクに関連付けられている力の量および構造を利用して、アイテムを把持するために、エンドエフェクタの把持メカニズムを作動させ、アイテムが把持された後に生成されたセンサデータを用いて、アイテムがしっかりと把持されたことを確認することを含む。ロボット要素にアクションを実行させるために、制御通信が、通信インターフェースを介してロボット要素へ送信される。【選択図】図１

Description

他の出願への相互参照
本願は、２０１９年２月２２日出願の米国仮特許出願第６２／８０９，３９８号「ＲＯＢＯＴＩＣ ＨＡＮＤＬＩＮＧ ＯＦ ＳＯＦＴ ＰＲＯＤＵＣＴＳ ＩＮ ＮＯＮ－ＲＩＧＩＤ ＰＡＣＫＡＧＩＮＧ」に基づく優先権を主張し、その仮特許出願は、すべての目的のために参照により本明細書に組み込まれる。

出荷センターおよび流通センター、倉庫、荷役用ドック、航空貨物ターミナル、大規模小売店、および、不均質なアイテムセットを出荷および受け取るその他の活動は、箱、木箱、コンテナ、コンベヤベルト、および、パレット、などに異種のアイテムをパック（梱包、搭載）およびアンパック（開梱、荷下ろし）するなどの戦略を利用する。箱、木箱、パレットなどに異種のアイテムを梱包することで、結果として得られるアイテムセットを揚重機（フォークリフト、クレーンなど）によっハンドリングすることを可能にし、（例えば、倉庫内での）保管および／または（例えば、トラック、貨物倉などの中での）出荷に向けて、より効率的にアイテムを梱包することを可能にする。

いくつかの文脈において、アイテムは、サイズ、重量、密度、かさばり、剛性、パッケージ強度などがあまりに異なりうるので、任意の所与のアイテムまたはアイテムセットが、（例えば、箱、コンテナ、パレットなどに）梱包する必要がありうる所与の他のアイテムのサイズ、重量、重量分布などをサポートすることを可能にする属性を、それらのアイテムが持つ場合と持たない場合がある。異種のアイテムをパレットまたはその他のセットにまとめる際に、パレタイズされたスタックが、（例えば、フォークリフトなどの機械によってハンドリングすることができなくなるように）、崩れ、傾き、または、その他の形で不安定にならないことを保証するために、そして、アイテムの損傷を避けるために、注意深くアイテムを選択して積み重ねなければならない。

一部の製品は、押しつぶされるなどの損傷を受ける場合があり、および／または、柔軟なパッケージに入っている場合がある。例えば、パンおよびパンのような製品は、プラスチック袋または同様のパッケージに包装されていることがある。ロボットグリッパは、袋および／または中の製品を容易に押しつぶす可能性がある。製品が少しつぶれるだけでも、パッケージがひどくしわくちゃになった場合でも、アイテムは顧客にとってあまり望ましくないものになりうる。

現在、パレットでは、通例、手作業で荷積みおよび／または荷下ろしがなされる。人間の労働者が、例えば、出荷伝票または積荷目録などに基づいて、積み重ねるアイテムを選択し、人間の判断力および直感を用いて、例えば、より大きく重いアイテムを底に置くように選択する。しかしながら、ある場合には、アイテムが、単に、コンベヤまたはその他のメカニズムで到着し、および／または、リスト順に置き場から選ばれる、などの結果として、パレット化またはその他の方法で梱包されたセットが不安定になる。

小売店で販売されるパンおよびその他の製品の場合、ばらで、例えば、それぞれの店舗によって注文されたアイテムと各々の数量との特定の組み合わせで、店舗に卸される必要がありうる。パン製品は、典型的には、積み重ね可能なトレイに梱包され、トラックに積み込まれ、店舗へトレイを運んで棚に製品を積み込むことによって店舗へ納品される。

アイテムの多様性と、例えば所与のパレット上に梱包されるアイテムの順序、数、および、組み合わせのばらつきと、コンテナおよび／または供給メカニズム（アイテムをパレットまたは他のコンテナに置くために、そこからピックアップしなければならない）のタイプおよび位置の多様性とに起因して、ロボット工学の利用は、多くの環境において、より困難になっている。パンおよび同様の製品の場合、柔軟なパッケージ（プラスチック袋など）に任意の壊れやすい製品アイテム群をピックアンドプレース（取り上げ、および、配置）する必要性によって、ロボットによるハンドリングが、より困難になっている。

以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。

非剛体パッケージ内の軟質製品をハンドリングするためのロボットシステムの一実施形態を示すブロック図。

ロボットシステムを制御するためのシステムの一実施形態を示すブロック図。

ロボットシステムを制御するための処理の一実施形態を示すフローチャート。

ロボットを用いて作業を実行するための計画を決定するための処理の一実施形態を示すフローチャート。

計画に従って、ロボットを用いてアイテムをピック／プレースするための処理の一実施形態を示すフローチャート。

複数の吸着カップを備えているエンドエフェクタの一実施形態を示す図。

複数の吸着カップを備えているエンドエフェクタの一実施形態を示す図。

複数の吸着カップを備えているエンドエフェクタの一実施形態を示す図。

ロボットアームおよびエンドエフェクタでアイテムを把持するための処理の一実施形態を示すフローチャート。

ロボットアームおよび／またはエンドエフェクタによって把持されたアイテムを移動先へ確実に移動させるための処理の一実施形態を示すフローチャート。

吸着ベースのエンドエフェクタの一実施形態を示すブロック図。

ロボットシステムに割り当てられた目標を最も良好に達成する必要がある時／場合に、アイテムを同時にピック／プレースするための処理の一実施形態を示すフローチャート。

アイテムの最終的な配置を調整するための処理の一実施形態を示すフローチャート。

アイテムの移動先位置を選択するための処理の一実施形態を示すフローチャート。

アイテムの誤配置を検出するための処理の一実施形態を示すフローチャート。

非剛体パッケージ内の軟質製品をハンドリングするためのロボットシステムの一実施形態を示す図。

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連付けられている技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

プラスチック袋または同様のパッケージで販売されるアイテム（パンおよび同様の製品など）を含む不均一なアイテム（例えば、異なるサイズ、形状、重量、重量分布、剛性、壊れやすさ、など）の任意のセットをパレタイズ／デパレタイズならびに／もしくは他の方法で梱包（パック）および／または開梱（アンパック）するために、１または複数のロボット（例えば、作用端に吸着器および／またはグリッパを備えているロボットアーム）を含むロボットシステムをプログラム的に利用するための技術が開示されている。

様々な実施形態において、３Ｄカメラ、力センサ、および、その他のセンサが、ピック（取り上げ）および／またはプレース（配置）されるアイテムの属性を検出および判定するために用いられる。（例えば、例えばプログラム的に決定された信頼スコアによって示されるように、十分な信頼性で）タイプを判定されたアイテムが、アイテムタイプ固有モデルから導出された戦略を用いて、把持およびプレースされてよい。識別できないアイテムは、所与のアイテムタイプに固有ではない戦略を用いてピックアンドプレースされる。例えば、サイズ、形状、および、重量の情報を用いたモデルが利用されてよい。

様々な実施形態において、アイテムタイプ、それぞれの属性、および、把持戦略のライブラリが、各アイテムをピックアンドプレースするための戦略を決定および実施するために用いられる。ライブラリは、いくつかの実施形態において、動的である。例えば、ライブラリは、新たに遭遇したアイテムおよび／またはアイテムについて学習したさらなる属性（所与のコンテキストで機能した把持戦略または機能しなかった把持戦略など）を追加するために増強されてよい。いくつかの実施形態において、ロボットシステムがスタックした場合に、人的介入が要請されてよい。ロボットシステムは、例えば、遠隔操作でアイテムをピックアンドプレースする目的で、ロボットアームを利用するために、人間の遠隔オペレータがどのように介入するのかに基づいて、（例えば、センサを用いて）観察し、学習（例えば、ライブラリおよび／またはモデルを更新）するよう構成されていてよい。

いくつかの実施形態において、本明細書に記載のロボットシステムは、未知または新たに発見したタイプのアイテムを識別してピック／プレースするために、属性および／または戦略を収集および格納（例えば、ライブラリに追加）するための処理を行ってよい。例えば、システムは、３Ｄカメラおよび／またはその他のセンサが、アイテムタイプを特徴付けると共にそのタイプのアイテムを識別およびピック／プレースする方法のモデルを格納するライブラリエントリを増強および／または作成するためのセンサデータを生成すること可能にするために、様々な角度および／または位置にアイテムを保持してよい。

様々な実施形態において、パレットもしくはその他のコンテナまたは位置にあるアイテムをピックアンドプレースするための高レベル計画が立てられる。戦略が、計画に従って個々のアイテムをピックアンドプレースすることによって計画を実施するために、例えば、センサ情報に基づいて適用される。例えば、ロボットシステムがスタックした場合、パレット上のアイテムのスタックが不安定になったと（例えば、コンピュータビジョン、力センサなどによって）検出された場合、などに、計画からの逸脱および／または再計画がトリガされてよい。部分的な計画が、既知の情報（例えば、コンベヤ上に確認できる次のＮ個のアイテム、インボイスまたは積荷目録上の次のＮ個のアイテム、など）と、さらなる情報（例えば、確認できる次のアイテムなど）が受信された時になされた調整と、に基づいて立てられてよい。一部の場合に、システムは、システムが現在構築している層またはコンテナ（パレットまたはコンテナにおけるより低い（または、より高い）層など）に積み重ねられるのに適する可能性が低いと判定されたアイテムをステージングする（待機させる）（例えば、リーチの範囲内によけておく）よう構成されている。ピック／プレースされる次のアイテムについて、さらなる情報が知られると、ステージングされた（バッファリングされた）アイテムおよび次のアイテムを考慮に入れた戦略が、生成および実施される。

プラスチック袋または同様のパッケージの中のパンおよび同様の製品の場合、様々な実施形態において、本明細書で開示されているロボットシステムは、作用端に吸着タイプのグリッパを備えているロボットアームを用いる。例えば、いくつかの実施形態において、２つの大きい吸着カップかを備えているグリッパが用いられる。他の実施形態において、単一の吸着カップまたは３以上の吸着カップが備えられてもよい。様々な実施形態において、パンは、コンベヤ、置き場、棚などからピックされ、配送に向けて大型の積み重ね可能なプラスチックトレイにプレースされる。各目的地のためのインボイスが、アイテムをピックアンドプレースするために用いられてよい。

様々な実施形態において、パンアイテムを梱包するための計画を生成するために、アルゴリズム、ヒューリスティクス、および、その他のプログラム技術が用いられる。例えば、同じタイプ、サイズ、形状などを有するアイテムが、効率的な梱包のために一緒にプレースされてよい。いくつかの実施形態において、プランナモジュールが、隙間、外周（例えば、他の製品および／またはトレイの側面に隣接していない縁部の合計）などを最小化するように、トレイにアイテムを追加することを試みてよい。

様々な実施形態において、本明細書に開示されているようにパンおよび同様のアイテムをピックアンドプレースするためのロボットシステムが、少なくとも部分的には、図１～図１４に図示され、および／または、図に関連して説明されている技術の一部または全部を用いて実施されてよい。

図１は、非剛体パッケージ内の軟質製品をハンドリングするためのロボットシステムの一実施形態を示すブロック図である。図の例において、システム１００は、レール１０６に沿って、例えば、コンピュータ制御下で、平行移動するよう構成されているキャリッジ１０４上に回転可能に取り付けられたロボットアーム１０２を備える。この例において、ロボットアーム１０２は、キャリッジ１０４およびレール１０６上に移動可能に取り付けられているが、様々な他の実施形態において、ロボットアーム１０２は、固定されていてもよいし、例えば、カルーセル上に取り付けられている、モータ駆動シャーシ上で完全に移動可能である、など、レールに沿った平行移動以外で、完全にまたは部分的に移動可能であってもよい。

図の例において、ロボットアーム１０２は、その作用遠位端（キャリッジ１０４から最も遠い端部）にエンドエフェクタ１０８を有する。エンドエフェクタ１０８は、コンプライアントな真空（または「吸着」）カップ１１０を備える。様々な実施形態において、吸着カップ１１０は、シリコーンもしくは別の天然材料または合成材料を含んでおり、それらの材料は、耐久性があるが、ロボットシステム１００が、ロボットアーム１０２およびエンドエフェクタ１０８を用いて、例えば、吸着によって、把持しようとしているアイテム（プラスチック袋またはラッピングのような非剛体パッケージの中のパンもしくはその他の柔らかいおよび／または壊れやすいアイテムなど）と（最初におよび／または徐々に）接触する時に、少なくとも若干「へこむ」のに十分なコンプライアント性を有する。

この例において、エンドエフェクタ１０８は、エンドエフェクタ１０８の側面に取り付けられたカメラ１１２を有する。他の実施形態において、カメラ１１２は、（図１に示した位置および向きの）エンドエフェクタ１０８の本体の下向きの面上など、より中央に配置されてもよい。さらなるカメラが、ロボットアーム１０２および／またはエンドエフェクタ１０８上の他の場所に（例えば、ロボットアーム１０２を含むアームセグメント上に）取り付けられてもよい。さらに、この例において壁に取り付けられているカメラ１１４および１１６が、シーン（システム１００が配置されて動作するよう構成さているシーン）の３Ｄビューを構築するために利用可能なさらなる画像データを提供する。

様々な実施形態において、ロボットアーム１０２は、図に示すように、ピックアップされるアイテムの上にエンドエフェクタ１０８の吸着カップ１１０を配置するために用いられ、真空源が、アイテムを把持し、アイテムをその移動元位置から持ち上げ、アイテムを移動先位置にプレースするための吸着力を提供する。

図１に示す例において、ロボットアーム１０２は、製パン所から受け取ったアイテムのトレイからピックされたパンアイテムなど、この例では異種である任意のアイテムを移動元トレイ１２０からピックして、移動先トレイにそれらのアイテムをプレースするために用いられるよう構成されている。図の例において、移動先トレイ１１８および移動元トレイ１２０は、四隅に車輪を備えているベース上に積み重ねられるよう構成されている積み重ね可能トレイを含む。いくつかの実施形態において、トレイ１１８および／または１２０は、人間の労働者によって所定位置に押し込まれてよい。いくつかの実施形態において、トレイ１１８および／または１２０は、例えば、ピックおよび／またはプレースされるための所定位置に置き場のスタックを移動させ、ならびに／もしくは、小売店への配達に向けて配達車両に積み込まれるためにステージングエリア（待機エリア）および／または搬送エリアに完成したトレイのスタックを移動させるために用いられるよう構成されているモータ駆動および／またはロボット制御ベース上に積み重ねられてよい。いくつかの実施形態において、図１に示していない他のロボットが、積み下ろしのための所定位置ならびに／もしくは搬送されるためにトラックまたはその他の目的地、などに、トレイ１１８および／または１２０を押し込むために用いられてもよい。

様々な実施形態において、カメラ１１２、１１４、および、１１６の内の１または複数のカメラによって生成された３Ｄまたはその他の画像データが、システム１００の作業エリアおよび作業エリア内のアイテムの３Ｄビューを生成するために用いられてよい。３Ｄ画像データは、色、形状、または、その他の属性などで、ピック／プレースされるアイテムを識別するために用いられてよい。様々な実施形態において、カメラ１１２、１１４、および、１１６の内の１または複数が、システム１００の作業エリア内のアイテム上に見えるおよび／またはアイテムを備える、テキスト、ロゴ、写真、図、画像、マーク、バーコード、ＱＲコード（登録商標）、または、その他の符号化および／またはグラフィック情報またはコンテンツを読み取るために用いられてよい。

図１をさらに参照すると、図の例において、システム１００は、この例では無線通信を介して（ただし、様々な実施形態において、有線通信および無線通信の一方または両方で）、ロボットアーム１０２、キャリッジ１０４、エフェクタ１０８、および、センサ（カメラ１１２、１１４、および、１１６、ならびに／もしくは、図１に示していない重量センサ、力センサ、および／または、その他のセンサなど）などの要素と通信するよう構成されている制御コンピュータ１２２を備える。様々な実施形態において、制御コンピュータ１２２は、センサ（カメラ１１２、１１４、および、１１６、ならびに／もしくは、図１に示していない重量センサ、力センサ、および／または、その他のセンサなど）からの入力を用いて、トレイ１２０からトレイ１１８へ荷積みおよび／または荷下ろしされるアイテムの１または複数の属性を観察、識別、および、決定するよう構成されている。様々な実施形態において、制御コンピュータ１２２は、例えば、画像および／またはその他のセンサデータに基づいて、制御コンピュータ１２２に格納されたライブラリ内および／または制御コンピュータ１２２にとってアクセス可能なライブラリ内のアイテムモデルデータを用いて、アイテムおよび／またはその属性を識別する。制御コンピュータ１２２は、アイテムに対応するモデルを用いて、移動先（トレイ１１８など）の中／上に、他のアイテムと共に、アイテムを積み重ねるための計画を決定および実施する。様々な実施形態において、アイテム属性および／またはモデルは、アイテムを把持、移動させて、移動先位置（例えば、トレイ１１８の中／上にアイテム積み重ねるための計画／再計画処理の一部として、アイテムがプレースされると決定された位置）にプレースするための戦略を決定するのに利用される。

図の例において、制御コンピュータ１２２は、「オンデマンド」遠隔操作装置１２４に接続されている。いくつかの実施形態において、制御コンピュータ１２２が、完全自動モードで続行できない場合、例えば、制御コンピュータ１２２が完全自動モードでアイテムのピックアンドプレースを完了するための戦略を持たなくなるように、アイテムを把持、移動、および、プレースするための戦略が、決定できなくなり、および／または、失敗した場合、制御コンピュータ１２２は、例えば、アイテムを把持、移動、および、プレースするために、遠隔操作装置１２４を用いて、ロボットアーム１０２、キャリッジ１０４、および／または、エンドエフェクタ１０８の内の１または複数を操作することによって介入するように人間ユーザ１２６に指示する。

図２は、ロボットシステムを制御するためのシステムの一実施形態を示すブロック図である。様々な実施形態において、図１の制御コンピュータ１２２は、図２に示すように実施される。図の例において、制御コンピュータ１２２は、制御コンピュータ１２２と、ロボットシステムを構成するその他の要素（例えば、図１のシステム１００におけるロボットアーム１０２、キャリッジ１０４、エンドエフェクタ１０８、カメラ１１２、１１４、および、１１６、ならびに／もしくは、ロボットベース１１８および／または１２０、など）との間で、無線通信、ネットワーク通信、および、その他の通信の内の１または複数の通信を送受信するよう構成されている通信インターフェース２０２を備える。

図の例において、制御コンピュータ１２２は、計画モジュール２０４を備える。計画モジュール２０４は、インボイス、在庫目録、空間的／位置的情報（例えば、ロボット要素、センサ、在庫、空のトレイ／置き場、などの位置および状態）を受信する。計画モジュール２０４は、その情報を用いて、例えば、１または複数の高レベル要件を満たすために、移動元位置から移動先位置へアイテムをピック／プレースするための計画を決定および／または再計算する。例えば、ロボットシステムが、各注文／小売店に対して含められるパンアイテムを示すインボイスまたは積荷目録に各々従って、パンまたはその他の焼いた商品を小売店へ配達する注文を満たす場合、いくつかの実施形態において、計画モジュール２０４は、各注文に従ってパンアイテムを移動元トレイからピックして移動先トレイを満たし、各注文または各注文セットに関連付けられているトレイをそれぞれの小売店への輸送に向けて１または複数の配達車両に積み込ませる一連の動作を決定する。計画モジュール２０６によって受信された情報および／または生成された計画の全部または一部が、注文／在庫データベース２０６に格納されてよい。

いくつかの実施形態において、計画モジュール２０４は、繰り返しおよび／または定期的に計画を作成および／または見直しするよう構成されていてよい。例えば、画像またはその他のセンサデータが、作業空間シーンの更新三次元ビューを生成するため、および／または、在庫のどのアイテムが作業空間内のどの移動元位置に配置されているのかに関する情報を更新するために、受信および処理されてよい。パンの例において、例えば、製パン所、倉庫などから、新しいトレイまたはトレイのスタックが作業空間に到着すると、アイテムが識別され、それぞれの個々の注文を満たすように、現在の移動元位置から利用可能な在庫をピックし、充填中のトレイにアイテムを移動／プレースすることなどによって、計画が高レベル目標（例えば、すべての注文を効率的に満たして輸送する目標）の達成に向かって進むように、計画が生成、更新、および／または、確認される。

図２をさらに参照すると、図の例において、制御コンピュータ１２２は、さらに、ロボット制御モジュール２０８を備える。様々な実施形態において、ロボット制御モジュール２０８は、センサモジュール２１０からセンサデータ（例えば、カメラからの画像データ、力センサ信号および／またはトルクセンサ信号、真空／圧力読み取り値、など）を受信して処理する。センサモジュール２１０は、１または複数のセンサからの入力を受信し、データをバッファリングし、計画モジュール２０４から受信された計画の実施に関連付けられているタスクを実行するよう制御されるロボットシステム（例えば、図１のシステム１００）の操作可能な要素を制御するために制御モジュール２０８によって利用可能な形態で、入力をロボット制御モジュール２０８へ提供する。様々な実施形態において、操作可能な要素は、ロボットアームおよび／またはエンドエフェクタ（図１のロボットアーム１０２、キャリッジ、０４、および、エンドエフェクタ１０８、など）を構成する各センサおよび／またはアクチュエータ（例えば、アームセグメントを動かすためのモータ、吸着カップに真空を印加するためのバルブまたはその他の要素、など）、作業空間内のその他のセンサ（図１のカメラ１１４および１１６など）、ならびに、その他のロボット要素および／またはロボット制御で操作または移動される要素（図１のトレイスタック１１８および１２０など）、の内の１または複数を含む。

ロボット制御モジュール２０８は、それが制御するよう構成されている１または複数のロボットのロボットモデル２１０を用いて、各ロボットの動きおよびその他のアクチュエーションを制御する。例えば、図１のロボットアーム１０２およびキャリッジ１０４のモデルが、作業空間に存在する人間、他のロボット要素、または、その他の障害物に衝突することなく、例えば、計画モジュール２０４から受信された計画に従って、キャリッジ１０４上のアーム１０２を回転させるためにアーム１０２を構成する関節モータを作動させ、および／または、移動元位置から移動先位置へアイテムをピックアンドプレースするためにレール１０６に沿ってキャリッジ１０４を移動させる効率的かつ比較的滑らかな方法を決定するのに用いられてよい。

様々な実施形態において、ロボット制御モジュール２０８は、１セットのアイテムモデル２１２および／または把持戦略２１４を維持および更新する。アイテムモデル２１２は、様々な実施形態において、ピック／プレースされるアイテムの属性ならびに／もしくはアイテムの分類またはタイプ（サイズ、形状、寸法、重量、剛性、パッケージタイプ、パッケージ上のロゴまたはレタリング、など）を記述する。いくつかの実施形態において、アイテムモデル２１２は、例えば、画像、重量、光学コードスキャン、および／または、その他の情報に基づいて、作業空間内のアイテムを識別するために用いられてよい。

様々な実施形態において、ロボット制御モジュール２０８は、把持戦略２１４を用いて、例えば、決定されたアイテムまたはアイテムのタイプ、サイズ、形状、重量などと、コンテキスト情報（アイテムの位置および向き、アイテムが何に隣接しているか、など）と、に基づいて、例えば移動元トレイから移動先トレイへ移動されるアイテムを把持するための戦略を決定する。

様々な実施形態において、ロボット制御モジュール２０８は、時間と共にアイテムモデル２１２および把持戦略２１４の一方または両方を更新してよい。例えば、いくつかの実施形態において、機械学習またはその他の技術が、時間と共に新しいおよび／またはより良い把持戦略を学習するために用いられてよい。例えば、頻繁に失敗する把持戦略が、より低いスコアを付けられおよび／または除外されてよく、新たな戦略が、それらの戦略と置き換わるために開発および学習されてよい。いくつかの実施形態において、新たな戦略は、人間オペレータが遠隔操作で把持をどのように実行するのかを観察することによって学習されてよい把持戦略２１４は、アイテム、アイテムのセット、および／または、アイテムタイプに固有であってよい。いくつかの把持戦略２１４は、認識されないアイテムのサイズ、形状、寸法、重量、などに関連していてよい。

「把持」という用語は、グリッパタイプのエンドエフェクタの場合にアイテムを握ることによって、または、図１のエンドエフェクタ１０８のようなエンドエフェクタによる真空／吸着によって、エンドエフェクタがアイテムを移動できるのに十分にしっかりとアイテムを制御するための任意のメカニズムのことである。本明細書で開示されている技術は、任意のタイプのエンドエフェクタと共に用いられてよい。

様々な実施形態において、ロボット制御モジュール２０８および／またはセンサモジュール２１０は、制御コンピュータ１２２によって制御されるロボットシステムに関連付けられている作業空間と、作業空間に存在するアイテムとの三次元ビューを生成するために、画像データを受信して処理する。様々な実施形態において、ロボット制御モジュール２０８および／またはセンサモジュール２１０は、作業空間と作業空間内のアイテムとのより完全なビューを生成するために、作業空間に存在するカメラの位置および向きを制御するなど、センサを制御するよう構成されていてよい。

様々な実施形態において、制御コンピュータ１２２は、２以上の物理的位置および／または作業空間において２以上のロボットシステムを、同時に、時分割で、などの方法で、制御するよう構成されていてよい。いくつかの実施形態において、単一の物理コンピュータ１２２で構成されている様子が図２に示されている要素は、複数の物理マシンまたは仮想マシン、コンテナ、などにわたって分散されてもよい。

様々な実施形態において、計画モジュール２０４、ロボット制御モジュール２０８、および、センサモジュール２１０の内の１または複数が、専用ハードウエア（例えば、ＡＳＩＣ、プログラムＦＰＧＡ、など）、および／または、制御コンピュータ１２２を構成するハードウェアプロセッサ上でソフトウェア命令を実行することによって提供される機能モジュール、の一方または両方を備えてよい。

図３は、ロボットシステムを制御するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図３の処理３００は、コンピュータ（図１の制御コンピュータ１２２など）によって実施されてよい。図の例において、工程３０２で、高レベル目標（１または複数の個々の注文の各々に含められるアイテムなど）を示す入力データが受信される。工程３０４で、注文の内の１または複数を満たすための計画が決定および／または更新される。工程３０６で、計画に従って、アイテムを把持、移動、および、プレースするための戦略が決定される。工程３０８で、例えば、完全自動モードで完了できないタスクを実行または完了するために、必要に応じて、必要な場合、および、必要な限り、遠隔操作による人的介入が要請される。処理は、すべてのタスクが完了し、高レベル目標が達成される（工程３１０）まで継続し、完了時に、処理３００は終了する。

図４は、ロボットを用いて作業を実行するための計画を決定するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図３の工程３０４は、少なくとも部分的には図４の処理によって実施される。図の例において、工程４０２で、初期化ルーチンおよび／または初期化動作が、作業空間内のアイテム、ツール、容器、障害物などと共に、各ロボット要素の（例えば、三次元空間における）位置および姿勢／状態を決定するために実行される。いくつかの実施形態において、工程４０２は、一連の１または複数の動作の開始時に、もしくは、環境が人間または他のロボットの介入によって変化した時に、もしくは、再初期化が必要とされうること（例えば、アクションの失敗、予期せぬ状態など）を示唆するデータが受信された時に、実行されてよい。工程４０４で、作業空間もしくはその他のシーンまたは環境の三次元ビューを生成するために、画像および／またはその他のセンサデータが受信および処理される。工程４０６で、移動元容器（製パン所の例におけるパンのトレイなど）の位置および内容物が決定される。例えば、画像データ、光学コードスキャン、パッケージ上のロゴまたはテキストの認識、などの内の１または複数を用いて、どのアイテムがどこにあるのかを決定してよい。工程４０８で、移動先容器の位置および状態が決定される。例えば、空の置き場のスタック、１または複数の部分的に満たされた置き場、などが、画像データ、ＲＦまたはその他の電子タグ、光学コード、もしくは、その他のセンサデータを用いて位置特定されてよい。決定されたアイテムおよび容器の位置情報、アイテム識別、および、その他のデータ（例えば、どの小売店またはその他の店舗の位置にどのアイテムを送るのかを示す積荷目録）が、注文を満たすために作業空間においてアイテムをピック／プレースする計画を計算（または再計算）するために、工程４１０で用いられる。例えば、小麦パンで満杯の１つのトレイおよび白パンで満杯の１つのトレイが識別され、作業空間内で位置特定され、注文が小麦パンＸ個および白パンＹ個を求めている場合、いくつかの実施形態において、工程４１０で、必要な個数の各タイプのパンがプレースされた１または複数のトレイを仕上げるように、必要に応じて小麦パンおよび白パンをピックアンドプレースする計画が決定されてよい。

様々な実施形態において、工程４１０で決定された計画は、アイテムをトレイにプレースすることを可能にするために、例えば、ステージングエリアまたはバッファエリアから、１または複数の空のトレイを取ってきて、積み込みエリアに必要に応じてトレイを配置／積み重ねることを必要に応じて含む。同様に、空になった移動元トレイは、例えば、その後に処理される注文を満たす際に後で利用するために、ロボットシステムによってステージングエリアまたはバッファエリアへ移動されてよい。

様々な実施形態において、工程４１０で決定された計画は、プレースされる各アイテムに対して、そのアイテムに適した移動先トレイ上の位置（例えば、アイテムを収容するのに、十分な広さの位置、および、ちょうどよい寸法の位置）を決定することを含む。いくつかの実施形態において、工程４１０で決定された計画は、注文に含まれる（または、注文を満たすためにピック／プレースされるのを待っている）アイテムを仮定して、例えば、最適な表面空間量を利用するように各トレイ上にアイテムを梱包することによって、利用可能なトレイ空間の効率的な利用を保証する目標を考慮する。様々な実施形態において、計画は、連続的および／または定期的に工程４１０で更新されてよい。更新された状態情報は、計画を更新するために用いられてよい。例えば、状態情報は、所与のトレイについて、どのアイテムがトレイにすでにプレースされているのか、各々の位置および向き、トレイで利用できる残りの空間、ならびに、注文を満たすためにプレースされる次の（または残りの）Ｎ個のアイテム、を示してよい。

図４の処理３０４は、高レベル動作が完了し、計画されているさらなるタスクがなくなるまで（工程４１２）、継続する。

図５は、計画に従って、ロボットを用いてアイテムをピック／プレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、図３の工程３０６は、少なくとも部分的には図５の処理によって実施される。図の例において、工程５０２で、計画に関連付けられているピック／プレースタスクが受信される。例えば、ロボット制御モジュールは、一連の１または複数のより高いレベルの動作の完了に向けて進むために実行される特定のピック／プレースタスクを割り当て、キューに配置し、キューから引き出すなどしてよい。工程５０４で、センサデータ、アイテムモデル情報、および、把持戦略リポジトリ情報、の内の１または複数が、移動されるアイテムを把持する戦略を決定するために用いられる。工程５６０で、戦略に従ってアイテムを把持する試みがなされる。把持が成功した場合（工程５０８）、例えば、画像、重量、および／または、その他のセンサデータのすべてが、アイテム把持の成功を示唆する場合、工程５１０で、アイテムは、例えば、以前に決定した計画に従って、プレースされる予定になっていた移動先位置に移動される。把持の試みが成功しなかった場合（工程５０８）、工程５１２で、例えば、同じまたは異なる可能性のある戦略を用いて、把持を再試行するか否かが判断される。いくつかの実施形態において、再試行は、完全自動制御の下で、設定の回数または所定の回数まで、もしくは、アイテムを把持するのに利用可能であると決定されるさらなる戦略がなくなるまで、の内のいずれかが最初に起こるまで、なされてよい。再試行が試みられる場合（工程５１２）、処理は、工程５０４に戻り、そこで、センサ、アイテムモデル、および、把持戦略情報、の内の１または複数を用いて、アイテムを把持するための工程５０６ａの（次の）戦略が決定される。さらなる再試行がなされない場合（工程５１２）、人的介入（例えば、遠隔操作、手作業での実行、などによる）が、工程５１４で要請され、人間の労働者／オペレータが、タスクを完了させる（工程５１０）。図５の処理は、その後、すべてのアイテムがピック／プレースされるまで、繰り返され（工程５１６）、完了すると、処理は終了する。

図６Ａは、複数の吸着カップを備えているエンドエフェクタの一実施形態を示す図である。図の例において、エンドエフェクタ６０２が、ロボットアームセグメント６０４に移動可能に接続されている。アームセグメント６０４は、様々な実施形態において、エンドエフェクタ６０２へ電力および真空源を提供するための内部管を備える。図の例において、エンドエフェクタ６０２は、最も左側の吸着カップ６０６を含む２つの吸着カップを備える。様々において、エンドエフェクタ６０２は、左側および／または右側の吸着カップへ独立的に吸着力を印加するよう構成されている内部アクチュエータ要素（図６Ａでは図示せず）を備える。例えば、より小さいアイテムを把持する際には、１つの吸着カップだけが用いられてよい。あるいは、１つの独立的に（または一緒に）制御される吸着カップを各々利用して、２つのアイテムが同時に把持されてもよい。いくつかの実施形態において、エンドエフェクタ６０２は、吸着カップマウントに取り付けられたセンサ（力センサまたはその他のセンサなど）を備えており、センサは、様々な実施形態において、把持されるアイテムとの最初の接触を検出するため、ならびに／もしくは、アイテムが何であるか、および／または、アイテムの把持に成功したか否か、を（例えば、重さによって）決定するために用いられる。いくつかの実施形態において、エンドエフェクタ６０２は、１または複数のトルクセンサを備えており、トルクセンサは、例えば、エンドエフェクタ６０２がアームセグメント６０４に接続されている「手首」の位置に取り付けられている。いくつかの実施形態において、トルクセンサは、例えば、アイテムがその重心でまたは重心付近で把持されたか否かを判定するために用いられてよい。いくつかの実施形態において、エンドエフェクタ６０２は、例えば、吸着カップとアイテムおよび／またはパッケージとの間の密着の良し悪しを検出することによって、アイテムの吸着カップによる把持が成功したか否かを判定するために、圧力センサを備える。

図６Ｂは、複数の吸着カップを備えているエンドエフェクタの一実施形態を示す図である。図の例において、エンドエフェクタ６２２が、ロボットアームセグメント６２４に移動可能に取り付けられており、２×３グリッドに配列された６個の吸着カップを備える。様々な実施形態において、６個の吸着カップの各々、および／または、それらの内の２または３の吸着カップの隣接するサブグループが、本明細書に開示されているロボット制御システムの制御下で独立的に作動されてよい。

図６Ｃは、複数の吸着カップを備えているエンドエフェクタの一実施形態を示す図である。図の例において、エンドエフェクタ６４２が、ロボットアームセグメント６４４に移動可能に取り付けられており、３×６グリッドに配列された１８個の吸着カップを備える。様々な実施形態において、吸着カップの各々、および／または、それらの内の隣接するサブグループが、本明細書に開示されているロボット制御システムの制御下で独立的に作動されてよい。

図６Ａ、図６Ｂ、および、図６Ｃに示した例は、図示した数および配列の吸着カップを備えるが、様々な実施形態において、より多いまたは少ない吸着カップが備えられる。いくつかの実施形態では、吸着カップ以外の把持構造が備えられる。

図７は、ロボットアームおよびエンドエフェクタでアイテムを把持するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図７の処理７００は、ロボットアームおよびエンドエフェクタ（図１のロボットアーム１０２およびエンドエフェクタ１０８など）を動作させるよう構成されているコンピュータ（制御コンピュータ１２２など）によって実行されてよい。いくつかの実施形態において、処理７００は、図２のロボット制御モジュール２０８によって実行される。図の例において、工程７０２で、画像および／またはその他のセンサデータが、把持されるアイテムの近接範囲内にエンドエフェクタを移動させるために用いられる。例えば、吸着タイプのエンドエフェクタによって係合されるパッケージの表面の三次元空間内での位置が、画像データに基づいて決定され、軌道が、表面の所定距離内にグリッパの吸着カップのアイテム係合端を移動させるように計算される。画像データは、エンドエフェクタがパッケージ（またはアイテム）表面の近接範囲内に移動される時に、監視され続ける。様々な実施形態において、エンドエフェクタが、計算された軌道の終点の位置および向きまで移動されると、および／または、画像またはその他のセンサデータが、軌道の終点への到達前にエンドエフェクタがアイテムの近くに到達したことを示した場合に、移動が停止され、例えば、移動は、吸着カップがパッケージ／アイテムと接触したことをエンドエフェクタの力センサが検出した場合に停止されてよい。エンドエフェクタが、把持されるアイテムに近接する位置に移動されると（工程７０２、７０４）、工程７０６で、エンドエフェクタおよびアームの（例えば、比較的長距離および／または比較的高速の）粗移動が停止され、アイテムは、エンドエフェクタの微移動ならびにエンドエフェクタの吸着またはその他のアイテム係合メカニズムの作動、の内の１または複数によって把持を試みられる。

様々な実施形態において、以下の内の１または複数が、実行され、存在し、および／または、達成されてよい。
・吸着を利用した把持は、アイテム周りの必要な空きスペースを最小化し、アイテムの上部だけがアクセス可能であればよい。
・コンプライアントな吸着カップは、接触力を弱めて、製品（すなわち、把持されるアイテム）を保護する。
・カップが製品の表面と密接に接触した時に検出するための圧力センサ。いくつかの実施形態および／または把持では、包まれた製品に触れることもなく、ラッピングをしっかりと把持することができる。
・製品に力が印加されている時に検出するための力センサ。
・以下の２つの把持状態を検出するための任意の他の組みあわせのセンサ。（１）エンドエフェクタが把持のために製品と十分に接触した状態、および、（２）エンドエフェクタが製品を損傷するリスクなしには全く近くに移動できない状態。いくつかの実施形態において、これらのセンサは、吸着カップマウント上の近接センサおよび／またはリミットスイッチを含みうる。
・上記の状態（１）または（２）のいずれかに遭遇するまでロボットエンドエフェクタを製品に向かって移動させる閉制御ループ。

アイテムの把持が成功したか否かの判定が、工程７０８でなされる。例えば、圧力センサが、吸着による把持の完了が成功したか否かを判定するために用いられてよい。例えば、必要な真空が達成された場合に、アイテムの把持に成功した旨の判定がなされる。いくつかの実施形態において、アイテムの把持に成功した旨の判定は、アイテムの属性（重量など）と、エンドエフェクタの少なくとも最少数の吸着カップ（その重量のアイテムをしっかりと把持することに関連付けられている最少数のカップなど）に関して真空が達成されたか否か、とに基づいてなされてよい。

把持が成功したと判定された場合／判定されると（工程７０８）、工程７１０で、アイテムは、関連付けられている移動先位置へ移動される。例えば、ロボットアームおよびエンドエフェクタは、移動先にアイテムを移動させてエンドエフェクタの把持からアイテムを解放するために、制御コンピュータおよび／またはモジュールによって計算された軌道に沿って移動される。把持が（まだ）成功していない場合（工程７０８）、工程７１２で、画像および／またはその他のセンサデータが、（新たな／修正）把持戦略を決定するために評価される。いくつかの実施形態において、工程７１２は、（さらなる）再試行を試みるか否かの評価を含み、試みない場合、人的介入が開始される。新たな把持戦略が工程７１２で決定された場合、その把持戦略は、工程７０６で試みられ、成功した場合（工程７０８）、アイテムは、工程７１０でその移動先に移動される。（例えば、工程７１０で、および／または、自動把持／移動が失敗した場合に人的介入によって）アイテムが移動先に移動されると、工程７１４で、把持および移動されるさらなるアイテムがあるか否かの判定がなされる。アイテムがある場合、工程７１６で、処理は、移動される次のアイテムに進み、処理７００のさらなる反復が、そのアイテムに関して実行される。把持および移動されるアイテムが他にない場合（工程７１４）、処理は終了する。

図８は、ロボットアームおよび／またはエンドエフェクタによって把持されたアイテムを移動先へ確実に移動させるための処理の一実施形態を示すフローチャートである。様々な実施形態において、図８の処理８００は、ロボットアームおよびエンドエフェクタ（図１のロボットアーム１０２およびエンドエフェクタ１０８など）を動作させるよう構成されているコンピュータ（制御コンピュータ１２２など）によって実行されてよい。いくつかの実施形態において、処理８００は、図２のロボット制御モジュール２０８によって実行される。

様々な実施形態において、ロボットシステムは、例えば、図７の処理７００によって、アイテムを把持し、次いで、１または複数のセンサベースのチェックを用いて、把持が、正確かつ確実であり、正確かつ確実なままであることを確認し、例えば、ロボットシステムは、以下を実現しうる。
・例えば、アイテムの重量および／またはその他の属性を決定するために、ＳＫＵ固有のアイテム情報またはその他のアイテム情報のデータベースにクエリする。
・把持を弱める空気漏れについて圧力センサ読み取り値をチェックする。
・正確なタイプおよび数量のアイテムが把持されたことを確認するために、力センサ読み取り値をチェックする。
・カメラが、把持されているアイテムのエンドエフェクタに対する位置を検出して、圧力センサおよび力センサからの読み取り値を裏づける。把持されているアイテムのサイズが、ＳＫＵまたはその他のアイテムデータベースにおけるサイズと一致することを確認する。
・トルク読み取り値で、アイテムが重心付近で把持されていることをチェックする。
・センサの読み取り値の間の任意の（または閾値を越える）相違もしくは任意のチェックの失敗があった時に、ロボットが、把持されている物体を、さらなる試み／検査に向けて、元々の位置または近くの「安全な」場所へ戻す。その後、ロボットは、（例えば、他の）製品のピックを継続してよい。

図８を参照すると、図の例において、例えば、ロボットアームおよびエンドエフェクタを用いて把持に成功した後に、アイテムが移動されている間（工程８０２）、工程８０４で、複数のセンサおよび／またはセンサタイプ（例えば、画像、力、圧力、など）からのセンサデータが監視される。各センサ／センサタイプについて、工程８０６で、センサデータは、データがアイテムの（継続的な）確実な把持と一致するか否かを判定するために評価される。把持が確実なままであることを、すべての（または閾値割合の）センサが示唆する場合（工程８０８）、工程８１０で、アイテムは、その移動先へ移動される（および／または移動され続ける）。把持が確実ではなく、または、もはや確実ではないことを示唆するデータを、任意の（または閾値数の）センサおよび／またはセンサのタイプが提供した場合（工程８０８）、工程８１２で、アイテムは、バッファ位置（もしくは、アイテムの元々の移動元位置、ただし、その位置に移動させるのに十分に、把持が確実であり、および／または、移動元位置が近いと、ロボットシステムが判断した場合）に移動され、一旦安全な位置に移動すると、ロボットシステムは、把持戦略を決定し、アイテムの再把持を試みる。複数のセンサを監視し（工程８０４）、センサデータを用いて、把持が確実である／確実なままであるか否かを評価すること（工程８０６、８０８）は、アイテムがその移動先へ成功裏に移動されるまで（工程８１４）継続し、成功すると、処理８００は終了する。

図９は、吸着ベースのエンドエフェクタの一実施形態を示すブロック図である。様々な実施形態において、図９のロボットアームエンドエフェクタ９００は、図１のエンドエフェクタ１０８を実施するために用いられてよい。

図の例において、エンドエフェクタ９００は、回転可能なカップリングを介してロボットアーム９０４に取り付けられている本体またはハウジング９０２を備える。いくつかの実施形態において、ハウジング９０２とロボットアーム９０４との間の接続は、制御コンピュータ（図１の制御コンピュータ１１８など）によって制御されるモータ駆動ジョイントを備えてよい。エンドエフェクタ９００は、さらに、吸着制御モジュール９０８へ真空源を供給するために、ロボットアーム９０４を通してハウジング９０２の中へ至る吸入ラインまたはその他の空気ライン９０６を備える。様々な実施形態において、制御モジュール９０８は、例えば、無線および／または有線通信によってて、通信インターフェース９１４を通してエンドエフェクタ９００の外部の制御コンピュータ（例えば、図１の制御コンピュータ１１）に接続されている。制御モジュール９０８は、例えば、エンドエフェクタ９００を用いてピックアップ、移動、および、プレースされるアイテムへ吸着によってエンドエフェクタをアイテムに付着させるために、吸着カップ９１０、９１２に吸着力を提供するよう動作可能な電子要素および／または電気機械要素を備える。

様々な実施形態において、吸着制御モジュール９０８は、カップ９１０および９１２へ独立的に吸着力を印加するよう構成されており、一方または他方のカップのみが、所与のアイテムの把持に用いられることを可能にする。いくつかの実施形態において、２つの隣接するアイテム（２つのパンなど）が、同時に把持および移動されてよく、その際、各々は、カップ９１０および９１２の内の対応するカップによって把持される。

図の例において、ハウジング９０２の側面に取り付けられたカメラ９１６が、エンドエフェクタ９００の下方の視野の画像データを提供する。複数の力センサ９１８、９２０、９２２、９２４、９２６、およ、９２８が、それぞれ、吸着カップ９１０および９１２に印加されている力を測定する。様々な実施形態において、力の測定値は、通信インターフェース９１４を介して、外部および／またはリモートの制御コンピュータへ通信される。センサの読み取り値は、様々な実施形態において、ロボットアーム９０４およびエンドエフェクタ９００を用いて、アイテムを他のアイテムおよび／または側壁またはその他の構造に隣接する場所にぴったり収めることを可能にするため、ならびに／もしくは、不安定性（例えば、まだ吸着下であるが、アイテムがプレースされて安定すると期待された場所にある時に、アイテムが押し下げられる不十分な押し返し）を検出するために、用いられる。様々な実施形態において、水平に取り付けられた力センサのペア（例えば、９１８および９２２、９２４および９２８）は、すべての水平方向において力を決定することを可能にするために、ｘ－ｙ平面において直角に配置されている。

いくつかの実施形態において、力センサは、吸着カップ９１０、９１２と、把持されるアイテムとの間の最初の接触を検出するために用いられてよい。ロボットアーム９０４は、アイテムへの損傷（パンを潰す、または、そのパッケージをくしゃくしゃにする、など）を回避するように、最初の接触の検出時に停止される。次いで、吸着を用いてアイテムを把持するために、吸着力が印加される。

図１０は、ロボットシステムに割り当てられた目標を最も良好に達成する必要がある時／場合に、アイテムを同時にピック／プレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１０の処理１０００は、ロボットアームおよびエンドエフェクタ（図１のロボットアーム１０２およびエンドエフェクタ１０８など）を動作させるよう構成されているコンピュータ（制御コンピュータ１２２など）によって実行されてよい。いくつかの実施形態において、処理１０００は、図２のロボット制御モジュール２０８によって実行される。

様々な実施形態において、本明細書で開示されているロボットシステムは、以下を実現しうる。
・ピックシステムのスループットを高めるために、１回の稼働で複数のアイテムをピックする。
・異なるアイテムの組みあわせに対して、異なるピック（把持）姿勢を生み出す。
・しっかりとした緊密な把持のために現在のエンドエフェクタの構成に適合するピック可能なアイテムの組みあわせを検出する。例えば、２つの大きい吸着カップを備えているグリッパ（エンドエフェクタ）が、同じまたは同等のサイズのアイテムを同時にピックアップしてよい。
・すべてのピック可能なアイテムの中で、顧客のニーズ（例えば、現在の積荷目録）の現在の数量に基づいて、複数把持を実行するか否かを決定する。
・安全な方法で複数把持を実行するために、様々なシステム条件に適合する。例えば、アイテムが作業区域の端にある場合に、起こりうる衝突に対応するために、グリッパの姿勢を調整する。潜在的に危険なケースを識別して除外する。
・異なるグリッパ構成に適応する。所与のグリッパ構成（グリッパの侵入点の間の直径など）に基づいて、複数把持の実現可能性を評価し、異なる把持姿勢を生み出す。
・可能な単一把持および複数把持の間のコスト評価を実行する。
・安定的な複数把持で最も低いリスクを達成するために、すべての可能な複数把持について把持コストを評価する。

図１０を参照すると、図の例において、工程１００２で、アイテムデータ（例えば、アイテム属性データ、現在の注文／次の注文を満たすのに必要な各アイテムの数量、移動されるアイテム移動元／開始位置、移動元位置および移動先位置（例えば、トレイ）の状態、など）が評価される。注文を満たすための一連の動作の一部としてピックアンドプレースされうる単一アイテムおよびサポートされている複数アイテムの組みあわせが、工程１００４で評価される。例えば、２以上の同じアイテムが、注文を満たすために必要とされ、隣接するアイテムが移動元トレイに存在し、利用可能な空間がある（または、計画時に評価されているシナリオの下で、利用可能になるであろう、または、利用可能になりうる）場合、単一タスクで２個（または３個以上）のアイテムを移動させることが、注文を満たすための計画に含められることが検討されうる。工程１００６で、注文を満たすための単一アイテムおよび／または複数アイテムのピック／プレースタスクについて、最も低い（全体／総）コスト（例えば、時間、エネルギ、など）および／または最も低いリスク（例えば、アイテムを落とすリスクが、アイテムを１つずつ移動させるよりも測定可能または予測可能な量だけ大きいとみなされうる）の組み合わせが決定される。いくつかの実施形態において、コストおよびリスクの各々は、例えば、コスト関数において、関連付けられている重み付けを有してよく、コスト関数を最小化する計画が決定されてよい。工程１００８で、アイテムは、工程１００６で決定された計画に従ってピック／プレースされる。処理は、完了する（工程１０１０）まで継続する。

様々な実施形態において、処理１０００の工程の内の１または複数は、例えば、計画が実行されている間に利用可能になった情報（アイテムの新しい移動元トレイまたはその他の移動元容器が作業空間に移動された、人的介入またはその他の予期せぬ介入またはイベントが作業空間内の任意のアイテムおよび／または容器の状態を変化させた、ピック／プレースタスクの失敗の結果として、（例えば、移動先）トレイの実際の状態が予期したものと異なった、など）に基づいて、工程１００６で決定された計画を改良するために、連続的および／または定期的に実行されてよい。

図１１は、アイテムの最終的な配置を調整するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１１の処理は、ロボットアームおよびエンドエフェクタ（図１のロボットアーム１０２およびエンドエフェクタ１０８など）を動作させるよう構成されているコンピュータ（制御コンピュータ１２２など）によって実行されてよい。いくつかの実施形態において、図１１の処理は、図２のロボット制御モジュール２０８によって実行される。図の例において、アイテムが移動されている時に（工程１１０２）、システムは、意図された移動先位置のごく近接する位置へアイテムが移動されたことを検出する（工程１１０４）。例えば、画像センサ、力センサ、および／または、その他のセンサのデータが、最終的な位置への近接を検出するために用いられてよい。いくつかの実施形態において、アイテムが、プレースされるトレイ底部またはその他の容器表面と接触したことを検出するために、垂直方向に向けられた力センサが用いられてよい。工程１１０６で、最終的な移動先位置への近接を検出したことに応じて、アイテムの解放前に、確実にぴったり収まるように最終的なプレース動作が実行される。例えば、水平またはその他の力センサ、トルクセンサ、接触センサ、画像センサ、または、それらの組みあわせが、隣接するアイテムおよび／または構造（容器の側壁など）とのアイテムの接触または近接触を評価するために用いられてよい。ロボットアームおよび／またはエンドエフェクタは、プレースされるアイテムが、ピック／プレース計画に従って、隣接するアイテムにぴったりと寄る任意の縁部および／または表面に沿って接触するのを保証することなどによって、隣接性を高めるように操作されてよい。例えば、アイテムの同じ水平アクセスおよび／または接触縁部または表面に関連付けられているセンサの力センサ読み取り値が、（実質的に）同じではない場合、力センサが実質的に同じ力を感知する位置にアイテムを再配置するために、エンドエフェクタが回転され、および／または、アームが動かされてよい。

図１２は、アイテムの移動先位置を選択するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１２の処理は、ロボットアームおよびエンドエフェクタ（図１のロボットアーム１０２およびエンドエフェクタ１０８など）を動作させるよう構成されているコンピュータ（制御コンピュータ１２２など）によって実行されてよい。いくつかの実施形態において、図１２の処理は、図２のロボット制御モジュール２０８によって実行される。図の例において、工程１２０２で、１または複数のアイテムが移動される移動先トレイの状態が評価される。例えば、画像データ、および、以前に実行されたピック／プレースタスクのデータが、利用可能なスロット、空間、および／または、移動先トレイまたはその他の容器にプレースされるアイテムを受け入れるのに利用可能な位置、を決定するために用いられてよい。工程１２０４で、最適なスロットが、工程１２０２で利用可能であると決定されたスロットから選択される。

いくつかの実施形態において、最適スロットは、アルゴリズムおよび／またはその他の基準に従って選択されてよい。例えば、いくつかの実施形態において、移動先トレイ内のアイテム群について外周長さが最も短くなるスロットが選択されてよい。いくつかの実施形態において、配置位置の集合的なセットが最適であることを保証するために、プレースされる次のＮ個のアイテムに関する情報が利用可能である場合に、Ｎ個のアイテムのためのスロットが同時に決定されてよい。いくつかの実施形態において、以前の配置決定が、後の配置決定の利用可能性および／または最適性に影響する場合、以前にプレースされたアイテムは、プレースされる次のアイテムに対して（より最適な）スロットを利用可能にするためにプログラム的に決定された位置および／または向きに移動されてよい。例えば、第１アイテムをプレースするための決定は、どのアイテムが次にプレースされるのかをシステムが知る前、および／または、かかるアイテムに関する情報をシステムが揃える前になされうる。かかる条件において、システムは、後にプレースされるアイテムを仮定すると全体的に最適ではない状況につながるような配置を、以前にプレースされたアイテムに対して選択した可能性がある。いくつかの実施形態において、システムは、かかる状況を検出し、アイテムが次または後にプレースされる可能性が大きくなる／高くなる場合に、以前にプレースされたアイテムの配置／向きを移動および／または変更するよう構成されている。

いくつかの実施形態において、工程１２０２および／または１２０４で、アイテムを受け入れるために利用可能なスロットがなく、いくつかの実施形態において、トレイに収まりうるより小さいアイテムが、かかるアイテムを受け入れるのに利用可能かつ十分である空間にピック／プレースされるために利用可能でない場合、システムは、トレイが満杯であると判定し、例えば、ステージングエリアから、空のトレイを取ってくる。トレイスタックがあまり高くなく、満たされたトレイと、次に満たされる新しいトレイが、同じ位置（例えば、同じ配達車両／ルート）に向かうことになっている場合、新しいトレイは、満杯であると判定されたトレイの上に積み重ねられてよい。

アイテムをプレースするのに適した／最適なスロットが選択されると、工程１２０６で、アイテムは、例えば、図７および図１１の一方または両方の処理によって、その位置にプレースされる。

図１３は、アイテムの誤配置を検出するための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１３の処理は、ロボットアームおよびエンドエフェクタ（図１のロボットアーム１０２およびエンドエフェクタ１０８など）を動作させるよう構成されているコンピュータ（制御コンピュータ１２２など）によって実行されてよい。いくつかの実施形態において、図１３の処理は、図２のロボット制御モジュール２０８によって実行される。図の例において、アイテムがプレースされた時（工程１３０２）、例えば、最終的な位置に移動されて収められたが、エンドエフェクタの把持からまだ解放されていない時に、画像および／またはその他のセンサデータを用いて、アイテムの配置を評価する（工程１３０４）。例えば、三次元画像データは、アイテムの高さがプレースの成功のために期待されるよりも高いことを示す場合がある。例えば、アイテムの上面の高さは、トレイの底部の高さにアイテムの予測高さを加えたものに等しいと期待されうる。上面がより高い高さにある場合、かかる情報は、アイテムが別のアイテムの上部に完全にまたは部分的にプレースされ、もしくは、アイテムがピック／プレース動作中に押しつぶされまたは他の方法で変形された可能性があり、もしくは、間違ったアイテムがプレースされた可能性がある、などを示唆しうる。エラーが検出されなかった場合（工程１３０６）、アイテムは、把持から解放され（工程１３０８）、アームおよびエンドエフェクタは、次のピック／プレースタスクを実行するために移動される。エラーが検出された場合（工程１３０６）、工程１３１０で、アイテムは、開始場所、もしくは、いくつかの実施形態においては、別のステージングエリアまたはバッファエリアに戻され、ピック／プレース動作が再び試みられる。いくつかの実施形態において、エラーの検出につながるアイテムのピック／プレースの反復的な試みにより、人的介入を開始するための警告および／またはその他の動作がトリガされてよい。

図１４は、非剛体パッケージ内の軟質製品をハンドリングするためのロボットシステムの一実施形態を示す図である。図の例において、システム１４００は、レール１４０４および１４０６に沿ってコンピュータ制御下で移動するようにそれぞれ取り付けられているロボットアーム１４０８および１４１０を備える。ロボットアーム１４０８および１４１０は、それぞれ、吸着タイプのエンドエフェクタ１４１２および１４１４を末端に有する。様々な実施形態において、ロボットアーム１４０８および１４１０ならびにエンドエフェクタ１４１２および１４１４は、制御コンピュータ（図１および図２の制御コンピュータ１２２など）を備えているロボット制御システムによって制御される。

図１４に示す例において、ロボットアーム１４０８および１４１０ならびにエンドエフェクタ１４１２および１４１４は、車輪付きベース１４０２上の移動元トレイから、車輪付きベース１４１６および１４１８上の移動先トレイへ、パンなどのアイテムを移動させるために用いられる。様々な実施形態において、人間および／またはロボットが、図に示すように、移動元トレイおよび車輪付きベース１４０２を、レール１４０４および１４０６の間の開始場所へ配置してよい。車輪付きベース１４０２は、例えば、図に示すように、ベース１４０２の遠端で始まる矢印の方向に、レール１４０４および１４０６によって形成された通路を通って前進されてよい。様々な実施形態において、ベース１４０２は、ロボットアーム１４０８および１４１０の一方または両方を用いて、手動で１または複数の人間オペレータ、１または複数の固定または非固定のロボット、などによって押されることにより、レール１４０４および１４０６に沿っておよび／またはそれらの間で動作するコンベヤベルトまたはチェーンタイプのメカニズムにより、ベース１４０２に組み込まれたロボット制御の推進および／または運搬メカニズム（コンピュータ制御されるモータ駆動の車輪およびブレーキなど）によるなどして、前進されてよい。

車輪付きベース１４０２が、レール１４０４および１４０６に沿って／それらの間を前進する時、ならびに／もしくは、ベース１４０２が、一時的に、レール１４０４および１４０６の間の静止位置にある間に、様々な実施形態において、ロボットシステムは、ロボットアーム１４０８および１４１０ならびにエンドエフェクタ１４１２および１４１４を用いて、計画に従って、車輪付きベース１４０２上の移動元トレイから車輪付きベース１４１６および１４１８上の移動先トレイへ、アイテム（パンなど）を移動させる。例えば、計画は、どの１または複数のタイプのパンが、作業エリア内のベース１４０２および／またはその他のベース上の移動元トレイ内で利用可能であるのかを示す在庫および／またはセンサデータに基づき、さらに、どの組み合わせのパンまたはその他のアイテムが、どのそれぞれの最終的な配達場所（小売店など）への配達に向けた移動先トレイにプレースされるのかを示す積荷目録またはその他のデータに基づいて、計算されてよい。

図の例において、ベース１４１６および１４１８上の移動先トレイが満たされると、ベース１４１６および１４１８は、それぞれ、レール１４０４および１４０６から離れて外向きに、例えば、配達車両に積み込まれるためにステージングエリアおよび積み込みエリアへ、移動される。

図１４では、単一のベース１４０２上の単一セットの移動元トレイが示されているが、様々な実施形態において、高レベル動作が実行されることに応じて、１または複数のさらなるベース（各々が、積み上げられたアイテムで満たされた０以上のトレイを有する）が、レール１４０４および１４０６の間、および／または、近くのステージングエリアに配置されてもよい。同様に、いくつかの実施形態において、各々対応する車輪付きベース上の複数セットの移動先トレイが、レール１４０４またはレール１４０６に隣接するステージであってよく、各々の最上部のトレイが、例えば、積荷目録および関連付けられている実行計画に従って、同時におよび／または順に満たされる途中であってよい。

様々な実施形態において、移動元トレイが空になると、システムは、ロボットアーム１４０８および／または１４１０を用いて、ステージングエリアへ、および／または、移動先トレイのスタックの上部へ、トレイを移動させてよく、それにより、満たされて最終目的地へ送られるトレイの供給を生み出し、および／または、注文を満たすためにアイテムをピックできる次の移動元トレイを露出させる。

図１４では、単一のロボットアーム（１４０８、１４１０）が各レール（１４０４、１４０６）に配置されているが、いくつかの実施形態において、２以上のロボットアームが、各レールに提供されてもよい。いくつかの実施形態において、単一のレール上の２つのロボットアームが、空のトレイをピックアップして移動させるために用いられてよい。例えば、各アームは、トレイの構造と係合することによって機械的に、または、様々な実施形態において吸着または把持によって、トレイの反対側に係合するために用いられてよく、２つのアームは、新しい位置（バッファまたはステージングエリア、もしくは、移動先トレイのスタックの上部、など）へ移動させつつ、空のトレイの制御を維持するよう協調的に動作されてよい。いくつかの実施形態において、１または複数のロボットアームが、さらなるアイテムを追加する、新しいまたは修正された計画に従ってアイテムを再配置する、などの目的で、スタックの下側にあるトレイを露出させるために、スタックの上部から、（例えば、ステージングエリアへ移動される）満杯または部分的に満杯のトレイを移動させる際に用いられてよい。

エンドエフェクタ１４１２および１４１４にそれぞれ取り付けられたカメラ１４２０および１４２２、ならびに／もしくはは、カメラ１４２４および１４２６が、様々な実施形態において、本明細書で開示されているピック／プレース動作を計画および実行するための画像データを生成するために用いられる。

様々な実施形態において、本明細書で開示されている技術は、非剛体パッケージ内の柔らかいまたはその他の理由で壊れやすい製品（プラスチック袋またはラップに梱包されたパンなど）を、ハンドリングされるアイテムを損傷することなしに、ロボットシステムによってハンドリングすることを可能にする。例えば、様々な実施形態において、パンは、最低限の人的介入でまたは人的介入なしに、製パン所または保管エリアから受け取った移動元トレイから、対応する特定の位置（小売店など）への配達に向けて、移動先トレイへ、ロボットによって識別、選択、および、移動されうる。様々な実施形態において、本明細書で開示されている技術によれば、例えば、柔らかいパッケージ内のパンまたは壊れやすいアイテムのための流通システム、設備、および、処理の純粋に人間による操作および／または不完全な自動動作と比較して、スループットおよび効率が高くなる。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。

Claims (20)

1. ロボットシステムであって、
   通信インターフェースと、
   前記通信インターフェースに接続されているプロセッサと、
   を備え、
   前記プロセッサは、
   少なくとも部分的に前記ロボットシステムによって制御される１または複数のロボット要素が存在する作業空間に関連付けられているセンサデータを、前記通信インターフェースを介して受信し、
   前記センサデータに少なくとも部分的に基づいて、前記ロボット要素の内の１または複数の要素を用いて前記作業空間内で実行されるアクションを決定し、前記アクションは、前記ロボット要素の内の１つの要素のエンドエフェクタを、把持されるアイテムに近接する位置へ比較的速く移動させ、前記アイテムおよびそのパッケージの一方または両方への損傷の最小限のリスクに関連付けられている力の量および構造を利用して、前記アイテムを把持するために、前記エンドエフェクタの把持メカニズムを作動させ、前記アイテムが把持された後に生成されたセンサデータを用いて、前記アイテムがしっかりと把持されたことを確認することを含み、
   ロボット要素に前記アクションを実行させるために、前記通信インターフェースを介して前記ロボット要素へ制御通信を送信するよう構成されている、システム。
2. 請求項１に記載のシステムであって、前記プロセッサは、さらに、前記ロボット要素を用いて、前記把持されたアイテムを移動先位置へ移動させるよう構成されている、システム。
3. 請求項１に記載のシステムであって、前記エンドエフェクタは、吸着ベースの把持メカニズムを備える、システム。
4. 請求項３に記載のシステムであって、前記エンドエフェクタは、１または複数の吸着カップを備える、システム。
5. 請求項４に記載のシステムであって、前記１または複数の吸着カップは、前記アイテムとの接触時にへこむコンプライアントな材料を含む、システム。
6. 請求項１に記載のシステムであって、前記センサデータは、１または複数のカメラによって生成された画像データを含む、システム。
7. 請求項１に記載のシステムであって、前記センサデータは、圧力センサ、力センサ、トルクセンサ、および、接触センサ、の内の１または複数によって生成されたデータを含む、システム。
8. 請求項１に記載のシステムであって、前記プロセッサは、さらに、前記ロボット要素を用いて、前記把持されたアイテムを移動先位置へ移動させ、前記移動先位置に前記アイテムをプレースするよう構成されている、システム。
9. 請求項８に記載のシステムであって、前記プロセッサは、動作の第１段階に、少なくとも部分的には、前記アイテムを前記移動先位置に近接する位置へ移動させ、前記センサデータを用いて、前記移動先位置に隣接する構造または第２アイテムへより密接に隣接するように前記アイテムへの位置調整を行うことにより、前記アイテムをプレースするよう構成されている、システム。
10. 請求項１に記載のシステムであって、前記プロセッサは、計画に少なくとも部分的に基づいて、前記アクションを決定するよう構成されている、システム。
11. 請求項１０に記載のシステムであって、前記プロセッサは、高レベル目標に基づいて、前記計画を生成するよう構成されている、システム。
12. 請求項１１に記載のシステムであって、前記高レベル目標は、複数のアイテムの識別と、各アイテムについて、最終目的地に関連付けられているアイテムのセットに含められる対応する数量と、を含む、システム。
13. 請求項１２に記載のシステムであって、前記アイテムは、異なるパン製品を含み、前記高レベル目標は、積荷目録またはその他のリスト、もしくは、小売店またはその他の目的地に配達されるアイテムおよび各アイテムの数量、を含む、システム。
14. 請求項１に記載のシステムであって、前記プロセッサは、さらに、前記ロボット要素を用いて、前記把持されたアイテムを移動先位置へ移動させ、前記移動先位置に前記アイテムをプレースし、その後に受信されたセンサ情報を用いて、前記エンドエフェクタの前記把持メカニズムから前記アイテムを解放する前に前記アイテムの配置を確認するよう構成されている、システム。
15. 請求項１に記載のシステムであって、前記プロセッサは、少なくとも部分的に、前記センサデータを用いて、高さ基準からの前記製品の高さを決定し、プレースの成功に関連付けられている想定値と前記決定された値を比較することにより、センサ情報を用いて、前記エンドエフェクタの前記把持メカニズムから前記アイテムを解放する前に前記アイテムの配置を確認する、システム。
16. 請求項１に記載のシステムであって、前記エンドエフェクタは、独立作動される複数セットの１または複数の吸着カップを備え、前記プロセッサは、さらに、前記独立作動されるセットの１または複数の吸着カップの内の１または複数のセットを各々用いて、２以上のアイテムを同時に把持するように、前記ロボット要素を制御するよう構成されている、システム。
17. 請求項１６に記載のシステムであって、前記プロセッサは、さらに、同時に把持されることが可能である２以上のアイテムの可能な組み合わせを決定し、単一把持および複数把持のピックアンドプレースアクションの組み合わせを含む最適な計画を決定することなどにより、複数のアイテムをピックアンドプレースするための最適な計画を決定するよう構成されている、システム。
18. 請求項１に記載のシステムであって、前記プロセッサは、さらに、前記ロボット要素を用いて前記アイテムを把持するための戦略を決定するよう構成されている、システム。
19. 方法であって、
    少なくとも部分的にロボットシステムによって制御される１または複数のロボット要素が存在する作業空間に関連付けられているセンサデータを、通信インターフェースを介して受信し、
    前記センサデータに少なくとも部分的に基づいて、前記ロボット要素の内の１または複数の要素を用いて前記作業空間内で実行されるアクションを決定し、前記アクションは、前記ロボット要素の内の１つの要素のエンドエフェクタを、把持されるアイテムに近接する位置へ比較的速く移動させ、前記アイテムおよびそのパッケージの一方または両方への損傷の最小限のリスクに関連付けられている力の量および構造を利用して、前記アイテムを把持するために、前記エンドエフェクタの把持メカニズムを作動させ、前記アイテムが把持された後に生成されたセンサデータを用いて、前記アイテムがしっかりと把持されたことを確認することを含み、
    ロボット要素に前記アクションを実行させるために、前記通信インターフェースを介して前記ロボット要素へ制御通信を送信すること、
    を備える、方法。
20. コンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能記憶媒体内に具現化され、
    少なくとも部分的にロボットシステムによって制御される１または複数のロボット要素が存在する作業空間に関連付けられているセンサデータを、通信インターフェースを介して受信するためのコンピュータ命令と、
    前記センサデータに少なくとも部分的に基づいて、前記ロボット要素の内の１または複数の要素を用いて前記作業空間内で実行されるアクションを決定するためのコンピュータ命令と、前記アクションは、前記ロボット要素の内の１つの要素のエンドエフェクタを、把持されるアイテムに近接する位置へ比較的速く移動させ、前記アイテムおよびそのパッケージの一方または両方への損傷の最小限のリスクに関連付けられている力の量および構造を利用して、前記アイテムを把持するために、前記エンドエフェクタの把持メカニズムを作動させ、前記アイテムが把持された後に生成されたセンサデータを用いて、前記アイテムがしっかりと把持されたことを確認することを含み、
    ロボット要素に前記アクションを実行させるために、前記通信インターフェースを介して前記ロボット要素へ制御通信を送信するためのコンピュータ命令と、
    を備える、コンピュータプログラム製品。

Images