JP2022552627A - ロボットキッティングマシン - Google Patents

Abstract

【解決手段】ロボットキッティングマシンが開示されている。様々な実施形態において、アイテムが挿入されるスロットの近くの位置にアイテムを移動させるために、ロボットアームが用いられる。力センサによって生成された力情報が、通信インターフェースを介して受信される。力センサ情報は、アイテムを構成する構造をスロットを構成する対応する穴と整列させるために用いられ、アイテムは、スロットに挿入される。【選択図】図４

Description

他の出願への相互参照
本願は、２０１９年１０月２５日出願の米国仮特許出願第６２／９２６，１６８号「ＲＯＢＯＴＩＣ ＫＩＴＴＩＮＧ ＭＡＣＨＩＮＥ」に基づく優先権を主張し、その仮特許出願は、すべての目的のために参照により本明細書に組み込まれる。

産業ロボットは、例えば、重いものを持ち上げることを含むタスク、および、人間にとって健康によくない可能性のある環境内でのタスクまたはそのような材料を伴うタスクの実行など、様々なタスクを実行するために利用されてきた。

微細なモータ制御、壊れやすいアイテム、不規則形状のアイテムなどを伴うタスクなど、特定のタスクは、主に人間によって実行され続けてきた。かかるタスクを実行するようにロボットを設計およびプログラムするのは、より困難である。

自動車またはその他の組み立てラインなどの製造プロセスは、様々な形状、サイズ、材料、重量などの部品を組み立てることを含みうる。部品は、箱または収容箱（ｂｉｎ）などのバルクで到着し、組み立てライン付近の位置にステージングされうる。

一般的なアプローチは、ライン上で組み立てられている主要製品への追加に向けて、主要組み立てライン上の作業員（人間、ロボットなど）に提供される部品の「キット」を作業エリアで組むことである。例えば、主要自動車組み立てライン上でドアに取り付けられるドアの取っ手が、ライン上で組み立てられているモデル（例えば、２ドア、４ドアなど）および／または色と一致するように、作業エリアのキットに配置されてよい。同じスタイル／色のドアの取っ手で満たされた収容箱またはキャリアが、例えばサプライヤから提供され、様々なスタイル／色の取っ手を含むキットが、ドアおよび／または車両の組み立てラインへの搬送に向けて組まれうる。

さらなる例において、最終製品または最終製品に組み込まれるサブアセンブリを作るために所定の混在した部品（各部品は、その部品のみを含む供給元容器から取り出される）を各々含むキットが、別の場所で組まれうる。別の例において、異なる移動元容器からの部品が、家で組み立てる家具またはその他のアイテムに含まれる部品のキットなど、パッケージングされ、組み立てに向けて遠隔の目的地へ出荷されるキットにまとめられうる。

部品は、壊れやすい場合があり、および／または、取り扱いのミスによって損傷を受ける可能性のある仕上げを有する場合がある。製造工場または同様の環境において、部品は、より低い輸送中の損傷リスクで、部品が利用される作業エリアへ輸送されるように、トート（ｔｏｔｅ）またはその他のキャリアの中にまとめられうる。かかるトートは、例えば、色（またはスタイル）の混在するキットが組まれる場所から、部品がより大きいアセンブリ（ドアの取っ手の場合の車両ドアなど）に追加されるラインへ、トートまたは他のキャリアが移動される際に、部品をしっかりと保持して、それらが互いにぶつかって損傷するのを避けるために、個々の部品を受け入れるためのスロットを有するインサートを備えうる。スロットは、部品を保護するために、厳しい許容範囲を有しており、これは、ロボットシステムがスロットに部品を挿入するのを困難にしうる。

以下の詳細な説明および添付の図面において、本発明の様々な実施形態を開示する。

ロボットキッティングマシンの一実施形態を示すブロック図。

ロボットキッティングシステムの一実施形態において、キッティング動作に関連してピックアンドプレースされうる部品の一例を示す図。

ロボットキッティングシステムの一実施形態において、吸着タイプのエンドエフェクタおよび操作されるアイテムの構造の対応関係の一例を示す図。

ロボットキッティングシステムの一実施形態において、吸着タイプのエンドエフェクタおよび操作されるアイテムの構造の対応関係の一例を示す図。

ロボットキッティングシステムの一実施形態において、吸着タイプのエンドエフェクタおよび操作されるアイテムの構造の対応関係の一例を示す図。

ロボットキッティング動作を実行するための処理の一実施形態を示すフローチャート。

容器内の対応する位置にアイテムをプレースするための処理の一実施形態を示すフローチャート。

ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。

ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す図。

ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。

ロボットキッティングシステムの一実施形態において、容器内の対応する位置にアイテムをプレースするための処理の一実施形態を示すフローチャート。

ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。 ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す図。

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

ロボットキットアセンブリが開示されている。様々な実施形態において、本明細書で開示されているロボットシステムは、所定の様々な部品（例えば、所定の異なる色のドアの取っ手）を含むキットを組む。ロボットシステムは、キットが組まれるトートまたはその他のキャリアの中の対応する「スロット」または規定の位置に各部品を配置する。

様々な実施形態において、本明細書で開示されているロボットシステムは、キットに含められる部品を識別するマニフェスト（積荷目録）またはその他のデータを受信する。例えば、トートが、１２のドアの取っ手を保持してよく、ロボットシステムは、キットに含められる６色のドアの取っ手のペアの識別情報を受信してよい。システムは、所定の数および組み合わせの部品を各々有する連続的なトートを構築するために、マニフェストのセットを受信してよい。ロボットシステムは、構成情報を受信し、および／または、所与のスタイルおよび／または色の部品を各々有する供給元の収容箱またはトートの位置を示すデータを受信する。ロボットシステムは、マニフェスト内に識別されている部品を取り出して、キットが組まれているトートの中の対応する位置に各々をプレースするための計画を立てて実行する。

様々な実施形態において、位置制御、力制御、および、（例えば、画像および／または深度データを提供する２Ｄおよび／または３Ｄカメラからの）コンピュータビジョンベース制御、の内の１または複数が、人的介入なしにキットを組むために必要に応じてアイテムをピックアンドプレースするために。

様々な実施形態において、位置制御は、部品がプレースされるスロットの近くの位置に部品を移動させるために用いられる。力制御は、部品が少なくとも部分的にスロットと整列していると判定されるまで、慎重に調べるために用いられる。力（および／またはトルク）制御は、スロットに部品をより完全に挿入するために用いられる。

図１Ａは、ロボットキッティングマシンの一実施形態を示すブロック図である。図の例において、システム１００は、レール１０６に沿って平行移動するよう構成されているキャリッジ１０４上に回転可能に取り付けられたロボットアーム１０２を備える。例えば、キャリッジ１０４は、キャリッジ１０４をレール１０６に沿って移動させて、例えば、ロボットアーム１０２を所望の位置に再配置するために、ロボット／コンピュータの制御下で用いられるよう構成されているコンピュータ制御機械および／または電気機械駆動メカニズムを備えてよい。この例において、ロボットアーム１０２は、キャリッジ１０４およびレール１０６上に移動可能に取り付けられているが、様々な他の実施形態において、ロボットアーム１０２は、固定されていてもよいし、例えば、カルーセル上に取り付けられている、モータ駆動シャーシ上で完全に移動可能である、など、レールに沿った平行移動以外で、完全にまたは部分的に移動可能であってもよい。

図の例において、ロボットアーム１０２は、その作用遠位端（キャリッジ１０４から最も遠い端部）にエンドエフェクタ１０８を有する。エンドエフェクタ１０８は、コンプライアントな真空（または「吸着」）カップ１１０を備える。様々な実施形態において、吸着カップ１１０は、シリコーンもしくは別の天然材料または合成材料を含んでおり、それらの材料は、耐久性があるが、ロボットシステム１００が、ロボットアーム１０２およびエンドエフェクタ１０８を用いて把持しようとしているアイテムと（最初におよび／または徐々に）接触する時に、少なくとも若干「へこむ」のに十分なコンプライアント性を有する。

この例において、エンドエフェクタ１０８は、エンドエフェクタ１０８の側面に取り付けられたカメラ１１２を有する。他の実施形態において、カメラ１１２は、（図１Ａに示した位置および向きの）エンドエフェクタ１０８の本体の下向きの面上など、より中央に配置されてもよい。さらなるカメラが、ロボットアーム１０２および／またはエンドエフェクタ１０８上の他の場所に（例えば、ロボットアーム１０２を含むアームセグメント上に）取り付けられてもよい。さらに、この例において壁に取り付けられているカメラ１１４および１１６が、シーン（システム１００が配置されて動作するよう構成さているシーン）の３Ｄビューを構築するために利用可能なさらなる画像データを提供する。

様々な実施形態において、ロボットアーム１０２は、図に示すように、ピックアップされるアイテムの上にエンドエフェクタ１０８の吸着カップ１１０を配置するために用いられ、真空源が、アイテムを把持し、アイテムをその移動元位置から持ち上げ、アイテムを移動先位置にプレースするための吸着力を提供する。

図１に示す例において、ロボットアーム１０２は、移動元容器１１８からアイテムをピックし、移動先容器内の対応する位置に各アイテムをプレースするために利用されるよう構成されている。様々な実施形態において、システム１００は、対応する容器（容器１２０など）の中にそれぞれキットを組む。システム１００は、移動先容器１２０などの容器内にキットを組むためにどのアイテムがどの移動元容器１１８から取り出されるかを示すマニフェスト、インボイス、または、その他のデータを受信する。容器１１８および／または１２０は、人間の作業員および／またはその他のロボット（図１Ａには図示せず）によって所定位置に押されてよい。例えば、キットが組み立てられ、以前に配置された容器１１８が空になった時、ならびに／もしくは、さらなるアイテム、および／または、異なるタイプ、色などのアイテムを、システム１００によって組み立てされているキットに含めることを可能にするために、さらなる移動元容器１１８が、所定位置に移動されてよい。

様々な実施形態において、カメラ１１２、１１４、および、１１６の内の１または複数のカメラによって生成された３Ｄまたはその他の画像データが、システム１００の作業エリアおよび作業エリア内のアイテムの３Ｄビューを生成するために用いられてよい。３Ｄ画像データは、色、形状、または、その他の属性などで、ピック／プレースされるアイテムを識別するために用いられてよい。様々な実施形態において、カメラ１１２、１１４、および、１１６の内の１または複数が、システム１００の作業エリア内のアイテム上に見えるおよび／またはアイテムを含む、テキスト、ロゴ、写真、図、画像、マーク、バーコード、ＱＲコード（登録商標）、または、その他の符号化および／またはグラフィック情報またはコンテンツを読み取るために用いられてよい。

図１Ａをさらに参照すると、図の例において、システム１００は、この例では無線通信を介して（ただし、様々な実施形態において、有線通信および無線通信の一方または両方で）、ロボットアーム１０２、キャリッジ１０４、エフェクタ１０８、および、センサ（カメラ１１２、１１４、および、１１６、ならびに／もしくは、図１Ａに示していない重量センサ、力センサ、および／または、その他のセンサなど）などの要素と通信するよう構成されている制御コンピュータ１２２を備える。様々な実施形態において、制御コンピュータ１２２は、センサ（カメラ１１２、１１４、および、１１６、ならびに／もしくは、図１Ａに示していない重量センサ、力センサ、および／または、その他のセンサなど）からの入力を用いて、トレイ１２０からトレイ１１８へ荷積みおよび／または荷下ろしされるアイテムの１または複数の属性を観察、識別、および、決定するよう構成されている。様々な実施形態において、制御コンピュータ１２２は、例えば、画像および／またはその他のセンサデータに基づいて、制御コンピュータ１２２に格納されたライブラリ内および／または制御コンピュータ１２２にとってアクセス可能なライブラリ内のアイテムモデルデータを用いて、アイテムおよび／またはその属性を識別する。制御コンピュータ１２２は、アイテムに対応するモデルを用いて、移動先（トレイ１１８など）の中／上に、他のアイテムと共に、アイテムを積み重ねるための計画を決定および実施する。様々な実施形態において、アイテム属性および／またはモデルは、アイテムを把持、移動させて、移動先位置（例えば、トレイ１１８の中／上にアイテム積み重ねるための計画／再計画処理の一部として、アイテムがプレースされると決定された位置）にプレースするための戦略を決定するのに利用される。

図の例において、制御コンピュータ１２２は、「オンデマンド」遠隔操作装置１２４に接続されている。いくつかの実施形態において、制御コンピュータ１２２が、完全自動モードで続行できない場合、例えば、制御コンピュータ１２２が完全自動モードでアイテムのピックアンドプレースを完了するための戦略を持たなくなるように、アイテムを把持、移動、および、プレースするための戦略が、決定できなくなり、および／または、失敗した場合、制御コンピュータ１２２は、例えば、アイテムを把持、移動、および、プレースするために、遠隔操作装置１２４を用いて、ロボットアーム１０２、キャリッジ１０４、および／または、エンドエフェクタ１０８の内の１または複数を操作することによって介入するように人間ユーザ１２６に指示する。

図１Ｂは、ロボットキッティングシステムの一実施形態において、キッティング動作に関連してピックアンドプレースされうる部品の一例を示す図である。様々な実施形態において、図１Ｂは、移動元容器からアイテムをピックして、移動先容器内の対応する位置に各アイテムをプレースすることによってキットを組むなどのために、本明細書で開示されているロボットキッティングシステム（図１Ａのロボットキッティングシステム１００など）によってピックアンドプレースされうる不規則形状の構成部品またはその他のサブアセンブリを示している。図１Ｂに示す例において、アイテムは、取っ手１４０と、別の構造に取っ手１４０を取り付けるための構造を終端とする台座１４２、１４４と、を備える。例えば、図１Ｂに示す部品は、ドアの取っ手（自動車のドア用、など）または何らかのその他の取っ手であってよい。

台座部分１４２、１４４の各々は、この例において、移動先容器（図１Ａの容器１２０など）の対応する受け入れ穴１４６、１４８にぴったりと収まる特定の形状を有する。様々な実施形態において、移動先容器は、複数の部品の各々のための特定の位置を規定する発泡体またはその他のインサートを備えてよい。様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、位置制御および力制御の一方または両方を用いて、移動先容器の対応する規定の位置に各アイテムをプレースする。各アイテムの位置は、発泡体インサート、仕切り（例えば、段ボール、プラスチック、など）などの保護材料における１または複数の穴によって規定されてよい。様々な実施形態において、位置制御が、各アイテムをその移動先スロットまたは他の位置の近くに配置するために用いられ、力制御プリミティブが、アイテムのそれぞれの構造をアイテムの移動先位置の対応する穴と整列させ（またはその整列を確認し）、アイテムをその位置に「差し込む」または挿入するために用いられる。様々な実施形態において、力制御は、スロットが配置され、（例えば、発泡体またはその他のインサートへの損傷に起因して）容器またはアイテムのいずれも全く損傷させることなしに、厳しい許容範囲にもかかわらず摩擦に打ち勝ってアイテムを挿入するのに十分な力で部品がスロットに整列されてスロット内に挿入されることを保証する。

図２Ａは、ロボットキッティングシステムの一実施形態において、吸着タイプのエンドエフェクタおよび操作されるアイテムの構造の対応関係の一例を示す図である。図の例において、吸着ベースのエンドエフェクタ２０２は、吸着カップ２０４および２０６を備える。機械的な吸引ホース、ならびに、エンドエフェクタ２０２への電気的またはその他の接続は、明確にするために図２Ａには示されていない。この例における吸着カップ２０４および２０６は、ベローズタイプの吸着カップである。様々な実施形態におけるかかる吸着カップのベローズは、吸着カップ２０４、２０６を通る吸引の流れを制限することなしに、湾曲した、柔軟な、および、その他の把持困難な表面との係合を容易にする。図の例において、吸着カップ２０４および２０６は、取っ手１４０に取り付けられた台座１４２および１４４と整列するようなエンドエフェクタ２０２上の位置に配置されている。様々な実施形態において、エンドエフェクタの吸着カップは、本明細書で開示されているロボットキッティングシステムを用いてピックアンドプレースされるアイテムの対応する構造と整列されてよい。かかる整列は、移動元スロット（例えば、移動元容器の保護インサートの穴）から抜き出され、および／または、移動先スロット（例えば、移動先容器の保護インサートの穴）に挿入されるために必要とされうるピック／プレースを（アイテムに印加される力を構造と整列させることなどによって）容易にする。

図２Ｂは、ロボットキッティングシステムの一実施形態において、吸着タイプのエンドエフェクタおよび操作されるアイテムの構造の対応関係の一例を示す図である。図の例および状態において、エンドエフェクタ２０２ならびに吸着カップ２０４および２０６は、吸着カップ２０４および２０６をそれらに対応する台座１４２および１４４と整列させる位置で、取っ手１４０に係合されている。

図２Ｃは、ロボットキッティングシステムの一実施形態において、吸着タイプのエンドエフェクタおよび操作されるアイテムの構造の対応関係の一例を示す図である。図２Ｃにおいて、エンドエフェクタ２０２の本体部分は、明確にするために図示されておらず、上面図で、吸着カップ２０４および２０６と、対応する台座１４２および１４４との整列が示されている。

様々な実施形態において、本明細書で開示されているロボットキッティングシステムを構成する制御コンピュータが、アイテムを把持するために、吸着ベースのエンドエフェクタ（図２Ａ～図２Ｃのエンドエフェクタ２０２など）を利用する。制御コンピュータは、図２Ａに示すように、把持すべきアイテムの上方にエンドエフェクタ２０２を配置し、垂直下向きにアイテム（例えば、ドアの取っ手１４０）に近づくように、エンドエフェクタが取り付けられたロボットアーム（図２Ａ～図２Ｃには図示せず）を動作させる。エンドエフェクタの吸着カップ（例えば、２０４、２０６）が、把持されるアイテムと接触したことを検出するため、および／または、過度の力（アイテムに損傷をもたらす可能性が高い力など）が印加されないことを保証するために、力制御（例えば、エンドエフェクタ、ロボットアーム、および／または、エンドエフェクタをロボットアームに取り付けるための手首メカニズム、に一体化された力および／またはトルクセンサ）が用いられてよい。吸着カップが、アイテムを持ち上げて移動させるのに十分な吸着力を達成できるような位置でアイテムの表面に置かれることを保証するために、圧力センサが用いられてよい。例えば、制御コンピュータは、アイテムを持ち上げるのに十分な吸着力を達成するように、エンドエフェクタの向きおよび位置に小さい調整を行ってよい。

図３は、ロボットキッティング動作を実行するための処理の一実施形態を示すフローチャートである。様々の実施形態において、図３の処理３００は、コンピュータ（図１の制御コンピュータ１２２など）によって実行される。図の例において、工程３０２で、高レベル目標（どのキットが組まれるのるか、どの部品が各キットに含められるのるか、など）を示すマニフェストまたはその他のデータ、ならびに、作業空間コンテキスト情報（どの移動元容器および移動先容器が作業空間のどの位置にあるのか、および、どのアイテムがそれぞれの容器に存在するのか、など）が受信される。作業空間コンテキスト情報は、人間のユーザなどによって、入力として提供されてよく、および／または、作業空間内のカメラ（図１Ａのカメラ１１４、１１６など）によって生成された画像データを利用し、もしくは、光学、ＲＦ、または、その他のスキャナを用いて作業空間内の容器および／または容器内のアイテムを識別するなどにより、ロボットキッティングシステムによって決定されてよい。工程３０４で、工程３０２において受信されたマニフェストまたはその他のデータによって規定された要求など、要求を満たすようにアイテムをピック／プレースするための計画が生成される。例えば、図１の制御コンピュータ１１２または別のコンピュータは、工程３０２で受信したマニフェスト（またはその他のデータ）ならびにコンテキストデータを用いて、マニフェストまたはその他の要求データによって規定された順序および方法で一連のキットを組むなどのために、移動元容器から移動先容器へアイテムをピックする計画を人的介入なしに生成してよい。工程３０６で、工程３０２において受信／決定されたコンテキストを考慮して、工程３０２において受信された要求を満たすようにキットを組み立てるために、アイテムが、工程３０４において生成された計画に従ってピックアンドプレースされる。

様々な実施形態において、工程３０２、３０４、および／または、３０６、の内の１または複数の連続的な反復が実行されてよい。例えば、第１セットのキットが、高レベル目標および／または計画の第１部分を満たすために組まれうる。その後、第１セットのキットを組むためにロボットキッティングシステムによって空にされた移動元容器は、例えば、人間および／またはその他のロボット作業員によって、作業空間から取り除かれ、他の移動元容器に置き換えられてよい。工程３０２および／またはその一部のさらなる反復が、例えば、新たな／現在の作業空間コンテキストを決定するために実行されてよく、さらなる／次の計画が、次のセットのキットを組むために、工程３０４で生成され、工程３０６で実施されてよい。処理３００の工程３０２、３０４、および／または、３０６の内の１または複数のその後の反復が、すべての要求が満たされるまで、必要に応じて実行されてよい。

図４は、容器内の対応する位置にアイテムをプレースするための処理の一実施形態を示すフローチャートである。様々の実施形態において、図４の処理４００は、コンピュータ（図１の制御コンピュータ１２２など）によって実行される。処理４００は、図３の処理３００の工程３０６のように、アイテムをピック／プレースするために実行されてよい。図４に示す例において、工程４０２で、次のアイテムが移動元容器からピックされる。例えば、ロボットアームおよびエンドエフェクタが、図２Ａ～図２Ｃに示した例のように、アイテムを把持するために用いられてよい。工程４０４で、位置制御が、工程４０２において把持されたアイテムがプレースされる移動先位置（移動先容器内の対応するスロットなど）の近くにアイテムを移動させるために用いられる。画像データ（作業空間内のカメラ（例えば、図１Ａのカメラ１１４、１１６）によって生成されたものなど）が、作業空間の三次元ビューを生成するために用いられてよく、工程４０４で、三次元ビューは、工程４０２において把持されたアイテムを移動先容器内の対応するスロットへ移動させるために用いられてよい。工程４０６で、力制御が、対応するスロットとアイテムを整列させ、アイテムをスロットに滑り込ませるために、必要に応じて用いられる。

様々な実施形態において、本明細書で開示されているロボットキッティングシステムを構成し、および／または、他の方法で関連付けられている制御コンピュータは、工程４０６で、アイテムをそれに対応する移動先スロットと整列させ、その移動先スロットにアイテムを滑り込ませるために、１または複数の力制御プリミティブを実行してよい。例えば、第１力制御プリミティブは、移動先容器の移動先スロットを規定する発砲体またはその他のインサートの上面にアイテムが接触したことを、ロボットキッティングシステムが検出することを可能にしてよい。力制御プリミティブは、制御コンピュータに、アイテムの前進を停止させ、スロットを位置特定するための１または複数の動作を実行させる。例えば、制御コンピュータは、スロットを見つけるための１または複数の探索アルゴリズムまたは技術を適用してよく、それらのアルゴリズムまたは技術自体が、１または複数の力制御プリミティブを用いてよい。いくつかの実施形態において、アイテムまたはその一部が移動先スロットの関連部分と整列またはほぼ整列しうる程度を検出するために、力およびトルクの読み取り値が用いられてよい。例えば、挿入される穴とほぼ整列しているペグ／台座は、構造がより完全に整列しておらず、部分的および／または（より）ほぼ整列している場合よりも強力に（より大きい力）かつより均一に（より小さいトルク）押し戻される場合よりも、小さい抵抗力および／またはやや高いトルクを受けうる。

移動先スロットへの最初の接近時に検知された情報に応じて、様々な実施形態において、１または複数の（他の）力プリミティブが、（より良好またはより完全に）移動先スロットを位置特定して、それとアイテムを整列させるために呼び出されてよい。例えば、いくつかの実施形態において、対応する穴に各々挿入される複数の突起の１つがそれのスロットと部分的に整列していることを、力および／またはトルクの読み取り値が示唆する場合、システムは、（例えば、アイテムの向きをわずかに調整して、移動先容器の穴（スロット）を規定する発砲体またはその他のインサートから他の突起を引き離すことにより）最初にアイテムのその部分をそのスロットとより完全に整列させるために、力制御プリミティブを呼び出す。アイテムの第１部分が整列され、それのスロット内に部分的に滑り込ませられると、アイテムの他の部分をそれぞれのスロット／穴と整列させるために、第１突起について達成された整列を効果的に用いて、向きが調整される（例えば、移動先容器と平行にされる）。次いで、部品は、移動先位置の中にさらに完全に滑り込ませられてよく、例えば力制御、または、力制御および位置制御の組みあわせを用いて、部品がスロットに完全に滑り込んだことが検出される。例えば、アイテムを押し戻す力が検出され、エンドエフェクタの垂直高さが、アイテムをスロットの中に完全に入れたことに関連する高さになると、制御コンピュータは、アイテムをスロットに入れることが成功したと判定してよい。

力制御プリミティブのその他の例は：力制御を用いて、（例えば、移動先容器内の）角の位置を見つけて、そこにアイテムをぴったりと置く；１または複数の以前にプレースされたアイテムに隣接する位置にアイテムをプレースする；収容箱が、期待された位置からずれた、および／または、１８０度回転したことを、検知された力に基づいて検出する；などのためのプリミティブを含むが、それらに限定されない。

図５Ａ～図５Ｄは、ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す。様々な実施形態において、本明細書で開示されているロボットキッティングシステムを構成し、または、他の方法で関連付けられている制御コンピュータ（図１Ａの制御コンピュータ１２２など）が、図５Ａ～図５Ｄに示す例によって説明するように、力制御ベースのスロット挿入を実施してよい。

図の例では、台座１４２および１４４を備えた取っ手１４０が、穴１４６および１４８を備えた移動先スロットに挿入される。穴１４６は、台座１４２を受け入れるような形状を有し、穴１４８は、台座１４４を受け入れるような形状を有している。形状および許容範囲は、少しのずれでも、台座１４２、１４４が、対応する穴１４６、１４８に挿入される妨げとなるようなものである。

図５Ａに示す位置において、取っ手１４０は、穴１４６、１４８を備えた移動先スロットに近い位置に移動されているが、穴１４６、１４８とは全く整列していない。様々な実施形態において、システムは、例えばエンドエフェクタの垂直下向きの移動に対する、均等に分布した反力の最大の大きさを検出することによって、図５Ａのような完全なずれを検出する。図５Ｂは、例えば位置制御によって、取っ手１４０が穴１４６、１４８を備えた移動先スロットの近くに移動されうる初期位置を示す。図５Ｂに示す位置において、例えば垂直下向きの運動によって、取っ手１４０をスロットに挿入するよう試みると、台座１４２、１４４が、穴１４６、１４８を規定する発泡体またはその他の材料の表面に接触した結果として、抵抗する力が生じる。図５Ｃは、例えば位置制御によって、取っ手１４０が移動されうる別の初期位置を示す。図５Ｃに示す例において、取っ手１４０の長手方向軸は、穴１４６および１４８を備えたスロットの対応する中心線と整列されている。

様々な実施形態において、図５Ａ、図５Ｂ、および、図５Ｃにそれぞれ示されている位置ずれは各々、異なるセットの力およびトルクセンサの読み取り値をもたらし、読み取り値の各セットは、スロットに対する取っ手１４０の位置に特有である。

様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、図５Ａ、図５Ｂ、および、図５Ｃのように、アイテムが、例えば、位置制御を用いて、スロットの近くに移動されると、図５Ｄに示すように、力制御を用いて、スロットを見つけて、アイテムを挿入する。力およびトルクの読み取り値は、様々な実施形態において、１または複数の力制御プリミティブと共に、挿入に抵抗する力および／またはトルクを低減または排除する位置および向きを探すために用いられる。

１つのアプローチでは、スロットに近づくと、ロボットアームを用いて、アイテムを移動先容器の平面（例えば、ｘ軸およびｙ軸）内で移動させ、同時に力検知および位置を記録してよい。力センサ信号はフィルタリングされ、探索アルゴリズムが、力信号が１Ｎ未満になった時に検出し、アイテムが発泡体の上ではなくスロットの上にある（上向きの力が存在しない）ことが示唆される。力の低下が起きた時に、この変化時のロボットに関連する位置が呼び出され、ロボットは、この位置に向かって移動される。次いで、力閾値が感知され、任意の傾きの修正が実行されるまで、下降するようロボットに命令することによって、アイテムの挿入が行われる。アイテムが完全にスロット内にあることを確認するために、ロボットの高さの位置がチェックされる。

別のアプローチにおいて、アイテムは、振動する下向き／上向きの力で連続的に押し下げつつ、移動先容器の平面内で移動される。これに加えて、別の力制御が、移動の方向の反対向きの任意の力をアクティブ検出しており、システムは、その反対向きの力を比例的に補償する（インピーダンス制御）。これは、スロットを規定する穴とアイテムを整列させ、その後、ロボットの傾きを変えることで傾きの修正が実行される。上述のように、アイテムが完全にスロット内にあることを確認するために、ロボットの高さの位置がチェックされる。

様々な実施形態において、コントローラは、以下のように階層的に実装される：１）下向きの力、２）デカルト位置（ｘ，ｙ，ｚ運動）およびインピーダンス力制御、ならびに、３）向き制御（エンドエフェクタの向きを常に維持することを保証する）。

図６Ａ～図６Ｃは、ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを説明する一連の状態を示す。図の例において、エンドエフェクタ２０２は、吸着カップ２０４および２０６を用いて、台座１４２および１４４を備えた取っ手１４０を把持し、位置制御を用いて、図６Ａに示す位置に取っ手を移動させている。図６Ａに示す位置において、台座１４２および１４４は、それらが挿入される発泡体インサート６０２の対応する穴（例えば、図５Ａ～図５Ｄの穴１４６および１４８）からずれている。様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、図６Ａに示すような位置ずれを検出する。いくつかの実施形態において、ロボットキッティングシステムは、例えば、検出された力および／またはトルクに基づいて、台座１４２および１４４がそれぞれに対応する穴と部分的に整列していると判定してよい。この例において、システムは、台座１４２を発泡体インサート６０２と係合（すなわち、接触）させた状態を維持するために力制御を用いて、図６Ｂに示すようにエンドエフェクタ２０２（ならびに、エンドエフェクタを備える構造および／またはエンドエフェクタに把持されている構造）を傾ける。１または複数の探索戦略（例えば、上述の戦略）が、図６Ｂに示すように、台座１４２をそれに対応する穴と整列させるためにシステムによって用いられる。台座１４２がそれに対応する穴と整列していると判定されると、システムは、エンドエフェクタ２０２の向きを変え、垂直下降運動を用いて、台座１４２、１４４をそれぞれ対応する穴に挿入する。

図７Ａ～図７Ｃは、ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す。図の例において、図７Ａに示すように、第１移動先容器７０２は、軸ｙ_０によって示される期待された向きに整列されているが、第２移動先容器７０４は、期待された向き軸ｙ_０からずれた軸ｙ_ｎｅｗに整列されている。図７Ｂに示すように、様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、移動先容器７０４が期待されたｙ_０軸と整列することを期待しており、最初に、アイテム（取っ手１４０など）を図７Ｂに示すような位置に動かしてよい。システムは、取っ手１４０の長手方向軸が、挿入を容易にするように、穴１４６および１４８によって規定されたスロットの向きと整列することを期待する。様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、力制御を用いて、穴１４６および１４８を見つけて台座１４２および１４４を穴１４６および１４８と整列させ、それにより、軸ｙ_ｎｅｗ上にある移動先容器７０４の真の向きを発見する。様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、移動先容器７０４の真の向き（この例では、軸ｙ_ｎｅｗ上）を学習すると、移動先容器７０４の他のスロットの位置を再マッピングすることで、移動先容器７０４の残りのスロットに他のアイテムを挿入するための後続の動作の精度、速度、および、効率を向上させる。

図７Ｄは、ロボットキッティングシステムの一実施形態において、容器内の対応する位置にアイテムをプレースするための処理の一実施形態を示すフローチャートである。様々な実施形態において、図７Ｄの処理７２０は、図１Ａの制御コンピュータ１２２など、本明細書で開示されているロボットキッティングシステムを構成し、および／または、他の方法で関連付けられている制御コンピュータまたはその他のコンピュータによって実施される。図の例において、工程７２２で、移動先容器の整列が、例えば、図７Ａ～図７Ｃに関連して上述したように、期待通りではない旨の示唆が受信される。工程７２４で、システムは、空間マッピングを更新する（例えば、容器に対して決定された真の方向を反映するように、移動先スロットの位置座標および／または向きを更新する）。

図８Ａ～図８Ｅは、ロボットキッティングシステムの一実施形態において、容器内の対応する位置へのアイテムのプレースを示す。図の例で、図８Ａに示す位置において、最初に、取っ手１４０、１４２、１４４は、穴１４６、１４８と完全には整列されていない。本明細書で開示されているロボットキッティングシステムは、本明細書で開示されている力制御を用いて、スロット１４６、１４８を位置特定し、取っ手１４０、１４２、１４４をスロットに挿入するよう試みてよい。しかしながら、図８Ｂに示すように、この例のようにスロットに方向性があり、移動先容器が期待したのとは逆向きに反転している場合、いくつかの実施形態において、システムは、力制御を用いてアイテムをスロット挿入することができない。例えば、システムは、垂直下降運動に抵抗する力がゼロであるか、または、アイテムのスロット挿入成功に関連する何らかのその他の最小レベルである位置を見つけられない場合がある。

様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、容器が反転していることを、例えば、図８Ｂに示す条件で検出された力を解釈することによって、検出するよう構成されている。図８Ｃに示すように、システムは、移動先容器内のスロットの位置の理解を８０２ａに示す位置から８０２ｂに示す位置へ改める。図８Ｄおよび図８Ｅに示すように、システムは、新たなマッピングに基づいて、アイテム（この例ではスロット／位置「１」（８０２ａに示す左上の角）を目標としているが、最初にスロット８（８０２ｂに示す左上の角）への逆向きの挿入を試みられた）を、持ち上げて、図８Ｄに示すように１８０度反転させて、容器内の反対側の角（またはその他の再マッピングされた）位置へ移動させた後に、図８Ｅに示すように、真の位置および向きが上述のように発見されている元々意図されていた位置に（上記のように力制御を用いて）挿入しなければならないと結論づける。

本明細書で開示されている技術を用いれば、アイテムは、キットを組むための部品の迅速、効率的、正確、かつ、安全な操作を確実にするために本明細書で開示されているロボットキッティングシステムを用いて、製造、出荷、または、その他の動作などにおいて、キットを組むためにピックアンドプレースされうる。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供されている詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定を意図するものではない。

様々な実施形態において、位置制御、力制御、および、（例えば、画像および／または深度データを提供する２Ｄおよび／または３Ｄカメラからの）コンピュータビジョンベース制御、の内の１または複数が、人的介入なしにキットを組むために必要に応じてアイテムをピックアンドプレースするために用いられてよい。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供されている詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定を意図するものではない。本開示は、以下の形態により実現されてもよい。
［形態１］
ロボットキッティングシステムであって、
通信インターフェースと、
前記通信インターフェースに接続されているプロセッサと、
を備え、
前記プロセッサは、
アイテムが挿入されるスロットに関連する位置に前記アイテムを移動させ、
前記通信インターフェースを介して、力センサによって生成された力情報を受信し、
前記力センサ情報を用いて、前記アイテムを構成する構造を前記スロットを構成する対応する穴と整列させ、
前記アイテムを前記スロットに挿入するよう構成されている、システム。
［形態２］
形態１に記載のシステムであって、
前記プロセッサは、さらに、移動元容器から前記アイテムを把持するよう構成されている、システム。
［形態３］
形態１に記載のシステムであって、
前記プロセッサは、さらに、高レベル目標を受信し、前記アイテムを前記位置に移動させることなどによって、前記高レベル目標を達成するための計画を生成して実施するよう構成されている、システム。
［形態４］
形態１に記載のシステムであって、
前記プロセッサは、位置制御を用いて、前記アイテムを前記位置に移動させるよう構成されている、システム。
［形態５］
形態１に記載のシステムであって、
前記スロットは、移動先容器内に備えられている、システム。
［形態６］
形態５に記載のシステムであって、
前記対応する穴は、基板に規定された穴を含む、システム。
［形態７］
形態６に記載のシステムであって、
前記基板は、発泡体またはその他のインサートを含む、システム。
［形態８］
形態１に記載のシステムであって、
前記穴は、第１穴を含み、前記スロットは、１または複数のその他の穴を備える、システム。
［形態９］
形態８に記載のシステムであって、
前記穴の内の１または複数の穴が、前記穴の内の１または複数の穴とは異なる形状または寸法を有する、システム。
［形態１０］
形態１に記載のシステムであって、
前記プロセッサは、前記力センサ情報を用いて、前記アイテムを構成する前記構造を前記スロットを構成する前記対応する穴と整列させるために、力制御プリミティブを呼び出すよう構成されている、システム。
［形態１１］
形態１に記載のシステムであって、
前記プロセッサは、少なくとも部分的には、探索アルゴリズムによって決定された位置に前記アイテムを再配置して、垂直下向きの力を印加することにより、前記力センサ情報を用いて、前記アイテムを構成する前記構造を前記スロットを構成する前記対応する穴と整列させるよう構成されている、システム。
［形態１２］
形態１に記載のシステムであって、
前記プロセッサは、前記力センサ情報に少なくとも部分的に基づいて、前記位置および前記スロットに関連する移動先容器が、期待されている向きとは異なる検出向きにあることを検出するよう構成されている、システム。
［形態１３］
形態１２に記載のシステムであって、
前記プロセッサは、さらに、前記移動先容器が、期待されている向きとは異なる前記検出向きにあることを検出したことに少なくとも部分的に基づいて、前記移動先容器を構成する１または複数のスロットの位置情報を再マッピングするよう構成されている、システム。
［形態１４］
形態１２に記載のシステムであって、
前記検出向きは、前記期待されている向きと約１８０度異なり、前記プロセッサは、少なくとも部分的には、前記アイテムを引き出し、前記アイテムを１８０度回転させ、前記スロットに関連する再マッピングされた位置に前記アイテムを移動させることにより、前記アイテムを前記スロットに挿入するよう構成されている、システム。
［形態１５］
方法であって、
アイテムが挿入されるスロットの近くの位置に前記アイテムを移動させるように、ロボットアームを制御する工程と、
通信インターフェースを介して、力センサによって生成された力情報を受信する工程と、
前記力センサ情報を用いて、前記アイテムを構成する構造を前記スロットを構成する対応する穴と整列させる工程と、
前記アイテムを前記スロットに挿入する工程と、
を備える、方法。
［形態１６］
形態１５に記載の方法であって、
さらに、高レベル目標を受信する工程と、前記アイテムを前記位置に移動させることなどによって、前記高レベル目標を達成するための計画を生成して実施する工程と、を備える、方法。
［形態１７］
形態１５に記載の方法であって、
前記アイテムは、位置制御を用いて、前記位置に移動される、方法。
［形態１８］
形態１５に記載の方法であって、
前記スロットは、移動先容器内に備えられており、前記対応する穴は、基板に規定された穴を含む、方法。
［形態１９］
形態１５に記載の方法であって、
前記力センサ情報は、少なくとも部分的には、探索アルゴリズムによって決定された位置に前記アイテムを再配置して、垂直下向きの力を印加することにより、前記アイテムを構成する前記構造を前記スロットを構成する前記対応する穴と整列させるために用いられる、方法。
［形態２０］
コンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体内に具現化され、
アイテムが挿入されるスロットの近くの位置に前記アイテムを移動させるように、ロボットアームを制御するためのコンピュータ命令と、
通信インターフェースを介して、力センサによって生成された力情報を受信するためのコンピュータ命令と、
前記力センサ情報を用いて、前記アイテムを構成する構造を前記スロットを構成する対応する穴と整列させるためのコンピュータ命令と、
前記アイテムを前記スロットに挿入するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。

Claims (20)

1. ロボットキッティングシステムであって、
   通信インターフェースと、
   前記通信インターフェースに接続されているプロセッサと、
   を備え、
   前記プロセッサは、
   アイテムが挿入されるスロットに関連する位置に前記アイテムを移動させ、
   前記通信インターフェースを介して、力センサによって生成された力情報を受信し、
   前記力センサ情報を用いて、前記アイテムを構成する構造を前記スロットを構成する対応する穴と整列させ、
   前記アイテムを前記スロットに挿入するよう構成されている、システム。
2. 請求項１に記載のシステムであって、
   前記プロセッサは、さらに、移動元容器から前記アイテムを把持するよう構成されている、システム。
3. 請求項１に記載のシステムであって、
   前記プロセッサは、さらに、高レベル目標を受信し、前記アイテムを前記位置に移動させることなどによって、前記高レベル目標を達成するための計画を生成して実施するよう構成されている、システム。
4. 請求項１に記載のシステムであって、
   前記プロセッサは、位置制御を用いて、前記アイテムを前記位置に移動させるよう構成されている、システム。
5. 請求項１に記載のシステムであって、
   前記スロットは、移動先容器内に備えられている、システム。
6. 請求項５に記載のシステムであって、
   前記対応する穴は、基板に規定された穴を含む、システム。
7. 請求項６に記載のシステムであって、
   前記基板は、発泡体またはその他のインサートを含む、システム。
8. 請求項１に記載のシステムであって、
   前記穴は、第１穴を含み、前記スロットは、１または複数のその他の穴を備える、システム。
9. 請求項８に記載のシステムであって、
   前記穴の内の１または複数の穴が、前記穴の内の１または複数の穴とは異なる形状または寸法を有する、システム。
10. 請求項１に記載のシステムであって、
    前記プロセッサは、前記力センサ情報を用いて、前記アイテムを構成する前記構造を前記スロットを構成する前記対応する穴と整列させるために、力制御プリミティブを呼び出すよう構成されている、システム。
11. 請求項１に記載のシステムであって、
    前記プロセッサは、少なくとも部分的には、探索アルゴリズムによって決定された位置に前記アイテムを再配置して、垂直下向きの力を印加することにより、前記力センサ情報を用いて、前記アイテムを構成する前記構造を前記スロットを構成する前記対応する穴と整列させるよう構成されている、システム。
12. 請求項１に記載のシステムであって、
    前記プロセッサは、前記力センサ情報に少なくとも部分的に基づいて、前記位置および前記スロットに関連する移動先容器が、期待されている向きとは異なる検出向きにあることを検出するよう構成されている、システム。
13. 請求項１２に記載のシステムであって、
    前記プロセッサは、さらに、前記移動先容器が、期待されている向きとは異なる前記検出向きにあることを検出したことに少なくとも部分的に基づいて、前記移動先容器を構成する１または複数のスロットの位置情報を再マッピングするよう構成されている、システム。
14. 請求項１２に記載のシステムであって、
    前記検出向きは、前記期待されている向きと約１８０度異なり、前記プロセッサは、少なくとも部分的には、前記アイテムを引き出し、前記アイテムを１８０度回転させ、前記スロットに関連する再マッピングされた位置に前記アイテムを移動させることにより、前記アイテムを前記スロットに挿入するよう構成されている、システム。
15. 方法であって、
    アイテムが挿入されるスロットの近くの位置に前記アイテムを移動させるように、ロボットアームを制御する工程と、
    通信インターフェースを介して、力センサによって生成された力情報を受信する工程と、
    前記力センサ情報を用いて、前記アイテムを構成する構造を前記スロットを構成する対応する穴と整列させる工程と、
    前記アイテムを前記スロットに挿入する工程と、
    を備える、方法。
16. 請求項１５に記載の方法であって、
    さらに、高レベル目標を受信する工程と、前記アイテムを前記位置に移動させることなどによって、前記高レベル目標を達成するための計画を生成して実施する工程と、を備える、方法。
17. 請求項１５に記載の方法であって、
    前記アイテムは、位置制御を用いて、前記位置に移動される、方法。
18. 請求項１５に記載の方法であって、
    前記スロットは、移動先容器内に備えられており、前記対応する穴は、基板に規定された穴を含む、方法。
19. 請求項１５に記載の方法であって、
    前記力センサ情報は、少なくとも部分的には、探索アルゴリズムによって決定された位置に前記アイテムを再配置して、垂直下向きの力を印加することにより、前記アイテムを構成する前記構造を前記スロットを構成する前記対応する穴と整列させるために用いられる、方法。
20. コンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体内に具現化され、
    アイテムが挿入されるスロットの近くの位置に前記アイテムを移動させるように、ロボットアームを制御するためのコンピュータ命令と、
    通信インターフェースを介して、力センサによって生成された力情報を受信するためのコンピュータ命令と、
    前記力センサ情報を用いて、前記アイテムを構成する構造を前記スロットを構成する対応する穴と整列させるためのコンピュータ命令と、
    前記アイテムを前記スロットに挿入するためのコンピュータ命令と、
    を備える、コンピュータプログラム製品。

Images