JP2022552630A - 非常に薄い物体または特徴部のロボット把持の検出 - Google Patents

Abstract

【解決手段】複数のセンサが、ロボットアームエンドエフェクタとアイテムとの係合に関連付けられている検知値を反映するそれぞれの出力を提供するよう構成されている。複数のセンサのそれぞれの出力は、ロボットアームエンドエフェクタとアイテムとの係合に関連付けられている判定を行うために用いられる。第１因子に関連付けられている第１入力を決定するために、第１センサによって測定される第１値が用いられる。第２因子に関連付けられている第２入力を決定するために、第２センサによって測定される第２値が用いられる。第１入力および第２入力は、第１入力および第２入力に少なくとも部分的に基づいて、ロボットアームエンドエフェクタとアイテムとの係合に関連付けられている出力を提供するよう構成されている多因子モデルに提供される。ロボットアームエンドエフェクタとアイテムとの係合に関連付けられている判定を行うために、多因子モデルの出力が用いられる。【選択図】図１

Description

他の出願への相互参照
本願は、名称を「ＤＥＴＥＣＴＩＮＧ ＲＯＢＯＴ ＧＲＡＳＰ ＯＦ ＶＥＲＹ ＴＨＩＮ ＯＢＪＥＣＴ ＯＲ ＦＥＡＴＵＲＥ」とする、２０１９年１０月２５日出願の米国仮特許出願第６２／９２６，１５５号に基づく優先権を主張し、その仮特許出願は、すべての目的のために参照により本明細書に組み込まれる。

ロボットシステムが、第１位置から第２位置へ１または複数のアイテムを移動させるタスクを課せられる場合がある。ロボットシステムは、１または複数のアイテムの内の１つを移動させるために選択する。ロボットシステムは、ロボットアームエンドエフェクタを用いて、選択したアイテムを把持する。しかしながら、選択アイテムのサイズまたは形状によっては、ロボットアームエンドエフェクタが実際に選択アイテムを把持したか否かを判定することが困難な場合がある。特に、非常に薄いアイテムまたは特徴部の把持の失敗と成功とを判別することは、互いに対するフィンガの位置がわずかに異なりうるだけなので、困難でありうる。

以下の詳細な説明および添付の図面において、本発明の様々な実施形態を開示する。

いくつかの実施形態に従って、アイテムをピックアンドプレースするためのシステムを示すブロック図。

いくつかの実施形態に従って、ロボットアームエンドエフェクタを示すブロック図。

いくつかの実施形態に従って、触覚検知ユニットを示すブロック図。

いくつかの実施形態に従って、異なる視点から触覚検知ユニットを示す図。

いくつかの実施形態に従って、異なる視点から触覚検知ユニットを示す図。

いくつかの実施形態に従って、磁気センサの一例を示す図。

いくつかの実施形態に従って、触覚検知ユニットを示す図。

いくつかの実施形態に従って、触覚検知ユニットを示す図。

いくつかの実施形態に従って、触覚検知ユニットを示す図。

いくつかの実施形態に従って、アイテムをピックアンドプレースするための処理を示すフローチャート。

いくつかの実施形態に従って、アイテムを把持するための処理を示すフローチャート。

は、いくつかの実施形態に従って、アイテムの把持が成功したか否かを判定するための処理を示すフローチャート。

いくつかの実施形態に従って、アイテムの把持が成功したか否かを判定するための処理を示すフローチャート。

本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実施されうる。本明細書では、これらの実施例または本発明が取りうる任意の他の形態が、技術と呼ばれうる。一般に、開示されている処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、或る時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。

以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。

ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するための技術が開示されている。様々な実施形態において、触覚検知ユニットが提供されている。触覚検知ユニットは、１または複数のセンサを備え、および／または、１または複数のセンサによって生成されたセンサ出力値を受信する。１または複数のセンサは、磁気センサ、光学センサ、電気機械センサ、圧力センサ、ひずみゲージ、力センサ、導電率センサ、電流センサ、電圧センサ、静電容量センサ、抵抗センサ、インダクタンスセンサ、赤外線センサ、温度センサ、などの内の１または複数を含んでよい。１または複数のセンサの各々は、ロボットアームエンドエフェクタとアイテム（「物体」とも呼ばれる）との係合に関連付けられている検知値を反映する出力を提供するよう構成されている。１または複数のセンサ出力は、ロボットアームエンドエフェクタとアイテムとの係合を示す１または複数の因子を決定するために用いられる。１または複数の因子は、重量、変形、導通、導電率、圧力、抵抗、インダクタンス、静電容量、または、ロボットアームエンドエフェクタの係合を示す任意のその他の因子、を含みうる。

触覚検知ユニットは、ロボットアームエンドエフェクタに関連付けられていてよい。ロボットアームエンドエフェクタは、２以上のフィンガを備えてよい。対応する触覚検知ユニットが、フィンガの各々に取り付けられていてよい。エンドエフェクタは、アイテムを係合するために、１または複数の吸着カップもしくはその他の構造を備えてよく、対応する触覚検知ユニットが、アイテムと係合するために用いられる吸着カップまたはその他の構造の各々に取り付けられていてよい。いくつかの実施形態において、１または複数の触覚検知ユニットは、フィンガの各々が、関連付けられた触覚検知ユニットを有するように、ロボットアームエンドエフェクタのフィンガ覆うように配置されている検知カバー（例えば、グローブ、ミトンなど）の中に備えられている。いくつかの実施形態において、１または複数の触覚検知ユニットは、ロボットアームエンドエフェクタに埋め込まれている。

触覚検知ユニットは、複数の検知層を備えてよい。検知層の各々は、１または複数のセンサを備えてよい。触覚検知ユニットは、導電層、変形層、および、基板層、の内の１または複数を備えてよい。アイテムとの係合時に、触覚検知ユニットのセンサの各々は、基準検知値（例えば、ロボットアームエンドエフェクタがアイテムと係合していない時の検知値）とは異なる対応する検知値を出力しうる。

導電層は、導通またはその他の電気特性（導電率、抵抗、静電容量、または、インダクタンス、など）の測定を可能にする導電材料（例えば、金属）を含んでよい。導電層は、エンドエフェクタの第１フィンガに取り付けられている第１触覚検知ユニットがエンドエフェクタの第２フィンガに取り付けられている第２触覚検知ユニットに接触した時に、第１および第２触覚検知ユニットの導電層が接触するように、触覚検知ユニットの最上層であってよい。ロボットアームエンドエフェクタがアイテムと係合すると、アイテムは、触覚検知ユニットの導電層が互いに接触するのを阻止する。しかしながら、ロボットアームエンドエフェクタがアイテムとの係合を試みたが失敗した場合、触覚検知ユニットの導電層は、互いに接触する。導電層は、導電層を用いて、１または複数の導通値、１または複数の導電率値、１または複数の抵抗値、１または複数の静電容量値、ならびに／もしくは、１または複数のインダクタンス値、を決定できるプロセッサに接続されている。

変形層は、誘電材料を含んでよい（例えば、シリコン、プラスチック、または、力に反応して変形しうる任意のその他の材料）。測定対象物が、誘電材料に挿入されていてよい。ロボットアームエンドエフェクタがアイテムと係合する前に、基準検知値が決定されていてよい。ロボットアームエンドエフェクタがアイテムと係合すると、検知値が、基準検知値と比較されてよい。検知値は、エンドエフェクタがアイテムの把持に成功したか失敗したかによって、異なりうる。

いくつかの実施形態において、複数の磁石が、誘電材料に挿入されている。複数の磁石は、グリッド（例えば、２Ｄグリッドまたは３Ｄグリッド）パターンまたは非グリッドパターンに配列されていてよい。１または複数の磁石が、誘電材料の縁部境界上に配置されていてよい。複数の磁石は、基板層上に配置された磁気センサに関連付けられていてよい。磁気センサは、ロボットアームエンドエフェクタがアイテムと係合する前に基準磁場を検出してよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、複数の磁石の内の１または複数を変位させる。この変位は、磁気センサによって検知される磁場の変化を引き起こす。磁気センサは、プロセッサに接続されており、プロセッサは、磁場の変化を用いて、重量値および／または変形値を決定してよい。

いくつかの実施形態において、複数のマーカが、誘電材料に埋め込まれている。複数のマーカは、グリッドパターンまたは非グリッドパターンに配列されていてよい。グリッドパターンは、２Ｄグリッドパターンまたは３Ｄグリッドパターンであってよい。複数のマーカは、基板層上に配置された画像センサに関連付けられていてよい。画像センサは、ロボットアームエンドエフェクタがアイテムと係合する前にマーカすべてに対して基準位置を検出してよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、複数のマーカの内の１または複数を変位させる。この変位は、画像センサによって検知されるマーカ位置の変化を引き起こす。画像センサは、プロセッサに接続されており、プロセッサは、マーカ位置の変化を用いて、重量値および／または変形値を決定してよい。

いくつかの実施形態において、反射材料が、誘電材料に埋め込まれ、エミッタおよびレシーバが、基板層上に配置されている。エミッタは、反射材料で反射される信号を送信してよく、反射された信号は、レシーバで受信される。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、信号がどのように誘電材料を通過するのかを変化させる。係合は、レシーバで受信される反射信号の振幅を基準信号振幅から変化させる。レシーバセンサは、プロセッサに接続されており、プロセッサは、信号振幅の変化を用いて、重量値および／または変形値を決定してよい。

いくつかの実施形態において、変形を検出できる１または複数の電気機械センサ（例えば、ひずみゲージ）が、誘電材料に埋め込まれている。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、１または複数の電気機械センサに関連付けられている抵抗を変化させる。１または複数の電気機械センサは、プロセッサに接続されており、プロセッサは、抵抗の変化を用いて、重量値および／または変形値を決定してよい。

いくつかの実施形態において、誘電材料は、気体、空気、または、液体を含む柔軟な膜（例えば、サック、パウチ）を備えてよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、柔軟な膜に関連付けられている圧力を変化させる。圧力は、圧力センサによって検出されてよく、プロセッサが、圧力の変化を用いて、重量値および／または変形値を決定してよい。

いくつかの実施形態において、基板層は、１または複数のセンサを支持するよう構成されている材料であり、ロボットシステムに関連付けられているプロセッサに１または複数のセンサを電気接続する。

様々な実施形態において、把持の試行時に、本明細書に開示されているロボットシステムは、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、１または複数のセンサを用いて静的測定を実行する。静的測定は、ロボットアームエンドエフェクタが静止状態のアイテムを把持し、１または複数のセンサの出力を測定することを含んでよい。１または複数のセンサの出力は、１または複数の因子の値を決定するために、１または複数のセンサに関連付けられている対応する基準出力（すなわち、ロボットアームエンドエフェクタがアイテムを把持していない時の出力）と比較されてよい。

また、ロボットシステムは、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、複数のセンサを用いて動的測定を実行してよい。例えば、最初の把持の後、ロボットアームエンドエフェクタの向きが変更されてよく、ロボットアームエンドエフェクタが変化している間に、複数のセンサの出力を用いて、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かが判定されてよい。

１または複数の触覚検知ユニットは、プロセッサに接続されている。ロボットアームエンドエフェクタは、同様にプロセッサに接続されているその他のセンサを備えてもよい。例えば、ロボットアームエンドエフェクタのフィンガをロボットアームに接続するハウジング（例えば、「手首ハウジング」）が、力および／またはトルクを測定するために用いられる１または複数のセンサを備えてよい。１または複数のハウジングセンサは、ロボットアームエンドエフェクタの重量に対して標準化するように検知重量をフィルタリングするために用いられてよい。ハウジングの１または複数のセンサに関連付けられているセンサ出力は、１または複数の因子を決定するために用いられてよい。複数のセンサ（例えば、１以上の触覚検知ユニットセンサおよび／または１以上のハウジングセンサ）は、それらの対応する出力をプロセッサに提供する。プロセッサは、センサ出力を用いて、ロボットアームエンドエフェクタとアイテムとの間の係合に関連付けられている１以上の力および／または１以上のモーメントを決定してよい。プロセッサは、センサ出力を用いて、触覚検知ユニットの各々に関連付けられている力およびモーメントを決定してよい。

プロセッサは、センサ出力を用いて、複数の因子に対応する値を決定してよい。例えば、検知された重量、検知された変形、検知された導通、検知された導電率、検知された圧力、検知された抵抗、検知されたインダクタンス、および／または、検知された静電容量が決定されてよい。複数の因子は各々、係数に関連付けられている。いくつかの実施形態において、複数の因子は、均等に重み付けされる（例えば、それらは各々、関連付けられた係数「１」を有する）。いくつかの実施形態において、複数の因子の一部は、異なる重みを有する。例えば、アイテムは、金属アイテムであってよく、導通因子に関連付けられている係数は、変形因子に関連付けられている係数よりも小さくてよい。

プロセッサは、ロボットアームエンドエフェクタがアイテムを把持したか否かを判定するために、多因子モデルを実装してよい。多因子モデルは、ルールベースモデル、予測モデル、機械学習モデル（例えば、ニューラルネットワーク、線形分類器、サポートベクターマシン、線形回帰、ロジスティック回帰、決定木、深層学習、など）、などであってよい。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否か（例えば、係合／非係合）に関する二分決定を出力するよう構成されている。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否かの確率を出力するよう構成されている。

複数の因子に関連付けられている値およびそれらに対応する係数は、多因子モデルに入力として提供される。入力は、多因子モデルに適用され、ロボットシステムは、多因子モデルの出力に基づいて応答動作を実行するよう構成されている。いくつかの実施形態において、ロボットシステムは、第１位置から第２位置へアイテムを移動させる。いくつかの実施形態において、ロボットシステムは、アイテムの再把持を試みる。いくつかの実施形態において、ロボットシステムは、人的介入を要求する。いくつかの実施形態において、ロボットアームエンドエフェクタは、アイテムを把持することができず、異なるアイテムを選択して把持する。

触覚検知ユニットと多因子モデルを用いることで、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを正確に判定することが可能になる。複数のセンサは、同じ結論（すなわち、ロボットアームエンドエフェクタがアイテムの把持に成功したか失敗したか）を裏づけるデータ点を異なる視点から提供しうる。単一因子アプローチは、ロボットシステムの意思決定プロセスにバイアスをかけうる。例えば、ロボットシステムは、ロボットアームエンドエフェクタのフィンガ間の導通のみを因子として用いてよい。ロボットシステムは、アイテムの把持に成功しうるが、そのアイテムが導電性の場合がある。唯一の因子として導通を用いることで、ロボットシステムがアイテムの把持に成功しなかったと判定させる可能性がある。対照的に、複数の因子を用いれば、意思決定プロセスにおいてバランスの取れたアプローチがロボットシステムに提供される。

図１は、いくつかの実施形態に従って、アイテムをピックアンドプレースするためのシステムを示すブロック図である。図の例において、ロボットシステム１０１が、環境１００内で動作している。ロボットシステム１０１は、固定ベース１０４上に取り付けられたロボットアーム１０２を構成する複数のジョイントされたセグメントと、エンドエフェクタ１０８と、１または複数のセンサ１３４と、コントローラ１０６と、を備える。ロボットアーム１０２は、ロボットアーム１０２とロボットアーム１０２の遠位端に取り付けられたエンドエフェクタ１０８とを操作するよう構成されたコントローラ１０６に接続されている。いくつかの実施形態において、コントローラ１０６は、ロボットアーム１０２および／またはエンドエフェクタ１０８を含む剛体要素の間のそれぞれのジョイントの各々に構成されたモータへ、電圧および／またはその他の信号、入力などを供給して、対応するトルクをそれぞれのモータに印加させることで、モータの回転子に結合された要素をモータの非回転子が結合された要素に対して移動させることにより、ロボットアーム１０２およびエンドエフェクタ１０８を制御する。エンドエフェクタ１０８は、吸着グリッパ、平行グリッパ、ソフトグリッパ、器用グリッパ（ｄｅｘｔｅｒｏｕｓ ｇｒｉｐｐｅｒ）、などを含んでよい。ロボットシステム１０１は、複数のエンドエフェクタを備え、アイテムを把持するのに最も適したエンドエフェクタを選択してよい。例えば、エンドエフェクタは、アイテムのテクスチャに基づいて選択されてよい。ロボットシステム１０１は、アイテムがあまりに多くのしわのある領域を有する場合に、吸着グリッパの代わりに平行グリッパを選択してよい。

図１に示す例において、ロボットアーム１０２は、テーブルまたはその他の表面１１０（例えば、作業空間エリア）から、アイテム（図の例では、異なる形状のアイテム１１２、１１４、および、１１６など）をピックアップして、コンベヤベルト１１８（荷下ろしエリア）の上にそれらをプレースするために用いられている。図に示すように、ロボットアーム１０２は、以前に、コンベヤベルト１１８上にアイテム１２０を配置するために用いられ、コンベヤベルト１１８は、アイテム１２０がまもなくコンベヤベルト１１８から目的地１２２へ落ちるような方向に回転している。作業空間エリアは、動くプラットフォーム（ベルトコンベヤまたは回転するプラットフォームなど）もしくは動かないエリアを含んでよく、そこに、山積みのアイテム（安定または不安定）が配置されている。

様々な実施形態において、図１に示す「ピックアンドプレース」動作は、ロボットアーム１０２と、エンドエフェクタ１０８と、コントローラ１０６とを備えたロボットシステム１０１によって、少なくとも部分的には自律動作モードで実行される。例えば、いくつかの実施形態において、コントローラ１０６および／または１以上のその他の制御装置（プロセッサ、メモリ、および、その他の構成要素を備えたコンピュータなど）は、図１に示すピックアンドプレース動作を実行するようプログラムされている。例えば、いくつかの実施形態において、プログラマまたはその他のオペレータは、ロボットシステム１０１が、自身の環境１００と、一方ではテーブル１１０上のアイテム（または、いくつかの実施形態においては、テーブル１１０に関連付けられている座標のセットまたはその他の位置）に対する自身の位置、および、コンベヤベルト１１８に対する自身の位置と、を認識させるよう、ロボットシステム１０１をプログラムまたはその他の方法で構成した場合がある。

いくつかの実施形態において、ロボットシステム１０１は、戦略のライブラリまたはその他のリポジトリを用いて、ピックアンドプレース動作および／またはその一部を実行するようプログラムされ、または、その他の方法で構成されている。例えば、ロボットシステム１０１は、その現在位置および環境１００の認識を用いてテーブル１１０の上方の位置にエンドエフェクタ１０８を配置するよう構成されていてよい。コンピュータビジョンまたはその他の技術が、次にピックアップするアイテムの識別および選択のために用いられてよく、アイテムをピックアップするための戦略が、自律的に（例えば、アイテムの位置、形状、向き、提示された側面、テクスチャ、剛性などに基づいて）選択されてよい。

例えば、図１に示す例において、ロボットシステム１０１は、アイテム１１２に関連付けられている特徴部を立方体形状を有するものとして認識し、アイテム１１２をピックアップする前に、立方体形状のための把持戦略を選択した可能性がある。ロボットは、ピラミッド形状を有するものとしてアイテム１１４を認識し、ピラミッド形状のための把持戦略を選択してもよい。ロボットは、円柱形状を有するものとしてアイテム１１６を認識し、円柱形状のための把持戦略を選択してもよい。

環境１００は、複数のカメラ（カメラ１１５、１１７など）を備える。図１は、２個のカメラを有する環境１００を示しているが、環境１００は、ｎ個のカメラを備えてよく、ここで、ｎは、１より大きい数である。複数のカメラは、ロボットシステム１０１に有線または無線で接続されていてよい。いくつかの実施形態において、複数のカメラの内の少なくとも１つは、固定位置にある。いくつかの実施形態において、複数のカメラの内の少なくとも１つは、動的に移動している（例えば、ドローンなどの移動物体に取り付けられている）。いくつかの実施形態において、複数のカメラの内の少なくとも１つは、静止することと、異なる位置へ移動されることが可能である（例えば、第１位置でアイテムを検出し、カメラを第２位置に移動させ、第２位置でアイテムを検出する）。いくつかの実施形態において、１または複数のアイテムの認識された表面特徴部の変化を検出するために、様々な照明条件が環境１００内で用いられる。

複数のカメラを用いることで、ロボットシステム１０１は、異なる視点から環境１００を見ることができるようになる。これは、アイテムが隠されることを防ぎ、アイテムの幾何形状およびアイテムの境界のより正確な評価を与える。例えば、カメラが大きいアイテムの隣の小さいアイテムを捕らえることを阻むように、大きいアイテムが配置されている場合がある。異なる位置から複数のカメラを用いることで、小さいアイテムが見えるようになり、小さいアイテムに関連付けられている境界情報を決定できようになる。広い作業空間は、単一のカメラでは網羅されえない。複数のカメラに関連付けられているビューが、作業空間エリア１１０のより完全なビューをロボットシステム１０１に与えるために、マージされてよい。カメラの内の１つが遮られても、ロボットシステム１０１は、アイテムをピックアンドプレースすることができる。

いくつかの実施形態において、ロボットシステム１０１は、複数のカメラの内の１または複数によって生成された点群に基づいて、アイテムを分割する。ロボットシステム１０１は、ＲＢＧまたはマルチスペクトルカメラ画像（例えば、ＲＧＢ、Ｄｅｐｔｈ、および／または、赤外線の組みあわせ、など）に基づいて、アイテムを分割できる。分割された物体は、潜在的に把持可能な領域を決定できるように、点群に逆投影されうる。これにより、点群情報のみに基づいてアイテムを分割した場合には利用できないさらなる情報（アイテムタイプ、予測される重量／材料、好ましい把持戦略、など）が提供される。この複合的な分割戦略は、深度のみでは区別しにくいアイテム（例えば、密に詰められた小さい箱は、点群としては１つの平面に見えうる）をピックする際にうまく機能するが、点群情報と組み合わせて画像分割を利用することで、ロボットシステム１０１は、各箱を識別し、入力から箱を抽出することができる。

いくつかの実施形態において、ロボットシステム１０１は、テーブル１１０（例えば、作業空間エリア）からコンベヤベルト１１８（例えば、荷下ろしエリア）へ未知のアイテムを自律的にピックアンドプレースする。ロボットシステム１０１は、カメラ１１５、１１７を用いて、アイテム１１２、１１４、１１６が、テーブル１１０に配置されたことを判定してよい。コントローラ１０６は、カメラ１１５、１１７から受信された視覚データ（例えば、点群データ）に基づいて、幾何情報を決定する。コントローラ１０６は、カメラ１１５、１１７から受信された視覚データから決定された幾何情報に対応するアイテム１１２、１１４、１１６について、対応する潜在的に把持可能な特徴部を選択する。例えば、カメラ１１５、１１７から受信された視覚データに基づいて、コントローラ１０６は、アイテム１１２が立方体形状に対応する把持可能な特徴部を備え、アイテム１１４がピラミッド形状に対応する把持可能な特徴部を備え、アイテム１１６が円柱形状を備える、と判定しうる。コントローラ１０６は、閾値の範囲内で幾何学的物体と最もよく似ている把持可能な特徴部を選択してよい。例えば、コントローラ１０６は、決定された幾何情報を既知の特徴部のライブラリと比較し、その比較に基づいて、アイテムの特徴部を選択してよい。いくつかの実施形態において、特徴部は、カノニカル形状である。コントローラ１０６は、把持されるアイテム上にカノニカル形状を重ね合わせてよい。

アイテムに関連付けられている１または複数の把持可能な特徴部を決定するために、コントローラ１０６は、アイテムの平面をランダムに切断して、アイテムを複数のサブセグメントに分解してよい。アイテムは、点群のデータ点の占有率が最小の平面で切断されてよい（アイテムの上部にある尖った特徴部を把持することに関連する）。アイテムの平面は、アイテムの色または外観の強い勾配に基づいて切断されてよい。いくつかの実施形態において、一般的な生成済みのサブ領域内の点群に外れ値があるかどうかを判定するために、メンバーシップ関数が用いられる。さらなる切断平面が、追加されてよく、または、アイテムが、高い剰余を持つ分離領域に分けられてよい。サブセグメントは、別々に処理されてよい。例えば、外れ値検出技術が、サブセグメントに適用されてよい。いくつかの実施形態において、５σが、ガウス分布を点にフィットさせ、平均から５σ（標準偏差）離れた点を識別し、識別された点を外れ値としてマークする。いくつかの実施形態において、点群にサブサンプリング法を利用し、平均に再フィットさせる。次いで、それらの点は、平均から特定の距離だけ離れた点を見つけるために用いられる。

いくつかの実施形態において、アイテムのサブセグメントが、エンドエフェクタ１０８によるアイテムとの相互作用のリーチに基づいて、決定される。例えば、エンドエフェクタ１０８が、幅の広いアイテム全体を把持することができない場合、コントローラ１０８は、アイテムの幅広部分でアイテムを把持しないことを決定する。吸着グリッパエンドエフェクタが利用されている場合、比較的滑らかな平面が探される。空所ベースのピック戦略または最小占有切断平面が、回避されてよい。プリミティブが、新たに分割された点群に再フィットされる。処理は、或るレベルの品質または再帰制限が満たされるまで、反復的に繰り返されてよい。

コントローラ１０６は、カメラ１１５、１１７から受信された視覚データに基づいて、アイテムに関連付けられているネガティブスペース情報（例えば、空所）を決定してよい。例えば、コントローラ１０６は、コーヒーマグの取っ手がネガティブスペースを含むこと、または、車のタイヤがネガティブスペースを含むことを決定してよい。複数のカメラからのデータを用いるコンピュータビジョンアルゴリズムが、カップ、マグカップ、巻かれたワイヤ、テープなどのアイテムの空所（例えば、穴）を決定してよい。空所が検出された場合、グリッパを空所に挿入して、アイテムの側壁からアイテムをピックすることにより、アイテムを把持することができる。

コントローラ１０６は、カメラ１１５、１１７から受信された視覚データに基づいて、ピックされるアイテムの湾曲を判定してよい。コントローラ１０６は、アイテムが湾曲していると判定した場合、コントローラ１０６は、プレース時にアイテムが転がって行くのを防ぐために、湾曲したアイテムをより慎重にプレースし、ゆっくりと把持解除するように、アイテムのプレースに関連する制御戦略を変更してよい。カメラ１１５、１１７から受信された視覚データにより、アイテムの把持が最初に解放された後に、プレースされたアイテムが転がっている、または、動いていることが示唆された場合、コントローラ１０６は、アイテムを再び把持し、把持が再び解放される前にアイテムを安定させようとしてよい。コントローラ１０６が閾値回数を超えてアイテムの把持／再把持を試みた場合、警告が、ユーザ１３０に提供され、アイテムが転がって行く可能性があることをユーザ１３０に警告してよい。

コントローラ１０６は、カメラ１１５、１１７から受信された視覚データに基づいて、アイテム１１２、１１４、１１６に関連付けられている対応する特徴部を決定する。例えば、コントローラ１０６は、アイテムが取っ手を備えると判定しうる。カメラから受信された視覚データは、アイテムに関連付けられている最小境界と、アイテムに関連付けられている最大境界とを決定するために用いられてよい。アイテムの境界は、アイテムに関連付けられている高さ、幅、または、奥行きを備える。視覚データは、アイテムの境界の内の１または複数を決定することを可能にするデータを提供しうる。例えば、第１カメラが、第１角度でアイテムの方を向いていてよい。第１カメラは、アイテムの高さおよび幅に関する情報を提供しうるが、アイテムの奥行き情報を提供できない。第２カメラが、第２角度でアイテムの方を向いていてよい。第２カメラは、アイテムの奥行きおよび高さに関する情報を提供しうるが、アイテムの幅に関する情報を提供できない。コントローラ１０６は、アイテムに関連付けられている境界情報（推定、近似、または、正確な情報）を決定するために、複数のカメラから受信した視覚情報をマージしてよい。例えば、コントローラ１０６は、アイテムの高さおよび幅を決定できるが、奥行きを決定できないことがある。コントローラ１０６は、アイテムの奥行きが特定の範囲の値内にあると決定してよい。

アイテムに関連付けられている最小境界は、アイテムが有しうる特定の寸法の最小値に対応する。アイテムに関連付けられている最大境界は、アイテムが有しうる特定の寸法の最大値に対応する。例えば、第１カメラは、第１アイテムと、第１アイテムの背後にある第２アイテムとを検出しうる。コントローラ１０６は、第１カメラからの視覚データに基づいて、第２アイテムが第１アイテムの１２インチ（３０４．８ミリメートル）後方にあると判定しうる。第１アイテムおよび第２アイテムが接触している場合、第１アイテムが有しうる奥行き寸法の最大値は１２インチである。第１アイテムが有しうる奥行き寸法の最小値は、その寸法の閾値最小サイズ（例えば、１／８インチ（３．１７５ミリメートル）、１／４インチ（６．３５ミリメートル）、１／２インチ（１２．７ミリメートル）、１インチ（２５．４ミリメートル）、など）である。閾値最小サイズは、履歴的に既知のアイテム、同様の寸法を持つ既知のアイテム、アイテムのコンテキスト、アイテムのタイプ、などに基づいてよい。

コントローラ１０６は、把持戦略を特徴部と関連付けるデータ構造を格納するメモリ（図示せず）に関連付けられている。把持戦略は、把持技術、および、その把持技術を用いて特徴部を把持する方法を含んでよい。いくつかの実施形態において、把持戦略は、物体／セグメントの幾何推定にフィットされうる境界ボックスの長軸および短軸を把持することを含む。いくつかの実施形態において、把持戦略は、或るＺ方向の高さでアイテム／セグメント推定を切断し、境界ボックスを再計算することを含む。次いで、再計算された境界ボックスの長軸および短軸が把持されてよい。これは、アイテムが幅広いベースを有するが、中央のどこかに小さいタワーを有し、ロボットシステムが、そのタワーを正確に把持したい場合に、有効である。メモリは、把持技術を実行する方法に関する命令も格納する。それらの命令は、他のアイテムへの衝突を避けるために必要に応じて、グリッパを部分的に事前に閉じる指示を含んでよい。メモリは、プレース技術を実行する方法に関する命令も格納する。それらの命令は、エンドエフェクタ１０８が、荷下ろしエリアでアイテムをプレースする際に他のアイテムを乱さないように、エンドエフェクタ１０８のグリッパフィンガを部分的に開く命令を備えてよい。メモリは、エンドエフェクタのメカニズムおよび幾何形状に関する情報も格納する（例えば、平行グリッパ対吸着グリッパ、グリッパフィンガの幅／長さ、など）。

把持技術は、１または複数の特徴部に関連付けられてよい。例えば、ピラミッド形状に対応する把持可能な特徴部、立方体形状に対応する把持可能な特徴部、または、平行六面体形状に対応する把持可能な特徴部を備えたアイテムには、吸着技術が用いられてよい。球形状に対応する把持可能な特徴部を備えたアイテムには、平行把持技術が用いられてよい。特徴部は、１または複数の把持技術に関連付けられてよい。例えば、球形状に対応する把持可能な特徴部には、平行把持技術またはすくい上げ技術が用いられてよい。様々なタイプのグリッパが、特定の形状を有する特徴部を把持するために用いられてよい。例えば、第１把持技術が、平行グリッパを利用してよく、第２把持技術が、吸着グリッパを利用してよい。いくつかの実施形態において、グリッパのタイプは、ピックアンドプレース動作中にグリッパタイプの間で自律的に切り替えられる。把持技術は、特徴部の様々な部分に用いられてよい。例えば、平行把持技術が、特徴部の上部、中間部、または、底部に用いられてよい。コントローラ１０６は、特徴部に関連付けられた把持戦略の各々に対して、対応するスコアを決定する。いくつかの実施形態において、アイテムは、複数の特徴部に関連付けられる。コントローラ１０６は、複数の特徴部の各々に対する１または複数の把持技術を決定し、決定した把持技術に対して、対応するスコアを決定してよい。

把持技術に関連付けられるスコアは、把持戦略が特徴部の把持の成功につながる確率に基づいてよい。把持戦略が特徴部の把持の成功につながる確率は、１または複数の因子（環境に関するコンテキスト情報、環境に対する履歴把持情報、ロボットアームが特徴部を把持する角度（他のアイテムとの衝突を避けるため）、ロボットアームが特徴部を把持する高さ（グリッパの上部における衝突を防ぐため）、把持幅、把持点における表面法線の向き、把持可能な特徴部の量、材料特性、など）に基づいてよい。環境に関するコンテキスト情報は、アイテムの近くにあるかまたは隣接する他のアイテムの存在、アイテムの近くにあるかまたは隣接する他のアイテムがロボットアームによる特徴部の把持の能力を妨げる程度、さらなるアイテムが作業空間エリアに連続的に追加されているか否か、などを含む。材料特性は、アイテムの重心、アイテムの摩擦特性、色、反射率、などを含みうる。例えば、ロボットシステム１０１は、大きいアイテムを安定してプレースすることができるように、大きい支持面を構築してよい。ロボットシステム１０１は、アイテムおよびプレース支持面の摩擦係数を考慮して、アイテムが傾いたプレース支持面から滑り落ちる可能性があることを検出した場合、（例えば、滑りを避けるために）十分に高い摩擦係数を持つアイテムのみをピックするように選択するよう構成されていてよい。

コントローラ１０６は、把持戦略の各々に関連付けられた対応するスコアに基づいて、把持戦略の１つを選択する。アイテムは、雑然と山積みにされたアイテムの多様な集まりでありうる。アイテムは、サイズ、色、高さ、幾何形状、テクスチャ、剛性、などが異なりうる。アイテムは、一つずつ山から取り去られる。アイテムのいくつかは、少なくとも部分的に遮蔽されている。雑然とした山の中のすべてのアイテムが、事前には未知である。コントローラ１０６は、最高スコアを持つ把持戦略を選択する。２以上の把持戦略が同じ高スコアを有する場合、コントローラ１０６は、把持戦略の１つを選択し、その把持戦略に関連付けられた特徴部をピックし、アイテムを荷下ろしエリアに移動させ、次いで、他の把持戦略に関連付けられた残りのアイテムを選択する。

コントローラ１０６は、アイテムに関連付けられている特徴部をエンドエフェクタ１０８に把持させる。図の例において、コントローラ１０６は、エンドエフェクタ１０８にアイテム１１２をすでに把持させている。コントローラ１０６は、グリッパメカニズムおよび幾何形状に関する事前知識を用いて、把持予測問題を単純化してよい。例えば、エンドエフェクタ１０８が、上方からアイテム（アイテム１１２など）にアプローチする場合、コントローラ１０６は、把持可能な突起を識別するために点群の上部分を解析する。いくつかの実施形態において、ロボットシステムが移動するにつれて、カメラ１１５、１１７は、さらなるデータ（例えば、より近い場所、異なる角度、異なる照明、反射率、など）を収集し、ロボットシステム１０１は、新しいデータに基づいてエンドエフェクタ１０８にアイテムを把持させる方法を調整する。

アイテムの把持点が、アイテムのメッシュ化または分割されたバージョンを用いて決定されてよい。把持されるアイテムの近似が構築され、ライブラリまたは機械学習法を用いたモデルマッチングが、アイテムの最適な把持位置を決定するために用いられる。把持点は、ランク付けされる。コントローラ１０６は、エンドエフェクタ１０８に、把持点の１つでアイテムを把持させる。

様々な実施形態において、エンドエフェクタ１０８は、本明細書に開示されているように、１または複数の触覚検知ユニット（図示せず）を備える。システムは、触覚検知ユニットからの検知値を用いて、アイテムの把持が成功したか否かを判定する。触覚検知ユニットは、１または複数のセンサを備える。１または複数のセンサの各々は、エンドエフェクタ１０８のアイテム（アイテム１１２など）との係合に関連付けられている検知値を反映する出力を提供するよう構成されている。センサ出力の内の１または複数が、エンドエフェクタ１０８のアイテムとの係合を示す１または複数の因子を決定するために用いられる。

１または複数のセンサは、磁気センサ、光学センサ、電気機械センサ、圧力センサ、ひずみゲージ、力センサ、導電率センサ、電流センサ、電圧センサ、静電容量センサ、抵抗センサ、インダクタンスセンサ、赤外線センサ、温度センサ、などの内の１または複数を含んでよい。１または複数の因子は、重量、変形、導通、導電率、圧力、抵抗、インダクタンス、静電容量、または、ロボットアームエンドエフェクタの係合を示す任意のその他の因子、を含みうる。

１または複数の触覚検知ユニットは、コントローラ１０６に接続されている。エンドエフェクタ１０８は、同様にコントローラ１０６に接続されているその他のセンサを備えてもよい。例えば、エンドエフェクタ１０８のフィンガをロボットアーム１０２に接続するハウジングが、力および／またはトルクを測定するために用いられる１または複数のセンサを備えてよい。複数のセンサ（１以上の触覚検知ユニットセンサおよび／または１以上のハウジングセンサ）は、それらの対応する出力をコントローラ１０６に提供する。コントローラ１０６は、センサ出力を用いて、エンドエフェクタ１０８とアイテム（アイテム１１２など）との間の係合に関連付けられている１以上の力および／または１以上のモーメントを決定してよい。コントローラ１０６は、センサ出力を用いて、触覚検知ユニットの各々に関連付けられている力およびモーメントを決定してよい。

コントローラ１０６は、センサ出力を用いて、複数の因子に対応する値を決定してよい。例えば、検知された重量、検知された変形量、検知された導電率、検知された圧力、検知された抵抗、検知されたインダクタンス、および／または、検知された静電容量が決定されてよい。複数の因子は各々、係数に関連付けられている。いくつかの実施形態において、複数の因子は、均等に重み付けされる（例えば、それらは各々、関連付けられた係数「１」を有する）。いくつかの実施形態において、複数の因子の一部は、異なる重みを有する。例えば、選択アイテムは、金属物体であってよく、導電率因子に関連付けられている係数は、変形因子に関連付けられている係数よりも小さくてよい。

コントローラ１０６は、ロボットアームエンドエフェクタがアイテムを把持したか否かを判定するために、多因子モデルを実装してよい。多因子モデルは、ルールベースモデル、予測モデル、機械学習モデル（例えば、ニューラルネットワーク、線形分類器、サポートベクターマシン、線形回帰、ロジスティック回帰、決定木、深層学習、など）、などであってよい。いくつかの実施形態において、多因子モデルは、エンドエフェクタ１０８がアイテムと係合しているか否か（例えば、係合／非係合）に関する二分決定を出力するよう構成されている。いくつかの実施形態において、多因子モデルは、エンドエフェクタ１０８がアイテムと係合しているか否かの確率を出力するよう構成されている。

複数の因子に関連付けられている対応する値およびそれらに対応する係数は、多因子モデルに入力として提供される。入力は、多因子モデルに適用され、ロボットシステム１０１は、多因子モデルの出力に基づいて応答動作を実行するよう構成されている。いくつかの実施形態において、ロボットシステム１０１は、テーブル１１０からコンベヤベルト１１８へ選択アイテムを移動させる。いくつかの実施形態において、ロボットシステム１０１は、選択アイテムの再把持を試みる。いくつかの実施形態において、ロボットシステム１０１は、人的介入を要求する。いくつかの実施形態において、エンドエフェクタ１０８は、選択アイテムを把持することができず、異なるアイテムを選択して把持する。

エンドエフェクタ１０８は、アイテム（この例では、アイテム１１２）を荷下ろしエリア（コンベヤベルト１１８など）へ移動させる。エンドエフェクタ１０８は、アイテムを荷下ろしエリアにプレースする。ロボットシステム１０１は、複数のカメラを用いて、ロボットシステム１０１がアイテムをプレースすべきと考える場所の近くの位置にアイテムをプレースしてよい。ロボットシステム１０１は、荷下ろし位置にアイテムを降ろし、荷下ろしエリアがアイテムを押し戻す力をロボットシステム１０１が感知したのを検出してよい。いくつかの実施形態において、ロボットシステム１０１は、アイテムの底部と荷下ろしエリアとの間の衝突時の機械的振動を用いて、荷下ろしエリアがアイテムを押し戻す力を感知する。ロボットシステム１０１は、荷下ろしエリアに到達したことを検出すると、エンドエフェクタ１０８を開き、または、吸着を停止して、アイテムを穏やかに降ろす。エンドエフェクタ１０８を開いている間に、ロボットシステム１０１は、プレースする力を制御するために上下に移動してよい（接触している間にグリッパを開くと、アイテムを潰すことがある）。これにより、ロボットシステム１０１は、プレース面の高さの推定値が誤差を含みやすくまたは未知である場合に、アイテムを積み重ねること、もしくは、プレース高さを動的に調整することができるようになる。これは、他のアイテムが邪魔になる場合にも役立つ。いくつかの実施形態において、ロボットシステム１０１は、転がり落ちうる任意のアイテムが荷下ろしエリアにプレースされるか否かを判定する。転がり落ちる可能性のあるアイテムがない場合、コントローラ１０６は、１または複数の他のアイテムをプレースするためのスペースを作るように荷下ろしエリアにすでにあるアイテムを押して互いに近づけるよう、ロボットアーム１０２およびエンドエフェクタ１０８を制御してよい。転がり落ちるかまたは転倒する可能性のあるアイテムがある場合、コントローラ１０６は、アイテムを回転させてアイテムの安定した支持面を荷下ろしエリア上にプレースするよう、ロボットアーム１０２およびエンドエフェクタ１０８を制御してよい。

様々な実施形態において、ロボットシステム１０１は、遠隔操作による介入を自動的にプロンプトする。いくつかの実施形態において、図１に示すピックアンドプレース動作を実行する過程で、ロボットシステム１０１がその動作を（さらに）実行するための（次の）戦略を決定できない状態に至った場合、ロボットシステム１０１は、遠隔操作で手助けするように（この例では）遠隔オペレータにプロンプトする。

図の例において、コントローラ１０６は、ネットワーク１２４を介して遠隔操作コンピュータ１２６に接続されている。いくつかの実施形態において、遠隔操作コンピュータ１２６は、例えば、ネットワーク１２４を介してコントローラ１０６へ高レベル命令を通信することによって、自律モードでのロボットシステム１０１の動作に関与してよい。様々な実施形態において、コントローラ１０６および遠隔操作コンピュータ１２６の一方または両方は、例えば、ロボットシステム１０１が動作の中の次のタスクまたはステップを実行（完了）するために利用可能な戦略を持たない状態に至った場合に、遠隔操作による介入を指示してよい。

例えば、図１をさらに参照すると、アイテム１１４が落とされて、三角形の側面をロボットに提示する向きで、平坦な側の１つを下にして着地した場合に、いくつかの実施形態において、ロボットシステム１０１は、アイテム１１４をピックアップするために利用可能な戦略を持たない可能性があり、ならびに／もしくは、タイムアウトするか、または、アイテム１１４をピックアップするための試行について設定された回数を使い果たしている可能性がある。それに応じて、遠隔操作オペレータ１３０は、遠隔操作を通して介入するようプロンプトされてよく、手動入力装置１２８を用いて、ロボットの動作を制御してよい。例えば、遠隔操作オペレータ１３０は、アイテム１１４をピックアップして、アイテムをコンベヤベルト１１８上にプレースするように、ロボットシステム１０１を操作してよい。また、遠隔操作オペレータは、ロボットシステム１０１を用いて、アイテム１１４の向きを、自律ロボットシステム１０１がアイテム１１４をピックアップするために利用可能な戦略を持つと期待される（または可能性が高い）向きに変更してもよい。

いくつかの実施形態において、ロボットシステム１０１は、遠隔操作を監視し、遠隔操作に基づいて多因子モデルを更新する。例えば、ロボットシステム１０１に関連付けられているセンサ（例えば、１以上の触覚検知ユニットセンサおよび／または１以上のハウジングセンサ）は、遠隔操作中に値を出力してよい。遠隔操作による把持試行がアイテムの把持に成功した場合、ロボットシステムは、把持の成功を示すセンサ出力値を学習し、それらの学習した値をその後の自律的把持に用いて、アイテムの把持が成功したか否かを判定することができる。遠隔操作による把持試行がアイテムの把持に失敗した場合、ロボットシステムは、把持の失敗を示すセンサ出力値を学習し、それらの学習した値をその後の自律的把持に用いて、アイテムの把持が成功しなかったか否かを判定することができる。遠隔操作は、複数回実行されうる。複数回の遠隔操作を通して、ロボットシステムは、把持の成功を示すセンサ出力値の範囲と、把持の失敗を示すセンサ出力値の範囲とを学習することができる。アイテムの異なるタイプ、形状、および／または、サイズに対応する範囲が学習されてよい。

図の例において、遠隔操作は、手動入力装置１２８（例えば、ハプティック入力装置）の操作を通して人間のオペレータ１３０によって実行されてよい。人間のオペレータ１３０（時に、遠隔操作オペレータとも呼ばれる）は、遠隔操作コンピュータ１２６を構成するおよび／または関連付けられている表示装置に表示された情報によって、遠隔操作を開始するように指示されてよい。１または複数のセンサ１３４からのデータが、ネットワーク１２４および遠隔操作コンピュータ１２６を介して人間のオペレータ１３０に提供されてよい。いくつかの実施形態において、センサ１３４は、ロボット上のカメラ（図示せず）またはカメラ１１５、１１７を含み、遠隔操作オペレータ１３０に表示されて、遠隔操作を介して動作または動作の一部の実行を行うおよび／または完了するために用いられるビデオフィードを生成するよう構成されている。様々な実施形態において、カメラは、低遅延、高スループットの接続で接続されており、かかる接続は、例えば、アナログＲＦベース通信、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ、および、サブＧＨｚの内の１または複数を含むが、それらに限定されない。いくつかの実施形態において、異なるタイプのカメラが併用される。例えば、２つのＲＧＢ可視化カメラ、４つの深度カメラ、２つのＩＲカメラなど、異なる通信速度、帯域幅、および／または、その他の特徴を持つ複数のカメラが用いられてもよい。

様々な実施形態において、様々な異なるセンサ１３４を用いて遠隔操作が実行されてよい。いくつかの実施形態において、これらのセンサは、ロボットシステム１０１が「スタック」しているか否かを判定する際にロボットを導きうる、および／または、遠隔操作を簡単にしうる。いくつかの実施形態において、センサは、遠隔操作の様式を、直接的なハプティック制御から、ますます抽象的なエグゼクティブコマンド（ピックする対象物をマウスでクリックする、または、音声転写装置に向かって「棚を開け（ｏｐｅｎ ｓｈｅｌｆ）」と言う、など）へ移行させるのに役立つ。

様々な実施形態において用いられるセンサ１３４の例は、環境との相互作用および特定の「スタック」シナリオ、および／または、ロボットシステム１０１（または遠隔操作オペレータ）の近くの未知のエージェントの存在、を検出するよう構成されたデジタルスイッチを含む。さらなる例は、動作（把持など）の成功または失敗を判定するハンドまたはロボット上の力センサまたは圧力センサを含む。一連の失敗の後に、ロボットシステム１０１は、自身が「スタック」していると判定する。別の例は、計画されたおよび／または他の形で期待される動きの軌道を正確に辿っているか否かを知るためにロボットシステム１０１によって利用されうる１または複数のセンサ（ロボット関節上の位置センサなど）である。期待された軌道を正確に辿っていない場合、環境１００との接触を起こした可能性があり、ロボットシステム１０１は、「スタック」したので人的介入を求める必要があると結論づけるようプログラムされていてよい。

複数のカメラを備えたビジョンシステムが、マルチモードの手段（例えば、ＲＧＢインスタンストラッキング、ＲＧＢフィーチャマッチング、ＲＧＢオプティカルフロー、点群マッチング、など）によって作業空間エリア内の各アイテムを追跡し、ハンガリアンペアマッチングなどの方法を用いて、ロボットシステム１０１がピックするアイテムを追跡するよう構成されている。ロボットシステム１０１は、速度、落下する／滑っていく可能性、および、運動の軌道など、各追跡対象アイテムの状態を推定するよう構成されている。ロボットシステム１０１は、より高い精度でアイテムの状態を更新するために、運搬システムおよびセンサ１３４の現在の速度および大きさなど、他の既知の情報を用いてよい。決定されたアイテムの状態は、どこでどのアイテムをピックするか、および、どこで／いつ／どのようにアイテムをプレースするか、に関して情報に基づいて決定するために、ロボットシステム１０１によって用いられてよい。例えば、ロボットシステム１０１は、ロボットアーム１０２の動作時間および移動するアイテムの速度を補償するために、将来的に推定されるアイテムの位置から、ピック（把持）するのに、あるいは、（移動中でも）ピックするのに、より安定したアイテムを選択できる。ロボットシステム１０１は、環境１００から推定される初速度でアイテムをプレースすることにより、アイテムを落下させず、転がすことなしに、より着実に、移動プラットフォームの荷下ろしエリアにアイテムをプレースできる。また、ロボットシステム１０１は、荷下ろしエリア１１８にアイテムをプレースするために、無衝突区域を選択してよい。衝突区域は、追跡対象アイテムの推定軌道から決定されてよい。複数のカメラに関連付けられているデータを用いて、ロボットシステム１０１は、把持されたアイテムおよび環境１００の形状を理解することができる。これは、ロボットシステム１０１が、ピックされたアイテムと環境１００との間の衝突を回避する軌道をインテリジェントに計画することを可能にする。

いくつかの実施形態において、複数のロボットシステムが、アイテムをピックアンドプレースするために共に作業している。複数のロボットシステムを用いることで、システムの総スループットが向上しうる。

図２は、いくつかの実施形態に従って、ロボットアームエンドエフェクタを示すブロック図である。様々な実施形態において、エンドエフェクタ２００は、図１のエンドエフェクタ１０８を実施するために用いられてよい。

図の例において、エンドエフェクタ２００は、回転可能なカップリングを介してロボットアーム２０４に取り付けられている本体またはハウジング２０２を備える。いくつかの実施形態において、ハウジング２０２とロボットアーム２０４との間の接続は、制御コンピュータ（図１のコントローラ１０６など）によって制御されるモータ駆動ジョイントを備えてよい。エンドエフェクタ２００は、さらに、関節のある指２１０および２１２を備えたグリッパと、グリッパ制御モジュール２０８に電力を供給するためにロボットアーム２０４を通ってハウジング２０２に至る電力ライン２０６と、を備える。様々な実施形態において、制御モジュール２０８は、例えば、無線および／または有線通信によって、通信インターフェース２１４を通してエンドエフェクタ２００の外部の制御コンピュータ（例えば、図１のコントローラ１０６）に接続されている。制御モジュール２０８は、例えば、エンドエフェクタ２００を用いて、ピックアップ、移動、および、プレースされるアイテムを把持するために、グリッパ指２１０、２１２を操作するよう動作可能な電子要素および／または電気機械要素を備える。

図の例において、ハウジング２０２の側面に取り付けられたカメラ２１６が、エンドエフェクタ２００の下方の視野の画像データを提供する。複数の力センサ２１８、２２０、２２２、２２４、２２６、および、２２８が、それぞれ、指２１０および２１２のマウント点に印加されている力を測定する。様々な実施形態において、力の測定値は、通信インターフェース２１４を介して、外部および／またはリモートの制御コンピュータへ通信される。センサの読み取り値は、様々な実施形態において、ロボットアーム２０４およびエンドエフェクタ２００を用いて、アイテムを他のアイテムおよび／または側壁またはその他の構造に隣接する場所にぴったり収めることを可能にするため、ならびに／もしくは、不安定性（例えば、まだ吸着下であるが、アイテムがプレースされて安定すると期待された場所にある時に、アイテムを押し下げた状態で押し返しが不十分である）を検出するために、用いられる。

いくつかの実施形態において、他のアイテム、荷役台、および／または、環境との衝突を検出するため、ならびに、軌道の「コンプライアントな」調整によって自動動作を継続するために、センサが利用される。例えば、壁またはその他の構造にぶつかった場合、いくつかの実施形態において、ロボットアームは、力を弱め、障害物から離れるまで障害物に沿って辿るように軌道を調整する。

重量センサ２１５は、力センサ、ロードセル、または、ハウジング２０２へ直接的または間接的に印加されている力を検出できる任意のその他のセンサ、であってよい。重量センサ２１５は、回転トルクおよび／または指向性トルクを測定するよう構成されていてよい。重量センサ２１５は、エンドエフェクタ２００がアイテムと係合している時に力およびモーメントを測定するよう構成されていてよい。

触覚検知ユニット２１１、２１３は、それぞれ、関節のある指２１０、２１２に関連付けられている。いくつかの実施形態において、触覚検知ユニット２１１、２１３は、それぞれ、指２１０、２１２に取り付けられている。いくつかの実施形態において、触覚検知ユニット２１１、２１３は、指２１０、２１２の各々が、対応する触覚検知ユニット２１１を有するように、エンドエフェクタ２００上に配置された検知カバーの中に備えられている。検知カバーは、指２１０、２１２と、ハウジング２０２とを覆っていてよい。いくつかの実施形態において、触覚検知ユニット２１１、２１３は、同じタイプの触覚検知ユニットである。いくつかの実施形態において、触覚検知ユニット２１１、２１３は、異なるタイプの触覚検知ユニットである。例えば、指２１０は、図３Ｂに示す触覚検知ユニットに関連付けられてよく、指２１２は、図３Ｅに示す触覚検知ユニットに関連付けられてよい。

図３Ａは、いくつかの実施形態に従って、触覚検知ユニットを示すブロック図である。図の例において、触覚検知ユニット３００は、触覚検知ユニット２１１または触覚検知ユニット２１３などの触覚検知ユニットとして実装されてよい。

触覚検知ユニット３００は、導電層３０２と、変形層３０４と、基板層３０６と、を備える。いくつかの実施形態において、導電層３０２、変形層３０４、および、基板層３０６は、平面層である。いくつかの実施形態において、導電層３０２、変形層３０４、および、基板層３０６は、曲面層である。触覚検知ユニット３００は、プロセッサ（図示せず）に接続されている。いくつかの実施形態において、導電層３０２または基板層３０６は、任意選択的である。いくつかの実施形態において、導電層３０２および変形層３０４は、単一の層に統合される。

導電層３０２は、導通またはその他の電気特性（導電率、抵抗、静電容量、または、インダクタンス、など）の検知を可能にする導電材料を含んでよい。例えば、導電層３０２は、第１フィンガに取り付けられている第１触覚検知ユニットが第２フィンガに取り付けられている第２触覚検知ユニットに接触した時に、第１および第２触覚検知ユニットの導電層が接触するように、触覚検知ユニットの最上層であってよい。把持動作の前に、基準導通値、基準導電率値、基準抵抗値、基準静電容量値、および／または、基準インダクタンス値が、決定されてよい。把持動作中、エンドエフェクタは、そのフィンガを用いて、アイテムを把持してよく、プロセッサは、１以上の導通値、１以上の導電率値、１以上の抵抗値、１以上の静電容量値、および／または、１以上のインダクタンス値を決定するために、電気信号を第１触覚検知ユニットに送信してよい。いくつかの実施形態において、電気信号は、周波数が異なる。１以上の決定された導通値、１以上の決定された導電率値、１以上の決定された抵抗値、１以上の決定された静電容量値、または、１以上の決定されたインダクタンス値は、エンドエフェクタがアイテムを把持したこと、または、把持しなかったことを示唆しうる。

プロセッサは、決定された導通値を基準導通値と比較してよい。決定された導通値が基準導通値から閾値量だけ変化している場合、決定された導通値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された導通値が基準導通値から閾値量だけ変化していない場合、決定された導通値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

プロセッサは、決定された導電率値を基準導電率値と比較してよい。決定された導電率値が基準導電率値から閾値量だけ変化している場合、決定された導電率値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された導電率値が、関連付けられている基準値から閾値量未満だけ変化している場合、決定された導電率値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

プロセッサは、決定された抵抗値を基準抵抗値と比較してよい。決定された抵抗値が閾値量だけ基準抵抗値から変化している場合、決定された抵抗値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された抵抗値が、関連付けられている基準値から閾値量未満だけ変化している場合、決定された抵抗値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

プロセッサは、決定された静電容量値を基準静電容量値と比較してよい。決定された静電容量値が基準静電容量値から閾値量だけ変化している場合、決定された静電容量値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された静電容量値が、基準静電容量値から閾値量未満だけ変化している場合、決定された静電容量値は、エンドエフェクタがアイテムを把持したことを示唆しうる。また、プロセッサは、決定された静電容量値に基づいて、把持されたアイテムの材料を決定してもよい。

プロセッサは、決定されたインダクタンス値を基準インダクタンス値と比較してよい。決定されたインダクタンス値が基準インダクタンス値から閾値量だけ変化している場合、決定されたインダクタンス値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定されたインダクタンス値が、関連付けられている基準値から閾値量未満だけ変化している場合、決定されたインダクタンス値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

変形層３０４は、誘電材料を含んでよい（例えば、シリコン、プラスチック、または、力に反応して変形しうる任意のその他の材料）。測定対象物が、誘電材料に挿入されていてよい。例えば、複数の磁石が、誘電材料に挿入されていてよい。

基板層３０６は、変形層３０４に挿入された測定対象物に関連付けられている変化を検知するよう構成されている１または複数のセンサを備えてよい。例えば、基板層３０６は、変形層３０４の複数の磁石が変位した時に磁場の変化を検知するよう構成されている磁気センサを備えてよい。いくつかの実施形態において、基板層３０６は、ロボットアームエンドエフェクタに関連付けられているフィンガである。いくつかの実施形態において、基板層３０６は、１または複数のセンサを支持するよう構成されている材料であり、ロボットシステムに関連付けられているプロセッサに１または複数のセンサを電気接続する。

図３Ｂは、いくつかの実施形態に従って、異なる視点から触覚検知ユニットを示す図である。図の例において、異なる視点３１０は、触覚検知ユニットの上面図および２つの側面図を示している。触覚検知ユニットの導電層は、説明の便宜上、図示されていない。

図の例において、触覚検知ユニットの変形層は、複数の測定対象物を含む。いくつかの実施形態において、複数の測定対象物は、磁石である。いくつかの実施形態において、複数の測定対象物は、マーカである。複数の測定対象物は、グリッドパターンまたは非グリッドパターンに配列されていてよい。グリッドパターンは、２Ｄのｍｘｎグリッドパターンまたは３Ｄのｌｘｍｘｎグリッドパターンであってよい。測定対象物は、変形層３０４の縁部境界上に配置されていてよい。

図の例において、測定対象物３１２ａ、３１２ｂ、３１２ｃ、３１２ｄ、３１２ｅ、３１２ｆが、２×３グリッドに配列されている。６つの測定対象物が示されているが、ｘ個の測定対象物が変形層に挿入されてよい。変形層に挿入されうる測定対象物の数は、測定対象物の間の許容クロストーク量に基づいてよい。例えば、変形層内の測定対象物の数が増えるほど、測定対象物の間のクロストーク量も増大する。許容クロストーク量は、ロボットシステムに関連付けられているオペレータによって指定されてよい。

複数の測定対象物は、基板層３０６内に配置されたセンサ３１４に関連付けられている。複数の測定対象物が磁石である場合、センサ３１４は、磁気センサである。複数の測定対象物がマーカである場合、センサ３１４は、画像センサである。いくつかの実施形態では、１つの測定対象物が、１つのセンサに関連付けられている。いくつかの実施形態では、１つの測定対象物が、複数のセンサに関連付けられている。

把持動作の前に、複数の磁石に対する基準磁場またはマーカの各々に対する基準位置が決定されてよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、複数の測定対象物の内の１または複数を変位させる。この変位は、センサ３１４が検知するよう構成されている測定可能な値の変化を引き起こす。例えば、複数の測定対象物が磁石である場合、センサ３１４は、複数の磁石に関連付けられている磁場の変化を検知しうる。プロセッサが、磁気センサに接続され、検知された磁場を基準磁場と比較してよい。検知される磁場は、ロボットアームエンドエフェクタがアイテムの把持に成功したか失敗したかによって異なりうる。プロセッサは、比較に基づいて、重量値および／または変形値を決定してよい。複数の測定対象物がマーカである場合、センサ３１４は、複数のマーカの内の１または複数に関連する位置の変化を検知しうる。位置の変化は、ロボットアームエンドエフェクタがアイテムの把持に成功したか失敗したかによって異なりうる。プロセッサが、画像センサに接続され、重量値および／または変形値を決定するために複数のマーカの検知位置を複数のマーカの基準位置と比較してよい。

図３Ｃは、いくつかの実施形態に従って、異なる視点から触覚検知ユニットを示す図である。図の例において、異なる視点３２０は、触覚検知ユニットの上面図および２つの側面図を示している。触覚検知ユニットの導電層は、説明の便宜上、図示されていない。

図の例において、変形層３０４に埋め込まれている測定対象物は、磁石である。図３Ｃの触覚検知ユニットは、測定対象物の一部（３２２ａ、３２２ｂ、３２２ｃ、３２２ｇ、３２２ｈ、３２２ｉ）が変形層の側面に配置されていることを除けば、図３Ｂの触覚検知ユニットと同様である。センサ３１４によって検知される測定対象物３２２ａ、３２２ｂ、３２２ｃ、３２２ｄ、３２２ｅ、３２２ｆ、３２２ｇ、３２２ｈ、３２２ｉに関連付けられている磁場の大きさは、変形層３０４に関連付けられている深さと、測定対象物およびセンサ３１４の間の距離と、に依存しうる。変形層の側面に測定対象物の一部を配置することは、センサ３１４によって検知される測定対象物３２２ａ、３２２ｂ、３２２ｃ、３２２ｄ、３２２ｅ、３２２ｆ、３２２ｇ、３２２ｈ、３２２ｉに関連付けられている磁場の大きさを増大させうる。

図３Ｄは、いくつかの実施形態に従って、磁気センサの一例を示す図である。磁気センサ３３０は、センサ３１４などのセンサとして実装されてよい。図の例において、磁気センサ３３０は、コイル３３２ａ、３３２ｂ、３３２ｃを備える。コイル３３２ａは、ｘ軸方向の磁場を測定するよう構成されている。コイル３３２ｂは、ｙ軸方向の磁場を測定するよう構成されている。コイル３３２ｃは、ｚ軸方向の磁場を測定するよう構成されている。磁気センサ３３０は、図３Ｂ、図３Ｃに図示した磁石など、複数の磁石に接続されていてよい。磁石の内の少なくとも１つの変位が、磁気センサ３３０によって検出される磁場の変化を引き起こす。磁気センサ３３０は、ｘ軸方向、ｙ軸方向、および、ｚ軸方向の磁場の変化を検出するよう構成されている。

図３Ｅは、いくつかの実施形態に従って、触覚検知ユニットを示す図である。触覚検知ユニット３４０は、触覚検知ユニット２１１、２１３などの触覚検知ユニットとして実装されてよい。図の例において、反射材料３４１が、変形層３０４に埋め込まれている。エミッタ３４２（例えば、発光ダイオードエミッタ）およびレシーバ３４３が、基板層３０６に配置されている。エミッタ３４２は、反射材料３４１で反射される信号を送信してよく、反射された信号は、レシーバ３４３で受信される。ロボットアームエンドエフェクタがアイテムと係合していない時に、レシーバ３４３で受信された信号の基準振幅が決定されてよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、信号がどのように変形層３０４を通過するのかを変化させる。例えば、レシーバ３４３で受信される信号の振幅は、変形層３０４内での信号の反射、屈折、および／または、分散により、増大または減少しうる。プロセッサが、レシーバに接続され、重量値および／または変形値を決定するために基準信号振幅を受信信号振幅と比較してよい。

図３Ｆは、いくつかの実施形態に従って、触覚検知ユニットを示す図である。触覚検知ユニット３５０は、触覚検知ユニット２１１、２１３などの触覚検知ユニットとして実装されてよい。図の例において、触覚検知ユニットの導電層および基板層は、説明の便宜上、図示されていない。

触覚検知ユニット３５０は、誘電材料に埋め込まれた変形を検出できる電気機械センサ３５２（例えば、ひずみゲージ）を備える。ロボットアームエンドエフェクタがアイテムと係合していない時に、電気機械センサ３５２に関連付けられている基準抵抗が決定されてよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、電気機械センサ３５２に関連付けられている抵抗を変化させる。プロセッサが、１または複数の電気機械式センサに接続され、重量値および／または変形値を決定するために基準抵抗値を変化した抵抗値と比較してよい。

図３Ｇは、いくつかの実施形態に従って、触覚検知ユニットを示す図である。触覚検知ユニット３６０は、触覚検知ユニット２１１、２１３などの触覚検知ユニットとして実装されてよい。図の例において、触覚検知ユニットの導電層および基板層は、説明の便宜上、図示されていない。

触覚検知ユニット３６０の変形層は、空気、気体、または、液体を含む柔軟な膜３６２（例えば、サック、パウチ）を備える。ロボットアームエンドエフェクタがアイテムと係合していない時に、柔軟な膜３６２に関連付けられている基準圧力が決定されてよい。ロボットアームエンドエフェクタがアイテムと係合すると、係合に関連付けられている力および／またはモーメントが、柔軟な膜３６２に関連付けられている圧力を変化させる。プロセッサが、柔軟な膜に接続され、重量値および／または変形値を決定するために基準圧力値を変化した圧力値と比較してよい。

図４は、いくつかの実施形態に従って、アイテムをピックアンドプレースするための処理を示すフローチャートである。図の例において、処理４００は、ロボットシステム（ロボットシステム１０１など）によって実施されてよい。

工程４０２で、アイテムが、第１位置から第２位置へ移動されるよう選択される。第１の位置（作業空間エリアなど）は、１または複数のアイテムを含んでよい。ロボット環境は、異なる視点から１または複数のアイテムを見て検出するよう構成されている複数のカメラを備えてよい。いくつかの実施形態において、カメラの内の１または複数が、１または複数のアイテムの１または複数の点群を生成する。複数の点群が生成された場合、複数の点群はマージされる。様々な実施形態において、１または複数のアイテムは、雑然とした山に置かれた複数のアイテム、離間した複数のアイテム、ならびに／もしくは、複数のアイテムの内の１または複数の他のアイテムによって視界から隠されている１または複数のアイテム、を含みうる。

幾何情報が、複数のアイテムの各々に対して決定される。幾何情報は、複数のカメラの内の１または複数に関連付けられているデータから取得された点群情報に基づいて決定されてよい。複数の特徴部の各々に関連付けられている対応する幾何情報が、把持戦略が既知である幾何形状のライブラリと比較されてよい。決定された特徴部の幾何形状と最もよく似ている（例えば、類似度閾値の範囲内である）形状に関連付けられた戦略が選択されてよい。いくつかの実施形態において、アイテムは、単一の特徴部に関連している（例えば、ペーパータオルのロールは、円筒に対応する）。いくつかの実施形態において、アイテムは、複数のサブセグメント（本明細書ではサブ物体とも呼ぶ）に分割され、複数のサブセグメントの各々に対応する特徴部が決定される（例えば、ゴルフクラブは、本体セグメントおよびヘッドセグメントを備える）。

作業空間エリアの端または隅の近くにあるアイテムは、アイテムをどこで／どのようにピックするのかについて、物理的またはその他の制約を有しうる。いくつかの実施形態において、アイテムに関連付けられている環境の境界に応じて、最適ではないが実現可能なピック角度が選択されてもよい。より広い長手方向把持が、より狭い短手方向把持よりも選択されてよく、これは、より広い長手方向把持が、エンドエフェクタを環境の境界内に維持しうるからである。

対応する把持成功スコアが、決定された把持戦略の各々に対して決定される。例えば、把持ツール（エンドエフェクタ２００）が、アイテムの上部、中間部、または、底部でアイテムを把持するために用いられてよい。フィーチャの把持成功スコアは、把持戦略が把持成功につながる確率に基づいていてよい。（複数のツールが利用可能である実施形態において）把持ツールおよび把持位置の異なる組みあわせに対して確率が決定される。把持戦略がアイテムの把持の成功につながる確率は、１または複数の把持因子（環境に関するコンテキスト情報、環境に対する履歴把持情報、ロボットアームがアイテムを把持する角度（他のアイテムとの衝突を避けるため）、ロボットアームがアイテムを把持する高さ（グリッパの上部における衝突を防ぐため）、把持幅、把持点における表面法線の向き、把持可能なアイテムの量、など）に基づいてよい。環境に関するコンテキスト情報は、アイテムの近くにあるかまたは隣接する他のアイテムの存在、アイテムの近くにあるかまたは隣接する他のアイテムがロボットアームによるアイテムの把持の能力を妨げる程度、さらなるアイテムが作業空間エリアに連続的に追加されているか否か、などを含む。

決定された把持戦略の内の１つが、決定された対応するスコアに基づいて、試行されるよう選択される。アイテムまたは特徴部ならびに対応する把持戦略が、対応するスコアに基づいてランク付けされる。複数のアイテムおよび特徴部の中で最高スコアを持つアイテムまたは特徴部が、把持されるよう選択される。複数の潜在的な把持が同じスコアを有する場合、複数の把持の内の１つが選択される。把持されたアイテムが移動された後、同じスコアを有する他の把持の内の１つが選択される。

複数のアイテムから、アイテムが選択され、把持、移動、そして、荷下ろしエリアにプレースされると、次にスコアが高い把持が試行に向けて選択される。

工程４０４で、選択アイテムが把持される。ロボットシステムのエンドエフェクタが、選択アイテムと係合する。エンドエフェクタは、複数のフィンガを備えてよい。複数のフィンガの各々は、対応する触覚検知ユニットに関連付けられていてよい。触覚検知ユニットは、複数の検知層を備えてよい。検知層の各々は、１または複数のセンサを備えてよい。アイテムとの係合時に、触覚検知ユニットの検知層の各々は、基準検知値（例えば、ロボットアームエンドエフェクタがアイテムと係合していない時の検知値）とは異なる対応する検知値を出力しうる。

ロボットシステムは、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、複数のセンサを用いて静的測定を実行する。静的測定は、ロボットアームエンドエフェクタが静止状態のアイテムを把持し、複数のセンサの出力を測定することを含んでよい。また、ロボットシステムは、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、複数のセンサを用いて動的測定を実行してよい。例えば、最初の把持の後、ロボットアームエンドエフェクタの向きが変更されてよく、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、ロボットアームエンドエフェクタが移動している間に複数のセンサの出力が測定されてよい。

１または複数の触覚検知ユニットは、プロセッサに接続されている。プロセッサは、センサ出力を用いて、ロボットアームエンドエフェクタとアイテムとの間の係合に関連付けられている１以上の力および／または１以上のモーメントを決定してよい。センサ出力（１以上の触覚検知ユニットセンサおよび／または１以上のハウジングセンサ）は、複数の因子に対応する値を決定するために用いられてよい。例えば、検知された重量、検知された変形量、検知された導通、検知された導電率、検知された圧力、検知された抵抗、検知されたインダクタンス、および／または、検知された静電容量が決定されてよい。

複数の因子は各々、係数に関連付けられている。いくつかの実施形態において、複数の因子は、均等に重み付けされる（例えば、それらは各々、関連付けられた係数「１」を有する）。いくつかの実施形態において、複数の因子の一部は、異なる重みを有する。例えば、選択アイテムは、金属物体であってよく、導通因子に関連付けられている係数は、変形因子に関連付けられている係数よりも小さくてよい。

プロセッサは、ロボットアームエンドエフェクタがアイテムを把持したか否かを判定するために、多因子モデルを実装してよい。多因子モデルは、ルールベースモデル、予測モデル、機械学習モデル機械学習モデル、などであってよい。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否か（例えば、係合／非係合）に関する二分決定を出力するよう構成されている。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否かの確率を出力するよう構成されている。複数の因子に関連付けられている対応する値およびそれらに対応する係数は、多因子モデルに入力として提供され、ロボットシステムは、多因子モデルの出力に基づいて応答動作を実行するよう構成されている。

工程４０６で、選択アイテムは移動される。選択アイテムは、エンドエフェクタが選択アイテムを把持したことを示す多因子モデルの出力に応答して移動される。工程４０８で、選択された把持に関連付けられたアイテムが、作業空間エリアから荷下ろしエリアまでアイテムを移動する際に落下したか否かが判定される。アイテムは、ロボットシステムのエンドエフェクタに関連付けられている１または複数の触覚検知ユニットの１または複数のセンサ測定値（例えば、圧力、力、静電容量、など）に基づいて、落下したと判定されうる。センサ測定値は、アイテムが落下したか否かを判定するために、閾値と比較されてよい。アイテムが落下した場合、処理４００は、工程４０２へ戻る。アイテムが落下しなかった場合、処理４００は、工程４１０へ進む。

工程４１０で、選択アイテムは、第２位置にプレースされる。アイテムは、第２位置に関連付けられている境界とエンドエフェクタが衝突するのを防ぐようにプレースされてよい。

いくつかの実施形態において、アイテムは、第２位置に他の物体と共に雑然とプレースされる。ロボットシステムは、第２位置にアイテムをランダムにプレースしてよい。次いで、ロボットシステムは、エンドエフェクタ上の力センサを用いて、ロボットシステムに保護的な停止を実行させることなしに、雑然とした山にアイテムを穏やかにプレースしてよい。ロボットシステムは、力センサを用いて緊密詰め込み戦略を実現することにより、第２位置の箱の中にアイテムを密に梱包しうる。

いくつかの実施形態において、アイテムは、第２位置に他のアイテムから離間されてプレースされる。ロボットシステムは、第２位置における配置スペースを複数のサブエリアに分割し、選択物体をサブエリアの１つにプレースしてよい。サブエリアの各々の間に緩衝エリアが存在してよい。いくつかの実施形態において、緩衝エリアは調整可能である。

いくつかの実施形態において、ロボットシステムに関連付けられたビジョンシステムが、どのようにアイテムを降ろすのかを決定するよう構成されている。例えば、一部のアイテムは剛体ではなく、アイテム（例えば、布または柔らかいおもちゃ）に関連付けられている範囲が、アイテムの把持および移動の後に変化する。ビジョンシステムは、アイテムを潰すこと、そして、アイテムを損傷し、もしくは、絡まった配置または好ましくない配置にアイテムを収める可能性のある高さからアイテムを落とすことを防止するように、アイテムをプレースする方法を選択するために、範囲がどうであるか、および、材料情報を決定するよう構成されている。

工程４１２で、移動すべきさらなるアイテムが存在するか否かが判定される。移動すべきさらなるアイテムが存在するか否かを判定するために、ロボットシステムの１または複数のカメラからの視覚データが用いられてよい。移動すべきさらなるアイテムが存在する場合、処理４００は、工程４０２へ戻る。移動すべきアイテムがもはや存在しない場合、処理４００は終了する。

図５は、いくつかの実施形態に従って、アイテムを把持するための処理を示すフローチャートである。いくつかの実施形態において、処理５００は、ロボットシステム（ロボットシステム１０１など）によって実施される。いくつかの実施形態において、処理５００は、処理４００の工程４０４および４０６の一部または全部を実行するために実施される。

工程５０２で、アイテムに関連付けられている特徴部が把持される。ロボットシステムのコントローラが、アイテムに関連付けられている特徴部をエンドエフェクタに把持させる。エンドエフェクタは、１または複数の触覚検知ユニットを備えてよい。アイテムに関連付けられている特徴部は、決定された最適把持位置で把持されてよい。最適把持位置は、ロボットシステムの１または複数のカメラから受信された視覚データから決定されたアイテムのメッシュ化または分割されたバージョンを用いて決定されてよい。

いくつかの実施形態において、視覚情報および／または触覚情報が、アイテムのテクスチャ（しわあり、など）を検出するために用いられる。ロボットシステムは、視覚情報および／または触覚情報を用いて、質の高いピック点（例えば、把持の成功確率が閾値を超える）を選択してよい（吸着グリッパを用いてしわのある部分でアイテムをピックすることを回避する、など）。

工程５０４で、把持が成功したか否かが判定される。１または複数の触覚検知ユニットからの出力は、ロボットアームエンドエフェクタとアイテムとの間の係合に関連付けられている１以上の力および／または１以上のモーメントを決定するために用いられてよい。１以上の触覚検知ユニットおよび／または１以上のハウジングセンサからのセンサ出力は、複数の因子に対応する値を決定するために用いられてよい。複数の因子は各々、係数に関連付けられている。ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、多因子モデルが実装されてよい。複数の因子に関連付けられている対応する値およびそれらに対応する係数は、多因子モデルに入力として提供され、多因子モデルは、決定を出力するよう構成されている。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否か（例えば、把持／非把持）に関する二分決定を出力するよう構成されている。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムを把持しているか否かの確率を出力するよう構成されている。

把持が成功した場合、処理５００は工程５０６に進み、アイテムは第２位置へ移動される。把持に成功しなかった場合、処理５００は工程５０８に進み、閾値回数の把持試行が実行されたか否かが判定される。閾値回数の把持試行が実行された場合、処理５００は工程５１２へ進む。閾値回数の把持試行が実行されていない場合、処理５００は工程５１０へ進む。

工程５１０で、同じ把持技術または異なる把持技術が実施される。アイテムの１つの特徴部が、複数の把持技術に関連付けられていてよい。把持技術の各々は、対応するスコアに関連付けられている。複数の把持技術の内、最高スコアを有する把持技術が最初に選択される。その把持技術が失敗した場合、次に高いスコアを有する把持技術が実施されてよい。いくつかの実施形態では、同じ把持技術が再び試される。

工程５１２で、次の特徴部が選択される。複数の特徴部を有する複数のアイテムが、作業空間エリアに配置されてよい。複数の特徴部の各々は、対応する把持成功スコアを有する。複数の特徴部が、それらに対応するスコアに基づいて選択される。次の特徴部が、それに対応するスコアに基づいて選択される。いくつかの実施形態において、次の特徴部は、別のアイテムに関連している。いくつかの実施形態において、次の特徴部は、同じアイテムに関連している。次の特徴部は、前に選択された特徴部よりも低いスコアを有するが、複数の特徴部の内の他の残りの特徴部のスコア以上のスコアを有する。

図６は、いくつかの実施形態に従って、アイテムの把持が成功したか否かを判定するための処理を示すフローチャートである。いくつかの実施形態において、処理６００は、ロボットシステム（ロボットシステム１０１など）によって実施される。いくつかの実施形態において、処理６００は、処理４００の工程４０４または処理５００の工程５０４の一部または全部を実行するために実施される。

工程６０２で、複数の因子に対応する入力値が決定される。複数の因子は、重量、変形、導通、導電率、圧力、抵抗、インダクタンス、静電容量、または、ロボットアームエンドエフェクタの係合を示す任意のその他の因子、を含みうる。

ロボットシステムのエンドエフェクタは、複数のフィンガを備えてよい複数のフィンガの各々は、対応する触覚検知ユニットに関連付けられていてよい。触覚検知ユニットは、複数の検知層を備えてよい。

触覚検知ユニットは、導電層、変形層、および、基を備えてよい。検知層の各々は、１または複数のセンサを備えてよい。アイテムとの係合時に、触覚検知ユニットの検知層の各々は、基準検知値（例えば、ロボットアームエンドエフェクタがアイテムと係合していない時の検知値）とは異なる対応する検知値を出力しうる。

導電層は、電気特性因子（導通、導電率、抵抗、静電容量、または、インダクタンス、など）が検知されることを可能にする導電材料を含んでよい。導電層は、第１フィンガに取り付けられている第１触覚検知ユニットが第２フィンガに取り付けられている第２触覚検知ユニットに接触した時に、第１および第２触覚検知ユニットの導電層が接触するように、触覚検知ユニットの最上層であってよい。

把持動作の前に、基準導通値、基準導電率値、基準抵抗値、基準静電容量値、または、基準インダクタンス値が、決定されてよい。把持動作中、エンドエフェクタは、そのフィンガを用いて、アイテムを把持してよく、プロセッサは、１以上の導通値、１以上の導電率値、１以上の抵抗値、１以上の静電容量値、または、１以上のインダクタンス値を決定するために、電気信号を第１触覚検知ユニットに送信してよい。いくつかの実施形態において、電気信号は、周波数が異なる。１以上の決定された導通値、１以上の決定された導電率値、１以上の決定された抵抗値、１以上の決定された静電容量値、または、１以上の決定されたインダクタンス値は、エンドエフェクタがアイテムを把持したこと、または、把持しなかったことを示唆しうる。

決定された導通値は、基準導通値と比較されてよい。決定された導通値が基準導通値から閾値量だけ変化している場合、決定された導通値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された導通値が基準導通値から閾値量だけ変化していない場合、決定された導通値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

決定された導電率値は、基準導電率値と比較されてよい。決定された導電率値が基準導電率値から閾値量だけ変化している場合、決定された導電率値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された導電率値が、関連付けられている基準値から閾値量未満だけ変化している場合、決定された導電率値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

決定された抵抗値は、基準抵抗値と比較されてよい。決定された抵抗値が閾値量だけ基準抵抗値から変化している場合、決定された抵抗値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された抵抗値が、関連付けられている基準値から閾値量未満だけ変化している場合、決定された抵抗値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

決定された静電容量値は、基準静電容量値と比較されてよい。決定された静電容量値が基準静電容量値から閾値量だけ変化している場合、決定された静電容量値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定された静電容量値が、基準静電容量値から閾値量未満だけ変化している場合、決定された静電容量値は、エンドエフェクタがアイテムを把持したことを示唆しうる。また、プロセッサは、決定された静電容量値に基づいて、把持されたアイテムの材料を決定してもよい。

決定れたインダクタンス値は、基準インダクタンス値と比較されてよい。決定されたインダクタンス値が基準インダクタンス値から閾値量だけ変化している場合、決定されたインダクタンス値は、エンドエフェクタがアイテムを把持しなかったことを示唆しうる。決定されたインダクタンス値が、関連付けられている基準値から閾値量未満だけ変化している場合、決定されたインダクタンス値は、エンドエフェクタがアイテムを把持したことを示唆しうる。

変形層は、重量因子および／または変形因子の決定を可能にする誘電材料を含んでよい（例えば、シリコン、プラスチック、または、力に反応して変形しうる任意のその他の材料）。測定対象物が、誘電材料に挿入されていてよい。

いくつかの実施形態において、複数の磁石が誘電材料に挿入されており、磁気センサが基板層上に配置されている。把持動作の前に、基準磁場が決定されてよい。把持動作中、係合に関連付けられている力および／またはモーメントが、複数の磁石の内の１または複数を変位させる。この変位は、磁気センサによって検知される磁場の変化を引き起こす。プロセッサが、磁気センサに接続され、検知された磁場を基準磁場と比較してよい。プロセッサは、比較に基づいて、重量値および／または変形値を決定してよい。

いくつかの実施形態において、複数のマーカが誘電材料に埋め込まれており、画像センサが基板層上に配置されている。把持動作の前に、マーカの各々に対する基準位置が決定されてよい。把持動作中、係合に関連付けられている力および／またはモーメントが、複数のマーカの内の１または複数を変位させる。プロセッサが、画像センサに接続され、重量値および／または変形値を決定するために複数のマーカの検知位置を複数のマーカの基準位置と比較してよい。

いくつかの実施形態において、反射材料が、誘電材料に埋め込まれ、エミッタおよびレシーバが、基板層上に配置されている。把持動作の前に、基準信号振幅が決定されてよい。把持動作中、係合に関連付けられている力および／またはモーメントが、信号がどのように誘電材料を通過するのかを変化させる。係合は、レシーバで受信される反射信号の振幅を変化させる。プロセッサが、レシーバに接続され、重量値および／または変形値を決定するために基準信号振幅を受信信号振幅と比較してよい。

いくつかの実施形態において、変形を検出できる１または複数の電気機械センサ（例えば、ひずみゲージ）が、誘電材料に埋め込まれている。把持動作の前に、基準抵抗値が決定されてよい。把持動作中、係合に関連付けられている力および／またはモーメントが、１または複数の電気機械センサに関連付けられている抵抗を変化させる。プロセッサが、１または複数の電気機械式センサに接続され、重量値および／または変形値を決定するために基準抵抗値を変化した抵抗値と比較してよい。

いくつかの実施形態において、誘電材料は、空気、別の気体、または、液体を含む柔軟な膜（例えば、サック、パウチ）を備えてよい。把持動作の前に、基準圧力値が決定されてよい。把持動作中、係合に関連付けられている力および／またはモーメントが、柔軟な膜に関連付けられている圧力を変化させる。プロセッサが、柔軟な膜に接続され、重量値および／または変形値を決定するために基準圧力値を変化した圧力値と比較してよい。

工程６０４で、対応する入力値は、多因子モデルに提供される。プロセッサは、センサ出力を用いて、ロボットアームエンドエフェクタとアイテムとの間の係合に関連付けられている１以上の力および／または１以上のモーメントを決定してよい。また、プロセッサは、センサ出力を用いて、複数の因子に対応する値を決定してもよい。例えば、重量値、変形値、導通値、導電率値、圧力値、抵抗値、インダクタンス値、および／または、静電容量値が決定されてよい。

複数の因子は各々、係数に関連付けられている。いくつかの実施形態において、複数の因子は、均等に重み付けされる（例えば、それらは各々、関連付けられた係数「１」を有する）。いくつかの実施形態において、複数の因子の一部は、異なる重みを有する。例えば、選択アイテムは、金属物体であってよく、導通因子に関連付けられている係数は、変形因子に関連付けられている係数よりも小さくてよい。

プロセッサは、多因子モデルを実装してよい。因子値および対応する係数が、多因子モデルに入力されてよい。

工程６０６で、ロボットアームエンドエフェクタがアイテムと係合しているか否かが判定される。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否か（例えば、係合／非係合）に関する二分決定を出力するよう構成されている。いくつかの実施形態において、多因子モデルは、ロボットアームエンドエフェクタがアイテムと係合しているか否かの確率を出力するよう構成されている。

ロボットアームエンドエフェクタがアイテムと係合していると機械学習モデルの出力が示唆している場合、処理６００は、アイテムが第２位置へ移動される工程６０８へ進む。ロボットアームエンドエフェクタがアイテムと係合しなかったと機械学習モデルの出力が示唆している場合、処理６００は、１または複数の応答動作が実行される工程６１０へ進む。いくつかの実施形態において、ロボットシステムは、選択アイテムの再把持を試みる。いくつかの実施形態において、ロボットシステムは、人的介入を要求する。いくつかの実施形態において、ロボットアームエンドエフェクタは、選択アイテムを把持することができず、異なるアイテムを選択して把持する。

図７は、いくつかの実施形態に従って、アイテムの把持が成功したか否かを判定するための処理を示すフローチャートである。いくつかの実施形態において、処理７００は、ロボットシステム（ロボットシステム１０１など）によって実施される。いくつかの実施形態において、処理７００は、処理４００の工程４０４、処理５００の工程５０４、または、処理６００の工程６０６の一部または全部を実行するために実施される。

工程７０２で、静的測定が実行される。静的測定は、ロボットアームエンドエフェクタが静止状態のアイテムを把持し、複数のセンサの出力を測定することを含んでよい。いくつかの実施形態において、複数のセンサの出力は、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、複数のセンサに関連付けられている対応する基準出力（すなわち、ロボットアームエンドエフェクタがアイテムを把持していない時の出力）と比較されてよい。

いくつかの実施形態において、静的測定中の把持成功に対して期待されるセンサ出力が学習される。学習段階の間、人間のオペレータまたはロボットシステムが、様々なタイプのアイテムを把持および移動させてよい。ロボットシステムは、把持の成功を示すセンサ出力の組み合わせと、把持の失敗を示すセンサ出力の組み合わせとを確認することができる。複数のセンサの出力は、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、把持成功に対して期待されるセンサ出力と比較されてよい。

工程７０４で、動的測定が実行される。最初の把持の後、ロボットアームエンドエフェクタの向きが変更されてよく、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、ロボットアームエンドエフェクタが移動している間に複数のセンサの出力が測定されてよい。静的測定を実行した時の複数のセンサの出力は、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、動的測定を実行した時の複数のセンサの出力と比較されてよい。

いくつかの実施形態において、動的測定中の把持成功に対して期待されるセンサ出力が学習される。学習段階の間、人間のオペレータまたはロボットシステムが、様々なタイプのアイテムを把持および移動させてよい。アイテムは、様々な方向および／または向きに移動されてよい。ロボットシステムは、把持の成功を示すセンサ出力の組み合わせと、把持の失敗を示すセンサ出力の組み合わせとを確認することができる。複数のセンサの出力は、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定するために、把持成功に対して期待されるセンサ出力と比較されてよい。

いくつかの実施形態において、実行中に、ロボットシステムは、静的測定に関連付けられているセンサ出力および／または動的測定に関連付けられているセンサ出力の組み合わせに基づいて、ロボットアームエンドエフェクタがアイテムの把持に成功したか否かを判定する。

上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供されている詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示されている実施形態は、例示であり、限定を意図するものではない。

Claims (22)

1. ロボットシステムであって、
   複数のセンサと、前記複数のセンサの各々は、ロボットアームエンドエフェクタとアイテムとの係合に関連付けられている検知値を反映する出力を提供するよう構成され、前記複数のセンサは、係合を示す第１因子に関連付けられている第１値を測定するよう構成されている第１センサと、係合を示す第２因子に関連付けられている第２値を測定するよう構成されている第２センサとを備え、前記第１および第２因子は異なり、
   前記複数のセンサに接続されているプロセッサであって、前記プロセッサは、少なくとも部分的に、
   前記第１因子に関連付けられている第１入力を決定するために前記第１値を用い、前記第２因子に関連付けられている第２入力を決定するために前記第２値を用い、
   前記第１入力および前記第２入力に少なくとも部分的に基づいて、前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連付けられている出力を提供するよう構成されている多因子モデルに、前記第１入力および前記第２入力を提供し、
   前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連付けられている前記判定を行うために、前記多因子モデルの前記出力を用いることによって、前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連する判定を行うために、前記複数のセンサのそれぞれの前記出力を用いるよう構成されている、プロセッサと、
   を備える、ロボットシステム。
2. 請求項１に記載のロボットシステムであって、触覚検知ユニットは、前記複数のセンサを備え、前記触覚検知ユニットは、複数の層で構成され、前記複数の層の各々は、前記複数のセンサの内の１または複数のセンサを備える、ロボットシステム。
3. 請求項１に記載のロボットシステムであって、前記第１因子および前記第２因子は、重量、変形、導通、導電率、抵抗、インダクタンス、および、静電容量、の内の少なくとも２つを含む、ロボットシステム。
4. 請求項１に記載のロボットシステムであって、前記第１センサは、複数の磁石と、１または複数の磁気センサと、を備える、ロボットシステム。
5. 請求項４に記載のロボットシステムであって、前記複数の磁石は、グリッド状に配列されている、ロボットシステム。
6. 請求項４に記載のロボットシステムであって、前記複数の磁石の内の少なくとも１つは、触覚検知ユニットに関連付けられている境界上に配置されている、ロボットシステム。
7. 請求項１に記載のロボットシステムであって、前記複数のセンサは、エミッタと、レシーバと、を備える、ロボットシステム。
8. 請求項１に記載のロボットシステムであって、前記第１センサは、複数のマーカと、画像センサと、を備える、ロボットシステム。
9. 請求項１に記載のロボットシステムであって、前記第１センサは、１または複数の電気機械センサと、を備える、ロボットシステム。
10. 請求項１に記載のロボットシステムであって、前記第１センサは、気体または液体を含む柔軟な膜に結合されている圧力センサを含む、ロボットシステム。
11. 請求項１に記載のロボットシステムであって、前記第２センサは、導電材料を含む、ロボットシステム。
12. 請求項１に記載のロボットシステムであって、前記複数のセンサは、前記ロボットアームエンドエフェクタの手首部分に取り付けられている力センサを含む、ロボットシステム。
13. 請求項１に記載のロボットシステムであって、前記第１因子は、第１係数に関連付けられ、前記第２因子は、第２係数に関連付けられている、ロボットシステム。
14. 請求項１３に記載のロボットシステムであって、前記第１係数および前記第２係数は等しい、ロボットシステム。
15. 請求項１３に記載のロボットシステムであって、前記第１係数および前記第２係数は異なる、ロボットシステム。
16. 請求項１に記載のロボットシステムであって、前記複数のセンサのそれぞれの前記出力は、静的測定が実行されている時、および、動的測定が実行されている時に、前記プロセッサに提供される、ロボットシステム。
17. 請求項１に記載のロボットシステムであって、前記多因子モデルの前記出力は、前記ロボットアームエンドエフェクタが前記アイテムの把持に成功したことを示す、ロボットシステム。
18. 請求項１に記載のロボットシステムであって、前記多因子モデルの前記出力は、前記ロボットアームエンドエフェクタが前記アイテムの把持に成功しなかったことを示す、ロボットシステム。
19. 請求項１に記載のロボットシステムであって、前記多因子モデルの前記出力は、人的介入が必要であることを示す、ロボットシステム。
20. 請求項１に記載のロボットシステムであって、前記多因子モデルの前記出力は、前記ロボットアームエンドエフェクタが別のアイテムに係合すべきであることを示す、ロボットシステム。
21. 方法であって、
    複数のセンサの内の第１センサによって検知された第１値を用いて、第１因子に関連付けられている第１入力を決定すると共に、前記複数のセンサの内の第２センサによって検知された第２値を用いて、第２因子に関連付けられている第２入力を決定し、前記複数のセンサの各々は、ロボットアームエンドエフェクタとアイテムとの係合に関連付けられている検知値を反映する出力を提供するよう構成され、前記第１および第２因子は異なり、
    前記第１入力および前記第２入力に少なくとも部分的に基づいて、前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連付けられている出力を提供するよう構成されている多因子モデルに、前記第１入力および前記第２入力を提供し、
    前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連付けられている判定を行ために、前記多因子モデルの前記出力を用いること、
    を備える、方法。
22. コンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体内に具現化され、
    複数のセンサの内の第１センサによって検知された第１値を用いて、第１因子に関連付けられている第１入力を決定すると共に、前記複数のセンサの内の第２センサによって検知された第２値を用いて、第２因子に関連付けられている第２入力を決定するためのコンピュータ命令と、前記複数のセンサの各々は、ロボットアームエンドエフェクタとアイテムとの係合に関連付けられており、
    前記第１入力および前記第２入力に少なくとも部分的に基づいて、前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連付けられている出力を提供するよう構成されている多因子モデルに、前記第１入力および前記第２入力を提供するためのコンピュータ命令と、
    前記ロボットアームエンドエフェクタと前記アイテムとの係合に関連付けられている判定を行うために、前記多因子モデルの前記出力を用いるコンピュータ命令と、
    を備える、コンピュータプログラム製品。

Images