JP2023016699A - 深さベースの処理メカニズムを伴うロボットシステム及びロボットシステムを操作するための方法 - Google Patents

Abstract

【課題】対象物体及び／又は関連付けられる作業実施の態様を推定するためのロボットシステムを操作する方法及びシステムを提供する。【解決手段】方法は、移送ユニット１０４が、物体を開始位置１１４における物体スタックから作業位置１１６における物体スタックまで移送するための、開始位置及び作業位置の第１の画像セット及び第２の画像セットと、開始位置における表面の推定高さと作業位置における表面の推定高さとを表す深さ指標を取得し、第１の画像セット及び第２の画像セット内の開始位置における表面の推定高さを表す深さ指標間の第１の深さ差と、第１の画像セット及び第２の画像セット内の作業位置における表面の推定高さを表す深さ指標間の第２の深さ差を決定し、第２の深さ差が配置確認閾値よりも大きいという判定に応じて、１つ以上の物体のうちの対象物体１１２が作業位置に配置されたことを確認することと、を含む。【選択図】図１

Description

関連出願の相互参照
本出願は、２０２１年７月２１日に出願された米国仮特許出願第６３／２２４，２９２号の利益を主張するものであり、その全体が参照により本明細書に組み込まれる。

本出願は、２０１９年３月１日に出願された米国特許出願第１６／２９０，７４１号、現在では米国特許第１０，３６９，７０１号、２０１９年６月１７日に出願された米国特許出願第１６／４４３，７４３号、現在では米国特許第１０，５６２，１８８号、２０１９年６月１７日に出願された米国特許出願第１６／４４３，７５７号、現在では米国特許第１０，５６２，１８９号、２０２０年１月７日に出願された米国特許出願第１６／７３６，６６７号、現在では米国特許第１１，０３４，０２５号、２０２１年５月６日に出願された米国特許出願第１７／３１３，９２１号、２０１９年８月１３日に出願された米国特許出願第１６／５３９，７９０号、現在では米国特許第１０，７０３，５８４号、及び２０２０年５月２９日に出願された米国特許出願第１６／８８８，３７６号に関する主題を含む。これらすべての出願の主題は、参照により本明細書に組み込まれる。

また本出願は、本出願と同時に出願された「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＩＭＡＧＥ－ＢＡＳＥＤ ＳＩＺＩＮＧ ＭＥＣＨＡＮＩＳＭ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＯＰＥＲＡＴＩＮＧ ＴＨＥ ＳＡＭＥ」と題された米国特許出願第＿＿＿＿＿＿（代理人整理番号１３１８３７．８０２３．ＵＳ０１）に関する主題も含み、その主題は参照により本明細書に組み込まれる。

本技術は一般に、ロボットシステムを対象とし、より具体的には、深さベースの処理機構を伴うロボットシステムを対象とする。

ロボット（例えば、物理的動きを自動的／自律的に実行するように構成されたマシン）は現在、多くの分野で広範囲に用いられている。例えば、ロボットを用いて、製造、梱包、搬送、及び／又は出荷などにおいて種々の作業を実行する（例えば、物体を操作又は移送する）ことができる。作業を実行する際、ロボットは人間の動きを再現することができ、その結果、本来は危険な作業又は繰り返し作業を行うのに必要な人間の関与に取って代わるか又はそれを減らすことができる。ロボットは、多くの場合、より複雑な作業を解析及び実行するために必要な人間の感度、柔軟性、及び／又は適応性を再現するのに必要な精巧さを欠く。例えば、ロボットは、限られた情報に基づいて複数の結論及び／又は一般化を推定することが難しいことが多い。したがって、結論及び／又は一般化を推定するためのロボットシステム及び技術の改善が依然として求められている。

本技術の１つ以上の実施形態によるロボットシステムが物体を搬送する環境例を例示する。 本技術の１つ以上の実施形態によるロボットシステムを例示するブロック図である。 本技術の１つ以上の実施形態によるロボット移送アセンブリを例示する。 本技術の１つ以上の実施形態による第１のスタック例を例示する。 本技術の１つ以上の実施形態による第１のスタックを示す画像データ例を例示する。 本技術の１つ以上の実施形態による第２のスタック例を例示する。 本技術の１つ以上の実施形態による第２のスタックを示す画像データ例を例示する。 本技術の１つ以上の実施形態による開始位置の第１の画像を例示する。 本技術の１つ以上の実施形態による開始位置の第２の画像を例示する。 本技術の１つ以上の実施形態による作業位置の第１の画像を例示する。 本技術の１つ以上の実施形態による作業位置の第２の画像を例示する。 本技術の１つ以上の実施形態によるロボットシステムを操作するためのフロー図である。

作業実行中に取り込んだ１つ以上の測定値（例えば、深さ指標）に基づいて推定値を導き出すためのシステム及び方法について、本明細書で説明する。いくつかの実施態様では、ロボットシステムは、１つ以上の物体（例えば、箱、パッケージ、物体など）を、開始位置（例えば、パレット、貯蔵庫、コンベアなど）から作業位置（例えば、異なるパレット、貯蔵庫、コンベアなど）へ移送するように構成してもよい。ロボットシステムは、対応する物体を移送する間に開始位置及び／又は作業位置を示す画像データ（例えば、２次元（２Ｄ）及び／又は３次元（３Ｄ）画像データ）のセット又は列を取得することができる。ロボットシステムは画像データを用いて、種々の実施状態（例えば、スタック内の物体の数量、ピック／配置の確認、物体破損における検出など）を推定及び／又は導き出すことができる。

以下では、本開示の技術の十分な理解を得るために、多くの具体的な詳細について述べる。他の実施形態では、ここで導入する技術を、これらの具体的な詳細を伴わずに実施することができる。他の場合では、本開示が不必要に不明瞭になることを回避するために、良く知られた特徴（例えば、特定の機能又はルーチン）については詳細に説明しない。この説明において、「実施形態」、「一実施形態」などに言及した場合、説明している特定の特徴、構造、材料、又は特性が、本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書においてこのような語句が現れた場合、必ずしもすべてが同じ実施形態を指すわけではない。他方で、このような言及は必ずしも互いに排他的であるわけではない。さらに、１つ以上の実施形態において、特定の特徴、構造、材料、又は特性を任意の好適な方法で組み合わせることができる。当然のことながら、図に示す種々の実施形態は単に例示的な表現であり、必ずしも一定の比率では描かれていない。

周知であり、しばしばロボットシステム及びサブシステムに関連付けられるが、開示された技術のいくつかの重要な態様を不必要に不明瞭にする可能性がある構造又はプロセスを説明するいくつかの詳細は、明確にするために以下の説明には記載されていない。さらに、以下の開示では、本技術の異なる態様のいくつかの実施形態が示されているが、いくつかの他の実施形態は、本節で説明したものとは異なる構成又は異なる構成要素を有することができる。したがって、開示された技術は、追加の要素を有するか、又は以下で説明する要素のいくつかを有さない他の実施形態を有することができる。

以下で説明する本開示の多くの実施形態又は態様は、プログラム可能なコンピュータ又はコントローラによって実行されるルーチンを含む、コンピュータ実行可能命令又はコントローラ実行可能命令の形態をとることができる。当業者であれば分かるように、開示した技術は、以下で図示及び説明するもの以外のコンピュータシステム又はコントローラシステム上で実施することができる。本明細書で説明する技術は、以下に説明するコンピュータ実行可能命令のうちの１つ以上を実行するように具体的にプログラムされ、構成され、又は構築された専用コンピュータ又はデータ処理装置において具体化することができる。したがって、本明細書で全般的に用いられる用語「コンピュータ」及び「コントローラ」は任意のデータ処理装置を指し、インターネット家電及び携帯デバイス（パームトップコンピュータ、ウェアラブルコンピュータ、携帯電話又は移動電話、マルチプロセッサシステム、プロセッサベース又はプログラマブル民生用エレクトロニクス、ネットワークコンピュータ、ミニコンピュータなどを含む）を含むことができる。これらのコンピュータ及びコントローラによって処理される情報を、液晶ディスプレイ（ＬＣＤ）を含む任意の適切なディスプレイ媒体で提示することができる。コンピュータ実行可能作業又はコントローラ実行可能作業を実行するための命令は、ハードウェア、ファームウェア、又はハードウェア及びファームウェアの組み合わせを含む任意の適切なコンピュータ可読媒体内又は任意の適切なコンピュータ可読媒体上に記憶することができる。命令は、例えば、フラッシュドライブ、ＵＳＢデバイス、及び／又は有形の非一時的コンピュータ可読媒体を含む他の適切な媒体を含む、任意の適切なメモリデバイスに含めることができる。

「結合された」及び「接続された」という用語は、それらの派生語とともに、構成要素間の構造的関係を説明するために本明細書で使用することができる。これらの用語は、互いに同義語として意図されたものではないことを理解されたい。むしろ、特定の実施形態では、「接続された」は、２つ以上の要素が互いに直接接触していることを示すために使用することができる。文脈で明らかにされていない限り、「結合された」という用語は、２つ以上の要素が直接又は間接的に（それらの間にある他の介在要素と）互いに接触していること、２つ以上の要素が互いに（例えば、信号の送信／受信又は関数呼び出しなどの因果関係のように）連携又は相互作用していること、又はその両方を示すために使用することができる。

適切な環境
図１は、本技術の１つ以上の実施形態によりロボットシステム１００が物体を搬送する例示的な環境の図である。ロボットシステム１００は、１つ以上の作業を実行するように構成された１つ以上のユニット（例えば、ロボット）を含み及び／又はこれと通信することができる。物体検出／更新の態様は、種々のユニットによって実行又は実施することができる。

図１に例示した例の場合、ロボットシステム１００は、倉庫又は配送／出荷ハブにおいて、荷下ろしユニット１０２、移送ユニット１０４又は移送アセンブリ（例えば、パレタイジングロボット及び／又はピースピッカーロボット）、搬送ユニット１０６、荷積みユニット１０８、又はそれらの組み合わせを含み及び／又はこれらと通信することができる。ロボットシステム１００におけるユニットはそれぞれ、１つ以上の作業を実行するように構成することができる。作業は、トラック又はバンから物体を荷下ろしして倉庫に収納したり、保管場所から物体を荷下ろしして出荷の準備をしたりするなど、目標を達成する操作を実行するために順番に組み合わせることができる。別の例の場合、作業に、物体を作業位置（例えば、パレットの上及び／又は貯蔵庫／ケージ／箱／ケースの内部）に配置することを含むことができる。以下で説明するように、ロボットシステムは、物体を配置する、及び／又は積み重ねるためのプラン（例えば、配置位置／配向、物体を移送するための順序、及び／又は対応するモーションプラン）を導出することができる。ユニットはそれぞれ、作業を実行するための導き出したプランの１つ以上により一連の動きを（例えば、内部の１つ以上の構成要素を操作することによって）実行するように構成することができる。

いくつかの実施形態では、作業は、対象物体１１２（例えば、実行中の作業に対応するパッケージ、箱、ケース、ケージ、パレットなどのうちの１つ）を開始位置１１４から作業位置１１６へ移動させるなど、対象物体１１２の操作（例えば、移動及び／又は再配向）を含むことができる。例えば、荷下ろしユニット１０２（例えば、デバンニングロボット）は、対象物体１１２を運搬装置（例えば、トラック）内の場所からコンベアベルト上の場所へ移送するように構成することができる。また、移送ユニット１０４は、対象物体１１２をある場所（例えば、コンベアベルト、パレット、又は貯蔵庫）から別の場所（例えば、パレット、貯蔵庫など）へ移送するように構成することができる。別の例の場合、移送ユニット１０４（例えば、パレタイジングロボット）は、対象物体１１２を供給場所（例えば、パレット、集荷領域、及び／又はコンベア）から行き先パレットへ移送するように構成することができる。操作を完了させるとき、搬送ユニット１０６は、対象物体１１２を移送ユニット１０４に関連付けられる領域から荷積みユニット１０８に関連付けられる領域に移送することができ、荷積みユニット１０８は、対象物体１１２を移送ユニット１０４から保管場所（例えば、棚上の場所）へ（例えば、対象物体１１２を運搬するパレットを移動させることによって）移送することができる。作業及び関連する動きについての詳細を以下で説明する。

例示を目的として、ロボットシステム１００は、出荷センターとの関連で説明されるが、ロボットシステム１００は、他の環境において／他の目的のための（例えば、製造、組立て、梱包、健康管理、及び／又は他のタイプの自動化のための）作業を実行するように構成することができることが理解されよう。ロボットシステム１００は、例えば、図１には示していないマニピュレータ、サービスロボット、モジュラロボットなどの他のユニットを含み及び／又はこれと通信することができることも理解されよう。例えば、いくつかの実施形態では、他のユニットとして、ケージカート又はパレットからコンベア又は他のパレット上に物体を移送するためのデパレタイジングユニット、１つの容器から別の容器へ物体を移送するための容器切替ユニット、物体を包むための梱包ユニット、物体をその１つ以上の特性に従ってグループ化するためのソーティングユニット、物体をその１つ以上の特性に従って様々に操作する（例えば、ソートする、グループ化する、及び／又は移送する）ためのピースピッキングユニット、又はそれらの組み合わせを挙げることができる。

ロボットシステム１００は、移動（例えば、回転及び／又は並進変位）が得られるように接合部に接続された物理的部材又は構造部材（例えば、ロボットマニピュレータアーム）を含み及び／又はこれに結合することができる。構造部材及び接合部は、ロボットシステム１００の使用／操作に応じて１つ以上の作業（例えば、把持、スピン、溶接など）を実行するように構成されたエンドエフェクタ（例えば、グリッパ）を操作するように構成された運動連鎖を形成することができる。ロボットシステム１００は、対応する接合部の周りで又は接合部において構造部材を駆動又は操作する（例えば、移動及び／又は再配向する）ように構成された駆動デバイス（例えば、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなど）を含み及び／又はこれと通信することができる。いくつかの実施形態では、ロボットユニットは、対応するユニット／シャーシをあちらこちらに搬送するように構成された搬送モータを含むことができる。

ロボットシステム１００は、構造部材を操作する、及び／又はロボットユニットを搬送するための作業を実施するために用いる情報を取得するように構成されたセンサを含み、及び／又はこれと通信することができる。センサは、ロボットシステム１００の１つ以上の物理特性（例えば、状態、状況、及び／又はその１つ以上の構造部材／接合部の場所）及び／又は周辺環境を検出又は測定するように構成されたデバイスを含むことができる。センサのいくつかの例としては、加速度計、ジャイロスコープ、力センサ、歪みゲージ、触覚センサ、トルクセンサ、位置エンコーダなどを挙げることができる。

いくつかの実施形態では、例えば、センサは、周辺環境を検出するように構成された１つ以上の撮像デバイス（例えば、視覚カメラ及び／又は赤外線カメラ、２Ｄ及び／又は３Ｄ撮像カメラ、ライダ又はレーダなどの距離測定装置など）を含むことができる。撮像デバイスは、マシン／コンピュータビジョン（例えば、自動検査、ロボットガイダンス、又は他のロボット応用に対する）を介して処理し得る、デジタル画像及び／又は点群などの検出された環境の表現を生成することができる。ロボットシステム１００は、対象物体１１２、開始位置１１４、作業位置１１６、対象物体１１２の姿勢、又はそれらの組み合わせを識別するデジタル画像及び／又は点群を処理することができる。

対象物体１１２を操作するために、ロボットシステム１００は、指定領域（例えば、トラック内部又はコンベアベルト上などのピックアップ位置）の画像を取り込んで解析して、対象物体１１２及びその開始位置１１４を識別することができる。同様に、ロボットシステム１００は、別の指定領域（例えば、コンベア上に物体を置くためのドロップ位置、容器内部に物体を置くための場所、又は積み重ねるためのパレット上の場所）の画像を取り込んで解析して、作業位置１１６を識別することができる。例えば、撮像デバイスは、ピックアップ領域の画像を生成するように構成された１つ以上のカメラ及び／又は作業領域（例えば、ドロップ領域）の画像を生成するように構成された１つ以上のカメラを含むことができる。取り込み画像に基づいて、後述するように、ロボットシステム１００は、開始位置１１４、作業位置１１６、関連する姿勢、梱包／配置プラン、移送／梱包順序、及び／又は他の処理結果を決定することができる。

いくつかの実施形態では、例えば、センサは、ロボットシステム１００の構造部材（例えば、ロボットアーム及び／又はエンドエフェクタ）及び／又は対応する接合部の位置を検出するように構成された位置センサ（例えば、位置エンコーダ、電位差計など）を含むことができる。ロボットシステム１００は位置センサを用いて、作業の実行中に構造部材及び／又は接合部の場所及び／又は配向を追跡することができる。

ロボットシステム
図２は、本技術の１つ以上の実施形態によるロボットシステム１００の構成要素を例示するブロック図である。いくつかの実施形態では、例えば、ロボットシステム１００（例えば、前述したユニット又はアセンブリ及び／又はロボットのうちの１つ以上における）は、１つ以上のプロセッサ２０２、１つ以上の記憶装置２０４、１つ以上の通信デバイス２０６、１つ以上の入出力デバイス２０８、１つ以上の駆動デバイス２１２、１つ以上の搬送モータ２１４、１つ以上のセンサ２１６、又はそれらの組み合わせなどの電子／電気装置を含むことができる。種々のデバイスは、有線接続及び／又は無線接続を介して互いに結合することができる。例えば、ロボットシステム１００に対する１つ以上のユニット／構成要素及び／又はロボットユニットのうちの１つ以上には、システムバス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バス又はＰＣＩエクスプレスバス、ハイパートランスポート又は業界標準アーキテクチャ（ＩＳＡ）バス、小型コンピュータシステムインターフェース（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、又は電気電子技術者協会（ＩＥＥＥ）規格１３９４バス（「ファイヤーワイヤー」とも言う）などのバスを含むことができる。また、例えば、ロボットシステム１００は、デバイス間の有線接続を提供するためにブリッジ、アダプタ、コントローラ、又は他の信号関連デバイスを含み及び／又はこれと通信することができる。無線接続は、例えば、セルラー通信プロトコル（例えば、３Ｇ、４Ｇ、ＬＴＥ、５Ｇなど）、無線ローカルエリアネットワーク（ＬＡＮ）プロトコル（例えば、ワイヤレスフィデリティ（ＷＩＦＩ））、ピアツーピア又はデバイス間通信プロトコル（例えば、Ｂｌｕｅｔｏｏｔｈ、近距離無線通信（ＮＦＣ）など）、モノのインターネット（ＩｏＴ）プロトコル（例えば、ＮＢ－ＩｏＴ、Ｚｉｇｂｅｅ、Ｚ－ｗａｖｅ、ＬＴＥ－Ｍなど）、及び／又は他の無線通信プロトコルに基づくことができる。

プロセッサ２０２は、記憶装置２０４（例えば、コンピュータメモリ）上に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されたデータ処理装置（例えば、中央処理ユニット（ＣＰＵ）、専用コンピュータ、及び／又はオンボードサーバ）を含むことができる。プロセッサ２０２は、他のデバイスを制御し／他のデバイスのインターフェースとなるためにプログラム命令を実施し、その結果、ロボットシステム１００に動き、作業、及び／又は操作を実行させることができる。

記憶装置２０４は、プログラム命令（例えば、ソフトウェア）が記憶された非一時的コンピュータ可読媒体を含むことができる。記憶装置２０４のいくつかの例として、揮発性メモリ（例えば、キャッシュ及び／又はランダムアクセスメモリ（ＲＡＭ））及び／又は不揮発性メモリ（例えば、フラッシュメモリ及び／又は磁気ディスクドライブ）を挙げることができる。記憶装置２０４の他の例として、ポータブルメモリドライブ及び／又はクラウド記憶装置を挙げることができる。

いくつかの実施形態では、記憶装置２０４を用いて、さらにマスタデータ、処理結果、及び／又は所定のデータ／閾値を記憶してこれにアクセスすることができる。例えば、記憶装置２０４は、ロボットシステム１００が操作し得る物体（例えば、箱、ケース、容器、及び／又は製品）の説明を含むマスタデータを記憶することができる。１つ以上の実施形態では、マスタデータは、ロボットシステム１００が操作すると予想される物体に対する寸法、形状（例えば、可能な姿勢に対するテンプレート及び／又は種々の姿勢の物体を認識するためのコンピュータ生成モデル）、質量／重量情報、カラースキーム、画像、識別情報（例えば、バーコード、クィックレスポンス（ＱＲ）コード（登録商標）、ロゴなど、及び／又はその予想される位置）、予想される質量又は重量、又はそれらの組み合わせを含むことができる。いくつかの実施形態では、マスタデータとして、物体に関する操作関連情報、例えば、各物体上の質量中心（ＣｏＭ）位置、１つ以上の動き／操作に対応する予想されるセンサ測定値（例えば、力、トルク、圧力、及び／又は接触測定値）、又はそれらの組み合わせを挙げることができる。ロボットシステムは、移送ロボットを制御するための圧力レベル（例えば、真空レベル、吸引レベルなど）、把持／ピックアップ領域（例えば、起動すべき真空グリッパの領域又はバンク）、及び他の記憶されたマスタデータを検索することができる。記憶装置２０４は物体追跡データも記憶することができる。いくつかの実施形態では、物体追跡データは、スキャン又は操作された物体のログを含むことができる。いくつかの実施形態では、物体追跡データは、１つ以上の位置（例えば、指定されたピックアップ又はドロップ位置及び／又はコンベアベルト）における物体の画像データ（例えば、写真、点群、ライブビデオフィードなど）を含むことができる。いくつかの実施形態では、物体追跡データは、１つ以上の位置における物体の位置及び／又は配向を含むことができる。

通信デバイス２０６は、ネットワークを介して外部又は遠隔装置と通信するように構成された回路を含むことができる。例えば、通信デバイス２０６は、受信器、送信器、変調器／復調器（モデム）、信号検出器、信号エンコーダ／デコーダ、コネクタポート、ネットワークカードなどを含むことができる。通信デバイス２０６は、１つ以上の通信プロトコル（例えば、インターネットプロトコル（ＩＰ）、無線通信プロトコルなど）により、電気信号を送り、受け取り、及び／又は処理するように構成することができる。いくつかの実施形態では、ロボットシステム１００は、通信デバイス２０６を用いて、ロボットシステム１００のユニット間で情報を交換し、及び／又は（例えば、報告、データ収集、解析、及び／又はトラブルシューティング目的で）ロボットシステム１００の外部のシステム又はデバイスと情報を交換することができる。

入出力デバイス２０８は、人間のオペレータに情報を伝達し及び／又は人間のオペレータから情報を受け取るように構成されたユーザインターフェースデバイスを含むことができる。例えば、入出力デバイス２０８は、人間のオペレータに情報を伝達するためのディスプレイ２１０及び／又は他の出力装置（例えば、スピーカ、触覚回路、又は触覚フィードバックデバイスなど）を含むことができる。また、入出力デバイス２０８は、キーボード、マウス、タッチスクリーン、マイクロフォン、ユーザインターフェース（ＵＩ）センサ（例えば、移動コマンドを受け取るためのカメラ）、ウェアラブル入力デバイスなどの制御装置又は受信装置を含むことができる。いくつかの実施形態では、ロボットシステム１００は、入出力デバイス２０８を用いて、動き、作業、操作、又はそれらの組み合わせを実行するときに人間のオペレータと相互に作用することができる。

いくつかの実施形態では、コントローラ（例えば、図２のコントローラ２０９）は、プロセッサ２０２、記憶装置２０４、通信デバイス２０６、及び／又は入出力デバイス２０８を含むことができる。コントローラは、スタンドアローンコンポーネント又はユニット／アセンブリの一部とすることができる。例えば、ロボットシステム１００の各荷下ろしユニット、移送アセンブリ、搬送ユニット、及び荷積みユニットは、１つ以上のコントローラを含むことができる。いくつかの実施形態では、単一のコントローラが複数のユニット又はスタンドアローンコンポーネントを制御することができる。

ロボットシステム１００は、操作（例えば、回転及び／又は並進変位）が得られるように接合部に接続された物理的部材又は構造部材（例えば、ロボットマニピュレータアーム）を含み及び／又はこれと通信することができる。構造部材及び接合部は、ロボットシステム１００の使用／操作に応じて１つ以上の作業（例えば、把持、スピン、溶接など）を実行するように構成されたエンドエフェクタ（例えば、グリッパ）を操作するように構成された運動連鎖を形成することができる。運動連鎖は、対応する接合部の周りで又は接合部において構造部材を駆動又は操作する（例えば、変位及び／又は再配向する）ように構成された駆動デバイス２１２（例えば、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなど）を含むことができる。いくつかの実施形態では、運動連鎖は、対応するユニット／シャーシをあちらこちらに搬送するように構成された搬送モータ２１４を含むことができる。例えば、駆動デバイス２１２及び搬送モータ２１４は、ロボットアーム、リニアスライド、又は他のロボット構成要素に接続するか又はこれらの一部とすることができる。

センサ２１６は、構造部材を操作するため及び／又はロボットユニットを搬送するためなどの作業を実施するために用いる情報を取得するように構成することができる。センサ２１６は、コントローラ、ロボットユニット（例えば、状態、状況、及び／又はその１つ以上の構造部材／接合部の場所）及び／又は周辺環境に対する１つ以上の物理特性を、検出又は測定するように構成されたデバイスを含むことができる。センサ２１６のいくつかの例としては、接触センサ、近接センサ、加速度計、ジャイロスコープ、力センサ、歪みゲージ、トルクセンサ、位置エンコーダ、圧力センサ、真空センサなどを挙げることができる。

いくつかの実施形態では、例えば、センサ２１６は、周辺環境を検出するように構成された１つ以上の撮像デバイス２２２（例えば、２次元及び／又は３次元撮像デバイス）を含むことができる。撮像デバイスは、カメラ（視覚カメラ及び／又は赤外線カメラを含む）、ライダーデバイス、レーダデバイス、及び／又は他の距離測定又は検出デバイスを含むことができる。撮像デバイス２２２は、マシン／コンピュータビジョン（例えば、自動検査、ロボットガイダンス、又は他のロボット応用に対する）を実施するために用いる、デジタル画像及び／又は点群などの検出された環境の表現を生成することができる。

次に、図１及び２を参照して、ロボットシステム１００は（例えば、プロセッサ２０２を介して）画像データ及び／又は点群を処理して、図１の対象物体１１２、図１の開始位置１１４、図１の作業位置１１６、図１の対象物体１１２の姿勢、又はそれらの組み合わせを識別することができる。ロボットシステム１００は、撮像デバイス２２２からの画像データを用いて、どのように物体にアクセスしてピックアップするのかを決定することができる。物体の画像を解析して、対象物体を把持するように真空グリッパアセンブリを位置付けるためのモーションプランを（例えば、プランナーシステムを介して）決定することができる。ロボットシステム１００は（例えば、種々のユニットを介して）指定領域（例えば、トラック内部、容器内部、又はコンベアベルト上の物体に対するピックアップ位置）の画像を取り込んで解析して、対象物体１１２及びその開始位置１１４を識別することができる。同様に、ロボットシステム１００は、別の指定領域（例えば、コンベアベルト上に物体を置くためのドロップ位置、容器内部に物体を置くための場所、又は積み重ねるためのパレット上の場所）の画像を取り込んで解析して、作業位置１１６を識別することができる。

また、例えば、図２のセンサ２１６は、ロボットシステム１００の構造部材（例えば、ロボットアーム及び／又はエンドエフェクタ）及び／又は対応する接合部の位置を検出するように構成された図２の位置センサ２２４（例えば、位置エンコーダ、電位差計など）を含むことができる。ロボットシステム１００は位置センサ２２４を用いて、作業の実行中に構造部材及び／又は接合部の場所及び／又は配向を追跡することができる。本明細書で開示した荷下ろしユニット、移送ユニット、搬送ユニット／アセンブリ、及び荷積みユニットは、センサ２１６を含むことができる。

いくつかの実施形態では、センサ２１６は、運動連鎖（例えば、エンドエフェクタ）に印加された力を測定するように構成された１つ以上の力センサ２２６（例えば、重量センサ、歪みゲージ、ピエゾ抵抗センサ／圧電センサ、容量センサ、弾性抵抗センサ、及び／又は他の触覚センサ）を含むことができる。例えば、センサ２１６を用いて、ロボットアーム上の荷重（例えば、把持された物体）を決定することができる。力センサ２２６をエンドエフェクタ又はその周りに取り付けて、結果として得られる測定値が、把持された物体の重量及び／又は基準位置に対するトルクベクトルを表すように構成することができる。１つ以上の実施形態では、ロボットシステム１００は、物体のトルクベクトル、重量、及び／又は他の物理的特徴（例えば、寸法）を処理して、把持された物体のＣｏＭを推定することができる。

ロボット移送アセンブリ
図３は、本技術の１つ以上の実施形態による移送ユニット１０４を例示する。移送ユニット１０４は、撮像システム１６０及びロボットアームシステム１３２を含むことができる。撮像システム１６０は、デパレタイジングプラットフォーム１１０を伴う目標環境から取り込んだ画像データを提供することができる。ロボットアームシステム１３２は、ロボットアームアセンブリ１３９及びエンドエフェクタ１４０（例えば、グリッパアセンブリ）を含むことができる。ロボットアームアセンブリ１３９は、ピックアップ環境１６３に位置するスタック１６５内の物体のグループの上方にエンドエフェクタ１４０を位置付けることができる。

図３に、エンドエフェクタ１４０が、コンベア１２０（例えば、コンベアベルト）の上方に位置する単一の対象物体１１２（例えば、パッケージ）を運搬する様子を示す。エンドエフェクタ１４０は、対象物体１１２をコンベア１２０上に放出することができる。また、ロボットアームシステム１３２は、パッケージ１１２ａ、パッケージ１１２ｂ、又は両方の真上に荷下ろししたエンドエフェクタ１４０を位置付けることによって、パッケージ１１２ａ、１１２ｂを回収することができる。そしてエンドエフェクタ１４０は、真空グリップを介して、パッケージ１１２ａ、１１２ｂのうちの１つ以上を保持することができ、ロボットアームシステム１３２は、保持したパッケージ１１２ａ及び／又は１１２ｂをコンベア１２０の真上の位置まで運搬することができる。そしてエンドエフェクタ１４０は、パッケージ１１２ａ、１１２ｂをコンベア１２０上に（例えば、同時に又は順次に）放出することができる。このプロセスを任意の回数繰り返して、物体をスタック１６５からコンベア１２０に運搬することができる。

続けて図３を参照すると、デパレタイジングプラットフォーム１１０は、複数の対象物体１１２（例えば、パッケージ）を、搬送の用意ができたときに、積み重ね得る及び／又は多段化し得る任意のプラットフォーム、表面、及び／又は構造を含むことができる。撮像システム１６０は、デパレタイジングプラットフォーム１１０上のパッケージ１１２ａ、１１２ｂの画像データを取り込むように構成された１つ以上の撮像デバイス１６１を含むことができる。撮像デバイス１６１は、ピックアップ環境１６３又はピックアップ領域における距離データ、位置データ、ビデオ、静止画像、ライダーデータ、レーダデータ、及び／又は動きを取り込むことができる。本明細書では用語「物体」及び「パッケージ」を用いているが、用語には、限定されないが、「ケース」、「箱」、「カートン」、又はそれらの任意の組み合わせなどの把持、持上げ、搬送、及び送出が可能な任意の他の物品が含まれることに注意されたい。また、本明細書で開示する図面では多角形の箱（例えば、長方形の箱）を例示しているが、箱の形状はこのような形状に限定されず、以下に詳細に説明するように、把持、持上げ、搬送、及び送出が可能な任意の規則的又は不規則な形状が含まれる。

デパレタイジングプラットフォーム１１０と同様に、受取りコンベア１２０は、さらなる作業／操作用にパッケージ１１２ａ、１１２ｂを受け取るように指定された任意のプラットフォーム、表面、及び／又は構造を含むことができる。いくつかの実施形態では、受取りコンベア１２０は、さらなる操作（例えば、ソーティング及び／又は保管）用に対象物体１１２をある場所（例えば、放出点）から別の場所へ搬送するためのコンベアシステムを含むことができる。いくつかの実施形態では、ロボットシステム１００は、目標配置場所（例えば、コンベア１２０）を伴う目標環境から取り込んだ画像データを得るように構成された第２の撮像システム（図示せず）を含むことができる。第２の撮像システムは、受取り／配置場所（例えば、受取りコンベア１２０）上のパッケージ１１２ａ、１１２ｂの画像データを取り込むことができる。

作業実施プロセス
図４Ａに、本技術の１つ以上の実施形態による第１のスタック例４００を例示する。図４Ｂに、本技術の１つ以上の実施形態による第１のスタック４００を示す画像データ例４０６を例示する。次に、図４Ａ及び図４Ｂを共に参照して、画像データ４０６は、開始位置（例えば、図３のデパレタイジングプラットフォーム１１０）における第１のスタック４００の上面図を表すことができる。画像データ４０６は、図３の撮像システム１６０からの２Ｄ及び／又は３Ｄデータを含むことができる。

図４Ａに示すように、スタック４００（例えば、物体スタック）は、整理された積み重ねの中に配列された物体（例えば、物体４０２－１、４０２－２、及び４０２－３）を含む物体４０２を含む。図４Ａに例示するスタック４００は、物体スタック４００内の物体４０２のいずれかを作業位置（例えば、図１の作業位置１１６）まで移送する前の開始位置（例えば、図１の開始位置１１４）に位置する物体スタックに対応し得る。その結果、画像データ４０６は、ある時点（例えば、スタック４００から物体のいずれかをピックする前）の開始位置におけるスタック４００の上面図を表している（例えば、画像データ４０６を、先行する画像データと言う場合がある）。例えば、スタック４００の全体積を最小限にするために、物体４０２を最適化条件を満たすように配列してもよい。図４Ａでは、物体スタック４００が同一平面（又は実質的に同一平面）の上面４００－Ａを有するように物体４０２が配列されている。同一平面の上面４００－Ａは、互いに隣接して配列された物体４０２－１、４０２－２、及び４０２－３それぞれの同一平面（又は実質的に同一平面）の上面４０２－１Ａ、４０２－２Ａ、及び４０２－３Ａからなる。図４Ａでは、物体スタック４００の寸法は、スタック高さ（Ｈ_Ｓ）、スタック幅（Ｗ_Ｓ）、及びスタック長さ（Ｌ_Ｓ）に対応する。

いくつかの実施形態では、画像データ４０６は、撮像システム１６０の視野内での撮像システム１６０と物体の検出された表面／点との間の距離を表す深さマップを含むことができる。例えば、前述したように、撮像デバイス２２２は、深さマップ及び／又は点群に対応する画像内で検出された環境の表示を作成することができる。深さマップは、（例えば、図４Ｂに例示するＸ－Ｙ面に沿った位置「ｘ」、「ｙ」及び「ｚ」における）横平面に沿った離散点における（例えば、ｚ方向に沿った）深さ指標を含むことができる。図４Ｂに例示する例の場合、画像データ４０６は、スタック４００の上面（例えば、物体４０２－１、４０２－２、及び４０２－３のそれぞれの同一平面（又は実質的に同一平面）の上面４０２－１Ａ、４０２－２Ａ、及び４０２－３－Ａ）を形成する９つの物体の同一平面の上面（例えば、マッチング深さ指標）を示すことができる。マッチング深さはスタック高さ（図４ＡのＨ_ｓ）に対応することができる。また画像データ４０６は、配置プラットフォーム４０４（例えば、点線の塗りつぶしで示すパレット）の上面に対する深さ指標を示してもよい。スタック内の物体の隣接又は当接する縁部は、３Ｄ画像データ内で容易に検出可能であってもよいし、そうでなくてもよい。スタック高さＨ_Ｓは、物体／スタックの対応する上面（例えば、表面４００－Ａ）と配置プラットフォームの上面（例えば、配置プラットフォーム４０４の上面）との間の垂直距離に対応することができる。

ロボットシステム１００は、画像データ４０６を用いてスタック４００内の物体４０２を検出することができる。物体検出は、画像データ４０６内に示される物体の同一性及び／又は位置を推定することを含むことができる。いくつかの実施形態では、ロボットシステム１００は、画像データ４０６（例えば、２Ｄ及び／又は３Ｄ描写）を処理して、その中に示される隅部及び／又は端部／ライン（例えば、スタックの周辺端部又はその最上層）を特定することができる。このように特定することは、スタック４００の隅部及び端部を特定すること及び／又はスタック４００内の物体４０２の隅部及び端部を特定することを含んでいてもよい。ロボットシステム１００は、隅部及び／又は端部を処理して、示された物体のそれぞれに対する表面又は周辺境界を推定することができる。ロボットシステム１００は、推定した境界を用いて、示された物体のそれぞれに対する境界表面（例えば、上面）を推定することができる。例えば、ロボットシステムは、スタック４００の同一平面の表面４００－Ａ内の物体４０２－１、４０２－２、及び４０２－３のそれぞれの表面４０２－１Ａ、４０２－２Ａ、及び４０２－３Ａの周辺境界を推定することができる。例えば、特定は、画像データ４０６の３Ｄデータを解析して、スタック隅部を特定すること、スタック４００の２Ｄ可視表示内の端部を特定すること（例えば、ソーベルフィルタを介して）、２Ｄ可視表示の一部をマスタデータ内の既知の物体のテンプレートと比較すること、又はそれらの組み合わせを含んでいてもよい。また、例えば、特定は、他の画像検出方法（例えば、箱及びパッケージの隅部を特定するアルゴリズムなど）を適用することを含んでいてもよい。さらに、このような画像検出方法は、物体の隅部及び端部を物体上の視覚的特徴から区別することができてもよい。例えば、ロボットシステムは、物体の表面上のフラップ、テープ、又は他の視覚的特徴を物体の実際の端部から区別することができる。

ロボットシステム１００は、画像データの認識されない／一致しない部分を、１つ以上の認識されない又は予期しない物体に対応するとして処理することができる。例えば、画像データ４０６の認識されない部分は、不規則な形状の物体又は損傷を受けた物体に対応し得る。ロボットシステム１００は、操作又は作業実施中に予期しない物体を自動的又は自律的に登録することができる。例えば、ロボットシステム１００は、予期しない物体を把持するための最小実行可能領域（ＭＶＲ）を導き出すことができる。ロボットシステム１００はＭＶＲを用いて、物体を把持して持ち上げ及び／又は物体を開始位置から作業位置まで移送してもよい。ロボットシステム１００は、認識されない物体の実際の端部、対応する寸法（例えば、横寸法）、及び／又は可視表面画像（例えば、画像データの対応部分）を、その動きに基づいて検出することができる。例えば、ロボットシステム１００は、認識されない物体を取り出し／移動させる前後で取った画像を比較して、その寸法（例えば、横寸法及び／又は高さ）を導き出すことができる。ロボットシステム１００はさらに、移送中に物体の高さを決定することが、例えばクロシング／ラインセンサ及び／又はサイドビューカメラを用いて可能である。ロボットシステム１００は、物体を移送する間に他の測定値又は推定値（例えば、重量、ＣｏＭ位置など）を取得することができる。

ロボットシステム１００は、スタックの内容を説明する追加情報（例えば、出荷マニフェスト、注文受付、作業トラッカー（例えば、取り出した／移送した物体の履歴に対応する）など）を用いて、物体（例えば、認識された及び／又は認識されない物体）を処理することができる。例えば、ロボットシステム１００は、スタックの内容説明に基づいて、予想される物体の予備リストを決定することができる。物体検出中に、ロボットシステム１００は、画像データを、他の物体より前に予備リスト上の物体の登録した説明と比較することができる。

ロボットシステム１００は物体検出を用いることができる。これは、画像データ、マスタデータ、スタック説明、及び／又はさらなる記述データを処理して、スタック、その中の物体、及び／又は作業実施のステータスに関する追加の情報を推定することから得られる結果である。例えば、ロボットシステム１００は、スタック内の物体の数及び／又はスタック内の物体の配列を推定することができる。

数量／配列推定
数量推定に対する実例として、第１のスタック４００は、単一又は共通の在庫保管単位（ＳＫＵ）（例えば、共通／単一タイプの物体のスタック）のセットを含むことができる。こうして、第１のスタック４００内の物体４０２は同じ寸法、同じ表面特徴、同じ重量などを有する。

ロボットシステム１００は、第１のスタック４００の単一のＳＫＵ構造を、供給元データ、出荷マニフェスト、形状、又はスタックの概観などの１つ以上の要因に基づいて検出してもよい。検出したら、ロボットシステム１００は、積み重ねられた物体４０２の共通性を利用して、追加情報を導き出すことができる。例えば、ロボットシステム１００は、物体の１つ以上の寸法及び／又はスタックの計算された体積に基づいて、スタック４００内の物体４０２の数を推定することができる。ロボットシステム１００は、深さマップを用いて、スタック４００の周辺端部及びスタック４００の種々の位置における高さを決定することができる。ロボットシステム１００は、共通の深さ指標（例えば、閾値範囲内の高さＨ_Ｏ）を有するスタック４００内の領域に対する横寸法（例えば、長さＬ_Ｏ及び幅Ｗ_Ｏ）を導き出すことができる。ロボットシステム１００は、横寸法及び対応する高さを用いて、対応する領域の体積を計算することができる。ロボットシステム１００は、スタック全体にわたる領域の計算された体積を組み合わせて全体積を計算することができる。ロボットシステム１００は、全体積を１つの物体の体積（例えば、物体長さ（Ｌ_ｏ）、物体高さ（Ｈ_ｏ）、及び物体幅（Ｗ_ｏ）の組み合わせた積）で除算した値に基づいて、物体の推定数を計算することができる。例えば、図４Ａでは、物体スタック４００の寸法は、スタック高さ（Ｈ_Ｓ）、スタック幅（Ｗｓ）、及びスタック長さ（Ｌ_Ｓ）に対応し、物体スタック４００の体積（Ｖ_Ｓ）は、Ｖ_Ｓ＝Ｈ_ＳｘＷ_ｓｘＬ_Ｓに対応する。物体スタックの体積は、最も外側の端部及び表面に基づいて規定され、スタック内の何らの間隔又はギャップも考慮しないことに注意されたい。物体スタック４００内の個々の物体（例えば、物体４０２－１）の体積の寸法は、物体高さ（Ｈ_Ｏ）、物体幅（Ｗ_Ｏ）、物体長さ（Ｌ_Ｏ）に対応し、物体の体積（Ｖ_Ｏ）は、Ｖ_Ｏ＝Ｈ_ＯｘＷ_ＯｘＬ_Ｏに対応する。

またロボットシステム１００は、混合ＳＫＵスタック（例えば、種々のタイプの物体のスタック）内の物体の数を推定することができる。混合ＳＫＵスタック内の物体は、種々の寸法、表面特徴、重量などを有してもよい。ロボットシステム１００は、スタック説明、共通の高さ領域（例えば、横寸法、形状、及び／又はその高さ）、最上層に対する物体検出などの取得情報、に基づいて、積み重ねパターンを推定してもよい。ロボットシステム１００は、取得情報を所定のテンプレートのセットと比較することに基づいて及び／又は取得情報を積み重ねルールのセットに対して処理することに基づいて、積み重ねパターンを推定してもよい。それに加えて又はその代わりに、ロボットシステム１００は、予想されるＳＫＵの体積を用いて、スタックの体積に一致する全体積を伴うＳＫＵ数量の組み合わせを計算することができる。

実例として、図５Ａに第２のスタック例５００を例示し、図５Ｂに、本技術の１つ以上の実施形態による第２のスタック５００を示す画像データ例５０２を例示する。次に、図５Ａ及び図５Ｂを共に参照して、第２のスタック５００は、「Ａ」、「Ｂ」及び「Ｃ」タイプの物体５０４を含む混合ＳＫＵスタックとすることができる。前述したように、ロボットシステム１００は、画像データ、スタック高さ指標、物体検出結果、スタックの全体形状などを用いて、物体又は対応する領域のグループ化及び／又は積み重ね構成を特定することができる。

いくつかの実施形態では、所定の積み重ね構成は、パレット上の領域／カラム（図５Ｂで破線を用いて示す）内の１つのタイプの物体のグループ化を指示してもよい。例えば、タイプＡの物体５０４を第１のカラム内でまとめてグループ化し、タイプＢの物体５０４を第２のカラム内でまとめてグループ化し、タイプＣの物体５０４を第３のカラム内でまとめてグループ化する。それに加えて又はその代わりに、出荷マニフェスト又はスタック説明は、１つ以上の所定のパターンによる物体の積み重ね構成を示してもよい。ロボットシステム１００は、領域の体積を、領域の高さ及び横寸法（例えば、第１、第２、及び第３のカラムの高さ及び横寸法）を用いて、また積み重ね構成により、計算することができる。ロボットシステム１００は、領域の体積を対応する物体の体積で割ることができる。代替的に、ロボットシステム１００は、領域内の対応する物体に対する数量の異なる組み合わせを計算して、領域の体積に一致する組合せ体積を伴う数量の組み合わせを見つけることができる。ロボットシステム１００は、各ＳＫＵに対する量を異なる領域にわたって足して、各タイプのＳＫＵあたりの物体の総数を推定することができる。

ステータス推定
いくつかの実施形態では、ロボットシステム１００は、取得データを用いて作業実施ステータスを決定することができる（例えば、物体ピッキング及び／又は配置を確認するために）。物体ピッキング／配置に対して、ロボットシステム１００は、異なる時間（例えば、ピック／配置のセットの前及び／又は後）に取得した画像データのセット又は列を取得してもよい。

文脈に対して、ロボットシステム１００は、移送手順及び／又は梱包構成（例えば、作業位置に配置することを目標とされた各物体に対する配置場所のセット）と共に対象物体に対するモーションプランを導き出してもよい。各モーションプランは、ロボットユニット（例えば、図１の移送ユニット１０４、図３のロボットアームシステム１３２など）を操作して、対応する物体のセットを開始位置から作業位置まで移送するために用いるコマンド及び／又は設定のセットを含むことができる。したがって、モーションプランの開始部分はピッキング操作に対応することができ、及び／又はモーションプランの終了部分は配置操作に対応することができる。ロボットシステム１００は、配置操作が梱包構成に従うようにモーションプランを導き出すことができる。さらに、モーションプランを移送手順に従って順序付けることができる。

ロボットシステム１００は、移送手順に従うピック／配置履歴を用いてモーションプランの実施を追跡することができる。履歴は、時間にわたってどの物体がどの場所でピック又は配置されたかを表すことができる。ロボットシステム１００は（例えば、移送を実施するものとは別個のモジュール／プロセスを用いて）モーションプランの実施中及び／又はその後に、追加の画像データを取得及び処理することができる。ロボットシステム１００は、追跡履歴を画像データと比較して、画像時間の間に起きた物体のピック／配置を確認することができる。

確認の例として、本技術の１つ以上の実施形態により、図６Ａに開始位置の第１の画像６０２を例示し、図６Ｂに開始位置の第２の画像６０４を例示する。同様に、本技術の１つ以上の実施形態により、図７Ａに作業位置の第１の画像７０２を例示し、図７Ｂに作業位置の第２の画像７０４を例示する。第１の画像６０２／７０２は、１つ以上の物体をピック又は配置する前の対応する開始／作業位置を示すことができ、第２の画像６０４／７０４は１つ以上の物体をピック又は配置した後の場所を示すことができる。いくつかの実施形態では、第１及び第２の画像は、順次的とすることができ、作業実施プロセス中に取った２枚の立て続けの画像を表すことができる。

例えば、第１の画像６０２は、何らかの物体（例えば、スタック６０６－１として示す）をピックする前の開始位置におけるスタックに対応するスタック６０６を示す。図示したように、図６Ａでは、スタック６０６－１は物体１、２、３、及び４を含む。第２の画像６０４は、１つ以上の物体のセットをピックした後のスタック６０６（例えば、スタック６０６－２として示す）を示す。図示したように、図６Ｂは、物体１及び２がスタック６０６－２からピックされて（すなわち、物体１及び２は図６Ｂには例示していない）、物体４がずれた後のスタック６０６－２の状態を例示する。物体４のずれは、物体１及び／又は２をピックしたことに起因する意図しない／プランされていない事象である可能性がある。第１の画像７０２は、１つ以上の物体を配置した後の作業位置におけるスタックに対応するスタック７０６（例えば、スタック７０６－１として示す）を示し、第２の画像７０４は、１つ以上の追加の物体を配置した後のスタック７０６（例えば、スタック７０６－２として示す）を示す。図示したように、図７Ａでは、スタック７０６－１は物体１及び２（例えば、スタック７０６－１上にすでに配置されている物体）を含む。図７Ｂはさらに、スタック７０６－２内にその後に配置された物体３を含む。

ロボットシステム１００は、ピックした物体及び／又はその周辺において深さ指標（図６Ａ～７Ｂにおいて異なる塗りつぶしを用いて例示する）を比較して、物体ピッキングを確認することができる。深さ指標の比較は、物体の上面の特定の位置における深さ指標の比較を含んでいてもよい。例えば、第１及び第２の画像６０２及び６０４間の深さ指標の差がピック確認閾値よりも大きいとき、ロボットシステム１００は、対象物体のピックに成功したと判定することができる。ピック確認閾値は、物体の予想される最小高さに対応することができる。例えば、ピック場所における物体が特定の最小高さを有すると予想される。第１及び第２の画像６０２及び６０４間の深さ指標の差が特定の最小高さ以上である場合、ロボットシステム１００は、対象物体のピックに成功したと判定することができる。またピック確認閾値は、個々の対象物体の予想される最小高さに対応することができる。いくつかの実施形態では、ロボットシステム１００は、１つ以上の物体に対して比較位置（例えば、図６Ａ～７Ｂにおいて破線を伴う円の内部の記号｛ａ，ｂ，ｃ，・・・｝を用いて例示した位置で、位置６０８－ａ及び６０８－ｂを含む）を特定することができる。深さマップ／画像の全体にわたって深さ指標を比較する代わりに、ロボットシステム１００は比較位置において深さ指標を比較して処理効率を上げることができる。ロボットシステム１００は、比較位置を、物体端部又は隅部からの閾値距離／配向又はその範囲内の位置（例えば、Ｘ－Ｙ座標）として特定することができる。ロボットシステム１００は、ピックした物体の推定される周辺端部の片側又は両側上で比較位置を特定することができる。いくつかの実施形態では、ロボットシステム１００は、物体検出及び／又はＭＶＲの推定される中心部分を含むように比較位置を特定することができる。それに加えて又はその代わりに、ロボットシステム１００は、深さ指標の差を、ピックした物体の高さと比較して（例えば、物体がマスタデータ内の登録記録と一致するときに）、ピックした物体が検出物体と一致することを確認することができる。深さ指標の差がピックした物体の高さと一致したときには、ロボットシステム１００はさらに、ピックが成功したこと及び／又はピックが未損傷であること（例えば、潰れた物体がないことを示す）を確認し得る。

ロボットシステム１００は、各推定した物体隅部の周りの比較位置などの特定の位置において高さを比較して、周辺の物体におけるピック及び／又は変化（例えば、物体のずれ又は物体の潰れ）を確認することができる。ピック確認の例を例示するために図６Ａ及び６Ｂを用いて、ロボットシステム１００は、物体２｛ｇ，ｈ，ｊ，ｋ｝に対する比較位置における深さ指標の差、及び周辺の位置｛ｉ，ｌ，ｍ，ｎ，ｏ｝における一定の深さ指標により、物体２に対する妥当なピックを検出することができる。これに対し、ロボットシステム１００は、物体１に対して例示したように、比較位置（例えば、位置｛ａ，ｂ，ｃ，ｄ｝）及び／又は周辺の位置（例えば、｛ｅ，ｆ，ｐ，ｑ｝）における深さ指標がピックと一致しないときに、ピック異常を検出することができる。異常検出に応じて、ロボットシステム１００はさらに、深さ指標及び／又は可視画像を調べて可能性のある故障モードを判定することができる。

いくつかの実施形態では、ロボットシステム１００は、物体位置（例えば、位置｛ａ，ｂ，ｃ，ｄ｝）に対する深さ指標が画像間で一定のままであるとき（図示せず）、ロボットシステム１００が物体（例えば、物体１）のピックに失敗したと判定することができる。失敗したピックモードがなくなったときに、ロボットシステム１００は、物体位置（例えば、位置｛ａ，ｂ，ｃ，ｄ｝）における深さ指標の差が、取り出した物体１の予想高さに一致しないときに、誤認の可能性又は物体の潰れがあると判定することができる。ロボットシステム１００は、第２の画像６０４において取り出した物体に対する深さ指標（例えば、取り出した物体の下方に新たに露出した物体の上面を表す）が非平面パターンを有するときに、誤認であると判定することができる。他の場合には、ロボットシステム１００はデータを処理して、周辺の物体がずれたか、又は下方の物体が潰れたかを判定することができる。ロボットシステム１００は、取り出した物体に対応する位置（例えば、位置｛ｃ｝）が周辺の物体の高さに一致し、深さ指標の差が表面の異なる位置を示し、及び／又は周辺の物体の他の位置（例えば、位置｛ｆ，ｐ，ｑ｝）が、予期しない差に対応するとき、周辺の物体（例えば、図６Ｂの物体４）は、ずれたと判定することができる。いくつかの実施形態では、ロボットシステム１００は、物体ずれをキャッシュ又は記憶して、１つ以上の対応するモーションプランを、例えばピック／把持姿勢を調整することによって、相応に調整することができる。

異常処理の追加の例（図６Ａ及び６Ｂでは示さず）として、ロボットシステム１００は、｛ａ，ｂ，ｃ，ｄ｝における深さ指標の差が平坦面を表して、物体１の予想高さ（例えば、物体検出による）に一致しないときに、物体１の誤検出の可能性があると判定し得る。ロボットシステム１００は、ピックした物体に対する｛ａ，ｂ，ｃ，ｄ｝又は他の点における深さ指標の差が不規則であるか、又は平面パターンに対応しないときに、ピックした物体の下方の物体の潰れの可能性があると判定することができる。ロボットシステム１００は、周辺の未ピック物体（例えば、位置｛ｉ，ｌ，ｅ，ｆ｝）に対する深さ指標が画像間で異なり、及び／又は第２の画像６０４において周辺の物体の表面の高さが平面表面に対応しないとき、ピックした物体の周りの物体の潰れの可能性があると判定することができる。ロボットシステム１００はさらに、ピック操作間の開始位置における深さ指標の差が、対応する配置操作間の作業位置における深さ指標の差と一致しない（例えば、より大きい）ときに、移送した物体に物体の潰れの可能性があると判定することができる。ロボットシステム１００は、周辺の物体（例えば、位置｛ｉ，ｌ，ｅ，ｆ｝）に対する深さ指標の差が周辺の物体の高さに一致し、及び／又は対応する横方向の形状／寸法が周辺の物体のそれに一致するとき、二重ピックであると判定することができる。二重ピックは、ロボットアームのエンドエフェクタが対象物体とともに１つ以上の意図しない物体を把持して移送する状況に対応する。例えば、ロボットアームが、意図した物体１とともに、物体２を意図せず把持して移送する。

ピック確認プロセスと同様に、ロボットシステム１００は、作業位置における深さ指標の差を用いて、物体配置を確認し及び／又は関連付けられる失敗を決定することができる。実例に対する図７Ａ及び７Ｂを用いて、ロボットシステム１００は、目標とする配置位置（例えば、位置｛ｙ，ｚ｝）における深さ指標の変化が物体２の予想高さと一致するときに、物体２の配置確認を判定することができる。ロボットシステム１００はさらに、他の比較位置に対する深さ指標が画像７０２及び７０４間で一定のままであるときに、配置を確認し及び／又は他の故障モードをなくすことができる。ロボットシステム１００は、前述したピッキング異常の場合と同様の解析を用いて、物体の潰れ、以前に配置した物体のずれ、対象物体の誤配置、対象物体の誤認などの可能性のあるエラーモードを決定することができる。

ロボットシステム１００は、決定された故障モードを用いて、以後の操作を制御／実施することができる。例えば、ロボットシステム１００は、移送中の物体の重量、追加の画像、更新された物体検出などの追加データを取得及び／又は解析することができる。またロボットシステム１００は、プランの現在のセット（例えば、モーションプラン、梱包構成、移送手順など）を放棄すること、人間のオペレータに通知すること、エラー回復を決定／実施すること（例えば、開始／作業場所において１つ以上の物体を調整する）など新しいプロセスを決定及び開始してもよい。

操作フロー
図８は、本技術の１つ以上の実施形態によりロボットシステム（例えば、図１のロボットシステム１００）を操作するための方法例８００のフロー図である。本方法８００は、作業実行中に取り込んだ１つ以上の測定値（例えば、深さ指標）に基づいて推定値（例えば、物体数量及び／又は実施ステータス）を導き出すためのものとすることができる。本方法８００は、図２のプロセッサ２０２のうちの１つ以上により図２の記憶装置２０４のうちの１つ以上に記憶された命令を実行することに基づいて実施することができる。モーションプラン及び／又は本方法８００を実施する際、プロセッサ２０２は、モーションプラン、又はコマンド／設定の関連するセット／手順を、ロボットユニット（複数可）（例えば、図３の移送ユニット１０４及び／又は図３のエンドエフェクタ１４０）へ送ることができる。それに応じて、移送ユニット１０４及び／又はエンドエフェクタ１４０は、モーションプランを実行してパッケージを把持及び移送することができる。

ブロック８０２において、ロボットシステム１００は、出荷マニフェスト、注文受付などのスタック説明を取得することができる。ブロック８０４において、ロボットシステム１００は、１つ以上の対応する場所（例えば、１つ以上の作業を実行する前のｔ＝ｘにおける開始位置及び／又は作業位置）を示す最初の画像データを取得することができる。ロボットシステム１００は、は、画像化システム、センサ、及び／又はカメラを用いることができる。取得した画像データは、物体スタック及び／又は対応するプラットフォーム（例えば、貯蔵庫、パレット、コンベアなど）を示す２Ｄ画像及び／又は３Ｄ画像（例えば、深さマップ）を含むことができる。スタック説明は、スタックが共通のＳＫＵ（例えば、図４Ａのスタック４００）又は混合ＳＫＵ（例えば、図５Ａのスタック５００）であるか否かを特定してもよい。スタック説明はさらに、スタック内の物体のグループ化に関する情報を含んでもよい。例えば、図５Ａ及び５Ｂに示すように、タイプＡの物体５０４を第１のカラム内でまとめてグループ化し、タイプＢの物体５０４を第２のカラム内でまとめてグループ化し、及びタイプＣの物体５０４を第３のカラム内でまとめてグループ化する。

ブロック８０６において、ロボットシステム１００は、取得した画像を処理して、図示された物体を検出することができる。例えば、ロボットシステム１００は、端部を検出し、表面を特定し、及び／又は表面の画像をマスタデータと比較して、物体を検出することができる。物体を検出することは、タイプ又はＳＫＵを特定すること、及びその実際の場所を画像処理に基づいて推定することを含むことができる。

ブロック８０８において、ロボットシステム１００は、最初の画像（複数可）及び／又は物体検出結果に少なくとも部分的に基づいて、物体数量を推定することができる。ロボットシステム１００は、図４Ａ～５Ｂに関連して前述したように、深さ指標、検出した物体の配列、物体の推定される配列、スタック内のＳＫＵの数などに基づいて、物体数量を推定することができる。いくつかの実施形態では、ロボットシステム１００は、推定した数量を用いて、例えば保管場所、保管容器、対応する移送機構などを調整するための以後の処理ステップを処理することができる。ロボットシステム１００は推定した数量をさらに用いて、作業プランニング（例えば、作業手順）及び／又は作業実行／進行を確認することができる。

ブロック８１０において、ロボットシステム１００は、スタック内の物体に対するプラン（例えば、モーションプラン、移送手順、梱包プランなど）を導き出すことができる。ロボットシステム１００は、所定のプロセスに基づいてプランを導き出すことが、例えば所定のルールのセットを満たす各物体に対する配置場所を導き出し、梱包プランを実現する物体移送の手順を導き出し、及び／又は配置場所／姿勢から開始位置までの可能性のある場所を繰り返すことからモーションプランを導き出すことによって、可能である。

ブロック８１２において、ロボットシステム１００は、スタック内の物体を移送することが、例えばプランされた手順によりモーションプランを実施することによって可能である。ブロック８１４において、ロボットシステム１００は、物体移送（例えば、モーションプランの実施）中に以後の画像データを取得することができる。ロボットシステム１００は、（例えば、図６Ａ～７Ｂに関して説明したように）スタック内の物体の１つ以上のサブセットを移送する前及び／又は後の画像（例えば、２Ｄ画像及び／又は３Ｄ深さマップ）を取得することができる。ロボットシステム１００は、開始位置及び残存する物体の描写及び／又は作業位置及び新たに配置された物体の描写を取得することができる。

ブロック８１６において、ロボットシステム１００は、取得した画像データを先行する画像と比較することができる。例えば、ロボットシステム１００は、１つ以上の物体を開始位置からピックした後に取得した図６Ｂの第２の画像６０４を、図６Ａの第１の画像６０２と比較する。同様に、ロボットシステム１００は、１つ以上の物体を開始位置から配置した後に取得した図７Ｂの第２の画像７０４を、図７Ａの第１の画像７０２と比較する。例えば、ロボットシステム１００は、深さ指標の比較を、例えば前述したように画像間での深さ指標の差を計算することによって行う。深さ指標の差を計算することは、図示されたスタック内の物体の表面間での深さ指標の差を計算することを含んでいてもよい。代替的に、深さ指標の差を計算することは、図示されたスタック内の物体の表面上の特定の位置（例えば、図６Ａの位置｛ａ，ｂ，ｃ，ｄ，・・・｝）間での深さ指標の差を計算することを含んでいてもよい。

判定ブロック８１８において、ロボットシステム１００は、比較を解析して、対応するピック及び／又は配置が確認できるか否かを判定することができる。例えば、ロボットシステム１００は、前述したように、確認のために、ピック／配置された物体に関連付けられ及び／又はそれを囲む１つ以上の位置における深さ指標の変化を評価することができる。ピック／配置が確認されたら、ロボットシステム１００は、最初にプランされた移送を何らの調整も伴うことなく続けることができる。ピック／配置が無効であると判定されたら、ロボットシステム１００は、ブロック８２０において例示するようにエラーモードを決定することができる。ロボットシステム１００は、深さ指標、画像、ピック履歴、又は他のデータ／結果を解析して、適切なエラーモードを、例えば、前述した物体の潰れ、物体のずれ、物体の誤検出などに対して決定することができる。

図６Ａ及び６Ｂに関連して説明したように、ロボットシステム１００は、周辺の物体の特定の位置（例えば、図６Ａの物体隅部における比較位置）における高さを比較して、周辺の物体におけるピック及び／又は変化を確認することができる。例えば、図６Ａ及び６Ｂを参照して、ロボットシステム１００は、物体２に対する比較位置｛ｇ，ｈ，ｊ，ｋ｝における深さ指標と周辺の位置｛ｉ，ｌ，ｍ，ｎ，ｏ｝における一定の深さ指標との差により、物体２に対する妥当なピックを検出してもよい。ロボットシステム１００は、比較位置（例えば、位置｛ａ，ｂ，ｃ，ｄ｝）及び／又は周辺の位置（例えば、｛ｅ，ｆ，ｐ，ｑ｝）における深さ指標がピックと一致しないときに、ピック異常を検出し得る。例えば、ロボットシステム１００は、物体位置（例えば、物体１の位置｛ａ，ｂ，ｃ，ｄ｝）に対する深さ指標が画像間で一定のままであるとき、ロボットシステム１００が物体（例えば、図６Ａ及び６Ｂの物体１）のピックに失敗したと判定することができる。別のピック異常としては、ピックした物体の誤認を挙げることができる。例えば、ロボットシステム１００は、第２の画像６０４において取り出した物体に対する深さ指標（例えば、取り出した物体の下方に新たに露出した物体の上面を表す）が非平面パターンを有するときに、誤認であると判定する。非平面パターンは、周辺の物体がずれた及び／又は移送した物体の下方の物体が損傷を受けたことの徴候であり得る。さらに別のピック異常としては、ピックした物体の誤検出を挙げることができる。例えば、ロボットシステム１００は、移送した物体（例えば、物体１における位置｛ａ，ｂ，ｃ，ｄ｝）における深さ指標の差が、移送した物体の予想高さ（例えば、物体検出による）に一致しない平坦面を表すときに、移送した物体の誤検出であると判定してもよい。またロボットシステム１００は、周辺の物体（例えば、図６Ｂの位置｛ｉ，ｌ，ｅ，ｆ｝）に対する深さ指標の差が周辺の物体の高さに一致し、及び／又は対応する横方向の形状／寸法が周辺の物体のそれに一致するときに、二重ピックであると判定してもよい。これは、移送した物体とともに、周辺の物体が意図せず取り出されたことを示す。

ブロック８２２において、ロボットシステム１００は、決定されたエラーモードによりエラー応答を実施することができる。ロボットシステム１００は、所定のセットのルールによりエラー応答を実施することができる。実施する応答には、人間のオペレータに通知すること、移送プランを放棄すること、及び／又はエラー回復プロセスを実施することを含めることができる。いくつかのエラー回復プロセス例としては、物体を再検出すること、移送を再プランニングすること、物体を再把持すること、ずれた物体を再び積み重ねること、障害物又は潰れた物体を取り除くことなどを挙げてもよい。ロボットシステム１００は、回復プロセスが成功したとき及び／又は検出したエラーモードが実施を継続するための条件を表すときに、物体の移送を実施することを続けてもよい。いくつかの実施形態では、ロボットシステムは、例えば、ずれた物体に対する距離及び／又は姿勢の変化を計算することによって、差をキャッシュすることができる。ロボットシステムは、計算した変化指標により、対応するモーションプランを調整することが、例えば、アプローチ及び把握位置を変えることによって可能である。ロボットシステムは、調整したモーションプランを用いて、物体の移送を続けることができる。

実施形態
いくつかの実施形態により、ロボットシステム（例えば、図１のロボットシステム１００）を操作する方法は、開始位置における物体スタックから作業位置における物体スタックまで物体を移送するための、開始位置の画像データ（例えば、図６Ａ及び６Ｂに関して説明した画像６０２及び６０４）、及び作業位置の画像データ（例えば、図７Ａ及び７Ｂに関して説明した画像７０２及び７０４）を取得することを含む。画像データは、開始位置から作業位置までの１つ以上の物体の移送を描写する画像列を含む。画像列は、１つ以上の物体を移送する前の開始位置及び作業位置を描写する第１の画像セット（例えば、図６Ａ及び７Ａ）と、１つ以上の物体を移送した後の開始位置及び作業位置を描写する第２の画像セット（例えば、図６Ｂ及び７Ｂ）とを含む。画像データは、画像列内の各画像から決定された深さ指標を含む。深さ指標は、開始位置における表面の推定高さと作業位置における表面の推定高さとを表す（例えば、図６Ａ～７Ｂの異なる塗りつぶしを用いて例示した推定高さ）。本方法は、第１の画像セット及び第２の画像セットにおける開始位置での表面の推定高さを表す深さ指標間の第１の深さ差（例えば、図６Ａ及び６Ｂにおける位置｛ｇ，ｈ，ｊ，ｋ｝での第１の画像６０２及び第２の画像６０４間の深さ差）を決定することを含む。本方法は、第１の深さ差がピック確認閾値よりも大きいという判定に応じて、１つ以上の物体のうちの対象物体を開始位置からピックすることに成功した（例えば、物体２を開始位置からピックした）ことを確認することを含む。本方法は、第１の画像セット及び第２の画像セットにおける作業位置での表面の推定高さを表す深さ指標間の第２の深さ差（例えば、図７Ａ及び７Ｂにおける位置｛ｙ，ｚ｝での第１の画像７０２及び第２の画像７０４間の深さ差）を決定することを含む。本方法は、第２の深さ差が配置確認閾値よりも大きいという判定に応じて、１つ以上の物体のうちの対象物体を作業位置に配置した（例えば、物体２を作業位置に配置した）ことを確認することを含む。例えば、１つ以上の物体のうちの対象物体が、モーションプランによる対象物体に対する作業位置に配置された。配置確認閾値は、前述したピック確認閾値と同様に、物体の予想される最小高さに対応することができる。例えば、移送した物体は特定の最小高さを有すると予想される。第１及び第２の画像７０２及び７０４間の異なる深さ方向の指標が特定の最小高さ以上である場合、ロボットシステム１００は、対象物体を作業位置に配置することに成功したと判定することができる。また配置確認閾値は、個々の移送した物体の予想される最小高さに対応することができる。

いくつかの実施形態では、本方法はさらに、開始位置及び／又は作業位置における物体スタック内の物体の数量を推定することを含む。推定は、画像データ（例えば、図５Ｂの画像データ５０２）に基づいて、物体スタック（例えば、物体スタック５００）の周辺端部及び物体スタックの高さ（例えば、高さＨ_Ｓ）を決定することを含む。本方法は、周辺端部及び物体スタックの高さに基づいて物体スタックの体積を導き出すことを含む。本方法は、物体スタック内の別個の領域（例えば、タイプＡの物体５０４を含む第１のカラム、タイプＢの物体５０４を含む第２のカラム、及びタイプＣの物体５０４を含む第３のカラムに対応する別個の領域）に対する横寸法を決定することを含む。別個の領域の表面は、１つ以上の横方向間での高さの変化において共通の高さ又は線状パターンを有する。本方法は、別個の領域（例えば、図５Ｂの破線で例示した横方向の水平表面）に対する横寸法及び周辺の垂直表面の対応する推定高さに基づいて、物体スタック内の個々の別個の領域の体積を決定することを含む。本方法は、物体スタックの導き出した体積及び物体スタック内の個々の別個の領域に対応する体積に基づいて、物体スタック内の物体の数量に対する推定値を導き出すことを含む。

いくつかの実施形態では、物体スタック内の物体の数量を推定することはさらに、物体スタックの積み重ねパターンを推定することを含む。推定は、物体スタックの決定した周辺端部、物体スタックの体積、及び物体スタック内の別個の領域に対する横寸法を、所定のテンプレートのセット及び／又は積み重ねルールのセット（例えば、ロボットシステム１００のマスタデータは、所定のテンプレート及び／又は積み重ねルールのセットに関するデータを含む）と比較することによって行う。本方法は、積み重ねパターン及び物体スタックの体積に基づいて、物体スタック内の物体の数量に対する推定値を導き出すことを含む。物体スタック内の物体は種々の寸法の物体を含む（例えば、タイプＡ、Ｂ、及びＣの物体５０４は形状及び／又はサイズが異なる）。

いくつかの実施形態では、本方法はさらに、物体スタック内の物体の数量に対する推定値を、開始位置から作業位置へ移送された１つ以上の物体を特定する追跡履歴データ（例えば、ロボットシステム１００のマスタデータの追跡履歴）と比較して、追跡履歴データが正確であるか否かを確認することを含む。

いくつかの実施形態では、本方法はさらに、第２の深さ差が配置確認閾値より小さいという判定により、１つ以上の物体のうちの対象物体を作業位置に配置することに成功しなかったと判定することを含む。

いくつかの実施形態では、本方法は、画像データに基づいて対象物体の寸法を導き出すこと、及び対象物体の導き出した寸法を以前に移送された物体を特定する追跡履歴データと比較することを含む。導き出した寸法が以前に移送された物体の寸法と異なっているとき、本方法は、対象物体の導き出した寸法が移送が予想される特定した１つ以上の物体に対応しないという判定により、対象物体が誤認されていると判定することを含む。

いくつかの実施形態では、本方法は、画像データから、開始位置でのピックに成功したと確認された（例えば、図６Ａ及び６Ｂは、個々のスタック６０６－１及び６０６－２間での物体２の取り出しを例示する）対象物体の周辺端部を推定することを含む。本方法は、対象物体の周辺端部に隣接する（開始位置における）比較位置を特定することを含む。比較位置は、対象物体に隣接して位置する物体に対応する（例えば、図６Ｂの物体３に対応する比較位置｛ｍ，ｎ｝）。本方法は、対象物体が開始位置からピックされる前後の比較位置における推定高さを比較して、比較位置に対応する物体に異常があるか否かを特定することを含む。

いくつかの実施形態では、本方法はさらに、対象物体がピックされる前後の比較位置における推定高さ間の差が、対象物体に隣接して当初に位置していた隣接物体の高さに対応すると判定することを含む。このような判定に応じて、本方法は、隣接物体が意図せず対象物体とともにピックされたと判定することを含む。

いくつかの実施形態では、本方法はさらに、対象物体がピックされる前後の比較位置における推定高さの差を決定することを含む。このような差が最小高さ変化要求よりも大きく、及び／又は対象物体がピックされる前後の比較位置における推定高さが平面表面に対応しないという判定に応じて、本方法は、対象物体に隣接する物体が損傷を受けたと判定することを含む。最小高さ変化要求は、異なる画像（例えば、異なる時点）間の高さの差を処理の重要性があると分類するための閾値に対応することができる。言い換えれば、ロボットシステム１００は、最小高さ変化要求を、測定ノイズ又は他のそれほど著しくない高さ変化を遮断するフィルタとして用いることができる。それに応じて、最小高さ変化要求は、２つの異なる画像から決定した物体の推定高さの差に対する典型的な測定誤差（例えば、標準偏差又は平均偏差）をわずかに上回る値に対応してもよい。例えば、第１の差が最小高さ変化要求の範囲内であるとき、システムは第１の差が測定誤差に対応すると判定することができる。第１の差が最小高さ変化要求よりも大きいとき、システムは隣接物体がその位置からずれたと判定することができる。

いくつかの実施形態では、比較位置は、比較位置の第１のサブセット（例えば、図６Ｂの比較位置｛ｐ，ｑ｝）、及び比較位置の第２のサブセット（例えば、比較位置｛ｅ，ｆ｝）を含む。比較位置の第１及び第２のサブセットは、対象物体に隣接して位置する隣接物体の表面に関連付けられる。本方法はさらに、対象物体がピックされる前後の比較位置の第１のサブセットにおける推定高さ間の第１の差と、対象物体がピックされる前後の比較位置の第２のサブセットにおける推定高さ間の第２の差とを決定することを含む。本方法は、第１の差が最小高さ変化要求の範囲内であり、かつ、第２の差が最小高さ変化要求よりも大きいという判定に応じて、隣接物体がずれた（例えば、物体１を取り出す間に物体４がずれた）と判定することを含む。

いくつかの実施形態によると、ロボットシステム（例えば、図１のロボットシステム１００）は、少なくとも１つのプロセッサ（例えば、図２のプロセッサ２０２）、及びプロセッサ命令を含む少なくとも１つのメモリ（例えば、記憶装置２０４）を含む。プロセッサ命令は、実行されると、少なくとも１つのプロセッサに本明細書で説明した方法を行わせる。

いくつかの実施形態によると、非一時的コンピュータ可読媒体（例えば、記憶装置２０４）がプロセッサ命令を含み、プロセッサ命令は、１つ以上のプロセッサによって実行されると、１つ以上のプロセッサに本明細書で説明する方法を行わせる。

結論
開示された技術の実施例の上記の詳細な説明は、網羅的であること、又は開示された技術を上記で開示された正確な形態に限定することを意図するものではない。開示された技術の特定の実施例が例示の目的で上記で説明されているが、当業者が認識するように、開示された技術の範囲内で様々な同等の修正が可能である。例えば、プロセス又はブロックが所与の順序で提示されているが、代替的な実施態様は、ステップを有するルーチンを実行してもよく、又はブロックを有するシステムを異なる順序で使用してもよく、いくつかのプロセス又はブロックは、代替又は部分的な組み合わせを提供するために、削除、移動、追加、細分、結合、及び／又は変更されてもよい。これらのプロセス又はブロックのそれぞれは、様々な方法で実施されてもよい。また、プロセス又はブロックは、時には直列に実行されるように示されているが、これらのプロセス又はブロックは、代わりに、並列に実行又は実施されてもよく、又は異なる時間に実行されてもよい。さらに、本明細書でに記載されている任意の特定の数は単なる実施例であり、代替的な実施態様では、異なる値又は範囲を使用してもよい。

上記の発明を実施するための形態を踏まえて、開示された技術には、これらの変更及びその他の変更を加えることができる。詳細な説明は、開示された技術の特定の実施例ならびに考えられるベストモードを説明しているが、開示された技術は、上記の説明が本文にどのように詳細に記載されていても、多くの方法で実施することができる。システムの詳細は、本明細書に開示されている技術によって包含されながら、特定の実施態様ではかなり異なり得る。上述したように、開示された技術の特定の特徴又は態様を説明するときに使用される特定の用語は、その用語が関連付けられている開示された技術の特定の特性、特徴、又は態様に制限されるように、本明細書でその用語が再定義されていることを意味するものと解釈されるべきではない。したがって、本発明は、添付の特許請求の範囲によるものを除き、限定されない。一般に、以下の特許請求の範囲で使用される用語は、上記の詳細な説明の節でそのような用語を明示的に定義しない限り、開示された技術を本明細書で開示される特定の実施例に限定するように解釈されるべきではない。

本発明の特定の態様は、以下に特定の特許請求の範囲の形態で提示されるが、出願人は本発明の様々な態様を任意の数の特許請求の範囲の形態で検討する。したがって、本出願人は、本願又は継続出願のいずれかで、そのような付加的な特許請求の範囲の形態を追求するために、本願を出願した後に付加的な特許請求の範囲を追求する権利を留保する。

Claims (20)

1. ロボットシステムを操作する方法であって、
   物体を開始位置における物体スタックから作業位置における物体スタックまで移送するための、前記開始位置及び前記作業位置の画像データを取得することであって、前記画像データは、１つ以上の物体を前記開始位置から前記作業位置まで移送することに対応する画像列を含み、前記画像列は、前記１つ以上の物体を移送する前の前記開始位置及び前記作業位置を描写する第１の画像セットと、前記１つ以上の物体を移送した後の前記開始位置及び前記作業位置を描写する第２の画像セットと、を含み、前記画像データは、前記開始位置における表面の推定高さと前記作業位置における表面の推定高さとを表す深さ指標を含むことと、
   前記第１の画像セット及び前記第２の画像セット内の前記開始位置における前記表面の前記推定高さを表す深さ指標間の第１の深さ差を決定することと、
   前記第１の深さ差がピック確認閾値よりも大きいという判定に応じて、前記１つ以上の物体のうちの対象物体が前記開始位置から移送されたことを確認することと、
   前記第１の画像セット及び前記第２の画像セット内の前記作業位置における前記表面の前記推定高さを表す深さ指標間の第２の深さ差を決定することと、
   前記第２の深さ差が配置確認閾値よりも大きいという判定に応じて、前記１つ以上の物体のうちの前記対象物体が前記作業位置に配置されたことを確認することと、
   を含む、方法。
2. 前記開始位置及び／又は前記作業位置における前記物体スタック内の物体の数量を推定することをさらに含み、
   この推定は、
   前記画像データに基づいて、前記物体スタックの周辺端部及び前記物体スタックの高さを決定することと、
   前記物体スタックの前記周辺端部及び前記高さに基づいて、前記物体スタックの体積を導き出すことと、
   前記物体スタック内の別個の領域に対する横寸法を決定することであって、前記別個の領域の表面は、１つ以上の横方向間での前記高さの変化において共通の高さ又は線状パターンを有することと、
   前記別個の領域に対する前記横寸法及び周辺の垂直表面の対応する推定高さに基づいて、前記物体スタック内の個々の別個の領域の体積を決定することと、
   前記物体スタックの前記導き出した体積及び前記物体スタック内の前記個々の別個の領域に対応する前記体積に基づいて、前記物体スタック内の物体の前記数量に対する推定値を導き出すことと、
   により行う請求項１に記載の方法。
3. 前記物体スタック内の物体の前記数量を推定することは、
   前記物体スタックの前記決定した周辺端部、前記物体スタックの前記体積、及び前記物体スタック内の前記別個の領域に対する前記横寸法を、所定のテンプレートのセット及び／又は積み重ねルールのセットと比較することによって、積み重ねパターンを推定することと、
   前記積み重ねパターン及び前記物体スタックの前記体積に基づいて、前記物体スタック内の物体の前記数量に対する推定値を導き出すことであって、前記物体スタック内の前記物体は種々の寸法の物体を含むことと、
   をさらに含む請求項２に記載の方法。
4. 前記物体スタック内の物体の前記数量に対する前記推定値を、前記開始位置から前記作業位置へ移送された１つ以上の物体を特定する追跡履歴データと比較して、前記追跡履歴データが正確であるか否かを確認することをさらに含む請求項３に記載の方法。
5. 前記第２の深さ差が前記配置確認閾値よりも小さいという判定に応じて、前記１つ以上の物体のうちの前記対象物体が前記作業位置に配置されなかったと判定することをさらに含む請求項１に記載の方法。
6. 前記画像データに基づいて、前記対象物体の寸法を導き出すことと、
   前記対象物体の前記導き出した寸法を、以前に移送された物体を特定する追跡履歴データと比較することと、
   前記導き出した寸法が前記以前に移送された物体の寸法と異なるときに、前記対象物体が誤認されたと判定することと、
   をさらに含む請求項１に記載の方法。
7. 前記画像データから、前記開始位置から移送されたと確認された前記対象物体の周辺端部を推定することと、
   前記開始位置において、前記対象物体の前記周辺端部に隣接する比較位置を特定することであって、前記比較位置は、前記対象物体に隣接して位置する物体に対応することと、
   前記対象物体が前記開始位置から移送される前及び後の前記比較位置における推定高さを比較して、前記比較位置に対応する物体に異常があるか否かを特定することと、
   をさらに含む請求項１に記載の方法。
8. 前記対象物体が移送される前及び後の前記比較位置における前記推定高さ間の差が、前記対象物体に隣接して当初に位置する隣接物体の高さに対応するという判定に応じて、前記隣接物体が意図せず前記対象物体とともに移送されたと判定すること、をさらに含む請求項７に記載の方法。
9. 前記対象物体が移送される前及び後の前記比較位置における前記推定高さ間の差が最小高さ変化要求よりも大きく、及び／又は前記対象物体が移送される前及び後の前記比較位置における前記推定高さが平面表面に対応しないという判定に応じて、前記対象物体に隣接する物体が損傷を受けたと判定すること、をさらに含む請求項８に記載の方法。
10. 前記比較位置は、比較位置の第１のサブセット及び比較位置の第２のサブセットを含み、
    比較位置の前記第１及び前記第２のサブセットは、前記対象物体に隣接して位置する隣接物体の表面に関連付けられ、
    前記方法は、
    前記対象物体が移送される前及び後の比較位置の前記第１のサブセットにおける推定高さ間の第１の差と、前記対象物体が移送される前及び後の比較位置の前記第２のサブセットにおける推定高さ間の第２の差とを決定することと、
    前記第１の差が最小高さ変化要求の範囲内であり、かつ、前記第２の差が前記最小高さ変化要求よりも大きいという判定に応じて、前記隣接物体がずれたと判定することと、
    をさらに含む請求項７に記載の方法。
11. ロボットシステムであって、
    少なくとも１つのプロセッサと、
    プロセッサ命令を含む少なくとも１つのメモリと、を含み、
    前記プロセッサ命令は、実行されると、前記少なくとも１つのプロセッサに、
    物体を開始位置における物体スタックから作業位置における物体スタックまで移送するための、前記開始位置及び前記作業位置の画像データを取得することであって、前記画像データは、１つ以上の物体を前記開始位置から前記作業位置まで移送することを描写する画像列を含み、前記画像列は、前記１つ以上の物体を移送する前の前記開始位置及び前記作業位置を描写する第１の画像セットと、前記１つ以上の物体を移送した後の前記開始位置及び前記作業位置を描写する第２の画像セットと、を含み、前記画像データは、前記画像列における各画像から決定される深さ指標であって、前記開始位置における表面の推定高さと前記作業位置における表面の推定高さとを表す深さ指標を含むことと、
    前記第１の画像セット及び前記第２の画像セット内の前記開始位置における前記表面の前記推定高さを表す深さ指標間の第１の深さ差を決定することと、
    前記第１の深さ差がピック確認閾値よりも大きいという判定に応じて、前記１つ以上の物体のうちの対象物体が前記開始位置から移送されたことを確認することと、
    前記第１の画像セット及び前記第２の画像セット内の前記作業位置における前記表面の前記推定高さを表す深さ指標間の第２の深さ差を決定することと、
    前記第２の深さ差が配置確認閾値よりも大きいという判定に応じて、前記１つ以上の物体のうちの前記対象物体が前記作業位置に配置されたことを確認することと、
    を含む方法を行わせる、ロボットシステム。
12. 前記方法は、
    前記開始位置及び／又は前記作業位置における前記物体スタック内の物体の数量を推定することをさらに含み、
    この推定は、
    前記画像データに基づいて、前記物体スタックの周辺端部及び前記物体スタックの高さを決定することと、
    前記物体スタックの前記周辺端部及び前記高さに基づいて、前記物体スタックの体積を導き出すことと、
    前記物体スタック内の別個の領域に対する横寸法を決定することであって、前記別個の領域の表面は、１つ以上の横方向にわたる前記高さに対する変化において共通の高さ又は線状パターンを有することと、
    前記別個の領域に対する前記横寸法及び周辺の垂直表面の対応する推定高さに基づいて、前記物体スタック内の個々の別個の領域の体積を決定することと、
    前記物体スタックの前記導き出した体積及び前記物体スタック内の前記個々の別個の領域に対応する前記体積に基づいて、前記物体スタック内の物体の前記数量に対する推定値を導き出すことと、
    により行う請求項１１に記載のロボットシステム。
13. 前記物体スタック内の物体の前記数量を推定することは、
    前記物体スタックの前記決定した周辺端部、前記物体スタックの前記体積、及び前記物体スタック内の前記別個の領域に対する前記横寸法を、所定のテンプレートのセット及び／又は積み重ねルールのセットと比較することによって、積み重ねパターンを推定することと、
    前記積み重ねパターン及び前記物体スタックの前記体積に基づいて、前記物体スタック内の物体の前記数量に対する推定値を導き出すことであって、前記物体スタック内の前記物体は種々の寸法の物体を含むと、
    をさらに含む請求項１２に記載のロボットシステム。
14. 前記方法は、
    前記物体スタック内の物体の前記数量に対する前記推定値を、前記開始位置から前記作業位置へ移送された１つ以上の物体を特定する追跡履歴データと比較して、前記追跡履歴データが正確であるか否かを確認することをさらに含む請求項１３に記載のロボットシステム。
15. 前記方法は、
    前記第２の深さ差が前記配置確認閾値よりも小さいという判定に応じて、前記１つ以上の物体のうちの前記対象物体が前記作業位置に配置されなかったと判定することをさらに含む請求項１３に記載のロボットシステム。
16. プロセッサ命令を含む非一時的コンピュータ可読媒体であって、
    前記プロセッサ命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    物体を開始位置における物体スタックから作業位置における物体スタックまで移送するための、前記開始位置及び前記作業位置の画像データを取得することであって、前記画像データは、１つ以上の物体を前記開始位置から前記作業位置まで移送することを描写する画像列を含み、前記画像列は、前記１つ以上の物体を移送する前の前記開始位置及び前記作業位置を描写する第１の画像セットと、前記１つ以上の物体を移送した後の前記開始位置及び前記作業位置を描写する第２の画像セットと、を含み、前記画像データは、前記画像列における各画像から決定される深さ指標であって、前記開始位置における表面の推定高さと前記作業位置における表面の推定高さとを表す深さ指標を含むことと、
    前記第１の画像セット及び前記第２の画像セット内の前記開始位置における前記表面の前記推定高さを表す深さ指標間の第１の深さ差を決定することと、
    前記第１の深さ差がピック確認閾値よりも大きいという判定に応じて、前記１つ以上の物体のうちの対象物体が前記開始位置から移送されたことを確認することと、
    前記第１の画像セット及び前記第２の画像セット内の前記作業位置における前記表面の前記推定高さを表す深さ指標間の第２の深さ差を決定することと、
    前記第２の深さ差が配置確認閾値よりも大きいという判定に応じて、前記１つ以上の物体のうちの前記対象物体が前記作業位置に配置されたことを確認することと、
    を行わせる非一時的コンピュータ可読媒体。
17. 前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    前記開始位置及び／又は前記作業位置における前記物体スタック内の物体の数量を推定することを行わせ、
    この推定は、
    前記画像データに基づいて、前記物体スタックの周辺端部及び前記物体スタックの高さを決定することと、
    前記物体スタックの前記周辺端部及び前記高さに基づいて前記物体スタックの体積を導き出すことと、
    前記物体スタック内の別個の領域に対する横寸法を決定することであって、前記別個の領域の表面は、１つ以上の横方向にわたる前記高さに対する変化において共通の高さ又は線状パターンを有することと、
    前記別個の領域に対する前記横寸法及び周辺の垂直表面の対応する推定高さに基づいて、前記物体スタック内の個々の別個の領域の体積を決定することと、
    前記物体スタックの前記導き出した体積及び前記物体スタック内の前記個々の別個の領域に対応する前記体積に基づいて、前記物体スタック内の物体の前記数量に対する推定値を導き出すことと、
    により行う請求項１６に記載の非一時的コンピュータ可読媒体。
18. 前記物体スタック内の物体の前記数量を推定することは、
    前記物体スタックの前記決定した周辺端部、前記物体スタックの前記体積、及び前記物体スタック内の前記別個の領域に対する前記横寸法を、所定のテンプレートのセット及び／又は積み重ねルールのセットと比較することによって積み重ねパターンを推定することと、
    前記積み重ねパターン及び前記物体スタックの前記体積に基づいて、前記物体スタック内の物体の前記数量に対する推定値を導き出すことであって、前記物体スタック内の前記物体は種々の寸法の物体を含むことと、
    をさらに含む請求項１７に記載の非一時的コンピュータ可読媒体。
19. 前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    前記物体スタック内の物体の前記数量に対する前記推定値を、前記開始位置から前記作業位置へ移送された１つ以上の物体を特定する追跡履歴データと比較して、前記追跡履歴データが正確であるか否かを確認することを行わせる請求項１８に記載の非一時的コンピュータ可読媒体。
20. 前記命令は、１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに、
    前記第２の深さ差が前記配置確認閾値よりも小さいという判定に応じて、前記１つ以上の物体のうちの前記対象物体が前記作業位置に配置されなかったと判定することを行わせる請求項１８に記載の非一時的コンピュータ可読媒体。
    

Images