JP2020196118A - 動的パッキング機構を有するロボットシステム - Google Patents

Abstract

【課題】ロボットは、様々な実世界の要因から生じ得るばらつきまたは不確実性を考慮するための、実行されるアクションにおける制御の粒度および柔軟性を欠いている。【解決手段】ロボットシステムを動作させるための方法は、対象オブジェクトを表す離散化オブジェクトモデルを決定することと、タスク位置を表す離散化台モデルを決定することと、タスク位置を表すリアルタイムセンサデータに基づいて高さ寸法を決定することと、を含む。そして、（１）オブジェクトをタスク位置にスタックするために離散化オブジェクトモデルおよび離散化台モデルを重ねることと、（２）高さ寸法に基づいて重なりに関連する載置スコアを計算することとに基づいて、載置位置を動的に導出する。【選択図】図７

Description

関連出願の相互参照
本出願は、Ｒｏｓｅｎ Ｎ．ＤｉａｎｋｏｖおよびＤｅｎｙｓ Ｋａｎｕｎｉｋｏｖによる、「Ａ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＰＡＣＫＩＮＧ ＭＥＣＨＡＮＩＳＭ」と題された、同時出願された米国特許出願に関する主題を含み、これはＭｕｊｉｎ，Ｉｎｃに譲渡され、代理人整理番号１３１８３７−８００５．ＵＳ０１によって識別され、その全体が引用により本明細書に組み込まれている。

本出願は、Ｒｏｓｅｎ Ｎ．ＤｉａｎｋｏｖおよびＤｅｎｙｓ Ｋａｎｕｎｉｋｏｖによる、「Ａ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＷＩＴＨ ＥＲＲＯＲ ＤＥＴＥＣＴＩＯＮ ＡＮＤ ＤＹＮＡＭＩＣ ＰＡＣＫＩＮＧ ＭＥＣＨＡＮＩＳＭ」と題された、同時出願された米国特許出願に関する主題を含み、これはＭｕｊｉｎ，Ｉｎｃに譲渡され、代理人整理番号１３１８３７−８００７．ＵＳ０１によって識別され、その全体が引用により本明細書に組み込まれている。

本出願は、Ｒｏｓｅｎ Ｎ．ＤｉａｎｋｏｖおよびＤｅｎｙｓ Ｋａｎｕｎｉｋｏｖによる、「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＦＯＲ ＰＲＯＣＥＳＳＩＮＧ ＰＡＣＫＡＧＥＳ ＡＲＲＩＶＩＮＧ ＯＵＴ ＯＦ ＳＥＱＵＥＮＣＥ」と題された、同時出願された米国特許出願に関する主題を含み、これはＭｕｊｉｎ，Ｉｎｃに譲渡され、代理人整理番号１３１８３７−８００８．ＵＳ０１によって識別され、その全体が引用により本明細書に組み込まれている。

本出願は、Ｒｏｓｅｎ Ｎ．ＤｉａｎｋｏｖおよびＤｅｎｙｓ Ｋａｎｕｎｉｋｏｖによる、「ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＦＯＲ ＰＡＬＬＥＴＩＺＩＮＧ ＰＡＣＫＡＧＥＳ ＵＳＩＮＧ ＲＥＡＬ−ＴＩＭＥ ＰＬＡＣＥＭＥＮＴ ＳＩＭＵＬＡＴＩＯＮ」と題された、同時出願された米国特許出願に関する主題を含み、これはＭｕｊｉｎ，Ｉｎｃに譲渡され、代理人整理番号１３１８３７−８００９．ＵＳ０１によって識別され、その全体が引用により本明細書に組み込まれている。

本技術は、一般にはロボットシステムを対象とし、より詳細には、動的な計算に基づいてオブジェクトをパッキングするためのシステム、処理、および技術を対象とする。

向上し続ける性能および低下するコストによって、多くのロボット（たとえば、物理的なアクションを自動的／自律的に実行するように構成される機械）が、現在多くの分野において広く使用されている。ロボットは、たとえば、製造および／または組み立て、パッキングおよび／またはパッケージング、輸送および／または出荷などにおける様々なタスク（たとえば、オブジェクトを操作するまたは空間を通して転置する）を実行するために使用することができる。タスクを実行する際に、ロボットは人間のアクションを再現することによって、危険または反復的なタスクを実行するのに本来必要とされる人間の関与を置き換えるまたは減らすことができる。

しかしながら、技術的進歩にもかかわらず、ロボットはより複雑なタスクを実行するのに必要とされる人間の敏感性および／または順応性を複製するのに必要な精巧さを欠いていることが多い。たとえば、ロボットは、様々な実世界の要因から生じ得るばらつきまたは不確実性を考慮するための、実行されるアクションにおける制御の粒度および柔軟性を欠いていることが多い。したがって、様々な実世界の要因によらずタスクを完了するようにロボットの様々な側面を制御し管理するための改良された技術およびシステムへの必要性が残っている。

動的パッキング機構を有するロボットシステムが動作し得る例示的な環境の図である。 本技術の１つまたは複数の実施形態によるロボットシステムを示すブロック図である。 本技術の１つまたは複数の実施形態による離散化オブジェクトの図である。 本技術の１つまたは複数の実施形態による離散化パッキング台の図である。 本技術の１つまたは複数の実施形態による支持の計算の図である。 本技術の１つまたは複数の実施形態による支持メトリックの図である。 本開示の１つまたは複数の実施形態によるロボットシステムによって実行される例示的な載置を示す上面視である。 本開示の１つまたは複数の実施形態による第１の例示的な進入を示す側面視である。 本開示の１つまたは複数の実施形態による第２の例示的な進入を示す側面視である。 本技術の１つまたは複数の実施形態による図１のロボットシステムを動作させるための流れ図である。

本明細書では、オブジェクト（たとえば、パッケージおよび／またはボックス）を動的にパッキングするためのシステムおよび方法を説明する。いくつかの実施形態に従って構成されるロボットシステム（たとえば、１つまたは複数の指定タスクを実行するデバイスの統合システム）は、オブジェクトについての最適な保管位置を動的に導出し、それに従ってスタックすることによって、パッキングおよび保管効率を向上させる。

従来のシステムは、オフラインパッキングシミュレータを使用して、パッキングシーケンス／配置を事前に決定する。従来のパッキングシミュレータは、所定のまたは推定されるケースのセットに関するオブジェクト情報（たとえば、ケースの形状／サイズ）を処理してパッキングプランを生成する。決定されると、パッキングプランは、目的地（たとえば、パレット、ビン、ケージ、ボックスなど）におけるオブジェクトの具体的な載置位置／姿勢、事前定義された載置のシーケンス、および／または所定のモーションプランを規定および／または要求する。従来のパッキングシミュレータは、所定のパッキングプランから、そのパッキングプランに合致するまたは可能にするソース要件（たとえば、オブジェクトについてのシーケンスおよび／または載置）を導出し得る。パッキングプランは従来のシステムではオフラインで開発されるので、プランは実際のパッキング動作／状況、オブジェクトの到着、および／または他のシステムの実装とは独立している。したがって、全体的な動作／実装では、（たとえば、開始／拾得位置において）受け取ったパッケージが、所定のパッキングプランに合致する固定のシーケンスに従うことが必要になる。したがって、従来のシステムは、リアルタイムの状況および／または受け取ったパッケージのばらつき（たとえば、異なるシーケンス、位置、および／または向き）、予期しないエラー（たとえば、衝突および／または紛失）、リアルタイムのパッキング要求（たとえば、受注）、および／または他のリアルタイム要因に適応することができない。

さらに、従来のシステムは、厳格な所定のプラン／シーケンスに従ってオブジェクトをグループ化し、パッキングするので、ソース位置にある全てのオブジェクトが（１）同一の寸法／タイプを有すること、および／または（２）既知のシーケンスに従って到着することを必要とする。たとえば、従来のシステムでは、オブジェクトが固定のシーケンスに従って（コンベヤなどを介して）拾得位置に到着することが必要となる。また、たとえば、従来のシステムでは、拾得位置にあるオブジェクトが所定の姿勢に従って指定位置に載置されることが必要となる。したがって、従来のシステムでは、所定のシーケンス／配置に従ってオブジェクトをソースに（すなわち、パッキング動作の前に）並べるおよび／または載置するための１つまたは複数の動作が必要である。大抵、従来のシステムは、所定のシーケンス／姿勢に従ってオブジェクトをソースに並べるおよび／または載置するためのシーケンスバッファを必要とし、これは１００万ＵＳドル以上かかる。

従来のシステムとは対象的に、本明細書に記載のロボットシステムは、システム動作中にオブジェクトの載置位置を動的に（たとえば、オブジェクトが到着したまたは識別されたときに、および／または実際のパッキング動作などの１つまたは複数の動作を最初に開始した後に）導出することができる。いくつかの実施形態では、ロボットシステムはトリガイベント、たとえば、再評価タイミング、パッキング／操作エラー（たとえば、衝突イベントもしくは紛失イベント）、（たとえば、ソースおよび／または目的地において）認識されないオブジェクト、載置済みパッケージの位置／向きの変化、および／または他の動的な条件の発生に基づいて載置の動的な導出を開始／実施することができる。いくつかの実施形態では、ロボットシステムが到着するオブジェクトに関する事前情報を有さない場合、たとえば、事前に知られていないオブジェクトを受け取るために、および／またはランダムな／未知のシーケンスのオブジェクトを受け取るために、載置位置を動的に導出することができる。載置位置を動的に導出する際に、ロボットシステムは、様々なリアルタイムの状況（たとえば、現在存在しているまたは進行中の状況）を利用することができ、これには、たとえば、利用可能な／到着するオブジェクト、オブジェクト特性および／または要件、載置要件、および／または他のリアルタイム要因が含まれる。

ロボットシステムは、離散化メカニズム（たとえば、処理、回路、関数、および／またはルーチン）に基づいて載置位置を導出することができる。たとえば、ロボットシステムは離散化メカニズムを使用して、離散化単位（すなわち、１つの離散エリア／スペース）に従って、オブジェクトおよび／または目標場所の物理的なサイズ／形状を記述することができる。ロボットシステムは、離散化単位を使用して想定オブジェクトを記述する離散化オブジェクトのプロフィール、および／または目標場所（たとえば、パレットの上面および／またはビン／ケース／ボックス内の空間／底面）を記述する離散化された目的地のプロフィールを生成することができる。したがって、ロボットシステムは、連続的な実世界の空間／エリアをコンピュータ読み取り可能なデジタル情報に変換することができる。さらに、離散化データによって、パッケージフットプリントを記述し、様々なパッケージ載置を比較するための計算複雑性を削減することが可能になり得る。たとえば、パッケージ寸法は、実世界の１０進数ではなく、離散化単位の整数に対応することができ、これにより数学的計算が容易になる。

いくつかの実施形態では、ロボットシステムは、載置台の離散化セルをチェックして、オブジェクト載置確率を決定することができる。たとえば、ロボットシステムは、載置台に載置されたオブジェクトの深度測定値または高さを使用することができる。ロボットシステムは深度寸法を決定して、離散化セルにおける／離散化セルに応じた高さを決定することができる。ロボットシステムは、載置対象のオブジェクトに対応する離散化セルのグループに従って深度寸法を評価することができる。ロボットシステムは、載置確率を評価するためにグループ内の最大の高さを決定することができる。換言すれば、ロボットシステムは、テストされる載置位置が、載置されるオブジェクトを（たとえば、所定の閾値および／または条件に従って）比較的平坦に載置できるような、十分な支持を提供するか否かを判定することができる。動的な載置の導出に関する詳細については後述する。

したがって、ロボットシステムは、リアルタイムの状況に基づいて、オブジェクトの載置を動的に導出する効率、速度、および精度を向上させることができる。たとえば、本明細書に記載のシステムは、実世界の状況によって、予期される状況に関連する不確実性、および／または予期される状況からの逸脱が与えられる場合に、載置位置を導出することができる。したがって、ロボットシステムは、未知のオブジェクトおよび／またはランダムに到着する（すなわち、既知／所定のシーケンスでない）オブジェクトを受け取り、パッキングすることができる。

さらに、ロボットシステムは、従来のシステムにおいてオブジェクトをソースに並べるまたは載置するためにおよび／またはパッキング動作のために（たとえば、エラー処理のために）必要なはずの１つまたは複数の動作、機械（たとえば、シーケンスバッファ）、および／または人間の支援を無くすことによって、全体のコストを削減することができる。オブジェクトが利用可能になったときに（たとえば、オブジェクトの到着および／またはトリガイベントに基づいて）載置位置を動的に導出することによって、ロボットシステムは、パッケージを再編成または配列する必要性を、関連する機械／人間の動作と共に排除する。

以下の説明では、本開示技術の完全な理解を提供するために、多数の具体的な詳細を記載している。他の実施形態では、本明細書で紹介する技術は、これらの具体的な詳細がなくとも実践することができる。他の例では、よく知られている特徴、たとえば、特定の関数またはルーチンについては、本開示を不必要に不明瞭にしないように、詳細には説明していない。本明細書における「実施形態」、「一実施形態」などへの言及は、説明している特定の特徴、構造、材料、または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書におけるそのような文言の出現は、必ずしも全てが同一の実施形態を指すものではない。一方、そのような言及は、必ずしも相互に排他的ではない。さらに、特定の特徴、構造、材料、または特性は、１つまたは複数の実施形態において任意の好適な方法で組み合わせることができる。図面に示す様々な実施形態は説明のための表現にすぎず、必ずしも縮尺通りに描いていないことを理解されたい。

よく知られており、ロボットシステムおよびサブシステムに関連付けられることが多いが、開示した技術のいくつかの重要な側面を不必要に不明瞭にし得る、構造または処理を説明する一部の詳細については、明瞭にするために以下の説明には記載していない。また、以下の開示では本技術の異なる態様のいくつかの実施形態を記載しているが、いくつかの他の実施形態は、このセクションに記載したものとは異なる構成または異なるコンポーネントを有し得る。したがって、開示した技術は、追加の要素を有し、後述の要素の一部を有さない他の実施形態を有し得る。

以下で説明する本開示の多くの実施形態または態様は、プログラム可能コンピュータまたはプロセッサによって実行されるルーチンを含むコンピュータ実行可能命令またはプロセッサ実行可能命令の形態をとり得る。当業者であれば、開示した技術が以下に図示および説明した以外のコンピュータまたはプロセッサシステム上で実践され得ることを理解するであろう。本明細書に記載の技術は、後述のコンピュータ実行可能命令のうちの１つまたは複数を実行するように特別にプログラムされ、構成され、または構築された専用コンピュータまたはデータプロセッサにおいて実施することができる。したがって、本明細書で一般的に使用される「コンピュータ」および「プロセッサ」という用語は、任意のデータプロセッサを指し、インターネット機器およびハンドヘルドデバイス（たとえば、パームトップコンピュータ、ウェアラブルコンピュータ、セルラーまたはモバイル電話、マルチプロセッサシステム、プロセッサベースまたはプログラム可能コンシューマ電子機器、ネットワークコンピュータ、ミニコンピュータなど）を含むことができる。これらのコンピュータおよびプロセッサによって扱われる情報は、任意の好適な表示媒体、たとえば、液晶ディスプレイ（ＬＣＤ）に提示することができる。コンピュータ実行可能タスクまたはプロセッサ実行可能タスクを実行するための命令は、ハードウェア、ファームウェア、またはハードウェアおよびファームウェアの組合せを含む、任意の好適なコンピュータ可読媒体内に、またはその媒体上に記憶することができる。命令は、たとえば、フラッシュドライブおよび／または他の好適な媒体を含む任意の好適なメモリデバイスに含めることができる。

「結合される」および「接続される」という用語、ならびにこれらの派生形は、本明細書においてコンポーネント間の構造関係を記述するために使用され得る。これらの用語が互いに同義語であることが意図されていないことを理解されたい。むしろ、特定の実施形態では、「接続される」は、２つ以上の要素が互いに直接接していることを示すために使用され得る。文脈において別途明記していない限り、「結合される」という用語は、２つ以上の要素が互いに直接的にもしくは間接的に（間に他の介在要素を介して）接していること、または２つ以上の要素が（たとえば、信号の送受信もしくは関数呼び出しなどのための因果関係のように）互いに協力または相互作用すること、あるいはその両方を示すために使用され得る。

好適な環境
図１は、動的パッキング機構を有するロボットシステム１００が動作し得る例示的な環境の図である。ロボットシステム１００は、１つまたは複数のタスクを実行するように構成される１つまたは複数のユニット（たとえば、ロボット）を含むおよび／または通信することができる。動的パッキング機構の態様は、様々なユニットによって実践または実装することができる。

図１に示す例では、ロボットシステム１００は、倉庫または流通／出荷拠点における、荷下ろしユニット１０２、転置ユニット１０４（たとえば、パレタイズロボットおよび／またはピースピッカーロボット）、輸送ユニット１０６、積載ユニット１０８、またはこれらの組合せを含むことができる。ロボットシステム１００内の各ユニットは、１つまたは複数のタスクを実行するように構成することができる。タスクを順番に組み合わせて目標を達成する動作を行うことができ、たとえば、トラックもしくはバンからオブジェクトを荷下ろしし、倉庫に保管する、または保管位置からオブジェクトを荷下ろしし、出荷準備することができる。いくつかの実施形態では、タスクは、オブジェクトを目標場所に（たとえば、パレットの上、および／またはビン／ケージ／ボックス／ケースの中に）載置することを含むことができる。以下に詳述するように、ロボットシステム１００は、オブジェクトを載置および／またはスタックするために、個々の載置位置／向きを導出すること、対応するモーションプランを計算すること、またはこれらの組み合わせを行うことができる。各ユニットは、アクションのシーケンスを実行して（たとえば、その中の１つまたは複数のコンポーネントを動作させて）タスクを実行するように構成することができる。

いくつかの実施形態では、タスクは、開始／ソース位置１１４からタスク／目的地位置１１６までの対象オブジェクト１１２（たとえば、実行しているタスクに対応するパッケージ、ボックス、ケース、ケージ、パレットなどのうちの１つ）の操作（たとえば、移動および／または向き変更）を含むことができる。たとえば、荷下ろしユニット１０２（たとえば、デバンニングロボット）は、対象オブジェクト１１２をキャリア（たとえば、トラック）内の位置からコンベヤベルト上の位置に転置するように構成することができる。また、転置ユニット１０４は、対象オブジェクト１１２をある位置（たとえば、コンベヤベルト、パレット、またはビン）から他の位置（たとえば、パレット、ビンなど）に転置するように構成することができる。他の例では、転置ユニット１０４（たとえば、パレタイズロボット）は、対象オブジェクト１１２をソース位置（たとえば、パレット、拾得エリア、および／またはコンベヤ）から目的地パレットに転置するように構成することができる。動作を完了する際に、輸送ユニット１０６は、対象オブジェクト１１２を転置ユニット１０４に関連付けられたエリアから積載ユニット１０８に関連付けられたエリアに転置することができ、積載ユニット１０８は、対象オブジェクト１１２を（たとえば、対象オブジェクト１１２を運ぶパレットを移動させることによって）転置ユニット１０４から保管位置（たとえば、棚上の位置）に転置することができる。タスクおよび関連するアクションに関する詳細については後述する。

例示の目的で、ロボットシステム１００は出荷センターの状況で説明しているが、ロボットシステム１００は、他の環境／他の目的での、たとえば、製造、組み立て、パッケージング、ヘルスケア、および／または他のタイプの自動化のためのタスクを実行するように構成できることを理解されたい。また、ロボットシステム１００は、図１に示していない他のユニット、たとえば、マニピュレータ、サービスロボット、モジュール式ロボットなどを含むことができることも理解されたい。たとえば、いくつかの実施形態では、ロボットシステム１００は、オブジェクトをケージカートまたはパレットからコンベヤまたは他のパレット上に転置するためのデパレタイズユニット、あるコンテナから他のコンテナにオブジェクトを転置するためのコンテナ切替ユニット、オブジェクトを包装するためのパッケージングユニット、オブジェクトをそれらの１つまたは複数の特性に応じてグループ化するためのソーティングユニット、オブジェクトをそれらの１つまたは複数の特性に応じて異なって操作するための（たとえば、ソートする、グループ化する、および／または転置するための）ピースピッキングユニット、あるいはこれらの組合せを含むことができる。

好適なシステム
図２は、本技術の１つまたは複数の実施形態によるロボットシステム１００を示すブロック図である。いくつかの実施形態では、たとえば、ロボットシステム１００は（たとえば、上述のユニットおよび／またはロボットのうちの１つまたは複数において）、電子／電気デバイス、たとえば、１つまたは複数のプロセッサ２０２、１つまたは複数の記憶デバイス２０４、１つまたは複数の通信デバイス２０６、１つまたは複数の入出力デバイス２０８、１つまたは複数のアクチュエーションデバイス２１２、１つまたは複数の輸送モータ２１４、１つまたは複数のセンサ２１６、あるいはこれらの組合せを含むことができる。様々なデバイスは、有線接続および／または無線接続を介して互いに結合することができる。たとえば、ロボットシステム１００は、たとえば、システムバス、ペリフェラルコンポーネントインターコネクト（ＰＣＩ）バスもしくはＰＣＩ−Ｅｘｐｒｅｓｓバス、ハイパートランスポートもしくは業界標準アーキテクチャ（ＩＳＡ）バス、スモールコンピュータシステムインターフェース（ＳＣＳＩ）バス、ユニバーサルシリアルバス（ＵＳＢ）、ＩＩＣ（Ｉ２Ｃ）バス、または電気電子技術者協会（ＩＥＥＥ）標準１３９４バス（「Ｆｉｒｅｗｉｒｅ」とも呼ばれる）などのバスを含むことができる。また、たとえば、ロボットシステム１００は、ブリッジ、アダプタ、プロセッサ、またはデバイス間に有線接続を提供するための他の信号関連デバイスを含むことができる。無線接続は、たとえば、セルラー通信プロトコル（たとえば、３Ｇ、４Ｇ、ＬＴＥ、５Ｇなど）、無線ローカルエリアネットワーク（ＬＡＮ）プロトコル（たとえば、ワイヤレスフィディリティ（Ｗｉ−Ｆｉ））、ピアツーピアもしくはデバイスツーデバイス通信プロトコル（たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離無線通信（ＮＦＣ）など）、モノのインターネット（ＩｏＴ）プロトコル（たとえば、ＮＢ−ＩｏＴ、ＬＴＥ−Ｍなど）、および／または他の無線通信プロトコルに基づくことができる。

プロセッサ２０２は、記憶デバイス２０４（たとえば、コンピュータメモリ）に記憶された命令（たとえばソフトウェア命令）を実行するように構成されるデータプロセッサ（たとえば、中央処理装置（ＣＰＵ）、専用コンピュータ、および／またはオンボードサーバ）を含むことができる。いくつかの実施形態では、プロセッサ２０２は、図２に示す他の電子／電気デバイスおよび／または図１に示すロボットユニットに動作可能に結合される独立した／スタンドアローンのコントローラに含めることができる。プロセッサ２０２は、他のデバイスを制御して／インターフェースをとって、ロボットシステム１００にアクション、タスク、および／または動作を実行させるプログラム命令を実施することができる。

記憶デバイス２０４は、プログラム命令（たとえば、ソフトウェア）が記憶された非一時的コンピュータ可読媒体を含むことができる。記憶デバイス２０４のいくつかの例は、揮発性メモリ（たとえば、キャッシュおよび／またはランダムアクセスメモリ（ＲＡＭ））、および／または不揮発性メモリ（たとえば、フラッシュメモリおよび／または磁気ディスクドライブ）を含むことができる。記憶デバイス２０４の他の例は、ポータブルメモリおよび／またはクラウド記憶デバイスを含むことができる。

いくつかの実施形態では、記憶デバイス２０４を使用して、さらに処理結果および／または所定のデータ／閾値を記憶し、これらへのアクセスを提供することができる。たとえば、記憶デバイス２０４は、ロボットシステム１００によって操作され得るオブジェクト（たとえば、ボックス、ケース、および／または製品）の説明を含むマスターデータ２５２を記憶することができる。１つまたは複数の実施形態では、マスターデータ２５２は、ロボットシステム１００によって操作されると想定されるオブジェクトについての寸法、形状（たとえば、可能な姿勢についてのテンプレートおよび／または異なる姿勢のオブジェクトを認識するためのコンピュータ生成モデル）、色彩設計、画像、識別情報（たとえば、バーコード、クイックレスポンス（ＱＲ）コード（登録商標）、ロゴなど、および／またはその想定位置）、想定重量、他の物理的／視覚的特性、あるいはこれらの組合せを含むことができる。いくつかの実施形態では、マスターデータ２５２は、オブジェクトに関する操作関連情報、たとえば、各オブジェクトの重心（ＣｏＭ）位置、１つまたは複数のアクション／手順に対応する想定されるセンサ測定値（たとえば、力、トルク、圧力、および／または接触測定値に関するもの）、あるいはこれらの組合せを含むことができる。また、たとえば、記憶デバイス２０４はオブジェクト追跡データ２５４を記憶することができる。いくつかの実施形態では、オブジェクト追跡データ２５４は、スキャンまたは操作されるオブジェクトのログを含むことができる。いくつかの実施形態では、オブジェクト追跡データ２５４は、１つまたは複数の位置（たとえば、指定された拾得位置または降下位置および／またはコンベヤベルト）におけるオブジェクトの撮像データ（たとえば、写真、点群、ライブビデオフィードなど）を含むことができる。いくつかの実施形態では、オブジェクト追跡データ２５４は、１つまたは複数の位置におけるオブジェクトの位置および／または向きを含むことができる。

通信デバイス２０６は、ネットワークを介して外部または遠隔のデバイスと通信するように構成される回路を含むことができる。たとえば、通信デバイス２０６は、受信器、送信器、変調器／復調器（モデム）、信号検出器、信号符号化器／復号器、コネクタポート、ネットワークカードなどを含むことができる。通信デバイス２０６は、１つまたは複数の通信プロトコル（たとえば、インターネットプロトコロル（ＩＰ）、無線通信プロトコルなど）に従って電気信号を送信、受信、および／または処理するように構成することができる。いくつかの実施形態では、ロボットシステム１００は通信デバイス２０６を使用して、ロボットシステム１００のユニット間で情報を交換する、および／または（たとえば、報告、データ収集、分析、および／またはトラブルシューティングの目的で）ロボットシステム１００の外部のシステムまたはデバイスと情報を交換することができる。

入出力デバイス２０８は、人間のオペレータとの間で情報を伝達および／または受信するように構成されるユーザインターフェースデバイスを含むことができる。たとえば、入出力デバイス２０８は、情報を人間のオペレータに伝達するためのディスプレイ２１０および／または他の出力デバイス（たとえば、スピーカー、ハプティックス回路、または触覚フィードバックデバイスなど）を含むことができる。また、入出力デバイス２０８は、制御デバイスまたは受信デバイス、たとえば、キーボード、マウス、タッチスクリーン、マイクロフォン、ユーザインターフェース（ＵＩ）センサ（たとえば、モーションコマンドを受信するためのカメラ）、ウェアラブル入力デバイスなどを含むことができる。いくつかの実施形態では、ロボットシステム１００は、入出力デバイス２０８を使用して、アクション、タスク、動作、またはこれらの組合せを実行する際に人間のオペレータと対話することができる。

ロボットシステム１００は、動き（たとえば、回転変位および／または並進変位）のために関節において接続された物理的な部材または構造部材（たとえば、ロボット式マニピュレータアーム）を含むことができる。構造部材および関節は、ロボットシステム１００の用途／動作に応じて１つまたは複数のタスク（たとえば、把持、回転、接合など）を実行するように構成されるエンドエフェクタ（たとえば、グリッパ）を操作するように構成される運動連鎖を形成することができる。ロボットシステム１００は、対応する関節周りでまたはその位置で構造部材を駆動または操作する（たとえば、変位させるおよび／または向き変更する）ように構成されるアクチュエーションデバイス２１２（たとえば、モータ、アクチュエータ、ワイヤ、人工筋肉、電気活性ポリマーなど）を含むことができる。いくつかの実施形態では、ロボットシステム１００は、対応するユニット／シャーシをある場所から他の場所へ輸送するように構成される輸送モータ２１４を含むことができる。

ロボットシステム１００は、たとえば、構造部材を操作するおよび／またはロボットユニットを輸送するためのタスクを実施するために使用される情報を取得するように構成されるセンサ２１６を含むことができる。センサ２１６は、ロボットシステム１００の１つまたは複数の物理的な特性（たとえば、１つまたは複数の構造部材／その関節の状態、条件、および／または位置）、および／または周辺環境を検出または測定するように構成されるデバイスを含むことができる。センサ２１６のいくつかの例は、加速度計、ジャイロスコープ、力センサ、ひずみゲージ、触覚センサ、トルクセンサ、位置エンコーダなどを含むことができる。

いくつかの実施形態では、たとえば、センサ２１６は、周辺環境を検出するように構成される１つまたは複数の撮像デバイス２２２（たとえば、視覚および／または赤外線カメラ、２Ｄおよび／または３Ｄ撮像カメラ、距離測定デバイス、たとえば、ライダーまたはレーダーなど）を含むことができる。撮像デバイス２２２は、マシン／コンピュータビジョン（たとえば、自動検査、ロボット案内、または他のロボットアプリケーションのためのもの）を介して処理され得るデジタル画像および／または点群などの、検出された環境の表現を生成することができる。以下でより詳細に説明するように、ロボットシステム１００は（たとえば、プロセッサ２０２を介して）デジタル画像および／または点群を処理して、図１の対象オブジェクト１１２、図１の開始位置１１４、図１のタスク位置１１６、対象オブジェクト１１２の姿勢、開始位置１１４および／または姿勢に関する信頼基準、あるいはこれらの組合せを識別することができる。

対象オブジェクト１１２を操作するために、ロボットシステム１００は（たとえば、上述の様々な回路／デバイスを介して）、指定領域（たとえば、トラック内またはコンベヤベルト上などの拾得位置）の画像データを撮影し分析して、対象オブジェクト１１２およびその開始位置１１４を識別することができる。同様に、ロボットシステム１００は、他の指定領域（たとえば、オブジェクトをコンベヤ上に載置するための降下位置、オブジェクトをコンテナ内に載置するための位置、またはスタッキング目的のパレット上の位置）の画像データを撮影し分析して、タスク位置１１６を識別することができる。たとえば、撮像デバイス２２２は、拾得エリアの画像データを生成するように構成される１つまたは複数のカメラ、および／またはタスクエリア（たとえば、降下エリア）の画像データを生成するように構成される１つまたは複数のカメラを含むことができる。画像データに基づいて、後述のように、ロボットシステム１００は、開始位置１１４、タスク位置１１６、関連する姿勢、パッキング／載置位置、および／または他の処理結果を決定することができる。動的パッキングアルゴリズムに関する詳細については後述する。

いくつかの実施形態では、たとえば、センサ２１６は、構造部材（たとえば、ロボットアームおよび／またはエンドエフェクタ）および／またはロボットシステム１００の対応する関節の位置を検出するように構成される位置センサ２２４（たとえば、位置エンコーダ、電位差計など）を含むことができる。ロボットシステム１００は、位置センサ２２４を使用して、タスクの実行中に構造部材および／または関節の位置および／または向きを追跡することができる。

離散化モデル
図３Ａおよび図３Ｂは、本技術の１つまたは複数の実施形態による、オブジェクトについて計画し、パッキングするのに使用される離散化データの図である。図３Ａは離散化オブジェクトを示し、図３Ｂはオブジェクトのパッキングのための離散化パッキング台を示す。

いくつかの実施形態では、図１のロボットシステム１００は、図２のマスターデータ２５２に記憶された想定オブジェクトの所定の離散化モデル／表現を含むことができる。いくつかの実施形態では、ロボットシステム１００は（たとえば、図２のプロセッサ２０２を介して）、実世界のオブジェクト（たとえば、パッケージ、パレット、および／またはタスクに関連する他のオブジェクト）の連続面／エッジを離散的な対応物（たとえば、単位長さおよび／または単位面積）にマッピングすることによって、離散化モデルを動的に生成することができる。たとえば、ロボットシステム１００は、図２の１つまたは複数の撮像デバイス２２２によって撮影された対象オブジェクト１１２および／またはパレット上面の画像データ（たとえば、上面視画像および／または点群データ）を離散化することができる。換言すれば、ロボットシステム１００は、図１の開始位置１１４、コンベヤ上の開始位置１１４の前の位置、および／または図１のタスク位置１１６の画像データを離散化することができる。ロボットシステム１００は、画像データ内のオブジェクト／パレットの外周を識別し、次いで外周内のエリアを単位寸法／面積に従って分割することに基づいて、離散化することができる。いくつかの実施形態では、単位寸法／面積は、座標配列および／または所定の調整係数／式に従って、撮像デバイス２２２に対するオブジェクト／パレットのサイズおよび／または位置に基づいてスケーリングまたは画像データにマッピングすることができる。

図３Ａに示すように、ロボットシステム１００のいくつかの実施形態は、離散化オブジェクトモデル３０２を使用して、オブジェクト（たとえば、対象オブジェクト１１２）の載置位置を計画する／導出することができる。離散化オブジェクトモデル３０２（点線で図示）は、離散化単位（たとえば、単位長さ）に従って、到着または到来するオブジェクト（たとえば、パッケージ、ボックス、ケースなど）についての外観の物理的な寸法、形状、エッジ、面、またはこれらの組合せ（破線で図示）を表現することができる。離散化オブジェクトモデル３０２は、上述のように撮像および離散化された想定される／既知のオブジェクトおよび／または想定外／未知のオブジェクトを表現することができる。

図３Ｂに示すように、ロボットシステム１００のいくつかの実施形態は、１つまたは複数の離散化台モデル３０４（たとえば、図１のタスク位置１１６の離散化表現）を使用して、オブジェクトのスタッキング載置を計画する／導出することができる。離散化台モデル３０４は、離散化単位に従って載置エリア３４０（たとえば、タスク位置１１６の上面、その上に載置されたパッケージの上面、またはこれらの組み合わせなどの、タスク位置１１６の物理的な寸法、形状、またはこれらの組み合わせ）を表現することができる。１つまたは複数の実施形態では、離散化台モデル３０４は、リアルタイムの更新などを介して、載置エリア３４０のリアルタイムの状況を表現することができる。たとえば、上面視に関して、離散化台モデル３０４は、オブジェクトを受け取り、これに直接接触するパレットの上面、ビンまたはボックスの内部底面などを最初に表現することができる。ロボットシステム１００がオブジェクトを載置すると、載置エリア３４０は（たとえば、パッケージをスタックするために）載置されたパッケージの上面を含むように変化することができ、変化を反映するように離散化台モデル３０４を更新することができる。

いくつかの実施形態では、離散化台モデル３０４は、１つまたは複数の標準サイズのパレット（たとえば、１．１ｍ×１．１ｍのパレット）の上面視に基づくことができる。したがって、離散化台モデル３０４は、ロボットシステム１００よって利用されるグリッド方式に従う、水平面（たとえば、ｘ−ｙ平面）に沿った載置エリアのピクセル化された２Ｄ表現に対応することができる。いくつかの実施形態では、離散化オブジェクトモデル３０２は、想定されるまたは到着するオブジェクトについての上面視（たとえば、ｘ−ｙ平面）を含むことができる。したがって、離散化オブジェクトモデル３０２は、オブジェクトのピクセル化された２Ｄ表現に対応することができる。

離散化モデルを生成するために使用される離散化単位は、システムオペレータ、システム設計者、所定の入力／設定、注文、またはこれらの組合せによって設定される長さを含むことができる。いくつかの実施形態では、ロボットシステム１００は、単位ピクセル３１０（たとえば、離散化単位に従う１つまたは複数の次元を有するポリゴン、たとえば、四角形）を使用して、対象オブジェクトのエリア／面を（たとえば、離散化オブジェクトモデル３０２を介して）記述し、荷台／面を（たとえば、離散化台モデル３０４を介して）記述することができる。したがって、ロボットシステム１００は、ｘ−ｙ軸に沿って２Ｄでオブジェクトおよび荷台をピクセル化することができる。いくつかの実施形態では、単位ピクセル３１０（たとえば、離散化単位）のサイズは、オブジェクトの寸法および／または荷台の寸法に応じて変化することができる。また、単位ピクセル３１０のサイズを（たとえば、事前設定されたルール／式、および／またはオペレータ選択を介して）調整して、必要とされるリソース（たとえば、計算時間、必要メモリなど）をパッキング精度とバランスさせることができる。たとえば、単位ピクセル３１０のサイズが減少すると、計算時間およびパッキング精度が増加することができる。したがって、調整可能である単位ピクセル３１０を使用してパッキングタスク（たとえば、対象パッケージおよびパッキング台）を離散化することによって、パッケージをパレタイズするための柔軟性が向上する。ロボットシステム１００は、リアルタイムの要求、パターン、および／または環境に応じて、計算資源／時間とパッキング精度とのバランスを制御することができる。

いくつかの実施形態では、ロボットシステム１００は、離散化オブジェクトモデル３０２について、オブジェクトと部分的にしか重ならない単位ピクセル３１０のインスタンスを含めることによって、単位ピクセル３１０がオブジェクトの実際の周縁を超えて広がるようにすることができる。他の実施形態では、ロボットシステム１００は、単位ピクセル３１０の部分的に重なるインスタンスを離散化台モデル３０４から除外することによって、離散化オブジェクトモデル３０２内の単位ピクセル３１０が台表面の実際の周縁に覆われるおよび／または内側に含まれるようにすることができる。

説明用の例として、図３Ａに、対象オブジェクト１１２を表す離散化オブジェクトモデルの第１のモデルの向き３３２および第２のモデルの向き３３４を示す。いくつかの実施形態では、ロボットシステム１００は、離散化モデルの１つ（すなわち、第１のモデルの向き３３２として撮影／記憶されたもの）を撮像された平面に沿って所定量回転させることができる。図３Ａに示すように、ロボットシステム１００は、垂直軸（図の平面に対して内外または垂直に伸びる軸）の周りを、水平面（たとえば、ｘ軸およびｙ軸に沿って表される面）に沿って、離散化オブジェクトモデル３０２を９０度回転させて、第２のモデルの向き３３４を得ることができる。ロボットシステム１００は異なる向きを使用して、オブジェクトの対応する載置をテスト／評価することができる。

離散化データ／表現に基づいて、ロボットシステム１００は、対象オブジェクト１１２についての載置位置３５０を動的に導出することができる。図３Ｂに示すように、ロボットシステム１００は、１つまたは複数のオブジェクト（たとえば、図３Ｂにて斜線で塗りつぶされたオブジェクトとして図示）が載置エリア３４０に載置された後であっても、載置位置３５０を動的に導出することができる。また、載置位置３５０の動的な導出は、対象オブジェクト１１２が荷下ろし／棚下ろし、登録、スキャン、撮像、またはこれらの組み合わせがなされた後／なされている間に、行うことができる。たとえば、ロボットシステム１００は、対象オブジェクト１１２が（たとえば、コンベヤを介して）輸送されているとき、図２の撮像デバイス２２２が対象オブジェクト１１２の画像データを生成した後、またはこれらの組み合わせにおいて、載置位置３５０を動的に導出することができる。

オブジェクトの載置位置３５０を動的に導出することによって柔軟性が向上し、出荷／パッケージング環境に関する人間の労働が減少する。ロボットシステム１００は、オブジェクトおよびパレット（すなわち、載置済みオブジェクトを含む）の離散化されたリアルタイムの画像／深度マップを使用して、様々な載置位置および／または向きをテストおよび評価することができる。したがって、ロボットシステム１００は、オブジェクトが認識可能でない場合（たとえば、新たな／想定外のオブジェクトおよび／またはコンピュータビジョンのエラーの場合）、オブジェクトの到着シーケンス／順序が未知である場合、および／または想定外のイベント（たとえば、紛失イベントおよび／または衝突イベント）が発生した場合であっても、人間のオペレータの介入なしに依然としてオブジェクトをパッキングすることができる。

例示の目的で、載置位置３５０は図３Ｂにおいて、載置済みオブジェクトに隣接する（すなわち、同一の水平レイヤ上に／同一の高さで載置される）、たとえば、パレットのすぐ上に／接触するものとして示している。しかしながら、載置位置３５０は載置済みオブジェクトの上でもよいことは理解されたい。換言すれば、ロボットシステム１００は、既にパレット上にある１つまたは複数のオブジェクトの上方および／または上に対象オブジェクト１１２をスタックするための載置位置３５０を導出することができる。以下で詳述するように、ロボットシステム１００は、オブジェクトが載置済みオブジェクトの上にスタックされる場合に十分に支持されるように、載置位置３５０を導出する際に載置済みオブジェクトの高さを評価することができる。

いくつかの実施形態では、ロボットシステム１００は、載置位置３５０を導出する際にオブジェクトエッジ３６２を識別することができる。オブジェクトエッジ３６２は、パレットに載置済みのオブジェクトのエッジおよび／または辺を表す画像データ内の線を含むことができる。いくつかの実施形態では、オブジェクトエッジ３６２は、露出している（たとえば、他のオブジェクト／エッジに直接接触／隣接していない）エッジに対応することによって、タスク位置１１６に載置されたオブジェクト（たとえば、オブジェクトのレイヤ）のうちの１つまたはグループの外周を画定することができる。

以下でさらに詳述するように、ロボットシステム１００は、載置ルール、条件、パラメータ、要件などのセットに従って載置位置３５０を導出することができる。いくつかの実施形態では、ロボットシステム１００は、１つまたは複数の候補位置３６０を評価／テストすることに基づいて、載置位置３５０を導出することができる。候補位置３６０は、離散化台モデル３０４上に様々な位置および／向きで重ねられる離散化オブジェクトモデル３０２に対応することができる。したがって、候補位置３６０は、オブジェクトエッジ３６２のうちの１つまたは複数に隣接して対象オブジェクト１１２を載置し得ること、および／または載置済みオブジェクトのうちの１つまたは複数の上に対象オブジェクト１１２をスタックし得ることを含むことができる。ロボットシステム１００は様々なパラメータ／条件、たとえば、支持度合い／条件、支持しているオブジェクトの脆性レーティングと対比した支持重量（たとえば、上にスタックされるパッケージなどについての最大支持重量）、スペース／パッキング関連事項、またはこれらの組合せに従って各候補位置３６０を評価することができる。ロボットシステム１００は１つまたは複数の載置ルール、たとえば、無衝突要件、スタック安定性、顧客指定のルール／優先度、パッケージ離間要件もしくはその欠如、総積載パッケージの最大化、またはこれらの組合せを使用して候補位置３６０をさらに評価することができる。

リアルタイムの載置面の更新
図４Ａおよび図４Ｂに、本技術の１つまたは複数の実施形態による、支持の計算および支持メトリックの様々な態様を示す。いくつかの実施形態では、図４Ａに示すように、図１のロボットシステム１００は、図１の対象オブジェクト１１２の図３Ａの離散化オブジェクトモデル３０２を図１のタスク位置１１６の離散化台モデル３０４に重ねることに基づいて、図３Ｂの候補位置３６０を生成することができる。さらに、ロボットシステム１００は、候補位置３６０を生成する際に、離散化台モデル３０４の至るところに離散化オブジェクトモデル３０２を反復的に移動させることができる。たとえば、ロボットシステム１００は、１つまたは複数の向き（たとえば、図３Ａの第１のモデルの向きおよび／または図３Ａの第２のモデルの向き３３４）に従って離散化台モデル３０４の所定の初期位置（たとえば、コーナー）に対応する離散化オブジェクトモデル３０２を載置することによって、候補位置３６０の最初のインスタンスを生成することができる。候補位置３６０の次のインスタンスについて、ロボットシステム１００は、他の／次のオブジェクトに対応する離散化オブジェクトモデル３０２を、所定の方向／パターンに従って所定の距離（たとえば、図３Ｂの１つまたは複数の単位ピクセル３１０）だけ移動させることができる。

候補位置３６０がタスク位置１１６に載置済みの１つまたは複数のオブジェクトに重なる場合、ロボットシステム１００は、載置済みオブジェクトによって提供される支持の度合いを計算し評価することができる。支持の度合いを計算し評価するために、ロボットシステム１００は、図２の撮像デバイス２２２のうちの１つまたは複数を使用してリアルタイムに図３Ｂの載置エリア３４０についての高さ／輪郭を決定することができる。いくつかの実施形態では、ロボットシステム１００は、タスク位置１１６の上方に配置された撮像デバイス２２２のうちの１つまたは複数のからの深度寸法（たとえば、点群値）を使用することができる。いくつかの実施形態では、ロボットシステム１００は、地面および／または台（たとえば、パレット）表面の垂直位置に対応する所定の高さ／位置の値、たとえば、施設地面上方の台表面の高さを有することができる。いくつかの実施形態では、ロボットシステム１００は、深度寸法を使用して、台、載置されたオブジェクト、またはこれらの組み合わせの露出した上面（複数可）の高さ／輪郭を計算することができる。いくつかの実施形態では、ロボットシステム１００は、タスク位置１１６を撮像し、露出した上面（複数可）の高さをリアリタイムに、たとえば、オブジェクトを台まで転置し、および／または台に載置した後に、更新することができる。

いくつかの実施形態では、図４Ａに示すように、ロボットシステム１００は、高さ寸法４０２を含むように離散化台モデル３０４を更新することができる。ロボットシステム１００は、離散化台モデル３０４内の各離散化ピクセル（たとえば、単位ピクセル３１０）に従って高さ寸法４０２を決定することができる。たとえば、ロボットシステム１００は、対応する単位ピクセル３１０によって表される載置エリア３４０の表面部分についての最大の高さとして、高さ寸法を決定することができる。

載置済みオブジェクトのうちの１つまたは複数に重なる各候補位置３６０について、ロボットシステム１００は、高さ寸法４０２に基づいて載置確率を評価することができる。いくつかの実施形態では、ロボットシステム１００は、各候補位置３６０において重なる高さ寸法４０２の最大値を特定することに基づいて、載置確率を評価することができる。ロボットシステム１００は、高さ寸法４０２のうちの最大寸法に対して差分閾値の限度内の高さ寸法４０２を有する各候補位置３６０に位置する他の高さ寸法４０２をさらに特定することができる。適格なセル／ピクセルは、スタックされたオブジェクトが基本的に平坦／水平になるように、スタックされたオブジェクトに対して支持を提供することができる位置を表すことができる。

図４Ａに示すように、候補位置３６０の１つ目（離散化台モデル３０４の左上角）について、最大の高さ寸法は０．３（すなわち、３００ミリメートル（ｍｍ）の高さ）とすることができる。０．０２（たとえば、２０ｍｍを表す）として事前決定された差分閾値では、ロボットシステム１００は、上の４つの離散化セル／ピクセルを、差分閾値を満たすものとして識別することができる。ロボットシステム１００は、識別された／適格なセル／ピクセルを使用して、支持の度合いを評価／表現することができる。

図４Ｂに、支持の計算のさらなる例を示す。図４Ｂに、離散化オブジェクトモデル３０２（実線の太い輪郭で図示）が離散化台モデル３０４の左上角に重ねられた、図３の候補位置３６０のうちの１つを示す。ロボットシステム１００は、候補位置３６０を評価するのに使用されるパラメータである様々な支持パラメータ４１０を計算／利用することができる。たとえば、支持パラメータ４１０は、離散化寸法４１２、重なり面積４１４、高さ差分閾値４１６、支持閾値４１８、最大高さ４２０、高さ下限４２２、適格数４２４、支持エリア輪郭４２６のセット、支持エリアサイズ４２８、支持比４３０、重心（ＣｏＭ）位置４３２、またはこれらの組み合わせを含むことができる。

離散化寸法４１２は、図３Ａの単位ピクセル３１０に応じた図１の対象オブジェクト１１２の物理的な寸法（たとえば、長さ、幅、高さ、外周など）を記述することができる。たとえば、離散化寸法４１２は、離散化オブジェクトモデル３０２の周縁を形成する単位ピクセル３１０の数量を含むことができる。重なり面積４１４は、対象オブジェクト１１２によって占有される面積（たとえば、水平面に沿ったフットプリントサイズ）を記述することができ、これは単位ピクセル３１０に従って同様に表現することができる。換言すれば、重なり面積４１４は、離散化オブジェクトモデル３０２内の単位ピクセル３１０の数量に対応することができる。図４Ｂに示す例では、対象オブジェクト１１２は６ピクセル×７ピクセルの離散化寸法４１２を有することができ、これは４２ピクセルの重なり面積４１４に対応する。

高さ差分閾値４１６および支持閾値４１８は、候補位置３６０を処理および／または検証するために使用される限度に対応することができる。高さ差分閾値４１６は、オペレータおよび／または注文によって事前決定および／または調整できるものであるが、上に載置されたパッケージに接触するおよび／またはパッケージを支持するために、他の基準の高さ（たとえば、離散化オブジェクトモデル３０２が重なるエリア内の高さ寸法４０２のうちの最大のインスタンスに対応する最大高さ４２０）から許容できる偏差を表すことができる。換言すれば、高さ差分閾値４１６は、上に載置されたパッケージに接触するおよび／または支持することができる面の高さの範囲を定義するために使用することができる。したがって、最大高さ４２０に対して、高さ下限４２２は、スタックされたパッケージに対して支持を提供することができる重なり面積４１４内の高さの下限に対応することができる。図４Ｂに示す例では、高さ差分閾値４１６は０．０２とすることができる。最大高さ４２０が０．２である場合、高さ下限は０．１８とすることができる。したがって、対象オブジェクト１１２を候補位置３６０に載置する際、ロボットシステム１００は、０．１８より大きい高さを有する面／ピクセルが対象オブジェクト１１２に接触するおよび／または支持を提供すると推定することができる。

したがって、１つまたは複数の実施形態では、ロボットシステム１００は、高さ差分閾値４１６に応じて重なり面積４１４内の単位ピクセル３１０をカテゴリ化することができる。たとえば、ロボットシステム１００は、高さ差分閾値４１６を満たす高さ（すなわち、高さ下限４２２以上の値）を有する単位ピクセル３１０を、支持位置４２２（たとえば、図４Ｂにおいて影付きのピクセルで表された、オブジェクトを上にスタックすることが可能な面を表す単位ピクセル３１０のグループ）としてカテゴリ化することができる。ロボットシステム１００は、他の単位ピクセル３１０を、不適格位置４４４（たとえば、高さ下限４２２未満の高さを有するピクセル）としてカテゴリ化することができる。

支持閾値４１８は、支持位置４４２の十分性に基づいて候補位置３６０を評価するための限度を表すことができる。たとえば、支持閾値４１８は、支持位置４４２に関連する量、比、面積、位置、またはこれらの組み合わせを評価するためのものとすることができる。いくつかの実施形態では、支持閾値４１８は、候補位置３６０についての適格数４２４（たとえば、支持位置４４２の合計）が対象オブジェクト１１２を支持するのに十分であるか否かを判定するために使用することができる。

１つまたは複数の実施形態では、支持閾値４１８は、支持位置４４２に関連する支持エリア（たとえば、高さ閾値によって決定することができる、上にスタックされたオブジェクトに支持を提供することができる単位ピクセル３６０）を評価するために使用することができる。たとえば、ロボットシステム１００は、不適格位置４４４をまたぐまたはその周囲に伸びるエッジを伸ばすおよび／または線を決定することによって、支持位置４４２の最も外側の／外周のインスタンスのコーナーをつなぐことに基づいて、支持エリア輪郭４２６を決定することができる。このようにして、支持エリア輪郭４２６は、不適格位置４４４を除外することができる。したがって、支持エリア輪郭４２６は、支持位置４４２の外周インスタンスに基づいて支持エリアの外周を画定することができる。支持エリア輪郭４２６は不適格位置４４４をまたぐおよび／または含むことができるので、支持エリアサイズ４２８（たとえば、支持エリア内の単位ピクセル３１０の数量）は、適格数４２４より大きくすることができる。したがって、支持エリアサイズ４２８は実質的に、支持が提供される最も外側のエッジ／コーナー間の間隔を表す。より広い支持が好ましいので（たとえば、突出を減らすおよび／または安定性を向上させるために、支持エリア輪郭４２６の部分がオブジェクトの重なり面積４１４より大きい場合）、支持閾値４１８は、（たとえば、支持エリア輪郭４２６を評価するための）支持エリア内の単位ピクセル３１０の最小数に対応することができ、それによって、支持が提供される最も外側のエッジ／コーナー間の間隔を効果的に評価することができる。

いくつかの実施形態では、支持閾値４１８は支持比４３０を評価するためのものとすることができ、支持比４３０は、適格数４２４および／または支持エリアサイズ４２８を重なり面積４１４と比較することに基づいて計算することができる。たとえば、支持比４３０は、水平安定性、支持重量濃度、またはこれらの組み合わせを表現するために、適格数４２４と重なり面積４１４との比を含むことができる。また、支持比４３０は、対象オブジェクト１１２の下の支持エッジ／コーナー間の相対幅を表すために、支持エリアサイズ４２８と重なり面積４１４との比を含むことができる。

さらに、ロボットシステム１００は、対象オブジェクト１１２のＣｏＭ位置４３２に基づいて候補位置３６０をさらに評価することができる。いくつかの実施形態では、ロボットシステム１００は、図２のマスターデータ２５２から対象オブジェクト１１２のＣｏＭ位置４３２にアクセスする、および／または対象オブジェクト１１２を把持するおよび／または持ち上げることに基づいてＣｏＭ位置４３２を動的に推定することができる。アクセス／推定されると、ロボットシステム１００は、ＣｏＭ位置４３２を支持エリア輪郭４２６と比較することができる。ロボットシステム１００は、候補位置３６０がＣｏＭ位置４３２を支持エリア輪郭４２６内に含むように要求し、そのような要件を満たさない候補位置３６０を排除する／不適格とみなすことができる。１つまたは複数の実施形態では、ロボットシステム１００は、ＣｏＭ位置４３２と支持エリア輪郭４２６との間の（たとえば、ｘ軸および／またはｙ軸に沿った）離間距離に基づいて、載置スコアを計算し評価することができる。

ロボットシステム１００は、支持パラメータ４１０を使用して制約／要件を評価することができる。たとえば、ロボットシステム１００は、支持閾値４１８、ＣｏＭ位置閾値（たとえば、ＣｏＭ位置４３２を支持エリア輪郭４２６内に含む要求）、および／または他のスタッキングルールを満たさない候補位置を排除する／不適格とみなすことができる。また、ロボットシステム１００は、支持パラメータ４１０を使用して、所定の重みおよび／または式に従って、候補位置３６０（たとえば、制約を満たす位置）についての載置スコアを計算することができる。以下で詳述するように、ロボットシステム１００は、計算された載置スコアを使用して、所定の設定（たとえば、重み／式によって反映されるもの）に従って候補位置３６０をランク付けすることができる。

オブジェクト載置動作
図５は、本開示の１つまたは複数の実施形態によるロボットシステム１００によって実行される例示的な載置を示す上面視である。いくつかの実施形態では、ロボットシステム１００は、開始位置１１４から対象オブジェクト１１２を転置し、タスク位置１１６における導出された載置位置３５０に載置するように構成されるロボットアーム５０２（たとえば、パレタイズロボットなどの、図１の転置ユニット１０４の一部）を含むおよび／またはこれと通信することができる。たとえば、ロボットシステム１００は、コンベヤ上の指定位置／部分から対象オブジェクト１１２を把持および拾得し、対象オブジェクト１１２をパレットに載置するようにロボットアーム５０２を動作させることができる。

ロボットシステム１００は、たとえば、対象オブジェクト１１２が設備および／または開始位置１１４に到着したときに、および／またはパッキング動作などの１つまたは複数の動作を最初に開始した後に、載置位置３５０を動的に導出することができる。ロボットシステム１００は１つまたは複数の不確実性要因、たとえば、パッキングプラン（たとえば、タスク位置１１６における、対象オブジェクト１１２を含むオブジェクトのセットについて導出された載置位置３５０を表すためのプラン）の欠如、到着オブジェクトのエラー（たとえば、オブジェクトが想定される／既知のオブジェクトまたはシーケンスと一致しない場合）、またはこれらの組み合わせに基づいて、またはこれらを考慮して、載置位置３５０を動的に導出することができる。ロボットシステム１００は、たとえば、載置済みオブジェクト５０８（たとえば、パレット上の認識できないおよび／または想定外のパッケージ）、および／または載置済みオブジェクト５０８のうちの１つまたは複数のずれによる、目的地における１つまたは複数の不確実性に基づいて、またはこれらを考慮して、載置位置３５０を動的に導出することもできる。

いくつかの実施形態では、ロボットシステム１００は、図２のセンサ２１６（たとえば、図２の撮像デバイス２２２）のうちの１つまたは複数を介して動的に収集されるデータ（たとえば、画像データおよび／または測定データ）に基づいて、載置位置３５０を動的に導出することができる。たとえば、ロボットシステム１００は、開始位置１１４および／または到来経路（たとえば、コンベヤ）の上方に配置されたソースセンサ５０４（たとえば、３Ｄカメラ）を含むおよび／またはこれと通信することができる。ロボットシステム１００は、ソースセンサ５０４からのデータを使用して、図３Ａの離散化オブジェクトモデル３０２を生成するおよび／または離散化オブジェクトモデル３０２にアクセスすることができる。１つまたは複数の実施形態では、ロボットシステム１００は、ソースセンサ５０４を使用して、オブジェクトを撮像する、および／またはオブジェクトの１つまたは複数の寸法を測定することができる。ロボットシステム１００は、画像および／または測定値を図２のマスターデータ２５２と比較して、到来オブジェクトを識別することができる。識別に基づいて、ロボットシステム１００は、オブジェクトに関連する離散化オブジェクトモデル３０２にアクセスすることができる。１つまたは複数の実施形態では、ロボットシステム１００は、上述のように単位ピクセル３１０に従って画像／寸法を分割することに基づいて、離散化オブジェクトモデル３０２を動的に生成することができる。

また、ロボットシステム１００は、タスク位置１１６の上方に配置された目的地センサ５０６（たとえば、３Ｄカメラ）を含むおよび／またはこれと通信することができる。ロボットシステム１００は、目的地センサ５０６からのデータを使用して、図３Ｂの離散化台モデル３０４を決定し、動的に更新することができる。１つまたは複数の実施形態では、ロボットシステム１００は、載置エリア（たとえば、パレットなどのタスク位置１１６）を撮像する、および／またはその１つまたは複数の寸法を測定することができる。ロボットシステム１００は、画像および／または測定値を使用して、離散化オブジェクトモデル３０２について上述したのと同様に、離散化台モデル３０４を識別し、離散化台モデル３０４にアクセスし、および／または離散化台モデル３０４を生成することができる。さらに、ロボットシステム１００は、目的地センサ５０６からのデータ（たとえば、深度マップ）を使用して図４Ａの高さ寸法４０２を決定することができる。したがって、ロボットシステム１００は、高さ寸法４０２を使用して、載置エリア３４０および離散化台モデル３０４をリアルタイムに更新することができる。たとえば、ロボットシステム１００は、載置済みオブジェクト５０８に応じて、たとえば、対象オブジェクト１１２を載置位置３５０に載置した後に、高さ寸法４０２を更新することができる。

ロボットシステム１００は、対象オブジェクト１１２を図３Ｂの載置位置３５０および／または各候補位置３６０に転置するための進入経路５１０を導出することができる。進入経路５１０は、開始位置１１４から対応する候補位置３６０まで空間を横切って対象オブジェクト１１２を操作する／転置するためのモーションプランに対応することができる。進入経路５１０は、水平および／または垂直方向に伸びる３Ｄのものとすることができる。

進入経路の評価
図６Ａおよび図６Ｂは、本開示の１つまたは複数の実施形態による図１の対象オブジェクト１１２を載置するための例示的な進入を示す側面視である。図６Ａおよび図６Ｂに、対象オブジェクト１１２をタスク位置１１６（たとえば、パレット）上の載置済みオブジェクト５０８のうちの１つの上の図３Ｂの対応する候補位置３６０に載置するための図５の進入経路５１０を示す。

図１のロボットシステム１００は、Ｆ−１からＦ−５までの破線のボックスで図示した進入単位６０２に基づいて、進入経路５１０を導出することができる。進入単位６０２は、対応する進入経路５１０に沿った３Ｄ空間内の対象オブジェクト１１２の順次位置を含むことができる。換言すれば、進入単位６０２は、対応する進入経路５１０をたどるための対象オブジェクト１１２のサンプル位置に対応することができる。進入単位６０２は、対応する進入経路５１０の経路セグメント６０４に従って位置調整することができる。経路セグメント６０４は、進入経路５１０における直線セグメント／方向に対応することができる。経路セグメント６０４は、対象オブジェクト１１２を対応する候補位置３６０に載置するための最終セグメント６０６を含むことができる。最終セグメント６０６は、垂直（たとえば、下向き）方向を含むことができる。

進入経路５１０を導出するために、ロボットシステム１００は、障害物６１０（たとえば、対象オブジェクト１１２を候補位置３６０に載置する場合の潜在的な障害物など）になり得る載置済みオブジェクト５０８のいずれかを識別することができる。１つまたは複数の実施形態では、ロボットシステム１００は、潜在的な障害物（複数可）６１０を、開始位置１１４と対応する候補位置３６０とをつなぐ水平ライン６１１（たとえば、ｘ−ｙ平面に沿った直線）と重なる載置済みオブジェクト５０８のインスタンス（複数可）として識別することができる。ロボットシステム１００は、たとえば、水平ラインと並行かつ重なるレーンであって、対象オブジェクト１１２の１つまたは複数の寸法（たとえば、幅、長さ、および／または高さ）に基づく幅を有するレーンを導出することに基づいて、潜在的な障害物（複数可）６１０を、水平ライン付近に導出されたレーン６１３と重なる載置済みオブジェクト５０８のインスタンス（複数可）として、さらに識別することができる。図６Ａおよび図６Ｂに示すように、開始位置１１４は、候補位置３６０の右側とすることができる。したがって、ロボットシステム１００は、右側の載置済みオブジェクトを潜在的な障害物６１０として識別することができる。

いくつかの実施形態では、ロボットシステム１００は、図４Ａの高さ寸法４０２に基づいて潜在的な障害物６１０を検証することができる。たとえば、ロボットシステム１００は、候補位置３６０以上の高さ寸法４０２のうちの１つまたは複数によって、潜在的な障害物６１０を検証／識別することができる。ロボットシステム１００は、候補位置３６０未満の高さ寸法４０２を有する載置済みオブジェクト５０８を潜在的な障害物６１０として排除することができる。１つまたは複数の実施形態では、ロボットシステム１００は、候補位置３６０の高さおよび／または潜在的な障害物６１０の高さに関連する曖昧さに基づいて、潜在的な障害物６１０を識別／排除することができる。

いくつかの実施形態では、ロボットシステム１００は、進入経路５１０を逆順で導出することができ、たとえば、候補位置３６０から開始して図５の開始位置１１４で終了することができる。したがって、ロボットシステム１００は、潜在的な障害物６１０を回避するように、最終セグメント６０６を最初に（たとえば、他のセグメントより前に）導出することができる。たとえば、ロボットシステム１００は、進入単位６０２の高さを所定の距離だけ反復的に増加させることに基づいて、進入単位６０２を決定することができる（たとえば、最初に「Ｆ−１」、次に「Ｆ−２」、など）。反復ごとに、ロボットシステム１００は、決定済みの進入単位６０２（たとえば、底面／そのエッジ）と、潜在的な障害物６１０（たとえば、上面／そのエッジ）との間のベクトル６１２を計算し分析することができる。ロボットシステム１００は、決定済みの進入単位６０２が潜在的な障害物６１０の上方にあり、および／または間隙閾値６１４（たとえば、対象オブジェクト１１２と潜在的な障害物６１０との接触または衝突を回避するための、潜在的な障害物６１０の最高点の上方の対象オブジェクト１１２に対する最小垂直間隔に関する要件）だけ離れて潜在的な障害物６１０を飛び越えることをベクトル６１２が示すまで、進入単位６０２の高さを増加させ続けることができる。決定済みの進入単位６０２が間隙閾値６１４を満たす場合、または次の反復について、ロボットシステム１００は、対応する進入単位６０２を水平方向に沿って（たとえば、開始位置１１４へ向けて）所定の距離だけ調整することができる。したがって、ロボットシステム１００は、候補位置３６０と、間隙閾値６１４を満たした進入単位６０２とに基づいて、最終セグメント６０６および／または後続の経路セグメント６０４を導出して、進入経路５１０を導出することができる。

導出されると、ロボットシステム１００は、進入経路５１０を使用して、対応する候補位置３６０を評価することができる。いくつかの実施形態では、ロボットシステム１００は、進入経路５１０に応じて載置スコアを計算することができる。たとえば、ロボットシステム１００は、最終／垂直セグメント６０６についてのより短い長さ／距離のための設定（たとえば、所定の載置設定に対応する１つまたは複数の重みに応じたもの）に応じて、載置スコアを計算することができる。したがって、図６Ａおよび図６Ｂの進入経路５１０を比較する際に、ロボットシステム１００は、最終／垂直セグメント６０６の長さがより短い、図６Ｂに示す経路を優先することができる。１つまたは複数の実施形態では、ロボットシステム１００は、候補位置３６０を排除するまたは不適格とみなすために使用される進入経路５１０（たとえば、最終／垂直セグメント６０６についてのもの）に関連する上限などの制約を含むことができる。

いくつかの実施形態では、ロボットシステム１００は、他の衝突／障害関連パラメータに従って対応する候補位置３６０をさらに評価することができる。たとえば、ロボットシステム１００は、候補位置３６０と、載置済みオブジェクト５０８のうちの１つまたは複数との間の水平間隔６１６に応じて候補位置３６０を評価することができる。各水平間隔６１６は、対応する候補位置３６０と、載置済みオブジェクト５０８の隣接するインスタンスとの間の、水平方向（たとえば、ｘ−ｙ平面）に沿った距離（たとえば、最短距離）とすることができる。ロボットシステム１００は、進入経路５１０について上述したのと同様に、水平間隔６１６に基づいて候補位置３６０についての載置スコアを計算することができる。また、ロボットシステム１００は、水平間隔６１６が最小要件を満たさない場合などに、水平間隔６１６に基づいて候補位置３６０を排除するまたは不適格とみなすことができる。載置スコアの計算および／または候補位置３６０を排除するための制約に関する詳細については後述する。

動作フロー
図７は、本技術の１つまたは複数の実施形態による、図１のロボットシステム１００を動作させる方法７００についての流れ図である。方法７００は、図１の対象オブジェクト１１２を載置するための、図１のタスク位置１１６上の図３Ｂの載置位置３５０を動的に導出するためのものとすることができる。方法７００は、図２の記憶デバイス２０４のうちの１つまたは複数に記憶された命令を、図２のプロセッサ２０２のうちの１つまたは複数によって実行することに基づいて、実施することができる。

ブロック７０２において、ロボットシステム１００は、リアルタイムパッケージング状況を特定することができる。たとえば、ブロック７３２に示すように、ロボットシステム１００は、到来オブジェクトおよび／または図１のタスク位置１１６をリアルタイムに分析することができる。ロボットシステム１００は、図２のセンサ２１６からセンサデータを受信し分析することができる。いくつかの実施形態では、ロボットシステム１００は、図１の開始位置１１４にあるまたは近づいている図１の対象オブジェクト１１２を表すソースセンサデータを（たとえば、図５のソースセンサ５０４から）受信し、分析することができる。また、ロボットシステム１００は、タスク位置１１６および／またはその上の図５の載置済みオブジェクト５０８に関連する載置エリア（たとえば、その上の図３Ｂの載置エリア３４０）を表す目的地センサデータを（たとえば、図５の目的地センサ５０６から）受信し、分析することができる。

いくつかの実施形態では、ブロック７３４に示すように、ロボットシステム１００は、センサデータを分析して、１つまたは複数の不確実性要因を決定することができる。たとえば、ロボットシステム１００は、センサデータを、対象オブジェクト１１２を含む到来オブジェクトについての載置位置を指定する、（たとえば、オフライン計算および／または該当設備におけるリアルタイム計算を介して）導出済みのパッキングプランと比較することができる。したがって、不確実性のいくつかのインスタンスは、センサデータおよびパッキングプランまたは関連する到着シーケンスの不一致に基づくことができる。

不確実性についてセンサデータを分析する際に、ブロック７３６に示すように、ロボットシステム１００は、センサデータ（たとえば、画像および／または深度マップ）を処理して、エッジを識別／推定することができる。たとえば、ロボットシステム１００は、Ｓｏｂｅｌフィルタなどを使用して、センサデータを処理することによって、対象オブジェクト１１２、タスク位置１１６、載置済みオブジェクト５０８、またはこれらの組み合わせのエッジを認識することができる。ロボットシステム１００は、エッジを使用して、別々のオブジェクトを表すエリアおよび／またはそれらの寸法を特定することができる。

場合によっては、不一致は、ソースセンサデータを図２のマスターデータ２５２、パッキングプランに関連するアクセス／到着シーケンス、またはこれらの組み合わせと比較した結果生じるソース照合誤差を含むことができる。ソース照合誤差は、たとえば、到来オブジェクトを誤識別したこと（たとえば、ソースセンサデータがパッキングプランおよび／またはマスターデータ２５２内のいかなるオブジェクトにも対応しない場合）、および／または到来オブジェクトが順不同であり、パッキングプランについて想定される到着／アクセスシーケンスと一致しないことから生じ得る。また、不一致は、目的地センサデータをパッキングプランと比較した結果生じる目的地照合誤差を含むことができる。目的地照合誤差は、たとえば、載置済みオブジェクト５０８のうちの１つまたは複数が、パッケージのずれなどによって、予期しない（すなわち、パッキングプランに一致しない）位置にあることにより生じ得る。他の例としては、タスク位置１１６のコンテナが、パッケージを受け取るために十分に開いていない、および／または到着時に想定外のアイテムが入っていることを挙げることができる。

１つまたは複数の実施形態では、ロボットシステム１００は、さらなるトリガに基づいて不確実性を判定することができる。たとえば、ロボットシステム１００は、パッキングプランの欠如に基づいて不確実性を判定することができる。また、たとえば、ロボットシステム１００は、動作ステータスまたはイベント、たとえば、衝突イベント（たとえば、ロボットユニットおよび／またはオブジェクトが衝突した場合）、オブジェクト紛失イベント（たとえば、オブジェクトが輸送／操作中に落下した場合）、オブジェクトずれイベント（たとえば、オブジェクトが載置後にずれた場合）、またはこれらの組み合わせに基づいて、不確実性を判定することができる。以下でより詳細に説明するように、ロボットシステム１００は、不確実性に応答して、および／またはこれを補償するために、対象オブジェクト１１２についての図３の載置位置３５０を動的に導出することができる。

ブロック７０４において、ロボットシステム１００は、到来パッケージ（対象オブジェクトなどを含む）および／またはタスク位置１１６、たとえばパレットおよび／またはケージを表す、離散化モデル（たとえば、図３Ａの離散化オブジェクトモデル３０２および／または図３Ｂの離散化台モデル３０４）を生成および／またはそれらにアクセスすることができる。

ロボットシステム１００は、リアルタイムのセンサデータ（たとえば、ソースセンサデータおよび／または目的地センサデータ）に基づいて、離散化モデル（たとえば、離散化オブジェクトモデル３０２および／または離散化台モデル３０４）を決定する（たとえば、生成するおよび／またはアクセスする）ことができる。いくつかの実施形態では、ロボットシステム１００は、ソースセンサデータに基づいて対象オブジェクト１１２などのオブジェクトのオブジェクトタイプ（たとえば、到来オブジェクトの識別情報またはカテゴリ）を特定することができる。ロボットシステム１００は、上述のように不確実性についてチェックする際に、マスターデータ２５２を検索して、撮像された表面をオブジェクトタイプに対応する表面画像と照合することができる。いくつかの実施形態では、ロボットシステム１００は、不確実性についてチェックする際に、センサデータ（たとえば、ソースセンサデータ）に基づいて、検知されたオブジェクト（たとえば、到来オブジェクト、対象オブジェクト１１２、パレット、ケージなど）の１つまたは複数の寸法または長さを推定することもできる。ロボットシステム１００は、識別情報を使用して、図２の記憶デバイス、および／または他のデバイス（たとえば、図２の通信デバイス２０６を介してアクセスされるパッケージ供給元の記憶デバイス、データベース、および／またはサーバ）に記憶された離散化モデルにアクセスすることができる。たとえば、ロボットシステム１００は、識別情報（たとえば、表面画像および／または推定寸法）を使用してマスターデータ２５２を検索することによって、一致する離散化モデルを発見し、アクセスすることができる。

いくつかの実施形態では、ロボットシステム１００は、リアルタイムに、たとえば、ソースセンサデータの受信および／または不確実性の判定に直ちに応答して、離散化モデルを生成することができる。離散化モデルを動的に生成するために、ロボットシステム１００は、センサデータおよび／または対応する物理的な寸法（たとえば、到来オブジェクト、パレット上面などのもの）を図３Ｂの単位ピクセル３１０に応じて分割することができる。換言すれば、ロボットシステム１００は、対応するセンサデータに応じて、対象オブジェクト１１２および／またはタスク位置１１６を表すエリアに単位ピクセル３１０を重ねることに基づいて、離散化モデルを生成することができる。単位ピクセル３１０は、（たとえば、製造業者、注文した顧客、および／またはオペレータによって）、たとえば、１ｍｍもしくは１／１６インチ（ｉｎ）またはそれ以上（たとえば、５ｍｍもしくは２０ｍｍ）など、事前に決定することができる。いくつかの実施形態では、単位ピクセル３１０は、パッケージのうちの１つまたは複数および／または台の寸法またはサイズに基づくことができる（たとえば、割合または分数）。

ブロック７０６において、ロボットシステム１００は、対象オブジェクト１１２をタスク位置１１６に／上方に載置するための候補位置のセット（たとえば、図３Ｂの候補位置３６０）を導出することができる。ロボットシステム１００は、対象オブジェクト１１２の離散化オブジェクトモデル３０２を離散化台モデル３０４上に、タスク位置１１６内／上方の対応する位置に重ねることに基づいて、候補位置３６０を導出することができる。候補位置３６０は、水平面に沿った、離散化台モデル３０４上方／内の離散化オブジェクトモデル３０２の位置に対応することができる。ロボットシステム１００は、載置済みオブジェクト５０８に重なるおよび／または隣接する候補位置３６０を導出することができる。

いくつかの実施形態では、ロボットシステム１００は、初期載置位置を決定することに基づいて（たとえば、候補位置３６０のインスタンスの所定の位置、たとえば、載置エリアの指定されたコーナー）、離散化オブジェクトモデル３０２の位置を反復的に決定することができる。ロボットシステム１００は、次の候補位置３６０を導出するための所定の方向、反復にわたる候補位置３６０間の離間要件、載置を規定するルール／条件、候補位置３６０の総数の制限、それらの１つまたは複数のパターン、またはこれらの組み合わせに従って、後続の候補位置３６０を決定することができる。さらに、ロボットシステム１００は、載置済みオブジェクト５０８に対する候補位置３６０を決定するための設定および／またはルールのセットを含むことができる。たとえば、ロボットシステム１００は、離散化オブジェクトモデル３０２が載置済みオブジェクト５０８の１つまたは複数のエッジ、および／または載置エリア３４０の周囲境界／周縁に隣接または当接する候補位置３６０を決定するための（たとえば、他のほとんどのタイプ／カテゴリの候補位置３６０よりも早く機能を実行するための）設定を使用して構成することができる。また、ロボットシステム１００は、離散化オブジェクトモデル３０２が載置済みオブジェクト５０８の上にあり、オブジェクトのうちの１つに収まり、および／またはオブジェクトの１つまたは複数のエッジと重なる候補位置３６０を決定するための設定を使用して構成することができる。

ロボットシステム１００は、離散化オブジェクトモデル３０２を載置するための所定のルール、パターン、制限、および／またはシーケンスに従って、候補位置３６０を導出することができる。たとえば、ロボットシステム１００は、たとえば、載置済みオブジェクト５０８の最も外側のエッジに隣接する、および／または所定の距離制限内にあるオブジェクトエッジについての設定に基づいて、候補位置３６０を導出することができる。また、ロボットシステム１００は、たとえば、離散化オブジェクトモデル３０２がパレット、ケージなどの境界／エッジに最も近いまたは当接する載置エリア３４０の外側のエッジ／境界に対する設定に基づいて、候補位置３６０を導出することができる。また、ロボットシステム１００は、載置済みオブジェクト５０８に重なる候補位置３６０を導出することができる。

ブロック７０８において、ロボットシステム１００は、３Ｄスタッキングの評価などのために、図３Ｂの載置エリア３４０のリアルタイムの状況を決定／更新することができる。たとえば、ロボットシステム１００は、目的地センサデータを使用して、図４の高さ寸法４０２を決定することができる。ロボットシステム１００は、目的地センサデータから導出された深度寸法、ならびにタスク位置１１６および／またはセンサの既知の高さを使用して、タスク位置１１６における上面（複数可）の高さを計算することができる。ロボットシステム１００は、計算された高さを離散化台モデル３０４内の単位ピクセル３１０と照合し、単位ピクセル３１０内の計算された最大の高さを対応する高さ寸法４０２として割り当てることができる。いくつかの実施形態では、ロボットシステム１００は、候補位置３６０内の離散化オブジェクトモデル３０２が重なる単位ピクセル３１０についての高さ寸法４０２を決定することができる。

ブロック７１０において、ロボットシステム１００は、候補位置３６０を評価することができる。いくつかの実施形態では、ロボットシステム１００は、リアルタイムの状況、処理結果、所定のルールおよび／またはパラメータ、またはこれらの組み合わせに従って、候補位置３６０を評価することができる。たとえば、ロボットシステム１００は、対応する載置スコアを計算すること、候補位置３６０を検証する／適格とみなすこと、またはこれらの組み合わせに基づいて、候補位置３６０を評価することができる。

ブロック７４２において、ロボットシステム１００は、各候補位置３６０についての載置スコアを計算することができる。ロボットシステム１００は、載置条件のうちの１つまたは複数に従って載置スコアを計算することができる。たとえば、ロボットシステム１００は、（たとえば、乗数の重みを介した）載置設定および／または式を使用して、パッケージ間の離間距離、水平に隣接するパッケージについてのパッケージ寸法／脆性レーティング／パッケージ重量の差、（たとえば、図５の進入経路５１０またはその特性、および／または図６の水平間隔６１６に基づく）衝突確率、同じ高さの連続面／隣接面、その統計結果（たとえば、平均、最大、最小、標準偏差など）、またはこれらの組み合わせについての設定を記述することができる。載置設定の他の例としては、結果の高さ、近接度、エッジ−載置ステータス、最大支持可能重量、オブジェクトタイプ、支持重量比、またはこれらの組み合わせを挙げることができる。したがって、いくつかの実施形態では、ロボットシステム１００は、より低い最大高さのための、載置済みオブジェクトの境界または載置台のエッジ付近に対象オブジェクト１１２を載置するための、隣接するオブジェクトの高さおよび／または最大支持可能重量の差を最小化するための、対象オブジェクト１１２が重なるオブジェクトについての支持重量と最大支持可能重量との比を低下させるための、隣接するオブジェクトのオブジェクトタイプを一致させるための、またはこれらの組み合わせのための設定を表す処理の重み／乗数を含むことができる。各載置位置は、システム製造業者、注文、および／またはシステムオペレータによって事前定義される選好係数および／または式に従ってスコア付けすることができる。

いくつかの実施形態では、たとえば、ロボットシステム１００は、候補位置３６０についての支持度合いに基づいて載置スコアを計算することができる。ロボットシステム１００は、少なくとも部分的に高さ寸法４０２に基づいて、候補位置３６０のうちの１つまたは複数についての（たとえば、オブジェクトをスタックする際の）支持量を計算することができる。説明用の例として、ロボットシステム１００は、各候補位置３６０についての図４Ｂの最大高さ４２０を特定することに基づいて、支持量を計算することができる。図４Ｂの最大高さ４２０および高さ差分閾値４１６に基づいて、ロボットシステム１００は、各候補位置３６０についての図４Ｂの高さ下限４２２を計算することができる。ロボットシステム１００は、候補位置３６０の高さ寸法４０２を対応する高さ下限４２２と比較して、各候補位置３６０についての図４Ｂの支持位置４４２を特定することができる。ロボットシステム１００は、対応する支持位置４４２の図４Ｂの適格数４２４に基づいて、各候補位置３６０についての載置スコアを計算することができる。

１つまたは複数の実施形態では、ロボットシステム１００は、候補位置３６０についての図４Ｂの支持エリア輪郭４２６を導出することに基づいて載置スコアを計算することができる。上述のように、ロボットシステム１００は、対応する位置における支持位置４４２のうちの最も外側の／外周のインスタンスの外側のエッジを伸ばす、および／またはコーナーをつなぐことに基づいて、各候補位置３６０についての支持エリア輪郭４２６のセットを導出することができる。支持位置４４２に基づいて、ロボットシステム１００は、載置スコアを計算するために、図４Ｂの支持エリアサイズ４２８および／または図４Ｂの支持比４３０を決定することができる。また、ロボットシステム１００は、ＣｏＭ位置４３２と支持エリア輪郭４２６との間の最小離間距離を計算することができる。ロボットシステム１００は、支持エリアサイズ４２８、支持比４３０、最小離間距離、対応する選好重み、またはこれらの組み合わせを使用して、対応する候補位置についての載置スコアを計算することができる。

１つまたは複数の実施形態では、ロボットシステム１００は、上述のように候補位置３６０についての進入経路５１０を導出することに基づいて、載置スコアを計算することができる。ロボットシステム１００は、図６の最終セグメント６０６（たとえば、その長さ）、図６の１つまたは複数の経路セグメント６０４の数量／長さ、またはこれらの組み合わせに応じて、各候補位置３６０についての載置スコアを計算することができる。いくつかの実施形態では、ロボットシステム１００は、候補位置３６０についての図６の水平間隔６１６に基づいて、載置スコアを計算することができる。

いくつかの実施形態では、ブロック７４４に示すように、ロボットシステム１００は、候補位置３６０を適格とみなすことができる。ロボットシステム１００は、１つまたは複数の載置制約に従って候補位置３６０の検証済みセットを動的に導出することに基づいて、候補位置３６０を適格とみなすことができる。検証済みセットを導出する際に、ロボットシステム１００は、少なくとも部分的に高さ寸法４０２に関連する載置制約のうちの１つまたは複数に違反するまたは満たさない候補位置３６０のインスタンスを排除するまたは不適格とみなすことができる。１つまたは複数の実施形態では、ロボットシステム１００は、まず検証済みセットを導出し、次いで検証済みセットについての載置スコアを計算することができる。１つまたは複数の実施形態では、ロボットシステム１００は、載置スコアの計算と同時に検証済みセットを導出することができる。

１つまたは複数の実施形態では、載置制約は、適格数４２４、支持エリア輪郭４２６のセット、支持エリアサイズ４２８、支持比４３０、ＣｏＭ位置４３２、進入経路５１０、水平間隔６１６、またはこれらの組み合わせを、閾値（たとえば、図４Ｂの支持閾値４１８）または要件と比較することに関連するものとすることができる。たとえば、ロボットシステム１００は、適格数４２４、支持エリアサイズ４２８、および／または支持比４３０が対応する閾値を満たす／超える位置を含むように、検証済みセットを導出することができる。また、ロボットシステム１００は、ＣｏＭ位置４３２が支持エリア輪郭４２６内にある／囲まれる、および／または支持エリア輪郭４２６から最小離間距離を満たす位置を含むように、検証済みセットを導出することができる。また、ロボットシステム１００は、進入経路５１０（たとえば、その中の最終セグメント６０６）が最大長さ閾値を満たす、および／または水平間隔６１６が最小閾値を満たす位置を含むように、検証済みセットを導出することができる。

ブロック７１２において、ロボットシステム１００は、対象オブジェクト１１２をタスク位置１１６の上方／上に載置するための載置位置３５０を動的に導出することができる。ロボットシステム１００は、検証済みセット内の位置または候補位置３６０のうちの１つを載置スコアに応じて選択することに基づいて、載置位置３５０を動的に導出することができる。いくつかの実施形態では、ロボットシステム１００は、ヒープ構造を使用して候補位置３６０を追跡することができる。したがって、ロボットシステム１００は、位置が上述の制約に違反する場合に、ヒープ構造からその位置を除去することができる。さらに、ロボットシステム１００は、追跡位置を対応する載置スコアに応じて配列するまたはランク付けすることができる。いくつかの実施形態では、ロボットシステム１００は、載置スコアまたはそのスコアの反復的な更新が計算されているときに、追跡位置を継続的に配列することができる。結果として、ロボットシステム１００は、スコア計算が終了した場合に、ヒープ構造内の指定位置（たとえば、最初のスロット）における位置を載置位置３５０として選択することができる。

ブロック７１４において、ロボットシステム１００は、対象オブジェクト１１２を導出された載置位置３５０に載置することができる。対象オブジェクト１１２を載置位置３５０に載置する際に、ロボットシステム１００の１つまたは複数のコンポーネント／デバイスは、他のコンポーネント／デバイスと通信するおよび／または動作させることができる。たとえば、プロセッサ２０２および／またはスタンドアローンコントローラ（たとえば、倉庫／出荷センターの制御デバイスなど）のうちの１つまたは複数は、たとえば、載置位置３５０、対応するモーションプラン、図２のアクチュエーションデバイス２１２および／または図２の輸送モータ２１４を動作させるためのコマンドのセットおよび／または設定、またはこれらの組み合わせなどの情報を他のコンポーネント／デバイスに送信することができる。他のコンポーネント／デバイス、たとえば、プロセッサ２０２の他のインスタンス、および／または図５のロボットアーム５０２、アクチュエーションデバイス２１２、輸送モータ２１４、および／または他の外部デバイス／システムは、その情報を受信し、対応する機能を実行して、対象オブジェクト１１２を操作し（たとえば、把持および拾得し、空間を介して転置および／または向き変更し、目的地に載置し、および／または解放し）、載置位置に載置することができる。

いくつかの実施形態では、ロボットシステム１００は、対象オブジェクト１１２を載置した後に、リアルタイムパッケージング状況を更新するまたは再識別することができる。換言すれば、ブロック７１４に続いて、制御フローはブロック７０２に移動することができる。したがって、ロボットシステム１００は、次の到来オブジェクトを対象オブジェクト１１２として更新／識別することができる。ロボットシステム１００は、最近載置されたオブジェクトを含むように、載置エリア３４０および／またはその上の載置済みオブジェクト５０８に関する情報を更新することもできる。他の実施形態では、ロボットシステム１００は、対象オブジェクト１１２を載置した後に、パッキングプランを再計算または調整し、および／またはパッキングプランに従って再開することができる。

上述のタスクの離散化および２Ｄ／３Ｄレイヤ化によって、オブジェクトをパッキングする効率、速度、および精度が向上する。したがって、オペレータ入力の削減および精度の向上によって、自動化パッキング処理に関する人間の労力をさらに減少させることができる。一部の環境では、上述のロボットシステム１００は、約１００万ＵＳドルまたはそれ以上のコストがかかり得る配列バッファの必要性を排除することができる。

さらに、（たとえば、センサデータおよび他のステータス／データによって表現される）リアルタイムの状況に応じて載置位置３５０を動的に計算することによって、動作エラーが削減される。上述のように、ロボットシステムは、人間の介入を必要とせずに、想定外の状況／イベントによって導入される不確実性を考慮し、解決することができる。また、上述の実施形態は、オブジェクトが開始位置１１４に到着したときに載置位置３５０を動的に導出することなどによって、事前に存在するパッキングプランなしでオブジェクトを３Ｄでスタックすることができる。２Ｄの動的パッキング（すなわち、オブジェクトを単一のレイヤとして台に直接載置するもの）に限定される従来のシステムと比較して、高さを考慮することによって、上述の実施形態は、オブジェクトを互いの上にスタックし、パッキング密度を向上させることが可能になる。

結論
開示した技術の実施例の上記の詳細な説明は、網羅的なものではなく、開示した技術を上記で開示した厳密な形に限定するものでもない。開示した技術の具体例を例示の目的で上述しているが、当業者であれば理解するように、開示した技術の範囲内で様々な等価な修正が可能である。たとえば、処理またはブロックを所与の順序で提示しているが、代替的な実施態様は異なる順序のステップを有するルーチンを実行してもよく、または異なる順序のブロックを有するシステムを採用してもよく、一部の処理またはブロックを削除、移動、追加、細分化、結合、および／または修正して、代替的な組み合わせまたは部分的な組み合わせを提供してもよい。これらの処理またはブロックのそれぞれは、種々の異なる方法で実施されてもよい。また、処理またはブロックは順番に実行されるように示している場合があるが、これらの処理またはブロックは代わりに並列に実行または実施されてもよく、または異なる時刻に実行されてもよい。さらに、本明細書に記載の任意の特定の数字は例にすぎず、代替的な実施態様は異なる値または範囲を採用してもよい。

これらのおよび他の変更は、上記の詳細な説明に照らして、開示した技術に対して行うことができる。詳細な説明では、開示した技術の特定の例だけでなく、企図される最良の形態を説明しているが、上記の説明が文中でどれほど詳細に見えても、開示した技術は多くの方法で実践することができる。システムの詳細はその特定の実施態様において大幅に異なってもよく、本明細書で開示した技術によってなおも包含される。上述のように、開示した技術の特定の特徴または態様を説明する際に使用される特定の用語は、その用語が関連する開示した技術の任意の特定の特性、特徴、または態様に限定されるようにその用語が本明細書で再定義されることを意味するよう解釈されるべきではない。したがって、本発明は、添付の特許請求の範囲を除いて、限定されない。一般に、以下の特許請求の範囲で使用される用語は、上記の詳細な説明のセクションがそのような用語を明確に定義していない限り、開示した技術を本明細書で開示した具体例に限定するように解釈されるべきではない。

本発明の特定の態様を特定の請求項の形式で以下に提示するが、出願人は本発明の様々な態様を任意数の請求項の形式で企図している。したがって、出願人は、本出願または継続出願において、そのような追加の請求項の形式を追求するために本出願を提出した後に追加の請求を追求する権利を留保している。

Claims (20)

1. ロボットシステムを動作させる方法であって、
   ソース位置にあるまたは前記ソース位置に近づいている対象オブジェクトを表すソースセンサデータを受信することと、
   前記ソースセンサデータに基づいて離散化オブジェクトモデルを決定することであって、前記離散化オブジェクトモデルは、単位ピクセルに従って２次元（２Ｄ）で前記対象オブジェクトの物理的な寸法、形状、またはこれらの組み合わせを表現する、前記決定することと、
   タスク位置に関連付けられた載置エリア、および／または前記タスク位置に載置済みのオブジェクトを表す目的地センサデータを受信することと、
   前記目的地センサデータに基づいて離散化台モデルを決定することであって、前記離散化台モデルは、さらなる単位ピクセルに従って２Ｄで前記タスク位置の物理的な寸法、形状、またはこれらの組み合わせを表現する、前記決定することと、
   前記目的地センサデータに基づいて高さ寸法を決定することであって、前記高さ寸法は、前記さらなる単位ピクセルの１つまたは複数のセットに対応する前記載置エリアの部分における最大の高さを表す、前記決定することと、
   前記離散化オブジェクトモデルを前記離散化台モデル上の対応する位置に重ねることに基づいて、１つまたは複数の候補位置を導出することと、
   前記高さ寸法に関連する１つまたは複数の載置制約に従って、前記候補位置の検証済みセットを動的に導出することと、
   前記検証済みセット内の位置についての載置スコアを計算することであって、前記載置スコアは１つまたは複数の載置設定に応じて計算される、前記計算することと、
   前記載置スコアに応じて前記検証済みセット内の前記位置のうちの１つを選択することに基づいて載置位置を動的に導出することであって、前記載置位置は前記対象オブジェクトを前記タスク位置に載置するためのものである、前記導出することと、
   前記載置エリア上の前記載置位置に前記対象オブジェクトを載置するために、前記載置位置に応じた情報を伝達することと
   を含む、方法。
2. 前記載置位置は、１つまたは複数の不確実性要因に応答して導出される、請求項１に記載の方法。
3. 前記１つまたは複数の不確実性要因は、パッキングプランの欠如に関連し、
   前記パッキングプランは、前記タスク位置における、前記対象オブジェクトを含むオブジェクトのセットについて導出される載置位置を表すためのものである、請求項２に記載の方法。
4. 前記１つまたは複数の不確実性要因は、パッキングプランからの１つまたは複数の逸脱に関連し、
   前記パッキングプランは、前記タスク位置における、前記対象オブジェクトを含むオブジェクトのセットについて導出される載置位置を表すためのものである、請求項２に記載の方法。
5. 前記１つまたは複数の不確実性要因は、前記ソースセンサデータを、マスターデータ、前記パッキングプランに関連するシーケンス、またはこれらの組み合わせと比較した結果生じるソース照合誤差に関連する、請求項４に記載の方法。
6. 前記１つまたは複数の不確実性要因は、前記目的地センサデータを前記パッキングプランと比較した結果生じる目的地照合誤差に関連する、請求項４に記載の方法。
7. 前記１つまたは複数の不確実性要因は、衝突イベント、オブジェクト紛失イベント、オブジェクトずれイベント、またはこれらの組み合わせに関連する、請求項４に記載の方法。
8. 前記離散化オブジェクトモデルを決定することは、
   前記ソースセンサデータに基づいて、前記対象オブジェクトを識別するオブジェクトタイプを識別することと、
   前記オブジェクトタイプに応じてマスターデータを検索することに基づいて、前記離散化オブジェクトモデルにアクセスすることと
   を含む、請求項１に記載の方法。
9. 前記離散化オブジェクトモデルを決定することは、
   前記ソースセンサデータに基づいて１つまたは複数の長さを推定することであって、前記１つまたは複数の長さは前記対象オブジェクトの１つまたは複数の寸法を表す、前記推定することと、
   前記１つまたは複数の長さに応じてマスターデータを検索することに基づいて、前記離散化オブジェクトモデルにアクセスすることと
   を含む、請求項１に記載の方法。
10. 前記離散化オブジェクトモデルを決定することは、前記ソースセンサデータを受信したことに直ちに応答してリアルタイムに前記離散化オブジェクトモデルを生成することを含み、
    前記離散化オブジェクトモデルは、前記ソースセンサデータに応じて前記対象オブジェクトを表すエリアに前記単位ピクセルを重ねることに基づいて生成される、請求項１に記載の方法。
11. 前記高さ寸法を決定することは、前記候補位置のうちの１つまたは複数について前記離散化オブジェクトモデルが重なる前記さらなる単位ピクセルの前記１つまたは複数のセットについての前記高さ寸法を決定することを含む、請求項１に記載の方法。
12. 前記候補位置のそれぞれについて最大の高さを特定することであって、前記最大の高さは、前記対応する候補位置についての前記高さ寸法のうちの最大のインスタンスを表す、前記特定することと、
    高さ差分閾値および前記最大の高さに基づいて高さ下限を計算することと、
    前記高さ寸法を前記高さ下限と比較することに基づいて支持位置を特定することであって、前記支持位置は、前記高さ寸法が前記高さ下限と一致するおよび／または超える前記さらなる単位ピクセルのインスタンスを含む、前記特定することと
    をさらに含み、
    前記検証済みセットを導出すること、および／または前記載置スコアを計算することは、前記候補位置のそれぞれを前記対応する支持位置に応じて評価することを含む、
    請求項１に記載の方法。
13. 前記検証済みセットを導出することは、
    前記支持位置の数量を表す適格数を計算することと、
    前記候補位置の対応するインスタンスについての前記適格数を閾値と比較することに基づいて、前記検証済みセットを導出することと
    を含む、請求項１２に記載の方法。
14. 前記検証済みセットを導出することは、
    前記支持位置の最も外側のインスタンスのエッジおよび／またはコーナーに基づいて支持エリア輪郭を導出することと、
    前記支持エリア輪郭に基づいて支持エリアサイズを計算することであって、前記支持エリアサイズは、前記支持エリア輪郭内の前記単位ピクセルの数量を表す、前記計算することと、
    前記候補位置の対応するインスタンスについての前記支持エリアサイズを閾値と比較することに基づいて、前記検証済みセットを導出することと
    を含む、請求項１２に記載の方法。
15. 前記検証済みセットを導出することは、
    前記候補位置のそれぞれについて、前記支持位置の最も外側のインスタンスのエッジおよび／コーナーに基づいて支持エリア輪郭を導出することと、
    前記離散化オブジェクトモデルに関連する重心（ＣｏＭ）位置を前記支持エリア輪郭と比較することと、
    前記ＣｏＭ位置を囲む前記支持エリア輪郭を有する前記候補位置を含む前記検証済みセットを導出することと
    を含む、請求項１２に記載の方法。
16. 前記検証済みセットを導出することは、
    前記対象オブジェクトを前記候補位置に載置するための進入経路を導出することと、
    前記進入経路に基づいて前記検証済みセットを導出することと
    を含む、請求項１２に記載の方法。
17. 前記載置スコアを計算することは、適格数、支持エリアサイズ、重心（ＣｏＭ）位置、進入経路、またはこれらの組み合わせに基づいて、前記候補位置のそれぞれについての載置スコアを計算することを含む、請求項１２に記載の方法。
18. 前記載置スコアを計算することは、結果の高さ、近接度、エッジ−載置ステータス、最大支持可能重量、オブジェクトタイプ、支持重量比、またはこれらの組み合わせに基づいて、前記候補位置のそれぞれについての載置スコアを計算することを含む、請求項１に記載の方法。
19. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに接続され、前記プロセッサによって実行可能な命令が記憶される少なくとも１つのメモリデバイスと、を備え、
    前記命令は、
    単位ピクセルに従って２次元（２Ｄ）で対象オブジェクトの物理的な寸法、形状、またはこれらの組み合わせを表現する離散化オブジェクトモデルを決定することと、
    さらなる単位ピクセルに従って２Ｄで目的地エリアの物理的な寸法、形状、またはこれらの組み合わせを表現する離散化台モデルを決定することと、
    センサデータを受信することであって、前記センサデータは、前記対象オブジェクト、前記目的地エリア、またはこれらの組み合わせに関連する状況を表す、前記受信することと、
    前記センサデータに基づいて高さ寸法を決定することであって、前記高さ寸法は、前記さらなる単位ピクセルの１つまたは複数のセットに対応する前記載置エリアの部分における最大の高さを表す、前記決定することと、
    前記対象オブジェクトを前記目的地エリアに載置するための１つまたは複数の候補位置を導出することと、
    前記高さ寸法に少なくとも部分的に基づいて前記候補位置についての載置スコアを計算することと、
    前記載置スコアに基づいて載置位置を動的に導出することであって、前記載置位置は前記対象オブジェクトを載置するための前記目的地エリア内の指定位置を表す、前記導出することと
    を含む、ロボットシステム。
20. ロボットシステムによりその１つまたは複数のプロセッサを介して実行された場合に、前記ロボットシステムに方法を実施させるプロセッサ命令が記憶される有形非一時的コンピュータ可読媒体であって、
    前記命令は、
    ソース位置にあるまたは前記ソース位置に近づいている対象オブジェクトを表すソースセンサデータを受信する命令と、
    前記ソースセンサデータに基づいて離散化オブジェクトモデルを決定する命令であって、前記離散化オブジェクトモデルは、単位ピクセルに従って２次元（２Ｄ）で前記対象オブジェクトの物理的な寸法、形状、またはこれらの組み合わせを表現する、前記決定する命令と、
    タスク位置に関連付けられた載置エリア、および／または前記タスク位置に載置済みのオブジェクトを表す目的地センサデータを受信する命令と、
    前記目的地センサデータに基づいて離散化台モデルを決定する命令であって、前記離散化台モデルは、さらなる単位ピクセルに従って２Ｄで前記タスク位置の物理的な寸法、形状、またはこれらの組み合わせを表現する、前記決定する命令と、
    前記目的地センサデータに基づいて高さ寸法を決定する命令であって、前記高さ寸法は、前記さらなる単位ピクセルの１つまたは複数のセットに対応する前記載置エリアの部分における最大の高さを表す、前記決定する命令と、
    前記離散化オブジェクトモデルを前記離散化台モデル上の対応する位置に重ねることに基づいて、１つまたは複数の候補位置を導出する命令と、
    前記高さ寸法に関連する１つまたは複数の載置制約に従って、前記候補位置の検証済みセットを動的に導出する命令と、
    前記検証済みセット内の位置についての載置スコアを計算する命令であって、前記載置スコアは１つまたは複数の載置設定に応じて計算される、前記計算する命令と、
    前記載置スコアに応じて前記検証済みセット内の前記位置のうちの１つを選択することに基づいて載置位置を動的に導出する命令であって、前記載置位置は前記対象オブジェクトを前記タスク位置に載置するためのものである、前記導出する命令と、
    前記載置エリア上の前記載置位置に前記対象オブジェクトを載置するために、前記載置位置に応じた情報を伝達する命令と
    を含む、有形非一時的コンピュータ可読媒体。
    

Images