JP2023059988A - ロボットによるオブジェクト配置のシステム及び方法 - Google Patents

Abstract

【課題】ローディング環境内のオブジェクトの取得及び配置の計画及び実行の速度及び精度を増大させるコンピューティングシステム。【解決手段】コンピューティングシステムは、オブジェクトキューからローディング環境へのオブジェクトの取得及び配置のために、取得された画像情報を動作計画操作で使用するように構成される。ローディング環境内に提供されるパレットは、対応オブジェクトタイプ識別子を有するオブジェクトを受容するように専用である。コンピューターシステムは、画像情報をさらに使用して、ローディング環境内に存在するパレットの充填状態、及び将来的な計画及び配置操作を考慮するために、新しいパレットをローディング環境内に持ち込むか、及び／又は既存のパレットと交換する必要があるかどうかを判定する。【選択図】図４

Description

関連出願の相互参照
本出願は、「Ａ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＦＯＲ ＰＬＡＮＮＩＮＧ ＯＲ ＦＡＣＩＬＩＴＡＴＩＮＧ ＯＢＪＥＣＴ ＰＩＣＫＩＮＧ」と題し、２０２１年８月１０日に出願された、米国仮出願番号第６３／２３１，３２６号の優先権を主張し、その全体が参照により本明細書に組み込まれる。

本技術は、一般に、ロボットシステムを対象とし、より具体的には、ロボットの周囲の環境におけるオブジェクトのピッキング及び配置を決定及び促進するためのシステム、プロセス、及び技法を対象とする。

性能がますます向上し、コストが低減するにつれ、現在、多くのロボット（例えば、物理的アクションを自動／自律的に実行するように構成される機械）がさまざまな異なる分野で広く使用される。ロボットは、例えば、製造及び／又は組立、梱包及び／又は包装、輸送及び／又は出荷などにおけるさまざまなタスク（例えば、空間を通したオブジェクトの操作又は搬送）を実行するために使用され得る。タスクを実行する際に、ロボットは、人のアクションを再現することができ、それによって、そうでなければ危険又は反復的なタスクを実施するのに必要な人の関与を置き換えるか、又は低減することができる。

しかしながら、技術が進歩しているにもかかわらず、ロボットは多くの場合、より大きな及び／又はより複雑なタスクを実行するために要求される、人間の相互作用を複製するのに必要な精巧さを欠く。従って、ロボット間の動作及び／又は相互作用を管理するための改善された技術及びシステムに対するニーズが依然として存在する。

実施形態では、コンピューティングシステムが提供される。コンピューティングシステムは、エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有し、かつ、ロボットアームに取り付けられるカメラを有するロボットと通信するように構成される制御システムを含む。少なくとも一つの処理回路は、ロボットがローディング環境にあり、ローディング環境内に配置するためのオブジェクトのキューが提供されるとき、オブジェクトのキューからローディング環境へオブジェクトを移すために、以下のステップを実施するように構成される。ステップは、ローディング環境に提供されるオブジェクトのキューを検出することと、複数のオブジェクトタイプ識別子を受信することであって、複数のオブジェクトタイプ識別子のそれぞれがキューからのオブジェクトのそれぞれのオブジェクトと関連付けられていることと、カメラから受信したオブジェクトキュー画像情報に基づき、キュー内の標的オブジェクトの標的オブジェクト姿勢を決定することと、ローディング環境内の標的オブジェクトの計画配置位置を示す標的オブジェクトに対する標的オブジェクト配置を決定することと、オブジェクトキュー画像情報から生成される標的オブジェクト姿勢及び標的オブジェクト計画配置位置に従って、標的オブジェクトの取得及び配置のための動作計画操作を行うことと、動作計画操作に従って、標的オブジェクトをローディング環境内に配置するための配置コマンドを実行することと、ローディング環境での標的オブジェクト配置姿勢を含むローディング環境画像情報を生成することと、を含む。

別の実施形態では、コンピューティングシステムが提供される。コンピューティングシステムは、エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有し、かつ、ロボットアームに取り付けられるカメラを有するロボットと通信するように構成される制御システムを含む。少なくとも一つの処理回路は、ロボットが、複数のローディングエリア、緩衝ゾーン、既存のオブジェクト、及び進入オブジェクトのキューを含むローディング環境にあるとき、以下のステップを実施するように構成される。ステップは、カメラから受信したローディング環境画像情報を処理することと、処理済みローディング環境画像情報からローディング環境状態を識別することであって、ローディング環境状態がそれぞれの既存のオブジェクトに関連付けられる複数の既存のオブジェクトタイプ識別子、及びそれぞれの進入オブジェクトに関連付けられる複数の進入オブジェクトタイプ識別子を含むことと、パレット検出操作を実行して、ローディング環境画像情報から、ローディング環境内の既存のパレットを検出し、既存のパレットのパレット充填状態を決定し、既存のパレットに関連付けられるパレット識別子を識別することと、複数の既存のオブジェクトタイプ識別子、複数の進入オブジェクトタイプ識別子、及びパレット識別子間の比較に基づき実行されるオブジェクト移動コマンドを決定することと、を含む。

別の実施形態では、ロボットと通信するように構成される制御システムによって実行されるように構成されるロボット制御方法が提供される。ロボットは、エンドエフェクター装置を含むか、又はエンドエフェクター装置に取り付けられるロボットアームを含む。カメラは、ロボットがローディング環境にあるとき、及びローディング環境内に配置するためのオブジェクトのキューが提供されるとき、ロボットアームに取り付けられる。方法は、ローディング環境に提供されるオブジェクトのキューを検出することと、複数のオブジェクトタイプ識別子を受信することであって、複数のオブジェクトタイプ識別子の各々が、キューからのオブジェクトのそれぞれのオブジェクトと関連付けられていることと、カメラから受信したオブジェクトキュー画像情報に基づき、キュー内の標的オブジェクトの標的オブジェクト姿勢を決定することと、ローディング環境内の標的オブジェクトの計画配置位置を示す標的オブジェクトに対する標的オブジェクト配置を決定することと、オブジェクトキュー画像情報から生成される標的オブジェクト姿勢に従って、標的オブジェクトの取得及び配置のための動作計画操作を行うことと、計画配置位置動作計画操作に従って、キューから標的オブジェクトを取得するための取得コマンドを実行することと、動作計画操作に従って、標的オブジェクトをローディング環境内に配置するための配置コマンドを実行することと、ローディング環境での標的オブジェクト配置姿勢を含む、更新されたローディング環境画像情報を生成することと、を含む。

別の実施形態では、ロボット制御方法は、ロボットと通信するように構成される制御システムによって実行されるように構成される。ロボットは、エンドエフェクター装置を含むか、又はエンドエフェクター装置に取り付けられるロボットアームを含む。カメラは、ロボットがローディング環境にあるとき、及びローディング環境内に配置するためのオブジェクトのキューが提供されるとき、ロボットアームに取り付けられる。方法は、カメラから受信したローディング環境画像情報を処理することと、処理済みローディング環境画像情報からローディング環境状態を識別することであって、ローディング環境状態がそれぞれの既存のオブジェクトに関連付けられる複数の既存のオブジェクトタイプ識別子、及びそれぞれの進入オブジェクトに関連付けられる複数の進入オブジェクトタイプ識別子を含むことと、パレット検出操作を実行して、ローディング環境画像情報から、ローディング環境内の既存のパレットを検出し、既存のパレットのパレット充填状態を決定し、既存のパレットに関連付けられるパレット識別子を識別することと、複数の既存のオブジェクトタイプ識別子、複数の進入オブジェクトタイプ識別子、及びパレット識別子間の比較に基づき実行されるオブジェクト移動コマンドを決定することと、を含む。

本明細書の実施形態による、ローディング環境内のオブジェクトの計画及び配置を実施する、又は促進するためのシステムを示す。

本明細書の実施形態による、ローディング環境内のオブジェクトの計画及び配置を実施する、又は促進するためのシステムの実施形態を示す。

本明細書の実施形態による、ローディング環境内でのオブジェクトの計画及び配置を実施する、又は促進するためのシステムの別の実施形態を示す。

本明細書の実施形態による、ローディング環境内でのオブジェクトの計画及び配置を実施する、又は促進するためのシステムのさらに別の実施形態を示す。

本明細書の実施形態と一致する、ローディング環境内でのオブジェクトの計画及び配置を実行又は促進するように構成されるコンピューティングシステムを示すブロック図である。

本明細書の実施形態と一致する、ローディング環境内でのオブジェクトの計画及び配置を実行又は促進するように構成されるコンピューティングシステムの実施形態を示すブロック図である。

本明細書の実施形態と一致する、ローディング環境内でのオブジェクトの計画及び配置を実行又は促進するように構成されるコンピューティングシステムの別の実施形態を示すブロック図である。

本明細書の実施形態と一致する、ローディング環境内でのオブジェクトの計画及び配置を実行又は促進するように構成されるコンピューティングシステムのさらに別の実施形態を示すブロック図である。

システムによって処理され、本明細書の実施形態と一致する、画像情報の例である。

システムによって処理され、本明細書の実施形態と一致する、画像情報の別の例である。

本明細書の実施形態による、ローディング環境内のオブジェクトの計画及び配置が行われ得る例示的な環境を示す。

本明細書の実施形態による、その上に配置されるオブジェクトタイプ識別子を含むオブジェクトの例示的な実施形態である。

本明細書の実施形態による、ローディング環境内のオブジェクトの計画及び配置が行われ得る、別の例示的な実施形態を示す。

本明細書の実施形態による、本明細書に記載のシステム及び方法の実行の後の段階での図３Ｃのローディング環境及びシステムを描写する。

本明細書の実施形態による、ローディング環境内のオブジェクトの計画及び配置の方法を示す、フロー図を提供する。

本明細書の実施形態と一致するオブジェクトローディング環境を示す。

本明細書の実施形態による、ローディング環境内のオブジェクトの計画及び配置の方法を示す、フロー図を提供する。

本明細書の実施形態と一致するオブジェクトローディング環境を示す。

本明細書の実施形態と一致するオブジェクトローディング環境を示す。

本明細書の実施形態と一致するオブジェクトローディング環境を示す。

本明細書の実施形態と一致するオブジェクトローディング環境を描写する。

協調移動機構を有するロボットシステムのシステム及び方法が本明細書に説明される。実施形態に従って構成されるロボットシステム（例えば、各々が一つ又は複数の指定されたタスクを実行するデバイスの統合システム）は、複数のユニット（例えば、ロボット）の操作を協調させることによって、統合されたタスクを自律的に実行する。ロボットシステムは、本明細書に記載されるように、ロボット装置、センサー、並びに、そのようなロボット装置及びセンサーから情報を制御、指令を発行、及び受信するように構成されるコンピューティングシステムの任意の適切な組み合わせを含み得る。

本明細書に記載の技術は、ローディング環境で使用するために構成されるロボットシステムに技術的改良を提供する。本明細書に記載する技術的改善は、ローディング環境内のオブジェクトの取得及び配置の計画及び実行の速度及び精度を増大させる。ロボットシステムはさらに、ローディング環境内及びローディング環境に隣接するパレット積み又はパレットから降ろす作業の効率を改善する。

本出願は、システム及びロボットシステムを指す。ロボットシステムは、本明細書で論じるように、ロボットアクチュエーター構成要素（例えば、ロボットアーム、ロボットグリッパーなど）、さまざまなセンサー（例えば、カメラなど）、及びさまざまな計算又は制御システムを含み得る。本明細書で論じるように、コンピューティングシステム又は制御システムは、ロボットアーム、ロボットグリッパー、カメラなどのさまざまなロボット構成要素を「制御する」と呼んでもよい。こうした「制御」は、ロボット構成要素のさまざまなアクチュエーター、センサー、及びその他の機能的態様の直接的な制御及び相互作用を指し得る。例えば、コンピューティングシステムは、さまざまなモーター、アクチュエーター、及びセンサーにロボット動作を引き起こすために必要な信号の全てを発行又は提供することによって、ロボットアームを制御し得る。こうした「制御」はまた、こうしたコマンドをロボット動作を引き起こすために必要な信号に変換するさらなるロボット制御システムへの抽象的又は間接的なコマンドの発行を指すことができる。例えば、コンピューティングシステムは、ロボットアームが移動すべき軌道又は目的地の位置を記述するコマンドを発行することによってロボットアームを制御してもよく、ロボットアームに関連付けられるさらなるロボット制御システムは、こうしたコマンドを受信及び解釈し、その後、ロボットアームのさまざまなアクチュエーター及びセンサーに必要な直接信号を提供して、必要な移動を引き起こし得る。

特に、本明細書に記述された本技術は、ロボットシステムが、複数のオブジェクトの間で標的オブジェクトと相互作用するのを補助する。ローディング環境内の取得及び配置のために標的とされるオブジェクトは、以下に限定されないが、オブジェクトタイプ識別子、ローディング環境内のさまざまなローディングエリア／ゾーンの充填状態、及びパレットの対応を含む、さまざまな要因に依存する。例えば、進入した標的オブジェクト、例えば、ローディング環境に新しく到着した標的オブジェクトが、ローディング環境内に存在する、パレットに対応するオブジェクトタイプ識別子（すなわち、パレットが、進入標的オブジェクトのオブジェクトタイプ識別子を有するオブジェクトを受容するように指定される）を有する場合、ロボットシステムは、ロボットを制御して、その進入標的オブジェクトを取得し、それをパレット上に配置することができる。既存のオブジェクト（すなわち、ローディング環境内の緩衝ゾーンで利用可能なオブジェクト）がそのパレットに対応するオブジェクトタイプ識別子を有する場合、ロボットシステムは、ロボットをさらに制御して、既存のオブジェクトを取得してパレット上に配置し得る。さらなる実施形態では、本開示と一致するシステムは、特定のタイプの既存及び進入オブジェクトの存在に応答して、パレットをローディングエリア又はゾーンの出入りと交換するように構成され得る。

以下に、本開示技術の理解を提供するために、具体的な詳細が記載される。実施形態では、本明細書に導入される技術は、本明細書に開示される各具体的な詳細を含まずに実施され得る。他の実例では、特定の機能又はルーチンなどの周知の特徴は、本開示を不必要に不明瞭化することを避けるために詳細には説明されない。本明細書における「実施形態」、「一実施形態」などへの参照は、説明される特定の特徴、構造、材料、又は特性が、本開示の少なくとも一つの実施形態に含まれることを意味する。従って、本明細書におけるそのような語句の外観は、必ずしも全て同じ実施形態を指すわけではない。一方で、そのような参照は、必ずしも相互に排他的なものではない。さらに、特定の特徴、構造、材料、又は特性は、一つ又は複数の実施形態で、任意の適切な様式で組み合わせられ得る。図に示されるさまざまな実施形態は、単に例示的な表現であり、必ずしも縮尺どおりに描かれるものではないことを理解されたい。

周知であり、かつ多くの場合にロボットシステム及びサブシステムと関連付けられるが、本開示の技術のいくつかの重要な態様を不必要に不明瞭にし得る、構造又はプロセスを説明する数点の詳細は、明確化の目的で以下の説明には記載されていない。さらに、以下の開示は、本技術の異なる態様の数点の実施形態を説明しているが、数点の他の実施形態は、本節に説明されるものとは異なる構成又は異なる構成要素を有し得る。従って、開示された技術は、追加の要素を有するか、又は以下に説明される要素のうちの数点を有しない、他の実施形態を有し得る。

以下に説明される本開示の多くの実施形態又は態様は、プログラム可能なコンピューター又はコントローラーによって実行されるルーチンを含む、コンピューター又はコントローラー実行可能命令の形態をとり得る。関連分野の当業者であれば、開示された技術は、以下に示され説明されるもの以外のコンピューター又はコントローラーシステム上で、もしくはそれらを用いて実践され得ることを理解するであろう。本明細書に説明される技術は、以下に説明されるコンピューター実行可能命令のうちの一つ又は複数を実行するように、特別にプログラム、構成、又は構築される、専用コンピューター又はデータプロセッサーで具現化され得る。従って、本明細書において一般的に使用される「コンピューター」及び「コントローラー」という用語は、任意のデータプロセッサーを指し、インターネット家電及び手持ち式デバイス（パームトップコンピューター、ウェアラブルコンピューター、セルラー又は携帯電話、マルチプロセッサーシステム、プロセッサーベース又はプログラム可能な家電、ネットワークコンピューター、ミニコンピューターなどを含む）を含み得る。これらのコンピューター及びコントローラーによって処理される情報は、液晶ディスプレイ（ＬＣＤ）を含む、任意の好適なディスプレイ媒体で提示され得る。コンピューター又はコントローラー実行可能タスクを実行するための命令は、ハードウェア、ファームウェア、又はハードウェアとファームウェアとの組み合わせを含む、任意の好適なコンピューター可読媒体に、又はその上に記憶され得る。命令は、例えば、フラッシュドライブ、ＵＳＢデバイス、及び／又は他の好適な媒体を含む、任意の適切なメモリーデバイスに含まれ得る。

「結合」及び「接続」という用語は、それらの派生語とともに、本明細書では、構成要素間の構造的な関係を説明するために使用され得る。これらの用語は、互いの同義語として意図されていないことが理解されるべきである。むしろ、特定の実施形態では、「接続」は、二つ以上の要素が互いに直接接触していることを示すために使用され得る。文脈において別途明白にされない限り、「結合」という用語は、二つ以上の要素が、互いに直接的又は間接的（それらの間の他の介在要素との）接触にあるか、又は二つ以上の要素が互いに協働するか、もしくは相互作用する（例えば、信号送信／受信のための、又は関数呼び出しのためのなどの、因果関係にあるような）か、又はその両方を示すために使用され得る。

コンピューティングシステムによる画像分析に対する本明細書の任意の参照は、選択された点に対するさまざまな位置のそれぞれの奥行き値を説明する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して実施され得る。奥行き情報は、オブジェクトを識別するか、又はオブジェクトが空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、オブジェクトの一つ又は複数の表面上の場所を説明する点群を含んでもよく、又は該点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者が公知の他の形態が、本明細書に説明される方法に従って使用され得る。

図１Ａは、オブジェクト検出、すなわちより具体的には、オブジェクト認識を実施するためのシステム１０００を示す。より詳細には、システム１０００は、コンピューティングシステム１１００及びカメラ１２００を含み得る。この例では、カメラ１２００は、カメラ１２００が位置する環境を説明するか、もしくはそうでなければ表し、又はより具体的には、カメラ１２００の視野（カメラ視野とも呼ぶ）中の環境を表す、画像情報を生成するように構成され得る。環境は、例えば、倉庫、製造工場、小売空間、又は他の施設であり得る。こうした実例では、画像情報が、箱、ビン、ケース、木枠、パレット、又は他の容器などの、こうした施設に位置するオブジェクトを表し得る。システム１０００は、以下でより詳細に論じるように、画像情報を使用して、カメラ視野内の個々のオブジェクトを区別すること、画像情報に基づきオブジェクト認識又はオブジェクト登録を実施すること、及び／又は画像情報に基づきロボット相互作用計画を実施することなど、画像情報を生成、受信、及び／又は処理するよう構成され得る（用語「及び／又は」及び「又は」は、本開示では互換的に使用される）。ロボット相互作用計画は、例えば、ロボットと容器又は他のオブジェクトとの間のロボット相互作用を容易にするように、施設でロボットを制御するために使用され得る。コンピューティングシステム１１００及びカメラ１２００が、同じ施設に位置してもよく、又は互いと遠隔に位置し得る。例えば、コンピューティングシステム１１００は、倉庫又は小売空間から遠隔のデータセンターでホストされる、クラウドコンピューティングプラットフォームの一部であってもよく、ネットワーク接続を介して、カメラ１２００と通信し得る。

実施形態では、カメラ１２００（画像感知装置とも呼ばれ得る）は、２Ｄカメラ及び／又は３Ｄカメラであり得る。例えば、図１Ｂは、コンピューティングシステム１１００、ならびにその両方がカメラ１２００の実施形態であり得る、カメラ１２００Ａ及びカメラ１２００Ｂを含む、システム１０００の実施形態であり得るシステム１５００Ａを示す。この実施例では、カメラ１２００Ａは、カメラの視野中にある環境の視覚的外観を説明する２Ｄ画像を含む、又は形成する、２Ｄ画像情報を生成するように構成される、２Ｄカメラであり得る。カメラ１２００Ｂは、カメラの視野中の環境に関する空間構造情報を含む、又は形成する３Ｄ画像情報を生成するように構成される、３Ｄカメラ（空間構造感知カメラ又は空間構造感知装置とも呼ばれる）であり得る。空間構造情報は、カメラ１２００の視野中にあるさまざまなオブジェクトの表面上の場所など、カメラ１２００Ｂに対するさまざまな場所のそれぞれの奥行き値を説明する、奥行き情報（例えば、奥行きマップ）を含んでもよい。カメラの視野又はオブジェクトの表面上のこれらの場所を、物理的位置と称することもできる。この例の奥行き情報は、オブジェクトが三次元（３Ｄ）空間の中で空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、カメラ１２００Ｂの視野中にあるオブジェクトの一つ又は複数の表面上の場所を説明する点群を含んでもよく、又は該点群を生成するために使用され得る。より具体的には、空間構造情報が、オブジェクトの構造（オブジェクト構造とも呼ぶ）上のさまざまな位置を説明し得る。

実施形態では、システム１０００が、カメラ１２００の環境においてロボットとさまざまなオブジェクトとの間のロボット相互作用を容易にするための、ロボット操作システムであり得る。例えば、図１Ｃは、図１Ａ及び図１Ｂのシステム１０００／１５００Ａの実施形態であり得る、ロボット操作システム１５００Ｂを示す。ロボット操作システム１５００Ｂは、コンピューティングシステム１１００、カメラ１２００、及びロボット１３００を含んでもよい。上述のように、ロボット１３００は、カメラ１２００の環境の中にある一つ又は複数のオブジェクト、例えば、箱、木枠、ビン、パレット、又はその他の容器と相互作用するために使用され得る。例えば、ロボット１３００は、一つの場所から容器を拾い上げ、それらを別の場所に移動するように構成され得る。一部の事例では、ロボット１３００は、容器又は他のオブジェクトのグループが降ろされて、例えば、コンベヤーベルトに移動される、パレットから降ろす操作を実施するために使用され得る。一部の実装形態では、カメラ１２００は、以下に論じる、ロボット１３００又はロボット３３００に取り付けられてもよい。これは、インハンドカメラ又はオンハンドカメラソリューションとしても公知である。カメラ１２００は、ロボット１３００のロボットアーム３３２０に取り付けられてもよい。次に、ロボットアーム３３２０は、さまざまなピッキング領域（キュー３１６０、ローディングエリア３１１０／３１２０／３１３０／３１４０又は緩衝ゾーン３１５０など）に移動して、それらの領域に関する画像情報を生成し得る。一部の実装形態では、カメラ１２００は、ロボット１３００から分離し得る。例えば、カメラ１２００は、倉庫又は他の構造の天井に装着されてもよく、構造に対して静止したままであり得る。一部の実装形態では、インハンドカメラ１２００とともに使用されるロボット１３００とは別個の複数のカメラ１２００、及び／又はロボット１３００とは別個のカメラ１２００を含む、複数のカメラ１２００が使用され得る。一部の実装形態では、一つのカメラ１２００又は複数のカメラ１２００は、ロボットアーム、ガントリ、又はカメラ移動のために構成される他の自動化システムなどのオブジェクト操作に使用されるロボット１３００とは別個の専用のロボットシステムに装着されてもよく、又は固定され得る。本明細書全体を通して、カメラ１２００を「制御する（ｃｏｎｔｒｏｌ）」又は「制御している（ｃｏｎｔｒｏｌｌｉｎｇ）」について論じることができる。インハンドカメラソリューションについては、カメラ１２００の制御は、カメラ１２００が装着されるか、又は取り付けられるロボット１３００の制御も含む。

実施形態では、図１Ａ～図１Ｃのコンピューティングシステム１１００は、ロボットコントローラーとも呼ばれ得るロボット１３００を形成してもよく、又はロボット１３００に組み込まれてもよい。ロボット制御システムは、システム１５００Ｂに含まれ得、例えば、ロボット１３００と容器又は他のオブジェクトとの間のロボット相互作用を制御するためのロボット相互作用移動コマンドなどの、ロボット１３００用のコマンドを生成するように構成される。こうした実施形態では、コンピューティングシステム１１００は、例えば、カメラ１２００によって生成された画像情報に基づき、このようなコマンドを生成するように構成され得る。例えば、コンピューティングシステム１１００は、画像情報に基づき動作計画を決定するように構成されてもよく、動作計画は、例えば、オブジェクトを握るか、又は他の方法で拾い上げることを意図し得る。コンピューティングシステム１１００は、動作計画を実行するために、一つ又は複数のロボット相互作用移動コマンドを生成し得る。

実施形態では、コンピューティングシステム１１００は、視覚システムを形成し得るか、又はその一部であり得る。視覚システムは、例えば、ロボット１３００が位置する環境を説明する、又は別の方法として、もしくは追加的に、カメラ１２００が位置する環境を説明する、視覚情報を生成するシステムであり得る。視覚情報が、上で考察された３Ｄ画像情報、及び／又は２Ｄ画像情報、あるいはいくつかの他の画像情報を含んでもよい。一部のシナリオでは、コンピューティングシステム１１００が、視覚システムを形成する場合、視覚システムは、上で考察されたロボット制御システムの一部であってもよく、又はロボット制御システムから分離し得る。視覚システムは、ロボット制御システムから分離する場合、視覚システムは、ロボット１３００が位置する環境を説明する、情報を出力するように構成され得る。情報は、視覚システムからこうした情報を受信することができる、ロボット制御システムに出力されることができ、情報に基づき、動作計画を実施し、及び／又はロボット相互作用移動コマンドを生成する。視覚システムに関するさらなる情報は、以下に詳しく説明される。

実施形態では、コンピューティングシステム１１００は、ＲＳ－２３２インターフェイス、ユニバーサルシリアルバス（ＵＳＢ）インターフェイスなどの専用有線通信インターフェイスを介して、及び／もしくは周辺構成要素相互接続（ＰＣＩ）バスなどのローカルコンピューターバスを介して提供される接続など、直接接続によってカメラ１２００ならびに／又はロボット１３００と通信し得る。実施形態では、コンピューティングシステム１１００が、ネットワークを介してカメラ１２００及び／又はロボット１３００と通信し得る。ネットワークは、パーソナルエリアネットワーク（ＰＡＮ）、例えば、イントラネットといったローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、又はインターネットなど、任意の種類及び／又は形態のネットワークであり得る。ネットワークは、例えば、イーサネットプロトコル、インターネットプロトコル群（ＴＣＰ／ＩＰ）、ａｓｙｎｃｈｒｏｎｏｕｓ ｔｒａｎｓｆｅｒ ｍｏｄｅ（ＡＴＭ）技術、ｓｙｎｃｈｒｏｎｏｕｓ ｏｐｔｉｃａｌ ｎｅｔｗｏｒｋｉｎｇ （ＳＯＮＥＴ）プロトコル、又はｓｙｎｃｈｒｏｎｏｕｓ ｄｉｇｉｔａｌ ｈｉｅｒａｒｃｈｙ （ＳＤＨ）プロトコルを含む、プロトコルの異なる技術、及び層又はスタックを利用し得る。

実施形態では、コンピューティングシステム１１００は、カメラ１２００及び／もしくはロボット１３００と直接情報を伝達してもよく、又は中間記憶装置、もしくはより広くは、中間の非一時的コンピューター可読媒体を介して通信し得る。例えば、図１Ｄは、コンピューティングシステム１１００の外部にあり得る非一時的コンピューター可読媒体１４００を含む、システム１０００／１５００Ａ／１５００Ｂの実施形態であってもよく、例えば、カメラ１２００によって生成された画像情報を記憶するための外部バッファ又はリポジトリとして作用し得る、システム１５００Ｃを示す。こうした一実施例では、コンピューティングシステム１１００は、非一時的コンピューター可読媒体１４００から、画像情報を検索するか、さもなければ受信することができる。非一時的コンピューター可読媒体１４００の例としては、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又はそれらの任意の好適な組み合わせが挙げられる。非一時的コンピューター可読媒体は、例えば、コンピューターディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリー（ＥＰＲＯＭ又はフラッシュメモリー）、スタティックランダムアクセスメモリー（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリー（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、及び／又はメモリースティックを形成し得る。

上述のように、カメラ１２００は、３Ｄカメラ及び／又は２Ｄカメラであり得る。２Ｄカメラは、カラー画像又はグレースケール画像などの、２Ｄ画像を生成するように構成され得る。３Ｄカメラは、例えば、飛行時間（ＴＯＦ）カメラもしくは構造化光カメラなどの、奥行き感知カメラ、又は任意の他の種類の３Ｄカメラであり得る。一部の事例では、２Ｄカメラ及び／又は３Ｄカメラは、電荷結合デバイス（ＣＣＤ）センサー及び／又は相補型金属酸化膜半導体（ＣＭＯＳ）センサーなど、画像センサーを含み得る。実施形態では、３Ｄカメラは、レーザ、ＬＩＤＡＲ装置、赤外線装置、明／暗センサー、運動センサー、マイクロ波検出器、超音波検出器、レーダ探知機、又は奥行き情報、もしくは他の空間構造情報を捕捉するように構成される任意の他の装置を含み得る。

上述のように、画像情報が、コンピューティングシステム１１００によって処理され得る。実施形態では、コンピューティングシステム１１００は、サーバー（例えば、一つ又は複数のサーバーブレード、プロセッサーなどを有する）、パーソナルコンピューター（例えば、デスクトップコンピューター、ラップトップコンピューターなど）、スマートフォン、タブレットコンピューティングデバイス、及び／もしくは他の任意の他のコンピューティングシステムを含んでもよく、又はそれらとして構成され得る。実施形態では、コンピューティングシステム１１００の機能性のいずれか又は全ては、クラウドコンピューティングプラットフォームの一部として行われてもよい。コンピューティングシステム１１００は、単一のコンピューティングデバイス（例えば、デスクトップコンピューター）であってもよく、又は複数のコンピューティングデバイスを含んでもよい。

図２Ａは、コンピューティングシステム１１００の一実施形態を示す、ブロック図を提供する。本実施形態におけるコンピューティングシステム１１００は、少なくとも一つの処理回路１１１０、及び非一時的コンピューター可読媒体（又は複数の媒体）１１２０を含む。一部の実例では、処理回路１１１０は、非一時的コンピューター可読媒体１１２０（例えば、コンピューターメモリー）上に記憶された命令（例えば、ソフトウェア命令）を実行するように構成されるプロセッサー（例えば、中央処理ユニット（ＣＰＵ）、専用コンピューター、及び／又はオンボードサーバー）を含み得る。一部の実施形態では、プロセッサーは、他の電子／電気装置に動作可能に結合された別個の／スタンドアローンコントローラーに含まれてもよい。プロセッサーは、プログラム命令を実装して、他の装置を制御／他の装置とインターフェイス接続し、それによって、コンピューティングシステム１１００にアクション、タスク、及び／又は動作を実行させ得る。実施形態では、処理回路１１１０は、一つ又は複数のプロセッサー、一つ又は複数の処理コア、プログラマブルロジックコントローラー（「ＰＬＣ」）、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、それらの任意の組み合わせ、又は任意の他の処理回路を含む。

実施形態では、コンピューティングシステム１１００の一部である、非一時的コンピューター可読媒体１１２０が、上で考察された中間の非一時的コンピューター可読媒体１４００の代替又は追加であり得る。非一時的コンピューター可読媒体１１２０は、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、又は、例えば、コンピューターディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリー（ＲＡＭ）、読み出し専用メモリー（ＲＯＭ）、消却可能プログラム可能読み出し専用メモリー（ＥＰＲＯＭ又はフラッシュメモリー）、スタティックランダムアクセスメモリー（ＳＲＡＭ）、携帯型コンパクトディスク読み出し専用メモリー（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリースティック、それらの任意の組み合わせ、又は任意の他の記憶装置など、それらの任意の好適な組み合わせなどの記憶装置であり得る。一部の実例では、非一時的コンピューター可読媒体１１２０は、複数の記憶装置を含み得る。特定の実装形態では、非一時的コンピューター可読媒体１１２０が、カメラ１２００によって生成され、コンピューティングシステム１１００によって受信される画像情報を記憶するように構成される。一部の実例では、非一時的コンピューター可読媒体１１２０は、オブジェクト認識操作を実施するために使用される一つ又は複数のモデルテンプレートを記憶し得る。非一時的コンピューター可読媒体１１２０が、処理回路１１１０によって実行されるとき、処理回路１１１０に、本明細書に説明される一つ又は複数の方法論を実施させるコンピューター可読プログラム命令を、代替的又は追加的に記憶し得る。

図２Ｂは、コンピューティングシステム１１００の実施形態であり、通信インターフェイス１１３０を含む、コンピューティングシステム１１００Ａを描写する。通信インターフェイス１１３０は、例えば、図１Ａ～図１Ｄのカメラ１２００によって生成された画像情報を受信するように構成され得る。画像情報は、上で考察された中間の非一時的コンピューター可読媒体１４００もしくはネットワークを介して、又はカメラ１２００とコンピューティングシステム１１００／１１００Ａとの間のより直接的な接続を介して受信され得る。実施形態では、通信インターフェイス１１３０は、図１Ｃのロボット１３００と通信するように構成され得る。コンピューティングシステム１１００が、ロボット制御システムの外部にある場合、コンピューティングシステム１１００の通信インターフェイス１１３０が、ロボット制御システムと通信するように構成され得る。通信インターフェイス１１３０はまた、通信構成要素又は通信回路と呼ばれる場合があり例えば、有線又は無線プロトコルによって通信を実施するように構成される通信回路を含んでもよい。例として、通信回路が、ＲＳ－２３２ポートコントローラー、ＵＳＢコントローラー、イーサネットコントローラー、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラー、ＰＣＩバスコントローラー、任意の他の通信回路、又はそれらの組み合わせを含んでもよい。

実施形態では、図２Ｃに図示されるように、非一時的コンピューター可読媒体１１２０は、本明細書に論じられる一つ又は複数のデータオブジェクトを記憶するように構成される記憶空間１１２５を含み得る。例えば、記憶空間は、モデルテンプレート、ロボットアーム移動コマンド、及びコンピューティングシステム１１００Ｂがアクセスを必要とし得る任意の追加のデータオブジェクトを記憶し得る。

実施形態では、処理回路１１１０が、非一時的コンピューター可読媒体１１２０に記憶される、一つ又は複数のコンピューター可読プログラム命令によってプログラムされ得る。例えば、図２Ｄは、コンピューティングシステム１１００／１１００Ａ／１１００Ｂの一実施形態である、コンピューティングシステム１１００Ｃを示し、処理回路１１１０は、オブジェクト認識モジュール１１２１、動作計画モジュール１１２９、及びオブジェクト操作計画モジュール１１２６を含む、一つ又は複数のモジュールによってプログラムされる。動作計画モジュール１１２９（及びコンピューティングシステム１１００Ｃに関連付けられる任意の他のモジュール）は、必要に応じて、軌道情報１１２８及びテンプレート情報１１２７にアクセスし得る。

実施形態では、オブジェクト認識モジュール１１２１は、本開示全体を通して論じられたように、画像情報を取得及び分析するように構成され得る。画像情報に関して本明細書で論じられる方法、システム、及び技術は、オブジェクト認識モジュール１１２１を使用し得る。オブジェクト認識モジュールは、本明細書で論じるように、オブジェクト認識及びリポジトリ認識の両方のために使用され得る。オブジェクト認識モジュールは、本明細書で論じるように、オブジェクト識別に関連するオブジェクト認識タスクのためにさらに構成され得る。

動作計画モジュール１１２９は、ロボットの移動を計画及び実行するように構成され得る。例えば、動作計画モジュール１１２９は、個々の配置位置／配向を導出し、対応する動作計画、又はオブジェクトを掴む及び／もしくは移動させるためのそれらの組み合わせを計算し得る。動作計画モジュール１１２９は、軌道情報１１２８にアクセスして更新し得る。軌道情報１１２８は、動作計画モジュール１１２９によってアクセス可能かつ更新可能である、事前に計画された初期軌道情報を含み得る。動作計画モジュールはまた、調整された軌道情報を記憶し得る。動作計画モジュール１１２９は、以下でより詳細に論じるように、オブジェクトテンプレート情報及びリポジトリテンプレート情報（ソース及び宛先の両方）を含む、テンプレート情報１１２７にアクセスして更新し得る。ロボットアームの移動及び軌道に関して本明細書で論じられる方法、システム、及び技術は、動作計画モジュール１１２９によって実施され得る。モデル及びテンプレートに関して本明細書で論じられる方法、システム、及び技術は、動作計画モジュール１１２９によって実施され得る。

オブジェクト操作計画モジュール１１２６は、例えば、オブジェクトを把持及び開放する、ならびにこうした把持及び開放を補助及び容易にするためロボットアームコマンドを実行する、ロボットアームのオブジェクト操作活動を計画及び実行するように構成され得る。

ローディング環境管理モジュール１１２２は、ローディング環境を管理するように構成され得る。従って、ローディング環境管理モジュール１１２２は、既存のオブジェクトと進入オブジェクトの両方の目的地位置を決定するように構成されてもよく、さらに、以下でさらに論じるように、パレット交換及び移動に関連するコマンドを策定し、提供するように構成され得る。

図２Ｅ、図２Ｆ及び図３Ａを参照すると、画像分析のために実施され得るオブジェクト認識モジュール１１２１に関連する方法が説明される。図２Ｅ及び図２Ｆは、画像分析方法と関連付けられる例示的な画像情報を示す一方、図３Ａは、画像分析方法と関連付けられる例示的なロボット環境を示す。コンピューティングシステムによる画像分析に関連する本明細書の参照は、選択された点に対するさまざまな場所のそれぞれの奥行き値を説明する奥行き情報を含み得る空間構造情報に従って、又はそれを使用して実施され得る。奥行き情報は、オブジェクトを識別するか、又はオブジェクトが空間的にどのように配置されるかを推定するために使用され得る。一部の実例では、空間構造情報は、オブジェクトの一つ又は複数の表面上の場所を説明する点群を含んでもよく、又は該点群を生成するために使用され得る。空間構造情報は、可能な画像分析の一形態に過ぎず、当業者が公知の他の形態が、本明細書に説明される方法に従って使用され得る。

実施形態では、コンピューティングシステム１１００が、カメラ１２００のカメラ視野（例えば、３２００）内のオブジェクトを表す画像情報を取得し得る。いくつかの例では、オブジェクトは、カメラ１２００のカメラ視野３２００内の一つ又は複数のオブジェクト（例えば、図３Ｃ～３Ｄに示されるように、３５１０～３５９０）の第一のオブジェクト（例えば、３５００）であり得る。画像情報２６００、２７００は、オブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄのグループがカメラ視野３２００にある（又はあった）ときに、カメラ（例えば、１２００）によって生成されてもよく、個々のオブジェクトのうちの一つ又は複数を記述し得る。オブジェクトの外観は、カメラ１２００の視点からのオブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄの外観を記述する。カメラ視野に複数のオブジェクトがある場合、カメラは、必要に応じて、複数のオブジェクト又は単一のオブジェクトを表す画像情報を生成し得る。画像情報は、オブジェクトのグループがカメラ視野にある（又はあった）ときに、カメラ（例えば、１２００）によって生成されてもよく、及び、例えば、２Ｄ画像情報及び／又は３Ｄ画像情報を含み得る。

一例として、図２Ｅは、画像情報の第一のセット、より具体的には、２Ｄ画像情報２６００を図示し、これは、上述のように、カメラ１２００によって生成され、図３Ａのオブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１を表す。より具体的には、２Ｄ画像情報２６００は、グレースケール、又はカラー画像であり得、カメラ１２００の視点からのオブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１の外観を記述し得る。実施形態では、２Ｄ画像情報２６００は、カラー画像の単一色チャネル（例えば、赤、緑、又は青のチャネル）に対応し得る。カメラ１２００がオブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１の上方に配置される場合、２Ｄ画像情報２６００は、オブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１のそれぞれの上部表面の外観を表し得る。図２Ｅの実施例では、２Ｄ画像情報２６００は、オブジェクト３４１０Ａ／３４１０Ｂ／３４１Ｃ／３４１０Ｄ／３４０１のそれぞれの表面を表す、画像部分とも呼ばれる、それぞれの部分２０００Ａ／２０００Ｂ／２０００Ｃ／２０００Ｄ／２５５０を含み得る。図２Ｅでは、２Ｄ画像情報２６００の各画像部分２０００Ａ／２０００Ｂ／２０００Ｃ／２０００Ｄ／２５５０は、画像領域、又は、より具体的には、ピクセル領域（画像がピクセルによって形成される場合）であり得る。２Ｄ画像情報２６００のピクセル領域内の各ピクセルは、座標［Ｕ、Ｖ］のセットによって記述される位置を有するものとして特徴付けられ得、図２Ｅ及び図２Ｆに示されるように、カメラ座標系又は他の何らかの座標系に対する値を有し得る。ピクセルの各々はまた、０～２５５又は０～１０２３の値などの、強度値を有し得る。さらなる実施形態では、ピクセルの各々は、さまざまなフォーマット（例えば、色相、飽和、強度、ＣＭＹＫ、ＲＧＢなど）のピクセルに関連付けられる任意の追加情報を含んでもよい。

上述のように、画像情報は、一部の実施形態では、２Ｄ画像情報２６００などの画像の全て又は一部分であり得る。例では、コンピューティングシステム１１００は、対応オブジェクト３４１０Ａと関連付けられる画像情報のみを取得するために、２Ｄ画像情報２６００から画像部分２０００Ａを抽出するように構成され得る。例えば、コンピューティングシステム１１００は、図２Ｆに示される２Ｄ画像情報２６００及び／又は３Ｄ画像情報２７００に基づき画像セグメンテーション操作を実施することによって、画像部分２０００Ａを抽出し得る。一部の実装形態では、画像セグメンテーション操作は、オブジェクトの物理的エッジ（例えば、箱のエッジ）が２Ｄ画像情報２６００の中に現れる画像位置を検出すること、及びこうした画像位置を使用して、カメラ視野（例えば、３２００）内の個々のオブジェクトを表すことに限定された画像部分（例えば、５６１０）を識別することを含み得る。

図２Ｆは、画像情報が３Ｄ画像情報２７００である、例を図示す。より具体的には、３Ｄ画像情報２７００は、例えば、オブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１の一つ又は複数の表面（例えば、上部表面、又は他の外側表面）上のさまざまな場所のそれぞれの奥行き値を示す、奥行きマップ又は点群を含み得る。一部の実装形態では、画像情報を抽出するための画像セグメンテーション操作は、オブジェクトの物理的エッジ（例えば、箱のエッジ）が３Ｄ画像情報２７００の中に現れる画像位置を検出すること、及びこうした画像位置を使用して、カメラ視野（例えば、３４１０Ａ）内の個々のオブジェクトを表すことに限定された画像部分（例えば、２７３０）を識別することを含み得る。

それぞれの奥行き値は、３Ｄ画像情報２７００を生成するカメラ１２００に対するものであってもよく、又はいくつかの他の基準点に対するものであり得る。一部の実施形態では、３Ｄ画像情報２７００は、カメラ視野（例えば、３２００）の中にあるオブジェクトの構造上のさまざまな場所に対するそれぞれの座標を含む、点群を含み得る。図２Ｆの例では、点群は、オブジェクト３４１０Ａ／３４１０Ｂ／３４１０Ｃ／３４１０Ｄ／３４０１のそれぞれの表面の場所を説明する、それぞれの座標セットを含み得る。座標は、［Ｘ， Ｙ， Ｚ］座標などの３Ｄ座標であってもよく、カメラ座標系、又は何らかの他の座標系に対する値を有し得る。例えば、３Ｄ画像情報２７００は、オブジェクト３４１０Ｄの表面上の物理的位置とも呼ばれる、場所２７１０_１～２７１０_ｎのセットに対するそれぞれの奥行き値を示す、画像部分とも呼ばれる第一の画像部分２７１０を含み得る。さらに、３Ｄ画像情報２７００は、第二の部分、第三の部分、及び第四の部分２７２０、２７３０、及び２７４０をさらに含み得る。次に、これらの部分は、それぞれ、２７２０_１～２７２０_ｎ、２７３０_１～２７３０_ｎ、及び２７４０_１～２７４０_ｎによって表され得る、場所のセットに対するそれぞれの奥行き値をさらに示し得る。これらの図は単に実施例であり、対応する画像部分を有する任意の数のオブジェクトが使用され得る。上述のように、取得された３Ｄ画像情報２７００は、一部の実例では、カメラによって生成される３Ｄ画像情報２７００の第一のセットの一部分であり得る。図２Ｅの実施例では、取得された３Ｄ画像情報２７００が図３Ａの第一のオブジェクト３４１０Ａを表す場合、３Ｄ画像情報２７００は、画像部分２７１０のみを参照するように狭められ得る。

実施形態では、画像正規化操作は、画像情報を取得する一部として、コンピューティングシステム１１００によって実施され得る。画像正規化操作は、変換された画像又は変換された画像部分を生成するために、カメラ１２００によって生成された画像又は画像部分を変換することを伴い得る。例えば、取得された、２Ｄ画像情報２６００、３Ｄ画像情報２７００、又は二つの組み合わせを含み得る画像情報が、視点、オブジェクト姿勢、及び視覚的記述情報と関連付けられる照明条件において画像情報を変更させるように試みるために、画像正規化操作を受け得る場合である。そのような正規化は、画像情報及びモデル（例えば、テンプレート）情報間のより正確な比較を容易にするために実施され得る。視点は、カメラ１２００に対するオブジェクトの姿勢、及び／又はカメラ１２００がオブジェクトを表す画像を生成するときに、カメラ１２００がオブジェクトを見ている角度を指し得る。

例えば、画像情報は、標的オブジェクトがカメラ視野３２００内にある、オブジェクト認識操作中に生成され得る。カメラ１２００は、標的オブジェクトがカメラに対して特定の姿勢を有するときに、標的オブジェクトを表す画像情報を生成し得る。例えば、標的オブジェクトは、その上部表面をカメラ１２００の光学軸に対して垂直にする姿勢を有し得る。こうした例では、カメラ１２００によって生成される画像情報は、標的オブジェクトの上面図などの特定の視点を表し得る。一部の実例では、カメラ１２００がオブジェクト認識操作中に画像情報を生成しているときに、画像情報は、照明強度などの特定の照明条件で生成され得る。こうした実例では、画像情報は、特定の照明強度、照明色、又は他の照明条件を表し得る。

実施形態では、画像正規化動作は、画像又は画像部分を、モデルテンプレートの情報と関連付けられる視点及び／又は照明条件により良く一致させるように、カメラによって生成されるシーンの画像又は画像部分を調整することを伴い得る。調整は、画像又は画像部分を変換して、オブジェクト姿勢又はモデルテンプレートの視覚的記述情報に関連付けられる照明条件のうちの少なくとも一つに一致する変換された画像を生成することを伴い得る。

視点調整は、画像がモデルテンプレート内の視覚的記述情報と同じ視点を表すように、シーンの画像の処理、ワーピング、及び／又はシフトを伴い得る。処理は、例えば、画像の色、コントラスト、又は照明を変更することを含み、シーンのワーピングは、画像のサイズ、寸法、又は比率を変更することを含み得、画像のシフトは、画像の位置、向き、又は回転を変更することを含み得る。例示的な実施形態では、処理、ワーピング、及び／又はシフトを使用して、シーンの画像内のオブジェクトを、モデルテンプレートの視覚的記述情報に一致するか、又はそれにより良好に対応する向き及び／又はサイズを有するように変更し得る。モデルテンプレートが、一部のオブジェクトの正面視界（例えば、上面視界）を記述する場合、シーンの画像は、シーン内のオブジェクトの正面視界も表すようにワーピングされ得る。

本明細書に実施されるオブジェクト認識方法のさらなる態様は、２０２０年８月１２日出願の米国特許出願第１６／９９１，５１０号、及び２０２０年８月１２日出願の米国特許出願第１６／９９１，４６６号により詳細に説明されており、その各々が参照により本明細書に組み込まれる。

さまざまな実施形態では、「コンピューター可読命令」及び「コンピューター可読プログラム命令」という用語は、さまざまなタスク及び操作を遂行するように構成される、ソフトウェア命令又はコンピューターコードを記述するために使用される。さまざまな実施形態では、「モジュール」という用語は、処理回路１１１０に一つ又は複数の機能タスクを行わせるように構成される、ソフトウェア命令又はコードの集まりを広く指す。モジュール及びコンピューター可読命令は、処理回路又は他のハードウェアコンポーネントが、モジュールもしくはコンピューター可読命令を実行しているときに、さまざまな操作又はタスクを実施するものとして説明され得る。

図３Ａ～３Ｄは、非一時的コンピューター可読媒体１１２０上に格納されるコンピューター可読プログラム命令が、本明細書に開示のロボットシステムを有する動作計画モジュール１１２９及びオブジェクト操作計画モジュール１１２６を使用した配置及びローディング操作の効率を最大化するために、コンピューティングシステム１１００を介して利用される例示的な環境を示す。コンピューティングシステム１１００によって取得され、図３Ａに例示される画像情報は、図３Ｃ～３Ｄに示されるように、本明細書に開示されるローディング環境３１００内に存在するロボット３３００へのシステムの意思決定手順及びコマンド出力に影響を与える。ローディング環境３１００は、オブジェクト（例えば、複数のオブジェクト３５１０～３５９０のいずれか）、及び／又は例えば、パレット３４００を受容するための少なくとも一つのローディングエリア３１１０（又は図３Ｃに示す複数のローディングエリア３１１０、３１２０、３１３０、３１４０）を含む。緩衝ゾーン３１５０は、オーバーフローオブジェクト３５５０／３５６０／３５７０を受容するためのローディング環境内にさらに含まれてもよい。オブジェクトキュー３１６０は、ロボット３３００を介して、ローディング環境内の他の場所へ取得及び配置するために、ローディング環境内に到着する、進入オブジェクト３５１０／３５２０／３５３０のキューを含み得る。実施形態では、複数のオブジェクトキュー３１６０が、進入オブジェクト３５１０／３５２０／３５３０をローディング環境に供給するために提供され得る。オブジェクトキュー３１６０は、例えば、コンベアベルト（図３Ｃに示す）、パレット、車両、棚、容器などを含む、オブジェクト搬送の適切な手段によって提供され得る。

また、ローディング環境３１００内に配置され得るロボット３３００は、オブジェクト３５００を掴んでリリースするように設計されたエンドエフェクター装置３３３０を有するアーム３３２０を含む。エンドエフェクター装置３３３０は、例えば、吸引カップ、ロボットグリッパー、及び／又はオブジェクトの把握及びリリースに適した任意の他のロボットツールを含み得る。カメラ１２００は、ロボットのエンドエフェクター装置３３３０上に配置されて、エンドエフェクター装置３３３０からのコンピューティングシステム１１００からの視界など、ロボットからの動的「第一の人視界」を提供し得る。実施形態では、カメラ１２００は、代替的に、ロボットのアーム３３２０上に配置され得る。カメラ１２００はまた、ロボット３３００に取り付けられる代わりに、ローディング環境内の静止位置に配置され得る。さらなる代替として、カメラ１２００は、ロボット上に配置されてもよく、第二のカメラ１２００は、ロボットとは別個のローディング環境内の静止位置に配置されて、ロボット３３００を介して相互作用される環境及び／又はオブジェクト３５００の複数の角度を有するコンピューティングシステム１１００を提供することができる。ローディング環境３１００内のロボットの３３００配置は、ローディングエリア３１１０／３１２０／３１３０／３１４０、緩衝ゾーン３１５０、及びオブジェクトキュー３１６０に到達するロボットの能力に対して決定的である。実施形態では、ロボットはさらに、ローディング環境内の全ての領域への適切な到達を支援する動作能力を有し得る。

ローディング環境３１００内に提供される、又は利用可能であるオブジェクト３５１０～３５９０（図３Ｂの実施例において総称して、オブジェクト３５００と識別される）が、コンピューティングシステム１１００を介した検出、識別、及び／又は認識のために、それぞれ、オブジェクトタイプ識別子３７１０、３７２０、３７３０（総称して、オブジェクトタイプ識別子３７００と称する）と関連付けられる。オブジェクトタイプ識別子３７００は、それが関連付けられているオブジェクトのタイプを示すデータオブジェクトである。例えば、識別されたオブジェクトタイプ３７００は、箱のサイズ、形状、又は重量によって、内容物、起源、目的地、又は任意の他の適切な識別属性によって、オブジェクトタイプを識別し得る。実施形態では、オブジェクトタイプ識別子３７００は、オブジェクト３５００上に位置する、又はオブジェクト３５００内に含まれる物理的識別子の識別又は読み取りを介して、コンピューティングシステム１１００によって取得され得る。例えば、オブジェクトタイプ識別子３７００は、固有の在庫管理ユニット（ＳＫＵ）コード、ユニバーサル製品コード（ＵＰＣ）、住所ラベル、無線周波識別（ＲＦＩＤ）タグ、又は品目又は製品の追跡及び取引に使用される、任意の他のタイプのバーコード、印、及び／又は無線追跡装置もしくはシステムに記憶されてもよく、又はそれらによって識別され得る。さらなる実施形態では、オブジェクト認識技術を使用して、オブジェクトタイプを認識し（例えば、オブジェクトテンプレートマッチングによる）、それに応じてオブジェクトタイプ識別子３７００をオブジェクト３５００に割り当てることができる。特定のオブジェクトタイプ識別子３７００に関連付けられるオブジェクト３５００は、類似の又は同一のオブジェクトタイプ識別子を有する他のオブジェクトと分類又はグループ化され得る。そうすることで、コンピューティングシステム１１００は、特に、ロボットのピッキング及び配置操作、パレット制御操作（例えば、パレット化又はパレットから降ろす操作）、及び緩衝ゾーン操作の実行を最も適切に決定することができる。オブジェクトタイプ識別子３７００は、パレット３４００のパレット識別子に対応するか、又はパレット識別子に非対応であり得る。オブジェクトタイプ識別子３７００によって提供されるオブジェクト３５００の対応する／非対応する状態は、コンピューティングシステム１１００によって決定され得る。

パレット３４００は、複数のオブジェクト３５１０～３５９０のうちの少なくとも一つを受容するために、提供されるローディングゾーン３１１０／３１２０／３１３０／３１４０の各々内に受けられてもよい。実施形態では、パレット３４００は、例えば、パレット識別子によって、コンピューティングシステム１１００を介して識別され、対応オブジェクトタイプ識別子３７００を有する対応オブジェクト３５００を受容する。従って、ローディングエリア３１１０／３１２０／３１３０／３１４０の少なくとも一つ内にある又は存在する任意のパレット３４００は、パレット識別子に対応するオブジェクトタイプ識別子３７００を有する、対応オブジェクト又はオブジェクト３５１０～３５９０を受容し得る。非対応オブジェクトタイプ識別子３７００を有する非対応オブジェクト３５００は、緩衝ゾーン３１５０内に配置されてもよく、又はパレット交換をトリガーし得る。パレット交換の決定は、さまざまなローディングエリア、緩衝エリア、及びローディング環境内のパレット（単数又は複数）の充填状態に依存してもよく、その方法は以下でより詳細に論じられる。

パレット交換などのパレット輸送操作には、自動機械又は自動車両（フォークリフト、又は自動誘導車両「ＡＧＶ」などの他の車両）、追加又は外部ロボット（図示せず）、人的相互作用、機械システム（図示せず）、及びその他の適切な輸送手段によるパレットを輸送することが含まれ得る。これらは、パレットプロセスに遅延をもたらす可能性がある。例えば、ロボット３３００は、ＡＧＶ（又は他の搬送）が既存のパレット３４００Ａ／３４００Ｂをローディング環境３１００（又はその指定されたローディングエリア３１１０／３１２０／３１３０／３１４０）から駆動又は移動するために、また別のＡＧＶ（又は他の搬送）が新しいパレット３４００Ｃをローディング環境３１００（又は現在空のローディングエリア３１１０／３１２０／３１３０／３１４０）内に駆動又は移動するために、しばらくの間、操作を停止しなければならない場合がある。この作業の遅延は、パレット交換操作が必要となるたびに発生し得る。従って、緩衝ゾーン３１５０は、パレット交換の必要性を低減するために実装されてもよく、パレット交換の各事例から生じるダウンタイムの量を低減する。

緩衝ゾーン３１５０は、ローディング環境内の既存のパレットに対応するオブジェクトタイプ識別子３７００（例えば、ローディングエリア３１１０～３１４０内）を欠く、キュー又はコンベヤ３１６０から提供される、進入オブジェクト３５１０／３５２０／３５３０の一時的な宛先又はリポジトリとしての役割を果たす。従って、非対応オブジェクトタイプ識別子３７００を有する進入オブジェクト３５１０／３５２０／３５３０は、ロボットによってオブジェクトキュー３１６０から取得され、緩衝ゾーン３１５０内に配置されて、オブジェクトキュー３１６０が、進入オブジェクト３５１０／３５２０／３５３０の連続的なストリームを前進させ供給し続けることを可能にすることができる。非対応オブジェクト３５００は、その特定のオブジェクトタイプ識別子３７００を有する（例えば、対応するパレット識別子を有する）、オブジェクト３５００を受け取る専用のパレットがローディング環境３１００内に提供されるまで、緩衝ゾーン内に留まり得る。こうしたパレット交換コマンドが行われると、既存のパレット３４００Ａ／３４００Ｂは、パレット３４００Ｃがその定位置を取ることができるように、そのそれぞれのローディングエリア３１１０／３１３０から取り除かれる。次に、ロボット３３００は、緩衝ゾーン内のオーバーフローオブジェクト又はオブジェクト３５５０～３５７０を取得し、それらを、対応オブジェクトタイプ識別子を有するオブジェクトを受容する専用パレット３４００Ｃに移動させ得る。実施形態では、オブジェクトキュー３１６０を介して提供される、より大きなボリュームのオーバーフローオブジェクトを収容するために、複数の緩衝ゾーンを、ローディング環境内に提供することができる。

本開示は、複数の進入オブジェクト３５１０／３５２０／３５３０を、オブジェクトキュー３１６０（又は代替的には、複数のキュー又はコンベア）から、ローディング環境３１００の指定された領域へ移動させる、促進する、及び／又は計画することに関する。図４は、複数のオブジェクトのキュー又はコンベアから、ローディング環境の指定された領域への移動を実行、促進、及び／又は計画するための方法４０００の例のフロー図を示す。実施形態では、オブジェクト移動方法４０００の動作は、以下でより詳細に説明するパレット管理方法５０００の動作と併せて行われてもよい。オブジェクト移動方法４０００の動作は、ローディング環境３１００へのオブジェクトの移動を管理する。パレット管理方法５０００の動作は、ローディング環境３１００への移送又はパレットを管理する。方法４０００及び方法５０００のさまざまな動作は、ローディング環境内のパレットへのオブジェクト移送の効率を増大させる目標を達成するために、互いに合わせて又は組み合わせて行われてもよい。

実施形態では、方法４０００は、例えば、図２Ａ～２Ｄのコンピューティングシステム１１００（又は１１００Ａ／１１００Ｂ／１１００Ｃ）、又は図３Ａ～３Ｄのコンピューティングシステム１１００、又はより具体的には、コンピューティングシステム１１００の少なくとも一つの処理回路１１１０によって行われてもよい。一部のシナリオでは、コンピューティングシステム１１００が、非一時的コンピューター可読媒体（例えば、１１２０）上に記憶された命令を実行することによって、方法４０００を行ってもよい。例えば、命令によって、コンピューティングシステム１１００に、方法４０００を行い得る、図２Ｄに示されたモジュールのうちの一つ又は複数を実行させてもよい。例えば、実施形態では、オブジェクト認識に関連するステップ、例えば操作４００１、操作４００２、操作４００３、操作４００４、及びその他は、オブジェクト認識モジュール１１２１を介して実行され得る。例えば、実施形態では、例えば操作４００６、操作４００７、操作４００８などの動作及び軌道計画に関連するステップは、動作計画モジュール１１２９を介して実行され得る。例えば、実施形態では、オブジェクト配置及び取り扱い、例えば、操作４００４、操作４００８、及びその他のものに関連するステップが、オブジェクト操作計画モジュール１１２６によって行われてもよい。ローディング環境管理及び理解に関連する操作、例えば、動作４００５及び４００９は、ローディング環境管理モジュール１１２２によって実行又は実施され得る。一部の実施形態では、動作計画モジュール１１２９及びオブジェクト操作計画モジュール１１２６は、動作及びオブジェクト操作の両方を含む軌道を画定及び／又は計画するために、協働して動作し得る。

方法４０００のステップは、特定のタスクを実施するための特定の順次ロボット軌道を達成するために採用され得る。一般的概要として、方法４０００は、コンピューティングシステム１１００に、オブジェクトをオブジェクトキュー３１６０からローディングエリア３１１０～３１４０又は緩衝ゾーン３１５０に移送させるように動作し得る。こうした移送操作は、操作中に発生するさまざまな操作に従って更新及び／又は精密化される、事前に計画された軌道によるロボット３３００の動作を含み得る。

方法４０００では、コンピューティングシステム１１００は、ロボット３３００の動きを制御（例えば、制御するためのコマンドを提供する）して、進入オブジェクト３５１０／３５２０／３５３０をオブジェクトキュー３１６０から取得し、進入オブジェクト３５１０／３５２０／３５３０を、ローディング環境３１００内の指定された領域（例えば、ローディングエリア３１１０～３１４０又は緩衝ゾーン３１５０）内に配置するように構成及び操作され得る。コンピューティングシステム１１００は、それら全てがカメラを介して画像情報として収集され得る、オブジェクトを囲む多数の要因及びローディング環境の状態に基づき、その後のオブジェクトの取得及び配置手順を計画及び調整するよう構成され得る。コンピューティングシステム１１００は、オブジェクト移動コマンドを決定して、進入オブジェクト３５１０／３５２０／３５３０をオブジェクトキュー３１６０から取得し、それを、ローディング環境３１００内に設けられた標的ローディングエリア３１１０～３１４０内に配置し得る。実施形態では、コンピューティングシステム１１００は、進入オブジェクト３５１０／３５２０／３５３０をオブジェクトキュー３１６０から取得し、それをローディング環境３１００内の緩衝ゾーン３１５０内に配置することを決定し得る。別の実施形態では、コンピューティングシステム１１００は、オーバーフローオブジェクト３５５０／３５６０／３５７０を緩衝ゾーン３１５０から取得し、それを、ローディング環境３１００内に設けられた標的ローディングエリア３１１０～３１４０内に配置することを決定し得る。

方法４０００の説明は、図５に示す、移動サイクルを指す。サイクルＡの移動は、カメラ１２００がローディング環境３１００を表す画像情報を生成できるように、ローディング環境３１００（又はより具体的には、オブジェクトキュー３１６０、ローディングエリア３１１０～３１４０、及び／又は緩衝ゾーン３１５０）の前のカメラ１２００（例えば、ロボットアーム３３２０に取り付けられるカメラ、又はロボットから別個のローディング環境内、又はその両方に代替的に提供されるカメラ）の移動を含み得る。移動サイクルＡは、オブジェクトキュー３１６０（軌道Ａ１）から標的の進入オブジェクト３５１０に接近し、つかみ、又は持ち上げるためのロボットアーム３３２０の移動を含み得る。移動サイクルＡは、標的進入オブジェクト３５１０を、ローディングエリア３１１０～３１４０又は緩衝ゾーン３１５０（軌道Ａ２ａ、Ａ２ｂ、Ａ２ｃ、Ａ２ｄ）のうちの一つに輸送及び堆積させるためにロボットアーム３３２０の移動を含んでもよい。画像情報は、コンピューティングシステム１１００によって使用され、ロボット３３００に軌道Ａ１、Ａ２ａ、Ａ２ｂ、Ａ２ｃ、Ａ２ｄを実行させために送信又は実行するコマンドを決定し得る。

図５に描写されるサイクルＡと呼ばれる、あるタイプの移動サイクルでは、コンピューティングシステム１１００は、ローディング環境３１００内のロボット３３００に、軌道Ａ１のエンドエフェクター装置３３３０を使用して、オブジェクトキュー３１６０からオブジェクト３５１０／３５２０／３５３０の一方を移動させ、取得させるように構成されるコマンドを出力し得る。次に、コンピューティングシステム１１００は、カメラ１２００を介して収集された処理された画像情報に基づき、オブジェクトキュー３１６０から取得される進入オブジェクト３５１０／３５２０／３５３０が、ローディングエリア３１１０／３１２０／３１３０／３１４０に対応するオブジェクトタイプ識別子３７００と関連付けられるかどうかを判定し得る。次いで、コンピューティングシステム１１００は、ロボット３３００を制御して、取得された進入オブジェクト３５１０／３５２０／３５３０のオブジェクトタイプ識別子３７００が対応する場合、進入オブジェクト３５１０／３５２０／３５３０をローディングエリア３１１０／３１２０／３１３０／３１４０（例として、軌道Ａ２ａ、Ａ２ｂ、Ａ２ｄ）に移動させ、配置し得る。別の方法として、コンピューティングシステム１１００は、ロボット３３００を指令又は制御して、取得された進入オブジェクト３５１０／３５２０／３５３０のオブジェクトタイプ識別子３７００が、いずれのローディングエリア３１１０／３１２０／３１３０／３１４０のパレットのパレット識別子にも対応しない場合、進入オブジェクト３５１０／３５２０／３５３０を緩衝ゾーン３１５０（例として、軌道Ａ２ｃ）に移動させ、配置するようにし得る。コンピューティングシステム１１００は、進入オブジェクト３５１０／３５２０／３５３０のサイズ、緩衝ゾーン３１５０内にすでに存在する他のオーバーフローオブジェクト３５５０／３５６０／３５７０の位置、及び緩衝ゾーン３１５０内にすでに存在する他のオブジェクトの配向を含む、複数の要因に基づき、進入オブジェクト３５１０／３５２０／３５３０を緩衝ゾーン３１５０内に移動し、配置する場所を決定する。コンピューティングシステム１１００は、緩衝ゾーンから緩衝ゾーン内に置かれた、進入オブジェクト３５１０／３５２０／３５３０を移動及び取得するように構成される将来のコマンドが、カメラがオブジェクトに関連する画像情報を収集するとき、ロボットアーム３３２０の経路を遮断する、及び／又は進入オブジェクト３５１０／３５２０／３５３０の視界をカメラ１２００から遮る他のオブジェクト（例えば、大きなオブジェクト３５００が、進入オブジェクト３５１０／３５２０／３５３０の前に配置され、従ってカメラ視野を遮る）などの外部要因によって妨害されないように、これらのパラメーターを考慮する。

移動サイクルＡは、例としてのみ提供される。ロボットアーム３３２０は、ソース又は宛先として機能する他のリポジトリ間でオブジェクトを移動することを含む、他の移動サイクルを有するように制御され得る。例えば、ロボットは、ローディング環境内のローディングエリア又は緩衝ゾーンから、オブジェクトをキュー又はコンベアに移動させ得る。別の実施例では、ロボットは、ローディング環境内のローディングエリアから、オブジェクトを緩衝ゾーンに移動させてもよい。

移動サイクルＡの説明は、ローディング環境内及び／又はロボットの周りのオブジェクトの計画及び配置を伴う動作の説明として理解されるべきである。ソース及び宛先リポジトリの異なる組み合わせを必要とする移動サイクルは、本開示の範囲を逸脱することなく、本明細書に開示される異なる組み合わせ及び／又は動作の異なる順序を必要とし得る。

コンピューティングシステム１１００は、オブジェクトキュー３１６０からローディング環境３１００に、進入オブジェクト３５１０／３５２０／３５３０を移すための方法４０００の特定のステップを実行し得る。方法４０００は、コンピューティングシステム１１００が、上述のように収集された画像情報を使用して、オブジェクトキュー３１６０に常駐し、ローディング環境３１００に提供されるオブジェクト３５１０／３５２０／３５３０の進入キューを検出し得る、操作４００１で始まるか、又はそうでなければ含んでもよい。特に、画像情報は、ロボット３３００のエンドエフェクター装置３３３０上に配置されるカメラ１２００によって、及び／又はロボット３３００とは別個のローディング環境３１００のどこかに提供される二次的一つ又は複数のカメラ１２００を介して、又はカメラ１２００と二次的一つ又は複数のカメラ１２００の組み合わせを介して、捕捉され得る。画像情報は、例えば、オブジェクトキュー画像情報及びローディング環境画像情報を含み得る。オブジェクトキュー画像情報は、オブジェクトキュー３１６０の進入オブジェクト３５１０／３５２０／３５３０の画像情報を含む。ローディング環境画像情報は、既存のオブジェクト３５４０／３５８０／３５９０、パレット３４００、及びローディング環境のその他の特徴の画像情報を含む。実施形態では、コンピューティングシステム１１００は、オブジェクトキュー３１６０に関連する、又は記述する情報（画像情報を含む）をあらかじめ供給又はあらかじめロードされてもよく、操作４００１の実行を容易にする。本明細書に記載されるオブジェクト認識技術を使用して、オブジェクトキュー３１６０内の個々のオブジェクト３５１０／３５２０／３５３０を認識又は識別し得る。

方法４０００は、コンピューティングシステム１１００が、オブジェクトキュー３１６０から、オブジェクト３５００のそれぞれの進入オブジェクト３５１０／３５２０／３５３０に関連する、又は関連付けられている、複数のオブジェクトタイプ識別子３７１０／３７２０／３７３０を取得又は受信するように構成される、操作４００２をさらに含み得る。複数のオブジェクトタイプ識別子３７１０／３７２０／３７３０は、上述のように収集された画像情報（例えば、オブジェクト認識、バーコード、ＳＫＵ、又はＱＲコード（登録商標）読み取りなど）を介して、受信、取得、又は別の方法で決定され得る。あるいは、オブジェクトタイプ識別子３７１０／３７２０／３７３０は、コンピューティングシステムに事前供給又は事前ロードされ得る。実施形態では、オブジェクトタイプ識別子３７１０／３７２０／３７３０は、別個のプロセッサー／システムを介してロボットシステムに提供され得る。さらなる実施形態において、オブジェクトタイプ識別子３７１０／３７２０／３７３０は、進入オブジェクト３５１０／３５２０／３５３０に関連付けられる無線識別子（例えば、ＲＦＩＤタグ）を読み取るように構成されるシステムから受信されてもよく、又は取得され得る。オブジェクトタイプは、コンピューティングシステム１１００自体によって、又はコンピューティングシステム１１００と通信する別のシステムによって決定され得る。

方法４０００は、コンピューティングシステム１１００がキュー３１６０内の標的オブジェクト（例えば、ロボット３３００を介して取得されるロボットシステムによって識別される、次の進入オブジェクト３５１０）に関連する画像情報を、取得又は受信する、操作４００３をさらに含み得る。コンピューティングシステム１１００は、キュー３１６０を介して到着する一連の進入オブジェクト３５１０／３５２０／３５３０の中で、ロボットに最も近い進入オブジェクト３５１０が、ロボット３３００によってピックアップされる隣であり、それによって標的進入オブジェクト３５１０になると判断するようにさらに構成され得る。コンピューティングシステム１１００はさらに、ターゲット進入オブジェクト３５１０が、対応オブジェクトタイプ識別子３７００を有する対応オブジェクト（例えば、ローディングエリア３１１０～３１４０のうちの一つ内のパレットに関連付けられたパレット識別子に対応する）、又は、非対応オブジェクトタイプ識別子３７００を有する非対応オブジェクト（例えば、ローディングエリア３１１０～３１４０のうちの一つ内のパレットに関連付けられたパレット識別子に対応しない）であるかどうかを決定する際に、ターゲット進入オブジェクト３５１０に関連する以前に取得されたオブジェクトタイプ識別子３７００を使用するように構成され得る。実施形態では、ロボットシステムは、標的オブジェクトに関連付けられるオブジェクトタイプ識別子３７００を識別し、識別された印に基づき、オブジェクトタイプ識別子３７００を標的進入オブジェクト３５１０に割り当てるようにさらに構成され得る。

方法４０００は、カメラから受信したオブジェクトキュー３１６０の画像情報に基づき、キュー３１６０内の標的進入オブジェクト３５１０の標的オブジェクト姿勢を決定する、操作４００４をさらに含み得る。標的オブジェクト姿勢は、上述の他の変数の中でも特に、オブジェクトキュー３１６０内の標的オブジェクトのサイズ、配向、及び位置を含み得る。標的オブジェクト姿勢は、後で取得コマンドを実行して、オブジェクトキュー３１６０からの標的進入オブジェクト３５１０の適切な取得を確実に達成する際に利用され得る。コンピューティングシステム１１００は、ターゲット進入オブジェクト３５１０が、対応オブジェクトタイプ識別子を有する対応オブジェクトであるか、又は非対応オブジェクトタイプ識別子を有する非対応オブジェクトであるかを決定する際に、画像情報を使用するようにさらに構成され得る。

方法４０００は、操作４００５をさらに含んでもよく、コンピューティングシステム１１００は、ローディング環境３１００における標的進入オブジェクト３５１０の計画配置位置を示す、標的進入オブジェクト３５１０の標的オブジェクト配置を決定する。計画配置位置は、標的進入オブジェクト３５１０が対応オブジェクトとみなされる場合（すなわち、標的進入オブジェクト３５１０のオブジェクトタイプ識別子３７００が、利用可能なローディングエリア３１１０～３１４０のうちの一つに配置されるパレットのパレット識別子と整列するか、又は対応する）、ローディングエリア３１１０／３１２０／３１３０／３１４０としてさらに決定され得る。標的進入オブジェクト３５１０が非対応オブジェクトとみなされる場合、計画配置位置は、代替的に、緩衝ゾーン３１５０であり得る（すなわち、標的進入オブジェクト３５１０のオブジェクトタイプ識別子３７００は、利用可能なローディングエリア３１１０～３１４０のうちの一つに位置するパレットのパレット識別子と整列しないか、し対応しない）。標的オブジェクト配置を決定する際に、コンピューティングシステム１１００は、例えば、本明細書に開示されるオブジェクト認識技術を使用して、ローディング環境画像情報を処理して、ローディングエリア内に設けられたパレットの姿勢を決定することによって、パレット検出操作を実行するようにさらに構成され得る。

方法４０００はさらに、操作４００６をさらに含んでもよく、コンピューティングシステム１１００は、標的進入オブジェクト３５１０の取得及び配置のために、上述のように、動作計画モジュール１１２９を介して動作計画操作を実行し得る。動作計画操作は、ロボット３３００の動作又は移動を引き起こすように構成される一連のコマンドを決定することを含み得る。実施形態では、この動作又は移動は、ロボットアーム３３２０の移動、及び／又はエンドエフェクター装置３３３０の移動を含み得る。動作計画操作は、操作４００３で以前に収集された画像情報に基づき行われてもよい。例えば、コンピューティングシステム１１００は、取得される標的オブジェクトに対するアーム３３２０の移動を制御する方向及び／又は角度を決定し得る。コンピューティングシステム１１００は、取得される標的オブジェクトに対して、エンドエフェクター装置を制御する方向及び／又は角度をさらに決定し得る。実施形態では、操作４００６は、オブジェクトキュー画像情報から生成される標的オブジェクト姿勢に向けられた、配向、重量、サイズ、及びその他の物理的データを考慮し得る。標的オブジェクト姿勢に関するこの情報は、標的オブジェクト計画配置位置にさらに統合され得る。

方法４０００はさらに、操作４００７をさらに含んでもよく、ロボットシステムは、動作計画操作に従って、オブジェクトキュー３１６０から標的の進入オブジェクト３５１０（図５の移動又はステップＡ１として示される）を取得するための取得コマンドを送信又は実行し得る。取得コマンドは、ロボット３３００を、軌道Ａ１内で標的進入オブジェクト３５１０に向かって移動させ、標的オブジェクトをつかむ際にエンドエフェクター装置３３３０を使用させるように構成され得る。操作４００７は、ロボットに、オブジェクトキュー３１６０から、標的進入オブジェクト３５１０の目的地（例えば、ローディングエリア３１１０／３１２０／３１３０／３１４０、又は緩衝ゾーン３１５０）への動きＡ２ａ／Ａ２ｂ／Ａ２ｃ／Ａ２ｄを開始させる開始コマンド構成を送信又は実行することをさらに含み得る。

方法４０００はさらに、操作４００８をさらに含んでもよく、コンピューティングシステム１１００は、動作計画操作に従って、標的進入オブジェクト３５１０を標的ローディングエリア３１１０／３１２０／３１３０／３１４０に配置するための配置コマンドを送信又は実行する。

コンピューティングシステム１１００は、ロボットアーム３３２０を制御して、パレット３４００の対応する標的進入オブジェクト３５１０を、ローディング環境パレット管理方法（例えば、以下でより詳細に説明する方法５０００）のさまざまな動作に関連して、ローディングエリア３１１０／３１２０／３１３０／３１４０に配置するように、さらに構成され得る。例えば、オブジェクト配置の前又は間に、コンピューティングシステム１１００は、パレット管理方法５０００の一つ又は複数の動作を実行し得る。例えば、パレット検出操作５００３、パレットステータス操作５００５、パレット識別操作５００６、パレット交換操作５００７などは、任意の組み合わせで、オブジェクト配置操作の前又はそれに連動して実施され得る。

例えば、オブジェクト配置は、パレット検出操作（例えば、以下でより詳細に説明するパレット検出操作５００３）の結果に従って行われてもよい。パレット検出操作は、コンピューティングシステム１１００によって起動されて、既存のパレットが、ローディング環境３１００内（すなわち、指定されたローディングエリア３１１０／３１２０／３１３０／３１４０内）に存在するかを確認し得る。

例えば、オブジェクト配置は、ローディング環境３１００内であることが確認された既存のパレット３４００Ａ／３４００Ｂ（例えば、以下でより詳細に記載される操作５００４）の充填状態を検出した結果に従って行われてもよい。実施形態では、パレット充填状態は、カメラ１２００によって捕捉された画像情報を介して決定される。カメラ１２００は、インハンドカメラソリューション（オンハンドカメラソリューションとしても知られる）であってもよく、カメラ１２００はロボットアーム３３２０上に配置される。次に、ロボットアーム３３２０は、さまざまなピッキング領域（例えば、パレット３４００、緩衝ゾーン３１５０、又はキュー３１６０など）に移動して、複数の異なる角度から画像情報を捕捉し得る。実施形態では、カメラ１２００は、ロボット３３００から遠隔に位置し得る。実施形態では、遠隔及び／又はインハンドの複数のカメラ１２００を使用し得る。上述のように、及び図２Ｅ、２Ｆ及び３Ａを参照して、コンピューティングシステム１１００は、画像分析のために実施され得るオブジェクト認識モジュール１１２１に関連する方法を採用する。例えば、選択された点に対するさまざまな位置のそれぞれの奥行き値を記述する奥行き情報を含み得る３ｄ画像情報２７００（例えば、空間構造情報）は、パレット充填状態を判定するために使用され得る。奥行き情報は、パレット３４００Ａ／３４００Ｂ上に存在する既存のオブジェクト３５４０／３５８０／３５９０を識別するために、及び／又は既存のオブジェクト３５４０／３５８０／３５９０がパレット３４００Ａ／３４００Ｂ上に空間的にどのように配置されるかを推定するために使用され得る。いくつかの実施形態では、３ｄ画像情報２７００は、既存のオブジェクト３５４０／３５８０／３５９０の一つ又は複数の表面の位置を記述する点群を含んでもよく、又は点群を生成するために使用され得る。３ｄ画像情報２７００は、可能な画像分析及び他の形態の一形態であり、当業者によって知られている２ｄ画像情報２６００の分析など、他の形態が、本明細書に記載される方法に従って使用され得る。

例えば、オブジェクト配置は、ローディング環境３１００の外側から、ローディング環境内の既存のパレット３４００Ａ／３４００Ｂを新しいパレット３４００Ｃで置き換えるように構成されるパレット交換操作（例えば、操作５００７）の実行後に実施され得る。新しいパレット３４００Ｃは、例えば、自動機械（フォークリフト又はＡＧＶなどの他の車両）、外部ロボット（図示せず）、人的相互作用、機械システム（図示せず）、及び任意の他の適切な輸送によって、取得され、ローディング環境３１００に移動され得る。実施形態では、コンピューティングシステム１１００は、パレット交換操作が既存のパレット３４００Ａ／３４００Ｂの不足（例えば、パレット識別子が、多数の進入３５１０／３５２０／３５３０、既存のオブジェクト３５４０／３５８０／３５９０、及び／又は移動されるオーバーフローオブジェクト３５５０／３５６０／３５７０に関連付けられるオブジェクトタイプ識別子３７００に対応しない）のために、必要であることを発見し得る。従って、コンピューティングシステム１１００は、パレット交換コマンドが要求されるという決定に応答して、パレット交換に既存のパレット３４００Ａ／３４００Ｂを新しいパレット３４００Ｃと交換させてもよい（図７Ａの軌道Ｂ２ａ／Ｂ２ｂを参照されたい）。実施形態では、既存のパレット３４００Ａ／３４００Ｂ及び新しいパレット３４００Ｃは、例えば、自動機械（フォークリフト又は他の車両）、外部ロボット（図示せず）、人為的相互作用、機械システム（図示せず）などによって、外部力を介して交換され得る。実施形態では、既存のパレット３４００Ａ／３４００Ｂ及び新しいパレット３４００Ｃは、ロボット３３００を介して交換され得る（すなわち、ロボット３３００は、そのアーム３３２０及びエンドエフェクター装置３３３０を使用して交換を容易にする）。実施形態では、パレット交換操作はまた、既存のパレット３４００Ａ／３４００Ｂのパレット充填状態が満杯を示す値を戻すために、必要に応じて決定され得る。例えば、ロボット３３００が、インハンドカメラを有する場合（ロボットアーム３３２０上に取り付けられる）、ロボットシステムは、カメラ１２００が既存のパレット３４００Ａ／３４００Ｂ底部角に方向を向いている位置及び向きに配置されるロボットアーム３３２０を制御し得る。さらに別の実施形態では、パレット交換コマンドは、既存のオブジェクト３５４０／３５８０／３５９０及び／又はオーバーフローオブジェクト３５５０／３５６０／３５７０に関連付けられる既存のオブジェクトタイプ識別子３７００がパレット識別子と対応しないという判定に応答して、必要に応じてさらに決定され得る。さらにさらなる実施形態では、パレット交換操作は、進入オブジェクト３５１０／３５２０／３５３０に関連付けられる進入オブジェクトタイプ識別子３７００がパレット識別子と対応しないという判定に応答して、必要に応じてさらに決定され得る。

ロボットシステムは、パレット３４００上に対応オブジェクト（別名、対応オブジェクトタイプ識別子３７００を有する標的オブジェクト）を配置した後に、対応オブジェクト配置姿勢を記録するようにさらに構成され得る。実施形態では、ロボットシステムは、非対応オブジェクト（別名、非対応オブジェクトタイプ識別子３７００を有する標的オブジェクト）を緩衝ゾーン３１５０内に配置するために、ロボットアーム３３２０を制御するように構成され得る。ロボットシステムは、さらに、非対応オブジェクトを緩衝ゾーン３１５０に配置した後、非対応オブジェクト配置姿勢を記録するように構成され得る。

方法４０００は、操作４００９をさらに含んでもよく、ロボットシステムは、ローディング環境３１００における標的オブジェクト配置姿勢を含む、更新されたローディング環境画像情報を生成する。一つ又は複数のオブジェクト３５００が、ローディング環境３１００内、中、又は外に移動した後、ローディング環境３１００は変更されてもよく、従って、コンピューティングシステム１１００が、ローディング環境３１００の状態に関する正確で最新の情報を有することを保証するために、再撮像を必要とし得る。こうした更新はまた、以下でさらに論じるように、パレット交換又はその他のパレット輸送操作の後にも必要とされ得る。更新されたローディング環境画像情報を生成することは、カメラ１２００を制御して、更新された画像情報を捕捉することを含み得る。実施形態では、コンピューティングシステム１１００は、操作４００８の実行後に、ローディングエリア３１１０／３１２０／３１３０／３１４０の少なくとも一つ及び少なくとも一つのローディングエリアの充填状態を表す画像情報を捕捉するために、カメラ１２００を制御し得る。これは、操作４００８の実行後に、少なくとも一つのローディングエリア３１１０／３１２０／３１３０／３１４０内に配置されるパレット３４００Ａ／３４００Ｂの充填状態を表す画像情報を捕捉するために、カメラを制御することをさらに含み得る。これはさらに、操作４００８の実行後に、ローディングエリア３１１０／３１２０／３１３０／３１４０内の標的オブジェクト配置姿勢（及び実施形態では、パレット３４００Ａ／３４００Ｂ上の標的オブジェクト配置姿勢）を表す画像情報を捕捉するためにカメラを制御することをさらに含み得る。実施形態では、コンピューティングシステム１１００は、カメラ１２００（及び又はカメラ１２００を位置付けるロボットアーム３３００で）を制御して、緩衝ゾーン３１５０及び操作４００８の実行後の緩衝ゾーン３１５０の充填状態を表す画像情報を捕捉し得る。これは、操作４００８の実行後に、緩衝ゾーン３１５０内の標的オブジェクト配置姿勢を表す画像情報を捕捉するために、カメラ１２００を制御することをさらに含んでもよい。更新されたローディング環境画像情報は、ロボットシステムを介して実施される将来の操作４００１～４００９の精密化を可能にし得る。ロボットシステムは、その後、方法４０００の操作４００１～４００９に従って、キュー内の後続するオブジェクトをローディング環境内へ取得及び配置するために、新しい動作計画操作４００６を実行するためにローディング環境画像情報を処理し得る。

上述したように、本発明の方法４０００は、エンドエフェクター装置３３３０に取り付けられるか、又はこれを含むロボットアーム３３２０、及びアーム３３２０／エンドエフェクター装置３３３０上に配置されるか、ロボット３３００とは別個のローディング環境３１００内の他の場所に配置されるカメラ１２００／１２００を有するロボット３３００と通信し、及びこれを制御するように構成されるコンピューターシステム１１００を含む。ロボット３３００は、ローディング環境３１００内であってもよく、オブジェクトキュー３１６０は、ロボット３３００を介した相互作用のために、ローディング環境３１００に進入オブジェクト３５１０／３５２０／３５３０を提供する。方法４０００は、少なくとも動作４００１～４００９の性能のために構成される少なくとも一つの処理回路１１１０を含む。方法４０００の性能は、ローディング環境３１００内のオブジェクト３５００の取得及び配置の速度、効率、及び精度の増加を含む（がこれらに限定されない）、ロボットシステムに技術的改善を達成する。

本開示はさらに、複数の進入オブジェクト３５１０／３５２０／３５３０の、オブジェクトキュー３１６０から、ローディング環境３１００内で利用可能なローディングエリア３１１０／３１２０／３１３０／３１４０及び／又は緩衝ゾーン３１５０における、パレットへの移動の実行、促進、及び／又は計画に関する。図６は、複数のオブジェクトの、キュー又はコンベアから、ローディング環境内で利用可能なパレット及び／又は緩衝ゾーンへの移動を実行、促進、及び／又は計画するための、パレット管理方法５０００の例のフロー図を示す。

実施形態では、方法５０００は、例えば、図２Ａ～２Ｄのコンピューティングシステム１１００、又は図３Ａ～３Ｄのコンピューティングシステム１１００によって、又はより具体的には、コンピューティングシステム１１００の少なくとも一つの処理回路１１１０によって行われてもよい。一部のシナリオでは、コンピューティングシステム１１００が、非一時的コンピューター可読媒体（例えば、１１２０）上に記憶された命令を実行することによって、方法５０００を行ってもよい。例えば、命令によって、コンピューティングシステム１１００に、方法５０００を行い得る、図２Ｄに示されたモジュールのうちの一つ又は複数を実行させてもよい。例えば、実施形態では、オブジェクト認識に関連するステップ、例えば動作５００１～５００６及びその他は、オブジェクト認識モジュール１１２１を介して少なくとも部分的に実行され得る。例えば、実施形態では、動作及び軌道計画に関連するステップ、例えば操作５００７及び５００８及びその他は、動作計画モジュール１１２９を介して少なくとも部分的に実行され得る。例えば、実施形態では、オブジェクト配置及び処理に関連するステップ、例えば操作５００８などは、オブジェクト操作計画モジュール１１２６によって少なくとも部分的に実行され得る。実施形態では、ローディング環境管理モジュール１１２２は、動作５００２及び５００７など、ローディング環境ロジスティクスに関連する動作を少なくとも部分的に実行し得る。いくつかの実施形態では、オブジェクト認識モジュール１１２１、動作計画モジュール１１２９、オブジェクト操作計画モジュール１１２６、及びローディング環境管理モジュール１１２２は、協調して動作して、運動及びオブジェクト操作の両方を含む軌道を定義及び／又は計画するために協働して動作し得る。

方法５０００のステップは、特定のタスクを実施するための特定の順次ロボット軌道を達成するために採用され得る。一般的な概要として、方法５０００は、コンピューティングシステム１１００に、オブジェクトキュー３１６０から、ローディングエリア３１１０／３１２０／３１３０／３１４０内に配置される対応するパレット３４００Ａ／３４００Ｂ、又は緩衝ゾーン３１５０へ、進入オブジェクト３５１０／３５２０／３５３０を移送させるように動作し得る。そのような移送操作は、方法５０００中に発生するさまざまな操作に従って更新及び／又は精密化される、事前に計画された軌道に従うロボット３３００の操作を含み得る。上述のように、方法５０００の動作は、方法４０００の動作のいずれか又は全てと併せて、又は組み合わせて行われてもよい。

方法５０００は、ローディング環境３１００内（すなわち、指定されたローディングエリア３１１０／３１２０／３１３０／３１４０内）の既存のパレット３４００Ａ／３４００Ｂの存在を確認するために、コンピューティングシステム１１００を介してパレット検出操作（例えば、操作５００４）を起動し得る。パレット検出操作は、例えば、ローディング環境３１００内であることが確認された既存のパレット３４００Ａ／３４００Ｂの充填状態を検出することをさらに含み得る。パレット検出操作は、例えば、ローディング環境３１００内であることが確認された既存のパレット３４００Ａ／３４００Ｂに関連付けられるパレット識別子を識別することをさらに含み得る。

方法５０００は、ローディング環境３１００内の既存のパレット３４００Ａ／３４００Ｂを、ローディング環境の外側から新しいパレット３４００Ｃと交換させるように構成されるパレット交換操作を実行することをさらに含み得る。パレット交換操作は、さらに、新しいパレット３４００Ｃをローディング環境３１００の外側からローディング環境、及び実施形態では、ローディング環境内の指定されたローディングエリア３１１０／３１２０／３１３０／３１４０に持ち込むためのパレット交換を実行することをさらに含み得る。

方法５０００では、コンピューティングシステム１１００は、例えば、方法４０００のさまざまな動作に従って、オブジェクトキュー３１６０から（例えば、進入オブジェクト３５１０／３５２０／３５３０の中から）標的進入オブジェクト３５１０を取得し、例えば、ローディング環境３１００内の既存のパレット上に標的進入オブジェクト３５１０を配置するようにロボット３３００の移動を引き起こすように構成及び操作され得る。ロボットシステムはさらに、標的進入オブジェクト３５１０及びローディング環境３１００の状態に関連する多数の要因に基づき、その後のオブジェクトの取得及び配置手順を計画及び調整するように構成され得る。要因は、カメラ１２００を介して捕捉された画像情報から決定され得る。コンピューティングシステム１１００は、オブジェクトキュー３１６０から標的の進入オブジェクト３５１０を取得し、それを、ローディング環境３１００内に設けられた特定のローディングエリア３１１０／３１２０／３１３０／３１４０内の既存のパレット上に配置することを決定するように構成され得る。実施形態では、コンピューティングシステム１１００は、オブジェクトキュー３１６０から標的進入オブジェクト３５１０を取得し、それをローディング環境３１００内の緩衝ゾーン３１５０内に配置することを決定し得る。別の実施形態では、コンピューティングシステム１１００は、緩衝ゾーン３１５０から標的オーバーフローオブジェクト３５５０を取得し、それを、ローディング環境３１００内に設けられた特定のローディングエリア３１１０／３１２０／３１３０／３１４０内の既存のパレット上に配置することを決定し得る。さらなる実施形態では、コンピューティングシステム１１００は、既存のパレットの充填状態が、ほぼ又はフル容量を示すと決定し、こうした決定に応答して、パレット交換操作を求め、既存のパレットを、ローディング環境の外側に位置する新しいパレットと交換し得る。実施形態では、コンピューティングシステム１１００は、標的オブジェクトが、ローディング環境３１００内の既存のパレット３４００Ａ／３４００Ｂのパレット識別子に非対応するオブジェクトタイプ識別子３７００を含むことを決定し、既存のパレット３４００Ａ／３４００Ｂを、ローディング環境３１００の外側に位置する新しいパレット３４００Ｃと交換するためパレット交換操作を求めてもよい。さらなる実施形態では、ロボットシステムは、パレット３４００が、ローディング環境３１００内（又はローディング環境３１００の特定のローディングエリア３１１０／３１２０／３１３０／３１４０内）に存在しないことを決定し、対応オブジェクトタイプ識別子３７００を有するオブジェクト３５００を受容し、ローディング環境３１００に持ち込むように専用の新しいパレット３４００Ｃを求めてもよい。

方法５０００の説明は、図７Ａ～７Ｄに示される移動サイクルＢを参照する。これらのサイクルの動きには、カメラ１２００がローディング環境３１００を表す画像情報（例えば、３Ｄ画像情報２７００及び／又は２Ｄ画像情報２６００）を生成できるように、ローディング環境３１００（又は、より具体的には、オブジェクトキュー３１６０、ローディングエリア３１１０～３１４０、及び／又は緩衝ゾーン３１５０）の前で、カメラ１２００（例えば、ロボットアーム３３２０に取り付けられたカメラ）の動きが含まれ得る。ここで、画像情報はコンピューティングシステム１１００によって使用され、利用可能な手段（例えば、ロボット３３００、外部ロボット、人間との相互作用、外部コンピューターシステム、及び／又は外部機械システムなど）によって軌道Ｂ１／Ｂ２ａ／Ｂ２ｂ／Ｂ２ｃ／Ｂ３ａ／Ｂ３ｂ／Ｂ３ｃ／Ｂ４／Ｂ５ａ／Ｂ５ｂを実行させるために実行又は送信する操作コマンドを決定する。

図７Ａ～７Ｄに示される、サイクルＢと呼ばれる一つのタイプの移動サイクルでは、ローディング環境３１００内のロボット３３００は、移動して、軌道Ｂ１に従ってオブジェクトキュー３１６０からターゲット進入オブジェクト３５１０～３５３０を取得することができる。次に、コンピューティングシステム１１００は、カメラ１２００を介して収集された処理された画像情報に基づき、オブジェクトキュー３１６０から取得される標的進入オブジェクト３５１０／３５２０／３５３０が、ローディングエリア３１１０／３１３０内に存在する既存のパレット３４００Ａ／３４００Ｂに対応するオブジェクトタイプ識別子３７１０／３７２０／３７３０を有するかどうかを判定し得る。次いで、コンピューティングシステム１１００は、取得された又はターゲットの進入オブジェクト３５１０／３５２０／３５３０のオブジェクトタイプ識別子３７１０／３７２０／３７３０が対応する場合、ターゲット進入オブジェクト３５１０／３５２０／３５３０をパレット３４００Ａ／３４００Ｂ（それぞれ、軌道Ｂ３ａ及びＢ３ｂ）上に移動して配置するように、ロボット３３００を制御し得る。任意選択で、コンピューティングシステム１１００は、取得された又は標的の進入オブジェクト３５１０／３５２０／３５３０のオブジェクトタイプ識別子３７１０／３７２０／３７３０が、既存のパレット３４００Ａ／３４００Ｂのいずれのパレット識別子にも対応しない場合、標的進入オブジェクト３５１０／３５２０／３５３０を緩衝ゾーン３１５０（例としてステップＢ３ｃ）に移動させて配置するようにロボットを制御し得る。コンピューティングシステム１１００は、進入オブジェクト３５１０／３５２０／３５３０のサイズ、緩衝ゾーン３１５０内にすでに存在するオーバーフローオブジェクト３５５０／３５６０／３５７０の位置、及び緩衝ゾーン３１５０内にすでに存在する他のオブジェクトの配向を含む、複数の要因に基づき、オブジェクトを移動させ、緩衝ゾーン３１５０内に配置する場所を決定する。コンピューティングシステム１１００は、オブジェクトに関連する画像情報を収集するとき、進入オブジェクト３５１０／３５２０／３５３０を緩衝ゾーンから移動及び取得するように構成される将来のコマンドが、ロボットアーム３３２０の経路を遮断する、及び／又は進入オブジェクト３５１０／３５２０／３５３０の視界をカメラ１２００から遮る（例えば、より大きなオブジェクト３５００が進入オブジェクト３５１０／３５２０／３５３０の前方に位置しカメラ視野を遮る）他のオブジェクトなどの外部要因によって妨げられないように、これらのパラメーターを考慮する。

実施形態では、コンピューティングシステム１１００は、パレット検出操作を実行して、ローディング環境３１００内のローディングエリア３１１０／３１２０／３１３０／３１４０におけるパレット（単数又は複数）３４００Ａ／３４００Ｂの存在及び識別を決定し得る。ローディング環境内にパレットが存在しない場合、コンピューティングシステム１１００は、新しいパレット３４００Ｃをローディングエリア３１１０／３１２０／３１３０／３１４０（例えば、軌道Ｂ２ｃ）のうちの一つ内のローディング環境に移動させるように構成されるパレット取得コマンドを送信し得る。新しいパレット３４００Ｃは、例えば、自動機械（フォークリフト又は他の車両）、外部ロボット（図示せず）、人的相互作用、機械システム（図示せず）などによって、取得され、ローディング環境３１００に移動され得る。実施形態では、既存のパレット３４００Ａ／３４００Ｂのパレット識別子が、パレット３４００上に配置されるロボット３３００によって取得されるために、取得、又は標的化される、ターゲット進入オブジェクト３７１０～３７３０のオブジェクトタイプ識別子３５１０～３５９０に対応しない場合、コンピューティングシステム１１００は、パレット交換操作を実施するためのコマンドを送信し得る。パレット交換操作において、既存のパレット３４００Ａ／３４００Ｂは、それぞれのローディングエリア３１１０／３１２０／３１３０／３１４０から取り除かれ、新しいパレット３４００Ｃ（軌道Ｂ２ａ又はＢ２ｂ）と交換されてもよく、新しいパレット３４００Ｃのパレット識別子は、ロボット３３００によって現在取得されたか、又は取得されている、標的進入オブジェクト３５１０～３５９０のオブジェクトタイプ識別子３７００に対応する。

移動サイクルＢは、例としてのみ提供される。ロボット３３００は、ソース又は宛先として機能する他のリポジトリ間でオブジェクト３５００を移動することを含む、他の移動サイクルを有するように制御され得る。例えば、ロボット３３００は、既存のオブジェクト３５４０／３５８０／３５９０を、ローディング環境３１００内のローディングエリア３１１０／３１２０／３１３０／３１４０、パレット３４００、及び／又は緩衝ゾーン３１５０からオブジェクトキュー３１６０に移動させ得る。別の実施例では、ロボット３３００は、既存のオブジェクト３５４０／３５８０／３５９０を、ローディング環境３１００内のローディングエリア３１１０／３１２０／３１３０／３１４０及び／又はパレット３４００から緩衝ゾーン３１５０に移動させてもよい。ロボット３３００はまた、ローディング環境３１００内及びその全体にわたってパレット３４００を移動させることを含む、他の移動サイクルを制御するか、又は実行させてもよい。

移動サイクルＢの説明は、ローディング環境３１００内及び／又はロボット３３００の周りのオブジェクトの計画及び配置を伴う動作の説明として理解されるべきである。ソース及び宛先リポジトリの異なる組み合わせを必要とする移動サイクルは、本開示の範囲を逸脱することなく、本明細書に開示される異なる組み合わせ及び／又は動作の異なる順序を必要とし得る。

方法５０００に関して記載されるステップ及び方法は、方法４０００に関して記載されるステップ及び方法に限定されない。方法４０００のステップを実行するように構成されるシステム及びデバイスは、さらに、方法５０００のステップを実行するように構成され得る。方法４０００及び５０００のステップは、同じローディング環境３１００内で、同時に、連続的に、かつ重複して行われてもよい。例えば、方法４０００のステップは、オブジェクトキュー３１６０から進入オブジェクト３５１０／３５２０／３５３０を輸送するために実施されてもよく、その後、ローディング環境３１００内でパレット３４００を再配置させる、方法５０００のステップが続き、さらに、方法４０００に従って追加のオブジェクト配置ステップが続いてもよい。従って、方法４０００の任意のステップ又は動作は、方法４０００又は方法５０００の適切なステップ又は動作によって成功し得る。方法５０００の任意のステップ又は動作は、方法４０００又は方法５０００の適切なステップ又は動作によって成功し得る。

コンピューティングシステム１１００は、進入オブジェクト３５１０／３５２０／３５３０をオブジェクト３１６０のキューからローディング環境３１００に移動させ、さらに、方法５０００の実行の効率を高める方法で、ローディング環境３１００を変換するためのコマンドを送信又は実行する、方法５０００の特定のステップを実行し得る。方法５０００は、ロボットシステムが、上述のように収集されたローディング環境画像情報を処理して、ローディング環境画像情報を以下でより詳細に説明する通り、操作５００２～５００８の実行時、後でコンピューティングシステム１１００によって使用され得るデータに変換し得る、操作５００１で始まるか、又はそうでなければ操作５００１を含んでもよい。特に、ローディング環境画像情報は、ロボット３３００のアーム３３２０上に配置されるカメラ１２００を制御することによって、ロボットとは別個のローディング環境内の別の場所に提供される二次的カメラ１２００を制御することによって、又はカメラ１２００と二次的カメラ１２００の組み合わせを制御することによって、捕捉され得る。実施形態では、コンピューティングシステム１１００は、カメラ１２００／１２００を制御して、ローディングエリア３１１０／３１２０／３１３０／３１４０の少なくとも一つ、及び少なくとも一つのローディングエリアの充填状態を表す画像情報を捕捉し得る。これは、少なくとも一つのローディングエリア３１１０／３１２０／３１３０／３１４０内に配置されるパレット３４００Ａ／３４００Ｂの充填状態を表す画像情報を捕捉するために、カメラを制御することをさらに含み得る。これは、ローディングエリア内（例として３１１０／３１３０）及びパレット上（例として３４００Ａ／３４００Ｂ）の既存のオブジェクト３５４０／３５８０／３５９０を表す画像情報を捕捉するためにカメラを制御することを含んでもよい。これは、ローディング環境３１００の外側に配置されるパレット３４００Ｃの充填状態を表す画像情報を捕捉するために、カメラ１２００を制御することをさらに含み得る。実施形態では、コンピューティングシステム１１００は、カメラ１２００／１２００を制御して、緩衝ゾーン３１５０、及び緩衝ゾーン３１５０の充填状態を表す画像情報を捕捉し得る。これは、緩衝ゾーン内のオブジェクト３５５０／３５６０／３５７０を表す画像情報を捕捉するためにカメラを制御することをさらに含み得る。カメラ１２００及び／又は二次的カメラ１２００による捕捉の後、ローディング環境画像情報は、コンピューティングシステム１１００によって取得又は受信され、その後、前述したように処理され得る。実施形態では、コンピューティングシステム１１００は、ローディング環境３１００に関する情報が事前供給されるか、又は事前ロードされていてもよく、操作５００１の実行を容易にする。

方法５０００は、コンピューティングシステム１１００が、処理済みローディング環境画像情報からローディング環境状態を識別する、操作５００２をさらに含み得る。実施形態では、ローディング環境状態は、ローディングエリア３１１０～３１４０及び／又は緩衝ゾーン３１５０内に存在するそれぞれの既存のオブジェクト３５５０～３５９０に関連付けられる、複数のオブジェクトタイプ識別子３７００を含み得る。ローディング環境状態は、オブジェクトキュー３１６０を介して進入するそれぞれの進入オブジェクト３５１０／３５２０／３５３０に関連付けられる複数のオブジェクトタイプ識別子３７００をさらに含み得る。複数のオブジェクトタイプ識別子３７００は、上述のように収集された画像情報（例えば、オブジェクト認識、バーコード、ＳＫＵ、又はＱＲコード（登録商標）読み取りなど）を介して、受信、取得、又は別の方法で決定され得る。任意選択的又は追加的に、オブジェクトタイプ識別子３７００は、コンピューティングシステム１１００に事前供給又は事前ロードされ得る。実施形態では、オブジェクトタイプ識別子３７００は、別個のプロセッサー／システムを介してロボットシステムに提供され得る。さらなる実施形態において、オブジェクトタイプ識別子３７００は、オブジェクト３５００に関連付けられる無線識別子（例えば、ＲＦＩＤタグ）を読み取るように構成されるシステムから受信されてもよく、又は取得され得る。オブジェクトタイプは、コンピューティングシステム１１００自体によって、又はコンピューティングシステム１１００と通信する別のシステムによって決定され得る。

方法５０００は、コンピューティングシステムがパレット検出操作を実行する操作５００３をさらに含み得る。コンピューティングシステム１１００は、ローディング環境３１００内（より具体的には、ローディングエリア３１１０／３１２０／３１３０／３１４０内）のパレット３４００Ａ／３４００Ｂの存在又は不在を判定するように構成される。操作５００３を実行すると、ロボットシステムは、ローディング環境画像情報から、ローディング環境３１００（又はより具体的には、それぞれ、ローディングエリア３１１０／３１３０）内の既存のパレット３４００Ａ／３４００Ｂの存在を検出するために、操作５００４を開始し得る。ローディング環境内で既存のパレットが検出されない実施形態では、コンピューティングシステム１１００は、新しいパレット又は外部パレット３４００Ｃをローディング環境３１００に、より具体的には指定されたローディングエリア３１１０／３１２０／３１３０／３１４０に持ち込むように構成されたパレット取得コマンドをさらに出力することができる（例えば、図７Ａの移動又はステップＢ２ａ／Ｂ２ｂ／Ｂ２ｃとして示される）。一部の実施形態では、新しいパレット３４００Ｃは、取得されローディング環境３１００に移動されてもよく、既存のパレット（例えば、既存のパレット３４００Ａ／３４００Ｂのうちの一つ）は、例えば、自動機械（フォークリフト、ＡＧＶ、又は他の車両）、外部ロボット（図示せず）、人的相互作用、機械システム（図示せず）などによってローディング環境３１００から、離れて輸送され得る。例えば、既存のパレット３４００Ａ／３４００Ｂ及び新しいパレット３４００Ｃは、ＡＧＶ（図示せず）を介して、ローディング環境３１００のローディングエリア３１１０／３１２０／３１３０／３１４０の一つ上に位置し、及びそれらに輸送及びそれらから輸送され得る。実施形態では、コンピューティングシステム１１００は、ロボット３３００に、エンドエフェクター装置３３３０を使用して、外側の新しいパレット３４００Ｃを掴んで移動させるように構成され得る。

操作５００３は、コンピューティングシステム１１００が、（操作５００４の出力に基づきローディング環境３１００内で識別される場合、又は新しいパレット３４００Ｃがパレット取得コマンドによって提供されるローディング環境３１００に持ち込まれる場合）、既存のパレット３４００Ａ／３４００Ｂのパレット充填状態を決定する、操作５００５をさらに含み及び開始し得る。実施形態では、パレット充填状態は、カメラ１２００によって捕捉された画像情報を介して決定される。上述のように、及び図２Ｅ、２Ｆ及び３Ａを参照して、コンピューティングシステム１１００は、画像分析のために実施され得るオブジェクト認識モジュール１１２１に関連する方法を採用する。選択された点に対するさまざまな位置のそれぞれの奥行き値を記述する奥行き情報を含み得る空間構造情報（例えば、３ｄ画像情報２７００）は、パレット充填状態を判定するために使用され得る。奥行き情報は、パレット３４００Ａ／３４００Ｂ上に存在する既存のオブジェクト３５４０／３５８０／３５９０を識別するために、及び／又は既存のオブジェクト３５４０／３５８０／３５９０がパレット３４００Ａ／３４００Ｂ上に空間的にどのように配置されるかを推定するために使用され得る。いくつかの実施形態では、空間構造情報は、既存のオブジェクト３５４０／３５８０／３５９０のオブジェクトの一つ又は複数の表面の位置を記述する点群を含むか、又はそれを生成するために使用され得る。空間構造情報は、可能な画像分析（例えば、２Ｄ画像情報２６００を使用する）の単なる一つの形式であり、当業者に知られている他の形式を、本明細書に記載の方法に従って使用することができる。空間構造情報は、パレット上に配置されると、オブジェクト３５００の損傷又は変位を引き起こす可能性のある不適切な配置を防止するために、オブジェクト３５００のパレット３４００Ａ／３４００Ｂへの配置を調整するために使用され得る。

実施形態では、操作５００５は、パレット充填状態をコンピューティングシステム１１００は、取得された画像情報を分析して、パレット３４００Ａ／３４００Ｂ上にオブジェクトが存在しないと判定した空に戻し得る。実施形態では、操作５００５は、パレット充填状態をコンピューティングシステム１１００が、取得された画像情報を分析して、少なくとも一つの既存のオブジェクト３５４０／３５８０／３５９０がパレット３４００Ａ／３４００Ｂ上に存在すると決定した、使用中に戻し得る。コンピューティングシステム１１００は、パレット３４００Ａ／３４００Ｂ上で識別された少なくとも一つの既存のオブジェクト３５４０／３５８０／３５９０の姿勢をさらに決定し得る。実施形態では、操作５００５は、パレット充填状態を、コンピューティングシステム１１００が、得られた画像情報を分析し、パレット３４００Ａ／３４００Ｂの最終的な総重量（例えば、業界の重量制限に適合）、パレット３４００Ａ／３４００Ｂに空きスペース／余裕がないことのために、又は既存のオブジェクト３５４０／３５８０／３５９０、後続のオブジェクト、パレット、又は全ての組み合わせに損傷を与えるリスクなしに、後続のオブジェクト３５００を実際にはパレット３４００Ａ／３４００Ｂ上に配置することができないよう、パレット３４００Ａ／３４００Ｂ上に十分な既存のオブジェクト３５４０／３５８０／３５９０が存在することを決定した、満杯に戻し得る。

実施形態では、パレット検出操作は、パレット充填状態が出力を占有されていると戻すという判定に応答して、コンピューティングシステム１１００に、いくつかの後続するステップのうちの少なくとも一つを実行させ得る。これは、更新されたローディング環境画像情報を生成し、更新されたローディング環境画像情報を（例えば、操作４００９に従って）コンピューティングシステム１１００に送信するか、又は他の方法で提供するように、カメラ１２００を制御することを含み得る。次に、オブジェクト検出及び／又は障害物検出手順が、既存のパレット３４００Ａ／３４００Ｂ上で実行されて、オブジェクト／障害物検出手順データを生成し得る。生成されると、オブジェクト／障害物検出手順データは、コンピューティングシステム１１００に伝達されてもよく、その後実行されるオブジェクト移動コマンド（以下でさらに詳細に説明する）の生成又は実行に使用され得る。コンピューティングシステム１１００は、オブジェクトの層を生成する方法で、パレット３４００Ａ／３４００Ｂ上に後続する品目を配置するコマンドを出力し得る。オブジェクト３５００の第一の層がパレット３４００Ａ／３４００Ｂ上に形成されると、コンピューティングシステム１１００は、第一の層の点群を使用して、第一の層を形成する各オブジェクト３５００の高さを決定し得る。例えば、オブジェクト３５８０の高さは、オブジェクト３５８０に隣接して配置されるオブジェクト３５９０の高さ（図３Ｄを参照）と同等でなくてもよい。次に、コンピューティングシステム１１００は、パレット３４００Ａ／３４００Ｂ上に作成されたオブジェクトの第一の層のトップに形成されるオブジェクト３５００の次の層を形成するために使用される将来の計画及び配置動作のために、この情報を考慮に入れ得る。

パレット充填状態が出力をパレット検出操作中に占有されたと戻す実施形態では、コンピューティングシステム１１００はさらに、後続するステップを実行し得る。これらは、カメラ１２００を制御して、更新されたローディング環境画像情報を生成することを含み得る。それは、既存のパレット３４００Ａ／３４００Ｂの位置偏差を決定することをさらに含み、位置偏差データが既存のオブジェクト３５４０／３５８０／３５９０の姿勢、又はパレット３４００Ａ／３４００Ｂ自体の姿勢の変化に向けられる。位置偏差データは、現在存在するパレット３４００Ａ／３４００Ｂが、以前、ローディング環境３１００内（又はより具体的には、ローディングエリア３１１０／３１３０内）に存在していたが、さまざまな理由のうちの一つのために、ローディング環境の外側で交換されたシナリオで生成され得る。そのパレット３４００Ａ／３４００Ｂは、その後、ローディング環境に戻されたが、同じパレットがローディング環境に以前あったときの位置又は姿勢に厳密に合致しなかった位置、又は姿勢であった。例えば、パレット３４００Ａ／３４００Ｂをローディング環境３１００に運んだＡＧＶ（又は他の搬送）は、パレットが回転の角度を有する（例えば、約９０°／１８０°／２７０°回転）結果をもたらす方法で、そうすることができる。また、ＡＧＶ（又は他の搬送）は、パレット３４００Ａ／３４００Ｂを、以前ローディング環境３１００内にあった正確な横方向座標（例えば、Ｘ、Ｙ座標）に戻すことに失敗し得る。別の例として、ＡＧＶ（又は他の搬送）を介したパレットの急激な移動により、パレット上のオブジェクトが元の位置から移動した可能性がある。従って、位置偏差データは、古いローディング環境画像情報を更新されたローディング環境画像情報と比較することによって、及びローディング環境画像情報と更新されたローディング環境画像情報との間で提供される既存のパレット（及び実施形態では、既存のパレットの上に配置されるオブジェクト（複数可））の移動又は並進移動度を決定することによって生成され得る。従って、コンピューティングシステム１１００は、次のオブジェクトを配置するときに必要な調整を行うために、この位置偏差データを、後で実行されるオブジェクト移動コマンド（以下でさらに詳細に説明する）に組み込む。そうすることで、コンピューティングシステム１１００は、移動サイクルＢ１の記述で前述したように、既存のパレット３４００Ａ／３４００Ｂ上に配置される複数のオブジェクトが、適切な方法で配置及び配向されることを保証する。この位置偏差データはまた、上述のように、パレット上のオブジェクトの層を適切に形成するように組み込まれる。

さらなる実施形態では、操作５００５は、パレット充填状態値を空にし得る。コンピューティングシステム１１００は、次に、空の既存のパレット３４００Ａ／３４００Ｂにフィットし得る、オーバーフローオブジェクト３５５０／３５６０／３５７０及び／又は進入オブジェクト３５１０／３５２０／３５３０の数を決定し得る。出力されるオブジェクト移動コマンド（以下でさらに詳細に説明する）は、例えば、既存のパレット３４００Ａ／３４００Ｂ上に既存のオブジェクト３５４０／３５８０／３５９０（例えば、緩衝ゾーン３１５０内に存在するオブジェクト）、及び／又は進入オブジェクト３５１０／３５２０／３５３０（例えば、オブジェクトキュー３１６０を介して提供されるオブジェクト）で第一の層を形成することによって、それに応じて、進入オブジェクト３５１０／３５２０／３５３０を既存のパレット３４００Ａ／３４００Ｂに配置し得る。

操作５００３は、コンピューティングシステム１１００が、既存のパレットに関連付けられるパレット識別子を識別する（既存のパレットが、操作５００４の出力からローディング環境内で識別される場合）、操作５００６をさらに含んで及び開始し得る。コンピューティングシステム１１００は、上述のように収集された画像情報を介して、パレット識別子を受信、取得、又はその他の方法で決定し得る。任意選択的又は追加的に、パレット識別子は、コンピューティングシステム１１００に事前供給又は事前ロードされ得る。実施形態では、パレット識別子は、別個のプロセッサー／システムを介してコンピューティングシステム１１００に提供され得る。別の実施形態では、既存のパレット３４００Ａ／３４００Ｂ上に存在するオブジェクト３５００のオブジェクトタイプ識別子３７００を使用して、パレット識別子を決定し得る。例えば、既存のオブジェクト３５８０／３５９０のオブジェクトタイプ識別子３７００は、コンピューティングシステム１１００が、類似の又は合致するオブジェクトタイプ識別子３７００を有する進入オブジェクト３５１０／３５２０／３５３０が、既存のパレット３４００Ａに対応すると決定することを可能にし得る。実施形態では、パレット識別子を識別することは、例えば、オブジェクトキュー３１６０で待機している進入オブジェクト３５１０／３５２０／３５３０に従って、空のパレットに新しいパレット識別子を割り当てることを含み得る。実施形態では、コンピューティングシステム１１００は、既存のパレット３４００Ａ／３４００Ｂの不足（例えば、パレット識別子は、移動する多数の進入、オーバーフロー、及び／又は既存のオブジェクト３５１０～３５９０に関連付けられるオブジェクトタイプ識別子３７１０／３７２０／３７３０に対応しない）のために、パレット交換コマンドが必要であることを発見し得る。従って、コンピューティングシステム１１００は、パレット交換コマンドが要求されるという決定に応答して、既存のパレット３４００Ａ／３４００Ｂを新しいパレット３４００Ｃと交換するように構成されるパレット交換コマンドを送信し得る（図７Ａの軌道Ｂ２ａ／Ｂ２ｂを参照されたい）。実施形態では、既存のパレット３４００Ａ／３４００Ｂ及び新しいパレット３４００Ｃは、例えば、自動機械（フォークリフト又は他の車両）、外部ロボット（図示せず）、人為的相互作用、機械システム（図示せず）などによって、外部力を介して交換され得る。さらなる実施形態では、既存のパレット３４００Ａ／３４００Ｂ及び新しいパレット３４００Ｃは、ロボット３３００を介して交換され得る（すなわち、ロボット３３００は、そのアーム３３２０及びエンドエフェクター装置３３３０を使用して交換を容易にする）。

方法５０００は、パレット交換操作５００７をさらに含み得る。パレット交換操作５００７では、コンピューティングシステム１１００は、パレット交換コマンドの必要性を決定し、実行し得る。コンピューティングシステム１１００は、既存のパレット３４００Ａ／３４００Ｂのパレット充填状態が満杯を示す値をもどすことにより、パレット交換コマンドが必要かどうかを判定し得る。実施形態では、パレット交換コマンドは、既存のオブジェクト３５４０／３５８０／３５９０に関連付けられる既存のオブジェクトタイプ識別子３７００がパレット識別子と対応しないという判定に応答して、必要に応じてさらに決定され得る。別の実施形態では、パレット交換コマンドは、オーバーフローオブジェクト３５５０／３５６０／３５７０に関連付けられるオブジェクトタイプ識別子３７００がパレット識別子と対応しないという判定に応答して、必要に応じてさらに決定され得る。実施形態では、パレット交換コマンドは、進入オブジェクト３５１０／３５２０／３５３０に関連付けられる進入オブジェクトタイプ識別子３７１０／３７２０／３７３０がパレット識別子と対応しないという判定に応答して、必要に応じてさらに決定され得る。さらにさらなる実施形態では、パレット交換コマンドは、緩衝ゾーンが不十分なスペースを有する（すなわち、より多くのオブジェクトを収容することができない）ことにより必要に応じて決定されてもよく、標的オブジェクトは、既存のパレット３４００Ａ／３４００Ｂに対応しないオブジェクトタイプ識別子３７００を有する。実施形態では、パレット交換コマンドが必要とみなされる場合、コンピューティングシステム１１００によって、パレット交換コマンドが実行され、パレット交換が行われ得る。

方法５０００は、コンピューティングシステム１１００が、複数の既存のオブジェクト３５４０／３５８０／３５９０タイプの識別子、複数の進入オブジェクト３５１０／３５２０／３５３０タイプの識別子、複数のオーバーフローオブジェクト３５５０／３５６０／３５７０タイプの識別子、及びパレット識別子を示すパレット識別子の間の比較に基づき、実行されるオブジェクト移動コマンドを決定する、操作５００８をさらに含み得る。例えば、オブジェクト移動コマンドは、方法４０００の一つ又は複数の動作に従って行われてもよい。実施形態では、オブジェクト移動コマンドは、ロボットアーム３３２０に、既存のオブジェクトに関連付けられるオーバーフローオブジェクト３５５０／３５６０／３５７０のオブジェクトタイプ識別子３７００が、既存のパレットのオブジェクトタイプに対応するという判定に応答して、緩衝ゾーン３１５０内のオーバーフローオブジェクト３５５０／３５６０／３５７０を取得させ、オーバーフローオブジェクト３５５０／３５６０／３５７０を既存のパレット３４００Ａ／３４００Ｂ上に配置させるように実行され得る。代替的な実施形態では、オブジェクト移動コマンドは、進入オブジェクト３５１０／３５２０／３５３０に関連付けられるオブジェクトタイプ識別子３７００がパレット識別子に対応するという判定に応答して、ロボットアーム３３２０に、進入オブジェクト３５１０／３５２０／３５３０を取得させ、進入オブジェクト３５１０／３５２０／３５３０を、既存のパレット３４００Ａ／３４００Ｂ上に配置させるように実行される。さらにさらなる実施形態では、オブジェクト移動コマンドは、進入オブジェクト３５１０／３５２０／３５３０に関連付けられるオブジェクトタイプ識別子３７００がパレット識別子に対応しないという判定に応答して、進入オブジェクト３５１０／３５２０／３５３０を取得し、進入オブジェクトを緩衝ゾーン３１５０内に配置するために実行される。

関連分野の当業者にとって、本明細書に記載する方法及び用途への、その他の好適な修正ならびに適応を、実施形態のうちのいずれの範囲からも逸脱することなく行うことができることは明らかであろう。上に記載する実施形態は、例示的な例であり、本開示がこれらの特定の実施形態に限定されると解釈されるべきではない。本明細書に開示するさまざまな実施形態は、記載及び添付の図に具体的に提示する組み合わせとは異なる組み合わせで、組み合わせてもよいことは理解されるべきである。例によって、本明細書に記載するプロセスもしくは方法のいずれのある特定の行為又は事象は、異なるシーケンスで行われてもよく、追加、統合、又は完全に省略し得ることも理解されるべきである（例えば、記載した全ての行為又は事象が、方法又はプロセスを実施するのに必要でなくてもよい）。加えて、本明細書の実施形態のある特定の特徴を、明確にするために、単一の構成要素、モジュール、又はユニットにより行われていると記載しているものの、本明細書に記載する特徴及び機能は、構成要素、ユニット、又はモジュールのいかなる組み合わせによって行われてもよいことは理解されるべきである。従って、添付の特許請求の範囲で定義されるような、発明の趣旨又は範囲から逸脱することなく、さまざまな変更及び修正を当業者が及ぼし得る。

さらなる実施形態は、以下の実施形態を含む。

実施形態１は、エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有し、かつ、ロボットアームに取り付けられるカメラを有するロボットと通信するように構成される制御システムと、少なくとも一つの処理回路と、を備え、少なくとも一つの処理回路は、ロボットがローディング環境にあり、ローディング環境内に配置するためのオブジェクトのキューが提供されるときに、オブジェクトをオブジェクトのキューからローディング環境に移送するために、ローディング環境に提供されるオブジェクトのキューを検出することと、複数のオブジェクトタイプ識別子を受信することであって、複数のオブジェクトタイプ識別子の各々が、オブジェクトのキューのそれぞれのオブジェクトと関連付けられることと、カメラから受信したオブジェクトキュー画像情報に基づき、オブジェクトのキュー内の標的オブジェクトの標的オブジェクト姿勢を決定することと、ローディング環境内の標的オブジェクトの計画配置位置を示す標的オブジェクトに対する標的オブジェクト配置を決定することと、オブジェクトキュー画像情報から生成される標的オブジェクト姿勢及び標的オブジェクト計画配置位置に従って、標的オブジェクトの取得及び配置のための動作計画操作を行うことと、動作計画操作に従って、キューから標的オブジェクトを取得するための取得コマンドを実行することと、動作計画操作に従って、標的オブジェクトをローディング環境内に配置するための配置コマンドを実行することと、ローディング環境での標的オブジェクト配置姿勢を含む、更新されたローディング環境画像情報を生成することと、を実行するように構成される、コンピューティングシステムである。

実施形態２は、更新されたローディング環境画像情報を処理して、キュー内の後続するオブジェクトをローディング環境内へ取得及び配置するための新しい動作計画操作を実行することをさらに含む、実施形態１のシステムである。

実施形態３は、実施形態１又は２のシステムであり、少なくとも一つの処理回路は、標的オブジェクトが、対応オブジェクトタイプ識別子を有する対応オブジェクトであるか、又は非対応オブジェクトタイプ識別子を有する非対応オブジェクトであるかを判定するようにさらに構成され、前記計画配置位置は、標的オブジェクトが対応オブジェクトである場合にはローディングエリアとして決定される一方、標的オブジェクトが非対応オブジェクトである場合には緩衝ゾーンとして決定される。

実施形態４は、実施形態３のシステムであり、少なくとも一つの処理回路は、更新されたローディング環境画像情報を処理して、ローディングエリアに提供されるパレットの姿勢を決定することによって、パレット検出操作を実行すること、及びパレット検出操作に従って、対応オブジェクトをパレット上にローディングエリアに配置するようにロボットアームを制御すること、を行うようにさらに構成される。

実施形態５は、実施形態４のシステムであり、少なくとも一つの処理回路は、対応オブジェクトをパレット上に配置した後に、対応オブジェクト配置姿勢を記録するようにさらに構成される。

実施形態６は、実施形態３～５のいずれかのシステムであり、少なくとも一つの処理回路は、ロボットアームを制御して、非対応オブジェクトを緩衝ゾーン内に配置するようにさらに構成される。

実施形態７は、実施形態６のシステムであり、非対応オブジェクトを緩衝ゾーンに配置した後、非対応オブジェクト配置姿勢を記録するステップをさらに含む。

実施形態８は、実施形態１～７のいずれかのシステムであり、少なくとも一つの処理回路は、標的オブジェクトに関連付けられる印を識別すること、識別された印に基づき、オブジェクトタイプ識別子を標的オブジェクトに割り当てること、及びオブジェクトタイプ識別子を制御システムに伝達すること、を行うようにさらに構成される。

実施形態９は、エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有し、かつ、ロボットアームに取り付けられるカメラを有するロボットと通信するように構成される制御システムと、少なくとも一つの処理回路と、を備え、少なくとも一つの処理回路は、ロボットが、複数のローディングエリア、緩衝ゾーン、既存のオブジェクト、及び進入オブジェクトのキューを含むローディング環境にあるときに、カメラから受信したローディング環境画像情報を処理すること、処理済みローディング環境画像情報からローディング環境状態を識別することであって、ローディング環境状態がそれぞれ既存のオブジェクトに関連付けられる複数の既存のオブジェクトタイプ識別子、及びそれぞれの進入オブジェクトに関連付けられる複数の進入オブジェクトタイプ識別子を含むこと、パレット検出操作を実行し、ローディング環境画像情報から、ローディング環境内の既存のパレットを検出し、既存のパレットのパレット充填状態を決定し、既存のパレットに関連付けられるパレット識別子を識別すること、及び複数の既存のオブジェクトタイプ識別子、複数の進入オブジェクトタイプ識別子、及びパレット識別子の比較に基づき実行される、オブジェクト移動コマンドを決定すること、を実行するように構成される、コンピューティングシステムである。

実施形態１０は、実施形態９のシステムであり、オブジェクト移動コマンドは、既存のオブジェクトに関連付けられる既存のオブジェクトタイプ識別子がパレット識別子に対応するという判定に応答して、ロボットアームに、既存のオブジェクトを取得させると共に、既存のオブジェクトを既存のパレット上に配置させるように実行される。

実施形態１１は、実施形態９又は１０のシステムであり、オブジェクト移動コマンドは、進入オブジェクトに関連付けられる進入オブジェクトタイプ識別子がパレット識別子に対応するという判定に応答して、ロボットアームに、進入オブジェクトを取得させると共に、進入オブジェクトを既存のパレット上に配置させるように実行される。

実施形態１２は、実施形態９～１１のいずれかのシステムであり、オブジェクト移動コマンドは、進入オブジェクトに関連付けられる進入オブジェクトタイプ識別子がパレット識別子と対応しないという判定に応答して、進入オブジェクトを取得すると共に、進入オブジェクトを緩衝ゾーン内に配置するように実行される。

実施形態１３は、実施形態９～１２のいずれかのシステムであり、パレット検出操作は、パレット充填状態が占有されるという判定に応答して、カメラを制御して、更新されたローディング環境画像情報を生成すること、既存のパレット上でオブジェクト検出手順及び／又は障害物検出手順を実行して、オブジェクト／障害物検出手順データを生成すること、オブジェクト／障害物検出手順データを制御システムに伝達すること、及びオブジェクト／障害物検出手順データを、実行されるオブジェクト移動コマンドに組み込むこと、をさらに含む。

実施形態１４は、実施形態９～１３のいずれかのシステムであり、パレット検出操作は、パレット充填状態が占有されるという判定に応答して、カメラを制御して、更新されたローディング環境画像情報を生成すること、既存のパレットの位置偏差を決定すること、及び実行されるオブジェクト移動コマンドとともに位置偏差データを組み込むこと、をさらに含む。

実施形態１５は、実施形態１０～１４のいずれかのシステムであり、パレット検出操作は、パレット充填状態が空であるという判定に応答して、既存のオブジェクト及び／又は既存のパレットにフィットし得る進入オブジェクトの数を決定すること、及びオブジェクト移動コマンドを出力して、既存のパレット上の既存のオブジェクト及び／又は進入オブジェクトで第一の層を形成することをさらに含む。

実施形態１６は、実施形態９～１５のいずれかにのシステムであり、少なくとも一つの処理回路は、パレット交換コマンドが必要かどうかを決定すること、及びパレット交換コマンドが必要かどうかの判定に応答して、既存のパレットを新しいパレットと交換させるように構成されるパレット交換コマンドを送信すること、を行うようにさらに構成される。

実施形態１７は、実施形態１６のシステムであり、パレット交換コマンドは、既存のパレットのパレット充填状態が満杯のとき要求されるように決定される。

実施形態１８は、実施形態１６又は１７のシステムであり、パレット交換コマンドは、既存のオブジェクトに関連付けられる既存のオブジェクトタイプ識別子がパレット識別子に対応していないという決定に応答して、要求されると決定される。

実施形態１９は、実施形態１６～１８のいずれかのシステムであり、パレット交換コマンドは、進入オブジェクトに関連付けられる進入オブジェクトタイプ識別子がパレット識別子に対応していないという決定に応答して、要求されると決定される。

実施形態２０は、エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有するロボットであって、当該ロボットがローディング環境にあり、ローディング環境内に配置するためのオブジェクトのキューが提供されるときに、ロボットアームに取り付けられたカメラを有するロボットと通信するように構成される制御システムによって実行されるように構成されるロボット制御方法であって、ローディング環境に提供されるオブジェクトのキューを検出することと、複数のオブジェクトタイプ識別子を受信することであって、複数のオブジェクトタイプ識別子の各々が、オブジェクトのそれぞれのオブジェクトとキューから関連付けられていることと、カメラから受信したオブジェクトキュー画像情報に基づき、キュー内の標的オブジェクトの標的オブジェクト姿勢を決定することと、ローディング環境内の標的オブジェクトの計画配置位置を示す標的オブジェクトに対する標的オブジェクト配置を決定することと、オブジェクトキュー画像情報から生成される標的オブジェクト姿勢及び計画配置位置に従って、標的オブジェクトの取得及び配置のための動作計画操作を行うことと、動作計画操作に従って、キューから標的オブジェクトを取得するための取得コマンドを実行することと、動作計画操作に従って、標的オブジェクトをローディング環境内に配置するための配置コマンドを実行することと、ローディング環境での標的オブジェクト配置姿勢を含む、更新されたローディング環境画像情報を生成することとを含む。

実施形態２１は、エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有するロボットであって、当該ロボットがローディング環境にあり、ローディング環境内に配置するためのオブジェクトのキューが提供されるときに、ロボットアームに取り付けられたカメラを有するロボットと通信するように構成される制御システムによって実行されるように構成されるロボット制御方法であって、カメラから受信したローディング環境画像情報を処理することと、処理済みローディング環境画像情報からローディング環境状態を識別することであって、ローディング環境状態が、それぞれの既存のオブジェクトに関連付けられる複数の既存のオブジェクトタイプ識別子、及びそれぞれの進入オブジェクトに関連付けられる複数の進入オブジェクトタイプ識別子を含むことと、パレット検出操作を実行し、ローディング環境画像情報から、ローディング環境内の既存のパレットを検出し、既存のパレットのパレット充填状態を決定し、既存のパレットに関連付けられるパレット識別子を識別することと、複数の既存のオブジェクトタイプ識別子、複数の進入オブジェクトタイプ識別子、及びパレット識別子の比較に基づき実行される、オブジェクト移動コマンドを決定することとを含む。

Claims (20)

1. コンピューティングシステムであって、
   エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有し、かつ、前記ロボットアームに取り付けられるカメラを有するロボットと通信するように構成される制御システムと、
   少なくとも一つの処理回路と、を備え、
   前記少なくとも一つの処理回路は、前記ロボットがローディング環境にあり、前記ローディング環境内に配置するためのオブジェクトのキューが提供されるときに、前記オブジェクトを前記オブジェクトのキューから前記ローディング環境に移送するために、
   前記ローディング環境に提供される前記オブジェクトのキューを検出することと、
   複数のオブジェクトタイプ識別子を受信することであって、前記複数のオブジェクトタイプ識別子の各々が、前記オブジェクトのキューのそれぞれのオブジェクトと関連付けられることと、
   前記カメラから受信したオブジェクトキュー画像情報に基づき、前記オブジェクトのキュー内の標的オブジェクトの標的オブジェクト姿勢を決定することと、
   前記ローディング環境内の前記標的オブジェクトの計画配置位置を示す前記標的オブジェクトに対する標的オブジェクト配置を決定することと、
   前記オブジェクトキュー画像情報から生成される前記標的オブジェクト姿勢及び前記計画配置位置に従って、前記標的オブジェクトの取得及び配置のための動作計画操作を行うことと、
   前記動作計画操作に従って、前記キューから前記標的オブジェクトを取得するための取得コマンドを実行することと、
   前記動作計画操作に従って、前記標的オブジェクトを前記ローディング環境内に配置するための配置コマンドを実行することと、
   前記ローディング環境での標的オブジェクト配置姿勢を含む、更新されたローディング環境画像情報を生成することと、
   を実行するように構成される、コンピューティングシステム。
2. 前記更新されたローディング環境画像情報を処理して、前記キュー内の後続のオブジェクトを前記ローディング環境内へ取得及び配置するための新しい動作計画操作を実行することをさらに含む、請求項１に記載のコンピューティングシステム。
3. 前記少なくとも一つの処理回路は、
   前記標的オブジェクトが、対応オブジェクトタイプ識別子を有する対応オブジェクトであるか、又は非対応オブジェクトタイプ識別子を有する非対応オブジェクトであるかを決定するようにさらに構成され、
   前記計画配置位置は、前記標的オブジェクトが対応オブジェクトである場合にはローディングエリアとして決定され、前記標的オブジェクトが非対応オブジェクトである場合には、緩衝ゾーンとして決定される、請求項１に記載のコンピューティングシステム。
4. 前記少なくとも一つの処理回路は、
   前記更新されたローディング環境画像情報を処理して、パレット検出操作を実行して、前記ローディングエリア内に設けられたパレットの姿勢を決定すること、及び
   前記ロボットアームを制御して、前記パレット検出操作に従って、前記パレット上の前記対応オブジェクトを前記ローディングエリアに配置すること、
   を行うようにさらに構成される、請求項３に記載のコンピューティングシステム。
5. 前記少なくとも一つの処理回路は、前記対応オブジェクトを前記パレット上に配置した後に、対応オブジェクト配置姿勢を記録するようにさらに構成される、請求項４に記載のコンピューティングシステム。
6. 前記少なくとも一つの処理回路は、
   前記ロボットアームを制御して、前記非対応オブジェクトを前記緩衝ゾーン内に配置するようにさらに構成される、請求項３に記載のコンピューティングシステム。
7. 前記非対応オブジェクトを前記緩衝ゾーンに配置した後、非対応オブジェクト配置姿勢を記録することをさらに含む、請求項６に記載のコンピューティングシステム。
8. 前記少なくとも一つの処理回路は、
   前記標的オブジェクトに関連付けられる印を識別すること、
   前記識別された印に基づき、前記オブジェクトタイプ識別子を前記標的オブジェクトに割り当てること、及び
   前記オブジェクトタイプ識別子を前記制御システムに通信すること
   を行うようにさらに構成される、請求項１に記載のコンピューティングシステム。
9. コンピューティングシステムであって、
   エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有し、前記ロボットアームに取り付けられるカメラを有するロボットと通信するように構成される制御システムと、
   少なくとも一つの処理回路と、を備え、
   前記少なくとも一つの処理回路は、前記ロボットが、一つ又は複数のローディングエリア、緩衝ゾーン、既存のオブジェクト、及び進入オブジェクトのキューを含むローディング環境にあるときに、
   前記カメラから受信したローディング環境画像情報を処理することと、
   前記処理済みローディング環境画像情報からローディング環境状態を識別することであって、前記ローディング環境状態がそれぞれ前記既存のオブジェクトに関連付けられる複数の既存のオブジェクトタイプ識別子、及びそれぞれの進入オブジェクトに関連付けられる複数の進入オブジェクトタイプ識別子を含むことと、
   パレット検出操作を実行し、
   前記ローディング環境画像情報から、前記ローディング環境内の既存のパレットを検出し、
   前記既存のパレットのパレット充填状態を決定し、
   前記既存のパレットに関連付けられるパレット識別子を識別することと、
   前記複数の既存のオブジェクトタイプ識別子、前記複数の進入オブジェクトタイプ識別子、及び前記パレット識別子の比較に基づき実行される、オブジェクト移動コマンドを決定することと、
   を実行するように構成される、コンピューティングシステム。
10. 前記オブジェクト移動コマンドは、既存のオブジェクト又はオーバーフローオブジェクトに関連付けられる既存のオブジェクトタイプ識別子が前記パレット識別子に対応するという判定に応答して、前記ロボットアームに、前記既存のオブジェクト又は前記オーバーフローオブジェクトを取得させると共に、前記既存のオブジェクト又は前記オーバーフローオブジェクトを前記既存のパレット上に配置させるように実行される、請求項９に記載のコンピューティングシステム。
11. 前記オブジェクト移動コマンドが、進入オブジェクトに関連付けられる進入オブジェクトタイプ識別子が前記パレット識別子に対応するという判定に応答して、前記ロボットアームに、前記進入オブジェクトを取得させると共に、前記進入オブジェクトを前記既存のパレット上に配置させるように実行される、請求項９に記載のコンピューティングシステム。
12. 前記オブジェクト移動コマンドは、進入オブジェクトに関連付けられる進入オブジェクトタイプ識別子が前記パレット識別子に対応しないという判定に応答して、前記進入オブジェクトを取得すると共に、前記進入オブジェクトを前記緩衝ゾーン内に配置するように実行される、請求項９に記載のコンピューティングシステム。
13. 前記パレット検出操作は、前記パレット充填状態が占有されるという判定に応答して、
    前記カメラを制御して、更新されたローディング環境画像情報を生成することと、
    前記既存のパレット上でオブジェクト検出手順及び／又は障害物検出手順を実行して、オブジェクト／障害物検出手順データを生成することと、
    オブジェクト／障害物検出手順データを前記制御システムに通信することと、
    前記オブジェクト／障害物検出手順データを、実行される前記オブジェクト移動コマンドに組み込むことと、
    をさらに含む、請求項９に記載のコンピューティングシステム。
14. 前記パレット検出操作は、前記パレット充填状態が占有されるという判定に応答して、
    前記カメラを制御して、更新されたローディング環境画像情報を生成することと、
    前記既存のパレットの位置偏差を決定することと、
    前記位置偏差を、実行される前記オブジェクト移動コマンドに組み込むことと、
    をさらに含む、請求項９に記載のコンピューティングシステム。
15. 前記パレット検出操作は、前記パレット充填状態が空であるという判定に応答して、
    前記既存のパレットにフィットすることができる、オーバーフローオブジェクト及び／又は前記進入オブジェクトの数を決定することと、
    前記オブジェクト移動コマンドを出力して、前記既存のパレット上の前記オーバーフローオブジェクト及び／又は前記進入オブジェクトで第一の層を形成することと、
    をさらに含む、請求項１０に記載のコンピューティングシステム。
16. 前記少なくとも一つの処理回路は、
    パレット交換コマンドが必要かどうかを決定すること、及び
    パレット交換コマンドが要求されるという決定に応答して、前記既存のパレットを新しいパレットと交換させるように構成されるパレット交換コマンドを送信すること、
    を行うようにさらに構成される、請求項９に記載のコンピューティングシステム。
17. 前記パレット交換コマンドは、前記既存のパレットの前記パレット充填状態が満杯であるとき、要求されると決定される、請求項１６に記載のコンピューティングシステム。
18. 前記パレット交換コマンドは、既存のオブジェクトに関連付けられる既存のオブジェクトタイプ識別子が前記パレット識別子に対応しない、又は進入オブジェクトに関連付けられる進入オブジェクトタイプ識別子が前記パレット識別子に対応しないという決定に応答して、要求されると決定される、請求項１６に記載のコンピューティングシステム。
19. エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有するロボットであって、当該ロボットがローディング環境にあり、前記ローディング環境内に配置するためのオブジェクトのキューが提供されるときに、前記ロボットアームに取り付けられたカメラを有するロボットと通信するように構成される制御システムによって実行されるように構成されるロボット制御方法であって、
    前記ローディング環境に提供される前記オブジェクトのキューを検出することと、
    複数のオブジェクトタイプ識別子を受信することであって、前記複数のオブジェクトタイプ識別子の各々が、キューからの前記オブジェクトのうちのそれぞれのオブジェクトと関連付けられることと、
    前記カメラから受信したオブジェクトキュー画像情報に基づき、前記キュー内の標的オブジェクトの標的オブジェクト姿勢を決定することと、
    前記ローディング環境内の前記標的オブジェクトの計画配置位置を示す前記標的オブジェクトに対する標的オブジェクト配置を決定することと、
    前記オブジェクトキュー画像情報から生成される前記標的オブジェクト姿勢及び前記計画配置位置に従って、前記標的オブジェクトの取得及び配置のための動作計画操作を行うことと、
    前記動作計画操作に従って、前記キューから前記標的オブジェクトを取得するための取得コマンドを実行することと、
    前記動作計画操作に従って、前記標的オブジェクトを前記ローディング環境内に配置するための配置コマンドを実行することと、
    前記ローディング環境での標的オブジェクト配置姿勢を含む、更新されたローディング環境画像情報を生成することと、
    を含む、方法。
20. エンドエフェクター装置を含む、又はそれに取り付けられるロボットアームを有するロボットであって、当該ロボットがローディング環境にあり、前記ローディング環境内に配置するためのオブジェクトのキューが提供されるときに、前記ロボットアームに取り付けられたカメラを有するロボットと通信するように構成される制御システムによって実行されるように構成されるロボット制御方法であって、
    前記カメラから受信したローディング環境画像情報を処理することと、
    前記処理済みローディング環境画像情報からローディング環境状態を識別することであって、前記ローディング環境状態が、それぞれの既存のオブジェクトに関連付けられる複数の既存のオブジェクトタイプ識別子、及びそれぞれの進入オブジェクトに関連付けられる複数の進入オブジェクトタイプ識別子を含むことと、
    パレット検出操作を実行し、
    前記ローディング環境画像情報から、前記ローディング環境内の既存のパレットを検出し、
    前記既存のパレットのパレット充填状態を決定し、
    前記既存のパレットに関連付けられるパレット識別子を識別することと、
    前記複数の既存のオブジェクトタイプ識別子、前記複数の進入オブジェクトタイプ識別子、及び前記パレット識別子の比較に基づき実行される、オブジェクト移動コマンドを決定することと、
    を含む、方法。

Images