JP2022135879A - 物体検出のために安全ボリュームリストを生成するための方法および計算システム - Google Patents

Abstract

【課題】物体検出のために安全ボリュームリストを生成する計算システム及び方法を提供する。【解決手段】方法は、物体を表す画像情報を受信することと、１つ以上の検出仮説のセットに関連付けられた１つ以上の合致する物体認識テンプレートのセットを識別することと、合致する物体認識テンプレートに関連付けられた一次検出仮説を選択することと、合致する物体認識テンプレートに基づいて、一次候補領域を生成することと、１つ以上の合致する物体認識テンプレートのセットが、１つ以上の残りの合致するテンプレートのサブセットを有するかどうか、又は画像情報が合致しない領域を表す一部分を有するかどうか、のうちの少なくとも１つを決定することと、合致しない領域又は１つ以上の残りの合致するテンプレートのサブセットに基づいて生成される、１つ以上の追加の候補領域を記述する、安全ボリュームリストを生成することと、を含む。【選択図】図４

Description

本開示は、物体検出のために安全ボリュームリストを生成するための計算システムおよび方法に関する。

自動化がより一般的になるに従い、倉庫保管および小売環境など、より多くの環境においてロボットが使用されている。例えば、ロボットは、倉庫の中にある物体と相互作用するように使用されうる。ロボットの動作は、固定されてもよく、または倉庫の中のセンサによって生成された情報などの、入力に基づいてもよい。

本開示の一態様は、計算システムによって実施される方法に関する。計算システムは、通信インターフェースおよび少なくとも１つの処理回路を含みうる。一部の実例では、方法は、少なくとも１つの処理回路が、非一時的コンピュータ可読媒体上で命令を実行するときに行われてもよい。通信インターフェースは、ロボット、およびカメラ視野を有するカメラと通信するように構成されてもよい。少なくとも１つの処理回路は、物体がカメラ視野の中にある、またはあったときに、物体を表す画像情報を受信することであって、画像情報が、カメラによって生成されることと、１つ以上の合致する物体認識テンプレートのセットを識別することであって、１つ以上の合致する物体認識テンプレートが、画像情報と比較されるときに、所定のテンプレート合致条件を満たす１つ以上の物体認識テンプレートであり、１つ以上の合致する物体認識テンプレートのセットが、１つ以上の検出仮説のセットに関連付けられていて、１つ以上の検出仮説のセットが、どの物体または物体タイプが画像情報によって表されるかの１つ以上のそれぞれの推定であることと、１つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、一次検出仮説が、１つ以上の合致する物体認識テンプレートのセットの合致する物体認識テンプレートに関連付けられており、一次検出仮説として選択された検出仮説が、１つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有しており、１つ以上のそれぞれの信頼値のセットが、１つ以上の検出仮説のセットに関連付けられていると共に、１つ以上の検出仮説のセットに関連付けられた１つ以上の合致する物体認識テンプレートのセットに画像情報が合致するそれぞれの度合いを示すことと、一次候補領域として、物体の物体境界位置を推定する、またはカメラ視野内のどの位置が物体によって占有されているかを推定する候補領域を、一次検出仮説に関連付けられた合致する物体認識テンプレートに基づいて生成することと、（ｉ）１つ以上の合致する物体認識テンプレートのセットが、画像情報と比較されるときに、所定のテンプレート合致条件をさらに満たす、１つ以上の残りの合致する物体認識テンプレートのサブセットを、一次検出仮説に関連付けられた合致する物体認識テンプレートに加えて、有しているかどうか、または（ｉｉ）画像情報が、一次候補領域に隣接し、かつ所定のテンプレート合致条件を満たすことができない、合致しない領域を表す部分を有しているかどうか、のうちの少なくとも１つを決定することと、１つ以上の残りの合致する物体認識テンプレートのサブセットが存在するという決定、または画像情報が合致しない領域を表す部分を有しているという決定に応答して、安全ボリュームリストを生成することであって、安全ボリュームリストは、（ｉ）合致しない領域、または（ｉｉ）物体の物体境界位置をさらに推定する、もしくはどの位置が物体によって占有されているかを推定する１つ以上の追加の候補領域、のうちの少なくとも１つを記述するリストであり、１つ以上の追加の候補領域が、１つ以上の残りの合致する物体認識テンプレートのサブセットに基づいて生成されることと、一次候補領域に基づいてかつ安全ボリュームリストに基づいて、ロボットと物体との間のロボット相互作用のための運動計画を実施することと、によって方法を実施するように構成されうる。

本明細書の実施形態と合致する、物体検出を行うためのシステムを示している。 本明細書の実施形態と合致する、物体検出を行うためのシステムを示している。 本明細書の実施形態と合致する、物体検出を行うためのシステムを示している。 本明細書の実施形態と合致する、物体検出を行うためのシステムを示している。 本明細書の実施形態と合致する、物体検出を行うために構成される、計算システムを示すブロック図を提供する。 本明細書の実施形態と合致する、物体検出を行うために構成される計算システムを示すブロック図を提供する。 本明細書の実施形態と合致する、物体検出を行うために構成される計算システムを示すブロック図を提供する。 本明細書の実施形態と合致する、物体検出を行うために構成される計算システムを示すブロック図を提供する。 本明細書の実施形態による、物体検出が行われうる環境を示している。 本明細書の実施形態による、物体検出が行われうる環境を示している。 本明細書の実施形態による、安全ボリュームリストを生成する方法を示す流れ図を提供する。 本明細書の実施形態による、安全ボリュームリストが生成されうる例示の画像情報を示している。 本明細書の実施形態による、安全ボリュームリストが生成されうる例示の画像情報を示している。 図６Ａ～図６Ｊは、本明細書の実施形態による、物体検出を実施する、安全ボリュームリストを生成する、または安全ボリュームリストに基づいて、境界領域を生成する、様々な態様を示している。 図７Ａ～図７Ｇは、本明細書の実施形態による、物体検出を実施する、安全ボリュームリストを生成する、または安全ボリュームリストに基づいて、境界領域を生成する、様々な態様を示している。 図８Ａ～図８Ｇは、本明細書の実施形態と合致する、物体認識テンプレートを画像情報に整列させる様々な方法を表す、安全ボリュームリストを生成する様々な態様を示している。 図９Ａ～図９Ｆは、本明細書の実施形態と合致する、物体認識テンプレートによって記述される物体形状に対する異なる配向を表す、安全ボリュームリストを生成する様々な態様を示している。 図１０Ａ～図１０Ｈは、本明細書の実施形態による、物体検出を行うための画像領域を識別する様々な態様を示している。 図１１Ａ～図１１Ｅは、本明細書の実施形態による、画像情報が合致しない画像部分を有する場合に、物体検出を行う様々な態様を示している。 図１２Ａ～図１２Ｈは、本明細書の実施形態による、画像情報が合致しない画像部分を有する場合に、物体認識を行う様々な態様を示している。 本明細書の実施形態による、所定の最大物体高さを有する候補領域に基づく、物体検出または運動計画作成の実施を示している。 本明細書の実施形態による、所定の最大物体高さを有する候補領域に基づく、物体検出または運動計画作成の実施を示している。

本開示の一態様は、カメラによって生成された画像情報を処理して、画像情報によって表される物体または物体タイプを検出することを伴いうる、物体検出の実施に関する。物体検出は、例えば、ロボットが物体（例えば、箱）をパレットから目的位置へ移動させるパレットから降ろす操作などの、物体とのロボット相互作用を促進するために実施されうる。本開示のいくつかの実施形態は、ロボット相互作用を計画作成する際に使用するための一次検出仮説を識別すること（一次検出仮説は、画像情報によって表される物体または物体タイプの１つの仮説、推測、または推定であってもよい）だけでなく、ロボット相互作用を計画作成する際に使用するための１つ以上の追加の検出仮説をさらに識別することに関する。一次検出仮説は、ロボット相互作用を計画作成するための有用な情報を提供しうるが、１つ以上の追加の検出仮説は、ロボット相互作用を計画作成するのにも有用でありうる、追加の情報を提供しうる。１つ以上の追加の検出仮説によって提供される追加の情報は、例えば、物体検出およびロボット相互作用の計画作成をより堅牢にし、可能性のある誤差源に対する感受性を低下させうる。

実施形態では、１つ以上の追加の検出仮説を使用して、安全ボリュームリストを生成してもよい。一部の実装形態では、安全ボリュームリストは、１つ以上の追加の検出仮説を識別するリストであってもよい。一部の実装形態では、安全ボリュームリストは、１つ以上の追加の検出仮説に関連付けられた１つ以上の候補領域を識別するリストであってもよい。候補領域は、例えば、物体が位置する空間の領域の推定値であってもよい。一部の実例では、ロボット相互作用の計画作成は、一次検出仮説に関連付けられた一次候補領域に基づいてもよく、１つ以上の追加の検出仮説に関連付けられた１つ以上の候補領域などの、安全ボリュームリスト内の情報にさらに基づいてもよい。

一部の実例では、一次検出仮説および１つ以上の追加の検出仮説は、様々な物体認識テンプレートに関連付けられうる。一部の状況では、安全ボリュームリストは、複数の物体認識テンプレートが、カメラによって生成された画像情報に十分に合致するときに生成されうる。こうした状況では、一次検出仮説は、合致する物体認識テンプレート（例えば、最も高い信頼値をもたらす物体認識テンプレート）のうちの１つに関連付けられてもよく、一方で、安全ボリュームリストは、残りの合致する物体認識テンプレートに関連付けられた検出仮説に基づいて生成されてもよい。実施形態では、安全ボリュームリストは、信頼値における一次検出仮説と十分に類似している、および／または十分に高い信頼値を有する、検出仮説を含みうる。一部の実例では、安全ボリュームは、こうした検出仮説に関連付けられた候補領域を含みうる。安全ボリュームリストは、一実施形態では、あまりにも低い、または一次検出仮説の信頼値とあまりにも異なる信頼値を有する検出仮説を除外してもよい。一部の実装形態では、特定の候補領域が、一次検出仮説に関連付けられた一次候補領域との充分な重複を有するかどうかについての決定がなされうる。十分な重複がある場合、その特定の候補領域が、安全ボリュームリストに含まれうる。

実施形態では、安全ボリュームの生成は、画像（例えば、テクスチャなし２Ｄ画像）内の異なる画像領域を識別すること、および異なる画像領域を物体認識テンプレートと比較することを伴いうる。異なる領域を識別することは、例えば、画像コーナーまたは画像エッジのセットの間に位置する第１の画像領域を検出すること、および画像を検索して、画像が、第１の画像領域を超えて延在し、かつ画像コーナーまたは画像エッジの別のセットの間に位置する第２の画像領域を記述しているかどうかを決定することを伴いうる。第２の画像領域はまた、様々な物体認識テンプレートと比較されて、テンプレートのうちの１つに合致するかどうかを決定されうる。

実施形態では、安全ボリュームリストは、既存の物体認識テンプレートと合致しない画像部分によって表される領域でありうる、合致しない領域を含んでもよい。一部の実例では、合致しない領域は、一次候補領域に隣接する領域であってもよく、一次候補領域によって表される物体または構造に隣接する空間の物理的領域を表してもよい。一部の実例では、新しい物体認識テンプレートは、合致しない領域に基づいて生成されうる。

図１Ａは、画像情報に基づいて、物体検出、すなわちより具体的には、物体認識および／または物体登録を行うためのシステム１０００を示している（用語「および／または」、および「または」は、本開示では互換的に使用される）。より詳細には、システム１０００は、計算システム１１００およびカメラ１２００を含みうる。この実施例では、カメラ１２００は、カメラ１２００が位置する環境を描写するか、もしくはそうでなければ表し、またはより具体的には、カメラ１２００の視野（カメラ視野とも呼ぶ）中の環境を表す、画像情報を生成するように構成されうる。環境は、例えば、倉庫、製造工場、小売空間、または他のいくつかの施設であってもよい。こうした実例では、画像情報が、施設内に保管するためのアイテムを保持するコンテナ（例えば、箱、ビン、または木枠）などの、こうした施設に位置する物体を表しうる。システム１０００が、以下でより詳細に論じるように、画像情報に基づいて運動計画作成を行うことによってなど、画像情報を生成、受信、および／または処理するように構成されうる。運動計画作成は、例えば、ロボットと容器または他の物体との間のロボット相互作用を促進するように、施設でロボットを制御するために使用されうる。計算システム１１００およびカメラ１２００が、同じ施設に位置してもよく、または互いと遠隔に位置してもよい。例えば、計算システム１１００は、倉庫または小売空間から遠隔のデータセンターでホストされる、クラウドコンピューティングプラットフォームの一部であってもよく、ネットワーク接続を介して、カメラ１２００と通信していてもよい。

実施形態では、カメラ１２００は、２Ｄカメラおよび／または３Ｄカメラであってもよい。例えば、図１Ｂは、計算システム１１００、ならびにカメラ１２００Ａおよびカメラ１２００Ｂ（その両方がカメラ１２００の実施形態であってもよい）を含む、システム１０００Ａ（システム１０００の実施形態であってもよい）を示している。この実施例では、カメラ１２００Ａは、カメラの視野中にある環境の視覚的外観を記述する２Ｄ画像を含む、または形成する、２Ｄ画像情報を生成するように構成されている、２Ｄカメラであってもよい。カメラ１２００Ｂは、カメラの視野中の環境に関する空間構造情報を含む、または形成する３Ｄ画像情報を生成するように構成されている、３Ｄカメラ（空間構造感知カメラまたは空間構造感知装置とも呼ぶ）であってもよい。空間構造情報は、カメラ１２００の視野中にある様々な物体の表面上の位置など、カメラ１２００Ｂに対する様々な位置のそれぞれの奥行き値を記述する、奥行き情報を含んでもよい。この例の奥行き情報は、物体が三次元（３Ｄ）空間の中で空間的にどのように配設されているかを推定するために使用されうる。一部の実例では、空間構造情報は、カメラ１２００Ｂの視野中にある物体の１つ以上の表面上の位置を記述する、点群を含んでもよく、または点群を生成するために使用されてもよい。より具体的には、空間構造情報が、物体の構造（物体構造とも呼ぶ）上の様々な位置を記述しうる。

実施形態では、システム１０００が、カメラ１２００の環境でロボットと様々な物体との間の相互作用を促進するための、ロボット操作システムであってもよい。例えば、図１Ｃは、図１Ａおよび図１Ｂのシステム１０００／１０００Ａの実施形態でありうる、ロボット操作システム１０００Ｂを示す。ロボット操作システム１０００Ｂは、計算システム１１００、カメラ１２００、およびロボット１３００を含んでもよい。上述のように、ロボット１３００は、カメラ１２００の環境の中にある１つ以上の物体、例えば、箱、木箱、ビン、またはその他の容器と相互作用するために使用されうる。例えば、ロボット１３００は、１つの位置から容器を拾い上げ、それらを別の位置に移動するように構成されてもよい。一部の事例では、ロボット１３００を使用して、積み重ねられた容器が下ろされ、例えば、コンベヤベルトに移動される、パレットから降ろす操作を行ってもよく、または容器がパレット上に積み重ねられて輸送の準備をする、パレットに載せる操作を行ってもよい。一部の実装形態では、カメラ１２００は、ロボット１３００のロボットアームなど、ロボット１３００に取り付けられてもよい。こうした実装形態によって、カメラ１２００をロボットアームを介して異なる位置および／または配向に移動させることができる。一部の実装形態では、カメラ１２００は、ロボット１３００から分離していてもよい。例えば、カメラ１２００は、倉庫または他の構造の天井に装着されてもよく、構造に対して静止したままであってもよい。

実施形態では、図１Ａ～図１Ｃの計算システム１１００は、ロボット操作システム１０００Ｂの一部である、ロボット制御システム（ロボットコントローラとも呼ぶ）を形成しても、またはその一部であってもよい。ロボット制御システムは、例えば、ロボット１３００に対する動作コマンドまたは他のコマンドを生成するように構成される、システムであってもよい。こうした実施形態では、計算システム１１００は、例えば、カメラ１２００／１２００Ａ／１２００Ｂによって生成された画像情報に基づいて、このようなコマンドを生成するように構成されてもよい。例えば、計算システム１１００は、画像情報に基づいて運動計画を決定し、運動計画を実行するために１つ以上の動作コマンドを生成するように構成されてもよい。運動計画は、ロボットが１つ以上の物体を移動するために実行するための計画であってもよい。例えば、運動計画は、物体に近づき、その後、物体をピックアップまたはその他の方法で係合し、物体を目的位置に移動させる、ロボット１３００のエンドエフェクタ装置（例えば、グリッパ）を含みうる。

実施形態では、計算システム１１００は、視覚システムを形成しても、またはその一部であってもよい。視覚システムは、例えば、ロボット１３００が位置する環境を記述する、すなわちより具体的には、カメラ１２００が位置する環境を記述する、視覚情報を生成するシステムであってもよい。視覚情報が、上で論じた３Ｄ画像情報もしくは２Ｄ画像情報、または何らかの他の画像情報を含んでもよい。一部のシナリオでは、計算システム１１００が、視覚システムを形成する場合、視覚システムは、上で論じたロボット制御システムの一部であってもよく、またはロボット制御システムから分離していてもよい。視覚システムは、ロボット制御システムから分離している場合、ロボット１３００が位置する環境を記述する、情報を出力するように構成されうる。情報は、ロボット制御システムに出力されてもよく、ロボット制御システムは、視覚システムからこうした情報を受信し、情報に基づいてロボット１３００の動作を制御してもよい。

実施形態では、計算システム１１００は、ＲＳ－２３２インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェースなどの専用有線通信インターフェースを介して、および／もしくは周辺構成要素相互接続（ＰＣＩ）バスなどのローカルコンピュータバスを介して提供される接続など、直接接続によってカメラ１２００ならびに／またはロボット１３００と通信してもよい。実施形態では、計算システム１１００が、ネットワークを介してカメラ１２００および／またはロボット１３００と通信してもよい。ネットワークは、パーソナルエリアネットワーク（ＰＡＮ）、例えば、イントラネットといったローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、広域ネットワーク（ＷＡＮ）、またはインターネットなど、いかなるタイプおよび／または形態のネットワークであってもよい。ネットワークは、例えば、イーサネットプロトコル、インターネットプロトコル群（ＴＣＰ／ＩＰ）、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ Ｔｒａｎｓｆｅｒ Ｍｏｄｅ）技術、ＳＯＮＥＴ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｏｐｔｉｃａｌ Ｎｅｔｗｏｒｋｉｎｇ）プロトコル、またはＳＤＨ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｉｇｉｔａｌ Ｈｉｅｒａｒｃｈｙ）プロトコルを含む、プロトコルの異なる技術、および層またはスタックを利用してもよい。

実施形態では、計算システム１１００は、カメラ１２００および／もしくはロボット１３００と直接情報を伝達してもよく、または中間記憶装置、もしくはより一般的には、中間の非一時的コンピュータ可読媒体を介して通信してもよい。例えば、図１Ｄは、計算システム１１００の外部にあってもよい非一時的コンピュータ可読媒体１４００を含む、システム１０００／１０００Ａ／１０００Ｂの実施形態であってもよく、例えば、カメラ１２００によって生成される画像情報を記憶するための外部バッファまたはリポジトリとして作用しうる、システム１０００Ｃを示している。こうした実施例では、計算システム１１００は、非一時的コンピュータ可読媒体１４００から、画像情報を検索するか、さもなければ受信することができる。非一時的コンピュータ可読媒体１４００の例としては、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはそれらのいかなる適切な組み合わせが挙げられる。非一時的コンピュータ可読媒体は、例えば、コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＤＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消却可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、および／またはメモリスティックを形成してもよい。

上述のように、カメラ１２００は、３Ｄカメラおよび／または２Ｄカメラであってもよい。２Ｄカメラは、カラー画像またはグレースケール画像などの、２Ｄ画像を生成するように構成されてもよい。３Ｄカメラは、例えば、飛行時間（ＴＯＦ）カメラもしくは構造化光カメラなどの、奥行き感知カメラ、またはいかなる他のタイプの３Ｄカメラであってもよい。一部の事例では、２Ｄカメラおよび／または３Ｄカメラは、電荷結合素子（ＣＣＤ）センサおよび／または相補型金属酸化膜半導体（ＣＭＯＳ）センサなど、画像センサを含みうる。実施形態では、３Ｄカメラは、レーザー、ＬＩＤＡＲ装置、赤外線装置、明／暗センサ、モーションセンサ、マイクロ波検出器、超音波検出器、レーダー検出器、または空間構造情報を取り込むように構成されるいかなる他の装置をも含みうる。

上述のように、画像情報が、計算システム１１００によって処理されてもよい。実施形態では、計算システム１１００は、サーバ（例えば、１つ以上のサーバブレード、プロセッサなどを有する）、パーソナルコンピュータ（例えば、デスクトップコンピュータ、ノートパソコンなど）、スマートフォン、タブレットコンピューティングデバイス、および／もしくは他のいかなる他の計算システムを含んでもよく、またはそれらとして構成されてもよい。実施形態では、計算システム１１００の機能性のすべては、クラウドコンピューティングプラットフォームの一部として行われてもよい。計算システム１１００は、単一の計算装置（例えば、デスクトップコンピュータ）であってもよく、または複数の計算装置を含んでもよい。

図２Ａは、計算システム１１００の実施形態を示す、ブロック図を提供する。計算システム１１００は、少なくとも１つの処理回路１１１０および非一時的コンピュータ可読媒体（または複数の媒体）１１２０を含む。実施形態では、処理回路１１１０は、１つ以上のプロセッサ、１つ以上の処理コア、プログラマブルロジックコントローラ（「ＰＬＣ」）、特定用途向け集積回路（「ＡＳＩＣ」）、プログラマブルゲートアレイ（「ＰＧＡ」）、フィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）、それらのいかなる組み合わせ、またはいかなる他の処理回路も含む。

実施形態では、計算システム１１００の一部である、非一時的コンピュータ可読媒体１１２０が、上で論じた中間の非一時的コンピュータ可読媒体１４００の代替または追加であってもよい。非一時的コンピュータ可読媒体１１２０は、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはそれらのいかなる適切な組み合わせなどの記憶装置であってもよく、例えば、コンピュータディスケット、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消却可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ－ＲＯＭ）、デジタル多目的ディスク（ＤＶＤ）、メモリスティック、それらのいかなる組み合わせ、またはいかなる他の記憶装置などであってもよい。一部の実例では、非一時的コンピュータ可読媒体１１２０が、複数の記憶装置を含みうる。特定の実装形態では、非一時的コンピュータ可読媒体１１２０が、カメラ１２００によって生成され、計算システム１１００によって受信される画像情報を記憶するように構成されている。非一時的コンピュータ可読媒体１１２０が、処理回路１１１０によって実行されるとき、処理回路１１１０に、図４に関して記載する操作など、本明細書に記載する１つ以上の手法を行わせるコンピュータ可読プログラム命令を、代替的または追加的に記憶してもよい。

図２Ｂは、計算システム１１００の実施形態であり、通信インターフェース１１３０を含む、計算システム１１００Ａを示している。通信インターフェース１１３０は、例えば、図１Ａ～図１Ｄのカメラ１２００によって生成された画像情報を受信するように構成されてもよい。画像情報は、上で論じた中間の非一時的コンピュータ可読媒体１４００もしくはネットワークを介して、またはカメラ１２００と計算システム１１００／１１００Ａとの間のより直接的な接続を介して受信されうる。実施形態では、通信インターフェース１１３０は、図１Ｃのロボット１３００と通信するように構成されうる。計算システム１１００が、ロボット制御システムの外部にある場合、計算システム１１００の通信インターフェース１１３０が、ロボット制御システムと通信するように構成されうる。通信インターフェース１１３０はまた、通信コンポーネントまたは通信回路と呼ばれてもよく、例えば、有線または無線プロトコルによって通信を行うように構成される通信回路を含んでもよい。例として、通信回路は、ＲＳ－２３２ポートコントローラ、ＵＳＢコントローラ、イーサネットコントローラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）コントローラ、ＰＣＩバスコントローラ、いかなる他の通信回路、またはそれらの組み合わせを含んでもよい。

実施形態では、非一時的コンピュータ可読媒体１１２０は、１つ以上の物体認識テンプレート（物体テンプレートとも呼ばれる）を記憶してもよい。１つ以上の物体認識テンプレートは、例えば、カメラ（例えば、１２００）のカメラ視野内の物体の識別、および／または物体の物体タイプの識別の決定を伴いうる、物体認識を実施するために使用されうる。したがって、１つ以上の物体認識テンプレートの各々は、それぞれの物体タイプを表してもよく、またはそれらに関連付けられてもよい。物体タイプは、容器のタイプまたはクラスなど、物体のタイプまたはクラスを指しうる。例えば、カメラ視野内の物体が容器である場合、物体認識を行うことは、容器に関連付けられた、または容器が属する容器タイプを決定することを伴いうる。こうした実施例では、物体認識テンプレートは、容器テンプレートであってもよく、特定の容器タイプ、またはより一般的には、特定の物体タイプを記述する情報（テンプレート情報とも呼ばれる）を含んでもよい。例えば、物体認識テンプレート内のテンプレート情報は、例えば、物体認識テンプレートに関連付けられた物体タイプに属する物体の視覚的デザインであり、例えば、物体タイプの外面上の視覚的パターンまたは他の視覚的詳細である、物体タイプに関連付けられた外観を記述する視覚的記述情報を含みうる。一部の実装形態では、物体認識テンプレートの視覚的記述情報（物体外観記述とも呼ばれる）は、物体認識テンプレートに関連付けられた物体タイプを有する物体に印刷されるか、または他の方法で配置される、視覚的パターンまたは他の視覚的詳細（例えば、ロゴまたはピクチャ）を記述しうる。例えば、視覚的記述情報は、視覚的詳細または視覚的デザインを表すか、または記述する、１つ以上の記述子（例えば、特徴記述子）を含みうる。一部の実装形態では、テンプレート情報は、物体タイプに関連付けられた、物理的設計、すなわちより具体的には構造（物理的構造とも呼ばれる）を記述しうる、構造記述情報を含みうる。

実施形態では、上述した１つ以上の物体認識テンプレートは、物体認識テンプレートを記憶するように割り振られる非一時的コンピュータ可読媒体上の空間であってもよい、テンプレート記憶空間に記憶されてもよい。例えば、図２Ｃは、テンプレート記憶空間（複数可）１１２２が、コンピュータシステム１１００Ｂ（計算システム１１００／１１００Ａの実施形態であってもよい）の非一時的コンピュータ可読媒体１１２０内に位置する実施例を描写する。一部の実装形態では、テンプレート記憶空間１１２２または別のテンプレート記憶空間は、図１Ｄの非一時的コンピュータ可読媒体１４００などの別の非一時的コンピュータ可読媒体に位置してもよい。テンプレート記憶空間および物体登録については、米国特許出願第１６／９９１，４６６号（弁理士整理番号ＭＪ００５４－ＵＳ／００７７－００１２ＵＳ１）でより詳細に論じられ、それらの内容全体が参照により本明細書に組み込まれる。一部の実装形態では、物体認識テンプレートは、少なくとも１つのテクスチャありテンプレートおよび少なくとも１つのテクスチャなしテンプレートを含みうる。テクスチャありテンプレートおよびテクスチャなしテンプレートについては、米国特許出願第１６／９９１，５１０号（弁理士整理番号ＭＪ００５１－ＵＳ／００７７－００１１ＵＳ１）でより詳細に論じられ、それらの内容全体が参照により本明細書に組み込まれる。一部のシナリオでは、計算システム１１００Ｂ、またはより一般的には、システム１０００／１０００Ａ／１０００Ｂ／１０００Ｃは、例えば、複数のそれぞれのタイプの物体認識テンプレートを記憶するために使用されうる、複数のテンプレート記憶空間を含みうる。例えば、テンプレート記憶空間（複数可）１１２２は、テクスチャありテンプレートを記憶するために使用される第１のテンプレート記憶空間を含んでもよく、テクスチャなしテンプレートを記憶するために使用される第２のテンプレート記憶空間を含んでもよい。物体認識テンプレートは、例えば、物体登録プロセスの一部として生成されてもよく、および／またはサーバなどの資源から受信（例えば、ダウンロード）されたものであってもよい。

実施形態では、非一時的コンピュータ可読媒体１１２０は、物体検出情報１１２６を記憶してもよく、これは、例えば、物体（例えば、カメラ視野内の容器）についての情報を含んでもよく、ここで情報は、カメラによって生成された画像情報によって表される物体に対して物体認識を実行することに基づいて、またはその結果として決定されてもよい。物体検出情報１１２６は、例えば、物体検出情報によって表される物体とのロボット相互作用を計画するために、計算システム１１００／１１００Ａ／１１００Ｂによって、および／または別の計算システムによって使用されうる。ロボット相互作用を計画することは、例えば、物体と相互作用するためのロボット（例えば、１３００）の運動を計画することを伴いうる、運動計画を実行することを伴いうる。一部の実例によっては、物体検出情報１１２６は、１つ以上の検出仮説を含むか、またはそれを記述してもよい。以下でより詳細に論じるように、１つ以上の検出仮説の各検出仮説は、どの物体または物体タイプが、カメラ（例えば、１２００）によって生成される画像情報によって表されるかの仮説であってもよい。より具体的には、検出仮説は、一部の実例では、どの物体または物体タイプがカメラのカメラ視野内にあるかの推定であってもよい。一実施例では、画像情報が１つ以上の物体認識テンプレートと比較される場合、検出仮説は、特定の物体認識テンプレートが画像情報に対応するか、または画像情報が特定の物体認識テンプレートに関連付けられた物体もしくは物体タイプを表すという仮説、またはより一般的には、推定であってもよい。

実施形態では、物体検出情報１１２６は、物体検出情報１１２６に含まれるか、またはそれによって記述される各検出仮説について、検出仮説および検出仮説に関連付けられた信頼値を示しうる。信頼値は、例えば、計算システム１１００／１１００Ａ／１１００Ｂによって計算されてもよく、検出仮説をカメラ視野内の物体に関連付けるための信頼レベル、またはより具体的には、物体を表すか、もしくは物体を識別するための検出仮説の使用における信頼レベルを示してもよい。検出仮説が、物体またはその画像情報が特定の物体認識テンプレートに対応する推定である場合、検出仮説に関連付けられた信頼値は、物体認識テンプレートが画像情報に合致する程度を示しうる。例えば、検出仮説が視覚的記述情報または構造記述情報を有する物体認識テンプレートに関連付けられる場合、検出仮説に関連付けられた信頼値は、テンプレート中の視覚的記述情報が、画像情報に記載されるような物体の外観に合致する程度を示してもよく、および／またはテンプレート中の構造記述情報が、画像情報に記載されるような物体の構造と合致する程度を示してもよい。以下でより詳細に論じるように、物体検出情報は、実施形態では、以下でより詳細に論じるように、一次検出仮説、および／または一次検出仮説に関連付けられた一次候補領域を含むか、または記述しうる。物体検出情報は、安全ボリュームリストをさらに含んでもよく、または記述してもよい。安全ボリュームリストは、１つ以上の追加の検出仮説、および／または１つ以上の追加の検出仮説に関連付けられた１つ以上の候補領域のリストであってもよい。一部の実例では、一次検出仮説は、信頼値のセットの中で最も高い信頼値に関連付けられた検出仮説であってもよい。一部の実例では、安全ボリュームリスト内の１つ以上の追加の検出仮説は、最も高い信頼値と十分に類似している１つ以上のそれぞれの信頼値に関連付けられうる。一部の実例では、安全ボリュームリスト内の１つ以上の追加の検出仮説は、所定のテンプレート合致閾値を超えるか、または少なくともそれと等しい、１つ以上のそれぞれの信頼値を有しうる。

実施形態では、物体検出情報１１２６は、カメラ視野の中、またはより具体的には、物体を表す画像情報のために、物体に関連付けられた１つ以上の候補領域を記述しうる。１つ以上の候補領域は各々、物体の物体境界位置のそれぞれの推定、またはカメラ視野内のどの位置が物体によって占有されているかについてのそれぞれの推定であってもよい。以下でより詳細に論じるように、物体検出情報１１２６は、一部の実例では、一次検出仮説に関連付けられた候補領域であってもよい、一次候補領域を識別してもよい。物体検出情報１１２６が安全ボリュームリストを含む場合、安全ボリュームリストは、一部のシナリオでは、１つ以上の追加の候補領域を識別してもよく、これはまた、物体の物体境界位置を推定するか、または物体によって占められる位置を推定してもよい。一部の実例では、物体検出情報１１２６の安全ボリュームリストは、１つ以上の追加の候補領域または１つ以上の追加の検出仮説を直接的または間接的に識別または記述しうる。一部の実装形態では、計算システム１１００／１１００Ａ／１１００Ｂは、１つ以上の追加の検出仮説に基づいて、１つ以上の追加の候補領域を決定しうる。例えば、１つ以上の追加の検出仮説は、物体サイズ情報などの構造記述情報の１つ以上のそれぞれのセットを含みうる。計算システム１１００／１１００Ａ／１１００Ｂは、構造記述情報の１つ以上のそれぞれのセットに基づいて、１つ以上の追加の候補領域を決定するように構成されてもよい。

実施形態では、物体検出情報１１２６内の安全ボリュームリストは、テンプレート記憶空間（複数可）１１２２などの記憶空間内の既存の物体認識テンプレートと全く合致しない画像情報の一部分によって表される領域でありうる、合致しない領域を識別しうる。より具体的には、合致しない領域は、以下でより詳細に論じるように、一次候補領域に隣接し、かつ所定のテンプレート合致条件を満たすことができない領域であってもよい。実施形態では、物体検出情報１１２６は、以下でより詳細に論じるように、一次候補領域を包含し、１つ以上の追加の候補領域および／または合致しない領域を包含する領域であってもよい、境界領域を記述しうる。

実施形態では、処理回路１１１０が、非一時的コンピュータ可読媒体１１２０に記憶される、１つ以上のコンピュータ可読プログラム命令によってプログラムされてもよい。例えば、図２Ｄは、計算システム１１００／１１００Ａ／１１００Ｂの実施形態である、計算システム１１００Ｃを示し、その中の処理回路１１１０は、物体認識モジュール１１２７、物体登録モジュール１１２８、および／または運動計画モジュール１１２９を含む、１つ以上のモジュールによってプログラムされる。

実施形態では、物体認識モジュール１１２７は、カメラ（例えば、１２００）によって生成された画像情報に基づいて物体認識操作を行って、画像情報によってどの物体（複数可）または物体タイプ（複数可）が表されるかを決定するように構成されてもよい。一部の実装形態では、物体認識モジュールは、画像情報を、テンプレート記憶空間１１２２内に記憶された物体認識テンプレートなどの１つ以上の物体認識テンプレートと比較することによって、物体認識操作を実行して、１つ以上の物体認識テンプレートが、画像情報とどの程度密接に合致するかを決定する、またはより具体的には、画像情報が、１つ以上の物体認識テンプレートと合致するそれぞれの度合いを決定することができる。例えば、モジュール１１２７は、画像情報を１つ以上の物体認識テンプレートと比較することに関連する１つ以上のそれぞれの信頼値を計算しうる。物体認識操作は、以下でより詳細に論じる、一次検出仮説および安全ボリュームリストを識別する情報などの、物体検出情報１１２６を生成するために使用されうる。

実施形態では、物体登録モジュール１１２８は、新しい物体認識テンプレートを生成する、および／または新しい物体認識テンプレートをテンプレート記憶空間（例えば、１１２２）に記憶するように構成されてもよい。新しい物体登録モジュール１１２８は、例えば、画像情報またはその一部分が、テンプレート記憶空間内の既存の物体認識テンプレートと全く合致しない、またはより具体的には、既存の物体認識テンプレートと比較されるときに、所定のテンプレート合致条件を満たさない、空間の領域、物体、または物体の一部分を表すときに生成されうる。

実施形態では、運動計画モジュール１１２９は、カメラ視野内の物体を表す画像情報に基づいて、運動計画を行うように構成されうる。より具体的には、運動計画は、ロボット（例えば、１３００）またはその構成要素によって実行される運動を決定することを伴ってもよく、ここで、運動は、物体検出情報１１２６に基づいて決定されてもよい。例えば、運動計画は、ロボット１３００のロボットアームのエンドエフェクタ装置（例えば、グリッパ）がどのように物体を掴むように移動するかを決定すること、および物体を掴んだ後に続くエンドエフェクタ装置の軌道を決定することを伴ってもよく、ここで、軌道は、軌道に沿った移動中に他の物体と衝突するリスクを低くしながら、エンドエフェクタ装置に物体を目的場所に移動させる。

様々な実施形態では、「コンピュータ可読命令」および「コンピュータ可読プログラム命令」という用語は、様々なタスクおよび操作を遂行するように構成される、ソフトウェア命令またはコンピュータコードを記述するために使用される。様々な実施形態では、「モジュール」という用語は、処理回路１１１０に１つ以上の機能タスクを行わせるように構成される、ソフトウェア命令またはコードの集まりを広く指す。モジュールおよびコンピュータ可読命令は、処理回路または他のハードウェアコンポーネントが、モジュールもしくはコンピュータ可読命令を実行しているときに、様々な操作またはタスクを行うものとして説明されうる。

図３Ａおよび図３Ｂは、物体検出が実行されうる例示の環境を示している。より具体的には、図３Ａは、計算システム１１００、ロボット３３００、およびカメラ３２００を含む、システム３０００（図１Ａ～図１Ｄのシステム１０００／１０００Ａ／１０００Ｂ／１０００Ｃの実施形態でありうる）を描写する。カメラ３２００は、カメラ１２００の実施形態であってもよく、カメラ３２００のカメラ視野３２１０内の情景を表す、またはより具体的には、物体３５１０および物体３５２０などのカメラ視野３２１０内の物体またはその構造を表す、画像情報を生成するように構成されてもよい。一部のシナリオでは、物体３５１０は、例えば、箱または木枠などの容器であってもよく、一方で、物体３５２０は、容器が配置されるパレットであってもよい。一実施形態では、図３Ｂに示すように、システム３０００は、カメラ視野３２１０Ａを有するカメラ３２００Ａ（カメラ１２００Ａの実施形態であってもよい）を含み、カメラ視野３２１０Ｂを有するカメラ３２００Ｂ（カメラ１２００Ｂの実施形態であってもよい）を含む、複数のカメラを含んでもよい。カメラ３２００Ａは、例えば、２Ｄ画像または他の２Ｄ画像情報を生成するように構成されている、２Ｄカメラであってもよく、一方で、カメラ３２００Ｂは、例えば、３Ｄ画像情報を生成するように構成されている、３Ｄカメラであってもよい。２Ｄ画像（例えば、カラー画像またはグレースケール画像）は、カメラ視野３２１０／３２１０Ａにおける、物体３５１０などの１つ以上の物体の外観を記述しうる。例えば、２Ｄ画像は、物体３５１０の外表面（例えば、上面）上に配置される視覚的マーキング３５１２などの視覚的詳細を捕捉してもよく、または他の方法では、表してもよい。実施形態では、３Ｄ画像情報は、物体３５１０の構造（物体３５１０の物体構造とも呼ばれる）を記述しうる。例えば、３Ｄ画像は、奥行きマップを含んでもよく、より一般的には、カメラ３２００Ｂに対する、または何らかの他の基準点に対する、カメラ視野３２１０／３２１０Ｂの様々な位置のそれぞれの奥行き値を記述しうる、奥行き情報を含んでもよい。それぞれの奥行き値に対応する位置は、物体３５１０、３５２０の１つ以上の外表面（例えば、上面）上の位置などの、カメラ視野３２１０／３２１０Ｂの様々な表面上の位置であってもよい。一部の実例では、３Ｄ画像情報は、物体３５１０、３５２０、またはカメラ視野３２１０／３２１０Ｂ内の何らかの他の物体の１つ以上の外面上の様々な位置を記述する、複数の３Ｄ座標を含みうる、点群を含みうる。

図３Ａおよび図３Ｂの実施例では、ロボット３３００（ロボット１２００の実施形態であってもよい）は、ロボット基部３３１０に取り付けられた一端を有し、かつロボットグリッパなどのエンドエフェクタ装置３３３０に取り付けられるか、またはそれらによって形成される別の端を有する、ロボットアーム３３２０を含みうる。ロボット基部３３１０は、ロボットアーム３３２０を装着するために使用されうるが、ロボットアーム３３２０、より具体的には、エンドエフェクタ装置３３３０は、ロボット３３００の環境で１つ以上の物体（例えば、３５１０）と相互作用するために使用されうる。相互作用は、例えば、１つ以上の物体を掴むか、もしくは他の方法でピックアップすること、および／または１つ以上の物体を現在の位置から目的位置へと移動することを含みうる。

図４は、物体検出を行う、例示の方法４０００の流れ図を描写する。方法４０００は、例えば、図２Ａ～図２Ｄもしくは図３Ａの計算システム１１００によって、すなわちより具体的には、計算システム１１００の少なくとも１つの処理回路１１１０によって行われてもよい。一部のシナリオでは、少なくとも１つの処理回路１１００が、非一時的コンピュータ可読媒体（例えば、１１２０）上に記憶される命令を実行することによって、方法４０００を行ってもよい。例えば、命令によって、処理回路１１１０に、方法４０００を行いうる、図２Ｄに示されたモジュールのうちの１つ以上を実行させてもよい。例として、以下に論じるステップ４００２～４０１２は、物体認識モジュール１１２７によって行われてもよい。方法４０００が、以下で論じるように、新しい物体認識テンプレートを生成することを伴う場合、こうした操作は、物体登録モジュール１１２８によって行われてもよい。方法４０００が、安全ボリュームリストに基づいて運動計画を実施することを伴う場合、これも後述するように、こうした操作は、運動計画モジュール１１２９によって実施されてもよい。実施形態では、方法４０００は、計算システム１１００が、図３Ａならびに図３Ｂのロボット３３００およびカメラ３２００／３２００Ａ／３２００Ｂなど、ロボットおよびカメラと、または本開示で論じるいかなる他のカメラもしくはロボットと通信している環境で行われてもよい。図３Ａおよび図３Ｂに示されるようないくつかのシナリオでは、カメラ（例えば、３２００）は、静止構造（例えば、部屋の天井）に装着されうる。他のシナリオでは、カメラは、ロボットアーム（例えば、３３２０）、またはより具体的には、ロボット（例えば、３３００）のエンドエフェクタ装置（例えば、３３３０）上に装着されてもよい。

実施形態では、方法４０００の１つ以上のステップは、物体（例えば、３５１０）が、現在、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）のカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）にあるときに行われてもよい。例えば、方法４０００の１つ以上のステップは、物体がカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）内に入った直後に、またはより一般的には、物体がカメラ視野内にある間に、行われてもよい。一部のシナリオでは、方法４０００の１つ以上のステップは、物体がカメラ視野内にあるか、またはカメラ視野内にあったときに行われてもよい。例えば、物体がカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）にあるとき、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）は、物体を表す画像情報を生成してもよく、画像情報を計算システム（例えば、１１００）に伝達してもよい。計算システムは、物体がまだカメラ視野内にある間、または物体がもはやカメラ視野内にないときでさえも、画像情報に基づいて方法４０００の１つ以上のステップを実施しうる。

実施形態では、方法４０００は、計算システム１１００が、カメラ（例えば、３２００／３２００Ａ／３２００Ｂ）のカメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）内の物体を表す画像情報を受信する、ステップ４００２から開始されてもよく、またはそうでなければ、ステップ４００２を含んでもよい。画像情報は、物体がカメラ視野にある（またはあった）ときに、カメラによって生成されてもよく、例えば、２Ｄ画像情報および／または３Ｄ画像情報を含みうる。例えば、図５Ａは、２Ｄ画像情報、またはより具体的には、カメラ３２００／３２００Ａによって生成され、図３Ａおよび図３Ｂの物体３５１０、３５２０を表す、２Ｄ画像５６００を示している。より具体的には、２Ｄ画像５６００は、カメラ３２００／３２００Ａの視点からの物体３５１０、３５２０の外観を記述しうる。２Ｄ画像５６００は、物体３５１０の１つ以上の表面（例えば、上面）を表す、第１の部分５６１０（例えば、ピクセルの第１の領域、ピクセル領域とも呼ばれる）を含み、物体３５２０の１つ以上の表面（例えば、上面）を表す、第２の部分５６２０を含みうる。図５Ａの実施例では、第１の部分５６１０は、物体３５１０の上面に配置された（例えば、印刷された）視覚的マーキングまたは他の視覚的詳細を捕捉するか、またはさもなければ表す、ピクセル５６１０Ａのセットを含みうる。

図５Ｂは、ステップ４００２の画像情報が３Ｄ画像情報５７００を含む、実施例を示している。より具体的には、３Ｄ画像情報５７００は、物体３５１０／３５２０の１つ以上の表面（例えば、上面）上の様々な位置のそれぞれの奥行き値を示す、例えば、奥行きマップまたは点群を含みうる。例えば、３Ｄ画像情報５７００は、物体３５１０の表面上の位置のセットのそれぞれの奥行き値を示す第１の部分５７１０を含んでもよく、物体３５２０の表面上の位置５７２０のセットのそれぞれの奥行き値を示す第２の部分５７２０を含んでもよい。それぞれの奥行き値は、３Ｄ画像情報を生成するカメラ（例えば、３２００／３２００Ｂ）に対するものであってもよく、または何らかの他の基準点に対するものであってもよい。一部の実装形態では、３Ｄ画像情報は、カメラ視野（例えば、３２１０／３２１０Ｂ）の中にある物体の構造上の様々な位置に対するそれぞれの座標を含む、点群を含みうる。図５Ｂの実施例では、点群は、物体３５１０上の位置のセットを記述するそれぞれの座標の第１のセット、および物体３５２０上の位置のセットを記述するためのそれぞれの座標の第２のセットを含みうる。座標は、［Ｘ Ｙ Ｚ］座標などの３Ｄ座標であってもよく、カメラ座標系、または何らかの他の座標系に対する値を有してもよい。

図４に戻ると、方法４０００は、一実施形態では、計算システム１１００が１つ以上の合致する物体認識テンプレートのセットを識別しうる、ステップ４００４を含みうる。実施形態では、物体（例えば、３５１０）またはその画像情報に対する合致する物体認識テンプレートは、画像情報と比較するときに、所定のテンプレート合致条件を満たす物体認識テンプレートであってもよい。所定のテンプレート合致条件は、物体認識テンプレート内のテンプレート情報が画像情報に十分に合致する（例えば、十分に類似している）ことを示す、条件であってもよい。計算システム１１００は、画像情報を、テンプレート記憶空間内の１つ以上の物体認識テンプレートの各物体認識テンプレートと比較して、１つ以上の物体認識テンプレートのどの物体認識テンプレート（存在する場合）が、所定のテンプレート合致条件を満たすかを決定するように構成されてもよい。所定のテンプレート合致条件を満たす物体認識テンプレート（複数可）は、合致する物体認識テンプレート（複数可）と呼んでもよい。

例えば、ステップ４００４における計算システム１１００は、カメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）内の物体（例えば、３５１０）を表す画像情報（例えば、５６１０／５７１０）を、図６Ａに示される物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５のセットなどの物体認識テンプレートのセットと比較しうる。物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５は、図２Ｃのテンプレート記憶空間１１２２の実施形態でありうる、テンプレート記憶空間６１２２内に記憶されうる。テンプレート記憶空間６１２２は、例えば、非一時的コンピュータ可読媒体１１２０内に位置してもよく、または別の装置（例えば、１４００）内に位置してもよい。

一部の実例では、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５のセットは、テクスチャありテンプレートであってもよく、テンプレート記憶空間６１２２は、テクスチャありテンプレートの記憶専用であってもよい。テクスチャありテンプレートは、その外観に視覚的詳細の少なくとも閾値レベルを有する、物体または物体タイプを記述するテンプレートであってもよい。テンプレートによって記述される視覚的詳細のレベルは、例えば、テンプレートの視覚的記述情報（例えば、６１２３Ａ_１、６１２３Ａ_２、６１２３Ａ_３、６１２３Ａ_４、または６１２３Ａ_５）において識別される特徴記述子の数、テンプレートが生成される画像情報において検出されるエッジの量、および／またはテンプレートが生成される画像情報のピクセル値間のコントラストもしくは分散のレベルによって示されてもよい。画像情報は、特定の物体または物体タイプを表してもよく、物体登録操作中にテンプレートのテンプレート情報（例えば、視覚的記述情報）を生成するために使用されてもよい。一部の実装形態では、テンプレートは、例えば、テンプレートが生成される画像情報が、画像情報の中の特徴記述子、エッジ、および／または分散もしくはコントラストの量を含む、１つ以上の所定の条件を満たす場合に、視覚的詳細の閾値レベルを満たすか、またはそれを超えるとみなされうる。テクスチャありテンプレートは、米国特許出願 第１６／９９１，５１０号（弁理士整理番号ＭＪ００５１－ＵＳ／００７７－００１１ＵＳ１）でより詳細に論じられ、それらの内容全体が参照により本明細書に組み込まれる。一部の実例では、図７Ａに関してより詳細に論じられるように、物体認識テンプレートは、テクスチャなしテンプレートであってもよい。

実施形態では、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５は、異なる物体または物体のタイプ（物体タイプとも呼ばれる）を表してもよく、異なる物体または物体タイプに関連付けられたそれぞれの物体デザイン（例えば、視覚的デザインおよび／または物理的デザイン）を記述してもよい。上述のように、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５は、物体登録プロセスの一部として生成されてもよく、そこでは、異なる物体タイプに関連付けられた異なる物体が、カメラ視野（例えば、３２１０／３２１０Ａ／３２１０Ｂ）内にあり、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５が、異なる物体または物体タイプを表す、画像情報のそれぞれのセットに基づいて生成された。一部の実例では、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５は、何らかの他の方法で生成（例えば、手動で生成）されてもよく、その後、その中に記憶するためにテンプレート記憶空間６１２２に通信されてもよい。

実施形態では、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５のセットは、それぞれの検出仮説のセットに関連付けられてもよく、またはより具体的には、それぞれの検出仮説を表してもよい。この例では、検出仮説は、ステップ４００２で受信される画像情報によって表される物体または物体タイプに関する仮説、またはより具体的には、画像情報によって表される物体または物体タイプに関する推定であってもよい。例えば、物体認識テンプレート６１２２Ａ_１は、物体認識テンプレート６１２２Ａ_１のテンプレート情報によって記述される特定の物体デザイン（例えば、視覚的デザインおよび／または物理的デザイン）を有するか、またはそれに関連付けられた物体タイプを表しうる。物体デザインを記述するテンプレート情報は、以下でより詳細に論じられる、視覚的記述情報６１２３Ａ_１および／または構造記述情報６１２４Ａ_１（物体構造情報または物体構造記述とも呼ばれる）を含んでもよい。この実施例では、物体認識テンプレート６１２２Ａ_１は、画像情報５６００によって、またはその部分５６１０によって表される物体（例えば、３５１０）が、物体認識テンプレート６１２２Ａ_１によって表される物体タイプに属するか、またはそれを有すると推定する、それぞれの検出仮説を表してもよく、またはそうでなければ、それに関連付けられてもよい。言い換えれば、物体認識テンプレート６１２２Ａ_１に関連付けられた検出仮説は、物体認識テンプレート６１２２Ａ_１によって表されるか、またはそうでなければ、それに関連付けられた物体タイプを有する物体を画像情報が表しているという、仮説または推測であってもよい。同様に、物体認識テンプレート６１２２Ａ_２／６１２２Ａ_３／６１２２Ａ_４／６１２２Ａ_５に関連付けられた検出仮説は、画像情報が、物体認識テンプレート６１２２Ａ_２／６１２２Ａ_３／６１２２Ａ_４／６１２２Ａ_５に関連付けられた物体タイプを有する物体を表すという仮説または推測であってもよい。一部の実装形態では、検出仮説は、特定の物体認識テンプレートに関連付けられたテンプレート識別子（例えば、テンプレートＩＤ）を含んでもよく、またはそれによって表されてもよい。例えば、物体認識テンプレート６１２２Ａ_１に関連付けられた検出仮説は、一部の実装形態では、物体認識テンプレート６１２２Ａ_１を識別するテンプレートＩＤを含みうる。一部の実装形態では、検出仮説は、特定の物体タイプを識別しうる、物体タイプ識別子を含んでもよく、または物体タイプ識別子によって表されてもよい。例えば、物体認識テンプレート６１２２Ａ_１は、特定の物体タイプＩＤを有する物体タイプに関連付けられてもよく、またはそれを表してもよく、物体認識テンプレート６１２２Ａ_１に関連付けられる検出仮説は、物体タイプＩＤを含んでもよく、または物体タイプＩＤによって表されてもよい。

上述のように、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５は、ステップ４００２で受信した画像情報によって、どの物体または物体タイプが表されるかのそれぞれの推定である、それぞれの検出仮説に関連付けられてもよい。実施形態では、計算システム１１００は、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５に関連付けられた、またはそれぞれの検出仮説に関連付けられた、それぞれの信頼値を計算するか、または他の方法でそれを決定するように構成されてもよい。より具体的には、それぞれの信頼値は、画像情報を物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５と比較することに関連付けられてもよく、検出仮説におけるそれぞれの信頼レベル、またはより具体的には、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５が、画像情報またはその一部分と合致するそれぞれの度合いを示してもよい。信頼値は、ステップ４００４が実施される前に、ステップ４００４が実施される間、またはステップ４００４の一部として、または何らかの他の時間に計算されてもよい。

図６Ａの実施例では、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５の各々は、それぞれの視覚的記述情報およびそれぞれの構造記述情報を含みうる。上述したように、物体認識テンプレートの視覚的記述情報（例えば、６１２３Ａ_１）は、物体認識テンプレートに関連付けられた物体もしくは物体タイプの外観を記述してもよく、またはそうでなければ、その外観を表してもよく、またはより具体的には、物体もしくは物体タイプに関連付けられた視覚的デザインを記述してもよい。１つの実施例では、物体認識テンプレート内の視覚的記述情報は、物体認識テンプレートに関連付けられた物体または物体タイプ上に表示される視覚的マーキングまたは他の視覚的詳細に基づいて、またはより具体的には、エンコードされて生成される１つ以上の記述子（例えば、特徴記述子）を含みうる。実施形態では、物体認識テンプレートの構造記述情報（例えば、６１２４Ａ_１）は、物体認識テンプレートに関連付けられた物体または物体タイプの構造（物理的構造とも呼ばれる）を記述しうる。例えば、物体認識テンプレートの構造記述情報は、物体タイプに関連付けられた物体サイズまたは物体形状を記述してもよく、より具体的には、物体タイプに属するか、または物体タイプを有する物体を記述してもよい。一部の実装形態では、構造記述情報は、点群（例えば、シミュレーション点群）、または物体タイプに関連付けられた物体構造を記述するコンピュータ支援デザイン（ＣＡＤ）ファイルを含みうる。

上述のように、計算システム１１００は、ステップ４００２で受信した画像情報を、物体認識テンプレートのセットと比較しうる。図６Ｂは、図５Ａの画像情報、またはより具体的には、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５のセット、もしくはより具体的には、物体認識テンプレートのセットの視覚的記述情報６１２３Ａ_１～６１２３Ａ_５のそれぞれのセットと比較されている２Ｄ画像５６００（物体３５１０を表す）の一部分５６１０を示している。例えば、視覚的記述情報６１２３Ａ_１～６１２３Ａ_５のそれぞれのセットが記述子を含む場合、計算システム１１００は、画像情報（例えば、５６１０）から記述子を決定しうる。次いで、計算システム１１００は、画像情報からの記述子を、視覚的記述情報６１２３Ａ_１～６１２３Ａ_５のそれぞれのセットの記述子と比較しうる。計算システム１１００は、スケール不変特徴変換（ＳＩＦＴ：ｓｃａｌｅ－ｉｎｖａｒｉａｎｔ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）アルゴリズム、高速化ロバスト特徴（ＳＵＲＦ：ｓｐｅｅｄｅｄ ｕｐ ｒｏｂｕｓｔ ｆｅａｔｕｒｅｓ）アルゴリズム、加速セグメントテストからの特徴（ＦＡＳＴ：ｆｅａｔｕｒｅ ｆｒｏｍ ａｃｃｅｌｅｒａｔｅｄ ｓｅｇｍｅｎｔ ｔｅｓｔ）検出アルゴリズム、ならびに／もしくは配向ＦＡＳＴおよび回転二値ロバスト相互依存基本特徴（ＯＲＢ：ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ ｒｏｔａｔｅｄ ｂｉｎａｒｙ ｒｏｂｕｓｔ ｉｎｔｅｒｄｅｐｅｎｄｅｎｔ ｅｌｅｍｅｎｔａｒｙ ｆｅａｔｕｒｅｓ）アルゴリズム、または他の技術などの、技術に基づいて、記述子（例えば、特徴記述子）を生成することができる。

実施形態では、ステップ４００２における計算システム１１００によって、画像情報（例えば、５６１０）が物体認識テンプレート（６１２２Ａ_１～６１２２Ａ_５）のセットの各々にどの程度密接に合致するかを決定することができる。例えば、図６Ｂに示すように、計算システム１１００は、画像情報またはその部分５６１０を物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５と比較することによって、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５に関連付けられたそれぞれの信頼値を計算してもよい。上述したように、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５は、それぞれの検出仮説のセットに関連付けられてもよい。したがって、計算された信頼値は、それぞれの検出仮説のセットとさらに関連付けられてもよい。一部の実装形態では、信頼値は、物体検出情報の一部として記憶されてもよい。例えば、図６Ｃは、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５に関連付けられ、対応する検出仮説Ａ_１～Ａ_５に関連付けられる、信頼値のセットを示している。信頼値は、物体検出情報６１２６（物体検出情報１１２６の実施形態であってもよい）の一部として記憶されてもよい。信頼値は、それぞれの検出仮説のセットにおけるそれぞれの信頼のレベルを示しうる。より具体的には、信頼値は、画像情報（例えば、５６００）、またはその一部分（例えば、５６１０）が、それぞれの検出仮説Ａ_１～Ａ_５のセットに関連付けられた物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５に合致するそれぞれの度合いを示しうる。例えば、画像情報が、カメラ視野（例えば、３２１０／３２１０Ａ）における物体（例えば、３５１０）の外観を表す２Ｄ画像情報を含む場合、信頼値は、２Ｄ画像情報が、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５における視覚的記述情報６１２３Ａ_１～６１２３Ａ_５のそれぞれのセットに合致するそれぞれの度合いを示しうる。一部の実装形態では、信頼値は、２Ｄ画像情報と、視覚的記述情報６１２３Ａ_１～６１２３Ａ_５のそれぞれのセットとの間のそれぞれの類似性の度合いを示しうる。

実施形態では、画像情報が３Ｄ画像情報を含む場合、信頼値は、３Ｄ画像情報が構造記述情報６１２４Ａ_１～６１２４Ａ_５のそれぞれのセットに合致するそれぞれの度合いを示しうる。例えば、信頼値は、３Ｄ画像情報と、構造記述情報６１２４Ａ_１～６１２４Ａ_５のそれぞれのセットとの間のそれぞれの類似性の度合いを示しうる。

上述したように、合致する物体認識テンプレートは、画像情報（例えば、５６００）、または画像情報の一部分（例えば、５６１０）と比較されたときに、所定のテンプレート合致条件を満たす物体認識テンプレートであってもよい。したがって、上述の１つ以上の合致する物体認識テンプレートのセット、および１つ以上の合致する物体認識テンプレートのセットに関連付けられたそれぞれの１つ以上の検出仮説のセットは各々、所定のテンプレートの合致条件を満たすことができる。実施形態では、所定のテンプレート合致条件は、物体認識テンプレートが、ステップ４００２で受信された画像情報と十分に高いレベルの類似性を有することを示す、および／または物体認識テンプレートと画像情報との間の差のレベルが充分に低いことを示す、信頼値を有するか、または信頼値に関連付けられる、物体認識テンプレートを伴いうる。例えば、所定のテンプレート合致条件は、物体認識テンプレートに割り当てられるか、または他の方法でそれに関連付けられた信頼値が、所定のテンプレート合致閾値を超える条件であってもよく、またはそれを含んでもよい。この所定の閾値は、例えば、手動で定義された値、または計算システム１１００によって以前に計算もしくは別様に定義された値であってもよく、例えば、非一時的コンピュータ可読媒体１１２０／１４００に記憶されてもよく、または別の場所に記憶されてもよい。

１つの実施例では、可能な信頼値は、最小の可能な信頼値０から、最大の可能な信頼値１．００の範囲であってもよく、実施例の所定のテンプレート合致閾値は、例えば、０．９０または０．８０であってもよい。こうした実施例では、所定のテンプレート合致条件は、所定のテンプレート合致閾値と等しいか、またはそれを超える信頼値を伴いうる。この例示的なテンプレート合致条件に基づいて、計算システム１１００は、１つ以上の合致する物体認識テンプレートを識別してもよく、および／または１つ以上の合致する物体認識テンプレートにそれぞれ関連付けられる１つ以上の検出仮説を識別してもよい。例えば、計算システム１１００は、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_３を、それらのそれぞれの信頼値が０．９０を超えるか、または０．８０を超えるため、合致する物体認識テンプレートとして識別してもよく、物体認識テンプレート６１２２Ａ_４および６１２２Ａ_５が、それらのそれぞれの信頼値が０．９０未満または０．８０未満であるため、合致する物体認識テンプレートではないものとして決定してもよい。したがって、図６Ｂおよび図６Ｃの実施例では、計算システム１１００は、複数の物体認識テンプレート（６１２２Ａ_１～６１２２Ａ_５）の中から、複数の合致する物体認識テンプレート（６１２２Ａ_１～６１２２Ａ_３）を識別することができる。複数の合致する物体認識テンプレート６１２２Ａ_１～６１２２Ａ_３は、図６Ｃの検出仮説Ａ_１、検出仮説Ａ_２、および検出仮説Ａ_３と関係付けられうる。

図４に戻ると、方法４０００は、一実施形態では、計算システム１１００が、１つ以上の合致する物体認識テンプレートにそれぞれ関連付けられている１つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択するステップ４００６を含みうる。上述したように、１つ以上の合致する物体認識テンプレートは、例えば、ステップ４００２の画像情報と比較されたときに、所定のテンプレート合致条件を満たす、物体認識テンプレートであってもよい。画像情報が、図５Ａに示すように２Ｄ画像情報を含む場合、１つ以上の合致する物体認識テンプレート（例えば、６１２２Ａ_１、６１２２Ａ_２、６１２２Ａ_３）は各々、受信された２Ｄ画像情報と比較したときの所定のテンプレート合致条件を満たすために、計算システム１１００によって（例えば、処理回路１１１０によって）決定される、視覚的記述情報（例えば、６１２３Ａ_１、６１２３Ａ_２、６１２３Ａ_３）のそれぞれのセットを含みうる。画像情報が、図５Ｂに示すように３Ｄ画像情報を含む場合、１つ以上の合致する物体認識テンプレートは各々、受信された３Ｄ画像情報と比較されるときに、計算システム１１００によって、所定のテンプレート合致条件を満たすように決定される、構造記述情報のそれぞれのセットを含みうる。

実施形態では、計算システム１１００は、一次物体認識テンプレートとして、ステップ４００４で識別された１つ以上の合致する物体認識テンプレートのセットの中から合致する物体認識テンプレートを選択することによって、ステップ４００６を実施することができる。ステップ４００６で識別される一次検出仮説は、一次物体認識テンプレートに関連付けられた検出仮説であってもよい。図６Ｂおよび図６Ｃの実施例では、１つ以上の合致する物体認識テンプレートは、物体認識テンプレート６１２２Ａ_１～６１２２Ａ_３を含みうる。こうした実施例では、一次物体認識テンプレートは、合致する物体認識テンプレート６１２２Ａ_１～６１２２Ａ_３の中から選択されてもよい。したがって、一次物体認識テンプレートは、合致する物体認識テンプレートであってもよく、合致する物体認識テンプレートは、例えば、画像情報（例えば、２Ｄ画像情報または３Ｄ画像情報）と比較されるときに、計算システム１１００によって、所定のテンプレート合致条件に合致するように決定される、視覚的記述情報および／または構造記述情報を含みうる。実施形態では、計算システム１１００は、１つ以上の合致する物体認識テンプレートに関連付けられた１つ以上の検出仮説の中から、一次検出仮説を選択しうる。例えば、合致する物体認識テンプレートが、検出仮説Ａ_１～Ａ_３に関連付けられるテンプレート６１２２Ａ_１～６１２２Ａ_３である場合、一次検出仮説は、検出仮説Ａ_１～Ａ_３の中から選択される検出仮説であってもよい。

実施形態では、一次検出仮説または一次物体認識テンプレートは、１つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有する、検出仮説または合致する物体認識テンプレートであってもよい。１つ以上の信頼値のセットは、１つ以上の合致する物体認識テンプレート（例えば、６１２２Ａ_１～６１２２Ａ_３）のセット、および／または１つ以上の対応する検出仮説（例えば、検出仮説Ａ_１～Ａ_３）に関連付けられてもよい。例えば、図６Ｄは、計算システム１１００が、検出仮説Ａ_１を、一次検出仮説として識別し、および／または物体認識テンプレート６１２２Ａ_１を、一次物体認識テンプレートとして識別する実施例を示している。一次検出仮説は、例えば、物体検出情報６１２６によって記述または識別されてもよい。この実施例では、物体認識テンプレート６１２２Ａ_１は、合致する物体認識テンプレート（例えば、６１２２Ａ_１、６１２２Ａ_２、６１２２Ａ_３）のそれぞれの信頼値（例えば、０．９９、０．９３、０．９２７）のうち、最も高い信頼値（例えば、０．９９）を有する、合致する物体認識テンプレートであるため、一次物体認識テンプレートとして識別されうる。一部の実装形態では、計算システム１１００は、検出仮説Ａ_１が上述したそれぞれの信頼値の中で最も高い信頼値を有するため、検出仮説Ａ_１を、一次検出仮説として識別しうる。

実施形態では、計算システム１１００は、１つ以上の合致する物体認識テンプレートのセットの中から、一次物体認識テンプレートをランダムに選択することができ、および／または１つ以上の合致する物体認識テンプレートのセットに関連付けられた１つ以上の検出仮説のセットの中から、一次検出仮説をランダムに選択することができる。こうしたランダムな選択は、例えば、合致する物体認識テンプレート、またはそれらの検出仮説が、非常に類似または実質的に等しいそれぞれの信頼値を有するときに発生しうる。例えば、合致する物体認識テンプレート６１２２Ａ_１～６１２２Ａ_３、およびそれらの対応する検出仮説Ａ_１～Ａ_３が、同じか、または非常に類似したそれぞれの信頼値を有する場合、計算システム１１００は、合致する物体認識テンプレート６１２２Ａ_１～６１２２Ａ_３のうちの１つを、一次物体認識テンプレートとして、ランダムに選択し、および／または対応する検出仮説Ａ_１～Ａ_３のうちの１つを、一次検出仮説として、ランダムに選択するように構成されうる。一部の実装形態では、計算システム１１００が、１つ以上の合致する物体認識テンプレートのセットの中から一次物体認識テンプレートをランダムに選択する場合、そのような選択を行うために信頼値を使用するのではなく、計算システム１１００は、信頼値の計算を省略しうる。

図４に戻ると、方法４０００は、一実施形態では、計算システム１１００が、一次検出仮説に基づくか、またはより具体的には、一次検出仮説に関連付けられた合致する物体認識テンプレートに基づく、候補領域であってもよい、一次候補領域を生成しうる、ステップ４００８を含みうる。こうした合致する物体認識テンプレートは、上述した一次物体認識テンプレートであってもよい。実施例として、図６Ｅは、この実施例では、物体認識テンプレート６１２２Ａ_１である、一次物体認識テンプレートに基づいて生成されうる一次候補領域６１２５Ａ_１を記述する、物体検出情報６１２６を示している。実施形態では、候補領域は、物体（例えば、３５１０）の物体境界位置の推定、またはカメラ視野（例えば、３２１０）内のどの位置が物体によって占有されているかの推定であってもよい。物体境界位置または物体によって占有された位置は、物体によって占有された空間の領域に対応するか、またはそれを表すことができる。この実施形態では、推定された物体境界位置は、例えば、物体の物理的構造を画定する１つ以上の境界に対する推定された位置を指しうる。例えば、ステップ４００２の受信した画像情報によって表される物体（例えば、３５１０）の候補領域は、物体によって占有されるカメラ視野（例えば、３２１０）内の推定された物理的領域を画定しうる。一部の実装形態では、候補領域は、物理的領域を囲むコーナーもしくはエッジを画定もしくは識別することによって、物理的領域のサイズ（例えば、長さ値、幅値、および／または高さ値）を画定もしくは識別することによって、および／または物理的領域の形状を画定または識別することによって、物理的領域を画定しうる。こうした実施例では、物体境界位置は、候補領域の１つ以上のエッジまたはコーナーによって推定されてもよい。

一部の実例例では、一次候補領域（例えば、６１２５Ａ_１）は、ステップ４００２の画像情報にさらに基づいて生成されてもよい。例えば、計算システム１１００は、画像情報４００２を使用して、物体コーナーまたは物体エッジの位置などの、画像情報によって表される物体（例えば、３５１０）の特徴の位置を決定してもよい。この実施例では、一次候補領域（例えば、６１２５Ａ_１）がコーナーまたはエッジを有する場合、計算システム１１００は、物体コーナーまたは物体エッジの位置と等しいか、またはそれに基づいて、一次候補領域のコーナーまたはエッジの位置を決定しうる。

上述のように、計算システム１１００は、一次検出仮説に関連付けられた合致する物体認識テンプレートであってもよい、一次物体認識テンプレートに基づいて、一次候補領域を生成してもよい。より一般的には、候補領域は、候補領域に関連付けられた物体認識テンプレートに基づいて生成されてもよい。例えば、物体認識テンプレートは、物体タイプに関連付けられた物体サイズおよび／または物体形状を識別する、構造記述情報を含んでもよく、候補領域は、物体認識テンプレートの構造記述情報に基づいて生成されてもよい。実施例として、計算システム１１００は、物体認識テンプレート６１２２Ａ_１の構造記述情報６１２４Ａ_１に基づいて、一次検出領域６１２５Ａ_１を生成しうる。特定の実例では、計算システム１１００は、対応する物体認識テンプレート（例えば、６１２２Ａ_１）内の構造記述情報（例えば、６１２４Ａ_１）によって記述される物体サイズおよび／または物体形状と同じまたは実質的に同じであるサイズおよび／または形状を有するように、候補領域（例えば、６１２５Ａ_１）を決定または生成することができる。

図４に戻ると、方法４０００は、一実施形態では、ステップ４０１０を含んでもよく、ここにおいて、計算システム１１００は、（ｉ）１つ以上の合致する物体認識テンプレートのセットが、一次の合致する物体認識テンプレート（例えば、６１２２Ａ_１、これは、一次検出仮説Ａ_１に関連付けられた合致する物体認識テンプレートである）に加えて、１つ以上の残りの合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）のサブセットを有しているかどうか、または（ｉｉ）画像情報が、合致しない領域を表す一部分を有しているかどうか、のうちの少なくとも１つを決定する。

より具体的には、本開示の一態様は、物体とのロボット相互作用を計画するのに有用でありうる、一次物体認識テンプレートまたは一次検出仮説を識別することだけでなく、ロボット相互作用を計画するのにも有用でありうる、他の物体認識テンプレートまたは検出仮説を識別することにもよって、物体検出の頑健性を改善することに関する。例えば、一部のシナリオは、物体を表す（例えば、画像情報と比較した場合に、所定のテンプレート合致条件を満たす）２つ以上の物体認識テンプレート合致画像情報を伴いうる。言い換えれば、本開示の一態様は、一次物体認識テンプレート（例えば、６１２２Ａ_１、これは、画像情報５６００／５６１０に対する合致する物体認識テンプレートである）に加えて、画像情報と比較して、所定のテンプレートの合致条件をさらに満たす、１つ以上の追加の合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）が存在する状況に関する。例えば、１つ以上の追加の物体認識テンプレートは、すべてが所定のテンプレート合致閾値より上にある、それぞれの信頼値に関連付けられうる。特定の状況では、撮像ノイズまたは他の誤差源により、一次検出仮説、一次物体認識テンプレート、または一次候補領域が、物体を表す際に、またはロボット相互作用を計画するために使用される際に、完全に正確ではないリスクが生じる場合、１つ以上の追加の検出仮説または１つ以上の追加の物体認識テンプレートを使用して、そのリスクを補償することができる。例えば、これらは、ロボット相互作用を計画する際に考慮されうる追加情報を提供しうる、以下でより詳細に論じる安全ボリュームリストを生成するために使用されうる。物体検出を実施するとき、および／またはロボット相互作用を計画するときに、この追加情報を考慮に入れることによって、これらのプロセスは、より堅牢になり、様々な誤差源の影響を受けにくくなりうる。

１つの実施例では、計算システム１１００は、上で論じた１つ以上の合致する物体認識テンプレートのセットが、複数の合致する物体認識テンプレートを含むかどうかを決定することによって、ステップ４０１０を実施しうる。複数の合致する物体認識テンプレートのこうしたセットは、一次物体認識テンプレート（６１２２Ａ_１）を含んでもよく、１つ以上の残りの合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）のサブセットをさらに含んでもよい。上述のように、１つ以上の残りの合致する物体認識テンプレートのサブセットは、画像情報（例えば、５６００／５６１０）と比較されたときに、所定のテンプレート合致条件をさらに満たす、１つ以上の物体認識テンプレートであってもよい。例えば、画像情報が２Ｄ画像情報を含む場合、サブセット内の少なくとも１つの合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）は、画像情報と比較されたときに、視覚的記述情報（例えば、６１２３Ａ_２、６１２３Ａ_３）が画像情報に十分に類似していることを示しうる、所定のテンプレートの合致条件を満たす、視覚的記述情報（例えば、６１２３Ａ_２、６１２３Ａ_３）のそれぞれのセットを含みうる。言い換えれば、１つ以上の合致する物体認識テンプレートのサブセットにおける少なくとも１つの合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）は、画像情報（例えば、５６００／５６１０）によって表される物体の視覚的外観を合致させることによって、所定の合致条件を満たすことができる。計算システム１１００は、少なくとも１つの物体認識テンプレートに基づいて、以下で論じる安全ボリュームリストを生成するように構成されうる。さらに上述したように、一次物体認識テンプレート（６１２２Ａ_１）は、一部の実例では、物体の視覚的外観を合致させることによっても、所定のテンプレート合致条件を満たす場合がある。

一部の状況では、１つ以上の合致する物体認識テンプレートは、画像情報（例えば、５７００／５７１０）によって表される物体の構造を合致させることによって、所定のテンプレート合致条件を満たすことができる。これらの合致する物体認識テンプレートは、一次物体認識テンプレートを含んでもよく、および／または別の合致する物体認識テンプレートを含んでもよい。例えば、ステップ４００２で受信された画像情報が２Ｄ画像５６００と３Ｄ画像情報５７００の組み合わせを含む場合、物体認識テンプレート６１２２Ａ_１は、２Ｄ画像５６００と比較されるときに、所定のテンプレート合致条件を満たす視覚的記述情報６１２３Ａ_１を有してもよく、３Ｄ画像情報５７００と比較されるときに、所定のテンプレート合致条件を満たす構造記述情報６１２４Ａ_１をさらに有してもよい。別の実施例として、以下でより詳細に論じる図７Ａは、３Ｄ画像情報５７００（例えば、点群）と比較したときに、所定のテンプレート合致条件を満たす構造記述情報７１２４Ｂ_１を有する物体認識テンプレート７１２２Ｂ_１を描写している。計算システム１１００は、物体認識テンプレートに基づいて、以下で論じる安全ボリュームリストを生成するように構成されうる。

図６Ａ～図６Ｃの実施例では、一次物体認識テンプレート６１２２Ａ_１は、検出仮説Ａ_１に関連付けられた合致する物体認識テンプレートであってもよく、一方で、残りの合致する物体認識テンプレート６１２２Ａ_２および６１２２Ａ_３のサブセットは、それぞれ、検出仮説Ａ_２およびＡ_３に関連付けられてもよい。検出仮説Ａ_１は、画像情報５６００／５６１０によって表される物体３５１０とのロボット相互作用を計画するために使用される一次検出仮説であってもよく、一方で、検出仮説Ａ_２およびＡ_３は、ロボット相互作用を計画するために使用される二次検出仮説であってもよい。

また上述したように、本開示の一態様は、一次物体認識テンプレートが、画像情報の第１の部分に合致するか、または他の方法では対応することができるが、画像情報の第２の部分が、１つ以上のテンプレート記憶空間（例えば、１１２２）から利用可能であるすべての既存の物体認識テンプレートと十分に合致しない状況に関する。言い換えれば、画像情報によって取り込まれるか、または他の方法では表される第１の物理的領域は、例えば、一次物体認識テンプレートによって合致されてもよく、または説明されてもよいが、画像情報によって表される第２の物理的領域は、１つ以上のテンプレート記憶空間内のすべての既存の物体認識テンプレートとは十分に合致しない。第１の物理的領域は、例えば、上述した一次候補領域に対応してもよく、一方で、第２の物理的領域は、合致しない領域または説明不能な領域と呼ばれてもよい。より具体的には、合致しない領域または説明不能な領域は、既存の物体認識テンプレートと比較された場合に、所定のテンプレート合致条件を満たすことができない画像情報の一部分によって表される、領域であってもよい。したがって、一部のシナリオでは、ステップ４０１０における計算システムは、画像情報が、合致しない領域を表す一部分（例えば、合致しない画像部分とも呼ばれる第２の部分）を有しているかどうかを決定しうる。一部の実装形態では、計算システム１１００は、一次候補領域に隣接する合致しない領域があるかどうかを特異的に決定しうる。合致しない領域を含むシナリオは、例えば、図１１Ａ～図１１Ｅおよび図１２Ａ～図１２Ｈに関してより詳細に以下で説明される。

図４に戻ると、方法４０００は、一実施形態では、計算システム１１００が安全ボリュームリストを生成するステップ４０１２を含みうる。実施形態では、安全ボリュームリストは、１つ以上の合致する物体認識テンプレートのセットが、一次物体認識テンプレートに加えて、１つ以上の残りの合致する物体認識テンプレートのサブセットを有するという決定に応答して、および／または合致しない領域を表す画像部分を有する画像情報に応答して生成されうる。安全ボリュームリストは、１つ以上の候補領域のリスト、１つ以上の検出仮説のリスト、および／または１つ以上の合致しない領域のリストであってもよい。

一部の実装形態では、安全ボリュームリストが、１つ以上の検出仮説のリストである場合、１つ以上の検出仮説は、上述した１つ以上の残りの合致する物体認識テンプレートのサブセットに関連付けられうる。例えば、図６Ａ～図６Ｃは、一次物体認識テンプレート６１２２Ａ_１および残りの合致する物体認識テンプレート６１２２Ａ_２、６１２２Ａ_３のサブセットを含む、複数の合致する物体認識テンプレートのセットがある実施例を示している。図６Ｄに関して上述したように、計算システムは、物体検出情報６１２６の一部として、一次物体認識テンプレート６１２２Ａ_１に関連付けられた一次検出仮説Ａ_１を識別または記述しうる。この実施例では、計算システム１１００は、物体検出情報６１２６内に、残りの合致する物体認識テンプレート６１２２Ａ_２、６１２２Ａ_３のサブセットに関連付けられた１つ以上の二次検出仮説を識別する安全ボリュームリストをさらに含みうる。より具体的には、二次検出仮説は、合致する物体認識テンプレート６１２２Ａ_２および合致する物体認識テンプレート６１２２Ａ_３に関連付けられている、検出仮説Ａ_２および検出仮説Ａ_３を含みうる。したがって、物体検出情報６１２６は、合致する物体認識テンプレート（例えば、６１２２Ａ_１）のうちの１つに関連付けられた一次検出仮説（例えば、Ａ_１）を含んでもよく、１つ以上の残りの合致する物体認識テンプレート（例えば、６１２２Ａ_２、および６１２２Ａ_３）のサブセットに関連付けられた１つ以上の残りの検出仮説（例えば、Ａ_２、およびＡ_３）のサブセットを含んでもよい、複数の検出仮説のセットを識別または記述してもよい。一部の実例では、残りの検出仮説Ａ_２、およびＡ_３のサブセットは、二次検出仮説とみなされる場合があり、これは、例えば、これらが、一次検出仮説Ａ_１に関連付けられた信頼値（例えば、０．９９）よりも小さい信頼値（例えば、０．９３および０．９２７）に関連付けられていることが理由である。より一般的には、一次検出仮説として選択されない検出仮説は、二次検出仮説とみなされうる。

実施形態では、計算システム１１００は、検出仮説に関連付けられた信頼値が、一次検出仮説に関連付けられた信頼値と十分に類似しているかどうかに基づいて、安全ボリュームリストが特定の検出仮説を含むかどうかを決定するように構成されてもよい。特定の検出仮説は、上述した１つ以上の残りの合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）のサブセットに関連付けられた１つ以上の残りの検出仮説（例えば、Ａ_２、Ａ_３）のサブセットのうちの１つであってもよい。実施例として、計算システム１１００は、１つ以上の残りの検出仮説（例えば、Ａ_２、Ａ_３）のサブセットにおける各検出仮説について、検出仮説に関連付けられたそれぞれの信頼値（例えば、０．９３、０．９２７）が、一次検出仮説に関連付けられた信頼値（例えば、０．９９）に対する所定の信頼類似性閾値内にあるかどうかを決定することができる。所定の信頼類似性閾値は、例えば、非一時的コンピュータ可読媒体１１２０または他の場所に記憶される値であってもよい。実施例として、所定の信頼類似性閾値は、例えば、０．１、０．２、または何らかの他の値であってもよい。計算システム１１００が、サブセット内の特定の検出仮説（例えば、Ａ_２、Ａ_３）に関連付けられたそれぞれの信頼値が、所定の信頼類似性閾値内にあると決定した場合、計算システム１１００は、検出仮説を安全ボリュームリストに追加し、より一般的には、検出仮説に基づいて安全ボリュームリストが生成されるように、検出仮説を安全ボリュームリストに含めるように決定しうる。一部の実例では、検出仮説（例えば、Ａ_２、Ａ_３）を安全ボリュームリストに追加することは、検出仮説に関連付けられる候補領域（例えば、図６Ｅの６１２５Ａ_２、６１２５Ａ_３）をも含む安全ボリュームリストをもたらしうる。こうした候補領域は、以下でより詳細に論じるように、一次候補領域（例えば、６１２５Ａ_１）とともに、物体検出情報６１２６によって記述される二次候補領域であってもよい。

実施形態では、計算システム１１００は、検出仮説に関連付けられた信頼値が、所定のテンプレート合致閾値と等しいか、またはそれより大きいかどうかに基づいて、安全ボリュームリストが特定の検出仮説を含むかどうかを決定するように構成されてもよい。こうした状態は、合致する物体認識テンプレートに関連付けられる検出仮説を表してもよく、所定のテンプレート合致条件を満たすことができない物体認識テンプレートに関連付けられるすべての検出仮説を除外した、安全ボリュームリストをもたらしうる。一部の実装形態では、安全ボリュームリスト内の各検出仮説は、以下でより詳細に論じるように、候補領域に関連付けられうる。

実施形態では、物体検出情報６１２６は、計算システム１１００によって、または別の計算システムによって使用されて、ロボット（例えば、３３００）と、受信した画像情報（例えば、５６００／５７００）によって表される物体（例えば、３５１０）との間のロボット相互作用を計画してもよい。物体検出情報に安全ボリュームリストを含めることによって、計算システム１１００は、画像情報によって表される物体または物体タイプに関する一次検出仮説（例えば、Ａ_１）だけでなく、どの物体または物体タイプが画像情報によって表されるかに関する１つ以上の二次検出仮説（例えば、Ａ_２、Ａ_３）にもアクセスすることができる。したがって、安全ボリュームリストは、上述のように、ロボット相互作用を計画するために追加情報を利用可能にしてもよく、これは、計画されたロボット相互作用の頑健性を改善しうる。

実施形態では、安全ボリュームリストは、さらに上述するように、１つ以上の候補領域のリスト、またはより具体的には、１つ以上の二次候補領域のリストであってもよい。より具体的には、計算システム１１００は、ステップ４００８に関連して上述したように、一次物体認識テンプレート（例えば、６１２２Ａ_１）および／または一次検出仮説（例えば、Ａ_１）に関連付けられる一次候補領域（例えば、６１２５Ａ_１）を識別しうる。ステップ４０１２の実施形態において、計算システム１１００は、図６Ｅの候補領域６１２５Ａ_２、および６１２５Ａ_３などの１つ以上の追加の候補領域を含む、安全ボリュームリストをさらに生成することができる。したがって、こうした実施形態では、物体検出情報６１２６は、複数の合致する物体認識テンプレートに基づいて、複数の候補領域を記述しうる。複数の候補領域（例えば、６１２５Ａ_１～６１２５Ａ_３）は、一次物体認識テンプレートに基づいて生成される一次候補領域（例えば、６１２５Ａ_１）を含んでもよく、１つ以上の残りの合致する物体認識テンプレート（例えば、６１２２Ａ_２、および６１２２Ａ_３）のサブセットに関連付けられ、およびそれらに基づいて生成される、１つ以上の追加の候補領域（例えば、６１２５Ａ_２および６１２５Ａ_３）を含んでもよい。実施形態では、１つ以上の追加の候補領域の一部である各候補領域は、上述したように、一次検出仮説の信頼値に対する所定の信頼類似性閾値内にあるそれぞれの信頼値を有する、検出仮説に関連付けられてもよい。実施形態では、１つ以上の追加の候補領域の各候補領域は、上記でも論じるように、所定のテンプレート合致閾値以上の信頼値を有する、それぞれの検出仮説に関連付けられてもよい。

一部の実例では、１つ以上の追加の候補領域（例えば、６１２５Ａ_２および６１２５Ａ_３）は、１つ以上の二次候補領域とみなされてもよく、これは、それらが、１つ以上の二次検出仮説（例えば、Ａ_２およびＡ_３）にそれぞれ関連付けられうることが理由である。一次候補領域に関する考察と同様に、二次候補領域（例えば、６１２５Ａ_２および６１２５Ａ_３）の各々はまた、受信した画像情報（例えば、５６００／５６１０）によって表される物体（例えば、３５１０）の物体境界位置を推定してもよく、および／または物体によって占められる位置を推定してもよい。例えば、追加の候補領域（例えば、６１２５Ａ_２および６１２５Ａ_３）の各々は、物体（例えば、３５１０）によって占有されるカメラ視野（例えば、３２１０）のそれぞれの推定物理的領域を画定してもよい。一部の実装形態では、計算システム１１００は、関連する合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）の中のそれぞれの構造記述情報（例えば、６１２４Ａ_２、６１２４Ａ_３）によって記述される物体サイズおよび／または物体形状と同じまたは実質的に同じサイズおよび／または形状を有するように、１つ以上の追加の候補領域（例えば、６１２５Ａ_２、６１２５Ａ_３）の各々を決定しうる。

一部の実例では、一次候補領域（例えば、６１２５Ａ_１）は、安全ボリュームリスト中の１つ以上の二次候補領域（例えば、６１２５Ａ_２または６１２５Ａ_３）に対して異なるサイズを有してもよい。こうした状況は、安全ボリュームリスト中の二次候補領域（例えば、６１２５Ａ_２、または６１２５Ａ_３）に関連付けられた物体認識テンプレートによって記述される物体サイズとは異なる物体サイズを記述する、一次候補領域（例えば、６１２５Ａ_１）に関連付けられる、一次物体認識テンプレート（例えば、６１２２Ａ_１）の結果でありうる。例えば、一次検出仮説Ａ_１に関連付けられる一次物体認識テンプレートは、第１の物体サイズ（例えば、物体長さと物体幅との第１の組み合わせ）を示す、構造記述情報（例えば、６１２４Ａ_１）を有してもよく、一方で、二次候補領域のうちの１つに関連付けられる物体認識テンプレート（例えば、６１２２Ａ_２）は、第１の物体サイズとは異なる第２の物体サイズを示す、構造記述情報（例えば、６１２４Ａ_２）を有してもよい。

実施形態では、計算システム１１００は、二次候補領域と一次候補領域との間の重複の量に基づいて、安全ボリュームリストが二次候補領域を含むかどうかを決定するように構成されてもよい。例えば、計算システム１１００は、候補領域６１２５Ａ_２を安全ボリュームリストに追加するかどうか、および候補領域６１２５Ａ_３を安全ボリュームリストに追加するかどうかを決定しうる。上述のように、候補領域６１２５Ａ_２、６１２５Ａ_３は、上述した、１つ以上の残りの合致する物体認識テンプレート６１２２Ａ_２、６１２２Ａ_３のサブセットに関連付けられてもよい。この実施例では、計算システム１１００は、候補領域６１２５Ａ_２、６１２５Ａ_３の各々について、候補領域と一次候補領域６１２５Ａ_１との間のそれぞれの重複の量を決定するように構成されてもよい。例えば、図６Ｆは、候補領域６１２５Ａ_２と一次候補領域６１２５Ａ_１の交点である重複領域６１２７を決定する計算システム１１００を示している。この実施例では、計算システムは、重複領域６１２７のボリュームと等しいか、またはそれに基づいて、候補領域６１２５Ａ_２と一次候補領域６１２５Ａ_１との間の重複の量を決定しうる。計算システム１１００は、２つの領域６１２５Ａ_１、６１２５Ａ_２の間の重複の量が所定の重複閾値を超えているかどうかを決定してもよく、重複の量が所定の重複閾値を超えている場合に、候補領域６１２５Ａ_２を安全ボリュームリスト（上述の１つ以上の追加の候補領域の一部となるような）に含めることができる。

実施形態では、計算システム１１００は、二次検出仮説または二次候補領域に関連付けられた物体認識テンプレートが、一次検出仮説に関連付けられた一次物体認識テンプレートと類似しているかどうかに基づいて、安全ボリュームリストが、特定の二次検出仮説または二次候補領域を含むかどうかを決定しうる。一部の実例では、類似性は、類似しているそれぞれの信頼値を有する（例えば、所定の信頼類似性閾値と等しいか、またはそれ以下の差を有する）２つの物体認識テンプレートを指しうる。一部の実例では、類似性は、類似の視覚的記述情報または類似の構造記述情報などの、類似のテンプレート情報を有する２つの物体認識テンプレートを指しうる。

より具体的には、上述したように、計算システム１１００は、画像情報を、複数の物体認識テンプレート（そのうちの１つが、一次物体認識テンプレート（例えば、６１２２Ａ_１）になりうる）と比較するように構成されてもよい。計算システム１１００は、一次物体認識テンプレート（例えば、６１２２Ａ_１）が、一次物体認識テンプレートに関連付けられた信頼値と、少なくとも１つの他の物体認識テンプレートに関連付けられた信頼値を比較することによって、少なくとも１つの他の物体認識テンプレート（例えば、６１２２Ａ_２）と類似しているかどうかを決定するように構成されてもよい。一部の実例では、計算システム１１００は、物体認識テンプレート（例えば、６１２２Ａ_２）を画像情報と比較する代わりに、またはそれに加えて、少なくとも１つの他の物体認識テンプレート（例えば、６１２２Ａ_２）を、一次物体認識テンプレート（６１２２Ａ_１）と直接的に比較するように構成されてもよい。一部の状況では、カメラ（例えば、３３００）の環境内の照明状態が、生成される画像情報に影響を与えてもよく、物体認識テンプレート（例えば、６１２２Ａ_２）のうちの１つ以上と画像情報を正確に比較する能力を制限しうるため、物体認識テンプレートのこの直接的な比較が行われてもよい。例えば、こうした状況で、特定の物体認識テンプレート（例えば、６１２２Ａ_２）を画像情報と比較することは、低い信頼値を生成しうる。しかしながら、こうした状況における計算システム１１００は、依然として、物体認識テンプレートと一次物体認識テンプレートとの比較に基づいて、物体認識テンプレート（例えば、６１２２Ａ_２）、またはその関連する検出仮説もしくは候補領域を、安全ボリュームリストに追加することを決定してもよい。

物体認識テンプレートを比較する一例として、計算システム１１００は、テンプレート記憶空間６１２２に記憶された複数の物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５について、複数の物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５が、一次物体認識テンプレート６１２２Ａ_１と比較されるときに所定のテンプレート類似性条件を満たす、少なくとも１つの物体認識テンプレート（一次物体認識テンプレート６１２２Ａ_１自体以外）を有するかどうかを決定するように構成されてもよい。上述のように、一次物体認識テンプレートは、一次検出仮説Ａ_１に関連付けられた合致する物体認識テンプレートであってもよく、この実施例では、第１の物体認識テンプレートと呼ばれてもよい。言い換えれば、計算システム１１００は、複数の物体認識テンプレート６１２２Ａ_１～６１２２Ａ_５が、一次物体認識テンプレート６１２２Ａ_１または第１の物体認識テンプレート以外に、一次物体認識テンプレート６１２２Ａ_１と比較されるときに所定のテンプレート類似性条件を満たす、少なくとも１つの物体認識テンプレートを有するかどうかを決定しうる。少なくとも１つのこうした物体認識テンプレートがある場合、計算システム１１００は、安全ボリュームリストが少なくとも１つの物体認識テンプレートに基づいて生成されるように、少なくとも１つの物体認識テンプレートを安全ボリュームリストに追加してもよい。上述のように、所定のテンプレート類似性条件は、類似の視覚的記述情報（例えば、類似の記述子）および／または類似の構造記述情報を有する２つの物体認識テンプレートを含みうる。

実施形態では、図４の方法４０００は、計算システム１１００が、上述した物体検出情報（例えば、６１２６）に基づいて、またはより具体的には、物体検出情報における一次候補領域（例えば、６１２５Ａ_１）に基づいて、および物体検出情報における安全ボリュームリストに基づいて、運動計画を実施するステップを含みうる。より具体的には、運動計画は、安全ボリュームリストにある場合に、一次候補領域および１つ以上の二次候補領域（例えば、６１２５Ａ_２、６１２５Ａ_３）に基づいて実施されうる。運動計画は、ロボット（例えば、３３００）と、受信した画像情報によって表される物体（例えば、３５１０）との間のロボット相互作用に使用されうる。例えば、運動計画は、ロボットのエンドエフェクタ装置（例えば、３３３０）の運動を決定して、エンドエフェクタ装置に物体を握ったり、ピックアップしたり、そうでなければ係合させたりすることを伴ってもよく、および／または物体を目的位置に移動させるために、エンドエフェクタ装置が物体と係合した後に、エンドエフェクタ装置が追従する軌道を決定することを伴ってもよい。

実施形態では、計算システム１１００は、一次物体認識テンプレート（例えば、６１２２Ａ_１）に関連付けられた一次候補領域（例えば、６１２５Ａ_１）を包含し、および１つ以上の追加領域を包含する、境界領域（例えば、境界ボリューム、またはＡＢＢボックスなどの境界ボックス）を決定することによって、運動計画を実施しうる。一部の実例では、１つ以上の追加領域は、上述の１つ以上の二次検出仮説に関連付けられている、またはより具体的には、上述の１つ以上の残りの合致する物体認識テンプレート（例えば、６１２２Ａ_２、６１２２Ａ_３）のサブセットに関連付けられている、１つ以上の二次候補領域（例えば、６１２５Ａ_２、６１２５Ａ_３）であってもよい。例えば、図６Ｄは、図６Ｈに示されるように、一次候補領域６１２５Ａ_１を包含する、境界領域６１３０を示している。図６Ｉおよび図６Ｊでは、境界領域６１３０は、この実施例では、二次候補領域でありうる、追加の候補領域６１２５Ａ_２、６１２５Ａ_３をさらに包含してもよい。一部の実例では、境界領域は、以下でより詳細に論じる、合致しない領域を包含しうる。

実施形態では、境界領域は、エンドエフェクタ装置が、受信した画像情報によって表される物体（例えば、３５１０）をピックアップした後に、物体を目的位置に移動させるための、エンドエフェクタ装置（例えば、３３００）の軌道を決定するために、計算システム１１００によって、または別の計算システムによって使用されうる。例えば、計算システム１１００は、境界領域（例えば、６１３０）を使用して、エンドエフェクタ装置（例えば、３３３０）が軌道をたどる場合の衝突のリスクを決定することができる。衝突は、ロボットの環境（例えば、電気配線）、またはロボットが位置する部屋もしくは建物の構造（例えば、壁またはビーム）における、物体（例えば、３５１０）と他の物体の構造との間にありうる。より具体的には、境界領域は、物体（例えば、３５１０）がエンドエフェクタ装置（例えば、３３３０）によって移動される際に、物体（例えば、３５１０）を囲む領域を表しうる。一部の実装形態では、計算システム１１００は、境界領域（例えば、６１３０）が、エンドエフェクタ装置（例えば、３３３０）の軌道に従うか、または実質的に従っている場合、境界領域（例えば、６１３０）が、ロボットの環境の中にある物体、部屋、または建物の構造と交差するかどうかを決定しうる。計算システム１１００は、境界領域が、ロボットの環境でこのような構造と交差する状況を回避するように、軌道を調整してもよい。これは、境界領域（例えば、６１３０）は、一次物体認識テンプレートまたは一次検出仮説に基づくだけでなく、例えば、衝突回避のために境界領域を使用することによって、衝突回避をより頑強にしうる、例えば、１つ以上の二次検出仮説を含む、安全ボリュームリストにも基づいてもよいことが理由である。例えば、境界領域は、物体（例えば、３３１０）のサイズおよび形状を考慮してもよく、衝突回避のための許容誤差を増加させるために、物体の周りに一定量のクリアランスをさらに含みうる。

実施形態では、計算システム１１００は、上述したように、衝突のリスクを減少させるために、境界領域（例えば、６１３０）を使用して、エンドエフェクタ装置（例えば、３３３０）の軌道を決定することによって、運動計画を実行してもよく、一次候補領域（例えば、６１２５Ａ_１）を使用して、ロボットの把持運動をさらに決定してもよい。ロボットの把持運動は、例えば、物体（例えば、３５１０）を把持、ピックアップ、またはその他の方法で係合するための、エンドエフェクタ装置（例えば、３３３０）の１つ以上の構成要素の運動を含みうる。例えば、物体（例えば、３５１０）が容器である場合、一次候補領域（例えば、６１２５Ａ_１）は、容器の外形の推定を提供しうる。計算システム１１００は、容器の外形に基づいて、エンドエフェクタ装置によって担持される容器上の１つ以上の位置、および／または容器をピックアップするために、エンドエフェクタ装置がどのように移動するかを決定するように構成されうる。

上述したように、合致する物体認識テンプレートは、２Ｄ画像情報に合致する視覚的記述情報を有してもよく、および／または３Ｄ画像情報に合致する構造記述情報を有してもよい。例えば、図７Ａは、物体認識テンプレート７１２２Ａ_１が、図５Ａの２Ｄ画像情報またはより具体的には、２Ｄ画像５６００またはその部分５６１０に合致する、視覚的記述情報７１２３Ａ_１のセットを有し、物体認識テンプレート７１２２Ｂ_１が、図５Ｂの３Ｄ画像情報５７００（例えば、点群）またはより具体的には、その部分５７１０に合致する、構造記述情報７１２４Ｂ_１のセットを有する、実施例を示している。この実施例では、物体認識テンプレート７１２２Ａ_１は、第１のテンプレート記憶空間７１２２Ａに記憶された物体認識テンプレート７１２２Ａ_１、７１２２Ａ_２のセットの一部であってもよく、一方で、物体認識テンプレート７１２２Ｂ_１は、第２のテンプレート記憶空間７１２２Ｂにおける物体認識テンプレート７１２２Ｂ_１、７１２２Ｂ_２のセットの一部であってもよい。図７Ａにおける物体認識テンプレートは各々、視覚的記述情報のそれぞれのセット（例えば、７１２３Ａ_１、７１２３Ａ_２、７１２３Ｂ_１、７１２３Ｂ_２）、および構造記述情報のそれぞれのセット（例えば、７１２４Ａ_１、７１２４Ａ_２、７１２４Ｂ_１、７１２４Ｂ_２）を有してもよい。実施形態では、テンプレート記憶空間７１２２Ａは、テクスチャありテンプレートの記憶専用とすることができ、一方で、テンプレート記憶空間７１２２Ｂは、テクスチャなしテンプレートの記憶専用とすることができる。したがって、この実施例では、物体認識テンプレート７１２２Ａ_１、７１２２Ａ_２は、テクスチャありテンプレートであってもよく、物体認識テンプレート７１２２Ｂ_１、７１２２Ｂ_２は、テクスチャなしテンプレートであってもよい。テクスチャなしテンプレートは、その外観に視覚的詳細の閾値レベルを有さない、物体または物体タイプを記述するテンプレートであってもよい。テクスチャなしテンプレートは、米国特許出願 第１６／９９１，５１０号（弁理士整理番号ＭＪ００５１－ＵＳ／００７７－００１１ＵＳ１）でより詳細に論じられ、一方で、テンプレート記憶空間は、米国特許出願 第１６／９９１，４６６号（弁理士整理番号ＭＪ００５４－ＵＳ／００７７－００１２ＵＳ１）でより詳細に論じられ、それらの内容全体が参照により本明細書に組み込まれる。

上述のように、図７Ａは、物体認識テンプレート７１２２Ａ_１および物体認識テンプレート７１２２Ｂ_１が、合致する物体認識テンプレートのセットを形成しうる状況を示している。より具体的には、物体認識テンプレート７１２２Ａ_１は、２Ｄ画像５６００／５６１０と比較されたときに、所定のテンプレート合致条件を満たす視覚的記述情報７１２３Ａ_１を有してもよい。１つの実施例では、物体認識テンプレート７１２２Ａ_１は、一次物体認識テンプレートであってもよく、図７Ｂの物体検出情報７１２６（これは、物体検出情報１１２６の実施形態でありうる）において識別される一次検出仮説７Ａ_１に関連付けられてもよい。この実施例では、物体認識テンプレート７１２２Ａ_１は、１つの合致する物体認識テンプレートであるが、物体認識テンプレート７１２２Ｂ_１は、残りの合致する物体認識テンプレートのサブセットを形成してもよい。より具体的には、物体認識テンプレート７１２２Ｂ_１は、３Ｄ画像情報５７００／５７１０（例えば、点群）と比較されるときに、所定のテンプレート合致条件を満たす構造記述情報７１２４Ｂ_１を含みうる。この実施例では、物体認識テンプレート７１２２Ｂ_１を使用して、図７Ｂに示されるように、物体検出情報７１２６によって記述される安全ボリュームリストに含まれるべき二次検出仮説７Ｂ_１を生成することができる。実施形態では、物体検出情報７１２６は、図７Ｃに示されるように、一次物体認識テンプレート７１２２Ａ_１に基づいて、またはより具体的には、構造記述情報７１２４Ａ_１に基づいて生成される、一次候補領域７１２５Ａ_１を含みうる。一次候補領域７１２５Ａ_１は、一次検出仮説にさらに関連付けられてもよい。この実施形態では、物体検出情報７１２６は、物体認識テンプレート７１２２Ｂ_１に基づいて、もしくはより具体的には、構造記述情報７１２４Ｂ_１に基づいて生成され、および／または二次検出仮説に関連付けられる、二次候補領域７１２５Ｂ_１を記述する安全ボリュームリストを含みうる。

実施形態では、計算システム１１００は、二次候補領域７１２５Ｂ_１と一次候補領域７１２５Ａ_１との間の重複の量に基づいて、二次候補領域７１２５Ｂ_１を安全ボリュームリストに含めるかどうかを決定しうる。例えば、図７Ｄは、二次候補領域７１２５Ｂ_１および一次候補領域７１２５Ａ_１の両方にある空間を囲む、重複領域７１２７を描写している。重複の量は、例えば、重複領域７１２７のボリューム、または重複領域７１２７のボリュームと一次候補領域７１２５Ａ_１のボリュームとの間の比によって表されてもよい。計算システム１１００は、重複の量が所定の重複閾値以上である場合に、二次候補領域７１２５Ｂ_１を安全ボリュームリストに追加してもよく、他の方法では、二次候補領域７１２５Ｂ_１を安全ボリュームリストから除外してもよい。

一実施形態では、図７Ｅ～図７Ｇに示すように、計算システム１１００は、安全ボリュームリストに、一次候補領域７１２５Ａ_１を包含し、および二次候補領域７１２５Ｂ_１を包含する、境界領域７１３０を決定することによって、上記の例についての運動計画を実施しうる。上述のように、境界領域７１３０を使用して、ロボット相互作用を行うための軌道を生成してもよい。

実施形態では、計算システム１１００は、物体認識テンプレートと画像情報を整列させる異なる方法、またはより具体的には、物体認識テンプレート中の視覚的記述情報を、画像情報中の視覚的パターンと整列させる異なる方法を表す、複数の候補領域を生成するように構成されてもよい。例えば、図８Ａは、物体８５１０の表面上に配置された視覚的パターン８５１２を有する物体８５１０（例えば、箱）が、カメラ視野３２１０Ａ／３２１０Ｂの中にあるシナリオを描写している。この実施例では、計算システム１１００は、図８Ｂに示される２Ｄ画像８６００を含む、画像情報を受信することができる。２Ｄ画像８６００は、カメラ（例えば、３２１０Ａ）によって生成されてもよく、物体８５１０を表す一部分（例えば、ピクセル領域）８６１０を含んでもよい。計算システム１１００は、２Ｄ画像８６００／８６１０を、図８Ｃに示されるテンプレート記憶空間８１２２（これは、テンプレート記憶空間１１２２の実施形態でありうる）に記憶された物体認識テンプレート８１２２Ａ_１と比較するように構成されてもよい。物体認識テンプレート８１２２Ａ_１は、その視覚的記述情報８１２３Ａ_１が、２Ｄ画像８６００と比較されるときに、所定のテンプレート合致条件を満たすことができるため、合致する物体認識テンプレートであってもよい。

実施形態では、計算システム１１００は、物体認識テンプレート８１２２Ａ_１と２Ｄ画像８６００／８６１０との比較の間に、２Ｄ画像８６００／８６１０によって表される視覚的パターン８２１０と、テンプレートの視覚的記述情報８１２３Ａ_１を整列させる複数の方法を決定しうる。例えば、図８Ｄ～図８Ｆは、視覚的記述情報８１２３Ａ_１および視覚的パターン８２１０を少なくとも部分的に整列させるための、計算システム１１００によって決定される３つの異なる方法を示している。１つの実施例では、計算システム１１００は、図８Ｇに示すような、一次候補領域８１２５Ａ_１を生成してもよく、これは、２Ｄ画像８６００／８６１０内の視覚的パターン８２１０を、物体認識テンプレート８１２２Ａ_１内の視覚的記述情報８１２３Ａ_１と整列させる第１の方法を表す。例えば、この整列の第１の方法は、図８Ｅに示される整列であってもよく、ここにおいて、視覚的記述情報８１２３Ａ_１によって記述されるコーナーは、カメラ座標系または何らかの他の座標系における［Ｘ_２ Ｙ_２］の座標を表す。計算システム１１００は、例えば、座標［Ｘ_２ Ｙ_２］および構造記述情報８１２４Ａ_１に基づいて、一次候補領域８１２５Ａ_１を生成してもよい。例えば、計算システム１１００は、一次候補領域８１２５Ａ_１が、座標［Ｘ_２ Ｙ_２］に１つのコーナーを有しており、かつ構造記述情報８１２４Ａ_１と同一であるか、またはそれに基づくサイズおよび／または形状を有していると決定しうる。この整列の第１の方法は、一次検出仮説を表してもよく、または一次検出仮説に関連付けられてもよい。

上記の実施例では、計算システム１１００は、候補領域８１２５Ａ_２および８１２５Ａ_３などの１つ以上の二次候補領域を生成し、これらの候補領域を、安全ボリュームリストに含めることができる。整列の第２の方法は、図８Ｄに示されている整列であってもよく、ここにおいて、テンプレートの視覚的記述情報８１２３Ａ_１によって記述されるコーナーは、座標［Ｘ_１ Ｙ_１］を表しており、一方で、整列の第２の方法は、図８Ｆに示されている整列であってもよく、ここにおいて、コーナーは、座標［Ｘ_３ Ｙ_３］を表している。

実施形態では、異なる候補領域は、構造記述情報のセットによって記述される物体形状の異なる配向を表しうる。実施例として、図９Ａは、カメラ視野３２１０Ａ／３２１０Ｂの物体９５１０Ａおよび９５１０Ｂ（例えば、箱）を示している。２つの物体９５１０Ａおよび９５１０Ｂは、境界部８５１１によって分離されてもよく、境界部８５１１は、例えば、互いに隣接する９５１０Ａ、９５１０Ｂの２つのそれぞれのエッジまたは表面によって形成されてもよい。この実施例では、カメラ３２００Ａは、図９Ｂに示されるように、物体９５１０Ａおよび９５１０Ｂを表す２Ｄ画像９６００を生成してもよく、一方で、カメラ３２００Ｂは、図９Ｄおよび図９Ｅに示されるように、物体９５１０Ａおよび９５１０Ｂを表す点群９７１０または他の３Ｄ画像情報を生成してもよい。計算システム１１００は、２Ｄ画像９６００および点群９７１０を、図９Ｃにおける物体認識テンプレート９１２２Ｂ_１（例えば、テクスチャなしテンプレート）、またはより具体的には、視覚的記述情報９１２３Ｂ_１のセット、および構造記述情報９１２４Ｂ_１のセットとそれぞれ比較するように構成されてもよい。

この実施例では、計算システム１１００は、構造記述情報９１２４Ａ_１が、図９Ｄに示されるように、第１の配向を有する候補領域を画定し、図９Ｅに示されるように、第２の配向を有する別の候補領域を画定することができることを決定しうる。第１の配向（例えば、垂直配向）は、例えば、第２の配向（例えば、水平配向）に対して垂直であってもよい。両方の配向によって、構造記述情報９１２４Ａ_１が点群９７１０の少なくとも一部分と合致することが可能になりうる。しかし、図９Ｅの配向は、対応する候補領域を、物体９５１０Ａと９５１０Ｂとの間の境界部９５１１を超えて延在させてもよく、図９Ｅの実施例は、計算システム１１００が、高度の信頼性をもって境界部９５１１を検出することができない状況で発生しうる。例えば、境界部９５１１は、２Ｄ画像９６００で（例えば、照明状態により）少なくとも部分的に遮蔽されてもよい。例えば、図９Ｂは、部分的にのみ境界部９５１１を表す画像ピクセル９６１１を描写している。この実施例では、計算システム１１００は、画像ピクセル９６１１が２つの物体の間の境界を表すかどうか、または画像ピクセルが画像アーチファクトであるかどうかを、高い信頼性で決定することができない場合がある。さらに、一部の実例では、こうした境界部は、点群５７１０で表されない場合がある。したがって、計算システム１１００は、候補領域に対して図９Ｅに示す配向が、十分に高い信頼値を有してもよく、その結果、図９Ｅの候補領域が、カメラ視野３２１０Ａ／３２１０Ｂ内の物体（複数可）との相互作用を計画するのに役立つ可能性があることを決定しうる。したがって、図９Ｆに示すように、計算システム１１００は、図９Ｄで配向を表す、一次候補領域９１２５Ｂ_１を生成し、図９Ｅで配向を表す、二次候補領域９１２５Ｂ_２を生成してもよく、ここにおいて、二次候補領域９１２５Ｂ_２は、安全ボリュームリストに含まれうる。このシナリオでは、テンプレート９１２２Ｂ_１の構造記述情報９１２４Ｂ_１は、物体形状を記述してもよく、その結果、一次候補領域９１２５Ｂ_１は、物体形状に対する１つの配向に対応してもよく、二次候補領域９１２５Ｂ_２は、物体形状に対する別の配向に対応してもよい。

実施形態では、計算システム１１００は、画像情報内に現れるか、またはそうでなければ画像情報によって表されるエッジまたはコーナーのセットによって囲まれた第１の領域について画像情報内を検索するように構成されてもよく、ここにおいて、第１の領域は、第１の物体認識テンプレートまたは第１の候補領域に対応してもよい。計算システム１１００は、その検索を拡大して、画像情報によって表されるエッジまたはコーナーの他のセットによって囲まれた、追加の領域をさらに識別してもよく、ここにおいて、追加の領域は、他の物体認識テンプレートまたは候補領域に対応してもよい。一部の実例では、計算システム１１００は、画像情報がテクスチャなし画像に対応するという決定に応答して、こうした検索を実施しうる。画像情報内の領域を検索する一例として、図１０Ａは、カメラ視野３３２０Ａ／３３２０Ｂの１つ以上の物体１０５１０に基づいて画像情報が生成される実施例を示している。１つ以上の物体１０５１０は、例えば、箱の外表面にわたって配置されたテープ片を有する単一の箱などの単一の物体であってもよく、または互いに隣接する複数の箱などの複数の物体であってもよい。この実施例では、カメラ３２００Ａおよび／またはカメラ３２００Ｂは、１つ以上の物体１０５１０を表すための画像情報を生成するように構成されてもよい。図１０Ｂおよび図１０Ｃで示すように、画像情報は、１つ以上の物体１０５１０を表すためのその少なくとも画像部分１０６１０を有する２Ｄ画像１０６００などの２Ｄ画像情報、および／または１つ以上の物体１０５１０を表すその少なくとも一部分１０７１０を有する３Ｄ画像情報１０７００（例えば、点群）を含みうる。計算システム１１００が画像情報を受信すると、計算システム１１００は、画像情報を、図１０Ｄに示される物体認識テンプレート１０１２２Ｂ_１～１０１２２Ｂ_４のセットと比較することができる。

より具体的には、比較を容易にするために、計算システム１１００は、図１０Ｅの画像領域１０６１１などの第１の画像領域を識別することができ、物体認識テンプレート１０１２２Ｂ_１～１０１２２Ｂ_４のうちのいずれかが第１の画像領域に合致する（例えば、所定のテンプレート合致条件を満たす）かどうかを決定することができる。第１の画像領域（例えば、１０６１１）は、例えば、２Ｄ画像１０６００の第１のピクセル領域、または点群もしくは他の３Ｄ画像情報内の座標もしくは位置の第１の領域であってもよい。一部の実装形態では、計算システム１１００は、画像情報に基づいて、１０５１１、１０５１２、１０５１３、１０５１４などの画像コーナーの第１のセット、および／または１０５２１、１０５２２、１０５２３、１０５２４などの画像エッジの第１のセットを識別または検出することによって、第１の画像領域を識別しうる。画像コーナーの各々は、例えば、物体コーナーを表す２Ｄ画像１０６００のピクセルもしくはピクセルのクラスタ、または物体コーナーを表す点群の座標であってもよい。一部の実例では、画像コーナー１０５１１などの画像コーナーのうちの少なくとも１つは、１つ以上の物体１０５１０の凸状コーナーに対応するか、またはそれを表しうる。一部の実装形態では、画像エッジが計算システムによって識別される場合、画像エッジのうちの少なくとも一部は、少なくとも１つの画像コーナーから延在しうる。計算システム１１００は、第１の画像領域１０６１１を、画像コーナーの第１のセット１０５１１～１０５１４および／または画像エッジの第１のセット１０５２１～１０５２４によって結合される、その間に位置する、またはそうでなければ画定される、画像領域として決定しうる。この実施例では、計算システム１１００は、任意の物体認識テンプレート（例えば、１０１２２Ｂ_１）が、第１の画像領域１０６１１、またはより具体的には、第１の画像領域１０６１１に対応する画像情報の一部分と比較したときに、所定のテンプレート合致条件を満たすかどうかを決定しうる。一部の実例では、計算システムは、合致する物体認識テンプレート（例えば、１０１２２Ｂ_１）を使用して、一次検出仮説および／または一次候補領域を生成しうる。

上述のように、計算システム１１００は、第１の画像領域（例えば、１０６１１）の画像エッジを、第１の画像領域の外にある画像情報内の他の画像コーナーに拡張することができるかどうかを決定することによってなどで、画像情報内の画像領域に対するその検索を拡大するように構成されてもよい。例えば、図１０Ｆ～図１０Ｈは、画像情報（例えば、１０６００）において、第２の画像領域１０６１２、第３の画像領域１０６１３、および第４の画像領域１０６１４を識別する計算システムを描写している。図１０Ｆの実施例では、計算システム１１００は、画像コーナーの第２のセット（１０５１１、１０５１３、１０５１５、１０５１６）および／または画像エッジの第２のセット（１０５２１、１０５２２、１０５２４、１０５２５）を識別しうる、第２の画像領域１０６１２を識別してもよい。画像コーナーの第２のセットは、画像コーナーの第１のセットに、画像コーナー１０５１１（凸状コーナーを表しうる）などの少なくとも１つの画像コーナーを含んでもよく、第１の画像領域１０６１１の外側にある少なくとも１つの画像コーナー（例えば、１０５１５、１０５１６）を含んでもよい。計算システム１１００は、第２の画像領域１０６１２を、画像エッジの第２のセットおよび／または画像コーナーの第２のセットの間に位置する、またはそうでなければ、それによって画定される領域として決定しうる。一部の実例では、計算システム１１００は、第１の画像領域の画像エッジ１０５２２、１０５２４が、第１の画像領域１０６１１を通過して、１０５１５、１０５１６などの画像コーナーの第２のセットの一部に向かって延在するように、第１の画像領域の画像エッジ１０５２２、１０５２４を延在させることによって、第２の画像領域１０６１２を画定することができる。結果として、第２の画像領域１０６１２は、第１の画像領域１０６１１を超えて延在しうる。計算システム１１００は、任意の物体認識テンプレート（例えば、１０１２２Ｂ_２）が第２の画像領域に合致するかどうかを決定するように構成されてもよく、物体認識テンプレートに基づいて、二次検出仮説および／または二次候補領域を生成してもよい。二次候補領域および／または二次検出仮説は、安全ボリュームリストに追加されてもよい。

図１０Ｇに示すように、計算システム１１００は、画像情報における画像コーナーの第３のセット（１０５１１、１０５１２、１０５１７、１０５１８）および／または画像エッジの第３のセット（１０５２１、１０５２２、１０５２４、１０５２６）を識別し、画像コーナーの第３のセットおよび／または画像エッジの第３のセットの間に位置する第３の画像領域１０６１３を決定しうる。同様に、図１０Ｈに示すように、計算システム１１００は、画像コーナーの第４のセット（１０５１１、１０５１５、１０５１７、１０５１９）および／または画像エッジの第４のセット（１０５２１、１０５２２、１０５２５、１０５２６）を識別し、画像コーナーの第４のセットおよび／または画像エッジの第４のセットの間に位置する第４の画像領域１０６１４を決定しうる。計算システム１１００は、第３の画像領域１０６１３が、テンプレート記憶空間に現在記憶されている任意の既存の物体認識テンプレート（例えば、１０１２２Ｂ_３）に合致するかどうか、および第４の画像領域１０６１４が、任意の既存の物体認識テンプレート（例えば、１０１２２Ｂ_４）に合致するかどうかを決定するように構成されてもよい。合致する物体認識テンプレート（複数可）がある場合、計算システム１１００は、合致する物体認識テンプレートに基づいて、追加の候補領域（複数可）または検出仮説を生成するように構成されうる。一部の実例では、追加の候補領域または検出仮説が、安全ボリュームリストに追加されてもよい。

上述のように、安全ボリュームは、一部の実例では、合致しない領域を含むか、または記述しうる。実施例として、図１１Ａは、カメラ視野における物体１１５１０を示しており、一方で、図１１Ｂおよび図１１Ｃは、物体１１５１０を表すためにカメラ３２００Ａによって生成される２Ｄ画像１１６００、および物体１１５１０を表すためにカメラ３２００Ｂによって生成される３Ｄ画像情報１１７００（例えば、点群）を示している。この実施例では、物体１１５１０は、部分的にカメラ視野３２１０Ａ／３２１０Ｂ内にあってもよい。２Ｄ画像１１６００は、より具体的には、物体１１５１０を表す一部分１１６１０と、物体１１５１０に隣接する（例えば、物体のすぐ近くに隣接する）物理的領域（例えば、空間領域）を表す一部分１１６４０と、を含みうる。同様に、３Ｄ画像情報１１７００は、物体１１５１０を表す第１の部分１１７１０と、物体１１５１０に隣接する物理的領域を表す一部分１１７４０と、を含みうる。２Ｄ画像１１６００および／または３Ｄ画像情報１１７００を受信した後、計算システム１１００は、画像情報を、図１１Ｄの物体認識テンプレート１１１２２Ａ_１などの１つ以上の物体認識テンプレートと比較することができる。

実施形態では、計算システム１１００は、物体認識テンプレート１１１２２Ａ_１が、２Ｄ画像１１６００の部分１１６１０（画像部分とも呼ばれる）、および／または３Ｄ画像情報１１７００の部分１１７１０などの、受信した画像情報の一部分に合致すると決定しうる。より具体的には、計算システム１１００は、例えば、テンプレート１１１２２Ａ_１の視覚的記述情報が、２Ｄ画像１１６００の画像部分１１６１０と比較された場合に、所定のテンプレート合致条件を満たすと決定しうる。こうした実施形態では、画像部分１１６４０および／または画像部分１１７４０などの２Ｄ画像１１６００の別の部分および／または３Ｄ画像情報１１７００の別の部分は、物体認識テンプレート１１１２２Ａ_１によって説明不能なままであってもよく、またはより一般的には、物体認識テンプレート１１１２２Ａ_１に対して合致しなくてもよい。一部のシナリオでは、計算システム１１００は、計算システム１１００によってアクセス可能な１つ以上のテンプレート記憶空間にある他の物体認識テンプレートが、画像部分１１６４０および／または１１７４０と比較された場合に、所定のテンプレート合致条件を満たすことはないとさらに決定しうる。こうしたシナリオでは、２Ｄ画像１１６００の画像部分１１６４０および３Ｄ画像情報の画像部分１１７４０は、合致しない画像部分であってもよく、物体（例えば、１１５１０）に隣接した合致しない領域を表してもよく、ここにおいて、物体は、画像情報の合致した部分（例えば、１１６１０、１１７１０）によって表される。

実施形態では、計算システム１１００は、安全ボリュームリスト内の合致しない領域を記述してもよく、または識別してもよい。例えば、図１１Ｅに示すように、計算システム１１００は、合致する物体認識テンプレート１１１２２Ａ_１に基づいて一次候補領域１１１２５Ａ_１を生成してもよく、合致しない領域１１１２５Ｃ_１を記述する安全ボリュームリストをさらに生成してもよく、ここにおいて、合致しない領域１１１２５Ｃ_１は、上述した合致しない画像部分１１６４０／１１７４０に基づいて生成または決定される。例えば、合致しない領域１１１２５Ｃ_１は、３Ｄ画像情報１１７００（例えば、点群）の合致しない画像部分１１７４０のサイズと同じか、またはそれに基づくサイズを有してもよい。計算システム１１００が、境界領域を生成することによって運動計画を実施する場合、境界領域は、存在する場合に、安全ボリュームリストにおける一次候補領域（例えば、１１１２５Ａ_１）および合致しない領域（例えば、１１１２５Ｃ_１）を包含しうる。

図１２Ａ～図１２Ｇは、合致しない領域、より具体的には、合致しない領域を含む二次候補領域を伴う別の実施例を提供している。より具体的には、図１２Ａおよび図１２Ｂに示すように、カメラ３２００Ａ／３２００Ｂは、１つ以上の物体１２５１０を表す２Ｄ画像１２６００などの画像情報を生成しうる。１つ以上の物体１２５１０は、箱を横切って配置された一片のテープを有する箱などの単一の物体であってもよく、または互いに隣り合わせに配置された複数の物体であってもよい。計算システム１１００が画像情報（例えば、１２６００）を受信すると、計算システム１２６００は、画像情報を、図１２Ｃのテンプレート１２１２２Ａ_１および１２１２２Ｂ_１などの１つ以上の物体認識テンプレートと比較することができる。

より具体的には、計算システム１１００は、図１２Ｂの画像情報内の１つ以上の画像領域を検索することによって、比較を容易にすることができる。一部の実装形態では、こうした検索は、画像情報がテクスチャなしであるとの決定に応答して行われてもよい。図１０Ｅ～図１０Ｈの説明のように、計算システム１１００は、画像コーナーおよび／または画像エッジを識別することによって、画像領域を識別しうる。例えば、図１２Ｄに示すように、計算システム１１００は、画像コーナーの第１のセット（１２５１１、１２５１２、１２５１３、１２５１４）および／または画像エッジの第１のセット（１２５２１、１２５２２、１２５２３、１２５２４）を識別することによって、第１の画像領域１２６１１を識別しうる。計算システム１１００は、第１の画像領域１２６１１を、画像コーナーおよび／または画像エッジの間に位置する画像領域として識別しうる。この実施例では、計算システム１１００は、例えば、第１の画像領域１２６１１が、物体認識テンプレート１２１２２Ｂ_１と比較したときに、所定のテンプレート合致条件を満たすことを決定しうる。計算システム１１００は、合致する物体認識テンプレート１２１２２Ｂ_１に基づいて、図１２Ｇに示されるように、一次候補領域１２１２５Ｂ_１を生成するように構成されうる。

図１２Ｅに示すように、計算システム１１００は、第２の画像領域１２６１２をさらに識別してもよいが、第２の画像領域１２６１２は、テンプレート記憶空間内に記憶された任意の既存の物体認識テンプレートと合致しない画像部分を含みうる。より具体的には、計算システム１１００は、第１の画像領域１２６１１を超えて延在するか、またはその外側にある、追加の画像コーナー１２５１５、１２５１６を識別するように構成されてもよい。計算システム１１００は、第１の画像領域１２６１１の画像エッジ１２５２２、１２５２４を、第１の画像領域１２６１１を超えて第１の方向に、かつ第１の画像領域１２６１１の外側にある追加の画像コーナー１２５１５、１２５１６に向かって拡張することによって、第１の画像領域１２６１１を超えて延在する第２の画像領域１２６１２を識別するように試みることができる。すなわち、図１０Ｅ～図１０Ｆに関する議論と同様に、追加画像コーナー１２５１５、１２５１６は、画像コーナーの第２のセット（１２５１１、１２５１４、１２５１５、１２５１６）の一部を形成してもよく、拡張画像エッジは、画像エッジの第２のセット（１２５２１、１２５２２、１２５２４、１２５２５）を形成してもよい。第２の画像領域１２６１２は、画像コーナーの第２のセットの間、および／または画像エッジの第２のセットの間に位置する画像領域であってもよい。

図１２Ｅの実施例では、第２の画像領域１２６１２は、合致しない画像部分を含みうる。より具体的には、図１２Ｆに示すように、画像情報は、画像領域１２６１１に隣接する画像部分１２６４０（例えば、別の画像領域）を含みうる。画像部分１２６４０は、物体認識テンプレート１２１２２Ａ_１および１２１２２Ｂ_１に対する、所定のテンプレート合致条件と合致しない場合がある。合致しない画像部分１２６４０は、図１２Ｇにおいて領域１２１２５Ｃ_１として示されている、合致しない領域を表すことができる。この実施例では、計算システム１１００は、第２の画像領域１２６１２が合致しない画像部分１２６４０を含むという決定に応答して、合致しない画像部分１２６４０に基づく二次候補領域１２１２５Ｄ_１を生成するように構成されうる。より具体的には、図１２Ｇに示される二次候補領域１２１２５Ｄ_１は、一次候補領域１２１２５Ｂ_１および合致しない領域１２１２５Ｃ_１を包含する領域であってもよい。この実施例の合致しない領域１２１２５Ｃ_１は、一次候補領域１２１２５Ｂ_１のすぐ近くに隣接する領域であってもよい。

図１２Ｈは、計算システム１１００が、第１の画像領域１２６１１の画像エッジを第２の方向に拡張することによって、第３の画像領域を検索することができる、実施例を示している。計算システム１１００がこうした第３の画像領域を識別する場合に、計算システム１１００は、図１２Ｅ～図１２Ｇに関する上記の議論と同様の方法で、別の候補領域（例えば、別の二次候補領域）を生成することができる。この実施例では、計算システム１１００は、第３の画像領域として、図１２Ｈの画像エッジ１２５２１および１２５２３などの少なくとも１対の画像エッジを、図１２Ｈに示される第２の方向において、第１の画像領域１２６１１を超えて、かつ別の対の画像コーナー、より具体的には１２５１７、１２５１８に向かって拡張することによって特に形成される領域を試みることができる。この実施例では、しかしながら、計算システム１１００は、画像エッジ１２５２１が画像コーナー１２５１７に達するように拡張されうるが、画像エッジ１２５２３は、画像コーナー１２５１８に対するオフセットを有し、したがって、画像エッジ１２５３が拡張されたときでさえも、画像コーナー１２５１８に達することができないため、こうした第３の画像領域が形成されないと決定しうる。より具体的には、画像コーナー１２５１８は、画像コーナー１２５２３が拡張されたときでさえも、画像コーナー１２５１８が画像コーナー１２５２３と交差しないように、画像コーナー１２５２３の軸上に位置付けられない場合がある。こうした状況は、画像コーナー１２５１７、１２５１８に対応する構造が、第１の画像領域１２６１１に対応する構造と同じ物体の一部ではなく、そのため、コーナー１２５１７、１２５１８の周りの構造に関する情報が、安全ボリュームリストに含まれる必要はないことを示しうる。したがって、計算システム１１００は、画像情報（例えば、１２６００）が、安全ボリュームリストに対する別の候補領域を生成するために使用されうる第３の画像領域を有さないことを決定しうる。

実施形態では、計算システム１１００は、合致しない画像部分および／または合致しない領域に基づいて、新しい物体認識テンプレートを生成するように構成されてもよい。新しい物体認識テンプレートを生成することは、自動物体登録プロセスの一部であってもよく、例えば、図２Ｄの物体登録モジュール１１２８によって実施されてもよい。例えば、計算システム１１００は、図１２Ｅの状況に応答して、新しい物体認識テンプレートを生成することができ、ここにおいて、第２の画像領域１２６１２は、すべての既存の物体認識テンプレートと不一致である合致しない画像部分１２６４０を含む。新しい物体認識テンプレートは、合致しない画像部分１２６４０に基づいて生成されうる。一部の実例では、計算システム１１００は、合致しない画像部分１２６４０または合致しない画像部分によって表される合致しない領域１２１２５Ｃ_１が、所定のサイズ閾値を満たすか、またはそれを超えているかどうかを決定しうる。所定のサイズの閾値は、例えば、所定の最小物体サイズと等しいか、またはそれに基づいてもよい。合致しない画像部分１２６４０または合致しない領域１２１２５Ｃ_１のサイズが、所定のサイズ閾値を満たすか、またはそれを超える場合、計算システム１１００は、合致しない画像部分１２６４０および／または合致しない領域１２１２５Ｃ_１に基づいて、新しい物体認識テンプレートを生成しうる。サイズが所定のサイズ閾値より小さい場合、計算システム１１００は、一部の実例では、合致しない画像部分１２６４０に基づいて、新しい物体認識テンプレートを生成する必要がないことを決定しうる。こうした実例では、計算システム１１００は、一次候補領域１２１２５Ｂ_１に関連付けられた物体認識テンプレート１２１２２Ｂ_１などの既存の物体認識テンプレートを更新することができ、ここにおいて、更新は、合致しない画像部分１２６４０および／または合致しない領域１２１２５Ｃ_１をさらに記述するために実施されうるか、またはより一般的には、それに基づいて実施されうる。

実施形態では、計算システムは、安全ボリュームリストに含めるために、所定の最大物体サイズまたは所定の最大物体高さを表すか、またはそれに基づく候補領域を生成するように構成されてもよい。例えば、図１３Ａは、カメラ３２００のカメラ視野内にある、積み重ねられた物体１３５１０、１３５１１、１３５１２（例えば、箱）を含むシナリオを示している。このシナリオでは、カメラ３２００は、物体１３５１０の少なくとも上面を表す画像情報を生成しうる。こうした画像情報は、物体１３５１０の物体高さの表示を提供しないか、または限定された表示のみを提供する場合がある。この実施例では、計算システム１１００は、所定の最大物体高さと等しいか、もしくはそれに基づく高さを有する、および／または所定の最大物体サイズと等しいか、もしくはそれに基づくサイズ（例えば、物体長さ、物体幅、および物体高さの組み合わせ）を有する、第１の候補領域１３１２５Ａ_１を含む、安全ボリュームリストを生成しうる。一部の実例では、計算システム１１００は、所定の最小物体高さと等しいか、もしくはそれに基づく高さを有する、および／または所定の最小物体サイズと等しいか、もしくはそれに基づくサイズを有する、追加の候補領域１３１２５Ａ_２を、安全ボリュームリストにさらに含んでもよい。計算システム１１００は、第１の候補領域１３１２５Ａ_１および／または追加の候補領域１３１２５Ａ_１を使用して、物体１３５１０についての運動計画を行うように構成されてもよい。

図１３Ｂは、ロボット（例えば、図３Ａの３３００）によって、スタックから目的位置へと移動されている物体１３５１０を示している。この実施例では、１つ以上の線センサ１３６００は、物体１３５１０の存在を検出するように構成されうる、目的位置に配置されてもよい。一部の実装形態では、１つ以上の線センサ１３６００は、物体が、目的位置から第１の距離である第１の仮想線１３６０１に到達したか、またはそれと交差したときを検出し、物体が、目的位置から第２の距離を有する第２の仮想線１３６０２に到達したか、またはそれと交差したときを検出することができ、ここにおいて、第２の距離は、第１の距離よりも短くてもよい。計算システム１１００または別の計算システムは、１つ以上の線センサ１３６００と通信してもよく、物体が第１の仮想線１３６０１に到達したか、またはそれと交差したときに、ロボットを減速させるように構成されてもよい。一部の実装形態では、計算システム１１００は、１つ以上の線センサ１３６００からセンサ情報を受信して、物体１３５１０の実際の物体高さを決定しうる。

実施形態では、本明細書で論じる所定の閾値または他の所定の値は、手動で定義され、非一時的コンピュータ可読媒体１１２０または他の場所に記憶されてもよい。実施形態では、所定の閾値または他の所定の値は、例えば、カメラ（例えば、３２００）またはロボット（例えば、３３００）の環境に基づいて、計算システム１１００によって動的に計算されるか、またはそうでなければ定義され、非一時的コンピュータ可読媒体１１２０または他の場所に記憶されてもよい。

さらに、上述したように、計算システム１１００は、実施形態では、画像情報を受信し、複数の物体認識テンプレートの中から、複数の合致する物体認識テンプレートを識別してもよい。計算システム１１００は、複数の合致する物体認識テンプレートに基づいて、複数の候補領域をそれぞれ生成し、複数の候補領域に基づいて、運動計画を実施しうる。

様々な実施形態に関する追加の考察：
実施形態１は、計算システム、および計算システムによって実施される方法に関する。方法は、非一時的コンピュータ可読媒体上に記憶された命令に基づいて実施されうる。計算システムは、通信インターフェースおよび少なくとも１つの処理回路を含みうる。通信インターフェースは、ロボット、およびカメラ視野を有するカメラと通信するように構成されてもよい。少なくとも１つの処理回路は、物体がカメラ視野の中にある、またはあったときに、物体を表す画像情報を受信することであって、画像情報が、カメラによって生成されることと、１つ以上の合致する物体認識テンプレートのセットを識別することであって、１つ以上の合致する物体認識テンプレートが、画像情報と比較されるときに、所定のテンプレート合致条件を満たす１つ以上の物体認識テンプレートであり、１つ以上の合致する物体認識テンプレートのセットが、１つ以上の検出仮説のセットに関連付けられていて、１つ以上の検出仮説のセットが、どの物体または物体タイプが画像情報によって表されるかの１つ以上のそれぞれの推定であることと、１つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、一次検出仮説が、１つ以上の合致する物体認識テンプレートのセットの合致する物体認識テンプレートに関連付けられており、一次検出仮説として選択された検出仮説が、１つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有しており、１つ以上のそれぞれの信頼値のセットが、１つ以上の検出仮説のセットに関連付けられていると共に、１つ以上の検出仮説のセットに関連付けられた１つ以上の合致する物体認識テンプレートのセットに画像情報が合致するそれぞれの度合いを示すことと、を行うように構成されうる。

この実施形態では、少なくとも１つの処理回路は、一次候補領域として、物体の物体境界位置を推定する、またはカメラ視野内のどの位置が物体によって占有されているかを推定する候補領域を、一次検出仮説に関連付けられた合致する物体認識テンプレートに基づいて生成することと、（ｉ）１つ以上の合致する物体認識テンプレートのセットが、画像情報と比較されるときに、所定のテンプレート合致条件をさらに満たす、１つ以上の残りの合致する物体認識テンプレートのサブセットを、一次検出仮説に関連付けられた合致する物体認識テンプレートに加えて、有しているかどうか、または（ｉｉ）画像情報が、一次候補領域に隣接し、かつ所定のテンプレート合致条件を満たすことができない、合致しない領域を表す部分を有しているかどうか、のうちの少なくとも１つを決定することと、１つ以上の残りの合致する物体認識テンプレートのサブセットが存在するという決定、または画像情報が合致しない領域を表す部分を有しているという決定に応答して、安全ボリュームリストを生成することであって、安全ボリュームリストは、（ｉ）合致しない領域、または（ｉｉ）物体の物体境界位置をさらに推定する、もしくはどの位置が物体によって占有されているかを推定する１つ以上の追加の候補領域、のうちの少なくとも１つを記述するリストであり、１つ以上の追加の候補領域が、１つ以上の残りの合致する物体認識テンプレートのサブセットに基づいて生成されることと、一次候補領域に基づいてかつ安全ボリュームリストに基づいて、ロボットと物体との間のロボット相互作用のための運動計画を実施することと、をさらに行うように構成されうる。

実施形態２は、実施形態１の計算システムを含む。この実施形態では、少なくとも１つの処理回路は、一次候補領域と、（ｉ）１つ以上の追加の候補領域または（ｉｉ）合致しない領域のうちの少なくとも１つと、を包含する、境界領域を決定するように構成されており、運動計画を実施することは、境界領域に基づいて、ロボットエンドエフェクタ装置に関連付けられた軌道を決定することを含む。

実施形態３は、実施形態２の計算システムを含む。この実施形態では、運動計画を実施することは、一次候補領域に基づいてロボットの把持運動を決定することと、境界領域に基づいて軌道を決定することと、を含む。

実施形態４は、実施形態１の計算システムを含む。この実施形態では、１つ以上の検出仮説のセットは、一次検出仮説に加えて、１つ以上の残りの合致する物体認識テンプレートのサブセットに関連付けられている１つ以上の残りの検出仮説のサブセットを含む。この実施形態では、少なくとも１つの処理回路は、１つ以上の残りの検出仮説のサブセットの各検出仮説について、検出仮説に関連付けられたそれぞれの信頼値が、一次検出仮説に関連付けられた信頼値に対する所定の信頼類似性閾値内にあるかどうかを決定するように構成されており、検出仮説に関連付けられたそれぞれの信頼値が一次検出仮説に関連付けられた信頼値に対する所定の信頼類似性閾値内にあるという決定に応答して、少なくとも１つの処理回路は、安全ボリュームリスト内に、それぞれの候補領域が安全ボリュームリストの１つ以上の追加領域の一部であるように、検出仮説に関連付けられたそれぞれの候補領域を含めるように構成されている。

実施形態５は、実施形態４の計算システムを含む。この実施形態では、安全ボリュームリスト内の１つ以上の追加の候補領域の各候補領域は、一次検出仮説に関連付けられた信頼値に対する所定の信頼類似性閾値内にある信頼値を有する、それぞれの検出仮説に関連付けられている。

実施形態６は、実施形態４または５の計算システムを含む。この実施形態では、安全性ボリュームリスト内の１つ以上の追加の候補領域の各候補領域は、所定のテンプレート合致閾値以上である信頼値を有する、それぞれの検出仮説に関連付けられている。

実施形態７は、実施形態１～６のうちのいずれか１つの計算システムを含む。この実施形態では、１つ以上の残りの合致する物体認識テンプレートのサブセットは、複数のそれぞれの候補領域に関連付けられた複数の合致する物体認識テンプレートを含む。この実施形態では、少なくとも１つの処理回路は、複数の候補領域の各候補領域について、候補領域と一次候補領域との間のそれぞれの重複の量を決定することと、それぞれの重複の量が、所定の重複閾値と等しいか、またはそれを超えているかどうかを決定することと、を行うように構成されており、重複の量が所定の重複閾値と等しいか、またはそれを超えているという決定に応答して、少なくとも１つの処理回路は、候補領域が安全ボリュームリストの１つ以上の追加の候補領域の一部であるように、安全ボリュームリスト内に候補領域を含めるように構成されている。

実施形態８は、実施形態１～７のうちのいずれか１つの計算システムを含む。この実施形態では、画像情報は、２Ｄ画像情報を含み、一次検出仮説に関連付けられた合致する物体認識テンプレートは、２Ｄ画像情報と比較されるときに、少なくとも１つの処理回路によって、所定のテンプレート合致条件を満たすように決定される、視覚的記述情報のセットを含む。

実施形態９は、実施形態８の計算システムを含む。この実施形態では、１つ以上の残りの合致する物体認識テンプレートのサブセットの少なくとも１つの合致する物体認識テンプレートは、２Ｄ画像情報と比較されるときに、少なくとも１つの処理回路によって、所定のテンプレート合致条件を満たすようにさらに決定される、視覚的記述情報のそれぞれのセットを有しており、少なくとも１つの処理回路は、少なくとも１つの合致する物体認識テンプレートに基づいて、安全ボリュームリストを生成するように構成されている。

実施形態１０は、実施形態９の計算システムを含む。この実施形態では、一次検出仮説に関連付けられた合致する物体認識テンプレートは、第１の物体サイズを示す構造記述情報のそれぞれのセットを含み、少なくとも１つの合致する物体認識テンプレートは、第１の物体サイズとは異なる第２の物体サイズを示す構造記述情報のそれぞれのセットを含む。

実施形態１１は、実施形態８～１０のうちのいずれか１つの計算システムを含む。この実施形態では、画像情報は、３Ｄ画像情報をさらに含み、１つ以上の残りの合致する物体認識テンプレートのサブセットの少なくとも１つの物体認識テンプレートは、３Ｄ画像情報と比較されるときに、少なくとも１つの処理回路によって、所定のテンプレート合致条件を満たすように決定される、構造記述情報のそれぞれのセットを有しており、少なくとも１つの処理回路は、少なくとも１つの物体認識テンプレートに基づいて、安全ボリュームリストを生成するように構成されている。

実施形態１２は、実施形態８～１１のうちのいずれか１つの計算システムを含む。この実施形態では、一次検出仮説に関連付けられた合致する物体認識テンプレートは、１つ以上の合致する物体認識テンプレートのセットのうちの第１の合致する物体認識テンプレートである。この実施形態では、少なくとも１つの処理回路は、１つ以上の合致する物体認識テンプレートのセットがテンプレート記憶空間内に記憶された複数の物体認識テンプレートの一部であるときに、複数の物体認識テンプレートが、第１の合致する物体認識テンプレートに加えて、第１の合致する物体認識テンプレートと比較されるときに、所定のテンプレート類似性条件を満たす少なくとも１つの物体認識テンプレートを有しているかどうかを決定することと、複数の物体認識テンプレートが、第１の合致する物体認識テンプレートと比較されるときに、所定のテンプレート類似性条件を満たす少なくとも１つの物体認識テンプレートを含むという決定に応答して、少なくとも１つの物体認識テンプレートに基づいて、安全ボリュームリストを生成することと、を行うように構成されている。

実施形態１３は、実施形態１～１２のうちのいずれか１つの計算システムを含む。この実施形態では、一次候補領域は、一次検出仮説に関連付けられた合致する物体認識テンプレートと画像情報を整列させる、第１の方法を表しており、少なくとも１つの処理回路は、合致する物体認識テンプレートと画像情報とを整列させる第２の方法を表す別の候補領域を、安全ボリュームリストに含めるように構成されている。

実施形態１４は、実施形態１～１３のうちのいずれか１つの計算システムを含む。この実施形態では、少なくとも１つの処理回路は、画像情報によって表される画像コーナーの第１のセットまたは画像エッジの第１のセットを識別することと、画像コーナーの第１のセットまたは画像エッジの第１のセットの間に位置する画像領域である、第１の画像領域を識別することであって、一次検出仮説に関連付けられた合致する物体認識テンプレートが、第１の画像領域と比較されるときに、少なくとも１つの処理回路によって、所定の合致条件を満たすように決定され、合致する物体認識テンプレートが、１つ以上の合致する物体認識テンプレートのセットのうちの第１の合致する物体認識テンプレートであることと、画像情報に基づいて画像コーナーの第２のセットまたは画像エッジの第２のセットを識別することであって、画像コーナーの第２のセットが、画像コーナーの第１のセットの一部である少なくとも１つの画像コーナーを含むと共に、第１の画像領域の外側にある少なくとも１つの画像コーナーを含み、画像エッジの第２のセットが、画像エッジの第１のセットの一部である少なくとも１つの画像エッジを含むと共に、第１の画像領域の外側にある少なくとも１つの画像エッジを含むことと、画像コーナーの第２のセットまたは画像エッジの第２のセットの間に位置する画像領域である、第２の画像領域を識別することであって、第２の画像領域が、第１の画像領域を超えて延在しており、１つ以上の合致する物体認識テンプレートのセットが、第２の画像領域と比較されるときに、少なくとも１つの処理回路によって、所定のテンプレートの合致条件を満たすように決定される、第２の合致する物体認識テンプレートを含むことと、を行うように構成されている。この実施形態では、少なくとも１つの処理回路は、第１の合致する物体認識テンプレートに基づいて、一次候補領域を生成することと、第２の合致する物体認識テンプレートに基づいて、安全ボリュームリスト内に少なくとも１つの候補領域を生成することと、を行うように構成されている。

実施形態１５は、実施形態１～１４のうちのいずれか１つの計算システムを含む。この実施形態では、少なくとも１つの処理回路は、画像情報が合致しない領域を表す部分を有するという決定に応答して、合致しない領域に基づいて、新しい物体認識テンプレートを生成するように構成されている。

実施形態１６は、実施形態１～１５のうちのいずれか１つの計算システムを含む。この実施形態では、一次候補領域は、一次検出仮説に関連付けられた合致する物体認識テンプレートによって記述される物体形状についての第１の配向を表す領域であり、少なくとも１つの処理回路は、安全ボリュームリストに、物体形状についての第２の配向を表す候補領域を追加するように構成されており、第２の配向は、第１の配向に対して垂直である。

実施形態１７は、実施形態１～１６のうちのいずれか１つの計算システムを含む。この実施形態では、少なくとも１つの処理回路は、安全ボリュームリストに、所定の最大物体高さを表す候補領域を追加するように構成されている。

関連分野の当業者にとって、本明細書に記載する方法および用途への、その他の適切な修正ならびに適応が、実施形態のうちのいずれの範囲から逸脱することなく成すことができることは明らかであろう。上に記載する実施形態は、説明に役立つ実施例であり、本発明がこれらの特定の実施形態に限定されると解釈されるべきではない。本明細書に開示する様々な実施形態は、記載および添付の図に具体的に提示する組み合わせとは異なる組み合わせで、組み合わせてもよいことは理解されるべきである。例えば、図６Ａ～図６Ｊに関して説明した実施形態（複数可）は、図７Ａ～図７Ｇ、図８Ａ～図８Ｇ、図９Ａ～図９Ｆ、図１０Ａ～図１０Ｈ、図１１Ａ～図１１Ｅ、図１２Ａ～図１２Ｈ、ならびに図１３Ａおよび図１３Ｂの実施形態（複数可）と組み合わされうる。別の実施例では、図６Ｄ、図６Ｅ、図７Ｂ、図７Ｅ、図８Ｇ、および図９Ｆの実施形態は、様々な方法で組み合わされてもよい。実施例によって、本明細書に記載するプロセスもしくは方法のいずれのある特定の行為または事象は、異なる順番で行われてもよく、追加、統合、または完全に省略してもよいことも理解されるべきである（例えば、記載したすべての行為または事象は、方法またはプロセスを実施するのに必要ではない場合がある）。例えば、方法４０００は、様々な工程を省略すること、様々な工程を修正すること、または追加の工程を実施すること（例えば、工程４００６を省略すること）によって変更されてもよい。加えて、本明細書の実施形態のある特定の特徴を、明確にするために、単一の構成要素、モジュール、またはユニットにより行われていると記載しているものの、本明細書に記載する特徴および機能は、構成要素、モジュール、またはユニットのいかなる組み合わせによって行われてもよいことは理解されるべきである。したがって、添付の特許請求の範囲に定義するような、発明の精神または範囲から逸脱することなく、様々な変更および修正を当業者が及ぼしてもよい。

Claims (20)

1. ロボット、およびカメラ視野を有するカメラと通信するように構成されている通信インターフェースと、
   少なくとも１つの処理回路と、を備え、
   前記少なくとも１つの処理回路は、物体が前記カメラ視野の中にある、またはあったときに、
   前記物体を表す画像情報を受信することであって、前記画像情報が前記カメラによって生成されることと、
   １つ以上の合致する物体認識テンプレートのセットを識別することであって、前記１つ以上の合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす１つ以上の物体認識テンプレートであり、前記１つ以上の合致する物体認識テンプレートのセットが、１つ以上の検出仮説のセットに関連付けられていて、前記１つ以上の検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかの１つ以上のそれぞれの推定であることと、
   前記１つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記１つ以上の合致する物体認識テンプレートのセットの、合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、１つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有しており、前記１つ以上のそれぞれの信頼値のセットが、前記１つ以上の検出仮説のセットに関連付けられていると共に、前記１つ以上の検出仮説のセットに関連付けられた前記１つ以上の合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
   一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートに基づいて生成することと、
   （ｉ）前記１つ以上の合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、１つ以上の残りの合致する物体認識テンプレートのサブセットを、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートに加えて、有しているかどうか、または（ｉｉ）前記画像情報が、前記一次候補領域に隣接し、かつ前記所定のテンプレート合致条件を満たすことができない、合致しない領域を表す部分を有しているかどうか、のうちの少なくとも１つを決定することと、
   １つ以上の残りの合致する物体認識テンプレートの前記サブセットが存在するという決定、または前記画像情報が前記合致しない領域を表す前記部分を有しているという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、（ｉ）前記合致しない領域、または（ｉｉ）前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する１つ以上の追加の候補領域、のうちの少なくとも１つを記述するリストであり、前記１つ以上の追加の候補領域が、１つ以上の残りの合致する物体認識テンプレートの前記サブセットに基づいて生成されることと、
   前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
   を行うように構成されている、計算システム。
2. 前記少なくとも１つの処理回路が、前記一次候補領域と、（ｉ）前記１つ以上の追加の候補領域または（ｉｉ）前記合致しない領域のうちの少なくとも１つと、を包含する、境界領域を決定するように構成されており、
   前記運動計画を実施することが、前記境界領域に基づいて、ロボットエンドエフェクタ装置に関連付けられた軌道を決定することを含む、請求項１に記載の計算システム。
3. 前記運動計画を実施することが、
   前記一次候補領域に基づいてロボットの把持運動を決定することと、
   前記境界領域に基づいて前記軌道を決定することと、を含む、請求項２に記載の計算システム。
4. 前記１つ以上の検出仮説のセットが、前記一次検出仮説に加えて、１つ以上の残りの合致する物体認識テンプレートの前記サブセットに関連付けられている１つ以上の残りの検出仮説のサブセットを含み、
   前記少なくとも１つの処理回路が、前記１つ以上の残りの検出仮説のサブセットの各検出仮説について、前記検出仮説に関連付けられたそれぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する所定の信頼類似性閾値内にあるかどうかを決定するように構成されており、
   前記検出仮説に関連付けられた前記それぞれの信頼値が、前記一次検出仮説に関連付けられた前記信頼値に対する前記所定の信頼類似性閾値内にあるという決定に応答して、前記少なくとも１つの処理回路が、前記安全ボリュームリスト内に、前記検出仮説に関連付けられたそれぞれの候補領域を含めるように構成され、その結果、前記それぞれの候補領域が、前記安全ボリュームリストの前記１つ以上の追加領域の一部となる、請求項１に記載の計算システム。
5. 前記安全ボリュームリスト内の前記１つ以上の追加の候補領域の各候補領域が、前記一次検出仮説に関連付けられた前記信頼値に対する前記所定の信頼類似性閾値内にある信頼値を有する、それぞれの検出仮説に関連付けられている、請求項４に記載の計算システム。
6. 前記安全性ボリュームリスト内の前記１つ以上の追加の候補領域の各候補領域が、所定のテンプレート合致閾値以上である信頼値を有する、それぞれの検出仮説に関連付けられている、請求項４に記載の計算システム。
7. １つ以上の残りの合致する物体認識テンプレートの前記サブセットが、複数のそれぞれの候補領域に関連付けられた複数の合致する物体認識テンプレートを含み、
   前記少なくとも１つの処理回路が、前記複数の候補領域の各候補領域について、
   前記候補領域と前記一次候補領域との間のそれぞれの重複の量を決定することと、
   前記それぞれの重複の量が、所定の重複閾値と等しいか、またはそれを超えているかどうかを決定することと、を行うように構成され、
   前記重複の量が前記所定の重複閾値と等しいか、またはそれを超えているという決定に応答して、前記少なくとも１つの処理回路が、前記安全ボリュームリスト内に前記候補領域を含めるように構成され、その結果、前記候補領域が、前記安全ボリュームリストの前記１つ以上の追加の候補領域の一部となる、請求項１に記載の計算システム。
8. 前記画像情報が、２Ｄ画像情報を含み、
   前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、前記２Ｄ画像情報と比較されるときに、前記所定のテンプレート合致条件を満たすように前記少なくとも１つの処理回路によって決定される、視覚的記述情報のセットを含む、請求項１に記載の計算システム。
9. １つ以上の残りの合致する物体認識テンプレートの前記サブセットの少なくとも１つの合致する物体認識テンプレートが、前記２Ｄ画像情報と比較されるときに、前記所定のテンプレート合致条件を満たすように前記少なくとも１つの処理回路によって決定される、視覚的記述情報のそれぞれのセットを有しており、
   前記少なくとも１つの処理回路が、前記少なくとも１つの合致する物体認識テンプレートに基づいて、前記安全ボリュームリストを生成するように構成されている、請求項８に記載の計算システム。
10. 前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、第１の物体サイズを示す構造記述情報のそれぞれのセットを含み、
    前記少なくとも１つの合致する物体認識テンプレートが、前記第１の物体サイズとは異なる第２の物体サイズを示す構造記述情報のそれぞれのセットを含む、請求項９に記載の計算システム。
11. 前記画像情報が、３Ｄ画像情報をさらに含み、
    １つ以上の残りの合致する物体認識テンプレートの前記サブセットの少なくとも１つの物体認識テンプレートが、前記３Ｄ画像情報と比較されるときに、前記所定のテンプレート合致条件を満たすように前記少なくとも１つの処理回路によって決定される、構造記述情報のそれぞれのセットを有しており、
    前記少なくとも１つの処理回路が、前記少なくとも１つの物体認識テンプレートに基づいて、前記安全ボリュームリストを生成するように構成されている、請求項８に記載の計算システム。
12. 前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、前記１つ以上の合致する物体認識テンプレートのセットのうちの、第１の合致する物体認識テンプレートであり、
    前記少なくとも１つの処理回路は、前記１つ以上の合致する物体認識テンプレートのセットがテンプレート記憶空間内に記憶された複数の物体認識テンプレートの一部であるときに、
    前記複数の物体認識テンプレートが、前記第１の合致する物体認識テンプレートに加えて、前記第１の合致する物体認識テンプレートと比較されるときに、所定のテンプレート類似性条件を満たす少なくとも１つの物体認識テンプレートを有しているかどうかを決定することと、
    前記複数の物体認識テンプレートが、前記第１の合致する物体認識テンプレートと比較されるときに、前記所定のテンプレート類似性条件を満たす前記少なくとも１つの物体認識テンプレートを含むという決定に応答して、前記少なくとも１つの物体認識テンプレートに基づいて、前記安全ボリュームリストを生成することと、
    を行うように構成されている、請求項８に記載の計算システム。
13. 前記一次候補領域が、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートと前記画像情報を整列させる、第１の方法を表しており、
    前記少なくとも１つの処理回路が、前記合致する物体認識テンプレートと前記画像情報とを整列させる第２の方法を表す別の候補領域を、前記安全ボリュームリストに含めるように構成されている、請求項１に記載の計算システム。
14. 前記少なくとも１つの処理回路が、
    前記画像情報によって表される画像コーナーの第１のセットまたは画像エッジの第１のセットを識別することと、
    前記画像コーナーの第１のセットまたは前記画像エッジの第１のセットの間に位置する画像領域である、第１の画像領域を識別することであって、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートが、前記第１の画像領域と比較されるときに、前記所定の合致条件を満たすように前記少なくとも１つの処理回路によって決定され、前記合致する物体認識テンプレートが、前記１つ以上の合致する物体認識テンプレートのセットのうちの、第１の合致する物体認識テンプレートであることと、
    前記画像情報に基づいて画像コーナーの第２のセットまたは画像エッジの第２のセットを識別することであって、前記画像コーナーの第２のセットが、前記画像コーナーの第１のセットの一部である少なくとも１つの画像コーナーを含むと共に、前記第１の画像領域の外側にある少なくとも１つの画像コーナーを含み、前記画像エッジの第２のセットが、前記画像エッジの第１のセットの一部である少なくとも１つの画像エッジを含むと共に、前記第１の画像領域の外側にある少なくとも１つの画像エッジを含むことと、
    前記画像コーナーの第２のセットまたは前記画像エッジの第２のセットの間に位置する画像領域である、第２の画像領域を識別することであって、前記第２の画像領域が、前記第１の画像領域を超えて延在しており、前記１つ以上の合致する物体認識テンプレートのセットが、前記第２の画像領域と比較されるときに、前記所定のテンプレートの合致条件を満たすように前記少なくとも１つの処理回路によって決定される、第２の合致する物体認識テンプレートを含むことと、
    を行うように構成されており、
    前記少なくとも１つの処理回路が、
    前記第１の合致する物体認識テンプレートに基づいて、前記一次候補領域を生成することと、
    前記第２の合致する物体認識テンプレートに基づいて、前記安全ボリュームリスト内に少なくとも１つの候補領域を生成することと、
    を行うように構成されている、請求項１に記載の計算システム。
15. 前記少なくとも１つの処理回路が、前記画像情報が前記合致しない領域を表す前記部分を有するという決定に応答して、前記合致しない領域に基づいて、新しい物体認識テンプレートを生成するように構成されている、請求項１に記載の計算システム。
16. 前記一次候補領域が、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートによって記述される物体形状についての第１の配向を表す領域であり、
    前記少なくとも１つの処理回路が、前記安全ボリュームリストに、前記物体形状についての第２の配向を表す候補領域を追加するように構成されており、
    前記第２の配向が、前記第１の配向に対して垂直である、請求項１に記載の計算システム。
17. 前記少なくとも１つの処理回路が、前記安全ボリュームリストに、所定の最大物体高さを表す候補領域を追加するように構成されている、請求項１に記載の計算システム。
18. 命令を有する非一時的コンピュータ可読媒体であって、
    前記命令は、計算システムの少なくとも１つの処理回路によって実行されるときに、前記少なくとも１つの処理回路に、
    前記計算システムの前記少なくとも１つの処理回路によって画像情報を受信することであって、前記計算システムが、（ｉ）ロボット、および（ｉｉ）カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
    １つ以上の合致する物体認識テンプレートのセットを識別することであって、前記１つ以上の合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす１つ以上の物体認識テンプレートであり、前記１つ以上の合致する物体認識テンプレートのセットが、１つ以上の検出仮説のセットに関連付けられていて、前記１つ以上の検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかの１つ以上のそれぞれの推定であることと、
    前記１つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記１つ以上の合致する物体認識テンプレートのセットの、合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、１つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有しており、前記１つ以上のそれぞれの信頼値のセットが、前記１つ以上の検出仮説のセットに関連付けられていると共に、前記１つ以上の検出仮説のセットに関連付けられた前記１つ以上の合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
    一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートに基づいて生成することと、
    （ｉ）前記１つ以上の合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、１つ以上の残りの合致する物体認識テンプレートのサブセットを、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートに加えて、有しているかどうか、または（ｉｉ）前記画像情報が、前記一次候補領域に隣接し、かつ前記所定のテンプレート合致条件を満たすことができない、合致しない領域を表す部分を有しているかどうか、のうちの少なくとも１つを決定することと、
    １つ以上の残りの合致する物体認識テンプレートの前記サブセットが存在するという決定、または前記画像情報が前記合致しない領域を表す前記部分を有しているという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、（ｉ）前記合致しない領域、または（ｉｉ）前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する１つ以上の追加の候補領域、のうちの少なくとも１つを記述するリストであり、前記１つ以上の追加の候補領域が、１つ以上の残りの合致する物体認識テンプレートの前記サブセットに基づいて生成されることと、
    前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
    を行わせる、非一時的コンピュータ可読媒体。
19. 前記少なくとも１つの処理回路によって実行されるときに、前記命令は、前記少なくとも１つの処理回路に、
    前記一次候補領域と、（ｉ）前記１つ以上の追加の候補領域または（ｉｉ）前記合致しない領域のうちの少なくとも１つと、を包含する、境界領域を決定することを行わせ、
    さらに、前記命令は、前記少なくとも１つの処理回路に、前記境界領域に基づいて、ロボットエンドエフェクタ装置に関連付けられた軌道を決定することによって、前記運動計画を実施させる、請求項１８に記載の非一時的コンピュータ可読媒体。
20. 計算システムによって実施される方法であって、
    前記計算システムによって画像情報を受信することであって、前記計算システムが、（ｉ）ロボット、および（ｉｉ）カメラ視野を有するカメラと通信するように構成されており、前記画像情報が、前記カメラ視野内の物体を表すためのものであり且つ前記カメラによって生成されることと、
    １つ以上の合致する物体認識テンプレートのセットを識別することであって、前記１つ以上の合致する物体認識テンプレートが、前記画像情報と比較されるときに、所定のテンプレート合致条件を満たす１つ以上の物体認識テンプレートであり、前記１つ以上の合致する物体認識テンプレートのセットが、１つ以上の検出仮説のセットに関連付けられていて、前記１つ以上の検出仮説のセットが、どの物体または物体タイプが前記画像情報によって表されるかの１つ以上のそれぞれの推定であることと、
    前記１つ以上の検出仮説のセットの中から検出仮説を、一次検出仮説として、選択することであって、前記一次検出仮説が、前記１つ以上の合致する物体認識テンプレートのセットの、合致する物体認識テンプレートに関連付けられており、前記一次検出仮説として選択された前記検出仮説が、１つ以上のそれぞれの信頼値のセットの中で最も高い信頼値を有しており、前記１つ以上のそれぞれの信頼値のセットが、前記１つ以上の検出仮説のセットに関連付けられていると共に、前記１つ以上の検出仮説のセットに関連付けられた前記１つ以上の合致する物体認識テンプレートのセットに前記画像情報が合致するそれぞれの度合いを示すことと、
    一次候補領域として、前記物体の物体境界位置を推定する、または前記カメラ視野内のどの位置が前記物体によって占有されているかを推定する候補領域を、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートに基づいて生成することと、
    （ｉ）前記１つ以上の合致する物体認識テンプレートのセットが、前記画像情報と比較されるときに、前記所定のテンプレート合致条件を満たす、１つ以上の残りの合致する物体認識テンプレートのサブセットを、前記一次検出仮説に関連付けられた前記合致する物体認識テンプレートに加えて、有しているかどうか、または（ｉｉ）前記画像情報が、前記一次候補領域に隣接し、かつ前記所定のテンプレート合致条件を満たすことができない、合致しない領域を表す部分を有しているかどうか、のうちの少なくとも１つを決定することと、
    １つ以上の残りの合致する物体認識テンプレートの前記サブセットが存在するという決定、または前記画像情報が前記合致しない領域を表す前記部分を有しているという決定に応答して、安全ボリュームリストを生成することであって、前記安全ボリュームリストは、（ｉ）前記合致しない領域、または（ｉｉ）前記物体の物体境界位置を推定する、もしくはどの位置が前記物体によって占有されているかを推定する１つ以上の追加の候補領域、のうちの少なくとも１つを記述するリストであり、前記１つ以上の追加の候補領域が、１つ以上の残りの合致する物体認識テンプレートの前記サブセットに基づいて生成されることと、
    前記一次候補領域に基づいてかつ前記安全ボリュームリストに基づいて、前記ロボットと前記物体との間のロボット相互作用のための運動計画を実施することと、
    を含む、方法。

Images