JP2018511796A - 視覚光、および、赤外の投射されるパターンを検出するためのイメージャ - Google Patents

Abstract

【課題】 深度検知のための方法およびシステムが提供される。【解決手段】 システムは、特定の赤外帯域の中の赤外光を捕捉するように構成される第２の複数のフォト検出器が間に散在する、可視光を捕捉するように構成される第１の複数のフォト検出器を各々が含む、第１および第２の光学センサを含む。システムはさらには、（i）環境の第１の対応するフィーチャを、第１の光学センサにより捕捉される第１の可視光画像と、第２の光学センサにより捕捉される第２の可視光画像との間で識別することと、（ii）環境の第２の対応するフィーチャを、第１の光学センサにより捕捉される第１の赤外光画像と、第２の光学センサにより捕捉される第２の赤外光画像との間で識別することと、（iii）深度推定値を、環境内の少なくとも１つの表面に対して、第１の対応するフィーチャ、および、第２の対応するフィーチャに基づいて決定することとを行うように構成されるコンピューティングデバイスを含む。【選択図】 図６

Description

関連出願の相互参照
[0001] 本出願は、２０１５年３月３０日に出願され、「Ｉｍａｇｅｒ ｆｏｒ Ｄｅｔｅｃｔｉｎｇ Ｖｉｓｕａｌ Ｌｉｇｈｔ ａｎｄ Ｐｒｏｊｅｃｔｅｄ Ｐａｔｔｅｒｎｓ」という名称の、米国特許出願第１４／６７２，３６９号の優先権を主張するものであり、その米国特許出願はここに、参照によりその全体が組み込まれている。

[0002] 把持構成要素を内に含むロボティックマニピュレータなどのロボティックシステムは、物体を持ち上げる、または移動させることを必然的に含む用途に対して使用され得る。実例としてロボティックデバイスは、コンテナに物体を充填する、物体の積重体を創出する、または、物体をトラックの荷台から荷下ろしをするために使用され得る。一部の事例では、物体のすべては、同じタイプのものであり得る。他の事例では、コンテナまたはトラックは、箱入りの物品、缶、タイヤ、または、他の積重可能な物体などの、異なるタイプの物体の混合体を内に含み得る。そのようなロボティックシステムは、ロボティックマニピュレータに、物体を持ち上げるように指図することを、物体が環境内のどこにあるかの、あらかじめ決定されたナレッジに基づいて行い得る。

[0003] 一部の例では、ロボティックシステムは、コンピュータビジョン技法を使用して、３次元（３Ｄ）シーン幾何学的配置の表現を決定し得る。例として、ロボティックシステムは、シーンから観測される情報を三角測量で測定して、シーン内の１つまたは複数の表面までの深度（ｄｅｐｔｈ）を決定し得る。深度検知に対する１つの手法は、立体画像処理の使用である。この手法によれば、お互いに対する知られている物理的関係性を伴う２つの光学センサが、シーンの２つの画像を捕捉するために使用される。対応する画素値のマッピングを２つの画像の中で見出し、どれだけ遠く離れてこれらの共通エリアが画素空間内に在るかを算出することにより、コンピューティングデバイスは、深度マップまたは画像を、三角測量を使用して決定し得る。深度マップまたは深度画像は、シーン内の物体の表面の距離に関係する情報を内に含み得る。

[0004] 構造化光処理を使用する、深度検知に対する別の手法が用いられ得る。構造化光処理の主な考え方は、知られている照射パターンをシーン上に投射し、投射されるパターンを含むシーンの画像を捕捉することである。例えば、図１で示されるように、プロジェクタ１０２は、知られているテクスチャパターンを物体１０４上に投射し得るものであり、光学センサ１０６（例えば、カメラ）は、物体１０４の画像１０８を捕捉し得る。コンピューティングデバイスは次いで、画像内の領域と、投射されるパターンの特定のパートとの間の対応関係を決定し得る。プロジェクタ１０２の位置、光学センサ１０６の位置、および、画像１０８の中のパターンの特定のパートに対応する領域の場所を与えられると、コンピューティングデバイスは次いで、三角測量を使用して、物体１０４の表面までの深度を推定し得る。

[0005] 典型的には、プロジェクタ１０２および光学センサ１０６は、水平に、ベースラインに沿って変位させられ、プロジェクタ１０２および光学センサ１０６は較正される。較正プロセスは、光学センサ１０６内の画素を、プロジェクタ１０２内の画素の１次元曲線にマッピングし得る。センサ画像およびプロジェクタ画像が矯正されるならば、この曲線は、水平ラインの形式をとり得る。この事例では、投射されるテクスチャパターンに対するマッチの探索は、このラインに沿って進み得るものであり、そのことは、プロセスをより効率的にする。

[0006] 環境内の深度検知であって、その環境は、明るい、および薄暗い部分を伴う、深度検知が、投射されるパターン、および可視光の両方を検知する能力があるイメージャを使用して改善され得る。本明細書で説明されるように、イメージャの対が、投射されるパターンの、１つまたは複数の赤外光画像、および、環境の可視光画像の対を捕捉し得る。コンピューティングデバイスは、第１の深度推定値を、シーン内の表面に対して、赤外光画像の少なくとも１つから、構造化光処理を使用して決定し得る。コンピューティングデバイスはさらには、第２の深度推定値を、シーン内の表面に対して、立体画像の対から、立体画像処理を使用して決定し得る。コンピューティングデバイスは次いで、第１の深度推定値、および、第２の深度推定値を組み合わせて、組み合わされた深度推定値を、環境内の１つまたは複数の表面に対して決定し得る。

[0007] １つの例では、第１の光学センサと、第２の光学センサと、光源と、コンピューティングデバイスとを含むシステムが提供される。各々の光学センサは、特定の赤外帯域の中の赤外光を捕捉するように構成される第２の複数のフォト検出器が間に散在する、可視光を捕捉するように構成される第１の複数のフォト検出器を含む。光源は、特定の赤外帯域の中の波長の赤外光を環境上に投射するように構成される。コンピューティングデバイスは、環境の第１の対応するフィーチャを、第１の光学センサにより捕捉される第１の可視光画像と、第２の光学センサにより捕捉される第２の可視光画像との間で識別するように構成される。コンピューティングデバイスはさらには、環境の第２の対応するフィーチャを、第１の光学センサにより捕捉される第１の赤外光画像と、第２の光学センサにより捕捉される第２の赤外光画像との間で識別するように構成される。コンピューティングデバイスは、深度推定値を、環境内の少なくとも１つの表面に対して、第１の対応するフィーチャ、および、第２の対応するフィーチャに基づいて決定するようにさらに構成される。

[0008] 別の例では、フォト検出器の平面状アレイと、光フィルタアレイと、制御回路とを含む光学センサが提供される。フォト検出器の平面状アレイは、第１の複数のフォト検出器と、第２の複数のフォト検出器とを含む。各々のフォト検出器は、電荷を、フォト検出器上に入射する光の強度に基づいて生成するように構成される。光フィルタアレイは、フォト検出器の平面状アレイに結合される。光フィルタアレイは、可視光を第１の複数のフォト検出器上に通過させるように構成される第１の複数のフィルタと、特定の赤外帯域の中の赤外光を第２の複数のフォト検出器上に通過させるように構成される第２の複数のフィルタとを含む。第１の複数のフィルタは、第２の複数のフィルタが間に散在する。制御回路は、可視光画像を、第１の複数のフォト検出器からの電荷に基づいて生成するように構成される。制御回路はさらには、赤外光画像を、第２の複数のフォト検出器からの電荷に基づいて生成するように構成される。

[0009] さらに別の例では、第１の光学センサの第１の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の可視光画像を受信する工程を必然的に含む方法が提供される。方法はさらには、第２の光学センサの第１の複数のフォト検出器から、第２の視点から知覚されるような、環境の第２の可視光画像を受信する工程を必然的に含む。方法は、第１の光学センサの第２の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の赤外光画像を受信する工程をさらに必然的に含む。第１の光学センサの第２の複数のフォト検出器は、特定の赤外帯域の中の赤外光を捕捉するように構成される。加えて方法は、第２の光学センサの第２の複数のフォト検出器から、第２の視点から知覚されるような、環境の第２の赤外光画像を受信する工程を必然的に含む。第２の光学センサの第２の複数のフォト検出器は、特定の赤外帯域の中の赤外光を捕捉するように構成される。さらに方法は、コンピューティングデバイスにより、環境の第１の対応するフィーチャを、第１の可視光画像と、第２の可視光画像との間で識別する工程を必然的に含む。方法はさらには、コンピューティングデバイスにより、環境の第２の対応するフィーチャを、第１の赤外光画像と、第２の赤外光画像との間で識別する工程を必然的に含む。方法は、コンピューティングデバイスにより、深度推定値を、環境内の少なくとも１つの表面に対して、第１の対応するフィーチャ、および、第２の対応するフィーチャに基づいて決定する工程をさらに必然的に含む。

[0010] さらに別の例では、第１の光学センサの第１の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の可視光画像を受信するための手段を含むシステムが提供される。システムはさらには、第２の光学センサの第１の複数のフォト検出器から、第２の視点から知覚されるような、環境の第２の可視光画像を受信するための手段を含む。システムは、第１の光学センサの第２の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の赤外光画像を受信するための手段をさらに含む。第１の光学センサの第２の複数のフォト検出器は、特定の赤外帯域の中の赤外光を捕捉するように構成される。加えてシステムは、第２の光学センサの第２の複数のフォト検出器から、第２の視点から知覚されるような、環境の第２の赤外光画像を受信するための手段を含む。第２の光学センサの第２の複数のフォト検出器は、特定の赤外帯域の中の赤外光を捕捉するように構成される。さらにシステムは、コンピューティングデバイスにより、環境の第１の対応するフィーチャを、第１の可視光画像と、第２の可視光画像との間で識別するための手段を含む。システムはさらには、コンピューティングデバイスにより、環境の第２の対応するフィーチャを、第１の赤外光画像と、第２の赤外光画像との間で識別するための手段を含む。システムは、コンピューティングデバイスにより、深度推定値を、環境内の少なくとも１つの表面に対して、第１の対応するフィーチャ、および、第２の対応するフィーチャに基づいて決定するための手段をさらに含む。

[0011] 上述の概要は、単に図解的なものであり、決して制限的であることは意図されない。上記で説明された、図解的な態様、実施形態、および特徴に加えて、さらなる態様、実施形態、および特徴が、図、および、以下の詳細な説明、および、付随する図面への参照により明らかになろう。

[0012]構造化光処理に対する例の手法の概念図解図である。 [0013]例の実施形態による、移動可能な荷車上に装着されるロボティックアームを示す図である。 [0014]例の実施形態による、ロボティックデバイスを図解する機能ブロック線図である。 [0015]例の実施形態による、ロボティックアーム、および、箱の積重体を示す図である。 [0016]例の実施形態による、ロボティックアーム上に装着されるセンサによる、図３Ａからの箱の積重体のスキャニングを示す図である。 [0017]例の実施形態による、箱を移動させる、図３Ａからのロボティックアームを示す図である。 [0018]例の実施形態による、例の光学センサの機能性の概念図解図である。 [0019]例の実施形態による、例の光学センサ上のフォト検出器の例の配置構成の概念図解図である。 [0020]例の実施形態による、例の光学センサ上のフォト検出器の別の例の配置構成の概念図解図である。 [0021]例の実施形態による、例の立体イメージングシステムの概念図解図である。 [0022]例の実施形態による、コンピューティングデバイスにより遂行され得る例の機能のブロック線図である。 [0023]例の実施形態による、相関表面を決定するための例の構成の概念図解図である。 [0024]例の実施形態による、相関表面の例の図解図である。 [0025]例の実施形態による、相関表面を組み合わせることの例の図解図である。 [0026]例の実施形態による、複数個の深度画像からの情報を組み合わせることの概念図解図である。 [0027]例の実施形態による、例の実施形態による、例の環境の概念図解図である。 [0028]例の実施形態による、深度を複数個の深度画像から決定することの例の図解図である。 [0029]例の実施形態による、シーンの例の画像の図である。 [0030]例の実施形態による、図１１Ａで示されるシーンの例の深度画像の図である。 [0031]例の実施形態による、投射されるパターンを伴うシーンの例の画像の図である。 [0032]例の実施形態による、図１１Ｃで示されるシーンの例の深度画像の図である。

[0033] 例の方法およびシステムが、本明細書で説明される。本明細書で説明される、いずれの例の実施形態または特徴も、必ずしも、他の実施形態または特徴より、好ましい、または有利であると解釈されることになるわけではない。本明細書で説明される例の実施形態は、制限的であるように定められるものではない。開示されるシステムおよび方法の、所定の態様は、多種多様の異なる構成で、配置構成され、組み合わされ得るものであり、それらの構成のすべては、本明細書で企図されるものであるということが、直ちに理解されよう。

[0034] その上に、図で示される特定の配置構成は、制限的とみなされるべきものではない。他の実施形態は、所与の図で示される各々の要素の、より多いもの、または、より少ないものを含み得るということが理解されるべきである。さらに、図解される要素の一部は、組み合わされる、または省略されることがある。なおもさらに、例の実施形態は、図で図解されない要素を含み得る。

[0035] 広い輝度レンジを伴う環境内の深度検知を改善し得る、方法、光学センサ、およびロボティックシステムが、本明細書で提供される。コンピュータビジョンシステムを装備したロボティックシステムは、変動するレベルの照明を伴う種々の環境の中で動作し得る。日中の間の屋外の環境、および、よく照らされる屋内の環境などの、所定の環境は、立体画像処理を使用する深度検知によく適したものであり得る。環境内の物体が明るく照射されるとき、それらの物体から反射される光を検知するイメージャは、それらの物体のフィーチャ（例えば、形状、色、輪郭、エッジ、その他）の、相当の詳細を捕捉し得る。しかしながら、薄暗い人工照明を伴う屋内の環境、および、夜間環境などの、他の環境では、より少ない光が、物体から反射され得るものであり、そのことが、それらの物体のフィーチャの洞察をより困難にする。その上に、立体画像ベースの深度検知は、主として、共通のフィーチャを、異なる観点からとられる２つの画像の間で識別することに依存するので、多くの色変動、エッジ、輪郭、または他の人工物を伴わないもの（例えば、大きい単一色の平坦な表面）などの、検出可能なフィーチャをほとんど有さない物体の深度を決定することは困難であり得る。

[0036] より薄暗い環境、および／または、検出可能なフィーチャをほとんど有さない物体を伴う環境では、構造化光手法が、深度検知を改善することを、パターン化された光をシーン上に投射し、投射されるパターンを伴うそのシーンの画像を捕捉することにより行い得る。投射されるパターンは、人工的なフィーチャを物体および表面上に光らせるものであり、それらの物体および表面は、さもなければ、正確な深度検知に対して、フィーチャをあまりにもほとんど有し得ない、または、あまりにも薄暗く照らされ得るものである。かくして、構造化光処理を、投射されるパターンを伴う環境を捕捉する画像に対して用いることにより、正確な深度検知が、環境内の表面に対して達成され得るものであり、それらの表面は、さもなければ、あまりにも暗くあり得る、または、フィーチャをあまりにもほとんど有し得ないものである。一部の実現形態では、投射されるパターンは、特定の赤外波長帯域の中の波長の光であり得る。この構造化光技法は、より暗い、および、一部の屋内の環境では有用であり得る一方で、投射されるパターンは、太陽光などの異なる光源により、弱められる、または圧倒されることがある。

[0037] 動作の間、ロボティックシステムは、明るい環境と暗い環境との間で、および／または、屋内の環境から屋外の環境へと移ることがある。一部の事例では、ロボティックシステムは、明るい部分、および、暗い部分の組み合わせを有する環境に遭遇し得る。実例として、部分的に屋内の、および、部分的に屋外のシーンは、暗い影に対して対照をなす、明るい、太陽で照らされる表面を有し得る。これらのシナリオでは、ロボティックシステムは、立体画像処理および構造化光処理の組み合わせを使用する深度検知から利益を得ることがある。

[0038] 本出願の光学センサは、１つまたは複数の波長帯域（例えば、可視光帯域および/または赤外光帯域）内の光を検出する能力があり得る。様々な実施形態によれば、光学センサは、赤外検知フォト検出器が間に散在する、可視検知フォト検出器の組み合わせを含む。可視検知および赤外検知フォト検出器は、本明細書で論考される種々の様式で配置構成され得る。光学センサの制御回路網は、可視光画像を、可視検知フォト検出器を使用して生成し、赤外光画像を、赤外検知フォト検出器を使用して生成し得る。結果として、１つのそのような光学センサは、画像を、光の２つの異なる波長帯域で捕捉し得る。

[0039] 可視光画像および赤外光画像の両方を捕捉する能力がある、単一の光学センサは、各々が独立して可視光画像または赤外光画像のいずれかを捕捉する、２つの別々の光学センサと比較して、よりリソース効率的であり得る。光学センサの数を低減することは、小さなロボティックシステム上など、空間リソースが制限されるときに所望され得る。その上に、単一の光学センサは、動作するためのより少ないエネルギーを要し得るものであり、ロボティックシステムの信頼性を、機能不全に陥りやすいセンサの数を低減することにより増大し得る。

[0040] 上記で説明された利益に加えて、可視検知フォト検出器および赤外検知フォト検出器の両方を相互混合する、単一の光学センサは、系統的誤差の影響を低減するものであり、それらの系統的誤差は、さもなければ、２つの別々の光学センサが使用されるならば存在することになるものである。その上に、可視検知フォト検出器および赤外検知フォト検出器が間に散在するなんらかの配置構成が、系統的誤差の影響を回避する、または、さらに低減するために用いられ得る。かくして、単一の光学センサを使用することは、典型的には、２つの異なる光学センサを使用することと関連付けられる、誤差が起こりやすい較正技法を遂行する必要性を回避する。

[0041] 様々な実施形態によれば、イメージングシステムは、異なる視点からの、環境の画像を捕捉するように構成される、上記で説明された光学センサ（さらには本明細書では「イメージャ」と呼称され得る）の２つ以上を含む。イメージングシステムは、環境またはシーンを複数個の波長帯域で、立体視的にイメージングし得る。次いでコンピューティングデバイスは、立体画像処理を使用して、環境の複数個の深度マップ（例えば、表面の深度情報）を、各々の波長帯域での異なる視点からの画像の対に基づいて生成し得る。複数個の波長帯域から導出される深度情報を、単一の深度マップに組み合わせることにより、コンピューティングデバイスは、広い輝度レンジを伴う環境の、より完全形の、および正確な深度マップを生成し得る。

[0042] 様々な実施形態によれば、イメージングシステムは、知られている距離だけ互いから分離される、ならびに、各々は画像を、可視光帯域、および、特定の赤外（IR）光帯域の両方で捕捉するように構成される、上記で説明された光学センサの２つを含み得る。イメージングシステムはさらには、知られている構造化光パターンを環境上に、その特定のＩＲ光帯域の中で投射するテクスチャプロジェクタを含み得る。このＩＲパターンは、フィーチャを表面上に投射し、それらのフィーチャが、深度決定を（特に、物体のフィーチャが、可視光スペクトルで洞察するのが困難であり得る、低い光環境で）改善する一方で、投射されるパターンは、人工照明および／または太陽光などの、他の源からの、強度の高い赤外光により、圧倒される、または弱められることがある。結果として、色差、物体のエッジ、および／または、投射されるパターンの部分などの、一部のフィーチャは、可視光帯域、または、特定のＩＲ光帯域のいずれかで知覚されるのみであることがある。

[0043] １つの例では、コンピューティングデバイスは、環境の深度情報を、イメージングシステムにより捕捉される可視光画像の対の間の対応するフィーチャに基づいて決定し得る。例として、コンピューティングデバイスは、対応する画素値のマッピングを、２つの可視光画像の中で決定し得るものであり、２つの光学センサの間の物理的関係性に基づいて、コンピューティングデバイスは、深度情報を、三角測量を使用して決定し得る。広い輝度レンジを伴う環境では、可視光ベースの深度情報は、環境のよく照射される部分に対する深度を提供し得る。コンピューティングデバイスはさらには、環境の深度情報を、イメージングシステムにより捕捉されるＩＲ光画像の対の間の対応するフィーチャに基づいて決定し得る。ＩＲ光ベースの深度情報は、環境の薄暗く照らされる部分に対する深度を提供し得る。次いでコンピューティングデバイスは、可視光画像およびＩＲ光画像の両方から導出される深度情報を組み合わせて、環境内の表面の、より総合的および正確な深度マップを決定し得る。

[0044] 様々な追加的な例が、下記で説明されるものであり、それゆえに、上記の例は、制限的であるように定められるものではない。参照がここで、詳細に、様々な実施形態に対して為されることになり、それらの実施形態の例は、付随する図面で図解される。以下の詳細な説明では、数多くの具体的な詳細が、本開示、および、説明される実施形態の、徹底した理解をもたらすために論述される。しかしながら本開示は、これらの具体的な詳細なしに実践され得る。他の実例では、よく知られている方法、手順、構成要素、および回路は、実施形態の態様を不必要に不明瞭にしないように、詳細には説明されていない。

[0045] 加えて、この開示の部分は、説明される方法および装置を、箱および／または他の物体の操作（例えば、荷積みおよび/または荷下ろし）を手助けするように実現することを指すが、方法および装置は、なおその上に、他の環境で実現され得る。実例として、方法および装置は、一般的には、任意の環境で、環境の３Ｄ幾何学的配置、または、環境内の物体の３Ｄ幾何学的配置を決定するように実現され得る。例として、方法および装置は、家屋内の部屋、もしくは、ビルディング内のオフィスの、３Ｄ幾何学的配置を、またはおそらくは、アリーナ、会議センタ、もしくはショッピングモールの、一部分の３Ｄ幾何学的配置を決定する一助となるように実現され得る。同様に方法および装置は、なおその上に、屋外の環境で利用され得る。

[0046] 様々な実施形態によれば、本明細書で説明されるのは、保管コンテナ内へ、または、車両からなどの、箱および／または他の物体の、自動化された荷積みおよび／または荷下ろしのための、方法およびシステムである。一部の例の実施形態では、箱または物体は、パレット上に自動的に整理および配置され（パレタイズされ）、または、パレットから自動的に取り去られ（デパレタイズされ）得る。例の中で、トラックの荷積み／荷下ろしをすることのプロセス、および／または、物体をパレタイズ／デパレタイズすることのプロセスを自動化することは、いくつかの産業上の、および事業上の利点をもたらし得る。

[0047] 様々な実施形態によれば、トラックの荷積み／荷下ろしをすることのプロセス、および／または、物体をパレタイズ／アンパレタイズすることのプロセスを自動化することは、物体を移動させる、または、他の機能を遂行するための、１つまたは複数のロボティックデバイスの組み込みを含み得る。一部の実施形態では、ロボティックデバイスは、可動にされることが、ロボティックデバイスを、車輪の付いた基部、ホロノミックな基部（例えば、任意の方向に移動し得る基部）、または、天井、壁、もしくは床上のレールと結合することにより行われ得る。一部の実施形態では、基部は、高架の基部であり得る。

[0048] 一部の例では、１つまたは複数のセンサと、１つまたは複数のコンピュータと、１つまたは複数のロボティックアームとを含むシステムが説明される。センサは、１つまたは複数の物体を内に含む環境を、視覚データおよび／または３Ｄ深度情報を捕捉するためにスキャンし得る。スキャンからのデータは次いで、デジタル環境再構築を提供するために、より大きいエリアの表現に統合され得る。追加的な例では、再構築される環境は次いで、持ち上げることになる物体を識別する、物体に対する選出位置を決定する、ならびに／あるいは、衝突のない軌道を、１つもしくは複数のロボティックアーム、および／または、可動の基部に対して計画するために使用され得る。

[0049] 本明細書で使用される際、用語「箱」は、パレット上に配置され得る、あるいは、トラックもしくはコンテナ上に荷積みをされ得る、または、トラックもしくはコンテナから荷下ろしをされ得る、任意の物体または物品を指すことになる。例えば、矩形の固形物に加えて、「箱」は、缶、ドラム缶、タイヤ、または、任意の他の「単純な」形状の幾何学的物品を指し得る。加えて「荷積み」および「荷下ろし」は各々、他方を示唆するために使用され得る。例えば、例が、トラックの荷積みをするための方法を説明するならば、実質的に同じ方法がさらには、なおその上に、トラックの荷下ろしをするために使用され得るということが理解されることになる。本明細書で使用される際、「パレタイジング」は、箱をパレット上に荷積みをし、パレット上の箱が、パレット上で保管または輸送され得るような方策で、箱を積重または配置構成することを指し、一方で用語「デパレタイジング」は、箱をパレットから取り去ることを指す。加えて、用語「パレタイジング」および「デパレタイジング」は各々、他方を示唆するために使用され得る。

[0050] 様々な実施形態によれば、ロボティックマニピュレータは、ホロノミックな荷車（例えば、荷車が任意の方向に移動することを可能とする車輪を伴う荷車）上に装着され得る。図２Ａは、ロボティックマニピュレータを内に含む、例示的なホロノミックな荷車を図示する。一部の実施形態では、移動可能な荷車２１２は、荷車２１２上に装着されるロボティックアーム２０２を含み得る。ロボティックアーム２０２は、環境の中の物体を把持するための把持構成要素２０４を内に含み得る。荷車は、１つまたは複数の車輪２１４を内に含み得るものであり、それらの車輪２１４は、２つの自由度を伴って動作する、ホロノミックな車輪であり得る。さらなる実施形態では、ラップアラウンド前方コンベヤベルト２１０が、ホロノミックな荷車２１２上に含まれ得る。一部の例では、ラップアラウンド前方コンベヤベルト２１０は、ロボットが、箱をトラックコンテナもしくはパレットから、または、トラックコンテナもしくはパレットに、荷下ろしまたは荷積みをするとき、そのロボットの把持部を左または右に回転させる必要がないことを可能とし得る。

[0051] 他の例では、ロボティックマニピュレータは、異なるタイプの移動可能な装置上に装着されることがあり、または、移動可能な基部上に全く装着されないことがある。例えばロボティックマニピュレータは、固定された位置に、工場設定の枠内で装着され得る。他の例の実施形態では、１つまたは複数のロボティックマニピュレータは、トラックまたはコンテナのレール上に装着され得る。そのような例では、ロボティックマニピュレータは、トラックまたはコンテナの、荷積みまたは荷下ろしをするために使用され得る。

[0052] 図２Ｂは、例の実施形態による、ロボティックデバイス２００を図解する機能ブロック線図である。ロボティックデバイス２００は、機械システム２２０、検知システム２３０、制御システム２４０、および、パワーサプライ２５０などの、様々なサブシステムを含み得る。ロボティックデバイス２００は、より多い、または、より少数のサブシステムを含み得るものであり、各々のサブシステムは、複数個の要素を含み得る。さらに、ロボティックデバイス２００のサブシステムおよび要素の各々は、相互接続され得る。かくして、ロボティックデバイス２００の説明される機能の１つまたは複数は、追加的な機能もしくは物理的構成要素に分割される、または、より少数の機能もしくは物理的構成要素に組み合わされることがある。一部の例では、追加的な機能および／または物理的構成要素が、図２Ａおよび２Ｂにより図解される例に追加され得る。

[0053] 機械システム２２０は、ロボティックアーム２０２と、把持部２０４と、コンベヤベルト２１０と、（移動可能な、または、ホロノミックな）荷車２１２と、１つまたは複数の車輪２１４とを含む、図２Ａについて上記で説明された構成要素を含み得る。機械システム２２０は加えて、モータ２２２を含み得るものであり、そのモータ２２２は、電気的パワーによりパワー供給される電気モータであり得るものであり、または、ガスベースの燃料、もしくはソーラーパワーなどの、いくつかの異なるエネルギー源によりパワー供給され得る。加えてモータ２２２は、パワーをパワーサプライ２５０から受けるように構成され得る。パワーサプライ２５０は、パワーを、ロボティックデバイス２００の様々な構成要素に提供し得るものであり、例えば、再充電可能なリチウムイオンまたは鉛酸電池を表し得る。例の実施形態では、そのような電池の、１つまたは複数のバンクが、電気的パワーを提供するように構成され得る。他のパワーサプライ材料およびタイプが、さらには可能である。

[0054] 検知システム２３０は、センサ２０６およびセンサ２０８などの、ロボティックアーム２０２に取り付けられる１つまたは複数のセンサを使用し得るものであり、それらのセンサは、環境に関する情報を、ロボティックアーム２０２が移動する際に検知する、２Ｄセンサおよび／または３Ｄ深度センサであり得る。検知システムは、環境に関する情報を決定し得るものであり、その情報は、箱を効率的に選出し、移動させるために、制御システム２４０（例えば、運動計画ソフトウェアを走らせるコンピュータ）により使用され得るものである。制御システム２４０は、デバイス上に場所決めされ得るものであり、または、デバイスとの遠隔通信の状態にあり得る。さらなる例では、前方ナビゲーションセンサ２１６および後方ナビゲーションセンサ２１８などの、可動の基部上に装着される、１つまたは複数の、２Ｄまたは３Ｄセンサ、ならびに、センサ２０６およびセンサ２０８などの、ロボティックアーム上に装着される、１つまたは複数のセンサからのスキャンが、トラックまたは他のコンテナの、側部、床、天井、および／または前壁を含む、環境のデジタルモデルを築き上げるために統合され得る。この情報を使用して、制御システム２４０は、可動の基部が、荷下ろしまたは荷積みのための位置内にナビゲートすることを引き起こし得る。

[0055] 追加的な例では、平面状表面情報が、３Ｄセンサから、壁、床／天井、および／または箱面をモデリングするために抽出され得る。床をモデリングする後、物体を床平面上に投射することが、障害物、および／または、箱などの標的物体の区分を可能にし得る。床平面投射はさらには、平面として正確にモデリングされないことがある、コンテナまたはトラックの、うね状の側部をモデリングするために使用され得る。さらなる例では、側壁角度、床平面ロールおよびピッチ、ならびに／または、側壁からの距離が、可動の基部をコンテナ内に、衝突なしで巧みに進ませるために使用され得る。単一のラインスキャンよりむしろ、拡張された３Ｄ情報の使用が、ナビゲーション情報の抽出をロバストにする一助となり得る。例えば側壁は、３Ｄセンサにより捕捉される垂直方向の存続範囲を有し得る。深度情報の単一のラインを使用するスキャニングシステムは、それらのシステムが垂直方向にスキャンするならば、より低速であることがあり、および／または、それらのシステムはより少ない情報を獲得するので、よりロバストでないことがある。追加的な例では、前方平面モデリングが、トラック荷下ろしで選出することになる物体の次のグループまでの距離を決定し得る。

[0056] さらなる例では、ロボティックアーム２０２は、デジタル吸着グリッド把持部などの把持部２０４を装備し得る。そのような実施形態では、把持部は、１つまたは複数の吸着バルブを含み得るものであり、それらの吸着バルブは、遠隔検知もしくは単一点距離測定によって、および／または、吸着が達成されるかどうかを検出することによってのいずれかで、オンまたはオフにされ得る。追加的な例では、デジタル吸着グリッド把持部は、連結式の拡張部を含み得る。一部の実施形態では、吸着把持部をレオロジー流体または粉末によって作動させる潜在能力は、高い曲率を伴う物体に関する普通以上の把持を可能にし得る。

[0057] 一部の実施形態では、把持部は潜在的に、いくつもの箱または物体に広がり、吸着を、取り扱われる物体の、一部またはすべてに対してオンにし得る。一部の実施形態では、吸着または付着デバイスは、「デジタル」グリッドであり得るものであり、それによりロボティックデバイスは、任意の数の吸着デバイスをオンにすることを、そのことが、掴みのために検知される箱に適合することになるように行い得る。一部の実現形態では、システムは、箱での合わせ目（近接する箱の間の分離）に気付き得るものであり、それによって吸着デバイスは、両方の箱を一度に持ち上げるために、合わせ目の両方の側部上で活動化され得るものであり、そのことにより、処理量を２倍にする。一部の実施形態では、吸着デバイスは、所定の量時間の後、それらの吸着デバイスが表面を成功裏に把持し得るかどうかを検知し得るものであり、そのことの後、それらの吸着デバイスは自動的に止まり得る。さらなる実施形態では、吸着デバイスのセクションは、箱の上部を掴握するために折り畳めることがある。実例として、把持部は、初期に最大限の伸張状態で開始し、次いで、把持される表面に外形を合わせることがある。

[0058] さらなる例では、ロボティックアームは、小刻みの動きを実現して、吸着把持を改善し得る。追加的な実施形態では、ロボティックアームは、箱を左右交互に小刻みに動かすことを、箱をその周囲から区分する一助となるように行い得る。他の実施形態では、アームは、箱の持ち上げの際に小刻みに動いて、他の物体と押し合いをすることを回避し得る。そのような実施形態では、物体に付着することを試みることを、その物体を、吸着を使用して持ち上げるために行うとき、ロボティックアームは、小刻みの運動を、物体に対するしっかりした封止を生じさせるために用い得る。さらなる例では、ロボティックアームは、物体を小刻みに動かすことを、ロボティックアームが物体を持ち上げている際に行い得るものであり、それにより箱は、より穏やかに、他の物品との摩擦または重複接触を断ち得る。このことは、物体をあまりにも直行的に、または、あまりにも急速に引き上げることが、他の物品が空中に投げ上げられることを引き起こす状況を回避する一助となり得る。

[0059] 様々な実施形態によれば、段ボール箱は、凹形の、凸形の、または、他の形でしわになった面を有し得るものであり、それらの面は、吸着デバイスが付着することを難しくするものである。かくして、吸着デバイスを、デバイスが吸着接触を為す際に小刻みに動かすことが、段ボール箱、および、他の非平面状物体に関する、より信頼性の高い把持を可能にし得る。さらなる例では、最初に箱を掴むとき、少数の中心吸着デバイスがオンにされ得るものであり、アームは、前後に小刻みに動くことを、そのアームが箱を引き出すことを開始する際に行い得る。このことは、他の箱との表面付着を断ち、箱を引き出すことを開始する一助となり得る。箱が少なくとも部分的に引き出されると、箱は次いで、他の箱から、より容易に区分され得る。一部の実施形態では、乱雑状態の中の物体を持ち上げながら、小刻みに動くことは、他の物体を、持ち上げられる物体から取り去り得るものであり、そのことにより、周囲の物体の、望まれない持ち上げを防止する。

[0060] 様々な実施形態によれば、物品の区分は、成功裏の掴握のために必要であり得る。一部の実施形態では、平滑表面パッチが、２つの別々の物体に属し得る。そのような実例では、物体とのマニピュレータ相互作用が使用されることが、シーンを摂動させて、物体を互いから、より良好に区分するために行われ得る。運動分離のために、コンベヤ上の、スライド上の、荷物内で移動する、および／または、荷物の中で活発に押し合いをされる、物体の、自然な、または強制的な動きが、物体区分を高めるために、立体深度を算出するために、オプティカルフロー、視差、または時間遅延ビューにより追跡され得る。

[0061] 他の例では、検知システムにより使用されるセンサの１つまたは複数は、深度検知デバイスに対して位置合わせされる、ＲＧＢａＤ（RGB+アクティブ深度）カラーまたは白黒カメラであり得るものであり、そのデバイスは、パターンをシーン内に投射することなどのアクティブビジョン技法を使用して、カメラ、または複数のカメラと、知られているオフセットパターンプロジェクタとの間での深度三角測量を可能にするものである。このタイプのセンサデータは、ロバストな区分を可能にする一助となり得る。様々な実施形態によれば、バーコード、テクスチャコヒーレンス、色、３Ｄ表面特質、または、表面上の印刷されたテキストなどの手がかりが、さらには使用されることが、どこに、および／または、どのように物体を（例えば、物体を固定具の入れ物に適合させて）配置すべきかを知るために、物体を識別する、および／または、その物体の姿勢を見出すために行われ得る。一部の実施形態では、影またはテクスチャ差が、なおその上に、物体を区分するために用いられ得る。

[0062] ロボティックデバイス２００の機能の多くまたはすべては、制御システム２４０により制御され得る。制御システム２４０は、メモリ２４６などの非一時的コンピュータ可読媒体に記憶される命令２４４を実行する、少なくとも１つのプロセッサ２４２（少なくとも１つのマイクロプロセッサを含み得る）を含み得る。制御システム２４０はさらには、複数のコンピューティングデバイスを表し得るものであり、それらのコンピューティングデバイスは、ロボティックデバイス２００の、個々の構成要素またはサブシステムを、分散型の方式で制御する働きをし得るものである。

[0063] 一部の実施形態では、メモリ２４６は、図２Ａ〜２Ｂに関して上記で説明されたものを含む、ロボティックデバイス２００の様々な機能を実行するために、プロセッサ２４２により実行可能な命令２４４（例えば、プログラム論理）を内に含み得る。メモリ２４６は、なおその上に、追加的な命令を内に含み得るものであり、それらの命令は、機械システム２２０、センサシステム２３０、および／もしくは制御システム２４０の、１つもしくは複数にデータを送信する、その１つもしくは複数からデータを受信する、その１つもしくは複数と相互作用する、ならびに／または、その１つもしくは複数を制御するための命令を含む。

[0064] 様々な実施形態によれば、知覚誘導型ロボットが説明される。実例として、ロボティックデバイスは、知覚の、計画と一体の組み合わせを利用して、ロボットアームを、箱を持ち上げ、箱を、その箱が納まることを必要とするところに配置するように誘導し得る。図３Ａは、例の実施形態による、箱の積重体を伴う、図２Ａからのロボティックデバイスのパートを図解する。示されるようにロボティックデバイスは、上記で説明されたような、把持構成要素２０４と、センサ２０６および２０８と、コンベヤ２１０とを伴うロボティックアーム２０２を含み得る。一部の例では、ロボティックデバイスは、図２Ａについて説明されたような、ホロノミックな荷車上に装着され得るものであり、異なるタイプの移動可能な装置上に装着され得るものであり、レールもしくは鉄道線路上に装着され得るものであり、または、定置であり得る。ロボティックデバイスは、箱の形状およびサイズの、異種のものからなる混合体を内に含む、箱の積重体３２０から箱を選出するように制御され得る。

[0065] 例の中で、２Ｄおよび／または３Ｄでの物体のモデルを含む仮想環境が、箱を持ち上げるための計画または戦略を策定するために、決定および使用され得る。一部の例では、ロボットは、図３Ｂで示されるように、１つまたは複数のセンサを使用して、物体を内に含む環境をスキャンし得る。ロボティックアーム２０２が移動する際に、アーム上のセンサ２０６は、箱の積重体３２０に関するセンサデータを捕捉することを、個々の箱の形状および／または位置を決定するために行い得る。追加的な例では、３Ｄ環境の、より大きいピクチャが、個々の（例えば、3D）スキャンからの情報を統合することにより築き上げられ得る。これらのスキャンを遂行するセンサは、ロボティックアーム上の固定された位置に、および／または、他の場所に配置され得る。様々な実施形態によれば、スキャンは、いくつかの異なる技法のいずれかまたはすべてによって、構築および使用され得る。

[0066] 一部の例では、スキャンは、１つまたは複数の３Ｄセンサが装着されるロボティックアームを移動させることにより為され得る。アーム位置からのフィードバックは、どこでセンサが位置決めされるかに関する姿勢情報を提供し得るものであり、統合の一助となるために使用され得る。代わりに、または加えて、スキャンは、１つまたは複数の２Ｄセンサを使用して為されることが、実例として、運動を活用し、環境内の主要点を追跡することにより行われ得る。さらなる例では、スキャンは、所与の視域をカバーする視野（FOV）を有する固定マウントカメラからのものであり得る。追加的な例では、スキャンは、潜在的にはより良好な統合結果を与える、綿密な姿勢推定の一助となるように、視覚的に位置合わせされ得る。

[0067] さらなる例では、仮想環境は、３Ｄ容積測定または表面モデルを使用して、（例えば、異なるセンサからの）情報を統合して築き上げられ得る。このことは、１つのセンサが、大きい環境をカバーするには不充分であり得る事例でなどで、システムが、より大きい環境の中で動作することを可能とし得る。そのような技法はさらには、捕捉される詳細のレベルを増大し得るものであり、そのことは、ロボティックデバイスが様々なタスクを遂行する一助となり得る。特に、情報を統合することは、（例えば、ノイズレベルを下げることにより）単一のスキャンだけからよりも綿密な詳細を生み得る。このことは、より良好な物体検出、表面選出、または他の用途を可能にし得る。

[0068] さらなる例では、広角度環境再構築が、環境を検知し、その情報を、単純な数学的３Ｄ幾何学的外形（例えば、平面、円柱、円錐、半球、その他）の単純化された幾何学的モデルに抽出することにより遂行され得る。一部の実例では、そのような技法は、運動計画をより容易にし得るものであり、および／または、モデルの違反（例えば、衝突）を、検出するのをより容易にし得る。代わりに、または加えて、そのような技法は、パラメトリック記述が環境を拡張することを可能とし得る。実例として、地面は、それを遮断する物体の背後に延在する平面と見なされ得る。

[0069] 追加的な例では、環境内の、平面、または、他の数学的表面は、３Ｄで抽出され得る。これらの知られている「理想的な」表面検出は、環境の、より正確なモデルに組み合わされ得る。実例として、平面は、壁（または、それらの数学的記述）、および、他の障害物の、完全な存続範囲を決定して、衝突を回避し、関心の物体の場所を検出するために使用され得る。さらには、物体の数学的表現は、環境内に進入する人などの異常を探すために使用され得る。そのような事象は、理想的なモデルに違反し得るものであり、そのことは、それらの事象の検出をより容易にし得る。

[0070] 他の例では、箱などの所定の物体は、単純な平面状の外形を有し得る。実例として、金属缶は円柱の幾何学的外形を有し得るものであり、タイヤは円環の幾何学的外形を有し得る。例のシステムは、所定の物体の、この特色を活用することを、それらの物体をモデリングする、および／または、物体に対する手引きの運動計画を決定するために行い得る。実例として、所定の形状の知られているテンプレートが、特定の形状とマッチングするように見える、環境の中の物体の、検出されるフィーチャを精緻化するために使用され得る。

[0071] 一部の例では、２Ｄおよび３Ｄ情報は、少なくとも部分的に、１つまたは複数のファサードによって表され得る。ファサードは、深度マップ（例えば、第３の次元としての距離を伴う2Dマップ）として表される、物体のセットを内に含む、平面状に近い構築物として定義され得る。ファサードの例は、トラック内の箱の壁、箱もしくは他の物体を内に含むパレット積重体の上部、または、雑然とした物体の大箱の上部を含み得る。

[0072] さらなる例では、ファサードは、箱から構築されることが、実例として、箱を持ち上げるための順序を計画するために行われ得る。実例として、図３Ｃで示されるように、箱３２２が、ロボティックデバイスにより、持ち上げることになる次の箱として識別され得る。箱３２２は、センサ２０６および２０８などの、１つまたは複数のセンサにより収集されるセンサデータに基づいて構築される、箱の積重体３２０の前壁を表すファサードの中で識別され得る。制御システムは次いで、箱３２２が、選出することになる次の箱であると決定することを、ことによると、その箱の形状およびサイズ、箱の積重体３２０の上部上でのその箱の位置に基づいて、ならびに／または、標的コンテナの特性、もしくは、箱に対する場所に基づいて行い得る。ロボティックアーム２０２は次いで、箱３２２を、把持部２０４を使用して持ち上げ、箱３２２をコンベヤベルト２１０上に配置するように（例えば、箱３２２を保管エリア内に輸送するために）制御され得る。

[0073] 追加的な例では、ファサードは、３Ｄ表面情報の正投射として表され得る。この表現は、ファサードをパースして、関心のあるエリアを特定の用途に対して決定することを可能とし得る。例えばトラック荷下ろしでは、持ち上げることになる次の箱の左上隅が、ファサード表現に基づいて決定され得る。他の例では、統合された３Ｄ環境の正投射が、用途に関係付けられるタスクを遂行するために、広いＦＯＶの、容易にパースされる表現を与えるように決定され得る。１つのそのようなタスクは、選出することになる箱の隅、または複数の隅（例えば、上部左）を見出すことであり得る。別のそのようなタスクは、良好な表面（例えば、相対的に平坦で大きい）を、物体を大箱から選出するために見出すことを必然的に含み得る。

[0074] さらなる例では、箱の積重体の３Ｄモデルが、箱を積重体またはパレットに／から、荷積み／荷下ろしをすることに対して、進行を計画および追跡する一助となるためのモデルとして、構築および使用され得る。ファサードの、任意の１つの実際のカメラビューは、視角遮断および透視歪みの難点があり得る。適宜、ロボットアーム動きによる複数個のＲＧＢＤビュー、および／または、荷車基部、もしくは、固定された場所からの異なるビューが、選出されることになる箱の単一のファサードを創出するために組み合わされ得る。

[0075] 他の例では、３Ｄモデルは、衝突回避のために使用され得る。例の中で、衝突のない軌道を計画することは、環境内の物体および表面の３Ｄ場所を決定することを必然的に含み得る。軌道オプティマイザは、環境再構築により提供される３Ｄ情報を役立てて、障害物の存在下で経路を最適化し得る。さらなる例では、オプティマイザは、リアルタイムで作業し得るものであり、多くの種類の制約を受け入れ得る。そのような制約の例として、オプティマイザは、エンドエフェクタレベルを、軌道の全体を通して保つことを試行し得る。

[0076] 追加的な例では、環境は、３Ｄ点のメッシュまたはセットとして捕捉され得る。ロボットアームは、迅速な衝突点検のために、平面断片の凸包として表され得る。環境の不断の、または頻繁な更新は、ロボットアームが変化に迅速に応答することを可能とし得る。さらなる例では、オプティマイザは、頻繁な連続的な衝突点検を、その経路の全体を通して遂行し得る。オプティマイザは、随意の制約を、物体から所定の距離だけ離れた状態を保つこと、または、目標位置に所与の角度から接近することなどの、コストの形式で受け入れ得る。加えてオプティマイザは、ロボット故障条件を回避することを、関節空間で作業すること、ワインドアップの経過を追うこと、および、目標位置を複数個の逆運動学解の中から選定することにより行い得る。運動計画に対する１つの戦略は、いくつものムーブを先読みして、選定された目標関節位置が、次のムーブに対して受け入れ可能であることになるかどうかを確かめることを必然的に含み得る。

[0077] 一部の実施形態では、ロボティックアーム、カメラ、ケーブル、および／または、他の構成要素に対する衝突回避などの経路制約は、制約ベースの計画ソルバに入れられ、アームを移動させるための最良の経路を知覚のために生むことのために求解され得る。加えて、一部の実施形態では、ソルバは、物体を持ち上げる、移動させる、および、配置するための最良の経路を決定し得る。

[0078] 様々な実施形態によれば、３Ｄおよび／または視覚センサは、作業空間に対するそれらのセンサの姿勢を決定するために較正され得る。固定されたセンサの事例では、較正は、それらのセンサの固定された姿勢を作業空間で決定し得る。アーム上のセンサの事例では、較正は、センサの、そのセンサが取り付けられるアームリンクからのオフセット姿勢を決定し得る。

[0079] 例の中で、較正技法は、作業空間内の随意の数のセンサの較正を可能とし得る。較正は、種々のパラメータおよび係数の、一部またはすべてを決定することを必然的に含み得る。例えば較正は、焦点距離および画像中心などの、１つまたは複数の内因性パラメータに対して求解し得る。別の例として、較正は、半径方向および接線方向の歪みのモデルなどの、１つまたは複数の歪み係数を決定し得る。なおも別の例として、較正は、シーン内の物体の、パターンに、または、同じパターンをシーン内で識別した他のセンサに対して相対的な位置を定義する、１つまたは複数の外因性パラメータに対して求解し得る。

[0080] 一部の例では、較正は、少なくとも部分的に、較正パターンを使用することにより遂行され得るものであり、その較正パターンは、２Ｄまたは３Ｄでのフィーチャの知られているセットであり得る。実例として、ドットの知られているパターンが使用され得るものであり、その場合、各々のドットと、他のドットとの間の距離は知られている。較正は、少なくとも部分的に、物体の、複数個の異なるビューを収集することにより遂行され得る。さらなる例では、較正パターンの、複数個のビューを、異なる位置で捕捉することは、（１）カメラの、１つもしくは複数の係数の較正、および／または、（２）カメラが、較正パターンが固定されたところにより確立される座標系に対して相対的にどこにあるかを知ること、を可能とし得る。特定の実施形態では、シーン内のカメラは、ロボットアーム上の較正パターンを識別し得るものであり、一方で、アーム上のカメラは、シーン内の較正パターンを同時に識別する。

[0081] 追加的な例では、較正は、シーン内で固定されるカメラを必然的に含み得る。この事例では、較正パターンは、ロボティックアーム上に配置され得る。ロボティックアームは、ロボティックアーム上の較正パターンの、複数個のビューが収集される際に、シーンを通って移動するように構成され得る。このことは、カメラを較正する一助となり得るものであり、および／または、カメラの座標系をロボットの座標系と関係付けるために有用であり得る。さらに、各々のデバイスの、他のものとの関係は、各々のデバイスにより、ロボティックアームが移動する際に決定され得る。

[0082] 所定の例では、較正は、ロボティックアーム上に場所決めされるカメラを必然的に含み得る。較正パターンは、壁またはテーブル上に装着され得る。次いでカメラは、至る所に移動させられ得るものであり、較正パターンの、複数個のビューを、異なるロボットまたはロボティックアーム位置から収集する。異なる３Ｄまたは２Ｄビュー（例えば、２、２０、または２００）が収集されるとき、これらのビューは、較正関係性に対して求解するために使用され得る。較正の後、アーム上のカメラが移動するとき、システムは、そのカメラが、セットされる座標系に対して相対的にどこにあるかを、シーン内の較正パターンの場所に基づいて決定し得る。特定の実施形態では、較正パターンおよびカメラの両方は移動可能であり得る。例えば較正パターンは、ロボティックアームが箱を配置するように構成され得るコンベヤベルト上に場所決めされ得る。較正の後、システムは、カメラが、コンベヤベルト上のそのスポットに対して相対的にどこにあったかを決定し得る。

[0083] さらなる例では、非線形最適化が、２段階プロセスで、３Ｄセンサ較正のロバストな推定のために遂行され得る。１つの段階では、初期化が、標的およびセンサの相対的な姿勢オフセットから導出され得る。別の段階では、初期化を与えられると、バッチバンドル調整が、標的点と一体で、カメラの最適な姿勢を見出すために使用され得る。較正は、関節長および関節角度オフセットなどのロボットパラメータの推定に拡張され得る。

[0084] 他の例では、較正パターンに対してのカメラの、または、カメラに対しての較正パターンの、知られている精密なロボット運動が、較正結果を改善するために使用され得る。実例として、精密にどのようにカメラが移動するかに関する情報が、より正確なカメラ較正を取得するために使用され得る。すなわち、カメラが５０ｍｍ右に移動させられるならば、較正物体からの動きの対応する（透視投影）量が検出され得る。この情報は、連帯的に、または別々に、較正および追跡パラメータを最適化するために使用され得る。

[0085] 追加的な例では、ロボットは、そのロボットの継続中の較正を考察し、情報をより良好な較正のために最大化するような方策で移動し得る。例えばそのロボットは、一部のビューエリアが確かめられていないということを検出し、それらのビューに向かうことがある。

[0086] さらなる例では、一般的には、乱雑状態にされた収集エリアから、定義済みの大箱への、異種のものからなる、カテゴリー別の物品の実践的な操作のためのシステムが提示される。一部の実施形態では、物品を内に含む選出場所は、精密な物体の向きに敏感でないことがあり、物品は、一体に混合されることがある。追加的な例では、物品に対する配置場所は、物体の向きに敏感であることがあり、または、敏感でないことがある。一部の例では、選出および配置領域は、何らかの許容誤差を伴う物体を選出または配置することに対して受け入れ可能な３Ｄ領域と定義され得る。選出および配置領域は、同様の、および／または、全く異なる物体によって、きわめて乱雑状態にされていることがある。他の実施形態では、物品は、分別された物品を特定の向きで保持する、金属もしくはプラスチック留め具などの固定具から来る、または、その固定具に入れられることがある。

[0087] 追加的な例では、選出および配置の両方の場所の環境モデリングが、インテリジェントな掴握場所および運動、ならびに、事象報告（例えば、配置領域が満杯である、または、選出領域が空であるとき）のために使用され得る。一部の例では、物体バウンディングボリュームが計算され得るものであり、および／または、物体の区別するフィーチャが見出され得る（テクスチャ、色、バーコード、またはOCRなど）。一部の実施形態では、物体は、割り当てられた行先場所に分別されることが、物体タイプまたは物体ＩＤによりインデックス付けされる場所割り当てのデータベースに対するマッチングにより行われ得る。実例として、物体の場所は、バーコードを読み取ること、物体のサイズを考慮することから、および／または、特定の種類の物体を認識することにより導出され得る。

[0088] 一部の例では、ロボティックデバイスに対する計画が、物体に対する標的場所の中での、物体の所定の構成を達成するために決定され得る。実例として、荷積み／荷下ろし、または、パレタイジング／デパレタイジングに対する目標は、（１）箱の中間での最小限の空隙を伴う高密度の梱包、および／または、（２）容易に崩れることにならない安定した梱包を達成することであり得る。一部の実施形態では、安定性は、一般的に、重い物体が下部上にあり、軽い物体が上部上にあるということを要し得る。他の例では、パレットが、絡み合っていない柱状体の積重体、柱状体傾斜、または、悪い積重体の他の特性を回避するために創出され得る。

[0089] さらなる例では、パレットまたはトラック／コンテナは、人間のオペレータによる、後続の荷下ろしプロセスでの作業が最小化されるように荷積みをされ得る。実例として、一部の実施形態では物品は、後入れ先出し順序で配置され得るものであり、それによって、開梱時に、最初に必要とされる物品は最上部上にある、２番目に必要とされる物品は、１層下にある、等々となる。他の例では、パレットの荷積みは、どのように物品が梱包セルに向かって流れるかには非依存であり得る。かくして、一部の実施形態によれば、システムは、ランダムな順序で、または、前もって知られている順序で送出されるパッケージに対処し得る。加えて、一部の実施形態では、システムは、物品の流れの変化にリアルタイムで適応し得る。さらなる例では、１つまたは複数の箱は、箱を一時の保管エリアで保持することにより、記録され、緩衝され得るものであり、その場合、それらの箱の順序は、途中で変化させられ得る。

[0090] 様々な実施形態によれば、２Ｄシミュレータおよび／または３Ｄシミュレータが、トラックもしくはコンテナ荷積み／荷下ろしに対して、または、パレット荷積み／荷下ろしに対して利用され得る。一部の例では、箱の積重体のステートが、物理的世界で捕捉され、シミュレータに入力され得る。一部の実施形態では、１つの箱からすべての箱までの、箱の可変サイズ待ち行列が、シミュレータにより、選出することになる次の箱を見出すために使用され得る。例えば、２つの箱、または４つの箱、または１０個の箱の待ち行列が、シミュレータにより考慮され得る。

[0091] さらなる例では、シミュレータは、待ち行列内の箱にわたって探索して、最良の箱配置を、ヒューリスティックアルゴリズムにより、および／または、力ずくの、もしくは多重分解能の探索により見出し得る。一部の実施形態では、システムは、以前の、より粗いレベルで見出された、最良の箇所の周りでの、箱の、次第に綿密になる配置によって漸進し得る。一部の実施形態では、特定の次の箱の配置が決定され終えると、物理プランナが、運動計画に対して使用されることが、箱を効率的に、決定された場所に移動させるために行われ得る。さらなる例では、物理的な、およびシミュレートされた積重体は、連続的に、積重体の品質（例えば、密度、安定性、および/または順序配置）に対して監視され得る。一部の例では、プロセスは、すべての箱が配置され終える、または、標的コンテナが、もはや別の箱に適合し得ないまで、反復させられ得る。

[0092] 図４は、例の光学センサ４０２の機能性の概念図解図４００である。光学センサ４０２は、フォト検出器４０４などのフォト検出器のアレイを含む。アレイ内のフォト検出器の一部は、光であって、その波長が可視スペクトル（例えば、３８０ｎｍから７５０ｎｍまで）の中のものである、光の入射ビームに露出させられるときに電荷を生成するように構成される。アレイ内の他のフォト検出器は、光であって、その波長が赤外スペクトル（例えば、７５０ｎｍから３０００ｎｍまで）の中のものである、光の入射ビームに露出させられるときに電荷を生成するように構成される。一部の実施形態では、赤外検知フォト検出器は、赤外光の狭帯域（例えば、８２５ｎｍから８７５ｎｍまで）を捕捉するように構成される。構造化光実施形態では、赤外テクスチャプロジェクタが、赤外光のそのような狭帯域の中のパターン化された光を投射し得る。

[0093] 可視検知フォト検出器および赤外検知フォト検出器は、種々の様式で配置構成され得る。一部の実施形態では、可視検知フォト検出器は、赤外検知フォト検出器が間に散在し得るものであり、それによって、各々のタイプのフォト検出器の、実質的に均一の混合が、フォト検出器のアレイの全域に存する。可視検知および赤外検知フォト検出器を配置構成することの様々な様式が、本明細書で企図され、さらにより詳細に下記で論考される。

[0094] 一部の実現形態では、フォト検出器のアレイは、光フィルタのアレイに結合され得る。光フィルタは、フォト検出器の上部上に重ねられ得るものであり、それによって、特定のフォト検出器上に入射する光は、最初に、それぞれの光フィルタを通過する。各々の光フィルタは、バンドパスフィルタの役割を果たし得るものであり、そのバンドパスフィルタは、光であって、その波長が特定の帯域の中にある、光を通過させ、一方で、光であって、その波長がその特定の帯域の外側にある、光をブロックする、または減衰させるものである。本明細書で説明されるように、所定の波長の光を捕捉または検出する「ように構成される」フォト検出器は、上記で説明されたような光フィルタに結合されるフォト検出器として実現され得る。

[0095] 動作の間、光学センサ４０２上に入射する可視光４０６および赤外（IR）光４０８は、それぞれ、光学センサの可視検知フォト検出器および赤外検知フォト検出器により捕捉され得る。光学センサは、可視光画像４１０およびＩＲ光画像４１２を、フォト検出器内の電荷から生成するように構成される、制御回路網および／または処理デバイスを含み得る。これらの画像は次いで、コンピューティングデバイスに提供されることが、可能な使用の中でもとりわけ、立体画像処理および深度検知での使用のために行われ得る。

[0096] 特定の波長帯域であって、それらによって可視光フォト検出器および赤外光フォト検出器が光を捕捉する、特定の波長帯域は、特定の実現形態に依存して変動し得るということに留意されたい。加えて、これらの波長帯域のエッジでの降下のレートが、さらには、具体的な実現形態に依存して変動し得る。可視光帯域および赤外光帯域の境界は、実現形態の間で変動し得るということが理解されるべきである。

[0097] さらには、本明細書で説明されるような「可視光画像」は、一部の実例では、パンクロマチック画像（例えば、可視スペクトル内の光の色に対して高感度のグレースケール画像）を指し得るということに留意されたい。他の実例では、フォト検出器は、赤、緑、および青の可視光を別々に検知するために用意され得る。そのような実例では、光学センサの制御回路網は、デモザイキング、または、他の画像プロセスを、カラー画像を構築するために遂行し得る。本明細書で説明されるような「可視光画像」は、パンクロマチック画像またはカラー画像のいずれかを指し得る。

[0098] 図５Ａは、例の実施形態による、例の光学センサ上のフォト検出器の例の配置構成５００の概念図解図である。図５で図示される例の配置構成５００は、図４で図解される光学センサ４０２などの、本出願の光学センサに対するフォト検出器の、１つの例の配置構成であり得る。図５で示される例の配置構成５００は、チェッカーボードパターンであり、可視検知フォト検出器および赤外検知フォト検出器は、行の方、および、列の方の両方で交互になる。しかしながら、種々の他のフォト検出器パターンが、特定の光学センサ上で、特定の実現形態に依存して使用され得るということが理解されるべきである。

[0099] 動作の間、光学センサは、可視光画像を、その光学センサの可視検知フォト検出器を使用して捕捉し、赤外光画像を、その光学センサの赤外検知フォト検出器を使用して捕捉し得る。本明細書で説明されるように、これらの画像は、立体画像処理で、環境内の表面の深度を決定するために使用され得る。そのような立体画像処理は、フィーチャの画素場所を、１つの観点からの（例えば、第１の光学センサからの）画像の中で決定し、その画素場所を、異なる観点からの（例えば、第２の光学センサからの）画像の中のそのフィーチャの画素場所と比較することを必然的に含み得る。三角測量を使用して、そのフィーチャの深度が、２つの異なる観点の間の知られている距離（例えば、第１および第２の光学センサの間の距離）、および、２つの画像内のそのフィーチャの相対的な画素場所に基づいて決定され得る。

[0100] 本出願の深度検知技法は、そのような立体画像処理を、２つの異なるタイプの光 − 赤外光および可視光 − によって遂行して、深度推定値を、光の、２つの異なる帯域（例えば、波長帯域または周波数帯域）で決定することを必然的に含む。次いでそれらの深度推定値は、組み合わされた深度推定値を、環境内の少なくとも１つの表面に対して形成するために組み合わされ得る。しかしながら、可視検知フォト検出器および赤外検知フォト検出器は、厳密に同じ位置をフォト検出器上で占有するのではなく、むしろ、平面状アレイ内に間に散在するので、若干量の不正確さが、２つの別々の深度推定値を組み合わせるときに存在し得る。

[0101] １つの例として、可視光画像は、可視検知フォト検出器５０４により捕捉されるフィーチャを含み得るものであり、一方で赤外光画像は、赤外検知フォト検出器５０６により捕捉されるその同じフィーチャを含み得る。このフィーチャは、同じ画素場所を、可視光画像および赤外光画像の両方で占有するように見え得るが、フィーチャを捕捉したそれぞれのフォト検出器の物理的位置は異なる（この例では、フォト検出器５０４とフォト検出器５０６との間の距離）。このわずかな不正確さは、特定のパターンであって、それによって可視検知フォト検出器および赤外検知フォト検出器が間に散在する、特定のパターンに依存して変動し得る。図５で図解されるチェッカーボードパターンは、そのような不正確さを低減する、フォト検出器の１つの例の配置構成である。

[0102] そのような不正確さを低減することに加えて、図５で図解されるチェッカーボードパターンは、低減される系統的誤差を提供する。可視検知フォト検出器列が赤外検知フォト検出器列と交互になる、フォト検出器の異なる配置構成を考えてみる。２つのそのような、列で交互になる光学センサを利用するイメージングシステムは、増大される系統的誤差を免れ得ない。２つの光学センサが不十分に較正されるならば、捕捉される画像の中の相対的な画素位置は、偏移させられ得るものであり、系統的誤差を結果的に生じさせる。この偏移は、フォト検出器の列全体に対して、画素場所の正確さに悪影響を及ぼし得る。フォト検出器タイプを、行および列の両方に沿って交互にすることにより（例えば、チェッカーボードパターン）、そのような系統的バイアスは回避され得るものであり、または、その系統的バイアスの影響は有意に低減され得る。

[0103] 一部の実施形態では、この不正確さは、ソフトウェアおよび／または技法を使用して、フォト検出器の知られている配置構成に基づいて、なくされ得る、または補正され得る。図５でのフォト検出器配置構成５００が、１６個のフォト検出器 − ８つの可視検知フォト検出器、および、８つの赤外検知フォト検出器からなる、光学センサ全体であると考えてみる。例の実施形態では、８つの可視検知フォト検出器は、２ｘ２パンクロマチック画像を、可視スペクトル内の光から生成するために使用され得るものであり、しかるに、８つの赤外検知フォト検出器は、２ｘ２画像を、狭帯域赤外スペクトル内の光から生成するために使用され得る。この例では、各々のモザイク（モザイク５０２など）は、画像内の単一の画素に対応し得るものであり、すなわち、２つの可視検知フォト検出器は、可視光画像内の画素に対応し、一方で、２つの赤外検知フォト検出器は、赤外光画像内の画素に対応する。モザイクの中の同じタイプの２つのフォト検出器により生成される電荷は、画素を画像に対して生成するときに平均化され得る。結果的に生じる画像の分解能は（２つのフォト検出器が単一の画素に寄与するので）低減されるが、系統的バイアスは低減され、特定のモザイクにより捕捉されるフィーチャからの光は、可視光画像および赤外光画像内の同じ画素場所で表される。

[0104] 他の実施形態では、可視検知フォト検出器は、赤外検知フォト検出器との交互になるパターンで配置構成され得る。１つの例として、アレイ内の各々の行は、可視検知フォト検出器と赤外検知フォト検出器との間で交互になり得る。別の例として、アレイ内の各々の列は、可視検知フォト検出器と赤外検知フォト検出器との間で交互になり得る。追加的な実施形態では、光学センサは、可視検知および赤外検知フォト検出器を、反復するパターンまたはモザイクで配置構成し得る。例えば、任意の数の可視検知および赤外検知フォト検出器をモザイクの中で組み合わせる、様々な正方形タイリングパターンが実現され得る。所与のモザイクは、任意の数のフォト検出器を含み得る。フォト検出器の特定の配置構成にかかわらず、光学センサは、光学センサが可視光画像および赤外光画像の両方を捕捉することを可能にする、可視検知フォト検出器および赤外検知フォト検出器の何らかの組み合わせを有し得る。

[0105] 一部の実現形態では、可視光および赤外光検知光学センサを利用するロボティックシステムは、そのシステムが現在、所与の時点にいる環境を意識、検出、または他の形で分類し得る。そのようなロボティックシステムは、光学センサの、１つまたは複数のフォト検出器の動作を、そのシステムが現在、中心の座を占めている、決定された環境に基づいて改変し得る。光学センサの制御回路は、可能な動作態様の中でもとりわけ、各々の光学センサの電荷に適用するためのゲインの量、および、時間の長さであって、それによってフォト検出器を光に露出するための、時間の長さ（露出時間）を含む、光学センサの様々な動作態様およびパラメータを、動作の間、変化させるように構成可能であり得る。異なるゲイン値および露出時間が、可視検知フォト検出器および赤外検知フォト検出器に対して、一部の実現形態ではセットされ得る。

[0106] １つの例として、ロボティックシステムは、そのシステムが日中の屋外の環境で動作していると決定し、応答的に、フォト検出器の露出時間および／またはゲイン値を低減し得る。一部の事例では、ロボティックシステムは、可視検知フォト検出器の露出時間を低減し、または、他の形でセットし得るものであり、一方で、赤外検知フォト検出器の露出時間を低減しない、または、他の形で変化させない。そのロボティックシステムが、暗い屋内の環境内に移動するならば、ロボティックシステムは、応答的に、可視検知フォト検出器および／または赤外検知フォト検出器の、露出時間および／またはゲイン値を増大し得る。ロボティックシステムは、可視検知フォト検出器、赤外検知フォト検出器、または両方の、ゲイン値および／または露出時間を変動させることを要し得る、他のシナリオに遭遇し得る。

[0107] 一部の実例では、ロボティックシステムは、特定の環境の中で動作するように設計され得るものであり、照明の極端な変化に逢着することは予期されない。例えばロボティックシステムは、単独で、窓をほとんど伴わない、相対的に不変の人工照明を伴う、屋内の環境で動作するように設計され得る。しかしながら、そのような環境はそれでもなお、よく照らされる表面、および、影で覆われる表面を内に含み得るが、予期される輝度レンジは、他の混合型の屋内および屋外の環境内より小さい。そのような環境内のロボティックシステムは、赤外検知フォト検出器より多くの可視検知フォト検出器を各々が内に含む、１つまたは複数の光学センサを用い得る。

[0108] 例えば、各々の赤外検知フォト検出器は、赤外の投射されるパターンに対して、より高感度であり得るものであり、一方で、各々の可視検知フォト検出器は、環境内の周辺光に対して比較的、より少なく高感度であり得る。かくして、所定の光学センサは、その意図される使用に依存して、一方のタイプのフォト検出器の、より多くを、他方と比較して含むように設計され得る。その上に、可視検知フォト検出器および赤外検知フォト検出器が配置構成される様式は、各々のタイプのフォト検出器の数、および、光学センサの意図される目的に依存して変動し得る。種々の方策で配置構成される、任意の数の可視検知フォト検出器および赤外検知フォト検出器を組み合わせる、様々なフォト検出器が、実現形態、意図される使用、および／または、ロボティックシステムが遭遇することを予期される環境の種類に依存して実現され得るということが理解されるべきである。

[0109] １６個のフォト検出器が縦４横４のアレイで図示されているが、本出願の光学センサは、種々の規模で配置構成される、任意の数のフォト検出器を含み得るということに留意されたい。さらには、本明細書で言及されるような用語「モザイク」は、フォト検出器の反復されるグループ化を指すということに留意されたい。

[0110] 一部の実施形態では、可視検知フォト検出器は、赤、緑、および青（RGB）の可視光を別々に捕捉するためのフォト検出器を含み得る。図５Ｂは、赤検知、緑検知、青検知、および赤外検知フォト検出器の配置構成５１０の概念図解図である。可視検知フォト検出器がすべての可視光を広帯域にわたって捕捉する、図５Ａで示される例の光学センサとは違い、図５Ｂで示される可視検知フォト検出器は、可視光を、赤、緑、および青の可視光に対する、より小さな別々の帯域で捕捉する。

[0111] 一部の実施形態では、環境のカラー画像を捕捉することが、立体視深度検知を遂行することに加えて所望され得る。図５Ｂでのものに類するように配置構成されるフォト検出器を伴う光学センサは、そのようなカラー画像を提供するために用いられ得る。そのような光学センサの制御回路網は、ＲＧＢフォト検出器から検出される光を、カラー画像を生成するために組み合わせ得る。一部の事例では、カラー画像は、可視光画像からのフィーチャ検出を高めることを、パンクロマチック画像から洞察するのが困難であり得る、微妙な色変化の検出を可能にすることにより行い得る。

[0112] 「可視検知フォト検出器」は本明細書では、可視光のすべての色からのパンクロマチック画像を捕捉する広帯域可視光フォト検出器、または、可視光スペクトルの中の、より小さな帯域（例えば、赤光、緑光、および青光）を、カラー画像を捕捉するために検出するフォト検出器の組み合わせのいずれかを指し得るということが理解されるべきである。

[0113] 図６は、テクスチャプロジェクタ６０２と、第１の光学センサ６０４と、第２の光学センサ６０６とを含む、例の立体イメージングシステム６００の概念図解図である。図６では、第１の光学センサ６０４は、テクスチャプロジェクタ６０２から距離Ｄ１だけ分離されて示され、第２の光学センサ６０６は、テクスチャプロジェクタ６０２から距離Ｄ２だけ分離されて示される。第１の光学センサ６０４は、第２の光学センサ６０６からＤ３の距離だけ分離されて示される。図６の立体イメージングシステム６００では、第１の光学センサ６０４、および、第２の光学センサ６０６は、環境６０８を、異なる角度から（例えば、異なる観点から）観測し得る。かくして、第１の光学センサ６０４は、第１の視点からの、環境６０８の画像を捕捉するために使用され得るものであり、一方で、第２の光学センサ６０６は、第２の視点からの、環境６０８の画像を捕捉するために使用され得る。

[0114] 第１の光学センサ６０４、および、第２の光学センサ６０６は、可視光画像および赤外光画像の両方を捕捉するように構成され得る。一部の実施形態では、第１の光学センサ６０４、および、第２の光学センサ６０６は、光学センサ４０２と同様、または同じであり、上記で説明された様式で配置構成されるフォト検出器（図５で示される配置構成５００を含む）を有し得る。

[0115] 環境６０８は、少なくとも部分的に、可視光６１０により照射され得る。この可視光源は、可能な可視光源の中でもとりわけ、太陽光、または、（例えば、白熱電球、蛍光電球、発光ダイオード、その他からの）可視スペクトル人工照明であり得る。可視光６１０は、環境６０８の中の、所定の部分、物体、または表面に明るく照射し得るものであり、一方で、環境６０８の中の、他の部分、物体、または表面は、影で覆われる、または、薄暗く照らされる。

[0116] 環境６０８はさらには、テクスチャプロジェクタ６０２からの、赤外の投射されるパターンにより部分的に照射され得る。テクスチャプロジェクタ６０２は、赤外光発光体または赤外プロジェクタであり得る。実例として、テクスチャプロジェクタは、光源、投射光学部品、および、液晶ディスプレイ（LCD）、または、光をパターンによって遮る他の方法を含み得る。投射されるパターンは、形状の中でもとりわけ、格子、ドット、縞、スポット、水平棒、および／または垂直棒の、知られている組み合わせであり得る。

[0117] 一部の実例では、投射されるパターンは、影で覆われる、または、薄暗く照らされる、環境６０８の中の、部分、物体、または表面から反射されるときに検出可能であるのみであり得る。所定の可視光源は、可視光を発光することに加えて、赤外の投射されるパターンを弱める、または圧倒する、赤外光を発光し得る。

[0118] 一部の実施形態では、投射されるパターンは、形状の特有な組み合わせである、知られている、または、他の形であらかじめ決定されたパターンであり得る。パターンがあらかじめ決定されるとき、そのパターンの特有な部分は、捕捉される赤外画像の中で場所決めされ、三角測量のための基準点を提供し得る。例えば、あらかじめ決定されたパターンの特有な部分が、捕捉される画像から識別されると、あらかじめ決定されたパターンの、その特有な部分の特質（そのサイズおよび場所など）が、その特有な部分が投射される表面の深度を決定するための基盤として使用され得る。知られている、または、あらかじめ決定された、投射されるパターンを用いた実現形態では、構造化光深度検知は、ただ１つの赤外画像、ならびに、光学センサおよびテクスチャプロジェクタの相対的な位置を、深度マップを生成するために要し得る。しかしながら、異なる視点から捕捉される複数個の赤外光画像は、三角測量の正確さを精緻化または検証するために使用され得る、追加的な情報を提供し得る。

[0119] 他の実施形態では、投射されるパターンは、ランダムに生成され得る。一部の実現形態では、複数個の赤外光画像は、変化する、ランダムに生成される、投射されるパターンに関して捕捉され得る。構造化光処理を用いるコンピューティングデバイスは、深度情報を、各々の赤外光画像に対して導出し得る。各々の異なるパターンに対応する深度情報は、次いで、より正確な、または完全形の深度マップを生成するために組み合わされ得る。

[0120] 動作の間、第１の光学センサ６０４は、環境６０８から反射される可視光６１０からの可視光画像、および、環境６０８から反射される、赤外の投射されるパターンからの赤外光画像を捕捉し得る。異なる視点から、第２の光学センサ６０６は、環境６０８から反射される可視光６１０からの可視光画像、および、環境６０８から反射される、赤外の投射されるパターンからの赤外光画像を捕捉し得る。環境の暗い部分は、光学センサの露出時間に依存して、黒い、または、非常に暗いように見え得るものであり、一方で、環境６０８の明るく照らされる部分は、照射される表面の詳細およびフィーチャを、可視光画像内であらわにし得る。反対に、環境６０８の明るく照らされる部分は、光学センサの露出時間に依存して、白い、または、弱められたように見え得るものであり、一方で、環境６０８の暗い部分は、投射される赤外パターンを、赤外光画像内であらわにし得る。

[0121] コンピューティングデバイスは、深度画像を、第１の光学センサ６０４、および、第２の光学センサ６０６により捕捉される２つの可視光画像に基づいて生成し得る。このことは、対応する画素値（例えば、特定のフィーチャの画素値）のマッピングを、２つの可視光画像の中で見出し、どれだけ遠く離れてこれらの共通エリアが画素空間内に在るかを算出し、三角測量（例えば、２つの光学センサの間の距離D3に基づく）を使用して、深度マップまたは画像を決定することを必然的に含み得る。この深度マップまたは深度画像は、反射される可視光から検出されるフィーチャに基づく、環境６０８内の物体の表面の距離に関係する情報を内に含み得る。しかしながら、環境６０８の、影、または、薄暗く照らされる部分内の、物体の表面は、十分な可視光を反射することを、それらの表面の距離が正確に決定されるようには行い得ないものであり、かくして、可視光画像から生み出される深度マップは、深度を、環境６０８内の表面の一部に対して正確に表し得る。

[0122] 同様にコンピューティングデバイスは、深度画像を、第１の光学センサ６０４、および、第２の光学センサ６０６により捕捉される２つの赤外光画像に基づいて生成し得る。深度画像または深度マップは、赤外光画像に対して、可視光画像に対してのものと同様の様式で生成され得る。この深度マップまたは深度画像は、反射される赤外光（赤外の投射されるパターンを含む）から検出されるフィーチャに基づく、環境６０８内の物体の表面の距離に関係する情報を内に含み得る。しかしながら、環境６０８の明るく照射される部分内の、物体の表面は、あまりにも多くの赤外光を反射し得るものであり、そのことにより、さもなければ検出可能なフィーチャを弱め、それらの表面の距離の決定を困難にするものであり、かくして、赤外光画像から生み出される深度マップは、深度を、環境６０８内の表面の一部に対して正確に表し得る。

[0123] コンピューティングデバイスは、可視光画像から生成される深度マップ、および、赤外光画像から生成される深度マップからの情報を組み合わせて、環境６０８の組み合わされた深度マップを決定し得る。各々の深度マップは、異なる光スペクトルで検出される深度を表すので、深度マップを組み合わせることは、より総合的および／または正確な深度マップを、全体的な環境６０８に対して提供し得る。

[0124] 一部の実施形態では、深度マップは、第１の光学センサ６０４、または、第２の光学センサ６０６のいずれかにより捕捉される単一の赤外光画像に基づいて決定され得る。例えばコンピューティングデバイスは、テクスチャプロジェクト６０２と、第１の光学センサ６０４との間の知られている距離に基づく三角測量技法、および、第１の光学センサ６０４による、環境６０８上への投射されるパターンの捕捉される赤外画像を用いて、深度マップを決定し得る。知られている距離Ｄ１、Ｄ２、およびＤ３、ならびに、第１の光学センサ６０４、および／または、第２の光学センサ６０６により捕捉される、１つまたは複数の赤外画像の、任意の組み合わせが、深度マップを決定するために使用され得る。

[0125] 一部の実例では、可視光画像から決定される深度マップ、および、赤外光画像から決定される別の深度マップは、重複する深度情報を内に含み得る。組み合わされた深度マップを生成するとき、コンピューティングデバイスは、深度情報を、２つの深度マップの１つから選択して、組み合わされた深度マップで使用し得る。一部の実現形態では、コンピューティングデバイスは、両方の深度マップからの深度情報を、重複する深度情報が実在する場合に平均化し得る。

[0126] 可視光画像から決定される深度マップは、２つの異なる視点から捕捉される、少なくとも２つの可視光画像を要するが、赤外光画像から決定される深度マップは、それらの視点の１つから捕捉される、単一の赤外光画像を要するのみであり得る。上記で説明されたように、赤外ベースの深度マップは、テクスチャプロジェクタ６０２と、赤外光画像を捕捉する光学センサとの間の知られている距離に基づく三角測量を使用して決定され得る。かくして、他の例の立体イメージングシステムでは、第１の光学センサ６０４、および、第２の光学センサ６０６のただ１つが、赤外画像を捕捉することを、本出願の、可視光および赤外光に基づくことからの、組み合わされた深度マップ技法を履行するために行うための能力を要する。

[0127] 図７は、環境の仮想表現を決定するための例の方法７００のブロック線図である。図７で示される方法７００は、例えば、図２Ｂのロボティックデバイス２００により、または、より一般的には、任意のコンピューティングデバイスの、１つもしくは複数の構成要素により、使用または実現され得る方法の実施形態を提示する。方法７００は、ブロック７０２〜７１４の１つまたは複数により図解されるような、１つまたは複数の、動作、機能、またはアクションを含み得る。ブロックは逐次的な順序で図解されるが、これらのブロックはさらには、並列に、および／または、本明細書で説明されるものとは異なる順序で遂行され得る。さらには、様々なブロックが、所望される実現形態に基づいて、より少数のブロックに組み合わされる、追加的なブロックに分割される、および／または、取り去られることがある。

[0128] 加えて、本明細書で開示される、方法７００、ならびに、他のプロセスおよび方法に対して、ブロック線図は、本実施形態の、１つの可能な実現形態の、機能性および動作を示す。この事項において、各々のブロックは、プログラムコードの、モジュール、断片、または一部分を表し得るものであり、そのプログラムコードは、プロセッサまたはコンピューティングデバイスにより、プロセスでの具体的な論理機能または工程を実現するために実行可能な、１つまたは複数の命令を含むものである。プログラムコードは、例えば、ディスクまたはハードドライブを含む記憶デバイスなどの、任意のタイプのコンピュータ可読媒体上に記憶され得る。コンピュータ可読媒体は、例えば、レジスタメモリ、プロセッサキャッシュ、およびランダムアクセスメモリ（RAM）に類する、データを時間の短い期間の間記憶するコンピュータ可読媒体などの、非一時的コンピュータ可読媒体を含み得る。コンピュータ可読媒体はさらには、例えば、読み取り専用メモリ（ROM）、光学または磁気ディスク、コンパクトディスク読み取り専用メモリ（CD-ROM）に類する、２次または永続的長期記憶装置などの非一時的媒体を含み得る。コンピュータ可読媒体はさらには、任意の他の揮発性または不揮発性記憶システムであり得る。コンピュータ可読媒体は、例えば、コンピュータ可読記憶媒体、または有形記憶デバイスと考えられ得る。

[0129] 加えて、本明細書で開示される、方法７００、ならびに、他のプロセスおよび方法に対して、図７での各々のブロックは、プロセスでの具体的な論理機能を遂行するために配線される回路網を表し得る。

[0130] １つの実施形態では、方法７００の機能は、図２Ｂの７００制御システム２４０などの制御システムにより遂行され得る。他の実施形態では、方法７００の機能は、複数個の制御システムにわたって分散され得るものであり、それらの制御システムは、立体画像処理の出力を使用して、環境内の表面の深度を決定するように構成されるものである。

[0131] ブロック７０２、７０４、および７０６は、可視光画像からの深度知覚と関連付けられる。ブロック７０８、７１０、および７１２は、赤外光画像からの深度知覚と関連付けられる。ブロックのこれらの２つのグループは、並列に遂行されているように図示されるが、図７で示される方法７００のブロック７０２〜７１４の各々は、任意の順序で遂行され得る。方法７００の動作の配置構成は、方法７００の理解を手助けすることが意図されるものであり、ブロック７０２〜７１４の動作が遂行され得る順序を制限すると、解釈が誤られるべきではない。

[0132] ブロック７０２で方法７００は、第１の光学センサの第１の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の可視光画像を受信する工程を必然的に含む。第１の光学センサは、図４について上記で説明された光学センサ４０２と同様に、可視検知フォト検出器および赤外検知フォト検出器の組み合わせを含み得る。フォト検出器は、可能な配置構成の中でもとりわけ、図５について説明されたようなチェッカーボードパターンなどの、種々の方策で配置構成され得る。第１の光学センサはさらには、図６で示される第１の光学センサ６０４と同様であり得る。

[0133] 可視スペクトルの中の光は、第１の複数のフォト検出器が電荷を生成することを引き起こし得る。特定のフォト検出器により生成される電荷は、その特定のフォト検出器上に入射する光の強度または輝度に比例し得る。第１の光学センサは、第１の複数のフォト検出器により生成される電荷を読み取り、それらの電荷に基づいて、画像を生成するように構成される制御回路網を含み得る。一部の実施形態では、画像は、人間に可視の波長スペクトルの中でパンクロマチック（例えば、グレースケール）である。他の実施形態では、第１の複数のフォト検出器は、赤、緑、および青の可視光を別々に捕捉するフォト検出器を含み、制御回路網は、それらの電荷を組み合わせて（例えば、デモザイクして）、カラー画像を形成するように構成され得る。

[0134] ブロック７０４で方法７００は、第２の光学センサの第１の複数のフォト検出器から、第２の視点から知覚されるような、環境の第２の可視光画像を受信する工程を必然的に含む。第１の光学センサは、第２の光学センサから、知られている距離に位置決めされ得る。一部の実施形態では、第１および第２の光学センサの相対的な角度が、さらには知られている。コンピューティングデバイスは、第１の光学センサと、第２の光学センサとの間の、それぞれの距離および角度を使用して、環境内の少なくとも１つの表面の深度を推定し得る。

[0135] ブロック７０６で方法７００は、環境の第１の対応するフィーチャを、第１の可視光画像と、第２の可視光画像との間で識別する工程を必然的に含む。環境はその中に、表面を環境の中で形成するいくつかの物体を有し得る。それらの物体は、可能なフィーチャの中でもとりわけ、エッジ、色の変化、および輪郭などの、所定の視覚的に認識可能なフィーチャを有し得るものであり、それらのフィーチャは、第１の可視光画像、および、第２の可視光画像の両方で、共通に認識され得るものである。コンピューティングデバイスは、環境の所与のフィーチャを識別し、そのフィーチャの第１の画素場所を、第１の可視光画像の中で、および、そのフィーチャの第２の画素場所を、第２の可視光画像の中で決定し得る。第１の画素場所と、第２の画素場所との間の差、ならびに、第１および第２の光学センサの相対的な位置に基づいて、そのフィーチャの深度（例えば、光学センサとフィーチャとの間の距離）が、三角測量および／または立体画像処理を使用して決定され得る。そのようなフィーチャ深度決定は、環境の中の、任意の数の識別されるフィーチャに対して反復させられ得る。

[0136] ブロック７０８で方法７００は、第１の光学センサの第２の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の赤外光画像を受信する工程を必然的に含む。方法７００で説明される赤外光は、赤外光の特定の帯域（例えば、可能なIR帯域の中でもとりわけ、８２５ｎｍから８７５ｎｍまで）の中の光であり得る。環境の第１の赤外光画像は、様々な光源からの、その特定の帯域の中の残存赤外光を捕捉し得る。一部の実施形態では、第１の赤外光画像はさらには、環境上に、テクスチャプロジェクタにより投射される赤外パターンを捕捉し得る。

[0137] ブロック７１０で方法７００は、第２の光学センサの第２の複数のフォト検出器から、第２の視点から知覚されるような、環境の第２の赤外光画像を受信する工程を必然的に含む。第１の赤外光画像に類するように、第２の赤外光画像は、環境上に、テクスチャプロジェクタにより投射される赤外パターンを捕捉し得る。

[0138] ブロック７１２で方法７００は、環境の第２の対応するフィーチャを、第１の赤外光画像と、第２の赤外光画像との間で識別する工程を必然的に含む。特定の赤外帯域の中の残存赤外光は、環境の中の物体または表面の所定のフィーチャを検出するための妥当な照射を提供し得る。加えて、環境上に投射される赤外パターンは、さもなければ、薄暗く照らされる、または、フィーチャのない、環境内の表面上に、検出可能なフィーチャを生み出す。ブロック７０６について説明されたように、コンピューティングデバイスは、環境内のフィーチャ（自然に実在する、および/または、人工的に投射されるフィーチャ）を識別し、２つの赤外光画像の間の、それらの識別されたフィーチャの相対的な画素場所を決定し、それらのフィーチャの深度を、三角測量および／または立体画像処理を使用して決定し得る。

[0139] ブロック７１４で方法７００は、深度推定値を、環境内の少なくとも１つの表面に対して、第１の対応するフィーチャ、および、第２の対応するフィーチャに基づいて決定する工程を必然的に含む。単一の表面の文脈では、コンピューティングデバイスは、第１の深度推定値を、その表面に対して、第１の対応するフィーチャに基づいて決定し、第２の深度推定値を、その表面に対して、第２の対応するフィーチャに基づいて決定し得る。コンピューティングデバイスは、立体画像処理および／または三角測量技法を、第１および第２の深度推定値を決定するために用い得る。一部の実施形態では、コンピューティングデバイスは、組み合わされた深度推定値を、第１および第２の深度推定値を平均化することにより決定し得る。

[0140] 所与の表面の特定のフィーチャは、可視光画像または赤外光画像のいずれかで識別されるのみであり得る。そのような事例では、深度推定値を決定することは、深度推定値を、画像の対であって、それからその特定のフィーチャが識別され得る、画像の対に基づいて決定することを必然的に含み得る。

[0141] 全体的な環境（または、複数個の表面を内に含む、環境の一部分）の文脈では、コンピューティングデバイスは、可視光ベースの深度マップを、環境内の様々な表面に対して、可視光画像の間の、識別された対応するフィーチャに基づいて生成し、赤外光ベースの深度マップを、環境内の様々な表面に対して、赤外光画像の間の、識別された対応するフィーチャに基づいて生成し得る。可視光ベースの深度マップは、深度情報を、環境の薄暗く照らされる部分に対して欠くことがあり、一方で、赤外光ベースの深度マップは、深度情報を、環境の明るく照らされる部分に対して欠くことがある。一部の実現形態では、コンピューティングデバイスは、組み合わされた深度マップを決定することを、２つの深度マップの一方を「ベース」深度マップとして選択し、次いで、選択された深度マップから欠落している深度情報を、他方の深度マップから含めることにより行い得る。

[0142] 他の実現形態では、コンピューティングデバイスは、組み合わされた深度マップを決定することを、特有な深度情報をいずれかの深度マップから含め、所与の表面に対する深度情報が両方の深度マップに実在する場合、両方の深度マップからの深度情報を、その所与の表面に対して平均化することにより行い得る。例えばコンピューティングデバイスは、どの深度情報が可視光ベースの深度マップに特有であるか、どの深度情報が赤外光ベースの深度マップに特有であるか、および、どの深度情報が両方の深度マップに実在するかを決定し得る。最初にコンピューティングデバイスは、各々の深度マップからの特有な深度情報をまとめ得る、または、他の形で一体に結び付け得る。次いでコンピューティングデバイスは、深度情報を、表面であって、それらの深度が両方の深度マップに存在する、表面に対して平均化し、その平均化された深度情報を、特有な深度情報と、まとめて、または、他の形で組み合わせて、組み合わされた深度マップを形成し得る。

[0143] 「深度マップ」および「深度画像」は、環境内の表面の空間的な深度情報を指し得るということに留意されたい。深度マップの例の表現が、下記の図１１Ｂおよび図１１Ｄで図示される。

[0144] 一部の実例では、コンピューティングデバイスは、方法７００の、１つまたは複数のブロックを反復させて、複数個の深度推定値を環境に対して決定し得る。例えばコンピューティングデバイスは、方法７００を使用して、環境内の１つまたは複数の表面までの深度を指示する深度マップを決定し得る。

[0145] 様々な実施形態では、深度マップまたは深度画像を決定することは、フィーチャを、１つの観点からの画像から識別し、その同じフィーチャを、異なる観点からの別の画像の中で場所決めすることを必然的に含み得る。２つの画像の間の、そのフィーチャの相対的な画素場所は、深度（例えば、光学センサからの距離）を三角測量により決定するための基盤として使用され得る。様々な実現形態では、これらの対応するフィーチャを識別することは、１つまたは複数の相関表面を決定することを必然的に含み得る。本明細書で説明されるような「相関表面」は、１つの画像の中の、画素、および、その近傍（例えば、近接する、または、他の形でその画素の付近の、他の画素）と、異なる画像の中の、２つ以上の画素（例えば、画素、および、それらの近傍）との間の類似性の度合を指し示す、数値的な推定の組み合わせを指す。図８Ａ、図８Ｂ、および図８Ｃは、相関表面が、２つの画像の間の対応するフィーチャの識別での様々な実現形態で使用され得る様式を図解する。様々な実例では、相関表面を決定するとき、左画像内の、所与の画素（画素X_Lなど）、および、その「近傍」が、右画像内の、１つまたは複数の画素と比較され得る。所与の画素Ｘ_Ｌを包囲する近傍を、相関表面を決定するときに考慮することが、本例で遂行され得る。加えて、プロセスは裏返しにされ得るものであり、それによって、右画像内の画素は、左画像内の、２つ以上の画素と比較され得るということが理解されるべきである。

[0146] 図８Ａは、例の実施形態による、相関表面を決定するための例の構成の概念図解図８００である。構成は、環境の、異なる視点を提供するように配置構成される、左光学センサ８０２と、右光学センサ８０４とを含む。図８Ａ、図８Ｂ、および図８Ｃについて論考される以下の例は、プロセスであって、それにより相関表面が画素Ｘ_Ｌに対して決定され得る、プロセスを説明するものである。左光学センサ８０２により捕捉される画像の画素Ｘ_Ｌは、ｘ値およびｙ値座標位置を画像の中で有する、左視点画像の中の画素であり得る。

[0147] 相関表面を画素Ｘ_Ｌに対して決定するとき、コンピューティングデバイスは、左画像内の画素Ｘ_Ｌの態様（例えば、明るさ、明度、色、その他）を、画素Ｘ_Ｒ、（X+1）_Ｒ、（X+2）_Ｒ、（X-1）_Ｒ、および（X-2）_Ｒなどの、右画像内の、１つまたは複数の画素の態様と比較し得る。コンピューティングデバイスは、左画素Ｘ_Ｌと、それらの右画像画素の１つまたは複数との間の類似性の度合を決定し得る。２つの画素の間の類似性の度合を表す数値的な値は、本明細書では「相関値」と呼称され得るものであり、それによって、相関値のセットは、相関表面の基盤としての働きをする。本例では、より小さな相関値は、２つの画素の間の、より高い程度の類似性を指し示し、しかるに、より大きな相関値は、２つの画素の間の、より少ない程度の類似性を指し示す。かくして、何らかの「くぼみ」、「谷」、または局在最小値は、他の周囲の画素と比較して、最も高い相対的な程度の類似性を有する２つの画素と解され得るものであり、そのことは、一部の事例では、「マッチ」（例えば、対応するフィーチャ）を意味し得る。

[0148] 例の動作として、コンピューティングデバイスは、相関表面をＸ_Ｌに対して決定することを、最初に、画素Ｘ_Ｌを、画素Ｘ_Ｒ、（X+1）_Ｒ、（X+2）_Ｒ、（X-1）_Ｒ、および（X-2）_Ｒの各々と比較することにより行う。相関表面８１０は、それらの比較を遂行する後に生成され得る。図８Ｂで示されるように、相関表面８１０は、相関表面８１０での「谷」８１２により指示されるような、画素（X+1）_Ｒに対応する点ｐ_４での局在最小値を内に含む。この例では、コンピューティングシステムは、かくして、Ｘ_Ｌでのフィーチャが（X+1）_Ｒでのフィーチャに対応すると決定し得る。相対的な画素場所を、対応するフィーチャに対して識別することを基に、コンピューティングデバイスは、三角測量を使用して、Ｘ_Ｌでのフィーチャの深度を、左光学センサ８０２から点ｐ_４までの距離に等しいように決定し得る。そのような三角測量技法は、Ｘ_Ｌの投射ライン８０６、および、（X+1）_Ｒの投射ライン８０８の交点を決定することを必然的に含み得る。Ｘ_Ｌに対する投射ライン８０６は、左光学センサの焦点Ｆ_Ｌに基づいて決定され得るものであり、（X+1）_Ｒに対する投射ライン８０８は、右光学センサの焦点Ｆ_Ｒに基づいて決定され得る。

[0149] この例では、右画像上の「ｘ」画素が増大するにつれて（例えば、さらに右にある「x」画素）、対応する点ｐの深度は減少し、反対に、右画像上の「ｘ」画素が減少するにつれて（例えば、さらに左にある「x」画素）、対応する点ｐの深度は増大するということに留意されたい。かくして、対応するフィーチャの相対的な画素場所を相関表面から識別する後、コンピューティングデバイスはさらには、そのフィーチャの深度を推定し得る。

[0150] さらには、図８Ａおよび図８Ｂについて上記で説明された例は、相関表面を左画像画素Ｘ_Ｌに対して、互いに水平に近接する右画像画素のセットに対して算出することのプロセスを論考するものであるということに留意されたい。しかしながら、様々な実施形態は、相関表面を算出することを、右画像画素の可能なセットの中でもとりわけ、互いに垂直に近接する右画像画素のセット、画素の２次元アレイを成り立たせる右画像画素のセット、または、所与の右画像画素のあらかじめ決定された半径の中にある右画像画素のセットと、左画像画素Ｘ_Ｌを比較することにより行うことを必然的に含み得る。相関表面が所与の左画像画素に対して決定される様式は、可能性のある要因の中でもとりわけ、所与のシステム内の２つの光学センサの相対的な位置、または、相関システムを決定するために使用されるコンピューティングデバイスの処理速度を含む、種々の要因に依存し得る。

[0151] 本明細書で説明されるような相関表面は、離散的な相関値の集合体を指し得る。相関表面の、任意の曲線適合、または、連続的な表現は、解説目的で提供されるものであり、様々な実施形態は、関数の表現式（例えば、多項式、または、他の補間される関数）を決定することがあり、または、決定しないことがある。

[0152] 一部の実施形態では、複数個の相関表面が、光の、異なる波長から捕捉される画像に対応して決定され得る。例えば、２つの光学センサが、可視光画像の対、および、赤外光画像の対を捕捉し得る。例のプロセスでは、コンピューティングデバイスは、１つの相関表面を可視光画像の対から決定し、別の相関表面を赤外光画像の対から決定し得る。次いでコンピューティングデバイスは、２つの相関表面を組み合わせて、組み合わされた相関表面を決定し得る。この例のプロセスの例の図解図が、図８Ｃで示される。

[0153] 例のシナリオでは、フィーチャは、光の、１つの波長帯域の中で検出可能であるのみであり得る。例えば、環境の暗い部分内の表面の所定のフィーチャは、可視光画像に対して、その可視光画像から区別可能なフィーチャを決定するにはあまりにも暗いものであり得る。しかしながら、赤外光プロジェクタは、照射することを、さもなければ暗い表面に行い、フィーチャが赤外光スペクトル内で検出されることを可能とし得る。

[0154] 図８Ｃでは、可視光画像から決定される、画素Ｘ_Ｌに対する相関表面８３０は、何らのくぼみ、谷、または局在最小値も内に含まない。しかしながら、赤外光画像から決定される、画素Ｘ_Ｌに対する相関表面８４０は、局在最小値を点ｐ_４で有する。コンピューティングデバイスは、相関表面８３０および相関表面８４０を加算して、組み合わされた相関表面８５０を決定し得る。対応するｐ値を、２つの相関表面８３０および８４０の間で加算することにより、局在最小値は、相関表面８５０内で維持される。かくして、異なる光波長から各々は決定された、２つの相関表面を一体に、単純に加算することにより、結果的に生じる組み合わされた相関表面８５０は、別々の相関表面の両方からの局所最小値を保存し得る。次いでコンピューティングデバイスは、これらの局所最小値を、組み合わされた相関表面８５０から識別し、それらの局在最小値のどれが、対応するフィーチャを表すかを、所与の画素値によって識別し、その所与の画素値でのフィーチャの深度を、上記で説明されたように決定し得る。

[0155] 局在最小値を識別することは、種々の技法を使用して達成され得る。一部の実現形態では、コンピューティングデバイスは、所与の相関表面での相関値が、しきい値相関値未満であるかどうかを決定し得る。他の実現形態では、コンピューティングデバイスは、所与の相関表面での最も小さな相関値が、２番目に小さな相関値未満であるかどうかを決定し得る。種々の他の技法が、局在最小値を相関表面で識別するために使用され得る。

[0156] 図９は、複数個の深度画像からの情報を組み合わせて、組み合わされた出力深度画像を形成することの概念図解図９００である。コンピューティングデバイスは、立体画像処理を、可視光画像Ａおよび可視光画像Ｂに関して用いて、第１の深度画像９０２を決定し得る。第１の深度画像は、１つまたは複数の光学センサから、環境内の少なくとも１つの表面までの距離のマッピングであり得る。コンピューティングデバイスはさらには、立体画像処理を、ＩＲ光画像ＡおよびＩＲ光画像Ｂに関して用いて、第２の深度画像９０４を決定し得る。第１の深度画像に類するように、第２の深度画像は、１つまたは複数の光学センサから、環境内の少なくとも１つの表面までの距離のマッピングであり得る。コンピューティングデバイスは、第１の深度画像９０２、および、第２の深度画像９０４を、出力深度画像９０６を決定するために組み合わせ得る。

[0157] 図１０Ａは、例の実施形態による、例の環境の概念図解図１０００である。例の環境は、壁１００８と、テクスチャプロジェクタ１００２に対する壁の前方に位置決めされる箱１０１０とを含む。テクスチャプロジェクタ１００２は、壁１００８および箱１０１０から、ある距離に配置され、図６について説明されたようなテクスチャプロジェクタ６０２と同様に、または同じに、赤外の投射されるパターンを投射するように構成され得る。加えて、第１の光学センサ１００４、および、第２の光学センサ１００６が、存在し、例の環境の可視光画像および赤外光画像の両方を捕捉し得る。テクスチャプロジェクタ１００２、第１の光学センサ１００４、および、第２の光学センサ１００６は、図６について説明されたような、テクスチャプロジェクタ６０２、第１の光学センサ６０４、および、第２の光学センサ６０６と同様の様式で構成され得る。

[0158] 図１０Ａで示される例の環境は、明るい光源により部分的に照らされ、それによって環境は、明るいエリア１０１４（ドットを打たれたパターンを使用して図解される）と、暗いエリア１０１２とを有する。明るいエリア１０１４は、人工光源（例えば、電球）により、および／または、太陽光により照射され得る。暗いエリア１０１２は、物体から環境上に投げかけられる影により生み出され得るものであり、または、環境のその部分に照射する光源を欠くことの結果であり得る。壁１００８および箱１０１０の両方は、図１０Ａで図解されるように、暗い部分と、明るい部分とを含む。テクスチャプロジェクタ１００２は、パターンを環境全体上に投射し得るものであり、しかしながら、光学センサは、赤外の投射されるパターンを、暗いエリア１０１２上で知覚するのみであり得る。かくして、暗いエリア１０１２は、その上に投射される赤外パターンを有するように図示される。

[0159] 動作の間、光学センサ１００４および１００６は、異なる視点からの、可視光画像および赤外光画像の両方を捕捉する。深度情報を、これらの捕捉される画像から決定することのプロセスが、図１０Ｂで図示され、下記で説明される。

[0160] 図解図１０００は、明るいエリアを、ドットを使用して図示し、暗いエリアを、可視で知覚可能な投射されるパターンを有するように図示するということに留意されたい。これらの図解されるパターンは、解説目的で提供されるものであり、必ずしも、環境の、光学センサの知覚、または、人間の目の知覚に対応するわけではない。さらには、暗いエリア１０１２と、明るいエリア１０１４との間の境界は、図１０Ａの図解図１０００では、はっきりとしたものであるが、他の環境での、暗いエリアと、明るいエリアとの間の境界は、むしろ傾斜をもつものであり得るということに留意されたい。

[0161] 図１０Ｂは、深度を複数個の深度画像から決定することの例の図解図である。図１０Ｂの左側は、深度推定値を、赤外の投射されるパターンにより照射される暗いエリアから決定することを図示する。環境の図解図１０２０上の、陰を付けられたエリアは、環境の部分であって、その上で、投射されるパターンが、赤外光画像により検出され得るものであり、環境内の表面の深度を決定するために使用される、環境の部分を表す。解説の目的で、表面の深度を、水平セクション１０２２にわたって推定することが論考される。構造化光処理を使用して、コンピューティングデバイスは、深度情報を、赤外の投射されるパターンにより照射される、環境の暗いエリアの赤外光画像から決定し得る。結果的に生じる深度推定値は、グラフ１０２４で図示される。左から右に移動すると、遠い壁の深度が検出され、次いで深度は、箱が検出される際に減少し、ついには暗いエリアが終わる（ドットにより表される）。この例では、深度情報は、明るいエリアに対して、赤外光画像に基づいて決定されず、このことはなぜならば、明るい光が、赤外の投射されるパターンを圧倒したということであり、そのことにより、明るいエリア上のフィーチャの洞察を困難にしたからであるということに留意されたい。

[0162] 図１０Ｂの右側は、深度推定値を、明るいエリアから決定することを図示する。環境の図解図１０３０上の、陰を付けられたエリアは、可視光画像からのフィーチャの視覚的検出を可能とする明るい光により照射され、環境内の表面の深度を決定するために使用される、環境の部分を表す。立体画像処理を使用して、コンピューティングデバイスは、深度情報を、環境の明るいエリアの可視光画像から決定し得る。結果的に生じる深度推定値は、グラフ１０３４で図示される。左から右に移動すると、深度情報は、暗いエリアに沿って、明るいエリアが到達されるまで決定されない。このことはなぜならば、可視光スペクトルでは、暗いエリアは、深度を検知するために使用されるフィーチャを洞察するための充分な光を提供しないからである。明るいエリアと、暗いエリアとの間のその境界（グラフ１０３４でのドットにより表される）で、箱の深度が検出され、次いで、壁の深度が検出される。

[0163] グラフ１０４０は、グラフ１０２４およびグラフ１０３４で示される深度推定値からの、組み合わされた深度推定値を図示する。環境は、広い輝度レンジを有していたが、本出願の深度検知技法を用いることが、環境の、明るいエリア、および、暗いエリアの両方の深度推定値を生み出した。図１０Ａおよび９Ｂで図解されるように、所与の表面は、明るい部分、および、暗い部分の両方を有し得るものであり、それらの部分は、典型的な立体イメージング技法を使用すると、不充分または不正確な深度情報を、その表面に関して提供することになる。しかしながら、環境内の、可視スペクトル内の光、および、環境上への、特定の赤外帯域の中の投射されるパターンを検出することにより、環境内の表面の、総合的および正確な深度情報が検出され得る。本出願の技法は、太陽で照らされる環境、より暗い屋内の環境、ならびに、光および暗い環境の組み合わせでの、改善された深度検知を提供し得る。

[0164] 図１１Ａは、例の実施形態による、シーンの例の画像１１００である。図１１Ａで示されるシーンは、開放された車庫または格納庫の扉を含み、その扉を通って太陽光が、地面の一部分に照射する。地面の他の部分、および内壁は、太陽光の輝度との比較では、薄暗く照らされる。典型的な立体画像処理は、図１１Ｂで示されるような、シーンの深度マップ１１１０を生み出し得る。図１１Ｂでは、環境の黒の部分は、深度情報を欠くことを指示し、一方で、環境の白またはグレーの部分は、その決定された深度情報を指示する（その場合、淡いグレーは、より小さな深度を指示し、暗いグレーは、より大きい深度を指示する）。図１１Ｂで示されるように、深度情報は、シーンの、影で覆われる部分の大部分に対して決定されないことがある。

[0165] 図１１Ｃは、例の実施形態による、投射されるパターンを伴うシーンの例の画像１１２０である。画像１１２０は、地面に照射する太陽光、および、環境の、影で覆われる部分に照射する、投射されるパターンの両方を示す。画像１１２０は、幅広いレンジの光波長を表し得るものであり、同時に、捕捉される可視光および／または赤外光を、解説の目的で図示し得るということに留意されたい。本出願の、組み合わされた赤外および可視光深度検知を遂行することにより、コンピューティングデバイスは、図１１Ｄで示されるような、シーンの深度マップ１１３０を生成し得る。図１１Ｂで示される深度マップ１１１０とは違い、図１１Ｄで示される深度マップ１１３０は、シーンの、影で覆われる部分からの深度情報（赤外光画像から、構造化光処理を使用して導出されたものであり得る）を含む。深度マップ１１１０と比較して、組み合わされた可視光および赤外光深度検知から決定される深度マップ１１３０は、より総合的な深度情報を提供する。

[0166] 本明細書で説明される配置構成は、単に例の目的でのものであるということが理解されるべきである。したがって当業者は、他の配置構成、および、他の要素（例えば、機械、インターフェイス、機能、順序、および、機能のグループ化、その他）が、代わりに使用され得るものであり、一部の要素は、所望される結果によって一切が省略され得るということを察知するであろう。さらに、説明される要素の多くは、離散的な、もしくは分散型の構成要素として、または、他の構成要素との連関で、任意の適した組み合わせおよび場所で実現され得る機能エンティティである。

[0167] 様々な態様および実施形態が本明細書で開示されたが、他の態様および実施形態が、当業者には明らかであろう。本明細書で開示された様々な態様および実施形態は、図解の目的でのものであり、制限的であることは意図されず、真の範囲は、以下の特許請求の範囲に、併せて、そのような特許請求の範囲が権利を付与される均等物の最大限の範囲により指示される。本明細書で使用される専門用語は、単に特定の実施形態を説明する目的でのものであり、制限的であることは意図されないということが、さらには理解されることになる。

[0168] 詳細での、多くの修正、変形、および変更が、説明された例に対して為され得るので、先の説明での、および、付随する図で示される、すべての事柄は、図解的である、および、制限的な主意でのものではないと解されるということが意図される。さらに、以下のことが本説明の態様をさらに説明するということが、理解されることを意図される。

Claims (20)

1. 第１の光学センサ、および、第２の光学センサであって、各々の光学センサは、特定の赤外帯域の中の赤外光を捕捉するように構成される第２の複数のフォト検出器が間に散在する、可視光を捕捉するように構成される第１の複数のフォト検出器を備える、第１の光学センサ、および、第２の光学センサと、
   前記特定の赤外帯域の中の波長の赤外光を環境上に投射するように構成される光源と、
   コンピューティングデバイスであって、
   前記環境の第１の対応するフィーチャを、前記第１の光学センサにより捕捉される第１の可視光画像と、前記第２の光学センサにより捕捉される第２の可視光画像との間で識別することと、
   前記環境の第２の対応するフィーチャを、前記第１の光学センサにより捕捉される第１の赤外光画像と、前記第２の光学センサにより捕捉される第２の赤外光画像との間で識別することと、
   深度推定値を、前記環境内の少なくとも１つの表面に対して、前記第１の対応するフィーチャ、および、前記第２の対応するフィーチャに基づいて決定することと
   を行うように構成される、コンピューティングデバイスと
   を備えるシステム。
2. 前記深度推定値を、前記環境内の少なくとも１つの表面に対して決定することは、
   前記環境内の少なくとも１つの表面の第１の深度推定値を、前記第１の対応するフィーチャに基づいて決定することと、
   前記環境内の少なくとも１つの表面の第２の深度推定値を、前記第２の対応するフィーチャに基づいて決定することと、
   前記深度推定値として、少なくとも１つの表面の組み合わされた深度推定値を、前記第１の深度推定値、および、前記第２の深度推定値に基づいて決定することと
   を含む、請求項１に記載のシステム。
3. 前記組み合わされた深度推定値を決定することは、前記第１の深度推定値、および、前記第２の深度推定値を平均化して、前記組み合わされた深度推定値を決定することを含む、請求項２に記載のシステム。
4. 前記光源は、あらかじめ決定されたテクスチャパターンを前記環境上に投射するように構成されるテクスチャプロジェクタである、請求項１に記載のシステム。
5. 前記コンピューティングシステムは、前記テクスチャプロジェクタが、前記あらかじめ決定されたテクスチャパターンを前記環境上に投射することを、前記第１の赤外光画像、および、前記第２の赤外光画像が捕捉される前に引き起こすようにさらに構成される、請求項４に記載のシステム。
6. 各々の光学センサの、前記第１の複数のフォト検出器、および、前記第２の複数のフォト検出器は、チェッカーボードパターンで配置構成される、請求項１に記載のシステム。
7. ロボティックマニピュレータをさらに備え、前記少なくとも２つの光学センサは、前記ロボティックマニピュレータに結合される、請求項１に記載のシステム。
8. 前記光源は、前記ロボティックマニピュレータに結合される、請求項７に記載のシステム。
9. 前記コンピューティングデバイスは、
   組み合わされた深度推定値が決定されたときからの時間の長さを決定するように、ならびに、
   時間のしきい値長さを上回る時間の前記長さに基づいて、（i）前記第１の対応するフィーチャを識別する工程、（ii）前記第２の対応するフィーチャを識別する工程、および、（iii）前記深度推定値を決定する工程を反復させるように、
   さらに構成される、請求項１に記載のシステム。
10. 第１の複数のフォト検出器と、第２の複数のフォト検出器とを備える、フォト検出器の平面状アレイであって、各々のフォト検出器は、電荷を、前記フォト検出器上に入射する光の強度に基づいて生成するように構成される、フォト検出器の平面状アレイと、
    可視光を前記第１の複数のフォト検出器上に通過させるように構成される第１の複数のフィルタと、特定の赤外帯域の中の赤外光を前記第２の複数のフォト検出器上に通過させるように構成される第２の複数のフィルタとを備える、フォト検出器の前記平面状アレイに結合される光フィルタアレイであって、前記第１の複数のフィルタは、前記第２の複数のフィルタが間に散在する、光フィルタアレイと、
    制御回路であって、
    可視光画像を、前記第１の複数のフォト検出器からの電荷に基づいて生成することと、
    赤外光画像を、前記第２の複数のフォト検出器からの電荷に基づいて生成することと
    を行うように構成される、制御回路と
    を備える光学センサ。
11. 前記第１の複数のフィルタ、および、前記第２の複数のフィルタは、チェッカーボードパターンで配置構成される、請求項１０に記載の光学センサ。
12. 前記第１の複数のフィルタは、赤の可視光を通過させるように構成されるフィルタの第１のサブセットと、緑の可視光を通過させるように構成されるフィルタの第２のサブセットと、青の可視光を通過させるように構成されるフィルタの第３のサブセットとを備える、請求項１０に記載の光学センサ。
13. 前記第１の複数のフィルタ、および、前記第２の複数のフィルタは、複数のフィルタモザイクを備える正方形タイリングパターンを形成するように配置構成され、各々のフィルタモザイクは、（１）赤の可視光を通過させる前記第１のサブセットのフィルタと、（２）緑の可視光を通過させる前記第２のサブセットのフィルタと、（３）赤の可視光を通過させる前記第３のサブセットのフィルタと、（４）前記特定の赤外帯域の中の赤外光を通過させる前記第２の複数のフィルタのうちのフィルタとを備える、請求項１２に記載の光学センサ。
14. 前記制御回路は、
    時間の第１の継続期間の間中、前記第１の複数のフォト検出器が、可視光を捕捉して、前記可視光画像が基づく前記電荷を生成することを引き起こすことと、
    時間の第２の継続期間の間中、前記第２の複数のフォト検出器が、赤外光を捕捉して、前記赤外光画像が基づく前記電荷を生成することを引き起こすことと
    を行うようにさらに構成され、
    時間の前記第２の継続期間は、時間の前記第１の継続期間より大きい、請求項１０に記載の光学センサ。
15. 前記制御回路は、
    前記第１の複数のフォト検出器により生成される前記電荷を、第１のゲイン値により増幅することと、
    前記第２の複数のフォト検出器により生成される前記電荷を、第２のゲイン値により増幅することと
    を行うようにさらに構成され、
    前記第２のゲイン値は、前記第１のゲイン値より大きい、請求項１０に記載の光学センサ。
16. 前記第１の複数のフォト検出器内のいくつかのフォト検出器は、前記第２の複数のフォト検出器内のいくつかのフォト検出器より多い、請求項１０に記載の光学センサ。
17. 第１の光学センサの第１の複数のフォト検出器から、第１の視点から知覚されるような、環境の第１の可視光画像を受信する工程と、
    第２の光学センサの第１の複数のフォト検出器から、第２の視点から知覚されるような、前記環境の第２の可視光画像を受信する工程と、
    前記第１の光学センサの第２の複数のフォト検出器から、前記第１の視点から知覚されるような、前記環境の第１の赤外光画像を受信する工程であって、前記第１の光学センサの前記第２の複数のフォト検出器は、特定の赤外帯域の中の赤外光を捕捉するように構成される、受信する工程と、
    前記第２の光学センサの第２の複数のフォト検出器から、前記第２の視点から知覚されるような、前記環境の第２の赤外光画像を受信する工程であって、前記第２の光学センサの前記第２の複数のフォト検出器は、前記特定の赤外帯域の中の赤外光を捕捉するように構成される、受信する工程と、
    コンピューティングデバイスにより、前記環境の第１の対応するフィーチャを、前記第１の可視光画像と、前記第２の可視光画像との間で識別する工程と、
    前記コンピューティングデバイスにより、前記環境の第２の対応するフィーチャを、前記第１の赤外光画像と、前記第２の赤外光画像との間で識別する工程と、
    前記コンピューティングデバイスにより、深度推定値を、前記環境内の少なくとも１つの表面に対して、前記第１の対応するフィーチャ、および、前記第２の対応するフィーチャに基づいて決定する工程と
    を含む方法。
18. 前記深度推定値を、前記環境内の少なくとも１つの表面に対して決定する工程は、
    前記環境内の少なくとも１つの表面の第１の深度推定値を、前記第１の対応するフィーチャに基づいて決定する工程と、
    前記環境内の少なくとも１つの表面の第２の深度推定値を、前記第２の対応するフィーチャに基づいて決定する工程と、
    前記深度推定値として、少なくとも１つの表面の組み合わされた深度推定値を、前記第１の深度推定値、および、前記第２の深度推定値に基づいて決定する工程と
    を含む、請求項１７に記載の方法。
19. テクスチャプロジェクタが、あらかじめ決定されたテクスチャパターンを前記環境上に投射することを引き起こす工程であって、前記あらかじめ決定されたテクスチャパターンは、前記特定の赤外帯域の中の波長の赤外光である、引き起こす工程
    をさらに含む、請求項１８に記載の方法。
20. 前記第２の深度推定値を決定する工程は、
    前記環境内の特定の表面の第１の位置を、前記第１の赤外光画像内で決定する工程と、
    前記環境内の前記特定の表面の第２の位置を、前記第２の赤外光画像内で決定する工程と、
    三角測量を使用して、前記第２の深度推定値を、前記第１の位置、前記第２の位置、および、前記第２の光学センサの位置に対する前記第１の光学センサの位置に基づいて決定する工程と
    を含む、請求項１８に記載の方法。