JP2022111072A - ロボットに対するターゲットフリーｒｇｂｄカメラ位置合わせ - Google Patents

Abstract

【課題】ロボットをワールド内で自律的に機能させるために、動作しようとする環境に合わせて較正する。【解決手段】ロボットがロボットの参照空間内を移動する可動ロボットアームを備える。ロボットと深度感知カメラであって、カメラがロボットの参照空間の見える所に実質的にある参照フレームを有する。プロセッサ、及びコントローラによって読み取られると、コントローラがカメラから画像データを入力し、可動ロボットアームに信号を送信するように命令を含むコンピュータ可読メモリを更に備える、コントローラと、を備え、命令が、ロボットにいくつかのロボット姿勢を取るように命令することによってカメラをロボットに合わせて較正する工程と、ロボット姿勢の場所を抽出して、カメラ参照フレーム内のロボット姿勢を得る工程と、ロボット点を後にカメラ点に変換する変換を作成する工程と、を更に含む、ロボットシステムを提供する。【選択図】図１

Description

ロボット／コンピュータビジョンの分野は、当該技術分野でよく知られている。ロボットがワールド内で自律的に機能するために、ビジョンシステムは、動作しようとする環境に合わせて較正される必要がある。

標準的なカメラ較正では、既知の外観を有する平面ターゲットがカメラの見える所に配置され得ることが知られている。ターゲットの画像を使用して、カメラ焦点距離及びレンズ歪みなどの内部パラメータを推測することができる。また、カメラの外部パラメータ、すなわち、視覚的ターゲットに対するカメラの変位及び回転を推測するために使用することもできる。１つの従来の方法は、コーナー検出器と共にチェックボードパターンを使用して、正方形のコーナーを抽出することである。次いで、連立方程式を解いて、カメラの内部及び外部パラメータを見つけることができる。ターゲットがロボットに関して正確に配置されている場合、ロボットに対するカメラの姿勢を推測することができる。しかしながら、しかしながら、ロボットフレームの向きが典型的にその基部内にあるため、正確な測定を得ることは困難であり得る。

ロボットコンピュータビジョンシステム及び方法のシステム並びに方法を含む、本出願のいくつかの実施形態が開示される。

一実施形態は、ロボットであって、ロボットがロボットの参照空間内を移動する可動ロボットアームを更に備える、ロボットと、ＲＧＢＤカメラであって、カメラがロボットの参照空間の見える所に実質的にある参照フレームを有している、ＲＧＢＤカメラと、コントローラであって、コントローラがプロセッサ、及びコントローラによって読み取られると、コントローラがカメラから画像データを入力し、可動ロボットアームに信号を送信するように命令を含むコンピュータ可読メモリを更に備える、コントローラと、を備えるロボットシステムが開示され、命令が、ロボットにいくつかのロボット姿勢を取るように命令することによってカメラをロボットに合わせて較正する工程と、ロボット姿勢の場所を抽出して、カメラ参照フレーム内のロボット姿勢を得る工程と、ロボット点を後にカメラ点に変換する変換を作成する工程と、を更に含む。

別の実施形態では、ロボットにいくつかのロボット姿勢を取るように命令することによってカメラをロボットに合わせて較正する工程と、ロボット姿勢の場所を抽出して、カメラ参照フレーム内のロボット姿勢を得る工程と、ロボット点を後にカメラ点に変換する変換を作成する工程と、を含む、ロボットに対するカメラパラメータを決定するための方法が開示される。

本システムの他の特徴及び利点は、本出願内に提示された図面と関連して読まれるときに、以下の発明を実施するための形態で提示される。

本出願の原理に従って作製されたロボットシステムアーキテクチャの一実施形態を示す。

カメラを有する実際のロボットシステムの一実施形態及びロボットシステムに関するカメラの表現をそれぞれ示す。 カメラを有する実際のロボットシステムの一実施形態及びロボットシステムに関するカメラの表現をそれぞれ示す。

本出願の原理に従って作製された複数の処理モジュールを有するコントローラの一実施形態を示す。

本出願の原理に従って実施される初期化／較正ルーチン及びサンプル初期化の一実施形態を描写する。

本出願の原理に従って作製された場所抽出ルーチンのフロー図の一実施形態である。

本出願の原理に従って作製された変換推定ルーチンのフロー図の一実施形態である。

以下の説明は、当業者が実施形態を作製及び使用することを可能にするために提示され、特定の用途の文脈において提供される。開示される実施形態に対する様々な修正は、当業者には容易に明らかとなり、本明細書に定義される一般原理は、本開示の趣旨及び範囲から逸脱することなく、他の実施形態及び用途に適用され得る。したがって、本出願は、示される実施形態に限定されるものではなく、本明細書に開示される原理及び特徴と矛盾しない最大範囲が与えられるものである。
序論

カメラの較正は、ロボットが、物体の位置、サイズ及び向きについての何かを、カメラ画像内のそれらの物体の外観から推測することを可能にするため、ロボットタスクに望ましい。多くの場合、ロボットプランナが、カメラ画像内の物体がロボットに対してどこにあるかに関する推測を行うことが望ましい。本出願は、本明細書において、ロボットが、別個の較正ターゲット（例えば、チェッカーボード）なしに、かつロボットに関して較正ターゲットを向ける必要（これは、本質的に第２の較正問題である）なしに、ロボットに対するＲＧＢＤ（赤、緑、青、深度）カメラの外部カメラパラメータ（すなわち、場所及び向き）を迅速かつ容易に推測することを可能にするいくつかの実施形態を説明する。

加えて、他の実施形態は、テストパターンを作業セル内に導入する必要なしに、軽度の制限条件下でロボットの動作中に較正を定期的に再チェックすることを可能にする。これらの実施形態は、新しいタスクのために移動又は再構成される前に有限のタスクを達成するために、迅速に設定される新しい種類のロボット作業セルを可能にする。実施形態はまた、非常に高速かつ計算的に効率的であり、これにより、現場での組み込みプロセッサ用途に望ましいものになる。そのような実施形態では、（例えば、カメラの内部パラメータのように）外部パラメータ推定が経時的に比較的一定のままであり、設置中に他の方法を使用して推定することができることが望ましい場合がある。
本出願の実施形態

図１は、本出願の実施形態が動作する環境のブロック図である。システム１００は、ロボット１０２、ＲＧＢＤカメラ１０４及びコントローラ１０６を備える。ロボット１０２は、コンピュータビジョン及びコントローラ動作下で物体を移動するか又は移動させることができる、任意の既知の若しくは将来のロボットシステム又はその任意の部分であり得る。例えば、関節部材１０３は、いくつかのモータ作動（又は動きに影響を及ぼす任意の他の手段）の下で移動させられて、例えば、いくつかの目標を達成するために、いくつかの関心物体（図示せず）に作用し得る。部材１０３はまた、可視である部材の一部品であり得、色及び／又は形状のいずれかを通じて、カメラによって容易に判別可能であり、部材の部分としてコントローラによって識別される先端１０５を備え得、これは、識別されると、空間及び時間における部材の相対位置／速度を示す。

適切なカメラ（例えば、ＲＧＢＤ）１０４は、深度だけでなくカラー画像データも分解することができる任意の既知の又は将来のカメラシステムであり得る。いくつかの実施形態では、適切なカメラは、任意の既知の深度及び／又は範囲ファインダと共に単一のカラーカメラを含み得る。あるいは、適切なカメラは、２つの別個のカラーカメラを含み得、２つの画像の視差を用いて深度情報を判別することができる。更に他の実施形態では、電磁スペクトルの他の部分で動作する他のカメラ／センサを用いることができる。センサシステムは、空間内の部材の関連部分及びその深度情報を判別することができることが十分である。

いくつかの実施形態では、適切なものからの画像データと併せてＬＩＤＡＲデータを用いることが可能であり得る。そのような場合、ＬＩＤＡＲスキャン内の点を識別することが望ましいであろう。あるいは、深度及び又は反射率の２Ｄスキャンを生成するＬＩＤＡＲ画像を用いてもよい。この実施形態では、物体検出器又は他の基準検出器をＬＩＤＡＲ画像（例えば、反射率マップ又は実際の深度のいずれか若しくはその両方）に適用することが望ましいであろう。

更に他の実施形態では、ＲＧＢカメラを使用する必要がまったくない場合がある。他のクロマティックカメラが十分であり得る。加えて、画像を捕捉するモノクロカメラは、物体検出器、バーコード検出器又は他の基準マークを使用して、画像にわたって追跡される点を定義することができる。

他の実施形態は、画像からの単眼深度情報を有するカメラを用いて、深度チャネルを有さない場合があるＲＧＢカメラと共に作業してもよい。そのような他の実施形態では、適切なカメラは、特定のドメインで単眼深度推定を用いることができるため、深度カメラなしでそれらを用いることが可能であり得る。

これらの様々な実施形態の全てにおいて、本出願は、上記の全て、例えば、ＲＧＢＤカメラ、深度データを有する他のクロマティックカメラ、ＬｉＤＡＲデータ／画像、モノクロカメラ、単眼深度などを包含するために「深度感知カメラ」という用語を用いる。

分かるように、コントローラ１０６は、プロセッサと、本明細書に説明されるプロセス及び／又はルーチンの多くを保存するコンピュータ可読メモリと、を備え得る。コントローラ１０６は、ＲＧＢＤカメラ１０４から画像及び深度データを入力し、目下のタスクに応じて、ロボット１０２に制御信号を送信して、ロボット及び／又はその任意の部分の動きをもたらす。

本明細書に説明されるように、ＲＧＢＤカメラ及びロボットの較正は、本明細書に説明される通りに様々なプロセス及び／又はルーチンの下で進行し得る。また、先行技術のシステムで用いられることが多いターゲット１０８も示されている。任意選択のターゲット１０８を用いてもよいが、必ずしも任意の実施形態の一部ではなく、システムを較正するために、完全に除外されてもよい。

図２Ａは、関節部材２０２と、遠位端に先端２０４と、を備える実際のロボットシステム２００の１つの図を示す。先端２０４は、画像データがカメラ２０６によって捕捉されたときにコントローラによって容易に判別可能であり得る特定の形状及び／又は色で作製され得る。分かるように、カメラ２０６は、ロボット及び部材からオフセットされ得る。ロボットに対するカメラの相対位置決め及び向きがコントローラによって理解されることが十分である。１つの目標は、アルゴリズムが実行する前に分かっていない場合があるため、この位置決めを見つけることであり得る。

図２Ｂは、コントローラによって理解され得る通りのカメラに対するロボットの表現の一実施形態である。この図では、ロボットの表現が２０８で示され、カメラの場所及び向きのシステムの推測が２０８に関して２１０で示されている。他の表現が可能であり、本出願は本明細書に示される表現に限定されるべきではないことを理解されたい。ロボット又はその部分に対するカメラの向きに関して十分な情報がコントローラによって理解されることが十分である。

図３は、本出願の原理に従って作製されたコントローラの一実施形態である。コントローラ１０６は、問題のロボットシステムの処理及び制御に影響を及ぼすいくつかのモジュール及び／又はルーチンを含む。コントローラ１０６の部分として、初期化及び較正３０２（最初に及びロボットがそのプログラムされた機能を実行している最中の進行中のプロセスとして、の両方）、場所抽出３０４及び変換推定３０６のためのモジュールがある。本明細書に説明される実施形態の多くでは、これらのモジュールのいくつかの組み合わせは、本出願の原理下で動作するコントローラのモジュールを含み得る。
較正の実施形態

説明された較正実施形態の多くについて、本出願は、システムが深度感知を有するいくつかのカメラを有し、カメラが移動するロボット及び／又は任意の部分の視野を有すると想定し得る。上述のように、これらの実施形態は、既知の較正パターン（例えば、ターゲット１０８）のコーナー点の使用を置き換える。代わりに、多くの実施形態は、ターゲットの使用及びその結果として生じる、ターゲットをロボットに対して位置合わせする必要なしに、既知の３Ｄ場所でロボットによって生成された点を用いてカメラをロボットフレームに直接位置合わせすることができる。
サンプル生成機能の実施形態

初期化／較正モジュールの一実施形態では、コントローラは、サンプル生成モジュールを用いることができる。図４は、そのような適切なモジュールのフロー図（４００）の一実施形態である。工程４０２において、モジュールは、一連の姿勢を生成するようにロボットに命令を送信する。多くの実施形態では、これは、空間及び時間において、車輪付きロボットが移動する又はロボットアーム若しくは他のタイプの作動デバイスが移動することによって影響を受け得る。これらの動きは、カメラシステムの画像捕捉内で行われ、４０４において、これらの姿勢は、空間における点の集合として捕捉される。一実施形態では、そのような姿勢及び／又は動きは、ロボット作業空間のかなりの部分を占有し得る。これらの画像サンプルは、同一平面上又は共線的ではない点であることが望ましい場合がある。

例えば、ロボットアームを伴う実施形態では、コントローラがアーム（及び場合によっては、ロボットツール先端、例えば、１０５）に命令して立方体の頂点を追跡させることが望ましい場合がある。この場合、立方体上の点は、カメラシステムの視野内で同一平面上又は共線的ではない。場合によっては、良好なサンプルを提供するために、いくつかの追加のランダムな点を追加することも望ましい場合がある。多くの実施形態では、サンプル点の数は、ロボット及び用途に応じて変化し得る。例えば、一実施形態では、少なくとも８個の点を取ることが望ましい場合がある。他の実施形態では、カメラ誤差の可能性に対する堅牢性を向上させるために、８個よりも多い点（例えば、１２個以上のサンプル点）を取ることが望ましい場合がある。４０６における最終結果として、コントローラは、次の通りに３Ｄ点のセットを保存する。
Ｘ_Ｒ＝［Ｘ_Ｒ１，Ｘ_Ｒ２，．．．，Ｘ_Ｒｎ］
、ここで、各点Ｘ_Ｒｉは、３つの次元Ｘ_{Ｒｉ（１）}、Ｘ_{Ｒｉ（２）}、Ｘ_{Ｒｉ（３）}を有する。

上述のように、移動するロボットシステムの任意の部分は、これらのサンプル点を取得するための適切なターゲットであり得る。一実施形態では、カメラシステムが焦点を合わせる部分は、ロボットの作業空間内の他の色付き物体と十分に異なる１つ以上の色付き材料を含み得る。別の実施形態では、カメラシステムがターゲットの形状に焦点を合わせることが可能であり得る。例えば、物体は、検出のために滑らかなエッジを提供する、正確に丸みを帯びた物体であり得る。別の実施形態では、ターゲットは、エッジ検出を容易にするのに十分な非常に明確な輪郭を有することができる。
場所抽出の実施形態

図５を更に参照すると、５０２において、場所抽出モジュール（５００）がロボット姿勢からの場所を推測して、カメラ参照フレーム内の場所を得る。一実施形態では、場所は、２つの工程で抽出され得る。第１に、ターゲットは、特定のウィンドウ内の画像フレーム内で位置特定され得る。これは、ロボットツール先端の外観の物体検出又はより単純なカラーヒストグラムブロブマッチングなどの様々な方法を使用して行うことができる。一実施形態では、例えば、カラーヒストグラムマッチングを使用して、例えば、ロボット自体をターゲットにする、ロボットの先端の指定された色（例えば、青の）吸引カップを見つけることが可能である。

他の実施形態では、高コントラストのターゲット、発光体又は他の容易に追跡されるアフォーダンスをロボットに追加することができる。具体的には、ＨＳＶ空間で色相、彩度及び明度に関してフィルタリングし、バイナリフィルタを適用し、次いでモルフォロジ演算子を使用して検出の一貫性を向上させることが可能である。次いで、５０４において、連結成分アルゴリズムを使用して、最大連結成分の重心を見つけることが可能である。

ターゲットがターゲットを含有するウィンドウ内で識別されると、５０６において、このウィンドウの重心の周りでカメラの深度関数から深度をサンプリングすることが可能である。不良な深度読み取り値を有する点を却下することが望ましい場合がある（例えば、ステレオ深度カメラの場合、画像の特定の部分について対応関係を確実に見つけることができない場合がある）。次いで、堅牢な推定技術を使用して、カメラからのターゲットの深度を推測することが可能である。

一実施形態では、パーセンタイル関数を使用して、３０番目のパーセンタイル点の深度を見つけることが可能であるが、他の堅牢な推定技術を使用してもよい。場合によっては、これは、外れ値に対して堅牢であり得、アルゴリズムが、より小さな非凸物体で発生し得る遠隔点又はロボット特徴の鏡面反射によって引き起こされる仮想距離点を無視することを可能にする、カメラにより近い点を好む場合がある。場合によっては、信頼性の高い深度推定値を提供するのに十分な点が存在しない場合、点は却下され得る。最終結果は、次の通りに指定されたロボットフレーム内の点に実質的に対応するカメラフレーム内の点のセットである。
Ｘ_Ｃ＝［Ｘ_Ｃ１，Ｘ_Ｃ２，．．．，Ｘ_Ｃｎ］
変換推定の実施形態

図６を更に参照すると、変換推定モジュール６００は、ロボット点Ｘ_Ｒからカメラ点Ｘ_Ｃへの剛性変換を見つける。一実施形態では、６０２において、ロボットトレースがロボット点とカメラフレーム内の点との間に実質的な対応関係を有するように、点を生成することが望ましい場合がある。これは、変換を見つける問題を単純化する傾向がある。ロボットフレーム及びカメラフレームは、ワールド内の点がそれぞれの線に沿って収まるエピポーラ幾何を形成する。６０４において、２つの点セットの相対位置は、小さな誤差に対して十分に堅牢である従来の８点アルゴリズムを使用して、エピポーラ制約から見つけることができる。従来、８点アルゴリズムは、カメラ画像に基づく２つの点のセットと共に使用されるが、基本的に任意の２つの３Ｄ点源を使用してもよい。６０６において、ロボット及びカメラの両方の点を斉次座標で表し、次いで、６０８において、２つの点のセットを関連付ける基礎行列及び基本行列を見つけることが可能である。符号対称性により、一般に４つの解決策が存在し得る。点がカメラ画像内に現れることができず、カメラの背後であることができないため、再投影中に正の深度をもたらす行列を選択することが可能である。選択が曖昧であり得る場合、最良に適合する変換を選ぶためにユーザに視覚化を提供することが可能である。
代替実施形態

別の実施形態では、従来の基本行列／基礎行列を反復方法の開始点として任意選択的に使用して、再投影誤差を更に低減することができる。

この実施形態では、剛体変換が抽出されると、ロボット座標をカメラに再投影することによって（又はその逆も同様に）テストし、投影と測定されたカメラ場所との間の誤差を測定することが可能である。この誤差が所望の閾値未満である場合、変換は、ロボットシステムに公開され得、それによって、それが今度はカメラからの検出を使用して、そのワールドモデル、間接的にその計画を通知することを可能にする。

本明細書において様々な実施形態が開示されたので、本明細書に説明される特定のタスク、工程、プロセス、方法、機能、要素、及び／又は構成要素のうちの任意の１つ以上は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせを介して適切に実装され得ることも理解されたい。具体的には、様々なモジュール、構成要素、及び／又は要素は、本明細書に記載されるタスク、工程、プロセス、方法、及び／又は機能のうちの１つ以上を実施するように構成され、かつ／又は他の方法で提供されるプロセッサ、電気回路、コンピュータ、及び／又は他の電子データ処理デバイスによって具現化されてもよい。例えば、特定の要素を具現化するコントローラ、プロセッサ、コンピュータ、又は他の電子データ処理デバイスは、コード（例えば、ソースコード、インタプリティブコード、対象物コード、直接実行可能なコードなど）、あるいは他の同様の命令又はソフトウェア若しくはファームウェアの適切なリストを提供、供給、及び／又はプログラムされてもよく、その結果、コントローラ、プロセッサ、コンピュータ又は他の電子データ処理デバイスによって実行（run）及び／又は実行（execute）されたときに、本明細書に記載されたタスク、工程、プロセス、方法、及び／又は機能のうちの１つ以上が完了するか、又は他の方法で実施される。適切には、コード又は他の同様の命令若しくはソフトウェア若しくはファームウェアのリストは、コンピュータ若しくは他の電子データ処理デバイスに提供可能である、及び／又はこれらによって実行可能であるように、非一時的コンピュータ及び／又は機械可読記憶媒体（単数又は複数）として実装され、かつ／又はこれらの中に及び／又は上に記録、記憶、含有、若しくは含まれる。例えば、適切な記憶媒体（単数及び／又は複数）としては、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は任意の他の磁気記憶媒体（単数又は複数）、ＣＤ－ＲＯＭ、ＤＶＤ、光ディスク、又は任意の他の光学媒体（単数又は複数）、ＲＡＭ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、又は他のメモリ若しくはチップ若しくはカートリッジ、又はコンピュータ若しくは機械若しくは電子データ処理デバイスが読みだすことができ、使用することができる任意の他の有形媒体（単数又は複数）が挙げられるが、これらに限定されない。本質的に、本明細書で使用するとき、非一時的コンピュータ可読及び／又は機械可読媒体（単数又は複数）は、一時的な搬信号を除いて、全てのコンピュータ可読及び／又は機械可読媒体（単数又は複数）を含む。

任意選択的に、本明細書に記載される特定のタスク、工程、プロセス、方法、機能、要素、及び／又は構成要素のうちの任意の１つ以上は、１つ以上の汎用コンピュータ、専用コンピュータ（単数又は複数）、プログラムされたマイクロプロセッサ又はマイクロコントローラ、及び周辺集積回路素子、ＡＳＩＣ又は他の集積回路、デジタル信号プロセッサ、ディスクリート素子回路など有線電子回路又は論理回路、ＰＬＤ、ＰＬＡ、ＦＰＧＡ、グラフィックカードＣＰＵ（ＧＰＵ）、又はＰＡＬなどプログラマブル論理デバイスの上で実装されてもよく、かつ／又はこれらの中の具現化であってもよい。一般に、本明細書に記載されるそれぞれのタスク、工程、プロセス、方法、及び／又は機能を実装することが可能な有限状態機械を実装することが可能な任意のデバイスを使用することができる。

本出願の原理を例示する、添付の図面と共に読まれた、本出願の１つ以上の実施形態の詳細な説明がここで与えられている。本出願は、そのような実施形態に関連して説明されるが、本出願は、いかなる実施形態にも限定されないことを理解されたい。本出願の範囲は、特許請求の範囲によってのみ限定され、本出願は、多くの代替案、修正及び等価物を包含する。本出願の完全な理解を提供するために、多くの具体的な詳細がこの説明に記載されている。これらの詳細は、例示のために提供され、本出願は、これらの具体的な詳細の一部又は全部を伴わずに、特許請求の範囲に従って実施することができる。明確にするために、本出願に関連する技術分野で知られている技術的材料は、本出願を不必要に分かりにくくしないように詳細に説明されていない。

Claims (20)

1. 深度感知カメラシステムによって捕捉された画像を介して動きが自律的に制御されるロボットシステムにおいて、ロボットに対するカメラパラメータを決定するための方法であって、工程は、
   前記ロボットにいくつかのロボット姿勢を取るように命令することによって前記カメラを前記ロボットに合わせて較正することと、
   前記ロボット姿勢の場所を抽出して、前記カメラ参照フレーム内の前記ロボット姿勢を得ることと、
   ロボット点を後にカメラ点に変換する変換を作成することと、を含む、方法。
2. 前記カメラを前記ロボットに合わせて較正することが、共線的ではない３Ｄ空間内の点で姿勢を取るように前記ロボットに命令を送信することを更に含む、請求項１に記載の方法。
3. 前記カメラを前記ロボットに合わせて較正することが、同一平面上にない３Ｄ空間内の点で姿勢を取るように前記ロボットに命令を送信することを更に含む、請求項１に記載の方法。
4. 前記カメラを前記ロボットに合わせて較正することが、ロボット作業空間を実質的に占有する３Ｄ空間内の点で姿勢を取るように前記ロボットに命令を送信することを更に含む、請求項１に記載の方法。
5. 前記カメラを前記ロボットに合わせて較正することが、前記ロボット作業空間内に立方体を実質的に形成する３Ｄ空間内の少なくとも８個の点で姿勢を取るように前記ロボットに命令を送信することを更に含む、請求項１に記載の方法。
6. 前記カメラを前記ロボットに合わせて較正することが、次の通り：
   Ｘ_Ｒ＝［Ｘ_Ｒ１，Ｘ_Ｒ２，．．．，Ｘ_Ｒｎ］
   に３Ｄ点のセットを得ることを更に含み、ここで、各点Ｘ_Ｒｉが、３つの次元Ｘ_{Ｒｉ（１）}、Ｘ_{Ｒｉ（２）}、Ｘ_{Ｒｉ（３）}を有する、請求項１に記載の方法。
7. 前記ロボット姿勢の前記場所を抽出して、前記カメラ参照フレーム内の前記ロボット姿勢を得ることが、特定のウィンドウ内の画像フレーム内の前記ロボット上のターゲットを位置特定することを更に含む、請求項１に記載の方法。
8. 特定のウィンドウ内の画像フレーム内の前記ロボット上のターゲットを位置特定することが、前記ロボットツールの前記先端上の既知の物体を検出することを更に含む、請求項７に記載の方法。
9. 特定のウィンドウ内の画像フレーム内の前記ロボット上のターゲットを位置特定することが、前記ロボットツールの前記先端上の所望のカラーブロブを識別することを更に含む、請求項７に記載の方法。
10. 前記ロボット姿勢の前記場所を抽出して、前記カメラ参照フレーム内の前記ロボット姿勢を得ることが、前記ロボットツールの最大連結成分の重心を見つけることを更に含む、請求項７に記載の方法。
11. 前記ロボット姿勢の前記場所を抽出して、前記カメラ参照フレーム内の前記ロボット姿勢を得ることが、前記重心の周りの前記深度感知カメラからの前記ターゲットの前記深度をサンプリングすることを更に含む、請求項１０に記載の方法。
12. 前記ロボット姿勢の前記場所を抽出して、前記カメラ参照フレーム内の前記ロボット姿勢を得ることが、次の通り：
    Ｘ_Ｃ＝［Ｘ_Ｃ１，Ｘ_Ｃ２，．．．，Ｘ_Ｃｎ］に前記カメラフレーム内に点のセットを生成することを更に含む、請求項１１に記載の方法。
13. ロボット点を後にカメラ点に変換する変換を作成することが、ロボット点Ｘ_Ｒ＝［Ｘ_Ｒ１，Ｘ_Ｒ２，．．．，Ｘ_Ｒｎ］のカメラ点Ｘ_Ｃ＝［Ｘ_Ｃ１，Ｘ_Ｃ２，．．．，Ｘ_Ｃｎ］への変換を見つけることを更に含む、請求項１に記載の方法。
14. ロボット点を後にカメラ点に変換する変換を作成することが、エピポーラ制約を使用して前記２つの点セットの相対位置を見つけることを更に含む、請求項１３に記載の方法。
15. ロボット点を後にカメラ点に変換する変換を作成することが、前記ロボット点及びカメラ点を斉次座標で表すことを更に含む、請求項１４に記載の方法。
16. ロボット点を後にカメラ点に変換する変換を作成することが、前記斉次座標から基礎行列／基本行列を見つけることを更に含む、請求項１５に記載の方法。
17. ロボットシステムであって、
    ロボットであって、前記ロボットが前記ロボットの参照空間内を移動する可動ロボットアームを更に備える、ロボットと、
    深度感知カメラであって、前記カメラが前記ロボットの参照空間の見える所に実質的にある参照フレームを有する、深度感知カメラと、
    コントローラであって、前記コントローラがプロセッサ、及び前記コントローラによって読み取られると、前記コントローラが前記カメラから画像データを入力し、前記可動ロボットアームに信号を送信するように命令を含むコンピュータ可読メモリを更に備える、コントローラと、を備え、前記命令が、
    前記ロボットにいくつかのロボット姿勢を取るように命令することによって前記カメラを前記ロボットに合わせて較正する工程と、
    前記ロボット姿勢の前記場所を抽出して、前記カメラ参照フレーム内の前記ロボット姿勢を得る工程と、
    ロボット点を後にカメラ点に変換する変換を作成する工程と、を更に含む、ロボットシステム。
18. 前記可動ロボットアームが、群のうちの１つを含み、前記群が、前記ロボットアームの前記先端上の既知の検出可能な物体及び前記ロボットアームの前記先端上の所望のカラーブロブを含む、請求項１７に記載のロボットシステム。
19. 前記コントローラが、ロボット点Ｘ_Ｒ＝［Ｘ_Ｒ１，Ｘ_Ｒ２，．．．，Ｘ_Ｒｎ］のカメラ点Ｘ_Ｃ＝［Ｘ_Ｃ１，Ｘ_Ｃ２，．．．，Ｘ_Ｃｎ］への変換を見つける、請求項１７に記載のロボットシステム。
20. 前記コントローラが、ロボット点を後にカメラ点に変換する変換を作成し、前記斉次座標から前記基礎行列／基本行列を見つけることを更に含む、請求項１９に記載のロボットシステム。
    

Images