JP2019169156A - 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム - Google Patents

Abstract

【課題】全体としてＣＭＭ又は類似の計測装置を使用しない組立システムをトレーニングするのに最適な位置に工作物を案内するためのシステム及び方法を提供する。【解決手段】組立システム１００において、工作物１１２、１２２がそれぞれの特定の位置にあるときに工作物の画像特徴を共通座標系において表現する。この能力は、実際に工作物を組み立てることなく、それらの組立の結果を「仮想組立」において視覚化することを可能にする。仮想組立は、それぞれの特定の位置における工作物の配置を所望の相対的アライメントに案内するのを支援する。このシステム及び方法は、工作物の案内に使用されるカメラからの画像を用いて合成画像を生成して、ユーザが組立後に部品がどのように見えるか視覚化するのを助ける。ユーザは、合成画像が所望の外観を持つまで、それぞれの特定の位置で工作物の画像を再位置決めできる。【選択図】図１

Description

関連出願
本出願は、２０１５年３月３日に出願された米国特許仮出願第６２／１２７，８０８号「対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム」の利益を主張するものであり、その教示内容は参照により本明細書に組み込まれる。

技術分野
本発明はマシンビジョンシステム、より具体的には製造環境において工作物及び他の対象物の組立を案内するために使用されるビジョンシステムに関する。

マシンビジョンシステム（本明細書では「ビジョンシステム」とも呼ぶ）において、撮像された場面内の対象物又は表面でビジョンシステムプロセスを実行するために１台以上のカメラが使用される。これらのプロセスは検査、コードの復号化、アライメント及びその他の多様な自動化されたタスクを含んでよい。より具体的には、ビジョンシステムは撮像された場面を通過する平らな工作物（ワーク、ワークピース）を検査するために使用され得る。場面は典型的には１台以上のビジョンシステムカメラによって撮像され、これらのカメラは付属のビジョンシステムプロセスを動作して結果を生成する内部又は外部ビジョンシステムプロセッサを含むことができる。１台以上のカメラはビジョンタスクを十分な精度と信頼性をもって実行できるように較正される。カメラを較正して共通（グローバル）座標系（「運動座標系」とも呼ぶ）を作成するために較正プレートを使用できる。ここで全てのカメラのピクセル位置は座標系の関連する点にマッピングされ、それにより何らかのカメラで撮像された特徴は座標空間内に位置決めされ得る。そのような較正は公知の「ハンドアイ」較正技術を用いて達成できる。

ビジョンシステムの注目すべき適用は、自動化された組立機構による対象物（「工作物」とも呼ぶ）の組立であり、これは工作物を組立位置に正確に支持するための可動プラットフォーム（モーションステージ）と、他の工作物を「アセンブリモーション」で上方のアライメント位置に動かして工作物に組み立てられるようにするマニピュレータ（例えば「ピック・アンド・プレース」動作を実行するロボットハンド若しくはロボットアーム又は他のタイプのモーションデバイス／モーションステージ）を含むことができる。

工作物の組立におけるビジョンシステムの具体的な適用は、ある平面的工作物を他の平面的工作物とアライメントすることを含む。例えばバッテリーはマニピュレータによりピック・アンド・プレース動作でモーションステージに載っている携帯電話の凹部の上及び中に操作され得る。

そのようなビジョンシステムは最初に、システムの実行時動作中に各工作物が他の工作物との正確なアライメントに入るようにトレーニングされる。トレーニング時に工作物はそれぞれのステーションに配置され、組み立てられると組立済み工作物は所望の相互位置関係を持つ。トレーニングに続く実行時に工作物は配置又は寸法のばらつきを考慮してそれぞれのステーションに配置されて組み立てられる。工作物組立プロセスが始まると、それにより部品はトレーニング時と同じ相互位置関係に置かれる。

現在のトレーニング技術は、工作物をそれぞれのステーションに配置すること、システムをトレーニングすること、それらを組み立てること、及び座標測定機（ＣＭＭ）などの別個の測定システムで組立誤差を測定することを含む。測定された誤差は、（ａ）（それぞれマニピュレータ及びモーションステージにより）工作物の再位置決めと組立システムの再トレーニングを案内するために使用され、又は（ｂ）一部の組立システムで実行時に一方又は両方の工作物の位置をそれぞれの機構により補正するために適用される補正係数として援用される。工作物の再位置決めによるトレーニングに伴う短所は、それが時間のかかる反復プロセスである点である。ユーザは所望の組立特性が達成されるまでトレーニングステップを何回も繰り返さなければならない。同様に、補正係数をマニピュレータ及び／又はモーションステージのアセンブリモーションに組み入れることに伴う難点は、ＣＭＭの座標枠と組立システムとの間に確定された関係がないことである。それゆえ、補正係数の計算も時間のかかる反復プロセスである。

本発明は、全体としてＣＭＭ又は類似の計測装置を使用しない組立システムをトレーニングするのに最適な位置に工作物（ワーク、ワークピース）を案内するためのシステム及び方法を提供することによって先行技術の短所を克服する。このシステム及び方法は、工作物がそれぞれのステーションにあるときに工作物の画像特徴を共通座標系において表現する。この能力は実際に工作物を組み立てることなく、それらの組立の結果を視覚化することを可能にする。本明細書ではこれを「仮想組立」と呼ぶ。このシステム及び方法は仮想組立を用いて、それぞれのステーションにおける工作物の配置を案内するのを支援して、組み立てられると組立済み工作物が所望の相互位置関係を持つようにする。１実施形態において、このシステム及び方法は、工作物の案内に使用されるカメラからの画像（工作物の複数の取得された画像から構成されるスティッチ画像であってよい）を用いて合成画像を生成して、ユーザが組立後に部品がどのように見えるか視覚化するのを助ける。ユーザは合成画像が所望の外観を持つまで、それぞれのステーションで工作物の画像を再位置決めできる。別の実施形態において、ユーザは工作物の画像上における特徴の位置を特定して、その特徴情報を共通座標系において表現できる。ユーザは工作物にまたがる特徴間の関係を正確に組み立てられた部品に対して設計された関係と比較し、その結果を使って工作物を最適に組み立てる位置に案内する。第３の実施形態では、上記の実施形態において抽出された特徴を用いて工作物は自動的に最適な位置に再位置決めされる。

例として、画像特徴は較正プロセスを通して多数のステーションから共通座標系にマッピングされ得る。一例を挙げれば、部品を組み立てるために反復可能ピック・アンド・プレース・マニピュレータを使用するシステムで、マニピュレータを使用してターゲットを移動させることにより較正ターゲットは多数のステーションで撮像され得る。ターゲットを工作物のように操作することを可能にする適当な治具が使用されてもよい。このようにすると較正ターゲットは工作物と同じ移動を与えられ、従って工作物特徴の座標は操作の間、ピックステーションからプレースステーションまで工作物の経路と同じ経路を辿る。代替として、マッピングパラメータは組立プロセスの知識に基づいてパラメータを規定することにより手動で計算できる。

好適には、このシステム及び方法は、工作物を単一の組立済み対象物に組み立てる組立システムをトレーニングする目的で、任意の数のステーションからの任意の数の工作物の仮想組立を可能にできる。

例示的な実施形態において、第１の工作物を含む少なくとも１個の第１のステーションを有する組立システムで対象物を仮想的に組み立てるためのシステム及び方法が設けられており、第１の工作物は第２の工作物と互いにアライメントして組み立てられる。１台以上のビジョンシステムカメラ及びビジョンシステムプロセッサアセンブリは、第１の工作物と第２の工作物を撮像するように配置されている。複数のカメラが共通座標系に対して較正される。アライメントプロセスは第１の工作物と第２の工作物の少なくとも１個の画像及び特徴を共通座標系において生成する。操作プロセスは、第１の工作物上の第１のセットの特徴と第２の工作物上の第２のセットの特徴の位置を特定し、第１のセットの特徴を第２のセットの特徴に対して自動的にアライメントするように配置されたビジョンツールを含んでいる。組立誤差計算モジュールは、仮想組立プロセス中の操作プロセスによる第１の工作物と第２の工作物の操作の程度に基づく組立誤差を計算する。例示的に、第２の工作物は、第１のステーションから離れた第２のステーションで撮像される。

実施形態において、ビジョンシステムカメラは少なくとも１個の第３工作物を撮像する。アライメントプロセスは第３の工作物の少なくとも１個の画像及び特徴を共通座標系において生成する。こうして操作プロセスは、第１の工作物と第２の工作物の少なくとも一方を基準にした第３の工作物の仮想組立を可能にするように配置されており、第３の工作物の少なくとも１個の画像及び特徴を第１の工作物と第２の工作物の少なくとも一方の少なくとも１個の画像及び特徴にアライメントする。組立誤差計算モジュールはこれにより、第１の工作物と第２の工作物の少なくとも一方を基準にした第３の工作物の操作の程度に依存する組立誤差を計算する。第１の工作物は第１のステーションでビジョンシステムカメラによって撮像され、第２の工作物と第３の工作物の各々は第２のステーションでビジョンシステムカメラによって撮像される。例示的に、少なくとも１個の第４の工作物が第４のステーションでビジョンシステムカメラによって撮像され得る。従ってこのシステム及び方法は、任意の数のステーションで任意の数の工作物を組み立てる組立システムをトレーニングするために使用できる。

実施形態において、第１の工作物を撮像する少なくとも１台のビジョンシステムカメラと、第２の工作物を撮像する少なくとも１台のビジョンシステムカメラは、その後で個別の（別個の／異なる）座標系にマッピングされる（較正される）。こうして第１の工作物と第２の工作物は、２つの個別の座標系に基づくインタフェースで組み立てられる。実施形態において少なくとも一方のステーションは組立プラットフォームであり、少なくとも他方のステーションはピック位置である。例示的に、組立誤差は少なくとも３自由度において定義され得る。インタフェースは第１の工作物の画像を第２の工作物の画像と手動アライメントするためのディスプレイ及びユーザインタフェースを持つことができる。第１の工作物と第２の工作物の画像の少なくとも一方は、スティッチ画像であってよい。インタフェースは、第１のセットの特徴を第２のセットの特徴に対して自動的にアライメントするビジョンツールを含む全体的な操作プロセス又はプロセッサの一部であることができる。

例示的に、少なくとも１台のビジョンシステムカメラは第１の工作物と第２の工作物の少なくとも一方を撮像する。このビジョンシステムカメラ（又は複数のカメラ）は、組立システムのトレーニング動作及び／又は実行時動作で使用される画像を取得するように構成及び配置されている。このカメラ（又は複数のカメラ）は、アライメントプロセスで使用されるカメラとは別である（含んでいない）。組立プラットフォームはモーションステージを画定でき、組立システムは第２の工作物をピックステーションからモーションステージに動かす反復可能マニピュレータを有することができる。やはり例示的に、第１の工作物と第２の工作物（及び／又は第３の工作物、第４の工作物など）の少なくとも１つが、ビジョンシステムカメラによって撮像される平面を画定する。

例示的に、このシステム及び方法は、（ａ）第１のステーションを撮像する全てのビジョンシステムカメラを第１の座標系に対して較正し、較正されたビジョンシステムカメラの全部又はサブセットが組立システムの実行時動作中に使用するために適合される第１の較正プロセスと、（ｂ）第２のステーションを撮像する全てのビジョンシステムカメラを第２の座標系に対して較正し、較正されたビジョンシステムカメラの全部又はサブセットが組立システムの実行時動作中に使用するために適合される第２の較正プロセスと、（ｃ）第１の座標系と第２の座標系を共通座標系に結合し、第１の座標系と第２の座標系を共通座標系に結合するために較正されたビジョンシステムカメラの異なる個別サブセットを使用する第３の較正プロセスとを含むことができ（ｄ）第１のステーションと第２のステーションの各々でステップ（ａ）とステップ（ｂ）で較正されたビジョンシステムカメラの全部又はサブセットが、（ａ）における第１の較正プロセスと（ｂ）における第２の較正プロセスとステップ（ｃ）における第３の較正プロセスに基づいて確定された共通座標系に基づく仮想組立に使用される。

以下に本発明を添付の図面に基づいて詳細に説明する。

例示的な実施形態に従い、工作物組立システムと接続して使用される模範的なモーションステージに対して配置された、視覚的トレーニングプロセス（プロセッサ）を含むマルチカメラビジョンシステムの図である。

工作物が他の工作物とアライメントされており、工作物を取り出すためのピックステーションに置かれたピック・アンド・プレースマニピュレータを示す、模範的なピック・アンド・プレース組立構成に対して配置された２カメラシステムビジョンシステムの図である。

工作物を互いに相対的アライメントで組み立てるためのプレースステーションに置かれたピック・アンド・プレースマニピュレータを示す、図２の２カメラシステムビジョンシステムと模範的なピック・アンド・プレース組立構成の図である。

グローバル座標系に対して較正するためにピックステーションカメラの視野内に置かれた較正プレートを示す、図２の２カメラシステムビジョンシステムと模範的なピック・アンド・プレース組立構成の図である。

グローバル座標系に対して較正するためにプレースステーションカメラの視野内に置かれた較正プレートを示す、図２の２カメラシステムビジョンシステムと模範的なピック・アンド・プレース組立構成の図である。

組立システム内の多数のカメラを共通座標系に対して較正するための手順のフローチャートである。

各ステーションで工作物のスティッチ画像を生成し、及びスティッチ画像を使用して合成画像を生成するための手順のフローチャートである。

第１のステーションで第１の工作物上の４個の模範的な十字マーク（基準）を有する第１のスティッチ画像を生成する４カメラシステムを示す図である。

第２のステーションで第２の工作物上の４個の模範的な十字マーク（基準）を有する第２のスティッチ画像を生成する４カメラシステムを示す図である。

それぞれの基準に対して中心がずれている図８の第１のスティッチ画像と図９の第２のスティッチ画像との合成画像を示す図である。

それぞれの基準に対して中心が合っている図８の第１のスティッチ画像と図９の第２のスティッチ画像との合成画像を示す図である。

マルチカメラ（例えば４カメラ）構成がプラットフォーム上に置かれた工作物のエッジを撮像する、ユーザから見たグラフィカル・ユーザ・インターフェース（ＧＵＩ）ディスプレイの図である。

マルチカメラ（例えば４カメラ）構成がモーションステージ上に置かれた工作物のエッジを撮像する、ユーザから見たグラフィカル・ユーザ・インターフェース（ＧＵＩ）ディスプレイの図である。

ＧＵＩディスプレイが、マルチカメラ構成において工作物が中心のずれた組立をもたらす位置に置かれたときに合成画像内の領域である４個の画像を表示する、ユーザから見たグラフィカル・ユーザ・インターフェース（ＧＵＩ）ディスプレイの図である。

ＧＵＩディスプレイが、マルチカメラ構成において工作物が中心の合った組立をもたらす位置に置かれたときに合成画像内の領域である４個の画像を表示する、ユーザから見たグラフィカル・ユーザ・インターフェース（ＧＵＩ）ディスプレイの図である。

仮想組立を用いた工作物の視覚的アライメントに基づいて組立システムをトレーニングするための手順のフローチャートである。

特徴の関係を用いた工作物の仮想組立のための手順のフローチャートである。

図１は、第１の工作物１１２を少なくとも３自由度（例えばＸｓ、Ｙｓ及びΘｚｓ）で可動に支持するモーションステージ１１０を使用する組立システム１００を示す。工作物１１２は概して平面的（即ち平ら）であり、少なくともその一部はステージ１１０のｚ軸Ｚｓに沿った特定の高さに平面で置かれている。ステージは「アセンブリステーション」として定義されることができ、複数のカメラ１３０によって撮像され、各々のカメラは第１の工作物１１２が占める全領域の一部分である視野を撮像する。カメラ１３０及びそれらの機能について以下に詳しく述べる。

この配置構成１００において、ピック・アンド・プレース機構又は「マニピュレータ」１２０は選択的に第２の（平面的）工作物１２２と係合して起点（この例では図示しない）と図示された第１の工作物１１２の上方位置の間を搬送する。この配置構成の目的のために、「ピック位置」又は「ピックステーション」は、第２の工作物１２２が図１に示す異なる高さで（即ち第１の工作物の上方で）撮像される位置である。別の実施形態（例えば以下の図２〜図５に示す）において、ピック位置／ステーションは離れた起点に位置しており、そこでマニピュレータ（例えば反復可能ピック・アンド・プレース機構）は工作物を起点から引き取って第１の工作物に組み付ける。この例における組立タスクは、外側エッジ１２６、１１８を持つ第２の工作物１２２を、第１の工作物上１１２の対応する内側エッジ１１６、１１８に囲まれた凹部１１４内に正確に配置することを含む。マニピュレータ１２０は多自由度であり−例えば軸Ｘｍ、Ｙｍ及びＺｍに沿って動き、各軸を中心として回転する（例えば軸Ｚｍを中心としたΘｚｍ）。この配置構成１００におけるカメラ１３０はそれぞれ第１の工作物１１２の上面とは異なる高さ（ｚ軸）にある第２工作物１２２の上面を撮像する。

カメラ１３０はそれぞれビジョンシステムプロセッサ１４０と作動的に結合されており、ビジョンシステムプロセッサ１４０はカスタムビジョンプロセッサ回路として全体又は一部をカメラハウジング内に組み入れることができ、又はＰＣ、ラップトップ、タブレット、スマートフォン、又は同種のものを含むがこれに限らない相互接続された遠隔計算装置１５０内に設けることができる。１台以上のカメラを使用する組立システムにおいて、各カメラは取得した画像か、又はその画像から抽出した情報を中央プロセッサに送るように適合されていることに留意されたい。中央プロセッサは次に種々のカメラからの情報を組立中に統合する。遠隔計算装置が使用される場合、そのような計算装置１５０はディスプレイ及び付属のグラフィカル・ユーザ・インターフェース（ＧＵＩ）動作装置、例えばキーボード、マウス及び／又はタッチスクリーンを含むことができる。ビジョンプロセッサ１４０は、種々のビジョンツール１４２、などのエッジファインダ、ブロブ解析器、検索ツール、キャリパツールなどを含む多様なビジョンシステムプロセス（又はエレメント／モジュール）を実行する。例示的に、ビジョンプロセッサ１４０は、２個の工作物からの画像データのアライメントを以下に述べる方法で行うアライメントプロセス（プロセッサ）を含む。較正プロセス（プロセッサ）１４６は、例えば以下に述べる較正プレート及びハンドアイ較正手順を用いて２個の部品の画像から抽出された画像特徴を共通（又は運動）座標系にマッピングするのを容易にする。例示的に、トレーニングプロセス（プロセッサ）１４８は、工作物を再位置決めして第２の工作物を第１の工作物に対して正確に組み立てるために本明細書で想定されている種々のトレーニング手順を実行する。ビジョンプロセッサ１４０は、複数の相互接続されたカメラプロセッサ（又は他の装置）、又は単一のカメラアセンブリ（又は遠隔計算装置）内の中央プロセッサとして設置できることに留意されたい。

非制限的な例として、２０１５年６月８日に出願され本発明の譲受人に譲渡された米国特許仮出願第６２／２０１，７２３号「案内された組立環境においてマシンビジョン座標空間を結合するためのシステム及び方法」を参照する。この参照により有益な背景情報として本明細書に援用する出願は、遠隔位置間における共通座標系の確定に関する。より具体的には、この援用された出願は、較正ターゲットをマニピュレータ（及び付属のグリッパ）によりピック位置とプレース位置との間を移動させることから生じる問題に対処するために、較正時に実行時工作物の特徴を用いて２つの位置における座標空間を結合する較正のためのシステム及び方法を提供する。このシステム及び方法は少なくとも３種類のシナリオ／技術を提供する。１つは、両方の位置で同じ特徴が撮像及び特定され得る。１つは、実行時工作物の撮像された特徴は各位置で異なる（工作物のＣＡＤ又は測定による表現が可能）。１つは、モーションステージを含む第１の位置がハンドアイ較正を用いてモーションステージに対して較正されており、第２の位置が実行時部品を両位置の間で往復移動させることにより同じモーションステージに対してハンドアイ較正されている。例示的に最初の２つの技術の品質は、多数の実行時工作物をそれぞれ異なる姿勢で実行し、特徴を抽出し、そのような特徴を各位置で蓄積し、次いで蓄積された特徴を用いて座標空間を結合することによって改善され得る。より一般的には、このシステム及び方法は２つの位置を独立に較正して、組立中に移動するように構成及び配置／適合されたマニピュレータで工作物を移動させ、較正プレートの特徴を使用する代わりに当該工作物の特徴を使用することによって２つの位置に対する座標空間を結合する。

援用された出願の例示的な実施形態では、第１の位置にある第１の工作物がマニピュレータに移動される環境においてビジョンシステムを較正するためのシステム及び方法が提供される。動作は第１の工作物に対して行われるが、これは第１の位置と第２の位置の座標空間を結合することに依拠している。少なくとも１台のビジョンシステムカメラは、第１の工作物が第１の位置に位置決めされたときに撮像し、第１の工作物が第２の位置に位置決めされたときに撮像するように配置されている。少なくとも１台のビジョンシステムカメラが第１の位置に対して較正されて、第１の座標空間を定義する第１の較正データを導き出し、少なくとも１台のビジョンシステムカメラ（潜在的に同じカメラ）が第２の位置に対して較正されて、第２の座標空間を定義する第２の較正データを導き出す。少なくとも第１の工作物の特徴は、第１の位置で第１の工作物の第１の画像から特定される。第１の画像で特定された特徴に基づいて第１の工作物は第１の座標空間を基準にして第１の位置に対して相対的に配置される。第１の工作物はマニピュレータで少なくとも１回掴まれて第２の位置における所定のマニピュレータ位置に動かされ、第２の位置で第１の工作物の第２の画像が取得される。第２の画像で特定された特徴に基づいて第１の工作物は第２の座標空間を基準にして第２の位置に対して相対的に配置される。第１の座標空間と第２の座標空間はこれにより互いに結合される。例示的に、第１の画像で特定された特徴は、第２の画像で特定された特徴と同じである。このシステム及び方法は、（ａ）第１の画像で特定された特徴の位置を第１の較正データを基準にしてマッピングすること、（ｂ）第２の画像で特定された特徴の位置を第２の較正データを基準にしてマッピングすること、及び（ｃ）第２の位置でマッピングされた特徴を第１の位置でマッピングされた特徴にマッピングする変換を計算することを含む。代替として、第１の画像で特定された特徴の一部が第２の画像で特定された特徴と異なる場合、このシステム及び方法は、（ａ）第１の画像で特定された特徴の位置を第１の較正データを基準にしてマッピングすること、（ｂ）第１の工作物の特徴位置の保存された仕様に対して相対的に変換を計算すること、（ｃ）第２の画像で特定された特徴の位置を第２の較正データを基準にしてマッピングすること、（ｄ）ステップ（ｂ）で計算された変換を用いて、工作物が第１の位置に配置されているとき第２の画像から特定された特徴の第１の座標空間における位置を導き出すこと、及び（ｅ）第２の位置でマッピングされた特徴を第１の位置でマッピングされた特徴にマッピングする変換を計算することを含む。第１の工作物の仕様は第１の工作物のＣＡＤモデル又は第１の工作物の測定されたモデル（例えばＣＭＭ生成測定）に基づくことができる。例示的に、このシステム及び方法は（ａ）第１の工作物を第１の位置か又は第２の位置でモーションレンダリング装置によって複数の異なる姿勢に動かすこと、（ｂ）第１の位置と第２の位置の各々で各姿勢の特徴を特定すること、及び（ｃ）精度を高めるために特定された特徴情報を蓄積することを含むことができ、第１の工作物は同じ工作物であるか、又は複数の個別の工作物の１つである。種々の実施形態において、このシステム及び方法は第１の位置で画像座標系から較正座標系にマッピングすることを含み、この場合にマッピングは単一である。実施形態において、第２の位置は第２の工作物を持ち、その中に第１の工作物が入れられて第２の工作物と所望のアライメントで係合し、及び／又は第２の工作物は第１の工作物を更に処理するための部品、容器又は骨組みであることができる。更に種々の実施形態において、動作は他の対象物を基準としたアライメント動作、第１の工作物上の印刷動作、及び第１の工作物上の適用動作の少なくとも１つであってよく、動作は少なくとも一部は第１の位置と第２の位置から離れた位置で実行できる。

モーションステージ１１０は、ビジョンプロセッサに関する運動情報を伝達するモーションコントローラ及び／又は制御プロセッサ１６０を含む。これによりステージ１１０の位置が正確に知られ、及び／又はビジョンプロセッサによって追跡され得る。ステージ１１０によって種々のエンコーダ及び他の検出装置を使用して運動情報を生成できる。マニピュレータ１２０に関連した運動情報１７２をビジョンプロセッサ１４０に送るためにモーションコントローラ１７０を設けることもできる。

以下に述べるように、仮想組立によりユーザはカメラとカメラにより（ビジョンシステムを通して）与えられる画像とを使って工作物を仮想的に組み立てることが可能になる。そのような仮想組立プロセスにおいて、ユーザは操作プロセス（プロセッサ）を用いて組立誤差情報を得る。組立誤差情報は後で物理的組立機構の動きを調整する動作に使用することができ、それに従い物理的組立機構は典型的に（通常は）反復可能な一連の物理的組立ステップを実行するが、これは組立誤差補正によって修正される。例示的な実施形態において、仮想組立から導き出されたデータに基づき適当な調節を適用することによって組立誤差を最小化するためにモーションステージが使用される。代替として他のモーションデバイスが組立誤差補正／調節を提供できる。

組立システムは典型的に極めて反復可能な機構として構成されているが（又は他の方法では非反復的であり）、実行時に運動のバリエーションをプログラミング又はインプットできる組立システムは本明細書で図示及び説明された仮想組立及び仮想組立手順を用いてトレーニングできることが明確に想定されている。

本明細書において種々の実施形態で表現された物理的工作物組立構成は、モーションステージの種々の領域を撮像する任意の数のカメラ（例えば１個又は４個）を含むことにも留意されたい。仮想組立で使用される各ステーションのカメラの数は、代替構成において極めて可変的である。同様に、全体システム内のステーションの数は極めて可変的である。この実施形態では２個の工作物をそれぞれ異なる高さに有する単一のステーションが撮像される。以下の図２〜図４の実施形態で更に述べるように、１台以上のカメラがそれぞれ２つの個別のワークステーション、即ちピックワークステーションとプレースワークステーションを撮像するように位置決めされている。これらのカメラの各々は共通座標系に対して較正されている。

別の実施形態に従い、全体的な仮想組立及び仮想組立構成において１台以上のカメラが付属した３つ以上のステーションが設けられてよいことも明確に想定されている。例えば、追加ピックステーション又は中間組立ステーションを設けることができる。仮想組立で用いられる全てのカメラは共通座標系（モーションステージ又は他の座標系に基づいて確定）に対して較正され、各ステーションのカメラからの画像は本明細書で述べる仮想組立及び仮想組立プロセスの一部であってよい。

図２は、実施形態に従うシステム及び方法を使用できるモーションステージ２１０とピック・アンド・プレース（マニピュレータ）機構２２０の代替配置構成２００を具体的に図解している。ピックステーション２２２は第２の工作物２２４を含んでおり、これはマニピュレータ２２０によって選択的にピックアップされ（矢印２５０）、レール２２５に沿って（矢印２５２）モーションステージ２１０に向けられる。モーションステージ２１０は、この実施形態ではプレースステーションを画定する。第１の工作物２１２は、組立中に第２の工作物２２４を互いの適当なアライメントにおいて受容するように適合されており、これは上に概述した通りである。ステージ２１０は２度以上の自由度（例えば軸Ｘｓ、Ｙｓ、回転Θｚｓ）で動き、軸Ｚｓに沿った高さに位置している。マニピュレータ２２０は少なくとも１つの軸Ｙｍに沿って、且つ軸Ｚｍのピック／プレース方向に動く。軸Ｚｍを中心とする回転Θｚｍも想定されている。ステージ２１０とマニピュレータ２２０の運動を組み合わせれば、図３に示すプレース動作（矢印３５０）中に第２の工作物２２４を第１の工作物２１２に対してアライメントするのに十分である。

この配置構成２００では、少なくとも１台のカメラ２４０、２４２がそれぞれ各ステーション（２１０、２２２）を撮像する。カメラ２４０、２４２は、上述したように配置されたビジョンプロセス（プロセッサ）２６０と相互接続されている。一方又は両方のステーションは追加のカメラ２４４（ステージ２１０に仮想線で示す）を含むことができる。ビジョンプロセス（プロセッサ）２６０も、上述した方式で運動情報を提供するステージモーションコントローラ２７０及びマニピュレータモーションコントローラ２８０と作動的に接続されている。

ここで、２台のカメラからの特徴を共通座標系にマッピングする自動化された技術を示す図４と図５を参照する。この技術は、ピックステーション、カメラ２４２及びプレースステーションカメラそれぞれの較正と、複数のステーションにおける多数のカメラアセンブリの較正のための手順６００を含む。最初に、手順６００は（ステップ６１０で）ステージ２１０上のカメラ２４０、２４４（又は図１のステージ１１０上のカメラ１３０）のハンドアイ較正を実行して、全てのカメラが共通座標系又は運動座標系を定義する。

本明細書で用いる「全ての」カメラという言葉は、仮想組立においてシステムによって使用される全てのカメラを指すことに留意されたい。ビジョンシステム（又は他のプロセス）で使用される一部のカメラはタスクから除外され得ることが明確に想定されている。各ステーションから少なくとも１台のカメラが共通座標系に対して較正されて、トレーニングプロセスで使用される画像を生成することが主として想定されている。

若干の較正原理を一般的に理解するための別の背景情報として、較正ターゲット又は「プレート」などの剛体に対して、運動は１対の姿勢、即ち運動直前の開始姿勢と運動直後の終了姿勢によって特徴付けることができる。本明細書で「姿勢」は、ある基本的な座標系において特定の瞬間における体の状態を表す数値のセットによって定義される（体の仮想的特徴付け）。例えば、２次元において剛体は３個の数字、即ちＸ方向の並進、Ｙ方向の並進、及び回転Ｒによって特徴付けることができる。カメラと較正プレートとの間に相対的運動がある場合、較正プレートとの関連における姿勢は較正プレートがカメラに対してどのように存在するかを表す。典型的には標準的ないわゆる「ハンドアイ較正」において、較正プレートはカメラに対して多数の異なる姿勢で存在し、各カメラはそのような各姿勢において較正プレートの画像を取得する。ビジョンシステムのハンドアイ較正のために、較正プレートは典型的に複数の所定の姿勢に動かされ、そこでカメラはプレートのそれぞれの画像を取得する。そのようなハンドアイ較正の目標はカメラと較正プレートの剛体姿勢を「運動座標系」において決定することである。運動座標系は多様な方法で定義され得る。姿勢の数字（較正プレート及び／又はカメラが空間内のどこに位置するかを表す）は適当な座標系において解釈されなければならない。ひとたび単一の共通座標系が選択されたら、姿勢及び運動は共通／グローバル座標系において記述／解釈される。この選択された座標系はしばしば「運動座標系」と呼ばれる。典型的に「運動」は物理的運動を付与できるロボットアームなどの物理的装置、又はガントリーなどのモーションステージによって与えられる。プレートが１以上の定置カメラに対して相対的に動けるか、又はカメラが定置プレートに対して相対的に動けることに留意されたい。そのような運動付与装置のコントローラは装置に所望の運動を付与するように命令するために数値（即ち姿勢）を使用し、それらの値は当該装置に対するネイティブ座標系において解釈される。運動付与装置及びカメラに対して共通のグローバル座標系を与えるために任意の運動座標系を選択できるが、運動付与装置のネイティブ座標系を全体的な運動座標系として選択することがしばしば望ましいことに留意されたい。

こうしてハンドアイ較正は、運動を付与し（較正プレートを動かすか又はカメラを動かし）、当該運動の前と後に画像を取得してそのような運動が動いている対象物に及ぼす効果を決定することにより、システムを単一の運動座標系に対して較正する。

再び図４〜図６を参照すると、手順６００における次のステップ６２０は、較正ターゲット／プレート４１０をステーションの１つ、例えばピックステーション２２２）に配置する（又は更にマニピュレータ１２０で保持する）ことを伴い、この位置でカメラ２４２はターゲット４１０の１以上の画像を取得する。この情報はビジョンプロセス（プロセッサ）２６０（又は１４０）に保存される。次にステップ６３０でターゲット４１０は他のステーション（即ちモーションステージ２１０（又は１１０）に移動される。ステップ６４０においてターゲット４１０の１個以上の画像がステージでカメラ２４０、２４４（又は１３０）によって取得される。次に手順６００のステップ６５０で、全てのカメラのピクセル位置２４０、２４２、２４４（又は１３０）が、ステップ６４０の画像を用いてターゲット４１０で見出されるエッジに基づき較正ターゲット座標にマッピングされる。次にステップ６６０で、較正プレート座標のモーションステージ座標系へのマッピングが、ステップ６４０で取得したステージにおける較正ターゲットの画像を用いて計算される。ステップ６７０ではプラットフォームにおけるカメラのピクセルの位置がモーションステージ２１０（又は１１０）の座標系にマッピングされる。

６１０、６６０及び６７０は随意であることに留意すべきである。本発明の目的のために、６５０で止まってもよい。なぜならこの段階で組立システムの全カメラからのピクセルを較正プレート座標系にマッピングする能力を獲得しているだろうからである。６６０及び６７０を実行する利点は、合成画像の生成を助けることにある。合成画像のＸ軸とＹ軸はモーションステージのＸ軸とＹ軸にほぼアライメントされており、モータを制御することにより合成画像の操作を容易にできる。

カメラのピクセル位置を共通座標系にマッピングしたら、ビジョンシステムはこの情報でトレーニングモードに入り、工作物の画像を互いに仮想的にアライメントするために使用され得る。

ここで図７を参照すれば、各ステーションでスティッチ画像と合成画像を生成するため手順７００を示している。ステップ７１０で、手順７００は上で決定された共通座標系において各ステーションから各カメラによって撮像された領域を計算する。ステップ７２０で、全領域を包含する境界ボックスが計算される。ステップ７３０で手順７００は各ステーションに１個ずつ、計２個のスティッチ画像を作成する。例示的にスティッチ画像の高さと幅はそれぞれ同じであり、ユーザ定義できる。

本明細書で用いる「スティッチ画像」又は「スティッチング」は、２個以上の元画像を１個の合成結果画像に結合するプロセスを指す。このプロセスはカメラ視野が小さすぎて所望の場面を把捉できない場合や、多重画像が求められる場合に有用である。当業者にはスティッチ画像を生成するために種々の技術が利用可能である。例えばビジョンシステムはスティッチングツール、例えば米国マサチューセッツ州ネイティック市のコグネックス株式会社から出ているコグネックス・イメージ・スティッチング・ツールを含んでよい。このツールは全元画像と結果画像に共通の計算空間で動作する。各元画像はその画像をこの共通空間にマッピングするユニークな較正変換を含んでいる。概念的にはイメージ・スティッチング・ツールは結果を共通空間において形成し、その結果生じるスティッチ画像は、共通空間の結果をスティッチ画像にマッピングする変換を含む。そのようなスティッチ画像は「合成画像」の基礎をなすことができ、本明細書で合成画像は、異なる画像からの特徴を結合して単一の画像を生成する合成プロセスの結果として定義される。合成画像は仮想組立システムのＧＵＩによって得られるので、ユーザ又は自動化されたプロセスは工作物を操作して（ｓ）ｔｏ生成するａ仮想組立工作物のシステムをトレーニングするために使用される。

図８の例では、４個の基準／特徴（この例では十字８１０）を含む第１の工作物８００が第１のステーションでて破線ボックス８２０で示された視野を有する４台の模範的カメラによって撮像される。カメラを共通座標系（Ｘ１、Ｙ１）に物理的にアライメントすることが重視されなかったため、スティッチ画像において４台のカメラの各々の視野８２０は任意の向きを有することに留意されたい。同様に図９の例では、４個の基準／特徴（この例では十字９１０）を含む第２の工作物９００が第２のステーションで破線ボックス９２０で示された視野を有する４台の模範的カメラによって撮像される。カメラを共通座標系（Ｘ１、Ｙ１）に物理的にアライメントすることが重視されなかったため、スティッチ画像において４台のカメラの各々の視野９２０は任意の向きを有することに留意されたい。

手順７００において、変換はステップ７４０でスティッチ画像のコーナを境界ボックスのコーナにマッピングする。次に手順７００はステップ７５０で、各ステーションに対して変換を用いて。各カメラからの画像ピクセルを対応するスティッチ画像にマッピングする。次にステップ７６０で、手順はステップ７５０からのスティッチ画像を、例えば２個の画像を平均化することによって合成して、結果として生じる合成画像を生成する。合成画像は仮想組立を表し、アセンブリの品質を推測するために使用できる。これらのステップは較正（図６）に続いてスティッチ画像と合成画像を生成するための多様な手順及び技術の範例であることに留意されたい。これらの手順は典型的に画像内の特徴位置を共通座標系にマッピングする能力を使用する。

図１０は、２つのステーショからのスティッチ画像の平均化することによって生成された合成画像で向きがアライメントされていない工作物８００及び９００の模範的な図を示している。それぞれの基準８１０及び９１０は互いに中心がずれていることに留意されたい。逆に、図１１に示すようにアライメントされている場合、合成画像は類似のサイズのスティッチ画像の基準が互いに一致しているアライメントされた工作物を表現する。

図１２〜図１５に、類似の表現を有するグラフィカル・ユーザ・インターフェース（ＧＵＩ）ディスプレイが示されている。図１２では４カメラ構成が（例えば）ピックプラットフォームに置かれた第１の工作物の４個の画像１２１０、１２２０、１２３０及び１２４０をそれぞれ生成する。それぞれのカメラをプラットフォームと工作物に対して相対的に物理的に配置したことにより、工作物のそれぞれのエッジ１２１２、１２２２、１２３２及び１２４２は各画像で異なってスケーリングされていることに留意されたい。図１３はユーザから見たＧＵＩディスプレイであり、ここでは４カメラ構成が（例えば）モーションステージに置かれた第２の工作物の４個の画像１３１０、１３２０、１３３０及び１３４０をそれぞれ生成する。ここでもカメラの位置決めに基づいてそれぞれのエッジ１３１２、１３２２、１３３２及び１３４２は異なってスケーリングされている。

図１４には、工作物が中心のずれた組立をもたらす位置にあるときに４個の画像１４１０、１４２０、１４３０及び１４４０が合成画像内部の領域であるＧＵＩディスプレイが示されている。各画像のエッジは歪んでいることに留意されたい。逆に図１５では、４個の表示された画像１５１０、１５２０、１５３０及び１５４０は、工作物が中心の合った組立をもたらす位置にあるときに合成画像内の領域である。各画像でエッジがオーバーラップしていることに留意されたい。

表現されたＧＵＩが４台のカメラに対応して４個の画像を含む一方で、ステーション／場面を撮像するカメラの与えられた数と相対的により少ない画像を表示できることが明確に想定されていることに留意されたい。例えば、冗長な及び／又はあまり有用でない／無用な画像情報が提供される場合は若干の画像を省略できる。こうしてペインを見る表現されたディスプレイにおいて２個又は３個の画像を含む合成画像を設けることができる。各工作物に関する十分な特徴情報がディスプレイの合成画像で提示されてユーザ（又は自動化されたプロセス）がそれらの工作物を仮想組立プロセスでアライメントできるようにすることが主として想定されている。

上述したスティッチ画像と合成画像を生成するために多様な技術を使用できることが明確に想定されている。一般に、そのような技術は各画像からピクセルを共通座標系にマッピングする能力を用いる。更に、上に示した合成画像はスティッチ画像を平均化する。合成画像は代替表現によって定義されることができ、従って他の技術を用いて生成され得る。各ステーションで１台のカメラを使用する組立システムに対してスティッチ手順は省略でき、画像の合成は直接プロセスによって実行される。特に、スティッチ手順は１つのステーションにおける多数のカメラからの画像を使用して、当該ステーションにある工作物に対する単一の画像を作成する。種々の実施形態においてスティッチング動作と合成動作は単一のビジョンタスクとして結合できる。

一般に、このシステム及び方法は、工作物がそれぞれのステーションにあるときに工作物の特徴は共通（グローバル又は運動）座標系において表現されるという事実を利用する。トレーニング中に工作物を所望の向き（例えばｘ及びｙ並進とΘ回転によって定義される「姿勢」）に置くのを助けるためにフィードバックが提供される少なくとも３種類の技術がある。

１．視覚的アライメント

この技術は、共通座標系内で視野がオーバーラップしている組立システムに使用できる（例えば図１の配置構成１００）。スティッチ画像は各ステーションで当該ステーションの全てのカメラを使用して生成される。スティッチ画像は与えられたカメラのどのピクセルに対しても共通座標系における位置が知られているから生成できる。ひとたびスティッチ画像が生成されたら、２つのステーションでスティッチ画像を合成するプロセス（例えばスティッチ画像の平均化）によって合成画像が生成される。これが可能であるのも、どのステーションのどのピクセルも共通座標系において表現できるからである。これは実際には２個の工作物を仮想的に組み立て、組立済み部品がどのように見えるかをユーザが容易に視覚化できるようにする。即ち、ユーザはそれぞれの工作物（例えばモーションステージ上の工作物）の２個の画像の少なくとも一方を、手動又はグラフィカル・ユーザ・インターフェース（ＧＵＩ）によって提供される操作装置を用いて移動及び回転させる。操作装置はマウス、タッチスクリーン及び／又はデータ入力ボックスを含んでよい。ユーザは、工作物が適当にアライメントされて組み立てられた対象物が所望の形態と相応の外観を呈するようになるまで、移動／回転プロセスを継続する。その結果生じる２個の工作物を含む対象物は、こうして「仮想的に」組み立てられる。仮想組立の間、ユーザは合成画像上の幾つかの目立った特徴を拡大して、所望のアセンブリが達成されるまでステーションでモーションステージを動かすことができる。ひとたびこれが行なわれたら、ユーザは組立システムをトレーニングすることができる。図１６の手順１６００を参照すると、要約するとユーザによる視覚的アライメントは次のことを伴う：合成された画像を見てアセンブリの品質を評価すること（ステップ１６１０）；合成画像が所望の外観を定義するまで一方又は両方のステーションにある工作物の位置を調整すること（ステップ１６２０）；そして調整された合成画像の所望の視覚的外観を用いて工作物組立システムをトレーニングすること（ステップ１６３０）。

２．工作物上の特徴関係を計算することによるアライメント

この技術は、共通座標系で視野がオーバーラップする又はオーバーラップしない組立システムに使用できる。この技術においてユーザは各工作物上の少なくとも１個の特徴の位置を特定するビジョンツールを用いて、共通座標系におけるそれらの特徴間の幾何学的関係を計算できる。例えば、工作物は上述した基準を含むことができ、そのような基準の位置と向きを特定するために基準ファインダを使用できる。次にユーザは、仮想的に組み立てられた部品における特徴間の幾何学的関係が、組立済み部品に対する設計文書に記載された関係と一致するまで１個以上の工作物を再位置決めできる。そのような運動は、ピック位置とプレース位置の少なくとも一方で工作物を手動で再位置決めするか、又はモーションステージを制御することによって達成できる。模範的な実施形態において、ユーザは１個の工作物上で２点特徴の位置を特定し、第２の工作物上で３点特徴の位置を特定できる。仮想組立システムは、各工作物上の１個の特徴を対として扱い、それらの特徴間の距離を測定してユーザにフィードバックするように設計されている。ユーザは、特徴間の距離が正確に組み立てられた部品における距離と等しくなるまで工作物を再位置決めできる。

次に、図１７の手順１７００を参照する。ステップ１７１０で、ユーザは第１の工作物上の特徴の位置を特定できる特徴ファインダを作成して、ユーザが見出す位置を共通座標系に表す。ステップ１７２０で、ユーザは第２の工作物上の特徴の位置を特定できる特徴ファインダを作成して、それらのファインダが見出す位置を共通座標系に表す。ユーザはこれをビジョンプロセス（プロセッサ）及び付属のＧＵＩにおいてビジョンツールを用いて行う。次にステップ１７３０で、特徴セット間の関係が所望の設計関係と一致するまで、ユーザは一方又は両方のステーションにおける工作物の位置を調整する。使用する特徴ファインダは、何らかの画像（元画像、スティッチ画像又は合成画像）上の特徴の位置を特定するように設計されてよい。より一般的に、ユーザはステップ１７４０に示されている通り組立システムをトレーニングする。

３．自動化されたガイダンス

代替的又は追加的に、工作物をトレーニングするための所望の位置に案内するために自動化されたガイダンスを使用できる。上の例で、組立後に点対の所望の距離を入力するかユーザに尋ねることができる。ひとたびユーザが補正値を入力したら、仮想的に組み立てられた部品において所望の幾何学的関係が達成されるまで、組立システムは運動機構（例えばマニピュレータ、モーションステージなど）を動かすことによって部品を動かすことができる。これは特に、誤差補正係数をステージの直線駆動モータに登録された運動に変換する適当なインタフェースを用いて達成できる。例えばＸＸＹステージの場合、Ｘ及びＹ入力は直交軸に沿って変換し、差動ＸＹ入力はＺ軸を中心とした回転を生成する（３自由度の運動を可能にする）。ひとたびシステムによって最終組立形態が決定されたら、誤差補正値は仮想組立システムから直接インタフェースによって送ることができる。

一般に上記のトレーニング技術のいずれかを用いてマッピングされた運動誤差補正値のセットを生成し、モーションステージ、マニピュレータ又は両方のモーションコントローラのために保存する。これらの値は、運動を修正するために使用され、工作物は組立システムの反復可能エレメントにより適切にアライメントされる。

別の実施形態において、任意の数のステーションで任意の数の工作物を組み立てるように適合され得ることが明確に想定されている。例えば仮想組立システムは、模範的な工作物ＷＡ、ＷＢ１、ＷＢ２、ＷＣを単一の組立済み対象物に組み立てる物理的システムと接続して使用できる。この場合、ＷＡはステーションＡで撮像され、ＷＢ１及びＷＢ２はステーションＢで撮像され、ＷＣはステーションＣで撮像される。ユーザは仮想的に全ての工作物を完成した組立済み対象物に組み立てることができ、物理的システムをトレーニングするために各組立ステーション／ステージにおける組立誤差が計算される。

別の実施形態では、仮想組立のためにビジョンシステムカメラのグループを設けることができ、各グループは各ステーションから少なくとも１台のカメラを含み、全てのカメラは共通座標系にマッピングされる。最初のグループ分けに続いて、グループは別個に較正されて各グループは特徴を異なる個別の座標系にマッピングする。次にこれらのグループからの画像を用いて対象物全体の仮想組立を行う。更に、仮想組立に使用するビジョンシステムカメラのセットは、トレーニングに使用され物理的組立システムを実行するカメラのセットと同じか、又は同じでなくてもよい。

上述したシステム及び方法により、ユーザは組立システムにおいてより簡単に運動誤差を考慮でき、工作物の物理的運動を使用する際に試行錯誤が回避されることが明らかなはずである。このシステム及び方法は、セットアップとトレーニングプロセスに追加の時間と費用を要するＣＭＭ若しくは類似の計測装置の使用を無用にする。

以上、本発明の例示的な実施形態を詳細に説明した。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば本明細書中で使用される「プロセス」及び／又は「プロセッサ」という言葉は広く解釈して、電子ハードウェア及び／又はソフトウェアをベースとする多様な機能及びコンポーネントント（代替として機能的「モジュール」又は「エレメント」と呼ぶことがある）を含むものとする。さらに、図示されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び／又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組合せを用いて実施できることが明確に想定されている。更に、本明細書で使用される様々な方向及び／又は向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」およびこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。従ってこの記述は例示としてのみ受け取られるべきであり、本発明の範囲を別途制限することを意味するものではない。

Claims (19)

1. 第１の工作物を含む少なくとも１個の第１のステーションを有する組立システムで対象物を仮想的に組み立てるためのシステムであって、当該組立システムは第１の工作物と第２の工作物を互いにアライメントして組み立てるものにおいて、当該システムは、
   第１の工作物と第２の工作物を撮像するように配置された１台以上のビジョンシステムカメラとビジョンシステムプロセッサアセンブリと、ここで複数のカメラが共通座標系。に対して較正されており；
   第１の工作物と第２の工作物の少なくとも１個の画像及び特徴を共通座標系において生成するアライメントプロセスと；
   第１の工作物上の第１のセットの特徴と第２の工作物上の第２のセットの特徴の位置を特定し、第１のセットの特徴を第２のセットの特徴に対して自動的にアライメントして、第１の工作物と第２の工作物の少なくとも１個の画像及び特徴をアライメントするビジョンツールを有する操作プロセスと；
   仮想組立プロセス中の操作プロセスによる第１の工作物と第２の工作物の操作の程度に基づく組立誤差を計算する組立誤差計算モジュールと、を含むシステム。
2. 第２の工作物は第１のステーションから離れた第２のステーションで撮像される、請求項１に記載のシステム。
3. 更に、少なくとも１個の第３の工作物と、第３の工作物を撮像するビジョンシステムカメラと、第３の工作物の少なくとも１個の画像及び特徴を共通座標系において生成するアライメントプロセスと、第１の工作物と第２の工作物の少なくとも一方を基準にした第３の工作物の操作を可能にして第３の工作物の少なくとも１個の画像及び特徴を第１の工作物と第２の工作物の少なくとも一方の少なくとも１個の画像及び特徴にアライメントするように配置された操作プロセスとを含み、組立誤差計算モジュールは第１の工作物と第２の工作物の少なくとも一方を基準にした第３の工作物の操作の程度に基づく組立誤差を計算する、請求項２に記載のシステム。
4. 第１の工作物は第１のステーションでビジョンシステムカメラによって撮像され、第２の工作物と第３の工作物の各々は第２のステーションでビジョンシステムカメラによって撮像される、請求項３に記載のシステム。
5. 更に、第４のステーションでビジョンシステムカメラによって撮像される少なくとも１個の第４の工作物を含む、請求項４に記載のシステム。
6. 更に、
   （ａ）第１のステーションを撮像する全てのビジョンシステムカメラを第１の座標系。に対して較正し、較正されたビジョンシステムカメラの全部又はサブセットが組立システムの実行時動作中に使用するために適合される第１の較正プロセスと、
   （ｂ）第２のステーションを撮像する全てのビジョンシステムカメラを第２の座標系。に対して較正し、較正されたビジョンシステムカメラの全部又はサブセットが組立システムの実行時動作中に使用するために適合される第２の較正プロセスと、
   （ｃ）第１の座標系と第２の座標系を共通座標系に結合し、第１の座標系と第２の座標系を共通座標系に結合するために較正されたビジョンシステムカメラの異なる個別サブセットを使用する第３の較正プロセスとを含み、
   （ｄ）第１のステーションと第２のステーションの各々でステップ（ａ）とステップ（ｂ）で較正されたビジョンシステムカメラの全部又はサブセットが、ステップ（ａ）における第１の較正プロセスとステップ（ｂ）における第２の較正プロセスとステップ（ｃ）における第３の較正プロセスによって確定された共通座標系に基づく仮想組立に使用される、請求項２に記載のシステム。
7. 第１のステーションと第２のステーションの一方が組立プラットフォームであり、第１のステーションと第２のステーションの他方がピック位置である、請求項２に記載のシステム。
8. 組立プラットフォームはモーションステージを画定し、組立システムは第２の工作物をピックステーションからモーションステージに動かす反復可能マニピュレータを有する、請求項７に記載のシステム。
9. 組立誤差は少なくとも３自由度で定義される、請求項１に記載のシステム。
10. 更に、第１の工作物の少なくとも１個の画像と第２の工作物の少なくとも１個の画像を手動アライメントするためのディスプレイ及びユーザインタフェースを含む、請求項１に記載のシステム。
11. 更に、第１の工作物と第２の工作物の少なくとも一方を撮像する少なくとも１台のビジョンシステムカメラを含んでおり、少なくとも１台のビジョンシステムカメラは、組立システムのトレーニング動作と実行時動作の少なくとも一方で使用される画像を取得するように構成及び配置されており、アライメントプロセスに関する使用はなされない、請求項１に記載のシステム。
12. 操作プロセスは、（ａ）スティッチされた第１の工作物の画像と（ｂ）スティッチされた第２の工作物の画像の少なくとも一方を使用する、請求項１に記載のシステム。
13. 第１の工作物と第２の工作物の画像がインタフェースを基準とした合成画像に作成される、請求項１２に記載のシステム。
14. 第１の工作物と第２の工作物の少なくとも一方が、ビジョンシステムカメラによって撮像される平面を画定する、請求項１に記載のシステム。
15. 第１の工作物を含む少なくとも１個の第１のステーションを有する組立システムを用いて対象物を仮想的に組み立てるための方法であって、当該組立システムは第１の工作物と第２の工作物を互いにアライメントして組み立てる方法において、当該方法は、
    １台以上のビジョンシステムカメラとビジョンシステムプロセッサアセンブリで第１の工作物と第２の工作物の画像を取得するステップと、ここで複数のカメラが共通座標系。に対して較正されており；
    第１の工作物と第２の工作物の少なくとも１個の画像及び特徴を共通座標系において生成するステップと；
    第１の工作物に対して第２の工作物を自動的に操作して第１の工作物と第２の工作物の少なくとも１個の画像及び特徴をアライメントするステップと；
    仮想組立プロセス中の第１の工作物と第２の工作物の操作の程度に基づく組立誤差を計算するステップとを含む方法。
16. 画像を取得するステップは第１のステーションから離れた第２のステーションで第２の工作物の画像を取得することを含む、請求項１５に記載の方法。
17. 第１のステーションと第２のステーションの一方が組立プラットフォームであり、第１のステーションと第２のステーションの他方がピック位置である、請求項１６に記載の方法。
18. 組立誤差は少なくとも３自由度で定義される、請求項１５に記載の方法。
19. 更に、第１の工作物の少なくとも１個の画像と第２の工作物の少なくとも１個の画像の手動アライメントのためのディスプレイ及びユーザインタフェースを使用することを含む、請求項１５に記載の方法。

Images