JP2012517053A - ロボットツールの制御方法 - Google Patents

Abstract

【課題】ロボットシステムを制御する方法は、ロボットシステムの移動可能な機構に支持されたツールを用意する工程と、ホルダに支持されたワークを用意する工程と、ワークの画像を生成する工程と、該画像から、ワークの特徴に関するデータを抽出する工程と、該画像から抽出されたデータを用いて、ワークに沿った連続的３次元経路を生成する工程と、該経路に沿ってツールを移動させる工程と、を含む。

Description

本願は、２００９年２月３日に出願された米国仮特許出願第６１／１４９，４４３号の優先権を主張するものであり、その全ての内容は本参照をもって本明細書に記載されているものとする。

本願発明は、広くは、所望の経路に従うようにロボットをプログラミングする方法に関する。本願発明は、特には、プログラミング過程を完了するための視覚情報を用いて、所望の経路に沿ってツールを移動させるべくロボットを制御する方法に関する。

広範囲の用途に使用される産業用ロボットが増加している。多くの場合、経路をロボットに「教示」する必要があり、ロボットは所望の操作を達成すべく該経路に沿って移動しなければならない。例えば、溶接用途では、ワーク上のシームに沿ってトーチが効率的に移動できるように、ロボットは多数の姿勢を連続的に呈するようにプログラムされねばならない。

ロボットに所望の経路をプログラミングし又は教示することは通常、手動で行われる。作業者はロボット制御装置に介入し、ツールを所望の経路に沿った必要な位置に配置するために、ロボットを必要な姿勢に移動させる。次に各位置はロボット制御装置にプログラムされ、このことはプログラム経路について反復される。この工程は一般に、時間がかかるとともに困難であり、しばしば、ロボット操作終了時に満足な結果を得るには不正確である。さらに、従来の実務では、教示操作中に作業者はロボットの作業スペース内にいるという欠点があり、ロボットと作業者とが望ましくない衝突をする虞がある。

提案されているいくつかのシステムは、ロボット操作を制御するためのロボットビジョンシステムを含む。しかしいずれのシステムも、ビジョンシステムを、プログラム経路に従うようにロボットを教示し又はプログラミングするために使用するものではない。例えば、米国特許第４，６１６，１２１号、４，９６５，４９９号及び５，５７２，１０３号のビジョンシステムは、産業用ロボットに関連付けられ、ロボット操作中に、予めプログラムされた経路を修正するための視覚情報を提供するものである。これらのシステムは、実際の所望経路と、ロボットが従う予めプログラムされた経路との偏差を調節するものである。しかしこれらのシステムの各々では、ロボットを従来のやり方で予めプログラムする必要がある。従来技術の欠点は、処理すべき部分の各々についてユーザが明確にプログラムを教示しなければならないことである。

シームトラッキングは、ロボットシステムのプログラミングに使用可能である。米国特許第４，８１２，６１４号は、溶接ロボット用の機械ビジョンシームトラッキング方法及び装置を記載している。該装置は、実際の溶接シームと教示経路との偏差を自動的に検出でき、溶接経路を修正するために、画像形成手段及び画像処理装置を有する。共通の光源から該画像形成手段を通った光が、集光されて伝送された後、ワーク上に投影されて溶接シームを横切る光線を形成可能である。溶接シーム方向に沿って配置された固体カメラが、溶接シームの画像を検出でき、次に該画像が画像処理装置に送られる。画像処理装置は好ましくは、ソフトウェアを有するマイクロコンピュータであり、該ソフトウェアは、突合せ溶接、隅肉溶接、重ね溶接及びＶ溝溶接により形成される画像をそれぞれ処理して偏差を計算する。該偏差には、溶接トーチとワークとの間の距離（いわゆる溶接トーチ高さ）の変化だけでなく、実際の溶接シームと教示経路との間に存在する、溶接シームを横切る方向の位置誤差も含まれる。溶接ロボットの制御装置は、溶接経路の誤差信号を、対応するデータに変換することができ、これにより溶接ロボットの座標を、実際の溶接シームに整合するように修正することが可能である。

しかし、シームトラッキングには教示経路又は教示プログラムが必要であり、ここでは、連続的な教示経路の全体が、教示経路から検出された偏差に応じてオフセットされる。

従来技術の他の例では、パーツを表すＣＡＤデータとして利用可能な、複数の点からなる経路（すなわちＣＡＤ−ｔｏ−Ｐａｔｈ）に沿って、ロボットが移動可能に製造される。ＣＡＤ−ｔｏ−Ｐａｔｈプログラミングでは、視覚的刺激の形態で提供されるリアルタイム情報を用いて、ロボット経路が調整される。しかし、ＣＡＤ−ｔｏ−Ｐａｔｈは以下の欠点を有する。
１）ＣＡＤ−ｔｏ−Ｐａｔｈアルゴリズムの実行は、非常に時間がかかる
２）ＣＡＤ−ｔｏ−Ｐａｔｈアルゴリズムの製造は、高コストである
３）不正確な部品配置に基づいてロボット位置を変更することはできない
４）描画された参照点又はラインを手動でトレースすることはできない

現在のロボット経路教示方法を単純化し、改良する要求がある。例えば、作業者が経路教示操作中に、ロボット作業範囲内に入る必要性を排除することが望まれる。さらに、必要な時間を削減することにより、ロボット経路教示の効率を改善することが望まれる。

本発明に従い、視覚的に得られたワークに関する情報を用いた、ロボットツールの制御方法が驚くべきことに見出された。

本発明は、上述の要求に応じる一方、ロボットプログラムの全てを、入力画像及びロボットキャリブレーションデータから抽出された情報から合成することにより、従来技術の欠点及び欠陥を回避する。

本発明は、ロボットシステムの制御方法を提供する。

ある方法は、
ａ．ロボットシステムの移動可能な機構に支持されたツールを用意する工程と、
ｂ．ホルダに支持されたワークを用意する工程と、
ｃ．ワークの画像を生成する工程と、
ｄ．該画像から、ワークの特徴に関するデータを抽出する工程と、
ｅ．該画像から抽出されたデータを用いて、ワークに沿った連続的３次元経路を生成する工程と、
ｆ．該経路に沿ってツールを移動させる工程と、
を含む。

他の方法は、
ａ．ロボットシステムの移動可能な機構に支持されたツールを用意するステップと、
ｂ．ホルダに支持されたワークを用意するステップと、
ｃ．該移動可能な機構を該ホルダに対してキャリブレーションするステップと、
ｄ．ワークの画像を生成するステップと、
ｅ．該画像から、ワークの特徴を表すデータを抽出するステップと、
ｆ．該画像から抽出されたデータ及び該移動可能な機構のキャリブレーションによるデータを用いて、ワークの特徴に沿った複数の点の各々に対してノードを割り当てるステップと、
ｇ．該ノードに沿った連続的３次元経路を生成するステップと、
ｈ．該経路に沿ってツールを移動させるステップと、
を含む。

さらなる他の方法は、
ａ．ツールを用意するステップと、
ｂ．ワークを用意するステップと、
ｃ．ワークに案内線を付与するステップと、
ｄ．ワークの特徴に関するデータを抽出するステップと、
ｅ．ワークを配置するステップと、
ｆ．抽出されたデータを用いて、ワークに沿ったツールの仮想経路を生成するステップと、
ｇ．該仮想経路の少なくとも一部に沿ってツールを移動させるステップと、
ｈ．該案内線に従うようにツールの位置を調整するステップと、
を含む。

上記内容は、本発明の他の利点とともに、以下の好適な実施形態の詳細な説明及び添付図面から、当業者に直ちに明らかとなろう。
本発明の一実施形態に係るロボットシステムの概略図である。 図１のロボットシステムを制御するための、本発明の一実施形態に係る方法の略フロー図である。 図２の方法に従う、ワークにオーバーレイされたロボット経路の概略図である。 図２の方法に従う、ワークにオーバーレイされたロボット経路の概略図であって、該ロボット経路の一部に倣った該ワーク上の溶接経路を示す図である。 図１のロボットシステムを制御するための、本発明の他の実施形態に係る方法の略フロー図である。 ワーク上の種々の経路の概略図である。

以下の詳細な説明及び添付図面は、本発明の種々の実施形態を記載し図示する。詳細な説明及び図面は、当業者が本発明を実施できるようにするものであって、本発明の範囲をいかなる態様にも限定するものではない。開示された方法に関し、示されたステップは例示であって、故にステップの順序は必須でも重要でもない。

図１が示すロボットシステム１０は、ロボットベース１４と該ベース１４に支持された移動可能なアーム１６とを有するロボット１２を含む。アーム１６の一端は、所望の操作を実行するために使用されるツール１８を支持する。例えばツール１８は、あらゆるタイプの溶接トーチ、プラズマ切断工具、材料除去／デバリング工具、及び、シーラント又は塗料を塗布するコーティングツール／アプリケータとすることができる。いかなるロボットツールも使用可能であると理解される。

制御装置（コントローラ）２０は、ロボットアーム１６の動作を制御して、ワーク２２に所望の操作を行うように構成されている。ワーク２２は、ロボット作業範囲内の周知のワークホルダ２４に支持される。非限定的実施例として、ホルダは平坦なテーブルを有するが、いかなるホルダ又は支持装置も使用可能である。

少なくともワーク２２の画像を撮像するために、視覚システム２６が配置される。図示された実施形態では、視覚システム２６は、ロボットアーム１６上に支持されて該アームとともに移動可能な３次元のレーザ視覚センサ２８（例えば、ファナックロボティクスアメリカ社製ｉＲＶｉｓｉｏｎ（登録商標）センサ）を有する。しかし視覚システム２６は、ワーク２６を撮像でき、観測したものの画像を表すデータを収集できる２次元のデジタルカメラ（図示せず）を有してもよい。種々のセンサ及びカメラが市販されており、当業者は特定の状況のニーズを満たすものを選択できよう。

非限定的実施例として、視覚センサ２８は、２次元画像を生成する。しかし視覚センサ２８は、ワーク２２の３次元表示を行うように構成され又は配置されてもよいことが理解される。図示するように、視覚センサ２８により得られた画像情報を後述するように処理可能とすべく、視覚センサ２８は制御装置２０と接続されている。

ある実施形態では、制御装置２０はプロセッサ３０及び記憶システム又は装置３２を有する。プロセッサ３０は、カメラ２８により撮像された画像、又は命令セット３４に基づいて視覚システム２６の構成要素から受信した他のデータを、解析するように構成されている。命令セット３４は、コンピュータのいかなる可読媒体内に具体化してもよく、プロセッサ３０が種々のタスクを実行できるように、プロセッサが実行可能な命令を含む。

非限定的実施例として、命令セット３４は、ワーク２２の画像を評価してワーク２２のエッジ又は他の特徴に関する情報を抽出するための、画像解析コード又はアルゴリズムを含む。ここでワークの特徴には、例えばいかなる形状、複合体若しくは単体又は輪郭をも形成し得る、ワーク２２に存するいかなる領域又はエッジも含まれ得る。特徴はセグメントに分解でき、また個々のセグメントは複数のサブセグメントに分解できることが理解される。特徴からプログラムや経路を生成する場合、所望のロボット処理プログラムを生成すべく、該特徴の各セグメントに異なる生成特性を与えることができる。

特徴は、コンピュータを利用した図面（すなわちＣＡＤ Ｅｄｇｅｓ）から抽出可能であるか、ノードバイノード線又は経路（node by node line or path）を生成するためのＣＡＤ画面上でのマウスクリック等のユーザ入力によって生成可能であることが理解される。

記憶システム３２は、１つの記憶装置であってもよいし、複数の記憶装置であってもよい。記憶システム３２の一部を、プロセッサ３０上に配置してもよい。さらに、記憶システム３２は、ソリッドステート（solid state）式、磁力式、光学式又は他の適切ないかなるタイプの記憶システムでもよい。記憶システム３２は、命令セット３４を記憶すべく構成されることが理解される。例えばバッファリングされたデータ等の他のデータ及び情報も記憶システム３２に記憶可能である。

制御装置２０は、プログラム可能な要素３６をさらに有してもよい。プログラム可能要素３６は、プロセッサ３０と接続されている。プログラム可能要素３６は、例えばロボットシステム１０の他の要素又は視覚システム２６に接続可能であることが理解される。ある実施形態では、プログラム可能要素３６は、プロセッサ３０の制御処理機能を管理すべく構成される。プログラム可能要素３６は、プロセッサ３０の操作、すなわちロボットシステム１０及び視覚システム２６の制御機能を、ユーザが積極的に管理できるようにするための手段を提供する。

図２は、本発明に係る、ロボットシステム１０の制御方法１００を示す。ステップ１０２では、ロボットシステム１０の可動アーム１６上に、ツール１８が配置される。ステップ１０４では、ホルダ２４上にワーク２２が配置される。ステップ１０６に示すように、ワーク２２が適所に配置されると、アーム１６に対するホルダ２４の位置及び姿勢に基づいて、ロボットシステム１０のアーム１６及びツール１８の較正（キャリブレーション）が行われる。非限定的実施例として、ホルダ２４に対するアーム１６のキャリブレーションは、種々の構成要素の相対的な位置及び姿勢を決定するための座標系を構築する３次元キャリブレーショングリッドフレームを用いて行われる。キャリブレーションステップを表すデータは、次の使用のために記憶可能であることが理解される。

ステップ１０８では、視覚システム２６はワーク２２の画像を生成する。非限定的実施例として、この画像は２次元画像であるが、他の画像も生成可能である。画像の重要な特徴又はエッジに関する情報を抽出すべく、該画像は制御装置２０に送られる。

制御装置２０は、ステップ１０６にて得たキャリブレーションデータに従って画像の重要な特徴を処理し（ステップ１０８）、ワーク２２に沿った連続的３次元経路を生成する（ステップ１１０）。非限定的実施例では、プロセッサ３０が周知の画像処理方法に基づいて画像を解析する。他の実施例では、プロセッサ３０が画像を解析してワーク２２の複数のエッジを画定し、画定されたエッジを複数の特徴に合致するように内挿／外挿して、ワーク２２の幾何学的輪郭を形成する。

ある実施形態では、プロセッサ３０により検出されたエッジ又は特徴の各々は、固有の識別（identification）及び特定の長さ値が割り当てられる。複数の特徴又はエッジの点の各々は、プロセッサ３０の予め定めた設定に基づいて、ノードによって表現される。例えば、各ノードに関するデータは以下の情報領域を有してもよい。
＄contrast − 予め定めた検出可能な画像特性（例えば光、反射率）についてのノードの勾配の大きさ
＄edge_len − ノード（特徴点）が関連付けられるエッジの長さ
＄edge_id − 関連するノードの鎖（chain）の数値的識別であり、ここでは各鎖は異なる識別がされる
＄position − 基準となるＸＹＺＷＰＲ位置であり、ここでは、ノードのＸ座標はキャリブレーショングリッドフレームに基いて画像内に配置され、Ｙ座標はキャリブレーショングリッドフレームに基いて画像内に見出され、キャリブレーショングリッドフレーム内のＺ座標はユーザ入力又は（３次元画像に基づく）画像解析の少なくとも１つから決定され、Ｒ角度はノードの「光側（light side）」の方向を示す勾配角度である。

エッジの長さ（＄edge_len）及びエッジの識別（＄edge_id）は、特定の鎖に関連付けられた全てのノードに対して同じ値となり、同一のエッジ識別（＄edge_id）を有する全てのノードは、画像のエッジ又は特徴に沿った連続的経路を表す。該経路内のノード／点の個数は、プロセッサ３０の予め定めたセッティングに基づいて決定されることが理解される。

ある実施形態では、ユーザは、プロセッサ３０によって直ちに検出されなかった画像点（ノード）の個数を手動で提供する。ユーザは、ワーク２２について予想される形状の予備的知識を用いて、画像に表れていない３次元の第２モデル提供することができる。ユーザは、ワーク２２の重要な３次元特徴を、プロセッサ３０へのユーザ入力によって教示することができる。

ある実施形態では、プロセッサ３０は、特徴間の変化速度に基づくポイントデータ、又は予め定めた寸法のエッジに沿ったポイントデータを生成するカーブフィッティングプロセスに基づいて、３次元経路を生成する。非限定的実施例では、カーブフィッティングプロセスは、ファナックロボティクスアメリカ社製のＡｒｃＴｏｏｌ（登録商標）アプリケーションソフトウェアの経路合成（path blending）に類似する。データのフィルタリングは、後の処理や画像データの合成に関係のない画像データを消去するために使用してもよい。他の実施例では、生成された経路は、アーム１６に搭載されたツール１８に関連する工程に特有の工程知識や工程パラメータに基づいて修正される。

生成された画像の評価、及びその結果として表されるノードや経路データについてのさらなる制御は、画像にオーバーレイ（overlay）されたサーチウインドウ内の複数のグレースケールエッジの各々をトレースし、複数の検出エッジ上に複数の点を出力するパスロケーションツールによって行われる。ユーザは、後述する方法を用いて、各エッジ上に見出された点の全てか、点のサブセットを表すようにパスロケーションツールを構成することができる。

コントラスト閾値方法は、考慮すべき点のための最小コントラストを設定することを含む。最大偏差方法は、予め定めた「直線エッジ（straightedge）」から閾値偏差を設定することを含む。ポイント離隔方法は、連続する点間の距離に基づいて閾値を設定することを含む。最大偏差が使用される場合、視覚システム２６は、特定のエッジを近似する直線セグメントの端点を表す。ポイント離隔方法が使用される場合、視覚システム２６は、均等に離隔された複数の点を表す。

本願明細書に開示される方法の利用が予期される用途の範囲に応じ、複数の既存の視覚プロセスが、上述のような経路を生成可能でなければならない。例えば、２次元の単一ビュー視覚プロセスでは、キャリブレーショングリッド面の上方に一定のＺ距離離れた平面に、経路の点が投影される。デパレタイジング視覚プロセス（depalletizing vision process）では、レジスタ値により規定可能なＺ距離にある平面に、経路の点が投影される。フローティングフレーム視覚プロセスでは、ロボットに搭載されたカメラの視点とともに移動する平面に、経路の点が投影される。３次元レーザ単一ビュー視覚プロセスでは、レーザセンサが先ず平面を測定し、次にその測定された面に経路の点が投影される。３次元断面視覚プロセスでは、レーザセンサがバイナリの断面画像を形成し、該断面画像では垂直座標がレーザ線に沿った距離を表しかつ水平座標がセンサへのＺ距離を表しており、視覚システムは、断面画像の白黒境界上の点を探索するとともに、レーザ面がある面に交差する場所の全ての点又は点のサブセットのＸ、Ｙ及びＺ座標を表す。

ある実施形態では、予め教示された経路がプロセッサ３０によって、生成された３次元経路に基づいてずらされ（オフセットされ）る。ユーザは、画像解析に基づいて所望の経路を選択できることが理解される。

３次元経路が生成されると、ステップ１１４に示すように、経路の任意の部分に沿ったツール１８の位置を決定するための重要な特徴を用いて、ロボットシステム１０がツール１８を経路に沿って移動させる。特に、生成された経路は、機構が経路をトレースするための動作コマンドの生成に使用可能である。ある実施形態では、視覚システム２６は、ワーク２２に対するツール１８の位置に関するリアルタイムの更新を、制御装置に対して行うことができる。

図３は、方法１００に従って生成された３次元経路２００を示す。図示のように、経路２００はワーク２０４にオーバーレイされた複数のノード２０２を有し、ノード２０２の各々はワーク２０４の特徴に沿った重要な点（クリティカルポイント）を表している。「クリティカルポイント」は、上述の予め定めたセッティングに基づいて選定可能であることが理解される。非限定的実施例として、経路２００は、ロボットトーチによって溶接すべきワーク２０４の実際のシームを表している。ワーク２０４の切断に抜き型（トリムダイ）を使用しない場合、理想的で安定した直線状のシームが常に可能とは限らない。方法１００は、ワーク上で実行すべき操作をより正確にすべく、ワーク２０４の矛盾した特徴を識別して追跡する、経路２００を生成する手段を提供する。図４に示すように、溶接トーチのようなツールは経路２００に沿って移動し、ワーク２０４の部分に溶接シーム２０６を付与する。トーチのフィードバック位置は、あるノード２０２から他のノードへのトーチの相対的なトラッキングに基づいて決定可能である。

図５及び図６は、本発明に係る、ロボットシステム１０を制御する方法３００を示す。非限定的実施例として、方法３００は、幾何学的に複雑な部分に手動で描かれた線のトラッキングに使用される。

ステップ３０２では、ロボットシステム１０の可動アーム１６上にツール１８が配置される。ステップ３０４では、ワーク２２がホルダ２４上に配置される。ステップ３０６に示すように、ワーク２２に案内線が付与される。典型的には、案内線はワーク２２上に手動で描かれるが、案内線を付与する任意の手段が使用可能である。

ステップ３０８では、ワーク２２の特徴に関するデータが得られる。ある実施形態では、視覚システム２６はワーク２２の画像を生成する。非限定的実施例として、該画像は２次元画像であるが、他の画像も生成可能である。画像内に表された重要な特徴又はエッジに関する情報を抽出するために、該画像が制御装置２０に送られる。他の実施形態では、ワークの特徴に関するデータは、コンピュータを使って描画した仮想部分から抽出される。

ステップ３１０では、視覚システム２６はワーク２２を配置するために使用される。ワークの特徴に関する抽出データ、及びワーク２２の相対位置の少なくとも一方から、ステップ３１２に示すように、プロセッサ３０は、ワーク２２に沿ったツール１８の仮想経路を生成する。ステップ３１４では、仮想経路の少なくとも一部に沿ってツールが先ず動かされる。ステップ３１６では、案内線を配置し、該案内線に沿うようにツール１８の位置を調整すべく、視覚システム２６が使用される。

方法３００は、単純な図６を参照してさらに説明される。図示するように、上方の実線４００は、生成された仮想経路を表す。中央の破線４０２は、フレームが２つの点周りえシフトしたときのワーク２２の実際の位置を表す。中間点の全ては、この新たな関係に従ってシフトされるものとする。下方の点線４０４は、ワーク２２に描画された案内線の位置を表す。予め生成されたポイントデータの全ては、線のＹ位置（偏差）を除き、保存される。

非限定的実施例として、方法３００を容易にするために、機能的アプリケーションの３つのグループが必要である。
１）機械視覚システム２６を用いて見出された一対の３次元の点に基づいて、部分位置参照フレームがシフトされる（すなわちＡ＿ＣＲＥＡＴＥ＿ＦＲＡＭＥ）。ここでは、セグメントの開始点及び終了点がロボット座標空間内で見出され、該開始点及び終了点を用いた三角関数により、実際のワーク２２とそのモデルとの間の空間的関係を修正する新たなフレームが規定される。
２）生成されたフレームに沿ったツール角度及び仮想経路を特徴付ける一連のデータを含む、コンピュータを用いた描画データ（ＣＡＤデータ）が生成される（すなわちＡ＿ＥＭＵＬＡＴＥ＿ＣＡＤ）。ここでは、アクティブなセグメントのための複数の経路点のうちの少なくとも１つが、一定のピッチでサンプリングされたＸ、Ｙ及びＺ点とともにプロットされ、描画された案内線を観測できるように視覚システム２６が近傍の固定位置に配置され、適切なツール切削情報（ロール、ピッチ、ヨー、高さ）が提供される。
３）位置を通るようにツール１８を移動させ、見出された線に相当するＹ位置のみを変更しながら、案内線が「トレース」される（すなわちＡ＿ＭＯＶＩＮＧ＿ＬＩＮＥ＿ＴＲＡＣＫ）。ここでは、円滑な移動のために、オンザフライでのビジョンプログラムへのコールによって、線の位置を見出すことが要求される。

ある実施形態では、Ａ＿ＣＲＥＡＴＥ＿ＦＲＡＭＥ．ＴＰプログラムが、所定のトレース位置を案内する新たなフレーム参照を生成する。非限定的実施例では、開始位置及び終了位置をＸ、Ｙ及びＺについて探索するために、ファナックロボティクスアメリカ社製ｉＲＶｉｓｉｏｎ（登録商標）３ＤＬシステムが使用される。ビジョンプログラムが、開始位置を配置する。次に、探索された位置への移動が行われ、Ｚ高さを抽出しつつ位置精度の向上が図られる。この処理は、終了位置についても同様に行われる。三角関数が、２つの点、すなわち原点及びＸ軸点から、フレームを生成する。この新たなフレームは、ＯからＸにより形成された平面内にあり、ユーザフレームＺ軸が受継がれている。要するに、Ａ＿ＣＲＥＡＴＥ＿ＦＲＡＭＥ．ＴＰプログラムは、ワーク２２のある部位を監視し、（０，０，０）から開始して（Ｘ，０，０）で終了するフレームを生成する。得られる記述パートデータはこのフレームに対して標準化され、個々の経路点及びツール角度はこの線（フレーム）から外れる。

ある実施形態では、Ａ＿ＥＭＵＬＡＴＥ＿ＣＡＤ．ＴＰプログラムが、ｉＲＶｉｓｉｏｎ（登録商標）「断面解析ツール（Cross Section Analysis Tool）」を用いて、ワーク２２のためにシミュレートされたＣＡＤデータを生成する。特に、（「Ａ＿ＣＲＥＡＴＥ＿ＦＲＡＭＥ」内の現セクションの開始点及び終了点に対して標準化された）平面に関して、個々の点がＸ、Ｙ及びＺについて抽出される。

Ａ＿ＥＭＵＬＡＴＥ＿ＣＡＤ．ＴＰプログラムは、セクションの開始点を配置し、次に３Ｄカメラを開始点に移動させる。断面プログラム（Cross Section Program）が、レーザ線の輪郭であるＸ、Ｙ、Ｚ位置を抽出し、所望の幾何学的関係又はジャンクションを探索する。全ての点が記憶され、このセクションにいくつのインターバルが含まれているかを記録するためにカウンタが使用される。レーザの輪郭位置が見出されたら、次の断面が検査される前に、設定された増分（インクリメント）だけツールが前進させられる。

要するに、Ａ＿ＥＭＵＬＡＴＥ＿ＣＡＤ．ＴＰプログラムは、参照フレームに対するデータ点を生成し、該データ点は、特徴セグメントデータフォーマットをシミュレートするためのＸ、Ｙ、Ｚ値及びツールのＷ、Ｐ、Ｒ値を含む。該特徴セグメントデータフォーマットとは、ファナックのロボガイド（登録商標）プログラム内のＣＡＤ−Ｔｏ−Ｐａｔｈ特徴により生成されるデータに近いものである。ポイントデータは、Ｙ値のみが変化する仮想経路（視覚装置が手動配置された案内線を探索する場所に基づく）の生成に使用可能である。

ある実施形態では、Ａ＿ＭＯＶＩＮＧ＿ＬＩＮＥ＿ＴＲＡＣＫプログラムは、現セクションに対して標準化されたＣＡＤデータから複数の点を抽出する。Ａ＿ＭＯＶＩＮＧ＿ＬＩＮＥ＿ＴＲＡＣＫプログラムは先ず、開始位置及び視覚システム２６の位置を直ちに読み込み、描画された案内線の位置を検出する。次に視覚システム２６が、次のラインセグメント上の一定高さ位置に配置される。案内線の実際の位置を求めるべく、マシンビジョンプログラムがバックグラウンドで実行される。見出された案内線の位置は、ツール１８を一方向にのみ移動させることにより、ワーク２２に対するアーム１６及びツール１８の位置を更新するために使用される。このようにして、ツール１８の位置を変化及び更新させながら、オンザフライで案内線が追跡される。要するに、Ａ＿ＭＯＶＩＮＧ＿ＬＩＮＥ＿ＴＲＡＣＫプログラムは、仮想経路に追従するための基礎となる複数の点を使用する。視覚システム２６は、ツール１８が全ての点を通過する間、経路の位置（Ｙ値のみ）を更新する。

ロボットシステム１０及び方法１００、３００は、ワーク２２の画像から抽出された情報のみからなるロボットプログラムとロボットキャリブレーションデータとを合成することにより、ロボットツール１８を制御する手段を提供する。これらの方法は、種々のロボットツール及び操作に適用可能である。

上記説明により、当業者は本発明の本質的特徴を容易に理解できるとともに、その精神及び範囲から逸脱することなく、本発明に種々の変更や修正を加えて種々の用途や条件に適合させることができる。

ある実施形態では、ユーザは、プロセッサ３０によって直ちに検出されなかった画像点（ノード）の個数を手動で提供する。ユーザは、ワーク２２について予想される形状の予備的知識を用いて、画像に表れていない第３の寸法の第２モデルを提供することができる。ユーザは、ワーク２２の重要な３次元特徴を、プロセッサ３０へのユーザ入力によって教示することができる。

Claims (20)

1. ロボットシステムを制御する方法であって、
   ａ．前記ロボットシステムの移動可能な機構に支持されたツールを用意する工程と、
   ｂ．ホルダに支持されたワークを用意する工程と、
   ｃ．前記ワークの画像を生成する工程と、
   ｄ．前記画像から、前記ワークの特徴に関するデータを抽出する工程と、
   ｅ．前記画像から抽出されたデータを用いて、前記ワークに沿った連続的３次元経路を生成する工程と、
   ｆ．前記経路に沿って前記ツールを移動させる工程と、
   を含む方法。
2. 前記画像は２次元画像である、請求項１に記載の方法。
3. 前記画像は３次元視覚センサにより生成される、請求項１に記載の吸着搬送装置。
4. 前記２次元画像では直ちに検出できない３次元データを構成する画像点を提供する工程をさらに含む、請求項２に記載の方法。
5. 前記２次元画像では直ちに検出できない前記ワークの３次元の第２モデルを、前記ワークの予想される形状の過去の知識によって提供する工程をさらに含む、請求項２に記載の方法。
6. 前記経路上に手動で点を教示する工程をさらに含む、請求項１に記載の方法。
7. 生成された前記経路は、前記経路をトレースするための前記機構の動作コマンドの生成に使用される、請求項１に記載の方法。
8. 前記画像及び生成された前記経路から抽出されたデータの少なくとも１つに基づいて、予め設定した経路をオフセットする工程をさらに含む、請求項１に記載の方法。
9. 生成された前記経路が、前記ワークの特徴にオーバーレイされる、請求項１に記載の方法。
10. 前記画像から抽出されたデータをフィルタリングする工程をさらに含む、請求項１に記載の方法。
11. 前記フィルタリングする工程は、コントラスト閾値、最小偏差及びポイント離隔の少なくとも１つに基づくものである、請求項１０に記載の方法。
12. ロボットシステムを制御する方法であって、
    ａ．前記ロボットシステムの移動可能な機構に支持されたツールを用意するステップと、
    ｂ．ホルダに支持されたワークを用意するステップと、
    ｃ．前記移動可能な機構を前記ホルダに対してキャリブレーションするステップと、
    ｄ．前記ワークの画像を生成するステップと、
    ｅ．前記画像から、前記ワークの特徴を表すデータを抽出するステップと、
    ｆ．前記画像から抽出されたデータ及び前記移動可能な機構のキャリブレーションによるデータを用いて、前記ワークの特徴に沿った複数の点の各々に対してノードを割り当てるステップと、
    ｇ．前記ノードに沿った連続的３次元経路を生成するステップと、
    ｈ．前記経路に沿って前記ツールを移動させるステップと、
    を含む方法。
13. 前記画像は３次元視覚センサにより生成される、請求項１２に記載の吸着搬送装置。
14. 前記２次元画像では直ちに検出できない前記ワークの３次元の第２モデルを、前記ワークの予想される形状の過去の知識によって提供する工程をさらに含む、請求項１２に記載の方法。
15. 前記経路上に手動で点を教示する工程をさらに含む、請求項１２に記載の方法。
16. 生成された前記経路は、前記経路をトレースするための前記機構の動作コマンドの生成に使用される、請求項１２に記載の方法。
17. 各ノードに関するデータは、前記ノードの勾配の大きさ、前記ノードが関連付けられる特徴の長さ、ノードに関連する鎖の数値的識別、及び予め定めた座標系内のノード位置の少なくとも１つを含む、請求項１２に記載の方法。
18. ロボットシステムを制御する方法であって、
    ａ．ツールを用意するステップと、
    ｂ．ワークを用意するステップと、
    ｃ．ワークに案内線を付与するステップと、
    ｄ．前記ワークの特徴に関するデータを抽出するステップと、
    ｅ．前記ワークを配置するステップと、
    ｆ．抽出された前記データを用いて、前記ワークに沿った前記ツールの仮想経路を生成するステップと、
    ｇ．前記仮想経路の少なくとも一部に沿って前記ツールを移動させるステップと、
    ｈ．前記案内線に従うように前記ツールの位置を調整するステップと、
    を含む方法。
19. 前記ワークを配置する工程は視覚システムによって実行される、請求項１８に記載の方法。
20. 前記ワークの特徴に関するデータは、コンピュータを使って描画した仮想部分から抽出される、請求項１８に記載の方法。

Images