JP2017037642A - 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 - Google Patents

案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 Download PDF

Info

Publication number
JP2017037642A
JP2017037642A JP2016152273A JP2016152273A JP2017037642A JP 2017037642 A JP2017037642 A JP 2017037642A JP 2016152273 A JP2016152273 A JP 2016152273A JP 2016152273 A JP2016152273 A JP 2016152273A JP 2017037642 A JP2017037642 A JP 2017037642A
Authority
JP
Japan
Prior art keywords
location
workpiece
image
feature
coordinate space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016152273A
Other languages
English (en)
Other versions
JP6685199B2 (ja
Inventor
シヴァラム，グルプラサド
Shivaram Guruprasad
シー．，ジュニア マリオン，シリル
C Marrion Cyril Jr
シー．，ジュニア マリオン，シリル
リュウ，リフェン
Lifeng Liu
リ，トト
Tuotuo Li
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cognex Corp
Original Assignee
Cognex Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cognex Corp filed Critical Cognex Corp
Publication of JP2017037642A publication Critical patent/JP2017037642A/ja
Priority to JP2018097467A priority Critical patent/JP7292829B2/ja
Application granted granted Critical
Publication of JP6685199B2 publication Critical patent/JP6685199B2/ja
Priority to JP2023001405A priority patent/JP2023052266A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1692—Calibration of manipulator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B25J9/1687—Assembly, peg and hole, palletising, straight line, weaving pattern movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G06T3/04—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39039—Two cameras detect same reference on workpiece to define its position in space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

【課題】校正時間中に校正ターゲットの代わりに実行時ワークピース上の特徴を用いて２つのロケーションにおける座標空間を結合するシステムと方法を提供する。
【解決手段】第１第２両ロケーション１２２、１１０で同じワークピースの特徴が撮像及び特定される。実行時ワークピース１２４の撮像された特徴は各ロケーションで異なる（ＣＡＤ又は測定されたワークピース表現が利用可能）。モーションステージを含む第１ロケーションは、ハンドアイ校正を用いてモーションステージに校正されており、第２ロケーションは実行時ワークピースを両ロケーション間で往復移動することによって同じモーションステージにハンドアイ校正される。最初の２つの技術の品質は、実行時ワークピースをそれぞれ異なる姿勢で多数回動かし、各ロケーションでそのような特徴を抽出及び蓄積し、次いで蓄積された特徴を用いて２つの座標空間を結合することによって改善できる。
【選択図】図１

Description

関連出願
本出願は２０１５年６月８日に出願された同時係属米国特許仮出願第６２／２０１７２３号「案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法」の利益を主張するものであり、その教示内容は参照により本明細書に組み込まれる。
記述分野
本発明はマシンビジョンシステム、より具体的には製造環境及び案内された組立環境でワークピース及びその他のオブジェクトの組立を案内するために使用されるビジョンシステムに関する。
マシンビジョンシステム（本明細書中では「ビジョンシステム」とも呼ぶ）では、１台以上のカメラを使用して撮像されたシーン内のオブジェクト又は表面でビジョンシステムプロセスを実行する。これらのプロセスは、検査、コードの解読、アライメント及びその他の多様な自動化タスクを含むことができる。より具体的には、ビジョンシステムは撮像されたシーンを通過する扁平なオブジェクトを検査するために使用できる。シーンは通常１台以上のビジョンシステムカメラで撮像され、ビジョンシステムカメラは関連するビジョンシステムプロセスを作動して結果を生み出す内部又は外部ビジョンシステムプロセッサを含むことができる。１台以上のカメラを校正して、ビジョンタスクを十分な精度と信頼性をもって実行できるようにする。校正プレートを使用してカメラを校正して共通（グローバル）座標空間（座標「系」とも呼ぶ）を確定し、そこにおいて全てのカメラのピクセル位置が座標空間内の関連ポイントにマッピングされ、そうすることによっていずれかのカメラで撮像された特徴の位置を座標空間で特定することが可能になる。オブジェクトの組立を案内するためのモーションステージを用いる応用において、校正プロセスはモーションステージ（「運動座標空間」とも呼ぶ）と共通座標空間との間に関係を作ることを含むことができる。そのような校正は公知の「ハンドアイ」校正技術を用いて達成できる。
ビジョンシステムカメラの特筆すべきタスクは、自動化された組立メカニズムによってオブジェクト（「ワークピース」とも呼ぶ）の組立の案内及び検証を補助することであり、組立メカニズムは可動プラットフォーム（モーションステージ）を含んでおり、一方のワークピースを組立位置及びマニピュレータ（例えば「ピックアンドプレース」動作を実行するロボットハンド若しくはアーム又はその他のタイプのモーションデバイス／モーションステージ）に精確に支持し、他方のワークピースを「アセンブリモーション」で上下に重なるアライメント位置に動かしワークピースに組み立てられる。具体的なピックアンドプレース動作は、一方のワークピースを他方のワークピースとアライメントさせることを含む。例えば、タッチスクリーンをマニピュレータで操作してピックアンドプレース動作でモーションステージに載っている携帯電話の凹部の上方に動かして中に入れることができる。この場合、各々のタッチスクリーンはピックロケーションから取り出されて待機している携帯電話本体のプレースロケーション（ときどき「ステーション」と呼ぶ）に置かれる。タッチスクリーンと携帯電話本体との適切で精確なアライメントが極めて望ましい。
幾つかの例示的なシステムは最初に、システムの実行時動作中に各々のワークピースが他方のワークピースと正しくアライメントするようにトレーニングされる。トレーニング時にワークピースはそれぞれのロケーション／ステーションに置かれ、組み立てると、組み立てられたワークピースは所望の相互位置関係を持つ。トレーニングに続く実行時に、何らかの配置又は寸法のばらつきを考慮するために、ビジョンシステムを用いて関連するモーションステージの位置を制御して一方又は両方のワークピースをそれぞれのロケーションに再配置して、それから組み立てる。ステージを調節することによってワークピースはトレーニング時にあったのと同じ相互の（期待された）位置関係に置かれる。他の例示的なシステム、例えば実行時に組み立てられた部品のジオメトリを使用できるシステム、例えば第１の矩形オブジェクトが第２の矩形オブジェクト上にセンタリングされているシステムではトレーニングを省略できる。
ワークピースのあるシーンの撮像に続いて、最終的に所望された組立をもたらすステージの運動パラメータを計算するプロセスの一環として、各々のワークピースに付属している特徴が抽出されて共通座標空間にマッピングされる。共通座標空間へのマッピングは、校正プロセスの結果行われる。多くの組立システムで校正プロセスは、部品を移動する反復可能なマニピュレータを用いて両ロケーション間に特別の校正ターゲットを移動すること、及び両ロケーションで校正ターゲットを撮像することを含む。この技術は幾つかの短所がある。例えば、部品を移動するピックアンドプレースグリッパは、ワークピースの形状、重量又はその他の特徴が校正ターゲットと相違するために校正ターゲットを移動できないことがある。即ち、校正ターゲットはグリッパのパラメータと適合しない。そのようなシステムでは、共通座標空間へのパラメータのマッピングはユーザ入力により手動で指定しなければならないが、その結果としてしばしば準最適な校正が生じる。加えて、校正時と実行時にピックアンドプレースマニピュレータが通る運動経路は、部品と校正ターゲットの特徴、例えば厚さ又はその他の特徴が相違するために異なることがある。このことはマニピュレータが取る実行時運動ステップをトレーニング時運動ステップに対して変えることを要求するので、校正エラーを招くことがある。より一般的には、校正時間中に追加のセットアップステップなどのために別個の校正ターゲットを使用するのはユーザにとって不便である。
同様に不利には、校正のための先行技術は何らかの機械的及び／又は反復的な試行錯誤原理に依拠しているが、これらは限界があり及び／又は不便で実行するのに時間がかかる。例えば一技術では、機械的システムは第１ロケーションにおける座標空間と第２ロケーションにおける座標空間との関係が知られ確定されように構成できる。この技術はフレキシビリティを制限し、時間の経過に伴って生じ得る動き又は位置の変化を考慮しない。他の技術では、２つのロケーションの関係の初期推定が行なわれ、組み立てられた部品の品質を用いて反復的に精緻化される。この技術は時間がかかり、所望された精度を達成するために多数反復に依拠する。
本発明は、校正ターゲットをマニピュレータ（及び関連グリッパ）でピックロケーションとプレースロケーションの間に移動することによって生じる問題に関係した先行技術の短所を、校正時間中に実行時ワークピース上の特徴を用いて２つのロケーションにおける座標空間を結合する校正のためのシステム及び方法を提供することによって克服する。このシステム及び方法は少なくとも３通りのシナリオ／技術を含む。１つは、両ロケーションで同じ特徴を撮像及び特定できる。１つは、実行時ワークピースの撮像された特徴は各ロケーションで異なる（ＣＡＤ又は測定されたワークピース表現が利用可能）。そして１つは、モーションステージを含む第１ロケーションはハンドアイ校正を用いてモーションステージに校正されており、第２ロケーションは実行時部品を両ロケーション間で往復移動することによって同じモーションステージにハンドアイ校正される。例として、最初の２つの技術の品質は、実行時ワークピースをそれぞれ異なる姿勢で多数回動かし、各ロケーションでそのような特徴を抽出及び蓄積し、次いで蓄積された特徴を用いて２つの座標空間を結合することによって改善できる。より一般的に、このシステム及び方法は２つのロケーションを独立に校正して、組立中に移動するように構成及び配置／適合されたマニピュレータでワークピースを移動し、校正プレートの特徴の代わりにそのワークピースの特徴を用いることによって２つのロケーションに対する座標空間を結合する。
例示的な実施形態において、第１ロケーションにある第１ワークピースがマニピュレータによって第２ロケーションに移動される環境においてビジョンシステムを校正するためのシステム及び方法が提供される。第１ワークピース上で、第１ロケーションと第２ロケーションの座標空間を結合することに依拠する操作が行われる。少なくとも１台のビジョンシステムカメラが、第１ロケーションに置かれたときに第１ワークピースを撮像し、第２ロケーションに置かれたときに第１ワークピースを撮像するように配置される。少なくとも１台のビジョンシステムカメラが第１ロケーションを基準に校正されて、第１座標空間を定義する第１の校正データを導き、及び少なくとも１台のビジョンシステムカメラ（同じカメラでも可能）が第２ロケーションを基準に校正されて、第２座標空間を定義する第２の校正データを導く。少なくとも第１ワークピースの特徴は、第１ロケーションで第１ワークピースの第１の画像から特定される。第１の画像中に特定された特徴に基づいて、第１ワークピースが第１座標空間を基準に第１ロケーションに対して相対的に位置決めされる。第１ワークピースはマニピュレータによって少なくとも１回掴まれて第２ロケーションにおける所定のマニピュレータ位置に動かされ、この第２ロケーションで第１ワークピースの第２の画像が取得される。第２の画像中に特定された特徴に基づいて、第１ワークピースが第２座標空間を基準に第２ロケーションに対して相対的に位置決めされる。これにより第１座標空間と第２座標空間が結合される。例として、第１の画像中に特定された特徴が第２の画像中に特定された特徴と同じである場合に、このシステム及び方法は、（ａ）第１の画像中に特定された特徴の位置を第１の校正データを基準にしてマッピングすること、（ｂ）第２の画像中に特定された特徴の位置を第２の校正データを基準にしてマッピングすること、及び（ｃ）第２ロケーションでマッピングされた特徴を第１ロケーションでマッピングされた特徴にマッピングする変換を計算することを含む。代替として、第１の画像中に特定された特徴の一部が第２の画像中に特定された特徴と異なる場合に、このシステム及び方法は、（ａ）第１の画像中に特定された特徴の位置を第１の校正データを基準にしてマッピングすること、（ｂ）第１ワークピースの特徴位置の保存された仕様に対して相対的な変換を計算すること、（ｃ）第２の画像中に特定された特徴の位置を第２の校正データを基準にしてマッピングすること、（ｄ）ワークピースが第１ロケーションに置かれたときにステップ（ｂ）で計算された変換を用いて第１座標空間における第２の画像から特定された特徴の位置を導くこと、及び（ｅ）第２ロケーションでマッピングされた特徴を第１ロケーションで対応する変換された特徴にマッピングする変換を計算することを含む。第１ワークピースの仕様は、第１ワークピースのＣＡＤモデル又は第１ワークピースの測定モデル（例えばＣＭＭ生成測定）に基づくことができる。例として、このシステム及び方法は、（ａ）第１ワークピースを第１ロケーションか又は第２ロケーションでモーションレンダリングデバイスによって反復的に複数の異なる姿勢に動かすこと、（ｂ）第１ロケーションと第２ロケーションでそれぞれ各姿勢での特徴を特定すること、及び（ｃ）特定された特徴情報を蓄積して精度を高めることを含み、第１ワークピースは同じワークピースであるか又は複数の個々に区別できるワークピースの１つである。種々の実施形態において、このシステム及び方法は、第１ロケーションで画像座標系から校正座標系へのマッピングを提供することを含み、マッピングが合一である。実施形態において、第２ロケーションは第２ワークピースを有しており、そこに入ると第１ワークピースは第２ワークピースと所望されたアライメントで係合し、及び／又は第２ワークピースは、第１ワークピースを更に加工するための部品、コンテナ又はフレームであることができる。加えて、種々の実態形態において、操作は他方のオブジェクトを基準にしたアライメント操作、第１ワークピースへの印刷操作、及び第１ワークピースへの塗布操作の少なくとも１つであり、この操作は少なくとも一部は第１ロケーションと第２ロケーションから離れた位置で行なわれてよい。
別の例示的な実施形態において、第１ロケーションにある第１ワークピースがマニピュレータによって第２ロケーションに移動され、第１ワークピースで行われる操作が第１ロケーションと第２ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するためのシステム及び方法が提供され、少なくとも１つのロケーションはハンドアイ校正を受ける。少なくとも１台のビジョンシステムカメラは、第１ロケーションで第１ワークピースを撮像し、及び第２ロケーションを撮像するように配置されている。少なくとも１台のビジョンシステムカメラは第１ロケーションを基準にしてハンドアイ校正されて第１の校正データを導き、第１ワークピースが第１ロケーションに置かれる。例として、第１ワークピースはマニピュレータによって第１ロケーションから第２ロケーションに動かされ、画像が取得されてそこから第１ワークピース上の特徴の位置が特定される。次に第１ワークピースは第２ロケーションから第１ロケーションに動かされ、第１ロケーションでモーションレンダリングデバイスを動かすことにより第１ワークピースの姿勢が新しい既知の姿勢に変更される。モーションレンダリングデバイスはいずれかのロケーションに置くことができ、モーションレンダリングデバイスによる姿勢変更はマニピュレータにより第２ロケーションから第１ロケーションに動かす前又は後で起こることができる。
上記のステップは、特徴位置及びハンドアイ校正に関連するその他のデータが蓄積及び保存されるまで反復され、次いで蓄積されたデータを用いて少なくとも１台のビジョンシステムカメラが第２ロケーションを基準にしてハンドアイ校正される。これは第１座標空間と第２座標空間をハンドアイ校正から得られたモーションレンダリングデバイスに対して相対的な共通座標空間によって結合する。例として、第２ロケーションはモーションレンダリングデバイス上に第２ワークピースを有しており、そこに入ると第１ワークピースは第２ワークピースと所望されたアライメントで係合する。第２ワークピースは、第１ワークピースを更に加工するための部品、コンテナ又はフレームであることができ、操作は、他方のオブジェクトを基準にしたアライメント操作、第１ワークピースへの印刷操作、及び第１ワークピースへの塗布操作の少なくとも１つであってよい。
以下に本発明を図面を参照して説明する。
模範的なピックアンドプレース組立環境を基準にして配置されたマルチカメラビジョンシステムの図であり、ワークピースをプレースロケーションに移送するために取り出すピックロケーションに置かれたピックアンドプレースマニピュレータを示しており、１つのロケーションがワークピース組立システムと組み合わせて用いられる例示的なモーションステージと、校正、トレーニング及び実行時動作のための関連するツール及びプロセスを有するビジョンプロセッサを含んでいる。
模範的なピックアンドプレース組立装置を基準にして配置された２カメラビジョンシステムの図であり、一方のワークピースは他方のワークピースとアライメントされており、プレースロケーションにありピックアップされた第１ワークピースを第２ワークピース上に置くピックアンドプレースマニピュレータを示している。
カメラシステムが１つのロケーションを基準にして校正され、各ロケーションでマニピュレータによって掴まれた実行時ワークピースの撮像に基づいて第１ロケーションにおける第１座標空間を第２ロケーションにおける第２座標空間に結合するための方法の一般化された概観を示すフローチャートである。
各ロケーションにおける特徴が同じである場合に、各ロケーションにおける実行時ワークピース画像の特徴を用いて第１ロケーションにおける座標空間を第２ロケーションにおける座標空間に結合するための、図３に一般化して示した方法のより詳細なフローチャートである。
それぞれの視野での可視性の相違のために少なくとも各ロケーションにおける特徴の一部が異なる場合に、各ロケーションにおける実行時ワークピース画像の特徴を用いて第１ロケーションにおける座標空間を第２ロケーションにおける座標空間に結合するための、図３に一般化して示した方法のより詳細なフローチャートである。
第１ロケーションと第２ロケーションで別個のハンドアイ校正を行うことによって第１ロケーションにおける座標空間を第２ロケーションにおける座標空間に結合するための方法のフローチャートである。
特徴が多数の未知の姿勢から抽出されて、蓄積された特徴を使用して各ロケーションにおける座標空間を結合する、図４及び図５の方法に関係する追加プロセのフローチャートである。
図１は、模範的なピックアンドプレース（マニピュレータ）メカニズム１２０を有する組立システム１００を図解する。この組立システム１００は、１実施形態に従い、実行時動作において第２ロケーションにある第２ワークピースに組み付けるためにマニピュレータによって操作される（ロケーション／ステーション間で移動される）オブジェクト（第１ワークピース）を用いて校正するためのシステム及び方法を使用できる。これらのロケーションは、特に移動されるべき実行時ワークピース１２４が最初に置かれるピックロケーション１２２と、この第１ワークピース１２４が組み付けられる第２ワークピース１１２が置かれているプレースロケーション１１０を含んでいる。マニピュレータは、第１ワークピース１２４と選択的に係合するために（例えば）吸引カップ１２５を備えたグリッパを含むことができる。マニピュレータ１２０は第１ワークピース１２４を選択的にピックアップして（矢印１３０）、第２ワークピース１１２上のアライメントロケーション１２６に移動する（矢印１３２）。この例では、マニピュレータ１２０を反復可能な経路に沿って案内するためのレール１２８が設けられている。このレールは随意であり、ピックロケーションとプレースロケーションの間でマニピュレータ１２０の反復可能な運動を可能にする任意の方策が明確に想定されている。例示により、マニピュレータは軸Ｘｍ、Ｙｍ及びＺｍによって特徴付けられる座標空間１３４を定義し、ここにおいてマニピュレータ１２０は少なくとも軸Ｙｍに沿って動き、ピック／プレース方向で軸Ｚｍに沿って動く。軸Ｚｍを中心とした回転θｚｍも示されているが、これはマニピュレータによって実行されてもされなくともよい。マニピュレータによって実行される運動は任意であり、ビジョンシステムは一般的に例示により示された運動と独立に動作する。
ピックロケーション１２２及び／又はプレースロケーション１１０は各々、ピック／プレース動作の前にそれぞれのワークピース１２４及び１１２が置かれるプラットフォームを定義する。ワークピース１２４、１１２は任意の容認可能な技術、例えばワークピース源からのコンベア、ロボットマニピュレータ、ユーザによる手動配置などによってロケーション／プラットフォーム（それぞれ１２２、１１０）に載置できる。別の実施形態では、ワークピース１２４はマニピュレータによって第１ロケーション１１０に保持されることができ、ロケーション／プラットフォーム１２２には載置されない。模範的なシステムにおいて、ロケーション／プラットフォーム１２２、１１０のいずれか一方が所望された精度を有する１度以上の自由度で動くモーションステージを含むことができる。そのようなステージ運動は反復可能なピックアンドプレース動作の前又は後にワークピース間のアライメントを取るために設けられている。即ち、一方のワークピースはモーションステージによってプレアライメントされ、次いでワークピースが定義された経路を移動する際にピック／プレース動作が所定のアライメントを維持する。代替として、ピック／プレース動作がワークピースを動かした後、組立／プレース動作の直前にワークピースの最終的なアライメントが起こることができる。各々のプラットフォーム（いずれか一方はモーションステージを含むことができる）はそれ自身の座標空間を定義するが、これはそれぞれのロケーションの校正済みローカル座標空間と見なすことができる。即ち、ピックプラットフォーム１２２は第１座標空間Ｘｓ１、Ｙｓ１、Ｚｓ１（直交軸１３５）を定義し、プレースプラットフォーム１１０は第２座標空間Ｘｓ２、Ｙｓ２、Ｚｓ２（直交軸１３７）を定義する。いずれか一方のプラットフォームはモーションステージを含んでいる場合は、その運動は図示された座標軸の１軸以上に沿って起こることができ、及び随意に少なくとも１回転自由度で（即ち図示されたθｚｓ１又はθｚｓ２に沿って）起こることができる。
この模範的なシステム環境／構成１００において、少なくとも１台のカメラ１４２、１４０がそれぞれ各ロケーション（１２２、１１０）を撮像する。代替として、単一のカメラ又は多数のカメラは単一の視野（ＦＯＶ）で両ロケーションを撮像できる。一般的に、及び本明細書中に記載されているように、ワークピースが所定のロケーションに置かれたときにワークピースの同じ又は異なる特徴が各ロケーションで１台以上のカメラに見えることが想定されている。カメラ１４０、１４２はビジョンプロセス（ビジョンプロセッサ）１６０と相互接続されている。一方又は両方のロケーション１２２、１１０は随意に追加のカメラ１４４（仮想線で示す）を含むことができる。ビジョンプロセス（ビジョンプロセッサ）１６０は関連ロケーションでステージ運動コントローラ１７０とも作動的に相互接続されており、これはプロセッサ１６０にステージ及び関連ワークピースの物理的位置の決定に使用するための運動情報（例えばエンコーダ又はステッパ距離／パルス情報）１７２を提供する。モーションステージは随意にロケーション１２２又は１１０に配置できるので、コントローラ１７０及び関連運動情報１７２は両ロケーションに対して同様に図示されている。ハンドアイ校正（以下に記述）の間、ステージを動かして運動情報を記録し、取得された画像と相関させる。
カメラ１４０、１４２、１４４はそれぞれビジョンシステムプロセッサ及び関連ビジョンシステムプロセス１６０と作動的に接続されており、これはカスタムビジョンプロセッサ回路として全体若しくは一部が１台以上のカメラハウジング内に組み込まれ、又は相互接続されたコンピューティングデバイス１８０内で提供されることができる。コンピューティングデバイス１８０は、ＰＣ、ラップトップ、タブレット、スマートフォン又は同種のものを含むがこれに限らず、適当なグラフィカルユーザインタフェース（ＧＵＩ−例えばディスプレイ及び／又はタッチスクリーン１８２、キーボード１８４及び／又はマウス１８６）を有しており、セットアップ（校正）、トレーニング及び／又は実行時動作を助ける。２台以上のカメラを使用する組立システムにおいて、各々のカメラは取得した画像又は当該画像から抽出された情報を中央プロセッサに送るように適合されていることに留意されたい。次いで中央プロセッサは、組立中に様々なカメラから得られた情報を統合する。ビジョンプロセス（ビジョンプロセッサ）１６０は様々なビジョンツール１６２、例えばエッジファインダ、ブロブ解析器、サーチツール、キャリパツールなどを含む、多様なビジョンシステムプロセス（又はエレメント／モジュール）を実行する。例として、ビジョンプロセス（プロセッサ）１６０は、２個のワークピースからの画像データのアライメントを以下に記述するやり方で実行するアライメントプロセス（プロセッサ）１６４を含んでいる。校正プロセス（プロセッサ）１６６は、以下に記述するカメラ校正及びハンドアイ校正の実行を容易にする。例として、トレーニングプロセス（プロセッサ）１６８は、ワークピースを再配置して第２ワークピースを第１ワークピースに対して精確に組み立てるように、本明細書で想定されている様々なトレーニング手順を実行する。ビジョンプロセッサ１６０は複数の相互接続されたカメラプロセッサ（又はその他のデバイス）又は単一のカメラアセンブリ内の中央プロセッサ（又はリモートコンピューティングデバイス）として設定できることに留意されたい。
本明細書中に様々な実施形態で示されている物理的ワークピース組立装置は、プラットフォーム／モーションステージの様々な領域を撮像する任意の数のカメラを含むことにも留意されたい。各ロケーション（及び／又は全体的な組立環境）を撮像するのに使用するカメラの数は、代替的な構成において極めて可変である。同様に、全体システム内でマニピュレータがタスクを実行するロケーションの数も極めて可変である。
加えて、図示された組立環境は、第１ワークピースが（例えば）反復可能なマニピュレータによって第１ロケーションから他方のロケーションに移動され、そこで第１ワークピース上で操作が行なわれる多様な配置構成の一例であることは明らかであろう。この操作は、第２ワークピースとの所望されたアライメントで係合することを含み、又は適当なメカニズムを用いて直接第１ワークピース上で実行できる。例えば、第２ワークピースは、第１ワークピースが組み付けられる部品、第１ワークピースが収容されるコンテナ／ボックス、及び／又は第１ワークピースが例えばキッティング装置の一部として配置されるフレームであることができる。そのような配置に加えて、操作は第１ワークピースに印刷すること又は転写を塗布すること、レーザ、カッタ、ツールヘッド又はその他のデバイス及び／又はその他ワークピースを変容する何らかのプロセスに暴露することも含んでよい。操作及び第２ワークピースに対する詳しい定義を以下に記載する。一般的に、主としてシステム及び方法は、第１ロケーションと第２ロケーションを撮像するカメラの座標空間を結合できるようにして操作が望ましいやり方で起こることを可能にすることが想定されている。
例示的なシステム及び方法の詳細を更に記述する前に、読者が本明細書中に紹介されたコンセプトを理解するのを助ける次の定義を参照する。

「校正済み座標空間」
（定義）カメラ校正、ハンドアイ校正又はその他の校正プロセス中に使用する校正ターゲットによって定義された座標空間。

「共通座標空間」
（定義）実行時にシステム中のカメラによって取得された特徴がこの空間にマッピングされる。共通座標空間はロケーション間で共有される。

「画像座標空間」
（定義）取得された画像の座標空間又は変換された画像の座標空間。

「運動座標空間」
（定義）モーションレンダリングデバイス（例えばモーションステージ）と関連する固有の座標空間。

「ワークピース座標空間」
（定義）ワークピースと関連する座標空間。この座標空間の可能なソースはワークピースのＣＡＤ仕様又はＣＭＭ表現である。

「ＣａｌｉｂｒａｔｅｄＦｒｏｍＩｍａｇｅ変換」
（定義）画像座標空間から校正済み座標空間にポイントをマッピングする変換。

「カメラ校正」
（定義）画像座標空間と校正済み座標空間との間の変換を確定するプロセス。

「ハンドアイ校正」
（定義）画像座標空間、校正済み座標空間及び運動座標空間の間の変換を確定する当業者に公知のプロセス。

「全ての」カメラ
（定義）本明細書で組立タスクにおいてシステムによって使用される全てのカメラをいう。別途シーンを撮像してよいビジョンシステムカメラ（又はその他のプロセス）によって使用される一部のカメラは組立タスクから除外できることが明確に想定されている。主として１台以上の（少なくとも１台の）カメラ（同じカメラであってよい）が組立時に各ロケーションを撮像し、共通座標系空間に校正されることが想定されている。

「操作」
（定義）第１ロケーション、第２ロケーション又は少なくとも部分的に第１ロケーションと第２ロケーションから離れた位置にある第１ワークピースで／に対して実行されるプロセスをいう。操作は（例えば）第２ワークピースを基準にした組立操作、第１ワークピースをボックス又はフレーム内に配置すること（即ちキッティング）、又は適当なメカニズムを用いた第１ワークピースに対する変容、例えば印刷、転写塗布、接着剤塗布などであり得る。

「第１ワークピース」
（定義）マニピュレータシステム（例えば組立システム）の実際の実行時動作において使用される部品又はその他のオブジェクトをいう−「実行時ワークピース」とも呼ぶ。第１ワークピースは、製造又はその他の実行時プロセス、後校正及びトレーニングの一部ではないシステムセットアップ／トレーニングのために使用される校正ターゲット／プレート又はその他のオブジェクトを明確に除く。

「第２ワークピース」
（定義）第１ロケーションか又は第２ロケーションで、（例えば）モーションレンダリングデバイス（モーションステージ）を用いて達成できるアライメントに基づいて第１ワークピースが組み付けられる、第２ロケーションに置かれたワークピースをいう。第２ワークピースは、第１ワークピースが入れられるコンテナ（ボックス）又はフレームということもできる。
図２を簡単に参照すると、マニピュレータ１２０はそのグリッパ１５０に第１ワークピース１２４を持ってレール１８０に沿って第１ロケーション１２２から第２ロケーション１１０に移動したことが示されている。マニピュレータ１２０は、第１ワークピース１２６をアライメントされた受取りロケーション１２６内で第２ワークピース１１２上に精確に配置すること（矢印２５０）が図示されている。このアライメントは、共通座標空間に基づいてモーションステージを動かすことによりカメラ１４０、１４２及び関連ビジョンシステムカメラプロセス（プロセッサ）１６０によって確定される。この共通座標空間は、次の段落で記述するように、校正中に２つのロケーション１２２、１１０の各々の校正済み座標空間を結合することによって確定される。
校正ターゲットのような剛性体について若干の校正原理を一般的に理解するために、運動は１対の姿勢、即ち運動直前の初期姿勢と運動直後の最終姿勢によって特徴付けることができる。本明細書において「姿勢」は、ある特定の瞬間において基礎となる何らかの座標空間における体の位置と向きを記述するための一連の数値として定義される−体の仮想的特徴付けである。例えば２次元では姿勢は３つの数、即ちＸにおける並進、Ｙにおける並進及び回転Ｒ（又はθ）によって特徴付けることができる。校正ターゲットの脈絡における姿勢は、校正ターゲットがカメラに対してどのように現れるかを表す。通常、標準的ないわゆる「ハンドアイ校正」において、校正ターゲットはモーションレンダリングデバイスによりカメラに対して幾つかの異なる姿勢に動かされ、各々のカメラはそのような各姿勢で校正ターゲットの画像を取得する。そのようなハンドアイ校正の目標は、カメラの姿勢、校正ターゲットの姿勢及びモーションレンダリングデバイスの姿勢を、「校正済み座標空間」と呼ぶことができる単一の座標空間において決定することである。通常、「運動」は物理的運動を与えることができる物理的装置、例えばロボットアーム又はモーションステージ又はガントリーによって提供される。ターゲットは１台以上の定置カメラに対して動くことができるか、又は、例えばカメラが運動を与える物理的装置に組み付けられている場合はカメラが定置ターゲットに対して動くことができることに留意されたい。そのようなモーションレンダリングデバイスのコントローラは数値（即ち姿勢）を使用して装置に何らかの所望された運動を与えるよう命令し、それらの値は、本明細書で「運動座標空間」と呼ぶ当該装置に対する固有の座標空間において解釈される。ここで図３を参照すると、マニピュレータによってロケーション間を動かされる実行時ワークピースを用いて、２つの離散したロケーション（例えばピックロケーションとプレースロケーション）の座標空間を結合するための全体的な校正プロセス３００が記述されている。とりわけ実行時ワークピースの使用は、校正ターゲットの使用に伴う短所を回避して、ユーザが実行時動作においてマニピュレータに期待されているハンドリングと同じ構造を簡便に使用できるようにする。プロセス３００はステップ３１０で開始し、１台以上のカメラを配置して第１ロケーションと第２ロケーションの画像を撮像／取得する。カメラは各ロケーションで実行時ワークピースの特徴を視る。それらの特徴は全部又は一部であってよく、各ロケーションでの同じ特徴又は各ロケーションでの異なる特徴であってよい。ステップ３２０で、第１ロケーション又は第２ロケーションで特徴を視るカメラは、それぞれの校正済み座標空間に対して校正される。これは、ステージによって校正ターゲットを動かして、そのような運動に基づきステージによって提供される運動情報との関連で座標空間を確定することによるハンドアイ校正を含むことができる。代替として、これは特別の校正ターゲット、例えば格子縞模様の校正プレートの画像を使用し、そうしてロケーションにおける全てのカメラをそれぞれの座標空間に結合することにより達成できる校正プロセスを含むことができる。ステップ３３０で、第１ロケーションにあるワークピースを視る１台以上のカメラによって実行時ワークピースの画像が取得され、第１ロケーションで実行時ワークピース上の特徴の位置が特定／抽出される。次にステップ３４０で特定／抽出された特徴を使用してワークピースを、通常第１ロケーションと関係している第１の校正済み座標空間に対して関連付ける−。特徴はワークピース上で識別できる任意の視覚的要素、特に単独で又は組み合わせてワークピースの向きと位置を一義的に定義する視覚的要素であってよい。従ってエッジとコーナが識別された特徴として使用される場合は、そのようなエッジとコーナは全体的ワークピース上の何らかの位置に対して一義であることができる（例えばワークピースの側面の切欠き）。特徴抽出は当該技術に従い様々なビジョンシステムツール（例えばエッジ検出器、ブロブ解析器など）１６２（図１）の使用を伴うことができる。
ステップ３５０で、実行時ワークピースはマニピュレータによって（例えば図１では実行時ワークピース１２４に吸引カップ１２５を適用することによって）掴まれ、ワークピースは第２ロケーションに動かされる。この運動は少なくとも１回起こる（以下に図７を参照して説明するように異なる姿勢を用いて多数回起こることもできる）。次にステップ３６０で、第２ロケーションにある（ワークピース特徴を視ている）カメラがワークピースの１以上の画像を（当該ワークピースの画像座標空間内で）取得する。第１ロケーションで視られたのと同じか又は異なる特徴を第２ロケーションで使用して、第２ロケーションにあるワークピース上の位置を見出す。特徴が同じ場合は、２つの座標空間は直接結合できる。特徴が異なる場合は、ワークピースの仕様、例えばＣＡＤ図面又は測定された描画／表現（即ち座標測定機ＣＭＭを用いてワークピースを測定して寸法を保存する）により、各ロケーションにおける特徴をビジョンシステム校正プロセスによって対応させることが可能となる。対応させられた特徴により次に各々の座標空間を結合することが可能になる。ステップ３２０でロケーションの１つがハンドアイ校正される場合は、計算された共通座標空間はモーションステージの運動座標空間と同じであり得ることに留意されたい。
図４と図５は、それぞれ図３の一般化されたプロセスに従い第１ロケーションと第２ロケーションで座標空間を結合するために、２種類の方法／プロセス４００及び５００をより詳細に記述している。図４では、プロセス４００は２つのロケーションを撮像するために１台以上のカメラを配置するステップ４１０を含んでおり、そのうち１台はモーションステージを含むことができる。上述したように、モーションステージを有するロケーションを視ているカメラで随意のハンドアイ校正を実行して校正済み座標空間を確定することができる。より一般的にステップ４２０とステップ４３０で、第１ロケーションと第２ロケーションを撮像するカメラは適当な校正ターゲットを用いて校正できる。ステップ４４０で、カメラは第１ロケーションにあるワークピースの１以上の画像を取得し、それらの画像を使用してワークピース上の特徴ｆｅａｔｕｒｅｓＩｍａｇｅ１の位置を適当なビジョンシステムツールによって特定する（ステップ４５０）。これらの特徴は第１ロケーションの校正済み座標空間にマッピングできる（ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ１＝Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＩｍａｇｅ１＊ｆｅａｔｕｒｅｓＩｍａｇｅ１）。実行時ワークピースは次にマニピュレータによって掴まれて第２ロケーションに動かされる。ここでカメラは実行時オブジェクトの画像を取得する（ステップ４６０）。この技術では第２ロケーションでカメラにはｆｅａｔｕｒｅｓＩｍａｇｅ１と同じ特徴ｆｅａｔｕｒｅｓＩｍａｇｅ２が見えている。従ってステップ４７０で、第２ロケーションのカメラは、実行時ワークピース上の同じ特徴の位置を特定し、プロセス４００は第２ロケーションの校正データに基づいてロケーションをマッピングする（ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ２＝Ｃａｌｉｂｒａｔｅｄ２ＦｒｏｍＩｍａｇｅ２＊ｆｅａｔｕｒｅｓＩｍａｇｅ２）。次にステップ４８０で、プロセス４００はｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ２をｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ１（ステップ４５０から）にマッピングする変換Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＣａｌｉｂｒａｔｅｄ２，を計算する。この変換を用いて２つのロケーションの座標空間を次の関係に従って結合する。
ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ１＝Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＣａｌｉｂｒａｔｅｄ２＊ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ２
ステージを含むロケーションが随意にハンドアイ校正されている場合は、変換Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＣａｌｉｂｒａｔｅｄ２はハンドアイ校正結果と組み合わせて使用して実行時の部品の組立を案内できる。
図５では、プロセス５００は２つのロケーションを撮像するために１台以上のカメラを配置するステップ５１０を含んでおり、そのうち１台はモーションステージを含むことができる。上述したように、モーションステージを有するロケーションを視ているカメラで随意のハンドアイ校正を実行して校正済み座標空間を確定することができる。ステップ５２０とステップ５３０で、第１ロケーションと第２ロケーションは適当な校正ターゲットを用いて校正できる。ステップ５４０で、カメラは第１ロケーションにあるワークピースの１以上の画像を取得し、それらの画像を使用してワークピース上の特徴ｆｅａｔｕｒｅｓＩｍａｇｅ１の位置を適当なビジョンシステムツールによって特定する。ステップ５５０で、これらの特徴は第１ロケーションの校正済み座標空間にマッピングできる（ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ１）。ステップ５６０で、プロセス５００は第１ロケーションの第１の校正済み座標空間におけるワークピース特徴ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ１（ステップ５５０から）を、保存されているワークピース座標空間にマッピングする変換ＷｏｒｋｐｉｅｃｅＦｒｏｍＣａｌｉｂｒａｔｅｄ１を次の関係に従って：計算する。
ｆｅａｔｕｒｅｓＷｏｒｋｐｉｅｃｅ＝ＷｏｒｋｐｉｅｃｅＦｒｏｍＣａｌｉｂｒａｔｅｄ１＊ｆｅａｔｕｒｅｓＣａｌｉｂｒａｔｅｄ１
ワークピース座標空間は、特徴パラメータの描画を含むワークピースのコンピュータ支援設計（ＣＡＤ）モデルに基づいて確定される。代替として、実行時ワークピース座標空間の仕様はワークピースの物理的測定によって、例えば座標測定機（ＣＭＭ）を用いて通常の技術に従い確定できる。パラメータは、マッピングプロセスによって使用するために保存される。
実行時ワークピースは、次にマニピュレータによって掴まれて第２ロケーションに動かされる。ここでカメラは実行時オブジェクトの画像を取得する（ステップ５７０）。この技術では、第２ロケーションで視られた１以上の特徴は、第１ロケーションで視られた／撮像された特徴と異なることがあろう。その結果として、障害、カメラの視野（ＦＯＶ）などのために同じ特徴が両ロケーションのカメラに見えないことがある。ステップ５８０で、第２ロケーションのカメラは、実行時ワークピース上で見える特徴ｆｅａｔＶｉｓＩｎ２Ｉｍａｇｅ２の位置を特定して、それらの位置が第２ロケーションの校正データに基づいてマッピングされる（ｆｅａｔＶｉｓＩｎ２Ｃａｌｉｂｒａｔｅｄ２＝Ｃａｌｉｂｒａｔｅｄ２ＦｒｏｍＩｍａｇｅ２＊ｆｅａｔＶｉｓＩｎ２Ｉｍａｇｅ２）。ワークピース座標空間で対応するポイントが見出される（ｆｅａｔＶｉｓＩｎ２Ｗｏｒｋｐｉｅｃｅ．）。ステップ５９０で、プロセス５００はステップ５６０からの逆変換ＷｏｒｋｐｉｅｃｅＦｒｏｍＣａｌｉｂｒａｔｅｄ１を用いて、第２ロケーションで見える特徴が第１ロケーションにあった場合には、第１の校正済み空間における当該特徴の位置を計算する。
ｆｅａｔＶｉｓＩｎ２Ｃａｌｉｂｒａｔｅｄ１＝Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＷｏｒｋｐｉｅｃｅ＊ｆｅａｔＶｉｓＩｎ２Ｗｏｒｋｐｉｅｃｅ．
ステップ５９２で、第１ロケーションから計算された特徴位置と、第２ロケーションで検出された対応する特徴位置を使用して、各ロケーションにおける座標空間を次の関係に従って結合する。
ｆｅａｔＶｉｓＩｎ２Ｃａｌｉｂｒａｔｅｄ１＝Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＣａｌｉｂｒａｔｅｄ２＊ｆｅａｔＶｉｓＩｎ２Ｃａｌｉｂｒａｔｅｄ２
ステージを含むロケーションがハンドアイ校正されている場合は、変換Ｃａｌｉｂｒａｔｅｄ１ＦｒｏｍＣａｌｉｂｒａｔｅｄ２はハンドアイ校正結果と組み合わせて使用して実行時の部品の組立を案内できる。
様々な実施形態において、画像座標空間から第１ロケーションの校正座標空間へのマッピングは合一であり得ることが明確に想定されている。この技術は、図３〜図５で述べたように、第２ロケーションが校正されて、第１ロケーションの画像特徴が第２ロケーションの校正座標空間にマッピングされる構成に適応する。
図６は、２つの離散したロケーション座標空間を結合するために想定されている別の技術に従う方法／プロセス６００の詳細を示しており、第１ロケーションのカメラと第２ロケーションのカメラはいずれも校正されない。この構成では各ロケーションは別個にハンドアイ校正することができ、両ロケーションはモーションステージに対して相対的に同じ共通座標空間に結合できることが想定されている。ステップ６１０で、各ロケーションを撮像するためにカメラを配置する。モーションステージを含むロケーション（即ち第１ロケーション）は、ステップ６２０でハンドアイ校正される。次に実行時ワークピースはステップ６３０でステージ−を含む第１ロケーションに置かれる。次にステップ６４０で実行時ワークピースは掴まれて第２ロケーションに動かされ、そこでカメラにより１以上の画像が取得される。ステップ６５０でワークピース上の特徴の位置が特定される。随意に、ワークピースのＣＡＤ又はＣＭＭ仕様が利用可能ならば、そのような特徴はワークピース座標空間のＣＡＤ又はＣＭＭ描画と対応させることができる。特徴から導かれた姿勢はリストＸｌ１に保存される。ステップ６６０でワークピースは再び掴まれて第１ステージ／ロケーションに戻される。ステップ６４０、６５０及び６６０は反復される。なぜなら、十分なデータが把捉されてリストＸｌ１に保存されるまで、ステージが動かされて反復ごとに新しい姿勢が確定されるからである（ステップ６８０）。次いでプロセス６００は（ステップ６７０の決定を経て）ステップ６９０に進み、ステップ６５０（リストＸｌ１）から蓄積されたデータを使用して第２ロケーションのカメラをハンドアイ校正する。こうして両ロケーションでカメラ校正された座標空間は、共通座標空間によってモーションステージに対して結合される。
方法／プロセス４００及び５００（図４のステップ４５０と４７０及び図５のステップ５５０と５８０）は、実行時ワークピースからの特徴抽出を反復的に行うことによって強化できる。この強化されたプロセス７００の概観が図７に記述されている。ステップ７１０で、第１ロケーションにある実行時ワークピースの１以上の画像が取得されて特徴が抽出／特定される。次にステップ７２０でワークピースはマニピュレータによって掴まれ動かされて特徴が抽出／特定される（上述したように同じ又は異なる特徴）。マニピュレータはワークピースを第１ロケーションに反復的に戻してその都度姿勢を大まかに変更するか（ステップ７３０）、又は大まかに異なる姿勢を有するワークピースの多数のインスタンスを移動する。即ち、それぞれ運動サイクルによりロケーション間を移動される同じワークピース又は一連の異なるワークピースで、特徴の抽出及び蓄積を多数回反復することにより校正の精度及び堅牢性を強化できる。十分な特徴データが得られるまで、ステップ７１０及び７２０で反復ごとに第１ロケーションと第２ロケーションで画像から特徴が抽出される。この閾値は、所定の数又は他の測定基準に基づいてよい。プロセス７００は次に（ステップ７４０の決定を経て）ステップ７５０に進み、そこで多数の姿勢から蓄積された特徴データを使用して、一般的に上述したように各ロケーションの座標空間を結合する。
実行時ワークピースを使用する組立プロセスにおいて２つの離散したロケーションの座標空間を結合するための上述した技術が、校正ターゲットの使用に付随する短所を回避することは明らかであろう。これらの技術は、各ロケーションを基準にカメラを配置するやり方にフレキシビリティを与える。これらの技術はまた特徴抽出など様々なステップを反復することにより精度の強化／精緻化を可能にする。これらの技術は、上述した公知の機械的構成又は反復的な試行錯誤方式に依拠する先行技術の短所も回避する。
以上、本発明の例示的な実施形態を詳細に説明した。本発明の精神と範囲を逸脱することなく種々の改変及び追加を行うことができる。上述した種々の実施形態の各々の特徴は、関連する新しい実施形態において多数の特徴の組み合わせを提供するのに適する限り、別の記載された実施形態の特徴と組み合わされてよい。更に、上に本発明の装置と方法の多数の別個の実施形態を記したが、ここに記載されたものは本発明の原理の応用を例示したものに過ぎない。例えば本明細書中で使用される「プロセス」及び／又は「プロセッサ」という言葉は広く解釈して、電子ハードウェア及び／又はソフトウェアをベースとする多様な機能及びコンポーネントント（代替として機能的「モジュール」又は「エレメント」と呼ぶことがある）を含むものとする。更に、図示されたプロセス又はプロセッサは他のプロセス及び／又はプロセッサと組み合わせ、又は種々のサブプロセス又はサブプロセッサに分割されてよい。そのようなサブプロセス及び／又はサブプロセッサは、本明細書に記載された実施形態に従って多様に組み合わせることができる。同様に、本明細書中の何らかの機能、プロセス及び／又はプロセッサは、プログラム命令の非一時的コンピュータ可読媒体からなる電子ハードウェア、ソフトウェア、或いはハードウェアとソフトウェアの組合せを用いて実施できることが明確に想定されている。加えて、本明細書で使用される様々な方向及び／又は向きを表わす用語、例えば、「垂直」、「水平」、「上」、「下」、「底部」、「頂部」、「側部」、「前部」、「後部」、「左」、「右」およびこれに類するものは、相対的な表現法として用いられているに過ぎず、重力の作用方向など固定した座標系を基準とした絶対的な向きを表わすものではない。例として、１つのロケーションはロケーションステージを含んでいるが、例えば第１のモーションステージは１軸に沿ってワークピースを動かし、第２のステージは他の直交軸（又は第１のステージによって提供されない回転）に沿ってワークピースを動かす場合には多数のロケーションがステージを含み得ることが想定されている。従ってこの記述は例示としてのみ受け取られるべきであり、本発明の範囲を別途制限することを意味するものではない。
特許請求の範囲

Claims (20)

  1. 第１ロケーションにある第１ワークピースがマニピュレータによって第２ロケーションに移動され、第１ワークピースで行われる操作が第１ロケーションと第２ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するための方法であって、
    少なくとも１台のビジョンシステムカメラを、第１ロケーションに置かれたときに第１ワークピースを撮像し、及び第２ロケーションに置かれたときに第１ワークピースを撮像するように配置するステップと、
    少なくとも１台のビジョンシステムカメラを第１ロケーションを基準に校正して第１座標空間を定義する第１の校正データを導き、及び少なくとも１台のビジョンシステムカメラを第２ロケーションを基準に校正して第２座標空間を定義する第２の校正データを導くステップと、
    第１ロケーションで少なくとも第１ワークピースの特徴を第１ワークピースの第１の画像から特定するステップと、
    第１の画像中に特定された特徴に基づいて第１座標空間を基準に第１ロケーションに対して相対的に第１ワークピースを位置決めするステップと、
    マニピュレータを使って第１ワークピースを少なくとも１回掴んで第２ロケーションにおける所定のマニピュレータ位置に動かすステップと、
    第２ロケーションで第１ワークピースの第２の画像を取得するステップと、
    第２の画像中に特定された特徴に基づいて第２座標空間を基準に第２ロケーションに対して相対的に第１ワークピースを位置決めし、第１座標空間と第２座標空間を結合するステップと、を含む方法。
  2. 第１の画像中に特定された特徴は第２の画像中に特定された特徴と同じであり、更に（ａ）第１の画像中に特定された特徴の位置を第１の校正データを基準にしてマッピングすること、（ｂ）第２の画像中に特定された特徴の位置を第２の校正データを基準にしてマッピングすること、及び（ｃ）第２ロケーションでマッピングされた特徴を第１ロケーションでマッピングされた特徴にマッピングする変換を計算することを含む、請求項１に記載の方法。
  3. 第１の画像中に特定された特徴の一部は第２の画像中に特定された特徴と異なり、更に（ａ）第１の画像中に特定された特徴の位置を第１の校正データを基準にしてマッピングすること、（ｂ）第１ワークピースの特徴位置の保存された仕様に対して相対的な変換を計算すること、（ｃ）第２の画像中に特定された特徴の位置を第２の校正データを基準にしてマッピングすること、（ｄ）ワークピースが第１ロケーションに置かれたときにステップ（ｂ）で計算された変換を用いて第１座標空間における第２の画像から特定された特徴の位置を導くこと、及び（ｅ）第２ロケーションでマッピングされた特徴を第１ロケーションで対応する変換された特徴にマッピングする変換を計算することを含む、請求項１に記載の方法。
  4. 前記仕様は、第１ワークピースのＣＡＤモデルに基づいている、請求項３に記載の方法。
  5. 前記仕様は、第１ワークピースの測定モデルに基づいている、請求項３に記載の方法。
  6. 更に、（ａ）第１ワークピースを第１ロケーションか又は第２ロケーションでモーションレンダリングデバイスによって反復的に複数の異なる姿勢に動かすこと、（ｂ）第１ロケーションと第２ロケーションでそれぞれ各姿勢での特徴を特定すること、及び（ｃ）特定された特徴情報を蓄積して精度を高めることを含み、第１ワークピースは同じワークピースであるか又は複数の個々に区別できるワークピースの１つである、請求項１に記載の方法。
  7. 更に、第１ロケーションで画像座標系から校正座標系へのマッピングを提供することを含み、マッピングが合一である、請求項１に記載の方法。
  8. 第２ロケーションは第２ワークピースを有しており、そこに入ると第１ワークピースは第２ワークピースと所望されたアライメントで係合する、請求項１に記載の方法。
  9. 第２ワークピースは、第１ワークピースを更に加工するための部品、コンテナ又はフレームである、請求項８に記載の方法。
  10. 前記操作は、他方のオブジェクトを基準にしたアライメント操作、第１ワークピースへの印刷操作、及び第１ワークピースへの塗布操作の少なくとも１つである、請求項１に記載の方法。
  11. 前記操作は、少なくとも一部は第１ロケーションと第２ロケーションから離れた位置で行なわれる、請求項１０に記載の方法。
  12. 第１ロケーションにある第１ワークピースがマニピュレータによって第２ロケーションに移動され、第１ワークピースで行われる操作が第１ロケーションと第２ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するための方法であって、
    （ａ）少なくとも１台のビジョンシステムカメラを、第１ロケーションで第１ワークピースを撮像し、及び第２ロケーションを撮像するように配置するステップと、
    （ｂ）少なくとも１台のビジョンシステムカメラを第１ロケーションを基準にしてハンドアイ校正して第１の校正データを導くステップと、
    （ｃ）第１ワークピースを第１ロケーションに置くステップと、
    （ｄ）第１ワークピースを第１ロケーションから第２ロケーションへ動かすステップと、
    （ｅ）画像を取得して第１ワークピース上の特徴の位置を特定するステップと、
    （ｆ）第１ワークピースを第２ロケーションから第１ロケーションに動かし、第１ロケーションでモーションレンダリングデバイスを動かすことにより第１ワークピースの姿勢を新しい既知の姿勢に変更するステップと、
    （ｇ）特徴位置及びハンドアイ校正に関連するその他のデータが蓄積されるまでステップ（ｄ−ｆ）を反復するステップと、
    （ｈ）蓄積されたデータを用いて少なくとも１台のビジョンシステムカメラを第２ロケーションを基準にしてハンドアイ校正し、第１座標空間と第２座標空間をハンドアイ校正から得られたモーションレンダリングデバイスに対して相対的な共通座標空間によって結合するステップと、を含む方法。
  13. 第２ロケーションはモーションレンダリングデバイス上に第２ワークピースを有しており、そこに入ると第１ワークピースは第２ワークピースと所望されたアライメントで係合する、請求項１２に記載の方法。
  14. 第２ワークピースは、第１ワークピースを更に加工するための部品、コンテナ又はフレームである、請求項１３に記載の方法。
  15. 前記操作は、他方のオブジェクトを基準にしたアライメント操作、第１ワークピースへの印刷操作、及び第１ワークピースへの塗布操作の少なくとも１つである、請求項１２に記載の方法。
  16. 第１ロケーションにある第１ワークピースがマニピュレータによって第２ロケーションに移動され、第１ワークピースで行われる操作が第１ロケーションと第２ロケーションの座標空間を結合することに依拠する環境においてビジョンシステムを校正するためのシステムであって、
    第１ロケーションに置かれたときに第１ワークピースを撮像し、及び第２ロケーションに置かれたときに第１ワークピースを撮像するように配置された少なくとも１台のビジョンシステムカメラと、
    少なくとも１台のビジョンシステムカメラを第１ロケーションを基準に校正して第１の校正データを導き、及び少なくとも１台のビジョンシステムカメラを第２ロケーションを基準に校正して第２の校正データを導く校正プロセスと、
    少なくとも第１ロケーションで第１ワークピースの特徴を第１ワークピースの第１の画像から特定し、第１の画像中に特定された特徴に基づいて第１ワークピースを第１座標空間を基準にして第１ロケーションに対して相対的に位置決めし、及び第２ロケーションで第２の画像中に特定された特徴に基づいて第１ワークピースを第２座標空間を基準にして第２ロケーションに対して相対的に位置決めする特徴抽出プロセスと、
    第１座標空間と第２座標空間を結合する校正プロセスと、を含むシステム。
  17. 第２ロケーションは第２ワークピースを有しており、そこに入ると第１ワークピースは第２ワークピースと所望されたアライメントで係合する、請求項１６に記載のシステム。
  18. 第１の画像中に特定された特徴の一部は第２の画像中に特定された特徴と異なり、更に校正プロセスは、（ａ）第１の画像中に特定された特徴の位置を第１の校正データを基準にしてマッピングし、（ｂ）第１ワークピースの特徴位置の保存された仕様に対して相対的な変換を計算し、（ｃ）第２の画像中に特定された特徴の位置を第２の校正データを基準にしてマッピングし、（ｄ）ワークピースが第１ロケーションに置かれたときにステップ（ｂ）で計算された変換を用いて第１座標空間における第２の画像から特定された特徴の位置を導き、及び（ｅ）第２ロケーションでマッピングされた特徴を第１ロケーションで対応する変換された特徴にマッピングする変換を計算するように構成及び配置されている、請求項１６に記載のシステム。
  19. 前記仕様は、第１ワークピースのＣＡＤモデルか又は第１ワークピースの測定モデルに基づいている、請求項１８に記載のシステム。
  20. 第２ロケーションは第２ワークピースを有しており、そこに入ると第１ワークピースは第２ワークピースと所望されたアライメントで係合する、請求項１６に記載のシステム。
JP2016152273A 2015-08-06 2016-08-02 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法 Active JP6685199B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018097467A JP7292829B2 (ja) 2015-08-06 2018-05-21 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP2023001405A JP2023052266A (ja) 2015-08-06 2023-01-07 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562201723P 2015-08-06 2015-08-06
US62/201,723 2015-08-06
US15/223,436 US10290118B2 (en) 2015-08-06 2016-07-29 System and method for tying together machine vision coordinate spaces in a guided assembly environment
US15/223,436 2016-07-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018097467A Division JP7292829B2 (ja) 2015-08-06 2018-05-21 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Publications (2)

Publication Number Publication Date
JP2017037642A true JP2017037642A (ja) 2017-02-16
JP6685199B2 JP6685199B2 (ja) 2020-04-22

Family

ID=57853991

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2016152273A Active JP6685199B2 (ja) 2015-08-06 2016-08-02 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP2018097467A Active JP7292829B2 (ja) 2015-08-06 2018-05-21 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP2023001405A Pending JP2023052266A (ja) 2015-08-06 2023-01-07 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2018097467A Active JP7292829B2 (ja) 2015-08-06 2018-05-21 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
JP2023001405A Pending JP2023052266A (ja) 2015-08-06 2023-01-07 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法

Country Status (6)

Country Link
US (2) US10290118B2 (ja)
JP (3) JP6685199B2 (ja)
KR (2) KR20170017786A (ja)
CN (2) CN106426161B (ja)
DE (1) DE102016114337B4 (ja)
TW (3) TWI708216B (ja)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP2018094648A (ja) * 2016-12-09 2018-06-21 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
CN107543497B (zh) * 2017-03-23 2019-10-01 四川精视科技有限公司 一种非重叠视域双目视觉测量站坐标关联方法
FI127555B (en) 2017-04-05 2018-08-31 Oy Mapvision Ltd Computer vision systems that include coordinate correction
JP6777604B2 (ja) * 2017-08-28 2020-10-28 ファナック株式会社 検査システムおよび検査方法
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems
US11830131B2 (en) * 2018-02-06 2023-11-28 Veo Robotics, Inc. Workpiece sensing for process management and orchestration
JP6879238B2 (ja) * 2018-03-13 2021-06-02 オムロン株式会社 ワークピッキング装置及びワークピッキング方法
CN108436909A (zh) * 2018-03-13 2018-08-24 南京理工大学 一种基于ros的相机和机器人的手眼标定方法
DE102018003434A1 (de) 2018-04-27 2019-10-31 Sms Group Gmbh Schrägwalzwerk mit hydraulischer Walzenanstellung
MX2020011540A (es) 2018-04-30 2021-10-04 Path Robotics Inc Escaner láser que rechaza la reflexión.
CN110539299B (zh) * 2018-05-29 2021-08-17 北京京东尚科信息技术有限公司 机器手作业方法、控制器以及机器手系统
US11040452B2 (en) * 2018-05-29 2021-06-22 Abb Schweiz Ag Depth sensing robotic hand-eye camera using structured light
CN109079777B (zh) * 2018-08-01 2021-09-10 北京科技大学 一种机械臂手眼协调作业系统
US11263780B2 (en) * 2019-01-14 2022-03-01 Sony Group Corporation Apparatus, method, and program with verification of detected position information using additional physical characteristic points
CN109993800B (zh) * 2019-03-18 2023-01-03 五邑大学 一种工件尺寸的检测方法、装置及存储介质
DE102019107417A1 (de) 2019-03-22 2020-09-24 Günther Battenberg Verfahren zur Durchführung von zumindest einem Tätigkeitsprozess mittels eines Roboters
CN110335310B (zh) * 2019-07-09 2021-07-02 中国大恒(集团)有限公司北京图像视觉技术分公司 一种非共同视野下的标定方法
CN111791226B (zh) * 2019-12-31 2021-12-03 深圳市豪恩声学股份有限公司 通过机器人实现组装的方法、装置及机器人
TWI731548B (zh) * 2020-01-10 2021-06-21 廣達國際機械有限公司 鋼構之截角加工規劃方法
TWI727628B (zh) * 2020-01-22 2021-05-11 台達電子工業股份有限公司 具有位姿補償功能的動態追蹤系統及其位姿補償方法
CN113155097B (zh) * 2020-01-22 2024-01-26 台达电子工业股份有限公司 具有位姿补偿功能的动态追踪系统及其位姿补偿方法
CN111152229B (zh) * 2020-02-24 2023-08-25 群滨智造科技(苏州)有限公司 3d机械视觉的机械手引导方法和装置
CN111331604A (zh) * 2020-03-23 2020-06-26 北京邮电大学 一种基于机器视觉的阀门旋拧柔顺作业方法
CN111625001B (zh) * 2020-05-28 2024-02-02 珠海格力智能装备有限公司 机器人的控制方法及装置、工业机器人
US11407110B2 (en) 2020-07-17 2022-08-09 Path Robotics, Inc. Real time feedback and dynamic adjustment for welding robots
JP2022047442A (ja) * 2020-09-11 2022-03-24 パナソニックＩｐマネジメント株式会社 情報処理方法及び情報処理装置
CN112577423B (zh) * 2020-10-13 2022-09-09 武汉凌云光电科技有限责任公司 包含在运动中进行机器视觉位置定位的方法及其应用
KR20220087623A (ko) * 2020-12-17 2022-06-27 삼성전자주식회사 기판 처리 장치
CN112879401A (zh) * 2020-12-30 2021-06-01 富泰华精密电子(成都)有限公司 工件加工方法
CN112853835B (zh) * 2021-01-04 2022-04-19 中铁四局集团有限公司 一种用于钢轨铺设的自动控制方法与系统
WO2022182896A2 (en) 2021-02-24 2022-09-01 Path Robotics Inc. Autonomous welding robots
US11912513B1 (en) * 2021-04-14 2024-02-27 Amazon Technologies, Inc. Robotic system camera calibration and localization using robot-mounted registered patterns
CN114378825B (zh) * 2022-01-21 2023-05-12 四川长虹智能制造技术有限公司 一种多相机视觉定位方法、系统及电子设备
CN115383749B (zh) * 2022-10-25 2023-03-24 国网瑞嘉(天津)智能机器人有限公司 带电作业设备的标定方法、装置、控制器及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5547537A (en) * 1992-05-20 1996-08-20 Kulicke & Soffa, Investments, Inc. Ceramic carrier transport for die attach equipment
JP2001284899A (ja) * 2000-04-03 2001-10-12 Yamagata Casio Co Ltd 部品搭載座標補正方法
US20100017161A1 (en) * 2008-07-16 2010-01-21 Delta Design, Inc. Vision alignment with multiple cameras and common coordinate at contactor for ic device testing handlers
JP2010541293A (ja) * 2007-10-09 2010-12-24 エセック エージー 半導体チップをウエハテーブルから取り上げて、取り外された半導体チップを基板上に実装するための方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4380696A (en) * 1980-11-12 1983-04-19 Unimation, Inc. Method and apparatus for manipulator welding apparatus with vision correction for workpiece sensing
US4568816A (en) * 1983-04-19 1986-02-04 Unimation, Inc. Method and apparatus for manipulator welding apparatus with improved weld path definition
US4655596A (en) * 1983-10-28 1987-04-07 Levi Strauss & Co. Workpiece centering apparatus and method
EP0205628B1 (en) 1985-06-19 1990-06-13 International Business Machines Corporation Method for identifying three-dimensional objects using two-dimensional images
US4841460A (en) 1987-09-08 1989-06-20 Perceptron, Inc. Method and apparatus for calibrating a non-contact gauging sensor with respect to an external coordinate system
US4845639A (en) 1987-12-11 1989-07-04 Robotic Vision Systems, Inc. Robotic sealant calibration
US4959898A (en) 1990-05-22 1990-10-02 Emhart Industries, Inc. Surface mount machine with lead coplanarity verifier
US6419680B1 (en) 1993-06-10 2002-07-16 Sherwood Services Ag CT and MRI visible index markers for stereotactic localization
JPH08201021A (ja) 1995-01-23 1996-08-09 Mazda Motor Corp キャリブレーション方法
US6078846A (en) 1996-02-06 2000-06-20 Perceptron, Inc. Calibration and compensation of robot-based gauging system
US6858826B2 (en) 1996-10-25 2005-02-22 Waveworx Inc. Method and apparatus for scanning three-dimensional objects
US5960125A (en) 1996-11-21 1999-09-28 Cognex Corporation Nonfeedback-based machine vision method for determining a calibration relationship between a camera and a moveable object
US5933523A (en) 1997-03-18 1999-08-03 Cognex Corporation Machine vision method and apparatus for determining the position of generally rectangular devices using boundary extracting features
NL1007068C2 (nl) * 1997-09-18 1999-03-22 Nl Laser Res Laserbewerkingsapparaat.
JP4387476B2 (ja) * 1998-07-13 2009-12-16 株式会社明電舎 ビンピッキング位置データ較正装置
US6950548B1 (en) 2000-05-17 2005-09-27 Cognex Corporation Creating geometric model descriptions for use in machine vision inspection systems
US6493574B1 (en) 2000-09-28 2002-12-10 Koninklijke Philips Electronics, N.V. Calibration phantom and recognition algorithm for automatic coordinate transformation in diagnostic imaging
US6819789B1 (en) 2000-11-08 2004-11-16 Orbotech Ltd. Scaling and registration calibration especially in printed circuit board fabrication
US6466841B2 (en) * 2001-02-14 2002-10-15 Xerox Corporation Apparatus and method for determining a reference position for an industrial robot
CH696103A5 (de) * 2003-06-06 2006-12-15 Esec Trading Sa Halbleiter-Montageeinrichtung.
US7324682B2 (en) * 2004-03-25 2008-01-29 Mitutoyo Corporation System and method for excluding extraneous features from inspection operations performed by a machine vision inspection system
JP4515814B2 (ja) * 2004-04-28 2010-08-04 パナソニック株式会社 装着精度測定方法
US6901673B1 (en) 2004-05-20 2005-06-07 The Boeing Company Tie-in device for the correlation of coordinate systems
EP1612843A1 (de) * 2004-07-02 2006-01-04 Unaxis International Trading Ltd Verfahren und Einrichtung fuer die Montage von Halbleiterchips
US7583852B2 (en) * 2004-10-26 2009-09-01 Mitutoyo Corporation Method of filtering an image for high precision machine vision metrology
US20060241432A1 (en) 2005-02-15 2006-10-26 Vanderbilt University Method and apparatus for calibration, tracking and volume construction data for use in image-guided procedures
US8482732B2 (en) * 2007-10-01 2013-07-09 Maskless Lithography, Inc. Alignment system for various materials and material flows
WO2009047214A2 (en) 2007-10-09 2009-04-16 Oerlikon Assembly Equipment Ag, Steinhausen Method for picking up semiconductor chips from a wafer table and mounting the removed semiconductor chips on a substrate
CN101149836B (zh) 2007-11-05 2010-05-19 中山大学 一种三维重构的双摄像机标定方法
US8264697B2 (en) 2007-11-27 2012-09-11 Intelligrated Headquarters, Llc Object detection device
WO2009117161A2 (en) 2008-03-21 2009-09-24 Variation Reduction Solutions, Inc. External system for robotic accuracy enhancement
US7686631B1 (en) * 2008-12-12 2010-03-30 J.S.T. Corporation Electrical connector with a latch mechanism
US11699247B2 (en) * 2009-12-24 2023-07-11 Cognex Corporation System and method for runtime determination of camera miscalibration
US8368762B1 (en) 2010-04-12 2013-02-05 Adobe Systems Incorporated Methods and apparatus for camera calibration based on multiview image geometry
US9393694B2 (en) 2010-05-14 2016-07-19 Cognex Corporation System and method for robust calibration between a machine vision system and a robot
CN103153553B (zh) * 2010-08-27 2016-04-06 Abb研究有限公司 视觉引导对准系统和方法
US9021344B2 (en) 2010-08-31 2015-04-28 New River Kinematics, Inc. Off-line graphical user interface system and method for three-dimensional measurement
JP5744587B2 (ja) 2011-03-24 2015-07-08 キヤノン株式会社 ロボット制御装置、ロボット制御方法、プログラム及び記録媒体
CN103493106B (zh) * 2011-03-29 2017-11-07 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上的方法和装置
US9188973B2 (en) 2011-07-08 2015-11-17 Restoration Robotics, Inc. Calibration and transformation of a camera system's coordinate system
US20150142171A1 (en) 2011-08-11 2015-05-21 Siemens Healthcare Diagnostics Inc. Methods and apparatus to calibrate an orientation between a robot gripper and a camera
JP5924134B2 (ja) * 2012-05-30 2016-05-25 セイコーエプソン株式会社 侵入検出装置，ロボットシステム，侵入検出方法および侵入検出プログラム
CN102922521B (zh) 2012-08-07 2015-09-09 中国科学技术大学 一种基于立体视觉伺服的机械臂系统及其实时校准方法
US10664994B2 (en) * 2013-02-25 2020-05-26 Cognex Corporation System and method for calibration of machine vision cameras along at least three discrete planes
US10477154B2 (en) * 2013-03-07 2019-11-12 Cognex Corporation System and method for aligning two work pieces with a vision system in the presence of occlusion
US10032273B2 (en) 2013-03-15 2018-07-24 Cognex Corporation Machine vision system calibration using inaccurate calibration targets
US9958854B2 (en) 2013-06-10 2018-05-01 The Boeing Company Systems and methods for robotic measurement of parts
US9305231B2 (en) 2013-08-01 2016-04-05 Cognex Corporation Associating a code with an object
US9211643B1 (en) 2014-06-25 2015-12-15 Microsoft Technology Licensing, Llc Automatic in-situ registration and calibration of robotic arm/sensor/workspace system
JP5911934B2 (ja) * 2014-09-18 2016-04-27 ファナック株式会社 輪郭線計測装置およびロボットシステム
CN104268876B (zh) 2014-09-26 2017-05-03 大连理工大学 基于分块的摄像机标定方法
CN104625268A (zh) 2015-01-16 2015-05-20 哈尔滨飞机工业集团有限责任公司 一种线切割薄板装夹装置
US10223589B2 (en) * 2015-03-03 2019-03-05 Cognex Corporation Vision system for training an assembly system through virtual assembly of objects
CN104819690B (zh) 2015-04-21 2017-05-31 上海瑞伯德智能系统股份有限公司 一种表面贴装元件的双相机机器视觉定位方法
US10290118B2 (en) * 2015-08-06 2019-05-14 Cognex Corporation System and method for tying together machine vision coordinate spaces in a guided assembly environment
JP6540472B2 (ja) * 2015-11-18 2019-07-10 オムロン株式会社 シミュレーション装置、シミュレーション方法、およびシミュレーションプログラム
JP6514156B2 (ja) * 2016-08-17 2019-05-15 ファナック株式会社 ロボット制御装置
US11072074B2 (en) * 2017-12-13 2021-07-27 Cognex Corporation Calibration and operation of vision-based manipulation systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5547537A (en) * 1992-05-20 1996-08-20 Kulicke & Soffa, Investments, Inc. Ceramic carrier transport for die attach equipment
JP2001284899A (ja) * 2000-04-03 2001-10-12 Yamagata Casio Co Ltd 部品搭載座標補正方法
JP2010541293A (ja) * 2007-10-09 2010-12-24 エセック エージー 半導体チップをウエハテーブルから取り上げて、取り外された半導体チップを基板上に実装するための方法
US20100017161A1 (en) * 2008-07-16 2010-01-21 Delta Design, Inc. Vision alignment with multiple cameras and common coordinate at contactor for ic device testing handlers

Also Published As

Publication number Publication date
TWI708215B (zh) 2020-10-21
JP2023052266A (ja) 2023-04-11
TW201706091A (zh) 2017-02-16
JP7292829B2 (ja) 2023-06-19
KR20170017786A (ko) 2017-02-15
JP2018169403A (ja) 2018-11-01
DE102016114337A1 (de) 2017-02-09
CN111452040A (zh) 2020-07-28
JP6685199B2 (ja) 2020-04-22
TW202119356A (zh) 2021-05-16
TW201923706A (zh) 2019-06-16
DE102016114337B4 (de) 2019-08-14
US10290118B2 (en) 2019-05-14
CN106426161A (zh) 2017-02-22
KR20180120647A (ko) 2018-11-06
US20200065995A1 (en) 2020-02-27
US20170132807A1 (en) 2017-05-11
US11049280B2 (en) 2021-06-29
CN106426161B (zh) 2020-04-07
CN111452040B (zh) 2024-02-20
TWI816056B (zh) 2023-09-21
TWI708216B (zh) 2020-10-21

Similar Documents

Publication Publication Date Title
JP6685199B2 (ja) 案内された組立環境におけるマシンビジョン座標空間を結合するためのシステム及び方法
US11911914B2 (en) System and method for automatic hand-eye calibration of vision system for robot motion
CN108453701B (zh) 控制机器人的方法、示教机器人的方法和机器人系统
JP6770605B2 (ja) 対象物の仮想組立により組立システムをトレーニングするためのビジョンシステム
JP6180087B2 (ja) 情報処理装置及び情報処理方法
JP4021413B2 (ja) 計測装置
JP6324025B2 (ja) 情報処理装置、情報処理方法
CN109910000B (zh) 基于视觉的操纵系统的校准以及操作
US20130230235A1 (en) Information processing apparatus and information processing method
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
JPWO2018043524A1 (ja) ロボットシステム、ロボットシステム制御装置、およびロボットシステム制御方法
JP2019098409A (ja) ロボットシステムおよびキャリブレーション方法
JP6766229B2 (ja) 位置姿勢計測装置及び方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170629

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20170928

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20180119

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20180521

C116 Written invitation by the chief administrative judge to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C116

Effective date: 20180605

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20180605

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20190403

C13 Notice of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: C13

Effective date: 20190711

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200114

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20200204

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20200302

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20200302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200331

R150 Certificate of patent or registration of utility model

Ref document number: 6685199

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250